CN107211147A - 用于非4：4：4屏幕内容视频的调色板编码 - Google Patents

用于非4：4：4屏幕内容视频的调色板编码 Download PDF

Info

Publication number
CN107211147A
CN107211147A CN201680005963.8A CN201680005963A CN107211147A CN 107211147 A CN107211147 A CN 107211147A CN 201680005963 A CN201680005963 A CN 201680005963A CN 107211147 A CN107211147 A CN 107211147A
Authority
CN
China
Prior art keywords
chroma
palette
sampling location
color
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680005963.8A
Other languages
English (en)
Inventor
修晓宇
叶琰
贺玉文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of CN107211147A publication Critical patent/CN107211147A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

视频编码设备可以接收携带以非4：4：4色度格式获取的视频的视频比特流。调色板模式可以用于解码该视频比特流。视频比特流可以包括针对当前块的用于定义以4：4：4色度格式的调色板表和调色板索引映射的数据。可以基于亮度采样位置、调色板索引映射和调色板表来确定非4：4：4色度格式的亮度采样位置的亮度采样值。可以基于非4：4：4色度格式中的亮度分量与色度分量分辨率比来得到调色板索引映射上的与4：4：4色度格式相关联的色度采样位置。可以基于得到的色度采样位置、调色板索引映射和调色板表来确定非444色度格式中的色度采样位置的色度采样值。

Description

用于非4：4：4屏幕内容视频的调色板编码
相关申请的交叉引用
本申请要求2015年1月14日申请的美国临时专利申请No.62/103,419的权益，其公开整体通过引用的方式结合于此。
背景技术
屏幕内容共享应用可以用于远程台式机、视频会议和/或移动媒体演示应用。行业可以有应用要求。屏幕内容可以包括具有几种颜色(例如主颜色)和/或尖锐边缘(因为与自然视频内容相比可以内部例如有尖锐曲线和文字)的多个块。视频压缩可以用于编码屏幕内容和/或传送屏幕内容给接收方。一些视频压缩实施的特征可以不完全是屏幕内容的特征和/或可以导致低压缩性能。重构的图片可能有质量问题。例如，曲线和文字可以被模糊且可能难以辨识曲线和文字。屏幕压缩实施可以用于有效重构屏幕内容。
基于调色板的编码可以用在HEVC的回归四叉树框架，例如用于通过考虑屏幕内容的特性来编码屏幕内容。
发明内容
视频编码设备可以被配置成接收非4：4：4视频的视频比特流。以非4：4：4色度格式的视频的视频比特流可以在调色板模式中被解码。例如，比特流可以包括用于定义针对当前块的4：4：4色度格式中的调色板表和调色板索引映射的数据。对于非4：4：4色度格式中的亮度采样位置，可以基于亮度采样位置、调色板索引映射和调色板表来确定各自的亮度采样值。与亮度采样位置相关联的颜色索引值可以被确定，并用于在调色板表中查找各自的亮度采样值。针对非4：4：4格式中的色度采样位置，调色板索引映射上与4：4：4色度格式相关联的色度采样位置可以基于在非4：4：4色度格式中的亮度分量与色度分量分辨率比来导出。非4：4：4色度格式中色度采样位置的各自的色度采样值可以基于导出的与4：4：4色度格式相关联的色度采样位置、调色板索引映射和调色板表来确定。
针对非4：4：4色度格式中的色度采样位置，色度采样位置的色度采样值可以基于色度采样位置是否与亮度分量相关联来确定。该确定可以基于色度采样位置。当确定色度采样位置仅与亮度分量相关联时，色度采样位置的色度采样值可以被丢弃。非4：4：4色度格式可以是4：2：0、4：2：2、或4：0：0色度格式。
当确定编码单元(coding unit，CU)中的采样位置与逃逸颜色相关联时，采样位置和非4：4：4色度格式可以用于确定是否用信号发送(signal)与采样位置相关联的色度分量。色度采样值可以在与采样位置相关联的色度分量用信号发送时被恢复。与采样位置相关联的色度分量的解码的逃逸颜色值可以用于恢复色度采样值。
采样位置是否与逃逸颜色相关联可以基于调色板索引映射上与采样位置相关联的颜色索引值来确定。当采样位置与非4：4：4色度格式中至少一个色度分量相关联时，与采样位置相关联的色度分量可以被用信号发送。当采样位置仅与非4：4：4色度格式中的亮度分量相关联时，与采样位置相关联的色度分量可以不用信号发送。
视频编码设备(coding device)可以使用调色板编码来编码以非4：4：4色度格式获取的视频。例如，与非4：4：4色度格式相关联的视频块可以包括色度采样位置和亮度采样位置。色度采样可以根据4：4：4色度格式被上采样。与4：4：4色度格式相关联的调色板表和调色板索引映射可以基于上采样的色度采样位置和亮度采样位置被导出。与4：4：4色度相关联的调色板表和调色板索引映射可以在视频比特流中被编码。该比特流可以包括与仅亮度采样位置相关联的色度采样值。亮度采样位置附近的色度采样位置可以用于上采样色度采样位置。该亮度采样位置附近的色度采样位置可以是相位距离离亮度采样位置最近的色度采样位置。基于插值的上采样可以用于上采样多个色度采样位置。基于插值的上采样可以基于亮度采样位置附近的色度采样位置和色度采样和亮度采样位置之间的相位距离。
视频编码设备可以确定采样位置是否与逃逸颜色相关联。当设备确定采样位置与逃逸颜色相关联时，设备可以基于采样位置和非4：4：4色度格式确定是否用信号发送与采样位置相关联的色度分量。设备可以基于确定与采样位置相关联的色度分量要被用信号发送在视频比特流中编码色度分量。设备可以编码与采样位置相关联的色度分量的逃逸颜色值。编码器可以在采样位置与非4：4：4色度格式中的至少一个色度采样值相关联的情况下确定可以用信号发送与采样位置相关联的色度采样值。编码器可以在采样位置仅与亮度采样值相关联的情况下确定可以不用信号发送与采样位置相关联的色度采样值。
附图说明
图1示出了基于块的视频编码设备的示例总体框图；
图2示出了基于块的视频解码设备的示例总体框图；
图3示出了示例屏幕内容共享系统；
图4示出了调色板编码(palette coding)的编码过程的示例框图；
图5示出了以4：4：4色度格式的亮度和色度分量的示例采样格；
图6示出了以4：2：0色度格式的亮度和色度分量的示例采样格；
图7示出了以4：2：2色度格式的亮度和色度分量的示例采样格；
图8示出了针对非4：4：4视频的调色板编码的编码过程的示例框图；
图9示出了针对非4：4：4视频的调色板编码的解码过程的示例框图；
图10A是可以是是一个或多个公开的实施方式的示例通信系统的系统图；
图10B是可以在图10A示出的通信系统中使用的示例无线发射/接收单元(WTRU)的系统图；
图10C是可以在图10A示出的通信系统中使用的示例无线电接入网和示例核心网络的系统图；
图10D是可以在图10A示出的通信系统中使用的另一示例无线电接入网和另一示例核心网络的系统图；
图10E是可以在图10A示出的通信系统中使用的另一示例无线电接入网和另一示例核心网络的系统图。
具体实施方式
现在参考附图描述示例实施方式的详细描述。虽然该描述提供了可能实施的详细示例，应当注意到这些细节只是示意性且绝不限制本申请的范围。
视频编码系统可以用于压缩数字视频信号，例如以减少存储需求和/或这种信号的传输带宽。有许多类型的视频编码系统，例如基于块的系统、基于小波的系统、以及基于对象的系统。基于块的混合视频编码系统可以被广泛使用和部署。基于块的视频编码系统的示例包括国际视频编码标准，例如MPEG1/2/4部分2、H.264/MPEG-4部分10AVC和VC-1标准。
图1是基于块的视频编码设备的总体框图。图1示出了一般性基于块的混合视频编码系统的框图。输入视频信号102可以逐块被处理。视频块单元可以包括16x16像素。这样的块单元可以成为宏块或MB。在高效视频编码(HEVC)中，扩展块尺寸(例如“编码单元”或CU)可以用于压缩(例如有效压缩)高分辨率(例如1080p等)视频信号。在HEVC中，CU可以是64x64像素。CU可以被划分成预测单元或PU。分离预测模式可以被应用于PU。针对(例如每个)输入视频块(例如MB或CU)，可以执行空间预测160和/或时间预测162。空间预测或“内预测”可以使用来自相同或邻近视频图片/切片(slice)中编码的邻近块的像素来预测当前视频块。空间预测可以降低视频信号中的空间冗余。时间预测可以成为“间预测”或“运动补偿预测”。时间预测可以使用来自编码的视频图片的像素来预测当前视频块。时间预测可以降低视频信号中的时间冗余。针对视频块的时间预测信号可以通过一个或多个运动向量用信号来通知，该一个或多个运动向量可以指示当前块与其参考块之间的运动的量和方向。如果支持多个参考图片，则针对一个或多个(例如每个)视频块，参考图片索引可以被发送。该参考索引可以用于标识时间预测信号源自或来自参考图片存储164中的哪个参考图片。视频编码设备中的模式决定块180可以例如在空间和/或时间预测之后选择预定模式(例如最佳预测模式)。视频编码设备中的模式决定块180可以例如基于率失真优化方法来选择预测模式(例如最佳预测模式)。可以从当前视频块116减去预测块。预测残差可以例如使用变换104和量化106被解除相关以实现目标比特率。量化的残差系数可以被逆量化110和/或逆变换112以形成重构的残差。该重构的残差可以被添加到预测块126以形成重构视频块。在环滤波器166中，例如解块滤波器和自适应环滤波器，可以例如在重构视频块被放入参考图片存储164和/或用于编码后来的视频块之前被应用到重构视频块。为了形成输出视频比特流120，编码模式(例如间和内)、预测模式信息、运动信息和量化残差系数可以被发送到熵编码单元108以被压缩和/或打包以形成比特流。
图2是基于块的视频编码设备的示例总体框图。图1可以示出例如基于块的视频解码器。视频比特流202可以在熵解码单元208处被解包和/或熵解码。编码模式和/或预测信息可以被发送到空间预测单元260(例如如果是内编码)和/或时间预测单元262(例如如果是间编码)，例如以形成预测块。残差变换系数可以被发送给逆量化单元210和/或逆变换单元212，例如以重构残差块。预测块和/或残差块可以在226被加在一起。重构块可以经过环内滤波，例如在其被存储在参考图片存储264之前。参考图片存储中的重构视频220可以被发送以驱动显示设备和/或用于预测后来的视频块。
可以例如更多使用屏幕内容压缩，因为人们共享其设备内容用于媒体演示或远程台式机。移动设备的屏幕显示器可以是高清或超高清分辨率。视频编码工具，例如块编码模式和变换，可以针对屏幕内容编码不被优化，因为它们可能增加在这些共享应用中传送屏幕内容的带宽需求。图3示出了屏幕内容共享系统的示例框图。图3的屏幕内容共享系统可以包括接收机、解码器以及显示器(例如描绘器(renderer))。图1示出了基于块的单层视频编码设备(video coding device)(例如视频编码设备(video encoding device))的示例框图。如图1所示，为了实现有效压缩，视频编码设备(video codingdevice)(例如，视频编码设备(video encoding device))可以使用例如空间预测(例如内预测)和时间预测(例如间预测和/或运动补偿预测)的技术来预测输入视频信号。视频编码设备(video codingdevice)(例如，视频编码设备(video encoding device))可以具有模式决定逻辑，其可以例如基于例如速率和失真的组合的某标准来确定合适(例如最合适)的预测形式。视频编码设备(video coding device)(例如，视频编码设备(video encoding device))可以变换和量化预测残差(例如输入信号与预测信号之间的差)。量化的残差与模式信息(例如内或间预测)和预测信息(例如运动向量、参考图片索引、内预测模式等)一起可以在熵编码器处被压缩和/或被打包到输出视频比特流。如在图1中所示，视频编码设备(video codingdevice)(例如，视频编码设备(video encoding device))可以例如通过对量化残差应用逆量化和/或逆变换来获得重构的残差的方式来生成重构视频信号。视频编码设备(videocoding device)(例如，视频编码设备(video encoding device))可以例如通过将重构的残差加回到预测信号来生成重构视频信号。该重构视频信号可以经过环滤波器处理(例如解块滤波器、采样自适应偏移)。重构视频信号可以被存储到参考图片存储用于预测后来的视频信号。
图2示出了基于块的单层视频编码设备(video coding device)(例如视频解码设备)的框图。图2中的视频编码设备(例如视频解码设备)可以接收图1中的视频编码设备(video coding device)(例如，视频编码设备(video encoding device))产生的比特流并重构要被显示的视频信号。在解码器处，熵解码器可以解析比特流。残差系数可以被逆量化和/或逆变换以获得重构残差。编码模式和/或预测信息可以用于例如使用空间预测或时间预测获得预测信号。预测信号和重构的残差可以加到一起以得到重构视频。重构视频可以经过环滤波，例如在其被存储到参考图片存储中以被显示和/或用于解码后来的视频信号之前。
MPEG已经进行视频编码标准，例如以节省传输带宽和存储。高效视频编码(HEVC)是视频压缩标准。HEVC由ITU-T视频编码专家组(VCEG)和ISO/IEC移动图像专家组(MPEG)一起联合开发。HEVC与H.264相比在相同的质量可以节省50％的带宽。HEVC可以是基于块的混合视频编码标准，由此其编码器和解码器一般根据图1和/或图2来操作。HEVC可以允许使用的视频块比其他标准下的视频块更大。HEVC可以使用四叉树划分来用信号发送块编码信息。图片或切片可以被划分成具有相同或相似尺寸(例如64x64)的编码树块(CTB)。一个或多个(例如每一个)CTB可以被划分为具有四叉树的CU，且一个或多个(例如每个)CU可以被划分为具有四叉树的预测单元(PU)和/或变换单元(TU)。依据运动向量的精度(例如其在HEVC中能够高至四分之一像素)，可以应用线性滤波器以获得在分数位置的像素值。在HEVC中，插值滤波器可以具有针对亮度7或8个抽头(tap)且针对色度4个抽头。HEVC中的解块滤波器可以是基于内容的。依据多种因素，例如编码模式差、运动差、参考图片差、像素值差等，可以在TU和PU边界应用不同的解块滤波器操作。针对熵编码，HEVC可以针对一个或多个块级语义元素使用基于上下文的自适应算术二进制编码(CABAC)。高级参数可以使用或可以不被使用。在CABAC中可以有多种(例如两种)二进制(bin)：基于上下文编码的常规二进制，和/或没有上下文的旁路(by-pass)编码的二进制。
视频编码设计可以包括各种块编码模式。视频数据或信号数据或内容数据中的空间冗余可以用于屏幕内容编码。相机捕获的自然内容可以包括连续色调(continuous-tone)的视频信号。屏幕内容可以包括离散色调(discrete-tone)的视频信号。由于屏幕内容材料，例如文本和图形，与自然内容相比可以显示不同的特性，编码工具(例如块内复制、调色板编码以及自适应颜色变换)可以用于屏幕内容编码。
基于调色板的编码可以在HEVC的回归四叉树框架中使用，例如以通过考虑特性编码屏幕内容。图4示出了基于调色板的编码的视频编码过程的示例框图。如图4所示，屏幕内容视频中的视频块可以包括(例如受支配于)有限数量的主颜色，且一个或多个像素的颜色值可以与其上面或左边像素的颜色值相同或相似。代表视频块的主颜色和逃逸(escape)颜色的颜色表和索引映射可以用于该块的编码，例如而不是使用所有像素的采样值。图5示出了以4：4：4格式的亮度和色度分量的示例采样格。图6示出了以4：2：0格式的亮度和色度分量的示例采样格。图7示出了以4：2：2格式的亮度和色度分量的示例采样格。图8示出了针对非4：4：4视频的调色板编码的编码过程的示例框图。例如，在图4中，针对使用调色板模式编码的一个或多个(例如每一个)编码单元(CU)，可以通过从该CU选择一组主颜色来导出调色板表。可以通过将该CU的像素分类为主颜色和逃逸颜色来生成调色板索引映射。逃逸颜色可以在图4中被标记为虚(void)块。主颜色在图4中可以被标记为图案块。针对其颜色在调色板表中被表示的像素，可以编码调色板表中的索引(例如仅索引)。针对其颜色没有在调色板表中被表示的像素，其颜色值可以被认为是逃逸颜色。可以直接编码量化的颜色值(例如如果使用了有损编码)。各种(例如两种)预测编码模式，例如复制左边模式和复制上面模式，可以用于编码调色板索引映射。在复制左边模式中，可以用信号发送一个调色板索引的值和运行值。该运行值可以指示与当前像素具有相同调色板索引的后续像素的数量。在复制上面模式中，编码的像素的调色板索引可以从直接在该像素上面的相邻像素复制。该运行值可以被用信号发送以指示从相应的上面的相邻像素复制其调色板索引的后续像素的数量。例如，可以仅用信号发送运行值以指示从相应的上面的相邻像素复制其调色板索引的后续像素的数量。如果调色板表尺寸是K，则调色板索引0至K-1可以用于指示主颜色，且调色板索引K可以用于指示逃逸颜色。表1示出了示例调色板模式语义。
表1：示例调色板模式语义
颜色聚类可以用于得到使用调色板模式编码的一个或多个(例如每一个)CU的调色板表。当前CU的颜色值可以被聚类到K个集合，K可以是调色板表的尺寸。当前CU中的原始颜色值可以被表示为c＝{c_0,c_1,…c_(N-1)}。一个或多个(例如每个)颜色值c_i可以是三维向量，N可以是CU中像素的总数。颜色聚类操作可以旨在将N个像素的颜色分成K(K≤N)个集合。S可以是颜色集合。S＝{S_0,S_1,…S_(K-1)}。例如，公式(1)可以用于最小化聚类内失真：
可以是颜色集合Si的中心的第h个分量(例如，Y、Cb和Cr)。颜色聚类的中心可以用作主颜色以形成当前CU的调色板表。该调色板表可以被导出。对于一个或多个(例如每个)像素c，可以通过将像素的颜色值转换成调色板表中的主颜色来选择调色板索引i*。例如，公式(2)可以用于计算i*。可以通过使用公式(2)来最小化像素与选择的主颜色之间的失真：
视频编码系统可以给亮度分量(例如YCbCr格式中的Y分量)的带宽比给色度分量(例如YCbCr格式中的Cb和Cr分量)的带宽更多。视频编码系统可以子采样色度分量。子采样色度分量可以或可以不降低重构视频的感官质量，因为人的视觉对亮度变化比对颜色变化更敏感。4：4：4(例如图5)、4：2：2(例如图7)和4：2：0(例如图6)是可以在视频编码系统中使用的示例色度子采样格式。图5、图7和图6分别是4：4：4、4：2：2、4：2：0色度子采样格式的示例。在图6中，水平和垂直方向的色度分量的采样率可以是亮度分量的采样率的一半。在图7中，色度分量的水平采样率是亮度分量的采样率的一半。垂直采样率可以与亮度分量的采样率相同。4：4：4色度格式可以用于需要高保真的视频应用。在图5中，水平和垂直方向的色度分量的采样率可以与亮度分量的采样率相同。图5、图6和图7中示出的色度格式的采样格可以是示意性的。亮度采样格和色度采样格之间的相对相移的变化可以被使用。例如，可以在4：2：0子采样中使用具有亮度和色度分量之间的多种相对相移的采样格。可以仅在水平方向、仅在垂直方向或在这两个方向中在相应相邻亮度采样之间的中途(halfway)子采样Cb和Cr分量。
调色板模式可以用于以4：4：4色度格式和以非4：4：4色度格式(例如4：2：0和4：2：2格式)的编码视频信号。非4：4：4色度格式可以用在屏幕内容的应用中，例如超光谱成像、医疗和远程感测等。视频设备可以或可以不支持以4：4：4色度格式的视频，例如由于4：4：4色度格式的复杂性/带宽约束。编码工具可以用于支持非4：4：4色度格式例如4：2：0和4：2：2格式中的编码视频材料。
调色板模式可以用于编码以非4：4：4色度格式的屏幕内容视频。调色板编码可以用于非4：4：4屏幕内容视频。这里描述的示例可以被应用于任意视频编解码器。
虽然这里描述了关于4：2：0和4：2：2色度格式的技术和示例，但本领域技术人员可以理解这里描述的技术和示例同样适用于其他非4：4：4色度格式，例如4：0：0、4：2：1、4：1：1和4：1：0等。
一些调色板编码实施可以支持使用4：4：4色度格式的输入视频。可以针对非444输入视频禁用该调色板模式。屏幕内容材料可以以非4：4：4色度格式被捕获。针对4：4：4色度格式开发的工具可以针对4：2：0和4：2：2色度格式被支持和/或测试。
可以针对以非4：4：4色度格式的视频启用该调色板模式。基于双调色板的调色板编码可以用于以4：2：0和4：2：2色度格式的屏幕内容视频，例如为了效率。在基于双调色板的调色板编码中，可以使用一个或多个(例如两个)调色板表，一个用于亮度分量，另一个用于两个色度分量。例如，来自当前CU的颜色(例如最具代表性的颜色)可以基于颜色柱状图来选择。颜色柱状图可以针对亮度和色度分量分开来计算。一个或多个(例如两个)调色板索引映射可以针对亮度分量和色度分量被形成，例如分别一个用于亮度分量，另一个用于色度分量。例如，当前CU中的一个或多个(例如每一个)像素的亮度分量和色度分量可以被映射到两个分开的调色板索引，例如一个用于亮度分量，另一个用于色度分量。如图4所示的复制左边模式和复制上面模式可以用于编码调色板索引映射(例如两个调色板索引映射)。基于双调色板的实施可以提供附加的编码增益。
当使用基于双调色板的实施时，分开(例如两个)的调色板表和/或分开的(例如两个)调色板索引映射可以针对亮度分量和色度分量被发送。可以针对亮度分量和色度分量分开导出调色板表和调色板索引映射。针对以4：2：0和4：2：2色度格式的视频，色度采样的数量可以小于亮度采样的数量。编码器可以针对亮度和色度分量分开编码调色板语义元素的两个集合。解码器可以针对亮度和色度分量分开解析调色板语义元素的两个集合。
当使用基于双调色板的实施时，解码器可以执行一个或多个(例如两个)分开的调色板解码过程来重构亮度采样和色度采样。解码器可以在亮度调色板解码过程中解码Y分量(例如，仅Y分量)。解码器可以在色度调色板解码过程中解码Cb和Cr分量。解码器可以对具有不同尺寸的采样执行一个或多个(例如两个)解码过程。例如，色度块尺寸可以是以4：2：0色度格式的视频的亮度块尺寸的四分之一。色度块尺寸可以是以4：2：2色度格式的视频的亮度块尺寸的一半。解码器可以在使用基于双调色板的实施时保持一个或多个(例如两个)分开的调色板表和一个或多个(例如两个)分开的调色板预测器。用于4：4：4色度格式的调色板设计可以不同于基于双调色板的实施。用于4：4：4色度格式的调色板设计可以针对CU使用(例如仅使用)(例如单个)调色板表和/或(例如单个)调色板预测器。
用于4：4：4色度格式的调色板设计可以被扩展以支持4：2：0和4：2：2格式。例如，非4：4：4视频可以使用用于4：4：4格式的调色板设计经由调色板编码被编码。
调色板编码可以用于以非4：4：4色度格式的视频。调色板编码可以使用与以4：4：4色度格式(如在表1中描述的)的视频关联的调色板设计相同或相似的语义。
图8示出了用于以非4：4：4色度格式的视频的调色板编码的编码过程的示例框图。如这里可以使用的，像素可以包括单个元素(例如采样)，其在4：4：4色度格式中的相同位置包括一个或多个分量(例如一个亮度分量和两个色度分量)。针对以4：2：0和4：2：2色度格式的视频，采样可以涉及可以是亮度分量或两个色度分量之一的单个颜色分量。采样和采样位置可以交换使用。色度采样和亮度采样可以位于4：2：0和4：2：4色度格式中的不同像素位置，例如由于色度子采样。如图8所示，用于以非4：4：4色度格式的视频的调色板实施可以以较高空间分辨率(例如亮度分辨率)处理输入视频的亮度和色度分量。用于以非4：4：4色度格式的视频的调色板实施可以以与调色板编码器针对图4中的4：4：4色度格式的视频可以采用的相似的方式来产生调色板编码的CU的比特流。色度上采样可以用于将色度分量上采样成与亮度分量的分辨率相同或相似的分辨率。输入视频块可以成为4：4：4块。用于输入视频块的调色板编码逻辑可以被再使用。为了将亮度分量的分辨率上采样成色度分量的分辨率，不同的示例可以用于在4：4：4色度格式中的一个或多个(例如每个)像素位置生成色度采样。针对给定的亮度采样位置，在亮度采样位置附近(例如相位距离最近)的位置的色度采样可以被使用。例如，可以应用最近相邻复制。
针对4：4：4色度格式中的一个或多个(例如每个)亮度采样位置，基于插值的上采样过程可以用于生成相应的色度采样。例如，可以使用以下插值方法：
c*可以是上采样的色度分量。N可以是可以在目标像素位置附近(例如相邻)的色度采样的集合。ci可以是在插值中使用的第i个色度采样的值。si可以是可以应用到第i个色度采样的加权因子。不同的度量可以用于得到si。例如，可以根据亮度采样和色度采样之间的相位距离来得到si。插值滤波器可以用于将色度和亮度采样映射到相同的像素位置。相同的插值滤波器可以在非4：4：4调色板编码中被使用。图9示出了针对非以4：4：4色度格式的视频的调色板编码的解码过程的示例框图。
图9可以对应于图8中的编码过程。解码器可以使用接收的调色板表、调色板索引和标识的逃逸颜色来重构4：4：4格式中的中间块。当前CU的比特流可以使用熵解码模块被熵解码。调色板表信息可以被发送给调色板表重构模块以形成包含当前CU的主颜色的调色板表。如果像素被编码为主颜色，则调色板编码信息(例如调色板索引和运行长度)和量化(例如如果应用了有损编码)的逃逸颜色可以被发送给调色板索引解码模块。如果像素被编码为逃逸颜色，则调色板编码信息(例如调色板索引和运行长度)和量化的(例如如果应用了有损编码)逃逸颜色可以被发送给去量化模块(例如如果应用了有损编码)，以重构4：4：4格式中的中间块的一个或多个(例如每一个)像素位置的颜色分量。色度子采样可以用于重构具有亮度和色度分量不同分辨率的视频，如图9中所示。
解码器可以在色度子采样被使用时确定来自多个相邻像素位置的像素位置的色度采样值(例如Cb和Cr分量采样值)。解码器可以从像素位置的色度采样值重构CU的色度采样值。多个相邻像素位置可以称为像素集合。像素集合中的像素位置可以基于4：4：4色度分辨率与4：2：0或4：2：2色度分辨率之间的采样率比来选择。例如，如图5、图6和图7中所示，一个像素值(例如如虚线矩形包围的)可以包括针对4：2：0色度格式的像素位置的2x2块和针对4：2：2色度格式的像素位置的1x2块。针对图5、图6和图7中的一个或多个(例如每个)像素集合，有图案的像素可以是亮度采样和色度采样具有值的像素位置。没有图案的像素可以是仅亮度采样具有值的像素位置。在用于重构4：2：0或4：2：2色度格式中的输出CU的色度子采样过程的示例中，位于有图案的像素位置的中间(intermediate)4：4：4块中的色度采样可以被保持。位于没有图案的像素位置的中间4：4：4块中的色度采样可以被丢弃。在图5、图6和图7中，有图案的像素可以位于每个像素集合的左上或上面。图5、图6和图7是排列的示例。其他排列可以被使用。例如，有图案的像素可以位于每个像素集合的左下或下面。像素集合中的像素(例如除了图5、图6和图7中的左上或上面像素)可以被选为其相应色度采样可以被保留在最终输出4：2：0或4：2：2视频块中的像素位置。
在色度子采样过程中，基于插值的子采样过程可以用于从中间4：4：4块到输出非4：4：4视频块子采样色度分量，如公式(4)所示：
c+可以是子采样的色度分量。B可以是表示目标色度采样的多个相邻像素的像素集合。ui可以是像素集合B中第i个像素的色度分量的采样值。hi可以是可以应用于ui的加权因子。不同的度量可以用于导出hi。例如，hi可以根据亮度采样和色度采样之间的相位距离被导出。
可以在调色板模式中解码以非4：4：4色度格式的视频的比特流。到非4：4：4格式的调色板模式的解码过程的输入可以包括：指定相对于当前图片的左上采样的当前块的左上采样的位置(xCb，yCb)；指定当前块的颜色分量的变量cIdx；指定当前块的尺寸的变量nCbS；阵列调色板_模式[xCb+x][yCb+y]，其中x＝0..nCbS-1且y＝0..nCbS-1，指定当前块中一个或多个(例如每一个)采样的调色板模式；阵列调色板映射[xCb+x][yCb+y]，其中x＝0..nCbS-1，y＝0..nCbS-1，指定调色板模式可以不等于逃逸的当前块中一个或多个(例如每一个)采样的调色板索引；和/或阵列调色板_逃逸_val(palette_escape_val)[xCb+x][yCb+y]，其中x＝0..nCbS-1且y＝0..nCbS-1，指定调色板模式可以等于逃逸的当前块中的一个或多个(例如每个)采样的量化逃逸值；等等。
依据颜色分量cIdx的值，可以导出变量nSubWidth(n子宽度)和nSubHeight(n子高度)。如果cIdx等于0(例如，采样可以是亮度采样)，nSubWidth可以被设置为1且nSubHeight可以被设置1。如果cIdx不等于0(例如，采样可以是色度采样)，nSubWidth可以被设置为SubWidthC且nSubHeight可以被设置为SubHeightC。输出可以是阵列rec采样[x][y]，其中x＝0..nCbS/nSubWidth-1，y＝0..nCbS/nSubHeight-1，指定调色板块的重构采样值。
依据颜色分量cIdx的值，可以进行以下分配。如果cIdx等于0，rec采样可以对应于重构图片采样阵列SL，且函数clipCidx1(修剪Cidx1)可以对应于Clip1Y(修剪1Y)。如果cIdx等于1，rec采样可以对应于重构色度采样阵列SCb，且函数clipCidx1可以对应于Clip1C。如果cIdx等于2，rec采样可以对应于重构色度采样阵列SCr且函数clipCidx1可以对应于Clip1C。
视频解码设备可以接收非4：4：4色度格式中的一个或多个CU。例如，比特流可以包括用于定义当前块的4：4：4色度格式中的调色板表和调色板索引映射的数据。针对非4：4：4色度格式中的亮度采样位置，可以基于亮度采样位置、调色板索引映射和调色板表来确定各自的亮度采样值。与亮度采样位置相关联的颜色索引值可以被确定，并用于在调色板表中查找各自的亮度采样值。
视频解码设备可以子采样4：4：4色度格式中的CU以获得非4：4：4色度格式中的CU。针对非4：4：4色度格式中的色度采样位置，可以基于在非4：4：4色度格式中亮度分量与色度分量的分辨率比导出调色板索引映射上与4：4：4色度格式相关联的色度采样位置。针对4：4：4色度格式中的色度采样位置，可以基于4：4：4色度格式中的色度分量与非4：4：4色度格式中的色度分量的分辨率比导出调色板索引映射上的与非4：4：4色度格式相关联的色度采样位置。针对非4：4：4色度格式中的一个或多个CU的色度分量，视频编码设备可以定位4：4：4色度格式中的相应色度分量。视频解码设备可以将4：4：4色度格式坐标中的位置映射到非4：4：4格式坐标中的相应位置。例如，可以基于变量nSubWidth和nSubHeight计算色度格式坐标。参数nSubWidth可以指示4：4：4色度格式中的色度分量的水平分辨率与非4：4：4色度格式的色度分量的水平分辨率的比。参数nSubHeight可以指示4：4：4色度格式中的色度分量的垂直分辨率与非4：4：4色度格式的垂直分辨率的比。视频解码设备可以从比特流确定变量nSubWidth和nSubHeight。可以基于导出的与4：4：4色度格式相关联的色度采样位置、调色板索引映射和调色板表来确定非4：4：4色度格式中的色度采样位置的各自色度采样值。
可以导出在位置(xCb/nSubWidth,yCb/nSubHeight)的重构采样阵列rec采样的(nCbs/nSubWidth x nCbS/nSubHeight)块。针对x＝0..nCbS/nSubWidth-1,y＝0..nCbS/nSubHeight SubHeightC-1，rec采样[cIdx][yCb/nSubHeightSubHeightC+y][xCb/nSubWidth+x]可以被设置。如果调色板_模式[xCb+x*nSubWidth][yCb+y*nSubHeight]不等于逃逸，以下可以应用。如果调色板_转换_标记(palette_transpose_flag)为真，以下可以应用：rec采样[cIdx][yCb/nSubHeight+y][xCb/nSubWidth+x]＝调色板_项[cIdx][调色板映射[xCb+x*nSubWidth][yCb+y*nSubHeight]]。如果调色板_转换_标记为假，以下可以应用：rec采样[cIdx][xCb/nSubWidth+x][yCb/nSubHeight+y]＝调色板_项[cIdx][调色板映射[xCb+x*nSubWidth][yCb+y*nSubHeight]]。如果cu_transquant_旁路_标记(cu_transquant_bypass_flag)为真，以下可以应用。如果调色板_转换_标记是真，以下可以应用：rec采样[cIdx][yCb/nSubHeight+y][xCb/nSubWidth+x]＝调色板_逃逸_val[cIdx][xCb+x*nSubWidth][yCb+y*nSubHeight]。如果调色板_转换_标记为假，以下可以应用：rec采样[cIdx][xCb/nSubWidth+x][yCb/nSubHeight+y]＝调色板_逃逸_val[cIdx][xCb+x*nSubWidth][yCb+y*nSubHeight]。如果调色板_模式[xCb+x*nSubWidth][yCb+y*nSubHeight]等于逃逸且cu_transquant_旁路_标记为假，以下步骤可以应用。如这里可以描述的量化参数的导出可以被调用，例如在当前块是切片中的第一个块的情况下，可用(available)A等于假，可用B等于假，以及CuQpDeltaVal等于0。量化参数qP可以如下导出：如果cIdx等于0，qP可以设置为Qp’Y；如果cIdx等于1，qP可以设置为Qp’Cb；如果cIdx等于2，则qP可以被设置为Qp’Cr。变量bdShift可以如下导出：
bitShift＝((cIdx＝＝0)？BitDepthY:BitDepthC)+Log2(nTbS)-5(5)
列表levelScale(等级大小)[]可以被指定为levelScale[k]＝{40,45,51,57,64,72}，k＝0.5。以下可以应用。如果调色板_转换_标记为真，则以下可以应用：
rec采样[xCb/nSubWidth+x][yCb/nSubHeight+y]＝Clip3(0,1<<bdShift-1,((调色板_逃逸_val[cIdx][yCb+y*nSubHeight][xCb+x*nSubWidth]*16*levelScale[qP％6]<<(qP/6))+(1<<(bdShift-1)))>>bdShift)
如果调色板_tranpose_flag为假，则以下可以应用：
rec采样[xCb/nSubWidth+x][yCb/nSubHeight+y]＝
Clip(0,1<<bdShift-1,((调色板_逃逸_val[cIdx][xCb+x*nSubWidth][yCb+y*nSubHeight]*16*levelScale[qP％6]<<(qP/6))+(1<<(bdShift-1)))>>bdShift)
这里可以描述用于逃逸颜色的语义冗余移除。
如表1中所示，如果像素被编码为逃逸颜色，则分量的采样值可以被量化(例如如果应用有损编码)并通过语义元素palette_escape_val传送到解码器。针对一个或多个(例如每个)像素集合，像素位置的色度采样值可以用于重构非4：4：4调色板实施中的输出CU。相同像素集合中的其他像素的色度采样值可以用信号发送或可以不用信号发送，例如在这些像素被编码为逃逸颜色的情况下。像素位置可以用于成为用于色度分量的语义元素palett_escape_val存在的条件，由此对于逃逸颜色编码的像素位置，可以在比特流中用信号发送能够在重构过程中使用的色度采样值。
当像素位置被编码为逃逸颜色时，如果像素位置对应于一个或多个(例如每个)像素集合中的有图案的像素位置，则颜色分量的采样值可以被量化(例如如果需要)和编码。如果逃逸颜色像素位置对应于相同像素集合中的其余像素(例如没有图案的像素)，则可以量化(例如如果需要)且在比特流中用信号发送亮度采样值。表2示出了基于逃逸颜色信令中的有条件包含色度分量的语义设计。
表2逃逸颜色信令中有条件包含色度分量的示例调色板模式语义
视频编码设备可以被配置成将像素位置编码为逃逸颜色。调色板表可以包括对应于CU中多个主颜色的多个颜色值。调色板索引映射可以标识CU中采样位置的颜色索引值。可以基于调色板索引映射上与采样位置相关联的颜色索引值来确定与逃逸颜色相关联的采样位置。在图5、图6和图7中，有图案的像素包括其中存在亮度和色度采样两者的像素位置。没有图案的像素可包括其中存在亮度采样(例如仅存在亮度采样)的像素位置。像素位置可以或可以不对应于一个或多个像素集合中的有图案的像素位置。例如，像素位置可以对应于一个或多个像素集合中有图案的像素位置。像素位置可以与逃逸颜色相关联。像素可以对应于相同像素集合中的其余像素(例如没有图案的像素)。视频编码设备可以当像素位置与(例如编码为)逃逸颜色相关联时基于像素位置或采样位置是否对应于有图案的像素位置来确定是否用信号发送像素或采样位置(例如在编码块中)的色度采样值。例如，在像素位置对应于有图案的像素位置的情况下，色度分量的采样值可以被量化和/或用信号发送。例如，色度分量可以被恢复。可以基于与采样位置相关联的色度分量的解码的逃逸颜色值来恢复色度分量。在当像素位置与(例如被编码为)逃逸颜色相关联时像素位置对应于没有图案的像素位置的情况下，可以省略色度分量的采样值。例如，色度分量的采样值可以或可以不被量化或用信号发送。在采样位置与非444色度格式中的至少一个色度分量相关联的情况下可以用信号发送与采样位置相关联的色度分量。在采样位置仅与亮度分量相关联的情况下可以不用信号发送与采样位置相关联的色度分量。
例如，如果视频编码设备确定逃逸颜色像素位置对应于相同集合中的其余像素，则视频编码设备可以被配置成量化亮度采样。例如，如果视频编码设备确定逃逸颜色像素位置对应于相同集合中的其余像素，则视频编码设备可以被配置成在比特流中用信号发送亮度采样。不管位置是有图案的还是没有图案的，可以一直量化或用信号发送逃逸颜色位置的亮度分量。
可以生成非4：4：4视频的调色板表和调色板索引映射。
通过考虑一个或多个(例如每个)像素的亮度或色度分量(例如YCbCr颜色格式中的Y、Cb和Cr)可以导出当前CU的调色板表和调色板索引映射。针对4：4：4色度格式中的视频，亮度分量和两个色度分量可以具有对使用调色板模式编码的CU的总体性能相似的影响。如这里所述，非4：4：4色度格式的亮度和色度分量可以对当前CU的重构采样有不相等的贡献。非4：4：4调色板编码可以生成调色板表和调色板索引，考虑了不同分量对最终重构过程的各自贡献。基于图7、图8和图9中示出的示例，在一个或多个(例如每个)像素集合中，针对有图案的像素位置，其亮度和色度采样的值可以用于生成当前CU的调色板表和调色板索引映射。针对相同像素集合中的其他像素位置(例如没有图案的像素)，该像素的亮度采样的值可以用于生成调色板表和调色板索引映射。上述公式(1)和(2)可以变为
参数D^+和D^*分别表示亮度和色度采样可以用于重构输出CU的像素集合和亮度采样可以用于重构输出CU的像素集合。
这里的非4：4：4调色板编码可以与调色板表和调色板索引映射生成实施独立操作。例如，针对4：4：4调色板编码的调色板表和调色板索引的生成实施可以与这里描述的非4：4：4调色板编码结合以使用调色板模式编码CU。等式(6)和(7)中示出的调色板表和调色板索引生成可以与这里描述的非4：4：4调色板编码结合以使用调色板模式编码CU。当视频编码设备被配置成将像素位置编码为逃逸颜色时，如等式(6)和(7)中所示的调色板表和调色板索引生成可以与非4：4：4调色板编码结合以使用调色板模式编码CU。
图10A是在其中可以实施一个或更多个实施方式的示例通信系统1000的图。通信系统1000可以是向多个无线用户提供内容，例如语音、数据、视频、消息发送、广播等的多接入系统。通信系统1000可以使多个无线用户通过系统资源共享(包括无线带宽)访问这些内容。例如，通信系统1000可以使用一种或多种信道接入方法，例如码分多址(CDMA)，时分多址(TDMA)，频分多址(FDMA)，正交FDMA(OFDMA)，单载波FMDA(SC-FDMA)等。
如图10A所示，通信系统1000可以包括无线发射/接收单元(WTRU)1002a、1002b、1002c、和/或1002d(其通常或整体上被称为WTRU 1002)，无线电接入网(RAN)1003/1004/1005，核心网络1006/1007/1009，公共交换电话网(PSTN)1008、因特网1010和其他网络1012。不过应该理解的是，公开的实施方式考虑到了任何数量的WTRU、基站、网络和/或网络元件。WTRU 1002a、1002b、1002c、1002d的每一个可以是配置为在无线环境中进行操作和/或通信的任何类型的设备。作为示例，可以将WTRU 1002a、1002b、1002c、1002d配置为传送和/或接收无线信号，并可以包括用户设备(UE)、基站、固定或者移动用户单元、寻呼器、蜂窝电话、个人数字助理(PDA)、智能电话、笔记本电脑、上网本、个人计算机、无线传感器、消费电子产品等等。
通信系统1000还可以包括基站1014a和基站1014b。基站1014a、1014b的每一个都可以是配置为与WTRU 1002a、1002b、1002c、1002d中的至少一个无线对接以便于接入一个或者更多个通信网络，例如核心网络1006/1007/1009、因特网1010、和/或网络1012的任何设备类型。作为示例，基站1014a、1014b可以是基站收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、站点控制器、接入点(AP)、无线路由器等等。虽然基站1014a、1014b的每一个被描述为单独的元件，但是应该理解的是，基站1014a、1014b可以包括任何数量互连的基站和/或网络元件。
基站1014a可以是RAN 1003/1004/1005的一部分，RAN还可以包括其他基站和/或网络元件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。可以将基站1014a和/或基站1014b配置为在特定地理区域之内传送和/或接收无线信号，该区域可以被称为小区(未显示)。小区还可以被划分为小区扇区。例如，与基站1014a关联的小区可以划分为三个扇区。因此，在一种实施方式中，基站1014a可以包括三个收发信机，即每一个用于小区的一个扇区。在另一种实施方式中，基站1014a可以使用多输入多输出(MIMO)技术，因此可以将多个收发信机用于小区的每一个扇区。
基站1014a、1014b可以通过空中接口1015/1016/1017与WTRU 1002a、1002b、1002c、1002d中的一个或者更多个通信，该空中接口1015/1016/1017可以是任何合适的无线通信链路(例如，射频(RF)、微波、红外(IR)、紫外线(UV)、可见光等)。可以使用任何合适的无线电接入技术(RAT)来建立空中接口1015/1016/1017。
更具体地，如上所述，通信系统1000可以是多接入系统，并可以使用一种或者多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如，RAN 1003/1004/1005中的基站1014a和WTRU 1002a、1002b、1002c可以使用例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)的无线电技术，其可以使用宽带CDMA(WCDMA)来建立空中接口1015/1016/1017。WCDMA可以包括例如高速分组接入(HSPA)和/或演进的HSPA(HSPA+)的通信协议。HSPA可以包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。
在另一种实施方式中，基站1014a和WTRU 1002a、1002b、1002c可以使用例如演进的UMTS陆地无线电接入(E-UTRA)的无线电技术，其可以使用长期演进(LTE)和/或高级LTE(LTE-A)来建立空中接口1015/1016/1017。
在其他实施方式中，基站1014a和WTRU 1002a、1002b、1002c可以使用例如IEEE802.16(即，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000EV-DO、暂行标准2000(IS-2000)、暂行标准95(IS-95)、暂行标准856(IS-856)、全球移动通信系统(GSM)、GSM演进的增强型数据速率(EDGE)、GSM EDGE(GERAN)等等的无线电技术。
图10A中的基站1014b可以是无线路由器、家庭节点B、家庭e节点B或者接入点，例如，并且可以使用任何适当的RAT以方便局部区域中的无线连接，例如商业场所、住宅、车辆、校园等等。在一种实施方式中，基站1014b和WTRU 1002c、1002d可以实施例如IEEE802.11的无线电技术来建立无线局域网(WLAN)。在另一种实施方式中，基站1014b和WTRU1002c、1002d可以使用例如IEEE 802.15的无线电技术来建立无线个域网(WPAN)。在另一种实施方式中，基站1014b和WTRU 1002c、1002d可以使用基于蜂窝的RAT(例如，WCDMA，CDMA2000，GSM，LTE，LTE-A等)来建立微微小区或毫微微小区。如图10A所示，基站1014b可以具有到因特网1010的直接连接。因此，基站1014b可以不需要经由核心网络1006/1007/1009而接入到因特网1010。
RAN 1003/1004/1005可以与核心网络1006/1007/1009通信，所述核心网络1006/1007/1009可以是被配置为向WTRU 1002a、1002b、1002c、1002d中的一个或更多个提供语音、数据、应用和/或基于网际协议的语音(VoIP)服务等的任何类型的网络。例如，核心网络1006/1007/1009可以提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分配等和/或执行高级安全功能，例如用户认证。虽然图10A中未示出，应该理解的是，RAN 1003/1004/1005和/或核心网络1006/1007/1009可以与使用和RAN 1003/1004/1005相同的RAT或不同RAT的其他RAN进行直接或间接的通信。例如，除了连接到正在使用E-UTRA无线电技术的RAN1003/1004/1005之外，核心网络1006/1007/1009还可以与使用GSM无线电技术的另一个RAN(未示出)通信。
核心网络1006/1007/1009还可以充当WTRU 1002a、1002b、1002c、1002d接入到PSTN 1008、因特网1010、和/或其他网络1012的网关。PSTN 1008可以包括提供普通老式电话服务(POTS)的电路交换电话网络。因特网1010可以包括使用公共通信协议的互联计算机网络和设备的全球系统，所述协议例如有TCP/IP网际协议组中的传输控制协议(TCP)、用户数据报协议(UDP)和网际协议(IP)。网络1012可以包括被其他服务提供商拥有和/或运营的有线或无线的通信网络。例如，网络1012可以包括连接到一个或更多个RAN的另一个核心网络，该RAN可以使用和RAN 1003/1004/1005相同的RAT或不同的RAT。
通信系统1000中的WTRU 1002a、1002b、1002c、1002d的某些或全部可以包括多模式能力，即WTRU 1002a、1002b、1002c、1002d可以包括用于在不同无线链路上与不同无线网络进行通信的多个收发信机。例如，图10A中示出的WTRU 1002c可被配置为与基站1014a通信，所述基站1014a可以使用基于蜂窝的无线电技术，以及与基站1014b通信，所述基站1014b可以使用IEEE 802无线电技术。
图10B是WTRU 1002示例的系统图。如图10B所示，WTRU 1002可以包括处理器1018、收发信机1020、发射/接收元件1022、扬声器/麦克风1024、键盘1026、显示器/触摸板1028、不可移除存储器1030、可移除存储器1032、电源1034、全球定位系统(GPS)芯片组1036和其他外围设备1038。应该理解的是，WTRU 1002可以在保持与实施方式一致时，包括前述元件的任何子组合。而且，实施方式考虑了基站1014a和1014b和/或基站1014a和1014b可以表示的节点(诸如但不局限于收发信台(BTS)、节点B、站点控制器、接入点(AP)、家庭节点B、演进型家庭节点B(e节点B)、家庭演进型节点B(HeNB或He节点B)、家庭演进型节点B网关和代理节点等可以包括图10B所描绘和这里描述的一些或所有元件。
处理器1018可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或更多个微处理器、控制器、微控制器、专用集成电路(ASIC)、场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等等。处理器1018可执行信号编码、数据处理、功率控制、输入/输出处理、和/或使WTRU 1002运行于无线环境中的任何其他功能。处理器1018可以耦合到收发信机1020，所述收发信机1020可耦合到发射/接收元件1022。虽然图10B描述了处理器1018和收发信机1020是单独的部件，但是应该理解的是，处理器1018和收发信机1020可以一起集成在电子封装或芯片中。
发射/接收元件1022可以被配置为通过空中接口1015/1016/1017将信号传送到基站(例如，基站1014a)，或从基站(例如，基站1014a)接收信号。例如，在一种实施方式中，发射/接收元件1022可以是被配置为发射和/或接收RF信号的天线。在另一种实施方式中，发射/接收元件1022可以是被配置为发射和/或接收例如IR、UV或可见光信号的发射器/检测器。在另一种实施方式中，发射/接收元件1022可以被配置为发射和接收RF和光信号两者。应当理解，发射/接收元件1022可以被配置为发射和/或接收无线信号的任何组合。
另外，虽然发射/接收元件1022在图10B中描述为单独的元件，但是WTRU 1002可以包括任意数量的发射/接收元件1022。更具体的，WTRU1002可以使用例如MIMO技术。因此，在一种实施方式中，WTRU 1002可以包括用于通过空中接口1015/1016/1017传送和接收无线信号的两个或更多个发射/接收元件1022(例如，多个天线)。
收发信机1020可以被配置为调制要由发射/接收元件1022发射的信号和/或解调由发射/接收元件1022接收的信号。如上面提到的，WTRU 1002可以具有多模式能力。因此收发信机1020可以包括使WTRU 1002经由多个例如UTRA和IEEE 802.11的RAT通信的多个收发信机。
WTRU 1002的处理器1018可以耦合到下述设备，并且可以从下述设备中接收用户输入数据：扬声器/麦克风1024、键盘1026、和/或显示器/触摸板1028(例如，液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)。处理器1018还可以输出用户数据到扬声器/麦克风1024、键盘1026、和/或显示/触摸板1028。另外，处理器1018可以从任何类型的适当的存储器访问信息，并且可以存储数据到任何类型的适当的存储器中，例如不可移除存储器1030和/或可移除存储器1032。不可移除存储器1030可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器设备。可移除存储器1032可以包括用户标识模块(SIM)卡、记忆棒、安全数字(SD)存储卡等等。在其他实施方式中，处理器1018可以从在物理位置上没有位于WTRU 1002上，例如位于服务器或家用计算机(未示出)上的存储器访问信息，并且可以将数据存储在该存储器中。
处理器1018可以从电源1034接收电能，并且可以被配置为分配和/或控制到WTRU1002中的其他部件的电能。电源1034可以是给WTRU 1002供电的任何适当的设备。例如，电源1034可以包括一个或更多个干电池(例如，镍镉(NiCd)、镍锌(NiZn)、镍氢(NiMH)、锂离子(Li-ion)等等)，太阳能电池，燃料电池等等。
处理器1018还可以耦合到GPS芯片组1036，所述GPS芯片组1036可以被配置为提供关于WTRU 1002当前位置的位置信息(例如，经度和纬度)。另外，除来自GPS芯片组1036的信息或作为其替代，WTRU 1002可以通过空中接口1015/1016/1017从基站(例如，基站1014a、1014b)接收位置信息和/或基于从两个或更多个邻近基站接收的信号的定时来确定其位置。应当理解，WTRU 1002在保持实施方式的一致性时，可以通过任何适当的位置确定方法获得位置信息。
处理器1018可以耦合到其他外围设备1038，所述外围设备1038可以包括一个或更多个提供附加特性、功能和/或有线或无线连接的软件和/或硬件模块。例如，外围设备1038可以包括加速计、电子罗盘、卫星收发信机、数字相机(用于照片或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、蓝牙模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。
图10C是根据实施方式的RAN 1003和核心网络1006的系统图。如上面提到的，RAN1003可使用UTRA无线电技术通过空中接口1015与WTRU1002a、1002b、1002c通信。RAN 1003还可以与核心网络1006通信。如图10C所示，RAN 1003可以包括节点B 1040a、1040b、1040c，节点B 1040a、1040b、1040c的每一个包括一个或更多个用于通过空中接口1015与WTRU1002a、1002b、1002c通信的收发信机。节点B 1040a、1040b、1040c的每一个可以与RAN1003内的特定小区(未显示)关联。RAN 1003还可以包括RNC 1042a、1042b。应当理解的是，RAN 1003在保持实施方式的一致性时，可以包括任意数量的节点B和RNC。
如图10C所示，节点B 1040a、1040b可以与RNC 1042a通信。此外，节点B 1040c可以与RNC 1042b通信。节点B 1040a、1040b、1040c可以通过Iub接口分别与RNC 1042a、1042b通信。RNC 1042a、1042b可以通过Iur接口相互通信。RNC 1042a、1042b的每一个可以被配置以控制其连接的各个节点B 1040a、1040b、1040c。另外，RNC 1042a、1042b的每一个可以被配置以执行或支持其他功能，例如外环功率控制、负载控制、准入控制、分组调度、切换控制、宏分集、安全功能、数据加密等等。
图10C中所示的核心网络1006可以包括媒体网关(MGW)1044、移动交换中心(MSC)1046、服务GPRS支持节点(SGSN)1048、和/或网关GPRS支持节点(GGSN)1050。尽管前述元件的每一个被描述为核心网络1006的部分，应当理解的是，这些元件中的任何一个可以被不是核心网络运营商的实体拥有或运营。
RAN 1003中的RNC 1042a可以通过IuCS接口连接至核心网络1006中的MSC 1046。MSC 1046可以连接至MGW 1044。MSC 1046和MGW 1044可以向WTRU 1002a、1002b、1002c提供到电路交换网络(例如PSTN 1008)的接入，以便于WTRU 1002a、1002b、1002c和传统陆地线路通信设备之间的通信。
RAN 1003中RNC 1042a还可以通过IuPS接口连接至核心网络1006中的SGSN 1048。SGSN 1048可以连接至GGSN 1050。SGSN 1048和GGSN1050可以向WTRU 1002a、1002b、1002c提供到分组交换网络(例如因特网1010)的接入，以便于WTRU 1002a、1002b、1002c和IP使能设备之间的通信。
如上所述，核心网络1006还可以连接至网络1012，网络1012可以包括由其他服务提供商拥有或运营的其他有线或无线网络。
图10D是根据实施方式的RAN 1004和核心网络1007的系统图。如上面提到的，RAN1004可使用E-UTRA无线电技术通过空中接口1016与WTRU 1002a、1002b、1002c通信。RAN1004还可以与核心网络1007通信。
RAN 1004可包括e节点B 1060a、1060b、1060c，但可以理解的是，RAN 1004可以包括任意数量的e节点B而保持与各种实施方式的一致性。e节点B 1060a、1060b、1060c的每一个可包括一个或更多个用于通过空中接口1016与WTRU 1002a、1002b、1002c通信的收发信机。在一种实施方式中，e节点B 1060a、1060b、1060c可以使用MIMO技术。因此，e节点B1060a例如可以使用多个天线来向WTRU 1002a发送无线信号和/或从其接收无线信号。
e节点B 1060a、1060b、1060c的每一个可以与特定小区关联(未显示)，并可以被配置为处理无线资源管理决策、切换决策、在上行链路和/或下行链路中的用户调度等等。如图10D所示，e节点B 1060a、1060b、1060c可以通过X2接口相互通信。
图10D中所示的核心网络1007可以包括移动性管理实体(MME)1062、服务网关1064、和分组数据网络(PDN)网关1066。虽然前述元件的每一个被描述为核心网络1007的一部分，应当理解的是，这些元件中的任意一个可以由除了核心网络运营商之外的实体拥有和/或运营。
MME 1062可以经由S1接口连接到RAN 1004中的e节点B 1060a、1060b、1060c的每一个，并可以作为控制节点。例如，MME 1062可以负责WTRU 1002a、1002b、1002c的用户认证、承载激活/去激活、在WTRU 1002a、1002b、1002c的初始附着期间选择特定服务网关等等。MME 1062还可以提供控制平面功能，用于在RAN 1004和使用例如GSM或者WCDMA的其他无线电技术的其他RAN(未显示)之间切换。
服务网关1064可以经由S1接口连接到RAN 1004中的e节点B 1060a、1060b、1060c的每一个。服务网关1064通常可以向/从WTRU 1002a、1002b、1002c路由和转发用户数据分组。服务网关1064还可以执行其他功能，例如在e节点B间切换期间锚定用户平面、当下行链路数据对于WTRU 1002a、1002b、1002c可用时触发寻呼、管理和存储WTRU 1002a、1002b、1002c的上下文(context)等等。
服务网关1064还可以连接到PDN网关1066，PDN网关1066可以向WTRU 1002a、1002b、1002c提供到分组交换网络(例如因特网1010)的接入，以便于WTRU 1002a、1002b、1002c与IP使能设备之间的通信。
核心网络1007可以便于与其他网络的通信。例如，核心网络1007可以向WTRU1002a、1002b、1002c提供到电路交换网络(例如PSTN 1008)的接入，以便于WTRU 1002a、1002b、1002c与传统陆地线路通信设备之间的通信。例如，核心网络1007可以包括IP网关(例如IP多媒体子系统(IMS)服务器)，或者与之通信，该IP网关作为核心网络1007与PSTN1008之间的接口。另外，核心网络1007可以向WTRU 1002a、1002b、1002c提供到网络1012的接入，该网络1012可以包括被其他服务提供商拥有和/或运营的其他有线或无线网络。
图10E是根据实施方式的RAN 1005和核心网络1009的系统图。RAN1005可以是使用IEEE 802.16无线电技术通过空中接口1017与WTRU1002a、1002b、1002c进行通信的接入服务网络(ASN)。如下面进一步讨论的，WTRU 1002a、1002b、1002c，RAN 1005和核心网络1009的不同功能实体之间的链路可以被定义为参考点。
如图10E所示，RAN 1005可以包括基站1080a、1080b、1080c和ASN网关1082，但应当理解的是，RAN 1005可以包括任意数量的基站和ASN网关而与实施方式保持一致。基站1080a、1080b、1080c的每一个可以与RAN 1005中特定小区(未示出)关联并可以包括一个或更多个通过空中接口1017与WTRU 1002a、1002b、1002c通信的收发信机。在一个实施方式中，基站1080a、1080b、1080c可以使用MIMO技术。因此，基站1080a例如使用多个天线来向WTRU 1002a发送无线信号，或从其接收无线信号。基站1080a、1080b、1080c可以提供移动性管理功能，例如呼叫切换(handoff)触发、隧道建立、无线电资源管理，业务分类、服务质量策略执行等等。ASN网关1082可以充当业务聚集点，并且负责寻呼、缓存用户资料(profile)、路由到核心网络1009等等。
WTRU 1002a、1002b、1002c和RAN 1005之间的空中接口1017可以被定义为使用802.16规范的R1参考点。另外，WTRU 1002a、1002b、1002c的每一个可以与核心网络1009建立逻辑接口(未显示)。WTRU 1002a、1002b、1002c和核心网络1009之间的逻辑接口可以定义为R2参考点，其可以用于认证、授权、IP主机(host)配置管理、和/或移动性管理。
基站1080a、1080b、1080c的每一个之间的通信链路可以定义为包括便于WTRU切换和基站间转移数据的协议的R8参考点。基站1080a、1080b、1080c和ASN网关1082之间的通信链路可以定义为R6参考点。R6参考点可以包括用于促进基于与WTRU 1002a、1002b、1002c的每一个关联的移动性事件的移动性管理的协议。
如图10E所示，RAN 1005可以连接至核心网络1009。RAN 1005和核心网络1009之间的通信链路可以定义为包括例如便于数据转移和移动性管理能力的协议的R3参考点。核心网络1009可以包括移动IP本地代理(MIP-HA)1084，认证、授权、计费(AAA)服务器1086和网关1088。尽管前述的每个元件被描述为核心网络1009的部分，应当理解的是，这些元件中的任意一个可以由不是核心网络运营商的实体拥有或运营。
MIP-HA可以负责IP地址管理，并可以使WTRU 1002a、1002b、1002c在不同ASN和/或不同核心网络之间漫游。MIP-HA 1084可以向WTRU1002a、1002b、1002c提供分组交换网络(例如因特网1010)的接入，以促进WTRU 1002a、1002b、1002c和IP使能设备之间的通信。AAA服务器1086可以负责用户认证和支持用户服务。网关1088可促进与其他网络互通。例如，网关1088可以向WTRU 1002a、1002b、1002c提供电路交换网络(例如PSTN 1008)的接入，以促进WTRU 1002a、1002b、1002c和传统陆地线路通信设备之间的通信。此外，网关1088可以向WTRU 1002a、1002b、1002c提供网络1012，其可以包括由其他服务提供商拥有或运营的其他有线或无线网络。
尽管未在图10E中显示，应当理解的是，RAN 1005可以连接至其他ASN，并且核心网络1009可以连接至其他核心网络。RAN 1005和其他ASN之间的通信链路可以定义为R4参考点，其可以包括协调RAN 1005和其他ASN之间的WTRU 1002a、1002b、1002c的移动性的协议。核心网络1009和其他核心网络之间的通信链路可以定义为R5参考点，其可以包括促进本地核心网络和被访问核心网络之间的互通的协议。
这里描述的方法可以用计算机程序、软件或固件实现，其可包含到由计算机或处理器执行的计算机可读介质中。计算机可读介质的示例包括但不限于电子信号(通过有线或无线连接传送)和/或计算机可读存储介质。计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储器设备、磁性介质(例如但不限于内部硬盘和可移动磁盘)、磁光介质、和/或光介质(例如CD-ROM盘和/或数字通用盘(DVD))。与软件关联的处理器可用于实现射频收发信机，用于WTRU、UE、终端、基站、RNC和/或任何主计算机。

Claims (54)

1.一种用于对与第一色度格式相关联的视频比特流进行调色板解码的方法，该方法包括：
接收用于定义与编码单元(CU)相关联的调色板表和调色板索引映射的数据，该调色板表和该调色板索引映射与第二色度格式相关联；
针对与所述第一色度格式相关联的第一色度采样位置，基于与所述第一色度格式相关联的亮度分量与色度分量分辨率比在所述调色板索引映射上得到与所述第二色度格式相关联的色度采样位置；以及
基于得到的与所述第二色度格式相关联的色度采样位置、所述调色板索引映射、和所述调色板表确定用于与所述第一色度格式相关联的色度采样位置的各自的色度采样值。
2.根据权利要求1所述的方法，其中所述调色板表包括对应于所述CU中的多个颜色的多个颜色值，以及所述调色板索引映射标识用于所述CU中的采样位置的各自的颜色索引值，该方法还包括：
确定所述调色板索引映射上与所述第二色度格式相关联的色度采样位置关联的颜色索引值；以及
使用该颜色索引值来在所述调色板表中查找所述各自的色度采样值。
3.根据权利要求1所述的方法，还包括：
针对与所述第一色度格式相关联的亮度采样位置，基于所述亮度采样位置、所述调色板索引映射、和所述调色板表确定各自的亮度采样值。
4.根据权利要求3所述的方法，其中所述调色板表包括对应于所述CU中多个颜色的多个颜色值，以及所述调色板索引映射标识用于所述CU中的采样位置的各自的颜色索引值，该方法还包括：
确定与所述亮度采样位置相关联的颜色索引值；以及
使用该颜色索引值来在所述调色板表中查找所述各自的亮度采样值。
5.根据权利要求1所述的方法，该方法还包括：
标识所述CU中的第二采样位置；
基于所述第二采样位置和所述第一色度格式，确定所述第二采样位置是否仅与亮度分量相关联；以及
基于确定所述第二采样位置仅与所述亮度分量相关联，丢弃与所述第二采样位置相关联的色度采样值。
6.根据权利要求1所述的方法，其中所述第一色度格式是非4：4：4色度格式以及所述第二色度格式是4：4：4色度格式。
7.根据权利要求6所述的方法，其中非4：4：4色度格式是4：2：0、4：2：2、或4：0：0。
8.一种用于对与第一色度格式相关联的视频比特流进行调色板解码的方法，该方法包括：
接收用于定义与编码单元(CU)相关联的调色板表和调色板索引映射的数据，该调色板表和该调色板索引映射与第二色度格式相关联；
确定所述CU中的采样位置是否与逃逸颜色相关联；
基于确定所述采样位置与所述逃逸颜色相关联，基于所述采样位置和所述第一色度格式确定与所述采样位置相关联的色度分量是否用信号发送；以及
基于确定与所述采样位置相关联的所述色度分量用信号发送，恢复所述色度分量。
9.根据权利要求8所述的方法，其中基于用于与所述采样位置相关联的所述色度分量的解码的逃逸颜色值，恢复所述色度分量。
10.根据权利要求8所述的方法，其中所述调色板表包括对应于所述CU中的多个颜色的多个颜色值，所述调色板索引映射标识用于所述CU中的采样位置的所述各自的颜色索引值，以及基于与所述调色板索引映射上的所述采样位置相关联的颜色索引值确定所述采样位置是否与逃逸颜色相关联。
11.根据权利要求8所述的方法，其中在所述采样位置与所述第一色度格式中的至少一个色度分量相关联的情况下，确定与所述采样位置相关联的所述色度分量用信号发送。
12.根据权利要求8所述的方法，其中在所述采样位置仅与亮度分量相关联的情况下，确定与所述采样位置相关联的所述色度分量不用信号发送。
13.根据权利要求8所述的方法，其中所述第一色度格式是非4：4：4色度格式以及所述第二色度格式是4：4：4色度格式。
14.根据权利要求13所述的方法，其中非4：4：4色度格式是4：2：0、4：2：2、或4：0：0。
15.一种用于调色板编码视频的方法，该方法包括：
接收与第一色度格式相关联的视频块，该视频块包括多个色度采样位置和多个亮度采样位置；
根据第二色度格式对所述多个色度采样位置进行上采样；
基于上采样的色度采样位置和所述多个亮度采样位置得到与所述第二色度格式相关联的调色板表和调色板索引映射；以及
在视频比特流中编码与所述第二色度格式相关联的所述调色板表和所述调色板索引映射。
16.根据权利要求15所述的方法，其中亮度采样位置附近的色度采样位置用于对所述多个色度采样位置进行上采样。
17.根据权利要求15所述的方法，其中在相位距离离亮度采样位置最近的色度采样位置用于对所述多个色度采样位置进行上采样。
18.根据权利要求15所述的方法，其中基于插值的上采样用于对所述多个色度采样位置进行上采样，其中所述基于插值的上采样基于亮度采样位置附近的色度采样位置和所述色度采样位置与所述亮度采样位置之间的相位距离。
19.根据权利要求15所述的方法，其中与第二采样位置相关联的色度采样值被编码，其中所述第二采样位置仅与亮度采样值相关联。
20.根据权利要求15所述的方法，其中所述第一色度格式是非4：4：4色度格式以及所述第二色度格式是4：4：4色度格式。
21.根据权利要求20所述的方法，其中非4：4：4格式是4：2：0、4：2：2、或4：0：0。
22.一种用于对与第一色度格式相关联的视频比特流进行调色板编码的方法，该方法包括：
得到与编码单元(CU)相关联的调色板表和调色板索引映射，该调色板表和该调色板索引映射与第二色度格式相关联；
确定所述CU中的采样位置是否与逃逸颜色相关联；
基于确定所述采样位置与所述逃逸颜色相关联，基于所述采样位置和所述第一色度格式来确定是否用信号发送与所述采样位置相关联的色度分量；以及
基于确定将用信号发送与所述采样位置相关联的所述色度分量，在所述视频比特流中编码所述色度分量。
23.根据权利要求22所述的方法，其中用于与所述采样位置相关联的所述色度分量的逃逸颜色值被编码。
24.根据权利要求22所述的方法，其中在所述采样位置与所述第一色度格式中的至少一个色度采样值相关联的情况下，确定用信号发送与所述采样位置相关联的所述色度分量。
25.根据权利要求22所述的方法，其中在所述采样位置仅与亮度采样值相关联的情况下，确定不用信号发送与所述采样位置相关联的所述色度分量。
26.根据权利要求22所述的方法，其中所述第一色度格式是非4：4：4色度格式以及所述第二色度格式是4：4：4色度格式。
27.根据权利要求26所述的方法，其中非4：4：4格式是4：2：0、4：2：2、或4：0：0。
28.一种用于对与第一色度格式相关联的视频比特流进行调色板解码的视频编码设备，该视频编码设备包括：
处理器，被配置成：
接收用于定义与编码单元(CU)相关联的调色板表和调色板索引映射的数据，该调色板表和该调色板索引映射与第二色度格式相关联；
针对与所述第一色度格式相关联的第一色度采样位置，基于与所述第一色度格式相关联的亮度分量与色度分量分辨率比在所述调色板索引映射上得到与所述第二色度格式相关联的色度采样位置；以及
基于得到的与所述第二色度格式相关联的色度采样位置、所述调色板索引映射、和所述调色板表确定用于与所述第一色度格式相关联的色度采样位置的各自的色度采样值。
29.根据权利要求28所述的视频编码设备，其中所述调色板表包括对应于所述CU中的多个颜色的多个颜色值，并且所述调色板索引映射标识用于所述CU中的采样位置的各自的颜色索引值，以及所述处理器还被配置成：
确定所述调色板索引映射上与所述第二色度格式相关联的色度采样位置关联的颜色索引值；以及
使用该颜色索引值来在所述调色板表中查找所述各自的色度采样值。
30.根据权利要求28所述的视频编码设备，其中所述处理器还被配置成：
针对与所述第一色度格式相关联的亮度采样位置，基于所述亮度采样位置、所述调色板索引映射、和所述调色板表确定各自的亮度采样值。
31.根据权利要求30所述的视频编码设备，其中所述调色板表包括对应于所述CU中多个颜色的多个颜色值，并且所述调色板索引映射标识用于所述CU中的采样位置的各自的颜色索引值，以及所述处理器还被配置成：
确定与所述亮度采样位置相关联的颜色索引值；以及
使用该颜色索引值来在所述调色板表中查找所述各自的亮度采样值。
32.根据权利要求28所述的视频编码设备，其中所述处理器还被配置成：
标识所述CU中的第二采样位置；
基于所述第二采样位置和所述第一色度格式确定所述第二采样位置是否仅与亮度分量相关联；以及
基于确定所述第二采样位置仅与所述亮度分量相关联，丢弃与所述第二采样位置相关联的色度采样值。
33.根据权利要求28所述的视频编码设备，其中所述第一色度格式是非4：4：4色度格式以及所述第二色度格式是4：4：4色度格式。
34.根据权利要求33所述的视频编码设备，其中非4：4：4色度格式是4：2：0、4：2：2、或4：0：0。
35.一种用于对与第一色度格式相关联的视频比特流进行调色板解码的视频编码设备，该视频编码设备包括：
处理器，被配置成：
接收用于定义与编码单元(CU)相关联的调色板表和调色板索引映射的数据，该调色板表和该调色板索引映射与第二色度格式相关联；
确定所述CU中的采样位置是否与逃逸颜色相关联；
基于确定所述采样位置与所述逃逸颜色相关联，基于所述采样位置和所述第一色度格式确定与所述采样位置相关联的色度分量是否用信号发送；以及
基于确定与所述采样位置相关联的所述色度分量用信号发送，恢复所述色度分量。
36.根据权利要求35所述的视频编码设备，其中基于用于与所述采样位置相关联的所述色度分量的解码的逃逸颜色值，恢复所述色度分量。
37.根据权利要求35所述的视频编码设备，其中所述调色板表包括对应于所述CU中的多个颜色的多个颜色值，所述调色板索引映射标识用于所述CU中的采样位置的各自的颜色索引值，以及基于与所述调色板索引映射上的所述采样位置相关联的颜色索引值确定所述采样位置是否与逃逸颜色相关联。
38.根据权利要求35所述的视频编码设备，其中在所述采样位置与所述第一色度格式中的至少一个色度分量相关联的情况下，确定与所述采样位置相关联的所述色度分量用信号发送。
39.根据权利要求35所述的视频编码设备，其中在所述采样位置仅与亮度分量相关联的情况下，确定与所述采样位置相关联的所述色度分量不用信号发送。
40.根据权利要求35所述的视频编码设备，其中所述第一色度格式是非4：4：4色度格式以及所述第二色度格式是4：4：4色度格式。
41.根据权利要求40所述的视频编码设备，其中非4：4：4色度格式是4：2：0、4：2：2、或4：0：0。
42.一种调色板编码视频的视频编码设备，该视频编码设备包括：
处理器，被配置成：
接收与第一色度格式相关联的视频块，该视频块包括多个色度采样位置和多个亮度采样位置；
根据第二色度格式对所述多个色度采样位置进行上采样；
基于上采样的色度采样位置和所述多个亮度采样位置得到与所述第二色度格式相关联的调色板表和调色板索引映射；以及
在视频比特流中编码与所述第二色度格式相关联的所述调色板表和所述调色板索引映射。
43.根据权利要求42所述的视频编码设备，其中亮度采样位置附近的色度采样位置用于对所述多个色度采样位置进行上采样。
44.根据权利要求42所述的视频编码设备，其中在相位距离离亮度采样位置最近的色度采样位置用于对所述多个色度采样位置进行上采样。
45.根据权利要求42所述的视频编码设备，其中基于插值的上采样用于对所述多个色度采样位置进行上采样，其中所述基于插值的上采样基于亮度采样位置附近的所述色度采样位置和所述色度采样位置与所述亮度采样位置之间的相位距离。
46.根据权利要求42所述的视频编码设备，其中与第二采样位置相关联的色度采样值被编码，其中所述第二采样位置仅与亮度采样值相关联。
47.根据权利要求42所述的视频编码设备，其中所述第一色度格式是非4：4：4色度格式以及所述第二色度格式是4：4：4色度格式。
48.根据权利要求47所述的视频编码设备，其中非4：4：4格式是4：2：0、4：2：2、或4：0：0。
49.一种用于对与第一色度格式相关联的视频比特流进行调色板编码的视频编码设备，该视频编码设备包括：
处理器，被配置成：
得到与编码单元(CU)相关联的调色板表和调色板索引映射，该调色板表和该调色板索引映射与第二色度格式相关联；
确定所述CU中的采样位置是否与逃逸颜色相关联；
基于确定所述采样位置与所述逃逸颜色相关联，基于所述采样位置和所述第一色度格式来确定是否用信号发送与所述采样位置相关联的色度分量；以及
基于确定用信号发送与所述采样位置相关联的所述色度分量，在所述视频比特流中编码所述色度分量。
50.根据权利要求49所述的视频编码设备，其中用于与所述采样位置相关联的所述色度分量的逃逸颜色值被编码。
51.根据权利要求49所述的视频编码设备，其中在所述采样位置与所述第一色度格式中的至少一个色度采样值相关联的情况下，确定用信号发送与所述采样位置相关联的所述色度采样值。
52.根据权利要求49所述的视频编码设备，其中在所述采样位置仅与亮度采样值相关联的情况下，确定不用信号发送与所述采样位置相关联的所述色度采样值。
53.根据权利要求49所述的视频编码设备，其中所述第一色度格式是非4：4：4色度格式以及所述第二色度格式是4：4：4色度格式。
54.根据权利要求53所述的视频编码设备，其中非4：4：4格式是4：2：0、4：2：2、或4：0：0。
CN201680005963.8A 2015-01-14 2016-01-14 用于非4：4：4屏幕内容视频的调色板编码 Pending CN107211147A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562103419P 2015-01-14 2015-01-14
US62/103,419 2015-01-14
PCT/US2016/013406 WO2016115343A2 (en) 2015-01-14 2016-01-14 Palette coding for non-4:4:4 screen content video

Publications (1)

Publication Number Publication Date
CN107211147A true CN107211147A (zh) 2017-09-26

Family

ID=55697439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680005963.8A Pending CN107211147A (zh) 2015-01-14 2016-01-14 用于非4：4：4屏幕内容视频的调色板编码

Country Status (7)

Country Link
US (1) US20170374384A1 (zh)
EP (1) EP3245788A2 (zh)
JP (1) JP2018505604A (zh)
KR (1) KR20170103924A (zh)
CN (1) CN107211147A (zh)
TW (1) TW201637448A (zh)
WO (1) WO2016115343A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020169114A1 (en) * 2019-02-22 2020-08-27 Huawei Technologies Co., Ltd. Method and apparatus for affine based inter prediction of chroma subblocks
WO2020239119A1 (en) * 2019-05-30 2020-12-03 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering for chroma components
CN114424574A (zh) * 2019-09-20 2022-04-29 北京字节跳动网络技术有限公司 编解码块的缩放过程
CN114586344A (zh) * 2019-08-14 2022-06-03 Lg电子株式会社 参考亮度样本位置确定色度块的预测模式的图像编码/解码方法和设备及发送比特流的方法
US11490124B2 (en) 2019-04-20 2022-11-01 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma and luma syntax elements in video coding
CN116886927A (zh) * 2018-12-21 2023-10-13 北京达佳互联信息技术有限公司 视频编码的方法和装置、存储介质和计算机程序产品

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9979960B2 (en) 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
GB2542858A (en) * 2015-10-02 2017-04-05 Canon Kk Encoder optimizations for palette encoding of content with subsampled colour component
GB2547047B (en) * 2016-02-08 2018-07-18 Canon Kk Encoder optimizations for palette lossless encoding of content with subsampled colour component
US10368080B2 (en) * 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values
KR102707768B1 (ko) * 2017-05-25 2024-09-19 브이아이디 스케일, 인크. 360도 비디오 코딩을 위한 하이브리드 큐브 맵 투사
EP3861728A4 (en) * 2018-11-06 2022-04-06 Beijing Bytedance Network Technology Co., Ltd. COMPLEXITY REDUCTION IN A DERIVATION OF PARAMETERS FOR AN INTRA PREDICTION
CN113170122B (zh) 2018-12-01 2023-06-27 北京字节跳动网络技术有限公司 帧内预测的参数推导
CN113366833A (zh) 2019-02-01 2021-09-07 北京字节跳动网络技术有限公司 对环路整形的限制
CN113366841B (zh) 2019-02-01 2024-09-20 北京字节跳动网络技术有限公司 配置用于视频编解码的依赖于亮度的色度残差缩放
JP7197720B2 (ja) * 2019-02-24 2022-12-27 北京字節跳動網絡技術有限公司 パレットモードの使用の指示の独立した符号化
CN113475077B (zh) * 2019-02-24 2023-11-17 北京字节跳动网络技术有限公司 调色板模式使用指示的独立编解码
WO2020177702A1 (en) * 2019-03-04 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Two-level signaling of filtering information in video processing
CN113615188B (zh) * 2019-03-08 2024-08-02 北京字节跳动网络技术有限公司 调色板模式使用指示的联合编解码
CN113574889B (zh) 2019-03-14 2024-01-12 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
KR20210139272A (ko) 2019-03-23 2021-11-22 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링 파라미터 세트들에 대한 제한들
WO2020243295A1 (en) 2019-05-31 2020-12-03 Bytedance Inc. Palette mode with intra block copy prediction
KR20220032520A (ko) 2019-07-20 2022-03-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 팔레트 모드 사용 지시의 조건 종속적인 코딩
CN114145013B (zh) 2019-07-23 2023-11-14 北京字节跳动网络技术有限公司 调色板模式编解码的模式确定
WO2021018166A1 (en) 2019-07-29 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Scanning order improvements for palette mode coding
WO2021030788A1 (en) 2019-08-15 2021-02-18 Bytedance Inc. Entropy coding for palette escape symbol
JP7494289B2 (ja) 2019-08-15 2024-06-03 バイトダンス インコーポレイテッド 異なるパーティション構造をもつパレット・モード
CN114375581A (zh) * 2019-09-12 2022-04-19 字节跳动有限公司 在视频编解码中使用调色板预测器
CN114424545B (zh) 2019-09-19 2024-07-16 字节跳动有限公司 用于调色板模式的量化参数推导
US11451801B2 (en) * 2019-12-26 2022-09-20 Alibaba Group Holding Limited Methods for coding video data in palette mode

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10291827B2 (en) * 2013-11-22 2019-05-14 Futurewei Technologies, Inc. Advanced screen content coding solution
US10097839B2 (en) * 2014-12-19 2018-10-09 Qualcomm Incorporated Palette mode for subsampling format

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
D. FLYNN: "BoG report on Range Extensions topics", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 15TH MEETING：GENEVA， CH，JCTVC-O0352_V5》 *
JOSHI R ET AL: "Hevc Screen Content Coding Draft Text 1", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 18TH MEETING：SAPPORO，JCTVC-R1005_V2》 *
LIWEI GUO: "Non-RCE3: Modified Palette Mode for Screen Content Coding", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14TH MEETING：VIENNA， AT，JCTVC-N0249》 *
SULLIVAN G J ET AL: "Meeting Report of 14th JCT-VC Meeting", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14TH MEETING：VIENNA，JCTVC-N1000》 *
XIAOYU XIU ET AL: "Description of screen content coding technology proposal by InterDigital", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 17TH MEETING：VALENCIA， ES，JCTVC-Q0037_V4》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116886927A (zh) * 2018-12-21 2023-10-13 北京达佳互联信息技术有限公司 视频编码的方法和装置、存储介质和计算机程序产品
CN116886927B (zh) * 2018-12-21 2024-05-14 北京达佳互联信息技术有限公司 视频编码的方法和装置、存储介质和计算机程序产品
WO2020169114A1 (en) * 2019-02-22 2020-08-27 Huawei Technologies Co., Ltd. Method and apparatus for affine based inter prediction of chroma subblocks
US11924457B2 (en) 2019-02-22 2024-03-05 Huawei Technologies Co., Ltd. Method and apparatus for affine based inter prediction of chroma subblocks
US12022130B2 (en) 2019-04-20 2024-06-25 Beijing Bytedance Network Technology Co., Ltd. Signaling of syntax elements for joint coding of chrominance residuals
US11490124B2 (en) 2019-04-20 2022-11-01 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma and luma syntax elements in video coding
US11575939B2 (en) 2019-04-20 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Signaling of syntax elements for joint coding of chrominance residuals
WO2020239119A1 (en) * 2019-05-30 2020-12-03 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering for chroma components
US11477449B2 (en) 2019-05-30 2022-10-18 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering for chroma components
CN114586344A (zh) * 2019-08-14 2022-06-03 Lg电子株式会社 参考亮度样本位置确定色度块的预测模式的图像编码/解码方法和设备及发送比特流的方法
US11595642B2 (en) 2019-08-14 2023-02-28 Lg Electronics Inc. Image encoding/decoding method and apparatus for determining prediction mode of chroma block by referring to luma sample position, and method for transmitting bitstream
US11973942B2 (en) 2019-08-14 2024-04-30 Lg Electronics Inc. Image encoding/decoding method and apparatus for determining prediction mode of chroma block by referring to luma sample position, and method for transmitting bitstream
CN114586344B (zh) * 2019-08-14 2022-12-09 Lg电子株式会社 参考亮度样本位置确定色度块的预测模式的图像编码/解码方法和设备及发送比特流的方法
CN114424574A (zh) * 2019-09-20 2022-04-29 北京字节跳动网络技术有限公司 编解码块的缩放过程

Also Published As

Publication number Publication date
KR20170103924A (ko) 2017-09-13
US20170374384A1 (en) 2017-12-28
JP2018505604A (ja) 2018-02-22
TW201637448A (zh) 2016-10-16
WO2016115343A3 (en) 2016-10-13
EP3245788A2 (en) 2017-11-22
WO2016115343A2 (en) 2016-07-21

Similar Documents

Publication Publication Date Title
CN107211147A (zh) 用于非4：4：4屏幕内容视频的调色板编码
CN106233726B (zh) 用于rgb视频编码增强的系统和方法
CN106664410B (zh) 用于基于三维色彩映射模型参数优化的系统和方法
CN106165424B (zh) 用于调色板解码及编码视频数据的方法、解码器及编码器
JP7433019B2 (ja) ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング
CN105900432B (zh) 用于屏幕内容编码的二维调色板编码
CN107431817A (zh) 调色板译码模式和调色板翻转
CN104604230B (zh) 用于可分级视频编码的运动矢量预测的方法和装置
CN107836116A (zh) 使用交叉平面滤波的增强色度编码
CN105122805B (zh) 针对多层视频编码的层间参考图片增强的设备
CN103797792B (zh) 用于空间预测的系统和方法
CN107548556A (zh) 基于艺术意图的视频译码
CN105765979B (zh) 用于可缩放视频编码的层间预测
CN107211134A (zh) 用于调色编码模式的逃逸色彩编码
CN106797469A (zh) 改进的用于屏幕内容编码的调色板编码
CN107079157A (zh) 用于视频编码的分量间去相关
CN107534769A (zh) 用于高动态范围视频译码的色度增强滤波
CN106464921A (zh) 用于块内复制搜索增强的方法和系统
CN109982081A (zh) 用于多层视频编码的自适应上采样

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170926

WD01 Invention patent application deemed withdrawn after publication