CN106576152A - 改进的屏幕内容编码方法 - Google Patents

改进的屏幕内容编码方法 Download PDF

Info

Publication number
CN106576152A
CN106576152A CN201580010332.0A CN201580010332A CN106576152A CN 106576152 A CN106576152 A CN 106576152A CN 201580010332 A CN201580010332 A CN 201580010332A CN 106576152 A CN106576152 A CN 106576152A
Authority
CN
China
Prior art keywords
palette
item
frame
replication mode
copy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201580010332.0A
Other languages
English (en)
Inventor
索斯藤·罗德
约恩·奥斯特曼
马可·莫德兰
于浩平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN106576152A publication Critical patent/CN106576152A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93—Run-length coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

屏幕内容编码包括确定一个或多个先前已编码帧中的对应区域以对当前帧中的不变区域编码。通过从一个先前已编码帧或若干先前已编码帧中复制对应区域，对当前帧中的不变区域编码。在编码比特流中标识应用于所述不变区域的复制模式使用。可为每个不变区域标识所述复制模式，或者为一组不变区域标识一个复制模式。在无需进一步标识所述复制模式的情况下，将所述复制模式自动应用到与所述一组不变区域邻接的一个或多个不变区域。从所述先前已编码帧中复制所述对应区域包括从所述先前已编码帧中复制调色板项。根据出现频率重排序从所述先前已编码帧中复制的调色板项。

Description

改进的屏幕内容编码方法
技术领域
本发明大体上涉及高效率视频编码中的屏幕内容编码。
背景技术
随着近来基于云的业务的增长以及智能手机、平板电脑等移动设备取代传统计算机，出现了新的场景，其中计算机产生的内容，或者屏幕内容(screen content，SC)在一个设备上生成但在另一个设备上显示。一种可能场景是：应用在远程服务器上运行，而显示输出在用户的本地工作站上显示。另一种场景是：将智能手机或者平板电脑屏幕复制到电视设备屏幕，目的可以是在大屏幕上而不是在小的移动设备屏幕上观看电影。
这些场景伴随着对SC有效传输的需求，SC应该能够表示具有足够视觉质量的SC视频同时能够观测现有传输系统的数据速率限制。针对这种挑战的合适方案可以是使用视频编码技术来压缩SC。在过去几十年里已经充分研究了这些视频编码技术(参见[1].D.Salomon和G.Motta，Handbook of Data Compression，第五版，伦敦：施普林格，2010年)，并得出一些常用的视频编码标准，比如：
MPEG-2(参见[2].ISO/IEC 13818-2，Generic coding of moving pictures andassociated audio information—第二部分：Video/ITU-T Recommendation H.262，1994年；[3].B.G.Haskell，A.Puri和A.N.Netravali，Digital Video：An Introduction toMPEG-2，纽约：查普曼与霍尔，1997年)；
MPEG-4(参见[4].ISO/IEC 14496：MPEG-4Coding of audio-visual objects；[5].F.Pereira和T.Ebrahimi，The MPEG-4book，上萨德尔里弗，新泽西，美国：普伦蒂斯霍尔出版社PTR，2002年；[6].A.Puri和T.Chen，Multimedia Systems,Standards,andNetworks，纽约：马塞尔·德克尔公司，2000)；以及
高级视频编码(advanced video coding，AVC)(参见[7].ISO/IEC 14496-10，Coding of Audiovisual Objects—第10部分：Advanced Video Coding/ITU-TRecommendation H.264Advanced video coding for generic audiovisual services，2003年)。
近来，运动图像专家组(Moving Pictures Expert Group，MPEG)和视频编码专家组(Video Coding Experts Group，VCEG)的视频编码联合小组(Joint CollaborativeTeam on Video Coding，JCT-VC)开发了AVC的后继标准，称为高效率视频编码(HighEfficiency Video Coding，HEVC)(参见[8].ITU-T Recommendation H.265/ISO/IEC23008-2:2013MPEG-H第二部分：High Efficiency Video Coding(HEVC)，2013年)。HEVC与AVC基于相同的混合视频编码概念，但是通过改进现有编码工具和增加新编码工具实现的压缩性能是前任标准的两倍(参见[9].P.Hanhart，M.Rerabek，F.De Simone和T.Ebrahimi，SPIE光工程和应用中的“Subjective quality evaluation of the upcoming HEVC videocompression standard”，2012年，p.84990V)。
然而，已经开发HEVC用来压缩普通内容(natural content，NC)，即摄像机捕获的内容。结果是HEVC为NC提供高品质压缩性能，但有可能不是压缩SC的最佳方案。因此，在最终确定HEVC版本1之后，JCT-VC在2014年1月发起一个号召，建议研究屏幕内容编码(ScreenContent Coding，SCC)。响应于该号召，提供了具体针对SC设计的更复杂压缩方法(参见[10].Chen,Y.Chen，T.Hsieh，R.Joshi，M.Karczewicz，W.-S.Kim，X.Li，C.Pang，W.Pu，K.Rapaka，J.Sole，L.Zhang和F.Zou，JCT-VC Q0031：Description of screen contentcoding technology proposal by Qualcomm,ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11的视频编码联组(JCT-VC)第17届会议，瓦伦西亚，ES，2014年3月27日至4月4日；[11].C.-C.Chen，T.-S.Chang，R.-L.Liao，C.-W.Kuo，W.-H.Peng，H.-M.Hang，Y.-J.Chang，C.-H.Hung，C.-C.Lin，J.-S.Tu，K.Erh-Chung，J.-Y.Kao，C.-L.Lin和F.-D.Jou,JCT-VC Q0032：Description of screen content coding technology proposal by NCTU and ITRIInternational,ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11的视频编码联组(JCT-VC)第17届会议，瓦伦西亚，ES，2014年3月27日至4月4日；[12].P.Lai，T.-D.Chuang，Y.-C.Sun，X.Xu，J.Ye，S.-T.Hsiang，Y.-W.Chen，K.Zhang，X.Zhang，S.Liu，Y.-W.Huang和S.Lei,JCT-VC Q0033：Description of screen content coding technology proposal byMediaTek，ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11的视频编码联组(JCT-VC)第17届会议，瓦伦西亚，ES，2014年3月27日至4月4日；[13].Z.Ma，W.Wang，M.Xu，X.Wang和H.Yu,JCT-VC Q0034：Description of screen content coding technology proposal by Huawei，ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11的视频编码联组(JCT-VC)第17届会议，瓦伦西亚，ES，2014年3月27日至4月4日；以及[14].B.Li，J.Xu，F.Wu，X.Guo和G.J.Sullivan，JCT-VC Q0035：Description of screen content coding technology proposal byMicrosoft，ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11的视频编码联组(JCT-VC)第17届会议，瓦伦西亚，ES，2014年3月27日至4月4日)。
图1A和图1B所示为包含屏幕内容和普通内容的屏幕显示的示例。值得说明的是，NC和SC视频可具有在边缘锐度和不同颜色量以及其它属性方面显著不同的特征，如先前已研究(参见[15].T.Lin，P.Zhang，S.Wang，K.Zhou和X.Chen，“Mixed Chroma Sampling-RateHigh Efficiency Video Coding for Full-Chroma Screen Content,”IEEE电路系统视频技术期刊，第23卷，编码1，第173至185页，2013年1月)的那样。因此，一些SCC方法对于NC可能性能不佳，而且一些传统HEVC编码工具对于SC可能性能不佳。例如，标准HEVC编码器对于普通内容可能是足够的，但是不能很好地表示SC，因为有很强的编码失真，诸如模糊文本和模糊边缘，或者如果要高质量表示该内容，会使SC的比特率非常高。另一方面，如果使用SCC编码方法对整个帧编码，则对SC来说性能很好，但是不适合描述普通内容的信号。只将这些SCC工具用于SC信号可能是有益的，反之亦然。
SC视频的另一典型特征可能是这些视频中相继帧之间或这些帧的部分之间不存在变化。那种不变区域会出现的各种其它场景中的一个可能场景是SC中的静止背景。
SCC方法已经作为HEVC范围扩展开发的一部分来研究(参见[16].D.Flynn，M.Naccari，C.Rosewarne，J.Sole，G.J.Sullivan和T.Suzuki，High Efficiency VideoCoding(HEVC)Range Extensions text specification：草案6，Draft 6,ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的视频编码联合小组第16届会议，圣约瑟，2014年)。
这些SCC方法包括调色板编码(参见[17].L.Guo，X.Guo和A.Saxena，JCT-VCO1124：HEVC Range Extensions Core Experiment 4(RCE 4)：Palette Coding ForScreen Content，ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的视频编码联合小组第15届会议，日内瓦，CH 2013年；[18].W.Pu，X.Guo，P.Onno，P.Lai和J.Xu，JCT-VC P0303：Suggested Software for the AHG on Investigation of Palette Mode Coding Tools，ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的视频编码联合小组第一16届会议，圣约瑟，美国，2014年1月9日至17日)。
这些调色板编码方法基于以下观察：如图1A和1B所示的典型SC包括非常少量的不同样本值但频率高的区域，即锐边。例如，这些区域可为带有网页的区域，其中均匀背景与清晰文本或计算机程序的窗口结合。对于包含这些特征的块来说，调色板编码方法建议创建和标识包括每种颜色一项的调色板。每项进而包括一个索引和三个样本值，一个样本值对应每个颜色空间分量。对于应用调色板方法的每个编码单元(coding unit，CU)，将调色板标识为比特流的一部分。为了对包含块的像素编码，编码器为每个像素确定对应的调色板项并且将项的索引分配给该像素。将所分配的索引标识为比特流的一部分。然而，这些调色板编码方法和其它屏幕内容编码方法在传送图像数据时效率低。
发明内容
根据上文，本领域技术人员会了解到需要改进屏幕内容编码。根据本发明，提供了一种屏幕内容编码系统和方法，大大减少且显著消除了传统屏幕内容编码技术有关的问题。
本发明描述了可用于编码屏幕内容的方法。需注意的是，所有描述的方法不仅适用于静止屏幕内容，而且还适用于运动的任何视频信号。对静止屏幕内容编码的参考仅用作所描述方法的一个应用示例。在一实施例中，在当前帧的一个区域与前一帧的保持不变时，在编码单元语法中标识复制模式。可针对所述当前帧中的每个不变区域标识所述复制模式，或者可针对当前帧中的一组不变区域标识一个复制模式。
在另一实施例中，公开了改进的调色板编码方法。为了实现最佳压缩效率，按照出现频率对调色板项排序，即编码单元(coding unit，CU)中出现频率最高的项分配有最小的索引，这对于对每次出现的索引编码是有益的。为了进一步提高压缩效率，可基于前一CU的调色板项预测当前CU的调色板项。为此，将二进制向量标识为比特流的一部分，二进制向量中的元素的数目等于前一调色板中项的数目。对于前一调色板的每个已复制项，向量等于1，而如果未复制前一调色板中的项，向量项等于0。
本发明描述了相比于传统屏幕内容编码技术的许多技术优势。例如，一个技术优势是实施复制模式以指示使用当前帧的哪些部分是使用先前生成的帧中的编码。另一技术优势是单独或成组地在编码单元或预测单元语法中标识复制模式。再一技术优势是实施调色板模式，其中一个或多个先前调色板中的已复制项与新标识的项组合到当前调色板中并根据出现频率等参数重排序。又一技术优势是提供一种显式标识调色板重排序或根据需要实施隐式调色板重排序的能力。对于本领域技术人员来说，其它技术优势可从下文附图、描述和权利要求显而易见并且是可识别的。
附图说明
为了更完整地理解本发明及其优点，现在参考下文结合附图进行的描述，相同的数字表示相同的部件，其中：
图1A和图1B示出了包含屏幕图像和普通内容的屏幕显示的示例。
图2示出了每项出现频率的两个10项调色板的示例；
图3示出了使用先前编码技术的组合调色板的示例；
图4示出了使用改进编码技术的组合调色板的示例；
图5示出了创建组合调色板的示例；
图6示出了已复制项未最佳排序的组合调色板的示例；
图7示出了包含最佳排序的已复制项的组合调色板的示例。
具体实施方式
下文论述的图1A至图7以及各种实施例仅通过举例说明的方式描述本专利文档中本发明的原理，而不应以任何方式理解为对本发明范围的限制。本领域技术人员可以理解的是，本发明的原理可通过任何一种设置合理的设备和系统实现。一个附图中示出和论述的特点在适当时可实施在一个或多个其它附图中。
本发明解决以下场景：当前帧中的一些区域相比于先前已编码帧中的对应区域保持不变。使用这些先前已编码帧中的对应区域对当前帧中的区域编码可能是有益的。因此，通过从一个先前已编码帧或若干先前已编码帧中复制对应区域可对当前帧中的不变区域编码。对应区域可为先前已编码帧中与当前帧中的区域位于相同位置的区域。因此，全帧数据不需要针对每个帧进行传输。
作为一项示例实施例，可从位于先前已编码帧中的对应位置处的样本值中复制当前帧中一个区域的样本值，该先前已编码帧可用作参考图像。作为另一项示例实施例，可对已复制样本值应用一些其它处理，例如过滤处理。
关于哪张参考图像用作样本值复制的来源可根据标识为比特流的一部分的一些信息或根据某些预定义标准决定。例如，与当前图像的图像顺序编号(picture ordercount，POC)差异最小的参考图像，即最接近参考图像，可选作样本值复制的来源。作为又一项示例实施例，所选的参考图像可标识为片头的一部分或不同参数集的一部分。
复制模式的使用可标识为比特流的一部分。在一项实施例中，复制模式的使用可利用二进制标志来指示。例如，这种二进制标志可标识为编码单元(coding unit，CU)或预测单元(prediction unit，PU)语法的一部分。表1所示为复制模式使用标识为CU语法的一部分的示例。关于最新HEVC SCC文本规范(参见[19].R.Joshi和J.Xu，JCT-VC R1005：HighEfficiency Video Coding(HEVC)Screen Content Coding：草案1，视频编码联合小组(JCT-VC)第18届会议，札幌，日本，2014年7月30日至7月9日)的更改以粗体突出显示。
表1—编码单元语法
在本示例实施例中，二进制标志cu_copy_flag标识在语法元素cu_skip_flag之前。如果cu_copy_flag等于1，复制模式用于对CU编码。此外，如果cu_copy_flag等于1，省略所有剩余的CU和PU语法元素。否则，如果cu_copy_flag等于0，标识常规CU和PU语法。
表2所示为CU语法的另一示例实施例，其中cu_copy_flag标识为CU语法的第一语法元素。另外，可应用上下文模型对cu_copy_flag编码。根据先前已编码cu_copy_flag值的值可使用不同的上下文模型。而且，基于先前已编码cu_copy_flag值的值来预测cu_copy_flag值。
表2—编码单元语法
复制模式的标识开销可进一步减少。例如，会存在各种场景，其中针对每个CU标识一个标志可能无益。因此，作为又一项示例实施例，可只针对某些CU或某些类型的CU标识复制模式使用。例如，可只针对某些深度的CU，例如针对深度为0的称为编码树单元(codingtree units，CTU)的CU，标识复制模式使用语法元素。
此外，相对于已编码信号的若干部分之间，例如已编码帧的若干CU之间的复制模式使用，通过利用冗余进一步减少信令开销。作为一项示例实施例，将更复杂的标识方法应用于下面场景：使用复制模式对若干CU编码以得到相比于针对每个CU标识复制模式使用更少的信令开销，可能是有益的。例如，可针对使用复制模式编码的若干CU只标识复制模式使用一次。可标识另一语法元素来指示使用复制模式对一组CU编码。例如，该语法元素可称为“cu_copy_group”。另外，可应用上下文模型对cu_copy_group编码。根据先前已编码cu_copy_group值的值可使用不同的上下文模型。而且，基于先前已编码cu_copy_group值的值可预测cu_copy_group值。不用的标识方法可用于cu_copy_group语法元素，下文描述了一些示例。
作为一项示例实施例，可针对帧中的各行，例如针对CTU各行，标识复制模式的使用。例如，可将持续长度编码应用于标识使用复制模式进行编码的连续CTU的数目。例如，可用此方式定义语法元素cu_copy_group，使得cu_copy_group可指示对应于使用复制模式进行编码的连续CTU的数目的持续长度值。类似的标识方法可应用于CU或PU级别。表3所示为复制模式使用的CTU行持续长度标识的示例。
表3—CTU行持续长度复制模式使用编码的编码单元语法
在本示例中，cu_copy_group可指示多个CTU的持续长度，可针对这些CTU标识复制模式使用。此外，cu_copy_flag可指示给定数目的CTU是否使用复制模式进行编码。如果针对当前CTU标识cu_copy_group和cu_copy_flag，这些语法元素可能不出现在连续CTU的比特流中，连续CTU由通过cu_copy_group标识的持续长度覆盖。此外，这些连续CTU的cu_copy_flag值可推断为当前CTU的cu_copy_flag值。作为另一项示例实施例，持续长度可继续到下一CTU行，以标识矩形区域。为此，cu_copy_group值可大于当前CTU行中剩余CTU的数目。例如，如果到达当前CTU行的末尾，持续长度可继续到下一CTU行的第一CTU。作为另一示例，持续长度可继续到下一CTU行中的CTU，该CTU位于标识了cu_copy_group语法元素的CTU之下。
作为又一项示例实施例，可为帧中的区域标识复制模式的使用。例如，该帧可划分为多个区域。此外，可为这些区域使用cu_copy_group语法元素，例如二进制标志，标识应用复制模式对这些区域进行编码。此外，如果标识复制模式用于对区域编码，该区域内的CU或PU不需要更多标识。例如，这些区域可为片、帧的编码区块或完整帧。再例如，可定义一定大小的区域并用来应用基于区域的复制模式。表4所示为cu_copy_group语法元素标识为片头的一部分的示例。表5所示为cu_copy_group语法元素标识为图像参数集的一部分的示例。
表4—片头语法
表5—图像参数集语法
作为另一示例实施例，复制模式使用的预测可基于先前已编码帧并由标志标识。例如，针对前一帧的复制模式使用可用于当前帧。可标识帧级标志来指示前一帧的复制模式使用被用作当前帧中复制模式使用的预测。例如，这种帧级标志可标识为片头或图像参数集的一部分。如果前一帧的复制模式使用被用作当前帧的复制模式使用的预测，则可标识针对复制模式使用的预测误差。例如，可标识前一帧中的复制模式使用与当前帧中的复制模式使用之间的差异。
可存在多个帧保持不变的场景。例如，屏幕内容序列中的连续帧可保持不变。这类帧的编码可通过具体处理不变帧的编码的编码方法来增强。然而，HEVC没有这些具体编码方法。
如果连续帧保持不变，将该特征标识为比特流的一部分可能是有益的。此外，采用这种标识信息来提高不变帧的压缩效率可能是有益的。
作为一项示例实施例，可标识语法元素来指示后续帧相对于当前帧保持不变。例如，语法元素可标识为图像参数集的一部分或片头的一部分。而且，如果语法元素指示后续帧将保持不变，可对这些后续帧进行编码，无需通过复制当前帧标识这些帧的其它语法。
为了确定通过复制当前帧进行编码的连续帧的数目，可应用不同方法，关于其的一些示例在下文描述。作为一项示例实施例，所有后续帧可从当前帧中复制，直到标识本过程结束。作为另一示例实施例，可标识第二语法元素以指示可从当前帧中复制的多个连续帧。
上述语法元素出现在比特流中可通过语法元素static_screen_content_coding_enabled_flag控制。如果static_screen_content_coding_enabled_flag等于1，则如前所述语法元素可出现在比特流中。如果static_screen_content_coding_enabled_flag等于0，则所描述的语法元素都不出现在比特流中。此外，static_screen_content_coding_enabled_flag语法元素可标识在比通过static_screen_content_coding_enabled_flag控制出现的语法元素高的级别上。例如，static_screen_content_coding_enabled_flag语法元素可在序列级别上标识为序列参数集的一部分等。表6所示为标识为序列参数集的一部分的示例。表7所示为修改后的编码单元语法标识的示例，其中，如果static_screen_content_coding_enabled_flag等于1，则cu_copy_flag只标识为比特流的一部分。
表6—序列参数集语法
表7—编码单元语法
在进行调色板编码时也可应用复制和语法标识。可对调色板项进行排序，使得项的调色板索引越小，该项就越频繁地用于描述CU中的像素。另一改进是从前一调色板中预测当前调色板，使得两个调色板中都出现的项可从前一调色板复制，而不是将项标识为新调色板的一部分。
图2所示为两个调色板的示例，即前一调色板22和当前调色板24，其中假设两个调色板22和24都具有10个项。还假设一些项均出现在调色板22和24中，因此可以从前一调色板22中复制这些项以形成组合调色板。出于说明目的，假设5个元素均出现在调色板22和24中。
图3所示为根据原始调色板编码方法的最新工作草案版本(参见上述[18])组合两个调色板22和24得到的组合调色板30。如图所示，源自前一调色板22的项32可放置在组合调色板30的起始处，后面是取自当前调色板24的项34。由于这种方法，组合调色板30中的项32和34不再按照它们出现的频率进行排序。因此，不可能有效编码包含项32和34的调色板索引，因为最常用的项不具有最小索引。
为了提高这一场景的效率，提供了一种重排序方法，其将组合调色板30中的项进行重排序，使得最常用的项分配有最小索引。图4所示为将所提议的重排序应用于上述提及的示例之后的组合调色板40的示例。
该重排序可标识为比特流的一部分。在一项实施例中，通过标识二进制向量，其元素数目等于组合调色板40中项的数目，将重排序标识为比特流的一部分。组合调色板40中项的数目被推导为已复制项32和新标识项34的总和。如果当前调色板24中的项34放置在组合调色板40的对应位置处，向量的元素等于第一值。如果前一调色板22的项32放置在组合调色板40的对应位置处，向量的元素等于第二值。
图5所示为已复制调色板项32和新标识项34如何组合的示例。编码器和解码器可实施三个列表，针对已复制项32的列表52、针对新标识项34的列表54以及针对组合调色板40中项的列表56。还可存在三个指针，每个指针属于一个对应列表，相应地分别命名为复制指针62、新指针64和组合指针66。复制指针62和新指针64可指示接下来应分别提取的包含复制项32的列表52以及包含新标识项34的列表54中的项。组合指针66可指示接下来应将列表中的项填充组合调色板40中的项。重排序过程开始时，将所有指针初始化到它们对应列表中的第一项。重排序向量68指示项位于组合调色板40的每个位置处。如果位于由组合指针66指示的位置处的重排序向量68中的项等于第一值，则包含新标识项34的列表54中的项由新指针64指示，其应复制到组合列表56中的项，其位置由组合指针66指示。随后，新指针64和组合指针66应递增一个位置。如果位于由组合调色板66指示的位置处的重排序向量68中的项等于第二值，包含由复制指针62指示的已复制项32的列表52中的项应复制到组合列表56中的项，该项的位置由组合指针66指示。随后，复制指针62和组合指针66应递增一个位置。
可存在其它调色板重排序限制，表明应如何重排序调色板。此种排序限制包括当前帧直至当前块或某前一块中的出现频率、当前和/或前面图像中的出现频率、索引预测过程之后(例如，持续长度和/或从上述预测的复制之后)标识项的出现频率。
可使用其它方法实现重排序。例如，可存在一种场景，其中需要基于若干先前已编码的调色板预测当前调色板。此时，对所有调色板中的项进行最佳重排序可能是有益的。
考虑到已复制项的数目、新标识项的数目以及组合调色板的大小对于解码器是已知的，仅需要标识重排序向量，直到描述了所有已复制项的位置或新标识项的所有位置。可推断其余重排序向量的值，因为它们只可指示项是从一个尚未空的列表中复制而来的。
重排序方法还可通过启用或禁用针对序列、图像或图像的区域(例如，CU或不同类的区域)而不是将该方法应用于整个序列或图像来改进。在其它可能性中，这种标识形式可应用在序列参数集(sequence parameter set，SPS)中、在图像参数集(picture parameterset，PPS)中、作为补充增强信息(supplement enhancement information，SEI)消息、在参考图像集(reference picture set，RPS)中、在片头中、在最大CU(LCU)或CU级别上。
另外，调色板重排序方法还可通过初始化调色板项来改进。这点可以隐式或显式实现。例如，可基于当前和/或先前图像的统计信息初始化调色板项。在一项实施例中，组合调色板的第一项可利用前面调色板的最频繁出现的项进行初始化。初始化项的数目和位置可固定或可变化。这两种属性可在解码器处隐式推导出或显式标识为比特流的一部分。
对于视频编码专家来说，很容易了解，另一种标识方法，例如持续长度编码，可用于实现相同重排序。
可应用不同方法来重排序调色板。例如，前一调色板中的已复制项可与新标识项交织。例如，组合调色板可通过交替已复制项和新标识项来构建。
表8所示为所提出的调色板重排序方法的可能文本规范。文本整合在原始调色板编码方法的最新工作草案版本(参见上文[18])里。文本规范显示了原始调色板编码方法的最新工作草案版本(参见上文[18])与最新HEVC范围扩展草案(参见上文[16])之间的变化。所提出的重排序方法与原始调色板编码方法的最新工作草案版本(参见上文[18])之间的其它变化以粗体显示。尽管示出了具体示例，但是不同的文本规范可用于实现调色板重排序。
表8：重排序调色板的文本规范
当palette_reorder_flag[i]等于1时，表明组合调色板的第i个元素取自新标识的调色板项。当palette_reorder_flag[i]等于0时，表明组合调色板的第i个元素是从前一调色板复制而来。
可存在各种场景，其中解码器具有应改变调色板项的顺序的信息。在其它可能性中，该信息可标识为比特流的一部分或者通过解码过程显式推断。如果解码器知道该信息，则解码器应相应地改变调色板的顺序。
例如，解码器可接收包含语法元素的比特流，语法元素指示应如何重排序调色板的各项。如果解码器接收这一比特流，新标识的调色板项和从前一调色板复制而来的调色板项应根据指定过程重排序。如果语法元素palette_reorder_flag[i]指定组合调色板的第i项应从包含新标识的调色板项的列表中提取，则解码器应将该列表中的相应项移到组合列表。如果语法元素palette_reorder_flag[i]指定组合调色板的第i项应从包含已复制调色板项的列表中提取，则解码器应将该列表中的相应项移到组合列表。其它方法可用于实现调色板重排序。
综上所述，调色板重排序的一项实施例使用标识方法来描述应该如何执行重排序。在其它实施例中，不需要显式标识调色板重排序。对于此类实施例，通过使用隐式方法来修改调色板项的顺序，重排序调色板项的想法仍然是有益的。
隐式重排序调色板的一种可能方法是收集关于调色板项在解码器处的使用同时解码调色板编码的CU的统计信息，以及使用该信息来找到调色板的最佳顺序。因此，考虑到统计信息是在解码器处收集的，比特流不需要包含如何重排序调色板的信息。然而，尽管隐式调色板重排序不需要标识，但是仍然要标识其它信息以进一步改进所提出的方法。例如，可标识所提出的方法是否针对序列、图像或图像的区域(例如，CU或不同类的区域)来启用或禁用而不是将该方法应用于整个序列或图像。在其它可能性中，这种标识形式可应用在SPS中、在PPS中、在RPS中、在片头中、作为SEI消息、在LCU或CU级别上。
隐式调色板重排序的一项实施例是在编码和解码以调色板模式编码的CU之后重排序调色板。尽管这可能直接对特定CU有益，但是后续CU可受益于推迟的重排序。可考虑通过调色板解码CU的示例，由于调色板项的顺序没有反应它们各自的出现频率，所以没有进行最佳排序。如果以下调色板通过从先前解码调色板将重用项复制到新组合调色板的第一位置来预测，则组合列表中的这些第一项都不能进行最佳排序。图6示出了已复制项未最佳排序的组合调色板61的示例。为了解决该问题，在对CU分别进行编码和解码之后重排序调色板项，使得新顺序的项反映他们在该CU中的对应出现频率。这种隐式重排序在将该调色板用于以下调色板的预测之前使用。图7所示为通过最佳排序项进行隐式重排序的合并调色板71。
如在显示调色板重排序中一样，其它方法和隐式调色板重排序的排序限制可用于实现该重排序。替代性的重排序限制包括当前帧直至当前块或某一前一块中的出现频率、当前和/或前面图像中的出现频率、索引预测过程之后(例如，连续长度和/或从上述预测的复制之后)指示项的出现频率，等等。
如在显示调色板重排序中一样，不同方法可应用于隐式重排序调色板。例如，前一调色板中的已复制项可与新标识项交织。例如，合并调色板可通过交替已复制项和新标识项来构建。
在一项实施例中，已经论述了隐式调色板重排序不需要额外标识。然而，在另一项实施例中，该方法还可通过将隐式调色板重排序方法与其它标识结合来进一步改进。例如，隐式调色板重排序方法只可对一些调色板有益，而对其它调色板无益。因此，可指示是否将隐式调色板重排序应用于调色板。在其它可能性中，这种指示形式可在SPS中、在PPS中、在RPS中、在片头中、作为SEI消息、在LCU或CU级别上实施。
表9所示为指示显示调色板重排序的可能文本规范。文本整合在原始调色板编码方法的最新工作草案版本(参见上文[18])里。文本规范显示了原始调色板编码方法的最新工作草案版本(参见上文[18])与最新HEVC范围扩展草案(参见上文[16])之间的变化。所提出的重排序方法与原始调色板编码方法的最新工作草案版本(参见上文[18])之间的其它变化以粗体显示。
表9：隐式重排序调色板的文本规范
当enable_palette_reorder_flag等于1，表明隐式调色板重排序方法应用于该CU。当enable_palette_reorder_flag等于0，表明隐式调色板重排序方法不应用于该CU。尽管上文提供了一个示例，但是其它文本规范可用于启用或禁用该显式调色板重排序方法。
在某些实施例中，一个或多个所述设备和其他硬件设备的部分或全部功能或流程由计算机可读程序代码构成的且内嵌于计算机可读介质中的计算机程序来实现或提供支持。术语“代码”包括任意类型的计算机代码，包括源代码、目标代码以及可执行代码。术语“计算机可读介质”包括任何类型的可以被计算机访问的非易失性介质，比如，只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字化视频光盘(DVD)或者任何其他类型的存储器。
为本专利文档中使用的特定术语和短语进行定义是有帮助的。术语“包括”和“包含”以及它们的派生词表示没有限制的包括。术语“或者”是包容性的，意为和/或。短语“与……关联”和“与其关联”以及其派生的短语意味着包括，被包括在内、与……互连、包含、被包含在内、连接到或与……连接、耦合到或与……耦合、可与……通信、与……配合、交织、并列、接近、被绑定到或与……绑定、具有、具有……属性，等等。
虽然本发明就某些实施例和一般相关方法方面进行了描述，但是对本领域技术人员而言，对实施例和方法的各种更改和变更将是显而易见的。因此，示例实施例的上述描述不限定或约束本发明。正如以下权利要求定义，其它修改、替代以及变更也是可能的，而不偏离本发明的精神和范围。

Claims (20)

1.一种用于屏幕内容编码的方法，其特征在于，包括：
在一个或多个先前已编码帧中确定对应于当前帧中的不变区域的区域，以对所述当前帧中的所述不变区域编码，其中，通过从一个先前已编码帧或若干先前已编码帧中复制所述已识别对应区域对所述当前帧中的所述不变区域编码；以及
标识复制模式使用以应用于所述当前帧中的所述不变区域。
2.根据权利要求1所述的方法，其特征在于，还包括：
选择先前已编码帧作为参考图像，其中，所述参考图像中的所述对应区域与所述当前帧中的所述不变区域位于相同位置。
3.根据权利要求1所述的方法，其特征在于，为所述当前帧中的每个不变区域标识所述复制模式。
4.根据权利要求1所述的方法，其特征在于，为一组不变区域标识一个复制模式。
5.根据权利要求4所述的方法，其特征在于，所述复制模式包括持续长度值，所述持续长度值确定应用了所述复制模式的不变区域的数目。
6.根据权利要求4所述的方法，其特征在于，还包括：
在无需进一步标识所述复制模式的情况下，将所述复制模式自动应用到与所述一组不变区域邻接的一个或多个不变区域。
7.根据权利要求1所述的方法，其特征在于，还包括：
基于前一帧的所述复制模式使用，标识所述当前帧的所述复制模式使用。
8.根据权利要求1所述的方法，其特征在于，所述不变区域包含整个所述当前帧，所述标识确定所述复制模式使用的连续帧的数目。
9.一种非瞬时性计算机可读介质，其特征在于，包括用于屏幕内容编码的代码，所述代码在执行时可用于：
在一个或多个先前已编码帧中确定当前帧中的不变区域对应的区域，以对所述当前帧中的不变区域编码，其中，通过从一个先前已编码帧或若干先前已编码帧中复制所述确定的对应区域，对所述当前帧中的不变区域编码；以及
标识复制模式使用以应用到所述当前帧中的所述不变区域。
10.根据权利要求9所述的非瞬时性计算机可读介质，其特征在于，所述代码还可用于：
选择先前已编码帧作为参考图像，其中，所述参考图像中的所述对应区域与所述当前帧中的所述不变区域位于相同位置。
11.根据权利要求9所述的非瞬时性计算机介质，其特征在于，为所述当前帧中的每个不变区域标识所述复制模式。
12.根据权利要求9所述的非瞬时性计算机介质，其特征在于，为一组不变区域标识一个复制模式。
13.根据权利要求12所述的非瞬时性计算机介质，其特征在于，所述复制模式包括持续长度值，所述持续长度值确定应用所述复制模式的不变区域的数目。
14.根据权利要求12所述的非瞬时性计算机可读介质，其特征在于，所述代码还可用于：
在无需进一步标识所述复制模式的情况下，将所述复制模式自动应用到与所述一组不变区域邻接的一个或多个不变区域。
15.根据权利要求9所述的非瞬时性计算机可读介质，其特征在于，所述代码还可用于：
基于前一帧的所述复制模式使用，标识所述当前帧的所述复制模式使用。
16.根据权利要求9所述的非瞬时性计算机可读介质，其特征在于，所述不变区域包含整个所述当前帧，所述标识确定所述复制模式使用的连续帧的数目。
17.一种用于屏幕内容编码的方法，其特征在于，包括：
确定在当前调色板中找到的来自前一调色板的已复制调色板项；
确定所述当前调色板中的未在所述前一调色板中找到的新标识调色板项；
将已复制调色板项和新标识项组合为组合调色板，其中，组合包括根据出现频率重排序所述新标识调色板项和所述已复制调色板项。
18.根据权利要求17所述的方法，其特征在于，根据出现频率重排序所述新标识调色板项和所述已复制调色板项包括：
根据出现频率将所述已复制调色板项放置在已复制项列表中；
将复制指针与所述已复制项列表关联，所述复制指针确定所述已复制项列表中的特定已复制调色板项；
根据出现频率将所述新标识调色板项放入新标识项列表；
将新指针与所述新标识项列表关联，所述新指针确定所述已复制项列表中的特定新标识调色板项；
将所述特定已复制调色板项的出现频率与所述特定新标识调色板项的出现频率对比；
提取所述特定已复制调色板项和所述特定新标识调色板项中具有更高出现频率的一个；
将组合指针与所述组合项列表关联，所述组合指针确定所述组合项列表中的特定组合项位置；
将所述提取项插入到所述特定组合项位置。
19.根据权利要求18所述的方法，其特征在于，还包括：
递增所述组合指针以确定新的组合项位置；
递增所述提取项对应的所述已复制指针和所述新指针中的一个；
针对所述已复制指针、所述新指针和所述组合指针的当前值重复所述对比、提取和插入步骤。
20.根据权利要求18所述的方法，其特征在于，还包括：
生成重排序向量，所述重排序向量确定所述组合调色板中的项为已复制调色板项或为新标识调色板项。
CN201580010332.0A 2014-03-13 2015-03-13 改进的屏幕内容编码方法 Withdrawn CN106576152A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461952158P 2014-03-13 2014-03-13
US61/952,158 2014-03-13
US201462060432P 2014-10-06 2014-10-06
US62/060,432 2014-10-06
PCT/US2015/020505 WO2015138936A1 (en) 2014-03-13 2015-03-13 Improved method for screen content coding

Publications (1)

Publication Number Publication Date
CN106576152A true CN106576152A (zh) 2017-04-19

Family

ID=54070436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580010332.0A Withdrawn CN106576152A (zh) 2014-03-13 2015-03-13 改进的屏幕内容编码方法

Country Status (4)

Country Link
US (1) US20150264361A1 (zh)
EP (1) EP3103259A4 (zh)
CN (1) CN106576152A (zh)
WO (1) WO2015138936A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107241563A (zh) * 2017-06-16 2017-10-10 深圳天珑无线科技有限公司 视频传输的方法、智能移动终端及具有存储功能的装置
CN111093079A (zh) * 2019-12-30 2020-05-01 西安万像电子科技有限公司 图像处理方法及装置
WO2020244658A1 (en) * 2019-06-06 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Sub-block based intra block copy
CN113573069A (zh) * 2020-04-29 2021-10-29 阿里巴巴集团控股有限公司 视频编解码方法、装置、系统及电子设备
US11653002B2 (en) 2019-06-06 2023-05-16 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction for video coding

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10356432B2 (en) 2015-09-14 2019-07-16 Qualcomm Incorporated Palette predictor initialization and merge for video coding
US10951895B2 (en) 2018-12-31 2021-03-16 Alibaba Group Holding Limited Context model selection based on coding unit characteristics

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6259738B1 (en) * 1996-10-31 2001-07-10 Kabushiki Kaisha Toshiba Video encoding apparatus and video decoding apparatus
US20030123738A1 (en) * 2001-11-30 2003-07-03 Per Frojdh Global motion compensation for video pictures
CN101039427B (zh) * 2002-07-15 2010-06-16 株式会社日立制作所 动态图像的解码方法
AU2005329052B2 (en) * 2005-03-14 2011-08-11 The Nielsen Company (Us), Llc Compressed domain encoding apparatus and methods for use with media signals
US7102552B1 (en) * 2005-06-07 2006-09-05 Windspring, Inc. Data compression with edit-in-place capability for compressed data
US8254704B2 (en) * 2008-10-30 2012-08-28 Microsoft Corporation Remote computing platforms providing high-fidelity display and interactivity for clients
EP2532159A1 (en) * 2010-02-05 2012-12-12 Telefonaktiebolaget L M Ericsson (PUBL) Selecting predicted motion vector candidates
US20130268621A1 (en) * 2012-04-08 2013-10-10 Broadcom Corporation Transmission of video utilizing static content information from video source
US9654777B2 (en) * 2013-04-05 2017-05-16 Qualcomm Incorporated Determining palette indices in palette-based video coding
US10291827B2 (en) * 2013-11-22 2019-05-14 Futurewei Technologies, Inc. Advanced screen content coding solution

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107241563A (zh) * 2017-06-16 2017-10-10 深圳天珑无线科技有限公司 视频传输的方法、智能移动终端及具有存储功能的装置
CN107241563B (zh) * 2017-06-16 2020-01-07 深圳市玩视科技有限公司 视频传输的方法、智能移动终端及具有存储功能的装置
WO2020244658A1 (en) * 2019-06-06 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Sub-block based intra block copy
US11653002B2 (en) 2019-06-06 2023-05-16 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction for video coding
CN111093079A (zh) * 2019-12-30 2020-05-01 西安万像电子科技有限公司 图像处理方法及装置
CN113573069A (zh) * 2020-04-29 2021-10-29 阿里巴巴集团控股有限公司 视频编解码方法、装置、系统及电子设备

Also Published As

Publication number Publication date
US20150264361A1 (en) 2015-09-17
EP3103259A1 (en) 2016-12-14
EP3103259A4 (en) 2017-11-01
WO2015138936A1 (en) 2015-09-17

Similar Documents

Publication Publication Date Title
CN106576152A (zh) 改进的屏幕内容编码方法
TWI375469B (en) A method and apparatus for decoding/encoding a video signal
CN103430458B (zh) 可伸缩视频编码的依存参数集
CN104396244B (zh) 用于视频编码和解码的装置、方法和计算机可读存储介质
CN104335587B (zh) 对于三维视频译码的视图间滤波器参数重复使用
CA2824027C (en) High layer syntax for temporal scalability
CN103931173B (zh) 可伸缩视频编码中的运动预测
CN102187672B (zh) 压缩视频中的语法元素的兼容cabac/avc的水印加注
CN107431826B (zh) 视频数据编解码方法及其装置
US20100142617A1 (en) Method and apparatus for processing a video signal
KR101751153B1 (ko) 디코딩 장치, 방법 및 비-일시적 컴퓨터 판독가능 기록매체
CN103313057A (zh) 用于比特深度可分级的视频编解码器的色调映射
CN106105220A (zh) 用于视频编码和解码的方法和装置
CN106105215A (zh) 将当前图片用作视频译码的参考
JP2019062572A (ja) 色変換を符号化する方法及び復号する方法並びに対応機器
CN104584549A (zh) 用于视频编码的方法和装置
CN102939750A (zh) 跨平面预测
CN107251555A (zh) 视频和图像压缩中单色内容调色板编码的方法和装置
CN112637679B (zh) 视频编解码方法和装置、计算机设备和存储介质
CN103379333B (zh) 编解码方法、视频序列码流的编解码方法及其对应的装置
CN115379239A (zh) 用于改进的压缩/解压缩的方法和装置
CN107211173A (zh) 生成视频拼接
CN102047662A (zh) 编码器
US20050091279A1 (en) Use of transform technology in construction of semantic descriptions
US9049432B1 (en) Motion differential set partition coding for color image sequence compression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20170419