CN106664414A - 视频编码中用于单个样本模式的候选生成的方法及装置 - Google Patents

视频编码中用于单个样本模式的候选生成的方法及装置 Download PDF

Info

Publication number
CN106664414A
CN106664414A CN201580033489.5A CN201580033489A CN106664414A CN 106664414 A CN106664414 A CN 106664414A CN 201580033489 A CN201580033489 A CN 201580033489A CN 106664414 A CN106664414 A CN 106664414A
Authority
CN
China
Prior art keywords
candidate
candidates
sample
single color
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580033489.5A
Other languages
English (en)
Other versions
CN106664414B (zh
Inventor
赖柏霖
刘杉
陈渏纹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
HFI Innovation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HFI Innovation Inc filed Critical HFI Innovation Inc
Publication of CN106664414A publication Critical patent/CN106664414A/zh
Application granted granted Critical
Publication of CN106664414B publication Critical patent/CN106664414B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

本发明揭露了一种用于编码于单个样本模式中的深度数据块或纹理数据块的视频编码的方法以及装置。根据本发明的实施例构造样本候选列表，样本候选列表包括对应于一个或多个先前单个样本模式已编码块的一个或多个代表样本的一个或多个单个颜色候选，或对应于与一个或多个调色板编码块相关联的一个或多个先前调色板中的一个或多个先前使用的颜色的一个或多个调色板颜色候选，或一个或多个单个颜色候选以及一个或多个调色板颜色候选。接着，从样本候选列表中确定已选择的样本候选，且通过用此已选择的样本候选来表示整个当前块，将已选择的样本候选用于编码或解码当前块。来自先前单个样本模式已编码块的空间和/或时间候选也可被包含于样本候选列表中。

Description

视频编码中用于单个样本模式的候选生成的方法及装置
【相关申请的交叉引用】
本发明主张申请于2014年6月19日，序列号为62/014,229的美国临时专利申请的优先权。将此美国临时专利申请以参考的方式并入本文中。
【技术领域】
本发明涉及具有平滑内容的视频编码。特别地，本发明涉及具有平滑内容的深度编码或视频使用。
【背景技术】
三维电视技术是近年来的技术发展趋势，其目标是给观看者带来轰动的观看体验(viewing experience)。多视图视频是一种用于捕捉以及渲染3D视频的技术。通常的，多视图视频是通过同时地使用多个相机捕捉场景来创建的，其中，多个照相机都被合适地定位，以使每个照相机从一个视角捕捉场景。具有大量与视图相关联的视频序列的多视图视频表示了巨量的数据(massive amount data)。因此，多视图视频将需要大量的存储空间来存储和/或需要高的带宽来传送。因此，在本领域中，多视图视频编码技术被开发出来以减少所需要的存储空间以及传送带宽。于三维以及多视图编码系统中，纹理数据以及深度数据被编码。
目前，正在被开发的高效视频编码(High Efficiency Video Coding，HEVC)的扩展包括：屏幕内容编码(screen content coding，SCC)以及3D扩展。屏幕内容编码以编码屏幕捕捉的非4∶2∶0颜色格式(例如：4∶2∶2以及4∶4∶4)的内容以及具有更高比特深度(例如：每个样本12、14以及16比特)的视频数据为目标，而3D扩展是以具有深度数据的多视图视频的编码为目标。
使用屏幕内容编码的最可能的应用之一是通过有线或无线连接的屏幕共享。对于包含屏幕内容的视频，已经开发了考虑屏幕内容的特定特性的编码工具，且此编码工具已经被证明在编码效率方面获得显著增益。其中，调色板编码(也称为基于主颜色的编码)技术使用调色板(主颜色)的索引来表示像素块，且通过利用空间冗余来编码调色板以及索引。
于调色板编码中，样本块由指向代表颜色(representative color)(调色板)表的索引来表示。调色板中的颜色值与表示块的编码索引图(coded index map)一起被传送。JCTVC-Q0093(Chen et al.，Single color intra mode for screen content coding，Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP3and ISO/IECJTC 1/SC 29/WG 11，17th Meeting：Valencia，ES，27March-4April2014，Document：JCTVC-Q0093)中揭露了使用单个颜色模式的帧内编码技术。在单个颜色模式中，像素块是由单个颜色来表示，其中，单个颜色是由空间以及时间候选颜色来导出，因此，不需要传送颜色值。
已经证明JCTVC-Q0093中揭露的单个颜色模式具有可以提高性能(即，降低的比特率)且降低解码器复杂性的优点。希望开发出用于进一步提高单个颜色模式的编码效率的技术。
【发明内容】
本发明揭露了一种用于编码于单个样本模式(Single Sample Mode，SSM)中的深度数据块或纹理数据块的视频编码的方法以及装置。根据本发明的实施例构造样本候选列表，样本候选列表包括对应于一个或多个先前SSM已编码块(SSM-coded block)的一个或多个代表样本(representative sample)的一个或多个单个颜色候选，或对应于与一个或多个调色板编码块相关联的一个或多个先前调色板中的一个或多个先前使用的颜色的一个或多个调色板颜色候选，或所述一个或多个单个颜色候选以及所述一个或多个调色板颜色候选。接着，从样本候选列表中确定已选择的样本候选，且通过用此已选择的样本候选来表示整个当前块，将已选择的样本候选用于编码或解码当前块。
在一个实施例中，样本候选列表可对应于单个颜色候选，单个颜色候选对应于先前SSM已编码块的代表样本的单个颜色候选。单个颜色候选中的一个被选择作为已选择的样本候选。单个颜色候选被存储于缓冲器中，且缓冲器是基于先进先出(first-in-first-out，FIFO)方式来更新。类似地，样本候选列表可对应于调色板颜色候选，调色板颜色候选对应于先前调色板中先前使用的颜色。调色板颜色候选中的一个被选择作为已选择的样本候选。先前调色板可被存储于缓冲器中，且缓冲器是基于先进先出方式来更新。此外，样本候选列表可对应于单个颜色候选以及调色板颜色候选。
在另一实施例中，样本候选列表还可包括：来自当前块的先前重建的相邻空间样本的空间候选，或来自当前块的时间同位块中或周围的先前重建的时间样本的时间候选。例如，样本候选列表可包含空间候选、时间候选、以及单个颜色候选。已选择的样本候选可基于对应于与空间候选、时间候选、以及单个颜色候选相关联的候选类型的优先顺序来选择。优先顺序从高到低可对应于空间候选、单个颜色候选、以及时间候选。已选择的样本候选还可基于对应于空间候选、时间候选、以及单个颜色候选之间交错的优先顺序来选择。优先顺序从高到低可对应于一个空间候选、一个单个颜色候选、一个时间候选。空间候选、时间候选、以及单个颜色候选可被存储于缓冲器中，且缓冲器是基于先进先出方式来更新。
选择句法可被标识以指示已选择的样本候选。已选择的样本候选还可被隐式地确定，而不需要句法标识。例如，已选择的样本候选是根据多个候选的众数决(majorityvoting)、算术平均、几何平均、或中值，从样本候选列表中被确定。
对应于先前SSM已编码块以及/或先前调色板编码块的调色板颜色候选的代表样本的单个颜色候选可被周期性地复位(reset)。例如，单个颜色候选可针对每个切片、每个区块(tile)、每个波前(wavefront)、每个编码树单元(coding tree unit，CTU)、或每个CTU行被复位。
【附图说明】
图1A至图1C所示为用于单个样本模式编码的被用于导出样本候选的空间相邻样本的三个示例。
图2所示为根据本发明实施例的用于与单个样本模式编码相结合的系统的示范性流程图。
【具体实施方式】
以下描述是实施本发明的最佳预期模式。该描述是出于说明本发明的一般原理的目的，并且不应被视为具有限制意义。本发明的范围通过参考所附权利要求来做最好的确定。
根据单个样本模式编码(例如，单个颜色模式编码或单个深度模式编码)，当前块被重建为仅具有单个样本值的均匀块(uniform block)。单个样本模式(例如：单个颜色模式)的编码过程可包含，例如，使用单个样本模式来构造用于正被编码块的单个颜色候选的列表。接着，从单个颜色候选的列表中选择代表值。接着，使用从候选列表选择的单个代表值来对块进行填充。来自候选的颜色选择可被标识(例如，指示已选择候选的索引)或根据特定规则(例如：多个候选的众数决、算术平均、几何平均、或中值)被导出。在本发明中，揭露了对单个样本模式产生候选的新方法。具体地，除空间以及时间候选之外，附加的候选通过利用调色板编码中的先前已选择的颜色和/或用于单个样本模式编码块的先前已选择的颜色(即，先前已选择的代表值)来产生。
不同类型的候选可被用于构造以下所描述的候选列表。以下实施例将使用单个颜色模式来描述，以作为单个样本模式的示例。然而，相同的发明也可被应用于单个深度模式，其中，“颜色”是指深度值。
A.空间样本候选：
空间样本候选可从用于单个样本模式的先前重建的空间相邻像素中选择。空间样本候选选择的三个示例如图1A至图1C所示，用于基于空间样本来构造单个颜色(或样本值)候选列表。如图1A所示，使用5个空间候选。数字编号(numbering)表示它们插入候选列表(具有用于移除候选列表中冗余/重复候选的可选的修剪过程(pruning process))中的顺序。图1B所示为5个空间候选的另一示例，其中，第一样本候选(即，索引“0”)位于邻近当前块左侧边界的相邻列的中间位置，且第二样本候选(即，索引“1”)位于邻近当前块上方边界的相邻行的中间位置。图1C所示为5个空间候选的又一示例。除了候选“2”以及候选“3”的位置外，空间候选的配置与图1B中空间候选的配置相同。图1A至图1C所示的空间候选的数字编号、位置、以及顺序旨在说明根据本发明实施例的空间候选设计的示例。本领域普通技术人员可使用空间候选的不同配置来实现本发明。在另一实施例中，为了在保持增益的同时降低复杂性，仅使用两个空间候选。第一样本候选，例如，位于邻近当前块左侧边界的相邻列的中间位置，以及第二样本候选，例如，位于邻近当前块上方边界的相邻行的中间位置。
B.时间样本候选：
时间参考图片中位于同位块中或位于同位块周围的样本也可被用作为用于当前块的单个样本模式的候选，其中，同位块位于时间参考图片中，且与当前图片中的当前块具有相同的几何位置。
C.候选的重用：
除了空间以及时间候选外，本发明的实施例可重新使用来自较早块的先前编码的颜色。如下所示为两个示例。
C.1.来自单个样本模式编码块的先前已选择的单个颜色的候选
在此示例中，先前单个样本模式编码块的代表颜色(或样本值)可被用作为当前块的单个颜色候选。从先前单个样本模式编码块选择的代表颜色可被存储于具有给定尺寸的缓冲器中，以保持用于单个样本模式的追踪。此外，更新机制可被应用于缓冲器中的最近N个颜色。例如，流行的先进先出缓冲器管理方案可被使用，其中，当需要从缓冲器中移除条目时，缓冲器移除最先进入缓存器中的条目。以下的伪代码所示为单个样本模式解码的示例，其中，只有一个先前使用的单个颜色被存储(即，N＝1)以用作当前块的候选。
初始化single_color_prev(例如，中级值(mid-level value))。
块上循环：
如果当前块使用单个样本模式来编码：
构造具有来自single_color_prev的候选的单个颜色候选列表。
使用标识的和/或导出的单个颜色选择来重建当前块。
使用已选择的值来更新single_color_prev。
结束条件。
结束循环。
(Initialize the single_color_prev(e.g.mid-level values).
Loop over blocks：
If current block is coded with single sample mode：
Construct single color candidate list with candidate from single_color_prev.
Reconstruct current block using the signaled and/or derived singlecolor selection.
Update the single_color_prev with the selected value.
Endif.
End loop.)
i.来自候选列表的最终单个颜色选择
具有来自多于一个先前单个样本模式编码块的多于一个先前已选择的单个颜色的候选列表可以按照相同的精神来构造。当列表中具有多个候选时，需要标识或导出用于当前块的最终候选(final candidate)的选择。对于显式地标识，部分或所有的候选可被用于选择组中，且标识的句法将识别从此组中选择的最终候选。或者，可通过根据规则导出最终候选，来隐式地确定最终候选。解码器侧也知道此规则，因此，不需要显式地标识。例如，规则可对应于用于多个候选的众数决，多个候选的算术平均、几何平均、或中值。
ii.候选的混合类型
来自先前单个样本模式的重用的候选可与来自空间和/或时间样本的候选组合。例如，如图1B以及图1C所示的两个线段中间候选(middle-of-line candidate)(即，候选“0”以及“1”)可被用作列表中的前两个候选。另外，来自先前单个样本模式编码块的代表颜色的一个或多个单个颜色候选可被增加到两个空间候选中。于另一示例中，候选的混合类型可首先选择多个空间候选，随后选择多个先前单个颜色候选，并进一步随后选择来自参考图片的时间候选。空间候选以及先前单个颜色候选均来自于当前图片。在一个实施例中，不同类型的候选可被存储于缓冲器中，且缓冲器是基于先进先出方式来更新。
iii.顺序
于以上示例中，空间候选总是被放置于先前单个颜色候选之前。当时间候选被使用时，时间候选被放置于先前单个颜色候选之后。然而，使用候选的混合的其它优先顺序也可被容易地构造。例如，顺序可对应于{空间候选集、时间候选集、先前单个颜色候选集}或{空间候选集、先前单个颜色候选集、时间候选集}。此外，候选的顺序不必按其类型分组。相反，来自不同组的候选可以被交错(interleaved)。例如，顺序可对应于{空间候选1、先前单个颜色候选1、空间候选2、先前单个颜色候选2，...}。
iv.单个颜色候选的复位(reset)
来自先前单个样本模式编码块的代表颜色的单个颜色候选可被周期性地复位。周期性复位为并行处理以及错误恢复提供了好处。复位周期可以是粗略的，并直接相关于并行处理工具，例如：每个切片、每个区块、或每个波前。如果有需要，更精细的粒度(例如：每个CTU行或每个CTU)也可被应用。众所周知，对于高级视频编码，序列中的图片可被配置为用于利用本地特性、并行处理、或其它目的的不同单元。例如，于高效视频编码(highefficiency video coding，HEVC)标准中，图片可被分区为区块、切片、CTU或CTU行。此外，波前并行处理(wavefront parallel processing，WPP)也已经可作为一种工具被用于HEVC，其使用CTU行之间的依赖性(dependency)，同时允许CTU行的并行处理。
C.2.来自先前已使用调色板颜色的候选
在此示例中，当调色板模式也被使用时，单个样本模式利用调色板中先前使用的颜色作为用于单个样本模式编码块的代表颜色的候选。根据当前调色板编码技术，已经存在用于存储先前使用的调色板的维护以及更新机制。因此，相同的维护以及更新机制可被用于先前使用的调色板。例如，调色板颜色候选可被存储于缓冲器中，且缓冲器基于先进先出方式被更新。用于当前块的单个样本模式编码的候选列表构造可独立于调色板更新。调色板编码中使用的现有的调色板预测子可被用于从保持的调色板预测子中选择颜色预测子。调色板预测子可被单独使用，也可与其它候选(例如，单个样本模式的候选)联合使用。可使用候选的多种优先顺序。例如，已存储的调色板预测子中的前N个条目可被插入单个颜色候选列表中。在另一实施例中，编码器可标识索引以指示被用作为用于当前块的单个样本模式编码的候选的调色板预测子中的颜色。
i.来自候选列表的选择
当列表中存在多个候选(例如，来自调色板预测子的N个条目)时，如先前所述的，必须标识或导出用于当前块的候选值的选择。
ii.候选的混合类型
如上所述，从先前使用的调色板中选择的候选可与来自空间和/或时间样本的候选，和/或甚至是来自先前使用的单个颜色的候选结合使用。例如，图1B以及图1C中的两个线段中间候选(即，候选“0”以及“1”)的至少一个可用作列表中的第一个或前两个候选，随后是已存储调色板的最上方条目的一个或多个候选。候选的混合类型的其它组合可被构造，例如，空间候选，接下来是调色板预测子候选，再接下来是来自参考图片的时间候选。空间候选以及先前单个颜色候选均来自于当前图片。在一个实施例中，不同类型的候选可被存储于缓冲器中，且缓冲器是基于先进先出方式被更新。
iii.顺序
于以上示例中，空间候选已经被放置于来自调色板预测子的候选之前。然而，使用候选的混合的其它优先顺序也可被使用。例如，顺序可对应于{空间候选集、时间候选集、来自调色板预测子的候选集}或{空间候选集、来自调色板预测子的候选集、时间候选集}。此外，候选的顺序不必按其类型分组。来自不同组的候选可以被交错(interleaved)。例如，顺序可对应于{空间候选1、来自调色板预测子的候选1、空间候选2、来自调色板预测子的候选2，...}。
iv.调色板颜色候选的复位
来自先前块的调色板颜色候选的单个颜色候选可被周期性地复位。周期性复位为并行处理以及错误恢复提供了好处。复位周期可以是粗略的，并直接相关于并行处理工具，例如：每个切片、每个区块、或每个波前。如果有需要，更精细的粒度(例如：每个CTU线或甚至是每个CTU)也可被应用。
图2所示为根据本发明实施例的用于深度数据或纹理数据的单个样本模式编码的示范性流程图。如步骤210所示，系统接收与当前深度块或当前纹理块相关联的输入数据。对于编码而言，与当前深度块或当前纹理块相关联的输入数据对应于待编码的深度样本或像素值。对于解码而言，与当前深度块或当前纹理块相关联的输入数据对应于待解码的已编码深度数据或已编码视频像素数据。与当前深度块相关联的输入数据可以从存储器(例如，计算机存储器，缓冲器(RAM或DRAM)或其它媒体)或处理器中得到。于步骤220中，构造样本候选列表，其中，样本候选列表包括对应于一个或多个先前SSM已编码块的一个或多个代表样本的一个或多个单个颜色候选，或对应于与一个或多个调色板编码块相关联的一个或多个先前调色板中的一个或多个先前使用的颜色的一个或多个调色板颜色候选，或所述一个或多个单个颜色候选以及所述一个或多个调色板颜色候选。于步骤230中，从样本候选列表中确定已选择的样本候选。接着，于步骤240中，通过使用所述已选择的样本候选来表示当前块的所有样本，来编码或解码当前块。
以上描述可使本领域的普通技术人员如特定应用及其要求的上下文提供的来实践本发明。对本领域技术人员来说，对所描述的实施例的各种修改是显而易见的，且本文定义的一般原理可被应用于其它实施例。因此，本发明并非意在限定于以上所示及所描述的特定实施例，而是要符合与此公开揭露的原理和新颖特征相一致的最宽范围。在以上详细描述中，各种具体细节被示出以便提供本发明的彻底理解。然而，本领域技术人员应知晓本发明是可被实践的。
如上所述，本发明的实施例可以由各种硬件，软件代码，或两者的组合来实现。例如，本发明的实施例可以是被集成到视频压缩芯片的一个或多个电子电路，或被集成于视频压缩软件的程序代码，以执行本文所描述的处理过程。本发明的实施例还可以是执行于数字信号处理器上的程序代码，以执行本文所描述的处理过程。本发明还可包含由计算机处理器，数字信号处理器，微处理器，或现场可编程门阵列执行的多个功能。根据本发明，通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码，这些处理器可被配置为执行特定任务。软件代码或固件代码可被开发为不同的编程语言以及不同的格式或风格。软件代码还可被编译以用于不同的目标平台。然而，根据本发明的不同的软件代码的代码格式、风格及语言，以及用于配置代码以执行任务的其他方式，均不会背离本发明的精神以及范围。
在不脱离其精神或本质特征的情况下，本发明可以其它特定形式来体现。所描述的示例在所考虑的所有的方面都只是说明性的而不是限制性的。因此，本发明的范围是由其所附的权利要求来指示的，而不是由上文的描述来指示的。在权利要求的等效范围及含义内的所有改变均包含于本发明范围之内。

Claims (22)

1.一种用于编码于单个样本模式中深度数据块或纹理数据块的视频编码方法，其特征在于，所述方法包括：
接收与当前块相关联的输入数据，其中，所述当前块对应于深度块或纹理块；
构造样本候选列表，所述样本候选列表包括：对应于一个或多个先前单个样本模式已编码块的一个或多个代表样本的一个或多个单个颜色候选，或对应于与一个或多个调色板编码块相关联的一个或多个先前调色板中的一个或多个先前使用的颜色的一个或多个调色板颜色候选，或所述一个或多个单个颜色候选以及所述一个或多个调色板颜色候选；
从所述样本候选列表中确定已选择的样本候选；以及
于编码器侧，通过用所述已选择的样本候选表示所述当前块的所有样本来编码所述当前块，或于解码器侧，通过使用所述已选择的样本候选作为用于所述当前块的所有样本的重建值来解码所述当前块。
2.如权利要求1所述的方法，其特征在于，所述样本候选列表包括：对应于所述一个或多个先前单个样本模式已编码块的所述一个或多个代表样本的所述一个或多个单个颜色候选；且所述一个或多个单个颜色候选中的一个被选择作为所述已选择的样本候选。
3.如权利要求2所述的方法，其特征在于，所述一个或多个单个颜色候选被存储于缓冲器中，且所述缓冲器是基于先进先出方式来更新。
4.如权利要求1所述的方法，其特征在于，所述样本候选列表包括对应于所述一个或多个先前调色板中所述一个或多个先前使用的颜色的所述一个或多个调色板颜色候选；且所述一个或多个调色板颜色候选中的一个被选择为所述已选择的样本候选。
5.如权利要求4所述的方法，其特征在于，所述一个或多个先前调色板被存储于缓冲器中，且所述缓冲器是基于先进先出方式被更新。
6.如权利要求1所述的方法，其特征在于，所述样本候选列表包括所述一个或多个单个颜色候选以及对应于所述一个或多个先前调色板中的所述一个或多个先前使用的颜色的所述一个或多个调色板颜色候选；且所述一个或多个单个颜色候选以及所述一个或多个调色板颜色候选中的一个被选择作为所述已选择的样本候选。
7.如权利要求6所述的方法，其特征在于，所述一个或多个单个颜色候选以及所述一个或多个先前调色板被存储于缓冲器中，且所述缓冲器是基于先进先出方式被更新。
8.如权利要求1所述的方法，其特征在于，所述样本候选列表还包括来自所述当前块的先前重建的相邻空间样本的一个或多个空间候选，或来自所述当前块的时间同位块中或周围的先前重建的时间样本的一个或多个时间候选。
9.如权利要求8所述的方法，其特征在于，所述样本候选列表包括：所述一个或多个空间候选、所述一个或多个时间候选、以及所述一个或多个单个颜色候选；以及其中，所述已选择的样本候选是基于对应于与所述一个或多个空间候选、所述一个或多个时间候选、以及所述一个或多个单个颜色候选相关联的候选类型的优先顺序来选择。
10.如权利要求9所述的方法，其特征在于，所述优先顺序从高到低对应于所述一个或多个空间候选、所述一个或多个单个颜色候选、以及所述一个或多个时间候选。
11.如权利要求8所述的方法，其特征在于，所述样本候选列表包括：所述一个或多个空间候选、所述一个或多个时间候选、以及所述一个或多个单个颜色候选；以及其中，所述已选择的样本候选是基于对应于所述一个或多个空间候选、所述一个或多个时间候选、以及所述一个或多个单个颜色候选之间交错的优先顺序来选择。
12.如权利要求11所述的方法，其特征在于，所述优先顺序从高到低对应于一个空间候选、一个单个颜色候选、以及一个时间候选。
13.如权利要求8所述的方法，其特征在于，所述样本候选列表包括：所述一个或多个空间候选、所述一个或多个时间候选、以及所述一个或多个单个颜色候选；以及所述一个或多个空间候选、所述一个或多个时间候选、以及所述一个或多个单个颜色候选被存储于缓冲器中，且所述缓冲器是基于先进先出方式被更新。
14.如权利要求8所述的方法，其特征在于，标识选择句法以指示所述已选择的样本候选。
15.如权利要求8所述的方法，其特征在于，隐式地确定所述已选择的样本候选，而不需要句法标识。
16.如权利要求15所述的方法，其特征在于，所述已选择的样本候选是根据多个候选的众数决、算术平均、几何平均、或中值从所述样本候选列表中被确定。
17.如权利要求1所述的方法，其特征在于，标识选择句法以指示所述已选择的样本候选。
18.如权利要求1所述的方法，其特征在于，隐式地确定所述已选择的样本候选，而不需要句法标识。
19.如权利要求18所述的方法，其特征在于，所述已选择的样本候选是根据多个候选的众数决、算术平均、几何平均、或中值从所述样本候选列表中被确定。
20.如权利要求1所述的方法，其特征在于，周期性地复位所述一个或多个单个颜色候选、所述一个或多个调色板颜色候选、或所述一个或多个单个颜色候选以及所述一个或多个调色板颜色候选。
21.如权利要求1所述的方法，其特征在于，所述一个或多个单个颜色候选、所述一个或多个调色板颜色候选、或所述一个或多个单个颜色候选以及所述一个或多个调色板颜色候选针对每个切片、每个区块、每个波前、每个编码树单元、或每个编码树单元行被复位。
22.一种用于编码于单个样本模式中深度数据块或纹理数据块的视频编码装置，其特征在于，所述装置包括一个或多个被配置如下的电子电路：
接收与当前块相关联的输入数据，其中，所述当前块对应于深度块或纹理块；
构造样本候选列表，所述样本候选列表包括：对应于一个或多个先前单个样本模式已编码块的一个或多个代表样本的一个或多个单个颜色候选，或对应于与一个或多个调色板编码块相关联的一个或多个先前调色板中的一个或多个先前使用的颜色的一个或多个调色板颜色候选，或所述一个或多个单个颜色候选以及所述一个或多个调色板颜色候选；
从所述样本候选列表中确定已选择的样本候选；以及
于编码器侧，通过用所述已选择的样本候选表示所述当前块的所有样本来编码所述当前块，或于解码器侧，通过使用所述已选择的样本候选作为用于所述当前块的所有样本的重建值来解码所述当前块。
CN201580033489.5A 2014-06-19 2015-06-18 视频编码中用于单个样本模式的候选生成的方法及装置 Expired - Fee Related CN106664414B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462014229P 2014-06-19 2014-06-19
US62/014,229 2014-06-19
PCT/CN2015/081752 WO2015192780A1 (en) 2014-06-19 2015-06-18 Method and apparatus of candidate generation for single sample mode in video coding

Publications (2)

Publication Number Publication Date
CN106664414A true CN106664414A (zh) 2017-05-10
CN106664414B CN106664414B (zh) 2019-07-05

Family

ID=54934882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580033489.5A Expired - Fee Related CN106664414B (zh) 2014-06-19 2015-06-18 视频编码中用于单个样本模式的候选生成的方法及装置

Country Status (5)

Country Link
US (1) US10021418B2 (zh)
EP (1) EP3158744A4 (zh)
CN (1) CN106664414B (zh)
CA (1) CA2950964C (zh)
WO (1) WO2015192780A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112369030A (zh) * 2018-07-06 2021-02-12 联发科技股份有限公司 视频编码系统中用于解码目前编码单元的继承运动信息

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2942055C (en) * 2014-03-11 2019-07-16 Hfi Innovation Inc. Method and apparatus of single sample mode for video coding
US9955157B2 (en) * 2014-07-11 2018-04-24 Qualcomm Incorporated Advanced palette prediction and signaling
US10506244B2 (en) 2015-03-06 2019-12-10 Qualcomm Incorporated Method and apparatus for video coding using adaptive tile sizes
CN110662056B (zh) 2018-06-29 2022-06-07 北京字节跳动网络技术有限公司 哪个查找表需要更新或不更新
CN114845108A (zh) 2018-06-29 2022-08-02 抖音视界(北京)有限公司 查找表的更新：fifo、约束的fifo
CN110662052B (zh) 2018-06-29 2022-07-08 北京字节跳动网络技术有限公司 更新查找表(lut)的条件
KR20210025537A (ko) * 2018-06-29 2021-03-09 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 하나 또는 다수의 룩업 테이블들을 사용하여 이전에 코딩된 모션 정보를 순서대로 저장하고 이를 사용하여 후속 블록들을 코딩하는 개념
KR20240005239A (ko) * 2018-06-29 2024-01-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut와 amvp 사이의 상호작용
BR112020024142A2 (pt) 2018-06-29 2021-03-02 Beijing Bytedance Network Technology Co., Ltd. método para processamento de vídeo, aparelho para codificação de dados de vídeo, meio de armazenamento e meio de gravação legíveis por computador não transitório
CN114885173A (zh) 2018-06-29 2022-08-09 抖音视界(北京)有限公司 Lut中的运动候选的检查顺序
TWI744661B (zh) 2018-06-29 2021-11-01 大陸商北京字節跳動網絡技術有限公司 要根據模式檢查的查找表中的運動候選的數量
TWI731364B (zh) 2018-07-02 2021-06-21 大陸商北京字節跳動網絡技術有限公司 Hmvp+非相鄰運動
WO2020030187A1 (en) 2018-08-10 2020-02-13 Huawei Technologies Co., Ltd. Video processing method, video processing apparatus, encoder, decoder, medium and computer program
JP7282872B2 (ja) * 2018-08-13 2023-05-29 エルジー エレクトロニクス インコーポレイティド ヒストリベースの動きベクトルに基づくインター予測方法及びその装置
GB2590310B (en) 2018-09-12 2023-03-22 Beijing Bytedance Network Tech Co Ltd Conditions for starting checking HMVP candidates depend on total number minus K
WO2020071829A1 (ko) * 2018-10-04 2020-04-09 엘지전자 주식회사 히스토리 기반 영상 코딩 방법 및 그 장치
WO2020071830A1 (ko) * 2018-10-05 2020-04-09 엘지전자 주식회사 히스토리 기반 움직임 정보를 이용한 영상 코딩 방법 및 그 장치
KR20240010576A (ko) 2019-01-10 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
WO2020147773A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Inserting order of motion candidates in lut
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1248863A (zh) * 1998-09-17 2000-03-29 汤姆森多媒体公司 图形数据压缩方法
CN1728833A (zh) * 2004-07-15 2006-02-01 学校法人大洋学园 用于可伸缩编码和解码彩色视频的方法和设备
JP2008145663A (ja) * 2006-12-08 2008-06-26 Funai Electric Co Ltd 画像出力装置
CN101645173A (zh) * 2008-12-16 2010-02-10 中国科学院声学研究所 一种随机调色板编码系统及方法
CN102075750A (zh) * 2011-01-07 2011-05-25 深圳市融创天下科技发展有限公司 一种rgb空间的视频编解码方法、装置和系统
RU2427907C2 (ru) * 2008-10-31 2011-08-27 Общество с ограниченной ответственностью "Ареопаг Искусств "Апполон" Способ изготовления цветной этикетки
US20130271565A1 (en) * 2012-04-16 2013-10-17 Qualcomm Incorporated View synthesis based on asymmetric texture and depth resolutions

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4484187A (en) * 1982-06-25 1984-11-20 At&T Bell Laboratories Video overlay system having interactive color addressing
US5119186A (en) * 1989-09-28 1992-06-02 International Business Machines Corporation Color mapping system and method
JPH07311570A (ja) * 1994-05-17 1995-11-28 Sega Enterp Ltd ゲーム機用アダプタ
US7302006B2 (en) * 2002-04-30 2007-11-27 Hewlett-Packard Development Company, L.P. Compression of images and image sequences through adaptive partitioning
US11259020B2 (en) * 2013-04-05 2022-02-22 Qualcomm Incorporated Determining palettes in palette-based video coding
US9558567B2 (en) * 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
US9826242B2 (en) * 2014-03-14 2017-11-21 Qualcomm Incorporated Palette-based video coding
US10362336B2 (en) * 2014-03-25 2019-07-23 Qualcomm Incorporated Palette predictor signaling with run length code for video coding
US9900617B2 (en) * 2014-06-20 2018-02-20 Qualcomm Incorporated Single color palette mode in video coding
US10075692B2 (en) * 2015-01-28 2018-09-11 Hfi Innovation Inc. Method of simple intra mode for video coding
US9743092B2 (en) * 2015-10-13 2017-08-22 Nokia Technologies Oy Video coding with helper data for spatial intra-prediction

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1248863A (zh) * 1998-09-17 2000-03-29 汤姆森多媒体公司 图形数据压缩方法
CN1728833A (zh) * 2004-07-15 2006-02-01 学校法人大洋学园 用于可伸缩编码和解码彩色视频的方法和设备
JP2008145663A (ja) * 2006-12-08 2008-06-26 Funai Electric Co Ltd 画像出力装置
RU2427907C2 (ru) * 2008-10-31 2011-08-27 Общество с ограниченной ответственностью "Ареопаг Искусств "Апполон" Способ изготовления цветной этикетки
CN101645173A (zh) * 2008-12-16 2010-02-10 中国科学院声学研究所 一种随机调色板编码系统及方法
CN102075750A (zh) * 2011-01-07 2011-05-25 深圳市融创天下科技发展有限公司 一种rgb空间的视频编解码方法、装置和系统
US20130271565A1 (en) * 2012-04-16 2013-10-17 Qualcomm Incorporated View synthesis based on asymmetric texture and depth resolutions

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112369030A (zh) * 2018-07-06 2021-02-12 联发科技股份有限公司 视频编码系统中用于解码目前编码单元的继承运动信息
CN112369030B (zh) * 2018-07-06 2023-11-10 寰发股份有限公司 解码器的视频解码方法及装置

Also Published As

Publication number Publication date
US10021418B2 (en) 2018-07-10
EP3158744A1 (en) 2017-04-26
US20170127086A1 (en) 2017-05-04
CN106664414B (zh) 2019-07-05
CA2950964A1 (en) 2015-12-23
CA2950964C (en) 2018-10-30
EP3158744A4 (en) 2017-07-26
WO2015192780A1 (en) 2015-12-23

Similar Documents

Publication Publication Date Title
CN106664414B (zh) 视频编码中用于单个样本模式的候选生成的方法及装置
ES2961923T3 (es) Procesamiento de una señal de vídeo utilizando una transformada secundaria reducida
CN105027565B (zh) 视频处理方法及视频处理装置
JP5199124B2 (ja) 多視点ビデオの処理
CN104768011B (zh) 图像编解码方法和相关装置
CN110336999B (zh) 利用调色板编码的编码视频数据区块的方法和装置
TWI239207B (en) Method and device for coding digital images using intra-mode block prediction
CN103891281B (zh) 检测用于视频译码的相邻视频单元的可用性
CN101375594B (zh) 处理多视图视频
RU2511595C2 (ru) Устройство декодирования сигнала изображения, способ декодирования сигнала изображения, устройство кодирования сигнала изображения, способ кодирования изображения и программа
CN110024401A (zh) 用于时间扩缩性支持的修改适应性环路滤波器时间预测
CN110089113A (zh) 图像编码/解码方法、设备以及用于存储比特流的记录介质
CN114556936A (zh) 利用子图片来编码和解码视频流的方法和设备
RU2014116612A (ru) Мозаичное расположение при кодировании и декодировании видео
KR20190094407A (ko) 부호화 장치, 부호화 방법 및 프로그램, 복호 장치, 복호 방법 및 프로그램
EP1500050A1 (en) Compression of images and image sequences through adaptive partitioning
CN106412579B (zh) 一种图像的编码、解码方法和装置
CN107517387A (zh) 图像编码方法和装置、以及图像解码方法和装置
KR102155184B1 (ko) 적어도 하나의 제2 이미지 성분의 기준 블록에 대하여 제1 이미지 성분의 현재 블록을 인코딩하는 방법, 인코딩 장치 및 대응하는 컴퓨터 프로그램
CN104159117B (zh) 一种hevc视频的信息隐藏方法
KR20150037944A (ko) 비디오 처리를 위한 송신 장치 및 방법
US11856222B2 (en) Method and apparatus for encoding/decoding a point cloud representing a 3D object
CN105025347B (zh) 一种gop图像组的发送和接收方法
US20190182503A1 (en) Method and image processing apparatus for video coding
CN106105195B (zh) 用于视频编码的单一样本模式的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190705

Termination date: 20210618

CF01 Termination of patent right due to non-payment of annual fee