CN103813173A - 基于bcim的3d-hevc快速帧内预测方案 - Google Patents
基于bcim的3d-hevc快速帧内预测方案 Download PDFInfo
- Publication number
- CN103813173A CN103813173A CN201410094073.1A CN201410094073A CN103813173A CN 103813173 A CN103813173 A CN 103813173A CN 201410094073 A CN201410094073 A CN 201410094073A CN 103813173 A CN103813173 A CN 103813173A
- Authority
- CN
- China
- Prior art keywords
- image
- depth image
- multiple main
- main pixels
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 78
- 238000013507 mapping Methods 0.000 claims abstract description 28
- 230000011218 segmentation Effects 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims description 20
- 230000004075 alteration Effects 0.000 claims description 4
- 238000013139 quantization Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000000429 assembly Methods 0.000 description 3
- 230000000712 assembly Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 239000004382 Amylase Substances 0.000 description 1
- QWCKQJZIFLGMSD-UHFFFAOYSA-N alpha-aminobutyric acid Chemical compound CCC(N)C(O)=O QWCKQJZIFLGMSD-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- YYJNOYZRYGDPNH-MFKUBSTISA-N fenpyroximate Chemical group C=1C=C(C(=O)OC(C)(C)C)C=CC=1CO/N=C/C=1C(C)=NN(C)C=1OC1=CC=CC=C1 YYJNOYZRYGDPNH-MFKUBSTISA-N 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种用于基于BCIM的3D-HEVC快速帧内预测的方法，包括：输入3D视频流，所述3D视频流包含视频图像和深度图像；对所述深度图像进行直方图分析，并基于所述直方图分析获得多个主像素和所述多个主像素的数量；采用阈值分割方法对所述多个主像素进行处理，以得到基本像素值；基于所述基本像素值，利用查询表来对所述深度图像进行索引映射；基于多个上下文模式，对进行索引映射处理后的图像进行重新映射；以及对经过重新映射的图像进行熵编码。
Description
联合研究
本申请由北方工业大学与北京交通大学信息所联合研究，并得到以下基金资助：国家自然科学基金(No.61103113，No.60903066)，北京市属高等学校人才强教深化计划项目(PHR201008187)；江苏省自然科学基金(BK2011455)，北京市自然科学基金(No.4102049)，教育部新教师基金(No.20090009120006)；国家973计划(2012CB316400)，中央高校基础研究基金(No.2011JBM214)。
技术领域
本发明涉及图像处理领域，更具体而言，涉及高效视频编码(HEVC)，再更具体而言，涉及在HEVC中基于BCIM的3D-HEVC快速帧内预测方案的方法和装置。
背景技术
2010年4月，两大国际视频编码标准组织VCEG和MPEG成立视频压缩联合小组JCT-VC(Joint collaborative Team on Video Coding)，一同开发高效视频编码HEVC(High efficiency video coding)标准，其也称为H.265。HEVC标准主要目标是与上一代标准H.264/AVC实现大幅度的编码效率的提高，尤其是针对高分辨率视频序列。其目标是在相同视频质量(PSNR)下码率降为H.264标准的50％。
就目前阶段，HEVC依然沿用H.264就开始采用的混合编码框架。帧间和帧内预测编码：消除时间域和空间域的相关性。变换编码：对残差进行变换编码以消除空间相关性。熵编码：消除统计上的冗余度。HEVC将在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。
目前，JCT-VC组织的讨论中已经提出的许多编码的新特性，有可能会加入HEVC标准中，各次讨论的具体文献可以从http：//wftp3.itu.int获得。
HEVC(High Efficiency Video Coding)标准在2013年一月份正式作为国际标准发布。在ITU-T中被称作H.265，而在ISO/IEC中被称作MPEG-H的第二部分。同时，为了使HEVC标准能够支持更多的应用场景，开展了后续的工作，其中包括对高分辨率以及色彩格式的支持，可伸缩编码，3-D/立体/多视角编码。
作为HEVC扩展中的一个，3D-HEVC(3D High Efficiency Video Coding)项目已经在3D视频编码扩展联合小组JCT-3V的引导下开展了。3D-HEVC中采用提高深度的3D视频格式，即多视角加深度信息，并且每一个视角都有一个深度信息。在对视频信息和深度信息进行解码后，将采用DIBR(Depth-Image-Based Rendering)技术生成虚拟视角图像。虚拟视角图像将用在立体显示器上显示3D内容。而对应于3D-HEVC的参考软件被称作3D-HTM(3D-HEVC Test Mode)。
与HEVC相比较，3D-HEVC对独立视角采用了与HEVC相同的编码方法，对非独立视角采用了视差补偿预测，视角间运动参数以及视角间残差预测。另外，修改后的运动补偿，运动矢量编码以及运动参数继承被用于编码深度图像，而DMM(Depth Modeling Mode)被作为一个可选模式来编码深度图像。然而，DMM的引入带来了相当大的复杂度。DMM需要在边界分割模式列表中选出最好的分割模式，而这个搜索过程会消耗相当多的时间。如表1所示，边界分割模式列表的大小最大可达到368，这将大大增加编码复杂度。尽管深度图像不会被使用者看到，但是它对虚拟视角的合成具有很大的影响。所以有必要采用一个特殊的方法对深度图像进行压缩。
表1：边界分割模式列表
既然深度图像可以采用几个具有代表性的灰度值进行表示，本文将采用BCIM(基本色和索引映射，Base Colors and Index Map)来代替DMM来对深度图像进行编码。
发明内容
根据一个方面，本发明提供了一种用于基于BCIM的3D-HEVC快速帧内预测的方法，包括：
输入3D视频流，所述3D视频流包含视频图像和深度图像；
对所述深度图像进行直方图分析，并基于所述直方图分析获得多个主像素和所述多个主像素的数量；
采用阈值分割方法对所述多个主像素进行处理，以得到基本像素值；
基于所述基本像素值，利用查询表来对所述深度图像进行索引映射；
基于多个上下文模式，对进行索引映射处理后的图像进行重新映射；以及
对经过重新映射的图像进行熵编码。
在进一步的方面中，所述方法还包括：
基于HEVC标准的帧内预测，对所述深度图像进行帧内预测；以及
基于比特率失真优化算法来在两个预测模式之间进行选择，其中，所述两个预测模式包括所述帧内预测和包括所述直方图分析、对所述多个主像素进行处理、所述重新映射在内的模式。
其中，所述获得多个主像素进一步包括：
在所述深度图像的直方图中确定所述多个主像素值；
按照特定的量化区间将所述多个主像素值周围的像素量化为主像素；以及
采用阈值分割方法，将所述深度图像中不在所述量化区域之内的像素进行分割，将其量化至对应的主像素上，从而将所述深度图像处理为仅包含所述多个主像素的值的图像。
其中，对所述多个主像素进行处理，以得到基本像素值进一步包括：
采用阈值分割法对所述仅包含所述多个主像素的值的图像进行处理，以得到仅包含所述基本像素值的图像。
其中，所述阈值分割法包括基于平均值的阈值分割法或基于平均值的迭代阈值分割法。
其中，基于多个上下文模式，对进行索引映射处理后的图像进行重新 映射进一步包括：
基于左上、上、右上、左侧的邻居索引值的多个基本模式，执行所述重新映射。
根据另一方面，本发明提供了一种用于基于BCIM的3D-HEVC快速帧内预测的装置，包括：
用于输入3D视频流的模块，所述3D视频流包含视频图像和深度图像；
用于对所述深度图像进行直方图分析，并基于所述直方图分析获得多个主像素和所述多个主像素的数量的模块；
用于采用阈值分割方法对所述多个主像素进行处理，以得到基本像素值的模块；
用于基于所述基本像素值，利用查询表来对所述深度图像进行索引映射的模块；
用于基于多个上下文模式，对进行索引映射处理后的图像进行重新映射的模块；以及
用于对经过重新映射的图像进行熵编码的模块。
根据另一方面，本发明提供了一种用于基于BCIM的3D-HEVC快速帧内预测的视频编码器，包括：
输入端子，其被配置为输入3D视频流，所述3D视频流包含视频图像和深度图像；
帧内预测电路，其被配置为基于HEVC标准对图像进行帧内预测；
BCIM预测电路，其对所述深度图像执行BCIM预测，所述BCIM预测电路被配置为：
对所述深度图像进行直方图分析，并基于所述直方图分析获得多个主像素和所述多个主像素的数量；
采用阈值分割方法对所述多个主像素进行处理，以得到基本像素值；
基于所述基本像素值，利用查询表来对所述深度图像进行索引映射；以及
基于多个上下文模式，对进行索引映射处理后的图像进行重新映射；以及
熵编码器，其对经过重新映射的图像进行熵编码。
根据另一方面，本发明还提供了包含用于执行上述方法的指令的计算机程序产品。
附图说明
图1示出了HEVC的编码器框图的一个实施例。
图2示出了不同视频序列中具有不同灰度值数目的(16×16)块的统计。
图3示出了根据本发明的一个实施例的基于BCIM的3D-HEVC帧内编码框架的图示。
图4示出了根据本发明的一个实施例的用于确定主像素的主像素直方图。
图5示出了根据本发明的一个实施例的进行重新映射索引值的示意图。
图6示出了根据本发明的一个实施例的用于基于BCIM的3D-HEVC快速帧内预测的方法的流程图。
图7示出了根据本发明的一个实施例的用于基于BCIM的3D-HEVC快速帧内预测的装置框图。
具体实施方式
现在参考附图来描述各种方案。在以下描述中，为了进行解释，阐述了多个具体细节以便提供对一个或多个方案的透彻理解。然而，显然，在没有这些具体细节的情况下也能够实现这些方案。
如在本申请中所使用的，术语“组件”、“模块”、“系统”等等旨在指代与计算机相关的实体，例如但不限于，硬件、固件、硬件和软件的组合、软件，或者是执行中的软件。例如，组件可以是但不限于：在处理器上运行的进程、处理器、对象、可执行体(executable)、执行线程、程序、和/或计算机。举例而言，运行在计算设备上的应用程序和该计算设备都可以是组件。一个或多个组件可以位于执行进程和/或者执行线程内，并且组件可以位于一台计算机上和/或者分布在两台或更多台计算机上。另外，这些组件可以从具有存储在其上的各种数据结构的各种计算机可读介质执行。组件可以借助于本地和/或远程进程进行通信，例如根据具有一个或多个数 据分组的信号，例如，来自于借助于信号与本地系统、分布式系统中的另一组件交互和/或者与在诸如因特网之类的网络上借助于信号与其他系统交互的一个组件的数据。
图1示出了高效视频编码(HEVC)所实现的视频编码器的大致结构图。HEVC的编码器架构与H.264所使用的编码器架构大致相同，主要是针对各个模块中所使用的算法进行了进一步的研究、改进，尤其是针对高分辨率视频序列，其改进的目标是在相同视频质量(PSNR)下码率降为H.264标准的50％。
由于HEVC的编码器架构与H.264所使用的编码器架构大致相同，因此不混淆本发明，本申请中不对图1中的整体架构进行描述。
以下将主要介绍本发明的各个实施例。
在介绍方案前，先来分析一下深度块的特征。在3D-HEVC中，3D视频编码也可以称为加深度多视角视频(Multiview Video plus Depth，MVD)。对于其中一个视角而言，它仅需有一个视频图像和一个深度图像来合成三维视角。而本发明关注于针对深度图像的帧内编码。
与视频图像特征不同，深度图像含有自己的特征。首先，深度图像的边缘是比较尖锐的。再有，深度图像中存在一些大块的区域，这些区域具有相同值或者缓慢变化的值。图2给出了不同视频序列中具有不同灰度值数目的(16×16)块的统计。在x轴上的数字表示在一个16×16块中所拥有的灰度值的数目。举例来说。对于Kendo序列，只含有一种颜色的块的数目占到了62％，并且一个块中的灰度值的数目最多为8个。从图1中可以看出，深度图像的灰度值是有限的。所以，对于这样的深度图像，可以采用BCIM对其进行压缩编码。
图3示出了根据本发明的一个实施例的基于BCIM的3D-HEVC帧内编码框架的图示。如图3所示，这里有两条路径(1和2)用于对深度图像进行帧内编码。其中，根据本发明的一个实施例，对于深度块可以直接采用BCIM模式进行编码。另外，作为一个可选实施例，还可以采用HEVC标准(即2013年正式颁布的HEVC标准)的帧内编码进行编码。在一个实施例中，可以使用类似于3D-HEVC中的比特率失真优化算法在以上两个编码模式之间进行选择。无论哪种模式被选择，重建像素值将会更新参考缓存 器用作邻块的预测编码。作为一个备选方案，路径1的过程已经在HEVC标准里讨论过了，在此不再赘述。对于路径2中的BCIM模式，深度块被替换成基本灰度值和索引值来表示。以上两种方法适用于HEVC中的4×4，8×8，16×16，32×32，64×64大小的块。同时在BCIM中基本色的数目也会被进行熵编码。以下将对BCIM进行详细描述。
在BCIM模式中，第一步，采用直方图并结合灰度迭代阈值法得到基本灰度值，并组成一个查找表。第二步，将深度块的每一个灰度值量化到最接近的基本灰度值，并用索引值进行表示。第三步，将索引映射进行重新映射。同时，每一个深度块都有他自己的基本灰度值和索引值。
选择基本灰度值
首先，选择适合表示深度块的基本灰度值以及对应灰度值的数目。可以采用类似于K-mean，LBG-VQ，TSVB和动态规划的方法来解决这个问题。然而，对于深度图像来说，深度块需要分割成两部分来更有效的表示锋锐的边缘。这个方法需要耗时少并且深度质量的损失尽量小。为了达到这个目标，本文采用基于算法的直方图和灰度迭代阈值法将深度块进行分割。
图4示出了根据本发明的一个实施例的用于确定主像素的主像素直方图。
如图4所示，我们利用算法将主要的像素值选择出来。可以采用各种方式来确定主像素。在本发明的一个实施例中，可以直接将直方图中具有超过特定阈值的像素数的灰度值设定为主要像素值。在本发明的另一个实施例中，首先将数量最多的像素设为一主像素，若其数量占总数量的N％(例如，50％)以上，就将其作为主像素；进而找数量次之的像素，若其占剩余部分的N％(例如，50％)以上，亦将其作为一主像素；依次类推，得到所有可能的主像素。
然后，再将那些主像素值周围的像素量化为主像素，量化区间为2q。
接下来，将那些不在量化范围之内的像素进行分割，将其量化至对应的主像素上。在一个实施例中，可以直接采用基于平均值的阈值分割法对其进行分割。在另一个实施例中，可以采用如下所述的基于平均值的迭代阈值分割法进行分割。由此，获得了多个主像素和这些主像素的数量。
最后，再对所得到的仅包含主像素的图像再次利用阈值分割(例如，上述的基于平均值的阈值分割法或者基于平均值的迭代阈值分割法)，得到所需的基本像素值。换言之，将由主像素表示的深度图分割为只含两种像素值的深度图。基于平均值的迭代阈值分割法描述如下。
第一步，采用相应灰度值的平均值作为阈值Ti，用于将深度块分割成两部分。例如，当第一次迭代时，是将(主像素)图像中的全部像素的灰度值的平均值作为该阈值。
其中，g(x，y)和I(x，y)代表深度块相应位置的灰度值。V1和V2分别是相应位置的平均值(亦即，根据阈值进行分割后，将相应部分的灰度值取平均，作为对应的像素值。)。
T＝(V1+V2)/2 (2)
根据公式(2)，我们可以得到一个新的阈值Tu。最后，根据公式(1)和(2)，采用灰度迭代法直到阈值T不再改变。所以，阈值T是用来作为将深度块分成两部分R1和R2的界限。而对应于两部分的平均值V1和V2将作为基本灰度值(即基本色)并构成一个查找表。同时，还可以确定这些基本灰度值的数量。
本领域技术可以理解，虽然在此示出了两个基本灰度值(即基本色)，但是可以以类似的方法使用更多的基本灰度值。
生成索引映射
根据在先前操作中得到的阈值T，深度块将被分割成两部分，分别对应的平均值为V1和V2(即，基本灰度值或基本色)。在查找表里，基本灰度值或基本色V1和V2对应着索引值0和1。将深度块里的每一个V1和V2用0和1来代替，这样索引映射就得到了。换言之，一个深度块最后是由索引值和基本色查询表来表示的。V1和V2对应的是基本色，其在查询表里对应的索引值为0和1，而深度块就是用0和1来代替V1和V2的位置，得到索引映射。
重新映射索引值
深度图像的索引映射之间存在着类似的模式，如图5(a)所示，根据邻块 的索引值来重新映射当前的索引值，再利用基于上下文的熵编码得到更好的压缩效果。为了能够降低对内容的记忆和计算的要求，我们采用的基本模式的数目为8，对应为{AAAA，AAAB，AABA，ABAA，BAAA，AABB，ABAB，ABBA)。在对索引映射进行熵编码之前，当前的索引值会被重新映射，而从当前值x到i(x)的对应关系如公式(3)所示。
另外，在一个可选实施例中，当深度图像的帧内预测方向是水平或者垂直的时候，我们采用另一种方法来压缩重新映射的索引值。在垂直的情况下，如图5(b)所示，如果当前值与其上面两个相邻的索引值都相等的话，当前值就设为0，否则，当前值保持不变。类似的。在水平的情况下，如图5(c)所示，当前值与其左面两个相邻的索引值都相等的话，当前值就设为0，否则当前值保持不变。换言之，当对索引值重新映射后，存在两种比较特殊的情况，一种是“垂直方向”上的索引值相同，一种是“水平方向”上的索引值相同。除了这两种情况外，不会在对索引值再进行映射。就是说，图5(b)和5(c)的进一步映射是在基于图5(a)的模式的索引值重新预测的结果上进行的。
经过重新映射后，再对索引映射进行熵编码，如图4所示的。
图6示出了根据本发明的一个实施例的用于基于BCIM的3D-HEVC快速帧内预测的方法的流程图。如图6所示的，在步骤601中，输入3D视频流，所述3D视频流包含视频图像和深度图像。
在步骤602中，对所述深度图像进行直方图分析，并基于所述直方图分析获得多个主像素和所述多个主像素的数量。在一个优选实施例中，通过以下方式获得多个主像素：在所述深度图像的直方图中确定所述多个主像素值；按照特定的量化区间将所述多个主像素值周围的像素量化为主像素；以及采用阈值分割方法，将所述深度图像中不在所述量化区域之内的像素进行分割，将其量化至对应的主像素上，从而将所述深度图像处理为仅包含所述多个主像素的值的图像。
在步骤603中，采用阈值分割方法对所述多个主像素进行处理，以得到基本像素值。在一个优选实施例中，采用阈值分割法对所述仅包含所述 多个主像素的值的图像进行处理，以得到仅包含所述基本像素值的图像。一个实施例中，所述阈值分割法包括基于平均值的阈值分割法。在另一个实施例中，所述阈值分割法包括基于平均值的迭代阈值分割法。
在步骤604中，基于所述基本像素值，利用查询表来对所述深度图像进行索引映射。
在步骤605中，基于多个上下文模式，对进行索引映射处理后的图像进行重新映射。在一个优选实施例中，基于左上、上、右上、左侧的邻居索引值的多个基本模式，执行所述重新映射。
在步骤606中，对经过重新映射的图像进行熵编码。
在一个可选实施例中，上述方法还可以包括以下可选步骤：步骤607，基于HEVC标准的帧内预测，对所述深度图像进行帧内预测；在步骤608中，基于比特率失真优化算法来在两个预测模式之间进行选择，其中，所述两个预测模式包括所述帧内预测和包括所述直方图分析、对所述多个主像素进行处理、所述重新映射在内的模式。
图7示出了根据本发明的一个实施例的用于基于BCIM的3D-HEVC快速帧内预测的装置框图，其中的模块方框701-708与图6中的步骤601-608一一对应，因此在此不再赘述。
当用硬件实现时，视频编码器可以用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件或者设计为执行本文所述功能的其任意组合，来实现或执行。通用处理器可以是微处理器，但是可替换地，该处理器也可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器的组合、一个或多个微处理器与DSP内核的组合或者任何其它此种结构。另外，至少一个处理器可以包括可操作以执行上述的一个或多个步骤和/或操作的一个或多个模块。
当用ASIC、FPGA等硬件电路来实现视频编码器时，其可以包括被配置为执行各种功能的各种电路块。本领域技术人员可以根据施加在整个系统上的各种约束条件来以各种方式设计和实现这些电路，来实现本发明所公开的各种功能。
尽管前述公开文件论述了示例性方案和/或实施例，但应注意，在不背离由权利要求书定义的描述的方案和/或实施例的范围的情况下，可以在此做出许多变化和修改。而且，尽管以单数形式描述或要求的所述方案和/或实施例的要素，但也可以设想复数的情况，除非明确表示了限于单数。另外，任意方案和/或实施例的全部或部分都可以与任意其它方案和/或实施例的全部或部分结合使用，除非表明了有所不同。
本申请参考了以下各个文献，这些文献由此引入本文，以作为本文公开内容的一部分。
[1]B.Bross，W.J.Han，J.R.Ohm，G.J.Sullivan，Y.K.Wang，T.Wiegand，“HighEfficiency Video Coding(HEVC)text specification draft10(for FDIS & Last Call)，”JCTVC-L7003，January，2013.
[2]P.Merkle，A.Smo1ic，K.
and T.Wiegand，“Efficient prediction structures for multiview Video coding，”IEEE Transactions on Circuits and Systems for VideoTechnology，vo1.17，no.11，pp.1461-1473，November，2007.
[3]L.Zhang，G.Tech，K.Wegner，S.Yea，“3D-HEVC Test Model5，”JCT3V-E1005，July-August，2013.
[4]K.
H.Schwarz，D.Marpe，C.Bartnik，S.Bosse，H.Brust，et a1.“3D High-Efficiency Video Coding fo r Multi-View Video and Depth Data，”IEEE Transactions on Image Processing，vo1.22，no.9，September，2013.
[5]P.Kauff，N.Atzpadin，C.Fehn，M.O.Schreer，A.Smolic，et a1.“Depth map creation and image based rendering for advanced 3DTV services providing interoperability and scalability，”SignalProcessing：Image Communication，Special Issue 3DTV，vo1.22，no.2，pp.217-234，February，2007.
[6]W.Ding，Y.Lu，F.Wu，“Enable efficient compound image compression in H.264/AVC intra coding，”ICIP，vo1.2，pp.337-340，October，2007.
[7]X.Wu，“Color quantization by dynamic programming and principal analysis，”ACM Transacfions on Graphics，vo1.11，no.4，pp.348-372，October，1992.
[8]J.D.Bruce，“Optimum Quantization，”D.Sc.thesis，Massachusetts Institute ofTechnology，Cambridge，May，1964.
[9]https：//hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/.
[10]D.Rusanovskyy，K.
A.Vetro，“Common Test Conditions of 3DV Core Experiments，”JCT3V-E1100，July-August，2013 。
Claims (10)
1.一种方法，包括：
输入3D视频流，所述3D视频流包含视频图像和深度图像；
对所述深度图像进行直方图分析，并基于所述直方图分析获得多个主像素和所述多个主像素的数量；
采用阈值分割方法对所述多个主像素进行处理，以得到基本像素值；
基于所述基本像素值，利用查询表来对所述深度图像进行索引映射；
基于多个上下文模式，对进行索引映射处理后的图像进行重新映射；以及
对经过重新映射的图像进行熵编码。
2.如权利要求1所述的方法，还包括：
基于HEVC标准的帧内预测，对所述深度图像进行帧内预测；以及
基于比特率失真优化算法来在两个预测模式之间进行选择，其中，所述两个预测模式包括所述帧内预测和包括所述直方图分析、对所述多个主像素进行处理、所述重新映射在内的模式。
3.如权利要求1所述的方法，其中，所述获得多个主像素进一步包括：
在所述深度图像的直方图中确定所述多个主像素值；
按照特定的量化区间将所述多个主像素值周围的像素量化为主像素；以及
采用阈值分割方法，将所述深度图像中不在所述量化区域之内的像素进行分割，将其量化至对应的主像素上，从而将所述深度图像处理为仅包含所述多个主像素的值的图像。
4.如权利要求3所述的方法，其中，对所述多个主像素进行处理，以得到基本像素值进一步包括：
采用阈值分割法对所述仅包含所述多个主像素的值的图像进行处理，以得到仅包含所述基本像素值的图像。
5.如权利要求4所述的方法，其中，所述阈值分割法包括基于平均值的阈值分割法。
6.如权利要求4所述的方法，其中，所述阈值分割法包括基于平均值的迭代阈值分割法。
7.如权利要求1所述的方法，其中，基于多个上下文模式，对进行索引映射处理后的图像进行重新映射进一步包括：
基于左上、上、右上、左侧的邻居索引值的多个基本模式，执行所述重新映射。
8.一种装置，包括：
用于输入3D视频流的模块，所述3D视频流包含视频图像和深度图像；
用于对所述深度图像进行直方图分析，并基于所述直方图分析获得多个主像素和所述多个主像素的数量的模块；
用于采用阈值分割方法对所述多个主像素进行处理，以得到基本像素值的模块；
用于基于所述基本像素值，利用查询表来对所述深度图像进行索引映射的模块；
用于基于多个上下文模式，对进行索引映射处理后的图像进行重新映射的模块；以及
用于对经过重新映射的图像进行熵编码的模块。
9.一种编码器，其包括：
输入端子，其被配置为输入3D视频流，所述3D视频流包含视频图像和深度图像；
帧内预测电路，其被配置为基于HEVC标准对图像进行帧内预测；
BCIM预测电路，其对所述深度图像执行BCIM预测，所述BCIM预测电路被配置为：
对所述深度图像进行直方图分析，并基于所述直方图分析获得多个主像素和所述多个主像素的数量；
采用阈值分割方法对所述多个主像素进行处理，以得到基本像素值；
基于所述基本像素值，利用查询表来对所述深度图像进行索引映射；以及
基于多个上下文模式，对进行索引映射处理后的图像进行重新映射；以及
熵编码器，其对经过重新映射的图像进行熵编码。
10.一种计算机程序产品，其包含用于执行权利要求1-7中任一项所述的方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410094073.1A CN103813173B (zh) | 2014-03-14 | 2014-03-14 | 基于bcim的3d‑hevc快速帧内预测方案 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410094073.1A CN103813173B (zh) | 2014-03-14 | 2014-03-14 | 基于bcim的3d‑hevc快速帧内预测方案 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103813173A true CN103813173A (zh) | 2014-05-21 |
| CN103813173B CN103813173B (zh) | 2017-02-15 |
Family
ID=50709304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410094073.1A Active CN103813173B (zh) | 2014-03-14 | 2014-03-14 | 基于bcim的3d‑hevc快速帧内预测方案 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103813173B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104038760A (zh) * | 2014-06-13 | 2014-09-10 | 南京理工大学 | 一种3d视频深度图像帧内楔形分割模式选择方法及系统 |
| CN104079942A (zh) * | 2014-06-25 | 2014-10-01 | 华为技术有限公司 | 一种图像处理方法、装置及系统 |
| CN104469387A (zh) * | 2014-12-15 | 2015-03-25 | 哈尔滨工业大学 | 一种多视点视频编码中分量间的运动参数继承方法 |
| CN106331716A (zh) * | 2016-08-31 | 2017-01-11 | 钟炎培 | 视频压缩方法和装置 |
| CN108134940A (zh) * | 2018-01-22 | 2018-06-08 | 合肥工业大学 | 应用于视频编解码中深度图像帧内预测的编码电路及其编码方法 |
| CN109600600A (zh) * | 2018-10-31 | 2019-04-09 | 万维科研有限公司 | 涉及深度图转换的编码器、编码方法以及三层表达式的存储方法和格式 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060126152A (ko) * | 2005-06-03 | 2006-12-07 | 엘지전자 주식회사 | 비트 인터리브드 코디드 모듈레이션 시스템에서의 최적의맵핑 선정 방법 |
| CN103262533A (zh) * | 2010-10-01 | 2013-08-21 | 高通股份有限公司 | 指示用于视频译码的帧内预测模式选择 |
| CN103636220A (zh) * | 2011-06-28 | 2014-03-12 | 联发科技（新加坡）私人有限公司 | 帧内编码编码的方法及装置 |
-
2014
- 2014-03-14 CN CN201410094073.1A patent/CN103813173B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060126152A (ko) * | 2005-06-03 | 2006-12-07 | 엘지전자 주식회사 | 비트 인터리브드 코디드 모듈레이션 시스템에서의 최적의맵핑 선정 방법 |
| CN103262533A (zh) * | 2010-10-01 | 2013-08-21 | 高通股份有限公司 | 指示用于视频译码的帧内预测模式选择 |
| CN103636220A (zh) * | 2011-06-28 | 2014-03-12 | 联发科技（新加坡）私人有限公司 | 帧内编码编码的方法及装置 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104038760A (zh) * | 2014-06-13 | 2014-09-10 | 南京理工大学 | 一种3d视频深度图像帧内楔形分割模式选择方法及系统 |
| CN104038760B (zh) * | 2014-06-13 | 2017-03-15 | 南京理工大学 | 一种3d视频深度图像帧内楔形分割模式选择方法及系统 |
| CN104079942A (zh) * | 2014-06-25 | 2014-10-01 | 华为技术有限公司 | 一种图像处理方法、装置及系统 |
| WO2015196860A1 (zh) * | 2014-06-25 | 2015-12-30 | 华为技术有限公司 | 一种图像处理方法、装置及系统 |
| CN104079942B (zh) * | 2014-06-25 | 2017-06-06 | 华为技术有限公司 | 一种图像处理方法、装置及系统 |
| CN104469387A (zh) * | 2014-12-15 | 2015-03-25 | 哈尔滨工业大学 | 一种多视点视频编码中分量间的运动参数继承方法 |
| CN104469387B (zh) * | 2014-12-15 | 2017-11-03 | 哈尔滨工业大学 | 一种多视点视频编码中分量间的运动参数继承方法 |
| CN106331716A (zh) * | 2016-08-31 | 2017-01-11 | 钟炎培 | 视频压缩方法和装置 |
| CN106331716B (zh) * | 2016-08-31 | 2019-05-24 | 西安万像电子科技有限公司 | 视频压缩方法和装置 |
| CN108134940A (zh) * | 2018-01-22 | 2018-06-08 | 合肥工业大学 | 应用于视频编解码中深度图像帧内预测的编码电路及其编码方法 |
| CN108134940B (zh) * | 2018-01-22 | 2019-11-08 | 合肥工业大学 | 应用于视频编码中深度图像帧内预测的编码电路及方法 |
| CN109600600A (zh) * | 2018-10-31 | 2019-04-09 | 万维科研有限公司 | 涉及深度图转换的编码器、编码方法以及三层表达式的存储方法和格式 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103813173B (zh) | 2017-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hou et al. | Light field image compression based on bi-level view compensation with rate-distortion optimization | |
| CN103813173A (zh) | 基于bcim的3d-hevc快速帧内预测方案 | |
| CN103281541B (zh) | 基于深度图像的帧内预测楔形分块方法 | |
| EP3465622A1 (en) | Motion-compensated compression of dynamic voxelized point clouds | |
| EP3983999A1 (en) | Method and apparatus for point cloud compression | |
| CN103957415B (zh) | 基于屏幕内容视频的cu分割方法和装置 | |
| CN107027025B (zh) | 一种基于宏像素块自适应预测的光场图像压缩方法 | |
| EP2099226A1 (en) | Video encoding method, decoding method, device thereof, program thereof, and storage medium containing the program | |
| EP3061253A1 (en) | Hash-based block matching in video and image coding | |
| EP3061233A1 (en) | Representing blocks with hash values in video and image coding and decoding | |
| CN102801995B (zh) | 一种基于模板匹配的多视点视频运动和视差矢量预测方法 | |
| CN103098475B (zh) | 图像编码方法和装置、图像解码方法和装置 | |
| US20210092430A1 (en) | Video-Based Point Cloud Compression Model to World Signalling Information | |
| CN103281531A (zh) | 面向hevc的质量可伸缩层间预测编码 | |
| CN107005702A (zh) | 用于处理数字图像的块的系统和方法 | |
| JP6232075B2 (ja) | 映像符号化装置及び方法、映像復号装置及び方法、及び、それらのプログラム | |
| Jia et al. | Deep learning geometry compression artifacts removal for video-based point cloud compression | |
| Zamarin et al. | A joint multi-view plus depth image coding scheme based on 3D-warping | |
| CN106576166A (zh) | 图像编码和解码方法、图像编码和解码设备以及相应的计算机程序 | |
| CN103237223A (zh) | 基于熵的lcu快速划分 | |
| CN103828366B (zh) | 一种编码和解码方法、编码和解码设备 | |
| Song et al. | Unified depth intra coding for 3D video extension of HEVC | |
| Toffetti et al. | Image compression in a multi-camera system based on a distributed source coding approach | |
| Sharma et al. | A Flexible Lossy Depth Video Coding Scheme Based on Low-rank Tensor Modelling and HEVC Intra Prediction for Free Viewpoint Video | |
| Chen et al. | multisource surveillance video coding by exploiting 3d and 2d knolwedge |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201105 Address after: Group 3, Jianyang Town, Jiandong village, Jianhu County, Yancheng City, Jiangsu Province Patentee after: Jianhu Wanyun Technology Co.,Ltd. Address before: Room 1424, Floor 4, Peony Pioneer Building, No. 2 Garden Road, Haidian District, Beijing, 100191 Patentee before: Beijing Zhonglian Technology Service Co.,Ltd. Effective date of registration: 20201105 Address after: Room 1424, Floor 4, Peony Pioneer Building, No. 2 Garden Road, Haidian District, Beijing, 100191 Patentee after: Beijing Zhonglian Technology Service Co.,Ltd. Address before: 100144 Beijing City, Shijingshan District Jin Yuan Zhuang Road No. 5, North China University of Technology Patentee before: North China University of Technology |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201207 Address after: 213000 No. 11 Qingyang North Road, Tianning District, Changzhou, Jiangsu Patentee after: Changzhou Hong quantity Electronic Technology Co.,Ltd. Address before: Group 3, Jianyang Town, Jiandong village, Jianhu County, Yancheng City, Jiangsu Province Patentee before: Jianhu Wanyun Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220831 Address after: Tianning District Hehai road 213000 Jiangsu city of Changzhou province No. 9 Patentee after: Changzhou Tianning Communication Technology Industrial Park Co.,Ltd. Address before: 213000 No. 11 Qingyang North Road, Tianning District, Changzhou City, Jiangsu Province Patentee before: Changzhou Hong quantity Electronic Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230109 Address after: Tianning District Hehai road 213000 Jiangsu city of Changzhou province No. 9 Patentee after: Changzhou Hengtang Technology Industry Co.,Ltd. Address before: Tianning District Hehai road 213000 Jiangsu city of Changzhou province No. 9 Patentee before: Changzhou Tianning Communication Technology Industrial Park Co.,Ltd. |