CN108234987A - 一种用于深度图像边界拟合的双抛物线分区模板优化方法 - Google Patents

一种用于深度图像边界拟合的双抛物线分区模板优化方法 Download PDF

Info

Publication number
CN108234987A
CN108234987A CN201810062834.3A CN201810062834A CN108234987A CN 108234987 A CN108234987 A CN 108234987A CN 201810062834 A CN201810062834 A CN 201810062834A CN 108234987 A CN108234987 A CN 108234987A
Authority
CN
China
Prior art keywords
partition
partition mask
hit
template
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810062834.3A
Other languages
English (en)
Inventor
段昶
申宇欢
朱策
汪敏
郭鹏宇
舒豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Petroleum University
Original Assignee
Southwest Petroleum University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Petroleum University filed Critical Southwest Petroleum University
Priority to CN201810062834.3A priority Critical patent/CN108234987A/zh
Publication of CN108234987A publication Critical patent/CN108234987A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明属于深度图像视频编码技术领域，具体涉及一种用于深度图像边界拟合的双抛物线分区模板优化方法，包括根据双抛物线模板生成的方法生成若干双抛物线分区模板并组成分区模板库；对分区模板库中的所有分区模板的命中情况进行统计，统计结果呈拉普拉斯分布，根据拉普拉斯分布图的曲线平缓程度将所有的分区模板分为命中次数在前α％、中间β％和最后γ％；对命中次数在前α％的分区模板进行优化，优化后的分区模板作为对应模板的二维分区模板；对命中次数在中间β％的分区模板，保留；对命中次数在最后γ％的分区模板，删除。本发明的分区模板优化方法，能够解决在编码深度图锐利边界的时间和质量问题，提高了深度图的编码效率。

Description

一种用于深度图像边界拟合的双抛物线分区模板优化方法
技术领域
本发明属于深度图像视频编码技术领域，具体涉及一种用于深度图像边界拟合的双抛物线分区模板优化方法。
背景技术
目伴随着计算机通信和显示技术的发展，三维视频因能够为观众提供身临其境的立体视听体验而引起海内外工业界和学术界的广泛关注和研究。三维视频系统利用DIBR视点合成技术，用纹理图像和深度图像可以生成任意视点位置的纹理视频，避免了直接传输大量纹理视频数据所带来的数据量。
深度图像反映了三维场景中物体到相机的距离信息，由大部分的平坦区域和少部分的锐利边缘组成，边缘部分编码质量的好坏直接影响了虚拟视点的合成质量。编码研究者根据深度图的边界特性，将深度建模模式(Depth Modelling Modes，DMM)作为一种可选的帧内预测模式引入到3D视频编解码框架中，之后又对模板形状进行优化，添加了双抛物线分区模板，进一步提高编码性能。
双抛物线分区模板在一定程度上丰富了模板的形状，进而可以更好的拟合深度图的边界，但仍然存在一些缺陷：
双抛物线分区模板数量很大，在用于编码时需要遍历每个模板来找到最优模板，增加了很多的计算量；
在得到大小16*16、32*32的双抛物线模板表时，对起始点、终点和空间中第三点的取值采用了下采样，模板对边界的拟合不是很准确。
对比文件CN 107071478A。
发明内容
本发明的目的在于：针对现有技术中存在的上述问题，本发明提供一种用于深度图像边界拟合的双抛物线分区模板优化方法，解决了在编码深度图锐利边界的时间和质量问题，提高了深度图的编码效率，从而提高了合成视点的视频质量。
为了实现上述目的，本发明采用的技术方案为：
一种用于深度图像边界拟合的双抛物线分区模板优化方法，包括以下步骤：
步骤1、根据双抛物线模板生成的方法生成若干双抛物线分区模板并组成分区模板库；
步骤2、对分区模板库中的所有分区模板的命中情况进行统计，统计结果呈拉普拉斯分布，根据拉普拉斯分布图的曲线平缓程度将所有的分区模板分为命中次数在前α％、中间β％和最后γ％；
对命中次数在前α％的分区模板进行优化，优化后的分区模板作为对应模板的二维分区模板；
对命中次数在中间β％的分区模板，保留；
对命中次数在最后γ％的分区模板，删除；
步骤3、在将深度块与分区模板进行匹配时，若搜索到相匹配的分区模板为α％，则搜索对应的二维分区模板是否匹配；若搜索到中间β％的分区模板相匹配，则结束。
作为优选，步骤1中，分区模板库中还包括折线模板，折线模板的生成方法包括以下步骤：
对起始点S(x1,y1)、终点E(x2,y2)和空间中第三点P(x3,y3)的遍历；已知起始点S(x1,y1)、终点E(x2,y2)和空间中第三点P(x3,y3)的坐标，连接SP和EP构成分区分割线，离散化后将分割线的两侧分别赋值0/1，归为两个分区，形成折线模板。
作为优选，步骤2中，对命中次数在前α％的分区模板进行优化，优化方法包括：
将起始点S(x1,y1)、终点E(x2,y2)和空间中第三点P(x3,y3)坐标调整为：S(x1±Δ,y1)或S(x1,y1±Δ)，E(x2±Δ,y2)或E(x2,y2±Δ)，P(x3±Δ,y3±Δ)。对于16×16的模板，Δ为0～1；对于32×32的模板，Δ为0～2。
由于采用了上述技术方案，本发明的有益效果是：
1、删减掉命中次数较低的模板，减少计算量的同时也减少了编码模板序号所需要的比特数；
2、对命中次数较高的模板，认为是比较重要的，边界细节需要优化，则通过调整起始点、终点和空间中第三点的取值，进行相似模板搜索，以得到拟合更加准确的模板，提高深度图的编码质量；
3、在找到命中次数高的模板后，再进行相似模板搜索，这种先搜索较优，再寻找最优的方法大大减少了计算量。
附图说明
图1是本发明的16×16的分区模板的命中统计图。
图2是本发明的32×32的分区模板的命中统计图。
图3是本发明的模板命中次数的划分示意图。
图4是本发明的优化后的模板搜索方式示意图。
具体实施方式
参照图1-4，本实施中，以HTM15.2编解码器为例，具体阐述深度图像边界拟合时双抛物线分区模板优化过程：
步骤1、根据双抛物线模板生成的方法生成若干双抛物线分区模板并组成分区模板库。其中，双抛物线模板生成的过程参照CN107071478A中所记载的方法，在此不做过多赘述。
为了解决双抛物线模板形状依然不是很丰富，对深度图边界描述的准确度仍然有欠缺的问题，参照双抛物线模板生成的思路，生成折线模板，增加分区模板的形状。生成折线模板的生成与双抛物线模板的生成类似，对起始点S(x1,y1)、终点E(x2,y2)和空间中第三点P(x3,y3)的遍历。已知起始点S(x1,y1)、终点E(x2,y2)和空间中第三点P(x3,y3)的坐标，连接SP和EP构成分区分割线，离散化后将分割线的两侧分别赋值0/1，归为两个分区，即形成折线分区模板。
通过增加折线分区模板，能够进一步丰富了二分区模板的形状，使得深度边界描述的准确度显著提高。
步骤2、对编解码器HTM15.2进行修改，将分区模板表集成到编解码器HTM，在现有深度建模模式中新加入新的DMM5模式，即通过遍历分区模板表来对深度图进行编码。DMM5模式将深度块与分区模板表进行遍历匹配，找到最佳匹配分区模板，并与其它编码方式进行比较。若优于其它编码方式，则该深度块用DMM5方式来进行编码。测试结束后，统计每个模板的命中次数。如图1和图2所示，模板命中次数呈现出拉普拉斯分布。
参照图3，根据拉普拉斯分布图的曲线平缓程度将所有的分区模板分为命中次数在前α％、中间β％和最后γ％。
对命中次数在前α％的分区模板进行优化，
将起始点S(x1,y1)、终点E(x2,y2)和空间中第三点P(x3,y3)坐标调整为：S(x1±Δ,y1)或S(x1,y1±Δ)，E(x2±Δ,y2)或E(x2,y2±Δ)，P(x3±Δ,y3±Δ)。对于16×16的模板，Δ为0～1；对于32×32的模板，Δ为0～2。优化后的分区模板作为对应模板的二维分区模板。
对命中次数在中间β％的分区模板，保留。
对命中次数在最后γ％的分区模板，删除。
最后对步骤1得到的编解码器的DMM5模式进行修改，在搜索最优分区模板时，若搜到最优模板为前α％，则搜索对应的二维模板看是否更优；若搜索到中间β％的模板为最优，则结束。
在具体编码时，对于前α％的模板，用0/1表示最优模板为第一维模板还是第二维的模板。若第一维模板为最优，则编码0/1标志位和第一维模板的序号；若第二维模板为最优，则除了编码0/1标志位和第一维模板的序号，还需编码第二维模板的序号。对于中间β％的模板，直接编码模板序号。
通过统计分区模板的命中情况，基于命中次数的拉普拉斯分布，对重要的模板(命中高的模板)进行边缘细化，提高深度图的编码质量，对不重要的模板(命中低的模板)进行舍去，同时采用二维搜索结构大大降低了计算量。通过以上操作解决了双抛物线模板模式计算量的同时又在一定程度上提高了深度图编码的质量。

Claims (3)

1.一种用于深度图像边界拟合的双抛物线分区模板优化方法，其特征在于，包括以下步骤：
步骤1、根据双抛物线模板生成的方法生成若干双抛物线分区模板并组成分区模板库；
步骤2、对分区模板库中的所有分区模板的命中情况进行统计，统计结果呈拉普拉斯分布，根据拉普拉斯分布图的曲线平缓程度将所有的分区模板分为命中次数在前α％、中间β％和最后γ％；
对命中次数在前α％的分区模板进行优化，优化后的分区模板作为对应模板的二维分区模板；
对命中次数在中间β％的分区模板，保留；
对命中次数在最后γ％的分区模板，删除；
步骤3、在将深度块与分区模板进行匹配时，若搜索到相匹配的分区模板为α％，则搜索对应的二维分区模板是否匹配；若搜索到中间β％的分区模板相匹配，则结束。
2.根据权利要求1所述的双抛物线分区模板优化方法，其特征在于，步骤1中，分区模板库中还包括折线模板，折线模板的生成方法包括以下步骤：
对起始点S(x1,y1)、终点E(x2,y2)和空间中第三点P(x3,y3)的遍历；已知起始点S(x1,y1)、终点E(x2,y2)和空间中第三点P(x3,y3)的坐标，连接SP和EP构成分区分割线，离散化后将分割线的两侧分别赋值0/1，归为两个分区，形成折线模板。
3.根据权利要求1或2所述的双抛物线分区模板优化方法，其特征在于，步骤2中，对命中次数在前α％的分区模板进行优化，优化方法包括：
将起始点S(x1,y1)、终点E(x2,y2)和空间中第三点P(x3,y3)坐标调整为：S(x1±Δ,y1)或S(x1,y1±Δ)，E(x2±Δ,y2)或E(x2,y2±Δ)，P(x3±Δ,y3±Δ)。对于16×16的模板，Δ为0～1；对于32×32的模板，Δ为0～2。
CN201810062834.3A 2018-01-23 2018-01-23 一种用于深度图像边界拟合的双抛物线分区模板优化方法 Pending CN108234987A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810062834.3A CN108234987A (zh) 2018-01-23 2018-01-23 一种用于深度图像边界拟合的双抛物线分区模板优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810062834.3A CN108234987A (zh) 2018-01-23 2018-01-23 一种用于深度图像边界拟合的双抛物线分区模板优化方法

Publications (1)

Publication Number Publication Date
CN108234987A true CN108234987A (zh) 2018-06-29

Family

ID=62668607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810062834.3A Pending CN108234987A (zh) 2018-01-23 2018-01-23 一种用于深度图像边界拟合的双抛物线分区模板优化方法

Country Status (1)

Country Link
CN (1) CN108234987A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120002863A1 (en) * 2010-07-02 2012-01-05 Samsung Electronics Co., Ltd. Depth image encoding apparatus and depth image decoding apparatus using loop-filter, method and medium
CN105247863A (zh) * 2013-07-08 2016-01-13 联发科技（新加坡）私人有限公司 三维视频编码中简化的cabac编码方法
CN106416256A (zh) * 2014-03-31 2017-02-15 三星电子株式会社 用于对深度图像进行编码或解码的方法和设备
CN106464908A (zh) * 2014-06-20 2017-02-22 三星电子株式会社 用于传输深度图像的预测模式以供层间视频编码和解码的方法和装置
CN107071478A (zh) * 2017-03-30 2017-08-18 成都图必优科技有限公司 基于双抛物线分区模板的深度图编码方法
CN107592538A (zh) * 2017-09-06 2018-01-16 华中科技大学 一种降低立体视频深度图编码复杂度的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120002863A1 (en) * 2010-07-02 2012-01-05 Samsung Electronics Co., Ltd. Depth image encoding apparatus and depth image decoding apparatus using loop-filter, method and medium
CN105247863A (zh) * 2013-07-08 2016-01-13 联发科技（新加坡）私人有限公司 三维视频编码中简化的cabac编码方法
CN106416256A (zh) * 2014-03-31 2017-02-15 三星电子株式会社 用于对深度图像进行编码或解码的方法和设备
CN106464908A (zh) * 2014-06-20 2017-02-22 三星电子株式会社 用于传输深度图像的预测模式以供层间视频编码和解码的方法和装置
CN107071478A (zh) * 2017-03-30 2017-08-18 成都图必优科技有限公司 基于双抛物线分区模板的深度图编码方法
CN107592538A (zh) * 2017-09-06 2018-01-16 华中科技大学 一种降低立体视频深度图编码复杂度的方法

Similar Documents

Publication Publication Date Title
CN100514369C (zh) 一种基于非均匀空间划分的场景可见性裁剪方法
CN108712648B (zh) 一种深度视频快速帧内编码方法
CN110675508B (zh) 一种bim模型几何图形化简方法
US9883200B2 (en) Method of acquiring neighboring disparity vectors for multi-texture and multi-depth video
CN103338370B (zh) 一种多视点深度视频快速编码方法
CN104038760B (zh) 一种3d视频深度图像帧内楔形分割模式选择方法及系统
US20130211791A1 (en) Method of Generalizing 3-Dimensional Building Models Having Level of Detail+
CN102663800A (zh) 一种顾及城市意象的城市建筑综合与渲染的方法
CN102447925A (zh) 一种虚拟视点图像合成方法及装置
CN105447823A (zh) 一种图像处理方法及一种电子设备
CN112449171B (zh) 点云分视角传输的编码方法、系统及介质
CN110446052A (zh) 一种3d-hevc帧内深度图快速cu深度选择方法
CN105898331A (zh) 一种深度视频编码的比特分配和码率控制方法
CN109756719A (zh) 基于cu划分贝叶斯决策的3d-hevc帧间快速方法
CN107071478B (zh) 基于双抛物线分区模板的深度图编码方法
CN108810531B (zh) 视频编码处理方法、装置及电子设备
CN108234987A (zh) 一种用于深度图像边界拟合的双抛物线分区模板优化方法
CN102281440A (zh) 一种基于几何图像的三维网格模型错误保护编码方法
CN102129664B (zh) 一种rgb空间图像区域像素信息压缩存储和还原方法
CN105100773B (zh) 立体视频制作方法、立体视图制作方法和制作系统
CN104994368A (zh) 2d-3d视频转换中的非关键帧排序方法
CN112738520B (zh) 一种vr全景视频信息处理方法
CN111739111A (zh) 一种点云投影编码的块内偏移优化方法及系统
CN109493406B (zh) 快速百分比靠近软阴影绘制方法
CN103813149B (zh) 一种编解码系统的图像与视频重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180629