CN105791862B - 基于边缘复杂度的三维视频编码深度图内部模式选择方法 - Google Patents

基于边缘复杂度的三维视频编码深度图内部模式选择方法 Download PDF

Info

Publication number
CN105791862B
CN105791862B CN201610162205.9A CN201610162205A CN105791862B CN 105791862 B CN105791862 B CN 105791862B CN 201610162205 A CN201610162205 A CN 201610162205A CN 105791862 B CN105791862 B CN 105791862B
Authority
CN
China
Prior art keywords
edge
intra
pixel
depth map
patterns
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610162205.9A
Other languages
English (en)
Other versions
CN105791862A (zh
Inventor
张桦
项璐露
阳宁凯
戴国骏
吴以凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201610162205.9A priority Critical patent/CN105791862B/zh
Publication of CN105791862A publication Critical patent/CN105791862A/zh
Application granted granted Critical
Publication of CN105791862B publication Critical patent/CN105791862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种基于边缘复杂度的三维视频编码深度图内部模式选择方法。本发明首先在3D‑HEVC软件基础上对已划分的深度图预测单元利用边缘检测算子进行计算；若当前预测单元的边缘点大于一定阈值，则判断该PU块存在边缘；在PU块存在边缘的条件下统计边缘像素点的边缘方向，将边缘方向分为4个方向；若此预测单元统计得方向个数，则将intra_Wedge模式加入模式候选列表，若，则将intra_Contour模式加入候选列表；若边缘点个数小于阈值，则针对深度图的内部编码模式DMM将不会加入到模式候选列表中。本发明在保证编码质量的条件下节约了编码计算量与时间，快速决定3D‑HEVC深度图内部编码模式。

Description

基于边缘复杂度的三维视频编码深度图内部模式选择方法
技术领域
本发明涉及多视点视频处理技术领域，具体涉及一种基于边缘复杂度的三维视频编码深度图内部模式选择方法。
背景技术
近年来3D应用得到了广泛的关注，立体显示快速发展，一种新的技术----自由立体显示开始浮现并应用到商业中。为了实现自由立体显示，由3D视频编码扩展开发联合协作组(JCT-3V)开发了高效视频编码(HEVC)的3D扩展(3D-HEVC)，它是目前压缩MVD(multi-view video plus depth)数据格式最先进的编码标准，引进了新的预测编码技术以提高MVD数据的压缩效率。3D-HEVC结合了视频的时间，空间以及纹理图与深度图相关性对多视点视频进行预测压缩编码，使多视点加深度视频传输成为可能。
目前的3D-HEVC编码标准在深度图内部模式选择时首先计算每个模式低复杂度率失真代价函数(LCRCCost)得到最小值，最小值模式作为粗略模式(RM)；从左边和上边相邻预测块中找到一到两个最有可能模式(MPMs)；计算边缘复杂度选取DMM最优模式；由前3步骤得到的RM,MPMs,DMMs组成一个候选列表，通过计算候选列表中模式的全复杂度RD-COST得到最终模式。
由于深度图与纹理图不同，它是由大片连续的平缓区域和尖锐的边缘组成，基于其特性改进了针对深度图的编码：除了原来HEVC提供的35种内部预测模式，另外加了一个跳跃模式和三个新的预测模式叫做Intra_Single,Intra_Wedge,和Intra_Contour模式，可用于深度图层的帧内编码。其中Wedge和Contour模式主要针对深度图边缘进行编码，Wedge模式针对但边缘而Contour模式针对复杂边缘。因为深度图的内部模式众多，从中选择最优的预测模式耗费了大量的计算时间与复杂度，而提出的DMM模式在每个预测块(PU)下都要重新计算其率失真(RD-cost)，而边缘在深度图中只是一小部分，也就是说每次将DMM模式加入RD-cost计算是非常浪费时间的。
发明内容
针对3D-HEVC现有的不足，本发明提出一种基于边缘复杂度的三维视频编码深度图内部模式选择方法，统计PU块的边缘复杂度从而判断是否加入DMM模式并且直接判断是Wedge或Contour模式。减少深度图内部模式选择过程的耗费时间。
为了实现上述目的，本发明通过以下技术方案予以实现：
一种基于边缘复杂度的三维视频编码深度图内部模式选择方法，包括以下几个步骤：
步骤(1)：利用边缘检测算子计算当前预测块横向与纵向梯度，并利用梯度计算出各像素点边缘强度。
步骤(2)：对每个像素点进行判断，若边缘强度大于阈值则将此像素点归为边缘点。
步骤(3)：若边缘点个数大于阈值，统计边缘像素点的边缘方向；否则DMM模式不加入候选模式。
步骤(4)：若统计得边缘方向数μ∈[0,3)则将intra_Wedge模式加入模式候选列表，若μ∈[3,8]，则将intra_Contour模式加入候选列表。
其中，所述步骤(1)包括：基于3D-HEVC基础上，在进行预测单元(PU)的划分后，利用sobel卷积因子
对当前PU的像素点进行横向及纵向计算得到横向梯度值Gx以及纵向梯度值Gy，利用如下公式计算边缘强度
|G|＝|Gx|+|Gy|
G是像素点的边缘强度，为了减少计算复杂度，取G的绝对值等于横向梯度Gx绝对值与纵向梯度Gy的和。
其中，所述步骤(2)包括：利用卷积因子对PU块进行计算，得到每一个像素点的边缘强度G，当此边缘点的边缘强度大于阈值时，就将其作为边缘像素点，否则计算下一个像素点的边缘强度值。统计边缘像素点个数，其中PU边缘点的像素默认为非边缘像素点。
其中，所述步骤(3)包括：
(3-1)对当前PU所有像素点进行边缘点检测后，将边缘点统计值与阈值比较，若大于阈值则说明此PU拥有足够的边缘点，很有可能带有边缘，因此DMMs模式很有可能适用于此PU，继续执行步骤(3-2)；否则DMMs模式不放入深度图内部预测模式候选列表中，结束流程。
(3-2)计算步骤(2)所得边缘像素点的边缘方向，依据以下公式：
其中Θ为边缘方向，依据步骤(1)计算得到的横向梯度值与纵向梯度值计算得到。
(3-3)将边缘方向进行量化，8个量化方向：{0°～45°，45°～90°，90°～135°，135°～180°，180°～225°，225°～270°，270°～315°，315°～360°}。依据(3-2)所得边缘像素点的边缘方向，判断属于哪个区间；依次判断每个像素点的边缘方向，并统计该PU内所有边缘点的边缘方向量化方向数量。执行步骤(4)。
其中，所述步骤(4)包括:
(4-1)此预测单元统计得方向个数μ∈[0,3)，表示此PU中很有可能有边缘，且为简单边缘。由于intra_Wedge模式是针对深度图的直线等简单边缘而设计的，而intra_Contour模式则使用与深度图复杂边缘，因此只将intra_Wedge模式加入模式候选列表。结束流程。
(4-2)若方向个数μ∈[3,8]，表示此PU中很有可能有边缘，且为复杂边缘，因边缘方向众多，说明存在的边缘很大概率上不是一条直线或者线段，而是由曲线或者多条直线构成的边缘，而intra_Contour模式适用于这样的复杂边缘，因此只将intra_Contour模式加入候选列表。结束流程。
本发明的有益效果：在深度图内部编码中，大部分的快速算法思想是跳过DMMs模式或者直接把所有DMMs模式加入到候选列表中，本发明提出了新的方法：当预测块PU不存在边缘时，跳过DMMs模式；当存在边缘时，根据边缘复杂度将针对不同边缘的模式分别加入候选列表。
本发明针对3D-HEVC深度图内部编码的冗余性，在基本不影响编码质量的条件下，利用低复杂度算法对内部模式选择方法进行精化，减少了深度图内部模式选择的计算复杂度与编码时间。在3D视频已成发展趋势的今天具有良好的实现价值。
附图说明
图1是本发明深度图内部模式快速选择方法的流程图。
图2是深度图中的简单边缘代表图。
图3是深度图中的复杂边缘代表图。
具体实施方式
如图1是本发明：基于边缘复杂度的三维视频编码深度图内部模式选择方法的流程图，它的具体步骤如下：
步骤(1)：利用边缘检测算子计算当前预测块横向与纵向梯度，并利用梯度计算出各像素点边缘强度。
步骤(2)：对每个像素点进行判断，若边缘强度大于阈值则将此像素点归为边缘点。
步骤(3)：若边缘点个数大于阈值，统计边缘像素点的边缘方向；否则DMM模式不加入候选模式。
步骤(4)：若统计得边缘方向数μ∈[0,3)则将intra_Wedge模式加入模式候选列表，若μ∈[3,8]，则将intra_Contour模式加入候选列表。
其中，所述步骤(1)包括：基于3D-HEVC基础上，在进行预测单元(PU)的划分后，利用sobel卷积因子
对当前PU的像素点进行横向及纵向计算得到横向梯度值Gx以及纵向梯度值Gy，利用如下公式计算边缘强度
|G|＝|Gx|+|Gy|
G是像素点的边缘强度，为了减少计算复杂度，取G的绝对值等于横向梯度Gx绝对值与纵向梯度Gy的和。
其中，所述步骤(2)包括：利用卷积因子对PU块进行计算，得到每一个像素点的边缘强度G，当此边缘点的边缘强度大于阈值时，就将其作为边缘像素点，否则计算下一个像素点的边缘强度值。统计边缘像素点个数，其中PU边缘点的像素默认为非边缘像素点。
其中，所述步骤(3)包括：
(3-1)对当前PU所有像素点进行边缘点检测后，将边缘点统计值与阈值比较，若大于阈值则说明此PU拥有足够的边缘点，很有可能带有边缘，因此DMMs模式很有可能适用于此PU，继续执行步骤(3-2)；否则DMMs模式不放入深度图内部预测模式候选列表中，结束本发明流程。
(3-2)计算步骤(2)所得边缘像素点的边缘方向，依据以下公式：
其中Θ为边缘方向，依据步骤(1)计算得到的横向梯度值与纵向梯度值计算得到。
(3-3)将边缘方向进行量化，分为8个量化方向：{0°～45°，45°～90°，90°～135°，135°～180°，180°～225°，225°～270°，270°～315°，315°～360°}。依据(3-2)所得边缘像素点的边缘方向，判断属于哪个区间；依次判断每个像素点的边缘方向，并统计该PU内所有边缘点的边缘方向量化方向数量。执行步骤(4)。
其中，所述步骤(4)包括:
(4-1)此预测单元统计得方向个数μ∈[0,3)，表示此PU中很有可能有边缘，且为简单边缘。如图2中线段SE表示一个PU块中的简单边缘。由于intra_Wedge模式是针对深度图的直线等简单边缘而设计的，而intra_Contour模式则使用与深度图复杂边缘，因此只将intra_Wedge模式加入模式候选列表。结束本发明流程。
(4-2)若方向个数μ∈[3,8]，表示此PU中很有可能有边缘，且为复杂边缘，因边缘方向众多，说明存在的边缘很大概率上不是一条直线或者线段，而是由曲线或者多条直线构成的边缘，如图3所示，不规则线段S、E表示一个PU中的复杂边缘。intra_Contour模式适用于编码类似这样的复杂边缘，因此只将intra_Contour模式加入候选列表。结束本发明流程。

Claims (1)

1.基于边缘复杂度的三维视频编码深度图内部模式选择方法，其特征在于该方法的具体步骤是：
步骤(1)：利用边缘检测算子计算当前预测块横向与纵向梯度，并利用梯度计算出各像素点边缘强度；
步骤(2)：对每个像素点进行判断，若边缘强度大于阈值则将此像素点归为边缘点；
步骤(3)：若边缘点个数大于阈值，统计边缘像素点的边缘方向；否则DMM模式不加入候选模式；
步骤(4)：若统计的边缘方向数μ∈[0,3)，则将intra_Wedge模式加入模式候选列表，若μ∈[3,8]，则将intra_Contour模式加入候选列表；
其中，所述步骤(1)包括：基于3D-HEVC基础上，在进行预测单元划分后，利用sobel卷积因子
对当前预测块的像素点进行横向及纵向计算得到横向梯度值Gx以及纵向梯度值Gy，利用如下公式计算边缘强度：
|G|＝|Gx|+|Gy|
G是像素点的边缘强度，为了减少计算复杂度，取G的绝对值等于横向梯度Gx绝对值与纵向梯度Gy的和；
其中，所述步骤(2)包括：利用卷积因子对预测块进行计算，得到每一个像素点的边缘强度G，当此像素点的边缘强度大于阈值时，就将其作为边缘像素点，否则计算下一个像素点的边缘强度值；统计边缘像素点个数，其中预测块边缘点的像素默认为非边缘像素点；
其中，所述步骤(3)包括：
(3-1)对当前预测块所有像素点进行边缘点检测后，将边缘点统计值与阈值比较，若大于阈值则说明此预测块拥有足够的边缘点，很有可能带有边缘，因此DMM模式很有可能适用于此预测块；否则DMM模式不放入深度图内部预测模式候选列表中，结束流程；
(3-2)计算步骤(2)所得边缘像素点的边缘方向，依据以下公式：
其中为Θ边缘方向，依据步骤(1)计算得到的横向梯度值与纵向梯度值计算得到；
(3-3)将边缘方向进行量化，分为8个量化方向：{0°～45°，45°～90°，90°～135°，135°～180°，180°～225°，225°～270°，270°～315°，315°～360°}；依据(3-2)所得边缘像素点的边缘方向，判断属于哪个区间；依次判断每个边缘像素点的边缘方向，并统计该预测块内所有边缘点的边缘方向量化方向数量；
其中，所述步骤(4)包括：
(4-1)若方向个数μ∈[0,3)，表示此预测块中很有可能有边缘，且为简单边缘；由于intra_Wedge模式是针对深度图的直线等简单边缘而设计的，而intra_Contour模式则适用于深度图复杂边缘，因此只将intra_Wedge模式加入模式候选列表；结束流程；
(4-2)若方向个数μ∈[3,8]，表示此PU中很有可能有边缘，且为复杂边缘，因边缘方向众多，说明存在的边缘很大概率上不是一条直线或者线段，而是由曲线或者多条直线构成的边缘，而intra_Contour模式适用于这样的复杂边缘，因此只将intra_Contour模式加入候选列表；结束流程。
CN201610162205.9A 2016-03-21 2016-03-21 基于边缘复杂度的三维视频编码深度图内部模式选择方法 Active CN105791862B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610162205.9A CN105791862B (zh) 2016-03-21 2016-03-21 基于边缘复杂度的三维视频编码深度图内部模式选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610162205.9A CN105791862B (zh) 2016-03-21 2016-03-21 基于边缘复杂度的三维视频编码深度图内部模式选择方法

Publications (2)

Publication Number Publication Date
CN105791862A CN105791862A (zh) 2016-07-20
CN105791862B true CN105791862B (zh) 2018-09-14

Family

ID=56394318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610162205.9A Active CN105791862B (zh) 2016-03-21 2016-03-21 基于边缘复杂度的三维视频编码深度图内部模式选择方法

Country Status (1)

Country Link
CN (1) CN105791862B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644428A (zh) * 2017-09-29 2018-01-30 广东电网有限责任公司中山供电局 一种基于多域度重映射的输电线路漂浮物图像分割方法
CN107864380B (zh) * 2017-12-14 2020-08-11 杭州电子科技大学 基于dct的3d-hevc快速帧内预测决策方法
CN108271025B (zh) * 2018-01-22 2019-11-29 合肥工业大学 基于边界梯度的3d视频编解码中深度建模模式的编码电路及其编码方法
CN109462652B (zh) * 2018-11-21 2021-06-01 杭州电子科技大学 智能家居系统中基于哈希算法的终端网关负载分配方法
CN111263144B (zh) * 2018-11-30 2022-07-01 杭州海康威视数字技术股份有限公司 一种运动信息确定方法及其设备
CN110933441B (zh) * 2019-12-12 2023-05-30 西安邮电大学 一种深度图轮廓预测的并行实现方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752595A (zh) * 2012-06-29 2012-10-24 香港应用科技研究院有限公司 用于深度图编码和解码的混合型跳过模式
CN103957422A (zh) * 2014-04-25 2014-07-30 上海大学 一种基于边缘的面向虚拟视绘制的深度视频的编码方法
WO2015095078A1 (en) * 2013-12-16 2015-06-25 Qualcomm Incorporated Large blocks and depth modeling modes (dmm's) in 3d video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752595A (zh) * 2012-06-29 2012-10-24 香港应用科技研究院有限公司 用于深度图编码和解码的混合型跳过模式
WO2015095078A1 (en) * 2013-12-16 2015-06-25 Qualcomm Incorporated Large blocks and depth modeling modes (dmm's) in 3d video coding
CN103957422A (zh) * 2014-04-25 2014-07-30 上海大学 一种基于边缘的面向虚拟视绘制的深度视频的编码方法

Also Published As

Publication number Publication date
CN105791862A (zh) 2016-07-20

Similar Documents

Publication Publication Date Title
CN105791862B (zh) 基于边缘复杂度的三维视频编码深度图内部模式选择方法
CN106961606B (zh) 基于纹理划分特征的hevc帧内编码模式选择方法
CN105120292B (zh) 一种基于图像纹理特征的视频编码帧内预测方法
CN105049850B (zh) 基于感兴趣区域的hevc码率控制方法
CN101374243B (zh) 一种应用于3dtv与ftv系统的深度图编码压缩方法
CN107509076B (zh) 一种面向超高清视频的编码优化方法
CN107864380B (zh) 基于dct的3d-hevc快速帧内预测决策方法
CN105898332B (zh) 针对3d-hevc编码标准的快速深度图帧内模式判决方法
CN105208387A (zh) 一种hevc帧内预测模式快速选择方法
CN108712648A (zh) 一种深度视频快速帧内编码方法
CN106534846A (zh) 一种屏幕内容与自然内容划分及快速编码方法
CN105187826B (zh) 针对高效率视频编码标准的快速帧内模式判决方法
CN104702955A (zh) 屏幕视频的预测编码的方法与系统
CN106507116A (zh) 一种基于3d显著性信息和视点合成预测的3d‑hevc编码方法
CN106688238A (zh) 改进后的深度图帧内编码的参考像素点选择和滤波
CN108769696A (zh) 一种基于Fisher判别式的DVC-HEVC视频转码方法
CN107018412A (zh) 一种基于关键帧编码单元划分模式的dvc‑hevc视频转码方法
CN102801996A (zh) 基于jndd模型的快速深度图编码模式选择方法
CN105120290A (zh) 一种深度视频快速编码方法
CN104284186A (zh) 一种适用于hevc标准帧内预测模式判决过程的快速算法
CN104992419A (zh) 基于jnd因子的超像素高斯滤波预处理方法
US9609361B2 (en) Method for fast 3D video coding for HEVC
Yang et al. Fast mode decision algorithm for intra prediction in HEVC
Yuan et al. Rate-distortion-guided learning approach with cross-projection information for V-PCC fast CU decision
Zhang et al. Fast mode decision based on gradient information in 3D-HEVC

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant