CN103595991B - 深度视频编码的像素级预测方法 - Google Patents
深度视频编码的像素级预测方法 Download PDFInfo
- Publication number
- CN103595991B CN103595991B CN201310540668.0A CN201310540668A CN103595991B CN 103595991 B CN103595991 B CN 103595991B CN 201310540668 A CN201310540668 A CN 201310540668A CN 103595991 B CN103595991 B CN 103595991B
- Authority
- CN
- China
- Prior art keywords
- pixel
- search
- video
- matched
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明属于3D视频编码领域。为充分利用深度视频和彩色视频之间的运动相似性和结构相似性以及可用的帧内及帧间信息,对深度视频中的每个像素提供预测,克服传统视频编码中基于块预测在边界处预测效率低的问题,提高深度视频的预测及编码效率,为此,本发明采取的技术方案是,一种深度视频编码的像素级预测方法,包括下列步骤:1)确定帧间搜索起点;2)搜索帧间匹配像素;3)搜索帧内匹配像素;4)将已编码彩色视频中的匹配像素映射至深度视频;5)计算当前像素的预测深度值。本发明主要应用于3D视频编码。
Description
技术领域
本发明属于3D视频编码领域,涉及一种多视点加深度视频中深度视频编码的像素级预测方法。
背景技术
随着显示技术及计算能力的提升,三维视频技术及相关应用得到了广泛的发展。多视点加深度视频能够利用基于深度图像的绘制(depth-image-based rendering,DIBR)技术生成任意视角的虚拟视点,得到了学术界和工业界的关注。为了有效地传输深度视频以节约传输带宽,高效的深度视频预测编码技术显得尤为重要。
深度视频是用于表示场景几何信息的灰度视频,记录了场景中物体相对相机的距离。深度视频特性不同于传统的灰度视频,深度视频具有分区段平滑特性,即深度视频由大片的平滑区域和尖锐的边界构成。基于该特性,出现了部分不同于传统编码方式的深度编码方法,包括利用更有效地块表示结构、块数据表示函数及利用更多的预测方向等。另一方面,由于深度视频和彩色视频都表示同一个场景,深度视频和彩色视频之间存在运动和结构相似性。通过有效地利用这两种特性,深度视频编码效率能够得到较大的提高。对于帧间编码,Lee等人提出利用已编码的彩色视频的编码信息协助深度视频编码过程中的模式选择;Kim等人提出将彩色视频编码信息中的跳过模式映射至深度编码中以提高编码效率;Grewatsch和Oh等人提出利用彩色视频的运动矢量协助深度视频编码。对于帧内编码,Milani等人提出利用彩色视频的分割信息对深度视频进行区域分割,并利用函数对不同区域进行表示;Liu等人提出利用深度视频和纹理视频之间的结构相似性对深度边界区域进行恢复,减少对边界宏块的编码比特进而提升效率,然而该方法受深度图边界质量的影响较大。作者提出的利用基于聚类方法的深度编码方法能够较准确地预测边界宏块,同时提出的深度纹理边界对齐过程可以有效地解决深度图边界质量差的问题,提高预测效率。但帧内方法受限于有限的信息即已编码的当前帧内的邻块信息,对于复杂的宏块仍然不能进行有效地预测。
现有的帧间编码技术大都为基于块的运动补偿技术,为每个宏块搜索最佳匹配块进行预测,并传输相应的运动矢量至解码端以获得相应参考块。由于运动矢量需要编码传输占据带宽,块尺寸的选择受到限制,而且场景中的真正物体通常没有和块一样的精确边界,因此基于块的运动补偿会导致在块的边界周围未匹配的像素位置出现大残差。特别对于深度编码,由于物体之间的深度值变化较大,导致边界宏块的不匹配像素的残差值较大,严重降低了效率。为此亟须研究针对当前块每个像素的更精确的预测算法。
发明内容
本发明旨在克服现有技术的不足,充分利用深度视频和彩色视频之间的运动相似性和结构相似性以及可用的帧内及帧间信息,对深度视频中的每个像素提供预测,克服传统视频编码中基于块预测在边界处预测效率低的问题,提高深度视频的预测及编码效率。为达到上述目的,本发明采取的技术方案是,一种深度视频编码的像素级预测方法,包括下列步骤:
1)确定帧间搜索起点;
2)搜索帧间匹配像素;
3)搜索帧内匹配像素:
首先在当前帧中确定当前像素的搜索范围,即设定为所在宏块的邻域已编码像素,然后在待搜索区域中搜索当前像素的匹配像素,搜索方法与帧间搜索匹配像素方法相同;
4)将已编码彩色视频中的匹配像素映射至深度视频:
将已编码彩色视频中的匹配像素位置映射至深度视频,并将该位置的深度像素列为当前像素的匹配像素;
5)计算当前像素的预测深度值:
利用帧间匹配像素搜索与帧内像素匹配搜索过程中搜索到的匹配像素的深度值计算当前像素的预测深度值(PD),通常情况下利用中值,即其中R为匹配像素集,Di为匹配像素在深度视频中的深度值。
步骤(1)中的所述确定帧间搜索起点具体为:
如果当前像素所在宏块在已编码的彩色视频中采用帧间编码时,利用该宏块在已编码的彩色视频中的运动矢量以及参考帧作为当前像素在深度视频中的初始运动矢量及参考帧,当前像素的搜索起点即为当前像素在该参考帧中初始运动矢量指向的像素;
否则利用基于块的运动搜索技术搜索当前像素所在宏块在深度视频中的最优运动矢量及参考帧并设为初始运动矢量和参考帧,当前像素的搜索起点即为当前像素在该参考帧中初始运动矢量指向的像素,且当使用基于块的运动搜索技术进行最终宏块编码时,该运动矢量和参考帧索引号需要进行编码传输。
步骤(2)中的所述搜索帧间匹配像素具体为:
按设定的搜索顺序搜索以帧间搜索起点为中心的设定搜索范围内的像素,并计算当前像素在已编码彩色视频中的彩色像素值(Ic)与搜索像素的对应彩色像素值(Is)的误差,当误差小于设定阈值(T)时,即满足|Ic-Is|<T,认为该搜索像素为当前像素的匹配像素。
本发明的技术特点及效果:
本发明充分挖掘深度视频和彩色视频之间的像素级的运动相似性与结构相似性,利用可用的帧内及帧间信息对深度视频提供像素级的预测,对物体的边界像素的运动及物体的不规则运动提供有效的预测,克服传统视频编码中基于块预测在物体边界处预测效率低的问题,提供深度视频的编码效率。
附图说明
图1为帧间匹配像素搜索示意图;
图2为帧内匹配像素搜索示意图;
图3深度视频主观对比图,a、为采用现有编码参考软件JM18.2进行编码后的深度视频主观截图,b本为采用发明进行编码后的深度视频主观截图;
图4为利用本发明方法及现有编码参考软件JM18.2分别编码后的深度视频进行视点合成后虚拟视点的主观对比图,a:参考软件JM18.2,b:本发明;
图5给出了技术方案的流程图。
具体实施方式
本发明的目的是克服现有技术的上述不足,提供一种多视点加深度视频编码中的深度视频像素级预测方法,充分利用结构相似性及像素级的运动相似性对深度视频进行高效预测。本发明采用如下的技术方案:
一种多视点加深度视频编码中的深度视频高效编码方法,包括下列步骤:
1确定帧间搜索起点。
如果当前像素所在宏块在已编码的彩色视频中采用帧间编码时,利用该宏块在已编码的彩色视频中的运动矢量以及参考帧作为当前像素在深度视频中的初始运动矢量及参考帧,当前像素的搜索起点即为当前像素在该参考帧中初始运动矢量指向的像素;
否则利用基于块的运动搜索技术搜索当前像素所在宏块在深度视频中的最优运动矢量及参考帧并设为初始运动矢量和参考帧,当前像素的搜索起点即为当前像素在该参考帧中初始运动矢量指向的像素,且当使用本方法进行最终宏块编码时,该运动矢量和参考帧索引号需要进行编码传输。
2搜索帧间匹配像素。
按设定的搜索顺序搜索以帧间搜索起点为中心的设定搜索范围内的像素,并计算当前像素在已编码彩色视频中的彩色像素值(Ic)与搜索像素的对应彩色像素值(Is)的误差,当误差小于设定阈值(T)时,即满足|Ic-Is|<T,认为该搜索像素为当前像素的匹配像素。
3搜索帧内匹配像素。
首先在当前帧中确定当前像素的搜索范围,即设定为所在宏块的邻域已编码像素,然后在待搜索区域中搜索当前像素的匹配像素,搜索方法与帧间搜索匹配像素方法相同。
4将已编码彩色视频中的匹配像素映射至深度视频
因为深度视频与对应的彩色视频之间存在运动相似性与结构相似性,因此当前像素在已编码的彩色视频中搜索到的匹配像素在深度视频中也与当前像素匹配。将已编码彩色视频中的匹配像素位置映射至深度视频,并将该位置的深度像素列为当前像素的匹配像素。
5计算当前像素的预测深度值
因为深度图具有分区段平滑特性,所以当前像素的深度值可由与该像素属于相同区域的像素近似。因此利用以上帧间匹配像素搜索与帧内像素匹配搜索过程中搜索到的匹配像素的深度值计算当前像素的预测深度值(PD),通常情况下利用中值,即其中R为匹配像素集,Di为匹配像素在深度视频中的深度值。
下面结合附图对本发明的具体实施方式进行描述。
1确定帧间搜索起点。
(a)如果当前像素所在宏块在彩色视频中采用帧间编码时,利用该宏块在彩色视频中的运动矢量(mvcol)及参考帧(refcol)作为当前像素的初始运动矢量(mvinit)和参考帧(refinit),即mvinit=mvcol,refinit=refcol。
当前像素的搜索起点(m,n)即为当前像素在参考帧refinit中初始运动矢量mvinit指向的像素,m=i+xinit,n=j+yinit,其中(i,j)为当前像素的坐标,xinit,yinit为初始运动矢mvinit的水平和垂直分量。图1中,彩色视频中Fn帧表示当前帧,其中黑色加深点表示当前像素在彩色视频中对应的彩色像素,彩色视频中Fn-1帧表示参考帧,其中灰色加深点表示搜索起点;
(b)否则利用基于块的运动搜索技术搜索当前像素所在宏块在深度视频中的最优运动矢量(mvdepth)及参考帧(refdepth)并设为初始运动矢量(mvinit)和参考帧(refinit),即mvinit=mvdepth,refinit=refdepth。当前像素的搜索起点(m,n)即为当前像素在参考帧refinit中初始运动矢量mvinit指向的像素,m=i+xinit,n=j+yinit,其中(i,j)为当前像素的坐标,xinit,yinit为初始运动矢mvinit的水平和垂直分量。当最终宏块编码使用本方法时,将运动矢量mvinit和参考帧refinit索引号进行编码传输。图1中,深度视频中Fn帧表示当前帧,其中黑色加深点表示当前像素在深度视频中对应的深度像素,深度视频中Fn-1帧表示参考帧,其中灰色加深点表示搜索起点。其中基于块的运动搜索技术在本实施方式中指全搜索,即搜索在搜索范围内的全部块。
2在已编码的彩色视频中搜索当前像素的帧间匹配像素
在已编码彩色视频中的参考帧refinit中以搜索起点(m,n)为中心的搜索范围内搜索当前待预测像素的匹配像素,匹配准则为|Ic-Is|<T,其中Ic为当前待预测像素在已编码彩色视频中对应的彩色像素,Is为搜索像素,T为匹配阈值。当搜索像素满足匹配准则时,将该搜索像素设置为当前像素的匹配像素,并继续搜索剩余像素直至整个搜索范围搜索完成。图1中,加竖线表示的点为匹配像素。
3搜索帧内匹配像素
将当前待预测像素所在宏块的邻域已编码像素设定为搜索区域,在本实现中以宏块上方的一行像素及宏块左侧的一列像素设定为搜索区域。然后利用已编码的彩色视频,在待搜索区域中搜索匹配像素,搜索方法与参考帧中搜索帧间匹配像素方法相同,如图2所示。
4将已编码彩色视频中的匹配像素映射至深度视频
将已编码彩色视频中搜索到的匹配像素位置映射至深度视频,并将该位置的深度像素列为当前像素的匹配像素,如图1和2中的黑色虚线箭头所示。
5计算当前像素的预测深度值
因为深度图具有分区段平滑特性,所以当前像素的深度值可由与该像素属于相同区域的匹配像素近似。在本实现中利用以上帧间匹配像素搜索与帧内匹配像素搜索两步中搜索到的匹配像素的深度值中值计算当前像素的预测深度值(PD),其中R为匹配像素集,Di为匹配像素在深度视频中的深度值,median为中值操作,计算数据集的中值。
下面结合附图说明实验效果:
为使本发明的效果具有可比性,我们采用ballet测试序列,编码平台采用H.264/AVC的JM18.2,虚拟视点合成采用VSRS3.5。直接采用H.264/AVC编码的左右视点(分别为视点3和5)深度视频,编码帧部分截图如图3左侧图像所示,合成的虚拟视点(视点4)如图4左侧图像所示;经过本发明之后的视点深度视频编码帧部分截图如图3右侧图像所示,边界更加清晰,模糊减少,合成的虚拟视点如图4右侧图像所示,边界更加平滑,合成视图更接近于原始视点图。
Claims (3)
1.一种深度视频编码的像素级预测方法,其特征是,包括下列步骤:
1)确定帧间搜索起点;
2)搜索帧间匹配像素;
3)搜索帧内匹配像素:
首先在当前帧中确定当前像素的搜索范围,即设定为所在宏块的邻域已编码像素,然后在待搜索区域中搜索当前像素的匹配像素,搜索方法与帧间搜索匹配像素方法相同;
4)将已编码彩色视频中的匹配像素映射至深度视频:
将已编码彩色视频中的匹配像素位置映射至深度视频,并将该位置的深度像素列为当前像素的匹配像素;
5)计算当前像素的预测深度值:
利用帧间匹配像素搜索与帧内像素匹配搜索过程中搜索到的匹配像素的深度值计算当前像素的预测深度值PD,利用中值,即其中R为匹配像素集,Di为匹配像素在深度视频中的深度值。
2.如权利要求1所述的深度视频编码的像素级预测方法,其特征在于,步骤1)中的所述确定帧间搜索起点具体为:
如果当前像素所在宏块在已编码的彩色视频中采用帧间编码时,利用该宏块在已编码的彩色视频中的运动矢量以及参考帧作为当前像素在深度视频中的初始运动矢量及参考帧,当前像素的搜索起点即为当前像素在该参考帧中初始运动矢量指向的像素;
否则利用基于块的运动搜索技术搜索当前像素所在宏块在深度视频中的最优运动矢量及参考帧并设为初始运动矢量和参考帧,当前像素的搜索起点即为当前像素在该参考帧中初始运动矢量指向的像素,且当使用基于块的运动搜索技术进行最终宏块编码时,该运动矢量和参考帧索引号需要进行编码传输。
3.如权利要求1所述的深度视频编码的像素级预测方法,其特征在于,步骤2)中的所述搜索帧间匹配像素具体为:
按设定的搜索顺序搜索以帧间搜索起点为中心的设定搜索范围内的像素,并计算当前像素在已编码彩色视频中的彩色像素值Ic与搜索像素的对应彩色像素值Is的误差,当误差小于设定阈值T时,即满足|Ic-Is|<T,认为该搜索像素为当前像素的匹配像素。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310540668.0A CN103595991B (zh) | 2013-11-04 | 2013-11-04 | 深度视频编码的像素级预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310540668.0A CN103595991B (zh) | 2013-11-04 | 2013-11-04 | 深度视频编码的像素级预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103595991A CN103595991A (zh) | 2014-02-19 |
CN103595991B true CN103595991B (zh) | 2015-10-28 |
Family
ID=50085951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310540668.0A Active CN103595991B (zh) | 2013-11-04 | 2013-11-04 | 深度视频编码的像素级预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103595991B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3007448A1 (en) | 2014-10-07 | 2016-04-13 | Canon Kabushiki Kaisha | Disparity data encoding apparatus and method of controlling the same for |
CN106231293B (zh) * | 2015-10-30 | 2018-01-26 | 深圳超多维光电子有限公司 | 一种立体片源反视的检测方法及装置 |
CN112672150A (zh) * | 2020-12-22 | 2021-04-16 | 福州大学 | 基于视频预测的视频编码方法 |
CN116760986B (zh) * | 2023-08-23 | 2023-11-14 | 腾讯科技(深圳)有限公司 | 候选运动矢量生成方法、装置、计算机设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101827270A (zh) * | 2009-12-16 | 2010-09-08 | 香港应用科技研究院有限公司 | 一种帧内预测中获取像素预测值的方法 |
CN102547258A (zh) * | 2010-12-14 | 2012-07-04 | 联芯科技有限公司 | 一种帧间编码中子象素搜索方法、运动搜索方法及其模块 |
CN102984513A (zh) * | 2012-09-29 | 2013-03-20 | 天津大学 | 一种深度视频编码方法 |
CN103336947A (zh) * | 2013-06-21 | 2013-10-02 | 上海交通大学 | 基于显著性和结构性的红外运动小目标识别方法 |
-
2013
- 2013-11-04 CN CN201310540668.0A patent/CN103595991B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101827270A (zh) * | 2009-12-16 | 2010-09-08 | 香港应用科技研究院有限公司 | 一种帧内预测中获取像素预测值的方法 |
CN102547258A (zh) * | 2010-12-14 | 2012-07-04 | 联芯科技有限公司 | 一种帧间编码中子象素搜索方法、运动搜索方法及其模块 |
CN102984513A (zh) * | 2012-09-29 | 2013-03-20 | 天津大学 | 一种深度视频编码方法 |
CN103336947A (zh) * | 2013-06-21 | 2013-10-02 | 上海交通大学 | 基于显著性和结构性的红外运动小目标识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103595991A (zh) | 2014-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110087087B (zh) | Vvc帧间编码单元预测模式提前决策及块划分提前终止方法 | |
CN104539962B (zh) | 一种融合视觉感知特征的可分层视频编码方法 | |
CN103338370B (zh) | 一种多视点深度视频快速编码方法 | |
CN103188496B (zh) | 基于运动矢量分布预测的快速运动估计视频编码方法 | |
CN103873861A (zh) | 一种用于hevc的编码模式选择方法 | |
CN103595991B (zh) | 深度视频编码的像素级预测方法 | |
US9883200B2 (en) | Method of acquiring neighboring disparity vectors for multi-texture and multi-depth video | |
CN101404766B (zh) | 一种多视点视频信号的编码方法 | |
CN106507116B (zh) | 一种基于3d显著性信息和视点合成预测的3d-hevc编码方法 | |
CN101867813B (zh) | 面向交互式应用的多视点视频编码方法 | |
CN103327327B (zh) | 用于高性能视频编码hevc的帧间预测编码单元选择方法 | |
CN105120290B (zh) | 一种深度视频快速编码方法 | |
CN102801996B (zh) | 基于jndd模型的快速深度图编码模式选择方法 | |
CN103888762A (zh) | 一种基于hevc标准的视频编码框架 | |
CN103546758A (zh) | 一种快速深度图序列帧间模式选择分形编码方法 | |
CN110557646B (zh) | 一种智能视点间的编码方法 | |
CN104602028A (zh) | 一种立体视频b帧整帧丢失错误隐藏方法 | |
CN110446052A (zh) | 一种3d-hevc帧内深度图快速cu深度选择方法 | |
CN102572446A (zh) | 一种多视点视频整帧丢失错误隐藏方法 | |
CN103024381A (zh) | 一种基于恰可察觉失真的宏块模式快速选择方法 | |
TWI489876B (zh) | A Multi - view Video Coding Method That Can Save Decoding Picture Memory Space | |
CN101783956B (zh) | 基于时空邻居信息的后向预测方法 | |
CN109660811A (zh) | 一种快速的hevc帧间编码方法 | |
CN101557519B (zh) | 一种多视点视频编码方法 | |
CN102592130B (zh) | 一种针对水下显微视频的目标识别系统及其视频编码方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |