CN107071385B - 一种基于h265引入视差补偿的立体视频编码方法 - Google Patents

一种基于h265引入视差补偿的立体视频编码方法 Download PDF

Info

Publication number
CN107071385B
CN107071385B CN201710251258.2A CN201710251258A CN107071385B CN 107071385 B CN107071385 B CN 107071385B CN 201710251258 A CN201710251258 A CN 201710251258A CN 107071385 B CN107071385 B CN 107071385B
Authority
CN
China
Prior art keywords
frame
parallax
sequence
subframe
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710251258.2A
Other languages
English (en)
Other versions
CN107071385A (zh
Inventor
吴建锋
秦会斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HANGZHOU PAINIAO ELECTRONIC TECHNOLOGY Co Ltd
Original Assignee
HANGZHOU PAINIAO ELECTRONIC TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HANGZHOU PAINIAO ELECTRONIC TECHNOLOGY Co Ltd filed Critical HANGZHOU PAINIAO ELECTRONIC TECHNOLOGY Co Ltd
Priority to CN201710251258.2A priority Critical patent/CN107071385B/zh
Publication of CN107071385A publication Critical patent/CN107071385A/zh
Application granted granted Critical
Publication of CN107071385B publication Critical patent/CN107071385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种基于H265引入视差补偿的立体视频编码方法，包括以下步骤：步骤S1：将多个视角获取的多路图像序列进行帧交替形成混合序列，任选定一路图像序列作为主序列，其余路为副序列；步骤S2：主序列中的任一主帧参考该主序列的前一主帧作为参考，主帧按H.265标准进行编码；步骤S3：副序列中的任一副帧参考前一帧，副帧引入其与前一帧的视差后再进行编码。与现有技术相比较，本发明在H.265编码器的基础上稍做改动，通过主帧和副帧选择不同的帧间参考帧和副帧做帧间预测时引入视差偏移，在参考帧的搜索窗内获得最佳匹配点，这样得到最小率失真值，从而达到残差小、码率小和节省带宽的技术效果。

Description

一种基于H265引入视差补偿的立体视频编码方法
技术领域
本发明涉及视频编码技术领域，尤其涉及一种基于H265引入视差补偿的立体视频编码方法。
背景技术
视频信息作为多媒体信息中最主要的一部分，是人们生活中的必备品。随着社会进步和人们生活水平日益提高，人们对视频的要求也越来越高，追求更加真实、生动的视频体验。当前视频研究领域针对2D视频图像存在缺乏深度、互动性等不足，掀起了立体视频显示研究的热潮。与传统的2D视频相比，立体视频增加了第三维的“深度”，给人们带来视觉上的巨大冲击。从2D视频图像的显示发展到立体视频图像的显示，立体视频图像显示技术具有传统显示技术所不能比拟的高度临场感，给观众带来无与伦比的视觉享受，它是根据人眼的双目视差为原理的。人的双眼中间存在一段距离，使得人的左右眼在观看场景时的位置、角度不同，左右眼观看物体时接收到的视觉图像略有差异，即场景在人的左右眼视网膜上投影的位置不同，这个位置即是视差，视差反映了物体的深度信息，在大脑中通过对具有视差的两幅图像的复杂合成得到场景的深度信息，形成具有纵深感的立体画面，也就体会到自然的立体感觉。
现有技术通常用摄像机来模拟人眼，立体视频根据摄像机的数目可分为双目、多视点立体视频。双目立体视频是模拟人双眼感知三维景物最简单的方式。双目立体视频简单实用的优点使其成为立体视频市场上应用最广泛的格式。然而立体视频相对于2D视频增加了视点数量，现有技术的编码方法没有充分利用视频中视点间存在的相关性，编码压缩程度低，使得编码后的数据量巨大，相应的存储和传输要求的带宽高等要求都限制了立体视频的发展。
故，针对目前现有技术中存在的上述缺陷，实有必要进行研究，以提供一种方案，解决现有技术中存在的缺陷。
发明内容
有鉴于此，确有必要提供一种能有效减少码率的基于H265引入视差补偿的立体视频编码方法。
为了克服现有技术的缺陷，本发明的技术方案如下：
一种基于H265引入视差补偿的立体视频编码方法，包括以下步骤：
步骤S1：将多个视角获取的多路图像序列进行帧交替形成混合序列，任选定一路图像序列作为主序列，其余路为副序列；
步骤S2：主序列中的任一主帧参考该主序列的前一主帧作为参考，主帧按H.265标准进行编码；
步骤S3：副序列中的任一副帧参考前一帧，副帧引入其与前一帧的视差后再进行编码；
其中，步骤S3中，副帧引入其与前一帧的视差后再进行编码的过程为：
先根据视角位置关系计算视差d；
再根据视差d调整搜索窗，并在该搜索窗范围内做整数全搜索计算获得运动矢量；
最后根据运动矢量完成编码。
优选地，立体视频编码为双目立体视频编码或多视点立体视频编码。
优选地，在所述步骤S3中，对副帧做帧间编码时，引入LCU(large coding unit)的视差，以LCU左上角为原点水平方向上±48像素范围内计算当前LCU的视差d。
优选地，计算LCU的单个预测单元PU(prediction unit)的运动矢量MV之前先将搜索窗根据视差d做偏移，在偏移后的位置整数全搜索计算获得运动矢量MV0，将获得的运动矢量MV0结合视差d即获得最终的运动矢量MV。
与现有技术相比较，本发明在H.265编码器的基础上稍做改动，可以方便地应用于各种多视频的立体视频编码；通过主帧和副帧选择不同的帧间参考帧和副帧做帧间预测时引入视差偏移，在参考帧的搜索窗内获得最佳匹配点，充分利用视频中视点间存在的相关性，这样得到最小率失真值rdcost，从而达到残差小、码率小和节省带宽的技术效果。
附图说明
图1为本发明基于H265引入视差补偿的立体视频编码方法的流程框图。
图2为本发明中双视角情形时帧交替的示意图。
图3为本发明中参考帧选择的示意图。
图4为H.265中帧间编码示意图。
图5为采用视差偏移的帧间编码示意图。
图6为本发明中引入视差编码的流程图。
图7是平行式双视角视觉模型。
图8为帧间搜索运动矢量的示意图。
图9为LCU的视差搜索范围。
图10为根据视差d调整搜索窗的示意图。
图11为全搜索计算示意图。
如下具体实施例将结合上述附图进一步说明本发明。
具体实施方式
以下将结合附图对本发明提供的基于H265引入视差补偿的立体视频编码方法作进一步说明。
参见图1，所示为本发明一种基于H265引入视差补偿的立体视频编码方法的流程框图，包括以下步骤：
步骤S1：将多个视角获取的多路图像序列进行帧交替形成混合序列，任选定一路图像序列作为主序列，其余路为副序列；参见图2，所示为本发明中双视角情形时帧交替的示意图，将左视角序列(L序列)和右视角序列(R序列)经过帧交替方式形成新的图像序列(LR序列)。L序列里的帧定为偶数帧，R序列里的帧定为奇数帧，第0帧只做帧内预测。
步骤S2：主序列中的任一主帧参考该主序列的前一主帧作为参考，主帧按H.265标准进行编码；
步骤S3：副序列中的任一副帧参考前一帧，副帧引入其与前一帧的视差后再进行编码；
参见图3，所示为本发明中参考帧选择的示意图，偶数帧(2N帧)的帧间参考帧是前一偶数帧(2(N-1)帧)的重建帧；奇数帧(2N+1帧)的帧间参考帧是前一帧(2N帧)的重建帧。偶数帧编码参照H.265中帧间编码方式，参见图4，所示为H.265中帧间编码示意图，其中Fn为主帧，F’n-1为前一主帧的重建帧。参见图5，奇数帧编码采用视差偏移的帧间编码方式，即对奇数帧做帧间预测时，引入和前一帧的视差，如图5所示，其中F’n-1为前一帧的重建帧。
其中，步骤S3中，副帧引入其与前一帧的视差后再进行编码的过程如下，参见图6，所示为引入视差编码的流程图，进一步包括以下步骤：
步骤S31：先根据视角位置关系计算视差d；通常当多个图像采集装置安装后，其位置关系决定了视角位置关系，因此，视角位置模型是可以预先获取的。图7是以平行式双视角视觉模型为例计算视差。
步骤S32：再根据视差d调整搜索窗，并在该搜索窗范围内计算获得运动矢量；具体的，计算视差后，再根据视差d做偏移，如图8所示为帧间搜索运动矢量的示意图，在偏移后的位置整数搜索计算获得运动矢量MV0，将MV0叠加视差d即是最终的运动矢量MV。计算运动矢量前根据视差做偏移的目的是在匹配帧的匹配点处搜索最匹配点，这样得到最小率失真值rdcost，最终得到的残差小，码率小，节省带宽。
步骤S33：最后根据运动矢量完成编码。
在一种优选实施方式，采用视差偏移的帧间编码时，假设需要编码单元LCU(largecoding unit),大小为64x64，以LCU的左上点为原点(0,0)，水平方向上±48像素范围内计算当前LCU的视差d，图9是LCU的视差搜索范围。参见图10，所示为根据视差d调整搜索窗的示意图，计算LCU中单个预测单元PU(prediction unit)的运动矢量MV前，先将搜索窗根据视差d做偏移，再将搜索窗的大小由(±48,±32)调整为(±(48-d),±32)，在新的搜索窗范围内做整数全搜索计算获得当前PU(prediction unit)的运动矢量MV0，将MV0结合视差d即是对应PU最终的运动矢量MV。在全搜索计算前，先对搜索窗进行视差偏移可以达到缩小匹配区域的目的，在根据视差做偏移后的搜索窗范围内做全搜索更容易找到匹配块。其中，搜索窗内做整数全搜索使用现有技术采用的对应像素点的绝对差之和(SAD)或其他方法判断相关性。
参见图11，所示为全搜索计算示意图。图中阴影部分为需要编码单元LCU(largecoding unit),大小为64x64；搜索窗大小为(±48，±32)，以LCU左上点为原点(0,0)，每个像素点做SAD运算，计算时间复杂度为O(96*64)。视差偏移后，缩小了搜索范围，搜索窗大小设为(±(48-d)，±32)，从而减小了计算复杂度。
当然，本发明技术方案用于立体视频编码时，可以为双目立体视频编码或多视点立体视频编码。
在一种优选实施方式中，本发明应用于三视点立体视频编码方法。将三路视角的第一路视角产生的序列定位主序列，主序列里的帧定为主帧，将第二路视角产生的序列定为副序列1，副序列1的帧定为副帧1，第三路视角产生的序列定为副序列2，副序列2的帧定为副帧2。
将主序列和副序列1、副序列2经过帧交替方式形成新的图像序列(混合序列)，第0帧是I帧，只做帧内预测，主帧的帧间参考帧是前一主帧，参照H.265中帧间编码方式，副帧1的帧间参考帧是前一帧即主帧，副帧2的帧间参考帧也是前一帧即副帧1，都采用视差偏移的帧间编码。
对副帧1和副帧2做帧间预测时，引入和前一帧的视差d，先计算当前帧中某一需要编码的单元LCU(large coding unit)的视差d，在当前LCU的原点处±48像素范围内搜索计算获得，计算LCU中单个预测单元PU(prediction unit)的运动矢量MV之前，先将搜索窗根据视差d在水平方向上做偏移，并将搜索窗大小由(±48，±32)调整为(±(48-d),±32)，在新的搜索窗范围内做整数全搜索计算获得运动矢量MV0,结合视差d即是最终需要的运动矢量MV。计算运动矢量MV之前根据视差d对搜索窗做偏移的目的是在偏移后的位置做整数全搜索时，更容易找到匹配块，视差偏移后，缩小了搜索范围，达到缩小匹配区域的目的，从而减小了计算复杂度。最终得到的码率小，节省带宽。
以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (2)

1.一种基于H265引入视差补偿的立体视频编码方法，其特征在于，包括以下步骤：
步骤S1：将多个视角获取的多路图像序列进行帧交替形成混合序列，任选定一路图像序列作为主序列，其余路为副序列；
步骤S2：主序列中的任一主帧参考该主序列的前一主帧作为参考，主帧按H.265标准进行编码；
步骤S3：副序列中的任一副帧参考前一帧，副帧引入其与前一帧的视差后再进行编码；
其中，步骤S3中，副帧引入其与前一帧的视差后再进行编码的过程为：
步骤S31：先根据视角位置关系计算视差d；
步骤S32：再根据视差d调整搜索窗，并在该搜索窗范围内做整数全搜索计算获得运动矢量；
步骤S33：最后根据运动矢量完成编码；
在所述步骤S3中，对副帧做帧间编码时，引入LCU（large coding unit）的视差，以LCU左上角为原点水平方向上±48像素范围内计算当前LCU的视差d；
计算LCU的单个预测单元PU（prediction unit）的运动矢量MV之前先将搜索窗根据视差d做偏移，在偏移后的位置整数全搜索计算获得运动矢量MV0，将获得的运动矢量MV0结合视差d即获得最终的运动矢量MV。
2.根据权利要求1所述的基于H265引入视差补偿的立体视频编码方法，其特征在于，立体视频编码为双目立体视频编码或多视点立体视频编码。
CN201710251258.2A 2017-04-18 2017-04-18 一种基于h265引入视差补偿的立体视频编码方法 Active CN107071385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710251258.2A CN107071385B (zh) 2017-04-18 2017-04-18 一种基于h265引入视差补偿的立体视频编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710251258.2A CN107071385B (zh) 2017-04-18 2017-04-18 一种基于h265引入视差补偿的立体视频编码方法

Publications (2)

Publication Number Publication Date
CN107071385A CN107071385A (zh) 2017-08-18
CN107071385B true CN107071385B (zh) 2019-01-25

Family

ID=59600836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710251258.2A Active CN107071385B (zh) 2017-04-18 2017-04-18 一种基于h265引入视差补偿的立体视频编码方法

Country Status (1)

Country Link
CN (1) CN107071385B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808861A (zh) * 2022-09-26 2024-04-02 神顶科技（南京）有限公司 一种双目视觉系统的运行方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1450816A (zh) * 2003-04-22 2003-10-22 上海大学 一种立体视频流编码/解码器及其立体视频编解码系统
CN101621683A (zh) * 2008-07-01 2010-01-06 邹采荣 一种基于avs的快速立体视频编码方法
CN101980539A (zh) * 2010-10-21 2011-02-23 北京航空航天大学 一种基于分形的多目立体视频压缩编解码方法
CN101980537A (zh) * 2010-10-21 2011-02-23 北京航空航天大学 一种基于对象和分形的双目立体视频压缩编解码方法
CN102006480A (zh) * 2010-11-29 2011-04-06 清华大学 基于视间预测的双目立体视频的编码及解码方法
CN103051894A (zh) * 2012-10-22 2013-04-17 北京航空航天大学 一种基于分形和h.264的双目立体视频压缩与解压缩方法
CN103108184A (zh) * 2006-01-09 2013-05-15 汤姆逊许可证公司 用于多视角视频编码的方法
CN103139569A (zh) * 2011-11-23 2013-06-05 华为技术有限公司 多视点视频的编码、解码方法、装置和编解码器
CN104067618A (zh) * 2011-11-25 2014-09-24 三星电子株式会社 用于解码器的缓冲器管理的图像编码方法和装置、以及图像解码方法和装置
CN105306954A (zh) * 2014-05-30 2016-02-03 西安电子科技大学 一种基于视差最小可察觉误差模型的感知立体视频编码

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1450816A (zh) * 2003-04-22 2003-10-22 上海大学 一种立体视频流编码/解码器及其立体视频编解码系统
CN103108184A (zh) * 2006-01-09 2013-05-15 汤姆逊许可证公司 用于多视角视频编码的方法
CN101621683A (zh) * 2008-07-01 2010-01-06 邹采荣 一种基于avs的快速立体视频编码方法
CN101980539A (zh) * 2010-10-21 2011-02-23 北京航空航天大学 一种基于分形的多目立体视频压缩编解码方法
CN101980537A (zh) * 2010-10-21 2011-02-23 北京航空航天大学 一种基于对象和分形的双目立体视频压缩编解码方法
CN102006480A (zh) * 2010-11-29 2011-04-06 清华大学 基于视间预测的双目立体视频的编码及解码方法
CN103139569A (zh) * 2011-11-23 2013-06-05 华为技术有限公司 多视点视频的编码、解码方法、装置和编解码器
CN104067618A (zh) * 2011-11-25 2014-09-24 三星电子株式会社 用于解码器的缓冲器管理的图像编码方法和装置、以及图像解码方法和装置
CN103051894A (zh) * 2012-10-22 2013-04-17 北京航空航天大学 一种基于分形和h.264的双目立体视频压缩与解压缩方法
CN105306954A (zh) * 2014-05-30 2016-02-03 西安电子科技大学 一种基于视差最小可察觉误差模型的感知立体视频编码

Also Published As

Publication number Publication date
CN107071385A (zh) 2017-08-18

Similar Documents

Publication Publication Date Title
CN102307304B (zh) 基于图像分割的立体视频右图像整帧丢失的错误隐藏方法
CN102510500B (zh) 一种基于深度信息的多视点立体视频错误隐藏方法
CN101415114B (zh) 视频编解码方法和装置以及视频编解码器
CN106210722B (zh) 基于hevc的分层深度视频残差层数据的编码方法
EP2580916A1 (en) Calculating disparity for three-dimensional images
MX2008003375A (es) Metodo para calcular vector de disparidad y metodo y aparato para codificar y descodificar pelicula de vision multiple utilizando el metodo de calculo de vector de disparidad.
CN101222627A (zh) 一种多视点视频编解码系统以及预测向量的方法和装置
CN101309411A (zh) 一种利用深度信息的多通道视频流编码方法
CN102801995B (zh) 一种基于模板匹配的多视点视频运动和视差矢量预测方法
CN101248670A (zh) 估计视差矢量的方法以及使用该视差矢量估计方法对多视角运动图像编码和解码的方法和设备
CN104602028A (zh) 一种立体视频b帧整帧丢失错误隐藏方法
CN104756489A (zh) 一种虚拟视点合成方法及系统
CN103108187A (zh) 一种三维视频的编码方法、解码方法、编码器和解码器
KR101598855B1 (ko) 입체영상 부호화 장치 및 방법
CN103873876A (zh) 基于显著性的多视点彩色加深度视频编码方法
CN103475884B (zh) 面向hbp编码格式的立体视频b帧整帧丢失错误隐藏方法
CN103873867B (zh) 自由视点视频深度图失真预测方法和编码方法
CN102790895B (zh) 一种基于最小二乘的多视点视频编码视点合成预测方法
CN104506871B (zh) 一种基于hevc的3d视频快速编码方法
CN102325254B (zh) 一种立体视频的编、解码方法及装置
CN107071385B (zh) 一种基于h265引入视差补偿的立体视频编码方法
CN108668135A (zh) 一种基于人眼感知的立体视频b帧错误隐藏方法
CN103702120B (zh) 一种合成视点主观失真估计方法
CN104969556A (zh) 处理视频信号的方法和设备
CN103997635B (zh) 自由视点视频的合成视点失真预测方法及编码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant