CN101466038B - 一种立体视频编码方法 - Google Patents

一种立体视频编码方法 Download PDF

Info

Publication number
CN101466038B
CN101466038B CN 200810163801 CN200810163801A CN101466038B CN 101466038 B CN101466038 B CN 101466038B CN 200810163801 CN200810163801 CN 200810163801 CN 200810163801 A CN200810163801 A CN 200810163801A CN 101466038 B CN101466038 B CN 101466038B
Authority
CN
China
Prior art keywords
frame
image sets
viewpoint
video
original video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 200810163801
Other languages
English (en)
Other versions
CN101466038A (zh
Inventor
刘尉悦
蒋刚毅
蒋志迪
杨铀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai spparks Technology Co.,Ltd.
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN 200810163801 priority Critical patent/CN101466038B/zh
Publication of CN101466038A publication Critical patent/CN101466038A/zh
Application granted granted Critical
Publication of CN101466038B publication Critical patent/CN101466038B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种立体视频编码方法，优点在于通过改变量化参数来改变图像的编码质量，从而改变图像的码率，以适应网络传输带宽的变化，在高带宽条件下同时传输左视点基本层码流、左视点增强层码流、右视点基本层码流及右视点增强层码流而获得高质量的视频，而在低带宽条件下仅传输左视点基本层码流和右视点基本层码流，用户端也能正常解码，获得低质量的视频，从而使得本发明方法的网络适应性良好；由于自动立体显示设备能在视角发生变化时通过已有的视点视频合成出对应当前视角的视频，即虚拟视点合成，本方法通过向用户端提供视差场码流，使用户自动立体显示终端能够快速、低复杂度的实现多视点图像的虚拟合成，以满足实时自动立体显示的要求。

Description

一种立体视频编码方法
技术领域
本发明涉及一种视频信号的编码压缩方法，尤其是涉及一种立体视频编码方法。
背景技术
与二维(2D，Two Dimensional)视频显示相比，立体/三维(3D，Three Dimensional)视频显示与人的视觉更加匹配，它使人们在屏幕上观看图像时富有立体感和浸沉感。近些年来，美、欧、日、韩等政府纷纷投入巨额资金进行立体电视/三维电视(3DTV，ThreeDimensional Television)的研究和开发，包括美国国家自然科学基金会、美国海军研究能源部、美国先进的可视技术中心、欧盟第六框架协议的3DTV计划、欧盟ESPRIT计划、欧洲信息技术计划、德联邦政府教育研究科学技术部以及英国工程与自然科学研究委员会等，日本和韩国各自正在发展集获取、编码、传输以及立体显示于一体的3DTV系统或具有立体视觉感的3D远程通信。国际标准组织ISO/IEC MPEG与ITU-T VCEG也开展了立体视频压缩应用标准制定的有关工作。
立体视频摄取系统常用的摄取方法是从左右两个视角对同一景物进行拍摄，立体视频摄取系统摄取得到的立体视频包括左右两个视点，两个视点的图像对之间存在很强的双目相关性。针对立体视频，国际标准组织MPEG-3DAV提出了四种立体视频编码方案：第一种，左右视点均采用独立的MPEG-4编码；第二种，考虑左右视点相关性而不考虑右视点视差预测的残差；第三种，考虑左右视点相关性和右视点视差预测的残差；第四种，利用MPEG-4时域分级编码。应用于立体视频编码过程中的相关信号处理技术包括快速视差与运动估计、视差场与运动场的关联性等等，在近年来都取得了一定的进展。
现有的立体视频编码的研究更多地考虑了压缩效率问题，但对于立体视频流的网络传输及用户的立体显示终端的要求等方面，缺乏足够的重视。立体视频流的网络传输包括网络带宽的被动、立体视频流传输协议及传输错误控制等；用户的立体显示终端的要求，如许多类型的自动立体显示器要求有多视点视频信号产生，即需要在终端进行快速、低复杂度的多个视点图像合成。另一方面，对基于人类立体感知的立体视频压缩、以及立体图像质量评价分析等，也缺乏足够的重视。
发明内容
本发明所要解决的技术问题是提供一种具有较好的网络带宽适应性，并能够降低立体显示设备的虚拟视点合成复杂度的立体视频编码方法。
本发明解决上述技术问题所采用的技术方案为：一种立体视频编码方法，包括以下具体步骤：
①将外部视频捕获工具捕获的未经处理的视频定义为原始立体视频，原始立体视频包括左视点原始视频和右视点原始视频；
②利用现有的失真编码方法并取编码量化参数为QP1，以长度为N的图像组(GOP，Group of Picture)为编码单位按照设定的编码过程对左视点原始视频的各个图像组中的各个帧进行编码得到左视点基本层码流；然后采用相同的编码量化参数QP1按照设定的编码过程对右视点原始视频的各个图像组中的各个帧进行编码得到右视点基本层码流；其中，QP1为4～38之间的正整数，N为图像组中包含的帧的数量；
③对左视点基本层码流进行解码重建得到左视点重建视频，将左视点重建视频与左视点原始视频作差运算得到左视点残差视频；对右视点基本层码流进行解码重建得到右视点重建视频，将右视点重建视频与右视点原始视频作差运算得到右视点残差视频；
④利用现有的失真编码方法并取编码量化参数为QP2，以长度为N的图像组为编码单位按照设定的编码过程对左视点残差视频的各个图像组中的各个帧进行编码得到左视点增强层码流，采用相同的编码量化参数QP2按照设定的编码过程对右视点残差视频的各个图像组中的各个帧进行编码得到右视点增强层码流，其中，QP2＜QP1，QP2为4～32之间的正整数，N为图像组中包含的帧的数量；
⑤采用经典的块匹配法计算左视点原始视频中每一帧图像和右视点原始视频中对应时刻的帧图像之间的视差图像，然后对每个时刻的视差图像进行无失真熵编码得到每个时刻的视差场码流；
⑥按照设定的编码过程逐帧输出左视点基本层码流、左视点增强层码流、右视点基本层码流、右视点增强层码流及视差场码流得到最终编码码流。
所述的步骤②中按照设定的编码过程对左视点原始视频的各个图像组中的各个帧和对右视点原始视频的各个图像组中的各个帧进行编码，该设定的编码过程为：
②-1、在左视点原始视频中，定义当前正在处理的图像组为当前左图像组，如果当前左图像组为左视点原始视频的第1个图像组，则对当前左图像组的第1帧进行编码，并继续执行步骤②-2；否则，直接执行步骤②-2；
②-2、对当前左图像组的下一个图像组的第1帧进行编码；
②-3、依次对当前左图像组的剩余N-1个帧进行编码得到N-1个B帧，各个B帧的参考帧为当前左图像组的第1帧和下一个图像组的第1帧；
②-4、将下一个图像组作为当前左图像组重复执行步骤②-1至②-3，直至左视点原始视频中所有的图像组处理完毕；
②-5、按照步骤②-1至②-4的编码顺序逐帧输出编码结果得到左视点基本层码流；
②-6、在右视点原始视频中，定义当前正在处理的图像组为当前右图像组，如果当前右图像组为右视点原始视频的第1个图像组，则对当前右图像组的第1帧进行编码，并继续执行步骤②-7；否则，则直接执行步骤②-7；
②-7、对当前右图像组的下一个图像组的第1帧进行编码；
②-8、依次对当前右图像组的剩余N-1个帧进行编码得到N-1个B帧，各个B帧的参考帧为当前右图像组的第1帧和下一个图像组的第1帧；
②-9、将下一个图像组作为当前右图像组重复执行步骤②-6至②-8，直至右视点原始视频中所有的图像组处理完毕；
②-10、按照步骤②-6至②-9的编码顺序逐帧输出编码结果得到右视点基本层码流。
所述的步骤⑤中对视差图像进行无失真熵编码过程中，采用现有的CABAC无失真编码技术进行编码压缩。
与现有技术相比，本发明的优点在于通过改变量化参数来改变图像的编码质量，从而改变图像的码率，以适应网络传输带宽的变化，在高带宽条件下同时传输左视点基本层码流、左视点增强层码流、右视点基本层码流及右视点增强层码流而获得高质量的视频，而在低带宽条件下仅传输左视点基本层码流和右视点基本层码流，用户端也能正常解码，获得低质量的视频，从而使得本发明方法的网络适应性良好；由于自动立体显示设备能在视角发生变化时通过已有的视点视频合成出对应当前视角的视频，即虚拟视点合成，本发明方法通过向用户端提供视差场码流信息，使得用户自动立体显示终端能够快速、低复杂度地实现多视点图像的虚拟合成，以满足实时自动立体显示的要求；本发明方法与现有的视频编码标准有很好的兼容性；本发明方法由于在对左视点原始视频进行编码时，不使用右视点原始视频中的帧图像进行预测，而是使用左视点原始视频中附近的帧进行运动补偿的帧间预测，从而使得本发明方法与现有的单视点网络电视系统有很好的兼容性，用户端只需将接收到的编码码流中的与右视点相关的码流丢弃掉，保留左视点相关的码流就可进行单视点显示；在对右视点原始视频进行编码时，每个图像组的第一帧采用联合时间和空间的预测方法，结合运动补偿和视差补偿进行帧间预测，降低了右视点编码码率；此外，本发明方法尤其适用于面向网络立体视频系统和自动立体显示设备的立体视频编码。
附图说明
图1为本发明方法的编码码流产生示意图；
图2a为立体视频序列“soccer2”的左视点原始视频中的一帧图像；
图2b为立体视频序列“soccer2”的右视点原始视频中对应于图2a时刻的帧图像；
图2c为图2a所示的帧图像的基本层码流解码重建后得到的重建图像；
图2d为图2b所示的帧图像的基本层码流解码重建后得到的重建图像；
图2e为图2a所示的帧图像的增强层码流解码重建后得到的重建图像；
图2f为图2b所示的帧图像的增强层码流解码重建后得到的重建图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
一种立体视频编码方法，包括以下具体步骤：
①将外部视频捕获工具捕获的未经处理的视频定义为原始立体视频，在空域上，原始立体视频包括左视点原始视频和右视点原始视频。在本实施例中直接采用了由韩国ETRI研究所提供的立体视频序列“soccer2”作为原始立体视频，ETRI研究所的“soccer2”立体视频序列分辨率为720×480，帧率为30帧每秒，即30fps，是ISO/MPEG所推荐的标准测试序列，是在立体视频研究领域广泛采用的实验测试序列，图2a给出了序列“soccer2”的左视点原始视频中的一帧图像，图2b给出了序列“soccer2”的右视点原始视频中对应于图2a时刻的帧图像。
②利用现有的失真编码方法如H.264/AVC(Advanced Video Coding，先进视频编码)，并取编码量化参数为QP1，以长度为N的图像组GOP为编码单位按照设定的编码过程对左视点原始视频的各个图像组中的各个帧进行编码得到左视点基本层码流，然后采用相同的编码量化参数QP1按照设定的编码过程对右视点原始视频的各个图像组中的各个帧进行编码得到右视点基本层码流。编码量化参数是失真编码方法中信息压缩环节的一个参数，编码量化参数值的大小决定了信息压缩的比率，编码量化参数值越大压缩比率就越大，在此，编码量化参数QP1的取值范围可为4～38之间的正整数，但当QP1较大时，编码失真就越大、得到的左视点基本层码流和右视点基本层码流就越小；反之，当QP1较小时，编码失真就越小、得到的左视点基本层码流和右视点基本层码流就越大。而在本实施例中QP1取值为38，这样左视点基本层码流和右视点基本层码流解码重建后得到的重建视频的质量相对较差，但能保证基本的视频视觉质量。
图像组(GOP)的长度N即为图像组中所包含的帧的数量，图像组的长度可以根据实际需要选取，但如果长度太大时会引起延时过长，因此在实际编码过程中一般选取1～20之间的正整数，而在本实施例中长度N取4。在左视点原始视频中，图像组的第一帧编码为I帧或者为P帧，如果当前正在处理的图像组为左视点原始视频中的第M×i+1个图像组，则该当前正在处理的图像组的第1帧编码为I帧，否则该当前正在处理的图像组的第1帧编码为P帧，该P帧的参考图像为上一个图像组第1帧的重建图像，其中，i＝0，1，2，3，...，M为帧内预测刷新周期。M越大，则I帧数量减少而码率较低，但是随机访问性能降低，并且容易增大预测误差。本实施例中M选取为4。在右视点原始视频中，各个图像组的第1帧的类型与左视点原始视频中对应图像组的第1帧的类型有关。如果左视点原始视频中的某一图像组的第1帧编码为I帧，则右视点原始视频中与左视点原始视频中的某一图像组对应的图像组第1帧编码为P帧，该P帧的参考图像为左视点对应图像组第1帧的重建图像；如果左视点原始视频中的某一图像组的第1帧编码为P帧，则对应右视点原始视频中的图像组的第1帧编码为B帧，该B帧的参考图像为左视点对应图像组第1帧的重建图像和右视点上一个图像组第1帧的重建图像。从图1中可以看出左视点原始视频的第1个图像组的第1帧编码为I帧，而右视点原始视频的第1个图像组的第1帧编码为P帧，该P帧的参考图像为左视点第1帧的重建图像；左视点原始视频的第2个图像组的第1帧(即左视点原始视频的第5帧)编码为P帧，该P帧的参考图像为左视点第1帧的重建图像，而右视点原始视频的第2个图像组的第1帧(即右视点原始视频的第5帧)编码为B帧，该B帧的参考图像为左视点第5帧的重建图像和右视点第1帧的重建图像。
对左视点原始视频和右视点原始视频按照图1所示的预测结构以长度为4的图像组为单位按照设定的编码过程对左视点原始视频的各个图像组中的各个帧和对右视点原始视频的各个图像组中的各个帧进行编码，对左视点原始视频的各个图像组中的各个帧进行编码时，不使用右视点原始视频中的帧图像进行预测，而是使用左视点原始视频中附近的帧进行运动补偿的帧间预测，从而使得本发明方法与现有的单视点网络电视系统有很好的兼容性，用户端只需将接收到的编码码流中的与右视点相关的码流丢弃掉，保留左视点相关的码流就可进行单视点显示。
按照设定的编码过程对左视点原始视频的各个图像组中的各个帧和对右视点原始视频的各个图像组中的各个帧进行编码，该设定的编码过程为：
②-1、在左视点原始视频中，定义当前正在处理的图像组为当前左图像组，如果当前左图像组为左视点原始视频的第1个图像组，则对当前左图像组的第1帧进行编码，并继续执行步骤②-2；否则，直接执行步骤②-2；
②-2、对当前左图像组的下一个图像组的第1帧进行编码；
②-3、依次对当前左图像组的剩余N-1个帧进行编码得到N-1个B帧，各个B帧的参考帧为当前左图像组的第1帧和下一个图像组的第1帧；假设当前左图像组为第1个图像组，如图1中，左视点原始视频的第2帧、第3帧和第4帧编码为B帧；
②-4、将下一个图像组作为当前左图像组重复执行步骤②-1至②-3，直至左视点原始视频中所有的图像组处理完毕；
②-5、按照步骤②-1至②-4的编码顺序逐帧输出编码结果得到左视点基本层码流，如图1中得到的SLL。如果当前左图像组为左视点原始视频的第1个图像组，则输出顺序为当前左图像组的第1帧、下一个图像组的第1帧、当前左图像组的第2帧、…、当前左图像组第N帧。如果当前左图像组不为左视点原始视频的第1个图像组，则输出顺序为下一个图像组的第1帧、当前左图像组的第2帧、…、当前左图像组的第N帧。
②-6、在右视点原始视频中，定义当前正在处理的图像组为当前右图像组，如果当前右图像组为右视点原始视频的第1个图像组，则对当前右图像组的第1帧进行编码，并继续执行步骤②-7；否则，则直接执行步骤②-7；
②-7、对当前右图像组的下一个图像组的第1帧进行编码；
②-8、依次对当前右图像组的剩余N-1个帧进行编码得到N-1个B帧，各个B帧的参考帧为当前右图像组的第1帧和下一个图像组的第1帧；
②-9、将下一个图像组作为当前右图像组重复执行步骤②-6至②-8，直至右视点原始视频中所有的图像组处理完毕；
②-10、按照步骤②-6至②-9的编码顺序逐帧输出编码结果得到右视点基本层码流，如图1中得到的SRL。如果当前右图像组为右视点原始视频的第1个图像组，则输出顺序为当前右图像组的第1帧、下一个图像组的第1帧、当前右图像组的第2帧、…、当前右图像组第N帧。如果当前右图像组不为右视点原始视频的第1个图像组，则输出顺序为下一个图像组的第1帧、当前右图像组的第2帧、…、当前右图像组的第N帧。
③对左视点基本层码流进行解码重建得到左视点重建视频，将左视点重建视频与左视点原始视频进行视频作差运算得到左视点残差视频；对右视点基本层码流进行解码重建得到右视点重建视频，将右视点重建视频与右视点原始视频进行视频作差运算得到右视点残差视频。图2c给出了图2a所示的帧图像的基本层码流解码重建后得到的重建图像，图2d给出了图2b所示的帧图像的基本层码流解码重建后得到的重建图像，由于在编码过程中所取的编码量化参数QP1的值较大，因此重建图像的质量较差，从图2c和图2d中可以看出。
④利用现有的失真编码方法如H.264/AVC(Advanced Video Coding，先进视频编码)，并取编码量化参数为QP2，以长度为N的图像组为编码单位按照设定的编码过程对左视点残差视频的各个图像组中的各个帧进行编码得到左视点增强层码流，如图1中得到的SL2，采用相同的编码量化参数QP2按照设定的编码过程对右视点残差视频的各个图像组中的各个帧进行编码得到右视点增强层码流，如图1中得到的SR2，其中，QP2＜QP1。得到左视点增强层码流和右视点增强层码流的过程中所采用的编码采用与步骤②得到左视点基本层码流和右视点基本层码流的过程中所采用的编码相同的预测方式，但是其输入视频序列为步骤③中得到的左视点残差视频和右视点残差视频，并且采用的量化参数比对左视点原始视频和右视频原始视频进行编码时采用的量化参数小，以保证由左视点增强层码流进行解码重建后得到的重建视频的视频质量优于由左视点基本层码流进行解码重建后得到的左视点重建视频的视频质量和由右视点增强层码流进行解码重建后得到的重建视频的视频质量优于由右视点基本层码流进行解码重建后得到的右视点重建视频的视频质量。编码量化参数QP2的取值范围可为4～32之间的正整数，当QP2较大时，编码失真就越大、得到的左视点增强层码流和右视点增强层码流就越小；反之，当QP2较小时，编码失真就越小、得到的左视点增强层码流和右视点增强层码流就越大。而在本实施例中QP2取值为32，QP2的值小于QP1的值，这样通过改变编码量化参数的值实现一个质量分级，使得左视点增强层码流和右视点增强层码流解码后重建的视频质量较好，如图2e给出的由图2a所示的帧图像的增强层码流解码重建后得到的重建图像，及图2f给出的由图2b所示的帧图像的增强层码流解码重建后得到的重建图像。
在此处，左视点残差视频和右视点残差视频采取的编码过程与左视点原始视频和右视点原始视频采用的设定的编码过程相同，不同的只是在此处编码的对象是左视点残差视频和右视点残差视频。编码得到的左视点增强层码流及右视点增强层码流的输出顺序采用左视点基本层码流相同的输出顺序。
⑤采用经典的块匹配法计算左视点原始视频中每一帧图像和右视点原始视频中对应时刻的帧图像之间的视差图像，其基本思想是将图像分成小块，对左视点原始视频的图像中的每一块，在右视点原始视频的图像中寻找相关性最大的块，两个块之间的空间位移量就是视差。然后对每个时刻的视差图像采用现有的基于上下文的自适应二进制算术熵编码技术(CABAC，Context-based Adaptive Binary Arithmetic Coding)进行无损编码得到每个时刻的视差场码流，如图1中得到的D。视差场码流的输出顺序采用左视点基本层码流相同的输出顺序。
⑥按照设定的编码过程逐帧输出左视点基本层码流、左视点增强层码流、右视点基本层码流、右视点增强层码流及视差场码流得到最终编码码流，即将左视点基本层码流、左视点增强层码流、右视点基本层码流、右视点增强层码流及视差场码流中的各个帧对应起来，按照设定的编码过程逐帧输出。以图1为例说明输出的最终编码码流的输出顺序，先依次输出左视点原始视频第1个图像组的第1帧编码得到的码流、左视点残差视频第1个图像组的第1帧编码得到的码流、右视点原始视频第1个图像组的第1帧编码得到的码流、右视点残差视频第1个图像组的第1帧编码得到的码流和此时刻的视差场码流，然后依次输出左视点原始视频第2个图像组的第1帧(即左视点原始视频的第5帧)编码得到的码流、左视点残差视频第2个图像组的第1帧(即左视点残差视频的第5帧)编码得到的码流、右视点原始视频第2个图像组的第1帧(即右视点原始视频的第5帧)编码得到的码流、右视点残差视频第2个图像组的第1帧(即右视点残差视频的第5帧)编码得到的码流和此时刻的视差场码流，再依次输出左视点原始视频第1个图像组的第2帧编码得到的码流、左视点残差视频第1个图像组的第2帧编码得到的码流、右视点原始视频第1个图像组的第2帧编码得到的码流、右视点残差视频第1个图像组的第2帧编码得到的码流和此时刻的视差场码流，左视点原始视频第1个图像组的第3帧编码得到的码流、左视点残差视频第1个图像组的第3帧编码得到的码流、右视点原始视频第1个图像组的第3帧编码得到的码流、右视点残差视频第1个图像组的第3帧编码得到的码流和此时刻的视差场码流，左视点原始视频第1个图像组的第4帧编码得到的码流、左视点残差视频第1个图像组的第4帧编码得到的码流、右视点原始视频第1个图像组的第4帧编码得到的码流、右视点残差视频第1个图像组的第4帧编码得到的码流和此时刻的视差场码流。左视点相关数据、右视点相关数据及视差场相关数据相互之间的关系可通过H.264/AVC中的SEI信息技术来说明，这样输出的编码码流能够很好的兼容单视点网络电视系统。
表1给出了通过对立体视频序列“soccer2”的测试，得到的编码性能指标。
表1对立体视频序列“soccer2”的测试，得到的编码性能指标
Figure G2008101638014D00081
使用本发明的编码方法，可以为不同终端要求及不同带宽要求提供不同码率的码流。在本实施例中，从表1可以看出，仅需要532kbps带宽就能为单通道视频系统提供低质量的视频，或者使用1469kbps带宽为单通道视频系统提供高质量的视频；低质量的立体视频需要使用1035kbps带宽，而高质量的立体视频需要使用2958kbps带宽；对于自动立体显示设备，434kbps的视差场码流可以帮助快速进行虚拟视点的合成；3392kbps带宽可以满足高质量的立体视频系统以及自动立体显示设备的要求。

Claims (3)

1.一种立体视频编码方法，其特征在于包括以下具体步骤：
①将外部视频捕获工具捕获的未经处理的视频定义为原始立体视频，原始立体视频包括左视点原始视频和右视点原始视频；
②利用失真编码方法并取编码量化参数为QP1，以长度为N的图像组为编码单位按照设定的编码过程对左视点原始视频的各个图像组中的各个帧进行编码得到左视点基本层码流；然后采用相同的编码量化参数QP1按照设定的编码过程对右视点原始视频的各个图像组中的各个帧进行编码得到右视点基本层码流；其中，QP1为4～38之间的正整数，N为图像组中包含的帧的数量；
③对左视点基本层码流进行解码重建得到左视点重建视频，将左视点重建视频与左视点原始视频作差运算得到左视点残差视频；对右视点基本层码流进行解码重建得到右视点重建视频，将右视点重建视频与右视点原始视频作差运算得到右视点残差视频；
④利用失真编码方法并取编码量化参数为QP2，以长度为N的图像组为编码单位按照设定的编码过程对左视点残差视频的各个图像组中的各个帧进行编码得到左视点增强层码流，采用相同的编码量化参数QP2按照设定的编码过程对右视点残差视频的各个图像组中的各个帧进行编码得到右视点增强层码流，其中，QP2＜QP1，QP2为4～32之间的正整数，N为图像组中包含的帧的数量；
⑤采用块匹配法计算左视点原始视频中每一帧图像和右视点原始视频中对应时刻的帧图像之间的视差图像，然后对每个时刻的视差图像进行无失真熵编码得到每个时刻的视差场码流；
⑥按照设定的编码过程逐帧输出左视点基本层码流、左视点增强层码流、右视点基本层码流、右视点增强层码流及视差场码流得到最终编码码流。
2.根据权利要求1所述的一种立体视频编码方法，其特征在于所述的步骤②中按照设定的编码过程对左视点原始视频的各个图像组中的各个帧和对右视点原始视频的各个图像组中的各个帧进行编码，该设定的编码过程为：
②-1、在左视点原始视频中，定义当前正在处理的图像组为当前左图像组，如果当前左图像组为左视点原始视频的第1个图像组，则对当前左图像组的第1帧进行编码，并继续执行步骤②-2；否则，直接执行步骤②-2；
②-2、对当前左图像组的下一个图像组的第1帧进行编码；
②-3、依次对当前左图像组的剩余N-1个帧进行编码得到N-1个B帧，各个B帧的参考帧为当前左图像组的第1帧和下一个图像组的第1帧；
②-4、将下一个图像组作为当前左图像组重复执行步骤②-1至②-3，直至左视点原始视频中所有的图像组处理完毕；
②-5、按照步骤②-1至②-4的编码顺序逐帧输出编码结果得到左视点基本层码流；
②-6、在右视点原始视频中，定义当前正在处理的图像组为当前右图像组，如果当前右图像组为右视点原始视频的第1个图像组，则对当前右图像组的第1帧进行编码，并继续执行步骤②-7；否则，则直接执行步骤②-7；
②-7、对当前右图像组的下一个图像组的第1帧进行编码；
②-8、依次对当前右图像组的剩余N-1个帧进行编码得到N-1个B帧，各个B帧的参考帧为当前右图像组的第1帧和下一个图像组的第1帧；
②-9、将下一个图像组作为当前右图像组重复执行步骤②-6至②-8，直至右视点原始视频中所有的图像组处理完毕；
②-10、按照步骤②-6至②-9的编码顺序逐帧输出编码结果得到右视点基本层码流。
3.根据权利要求1所述的一种立体视频编码方法，其特征在于所述的步骤⑤中对视差图像进行无失真熵编码过程中，采用CABAC无失真编码技术进行编码压缩。
CN 200810163801 2008-12-17 2008-12-17 一种立体视频编码方法 Expired - Fee Related CN101466038B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200810163801 CN101466038B (zh) 2008-12-17 2008-12-17 一种立体视频编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200810163801 CN101466038B (zh) 2008-12-17 2008-12-17 一种立体视频编码方法

Publications (2)

Publication Number Publication Date
CN101466038A CN101466038A (zh) 2009-06-24
CN101466038B true CN101466038B (zh) 2010-08-25

Family

ID=40806350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200810163801 Expired - Fee Related CN101466038B (zh) 2008-12-17 2008-12-17 一种立体视频编码方法

Country Status (1)

Country Link
CN (1) CN101466038B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101895740B (zh) * 2009-05-22 2012-08-08 华为技术有限公司 传输视频数据的方法及装置
CN101795411B (zh) * 2010-03-10 2011-09-07 宁波大学 一种立体图像的人眼最小可辨变化分析方法
CN101848232B (zh) * 2010-03-25 2013-03-06 清华大学 基于p2p的多视点视频传输装置
CN101841726B (zh) * 2010-05-24 2011-10-05 宁波大学 一种立体视频非对称编码方法
CN101888566B (zh) * 2010-06-30 2012-02-15 清华大学 立体视频编码率失真性能估计方法
CN101895752B (zh) * 2010-07-07 2012-12-19 清华大学 基于图像视觉质量的视频传输方法、系统及装置
CN101895753B (zh) * 2010-07-07 2013-01-16 清华大学 基于网络拥塞程度的视频传输方法、系统及装置
CN102006469B (zh) * 2010-08-24 2012-07-04 吉林大学 基于立体元图像多等级混合预测编码结构的并行实现方法
CN102137258B (zh) * 2011-03-22 2013-04-24 宁波大学 一种立体视频码率控制方法
CN102710949B (zh) * 2012-05-11 2014-06-04 宁波大学 一种基于视觉感知的立体视频编码方法
CN102801997B (zh) * 2012-07-11 2014-06-11 天津大学 基于感兴趣深度的立体图像压缩方法
CN104662898A (zh) * 2012-08-17 2015-05-27 摩托罗拉移动有限责任公司 从三维视频回退
CN107690073B (zh) * 2016-08-05 2021-07-16 阿里巴巴集团控股有限公司 一种视频直播方法及视频直播服务器
CN110446051A (zh) * 2019-08-30 2019-11-12 郑州航空工业管理学院 基于3d-hevc的立体视频码流自适应系统及方法

Also Published As

Publication number Publication date
CN101466038A (zh) 2009-06-24

Similar Documents

Publication Publication Date Title
CN101466038B (zh) 一种立体视频编码方法
CN100563340C (zh) 基于深度图像渲染的多通道视频流编码器和解码器
Vetro et al. 3D-TV content storage and transmission
CN105812827B (zh) 用于多层帧兼容视频传输的解码方法
CN100512431C (zh) 用于编码和解码立体视频的方法和装置
CN101312542B (zh) 一种自然三维电视系统
CN101888566B (zh) 立体视频编码率失真性能估计方法
CN100563339C (zh) 一种利用深度信息的多通道视频流编码方法
CN101415114B (zh) 视频编解码方法和装置以及视频编解码器
CN101662677B (zh) 码流转换系统及方法、码流识别单元和方案确定单元
PT2594077E (pt) Codificação de vídeo híbrida para suporte a síntese de visualização intermédia
MX2012014649A (es) Generacion de imagenes de alto rango dinamico a partir de imagenes de bajo rango dinamico en codificacion de video de vistas multiples.
US9473788B2 (en) Frame-compatible full resolution stereoscopic 3D compression and decompression
CN1450816A (zh) 一种立体视频流编码/解码器及其立体视频编解码系统
CN102413332B (zh) 基于时域增强的视点合成预测多视点视频编码方法
CN104159095B (zh) 一种多视点纹理视频和深度图编码的码率控制方法
CN103561255B (zh) 一种裸眼立体显示方法
CN101841726B (zh) 一种立体视频非对称编码方法
Merkle et al. Efficient compression of multi-view depth data based on MVC
CN109451293A (zh) 一种开放基站计算能力的自适应立体视频传输方法
Jung et al. Disparity-map-based rendering for mobile 3D TVs
Klimaszewski et al. Distortions of synthesized views caused by compression of views and depth maps
CN103379349A (zh) 一种视点合成预测编码方法、解码方法、对应的装置及码流
CN102006469B (zh) 基于立体元图像多等级混合预测编码结构的并行实现方法
Gotchev et al. Source and channel coding recipes for mobile 3D television

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: SHANGHAI SILICON INTELLECTUAL PROPERTY EXCHANGE CE

Free format text: FORMER OWNER: NINGBO UNIVERSITY

Effective date: 20120105

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 315211 NINGBO, ZHEJIANG PROVINCE TO: 200030 XUHUI, SHANGHAI

TR01 Transfer of patent right

Effective date of registration: 20120105

Address after: 200030 Shanghai City No. 333 Yishan Road Huixin International Building 1 building 1704

Patentee after: Shanghai Silicon Intellectual Property Exchange Co.,Ltd.

Address before: 315211 Zhejiang Province, Ningbo Jiangbei District Fenghua Road No. 818

Patentee before: Ningbo University

ASS Succession or assignment of patent right

Owner name: SHANGHAI SIPAI KESI TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: SHANGHAI SILICON INTELLECTUAL PROPERTY EXCHANGE CENTER CO., LTD.

Effective date: 20120217

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 200030 XUHUI, SHANGHAI TO: 201203 PUDONG NEW AREA, SHANGHAI

TR01 Transfer of patent right

Effective date of registration: 20120217

Address after: 201203 Shanghai Chunxiao Road No. 350 South Building Room 207

Patentee after: Shanghai spparks Technology Co.,Ltd.

Address before: 200030 Shanghai City No. 333 Yishan Road Huixin International Building 1 building 1704

Patentee before: Shanghai Silicon Intellectual Property Exchange Co.,Ltd.

ASS Succession or assignment of patent right

Owner name: SHANGHAI GUIZHI INTELLECTUAL PROPERTY SERVICE CO.,

Free format text: FORMER OWNER: SHANGHAI SIPAI KESI TECHNOLOGY CO., LTD.

Effective date: 20120606

C41 Transfer of patent application or patent right or utility model
C56 Change in the name or address of the patentee
CP02 Change in the address of a patent holder

Address after: 200030 Shanghai City No. 333 Yishan Road Huixin International Building 1 building 1706

Patentee after: Shanghai spparks Technology Co.,Ltd.

Address before: 201203 Shanghai Chunxiao Road No. 350 South Building Room 207

Patentee before: Shanghai spparks Technology Co.,Ltd.

TR01 Transfer of patent right

Effective date of registration: 20120606

Address after: 200030 Shanghai City No. 333 Yishan Road Huixin International Building 1 building 1704

Patentee after: Shanghai Guizhi Intellectual Property Service Co.,Ltd.

Address before: 200030 Shanghai City No. 333 Yishan Road Huixin International Building 1 building 1706

Patentee before: Shanghai spparks Technology Co.,Ltd.

DD01 Delivery of document by public notice

Addressee: Shi Lingling

Document name: Notification of Passing Examination on Formalities

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200121

Address after: 201203 block 22301-1450, building 14, No. 498, GuoShouJing Road, Pudong New Area (Shanghai) pilot Free Trade Zone, Shanghai

Patentee after: Shanghai spparks Technology Co.,Ltd.

Address before: 200030 Shanghai City No. 333 Yishan Road Huixin International Building 1 building 1704

Patentee before: Shanghai Guizhi Intellectual Property Service Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100825

Termination date: 20191217

CF01 Termination of patent right due to non-payment of annual fee