CN101977320A - 一种符合多视点视频标准的视频编码方法 - Google Patents

一种符合多视点视频标准的视频编码方法 Download PDF

Info

Publication number
CN101977320A
CN101977320A CN 201010531043 CN201010531043A CN101977320A CN 101977320 A CN101977320 A CN 101977320A CN 201010531043 CN201010531043 CN 201010531043 CN 201010531043 A CN201010531043 A CN 201010531043A CN 101977320 A CN101977320 A CN 101977320A
Authority
CN
China
Prior art keywords
video
frame
meets
code stream
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010531043
Other languages
English (en)
Other versions
CN101977320B (zh
Inventor
孙立峰
胡伟栋
杨士强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PowerInfo Co., Ltd.
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN 201010531043 priority Critical patent/CN101977320B/zh
Publication of CN101977320A publication Critical patent/CN101977320A/zh
Application granted granted Critical
Publication of CN101977320B publication Critical patent/CN101977320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种符合多视点视频标准的视频编码方法，属于视频编码技术领域。本发明将多个摄像头拍摄到的多路视频序列进行变换得到了一路适合H.264编码器编码的视频，通过对H.264编码时参考关系的限制保证了在产生码流时符合多视点视频的参考关系，再将H.264编码器输出的码流进行修改得到了符合多视点视频标准的码流。本方法通过利用较成熟的H.264编码器来实现多视点视频的编码，减小了开发多视点视频编码的成本，同时可以利用H.264编码中已有的优化成果和硬件编码成果，实现高效的视频编码。

Description

一种符合多视点视频标准的视频编码方法
技术领域
本发明涉及一种符合多视点视频标准的视频编码方法，尤其涉及一种基于H.264编码器实现符合多视点视频编码标准的视频编码方法，属于视频编码技术领域。
背景技术
多视点视频是新一代的交互式媒体，给用户带来身临其境的三维感受，用户可以自由的选择所观看的视点并在视点间切换。多视点视频的本质是从多个视点对一个场景进行拍摄，将多个位置拍摄到的图像序列联合进行编码后传输给用户，在用户端，通过对视频的解码可以还原出原来各视点的视频，通过视点的合成产生更多的视点，让用户在不佩戴眼镜的情况下获得三维的体验。
多视点视频编码是多视点视频的关键技术，利用多视点之间的数据相关性，可以提高视频的压缩比。多视点视频编码的标准已经推出，它将多个摄像机拍摄到的视频排成矩阵的形式，每个帧可以自己进行编码或者参考同一路(同一个摄像机)和同一个时间点的帧进行编码，同一路或同一个时间点的视频具有较大的冗余性，可以使视频压缩得更小。多视点视频的编码算法是采用H.264标准中的编码算法，在码流上与H.264有区别。
H.264标准已经推出多年，对它的相关研究已经比较成熟，已经有较多的优秀的H.264编码器。而多视点视频的编码的算法与H.264相同，由于算法实现复杂，开发全新的多视点视频编码器成本较大。同时，多视点视频的数据量比H.264要高很多，对编码的优化要求较高，要将全新的多视点视频编码器优化到较快的速度也较为困难。
发明内容
本发明的目的是提出一种符合多视点视频标准的视频编码方法，将多个摄像头拍摄到的多路视频序列进行变换得到了一路适合H.264编码器编码的视频，通过对H.264编码时参考关系的限制保证了在产生码流时符合多视点视频的参考关系，再将H.264编码器输出的码流进行修改得到了符合多视点视频标准的码流，以降低编码器的研制成本，提高编码效率。
本发明提出的符合多视点视频标准的视频编码方法，包括以下步骤：
(1)设置N个用于采集视频的摄像头，使位置相邻的摄像头的编号相连，将采集到的N路视频中的每个视频帧按照摄像头的编号和采集的时间先后进行编号，编号为i的摄像头采集到的第t个视频帧的编号为t×N+i，其中i＝0、1、2……N-1，t为视频帧的顺序号，t＝0、1、2……；
(2)按照多视点视频标准，设定对N个摄像头采集的视频进行多视点视频编码的参数，该参数包括摄像头的个数和采集到的N路视频中的每个视频帧在编码时所参考的视频帧，记录每个视频帧在编码时所参考的视频帧的编号，作为每个视频帧的附加信息；
(3)将上述步骤(1)的所有视频帧按视频帧编号从小到大的顺序横向排成一行，形成一路视频；
(4)将上述一路视频放入H.264的编码器中进行编码，使编码器根据每个视频帧的附加信息中记录的相应的参考视频帧进行编码，得到一个符合H.264标准的码流；
(5)在上述符合H.264标准的码流中读出编码标准中含有的序列参数集和图片参数集；
(6)从设定的对N个摄像头采集的视频进行多视点视频编码的参数中读出符合多视点视频编码标准的多视点序列参数、多视点图片参数和子序列参数；
(7)将上述步骤(5)读出的序列参数集和步骤(6)读出的多视点序列参数写入符合多视点视频编码标准的序列参数集中，将上述步骤(5)读出的图片参数集和步骤(6)读出的多视点图片参数写入符合多视点视频编码标准的图片参数集中，将步骤(6)读出的子序列参数写入符合多视点视频编码标准的子序列参数集中；
(8)对由N个摄像头采集的所有视频帧中的每个视频帧，从上述步骤(4)的符合H.264标准的码流中读出与每个视频帧相对应的视频帧码流，从该视频帧码流中读出视频帧参数集、参考视频帧参数集和视频帧图像码流，将读出的视频帧参数集以及与该视频帧相对应的摄像头编号和视频帧在该摄像头中的顺序号写入符合多视点视频编码标准的视频帧参数集中，将读出的参考视频帧参数集写入符合多视点视频编码标准的参考视频帧参数集中，将读出的视频帧图像码流附加在符合多视点视频编码标准的视频帧参数集和参考视频帧参数集后面，得到与该视频帧码流相对应的符合多视点视频编码标准的视频帧码流；
(9)将上述步骤(7)的符合多视点视频编码标准的序列参数集、步骤(7)的符合多视点视频编码标准的子序列参数集、步骤(7)的符合多视点视频编码标准的图片参数集依次连接，得到符合多视点视频编码标准的参数码流；
(10)将上述步骤(8)的符合多视点视频编码标准的视频帧码流按N个摄像头采集的所有视频帧中的每个视频帧的视频帧码流在上述符合H.264标准的码流中的顺序依次连接，附加到步骤(9)的符合多视点视频编码标准的参数码流后面，得到符合多视点视频编码标准的视频码流。
本发明提出的符合多视点视频标准的视频编码方法，其优点在于：
1、本发明方法利用H.264标准和多视点视频标准中图像变换和编码中的相似性，将研究得比较成熟的H.264编码器作为多视点视频编码器的一个部分，减小了研制全套多视点视频编码器的成本。
2、由于标准中定义的多视点视频编码算法的运算量较大，需要较多的优化，而已有的H.264编码优化的研究已经有较多的成果，包括已经设计出一些硬件编码器，本发明方法基于已有的H.264编码器进行多视点视频编码，使用H.264编码的优化成果，实现高效的视频编码，提高了编码效率。
3、本发明方法，除了使用H.264进行编码外，其他步骤的速度都非常快，因此如果要改进编码的质量或效率，只需将编码步骤中使用的编码器改为其他的H.264编码器即可，编码过程较为灵活。
附图说明
图1是本发明方法对摄像头编号、视频帧编号及多视点视频编码标准中编码参考关系的示意图。
图2是本发明方法中将所有视频帧按视频帧编号从小到大的顺序横向排成一行，形成一路视频的示意图。
具体实施方式
本发明提出的符合多视点视频标准的视频编码方法，包括以下步骤：
(1)设置N个用于采集视频的摄像头，使位置相邻的摄像头的编号相连，将采集到的N路视频中的每个视频帧按照摄像头的编号和采集的时间先后进行编号，编号为i的摄像头采集到的第t个视频帧的编号为t×N+i，其中i＝0、1、2……N-1，t为视频帧的顺序号，t＝0、1、2……；
(2)按照多视点视频标准，设定对N个摄像头采集的视频进行多视点视频编码的参数，该参数包括摄像头的个数和采集到的N路视频中的每个视频帧在编码时所参考的视频帧，记录每个视频帧在编码时所参考的视频帧的编号，作为每个视频帧的附加信息。摄像头编号、视频帧编号及多视点视频编码标准中编码参考关系的示意图如图1所示，摄像头编号为v0至v8，方框内的编号为视频帧编号。图中箭头表示按照多视点视频标准的编码参考关系，任意一帧到另一帧的参考关系用箭头表示，记录附加信息时要记录1需要参考0和2，2需要参考0，3需要参考2和4，而9需要参考1、8、10和17。
(3)将上述步骤(1)的所有视频帧按视频帧编号从小到大的顺序横向排成一行，形成一路视频，如图2所示；
(4)将上述一路视频放入H.264的编码器中进行编码，使编码器根据每个视频帧的附加信息中记录的相应的参考视频帧进行编码，得到一个符合H.264标准的码流；该符合H.264标准的码流表示的每个视频帧所参考的视频帧编号在该视频帧的附加信息所记录的视频帧编号中。H.264的编码器可以使用已有的H.264编码软件或H.264编码硬件。
(5)在上述符合H.264标准的码流中读出编码标准中含有的序列参数集和图片参数集；
(6)从设定的对N个摄像头采集的视频进行多视点视频编码的参数中读出符合多视点视频编码标准的多视点序列参数、多视点图片参数和子序列参数；
(7)将上述步骤(5)读出的序列参数集和步骤(6)读出的多视点序列参数写入符合多视点视频编码标准的序列参数集中，将上述步骤(5)读出的图片参数集和步骤(6)读出的多视点图片参数写入符合多视点视频编码标准的图片参数集中，将步骤(6)读出的子序列参数写入符合多视点视频编码标准的子序列参数集中；
(8)对由N个摄像头采集的所有视频帧中的每个视频帧，从上述步骤(4)的符合H.264标准的码流中读出与每个视频帧相对应的视频帧码流，从该视频帧码流中读出视频帧参数集、参考视频帧参数集和视频帧图像码流，将读出的视频帧参数集以及与该视频帧相对应的摄像头编号和视频帧在该摄像头中的顺序号写入符合多视点视频编码标准的视频帧参数集中，将读出的参考视频帧参数集写入符合多视点视频编码标准的参考视频帧参数集中，将读出的视频帧图像码流附加在符合多视点视频编码标准的视频帧参数集和参考视频帧参数集后面，得到与该视频帧码流相对应的符合多视点视频编码标准的视频帧码流；
(9)将上述步骤(7)的符合多视点视频编码标准的序列参数集、步骤(7)的符合多视点视频编码标准的子序列参数集、步骤(7)的符合多视点视频编码标准的图片参数集依次连接，得到符合多视点视频编码标准的参数码流；
(10)将上述步骤(8)的符合多视点视频编码标准的视频帧码流按N个摄像头采集的所有视频帧中的每个视频帧的视频帧码流在上述符合H.264标准的码流中的顺序依次连接，附加到步骤(9)的符合多视点视频编码标准的参数码流后面，得到符合多视点视频编码标准的视频码流。

Claims (1)

1.一种符合多视点视频标准的视频编码方法，其特征在于该方法包括以下步骤：
(1)设置N个用于采集视频的摄像头，使位置相邻的摄像头的编号相连，将采集到的N路视频中的每个视频帧按照摄像头的编号和采集的时间先后进行编号，编号为i的摄像头采集到的第t个视频帧的编号为t×N+i，其中i＝0、1、2……N-1，t为视频帧的顺序号，t＝0、1、2……；
(2)按照多视点视频标准，设定对N个摄像头采集的视频进行多视点视频编码的参数，该参数包括摄像头的个数和采集到的N路视频中的每个视频帧在编码时所参考的视频帧，记录每个视频帧在编码时所参考的视频帧的编号，作为每个视频帧的附加信息；
(3)将上述步骤(1)的所有视频帧按视频帧编号从小到大的顺序横向排成一行，形成一路视频；
(4)将上述一路视频放入H.264的编码器中进行编码，使编码器根据每个视频帧的附加信息中记录的相应的参考视频帧进行编码，得到一个符合H.264标准的码流；
(5)在上述符合H.264标准的码流中读出编码标准中含有的序列参数集和图片参数集；
(6)从设定的对N个摄像头采集的视频进行多视点视频编码的参数中读出符合多视点视频编码标准的多视点序列参数、多视点图片参数和子序列参数；
(7)将上述步骤(5)读出的序列参数集和步骤(6)读出的多视点序列参数写入符合多视点视频编码标准的序列参数集中，将上述步骤(5)读出的图片参数集和步骤(6)读出的多视点图片参数写入符合多视点视频编码标准的图片参数集中，将步骤(6)读出的子序列参数写入符合多视点视频编码标准的子序列参数集中；
(8)对由N个摄像头采集的所有视频帧中的每个视频帧，从上述步骤(4)的符合H.264标准的码流中读出与每个视频帧相对应的视频帧码流，从该视频帧码流中读出视频帧参数集、参考视频帧参数集和视频帧图像码流，将读出的视频帧参数集以及与该视频帧相对应的摄像头编号和视频帧在该摄像头中的顺序号写入符合多视点视频编码标准的视频帧参数集中，将读出的参考视频帧参数集写入符合多视点视频编码标准的参考视频帧参数集中，将读出的视频帧图像码流附加在符合多视点视频编码标准的视频帧参数集和参考视频帧参数集后面，得到与该视频帧码流相对应的符合多视点视频编码标准的视频帧码流；
(9)将上述步骤(7)的符合多视点视频编码标准的序列参数集、步骤(7)的符合多视点视频编码标准的子序列参数集、步骤(7)的符合多视点视频编码标准的图片参数集依次连接，得到符合多视点视频编码标准的参数码流；
(10)将上述步骤(8)的符合多视点视频编码标准的视频帧码流按N个摄像头采集的所有视频帧中的每个视频帧的视频帧码流在上述符合H.264标准的码流中的顺序依次连接，附加到步骤(9)的符合多视点视频编码标准的参数码流后面，得到符合多视点视频编码标准的视频码流。
CN 201010531043 2010-10-29 2010-10-29 一种符合多视点视频标准的视频编码方法 Active CN101977320B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010531043 CN101977320B (zh) 2010-10-29 2010-10-29 一种符合多视点视频标准的视频编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010531043 CN101977320B (zh) 2010-10-29 2010-10-29 一种符合多视点视频标准的视频编码方法

Publications (2)

Publication Number Publication Date
CN101977320A true CN101977320A (zh) 2011-02-16
CN101977320B CN101977320B (zh) 2012-11-14

Family

ID=43577162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010531043 Active CN101977320B (zh) 2010-10-29 2010-10-29 一种符合多视点视频标准的视频编码方法

Country Status (1)

Country Link
CN (1) CN101977320B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102307309A (zh) * 2011-07-29 2012-01-04 杭州电子科技大学 一种基于自由视点的体感交互导播系统及方法
CN102801979A (zh) * 2012-08-09 2012-11-28 武汉微创光电股份有限公司 多路视频混合编码方法及装置
CN104935923A (zh) * 2015-06-12 2015-09-23 广东威创视讯科技股份有限公司 信号编码方法及系统、信号解码方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1874520A (zh) * 2006-06-23 2006-12-06 清华大学 一种交互式多视点视频的编码方法
CN101018331A (zh) * 2006-02-07 2007-08-15 三星电子株式会社 多视点视频编码设备和方法
CN101291434A (zh) * 2007-04-17 2008-10-22 华为技术有限公司 多视编解码方法及装置
CN101653000A (zh) * 2006-10-13 2010-02-17 汤姆逊许可公司 用于包含多视点视频编码的参考图像管理的方法
CN101669367A (zh) * 2007-03-02 2010-03-10 Lg电子株式会社 用于解码/编码视频信号的方法及设备
JP2010171522A (ja) * 2009-01-20 2010-08-05 Toshiba Corp 符号化装置および方法、ならびに、復号装置および方法
EP2227021A1 (en) * 2007-12-28 2010-09-08 Huawei Device Co., Ltd. An apparatus, system and method for multi-view photographing and image processing and a decoding processing method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101018331A (zh) * 2006-02-07 2007-08-15 三星电子株式会社 多视点视频编码设备和方法
CN1874520A (zh) * 2006-06-23 2006-12-06 清华大学 一种交互式多视点视频的编码方法
CN101653000A (zh) * 2006-10-13 2010-02-17 汤姆逊许可公司 用于包含多视点视频编码的参考图像管理的方法
CN101669367A (zh) * 2007-03-02 2010-03-10 Lg电子株式会社 用于解码/编码视频信号的方法及设备
CN101291434A (zh) * 2007-04-17 2008-10-22 华为技术有限公司 多视编解码方法及装置
EP2227021A1 (en) * 2007-12-28 2010-09-08 Huawei Device Co., Ltd. An apparatus, system and method for multi-view photographing and image processing and a decoding processing method
JP2010171522A (ja) * 2009-01-20 2010-08-05 Toshiba Corp 符号化装置および方法、ならびに、復号装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《计算机工程与设计》 20100226 刘超 马力妮 宋雄亮 基于H_264标准的多视点视频编码方案的研究 全文 1 第31卷, 第3期 2 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102307309A (zh) * 2011-07-29 2012-01-04 杭州电子科技大学 一种基于自由视点的体感交互导播系统及方法
CN102801979A (zh) * 2012-08-09 2012-11-28 武汉微创光电股份有限公司 多路视频混合编码方法及装置
CN104935923A (zh) * 2015-06-12 2015-09-23 广东威创视讯科技股份有限公司 信号编码方法及系统、信号解码方法及系统
CN104935923B (zh) * 2015-06-12 2018-07-10 广东威创视讯科技股份有限公司 信号编码方法及系统、信号解码方法及系统

Also Published As

Publication number Publication date
CN101977320B (zh) 2012-11-14

Similar Documents

Publication Publication Date Title
KR100714068B1 (ko) 계층적 깊이 영상을 이용한 다시점 동영상 부호화/복호화방법 및 장치
CN101578881B (zh) 基于全局视差向量对多视图图像编码和解码的方法和设备
CN110830802B (zh) 基于机器学习的视频压缩
EP2158768B1 (en) System and method for generating and regenerating 3d image files based on 2d image media standards
CN102395029B (zh) 一种支持视频可伸缩浏览的视频编解码方法和装置
CN109997358A (zh) 用于自由视点视频流式传输的以解码器为中心的uv编解码器
WO2015192780A1 (en) Method and apparatus of candidate generation for single sample mode in video coding
CN108293110A (zh) 多视点视频编码/解码方法
CN108141610A (zh) 用于编码和解码基于光场的图像的方法和设备，以及相应的计算机程序产品
KR102166158B1 (ko) 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템
CN104541308A (zh) 使用多边形的3d网格和对应纹理对图像进行编码
RU2011111557A (ru) Способ и система для кодирования сигнала трехмерного видео, кодер для кодирования сигнала трехмерного видео, кодированный сигнал трехмерного видео, способ и система для декодирования сигнала трехмерного видео, декодер для декодирования сигнала трехмерного видео
CN111464814B (zh) 一种基于视差引导融合的虚拟参考帧生成方法
CN106162195A (zh) 一种基于单深度帧内模式的3d‑hevc深度视频信息隐藏方法
JP7389751B2 (ja) 三次元物体を表すポイントクラウドを符号化／復号する方法及び装置
CN101977320B (zh) 一种符合多视点视频标准的视频编码方法
CN104718755A (zh) 减小含有相互类似的信息的多个图像的数据量的方法、程序及装置,以及表现含有相互类似的信息的多个图像的数据结构
Aggoun 3D holoscopic imaging technology for real-time volume processing and display
CN116210219A (zh) 光场图像的处理方法、编码器、解码器及存储介质
CN107197296B (zh) 一种基于COStream的HEVC并行编码方法和系统
CN110392266B (zh) 一种基于伪视频序列的光场视频编码方法、终端设备和存储介质
EP2597877A2 (en) Supplementary information coding apparatus and method for 3D video
CN101969565B (zh) 一种符合多视点视频标准的视频解码方法
CN102333221A (zh) 一种全景式背景预测的视频编解码方法
KR20220043912A (ko) 머신 비전을 위한 다중 태스크 시스템에서의 딥러닝 기반 특징맵 코딩 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: BEIJING SHIJI DINGDIAN SOFTWARE CO., LTD.

Effective date: 20120511

C41 Transfer of patent application or patent right or utility model
C53 Correction of patent for invention or patent application
CB03 Change of inventor or designer information

Inventor after: Sun Lifeng

Inventor after: Hu Weidong

Inventor after: Yang Shiqiang

Inventor after: Li Yi

Inventor after: Luo Han

Inventor before: Sun Lifeng

Inventor before: Hu Weidong

Inventor before: Yang Shiqiang

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: SUN LIFENG HU WEIDONG YANG SHIQIANG TO: SUN LIFENG HU WEIDONG YANG SHIQIANG LI YI LUO HAN

TA01 Transfer of patent application right

Effective date of registration: 20120511

Address after: 100084 Haidian District Tsinghua Yuan Beijing No. 1

Applicant after: Tsinghua University

Co-applicant after: PowerInfo Co., Ltd.

Address before: 100084 Haidian District Tsinghua Yuan Beijing No. 1

Applicant before: Tsinghua University

C14 Grant of patent or utility model
GR01 Patent grant