CN101969565B - 一种符合多视点视频标准的视频解码方法 - Google Patents
一种符合多视点视频标准的视频解码方法 Download PDFInfo
- Publication number
- CN101969565B CN101969565B CN 201010531046 CN201010531046A CN101969565B CN 101969565 B CN101969565 B CN 101969565B CN 201010531046 CN201010531046 CN 201010531046 CN 201010531046 A CN201010531046 A CN 201010531046A CN 101969565 B CN101969565 B CN 101969565B
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- standard
- meets
- code stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种符合多视点视频标准的视频解码方法，属于视频编码技术领域。本发明将标准的多视点视频码流进行重新组装得到一个标准的H.264码流，将H.264码流放入H.264解码器中解码得到一个图片序列，将图片序列重新排列后得到多路视点视频的输出。本发明方法通过利用较成熟的H.264解码器来对多视点视频进行解码，减小了开发多视点视频解码器的成本，同时利用H.264解码器中已有的优化成果和硬件解码成果，实现高效的视频解码。
Description
技术领域
本发明涉及一种符合多视点视频标准的视频解码方法，尤其涉及一种基于H.264解码器实现符合多视点视频编码标准的视频解码方法，属于视频编码技术领域。
背景技术
多视点视频是新一代的交互式媒体，给用户带来身临其境的三维感受，用户可以自由的选择所观看的视点并在视点间切换。多视点视频的本质是从多个视点对一个场景进行拍摄，将多个位置拍摄到的图像序列联合进行编码后传输给用户，在用户端，通过对视频的解码可以还原出原来各视点的视频，通过视点的合成产生更多的视点，让用户在不佩戴眼镜的情况下获得三维的体验。
多视点视频编解码是多视点视频的关键技术，利用多视点之间的数据相关性，可以实现视频高压缩压缩。多视点视频编码的标准已经推出，它将多个摄像机拍摄到的视频排成矩阵的形式，每个帧可以自己进行编码或者参考同一路(同一个摄像机)和同一个时间点的帧进行编码，同一路或同一个时间点的视频具有较大的冗余性，可以使视频压缩得更小。多视点视频的编码算法是采用H.264标准中的编码算法，在码流上与H.264有区别。
多视点视频的解码是编码的逆过程，解码器根据码流中描述的参考关系制定解码的顺序，每帧解码时可能参考0个或多个参考帧，解码后得到多路视频序列。
H.264标准已经推出多年，对它的相关研究已经比较成熟，已经有较多的优秀的H.264解码器，这些解码器解码效率都很高。而多视点视频的解码的算法与H.264相同，由于算法实现复杂，开发全新的多视点视频解码器成本较大。同时，多视点视频的数据量比H.264要高很多，解码器一般运行在一般的用户机器上，对解码的优化要求较高，要将全新的多视点视频编码器优化到较快的速度也较为困难。
发明内容
本发明的目的是提出一种符合多视点视频标准的视频解码方法，将标准的多视点视频码流进行重新组装得到一个标准的H.264码流，将H.264码流放入H.264解码器中解码得到一个图片序列，将图片序列重新排列后得到多路视点视频的输出，以降低解码器的研制成本，提高解码效率。
本发明提出的符合多视点视频标准的视频解码方法，包括以下步骤：
(1)从符合多视点视频标准的码流中读出符合多视点视频标准的序列参数集和符合多视点视频标准的图片参数集，从该读出的序列参数集中读出多视点视频使用的摄像头个数N，摄像头编号为0、1、2……N-1；
(2)将上述读出的符合多视点视频标准的序列参数集和符合多视点视频标准的图片参数集写入符合H.264标准的序列参数集和符合H.264标准的图片参数集中；
(3)从符合多视点视频标准的码流中读出所有符合多视点视频标准的视频帧码流，分别从每个读出的视频帧码流中读出符合多视点视频标准的视频帧参数集、符合多视点视频标准的参考视频帧参数集以及视频帧图像码流；
(4)从上述符合多视点标准的视频帧参数集中读出与符合多视点视频标准的视频帧码流相对应的视频帧的摄像头编号以及视频帧顺序号；根据每个视频帧的摄像头编号和视频帧顺序号，对视频帧码流进行编号，编号为i的摄像头采集到的第t个视频帧的视频帧码流编号为t×N+i，其中i＝0、1、2……N-1，t为视频帧顺序号，t＝0、1、2……；
(5)对于每个符合多视点视频标准的视频帧码流，将上述步骤(3)读出的符合多视点视频标准的视频帧参数集写入符合H.264标准的视频帧参数集中，并将符合H.264标准的视频帧参数集中的视频帧顺序号设置为符合多视点视频标准的码流中符合多视点视频标准的视频帧的码流编号；将上述步骤(3)读出的符合多视点视频标准的参考视频帧参数集写入符合H.264标准的参考视频帧参数集中，将上述步骤(3)读出的视频帧图像码流附加到符合H.264标准的视频帧参数集与参考视频帧参数集的后面，得到与符合多视点视频标准的视频帧码流相对应的符合H.264标准的视频帧码流；
(6)将上述步骤(2)中符合H.264标准的序列参数集、符合H.264标准的图片参数集依次连接，得到符合H.264标准的参数码流；按符合多视点视频标准的视频帧码流在符合多视点视频标准的码流中的顺序，将上述步骤(5)的符合H.264标准的视频帧码流依次连接，并将连接后的视频帧码流附加到符合H.264标准的参数码流后面，得到符合H.264标准的视频码流；
(7)将上述符合H.264标准的视频码流放入H.264的解码器中进行解码，得到从左向右排列的一路视频帧；
(8)设置与N个摄像头一一对应的N个视频帧序列，编号依次为0、1、2……N-1，从上述一路视频帧的最左边取出N个视频帧，按从左向右的顺序分别将N个视频帧附加到编号为0、1、2……N-1的视频帧序列的后面，每个视频帧序列后附加一个，重复该过程，直到上述一路视频帧中所有的视频帧都被取出，得到将符合多视点视频标准的码流解码的N个视频帧序列。
本发明提出的符合多视点视频标准的视频解码方法，其优点是：
1、本发明方法利用H.264标准和多视点视频标准中图像变换和编码中的相似性，将研究得比较成熟的H.264解码器作为多视点视频解码器的一个部分，减小了研制全套多视点视频解码器的成本。
2、由于标准中定义的多视点视频解码算法的运算量较大，需要较多的优化，而已有的H.264解码优化的研究已经有较多的成果，包括已经设计出一些硬件解码器，本发明方法基于已有的H.264解码器进行多视点视频解码，使用H.264解码的优化成果，实现高效的视频解码，提高了解码效率。
3、本发明方法，除了使用H.264进行解码外，其他步骤的速度都非常快，因此如果要改进解码的效率，只需将解码步骤中使用的解码器改为其他的H.264解码器即可，解码过程较为灵活。
说明书附图
图1是本发明方法对摄像头编号、与视频帧相对应的视频帧码流编号及多视点视频标准中参考关系的示意图。
图2是本发明方法中，将符合H.264标准的视频码流放入H.264的解码器中进行解码得到的一路视频帧的示意图。
具体实施方式
本发明提出的符合多视点视频标准的视频解码方法，包括以下步骤：
(1)从符合多视点视频标准的码流中读出符合多视点视频标准的序列参数集和符合多视点视频标准的图片参数集，从该读出的序列参数集中读出多视点视频使用的摄像头个数N，摄像头编号为0、1、2……N-1；
(2)将上述读出的符合多视点视频标准的序列参数集和符合多视点视频标准的图片参数集写入符合H.264标准的序列参数集和符合H.264标准的图片参数集中；
(3)从符合多视点视频标准的码流中读出所有符合多视点视频标准的视频帧码流，分别从每个读出的视频帧码流中读出符合多视点视频标准的视频帧参数集、符合多视点视频标准的参考视频帧参数集以及视频帧图像码流；
(4)从上述符合多视点标准的视频帧参数集中读出与符合多视点视频标准的视频帧码流相对应的视频帧的摄像头编号以及视频帧顺序号；根据每个视频帧的摄像头编号和视频帧顺序号，对视频帧码流进行编号，编号为i的摄像头采集到的第t个视频帧的视频帧码流编号为t×N+i，其中i＝0、1、2……N-1，t为视频帧顺序号，t＝0、1、2……。本发明方法中，摄像头编号、与视频帧相对应的视频帧码流编号及多视点视频标准中参考关系的示意图如图1所示，摄像头编号为v0至v8，方框内的编号为与视频帧相对应的视频帧码流编号。图中箭头表示按照多视点视频标准的编码参考关系，任意一帧到另一帧的参考关系用箭头表示。
(5)对于每个符合多视点视频标准的视频帧码流，将上述步骤(3)读出的符合多视点视频标准的视频帧参数集写入符合H.264标准的视频帧参数集中，并将符合H.264标准的视频帧参数集中的视频帧顺序号设置为符合多视点视频标准的码流中符合多视点视频标准的视频帧的码流编号；将上述步骤(3)读出的符合多视点视频标准的参考视频帧参数集写入符合H.264标准的参考视频帧参数集中，将上述步骤(3)读出的视频帧图像码流附加到符合H.264标准的视频帧参数集与参考视频帧参数集的后面，得到与符合多视点视频标准的视频帧码流相对应的符合H.264标准的视频帧码流；
(6)将上述步骤(2)中符合H.264标准的序列参数集、符合H.264标准的图片参数集依次连接，得到符合H.264标准的参数码流；按符合多视点视频标准的视频帧码流在符合多视点视频标准的码流中的顺序，将上述步骤(5)的符合H.264标准的视频帧码流依次连接，并将连接后的视频帧码流附加到符合H.264标准的参数码流后面，得到符合H.264标准的视频码流；
(7)将上述符合H.264标准的视频码流放入H.264的解码器中进行解码，得到从左向右排列的一路视频帧，如图2所示；
(8)设置与N个摄像头一一对应的N个视频帧序列，编号依次为0、1、2……N-1，从上述一路视频帧的最左边取出N个视频帧，按从左向右的顺序分别将N个视频帧附加到编号为0、1、2……N-1的视频帧序列的后面，每个视频帧序列后附加一个，重复该过程，直到上述一路视频帧中所有的视频帧都被取出，得到将符合多视点视频标准的码流解码的N个视频帧序列。
Claims (1)
1.一种符合多视点视频标准的视频解码方法，其特征在于该方法包括以下步骤：
(1)从符合多视点视频标准的码流中读出符合多视点视频标准的序列参数集和符合多视点视频标准的图片参数集，从该读出的序列参数集中读出多视点视频使用的摄像头个数N，摄像头编号为0、1、2……N-1；
(2)将上述读出的符合多视点视频标准的序列参数集和符合多视点视频标准的图片参数集写入符合H.264标准的序列参数集和符合H.264标准的图片参数集中；
(3)从符合多视点视频标准的码流中读出所有符合多视点视频标准的视频帧码流，分别从每个读出的视频帧码流中读出符合多视点视频标准的视频帧参数集、符合多视点视频标准的参考视频帧参数集以及视频帧图像码流；
(4)从上述符合多视点标准的视频帧参数集中读出与符合多视点视频标准的视频帧码流相对应的视频帧的摄像头编号以及视频帧顺序号；根据每个视频帧的摄像头编号和视频帧顺序号，对视频帧码流进行编号，编号为i的摄像头采集到的第t个视频帧的视频帧码流编号为t×N+i，其中i＝0、1、2……N-1，t为视频帧顺序号，t＝0、1、2……；
(5)对于每个符合多视点视频标准的视频帧码流，将上述步骤(3)读出的符合多视点视频标准的视频帧参数集写入符合H.264标准的视频帧参数集中，并将符合H.264标准的视频帧参数集中的视频帧顺序号设置为符合多视点视频标准的码流中符合多视点视频标准的视频帧的码流编号；将上述步骤(3)读出的符合多视点视频标准的参考视频帧参数集写入符合H.264标准的参考视频帧参数集中，将上述步骤(3)读出的视频帧图像码流附加到符合H.264标准的视频帧参数集与参考视频帧参数集的后面，得到与符合多视点视频标准的视频帧码流相对应的符合H.264标准的视频帧码流；
(6)将上述步骤(2)中符合H.264标准的序列参数集、符合H.264标准的图片参数集依次连接，得到符合H.264标准的参数码流；按符合多视点视频标准的视频帧码流在符合多视点视频标准的码流中的顺序，将上述步骤(5)的符合H.264标准的视频帧码流依次连接，并将连接后的视频帧码流附加到符合H.264标准的参数码流后面，得到符合H.264标准的视频码流；
(7)将上述符合H.264标准的视频码流放入H.264的解码器中进行解码，得到从左向右排列的一路视频帧；
(8)设置与N个摄像头一一对应的N个视频帧序列，编号依次为0、1、2……N-1，从上述一路视频帧的最左边取出N个视频帧，按从左向右的顺序分别将N个视频帧附加到编号为0、1、2……N-1的视频帧序列的后面，每个视频帧序列后附加一个，重复该过程，直到上述一路视频帧中所有的视频帧都被取出，得到将符合多视点视频标准的码流解码的N个视频帧序列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010531046 CN101969565B (zh) | 2010-10-29 | 2010-10-29 | 一种符合多视点视频标准的视频解码方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010531046 CN101969565B (zh) | 2010-10-29 | 2010-10-29 | 一种符合多视点视频标准的视频解码方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101969565A CN101969565A (zh) | 2011-02-09 |
| CN101969565B true CN101969565B (zh) | 2012-08-22 |
Family
ID=43548647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201010531046 Active CN101969565B (zh) | 2010-10-29 | 2010-10-29 | 一种符合多视点视频标准的视频解码方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101969565B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108243338A (zh) * | 2016-12-23 | 2018-07-03 | 杭州海康威视数字技术股份有限公司 | 视频解码、编码方法、装置及系统 |
| CN110996000A (zh) * | 2019-12-16 | 2020-04-10 | 深圳市本牛科技有限责任公司 | 一种多角度同时拍摄的方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1694512A (zh) * | 2005-06-24 | 2005-11-09 | 清华大学 | 一种交互式多视点视频系统中虚拟视点的合成方法 |
| CN1874520A (zh) * | 2006-06-23 | 2006-12-06 | 清华大学 | 一种交互式多视点视频的编码方法 |
| CN101291434A (zh) * | 2007-04-17 | 2008-10-22 | 华为技术有限公司 | 多视编解码方法及装置 |
| CN101669367A (zh) * | 2007-03-02 | 2010-03-10 | Lg电子株式会社 | 用于解码/编码视频信号的方法及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080025408A1 (en) * | 2006-07-31 | 2008-01-31 | Sam Liu | Video encoding |
-
2010
- 2010-10-29 CN CN 201010531046 patent/CN101969565B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1694512A (zh) * | 2005-06-24 | 2005-11-09 | 清华大学 | 一种交互式多视点视频系统中虚拟视点的合成方法 |
| CN1874520A (zh) * | 2006-06-23 | 2006-12-06 | 清华大学 | 一种交互式多视点视频的编码方法 |
| CN101669367A (zh) * | 2007-03-02 | 2010-03-10 | Lg电子株式会社 | 用于解码/编码视频信号的方法及设备 |
| CN101291434A (zh) * | 2007-04-17 | 2008-10-22 | 华为技术有限公司 | 多视编解码方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101969565A (zh) | 2011-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2716156C1 (ru) | Способ и устройство для составления всенаправленного изображения в выходной формат макета | |
| CA2950964C (en) | Method and apparatus of candidate generation for single sample mode in video coding | |
| RU2745021C1 (ru) | Способ и устройства для конфигурирования преобразования для сжатия видео | |
| CN107431797B (zh) | 用于全视差光场显示系统的方法和装置 | |
| CA2893011C (en) | Method and apparatus for efficient coding of depth lookup table | |
| CA2576686C (en) | Method and apparatus for encoding and decoding an icosahedron panorama image | |
| US20080310762A1 (en) | System and method for generating and regenerating 3d image files based on 2d image media standards | |
| KR100714068B1 (ko) | 계층적 깊이 영상을 이용한 다시점 동영상 부호화/복호화방법 및 장치 | |
| EP2932711B1 (en) | Apparatus and method for generating and rebuilding a video stream | |
| KR102166158B1 (ko) | 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템 | |
| US8644597B2 (en) | System and method for generating and regenerating 3D image files based on 2D image media standards | |
| CN108141610A (zh) | 用于编码和解码基于光场的图像的方法和设备，以及相应的计算机程序产品 | |
| KR20120118779A (ko) | 전처리 필터링을 수반한 계층 간 예측을 수행하는 비디오 부호화 방법 및 그 장치, 후처리 필터링을 수반한 계층 간 예측을 수행하는 비디오 복호화 방법 및 그 장치 | |
| CN101969565B (zh) | 一种符合多视点视频标准的视频解码方法 | |
| WO2013146636A1 (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム | |
| CN101977320B (zh) | 一种符合多视点视频标准的视频编码方法 | |
| CN112823524A (zh) | 图像编码/解码方法和用于图像编码/解码方法的装置 | |
| JP3621332B2 (ja) | スプライト符号化方法及び装置、スプライト符号化データ復号方法及び装置、並びに記録媒体 | |
| KR20140044332A (ko) | 스테레오스코픽 이미지들을 생성하고, 송신하고 수신하기 위한 방법, 및 관련 디바이스들 | |
| KR20120020627A (ko) | 3ｄ 영상 포맷을 이용한 영상 처리 장치 및 방법 | |
| KR101382618B1 (ko) | 콘텐츠 정보 생성 방법 및 콘텐츠 정보를 이용한 콘텐츠처리 장치 | |
| CN103227935A (zh) | 图像发送装置和方法以及图像再现装置和方法 | |
| KR20210035060A (ko) | 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법 | |
| JP2000349644A (ja) | 多視点画像符号化復号化装置および多視点画像符号化復号化方法 | |
| WO2013039333A1 (ko) | 3ｄ 비디오 부호화/복호화 방법 및 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Owner name: BEIJING SHIJI DINGDIAN SOFTWARE CO., LTD. Effective date: 20120511 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| C53 | Correction of patent for invention or patent application | ||
| CB03 | Change of inventor or designer information |
Inventor after: Sun Lifeng Inventor after: Hu Weidong Inventor after: Yang Shiqiang Inventor after: Li Yi Inventor after: Luo Han Inventor before: Sun Lifeng Inventor before: Hu Weidong Inventor before: Yang Shiqiang |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: INVENTOR; FROM: SUN LIFENG HU WEIDONG YANG SHIQIANG TO: SUN LIFENG HU WEIDONG YANG SHIQIANG LI YI LUO HAN |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20120511 Address after: 100084 Haidian District Tsinghua Yuan Beijing No. 1 Applicant after: Tsinghua University Co-applicant after: PowerInfo Co., Ltd. Address before: 100084 Haidian District Tsinghua Yuan Beijing No. 1 Applicant before: Tsinghua University |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |