CN107426491B - 一种360度全景视频的实现方法 - Google Patents
一种360度全景视频的实现方法 Download PDFInfo
- Publication number
- CN107426491B CN107426491B CN201710349752.2A CN201710349752A CN107426491B CN 107426491 B CN107426491 B CN 107426491B CN 201710349752 A CN201710349752 A CN 201710349752A CN 107426491 B CN107426491 B CN 107426491B
- Authority
- CN
- China
- Prior art keywords
- video
- camera
- cameras
- frame
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000000007 visual effect Effects 0.000 claims abstract description 14
- 230000006835 compression Effects 0.000 claims abstract description 12
- 238000007906 compression Methods 0.000 claims abstract description 12
- 230000000694 effects Effects 0.000 claims description 8
- 238000003491 array Methods 0.000 claims description 3
- 230000003111 delayed effect Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种360度全景视频的实现方法，它涉及视频处理技术领域。它使用现有的视频压缩标准来压缩和并行传输每个相机采集的视频内容，单个相机拍摄的视频是二维平面视频，适合使用现存的是视频压缩标准，在并视频码流中记录相机的标记信息，在接收端，既可以解码显示全部视频，也可以根据观看者的视区，利用相机标记信息，选择对应的相机拍摄的视频，将其拼接融合并显示。本发明视频数据处理高效，将拼接工作从编码端转移到解码端，无需编码前的视频拼接和投影变换过程，降低360度视频编码复杂度，提高编码速度。
Description
技术领域
本发明涉及的是视频处理技术领域，具体涉及一种360度全景视频的并行编码以及解码端拼接显示的数据处理流程。
背景技术
在虚拟现实(VR)应用中，360度全景视频是以人眼为中心点，围绕上下180度、水平360度无缝衔接的视频影像，影像通过全景播放器用户可以通过点击鼠标、触摸屏幕、陀螺仪等方式实现上下、左右、放大、缩小无死角浏览或者通过虚拟现实头盔观看的视频模式。通过多个相机同时拍摄不同角度的视频，后期通过专用的软件输出，或者通过专门的视频拼接软件进行同步、拼接、调整、输出，最后得到2：1比例的全景视频文件，为一个球面视频。拼接后的360度视频图像可以表示在一个球体表面上，但不适于存储、传输和压缩等处理。而目前的视频编码方法都是针对平面矩形区域，所以需要将球面视频投影变换到二维平面上。目前有多种投影方式，常用的有球面投影，立方体投影，正方棱台投影等。
球面投影是把每条经线展开成一条直线段，并沿赤道线绕一圈形成一个圆柱体，然后展开为一个矩形，该方法被广泛地应用于全景视频编码过程中，其优点是矩形有利于用既有的视频压缩标准来进行压缩，但是在变换过程中，两极区域拉伸过大，出现变形失真。
立方体投影是将球面内容投射到外切正方体的六个面上，这样像素分布均匀，画面没有几何失真，变换后文件大小比原球面减少了25%，但由于是向球的外切正方体映射，像素密度减少，带来了图像出现模糊的问题。
正方棱台投影是将球面内容投射到内嵌立方体中的正方棱台中，投射出的平面面积比球面小，与源文件相比减少了80%的内存，但由于球面上的单位面积投射到正方棱台平面上的面积，因位置而不同，造成缩放较为明显，这样会导致一定程度的原始图像信息损失和显示失真。
综上所述，目前球面视频无论经何种投影变换，都存在一定的不足，而且投影变换后的360度视频相比传统的平面视频，分辨率更大，需求的码率更多，面临带宽有限问题，基于此，改变原有传输处理360度视频的方法，设计一种360度全景视频的实现方法尤为必要。
发明内容
针对现有技术上存在的不足，本发明目的是在于提供一种360度全景视频的实现方法，视频数据处理高效，将拼接工作从编码端转移到解码端，无需编码前的视频拼接和投影变换过程，降低360度视频编码复杂度，提高编码速度，易于推广使用。
为了实现上述目的，本发明是通过如下的技术方案来实现：一种360度全景视频的实现方法，其步骤为：
(1)采集视频，使用多台相机阵列同时拍摄，所有相机一起开启延时拍摄采集视频内容。
(2)每个相机拍摄的视频是二维平面视频，使用现有的视频压缩标准独立完成编码和并行传输每个相机采集的视频内容，将相机的编号、位置等标记信息记录在压缩视频码流(如HEVC中的SEI信息段)中，用于解码端的视频拼接。
(3)在接收端，根据显示视区范围的要求，既可以解码显示全部视频，也可以根据观看者的视区，利用相机标记信息，选择对应的相机拍摄的视频，解码显示对应相机的视频内容，将其拼接融合并显示；随着视区的移动，不断的匹配视频，解码拼接，保证360度全景的效果。
作为优选，所述步骤(1)中所有相机拍摄时的光轴交于一点，总视野为水平360度，垂直180度。
作为优选，所述步骤(2)压缩编码时可利用相邻相机间的图像内容为参考帧做预测编码，相机数量较少时，相邻相机间的重复内容也较少，每个相机的视频内容独立压缩编码；相机数量较多时，相邻相机间的重复内容较多，以相邻相机编码图像的重建帧作为参考帧进行预测编码。所述编码步骤为：将相机1的内容全部编码后，以相机1编码图像的重建帧为参考帧，对相机2的视频图像做帧内、帧间混合编码；同理，相机3以相机2的编码图像重建帧为参考帧，做帧内、帧间混合编码；依次类推，压缩编码全部相机的视频内容。
作为优选，所述步骤(3)在拼接时，利用相机标记信息，选择对应的相机拍摄的视频，根据显示效果的技术要求(例如拼接速度、拼接精度等)，选择使用不同的拼接方法将多个图像融合在一起，实现全景拼接显示；在显示时，既可以对全部视频内容解码和显示，也可以部分显示，即只针对人眼当前视觉区域，匹配对应相机的视频内容进行解码和显示，呈现给观看者360度全景的体验。所述解码步骤为：先解码相机1的视频，以相机1的视频帧为参考，解码相机2的视频，再以相机2的视频帧为参考，解码相机3的视频；依次类推，以至解码出全部相机的视频内容。
本发明的有益效果：本方法在现有处理器性能、储存和传输带宽有限的条件下，能高效处理360度视频数据流程，将拼接工作从编码端转移到解码端，无需编码前的视频拼接和投影变换过程，降低360度视频编码复杂度，提高编码速度。
附图说明
下面结合附图和具体实施方式来详细说明本发明；
图1为本发明360度全景视频的并行编码以及解码端拼接显示的数据处理流程图；
图2为本发明360度全景视频的并行编码方法示意图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
参照图1-2，本具体实施方式采用以下技术方案：一种360度全景视频的实现方法，其步骤为：
(1)采集视频，使用多台相机阵列同时拍摄，拍摄时，所有相机的光轴交于一点，总视野为水平360度，垂直180度，能达到较好的效果，且所有相机一起开启延时拍摄采集视频内容。
(2)每个相机拍摄的视频是二维平面视频，使用现有的视频压缩标准独立完成编码，在并视频码流中记录相机的标记信息，并将相机的编号、位置等标记信息记录在压缩视频码流(如HEVC中的SEI信息段)中，用于解码端的视频拼接；压缩编码时可利用相邻相机间的图像内容为参考帧做预测编码，相机数量较少时，相邻相机间的重复内容也较少，每个相机的视频内容独立压缩编码；相机数量较多时，相邻相机间的重复内容较多，以相邻相机编码图像的重建帧作为参考帧进行预测编码。
例如，将相机1的内容全部编码后，以相机1编码图像的重建帧为参考帧，对相机2的视频图像做帧内、帧间混合编码；同理，相机3以相机2的编码图像重建帧为参考帧，做帧内、帧间混合编码；依次类推，压缩编码全部相机的视频内容。
保存视频内容的同时，记录其对应相机的编号，为下一步解码做准备。
(3)在接收端，根据显示视区范围的要求，既可以解码显示全部视频，也可以根据观看者的视区，利用相机标记信息，选择对应的相机拍摄的视频，解码显示对应相机的视频内容，将其拼接融合并显示，随着视区的移动，不断的匹配视频，解码拼接，保证360度全景的效果。
值得注意的是，解码时，首先解码相机1的视频，以相机1的视频帧为参考，解码相机2的视频，再以相机2的视频帧为参考，解码相机3的视频；依次类推，以至解码出全部相机的视频内容。
在拼接时，利用相机标记信息，选择对应的相机拍摄的视频，根据显示效果的技术要求(例如拼接速度、拼接精度等)，选择使用不同的拼接方法将多个图像融合在一起，实现全景拼接显示；显示时，既可以对全部视频内容解码和显示，也可以部分显示，即只针对人眼当前视觉区域，匹配对应相机的视频内容进行解码和显示，呈现给观看者360度全景的体验。
本具体实施方式使用现有的视频压缩标准来压缩和并行传输每个相机采集的视频内容，单个相机拍摄的视频是二维平面视频，适合使用现存的是视频压缩标准，在并视频码流中记录相机的标记信息，将视频内容与其拍摄的相机信息进行标记绑定，压缩编码时可利用相邻相机间的图像内容为参考帧做预测编码，当相机数量较多时，相机间的重复内容也较多，利用相邻相机的视频图像做预测编码，可减少内容冗余，大大提高处理效率，降低复杂度，该方法切实可行，可靠实用，具有广阔的市场应用前景。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (4)
1.一种360度全景视频的实现方法，其特征在于，其步骤为：
(1)采集视频，使用多台相机阵列同时拍摄，所有相机一起开启延时拍摄采集视频内容；所有相机拍摄时的光轴交于一点，总视野为水平360度，垂直180度；
(2)每个相机拍摄的视频是二维平面视频，使用现有的视频压缩标准对每个相机采集的视频内容进行压缩编码和并行传输，再将相机的编号、位置记录在压缩视频码流中，用于解码端的视频拼接；在所述编码过程中，相机数量较少时，相邻相机间的重叠内容也较少，每个相机的视频内容独立压缩编码；相机数量较多时，相邻相机间的重叠内容较多，以相邻相机编码图像的重建帧作为参考帧进行预测编码；
(3)在接收端，根据显示视区范围的要求，既可以解码显示全部视频，也可以根据观看者的视区，利用相机标记信息，选择对应的相机拍摄的视频，解码显示对应相机的视频内容，将其拼接融合并显示，随着视区的移动，不断的匹配视频，解码拼接，保证360度全景的效果；在拼接时，利用相机标记信息，选择对应的相机拍摄的视频，根据显示效果的技术要求，选择使用不同的拼接方法将多个图像融合在一起，实现全景拼接显示。
2.根据权利要求1所述的一种360度全景视频的实现方法，其特征在于，所述步骤(3)在显示时，既可以对全部视频内容解码和显示，也可以部分显示，即只针对人眼当前视觉区域，匹配对应相机的视频内容进行解码和显示，呈现给观看者360度全景的体验。
3.根据权利要求1所述的一种360度全景视频的实现方法，其特征在于，所述以相邻相机编码图像的重建帧作为参考帧进行预测编码为：将相机1的内容全部编码后，以相机1编码图像的重建帧为参考帧，对相机2的视频图像做帧内、帧间混合编码；同理，相机3以相机2的编码图像重建帧为参考帧，做帧内、帧间混合编码；依次类推，压缩编码全部相机的视频内容。
4.根据权利要求3所述的一种360度全景视频的实现方法，其特征在于，所述解码步骤为：先解码相机1的视频，以相机1的视频帧为参考，解码相机2的视频，再以相机2的视频帧为参考，解码相机3的视频；依次类推，以至解码出全部相机的视频内容。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710349752.2A CN107426491B (zh) | 2017-05-17 | 2017-05-17 | 一种360度全景视频的实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710349752.2A CN107426491B (zh) | 2017-05-17 | 2017-05-17 | 一种360度全景视频的实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107426491A CN107426491A (zh) | 2017-12-01 |
| CN107426491B true CN107426491B (zh) | 2021-05-07 |
Family
ID=60425613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710349752.2A Active CN107426491B (zh) | 2017-05-17 | 2017-05-17 | 一种360度全景视频的实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107426491B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111263191B (zh) * | 2018-11-30 | 2023-06-27 | 中兴通讯股份有限公司 | 视频数据的处理方法、装置、相关设备及存储介质 |
| CN111372035A (zh) * | 2018-12-25 | 2020-07-03 | 杭州海康威视数字技术股份有限公司 | 多媒体数据处理方法、装置、电子设备及可读存储介质 |
| CN109840952A (zh) * | 2018-12-29 | 2019-06-04 | 深圳市虚拟现实科技有限公司 | 虚拟现实记忆再现系统及其方法 |
| CN111510643B (zh) * | 2019-01-31 | 2022-09-30 | 杭州海康威视数字技术股份有限公司 | 全景图和特写图的拼接系统及方法 |
| CN112911299B (zh) * | 2019-12-03 | 2023-02-28 | 浙江宇视科技有限公司 | 一种视频码率控制方法、装置、电子设备和存储介质 |
| CN110958443B (zh) * | 2019-12-16 | 2021-06-29 | 宁波大学 | 一种360度视频帧间快速编码方法 |
| CN111107419B (zh) * | 2019-12-31 | 2021-03-02 | 福州大学 | 一种基于全景视频播放的标注多点即时添加方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104639911A (zh) * | 2015-02-09 | 2015-05-20 | 浙江宇视科技有限公司 | 一种全景视频拼接方法及装置 |
| CN106534716A (zh) * | 2016-11-17 | 2017-03-22 | 三星电子（中国）研发中心 | 一种全景视频的传输和显示方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10104361B2 (en) * | 2014-11-14 | 2018-10-16 | Samsung Electronics Co., Ltd. | Coding of 360 degree videos using region adaptive smoothing |
| CN104602129B (zh) * | 2015-01-27 | 2018-03-06 | 三星电子（中国）研发中心 | 互动式多视角视频的播放方法及系统 |
| CN106550239A (zh) * | 2015-09-22 | 2017-03-29 | 北京同步科技有限公司 | 360度全景视频直播系统及其实现方法 |
| CN105681632B (zh) * | 2015-12-31 | 2019-06-28 | 深圳市华途数字技术有限公司 | 多目摄像机及其帧同步的方法 |
| CN206117890U (zh) * | 2016-05-16 | 2017-04-19 | 深圳市小爱爱科技有限公司 | 一种全景360度虚拟现实成像系统 |
-
2017
- 2017-05-17 CN CN201710349752.2A patent/CN107426491B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104639911A (zh) * | 2015-02-09 | 2015-05-20 | 浙江宇视科技有限公司 | 一种全景视频拼接方法及装置 |
| CN106534716A (zh) * | 2016-11-17 | 2017-03-22 | 三星电子（中国）研发中心 | 一种全景视频的传输和显示方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107426491A (zh) | 2017-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107426491B (zh) | 一种360度全景视频的实现方法 | |
| US11528468B2 (en) | System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view | |
| CN101689292B (zh) | Banana多媒体数字信号编解码器 | |
| US10909656B2 (en) | Method and apparatus of image formation and compression of cubic images for 360 degree panorama display | |
| US20190141323A1 (en) | Video image encoding method and apparatus, and video image decoding method and apparatus | |
| EP3249930B1 (en) | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices | |
| CN108648257B (zh) | 全景画面的获取方法、装置、存储介质及电子装置 | |
| CN112204993B (zh) | 使用重叠的被分区的分段的自适应全景视频流式传输 | |
| EP3434021B1 (en) | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices | |
| CN1981522A (zh) | 立体电视信号处理方法、传输系统与观众增强 | |
| CA2927046A1 (en) | Method and system for 360 degree head-mounted display monitoring between software program modules using video or image texture sharing | |
| WO2021083174A1 (zh) | 虚拟视点图像生成方法、系统、电子设备及存储介质 | |
| CN106131581A (zh) | 混合图像的全景视频制作技术 | |
| WO2022022348A1 (zh) | 视频压缩方法、解压方法、装置、电子设备及存储介质 | |
| CN107197135B (zh) | 一种视频生成方法及视频生成装置 | |
| CN111510643B (zh) | 全景图和特写图的拼接系统及方法 | |
| US20180338160A1 (en) | Method and Apparatus for Reduction of Artifacts in Coded Virtual-Reality Images | |
| CN111726598B (zh) | 图像处理方法和装置 | |
| CN113194326A (zh) | 全景直播方法、装置、计算机设备及计算机可读存储介质 | |
| TWI778749B (zh) | 適用虛擬實境的影像傳輸方法、影像處理裝置及影像生成系統 | |
| US11889220B2 (en) | Method for coding space information in continuous dynamic images | |
| CN115766673A (zh) | 一种实现vr视频传输显示的方法及系统 | |
| WO2023029207A1 (zh) | 视频数据处理方法、解码设备、编码设备及存储介质 | |
| CN111526302A (zh) | 一种可堆叠的全景视频实时拼接方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |