CN106056531B - 一种360度全景视频球面展开到平面的显示方法 - Google Patents
一种360度全景视频球面展开到平面的显示方法 Download PDFInfo
- Publication number
- CN106056531B CN106056531B CN201610332911.3A CN201610332911A CN106056531B CN 106056531 B CN106056531 B CN 106056531B CN 201610332911 A CN201610332911 A CN 201610332911A CN 106056531 B CN106056531 B CN 106056531B
- Authority
- CN
- China
- Prior art keywords
- plane
- sphere
- video
- degree
- display methods
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000011161 development Methods 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000003321 amplification Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000012552 review Methods 0.000 abstract description 11
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
本发明公开了一种360度全景视频球面展开到平面的显示方法，球面视频画面投射到平面视频画面后，对展开的平面视频画面作扩边处理，这种360度全景视频球面展开到平面的显示方法，在审片系统中，针对360度全景球面视频，只要在视频解码后，显示图像之前，采用本发明的显示方法将球面到平面的图像展示出来，平面视图可以将原内嵌正方体的平面区域的跨区块边界内容包容进来，特别对于VR审片，这样审片人员即可轻松地在普通播放器中看到并识别全景画面中所有的图文是否有敏感内容。
Description
技术领域
本发明涉及一种360度全景视频球面展开到平面的显示方法。
背景技术
在360度全景视频应用(比如沉浸式VR)中，拍摄者会利用多个摄像头将水平360度、上下180度的所有角度拍摄出来，然后利用视频合成装置将视频合成为一个全景视频，即一个球面视频。
但球面视频数据不容易表达、存储和压缩。目前在视频压缩领域中，各种存在的压缩标准如H.264、H.265等都是针对平面矩形区域进行压缩。为了利用既存的视频压缩标准来压缩和传输视频数据，目前通常的做法是把球面视频投影到一个平面上。
目前，在市面上常用的方法有圆柱投影、圆锥投影等。其中最常用的投影方法为Equirectangular，是将每条经线展开成一条直线段，并沿赤道线绕一圈形成一个圆柱体，然后展开为一个矩形。这个方法被广泛地应用于VR全景视频编码过程中，其优点是矩形有利于用既有的视频压缩标准来进行压缩。但这种方法投射至平面后，视频看到的图像是扭曲变形的，特别是在视频的顶端和底端，变形尤为严重，人眼已无法看清楚其中的内容，而如果用特殊的VR播放器，观众同一时刻只能看到一个角度，水平约120度，垂直约100度左右，如果需要看遍整个全景视频，需要在暂停的情况下不断地调整视角，多次观看后才能看到整个图像的所有内容。这个缺点给广电审片带来了较大麻烦，假设在视频中有文字，人眼很难方便地判断出是否有反动或敏感文字在其中。
另外还有一个较为常见的cubic投射法，是将球面投射到球的内嵌正方体的六个面上，这样的投射无法解决跨区块便捷的敏感图文的识别。
发明内容
基于此，有必要提供一种可方便审片者审查视频内容的360度全景视频球面展开到平面的显示方法。
根据本发明的一方面，提供了一种360度全景视频球面展开到平面的显示方法，球面视频画面投射到平面视频画面后，对展开的平面视频画面作扩边处理。
在其中一个实施例中，扩边处理，具体为将球面视频画面按六等分对应球内嵌正方体形成六个平面视频画面，并使六个平面视频画面相较内嵌正方体的六个面相应呈等比例放大。
在其中一个实施例中，每两个相邻的平面视频画面之间具有图像重叠。
在其中一个实施例中，球心到每一个平面视频画面的距离与球心到每一个内嵌正方体的面的距离相等。
这种360度全景视频球面展开到平面的显示方法，在审片系统中，针对360度全景球面视频，只要在视频解码后，显示图像之前，采用本发明的显示方法将球面到平面的图像展示出来，平面视图可以将原内嵌正方体的平面区域的跨区块边界内容包容进来，特别对于VR审片，审片人员即可轻松地在普通播放器中看到并识别全景画面中所有的图文是否有敏感内容。
附图说明
图1为本发明一实施方式的一种360度全景视频球面展开到平面的显示方法的原理示意图；
图2为典型的Cubic投射法经过投射后得到的内嵌正方体六个面展开后的平面视图；
图3为应用本发明一实施方式的一种360度全景视频球面展开到平面的显示方法经过扩边处理后的平面视图。
具体实施方式
为了便于理解本发明，下面将用具体实施例对本发明进行更全面的描述。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这实施例的目的是使对本发明的公开内容的理解更加透彻全面。
本发明一实施例的一种360度全景视频球面展开到平面的显示方法，球面视频画面投射到平面视频画面后，对展开的平面视频画面作扩边处理。
扩边处理是指将球面视频画面按六等分对应球内嵌正方体形成六个平面视频画面，并使六个平面视频画面相较内嵌正方体的六个面相应呈等比例放大。具体地，本显示方法是基于cubic投射法，当球面视频画面展开到平面视频画面时，对平面视频画面作一个扩边处理，使展开后的平面视频画面有图像冗余，以解决原本cubic投射法展开的正方形视频画面的边界可能出现敏感图文而被忽略。
因此本显示方法是针对球面视频所处在的球形空间中，其球形空间的内嵌正方体，以内嵌正方体的中心(即球形空间的球心)为基点，针对每一个面(正方形)作放大变换，各向同性地均匀扩大一定比例(此比例在实际应用中可自由调整)。如图1所示，设内嵌正方体的边长为W，对其中一个面M1经过放大变换后，边长扩大为T(T＞W)，形成正方形M2，该M2的中间部分与M1重叠，M1及M2与球心的距离同为W/2。
可以反向理解，投射法从平面到球面，是以球心为中心，通过M2将M2投射到球面上得到球面上的一个弧面(该投射可想象球心为一个点光源，M2是一个挡板，那么M2会在球面上形成一个阴影，这个阴影就是通过投射形成的弧面)。
由于M2完全包含并大于M1，所有M2对应的弧面包含并大于M1对应的弧面，而立方体有六个面，对每个面都可以产生类似M2对应的弧面，即前述的球面视频通过本投射方法可获得六个类似M2的正方形平面图像。由于Cubic投射法对应的弧面在球面上是正好无缝衔接无重叠，因此本投射法对应的相邻弧面一定有重叠区域。那么，展开为平面视频视图后，六个M2这样的图像也一定有部分的重叠区域。
如图2为一个典型的Cubic投射法经过投射后得到的内嵌正方体六个面展开后的平面视图，图3为使用本发明的投射法经过投射后得到的内嵌正方体六个面的平面视图。为方便说明，图3中用白色虚线围起了一块区域，该区域即为原图2所展开的平面图像。虚线外的区域为根据本发明实施例对平面视频画面经过扩边处理后的图像，这些被扩边处理后所显示的图像均是对应了虚线区域内的一部分图像。对比图2和图3则可清楚的看到，经过本发明实施例的显示方法进行扩边处理后，图像边界就没有死角，而且图像最中间的部分保持了连续性。
这种360度全景视频球面展开到平面的显示方法，在审片系统中，针对360度全景球面视频，只要在视频解码后，显示图像之前，采用本发明的显示方法将球面到平面的图像展示出来，平面视图可以将原内嵌正方体的平面区域的跨区块边界内容包容进来，特别对于VR审片，这样审片人员即可轻松地在普通播放器中看到并识别全景画面中所有的图文是否有敏感内容。
以上实施例仅表达了本发明的个别实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (3)
1.一种360度全景视频球面展开到平面的显示方法，其特征在于，球面视频画面投射到平面视频画面后，对展开的所述平面视频画面作扩边处理，
所述扩边处理具体为将所述球面视频画面按六等分对应球内嵌正方体形成六个所述平面视频画面、并使六个所述平面视频画面相较所述内嵌正方体的六个面相应呈等比例放大，
六个所述平面视频画面呈等比例放大后，六个所述平面视频画面中相邻面之间存在重叠区域。
2.根据权利要求1所述的一种360度全景视频球面展开到平面的显示方法，其特征在于，每两个相邻的所述平面视频画面之间具有图像重叠。
3.根据权利要求1所述的一种360度全景视频球面展开到平面的显示方法，其特征在于，球心到每一个所述平面视频画面的距离与球心到每一个所述内嵌正方体的面的距离相等。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610332911.3A CN106056531B (zh) | 2016-05-13 | 2016-05-13 | 一种360度全景视频球面展开到平面的显示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610332911.3A CN106056531B (zh) | 2016-05-13 | 2016-05-13 | 一种360度全景视频球面展开到平面的显示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106056531A CN106056531A (zh) | 2016-10-26 |
| CN106056531B true CN106056531B (zh) | 2019-07-16 |
Family
ID=57177327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610332911.3A Active CN106056531B (zh) | 2016-05-13 | 2016-05-13 | 一种360度全景视频球面展开到平面的显示方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106056531B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106991640B (zh) * | 2016-10-31 | 2020-06-16 | 深圳市圆周率软件科技有限责任公司 | 一种全景图像展开方法及系统 |
| GB2571638B (en) * | 2016-12-14 | 2022-04-20 | Mediatek Inc | Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by rectangular projection faces packed in viewport |
| US10573076B2 (en) | 2016-12-14 | 2020-02-25 | Mediatek Inc. | Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by rectangular projection faces packed in viewport-based cube projection layout |
| CN106780310B (zh) | 2016-12-20 | 2020-11-24 | 北京奇艺世纪科技有限公司 | 一种投影图构建方法及装置 |
| CN106780317B (zh) * | 2017-01-25 | 2020-08-11 | 北京数码视讯科技股份有限公司 | 全景投影方法及装置 |
| US11057643B2 (en) * | 2017-03-13 | 2021-07-06 | Mediatek Inc. | Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout |
| US11004173B2 (en) | 2017-03-13 | 2021-05-11 | Mediatek Inc. | Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout |
| US10356386B2 (en) | 2017-04-05 | 2019-07-16 | Mediatek Inc. | Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping |
| TWI681662B (zh) | 2017-08-18 | 2020-01-01 | 聯發科技股份有限公司 | 用於減少基於投影的圖框中的偽影的方法和裝置 |
| DE112018002436T5 (de) * | 2017-09-27 | 2020-02-20 | Mediatek Inc. | Verfahren zum Verarbeiten eines projektionsbasierten Rahmens, welcher mindestens eine Projektionsfläche aufweist, die in einer 360-Grad-Virtual-Reality-Projektionsanordnung gepackt ist |
| CN108200330A (zh) * | 2017-12-11 | 2018-06-22 | 虚拟现实(深圳)智能科技有限公司 | 双8k图像虚拟现实处理方法及系统 |
| CN110505470B (zh) * | 2018-05-18 | 2021-04-09 | 深圳裸眼威阿科技有限公司 | 一种基于球形显示屏的图像播放系统及方法 |
| CN111819570A (zh) * | 2018-05-21 | 2020-10-23 | 谷歌有限责任公司 | 用于检测滥用球形视频内容中被放置在球体上的二维视频的方法、系统和介质 |
| CN110570448A (zh) * | 2019-09-07 | 2019-12-13 | 深圳岚锋创视网络科技有限公司 | 一种全景视频的目标追踪方法、装置及便携式终端 |
| CN116520987A (zh) * | 2023-04-28 | 2023-08-01 | 中广电广播电影电视设计研究院有限公司 | Vr内容问题检测方法、装置、设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101894380A (zh) * | 2010-07-14 | 2010-11-24 | 北京航空航天大学 | 一种全景视频中目标物体的自动跟踪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101370718B1 (ko) * | 2012-10-26 | 2014-03-06 | 한국과학기술원 | 파노라마 이미지를 이용한 2d에서 3d로의 변환 방법 및 장치 |
-
2016
- 2016-05-13 CN CN201610332911.3A patent/CN106056531B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101894380A (zh) * | 2010-07-14 | 2010-11-24 | 北京航空航天大学 | 一种全景视频中目标物体的自动跟踪方法 |
Non-Patent Citations (2)
| Title |
|---|
| Linux下ffmpeg添加Facebook/transform代码块实现将全景视频的球模型转换成立方体模型;董礼;《下载网址为：https://www.fwqtg.net/linux%E4%B8%8Bffmpeg%E6%B7%BB%E5%8A%A0facebooktransform%E4%BB%A3%E7%A0%81%E5%9D%97%E5%AE%9E%E7%8E%B0%E5%B0%86%E5%85%A8%E6%99%AF%E8%A7%86%E9%A2%91%E7%9A%84%E7%90%83%E6%A8%A1%E5%9E%8B%E8%BD%AC%E6%8D%A2.html》;20160317;摘要、正文第2节 |
| 等立方体球面映射;万亮 等;《计算机辅助设计与图形学学报》;20080831;第20卷(第8期);第978-985页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106056531A (zh) | 2016-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106056531B (zh) | 一种360度全景视频球面展开到平面的显示方法 | |
| US11659282B2 (en) | Image processing system and image processing method | |
| CN101689292B (zh) | Banana多媒体数字信号编解码器 | |
| CN107426491B (zh) | 一种360度全景视频的实现方法 | |
| KR102506480B1 (ko) | 영상 처리 장치 및 그 영상 처리 방법 | |
| US20200314449A1 (en) | Methods, devices and stream for encoding and decoding volumetric video | |
| US20200374559A1 (en) | A method and apparatus for encoding a point cloud representing three-dimensional objects | |
| CN206524898U (zh) | 全景图像拍摄装置以及图像处理系统 | |
| WO2017124868A1 (zh) | 一种获得全景图像的方法和装置 | |
| TWI619091B (zh) | 全景圖壓縮方法及裝置 | |
| TWI654874B (zh) | 處理具有至少一非均勻映射生成之投影面之投影訊框之方法及裝置 | |
| KR102498598B1 (ko) | 영상 처리 장치 및 그 영상 처리 방법 | |
| KR102503342B1 (ko) | 스테레오 스코픽 비디오 콘텐츠를 전송하기 위한 방법 및 장치 | |
| US20210067758A1 (en) | Method and apparatus for processing virtual reality image | |
| CN104246795A (zh) | 用于超广角透镜图像的自适应透视修正的方法和系统 | |
| US20210409669A1 (en) | A method for generating and displaying panorama images based on rendering engine and a display apparatus | |
| CN108347556A (zh) | 全景图像拍摄方法、全景图像显示方法、全景图像拍摄装置以及全景图像显示装置 | |
| WO2017185765A1 (zh) | 一种室内全景视频生成方法及装置 | |
| CN102801963A (zh) | 基于高清数字摄像头监控的电子ptz方法及装置 | |
| CN106341673A (zh) | 一种新型2d/3d全景vr视频的存储方法 | |
| CN106131581A (zh) | 混合图像的全景视频制作技术 | |
| JP2019514313A (ja) | レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム | |
| CN202872936U (zh) | 基于正多面体的360度无盲区全景视频拍摄设备 | |
| CN102868853A (zh) | 基于正多面体的360度无盲区全景视频拍摄设备 | |
| KR101839270B1 (ko) | 공연장의 가상현실 동영상 형성방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 310000 A Block, 16th Floor, E Building, Paradise Software Park, No. 3 Xidoumen Road, Hangzhou City, Zhejiang Province Applicant after: Hangzhou Dang Hong Polytron Technologies Inc Address before: 310000 B2010, two floor, North (two), six and 368 Road, Binjiang District, Hangzhou, Zhejiang. Applicant before: HANGZHOU DANGHONG TECHNOLOGY CO., LTD. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |