CN106162207B - 一种全景视频并行编码方法和装置 - Google Patents
一种全景视频并行编码方法和装置 Download PDFInfo
- Publication number
- CN106162207B CN106162207B CN201610730274.5A CN201610730274A CN106162207B CN 106162207 B CN106162207 B CN 106162207B CN 201610730274 A CN201610730274 A CN 201610730274A CN 106162207 B CN106162207 B CN 106162207B
- Authority
- CN
- China
- Prior art keywords
- panoramic video
- video
- view
- plane
- plan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013507 mapping Methods 0.000 claims abstract description 96
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000005215 recombination Methods 0.000 description 4
- 230000006798 recombination Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- SEQDDYPDSLOBDC-UHFFFAOYSA-N Temazepam Chemical compound N=1C(O)C(=O)N(C)C2=CC=C(Cl)C=C2C=1C1=CC=CC=C1 SEQDDYPDSLOBDC-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Devices (AREA)
Abstract
本发明提供了一种全景视频并行编码方法和装置，该方法包括获取球面全景视频；按照预设映射方式将所述球面全景视频映射为平面全景视频，并将平面全景视频分割为多个平面视图；将所述平面全景视频重组为多个视频序列；其中，每一个视频序列中的平面视图为映射到同一位置、并按照时间顺序组成的平面视图；对各个所述视频序列进行并行编码；将解码后的视频按照各自在平面全景视频中的位置复原拼接为完整的平面全景视频；将所述完整的平面全景视频逆映射为球面全景视频。该方法能够充分利用CPU/GPU的多核处理能力对全景视频进行编码，提升了全景视频的编码速度，实现全景视频的实时编码，有利于促进全景视频的大规模产业化应用和普及。
Description
技术领域
本发明涉及虚拟现实(Virtual Reality,VR)视频技术领域，尤其涉及一种全景视频并行编码方法和装置。
背景技术
目前市场上的VR(虚拟现实)视频，以球形全景视频为主，视频覆盖角度为水平360度，竖直180度，相较于正常视频，全景视频的文件数据量增加很大，网络传输的负担也大大增加。
另外，为了获得沉浸感较好的VR体验，要求全景视频需具有高帧率(90～120fps)，高分辨率比如4k，8k甚至更高。这都远远超出了现有硬件的实时处理能力。因此，全景视频的编码效率成为决定VR视频能否快速应用的重要因素。
为了加快编码速度，现有编码技术H.265/HEVC标准中采用波浪形并行处理(Wavefront Parallel Processing，WPP)方法对全景视频进行编码。该WPP通过先后启动不同的线程实现了并行编码，提高了编码效率。
另外，由于相邻块间的相关性，即在编码过程中，WPP编码方法当前块的编码依赖其相邻块的编码结果。如图1所示，线程2中对视频块X2的编码依赖线程1中视频块X1的编码结果，线程3中对视频块X3的编码依赖线程2中视频块X2的编码结果，等等，如此，线程2中对视频块X2的编码必须待视频块X1编码结束后才能启动，线程3中对视频块X3的编码必须待视频块X2编码结束后才能启动。如此，多核处理器的多线程不能同时启动对VR视频的编码，导致多核处理器无法全部达到其设计性能，而且并行加速效果随着CPU(中央处理器)核数的增加而大打折扣，比如，对于一个4核CPU，加速倍数通常为单核CPU的2.5倍，达到3倍非常困难，而对一个8核CPU而言，加速倍数很难达到单核CPU的4倍，而且随着CPU核数的增加，CPU的利用率会越来越低，如此，现有的WPP编码方法不利于充分利用CPU的多核处理能力，无法做到全景视频的实时编码，限制了全景视频的大规模产业化应用和普及。
发明内容
有鉴于此，本发明提供了一种全景视频并行编码方法和装置，以充分利用CPU的多核处理能力，促进全景视频的大规模产业化应用和普及。
为了解决上述技术问题，本发明采用了如下技术方案：
一种全景视频并行编码方法，包括：
获取球面全景视频；
按照预设映射方式将所述球面全景视频映射为平面全景视频，并将所述平面全景视频分割为多个平面视图；
将所述平面全景视频重组为多个视频序列；其中，每一个视频序列中的平面视图为映射到同一位置、并按照时间顺序组成的平面视图；
对各个所述视频序列进行并行编码；
将解码后的视频按照各自在平面全景视频中的位置复原拼接为完整的平面全景视频；
将所述完整的平面全景视频逆映射为球面全景视频。
可选地，所述将所述球面全景视频映射为平面全景视频之前，还包括：
确定预设映射方式的类型。
可选地，映射为平面全景视频后，重组为多个视频序列前，还包括：
判断平面视图的形状是否均为矩形，如果否，将形状为非矩形的平面视图形状处理为矩形。
可选地，所述预设映射方式包括立方体映射方式、经纬图映射方式、四棱锥映射方式；
所述四棱锥映射方式为将球体映射为外接四棱锥，展开成一个正方形和4个三角形的映射方式。
可选地，所述预设映射方式为四棱锥映射方式，所述四棱锥映射方式为将球体映射为外接四棱锥，展开成一个正方形和4个三角形的映射方式；
所述将形状为非矩形的平面视图形状处理成矩形，具体包括：
将形状为三角形的四个平面视图拼接为两个正方形平面视图；
所述将所述平面全景视频重组为多个视频序列，具体包括：
将各个拼接后的正方形平面视图分别按照时间顺序组成新视频序列。
可选地，所述预设映射方式为四棱锥映射方式，所述四棱锥映射方式为将球体映射为外接四棱锥，展开成一个正方形和4个三角形的映射方式；其中，映射生成的一个正方形视图和4个三角形视图拼接为一个正方形视图；
所述将形状为非矩形的平面视图形状处理成矩形，具体包括：
将拼接后的正方形视图分割为多个矩形视图；
所述将所述平面全景视频重组为多个视频序列，具体包括：
将各个矩形视图按照时间顺序分别组成新视频序列。
一种全景视频并行编码装置，包括：
获取单元，用于获取球面全景视频；
映射单元，用于按照预设映射方式将所述球面全景视频映射为平面全景视频，并将所述平面全景视频分割为多个平面视图；
重组单元，用于将所述平面全景视频重组为多个视频序列；其中，每一个视频序列中的平面视图为映射到同一位置、并按照时间顺序组成的平面视图；
编码单元，用于对各个所述视频序列进行并行编码；
复原拼接单元，用于将解码后的视频按照各自在平面全景视频中的位置复原拼接为完整的平面全景视频；
逆映射单元，用于将所述完整的平面全景视频逆映射为球面全景视频。
可选地，所述装置还包括：
确定单元，用于在映射为平面全景视频之前，确定预设映射方式的类型。
可选地，所述装置还包括：
判断单元，用于在映射为平面全景视频后，重组为多个视频序列前，判断平面视图的形状是否均为矩形；
处理单元，用于当所述判断单元的判断结果为否时，将形状为非矩形的平面视图形状处理为矩形。
可选地，所述预设映射方式包括立方体映射方式、经纬图映射方式、四棱锥映射方式；
所述四棱锥映射方式为将球体映射为外接四棱锥，展开成一个正方形和4个三角形的映射方式。
相较于现有技术，本发明具有以下有益效果：
通过以上技术方案可知，本发明提供的全景视频并行编码方法将球面全景视频映射为平面全景视频，再将平面全景视频重组为多个视频序列，其中，每一个视频序列中的平面视图为映射到同一位置、并按照时间顺序组成的平面视图。如此，本发明将映射到同一位置的平面视图按照时间顺序组成一个新视频序列，如此就将球面全景视频重组为多个相互独立的新视频序列，本发明提供的方法能够对该多个相互独立的新视频序列并行编码，如此，多核CPU/GPU能够对重组的多个新视频序列进行并行编码。因此，该方法能够充分利用CPU/GPU的多核处理能力对全景视频进行编码，提升了全景视频的编码速度，实现全景视频的实时编码，有利于促进全景视频的大规模产业化应用和普及。
附图说明
为了清楚地理解本发明和现有技术的技术方案，下面将描述本发明具体实施方式时用到的附图做一简要说明。显而易见地，这些附图仅是本发明的部分实施例，本领域技术人员在未付出创造性劳动的前提下，获得的其它附图均在本发明的保护范围之列。
图1是现有技术中采用WPP方法对全景视频进行编码的示意图
图2是本发明实施例一提供的全景视频并行编码方法流程示意图；
图3是相关技术中立方体映射方式示意图；
图4是相关技术中四棱锥映射方式示意图；
图5是相关技术中自适应矩形分割方式示意图；
图6是相关技术中TB Cylinder映射方式示意图；
图7是相关技术中Circle-Tiles Segmentation映射方式示意图；
图8是本发明实施例二提供的全景视频并行编码方法流程示意图；
图9是本发明实施例三提供的全景视频并行编码方法流程示意图；
图10是本发明实施例四提供的全景视频并行编码方法流程示意图；
图11是本发明实施例五提供的全景视频并行编码装置结构示意图。
具体实施方式
为使本发明解决的技术问题、技术方案和技术效果更加清楚、完整，下面结合附图对本发明的具体实施方式进行详细描述。
首先参见实施例一。
实施例一
图2是本发明实施例一提供的全景视频并行编码方法流程示意图。如图2所示，该方法包括以下步骤：
S201、获取球面全景视频。
S202、判断映射方式是否为预设映射方式，如果是，执行步骤S203：
需要说明的是，在本发明实施例中，预设映射方式包括但不限于以下几种映射方式：立方体映射(Cubic Projection)方式、四棱锥映射方式、经纬图映射方式。作为示例，预设映射方式还可以包括：自适应矩形分割(Adaptive Tile Segmentation)方式、TBCylinder的映射方式以及Circle-Tiles Segmentation映射方式。
如图3所示，立方体映射方式是将球体映射为立方体展开成6个正方向的映射方法。
如图4所示，四棱锥映射方式将球体映射为外接四棱准，展开成一个正方形和4个三角形，并最终整合成一个大正方形的映射方案。
经纬图映射方式为将球体映射为长方形视图的映射方法。
如图5所示，自适应矩形分割方式将全景视频先用equirectangular(经纬图映射)表示，再将其沿竖直方向分割成长方形，并根据纬度线长度来调整这些长方形的大小，使得在保证最低采样率与投影前一致的情况下，这些长方形的总面积最小。
如图6所示，TB cylinder映射方式将球面的南极北极投影成两个圆形，其余部分按equirectangular(经纬图映射)展开。
如图7所示，Circle-Tiles Segmentation映射方式为：将球面沿纬线分割为几部分并分别投影的最佳分割方案。在将球面沿纬线分割为几部分后，南北极区域的弧面被投影成圆形，其余部分的环形图案按equirectangular(经纬图映射)的方式展开为长方形。
S203、按照预设映射方式将球面全景视频映射为平面全景视频，并将所述平面全景视频分割为多个平面视图：
在本发明实施例中，分割后的每个平面视图的形状为矩形。
需要说明的是，球面全景视频中的图像映射成的平面全景视频中包括多少个平面视图取决于映射方式。本步骤以映射方式为立方体映射方式为例说明。本步骤具体为：按照立方体映射方式将球面全景视频中的每一图像分别映射为由前、后、左、右、上、下6个位置的正方形平面视图组成的平面全景视频。
S204、将所述平面全景视频重组为多个视频序列：
本步骤具体为：将映射到同一位置的平面视图按照时间顺序排列组成一个视频序列，如此，每一个视频序列中的平面视图为映射到同一位置、并按照时间顺序组成的平面视图。
本步骤以预设映射方式为立方体映射方式为例说明。属于一个视频序列中的平面视图可以为映射到前位置的正方形平面视图。
需要说明的是，相较于球面全景视频，重组后的新视频序列的分辨率较低。
本步骤仍以立方体映射方式为例说明。将映射到前、后、左、右、上、下6个位置的平面视图分别按照时间顺序组成6个新视频序列。这6个新视频序列的分辨率较球面全景视频的分辨率较低。按照如此新视频序列组成方式，能够将球面全景视频重组为6个相互独立的新视频序列。
S205、对各个所述视频序列进行并行编码。
S206、将解码后的视频按照各自在平面全景视频中的位置复原拼接为完整的平面全景视频。
S207、将所述完整的平面全景视频逆映射为球面全景视频。
此外，为了显示球面全景视频，步骤S207之后，还可以包括步骤S208：
S208、将球面全景视图输出到全景视频显示设备。
以上为本发明实施例提供的全景视频并行编码方法的具体实施方式。本发明提供的全景视频并行编码方法按照预设映射方式将平面全景视图重组为多个视频序列，其中，每一个视频序列中的平面视图为映射到同一位置、并按照时间顺序组成的平面视图。如此，本发明将映射到同一位置的平面视图按照时间顺序组成一个新视频序列，如此就将球面全景视频重组为多个相互独立的新视频序列，本发明提供的方法能够对该多个相互独立的新视频序列并行编码和解码，如此，多核CPU/GPU能够对重组的多个新视频序列进行并行编码。因此，该方法能够充分利用CPU/GPU的多核处理能力对全景视频进行编码，提升了全景视频的编码速度，实现全景视频的实时编码，有利于促进全景视频的大规模产业化应用和普及。
需要说明的是，本领域相关的编码技术一般只能对形状为矩形的图像进行编码，所以，为了能够对映射生成的每个平面视图均能够进行编码，本发明实施例还提供了实施例二。
实施例二
图8是本发明实施例二提供的全景视频并行编码方法流程示意图。如图8所示，该方法包括以下步骤：
S801、获取球面全景视频。
S802、判断映射方式是否为预设映射方式，如果是，执行步骤S803：
S803、按照预设映射方式将球面全景视频映射为平面全景视频，并将所述平面全景视频分割为多个平面视图：
S804、判断平面视图的形状是否均为矩形，如果否，执行步骤S805，如果是，执行步骤S806，如果是，执行步骤S806：
S805、将形状为非矩形的平面视图形状处理为矩形：
作为示例，将形状为非矩形的平面视图形状处理成矩形，可以采用以下方式：作非矩形平面视图的外接矩形。将内嵌有形状为非矩形平面视图的外接矩形作为处理后的平面视图。
S806、将所述平面全景视频重组为多个视频序列：
本步骤所述的平面视图包括映射生成的形状为矩形的平面视图以及经过步骤S805处理生成的形状为矩形的平面视图。
S807、对各个所述视频序列进行并行编码。
S808、将解码后的视频按照各自在平面全景视频中的位置复原拼接为完整的平面全景视频。
S809、将所述完整的平面全景视频逆映射为球面全景视频。
此外，为了显示球面全景视频，步骤S809之后，还可以包括步骤S810：
S810、将球面全景视图输出到全景视频显示设备。
以上为本发明实施例二提供的全景视频并行编码方法的具体实施方式。在该具体实施方式中，在对新视频序列进行编码之前，将形状为非矩形的平面视图预先处理成矩形。如此，采用本领域相关的编码技术能够对映射生成的所有平面视图均能够进行编码。
为了更加清楚地理解本发明的具体实施方式，下面以映射方式为四棱锥映射方式为例更加具体地描述本发明的具体实施方式。具体参见实施例三。
实施例三
图9是本发明实施例三提供的全景视频并行编码方法的流程示意图。如图9所示，该方法包括以下步骤：
S901、获取球面全景视频：
S902、判断映射方式是否为四棱准映射方式，如果是，执行步骤S903：
S903、按照四棱锥映射方式将球面全景视频映射为平面全景视图，并将平面全景视频分割为一个正方形视图和4个三角形视图：
需要说明的是，如图4所示，映射成的一个正方形视图S和4个三角形视图T1至T4整合成一个大正方形。
S904、将形状为三角形的四个平面视图拼接为两个正方形平面视图：
在本发明实施例中，4个三角形视图T1至T4中，任意两个三角形视图均可拼接为一个正方形平面视图，如此，4个三角形平面视图拼接为两个正方形平面视图。作为示例，T1和T2拼接为一个正方形平面视图，T3和T4拼接为一个正方形视图。
S905、将映射生成的所有正方形视图S按照时间顺序组成一新视频序列s1，将由所有三角形视图T1和T2处理成的一正方形视图按照时间顺序组成另一新视频序列s2，将由所有三角形视图T3和T4处理成的另一正方形视图按照时间顺序组成又一新视频序列s3。
S906、对新视频序列s1、s2和s3并行编码。
S907、将解码后的新视频序列s1、s2和s3按照各自在平面全景视频中的位置复原拼接为完整的平面全景视频。
S908、将所述完整的平面全景视频逆映射为球面全景视频。
以上为本发明实施例三提供的全景视频并行编码方法的具体实施方式，在该具体实施方式中，通过将形状为三角形的四个平面视图拼接为两个正方形平面视图的方式将非矩形平面视图处理成矩形平面视图。此外，作为本发明实施例的变型，还可以采用分割的方式将非矩形平面视图处理成矩形平面视图，具体参见实施例四。
实施例四
图10是本发明实施例四提供的全景视频编码方法流程示意图。如图10所示，该方法包括以下步骤：
S1001、获取球面全景视频：
S1002、判断映射方式是否为四棱准映射方式，如果是，执行步骤S1003：
S1003、按照四棱锥映射方式将球面全景视频映射为平面全景视图，并将平面全景视频分割为一个正方形视图和4个三角形视图：
需要说明的是，如图4所示，映射成的一个正方形视图S和4个三角形视图T1至T4整合成一个大正方形。
S1004、将拼接后的正方形视图均分为4个正方形视图ss1至ss4：
需要说明的是，实际上，作为本发明实施例的扩展，将拼接后的正方形视图分割为多个矩形视图，就能采用本领域相关的编码技术能够对映射生成的所有平面视图均能够进行编码。
S1005、将映射生成的所有正方形视图ss1按照时间顺序组成一新视频序列VS1，将映射生成的所有正方形视图ss2按照时间顺序组成一新视频序列VS2、将映射生成的所有正方形视图ss3按照时间顺序组成一新视频序列VS3、将映射生成的所有正方形视图ss4按照时间顺序组成一新视频序列VS4。
S1006、对新视频序列VS1、VS2、VS3和VS4并行编码。
S1007、将解码后的新视频序列VS1、VS2、VS3和VS4按照各自在平面全景视频中的位置复原拼接为完整的平面全景视频。
S1008、将所述完整的平面全景视频逆映射为球面全景视频。
以上为本发明实施例四提供的全景视频并行编码方法的具体实施方式。
基于上述实施例提供的全景视频并行编码方法，本发明还提供了全景视频并行编码装置，具体参见实施例五。
实施例五
图11是本发明实施例五提供的全景视频并行编码装置结构示意图。如图11所示，该装置包括以下单元：
获取单元111，用于获取球面全景视频；
映射单元112，用于按照预设映射方式将所述球面全景视频映射为平面全景视频，并将所述平面全景视频分割为多个平面视图；
重组单元113，用于将所述平面全景视频重组为多个视频序列；其中，每一个视频序列中的平面视图为映射到同一位置、并按照时间顺序组成的平面视图；
编码单元114，用于对各个所述视频序列进行并行编码；
复原拼接单元115，用于将解码后的视频按照各自在平面全景视频中的位置复原拼接为完整的平面全景视频；
逆映射单元116，用于将所述完整的平面全景视频逆映射为球面全景视频。
以上为本发明实施例五提供的全景视频并行编码装置的基本结构。该编码装置将映射到同一位置的平面视图按照时间顺序组成一个新视频序列，如此就将球面全景视频重组为多个相互独立的新视频序列，因此该装置能够对该多个相互独立的新视频序列并行编码和解码，如此，多核CPU/GPU能够对重组的多个新视频序列进行并行编码。因此，该装置能够充分利用CPU/GPU的多核处理能力对全景视频进行编码，提升了全景视频的编码速度，实现全景视频的实时编码，有利于促进全景视频的大规模产业化应用和普及。
作为本发明的一具体实施例，所述装置还可以包括：
确定单元117，用于在将球面全景视频映射为平面全景视频之前，确定映射方式为预设映射方式。
作为本发明的另一具体实施例，所述装置还可以包括：
判断单元118，用于在映射为平面全景视频后，重组为多个视频序列前，判断平面视图的形状是否均为矩形；
处理单元119，用于当所述判断单元的判断结果为否时，将形状为非矩形的平面视图形状处理为矩形。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (2)
1.一种全景视频并行编码方法，其特征在于，包括：
获取球面全景视频；
确定预设映射方式为四棱锥映射方式；
所述四棱锥映射方式为将球体映射为外接四棱锥，展开成一个正方形和四个三角形的映射方式；
按照预设映射方式将所述球面全景视频映射为平面全景视频，具体为：分别映射为由下底面为正方形、四个侧面为三角形组成的平面全景视频，并将所述平面全景视频分割为多个平面视图；
判断平面视图的形状是否均为矩形，如果否，将形状为非矩形的平面视图形状处理为矩形，具体为：作非矩形平面视图的外接矩形，将内嵌有形状为非矩形平面视图的外接矩形作为处理后的平面视图；
将上述形状为三角形的四个平面视图拼接为两个正方形平面视图；
将所述平面全景视频重组为多个相互独立的视频序列；其中，每一个视频序列中的平面视图为映射到同一位置、并按照时间顺序组成的平面视图；
对各个所述视频序列进行并行编码；
将解码后的视频按照各自在平面全景视频中的位置复原拼接为完整的平面全景视频；
将所述完整的平面全景视频逆映射为球面全景视频。
2.一种全景视频并行编码装置，其特征在于，包括：
获取单元，用于获取球面全景视频；
确定单元，用于确定预设映射方式为四棱锥映射方式；所述四棱锥映射方式为将球体映射为外接四棱锥，展开成一个正方形和四个三角形的映射方式；
映射单元，用于按照预设映射方式将所述球面全景视频映射为平面全景视频，具体为：分别映射为由下底面为正方形、四个侧面为三角形组成的平面全景视频，并将所述平面全景视频分割为多个平面视图；
判断单元，用于在映射为平面全景视频后，重组为多个视频序列前，判断平面视图的形状是否均为矩形；
处理单元，用于当所述判断单元的判断结果为否时，将形状为非矩形的平面视图形状处理为矩形，具体为：作非矩形平面视图的外接矩形，将内嵌有形状为非矩形平面视图的外接矩形作为处理后的平面视图；将上述形状为三角形的四个平面视图拼接为两个正方形平面视图重组单元，用于将所述平面全景视频重组为多个相互独立的视频序列；其中，每一个视频序列中的平面视图为映射到同一位置、并按照时间顺序组成的平面视图；
编码单元，用于对各个所述视频序列进行并行编码；
复原拼接单元，用于将解码后的视频按照各自在平面全景视频中的位置复原拼接为完整的平面全景视频；
逆映射单元，用于将所述完整的平面全景视频逆映射为球面全景视频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610730274.5A CN106162207B (zh) | 2016-08-25 | 2016-08-25 | 一种全景视频并行编码方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610730274.5A CN106162207B (zh) | 2016-08-25 | 2016-08-25 | 一种全景视频并行编码方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106162207A CN106162207A (zh) | 2016-11-23 |
| CN106162207B true CN106162207B (zh) | 2019-02-12 |
Family
ID=57343329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610730274.5A Active CN106162207B (zh) | 2016-08-25 | 2016-08-25 | 一种全景视频并行编码方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106162207B (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10771791B2 (en) * | 2016-08-08 | 2020-09-08 | Mediatek Inc. | View-independent decoding for omnidirectional video |
| CN108111851B (zh) * | 2016-11-25 | 2020-12-22 | 华为技术有限公司 | 一种去块滤波方法及终端 |
| US10595069B2 (en) | 2016-12-05 | 2020-03-17 | Adobe Inc. | Prioritizing tile-based virtual reality video streaming using adaptive rate allocation |
| CN108156484B (zh) * | 2016-12-05 | 2022-01-14 | 奥多比公司 | 利用自适应速率分配优先处理基于图块的虚拟现实视频流 |
| US10573076B2 (en) | 2016-12-14 | 2020-02-25 | Mediatek Inc. | Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by rectangular projection faces packed in viewport-based cube projection layout |
| BR112019007282A2 (pt) * | 2016-12-14 | 2019-07-09 | Mediatek Inc | método e aparelho para a geração e codificação de quadro baseado em projeção com conteúdo de 360 graus representado por faces de projeção retangular empacotado em layout de projeção em cubo baseada em janela de exibição |
| CN106534974B (zh) * | 2016-12-16 | 2019-04-26 | 暴风集团股份有限公司 | 自动识别立方体全景视频的方法及系统 |
| CN106791840A (zh) * | 2016-12-29 | 2017-05-31 | 上海国茂数字技术有限公司 | 一种全景视频双环带采样方法及装置 |
| CN108289228B (zh) | 2017-01-09 | 2020-08-28 | 阿里巴巴集团控股有限公司 | 一种全景视频转码方法、装置和设备 |
| US10313664B2 (en) * | 2017-01-11 | 2019-06-04 | Qualcomm Incorporated | Adjusting field of view of truncated square pyramid projection for 360-degree video |
| CN106875331B (zh) * | 2017-01-19 | 2019-04-12 | 北京大学深圳研究生院 | 一种全景图像的非对称映射方法 |
| CN106899840B (zh) * | 2017-03-01 | 2018-06-05 | 北京大学深圳研究生院 | 全景图像映射方法 |
| US10593012B2 (en) * | 2017-03-22 | 2020-03-17 | Mediatek Inc. | Method and apparatus for generating and encoding projection-based frame with 360-degree content represented in projection faces packed in segmented sphere projection layout |
| CN108965917B (zh) * | 2017-05-27 | 2021-07-20 | 华为技术有限公司 | 视频图像的呈现、封装方法和视频图像的呈现、封装装置 |
| CN107316305A (zh) * | 2017-06-11 | 2017-11-03 | 成都吱吖科技有限公司 | 一种基于虚拟现实的交互式全景视频标定方法及装置 |
| CN107172412A (zh) * | 2017-06-11 | 2017-09-15 | 成都吱吖科技有限公司 | 一种基于虚拟现实的交互式全景视频存储方法及装置 |
| CN107484004B (zh) * | 2017-07-24 | 2020-01-03 | 北京奇艺世纪科技有限公司 | 一种视频处理方法及装置 |
| CN107371041A (zh) * | 2017-08-28 | 2017-11-21 | 银河威尔科技（北京）有限公司 | 一种vr视频加密方法和装置 |
| CN107371034A (zh) * | 2017-08-28 | 2017-11-21 | 银河威尔科技（北京）有限公司 | 一种vr视频解密方法和装置 |
| CN108124193A (zh) * | 2017-12-25 | 2018-06-05 | 中兴通讯股份有限公司 | 视频处理方法及装置 |
| CN108230454B (zh) * | 2017-12-28 | 2021-09-28 | 瑞庭网络技术（上海）有限公司 | 一种全景图片的切图方法、装置及存储介质 |
| CN108520492B (zh) * | 2018-03-16 | 2022-04-26 | 中国传媒大学 | 全景视频映射方法及系统 |
| CN108648257B (zh) * | 2018-04-09 | 2020-12-29 | 腾讯科技（深圳）有限公司 | 全景画面的获取方法、装置、存储介质及电子装置 |
| CN108566554A (zh) * | 2018-05-11 | 2018-09-21 | 北京奇艺世纪科技有限公司 | 一种vr全景视频处理方法、系统及电子设备 |
| CN109922319B (zh) * | 2019-03-26 | 2020-10-09 | 重庆英卡电子有限公司 | 基于多核cpu的rtsp协议多视频流并行预处理方法 |
| CN115802039B (zh) * | 2023-02-10 | 2023-06-23 | 天翼云科技有限公司 | 一种帧间编码方法、装置、电子设备及计算机可读介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105554513A (zh) * | 2015-12-10 | 2016-05-04 | Tcl集团股份有限公司 | 一种基于h.264的全景视频传输方法及系统 |
| CN105791882A (zh) * | 2016-03-22 | 2016-07-20 | 腾讯科技（深圳）有限公司 | 视频编码方法及装置 |
| CN105872386A (zh) * | 2016-05-31 | 2016-08-17 | 深圳易贝创新科技有限公司 | 一种全景摄像装置以及全景图片生成方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8928729B2 (en) * | 2011-09-09 | 2015-01-06 | Disney Enterprises, Inc. | Systems and methods for converting video |
-
2016
- 2016-08-25 CN CN201610730274.5A patent/CN106162207B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105554513A (zh) * | 2015-12-10 | 2016-05-04 | Tcl集团股份有限公司 | 一种基于h.264的全景视频传输方法及系统 |
| CN105791882A (zh) * | 2016-03-22 | 2016-07-20 | 腾讯科技（深圳）有限公司 | 视频编码方法及装置 |
| CN105872386A (zh) * | 2016-05-31 | 2016-08-17 | 深圳易贝创新科技有限公司 | 一种全景摄像装置以及全景图片生成方法 |
Non-Patent Citations (1)
| Title |
|---|
| 全方位全景图像的一种映射方式;唐琎等;《计算机工程》;20000831;第26卷(第8期);第95-98页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106162207A (zh) | 2016-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106162207B (zh) | 一种全景视频并行编码方法和装置 | |
| CN106358033B (zh) | 一种全景视频关键帧编码方法和装置 | |
| CN108369751A (zh) | 三维数据编码方法、解码方法、编码装置、解码装置 | |
| ES2726352T3 (es) | Codificación de video acelerada utilizando una unidad de procesamiento de gráficos | |
| CN106899840B (zh) | 全景图像映射方法 | |
| Lee et al. | GROOT: a real-time streaming system of high-fidelity volumetric videos | |
| CN101610411A (zh) | 一种视频序列混合编解码的方法和系统 | |
| US9041711B1 (en) | Generating reduced resolution textured model from higher resolution model | |
| CN106973569A (zh) | 生成和回放虚拟现实多媒体的方法、系统和装置 | |
| CN106780317B (zh) | 全景投影方法及装置 | |
| US20060251336A1 (en) | Representation and coding of panoramic and omnidirectional images | |
| CN107622474A (zh) | 基于主视点的全景视频映射方法 | |
| CN103402097B (zh) | 一种自由视点视频深度图编码方法及其失真预测方法 | |
| US20190297332A1 (en) | System and method for supporting video bit stream switching | |
| CN108648257A (zh) | 全景画面的获取方法、装置、存储介质及电子装置 | |
| CN103428499A (zh) | 编码单元的划分方法及使用该方法的多视点视频编码方法 | |
| CN106162140A (zh) | 一种全景视频的压缩方法及装置 | |
| WO2020119620A1 (zh) | 具有自我提升能力的金字塔双目深度估计模型 | |
| Livny et al. | A GPU persistent grid mapping for terrain rendering | |
| CN104754338A (zh) | 一种帧内预测模式的选择方法和装置 | |
| EP1603342A1 (en) | Data encoding device and data encoding method and computer program | |
| WO2009089785A1 (en) | Image processing method, encoding/decoding method and apparatus | |
| CN107040779B (zh) | 全景视频编码方法及装置 | |
| CN107886468A (zh) | 全景视频的映射方法、重建、处理方法及对应装置和设备 | |
| CN109104611A (zh) | 一种用于球面与平面间映射的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: Room 222, Floor 2, Building 1, Yard A23, North Third Ring West Road, Haidian District, Beijing 100098 Patentee after: Beijing Douyin Information Service Co.,Ltd. Address before: 100000 Building 1, AVIC Plaza, 43 North Third Ring West Road, Haidian District, Beijing Patentee before: BEIJING BYTEDANCE TECHNOLOGY Co.,Ltd. |