CN106534882A - 虚拟现实全景视频的编解码方法及装置 - Google Patents

虚拟现实全景视频的编解码方法及装置 Download PDF

Info

Publication number
CN106534882A
CN106534882A CN201611248569.5A CN201611248569A CN106534882A CN 106534882 A CN106534882 A CN 106534882A CN 201611248569 A CN201611248569 A CN 201611248569A CN 106534882 A CN106534882 A CN 106534882A
Authority
CN
China
Prior art keywords
picture
angle
visual
present frame
rectangular frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611248569.5A
Other languages
English (en)
Other versions
CN106534882B (zh
Inventor
张涛
项东涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing IQIYI Science and Technology Co Ltd
Original Assignee
Beijing IQIYI Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing IQIYI Science and Technology Co Ltd filed Critical Beijing IQIYI Science and Technology Co Ltd
Priority to CN201611248569.5A priority Critical patent/CN106534882B/zh
Publication of CN106534882A publication Critical patent/CN106534882A/zh
Application granted granted Critical
Publication of CN106534882B publication Critical patent/CN106534882B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping

Abstract

本发明实施例提供了一种虚拟现实全景视频的编解码方法及装置。包括：根据用户的最大可视视角，从原始全景球视频的当前帧画面中提取与最大可视视角对应的可显示矩形区域；最大可视视角为：预设的用户头部可转动的最大角度；将可显示矩形区域中的画面，确定为显示矩形画面；根据预设的用户眼睛的视场角，从显示矩形画面中提取与视场角对应的视觉中心矩形区域；将视觉中心矩形区域中的画面，确定为视口矩形画面；将显示矩形画面缩小至与视口矩形画面相同，并将视口矩形画面与缩小后的显示矩形画面合并为待编码的当前帧画面；对待编码的当前帧画面进行编码。可以在保证全景视频的高分辨率的同时，降低全景视频在传输过程中的码率。

Description

虚拟现实全景视频的编解码方法及装置
技术领域
本发明涉及视频编解码技术领域，特别是涉及一种虚拟现实全景视频的编解码方法及装置。
背景技术
头戴式可视设备(Head Mount Display，HMD)是头戴虚拟显示器的一种，又称眼镜式显示器、随身影院等，HMD能够同时为双眼提供画面，通过内置陀螺仪和加速计等惯性传感器，它还能实时地感知用户头部位置，对应地调整画面，从而让用户获得沉浸感极强的视觉效果。
随着虚拟现实设备的普及，用户可以通过各类HMD来观看全景视频。为了向使用HMD观看全景视频的用户提供高清视频的体验，HMD的单眼全景画面分辨率至少需要达到2K，由于全景视频的分辨率高，因而在传输过程中码率较大，例如分辨率为2048X1024，时长为2分钟的全景视频文件的大小有200M左右，码率有10M左右，但是用户的下载带宽远小于10M，从而导致全景视频的下载速度慢，用户在观看过程中画面不流畅，无法获得良好的观看体验。
发明内容
本发明实施例的目的在于提供一种虚拟现实全景视频的编解码方法及装置，以在保证全景视频的高分辨率的同时，降低全景视频在传输过程中的码率。具体技术方案如下：
一种虚拟现实全景视频的编码方法，包括：
根据用户的最大可视视角，从原始全景球视频的当前帧画面中提取与所述最大可视视角对应的可显示矩形区域；所述最大可视视角为：预设的用户头部可转动的最大角度；
将所述可显示矩形区域中的画面，确定为显示矩形画面；
根据预设的用户眼睛的视场角，从所述显示矩形画面中提取与所述视场角对应的视觉中心矩形区域；
将所述视觉中心矩形区域中的画面，确定为视口矩形画面；
将所述显示矩形画面缩小至与所述视口矩形画面相同，并将所述视口矩形画面与缩小后的所述显示矩形画面合并为待编码的当前帧画面；
对所述待编码的当前帧画面进行编码。
如上所述的方法，其中，所述根据用户的最大可视视角，从原始全景球视频的当前帧画面中提取与所述最大可视视角对应的可显示矩形区域，包括：
根据用户的最大可视视角，从所述原始全景球视频的当前帧画面中确定出所述当前帧画面的前半球画面和后半球画面；
将所述当前帧画面的后半球画面切掉，并根据等距投影原理，从所述当前帧画面的前半球画面中提取与所述最大可视视角对应的可显示矩形区域。
如上所述的方法，其中，所述根据预设的用户眼睛的视场角，从所述显示矩形画面中提取与所述视场角对应的视觉中心矩形区域，包括：
根据所述视场角以及等距投影原理，从所述显示矩形画面中提取与所述视场角对应的视觉中心矩形区域。
如上所述的方法，其中，所述将所述视口矩形画面与缩小后的所述显示矩形画面合并为待编码的当前帧画面，包括：
将缩小后的所述显示矩形画面合并至所述视口矩形画面的下面，得到所述待编码的当前帧画面。
如上所述的方法，其中，所述视场角包括水平视场角和垂直视场角；
所述水平视场角的取值范围为60°～120°；所述垂直视场角的取值范围为60°～120°。
一种虚拟现实全景视频的解码方法，包括：
获取待解码的当前帧画面；
从所述待解码的当前帧画面中分割出显示矩形画面和视口矩形画面；所述显示矩形画面为所述当前帧画面中与用户的最大可视视角对应的可显示矩形区域，所述视口矩形画面为所述当前帧画面中与预设的用户眼睛的视场角对应的视觉中心矩形区域；其中，所述最大可视视角为预设的用户头部可转动的最大角度；
将所述显示矩形画面的放大至与原图相同；
将所述视口矩形画面和放大后的所述显示矩形画面合并为待播放的当前帧画面。
如上所述的方法，其中，所述待解码的当前帧画面中显示矩形画面与视口矩形画面大小相同，且显示矩形画面位于视口矩形画面下方；
所述从所述待解码的当前帧画面中分割出显示矩形画面和视口矩形画面，包括：
沿着所述待解码的当前帧画面的水平线将所述待解码的当前帧画面平均分割为上半部分画面和下半部分画面，所述上半部分画面作为所述视口矩形画面，所述下半部分画面作为所述显示矩形画面。
如上所述的方法，其中，所述将所述视口矩形画面和放大后的所述显示矩形画面合并为待播放的当前帧画面，包括：
将所述视口矩形画面合并至放大后的所述显示矩形画面的中心点位置，得到所述待播放的当前帧画面。
一种虚拟现实全景视频的编码装置，包括：
第一提取模块，用于根据用户的最大可视视角，从原始全景球视频的当前帧画面中提取与所述最大可视视角对应的可显示矩形区域；所述最大可视视角为：预设的用户头部可转动的最大角度；
第一确定模块，用于将所述可显示矩形区域中的画面，确定为显示矩形画面；
第二提取模块，用于根据预设的用户眼睛的视场角，从所述显示矩形画面中提取与所述视场角对应的视觉中心矩形区域；
第二确定模块，用于将所述视觉中心矩形区域中的画面，确定为视口矩形画面；
合并模块，用于将所述显示矩形画面缩小至与所述视口矩形画面相同，并将所述视口矩形画面与缩小后的所述显示矩形画面合并为待编码的当前帧画面；
编码模块，用于对所述待编码的当前帧画面进行编码。
如上所述的装置，其中，所述第一提取模块具体用于：
根据用户的最大可视视角，从所述原始全景球视频的当前帧画面中确定出所述当前帧画面的前半球画面和后半球画面；将所述当前帧画面的后半球画面切掉，并根据等距投影原理，从所述当前帧画面的前半球画面中提取与所述最大可视视角对应的可显示矩形区域。
如上所述的装置，其中，所述第二提取模块具体用于：
根据所述视场角以及等距投影原理，从所述显示矩形画面中提取与所述视场角对应的视觉中心矩形区域。
如上所述的装置，其中，所述合并模块具体用于：
将缩小后的所述显示矩形画面合并至所述视口矩形画面的下面，得到所述待编码的当前帧画面。
如上所述的装置，其中，所述视场角包括水平视场角和垂直视场角；
所述水平视场角的取值范围为60°～120°；所述垂直视场角的取值范围为60°～120°。
一种虚拟现实全景视频的解码装置，包括：
获取模块，用于获取待解码的当前帧画面；
分割模块，用于从所述待解码的当前帧画面中分割出显示矩形画面和视口矩形画面；所述显示矩形画面为所述当前帧画面中与用户的最大可视视角对应的可显示矩形区域，所述视口矩形画面为所述当前帧画面中与预设的用户眼睛的视场角对应的视觉中心矩形区域；其中，所述最大可视视角为预设的用户头部可转动的最大角度；
放大模块，用于将所述显示矩形画面的放大至与原图相同；
合并模块，用于将所述视口矩形画面和放大后的所述显示矩形画面合并为待播放的当前帧画面。
如上所述的装置，其中，所述待解码的当前帧画面中显示矩形画面与视口矩形画面大小相同，且显示矩形画面位于视口矩形画面下方；
所述分割模块具体用于：沿着所述待解码的当前帧画面的水平线将所述待解码的当前帧画面平均分割为上半部分画面和下半部分画面，所述上半部分画面作为所述视口矩形画面，所述下半部分画面作为所述显示矩形画面。
如上所述的装置，其中，所述合并模块具体用于：
将所述视口矩形画面合并至放大后的所述显示矩形画面的中心点位置，得到所述待播放的当前帧画面。
本发明实施例提供的虚拟现实全景视频的编解码方法及装置，根据用户的最大可视视角，从原始全景球视频的当前帧画面中提取与最大可视视角对应的可显示矩形区域；最大可视视角为：预设的用户头部可转动的最大角度；将可显示矩形区域中的画面，确定为显示矩形画面；根据预设的用户眼睛的视场角，从显示矩形画面中提取与视场角对应的视觉中心矩形区域；将视觉中心矩形区域中的画面，确定为视口矩形画面；将显示矩形画面缩小至与视口矩形画面相同，并将视口矩形画面与缩小后的显示矩形画面合并为待编码的当前帧画面；对待编码的当前帧画面进行编码。在解码时，将显示矩形画面放大至原图大小，并将视口矩形画面合并至放大后的显示矩形画面的中心点位置。
由此可见，由于在编码过程中，对与用户最大可视视角对应的显示矩形画面进行了压缩，并将压缩后的显示矩形画面与视口矩形画面合并为当前帧画面，所以降低全景视频在传输过程中的码率，在解码时，将显示矩形画面放大至原图大小，将放大后的显示矩形画面与视口矩形画面合并为待播放的当前帧画面，因此保证了全景视频的高分辨率。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的虚拟现实全景视频的编码方法的流程图；
图2为本发明实施例提供的虚拟现实全景视频的解码方法的流程图；
图3为本发明实施例提供的虚拟现实全景视频的编码装置的结构示意图；
图4为本发明实施例提供的虚拟现实全景视频的解码装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的虚拟现实全景视频的编码方法的流程图。如图1所示，本实施例提供的方法可以包括：
步骤101、根据用户的最大可视视角，从原始全景球视频的当前帧画面中提取与所述最大可视视角对应的可显示矩形区域；所述最大可视视角为：预设的用户头部可转动的最大角度。
本步骤中，在提取与所述最大可视视角对应的可显示矩形区域时，根据用户的最大可视视角，具体的，所述最大可视视角可以为180°，从所述原始全景球视频的当前帧画面中确定出所述当前帧画面的前半球画面和后半球画面；由于用户头部可转动的最大角度为180°，通常用户看不到后半球画面，因此在确定出所述当前帧画面的前半球画面和后半球画面后，将所述当前帧画面的后半球画面切掉，并根据等距投影原理，从所述当前帧画面的前半球画面中提取与所述最大可视视角对应的可显示矩形区域。
等距投影是假想球面与平面相切，切于极点为正轴，切于赤道为横轴，切于极点和赤道之间的任意点为斜轴，经纬线形式同一般方位投影，只是在中央经线上纬线间隔相等，在本实施例中，利用等距投影的原理，将前半球画面等距投影为平面上的所述可显示矩形区域。
步骤102、将所述可显示矩形区域中的画面，确定为显示矩形画面。
步骤103、根据预设的用户眼睛的视场角，从所述显示矩形画面中提取与所述视场角对应的视觉中心矩形区域。
需要说明的是，用户眼睛的视场角包括水平视场角和垂直视场角，通常，所述水平视场角的取值范围为60°～120°；所述垂直视场角的取值范围为60°～120°。
本步骤中，在提取与所述视场角对应的视觉中心矩形区域时，具体可以根据所述视场角以及等距投影原理，从所述显示矩形画面中提取与所述视场角对应的视觉中心矩形区域。
步骤104、将所述视觉中心矩形区域中的画面，确定为视口矩形画面。
步骤105、将所述显示矩形画面缩小至与所述视口矩形画面相同，并将所述视口矩形画面与缩小后的所述显示矩形画面合并为待编码的当前帧画面。
具体的，在合并时，可以将缩小后的所述显示矩形画面合并至所述视口矩形画面的下面，得到所述待编码的当前帧画面。
例如，以原始全景球视频的当前帧画面的分辨率为2048*1024为例，假设所述最大可视视角为180°，根据所述最大可视视角从所述当前帧画面中提取的所述显示矩形画面的大小为1024*1024，以所述水平视场角取值为120°，所述垂直视场角取值为120°来提取所述视觉中心矩形区域，所确定的所述视口矩形画面的大小为682*682，在本步骤中，需要将所述显示矩形画面的大小从1024*1024，缩小至与是视口矩形画面的大小相同，即，缩小至682*682，然后将缩小后的所述显示矩形画面合并至所述视口矩形画面的下面，得到所述待编码的当前帧画面。
步骤106、对所述待编码的当前帧画面进行编码。
本实施例提供的虚拟现实全景视频的编码方法，通过根据用户的最大可视视角，从原始全景球视频的当前帧画面中提取与最大可视视角对应的可显示矩形区域；最大可视视角为：预设的用户头部可转动的最大角度；将可显示矩形区域中的画面，确定为显示矩形画面；根据预设的用户眼睛的视场角，从显示矩形画面中提取与视场角对应的视觉中心矩形区域；将视觉中心矩形区域中的画面，确定为视口矩形画面；将显示矩形画面缩小至与视口矩形画面相同，并将视口矩形画面与缩小后的显示矩形画面合并为待编码的当前帧画面；对待编码的当前帧画面进行编码。如此，在编码过程中，对与用户最大可视视角对应的显示矩形画面进行了压缩，并将压缩后的显示矩形画面与视口矩形画面合并为当前帧画面，降低全景视频在传输过程中的码率。
图2为本发明实施例提供的虚拟现实全景视频的解码方法的流程图。如图2所示，本实施例提供的方法具体可以由虚拟现实全景视频的解码装置执行，具体的，本实施例提供的方法可以包括：
步骤201、获取待解码的当前帧画面。
步骤202、从所述待解码的当前帧画面中分割出显示矩形画面和视口矩形画面；所述显示矩形画面为所述当前帧画面中与用户的最大可视视角对应的可显示矩形区域，所述视口矩形画面为所述当前帧画面中与预设的用户眼睛的视场角对应的视觉中心矩形区域；其中，所述最大可视视角为预设的用户头部可转动的最大角度。
具体的，所述待解码的当前帧画面中显示矩形画面与视口矩形画面大小相同，且显示矩形画面位于视口矩形画面下方；在本步骤中，在分割所述显示矩形画面和所述视口矩形画面时，沿着所述待解码的当前帧画面的水平线将所述待解码的当前帧画面平均分割为上半部分画面和下半部分画面，所述上半部分画面作为所述视口矩形画面，所述下半部分画面作为所述显示矩形画面。
步骤203、将所述显示矩形画面的放大至与原图相同。
需要说明的是，所述虚拟现实全景视频的解码装置的分辨率是固定的，因此在本步骤中，将所述显示矩形画面放大至与所述虚拟现实全景视频的解码装置的分辨率对应的大小即可。
步骤204、将所述视口矩形画面和放大后的所述显示矩形画面合并为待播放的当前帧画面。
具体的，所述视口矩形画面是与用户眼睛的视场角对应的视觉中心矩形区域，在合并时，将所述视口矩形画面合并至放大后的所述显示矩形画面的中心点位置，得到所述待播放的当前帧画面。
本实施例提供的虚拟现实全景视频的解码方法，通过获取待解码的当前帧画面；从所述待解码的当前帧画面中分割出显示矩形画面和视口矩形画面；将所述显示矩形画面的放大至与原图相同；将所述视口矩形画面和放大后的所述显示矩形画面合并为待播放的当前帧画面。从而保证了全景视频的高分辨率。
图3为本发明实施例提供的虚拟现实全景视频的编码装置的结构示意图。如图3所示，本实施例提供的虚拟现实全景视频的编码装置可以包括：第一提取模块31、第一确定模块32、第二提取模块33、第二确定模块34、合并模块35和编码模块36。
其中，第一提取模块31，用于根据用户的最大可视视角，从原始全景球视频的当前帧画面中提取与所述最大可视视角对应的可显示矩形区域；所述最大可视视角为：预设的用户头部可转动的最大角度；
第一确定模块32，用于将所述可显示矩形区域中的画面，确定为显示矩形画面；
第二提取模块33，用于根据预设的用户眼睛的视场角，从所述显示矩形画面中提取与所述视场角对应的视觉中心矩形区域；
第二确定模块34，用于将所述视觉中心矩形区域中的画面，确定为视口矩形画面；
合并模块35，用于将所述显示矩形画面缩小至与所述视口矩形画面相同，并将所述视口矩形画面与缩小后的所述显示矩形画面合并为待编码的当前帧画面；
编码模块36，用于对所述待编码的当前帧画面进行编码。
需要说明的是，所述第一提取模块31具体用于：根据用户的最大可视视角，从所述原始全景球视频的当前帧画面中确定出所述当前帧画面的前半球画面和后半球画面；将所述当前帧画面的后半球画面切掉，并根据等距投影原理，从所述当前帧画面的前半球画面中提取与所述最大可视视角对应的可显示矩形区域。
其中，所述视场角包括水平视场角和垂直视场角；所述水平视场角的取值范围为60°～120°；所述垂直视场角的取值范围为60°～120°。
实际应用中，所述第二提取模块33具体用于：根据所述视场角以及等距投影原理，从所述显示矩形画面中提取与所述视场角对应的视觉中心矩形区域。
所述合并模块35具体用于：将缩小后的所述显示矩形画面合并至所述视口矩形画面的下面，得到所述待编码的当前帧画面。
本实施例提供的虚拟现实全景视频的编码装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不在赘述。
图4为本发明实施例提供的虚拟现实全景视频的解码装置的结构示意图。如图4所示，本实施例提供的虚拟现实全景视频的解码装置可以包括：获取模块41、分割模块42、放大模块43和合并模块44。
其中，获取模块41，用于获取待解码的当前帧画面；
分割模块42，用于从所述待解码的当前帧画面中分割出显示矩形画面和视口矩形画面；所述显示矩形画面为所述当前帧画面中与用户的最大可视视角对应的可显示矩形区域，所述视口矩形画面为所述当前帧画面中与预设的用户眼睛的视场角对应的视觉中心矩形区域；其中，所述最大可视视角为预设的用户头部可转动的最大角度；
放大模块43，用于将所述显示矩形画面的放大至与原图相同；
合并模块44，用于将所述视口矩形画面和放大后的所述显示矩形画面合并为待播放的当前帧画面。
需要说明的是，所述待解码的当前帧画面中显示矩形画面与视口矩形画面大小相同，且显示矩形画面位于视口矩形画面下方；所述分割模块42具体用于：沿着所述待解码的当前帧画面的水平线将所述待解码的当前帧画面平均分割为上半部分画面和下半部分画面，所述上半部分画面作为所述视口矩形画面，所述下半部分画面作为所述显示矩形画面。
所述合并模块44具体用于：将所述视口矩形画面合并至放大后的所述显示矩形画面的中心点位置，得到所述待播放的当前帧画面。
本实施例提供的虚拟现实全景视频的解码装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (16)

1.一种虚拟现实全景视频的编码方法，其特征在于，包括：
根据用户的最大可视视角，从原始全景球视频的当前帧画面中提取与所述最大可视视角对应的可显示矩形区域；所述最大可视视角为：预设的用户头部可转动的最大角度；
将所述可显示矩形区域中的画面，确定为显示矩形画面；
根据预设的用户眼睛的视场角，从所述显示矩形画面中提取与所述视场角对应的视觉中心矩形区域；
将所述视觉中心矩形区域中的画面，确定为视口矩形画面；
将所述显示矩形画面缩小至与所述视口矩形画面相同，并将所述视口矩形画面与缩小后的所述显示矩形画面合并为待编码的当前帧画面；
对所述待编码的当前帧画面进行编码。
2.根据权利要求1所述的方法，其特征在于，所述根据用户的最大可视视角，从原始全景球视频的当前帧画面中提取与所述最大可视视角对应的可显示矩形区域，包括：
根据用户的最大可视视角，从所述原始全景球视频的当前帧画面中确定出所述当前帧画面的前半球画面和后半球画面；
将所述当前帧画面的后半球画面切掉，并根据等距投影原理，从所述当前帧画面的前半球画面中提取与所述最大可视视角对应的可显示矩形区域。
3.根据权利要求2所述的方法，其特征在于，所述根据预设的用户眼睛的视场角，从所述显示矩形画面中提取与所述视场角对应的视觉中心矩形区域，包括：
根据所述视场角以及等距投影原理，从所述显示矩形画面中提取与所述视场角对应的视觉中心矩形区域。
4.根据权利要求1所述的方法，其特征在于，所述将所述视口矩形画面与缩小后的所述显示矩形画面合并为待编码的当前帧画面，包括：
将缩小后的所述显示矩形画面合并至所述视口矩形画面的下面，得到所述待编码的当前帧画面。
5.根据权利要求3所述的方法，其特征在于，所述视场角包括水平视场角和垂直视场角；
所述水平视场角的取值范围为60°～120°；所述垂直视场角的取值范围为60°～120°。
6.一种虚拟现实全景视频的解码方法，其特征在于，包括：
获取待解码的当前帧画面；
从所述待解码的当前帧画面中分割出显示矩形画面和视口矩形画面；所述显示矩形画面为所述当前帧画面中与用户的最大可视视角对应的可显示矩形区域，所述视口矩形画面为所述当前帧画面中与预设的用户眼睛的视场角对应的视觉中心矩形区域；其中，所述最大可视视角为预设的用户头部可转动的最大角度；
将所述显示矩形画面的放大至与原图相同；
将所述视口矩形画面和放大后的所述显示矩形画面合并为待播放的当前帧画面。
7.根据权利要求6所述的方法，其特征在于，所述待解码的当前帧画面中显示矩形画面与视口矩形画面大小相同，且显示矩形画面位于视口矩形画面下方；
所述从所述待解码的当前帧画面中分割出显示矩形画面和视口矩形画面，包括：
沿着所述待解码的当前帧画面的水平线将所述待解码的当前帧画面平均分割为上半部分画面和下半部分画面，所述上半部分画面作为所述视口矩形画面，所述下半部分画面作为所述显示矩形画面。
8.根据权利要求6所述的方法，其特征在于，所述将所述视口矩形画面和放大后的所述显示矩形画面合并为待播放的当前帧画面，包括：
将所述视口矩形画面合并至放大后的所述显示矩形画面的中心点位置，得到所述待播放的当前帧画面。
9.一种虚拟现实全景视频的编码装置，其特征在于，包括：
第一提取模块，用于根据用户的最大可视视角，从原始全景球视频的当前帧画面中提取与所述最大可视视角对应的可显示矩形区域；所述最大可视视角为：预设的用户头部可转动的最大角度；
第一确定模块，用于将所述可显示矩形区域中的画面，确定为显示矩形画面；
第二提取模块，用于根据预设的用户眼睛的视场角，从所述显示矩形画面中提取与所述视场角对应的视觉中心矩形区域；
第二确定模块，用于将所述视觉中心矩形区域中的画面，确定为视口矩形画面；
合并模块，用于将所述显示矩形画面缩小至与所述视口矩形画面相同，并将所述视口矩形画面与缩小后的所述显示矩形画面合并为待编码的当前帧画面；
编码模块，用于对所述待编码的当前帧画面进行编码。
10.根据权利要求9所述的装置，其特征在于，所述第一提取模块具体用于：
根据用户的最大可视视角，从所述原始全景球视频的当前帧画面中确定出所述当前帧画面的前半球画面和后半球画面；将所述当前帧画面的后半球画面切掉，并根据等距投影原理，从所述当前帧画面的前半球画面中提取与所述最大可视视角对应的可显示矩形区域。
11.根据权利要求10所述的装置，其特征在于，所述第二提取模块具体用于：
根据所述视场角以及等距投影原理，从所述显示矩形画面中提取与所述视场角对应的视觉中心矩形区域。
12.根据权利要求9所述的装置，其特征在于，所述合并模块具体用于：
将缩小后的所述显示矩形画面合并至所述视口矩形画面的下面，得到所述待编码的当前帧画面。
13.根据权利要求11所述的装置，其特征在于，所述视场角包括水平视场角和垂直视场角；
所述水平视场角的取值范围为60°～120°；所述垂直视场角的取值范围为60°～120°。
14.一种虚拟现实全景视频的解码装置，其特征在于，包括：
获取模块，用于获取待解码的当前帧画面；
分割模块，用于从所述待解码的当前帧画面中分割出显示矩形画面和视口矩形画面；所述显示矩形画面为所述当前帧画面中与用户的最大可视视角对应的可显示矩形区域，所述视口矩形画面为所述当前帧画面中与预设的用户眼睛的视场角对应的视觉中心矩形区域；其中，所述最大可视视角为预设的用户头部可转动的最大角度；
放大模块，用于将所述显示矩形画面的放大至与原图相同；
合并模块，用于将所述视口矩形画面和放大后的所述显示矩形画面合并为待播放的当前帧画面。
15.根据权利要求14所述的装置，其特征在于，所述待解码的当前帧画面中显示矩形画面与视口矩形画面大小相同，且显示矩形画面位于视口矩形画面下方；
所述分割模块具体用于：沿着所述待解码的当前帧画面的水平线将所述待解码的当前帧画面平均分割为上半部分画面和下半部分画面，所述上半部分画面作为所述视口矩形画面，所述下半部分画面作为所述显示矩形画面。
16.根据权利要求14所述的装置，其特征在于，所述合并模块具体用于：
将所述视口矩形画面合并至放大后的所述显示矩形画面的中心点位置，得到所述待播放的当前帧画面。
CN201611248569.5A 2016-12-29 2016-12-29 虚拟现实全景视频的编解码方法及装置 Active CN106534882B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611248569.5A CN106534882B (zh) 2016-12-29 2016-12-29 虚拟现实全景视频的编解码方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611248569.5A CN106534882B (zh) 2016-12-29 2016-12-29 虚拟现实全景视频的编解码方法及装置

Publications (2)

Publication Number Publication Date
CN106534882A true CN106534882A (zh) 2017-03-22
CN106534882B CN106534882B (zh) 2019-06-14

Family

ID=58339254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611248569.5A Active CN106534882B (zh) 2016-12-29 2016-12-29 虚拟现实全景视频的编解码方法及装置

Country Status (1)

Country Link
CN (1) CN106534882B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107087145A (zh) * 2017-06-02 2017-08-22 深圳市本道科技有限公司 多路视频进行360度全景视频显示的方法及装置
CN107315471A (zh) * 2017-06-11 2017-11-03 成都吱吖科技有限公司 一种基于虚拟现实的交互式全景视频实现方法及装置
CN107317987A (zh) * 2017-08-14 2017-11-03 歌尔股份有限公司 虚拟现实的显示数据压缩方法和设备、系统
CN107577338A (zh) * 2017-07-25 2018-01-12 北京小鸟看看科技有限公司 一种全景图像的投射方法、装置及头戴显示设备
CN108492322A (zh) * 2018-04-04 2018-09-04 南京大学 一种基于深度学习预测用户视场的方法
CN108810427A (zh) * 2017-05-02 2018-11-13 北京大学 基于视点的全景视频内容表示的方法及装置
CN110554771A (zh) * 2018-05-31 2019-12-10 托比股份公司 虚拟现实和增强现实中的眼睛跟踪应用
CN112218158A (zh) * 2019-07-12 2021-01-12 华为技术有限公司 一种视频处理的方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011238142A (ja) * 2010-05-12 2011-11-24 Konami Digital Entertainment Co Ltd 画像生成装置、画像生成方法及び画像生成装置に用いるコンピュータプログラム
CN103439859A (zh) * 2013-07-22 2013-12-11 秦皇岛视听机械研究所 基于二向异性鱼眼镜头的环幕放映／投影系统单元
US20140002351A1 (en) * 2012-07-02 2014-01-02 Sony Computer Entertainment Inc. Methods and systems for interaction with an expanded information space
CN105323552A (zh) * 2015-10-26 2016-02-10 北京时代拓灵科技有限公司 一种全景视频播放方法及系统
CN105933707A (zh) * 2016-06-30 2016-09-07 北京奇艺世纪科技有限公司 一种全景视频的压缩方法及装置
CN105988578A (zh) * 2015-03-04 2016-10-05 华为技术有限公司 一种交互式视频显示的方法、设备及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011238142A (ja) * 2010-05-12 2011-11-24 Konami Digital Entertainment Co Ltd 画像生成装置、画像生成方法及び画像生成装置に用いるコンピュータプログラム
US20140002351A1 (en) * 2012-07-02 2014-01-02 Sony Computer Entertainment Inc. Methods and systems for interaction with an expanded information space
CN103439859A (zh) * 2013-07-22 2013-12-11 秦皇岛视听机械研究所 基于二向异性鱼眼镜头的环幕放映／投影系统单元
CN105988578A (zh) * 2015-03-04 2016-10-05 华为技术有限公司 一种交互式视频显示的方法、设备及系统
CN105323552A (zh) * 2015-10-26 2016-02-10 北京时代拓灵科技有限公司 一种全景视频播放方法及系统
CN105933707A (zh) * 2016-06-30 2016-09-07 北京奇艺世纪科技有限公司 一种全景视频的压缩方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张涛 等: "基于PC和OpenGL的全景图象360度漫游技术", 《计算机工程与应用》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108810427A (zh) * 2017-05-02 2018-11-13 北京大学 基于视点的全景视频内容表示的方法及装置
CN108810427B (zh) * 2017-05-02 2020-12-04 北京大学 基于视点的全景视频内容表示的方法及装置
CN107087145A (zh) * 2017-06-02 2017-08-22 深圳市本道科技有限公司 多路视频进行360度全景视频显示的方法及装置
CN107315471A (zh) * 2017-06-11 2017-11-03 成都吱吖科技有限公司 一种基于虚拟现实的交互式全景视频实现方法及装置
CN107577338A (zh) * 2017-07-25 2018-01-12 北京小鸟看看科技有限公司 一种全景图像的投射方法、装置及头戴显示设备
CN107317987A (zh) * 2017-08-14 2017-11-03 歌尔股份有限公司 虚拟现实的显示数据压缩方法和设备、系统
CN107317987B (zh) * 2017-08-14 2020-07-03 歌尔股份有限公司 虚拟现实的显示数据压缩方法和设备、系统
CN108492322A (zh) * 2018-04-04 2018-09-04 南京大学 一种基于深度学习预测用户视场的方法
CN108492322B (zh) * 2018-04-04 2022-04-22 南京大学 一种基于深度学习预测用户视场的方法
CN110554771A (zh) * 2018-05-31 2019-12-10 托比股份公司 虚拟现实和增强现实中的眼睛跟踪应用
CN112218158A (zh) * 2019-07-12 2021-01-12 华为技术有限公司 一种视频处理的方法及设备
CN112218158B (zh) * 2019-07-12 2021-12-28 华为技术有限公司 一种视频处理的方法及设备

Also Published As

Publication number Publication date
CN106534882B (zh) 2019-06-14

Similar Documents

Publication Publication Date Title
CN106534882A (zh) 虚拟现实全景视频的编解码方法及装置
CN108139592B (zh) 缩放相关的方法和装置
EP3432581A1 (en) Methods, devices and stream for encoding and decoding volumetric video
CN105979224A (zh) 一种头戴显示器、视频输出设备和视频处理方法、系统
EP3429210A1 (en) Methods, devices and stream for encoding and decoding volumetric video
CN105933726A (zh) 虚拟现实终端及其视频分辨率的适应方法及装置
CN106097245B (zh) 一种全景3d视频图像的处理方法和装置
CN106101741A (zh) 在网络视频直播平台上观看全景视频的方法及系统
CN106303573B (zh) 一种3d视频图像处理方法及服务器和客户端
CN106658011A (zh) 全景视频的编解码方法和装置
CN108337497A (zh) 一种虚拟现实视频/图像格式以及拍摄、处理、播放方法和装置
CA2927046A1 (en) Method and system for 360 degree head-mounted display monitoring between software program modules using video or image texture sharing
CN106453913A (zh) 预览全景内容的方法及装置
CN106254779A (zh) 一种全景视频处理方法及服务器和客户端
CA3018600C (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
CN107332977B (zh) 增强现实的方法及增强现实设备
US11310560B2 (en) Bitstream merger and extractor
CN104717509B (zh) 一种视频解码方法及装置
CN105913477B (zh) 一种实现虚拟现实系统立体启动动画的方法和装置
CN205812229U (zh) 一种头戴显示器、视频输出设备和视频处理系统
US11348252B1 (en) Method and apparatus for supporting augmented and/or virtual reality playback using tracked objects
CN108040260B (zh) C/s架构下高清全景视频的观看方法、系统及服务器
CN105791851A (zh) 一种视频压缩、解码方法及装置
CN102780894B (zh) 一种3d图像的编解码方法
CN108289212A (zh) 一种无人机双目立体成像及与人眼实时交互的装置及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant