CN112218110B - Vr全景视频的传输方法、装置、服务器及交互系统 - Google Patents

Vr全景视频的传输方法、装置、服务器及交互系统 Download PDF

Info

Publication number
CN112218110B
CN112218110B CN202011041260.5A CN202011041260A CN112218110B CN 112218110 B CN112218110 B CN 112218110B CN 202011041260 A CN202011041260 A CN 202011041260A CN 112218110 B CN112218110 B CN 112218110B
Authority
CN
China
Prior art keywords
projection
area
field
angle
areas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011041260.5A
Other languages
English (en)
Other versions
CN112218110A (zh
Inventor
鄢名扬
张�浩
陈丽莉
苗京花
李文宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202011041260.5A priority Critical patent/CN112218110B/zh
Publication of CN112218110A publication Critical patent/CN112218110A/zh
Application granted granted Critical
Publication of CN112218110B publication Critical patent/CN112218110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开实施例提供了一种VR全景视频的传输方法、装置、服务器及交互系统，方法包括：获取VR设备的姿态参数，根据姿态参数确定VR设备的运动趋势，以确定VR设备待显示的视场区域，其中，待显示的视场区域为预先划分的多个视场区域中的一个或多个；获取待显示的视场区域对应的视频流数据；将视频流数据按照预定投影布局发送至VR设备。本公开实施例先预测待显示的视场区域，再向VR设备发送该视场区域对应的视频流数据，整个过程减少了不必要视频流数据的传输，减小了传输所需的传输带宽，且极大的降低了VR设备的解码压力。

Description

VR全景视频的传输方法、装置、服务器及交互系统
技术领域
本公开涉及VR领域，特别涉及一种VR全景视频的传输方法、装置、服务器及交互系统。
背景技术
当前的4K/8K全景直播值指的是一帧画面全视场(水平360°、垂直180°)的分辨率，而VR设备由于配置限制，其显示的只是一帧画面中25％-35％的像素，如图1和图2所示，VR视场只是全视场的一部分。
目前的传输方案是每一帧传输和解码的都是整个方位360度、俯仰180度的图像，即便是观察不到的角度的像素也被打包进视频流数据进行传输解码，需要较大的传输带宽，且VR设备的解码压力较大。
发明内容
有鉴于此，本公开实施例提出了一种VR全景视频的传输方法、装置、服务器及交互系统，用以解决现有技术的如下问题：目前的传输方案是每一帧传输和解码的都是整个方位360度、俯仰180度的图像需要较大的传输带宽，且VR设备的解码压力较大。
一方面，本公开实施例提出了一种VR全景视频的传输方法，包括：获取VR设备的姿态参数，根据所述姿态参数确定所述VR设备的运动趋势，以确定所述VR设备待显示的视场区域，其中，所述待显示的视场区域为预先划分的多个视场区域中的一个或多个；获取所述待显示的视场区域对应的视频流数据；将所述视频流数据按照预定投影布局发送至所述VR设备。
在一些实施例中，所述获取VR设备的姿态参数之前，还包括：将全景视频分别按照预定角度区间进行等距圆柱投影和等角正切方位投影，以得到多个投影区域；基于所述全景视频为每个投影区域匹配对应的视频流，以得到多个视频流数据；根据所述多个投影区域对应的角度区间为所述VR设备划分视场区域，其中，每个视场区域对应一个投影区域，每个视场区域所处的角度区间在其对应的投影区域所处的角度区间内；将划分好的多个视场区域发送至所述VR设备。
在一些实施例中，所述将全景视频分别按照预定区域进行等距圆柱投影和等角正切方位投影，以得到多个投影区域，包括：按照第一投影分割线将待投影区域中俯仰角正负45度范围内的区域进行用等距圆柱投影，以得到第一投影区域和第二投影区域；按照第二投影分割线将所述待投影区域中俯仰角正负45度范围内的区域进行等距圆柱投影，以得到第三投影区域和第四投影区域；将所述待投影区域中俯仰角正负45度范围外的区域进行等角正切方位投影，以得到第五投影区域和第六投影区域；其中，所述第一投影分割线与所述第二投影分割线在等角正切方位投影所在平面上互相垂直。
在一些实施例中，所述将全景视频分别按照预定区域进行等距圆柱投影和等角正切方位投影，以得到多个投影区域，包括：按照第一投影分割线将待投影区域进行等距圆柱投影，以得到第七投影区域和第八投影区域；按照第二投影分割线将所述待投影区域进行等距圆柱投影，以得到第九投影区域和第十投影区域；将所述待投影区域中俯仰角正负45度范围外的区域进行等角正切方位投影，以得到第十一投影区域和第十二投影区域；其中，所述第一投影分割线与所述第二投影分割线在等角正切方位投影所在平面上互相垂直。
在一些实施例中，所述根据所述多个投影区域对应的角度区间为所述VR设备划分视场区域，包括：在采用等距圆柱投影得到的多个投影区域中，将每个投影区域经线方向上角度区间的中点值设置为所述投影区域对应的视场区域经线方向上角度的中点值，将所述投影区域经线方向上角度极值的二分之一设置为所述视场区域经线方向上的角度极值；在采用等角正切方位投影得到的多个投影区域中，将每个投影区域纬线方向上角度区间的极值设置为所述投影区域对应的视场区域经线方向上角度的第一边界值，将所述投影区域纬线方向上角度区间的二分之一值设置为所述投影区域纬线方向上的第二边界值。
在一些实施例中，所述将划分好的多个视场区域发送至VR设备，包括：将划分好的多个视场区域按照预定拼接规则进行拼接，并将拼接好的视场区域发送至所述VR设备。
在一些实施例中，所述获取所述待显示的视场区域对应的视频流数据，包括：确定所述待显示的视场区域对应的投影区域，获取所述投影区域对应的视频流数据。
另一方面，本公开实施例提出了一种VR全景视频的传输装置，包括：预测模块，用于获取VR设备的姿态参数，根据所述姿态参数确定所述VR设备的运动趋势，以确定所述VR设备待显示的视场区域，其中，所述待显示的视场区域为预先划分的多个视场区域中的一个或多个；获取模块，用于获取所述待显示的视场区域对应的视频流数据；发送模块，用于将所述视频流数据按照预定投影布局发送至所述VR设备。
在一些实施例中，还包括：投影模块，用于将全景视频分别按照预定角度区间进行等距圆柱投影和等角正切方位投影，以得到多个投影区域；视频匹配模块，用于基于所述全景视频为每个投影区域匹配对应的视频流，以得到多个视频流数据；划分模块，用于根据所述多个投影区域对应的角度区间为所述VR设备划分视场区域，其中，每个视场区域对应一个投影区域，每个视场区域所处的角度区间在其对应的投影区域所处的角度区间内；所述发送模块，还用于将划分好的多个视场区域发送至所述VR设备。
在一些实施例中，所述投影模块，具体用于：按照第一投影分割线将待投影区域中俯仰角正负45度范围内的区域进行用等距圆柱投影，以得到第一投影区域和第二投影区域；按照第二投影分割线将所述待投影区域中俯仰角正负45度范围内的区域进行等距圆柱投影，以得到第三投影区域和第四投影区域；将所述待投影区域中俯仰角正负45度范围外的区域进行等角正切方位投影，以得到第五投影区域和第六投影区域；其中，所述第一投影分割线与所述第二投影分割线在等角正切方位投影所在平面上互相垂直。
在一些实施例中，所述投影模块，具体用于：按照第一投影分割线将待投影区域进行等距圆柱投影，以得到第七投影区域和第八投影区域；按照第二投影分割线将所述待投影区域进行等距圆柱投影，以得到第九投影区域和第十投影区域；将所述待投影区域中俯仰角正负45度范围外的区域进行等角正切方位投影，以得到第十一投影区域和第十二投影区域；其中，所述第一投影分割线与所述第二投影分割线在等角正切方位投影所在平面上互相垂直。
在一些实施例中，划分模块，具体用于：在采用等距圆柱投影得到的多个投影区域中，将每个投影区域经线方向上角度区间的中点值设置为所述投影区域对应的视场区域经线方向上角度的中点值，将所述投影区域经线方向上角度极值的二分之一设置为所述视场区域经线方向上的角度极值；在采用等角正切方位投影得到的多个投影区域中，将每个投影区域纬线方向上角度区间的极值设置为所述投影区域对应的视场区域经线方向上角度的第一边界值，将所述投影区域纬线方向上角度区间的二分之一值设置为所述投影区域纬线方向上的第二边界值。
在一些实施例中，所述发送模块，具体用于：将划分好的多个视场区域按照预定拼接规则进行拼接，并将拼接好的视场区域发送至所述VR设备。
在一些实施例中，所述发送模块，具体还用于：确定所述待显示的视场区域对应的投影区域，获取所述投影区域对应的视频流数据。
另一方面，本公开实施例提出了一种服务器，至少包括存储器、处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器在执行所述存储器上的计算机程序时实现本公开任一实施例所述方法的步骤。
另一方面，本公开实施例提出了一种VR全景视频交互系统，包括：本公开任一实施例所述的服务器，以及，VR设备；其中，VR设备渲染的立体图形为圆柱形。
本公开实施例先预测待显示的视场区域，再向VR设备发送该视场区域对应的视频流数据，整个过程减少了不必要视频流数据的传输，减小了传输所需的传输带宽，且极大的降低了VR设备的解码压力。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术VR视场示意图一；
图2为现有技术VR视场示意图二；
图3为本公开实施例提供的VR全景视频的传输方法的流程图；
图4为本公开实施例提供的等角正切方位投影的示意图；
图5为本公开实施例提供的第一种全部投影区域示意图；
图6为本公开实施例提供的第二种部分投影区域示意图一；
图7为本公开实施例提供的第二种部分投影区域示意图二；
图8为本公开实施例提供的第二种部分投影区域示意图三；
图9为本公开实施例提供的第二种全部投影区域示意图；
图10为本公开实施例提供的拼接后的视场区域与视频流的对应关系示意图；
图11为本公开实施例提供的整体的实施方式流程图；
图12为本公开实施例提供的全视场空间划分示意图；
图13为本公开实施例提供的两种投影方式投影后的拼接图像示意图；
图14为本公开实施例提供的以一个投影分割线为示例的渲染示意图；
图15为本公开实施例提供的VR全景视频的传输装置的结构示意图；
图16为本公开实施例提供的服务器的结构示意图。
具体实施方式
为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
为了保持本公开实施例的以下说明清楚且简明，本公开省略了已知功能和已知部件的详细说明。
本公开第一实施例提供了一种VR全景视频的传输方法，该方法的流程如图3所示，包括步骤S301至S303：
S301，获取VR设备的姿态参数，根据姿态参数确定VR设备的运动趋势，以确定VR设备待显示的视场区域，其中，待显示的视场区域为预先划分的多个视场区域中的一个或多个；
S302，获取待显示的视场区域对应的视频流数据；
S303，将视频流数据按照预定投影布局发送至VR设备。
本公开实施例为VR设备划分了视场区域，根据VR设备的姿态参数来预测待显示的视场区域，再根据待显示的视场区域获取视频流数据并发送至VR设备，VR设备则可以在到达待显示的视场区域前对视频流数据进行解析及渲染，并在到达待显示的视场区域时显示对应的视频。
本公开实施例先预测待显示的视场区域，再向VR设备发送该视场区域对应的视频流数据，整个过程减少了不必要视频流数据的传输，减小了传输所需的传输带宽，且极大的降低了VR设备的解码压力。
在获取VR设备的姿态参数之前，还需要划分视场区域以及为每个视场区域设置对应的显示视频流数据。实现时，可以包括如下过程：(1)将全景视频分别按照预定角度区间进行等距圆柱投影和等角正切方位投影，以得到多个投影区域；(2)基于全景视频为每个投影区域匹配对应的视频流，以得到多个视频流数据；(3)根据多个投影区域对应的角度区间为VR设备划分视场区域，其中，每个视场区域对应一个投影区域，每个视场区域所处的角度区间在其对应的投影区域所处的角度区间内；(4)将划分好的多个视场区域发送至VR设备。
服务器将视频流数据发送至VR设备进行显示的过程，实质上就是三维数据变成二维数据、再由二维数据转换成三维数据的过程，因此，需要将全景视频进行投影。目前主流的全景视频传输方案基本采用等距圆柱投影(Equirectangular Projection，简称为ERP)的方式，这种投影方式会在图像的上下两级产生巨大的横向拉伸，造成像素冗余，一张画面中36％的像素由投影过程中线性插值产生。
基于上述思考，本公开实施例在投影时采用了等距圆柱投影和等角正切方位投影两种方式结合。具体实现时，可以参考如下任一一种方式进行投影。
第一种实现方式：
按照第一投影分割线将待投影区域中俯仰角正负45度范围内的区域进行用等距圆柱投影，以得到第一投影区域(A)和第二投影区域(B)；按照第二投影分割线将待投影区域中俯仰角正负45度范围内的区域进行等距圆柱投影，以得到第三投影区域(C)和第四投影区域(D)；将待投影区域中俯仰角正负45度范围外的区域进行等角正切方位投影，以得到第五投影(E)区域和第六投影区域(F)；其中，第一投影分割线与第二投影分割线在等角正切方位投影所在平面上互相垂直。
第二种实现方式：
按照第一投影分割线将待投影区域进行等距圆柱投影，以得到第七投影区域(A)和第八投影区域(B)；按照第二投影分割线将待投影区域进行等距圆柱投影，以得到第九投影区域(C)和第十投影区域(D)；将待投影区域中俯仰角正负45度范围外的区域进行等角正切方位投影，以得到第十一投影区域(E)和第十二投影区域(F)；其中，第一投影分割线与第二投影分割线在等角正切方位投影所在平面上互相垂直。
上述等角正切方位投影的示意可以如图4所示，通过如上两种实现方式可以看出，第一种实现方式是严格按照了区域进行分割后的投影，按照第一投影分割线分割后的全部投影区域可以如图5所示，其中，A区域的俯仰角范围在正负45度之间；第二种实现方式存在重叠的投影区域，按照第一投影分割线分割后的第七投影区域(A)和第八投影区域(B)可以如图6所示，按照第二投影分割线分割后的第九投影区域(C)和第十投影区域(D)可以如图7所示，第十一投影区域(E)和第十二投影区域(F)可以如图8所示，以任意一个投影分割线得到的全部投影区域中都会存在重叠部分，例如按照第一投影分割线分割后的全部投影区域可以如图9所示，其中，A区域的A2和A3、B区域的B2和B3分别与E、F有重叠投影；在传输视频流数据时，如果传输A区域的视频流，则可以将A1+A2+A3对应的视频流数据发送至VR设备，虽然第二种实现方式中存在重叠投影区域，但能够避免VR设备存在显示黑色无视频流数据的情况，具有更好的用户体验。
为了使用户具有更好的用户体验，在根据多个投影区域对应的角度区间为VR设备划分视场区域时，具体包括如下过程：在采用等距圆柱投影得到的多个投影区域中，将每个投影区域经线方向上角度区间的中点值设置为投影区域对应的视场区域经线方向上角度的中点值，将投影区域经线方向上角度极值的二分之一设置为视场区域经线方向上的角度极值；在采用等角正切方位投影得到的多个投影区域中，将每个投影区域纬线方向上角度区间的极值设置为投影区域对应的视场区域经线方向上角度的第一边界值，将投影区域纬线方向上角度区间的二分之一值设置为投影区域纬线方向上的第二边界值。随后，将划分好的多个视场区域按照预定拼接规则进行拼接，并将拼接好的视场区域发送至VR设备。拼接后的视场区域与视频流的对应关系如图10所示。
在服务器获取待显示的视场区域对应的视频流数据时，先确定待显示的视场区域对应的投影区域，再获取投影区域对应的视频流数据。例如，当待显示的视场区域为图10中的C时，则可以显示图7所示的C投影区域对应的视频流数据。
下面，结合具体实例对上述过程进行详细说明。
本实施例整体的实施方式如图11所示，包括如下过程：
(一)基于等角正切投影和等距圆柱投影混合的新投影方式。
在服务器端，根据俯仰角和方位角的范围，将一个全视场空间划分为6个互有部分重叠的视频流，例如图12所示的一个长宽比为2：1的标准ERP投影图在水平方向上等分为360°，在垂直方向上等分为180°。其中A1、A2、A3三个区域，A1按照传统的ERP投影保持不变，A2和A3则采用等角正切方位投影，投影后的拼接图像如图13所示。
等角正切方位投影的形式如图4，设投影后圆形的半径为r，则投影平面x、y与空间中俯仰角θ、方位角ψ的关系如以下公式：
Figure GDA0003712888970000081
ψ＝ψ0+arctan(x1/y1) (公式1-2)
其中，上述x1、y1为笛卡尔坐标系中的变量。
(二)VR设备的姿态预测。
在传输时，选择传输视频流的依据为最终显示时VR设备姿态，VR设备正在观察哪一个区域就传输响应的视频流。而最终的姿态要基于当前的姿态和运动趋势计算出得出。因此需要采集VR设备中的四元数(w,(x2,y2,z2))，角速度分量Angularspeedx2(绕x轴旋转的角度)、Angularspeedy2、Angularspeedz2，以及从姿态上报到最终传输、解码、渲染显示时间Time。
求预测时间内的旋转角度如公式2-1、2-2：
Figure GDA0003712888970000091
Angle＝Angularspeed×Time (公式2-2)
构建转动四元数Quatangle见公式2-3：
Quatangle.w＝cos(Angle/2)
Quatangle.x2＝(Angularspeedx2/Angularspeed)sin(Angle/2)
Quatangle.y2＝(Angularspeedy2/Angularspeed)sin(Angle/2)
Quatangle.z2＝
(Angularspeedz2/Angularspeed)sin(Angle/2) (公式2-3)
预测姿态Quatpose2为：
Quatpose2＝Quatpose1*Quatangle (公式2-4)
将pose2转化为欧拉角，其中θ对应俯仰角，ψ对应方位角，
Figure GDA0003712888970000092
为滚转角(本公开实施例中不考虑)：
Figure GDA0003712888970000093
最终将显示姿态的欧拉角
Figure GDA0003712888970000094
上传服务器作为视频流选择的依据。
(三)在服务器依照如图10的区域选择视频流，θ对应俯仰角，ψ对应方位角。
Figure GDA0003712888970000101
(四)在解码完成后，视频流作为纹理去渲染一个立体图形。传统的全景视频一般会渲染一个球体或者立方体。在本专利中ABCD视频流会渲染1/2个圆柱体，EF会渲染圆柱体的顶面或底面。以一个投影分割线为示例的渲染示意如图14所示。
本公开实施例采用了新的投影方式，在俯仰角±45°内采用传统的ERP投影，靠近上下两极的位置则采用等角正切方位投影；将同一帧内两个不同的投影整合为一张纹理进行编码传输；在VR设备渲染时，渲染的立体图形也从传统的球体/正方体改为圆柱体。
本公开实施例根据VR设备的当前的姿态参数、运动趋势(四元数、角加速度)、整个系统的延迟，将最终渲染完成时的姿态及视场区域提供给服务器(例如全景直播服务器)；同时，全景服务器按照观察区域的不同将整个球形视场划分为六个不同但又互有重合的区域，每个区域对应一个视频流频道，根据VR设备的姿态选择播放的视频流。
本公开实施例减轻了传输带宽和解码压力，减少渲染压力，提升了现有的全景视频传输的性能，使真4K/8K全景直播成为可能。
本公开实施例还提供了一种VR全景视频的传输装置，该装置可以设置在服务器上，以服务器的形式存在，其结构示意如图15所示，包括：
预测模块10，用于获取VR设备的姿态参数，根据姿态参数确定VR设备的运动趋势，以确定VR设备待显示的视场区域，其中，待显示的视场区域为预先划分的多个视场区域中的一个或多个；获取模块20，与预测模块10耦合，用于获取待显示的视场区域对应的视频流数据；发送模块30，与获取模块20耦合，用于将视频流数据按照预定投影布局发送至VR设备。
本公开实施例为VR设备划分了视场区域，根据VR设备的姿态参数来预测待显示的视场区域，再根据待显示的视场区域获取视频流数据并发送至VR设备，VR设备则可以在到达待显示的视场区域前对视频流数据进行解析及渲染，并在到达待显示的视场区域时显示对应的视频。
本公开实施例先预测待显示的视场区域，再向VR设备发送该视场区域对应的视频流数据，整个过程减少了不必要视频流数据的传输，减小了传输所需的传输带宽，且极大的降低了VR设备的解码压力。
上述传输装置还包括：投影模块，用于将全景视频分别按照预定角度区间进行等距圆柱投影和等角正切方位投影，以得到多个投影区域；视频匹配模块，与投影模块耦合，用于基于全景视频为每个投影区域匹配对应的视频流，以得到多个视频流数据；划分模块，与视频匹配模块耦合，用于根据多个投影区域对应的角度区间为VR设备划分视场区域，其中，每个视场区域对应一个投影区域，每个视场区域所处的角度区间在其对应的投影区域所处的角度区间内；发送模块，与划分模块耦合，还用于将划分好的多个视场区域发送至VR设备。通过上述模块，可以以最优方式划分多个视场区域。
上述投影模块，具体用于：按照第一投影分割线将待投影区域中俯仰角正负45度范围内的区域进行用等距圆柱投影，以得到第一投影区域和第二投影区域；按照第二投影分割线将待投影区域中俯仰角正负45度范围内的区域进行等距圆柱投影，以得到第三投影区域和第四投影区域；将待投影区域中俯仰角正负45度范围外的区域进行等角正切方位投影，以得到第五投影区域和第六投影区域；其中，第一投影分割线与第二投影分割线在等角正切方位投影所在平面上互相垂直。
上述投影模块，具体用于：按照第一投影分割线将待投影区域进行等距圆柱投影，以得到第七投影区域和第八投影区域；按照第二投影分割线将待投影区域进行等距圆柱投影，以得到第九投影区域和第十投影区域；将待投影区域中俯仰角正负45度范围外的区域进行等角正切方位投影，以得到第十一投影区域和第十二投影区域；其中，第一投影分割线与第二投影分割线在等角正切方位投影所在平面上互相垂直。
无论投影模块设置为上述哪种形式，都能够较为合理的进行投影。
具体实现时，上述划分模块，具体可以用于：在采用等距圆柱投影得到的多个投影区域中，将每个投影区域经线方向上角度区间的中点值设置为投影区域对应的视场区域经线方向上角度的中点值，将投影区域经线方向上角度极值的二分之一设置为视场区域经线方向上的角度极值；在采用等角正切方位投影得到的多个投影区域中，将每个投影区域纬线方向上角度区间的极值设置为投影区域对应的视场区域经线方向上角度的第一边界值，将投影区域纬线方向上角度区间的二分之一值设置为投影区域纬线方向上的第二边界值。随后，上述发送模块，将划分好的多个视场区域按照预定拼接规则进行拼接，并将拼接好的视场区域发送至VR设备。
上述发送模块，具体还用于确定待显示的视场区域对应的投影区域，获取投影区域对应的视频流数据。
本公开实施例还提供了一种VR全景视频交互系统，包括服务器及VR设备，该服务器的结构示意图可以如图16所示，至少包括存储器901和处理器902，存储器901上存储有计算机程序，处理器902在执行存储器901上的计算机程序时实现本公开任意实施例提供的方法。示例性的，电子设备计算机程序可以实现上述实施例中VR全景视频的传输方法的各个步骤，此处不再赘述。
此外，尽管已经在本文中描述了示例性实施例，其范围包括任何和所有基于本公开的具有等同元件、修改、省略、组合(例如，各种实施例交叉的方案)、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本申请的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。
以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本公开。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反，本公开的主题可以少于特定的公开的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本公开的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。
以上对本公开多个实施例进行了详细说明，但本公开不限于这些具体的实施例，本领域技术人员在本公开构思的基础上，能够做出多种变型和修改实施例，这些变型和修改都应落入本公开所要求保护的范围之内。

Claims (9)

1.一种VR全景视频的传输方法，其特征在于，包括：
获取VR设备的姿态参数，根据所述姿态参数确定所述VR设备的运动趋势，以确定所述VR设备待显示的视场区域，其中，所述待显示的视场区域为预先划分的多个视场区域中的一个或多个；
获取所述待显示的视场区域对应的视频流数据；
将所述视频流数据按照预定投影布局发送至所述VR设备；
其中，所述获取VR设备的姿态参数之前，还包括：
将全景视频分别按照预定角度区间进行等距圆柱投影和等角正切方位投影，以得到多个投影区域；
基于所述全景视频为每个投影区域匹配对应的视频流，以得到多个视频流数据；
根据所述多个投影区域对应的角度区间为所述VR设备划分视场区域，其中，每个视场区域对应一个投影区域，每个视场区域所处的角度区间在其对应的投影区域所处的角度区间内；
将划分好的多个视场区域发送至所述VR设备。
2.如权利要求1所述的传输方法，其特征在于，所述将全景视频分别按照预定区域进行等距圆柱投影和等角正切方位投影，以得到多个投影区域，包括：
按照第一投影分割线将待投影区域中俯仰角正负45度范围内的区域进行用等距圆柱投影，以得到第一投影区域和第二投影区域；
按照第二投影分割线将所述待投影区域中俯仰角正负45度范围内的区域进行等距圆柱投影，以得到第三投影区域和第四投影区域；
将所述待投影区域中俯仰角正负45度范围外的区域进行等角正切方位投影，以得到第五投影区域和第六投影区域；
其中，所述第一投影分割线与所述第二投影分割线在等角正切方位投影所在平面上互相垂直。
3.如权利要求1所述的传输方法，其特征在于，所述将全景视频分别按照预定区域进行等距圆柱投影和等角正切方位投影，以得到多个投影区域，包括：
按照第一投影分割线将待投影区域进行等距圆柱投影，以得到第七投影区域和第八投影区域；
按照第二投影分割线将所述待投影区域进行等距圆柱投影，以得到第九投影区域和第十投影区域；
将所述待投影区域中俯仰角正负45度范围外的区域进行等角正切方位投影，以得到第十一投影区域和第十二投影区域；
其中，所述第一投影分割线与所述第二投影分割线在等角正切方位投影所在平面上互相垂直。
4.如权利要求2或3所述的传输方法，其特征在于，所述根据所述多个投影区域对应的角度区间为所述VR设备划分视场区域，包括：
在采用等距圆柱投影得到的多个投影区域中，将每个投影区域经线方向上角度区间的中点值设置为所述投影区域对应的视场区域经线方向上角度的中点值，将所述投影区域经线方向上角度极值的二分之一设置为所述视场区域经线方向上的角度极值；
在采用等角正切方位投影得到的多个投影区域中，将每个投影区域纬线方向上角度区间的极值设置为所述投影区域对应的视场区域经线方向上角度的第一边界值，将所述投影区域纬线方向上角度区间的二分之一值设置为所述投影区域纬线方向上的第二边界值。
5.如权利要求4所述的传输方法，其特征在于，所述将划分好的多个视场区域发送至VR设备，包括：
将划分好的多个视场区域按照预定拼接规则进行拼接，并将拼接好的视场区域发送至所述VR设备。
6.如权利要求1所述的传输方法，其特征在于，所述获取所述待显示的视场区域对应的视频流数据，包括：
确定所述待显示的视场区域对应的投影区域，获取所述投影区域对应的视频流数据。
7.一种VR全景视频的传输装置，其特征在于，包括：
预测模块，用于获取VR设备的姿态参数，根据所述姿态参数确定所述VR设备的运动趋势，以确定所述VR设备待显示的视场区域，其中，所述待显示的视场区域为预先划分的多个视场区域中的一个或多个；
获取模块，用于获取所述待显示的视场区域对应的视频流数据；
发送模块，用于将所述视频流数据按照预定投影布局发送至所述VR设备；
还包括：
投影模块，用于将全景视频分别按照预定角度区间进行等距圆柱投影和等角正切方位投影，以得到多个投影区域；
视频匹配模块，用于基于所述全景视频为每个投影区域匹配对应的视频流，以得到多个视频流数据；
划分模块，用于根据所述多个投影区域对应的角度区间为所述VR设备划分视场区域，其中，每个视场区域对应一个投影区域，每个视场区域所处的角度区间在其对应的投影区域所处的角度区间内；
所述发送模块，还用于将划分好的多个视场区域发送至所述VR设备。
8.一种服务器，至少包括存储器、处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器在执行所述存储器上的计算机程序时实现权利要求1至6中任一项所述方法的步骤。
9.一种VR全景视频交互系统，其特征在于，包括：权利要求8所述的服务器，以及，VR设备；其中，VR设备渲染的立体图形为圆柱形。
CN202011041260.5A 2020-09-28 2020-09-28 Vr全景视频的传输方法、装置、服务器及交互系统 Active CN112218110B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011041260.5A CN112218110B (zh) 2020-09-28 2020-09-28 Vr全景视频的传输方法、装置、服务器及交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011041260.5A CN112218110B (zh) 2020-09-28 2020-09-28 Vr全景视频的传输方法、装置、服务器及交互系统

Publications (2)

Publication Number Publication Date
CN112218110A CN112218110A (zh) 2021-01-12
CN112218110B true CN112218110B (zh) 2022-10-28

Family

ID=74051382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011041260.5A Active CN112218110B (zh) 2020-09-28 2020-09-28 Vr全景视频的传输方法、装置、服务器及交互系统

Country Status (1)

Country Link
CN (1) CN112218110B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113473104A (zh) * 2021-07-12 2021-10-01 广州浩传网络科技有限公司 一种基于裸眼vr的视频播放方法、播放器和播放设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9588598B2 (en) * 2015-06-30 2017-03-07 Ariadne's Thread (Usa), Inc. Efficient orientation estimation system using magnetic, angular rate, and gravity sensors
EP3340164B1 (en) * 2015-08-18 2022-09-28 Sony Interactive Entertainment Inc. Image generating device and image display control device
US10904508B2 (en) * 2017-03-15 2021-01-26 Avago Technologies International Sales Pte. Limited 360 degree video with combined projection format
CN107396077B (zh) * 2017-08-23 2022-04-08 深圳看到科技有限公司 虚拟现实全景视频流投影方法和设备

Also Published As

Publication number Publication date
CN112218110A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN109891465B (zh) 用于处理虚拟现实图像的方法和装置
KR102468178B1 (ko) 몰입형 비디오 포맷을 위한 방법, 장치 및 스트림
US10545570B2 (en) Method for providing content and apparatus therefor
US7292722B2 (en) Representation and coding of panoramic and omnidirectional images
CN110268711B (zh) 用于编码宽视图视频的球面旋转的方法及装置
US20210218890A1 (en) Spherical image processing method and apparatus, and server
JP6672315B2 (ja) 画像生成装置、及び画像表示制御装置
JP7499182B2 (ja) ボリュメトリックビデオフォーマット用の方法、装置及びストリーム
CN107454468A (zh) 对沉浸式视频进行格式化的方法、装置和流
EP3562159A1 (en) Method, apparatus and stream for volumetric video format
US11270413B2 (en) Playback apparatus and method, and generation apparatus and method
KR20190046850A (ko) 몰입형 비디오 포맷을 위한 방법, 장치 및 스트림
CN107197135B (zh) 一种视频生成方法及视频生成装置
CN114189697B (zh) 一种视频数据处理方法、装置以及可读存储介质
CN112218110B (zh) Vr全景视频的传输方法、装置、服务器及交互系统
EP3573018B1 (en) Image generation device, and image display control device
WO2019037656A1 (en) METHOD AND APPARATUS FOR SYNTAX SIGNALING FOR IMMERSIVE VIDEO ENCODING
TW202106000A (zh) 傳送容積視訊內容之方法及裝置
TW202116063A (zh) 用以編碼、傳輸及解碼容積視訊之方法及裝置
US20230401752A1 (en) Techniques using view-dependent point cloud renditions
CN108805804B (zh) 一种液晶电视中全景图片处理方法
TW202209250A (zh) 用以產生旋轉後全景影像的轉換方法
CN115134604A (zh) 全景视频压缩方法、装置、计算机设备和存储介质
CN117745980A (zh) 图像传输方法、图像显示方法、装置和计算机设备
Aziz Realtime Free Viewpoint Video System Based on a new Panorama Stitching Framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant