CN112788317A - 一种播放全景视频的方法、系统、存储介质及播放设备 - Google Patents

一种播放全景视频的方法、系统、存储介质及播放设备 Download PDF

Info

Publication number
CN112788317A
CN112788317A CN202011627628.6A CN202011627628A CN112788317A CN 112788317 A CN112788317 A CN 112788317A CN 202011627628 A CN202011627628 A CN 202011627628A CN 112788317 A CN112788317 A CN 112788317A
Authority
CN
China
Prior art keywords
playing
model
panoramic video
projection
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011627628.6A
Other languages
English (en)
Inventor
洪旭杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou TCL Mobile Communication Co Ltd
Original Assignee
Huizhou TCL Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou TCL Mobile Communication Co Ltd filed Critical Huizhou TCL Mobile Communication Co Ltd
Priority to CN202011627628.6A priority Critical patent/CN112788317A/zh
Priority to PCT/CN2021/078363 priority patent/WO2022141781A1/zh
Publication of CN112788317A publication Critical patent/CN112788317A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种播放全景视频的方法、系统、存储介质及播放设备，所述方法包括将待播放的全景视频贴合至预设的球体模型，以得到投影模型；获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系；基于正交投影及所述投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像。本申请通过预设建立球体模型，将播放设备与球体模型编号至世界坐标系的原点，然后通过正交投影对投影模型进行投影以选取播放设备对应的视觉图像，这样通过正交投影的方式在投影模型上选取视觉图像，可以避免播放设备的视场角对选取到的图像内容的限制，从而可以增加视觉图像包含的图像内容，从而提高观影效果。

Description

一种播放全景视频的方法、系统、存储介质及播放设备
技术领域
本申请涉及视频播放技术领域，特别涉及一种播放全景视频的方法、系统、存储介质及播放设备。
背景技术
随着近年来科学技术的高速发展，无线网络、智能平板电视已经成为广大消费者家庭的标准配置，而VR(Virtual Reality)、AR(Augmented Reality)等虚拟现实显示技术也愈发成熟，拥有越来越多的使用者，VR、AR等技术可以立体地展示产品的情况以及用户所需求的信息。
然而，现有AR眼镜普遍具有较小的视场角(例如，Magic Leap One的视场角为50°，HoloLens2的视场角为52°，Nreal Light的视场角为52°等)，而小的视场角会影响AR眼镜视野范围内所包含的影像内容，从而影响观影效果。
发明内容
本申请要解决的技术问题在于，针对现有技术的不足，提供一种播放全景视频的方法、系统、存储介质及播放设备。
为了解决上述技术问题，本申请实施例第一方面提供了一种播放全景视频的方法，所述方法包括：
将待播放的全景视频贴合至预设的球体模型，以得到投影模型；
获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系；
基于正交投影及所述投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像。
所述的播放全景视频的方法，其中，所述将待播放的全景视频贴合至预设的球体模型，以得到投影模型具体包括：
解码待播放的全景视频，以得到纹理图像；
将所述纹理图像贴合到预设的球体模型上，以得到投影模型。
所述的播放全景视频的方法，其中，所述获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系具体包括：
确定播放全景视频的播放设备的空间位置以及OpenGL模型矩阵，并基于所述空间位置确定OpenGL视图矩阵；
通过所述OpenGL模型矩阵将所述模型坐标系转换到世界坐标系；
通过所述OpenGL视图矩阵将所述世界坐标系转换到设备坐标系。
所述的播放全景视频的方法，其中，所述播放设备的相机朝向与设备坐标系中的-Z轴方向相同。
所述的播放全景视频的方法，其中，所述基于正交投影及所述投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像具体包括：
基于正交投影及所述投影模型，确定所述播放设备对应的视觉图像；
对所述视觉图像进行径向畸变校正以得到校正后的视觉图像，并渲染播放校正后的视觉图像。
所述的播放全景视频的方法，其中，所述基于正交投影及所述投影模型，确定所述播放设备对应的视觉图像具体包括：
基于播放设备的视场角确定图像投影区域；
将所述投影模型进行正交投影以得到投影图像；
基于所述图像投影区域在所述投影图像中选取视觉图像，其中，所述视觉图像沿水平方向的图像宽度等于投影图像沿水平方向的图像宽度。
所述的播放全景视频的方法，其中，所述视觉图像沿水平方向的图像宽度等于投影图像沿水平方向的图像宽度。
本申请实施例第二方面提供了一种播放全景视频的播放系统，所述播放系统包括：
贴合模块，用于将待播放的全景视频贴合至预设的球体模型，以得到投影模型；
变化模块，用于获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系；
播放模块，用于基于正交投影及所述投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像。
本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的播放全景视频的方法中的步骤。
本申请实施例第四方面提供了一种播放设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的播放全景视频的方法中的步骤。
有益效果：与现有技术相比，本申请提供了一种播放全景视频的方法、系统、存储介质及播放设备，所述方法包括将待播放的全景视频贴合至预设的球体模型，以得到投影模型；获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系；基于正交投影及所述投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像。本申请通过预设建立球体模型，将播放设备与球体模型编号至世界坐标系的原点，然后通过正交投影对投影模型进行投影以选取播放设备对应的视觉图像，这样通过正交投影的方式在投影模型上选取视觉图像，可以避免播放设备的视场角对选取到的图像内容的限制，从而可以增加视觉图像包含的图像内容，从而提高观影效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的播放全景视频的方法的流程图。
图2为本申请提供的播放全景视频的方法中的全景视频的示例图。
图3为本申请提供的播放全景视频的方法中将全景视频贴合到球体模型上的流程示意图。
图4为采用现有方法在全景视频选取视觉图像的示例图。
图5为本申请提供的播放全景视频的方法中选取到的视觉图像的示例图。
图6为本申请提供的播放全景视频的方法中的畸形修正的示例图。
图7为本申请提供的播放全景视频的系统的结构原理图。
图8为本申请提供的播放设备的结构原理图。
具体实施方式
本申请提供一种播放全景视频的方法、系统、存储介质及播放设备，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。此外应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
发明人经过研究发现，随着近年来科学技术的高速发展，无线网络、智能平板电视已经成为广大消费者家庭的标准配置，而VR(Virtual Reality)、AR(Augmented Reality)等虚拟现实显示技术也愈发成熟，拥有越来越多的使用者，VR、AR等技术可以立体地展示产品的情况以及用户所需求的信息。然而，现有AR眼镜普遍具有较小的视场角(例如，MagicLeap One的视场角为50°，HoloLens2的视场角为52°，Nreal Light的视场角为52°等)，而小的视场角会影响AR眼镜视野范围内所包含的影像内容，从而影响观影效果。
为了解决上述问题，在本申请实施例中，将待播放的全景视频贴合至预设的球体模型，以得到投影模型；获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系；基于正交投影及所述投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像。本申请通过预设建立球体模型，将播放设备与球体模型编号至世界坐标系的原点，然后通过正交投影对投影模型进行投影以选取播放设备对应的视觉图像，这样通过正交投影的方式在投影模型上选取视觉图像，可以避免播放设备的视场角对选取到的图像内容的限制，从而可以增加视觉图像包含的图像内容，从而提高观影效果。
下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
本实施提供了一种播放全景视频的方法，如图1所示，所述方法包括：
S10、将待播放的全景视频贴合至预设的球体模型，以得到投影模型。
具体地，所述待播放的全景视频可以为通过全景拍摄装置获取得到的，也可以是通过网络(例如，百度等)获取到的在线视频，也可以是通过外部设备(例如，移动终端等)获取到的，其中，外部设备中的待播放的全景视频采用avi，mp4，wmv等文件格式存储。在本实施例的一个实现方式中，待播放的全景视频为通过全景拍摄装置拍摄得到，全景摄像机包括若干配置有不同拍摄角度拍摄设备，通过若干拍摄设备同时拍摄以得到全景视频中的一全景视频帧，例如，如图2所示的全景图像。此外，在拍摄全景图像时，全景图像与空间三维的位置是一一对应的，并且在拍摄得到全景图像后，会预设将全景图像与空间三维进行一一映射，以保存该全景图像与空间三维的映射关系，以便于播放全景图像时可以准确地确定全景图像的图像位置。
待播放的全景视频中的每个全景视频帧中的像素点均是以球面矩形投影的方式存储，从而在获取到待播放的全景视频后，将全景视频贴合到球体模型的球体表面上。可以理解的是，所述球体模型用于贴合全景视频中的全景视频帧，投影模型为球体表面贴合有全景视频的球体模型。
基于此，在本实施例的一个实现方式中，所述将待播放的全景视频贴合至预设的球体模型，以得到投影模型具体包括：
解码待播放的全景视频，以得到纹理图像；
将所述纹理图像贴合到预设的球体模型上，以得到投影模型。
具体地，在获取到待播放的全景视频后，解码待播放的全景视频以得到全景视频帧对应的纹理图，其中，纹理图为球面矩形纹理，并且纹理图中的每个像素点均对应一个球面矩形。如图3所示，在获取到纹理图之后，将纹理图贴合到球体模型上，覆盖该球体模型的外表面以得到所述投影模型。此外，球体模型可以基于待播放的全景视频确定，其中，带播放的全景视频中的每一全景视频帧均可以贴合于该球体表面并且覆盖该球体模型。
S20、获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系。
具体地，播放全景视频的播放设备可以为AR虚拟设备，例如，AR眼镜等。当用户通过头部佩戴播放全景视频的播放设备时，才能观看该AR虚拟设备中播放的全景视频，由此，该播放全景视频的播放设备会跟随着用户头部的活动而改变播放设备的空间位置，且播放设备的空间位置改变也反映出了用户的全景视角变化范围，因此通过播放设备的空间位置可以反应出用户观看全景视频的视角，并且基于该用户观看全景视频的视角可以确定投影模型的模型朝向，从而可以将所述投影模型的坐标系转换到设备坐标系。
在本实施例的一个实现方式中，所述播放全景视频的播放设备采用OpenGL渲染方式来渲染全景视频，从而所述获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系具体包括：
确定播放全景视频的播放设备的空间位置以及OpenGL模型矩阵，并基于所述空间位置确定OpenGL视图矩阵；
通过所述OpenGL模型矩阵将所述模型坐标系转换到世界坐标系；
通过所述OpenGL视图矩阵将所述世界坐标系转换到设备坐标系。
具体地，所述OpenGL模型矩阵用于将模型坐标系转换到世界坐标系，在将所述将模型坐标系转换到世界坐标系时，模型坐标系的坐标原点位于世界坐标系的坐标原点。由此，在确定模型坐标系和世界坐标系后，可以确定所述模型坐标系转换到世界坐标系的OpenGL模型矩阵，并基于OpenGL模型矩阵将所述模型坐标系转换到世界坐标系。
播放全景视频的播放设备的空间位置包括播放设备的相机朝向以及位置信息，其中，相机朝向用于反映播放设备相对于世界坐标系的旋转，位置信息用于反映播放设备相对于世界坐标系的平移。在确定到播放设备的空间位置后，可以基于空间位置确定设备坐标系相对于世界坐标系的相机变换，然后，在确定该相机变换对应的逆变换可以确定OpenGL视图矩阵，其中，所述OpenGL视图矩阵用于将所述世界坐标系转换到设备坐标系。
在获取到OpenGL模型矩阵和OpenGL视图矩阵后，通过OpenGL模型矩阵将模型坐标系转换到世界坐标系，然后通过所述OpenGL视图矩阵将所述世界坐标系转换到设备坐标系，以将模型坐标系转换到设备坐标系。其中，在设备坐标系中，所述播放设备的相机朝向与设备坐标系中的-Z轴方向相同。
S30、基于正交投影及所述投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像。
具体地，所述正交投影用于将投影模型投影进行正交投影，并且该正交投影为将投影模型在相机朝向方向上的进行的正交投影。视觉图像为通过对投影模型进行正交投影所得到的投影图像，其中，视觉图像为矩形弧面。这是由于播放设备(例如，AR眼镜等)的水平方向的视场角和竖直方向的视场角不相同，并且水平方向的视场角大于竖直方向的视场角，从而在本实施例中，在确定进行正交投影时，正交投影所采用的投影视场角中的水平方向的视场角小于播放设备的水平方向的视场角，以使得基于投影视场角确定的正交投影体(其中，投影模型包含于正交投影体内)在水平方向的宽度小于播放设备的水平方向的视场角，这样相对于目前采用的基于视场角进行的透视投影得到的视觉图像会视场角的影响，例如，如图4中的位于下方的矩形区域所示的视觉图像；本实施例中采用正交投影可以提高视觉图像在水平方向上所包括的图像内容，例如，如图6中的矩形区域所示的视觉图像。
基于此，在本实施例的一个实现方式中，所述基于正交投影及所述投影模型，确定所述播放设备对应的视觉图像具体包括：
基于播放设备的视场角确定图像投影区域；
将所述投影模型进行正交投影以得到投影图像；
基于所述图像投影区域在所述投影图像中选取视觉图像。
具体地，在将所述投影模型沿播放设备的相机朝向进行正交投影之前，可以确定正交投影的投影视场角，并基于该投影视场角可以确定正交投影体，其中，投影模型包含于所述正交投影体。所述投影视场角在水平方向上的视角场小于或者等于播放设备的视场角中的水平方向的视角场，以使得图像投影区域在水平方向上的宽度大于或者等于正交投影体对应的投影区域在在水平方向上的宽度。例如，如图5所示，图5中的矩形框为根据播放设备的视角场确定的图像投影区域，其中，矩形框的长度为基于水平方向的视场角确定，矩形框的高度为基于竖直方向的视场角确定，图中圆形区域为投影模型进行正交投影得到的投影图像。此外，在获取到图像投影区域和投影图像，选取图像投影区域和投影图像的重叠区域，并将选取到重叠区域作为视觉图像。例如，如图5所示，矩形框和圆形区域的重叠区域为矩形弧面。
在本实施例的一个实现方式，所述基于正交投影及所述投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像具体包括：
基于正交投影及所述投影模型，确定所述播放设备对应的视觉图像；
对所述视觉图像进行径向畸变校正以得到校正后的视觉图像，并渲染播放校正后的视觉图像。
具体地，通过径向畸变校正来修正所述视觉图像中的畸变，其中，采用径向畸变校正是由于视觉图像与相机镜头的径向畸变相似，从而采用径向畸变校正可以改善视觉图像的畸变，这样可以视觉图像的图像效果，例如，如图6所示，图6中的矩形弧面区域为径向畸变校正前的视觉图像，矩形区域为径向畸变校正后的视觉图像。此外，本实施例中的视觉图像与相机镜头的径向畸变相似，从而直接采用径向畸变校正，不会占用大量的计算力。然而，若直接增播放设备的视场角，基于广角透视的关系可以知道视口内显示的画面将会产生严重的畸变，并且这种畸变有别于光学镜头的径向畸变，这种畸变会存在多个灭点，从而会消耗大量的计算力来进行畸变校正，这样一方面会需要增加播放设备的硬件成本，另一方面会造成全景视频播放出现延迟以及卡顿等问题。
在本实施例中，所述径向畸变校正的修正公式可以为：
x0＝x(1+k1r2+k2r4+k3r6)
y0＝y(1+k1r2+k2r4+k3r6)
其中，x，y表示像素点校正后的像素坐标，x0，y0表示像素点校正前的像素坐标，r表示矫正后图像中的像素点(x,y)与坐标原点之间的距离，k1，k2和k3为权重系数。
综上所述，本实施例提供了一种播放全景视频的方法，所述方法包括将待播放的全景视频贴合至预设的球体模型，以得到投影模型；获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系；基于正交投影及所述投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像。本申请通过预设建立球体模型，将播放设备与球体模型编号至世界坐标系的原点，然后通过正交投影对投影模型进行投影以选取播放设备对应的视觉图像，这样通过正交投影的方式在投影模型上选取视觉图像，可以避免播放设备的视场角对选取到的图像内容的限制，从而可以增加视觉图像包含的图像内容，从而提高观影效果。
基于上述播放全景视频的方法，本实施例提供了一种播放全景视频的播放系统，如图7所示，所述播放系统包括：
贴合模块100，用于将待播放的全景视频贴合至预设的球体模型，以得到投影模型；
变化模块200，用于获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系；
播放模块300，用于基于正交投影及所述投影模型，确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像。
此外，值得说明的，所述播播放全景视频的播放系统包括的各功能模块的工作过程与上述播放全景视频的播放方法的工作过程相同，例如，贴合模块的工作过程与播放全景视频的播放方法中的步骤S10的工作过程相同，变化模块的的工作过程与播放全景视频的播放方法中的步骤S20的工作过程相同，播放模块的工作过程与播放全景视频的播放方法中的步骤S30的工作过程相同，这里就不在赘述，具体可以参照上述播放全景视频的播放方法的说明。
基于上述播放全景视频的方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的播放全景视频的方法中的步骤。
基于上述播放全景视频的方法，本申请还提供了一种播放设备，如图8所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据播放设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及播放设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种播放全景视频的方法，其特征在于，所述方法包括：
将待播放的全景视频贴合至预设的球体模型，以得到投影模型；
获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系；
基于正交投影及所述投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像。
2.根据权利要求1所述的播放全景视频的方法，其特征在于，所述将待播放的全景视频贴合至预设的球体模型，以得到投影模型具体包括：
解码待播放的全景视频，以得到纹理图像；
将所述纹理图像贴合到预设的球体模型上，以得到投影模型。
3.根据权利要求1所述的播放全景视频的方法，其特征在于，所述获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系具体包括：
确定播放全景视频的播放设备的空间位置以及OpenGL模型矩阵，并基于所述空间位置确定OpenGL视图矩阵；
通过所述OpenGL模型矩阵将所述模型坐标系转换到世界坐标系；
通过所述OpenGL视图矩阵将所述世界坐标系转换到所述设备坐标系。
4.根据权利要求3所述播放全景视频的方法，其特征在于，所述播放设备的相机朝向与设备坐标系中的-Z轴方向相同。
5.根据权利要求1所述的播放全景视频的方法，其特征在于，所述基于正交投影及所述投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像具体包括：
基于正交投影及所述投影模型，确定所述播放设备对应的视觉图像；
对所述视觉图像进行径向畸变校正以得到校正后的视觉图像，并渲染播放所述校正后的视觉图像。
6.根据权利要求1或5所述的播放全景视频的方法，其特征在于，所述基于正交投影及所述投影模型，确定所述播放设备对应的视觉图像具体包括：
基于所述播放设备的视场角确定图像投影区域；
将所述投影模型进行正交投影以得到投影图像；
基于所述图像投影区域在所述投影图像中选取视觉图像。
7.根据权利要求1所述的播放全景视频的方法，其特征在于，所述视觉图像沿水平方向的图像宽度等于所述投影图像沿水平方向的图像宽度。
8.一种播放全景视频的播放系统，其特征在于，所述播放系统包括：
贴合模块，用于将待播放的全景视频贴合至预设的球体模型，以得到投影模型；
变化模块，用于获取播放全景视频的播放设备的空间位置，并基于所述空间位置将所述投影模型对应的模型坐标系转换到所述播放设备对应的设备坐标系；
播放模块，用于基于正交投影及所述投影模型确定所述播放设备对应的视觉图像，并渲染播放所述视觉图像。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任意一项所述的播放全景视频的方法中的步骤。
10.一种播放设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-7任意一项所述的播放全景视频的方法中的步骤。
CN202011627628.6A 2020-12-30 2020-12-30 一种播放全景视频的方法、系统、存储介质及播放设备 Pending CN112788317A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011627628.6A CN112788317A (zh) 2020-12-30 2020-12-30 一种播放全景视频的方法、系统、存储介质及播放设备
PCT/CN2021/078363 WO2022141781A1 (zh) 2020-12-30 2021-03-01 一种播放全景视频的方法、系统、存储介质及播放设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011627628.6A CN112788317A (zh) 2020-12-30 2020-12-30 一种播放全景视频的方法、系统、存储介质及播放设备

Publications (1)

Publication Number Publication Date
CN112788317A true CN112788317A (zh) 2021-05-11

Family

ID=75754592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011627628.6A Pending CN112788317A (zh) 2020-12-30 2020-12-30 一种播放全景视频的方法、系统、存储介质及播放设备

Country Status (2)

Country Link
CN (1) CN112788317A (zh)
WO (1) WO2022141781A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926371A (zh) * 2022-06-27 2022-08-19 北京五八信息技术有限公司 一种全景图的垂直校正、灭点检测方法、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116527856B (zh) * 2023-07-04 2023-09-01 深圳市极致创意显示有限公司 球幕影院的播放控制方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872353A (zh) * 2015-12-15 2016-08-17 乐视网信息技术（北京）股份有限公司 一种在移动设备上实现播放全景视频的系统和方法
CN106296819A (zh) * 2016-08-12 2017-01-04 北京航空航天大学 一种基于智能机顶盒的全景视频播放器
KR101912396B1 (ko) * 2017-06-13 2018-10-26 주식회사 아이닉스 가상 카메라 기반의 임의 시점 영상 생성 장치 및 방법
CN109255832A (zh) * 2018-09-21 2019-01-22 四川长虹电器股份有限公司 一种基于OpenGL的目标光场创建方法
CN109565610A (zh) * 2016-05-25 2019-04-02 皇家Kpn公司 空间平铺的全向视频流播
CN111200750A (zh) * 2018-11-16 2020-05-26 北京字节跳动网络技术有限公司 全景视频的多窗口播放方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101852980B (zh) * 2010-06-09 2011-10-05 长春理工大学 一种在cave投影系统上交互式播放全景视频流的方法
US11184641B2 (en) * 2017-05-09 2021-11-23 Koninklijke Kpn N.V. Coding spherical video data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872353A (zh) * 2015-12-15 2016-08-17 乐视网信息技术（北京）股份有限公司 一种在移动设备上实现播放全景视频的系统和方法
CN109565610A (zh) * 2016-05-25 2019-04-02 皇家Kpn公司 空间平铺的全向视频流播
CN106296819A (zh) * 2016-08-12 2017-01-04 北京航空航天大学 一种基于智能机顶盒的全景视频播放器
KR101912396B1 (ko) * 2017-06-13 2018-10-26 주식회사 아이닉스 가상 카메라 기반의 임의 시점 영상 생성 장치 및 방법
CN109255832A (zh) * 2018-09-21 2019-01-22 四川长虹电器股份有限公司 一种基于OpenGL的目标光场创建方法
CN111200750A (zh) * 2018-11-16 2020-05-26 北京字节跳动网络技术有限公司 全景视频的多窗口播放方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926371A (zh) * 2022-06-27 2022-08-19 北京五八信息技术有限公司 一种全景图的垂直校正、灭点检测方法、设备及存储介质
CN114926371B (zh) * 2022-06-27 2023-04-07 北京五八信息技术有限公司 一种全景图的垂直校正、灭点检测方法、设备及存储介质

Also Published As

Publication number Publication date
WO2022141781A1 (zh) 2022-07-07

Similar Documents

Publication Publication Date Title
US11321906B2 (en) Asynchronous time and space warp with determination of region of interest
US10474227B2 (en) Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10957011B2 (en) System and method of capturing and rendering a stereoscopic panorama using a depth buffer
US10334238B2 (en) Method and system for real-time rendering displaying high resolution virtual reality (VR) video
US10403029B2 (en) Methods and systems for multistage post-rendering image transformation
CN108282694B (zh) 全景视频渲染方法、装置及电子设备
US11282264B2 (en) Virtual reality content display method and apparatus
US10235795B2 (en) Methods of compressing a texture image and image data processing system and methods of generating a 360 degree panoramic video thereof
CN108090880B (zh) 一种图像的反畸变处理方法以及装置
CN112788317A (zh) 一种播放全景视频的方法、系统、存储介质及播放设备
CN110956583A (zh) 球面图像处理方法、装置及服务器
US11892637B2 (en) Image generation apparatus, head-mounted display, content processing system, and image display method
CN113302658A (zh) 并行纹理采样
US20140218367A1 (en) Rendering Processing Device and Rendering Processing Method
WO2022121653A1 (zh) 确定透明度的方法、装置、电子设备和存储介质
CN109978945B (zh) 一种增强现实的信息处理方法和装置
CN108765582B (zh) 一种全景图片显示方法及设备
US20200118241A1 (en) Image processing method and apparatus
KR102176805B1 (ko) 뷰 방향이 표시되는 vr 컨텐츠 제공 시스템 및 방법
CN108022204A (zh) 一种柱面全景视频转换为球面全景视频的方法
US11614627B2 (en) Image processing apparatus, head-mounted display, and image displaying method
CN113810734B (zh) 视频融合方法、装置、设备、系统及计算机可读存储介质
JP2020167657A (ja) 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法
CN117931120B (zh) 一种基于gpu的摄像头图像视角调整方法
TW202129599A (zh) 用於多鏡頭畸變校正的方法和裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210511