CN106534827A - 基于用户视角播放全景视频的方法及系统 - Google Patents
基于用户视角播放全景视频的方法及系统 Download PDFInfo
- Publication number
- CN106534827A CN106534827A CN201611174397.1A CN201611174397A CN106534827A CN 106534827 A CN106534827 A CN 106534827A CN 201611174397 A CN201611174397 A CN 201611174397A CN 106534827 A CN106534827 A CN 106534827A
- Authority
- CN
- China
- Prior art keywords
- panoramic video
- playing
- user
- fitting model
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013507 mapping Methods 0.000 claims abstract description 47
- 238000009877 rendering Methods 0.000 claims abstract description 32
- 230000000007 visual effect Effects 0.000 claims description 79
- 230000008602 contraction Effects 0.000 claims description 18
- 238000010586 diagram Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010030 laminating Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开基于用户视角播放全景视频的方法，包括：在收到全景视频播放请求时，根据所述全景视频播放请求获取对应的全景视频及该全景视频与空间三维的映射关系；检测所述播放全景视频的设备的空间位置，并基于所述播放全景视频的设备的空间位置，得到所述用户的空间视角；根据所述用户的空间视角及所述全景视频与空间三维的映射关系，得到所述用户视角范围内的全景视频；基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述贴合模型的相应位置上并渲染播放。本发明降低了播放全景视频的渲染压力，提升了全景视频播放的流畅度。
Description
技术领域
本发明涉及视频播放的技术领域，更具体地，涉及一种基于用户视角播放全景视频的方法及系统。
背景技术
全景数据，包括全景视频，已成为当前的热门研究课题之一。全景视频，即720度或者360度全景视频，它是在720度或者360度全景的技术之上发展延伸而来，将静态的全景图片转化为动态的视频图像，全景视频可以在拍摄角度上下左右360度范围内任意观看动态视频，让用户有一种身临其境的感觉。在制作全景视频时使用一组摄像机在拍摄点周围同时拍摄360度(或720度)的画面，并经过后期的图像拼接缝合后使之能够在任意时刻无失真地展现拍摄点周围画面的视频。
目前还没有保存全景视频的特有格式，现有的全景视频还是采用与传统视频相同的保存格式：全景播放器播放的是经过拼接处理的以拍摄点为中心的球面投影面上的画面，目前对这种球面投影不方便存储，而是常常将球面投影变换存储为矩形图像，在全景播放器播放该全景视频时将存储的矩形图像重新映射贴合到球面上播放。
然而，在用户观看全景视频时，由于人体视角的原因不能同时看到整个全景视频的画面，因此，对于用户来说解码、贴图和渲染播放整个全景视频是一种极大的资源浪费，尤其是在用户通过移动终端流量观看时，下载全景视频数据本身就比较耗费流量；并且现有方案对全景视频进行渲染播放时也会增加用户终端的解码和渲染压力，不利于用户使用体验。
另一方面，由于移动网络带宽的限制，可能会造成用户观看全景视频过程不流畅的问题，影响用户的观看体验。
因此，提供一种降低播放全景视频压力并提升播放流畅度的方案是本领域亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种基于用户视角播放全景视频的方法及系统，解决了现有技术中播放全景视频增加播放设备压力及播放不流畅的技术问题。
为了解决上述技术问题，本发明提出一种基于用户视角播放全景视频的方法，包括：
在播放全景视频的设备中，设置根据用户的空间视角将该用户视角范围内的全景视频贴合至贴合模型上；
在收到全景视频播放请求时，根据所述全景视频播放请求获取对应的全景视频及该全景视频与空间三维的映射关系；
检测所述播放全景视频的设备的空间位置，并基于所述播放全景视频的设备的空间位置，得到所述用户的空间视角；
根据所述用户的空间视角及所述全景视频与空间三维的映射关系，得到所述用户视角范围内的全景视频；
基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述贴合模型的相应位置上并渲染播放。
进一步地，其中，所述贴合模型，进一步为：球体贴合模型或六面体贴合模型。
进一步地，其中，基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述贴合模型的相应位置上并播放，为：
获取所述全景视频到拍摄点的空间三维坐标及距离，根据所述空间三维坐标及距离，建立所述全景视频的球体贴合模型或六面体贴合模型；
基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述球体贴合模型或六面体贴合模型的相应位置上并渲染播放。
进一步地，其中，该方法还包括：
接收所述球体贴合模型或六面体贴合模型景深的伸/缩请求，根据所述伸/缩请求及预先设定的伸/缩比例控制所述球体贴合模型或六面体贴合模型的空间三维景深对应地进行伸/缩，得到拉远/拉近的球体贴合模型或六面体贴合模型；
根据所述用户的空间视角、全景视频与空间三维的映射关系及拉远/拉近的球体贴合模型或六面体贴合模型，得到所述用户当前视角范围内的全景视频；
基于所述全景视频与空间三维的映射关系，将所述用户当前视角范围内的全景视频贴合到所述拉远/拉近的球体贴合模型或六面体贴合模型的相应位置上并渲染播放。
进一步地，其中，检测所述播放全景视频的设备的空间位置，为：
根据所述播放全景视频的设备与所述用户的头部之间的空间角度及距离确定所述播放全景视频的设备的空间位置。
另一方面，本发明还提供一种基于用户视角播放全景视频的系统，包括：设置模块、全景视频获取模块、用户视角获取模块、用户视角范围内全景视频获取模块及全景视频播放模块；其中，
所述设置模块，用于在播放全景视频的设备中，设置根据用户的空间视角将该用户视角范围内的全景视频贴合至贴合模型上；
所述全景视频获取模块，用于在收到全景视频播放请求时，根据所述全景视频播放请求获取对应的全景视频及该全景视频与空间三维的映射关系；
所述用户视角获取模块，用于检测所述播放全景视频的设备的空间位置，并基于所述播放全景视频的设备的空间位置，得到所述用户的空间视角；
所述用户视角范围内全景视频获取模块，用于根据所述用户的空间视角及所述全景视频与空间三维的映射关系，得到所述用户视角范围内的全景视频；
所述全景视频播放模块，用于基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述贴合模型的相应位置上并渲染播放。
进一步地，其中，所述贴合模型，为：球体贴合模型或六面体贴合模型。
进一步地，其中，所述全景视频播放模块，用于：
获取所述全景视频到拍摄点的空间三维坐标及距离，根据所述空间三维坐标及距离，建立所述全景视频的球体贴合模型或六面体贴合模型；
基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述球体贴合模型或六面体贴合模型的相应位置上并渲染播放。
进一步地，其中，该系统包括：景深控制模块，所述景深控制模块用于：
接收所述球体贴合模型或六面体贴合模型景深的伸/缩请求，根据所述伸/缩请求及预先设定的伸/缩比例控制所述球体贴合模型或六面体贴合模型的空间三维景深对应地进行伸/缩，得到拉远/拉近的球体贴合模型或六面体贴合模型；
根据所述用户的空间视角、全景视频与空间三维的映射关系及拉远/拉近的球体贴合模型或六面体贴合模型，得到所述用户当前视角范围内的全景视频；
基于所述全景视频与空间三维的映射关系，将所述用户当前视角范围内的全景视频贴合到所述拉远/拉近的球体贴合模型或六面体贴合模型的相应位置上并渲染播放。
进一步地，其中，所述用户视角获取模块，用于：
根据所述播放全景视频的设备与所述用户的头部之间的空间角度及距离确定所述播放全景视频的设备的空间位置。
与现有技术相比，本发明的基于用户视角播放全景视频的方法及系统，实现了如下的有益效果：
(1)本发明所述的基于用户视角播放全景视频的方法及系统，针对用户视角范围内的全景视频进行贴片后渲染播放，不需要对用户视觉范围外的全景视频进行渲染，降低了播放全景视频的渲染压力，提升了全景视频播放的流畅度。
(2)本发明所述的基于用户视角播放全景视频的方法及系统，基于用户视角范围获取对应空间三维内的全景视频，并转换为存储的全景视频范围，从而从全景视频中获取对应部分的视频内容贴合到全景视频的贴合模型相应位置进行渲染播放，提升了用户视角内全景视频贴合播放的准确性。
(3)本发明所述的基于用户视角播放全景视频的方法及系统，基于全景视频的景深控制，调节用户视角范围内的全景视频拉近或拉远，方便用户调节不同的全景视频画面的远近，提升了用户使用体验。
(4)本发明所述的基于用户视角播放全景视频的方法及系统，基于360度的全景视频，没有任何画面上的损耗，所有画面更逼近现实，画质清晰度更高，使得用户能够达到更好的使用体验。
当然，实施本发明的任一产品必不特定需要同时达到以上所述的所有技术效果。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1为本发明实施例1中所述基于用户视角播放全景视频的方法的流程示意图；
图2为本发明实施例1中所述为本实施例中获取用户视角范围内全景视频贴合到贴合模型相应位置的示意图；
图3为本发明实施例2中所述基于用户视角播放全景视频的方法的流程示意图；
图4为本发明实施例3中所述基于用户视角播放全景视频的系统的结构示意图；
图5为本发明实施例2中基于播放全景视频的设备与用户的头部之间位置关系确定播放全景视频的设备空间位置的示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
实施例1
如图1所示，为本实施例所述基于用户视角播放全景视频的方法的流程示意图，本实施例所述方法解决了现有技术中播放全景视频增加播放设备压力及播放不流畅的技术问题。本实施例所述基于用户视角播放全景视频的方法包括以下步骤：
步骤101、在播放全景视频的设备中，设置根据用户的空间视角将该用户视角范围内的全景视频贴合至贴合模型上。
优选地，在全景视频拍摄时，每个全景视频画面与空间三维的位置就是一一对应的，在拍摄好全景视频后，对全景视频的处理过程中就预先会将全景视频的画面与空间三维进行一一映射，并保存该全景视频与空间三维的映射关系，以便播放全景视频时的准确地确定全景视频的画面位置。
步骤102、用户在播放全景视频的设备中发送全景视频播放请求，在所述全景视频播放请求中带有所请求播放全景视频的标识。
步骤103、在播放全景视频的设备中，收到全景视频播放请求时，根据所请求播放全景视频的标识从全景视频数据库中获取对应的全景视频数据，包括：根据所述全景视频播放请求获取对应的全景视频及该全景视频与空间三维的映射关系。
步骤104、检测所述播放全景视频的设备的空间位置，并基于所述播放全景视频的设备的空间位置，得到所述用户的空间视角。
用户通过头部穿戴播放全景视频的设备，才能观看该设备中播放的全景视频，故该播放全景视频的设备会跟随着用户头部的活动而改变空间位置，且播放全景视频的设备的空间位置改变也反应出了用户的全景视角变化范围，因此通过播放全景视频的设备的空间位置可以反应出用户观看全景视频的视角。
步骤105、根据所述用户的空间视角及所述全景视频与空间三维的映射关系，得到所述用户视角范围内的全景视频。
全景视频是将用户置身于视频所构建的空间中，使得用户有一种身临其境的沉浸感，但是用户的视觉范围有限，要是将整个全景视频都贴合到贴合模型上制造出整个全景视频的播放场景，对于不在用户视角范围内的全景视频也进行贴合，渲染播放，无疑是一种极大的浪费，同时，还会增加全景视频播放器的播放压力。
在本步骤中，获取用户的视觉范围内的空间三维区域，在根据全景视频与空间三维的映射关系，就能够反推出存储在数据库中相应区域的全景视频内容，这样，就能获取用户视角范围内的全景视频展现给用户。
步骤106、基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述贴合模型的相应位置上并渲染播放。
如图2所示，为本实施例中获取用户视角范围201内全景视频202贴合到贴合模型203的相应位置的示意图，其中图中阴影部分为用户视角204处观看到贴合在贴合模型203上的视角范围201所对应的视角内全景视频202。
优选地，在所述用户的空间视角发生移动时，检测所述播放全景视频的设备移动后到达的空间位置，并基于所述播放全景视频的设备移动后到达的空间位置，得到所述用户移动后的空间视角；
获取用户移动后的空间视角所对应移动后的全景视频内容，基于所述全景视频与空间三维的映射关系，将所述用户移动后视角范围内的全景视频贴合到所述贴合模型的相应位置上并渲染播放。
本实施例所述基于用户视角播放全景视频的方法，针对用户视角范围内的全景视频进行贴片后渲染播放，不需要对用户视觉范围外的全景视频进行渲染，降低了播放全景视频的渲染压力，提升了全景视频播放的流畅度。
实施例2
如图3所示，为本实施例所述基于用户视角播放全景视频的方法的流程示意图，本实施例在实施例1的基础上，描述了获取用户视角范围、控制全景视频播放画面拉近或拉远的具体内容。本实施例所述基于用户视角播放全景视频的方法包括以下步骤：
步骤301、在播放全景视频的设备中，设置根据用户的空间视角将该用户视角范围内的全景视频贴合至贴合模型上。其中，所述贴合模型，进一步为：球体贴合模型或六面体贴合模型。
步骤302、在收到全景视频播放请求时，根据所述全景视频播放请求获取对应的全景视频及该全景视频与空间三维的映射关系。
步骤303、根据所述播放全景视频的设备与所述用户的头部之间的空间角度及距离确定所述播放全景视频的设备的空间位置。
如图5所示，为本实施例中基于播放全景视频的设备与用户的头部之间位置关系确定播放全景视频的设备空间位置的示意图。在图中，以用户头部501为原点建立x-y-z的空间三维坐标系，基于用户头部501与播放全景视频的设备502之间的距离503、用户头部501与播放全景视频的设备502连线到x轴之间的夹角A、用户头部501与播放全景视频的设备502连线到y轴之间的夹角B及用户头部501与播放全景视频的设备502连线到z轴之间的夹角C确定播放全景视频的设备相对于用户头部的空间位置。
步骤304、基于所述播放全景视频的设备的空间位置，得到所述用户的空间视角。
步骤305、根据所述用户的空间视角及所述全景视频与空间三维的映射关系，得到所述用户视角范围内的全景视频。
步骤306、获取所述全景视频到拍摄点的空间三维坐标及距离，根据所述空间三维坐标及距离，建立所述全景视频的球体贴合模型或六面体贴合模型。
步骤307、基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述球体贴合模型或六面体贴合模型的相应位置上并渲染播放。
步骤308、接收所述球体贴合模型或六面体贴合模型景深的伸/缩请求，根据所述伸/缩请求及预先设定的伸/缩比例控制所述球体贴合模型或六面体贴合模型的空间三维景深对应地进行伸/缩，得到拉远/拉近的球体贴合模型或六面体贴合模型。
步骤309、根据所述用户的空间视角、全景视频与空间三维的映射关系及拉远/拉近的球体贴合模型或六面体贴合模型，得到所述用户当前视角范围内的全景视频。
由于贴合用户当前视角范围内的全景视频的载体(贴合模型)进行了拉远/拉近，全景视频贴合到贴合模型上也就变成拉远/拉近的全景视频画面，如此有利于用户通过对景深的控制调节全景视频的远近程度，进一步提升了用户的使用体验。
步骤310、基于所述全景视频与空间三维的映射关系，将所述用户当前视角范围内的全景视频贴合到所述拉远/拉近的球体贴合模型或六面体贴合模型的相应位置上并渲染播放。
本实施例所述的基于用户视角播放全景视频的方法，基于全景视频的景深控制，调节用户视角范围内的全景视频拉近或拉远，方便用户调节不同的全景视频画面的远近，提升了用户使用体验。
实施例3
如图4所示，为本实施例所述基于用户视角播放全景视频的结构示意图。本实施例所述的系统用于实施上述实施例中所述基于用户视角播放全景视频的方法。本实施例所述的基于用户视角播放全景视频的系统，包括：设置模块401、全景视频获取模块402、用户视角获取模块403、用户视角范围内全景视频获取模块404及全景视频播放模块405。
其中，所述设置模块401与所述全景视频获取模块402相藕接，用于在播放全景视频的设备中，设置根据用户的空间视角将该用户视角范围内的全景视频贴合至贴合模型上。
所述全景视频获取模块402与所述设置模块401及用户视角获取模块403相藕接，用于在收到全景视频播放请求时，根据所述全景视频播放请求获取对应的全景视频及该全景视频与空间三维的映射关系。
所述用户视角获取模块403与所述全景视频获取模块402及用户视角范围内全景视频获取模块404相藕接，用于检测所述播放全景视频的设备的空间位置，并基于所述播放全景视频的设备的空间位置，得到所述用户的空间视角。
所述用户视角范围内全景视频获取模块404与所述用户视角获取模块403及全景视频播放模块405相藕接，用于根据所述用户的空间视角及所述全景视频与空间三维的映射关系，得到所述用户视角范围内的全景视频。
所述全景视频播放模块405与所述用户视角范围内全景视频获取模块404相藕接，用于基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述贴合模型的相应位置上并渲染播放。
优选地，所述贴合模型，进一步为：球体贴合模型或六面体贴合模型。
所述全景视频播放模块405，进一步用于：
获取所述全景视频到拍摄点的空间三维坐标及距离，根据所述空间三维坐标及距离，建立所述全景视频的球体贴合模型或六面体贴合模型；
基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述球体贴合模型或六面体贴合模型的相应位置上并渲染播放。
上述系统进一步包括：景深控制模块406与所述全景视频播放模块405相藕接，所述景深控制模块406用于：
接收所述球体贴合模型或六面体贴合模型景深的伸/缩请求，根据所述伸/缩请求及预先设定的伸/缩比例控制所述球体贴合模型或六面体贴合模型的空间三维景深对应地进行伸/缩，得到拉远/拉近的球体贴合模型或六面体贴合模型；
根据所述用户的空间视角、全景视频与空间三维的映射关系及拉远/拉近的球体贴合模型或六面体贴合模型，得到所述用户当前视角范围内的全景视频；
基于所述全景视频与空间三维的映射关系，将所述用户当前视角范围内的全景视频贴合到所述拉远/拉近的球体贴合模型或六面体贴合模型的相应位置上并渲染播放。
所述用户视角获取模块403，进一步用于：
根据所述播放全景视频的设备与所述用户的头部之间的空间角度及距离确定所述播放全景视频的设备的空间位置。
通过以上各个实施例可知，本发明的基于用户视角播放全景视频的方法及系统，存在的有益效果是：
(1)本发明所述的基于用户视角播放全景视频的方法及系统，针对用户视角范围内的全景视频进行贴片后渲染播放，不需要对用户视觉范围外的全景视频进行渲染，降低了播放全景视频的渲染压力，提升了全景视频播放的流畅度。
(2)本发明所述的基于用户视角播放全景视频的方法及系统，基于用户视角范围获取对应空间三维内的全景视频，并转换为存储的全景视频范围，从而从全景视频中获取对应部分的视频内容贴合到全景视频的贴合模型相应位置进行渲染播放，提升了用户视角内全景视频贴合播放的准确性。
(3)本发明所述的基于用户视角播放全景视频的方法及系统，基于全景视频的景深控制，调节用户视角范围内的全景视频拉近或拉远，方便用户调节不同的全景视频画面的远近，提升了用户使用体验。
(4)本发明所述的基于用户视角播放全景视频的方法及系统，基于360度的全景视频，没有任何画面上的损耗，所有画面更逼近现实，画质清晰度更高，使得用户能够达到更好的使用体验。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
虽然已经通过例子对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。
Claims (10)
1.一种基于用户视角播放全景视频的方法，其特征在于，包括：
在播放全景视频的设备中，设置根据用户的空间视角将该用户视角范围内的全景视频贴合至贴合模型上；
在收到全景视频播放请求时，根据所述全景视频播放请求获取对应的全景视频及该全景视频与空间三维的映射关系；
检测所述播放全景视频的设备的空间位置，并基于所述播放全景视频的设备的空间位置，得到所述用户的空间视角；
根据所述用户的空间视角及所述全景视频与空间三维的映射关系，得到所述用户视角范围内的全景视频；
基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述贴合模型的相应位置上并渲染播放。
2.根据权利要求1所述的基于用户视角播放全景视频的方法，其特征在于，所述贴合模型，进一步为：球体贴合模型或六面体贴合模型。
3.根据权利要求2所述的基于用户视角播放全景视频的方法，其特征在于，基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述贴合模型的相应位置上并播放，进一步为：
获取所述全景视频到拍摄点的空间三维坐标及距离，根据所述空间三维坐标及距离，建立所述全景视频的球体贴合模型或六面体贴合模型；
基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述球体贴合模型或六面体贴合模型的相应位置上并渲染播放。
4.根据权利要求3所述的基于用户视角播放全景视频的方法，其特征在于，进一步包括：
接收所述球体贴合模型或六面体贴合模型景深的伸/缩请求，根据所述伸/缩请求及预先设定的伸/缩比例控制所述球体贴合模型或六面体贴合模型的空间三维景深对应地进行伸/缩，得到拉远/拉近的球体贴合模型或六面体贴合模型；
根据所述用户的空间视角、全景视频与空间三维的映射关系及拉远/拉近的球体贴合模型或六面体贴合模型，得到所述用户当前视角范围内的全景视频；
基于所述全景视频与空间三维的映射关系，将所述用户当前视角范围内的全景视频贴合到所述拉远/拉近的球体贴合模型或六面体贴合模型的相应位置上并渲染播放。
5.根据权利要求1所述的基于用户视角播放全景视频的方法，其特征在于，检测所述播放全景视频的设备的空间位置，进一步为：
根据所述播放全景视频的设备与所述用户的头部之间的空间角度及距离确定所述播放全景视频的设备的空间位置。
6.一种基于用户视角播放全景视频的系统，其特征在于，包括：设置模块、全景视频获取模块、用户视角获取模块、用户视角范围内全景视频获取模块及全景视频播放模块；其中，
所述设置模块，用于在播放全景视频的设备中，设置根据用户的空间视角将该用户视角范围内的全景视频贴合至贴合模型上；
所述全景视频获取模块，用于在收到全景视频播放请求时，根据所述全景视频播放请求获取对应的全景视频及该全景视频与空间三维的映射关系；
所述用户视角获取模块，用于检测所述播放全景视频的设备的空间位置，并基于所述播放全景视频的设备的空间位置，得到所述用户的空间视角；
所述用户视角范围内全景视频获取模块，用于根据所述用户的空间视角及所述全景视频与空间三维的映射关系，得到所述用户视角范围内的全景视频；
所述全景视频播放模块，用于基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述贴合模型的相应位置上并渲染播放。
7.根据权利要求6所述的基于用户视角播放全景视频的系统，其特征在于，所述贴合模型，进一步为：球体贴合模型或六面体贴合模型。
8.根据权利要求7所述的基于用户视角播放全景视频的系统，其特征在于，所述全景视频播放模块，进一步用于：
获取所述全景视频到拍摄点的空间三维坐标及距离，根据所述空间三维坐标及距离，建立所述全景视频的球体贴合模型或六面体贴合模型；
基于所述全景视频与空间三维的映射关系，将所述用户视角范围内的全景视频贴合到所述球体贴合模型或六面体贴合模型的相应位置上并渲染播放。
9.根据权利要求8所述的基于用户视角播放全景视频的系统，其特征在于，进一步包括：景深控制模块，所述景深控制模块用于：
接收所述球体贴合模型或六面体贴合模型景深的伸/缩请求，根据所述伸/缩请求及预先设定的伸/缩比例控制所述球体贴合模型或六面体贴合模型的空间三维景深对应地进行伸/缩，得到拉远/拉近的球体贴合模型或六面体贴合模型；
根据所述用户的空间视角、全景视频与空间三维的映射关系及拉远/拉近的球体贴合模型或六面体贴合模型，得到所述用户当前视角范围内的全景视频；
基于所述全景视频与空间三维的映射关系，将所述用户当前视角范围内的全景视频贴合到所述拉远/拉近的球体贴合模型或六面体贴合模型的相应位置上并渲染播放。
10.根据权利要求6所述的基于用户视角播放全景视频的系统，其特征在于，所述用户视角获取模块，进一步用于：
根据所述播放全景视频的设备与所述用户的头部之间的空间角度及距离确定所述播放全景视频的设备的空间位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611174397.1A CN106534827B (zh) | 2016-12-19 | 2016-12-19 | 基于用户视角播放全景视频的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611174397.1A CN106534827B (zh) | 2016-12-19 | 2016-12-19 | 基于用户视角播放全景视频的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106534827A true CN106534827A (zh) | 2017-03-22 |
| CN106534827B CN106534827B (zh) | 2018-03-02 |
Family
ID=58339548
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611174397.1A Active CN106534827B (zh) | 2016-12-19 | 2016-12-19 | 基于用户视角播放全景视频的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106534827B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107633241A (zh) * | 2017-10-23 | 2018-01-26 | 三星电子（中国）研发中心 | 一种全景视频自动标注和追踪物体的方法和装置 |
| CN107945231A (zh) * | 2017-11-21 | 2018-04-20 | 江西服装学院 | 一种三维视频播放方法及装置 |
| CN108235132A (zh) * | 2018-03-13 | 2018-06-29 | 哈尔滨市舍科技有限公司 | 基于人眼定位的全景视频视角调整方法与装置 |
| WO2019080792A1 (zh) * | 2017-10-23 | 2019-05-02 | 腾讯科技（深圳）有限公司 | 全景视频图像的播放方法、装置、存储介质及电子装置 |
| CN111083121A (zh) * | 2019-11-29 | 2020-04-28 | 北京邮电大学 | 一种星地融合网络中的全景视频多播方法及装置 |
| CN111277886A (zh) * | 2018-11-16 | 2020-06-12 | 北京字节跳动网络技术有限公司 | 全景视频的视场控制方法、装置、电子设备及存储介质 |
| CN114449162A (zh) * | 2021-12-22 | 2022-05-06 | 天翼云科技有限公司 | 一种播放全景视频的方法、装置、计算机设备及存储介质 |
| CN115103114A (zh) * | 2022-06-16 | 2022-09-23 | 京东方科技集团股份有限公司 | 全景视频的视角跟踪方法、装置、设备和介质 |
| WO2023109442A1 (zh) * | 2021-12-17 | 2023-06-22 | 华为技术有限公司 | 全景视频的动态范围映射方法及装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110112534A (ko) * | 2010-04-07 | 2011-10-13 | 한국전자통신연구원 | 시청자 위치 정보를 이용한 파노라마 화면 제어 시스템 및 방법 |
| CN102289144A (zh) * | 2011-06-30 | 2011-12-21 | 浙江工业大学 | 基于全方位视觉传感器的智能3d摄像设备 |
| US20120060177A1 (en) * | 2010-09-02 | 2012-03-08 | Verizon Patent And Licensing, Inc. | Perspective display systems and methods |
| WO2014008438A1 (en) * | 2012-07-03 | 2014-01-09 | Tourwrist, Inc | Systems and methods for tracking user postures and motions to control display of and navigate panoramas |
| CN105323552A (zh) * | 2015-10-26 | 2016-02-10 | 北京时代拓灵科技有限公司 | 一种全景视频播放方法及系统 |
| CN105812768A (zh) * | 2016-03-18 | 2016-07-27 | 深圳市维尚境界显示技术有限公司 | 一种3d视频在vr设备中的播放方法及系统 |
| CN105843541A (zh) * | 2016-03-22 | 2016-08-10 | 乐视网信息技术（北京）股份有限公司 | 全景视频中的目标追踪显示方法和装置 |
| CN105915937A (zh) * | 2016-05-10 | 2016-08-31 | 上海乐相科技有限公司 | 一种全景视频播放方法及设备 |
| CN105955603A (zh) * | 2016-04-20 | 2016-09-21 | 乐视控股（北京）有限公司 | 全景视频播放方向调整方法及装置 |
| CN105975172A (zh) * | 2015-12-11 | 2016-09-28 | 乐视网信息技术（北京）股份有限公司 | 全景视频的调整方法、装置及移动终端 |
| CN106060570A (zh) * | 2016-06-30 | 2016-10-26 | 北京奇艺世纪科技有限公司 | 一种全景视频图像播放、编码方法及装置 |
-
2016
- 2016-12-19 CN CN201611174397.1A patent/CN106534827B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110112534A (ko) * | 2010-04-07 | 2011-10-13 | 한국전자통신연구원 | 시청자 위치 정보를 이용한 파노라마 화면 제어 시스템 및 방법 |
| US20120060177A1 (en) * | 2010-09-02 | 2012-03-08 | Verizon Patent And Licensing, Inc. | Perspective display systems and methods |
| CN102289144A (zh) * | 2011-06-30 | 2011-12-21 | 浙江工业大学 | 基于全方位视觉传感器的智能3d摄像设备 |
| WO2014008438A1 (en) * | 2012-07-03 | 2014-01-09 | Tourwrist, Inc | Systems and methods for tracking user postures and motions to control display of and navigate panoramas |
| CN105323552A (zh) * | 2015-10-26 | 2016-02-10 | 北京时代拓灵科技有限公司 | 一种全景视频播放方法及系统 |
| CN105975172A (zh) * | 2015-12-11 | 2016-09-28 | 乐视网信息技术（北京）股份有限公司 | 全景视频的调整方法、装置及移动终端 |
| CN105812768A (zh) * | 2016-03-18 | 2016-07-27 | 深圳市维尚境界显示技术有限公司 | 一种3d视频在vr设备中的播放方法及系统 |
| CN105843541A (zh) * | 2016-03-22 | 2016-08-10 | 乐视网信息技术（北京）股份有限公司 | 全景视频中的目标追踪显示方法和装置 |
| CN105955603A (zh) * | 2016-04-20 | 2016-09-21 | 乐视控股（北京）有限公司 | 全景视频播放方向调整方法及装置 |
| CN105915937A (zh) * | 2016-05-10 | 2016-08-31 | 上海乐相科技有限公司 | 一种全景视频播放方法及设备 |
| CN106060570A (zh) * | 2016-06-30 | 2016-10-26 | 北京奇艺世纪科技有限公司 | 一种全景视频图像播放、编码方法及装置 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107633241A (zh) * | 2017-10-23 | 2018-01-26 | 三星电子（中国）研发中心 | 一种全景视频自动标注和追踪物体的方法和装置 |
| WO2019080792A1 (zh) * | 2017-10-23 | 2019-05-02 | 腾讯科技（深圳）有限公司 | 全景视频图像的播放方法、装置、存储介质及电子装置 |
| CN107633241B (zh) * | 2017-10-23 | 2020-11-27 | 三星电子（中国）研发中心 | 一种全景视频自动标注和追踪物体的方法和装置 |
| CN107945231A (zh) * | 2017-11-21 | 2018-04-20 | 江西服装学院 | 一种三维视频播放方法及装置 |
| CN108235132A (zh) * | 2018-03-13 | 2018-06-29 | 哈尔滨市舍科技有限公司 | 基于人眼定位的全景视频视角调整方法与装置 |
| CN111277886A (zh) * | 2018-11-16 | 2020-06-12 | 北京字节跳动网络技术有限公司 | 全景视频的视场控制方法、装置、电子设备及存储介质 |
| CN111277886B (zh) * | 2018-11-16 | 2022-10-28 | 北京字节跳动网络技术有限公司 | 全景视频的视场控制方法、装置、电子设备及存储介质 |
| CN111083121A (zh) * | 2019-11-29 | 2020-04-28 | 北京邮电大学 | 一种星地融合网络中的全景视频多播方法及装置 |
| WO2023109442A1 (zh) * | 2021-12-17 | 2023-06-22 | 华为技术有限公司 | 全景视频的动态范围映射方法及装置 |
| CN114449162A (zh) * | 2021-12-22 | 2022-05-06 | 天翼云科技有限公司 | 一种播放全景视频的方法、装置、计算机设备及存储介质 |
| CN114449162B (zh) * | 2021-12-22 | 2024-04-30 | 天翼云科技有限公司 | 一种播放全景视频的方法、装置、计算机设备及存储介质 |
| CN115103114A (zh) * | 2022-06-16 | 2022-09-23 | 京东方科技集团股份有限公司 | 全景视频的视角跟踪方法、装置、设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106534827B (zh) | 2018-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106534827B (zh) | 基于用户视角播放全景视频的方法及系统 | |
| CN106331732B (zh) | 生成、展现全景内容的方法及装置 | |
| CN106358036B (zh) | 一种以预设视角观看虚拟现实视频的方法 | |
| US11037365B2 (en) | Method, apparatus, medium, terminal, and device for processing multi-angle free-perspective data | |
| US20200329266A1 (en) | Information processing apparatus, method for processing information, and storage medium | |
| WO2018069466A1 (en) | Processing spherical video data on the basis of a region of interest | |
| CN111669567B (zh) | 多角度自由视角视频数据生成方法及装置、介质、服务器 | |
| CN106651764A (zh) | 一种全景图压缩方法及装置 | |
| KR102308604B1 (ko) | 레거시 및 몰입형 렌더링 디바이스들에 대한 몰입형 비디오를 포맷하는 방법, 장치 및 스트림 | |
| CN106534974B (zh) | 自动识别立方体全景视频的方法及系统 | |
| CN111669518A (zh) | 多角度自由视角交互方法及装置、介质、终端、设备 | |
| CN111669561B (zh) | 多角度自由视角图像数据处理方法及装置、介质、设备 | |
| CN107835435B (zh) | 一种赛事宽视角直播设备和相关联的直播系统和方法 | |
| WO2022141781A1 (zh) | 一种播放全景视频的方法、系统、存储介质及播放设备 | |
| CN106713891B (zh) | 基于d3d接口播放立方体全景视频的方法及系统 | |
| WO2020206647A1 (zh) | 跟随用户运动控制播放视频内容的方法和装置 | |
| JP2018033107A (ja) | 動画の配信装置及び配信方法 | |
| CN111669570B (zh) | 多角度自由视角视频数据处理方法及装置、介质、设备 | |
| CN108022204A (zh) | 一种柱面全景视频转换为球面全景视频的方法 | |
| CN111669569A (zh) | 一种视频生成方法及装置、介质、终端 | |
| CN111669604A (zh) | 一种采集设备设置方法及装置、终端、采集系统、设备 | |
| CN111669568A (zh) | 多角度自由视角交互方法及装置、介质、终端、设备 | |
| US11974015B2 (en) | Media processing method, device and system, and readable storage medium | |
| CN111669603B (zh) | 多角度自由视角数据处理方法及装置、介质、终端、设备 | |
| CN113194326A (zh) | 全景直播方法、装置、计算机设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PP01 | Preservation of patent right | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20190705 Granted publication date: 20180302 |