CN110704673B - 基于视频内容消费的反馈信息标识方法、系统及存储介质 - Google Patents
基于视频内容消费的反馈信息标识方法、系统及存储介质 Download PDFInfo
- Publication number
- CN110704673B CN110704673B CN201810760047.6A CN201810760047A CN110704673B CN 110704673 B CN110704673 B CN 110704673B CN 201810760047 A CN201810760047 A CN 201810760047A CN 110704673 B CN110704673 B CN 110704673B
- Authority
- CN
- China
- Prior art keywords
- information
- video
- feedback information
- feedback
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提供了一种基于视频内容消费的反馈信息标识方法，包含以下步骤：视频获取步骤：获取视频；类型信息读取步骤：读取视频类型信息；属性判断步骤：对视频类型信息进行解析，获得视频属性；反馈指令生成步骤：根据视频属性，生成反馈信息获取指令。相应地，本发明还提供了一种基于视频内容消费的反馈信息标识系统与计算机可读存储介质。本发明对视频媒体的6DoF内容进行信息标识，标识信息指示了该部分视频是否为6DoF以及用户基于6DoF的移动与交互，在具体的应用中，比如VR自然游戏和自由视角现场直播等，本发明提供的标识信息可进一步用于客户端应用或服务的处理和呈现。
Description
技术领域
本发明涉及虚拟现实技术领域，具体地，涉及一种基于六自由度视频内容消费的反馈信息标识方法，特别是一种基于六自由度的用于视频呈现与消费时的特定应用场景的反馈信息标识方法。
背景技术
随着虚拟现实(Virtual Reality，VR)技术的快速发展，VR系统的需求增加，技术上来说，正在实现从三自由度(3Degree of Freedom，3DoF)到三自由度加(3Degree ofFreedom+，3DoF+)到六自由度(6Degree of Freedom，6DoF)的发展，VR视频应该具有六自由度(6Degree of Freedom，6DoF)的头部追踪功能，在视觉上增加深度信息，可以探入物体的内部，允许用户在VR空间内进行移动，以创造身临其境的体验。与传统三自由度VR相比，6DoF视频场景会随着人的走动而发生相应改变，也就是说用户戴着VR头部显示器朝任意方向移动时VR都会做出相应的反应，就像是在真实世界里看东西一样。现在，对于3DoF+和6DoF视频内容的检测和标识是判断用户沉浸体验感的重要指标，为了满足不同应用场景的需求，需要对视频内容的3DoF+以及6DoF信息进行额外的标识来满足特定信息的进一步指示。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于视频内容消费的反馈信息标识方法、系统及存储介质。
根据本发明提供的基于视频内容消费的反馈信息标识方法，包含以下步骤：
视频获取步骤：获取视频；
类型信息读取步骤：读取视频类型信息；
属性判断步骤：对视频类型信息进行解析，获得视频属性；
反馈指令生成步骤：根据视频属性，生成反馈信息获取指令。
优选地，所述视频属性包含以下内容：
--common属性；
--3DoF属性；
--3DoF+属性；
--6DoF属性；
反馈指令生成步骤中：
根据common属性，生成保持指令；
根据3DoF属性，生成第一反馈信息的获取指令；
根据3DoF+属性，生成第二反馈信息的获取指令；
根据6DoF属性，生成第三反馈信息的获取指令。
优选地，所述第一反馈信息包含头部Yaw旋转信息、头部Roll旋转信息以及头部Pitch旋转信息；
所述第二反馈信息包含：头部Yaw旋转信息、头部Roll旋转信息、头部Pitch旋转信息、头部前后移动信息、头部左右移动信息以及头部上下移动信息；
所述第三反馈信息包含：头部Yaw旋转信息、头部Roll旋转信息、头部Pitch旋转信息、用户前后移动坐标、用户左右移动坐标、用户上下移动坐标。
优选地，还包含反馈步骤：令客户端向服务器发送反馈信息，反馈信息包含第一反馈信息、第二反馈信息以及第三反馈信息。
本发明还提供了一种基于视频内容消费的反馈信息标识系统，包含以下模块：
视频获取模块：获取视频；
类型信息读取模块：读取视频类型信息；
属性判断模块：对视频类型信息进行解析，获得视频属性；
反馈指令生成模块：根据视频属性，生成反馈信息获取指令。
优选地，所述视频属性包含以下内容：
--common属性；
--3DoF属性；
--3DoF+属性；
--6DoF属性；
反馈指令生成模块中：
根据common属性，生成保持指令；
根据3DoF属性，生成第一反馈信息的获取指令；
根据3DoF+属性，生成第二反馈信息的获取指令；
根据6DoF属性，生成第三反馈信息的获取指令。
优选地，所述第一反馈信息包含头部Yaw旋转信息、头部Roll旋转信息以及头部Pitch旋转信息；
所述第二反馈信息包含：头部Yaw旋转信息、头部Roll旋转信息、头部Pitch旋转信息、头部前后移动信息、头部左右移动信息以及头部上下移动信息；
所述第三反馈信息包含：头部Yaw旋转信息、头部Roll旋转信息、头部Pitch旋转信息、用户前后移动坐标、用户左右移动坐标、用户上下移动坐标。
优选地，还包含反馈模块：令客户端向服务器发送反馈信息，反馈信息包含第一反馈信息、第二反馈信息以及第三反馈信息。
本发明还提供了一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的基于视频内容消费的反馈信息标识方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
1、本发明对视频媒体的6DoF内容进行信息标识，标识信息指示了该部分视频是否为6DoF以及用户基于6DoF的移动与交互。
2、在具体的应用中，比如VR自然游戏和自由视角现场直播等，本发明提供的标识信息可进一步用于客户端应用或服务的处理和呈现。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明关于自由视角现场直播的一个具体应用实例；
图2为基于六自由度视频内容消费的反馈信息标识方法逻辑流程图；
图3为优选实施例中VR信息的组织结构；
图4为X、Y、Z、Yaw、Roll、Pitch对应自由度示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
本发明提供的基于视频内容消费的反馈信息标识方法，包含以下步骤：视频获取步骤：获取视频；类型信息读取步骤：读取视频类型信息；属性判断步骤：对视频类型信息进行解析，获得视频属性；反馈指令生成步骤：根据视频属性，生成反馈信息获取指令。优选地，上述步骤均在客户端中进行。在实际应用中，视频获取步骤获取的视频预先进行了指示信息标识，具体地，经过了如下步骤的处理：视频存储步骤：将视频存储在服务器端上；解析定型步骤：对视频进行解析，根据解析结果设置视频母类型；属性设置步骤：根据视频母类型设置视频属性。
实施例中，所述视频属性包含以下内容：common属性；3DoF属性；3DoF+属性；6DoF属性。反馈指令生成步骤中：根据common属性，生成保持指令；根据3DoF属性，生成第一反馈信息的获取指令；根据3DoF+属性，生成第二反馈信息的获取指令；根据6DoF属性，生成第三反馈信息的获取指令。所述第一反馈信息包含头部Yaw旋转信息、头部Roll旋转信息以及头部Pitch旋转信息；所述第二反馈信息包含：头部Yaw旋转信息、头部Roll旋转信息、头部Pitch旋转信息、头部前后移动信息、头部左右移动信息以及头部上下移动信息；所述第三反馈信息包含：头部Yaw旋转信息、头部Roll旋转信息、头部Pitch旋转信息、用户前后移动坐标、用户左右移动坐标、用户上下移动坐标。优选地，基于视频内容消费的反馈信息标识方法还包含反馈步骤：令客户端向服务器发送反馈信息，反馈信息包含第一反馈信息、第二反馈信息以及第三反馈信息。
上述信息可以应用在具体的协议中，以OMAF标准中的MMT传输信令为例，可以根据需要合理地添加如下字段：
hmovement_x：指示用户头部移动的x坐标信息；
hmovement_y：指示用户头部移动的y坐标信息；
hmovement_z：指示用户头部移动的z坐标信息；
movement_x：指示用户移动的x坐标信息；
movement_y：指示用户移动的y坐标信息；
movement_z：指示用户移动的z坐标信息；
3DoF+_flag：指示3DoF+视频。
6DoF_flag：指示6DoF视频。
如图3所示，基于以上信息，以OMAF标准中MMT传输信令中的特定VR信令VRViewport Change Feedback为例，优选给出一种对这些信息的组织结构。如图4所示，前后、左右、上下方向的自由度分别对应了空间之间坐标系中X轴、Y轴、Z轴方向的平移自由度，而Roll旋转、Pitch旋转、Yaw旋转则分别对应绕X轴旋转、绕Y轴旋转、绕Z轴旋转的自由度。
相应地，本发明还提供了一种基于视频内容消费的反馈信息标识系统，包含以下模块：视频获取模块：获取视频；类型信息读取模块：读取视频类型信息；属性判断模块：对视频类型信息进行解析，获得视频属性；反馈指令生成模块：根据视频属性，生成反馈信息获取指令。在实际应用中，视频获取模块获取的视频预先进行了指示信息标识，具体地，经过了如下模块的处理：视频存储模块：将视频存储在服务器端上；解析定型模块：对视频进行解析，根据解析结果设置视频母类型；属性设置模块：根据视频母类型设置视频属性。
实施例中，所述视频属性包含以下内容：common属性；3DoF属性；3DoF+属性；6DoF属性。反馈指令生成模块中：根据common属性，生成保持指令；根据3DoF属性，生成第一反馈信息的获取指令；根据3DoF+属性，生成第二反馈信息的获取指令；根据6DoF属性，生成第三反馈信息的获取指令。所述第一反馈信息包含头部Yaw旋转信息、头部Roll旋转信息以及头部Pitch旋转信息；所述第二反馈信息包含：头部Yaw旋转信息、头部Roll旋转信息、头部Pitch旋转信息、头部前后移动信息、头部左右移动信息以及头部上下移动信息；所述第三反馈信息包含：头部Yaw旋转信息、头部Roll旋转信息、头部Pitch旋转信息、用户前后移动坐标、用户左右移动坐标、用户上下移动坐标。优选地，基于视频内容消费的反馈信息标识系统还包含反馈模块：令客户端向服务器发送反馈信息，反馈信息包含第一反馈信息、第二反馈信息以及第三反馈信息。
本发明还提供了一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的基于视频内容消费的反馈信息标识方法的步骤。
应用实例之自由视角现场直播：
在全景视频的应用中，由于技术的局限性，用户在观看视频的时候，仅限于包含的360度视角范围，其观看内容不会随着用户的脚步移动而发生改变。而对6DoF视频来说，用户可以自由的在场景里走动，根据喜好和需要选择直播视角获取对应视频信息，并且能通过3D显示屏和环绕声系统获得一种身临其境的感觉。
具体地，通过定位6DoF_flag得到其值为1并根据其对应的movement_x、movement_y、movement_z等信息，直接将该用户移动信息实时反馈给服务器并获取对应视角区域呈现给用户。如图1所示，在一场足球赛中，用户在支持6DoF的新媒体室观看比赛，通过3D显示屏和环绕声系统给人一种身临其境的感觉。在上半场前十分钟，裁判做出了越位的判定，用户不太确信，在大屏幕上的比赛继续播放时，用户回顾了自己平板电脑上的视频，并将视角调整到最佳角度，以确定裁判确实是否是正确的。
总而言之，随着视频媒体技术的飞速发展，视频媒体的应用领域也越来越广，在众多的视频媒体应用中，人们越来越关注用户的沉浸感、用户与环境以及用户之间的交互等，比如在VR自然游戏中，通过自由的在周围场景里穿梭以及玩家之间的自然互动，给用户带来了非常好的沉浸体验，这是传统的三自由度所不能实现的。而在自由视角现场直播中，用户可以通过不同视角的选择，更好的融入到现场去，也能更加自由的享受直播节目。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (9)
1.一种基于视频内容消费的反馈信息标识方法，其特征在于，包含以下步骤：
视频获取步骤：获取视频；
类型信息读取步骤：读取视频类型信息；
属性判断步骤：对视频类型信息进行解析，获得视频属性；
反馈指令生成步骤：根据视频属性，生成反馈信息获取指令；
所述视频属性包含以下内容：
--3DoF+属性；
反馈指令生成步骤中：
根据3DoF+属性，生成第二反馈信息的获取指令；
所述第二反馈信息包含：头部前后移动信息、头部左右移动信息以及头部上下移动信息。
2.根据权利要求1所述的基于视频内容消费的反馈信息标识方法，其特征在于，所述视频属性包含以下内容：
--common属性；
--3DoF属性；
--6DoF属性；
反馈指令生成步骤中：
根据common属性，生成保持指令；
根据3DoF属性，生成第一反馈信息的获取指令；
根据6DoF属性，生成第三反馈信息的获取指令。
3.根据权利要求2所述的基于视频内容消费的反馈信息标识方法，其特征在于，所述第一反馈信息包含头部Yaw旋转信息、头部Roll旋转信息以及头部Pitch旋转信息；
所述第二反馈信息还包含：头部Yaw旋转信息、头部Roll旋转信息、头部Pitch旋转信息；
所述第三反馈信息包含：头部Yaw旋转信息、头部Roll旋转信息、头部Pitch旋转信息、用户前后移动坐标、用户左右移动坐标、用户上下移动坐标。
4.根据权利要求1所述的基于视频内容消费的反馈信息标识方法，其特征在于，还包含反馈步骤：令客户端向服务器发送反馈信息，反馈信息包含第一反馈信息、第二反馈信息以及第三反馈信息。
5.一种基于视频内容消费的反馈信息标识系统，其特征在于，包含以下模块：
视频获取模块：获取视频；
类型信息读取模块：读取视频类型信息；
属性判断模块：对视频类型信息进行解析，获得视频属性；
反馈指令生成模块：根据视频属性，生成反馈信息获取指令；
所述视频属性包含以下内容：
--3DoF+属性；
反馈指令生成模块中：
根据3DoF+属性，生成第二反馈信息的获取指令；
所述第二反馈信息包含：头部前后移动信息、头部左右移动信息以及头部上下移动信息。
6.根据权利要求5所述的基于视频内容消费的反馈信息标识系统，其特征在于，所述视频属性包含以下内容：
--common属性；
--3DoF属性；
--6DoF属性；
反馈指令生成模块中：
根据common属性，生成保持指令；
根据3DoF属性，生成第一反馈信息的获取指令；
根据6DoF属性，生成第三反馈信息的获取指令。
7.根据权利要求6所述的基于视频内容消费的反馈信息标识系统，其特征在于，所述第一反馈信息包含头部Yaw旋转信息、头部Roll旋转信息以及头部Pitch旋转信息；
所述第二反馈信息还包含：头部Yaw旋转信息、头部Roll旋转信息、头部Pitch旋转信息；
所述第三反馈信息包含：头部Yaw旋转信息、头部Roll旋转信息、头部Pitch旋转信息、用户前后移动坐标、用户左右移动坐标、用户上下移动坐标。
8.根据权利要求5所述的基于视频内容消费的反馈信息标识系统，其特征在于，还包含反馈模块：令客户端向服务器发送反馈信息，反馈信息包含第一反馈信息、第二反馈信息以及第三反馈信息。
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的基于视频内容消费的反馈信息标识方法的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810746709 | 2018-07-09 | ||
| CN2018107467094 | 2018-07-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110704673A CN110704673A (zh) | 2020-01-17 |
| CN110704673B true CN110704673B (zh) | 2022-09-23 |
Family
ID=69192888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810760047.6A Active CN110704673B (zh) | 2018-07-09 | 2018-07-11 | 基于视频内容消费的反馈信息标识方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110704673B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116248642A (zh) * | 2020-10-14 | 2023-06-09 | 腾讯科技（深圳）有限公司 | 媒体文件的封装方法、媒体文件的解封装方法及相关设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103257707A (zh) * | 2013-04-12 | 2013-08-21 | 中国科学院电子学研究所 | 利用视线跟踪技术和常规鼠标控制设备的三维漫游方法 |
| CN104956180A (zh) * | 2012-09-04 | 2015-09-30 | 数字信号公司 | 增大从三维测量系统获得的图像的分辨率 |
| CN107967060A (zh) * | 2017-12-14 | 2018-04-27 | 齐乐无穷（北京）文化传媒有限公司 | 多自由度并联动感平台数据实时采集系统及方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7689898B2 (en) * | 1998-05-07 | 2010-03-30 | Astute Technology, Llc | Enhanced capture, management and distribution of live presentations |
| CN102945563B (zh) * | 2012-09-26 | 2017-05-24 | 天津游奕科技有限公司 | 一种全景视频的展示与交互系统及方法 |
| CN105915937B (zh) * | 2016-05-10 | 2019-12-13 | 上海乐相科技有限公司 | 一种全景视频播放方法及设备 |
| CN106454401A (zh) * | 2016-10-26 | 2017-02-22 | 乐视网信息技术（北京）股份有限公司 | 一种播放视频的方法及装置 |
| CN112770178A (zh) * | 2016-12-14 | 2021-05-07 | 上海交通大学 | 一种全景视频传输方法、接收方法、传输系统及接收系统 |
| CN106686368A (zh) * | 2016-12-26 | 2017-05-17 | 华为软件技术有限公司 | 虚拟现实vr视频播放的设备和播放vr视频的方法 |
| CN107992189A (zh) * | 2017-09-22 | 2018-05-04 | 深圳市魔眼科技有限公司 | 一种虚拟现实六自由度交互方法、装置、终端及存储介质 |
-
2018
- 2018-07-11 CN CN201810760047.6A patent/CN110704673B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104956180A (zh) * | 2012-09-04 | 2015-09-30 | 数字信号公司 | 增大从三维测量系统获得的图像的分辨率 |
| CN103257707A (zh) * | 2013-04-12 | 2013-08-21 | 中国科学院电子学研究所 | 利用视线跟踪技术和常规鼠标控制设备的三维漫游方法 |
| CN107967060A (zh) * | 2017-12-14 | 2018-04-27 | 齐乐无穷（北京）文化传媒有限公司 | 多自由度并联动感平台数据实时采集系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| Robust LQR attitude control of 3DOF helicopter;Hao Liu 等;《Proceedings of the 29th Chinese Control Conference》;20100920;第467-468页 * |
| 一种六维加速度传感器的测量属性分析;孙治博等;《仪器仪表学报》;20160215(第02期);第539-540页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110704673A (zh) | 2020-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112104594B (zh) | 沉浸式交互式远程参与现场娱乐 | |
| CN106803966B (zh) | 一种多人网络直播方法、装置及其电子设备 | |
| US10671239B2 (en) | Three dimensional digital content editing in virtual reality | |
| US9751015B2 (en) | Augmented reality videogame broadcast programming | |
| CN106358036B (zh) | 一种以预设视角观看虚拟现实视频的方法 | |
| US9787895B2 (en) | Information processing device, information processing method, and program for generating circumferential captured images | |
| US9392248B2 (en) | Dynamic POV composite 3D video system | |
| CN102591574A (zh) | 与娱乐内容的实时交互 | |
| US20170150212A1 (en) | Method and electronic device for adjusting video | |
| US20110164030A1 (en) | Virtual camera control using motion control systems for augmented reality | |
| US20180348531A1 (en) | Method executed on computer for controlling a display of a head mount device, program for executing the method on the computer, and information processing apparatus therefor | |
| JP2018530219A (ja) | 拡張されたシーンでナビゲーションを容易にする方法、装置及びシステム | |
| JP2017208676A (ja) | 仮想空間を提供する方法、プログラム及び記録媒体 | |
| JP2019509540A (ja) | マルチメディア情報を処理する方法及び装置 | |
| CN110704673B (zh) | 基于视频内容消费的反馈信息标识方法、系统及存储介质 | |
| CN111163306B (zh) | 一种vr视频处理的方法及相关装置 | |
| CN113178019B (zh) | 基于视频内容的指示信息标识方法、系统及存储介质 | |
| US10796723B2 (en) | Spatialized rendering of real-time video data to 3D space | |
| CN111277866B (zh) | 一种控制vr视频播放的方法及相关装置 | |
| CN112929685B (zh) | Vr直播间的互动方法、装置、电子设备和存储介质 | |
| CN116170624A (zh) | 一种对象展示方法、装置、电子设备及存储介质 | |
| KR101856632B1 (ko) | 화자의 위치를 기반으로 한 자막 디스플레이 방법 및 이러한 방법을 수행하는 장치 | |
| CN105426039A (zh) | 一种推送进场图像的方法和装置 | |
| EP4099275A1 (en) | Information processing device, information processing system, and information processing method | |
| US20240078767A1 (en) | Information processing apparatus and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |