CN106708259B - 一种vr视频的定位方法及系统 - Google Patents

一种vr视频的定位方法及系统 Download PDF

Info

Publication number
CN106708259B
CN106708259B CN201611087560.0A CN201611087560A CN106708259B CN 106708259 B CN106708259 B CN 106708259B CN 201611087560 A CN201611087560 A CN 201611087560A CN 106708259 B CN106708259 B CN 106708259B
Authority
CN
China
Prior art keywords
video
coordinate
offset
audio file
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611087560.0A
Other languages
English (en)
Other versions
CN106708259A (zh
Inventor
刘德建
林隽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Netdragon Websoft Co Ltd
Original Assignee
Fujian Netdragon Websoft Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Netdragon Websoft Co Ltd filed Critical Fujian Netdragon Websoft Co Ltd
Priority to CN201611087560.0A priority Critical patent/CN106708259B/zh
Publication of CN106708259A publication Critical patent/CN106708259A/zh
Application granted granted Critical
Publication of CN106708259B publication Critical patent/CN106708259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Abstract

本发明涉及虚拟现实领域，尤其涉及一种VR视频的定位方法及系统。本发明通过根据输入设备的偏移量，计算得到当前显示图像在VR视频中的坐标；根据所述坐标，计算得到用户头部的偏移量。实现根据用户当前观看图像在VR视频中的位置，精确计算得到用户头部的偏移量，从而精确匹配用户观看的画面和相应的音频文件及动作，提高用户体验。

Description

一种VR视频的定位方法及系统
技术领域
本发明涉及虚拟现实领域，尤其涉及一种VR视频的定位方法及系统。
背景技术
VR虚拟现实视频是虚拟现实内容的重要组成部分，在视觉上实现了720°全景环绕包围观赏效果，如图1所示。
为了实现随着用户头部的转动，播放与当前的观看画面设计效果相对应的视音频、画面特效、字幕提示及触发相应的外部设备反馈，以在用户观赏VR虚拟现实视频时实现交互，需准确获取当前观看的画面在VR虚拟现实视频中的相对位置。
为了解决上述问题，现有技术采用陀螺仪或外置定位装置识别头部的指向，根据头部的指向触发相应的操作。但是，使用陀螺仪或外置辅助定位装置因实现原理、物理装配精度与硬件兼容性问题，极易产生累积误差，影响定位精度。如，陀螺仪的原理决定了它的测量基准是自身，没有系统外的绝对参照物，加上单位时间采样率精度的限制，所以积分的累积误差会随着时间流逝迅速增加，最终导致输出角度与实际不符，所以陀螺仪只能工作在相对较短的时间尺度内，适用于对设备瞬时旋转角度的检测，无法作为长时间使用时的基准参考坐标使用，故基于硬件的指向定位方案，在使用一段时间后，都会出现指向偏移问题。
因此，根据硬件设备测得的偏移量确定当前观看的画面在VR视频中的位置，难以精确匹配不同方位对应的视音频、画面特效、字幕提示，且难以精确地在特定位置触发相应的外部设备反馈。此外，基于硬件的解决方案必须额外支付硬件开销成本，且兼容性存在挑战。
发明内容
本发明所要解决的技术问题是：提供一种VR视频的定位方法及系统，实现精确获取用户头部的偏移量。
为了解决上述技术问题，本发明采用的技术方案为：
本发明提供一种VR视频的定位方法，包括：
S1、根据输入设备的偏移量，计算得到当前显示图像在VR视频中的坐标；
S2、根据所述坐标，计算得到用户头部的偏移量。
本发明还提供一种VR视频的定位系统，包括：
第一计算模块，用于根据输入设备的偏移量，计算得到当前显示图像在VR视频中的坐标；
第二计算模块，用于根据所述坐标，计算得到用户头部的偏移量。
本发明的有益效果在于：区别于现有技术直接使用输入设备的偏移量计算用户头部的偏移量导致计算结果误差较大，本发明通过根据输入设备的偏移量计算VR设备当前显示图像的中点及四个顶点在VR视频中的坐标，再根据中点的坐标计算得到用户头部的垂直偏移值和水平偏移值，根据四个顶点的坐标计算得到用户头部的偏移角度。根据用户当前观看图像在VR视频中的位置精确计算得到用户头部的偏移量。
附图说明
图1为VR视频效果图；
图2为本发明一种VR视频的定位方法的流程框图；
图3为本发明一种VR视频的定位系统的结构框图；
图4为VR视频的2D展开图；
图5为第一截取单元所截取的一帧图像；
图6为roll值计算过程示意图；
图7为VR音频的方位分布图；
图8为VR音频方位分布的2D展开图；
标号说明：
1、第一计算模块；11、第一截取单元；111、第二获取单元；112、第二截取单元；12、记录单元；13、第一获取单元；14、计算单元；
2、第二计算模块；3、预设模块；4、第一获取模块；5、第二获取模块；6、播放模块；7、触发模块。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
本发明最关键的构思在于：根据用户当前观看图像在VR视频中的位置，精确计算得到用户头部的偏移量。
请参照图1至图7：
如图2所示，本发明提供一种VR视频的定位方法，包括：
S1、根据输入设备的偏移量，计算得到当前显示图像在VR视频中的坐标；
S2、根据所述坐标，计算得到用户头部的偏移量。
进一步地，所述S1具体为：
从VR视频中截取与显示端的分辨率相同的一帧图像；
记录所述一帧图像的中点在VR视频中的坐标，得到第一坐标；
获取输入设备的偏移量；
根据所述输入设备的偏移量和所述第一坐标，得到当前显示图像在VR视频中的坐标。
由上述描述可知，通过记录初始状态下VR设备显示的图像在VR视频中的坐标，并以此坐标作为基准，再根据输入设备的偏移量计算VR设备移动后显示的图像在VR视频中的坐标，从而减小了输入设备随使用次数与使用时间的增加造成的误差。
进一步地，从VR视频中截取与显示端的分辨率相同的一帧图像，具体为：
获取VR视频的中点坐标；
以所述中点坐标为中心截取与显示端的分辨率相同的一帧图像。
进一步地，还包括：
预设音频文件配置表；所述音频文件配置表包括方位信息及对应的音频文件路径；
获取与所述用户头部的偏移量对应的方位信息，得到第一方位信息；
根据所述第一方位信息从所述音频文件配置表中获取第一音频文件路径；
播放与所述第一音频文件路径对应的音频文件。
由上述描述可知，实现精确匹配与用户头部位置相应的音频文件。
进一步地，还包括：
根据所述用户头部的偏移量触发预设的设备执行预设的动作或预设的程序。
由上述描述可知，实现根据用户头部的位置匹配相应的动作或程序。
如图3所示，本发明还提供一种VR视频的定位系统，包括：
第一计算模块1，用于根据输入设备的偏移量，计算得到当前显示图像在VR视频中的坐标；
第二计算模块2，用于根据所述坐标，计算得到用户头部的偏移量。
进一步地，所述第一计算模块1包括：
第一截取单元11，用于从VR视频中截取与显示端的分辨率相同的一帧图像；
记录单元12，用于记录所述一帧图像的中点在VR视频中的坐标，得到第一坐标；
第一获取单元13，用于获取输入设备的偏移量；
计算单元14，用于根据所述输入设备的偏移量和所述第一坐标，得到当前显示图像在VR视频中的坐标。
进一步地，所述第一截取单元11包括：
第二获取单元111，用于获取VR视频的中点坐标；
第二截取单元112，用于以所述中点坐标为中心截取与显示端的分辨率相同的一帧图像。
进一步地，还包括：
预设模块3，用于预设音频文件配置表；所述音频文件配置表包括方位信息及对应的音频文件路径；
第一获取模块4，用于获取与所述用户头部的偏移量对应的方位信息，得到第一方位信息；
第二获取模块5，用于根据所述第一方位信息从所述音频文件配置表中获取第一音频文件路径；
播放模块6，用于播放与所述第一音频文件路径对应的音频文件。
进一步地，还包括：
触发模块7，用于根据所述用户头部的偏移量触发预设的设备执行预设的动作或预设的程序。
由上述描述可知，本发明提供的VR视频的定位系统实现根据输入设备的偏移量精确计算得到用户头部的偏移量。
本发明的实施例为：
S1、获取VR视频的中点坐标；
其中，VR视频的观赏效果图如图1所示，VR视频的2D展开图如图4所示。以所述2D展开图的左下角为原点，左下角到左上角的方向为X轴正半轴，左下角到右下角的方向为Y轴正半轴建立坐标系。所述VR视频的中点坐标为VR视频的2D展开图的中点坐标，同时也是用户站在中间位置，正前方对应的坐标。
S2、以所述中点坐标为中心截取与显示端的分辨率相同的一帧图像。
记录所述一帧图像的中点在VR视频中的坐标，得到第一坐标；
其中，第一截取单元所截取的一帧图像如图5所示，系统将所述一帧图像发送给VR设备的显示端，用户戴上VR显示设备看到的初始图像即所述一帧图像。所述一帧图像的中点在VR视频中的坐标为(m/2，n/2)，其中，m*n为VR视频的2D展开图的分辨率。
S3、获取输入设备的偏移量；
根据所述输入设备的偏移量和所述第一坐标，得到当前显示图像在VR视频中的坐标；
其中，根据所述第一坐标和输入设备的偏移量可得到VR设备的显示端中当前显示图像在VR视频中的中点坐标及四个顶点坐标，具体为：
所述输入设备为陀螺仪时，获取陀螺仪的欧拉角偏移量，包括：yaw值、pitch值和roll值；
根据所述第一坐标及VR设备的显示端的分辨率p*q计算出第一截取单元所截取的一帧图像在VR视频的2D展开图的中点坐标(m/2，n/2)及四个顶点坐标(0，0)、(0，p)、(q，0)、(q，p)；
根据相关的数学公式，可通过上述的欧拉角偏移量及所述一帧图像的坐标计算得到VR设备的显示端当前显示画面在VR视频的2D展开图中的坐标。
其中，roll值计算过程示意图如图6所示，roll值计算方法：
VR设备显示端的当前显示画面与VR视频的观赏效果图进行对比，VR设备显示端的当前显示画面默认为在VR设备显示端的当前显示画面当中处于垂直状态(无roll值)，计算两帧之间相对应两点间的弧度。
设VR设备显示端的当前显示画面的中心为O，与任意一顶点A之间直线距离发生倾斜，形成新的位置顶点B，则OA等于OB，同为圆弧的半径长r。根据像素偏移数值可知AB两点之间直线距离，则根据余弦公式cos△AOB＝(2r2-AB2)/2r，可计算出OA与OB之间夹角角度。该角度即为roll值。
S4、根据所述坐标，计算得到用户头部的偏移量；具体为：
用户头部偏移量即是相对于VR视频的2D展开图的偏移量，在空间中用户因为实际观看画面位置的不同，头部会在yaw、pitch和roll三个轴向上有变化，但实际上本方法只计算VR设备显示端的当前显示画面与VR视频的2D展开图的偏移量。
yaw值为全局中点与实际观看画面中点的横向像素偏移值，计算方法为实际像素横向偏移值÷视频横向分辨率×180°。
pitch值为全局中点与实际观看画面中点的纵向像素偏移值，计算方法为实际像素纵向偏移值÷视频纵向分辨率×90°。
S5、预设音频文件配置表；所述音频文件配置表包括方位信息及对应的音频文件路径；
获取与所述用户头部的偏移量对应的方位信息，得到第一方位信息；
根据所述第一方位信息从所述音频文件配置表中获取第一音频文件路径；
播放与所述第一音频文件路径对应的音频文件；
其中，多角度音源通常直接封装在视频文件中，根据声道数有单声道、2声道、5.1声道、7.1声道、9.2声道、64-128声道(杜比全景声)等多种规格，每个声道对应的音源角度是固定的，比如5.1声道就是由中置、前左、前右、后左、后右加一个低音声道组成，其中低音声道是无方向性的。
例如，与VR视频的观赏效果图对应的VR音频的方位分布图如图7所示，VR音频方位分布的2D展开图如图8所示。
用户初始观看的VR视频的默认播放视角是正前方，此时播放的5.1声道音频为中置位置相应的音频文件。
假设当前用户观看的VR视频实际分辨率m＝3840，n＝1920。
用户实际观看画面向左移动768个像素，中点坐标为(m/2-768，n/2)的对应图像进入视角，根据预设的配置文件，原左声道音源变为中置声道，原中置声道音源变为右声道，依次类推。
播放时，播放器读取配置文件，根据配置文件确定各声道对应画面坐标位置，随之使用HRTF虚拟环绕声算法，映射缩混各方向音源至外接物理声道。
S6、根据所述用户头部的偏移量触发预设的设备执行预设的动作；
例如，与VR视频的观赏效果图对应的VR音频的方位分布图如图7所示，VR音频方位分布的2D展开图如图8所示。
用户初始观看的VR视频的默认播放视角是正前方，此时播放的5.1声道音频为中置位置相应的音频文件。
假设当前用户观看的VR视频实际分辨率m＝3840，n＝1920。
用户实际观看画面向左移动768个像素，中点坐标为(m/2-768，n/2)的对应图像进入视角，根据预设的配置文件，原静音的左声道音源触发播放音频，相应的体感控制器根据左声道音频频率触发力回馈震动。
播放时，播放器读取配置文件，根据配置文件确定各触发效果对应的画面坐标位置或范围(热区)，当用户实际观看画面进入设置范围(热区)或坐标时，触发对应的动作。
综上所述，本发明提供的一种VR视频的定位方法及系统，根据用户当前观看图像在VR视频中的位置精确计算得到用户头部的偏移量。进一步地，减小了输入设备随使用次数的增加造成的误差。进一步地，实现精确匹配与用户头部位置相应的音频文件。进一步地，实现根据用户头部的位置匹配相应的动作。本发明还提供一种VR视频的定位系统，实现根据输入设备的偏移量精确计算得到用户头部的偏移量。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种VR视频的定位方法，其特征在于，包括：
S1、计算得到当前显示图像在VR视频中的坐标；
S2、根据所述坐标，计算得到用户头部的偏移量；
其中，所述S1具体为：
从VR视频中截取与显示端的分辨率相同的一帧图像；
记录所述一帧图像的中点在VR视频中的坐标，得到第一坐标；
获取输入设备的偏移量；
根据所述输入设备的偏移量和所述第一坐标，得到当前显示图像在VR视频中的坐标。
2.根据权利要求1所述的VR视频的定位方法，其特征在于，从VR视频中截取与显示端的分辨率相同的一帧图像，具体为：
获取VR视频的中点坐标；
以所述中点坐标为中心截取与显示端的分辨率相同的一帧图像。
3.根据权利要求1所述的VR视频的定位方法，其特征在于，还包括：
预设音频文件配置表；所述音频文件配置表包括方位信息及对应的音频文件路径；
获取与所述用户头部的偏移量对应的方位信息，得到第一方位信息；
根据所述第一方位信息从所述音频文件配置表中获取第一音频文件路径；
播放与所述第一音频文件路径对应的音频文件。
4.根据权利要求1所述的VR视频的定位方法，其特征在于，还包括：
根据所述用户头部的偏移量触发预设的设备执行预设的动作。
5.一种VR视频的定位系统，其特征在于，包括：
第一计算模块，用于计算得到当前显示图像在VR视频中的坐标；
第二计算模块，用于根据所述坐标，计算得到用户头部的偏移量；
其中，所述第一计算模块包括：
第一截取单元，用于从VR视频中截取与显示端的分辨率相同的一帧图像；
记录单元，用于记录所述一帧图像的中点在VR视频中的坐标，得到第一坐标；
第一获取单元，用于获取输入设备的偏移量；
计算单元，用于根据所述输入设备的偏移量和所述第一坐标，得到当前显示图像在VR视频中的坐标。
6.根据权利要求5所述的VR视频的定位系统，所述第一截取单元包括：
第二获取单元，用于获取VR视频的中点坐标；
第二截取单元，用于以所述中点坐标为中心截取与显示端的分辨率相同的一帧图像。
7.根据权利要求5所述的VR视频的定位系统，其特征在于，还包括：
预设模块，用于预设音频文件配置表；所述音频文件配置表包括方位信息及对应的音频文件路径；
第一获取模块，用于获取与所述用户头部的偏移量对应的方位信息，得到第一方位信息；
第二获取模块，用于根据所述第一方位信息从所述音频文件配置表中获取第一音频文件路径；
播放模块，用于播放与所述第一音频文件路径对应的音频文件。
8.根据权利要求5所述的VR视频的定位系统，其特征在于，还包括：
触发模块，用于根据所述用户头部的偏移量触发预设的设备执行预设的动作。
CN201611087560.0A 2016-12-01 2016-12-01 一种vr视频的定位方法及系统 Active CN106708259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611087560.0A CN106708259B (zh) 2016-12-01 2016-12-01 一种vr视频的定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611087560.0A CN106708259B (zh) 2016-12-01 2016-12-01 一种vr视频的定位方法及系统

Publications (2)

Publication Number Publication Date
CN106708259A CN106708259A (zh) 2017-05-24
CN106708259B true CN106708259B (zh) 2019-06-25

Family

ID=58935384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611087560.0A Active CN106708259B (zh) 2016-12-01 2016-12-01 一种vr视频的定位方法及系统

Country Status (1)

Country Link
CN (1) CN106708259B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107754307A (zh) * 2017-12-05 2018-03-06 野草莓影业（北京）有限公司 转动座椅的控制方法、控制装置以及转动座椅

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104536579A (zh) * 2015-01-20 2015-04-22 刘宛平 交互式三维实景与数字图像高速融合处理系统及处理方法
CN205195880U (zh) * 2015-11-25 2016-04-27 联想(北京)有限公司 观看设备及观看系统
CN105704468A (zh) * 2015-08-31 2016-06-22 深圳超多维光电子有限公司 用于虚拟和现实场景的立体显示方法、装置及电子设备
CN105979470A (zh) * 2016-05-30 2016-09-28 北京奇艺世纪科技有限公司 全景视频的音频处理方法、装置和播放系统
CN106095102A (zh) * 2016-06-16 2016-11-09 深圳市金立通信设备有限公司 一种虚拟现实显示界面处理的方法及终端
CN106154231A (zh) * 2016-08-03 2016-11-23 厦门傅里叶电子有限公司 虚拟现实中声场定位的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9778740B2 (en) * 2015-04-10 2017-10-03 Finwe Oy Method and system for tracking an interest of a user within a panoramic visual content

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104536579A (zh) * 2015-01-20 2015-04-22 刘宛平 交互式三维实景与数字图像高速融合处理系统及处理方法
CN105704468A (zh) * 2015-08-31 2016-06-22 深圳超多维光电子有限公司 用于虚拟和现实场景的立体显示方法、装置及电子设备
CN205195880U (zh) * 2015-11-25 2016-04-27 联想(北京)有限公司 观看设备及观看系统
CN105979470A (zh) * 2016-05-30 2016-09-28 北京奇艺世纪科技有限公司 全景视频的音频处理方法、装置和播放系统
CN106095102A (zh) * 2016-06-16 2016-11-09 深圳市金立通信设备有限公司 一种虚拟现实显示界面处理的方法及终端
CN106154231A (zh) * 2016-08-03 2016-11-23 厦门傅里叶电子有限公司 虚拟现实中声场定位的方法

Also Published As

Publication number Publication date
CN106708259A (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
CN107925722B (zh) 用于补偿相机运动的方法和设备
US20180109902A1 (en) Method and system for enhancing sound effect when using virtual reality glasses
US9699438B2 (en) 3D graphic insertion for live action stereoscopic video
CN102395997B (zh) 用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和系统
JP7170736B2 (ja) 双方向性拡張または仮想現実装置
US20170153866A1 (en) Audiovisual Surround Augmented Reality (ASAR)
CN109040736B (zh) 一种人眼空间位置的标定方法、装置、设备和存储介质
US20160210785A1 (en) Augmented reality system and method for positioning and mapping
CN103517061B (zh) 一种终端设备的显示控制方法及装置
CN105704468A (zh) 用于虚拟和现实场景的立体显示方法、装置及电子设备
WO2020086356A3 (en) Ambient electromagnetic distortion correction for electromagnetic tracking
IL291120B1 (en) Methods, devices and systems for three-degree-of-freedom amplification of MPEG-H 3D audio
CN102495687A (zh) 简易空中鼠标的实现方法、视频终端及系统
JP2019212225A (ja) 端末装置および端末装置の制御方法
US20130088488A1 (en) Method, apparatus and system for adjusting stereoscopic image, television set and stereoscopic glasses
CN106708259B (zh) 一种vr视频的定位方法及系统
JP2021158688A (ja) 情報処理装置および方法
CN111080704A (zh) 视频增强现实的方法及装置
US20180161676A1 (en) Information processing apparatus, image generating method, and program
CN107168521B (zh) 观影指引方法、装置及头戴式显示设备
CN107941463B (zh) 头戴设备水平缺陷检测方法及系统
KR100738030B1 (ko) 영상 전환 기능을 구비한 휴대용 단말기
CN106646349A (zh) 偏移角的确定方法、装置和系统以及偏移角的矫正系统
KR20170074164A (ko) 3d 개발엔진을 이용한 다시점 콘텐츠 생성 시뮬레이션 장치 및 그 방법
CN111998871A (zh) Vr设备的漂移检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant