CN110134222A - 一种vr头显定位瞄准系统及其定位瞄准方法 - Google Patents

一种vr头显定位瞄准系统及其定位瞄准方法 Download PDF

Info

Publication number
CN110134222A
CN110134222A CN201810105298.0A CN201810105298A CN110134222A CN 110134222 A CN110134222 A CN 110134222A CN 201810105298 A CN201810105298 A CN 201810105298A CN 110134222 A CN110134222 A CN 110134222A
Authority
CN
China
Prior art keywords
module
image
user
focal position
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810105298.0A
Other languages
English (en)
Inventor
孙澈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ji Ying Technology Co Ltd
Original Assignee
Shanghai Ji Ying Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ji Ying Technology Co Ltd filed Critical Shanghai Ji Ying Technology Co Ltd
Priority to CN201810105298.0A priority Critical patent/CN110134222A/zh
Publication of CN110134222A publication Critical patent/CN110134222A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Abstract

本发明公开了一种VR头显定位瞄准系统，包括左眼成像模块和右眼成像模块，用于对使用者的双眼提供成像图像；左眼焦点捕捉模块和右眼焦点捕捉模块，用于捕捉使用者双眼观看图像时的焦点位置；合成模块，用于根据两组成像图像和对应的焦点位置，计算使用者实际的瞄准位置；三轴陀螺仪模块，用于检测使用者头部的运动状态；分析模块，使用合成模块与三轴陀螺仪模块提供的使用者瞄准位置信息和实际运动状态信息，对使用者瞄准位置的变化进行实时预测；修正模块，通过对分析模块的预测结果与合成模块的实际计算结果进行对比，对分析模块的预测过程进行修正。本发明能够改进现有技术的不足，提高了定为瞄准的速度。

Description

一种VR头显定位瞄准系统及其定位瞄准方法
技术领域
本发明涉及VR技术领域，尤其是一种VR头显定位瞄准系统及其定位瞄准方法。
背景技术
随着VR技术的发展，VR技术逐渐渗透入各类游艺体验设备中。使用者可以使用VR头显装置体验到身临其境的视听感受。在各类互动式VR设备中，VR头显装置需要对使用者的聚焦瞄准位置进行实时的精确定位，现有的定位系统是通过对实际参数的采集和运算得到定位数据的，这种方式延时较大，用户体验较差。
发明内容
本发明要解决的技术问题是提供一种VR头显定位瞄准系统及其定位瞄准方法，能够解决现有技术的不足，提高了定为瞄准的速度。
为解决上述技术问题，本发明所采取的技术方案如下。
一种VR头显定位瞄准系统，包括，
左眼成像模块，用于对使用者的左眼提供成像图像；
右眼成像模块，用于对使用者的右眼提供成像图像；
左眼焦点捕捉模块，用于捕捉使用者左眼观看图像时的焦点位置；
右眼焦点捕捉模块，用于捕捉使用者右眼观看图像时的焦点位置；
合成模块，用于根据两组成像图像和对应的焦点位置，计算使用者实际的瞄准位置；
三轴陀螺仪模块，用于检测使用者头部的运动状态；
分析模块，使用合成模块与三轴陀螺仪模块提供的使用者瞄准位置信息和实际运动状态信息，对使用者瞄准位置的变化进行实时预测；
修正模块，通过对分析模块的预测结果与合成模块的实际计算结果进行对比，对分析模块的预测过程进行修正。
一种上述的VR头显定位瞄准系统的定位瞄准方法，包括以下步骤：
A、左眼成像模块和右眼成像模块分别向使用者的双眼提供成像图像，然后左眼焦点捕捉模块和右眼焦点捕捉模块分别对使用者双眼观察成像图像的焦点位置进行捕捉；
B、合成模块将独立的成像图像合成三维立体图像，然后根据成像图像上的焦点位置对三维立体图像中的焦点位置进行合成，得到使用者实际的瞄准位置；
C、三轴陀螺仪模块，实时检测使用者头部的运动状态；
D、分析模块以使用者实际的瞄准位置为基础，通过使用者头部的运动信息对使用者实际的瞄准位置变化趋势进行预测；
E、修正模块对分析模块的预测结果与合成模块的实际计算结果进行对比，对分析模块的预测过程进行修正。。
作为优选，步骤B中，计算两组成像图像的景深函数，然后将两个景深函数进行多元回归，得到合成目标函数，以合成目标函数为参考基准，对两组成像图像进行图像融合。
作为优选，在图像融合过程中，成像图像上的焦点位置通过其所在成像图像与融合后的三维图像的转化关系进行对应的转化，然后在三维图像上将转化后的焦点位置进行统一。
作为优选，在焦点位置统一过程中，按照与焦点对应的成像图像的线性度对三维图像进行分层，提取其中线性度超过阈值的图像层，在每个提取的图像层中确定焦点位置，然后将距离所有焦点位置距离之和最小的点作为统一后的焦点位置；然后根据焦点位置统一前后的变化量对三维图像进行修正。
作为优选，步骤D中，分析模块采集使用者头部的运动轨迹，然后根据三轴陀螺仪模块在预测时间点上采集到的运动加速度对使用者头部的运动趋势进行预测；根据预测到的运动趋势，对三维图像和三维图像中的焦点位置进行预测。
作为优选，对三维图像中的焦点位置进行预测时，首先计算使用者瞄准位置相对于三维图像的变化延时，然后在三维图像变化的基础上根据瞄准位置的变化延时对焦点位置进行预测。
作为优选，步骤E中，修正模块根据实际焦点的实际位置，对三轴陀螺仪模块采集的运动加速度进行修正。
采用上述技术方案所带来的有益效果在于：本发明通过对三维图像的处理和分析，实现了根据历史数据对焦点位置的精确预测，不依赖于数据的实时采集和处理，提高了定位瞄准的速度。
附图说明
图1是本发明一个具体实施方式的原理图。
图中：1、左眼成像模块；2、右眼成像模块；3、左眼焦点捕捉模块；4、右眼焦点捕捉模块；5、合成模块；6、三轴陀螺仪模块；7、分析模块；8、修正模块。
具体实施方式
参照图1，本发明的一个具体实施方式包括，
左眼成像模块1，用于对使用者的左眼提供成像图像；
右眼成像模块2，用于对使用者的右眼提供成像图像；
左眼焦点捕捉模块3，用于捕捉使用者左眼观看图像时的焦点位置；
右眼焦点捕捉模块4，用于捕捉使用者右眼观看图像时的焦点位置；
合成模块5，用于根据两组成像图像和对应的焦点位置，计算使用者实际的瞄准位置；
三轴陀螺仪模块6，用于检测使用者头部的运动状态；
分析模块7，使用合成模块5与三轴陀螺仪模块6提供的使用者瞄准位置信息和实际运动状态信息，对使用者瞄准位置的变化进行实时预测；
修正模块8，通过对分析模块的预测结果与合成模块5的实际计算结果进行对比，对分析模块7的预测过程进行修正。
一种上述的VR头显定位瞄准系统的定位瞄准方法，包括以下步骤：
A、左眼成像模块1和右眼成像模块2分别向使用者的双眼提供成像图像，然后左眼焦点捕捉模块3和右眼焦点捕捉模块4分别对使用者双眼观察成像图像的焦点位置进行捕捉；
B、合成模块5将独立的成像图像合成三维立体图像，然后根据成像图像上的焦点位置对三维立体图像中的焦点位置进行合成，得到使用者实际的瞄准位置；
C、三轴陀螺仪模块6，实时检测使用者头部的运动状态；
D、分析模块7以使用者实际的瞄准位置为基础，通过使用者头部的运动信息对使用者实际的瞄准位置变化趋势进行预测；
E、修正模块8对分析模块的预测结果与合成模块5的实际计算结果进行对比，对分析模块7的预测过程进行修正。
步骤B中，计算两组成像图像的景深函数，然后将两个景深函数进行多元回归，得到合成目标函数，以合成目标函数为参考基准，对两组成像图像进行图像融合。
进行多元回归时，使用景深范围边缘的图像像素作为参考点。
在图像融合过程中，成像图像上的焦点位置通过其所在成像图像与融合后的三维图像的转化关系进行对应的转化，然后在三维图像上将转化后的焦点位置进行统一。
在焦点位置统一过程中，按照与焦点对应的成像图像的线性度对三维图像进行分层，提取其中线性度超过阈值的图像层，在每个提取的图像层中确定焦点位置，然后将距离所有焦点位置距离之和最小的点作为统一后的焦点位置；然后根据焦点位置统一前后的变化量对三维图像进行修正。
步骤D中，分析模块采集使用者头部的运动轨迹，然后根据三轴陀螺仪模块在预测时间点上采集到的运动加速度对使用者头部的运动趋势进行预测；根据预测到的运动趋势，对三维图像和三维图像中的焦点位置进行预测。
对三维图像中的焦点位置进行预测时，首先计算使用者瞄准位置相对于三维图像的变化延时，然后在三维图像变化的基础上根据瞄准位置的变化延时对焦点位置进行预测。
步骤E中，修正模块根据实际焦点的实际位置，对三轴陀螺仪模块采集的运动加速度进行修正。
焦点的实际位置与预测位置的变差量与运动加速度的修正量的平方成正比。
本发明可以实现对于定位焦点位置的精确预测，提高了VR设备的反应速度。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种VR头显定位瞄准系统，其特征在于：包括，
左眼成像模块(1)，用于对使用者的左眼提供成像图像；
右眼成像模块(2)，用于对使用者的右眼提供成像图像；
左眼焦点捕捉模块(3)，用于捕捉使用者左眼观看图像时的焦点位置；
右眼焦点捕捉模块(4)，用于捕捉使用者右眼观看图像时的焦点位置；
合成模块(5)，用于根据两组成像图像和对应的焦点位置，计算使用者实际的瞄准位置；
三轴陀螺仪模块(6)，用于检测使用者头部的运动状态；
分析模块(7)，使用合成模块(5)与三轴陀螺仪模块(6)提供的使用者瞄准位置信息和实际运动状态信息，对使用者瞄准位置的变化进行实时预测；
修正模块(8)，通过对分析模块的预测结果与合成模块(5)的实际计算结果进行对比，对分析模块(7)的预测过程进行修正。
2.一种权利要求1所述的VR头显定位瞄准系统的定位瞄准方法，其特征在于包括以下步骤：
A、左眼成像模块(1)和右眼成像模块(2)分别向使用者的双眼提供成像图像，然后左眼焦点捕捉模块(3)和右眼焦点捕捉模块(4)分别对使用者双眼观察成像图像的焦点位置进行捕捉；
B、合成模块(5)将独立的成像图像合成三维立体图像，然后根据成像图像上的焦点位置对三维立体图像中的焦点位置进行合成，得到使用者实际的瞄准位置；
C、三轴陀螺仪模块(6)，实时检测使用者头部的运动状态；
D、分析模块(7)以使用者实际的瞄准位置为基础，通过使用者头部的运动信息对使用者实际的瞄准位置变化趋势进行预测；
E、修正模块(8)对分析模块的预测结果与合成模块(5)的实际计算结果进行对比，对分析模块(7)的预测过程进行修正。
3.根据权利要求2所述的VR头显定位瞄准系统的定位瞄准方法，其特征在于：步骤B中，计算两组成像图像的景深函数，然后将两个景深函数进行多元回归，得到合成目标函数，以合成目标函数为参考基准，对两组成像图像进行图像融合。
4.根据权利要求3所述的VR头显定位瞄准系统的定位瞄准方法，其特征在于：在图像融合过程中，成像图像上的焦点位置通过其所在成像图像与融合后的三维图像的转化关系进行对应的转化，然后在三维图像上将转化后的焦点位置进行统一。
5.根据权利要求4所述的VR头显定位瞄准系统的定位瞄准方法，其特征在于：在焦点位置统一过程中，按照与焦点对应的成像图像的线性度对三维图像进行分层，提取其中线性度超过阈值的图像层，在每个提取的图像层中确定焦点位置，然后将距离所有焦点位置距离之和最小的点作为统一后的焦点位置；然后根据焦点位置统一前后的变化量对三维图像进行修正。
6.根据权利要求2所述的VR头显定位瞄准系统的定位瞄准方法，其特征在于：步骤D中，分析模块(7)采集使用者头部的运动轨迹，然后根据三轴陀螺仪模块(6)在预测时间点上采集到的运动加速度对使用者头部的运动趋势进行预测；根据预测到的运动趋势，对三维图像和三维图像中的焦点位置进行预测。
7.根据权利要求6所述的VR头显定位瞄准系统的定位瞄准方法，其特征在于：对三维图像中的焦点位置进行预测时，首先计算使用者瞄准位置相对于三维图像的变化延时，然后在三维图像变化的基础上根据瞄准位置的变化延时对焦点位置进行预测。
8.根据权利要求2所述的VR头显定位瞄准系统的定位瞄准方法，其特征在于：步骤E中，修正模块(8)根据实际焦点的实际位置，对三轴陀螺仪模块(6)采集的运动加速度进行修正。
CN201810105298.0A 2018-02-02 2018-02-02 一种vr头显定位瞄准系统及其定位瞄准方法 Pending CN110134222A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810105298.0A CN110134222A (zh) 2018-02-02 2018-02-02 一种vr头显定位瞄准系统及其定位瞄准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810105298.0A CN110134222A (zh) 2018-02-02 2018-02-02 一种vr头显定位瞄准系统及其定位瞄准方法

Publications (1)

Publication Number Publication Date
CN110134222A true CN110134222A (zh) 2019-08-16

Family

ID=67567117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810105298.0A Pending CN110134222A (zh) 2018-02-02 2018-02-02 一种vr头显定位瞄准系统及其定位瞄准方法

Country Status (1)

Country Link
CN (1) CN110134222A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110864587A (zh) * 2019-11-08 2020-03-06 中国科学院长春光学精密机械与物理研究所 导引头瞄准定位方法及瞄准定位系统
CN110990917A (zh) * 2019-11-19 2020-04-10 北京长空云海科技有限公司 Bim模型展示的方法、装置及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1700242A (zh) * 2005-06-15 2005-11-23 北京中星微电子有限公司 一种判别视线方向的方法和装置
CN104090371A (zh) * 2014-06-19 2014-10-08 京东方科技集团股份有限公司 一种3d眼镜及3d显示系统
CN104536579A (zh) * 2015-01-20 2015-04-22 刘宛平 交互式三维实景与数字图像高速融合处理系统及处理方法
CN104869386A (zh) * 2015-04-09 2015-08-26 东南大学 一种基于分层处理虚拟视点合成方法
CN106123865A (zh) * 2016-06-22 2016-11-16 电子科技大学 面向虚拟图像的机器人导航方法
CN106325521A (zh) * 2016-08-31 2017-01-11 北京小米移动软件有限公司 测试虚拟现实头显设备软件的方法及装置
CN106840112A (zh) * 2017-01-09 2017-06-13 天津大学 一种利用自由空间视线凝视点测量的空间几何量测量方法
CN107014378A (zh) * 2017-05-22 2017-08-04 中国科学技术大学 一种视线跟踪瞄准操控系统及方法
CN107111381A (zh) * 2015-11-27 2017-08-29 Fove股份有限公司 视线检测系统、凝视点确认方法以及凝视点确认程序
CN107315470A (zh) * 2017-05-25 2017-11-03 腾讯科技（深圳）有限公司 图形处理方法、处理器和虚拟现实系统
CN107333121A (zh) * 2017-06-27 2017-11-07 山东大学 曲面屏幕上移动视点的沉浸式立体渲染投影系统及其方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1700242A (zh) * 2005-06-15 2005-11-23 北京中星微电子有限公司 一种判别视线方向的方法和装置
CN104090371A (zh) * 2014-06-19 2014-10-08 京东方科技集团股份有限公司 一种3d眼镜及3d显示系统
CN104536579A (zh) * 2015-01-20 2015-04-22 刘宛平 交互式三维实景与数字图像高速融合处理系统及处理方法
CN104869386A (zh) * 2015-04-09 2015-08-26 东南大学 一种基于分层处理虚拟视点合成方法
CN107111381A (zh) * 2015-11-27 2017-08-29 Fove股份有限公司 视线检测系统、凝视点确认方法以及凝视点确认程序
CN106123865A (zh) * 2016-06-22 2016-11-16 电子科技大学 面向虚拟图像的机器人导航方法
CN106325521A (zh) * 2016-08-31 2017-01-11 北京小米移动软件有限公司 测试虚拟现实头显设备软件的方法及装置
CN106840112A (zh) * 2017-01-09 2017-06-13 天津大学 一种利用自由空间视线凝视点测量的空间几何量测量方法
CN107014378A (zh) * 2017-05-22 2017-08-04 中国科学技术大学 一种视线跟踪瞄准操控系统及方法
CN107315470A (zh) * 2017-05-25 2017-11-03 腾讯科技（深圳）有限公司 图形处理方法、处理器和虚拟现实系统
CN107333121A (zh) * 2017-06-27 2017-11-07 山东大学 曲面屏幕上移动视点的沉浸式立体渲染投影系统及其方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110864587A (zh) * 2019-11-08 2020-03-06 中国科学院长春光学精密机械与物理研究所 导引头瞄准定位方法及瞄准定位系统
CN110864587B (zh) * 2019-11-08 2020-11-24 中国科学院长春光学精密机械与物理研究所 导引头瞄准定位方法及瞄准定位系统
CN110990917A (zh) * 2019-11-19 2020-04-10 北京长空云海科技有限公司 Bim模型展示的方法、装置及系统

Similar Documents

Publication Publication Date Title
CN101969548B (zh) 基于双目摄像的主动视频获取方法及装置
US9373023B2 (en) Method and apparatus for robustly collecting facial, ocular, and iris images using a single sensor
CN105812746B (zh) 一种目标检测方法及系统
CN105160703B (zh) 一种使用时域视觉传感器的光流计算方法
US10950032B2 (en) Object capture coverage evaluation
CN103106411A (zh) 一种网球动作捕捉和解析方法
CN105898107B (zh) 一种目标物体抓拍方法及系统
CN104101294B (zh) 分析装置、分析程序以及分析系统
CN105592269B (zh) 运动目标捕捉与跟踪设备及运动目标捕捉与跟踪方法
CN110853073A (zh) 确定关注点的方法、装置、设备、系统及信息处理方法
US11727637B2 (en) Method for generating 3D skeleton using joint-based calibration acquired from multi-view camera
CN104079916A (zh) 一种全景三维视觉传感器及使用方法
CN101930606A (zh) 一种图像边缘检测的景深扩展方法
CN106504274A (zh) 一种基于红外摄像头下的视觉跟踪方法及系统
Islam et al. Stereo vision-based 3D positioning and tracking
CN110134222A (zh) 一种vr头显定位瞄准系统及其定位瞄准方法
CN104778676A (zh) 基于深度测距的运动目标检测方法及系统
Kloeker et al. High-precision digital traffic recording with multi-lidar infrastructure sensor setups
Zhou et al. The chameleon-like vision system
JPH11211738A (ja) 移動体の速度計測方法およびその方法を用いた速度計測装置
CN105578173A (zh) 一种快速三维空间投影摄像视觉识别系统
CN102506815A (zh) 基于图像识别的多目标跟踪与被动距离测量装置
CN115937810A (zh) 一种基于双目相机引导的传感器融合方法
CN111399634B (zh) 一种手势引导物体识别的方法及装置
KR101710860B1 (ko) 영상정보를 기반으로 공간상의 위치정보를 생성하는 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190816