CN108803861B - 一种交互方法、设备及系统 - Google Patents

一种交互方法、设备及系统 Download PDF

Info

Publication number
CN108803861B
CN108803861B CN201710294577.1A CN201710294577A CN108803861B CN 108803861 B CN108803861 B CN 108803861B CN 201710294577 A CN201710294577 A CN 201710294577A CN 108803861 B CN108803861 B CN 108803861B
Authority
CN
China
Prior art keywords
controller
head display
information
state information
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710294577.1A
Other languages
English (en)
Other versions
CN108803861A (zh
Inventor
戴景文
贺杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Virtual Reality Technology Co Ltd
Original Assignee
Guangdong Virtual Reality Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Virtual Reality Technology Co Ltd filed Critical Guangdong Virtual Reality Technology Co Ltd
Priority to CN201710294577.1A priority Critical patent/CN108803861B/zh
Priority to PCT/CN2017/096302 priority patent/WO2018196221A1/zh
Publication of CN108803861A publication Critical patent/CN108803861A/zh
Priority to US16/596,789 priority patent/US11436818B2/en
Application granted granted Critical
Publication of CN108803861B publication Critical patent/CN108803861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及虚拟现实技术领域，具体涉及一种交互方法及相关设备及系统。该方法包括头显通过相机传感器采集控制器上的特征点，所述特征点用于指示所述控制器的对应位置；所述头显接收控制器采集的所述控制器的状态信息；所述头显根据所述特征点和所述状态信息确定所述控制器的当前状态。本发明实施例中，头显采用内置的相机传感器采集控制器的特征点，并结合控制器自身采集的位置信息和旋转信息来确定控制器的当前状态，从而实现控制器的6‑DoF追踪，从而实现在不影视觉增强设备的便携性的情形下，大大提高交互性能，从而提升沉浸度和易用性。

Description

一种交互方法、设备及系统
技术领域
本发明涉及VR、AR和MR技术领域，具体涉及一种交互方法及相关设备及系统。
背景技术
在二维屏幕交互中，几乎所有控制命令都可以抽象为按键动作。而对于一些视觉增强技术领域的输入设备来说，这些视觉增强技术如虚拟现实(VR，Virtual Reality)、增强现实(AR，Augmented Reality)、介导现实(MR，Mediated Reality)等，这些技术，如VR以纯粹的虚拟界面模拟现实为基础，如AR和MR以现实以及虚拟相结合为基础，因此，这类视觉增强技术更注重的是自然交互，也就是想实现我们在现实世界里怎么跟外界交互，在这些技术里也按照同样的方式交互，使得沉浸感更高，效率高，学习成本低。但是在现实世界中，人与外界交互的方式是很复杂的。在这些视觉增强技术领域，输入交互是不可或缺的组成部分，输入交互捕捉用户的动作，如头部，手部甚至全身，使得用户可以与虚拟世界里的环境和物体进行交互，可以极大的增加用户的沉浸感，从而可以扩展出更多的应用。
以VR领域为例，对于个人计算机(PC，Personal Computer)或主机端头显都标配了六自由度(6-DoF，Six degrees of freedom)的头部跟踪和控制器跟踪，如Oculus Rift头显配有Oculus Touch控制器,HTC Vive头显配有Lighthouse追踪器,Sony PS头显则配有PSCamera传感器和PS Move控制器；对于移动头显，如Google Cardboard头显，三星Gear头显或类似的VR盒子，VR一体机都欠缺输入交互设备，较少的移动头显会配备控制器，如GoogleDaydream配置三自由度(3-DoF，Three degrees of freedom)的Daydream控制器。
然而对于移动端来说，没有追踪系统或者3-DoF追踪系统的运动追踪精确性较差，会使得交互不精确且复杂，大大降低VR的沉浸度和易用性，而PC上使用的6-DoF追踪系统则需要外置的设备进行配合，在移动端场景下使用不便，同时，目前也不存在可以同时兼容6-DoF头部位置跟踪和6-DoF控制器跟踪的系统。
发明内容
本发明实施例提供了一种交互方法及相关设备及系统来解决目前的视觉增强技术领域无运动追踪或运动追踪不精确导致的交互欠佳而影响沉浸度和易用性的问题。
本发明实施例第一方面提供一种交互方法包括：
虚拟现实头显通过相机传感器采集控制器上的特征点，所述特征点用于指示所述控制器的对应位置；
所述头显接收控制器采集的所述控制器的状态信息；
所述头显根据所述特征点和所述状态信息确定所述控制器的当前状态。
可选的，所述状态信息包括所述控制器的位置信息和旋转信息。
可选的，所述头显根据所述特征点和所述状态信息确定所述控制器的当前状态包括：
所述头显通过识别所述特征点确定所述特征点的位置信息；
所述头显通过所述特征点的位置信息和所述控制器的位置信息确定所述控制器的当前位置；
所述头显根据所述控制器的当前位置和所述控制器的旋转信息确定所述控制器的当前状态。
可选的，所述头显接收控制器采集的所述控制器的状态信息包括：
本发明实施例第二方面还提供一种交互方法，包括：
头显通过无线传输接收所述控制器采集的所述控制器的第一状态信息。
可选的，所述头显接收控制器采集的所述控制器的状态信息包括：
所述头显接收控制器通过惯性测量单元(IMU，Inertial measurement unit)传感器采集的所述控制器的状态信息。
可选的，对所述相机传感器和所述IMU传感器进行时间轴和坐标轴同步。
可选的，所述头显通过外界环境图像确定所述头显的第一状态信息；
所述头显通过IMU传感器采集自身的第二状态信息；
所述头显通过所述第一状态信息和所述第二状态信息确定所述头显的位置。
可选的，所述头显通过外界环境图像确定所述头显的第一状态信息包括：
所述头显通过相机传感器采集至少两个不同时刻的外界环境图像；
所述头显通过所述至少两个不同时刻的外界环境图像确定所述头显的第一状态信息。
可选的，所述第一状态信息包括第一位置信息和第一旋转信息，所述第二状态信息包括第二位置信息和第二旋转信息。
可选的，所述方法还包括：
对所述相机传感器和所述IMU传感器进行时间轴和坐标轴同步。
本发明第三方面还提供一种交互方法，包括：
控制器显示位于所述控制器上的特征点；
所述控制器通过IMU传感器采集自身的状态信息；
所述控制器将所述状态信息发送至头显。
可选的，所述状态信息包括位置信息和旋转信息。
可选的，该方法还包括：
对所述IMU传感器与所述头显的相机传感器进行时间轴和坐标轴同步。
本发明实施例第四方面还提供一种头显，包括头显主体，所述头显还包括：
设于所述头显主体上的相机传感器，用于采集控制器上的特征点，所述特征点用于指示所述控制器的对应位置；
设于所述头显主体上的收发模块，用于接收控制器采集的所述控制器的状态信息；
设于所述头显主体上的处理模块，用于根据所述特征点和所述状态信息确定所述控制器的当前状态，所述相机传感器和收发模块均与所述处理模块相连接。
可选的，所述头显还包括：
设于所述头显主体上的IMU传感器，用于采集所述头显的状态信息，所述状态信息包括位置信息和旋转信息。
可选的，所述处理模块具体用于：
通过识别所述特征点确定所述特征点的位置信息；
通过所述特征点的位置信息和所述控制器的位置信息确定所述控制器的当前位置；
根据所述控制器的当前位置和所述控制器的旋转信息确定所述控制器的当前状态。
可选的，所述收发模块具体用于：
通过无线传输接收所述控制器采集的所述控制器的第一状态信息。
可选的，所述相机传感器还用于与所述控制器内的IMU传感器进行时间轴和坐标轴同步。
可选的，所述相机传感器为双目相机传感器，所述处理模块还用于通过相机传感器采集的外界环境图像确定所述头显的第一状态信息；
所述IMU传感器用于采集的自身的第二状态信息；
所述处理模块还用于通过所述第一状态信息和所述第二状态信息确定所述头显的当前状态。
可选的，所述相机传感器具体用于采集至少两个不同时刻的外界环境图像；
所述处理模块具体用于通过所述至少两个不同时刻的外界环境图像确定所述头显的第一状态信息。
可选的，所述相机传感器还用于与所述头显上的IMU传感器进行时间轴和坐标轴同步。
本发明实施例第五方面还提供一种控制器，其特征在于，所述控制器包括：
发光二极管(LED，Light Emitting Diode)光点，用于显示位于特征点；
IMU传感器，用于采集自身的状态信息；
收发处理模块，用于将所述状态信息发送至头显，所述LED光点和所述IMU传感器均与所述收发处理模块相连接。
可选的，所述状态信息包括位置信息和旋转信息。
可选的，所述IMU传感器还用于与所述头显的相机传感器进行时间轴和坐标轴同步。
可选的，所述控制器还设有与所述收发处理模块连接的输入设备。
本发明实施例第六方面还提供一种的交互系统，包括：
如第三方面所述的头显和至少一个如第四方面所述的控制器。
从以上技术方案可以看出，本发明实施例具有以下优点：本发明实施例中，头显采用内置的相机传感器采集控制器的特征点，并结合控制器自身采集的位置信息和旋转信息来确定控制器的当前状态，从而实现控制器的6-DoF追踪，对于头显自身则首先通过IMU传感器采集自身的位置信息和旋转信息，结合内置的相机传感器采集的外界图像来确定头显的当前位置，从而实现头显的6-DoF追踪，从而实现在不影响视觉增强设备的便携性的情形下，大大提高视觉增强场景的交互性能，从而提升沉浸度和易用性。
附图说明
图1是本发明实施例的交互系统的一个实施例图；
图2是本发明实施例的头显的一个实施例图；
图3是本发明实施例的控制器的一个实施例图；
图4是本发明实施例的交互方法的一个实施例图；
图5是本发明实施例的交互方法的一个实施例图。
具体实施方式
本发明实施例提供了一种交互方法及相关设备及系统来实现提高虚拟现实的交互易用性，从而虚拟现实的沉浸度。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。
以下分别进行详细说明。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。
在视觉增强技术领域中，构成交互系统的两个部分分别是头戴显示器(HMD，HeadMount Display)，以下简称头显。这类头显通过各种头戴式显示设备，向眼睛发送光学信号，可以实现VR、AR和MR等不同效果。这些技术中，能够实现交互的一种方式是运动追踪，即通过相机传感器对特征点的追踪，主要用于相机传感器能够在拍摄的图像中识别出该特征点，从而识别控制器的位置。该特征点(如发光体)是能够与相机传感器拍出的图像中其余部分有明显区别的特征。而这种运动追踪，根据相机传感器设置位置的不同，有不同设置相机传感器和发光体的方式：一种是Outside-in方式，即将相机传感器设置在头显外部，将发光体设置在人体或者是头显上；一种是Inside-out方式，即将相机传感器设置在头显上，从而能够感知外界的环境，而发光体可以设置在需要追踪的载体上。Outside-in方式多用于PC端，相对固定的使用环境，而不适应于使用环境非固定的移动端，对于移动端来说，Inside-out方式的可行性更好。
请参阅图1，图1是本发明的交互系统的一个实施例图，本实施例中采用Inside-out方式追踪控制器，该系统可包括头显101和至少一个控制器102，通过头显101和控制器102的交互能够实现对控制器102的运动追踪，通过头显101自身的运动传感器配合相机传感器可实现对头显101自身的追踪，以图1为例，其中控制器102包含两个，头显101为一个，用户在使用时，两手各持一个控制器102。
下面分别对上述系统中的头显101和控制器102进行介绍。
一、头显101，请参阅图2，图2是本发明实施例的的头显的一个实施例图，该头显包括头显主体205(图2中的205名称需对应)以及设于所述头显主体上的相机传感器201、收发模块202、处理模块203和IMU传感器204，其中，相机传感器201、收发模块202和IMU传感器204均与处理模块203相连接。下面对各模块分别进行介绍：
首先是相机传感器201，该相机传感器201用于采集特征点，该特征点用于指示所述控制器的对应位置，该特征点如LED光点，该LED光点可为设置在如图1所示的控制器102上的发光二极管。该相机传感器可为彩色图像传感器，也可为黑白图像传感器。若相机传感器201是彩色图像传感器，则如图1所示的不同的控制器102上采用的LED光点的颜色均不相同，此时相机传感器201直接采集到彩色的图像，并由处理模块203根据LED光点颜色对图像进行分割，分割出候选区域；若相机传感器201是黑白图像传感器时，可根据二值化分割，分割出候选区域。
可以理解的是，在采集特征点的过程中，由于采用正常曝光的全局快门的图像传感器，背景中很多干扰点会被误检出来，这些干扰点会影响对于控制器追踪的判断，需要将其去除。举例来说，采用双目的相机传感器时，其过程是首先获得双目相机传感器的左右图像，接着按照彩色或是黑白的上述处理方式对图像进行分割，接着对区域进行连通搜索从而得到候选区域，并去除掉非候选区域的干扰点。
当然，在上述去除干扰点方式的基础上，还可额外添加一些约束条件对干扰点的进一步去除。
例如，添加深度约束。在用户手持如图1所示的控制器102时，LED光点离双目相机传感器的距离不超过正常用户手臂的长度，长度值可以预先设定，如设定为1米，则只要是超过1米的光点即可被认为是干扰点。
又例如，添加运动约束。由于用户手持如图1所示的控制器102进行交互，由于用户速度的限制，当前位置和上一帧的位置的变化范围是有限的，如果超出范围，则被认为是干扰点，另外，由于用户处于运动状态，如果某些光点连续多帧的位置都不变，则可认为是背景的干扰点。
再例如，添加极线约束。采集的左右视图中的候选点需要满足极线上的匹配，否则可认为是干扰点。极线约束，即一点a在平面x1上投影a1，在平面x2上的投影a2，由a、a1和a2组成的面与平面x1的交线b1，与平面x2的交线b2，其中b1为对应于a2的极线，b2为对应于a1的极线。极线约束即若已知a和a1，则a2一定位于b2上。
再例如，添加形状约束。光点如果为球形或是一些特殊形状时，成像应当是对应的形状，如球形，成像为圆形等，如果形状不匹配，则可认为是干扰点。
再例如，添加大小约束。用户在手持如图1所示的控制器102时，光点在相机传感器201视场中有限的区域内运动，成像面积在一个区间范围内，若连通区域面积不在该区间范围内，不论是过大还是过小，都认为是干扰点。
其中，控制器102通过IMU传感器采集状态信息，该IMU传感器可以包括陀螺仪、加速度计和磁力计之中的一种或者几种，能够检测出6-DoF上的信息，如检测出位置信息和旋转信息，具体的，通过检测出的每一帧的位置信息和旋转信息的差别，即可确定出控制器的运动趋势。
其次是收发模块202，该收发模块202用于接收控制器上的IMU传感器采集的所述控制器的状态信息。该收发模块202是与如图1所示的控制器102具有相同传输协议的收发模块。如该控制器102采用蓝牙方式，则该收发模块202也包括蓝牙连接方式；如该控制器102采用2.4G无线连接的方式，则该收发模块202同样也采用2.4G无线连接的方式。
此外，在对控制器的状态信息进行接收之前，还需要进行时间和空间坐标同步。具体的，如图1所示的控制器102上设有IMU传感器，头显上具有相机传感器，在进行两个设备进行工作之前，便需要将控制器102上的IMU传感器和头显上的相机传感器进行时间同步和坐标同步，此两项同步是后续能够进行控制器追踪的基础。
接着是处理模块203，该处理模块203根据所述特征点和所述状态信息确定所述控制器的当前状态。
其中，处理模块203确定控制器的当前状态的方式是，首先通过识别和处理通过相机传感器201采集到的特征点，得到如图1所示的控制器102的位置，将该位置与该控制器102的IMU传感器检测到的位置信息进行相互校正，得到准确的控制器102的当前位置，再通过控制器102的旋转信息结合当前位置，即可确定出控制器的当前状态。
可选的，头显除了对控制器102进行运动追踪之外，还会对头显自身进行追踪，此情形下，相机传感器201为双目相机传感器，
此情形下，IMU传感器204用于采集所述头显的状态信息，所述状态信息包括位置信息和旋转信息。
此情形下，处理模块203还用于通过相机传感器201采集的外界环境图像确定所述头显的第一状态信息；该第一状态信息结合头显通过IMU传感器204采集的状态信息即可确定出头显的当前状态。
其中，相机传感器201需要采集至少两个不同时刻的外界环境图像，如上一帧和当前帧的外界环境图像。接着处理模块203则通过采集的至少两个不同时刻的外界环境图像确定所述头显的第一状态信息。此过程实际上将两个时刻的外界环境图像进行比对，以外界环境作为基础，计算出在一帧的时长内，头显的运动方向和运动位置，从而计算出头显的位置信息和旋转信息。而在通过外界图像运算位置信息和旋转信息的同时，IMU传感器204也会采集的自身的第二状态信息，该第二状态信息同样包括头显的位置信息和旋转信息，接着处理模块203会将两种不同方式的得到位置信息和旋转信息进行相互校正和比对，最终以这些信息确定出头显的当前状态。
需要说明的是，与前述针对图1所示的控制器102的追踪类似，在对头显的第一状态信息和第二状态信息进行计算或者确定之前，还需要进行时间和空间坐标同步，具体的，将头显的IMU传感器204与相机传感器201进行时间同步和坐标同步，此两项同步是后续能够进行头显运动追踪的基础。
二、控制器，请参阅图3，图3是本发明实施例的的控制器的一个实施例图，该控制器3可包括：
LED光点301，用于显示位于控制器上的特征点。
其中，该LED光点301可以是点状的，也可以是球状的，也可以是其他特殊形状的，如圆环、正方体、长方体等形状，该LED光点301位于控制器的固定位置，如前端，中间部位或者末端等，只要能被头显的相机传感器检测到即可。
IMU传感器302，用于采集自身的状态信息。
其中，该状态信息同样包括位置信息和旋转信息，该信息的采集过程可参见图2所示实施例中的IMU传感器304的说明，此处不再赘述。
收发处理模块303，用于将所述状态信息发送至头显，所述LED光点301和所述IMU传感器302均与所述收发处理模块相连接。
其中，该收发处理模块303可以分为两个不同的单元，一个是用于收发的收发单元和一个用于处理的处理单元，两个单元在物理上可能是同存于一片芯片，也可以是两块芯片分别对应收发和处理功能。
该收发处理模块303主要用于将采集的状态信息发送至头显，当然，若该控制器上还具有一些其他功能，如输入设备，输入的一些指令，也可对这些指令处理后发送至头显。举例来说，该控制器上还具有输入设备304，则识别该输入设备304以及将输入设备的指令发送至头显同样由该收发处理模块303执行。其中，该输入设备304可包括触摸板、按键和扳机等等方式。
上面对本发明实施例的的交互系统、头显以及控制器，下面对本发明实施例的交互方法进行说明。下面分两个部分进行说明。
一、针对控制器的追踪的过程，请参阅图4，图4是本发明实施例的交互方法的一个实施例图，包括如图2所示实施例的控制器和如图2所示实施例的头显，控制器包括LED光点和控制器的IMU传感器，头显则包括头显的相机传感器(例如双目相机传感器)和处理模块，其中，该方法可包括：
401、将控制器的IMU传感器与相机传感器进行时间轴同步。
402、将控制器的IMU传感器与相机传感器进行坐标轴同步。
步骤401和步骤402的同步主要用于控制器的IMU传感器与头显的相机传感器进行同步，由于控制器的追踪需要头显和控制器分别采集的位置信息，因此需要进行时间上的同步，保证两者在同一时间采集的位置信息，其次，在坐标轴的同步，保证两者采集的信息在同一坐标轴内，若不为同一坐标轴，轻则产生位置偏差，重则会使得位置信息匹配失败，使得追踪失败，此处不再赘述。
其中，步骤401和步骤402之间并没有绝对的顺序关系。
403、LED光点工作并发光。
其中，该LED光点与图3所示实施例的LED光点类似，具体可参见图3所示实施例针对LED光点301的说明，此处不再赘述。
404、相机传感器对LED光点进行图像采集。
其中，该采集过程与图2所示实施例中通过相机传感器201采集特征点的过程类似，具体可参见图2所示实施例中针对相机传感器201的说明，此处不再赘述。
405、相机传感器将采集的图像发送至处理模块。
其中，若为双目相机传感器，则每组图像包括左右两幅图像，或者一副图像的两个部分。
406、处理模块根据采集的图像进行光点检测。
407、处理模块根据采集的图像进行光点识别。
408、处理模块根据采集的图像进行光点定位。
步骤406到步骤408的过程可参见图2所示实施例中针对相机传感器201的说明，此处不再赘述。
409、控制器的IMU传感器将采集的位置信息发送至处理模块。
其中，该IMU传感器位于控制器内，控制器采用该IMU传感器(如陀螺仪和加速度计等)采集自身的位置信息后，便会将该位置信息发送至处理模块。
410、处理模块根据光点的位置和接收的位置信息融合定位，确定出控制器的当前位置。
其中，处理模块在根据采集的光点确定出光点的位置信息后，再将控制器发送的由IMU传感器采集的位置信息与该光点的位置信息进行融合，得到该控制器的准确状态。
411、控制器的IMU传感器将采集的旋转信息发送至处理模块。
其中，位置信息和旋转信息可以在不同时刻发送给处理模块，也可以在同一时刻发送给处理模块，在处理完位置信息后，即知晓了控制器的位置信息，接着需要对控制器的旋转状态进行确定，该旋转状态旋转信息由控制器发送给处理模块，该旋转信息由IMU传感器进行采集。
412、处理模块根据当前位置和旋转信息输出6-DoF追踪结果。
其中，该追踪结果即控制器的当前状体，6-DoF的追踪即各个不同的维度的旋转。
二、针对头显的追踪的过程，请参阅图5，图5是本发明实施例的交互方法的一个实施例图，包括头显，头显则包括头显的相机传感器(例如双目相机传感器)、IMU传感器和处理模块，其中，该方法可包括：
501、相机传感器采集外界环境图像。
其中，追踪头显自身的状态信息时，仅需要头显上设置的IMU传感器以及相机传感器即可，首先是通过相机传感器采集外界图像，其具体采集过程可以参见图2所示实施例中针对IMU传感器204和相机传感器201配合的说明，此处不再赘述。
502、相机传感器将采集的外界环境图像发送至处理模块。
在完成采集过程后，相机传感器会将采集的图像发送至处理模块，以便于处理模块进行位置信息和旋转信息的确定。
503、处理模块根据采集的图像进行基于相机传感器的头部6-DoF位置和旋转定位。
其中，根据图像进行定位处理的过程可参见图2所示实施例中针对相机传感器的相关说明，此处不再赘述。对于头部6-DoF定位，则根据不同时刻采集的图像的角度差异进行计算。
其中，该头部6-DoF位置和旋转定位即位置信息和定位信息，也即第一状态信息。
504、IMU传感器采集自身的位置信息和旋转信息。
其中，头显的IMU传感器采集自身的位置信息和旋转信息的过程可参见图2所示实施例中针对控制器的IMU传感器的说明，此处不再赘述。
其中，自身的位置信息和旋转信息即第二状态信息。
505、IMU传感器将位置信息和旋转信息发送至处理模块。
同样的，头显的IMU传感器在获取了位置信息和旋转信息后，便发送至处理模块，以使得处理模块能够进行基于6-DoF位置和旋转定位。
506、处理模块根据采集的位置信息和旋转信息进行基于IMU传感器的头部6-DoF位置和旋转定位。
其中，基于IMU传感器的头部6-DoF位置和旋转定位的过程，与图2所示实施例中处理模块203通过位置信息和旋转信息确定头显的当前状态类似，此处不再赘述。
507、处理模块结合基于相机传感器的头部6-DoF位置和旋转定位以及基于IMU传感器的头部6-DoF位置和旋转定位输出头显的6-DoF追踪结果。
其中，在获取了两种方式得到的旋转信息和位置信息后，分别将两个旋转信息进行融合计算，将两个位置信息进行融合计算，最终的头显的6-DoF追踪结果。
通过上述方式完成头显的追踪过程。
可以看出，由于头显采用内置的相机传感器采集控制器的特征点，并结合控制器自身采集的位置信息和旋转信息来确定控制器的当前状态，从而实现对控制器的6-DoF追踪；对于头显自身，则首先通过头显上的IMU传感器采集自身的位置信息和旋转信息，结合内置的相机传感器采集的外界图像来确定头显的当前位置，从而实现头显的6-DoF追踪，进而实现在不影响视觉增强设备的便携性的情形下，大大提高视觉增强场景的交互性能，从而提升沉浸度和易用性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行替换；而这些修改或者替换，并不使相应技术方案脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种交互方法，其特征在于，包括：
头显通过相机传感器采集控制器上的特征点，所述特征点用于指示所述控制器的对应位置；
所述头显接收控制器采集的所述控制器的状态信息，所述状态信息为所述控制器根据检测到的所述控制器的位置信息和旋转信息的差别得到的；
所述头显根据所述特征点和所述状态信息确定所述控制器的当前状态；
所述头显根据所述特征点和所述状态信息确定所述控制器的当前状态包括：
所述头显通过识别所述特征点确定所述特征点的位置信息；
所述头显通过所述特征点的位置信息和所述控制器的位置信息确定所述控制器的当前位置；
所述头显根据所述控制器的当前位置和所述控制器的旋转信息确定所述控制器的当前状态。
2.一种交互方法，其特征在于，包括：
头显通过外界环境图像确定所述头显的第一状态信息，所述第一状态信息包括第一位置信息和第一旋转信息；
所述头显通过惯性测量单元IMU传感器采集自身的第二状态信息，所述第二状态信息包括第二位置信息和第二旋转信息；
所述头显通过所述第一状态信息和所述第二状态信息确定所述头显的位置；
所述头显通过外界环境图像确定所述头显的第一状态信息包括：
所述头显通过相机传感器采集至少两个不同时刻的外界环境图像；
所述头显通过所述至少两个不同时刻的外界环境图像确定所述头显的第一状态信息；
所述头显通过所述第一状态信息和所述第二状态信息确定所述头显的位置包括：
所述头显将所述第一位置信息与所述第二位置信息，以及所述第一旋转信息与所述第二旋转信息进行相互校正和比对，以确定所述头显的位置。
3.根据权利要求2所述的交互方法，其特征在于，所述方法还包括：
对所述相机传感器和所述IMU传感器进行时间轴和坐标轴同步。
4.一种交互方法，其特征在于，包括：
控制器显示位于所述控制器上的特征点；
所述控制器通过IMU传感器采集自身的位置信息和旋转信息；
所述控制器监测所述控制器的位置信息和旋转信息的差别确定所述控制器的状态信息；
所述控制器将所述状态信息发送至头显，以使得所述头显对采集的所述特征点进行识别确定所述特征点的位置信息，并通过所述特征点的位置信息和所述控制器的位置信息确定所述控制器的当前位置，并根据所述控制器的当前位置和所述控制器的旋转信息确定所述控制器的当前状态。
5.根据权利要求4所述的交互方法，其特征在于，对所述IMU传感器与所述头显的相机传感器进行时间轴和坐标轴同步。
6.一种头显，其特征在于，包括头显主体，所述头显还包括：
设于所述头显主体上的相机传感器，用于采集控制器上的特征点，所述特征点用于指示所述控制器的对应位置；
设于所述头显主体上的收发模块，用于接收控制器采集的所述控制器的状态信息，所述状态信息为所述控制器根据检测到的所述控制器的位置信息和旋转信息的差别得到的；
设于所述头显主体上的处理模块，用于根据所述特征点和所述状态信息确定所述控制器的当前状态，所述相机传感器和收发模块均与所述处理模块相连接；
所述头显还包括：
设于所述头显主体上的惯性测量单元IMU传感器，用于采集所述头显的状态信息，所述处理模块具体用于：
通过识别所述特征点确定所述特征点的位置信息；
通过所述特征点的位置信息和所述控制器的位置信息确定所述控制器的当前位置；
根据所述控制器的当前位置和所述控制器的旋转信息确定所述控制器的当前状态。
7.根据权利要求6所述的头显，其特征在于，所述相机传感器为双目相机传感器，所述处理模块还用于通过相机传感器采集的外界环境图像确定所述头显的第一状态信息；
所述IMU传感器用于采集的自身的第二状态信息；
所述处理模块还用于通过所述第一状态信息和所述第二状态信息确定所述头显的当前状态；
所述相机传感器具体用于采集至少两个不同时刻的外界环境图像；
所述处理模块具体用于通过所述至少两个不同时刻的外界环境图像确定所述头显的第一状态信息。
8.根据权利要求7所述的头显，其特征在于，所述控制器通过所述控制器的IMU传感器采集所述控制器的状态信息，所述相机传感器还用于与所述控制器的IMU传感器进行时间轴和坐标轴同步，所述相机传感器所述相机传感器还用于与所述头显上的IMU传感器进行时间轴和坐标轴同步。
9.一种控制器，其特征在于，所述控制器包括：
发光二极管LED光点，用于显示位于特征点；
惯性测量单元IMU传感器，用于采集自身的位置信息和旋转信息；
所述IMU传感器还用于监测所述控制器的位置信息和旋转信息的差别确定所述控制器的状态信息；
收发处理模块，用于将所述状态信息发送至头显，以使得所述头显对采集的所述特征点进行识别确定所述特征点的位置信息，并通过所述特征点的位置信息和所述控制器的位置信息确定所述控制器的当前位置，并根据所述控制器的当前位置和所述控制器的旋转信息确定所述控制器的当前状态，所述LED光点和所述IMU传感器均与所述收发处理模块相连接。
10.根据权利要求9所述的控制器，其特征在于，所述IMU传感器还用于与所述头显的相机传感器进行时间轴和坐标轴同步。
11.根据权利要求10所述的控制器，其特征在于，所述控制器还设有与所述收发处理模块连接的输入设备。
12.一种交互系统，其特征在于，包括：
如权利要求6至权利要求8中任一项所述的头显和至少一个如权利要求9至权利要求11中任一项所述的控制器。
CN201710294577.1A 2017-04-28 2017-04-28 一种交互方法、设备及系统 Active CN108803861B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710294577.1A CN108803861B (zh) 2017-04-28 2017-04-28 一种交互方法、设备及系统
PCT/CN2017/096302 WO2018196221A1 (zh) 2017-04-28 2017-08-07 一种交互方法、设备及系统
US16/596,789 US11436818B2 (en) 2017-04-28 2019-10-09 Interactive method and interactive system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710294577.1A CN108803861B (zh) 2017-04-28 2017-04-28 一种交互方法、设备及系统

Publications (2)

Publication Number Publication Date
CN108803861A CN108803861A (zh) 2018-11-13
CN108803861B true CN108803861B (zh) 2021-01-12

Family

ID=63919409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710294577.1A Active CN108803861B (zh) 2017-04-28 2017-04-28 一种交互方法、设备及系统

Country Status (3)

Country Link
US (1) US11436818B2 (zh)
CN (1) CN108803861B (zh)
WO (1) WO2018196221A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443853B (zh) * 2019-07-19 2022-01-28 广东虚拟现实科技有限公司 基于双目摄像头的标定方法、装置、终端设备及存储介质
CN111427452B (zh) * 2020-03-27 2023-10-20 海信视像科技股份有限公司 控制器的追踪方法及vr系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699247A (zh) * 2015-03-18 2015-06-10 北京七鑫易维信息技术有限公司 一种基于机器视觉的虚拟现实交互系统及方法
CN106445176A (zh) * 2016-12-06 2017-02-22 腾讯科技（深圳）有限公司 基于虚拟现实技术的人机交互系统及交互方法
CN106595640A (zh) * 2016-12-27 2017-04-26 天津大学 基于双imu和视觉融合的动基座上物体相对姿态测量方法及系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4808064A (en) * 1985-12-05 1989-02-28 Odetics, Inc. Micropositioning apparatus for a robotic arm
US20050206874A1 (en) * 2004-03-19 2005-09-22 Dougherty Robert P Apparatus and method for determining the range of remote point light sources
DE102009018477A1 (de) * 2008-05-15 2009-11-19 Heidelberger Druckmaschinen Ag Videoüberwachte Druckmaschine
WO2010105499A1 (en) * 2009-03-14 2010-09-23 Quan Xiao Methods and apparatus for providing user somatosensory experience for thrill seeking jumping like activities
EP2333623A1 (en) * 2009-12-11 2011-06-15 Siemens Aktiengesellschaft Monitoring system for data acquisition in a production environment
KR101302638B1 (ko) * 2011-07-08 2013-09-05 더디엔에이 주식회사 머리의 제스처 및 손의 제스처를 감지하여 컨텐츠를 제어하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
JP5887770B2 (ja) * 2011-09-05 2016-03-16 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US20140333773A1 (en) * 2013-05-11 2014-11-13 Randy James Davis Portable audio/ video mask
US20150070498A1 (en) * 2013-09-06 2015-03-12 Caterpillar Inc. Image Display System
US9713871B2 (en) * 2015-04-27 2017-07-25 Microsoft Technology Licensing, Llc Enhanced configuration and control of robots
EP3158417B1 (en) * 2015-05-23 2019-09-25 SZ DJI Technology Co., Ltd. Sensor fusion using inertial and image sensors
CN105913364A (zh) * 2016-04-11 2016-08-31 刘强 基于虚拟现实技术的监狱出监教育模拟方法
CN105931275A (zh) * 2016-05-23 2016-09-07 北京暴风魔镜科技有限公司 基于移动端单目和imu融合的稳定运动跟踪方法和装置
CN106249905A (zh) * 2016-09-23 2016-12-21 广州中国科学院先进技术研究所 一种基于移动客户端的vr动感体验平台
CN106293101A (zh) * 2016-09-30 2017-01-04 陈华丰 一种用于头戴显示器的人机交互系统及方法
CN106546238B (zh) * 2016-10-26 2020-09-01 北京小鸟看看科技有限公司 可穿戴设备及在可穿戴设备中确定用户位移的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699247A (zh) * 2015-03-18 2015-06-10 北京七鑫易维信息技术有限公司 一种基于机器视觉的虚拟现实交互系统及方法
CN106445176A (zh) * 2016-12-06 2017-02-22 腾讯科技（深圳）有限公司 基于虚拟现实技术的人机交互系统及交互方法
CN106595640A (zh) * 2016-12-27 2017-04-26 天津大学 基于双imu和视觉融合的动基座上物体相对姿态测量方法及系统

Also Published As

Publication number Publication date
US11436818B2 (en) 2022-09-06
WO2018196221A1 (zh) 2018-11-01
US20200042821A1 (en) 2020-02-06
CN108803861A (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
EP3469457B1 (en) Modular extension of inertial controller for six dof mixed reality input
US10818092B2 (en) Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking
EP3469458B1 (en) Six dof mixed reality input by fusing inertial handheld controller with hand tracking
CN110140099B (zh) 用于跟踪控制器的系统和方法
CN109313500B (zh) 纤细形状因子的无源光学和惯性跟踪
EP3422153A1 (en) System and method for selective scanning on a binocular augmented reality device
EP3455701B1 (en) Methods and apparatus to align components in virtual reality environments
US10852847B2 (en) Controller tracking for multiple degrees of freedom
US20180106999A1 (en) Gaze detection system, gaze point detection method, and gaze point detection program
JP5499762B2 (ja) 画像処理装置、画像処理方法、プログラム及び画像処理システム
CN113874870A (zh) 基于图像的定位
US20110140994A1 (en) Information Presenting Apparatus, Method, and Computer Program Product
CN114761909A (zh) 针对头戴式显示器的内容稳定
JP2018511098A (ja) 複合現実システム
KR20150093831A (ko) 혼합 현실 환경에 대한 직접 상호작용 시스템
KR20130034125A (ko) 증강현실 기능을 구비한 안경형 모니터
WO2015093130A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2016122392A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
CN113934389A (zh) 三维扫描处理方法、系统、处理设备和存储介质
CN108803861B (zh) 一种交互方法、设备及系统
CN110688002B (zh) 虚拟内容的调整方法、装置、终端设备及存储介质
CN111427452A (zh) 控制器的追踪方法及vr系统
JPWO2018146922A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11900058B2 (en) Ring motion capture and message composition system
CN112053444B (zh) 基于光通信装置叠加虚拟对象的方法和相应的电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: An interactive method, device and system

Effective date of registration: 20221223

Granted publication date: 20210112

Pledgee: Shanghai Pudong Development Bank Limited by Share Ltd. Guangzhou branch

Pledgor: GUANGDONG VIRTUAL REALITY TECHNOLOGY Co.,Ltd.

Registration number: Y2022980028733

PE01 Entry into force of the registration of the contract for pledge of patent right