CN111766959B - 虚拟现实交互方法和虚拟现实交互装置 - Google Patents

虚拟现实交互方法和虚拟现实交互装置 Download PDF

Info

Publication number
CN111766959B
CN111766959B CN201910262072.6A CN201910262072A CN111766959B CN 111766959 B CN111766959 B CN 111766959B CN 201910262072 A CN201910262072 A CN 201910262072A CN 111766959 B CN111766959 B CN 111766959B
Authority
CN
China
Prior art keywords
gesture
display
target
target object
actual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910262072.6A
Other languages
English (en)
Other versions
CN111766959A (zh
Inventor
王冉冉
周国栋
杨宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN201910262072.6A priority Critical patent/CN111766959B/zh
Publication of CN111766959A publication Critical patent/CN111766959A/zh
Application granted granted Critical
Publication of CN111766959B publication Critical patent/CN111766959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开是关于一种虚拟现实交互方法，包括：通过多个激光发射端发射激光扫描预设区域，以确定目标物体在预设区域中的实际位置；通过惯性传感器确定目标物体的实际姿态；根据实际位置和实际姿态确定目标物体在可穿戴设备显示的图像中对应的目标位置和目标姿态；根据交互物体与目标物体的位置关系和姿态关系，以及目标位置和所述目标姿态，确定交互物体在所述图像中对应的显示位置和显示姿态；根据显示位置和显示姿态在可穿戴设备中显示交互物体的虚拟图像。根据本公开的实施例，可以在更大的范围内确定用户携带目标物体的实际位置和实际姿态，便于用户在更大的范围内执行动作，方便用户执行动作与可穿戴设备进行交互。

Description

虚拟现实交互方法和虚拟现实交互装置
技术领域
本公开涉及显示技术领域，尤其涉及虚拟现实交互方法，虚拟现实交互装置，电子设备和计算机可读存储介质。
背景技术
在相关技术中，为了实现虚拟现实(Virtual Reality，简称VR)设备与佩戴者的交互，主要采用了以下几种方式：
1、在虚拟现实设备上设置触控面板，用户触摸触控面板以输入触控信号，虚拟显示设备根据触控信号实现相应功能。
但是用户在佩戴虚拟现实设备时，为了沉浸式体验，一般会将眼部完全罩住，从而用户触摸触控面板的操作就是盲操作，这使得用户难以准确地确定触控面板的位置。并且触控面板设置在虚拟现实设备上，用户需要举起手臂才能接触到触控面板，容易导致用户疲劳，操作不便。
2、用户通过转动头部控制所佩戴的虚拟现实设备运动，从而改变虚拟现实图像设备所显示的光标在虚拟图像中的位置，进而根据光标的在虚拟图像中的位置实现相应功能。
这种操作方式需要用户频繁地转动头部，并且根据光标的在虚拟图像中的位置悬停一段时间以实现相应功能，而光标悬停也就需要用户头部悬停。并且光标所需悬停的时长不易设置，若设置的较短，容易产生误操作，若设置的较长，可能出现用户悬停头部较长时间没响应，导致用户产生误解。为了实现这种操作，需要用户头部和颈部较高强度的配合，操作难度较大。
3、通过识别语音来实现相应功能。
这虽然可以实现较为有效的交互，但是具有一定的局限性，例如在环境噪声较大的场景下效果较差，而且需要用户发出声音，发出的声音还需要是机器能识别的类型，例如标准的普通话，这也对用户的操作提出了较高的要求，仍然存在操作不便的问题。
4、通过键盘，鼠标等外部设备输入指令以实现相应功能。
采用这种方式，需要用户将键盘和鼠标携带在身边，给用户增加了负担，而且用户能够输入的指令，也仅限于键盘和鼠标配合输入的指令，具有一定局限性。
5、通过设置在虚拟现实设备上的摄像头拍摄用户手部动作，以生成指令实现对应功能。
这种方式需要用户保证手部在摄像头的视场角内，对用户的操作局限性较大；并且用户眼睛被虚拟现实设备罩住，难以准确地确定摄像头的视场角，很有可能将手伸出视场角执行动作，导致摄像头采集不到手部动作；而且摄像头的视场角一般是朝向用户前方的，用户为了保证摄像头能完整的拍摄到手部动作，需要长时间伸手执行操作，操作也存在较多不便；另外目前图像采集用户动作的精度较低，难以准确地根据用户的动作做出响应。
可见，目前几种实现虚拟现实设备与佩戴者交互的方式，在操作上都存在较多不便和局限性。
发明内容
本公开提供虚拟现实交互方法，虚拟现实交互装置，电子设备和计算机可读存储介质，以解决相关技术中的不足。
根据本公开实施例的第一方面，提出一种虚拟现实交互方法，所述方法包括：
通过多个激光发射端发射激光扫描预设区域，以确定目标物体在所述预设区域中的实际位置，其中，所述目标物体上设置有激光接收端和惯性传感器；
通过所述惯性传感器确定所述目标物体的实际姿态；
根据所述实际位置和所述实际姿态确定所述目标物体在可穿戴设备显示的图像中对应的目标位置和目标姿态；
根据交互物体与所述目标物体的位置关系和姿态关系，以及所述目标位置和所述目标姿态，确定所述交互物体在所述图像中对应的显示位置和显示姿态；
根据所述显示位置和所述显示姿态在所述可穿戴设备中显示所述交互物体的虚拟图像。
可选地，所述方法还包括：
记录所述显示位置和/或所述显示姿态的变化；
根据所述显示位置和/或所述显示姿态对应的动作触发所述可穿戴设备执行操作。
可选地，所述方法还包括：
根据接收到第一指令时关闭所述多个激光发射端和激光接收端；
根据后续确定的显示姿态对应的动作触发所述可穿戴设备执行操作。
可选地，所述方法还包括：
根据接收到第二指令关闭所述惯性传感器；
根据后续确定的显示位置对应的动作触发所述可穿戴设备执行操作。
根据本公开实施例的第二方面，提出一种虚拟现实交互装置，所述装置包括：
位置确定模块，用于通过多个激光发射端发射激光扫描预设区域，以确定目标物体在所述预设区域中的实际位置，其中，所述目标物体上设置有激光接收端和惯性传感器；
姿态确定模块，用于通过所述惯性传感器确定所述目标物体的实际姿态；
目标确定模块，用于根据所述实际位置和所述实际姿态确定所述目标物体在可穿戴设备显示的图像中对应的目标位置和目标姿态；
显示确定模块，用于根据交互物体与所述目标物体的位置关系和姿态关系，以及所述目标位置和所述目标姿态，确定所述交互物体在所述图像中对应的显示位置和显示姿态；
图像显示模块，用于根据所述显示位置和所述显示姿态在所述可穿戴设备中显示所述交互物体的虚拟图像。
可选地，所述装置还包括：
变化记录模块，用于记录所述显示位置和/或所述显示姿态的变化；
操作触发模块，用于根据所述显示位置和/或所述显示姿态对应的动作触发所述可穿戴设备执行操作。
可选地，所述装置还包括：
第一关闭模块，用于根据接收到第一指令时关闭所述多个激光发射端和激光接收端；
其中，所述操作触发模块用于根据后续确定的显示姿态对应的动作触发所述可穿戴设备执行操作。
可选地，所述装置还包括：
第二关闭模块，根据接收到第二指令关闭所述惯性传感器；
其中，所述操作触发模块用于根据后续确定的显示位置对应的动作触发所述可穿戴设备执行操作。
根据本公开实施例的第三方面，提出一种电子设备，包括：
一个或多个处理器；
用于存储处理器可执行指令的存储器；
其中，所述一个或多个处理器被配置为实现上述任一实施例所述的方法。
根据本公开实施例的第四方面，提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述的方法中的步骤。
根据本公开的实施例，通过激光发射端发出激光扫描目标来确定目标物体的实际位置，以及通过惯性传感器确定目标物体的实际姿态。由于激光发射端的扫描范围可以设置的很大，因此便于在极大范围内确定目标物体的实际位置。而且惯性传感器设置在目标物体上，无论目标物体运动到何处，都可以确定出目标物体的实际姿态。
相对于现有技术中的几种用户与虚拟现实设备的交互方式，本实施例无需用户手动对可穿戴设备进行操作，也无需用户发出语音进行控制，也无需用户转动头部进行控制，并且确定实际位置和实际姿态的区域也不局限在相机的视场角内这种狭小的区域内，而是可以在更大的范围内确定用户携带目标物体的实际位置和实际姿态，进而在可穿戴设备中显示与目标物体存在一定位置关系和姿态关系的交互物体的虚拟图像，便于用户在更大的范围内执行动作，方便用户执行动作与可穿戴设备进行交互。
而且本实施例确定目标物体实际位置和实际姿态是通过不同结构分别完成的，相对于相关技术中通过摄像头来同时确定物体的位置和姿态，每个结构所需执行的算法都相对简单，相对于复杂的算法便于得到更加准确地计算出结果，进而提高用户和可穿戴设备交互的精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据本公开的实施例示出的一种虚拟现实交互方法的示意流程图。
图2是根据本公开的实施例示出的一种虚拟现实交互系统的示意图。
图3A是根据本公开的实施例示出的一种目标物体的示意图。
图3B是根据本公开的实施例示出的一种用户手和目标物体的示意图。
图4是根据本公开的实施例示出的另一种虚拟现实交互方法的示意流程图。
图5是根据本公开的实施例示出的又一种虚拟现实交互方法的示意流程图。
图6是根据本公开的实施例示出的又一种虚拟现实交互方法的示意流程图。
图7是根据本公开的实施例示出的一种虚拟现实交互装置的示意框图。
图8是根据本公开的实施例示出的另一种虚拟现实交互装置的示意框图。
图9是根据本公开的实施例示出的又一种虚拟现实交互装置的示意框图。
图10是根据本公开的实施例示出的又一种虚拟现实交互装置的示意框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据本公开的实施例示出的一种虚拟现实交互方法的示意流程图。本公开实施例所示的方法可以适用于虚拟现实交互系统，所述虚拟现实交互系统包括多个激光发射端，激光接收端，惯性传感器和可穿戴设备。
在一个实施例中，所述可穿戴设备为虚拟现实设备或增强现实设备，以虚拟现实设备为例，所述可穿戴设备可以是头盔，在头盔中设置有屏幕，所述屏幕可以显示虚拟图像；所述可穿戴设备还可以是组装有终端(例如手机)的设备，所述终端可以显示虚拟图像。
如图1所示，所述虚拟现实交互方法可以包括以下步骤：
步骤S1，通过多个激光发射端发射激光扫描预设区域(可以根据需要进行设定)，以确定目标物体在所述预设区域中的实际位置，其中，所述目标物体上设置有激光接收端和惯性传感器；
步骤S2，通过所述惯性传感器确定所述目标物体的实际姿态；
步骤S3，根据所述实际位置和所述实际姿态确定所述目标物体在可穿戴设备显示的图像中对应的目标位置和目标姿态；
步骤S4，根据交互物体与所述目标物体的位置关系和姿态关系，以及所述目标位置和所述目标姿态，确定所述交互物体在所述图像中对应的显示位置和显示姿态；
步骤S5，根据所述显示位置和所述显示姿态在所述可穿戴设备中显示所述交互物体的虚拟图像。
图2是根据本公开的实施例示出的一种虚拟现实交互系统的示意图。
如图2所示，所述虚拟现实交互系统包括两个激光发射端，可穿戴设备被用户佩戴在头上，用户左手和右手分别拿着一个目标物体，每个目标物体上都设置有激光接收端和惯性传感器，可穿戴设备可以将数据传输至处理器(例如个人计算机)进行处理，也可以通过自身携带的处理器进行处理，处理器也可以向可穿戴设备传输处理后的数据，以供可穿戴设备进行显示，执行动作。
本实施例中通过多个激光发射端发射激光扫描预设区域，以确定目标物体在所述预设区域中的实际位置，具体的实现方式可以与相关技术中红外激光定位技术的方式相同，以下为方便理解，进行适当解释说明。
激光发射端可以利用电动双转子发出激光扇面，两个激光发射端发出的激光扇面所扫描的方向可以是相互垂直的，例如一个激光发射端发出的激光扇面运动方向为水平方向，称此方向为X方向，另一个激光发射端发出的激光扇面运动方向为竖直方向，称此方向为Y方向。其中，激光发射端发出的激光可以是红外激光。
另外，激光发射端还可以发出同步信号，激光接收端可以确定接收到同步信号的第一时刻以及接收到激光发射端发出的激光的第二时刻，并将这两个时刻发送至处理器，处理器还可以从激光发射端获取激光发射端扫描的角速度，进而处理器可以根据来自激光接收端和激光发射段的数据确定目标物体在现实环境中的实际位置。
在一个实施例中，惯性传感器(IMU，也可以称为惯性测量单元)，可以包括陀螺仪，加速度计，还可以包括磁力计。
其中，通过陀螺仪可以确定目标物体运动的角速度，并通对角速度积分得到目标无图的roll角，pitch角，但是在积分过程中容易产生误差，该误差会随着积分时长而增加，导致确定的roll角，pitch角以及yaw角存在偏差。
通过加速度计可以确定目标物体运动的加速度，其中包括重力方向上的加速度，进而可以利用加速度计校正重力方向上角度的偏差，还可以利用加速度计校正陀螺仪确定的roll角，pitch角。通过磁力计可以得到yaw角，据此可以校正陀螺仪确定的yaw角。进而根据矫正后的roll角，pitch角和yaw角，可以确定目标物体在现实环境中的实际姿态。
图3A是根据本公开的实施例示出的一种目标物体的示意图。图3B是根据本公开的实施例示出的一种用户手和目标物体的示意图。
如图3A和图3B所示，目标物体可以为六边形结构，方便用户拿在手中，并且还可以配备有松紧带以防止用户执行动作期间目标物体从用户手中脱落，惯性传感器可以设置在目标物体的中心，激光接收端可以为光传感器，例如可以包括6个光传感器，分别设置在六边形结构的六个角上。pitch角的轴线和roll角的休闲在目标物体平整时可以与目标物体所处平面平行，而yaw角的轴线在目标物体平整时可以与目标物体所处平面垂直。
在一个实施例中，实际位置和实际姿态可以通过大地坐标系中的坐标表示，而大地坐标系中的坐标可以转换到可穿戴设备的坐标系中，从而得到目标物体在可穿戴设备显示的图像中对应的目标位置和目标姿态，进而根据交互物体与所述目标物体的位置关系和姿态关系，以及所述目标位置和所述目标姿态，确定所述交互物体在所述图像中对应的显示位置和显示姿态，具体地，基于位置关系可以对目标物体在可穿戴设备的坐标系中的坐标进行平移，基于姿态关系可以对目标物体在可穿戴设备的坐标系中的坐标进行旋转。
其中，交互物体与目标物体的位置关系和姿态关系可以基于交互物体的不同而有所不同。
以交互物体为用户的手为例，交互物体与目标物体的位置关系和姿态关系可以是预先确定的，例如目标物体适用于被用户的手握在手中，那么所述位置关系可以是交互物体位于目标物体上方(并非实际空间的上方，而是在以目标物体的中心为圆心建立的坐标系中，以z轴的正方向作为上方)的预设距离处，姿态关系可以是交互物体的姿态与目标姿态相同，
以交互物体为鼠标光标为例，交互物体与目标物体的位置关系和姿态关系可以是将目标物体的目标位置作为交互物体的显示位置，将目标物体的目标姿态作为交互物体的显示姿态。例如在可穿戴设备进入空鼠模式时，将目标物体的目标位置确定为鼠标光标的显示位置，将目标物体的目标姿态确定为鼠标光标的显示姿态，进而鼠标光标显示位置的变化与目标位置的变化相同，鼠标光标显示姿态(例如鼠标光标的指向变化)的变化与目标姿态的变化相同。
需要说明的是，在某些情况下，交互物体与目标物体较为接近，例如交互物体被用户戴在手上或者拿在手中，用户可以根据需要设置交互物体与目标物体的位置关系和姿态关系都相同，也即将目标位置作为显示位置，将目标位姿作为显示位姿。
根据本公开的实施例，通过激光发射端发出激光扫描目标来确定目标物体的实际位置，以及通过惯性传感器确定目标物体的实际姿态。由于激光发射端的扫描范围可以设置的很大，例如不仅可以扫描穿戴设备前方的区域，也可以扫描可穿戴设备后方的区域，左方的区域，右方的区域，上方的区域，下方的区域等，因此便于在极大范围内确定目标物体的实际位置。而且惯性传感器设置在目标物体上，无论目标物体运动到何处，都可以确定出目标物体的实际姿态。
相对于现有技术中的几种用户与虚拟现实设备的交互方式，本实施例无需用户手动对可穿戴设备进行操作，也无需用户发出语音进行控制，也无需用户转动头部进行控制，并且确定实际位置和实际姿态的区域也不局限在相机的视场角内这种狭小的区域内，而是可以在更大的范围内确定用户携带目标物体的实际位置和实际姿态，进而在可穿戴设备中显示与目标物体存在一定位置关系和姿态关系的交互物体的虚拟图像，便于用户在更大的范围内执行动作，方便用户执行动作与可穿戴设备进行交互。
而且本实施例确定目标物体实际位置和实际姿态是通过不同结构分别完成的，相对于相关技术中通过摄像头来同时确定物体的位置和姿态，每个结构所需执行的算法都相对简单，相对于复杂的算法便于得到更加准确地计算出结果，进而提高用户和可穿戴设备交互的精度。
图4是根据本公开的实施例示出的另一种虚拟现实交互方法的示意流程图。如图4所示，所述方法还包括：
步骤S6，记录所述显示位置和/或所述显示姿态的变化；
步骤S7，根据所述显示位置和/或所述显示姿态对应的动作触发所述可穿戴设备执行操作。
在一个实施例中，目标物体的实际位置以及实际姿态都是可以变化的，例如在用户用手拿着目标物体时，目标物体的实际位置和实际姿态可以随着用户手部的运动而变化。而在本实施例中可以每隔一段时间确定一次目标物体实际位置以及实际姿态的变化，进而确定对应的目标位置和目标姿态的变化，然后确定显示位置和显示姿态的变化，并且可以记录显示位置和/或所述显示姿态的变化。
显示位置和/或所述显示姿态在一段时间内的连续变化可以组成动作，例如可以将一段时间内显示位置和/或所述显示姿态变化的数据与预设动作进行比较，若两者相同，确定显示位置和/或所述显示姿态对应的动作为预设动作，那么可以根据预设动作执行操作。
其中，根据预设动作执行操作可以一步完成，例如可穿戴设备的屏幕中正在显示图像，那么当显示位置向左移动，可以确定动作是左移动作，从而将可穿戴设备的屏幕中显示的图像向左移动，而当显示姿态为收缩，例如如图3B所示的目标物体在用户攥拳时受到按压而收缩，可以确定动作是缩小操作，从而将可穿戴设备的屏幕中显示的图像缩小。例如可穿戴设备正在播放音乐，那么当显示姿态为收缩，可以确定动作是降低音量，从而降低正在播放的音乐的音量。
据此，可以直接根据显示位置和/或显示姿态对应的动作触发可穿戴设备执行操作，便于用户快速操作。
当然，根据预设动作执行操作也可以根据需要设置为包括多步，例如包括两步：
第一步是启动预设动作对应的模式，所述模式包括但不限于输入模式，空鼠模式等，例如可穿戴设备启动输入模式，那么可以在屏幕中显示九宫格或者美式键盘作为输入栏，供用户后续执行输入操作，例如可穿戴设备启动空鼠模式，那么可以在屏幕中显示鼠标光标，还可以进一步显示虚拟鼠标，用户可以参考鼠标光标的位置操纵虚拟鼠标。
相应地，在可穿戴设备关闭所述模式时，可以从屏幕中清除九宫格，美式键盘，虚拟鼠标，鼠标光标等图像。
第二步是在该模式下进行操作，例如可穿戴设备启动输入模式，那么可以根据后续确定的显示动作和/或显示姿态触发屏幕显示的九宫格或美式键盘中的按键，从而完成输入。例如可穿戴设备启动空鼠模式，那么可以基于目标物体每个角的变化来确定对虚拟鼠标的操作，例如基于目标物体pitch角的改变确定目标物体左倾，那么可以触发点击虚拟鼠标左键的操作，基于目标物体pitch角的改变确定目标物体右倾，那么可以触发点击虚拟鼠标右键的操作，基于目标物体roll角的改变确定目标物体前倾或者后仰，那么可以触发滚动虚拟鼠标滚动的操作。
据此，可以在先根据显示位置和/或显示姿态对应的动作触发可穿戴设备启动特定模式，然后在该模式启动的情况下才根据后续显示位置和/或显示姿态进行操作，有利于避免直接进行操作而产生的误操作。
需要说明的是，根据显示位置和/或显示姿态对应的动作触发可穿戴设备启动的模式以及执行操作可以多种多样，并不限于上述实施例所述的几种情况，具体模式和操作可以根据需要进行设置。
图5是根据本公开的实施例示出的又一种虚拟现实交互方法的示意流程图。如图5所示，所述方法还包括：
步骤S8，根据接收到第一指令时关闭所述多个激光发射端和激光接收端；
步骤S9，根据后续确定的显示姿态对应的动作触发所述可穿戴设备执行操作。
在一个实施例中，第一指令可以是用户通过点击目标物体上的按键，或者点击可穿戴设备的按键，或者听过发出语音来生成的，也可以是用户通过携带目标物体执行特定动作生成的。
通过接收第一指令关闭多个激光发射端和激光接收端，可以停止通过多个激光发射端发射激光扫描预设区域，以确定目标物体在预设区域中的实际位置，从而仅通过惯性传感器确定目标物体的实际姿态，进而可以根据后续确定的显示姿态触发可穿戴设备执行操作。
例如可穿戴设备启动空鼠模式，鼠标光标作为交互物体，其显示位置会随着目标物体的实际位置和目标位置的移动而移动，这就需要用户保持手拿着目标物体在特定区域，以免鼠标光标在大范围内移动而产生误操作，但是有些情况下用户进行的操作并不需要移动鼠标光标，只需点击虚拟鼠标的左键和右键，那么上述操作就需要用户长期保持在特定位置，容易导致用户疲劳。
而在本实施例中，可以使得可穿戴设备执行操作不再依据目标物体的实际位置和目标位置以及交互物体的显示位置，从而使得用户可以在任何位置通过改变目标物体的姿态来触发可穿戴设备执行操作。例如在空鼠模式下，不必用手拿着目标物体在特定区域，而是可以用手拿着目标物体在任意区域，只需注意目标物体的姿态即可，例如可以放松地将手自然下垂，从而将目标物体竖直放在腿上，进而可以控制目标物体左倾，右倾来实现点击虚拟鼠标的左键和右键，从而有效地避免用户操作疲劳。
图6是根据本公开的实施例示出的又一种虚拟现实交互方法的示意流程图。如图6所示，所述方法还包括：
步骤S10，根据接收到第二指令关闭所述惯性传感器；
步骤S11，根据后续确定的显示位置对应的动作触发所述可穿戴设备执行操作。
在一个实施例中，第二指令可以是用户通过点击目标物体上的按键，或者点击可穿戴设备的按键，或者听过发出语音来生成的，也可以是用户通过携带目标物体执行特定动作生成的。
通过接收第二指令关闭惯性传感器，可以停止通过惯性传感器确定目标物体在预设区域中的实际姿态，通过多个激光发射端发射激光扫描预设区域，以确定目标物体在预设区域中的实际位置，进而可以根据后续确定的显示位置触发可穿戴设备执行操作。
例如可穿戴设备启动空鼠模式，可穿戴设备会根据目标物体倾角的改变执行点击虚拟鼠标左键或右键的操作，这就需要用户保持手拿着目标物体处于特定姿态，以免误触发点击拟虚拟鼠标左键或右键的操作，但是有些情况下用户进行的操作并不需要点击虚拟鼠标左键或右键，只需移动鼠标光标，那么上述操作就需要用户长期保持特定姿态，容易导致用户疲劳。
而在本实施例中，可以使得可穿戴设备执行操作不再依据目标物体的实际姿态和目标姿态以及交互物体的显示姿态，从而使得用户可以在任何姿态下通过改变目标物体的位置来触发可穿戴设备执行操作。例如在空鼠模式下，不必用手拿着目标物体保持在特定姿势，而是可以用手拿着目标物体处在任意姿势，只需注意目标物体的位置即可，例如可以将手旋转到舒服的角度，进而可以控制目标物体移动来实现移动鼠标光标的操作，从而有效地避免用户操作疲劳。
与上述虚拟现实交互方法的实施例相对应地，本公开还提出了虚拟现实交互装置的实施例。
图7是根据本公开的实施例示出的一种虚拟现实交互装置的示意框图。如图7所示，所述装置包括：
位置确定模块1，用于通过多个激光发射端发射激光扫描预设区域，以确定目标物体在所述预设区域中的实际位置，其中，所述目标物体上设置有激光接收端和惯性传感器；
姿态确定模块2，用于通过所述惯性传感器确定所述目标物体的实际姿态；
目标确定模块3，用于根据所述实际位置和所述实际姿态确定所述目标物体在可穿戴设备显示的图像中对应的目标位置和目标姿态；
显示确定模块4，用于根据交互物体与所述目标物体的位置关系和姿态关系，以及所述目标位置和所述目标姿态，确定所述交互物体在所述图像中对应的显示位置和显示姿态；
图像显示模块5，用于根据所述显示位置和所述显示姿态在所述可穿戴设备中显示所述交互物体的虚拟图像。
图8是根据本公开的实施例示出的另一种虚拟现实交互装置的示意框图。如图8所示，所述装置还包括：
变化记录模块6，用于记录所述显示位置和/或所述显示姿态的变化；
操作触发模块7，用于根据所述显示位置和/或所述显示姿态对应的动作触发所述可穿戴设备执行操作。
图9是根据本公开的实施例示出的又一种虚拟现实交互装置的示意框图。如图9所示，所述装置还包括：
第一关闭模块8，用于根据接收到第一指令时关闭所述多个激光发射端和激光接收端；
其中，所述操作触发模块7用于根据后续确定的显示姿态对应的动作触发所述可穿戴设备执行操作。
图10是根据本公开的实施例示出的又一种虚拟现实交互装置的示意框图。如图10所示，所述装置还包括：
第二关闭模块9，根据接收到第二指令关闭所述惯性传感器；
其中，所述操作触发模块7用于根据后续确定的显示位置对应的动作触发所述可穿戴设备执行操作。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本公开的实施例还提出一种电子设备，例如所述电子设备可以为上述实施例中虚拟现实交互系统，所述电子设备包括：
一个或多个处理器；
用于存储处理器可执行指令的存储器；
其中，所述一个或多个处理器被配置为实现上述任一实施例所述的方法。
本公开的实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述的方法中的步骤。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种虚拟现实交互方法，其特征在于，所述方法包括：
通过多个激光发射端发射激光扫描预设区域，以确定目标物体在所述预设区域中的实际位置，其中，所述目标物体上设置有激光接收端和惯性传感器；
通过所述惯性传感器确定所述目标物体的实际姿态；
根据所述实际位置和所述实际姿态确定所述目标物体在可穿戴设备显示的图像中对应的目标位置和目标姿态；
根据交互物体与所述目标物体的位置关系和姿态关系，以及所述目标位置和所述目标姿态，确定所述交互物体在所述图像中对应的显示位置和显示姿态，其中，所述交互物体与所述目标物体的位置关系和姿态关系基于所述交互物体的不同而有所不同；
根据所述显示位置和所述显示姿态在所述可穿戴设备中显示所述交互物体的虚拟图像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
记录所述显示位置和/或所述显示姿态的变化；
根据所述显示位置和/或所述显示姿态对应的动作触发所述可穿戴设备执行操作。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据接收到第一指令时关闭所述多个激光发射端和激光接收端；
根据后续确定的显示姿态对应的动作触发所述可穿戴设备执行操作。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据接收到第二指令关闭所述惯性传感器；
根据后续确定的显示位置对应的动作触发所述可穿戴设备执行操作。
5.一种虚拟现实交互装置，其特征在于，所述装置包括：
位置确定模块，用于通过多个激光发射端发射激光扫描预设区域，以确定目标物体在所述预设区域中的实际位置，其中，所述目标物体上设置有激光接收端和惯性传感器；
姿态确定模块，用于通过所述惯性传感器确定所述目标物体的实际姿态；
目标确定模块，用于根据所述实际位置和所述实际姿态确定所述目标物体在可穿戴设备显示的图像中对应的目标位置和目标姿态；
显示确定模块，用于根据交互物体与所述目标物体的位置关系和姿态关系，以及所述目标位置和所述目标姿态，确定所述交互物体在所述图像中对应的显示位置和显示姿态，其中，所述交互物体与所述目标物体的位置关系和姿态关系基于所述交互物体的不同而有所不同；
图像显示模块，用于根据所述显示位置和所述显示姿态在所述可穿戴设备中显示所述交互物体的虚拟图像。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
变化记录模块，用于记录所述显示位置和/或所述显示姿态的变化；
操作触发模块，用于根据所述显示位置和/或所述显示姿态对应的动作触发所述可穿戴设备执行操作。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第一关闭模块，用于根据接收到第一指令时关闭所述多个激光发射端和激光接收端；
其中，所述操作触发模块用于根据后续确定的显示姿态对应的动作触发所述可穿戴设备执行操作。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第二关闭模块，根据接收到第二指令关闭所述惯性传感器；
其中，所述操作触发模块用于根据后续确定的显示位置对应的动作触发所述可穿戴设备执行操作。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
用于存储处理器可执行指令的存储器；
其中，所述一个或多个处理器被配置为实现权利要求1至4中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至4中任一项所述的方法中的步骤。
CN201910262072.6A 2019-04-02 2019-04-02 虚拟现实交互方法和虚拟现实交互装置 Active CN111766959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910262072.6A CN111766959B (zh) 2019-04-02 2019-04-02 虚拟现实交互方法和虚拟现实交互装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910262072.6A CN111766959B (zh) 2019-04-02 2019-04-02 虚拟现实交互方法和虚拟现实交互装置

Publications (2)

Publication Number Publication Date
CN111766959A CN111766959A (zh) 2020-10-13
CN111766959B true CN111766959B (zh) 2023-05-05

Family

ID=72718645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910262072.6A Active CN111766959B (zh) 2019-04-02 2019-04-02 虚拟现实交互方法和虚拟现实交互装置

Country Status (1)

Country Link
CN (1) CN111766959B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105159450A (zh) * 2015-08-25 2015-12-16 中国运载火箭技术研究院 一种便携式可交互桌面级虚拟现实系统
CN105183166A (zh) * 2015-09-15 2015-12-23 北京国承万通信息科技有限公司 虚拟现实系统
CN105912110A (zh) * 2016-04-06 2016-08-31 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及系统
CN106527696A (zh) * 2016-10-31 2017-03-22 宇龙计算机通信科技(深圳)有限公司 一种实现虚拟操作的方法以及可穿戴设备
WO2018016928A1 (ko) * 2016-07-22 2018-01-25 김계현 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105159450A (zh) * 2015-08-25 2015-12-16 中国运载火箭技术研究院 一种便携式可交互桌面级虚拟现实系统
CN105183166A (zh) * 2015-09-15 2015-12-23 北京国承万通信息科技有限公司 虚拟现实系统
CN105912110A (zh) * 2016-04-06 2016-08-31 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及系统
WO2018016928A1 (ko) * 2016-07-22 2018-01-25 김계현 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법
CN106527696A (zh) * 2016-10-31 2017-03-22 宇龙计算机通信科技(深圳)有限公司 一种实现虚拟操作的方法以及可穿戴设备

Also Published As

Publication number Publication date
CN111766959A (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
US11983326B2 (en) Hand gesture input for wearable system
US10776991B2 (en) Method of providing virtual space, method of providing virtual experience, system and medium for implementing the methods
WO2019153824A1 (zh) 虚拟对象控制方法、装置、计算机设备及存储介质
JP4608326B2 (ja) 指示動作認識装置及び指示動作認識プログラム
CN109101120B (zh) 图像显示的方法和装置
JP7504253B2 (ja) 仮想オブジェクト表示装置
KR20210010437A (ko) 광학 위치 추적 장치를 위한 전력 관리
WO2011137226A1 (en) Spatial-input-based cursor projection systems and methods
JP6399692B2 (ja) ヘッドマウントディスプレイ、画像表示方法及びプログラム
US10216261B2 (en) Method of suppressing VR sickness, system for executing the method , and information processing device
JP2018072992A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP6534011B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
US20220351442A1 (en) Animation production system
US20220351444A1 (en) Animation production method
CN113658249A (zh) 虚拟现实场景的渲染方法、装置、设备和存储介质
JP6779840B2 (ja) 仮想空間における入力を支援するための方法および装置ならびに当該方法をコンピュータに実行させるプログラム
JP6278546B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
CN111736689B (zh) 虚拟现实装置、数据处理方法与计算机可读存储介质
CN117784926A (zh) 控制装置、控制方法和计算机可读存储介质
JP2018049629A (ja) 仮想空間において入力を支援するための方法および装置、ならびに当該方法をコンピュータに実行させるプログラム
CN111766959B (zh) 虚拟现实交互方法和虚拟现实交互装置
US20220351446A1 (en) Animation production method
CN113467625A (zh) 虚拟现实的控制设备、头盔和交互方法
JP6966336B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6554139B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant