CN114706489B - 一种输入设备的虚拟方法、装置、设备和存储介质 - Google Patents
一种输入设备的虚拟方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN114706489B CN114706489B CN202210185778.9A CN202210185778A CN114706489B CN 114706489 B CN114706489 B CN 114706489B CN 202210185778 A CN202210185778 A CN 202210185778A CN 114706489 B CN114706489 B CN 114706489B
- Authority
- CN
- China
- Prior art keywords
- virtual reality
- input device
- dimensional
- data
- inertial sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000001133 acceleration Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 4
- 241000699666 Mus <mouse, genus> Species 0.000 description 52
- 238000010172 mouse model Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241000699660 Mus musculus Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开涉及一种输入设备的虚拟方法、装置、设备和存储介质。方法具体包括：获取输入设备的数据，随后基于输入设备的数据，确定输入设备对应的三维模型在虚拟现实系统中的目标信息，同时实时获取输入设备上安装的惯性传感器所检测到的三维数据，再根据惯性传感器所检测到的三维数据，更新三维模型在虚拟现实系统中的目标信息，并在虚拟现实场景中更新后的目标信息处显示三维模型。本公开提供的输入设备的虚拟方法，能够将现实空间中的输入设备准确的虚拟到虚拟现实场景中，便于后续用户根据虚拟现实场景中的三维模型，高效的使用输入设备进行交互。
Description
技术领域
本公开涉及数据技术领域，尤其涉及一种输入设备的虚拟方法、装置、设备和存储介质。
背景技术
目前，虚拟场景应用广泛，要将现实中的实体输入设备对应的模型映射到虚拟场景中，需要确定模型的形态和位置，现阶段主要通过彩色或红外等各类摄像头拍摄的图像数据，或雷达波等各类探测式传感器获取的探测数据来识别实体输入设备的形态和位置。现有摄像头和探测式传感器共有的问题是当摄像头或探测式传感器和被识别的实体输入设备之间有遮挡物的时候，获取的图像或探测数据则会出现大幅残缺，甚至获取不到图像或数据，这会导致对实体输入设备形态和位置的识别出现不准确，甚至无法识别的情况，进一步导致无法将实体输入设备的模型在虚拟场景中完整的显示出来。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种输入设备的虚拟方法、装置、设备和存储介质，能够将现实空间中输入设备对应的三维模型准确的映射到虚拟现实场景中，便于用户后续根据虚拟现实场景中的三维模型，使输入设备进行交互操作。
第一方面，本公开实施例提供了一种输入设备的虚拟方法，包括：
获取输入设备的数据；
基于输入设备的数据，确定输入设备对应的三维模型在虚拟现实系统中的目标信息；
获取输入设备上配置的惯性传感器的三维数据；
根据惯性传感器的三维数据，更新三维模型在虚拟现实系统中的目标信息。
基于更新后的目标信息，将三维模型映射到虚拟现实系统对应的虚拟现实场景中。
第二方面，本公开实施例提供了一种输入设备的虚拟装置，包括：
第一获取单元，用于获取输入设备的数据；
确定单元，用于基于输入设备的数据，确定输入设备对应的三维模型在虚拟现实系统中的目标信息；
第二获取单元，用于获取惯性传感器的数据；
更新单元，用于根据惯性传感器的三维数据，更新三维模型在虚拟现实系统中的目标信息。
映射单元，用于基于更新后的目标信息，将三维模型映射到虚拟现实系统对应的虚拟现实场景中。
第三方面，本公开实施例提供了一种电子设备，包括：
存储器；
处理器；以及
计算机程序；
其中，计算机程序存储在存储器中，并被配置为由处理器执行以实现如上述的输入设备的虚拟方法。
第四方面，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述的输入设备的虚拟方法的步骤。
第五方面，本公开实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的输入设备的虚拟方法。
本公开实施例提供的一种输入设备的虚拟方法，通过获取输入设备的数据，随后基于输入设备的数据，确定输入设备对应的三维模型在虚拟现实系统中的目标信息，同时实时获取输入设备上安装的惯性传感器所检测到的三维数据，再根据惯性传感器所检测到的三维数据，更新三维模型在虚拟现实系统中的目标信息，并在虚拟现实场景中更新后的目标信息处显示三维模型。本公开提供的一种输入设备的虚拟方法，能够将现实空间中的输入设备准确的映射到虚拟显示场景中，便于后续用户根据虚拟现实场景中的三维模型，高效的使用输入设备进行交互。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种应用场景的示意图；
图2为本公开实施例提供的一种输入设备的虚拟方法的流程示意图；
图3a为本公开实施例提供的另一种应用场景的示意图；
图3b为本公开实施例提供的一种虚拟现实场景的示意图；
图3c为本公开实施例提供的另一种应用场景的示意图；
图4为本公开实施例提供的一种输入设备的虚拟方法的流程示意图；
图5为本公开实施例提供的一种输入设备的虚拟装置的结构示意图；
图6为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
目前，在虚拟现实系统中，用户和虚拟场景的交互方式通常是通过输入设备实现的，虚拟现实系统包括头戴式显示器和虚拟现实软件系统，虚拟现实软件系统具体可以包括操作系统、用于图像识别的软件算法、用于空间计算的软件算法和用于渲染虚拟场景的渲染软件。示例性的，参见图1，图1为本公开实施例提供的一种应用场景的示意图，图1中包括头戴式显示器110，头戴式显示器110可以是一体机，一体机是指头戴式显示器110上配置了虚拟现实软件系统，头戴式显示器110还可以连接服务器，服务器上配置虚拟现实软件系统。具体的，下述实施例以虚拟现实软件系统配置在头戴式显示器上为例，对本公开提供的输入设备的虚拟方法进行详细说明，头戴式显示设备和输入设备连接，输入设备具体可以是鼠标或键盘。
针对上述技术问题，本公开实施例提供了一种输入设备的虚拟方法，本发明通过获取固定在实体输入设备内部或外部的惯性传感器的磁力、陀螺仪和加速度等组成的三维数据，计算实体输入设备的姿态信息和位置信息，从而将与实体输入设备对应的三维模型显示在虚拟场景中，使用户可以通过三维模型使用实体输入设备，进行高效的输入操作。本公开提供的输入设备的虚拟方法不受遮挡影响，且能够有效解决现有方法中摄像头拍摄图像或探测式传感器被遮挡的问题，即使完全遮住实体输入设备也能正常工作。具体的，通过下述一个或多个实施例对输入设备的虚拟方法进行详细说明。
图2为本公开实施例提供的一种输入设备的虚拟方法的流程示意图，应用于虚拟现实系统，具体包括如图2所示的如下步骤S210至S240：
可理解的，虚拟现实软件系统可以配置在头戴式显示器中，虚拟现实软件系统可以对接收到的由输入设备传输的输入信号或数据进行处理，并将处理结果返回至头戴式显示器中的显示屏幕，随后显示屏幕根据处理结果实时改变虚拟现实场景中输入设备的显示状态。
示例性的，参见图3a，图3a为本公开实施例提供的另一种应用场景的示意图，图3a中包括鼠标310、头戴式显示器320、用户手部330。鼠标310中包括左键311、滚轮312、右键313和配置的惯性传感器314，惯性传感器314为图3a中鼠标310上的黑色方框，惯性传感器314可以配置在鼠标310的表面，用户头部佩戴头戴式显示器320，手部330操作鼠标310，同时鼠标310和头戴式显示器320连接，图3b中的340是图3a中头戴式显示器320内构建的场景，可以称为虚拟现实场景340，用户通过观看虚拟现实场景340中显示的鼠标设备310对应的鼠标模型350来了解并操控鼠标设备310，让用户可以看到，在虚拟现实场景340中，用户手部330对应的三维模型360操作鼠标310对应的鼠标模型350，操作界面370为鼠标进行操作的界面，类似于终端的显示屏，在虚拟现实场景340中手部模型360操作鼠标模型350的操作情况和用户手部330实际使用鼠标310进行操作的情况在一定程度上可以同步，相当于用户双眼直接看到鼠标中的元件并进行后续操作，提高了用户的使用体验，也提高了交互速度。可理解的，下述实施例提供的输入设备的虚拟方法以图3a所示的应用场景为例进行说明，也就是以输入设备是鼠标、三维模型为鼠标模型为例对本公开提供的输入设备的虚拟方法进行详细说明。
示例性的，参见图3c，图3c为本公开实施例提供的另一种应用场景的示意图，图3c中包括键盘380、头戴式显示器320和用户手部330，键盘380的应用场景同图3a中鼠标310，在此不作赘述。
S210、获取输入设备的数据。
可理解的，虚拟现实软件系统实时获取输入设备的数据，其中，输入设备的数据具体包括输入设备的配置信息、输入信号和输入设备的图像等，其中，配置信息包括型号信息，型号信息是指输入设备的型号。
可选的，在基于输入设备的数据，确定输入设备对应的三维模型在虚拟现实系统中的目标信息之前，还可以获取输入设备的型号信息；根据型号信息，确定输入设备对应的三维模型。
可理解的是，首次确输入设备对应的三维模型后，在用户没有更换输入设备的情况下，后续只需要获取输入设备的输入信号和输入设备的图像即可，以便于快速、准确的更新三维模型在虚拟现实场景中的显示状态。
S220、基于输入设备的数据，确定输入设备对应的三维模型在虚拟现实系统中的目标信息。
可理解的，在上述S210的基础上，根据鼠标设备的配置信息确定鼠标设备对应的鼠标模型后，虚拟现实软件系统可以基于鼠标设备的输入信号或鼠标设备的图像，确定鼠标模型在虚拟现实系统中的目标信息，其中目标信息包括位置信息和姿态信息。
示例性的，图3a中显示的头戴式显示器320会配置多个摄像头，具体的可以配置3至4个摄像头，来实时拍摄用户头部周围的环境信息，并确定拍摄到的环境信息和头部佩戴的头戴式显示器的位置关系，构建空间，该空间可以称为目标空间，鼠标和用户手部就在确定的目标空间内。可理解的是，虚拟现实场景中显示的场景是目标空间内的场景。目标信息也就是目标空间内的位置信息和姿态信息。
可选的，上述S220中基于输入设备的数据，确定输入设备对应的三维模型在虚拟现实系统中的目标信息，具体包括：基于输入设备的输入信号，确定输入设备对应的三维模型在虚拟现实系统中的目标信息。
可理解的，虚拟现实软件系统可以根据获取的鼠标设备的输入信号，输入信号可以是按下鼠标设备上的按键或滚动滚轮产生的，确定鼠标模型在虚拟现实系统中的目标信息，以便于在虚拟现实场景中、该目标信息处显示鼠标模型。此时，虚拟现实场景显示的鼠标模型的姿态和现实空间中鼠标设备的姿态相同。
可选的，上述S220中基于输入设备的数据，确定输入设备对应的三维模型在虚拟现实系统中的目标信息，还可以包括：基于输入设备的图像，确定输入设备对应的三维模型在虚拟现实系统中的目标信息。
可理解的，虚拟现实软件系统还可以根据获取的鼠标设备的图像，确定鼠标模型在虚拟现实系统中的目标信息，以便于在虚拟现实场景中的该目标信息处显示鼠标模型。此时，虚拟现实场景显示的鼠标模型的姿态和现实空间中鼠标设备的姿态相同。鼠标设备的图像可以是头戴式显示器320上安装的摄像头实时拍摄生成的，其中摄像头可以是红外摄像头、彩色摄像头或者灰度摄像头。具体的，可以由图3a中头戴式显示器320上安装的摄像头拍摄包括鼠标310的图像，并将图像传输至头戴式显示器中的虚拟现实软件系统进行处理。
可理解的是，可以通过上述识别鼠标设备的输入信号和/或鼠标设备的图像中的按键的两种方式，确定鼠标设备对应的鼠标模型在虚拟现实系统中的目标信息，可以选择上述两种方式的任一种方式，或是同时选择两种方式，来确定鼠标模型在虚拟现实系统中的目标信息，能够有效避免出现无法拍摄鼠标设备的完整图像，或无法正常接收鼠标设备的输入信号时，还能继续进行交互操作，提高可使用性。上述两种方式确定的鼠标模型在虚拟现实系统中的目标信息可以看作下述鼠标设备对应的初始目标信息，初始目标信息也可以称为初始位置。
可选的，确定三维模型在虚拟现实系统中的目标信息之后，在虚拟现实系统构建的虚拟现实场景中映射三维模型。
可理解的，确定鼠标模型在虚拟现实系统中的目标信息后，可以在虚拟现实场景中、目标信息处显示鼠标模型，也就是在确定的初始目标信息处显示鼠标模型。
S230、获取输入设备上配置的惯性传感器的三维数据。
可理解的，鼠标设备上预先配置有惯性传感器，惯性传感器会实时采集关于鼠标设备的三维数据；其中，惯性传感器也称为惯性测量单元(Inertial Measurement Unit、IMU)，是测量物体三轴姿态角及加速度的装置。
可理解的，惯性传感器的数据还可以理解为包括三轴陀螺仪、三轴加速度计和三轴磁力计等3组数据，每组数据中包括XYZ三个方向上的数据，也就是包括9个数据，三轴陀螺仪用来测量鼠标设备在三轴的角速度，三轴加速度计用来测量鼠标设备在三轴的加速度，三轴磁力计用来提供鼠标设备在三轴的朝向，上述9个数据组成定位信息，根据定位信息和初始目标信息，能够准确的确定鼠标模型在虚拟现实系统中的目标信息。
可选的，输入设备上配置的惯性传感器至少包括如下一种情况：惯性传感器配置在输入设备的表面；惯性传感器配置在输入设备的内部。
可理解的，惯性传感器可以配置在鼠标设备的表面，例如图3a所示场景，惯性传感器配置在普通鼠标设备的表面，例如右上角，此时的惯性传感器可以理解为不受鼠标控制的独立器件，带有电源模块等，可以直接安装在鼠标设备上。惯性传感器还可以配置在鼠标设备的内部，例如配置在鼠标设备内部电路中，该种情况下，可以理解为带有惯性传感器的鼠标设备。
S240、根据惯性传感器的三维数据，更新三维模型在虚拟现实系统中的目标信息。
可理解的，在上述S230和S220的基础上，根据实时获取的惯性传感器的三维数据，重新确定鼠标模型在虚拟现实系统中的目标信息，并在虚拟现实场景中、重新确定的目标信息处显示鼠标模型。确定鼠标模型在虚拟现实系统中的初始目标信息后，现实空间中的鼠标设备可能会发生移动，此时，就可以根据惯性传感器实时获取的关于鼠标设备的定位信息，重新确定鼠标模型在虚拟现实系统中的目标信息，该目标信息是相对于初始目标信息确定的。
S250、基于更新后的目标信息，将三维模型映射到虚拟现实系统对应的虚拟现实场景中。
可理解的，在上述S240的基础上，更新鼠标模型在目标空间中的目标信息后，在虚拟现实场景中、在重新确定的目标信息处显示鼠标模型，其中虚拟现实场景显示的是目标空间内的场景。
本公开实施例提供的一种输入设备的虚拟方法，通过获取输入设备的数据，随后基于输入设备的数据，确定输入设备对应的三维模型在虚拟现实系统中的目标信息，同时实时获取输入设备上安装的惯性传感器所检测到的三维数据，再根据惯性传感器所检测到的三维数据，更新三维模型在虚拟现实系统中的目标信息，并在虚拟现实场景中、更新后的目标信息处显示三维模型。本公开的输入设备的虚拟方法，能够将现实空间中的输入设备准确的映射到虚拟现实场景中，便于后续用户根据虚拟现实场景中的三维模型，高效的使用输入设备进行交互。
在上述实施例的基础上，图4为本公开实施例提供的一种输入设备的虚拟方法的流程示意图，可选的，目标信息包括空间位置信息，空间位置信息是指在输入设备在目标空间内的位置信息；随后，根据惯性传感器的三维数据，更新三维模型在虚拟现实系统中的目标信息，也就是更新三维模型在目标空间中的空间位置信息，具体包括如图4所示的步骤S410至S430：
S410、将三维模型在虚拟现实系统中的空间位置信息作为初始空间位置。
可理解的，惯性传感器是实时获取输入设备从某时刻开始相对于某个初始位置的运动轨迹和姿态的，也就是惯性传感器采集到的数据需要给定初始位置，以明确后续采集到的轨迹和姿态具体的起点或标准。例如，若没有给定初始位置，惯性传感器也会实时采集鼠标设备的数据，但是采集到的数据没有参照物，可能只是包括向右平移等轨迹和姿态信息，但是无法准确的确定是从何处向右平移的以及平移后的具体位置，因此需要确定一个初始空间位置，来准确的确定鼠标设备移动后的具体位置，初始空间位置是在上述构建的目标空间内的，该具体位置也是在同一目标空间内。
S420、根据惯性传感器的三维磁力数据、三维加速度数据和三维陀螺仪数据，计算输入设备在空间坐标系三个方向的位置移动相对量。
可理解的，根据惯性传感器采集的关于鼠标设备的三维数据，三维数据包括三维磁力数据、三维加速度数据和三维陀螺仪数据，计算输入设备在目标空间的空间坐标系下三个方向的位置移动相对量，位置移动相对量也就是输入设备在目标空间内XYZ三个方向上的移动距离。其中，惯性传感器的数据也可以理解为是基于初始空间位置的距离变化量。
S430、根据初始空间位置和输入设备在空间坐标系三个方向的位置移动相对量，更新三维模型在虚拟现实系统中的空间位置信息。
可理解的，在上述S410和S420的基础上，根据初始空间位置和鼠标设备在空间坐标系三个方向的位置移动相对量，更新鼠标模型在虚拟现实系统中的目标信息，例如，初始位置中空间三维坐标为(1,2,3)，惯性传感器测量到鼠标设备沿着X轴移动1个单位，在鼠标姿态没有改变的情况下，鼠标模型的空间三维坐标更新为(2,2,3)，此时的空间三维坐标(位置信息)和没有改变的姿态信息就是更新后的鼠标模型在虚拟现实系统中的目标信息。
可选的，方法还包括：更新初始空间位置；根据更新后的初始空间位置校正计算误差。
可理解的，通过惯性传感器获取的数据和初始空间位置计算鼠标模型更新后的目标信息的时候，通常会累积计算误差。可以通过重新确定初始空间位置来校正计算误差，更新初始空间位置的方法如上所述，具体可以通过图像识别方法和/或按下按键方法获得初始空间位置，在此不作赘述。例如，确定初始空间位置A后，后续5次确定鼠标设备在虚拟现实系统中的目标信息，可以基于初始目标信息A和惯性传感器的数据，超过5次之后，重新确定初始空间位置B，并基于初始空间位置B纠正基于初始空间位置A计算而产生的误差，也就是周期性的根据初始空间位置校正计算误差。
可选的，目标信息还包括姿态信息；根据惯性传感器的三维数据，更新三维模型在虚拟现实系统中的目标信息，包括：根据惯性传感器的三维磁力数据、三维加速度数据和三维陀螺仪数据以及惯性传感器在输入设备上的相对空间位置关系，更新三维模型在虚拟现实系统中的姿态信息。
可理解的，目标信息还包括姿态信息，根据三维数据确定输入设备在目标空间内的姿态信息的方法具体包括：根据惯性传感器的三维磁力数据、三维加速度数据和三维陀螺仪数据以及惯性传感器在输入设备上的相对空间位置关系，更新三维模型在虚拟现实系统中的姿态信息，惯性传感器在输入设备上的相对空间位置关系是指传感器在输入设备上的具体位置，例如图3a中惯性传感器在314配置在鼠标310表面的右上方，也就是建立输入设备上惯性传感器和目标空间的对应关系，从而计算输入设备对应的三维模型在目标空间内的姿态信息。可理解的是，计算三维模型的姿态信息的过程中，不需要输入设备的初始空间位置。
本公开实施例提供的一种输入设备的虚拟方法，确定三维模型在虚拟现实场景中的初始空间位置后，获取的惯性传感器的三维数据以该初始空间位置为基准，重新确定三维模型在虚拟现实系统中的目标信息，以便于根据现实空间中输入设备的状态实时、快速、准确的更新三维模型在虚拟现实场景中的显示状态，便于后续操作。
图5为本公开实施例提供的输入设备的虚拟装置的结构示意图。本公开实施例提供的输入设备的虚拟装置可以执行上述输入设备的虚拟方法实施例提供的处理流程，如图5所示，装置500包括：
第一获取单元510，用于获取输入设备的数据；
确定单元520，用于基于输入设备的数据，确定输入设备对应的三维模型在虚拟现实系统中的目标信息；
第二获取单元530，用于获取惯性传感器的三维数据；
更新单元540，用于根据惯性传感器的三维数据，更新三维模型在虚拟现实系统中的目标信息；
映射单元550，用于基于更新后的目标信息，将三维模型映射到虚拟现实系统对应的虚拟现实场景中。
可选的，装置500中目标信息包括姿态信息。
可选的，更新单元540中根据惯性传感器的三维数据，更新三维模型在虚拟现实系统中的目标信息，具体用于：
根据惯性传感器的三维磁力数据、三维加速度数据和三维陀螺仪数据以及惯性传感器在输入设备上的相对空间位置关系，更新所述三维模型在虚拟现实系统中的姿态信息。
可选的，装置500中目标信息还包括空间位置信息。
可选的，更新单元540中根据惯性传感器的三维数据，更新三维模型在虚拟现实系统中的目标信息，具体用于：
将三维模型在虚拟现实系统中的空间位置信息作为初始空间位置；
根据惯性传感器的三维磁力数据、三维加速度数据和三维陀螺仪数据，计算输入设备在空间坐标系三个方向的位置移动相对量；
根据初始空间位置和输入设备在空间坐标系三个方向的位置移动相对量，更新三维模型在虚拟现实系统中的空间位置信息。
可选的，装置500中输入设备上配置的惯性传感器至少包括如下一种情况：
惯性传感器配置在输入设备的表面；
惯性传感器配置在输入设备的内部。
可选的，装置500中还包括校正单元，用于更新初始空间位置；根据更新后的初始空间位置校正计算误差。
图5所示实施例的输入设备的虚拟装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图6为本公开实施例提供的一种电子设备的结构示意图。本公开实施例提供的电子设备可以执行上述实施例提供的处理流程，如图6所示，电子设备600包括：处理器610、通讯接口620和存储器630；其中，计算机程序存储在存储器630中，并被配置为由处理器610执行如上述的输入设备的虚拟方法。
另外，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现上述实施例的输入设备的虚拟方法。
此外，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上的输入设备的虚拟方法。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种输入设备的虚拟方法，其特征在于，包括：
获取输入设备的数据，其中，所述输入设备为键盘或鼠标；
基于所述输入设备的数据，确定所述输入设备对应的三维模型在虚拟现实系统中的目标信息；
获取所述输入设备上配置的惯性传感器的三维数据；
根据所述惯性传感器的三维数据，更新所述三维模型在所述虚拟现实系统中的目标信息；
基于更新后的所述目标信息，将所述三维模型映射到所述虚拟现实系统对应的虚拟现实场景中，以实现所述输入设备和所述虚拟现实场景的交互；
其中，所述目标信息包括姿态信息；所述根据所述惯性传感器的三维数据，更新所述三维模型在所述虚拟现实系统中的目标信息，包括：
根据所述惯性传感器的三维磁力数据、三维加速度数据和三维陀螺仪数据以及所述惯性传感器在所述输入设备上的相对空间位置关系，建立所述惯性传感器和目标空间的对应关系，从而计算所述三维模型在所述目标空间内的姿态信息，以更新所述三维模型在所述虚拟现实系统中的姿态信息，其中，所述虚拟现实场景中显示的场景是所述目标空间内的场景，所述虚拟现实场景中所述三维模型的姿态和所述输入设备的姿态相同。
2.根据权利要求1所述的方法，其特征在于，所述目标信息包括空间位置信息；所述根据所述惯性传感器的三维数据，更新所述三维模型在所述虚拟现实系统中的目标信息，包括：
将所述三维模型在所述虚拟现实系统中的空间位置信息作为初始空间位置；
根据所述惯性传感器的三维磁力数据、三维加速度数据和三维陀螺仪数据，计算所述输入设备在空间坐标系三个方向的位置移动相对量；
根据所述初始空间位置和所述输入设备在空间坐标系三个方向的位置移动相对量，更新所述三维模型在所述虚拟现实系统中的空间位置信息。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
更新所述初始空间位置；
根据更新后的初始空间位置校正计算误差。
4.根据所述权利要求1所述的方法，其特征在于，所述输入设备上配置的惯性传感器至少包括如下一种情况：
所述惯性传感器配置在所述输入设备的表面；
所述惯性传感器配置在所述输入设备的内部。
5.一种输入设备的虚拟装置，其特征在于，包括：
第一获取单元，用于获取输入设备的数据，其中，所述输入设备为键盘或鼠标；
确定单元，用于基于所述输入设备的数据，确定所述输入设备对应的三维模型在虚拟现实系统中的目标信息；
第二获取单元，用于获取惯性传感器的三维数据；
更新单元，用于根据所述惯性传感器的三维数据，更新所述三维模型在所述虚拟现实系统中的目标信息，所述目标信息包括姿态信息；
映射单元，用于基于更新后的所述目标信息，将所述三维模型映射到所述虚拟现实系统对应的虚拟现实场景中，以实现所述输入设备和所述虚拟现实场景的交互；
其中，所述更新单元用于：
根据所述惯性传感器的三维磁力数据、三维加速度数据和三维陀螺仪数据以及所述惯性传感器在所述输入设备上的相对空间位置关系，建立所述惯性传感器和目标空间的对应关系，从而计算所述三维模型在所述目标空间内的姿态信息，以更新所述三维模型在所述虚拟现实系统中的姿态信息，其中，所述虚拟现实场景中显示的场景是所述目标空间内的场景，所述虚拟现实场景中所述三维模型的姿态和所述输入设备的姿态相同。
6.根据权利要求5所述的装置，其特征在于，所述目标信息包括空间位置信息；所述更新单元中根据所述惯性传感器的三维数据，更新所述三维模型在所述虚拟现实系统中的目标信息，具体用于：
将所述三维模型在所述虚拟现实系统中的空间位置信息作为初始空间位置；
根据所述惯性传感器的三维磁力数据、三维加速度数据和三维陀螺仪数据，计算所述输入设备在空间坐标系三个方向的位置移动相对量；
根据所述初始空间位置和所述输入设备在空间坐标系三个方向的位置移动相对量，更新所述三维模型在所述虚拟现实系统中的空间位置信息。
7.一种电子设备，其特征在于，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1至4中任一所述的输入设备的虚拟方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任一所述的输入设备的虚拟方法的步骤。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210185778.9A CN114706489B (zh) | 2022-02-28 | 2022-02-28 | 一种输入设备的虚拟方法、装置、设备和存储介质 |
| PCT/CN2023/078387 WO2023160694A1 (zh) | 2022-02-28 | 2023-02-27 | 一种输入设备的虚拟方法、装置、设备和存储介质 |
| US18/176,253 US20230316677A1 (en) | 2022-02-28 | 2023-02-28 | Methods, devices, apparatuses, and storage media for virtualization of input devices |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210185778.9A CN114706489B (zh) | 2022-02-28 | 2022-02-28 | 一种输入设备的虚拟方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114706489A CN114706489A (zh) | 2022-07-05 |
| CN114706489B true CN114706489B (zh) | 2023-04-25 |
Family
ID=82167533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210185778.9A Active CN114706489B (zh) | 2022-02-28 | 2022-02-28 | 一种输入设备的虚拟方法、装置、设备和存储介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230316677A1 (zh) |
| CN (1) | CN114706489B (zh) |
| WO (1) | WO2023160694A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114706490A (zh) * | 2022-02-28 | 2022-07-05 | 北京所思信息科技有限责任公司 | 一种鼠标的模型映射方法、装置、设备和存储介质 |
| CN114706489B (zh) * | 2022-02-28 | 2023-04-25 | 北京所思信息科技有限责任公司 | 一种输入设备的虚拟方法、装置、设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9298283B1 (en) * | 2015-09-10 | 2016-03-29 | Connectivity Labs Inc. | Sedentary virtual reality method and systems |
| CN110442245A (zh) * | 2019-07-26 | 2019-11-12 | 广东虚拟现实科技有限公司 | 基于物理键盘的显示方法、装置、终端设备及存储介质 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07200162A (ja) * | 1993-12-29 | 1995-08-04 | Namco Ltd | 仮想現実体験装置およびこれを用いたゲーム装置 |
| US10055888B2 (en) * | 2015-04-28 | 2018-08-21 | Microsoft Technology Licensing, Llc | Producing and consuming metadata within multi-dimensional data |
| US20170154468A1 (en) * | 2015-12-01 | 2017-06-01 | Le Holdings (Beijing) Co., Ltd. | Method and electronic apparatus for constructing virtual reality scene model |
| CN105912110B (zh) * | 2016-04-06 | 2019-09-06 | 北京锤子数码科技有限公司 | 一种在虚拟现实空间中进行目标选择的方法、装置及系统 |
| CN206096621U (zh) * | 2016-07-30 | 2017-04-12 | 广州数娱信息科技有限公司 | 一种增强型虚拟现实感知设备 |
| CN106980368B (zh) * | 2017-02-28 | 2024-05-28 | 深圳市未来感知科技有限公司 | 一种基于视觉计算及惯性测量单元的虚拟现实交互设备 |
| CN107357434A (zh) * | 2017-07-19 | 2017-11-17 | 广州大西洲科技有限公司 | 一种虚拟现实环境下的信息输入设备、系统及方法 |
| CN109840947B (zh) * | 2017-11-28 | 2023-05-09 | 广州腾讯科技有限公司 | 增强现实场景的实现方法、装置、设备及存储介质 |
| CN109710056A (zh) * | 2018-11-13 | 2019-05-03 | 宁波视睿迪光电有限公司 | 虚拟现实交互装置的显示方法及装置 |
| CN111862333B (zh) * | 2019-04-28 | 2024-05-28 | 广东虚拟现实科技有限公司 | 基于增强现实的内容处理方法、装置、终端设备及存储介质 |
| CN114706489B (zh) * | 2022-02-28 | 2023-04-25 | 北京所思信息科技有限责任公司 | 一种输入设备的虚拟方法、装置、设备和存储介质 |
-
2022
- 2022-02-28 CN CN202210185778.9A patent/CN114706489B/zh active Active
-
2023
- 2023-02-27 WO PCT/CN2023/078387 patent/WO2023160694A1/zh unknown
- 2023-02-28 US US18/176,253 patent/US20230316677A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9298283B1 (en) * | 2015-09-10 | 2016-03-29 | Connectivity Labs Inc. | Sedentary virtual reality method and systems |
| CN110442245A (zh) * | 2019-07-26 | 2019-11-12 | 广东虚拟现实科技有限公司 | 基于物理键盘的显示方法、装置、终端设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023160694A1 (zh) | 2023-08-31 |
| US20230316677A1 (en) | 2023-10-05 |
| CN114706489A (zh) | 2022-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10852847B2 (en) | Controller tracking for multiple degrees of freedom | |
| CN114706489B (zh) | 一种输入设备的虚拟方法、装置、设备和存储介质 | |
| EP1611503B1 (en) | Auto-aligning touch system and method | |
| EP3120232B1 (en) | Determining user handedness and orientation using a touchscreen device | |
| EP2354893B1 (en) | Reducing inertial-based motion estimation drift of a game input controller with an image-based motion estimation | |
| CN108198044B (zh) | 商品信息的展示方法、装置、介质及电子设备 | |
| CN106990836B (zh) | 一种头戴式人体学输入设备空间位置及姿态测量方法 | |
| WO2017020766A1 (zh) | 场景提取方法、物体定位方法及其系统 | |
| KR20210069491A (ko) | 전자 장치 및 이의 제어 방법 | |
| EP2851868A1 (en) | 3D Reconstruction | |
| CN104081307A (zh) | 图像处理装置、图像处理方法和程序 | |
| US20210208699A1 (en) | Direct three-dimensional pointing using light tracking and relative position detection | |
| US11995254B2 (en) | Methods, devices, apparatuses, and storage media for mapping mouse models for computer mouses | |
| CN112912936A (zh) | 混合现实系统、程序、移动终端装置和方法 | |
| US11294510B2 (en) | Method, system and non-transitory computer-readable recording medium for supporting object control by using a 2D camera | |
| CN114167997B (zh) | 一种模型显示方法、装置、设备和存储介质 | |
| US11158119B2 (en) | Systems and methods for reconstructing a three-dimensional object | |
| CN115686233A (zh) | 一种主动笔与显示设备的交互方法、装置及交互系统 | |
| WO2016185634A1 (ja) | 情報処理装置 | |
| CN111489376A (zh) | 跟踪交互设备的方法、装置、终端设备及存储介质 | |
| US20240036637A1 (en) | Spatial positioning method of separate virtual system, separate virtual system | |
| WO2023090213A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN118212263A (zh) | 基于触地感知与动力学的视频动捕优化方法、设备及装置 | |
| KR20020085099A (ko) | 펜형 컴퓨터 입력 장치 | |
| CN118363462A (zh) | 用于扩展现实的位姿控制方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |