CN113238705A - 虚拟键盘交互方法及系统 - Google Patents
虚拟键盘交互方法及系统 Download PDFInfo
- Publication number
- CN113238705A CN113238705A CN202110505160.1A CN202110505160A CN113238705A CN 113238705 A CN113238705 A CN 113238705A CN 202110505160 A CN202110505160 A CN 202110505160A CN 113238705 A CN113238705 A CN 113238705A
- Authority
- CN
- China
- Prior art keywords
- virtual keyboard
- preset
- image data
- touch area
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000003993 interaction Effects 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 17
- 230000001960 triggered effect Effects 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 6
- 230000005057 finger movement Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种虚拟键盘交互方法及系统，包括预训练手指尖检测模型；通过手指尖检测模型，获取待检测图像数据上的所有手指尖相对预设基准位置的三维空间位置坐标；基于三维空间位置坐标，确定与手指尖对应的触控区域；当触控区域与预设的虚拟键盘的感知区域存在重叠时，获取触控区域落入感知区域的体积信息；基于体积信息及预设规则，判断与触控区域对应的感知区域所在的虚拟键盘是否触发。利用上述发明能够提高字符输入效率及准确度，提高用户体验。
Description
技术领域
本发明涉及虚拟键盘技术领域，更为具体地，涉及一种虚拟键盘交互方法及系统。
背景技术
随着计算机游戏、健康与安全、工业和教育等领域的发展，人工现实系统在这些领域中的应用变得越来越普遍。例如，人工现实系统正被整合到移动设备、游戏机、个人电脑、电影院和主题公园等，人工现实是在呈现给用户之前以某种方式调整现实的一种形式，其可包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)或其某些组合和/或衍生物。
随着人工现实在各行各业的普及和发展，键盘作为一种用户和人工现实系统交互最为普遍的输入设备之一被继承下来。通常，虚拟键盘主要通过虚拟现实头戴式显示器设备(HMD)被渲染投影在用户视角的正前方，但是现有的虚拟键盘缺乏促成物理键盘成功的特性。例如，用户不能将他们的手放在虚拟键盘上，没有地标来确定用户的手的方向，和/或没有触觉反馈来指示键已被激活，影响用户的输入体验。
另外，现有的依靠外部设备实现用户参与方式，例如用户通过一种手柄控制器调用各个键上的字符作为选择这些键的方法，存在输入缓慢且困难，输入字符效率不够高、智能化程度低等问题。
发明内容
鉴于上述问题，本发明的目的是提供一种虚拟键盘交互方法及系统，以解决目前人工现实系统存在的输入缓慢、效率低、影响用户体验等问题。
本发明提供的虚拟键盘交互方法，包括预训练手指尖检测模型；通过手指尖检测模型，获取待检测图像数据上的所有手指尖相对预设基准位置的三维空间位置坐标；基于三维空间位置坐标，确定与手指尖对应的触控区域；当触控区域与预设的虚拟键盘的感知区域存在重叠时，获取触控区域落入感知区域的体积信息；基于体积信息及预设规则，判断与触控区域对应的感知区域所在的虚拟键盘是否触发。
此外，可选的技术方案为，预训练手指尖检测模型的过程包括：采集样本手指运动的图像数据；在图像数据上标注手指尖信息，以获取标注图像数据；基于标注图像数据训练神经网络模型，直至神经网络模型收敛在预设范围内，形成手指尖检测模型。
此外，可选的技术方案为，在获取待检测图像数据上的所有手指尖相对预设基准位置的三维空间位置坐标的过程中，当待检测图像数据通过深度相机获取时，通过手指尖检测模型直接获取手指尖相对深度相机的三维空间位置坐标；当待检测图像数据通过可见光相机获取时，通过手指尖检测模型分别获取两个待检测图像数据上的手指尖的图像位置信息，并通过三角立体成像原理，获取手指尖相对可见光相机的三维空间位置坐标。
此外，可选的技术方案为，确定与手指尖对应的触控区域的过程包括：基于以手指尖的三维空间位置坐标为圆心，以预设距离为半径的球形区域，作为与手指尖对应的触控区域。
此外，可选的技术方案为，预设距离为2mm-7mm。
此外，可选的技术方案为，预设基准位置为采集待检测图像数据的相机的坐标原点位置。
此外，可选的技术方案为，基于体积信息及预设规则，判断与触控区域对应的感知区域所在的虚拟键盘是否触发的过程包括：获取体积信息与感知区域的体积值之比，以获取触控区域与感知区域的重叠区域的概率分布；判断概率分布是否大于预设阈值，当概率分布大于预设阈值时，表示感知区域所在的虚拟键盘的按键被选择。
此外，可选的技术方案为，在按键被选择一次后，还包括：判断按键在待检测图像数据中连续预设个数帧的概率分布是否均大于预设阈值；当按键在连续预设个数帧的概率分布均大于预设阈值时，触发按键对应的字符；否则，不触发按键对应的字符。
此外，可选的技术方案为，预设阈值为0.75。
根据本发明的另一方面，提供一种虚拟键盘交互系统，包括：手指尖检测模型训练单元，用于预训练手指尖检测模型；三维空间位置坐标获取单元，用于通过手指尖检测模型，获取待检测图像数据上的所有手指尖相对预设基准位置的三维空间位置坐标；触控区域确定单元，用于基于三维空间位置坐标，确定与手指尖对应的触控区域；体积信息获取单元，当触控区域与预设的虚拟键盘的感知区域存在重叠时，获取触控区域落入感知区域的体积信息；虚拟键盘触发判断单元，用于基于体积信息及预设规则，判断与触控区域对应的感知区域所在的虚拟键盘是否触发。
利用上述虚拟键盘交互方法及系统，通过预训练的手指尖检测模型，获取待检测图像数据上的所有手指尖相对预设基准位置的三维空间位置坐标；基于三维空间位置坐标，确定与手指尖对应的触控区域；当触控区域与预设的虚拟键盘的感知区域存在重叠时，获取触控区域落入感知区域的体积信息；基于体积信息及预设规则，判断与触控区域对应的感知区域所在的虚拟键盘是否触发，能够使得用户便捷、快速地与虚拟键盘交互，并提高字符输入的准确度，实现更令人满意的用户体验。
为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。
附图说明
通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的虚拟键盘交互方法的流程图；
图2为根据本发明实施例的虚拟键盘交互系统的方框示意图。
在所有附图中相同的标号指示相似或相应的特征或功能。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
为详细描述本发明的虚拟键盘交互方法及系统，以下将结合附图对本发明的具体实施例进行详细描述。
图1示出了根据本发明实施例的虚拟键盘交互方法的流程。
如图1所示，本发明实施例的虚拟键盘交互方法，包括：
S110：预训练手指尖检测模型；
S120：通过手指尖检测模型，获取待检测图像数据上的所有手指尖相对预设基准位置的三维空间位置坐标；
S130：基于三维空间位置坐标，确定与手指尖对应的触控区域；
S140：当触控区域与预设的虚拟键盘的感知区域存在重叠时，获取触控区域落入感知区域的体积信息；
S150：基于体积信息及预设规则，判断与触控区域对应的感知区域所在的虚拟键盘是否触发。
具体地，步骤S110中预训练手指尖检测模型的过程包括：S111：采集样本手指运动的图像数据；S112：在图像数据上标注手指尖信息，以获取标注图像数据；S113：基于标注图像数据训练神经网络模型，直至神经网络模型收敛在预设范围内，形成手指尖检测模型。
其中，针对不同的图像数据的采集方式，对应的手指尖检测模型也分为两个类别，如果虚拟现实显示设备(HMD)内置的为深度相机，在根据本发明提供的虚拟键盘的交互场景中，采集HMD内的深度相机的手指运动数据大概300万张左右的图像数据，然后在图像数据上标注左、右手的10个手指尖信息，并通过标注后的标注图像数据训练卷积神经网络模型，获得对应的高精度的手指尖检测模型；另外，当HMD内置的为可见光相机时，在根据本发明提供的虚拟键盘的交互场景中，可通过至少两个可见光相机采集手指运动数据大概300万张左右的(可见光)图像数据，然后在(可见光)图像数据上标注左、右手的10个手指尖信息，并通过标注后的标注图像数据训练卷积神经网络模型，获得对应的手指尖检测模型。
在通过手指尖检测模型获取待检测图像数据上的所有手指尖相对预设基准位置的三维空间位置坐标的过程中，当待检测图像数据通过深度相机获取时，通过手指尖检测模型直接获取手指尖相对深度相机的三维空间位置坐标；当待检测图像数据通过可见光相机获取时，通过手指尖检测模型分别获取两个待检测图像数据上的手指尖的图像位置信息，并通过三角立体成像原理，获取手指尖相对可见光相机的三维空间位置坐标。
可知，上述预设基准位置可采用采集待检测图像数据的相机的坐标原点位置。
根据步骤S120依次获取当前时刻用户两个手的所有手指尖的三维空间位置坐标，然后对所有手指尖的三维空间位置坐标赋予一个触控区域，具体可以以手指尖的三维空间位置坐标为圆心，以预设距离为半径的球形区域，作为与手指尖对应的触控区域。
作为具体示例，预设距离可设置为2mm-7mm，通常可设置为距离手指尖的三维空间位置坐标5mm的球形区域为触控区域。
需要说明的是，虚拟键盘的感知区域可设置为HMD内置的相机坐标系下的三维空间区域，即每一个虚拟按键的按键均分配一块三维空间区域，为了提高手指触控的灵敏度，可将虚拟键盘的按键的感知区域的体积设置为15mm*15mm*15mm(长*宽*高)，按照虚拟键盘的体积参数，该虚拟键盘的每一个按键相对HMD相机坐标系下均有一块对应的三维空间下的感知区域，当手指尖区域(触控区域)落入该按键的正方体区域一定的概率下，该区域对应的按键字符被输入到虚拟现实内容中。
在步骤S150中，基于体积信息及预设规则，判断与触控区域对应的感知区域所在的虚拟键盘是否触发的过程包括：获取体积信息与感知区域的体积值之比，以获取触控区域与感知区域的重叠区域的概率分布；判断概率分布是否大于预设阈值，当概率分布大于预设阈值时，表示感知区域所在的虚拟键盘的按键被选择。
具体地，对每一个手指尖的触控区域进行检测和分析，确认是否有触控区域落入虚拟键盘上的一些按键的感知区域中，当存在触控区域落入感知区域内时，进一步判断触控区域落入感知区域内的体积信息T，例如，计算该按键被用户选择输入的概率分布，概率分布为T/(15mm*15mm*15mm)，当概率分布大于预设阈值时，表示感知区域所在的虚拟键盘的按键被选择。
作为具体示例，该预设阈值可设置为0.75，上述感知区域的范围、预设阈值的范围以及触控区域的范围，均可根据具体的虚拟键盘的尺寸或者用户体验进行设定及调整，并不具体限制为上述各数据。
在本发明的一个具体实施方式中，在按键被判断为选择一次后，还可以包括：判断按键在待检测图像数据中连续预设个数帧的概率分布是否均大于预设阈值；当按键在连续预设个数帧的概率分布均大于预设阈值时，触发按键对应的字符；否则，不触发按键对应的字符。
上述连续预设个数帧可设置为连续3帧，如果当前按键的连续3帧的图像均检测为被选择的概率分布大于0.75，则把该按键对应的字符输入给当前的虚拟现实内容。
本发明提供的虚拟键盘交互方法，能够方便、快捷的实现用户与虚拟键盘之间的智能交互，按键的输入速度快、准确度高，从而达到更快更令用户满意的体验效果。
与上述虚拟键盘交互方法相对应，本发明还提供一种虚拟键盘交互系统。具体地，图2示出了根据本发明实施例的虚拟键盘交互系统的示意逻辑。
如图2所示，本发明实施例的虚拟键盘交互系统200，包括：
手指尖检测模型训练单元210，用于预训练手指尖检测模型；
三维空间位置坐标获取单元220，用于通过手指尖检测模型，获取待检测图像数据上的所有手指尖相对预设基准位置的三维空间位置坐标；
触控区域确定单元230，用于基于三维空间位置坐标，确定与手指尖对应的触控区域；
体积信息获取单元240，当触控区域与预设的虚拟键盘的感知区域存在重叠时，获取触控区域落入感知区域的体积信息；
虚拟键盘触发判断单元250，用于基于体积信息及预设规则，判断与触控区域对应的感知区域所在的虚拟键盘是否触发。
需要说明的是，上述虚拟键盘交互系统的实施例可参考虚拟键盘交互方法实施例中的描述，此处不再一一赘述。
通过上述本发明提供的虚拟键盘交互方法及系统，通过HMD在用户眼前视角的预设位置上渲染呈现一个虚拟键盘，用户可以通过左右两只手模拟用户使用物理键盘方式，通过用户左右手的10个手指对虚拟键进行确认操作输入；基于HMD渲染生成具有位于用户眼睛视角前面的虚拟键盘，通过基于卷积神经网络模型实时检测用户左右手指运动信息，检测接近虚拟键盘的感知位置的3D空间中的手指尖的运动路径信息，追踪用户手指在运动过程中的虚拟键上的路径分布，获取与用户输入交互相关联的参数，这些参数可用于计算用户打算选择各个键的概率，分析各个键在一定时间序列上的概率分布，确认用户真正选择的键，最终把选择键对应的字符输入给虚拟现实，提高虚拟键盘按键输入的用户体验。
如上参照附图以示例的方式描述根据本发明的虚拟键盘交互方法及系统。但是，本领域技术人员应当理解，对于上述本发明所提出的虚拟键盘交互方法及系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。
Claims (10)
1.一种虚拟键盘交互方法，其特征在于，包括：
预训练手指尖检测模型；
通过所述手指尖检测模型，获取待检测图像数据上的所有手指尖相对预设基准位置的三维空间位置坐标；
基于所述三维空间位置坐标，确定与所述手指尖对应的触控区域；
当所述触控区域与预设的虚拟键盘的感知区域存在重叠时，获取所述触控区域落入所述感知区域的体积信息；
基于所述体积信息及预设规则，判断与所述触控区域对应的感知区域所在的虚拟键盘是否触发。
2.如权利要求1所述的虚拟键盘交互方法，其特征在于，所述预训练手指尖检测模型的过程包括：
采集样本手指运动的图像数据；
在所述图像数据上标注手指尖信息，以获取标注图像数据；
基于所述标注图像数据训练神经网络模型，直至所述神经网络模型收敛在预设范围内，形成手指尖检测模型。
3.如权利要求1所述的虚拟键盘交互方法，其特征在于，在获取待检测图像数据上的所有手指尖相对预设基准位置的三维空间位置坐标的过程中，
当所述待检测图像数据通过深度相机获取时，通过所述手指尖检测模型直接获取所述手指尖相对所述深度相机的三维空间位置坐标；
当所述待检测图像数据通过可见光相机获取时，通过所述手指尖检测模型分别获取两个待检测图像数据上的手指尖的图像位置信息，并通过三角立体成像原理，获取所述手指尖相对所述可见光相机的三维空间位置坐标。
4.如权利要求1所述的虚拟键盘交互方法，其特征在于，确定与所述手指尖对应的触控区域的过程包括：
基于以所述手指尖的三维空间位置坐标为圆心，以预设距离为半径的球形区域，作为与所述手指尖对应的触控区域。
5.如权利要求4所述的虚拟键盘交互方法，其特征在于，
所述预设距离为2mm-7mm。
6.如权利要求4所述的虚拟键盘交互方法，其特征在于，
所述预设基准位置为采集所述待检测图像数据的相机的坐标原点位置。
7.如权利要求1所述的虚拟键盘交互方法，其特征在于，基于所述体积信息及预设规则，判断与所述触控区域对应的感知区域所在的虚拟键盘是否触发的过程包括：
获取所述体积信息与所述感知区域的体积值之比，以获取所述触控区域与所述感知区域的重叠区域的概率分布；
判断所述概率分布是否大于预设阈值，当所述概率分布大于所述预设阈值时，表示所述感知区域所在的虚拟键盘的按键被选择。
8.如权利要求7所述的虚拟键盘交互方法，其特征在于，在所述按键被选择一次后，还包括：
判断所述按键在所述待检测图像数据中连续预设个数帧的概率分布是否均大于所述预设阈值；
当所述按键在连续所述预设个数帧的概率分布均大于所述预设阈值时，触发所述按键对应的字符；否则，不触发所述按键对应的字符。
9.如权利要求7所述的虚拟键盘交互方法，其特征在于，
所述预设阈值为0.75。
10.一种虚拟键盘交互系统，其特征在于，包括：
手指尖检测模型训练单元，用于预训练手指尖检测模型；
三维空间位置坐标获取单元，用于通过所述手指尖检测模型，获取待检测图像数据上的所有手指尖相对预设基准位置的三维空间位置坐标；
触控区域确定单元，用于基于所述三维空间位置坐标，确定与所述手指尖对应的触控区域；
体积信息获取单元，当所述触控区域与预设的虚拟键盘的感知区域存在重叠时，获取所述触控区域落入所述感知区域的体积信息；
虚拟键盘触发判断单元，用于基于所述体积信息及预设规则，判断与所述触控区域对应的感知区域所在的虚拟键盘是否触发。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110505160.1A CN113238705A (zh) | 2021-05-10 | 2021-05-10 | 虚拟键盘交互方法及系统 |
| PCT/CN2021/121388 WO2022237055A1 (zh) | 2021-05-10 | 2021-09-28 | 虚拟键盘交互方法及系统 |
| US17/816,413 US20220365655A1 (en) | 2021-05-10 | 2022-07-30 | Virtual Keyboard Interaction Method and System |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110505160.1A CN113238705A (zh) | 2021-05-10 | 2021-05-10 | 虚拟键盘交互方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113238705A true CN113238705A (zh) | 2021-08-10 |
Family
ID=77133230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110505160.1A Pending CN113238705A (zh) | 2021-05-10 | 2021-05-10 | 虚拟键盘交互方法及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113238705A (zh) |
| WO (1) | WO2022237055A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114690900A (zh) * | 2022-03-16 | 2022-07-01 | 中数元宇数字科技(上海)有限公司 | 一种虚拟场景中的输入识别方法、设备及存储介质 |
| WO2022237055A1 (zh) * | 2021-05-10 | 2022-11-17 | 青岛小鸟看看科技有限公司 | 虚拟键盘交互方法及系统 |
| WO2023087158A1 (en) * | 2021-11-16 | 2023-05-25 | Huawei Technologies Co., Ltd. | Method of generating haptic output and electronic apparatus configured to generate haptic output using said method |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130321279A1 (en) * | 2012-05-29 | 2013-12-05 | Garett Engle | Method of capturing system input by relative finger positioning |
| US20170154471A1 (en) * | 2014-06-26 | 2017-06-01 | Korea Advanced Institute Of Science And Technology | Apparatus and method for providing augmented reality interaction service |
| CN107168541A (zh) * | 2017-04-07 | 2017-09-15 | 北京小鸟看看科技有限公司 | 一种输入的实现方法和装置 |
| CN107563494A (zh) * | 2017-08-01 | 2018-01-09 | 华南理工大学 | 一种基于卷积神经网络和热图的第一视角指尖检测方法 |
| CN109683667A (zh) * | 2018-12-25 | 2019-04-26 | 上海萃钛智能科技有限公司 | 一种头戴式计算机及其信息输入方法 |
| CN109933190A (zh) * | 2019-02-02 | 2019-06-25 | 青岛小鸟看看科技有限公司 | 一种头戴显示设备及其交互方法 |
| CN110163048A (zh) * | 2018-07-10 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 手部关键点的识别模型训练方法、识别方法及设备 |
| US20210011621A1 (en) * | 2019-07-11 | 2021-01-14 | Microsoft Technology Licensing, Llc | Virtual Keyboard Engagement |
| CN112541375A (zh) * | 2019-09-20 | 2021-03-23 | 阿里巴巴集团控股有限公司 | 一种手部关键点识别方法及装置 |
| CN112651298A (zh) * | 2020-11-27 | 2021-04-13 | 深圳点猫科技有限公司 | 基于手指关节定位的点读方法、装置、系统及介质 |
| US20210124425A1 (en) * | 2019-01-04 | 2021-04-29 | Beijing Dajia Internet Information Technology Co., Ltd. | Method and electronic device of gesture recognition |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106371599A (zh) * | 2016-09-08 | 2017-02-01 | 清华大学 | 深度图像中的高精度指尖定位方法及装置 |
| CN108536288A (zh) * | 2018-03-27 | 2018-09-14 | 网易（杭州）网络有限公司 | 虚拟现实中交互操作的处理方法和装置 |
| CN113238705A (zh) * | 2021-05-10 | 2021-08-10 | 青岛小鸟看看科技有限公司 | 虚拟键盘交互方法及系统 |
-
2021
- 2021-05-10 CN CN202110505160.1A patent/CN113238705A/zh active Pending
- 2021-09-28 WO PCT/CN2021/121388 patent/WO2022237055A1/zh active Application Filing
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130321279A1 (en) * | 2012-05-29 | 2013-12-05 | Garett Engle | Method of capturing system input by relative finger positioning |
| US20170154471A1 (en) * | 2014-06-26 | 2017-06-01 | Korea Advanced Institute Of Science And Technology | Apparatus and method for providing augmented reality interaction service |
| CN107168541A (zh) * | 2017-04-07 | 2017-09-15 | 北京小鸟看看科技有限公司 | 一种输入的实现方法和装置 |
| CN107563494A (zh) * | 2017-08-01 | 2018-01-09 | 华南理工大学 | 一种基于卷积神经网络和热图的第一视角指尖检测方法 |
| CN110163048A (zh) * | 2018-07-10 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 手部关键点的识别模型训练方法、识别方法及设备 |
| CN109683667A (zh) * | 2018-12-25 | 2019-04-26 | 上海萃钛智能科技有限公司 | 一种头戴式计算机及其信息输入方法 |
| US20210124425A1 (en) * | 2019-01-04 | 2021-04-29 | Beijing Dajia Internet Information Technology Co., Ltd. | Method and electronic device of gesture recognition |
| CN109933190A (zh) * | 2019-02-02 | 2019-06-25 | 青岛小鸟看看科技有限公司 | 一种头戴显示设备及其交互方法 |
| US20210011621A1 (en) * | 2019-07-11 | 2021-01-14 | Microsoft Technology Licensing, Llc | Virtual Keyboard Engagement |
| CN112541375A (zh) * | 2019-09-20 | 2021-03-23 | 阿里巴巴集团控股有限公司 | 一种手部关键点识别方法及装置 |
| CN112651298A (zh) * | 2020-11-27 | 2021-04-13 | 深圳点猫科技有限公司 | 基于手指关节定位的点读方法、装置、系统及介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022237055A1 (zh) * | 2021-05-10 | 2022-11-17 | 青岛小鸟看看科技有限公司 | 虚拟键盘交互方法及系统 |
| WO2023087158A1 (en) * | 2021-11-16 | 2023-05-25 | Huawei Technologies Co., Ltd. | Method of generating haptic output and electronic apparatus configured to generate haptic output using said method |
| CN114690900A (zh) * | 2022-03-16 | 2022-07-01 | 中数元宇数字科技(上海)有限公司 | 一种虚拟场景中的输入识别方法、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022237055A1 (zh) | 2022-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113238705A (zh) | 虚拟键盘交互方法及系统 | |
| US8175374B2 (en) | Volume recognition method and system | |
| US8207967B1 (en) | Method and system for vision-based interaction in a virtual environment | |
| US9465980B2 (en) | Pose tracking pipeline | |
| US8166421B2 (en) | Three-dimensional user interface | |
| US7974443B2 (en) | Visual target tracking using model fitting and exemplar | |
| EP3275514A1 (en) | Virtuality-and-reality-combined interactive method and system for merging real environment | |
| CN104364733A (zh) | 注视位置检测装置、注视位置检测方法和注视位置检测程序 | |
| CN102915112A (zh) | 用于近距离动作跟踪的系统和方法 | |
| US20150241984A1 (en) | Methods and Devices for Natural Human Interfaces and for Man Machine and Machine to Machine Activities | |
| CN110456905A (zh) | 定位跟踪方法、装置、系统及电子设备 | |
| JP2017534135A (ja) | モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法 | |
| CN115100742A (zh) | 一种基于隔空手势操作的元宇宙展览展示体验系统 | |
| CN106774974B (zh) | 输出信息的方法和装置 | |
| Figueiredo et al. | Bare hand natural interaction with augmented objects | |
| US20220365655A1 (en) | Virtual Keyboard Interaction Method and System | |
| TWI413018B (zh) | 體積識別方法及系統 | |
| Lee et al. | Framework for vision-based sensory games using motion estimation and collision responses | |
| CN116954367A (zh) | 一种虚拟现实的交互方法、系统及设备 | |
| Nai et al. | Learning End-User Customized Mid-Air Hand Gestures Using a Depth Image Sensor | |
| Sherly | Visual Grasping of Unknown Objects | |
| Kang | Virtual human-machine interfaces and intelligent navigation of wheelchairs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210810 |
|
| RJ01 | Rejection of invention patent application after publication |