CN117472189B - 具有实物感的打字或触控的实现方法 - Google Patents
具有实物感的打字或触控的实现方法 Download PDFInfo
- Publication number
- CN117472189B CN117472189B CN202311811248.1A CN202311811248A CN117472189B CN 117472189 B CN117472189 B CN 117472189B CN 202311811248 A CN202311811248 A CN 202311811248A CN 117472189 B CN117472189 B CN 117472189B
- Authority
- CN
- China
- Prior art keywords
- trigger
- functional area
- touch
- points
- palm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 239000011521 glass Substances 0.000 claims abstract description 20
- 230000001960 triggered effect Effects 0.000 claims abstract description 11
- 230000003190 augmentative effect Effects 0.000 claims abstract description 9
- 210000003811 finger Anatomy 0.000 claims description 77
- 239000011159 matrix material Substances 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 15
- 210000003813 thumb Anatomy 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 13
- 210000002478 hand joint Anatomy 0.000 claims description 12
- 210000000707 wrist Anatomy 0.000 claims description 10
- 210000004932 little finger Anatomy 0.000 claims description 7
- 239000000758 substrate Substances 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 2
- 230000035807 sensation Effects 0.000 claims 10
- 238000004364 calculation method Methods 0.000 abstract description 18
- 230000000007 visual effect Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 12
- 238000004873 anchoring Methods 0.000 description 5
- 210000001508 eye Anatomy 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 210000004247 hand Anatomy 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000004984 smart glass Substances 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明具有实物感的打字或触控的实现方法，应用于XR扩展现实可穿戴设备、头戴式显示装置的系统，在手掌的关节连线上标定预置点，用户透过眼镜可看到手掌上预置点所绑定的功能区域，并设定两个触发判断点WL和WR；获取有视差的N个图像视频流，对相同帧的图像追踪并判断所有图像中触发指尖T的位置是否落入任一功能区域对应的两触发判断点之间，并取三个目标点位置值中的X轴值,分别计算WL与T的差值和T与WR的差值的比值，仅当N个图像的所有比值皆相同时，则表示触发指尖触碰到功能区域，输出或触发功能区域对应的内容。本发明仅通过视觉计算就能精准确认是否真实触碰，且触碰的是手掌或者物体表面，在打字或触控时具有实物感。
Description
技术领域
本发明为虚拟键盘和触控技术领域，具体涉及一种应用于XR扩展现实可穿戴设备、头戴式显示装置的具有实物感的打字或触控的实现方法。
背景技术
Extended Reality (XR)扩展现实，是指通过计算机技术和可穿戴设备产生的一个真实与虚拟组合、可人机交互的环境，是增强现实AR、虚拟现实VR、混合现实MR等多种形式的统称。随着(XR)扩展现实在各行各业的普及和发展，各种XR智能眼镜应运而生，通过虚拟键盘和触控的输入来实现用户和系统的交互。
目前虚拟键盘和触控有两种：（1）在1/3/6DoF的三维环境里锚定虚拟键盘，双手对空气打字或触控，用关节识别模型计算手指尖或射线位置判断是否触碰到虚拟按键的阈值位置；（2）手掌内画虚拟按键，通常将拇指（或任何手指）的指尖（或任何可以聚焦为一个光标点的部位）定义为“触发指尖”，在其他每根手指的三个指节和/或手掌的不同区域上画虚拟按键，将该虚拟按键分别定义对应不同的数字键、字母键或者功能键，用人手关节检测模型推算触发指尖是否触碰到虚拟按键的阈值位置。
所述第（1）种虚拟键盘（含按钮、链接、绘图等各种功能的实现，以下统称“功能区域”）的输入方式与传统键盘打字和光标点击触发的做法相像，但有两个问题：（a）由于手背和指头遮挡功能区域，导致视觉计算时很难分辨看不见的触发指尖是否真实触碰到某个功能区域的阈值位置；（b）用户没有触摸实体按键的感觉，在空气中打字只能依赖用户自己的眼睛判断触发指尖是否触碰到正确的字符按键，因此无法实现盲打/盲写的可能。
所述第（2）种掌内功能区域的触发方式，类似传统的掐指动作，功能区域在可视的手掌面，由于输入时手掌（以下“手掌”定义均含所有需要判断的掌心和手指部位）面向XR眼镜的摄像镜头，通过触发指尖触碰手掌的功能区域实现触发操作，解决了触碰的感觉和手背遮挡问题。然而这种做法仍然存在触发指尖对功能区域的遮挡问题，视觉计算看到触发指尖挡在某个功能区域前时，并不能知道触发指尖有没有触碰到功能区域还是悬空处于没有触碰的状态，因此就会误判触发指尖触碰了对应的功能区域，错误触发该功能区域对应的内容。为了解决视觉计算或者手势识别模型不能确认是否有真实触碰的问题，许多专利也有尝试通过指环或手套传感器来准确识别触发指尖是否真实地触碰到某个功能区域。然而戴手套或指环等传感器都背离了不希望穿戴任何器件或传感器的意愿，体验感和实用性都不高。
发明内容
本发明的目的在于针对现有手势识别及视觉计算时，对是否真实触碰存在误判的问题，提出一种具有实物感的打字或触控的实现方法，仅通过摄像头的视觉计算就能精准确认触发指尖与功能区域是否真实触碰，能脱离实体传感器等辅助设备，且计算量少；另外，由于触发指尖触碰的是手掌或者物体表面，在打字或触控时具有实物感，而不是在虚拟空间中毫无手感地比划，体验感好，可以实现盲打盲写。
本发明具有实物感的打字或触控的实现方法，应用于XR扩展现实可穿戴设备、头戴式显示装置的系统，该系统通过人手关节检测模型输出人手在视频画面中若干个关节点的带有时序的位置信息，手掌包括掌心和手指，通过触发指尖触碰功能区域实现打字和触控，该功能区域包括可供触发的字符/数字按钮、功能键或快捷键，该功能区域与手掌的关节连线上标定的预置点绑定，包括如下步骤：
步骤1、在手掌的关节连线上标定预置点，用户透过眼镜可看到手掌上预置点所绑定的功能区域，设功能区域的宽度为W,将预置点作为功能区域的中心点，在平行于X轴向左和向右/>处，取左触发判断点WL和右触发判断点WR；基于关节点推算出对应的预置点及其绑定的功能区域的左触发判断点WL和右触发判断点WR的位置信息；
步骤2、默认大拇指尖为触发指尖，若大拇指不进入手掌内区域，且由其他任一手指欲触碰手掌或其他功能区域，则判断该手指的指尖为触发指尖，触发指尖位置定义为T；
步骤3、系统获取有视差距离的N个图像视频流，其中N为整数，，针对相同帧的N个图像，追踪并判断所有图像中触发指尖T的位置是否落入任一功能区域左右两边界对应的左触发判断点WL和右触发判断点WR之间，若是落入，计算每个图像内的三个目标点的位置值，目标点包括左触发判断点WL、触发指尖T和右触发判断点WR，取三个目标点位置值中的X轴值（WRX,TX,WLX）,分别计算WL与T的差值和T与WR的差值的比值/>，仅当N个图像的所有比值皆相同时，则表示触发指尖触碰到功能区域，输出或触发功能区域对应的内容。
所述步骤3中，取两摄像头为左右摄像头，将摄像头两中心点L和R的连线作为X轴，假定在左摄像头视场中，左摄像头的中心点L与目标点的连线与X轴的夹角弧度为，在右摄像头视场中，右摄像头的中心点R与目标点的连线与X轴的夹角弧度为/>,设左右摄像头两中心点L和R的视差距离为d，计算图像内的每个目标点的位置(X,Z)：
若目标点落在左右摄像头两中心点L和R之间，则
；
若目标点落在左摄像头中心点L的左侧，则
；
若目标点落在右摄像头中心点R的右侧，则
。
所述功能区域是圆形的，以手掌的关节连线上的任意位置设置的预置点为圆心，以W为直径画圆。
在指节区域内、之间、之外或者手掌内手腕与某个手指之间位置渲染出功能区域。
所述步骤3是，系统分别在有视差距离的N个屏幕上，其中N为整数，，在手掌心的相同位置渲染一个矩阵网格，该矩阵网格包括若干格子，每个格子包括若干数量的边，将每个格子视为功能区域；系统追踪并判断触发指尖T(X,Y)在所有屏幕中是否同时出现在矩阵网格的某个功能区域，若是，则将触发指尖T(X,Y)与该功能区域的左右边，即将左触发判断点WL、触发指尖T和右触发判断点WR作为三个目标点，取三个目标点位置信息中的X轴值（WRX,TX,WLX）,分别计算WL与T的差值和T与WR的差值的比值/>，若所有图像的比值都相等，则表示触发指尖触碰到功能区域，并在触发指尖的位置T(X,Y)渲染画点，按照时序依次将所述画点连接成线，从而用一只手的指尖作为触发指尖在另一只手掌心上实现平板或触控板的触控功能。
该矩阵网格以小指与手掌连接关节为右顶点，食指与手掌的连接关节为左顶点，以手掌与手腕连接的位置为下边界。
所述矩阵网格为隐形设置，未在屏幕上显示出来。
所述格子为正方形或长方形。
本发明另一具有实物感的打字或触控的实现方法，应用于XR扩展现实可穿戴设备、头戴式显示装置的系统，该系统输出目标点在视频画面中带有时序的位置信息，通过触发指尖触碰功能区域实现打字和触控，包括如下步骤：
步骤1、系统分别在N个屏幕上，在相同预设物体表面的相同位置锚定一个触控界面图像，该触控界面图像上设置若干个功能区域，相同帧中功能区域平行于X轴的左右两边，取左触发判断点WL和右触发判断点WR；
步骤2、将任一欲触碰功能区域的手指的指尖视为触发指尖；
步骤3、系统获取有视差距离的N个图像视频流，其中N为整数，，追踪并判断触发指尖T(X,Y) 在所有屏幕中是否同时出现在某个功能区域内，若是，则将触发指尖T(X,Y)与该功能区域对应的左触发判断点WL和右触发判断点WR作为三个目标点，取三个目标点位置信息中的X轴值（WRX,TX,WLX）,分别计算WL与T的差值和T与WR的差值的比值，仅当N个图像的所有比值皆相同时，则表示触发指尖触碰到功能区域，输出触发功能区域对应的内容。
所述触控界面图像为传统计算器图、传统键盘图。
所述预设物体表面是任意实物表面。
所述预设物体表面是虚拟物表面，当触发指尖触碰到功能区域时，通过声音、振动、电击、机械的方式反馈用户提供触碰到实物的感觉。
一种头戴式显示设备，所述头戴式显示设备包括用于摄取目标区域的目标图像的至少两个摄像头；所述头戴式显示设备还包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现上述任意一项所述的方法。
一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现上述任意一项所述的方法。
一种运行指令的芯片，该芯片包括内部封装的集成电路基片，所述集成电路基片用于执行上述任意一项所述的方法。
采用本发明的技术方案后，通过智能眼镜的至少两个摄像头获取有视差的图像视频流，针对图像视频流中相同时序帧的图像，将两摄像头的连线作为X轴或与X轴平行，则计算视野中目标点空间位置的深度Z的公式可以忽略Y轴的计算。由于摄像头之间是固定的视差间距，利用双目视差间距不变触发指尖在真实触碰功能区域时，左右眼看到的触发指尖的位置在功能区域X轴上的相对位置是相同的原理，也就是说：当三个点都在一条线上时，从左右（或更多摄像头的）不同角度看上去三个点的相对位置都是一样的原理，本发明证明了可以忽略深度Z的计算，也不需要知道摄像头与其他摄像头的位置关系。本发明中的触控误差是，Z是目标点与摄像头的深度距离，d是任何对比摄像头之间的距离，/>是阈值设定。本发明将确认视野中触发指尖是否真实触碰功能区域的判断转换成只需要分别计算不同摄像头获取的图像内触发指尖位置与对应功能区域左右边缘的两个触发判断点的相对位置关系，若所有摄像头所获取的图像中上述三个目标点的相对位置关系一致，则判断触发指尖已触碰到功能区域，否则没有触碰，因此不需要X,、Y、Z或d的信息，只需要/>个摄像显示的X轴像素值，本发明解决了手势识别及视觉计算对是否真实触碰存在误判的问题，以及提供一种虚拟空间中具有实物感的打字或触控的实现方法。
由于本发明不需要计算触发指尖的深度Z值，本发明还可以在掌心部位设矩阵网格，将每个格子作为功能区域，智能眼镜的至少两个摄像头获取有视差距离d的左右图像视频流，通过判断所获取的相同帧的图像中触发指尖位置T(X,Y)与在同样Y高度的格子对应的两触发判断点的相对位置关系，若所有摄像头所获取的图像中上述三个目标点的相对位置关系一致，则判断触发指尖已触碰功能区域，否则没有触碰，触碰时可以在触发指尖的位置T(X,Y)渲染画点，按照时序依次将所述点连接成线，从而可以用一只手的指尖作为触发指尖在另一只手掌上实现画写和拖拉功能，如同实现平板或触控板的触控功能一样。也可以用多个触发指尖实现多指在平板或触控板的触控功能。也可以三角计算触发指尖的深度Z来渲染三维画点T(X,Y,Z)。
除了利用手掌锚定键盘按钮和触控板以外，本发明还可以允许掌外打字和触控。智能眼镜可以锚定一个简单计算器图像或者键盘图像在某个物体表面，例如墙壁或桌面上，也可以是其他真实或虚拟物体，也可以不是平面而是不规则面。通过智能眼镜的至少两个摄像头获取有视差的图像视频流，当触发指尖进入上述图像的功能区域内时，判断所获取的相同帧的图像中触发指尖位置与该功能区域对应的两触发判断点的相对位置关系，若所有摄像头所获取的图像中上述三个目标点的相对位置关系一致，则判断触发指尖已触碰功能区域，否则没有触碰，这样用户在打字或者触控时是触碰真实的物体表面，而不是在空气中对准虚拟按钮进行触控，因而具有实物感。
附图说明
图1为Mediapipe官网上给出的人手可识别的21个关节点和关节点名称；
图2为本发明中透过智能眼镜的左摄像头计算触发指尖T空间位置的示意图；
图3为本发明中透过智能眼镜的右摄像头计算触发指尖T空间位置的示意图；
图4为本发明中当手掌位于不同方向时功能区域W设置在手掌上的示意图；
图5为本发明中当触发指尖未触碰功能区域左右图像合并中触发指尖与两触发判断点的比例关系示意图；
图6为本发明中当触发指尖触碰功能区域左右图像合并中触发指尖与两触发判断点的比例关系示意图；
图7为本发明中当触发指尖未触碰和触碰到功能区域时左右图像中触发指尖与两触发判断点的比例关系示意图；
图8为本发明中单手九宫格功能区域排布示意图；
图9为本发明中双手26字符功能区域排布示意图；
图10为本发明中触发指尖触发食指指尖顶端的功能区域的示意图；
图11为本发明中触发指尖触发食指远节指节内功能区域的示意图；
图12为本发明中触发指尖触发食指中节指节内功能区域的示意图；
图13为本发明中触发指尖触发食指近节指节内功能区域的示意图；
图14为本发明中触发指尖触发食指近节指节下端的功能区域的示意图；
图15为本发明中食指指尖作为触发指尖触发手掌靠近手腕处的功能区域的示意图；
图16为本发明中一种头戴式显示设备的功能结构框图；
图17为本发明中手掌上显示XY矩阵网格实现掌内拖拉写画的触控功能的示意图；
图18为本发明中手掌上显示XY矩阵网格和指节区域显示快捷键的示意图；
图19为本发明锚定在1/3/6DoF三维环境里任何一个物体表面的计算器图像；
图20为本发明锚定在1/3/6DoF三维环境里任何一个物体表面的键盘图像。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明，本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或方案不应被解释为比其它实施例或方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本发明技术实现的原理说明：
（1）关于获取手掌位置信息所采用的识别模型：市面上能获取人手关节平面位置的预训练人手关节检测模型开源软件，本发明以Mediapipe为例进行说明。Mediapipe是Google的一个开源项目，是一个机器学习且主要是视觉算法的工具库，集成了人脸检测、人脸关键点、手势识别、头像分割、姿态识别等一大批模型，如图1所示，能输出人手在视频画面中21个关节点（也称关键点）的带有时序的位置信息。一般人手关节检测模型输出的是摄像画面上以(X,Y)像素作为X和Y轴的关节位置信息。本发明也可以采用自己训练的人手关节检测模型。本发明还包括用人工智能芯片如GPU图形处理器或NPU神经网络处理器，通过标签的卷积KNN或RNN学习或者以Transformer模型加预训练方法学习识别触发指尖是否落入功能区域。
（2）关于手掌中功能区域的设定：使用现有的人手关节检测模型可以输出人手在视频画面中21个关节点（也称关键点）的带有时序的(X,Y)位置信息，本发明在手掌的关节连线上标定预置点（例如关节连线的中间点），用户透过智能眼镜可看到手掌上预置点所绑定的功能区域，该功能区域包括可供触发的字符按钮、功能键或快捷键，设功能区域的宽度为W,将预置点作为功能区域的中心点，于平行X轴的方向,向左和向右/>处，各取两个触发判断点WL和WR；基于关节点可推算出对应的预置点及其绑定的功能区域的两个触发判断点WL和WR的位置信息；所述功能区域可以是任意形状；优选的，功能区域是圆形的，因为不管手掌如何转动方向，都不影响功能区域在手掌上的显示效果。如图4所示的圆形功能区域，是以手掌的关节连线上的任意位置设置的预置点为圆心，以W为直径画圆。本发明可以在指节区域内、之间、之外或者手掌内手腕与某个手指之间位置渲染出功能区域。
（3）关于触发指尖的设定：默认大拇指尖为触发指尖，若大拇指不进入手掌内区域或不使用大拇指尖为触发指尖时，其他任一手指欲触碰手掌或其他功能区域，则判断该手指尖为触发指尖；
以图8的单手九宫格功能区域排布为例，当触发指尖触碰手指指尖外的功能区域，如图10所示，则分别触发了食指的字符“C”、中指的“”、无名指的“X”、小指的功能键“删”；当触发指尖触碰另一手指远节指节的功能区域，如图11所示，则分别触发了食指的字符“1”、中指的字符“2”、无名指的字符“3”、小指的“/>”；当触发指尖触碰另一手指中节指节的功能区域，如图12所示，则分别触发了食指的字符“4”、中指的字符“5”、无名指的字符“6”、小指“/>”；当触发指尖触碰另一手指近节指节的功能区域，如图13所示，则分别触发了食指的字符“7”、中指的字符“8”、 无名指的字符“9”、小指的“/>”；当触发指尖触碰另一手指近节指节下端的功能区域，如图14所示，则分别触发了食指的“/>”、中指的字符“0”、无名指的“.”、小指的“/>”；由此可见，若功能区域设置于手指的指尖顶端、各指节上或者手掌上靠近指节的位置，将大拇指作为触发指尖去触碰功能区域，都可以触发功能区域的输出，而对于手掌区域靠近手腕处设置的功能区域，大拇指是不便于触碰的，本发明则分别设定对应手指来触发，此时的触发指尖是对应手指的指尖而不是大拇指的指尖，通过对应手指的指尖触碰对应的功能区域，从而触发对应的功能区域输出字符/功能，如图15所示，分别触发了食指的“MC”、 中指的“/>”、无名指的“/>”、小指的“MR”等功能键。
（4）关于目标点空间位置的计算：虽然XR智能眼镜看出去的是一个立体三维XYZ的空间，在计算触发指尖和功能区域X轴方向的左右两触发判断点的位置时可以忽略Y轴的计算，可以简化为一种二维的位置计算。如图2所示，将左右摄像头的中心点L/R的连线作为X轴，假定在左摄像头视场中，见图2，左摄像头的中心点L与待计算空间位置的目标点的连线与X轴的夹角为，则触发判断点WL的夹角为/>，触发判断点WR的夹角为/>，触发指尖T点的夹角为/>，同理，如图3所示，在右摄像头视场中，右摄像头的中心点R与待计算空间位置的目标点的连线与X轴的夹角为/>,则触发判断点WL的夹角为/>，触发判断点WR的夹角为/>，触发指尖T点的夹角为/>；
触发指尖T点、左右触发判断点WL和WR为三个需要计算的目标点，设左右摄像头两中心点L和R的视差距离为d,计算任何一个目标点(X,Z)位置，具体为：
若目标点落在左右摄像头两中心点L和R之间，则
；
若目标点落在左摄像头中心点L的左侧，则
；
若目标点落在右摄像头中心点R的右侧，则
。
以上举例用TAN和COT计算，本发明也可以用任何三角计算方法实现。
（5）关于触发指尖是否触碰到功能区域的判断方法：
系统获取有视差距离的左右（或更多角度的）图像视频流，针对相同帧的左右（多个）图像分别进行判断，若触发指尖T落入任一功能区域对应的两触发判断点WL和WR之间，比较左图像中的弧度比例值和右图像中的弧度比例值，若两个比例值不相等，则表示触发指尖未触碰到功能区域，见图5和图7中的上两图，若两个比例值相同，则表示触发指尖触碰到功能区域，见图6和图中7的下两图，则输出功能区域对应的内容。
本发明中比较两个以上的数值时，其误差在阈值范围的，皆视为相同、相等或一致。一般误差阈值可以设定为左右。
由于不同摄像头捕捉的视场角Field of View(FOV)不同，人手关节检测模型获取的X轴像素值X可以直接换算成以上所有公式里的ϴ弧度/角度。假设图像的X轴总解析度是1800像素，摄像头FOV是180度，人手关节检测模型反馈的目标点(X,Y)的X是像素900，则目标点的弧度/>（角度为90）。由于本发明只需要比对左右（多个）摄像头内三个目标点(WL,T,WR)的相对弧度比例值，所以无需换算绝对的/>弧度或角度，可以直接使用人手关节检测模型反馈的目标点X值就可以计算三个目标点的相对弧度比例值。因此假设/>就是人手关节检测模型输出的X值，则左图像中的弧度比例值为/>和右图像中的弧度比例值为/>。
（6）关于手掌上功能区域的排布实例：
图8为单手九宫格功能区域排布实例，通过单手掐指可以实现虚拟空间的掌内打字；
图9为双手26字符功能区域排布实例，通过双手分别掐指实现虚拟空间的掌内打字；
采用本发明技术方案，可以根据打字习惯和使用的便利性，自行设定各功能区域的位置和对应绑定的字符（或功能键/快捷键），只要是在手掌的关节或者关节连线上的任意位置，就可以通过人手关节检测模型输出的各关节点的带有时序的位置信息，获得该功能区域的位置信息，从而得到该功能区域对应的两触发判断点的位置信息，供触发指尖是否触碰到功能区域的判断中使用；
（7）关于手掌上实现平板触控的原理说明：
由于摄像头的画面有X和Y二维的像素数据，本发明可以用手掌心的平面来实现二维平板的触控功能，比如：画图、写字、拖动、拉动等二维动作的功能。
系统分别在至少两个摄像头的屏幕上，这里假设的左右屏幕上，在手掌上同样的位置渲染一个矩阵网格（也可以是隐形的），以左手为例（见图17），以小指与手掌连接处作为矩阵网格的右顶点，食指与手掌的连接处作为矩阵网格的左顶点，以手掌与手腕连接的位置作为矩阵网格的下边界，当手掌任意旋转和移动时，由于与手掌关节点绑定，因此该矩阵网格相对手掌位置是固定的，该矩阵网格中的每个格子都有上下左右线对应四个边，网格形状也可以使用任何形状，不需要是方形的，三角形则三个边，六角形则六个边，也可以是不规则形状，不规则形状则每个格子可能有不同数量的边，或者每个格子中具有不同纹理，每个格子可以视为功能区域，按照第（5）点的“触发指尖是否触碰到功能区域的判断方法”来判断。
系统分别在左右（或多个）屏幕里，追踪并判断触发指尖T(X,Y)是否同时在矩阵网格某个功能区域，则将触发指尖T(X,Y)与该功能区域的左右边，作为三个目标点(左触发判断点WL,触发指尖T,右触发判断点WR)，取三个目标点位置信息中的X轴值（WRX,TX,WLX）,分别计算WL与T的差值和T与WR的差值的比值，若所有图像的比值都相等，则表示触发指尖触碰到功能区域，并在触发指尖的位置T(X,Y)渲染画点，按照时序依次将所述点连接成线，从而可以用一只手的指尖作为触发指尖在另一只手掌心上实现画写和拖拉功能，如同实现平板或触控板的触控功能一样。也可以用多个触发指尖实现多指在平板或触控板的触控功能。也可以用三角计算得到触发指尖的深度Z来渲染三维画点T(X,Y,Z)。弧度比例的公式仍然与第【0040】段中的一致，则左图像中的弧度换算像素比例值为和右图像中的弧度换算像素比例值为/>。如果有N个摄像头(N为整数，/>)，则必须所有摄像头的弧度比例都一样（在一定预设阈值误差内）才能判断为真实触碰，否则没有触碰。
注意：由于手掌可以随意旋转，所以对应的网格也是跟着手掌随意旋转，因此触发指尖同时在某个格子（功能区域）内时，若在同一个Y高度的左右边的WLX和WRX都可能实时发生变化，所以使用本发明确认触碰与否的计算公式必须是同一帧的对比。
图18为在手掌上显示XY矩阵网格和指节区域显示快捷键的示意图，具有平板触控结合快捷键的功能。
（8）由于现在的智能眼镜都有IMU芯片可以实现1/3/6DoF（1/3/6个自由维度）锚定任何图像在身边的三维环境一个固定位置（1DoF就是像AR眼镜那样永远在前方，3DoF是永远在眼镜周围，6DoF是可以在眼镜周围以外的地方锚定虚拟物体）。除了利用手掌锚定键盘按钮和触控板以外，本发明还可以允许掌外打字和触控。图19是锚定一个简单计算器图像在某个物体表面，例如墙壁或桌面上。图20为键盘图像，也可以通过同样的方法锚定在墙面或桌面来使用。物体表面可以是不规则的表面。本发明通过智能眼镜的至少两个摄像头获取有视差的图像视频流，当触发指尖进入上述图像的功能区域内时，判断所获取的相同帧的图像中触发指尖位置与该功能区域对应的两触发判断点的相对位置关系，若所有摄像头所获取的图像中上述三个目标点的相对位置关系一致，则判断触发指尖已触碰功能区域，否则没有触碰，这样用户在打字或者触控时是触碰真实的物体表面，而不是在空气中对准虚拟按钮进行触控，因而具有实物感。
所述物体表面也可以是虚拟物表面，当触发指尖触碰到功能区域时，通过声音、振动、电击、机械的方式反馈用户提供触碰到实物的感觉。
本发明还包括不同的深度和速度传感器，可以搭配传统摄像传感器也可以独立使用。由于本发明依赖的是触发指尖和两触发判断点的相对位置关系来判断是否真实触碰，计算机不需要执行深度位置的三角计算，而是通过深度传感器如激光SLAM、IR红外线追踪、移动Motion等传感器来获得三个目标点位置相对距离和比例的监控和执行。例如MotionVelocity sensor是输出正在移动的像素，这个像素也可以拿来使用。SLAM虽然会给每个X轴像素的Z值，但也能给X值。IR和其他ToF传感器虽然可以给深度Z值，但也有X和Y值可以用本发明计算。
本发明不仅适用于掌内打字，也适用于任何需要搭配掌内打字或触控动作的交互命令。比如用户可以：
A.用射线从某个锚定位置与手的某个发射位置形成一条射线，射线指向远方某个虚拟按键或链接目标位置时，搭配的掌内指尖与指节的触控指令可以按照本发明的方法执行；
B.用户食指点击虚拟屏幕或虚拟按钮链接时，需要搭配手掌内比如拇指指尖触碰中指远节的虚拟按键触发短按或长按指令，搭配的掌内指尖与指节的触控指令可以按照本发明的方法执行；
C.有些智能眼镜会采用眼球追踪器，依据左右眼瞳孔的角度计算用户在看哪个角度来形成一条三维射线，射线指向远方某个虚拟按键或链接功能区域的目标位置时，搭配的掌内指尖与指节的触控指令可以按照本发明的方法执行；
D.有些智能眼镜会采用中心位置作为简单的垂直射线来形成一条三维垂直射线，射线指向远方某个虚拟按键或链接功能区域目标位置时，搭配的掌内指尖与指节的触控指令可以按照本发明的方法执行。
实施例一
本发明的实施例一涉及一种具有实物感的打字或触控的实现方法，应用于XR扩展现实可穿戴设备、头戴式显示装置的系统，该系统通过人手关节检测模型输出人手在视频画面中若干个关节点的带有时序的位置信息，手掌包括掌心和手指，通过触发指尖触碰功能区域实现打字和触控，包括如下步骤：
步骤1、在手掌的关节连线上标定预置点，用户透过眼镜可看到手掌上预置点所绑定的功能区域，该功能区域包括可供触发的字符按钮、功能键或快捷键，设功能区域的宽度为W,将预置点作为功能区域的中心点，在平行于X轴向左和向右/>处，各取两个触发判断点WL和WR；基于关节点推算出对应的预置点及其绑定的功能区域的两个触发判断点WL和WR的位置信息；
所述功能区域可以是任意形状；优选的，功能区域是圆形的，以手掌的关节连线上的任意位置设置的预置点为圆心，以W为直径画圆。
本发明可以在指节区域内、之间、之外或者手掌内手腕与某个手指之间位置渲染出功能区域。
步骤2、默认大拇指为触发手指，若大拇指不进入手掌内区域，其他任一手指欲触碰手掌，则判断该手指为触发手指；
步骤3、系统获取有视差距离的N个图像视频流，针对相同帧的N个图像，追踪并判断所有图像中触发指尖T的位置是否落入任一功能区域左右两边界对应的两触发判断点WL和WR之间，若是落入，针对每个图像内的三个目标点(左触发判断点WL,触发指尖T,右触发判断点WR)，取三个目标点位置信息中的X轴值（WRX,TX,WLX）,分别计算WL与T的差值和T与WR的差值的比值，仅当N个图像的所有比值皆相同时，则表示触发指尖触碰到功能区域，输出或触发功能区域对应的内容。
取两摄像头为左右摄像头，将摄像头两中心点L和R的连线作为X轴，假定在左摄像头视场中，左摄像头的中心点L与目标点的连线与X轴的夹角弧度为，在右摄像头视场中，右摄像头的中心点R与目标点的连线与X轴的夹角弧度为/>,设左右摄像头两中心点L和R的视差距离为d，计算图像内的每个目标点的位置(X,Z)：
若目标点落在左右摄像头两中心点L和R之间，则
；
若目标点落在左摄像头中心点L的左侧，则
；
若目标点落在右摄像头中心点R的右侧，则
。
系统分别在至少左右眼的两屏幕上，在手掌心的相同位置渲染一个矩阵网格，该矩阵网格以小指与手掌连接关节为右顶点，食指与手掌的连接关节为左顶点，以手掌与手腕连接的位置为下边界，该矩阵网格包括若干均匀划分的格子，每个格子包括若干数量的边，将每个格子视为功能区域；系统监控触发指尖T(X,Y)是否在上述屏幕中同时出现在矩阵网格的某个功能区域，若是，则将触发指尖T(X,Y)连同该功能区域对应的两触发判断点作为三个目标点(左触发判断点WL, 触发指尖T,右触发判断点WR)，取三个目标点位置信息中的X轴值（WRX，TX,WLX）,分别计算WL与T的差值和T与WR的差值的比值，若所有图像的比值都相等，则表示触发指尖触碰到功能区域，并在触发指尖的位置T(X,Y)渲染画点，按照时序依次将所述画点连接成线，从而可以用一只手的指尖作为触发指尖在另一只手掌心上实现平板或触控板的触控功能。
所述矩阵网格为隐形设置，未在屏幕上显示出来。
本发明另一具有实物感的打字或触控的实现方法，应用于XR扩展现实可穿戴设备、头戴式显示装置的系统，该系统输出目标点在视频画面中带有时序的位置信息，通过触发指尖触碰功能区域实现打字和触控，包括如下步骤：
步骤1、系统分别在N个屏幕上，在相同预设物体表面的相同位置锚定一个触控界面图像，该触控界面图像上设置若干个功能区域，相同帧中功能区域平行于X轴的左右两边，取左触发判断点WL和右触发判断点WR；
步骤2、将任一欲触碰功能区域的手指的指尖视为触发指尖；
步骤3、系统获取有视差距离的N个图像视频流，其中N为整数，，追踪并判断触发指尖T(X,Y) 在所有屏幕中是否同时出现在某个功能区域内，若是，则将触发指尖T(X,Y)与该功能区域对应的左触发判断点WL和右触发判断点WR作为三个目标点，取三个目标点位置信息中的X轴值（WRX,TX,WLX）,分别计算WL与T的差值和T与WR的差值的比值，仅当N个图像的所有比值皆相同时，则表示触发指尖触碰到功能区域，输出触发功能区域对应的内容。
所述触控界面图像为传统计算器图、传统键盘图。
所述预设物体表面可以是墙壁、桌面等。
专业人员应该还可以进一步意识到，结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。
实施例二
本发明实施例二提供一种头戴式显示设备，如图16示，该头戴式显示设备700可包括：存储器710、处理器720，该存储器710用于存储计算机程序，并将该程序代码传输给该处理器720。换言之，该处理器720可以从存储器710中调用并运行计算机程序，以实现本申请实施例中的方法。例如，该处理器720可用于根据该计算机程序中的指令执行实施例一方法所描述的处理步骤。
在本申请的一些实施例中，该处理器720可以包括但不限于：
通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本申请的一些实施例中，该存储器710包括但不限于：易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器 (Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM， EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。
在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器710中，并由该处理器720执行，以完成本申请提供的实施例一的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该头戴式显示设备700的执行过程。
如图16所示，该头戴式显示设备还可包括：收发器730，该收发器730可连接至该处理器720或存储器710。其中，处理器720可以控制该收发器730与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器730可以是用于摄取目标区域的目标图像的至少两个摄像头。
应当理解，该头戴式显示设备700中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
实施例三
本发明实施例三还提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述实施例一方法所描述的处理步骤。
实施例四
本申请实施例四还提供一种包含计算机程序/指令的计算机程序产品，该计算机程序/指令被计算机执行时使得计算机执行上述实施例一方法所描述的处理步骤。
实施例五
本发明实施例五还提供一种运行指令的芯片，该芯片包括内部封装的集成电路基片，所述集成电路基片用于执行前述实施例一方法所描述的处理步骤。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (15)
1.具有实物感的打字或触控的实现方法，应用于XR扩展现实可穿戴设备、头戴式显示装置的系统，该系统通过人手关节检测模型输出人手在视频画面中若干个关节点的带有时序的位置信息，手掌包括掌心和手指，其特征在于，通过触发指尖触碰功能区域实现打字和触控，该功能区域包括可供触发的字符/数字按钮、功能键或快捷键，该功能区域与手掌的关节连线上标定的预置点绑定，包括如下步骤：
步骤1、在手掌的关节连线上标定预置点，用户透过眼镜可看到手掌上预置点所绑定的功能区域，设功能区域的宽度为W,将预置点作为功能区域的中心点，在平行于X轴向左W/2和向右W/2处，取左触发判断点WL和右触发判断点WR；基于关节点推算出对应的预置点及其绑定的功能区域的左触发判断点WL和右触发判断点WR的位置信息；
步骤2、默认大拇指尖为触发指尖，若大拇指不进入手掌内区域，且由其他任一手指欲触碰手掌或其他功能区域，则判断该手指的指尖为触发指尖，触发指尖位置定义为T；
步骤3、系统获取有视差距离的N个图像视频流，其中N为整数，，针对相同帧的N个图像，追踪并判断所有图像中触发指尖T的位置是否落入任一功能区域左右两边界对应的左触发判断点WL和右触发判断点WR之间，若是落入，计算每个图像内的三个目标点的位置值，目标点包括左触发判断点WL、触发指尖T和右触发判断点WR，取三个目标点的位置值中的X轴值（WRX,TX,WLX）,分别计算WL与T的差值和T与WR的差值的比值(TX-WRX):(WLX-TX)，仅当N个图像的所有比值皆相同时，则表示触发指尖触碰到功能区域，输出或触发功能区域对应的内容。
2.根据权利要求1所述的具有实物感的打字或触控的实现方法，其特征在于所述步骤3中，取两摄像头为左右摄像头，将摄像头两中心点L和R的连线作为X轴，假定在左摄像头视场中，左摄像头的中心点L与目标点的连线与X轴的夹角弧度为TϴL，在右摄像头视场中，右摄像头的中心点R与目标点的连线与X轴的夹角弧度为TϴR,设左右摄像头两中心点L和R的视差距离为d，计算图像内的每个目标点的位置(X,Z)：
若目标点落在左右摄像头两中心点L和R之间，则
；
若目标点落在左摄像头中心点L的左侧，则
；
若目标点落在右摄像头中心点R的右侧，则
。
3.根据权利要求1或2所述的具有实物感的打字或触控的实现方法，其特征在于：
所述功能区域是圆形的，以手掌的关节连线上的任意位置设置的预置点为圆心，以W为直径画圆。
4.根据权利要求1或2所述的具有实物感的打字或触控的实现方法，其特征在于：
在指节区域内、之间、之外或者手掌内手腕与某个手指之间位置渲染出功能区域。
5.根据权利要求1或2所述的具有实物感的打字或触控的实现方法，其特征在于：
所述步骤3是，系统分别在有视差距离的N个屏幕上，其中N为整数，，在手掌心的相同位置渲染一个矩阵网格，该矩阵网格包括若干格子，每个格子包括若干数量的边，将每个格子视为功能区域；系统追踪并判断触发指尖T(X,Y)在所有屏幕中是否同时出现在矩阵网格的某个功能区域，若是，则将触发指尖T(X,Y)与该功能区域的左右边，即将左触发判断点WL、触发指尖T和右触发判断点WR作为三个目标点，取三个目标点位置信息中的X轴值（WRX,TX,WLX）,分别计算WL与T的差值和T与WR的差值的比值(TX-WRX):(WLX-TX)，若所有图像的比值都相等，则表示触发指尖触碰到功能区域，并在触发指尖的位置T(X,Y)渲染画点，按照时序依次将所述画点连接成线，从而用一只手的指尖作为触发指尖在另一只手掌心上实现平板或触控板的触控功能。
6.根据权利要求5所述的具有实物感的打字或触控的实现方法，其特征在于：
该矩阵网格以小指与手掌连接关节为右顶点，食指与手掌的连接关节为左顶点，以手掌与手腕连接的位置为下边界。
7.根据权利要求5所述的具有实物感的打字或触控的实现方法，其特征在于：
所述矩阵网格为隐形设置，未在屏幕上显示出来。
8.根据权利要求5所述的具有实物感的打字或触控的实现方法，其特征在于：
所述格子为正方形或长方形。
9.具有实物感的打字或触控的实现方法，应用于XR扩展现实可穿戴设备、头戴式显示装置的系统，该系统输出目标点在视频画面中带有时序的位置信息，通过触发指尖触碰功能区域实现打字和触控，其特征在于包括如下步骤：
步骤1、系统分别在N个屏幕上，在相同预设物体表面的相同位置锚定一个触控界面图像，该触控界面图像上设置若干个功能区域，相同帧中功能区域平行于X轴的左右两边，取左触发判断点WL和右触发判断点WR；
步骤2、将任一欲触碰功能区域的手指的指尖视为触发指尖；
步骤3、系统获取有视差距离的N个图像视频流，其中N为整数，，追踪并判断触发指尖T(X,Y) 在所有屏幕中是否同时出现在某个功能区域内，若是，则将触发指尖T(X,Y)与该功能区域对应的左触发判断点WL和右触发判断点WR作为三个目标点，取三个目标点位置信息中的X轴值（WRX,TX,WLX）,分别计算WL与T的差值和T与WR的差值的比值(TX-WRX):(WLX-TX)，仅当N个图像的所有比值皆相同时，则表示触发指尖触碰到功能区域，输出触发功能区域对应的内容。
10.根据权利要求9所述的具有实物感的打字或触控的实现方法，其特征在于：
所述触控界面图像为传统计算器图、传统键盘图。
11.根据权利要求9所述的具有实物感的打字或触控的实现方法，其特征在于：所述预设物体表面是任意实物表面。
12.根据权利要求9所述的具有实物感的打字或触控的实现方法，其特征在于：所述预设物体表面是虚拟物表面，当触发指尖触碰到功能区域时，通过声音、振动、电击、机械的方式反馈用户提供触碰到实物的感觉。
13.一种头戴式显示设备，其特征在于，所述头戴式显示设备包括用于摄取目标区域的目标图像的至少两个摄像头；所述头戴式显示设备还包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现所述权利要求1至12中任意一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现所述权利要求1至12中任意一项所述的方法。
15.一种运行指令的芯片，该芯片包括内部封装的集成电路基片，其特征在于所述集成电路基片用于执行所述权利要求1至12中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311811248.1A CN117472189B (zh) | 2023-12-27 | 2023-12-27 | 具有实物感的打字或触控的实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311811248.1A CN117472189B (zh) | 2023-12-27 | 2023-12-27 | 具有实物感的打字或触控的实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117472189A CN117472189A (zh) | 2024-01-30 |
| CN117472189B true CN117472189B (zh) | 2024-04-09 |
Family
ID=89639969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311811248.1A Active CN117472189B (zh) | 2023-12-27 | 2023-12-27 | 具有实物感的打字或触控的实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117472189B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117784950B (zh) * | 2024-02-28 | 2024-05-24 | 大连三通科技发展有限公司 | 三维光标实现虚拟触控的方法、存储介质和芯片 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102750044A (zh) * | 2011-04-19 | 2012-10-24 | 北京三星通信技术研究有限公司 | 一种虚拟键盘装置及其实现方法 |
| CN104049747A (zh) * | 2014-01-24 | 2014-09-17 | 胡世曦 | 一种用手指直接控制光标的鼠标装置 |
| CN109829368A (zh) * | 2018-12-24 | 2019-05-31 | 平安科技（深圳）有限公司 | 手掌特征的识别方法、装置、计算机设备及存储介质 |
| CN115061577A (zh) * | 2022-08-11 | 2022-09-16 | 北京深光科技有限公司 | 手部投影交互方法、系统及存储介质 |
| WO2023173668A1 (zh) * | 2022-03-16 | 2023-09-21 | 中数元宇数字科技(上海)有限公司 | 一种虚拟场景中的输入识别方法、设备及存储介质 |
| CN116909393A (zh) * | 2023-07-05 | 2023-10-20 | 西北工业大学 | 基于手势识别的虚拟现实输入系统 |
| CN117075727A (zh) * | 2023-08-16 | 2023-11-17 | 灯影科技有限公司 | 虚拟空间实现键盘输入的方法和设备 |
| CN117234405A (zh) * | 2022-06-07 | 2023-12-15 | 北京小米移动软件有限公司 | 信息输入方法以及装置、电子设备及存储介质 |
-
2023
- 2023-12-27 CN CN202311811248.1A patent/CN117472189B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102750044A (zh) * | 2011-04-19 | 2012-10-24 | 北京三星通信技术研究有限公司 | 一种虚拟键盘装置及其实现方法 |
| CN104049747A (zh) * | 2014-01-24 | 2014-09-17 | 胡世曦 | 一种用手指直接控制光标的鼠标装置 |
| CN109829368A (zh) * | 2018-12-24 | 2019-05-31 | 平安科技（深圳）有限公司 | 手掌特征的识别方法、装置、计算机设备及存储介质 |
| WO2023173668A1 (zh) * | 2022-03-16 | 2023-09-21 | 中数元宇数字科技(上海)有限公司 | 一种虚拟场景中的输入识别方法、设备及存储介质 |
| CN117234405A (zh) * | 2022-06-07 | 2023-12-15 | 北京小米移动软件有限公司 | 信息输入方法以及装置、电子设备及存储介质 |
| CN115061577A (zh) * | 2022-08-11 | 2022-09-16 | 北京深光科技有限公司 | 手部投影交互方法、系统及存储介质 |
| CN116909393A (zh) * | 2023-07-05 | 2023-10-20 | 西北工业大学 | 基于手势识别的虚拟现实输入系统 |
| CN117075727A (zh) * | 2023-08-16 | 2023-11-17 | 灯影科技有限公司 | 虚拟空间实现键盘输入的方法和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117472189A (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10732725B2 (en) | Method and apparatus of interactive display based on gesture recognition | |
| US11500473B2 (en) | User-defined virtual interaction space and manipulation of virtual cameras in the interaction space | |
| US20200356238A1 (en) | Virtual Interactions for Machine Control | |
| US20190042957A1 (en) | Interactions with virtual objects for machine control | |
| EP3090331B1 (en) | Systems with techniques for user interface control | |
| Lu et al. | Immersive manipulation of virtual objects through glove-based hand gesture interaction | |
| US9696867B2 (en) | Dynamic user interactions for display control and identifying dominant gestures | |
| US20200004403A1 (en) | Interaction strength using virtual objects for machine control | |
| US20140317576A1 (en) | Method and system for responding to user's selection gesture of object displayed in three dimensions | |
| CN117472189B (zh) | 具有实物感的打字或触控的实现方法 | |
| CN117075727A (zh) | 虚拟空间实现键盘输入的方法和设备 | |
| CN117784950B (zh) | 三维光标实现虚拟触控的方法、存储介质和芯片 | |
| Kolaric et al. | Direct 3D manipulation using vision-based recognition of uninstrumented hands | |
| Tao et al. | Human-Computer Interaction Using Fingertip Based on Kinect | |
| Pullan et al. | High Resolution Touch Screen Module | |
| Лукьянов | Direction of user interfaces development |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |