CN112000224A - 一种手势交互方法及系统 - Google Patents

一种手势交互方法及系统 Download PDF

Info

Publication number
CN112000224A
CN112000224A CN202010857663.0A CN202010857663A CN112000224A CN 112000224 A CN112000224 A CN 112000224A CN 202010857663 A CN202010857663 A CN 202010857663A CN 112000224 A CN112000224 A CN 112000224A
Authority
CN
China
Prior art keywords
user
joint point
gesture
vector
unit vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010857663.0A
Other languages
English (en)
Inventor
毛守迪
李骊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing HJIMI Technology Co Ltd
Original Assignee
Beijing HJIMI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing HJIMI Technology Co Ltd filed Critical Beijing HJIMI Technology Co Ltd
Priority to CN202010857663.0A priority Critical patent/CN112000224A/zh
Publication of CN112000224A publication Critical patent/CN112000224A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

本发明公开了一种手势交互方法及系统,基于预先获取到的用户的手势关节点坐标集合,得到用户的手的指向单位向量和用户的手掌朝向单位向量,当用户的手的指向单位向量生成的射线与预先建立的虚拟场景中的虚拟物体相交时,触发虚拟物体进入激活状态,并判断用户的手掌朝向单位向量是否满足预设条件,若满足,则确定用户的手势关节点坐标集合对应的手势,并响应手势对应的手势指令。通过上述方案,可对用户的手势关节点坐标集合对应的多个手势进行自定义,得到多个手势对应的操作,从而增加了用户在进行人机交互时的人机交互功能,提高了人机交互的交互性。此外,通过采用预设条件的限制,避免用户与人机交互的误触发,提高了人机交互的稳定性。

Description

一种手势交互方法及系统
技术领域
本发明涉及人机交互技术领域,更具体地说,涉及一种手势交互方法及系统。
背景技术
人机交互是指人与计算机之间使用某种对话语言,以一定的交互方式完成人与计算机之间的信息交换过程。
在人机交互的交互过程中,基于VR技术虚拟现实技术(Virtual Reality,VR)和AR增强现实技术(Augmented Reality,AR)技术,用户通过比划手势对计算机进行指令输入,计算机对该指令进行反馈,并将反馈结果以显示、声音等方式展示给用户。
由于现有的人机交互的手势比较单一,只有拖拽、缩放、旋转的方式,使得用户在进行人机交互时的人机交互功能少,从而导致人机交互的交互性差。
发明内容
有鉴于此,本发明公开了一种手势交互方法及系统,增加了用户在进行人机交互时的人机交互功能,提高了人机交互的交互性。
为了实现上述目的,其公开的技术方案如下:
本发明第一方面公开了一种手势交互方法,所述方法包括:
基于预先获取到的用户的手势关节点坐标集合,分别得到所述用户的手的指向单位向量和所述用户的手掌朝向单位向量;
基于所述用户的手的指向单位向量,生成射线;
当所述射线与预先建立的虚拟场景中的虚拟物体相交时,触发所述虚拟物体进入激活状态,并判断所述用户的手掌朝向单位向量是否满足预设条件,若满足,则确定所述用户的手势关节点坐标集合对应的手势,并响应所述手势对应的手势指令。
优选的,所述用户的手指关节点坐标集合包括中指根关节点坐标和手腕关节点坐标,基于预先获取到的用户的手势关节点坐标集合,得到所述用户的手的指向单位向量,包括:
基于所述中指根关节点坐标和所述手腕关节点坐标,得到第一向量长度;
基于所述中指根关节点坐标、所述手腕关节点坐标和所述第一向量长度,得到所述用户的手的指向单位向量。
优选的,所述用户的手指关节点坐标集合包括食指根关节点坐标和小拇指根关节点坐标,基于预先获取到的用户的手势关节点坐标集合,得到所述用户的手掌朝向单位向量,包括:
基于所述食指根关节点坐标和所述小拇指根关节点坐标,得到第二向量长度;
基于所述食指根关节点坐标、所述小拇指根关节点坐标、所述第二向量长度和所述用户的手的指向单位向量,得到所述用户的手掌朝向单位向量。
优选的,生成射线的过程,包括:
获取虚拟场景中的空间长度;
基于所述用户的手的指向单位向量、所述手腕关节点坐标和所述空间长度,生成射线。
优选的,所述判断所述用户的手掌朝向单位向量是否满足预设条件,包括:
确定所述用户的手掌朝向单位向量与预设向量的点积,并判断所述点积是否为正,其中,所述预设向量的方向竖直向上;
若是,确定所述用户的手掌朝向单位向量的方向与所述预设向量的方向一致;
若否,确定所述用户的手掌朝向单位向量的方向与所述预设向量的方向不一致。
优选的,在当所述射线与预先建立的虚拟场景中的虚拟物体相交时,触发所述虚拟物体进入激活状态之后,还包括:
按预设的方式展示处于激活状态的虚拟物体,其中,所述预设的方式为为所述处于激活状态的虚拟物体添加光圈轮廓。
本发明第二方面公开了一种手势交互系统,所述系统包括:
获取单元,用于基于预先获取到的用户的手势关节点坐标集合,分别得到所述用户的手的执行单位向量和所述用户的手掌朝向单位向量;
生成单元,用于基于所述用户的手的指向单位向量,生成射线;
处理单元,用于当所述射线与预先建立的虚拟场景中的虚拟物体相交时,触发所述虚拟物体进入激活状态,并判断所述用户的手掌朝向单位向量是否满足预设条件,若满足,则确定所述用户的手势关节点坐标集合对应的手势,并响应所述手势对应的手势指令。
优选的,基于预先获取到的用户的手势关节点坐标集合,得到所述用户的手的指向单位向量的获取单元,包括:
第一获取模块,用于基于中指根关节点坐标和手腕关节点坐标,得到第一向量长度;
第二获取模块,用于基于所述中指根关节点坐标、所述手腕关节点坐标和所述第一向量长度,得到所述用户的手的指向单位向量。
优选的,基于预先获取到的用户的手势关节点坐标集合,得到所述用户的手掌朝向单位向量的获取单元,包括:
第三获取模块,用于基于食指根关节点坐标和小拇指根关节点坐标,得到第二向量长度;
第四获取模块,用于基于所述食指根关节点坐标、所述小拇指根关节点坐标、所述第二向量长度和所述用户的手的指向单位向量,得到所述用户的手掌朝向单位向量。
优选的,还包括:展示单元;
所述展示单元,用于按预设的方式展示处于激活状态的虚拟物体,其中,所述预设的方式为为所述处于激活状态的虚拟物体添加光圈轮廓。
经由上述技术方案可知,基于预先获取到的用户的手势关节点坐标集合,得到用户的手的指向单位向量和用户的手掌朝向单位向量,当用户的手的指向单位向量生成的射线与预先建立的虚拟场景中的虚拟物体相交时,触发虚拟物体进入激活状态,并判断用户的手掌朝向单位向量是否满足预设条件,若满足,则确定用户的手势关节点坐标集合对应的手势,并响应手势对应的手势指令。通过上述方案,可对用户的手势关节点坐标集合对应的多个手势进行自定义,得到多个手势对应的操作,从而增加了用户在进行人机交互时的人机交互功能,提高了人机交互的交互性。此外,通过采用预设条件的限制,避免用户与人机交互的误触发,提高了人机交互的稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种手势交互方法的流程示意图;
图2为本发明实施例公开的用户的手势关节点坐标集合的位置示意图;
图3为本发明实施例公开的用户执行单击操作的示意图;
图4为本发明实施例公开的用户执行右击操作的示意图;
图5为本发明实施例公开的一种手势交互系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
由背景技术可知,由于现有的人机交互的手势比较单一,只有拖拽、缩放、旋转的方式,使得用户在进行人机交互时的人机交互功能少,从而导致人机交互的交互性差。
为了解决该问题,本发明公开了一种手势交互方法及系统,通过预先获取到的用户的手势关节点坐标集合,对用户的手势关节点坐标集合对应的多个手势进行自定义,得到多个手势对应的操作,从而增加了用户在进行人机交互时的人机交互功能,提高了人机交互的交互性。此外,通过采用预设条件的限制,避免用户与人机交互的误触发,提高了人机交互的稳定性。具体实现方式通过下述实施例具体进行说明。
如图1所示,为本发明实施例公开的一种手势交互方法的流程示意图,该手势交互方法主要包括如下步骤:
S101:基于预先获取到的用户的手势关节点坐标集合,分别得到用户的手的指向单位向量和用户的手掌朝向单位向量。
其中,手的指向单位向量是指模长为1的手的指向的向量,手的指向单位向量用于表征手的指向。
手掌朝向单位向量是指模长为1的手掌朝向的向量,手掌朝向单位向量用于表征手掌的朝向。
用户的手势关节点坐标集合包括用户的手的21个关节点三维空间坐标。
21个关节点三维空间坐标分别为手腕关节点,拇指根关节点,拇指第一关节点,拇指第二关节点,拇指之间关节点,食指根关节点,食指第一关节点,食指第二关节点,食指指尖关节点,中指根关节点,中指第一关节点,中指第二关节点,中指指尖关节点,无名指根关节点,无名指第一关节点,无名指第二关节点,无名指指尖关节点,小拇指根关节点,小拇指第一关节点,小拇指第二关节点和小拇指指尖关节点。
其中,用户的手势关节点坐标集合的位置示意图,如图2所示。
需要说明的是,图2中,J0为手腕关节点,J1为拇指根关节点,J2为拇指第一关节点,J3为拇指第二关节点,J4为拇指之间关节点,J5为食指根关节点,J6为食指第一关节点,J7为食指第二关节点,J8为食指指尖关节点,J9为中指根关节点,J10为中指第一关节点,J11为中指第二关节点,J12为中指指尖关节点,J13为无名指根关节点,J14为无名指第一关节点,J15为无名指第二关节点,J16为无名指指尖关节点,J17为小拇指根关节点,J18为小拇指第一关节点,J19为小拇指第二关节点,J20为小拇指指尖关节点。
用户的手的指向单位向量的计算式为:
vm=(J9-J0)/|J9-J0| (1)
其中,vm为用户的手的指向单位向量,J9为中指根关节点,J0为手腕关节点,|J9-J0|为第一向量长度。
用户的手掌朝向单位向量的计算式为:
vf=(J5-J11)/|J5-J11|×vm (2)
其中,vf为用户的手掌朝向单位向量,J5为食指根关节点,J11为中指第二关节点,|J5-J11|为第二向量长度,vm为用户的手的指向单位向量。
上述用户的手掌朝向单位向量为右手手掌朝向单位向量。
在执行S101的过程中,涉及到获取用户的手的指向单位向量的过程,如A1-A2所示:
A1:基于中指根关节点坐标和手腕关节点坐标,得到第一向量长度。
A2:基于中指根关节点坐标、手腕关节点坐标和第一向量长度利用公式(1)进行计算,得到用户的手的指向单位向量。
在执行S101的过程中,涉及到获取用户的手掌朝向单位向量的过程,如B1-B2所示:
B1:基于食指根关节点坐标和所述小拇指根关节点坐标,得到第二向量长度。
B2:基于食指根关节点坐标、小拇指根关节点坐标、第二向量长度利用公式(2)进行计算,得到用户的手掌朝向单位向量。
由于左手和右手存在手性差异,在计算左手的手掌朝向单位向量时,需要多乘以一个负号。
其中,左手的手掌朝向单位向量的计算式为:
vf=(J5-J11)/|J5-J11|×-vm (3)
S102:基于用户的手的指向单位向量,生成射线。
其中,射线是指以手腕关节点为起始点,以手的指向向量为方向射出的虚拟射线。
在执行S102的过程中,涉及到生成射线的过程,如C1-C2所示:
C1:获取虚拟场景中的空间长度。
C2:基于用户的手的指向单位向量、手腕关节点坐标和空间长度,生成射线。
生成射线的计算式为:
r=J0+tvm (4)
其中,r为射线,J0为手腕关节点,t为虚拟场景中的空间长度,vm为用户的手的指向单位向量。
空间长度越长,射线越远。
S103:当射线与预先建立的虚拟场景中的虚拟物体相交时,触发虚拟物体进入激活状态,并判断用户的手掌朝向单位向量是否满足预设条件,若满足,则执行S104,若不满足,则执行S105。
其中,射线与虚拟物体相交是指射线穿过虚拟物体的任意部分,由于虚拟物体在虚拟空间中都占有一定的体积,因此判断射线与虚拟物体是否相交,只需要判断射线与虚拟物体的体积是否相交。
激活状态是以特殊的显示来提示用户虚拟物体已被激活。
在具体实现S103的过程中,当射线与预先建立的虚拟场景中的虚拟物体的体积相交时,即射线指向该虚拟物体,该虚拟物体进入激活状态。
当射线指向该虚拟物体时,该虚拟物体进入激活状态,无需判断虚拟物体与用户的手的距离远近,只要用户的手没有指向虚拟物体,则用户与虚拟物体之间不会产生人机交互,从而避免误触导致人机交互出现的情况,提高了人机交互的稳定性。
在执行S103的过程中,涉及到判断用户的手掌朝向单位向量是否满足预设条件的过程,如D1-D3所示:
D1:确定用户的手掌朝向单位向量与预设向量的点积,并判断点积是否为正。
D2:若是,确定用户的手掌朝向单位向量的方向与预设向量的方向一致。
其中,预设向量的方向竖直向上。
采用用户的手掌朝向单位向量的方向竖直向上的限制,一方面能够清晰的识别用户手指状态,另一方面减少了用户下意识与虚拟物体发生人机交互的误触情况,提高了人机交互的稳定性。
当用户的手掌朝向单位向量与预设向量的点积为正时,确定用户的手掌朝向单位向量的方向与预设向量的方向为竖直向上,则确定用户的手势关节点坐标集合对应的手势,并响应手势对应的手势指令,即用户可以通过手势与处于激活状态的虚拟物体进行人机交互。
D3:若否,确定用户的手掌朝向单位向量的方向与预设向量的方向不一致。
当用户的手掌朝向单位向量与预设向量的点积不为正时,确定用户的手掌朝向单位向量的方向与预设向量的方向不一致,用户无法与处于激活状态的虚拟物体进行人机交互。
可选的,在当射线与预先建立的虚拟场景中的虚拟物体相交时,触发虚拟物体进入激活状态之后,按预设的方式展示处于激活状态的虚拟物体。
其中,预设的方式为:为处于激活状态的虚拟物体添加光圈轮廓。
按照预设的方式展示处于激活状态的虚拟物体,使得用户知道虚拟物体已被激活。
预设的方式可以是高亮、放大、添加光圈轮廓等,具体的预设的方式本发明不做具体限定。
本方案优选预设的方式为:为处于激活状态的虚拟物体添加光圈轮廓。
S104:确定用户的手势关节点坐标集合对应的手势,并响应手势对应的手势指令。
本方案中,用户通过手势与处于激活状态的虚拟物体进行人机交互的具体过程,如表1所示。
Figure BDA0002646932170000081
表1
其中,表1中给出了两种可以自定义操作的手势样例,方便开发者实现更加复杂的或是特殊的手势交互需求。基于需求,还可以进一步扩增手势指令方案,在现有方案基础上新增交互手势,通过定义多种交互手势,方便实现复杂、特殊的手势交互需求。
上述手势指令依赖于手掌位移的计算和指尖触碰的判断。本发明定义手腕关节点和中指根关节点的中心为手掌中心,以手掌中心的坐标位移定义手掌位移,进一步决定交互物体的位移,通过指尖触碰以两个指尖关节点的距离为判断依据来确定手势指令。
手掌中心表示为:
Jc=(J0+J9)/2 (5)
其中,Jc为手掌中心,J0为手腕关节点,J9为中指根关节点。
为了方便理解用户通过手势与处于激活状态的虚拟物体进行人机交互的过程,这里举例进行说明。
以食指指尖和拇指指尖快速触碰的单击操作为例,食指拇指指尖距离为d4,8=|J4-J8|,当d4,8小于预定义的触碰阈值距离
Figure BDA0002646932170000091
时,判定食指指尖与拇指指尖处于触碰状态,当触碰状态维持时间低于0.3秒且手掌位移小于1cm时,判定为一次单击操作,否则判定为拖拽操作。
其它手势操作依此类推,此处不再进行赘述。
进一步的,具体用户执行单击操作的示意图,如图3所示。
其中,图3中的实线是以用户的手的指向向量vm为方向射出的虚拟射线r。
用户执行单击操作的过程,如E1-E3所示:
E1:手掌掌心朝上。
E2:在五指伸开状态下,食指指尖和拇指指尖快速触碰然后分开。
E3:回归五指伸开状态。
进一步的,具体用户执行右击操作的示意图,如图4所示。
其中,图4中的实线是以用户的手的指向向量vm为方向射出的虚拟射线r。
用户执行右击操作的过程,如F1-F3所示:
F1:手掌掌心朝上。
F2:在五指伸开状态下,中指指尖和拇指指尖快速触碰然后分开。
F3:回归五指伸开状态。
本方案中的人机交互逻辑中,在自然状态下,用户的手在胸前时通常是手掌朝下的,要与处于激活状态的虚拟物体发生人机交互,则用户必须将手掌翻转过来,使得用户的手掌朝向单位向量的方向与预设向量的方向为竖直向上,从而减少用户下意识与物体发生交互的误触情况。此外,当手掌朝上时,手指被手掌的遮挡情况较少,使得手势识别对手势关节点的识别精度更高。
S105:确定用户无法与虚拟物体进行交互。
本发明实施例公开的一种手势交互方法,基于预先获取到的用户的手势关节点坐标集合,得到用户的手的指向单位向量和用户的手掌朝向单位向量,当用户的手的指向单位向量生成的射线与预先建立的虚拟场景中的虚拟物体相交时,触发虚拟物体进入激活状态,并判断用户的手掌朝向单位向量是否满足预设条件,若满足,则确定用户的手势关节点坐标集合对应的手势,并响应手势对应的手势指令。通过上述方案,可对用户的手势关节点坐标集合对应的多个手势进行自定义,得到多个手势对应的操作,从而增加了用户在进行人机交互时的人机交互功能,提高了人机交互的交互性。此外,通过采用预设条件的限制,避免用户与人机交互的误触发,提高了人机交互的稳定性。
基于上述实施例公开的一种手势交互方法,本发明实施例还对应公开了一种手势交互系统,如图5所示,该手势交互系统主要包括:
获取单元501,用于基于预先获取到的用户的手势关节点坐标集合,分别得到用户的手的指向单位向量和用户的手掌朝向单位向量。
进一步的,获取单元501,具体用于基于中指根关节点坐标和手腕关节点坐标,得到第一向量长度;基于中指根关节点坐标、手腕关节点坐标和第一向量长度,得到用户的手的指向单位向量。
进一步的,获取单元501,具体还用于基于食指根关节点坐标和小拇指根关节点坐标,得到第二向量长度;基于食指根关节点坐标、小拇指根关节点坐标、第二向量长度和用户的手的指向单位向量,得到用户的手掌朝向单位向量。
生成单元502,用于基于用户的手的指向单位向量,生成射线。
进一步的,生成单元502,具体用于获取虚拟场景中的空间长度;基于用户的手的指向单位向量、手腕关节点坐标和空间长度,生成射线。
处理单元503,用于当射线与预先建立的虚拟场景中的虚拟物体相交时,触发虚拟物体进入激活状态,并判断用户的手掌朝向单位向量是否满足预设条件,若满足,则确定用户的手势关节点坐标集合对应的手势,并响应手势对应的手势指令。
进一步的,判断用户的手掌朝向单位向量是否满足预设条件的处理单元503,具体用于确定用户的手掌朝向单位向量与预设向量的点积,并判断点积是否为正;若是,确定用户的手掌朝向单位向量的方向与预设向量的方向一致;若否,确定用户的手掌朝向单位向量的方向与预设向量的方向不一致。
其中,预设向量的方向竖直向上。
可选的,还包括展示单元。
展示单元,用于按预设的方式展示处于激活状态的虚拟物体。
其中,预设的方式为为处于激活状态的虚拟物体添加光圈轮廓。
本发明实施例公开的一种手势交互系统,基于预先获取到的用户的手势关节点坐标集合,得到用户的手的指向单位向量和用户的手掌朝向单位向量,当用户的手的指向单位向量生成的射线与预先建立的虚拟场景中的虚拟物体相交时,触发虚拟物体进入激活状态,并判断用户的手掌朝向单位向量是否满足预设条件,若满足,则确定用户的手势关节点坐标集合对应的手势,并响应手势对应的手势指令。通过上述系统,可对用户的手势关节点坐标集合对应的多个手势进行自定义,得到多个手势对应的操作,从而增加了用户在进行人机交互时的人机交互功能,提高了人机交互的交互性。此外,通过采用预设条件的限制,避免用户与人机交互的误触发,提高了人机交互的稳定性。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于系统类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本发明各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种手势交互方法,其特征在于,所述方法包括:
基于预先获取到的用户的手势关节点坐标集合,分别得到所述用户的手的指向单位向量和所述用户的手掌朝向单位向量;
基于所述用户的手的指向单位向量,生成射线;
当所述射线与预先建立的虚拟场景中的虚拟物体相交时,触发所述虚拟物体进入激活状态,并判断所述用户的手掌朝向单位向量是否满足预设条件,若满足,则确定所述用户的手势关节点坐标集合对应的手势,并响应所述手势对应的手势指令。
2.根据权利要求1所述的方法,其特征在于,所述用户的手指关节点坐标集合包括中指根关节点坐标和手腕关节点坐标,基于预先获取到的用户的手势关节点坐标集合,得到所述用户的手的指向单位向量,包括:
基于所述中指根关节点坐标和所述手腕关节点坐标,得到第一向量长度;
基于所述中指根关节点坐标、所述手腕关节点坐标和所述第一向量长度,得到所述用户的手的指向单位向量。
3.根据权利要求1所述的方法,其特征在于,所述用户的手指关节点坐标集合包括食指根关节点坐标和小拇指根关节点坐标,基于预先获取到的用户的手势关节点坐标集合,得到所述用户的手掌朝向单位向量,包括:
基于所述食指根关节点坐标和所述小拇指根关节点坐标,得到第二向量长度;
基于所述食指根关节点坐标、所述小拇指根关节点坐标、所述第二向量长度和所述用户的手的指向单位向量,得到所述用户的手掌朝向单位向量。
4.根据权利要求2所述的方法,其特征在于,生成射线的过程,包括:
获取虚拟场景中的空间长度;
基于所述用户的手的指向单位向量、所述手腕关节点坐标和所述空间长度,生成射线。
5.根据权利要求1所述的方法,其特征在于,所述判断所述用户的手掌朝向单位向量是否满足预设条件,包括:
确定所述用户的手掌朝向单位向量与预设向量的点积,并判断所述点积是否为正,其中,所述预设向量的方向竖直向上;
若是,确定所述用户的手掌朝向单位向量的方向与所述预设向量的方向一致;
若否,确定所述用户的手掌朝向单位向量的方向与所述预设向量的方向不一致。
6.根据权利要求1所述的方法,其特征在于,在当所述射线与预先建立的虚拟场景中的虚拟物体相交时,触发所述虚拟物体进入激活状态之后,还包括:
按预设的方式展示处于激活状态的虚拟物体,其中,所述预设的方式为为所述处于激活状态的虚拟物体添加光圈轮廓。
7.一种手势交互系统,其特征在于,所述系统包括:
获取单元,用于基于预先获取到的用户的手势关节点坐标集合,分别得到所述用户的手的执行单位向量和所述用户的手掌朝向单位向量;
生成单元,用于基于所述用户的手的指向单位向量,生成射线;
处理单元,用于当所述射线与预先建立的虚拟场景中的虚拟物体相交时,触发所述虚拟物体进入激活状态,并判断所述用户的手掌朝向单位向量是否满足预设条件,若满足,则确定所述用户的手势关节点坐标集合对应的手势,并响应所述手势对应的手势指令。
8.根据权利要求7所述的系统,其特征在于,基于预先获取到的用户的手势关节点坐标集合,得到所述用户的手的指向单位向量的获取单元,包括:
第一获取模块,用于基于中指根关节点坐标和手腕关节点坐标,得到第一向量长度;
第二获取模块,用于基于所述中指根关节点坐标、所述手腕关节点坐标和所述第一向量长度,得到所述用户的手的指向单位向量。
9.根据权利要求7所述的系统,其特征在于,基于预先获取到的用户的手势关节点坐标集合,得到所述用户的手掌朝向单位向量的获取单元,包括:
第三获取模块,用于基于食指根关节点坐标和小拇指根关节点坐标,得到第二向量长度;
第四获取模块,用于基于所述食指根关节点坐标、所述小拇指根关节点坐标、所述第二向量长度和所述用户的手的指向单位向量,得到所述用户的手掌朝向单位向量。
10.根据权利要求7所述的系统,其特征在于,还包括:展示单元;
所述展示单元,用于按预设的方式展示处于激活状态的虚拟物体,其中,所述预设的方式为为所述处于激活状态的虚拟物体添加光圈轮廓。
CN202010857663.0A 2020-08-24 2020-08-24 一种手势交互方法及系统 Pending CN112000224A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010857663.0A CN112000224A (zh) 2020-08-24 2020-08-24 一种手势交互方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010857663.0A CN112000224A (zh) 2020-08-24 2020-08-24 一种手势交互方法及系统

Publications (1)

Publication Number Publication Date
CN112000224A true CN112000224A (zh) 2020-11-27

Family

ID=73471321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010857663.0A Pending CN112000224A (zh) 2020-08-24 2020-08-24 一种手势交互方法及系统

Country Status (1)

Country Link
CN (1) CN112000224A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115599006A (zh) * 2021-06-28 2023-01-13 青岛海尔多媒体有限公司(Cn) 智能设备的控制方法、装置及智能设备
WO2023016174A1 (zh) * 2021-08-12 2023-02-16 青岛小鸟看看科技有限公司 手势操作方法、装置、设备和介质
WO2023015886A1 (zh) * 2021-08-12 2023-02-16 青岛小鸟看看科技有限公司 基于人工现实的手势交互方法、系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103263094A (zh) * 2013-05-28 2013-08-28 张瞳 一种智能感应手套系统
CN105183187A (zh) * 2014-05-27 2015-12-23 阿里巴巴集团控股有限公司 手势遥控、接收装置、无线遥控系统和操作终端设备方法
CN105184268A (zh) * 2015-09-15 2015-12-23 北京国承万通信息科技有限公司 手势识别设备、手势识别方法及虚拟现实系统
CN105718776A (zh) * 2016-01-19 2016-06-29 桂林电子科技大学 一种三维手势验证方法及系统
CN105868715A (zh) * 2016-03-29 2016-08-17 苏州科达科技股份有限公司 一种手势识别方法、装置及手势学习系统
CN105912110A (zh) * 2016-04-06 2016-08-31 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及系统
CN108549490A (zh) * 2018-05-03 2018-09-18 林潼 一种基于Leap Motion设备的手势识别互动方法
CN109739358A (zh) * 2019-01-03 2019-05-10 京东方科技集团股份有限公司 基于裸眼3d的手势碰撞检测方法及设备
CN109948542A (zh) * 2019-03-19 2019-06-28 北京百度网讯科技有限公司 手势识别方法、装置、电子设备和存储介质
US20200097077A1 (en) * 2018-09-26 2020-03-26 Rockwell Automation Technologies, Inc. Augmented reality interaction techniques
CN111310608A (zh) * 2020-01-22 2020-06-19 Oppo广东移动通信有限公司 用户识别方法、用户识别装置、存储介质与头戴式设备
CN111414837A (zh) * 2020-03-16 2020-07-14 苏州交驰人工智能研究院有限公司 手势识别方法、装置、计算机设备及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103263094A (zh) * 2013-05-28 2013-08-28 张瞳 一种智能感应手套系统
CN105183187A (zh) * 2014-05-27 2015-12-23 阿里巴巴集团控股有限公司 手势遥控、接收装置、无线遥控系统和操作终端设备方法
CN105184268A (zh) * 2015-09-15 2015-12-23 北京国承万通信息科技有限公司 手势识别设备、手势识别方法及虚拟现实系统
CN105718776A (zh) * 2016-01-19 2016-06-29 桂林电子科技大学 一种三维手势验证方法及系统
CN105868715A (zh) * 2016-03-29 2016-08-17 苏州科达科技股份有限公司 一种手势识别方法、装置及手势学习系统
CN105912110A (zh) * 2016-04-06 2016-08-31 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及系统
CN108549490A (zh) * 2018-05-03 2018-09-18 林潼 一种基于Leap Motion设备的手势识别互动方法
US20200097077A1 (en) * 2018-09-26 2020-03-26 Rockwell Automation Technologies, Inc. Augmented reality interaction techniques
CN109739358A (zh) * 2019-01-03 2019-05-10 京东方科技集团股份有限公司 基于裸眼3d的手势碰撞检测方法及设备
CN109948542A (zh) * 2019-03-19 2019-06-28 北京百度网讯科技有限公司 手势识别方法、装置、电子设备和存储介质
CN111310608A (zh) * 2020-01-22 2020-06-19 Oppo广东移动通信有限公司 用户识别方法、用户识别装置、存储介质与头戴式设备
CN111414837A (zh) * 2020-03-16 2020-07-14 苏州交驰人工智能研究院有限公司 手势识别方法、装置、计算机设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115599006A (zh) * 2021-06-28 2023-01-13 青岛海尔多媒体有限公司(Cn) 智能设备的控制方法、装置及智能设备
WO2023016174A1 (zh) * 2021-08-12 2023-02-16 青岛小鸟看看科技有限公司 手势操作方法、装置、设备和介质
WO2023015886A1 (zh) * 2021-08-12 2023-02-16 青岛小鸟看看科技有限公司 基于人工现实的手势交互方法、系统
US11803248B2 (en) 2021-08-12 2023-10-31 Qingdao Pico Technology Co., Ltd. Gesture operation method, apparatus, device and medium

Similar Documents

Publication Publication Date Title
TWI690842B (zh) 基於手勢辨認的互動顯示方法和裝置
CN112000224A (zh) 一种手势交互方法及系统
US8839136B2 (en) Method of controlling virtual object or view point on two dimensional interactive display
US9857868B2 (en) Method and system for ergonomic touch-free interface
WO2014067110A1 (zh) 绘图控制方法、装置及移动终端
EP2482176A2 (en) Multi-input gesture control for a display screen
Rivu et al. GazeButton: enhancing buttons with eye gaze interactions
US10956030B2 (en) Multi-touch based drawing input method and apparatus
US11150797B2 (en) Method and device for gesture control and interaction based on touch-sensitive surface to display
KR101392936B1 (ko) 사용자 맞춤형 인터페이스 시스템 및 그 구현 방법
TW201235884A (en) Electronic apparatus with touch screen and associated displaying control method
Matulic et al. Phonetroller: Visual representations of fingers for precise touch input with mobile phones in vr
US20120179963A1 (en) Multi-touch electronic device, graphic display interface thereof and object selection method of multi-touch display
US10073612B1 (en) Fixed cursor input interface for a computer aided design application executing on a touch screen device
US20150268736A1 (en) Information processing method and electronic device
KR101564089B1 (ko) 손동작 인식을 이용한 프리젠테이션 실행시스템
Vogelsang et al. A design space for user interface elements using finger orientation input
Lang et al. A multimodal smartwatch-based interaction concept for immersive environments
KR101414577B1 (ko) 사용자 신체 및 음성을 이용한 컴퓨터 인터페이스 방법
JP5575027B2 (ja) 表示一体型座標入力装置及び仮想キーボード機能の起動方法
Esteves et al. One-Handed Input for Mobile Devices via Motion Matching and Orbits Controls
JP2013186901A (ja) 入力インタフェースの表示システム及びその表示方法
CN114578956A (zh) 设备控制方法、装置、虚拟穿戴设备以及存储介质
Takahashi et al. Integration of hand gesture and multi touch gesture with glove type device
CN110377152A (zh) 一种穿戴式指环及控制对应虚拟现实设备的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination