CN109739358A - 基于裸眼3d的手势碰撞检测方法及设备 - Google Patents

基于裸眼3d的手势碰撞检测方法及设备 Download PDF

Info

Publication number
CN109739358A
CN109739358A CN201910004184.1A CN201910004184A CN109739358A CN 109739358 A CN109739358 A CN 109739358A CN 201910004184 A CN201910004184 A CN 201910004184A CN 109739358 A CN109739358 A CN 109739358A
Authority
CN
China
Prior art keywords
hand
position data
finger
virtual
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910004184.1A
Other languages
English (en)
Other versions
CN109739358B (zh
Inventor
闫桂新
张�浩
陈丽莉
楚明磊
马占山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910004184.1A priority Critical patent/CN109739358B/zh
Publication of CN109739358A publication Critical patent/CN109739358A/zh
Application granted granted Critical
Publication of CN109739358B publication Critical patent/CN109739358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明是关于一种基于裸眼3D的手势碰撞检测方法及设备,涉及虚拟现实技术领域。主要采用的技术方案为:基于裸眼3D的手势碰撞检测方法,其包括:输出3D视图呈现虚拟目标物体,并记录所述虚拟目标物体的位置数据;检测用户的手,并对检测到的手对应建立关键节点的位置数据;根据手的关键节点的位置数据拟合成虚拟球体,并获得所述虚拟球体的位置数据;将所述虚拟目标物体的位置数据、所述手的关键节点的位置数据、所述虚拟球体的位置数据带入预设函数中,当满足所述预设函数设置的条件时,判断为用户的手碰撞所述虚拟目标物体并施加预定大小的抓取力。本发明实施例提供的方法,其能够降低预算复杂度,并精准的检测手势动作,提高交互体验。

Description

基于裸眼3D的手势碰撞检测方法及设备
技术领域
本发明涉及虚拟现实技术领域,特别是涉及一种基于裸眼3D的手势碰撞检测方法及设备。
背景技术
目前,虚拟现实技术发展迅速,为现实世界和虚拟世界的交互搭建了桥梁。其中,裸眼3D作为一种特殊的虚拟现实方式,不需头戴设备也能体验一个虚拟的三维场景,很受用户欢迎,而手势操作是裸眼3D中人机交互的主要操作方式,所以虚拟的手代替真实的手成为了三维世界中的主要交互方式。
为了解决裸眼3D环境下快速准确的手势碰撞检测,现有技术中采用基于层次包围体树的方法来进行手势碰撞检测,该方法对于刚体碰撞检测效果显著。但是对于手这样一个结构复杂、运动变化多样的物体,以及不同用户的不同尺寸的手,现有的检测方法的检测精度还是太低,运算也相对复杂,严重影响交互体验。
发明内容
本发明的主要目的在于,提供一种基于裸眼3D的手势碰撞检测方法及设备,解决现有技术中手势碰撞检测精度低、运算复杂,影响交互体验的技术问题。
本发明的目的及解决其技术问题是采用以下技术方案来实现的。依据本发明提出的一种基于裸眼3D的手势碰撞检测方法,其包括:
输出3D视图呈现虚拟目标物体,并记录所述虚拟目标物体的位置数据;
检测用户的手,并对检测到的手对应建立关键节点的位置数据;
根据手的关键节点的位置数据拟合成虚拟球体,并获得所述虚拟球体的位置数据;
将所述虚拟目标物体的位置数据、所述手的关键节点的位置数据、所述虚拟球体的位置数据带入预设函数中,当满足所述预设函数设置的条件时,判断为用户的手碰撞所述虚拟目标物体并施加预定大小的抓取力。
本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。
优选的,前述的基于裸眼3D的手势碰撞检测方法,其中所述虚拟目标物体的位置数据为Obj(xobj,yobj,zobj,L);
其中,(xobj,yobj,zobj)表示为所述虚拟目标物体的中心坐标,L为所述虚拟目标物体的外包围盒的边长。
优选的,前述的基于裸眼3D的手势碰撞检测方法,其中所述对检测到的手对应建立关键节点的位置数据的方法包括:
选用所述手的16个部位作为所述手的关键节点,并对应的建立关键节点的位置数据;
其中,所述手的16个部位的关键节点的位置数据为坐标数据,分别为P1(x1,y1,z1),P2(x2,y2,z2),...,P16(x16,y16,z16),P1为大拇指指尖、P2为大拇指的掌指关节、P3为大拇指的指末端、P4为食指指尖、P5为食指的掌指关节、P6为食指的指末端、P7为中指指尖、P8为中指的掌指关节、P9为中指的指末端、P10为无名指指尖、P11为无名指的掌指关节、P12为无名指的指末端、P13为小拇指指尖、P14为小拇指的掌指关节、P15为小拇指的指末端、P16为手掌中心。
优选的,前述的基于裸眼3D的手势碰撞检测方法,其中所述根据手的关键节点的位置数据拟合成虚拟球体,并获得所述虚拟球体的位置数据的方法包括:
拟合得到的所述虚拟球体的位置数据为S(x0,y0,z0,R),其中,(x0,y0,z0)为所述虚拟球体的球心坐标,R为所述虚拟球体的半径;
且,拟合得到所述虚拟球体时需要满足第一预设条件;所述虚拟球体的位置数据需要满足第二预设条件。
优选的,前述的基于裸眼3D的手势碰撞检测方法,其中所述拟合得到所述虚拟球体时需要满足的第一预设条件包括:
所述手的各个手指的弯曲度为θ且在预设范围内;
其中,手指的弯曲度指的是每个手指的指尖、掌指关节、指末端三个点所构成的夹角;大拇指的弯曲度为θ1,食指的弯曲度为θ2,中指的弯曲度为θ3,无名指的弯曲度为θ4,小拇指的弯曲度为θ5;θ1、θ2、θ3、θ4以及θ5均小于等于165度;θ1、θ2、θ3以及θ4均大于等于30度;θ5大于等于105度。
优选的,前述的基于裸眼3D的手势碰撞检测方法,其中所述虚拟球体的位置数据需要满足的第二预设条件包括:
所述虚拟球体的位置数据与所述手的关键节点的位置数据的差值的平方和的偏导为0。
优选的,前述的基于裸眼3D的手势碰撞检测方法,其中预设函数包括第一函数和第二函数,分别为:
和,
其中,D1为所述虚拟目标物体中心与所述虚拟球体中心之间的距离,D2为所述手的五根手指的指尖与所述虚拟目标物体中心的距离;i为1到5,分别代表从大拇指的指尖到小拇指的指尖的位置数据;
当所述虚拟目标物体的位置数据、所述手的关键节点的位置数据、所述虚拟球体的位置数据满足第一函数和第二函数时,判断为所述手与所述虚拟目标物体碰撞。
优选的,前述的基于裸眼3D的手势碰撞检测方法,其中预设函数包括第三函数:
其中,θ’i为所述手的各个手指的弯曲度归一化到(1,0)之间所对应的弯曲度;αi为各个手指在抓取物体时作用力的权重系数,分别包括:大拇指权重系数α1、食指权重系数α2、中指权重系数α3、无名指权重系数α4、小拇指权重系数α5
且α1的取值范围为0.3-0.4,α2的取值范围为0.2-0.3,α3的取值范围为0.15-0.25,α4的取值范围为0.1-0.2,α5的取值范围为0-0.1,α12345,α12345=1;
当判断为所述手与所述虚拟目标物体碰撞时,将所述手的关键节点的位置数据带入所述第三函数,能够得到所述手对虚拟目标物体施加的抓取力。
优选的,前述的基于裸眼3D的手势碰撞检测方法,其中检测用户手的方式为实时检测。
另外,本发明的目的及解决其技术问题还采用以下技术方案来实现。依据本发明提出的一种基于裸眼3D的手势碰撞检测设备,其包括:
裸眼3D显示屏、手势检测模组,所述裸眼3D显示屏用于输出3D视图呈现虚拟目标物体,所述手势检测模组用于检测用户手的位置,以及建立对应于所述用户手的关键节点的位置数据;
至少一个处理器;
以及与所述处理器连接的至少一个存储器、总线;
其中,所述处理器、存储器通过所述总线完成相互间的通信;
所述处理器用于调用所述存储器中的程序指令,以执行基于裸眼3D的手势碰撞检测方法;
其中所述基于裸眼3D的手势碰撞检测方法包括:
输出3D视图呈现虚拟目标物体,并记录所述虚拟目标物体的位置数据;
检测用户的手,并对检测到的手对应建立关键节点的位置数据;
根据手的关键节点的位置数据拟合成虚拟球体,并获得所述虚拟球体的位置数据;
将所述虚拟目标物体的位置数据、所述手的关键节点的位置数据、所述虚拟球体的位置数据带入预设函数中,当满足所述预设函数设置的条件时,用户的手碰撞所述虚拟目标物体并施加预定大小的抓取力。
借由上述技术方案,本发明基于裸眼3D的手势碰撞检测方法及设备至少具有下列优点:
本发明技术方案中,通过检测和建立用户手的关键节点的位置数据、虚拟目标物体的位置数据,并根据关键节点的位置数据得到拟合成虚拟球体的位置数据,进而利用上述数据和预设的函数公式,可以精准的得到手碰撞虚拟目标物体以及施加抓取力的大小。相比于现有技术中,由于用户手的复杂程度高、运动变化多样,使用层次包围体树的方法来进行手势碰撞检测,存在运算复杂、精度低的问题。而采用本发明实施例提供的方法,其通过用户手的关键节点的位置数据拟合成虚拟球体,并利用该虚拟球体进行检测,该虚拟球体可以根据不同用户的不同尺寸的手,以及处于不同运动状态的手,建立具有对应关系的球心位置数据、对应的半径数据的虚拟球体,解决了用户手的复杂结构、运动变化多样的问题,进而可以直接将本方法中检测以及建立得到的数据直接带入预设的公式,而获得手势碰撞的检测结果,使运算的复杂度大幅度的降低。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,并可依照说明书的内容予以实施,以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
图1是本发明的实施例一提供的一种基于裸眼3D的手势碰撞检测方法的流程示意图;
图2是本发明的实施例一提供的一种手的关键节点的示意图;
图3是本发明的实施例一提供的一种手弯曲预设角度后的关键节点的示意图;
图4是本发明的实施例一提供的一种手的手指指的弯曲度示意图;
图5是本发明的实施例二提供的一种基于裸眼3D的手势碰撞检测设备的结构示意图。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于裸眼3D的手势碰撞检测方法及设备,其具体实施方式、结构、特征及其功效,详细说明如后。在下述说明中,不同的“一实施例”或“实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
实施例一
如图1,本发明的实施例一提出的一种基于裸眼3D的手势碰撞检测方法,其包括如下步骤:
101、输出3D视图呈现虚拟目标物体,并记录所述虚拟目标物体的位置数据。
具体的,可以直接采用裸眼3D显示屏输出带有视差的左右视差图,使人眼观看后产生立体效果,以形成3D视图的虚拟目标物体,或者也可以采用其他能够输出3D视图的设备输出3D状态的虚拟目标物体,且该虚拟目标物体的具体结构不做限定。在输出3D视图的同时通过处理器或者控制系统直接获得虚拟目标物体的位置数据。
进一步的,可以采用三维坐标的方式记录虚拟目标物体的位置数据,例如可以将虚拟目标物体的位置数据记录为Obj(xobj,yobj,zobj,L),其中,(xobj,yobj,zobj)表示为所述虚拟目标物体的中心坐标,L为所述虚拟目标物体的外包围盒的边长,外包围盒的边长可以认为是虚拟目标物体的最外表层的位置到中心坐标的距离,这样通过中心位置中标和外包围盒的边长的配合,能够将输出的任何结构的3D视图所表示的虚拟目标物体表示出来。例如当通过3D视图输出一个球体、正方体或者一个具体的实物结构如水杯等,均可以通过中心坐标与外包围盒的边长的位置数据所表示。此外,位置数据记录为Obj(xobj,yobj,zobj,L)的虚拟目标物体还可以是移动的,或者虚拟目标物体可以是变化的,只要在移动或者变化物体时随时跟着变化位置数据即可。
102、检测用户的手,并对检测到的手对应建立关键节点的位置数据。
具体的,可以配合裸眼3D显示屏使用手势检测模组对用户的手进行检测,其检测的方式可以是实时的检测,也可以是按照预设的规则进行检测,例如当用户的手伸入到预设的空间中开始检测,即检测用户的手包括检测到和未检测到两种情况;其中实时检测用户的手是较佳的一种方案。建立关键节点的位置数据时,最好是将用户的手与虚拟目标物体在同一空间中建立坐标信息,例如均采用三维空间中的坐标信息作为位置数据,这样获得的手的关键节点的位置数据能够与虚拟目标物体的位置数据快速的建立空间联系,且减少后续的运算量。
进一步的,可以选用户手的多个关节点作为关键节点,且由于主要检测手与虚拟目标物体之间的碰撞和抓持动作,可以选择手在抓取物体时主要工作的关节点,作为关键节点。其中,优选手的16个部位作为所述手的关键节点,并对应的建立关键节点的位置数据;如图2和图3所示,在虚拟目标物体所在的三维空间中建立手的16个部位的关键节点的位置数据,即对应手的16个部位的关键节点的为坐标数据,具体的可以分别为P1(x1,y1,z1),P2(x2,y2,z2),...,P16(x16,y16,z16);其中,对应的P1为大拇指指尖、P2为大拇指的掌指关节、P3为大拇指的指末端、P4为食指指尖、P5为食指的掌指关节、P6为食指的指末端、P7为中指指尖、P8为中指的掌指关节、P9为中指的指末端、P10为无名指指尖、P11为无名指的掌指关节、P12为无名指的指末端、P13为小拇指指尖、P14为小拇指的掌指关节、P15为小拇指的指末端、P16为手掌中心。
103、根据手的关键节点的位置数据拟合成虚拟球体,并获得所述虚拟球体的位置数据。
具体的,由于对手势的检测主要是用于判断手是否与虚拟目标物体碰撞,以及判断手是否对虚拟目标物体进行抓持,所以在手的动作过程中主要是进行碰撞和抓取的动作,因此无论手的尺寸大小、弯曲的弧度如何以及抓取动作如何变化,手的各个关键节点的位置数据均能够拟合成虚拟球体,且结合上述步骤102中将手的关键节点使用坐标数据表示,拟合所得的虚拟球体也将是使用三维坐标数据表示的一个球体,且随着用户手的动作变化以及位置的变化,可以得到对应的虚拟球体的位置数据。
进一步的,将手的关键节点的位置数据拟合成虚拟球体的方式可以为多种,例如采用数学建模公式的方式进行数据拟合、直接使用预设的软件程序进行拟合等,本发明不对拟合的具体方式做限定。
具体的,可以在满足第一预设条件的情况下拟合手的关键节点的位置数据得到虚拟球体,并得到虚拟球体的位置数据S(x0,y0,z0,R)。其中,(x0,y0,z0)为虚拟球体在三维中标系中的球心坐标,R为在三维坐标系中虚拟球体的半径。其中,第一预设条件为手的各个手指的弯曲度为θ且在预设范围内;其中如图4所示,手指的弯曲度θ指的是每个手指的指尖、掌指关节、指末端三个点所构成的夹角;大拇指的弯曲度为θ1,食指的弯曲度为θ2,中指的弯曲度为θ3,无名指的弯曲度为θ4,小拇指的弯曲度为θ5;θ1、θ2、θ3、θ4以及θ5均小于等于165度;θ1、θ2、θ3以及θ4均大于等于30度;θ5大于等于105度。即第一预设条件需要手具有一定的弯曲度,且抓取力是与弯曲度成一定比例的,伸平的手是不具备拟合成虚拟球体的条件的,因为伸平的手也不具备抓取物体的条件,所以可以进一步的理解,为何将手的关键节点的位置数据拟合成虚拟球体。
104、将虚拟目标物体的位置数据、手的关键节点的位置数据、虚拟球体的位置数据带入预设函数中,当满足预设函数设置的条件时,判断为用户的手碰撞虚拟目标物体并施加预定大小的抓取力。
具体的,预设的函数即其条件,可以直接存储在系统中或者处理器中,在使用时可以在获得了上述的数据之后,直接使用预设函数判断以及运算得到具体的手势,例如得到用户的手碰撞到虚拟目标物体,或者手碰撞到虚拟目标物体的同时对其施加一定的抓取力,同时计算出手的抓取力的大小。
进一步的,预设函数包括第一函数和第二函数,分别为:
和,
其中,D1为虚拟目标物体中心与虚拟球体中心之间的距离,D2为手的五根手指的指尖与虚拟目标物体中心的距离;i为1到5,分别代表从大拇指的指尖到小拇指的指尖的位置数据;这样当虚拟目标物体的位置数据、手的关键节点的位置数据、虚拟球体的位置数据满足第一函数和第二函数时,判断为手与虚拟目标物体碰撞。
再进一步的,预设函数还可以包括第三函数:
其中,θ’i为所述手的各个手指的弯曲度归一化到(1,0)之间所对应的弯曲度;αi为各个手指在抓取物体时作用力的权重系数,分别包括:大拇指权重系数α1、食指权重系数α2、中指权重系数α3、无名指权重系数α4、小拇指权重系数α5;且α1的取值范围为0.3-0.4,α2的取值范围为0.2-0.3,α3的取值范围为0.15-0.25,α4的取值范围为0.1-0.2,α5的取值范围为0-0.1,α12345,α12345=1。
通过具体的实验得知,抓取力F>2.5时能够判断此时手抓取到虚拟目标物体。这样当手与虚拟目标物体碰撞时,即虚拟目标物体的位置数据、手的关键节点的位置数据、虚拟球体的位置数据满足第一函数以及第二函数的条件下,对应的将手的关键节点的位置数据带入第三函数,就可以得到手对虚拟目标物体施加的抓取力F。
本发明技术方案中,通过检测和建立用户手的关键节点的位置数据、虚拟目标物体的位置数据,并根据关键节点的位置数据得到拟合成虚拟球体的位置数据,进而利用上述数据和预设的函数公式,可以精准的得到手碰撞虚拟目标物体以及施加抓取力的大小。相比于现有技术中,由于用户手的复杂程度高、运动变化多样,使用层次包围体树的方法来进行手势碰撞检测,存在运算复杂、精度低的问题。而采用本发明实施例提供的方法,其通过用户手的关键节点的位置数据拟合成虚拟球体,并利用该虚拟球体进行检测,该虚拟球体可以根据不同用户的不同尺寸的手,以及处于不同运动状态的手,建立具有对应关系的球心位置数据、对应的半径数据的虚拟球体,解决了用户手的复杂结构、运动变化多样的问题,进而可以直接将本方法中检测以及建立得到的数据直接带入预设的公式,而获得手势碰撞的检测结果,使运算的复杂度大幅度的降低。
在具体实施中,其中为了使拟合得到的虚拟球体更加接近实际的手的位置,需要对拟合得到的虚拟球体的位置数据进行处理,使虚拟球体的位置数据满足第二预设条件。
具体的,第二预设条件可以是虚拟球体的位置数据满足如下公式:
ei(x0,y0,z0,R)=(xi-x0)2+(yi-y0)2+(zi-z0)2-R2 (1);
其中,公式(1)为手的每个关键节点的位置数据与拟合后的虚拟球体的数据的做差公式;公式(2)是对通过公式(1)得到的差值做平方和;公式(3)是对通过公式(2)得到的平方和数据进行的偏导计算。进而通过按照公式(1)至公式(3)的顺序对虚拟球体的位置数据进行处理,可以得到无限接近真实的手的关键节点的位置数据,进而使检测出的手势动作更加精准。
实施例二
图5所示,本发明的实施例二提出的一种基于裸眼3D的手势碰撞检测设备,其包括:裸眼3D显示屏1、手势检测模组2;裸眼3D显示屏1用于输出3D视图呈现虚拟目标物体,所述手势检测模组2用于检测用户手的位置,以及建立对应于所述用户手的关键节点的位置数据;至少一个处理器;以及与所述处理器连接的至少一个存储器、总线;其中,所述处理器、存储器通过所述总线完成相互间的通信;所述处理器用于调用所述存储器中的程序指令,以执行实施例一中项所述的方法。
具体的,本实施例二中所述的基于裸眼3D的手势碰撞检测设备,其使用实施例一提供的方法,可以精准的得到手碰撞虚拟目标物体以及施加抓取力的大小。相比于现有技术中,由于用户手的复杂程度高、运动变化多样,使用层次包围体树的方法来进行手势碰撞检测,存在运算复杂、精度低的问题。而采用本发明实施例提供的设备,其通过用户手的关键节点的位置数据拟合成虚拟球体,并利用该虚拟球体进行检测,该虚拟球体可以根据不同用户的不同尺寸的手,以及处于不同运动状态的手,建立具有对应关系的球心位置数据、对应的半径数据的虚拟球体,解决了用户手的复杂结构、运动变化多样的问题,进而可以直接将本方法中检测以及建立得到的数据直接带入预设的公式,而获得手势碰撞的检测结果,使运算的复杂度大幅度的降低。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。

Claims (10)

1.一种基于裸眼3D的手势碰撞检测方法,其特征在于,其包括:
输出3D视图呈现虚拟目标物体,并记录所述虚拟目标物体的位置数据;
检测用户的手,并对检测到的手对应建立关键节点的位置数据;
根据手的关键节点的位置数据拟合成虚拟球体,并获得所述虚拟球体的位置数据;
将所述虚拟目标物体的位置数据、所述手的关键节点的位置数据、所述虚拟球体的位置数据带入预设函数中,当满足所述预设函数设置的条件时,判断为用户的手碰撞所述虚拟目标物体并施加预定大小的抓取力。
2.根据权利要求1所述的基于裸眼3D的手势碰撞检测方法,其特征在于,
所述虚拟目标物体的位置数据为Obj(xobj,yobj,zobj,L);
其中,(xobj,yobj,zobj)表示为所述虚拟目标物体的中心坐标,L为所述虚拟目标物体的外包围盒的边长。
3.根据权利要求2所述的基于裸眼3D的手势碰撞检测方法,其特征在于,所述对检测到的手对应建立关键节点的位置数据的方法包括:
选用所述手的16个部位作为所述手的关键节点,并对应的建立关键节点的位置数据;
其中,所述手的16个部位的关键节点的位置数据为坐标数据,分别为P1(x1,y1,z1),P2(x2,y2,z2),...,P16(x16,y16,z16),P1为大拇指指尖、P2为大拇指的掌指关节、P3为大拇指的指末端、P4为食指指尖、P5为食指的掌指关节、P6为食指的指末端、P7为中指指尖、P8为中指的掌指关节、P9为中指的指末端、P10为无名指指尖、P11为无名指的掌指关节、P12为无名指的指末端、P13为小拇指指尖、P14为小拇指的掌指关节、P15为小拇指的指末端、P16为手掌中心。
4.根据权利要求3所述的基于裸眼3D的手势碰撞检测方法,其特征在于,所述根据手的关键节点的位置数据拟合成虚拟球体,并获得所述虚拟球体的位置数据的方法包括:
拟合得到的所述虚拟球体的位置数据为S(x0,y0,z0,R),其中,(x0,y0,z0)为所述虚拟球体的球心坐标,R为所述虚拟球体的半径;
且,拟合得到所述虚拟球体时需要满足第一预设条件;所述虚拟球体的位置数据需要满足第二预设条件。
5.根据权利要求4所述的基于裸眼3D的手势碰撞检测方法,其特征在于,所述拟合得到所述虚拟球体时需要满足的第一预设条件包括:
所述手的各个手指的弯曲度为θ且在预设范围内;
其中,手指的弯曲度指的是每个手指的指尖、掌指关节、指末端三个点所构成的夹角;大拇指的弯曲度为θ1,食指的弯曲度为θ2,中指的弯曲度为θ3,无名指的弯曲度为θ4,小拇指的弯曲度为θ5;θ1、θ2、θ3、θ4以及θ5均小于等于165度;θ1、θ2、θ3以及θ4均大于等于30度;θ5大于等于105度。
6.根据权利要求4所述的基于裸眼3D的手势碰撞检测方法,其特征在于,所述虚拟球体的位置数据需要满足的第二预设条件包括:
所述虚拟球体的位置数据与所述手的关键节点的位置数据的差值的平方和的偏导为0。
7.根据权利要求5所述的基于裸眼3D的手势碰撞检测方法,其特征在于,
预设函数包括第一函数和第二函数,分别为:
和,
其中,D1为所述虚拟目标物体中心与所述虚拟球体中心之间的距离,D2为所述手的五根手指的指尖与所述虚拟目标物体中心的距离;i为1到5,分别代表从大拇指的指尖到小拇指的指尖的位置数据;
当所述虚拟目标物体的位置数据、所述手的关键节点的位置数据、所述虚拟球体的位置数据满足第一函数和第二函数时,判断为所述手与所述虚拟目标物体碰撞。
8.根据权利要求7所述的基于裸眼3D的手势碰撞检测方法,其特征在于,
预设函数包括第三函数:
其中,θi'为所述手的各个手指的弯曲度归一化到(1,0)之间所对应的弯曲度;
αi为各个手指在抓取物体时作用力的权重系数,分别包括:大拇指权重系数α1、食指权重系数α2、中指权重系数α3、无名指权重系数α4、小拇指权重系数α5;且α1的取值范围为0.3-0.4,α2的取值范围为0.2-0.3,α3的取值范围为0.15-0.25,α4的取值范围为0.1-0.2,α5的取值范围为0-0.1,α12345,α12345=1;
当判断为所述手与所述虚拟目标物体碰撞时,将所述手的关键节点的位置数据带入所述第三函数,得到所述手对虚拟目标物体施加的抓取力。
9.根据权利要求1所述的基于裸眼3D的手势碰撞检测方法,其特征在于,
检测用户手的方式为实时检测。
10.一种基于裸眼3D的手势碰撞检测设备,其特征在于,其包括:
裸眼3D显示屏、手势检测模组,所述裸眼3D显示屏用于输出3D视图呈现虚拟目标物体,所述手势检测模组用于检测用户手的位置,以及建立对应于所述用户手的关键节点的位置数据;
至少一个处理器;
以及与所述处理器连接的至少一个存储器、总线;
其中,所述处理器、存储器通过所述总线完成相互间的通信;
所述处理器用于调用所述存储器中的程序指令,以执行权利要求1至权利要求9中任一项所述的方法。
CN201910004184.1A 2019-01-03 2019-01-03 基于裸眼3d的手势碰撞检测方法及设备 Active CN109739358B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910004184.1A CN109739358B (zh) 2019-01-03 2019-01-03 基于裸眼3d的手势碰撞检测方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910004184.1A CN109739358B (zh) 2019-01-03 2019-01-03 基于裸眼3d的手势碰撞检测方法及设备

Publications (2)

Publication Number Publication Date
CN109739358A true CN109739358A (zh) 2019-05-10
CN109739358B CN109739358B (zh) 2022-05-24

Family

ID=66363315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910004184.1A Active CN109739358B (zh) 2019-01-03 2019-01-03 基于裸眼3d的手势碰撞检测方法及设备

Country Status (1)

Country Link
CN (1) CN109739358B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119207A (zh) * 2019-05-14 2019-08-13 重庆大学 基于人体自然信号的虚拟现实机器人交互系统及交互方法
CN112000224A (zh) * 2020-08-24 2020-11-27 北京华捷艾米科技有限公司 一种手势交互方法及系统
WO2022062167A1 (zh) * 2020-09-22 2022-03-31 歌尔股份有限公司 手柄、操作杆阈值的调节方法、调节系统和调节装置
CN114495585A (zh) * 2020-11-11 2022-05-13 郑州畅想高科股份有限公司 一种机械间检修vr模拟培训方法
CN114578952A (zh) * 2020-11-17 2022-06-03 京东方科技集团股份有限公司 人机交互方法、系统、处理设备和计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
CN102663197A (zh) * 2012-04-18 2012-09-12 天津大学 一种基于运动捕获的虚拟手抓取的仿真方法
CN102902355A (zh) * 2012-08-31 2013-01-30 中国科学院自动化研究所 移动设备的空间交互方法
CN108983978A (zh) * 2018-07-20 2018-12-11 北京理工大学 虚拟手控制方法及装置
CN109116992A (zh) * 2018-08-31 2019-01-01 北京航空航天大学 一种用于虚拟手力反馈交互的碰撞响应系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
CN102663197A (zh) * 2012-04-18 2012-09-12 天津大学 一种基于运动捕获的虚拟手抓取的仿真方法
CN102902355A (zh) * 2012-08-31 2013-01-30 中国科学院自动化研究所 移动设备的空间交互方法
CN108983978A (zh) * 2018-07-20 2018-12-11 北京理工大学 虚拟手控制方法及装置
CN109116992A (zh) * 2018-08-31 2019-01-01 北京航空航天大学 一种用于虚拟手力反馈交互的碰撞响应系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119207A (zh) * 2019-05-14 2019-08-13 重庆大学 基于人体自然信号的虚拟现实机器人交互系统及交互方法
CN112000224A (zh) * 2020-08-24 2020-11-27 北京华捷艾米科技有限公司 一种手势交互方法及系统
WO2022062167A1 (zh) * 2020-09-22 2022-03-31 歌尔股份有限公司 手柄、操作杆阈值的调节方法、调节系统和调节装置
CN114495585A (zh) * 2020-11-11 2022-05-13 郑州畅想高科股份有限公司 一种机械间检修vr模拟培训方法
CN114578952A (zh) * 2020-11-17 2022-06-03 京东方科技集团股份有限公司 人机交互方法、系统、处理设备和计算机可读存储介质
CN114578952B (zh) * 2020-11-17 2024-03-15 京东方科技集团股份有限公司 人机交互方法、系统、处理设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN109739358B (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN109739358A (zh) 基于裸眼3d的手势碰撞检测方法及设备
EP4068150A1 (en) Hand key point detection method, gesture recognition method, and related devices
CN108983978B (zh) 虚拟手控制方法及装置
CN106313049B (zh) 一种仿人机械臂体感控制系统及控制方法
JP5966208B2 (ja) 運動パラメーター確定方法、装置及び運動支援装置
CN103955295A (zh) 一种基于数据手套和物理引擎的虚拟手的实时抓取方法
CN104570731A (zh) 一种基于Kinect的无标定人机交互控制系统及方法
CN106708270A (zh) 一种虚拟现实设备的显示方法、装置以及虚拟现实设备
CN105107200A (zh) 基于实时深度体感交互与增强现实技术的变脸系统及方法
WO2016035941A1 (ko) 인간 모델의 3차원 공간 데이터를 이용한 포즈 인식 시스템 및 그 방법
CN111338287A (zh) 机器人运动控制方法、装置、系统、机器人及存储介质
CN109955248A (zh) 一种机器人及其人脸跟随方法
CN106445118A (zh) 虚拟现实交互方法及装置
CN105718776A (zh) 一种三维手势验证方法及系统
CN108616712A (zh) 一种基于摄像头的界面操作方法、装置、设备及存储介质
CN105930775A (zh) 基于灵敏度参数的人脸朝向识别方法
CN111966217A (zh) 基于手势和眼动的无人机控制方法和系统
CN108227928A (zh) 一种虚拟现实场景中的拾取方法和装置
CN102693350B (zh) 面向虚拟现实牙科操作训练的多点接触力觉反馈系统
CN109147057A (zh) 一种面向穿戴式触觉设备的虚拟手碰撞检测方法
CN108020223A (zh) 一种基于惯性测量装置的力反馈设备手柄的姿态测量方法
CN107292295A (zh) 手势分割方法及装置
CN109559370A (zh) 一种三维建模方法及装置
CN113011344B (zh) 一种基于机器视觉的引体向上数量计算方法
Li et al. Gesture recognition based on Kinect v2 and leap motion data fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant