CN114299538A - 手势滤除方法、装置及设备 - Google Patents

手势滤除方法、装置及设备 Download PDF

Info

Publication number
CN114299538A
CN114299538A CN202111556800.8A CN202111556800A CN114299538A CN 114299538 A CN114299538 A CN 114299538A CN 202111556800 A CN202111556800 A CN 202111556800A CN 114299538 A CN114299538 A CN 114299538A
Authority
CN
China
Prior art keywords
key point
determining
finger
target
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111556800.8A
Other languages
English (en)
Inventor
王翔
孙红伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Honghe Innovation Information Technology Co Ltd
Original Assignee
Shenzhen Honghe Innovation Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Honghe Innovation Information Technology Co Ltd filed Critical Shenzhen Honghe Innovation Information Technology Co Ltd
Priority to CN202111556800.8A priority Critical patent/CN114299538A/zh
Publication of CN114299538A publication Critical patent/CN114299538A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种手势滤除方法、装置及设备,属于人工智能技术领域。手势滤除方法包括:对目标图像进行手势识别,得到目标手势;确定目标图像中人手的关键点信息;根据关键点信息,确定人手对应的第一特征信息;将目标手势对应的第二特征信息与第一特征信息进行比对;当第二特征信息与第一特征信息的比对结果为不一致时,滤除目标手势。通过本申请公开的方案,能够提高手势分类的准确性。

Description

手势滤除方法、装置及设备
技术领域
本申请属于人工智能技术领域,具体涉及一种手势滤除方法、装置及设备。
背景技术
随着人工智能交互技术的发展,手势控制技术越来越多的被应用于各个领域,如车载系统、智能家居、虚拟现实(Virtual Reality,VR)交互、智能手机等领域。其中,手势识别是手势控制的基础。
相关技术中,主要是通过手势识别模型来识别手势。但是手势识别模型是将手势识别为设定的手势中的一种,当图像中的手势不属于设定的手势时,手势识别模型仍会将其识别为设定的手势中的一种,导致手势识别分类错误。例如,设定了剪刀、石头和布三种手势,图像中的手势为OK手势,手势识别模型会将OK手势识别为剪刀、石头和布三种手势中的一种。
发明内容
本申请实施例的目的是提供一种手势滤除方法、装置及设备,能够解决手势分类错误的问题。
第一方面,本申请实施例提供了一种手势滤除方法,包括:
对目标图像进行手势识别,得到目标手势;
确定目标图像中人手的关键点信息;
根据关键点信息,确定人手对应的第一特征信息;
将目标手势对应的第二特征信息与第一特征信息进行比对;
当第二特征信息与第一特征信息的比对结果为不一致时,滤除目标手势。
在本申请实施例的一些可能实现中,第一特征信息包括:人手的方向信息;
根据关键点信息,确定人手对应的第一特征信息,包括:
根据关键点信息,确定每一手指的方向;
根据每一手指的方向,确定人手的方向。
在本申请实施例的一些可能实现中,根据关键点信息,确定每一手指的方向,包括:
针对第一目标手指,根据第一目标手指的根部关键点的坐标信息和手腕关键点的坐标信息,确定第一目标手指所处状态,其中,第一目标手指为五指中的任一个手指;
在确定第一目标手指处于竖直状态的情况下,计算根部关键点的竖直Y轴坐标分量和手腕关键点的Y轴坐标分量的第一差值;
根据第一差值,确定第一目标手指的方向;
在确定第一目标手指处于水平状态的情况下,计算根部关键点的水平X轴坐标分量和手腕关键点的X轴坐标分量的第二差值;
根据第二差值,确定第一目标手指的方向。
在本申请实施例的一些可能实现中,根据第一目标手指的根部关键点的坐标信息和手腕关键点的坐标信息,确定第一目标手指所处状态,包括:
根据第一目标手指的根部关键点的坐标信息和手腕关键点的坐标信息,确定第一目标手指与Y轴的第一角度;
在第一角度小于第一角度阈值的情况下,确定第一目标手指处于竖直状态;
在第一角度不小于第一角度阈值的情况下,确定第一目标手指处于水平状态。
在本申请实施例的一些可能实现中,根据每一手指的方向,确定人手的方向,包括:
根据每一手指的方向,确定对应手指最多的第一方向对应的手指数量;
在手指数量大于数量阈值的情况下,确定人手的方向为第一方向。
在本申请实施例的一些可能实现中,第一特征信息包括:第一关键点和第二关键点组成的第一线条的第一状态信息,第一关键点为食指根部的关键点,第二关键点为小拇指根部的关键点,第一状态包括水平状态或竖直状态;
根据关键点信息,确定人手对应的第一特征信息,包括:
根据第一关键点的坐标信息和第二关键点的坐标信息,确定第一线条与Y轴的第二角度;
在第二角度小于第二角度阈值的情况下,确定第一线条处于竖直状态;
在第二角度不小于第二角度阈值的情况下,确定第一线条处于水平状态。
在本申请实施例的一些可能实现中,第一特征信息包括:五指的弯曲情况信息;
根据关键点信息,确定人手对应的第一特征信息,包括:
针对大拇指,计算第二线条和第三线条的第三角度,以及第三线条与第四线条的第四角度,其中,第二线条为第三关键点和第四关键点组成的线条,第三线条为第四关键点和第五关键点组成的线条,第四线条为第五关键点和第六关键点组成的线条,第三关键点为手腕关键点与大拇指根部的关键点之间的关键点,第四关键点为大拇指根部的关键点,第五关键点为大拇指的指间关节对应的关键点,第六关键点为大拇指的指尖关键点;
在第三角度大于第三角度阈值且第四角度大于第四角度阈值的情况下,确定大拇指处于伸直状态;
在第三角度不大于第三角度阈值或第四角度不大于第四角度阈值的情况下,确定大拇指处于弯曲状态;
针对第二目标手指,分别计算第二目标手指根部的关键点、第二目标手指的近端关节对应的关键点、第二目标手指的远端关节对应的关键点以及第二目标手指指尖的关键点分别到手腕关键点的第一距离、第二距离、第三距离和第四距离,其中,第二目标手指为除大拇指之外的任一个手指;
在第一距离、第二距离、第三距离以及第四距离满足第一条件的情况下,确定第二目标手指处于伸直状态;
在第一距离、第二距离、第三距离以及第四距离不满足第一条件的情况下,确定第二目标手指处于弯曲状态,其中,第一条件包括第一距离小于第二距离、第二距离小于第三距离以及第三距离小于第四距离。
在本申请实施例的一些可能实现中,第一特征信息包括:手掌平面与镜头平面的第二状态信息,镜头平面为采集目标图像的图像采集设备的镜头所处的平面,第二状态包括垂直状态或非垂直状态;
根据关键点信息,确定人手对应的第一特征信息,包括:
计算第五线条和第六线条的第五角度,其中,第五线条为第一关键点和手腕关键点组成的线条,第六线条为第二关键点和手腕关键点组成的线条;
当第五角度小于第五角度阈值或第五角度大于第六角度阈值的情况下,确定手掌平面与镜头平面处于垂直状态,其中,第六角度阈值大于第五角度阈值。
第二方面,本申请实施例提供了一种手势滤除装置,包括:
识别模块,用于对目标图像进行手势识别,得到目标手势;
第一确定模块,用于确定目标图像中人手的关键点信息;
第二确定模块,用于根据关键点信息,确定人手对应的第一特征信息;
比对模块,用于将目标手势对应的第二特征信息与第一特征信息进行比对;
滤除模块,用于当第二特征信息与第一特征信息的比对结果为不一致时,滤除目标手势。
在本申请实施例的一些可能实现中,第一特征信息包括:人手的方向信息;第二确定模块包括:
第一确定子模块,用于根据关键点信息,确定每一手指的方向;
第二确定子模块,用于根据每一手指的方向,确定人手的方向。
在本申请实施例的一些可能实现中,第一确定子模块包括:
第一确定单元,用于针对第一目标手指,根据第一目标手指的根部关键点的坐标信息和手腕关键点的坐标信息,确定第一目标手指所处状态,其中,第一目标手指为五指中的任一个手指;
第一计算单元,用于在确定第一目标手指处于竖直状态的情况下,计算根部关键点的竖直Y轴坐标分量和手腕关键点的Y轴坐标分量的第一差值;
第二确定单元,用于根据第一差值,确定第一目标手指的方向;
第二计算单元,用于在确定第一目标手指处于水平状态的情况下,计算根部关键点的水平X轴坐标分量和手腕关键点的X轴坐标分量的第二差值;
第三确定单元,用于根据第二差值,确定第一目标手指的方向。
在本申请实施例的一些可能实现中,第一确定单元具体用于:
根据第一目标手指的根部关键点的坐标信息和手腕关键点的坐标信息,确定第一目标手指与Y轴的第一角度;
在第一角度小于第一角度阈值的情况下,确定第一目标手指处于竖直状态;
在第一角度不小于第一角度阈值的情况下,确定第一目标手指处于水平状态。
在本申请实施例的一些可能实现中,第二确定子模块具体用于:
根据每一手指的方向,确定对应手指最多的第一方向对应的手指数量;
在手指数量大于数量阈值的情况下,确定人手的方向为第一方向。
在本申请实施例的一些可能实现中,第一特征信息包括:第一关键点和第二关键点组成的第一线条的第一状态信息,第一关键点为食指根部的关键点,第二关键点为小拇指根部的关键点,第一状态包括水平状态或竖直状态;第二确定模块包括:
第三确定子模块,用于根据第一关键点的坐标信息和第二关键点的坐标信息,确定第一线条与Y轴的第二角度;
第四确定子模块,用于在第二角度小于第二角度阈值的情况下,确定第一线条处于竖直状态;
第五确定子模块,用于在第二角度不小于第二角度阈值的情况下,确定第一线条处于水平状态。
在本申请实施例的一些可能实现中,第一特征信息包括:五指的弯曲情况信息;第二确定模块包括:
第一计算子模块,用于针对大拇指,计算第二线条和第三线条的第三角度,以及第三线条与第四线条的第四角度,其中,第二线条为第三关键点和第四关键点组成的线条,第三线条为第四关键点和第五关键点组成的线条,第四线条为第五关键点和第六关键点组成的线条,第三关键点为手腕关键点与大拇指根部的关键点之间的关键点,第四关键点为大拇指根部的关键点,第五关键点为大拇指的指间关节对应的关键点,第六关键点为大拇指的指尖关键点;
第六确定子模块,用于在第三角度大于第三角度阈值且第四角度大于第四角度阈值的情况下,确定大拇指处于伸直状态;
第七确定子模块,用于在第三角度不大于第三角度阈值或第四角度不大于第四角度阈值的情况下,确定大拇指处于弯曲状态;
第二计算子模块,用于针对第二目标手指,分别计算第二目标手指根部的关键点、第二目标手指的近端关节对应的关键点、第二目标手指的远端关节对应的关键点以及第二目标手指指尖的关键点分别到手腕关键点的第一距离、第二距离、第三距离和第四距离,其中,第二目标手指为除大拇指之外的任一个手指;
第八确定子模块,用于在第一距离、第二距离、第三距离以及第四距离满足第一条件的情况下,确定第二目标手指处于伸直状态,其中,第一条件包括第一距离小于第二距离、第二距离小于第三距离以及第三距离小于第四距离;
第九确定子模块,用于在第一距离、第二距离、第三距离以及第四距离不满足第一条件的情况下,确定第二目标手指处于弯曲状态。
在本申请实施例的一些可能实现中,第一特征信息包括:手掌平面与镜头平面的第二状态信息,镜头平面为采集目标图像的图像采集设备的镜头所处的平面,第二状态包括垂直状态或非垂直状态;第二确定模块包括:
第三计算子模块,用于计算第五线条和第六线条的第五角度,其中,第五线条为第一关键点和手腕关键点组成的线条,第六线条为第二关键点和手腕关键点组成的线条;
第十确定子模块,用于当第五角度小于第五角度阈值或第五角度大于第六角度阈值的情况下,确定手掌平面与镜头平面处于垂直状态,其中,第六角度阈值大于第五角度阈值。
第三方面,本申请实施例提供了一种电子设备,包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令,程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,可读存储介质上存储程序或指令,程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现如第一方面所述的方法的步骤。
在本申请实施例中,通过确定目标图像中人手的关键点信息,根据该关键点信息确定人手的第一特征信息,将第一特征信息与对目标图像进行手势识别得到的目标手势对应的第二特征信息进行比对,当第二特征信息与第一特征信息的比对结果不一致时,表明对目标图像进行手势识别得到的目标手势是错误的识别结果,进而将该目标手势剔除,能够确保该错误的目标手势不进行分类,从而提高手势识别分类的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的手势滤除方法的流程示意图;
图2是本申请实施例提供的人手关键点的示意图;
图3是本申请实施例提供的手掌平面和镜头平面处于垂直状态的第一种示意图;
图4是本申请实施例提供的手掌平面和镜头平面处于垂直状态的第二种示意图;
图5是本申请实施例提供的手势示意图;
图6是本申请实施例提供的手势滤除装置的结构示意图;
图7是本申请实施例提供的电子设备的结构示意图;
图8是实现本申请实施例的电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的手势滤除方法、装置及设备进行详细地说明。
图1是本申请实施例提供的手势滤除方法的流程示意图。如图1所示,手势滤除方法可以包括:
S101:对目标图像进行手势识别,得到目标手势;
S102:确定目标图像中人手的关键点信息;
S103:根据关键点信息,确定人手对应的第一特征信息;
S104:将目标手势对应的第二特征信息与第一特征信息进行比对;
S105:当第二特征信息与第一特征信息的比对结果为不一致时,滤除目标手势。
上述各步骤的具体实现方式将在下文中进行详细描述。
在本申请实施例中,通过确定目标图像中人手的关键点信息,根据该关键点信息确定人手的第一特征信息,将第一特征信息与对目标图像进行手势识别得到的目标手势对应的第二特征信息进行比对,当第二特征信息与第一特征信息的比对结果不一致时,表明对目标图像进行手势识别得到的目标手势是错误的识别结果,进而将该目标手势剔除,能够确保该错误的目标手势不进行分类,从而提高手势识别分类的准确性。
需要说明的是,在图1中,S101在S102之前执行。在实际应用中,S101和S102可以并行,S101还可以在S102之后执行。
在本申请实施例的一些可能实现中,在S101中,可以利用手势识别模型对目标图像进行手势识别,得到目标手势。本申请实施例并不对利用手势识别模型对目标图像进行手势识别,得到目标手势的具体过程进行限定,利用手势识别模型对目标图像进行手势识别,得到目标手势的具体过程可参考相关技术中的手势识别过程。
在本申请实施例的一些可能实现中,目标图像可以为图像采集设备采集到的图像。关键点信息可以为人手的关键点在图像中的坐标信息。
在本申请实施例的一些可能实现中,人手的关键点如图2所示。图2是本申请实施例提供的人手关键点的示意图。在图2中,人手的关键点有21个,21个关键点包括:手腕关键点0、大拇指根部的关键点2、手腕关键点0和大拇指根部的关键点2之间的关键点1、大拇指的指间关节对应的关键点3、大拇指的指尖关键点4、食指根部的关键点5、食指的近端指间关节对应的关键点6、食指的远端指间关节对应的关键点7、食指的指尖关键点8、中指根部的关键点9、中指的近端指间关节对应的关键点10、中指的远端指间关节对应的关键点11、中指的指尖关键点12、无名指根部的关键点13、无名指的近端指间关节对应的关键点14、无名指的远端指间关节对应的关键点15、无名指的指尖关键点16、小拇指根部的关键点17、小拇指的近端指间关节对应的关键点18、小拇指的远端指间关节对应的关键点19和小拇指的指尖关键点20。其中,近端指间关节是靠近心脏的指尖关节,远端指间关节是远离心脏的指尖关节。
在本申请实施例的一些可能实现中,本申请实施例中的特征信息可以包括以下所列项中的至少一种:
人手的方向信息、第一关键点和第二关键点组成的第一线条的状态信息、五指的弯曲情况信息、手掌平面与镜头平面的状态信息;其中,第一关键点为食指根部的关键点,第二关键点为小拇指根部的关键点,线条的状态包括水平状态或竖直状态,镜头平面为采集目标图像的图像采集设备的镜头所处的平面,手掌平面与镜头平面的状态包括垂直状态或非垂直状态。
在本申请实施例的一些可能实现中,当特征信息包括人手的方向信息时,S103可以包括:根据关键点信息,确定每一手指的方向;根据每一手指的方向,确定人手的方向。
在本申请实施例中,能够通过每一手指的方向,确定人手的方向。
在本申请实施例的一些可能实现中,根据关键点信息,确定每一手指的方向可以包括:针对第一目标手指,根据第一目标手指的根部关键点的坐标信息和手腕关键点的坐标信息,确定第一目标手指所处状态,其中,第一目标手指为五指中的任一个手指;在确定第一目标手指处于竖直状态的情况下,计算根部关键点的竖直Y轴坐标分量和手腕关键点的Y轴坐标分量的第一差值;根据第一差值,确定第一目标手指的方向;在确定第一目标手指处于水平状态的情况下,计算根部关键点的水平X轴坐标分量和手腕关键点的X轴坐标分量的第二差值;根据第二差值,确定第一目标手指的方向。
示例性地,以第一目标手指为食指为例。
针对食指,根据食指的根部关键点5的坐标信息和手腕关键点0的坐标信息,确定食指所处状态,当食指处于竖直状态的情况下,计算关键点5的竖直Y轴坐标分量y5和手腕关键点0的Y轴坐标分量y0的第一差值dy5-0;根据第一差值dy5-0,确定食指的方向;在食指处于水平状态的情况下,计算关键点5的水平X轴坐标分量x5和手腕关键点0的X轴坐标分量x0的第二差值dx5-0;根据第二差值dx5-0,确定食指的方向。
类似地,可以确定大拇指的方向、中指的方向、无名指的方向和小拇指的方向。
在本申请实施例中,针对每一手指,能够根据该手指的根部关键点的坐标信息和手腕关键点的坐标信息,确定该手指所处状态,进而通过相应的坐标分量确定该手指的方向。
在本申请实施例的一些可能实现中,根据第一目标手指的根部关键点的坐标信息和手腕关键点的坐标信息,确定第一目标手指所处状态可以包括:根据第一目标手指的根部关键点的坐标信息和手腕关键点的坐标信息,确定第一目标手指与Y轴的第一角度;在第一角度小于第一角度阈值的情况下,确定第一目标手指处于竖直状态;在第一角度不小于第一角度阈值的情况下,确定第一目标手指处于水平状态。
示例性地,以第一目标手指为食指为例。
针对食指,根据关键点5的坐标信息和手腕关键点0的坐标信息,计算关键点5和手腕关键点0组成的线条l5-0与Y轴的角度(即上述第一角度),当该角度小于第一角度阈值(例如第一角度阈值为45°)的情况下,确定食指处于竖直状态,否则,确定食指处于水平状态。
类似地,可以确定大拇指所处状态、中指所处状态、无名指所处状态和小拇指所处状态。
在本申请实施例中,针对每一手指,能够根据该手指的根部关键点的坐标信息和手腕关键点的坐标信息,确定该手指与Y轴的角度,进而通过该角度可以确定该手指所处状态。
在本申请实施例的一些可能实现中,根据第一差值,确定第一目标手指的方向,可以包括:在第一差值大于零的情况下,确定第一目标手指的方向为向上;在第一差值小于零的情况下,确定第一目标手指的方向为向下。
在本申请实施例的一些可能实现中,根据第二差值,确定第一目标手指的方向,包括:在第二差值大于零的情况下,确定第一目标手指的方向为向左;在第二差值小于零的情况下,确定第一目标手指的方向为向右。
示例性地,以第一目标手指为食指为例。
针对食指,根据关键点5的坐标信息和手腕关键点0的坐标信息,计算关键点5和手腕关键点0组成的线条l5-0与Y轴的角度(即上述第一角度),当该角度小于第一角度阈值(例如为45°)的情况下,确定食指处于竖直状态,否则,确定食指处于水平状态。当食指处于竖直状态的情况下,计算关键点5的竖直Y轴坐标分量y5和手腕关键点0的Y轴坐标分量y0的第一差值dy5-0;在第一差值dy5-0大于零的情况下,确定食指的方向为向上;在第一差值dy5-0小于零的情况下,确定食指的方向为向下;在食指处于水平状态的情况下,计算关键点5的水平X轴坐标分量x5和手腕关键点0的X轴坐标分量x0的第二差值dx5-0;在第二差值dx5-0大于零的情况下,确定食指的方向为向左;在第二差值dx5-0小于零的情况下,确定食指的方向为向右。
类似地,可以确定大拇指的方向、中指的方向、无名指的方向和小拇指的方向。
需要说明的是,在本申请实施例中,X轴的正方向为水平向右,Y轴的正方向为竖直向下。
在本申请实施例的一些可能实现中,根据每一手指的方向,确定人手的方向,包括:根据每一手指的方向,确定对应手指最多的第一方向对应的手指数量;在手指数量大于数量阈值的情况下,确定人手的方向为第一方向。
示例性地,假设大拇指方向向上、食指方向向上、中指方向向下、无名指方向向下、小拇指方向向上。对应手指最多的方向为向上,且向上的方向对应的手指数量为3。在3大于数量阈值(例如数量阈值为2)的情况下,确定人手的方向为向上。
在本申请实施例中,通过将大于数量阈值的手指数量对应手指最多的方向,确定为人手的方向,能够提高确定人手方向的准确性。
在本申请实施例的一些可能实现中,当特征信息包括第一关键点和第二关键点组成的第一线条的状态信息时,S103可以包括:根据第一关键点的坐标信息和第二关键点的坐标信息,确定第一线条与Y轴的第二角度;在第二角度小于第二角度阈值的情况下,确定第一线条处于竖直状态;在第二角度不小于第二角度阈值的情况下,确定第一线条处于水平状态。
根据食指根部的关键点5的坐标信息和小拇指根部的关键点17的坐标信息,计算食指根部的关键点5和小拇指根部的关键点17组成的线条l5-17(即上述第一线条)与Y轴的角度(即上述第二角度),当该角度小于第二角度阈值(例如第二角度阈值为45°)的情况下,确定l5-17处于竖直状态,否则,确定l5-17处于水平状态。
在本申请实施例中,能够通过食指根部的关键点的坐标信息和小拇指根部的关键点的坐标信息,计算食指根部的关键点和小拇指根部的关键点组成的线条与Y轴的角度,进而根据该角度确定食指根部的关键点和小拇指根部的关键点组成的线条所处的状态。
在本申请实施例的一些可能实现中,当特征信息包括五指的弯曲情况信息时,S103可以包括:针对大拇指,计算第二线条和第三线条的第三角度,以及第三线条与第四线条的第四角度,其中,第二线条为第三关键点和第四关键点组成的线条,第三线条为第四关键点和第五关键点组成的线条,第四线条为第五关键点和第六关键点组成的线条,第三关键点为手腕关键点与大拇指根部的关键点之间的关键点,第四关键点为大拇指根部的关键点,第五关键点为大拇指的指间关节对应的关键点,第六关键点为大拇指的指尖关键点;在第三角度大于第三角度阈值且第四角度大于第四角度阈值的情况下,确定大拇指处于伸直状态;在第三角度不大于第三角度阈值或第四角度不大于第四角度阈值的情况下,确定大拇指处于弯曲状态;
针对第二目标手指,分别计算第二目标手指根部的关键点、第二目标手指的近端关节对应的关键点、第二目标手指的远端关节对应的关键点以及第二目标手指指尖的关键点分别到手腕关键点的第一距离、第二距离、第三距离和第四距离,其中,第二目标手指为除大拇指之外的任一个手指;在第一距离、第二距离、第三距离以及第四距离满足第一条件的情况下,确定第二目标手指处于伸直状态,其中,第一条件包括第一距离小于第二距离、第二距离小于第三距离以及第三距离小于第四距离;在第一距离、第二距离、第三距离以及第四距离不满足第一条件的情况下,确定第二目标手指处于弯曲状态。
针对大拇指,计算关键点1和大拇指根部的关键点2组成的l1-2线条与大拇指根部的关键点2和大拇指的指间关节对应的关键点3组成的线条l2-3的第三角度以及l2-3与大拇指根部的关键点3和大拇指的指尖关键点4组成的线条l4-5的第四角度。
在第三角度大于第三角度阈值(例如第三角度阈值为160°)且第四角度大于第四角度阈值(例如第四角度阈值为145°)的情况下,确定大拇指处于伸直状态,否则,确定大拇指处于弯曲状态。
针对除大拇指之外的另外四个手指,以食指为例。
计算食指根部的关键点5、食指的近端关节对应的关键点6、食指的远端关节对应的关键点7以及食指指尖的关键点8分别到手腕关键点0的距离。
食指根部的关键点5到手腕关键点0的距离(即上述第一距离)为d5-0,食指根部的关键点6到手腕关键点0的距离(即上述第二距离)为d6-0,食指根部的关键点7到手腕关键点0的距离(即上述第三距离)为d7-0,食指根部的关键点8到手腕关键点0的距离(即上述第四距离)为d8-0
若d8-0>d7-0>d6-0>d5-0,则确定食指处于伸直状态,否则,确定食指处于弯曲状态。
类似地,可以确定中指、无名指和小拇指的弯曲情况。
在本申请实施例中,针对大拇指,能够根据手腕关键点和大拇指根部的关键点之间的关键点和大拇指根部的关键点组成的线条与大拇指根部的关键点和大拇指的指间关节对应的关键点组成的线条的角度,以及大拇指根部的关键点和大拇指的指间关节对应的关键点组成的线条与大拇指的指间关节对应的关键点和大拇指的指尖关键点组成的线条的角度,确定大拇指的弯曲情况。
针对除大拇指之外的其他手指,能够根据该手指的根部的关键点、近端指间关节对应的关键点、远端指间关节对应的关键点和指尖关键点分别到手腕关键点的距离,确定该手指的弯曲情况。
在本申请实施例的一些可能实现中,当特征信息包括手掌平面与镜头平面的状态信息时,S103可以包括:计算第五线条和第六线条的第五角度,其中,第五线条为第一关键点和手腕关键点组成的线条,第六线条为第二关键点和手腕关键点组成的线条;当第五角度小于第五角度阈值或第五角度大于第六角度阈值的情况下,确定手掌平面与镜头平面处于垂直状态,其中,第六角度阈值大于第五角度阈值。
如图3和图4所示,图3和图4示出了手掌平面和镜头平面处于垂直状态的两种示意图。
当手掌平面和镜头平面处于图3所示的情况时,食指根部的关键点5和小拇指根部的关键点17会很接近,导致食指根部的关键点5与手腕关键点0组成的线条l5-0与小拇指根部的关键点17与手腕关键点0组成的线条l17-0的夹角很小,因此,当该夹角小于第五角度阈值(例如第五角度阈值为10°)时,认为手掌平面和镜头平面处于垂直状态。
当手掌平面和镜头平面处于图4所示的情况时,手腕关键点0和食指根部的关键点5和小拇指根部的关键点17组成线条l5-17会很接近,导致食指根部的关键点5与手腕关键点0组成的线条l5-0与小拇指根部的关键点17与手腕关键点0组成的线条l17-0的夹角很大,因此,当该夹角大于第六角度阈值(例如第六角度阈值为140°)时,认为手掌平面和镜头平面处于垂直状态。
在本申请实施例中,能够通过食指根部的关键点与手腕关键点组成的线条与小拇指根部的关键点与手腕关键点组成的线条的夹角,确定手掌平面和镜头平面的状态。
当确定出人手对应的特征信息(目标图像中人手的方向、食指根部的关键点和小拇指根部的关键点组成的线条的状态、五指的弯曲情况、手掌平面和镜头平面的状态)后,可将利用手势识别模型对目标图像进行手势识别得到的目标手势与该特征信息进行匹配,在目标手势与特征信息匹配的情况下,表示手势识别模型对目标图像进行手势识别得到的目标手势是正确的识别结果,也就是说,手势识别模型将目标图像中的手势分类正确;在目标手势与特征信息不匹配的情况下,表示手势识别模型对目标图像进行手势识别得到的目标手势是错误的识别结果,也就是说,手势识别模型将目标图像中的手势分类错误,进而滤除目标手势,将该手势划分到除手势识别模型设定的手势分类之外的分类中,例如,将该手势划分为“其他手势”或者“手势识别模型未设定的手势”。
在本申请实施例的一些可能实现中,手势对应的特征信息如表1所示。
表1
Figure BDA0003419009760000141
表1中的手势“手掌”、“拳头”、“捏合”、“竖大拇指”、“剪刀手”、“向下”、“向左”和“向右”的示意图分别如图5所示。
示例性地,以利用手势识别模型对目标图像进行手势识别得到的手势为手掌为例,根据上述表1得到手掌对应的特征信息为:人手方向向上,l5-17处于水平状态,大拇指处于伸直或弯曲状态,食指、中指、无名指和小拇指均处于伸直状态,且手掌平面与镜头平面不垂直。当根据目标图像中人手的关键点信息,确定目标图像中人手对应的特征信息,假设确定出的特征信息包括:人手方向向上,l5-17处于水平状态,大拇指、食指、中指、无名指和小拇指均处于伸直状态,且手掌平面与镜头平面不垂直。将手掌对应的特征信息与所确定出的特征信息进行比对,此时,手掌对应的特征信息与所确定出的特征信息比对一致,则手势识别模型将目标图像中的手势分类正确。
再示例性地,以利用手势识别模型对目标图像进行手势识别得到的手势为手掌为例,根据上述表1得到手掌对应的特征信息为:人手方向向上,l5-17处于水平状态,大拇指处于伸直或弯曲状态,食指、中指、无名指和小拇指均处于伸直状态,且手掌平面与镜头平面不垂直。当根据目标图像中人手的关键点信息,确定目标图像中人手对应的特征信息,假设确定出的特征信息包括:人手方向向上,l5-17处于水平状态,大拇指和中指处于弯曲状态,食指、无名指和小拇指均处于伸直状态,且手掌平面与镜头平面不垂直。将手掌对应的特征信息与所确定出的特征信息进行比对,此时,手掌对应的特征信息与所确定出的特征信息比对不一致,则手势识别模型将目标图像中的手势分类错误。
需要说明的是,本申请实施例提供的手势滤除方法,执行主体可以为手势滤除装置,或者该手势滤除装置中的用于执行手势滤除方法的控制模块。本申请实施例中以手势滤除装置执行手势滤除方法为例,说明本申请实施例提供的手势滤除装置。
图6是本申请实施例提供的手势滤除装置的结构示意图。手势滤除装置600可以包括:
识别模块601,用于对目标图像进行手势识别,得到目标手势;
第一确定模块602,用于确定目标图像中人手的关键点信息;
第二确定模块603,用于根据关键点信息,确定人手对应的第一特征信息;
比对模块604,用于将目标手势对应的第二特征信息与第一特征信息进行比对;
滤除模块605,用于当第二特征信息与第一特征信息的比对结果为不一致时,滤除目标手势。
在本申请实施例中,通过确定目标图像中人手的关键点信息,根据该关键点信息确定人手的第一特征信息,将第一特征信息与对目标图像进行手势识别得到的目标手势对应的第二特征信息进行比对,当第二特征信息与第一特征信息的比对结果不一致时,表明对目标图像进行手势识别得到的目标手势是错误的识别结果,进而将该目标手势剔除,能够确保该错误的目标手势不进行分类,从而提高手势识别分类的准确性。
在本申请实施例的一些可能实现中,第一特征信息包括:人手的方向信息;第二确定模块603包括:
第一确定子模块,用于根据关键点信息,确定每一手指的方向;
第二确定子模块,用于根据每一手指的方向,确定人手的方向。
在本申请实施例中,能够通过每一手指的方向,确定人手的方向。
在本申请实施例的一些可能实现中,第一确定子模块包括:
第一确定单元,用于针对第一目标手指,根据第一目标手指的根部关键点的坐标信息和手腕关键点的坐标信息,确定第一目标手指所处状态,其中,第一目标手指为五指中的任一个手指;
第一计算单元,用于在确定第一目标手指处于竖直状态的情况下,计算根部关键点的竖直Y轴坐标分量和手腕关键点的Y轴坐标分量的第一差值;
第二确定单元,用于根据第一差值,确定第一目标手指的方向;
第二计算单元,用于在确定第一目标手指处于水平状态的情况下,计算根部关键点的水平X轴坐标分量和手腕关键点的X轴坐标分量的第二差值;
第三确定单元,用于根据第二差值,确定第一目标手指的方向。
在本申请实施例中,针对每一手指,能够根据该手指的根部关键点的坐标信息和手腕关键点的坐标信息,确定该手指所处状态,进而通过相应的坐标分量确定该手指的方向。
在本申请实施例的一些可能实现中,第一确定单元具体用于:
根据第一目标手指的根部关键点的坐标信息和手腕关键点的坐标信息,确定第一目标手指与Y轴的第一角度;
在第一角度小于第一角度阈值的情况下,确定第一目标手指处于竖直状态;
在第一角度不小于第一角度阈值的情况下,确定第一目标手指处于水平状态。
在本申请实施例中,针对每一手指,能够根据该手指的根部关键点的坐标信息和手腕关键点的坐标信息,确定该手指与Y轴的角度,进而通过该角度可以确定该手指所处状态。
在本申请实施例的一些可能实现中,第二确定单元具体用于:
在第一差值大于零的情况下,确定第一目标手指的方向为向上;
在第一差值小于零的情况下,确定第一目标手指的方向为向下。
在本申请实施例的一些可能实现中,第三确定单元具体用于:
在第二差值大于零的情况下,确定第一目标手指的方向为向左;
在第二差值小于零的情况下,确定第一目标手指的方向为向右。
在本申请实施例的一些可能实现中,第二确定子模块具体用于:
根据每一手指的方向,确定对应手指最多的第一方向对应的手指数量;
在手指数量大于数量阈值的情况下,确定人手的方向为第一方向。
在本申请实施例中,通过将大于数量阈值的手指数量对应手指最多的方向,确定为人手的方向,能够提高确定人手方向的准确性。
在本申请实施例的一些可能实现中,第一特征信息包括:第一关键点和第二关键点组成的第一线条的第一状态信息,第一关键点为食指根部的关键点,第二关键点为小拇指根部的关键点,第一状态包括水平状态或竖直状态;第二确定模块603包括:
第三确定子模块,用于根据第一关键点的坐标信息和第二关键点的坐标信息,确定第一线条与Y轴的第二角度;
第四确定子模块,用于在第二角度小于第二角度阈值的情况下,确定第一线条处于竖直状态;
第五确定子模块,用于在第二角度不小于第二角度阈值的情况下,确定第一线条处于水平状态。
在本申请实施例中,能够通过食指根部的关键点的坐标信息和小拇指根部的关键点的坐标信息,计算食指根部的关键点和小拇指根部的关键点组成的线条与Y轴的角度,进而根据该角度确定食指根部的关键点和小拇指根部的关键点组成的线条所处的状态。
在本申请实施例的一些可能实现中,第一特征信息包括:五指的弯曲情况信息;第二确定模块603包括:
第一计算子模块,用于针对大拇指,计算第二线条和第三线条的第三角度,以及第三线条与第四线条的第四角度,其中,第二线条为第三关键点和第四关键点组成的线条,第三线条为第四关键点和第五关键点组成的线条,第四线条为第五关键点和第六关键点组成的线条,第三关键点为手腕关键点与大拇指根部的关键点之间的关键点,第四关键点为大拇指根部的关键点,第五关键点为大拇指的指间关节对应的关键点,第六关键点为大拇指的指尖关键点;
第六确定子模块,用于在第三角度大于第三角度阈值且第四角度大于第四角度阈值的情况下,确定大拇指处于伸直状态;
第七确定子模块,用于在第三角度不大于第三角度阈值或第四角度不大于第四角度阈值的情况下,确定大拇指处于弯曲状态;
第二计算子模块,用于针对第二目标手指,分别计算第二目标手指根部的关键点、第二目标手指的近端关节对应的关键点、第二目标手指的远端关节对应的关键点以及第二目标手指指尖的关键点分别到手腕关键点的第一距离、第二距离、第三距离和第四距离,其中,第二目标手指为除大拇指之外的任一个手指;
第八确定子模块,用于在第一距离、第二距离、第三距离以及第四距离满足第一条件的情况下,确定第二目标手指处于伸直状态,其中,第一条件包括第一距离小于第二距离、第二距离小于第三距离以及第三距离小于第四距离;
第九确定子模块,用于在第一距离、第二距离、第三距离以及第四距离不满足第一条件的情况下,确定第二目标手指处于弯曲状态。
在本申请实施例中,针对大拇指,能够根据手腕关键点和大拇指根部的关键点之间的关键点和大拇指根部的关键点组成的线条与大拇指根部的关键点和大拇指的指间关节对应的关键点组成的线条的角度,以及大拇指根部的关键点和大拇指的指间关节对应的关键点组成的线条与大拇指的指间关节对应的关键点和大拇指的指尖关键点组成的线条的角度,确定大拇指的弯曲情况。
针对除大拇指之外的其他手指,能够根据该手指的根部的关键点、近端指间关节对应的关键点、远端指间关节对应的关键点和指尖关键点分别到手腕关键点的距离,确定该手指的弯曲情况。
在本申请实施例的一些可能实现中,第一特征信息包括:手掌平面与镜头平面的第二状态信息,镜头平面为采集目标图像的图像采集设备的镜头所处的平面,第二状态包括垂直状态或非垂直状态;第二确定模块603包括:
第三计算子模块,用于计算第五线条和第六线条的第五角度,其中,第五线条为第一关键点和手腕关键点组成的线条,第六线条为第二关键点和手腕关键点组成的线条;
第十确定子模块,用于当第五角度小于第五角度阈值或第五角度大于第六角度阈值的情况下,确定手掌平面与镜头平面处于垂直状态,其中,第六角度阈值大于第五角度阈值。
在本申请实施例中,能够通过食指根部的关键点与手腕关键点组成的线条与小拇指根部的关键点与手腕关键点组成的线条的夹角,确定手掌平面和镜头平面的状态。
本申请实施例中的手势滤除装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的手势滤除装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为iOS操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的手势滤除装置能够实现图1至图5的手势滤除方法实施例中的各个过程,为避免重复,这里不再赘述。
可选的,如图7所示,本申请实施例还提供一种电子设备700,包括处理器701,存储器702,存储在存储器702上并可在处理器701上运行的程序或指令,该程序或指令被处理器701执行时实现上述手势滤除方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要注意的是,本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
在本申请实施例的一些可能实现中,处理器701可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
在本申请实施例的一些可能实现中,存储器702可以包括只读存储器(Read-OnlyMemory,ROM),随机存取存储器(Random Access Memory,RAM),磁盘存储介质设备,光存储介质设备,闪存设备,电气、光学或其他物理/有形的存储器存储设备。因此,通常,存储器702包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如,存储器设备),并且当该软件被执行(例如,由一个或多个处理器)时,其可操作来执行参考根据本申请实施例的手势滤除方法所描述的操作。
图8是实现本申请实施例的电子设备的硬件结构示意图。
该电子设备800包括但不限于:射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、以及处理器810等部件。
本领域技术人员可以理解,电子设备800还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器810逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器810用于:对目标图像进行手势识别,得到目标手势;确定目标图像中人手的关键点信息;根据关键点信息,确定人手对应的第一特征信息;将目标手势对应的第二特征信息与第一特征信息进行比对;当第二特征信息与第一特征信息的比对结果为不一致时,滤除目标手势。
在本申请实施例中,通过确定目标图像中人手的关键点信息,根据该关键点信息确定人手的第一特征信息,将第一特征信息与对目标图像进行手势识别得到的目标手势对应的第二特征信息进行比对,当第二特征信息与第一特征信息的比对结果不一致时,表明对目标图像进行手势识别得到的目标手势是错误的识别结果,进而将该目标手势剔除,能够确保该错误的目标手势不进行分类,从而提高手势识别分类的准确性。
在本申请实施例的一些可能实现中,第一特征信息包括:人手的方向信息;处理器810具体用于:
根据关键点信息,确定每一手指的方向;
根据每一手指的方向,确定人手的方向。
在本申请实施例中,能够通过每一手指的方向,确定人手的方向。
在本申请实施例的一些可能实现中,处理器810具体用于:
针对第一目标手指,根据第一目标手指的根部关键点的坐标信息和手腕关键点的坐标信息,确定第一目标手指所处状态,其中,第一目标手指为五指中的任一个手指;
在确定第一目标手指处于竖直状态的情况下,计算根部关键点的竖直Y轴坐标分量和手腕关键点的Y轴坐标分量的第一差值;
根据第一差值,确定第一目标手指的方向;
在确定第一目标手指处于水平状态的情况下,计算根部关键点的水平X轴坐标分量和手腕关键点的X轴坐标分量的第二差值;
根据第二差值,确定第一目标手指的方向。
在本申请实施例中,针对每一手指,能够根据该手指的根部关键点的坐标信息和手腕关键点的坐标信息,确定该手指所处状态,进而通过相应的坐标分量确定该手指的方向。
在本申请实施例的一些可能实现中,处理器810具体用于:
根据第一目标手指的根部关键点的坐标信息和手腕关键点的坐标信息,确定第一目标手指与Y轴的第一角度;
在第一角度小于第一角度阈值的情况下,确定第一目标手指处于竖直状态;
在第一角度不小于第一角度阈值的情况下,确定第一目标手指处于水平状态。
在本申请实施例中,针对每一手指,能够根据该手指的根部关键点的坐标信息和手腕关键点的坐标信息,确定该手指与Y轴的角度,进而通过该角度可以确定该手指所处状态。
在本申请实施例的一些可能实现中,处理器810具体用于:
在第一差值大于零的情况下,确定第一目标手指的方向为向上;
在第一差值小于零的情况下,确定第一目标手指的方向为向下。
在本申请实施例的一些可能实现中,处理器810具体用于:
在第二差值大于零的情况下,确定第一目标手指的方向为向左;
在第二差值小于零的情况下,确定第一目标手指的方向为向右。
在本申请实施例的一些可能实现中,处理器810具体用于:
根据每一手指的方向,确定对应手指最多的第一方向对应的手指数量;
在手指数量大于数量阈值的情况下,确定人手的方向为第一方向。
在本申请实施例中,通过将大于数量阈值的手指数量对应手指最多的方向,确定为人手的方向,能够提高确定人手方向的准确性。
在本申请实施例的一些可能实现中,第一特征信息包括:第一关键点和第二关键点组成的第一线条的第一状态信息,第一关键点为食指根部的关键点,第二关键点为小拇指根部的关键点,第一状态包括水平状态或竖直状态;处理器810具体用于:
根据第一关键点的坐标信息和第二关键点的坐标信息,确定第一线条与Y轴的第二角度;
在第二角度小于第二角度阈值的情况下,确定第一线条处于竖直状态;
在第二角度不小于第二角度阈值的情况下,确定第一线条处于水平状态。
在本申请实施例中,能够通过食指根部的关键点的坐标信息和小拇指根部的关键点的坐标信息,计算食指根部的关键点和小拇指根部的关键点组成的线条与Y轴的角度,进而根据该角度确定食指根部的关键点和小拇指根部的关键点组成的线条所处的状态。
在本申请实施例的一些可能实现中,第一特征信息包括:五指的弯曲情况信息;处理器810具体用于:
针对大拇指,计算第二线条和第三线条的第三角度,以及第三线条与第四线条的第四角度,其中,第二线条为第三关键点和第四关键点组成的线条,第三线条为第四关键点和第五关键点组成的线条,第四线条为第五关键点和第六关键点组成的线条,第三关键点为手腕关键点与大拇指根部的关键点之间的关键点,第四关键点为大拇指根部的关键点,第五关键点为大拇指的指间关节对应的关键点,第六关键点为大拇指的指尖关键点;
在第三角度大于第三角度阈值且第四角度大于第四角度阈值的情况下,确定大拇指处于伸直状态;
在第三角度不大于第三角度阈值或第四角度不大于第四角度阈值的情况下,确定大拇指处于弯曲状态;
针对第二目标手指,分别计算第二目标手指根部的关键点、第二目标手指的近端关节对应的关键点、第二目标手指的远端关节对应的关键点以及第二目标手指指尖的关键点分别到手腕关键点的第一距离、第二距离、第三距离和第四距离,其中,第二目标手指为除大拇指之外的任一个手指;
在第一距离、第二距离、第三距离以及第四距离满足第一条件的情况下,确定第二目标手指处于伸直状态,其中,第一条件包括第一距离小于第二距离、第二距离小于第三距离以及第三距离小于第四距离;
在第一距离、第二距离、第三距离以及第四距离不满足第一条件的情况下,确定第二目标手指处于弯曲状态。
在本申请实施例中,针对大拇指,能够根据手腕关键点和大拇指根部的关键点之间的关键点和大拇指根部的关键点组成的线条与大拇指根部的关键点和大拇指的指间关节对应的关键点组成的线条的角度,以及大拇指根部的关键点和大拇指的指间关节对应的关键点组成的线条与大拇指的指间关节对应的关键点和大拇指的指尖关键点组成的线条的角度,确定大拇指的弯曲情况。
针对除大拇指之外的其他手指,能够根据该手指的根部的关键点、近端指间关节对应的关键点、远端指间关节对应的关键点和指尖关键点分别到手腕关键点的距离,确定该手指的弯曲情况。
在本申请实施例的一些可能实现中,第一特征信息包括:手掌平面与镜头平面的第二状态信息,镜头平面为采集目标图像的图像采集设备的镜头所处的平面,第二状态包括垂直状态或非垂直状态;处理器810具体用于:
计算第五线条和第六线条的第五角度,其中,第五线条为第一关键点和手腕关键点组成的线条,第六线条为第二关键点和手腕关键点组成的线条;
当第五角度小于第五角度阈值或第五角度大于第六角度阈值的情况下,确定手掌平面与镜头平面处于垂直状态,其中,第六角度阈值大于第五角度阈值。
在本申请实施例中,能够通过食指根部的关键点与手腕关键点组成的线条与小拇指根部的关键点与手腕关键点组成的线条的夹角,确定手掌平面和镜头平面的状态。
应理解的是,本申请实施例中,输入单元804可以包括图形处理器(GraphicsProcessing Unit,GPU)8041和麦克风8042,图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元806可包括显示面板8061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板8061。用户输入单元807包括触控面板8071以及其他输入设备8072。触控面板8071,也称为触摸屏。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器809可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器810可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器810中。
本申请实施例还提供一种可读存储介质,可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述手势滤除方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,处理器为上述实施例中的电子设备中的处理器。可读存储介质包括计算机可读存储介质,计算机可读存储介质的示例包括非暂态计算机可读存储介质,如ROM、RAM、磁碟或者光盘等。
本申请实施例还提供了一种芯片,包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现上述手势滤除方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例还提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述手势滤除方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (10)

1.一种手势滤除方法,其特征在于,所述方法包括:
对目标图像进行手势识别,得到目标手势;
确定所述目标图像中人手的关键点信息;
根据所述关键点信息,确定所述人手对应的第一特征信息;
将所述目标手势对应的第二特征信息与所述第一特征信息进行比对;
当所述第二特征信息与所述第一特征信息的比对结果为不一致时,滤除所述目标手势。
2.根据权利要求1所述的方法,其特征在于,所述第一特征信息包括:所述人手的方向信息;
所述根据所述关键点信息,确定所述人手对应的第一特征信息,包括:
根据所述关键点信息,确定每一手指的方向;
根据所述每一手指的方向,确定所述人手的方向。
3.根据权利要求2所述的方法,其特征在于,所述根据所述关键点信息,确定每一手指的方向,包括:
针对第一目标手指,根据所述第一目标手指的根部关键点的坐标信息和手腕关键点的坐标信息,确定所述第一目标手指所处状态,其中,所述第一目标手指为所述五指中的任一个手指;
在确定所述第一目标手指处于竖直状态的情况下,计算所述根部关键点的竖直Y轴坐标分量和所述手腕关键点的Y轴坐标分量的第一差值;
根据所述第一差值,确定所述第一目标手指的方向;
在确定所述第一目标手指处于水平状态的情况下,计算所述根部关键点的水平X轴坐标分量和所述手腕关键点的X轴坐标分量的第二差值;
根据所述第二差值,确定所述第一目标手指的方向。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一目标手指的根部关键点的坐标信息和手腕关键点的坐标信息,确定所述第一目标手指所处状态,包括:
根据所述第一目标手指的根部关键点的坐标信息和手腕关键点的坐标信息,确定所述第一目标手指与所述Y轴的第一角度;
在所述第一角度小于第一角度阈值的情况下,确定所述第一目标手指处于竖直状态;
在所述第一角度不小于所述第一角度阈值的情况下,确定所述第一目标手指处于水平状态。
5.根据权利要求2所述的方法,其特征在于,所述根据所述每一手指的方向,确定所述人手的方向,包括:
根据所述每一手指的方向,确定对应手指最多的第一方向对应的手指数量;
在所述手指数量大于数量阈值的情况下,确定所述人手的方向为所述第一方向。
6.根据权利要求1所述的方法,其特征在于,所述第一特征信息包括:第一关键点和第二关键点组成的第一线条的第一状态信息,所述第一关键点为食指根部的关键点,所述第二关键点为小拇指根部的关键点,所述第一状态包括水平状态或竖直状态;
所述根据所述关键点信息,确定所述人手对应的第一特征信息,包括:
根据所述第一关键点的坐标信息和所述第二关键点的坐标信息,确定所述第一线条与Y轴的第二角度;
在所述第二角度小于第二角度阈值的情况下,确定所述第一线条处于竖直状态;
在所述第二角度不小于所述第二角度阈值的情况下,确定所述第一线条处于水平状态。
7.根据权利要求1所述的方法,其特征在于,所述第一特征信息包括:五指的弯曲情况信息;
所述根据所述关键点信息,确定所述人手对应的第一特征信息,包括:
针对大拇指,计算第二线条和第三线条的第三角度,以及所述第三线条与第四线条的第四角度,其中,所述第二线条为第三关键点和第四关键点组成的线条,所述第三线条为所述第四关键点和第五关键点组成的线条,所述第四线条为所述第五关键点和第六关键点组成的线条,所述第三关键点为手腕关键点与大拇指根部的关键点之间的关键点,所述第四关键点为所述大拇指根部的关键点,所述第五关键点为所述大拇指的指间关节对应的关键点,所述第六关键点为所述大拇指的指尖关键点;
在所述第三角度大于第三角度阈值且所述第四角度大于第四角度阈值的情况下,确定所述大拇指处于伸直状态;
在所述第三角度不大于所述第三角度阈值或所述第四角度不大于所述第四角度阈值的情况下,确定所述大拇指处于弯曲状态;
针对第二目标手指,分别计算所述第二目标手指根部的关键点、所述第二目标手指的近端关节对应的关键点、所述第二目标手指的远端关节对应的关键点以及所述第二目标手指指尖的关键点分别到手腕关键点的第一距离、第二距离、第三距离和第四距离,其中,所述第二目标手指为除所述大拇指之外的任一个手指;
在所述第一距离、所述第二距离、所述第三距离以及所述第四距离满足第一条件的情况下,确定所述第二目标手指处于伸直状态;
在所述第一距离、所述第二距离、所述第三距离以及所述第四距离不满足所述第一条件的情况下,确定所述第二目标手指处于弯曲状态;其中,所述第一条件包括所述第一距离小于所述第二距离、所述第二距离小于所述第三距离以及所述第三距离小于所述第四距离。
8.根据权利要求1所述的方法,其特征在于,所述第一特征信息包括:手掌平面与镜头平面的第二状态信息,所述镜头平面为采集所述目标图像的图像采集设备的镜头所处的平面,所述第二状态包括垂直状态或非垂直状态;
所述根据所述关键点信息,确定所述人手对应的第一特征信息,包括:
计算第五线条和第六线条的第五角度,其中,所述第五线条为第一关键点和手腕关键点组成的线条,所述第六线条为第二关键点和所述手腕关键点组成的线条;
当所述第五角度小于第五角度阈值或所述第五角度大于第六角度阈值的情况下,确定所述手掌平面与所述镜头平面处于垂直状态,其中,所述第六角度阈值大于所述第五角度阈值。
9.一种手势滤除装置,其特征在于,所述装置包括:
识别模块,用于对目标图像进行手势识别,得到目标手势;
第一确定模块,用于确定所述目标图像中人手的关键点信息;
第二确定模块,用于根据所述关键点信息,确定所述人手对应的第一特征信息;
比对模块,用于将所述目标手势对应的第二特征信息与所述第一特征信息进行比对;
滤除模块,用于当所述第二特征信息与所述第一特征信息的比对结果为不一致时,滤除所述目标手势。
10.一种电子设备,其特征在于,所述电子设备包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至8任一项所述的手势滤除方法的步骤。
CN202111556800.8A 2021-12-17 2021-12-17 手势滤除方法、装置及设备 Pending CN114299538A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111556800.8A CN114299538A (zh) 2021-12-17 2021-12-17 手势滤除方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111556800.8A CN114299538A (zh) 2021-12-17 2021-12-17 手势滤除方法、装置及设备

Publications (1)

Publication Number Publication Date
CN114299538A true CN114299538A (zh) 2022-04-08

Family

ID=80968565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111556800.8A Pending CN114299538A (zh) 2021-12-17 2021-12-17 手势滤除方法、装置及设备

Country Status (1)

Country Link
CN (1) CN114299538A (zh)

Similar Documents

Publication Publication Date Title
US8427440B2 (en) Contact grouping and gesture recognition for surface computing
CN109829368B (zh) 手掌特征的识别方法、装置、计算机设备及存储介质
US9378427B2 (en) Displaying handwritten strokes on a device according to a determined stroke direction matching the present direction of inclination of the device
CN109886127B (zh) 指纹识别方法及终端设备
US20100103092A1 (en) Video-based handwritten character input apparatus and method thereof
CN109710066B (zh) 基于手势识别的交互方法、装置、存储介质和电子设备
CN107450717B (zh) 一种信息处理方法及穿戴式设备
CN103455262A (zh) 一种基于移动计算平台的笔式交互方法及系统
US10359838B2 (en) Hand and finger line grid for hand based interactions
CN106598422B (zh) 混合操控方法及操控系统和电子设备
CN109146495B (zh) 快速安全启动支付的方法、装置及终端设备
CN106446643B (zh) 终端的控制方法及装置
JP2016071547A (ja) 情報処理装置とその制御方法、プログラム、記憶媒体
CN113170012A (zh) 基于指纹识别的交互方法、电子设备及相关装置
CN114063772B (zh) 手势识别方法、装置、设备及介质
CN113282164A (zh) 一种处理方法和装置
CN114299538A (zh) 手势滤除方法、装置及设备
US20170085784A1 (en) Method for image capturing and an electronic device using the method
WO2019201223A1 (zh) 屏幕显示的切换方法以及装置及存储介质
CN115880719A (zh) 手势深度信息生成方法、装置、设备和计算机可读介质
US20220050528A1 (en) Electronic device for simulating a mouse
CN115661927A (zh) 手语识别方法、装置、电子设备及存储介质
US20180188814A1 (en) Input method touch device using the input method, gesture detecting device, computer-readable recording medium, and computer program product
JP2013077180A (ja) 認識装置およびその制御方法
CN101770303A (zh) 一种实现光学手指鼠标方向识别的方法及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination