CN117133045A - 手势识别方法、装置、设备及介质 - Google Patents

手势识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN117133045A
CN117133045A CN202311022333.XA CN202311022333A CN117133045A CN 117133045 A CN117133045 A CN 117133045A CN 202311022333 A CN202311022333 A CN 202311022333A CN 117133045 A CN117133045 A CN 117133045A
Authority
CN
China
Prior art keywords
hand
gesture
target
gesture recognition
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311022333.XA
Other languages
English (en)
Inventor
吴张耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN202311022333.XA priority Critical patent/CN117133045A/zh
Publication of CN117133045A publication Critical patent/CN117133045A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof

Abstract

本申请公开了一种手势识别方法、装置、设备及介质，属于手势识别技术领域。在本申请中，首先，通过穿戴在目标手部的第一手势识别装置上、面向目标手部一侧的第一摄像头阵列，采集得到目标手部的第一手部画面；通过穿戴在目标手部对侧手部的第二手势识别装置上、面向目标手部一侧的第二摄像头阵列，采集得到目标手部的第二手部画面。然后，通过第一手部画面和第二手部画面确定目标手部的目标手势动作。从而相较于单一画面识别手势动作，可以避免手势动作存在重叠或者设备视角被遮挡时，无法拍摄得到手势影像而无法对手势动作进行识别的情况，同时，通过多个手部画面可以对确定目标手部的目标手势动作进行精准识别。

Description

手势识别方法、装置、设备及介质
技术领域
本申请涉及手势识别的技术领域，尤其涉及一种手势识别方法、手势识别装置、手势识别设备及计算机可读存储介质。
背景技术
目前，在现有的虚拟现实产品中，部分厂家通过单一的深度摄像头来采集手势影像以识别手势动作，但当手势动作存在重叠或者设备视角被遮挡时，深度摄像头无法拍摄得到手势影像，进而无法对手势动作进行识别。可见，现有的手部交互套件对手势动作的识别效果不佳，使得用户在虚拟现实场景下难以获得沉浸式体验。
发明内容
本申请的主要目的在于提供一种手势识别方法、手势识别装置、手势识别设备及计算机可读存储介质，旨在对佩戴者的手势动作进行精确识别。
为实现上述目的，本申请提供一种手势识别方法，所述方法包括：
获取第一手部画面和第二手部画面，其中，所述第一手部画面为穿戴于目标手部的第一手势识别装置采集的所述目标手部的手部画面，所述第二手部画面为穿戴于目标手部对侧手部的第二手势识别装置采集的所述目标手部的手部画面；
基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作。
示例性的，所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤，包括：
基于所述第一手部画面和所述第二手部画面，构建所述目标手部的手部三维模型；
基于所述手部三维模型确定所述目标手部的目标手势动作。
示例性的，所述基于所述手部三维模型确定所述目标手部的目标手势动作的步骤，包括：
基于所述手部三维模型确定所述目标手部在执行手势动作过程中的手部空间姿态变化；
通过识别所述手部空间姿态变化确定所述目标手部的目标手势动作。
示例性的，所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤，包括：
识别所述第一手部画面中所述目标手部的第一手势动作，识别所述第二手部画面中所述目标手部的第二手势动作；
在所述第一手势动作和所述第二手势动作不相同时，确定所述目标手部的目标手势动作为所述第一手势动作和所述第二手势动作中可信度较高的手势动作。
示例性的，所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤，包括：
识别所述第一手部画面中所述目标手部的第一手势动作列表，识别所述第二手部画面中所述目标手部的第二手势动作列表；其中，所述手势动作列表中包括通过识别手部画面中所述目标手部得到的多个待定手势动作，以及所述待定手势动作对应的手势得分；
基于所述第一手势动作列表和所述第二手势动作列表，确定所述目标手部的目标手势动作为所述手势得分最高的所述待定手势动作。
示例性的，所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤之后，包括：
获取所述目标手部的空间位置；
基于所述目标手势动作和所述空间位置，对目标虚拟对象进行姿态控制。
本申请还提供一种手势识别装置，所述装置穿戴于目标手部，包括：
本体，用于被穿戴时固定在所述目标手部；
第一摄像头阵列，安装于所述本体上面向所述目标手部一侧，用于采集所述目标手部的手部画面；
第二摄像头阵列，安装于所述本体上面向所述目标手部对侧手部一侧，用于采集所述目标手部对侧手部的手部画面。
示例性的，所述装置还包括：
空间位置采集装置，安装于所述本体上，用于采集所述目标手部的空间位置。
本申请还提供一种手势识别设备，所述手势识别设备包括：如上所述的手势识别装置、存储器、处理器、及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的手势识别方法的步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的手势识别方法的步骤。
本申请实施例提出的一种手势识别方法、手势识别装置、手势识别设备及计算机可读存储介质,手势识别装置穿戴于目标手部，包括：本体，用于被穿戴时固定在所述目标手部；第一摄像头阵列，安装于所述本体上面向所述目标手部一侧，用于采集所述目标手部的手部画面；第二摄像头阵列，安装于所述本体上面向所述目标手部对侧手部一侧，用于采集所述目标手部对侧手部的手部画面。
获取第一手部画面和第二手部画面，其中，所述第一手部画面为穿戴于目标手部的第一手势识别装置采集的所述目标手部的手部画面，所述第二手部画面为穿戴于目标手部对侧手部的第二手势识别装置采集的所述目标手部的手部画面；基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作。
在本申请中，首先，通过穿戴在目标手部的第一手势识别装置上、面向目标手部一侧的第一摄像头阵列，采集得到目标手部的第一手部画面；通过穿戴在目标手部对侧手部的第二手势识别装置上、面向目标手部一侧的第二摄像头阵列，采集得到目标手部的第二手部画面。然后，通过第一手部画面和第二手部画面确定目标手部的目标手势动作。从而相较于单一画面识别手势动作，可以避免手势动作存在重叠或者设备视角被遮挡时，无法拍摄得到手势影像而无法对手势动作进行识别的情况，同时，通过多个手部画面可以对确定目标手部的目标手势动作进行精准识别。
附图说明
图1是本申请实施例方案涉及的硬件运行环境的运行设备的结构示意图；
图2为本申请实施例方案涉及的手势识别装置一实施例的结构示意图；
图3为本申请实施例方案涉及的手势识别装置一实施例的摄像头阵列示意图；
图4为本申请实施例方案涉及的手势识别装置一实施例的穿戴示意图；
图5为本申请实施例方案涉及的手势识别装置一实施例外环摄像头范围示意图；
图6为本申请实施例方案涉及的手势识别装置一实施例中环摄像头范围示意图；
图7为本申请实施例方案涉及的手势识别装置一实施例红外LED阵列示意图；
图8为本申请实施例方案涉及的手势识别装置一实施例电容传感器示意图；
图9为本申请实施例方案涉及的手势识别装置一实施例装置示意图；
图10为本申请实施例方案涉及的手势识别方法一实施例的流程示意图；
图11为本申请实施例方案涉及的手势识别方法一应用场景的应用示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，图1为本申请实施例方案涉及的硬件运行环境的运行设备结构示意图。
如图1所示，该运行设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对运行设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及计算机程序。
在图1所示的运行设备中，网络接口1004主要用于与其他设备进行数据通信；用户接口1003主要用于与用户进行数据交互；本申请运行设备中的处理器1001、存储器1005可以设置在运行设备中，所述运行设备通过处理器1001调用存储器1005中存储的计算机程序，并执行以下操作：
获取第一手部画面和第二手部画面，其中，所述第一手部画面为穿戴于目标手部的第一手势识别装置采集的所述目标手部的手部画面，所述第二手部画面为穿戴于目标手部对侧手部的第二手势识别装置采集的所述目标手部的手部画面；
基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作。
在一实施例中，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：
所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤，包括：
基于所述第一手部画面和所述第二手部画面，构建所述目标手部的手部三维模型；
基于所述手部三维模型确定所述目标手部的目标手势动作。
在一实施例中，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：
所述基于所述手部三维模型确定所述目标手部的目标手势动作的步骤，包括：
基于所述手部三维模型确定所述目标手部在执行手势动作过程中的手部空间姿态变化；
通过识别所述手部空间姿态变化确定所述目标手部的目标手势动作。
在一实施例中，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：
所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤，包括：
识别所述第一手部画面中所述目标手部的第一手势动作，识别所述第二手部画面中所述目标手部的第二手势动作；
在所述第一手势动作和所述第二手势动作不相同时，确定所述目标手部的目标手势动作为所述第一手势动作和所述第二手势动作中可信度较高的手势动作。
在一实施例中，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：
所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤，包括：
识别所述第一手部画面中所述目标手部的第一手势动作列表，识别所述第二手部画面中所述目标手部的第二手势动作列表；其中，所述手势动作列表中包括通过识别手部画面中所述目标手部得到的多个待定手势动作，以及所述待定手势动作对应的手势得分；
基于所述第一手势动作列表和所述第二手势动作列表，确定所述目标手部的目标手势动作为所述手势得分最高的所述待定手势动作。
在一实施例中，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：
所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤之后，包括：
获取所述目标手部的空间位置；
基于所述目标手势动作和所述空间位置，对目标虚拟对象进行姿态控制。
本申请实施例提供一种手势识别装置，所述装置穿戴于目标手部，包括：
本体，用于被穿戴时固定在所述目标手部；
第一摄像头阵列，安装于所述本体上面向所述目标手部一侧，用于采集所述目标手部的手部画面；
第二摄像头阵列，安装于所述本体上面向所述目标手部对侧手部一侧，用于采集所述目标手部对侧手部的手部画面。
在一实施例中，参照图2，手势识别装置的本体包括内环、中环和外环。参照图3，在本体上安装有摄像头阵列，第一摄像头阵列安装于本体上面向目标手部一侧，即安装于外环，用于采集目标手部的手部画面，第二摄像头阵列安装于本体上面向目标手部对侧手部一侧，即安装于中环，用于采集目标手部对侧手部的手部画面。在本实施例中，不限定摄像头阵列的摄像头数量、安装位置和角度。
用户穿戴手势识别装置时的状态如图4所示，对于左手上的手势识别装置，参照图5，外环上的第一摄像头阵列采集左手的手部画面，参照图6，中环上的第二摄像头阵列采集右手的手部画面；同理，对于右手上的手势识别装置，外环上的第一摄像头阵列采集右手的手部画面，中环上的第二摄像头阵列采集左手的手部画面。
另外，本申请提供的手势识别装置，采用下述实施例中的手势识别方法，对佩戴者的手势动作进行精确识别。与常规技术相比，本申请实施例提供的手势识别装置的有益效果与下述实施例提供的手势识别方法的有益效果相同，且手势识别装置中的其他技术特征与上述实施例方法公开的特征相同，在此不做赘述。
示例性的，所述装置还包括：
空间位置采集装置，安装于所述本体上，用于采集所述目标手部的空间位置。
在本实施例中，手势识别装置还包括空间位置采集装置，安装在本体表面或者本体内部，用于采集目标手部的空间位置。在一实施例中，首先获取尽可能多的不同角度的手部画面以及尽可能准确的目标手部的空间位置，然后识别手部画面中的手势动作，最后结合手环空间位置进行手势交互。
参照图7，在一实施例中，空间位置采集装置为红外LED阵列，借助头戴式显示设备的红外摄像头捕捉手环红外LED的空间位置和动态情况，确定目标手部的空间位置，进而协助进行手势识别。
参照图8，在一实施例中，手势识别装置还包括电容传感器，电容传感器设置于手环内侧靠近手部的位置，从而利用电容电压变化自动检测用户是否佩戴手环，避免在没有佩戴的场景下手势误判和电量消耗。
参照图9，在一实施例中，手环包括主芯片、摄像头阵列、蓝牙通信模块、充电模块、电容传感器、振动马达、IMU(惯性传感器)、红外LED阵列等。
本申请实施例提供了一种手势识别方法，参照图10，在手势识别方法的一实施例中，所述方法包括：
步骤S10，获取第一手部画面和第二手部画面，其中，所述第一手部画面为穿戴于目标手部的第一手势识别装置采集的所述目标手部的手部画面，所述第二手部画面为穿戴于目标手部对侧手部的第二手势识别装置采集的所述目标手部的手部画面；
步骤S20，基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作。
在现有的虚拟现实产品中，大多数厂家采用手柄作为手部交互套件，这使得用户在虚拟现实场景下的操作依赖于手柄实现，而借助手柄只能完成预先设定好的极为有限的操作，难以实现握拳、抓取以及拍掌等手势动作，用户在虚拟现实场景中缺乏沉浸式体验。部分厂家通过单一的深度摄像头来采集手势影像以识别手势动作，但当手势动作存在重叠或者设备视角被遮挡时，深度摄像头无法拍摄得到手势影像，进而无法对手势动作进行识别。可见，现有的手部交互套件对手势动作的识别效果不佳，使得用户在虚拟现实场景下难以获得沉浸式体验。
在本实施例中，获取穿戴于目标手部的第一手势识别装置采集的目标手部的第一手部画面，以及穿戴于目标手部对侧手部的第二手势识别装置采集的目标手部的第二手部画面，基于第一手部画面和第二手部画面确定目标手部的目标手势动作。从而避免了因手势动作重叠或者视角遮挡而无法识别手势动作的情况发生，实现对佩戴者的手势动作进行全方位的精确识别，从而协助佩戴者在虚拟现实场景下获得沉浸式体验。
另外，目前市面上大部分头戴式显示设备都是通过手柄或手套来进行互动，比较缺乏沉浸感。在本实施例中，手势识别装置为手环，用户无需握持手柄也不用带手套，只需穿戴上左右双手的两个手环，并通过两手环上的摄像头采集同一手部的不同手部画面来进行精准的手势识别，即可配合头戴式显示设备进行使用，从而彻底解放双手，增加沉浸感。进一步的，头戴式显示设备可以是XR(扩展现实)头戴式显示设备，包括AR(增强现实)头戴式显示设备、VR(虚拟现实)头戴式显示设备和MR(混合现实)头戴式显示设备。
示例性的，所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤，包括：
基于所述第一手部画面和所述第二手部画面，构建所述目标手部的手部三维模型；
基于所述手部三维模型确定所述目标手部的目标手势动作。
在本实施例中，提供第一种根据第一手部画面和第二手部画面确定目标手部的目标手势动作的方法。
在根据第一手部画面和第二手部画面确定目标手部的目标手势动作时，首先根据第一手部画面和第二手部画面构建目标手部的手部三维模型，然后基于手部三维模型确定目标手部的目标手势动作。在本实施例中，对根据手部画面构建目标手部的手部三维模型的方法不做限定。
相较于通过采集到的单个手部画面构建得到的目标手部的手部三维模型，在本实施例中，通过穿戴于目标手部的第一手势识别装置采集的目标手部的第一手部画面，以及穿戴于目标手部对侧手部的第二手势识别装置采集的目标手部的第二手部画面，共同构建得到更加精准的目标手部的手部三维模型，进而识别得到更加精准的目标手部的目标手势动作。
示例性的，所述基于所述手部三维模型确定所述目标手部的目标手势动作的步骤，包括：
基于所述手部三维模型确定所述目标手部在执行手势动作过程中的手部空间姿态变化；
通过识别所述手部空间姿态变化确定所述目标手部的目标手势动作。
在根据手部三维模型确定目标手部的目标手势动作时，首先根据手部三维模型确定目标手部在执行手势动作过程中的手部空间姿态变化，确定目标手部在一段动作变化时间内的手势变化，然后通过识别手部空间姿态变化确定目标手部的目标手势动作。在本实施例中，不限定识别手部空间姿态变化确定目标手部的目标手势动作的方法。
示例性的，所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤，包括：
识别所述第一手部画面中所述目标手部的第一手势动作，识别所述第二手部画面中所述目标手部的第二手势动作；
在所述第一手势动作和所述第二手势动作不相同时，确定所述目标手部的目标手势动作为所述第一手势动作和所述第二手势动作中可信度较高的手势动作。
在本实施例中，提供第二种根据第一手部画面和第二手部画面确定目标手部的目标手势动作的方法。
在根据第一手部画面和第二手部画面确定目标手部的目标手势动作时，如果识别到的第一手部画面中目标手部的第一手势动作和第二手部画面中目标手部的第二手势动作不相同时，确定目标手部的目标手势动作为第一手势动作和第二手势动作中可信度较高的手势动作。
以左手食指轻微双击的手势动作为例，对于穿戴于左手的第一手势识别装置采集的左手的第一手部画面，由于是从手腕处进行拍摄，存在拍摄角度和位置的影响，识别到的第一手势动作可能只是食指一次上下运动，甚至可能存在识别不到的情况；而对于穿戴于右手的第二手势识别装置采集的左手的第二手部画面，由于是从右手进行侧面拍摄，可以清晰的拍摄得到左手食指的两次上下摆动。此时，第二手势动作的可信度显然高于第一手势动作。
在本实施例中，可以预先对于各种可能用到的手势动作进行标定，预置第一手势动作和第二手势动作的可信度，在二者不相同时，确定目标手部的目标手势动作为第一手势动作和第二手势动作中可信度较高的手势动作。
示例性的，所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤，包括：
识别所述第一手部画面中所述目标手部的第一手势动作列表，识别所述第二手部画面中所述目标手部的第二手势动作列表；其中，所述手势动作列表中包括通过识别手部画面中所述目标手部得到的多个待定手势动作，以及所述待定手势动作对应的手势得分；
基于所述第一手势动作列表和所述第二手势动作列表，确定所述目标手部的目标手势动作为所述手势得分最高的所述待定手势动作。
在本实施例中，提供第三种根据第一手部画面和第二手部画面确定目标手部的目标手势动作的方法。
在根据第一手部画面和第二手部画面确定目标手部的目标手势动作时，识别第一手部画面中目标手部的第一手势动作列表以及第二手部画面中目标手部的第二手势动作列表，在手势动作列表中存储有识别手部画面中目标手部得到的多个待定手势动作，以及待定手势动作对应的手势得分。然后，根据第一手势动作列表和第二手势动作列表，确定目标手部的目标手势动作为手势得分最高的待定手势动作。
例如，在第一手势动作列表中，存储着识别第一手部画面中目标手部的各个待定手势动作，如待定手势动作1,2,3...n,手势得分分别为80,30,60,10,90...s。在第二手势动作列表中，存储着识别第二手部画面中目标手部的各个待定手势动作，如待定手势动作1,2,3...n,手势得分分别为20,50,10,80,90...t。然后，确定待定手势动作1,2,3...n的总手势得分为80+20,30+50,60+10,10+80,90+90...s+t，最后确定目标手部的目标手势动作为手势得分最高的待定手势动作。
示例性的，所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤之后，包括：
获取所述目标手部的空间位置；
基于所述目标手势动作和所述空间位置，对目标虚拟对象进行姿态控制。
在本实施例中，手势识别装置还包括空间位置采集装置，安装在本体表面或者本体内部，用于采集目标手部的空间位置。在一实施例中，首先获取尽可能多的不同角度的手部画面以及尽可能准确的目标手部的空间位置，然后识别手部画面中的手势动作，最后结合手环空间位置进行手势交互。
参照图7，在一实施例中，空间位置采集装置为红外LED阵列，借助头戴式显示设备的红外摄像头捕捉手环红外LED的空间位置和动态情况，确定目标手部的空间位置，进而协助进行手势识别。
参照图11，在本申请一种手势识别方法一应用场景中，以左手为例，左手手环摄像头拍摄到左手的画面，右手手环摄像头拍摄到左手的画面，将目标(左手)同一时刻、不同角度的画面传输至中央处理模组，通过算法识别出此时目标手势，然后将目标手势动作发送至VR设备，同时VR设备通过摄像头识别到手环的红外线LED阵列空间位置，最终结合目标手势动作、手环空间位置，VR设备对照预设“手势库”，识别用户的手势(单手和双手)，形成交互。
在本实施例中，首先，通过穿戴在目标手部的第一手势识别装置上、面向目标手部一侧的第一摄像头阵列，采集得到目标手部的第一手部画面；通过穿戴在目标手部对侧手部的第二手势识别装置上、面向目标手部一侧的第二摄像头阵列，采集得到目标手部的第二手部画面。然后，通过第一手部画面和第二手部画面确定目标手部的目标手势动作。从而相较于单一画面识别手势动作，可以避免手势动作存在重叠或者设备视角被遮挡时，无法拍摄得到手势影像而无法对手势动作进行识别的情况，同时，通过多个手部画面可以对确定目标手部的目标手势动作进行精准识别。
此外，本申请实施例还提供一种手势识别设备，所述手势识别设备包括：如上所述的手势识别装置、存储器、处理器、及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的手势识别方法的步骤。
此外，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的手势识别方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对常规技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种手势识别方法，其特征在于，所述方法包括：
获取第一手部画面和第二手部画面，其中，所述第一手部画面为穿戴于目标手部的第一手势识别装置采集的所述目标手部的手部画面，所述第二手部画面为穿戴于目标手部对侧手部的第二手势识别装置采集的所述目标手部的手部画面；
基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作。
2.如权利要求1所述的手势识别方法，其特征在于，所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤，包括：
基于所述第一手部画面和所述第二手部画面，构建所述目标手部的手部三维模型；
基于所述手部三维模型确定所述目标手部的目标手势动作。
3.如权利要求2所述的手势识别方法，其特征在于，所述基于所述手部三维模型确定所述目标手部的目标手势动作的步骤，包括：
基于所述手部三维模型确定所述目标手部在执行手势动作过程中的手部空间姿态变化；
通过识别所述手部空间姿态变化确定所述目标手部的目标手势动作。
4.如权利要求1所述的手势识别方法，其特征在于，所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤，包括：
识别所述第一手部画面中所述目标手部的第一手势动作，识别所述第二手部画面中所述目标手部的第二手势动作；
在所述第一手势动作和所述第二手势动作不相同时，确定所述目标手部的目标手势动作为所述第一手势动作和所述第二手势动作中可信度较高的手势动作。
5.如权利要求1所述的手势识别方法，其特征在于，所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤，包括：
识别所述第一手部画面中所述目标手部的第一手势动作列表，识别所述第二手部画面中所述目标手部的第二手势动作列表；其中，所述手势动作列表中包括通过识别手部画面中所述目标手部得到的多个待定手势动作，以及所述待定手势动作对应的手势得分；
基于所述第一手势动作列表和所述第二手势动作列表，确定所述目标手部的目标手势动作为所述手势得分最高的所述待定手势动作。
6.如权利要求1所述的手势识别方法，其特征在于，所述基于所述第一手部画面和所述第二手部画面，确定所述目标手部的目标手势动作的步骤之后，包括：
获取所述目标手部的空间位置；
基于所述目标手势动作和所述空间位置，对目标虚拟对象进行姿态控制。
7.一种手势识别装置，其特征在于，所述装置穿戴于目标手部，包括：
本体，用于被穿戴时固定在所述目标手部；
第一摄像头阵列，安装于所述本体上面向所述目标手部一侧，用于采集所述目标手部的手部画面；
第二摄像头阵列，安装于所述本体上面向所述目标手部对侧手部一侧，用于采集所述目标手部对侧手部的手部画面。
8.如权利要求7所述的手势识别装置，其特征在于，所述装置还包括：
空间位置采集装置，安装于所述本体上，用于采集所述目标手部的空间位置。
9.一种手势识别设备，其特征在于，所述手势识别设备包括：如权利要求7或8所述的手势识别装置、存储器、处理器、及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的手势识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的手势识别方法的步骤。
CN202311022333.XA 2023-08-14 2023-08-14 手势识别方法、装置、设备及介质 Pending CN117133045A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311022333.XA CN117133045A (zh) 2023-08-14 2023-08-14 手势识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311022333.XA CN117133045A (zh) 2023-08-14 2023-08-14 手势识别方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN117133045A true CN117133045A (zh) 2023-11-28

Family

ID=88860905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311022333.XA Pending CN117133045A (zh) 2023-08-14 2023-08-14 手势识别方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117133045A (zh)

Similar Documents

Publication Publication Date Title
US11861070B2 (en) Hand gestures for animating and controlling virtual and graphical elements
US20220326781A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
US11925863B2 (en) Tracking hand gestures for interactive game control in augmented reality
US20230117197A1 (en) Bimanual gestures for controlling virtual and graphical elements
CN106873778B (zh) 一种应用的运行控制方法、装置和虚拟现实设备
CN114303120A (zh) 虚拟键盘
US11782514B2 (en) Wearable device and control method thereof, gesture recognition method, and control system
CN114402589A (zh) 用于2d和3d图形用户界面中的元素映射的智能触笔光束和辅助概率输入
US20220269333A1 (en) User interfaces and device settings based on user identification
CN112764525B (zh) 虚拟化身运动生成方法和头戴式显示器系统
US20190384419A1 (en) Handheld controller, tracking method and system using the same
WO2021073743A1 (en) Determining user input based on hand gestures and eye tracking
CN111630478A (zh) 高速交错双眼跟踪系统
US11328187B2 (en) Information processing apparatus and information processing method
US20190339768A1 (en) Virtual reality interaction system and method
TWI634453B (zh) 在虛擬實境環境瀏覽時進行畫面切換之系統及方法，及其相關電腦程式產品
CN117133045A (zh) 手势识别方法、装置、设备及介质
JP2018032383A (ja) 仮想空間における入力を支援するための方法および装置ならびに当該方法をコンピュータに実行させるプログラム
US11054941B2 (en) Information processing system, information processing method, and program for correcting operation direction and operation amount
CN116610214A (zh) 虚实结合的画面显示方法及装置、设备、存储介质
EP3813018A1 (en) Virtual object operating system and virtual object operating method
CN116166161A (zh) 基于多层级菜单的交互方法及相关设备
EP4295251A1 (en) User interfaces and device settings based on user identification
EP4338164A1 (en) Virtual guided fitness routines for augmented reality experiences
CN117784926A (zh) 控制装置、控制方法和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination