CN109977906B - 手势识别方法及系统、计算机设备及存储介质 - Google Patents

手势识别方法及系统、计算机设备及存储介质 Download PDF

Info

Publication number
CN109977906B
CN109977906B CN201910269829.4A CN201910269829A CN109977906B CN 109977906 B CN109977906 B CN 109977906B CN 201910269829 A CN201910269829 A CN 201910269829A CN 109977906 B CN109977906 B CN 109977906B
Authority
CN
China
Prior art keywords
face
gesture
boundary
track
effective
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910269829.4A
Other languages
English (en)
Other versions
CN109977906A (zh
Inventor
董健
张军
张明
王禹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RUIMO INTELLIGENT TECHNOLOGY (SHENZHEN) Co.,Ltd.
Original Assignee
Dongguan Songshan Lake International Robot Research Institute Co ltd
Ruimo Intelligent Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Songshan Lake International Robot Research Institute Co ltd, Ruimo Intelligent Technology Shenzhen Co ltd filed Critical Dongguan Songshan Lake International Robot Research Institute Co ltd
Priority to CN201910269829.4A priority Critical patent/CN109977906B/zh
Publication of CN109977906A publication Critical patent/CN109977906A/zh
Application granted granted Critical
Publication of CN109977906B publication Critical patent/CN109977906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种手势识别方法及系统、计算机设备及存储介质，其包括如下步骤：得到拍摄影像中当前帧图片中所有的人脸边界框和手势边界框；根据所述人脸边界框的位置信息更新人脸轨迹列表；若所述人脸轨迹列表存在有效人脸轨迹，根据预设绑定规则将当前帧图片的手势边界框与有效人脸轨迹的当前帧图片的人脸边界框进行绑定；获取所述有效人脸轨迹中的有效手势类别。本发明通过人脸与手势一起联合识别的方式，可以有效防止用户在不知情或其他动作姿态下误触发手势动作对应的控制指令；同时将人脸轨迹与手势边界框匹配绑定，借助于人脸的强识别性，能可靠地识别手势动作，提高了手势识别的准确性，也提高了用户使用体验。

Description

手势识别方法及系统、计算机设备及存储介质
技术领域
本发明涉及摄像技术领域，尤其是涉及一种手势识别方法及系统、计算机设备及存储介质。
背景技术
手势识别使人们能够与设备进行通信，并且无需任何机械设备即可自然交互。手势识别作为人机交互的重要组成部分，其研究发展影响着人机交互的自然性和灵活性。目前大多数研究者均将注意力集中在手势的最终识别方面，通常会将手势背景简化，并在单一背景下利用所研究的算法将手势进行分割，然后采用常用的识别方法将手势表达的含义通过系统分析出来。但在现实应用中，手势通常处于复杂的环境下。
在二维图像中手势识别技术多采用基于计算机视觉的模板匹配方法来对捕获的手势图像进行识别，其过程主要步骤包括：1.采用摄像头获取图像；2.对手势进行检测，获取手势所在的区域；3.对手势区域进行识别，获取其手势类别，此过程一般采用模板匹配技术；4.如果识别为有效的手势，则进行相应的操作，如果不是，则忽略，继续循环执行。
上述技术在实际复杂的人机交互环境中会遇到一些问题，例如：1.可能在用户非主观意图下误触发手势；2.无法处理多人场景下的手势交互任务；3.难以在动态行为中可靠的识别用户手势。
发明内容
基于此，有必要针对现有技术的不足，提供一种手势识别方法及系统、计算机设备及存储介质，通过人脸与手势一起联合识别的方式，能可靠地识别手势动作，提高手势识别的准确性及用户使用体验。
为解决上述技术问题，本发明采用以下技术方案：
本发明提供了一种手势识别方法，其包括如下步骤：
A、实时检测拍摄影像中的人脸和手势，得到拍摄影像中当前帧图片中所有的人脸边界框和手势边界框；
B、根据所述人脸边界框的位置信息更新人脸轨迹列表；
C、若所述人脸轨迹列表中存在有效人脸轨迹，根据预设绑定规则将当前帧图片的手势边界框与有效人脸轨迹的当前帧图片的人脸边界框进行绑定；
D、识别当前帧图片中与有效人脸轨迹匹配的手势边界框的手势类别，获取所述有效人脸轨迹中的有效手势类别。
第二方面，本发明提供了一种手势识别系统，其包括：
检测模块，用于实时检测拍摄影像中的人脸和手势，得到拍摄影像中当前帧图片中所有的人脸边界框和手势边界框；
人脸轨迹模块，用于根据所述人脸边界框的位置信息更新人脸轨迹列表；
轨迹判断模块，用于判断所述人脸轨迹列表是否存在有效人脸轨迹；
手势绑定模块，用于根据预设绑定规则将当前帧图片的手势边界框与有效人脸轨迹的当前帧图片的人脸边界框进行绑定；
手势识别处理模块，用于识别当前帧图片中与有效人脸轨迹匹配的手势边界框的手势类别，获取所述有效人脸轨迹中的有效手势类别。
第三方面，本发明提供了一种计算机设备，其包括存储器及处理器；所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的手势识别方法。
第四方面，本发明提供了一种存储介质，其存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被执行时实现上述的手势识别方法。
综上所述，本发明提供的一种手势识别方法及系统、计算机设备及存储介质通过人脸与手势一起联合识别的方式，可以有效防止用户在不知情或其他动作姿态下误触发手势动作对应的控制指令；同时使用动态的人脸轨迹进行识别，可以很方便处理多人模式下的手势识别且误触发率极低，在很大程度上区别于传统的手势识别方法，将人脸轨迹与手势边界框匹配绑定，借助于人脸的强识别性，即使用户在手势识别期间有一定的其他手势动作行为，也可以可靠地识别手势动作对应的控制指令并执行，提高了手势识别的准确性，也提高了用户使用体验。
附图说明
图1为本发明实施例提供的第一种手势识别方法的流程示意图。
图2为本发明实施例提供的第二种手势识别方法的流程示意图。
图3为本发明实施例提供的第三种手势识别方法的流程示意图。
图4为本发明实施例提供的第四种手势识别方法的流程示意图。
图5为本发明实施例提供的一种手势识别方法的具体流程示意图。
图6为本发明实施例提供的第一种手势识别系统的结构框图。
图7为本发明实施例提供的第二种手势识别系统的结构框图。
图8为本发明实施例提供的第三种手势识别系统的结构框图。
图9为本发明提供的一种计算机设备的结构框图。
具体实施方式
为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。
图1是本发明实施例提供的第一种手势识别方法的流程示意图，如图1所示，该手势识别方法，具体包括如下步骤：
步骤S110、实时检测拍摄影像中的人脸和手势，得到拍摄影像中当前帧图片中所有的人脸边界框和手势边界框；
步骤S120、根据所述人脸边界框的位置信息更新人脸轨迹列表；其中所述人脸轨迹列表由不同的人脸轨迹组成，所述人脸轨迹为一具有同一人脸ID的人脸边界框的集合，每一人脸轨迹对应一人脸ID。
具体地，人脸轨迹为拍摄影像中相同人脸ID在每帧图片中的人脸边界框的集合；所述人脸边界框的位置信息包括人脸边界框的坐标信息和面积信息。
在一个实施例中，所述步骤S120、根据所述人脸边界框的位置信息更新人脸轨迹列表的方法，包括：
步骤S121、根据人脸边界框的坐标信息和面积信息分别判断当前帧图片的人脸边界框与人脸轨迹列表中的各人脸轨迹的人脸边界框是否均不匹配，若否，执行步骤S123；若是，执行步骤S122。
步骤S122、给当前帧图片中的人脸边界框分配一新人脸ID，根据当前帧图片的人脸边界框的位置信息及对应的新人脸ID在人脸轨迹列表中创建一新的人脸轨迹。
步骤S123、将当前帧图片的人脸边界框的位置信息作为对应匹配的人脸轨迹在最新帧图片中的人脸边界框的位置信息更新于人脸轨迹列表中。
具体地，在人脸轨迹列表中找到与当前帧图片的人脸边界框匹配的人脸轨迹的人脸边界框，再将人脸轨迹列表中此人脸轨迹的人脸边界框的位置信息更新为当前帧图片的人脸边界框的位置信息，从而完成对人脸轨迹列表的更新动作。
其中，当前帧图片中的人脸边界框与人脸轨迹列表中的人脸轨迹的人脸边界框的匹配条件为：当前帧图片中的人脸边界框与人脸轨迹在当前帧图片的前N帧图片中的某一帧图片中的人脸边界框两者交集区域的面积与两者并集区域的面积之比大于等于第一预置阈值，例如第一预置阈值设定为0.5，当两者交集区域的面积与两者并集区域的面积之比大于等于0.5时，则认为当前帧图片中的人脸边界框与人脸轨迹的人脸边界框匹配成功。
在一个实施例中，所述步骤S121、根据人脸边界框的坐标信息和面积信息分别判断当前帧图片的人脸边界框与人脸轨迹列表中的各人脸轨迹的人脸边界框是否均不匹配，若否，执行步骤S123；若是，执行步骤S122，具体包括：
根据人脸边界框的位置信息和面积判断当前帧图片中的人脸边界框与人脸轨迹列表中其中一人脸轨迹的最临近的一帧图片中的人脸边界框是否匹配，若否，沿该人脸轨迹往前回溯一帧图片，继续进行匹配判断，直到回溯N帧图片为止；若当前图片帧的人脸边界框与该人脸轨迹回溯的N帧图片中的人脸边界框均不匹配，则切换到人脸轨迹列表中的另一人脸轨迹进行匹配判断；当判断出当前帧图片的人脸边界框与人脸轨迹列表中的一人脸轨迹的某一帧图片中的人脸边界框匹配成功时，则执行步骤S123；当判断出当前帧图片的人脸边界框与人脸轨迹列表中各个人脸轨迹的人脸边界框均不匹配时，执行步骤S122。
步骤S130、判断所述人脸轨迹列表是否存在有效人脸轨迹，若所述人脸轨迹列表中存在有效人脸轨迹，则执行步骤S140；若所述人脸轨迹列表中不存在有效人脸轨迹，则返回执行步骤S110。
步骤S140、根据预设绑定规则将当前帧图片的手势边界框与有效人脸轨迹的当前帧图片的人脸边界框进行绑定；
步骤S150、识别当前帧图片中与有效人脸轨迹匹配的手势边界框的手势类别，获取所述有效人脸轨迹中的有效手势类别。
具体地，在当前帧图片中为每个有效人脸轨迹分配一个手势边界框，如果人脸轨迹列表中的某个有效人脸轨迹在当前帧图片中不存在匹配的手势边界框，则将其置为空，例如，默认分配一个手势ID＝0的手势类别作为背景类别分配给该有效人脸轨迹。
图2是本发明实施例提供的第二种手势识别方法的流程示意图，如图2所示，所述步骤S130前，还包括：
步骤S210、判断拍摄影像的图片中是否存在目标对象边界框，若是，执行步骤S220；若否，将所有人脸轨迹都作为有效人脸轨迹，执行步骤S130；其中，目标对象边界框为拍摄影像中选定的人物对象对应的人像边界框；
步骤S220、根据人脸轨迹的最新帧图片中的人脸边界框的坐标信息和面积信息判断是否存在人脸轨迹位于所述目标对象边界框内；若否，返回执行步骤S110；若是，删除位于目标对象边界框外部的人脸轨迹，位于所述目标对象边界框内的人脸轨迹为有效人脸轨迹，执行步骤S130。
在一个实施例中，所述步骤S220、根据人脸轨迹的最新的人脸边界框的坐标信息和面积信息判断是否存在人脸轨迹位于所述目标对象边界框内的方法，具体包括：根据人脸边界框的坐标信息和面积信息判断每一人脸轨迹最新帧图片中的人脸边界框与目标对象边界框的交集区域的面积与该最新帧图片中的人脸边界框的面积之比是否大于等于第二预置阈值；若是，则判断出对应的人脸轨迹位于所述目标对象边界框内；若否，则判断出对应的人脸轨迹位于所述目标对象边界框外部。
在人脸轨迹列表中的人脸轨迹生成后，拍摄影像内的每一帧图片会存在多条人脸轨迹，本实施例提供的手势识别方法有效地保证了在摄像机摄影中对目标对象的手势识别，有效移除目标对象边界框外的人脸轨迹对最终手势识别结果造成的干扰，以提高手势识别的准确性。
在一个实施例中，所述步骤S140、根据预设绑定规则将当前帧图片的手势边界框与有效人脸轨迹的当前帧图片的人脸边界框进行绑定的方法，包括：
步骤S141、分别计算有效人脸轨迹的当前帧图片中的各人脸边界框与各手势边界框之间的归一化距离l，其中，
Figure BDA0002018012370000071
SH为手势边界框的面积，SF为人脸边界框的面积，d为手势边界框的中心点与人脸边界框的中心点的距离；
步骤S142、根据计算的归一化距离l生成各人脸边界框与各手势边界框之间的距离关联表；
步骤S143、在距离关联表中按人脸ID从小到大依次对人脸ID对应的人脸边界框的归一化距离l进行升序排列，以得到每个人脸ID对应的人脸边界框的最小的归一化距离l，若所述最小的归一化距离l小于等于预置距离，则将其对应的手势边界框与对应的人脸边界框进行绑定；其中若某一手势边界框和人脸边界框已绑定，则该手势边界框和人脸边界框均不再参与后续的绑定，也就是在距离关联表中已进行绑定的人脸边界框不再与其他的手势边界框进行绑定，已进行绑定的手势边界框不再与其他人脸边界框进行绑定。
在具体实施过程中，在上述距离关联表中采用归一化距离l大小判断方式来对人脸边界框与手势边界框进行绑定，有如下几个实施效果：
1、在某一人脸边界框的中心点与各手势边界框的中心点的距离d相同情况下，较大的手势边界框对应的归一化距离l较小，该人脸边界框倾向于匹配绑定面积较大的手势边界框。
2、在某一人脸边界框的中心点与各手势边界框的中心点的距离d相同情况下，与该人脸边界框的面积相对接近的手势边界框对应的归一化距离l较小，因为在用户触发手势行为时，人脸边界框和手势边界框的面积相对较为接近，因此，并不是越大的手势边界框对应的归一化距离l越小，两者存在一个折中。
3、在计算各人脸边界框与同一手势边界框的归一化距离l时，该手势边界框倾向于匹配绑定与该手势边界框中心点接近的人脸边界框，即人脸边界框的中心点与手势边界框的中心点的距离d越小，该手势边界框更倾向于匹配绑定该人脸边界框。
图3是本发明实施例提供的第三种手势识别方法的流程示意图，如图3所示，所述步骤S150、识别当前帧图片中与有效人脸轨迹匹配的手势边界框的手势类别，获取所述有效人脸轨迹中的有效手势类别的方法，包括：
步骤S151、识别当前帧图片中与有效人脸轨迹匹配的手势边界框的手势类别；具体地，识别手势边界框中的手势动作，每个手势动作对应一个手势类别，利用不同的手势ID代表不同的手势类别，并将手势ID分配给对应的有效人脸轨迹；若某一有效人脸轨迹没有绑定的手势边界框，则将该有效人脸轨迹的手势ID设置为0；若某一手势边界框中的手势动作无法被识别，即摄像机内未存储有该手势动作对应的手势指令，则将该手势边界框中的手势ID设置为0；经过上述步骤后，在当前帧图片中每个有效人脸轨迹都匹配一个手势类别信息。
步骤S152、回溯预置帧数图片，在预置帧数图片中分别统计各有效人脸轨迹中各手势类别的数量；具体地，沿有效人脸轨迹回溯N帧图片，统计N帧图片中有效人脸轨迹对应的各手势ID的数量，得到不同手势ID的数量。
步骤S153、根据统计结果获取各有效人脸轨迹的当前手势类别及统计数量；其中，数量最多的非零手势类别作为对应有效人脸轨迹的当前手势类别，该当前手势类别的数量作为该有效人脸轨迹的统计数量，非零手势类别为手势ID不为零的手势类别。
步骤S154、比较各有效人脸轨迹的当前手势类别的统计数量，获取数量最大的当前手势类别对应的有效人脸轨迹，并判断该有效人脸轨迹的当前手势类别的统计数量是否大于预置数量，若是，将该有效人脸轨迹的当前手势类别作为有效手势类别；若否，返回执行步骤S110。
本实施例通过手势和人脸联合一起识别，可以防止用户在不知情或者其他动作姿态下的误触发；而使用动态的人脸轨迹进行识别，有利于提高多人模式下手势识别的准确性，使得误触发率极低；使用辅助的人脸轨迹来取代传统的手势轨迹，借助人脸的强识别性，即使用户在手势识别期间有一定的其他手势动作行为，也可以可靠地识别手势动作对应的控制指令并执行，大大提高了用户体验。
图4是本发明实施例提供的第四种手势识别方法的流程示意图，如图4所示，所述步骤S150、识别当前帧图片中与有效人脸轨迹匹配的手势边界框的手势类别，获取所述有效人脸轨迹中的有效手势类别之后，还包括：
步骤S160、清除人脸轨迹列表中的所有信息。
步骤S170、获取所述有效手势类别对应的控制指令，执行所述控制指令。
获取有效人脸轨迹中的有效手势类别之后，清除人脸轨迹列表中的所有信息，并获取所述有效手势类别对应的控制指令，执行所述控制指令，步骤S160与步骤S170没有一定的逻辑关系，可以先执行步骤S160再执行步骤S170，也可以先执行步骤S170再执行步骤S160，或者同时执行。本实施在识别到有效手势类别之后，清除人脸轨迹列表中的所有信息这能避免对后续手势识别的影响，能提高对用户给出的手势的手势识别的准确性。
图5是本发明实施例提供的手势识别方法的具体流程示意图，为了更加清晰本发明的技术方案，下面再阐述优选实施例。
步骤S110、实时检测拍摄影像中的人脸和手势，得到拍摄影像中当前帧图片中所有的人脸边界框和手势边界框；
步骤S120、根据所述人脸边界框的位置信息更新人脸轨迹列表；其中所述人脸轨迹列表由不同的人脸轨迹组成，所述人脸轨迹为一具有同一人脸ID的人脸边界框的集合，每一人脸轨迹对应一人脸ID；
步骤S210、判断是否存在目标对象边界框，若是，执行步骤S220；若否，将所有人脸轨迹都作为有效人脸轨迹，执行步骤S130；其中，目标对象边界框为拍摄影像中选定的人物对象对应的人像边界框；
步骤S220、根据人脸轨迹的最新帧图片中的人脸边界框的坐标信息和面积信息判断是否存在人脸轨迹位于所述目标对象边界框内；若否，返回执行步骤S110；若是，删除位于目标对象边界框外部的人脸轨迹，位于所述目标对象边界框内的人脸轨迹为有效人脸轨迹，执行步骤S130；
步骤S130、判断所述人脸轨迹列表是否存在有效人脸轨迹，若所述人脸轨迹列表中存在有效人脸轨迹，执行步骤S140；若所述人脸轨迹列表中不存在有效人脸轨迹，则返回执行步骤S110；
步骤S140、根据预设绑定规则将当前帧图片的手势边界框与有效人脸轨迹的当前帧图片的人脸边界框进行绑定，
步骤S151、识别当前帧图片中与有效人脸轨迹匹配的手势边界框的手势类别；具体地，识别手势边界框中的手势动作，每个手势动作对应一个手势类别，利用不同的手势ID代表不同的手势类别，并将手势ID分配给对应的有效人脸轨迹；若某一有效人脸轨迹没有绑定的手势边界框，则将该有效人脸轨迹的手势ID设置为0；若某一手势边界框中的手势动作无法被识别，即摄像机内未存储有该手势动作对应的手势指令，则将该手势边界框中的手势ID设置为0；经过上述步骤后，在当前帧图片中每个有效人脸轨迹都匹配一个手势类别信息；
步骤S152、回溯预置帧数图片，在预置帧数图片中分别统计有效人脸轨迹中各手势类别的数量；具体地，沿有效人脸轨迹回溯N帧图片，统计N帧图片中有效人脸轨迹对应的各手势ID的数量，得到不同手势ID的数量；
步骤S153、根据统计结果获取各有效人脸轨迹的当前手势类别及统计数量；其中，数量最多的非零手势类别作为对应有效人脸轨迹的当前手势类别，该当前手势类别的数量作为该有效人脸轨迹的统计数量，非零手势类别为手势ID不为零的手势类别；
步骤S154、比较各有效人脸轨迹的当前手势类别的统计数量，获取数量最大的当前手势类别对应的有效人脸轨迹，并判断该有效人脸轨迹的当前手势类别的统计数量是否大于预置数量，若是，将该有效人脸轨迹的当前手势类别作为有效手势类别；若否，返回执行步骤S110；
步骤S160、清除人脸轨迹列表中的所有信息；
步骤S170、获取所述有效手势类别对应的控制指令，执行所述控制指令。
本实施例提供的手势识别方法采用人脸与手势一起联合识别的方式，可以有效防止用户在不知情或其他动作姿态下误触发手势动作对应的控制指令；同时使用动态的人脸轨迹进行识别，可以很方便处理多人模式下的手势识别且误触发率极低，在很大程度上区别于传统的手势识别方法，将人脸轨迹与手势边界框匹配绑定，借助于人脸的强识别性，即使用户在手势识别期间有一定的其他手势动作行为，也可以可靠地识别手势动作对应的控制指令并执行，提高了手势识别的准确性，也提高了用户使用体验。
图6是本发明实施例提供的第一种手势识别系统的结构框图，如图6所示，对应于上述手势识别方法，本发明还提供一种手势识别系统，该手势识别系统包括用于执行上述手势识别方法的模块，该系统可以被配置于计算机设备等终端，应用本发明手势识别系统，通过人脸与手势一起联合识别的方式，可以有效防止用户在不知情或其他动作姿态下误触发手势动作对应的控制指令；同时使用动态的人脸轨迹进行识别，可以很方便处理多人模式下的手势识别且误触发率极低，在很大程度上区别于传统的手势识别方法，将人脸轨迹与手势边界框匹配绑定，借助于人脸的强识别性，即使用户在手势识别期间有一定的其他手势动作行为，也可以可靠地识别手势动作对应的控制指令并执行，大大提高了用户体验。
具体地，如图6所示，该手势识别系统包括检测模块110、人脸轨迹模块120、轨迹判断模块130、手势绑定模块140及手势识别处理模块150。
检测模块110，用于实时检测拍摄影像中的人脸和手势，得到拍摄影像中当前帧图片中所有的人脸边界框和手势边界框；
人脸轨迹模块120，用于根据所述人脸边界框的位置信息更新人脸轨迹列表；其中所述人脸轨迹列表由不同的人脸轨迹组成，所述人脸轨迹为一具有同一人脸ID的人脸边界框的集合，每一人脸轨迹对应一人脸ID；
轨迹判断模块130，用于判断所述人脸轨迹列表是否存在有效人脸轨迹；
手势绑定模块140，若轨迹判断模块判断出所述人脸轨迹列表存在有效人脸轨迹，根据预设绑定规则将当前帧图片的手势边界框与有效人脸轨迹的当前帧图片的人脸边界框进行绑定；
手势识别处理模块150，用于识别当前帧图片中与有效人脸轨迹匹配的手势边界框的手势类别，获取所述有效人脸轨迹中的有效手势类别。
在一个实施例中，所述人脸轨迹模块120具体用于：
步骤S121、根据人脸边界框的坐标信息和面积信息分别判断当前帧图片的人脸边界框与人脸轨迹列表中的各人脸轨迹的人脸边界框是否均不匹配，若否，执行步骤S123；若是，执行步骤S122。
步骤S122、给当前帧图片中的人脸边界框分配一新人脸ID，根据当前帧图片的人脸边界框的位置信息及对应的新人脸ID在人脸轨迹列表中创建一新的人脸轨迹。
步骤S123、将当前帧图片的人脸边界框的位置信息作为对应匹配的人脸轨迹在最新帧图片中的人脸边界框的位置信息更新于人脸轨迹列表中。
在一个实施例中，所述手势绑定模块140具体用于：
分别计算有效人脸轨迹的当前帧图片中的各人脸边界框与各手势边界框之间的归一化距离l，其中，
Figure BDA0002018012370000131
SH为手势边界框的面积，SF为人脸边界框的面积，d为手势边界框的中心点与人脸边界框的中心点的距离；
根据计算的归一化距离l生成各人脸边界框与各手势边界框之间的距离关联表；
在距离关联表中按人脸ID从小到大依次对人脸ID对应的人脸边界框的归一化距离l进行升序排列，以得到每个人脸ID对应的人脸边界框的最小的归一化距离l，若所述最小的归一化距离l小于等于预置距离，则将其对应的手势边界框与对应的人脸边界框进行绑定；其中若某一手势边界框和人脸边界框已绑定，则该手势边界框和人脸边界框均不再参与后续的绑定，也就是在距离关联表中已进行绑定的人脸边界框不再与其他的手势边界框进行绑定，已进行绑定的手势边界框不再与其他人脸边界框进行绑定。
在一个实施例中，所述手势识别处理模块150具体用于：
识别当前帧图片中与有效人脸轨迹匹配的手势边界框的手势类别；
回溯预置帧数图片，在预置帧数图片中分别统计有效人脸轨迹中各手势类别的数量；
根据统计结果获取各有效人脸轨迹的当前手势类别及统计数量；
比较各有效人脸轨迹的当前手势类别的统计数量，获取数量最大的当前手势类别对应的有效人脸轨迹，并判断该有效人脸轨迹的当前手势类别的统计数量是否大于预置数量，若是，将该有效人脸轨迹的当前手势类别作为有效手势类别；若否，由检测模块110继续实时检测拍摄影像中的人脸和手势，得到拍摄影像中当前帧图片中所有的人脸边界框和手势边界框。
图7是本发明实施例提供的第二种手势识别系统的结构框图。如图7所示，本实施例提供的手势识别系统是在上述手势识别系统的基础上增加了目标对象模块160及有效人脸轨迹判断模块170。
目标对象模块160，用于判断拍摄影像的图片中是否存在目标对象边界框。
有效人脸轨迹判断模块170，用于根据人脸轨迹的最新帧图片中的人脸边界框的坐标信息和面积信息判断是否存在人脸轨迹位于所述目标对象模块160判断的目标对象边界框内，若否，检测模块110继续实时检测拍摄影像中的人脸和手势，得到拍摄影像中当前帧图片中所有的人脸边界框和手势边界框；若是，删除位于目标对象边界框外部的人脸轨迹，所有位于所述目标对象边界框内的人脸轨迹均为有效人脸轨迹。
在一个实施例中，所述有效人脸轨迹判断模块170具体用于：
根据人脸边界框的坐标信息和面积信息判断每一人脸轨迹最新帧图片中的人脸边界框与目标对象边界框的交集区域的面积与该最新帧图片中的人脸边界框的面积之比是否大于等于第二预置阈值；若是，则判断出对应的人脸轨迹位于所述目标对象边界框内；若否，则判断出对应的人脸轨迹位于所述目标对象边界框外部。
在人脸轨迹列表中的人脸轨迹生成后，拍摄影像内的每一帧图片会存在多条人脸轨迹，本实施例提供的手势识别处理模块150有效地保证了在摄像机摄影中对目标对象的手势识别，有效移除目标对象边界框外的人脸轨迹对最终手势识别结果造成的干扰，以提高手势识别的准确性。
图8是本发明实施例提供的第三种手势识别系统的结构框图。如图8所示，本实施例提供的手势识别系统是在上述手势识别系统的基础上增加了信息清除模块180及执行模块190。
信息清除模块180，用于清除人脸轨迹列表中的所有信息。
执行模块190，用于获取所述有效手势类别对应的控制指令，执行所述控制指令。
本发明实施例提供的手势识别系统通过手势和人脸联合一起识别，可以防止用户在不知情或者其他动作姿态下的误触发；而使用动态的人脸轨迹进行识别，有利于提高多人模式下手势识别的准确性，使得误触发率极低；使用辅助的人脸轨迹来取代传统的手势轨迹，借助人脸的强识别性，即使用户在做手势时具有一定的行为动作，也可以实现可靠识别。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述手势识别系统和各模块的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
图9是本发明实施例提供的一种计算机设备的内部结构框图，如图9所示，本发明提供的计算机设备包括通过系统总线连接的通过系统总线连接的存储器、处理器及网络接口；所述存储器上存储有计算机程序，所述处理器用于提供计算和控制能力，以支撑整个计算机设备的运行，所述处理器执行所述计算机程序时实现上述的一种手势识别方法。
存储器可以包括非易失性存储介质和内存储器，该非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现手势识别方法。
该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行手势识别方法。该网络接口用于与其它设备进行网络通信。本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其他的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的手势识别方法可实现为一种计算机程序的方式，计算机程序可以在如图9所示的计算机设备上运行。计算机设备的存储器中可存储组成该手势识别系统的各个程序模块，比如，图6所示的检测模块110、人脸轨迹模块120、轨迹判断模块130、手势绑定模块140及手势识别模块150。各个程序模块构成的计算机程序使得处理器执行本说明中描述的本申请各个实施例的手势识别系统的步骤。例如，图9所示的计算机设备可以通过如图6所示的手势识别系统中的检测模块110实时检测拍摄影像中的人脸和手势，得到拍摄影像中当前帧图片中所有的人脸边界框和手势边界框；人脸轨迹模块120根据所述人脸边界框的位置信息更新人脸轨迹列表；轨迹判断模块130判断所述人脸轨迹列表是否存在有效人脸轨迹，手势绑定模块140根据预设绑定规则将当前帧图片的手势边界框与有效人脸轨迹的当前帧图片的人脸边界框进行绑定；手势识别处理模块150识别当前帧图片中与有效人脸轨迹匹配的手势边界框的手势类别，获取所述有效人脸轨迹中的有效手势类别。
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，所述存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：步骤S110、实时检测拍摄影像中的人脸和手势，得到拍摄影像中当前帧图片中所有的人脸边界框和手势边界框；步骤S120、根据所述人脸边界框的位置信息更新人脸轨迹列表；步骤S130、判断所述人脸轨迹列表是否存在有效人脸轨迹，若所述人脸轨迹列表中存在有效人脸轨迹，执行步骤S140；若所述人脸轨迹列表中不存在有效人脸轨迹，则返回执行步骤S110；步骤S140、根据预设绑定规则将当前帧图片的手势边界框与有效人脸轨迹的当前帧图片的人脸边界框进行绑定；步骤S150、识别当前帧图片中与有效人脸轨迹匹配的手势边界框的手势类别，获取所述有效人脸轨迹中的有效手势类别。
在一个实施例中，所述处理器在实现所述步骤S120、根据所述人脸边界框的位置信息更新人脸轨迹列表的步骤时，具体实现如下步骤：步骤S121、根据人脸边界框的坐标信息和面积信息分别判断当前帧图片的人脸边界框与人脸轨迹列表中的各人脸轨迹的人脸边界框是否均不匹配，若否，执行步骤S123；若是，执行步骤S122；步骤S122、给当前帧图片中的人脸边界框分配一新人脸ID，根据当前帧图片的人脸边界框的位置信息及对应的新人脸ID在人脸轨迹列表中创建一新的人脸轨迹；步骤S123、将当前帧图片的人脸边界框的位置信息作为对应匹配的人脸轨迹在最新帧图片中的人脸边界框的位置信息更新于人脸轨迹列表中。
在一个实施例中，所述处理器在执行所述步骤S130之前，具体执行如下步骤：步骤S210、判断拍摄影像的图片中是否存在目标对象边界框，若是，执行步骤S220；若否，将所有人脸轨迹都作为有效人脸轨迹，执行步骤S130；其中，目标对象边界框为拍摄影像中选定的人物对象对应的人像边界框；步骤S220、根据人脸轨迹的最新帧图片中的人脸边界框的坐标信息和面积信息判断是否存在人脸轨迹位于所述目标对象边界框内；若否，返回执行步骤S110；若是，删除位于目标对象边界框外部的人脸轨迹，位于所述目标对象边界框内的人脸轨迹为有效人脸轨迹，执行步骤S130。
在一个实施例中，所述处理器在执行所述步骤S140、根据预设绑定规则将当前帧图片的手势边界框与有效人脸轨迹的当前帧图片的人脸边界框进行绑定的步骤时，具体执行如下步骤：步骤S141、分别计算有效人脸轨迹的当前帧图片中的各人脸边界框与各手势边界框之间的归一化距离l，其中，
Figure BDA0002018012370000181
Figure BDA0002018012370000182
SH为手势边界框的面积，SF为人脸边界框的面积，d为手势边界框的中心点与人脸边界框的中心点的距离；步骤S142、根据计算的归一化距离l生成各人脸边界框与各手势边界框之间的距离关联表；步骤S143、在距离关联表中按人脸ID从小到大依次对人脸ID对应的人脸边界框的归一化距离l进行升序排列，以得到每个人脸ID对应的人脸边界框的最小的归一化距离l，若所述最小的归一化距离l小于等于预置距离，则将其对应的手势边界框与对应的人脸边界框进行绑定；其中若某一手势边界框和人脸边界框已绑定，则该手势边界框和人脸边界框均不再参与后续的绑定，也就是在距离关联表中已进行绑定的人脸边界框不再与其他的手势边界框进行绑定，已进行绑定的手势边界框不再与其他人脸边界框进行绑定。
在一个实施例中，所述处理器在执行所述步骤S150、识别当前帧图片中与有效人脸轨迹匹配的手势边界框的手势类别，获取所述有效人脸轨迹中的有效手势类别的步骤时，具体执行如下步骤：步骤S151、识别当前帧图片中与有效人脸轨迹匹配的手势边界框的手势类别；步骤S152、回溯预置帧数图片，在预置帧数图片中分别统计有效人脸轨迹中各手势类别的数量；步骤S153、根据统计结果获取各有效人脸轨迹的当前手势类别及统计数量；步骤S154、比较各有效人脸轨迹的当前手势类别的统计数量，获取数量最大的当前手势类别对应的有效人脸轨迹，并判断该有效人脸轨迹的当前手势类别的统计数量是否大于预置数量，若是，将该有效人脸轨迹的当前手势类别作为有效手势类别；若否，返回执行步骤S110。
在一个实施例中，所述处理器在执行所述步骤S150、识别当前帧图片中与有效人脸轨迹匹配的手势边界框的手势类别，获取所述有效人脸轨迹中的有效手势类别之后，具体执行如下步骤：步骤S160、清除人脸轨迹列表中的所有信息；步骤S170、获取所述有效手势类别对应的控制指令，执行所述控制指令。
应当理解，在本申请实施例中，处理器可以是中央处理单元(CentralProcessingUnit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如下步骤：步骤S110、实时检测拍摄影像中的人脸和手势，得到拍摄影像中当前帧图片中所有的人脸边界框和手势边界框；步骤S120、根据所述人脸边界框的位置信息更新人脸轨迹列表；步骤S130、判断所述人脸轨迹列表是否存在有效人脸轨迹，若所述人脸轨迹列表中存在有效人脸轨迹，执行步骤S140；若所述人脸轨迹列表中不存在有效人脸轨迹，则返回执行步骤S110；步骤S140、根据预设绑定规则将当前帧图片的手势边界框与有效人脸轨迹的当前帧图片的人脸边界框进行绑定；步骤S150、识别当前帧图片中与有效人脸轨迹匹配的手势边界框的手势类别，获取所述有效人脸轨迹中的有效手势类别。
在一个实施例中，所述处理器在执行程序指令而实现手势识别方法还实现如下步骤：步骤S210、判断拍摄影像的图片中是否存在目标对象边界框，若是，执行步骤S220；若否，将所有人脸轨迹都作为有效人脸轨迹，执行步骤S130；其中，目标对象边界框为拍摄影像中选定的人物对象对应的人像边界框；步骤S220、根据人脸轨迹的最新帧图片中的人脸边界框的坐标信息和面积信息判断是否存在人脸轨迹位于所述目标对象边界框内；若否，返回执行步骤S110；若是，删除位于目标对象边界框外部的人脸轨迹，位于所述目标对象边界框内的人脸轨迹为有效人脸轨迹，执行步骤S130。
在一个实施例中，所述处理器在执行程序指令而实现手势识别方法还实现如下步骤：步骤S160、清除人脸轨迹列表中的所有信息；步骤S170、获取所述有效手势类别对应的控制指令，执行所述控制指令。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
综上所述，本发明一种手势识别方法及系统、计算机设备及存储介质通过人脸与手势一起联合识别的方式，可以有效防止用户在不知情或其他动作姿态下误触发手势动作对应的控制指令；同时使用动态的人脸轨迹进行识别，可以很方便处理多人模式下的手势识别且误触发率极低，在很大程度上区别于传统的手势识别方法，将人脸轨迹与手势边界框匹配绑定，借助于人脸的强识别性，即使用户在手势识别期间有一定的其他手势动作行为，也可以可靠地识别手势动作对应的控制指令并执行，提高了手势识别的准确性，也提高了用户使用体验。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

Claims (10)

1.一种手势识别方法，其特征在于，包括如下步骤：
A、实时检测拍摄影像中的人脸和手势，得到拍摄影像中当前帧图片中所有的人脸边界框和手势边界框；
B、根据所述人脸边界框的位置信息更新人脸轨迹列表；
C、若所述人脸轨迹列表中存在有效人脸轨迹，根据预设绑定规则将当前帧图片的手势边界框与有效人脸轨迹的当前帧图片的人脸边界框进行绑定；
其中，所述步骤C中根据预设绑定规则将当前帧图片的手势边界框与有效人脸轨迹的当前帧图片的人脸边界框进行绑定的方法包括：
c1、分别计算有效人脸轨迹的当前帧图片中的各人脸边界框与各手势边界框之间的归一化距离l，其中，
Figure FDA0002889102790000011
SH为手势边界框的面积，SF为人脸边界框的面积，d为手势边界框的中心点与人脸边界框的中心点的距离；
c2、根据计算的归一化距离l生成各人脸边界框与各手势边界框之间的距离关联表；
c3、在距离关联表中按人脸ID从小到大依次对人脸ID对应的人脸边界框的归一化距离l进行升序排列，以得到每个人脸ID对应的人脸边界框的最小的归一化距离l，若所述最小的归一化距离l小于等于预置距离，则将其对应的手势边界框与对应的人脸边界框进行绑定；其中若某一手势边界框和人脸边界框已绑定，则该手势边界框和人脸边界框均不再参与后续的绑定；
其中，所述人脸轨迹列表由不同的人脸轨迹组成，所述人脸轨迹为一具有同一人脸ID的人脸边界框的集合，每一人脸轨迹对应一人脸ID；
D、识别当前帧图片中与有效人脸轨迹匹配的手势边界框的手势类别，获取所述有效人脸轨迹中的有效手势类别。
2.根据权利要求1所述的手势识别方法，其特征在于，所述步骤B、根据所述人脸边界框的位置信息更新人脸轨迹列表的方法包括如下步骤：
步骤b1、根据人脸边界框的坐标信息和面积信息分别判断当前帧图片的人脸边界框与人脸轨迹列表中的各人脸轨迹的人脸边界框是否均不匹配，若否，执行步骤b3；若是，执行步骤b2；
步骤b2、给当前帧图片中的人脸边界框分配一新人脸ID，根据当前帧图片的人脸边界框的位置信息及对应的新人脸ID在人脸轨迹列表中创建一新的人脸轨迹；
步骤b3、将当前帧图片的人脸边界框的位置信息作为对应匹配的人脸轨迹在最新帧图片中的人脸边界框的位置信息更新于人脸轨迹列表中；
其中，当前帧图片中的人脸边界框与人脸轨迹列表中的人脸轨迹的人脸边界框的匹配条件为当前帧图片中的人脸边界框与人脸轨迹在当前帧图片的前N帧图片中的某一帧图片中的人脸边界框两者交集区域的面积与两者并集区域的面积之比大于等于第一预置阈值；
其中，所述人脸轨迹列表由不同的人脸轨迹组成，所述人脸轨迹为一具有同一人脸ID的人脸边界框的集合，每一人脸轨迹对应一人脸ID；所述人脸边界框的位置信息包括人脸边界框的坐标信息和面积信息。
3.根据权利要求2所述的手势识别方法，其特征在于，所述步骤b1、根据人脸边界框的坐标信息和面积信息分别判断当前帧图片的人脸边界框与人脸轨迹列表中的各人脸轨迹的人脸边界框是否均不匹配，若否，执行步骤b3；若是，执行步骤b2的方法包括：
根据人脸边界框的位置信息和面积判断当前帧图片中的人脸边界框与人脸轨迹列表中其中一人脸轨迹的最临近的一帧图片中的人脸边界框是否匹配，若否，沿该人脸轨迹往前回溯一帧图片，继续进行匹配判断，直到回溯N帧图片为止；若当前图片帧的人脸边界框与该人脸轨迹回溯的N帧图片中的人脸边界框均不匹配，则切换到人脸轨迹列表中的另一人脸轨迹进行匹配判断；当判断出当前帧图片的人脸边界框与人脸轨迹列表中的一人脸轨迹的某一帧图片中的人脸边界框匹配成功时，则执行步骤b3；当判断出当前帧图片的人脸边界框与人脸轨迹列表中各个人脸轨迹的人脸边界框均不匹配时，执行步骤b2。
4.根据权利要求1所述的手势识别方法，其特征在于，在所述步骤C、若所述人脸轨迹列表中存在有效人脸轨迹，根据预设绑定规则将当前帧图片的手势边界框与有效人脸轨迹的当前帧图片的人脸边界框进行绑定的步骤之前，还包括：
步骤C1、判断拍摄影像的图片中是否存在目标对象边界框，若是，执行步骤C2；若否，将所有人脸轨迹都作为有效人脸轨迹；其中，目标对象边界框为拍摄影像中选定的人物对象对应的人像边界框；
步骤C2、根据人脸轨迹的最新帧图片中的人脸边界框的坐标信息和面积信息判断是否存在人脸轨迹位于所述目标对象边界框内；若否，返回执行步骤A；若是，删除位于目标对象边界框外部的人脸轨迹，位于所述目标对象边界框内的人脸轨迹为有效人脸轨迹；
其中，所述人脸边界框的位置信息包括人脸边界框的坐标信息和面积信息。
5.根据权利要求4所述的手势识别方法，其特征在于，所述步骤C2、根据人脸轨迹的最新的人脸边界框的坐标信息和面积信息判断是否存在人脸轨迹位于所述目标对象边界框内的方法包括：
根据人脸边界框的坐标信息和面积信息判断每一人脸轨迹最新帧图片中的人脸边界框与目标对象边界框的交集区域的面积与该最新帧图片中的人脸边界框的面积之比是否大于等于第二预置阈值；若是，则判断出对应的人脸轨迹位于所述目标对象边界框内；若否，则判断出对应的人脸轨迹位于所述目标对象边界框外部。
6.根据权利要求1所述的手势识别方法，其特征在于，所述步骤D、识别当前帧图片中与有效人脸轨迹匹配的手势边界框的手势类别，获取所述有效人脸轨迹中的有效手势类别的方法包括：
d1、识别当前帧图片中与有效人脸轨迹匹配的手势边界框的手势类别；
d2、回溯预置帧数图片，在预置帧数图片中分别统计各有效人脸轨迹中各手势类别的数量；
d3、根据统计结果获取各有效人脸轨迹的当前手势类别及统计数量；
d4、比较各有效人脸轨迹的当前手势类别的统计数量，获取数量最大的当前手势类别对应的有效人脸轨迹，并判断该有效人脸轨迹的当前手势类别的统计数量是否大于预置数量，若是，将该有效人脸轨迹的当前手势类别作为有效手势类别；若否，返回执行步骤A。
7.根据权利要求1所述的手势识别方法，其特征在于，在所述步骤D、识别当前帧图片中与有效人脸轨迹匹配的手势边界框的手势类别，获取所述有效人脸轨迹中的有效手势类别之后，还包括：
E、清除人脸轨迹列表中的所有信息；
F、获取所述有效手势类别对应的控制指令，执行所述控制指令。
8.一种手势识别系统，其特征在于，包括：
检测模块，用于实时检测拍摄影像中的人脸和手势，得到拍摄影像中当前帧图片中所有的人脸边界框和手势边界框；
人脸轨迹模块，用于根据所述人脸边界框的位置信息更新人脸轨迹列表；
轨迹判断模块，用于判断所述人脸轨迹列表是否存在有效人脸轨迹；
手势绑定模块，用于根据预设绑定规则将当前帧图片的手势边界框与有效人脸轨迹的当前帧图片的人脸边界框进行绑定；
其中，所述手势绑定模块具体用于：分别计算有效人脸轨迹的当前帧图片中的各人脸边界框与各手势边界框之间的归一化距离l，其中，
Figure FDA0002889102790000051
Figure FDA0002889102790000052
SH为手势边界框的面积，SF为人脸边界框的面积，d为手势边界框的中心点与人脸边界框的中心点的距离；根据计算的归一化距离l生成各人脸边界框与各手势边界框之间的距离关联表；在距离关联表中按人脸ID从小到大依次对人脸ID对应的人脸边界框的归一化距离l进行升序排列，以得到每个人脸ID对应的人脸边界框的最小的归一化距离l，若所述最小的归一化距离l小于等于预置距离，则将其对应的手势边界框与对应的人脸边界框进行绑定；其中若某一手势边界框和人脸边界框已绑定，则该手势边界框和人脸边界框均不再参与后续的绑定；
手势识别处理模块，用于识别当前帧图片中与有效人脸轨迹匹配的手势边界框的手势类别，获取所述有效人脸轨迹中的有效手势类别。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-8中任一项所述的手势识别方法。
10.一种存储介质，其特征在于：所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被执行时实现如权利要求1-8中任一项所述的手势识别方法。
CN201910269829.4A 2019-04-04 2019-04-04 手势识别方法及系统、计算机设备及存储介质 Active CN109977906B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910269829.4A CN109977906B (zh) 2019-04-04 2019-04-04 手势识别方法及系统、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910269829.4A CN109977906B (zh) 2019-04-04 2019-04-04 手势识别方法及系统、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN109977906A CN109977906A (zh) 2019-07-05
CN109977906B true CN109977906B (zh) 2021-06-01

Family

ID=67082992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910269829.4A Active CN109977906B (zh) 2019-04-04 2019-04-04 手势识别方法及系统、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN109977906B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751086A (zh) * 2019-10-17 2020-02-04 北京字节跳动网络技术有限公司 基于视频的目标搜索方法、装置、设备、存储介质
CN111062312B (zh) * 2019-12-13 2023-10-27 RealMe重庆移动通信有限公司 手势识别方法、手势控制方法、装置、介质与终端设备
CN111651040B (zh) * 2020-05-27 2021-11-26 华为技术有限公司 用于肌肤检测的电子设备的交互方法及电子设备
CN112686175A (zh) * 2020-12-31 2021-04-20 北京澎思科技有限公司 人脸抓拍方法、系统及计算机可读存储介质
CN112686169A (zh) * 2020-12-31 2021-04-20 深圳市火乐科技发展有限公司 手势识别控制方法、装置、电子设备及存储介质
CN113031464B (zh) * 2021-03-22 2022-11-22 北京市商汤科技开发有限公司 设备控制方法、装置、电子设备及存储介质
WO2023273372A1 (zh) * 2021-06-30 2023-01-05 华为技术有限公司 手势识别对象确定方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070117829A (ko) * 2006-06-09 2007-12-13 한국과학기술원 베이비사인 인식 방법, 이를 이용한 양방향 멀티미디어 동화 구현 시스템 및 방법
WO2012139241A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Hand gesture recognition system
CN103295029A (zh) * 2013-05-21 2013-09-11 深圳Tcl新技术有限公司 手势控制终端的交互方法及装置
CN104407694A (zh) * 2014-10-29 2015-03-11 山东大学 一种结合人脸和手势控制的人机交互方法及装置
CN106971130A (zh) * 2016-01-14 2017-07-21 芋头科技（杭州）有限公司 一种以人脸为参照的手势识别方法
CN107038424A (zh) * 2017-04-20 2017-08-11 华中师范大学 一种手势识别方法
CN107422859A (zh) * 2017-07-26 2017-12-01 广东美的制冷设备有限公司 基于手势的调控方法、装置及计算机可读存储介质和空调
CN108171121A (zh) * 2017-12-11 2018-06-15 翔升（上海）电子技术有限公司 无人机智能跟踪方法和系统
CN108470332A (zh) * 2018-01-24 2018-08-31 博云视觉（北京）科技有限公司 一种多目标跟踪方法及装置
CN108596092A (zh) * 2018-04-24 2018-09-28 亮风台（上海）信息科技有限公司 手势识别方法、装置、设备和存储介质
CN108983979A (zh) * 2018-07-25 2018-12-11 北京因时机器人科技有限公司 一种手势跟踪识别方法、装置和智能设备
CN109063534A (zh) * 2018-05-25 2018-12-21 隆正信息科技有限公司 一种基于图像的购物识别和表意方法
CN109325463A (zh) * 2018-10-16 2019-02-12 浙江中正智能科技有限公司 一种人脸实时跟踪方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7050606B2 (en) * 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
KR20120072009A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 다중 사용자의 인터렉션 인식 장치 및 방법
KR20230130773A (ko) * 2016-09-13 2023-09-12 매직 립, 인코포레이티드 감각 안경류

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070117829A (ko) * 2006-06-09 2007-12-13 한국과학기술원 베이비사인 인식 방법, 이를 이용한 양방향 멀티미디어 동화 구현 시스템 및 방법
WO2012139241A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Hand gesture recognition system
CN103295029A (zh) * 2013-05-21 2013-09-11 深圳Tcl新技术有限公司 手势控制终端的交互方法及装置
CN104407694A (zh) * 2014-10-29 2015-03-11 山东大学 一种结合人脸和手势控制的人机交互方法及装置
CN106971130A (zh) * 2016-01-14 2017-07-21 芋头科技（杭州）有限公司 一种以人脸为参照的手势识别方法
CN107038424A (zh) * 2017-04-20 2017-08-11 华中师范大学 一种手势识别方法
CN107422859A (zh) * 2017-07-26 2017-12-01 广东美的制冷设备有限公司 基于手势的调控方法、装置及计算机可读存储介质和空调
CN108171121A (zh) * 2017-12-11 2018-06-15 翔升（上海）电子技术有限公司 无人机智能跟踪方法和系统
CN108470332A (zh) * 2018-01-24 2018-08-31 博云视觉（北京）科技有限公司 一种多目标跟踪方法及装置
CN108596092A (zh) * 2018-04-24 2018-09-28 亮风台（上海）信息科技有限公司 手势识别方法、装置、设备和存储介质
CN109063534A (zh) * 2018-05-25 2018-12-21 隆正信息科技有限公司 一种基于图像的购物识别和表意方法
CN108983979A (zh) * 2018-07-25 2018-12-11 北京因时机器人科技有限公司 一种手势跟踪识别方法、装置和智能设备
CN109325463A (zh) * 2018-10-16 2019-02-12 浙江中正智能科技有限公司 一种人脸实时跟踪方法

Also Published As

Publication number Publication date
CN109977906A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
CN109977906B (zh) 手势识别方法及系统、计算机设备及存储介质
CN110532984B (zh) 关键点检测方法、手势识别方法、装置及系统
CN106537305B (zh) 对触摸事件进行分类的方法以及触敏设备
US20180211104A1 (en) Method and device for target tracking
US9128528B2 (en) Image-based real-time gesture recognition
US10891473B2 (en) Method and device for use in hand gesture recognition
CN108960163B (zh) 手势识别方法、装置、设备和存储介质
CN109325456B (zh) 目标识别方法、装置、目标识别设备及存储介质
WO2020181872A1 (zh) 一种物体检测方法、装置及电子设备
US20120163661A1 (en) Apparatus and method for recognizing multi-user interactions
JP2011134114A (ja) パターン認識方法およびパターン認識装置
WO2010135617A1 (en) Gesture recognition systems and related methods
WO2018154709A1 (ja) 動作学習装置、技能判別装置および技能判別システム
CN109254662A (zh) 移动设备操作方法、装置、计算机设备及存储介质
JP7438684B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US9152857B2 (en) System and method for detecting object using depth information
CN107357414B (zh) 一种点击动作的识别方法及点击动作识别装置
Joo et al. Real‐Time Depth‐Based Hand Detection and Tracking
US20120169860A1 (en) Method for detection of a body part gesture to initiate a web application
JP2016099643A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN111368674B (zh) 图像识别方法及装置
CN113282164A (zh) 一种处理方法和装置
JP2007510994A (ja) ビデオ画像内でのオブジェクトトラッキング
KR101909326B1 (ko) 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템
CN115311723A (zh) 活体检测方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190815

Address after: Room 220, Building 6, Youth Dream Workshop, Qianhai Shenzhen-Hong Kong Cooperative Zone, Shenzhen, Guangdong 518000

Applicant after: Rui magic Intelligent Technology (Shenzhen) Co., Ltd.

Applicant after: Dongguan Songshan Lake Robot Research Institute International Company Limited

Address before: Room 220, Building 6, Youth Dream Workshop, Qianhai Shenzhen-Hong Kong Cooperative Zone, Shenzhen, Guangdong 518000

Applicant before: Rui magic Intelligent Technology (Shenzhen) Co., Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211103

Address after: 518057 220, building 6, Qianhai Shenzhen Hong Kong youth dream workshop, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen City, Guangdong Province

Patentee after: RUIMO INTELLIGENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Address before: 518000 room 220, building 6, Qianhai Shenzhen Hong Kong youth dream workshop, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen City, Guangdong Province

Patentee before: RUIMO INTELLIGENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Patentee before: DONGGUAN SONGSHAN LAKE TECHXINSTITUTE Co.,Ltd.

TR01 Transfer of patent right