CN111382655A - 一种举手行为识别方法及装置、电子设备 - Google Patents

一种举手行为识别方法及装置、电子设备 Download PDF

Info

Publication number
CN111382655A
CN111382655A CN201910161167.9A CN201910161167A CN111382655A CN 111382655 A CN111382655 A CN 111382655A CN 201910161167 A CN201910161167 A CN 201910161167A CN 111382655 A CN111382655 A CN 111382655A
Authority
CN
China
Prior art keywords
face
hand
lifting
target
prediction result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910161167.9A
Other languages
English (en)
Inventor
高海超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Honghe Innovation Information Technology Co Ltd
Original Assignee
Shenzhen Honghe Innovation Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Honghe Innovation Information Technology Co Ltd filed Critical Shenzhen Honghe Innovation Information Technology Co Ltd
Priority to CN201910161167.9A priority Critical patent/CN111382655A/zh
Publication of CN111382655A publication Critical patent/CN111382655A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种举手行为识别方法及装置、电子设备，包括：输入待识别图像；利用举手训练模型对待识别图像进行识别，得到目标举手预测结果集；举手行为跟踪器根据目标举手预测结果集，对至少一个举手的人体对象分别进行标注，生成每个人体对象的标注信息；利用人脸训练模型对待识别图像进行识别，得到目标人脸预测结果集；人脸根据器根据目标人脸预测结果集，对至少一个人脸对象分别进行标注，生成每个人脸对象的标注信息；根据目标举手预测结果集和目标人脸预测结果集，按照匹配条件进行匹配；对于满足匹配条件的目标举手预测结果与目标人脸预测结果，输出举手行为识别结果。本发明能够提高举手行为识别的准确率。

Description

一种举手行为识别方法及装置、电子设备
技术领域
本发明涉及智能识别技术领域，特别是指一种举手行为识别方法及装置、电子设备。
背景技术
目前，利用人工智能技术识别举手行为，可根据举手动作创建举手行为跟踪器，利用举手行为跟踪器跟踪手部动作，实现举手行为的快速定位和识别。但是，上述举手行为跟踪器仅适用于个体举手行为的识别，在人员密集、且举手人员较多的场景中，上述举手行为跟踪器会出现误判、漏判，降低举手行为的识别准确率。
发明内容
有鉴于此，本发明的目的在于提出一种举手行为识别方法及装置、电子设备，能够提高举手行为识别准确率。
基于上述目的，本发明提供了一种举手行为识别方法，包括：
输入待识别图像；
利用举手训练模型对所述待识别图像进行识别，得到包括至少一组目标举手预测结果的目标举手预测结果集；
将所述目标举手预测结果集输入举手行为跟踪器，所述举手行为跟踪器根据所述目标举手预测结果集，对至少一个举手的人体对象分别进行标注，生成每个人体对象的标注信息；
利用人脸训练模型对所述待识别图像进行识别，得到包括至少一组目标人脸预测结果的目标人脸预测结果集；
将所述目标人脸预测结果集输入人脸跟踪器，所述人脸跟踪器根据所述目标人脸预测结果集，对至少一个人脸对象分别进行标注，生成每个人脸对象的标注信息；
根据所述目标举手预测结果集和所述目标人脸预测结果集，按照匹配条件进行匹配；
对于满足所述匹配条件的目标举手预测结果与相应的目标人脸预测结果，输出举手行为识别结果。
可选的，所述目标举手预测结果集包括至少一个人体对象的目标举手预测结果，所述目标举手预测结果包括人体对象的基准点坐标、高度、宽度、识别置信度。
可选的，所述每个人体对象的标注信息包括每个人体对象的人体框，每个人体对象的人体追踪标识，所述人体追踪标识与所述人体对象一一对应。
可选的，所述目标人脸预测结果集包括至少一个人脸对象的目标人脸预测结果，所述目标人脸预测结果包括人脸对象的基准点坐标、高度、宽度、识别置信度。
可选的，所述每个人脸的标注信息包括每个人脸对象的人脸框，每个人脸对象的人脸追踪标识，所述人脸追踪标识与所述人脸对象一一对应。
可选的，所述匹配条件为所述人脸对象在所述人体对象范围之内。
可选的，所述方法还包括：对于满足所述匹配条件的目标举手预测结果与相应的目标人脸预测结果，记录分别对应的人体对象的标注信息和人脸对象的标注信息，对预定时间内连续输入的多张待识别图像，根据所述记录的人体对象的标注信息和人脸对象的标注信息，判断所述多张待识别图像是否均满足所述匹配条件，若满足则输入举手行为识别结果。
本发明实施例还提供一种举手行为识别装置，包括：
举手训练模块，用于对待识别图像进行识别，得到包括至少一组目标举手预测结果的目标举手预测结果集；
举手行为跟踪模块，用于根据输入的所述目标举手预测结果集，对至少一个举手的人体对象分别进行标注，生成每个人体对象的标注信息；
人脸训练模块，用于对所述待识别图像进行识别，得到包括至少一组目标人脸预测结果的目标人脸预测结果集；
人脸跟踪模块，用于根据输入的所述目标人脸预测结果集，对至少一个人脸对象分别进行标注，生成每个人脸对象的标注信息；
匹配模块，用于根据所述目标举手预测结果集和目标人脸预测结果集，按照匹配条件进行匹配；
输出模块，用于对于满足所述匹配条件的目标举手预测结果与相应的目标人脸预测结果，输出举手行为识别结果。
可选的，所述目标举手预测结果集包括至少一个人体对象的目标举手预测结果，所述目标举手预测结果包括人体对象的基准点坐标、高度、宽度、识别置信度。
可选的，所述每个人体对象的标注信息包括每个人体对象的人体框，每个人体对象的人体追踪标识，所述人体追踪标识与所述人体对象一一对应。
可选的，所述目标人脸预测结果集包括至少一个人脸对象的目标人脸预测结果，所述目标人脸预测结果包括人脸对象的基准点坐标、高度、宽度、识别置信度。
可选的，所述每个人脸对象的标注信息包括每个人脸对象的人脸框，每个人脸对象的人脸追踪标识，所述人脸追踪标识与所述人脸对象一一对应。
可选的，所述匹配条件为所述人脸对象在所述人体对象范围之内。
可选的，所述装置还包括：
记录模块，用于记录满足所述匹配条件的目标举手预测结果对应的人体对象的标注信息与目标人脸预测结果对应的人脸对象的标注信息；
输出模块，用于对于连续输入的多张待识别图像，根据记录的人体对象的标注信息与人脸对象的标注信息，判断各张待识别图像均满足匹配条件时，输出举手行为识别结果。
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述举手行为识别方法。
从上面所述可以看出，本发明提供的举手行为识别方法及装置、电子设备，分别利用举手训练模型和人脸训练模型对待识别图像进行识别，分别得到目标举手预测结果集和目标人脸预测结果集，将目标举手预测结果集和目标人脸预测结果集分别输入举手行为跟踪器和人脸跟踪器，利用两个跟踪器分别对至少一个人体对象和至少一个人脸对象进行跟踪和标注，根据目标举手预测结果集和目标人脸预测结果集，按照匹配条件匹配至少一个人体对象，对于满足匹配条件的目标举手预测结果与相应的目标人脸预测结果，输出包括至少一个举手的人体对象的举手行为识别结果。本发明能够实现至少一个举手的人体对象的举手行为的识别，且识别准确率较高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的方法流程示意图；
图2为本发明实施例的人体框与人脸框的示意图；
图3为本发明实施例的装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
本发明实施例提供一种举手行为识别方法，能够实现个体举手行为的识别，也能够实现在人员密集且举手人员较多的场景下，各举手人员的举手行为的识别。所述举手行为识别方法包括：
输入待识别图像；
利用举手训练模型对待识别图像进行识别，得到包括至少一组目标举手预测结果的目标举手预测结果集；
将目标举手预测结果集输入举手行为跟踪器，举手行为跟踪器根据目标举手预测结果集，对至少一个举手的人体对象分别进行标注，生成每个人体对象的标注信息；
利用人脸训练模型对待识别图像进行识别，得到包括至少一组目标人脸预测结果的目标人脸预测结果集；
将目标人脸预测结果集输入人脸跟踪器，人脸跟踪器根据目标人脸预测结果集对至少一个人脸对象分别进行标注，生成每个人脸对象的标注信息；
根据目标举手预测结果集和目标人脸预测结果集，按照匹配条件进行匹配，对于满足匹配条件的目标举手预测结果与相应的目标人脸预测结果，输出举手行为识别结果。
本发明实施例的举手行为识别方法，对待识别图像分别利用举手训练模型和人脸训练模型进行识别，两个模型分别输出目标举手预测结果集和目标人脸预测结果集，其中，目标举手预测结果集包括至少一个举手的人体对象的举手预测结果，目标人脸预测结果集包括至少一个人脸对象的人脸预测结果；将目标举手预测结果集和目标人脸预测结果集分别输入举手行为跟踪器和人脸跟踪器，利用两个跟踪器分别对至少一个人体对象和至少一个人脸对象进行跟踪和标注，根据目标举手预测结果集和目标人脸预测结果集，按照匹配条件匹配至少一个人体对象，对于满足匹配条件的目标举手预测结果与相应的目标人脸预测结果，输出包括至少一个举手的人体对象的举手行为识别结果。本发明能够实现至少一个举手的人体对象的举手行为的识别，且识别准确率较高。
图1为本发明实施例的方法流程示意图。如图所示，本发明实施例的举手行为识别方法包括：
S10：输入待识别图像；
所述待识别图像为视频流中的每一帧图像。本发明实施例中，利用图像采集设备采集其拍摄范围内的视频流，从视频流中提取每一帧图像，并对每一帧图像进行预处理，得到适于模型识别处理的图像，将预处理后的图像作为待识别图像。图像采集设备可以安装于教室、会议室、礼堂等场所，对于安装于教室中的图像采集设备，可利用本发明的方法识别出上课过程中多个举手的学生，后续可根据举手的学生数量评估课堂活跃程度与教学水平。
S11：利用举手训练模型对待识别图像进行识别，得到目标举手预测结果集；
基于深度学习算法模型，以在人员密集场所，多个举手人员为训练样本，对深度学习算法模型进行训练，生成举手训练模型。训练样本的举手人员数量可根据具体应用场景进行配置。
利用举手训练模型对待识别图像进行识别，得到举手预测结果集。所述举手预测结果集包括至少一个人体对象的举手预测结果，每一组举手预测结果均包括人体对象的基准点坐标、高度、宽度、识别置信度等。根据预设的举手行为阈值，当识别置信度大于等于举手行为阈值时，该识别置信度对应的一组举手预测结果作为目标举手预测结果，由至少一组目标举手预测结果构成目标举手预测结果集。
S12：将目标举手预测结果集输入举手行为跟踪器，利用举手行为跟踪器对至少一个举手的人体对象分别标注相应的人体框及人体追踪标识；
将目标举手预测结果集输入举手行为跟踪器，举手行为跟踪器根据目标举手预测结果集中目标举手预测结果的组数，确定举手的人体对象的数量及各人体对象的位置，分别对各人体对象进行标注，包括标注每个人体对象的人体框，标注每个人体对象的人体追踪标识，人体追踪标识与人体对象一一对应。
其中，举手行为跟踪器对人体对象的追踪与标注，设定一移动区域，人体对象在移动区域之内移动也认定为是同一人体对象。移动区域例如是20个像素范围之内。
S13：利用人脸训练模型对待识别图像进行识别，得到目标人脸预测结果集；
基于深度学习算法模型，以人员密集场所，多个举手人员的人脸为训练样本，对深度学习算法模型进行训练，生成人脸训练模型。
利用人脸训练模型对待识别图像进行识别，得到人脸预测结果集。所述人脸预测结果集包括至少一个人脸对象的人脸预测结果，每一组人脸预测结果均包括人脸对象的基准点坐标、高度、宽度、识别置信度。根据预设的人脸阈值，当识别置信度大于等于人脸阈值时，该识别置信度对应的一组人脸预测结果集作为目标人脸预测结果，由至少一组目标人脸预测结果构成目标人脸预测结果集。
S14：将目标人脸预测结果集输入人脸跟踪器，利用人脸跟踪器对至少一个人脸对象分别标注相应的人脸框及人脸追踪标识；
将目标人脸预测结果集输入人脸跟踪器，人脸跟踪器根据目标人脸预测结果集中目标人脸预测结果的组数，确定人脸对象的数量及各人脸对象的位置，分别对各人脸对象进行标注，包括标注每个人脸对象的人脸框，标注每个人脸对象的人脸追踪标识，人脸追踪标识与人脸对象一一对应。
S15：根据目标举手预测结果集和目标人脸预测结果集，按照匹配条件进行匹配，对于匹配成功的目标举手预测结果和相应的目标人脸预测结果，执行步骤S16；
本发明实施例中，目标举手预测结果集包括至少一组目标举手预测结果，目标人脸预测结果集包括至少一组目标人脸预测结果，将其中一组目标举手预测结果分别与各组目标人脸预测结果进行匹配，当一组目标举手预测结果与一组人脸预测结果满足匹配条件时，记录该组目标举手预测结果对应的人体追踪标识与该组人脸预测结果对应的人脸追踪标识。
按照上述过程，依次将目标举手预测结果集中的每一组目标举手预测结果与目标人脸预测结果集中的各组目标人脸预测结果进行匹配，对于满足匹配条件的匹配组，分别记录相应的人体追踪标识与人脸追踪标识。
S16：记录匹配成功的目标举手预测结果与相应的目标人脸预测结果所分别对应的人体追踪标识和人脸追踪标识；
S17：对连续输入的待识别图像进行识别与匹配过程，当满足举手行为条件时，执行步骤S18，若不满足举手识别条件，继续匹配；
设置举手识别条件，当在连续时间之内识别为举手行为时，确定为满足举手行为条件，输出满足举手行为条件的识别结果。
在连续时间(如5秒)之内连续采集待识别图像(如连续时间内的N张图像)，对连续采集的N张待识别图像按照上述步骤S10-S16进行识别与匹配，在连续的待识别图像中，每张待识别图像均满足匹配条件的目标举手预测结果与目标人脸预测结果确定为识别出的举手人员。
对于连续的两张待识别图像，可根据记录的上一张待识别图像中满足匹配条件的人体追踪标识与人脸追踪标识，判断当前待识别图像的人体追踪标识对应的举手预测结果是否为目标举手预测结果，人脸追踪标识对应的人脸预测结果是否为目标人脸预测结果，人体追踪标识与人脸追踪标识对应的目标举手预测结果与目标人脸预测结果是否满足匹配条件。
S18：输出举手识别结果。
输出的举手识别结果包括至少一个举手的人体对象的信息，包括位置、人体框内图像等。
在一些实施例中，可按照时间对识别出的举手的人体对象进行排序，并输出排在前面的几个举手的人体对象的信息。例如，在课堂教学过程中的抢答场景中，可协助教师快速识别筛选出先举手的几个学生。
以下结合一具体实施例对本发明实施例的识别与匹配过程进行示例性说明。图2为本发明实施例的人体框与人脸框的示意图，如图所示，将输入的待识别图像输入举手训练模型，输出至少一个人体对象的举手训练结果，每一组举手预测结果均包括人体对象的基准点A坐标A(x，y)、高度HA、宽度WA、识别置信度；将识别置信度大于等于举手行为阈值的一组举手预测结果作为目标举手预测结果，由至少一组目标举手预测结果构成目标举手预测结果集。将目标举手预测结果集输入举手行为跟踪器，举手行为跟踪器根据目标举手预测结果的组数，确定举手的人体对象的数量和各人体对象的位置，对每个人体对象标注人体框20，标注人体追踪标识21。
将待识别图像输入人脸训练模型，输出至少一个人脸对象的人脸训练结果，每一组人脸训练结果均包括人脸对象的基准点B坐标B(x1,y1)、高度HB、宽度WB、识别置信度；将识别置信度大于等于人脸阈值的一组人脸预测结果作为目标人脸预测结果，由至少一组目标人脸预测结果构成目标人脸预测结果集。将目标人脸预测结果集输入人脸跟踪器，人脸跟踪器根据目标人脸预测结果的组数，确定人脸对象的数量和各人脸对象的位置，对每个人脸对象标注人脸框22，标注人脸追踪标识23。需要说明的是，人体追踪标识是识别出的每个人体对象的标识，人体对象与人体追踪标识一一对应，人脸追踪标识是识别出的每个人脸对象的标识，人脸对象与人脸追踪标识一一对应，对于同一人体，人体追踪标识与人脸追踪标识可以相同或是不同，二者没有关联。
根据目标举手预测结果集和目标人脸预测结果集，对其中一组目标举手预测结果和一组目标人脸预测结果进行匹配时，判断人脸对象是否在人体对象范围之内，即判断人脸框22是否在人体框20之内，若在则判断为匹配，否则为不匹配。
具体方法是，为提高识别准确率，首先将人体框20扩展M个像素，形成匹配框24，根据人体框20的基准点A坐标，得到匹配框24的基准点C坐标为C(x-M，y-M)，匹配框24的对角点C1坐标为C1(x+WA+M，y+HA+M)；其次，根据匹配框的基准点C坐标与对角点C1坐标，计算人体对象的中心点D坐标D(x2，y2)；根据人脸框的基准点B坐标B(x1,y1)，高度HB、宽度WB，计算人脸对象的中心点E坐标E(x3，y3)；
根据人体对象的中心点坐标D(x2，y2)与人脸对象的中心点坐标E(x3，y3)，计算：
|x2-x3|<WA/2 (1)
|y2-y3|<HA/2 (2)
若公式(1)、(2)同时满足，则判断为人脸框在人体框之内，判断为满足匹配条件。
对于满足匹配条件的一组举手预测结果与相应的人脸预测结果，记录对应的人体追踪标识与人脸追踪标识。后续，对于一定时间内采集的连续的多张待识别图像，依次根据人体追踪标识与人脸追踪标识判断对应的举手预测结果与人脸预测结果是否满足匹配条件；若连续的多张待识别图像中，人体追踪标识与人脸追踪标识对应的举手预测结果与人脸预测结果均满足匹配条件，则确定该人体追踪标识与人脸追踪标识对应的人体对象为识别出的举手人员。
图3为本发明实施例的装置结构示意图。如图所示，本发明实施例提供的举手行为识别装置，包括：
举手训练模块，用于对待识别图像进行识别，得到包括至少一组目标举手预测结果的目标举手预测结果集；
利用举手训练模块对待识别图像进行识别，得到举手预测结果集，举手预测结果集包括至少一个人体对象的举手预测结果，每一组举手预测结果均包括人体对象的基准点坐标、高度、宽度、识别置信度等。根据预设的举手行为阈值，当识别置信度大于等于举手行为阈值时，该识别置信度对应的一组举手预测结果作为目标举手预测结果，由至少一组目标举手预测结果构成目标举手预测结果集。
举手行为跟踪模块，用于根据输入的目标举手预测结果集，对至少一个举手的人体对象分别进行标注，生成每个人体对象的标注信息；
举手行为跟踪模块根据目标举手预测结果集中目标举手预测结果的组数，确定举手的人体对象的数量及各人体对象的位置，分别对各人体对象进行标注，包括标注每个人体对象的人体框，标注每个人体对象的人体追踪标识，人体追踪标识与人体对象一一对应。
人脸训练模块，用于对待识别图像进行识别，得到包括至少一组目标人脸预测结果的目标人脸预测结果集；
利用人脸训练模块对待识别图像进行识别，得到人脸预测结果集。所述人脸预测结果集包括至少一个人脸对象的人脸预测结果，每一组人脸预测结果均包括人脸对象的基准点坐标、高度、宽度、识别置信度。根据预设的人脸阈值，当识别置信度大于等于人脸阈值时，该识别置信度对应的一组人脸预测结果集作为目标人脸预测结果，由至少一组目标人脸预测结果构成目标人脸预测结果集。
人脸跟踪模块，用于根据输入的目标人脸预测结果集，对至少一个人脸对象分别进行标注，生成每个人脸对象的标注信息；
人脸跟踪模块根据目标人脸预测结果集中目标人脸预测结果的组数，确定人脸对象的数量及各人脸对象的位置，分别对各人脸对象进行标注，包括标注每个人脸对象的人脸框，标注每个人脸对象的人脸追踪标识，人脸追踪标识与人脸对象一一对应。
匹配模块，用于根据目标举手预测结果集和目标人脸预测结果集，按照匹配条件进行匹配；
目标举手预测结果集包括至少一组目标举手预测结果，目标人脸预测结果集包括至少一组目标人脸预测结果，将其中一组目标举手预测结果分别与各组目标人脸预测结果进行匹配，当一组目标举手预测结果与一组人脸预测结果满足匹配条件时，确定该组目标举手预测结果与人脸预测结果对应的人体对象为识别出的举手人员。其中，匹配条件为：判断人脸对象是否在人体对象范围之内，即判断人脸框是否在人体框之内，若在则判断为匹配，否则为不匹配。
输出模块，用于对于满足匹配条件的目标举手预测结果与相应的目标人脸预测结果，输出举手行为识别结果。
所述举手行为识别装置还包括：
图像处理模块，用于从图像采集设备采集的视频流中提取每一帧图像，并对每一帧图像进行预处理，将预处理后的图像作为待识别图像。
所述举手行为识别装置还包括：
记录模块，用于记录满足匹配条件的目标举手预测结果对应的人体对象的标注信息与目标人脸预测结果对应的人脸对象的标注信息；
输出模块，用于对连续输入的多张待识别图像，根据记录的人体对象的标注信息和人脸对象的标注信息，判断各张待识别图像均满足匹配条件时，输出举手识别结果。
本发明实施例中，记录模块记录满足匹配条件的目标举手预测结果对应的人体追踪标识与目标人脸预测结果对应的人脸追踪标识。输出模块对于连续输入的多张待识别图像，根据记录的人体追踪标识与人脸追踪标识，当判断各张待识别图像均满足匹配条件时，输出举手行为识别结果。
其中，连续输入的多张待识别图像，可以是在预定时间之内连续提取的多张图像。
基于上述目的，本发明实施例还提出了一种执行所述举手行为识别方法的装置的一个实施例。所述装置包括：
一个或多个处理器以及存储器。
所述执行所述举手行为识别方法的装置还可以包括：输入装置和输出装置。
处理器、存储器、输入装置和输出装置可以通过总线或者其他方式连接。
存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的举手行为识别方法对应的程序指令/模块。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的举手行为识别方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据执行所述举手行为识别方法的装置的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至会员用户行为监控装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置可接收输入的数字或字符信息，以及产生与执行举手行为识别方法的装置的用户设置以及功能控制有关的键信号输入。输出装置可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任意方法实施例中的举手行为识别方法。所述执行所述举手行为识别方法的装置的实施例，其技术效果与前述任意方法实施例相同或者类似。
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的列表项操作的处理方法。所述非暂态计算机存储介质的实施例，其技术效果与前述任意方法实施例相同或者类似。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。所述计算机程序的实施例，其技术效果与前述任意方法实施例相同或者类似。
此外，典型地，本公开所述的装置、设备等可为各种电子终端设备，例如手机、个人数字助理(PDA)、平板电脑(PAD)、智能电视等，也可以是大型终端设备，如服务器等，因此本公开的保护范围不应限定为某种特定类型的装置、设备。本公开所述的客户端可以是以电子硬件、计算机软件或两者的组合形式应用于上述任意一种电子终端设备中。
此外，根据本公开的方法还可以被实现为由CPU执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被CPU执行时，执行本公开的方法中限定的上述功能。
此外，上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。
此外，应该明白的是，本文所述的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)以及直接RambusRAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种举手行为识别方法，其特征在于，包括：
输入待识别图像；
利用举手训练模型对所述待识别图像进行识别，得到包括至少一组目标举手预测结果的目标举手预测结果集；
将所述目标举手预测结果集输入举手行为跟踪器，所述举手行为跟踪器根据所述目标举手预测结果集，对至少一个举手的人体对象分别进行标注，生成每个人体对象的标注信息；
利用人脸训练模型对所述待识别图像进行识别，得到包括至少一组目标人脸预测结果的目标人脸预测结果集；
将所述目标人脸预测结果集输入人脸跟踪器，所述人脸跟踪器根据所述目标人脸预测结果集，对至少一个人脸对象分别进行标注，生成每个人脸对象的标注信息；
根据所述目标举手预测结果集和所述目标人脸预测结果集，按照匹配条件进行匹配；
对于满足所述匹配条件的目标举手预测结果与相应的目标人脸预测结果，输出举手行为识别结果。
2.根据权利要求1所述的方法，其特征在于，所述目标举手预测结果集包括至少一个人体对象的目标举手预测结果，所述目标举手预测结果包括人体对象的基准点坐标、高度、宽度、识别置信度。
3.根据权利要求1所述的方法，其特征在于，所述每个人体对象的标注信息包括每个人体对象的人体框，每个人体对象的人体追踪标识，所述人体追踪标识与所述人体对象一一对应。
4.根据权利要求1所述的方法，其特征在于，所述目标人脸预测结果集包括至少一个人脸对象的目标人脸预测结果，所述目标人脸预测结果包括人脸对象的基准点坐标、高度、宽度、识别置信度。
5.根据权利要求1所述的方法，其特征在于，所述每个人脸的标注信息包括每个人脸对象的人脸框，每个人脸对象的人脸追踪标识，所述人脸追踪标识与所述人脸对象一一对应。
6.根据权利要求1所述的方法，其特征在于，所述匹配条件为所述人脸对象在所述人体对象范围之内。
7.根据权利要求1所述的方法，其特征在于，还包括：对于满足所述匹配条件的目标举手预测结果与相应的目标人脸预测结果，记录分别对应的人体对象的标注信息和人脸对象的标注信息，对预定时间内连续输入的多张待识别图像，根据所述记录的人体对象的标注信息和人脸对象的标注信息，判断所述多张待识别图像是否均满足所述匹配条件，若满足则输入举手行为识别结果。
8.一种举手行为识别装置，其特征在于，包括：
举手训练模块，用于对待识别图像进行识别，得到包括至少一组目标举手预测结果的目标举手预测结果集；
举手行为跟踪模块，用于根据输入的所述目标举手预测结果集，对至少一个举手的人体对象分别进行标注，生成每个人体对象的标注信息；
人脸训练模块，用于对所述待识别图像进行识别，得到包括至少一组目标人脸预测结果的目标人脸预测结果集；
人脸跟踪模块，用于根据输入的所述目标人脸预测结果集，对至少一个人脸对象分别进行标注，生成每个人脸对象的标注信息；
匹配模块，用于根据所述目标举手预测结果集和目标人脸预测结果集，按照匹配条件进行匹配；
输出模块，用于对于满足所述匹配条件的目标举手预测结果与相应的目标人脸预测结果，输出举手行为识别结果。
9.根据权利要求8所述的装置，其特征在于，所述目标举手预测结果集包括至少一个人体对象的目标举手预测结果，所述目标举手预测结果包括人体对象的基准点坐标、高度、宽度、识别置信度。
10.根据权利要求8所述的装置，其特征在于，所述每个人体对象的标注信息包括每个人体对象的人体框，每个人体对象的人体追踪标识，所述人体追踪标识与所述人体对象一一对应。
11.根据权利要求8所述的装置，其特征在于，所述目标人脸预测结果集包括至少一个人脸对象的目标人脸预测结果，所述目标人脸预测结果包括人脸对象的基准点坐标、高度、宽度、识别置信度。
12.根据权利要求8所述的装置，其特征在于，所述每个人脸对象的标注信息包括每个人脸对象的人脸框，每个人脸对象的人脸追踪标识，所述人脸追踪标识与所述人脸对象一一对应。
13.根据权利要求8所述的装置，其特征在于，所述匹配条件为所述人脸对象在所述人体对象范围之内。
14.根据权利要求8所述的装置，其特征在于，还包括：
记录模块，用于记录满足所述匹配条件的目标举手预测结果对应的人体对象的标注信息与目标人脸预测结果对应的人脸对象的标注信息；
输出模块，用于对于连续输入的多张待识别图像，根据记录的人体对象的标注信息与人脸对象的标注信息，判断各张待识别图像均满足匹配条件时，输出举手行为识别结果。
15.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。
CN201910161167.9A 2019-03-04 2019-03-04 一种举手行为识别方法及装置、电子设备 Pending CN111382655A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910161167.9A CN111382655A (zh) 2019-03-04 2019-03-04 一种举手行为识别方法及装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910161167.9A CN111382655A (zh) 2019-03-04 2019-03-04 一种举手行为识别方法及装置、电子设备

Publications (1)

Publication Number Publication Date
CN111382655A true CN111382655A (zh) 2020-07-07

Family

ID=71219606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910161167.9A Pending CN111382655A (zh) 2019-03-04 2019-03-04 一种举手行为识别方法及装置、电子设备

Country Status (1)

Country Link
CN (1) CN111382655A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022120925A1 (zh) * 2020-12-07 2022-06-16 安徽鸿程光电有限公司 信息处理方法、装置、设备及存储介质
WO2022195336A1 (en) * 2021-03-17 2022-09-22 Sensetime International Pte. Ltd. Methods, apparatuses, devices and storage medium for predicting correlation between objects
CN115937971A (zh) * 2022-11-18 2023-04-07 广州市保伦电子有限公司 一种举手投票识别方法及装置
US11941838B2 (en) 2021-03-17 2024-03-26 Sensetime International Pte. Ltd. Methods, apparatuses, devices and storage medium for predicting correlation between objects

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022120925A1 (zh) * 2020-12-07 2022-06-16 安徽鸿程光电有限公司 信息处理方法、装置、设备及存储介质
WO2022195336A1 (en) * 2021-03-17 2022-09-22 Sensetime International Pte. Ltd. Methods, apparatuses, devices and storage medium for predicting correlation between objects
US11941838B2 (en) 2021-03-17 2024-03-26 Sensetime International Pte. Ltd. Methods, apparatuses, devices and storage medium for predicting correlation between objects
CN115937971A (zh) * 2022-11-18 2023-04-07 广州市保伦电子有限公司 一种举手投票识别方法及装置
CN115937971B (zh) * 2022-11-18 2023-09-08 广东保伦电子股份有限公司 一种举手投票识别方法及装置

Similar Documents

Publication Publication Date Title
US10650261B2 (en) System and method for identifying re-photographed images
CN109165552B (zh) 一种基于人体关键点的姿态识别方法、系统及存储器
US10275672B2 (en) Method and apparatus for authenticating liveness face, and computer program product thereof
CN111382655A (zh) 一种举手行为识别方法及装置、电子设备
US8792722B2 (en) Hand gesture detection
US8750573B2 (en) Hand gesture detection
CN109766759A (zh) 情绪识别方法及相关产品
CN107798327A (zh) 字符识别方法及装置
Surekha et al. Attendance recording system using partial face recognition algorithm
CN110852147B (zh) 一种安防报警方法、装置、服务器及计算机可读存储介质
CN108491808B (zh) 用于获取信息的方法及装置
CN113792871A (zh) 神经网络训练方法、目标识别方法、装置和电子设备
Phankokkruad et al. An evaluation of technical study and performance for real-time face detection using web real-time communication
CN113920540A (zh) 基于知识蒸馏的行人重识别方法、装置、设备及存储介质
Shah et al. Efficient portable camera based text to speech converter for blind person
CN111339809A (zh) 一种课堂行为分析方法及装置、电子设备
CN112381118B (zh) 一种大学舞蹈考试测评方法及装置
CN110008922A (zh) 用于终端设备的图像处理方法、设备、装置、介质
CN110569707A (zh) 一种身份识别方法和电子设备
CN115497152A (zh) 基于图像识别的客户信息分析方法、装置、系统及介质
Yadav et al. Attendance Management System Based on Face Recognition Using Haar-Cascade
CN116580054A (zh) 视频数据处理方法、装置、设备以及介质
CN114038045A (zh) 一种跨模态人脸识别模型构建方法、装置及电子设备
CN114022905A (zh) 一种属性感知的域拓展行人重识别方法及系统
CN112633224A (zh) 一种社交关系识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination