CN115937971A - 一种举手投票识别方法及装置 - Google Patents

Abstract

本发明公开了一种举手投票识别方法及装置。所述方法包括：将获取的待处理图像分别输入2D人体关键点检测模型和3D人体关键点检测模型，得到若干个2D人体关键点数据和若干个3D人体关键点数据；基于预先定义的人体部位划分策略，确定所有所述2D人体关键点和所有所述3D人体关键点对应的人体部位，得到若干个人体部位关键点数据；将所有所述人体部位关键点数据中的第一目标人体部位关键点数据输入举手检测模型，得到举手检测数据；基于预先定义的第一计票规则，根据所有所述举手检测数据进行计票，得到投票结果。本发明能够基于2D平面和3D立体面全面检测待处理图像中的人体关键点，准确识别举手动作，以及快速获取计票结果。

Description

一种举手投票识别方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种举手投票识别方法及装置。

背景技术

在现实生活中，很多场景存在举手投票需求，比如课堂上学生的举手投票，会议中与会者的举手投票等。现有的举手投票识别方法大都是通过安装在教室、会议室等场所的图像采集设备采集现场图像，基于2D平面检测现场图像中的人体关键点来识别举手动作，由人工基于实际应用场景下的计票规则，根据识别的举手动作进行计票。可见，现有的举手投票识别方法一方面未考虑实际应用中会受图像采集设备的布放位置、拍摄角度等因素影响，现场图像中部分人体关键点被遮挡或模糊不清，难以全面检测现场图像中的人体关键点，无法准确识别举手动作，另一方面为了适应各种应用场景下的计票规则只能采用人工计票，难以快速获取计票结果。

发明内容

为了克服现有技术的缺陷，本发明提供一种举手投票识别方法及装置，能够基于2D平面和3D立体面全面检测待处理图像中的人体关键点，准确识别举手动作，以及快速获取计票结果。

为了解决上述技术问题，第一方面，本发明一实施例提供一种举手投票识别方法，包括：

将获取的待处理图像分别输入2D人体关键点检测模型和3D人体关键点检测模型，得到若干个2D人体关键点数据和若干个3D人体关键点数据；

基于预先定义的人体部位划分策略，确定所有所述2D人体关键点和所有所述3D人体关键点对应的人体部位，得到若干个人体部位关键点数据；

将所有所述人体部位关键点数据中的第一目标人体部位关键点数据输入举手检测模型，得到举手检测数据；

基于预先定义的第一计票规则，根据所有所述举手检测数据进行计票，得到投票结果。

进一步地，所述举手投票识别方法，还包括：

将所有所述人体部位关键点数据中的第二目标人体部位关键点数据输入人脸检测模型，得到人脸检测数据；

基于预先定义的第二计票规则，结合所有所述人脸检测数据进行计票，更新所述投票结果。

进一步地，所述举手投票识别方法，还包括：

将所有所述人体部位关键点数据中的第三目标人体部位关键点数据输入性别检测模型，得到性别检测数据；

基于预先定义的第三计票规则，结合所有所述性别检测数据进行计票，更新所述投票结果。

进一步地，所述举手投票识别方法，还包括：

将所有所述人体部位关键点数据中的第四目标人体部位关键点数据输入年龄检测模型，得到年龄检测数据；

基于预先定义的第四计票规则，结合所有所述年龄检测数据进行计票，更新所述投票结果。

进一步地，在所述将获取的待处理图像分别输入2D人体关键点检测模型和3D人体关键点检测模型，得到若干个2D人体关键点数据和若干个3D人体关键点数据之前，还包括：

获取图像采集设备采集的现场图像，并对所述现场图像进行图像预处理，得到所述待处理图像；其中，所述图像预处理包括灰度图转换处理、归一化处理。

进一步地，在所述将获取的待处理图像分别输入2D人体关键点检测模型和3D人体关键点检测模型，得到若干个2D人体关键点数据和若干个3D人体关键点数据之后，还包括：

对所有所述2D人体关键点数据和所有所述3D人体关键点数据进行数据后处理；其中，所述数据后处理包括数据清洗、数据格式化。

第二方面，本发明一实施例提供一种举手投票识别装置，包括：

人体关键点检测模块，用于将获取的待处理图像分别输入2D人体关键点检测模型和3D人体关键点检测模型，得到若干个2D人体关键点数据和若干个3D人体关键点数据；

人体关键点分类模块，用于基于预先定义的人体部位划分策略，确定所有所述2D人体关键点和所有所述3D人体关键点对应的人体部位，得到若干个人体部位关键点数据；

举手检测模块，用于将所有所述人体部位关键点数据中的第一目标人体部位关键点数据输入举手检测模型，得到举手检测数据；

投票计票模块，用于基于预先定义的第一计票规则，根据所有所述举手检测数据进行计票，得到投票结果。

进一步地，所述举手投票识别装置，还包括：

人脸检测模块，用于将所有所述人体部位关键点数据中的第二目标人体部位关键点数据输入人脸检测模型，得到人脸检测数据；

所述投票计票模块，还用于基于预先定义的第二计票规则，结合所有所述人脸检测数据进行计票，更新所述投票结果。

进一步地，所述举手投票识别装置，还包括：

性别检测模块，用于将所有所述人体部位关键点数据中的第三目标人体部位关键点数据输入性别检测模型，得到性别检测数据；

所述投票计票模块，还用于基于预先定义的第三计票规则，结合所有所述性别检测数据进行计票，更新所述投票结果。

进一步地，所述举手投票识别装置，还包括：

年龄检测模块，用于将所有所述人体部位关键点数据中的第四目标人体部位关键点数据输入年龄检测模型，得到年龄检测数据；

所述投票计票模块，还用于基于预先定义的第四计票规则，结合所有所述年龄检测数据进行计票，更新所述投票结果。

本发明的实施例，具有如下有益效果：

通过将获取的待处理图像分别输入2D人体关键点检测模型和3D人体关键点检测模型，得到若干个2D人体关键点数据和若干个3D人体关键点数据；基于预先定义的人体部位划分策略，确定所有2D人体关键点和所有3D人体关键点对应的人体部位，得到若干个人体部位关键点数据；将所有人体部位关键点数据中的第一目标人体部位关键点数据输入举手检测模型，得到举手检测数据；基于预先定义的第一计票规则，根据所有举手检测数据进行计票，得到投票结果，完成举手投票识别。相比于现有技术，本发明的实施例通过将待处理图像分别输入2D人体关键点检测模型和3D人体关键点检测模型，利用2D人体关键点检测模型检测待处理图像中的2D人体关键点，得到若干个2D人体关键点数据，利用3D人体关键点检测模型检测待处理图像中的3D人体关键点，得到若干个3D人体关键点数据，结合所有2D人体关键点和所有3D人体关键点进行举手动作识别，能够基于2D平面和3D立体面全面检测待处理图像中的人体关键点，准确识别举手动作，以及通过基于预先定义的第一计票规则，根据所有举手检测数据进行自动计票，能够快速获取计票结果。

附图说明

图1为本发明第一实施例中的一种举手投票识别方法的流程示意图；

图2为本发明第二实施例中的一种举手投票识别装置的结构示意图；

图3为本发明第三实施例中的一种举手投票识别系统的数据流图。

具体实施方式

下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。本实施例提供的方法可以由相关的终端设备执行，且下文均以处理器作为执行主体为例进行说明。

如图1所示，第一实施例提供一种举手投票识别方法，包括步骤S1～S4：

S1、将获取的待处理图像分别输入2D人体关键点检测模型和3D人体关键点检测模型，得到若干个2D人体关键点数据和若干个3D人体关键点数据；

S2、基于预先定义的人体部位划分策略，确定所有2D人体关键点和所有3D人体关键点对应的人体部位，得到若干个人体部位关键点数据；

S3、将所有人体部位关键点数据中的第一目标人体部位关键点数据输入举手检测模型，得到举手检测数据；

S4、基于预先定义的第一计票规则，根据所有举手检测数据进行计票，得到投票结果。

作为示例性地，在步骤S1中，预先构建2D人体关键点检测模型和3D人体关键点检测模型，并采用大量样本图像分别训练2D人体关键点检测模型和3D人体关键点检测模型，确保2D人体关键点检测模型能够准确检测出样本图像中的2D人体关键点，以及确保3D人体关键点检测模型能够准确检测出样本图像中的3D人体关键点。

具体地，2D人体关键点检测模型可选用卷积神经网络模型进行训练得到，将有人体的图像输入2D人体关键点检测模型，输出若干个2D人体关键点数据。考虑到这些2D人体关键点数据不能全面表达人体行为特征，需继续检测图像中的3D人体关键点数据来强化数据。将有人体的图像输入3D人体关键点检测模型，输出3D关键点数据、热力图(关键点置信图)数据、关节亲和场数据等，其中，3D关键点数据为与其本身对应的2D关键点数据的三维坐标，关键点置信图数据和关节亲和场数据通过匈牙利算法获得最好的匹配结果，从而获得最佳姿势。

在训练2D人体关键点检测模型/3D人体关键点检测模型时，需要对样本图像中的所有人体关键点进行按序标注，比如0：鼻子，1：左眼，2：右眼，3：左耳，…，16：右踝，训练2D人体关键点检测模型/3D人体关键点检测模型输出的若干个2D人体关键点数据/3D人体关键点数据也按这一顺序排列，以便后续快速准确地确定所有2D人体关键点数据/3D人体关键点数据对应的人体部位。

获取待处理图像，将待处理图像分别输入2D人体关键点检测模型和3D人体关键点检测模型，利用2D人体关键点检测模型检测待处理图像中的2D人体关键点，得到若干个2D人体关键点数据，以及利用3D人体关键点检测模型检测待处理图像中的3D人体关键点，得到若干个3D人体关键点数据。

在步骤S2中，基于预先定义的人体部位划分策略，确定所有2D人体关键点和所有3D人体关键点对应的人体部位，得到若干个人体部位关键点数据。例如，所有人体部位关键点数据包括头部关键点数据、面部关键点数据、上肢关键点数据、下肢关键点数据。

在步骤S3中，预先构建举手检测模型。具体地，举手检测模型可选用卷积神经网络模型进行训练得到。

从所有人体部位关键点数据中筛选出可用于识别举手动作的第一目标人体部位关键点数据，比如上肢关键点数据，将所有第一目标人体部位关键点数据输入举手检测模型，利用举手检测模型根据所有第一目标人体部位关键点数据进行举手动作识别，得到举手检测数据。

具体地，将所有人体部位关键点数据中的上肢关键点数据输入举手检测模型，举手检测模型根据输入的上肢关键点数据识别出左右胳膊是否有举手动作。其中，举手动作可定义为：小臂(手腕关键点和肘部关键点连接而成的直线)在空间中垂直桌面80-100°(此范围可根据实际应用场景微调，范围越小则动作越规范)，也可简单定义为：手腕关键点高于肩部关键点。另外，还可根据预先定义的投票规则细化定义为：单举左臂判定为否定票，单举右臂判定为赞成票，双臂同举和不举判定为弃权，投票规则可修改，对于大于三项投票的情况可增加手指伸出情况代表不同票类。

在步骤S4中，考虑实际应用场景下的计票需求，预先定义第一计票规则。基于预先定义的第一计票规则，根据所有举手检测数据进行计票，得到投票结果。例如，若第一计票规则为统计投票总数，则直接统计所有举手检测数据进行计票，得到投票结果。

本实施例通过将待处理图像分别输入2D人体关键点检测模型和3D人体关键点检测模型，利用2D人体关键点检测模型检测待处理图像中的2D人体关键点，得到若干个2D人体关键点数据，利用3D人体关键点检测模型检测待处理图像中的3D人体关键点，得到若干个3D人体关键点数据，结合所有2D人体关键点和所有3D人体关键点进行举手动作识别，能够基于2D平面和3D立体面全面检测待处理图像中的人体关键点，准确识别举手动作，以及通过基于预先定义的第一计票规则，根据所有举手检测数据进行自动计票，能够快速获取计票结果。

在优选的实施例当中，所述举手投票识别方法，还包括步骤S5～S6：

S5、将所有人体部位关键点数据中的第二目标人体部位关键点数据输入人脸检测模型，得到人脸检测数据；

S6、基于预先定义的第二计票规则，结合所有人脸检测数据进行计票，更新投票结果。

作为示例性地，在步骤S5中，预先构建人脸检测模型。具体地，人脸检测模型可选用卷积神经网络模型进行训练得到。

从所有人体部位关键点数据中筛选出可用于识别人脸特征的第二目标人体部位关键点数据，比如面部关键点数据，将所有第二目标人体部位关键点数据输入人脸检测模型，利用人脸检测模型根据所有第二目标人体部位关键点数据进行人脸特征识别，得到人脸检测数据。

可以理解的是，通过人脸检测模型根据所有第二目标人体部位关键点数据进行人脸特征识别，能够识别人员身份，有利于实现实名投票。

在步骤S6中，考虑实际应用场景下的计票需求，预先定义第二计票规则。基于预先定义的第二计票规则，结合所有举手检测数据、人脸检测数据进行计票，得到投票结果。例如，若第二计票规则为统计投票总数和投票人员名单，则不仅要统计所有举手检测数据获取投票总数，还要整合所有举手检测数据及其关联的人脸检测数据获取投票人员名单，得到投票结果。

本实施例通过将所有人体部位关键点数据中的第二目标人体部位关键点数据输入人脸检测模型，利用人脸检测模型识别人脸特征，得到人脸检测数据，并基于预先定义的第二计票规则，结合所有人脸检测数据进行自动计票，能够灵活适应各种应用场景下的计票规则，快速获取计票结果。

在优选的实施例当中，所述举手投票识别方法，还包括步骤S7～S8：

S7、将所有人体部位关键点数据中的第三目标人体部位关键点数据输入性别检测模型，得到性别检测数据；

S8、基于预先定义的第三计票规则，结合所有性别检测数据进行计票，更新投票结果。

作为示例性地，在步骤S7中，预先构建性别检测模型。具体地，性别检测模型可选用卷积神经网络模型进行训练得到。

从所有人体部位关键点数据中筛选出可用于识别性别特征的第三目标人体部位关键点数据，比如面部关键点数据，将所有第三目标人体部位关键点数据输入性别检测模型，利用性别检测模型根据所有第三目标人体部位关键点数据进行性别特征识别，得到性别检测数据。

可以理解的是，通过性别检测模型根据所有第三目标人体部位关键点数据进行性别特征识别，能够识别人员性别，有利于实现投票数据分类统计。

在步骤S8中，考虑实际应用场景下的计票需求，预先定义第三计票规则。基于预先定义的第三计票规则，结合所有举手检测数据、性别检测数据进行计票，得到投票结果。例如，若第三计票规则为统计男性投票总数和女性投票总数，则要整合所有举手检测数据及其关联的性别检测数据获取男性投票总数和女性投票总数，得到投票结果。

本实施例通过将所有人体部位关键点数据中的第三目标人体部位关键点数据输入性别检测模型，利用性别检测模型识别性别特征，得到性别检测数据，并基于预先定义的第三计票规则，结合所有性别检测数据进行自动计票，能够灵活适应各种应用场景下的计票规则，快速获取计票结果。

在优选的实施例当中，所述举手投票识别方法，还包括步骤S9～S10：

S9、将所有人体部位关键点数据中的第四目标人体部位关键点数据输入年龄检测模型，得到年龄检测数据；

S10、基于预先定义的第四计票规则，结合所有年龄检测数据进行计票，更新投票结果。

作为示例性地，在步骤S9中，预先构建年龄检测模型。具体地，年龄检测模型可选用卷积神经网络模型进行训练得到。

从所有人体部位关键点数据中筛选出可用于识别年龄特征的第四目标人体部位关键点数据，比如面部关键点数据，将所有第四目标人体部位关键点数据输入年龄检测模型，利用年龄检测模型根据所有第四目标人体部位关键点数据进行年龄特征识别，得到年龄检测数据。

可以理解的是，通过年龄检测模型根据所有第四目标人体部位关键点数据进行年龄特征识别，能够识别人员年龄，有利于实现投票数据分类统计。

在步骤S10中，考虑实际应用场景下的计票需求，预先定义第四计票规则。基于预先定义的第四计票规则，结合所有举手检测数据、年龄检测数据进行计票，得到投票结果。例如，若第四计票规则为统计青年投票总数、中年投票总数和老年投票总数，则要整合所有举手检测数据及其关联的年龄检测数据获取青年投票总数、中年投票总数和老年投票总数，得到投票结果。

本实施例通过将所有人体部位关键点数据中的第四目标人体部位关键点数据输入年龄检测模型，利用年龄检测模型识别年龄特征，得到年龄检测数据，并基于预先定义的第四计票规则，结合所有年龄检测数据进行自动计票，能够灵活适应各种应用场景下的计票规则，快速获取计票结果。

在优选的实施例当中，在所述将获取的待处理图像分别输入2D人体关键点检测模型和3D人体关键点检测模型，得到若干个2D人体关键点数据和若干个3D人体关键点数据之前，还包括：获取图像采集设备采集的现场图像，并对现场图像进行图像预处理，得到待处理图像；其中，图像预处理包括灰度图转换处理、归一化处理。

作为示例性地，在投票现场安装图像采集设备，其中，图像采集设备包括摄像头。具体地，5米内使用摄像头像素需达到500万，12米内使用摄像头像素需达到1200万，可根据不同应用场景选择摄像头，摄像头水平广角105°～120°即可满足。

获取图像采集设备采集的现场图像，并对现场图像进行灰度图转换处理、归一化处理等图像预处理，得到待处理图像。

本实施例通过对图像采集设备采集的现场图像进行灰度图转换处理、归一化处理等图像预处理，得到待处理图像，能够提升待处理图像的图像质量，有利于保证后续有效检测待处理图像中的人体关键点，准确识别举手动作。

在优选的实施例当中，在所述将获取的待处理图像分别输入2D人体关键点检测模型和3D人体关键点检测模型，得到若干个2D人体关键点数据和若干个3D人体关键点数据之后，还包括：对所有2D人体关键点数据和所有3D人体关键点数据进行数据后处理；其中，数据后处理包括数据清洗、数据格式化。

作为示例性地，在得到若干个2D人体关键点数据和若干个3D人体关键点数据时，对所有2D人体关键点数据和所有3D人体关键点数据进行数据清洗、数据格式化等数据后处理。

其中，数据清洗可包括下列两种方案：

1、根据关键点得分过滤掉分数较低的关键点，关键点得分小于预设阈值，比如0.2可判定为无效关键点，预设阈值可根据光照条件、摄像头高度、摄像头位置等实际使用环境调整；

2、单次流程会在数秒内拍摄大量照片，每张照片都会得出一定关键点数据，受环境和拍摄对象的动作因素影响，这些照片得出的关键点数据不会全部准确，所以要把不准确的数据过滤掉，具体方法为：根据得到的大量关键点数据做统计计算，计算出每个关键点数据的均值和众数，如果众数值占比大于60％，则以众数值为预测关键点，否则以均值为预测关键点数据，最终以预测关键点数据进行检测举手、人脸、性别、年龄等基本数据。

格式化处理是为了将清洗后的人体关键点转换为举手检测模型、人脸检测模块、性别检测模型、年龄检测模型各个检测器对应的输入数据。例如，举手检测模型需要左右肩部关键点、肘部关键点、手腕关键点等数据；人脸、性别、年龄检测模型则需要面部关键点进行计算，各个检测器的输入数据格式不尽完全相同，所以需要进行格式化处理为各自对应的数据。

本实施例通过对所有2D人体关键点数据和所有3D人体关键点数据进行数据清洗、数据格式化等数据后处理，有利于保证后续有效识别举手动作、人脸特征、性别特征、年龄特征。

基于与第一实施例相同的发明构思，第二实施例提供如图2所示的一种举手投票识别装置，包括：人体关键点检测模块21，用于将获取的待处理图像分别输入2D人体关键点检测模型和3D人体关键点检测模型，得到若干个2D人体关键点数据和若干个3D人体关键点数据；人体关键点分类模块22，用于基于预先定义的人体部位划分策略，确定所有2D人体关键点和所有3D人体关键点对应的人体部位，得到若干个人体部位关键点数据；举手检测模块23，用于将所有人体部位关键点数据中的第一目标人体部位关键点数据输入举手检测模型，得到举手检测数据；投票计票模块24，用于基于预先定义的第一计票规则，根据所有举手检测数据进行计票，得到投票结果。

在优选的实施例当中，所述举手投票识别装置，还包括：人脸检测模块，用于将所有人体部位关键点数据中的第二目标人体部位关键点数据输入人脸检测模型，得到人脸检测数据；投票计票模块24，还用于基于预先定义的第二计票规则，结合所有人脸检测数据进行计票，更新投票结果。

在优选的实施例当中，所述举手投票识别装置，还包括：性别检测模块，用于将所有人体部位关键点数据中的第三目标人体部位关键点数据输入性别检测模型，得到性别检测数据；投票计票模块24，还用于基于预先定义的第三计票规则，结合所有性别检测数据进行计票，更新投票结果。

在优选的实施例当中，所述举手投票识别装置，还包括：年龄检测模块，用于将所有人体部位关键点数据中的第四目标人体部位关键点数据输入年龄检测模型，得到年龄检测数据；投票计票模块24，还用于基于预先定义的第四计票规则，结合所有年龄检测数据进行计票，更新投票结果。

在优选的实施例当中，所述举手投票识别装置，还包括：图像预处理模块，用于在所述将获取的待处理图像分别输入2D人体关键点检测模型和3D人体关键点检测模型，得到若干个2D人体关键点数据和若干个3D人体关键点数据之前，获取图像采集设备采集的现场图像，并对现场图像进行图像预处理，得到待处理图像；其中，图像预处理包括灰度图转换处理、归一化处理。

在优选的实施例当中，所述举手投票识别装置，还包括：数据后处理模块，用于在所述将获取的待处理图像分别输入2D人体关键点检测模型和3D人体关键点检测模型，得到若干个2D人体关键点数据和若干个3D人体关键点数据之后，对所有2D人体关键点数据和所有3D人体关键点数据进行数据后处理；其中，数据后处理包括数据清洗、数据格式化。

基于与第一实施例相同的发明构思，第三实施例提供一种举手投票识别系统，包括图像采集设备和如第二实施例所述的举手投票识别装置，图像采集设备与举手投票识别装置通信连接。

作为示例性地，举手投票识别系统的数据流图如图3所示。

综上所述，实施本发明的实施例，具有如下有益效果：

通过将获取的待处理图像分别输入2D人体关键点检测模型和3D人体关键点检测模型，得到若干个2D人体关键点数据和若干个3D人体关键点数据；基于预先定义的人体部位划分策略，确定所有2D人体关键点和所有3D人体关键点对应的人体部位，得到若干个人体部位关键点数据；将所有人体部位关键点数据中的第一目标人体部位关键点数据输入举手检测模型，得到举手检测数据；基于预先定义的第一计票规则，根据所有举手检测数据进行计票，得到投票结果，完成举手投票识别。本发明的实施例通过将待处理图像分别输入2D人体关键点检测模型和3D人体关键点检测模型，利用2D人体关键点检测模型检测待处理图像中的2D人体关键点，得到若干个2D人体关键点数据，利用3D人体关键点检测模型检测待处理图像中的3D人体关键点，得到若干个3D人体关键点数据，结合所有2D人体关键点和所有3D人体关键点进行举手动作识别，能够基于2D平面和3D立体面全面检测现场图像中的人体关键点，准确识别举手动作，以及通过基于预先定义的第一计票规则，根据所有举手检测数据进行自动计票，能够快速获取计票结果。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

Claims (10)

1.一种举手投票识别方法，其特征在于，包括：

将获取的待处理图像分别输入2D人体关键点检测模型和3D人体关键点检测模型，得到若干个2D人体关键点数据和若干个3D人体关键点数据；

基于预先定义的人体部位划分策略，确定所有所述2D人体关键点和所有所述3D人体关键点对应的人体部位，得到若干个人体部位关键点数据；

将所有所述人体部位关键点数据中的第一目标人体部位关键点数据输入举手检测模型，得到举手检测数据；

基于预先定义的第一计票规则，根据所有所述举手检测数据进行计票，得到投票结果。

2.如权利要求1所述的举手投票识别方法，其特征在于，还包括：

将所有所述人体部位关键点数据中的第二目标人体部位关键点数据输入人脸检测模型，得到人脸检测数据；

基于预先定义的第二计票规则，结合所有所述人脸检测数据进行计票，更新所述投票结果。

3.如权利要求1所述的举手投票识别方法，其特征在于，还包括：

将所有所述人体部位关键点数据中的第三目标人体部位关键点数据输入性别检测模型，得到性别检测数据；

基于预先定义的第三计票规则，结合所有所述性别检测数据进行计票，更新所述投票结果。

4.如权利要求1所述的举手投票识别方法，其特征在于，还包括：

将所有所述人体部位关键点数据中的第四目标人体部位关键点数据输入年龄检测模型得到年龄检测数据；

基于预先定义的第四计票规则，结合所有所述年龄检测数据进行计票，更新所述投票结果。

5.如权利要求1所述的举手投票识别方法，其特征在于，在所述将获取的待处理图像分别输入2D人体关键点检测模型和3D人体关键点检测模型，得到若干个2D人体关键点数据和若干个3D人体关键点数据之前，还包括：

获取图像采集设备采集的现场图像，并对所述现场图像进行图像预处理，得到所述待处理图像；其中，所述图像预处理包括灰度图转换处理、归一化处理。

6.如权利要求1所述的举手投票识别方法，其特征在于，在所述将获取的待处理图像分别输入2D人体关键点检测模型和3D人体关键点检测模型，得到若干个2D人体关键点数据和若干个3D人体关键点数据之后，还包括：

对所有所述2D人体关键点数据和所有所述3D人体关键点数据进行数据后处理；其中，所述数据后处理包括数据清洗、数据格式化。

7.一种举手投票识别装置，其特征在于，包括：

人体关键点检测模块，用于将获取的待处理图像分别输入2D人体关键点检测模型和3D人体关键点检测模型，得到若干个2D人体关键点数据和若干个3D人体关键点数据；

人体关键点分类模块，用于基于预先定义的人体部位划分策略，确定所有所述2D人体关键点和所有所述3D人体关键点对应的人体部位，得到若干个人体部位关键点数据；

举手检测模块，用于将所有所述人体部位关键点数据中的第一目标人体部位关键点数据输入举手检测模型，得到举手检测数据；

投票计票模块，用于基于预先定义的第一计票规则，根据所有所述举手检测数据进行计票，得到投票结果。

8.如权利要求7所述的举手投票识别装置，其特征在于，还包括：

人脸检测模块，用于将所有所述人体部位关键点数据中的第二目标人体部位关键点数据输入人脸检测模型，得到人脸检测数据；

所述投票计票模块，还用于基于预先定义的第二计票规则，结合所有所述人脸检测数据进行计票，更新所述投票结果。

9.如权利要求7所述的举手投票识别装置，其特征在于，还包括：

性别检测模块，用于将所有所述人体部位关键点数据中的第三目标人体部位关键点数据输入性别检测模型，得到性别检测数据；

所述投票计票模块，还用于基于预先定义的第三计票规则，结合所有所述性别检测数据进行计票，更新所述投票结果。

10.如权利要求7所述的举手投票识别装置，其特征在于，还包括：

年龄检测模块，用于将所有所述人体部位关键点数据中的第四目标人体部位关键点数据输入年龄检测模型，得到年龄检测数据；

所述投票计票模块，还用于基于预先定义的第四计票规则，结合所有所述年龄检测数据进行计票，更新所述投票结果。

Images