CN111611912A - 一种基于人体关节点的行人低头异常行为的检测方法 - Google Patents

Abstract

本发明公开了一种基于人体关节点的行人低头异常行为的检测方法，包括如下步骤：步骤一，获取视频流中的每帧图像，将视频流展开为图像序列，针对序列中的每一帧，采用人体检测算法检测视频帧中的每个行人，并裁剪人体区域框；步骤二，在生成的人体区域框内，采用人体姿态算法独立估计每个行人的姿态；步骤三，将估计的人体姿态映射回原图，微调人体区域框，直至生成准确的人体关节点的坐标信息；步骤四，重复步骤一、二、三，直至人体区域框位置不再发生变化；步骤五，训练时，采用异常行为拟合算法将准确的具有正常行为的人体关节点信息拟合为异常行为，生成负样本，拟合前的正常行为为正样本，正负样本构成训练集训练行为分类器，生成最优模型；步骤六，测试时，将生成的准确关节点的坐标信息直接送入训练好的行为分类器中，检测并输出结果。本发明解决复杂环境中多个行人的异常行为检测容易出现的准确率低下的问题，实现在复杂场景中高准确率的多人实时检测的效果。

Description

一种基于人体关节点的行人低头异常行为的检测方法

技术领域

本发明涉及交通安全管理技术领域，具体涉及一种基于人体关节点的行人低头异常行为的检测方法。

背景技术

手机的智能化发展让人们投入越来越多的精力，但当行人穿越人行横道或等待红绿灯时，如果低头看手机，容易分散其注意力，降低其对外界危险的反应速度。据世界卫生组织调查，全世界每年有超过27万行人死于路面交通事故，而途中使用手机是交通事故发生的最主要原因。世界各国纷纷采取各项措施整治低头族，却反响平平。因此，自动化检测识别行人的低头异常行为迫在眉睫。

异常行为检测作为人体行为识别中的一个热点问题，目前已被广泛应用于智能交通、家居、安防监控等领域。根据其具体所使用的场景，不同的场景对异常行为有着不同的定义：例如，在密集人群中打架斗殴等被视为异常行为，在智能家居场景中老人、儿童摔倒被视为异常行为等，目前国内外学者针对上述异常行为检测已经有许多深入的研究。而针对行人低头使用手机这类异常行行为检测的方法，仅有北京交通大学提供的一种行人分心行为检测方法(CN108960029A)，其主要采用梯度和纹理特征集成方法对行人图像进行检测处理，以获取行人位置区域，然后在该区域内使用选择性搜索方法获取敏感部位图像，并对敏感部位图像进行特征提取，最后得到敏感特征矩阵，以此训练Adaboost分类器，并输出检测结果。上述方法主要是基于行人的表观图像特征，只能处理单人检测问题，当存在遮挡或更加复杂的场景时，易出现检测准确率低下等问题。

发明内容

本发明的目的在于解决复杂环境中多个行人的异常行为检测容易出现的准确率低下的问题，提供一种基于人体关节点的行人低头异常行为的检测方法，实现在复杂场景中高准确率的多人实时检测的效果。

本发明采用的技术方案是：

一种基于人体关节点的行人低头异常行为的检测方法，包括如下步骤：

步骤一，获取视频流中的每帧图像，将视频流展开为图像序列，针对序列中的每一帧，采用人体检测算法检测视频帧中的每个行人，并裁剪人体区域框；

步骤二，在生成的人体区域框内，采用人体姿态算法独立估计每个行人的姿态；

步骤三，将估计的人体姿态映射回原图，微调人体区域框，直至生成准确的人体关节点的坐标信息；

步骤四，重复步骤一、二、三，直至人体区域框位置不再发生变化；

步骤五，训练时，采用异常行为拟合算法将准确的具有正常行为的人体关节点信息拟合为异常行为，生成负样本，拟合前的正常行为为正样本，正负样本构成训练集训练行为分类器，生成最优模型；

步骤六，测试时，将生成的准确关节点的坐标信息直接送入训练好的行为分类器中，检测并输出结果。

优选地，步骤一中人体区域框的裁剪方法为：在采用人体检测算法得到多个检测框中，选择分值最高的检测框作为该行人的区域框，记录并保存区域框的左上、右下两个坐标值，根据该区域框将行人裁剪出来。

优选地，步骤二中人体姿态的获取方法为：通过在每个关键点位置上放置一个高斯响应的方法构造响应图的真值，获取每个人17个关节点置信度最大的响应，该17个关节点从序号1到17分别是鼻子，右眼，左眼，右耳，左耳，右肩，左肩，右肘，左肘，右腕，左腕，右臀，左臀，右膝，左膝，右脚，左脚，并将视频帧名称及17个坐标值保存至相应的文本文件中。

优选地，步骤三中区域框微调的方法为：参考关节点坐标，对先前检测出的区域框微调，使估计的人体姿态位于区域框的中间位置，得到高质量的准确区域框。

优选地，步骤五中负样本的拟合流程为：获取人体一个手臂的关节点信息，包括肩、肘、腕三处关节点，其坐标位置分别记作P₁(x₁,y₁)、P₂(x₂,y₂)、P₃(x₃,y₃)；将P₂到P₁的水平线l的距离记作h₁₂，用l₁₂、l₂₃分别表示上臂、下臂的长度，其中，对应l₁₂计算方式为：

对应l₂₃计算方式为：

使用手机时，只是将手腕抬高，整条手臂的长度保持不变，因此拟合的过程即寻找抬高后的手腕坐标即P′(x′₃,y′₃)，其中将纵坐标定义如下：

而横坐标x′₃的计算分为手腕在手肘内侧和手腕在手肘外侧两种情况，两种情况原理相同；具体方式如下：当手腕在手肘内侧时，此时x₂＞x₃；如果

在△P₂OP′₃中，x′₃＝x₂-Δx，其中：

如果

此时无法构成△P₂OP′₃，OP₃′的长度用OP₂近似代替，即

则x′₃＝x₂-Δx；当手腕在手肘外侧时，此时x₂≤x₃；如果

在△P₂OP′₃中，x′₃＝x₂+Δx，其中：

如果

此时无法构成△P₂OP′₃，OP′₃的长度用OP₂近似代替，即

则x′₃＝x₂+Δx。

本发明的优点和积极效果是：

(1)本发明提供了一种基于人体关节点的行人低头异常行为的检测方法，根据现有多数行人使用手机姿态规律，在识别人体关节点的基础上，设计了一种将正常行人姿态拟合为手持电子设备的异常姿态，解决了当前使用手机这类数据集缺乏且需要大量人工采集标注问题；

(2)本发明提供了一种基于人体关节点的行人低头异常行为的检测方法，充分利用头部与手臂信息，能够有效地实现复杂环境中多人异常行为检测，可以及时准确的为驾驶员、车载辅助驾驶以及无人驾驶系统提供必要的参考信息。

附图说明

图1为本发明实施例提供的一种算法简要流程图；

图2为本发明实施例提供的一种全身关节点示意图及拟合结果示意图；

图3为本发明实施例提供的一种手臂关节点拟合过程示意图；

图4为本发明实施例提供的一种真实数据集正确识别结果。

附图标记说明：

P₁-肩关节点坐标；P₂-肘关节点坐标；P₃-腕关节点坐标；P′₃-抬高后的腕关节坐标；l-过P₁点所作的水平线；l'-过P′₃点所作的水平线；h₁₂-P₂到l的垂直距离；O-l'与OP₂两条线的垂直交点；Δx-线段OP′₃的长度；

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，本发明的实施方式不限于此。

图1中的算法简要流程图包含六个步骤：

步骤一，获取视频流中的每帧图像，采用人体检测模型定位该帧中每个行人的人体区域框，在得到的多个检测框中，选择分值最高的作为该行人的区域框，记录并保存区域框的左上、右下两个坐标值，并根据该区域框将行人裁剪出来，此时得到的区域框可能是不准确的；

步骤二，在检测框的基础上，采用人体姿态网络模型独立估计每个区域框中的人体姿态，通过在每个关键点位置上放置一个高斯响应的方法，来构造响应图的真值，获取每个人17个关节点置信度最大的响应，该17个关节点从序号1到17分别是鼻子，右眼，左眼，右耳，左耳，右肩，左肩，右肘，左肘，右腕，左腕，右臀，左臀，右膝，左膝，右脚，左脚。如图2中(b)所示，并将视频帧名称及17个坐标值保存至相应的文本文件中。

步骤三，将步骤二中估计的每个行人关节点坐标结果映射回原视频帧中，参考关节点坐标对先前检测出的区域框微调，使估计的人体姿态位于检测框的中间位置，以此得到高质量的准确区域框，更新步骤二中的坐标信息；

步骤四，重复步骤一、二、三直至区域框位置不再发生变化。

步骤五，训练时，采用异常行为拟合算法将准确的具有正常行为的人体关节点信息拟合为异常行为，生成负样本，拟合前的正常行为为正样本，正负样本构成训练集训练行为分类器，生成最优模型；

在该步骤中，如图3所示，负样本的拟合流程为：获取左右臂(以左臂为例)关节点信息，包括左肩、左肘、左腕三处关节点，其坐标位置分别记作P₁(x₁,y₁)、P₂(x₂,y₂)、P₃(x₃,y₃)。将P₂到线l的距离记作h₁₂，用l₁₂、l₂₃分别表示上臂、下臂的长度，其中，对应l₁₂计算方式为：

对应l₂₃计算方式为：

使用手机时，只是将手腕抬高，整条手臂的长度保持不变，因此拟合的过程即寻找抬高后的手腕坐标即P′₃(x′₃,y′₃)，其中将纵坐标定义如下：

而横坐标x′₃的计算分为手腕在手肘内侧和手腕在手肘外侧两种情况，两种情况原理相同。具体方式如下：当手腕在手肘内侧时，此时x₂＞x₃。如果

在△P₂OP′₃中，x′₃＝x₂-Δx，其中：

如果

此时无法构成△P₂OP′₃，OP′₃的长度用OP₂近似代替，即

则x′₃＝x₂-Δx。当手腕在手肘外侧时，此时x₂≤x₃；如果

在△P₂OP′₃中，x′₃＝x₂+Δx，其中：

如果

此时无法构成△P₂OP′₃，OP′₃的长度用OP₂近似代替，即

则x′₃＝x₂+Δx。

步骤六，测试时，将生成的准确关节点信息直接送入训练好的行为分类器中，检测并输出结果。部分实验结果如图4所示，其中正常行人检测结果为矩形框，异常行人检测结果为椭圆框。

以上所述，仅是本发明的部分实例，并非是对本发明的限制。凡是根据本发明的技术实质对以上实例所做出的变形和改进，都属于本发明的范围。

Claims (5)

1.一种基于人体关节点的行人低头异常行为的检测方法，其特征在于，包括如下步骤：

步骤一，获取视频流中的每帧图像，将所述视频流展开为图像序列，针对所述图像序列中的每一帧，采用人体检测算法检测所述视频帧中的每个行人，并裁剪人体区域框；

步骤二，在生成的所述人体区域框内，采用人体姿态算法独立估计每个行人的姿态；

步骤三，将所述估计的人体姿态映射回原图，微调所述人体区域框，直至生成准确的人体关节点的坐标信息；

步骤四，重复步骤一、二、三，直至所述人体区域框位置不再发生变化；

步骤五，训练时，采用异常行为拟合算法将准确的具有正常行为的所述人体关节点的坐标信息拟合为异常行为，生成负样本，拟合前的正常行为为正样本，所述正负样本构成训练集训练行为分类器，生成最优模型；

步骤六，测试时，将生成的所述准确关节点的坐标信息直接送入训练好的行为分类器中，检测并输出结果。

2.根据权利要求1所述的一种基于人体关节点的行人低头异常行为的检测方法，其特征在于，所述步骤一中所述人体区域框的裁剪方法为：在采用所述人体检测算法得到多个检测框中，选择分值最高的检测框作为该行人的区域框，记录并保存所述区域框的左上、右下两个坐标值，根据所述区域框将行人裁剪出来。

3.根据权利要求1所述的一种基于人体关节点的行人低头异常行为的检测方法，其特征在于，所述步骤二中所述人体姿态的获取方法为：通过在每个关键点位置上放置一个高斯响应的方法构造响应图的真值，获取每个人17个关节点置信度最大的响应，所述17个关节点从序号1到17分别是鼻子，右眼，左眼，右耳，左耳，右肩，左肩，右肘，左肘，右腕，左腕，右臀，左臀，右膝，左膝，右脚，左脚，并将视频帧名称及17个坐标值保存至相应的文本文件中。

4.根据权利要求1所述的一种基于人体关节点的行人低头异常行为的检测方法，其特征在于，所述步骤三中所述区域框微调的方法为：参考所述关节点的坐标信息，对先前检测出的所述区域框微调，使所述估计的人体姿态位于所述区域框的中间位置，得到高质量的准确区域框。

5.根据权利要求1所述的一种基于人体关节点的行人低头异常行为的检测方法，其特征在于，所述步骤五中所述负样本的拟合流程为：获取人体一个手臂的关节点信息，包括肩、肘、腕三处关节点，其坐标位置分别记作P₁(x₁,y₁)、P₂(x₂,y₂)、P₃(x₃,y₃)；将所述P₂到水平线l的距离记作h₁₂，用l₁₂、l₂₃分别表示上臂、下臂的长度，其中，所述l₁₂计算方式为：

所述l₂₃计算方式为：

使用手机时，只是将手腕抬高，整条手臂的长度保持不变，因此所述拟合的过程即寻找抬高后的手腕坐标即P′₃(x′₃,y′₃)，其中将纵坐标定义如下：

而横坐标x′₃的计算分为手腕在手肘内侧和手腕在手肘外侧两种情况，两种情况原理相同；具体方式如下：当手腕在手肘内侧时，此时x₂＞x₃；如果

在△P₂OP′₃中，x′₃＝x₂-Δx，其中：

如果

此时无法构成△P₂OP′₃，OP′₃的长度用OP₂近似代替，即

则x′₃＝x₂-Δx；当手腕在手肘外侧时，此时x₂≤x₃；如果

在△P₂OP′₃中，x′₃＝x₂+Δx，其中：

如果

此时无法构成△P₂OP′₃，OP′₃的长度用OP₂近似代替，即

则x′₃＝x₂+Δx。

Images