CN110490168A - 基于目标检测与骨骼点算法的机场迎机人员行为监测方法 - Google Patents

Abstract

本发明公开了一种基于目标检测与骨骼点算法的机场迎机人员行为监测方法，涉及行为监测技术领域。包括以下步骤：获取连续的N帧图像；并识别图像中的飞机和迎机人员；判断飞机状态；统计迎机人员数量，进一步提取迎机人员的关键骨骼点构建关键点向量；对关键点向量进行标准化；训练混合高斯模型，预测标准关键点向量属于不同聚类类别的概率；定义迎机人员的行为类别，对于已经得到的标准关键点向量属于不同聚类类别的概率，取概率最大值对于的行为类别为最终分类结果；根据时间序列判断每个迎机人员的行为是否标准，若不标准，则报警提示。本发明利用目标检测算法和基于关键点的行为识别算法来识别图像中任务的行为，算法准确度高，鲁棒性好。

Description

基于目标检测与骨骼点算法的机场迎机人员行为监测方法

技术领域

本发明涉及行为监测技术领域，尤其涉及一种基于目标检测与骨骼点算法的机场迎机人员行为监测方法。

背景技术

机场迎机人员的管理是机场地勤管理的一个重要方面，迎机人员主要负责在飞机落地停靠时给予飞机正确的引导，使飞机停靠在规定的位置。地勤部门对迎机人员的管理主要有两个方面：第一，要求飞机落地前必须就位；第二，要求在飞机停靠过程中通过标准的方式进行指引。目前对迎机人员的管理主要通过两种方式实现,分别是人工巡视与视频回放浏览。

随着计算机视觉技术的发展，有人提出使用目标识别方法进行迎机人员的识别，这种方法对于人或飞机等目标检测是否存在具有较好的效果，但对迎机人员的行为区分能力较差。

按照目前的运营管理模式，采取人工巡视的方法，巡视时间与范围都有限，无法做到24小时监测，且需要投入较大的人力，十分费时费力；采用视频浏览的方式则主要为事后纠错，无法及时预警；

同时，由于光照强度、成像角度等差异，当前基于目标检测的方法对迎机人员的行为识别区分能力较差，方法鲁棒性较低。

发明内容

本发明的目的在于提供一种基于目标检测与骨骼点算法的机场迎机人员行为监测方法，利用目标检测算法和基于关键点的行为识别算法来识别图像中任务的行为，算法准确度高，鲁棒性好。

为实现上述目的，本发明提供如下技术方案：

一种基于目标检测与骨骼点算法的机场迎机人员行为监测方法，其特征在于，包括以下步骤：

S1，获取连续的N帧图像；

S2，对图像按时间顺序进行排序，并识别图像中的飞机和迎机人员；

S3，根据飞机识别结果判断飞机状态，若飞机状态为进入，则进入步骤S4，否则返回步骤S1；

S4，统计迎机人员数量并判断是否为规定人数，若是则提取迎机人员的关键骨骼点构建关键点向量B，否则发出报警提示；

S5，对所述关键点向量B中的关键骨骼点进行标准化，得到标准关键点向量B′；

S6，训练混合高斯模型，预测标准关键点向量B′属于n个不同聚类类别的概率P_gmm；

S7，定义迎机人员的k个行为类别，对于已经得到的标准关键点向量B′属于n个不同聚类类别的概率，采用贝叶斯方法计算其属于k个不同行为类别的概率，取概率最大值对于的行为类别为最终分类结果；

S8，根据时间序列判断每个迎机人员的行为是否标准，若不标准，则报警提示。

进一步的，所述S2中，飞机和迎机人员的识别采用深度学习目标检测算法实现。

进一步的，所述S3中，飞机状态包括无、进入、离开和停止；其判断方法如下：

若从第1帧图像至第N帧图像中均未检测到飞机，则飞机状态为无；

若第1帧图像未检测到飞机，第N帧图像检测到飞机，且第1帧图像到第N帧图像之间，飞机从未检测到向检测到转变，飞机位置发生变动，则飞机状态为进入；

若第1帧图像检测到飞机，第N帧图像未检测到飞机，且第1帧图像到第N帧图像之间，飞机从检测到向未检测到转变，飞机位置发生变动，则飞机状态为离开；

若从第1帧图像至第N帧图像中均检测到飞机且飞机位置未发生变动，则飞机状态为无。

进一步的，所述S4中，关键骨骼点的提取采用openpose算法。

进一步的，关键点向量B包括14个关键骨骼点的坐标，所述14个关键骨骼点依次为脖子、左肩、右肩、臀中、臀左、臀右、左手腕、右手腕、左肘、右肘、左膝、右膝、左脚踝、右脚踝。

进一步的，所述S5中，标准化的具体步骤如下：

S51，以臀中坐标(x₄y₄)和脖子坐标(x₁y₁)求缩放因子scale，

其中，L为标准距离；

S52，标准化，

其中，(x_i,y_i)为标准化前的关键骨骼点的坐标，(x′_i,y′_i)为标准化后的关键骨骼点的坐标。

进一步的，所述S6中，聚类类别的概率计算如下：

其中，D为标准关键点向量的数据维度，μ_i，Σ_i分别为训练所得的第i个高斯模型的均值与方差，p_i(B′)为B′属于第i个聚类类别的概率，i＝1,2……n；P_gmm＝[p₁(B′),p₂(B′),...,p_n(B′)]。

进一步的，所述S7中，贝叶斯方法的具体内容如下：

P＝P_gmmA^T＝[p₁,p₂……p_k]

其中，a_ij为行为类别为i的条件下，聚类类别为j的概率。

进一步的，所述行为类别包括以下五类：双手下垂、双手直举、双手平举、一平一直、其他。

进一步的，所述S8中，迎机人员的行为标准如下：

迎机人员1：整个迎机过程始终保持双手下垂站立姿势；

迎机人员2：整个迎机过程中具备双手下垂、双手直举、双手平举、一平一直四个行为。

与现有技术相比，本发明的有益效果是：本发明利用目标检测算法和基于关键点的行为识别算法来识别图像中任务的行为，具体的，对飞机状态、迎机人员数量、迎机人员行为进行分级检测，不仅降低了整体方法的计算量，同时保证了算法的准确度和鲁棒性。

具体实施方式

下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提供一种基于目标检测与骨骼点算法的机场迎机人员行为监测方法，其特征在于，包括以下步骤：

S1，从视频流中获取当前帧之前连续的N帧图像；

S2，对所述N帧图像按时间顺序进行排序，并采用深度学习目标检测算法识别图像中的飞机和迎机人员；所述深度学习目标检测算法的步骤如下：

Step1:设计主体网络，主体网络参考残差网络结构设计，视训练数据量的大小选择不同的深度，以避免因为训练数据不足引起的过拟合现象，本发明中选择resnet50作为主体网络；

Step2:设计检测方法。此处的检测方法包括但不限于yolo-v1/v2/v3系列，faster-rcnn系列，ssd系列等；为了兼顾不同尺度目标的信息，才去FPN的结构，即高层大尺度特征与低层小尺度特征做融合，以获得更高分辨率的特征；

Step3:选择训练框架，按照训练框架的要求准备训练数据并训练检测器。此处的训练框架包括但不限于caffe,darknet,tensorflow,pytorch等；

S3，根据飞机识别结果判断飞机状态，若飞机状态为进入，则进入步骤S4，否则返回步骤S1；本实施例定义飞机状态包括无、进入、离开和停止四类；其判断方法如下：

若从第1帧图像至第N帧图像中均未检测到飞机，则飞机状态为无；

若第1帧图像未检测到飞机，第N帧图像检测到飞机，且第1帧图像到第N帧图像之间，飞机从未检测到向检测到转变，飞机位置发生变动，则飞机状态为进入；

若第1帧图像检测到飞机，第N帧图像未检测到飞机，且第1帧图像到第N帧图像之间，飞机从检测到向未检测到转变，飞机位置发生变动，则飞机状态为离开；

若从第1帧图像至第N帧图像中均检测到飞机且飞机位置未发生变动，则飞机状态为无。

当且仅当判断出飞机状态为进入时，再进行步骤S4之后的迎机人员识别，否则直接跳到S1重新获取图像帧进行下一次判断。分级判断大大降低了算法的整体计算量。

S4，统计迎机人员数量并判断是否为规定人数，若是则提取迎机人员的关键骨骼点构建关键点向量B，否则发出报警提示；本实施例中要求迎机人员人数为2人，若图像中识别的迎机人员数量为2，进一步进行迎机人员的行为判断，采用openpose算法提取迎机人员的25个关键骨骼点，依次选取其中的脖子、左肩、右肩、臀中、臀左、臀右、左手腕、右手腕、左肘、右肘、左膝、右膝、左脚踝、右脚踝等14个关键骨骼点，取该14个关键骨骼点所在的图像坐标构建关键点向量B＝[(x₁,y₁),(x₂,y₂),...,(x₁₄,y₁₄)]，其中下标代表关键骨骼点，依次为上述的脖子、左肩、右肩、臀中、臀左、臀右、左手腕、右手腕、左肘、右肘、左膝、右膝、左脚踝、右脚踝14个关键骨骼点；

S5，对所述关键点向量B中的关键骨骼点进行标准化，得到标准关键点向量B′；标准化的具体步骤如下：

S51，以臀中坐标(x₄,y₄)和脖子坐标(x₁,y₁)求缩放因子scale，

其中，L为预先设定的标准距离；

S52，标准化，

其中，(x_i,y_i)为标准化前的关键骨骼点的坐标，(x′_i,y′_i)为标准化后的关键骨骼点的坐标。

标准化后的坐标以臀中坐标为原点；同时得到标准关键点向量B′＝[(x′₁,y′₁),(x′₂,y′₂),...,(x′₁₄,y′₁₄)]；

S6，训练混合高斯模型(GMM)，其训练步骤为：

Step1:设定需要聚类的类别数目n，此处的类别数据具有任意性，可通过实验确定最佳值，本发明给出的n的参考范围是8至10，其中尤以8为最佳；

Step2:基于设定的聚类的类别数目，利用K-means算法做聚类分析，获得每个类的均值ui0，协方差矩阵Ei0，分量权重取i类的样本数占总样本数的比例；

Step3:基于step2估计得到的参数初始值，根据EM算法迭代估计混合高斯模型的各个参数；

EM算法和K-means算法属于公知技术，不在赘述；

预测标准关键点向量B′属于n个不同聚类类别的概率P_gmm＝[p₁(B′),p₂(B′),...,p_n(B′)]，具体的，聚类类别的概率计算如下：

其中，D为标准关键点向量的数据维度，本实施例中D＝14；μ_i，Σ_i分别为训练所得的第i个高斯模型的均值与方差，p_i(B′)为B′属于第i个聚类类别的概率，i＝1,2……n；P_gmm＝[p₁(B′),p₂(B′),...,p_n(B′)]。

S7，定义迎机人员的k个行为类别，本实施例中k＝5，行为类别包括双手下垂、双手直举、双手平举、一平一直、其他五类。对于已经得到的标准关键点向量B′属于n个不同聚类类别的概率，采用贝叶斯方法计算其属于k个不同行为类别的概率，取概率最大值对于的行为类别为最终分类结果；其中贝叶斯条件概率值通过样本数据统计得到，具体内容如下：

P＝P_gmmA^T＝[p₁,p₂……p_k]

其中，a_ij为行为类别为i的条件下，聚类类别为j的概率，通过样本数据统计得到。取P中概率最大值所代表的行为类别作为最终分类结果，即该N帧图像中迎机人员对应的行为。

S8，根据时间序列判断每个迎机人员的行为是否标准，若不标准，则报警提示。迎机人员的行为标准如下：

迎机人员1：整个迎机过程始终保持双手下垂站立姿势；

迎机人员2：整个迎机过程中具备双手下垂、双手直举、双手平举、一平一直四个行为。

即若不满足以上两个条件，则发出报警提示。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (10)

1.一种基于目标检测与骨骼点算法的机场迎机人员行为监测方法，其特征在于，包括以下步骤：

S1，获取连续的N帧图像；

S2，对图像按时间顺序进行排序，并识别图像中的飞机和迎机人员；

S3，根据飞机识别结果判断飞机状态，若飞机状态为进入，则进入步骤S4，否则返回步骤S1；

S4，统计迎机人员数量并判断是否为规定人数，若是则提取迎机人员的关键骨骼点构建关键点向量B，否则发出报警提示；

S5，对所述关键点向量B中的关键骨骼点进行标准化，得到标准关键点向量B′；

S6，训练混合高斯模型，预测标准关键点向量B′属于n个不同聚类类别的概率P_gmm；

S7，定义迎机人员的k个行为类别，对于已经得到的标准关键点向量B′属于n个不同聚类类别的概率，采用贝叶斯方法计算其属于k个不同行为类别的概率，取概率最大值对于的行为类别为最终分类结果；

S8，根据时间序列判断每个迎机人员的行为是否标准，若不标准，则报警提示。

2.根据权利要求1所述的基于目标检测与骨骼点算法的机场迎机人员行为监测方法，其特征在于，所述S2中，飞机和迎机人员的识别采用深度学习目标检测算法实现。

3.根据权利要求1所述的基于目标检测与骨骼点算法的机场迎机人员行为监测方法，其特征在于，所述S3中，飞机状态包括无、进入、离开和停止；其判断方法如下：

若从第1帧图像至第N帧图像中均未检测到飞机，则飞机状态为无；

若第1帧图像未检测到飞机，第N帧图像检测到飞机，且第1帧图像到第N帧图像之间，飞机从未检测到向检测到转变，飞机位置发生变动，则飞机状态为进入；

若第1帧图像检测到飞机，第N帧图像未检测到飞机，且第1帧图像到第N帧图像之间，飞机从检测到向未检测到转变，飞机位置发生变动，则飞机状态为离开；

若从第1帧图像至第N帧图像中均检测到飞机且飞机位置未发生变动，则飞机状态为无。

4.根据权利要求1所述的基于目标检测与骨骼点算法的机场迎机人员行为监测方法，其特征在于，所述S4中，关键骨骼点的提取采用openpose算法。

5.根据权利要求4所述的基于目标检测与骨骼点算法的机场迎机人员行为监测方法，其特征在于，关键点向量B包括14个关键骨骼点的坐标，所述14个关键骨骼点依次为脖子、左肩、右肩、臀中、臀左、臀右、左手腕、右手腕、左肘、右肘、左膝、右膝、左脚踝、右脚踝。

6.根据权利要求5所述的基于目标检测与骨骼点算法的机场迎机人员行为监测方法，其特征在于，所述S5中，标准化的具体步骤如下：

S51，以臀中坐标(x₄ y₄)和脖子坐标(x₁ y₁)求缩放因子scale，

其中，L为标准距离；

S52，标准化，

其中，(x_i,y_i)为标准化前的关键骨骼点的坐标，(x′_i,y′_i)为标准化后的关键骨骼点的坐标。

7.根据权利要求1所述的基于目标检测与骨骼点算法的机场迎机人员行为监测方法，其特征在于，所述S6中，聚类类别的概率计算如下：

其中，D为标准关键点向量的数据维度，μ_i，Σ_i分别为训练所得的第i个高斯模型的均值与方差，p_i(B′)为B′属于第i个聚类类别的概率，i＝1,2……n；P_gmm＝[p₁(B′),p₂(B′),...,p_n(B′)]。

8.根据权利要求7所述的基于目标检测与骨骼点算法的机场迎机人员行为监测方法，其特征在于，所述S7中，贝叶斯方法的具体内容如下：

P＝P_gmmA^T＝[p₁,p₂……p_k]

其中，a_ij为行为类别为i的条件下，聚类类别为j的概率。

9.根据权利要求1所述的基于目标检测与骨骼点算法的机场迎机人员行为监测方法，其特征在于，所述行为类别包括以下五类：双手下垂、双手直举、双手平举、一平一直、其他。

10.根据权利要求9所述的基于目标检测与骨骼点算法的机场迎机人员行为监测方法，其特征在于，所述S8中，迎机人员的行为标准如下：

迎机人员1：整个迎机过程始终保持双手下垂站立姿势；

迎机人员2：整个迎机过程中具备双手下垂、双手直举、双手平举、一平一直四个行为。