CN109711331A - 一种毫米波雷达安检仪异物检测方法 - Google Patents

Abstract

本发明公开了一种毫米波雷达安检仪异物检测方法，包括：采集数据对卷积姿态机进行训练，通过卷积姿态机对毫米波雷达的人体成像结果进行姿态估计，获得人体主要关节点的精确位置，卷积姿态机网络基于GPU平台实现；然后通过人体关节点的位置获得人体各个部位的区域，对人体扫描图像进行区域分割；再将区域分割后的结果送入由CNN和SVM组成的目标检测网络进行携带异物情况的检测，最终给出是否携带异物的判定。

Description

一种毫米波雷达安检仪异物检测方法

技术领域

本发明属于雷达图像目标检测领域，特别设计一种毫米波雷达安检仪异物检测方法。

背景技术

随着时代的发展，公共领域的安检需求也日益增长，传统安检手段，如人工检查、金属探测门、X光安检机等已不能满足对人体携带异物进行检测的需求。由于毫米波具有的穿透性好且对人体辐射小等优点，已经成为下一代安检技术的研究重点，旋转门式圆柱扫描三维毫米波SAR近场成像和异物检测技术已经成功运用于机场、地铁等公共安检场所。

目前，毫米波SAR三维近场成像技术已经成熟，基于毫米波雷达成像的安检仪产品也已经问世，但对人体携带异物的检测技术还在不断发展。现有的人体携带异物检测技术主要有基于人体区域分割的图像学方法和基于光学图像目标识别的深度学习网络方法两大类。基于人体区域分割的图像学方法在进行人体成像结果的区域分割时采取按人体区域固定比例分割的方式，在一定程度上不能适应不同人体身材的变化；基于光学图像目标识别的深度学习网络方法，对于小目标的识别有所欠缺，同时不能识别没有训练过的异物类别。

发明内容

本发明的目的在于提供一种毫米波雷达安检仪异物检测方法，以解决上述问题。

为实现上述目的，本发明采用以下技术方案：

一种毫米波雷达安检仪异物检测方法，包括以下步骤：

步骤1，采集包含不同站姿的毫米波雷达人体成像结果，对卷积姿态机网络进行训练；

步骤2，大量采集含有异物和不含异物的毫米波雷达安检仪成像结果，通过训练好的卷积姿态机网络进行人体重要关节点位置的估计；

步骤3，利用人体姿态估计的结果对采集的毫米波雷达人体图像进行区域分割，获得分割后的对应人体不同部位的子区域图像；

步骤4，将不同人体部位的子区域图像送入对应的CNN组合SVM的目标检测网络进行训练；

步骤5，采集新的毫米波雷达人体图像先进行姿态估计和区域分割，将分割好的子图像送入训练好的目标检测网络进行测试，给出人体各个部位携带异物的情况。

进一步的，步骤1具体为：卷积姿态机网络由输入层、卷积层、池化层和输出层构成，训练时分多个训练阶段，其中第一阶段包含7层卷积层和3层池化层，第二阶段包含4层卷积层和3层池化层。网络输入层为毫米波雷达的人体三维成像结果经过量化产生的二维灰度图像，输出层包含14个人体关节点的位置，训练时样本数据采用MPII数据集格式进行标记；网络通过GPU并行编程实现。

进一步的，步骤2中：在采集毫米波雷达人体成像结果的样本时，采用多种目标的类别并使目标分散在人体的不同部位；采用人体正面的成像结果用于训练和姿态估计。

进一步的，步骤3中：通过步骤2的人体正面姿态估计结果，联合不同角度成像结果的视线角度计算得到其它角度人体成像结果的关节点位置，通过旋转投影尺度变换得到其它角度人体成像结果的关节点位置，包含头顶，脖颈、腕关节、肘关节、肩关节、臀部、膝关节、踝关节14个关节点的位置，通过关节点位置结合人体站姿将人体成像结果按照人体部位划分为多个区域，获得人体不同部位成像结果子图。

进一步的，步骤4具体为：目标检测网络包括输入层，3层卷积层，2层池化层以及支持向量机层SVM和输出层；图像输入层为步骤3得到的人体区域分割之后的子图像，卷积层和池化层用于对子图像进行特征提取，SVM用于对提取到的特征进行二分类，判断人体当前部位是否存在异物，输出层为当前人体部位的异物检测结果。

与现有技术相比，本发明有以下技术效果：

本发明基于GPU平台实现人体姿态估计和异物检测算法，降低目标检测网络的复杂度同时提升异物检测网络训练和测试的速度，提升异物检测效率；

本发明利用卷积姿态机估计人体关节点位置相对于按照固定比例划分人体部位更加准确稳定，同时CNN组合SVM的目标检测网络更适用于样本数较少时的网络训练，并且能获得比较好的检测效果。

附图说明

图1为本发明实施例提供的异物检测方法的整体流程图；

图2为本发明实施例提供的姿态估计网络结构图；

图3为本发明实施例提供的姿态估计结果；

图4为本发明实施例提供的人体部位区域分割结果；

图5为本发明实施例提供的目标检测网络结构图；

图6为本发明实施例提供的毫米波雷达实测图像异物检测结果。

具体实施方式

以下结合附图对本发明进一步说明：

请参阅图1至图6，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种毫米波雷达安检仪异物检测方法，如图1所示，所述方法包括如下步骤：

步骤1，采集包含不同站姿的毫米波雷达人体成像结果，对卷积姿态机网络进行训练。

步骤1具体为：

卷积姿态机网络主要由输入层、卷积层、池化层、输出层构成，训练时分多个训练阶段，网络设计细节如图2所示。网络输入层为毫米波雷达的人体三维成像结果经过量化产生的二维灰度图像，输出层包含14个人体关节点的位置，训练时样本数据采用MPII数据集格式进行标记。网络通过GPU并行编程实现，在训练和检测方面都可以获得较大的速度提升。

步骤2，大量采集含有异物和不含异物的毫米波雷达安检仪成像结果，通过训练好的卷积姿态机网络进行人体重要关节点位置的估计。

步骤2具体为：

为了对目标检测网络进行有效训练，在采集毫米波雷达人体成像结果的样本时，应尽量丰富目标的类别并使目标尽可能地在人体的不同部位出现。由于不同人在安检仪内的站姿基本固定，因此对于多角度成像结果，为了提升姿态估计的训练和估计效率，只需要人体正面的成像结果用于训练和姿态估计，便可以计算得到其它视线角度的成像姿态结果。

步骤3，利用人体姿态估计的结果对采集的毫米波雷达人体图像进行区域分割，获得分割后的对应人体不同部位的子区域图像。

步骤3具体为：

通过步骤2的人体正面姿态估计结果，联合不同角度成像结果的视线角度计算得到其它角度人体成像结果的关节点位置，包含头顶，脖颈、腕关节、肘关节、肩关节、臀部、膝关节、踝关节14个关节点的位置，通过关节点位置结合人体站姿将人气成像结果按照人体部位划分为多个区域，获得人体不同部位成像结果子图，人体成像区域划分可以提高待检目标和人体背景的信杂比，提高目标检测网络的性能。

步骤4，将不同人体部位的子区域图像送入对应的CNN组合SVM的目标检测网络进行训练。

步骤4具体为：

如图5所示，目标检测网络主要由输入层，3层卷积层，2层池化层以及支持向量机层(SVM)和输出层组成。图像输入层为步骤3得到的人体区域分割之后的子图像，卷积层和池化层主要用于对子图像进行特征提取，SVM主要用于对提取到的特征进行二分类，判断人体当前部位是否存在异物，输出层为当前人体部位的异物检测结果。

步骤5，采集新的毫米波雷达人体图像先进行姿态估计和区域分割，将分割好的子图像送入训练好的目标检测网络进行测试，给出人体各个部位携带异物的情况。

步骤5具体为：

通过步骤1到步骤4的处理，基于人体姿态估计的区域分割和目标检测网络已经训练完成，实际工程应用中，只需要获取到训练后的网络权值，对新采集的人体成像结果按照姿态估计、区域分割、异物检测的顺序对人体进行携带异物情况进行判断，实现在公共场所对人体安检的目的。

本发明的效果可以通过以下仿真实验说明：

1.仿真内容

为了验证本发明在CUDA架构下的实时性和有效性，通过一组实测数据测试实验对本发明所需的时间定量分析，并分别给出姿态估计的效果和异物检测的效果，实验测试硬件平台参数如表1所示，软件平台参数如表2所示：

表1硬件平台参数

CPU	Intel(R)i7-7700K
		内存	16GB
GPU	NVIDIA GeForce GTX1070
		GPU显存	8GB
计算能力	6.1

表2软件平台参数

操作系统	Win10 64位
		编译器	Visual Studio 2015
CUDA版本	8.0

2.仿真结果及分析

(2.1)为了验证本发明中姿态估计网络和目标检测网络的实时性，对图像大小为384*240的单个角度的成像结果进行测试，CUDA平台下各个部分用时统计如下：

表2各阶段时间开销统计

运行阶段	图像大小	运算方式	运算时间
				姿态估计	512*660	GPU并行	0.065秒
区域分割	512*660	CPU串行	0.035秒
				目标检测	128*128	GPU并行	0.050秒

由表2可知，对于一次成像，将人体成像结果划分为6个子区域，目标检测网络总用时0.3s，加上姿态估计和区域分割的总时间为0.4s，满足实时性的需求。

(2.2)为了说明本发明中基于人体姿态估计的区域分割的准确性和有效性，通过多个对体型不同的人体样本进行姿态估计，估计结果如图3所示。由图3可知，对于不同体型的人体，卷积姿态机网络都可以很好地完成人体姿态估计，给出准确的人体关节点位置。

(2.3)为了验证本发明中基于卷积神经网络和支持向量机的目标检测网络对异物检测的准确性，通过一组实测数据对目标检测网络进行测试，网络输出结果与图像标签结果对比图如图6所示，采用226张图像进行测试，图中值不为0说明网络输出结果与图像标签不一致，即识别结果错误。由图6可知，目标检测网络的综合准确率能达到95％，可以满足工程需要。

综上，本发明能带来的有益效果是：

1.基于GPU平台实现人体姿态估计和异物检测算法，降低目标检测网络的复杂度同时提升异物检测网络训练和测试的速度，提升异物检测效率；

2.利用卷积姿态机估计人体关节点位置相对于按照固定比例划分人体部位更加准确稳定，同时CNN组合SVM的目标检测网络更适用于样本数较少时的网络训练，并且能获得比较好的检测效果。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (5)

1.一种毫米波雷达安检仪异物检测方法，其特征在于，包括以下步骤：

步骤1，采集包含不同站姿的毫米波雷达人体成像结果，对卷积姿态机网络进行训练；

步骤2，大量采集含有异物和不含异物的毫米波雷达安检仪成像结果，通过训练好的卷积姿态机网络进行人体重要关节点位置的估计；

步骤3，利用人体姿态估计的结果对采集的毫米波雷达人体图像进行区域分割，获得分割后的对应人体不同部位的子区域图像；

步骤4，将不同人体部位的子区域图像送入对应的CNN组合SVM的目标检测网络进行训练；

步骤5，采集新的毫米波雷达人体图像先进行姿态估计和区域分割，将分割好的子图像送入训练好的目标检测网络进行测试，给出人体各个部位携带异物的情况。

2.根据权利要求1所述的一种毫米波雷达安检仪异物检测方法，其特征在于，步骤1具体为：卷积姿态机网络由输入层、卷积层、池化层和输出层构成，训练时分多个训练阶段，其中第一阶段包含7层卷积层和3层池化层，第二阶段包含4层卷积层和3层池化层；网络输入层为毫米波雷达的人体三维成像结果经过量化产生的二维灰度图像，输出层包含14个人体关节点的位置，训练时样本数据采用MPII数据集格式进行标记；网络通过GPU并行编程实现。

3.根据权利要求1所述的一种毫米波雷达安检仪异物检测方法，其特征在于，步骤2中：在采集毫米波雷达人体成像结果的样本时，采用多种目标的类别并使目标分散在人体的不同部位；采用人体正面的成像结果用于训练和姿态估计。

4.根据权利要求3所述的一种毫米波雷达安检仪异物检测方法，其特征在于，步骤3中：通过步骤2的人体正面姿态估计结果，联合不同角度成像结果的视线角度计算得到其它角度人体成像结果的关节点位置，通过旋转投影尺度变换得到其它角度人体成像结果的关节点位置，包含头顶，脖颈、腕关节、肘关节、肩关节、臀部、膝关节、踝关节14个关节点的位置，通过关节点位置结合人体站姿将人体成像结果按照人体部位划分为多个区域，获得人体不同部位成像结果子图。

5.根据权利要求1所述的一种毫米波雷达安检仪异物检测方法，其特征在于，步骤4具体为：目标检测网络包括输入层，3层卷积层，2层池化层以及支持向量机层SVM和输出层；图像输入层为步骤3得到的人体区域分割之后的子图像，卷积层和池化层用于对子图像进行特征提取，SVM用于对提取到的特征进行二分类，判断人体当前部位是否存在异物，输出层为当前人体部位的异物检测结果。