CN112232432A - 基于改进中心点检测的安检x光图像目标检测与识别方法 - Google Patents

Abstract

本发明公开了一种基于改进中心点检测的安检X光图像目标检测与识别方法，包含以下步骤：1、选取X‑Ray安检机拍摄的X光图像，标注图像中的目标并制作训练图像集；2、搭建CenterNet模型，引入高斯模型对网络的输出建模，修改损失函数，得到改进后的CenterNet模型；3、将训练图像集依次混合，旋转，竖直翻转进行数据增广，并用R，G，B，灰度，H五个通道表示，训练并保存改进后的CenterNet模型；4、进行安检X光图像目标检测与识别时，首先将安检X光图像进行预处理，再将其像素值归一化到标准正态分布，输入改进后的CenterNet模型进行推理，得到图像中目标检测与识别结果。本发明方法能够解决安检图像中目标互相遮挡，含有小目标，以及目标角度变化影响检测准确率的问题。

Description

基于改进中心点检测的安检X光图像目标检测与识别方法

技术领域

本发明属于计算机视觉的应用领域，具体提出了一种基于改进中心点检测的安检X光图像目标检测与识别方法。

背景技术

安全检查是发现和消除事故隐患、落实安全措施、预防事故发生的重要手段，检查是检验和考查之意，安全检查就是要对影响正常运营的各种人的因素和物的因素进行深人细致的研究，发现不安全因素，消除事故隐患。也就是把可能发生事故的各种因素消灭在萌芽状态，做到防患于未然。

近年来，X光机已广泛应用于地铁站、机场等公共场所进行安检。到目前为止，安检人员主要是用肉眼查看X光安检摄像头拍摄的图像，行李中的物品容易相互叠放，特别是在交通拥挤的情况下，容易导致漏检和误检。

因此，研究一种基于深度学习的安检X光图像目标检测与识别方法，对安检X光图像中的目标自动检测，确保行李、包裹等安全并符合国家规定，对于提高安检工作效率、减低成本节约时间、保障安全等有重要意义。

发明内容

本发明的目的在于针对现有基于人眼检查X光图像中违禁品方法存在的不足，运用目标检测技术，提出了一种基于改进中心点检测的安检X光图像目标检测与识别方法，本发明方法能够解决安检行李中目标互相遮挡，有小目标，以及目标角度变化影响检测准确率的问题，使用一个模型一套参数完成安检X光图像目标检测与识别任务，该方法具有极高的准确性与鲁棒性。

为了达到上述目的，本发明采用如下技术方案：

一种基于改进中心点检测的安检X光图像目标检测与识别方法，包括如下步骤：

步骤A：在获取X-Ray安检机拍摄的X光图像后，每张图像中有多个目标，以目标左上角像素点坐标、长宽和类别信息标注出每张X光图像中的目标，已标注的图像组成训练图像集；

步骤B：搭建CenterNet模型，引入高斯模型对网络的输出建模，修改损失函数，得到改进后的CenterNet模型；

步骤C：将步骤A中的训练图像集依次混合、旋转、竖直翻转进行数据增广，将增广后的图像用R、G、B、灰度、H五个通道来表示，训练步骤B中的改进后的CenterNet模型，得到适用于安检X光图像目标检测与识别任务的模型；

步骤D：在对一张训练图像集之外的安检X光图像进行目标检测与识别时，首先将安检X光图像进行预处理，之后将预处理后的图像输入步骤C中的适用于安检X光图像目标检测与识别任务的模型，由模型输出得到安检X光图像中目标检测与识别结果。

所述步骤B具体步骤如下：

步骤B01：搭建CenterNet模型，CenterNet模型的主干网络选取DlA34网络；CenterNet模型具体描述：CenterNet模型由一个主干网络和三个全连接检测头组成，用主干网络来提取图像特征得到特征图，将特征图输入到三个全连接检测头中，三个全连接检测头分别输出预测目标的中心点、宽高和中心点的偏置；

步骤B02：采用高斯分布对步骤B01中全连接检测头的输出建立模型，具体地，把每个预测框的宽和高建模为均值和方差的高斯分布，同时采用负对数似然损失，从而得到改进后的CenterNet模型。

所述步骤C具体步骤如下：

步骤C01：将步骤A中的训练图像集中的图像X1输入步骤B中改进后的CenterNet模型进行训练时，首先进行混合：以预设的概率随机选取余下训练图像集中的一张图像X2，将图像X2与图像X1以固定的透明度进行叠加，得到图像X3；

步骤C02：再将步骤C01中图像X3以预设的概率旋转随机角度，得到图像X4；

步骤C03：再将步骤C02中图像X4以预设的概率进行竖直翻转，得到图像X5；

步骤C04：最后，将步骤C03中的图像X5用R、G、B、灰度、H五个通道来表示，从而得到图像X6；其中，灰度通道的计算公式：(R*30+G*59+B*11)/100，H通道计算公式如下：

V＝最大值(R,G,B)

如果H＜0那么H＝H+360.

输出值的范围：0≤V≤1,0≤S≤1,0≤H≤360.

其中，R表示红色，G表示绿色，B表示蓝色，R，G，B为RGB颜色空间的三种基本色，H表示色相、S表示饱和度、V表示明度，H，S，V用来描述HSV颜色空间；

步骤C05：将步骤C04中的图像X6，调整为固定大小768*768，然后输入主干网络中进行训练，其中神经网络的初始学习率设置为7.5e-4，衰减率设置为0.1，学习率分别在训练图像集训练720轮，960轮时进行衰减，一次训练选取48张安检X光图像，训练图像集共训练1120轮，从而得到适用于安检X光图像目标检测与识别任务的模型。

所述步骤D具体步骤如下：

步骤D01：在对一张训练图像集之外的安检X光图像进行目标检测与识别任务时，先进行预处理，预处理步骤如下：首先将安检X光图像Y1用R、G、B、灰度、H五个通道来表示，得到图像Y2，将图像Y2的R、G、B、灰度、H像素值由正整数转成浮点数，然后缩放到[0.1.]之间，再将像素值归一化到标准正态分布，得到图像Y3，将图像Y3放缩至固定尺寸，得到图像Y4；

步骤D02：将图像Y4输入步骤C中的适用于安检X光图像目标检测与识别任务的模型，得到图像中目标的中心点、中心点偏置以及长宽，选出大于设定阈值的中心点，根据选出的中心点的信息、所选中心点对应偏置以及所选中心点对应的长宽信息，从而得到目标的类别以及位置信息，得到检测结果。

与现有技术相比，本发明具有以下优点：

第一，本发明基于深度学习方法，直接得到安检X光图像中目标的类别和位置，网络模型及其参数适用于训练图像集中所有种类的目标，神经网络模型具有较好的鲁棒性，不需要针对不同种类的目标调整不同的参数；

第二，本发明对于主网络前的图像预处理，使用R，G，B，灰度，H五个通道来表示安检X光图像，从而降低不同安检机着色算法不同带来的色彩差异的影响；

第三，本发明使用混合方式进行数据增广，对于目标相互遮挡的安检X光图像，也能够准确检测；

第四，本发明使用旋转方式进行数据增广，对于各目标随机摆放，角度不同的安检X光图像，也能够准确检测；

第五，本发明在CenterNet的基础上，引入高斯模型对网络的输出建模，修改损失函数，从而提升检测的效果；

第六，本发明对一张896*896的安检X光图像进行检测只需要0.1秒，可以进行实时监测，并且检测准确率极高，对27种目标，在同一模型、同一参数下，平均检测准确率可达到95％。

附图说明

图1是本发明方法的整体流程图。

图2(a)为包含较小目标的安检X光图像，图2(b)为不同角度的安检X光图像，图2(c)为目标相互遮挡的安检X光图像。

图3(a)是CenterNet的模型结构，图3(b)是DLA34网络结构图。

图4(a)为混合结果，图4(b)为旋转结果，图4(c)为竖直翻转结果。

图5(a)为包含较小目标的安检X光图像的检测结果图，图5(b)为不同角度的安检X光图像的检测结果图，图5(c)为目标相互遮挡的安检X光图像的检测结果图。

具体实施方式

下面结合附图详细介绍本发明各步骤中的具体细节。

本发明提出了一种基于改进中心点检测的安检X光图像目标检测与识别方法，该方法的整个流程如图1所示。

该方法主要包括以下步骤：

步骤A：在获取X-Ray安检机拍摄的X光图像后，每张图像中有多个目标，如图2(a)为较小的目标，如图2(b)为不同角度的目标，如图2(c)为遮挡比较严重的目标,以目标左上角像素点坐标、长宽和类别信息标注出每张X光图像中的目标，已标注的图像组成训练图像集；

步骤B：搭建CenterNet模型，引入高斯模型对网络的输出建模，修改损失函数，得到改进后的CenterNet模型；

所述步骤B具体步骤如下：

步骤B01：如图3(a)显示了CenterNet的模型结构，如图3(b)显示了DLA34网络结构图，CenterNet模型的主干网络选取DlA34网络。CenterNet模型具体描述：CenterNet模型由一个主干网络和三个全连接检测头组成，用主干网络来提取图像特征得到特征图，将特征图输入到三个全连接检测头中，三个全连接检测头分别输出预测目标的中心点、宽高和中心点的偏置；

步骤B02：采用高斯分布对步骤B01中全连接检测头的输出建立模型，具体地，把每个预测框的宽和高建模为均值和方差的高斯分布，同时采用负对数似然损失，从而得到改进后的CenterNet模型。

步骤C：如图4(a)显示了混合结果，图4(b)显示了旋转结果，图4(c)显示了竖直翻转结果，将步骤A中的训练图像集依次混合、旋转、竖直翻转进行数据增广，将增广后的图像用R、G、B、灰度、H五个通道来表示，训练步骤B中的改进后的CenterNet模型，得到适用于安检X光图像目标检测与识别任务的模型；

所述步骤C具体步骤如下：

步骤C01：将步骤A中的训练图像集中的图像X1输入步骤B中改进后的CenterNet模型进行训练时，首先进行混合：以0.5的概率随机选取余下训练图像集中的一张图像X2，将图像X2与图像X1以固定的透明度进行叠加，得到图像X3；

步骤C02：再将步骤C01中图像X3以0.5的概率旋转随机角度，得到图像X4；

步骤C03：再将步骤C02中图像X4以0.5的概率进行竖直翻转，得到图像X5；

步骤C04：最后，将步骤C03中的图像X5用R、G、B、灰度、H五个通道来表示。灰度通道的计算公式：(R*30+G*59+B*11)/100，H通道计算公式如下：

V＝max(R,G,B)

If H＜0then H＝H+360.On output 0≤V≤1,0≤S≤1,0≤H≤360.

其中，R表示红色，G表示绿色，B表示蓝色，R，G，B为RGB颜色空间的三种基本色，H表示色相、S表示饱和度、V表示明度，H，S，V用来描述HSV颜色空间；

步骤C05：将步骤C04中的图像X6，调整为固定大小768*768，然后输入主干网络中进行训练，其中神经网络的初始学习率设置为7.5e-4，衰减率设置为0.1，学习率分别在训练图像集训练720轮，960轮时进行衰减，一次训练选取48张安检X光图像，训练图像集共训练1120轮，从而得到适用于安检X光图像目标检测与识别任务的模型。

步骤D：在对一张训练图像集之外的安检X光图像进行目标检测与识别时，首先将安检X光图像进行预处理，之后将预处理后的图像输入步骤C中的适用于安检X光图像目标检测与识别任务的模型，由模型输出得到安检X光图像中目标检测与识别结果。

所述步骤D具体步骤如下：

步骤D01：在对一张训练图像集之外的安检X光图像进行目标检测与识别任务时，先进行预处理，预处理步骤如下：首先将安检X光图像Y1用R、G、B、灰度、H五个通道来表示，得到图像Y2，将图像Y2的R、G、B、灰度、H像素值由正整数转成浮点数，然后缩放到[0.1.]之间，再将像素值归一化到标准正态分布，得到图像Y3，将图像Y3放缩至固定尺寸，得到图像Y4；

步骤D02：将图像Y4输入步骤C中的适用于安检X光图像目标检测与识别任务的模型，得到图像中目标的中心点，中心点偏置，以及长宽，选出大于设定阈值的中心点，根据选出的中心点的信息，所选中心点对应偏置，以及所选中心点对应的长宽信息，从而得到目标的类别以及位置信息，得到检测结果，检测结果如图5(a)、图5(b)、图5(c)所示，其中图5(a)为包含较小目标的安检X光图像的检测结果图，图5(b)为不同角度的安检X光图像的检测结果图，图5(c)为目标相互遮挡的安检X光图像的检测结果图。本发明方法对于安检图像中目标互相遮挡，有小目标，以及目标角度变化均能达到极高的准确率。

Claims (4)

1.一种基于改进中心点检测的安检X光图像目标检测与识别方法，其特征在于：包括如下步骤：

步骤A：在获取X-Ray安检机拍摄的X光图像后，每张图像中有多个目标，以目标左上角像素点坐标、长宽和类别信息标注出每张X光图像中的目标，已标注的图像组成训练图像集；

步骤B：搭建CenterNet模型，引入高斯模型对网络的输出建模，修改损失函数，得到改进后的CenterNet模型；

步骤C：将步骤A中的训练图像集依次混合、旋转、竖直翻转进行数据增广，将增广后的图像用R、G、B、灰度、H五个通道来表示，训练步骤B中的改进后的CenterNet模型，得到适用于安检X光图像目标检测与识别任务的模型；

步骤D：在对一张训练图像集之外的安检X光图像进行目标检测与识别时，首先将安检X光图像进行预处理，之后将预处理后的图像输入步骤C中的适用于安检X光图像目标检测与识别任务的模型，由模型输出得到安检X光图像中目标检测与识别结果。

2.根据权利要求1所述的一种基于改进中心点检测的安检X光图像目标检测与识别方法，其特征在于：所述步骤B具体步骤如下：

步骤B01：搭建CenterNet模型，CenterNet模型的主干网络选取DlA34网络；CenterNet模型具体描述：CenterNet模型由一个主干网络和三个全连接检测头组成，用主干网络来提取图像特征得到特征图，将特征图输入到三个全连接检测头中，三个全连接检测头分别输出预测目标的中心点、宽高和中心点的偏置；

步骤B02：采用高斯分布对步骤B01中全连接检测头的输出建立模型，具体地，把每个预测框的宽和高建模为均值和方差的高斯分布，同时采用负对数似然损失，从而得到改进后的CenterNet模型。

3.根据权利要求1所述的一种基于改进中心点检测的安检X光图像目标检测与识别方法，其特征在于：所述步骤C具体步骤如下：

步骤C01：将步骤A中的训练图像集中的图像X1输入步骤B中改进后的CenterNet模型进行训练时，首先进行混合：以预设的概率随机选取余下训练图像集中的一张图像X2，将图像X2与图像X1以固定的透明度进行叠加，得到图像X3；

步骤C02：再将步骤C01中图像X3以预设的概率旋转随机角度，得到图像X4；

步骤C03：再将步骤C02中图像X4以预设的概率进行竖直翻转，得到图像X5；

步骤C04：最后，将步骤C03中的图像X5用R、G、B、灰度、H五个通道来表示，从而得到图像X6；其中，灰度通道的计算公式：(R*30+G*59+B*11)/100，H通道计算公式如下：

V＝最大值(R,G,B)

如果H＜0那么H＝H+360.

输出值的范围：0≤V≤1,0≤S≤1,0≤H≤360.

其中，R表示红色，G表示绿色，B表示蓝色，R，G，B为RGB颜色空间的三种基本色，H表示色相、S表示饱和度、V表示明度，H，S，V用来描述HSV颜色空间；

步骤C05：将步骤C04中的图像X6，调整为固定大小768*768，然后输入主干网络中进行训练，其中神经网络的初始学习率设置为7.5e-4，衰减率设置为0.1，学习率分别在训练图像集训练720轮，960轮时进行衰减，一次训练选取48张安检X光图像，训练图像集共训练1120轮，从而得到适用于安检X光图像目标检测与识别任务的模型。

4.根据权利要求1所述的一种基于改进中心点检测的安检X光图像目标检测与识别方法，其特征在于：所述步骤D具体步骤如下：

步骤D01：在对一张训练图像集之外的安检X光图像进行目标检测与识别任务时，先进行预处理，预处理步骤如下：首先将安检X光图像Y1用R、G、B、灰度、H五个通道来表示，得到图像Y2，将图像Y2的R、G、B、灰度、H像素值由正整数转成浮点数，然后缩放到[0.1.]之间，再将像素值归一化到标准正态分布，得到图像Y3，将图像Y3放缩至固定尺寸，得到图像Y4；

步骤D02：将图像Y4输入步骤C中的适用于安检X光图像目标检测与识别任务的模型，得到图像中目标的中心点、中心点偏置以及长宽，选出大于设定阈值的中心点，根据选出的中心点的信息、所选中心点对应偏置以及所选中心点对应的长宽信息，从而得到目标的类别以及位置信息，得到检测结果。

Images