CN109948527B - 基于集成深度学习的小样本太赫兹图像异物检测方法 - Google Patents

Abstract

本发明公开了一种基于集成深度学习的小样本太赫兹图像异物检测方法，主要解决现有方法需要人工设计图像特征，训练过程复杂，且不能对某一类样本数目特别少的小样本赫兹图像进行异物检测的问题。本发明的具体要步骤如下：(1)制作小样本太赫兹图像数据集；(2)扩增图像训练集；(3)搭建集成深度学习网络；(4)训练集成深度学习网络；(5)对图像测试集进行检测。本发明能够自动提取图像特征，训练过程简单，考虑了实际样本中某一类样本数目特别少的小样本情况，能够对小样本太赫兹图像进行异物检测，能提高小样本中数目特别少的一类的检测正确率。

Description

基于集成深度学习的小样本太赫兹图像异物检测方法

技术领域

本发明属于图像处理技术领域，更进一步涉及目标检测图像处理技术领域中的一种基于集成深度学习的小样本太赫兹图像异物检测方法。本发明可用于从太赫兹图像中检测出人体隐藏的刀、炸药、手机等异物目标。

背景技术

因为太赫兹波介于红外和微波之间，具有X射线、光波/红外和微波所不具备的一些特殊性质，使得太赫兹成像非常适合进行人体异物检测。基于深度学习的目标检测网络与传统的方法相比，检测准确率显著提升，且可以自动提取样本特征自动进行检测识别，基于深度学习的网络泛化能力更好、对特征的表征能力更强。

华讯方舟科技有限公司在其申请的专利文献“一种基于毫米波图像的人体异物检测方法”(专利申请号：201610727745.7，公布号：CN106372583A)中提出一种毫米波图像的人体异物检测方法。该方法首先获取人体的毫米波灰度图像；然后提取所述毫米波灰度图像中的人体轮廓图像；再构建所述人体轮廓图像在垂直方向上的垂直空间分布直方图和在水平方向上的水平空间分布直方图；根据所述垂直空间分布直方图、所述水平空间分布直方图和预设人体比例模型，获取人体的肢体位置；根据预设异物特征识别模型，识别所述人体轮廓图像中的异物；根据所述肢体位置，标识所述异物在所述人体轮廓图像上的位置并生成异物检测结果。该方法虽然通过构建空间分布直方图和人体比例模型，可以降低虚警率，提高目标检测的精度，且毫米波图像与太赫兹图像结构相似，该方法可以用于太赫兹图像的异物检测，但是，该方法仍然存在的不足之处是，需要提取人体的轮廓图、构建垂直于水平空间分布直方图、预设人体比例等多个步骤，使得异物检测过程非常繁琐，且没有考虑小样本的分布特征，实际上并没有增加样本数量，且并没有考虑实际样本中某一类样本数目特别少的小样本情况，所以该方法并不能对小样本的太赫兹图像进行异物检测。

杜琨、张璐等人在其发表的论文“基于统计模型的人体隐藏危险物检测”(计算机工程与设计,2017(10))中提出一种基于统计模型的目标检测方法。该方法采用参量模型的建模方法，建立基于广义复合分布和广义K分布的统计模型；在此基础上，基于人体结构的先验知识，利用人体统计模型，采用恒虚警率对图像中人体隐藏危险物进行检测。虽然该方法利用了基于人体结构的先验知识和人体统计模型，研究的对象是太赫兹图像，在检测率上有了部分提升。但是，该方法仍然存在的不足之处是，需要建立基于广义复合分布和广义K分布的统计模型，建模过程计算复杂度高，且并没有考虑实际样本中某一类样本数目特别少的小样本情况，该方法不适合对小样本太赫兹图像进行异物检测。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于集成深度学习的小样本太赫兹图像异物检测方法，对刀、手机和炸药等目标进行检测。本发明与其他现有小样本太赫兹图像异物检测方法相比，扩增了图像训练集，使得训练过程不易发生过拟合，考虑实际样本中某一类样本数目特别少的小样本情况，搭建集成深度学习网络，提高了样本数目特别少的一类的检测正确率，不用人工设计图像的特征，能够自动提取图像特征，训练过程简单，可以得到较高的小样本太赫兹图像异物检测精度。

实现本发明的目的的思路是，该方法是通过随机调整样本亮度和对比度的方法，扩增图像训练数据集，使用少数类过采样技术SMOTE进行怀疑物类别图像的二次扩增；针对有一类极少的小样本搭建集成深度学习网络进行异物检测。

本发明实现的具体步骤包括如下：

(1)制作小样本太赫兹图像数据集：

(1a)输入1000个太赫兹图像，按照标准视觉目标分类VOC数据集格式，制作小样本太赫兹图像的数据集；

(1b)对小样本太赫兹图像数据集中每个图像的目标标注其所属的类别和坐标位置；

(1c)从小样本太赫兹图像数据集中随机选取80％的太赫兹图像，组成图像训练集，将剩余的太赫兹图像组成图像测试集；

(2)扩增图像训练集：

(2a)利用亮度和对比度公式，分别调整图像训练集中每个图像的亮度和对比度；

(2b)使用合成少数类过采样技术SMOTE，对扩增后的图像训练集中数目只有8个的怀疑物类别的图像进行二次扩增；

(3)搭建集成深度学习网络：

(3a)搭建一个由76层的基础网络和12层的集成学习网络组成的集成深度学习网络；

所述12层的集成学习网络的结构依次为：输入层→第一层卷积层→第二层卷积层→第三层卷积层→第四层卷积层→第五层卷积层→第六层卷积层→第七层卷积层→检测层→三个并联的弱分类器→强分类器→逻辑斯蒂logistic回归层；

(3b)设置集成深度学习网络参数，其中，集成深度学习网络中12层的集成学习网络各层的参数如下；

将第一、三、五层卷积层的特征映射图的总数设置为512，卷积核的尺度设置为个节点；

将第二、四、六层卷积层的特征映射图的总数设置为1024，卷积核的尺度设置为个节点；

将第七层卷积层的特征映射图的总数设置为255，卷积核的尺度设置为个节点；

将第一至第七层卷积层的步长均设置为1；

(4)训练集成深度学习网络：

(4a)从图像训练集中随机选取一幅图像输入到集成深度学习网络中；

(4b)将所选图像划分为的网格单元，利用集成深度学习网络输出层的损失值公式，计算每个网格单元中的每个预测目标边界框的类别信息、位置信息、宽高信息及置信度得分与真实目标的类别信息、位置信息、宽高信息及置信度得分之间的误差；

(4c)判断训练次数是否达到8000次，若是，则得到训练好的集成深度学习网络后执行步骤(5)；否则，执行步骤(4a)；

(5)对图像测试集进行检测：

(5a)将图像测试集输入到训练好的集成深度学习网络中，输出图像测试集中每个图像中每个目标的预测边界框位置、类别和置信度值；

(5b)对每个目标的所有预测边界框取交集，作为每个目标的最终预测边界框，将最终预测边界框的位置、类别、置信度，作为最终的小样本太赫兹图像异物检测的目标信息。

本发明与现有的技术相比具有以下优点：

第一，由于本发明使用了扩增图像训练集，先通过亮度和对比度公式调整图像训练集中每个图像的亮度和对比度扩增图像训练集，再使用少数类过采样技术SMOTE对扩增后的图像训练集中数目只有8个的怀疑物类别的图像进行二次扩增，克服了现有技术中没有考虑实际样本中某一类样本数目特别少的小样本情况，使得本发明能够对小样本太赫兹图像进行检测，能提高小样本中数目特别少的一类的检测正确率，且训练过程不易发生过拟合，使得小样本太赫兹图像的异物检测正确率更高。

第二，由于本发明搭建了一个集成深度学习网络，该网络由76层的基础网络和12层的集成学习网络组成，将图像测试集输入训练好的网络，可以直接输出检测结果，克服了现有技术中需要人工设计图像特征与没有考虑实际样本中某一类样本数目特别少的小样本情况，使得本发明能够自动提取图像特征，训练过程简单，能够对小样本太赫兹图像进行检测，能提高小样本中数目特别少的一类的检测正确率。

附图说明

图1是本发明的流程图；

图2是本发明的测试结果图。

具体实施方式

下面结合附图对本发明做进一步的详细描述。

参照附图1，对本发明的步骤做进一步的详细描述。

步骤1，制作小样本太赫兹图像数据集。

输入1000个太赫兹图像，按照标准视觉目标分类VOC(Visual Object Classes)数据集格式，制作小样本太赫兹图像的数据集。

对小样本太赫兹图像数据集中每个图像的目标标注其所属的类别和坐标位置,所属的类别是指五类：人、刀、手机、炸药、怀疑物。

从小样本太赫兹图像数据集中随机选取80％的太赫兹图像，组成图像训练集，将剩余的太赫兹图像组成图像测试集。

步骤2，扩增图像训练集。

利用亮度和对比度公式，分别调整图像训练集中每个图像的亮度和对比度。

亮度和对比度公式如下：

g_b(k,l)＝f(k,l)+α

g_d(m,n)＝β×f(m,n)

其中，g_b(k,l)表示图像训练集中第b个图像中第k行第l列像素调整后的亮点，f(k,l)表示图像训练集中第b个图像中第k行第l列像素调整前的亮点，α表示亮度调整因子，该因子为在[0,30]范围内任意选取的一个值；g_d(m,n)表示图像训练集中第d个图像中第m行第n列像素调整后的对比度，β表示对比度调整因子，该因子为在[0.2,1.8]范围内任意选取的与α不同的一个值，f(m,n)表示图像训练集中第d个图像中第m行第n列像素调整前的对比度，m、n的取值与k、l对应相等。

使用合成少数类过采样技术SMOTE(Synthetic Minority OversamplingTechnique)，对扩增后的图像训练集中数目只有8个的怀疑物类别的图像进行二次扩增。

第一步，从扩增后的图像训练集中选取属于怀疑物类别的所有图像。

第二步，从怀疑物类别的所有图像中任选一幅未选过的图像。

第三步，计算所选图像的每个像素到其它每个怀疑物类别图像的每个像素的欧氏距离。

第四步，对所有欧氏距离按照从小到大排序，依次取前k个近邻，k的取值范围为[1,7]。

第五步，从所选的近邻中随机选择一个近邻。

第六步，按照下式，计算从怀疑物类别的所有图像中所选图像的二次扩增图像中每个像素值：

x_a＝x(u,v)+ξ×|x'(r,s)-x(u,v)|

其中，x_a表示所选图像的二次扩增图像中第a个像素值，x(u,v)表示所选图像中第u行第v列的像素值，ξ表示在(0,1)范围内任意选取的一个值，|·|表示取绝对值操作，x'(r,s)表示所选近邻中第r行第s列的像素值，r、s的取值与u、v对应相等。

第七步，将所有像素值组成怀疑物类别的所选图像的二次扩增图像。

第八步，判断是否选完属于怀疑物类别的所有图像，若是，则得到属于怀疑物类别的所有图像的二次扩增图像；否则，执行第二步。

步骤3，搭建集成深度学习网络。

搭建一个由76层的基础网络和12层的集成学习网络组成的集成深度学习网络。

基础网络是YOLO(You Only Look Once)v3网络的Darknet-53网络。

所述76层的基础网络的结构依次为：输入层→第一个卷积层→第二个卷积层→含有一个残差单元残差块→第三个卷积层→含有两个残差单元残差块→第四个卷积层→含有八个残差单元残差块→第五个卷积层→含有八个残差单元残差块→第六个卷积层→含有四个残差单元残差块。

所述的每个残差单元是由两个卷积层和一个跃层连接层三层组成，多个残差单元之间通过张量拼接而成。

所述12层的集成学习网络的结构依次为：输入层→第一层卷积层→第二层卷积层→第三层卷积层→第四层卷积层→第五层卷积层→第六层卷积层→第七层卷积层→检测层→三个并联的弱分类器→强分类器→逻辑斯蒂logistic回归层。

设置集成深度学习网络参数，其中，集成深度学习网络中12层的集成学习网络各层的参数如下：

将第一、三、五层卷积层的特征映射图的总数设置为512，卷积核的尺度设置为1×1个节点。

将第二、四、六层卷积层的特征映射图的总数设置为1024，卷积核的尺度设置为3×3个节点。

将第七层卷积层的特征映射图的总数设置为255，卷积核的尺度设置为1×1个节点。

将第一至第七层卷积层的步长均设置为1。

步骤4，训练集成深度学习网络。

第一步，从图像训练集中随机选取一幅图像输入到集成深度学习网络中。

第二步，将所选图像划分为的网格单元，利用集成深度学习网络输出层的损失值公式，计算每个网格单元中的每个预测目标边界框的类别信息、位置信息、宽高信息及置信度得分与真实目标的类别信息、位置信息、宽高信息及置信度得分之间的误差。

所述集成深度学习网络输出层的损失值公式如下：

其中，L表示集成深度学习网络输出层的损失值，S表示所选图像划分的网格单元的总数，∑表示求和操作，i表示所选图像划分的网格单元的序号，

表示第i个网格单元中存在目标的状态，若存在目标则

否则

γ表示取值为0.01的怀疑物类别错分惩罚权重值，c表示网格单元中有五类目标，c'表示网格单元中五类目标的序号，p_i(c)表示第i个网格单元属于第c类目标的真实概率值，

表示第i个网格单元中属于第c类目标的预测概率值；λ表示取值为0.5的加权权重值，B表示预测目标边界框的总数，j表示预测目标边界框的序号，

表示第i个网格单元中第j个预测目标边界框中存在目标的状态，若存在目标则

否则

表示开平方根操作，x_i、y_i表示第i个网格单元中真实的目标边界框的横纵坐标值，

表示第i个网格单元中预测的目标边界框的横纵坐标值，w_i、h_i分别表示第i个网格单元中真实的目标边界框的宽和高，

分别表示第i个网格单元中预测的目标边界框的宽和高，Q_i表示第i个网格单元中真实的目标边界框的置信度值，

表示第i个网格单元中预测的目标边界框的置信度值。

第三步，判断训练次数是否达到8000次，若是，则得到训练好的集成深度学习网络后执行步骤5；否则，执行第一步。

步骤5，对图像测试集进行检测。

将图像测试集输入到训练好的集成深度学习网络中，输出图像测试集中每个图像中每个目标的预测边界框位置、类别和置信度值。

对每个目标的所有预测边界框取交集，作为每个目标的最终预测边界框，将最终预测边界框的位置、类别、置信度，作为最终的小样本太赫兹图像异物检测的目标信息。

下面结合仿真实验对本发明的效果做进一步的说明：

1.仿真条件：

本发明的仿真实验是在Intel(R)Core(TM)i5-4120M CPU@2.60GHz内存为8GB的硬件环境和Darknet的软件环境下进行的，使用GPU进行训练，CPU进行测试。

2.仿真内容与结果分析：

本发明的仿真实验是采用本发明的方法和两项现有技术分别在上述仿真条件下，按照本发明的步骤进行仿真实验，得到图像测试集中每个图像中的目标位置及类别信息。所述的两项现有技术为YOLOv3(Darknet-53)方法(Redmon J,Farhadi A.YOLOv3:AnIncremental Improvement[J].2018.)与基于统计模型的人体隐藏危险物检测方法(杜琨,张璐,王凯让,等.基于统计模型的人体携带危险物检测[J].计算机工程与设计,2017(10):2864-2868)。

为了验证本发明的效果，按照下述均值平均精确度和虚警率公式，对图像测试集中每个图像中目标的位置及类别信息，分别计算每个类别的平均精确度和虚警率，将得到的所有计算结果列入表1中。

其中，V表示均值平均精确度值，T表示所计算类别检测正确的个数，T'表示其他所有类别检测正确的个数，F'表示其他所有类别检测错误的个数，F表示所计算类别检测错误的个数，F表示虚警率值。

从表1中可以看出与现有技术相比，本发明的均值平均精确度有明显的提升，漏检率明显降低。

表1本发明方法和现有技术方法对比表

参见附图2是本发明的测试结果图，图中对异物类别的标注：p表示人、k表示刀、i表示手机、b表示炸药、s表示怀疑物。

综上所述，本发明通过集成深度学习网络对小样本太赫兹图像进行异物检测，不仅能够自动提取图像特征，训练过程简单，还考虑了实际样本中某一类样本数目特别少的小样本情况，使得本发明能够对小样本太赫兹图像进行检测，能提高小样本中数目特别少的一类的检测正确率，且训练过程不易发生过拟合。

Claims (7)

1.一种基于集成深度学习的小样本太赫兹图像异物检测方法，其特征在于，扩增小样本太赫兹图像数据集的图像训练集，搭建集成深度学习网络，该方法的具体步骤包括如下：

(1)制作小样本太赫兹图像数据集：

(1a)输入1000个太赫兹图像，按照标准视觉目标分类VOC数据集格式，制作小样本太赫兹图像的数据集；

(1b)对小样本太赫兹图像数据集中每个图像的目标标注其所属的类别和坐标位置；

(1c)从小样本太赫兹图像数据集中随机选取80％的太赫兹图像，组成图像训练集，将剩余的太赫兹图像组成图像测试集；

(2)扩增图像训练集：

(2a)利用亮度和对比度公式，分别调整图像训练集中每个图像的亮度和对比度；

(2b)使用合成少数类过采样技术SMOTE，对扩增后的图像训练集中数目只有8个的怀疑物类别的图像进行二次扩增；

(3)搭建集成深度学习网络：

(3a)搭建一个由76层的基础网络和12层的集成学习网络组成的集成深度学习网络；

所述12层的集成学习网络的结构依次为：输入层→第一层卷积层→第二层卷积层→第三层卷积层→第四层卷积层→第五层卷积层→第六层卷积层→第七层卷积层→检测层→三个并联的弱分类器→强分类器→逻辑斯蒂logistic回归层；

(3b)设置集成深度学习网络参数，其中，集成深度学习网络中12层的集成学习网络各层的参数如下：

将第一、三、五层卷积层的特征映射图的总数设置为512，卷积核的尺度设置为1×1个节点；

将第二、四、六层卷积层的特征映射图的总数设置为1024，卷积核的尺度设置为3×3个节点；

将第七层卷积层的特征映射图的总数设置为255，卷积核的尺度设置为1×1个节点；

将第一至第七层卷积层的步长均设置为1；

(4)训练集成深度学习网络：

(4a)从图像训练集中随机选取一幅图像输入到集成深度学习网络中；

(4b)将所选图像划分为3×3的网格单元，利用集成深度学习网络输出层的损失值公式，计算每个网格单元中的每个预测目标边界框的类别信息、位置信息、宽高信息及置信度得分与真实目标的类别信息、位置信息、宽高信息及置信度得分之间的误差；

(4c)判断训练次数是否达到8000次，若是，则得到训练好的集成深度学习网络后执行步骤(5)；否则，执行步骤(4a)；

(5)对图像测试集进行检测：

(5a)将图像测试集输入到训练好的集成深度学习网络中，输出图像测试集中每个图像中每个目标的预测边界框位置、类别和置信度值；

(5b)对每个目标的所有预测边界框取交集，作为每个目标的最终预测边界框，将最终预测边界框的位置、类别、置信度，作为最终的小样本太赫兹图像异物检测的目标信息。

2.根据权利要求1所述的基于集成深度学习的小样本太赫兹图像异物检测方法，其特征在于，步骤(1b)中所述所属的类别是指五类：人、刀、手机、炸药、怀疑物。

3.根据权利要求1所述的基于集成深度学习的小样本太赫兹图像异物检测方法，其特征在于，步骤(2a)中所述亮度和对比度公式如下：

g_b(k,l)＝f(k,l)+α

g_d(m,n)＝β×f(m,n)

其中，g_b(k,l)表示图像训练集中第b个图像中第k行第l列像素调整后的亮点，f(k,l)表示图像训练集中第b个图像中第k行第l列像素调整前的亮点，α表示亮度调整因子，该因子为在[0,30]范围内任意选取的一个值；g_d(m,n)表示图像训练集中第d个图像中第m行第n列像素调整后的对比度，β表示对比度调整因子，该因子为在[0.2,1.8]范围内任意选取的与α不同的一个值，f(m,n)表示图像训练集中第d个图像中第m行第n列像素调整前的对比度，m、n的取值与k、l对应相等。

4.根据权利要求1所述的基于集成深度学习的小样本太赫兹图像异物检测方法，其特征在于，步骤(2b)中所述合成少数类过采样技术SMOTE的步骤如下：

第一步，从扩增后的图像训练集中选取属于怀疑物类别的所有图像；

第二步，从怀疑物类别的所有图像中任选一幅未选过的图像；

第三步，计算所选图像的每个像素到其它每个怀疑物类别图像的每个像素的欧氏距离；

第四步，对所有欧氏距离按照从小到大排序，依次取前k个近邻，k的取值范围为[1,7]；

第五步，从所选的近邻中随机选择一个近邻；

第六步，按照下式，计算从怀疑物类别的所有图像中所选图像的二次扩增图像中每个像素值：

x_a＝x(u,v)+ξ×|x'(r,s)-x(u,v)|

其中，x_a表示所选图像的二次扩增图像中第a个像素值，x(u,v)表示所选图像中第u行第v列的像素值，ξ表示在(0,1)范围内任意选取的一个值，|·|表示取绝对值操作，x'(r,s)表示所选近邻中第r行第s列的像素值，r、s的取值与u、v对应相等；

第七步，将所有像素值组成怀疑物类别的所选图像的二次扩增图像；

第八步，判断是否选完属于怀疑物类别的所有图像，若是，则得到属于怀疑物类别的所有图像的二次扩增图像；否则，执行第二步。

5.根据权利要求1所述的基于集成深度学习的小样本太赫兹图像异物检测方法，其特征在于，步骤(3a)中所述76层的基础网络的结构依次为：输入层→第一个卷积层→第二个卷积层→含有一个残差单元残差块→第三个卷积层→含有两个残差单元残差块→第四个卷积层→含有八个残差单元残差块→第五个卷积层→含有八个残差单元残差块→第六个卷积层→含有四个残差单元残差块；

所述的每个残差单元是由两个卷积层和一个跃层连接层三层组成，多个残差单元之间通过张量拼接而成。

6.根据权利要求1所述的基于集成深度学习的小样本太赫兹图像异物检测方法，其特征在于，步骤(3b)中所述的设置集成深度学习网络参数如下：

设置集成深度学习网络中76层的基础网络中各层的参数如下：

将第一个卷积层的特征映射图的总数设置为32，步长设置为1；

将第二至第六个卷积层的特征映射图的总数依次设置为64、128、256、512、1024，步长均设置为2；

将第一至第六个卷积层的卷积核的尺度均设置为3×3个节点；

将残差单元中的第一个卷积层的卷积核尺度设置为1×1个节点，第二个卷积层的卷积核尺度设置为3×3个节点，两个卷积层的步长均设置为1。

7.根据权利要求1所述的基于集成深度学习的小样本太赫兹图像异物检测方法，其特征在于，步骤(4b)中所述集成深度学习网络输出层的损失值公式如下：

其中，L表示集成深度学习网络输出层的损失值，S表示所选图像划分的网格单元的总数，∑表示求和操作，i表示所选图像划分的网格单元的序号，

表示第i个网格单元中存在目标的状态，若存在目标则

＝1，否则

＝0，γ表示取值为0.01的怀疑物类别错分惩罚权重值，c表示网格单元中有五类目标，c'表示网格单元中五类目标的序号，p_i(c)表示第i个网格单元属于第c类目标的真实概率值，

表示第i个网格单元中属于第c类目标的预测概率值；λ表示取值为0.5的加权权重值，B表示预测目标边界框的总数，j表示预测目标边界框的序号，

表示第i个网格单元中第j个预测目标边界框中存在目标的状态，若存在目标则

＝1，否则

＝0，

表示开平方根操作，x_i、y_i表示第i个网格单元中真实的目标边界框的横纵坐标值，

表示第i个网格单元中预测的目标边界框的横纵坐标值，w_i、h_i分别表示第i个网格单元中真实的目标边界框的宽和高，

分别表示第i个网格单元中预测的目标边界框的宽和高，Q_i表示第i个网格单元中真实的目标边界框的置信度值，

表示第i个网格单元中预测的目标边界框的置信度值。

Images