CN111127499A - 一种基于语义轮廓信息的安检图像刀具检测分割方法 - Google Patents

Abstract

一种基于语义轮廓信息的安检图像刀具检测分割的技术方法属于图像处理领域，使刀具能够被准确快速地检测分割出来并显示，同时能够尽可能的准确地标注出刀具的位置和类别，保持关键对象被完整分割，以实现最佳效果的辅助安检。本发明通过定义一系列有效利用轮廓信息的高维度数据来建立刀具检测分割的Faster‑MaskRCNN最优化模型，保证图像在神经网络训练过程中，充分利用到刀具的语义轮廓信息特征，以此来提高在模型的检测精度。另一方面，我们提出一种考虑多任务卷积网络策略，能够有效的提高损失函数收敛的速度，在很大程度上能够缩短神经网络的训练时间，具有一定的应用价值及参考意义。

Description

一种基于语义轮廓信息的安检图像刀具检测分割方法

技术领域

本发明涉及图像处理技术领域中基于内容感知的图像检测分割技术，具体涉及一种基于语义轮廓信息的安检图像刀具检测分割方法的研究及实现。

背景技术

随着城市交通物流服务范围的不断扩大，交通物流在促进城市经济发展、优化城市结构中承担着至关重要的角色，每天有大量的旅客及货物周转在全球各大铁路、公路、机场。城市轨道交通由于空间封闭，旅客流量大，遭到恐怖袭击后更容易造成灾难性后果，如何快速有效地检查旅客行李的危险品一直困扰着相关安全部门。X光安检机已被广泛应用于交通、物流等领域，社会的高速发展对于安检速度和准确度的要求越来越高，而传统X光图像的判图一直依赖于人工，质效低、耗时久，工作量大，且无法高效识别X光图像中的违禁品，漏检问题时有发生。目前主流的安检机使用X涉嫌成像技术、计算机断层扫描成像技术、离子迁移谱分析技术、拉曼光谱技术和放射性物质监测等先进安检技术，然而这些技术只是成像，还需要人工判定安检图片中是否有危险物品。

传统的X射线检测的主流算法主要是通过图像分类来检查违禁品的，它们都是利用手工设计的特征进行目标分类，利用一些图像分类的通用手工设计特征，提取X射线得到图像的某些重要特征，经过特征表达后利用分类器进行分类，国内外最早期基于图像中的有机物、无机物和金属的判别算法被Richard D.R.Maccdonald提出，该算法利用了双能量系统。在此基础上，Saskia M.Steiner-Koller等人发现了对安检图像X射线的解释能力评估方法，Abbott研究了X射线图像的灰度级影响因素，并仿真验证了X射线中前散射信号的噪声比透射信号对图像的影响大。Richard F.Eilhert等人针对X射线安检系统的改进图像进行研究。在安检图像中违禁品的识别方面，Shahan Nercessian等人提出基于物体边缘的特征向量建立的图像处理方法，该方法针对识别危险品外观的效果明显。贺教授通过模糊理论针对安检X射线图像提出新的增强方法，葛教授提出通过提取物体真实灰度来实现去除X射线透视图像中重叠效应的方法。一大批新的理论和方法涌现出来，例如运用边缘检测和模式匹配来检测目标，利用小波变换算法进行了特征提取，而后使用KNN算法进行分类，通过用尺度不变特征变换算法(SIFT)提取特征进行识别。上述的传统检测方法都没有考虑图像中内容的语义轮廓信息。为了能够更加智能的辅助安检员的安检工作，需要对安检图像的内容进行危险品刀具的检测，并进行位置标记和类别标记。那么基于语义轮廓信息的检测技术就是用来解决如何将安检图像中的刀具高精度的检测的问题。

传统的图像分割技术可以大致的分为基于阈值、基于聚类、基于区域、基于边缘和基于物理的分割方法。近几年出现新的方法包括Turbopixels算法、SLIC算法和基于深度学习分割算法等。

阈值分割方法是通过设定不同的特征阈值，把图像像素点分为若干类，得到的每个类别形成与现实目标相对应的区域，各区域内部具有一致的属性，而相邻区域布局有这种一致属性，常用的特征包括原始图像的灰度或彩色特征和由原始灰度或彩色值变换得到的特征。虽然该类算法实现简单，计算量小，性能比较稳定，但是阈值的选择是阈值分割方法的种的关键技术，阈值的好坏直接影响了最后的结果优劣，现有的大部分算法都集中在阈值确定的研究上。

基于聚类的分割方法是通过计算N个数据样本点平均分成K组，把输入的K个点座位要收敛的聚类中心，计算簇中其他采样点到中心点的欧式距离，并对比最小的欧式距离进行归类，直到聚类的性能准则函数最优，整体误差最小。其特点是一种简单高效的算法，对处理大数据集是相对可扩展和高效的，时间复杂度是O(NK_t)，其中N代表数据样本的总和，K代表簇的个数，t代表算法迭代次数，当使用算法分割图像中所包含的聚类数量较多，且每个聚类之间差异明显时，效果较好。但是初始聚类中心点的确定将会影响整个分割效果，当处理不规则形状的聚类时，由于采用距离函数作为判别样本间相似度的方法，会对分割结果产生影响。聚类后的结果容易受到噪音点的影响，同样对结果不利。

SLIC是一种简单的超像素处理方法，需要用到的图像颜色信息取自CIE-Lab颜色空间，首先需要颜色空间转换，对应着图像中的每个像素，其被分解成一个由CIE-Lab颜色空间表示的分量L,a,b和像素坐标x,y组成的5维向量{L,a,b,x,y}。通过向量距离来度量两个像素的相似性，总结为像素相似性与向量距离成反比。经过一次次重复计算将全部数据对象归类，刷新得到新的收敛中心点，直到整体误差最小收敛后停止迭代。为保证迭代效果,保证分割过程中不出现连续的超像素，特意在迭代过程中增强连通性。但是由于对边缘的保持使用位置限制，会导致超像素和图像边缘的契合度变差。

基于深度学习的图像分割算法主要使用卷积神经网络(Convolutional NeuralNetworks，CNN)，具有极强的数据归纳、特征学习能力，能有效提取图像高级语义信息。现阶段比较典型的图像分割网络包括全卷积神经网络(Fully Convolutional Networks，FCN)、SegNet、U-Net、DeepLab等，这些算法实现了端到端的语义分割，但是在数据输入方面只是单一的RGB图像或二值图象，通过使CNN转换成完全由卷积层(卷积运算)、池化层(卷积运算)构成的卷积运算网络，但是却没有有效利用到图像中目标的语义轮廓信息，大多多操作方法的时间复杂度较高，那么如何去缩短算法的收敛时间也是需要认真考虑的问题。

发明内容

本发明提供一种基于语义轮廓信息的安检图像刀具检测分割的技术，使安检图像中的刀具能够被准确快速地检测分割出来，并且显示在的终端设备上，同时能够尽可能的准确地标注出刀具的位置和类别，保持关键对象被完整分割，以实现最佳效果的辅助安检。

本发明提出了一种基于语义轮廓信息的刀具检测分割方法，通过定义一系列有效利用轮廓信息的高维度数据来建立刀具检测分割的Faster MaskRCNN最优化模型，保证图像在神经网络训练过程中，充分利用到刀具的语义轮廓信息特征，以此来提高在模型的检测精度。另一方面，我们提出一种考虑多任务卷积网络策略，能够有效的提高损失函数收敛的速度，在很大程度上能够缩短神经网络的训练时间。

本发明的大体思路为首先对原始图像进行轮廓信息的检测，在边缘检测的的过程中，尽可能的保留图像内容的轮廓信息，然后利用检测的轮廓信息特征与原始图像特征拼接，形成带有轮廓信息的更高维度数据，最后在MaskRCNN的任务中添加一个刀具边缘分割任务，最后得到刀具检测分割图像。

为了实现上述问题，本发明提供了一种有效的基于内容感知的语义轮廓信息的检测分割方法。该方法具体包括：

1)输入一幅大小为W*H的原始图像，对应的边缘检测图像大小与原始图像相同，W为原始图像宽度，H为原始图像的高度；

2)将原始图像内容进行边缘检测，并且对监督样本mask(二值图)进行边缘检测，具体步骤如下：

①优化原始图像边缘检测模型：使用HED(Holistically-Nested EdgeDetection)模型对原始图像内容进行边缘检测，并保留在Side-output4阶段的边缘检测图像，而不是最后阶段的图像，针对刀具而言，最后阶段的边缘检测图像增加了更多的非边缘信息。

②建立mask图像最优化模型：采用Laplace算子对mask进行边缘检测，目标是让mask图像中刀具边缘像素具有不同像素，靠近边缘中心具有较大权重，距离边缘中心越远，权重越小，很大程度上能够保留刀具轮廓信息。建立两个变量的离散Laplace算子函数为：

将公式(1)写成filter mask的形式如下：

1	1	1
			1	-8	1
1	1	1

公式(1)中，x、y分别为图像上x轴、y轴的坐标点；公式(1)的原始推导过程需要先定义最简单的二阶微分拉普拉斯算子，拉普拉斯算子是二阶微分线性算子，在图像边缘处理中，二阶微分的边缘定位能力更强，锐化效果更好，因此在进行图像边缘处理时，直接采用二阶微分算子而不使用一阶微分：

公式(2)中，任意阶微分都是线性操作，所以Laplace算子是一个线性算子，分别对Laplace算子x，y两个方向的二阶导数进行差分就得到了离散函数的Laplace算子。在一个二维函数f(x，y)中，x，y两个方向的二阶差分分别：

公式(2)(3)能够得出离散Laplace算子函数。

3)将原始图像和对应其边缘二值图像作为训练样本，同时输入到MaskRCNN网络中，对刀具的特征与刀具语义轮廓信息特征拼接，最后通过添加边缘语义分割任务实现多任务策略。该步骤具体包括：

①设计RPN(Region Proposal Networks)孪生网络结构，利用RPN将原始图像和对应其边缘二值图像输入到网络中，分别对刀具整体和刀具边缘信息提取特征，在ResNet网络的block5阶段进行特征拼接。目标是最有效利用刀具语义轮廓特征，让刀具重要的特征尽可能的增加权重，其中，

RPN损失函数为：

公式(4)中，N_cls表示类别数，取值为2，N_reg表示回归坐标数量，取值为4，i表示第i个锚点，p_i表示锚点i预测是否为目标的概率，当锚点是正样本时

负样本则为

t_i表示第i个锚点预测box的4个参数化坐标的矢量，

表示一个与正样本锚点相关的ground true box坐标，超参数λ表示平衡因子，是为了平衡分类损失和回归损失，根据交叉验证来确定取值为10，我们通过实验证明，结果对在大范围内λ的值不敏感，具有通用性，L_cls表示二分类softmax损失函数，L_reg表示回归损失，使用的是Smooth-L1函数，分别为：

公式(5)中，e是自然常数，表示softmax层的前一层特征输出值，是自然常数e的指数，i表示类别索引，取值范围[1,j]的整数，j表示刀具类别数，取值为2。

公式(6)中，x表示预测框与ground truth之间的差异值。

②建立刀具边缘语义分割任务分支，与分类任务分支、检测任务分支和刀具分割任务分支并列，目标是缩短训练时间，更准确沿着边缘分割，一方面是由于神经网络的深度过大，更复杂的任务可以优化网络性能，另一方面刀具边缘语义分割任务能够影响其他的任务精度，并且是好方面影响，对于预测的二值掩膜输出，对每个像素点应用sigmoid函数，整体损失定义为平均二值交叉损失熵(average binary cross-entropy loss)，与L_Mask损失函数相同。引入预测K个输出的机制，允许每个类都生成独立的掩膜，避免类间竞争，目的是解耦了掩膜和种类预测。

平均二值交叉熵损失函数:

公式(7)中，i表示第i个像素，p_i表示像素点i预测在刀具上的概率，当像素点在刀具上时

反之则为

定义模型总损失函数：

L_MRCNN＝L_Class+L_Box+L_Mask+L_Edge+L(p_i，t_i) (8)

公式(8)中，L_Class损失函数为：

公式(9)中，e是自然常数，

表示softmax层的前一层特征输出值，是自然常数e的指数，i表示类别索引值，取值范围[1,j]的整数，j表示刀具类别数，取值为2。

L_Box损失函数同样使用Smooth-L1函数：

公式(10)中，x表示刀具预测框与ground truth之间的差异值。

L_Mask损失函数：

公式(11)中，i表示第i个像素，p_i表示像素点i预测在刀具的概率，当像素点在刀具上时

反之则为

③求解该最优化模型，L_MRCNN损失函数降低到稳定区间。

4)向训练好的检测分割模型进行测试，输入原始安检图像内容，进而获得刀具检测分割结果图像。

本发明主要有2方面工作内容：第一、对原始安检图像进行边缘检测，尽量完整地检测到图像内容的轮廓信息；对监督信息mask图像进行刀具边缘检测，在RPN网络结构中设计孪生网络，将原始图像和对应的边缘图像同时输入到RPN孪生网络结构中，通过RPN提取刀具特征，并且在最后阶段，将原始图像提取的特征与边缘图像提取的特征进行拼接，由于原始图像在提取特征过程中可能丢失重要特征，这样可以加强刀具边缘特征，有效利用语义轮廓信息。第二、由于MaskRCNN网络深度多达100多层，网络结构复杂，通过添加分割刀具边缘任务分支，引导模型学习刀具轮廓信息特征，加速了模型收敛速度，提高了模型检测刀具的精度。实验数据证明，在给定1000张安检图像的实验数据下，应用本方法能够检测刀具mAP达到92.6％，因此，在大规模的数据应用背景下也具有较高的检测精度。

附图说明：

图1是本实例中原始图像进行边缘检测结果图。

图2是本实例中原始图像对应的mask图。

图3是本实例监督信息mask图的对应的刀具边缘检测图。

具体实施方式：

1)输入一幅大小为664*492的原始图像；

2)将原始图像内容进行边缘检测，并且对监督样本mask(图3)进行边缘检测，具体步骤如下：

①优化原始图像边缘检测模型：使用HED(Holistically-Nested EdgeDetection)模型对原始图像内容进行边缘检测，并保留在Side-output4阶段的边缘检测图像，而不是最后阶段的图像，针对刀具而言，最后阶段的边缘检测图像增加了更多的非边缘信息，得到结果如图1所示。

②建立mask图像最优化模型：采用Laplace算子对mask进行边缘检测，目标是让mask图像中刀具边缘像素具有不同像素，靠近边缘中心具有较大权重，距离边缘中心越远，权重越小，很大程度上能够保留刀具轮廓信息。建立两个变量的离散Laplace算子函数为：

将公式(1)写成filter mask的形式如下：

1	1	1
			1	-8	1
1	1	1

公式(1)中，x、y分别为图像上x轴、y轴的坐标点；公式(1)的原始推导过程需要先定义最简单的二阶微分拉普拉斯算子，拉普拉斯算子是二阶微分线性算子，在图像边缘处理中，二阶微分的边缘定位能力更强，锐化效果更好，因此在进行图像边缘处理时，直接采用二阶微分算子而不使用一阶微分：

公式(2)中，任意阶微分都是线性操作，所以Laplace算子是一个线性算子，分别对Laplace算子x，y两个方向的二阶导数进行差分就得到了离散函数的Laplace算子。在一个二维函数f(x,y)中，x,y两个方向的二阶差分分别：

公式(2)(3)能够得出离散Laplace算子函数，得到结果如图3所示。

3)将原始图像和对应其边缘二值图像作为训练样本，同时输入到MaskRCNN网络中，对刀具的特征与刀具语义轮廓信息特征拼接，最后通过添加边缘语义分割任务实现多任务策略。该步骤具体包括：

③设计RPN(Region Proposal Networks)孪生网络结构，利用RPN将原始图像和对应其边缘二值图像输入到网络中，分别对刀具整体和刀具边缘信息提取特征，在ResNet网络的block5阶段进行特征拼接。目标是最有效利用刀具语义轮廓特征，让刀具重要的特征尽可能的增加权重，其中，

RPN损失函数为：

公式(4)中N_cls表示类别数，取值为2，N_reg表示回归坐标数量，取值为4，i表示第i个锚点，p_i表示锚点i预测是否为目标的概率，当锚点是正样本时

负样本则为

t_i表示第i个锚点预测box的4个参数化坐标的矢量，

表示一个与正样本锚点相关的ground true box坐标，超参数λ表示平衡因子，是为了平衡分类损失和回归损失，根据交叉验证来确定取值为10，我们通过实验证明，结果对在大范围内λ的值不敏感，具有通用性，L_cls表示二分类softmax损失函数，L_reg表示回归损失，使用的是Smooth-L1函数，分别为：

公式(5)中，e是自然常数，

表示softmax层的前一层特征输出值，是自然常数e的指数，i表示类别索引，取值范围[1,j]的整数，j表示刀具类别数，取值为2。

公式(6)中，x表示预测框与ground truth之间的差异值。

④建立刀具边缘语义分割任务分支，与分类任务分支、检测任务分支和刀具分割任务分支并列，目标是缩短训练时间，更准确沿着边缘分割，一方面是由于神经网络的深度过大，更复杂的任务可以优化网络性能，另一方面刀具边缘语义分割任务能够影响其他的任务精度，并且是好方面影响，对于预测的二值掩膜输出，对每个像素点应用sigmoid函数，整体损失定义为平均二值交叉损失熵(average binary cross-entropy loss)。引入预测K个输出的机制，允许每个类都生成独立的掩膜，避免类间竞争，目的是解耦了掩膜和种类预测。

平均二值交叉熵损失函数:

公式(7)中，i表示第i个像素，p_i表示像素点i预测在刀具上的概率，当像素点在刀具上时

反之则为

定义模型总损失函数：

L_MRCNN＝L_Class+L_Box+L_Mask+L_Edge+L(p_i，t_i) (8)

公式(8)中，L_Class损失函数为：

公式(9)中，e是自然常数，

表示softmax层的前一层特征输出值，是自然常数e的指数，i表示类别索引值，取值范围[1,j]的整数，j表示刀具类别数，取值为2。

L_Box损失函数同样使用Smooth-L1函数：

公式(10)中，x表示刀具预测框与ground truth之间的差异值。

L_Mask损失函数：

公式(11)中，i表示第i个像素，p_i表示像素点i预测在刀具的概率，当像素点在刀具上时

反之则为

⑤求解该最优化模型，L_MRCNN损失函数降低到稳定区间。

4)向训练好的检测分割模型进行测试，输入原始安检图像内容，进而获得刀具检测分割图像。

Claims (1)

1.一种基于深度学习语义轮廓信息的刀具检测分割方法，其特征在于，具体包括：

1)输入一幅大小为W*H的原始图像，对应的边缘检测图像大小与原始图像相同，W为原始图像宽度，H为原始图像的高度；

2)将原始图像内容进行边缘检测，并且对监督样本二值图mask进行边缘检测，具体步骤如下：

①优化原始图像边缘检测模型：使用HED(Holistically-Nested Edge Detection)模型对原始图像内容进行边缘检测，并保留在Side-output4阶段的边缘检测图像；

②建立mask图像最优化模型：采用Laplace算子对mask进行边缘检测，目标是让mask图像中刀具边缘像素具有不同像素，靠近边缘中心具有较大权重，距离边缘中心越远，权重越小，很大程度上能够保留刀具轮廓信息；建立两个变量的离散Laplace算子函数为：

将公式(1)写成filter mask的形式如下：

1 1 1 1 -8 1 1 1 1

公式(1)中，x、y分别为图像上x轴、y轴的坐标点；公式(1)的原始推导过程需要先定义最简单的二阶微分拉普拉斯算子，拉普拉斯算子是二阶微分线性算子，在图像边缘处理中，二阶微分的边缘定位能力更强，锐化效果更好，因此在进行图像边缘处理时，直接采用二阶微分算子而不使用一阶微分：

公式(2)中，任意阶微分都是线性操作，所以Laplace算子是一个线性算子，分别对Laplace算子x,y两个方向的二阶导数进行差分就得到了离散函数的Laplace算子；在一个二维函数f(x,y)中，x,y两个方向的二阶差分分别：

公式(2)(3)能够得出离散Laplace算子函数；

3)将原始图像和对应其边缘二值图像作为训练样本，同时输入到MaskRCNN网络中，对刀具的特征与刀具语义轮廓信息特征拼接，最后通过添加边缘语义分割任务实现多任务策略；该步骤具体包括：

①设计RPN(Region Proposal Networks)孪生网络结构，利用RPN将原始图像和对应其边缘二值图像输入到网络中，分别对刀具整体和刀具边缘信息提取特征，在ResNet网络的block5阶段进行特征拼接；目标是最有效利用刀具语义轮廓特征，让刀具重要的特征尽可能的增加权重，其中，

RPN损失函数为：

公式(4)中，N_cls表示类别数，取值为2，N_reg表示回归坐标数量，取值为4，i表示第i个锚点，p_i表示锚点i预测是否为目标的概率，当锚点是正样本时

负样本则为

t_i表示第i个锚点预测box的4个参数化坐标的矢量，

表示一个与正样本锚点相关的groundtrue box坐标，超参数λ表示平衡因子，是为了平衡分类损失和回归损失，根据交叉验证来确定取值为10，L_cls表示二分类softmax损失函数，L_reg表示回归损失，使用的是Smooth-L1函数，分别为：

公式(5)中，e是自然常数，

表示softmax层的前一层特征输出值，是自然常数e的指数，i表示类别索引，取值范围[1,j]的整数，j表示刀具类别数，取值为2；

公式(6)中，x表示预测框与ground truth之间的差异值；

②建立刀具边缘语义分割任务分支，与分类任务分支、检测任务分支和刀具分割任务分支并列，目标是缩短训练时间，更准确沿着边缘分割，一方面是由于神经网络的深度过大，更复杂的任务可以优化网络性能，另一方面刀具边缘语义分割任务能够影响其他的任务精度，并且是好方面影响，对于预测的二值掩膜输出，对每个像素点应用sigmoid函数，整体损失定义为平均二值交叉损失熵(average binary cross-entropy loss)；引入预测K个输出的机制，允许每个类都生成独立的掩膜，避免类间竞争，目的是解耦了掩膜和种类预测；

平均二值交叉熵损失函数:

公式(7)中，i表示第i个像素，p_i表示像素点i预测在刀具上的概率，当像素点在刀具上时

反之则为

定义模型总损失函数：

L_MRCNN＝L_Class+L_Box+L_Mask+L_Edge+L(p_i，t_i) (8)

公式(8)中，L_Class损失函数为：

公式(9)中，e是自然常数，

表示softmax层的前一层特征输出值，是自然常数e的指数，i表示类别索引值，取值范围[1,j]的整数，j表示刀具类别数，取值为2；

L_Box损失函数同样使用Smooth-L1函数：

公式(10)中，x表示刀具预测框与ground truth之间的差异值；L_Mask损失函数：

公式(11)中，i表示第i个像素，p_i表示像素点i预测在刀具的概率，当像素点在刀具上时

反之则为

③求解该最优化模型，L_MRCNN损失函数降低到稳定区间；

4)向训练好的检测分割模型进行测试，输入原始安检图像内容，进而获得刀具检测分割结果图像。

Images