CN110443778B - 一种检测工业品不规则缺陷的方法 - Google Patents

Abstract

一种检测工业品不规则缺陷的方法，包括如下步骤：步骤一，图像增强处理，具体包括直方图均衡化、直方图匹配；步骤二，构建网络模型；步骤三，设置网络模型相关参数，具体包括默认框的设置、默认框匹配方式、损失函数的构成。本发明先对采集到的样本图像进行图像增强处理，使缺陷更加明显；然后以卷积神经网络CNN为基础，结合SSD目标识别模型构建缺陷检测网络模型，并合理的设计模型参数，可以有效地解决不规则缺陷的检测难题。

Description

一种检测工业品不规则缺陷的方法

技术领域

本发明涉及一种检测工业品不规则缺陷的方法。

技术背景

在工业生产中，工业品的质量问题主要表现在生产缺陷、装配缺陷、各种表面缺陷、产品与设计不符等问题，这些质量问题又受多方面因素影响，诸如生产设备、操作人员、加工工艺等。其中，产品的表面缺陷又是工业品的质量缺陷的主要表现形式。传统的表面缺陷检测方法是人工目视检测，也就是在特定环境下的人眼目视识别，但这样检测的方法存在着很多的弊端，如劳动强度大、工作效率低、成本较高，易受检测人员素质、经验影响等。

工业化大生产带来了产量的快速提升，也对缺陷检测效率带来了考验，得益于计算机视觉技术的快速发展，出现了许多基于计算机视觉技术的自动化检测方法，相较于传统的人工检测方法，自动化缺陷检测技术具有检测效率高、检测数据可保存、成本低等优点。在所有的自动化检测技术中，应用最为广泛的当属机器视觉检测。机器视觉检测技术，是通过计算机的图像处理算法对采集到的数字图像进行处理，获取到目标的特征信息，通过计算机的判断，反馈结果给执行器，进而控制执行器达到预定的动作。但无可避免的是，机器视觉检测技术仍然存在着一些缺陷，比如：对于缺陷不规则的产品检测效果不佳；受限于计算机的计算能力，对计算能力要求高；具有实时性问题。总之，传统的人工检测方法和以机器视觉检测为主的一些视觉检测技术均存在着不足，无法满足工业品检测市场的需求，急需一种满足市场需求的检测方法。

发明内容

为了克服现有技术的上述不足，本发明针对一些不规则缺陷问题提供了一种基于深度学习的工业品不规则缺陷检测方法。

本发明先对采集到的样本图像进行图像增强处理，使缺陷更加明显；然后以卷积神经网络CNN为基础，结合SSD目标识别模型构建缺陷检测网络模型，并合理的设计模型参数，可以有效地解决不规则缺陷的检测难题。

为实现上述目的，本发明采用以下技术方案：

一种检测工业品不规则缺陷的方法，包括如下步骤：

步骤一，图像增强处理；

图像灰度直方图描述的是图像中具有该灰度级的像素点的个数。通常以横轴表示灰度级，以纵轴表示每一灰度级的像元数个数或该像元数占总像元数的比例值，以此做出的条形统计图即为灰度直方图。

每幅图像都可以做出灰度直方图，并且可以根据图像的直方图分布来确定图像质量，因此，本发明选择采用直方图均衡化和直方图匹配的方法，通过改变图像的灰度直方图来改变图像的显示效果，从而使图像中的缺陷更加明显，减少干扰因素的影响。

1.1)直方图均衡化；

图像的直方图表现了图像的灰度分布情况，当直方图的灰度集中分布在低值区域时，图像的亮度较低；当直方图的灰度集中在高值区域时，图像亮度较高。当直方图集中在中值区域时，得到的是低对比度的图像；当直方图分布较为均匀且分布较广时，得到的是高对比度的图像。因此，可以采用使图像灰度级均匀分布的方法，来提高图像的对比度，使图像变得清晰。

直方图均衡化的具体操作步骤如下所示：

(1)统计直方图各灰度级；

首先，设变量r表示图像中像素灰度级，对灰度级进行归一化处理，若图像的灰度级为{0,1,2,…,L-1}，则

其中，0≤r≤1，L为灰度级层次数。

(2)计算出对应的概率密度；

因为图像的像素灰度级是在[0,1]之间随机分布的，所以可用概率密度函数来表示图像灰度级的分布。而在离散形式下，用r^k代表离散灰度，用P_r(r^k)代表灰度r^k出现的概率：

其中，n_k为图像中出现r^k这种灰度的像素数，n是图像中的像素总数，而n_k/n就是概率论中的频数。

(3)求累计分布函数；

图像进行直方图均衡化的函数表达式为:

其中，k为灰度级数。

(4)求出每个灰度级对应的输出灰度级；

经过下式的反变换过程得到输出灰度级：

r_i＝T^-1(S_i) (4)

(5)映射到新的图像，得到均衡化处理后的直方图。

1.2)直方图匹配

直方图匹配就是通过指定直方图形状，将一幅图像的直方图变成指定形状直方图的图像增强方法。该方法需要首先选定直方图形状，即选择一张图像的直方图作为匹配参考对象，然后通过映射函数，将目标图像与指定的参考对象匹配在一起，得到与参考对象直方图形状一致的直方图。

直方图匹配的需要对两个图像的直方图都做均衡化处理，使其变成归一化的均匀直方图。以此均匀直方图起到媒介作用，再对参考图像做均衡化的逆运算即可。可以说，直方图均衡化是直方图匹配的桥梁，需要先做直方图均衡化才可以做直方图匹配。

直方图匹配的具体操作步骤如下所示：

(1)按照步骤1.1)将原始图像进行均衡化处理；

(2)规定希望的灰度概率密度函数，计算它的累计分布函数G(z)；

其中，z是匹配处理后的图像灰度级，P_z(z)表示希望得到的处理后的图像的概率密度函数。

(3)目标图像和参考图像具有相同的密度函数，因此，可以计算得到直方图匹配处理后的图像灰度值z。

z＝G^-1[T(r)]＝G^-1[s] (6)

其中，r是匹配处理前的图像灰度级，s是输入的图像做均衡化处理的结果。

将原始图像经过图像增强处理后，作为图像样本，用作以下步骤的输入。

步骤二，构建网络模型；

本发明使用的以VGGNet-16为基础网络的SSD网络结构图，网络框架主要分为两部分：基础网络、附加网络。基础网络为截断的VGGNet-16网络，附加层由Conv6、Conv7卷积层以及Conv8、Conv9、Conv10、Conv11这几组卷积层构成，目标物体的检测是在这些不同尺度的特征图上同时进行的，不同尺度的特征图用于预测不同尺度大小的目标物体。

本发明的SSD网络结构具体参数如下所示：

(1)输入层：分辨率为300×300像素大小的RGB三通道图像；

(2)基础网络：基础网络是以VGG16为基础的CNN网络结构，用于提取特征图，共5组13个卷积层，包括第一组：Conv1_1、Conv1_2；第二组：Conv2_1、Conv2_2；第三组：Conv3_1、Conv3_2、Conv3_3；第四组：Conv4_1、Conv4_2、Conv4_3；第5组：Conv5_1、Conv5_2、Conv5_3。其中，Conv4_3是特征提取层。

对于每一层网络具体的参数设置，本发明从卷积层和池化层两方面入手。

卷积层的主要参数包括卷积核大小、卷积核个数、滑动步长以及存在的网络层数4个方面。5层卷积层的卷积核大小都是3×3，以1为滑动步长，卷积核的个数逐层增加，分别是64、128、256、512、512。前两组卷积层有2个卷积层，后三组卷积层则有3个卷积层。

池化层的主要参数包括池化方式、池化核尺寸、滑动步长以及池化类型数4个方面。本发明的池化方式选择最大池化方式。池化核的大小关系到提取的特征图尺寸，本发明将前4个池化层Pool1、Pool2、Pool3、Pool4的池化核尺寸均设为2×2，又因为在经过第5层池化层Pool5池化操作后得到的特征图需要作为附加网络的输入数据，因此，将Pool5的池化核大小设置为3×3。最后，5层池化层的滑动步长均为1，池化类型为valid，valid类型的池化方式不提取特征矩阵的边界信息。

(3)附加网络：附加网络包括6组卷积层、1层平均池化层和1层输出层，共计12层网络。在附加网络中，第2层卷积层Conv7、第三组卷积层的Conv8_2、第四组卷积层的Conv9_2、第五组卷积层的Conv10_2、第六组卷积层的Conv11_2作为特征提取层，分别提取不同尺寸大小的特征图。

附加网络也是从卷积核大小、卷积核个数、滑动步长以及存在的网络层数4个方面来设置卷积层的网络参数。第6、7组卷积层均只有一层，第8、9、10、11组卷积层则存在两层卷积层。另外，附加网络只在最后输出结果的时候设置了一层池化层，也就是说整个附加网络只存在一层池化层。而且，作为最后一层池化层，该层选择采用了平均池化作为池化方式，降低特征图的维度，将结果输送到输出层。与基础网络不同的是，附加网络的卷积核大小不仅限于3×3，在网络层Conv7、Conv8_1、Conv9_1、Conv10_1、Conv11_1这五个卷积层中，采用了1×1大小的卷积核，而且滑动步长也不再为1，将Conv8_1、Conv8_2、Conv9_1、Conv9_2网络层的滑动步长设置为2。

步骤三，设置网络模型相关参数；

3.1)默认框的设置；

在SSD网络中，默认框的大小直接决定了它能检测到的目标大小。假设网络中有m个特征层参与检测，则每一个特征图中默认框的尺寸计算公式为

其中S_min为预测特征层中最低层的默认框尺度，S_max为最高层默认框尺度，对于本发明使用的SSD300而言，m＝6，设置最底层的feature map的scale值为S_min＝0.2，最高层的为S_max＝0.9。

每个特征图单元有多个默认框，使用宽高比来约束默认框的大小，默认宽高比ratio为a_r＝{1,2,3,1/2,1/3}，则每一个默认框的宽w和高h为：

当宽高比为1时，额外增加：

那么，在本发明中，当m＝6，S_min＝0.2，S_max＝0.9时，第4层卷积层中，Conv4_3作为特征提取层，得到的默认框大小计算为

第7层卷积层中，Conv7作为特征提取层，得到的默认框大小计算为

后续Conv8_2、Conv9_2、Conv10_2、Conv11_2层默认框的尺寸计算同上述方法一致。

3.2)默认框匹配方式；

(1)找到与真实目标框有最大重叠面积的默认框，保证每一个真实目标框都有一个默认框与之对应。

(2)设定IOU的阈值，将剩余未匹配的默认框再次与真实框匹配，只要两者都IOU超过设定的阈值(本发明设定为0.5)，则同样认为匹配成功。这样，每一个真实框就可能存在多个默认框与之匹配。匹配成功的默认框负责预测与之对应的真实目标框。

(3)匹配到目标框的默认框被认为是positive，反之，未匹配到目标框的默认框则是匹配到背景，被认为negative。

3.3)损失函数的构成；

SSD的损失函数分为两部分：目标类别的confidence loss、目标default box的位置回归，总的损失函数可以表示为：

其中，N是与真实框真实框匹配的默认框个数；α是权重参数，用于调整分类损失和位置损失之间的比例，通常设定α＝1；c是每一个类别的置信度；l和g则分别表示默认框和真实框的参数，包括坐标以及宽高，可表示为(cx,cy,w,h)。

(1)位置回归采用Smooth L1 loss，目标函数为：

其中：

(2)目标分类的损失函数采用典型的softmax loss，目标函数为

其中：

本发明的优点是：

本发明针对一些不规则缺陷问题提供了一种基于深度学习的工业品不规则缺陷检测方法。首先，采用灰度直方图均衡化能够解决样本缺陷不明显的问题，采用直方图匹配能够使得样本缺陷在视觉上更加明显；其次，采用SSD网络模型，能够明确的定位并且检测到不规则缺陷。因此，本发明在不规则缺陷检测、存在干扰缺陷检测、检测实时性等方面表现优于传统的检测方法，能够满足企业对于一般工业品视觉检测的要求，具有一定的应用前景。

附图说明

图1a～图1b是用于图像增强处理的灰度直方图，其中，图1a是图像的灰度值，图1b是根据图1a做出的灰度直方图；

图2是直方图均衡化变换函数；

图3是本发明的基础网络结构图；

图4是本发明的附加网络结构图；

图5a～图5c是default bounding box示意图，其中，图5a是使用真实框标注的图像，图5b是尺度为8×8的特征图，图5c是尺度为4×4的特征图；

具体实施方式

为了克服现有技术的上述不足，本发明针对一些不规则缺陷问题提供了一种基于深度学习的工业品不规则缺陷检测方法。先对采集到的样本图像进行图像增强处理，使缺陷更加明显；然后以卷积神经网络CNN为基础，结合SSD目标识别模型构建缺陷检测网络模型，并合理的设计模型参数，可以有效地解决不规则缺陷的检测难题。

为实现上述目的，本发明采用以下技术方案：

一种检测工业品不规则缺陷的方法，包括如下步骤：

步骤一，图像增强处理；

图像灰度直方图描述的是图像中具有该灰度级的像素点的个数。通常以横轴表示灰度级，以纵轴表示每一灰度级的像元数个数或该像元数占总像元数的比例值，以此做出的条形统计图即为灰度直方图。

每幅图像都可以做出灰度直方图，并且可以根据图像的直方图分布来确定图像质量，因此，本发明选择采用直方图均衡化和直方图匹配的方法，通过改变图像的灰度直方图来改变图像的显示效果，从而使图像中的缺陷更加明显，减少干扰因素的影响。

1.1)直方图均衡化

图像的直方图表现了图像的灰度分布情况，当直方图的灰度集中分布在低值区域时，图像的亮度较低；当直方图的灰度集中在高值区域时，图像亮度较高。当直方图集中在中值区域时，得到的是低对比度的图像；当直方图分布较为均匀且分布较广时，得到的是高对比度的图像。因此，可以采用使图像灰度级均匀分布的方法，来提高图像的对比度，使图像变得清晰。

直方图均衡化的具体操作步骤如下所示：

(1)统计直方图各灰度级；

首先，设变量r表示图像中像素灰度级，对灰度级进行归一化处理，若图像的灰度级为{0,1,2,…,L-1}，则

其中，0≤r≤1，L为灰度级层次数。

(2)计算出对应的概率密度；

因为图像的像素灰度级是在[0,1]之间随机分布的，所以可用概率密度函数来表示图像灰度级的分布。而在离散形式下，用r^k代表离散灰度，用P_r(r^k)代表灰度r^k出现的概率：

其中，n_k为图像中出现r^k这种灰度的像素数，n是图像中的像素总数，而n_k/n就是概率论中的频数。

(3)求累计分布函数；

图像进行直方图均衡化的函数表达式为:

其中，k为灰度级数。

(4)求出每个灰度级对应的输出灰度级；

经过下式的反变换过程得到输出灰度级：

r_i＝T^-1(S_i) (4)

(5)映射到新的图像，得到均衡化处理后的直方图。

1.2)直方图匹配

直方图匹配就是通过指定直方图形状，将一幅图像的直方图变成指定形状直方图的图像增强方法。该方法需要首先选定直方图形状，即选择一张图像的直方图作为匹配参考对象，然后通过映射函数，将目标图像与指定的参考对象匹配在一起，得到与参考对象直方图形状一致的直方图。

直方图匹配的需要对两个图像的直方图都做均衡化处理，使其变成归一化的均匀直方图。以此均匀直方图起到媒介作用，再对参考图像做均衡化的逆运算即可。可以说，直方图均衡化是直方图匹配的桥梁，需要先做直方图均衡化才可以做直方图匹配。

直方图匹配的具体操作步骤如下所示：

(1)按照步骤1.1)将原始图像进行均衡化处理；

(2)规定希望的灰度概率密度函数，计算它的累计分布函数G(z)；

其中，z是匹配处理后的图像灰度级，P_z(z)表示希望得到的处理后的图像的概率密度函数。

(3)目标图像和参考图像具有相同的密度函数，因此，可以计算得到直方图匹配处理后的图像灰度值z。

z＝G^-1[T(r)]＝G^-1[s] (6)

其中，r是匹配处理前的图像灰度级，s是输入的图像做均衡化处理的结果。

将原始图像经过图像增强处理后，作为图像样本，用作以下步骤的输入。

步骤二，构建网络模型；

本发明使用的以VGGNet-16为基础网络的SSD网络结构图，网络框架主要分为两部分：基础网络、附加网络。基础网络为截断的VGGNet-16网络，附加层由Conv6、Conv7卷积层以及Conv8、Conv9、Conv10、Conv11这几组卷积层构成，目标物体的检测是在这些不同尺度的特征图上同时进行的，不同尺度的特征图用于预测不同尺度大小的目标物体。

本发明的SSD网络结构具体参数如下所示：

(1)输入层：分辨率为300×300像素大小的RGB三通道图像；

(2)基础网络：基础网络是以VGG16为基础的CNN网络结构，用于提取特征图，共5组13个卷积层，包括第一组：Conv1_1、Conv1_2；第二组：Conv2_1、Conv2_2；第三组：Conv3_1、Conv3_2、Conv3_3；第四组：Conv4_1、Conv4_2、Conv4_3；第5组：Conv5_1、Conv5_2、Conv5_3。其中，Conv4_3是特征提取层。

对于每一层网络具体的参数设置，本发明从卷积层和池化层两方面入手。

卷积层的主要参数包括卷积核大小、卷积核个数、滑动步长以及存在的网络层数4个方面。5层卷积层的卷积核大小都是3×3，以1为滑动步长，卷积核的个数逐层增加，分别是64、128、256、512、512。前两组卷积层有2个卷积层，后三组卷积层则有3个卷积层。

池化层的主要参数包括池化方式、池化核尺寸、滑动步长以及池化类型数4个方面。本发明的池化方式选择最大池化方式。池化核的大小关系到提取的特征图尺寸，本发明将前4个池化层Pool1、Pool2、Pool3、Pool4的池化核尺寸均设为2×2，又因为在经过第5层池化层Pool5池化操作后得到的特征图需要作为附加网络的输入数据，因此，将Pool5的池化核大小设置为3×3。最后，5层池化层的滑动步长均为1，池化类型为valid，valid类型的池化方式不提取特征矩阵的边界信息。

(3)附加网络：附加网络包括6组卷积层、1层平均池化层和1层输出层，共计12层网络。在附加网络中，第2层卷积层Conv7、第三组卷积层的Conv8_2、第四组卷积层的Conv9_2、第五组卷积层的Conv10_2、第六组卷积层的Conv11_2作为特征提取层，分别提取不同尺寸大小的特征图。

附加网络也是从卷积核大小、卷积核个数、滑动步长以及存在的网络层数4个方面来设置卷积层的网络参数。第6、7组卷积层均只有一层，第8、9、10、11组卷积层则存在两层卷积层。另外，附加网络只在最后输出结果的时候设置了一层池化层，也就是说整个附加网络只存在一层池化层。而且，作为最后一层池化层，该层选择采用了平均池化作为池化方式，降低特征图的维度，将结果输送到输出层。与基础网络不同的是，附加网络的卷积核大小不仅限于3×3，在网络层Conv7、Conv8_1、Conv9_1、Conv10_1、Conv11_1这五个卷积层中，采用了1×1大小的卷积核，而且滑动步长也不再为1，将Conv8_1、Conv8_2、Conv9_1、Conv9_2网络层的滑动步长设置为2。

步骤三，设置网络模型相关参数；

3.1)默认框的设置；

在SSD网络中，默认框的大小直接决定了它能检测到的目标大小。假设网络中有m个特征层参与检测，则每一个特征图中默认框的尺寸计算公式为

其中S_min为预测特征层中最低层的默认框尺度，S_max为最高层默认框尺度，对于本发明使用的SSD300而言，m＝6，设置最底层的feature map的scale值为S_min＝0.2，最高层的为S_max＝0.9。

每个特征图单元有多个默认框，使用宽高比来约束默认框的大小，默认宽高比ratio为a_r＝{1,2,3,1/2,1/3}，则每一个默认框的宽w和高h为：

当宽高比为1时，额外增加：

那么，在本发明中，当m＝6，S_min＝0.2，S_max＝0.9时，第4层卷积层中，Conv4_3作为特征提取层，得到的默认框大小计算为

第7层卷积层中，Conv7作为特征提取层，得到的默认框大小计算为

后续Conv8_2、Conv9_2、Conv10_2、Conv11_2层默认框的尺寸计算同上述方法一致。

3.2)默认框匹配方式；

(1)找到与真实目标框有最大重叠面积的默认框，保证每一个真实目标框都有一个默认框与之对应。

(2)设定IOU的阈值，将剩余未匹配的默认框再次与真实框匹配，只要两者都IOU超过设定的阈值(本发明设定为0.5)，则同样认为匹配成功。这样，每一个真实框就可能存在多个默认框与之匹配。匹配成功的默认框负责预测与之对应的真实目标框。

(3)匹配到目标框的默认框被认为是positive，反之，未匹配到目标框的默认框则是匹配到背景，被认为negative。

3.3)损失函数的构成；

SSD的损失函数分为两部分：目标类别的confidence loss、目标default box的位置回归，总的损失函数可以表示为：

其中，N是与真实框匹配的默认框个数；α是权重参数，用于调整分类损失和位置损失之间的比例，通常设定α＝1；c是每一个类别的置信度；l和g则分别表示默认框和真实框的参数，包括坐标以及宽高，可表示为(cx,cy,w,h)。

(1)位置回归采用Smooth L1 loss，目标函数为：

其中：

(2)目标分类的损失函数采用典型的softmax loss，目标函数为

其中：

本发明的优点是：

本发明针对一些不规则缺陷问题提供了一种基于深度学习的工业品不规则缺陷检测方法。首先，采用灰度直方图均衡化能够解决样本缺陷不明显的问题，采用直方图匹配能够使得样本缺陷在视觉上更加明显；其次，采用SSD网络模型，能够明确的定位并且检测到不规则缺陷。因此，本发明在不规则缺陷检测、存在干扰缺陷检测、检测实时性等方面表现优于传统的检测方法，能够满足企业对于一般工业品视觉检测的要求，具有一定的应用前景。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种检测工业品不规则缺陷的方法，包括如下步骤：

步骤一，图像增强处理；

图像灰度直方图描述的是图像中具有该灰度级的像素点的个数；通常以横轴表示灰度级，以纵轴表示每一灰度级的像元数个数或该像元数占总像元数的比例值，以此做出的条形统计图即为灰度直方图；

每幅图像都可以做出灰度直方图，并且可以根据图像的直方图分布来确定图像质量，因此，选择采用直方图均衡化和直方图匹配的方法，通过改变图像的灰度直方图来改变图像的显示效果，从而使图像中的缺陷更加明显，减少干扰因素的影响；

1.1)直方图均衡化；

图像的直方图表现了图像的灰度分布情况，当直方图的灰度集中分布在低值区域时，图像的亮度较低；当直方图的灰度集中在高值区域时，图像亮度较高；当直方图集中在中值区域时，得到的是低对比度的图像；当直方图分布较为均匀且分布较广时，得到的是高对比度的图像；因此，可以采用使图像灰度级均匀分布的方法，来提高图像的对比度，使图像变得清晰；

直方图均衡化的具体操作步骤如下所示：

(1)统计直方图各灰度级；

首先，设变量r表示图像中像素灰度级，对灰度级进行归一化处理，若图像的灰度级为{0,1,2,…,L-1}，则

其中，0≤r≤1，L为灰度级层次数，k为灰度级数；

(2)计算出对应的概率密度；

因为图像的像素灰度级是在[0,1]之间随机分布的，所以可用概率密度函数来表示图像灰度级的分布；而在离散形式下，用r^k代表离散灰度，用P_r(r^k)代表灰度r^k出现的概率：

其中，n_k为图像中出现r^k这种灰度的像素数，n是图像中的像素总数，而n_k/n就是概率论中的频数；

(3)求累计分布函数；

图像进行直方图均衡化的函数表达式为:

其中，k为灰度级数；

(4)求出每个灰度级对应的输出灰度级；

经过下式的反变换过程得到输出灰度级：

r_i＝T^-1(S_i) (4)

(5)映射到新的图像，得到均衡化处理后的直方图；

1.2)直方图匹配；

直方图匹配就是通过指定直方图形状，将一幅图像的直方图变成指定形状直方图的图像增强方法；该方法需要首先选定直方图形状，即选择一张图像的直方图作为匹配参考对象，然后通过映射函数，将目标图像与指定的参考对象匹配在一起，得到与参考对象直方图形状一致的直方图；

直方图匹配的需要对两个图像的直方图都做均衡化处理，使其变成归一化的均匀直方图；以此均匀直方图起到媒介作用，再对参考图像做均衡化的逆运算即可；可以说，直方图均衡化是直方图匹配的桥梁，需要先做直方图均衡化才可以做直方图匹配；

直方图匹配的具体操作步骤如下所示：

(1)按照步骤1.1)将原始图像进行均衡化处理；

(2)规定希望的灰度概率密度函数，计算它的累计分布函数G(z)；

其中，z是匹配处理后的图像灰度级，P_z(z)表示希望得到的处理后的图像的概率密度函数；

(3)目标图像和参考图像具有相同的密度函数，因此，可以计算得到直方图匹配处理后的图像灰度值z；

z＝G^-1[T(r)]＝G^-1[s] (6)

其中，r是匹配处理前的图像灰度级，s是输入的图像做均衡化处理的结果；

将原始图像经过图像增强处理后，作为图像样本，用作以下步骤的输入；

步骤二，构建网络模型；

使用以VGGNet-16为基础网络的SSD网络结构，网络框架主要分为两部分：基础网络、附加网络；基础网络为截断的VGGNet-16网络，附加层由Conv6、Conv7卷积层以及Conv8、Conv9、Conv10、Conv11这几组卷积层构成，目标物体的检测是在这些不同尺度的特征图上同时进行的，不同尺度的特征图用于预测不同尺度大小的目标物体；

SSD网络结构具体参数如下所示：

(1)输入层：分辨率为300×300像素大小的RGB三通道图像；

(2)基础网络：基础网络是以VGG16为基础的CNN网络结构，用于提取特征图，共5组13个卷积层，包括第一组：Conv1_1、Conv1_2；第二组：Conv2_1、Conv2_2；第三组：Conv3_1、Conv3_2、Conv3_3；第四组：Conv4_1、Conv4_2、Conv4_3；第5组：Conv5_1、Conv5_2、Conv5_3；其中，Conv4_3是特征提取层；

对于每一层网络具体的参数设置，从卷积层和池化层两方面入手；

卷积层的主要参数包括卷积核大小、卷积核个数、滑动步长以及存在的网络层数4个方面；5层卷积层的卷积核大小都是3×3，以1为滑动步长，卷积核的个数逐层增加，分别是64、128、256、512、512；前两组卷积层有2个卷积层，后三组卷积层则有3个卷积层；

池化层的主要参数包括池化方式、池化核尺寸、滑动步长以及池化类型数4个方面；池化方式选择最大池化方式；池化核的大小关系到提取的特征图尺寸，将前4个池化层Pool1、Pool2、Pool3、Pool4的池化核尺寸均设为2×2，又因为在经过第5层池化层Pool5池化操作后得到的特征图需要作为附加网络的输入数据，因此，将Pool5的池化核大小设置为3×3；最后，5层池化层的滑动步长均为1，池化类型为valid，valid类型的池化方式不提取特征矩阵的边界信息；

(3)附加网络：附加网络包括6组卷积层、1层平均池化层和1层输出层，共计12层网络；在附加网络中，第2层卷积层Conv7、第三组卷积层的Conv8_2、第四组卷积层的Conv9_2、第五组卷积层的Conv10_2、第六组卷积层的Conv11_2作为特征提取层，分别提取不同尺寸大小的特征图；

附加网络也是从卷积核大小、卷积核个数、滑动步长以及存在的网络层数4个方面来设置卷积层的网络参数；第6、7组卷积层均只有一层，第8、9、10、11组卷积层则存在两层卷积层；另外，附加网络只在最后输出结果的时候设置了一层池化层，也就是说整个附加网络只存在一层池化层；而且，作为最后一层池化层，该层选择采用了平均池化作为池化方式，降低特征图的维度，将结果输送到输出层；与基础网络不同的是，附加网络的卷积核大小不仅限于3×3，在网络层Conv7、Conv8_1、Conv9_1、Conv10_1、Conv11_1这五个卷积层中，采用了1×1大小的卷积核，而且滑动步长也不再为1，将Conv8_1、Conv8_2、Conv9_1、Conv9_2网络层的滑动步长设置为2；

步骤三，设置网络模型相关参数；

3.1)默认框的设置；

在SSD网络中，默认框的大小直接决定了它能检测到的目标大小；假设网络中有m个特征层参与检测，则每一个特征图中默认框的尺寸计算公式为

其中S_min为预测特征层中最低层的默认框尺度，S_max为最高层默认框尺度，对于SSD300而言，m＝6，设置最底层的feature map的scale值为S_min＝0.2，最高层的为S_max＝0.9；

每个特征图单元有多个默认框，使用宽高比来约束默认框的大小，默认宽高比ratio为a_r＝{1,2,3,1/2,1/3}，则每一个默认框的宽w和高h为：

当宽高比为1时，额外增加：

那么，当m＝6，S_min＝0.2，S_max＝0.9时，第4层卷积层中，Conv4_3作为特征提取层，得到的默认框大小计算为

第7层卷积层中，Conv7作为特征提取层，得到的默认框大小计算为

后续Conv8_2、Conv9_2、Conv10_2、Conv11_2层默认框的尺寸计算同上述方法一致；

3.2)默认框匹配方式；

(1)找到与真实目标框有最大重叠面积的默认框，保证每一个真实目标框都有一个默认框与之对应；

(2)设定IOU的阈值，将剩余未匹配的默认框再次与真实框匹配，只要两者都IOU超过设定的阈值，则同样认为匹配成功；这样，每一个真实框就可能存在多个默认框与之匹配；匹配成功的默认框负责预测与之对应的真实目标框；

(3)匹配到目标框的默认框被认为是positive，反之，未匹配到目标框的默认框则是匹配到背景，被认为negative；

3.3)损失函数的构成；

SSD的损失函数分为两部分：目标类别的confidence loss、目标default box的位置回归，总的损失函数可以表示为：

其中，N是与真实框真实框匹配的默认框个数；α是权重参数，用于调整分类损失和位置损失之间的比例，通常设定α＝1；c是每一个类别的置信度；l和g则分别表示默认框和真实框的参数，包括坐标以及宽高，可表示为(cx,cy,w,h)；

(1)位置回归采用Smooth L1 loss，目标函数为：

其中：

(2)目标分类的损失函数采用典型的softmax loss，目标函数为

其中：

Images