CN112819094B - 一种基于结构相似度度量的目标检测与识别方法 - Google Patents

Abstract

本发明一种基于结构相似度度量的目标检测与识别方法，预先规定模板图像形成数据集,读取待检测图像，通过灰度变换，均衡待检测图像亮度，得到预处理后的待检测图像,求解预处理后的待检测图像的最佳分割阈值，以最佳分割阈值作为全局阈值，对步骤2预处理后的待检测图像进行二值化处理，得到预处理后的待检测图像的二值图像；对步骤3的二值图像进行形态学中的开运算，以消除二值图像中的噪点，并填充二值图像中的孔洞，得到膨胀结果图像，标记膨胀结果图像中的候选连通区域作为候选目标，以提取所有候选目标；将步骤1中的目标模板图像和步骤5的候选目标进行匹配，得到候选目标的结构相似度度量，将最大结构相似度度量对应的候选目标作为最终目标。

Description

一种基于结构相似度度量的目标检测与识别方法

技术领域

本发明涉及一种基于结构相似度度量的目标检测与识别方法，属于数字图像处理和机器视觉技术领域。

背景技术

目标检测与识别是计算机视觉和人工智能领域的一个重要研究方向，广泛应用于工业、医疗、安防、自动行驶等领域。在工业自动化生产中，目标检测技术能够快速完成产品的检测与识别，提高了产品质量和生产效率；在医疗诊断和手术中，目标检测技术能够自动对医学图像进行分析和诊断，配合手术导航探针辅助医护人员进行外科手术，增加手术定位精度，降低手术风险；在安防智能监控中，目标检测技术能够对银行、机场等重要公共场所中的可疑目标和危险事件做出及时反应，且能全天候工作，摆脱依赖人工盯看的传统工作模式。在自动行驶领域，目标检测技术能够对人、车辆、标识进行辨识，为车辆或飞行器启动、变速、转向、停靠等任务提供有力支持。

传统的目标检测方法例如Viola P等人提出了经典的Haar+AdaBoost算法，最早用于人脸检测领域，随后被拓展到其他方面的目标检测中。Haar(哈尔)特征是小波变换在图像处理领域最重要的应用之一，能够表现图像最基本的灰度特征。AdaBoost分类器能够根据这些简单的特征形成一些弱分类器，然后将弱分类器级联形成一个强分类器用于目标识别。Dalal N等人提出了HOG特征+SVM分类器的目标检测方案，主要用于行人检测领域。HOG特征对于几何和光学上的形变，都能维持良好的不变性，描述其特征。随着深度学习的广泛运用，基于深度学习的目标检测与识别算法也快速发展，常用的有YOLO、SSD等One-Stage检测算法和R-CNN、Fast R-CNN等Two-Stage检测算法。虽然这些算法在计算机平台上取得了较好的检测效果和速率，但无人机等实际应用平台的硬件资源往往有限，达不到实时检测效果，因而并不能直接应用。

发明内容

本发明解决的技术问题为：克服上述现有技术的不足，提供一种基于结构相似度度量的目标检测与识别方法，解决了现有目标检测与识别方法对硬件要求高，在无人机平台资源有限的条件下无法实时应用问题，本发明能够在水泥地、草地等常见无人机降落背景中快速定位浅色着陆标识图像的中心位置和最小外接矩形框，适应存在光照变化、目标尺度缩放、有干扰目标等多种复杂环境。

本发明解决的技术方案为：一种基于结构相似度度量的目标检测与识别方法，步骤如下：

步骤1、预先规定模板图像I_tem形成数据集；

步骤2、读取待检测图像，通过灰度变换，均衡待检测图像亮度，得到预处理后的待检测图像I_frame；

步骤3、求解预处理后的待检测图像的最佳分割阈值，以最佳分割阈值作为全局阈值，对步骤2预处理后的待检测图像进行二值化处理，得到预处理后的待检测图像I_frame的二值图像I_binary；

步骤4、对步骤3的二值图像I_binary进行形态学中的开运算，以消除二值图像I_binary中的噪点，并填充二值图像I_binary中的孔洞，得到膨胀结果图像I_dialate；

步骤5、标记膨胀结果图像I_dialate中的候选连通区域作为候选目标，以提取所有候选目标；

步骤6、将步骤1中的目标模板图像I_tem和步骤5的候选目标进行匹配，得到候选目标的结构相似度度量，将最大结构相似度度量对应的候选目标作为最终目标。

优选的，步骤1、预先规定模板图像形成数据集，步骤如下：

采集目标模板图像形成数据集，数据集中包括：高为H_tem、宽为W_tem的目标模板图像I_tem。

优选的，步骤2、读取待检测图像，通过灰度变换，均衡待检测图像亮度，得到预处理后的待检测图像，步骤如下：

通过摄像机采集待检测图像，如果摄像机采集的待检测图像是彩色图，通过灰度转换得到灰度图，然后对灰度图通过灰度变换弱化光照影响，得到预处理后的待检测图像I_frame，设该预处理后的待检测图像I_frame的高为H_frame、宽为W_frame。

优选的，步骤3、求解预处理后的待检测图像的最佳分割阈值，以最佳分割阈值作为全局阈值，对步骤2预处理后的待检测图像进行二值化处理，得到预处理后的待检测图像I_frame的二值图像I_binary，步骤如下：

遍历步骤2预处理后的待检测图像，得到图像灰度的分布情况，从而得到灰度最大值I_max、最小值I_min，然后根据灰度最大值I_max、最小值I_min和设定的灰度范围度量ω，计算最佳分割阈值T，利用最佳分割阈值T对预处理后的待检测图像I_frame进行全局二值化，最终得到预处理后的待检测图像I_frame的二值图像I_binarv。

优选的，步骤4、对步骤3的二值图像I_binary进行形态学中的开运算，以消除二值图像I_binary中的噪点，并填充二值图像I_binary中的孔洞，得到膨胀结果图像I_dialate，步骤如下：

将形态学中的开运算所用的结构元SE原点与二值图像I_binary中各个位置像素点均重合一次，通过腐蚀操作消除毛刺，断开二值图像I_binary中不同连通域间的狭窄连接，使二值图像I_binary中所有连通域的轮廓变得光滑，同时滤除二值图像I_binary中所有不能完全包含结构元SE的噪点，得到二值图像I_binary被结构元SE腐蚀的腐蚀结果图像I_erode；然后通过膨胀操作使各个连通域边界扩大，恢复连通域中被腐蚀操作扩大的孔洞，得到腐蚀结果图像I_erode被结构元SE膨胀的膨胀结果图像I_dialate。

优选的，步骤5、标记膨胀结果图像I_dialate中的候选连通区域作为候选目标，以提取所有候选目标，步骤如下：

标记膨胀结果图像I_dialate中所有具有4邻接或8邻接的白色像素(该白色像素的像素值为1)作为标识点，标记出的标识点形成N个连通域，每个连通域为候选目标；记录每个候选目标最小外接矩形的左上角坐标(X_N1，Y_N1)和右下角坐标(X_N2，Y_N2)。

优选的，步骤6、将步骤1中的目标模板图像I_tem和步骤5的候选目标进行匹配，得到候选目标的结构相似度度量，将最大结构相似度度量对应的候选目标作为最终目标，步骤如下：

计算每一个候选目标的垂直高度和水平宽度，将每一个候选目标的垂直高度和水平宽度与目标模板图像I_tem的垂直高度和水平宽度进行对比，得到每一个候选目标的垂直方向的缩放倍率dx和水平方向的缩放倍率dy，将提取到的所有候选目标按照缩放倍率均缩放到目标模板图像的垂直高度和水平宽度，根据缩放后的候选目标和目标模板图像，计算候选目标的结构相似度度量，用SSIM表示，将最大结构相似度度量对应的候选目标作为最终目标，即得到最终目标所在的位置。

优选的，步骤2中最佳分割阈值的获取，具体为：

在步骤2中，遍历预处理后的待检测图像得到图像灰度的分布情况，然后根据灰度最大值I_max、最小值I_min和设定的灰度范围度量ω计算最佳分割阈值：其中ω为预先指定的常数；然后利用最佳分割阈值T对预处理后的待检测图像I_frame进行全局二值化，可以快速有效地得到预处理后的待检测图像的二值图像I_binary。

优选的，步骤6中目标位置的检测方法，具体为：

计算候选目标和目标模板图像的结构相似度度量SSIM，可以得到一个0到1之间的小数，数值越大代表两个图像的差距越小，当两幅图像一模一样时，SSIM＝1；重复计算每一个候选目标和目标模板图像的SSIM，最后保留SSIM值最大的候选目标作为最终目标，即得到最终目标所在的位置；利用这个检测方法适应目标尺度缩放、有干扰目标的多种复杂环境，能用于与背景存在灰度差的各类形状的目标检测与定位任务。

本发明与现有技术相比的优点在于：

(1)本发明通过求解最佳分割阈值进行全局阈值二值化，解决不同环境下图像自适应二值化的问题。与传统的二值化方法相比，最佳分割阈值可以白适应成像环境的变化，提升了图像二值化的效果和计算效率。

(2)本发明通过形态学的开运算及连通域标记，解决不同背景下候选目标区域的提取问题。与传统的提取方法相比，形态学图像处理在二值图像上进行，图像中的区域特征突出，计算复杂度低，能够快速提取图像中存在的所有候选目标。

(3)本发明通过计算候选目标中的最大结构相似度度量，解决最终目标的检测问题。与传统的检测方法相比，计算结构相似度度量无需提取目标的纹理、颜色特征，通过像素亮度、对比度与结构三方面比较图像间的相近程度，运算过程简单，能够快速有效地完成最终目标检测与识别。

附图说明

图1为本发明方法的整体流程示意图。

图2为本发明预先规定的模板图像示意图，其中(a)为无旋转的目标模板图像；(b)为顺时针旋转22°的目标模板图像；(c)为顺时针旋转45°的目标模板图像；(d)为顺时针旋转68°的目标模板图像。

图3为本发明预处理后的待检测图像示意图，其中(a)为无干扰马路背景预处理后的待检测图像；(b)为无干扰草地背景预处理后的待检测图像；(c)为有干扰草地背景预处理后的待检测图像。

图4为本发明候选目标提取和最终目标检测流程示意图。

图5为本发明目标检测定位结果示意图，其中(a)为无干扰马路背景的最终目标检测结果；(b)为无干扰草地背景的最终目标检测结果；(c)为有干扰草地背景的最终目标检测结果。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细描述。

本发明一种基于结构相似度度量的目标检测与识别方法，预先规定模板图像形成数据集，读取待检测图像，通过灰度变换，均衡待检测图像亮度，得到预处理后的待检测图像，求解预处理后的待检测图像的最佳分割阈值，以最佳分割阈值作为全局阈值，对步骤2预处理后的待检测图像进行二值化处理，得到预处理后的待检测图像的二值图像；对步骤3的二值图像进行形态学中的开运算，以消除二值图像中的噪点，并填充二值图像中的孔洞，得到膨胀结果图像，标记膨胀结果图像中的候选连通区域作为候选目标，以提取所有候选目标；将步骤1中的目标模板图像和步骤5的候选目标进行匹配，得到候选目标的结构相似度度量，将最大结构相似度度量对应的候选目标作为最终目标。

本发明能够在草地、柏油马路等常见深色陆地地面环境中，通过对摄像机拍摄的地面图像的处理和计算，自动快速定位浅色目标的位置。针对现有目标检测与定位方法对硬件要求高，在无人机、无人车平台等资源有限的条件下无法实时应用的问题，本发明采用白适应阈值二值化、候选连通域标记、结构相似度度量计算等图像处理方法，快速有效地定位目标位置。本发明公开了一种基于结构相似度度量的目标检测与识别方法，包括以下步骤：

(1)预先规定模板图像；

(2)读取待检测图像，通过灰度变换均衡图像亮度；

(3)求解灰度图像最佳分割阈值，全局阈值二值化；

(4)形态学开运算消除噪点，填充孔洞；

(5)候选连通区域标记，提取所有候选目标；

(6)标识模板匹配，检测识别目标。

本发明提出的基于结构相似度度量的目标检测与识别方法，特别适用于背景与目标存在灰度差异的目标检测场景中，能够适应存在光照变化、目标尺度缩放、有干扰目标等多种复杂环境。

本发明一种基于结构相似度度量的目标检测与识别方法，优选方案步骤如下：

步骤1、预先规定模板图像形成数据集。

采集目标模板图像形成数据集，数据集中包括：高为H_tem、宽为W_tem的目标模板图像I_tem，优选方案具体如下：

在光照均匀的情况下，将白色目标模板置于黑色背景的环境中，通过相机正向拍摄目标模板，采集目标模板图像。通过顺时针旋转目标模板可以得到一组宽和高相等的目标模板图像I_tem，记高为H_tem、宽为W_tem，形成数据集。

步骤2、读取待检测图像，通过灰度变换，均衡待检测图像亮度，得到预处理后的待检测图像。

通过摄像机采集待检测图像，如果摄像机采集的待检测图像是彩色图，通过灰度转换得到灰度图，然后对灰度图通过伽马矫正弱化光照影响，得到预处理后的待检测图像I_frame，设该预处理后的待检测图像I_frame的高为H_frame、宽为W_frame，优选方案具体如下：

通过摄像机采集待检测图像，如果摄像机采集的待检测图像是彩色图，通过灰度转换得到灰度图Gray，转换方式为Gray＝0.3R+0.59G+0.11B+0.5，其中R、G、B分别为彩色图中红、绿、蓝通道的值；伽马变换是一种非线性灰度变换，可以扩展灰度图中阴影部分(低灰度值)的灰度范围，压缩灰度图中反光部分(高灰度值)的灰度范围，均衡待检测图像亮度，弱化光照影响，设定伽马变换的伽马值γ＝2.2，将灰度图Gray通过伽马变换，即I_frame＝Gray^1/γ，得到预处理后的待检测图像I_frame。

步骤3、求解预处理后的待检测图像的最佳分割阈值，以最佳分割阈值作为全局阈值，对步骤2预处理后的待检测图像进行二值化处理，得到预处理后的待检测图像I_frame的二值图像I_binary。

遍历步骤2预处理后的待检测图像，得到图像灰度的分布情况，从而得到灰度最大值I_max、最小值I_min；根据预处理后的待检测图像中目标与背景的灰度差值，设定灰度范围度量ω，ω为常数；然后根据灰度最大值I_max、最小值I_min和设定的灰度范围度量ω，计算最佳分割阈值T；利用最佳分割阈值T对预处理后的待检测图像I_frame进行全局二值化，最终得到预处理后的待检测图像I_frame的二值图像I_binary，优选方案具体如下：

遍历预处理后的待检测图像I_frame中的每一个像素点的灰度值，得到预处理后的待检测图像I_frame的灰度最大值I_max和最小值I_min；根据预处理后的待检测图像I_frame中目标与背景的灰度差值设定灰度范围度量/>计算最佳分割阈值：/>利用最佳分割阈值T对预处理后的待检测图像I_frame进行全局二值化，即I_frame中灰度值大于等于最佳分割阈值T的像素点，灰度值记为1，I_frame中灰度值小于最佳分割阈值T的像素点，灰度值记为0，最终得到预处理后的待检测图像I_frame的二值图像I_binary。

步骤4、对步骤3的二值图像I_binary进行形态学中的开运算，以消除二值图像I_binary中的噪点，并填充二值图像I_binary中的孔洞，得到膨胀结果图像I_dialate；

将形态学中的开运算所用的结构元SE原点与二值图像I_binary中各个位置像素点均重合一次，通过腐蚀操作消除毛刺(毛刺的尺寸小于结构元SE的尺寸)，断开二值图像I_binary中不同连通域间的狭窄连接(连接宽度小于结构元SE的尺寸)，使二值图像I_binary中所有连通域的轮廓变得光滑，同时滤除二值图像I_binary中所有不能完全包含结构元SE的噪点，得到二值图像I_binary被结构元SE腐蚀的腐蚀结果图像I_erode；然后通过膨胀操作使各个连通域边界扩大，恢复连通域中被腐蚀操作扩大的孔洞，得到腐蚀结果图像I_erode被结构元SE膨胀的膨胀结果图像I_dialate，优选方案具体如下：

形态学中的开运算由腐蚀和膨胀两种形态学处理方法复合而成。开运算所用的结构元SE一般可以用正方形矩阵表示，正方形原点位于对称中心或重心处。默认情况下白色的(二值图像中灰度值为1的像素，或灰度图像中灰度值为255的像素)是前景(目标)，黑色的为背景，经结构元SE处理后留下的部分为白色。

首先将开运算所用的结构元SE原点与二值图像I_binary中各个位置像素点均重合一次，用结构元SE与对应的二值图像区域做“与”运算，如果结果矩阵中所有元素都为1，那么当前像素点的灰度值记为1，否则记为0。不考虑边界像素点，利用结构元SE扫描二值图像I_binary中的每个像素点，得到二值图像I_binary被结构元SE腐蚀的腐蚀结果图像I_erode。

然后不改变结构元，同样不考虑边界像素点，将结构元SE原点与腐蚀结果图像I_erode中各个位置像素点均重合一次，用结构元SE与对应的二值图像区域做“与”运算，如果结果矩阵中所有元素都为0，那么当前像素点的灰度值记为0，否则记为1。得到腐蚀结果图像I_erode被结构元SE膨胀的膨胀结果图像I_dialate。

步骤5、标记膨胀结果图像I_dialate中的候选连通区域作为候选目标，以提取所有候选目标。

标记膨胀结果图像I_dialate中所有具有4邻接或8邻接的白色像素(像素的灰度值为1)作为标识点，标记出的标识点形成N个连通域，每个连通域为候选目标；记录每个候选目标最小外接矩形框的左上角坐标(X_N1，Y_N1)和右下角坐标(X_N2，Y_N2)，优选方案具体如下：

每个像素周围有8个邻接像素，即上、下、左、右、左上、左下、右上、右下，标记膨胀结果图像I_dialate中所有具有8邻接的白色像素(该白色像素的灰度值为1)作为标识点，即标识点像素及其上、下、左、右、左上、左下、右上、右下8个像素的灰度值均为1；被标记的标识点连接在一起可以形成连通域，当膨胀结果图像I_dialate中所有标识点全部标记完成后，可以形成多个连通域，记为N，每个连通域都为候选目标；记录每个候选目标最小外接矩形框的左上角坐标(X_N1，Y_N1)和右下角坐标(X_N2，Y_N2)。

步骤6、将步骤1中的目标模板图像I_tem和步骤5的候选目标进行匹配，得到候选目标的结构相似度度量，将最大结构相似度度量对应的候选目标作为最终目标。

优选方案为：计算每一个候选目标的垂直高度和水平宽度，将每一个候选目标的垂直高度和水平宽度与目标模板图像I_tem的垂直高度和水平宽度进行对比，得到每一个候选目标的垂直方向的缩放倍率dx和水平方向的缩放倍率dy，将提取到的所有候选目标按照缩放倍率均缩放到目标模板图像的垂直高度和水平宽度，根据缩放后的候选目标和目标模板图像，计算候选目标的结构相似度度量，用SSIM表示，将最大结构相似度度量对应的候选目标作为最终目标，即得到最终目标所在的位置，优选方案具体如下：

优选方案为：计算每一个候选目标的垂直高度和水平宽度，将每一个候选目标的垂直高度和水平宽度与目标模板图像I_tem的垂直高度和水平宽度进行对比，得到每一个候选目标的垂直方向的缩放倍率dx和水平方向的缩放倍率dy，将提取到的所有候选目标按照缩放倍率均缩放到目标模板图像的垂直高度H_tem和水平宽度W_tem，根据缩放后的候选目标和目标模板图像，计算候选目标的结构相似度度量，用SSIM表示。

优选方案为：SSIM来源于Wang Z等人提出的“Image Quality Assessment：FromError Visibility to Structural Similarity”，主要用于评估数字图像在采集、处理、压缩、存储和传输过程中产生的失真图像和参考图像之间的差异性，结构相似度度量SSIM和峰值信噪比PSNR作为两个经典的图像质量评价方法，经常用于超分辨率问题。把SSIM作为两幅图像相似度的客观度量指标，可以应用到无人机特定落点目标的识别和检测中。

优选方案为：设缩放后的候选目标为X和目标模板图像为Y，候选目标X和目标模板图像Y的结构相似度度量SSIM(X，Y)的计算方法为：

SSIM(X，Y)＝[l(X，Y)]^α[c(X，Y)]^β[s(X，Y)]^γ

(α＞0，β＞0，γ＞0)

其中，α为亮度度量参数l的权重，β为对比度度量参数c的权重，γ为结构度量参数s的权重。

l(X，Y)是候选目标X和目标模板图像Y之间的亮度度量参数，μ_X表示候选目标X的灰度平均值，μ_Y表示目标模板图像Y的灰度平均值：

c(X，Y)是候选目标X和目标模板图像Y之间的对比度度量参数，σ_X表示候选目标X的灰度标准差，σ_Y表示目标模板图像Y的灰度标准差：

s(X，Y)是候选目标X和目标模板图像Y之间的结构度量参数，σ_XY表示候选目标X和目标模板图像Y的协方差：

系数c₁、c₂和c₃为非零常数，防止除法运算中出现分母为零的情况。

优选方案为：在实际计算中，通常设定权重α＝β＝γ＝1，c₃＝c₂/2，可得候选目标X和目标模板图像Y的结构相似度度量SSIM(X，Y)：

结构相似度度量SSIM是一个0到1之间的小数，数值越大代表两个图像的差距越小，当两幅图像一模一样时，SSIM＝1。因此通过计算每一个候选目标X和目标模板图像Y的结构相似度度量SSIM，保留SSIM值最大的候选目标。结构相似度度量最大的候选目标所在的坐标位置，即为最终目标所在的坐标位置。

优选方案为：图1所示为本发明的整体流程，涉及的是一种基于结构相似度度量的目标检测与定位方法，主要包括：预先规定模板图像；读取待检测图像，通过灰度变换均衡图像亮度；求解灰度图像最佳分割阈值，全局阈值二值化；形态学开运算消除噪点，填充孔洞；候选连通区域标记，提取所有候选目标；标识模板匹配，检测定位目标位置。

本发明的理论依据是目标与背景的灰度差以及图像的结构相似度，该理论能用于与背景存在灰度差的各类形状的目标检测与定位任务。

优选方案为：以无人机视觉自主降落任务中的十字目标图像为例的优选方案，十字标识具有高度的对称特性，通过顺时针旋转浅色十字图样的目标模板图像可以形成目标模板图像数据集，如图2所示。图2(a)为旋转角度为0°的目标模板图像I_tem0，图2(b)为顺时针旋转22°的目标模板图像I_tem22，图2(c)为顺时针旋转45°的目标模板图像I_tem45，图2(d)为顺时针旋转68°的目标模板图像I_tem68。

优选方案为：将摄像机固定于四旋翼无人机中心，镜头竖直向下。通过无人机搭载摄像机采集到待检测图像，将采集到的彩色图转为灰度图，转换方式优选为Gray＝0.3R+0.59G+0.11B+0.5，其中R、G、B分别为彩色图中红、绿、蓝通道的值。对灰度图像Gray通过伽马变换弱化光照影响，设定伽马值γ＝2.2，则有I_frame＝Gray^1/γ，得到预处理后的待检测图像I_frame，如图3所示。图3(a)为无干扰马路背景预处理后的待检测图像，图3(b)为无干扰草地背景预处理后的待检测图像，图3(c)为有干扰草地背景预处理后的待检测图像。

优选方案为：遍历预处理后的待检测图像I_frame中的每一个像素点的灰度值，得到预处理后的待检测图像I_frame的灰度最大值I_max和最小值I_min，根据预处理后的待检测图像I_frame中目标与背景的灰度差值设定灰度范围度量/>计算最佳分割阈值利用最佳分割阈值T对预处理后的待检测图像I_frame进行全局二值化，即I_frame中灰度值大于等于最佳分割阈值T的像素点，灰度值记为1，I_frame中灰度值小于最佳分割阈值T的像素点，灰度值记为0，最终得到预处理后的待检测图像I_frame的二值图像I_binary。

优选方案为：接下来，设定开运算所用的结构元SE为7×7的正方形矩阵，首先将结构元SE原点与二值图像I_binary中各个位置像素点均重合一次，用结构元SE与对应的二值图像区域做“与”运算，如果结果矩阵中所有元素都为1，那么当前像素点的灰度值记为1，否则记为0。不考虑边界像素点，利用结构元SE扫描二值图像I_binary中的每个像素点，得到二值图像I_binary被结构元SE腐蚀的腐蚀结果图像I_erode。然后不改变结构元，同样不考虑边界像素点，将结构元SE原点与腐蚀结果图像I_erode中各个位置像素点均重合一次，用结构元SE与对应的二值图像区域做“与”运算，如果结果矩阵中所有元素都为0，那么当前像素点的灰度值记为0，否则记为1。得到腐蚀结果图像I_erode被结构元SE膨胀的膨胀结果图像I_dialate。完成上述步骤后，即可得到候选目标清晰的二值图像I_dialate。

优选方案为：候选目标提取和最终目标检测的流程如图4所示。首先标记膨胀结果图像I_dialate中所有具有8邻接的白色像素(该白色像素的灰度值为1)作为标识点，即标识点像素及其上、下、左、右、左上、左下、右上、右下8个像素的灰度值均为1，被标记的标识点连接在一起可以形成连通域。当膨胀结果图像I_dialate中所有标识点全部标记完成后，可以形成多个连通域，记为N，每个连通域都为候选目标，如图4最左侧所示的“1”、“2”、“3”三个候选目标。记录每个候选目标最小外接矩形框的左上角坐标(X_N1，Y_N1)和右下角坐标(X_N2，Y_N2)，其中N为候选目标的标记。

优选方案为：计算每一个候选目标的垂直高度和水平宽度，将每一个候选目标的垂直高度和水平宽度与目标模板图像I_tem的垂直高度和水平宽度进行对比，得到每一个候选目标的垂直方向的缩放倍率dx和水平方向的缩放倍率dy，将提取到的所有候选目标按照缩放倍率均缩放到目标模板图像I_tem的垂直高度H_tem和水平宽度W_tem，根据缩放后的候选目标和目标模板图像，计算候选目标的结构相似度度量SSIM。设缩放后的候选目标为X和目标模板图像为Y，候选目标X和目标模板图像Y的结构相似度度量SSIM(X，Y)的计算方法为：

SSIM(X，Y)＝[l(X，Y)]^α[c(X，Y)]^β[s(X，Y)]^γ

(α＞0，β＞0，γ＞0)

其中，α为亮度度量参数l的权重，β为对比度度量参数c的权重，γ为结构度量参数s的权重。

l(X，Y)是候选目标X和目标模板图像Y之间的亮度度量参数，μ_X表示候选目标X的灰度平均值，μ_Y表示目标模板图像Y的灰度平均值：

c(X，Y)是候选目标X和目标模板图像Y之间的对比度度量参数，σ_X表示候选目标X的灰度标准差，σ_Y表示目标模板图像Y的灰度标准差：

s(X，Y)是候选目标X和目标模板图像Y之间的结构度量参数，σ_XY表示候选目标X和目标模板图像Y的协方差：

系数c₁、c₂和c₃为非零常数，防止除法运算中出现分母为零的情况。设定权重α＝β＝γ＝1，c₃＝c₂/2，可得候选目标X和目标模板图像Y的结构相似度度量SSIM(X，Y)：

重复计算每一个缩放后的候选目标和目标模板图像的结构相似度度量SSIM，最后保留结构相似度度量SSIM值最大的候选目标，该候选目标的位置即为最终目标所在位置。

优选方案为：采用本发明方法在图像中检测目标及定位目标位置的情况如图5所示，其中图5(a)为无干扰马路背景的最终目标检测结果，图5(b)为无干扰草地背景的最终目标检测结果，图5(c)为有干扰草地背景的最终目标检测结果。图中“+”为最终目标的中心位置，矩形框为最终目标的最小外接矩形框。

以上实施例仅用于描述本发明的技术方案，但不是对本方法进行限制，本发明在应用上可以延伸为其它修改、变化、应用和实施例，以上种种均应涵盖在本发明的保护范围内。

本发明一种基于结构相似度度量的目标检测与定位方法在嵌入式平台上优化实现并通过实时采集的视频进行测试，实现了实时检测十字目标的位置并通过最小外接矩形框标记最终目标的效果，处理帧率达到25fps。

Claims (9)

1.一种基于结构相似度度量的目标检测与识别方法，其特征在于步骤如下：

步骤1、预先规定模板图像I_tem形成数据集；

步骤2、读取待检测图像，通过灰度变换，均衡待检测图像亮度，得到预处理后的待检测图像I_frame；

步骤3、求解预处理后的待检测图像的最佳分割阈值，以最佳分割阈值作为全局阈值，对步骤2预处理后的待检测图像进行二值化处理，得到预处理后的待检测图像I_frame的二值图像I_binary；

步骤4、对步骤3的二值图像I_binary进行形态学中的开运算，以消除二值图像I_binary中的噪点，并填充二值图像I_binary中的孔洞，得到膨胀结果图像I_dialate；

步骤5、标记膨胀结果图像I_dialate中的候选连通区域作为候选目标，以提取所有候选目标；

步骤6、将步骤1中的目标模板图像I_tem和步骤5的候选目标进行匹配，得到候选目标的结构相似度度量，将最大结构相似度度量对应的候选目标作为最终目标。

2.根据权利要求1所述的一种基于结构相似度度量的目标检测与识别方法，其特征在于：步骤1、预先规定模板图像形成数据集，步骤如下：

采集目标模板图像形成数据集，数据集中包括：高为H_tem、宽为W_tem的目标模板图像I_tem。

3.根据权利要求1所述的一种基于结构相似度度量的目标检测与识别方法，其特征在于：步骤2、读取待检测图像，通过灰度变换，均衡待检测图像亮度，得到预处理后的待检测图像，步骤如下：

通过摄像机采集待检测图像，如果摄像机采集的待检测图像是彩色图，通过灰度转换得到灰度图，然后对灰度图通过灰度变换弱化光照影响，得到预处理后的待检测图像I_frame，设该预处理后的待检测图像I_frame的高为H_frame、宽为W_frame。

4.根据权利要求1所述的一种基于结构相似度度量的目标检测与识别方法，其特征在于：步骤3、求解预处理后的待检测图像的最佳分割阈值，以最佳分割阈值作为全局阈值，对步骤2预处理后的待检测图像进行二值化处理，得到预处理后的待检测图像I_frame的二值图像I_binary，步骤如下：

遍历步骤2预处理后的待检测图像，得到图像灰度的分布情况，从而得到灰度最大值I_max、最小值I_min，然后根据灰度最大值I_max、最小值I_min和设定的灰度范围度量ω，计算最佳分割阈值T，利用最佳分割阈值T对预处理后的待检测图像I_frame进行全局二值化，最终得到预处理后的待检测图像I_frame的二值图像I_binary。

5.根据权利要求1所述的一种基于结构相似度度量的目标检测与识别方法，其特征在于：步骤4、对步骤3的二值图像I_binary进行形态学中的开运算，以消除二值图像I_binary中的噪点，并填充二值图像I_binary中的孔洞，得到膨胀结果图像I_dialate，步骤如下：

将形态学中的开运算所用的结构元SE原点与二值图像I_binary中各个位置像素点均重合一次，通过腐蚀操作消除毛刺，断开二值图像I_binary中不同连通域间的狭窄连接，使二值图像I_binary中所有连通域的轮廓变得光滑，同时滤除二值图像I_binary中所有不能完全包含结构元SE的噪点，得到二值图像I_binary被结构元SE腐蚀的腐蚀结果图像I_erode；然后通过膨胀操作使各个连通域边界扩大，恢复连通域中被腐蚀操作扩大的孔洞，得到腐蚀结果图像I_erode被结构元SE膨胀的膨胀结果图像I_dialate。

6.根据权利要求1所述的一种基于结构相似度度量的目标检测与识别方法，其特征在于：步骤5、标记膨胀结果图像I_dialate中的候选连通区域作为候选目标，以提取所有候选目标，步骤如下：

标记膨胀结果图像I_dialate中所有具有4邻接或8邻接的白色像素(该白色像素的像素值为1)作为标识点，标记出的标识点形成N个连通域，每个连通域为候选目标；记录每个候选目标最小外接矩形的左上角坐标(X_N1，Y_N1)和右下角坐标(X_N2，Y_N2)。

7.根据权利要求1所述的一种基于结构相似度度量的目标检测与识别方法，其特征在于：步骤6、将步骤1中的目标模板图像I_tem和步骤5的候选目标进行匹配，得到候选目标的结构相似度度量，将最大结构相似度度量对应的候选目标作为最终目标，步骤如下：

计算每一个候选目标的垂直高度和水平宽度，将每一个候选目标的垂直高度和水平宽度与目标模板图像I_tem的垂直高度和水平宽度进行对比，得到每一个候选目标的垂直方向的缩放倍率dx和水平方向的缩放倍率dy，将提取到的所有候选目标按照缩放倍率均缩放到目标模板图像的垂直高度和水平宽度，根据缩放后的候选目标和目标模板图像，计算候选目标的结构相似度度量，用SSIM表示，将最大结构相似度度量对应的候选目标作为最终目标，即得到最终目标所在的位置。

8.根据权利要求1所述的一种基于结构相似度度量的目标检测与识别方法，其特征在于，步骤2中最佳分割阈值的获取，具体为：

在步骤2中，遍历预处理后的待检测图像得到图像灰度的分布情况，然后根据灰度最大值I_max、最小值I_min和设定的灰度范围度量ω计算最佳分割阈值：其中ω为预先指定的常数；然后利用最佳分割阈值T对预处理后的待检测图像I_frame进行全局二值化，可以快速有效地得到预处理后的待检测图像的二值图像I_binary。

9.根据权利要求1所述的一种基于结构相似度度量的目标检测与识别方法，其特征在于，步骤6中目标位置的检测方法，具体为：

计算候选目标和目标模板图像的结构相似度度量SSIM，可以得到一个0到1之间的小数，数值越大代表两个图像的差距越小，当两幅图像一模一样时，SSIM＝1；重复计算每一个候选目标和目标模板图像的SSIM，最后保留SSIM值最大的候选目标作为最终目标，即得到最终目标所在的位置；利用这个检测方法适应目标尺度缩放、有干扰目标的多种复杂环境，能用于与背景存在灰度差的各类形状的目标检测与定位任务。