CN114283296B - 一种基于结构相似度的目标识别自评估方法 - Google Patents

Abstract

本发明属于图像识别技术领域，提供一种基于结构相似度的目标识别自评估方法。选择待匹配图像信息中的亮度，对比度和结构作为目标识别自评估的测度依据；对模板图像进行特征提取并存储特征信息，对所述模板图像进行多角度变换后进行特征提取并存储变换后的特征信息，对完成多角度变换后的模板图像再进行多尺度变换后进行特征信息提取并存储；对待匹配图像信息进行特征提取，利用模板匹配输出识别结果；利用亮度、对比度、结构三种相似度对比实现对目标识别效果的有效评估。本发明通过多尺度多角度的模板匹配引入金字塔算法，尤其针对目标缩放、旋转、畸变等情况，仍能够保证较高的识别准确率；利用结构相似度，实现了对目标识别效果的定量化评估。

Description

一种基于结构相似度的目标识别自评估方法

技术领域

本发明属于图像识别技术领域，具体涉及一种基于结构相似度的目标识别自评估方法。

背景技术

目标识别技术起源于战争中对地探测、预警及定位的需要，目前已在各行各业广泛应用。主流目标识别技术包括雷达识别、红外成像、声信号识别、射频识别以及图像识别等。图像识别是指，用机器对采集到的数字图像进行预处理、分析、理解等操作，进而实现对不同模式下的目标及对象进行成功识别的技术。图像识别技术经过了多年发展，目前在农业、制造业、医学、建筑业等领域有着广泛的应用，是多个领域中的研究热门。

目前图像识别方法主要包括文本规则法、模板匹配法、神经网络法和统计机器学习法。文法规则法是指，把符号与规则的概念引入图像中，从而构建出对象的某些形状，通过对“终止符”进行分类来决定它所代表的图像对象类别。该方法并不适用于本身存在噪声与失真、对象重叠等情况的图像；另外在很多的时候，对象的相似性很难被表示引入文法中，所以这种方法现在己经很少使用了。神经网络法提供了一种普遍且实用的方法，即从数据中先学习值为连续的实数值、离散值或是向量的函数，这些函数可用做匹配或者分类的模型。神经网络法在图像领域取得了较为成功的应用，其主要缺点是选择网络结构的时候往往依靠经验，并且学习周期过长。机器学习法涵盖了能让计算机程序利用经验提高某任务处理性能的各种行为，它与神经网络一样学习时间过长，并且可控性不强。模板匹配法是指，把不同传感器或同一传感器，在不同的时间、不同的成像条件下，对同一景物获得的两幅或多幅图像在空间上进行对准，亦或是根据已知模式到另一幅图像中找寻相应模式的识别方法。

模板匹配法对目标的知识容量要求少、且计算形式简单，是目标识别方法中的一个重要的研究方向，同时也是图像工程中的研究热点之一。使用模板匹配来识别物品图像有其独特的优点：不干扰被测对象(特别是需要非接触测量时)，既保证了安全性，也保证了准确性。但传统模板匹配也有其局限性，如对目标的几何变形以及灰度畸变均十分敏感、旋转后的变性不易消除、累计误差较大等问题。且传统的模板匹配技术在处理复杂背景下的以及多目标的图像识别时，存在运算量大、精度和速度不能达到实际应用需求等缺陷。

综上所述，基于模板匹配技术实现目标的高效识别具有很高的应用价值，但是仍需要针对其局限性进行优化改进；同时，当前的目标识别方法研究一般输出目标的类别、位置和置信度，对识别算法本身缺乏明确评估，因此有必要发展一种目标识别自评估方法。

发明内容

本发明的目的是提供一种基于结构相似度的目标识别自评估方法，解决目前模板匹配法在目标变形、旋转、灰度畸变等条件下，识别效率低下的技术问题，填补针对模板匹配目标识别效果定量化评估的空白。

为实现上述目的，解决上述技术问题，本发明的技术方案如下：

一种基于结构相似度的目标识别自评估方法，其实现过程包括如下步骤：

步骤1、目标识别自评估指标构建

选择待匹配图像信息中的亮度，对比度和结构作为目标识别自评估的测度依据；

步骤2、利用多尺度多角度模板匹配输出识别结果

2.1对模板图像进行特征提取并存储特征信息，对所述模板图像进行多角度变换后进行特征提取并存储变换后的特征信息，对完成多角度变换后的模板图像再进行多尺度变换后进行特征信息提取并存储；

2.2对待匹配图像信息进行特征提取；

2.2.1利用金字塔算法，将变换后的模板图像的特征信息依次在待匹配图像上进行特征相似度的快速比对；

2.2.2所有模板图像比对完所有的待匹配图像，生成相似度矩阵；

2.2.3设置阈值，将相似度矩阵中大于阈值的部分作为匹配结果输出；

步骤3、利用结构相似度评估识别效果

相似度的测量由亮度、对比度、结构三种对比模块组成，针对离散信号，以平均灰度来作为亮度测量的估计：

其中，x代表模板图像，y代表匹配结果图像，N代表像素数量，μ代表亮度，则亮度对比函数I(x，y)是关于μ_x，μ_y的函数；

以图像的标准差作为对比度测量的估计：

则对比度对比函数c(x，y)是关于σ_x，σ_y的函数；

以图像被自己的标准差相除的结果作为图像的结构测量的估计，则结构对比函数s(x，y)是关于的函数；

由此得到最终的对比函数如下：

亮度对比函数：

其中，C1＝(K₁L)²，L为图像灰度级数，对于8-bit灰度图像，L＝255，K₁＜＜1；

对比度对比函数：

其中

常数C2＝(K₂L)²，且K₂＜＜1；

结构对比函数：

其中，

则结构相似度的一般方程即为：

SSIM(x，y)＝[I(x，y)]^α[c(x，y)]^β[s(x，y)]^γ

这里α，β，γ取1，并且令则：

且结构相似度方程应满足以下三个条件：

对称性：SSIM(x，y)＝SSIM(y，x)；

有界性：SSIM(x，y)≤1；

最大值唯一性：当且仅当x＝y时，SSIM(x，y)＝1；

这里仅需要分别求出两张图像的均值以及方差，再对两张图像求协方差带入到结构相似度方程中进行计算，即实现了对目标识别效果的有效评估。

本发明相比于现有技术的有效收益如下：

1、本发明通过多尺度多角度的模板匹配，引入金字塔算法，提升了目标识别的效率，尤其针对目标缩放、旋转、畸变等情况，仍能够保证较高的识别准确率；

2、本发明利用结构相似度，具体包括图像信息中的亮度，对比度和结构，实现了对目标识别效果的定量化评估。

附图说明

无

具体实施方式

下面结合实施例对本发明的具体实现过程进行详细的解释和说明。

自然图像一般具有极高的结构性，表现在图像的像素间存在着很强的相关性，在空间相似的情况下更为突出。这些相关性在视觉场景中携带着关于物体结构的重要信息，可以通过探测图像结构信息是否改变来感知图像失真的近似信息。本发明使用结构相似度来评估模板匹配算法，利用模板与识别区域的结构相似度来度量算法的准确性，并通过分别计算图像的亮度、对比度、结构对比，将三者组合成一个完整的相似测量函数，作为图像识别算法自评估函数来实现本发明的评估过程，具体实现过程包括如下步骤：

步骤1、目标识别自评估指标构建

在目标识别效果评估过程中，需要指明识别系统所处的条件，包括目标的各种与识别有关的参数、外界的各种与识别过程有关的因素等。建模的同时，必须定量分析影响识别条件的各种因素的作用程度，从而在对识别效果定量分析中提供判据，即提供评估的参照信息。由此在评估过程需要选择最能准确刻画外界条件的参照信息，即提供一些有价值的参照信息及其测度方法来构建目标识别自评估指标。

本发明选择图像信息作为评估的测度，利用图像像素信息，包含：亮度，对比度和结构，将三者结合，作为评估的依据。

步骤2、利用多尺度多角度模板匹配输出识别结果

本发明引入模板匹配是因为其对目标的知识容量要求少、且计算形式简单，是符合边缘平台使用的轻量化目标识别算法。相比于神经网络方法需要存储整个网络的参数在平台上，模板匹配算法只需要存储相应模板即可，而且运算复杂度大大降低，特别适合单片机等无法承担大规模复杂并行运算的机载平台。

2.1对模板图像进行特征提取，并存储特征信息，然后对模板图像进行多角度变换(旋转)后进行特征提取，然后存储，再对各个多角度变换后的模板图像进行多尺度变换(缩放)后进行特征提取，再存储。

例如一组旋转范围为0°～360°，旋转步长为1°，缩放范围为0.9～1.1，缩放步长为0.01的模板个数为：((360-0)/1)×((1.1-0.9)/0.01)＝7200个，制作一组多尺度多角度模板就是存储这7200个模板的特征；

2.2对待匹配图像进行特征提取；

2.2.1利用金字塔算法，将一组模板，例如上述7200个特征信息依次在待匹配图像上进行特征相似度的快速比对；

考虑到在边缘端使用时对硬件资源的过度消耗，本发明引入目标金字塔算法。目标金字塔算法可以将模板与识别图像一起进行上采样至较小分辨率进行识别，能够有效降低匹配算法的计算量。在匹配完成后，将图像与模板分步下采样并重新进行周边区域的再匹配，也保证了算法的准确度。从上文可知，进行多尺度和多角度的形状匹配算法会产生大量模板，而对这些模板依次在待匹配图像上进行逐像素的相似度计算会导致大量的计算量以及漫长的匹配时间，所以采用图像金字塔算法缩小图像和模板，加快匹配速度。

2.2.2所有模板比对完所有的搜索图像区域，生成相似度矩阵，即7200个模板就是7200个相似度矩阵；

2.2.3设置阈值，将相似度矩阵中大于阈值的部分作为匹配结果输出。

步骤3、利用结构相似度评估识别效果

物体表面的亮度信息与照度和反射系数有关，且场景中的物体的结构与照度是独立的，反射系数与物体有关。通过分离照度对物体的影响来探索一张图像中的结构信息。这里，把与物体结构相关的亮度和对比度作为图像中结构信息的定义。因为一个场景中的亮度和对比度总是在变化的，所以通过对局部的处理来得到更精确的结果。

相似度的测量由三种对比模块组成，分别为：亮度、对比度、结构，其函数分别定义如下。

针对离散信号，以平均灰度来作为亮度测量的估计：

其中，x代表模板图像，y代表匹配结果图像，N代表像素数量，μ代表亮度。

亮度对比函数I(x，y)是关于μ_x，μ_y的函数。

以图像的标准差作为对比度测量的估计：

对比度对比函数c(x，y)是关于σ_x，σ_y的函数。

以图像被自己的标准差相除的结果作为图像的结构测量的估计，则结构对比函数s(x，y)是关于的函数。

综上，最终的对比函数如下：

亮度对比函数：

其中，C1＝(K₁L)²，L为图像灰度级数，对于8-bit灰度图像，L＝255，K₁＜＜1。

对比度对比函数：

其中

常数C2＝(K2L)²，且K2＜＜1。

结构对比函数：

其中，

则SSIM的一般方程即为：

SSIM(x，y)＝[I(x，y)]^α[c(x，y)]^β[s(x，y)]^γ

这里一般α，β，γ取1，并且令这样就得到简化的SSIM公式：

SSIM(x，y)应满足以下三个条件：

对称性：SSIM(x，y)＝SSIM(y，x)；

有界性：SSIM(x，y)≤1；

最大值唯一性：当且仅当x＝y时，SSIM(x，y)＝1。

这里，只需要分别求出两张图像的均值以及方差，再对两张图像求协方差就可以带入到SSIM公式进行计算，这里计算结果其实得到的是一张图像，它显示了两张图的混叠，是对目标识别效果的有效评估。

Claims (1)

1.一种基于结构相似度的目标识别自评估方法，其特征在于，实现过程包括如下步骤：

步骤1、目标识别自评估指标构建

选择待匹配图像信息中的亮度，对比度和结构作为目标识别自评估的测度依据；

步骤2、利用多尺度多角度模板匹配输出识别结果

2.1对模板图像进行特征提取并存储特征信息，对所述模板图像进行多角度变换后进行特征提取并存储变换后的特征信息，对完成多角度变换后的模板图像再进行多尺度变换后进行特征信息提取并存储；

2.2对待匹配图像信息进行特征提取；

2.2.1利用金字塔算法，将变换后的模板图像的特征信息依次在待匹配图像上进行特征相似度的快速比对；

2.2.2所有模板图像比对完所有的待匹配图像，生成相似度矩阵；

2.2.3设置阈值，将相似度矩阵中大于阈值的部分作为匹配结果输出；

步骤3、利用结构相似度评估识别效果

相似度的测量由亮度、对比度、结构三种对比模块组成，针对离散信号，以平均灰度来作为亮度测量的估计：

其中，x代表模板图像，y代表匹配结果图像，N代表像素数量，μ代表亮度，则亮度对比函数I(x，y)是关于μ_x，μ_y的函数；

以图像的标准差作为对比度测量的估计：

则对比度对比函数c(x，y)是关于σ_x，σ_y的函数；

以图像被自己的标准差相除的结果作为图像的结构测量的估计，则结构对比函数s(x，y)是关于的函数；

由此得到最终的对比函数如下：

亮度对比函数：

其中，C1＝(K₁L)²，L为图像灰度级数，对于8-bit灰度图像，L＝255，K₁＜＜1；

对比度对比函数：

其中

常数C2＝(K₂L)²，且K₂＜＜1；

结构对比函数：

其中，

则结构相似度的一般方程即为：

SSIM(x，y)＝[I(x，y)]^α[c(x，y)]^β[s(x，y)]^γ

这里α，β，γ取1，并且令则：

且结构相似度方程应满足以下三个条件：

对称性：SSIM(x，y)＝SSIM(y，x)；

有界性：SSIM(x，y)≤1；

最大值唯一性：当且仅当x＝y时，SSIM(x，y)＝1；

这里仅需要分别求出两张图像的均值以及方差，再对两张图像求协方差带入到结构相似度方程中进行计算，即实现了对目标识别效果的有效评估。