CN110287984A

CN110287984A - 基于主要特征信息的梯度图像匹配方法、装置、电子设备

Info

Publication number: CN110287984A
Application number: CN201910390275.3A
Authority: CN
Inventors: 应国德; 王昕�; 吕坚华; 邹晗; 喻谦; 卢东祁; 邱慧勇; 陈卫中; 周戈; 张乾; 应煌浩; 王晓飞; 许楚航; 鲍杰利; 胡奕挺
Original assignee: Taizhou Hongda Electric Power Construction Co Ltd Taizhou Economic Development Zone Transportation And Inspection Branch; Taizhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Current assignee: Taizhou Hongda Electric Power Construction Co Ltd Taizhou Economic Development Zone Transportation And Inspection Branch; Taizhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date: 2019-05-10
Filing date: 2019-05-10
Publication date: 2019-09-27

Abstract

本发明公开了一种基于主要特征信息的梯度图像匹配方法，包括如下步骤：提取待匹配图像和模板图像的主要特征信息，去除图像中的干扰噪声信息；以模板图像的亮度和对比度为参考，提高待匹配图像的亮度和对比度；计算待匹配图像和模板图像的梯度；基于梯度图像进行匹配，找到待匹配图像在模板图像中的最佳匹配位置；同时公开了方法对应的装置及电子设备。本发明使用改进后的梯度图像匹配算法，可以有效去除反光、逆光、旋转、多种重复设备等极端条件对设备图像匹配的干扰，对光照有较高的抗噪性，从而能够得到正确的匹配结果，具有较高的鲁棒性。

Description

基于主要特征信息的梯度图像匹配方法、装置、电子设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于主要特征信息的梯度图像匹配方法、装置、电子设备。

背景技术

图像匹配是指通过一定的匹配算法在两幅或多幅图像之间识别相似物体，如二维图像匹配中通过比较目标区和搜索区中相同大小的窗口的相关系数，取搜索区中相关系数最大所对应的窗口中心点作为相似物体。图像匹配的实质是在基元相似性的条件下，运用匹配准则的最佳搜索问题。

传统的图像匹配技术可以分为灰度匹配算法、特征匹配算法。

灰度匹配是以统计的观点将图像看成是二维信号，采用统计相关的方法寻找信号间的相关匹配，利用两个信号的某种相似性度量来评价它们的相似性以确定相似度，判定两幅图像中的对应关系。这里的某种相似性度量，可以是相关函数、协方差函数、差平方和、差绝对值和等测度极值。最经典的灰度匹配法是归一化的灰度匹配法，其基本原理是逐像素的把一个以一定大小的实时图像窗口的灰度矩阵，与参考图像的所有可能的窗口灰度阵列，按某种相似性度量方法进行搜索比较的匹配方法，从理论上说就是采用图像相关技术。灰度匹配算法的主要缺陷体现在，当其中一幅图像受到光线与旋转影响，比如光线反光、逆光条件下，该匹配算法会失效。

特征匹配是从两幅图像中提取出稳定高层次的特征，特征具有旋转、平移、尺度不变特性，在匹配算法中建立两幅图像中特征点的关系。通常使用最近邻思想匹配两幅图中特征点，为了加快匹配速度，特征点被构造成特殊数据结构形式。在提高匹配准确性方面，会对匹配成功的特征点除去噪声，把错误特征点剔除，计算匹配成功点对之间的映射关系，得到匹配位置。在通信机房机柜中，通常包含多个相同的设备，比如数字仪表、空开开关等，他们都有相似的特征点信息，往往容易得到错误的匹配的结果。

因此，上述方法在应用于电力通讯机房机柜设备图像时都往往受到反光、逆光、旋转、多种重复设备等极端条件的干扰，难以得到正确的匹配结果。

发明内容

本发明提出一种基于主要特征信息的梯度图像匹配方法、装置、电子设备以解决上述技术问题。

为了达到上述目的，本发明所采用的技术方案为：

根据本发明实施例的第一方面，提供了一种基于主要特征信息的梯度图像匹配方法，用于电力通讯机房机柜设备图像，获取模板图像和待匹配图像后，包括如下步骤：

S101，提取待匹配图像和模板图像的主要特征信息，去除图像中的干扰噪声信息；

S102，以模板图像的亮度和对比度为参考，提高待匹配图像的亮度和对比度；

S103，计算待匹配图像和模板图像的梯度；

S104，基于梯度图像进行匹配，找到待匹配图像在模板图像中的最佳匹配位置。

作为优选，所述提取待匹配图像和模板图像的主要特征信息，去除图像中的干扰噪声信息，包括：分别将待匹配图像和模板图像进行矩阵的奇异值分解。

作为优选，所述以模板图像的亮度和对比度为参考，提高待匹配图像的亮度和对比度，包括：计算模板图像度与待匹配图像之间亮度或对比度的比例值k；将待匹配图像的亮度或对比度提高k倍。

作为优选，所述待匹配图像和模板图像的梯度均根据如下公式计算：

G(x,y)＝dx(i,j)+dy(i,j) (11)，

其中，G(x,y)为待匹配图像或模板图像在点(x,y)的梯度，

dx(i,j)＝I(i+1,j)-I(i,j) (12)，

dy(i,j)＝I(i,j+1)-I(i,j) (13)，

梯度方向为：

I(i,j)是待匹配图像或模板图像在像素坐标(i,j)的像素值，i、j、x、y均为整数。

作为优选，所述基于梯度图像进行匹配，找到待匹配图像在模板图像中的最佳匹配位置，包括：

将待匹配图像分成若干个子图像，使子图像一次移动一个像素，并在每一个位置都计算一次匹配度量值；

待匹配图像在水平方向平移r个单位、在竖直方向上平移s个单位后，待匹配图像与模板图像的对应子图像的匹配度量值为：

其中，I(r+i,s+j)为待匹配图像在像素坐标(r+i,s+j)的像素值，T(i,j)为模板图像在像素坐标(i,j)的像素值，i、j、r、s均为整数；

当式(15)函数值最小时，所求得坐标(r,s)即为最佳匹配位置；

对于模板图像对应覆盖在待匹配图像上各子图像的每个位置，计算所得的匹配度量值保存到结果图像矩阵R中。

根据本发明实施例的第二方面，提供了一种基于主要特征信息的梯度图像匹配装置，包括：

特征提取模块，用于提取待匹配图像和模板图像的主要特征信息，去除图像中的干扰噪声信息；

对比度调整模块，用于以模板图像的亮度和对比度为参考，提高待匹配图像的亮度和对比度；

梯度计算模块，用于计算待匹配图像和模板图像的梯度；

匹配模块，用于基于梯度图像进行匹配，找到待匹配图像在模板图像中的最佳匹配位置。

作为优选，所述特征提取模块包括：

矩阵奇异值分解子模块，用于分别将待匹配图像和模板图像进行矩阵的奇异值分解。

作为优选，所述对比度调整模块包括：

比例值计算子模块，用于计算模板图像度与待匹配图像之间亮度或对比度的比例值k；

对比度提高子模块，用于将待匹配图像的对比度提高k倍。

作为优选，所述匹配模块包括：

图像移动计算子模块，用于将待匹配图像分成若干个子图像，使子图像一次移动一个像素，并在每一个位置都计算一次匹配度量值；

结果图像子模块，用于对模板图像对应覆盖在待匹配图像上各子图像的每个位置，计算所得的匹配度量值保存到结果图像矩阵R中。

根据本发明实施例的第三方面，提供了一种基于主要特征信息的梯度图像匹配装置，一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为利用所述可执行指令执行前述方法的步骤。

与现有技术相比较，本发明使用改进后的梯度图像匹配算法，可以有效去除反光、逆光、旋转、多种重复设备等极端条件对设备图像匹配的干扰，对光照有较高的抗噪性，从而能够得到正确的匹配结果，具有较高的鲁棒性。

附图说明

图1为本发明基于主要特征信息的梯度图像匹配方法的一个实施例流程图；

图2为本发明基于主要特征信息的梯度图像匹配装置所在设备的一种硬件结构图；

图3为本发明基于主要特征信息的梯度图像匹配装置的一个实施例框图。

具体实施方式

以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

如图1所示，一种基于主要特征信息的梯度图像匹配方法，用于电力通讯机房机柜设备图像，获取模板图像和待匹配图像后，包括如下步骤：

S101，提取待匹配图像和模板图像的主要特征信息，去除图像中的干扰噪声信息。

由于外界和相机硬件影响，电力通讯机房机柜设备图像中往往存在不必要的或多余的干扰噪声信息，严重影响了图像处理，故要进行相应的噪声处理。

图像的特征信息没有精确的定义，往往由问题或者应用类型决定。对于图像之间是否可以匹配，最重要的是特征的“可重复性”：同一场景的不同图像所提取的特征应该是相同的。通常情况下，图像数据中绝大部分有用的信息集中在小部分特征上。

我们可以对图像进行矩阵的奇异值分解，也可以采用其他的图像分析算法从而得到图像的主要特征信息。以下实施例，对图像矩阵的奇异值分解做详细说明。

假设将图像看成m*n阶的A矩阵，在n维空间中寻找一组正交基，使得经过A变换后还是正交的。假设依据找到一组正交基：

{V₁,V₂......V_n} (1)

则经过A矩阵线性变换后，该空间映射为：

{AV₁,AV₂,......,AV_n} (2)

如果使(2)中两两正交，那么：

AV_i*AV_j＝(AV_i)^T*AV_j＝V_i ^TA^T*AV_j (3)

根据假设，存在

V_i ^T*V_j＝V_i*V_j＝0 (4)

由于A^TA是对称矩阵，V之间两两正交那么

V_i ^TA^TAV_j＝V_i ^Tλ_jV_j＝λ_jV_i ^TV_j＝λ_jV_iV_j＝0 (5)

即找到了正交基经过A矩阵映射后还是正交基。

因为AV_iAV_i＝λ_iV_iV＝λ_i，|AV_i|²＝λ_i≥0，λ_i为A矩阵特征值。

所以可以取单位向量u_i：

从而得到奇异值σ_i：

根据AV_i＝σ_iu_i，即可得到图像矩阵A的奇异值分解近似矩阵：

A＝U∑V^T (8)

其中，Σ中对角线上的每个元素就是奇异值σ_i。

在很多情况下，前10％甚至1％的奇异值的和就占了全部的奇异值之和的99％以上了。因此，往往只需要取10％的奇异值就能还原A矩阵对应图像，从而过滤掉大部分无用信息，保留图像的主要特征。

S102，以模板图像的亮度和对比度为参考，提高待匹配图像的亮度和对比度。

在机房巡检过程中，一些设备靠近玻璃窗附近，随着时间的变化，早上、中午和晚上光照强度不同，会对设备图像匹配造成干扰。为了解决该问题，我们对图像对比度进行调整，调整大小的依据是模板图片的图像亮度为参考，提高图像的对比度的另一个目的是保证图像边缘的像素值突变的更加明显，提高图像匹配成功率。

首先，计算模板图像度与待匹配图像之间亮度或对比度的比例值k。

模板图像亮度与待匹配图像亮度的比例值k：

其中，I_templ(x,y)为模板图像上坐标为(x,y)的点的亮度，I_src(x,y)为待匹配图像上坐标为(x,y)的点的亮度。

然后，将待匹配图像的亮度提高k倍，即得到与模板图片相似的亮度图片。例如，将亮度提高k倍：

同理，可计算模板图像亮度与待匹配图像对比度的比例值，并将待匹配图像的对比度提高k倍。

S103，计算待匹配图像和模板图像的梯度。

待匹配图像和模板图像均可视为二维离散函数，故待匹配图像和模板图像的梯度均可以根据如下公式计算：

G(x,y)＝dx(i,j)+dy(i,j) (11)，

其中，G(x,y)为待匹配图像或模板图像在点(x,y)的梯度，

dx(i,j)＝I(i+1,j)-I(i,j) (12)，

dy(i,j)＝I(i,j+1)-I(i,j) (13)，

I(i,j)是待匹配图像或模板图像在像素坐标(i,j)的像素值，i、j、x、y均为整数，梯度方向为：

获得一个好的梯度图像对图像匹配算法有着重要的作用，获取梯度图像的好坏程度，代表了匹配算法是否能够匹配成功。

基于梯度图像的匹配中最重要的是找到一种对梯度变化具有较好鲁棒性的相似度测量函数。

首先，将待匹配图像分成若干个子图像，使子图像一次移动一个像素，并在每一个位置都计算一次匹配度量值。通过滑动，图像块一次移动一个像素，可以从左往右或从上往下等。在每一个位置，都进行一次度量计算来表明它是“好”或“坏”地与那个位置匹配，以判定有多么相似。为了匹配设备图像，我们只需要找到两个图像间的相似度程度。

每一次平移步长后，计算模板图像与待匹配图像所对应的子图像的“距离”，距离越小表示越相似。平移步长(r,s)表示待匹配图像在水平方向平移r个单位、在竖直方向上平移s个单位，待匹配图像与模板图像的对应子图像的匹配度量值为：

其中，I(i,j)为待匹配图像在像素坐标(i,j)的像素值，T(i,j)为模板图像在像素坐标(i,j)的像素值，i、j、r、s均为整数；

那么两幅图像的对应的距离，可根据SSD函数得到，即待匹配图像与模板图像的对应子图像的匹配度量值为：

当式(15)函数值最小时，所求得坐标(r,s)即为最佳匹配位置；

为了找到参考图像在搜寻图像中的最佳匹配位置，只要使得SSD函数值最小即可，即

最小。

公式16展开后，其中两项均为梯度常量，即求得最小值只转换为求下值的最大值。

对于模板图像对应覆盖在待匹配图像上的每个位置，计算匹配度量值保存到结果图像矩阵R中。在R中的每个位置(x,y)都包含匹配度量值:

其中，I(x,y)为待匹配图像在像素坐标(x,y)的像素值，T(x,y)为模板图像在像素坐标(x,y)的像素值，x、y、x’、y’均为整数。结果图像矩阵R中最大值对应的(x,y)就是最佳匹配的位置信息。

根据上述方法，本发明使用改进后的梯度图像匹配算法，可以有效去除反光、逆光、旋转、多种重复设备等极端条件对设备图像匹配的干扰，对光照有较高的抗噪性，从而能够得到正确的匹配结果，具有较高的鲁棒性。

与前述方法的实施例相对应，本申请还提供了相对应装置及电子设备的实施例。

本申请电子设备的实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。

电子设备200，可以包括：

处理器；

用于存储所述处理器可执行指令的存储器；

从硬件层面而言，如图2所示，除了处理器、内存、网络接口、非易失性存储器、内部总线之外，实施例中的电子设备200通常根据该设备的实际功能，还可以包括其他硬件，对此不再赘述。

请参考图3，为本申请一示例性实施例提供的一种显示设备的实施例框图，如图3所示，一种基于主要特征信息的梯度图像匹配装置300，包括：

特征提取模块301，用于提取待匹配图像和模板图像的主要特征信息，去除图像中的干扰噪声信息；

对比度调整模块302，用于以模板图像的亮度和对比度为参考，提高待匹配图像的亮度和对比度；

梯度计算模块303，用于计算待匹配图像和模板图像的梯度；

匹配模块304，用于基于梯度图像进行匹配，找到待匹配图像在模板图像中的最佳匹配位置。

其中，特征提取模块301包括：

对比度调整模块302包括：

对比度提高子模块，用于将待匹配图像的对比度提高k倍。

匹配模块304包括：

结果图像子模块，用于对模板图像对应覆盖在待匹配图像上各子图像的每个位置，计算所得的匹配度量值保存到结果图像矩阵R中。。

上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由本申请的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims

1.基于图像主要特征信息的梯度图像匹配方法，用于电力通讯机房机柜设备图像，其特征在于，获取模板图像和待匹配图像后，包括如下步骤：

S103，计算待匹配图像和模板图像的梯度；

2.根据权利要求1所述的基于图像主要特征信息的梯度图像匹配方法，其特征在于，所述提取待匹配图像和模板图像的主要特征信息，去除图像中的干扰噪声信息，包括：

分别将待匹配图像和模板图像进行矩阵的奇异值分解。

3.根据权利要求1所述的基于图像主要特征信息的梯度图像匹配方法，其特征在于，所述以模板图像的亮度和对比度为参考，提高待匹配图像的亮度和对比度，包括：

计算模板图像度与待匹配图像之间亮度或对比度的比例值k；

将待匹配图像的亮度或对比度提高k倍。

4.根据权利要求1所述的基于图像主要特征信息的梯度图像匹配方法，其特征在于，所述待匹配图像和模板图像的梯度均根据如下公式计算：

G(x,y)＝dx(i,j)+dy(i,j) (11)，

其中，G(x,y)为待匹配图像或模板图像在点(x,y)的梯度，

dx(i,j)＝I(i+1,j)-I(i,j) (12)，

dy(i,j)＝I(i,j+1)-I(i,j) (13)，

梯度方向为：

5.根据权利要求1所述的基于图像主要特征信息的梯度图像匹配方法，其特征在于，所述基于梯度图像进行匹配，找到待匹配图像在模板图像中的最佳匹配位置，包括：

当式(15)函数值最小时，所求得坐标(r,s)即为最佳匹配位置；

6.一种基于图像主要特征信息的梯度图像匹配装置，其特征在于，包括：

梯度计算模块，用于计算待匹配图像和模板图像的梯度；

7.根据权利要求1所述的基于图像主要特征信息的梯度图像匹配装置，其特征在于，所述特征提取模块包括：

8.根据权利要求1所述的基于图像主要特征信息的梯度图像匹配装置，其特征在于，所述对比度调整模块包括：

对比度提高子模块，用于将待匹配图像的对比度提高k倍。

9.根据权利要求1所述的基于图像主要特征信息的梯度图像匹配装置，其特征在于，所述匹配模块包括：

10.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为利用所述可执行指令执行权利要求1～5的任一项方法的步骤。