CN112488240A - 一种基于互相关性的图像频域差分材质匹配方法 - Google Patents

Abstract

本发明公开一种基于互相关性的图像频域差分材质匹配方法，包括以下步骤：通过滑动窗口搜索待检图像；将不同尺度的窗口缩放到和图像模板一样；对图像模板和多个尺度窗口的图像区进行傅立叶变换；取傅立叶变换后的图像模板的最大值和最小值，再对图像模板进行归一化处理；把多个尺度窗口的傅立叶变换的数值范围统一到与图像模板一致的数值空间，使得窗口的频域值与图像模板的频域值一致；对不同尺度的窗口和图像模板进行互相关运算、差分操作，把差分后的数值与互相关运算的数值进行元素相乘；对上述数值进行比较，寻找最大值及其对应的尺度；若最大值小于阈值，则视为当前位置匹配，并把对应位置和对应尺度所在的图像区域进行标记。

Description

一种基于互相关性的图像频域差分材质匹配方法

技术领域

本发明涉及图像频域匹配方法，具体涉及一种基于互相关性的图像频域差分材质匹配方法。

背景技术

信号的互相关性主要用于判断两组信号的相位偏移，在图像处理中，互相关性常用于对图像模板匹配，也就是通过模板，在目标图像中寻找与模板一摸一样的图像区域的位置。但在互相关性进行模板匹配的缺点就是待搜索区域必须与模板一摸一样，形状材质上的变化会导致匹配失败。

为此，现有技术中提出材质匹配的方法，材质匹配相较于模板匹配具有更大灵活性和适应性。在图像识别处理的工作中，常常遇到需要寻找某种特定材质的问题，常用的方法主要使用机器学习，提取特定材质的特征进行训练得到模型，然后再在待识别图像的各个区域对每个区域提取同样的特征放入训练所得的模型中进行预测判断。其中，由于使用机器学习的方法常常需要收集一定数量的匹配模板图像，进行相关的处理，然后训练学习；同时在训练学习的过程中常常需要反复进行多次实验，以获得较好的匹配效果。

上述处理过程需要消耗大量的人力和时间，同时需要大量的材质模板素材，因此难以进行快速开发验证。

发明内容

本发明的目的在于克服上述存在的问题，提供一种基于互相关性的图像频域差分材质匹配方法，该图像频域差分材质匹配方法对材质模板数量要求极低，同时在工作过程中不需要进行模型训练，极大的节约了开发时间和使用成本。

本发明的目的通过以下技术方案实现：

一种基于互相关性的图像频域差分材质匹配方法，包括以下步骤：

获取待匹配的图像模板，存储该图像模板为后续使用；

通过滑动窗口搜索待检图像，通过多尺度窗口的方式对每个滑动窗口位置使用不同尺寸的窗口；对不同尺度的窗口进行缩放，使不同尺度的窗口缩放到和图像模板一样；

对图像模板和多个尺度窗口的图像区进行傅立叶变换，得到各自的频域图像；

取傅立叶变换后的图像模板的最大值和最小值，用于后续各窗口规范化的基础值，再对图像模板进行归一化处理；

对多个尺度窗口的傅立叶变换的图像进行规范化处理，把数值范围统一到与图像模板一致的数值空间，使得窗口的频域值与图像模板的频域值一致；

对不同尺度的窗口和图像模板进行互相关运算；将各尺度的窗口的频域值与图像模板的频域值进行差分操作，取绝对值；把差分后的数值与互相关运算的数值进行元素相乘；

对上述操作取得的数值进行比较，寻找最大值及其对应的尺度；

得到最大值后，将其设定的阈值进行对比；若最大值大于阈值，则认为当前位置的图像区域与图像模板不匹配；若小于阈值，则视为当前位置匹配，并把对应位置和对应尺度所在的图像区域进行标记；

将定位窗口移动到下一个位置，重复上面的步骤，直至全图匹配完成。

本发明的一个优选方案，其中，所述图像模板的尺寸为r×r个像素，r为奇数。

优选地，在滑动窗口进行滑动过程中，每个检索窗口的尺寸的个数自定义为N个，N取偶数；

每个尺寸从分辨率(r-N)×(r-N)开始，每次分辨率增大2个像素，直到(r+N)×(r+N)。

本发明的一个优选方案，其中，滑动窗口的搜索操作为：滑动窗口从左上角开始，横向滑动，滑动到每个位置即进行匹配；若匹配判断为真，则认为滑动窗口的当前区域材质与模板相同；否则忽略让滑动窗口继续移动继续下一步搜索。

优选地，在匹配过程中，在一个位置需要匹配多个尺度的窗口，不同尺度的匹配的窗口预示了同一材质在不同尺度下的表现。这是多尺度匹配的关键。当图像区域材质与模板材质相同时，总能找到一个尺度与材质模板相同；若区域与模板材质不同，则不存在任何一个尺度与材质模板匹配。

本发明的一个优选方案，其中，傅立叶变换通过以下公式将图像表达的空间信号转换为以信号频率为表达的频谱图：

k_xy＝0,1...,N_xy-1；

式中，

为对应n_x、n_y位置的像素值，k_xy为频域空间对应x或y的位置值，f为对应频率的值。

本发明的一个优选方案，其中，所述归一化处理的计算公式为：

norm(V)＝(V-V_min)/(V_max-V_min)。

本发明的一个优选方案，其中，所述互相关运算为将两组数进行点乘运算。

本发明的一个优选方案，其中，所述差分操作为将窗口的频域值与图像模板的频域值相减。

本发明的一个优选方案，其中，所述把差分后的数值与互相关运算的数值进行元素相乘的操作为：

本发明与现有技术相比具有以下有益效果：

1、本发明中的图像频域差分材质匹配方法对材质模板数量要求极低，同时在工作过程中不需要进行模型训练，极大的节约了开发时间和使用成本。

2、本发明在模板匹配的过程中，利用多尺度检测窗口技术，对待检图像待检区域对应的尺度有很高的灵活性，可以匹配由拍摄造成的不同尺度检测的问题。

3、本发明对进行傅立叶变换后图像模板的最大最小值作为归一化的范围值，对后续检测窗口内的数据，统一约束到与模板相同的取值区间，便于后续差分操作和数值比较等运算。

4、本发明的图像频域差分材质匹配方法是旋转不变的，因为在傅立叶变换的过程中，图像只保留了频率分布的属性，而方向变化的属性被抛弃，故在模板匹配过程中可以实现旋转不变，即不论待检区域如何旋转，匹配度是一样的。

附图说明

图1为本发明中的基于互相关性的图像频域差分材质匹配方法的流程图。

图2为本发明中的通过滑动窗口进行搜索的示意图。

图3为本发明中的一种示例图片。

图4为本发明中的一种图像模板。

图5为本发明中的计算得到的数值三维化数据显示示例，越低表示与模板材质越接近

图6为本发明中的计算得到的数值热图显示示例，越接近蓝色表示与材质越接近

具体实施方式

为了使本领域的技术人员很好地理解本发明的技术方案，下面结合实施例和附图对本发明作进一步描述，但本发明的实施方式不仅限于此。

参见图1-2，本实施例中的基于互相关性的图像频域差分材质匹配方法，包括以下步骤：

根据实际情况，选取不大(如51×51)的但是能有一定材质代表性的图片作为模板。选择此模板的目的是保存具有代表性的，并且能涵盖大多数信息图片，只有模板图片涵盖足够信息，才能满足后期匹配中有足够的信息。

通过滑动窗口搜索待检图像，滑动窗口从左上角开始，横向滑动，滑动过程中的步进s由用户确定，每个检索窗口将使用N个不同尺寸，N取偶数，每个尺寸从分辨率(r-N)×(r-N)开始，每次分辨率增大2个像素，直到(r+N)×(r+N)。N为自行定义的需要检索的每个位置的尺度的个数，由用户自行确定。

进一步，滑动到每个位置即进行匹配；若匹配判断为真，则认为滑动窗口的当前区域材质与模板相同；否则忽略让滑动窗口继续移动继续下一步搜索。在匹配过程中，在一个位置需要匹配多个尺度的窗口，不同尺度的匹配的窗口预示了同一材质在不同尺度下的表现。这是多尺度匹配的关键。当图像区域材质与模板材质相同时，总能找到一个尺度与材质模板相同；若区域与模板材质不同，则不存在任何一个尺度与材质模板匹配。

针对不同尺度的窗口，由于运算的需求，对不同尺度的窗口进行缩放，使不同尺度的窗口缩放到和图像模板一样。

对图像模板和多个尺度窗口的图像区进行傅立叶变换，得到各自的频域图像；其中，傅立叶变换通过以下公式将图像表达的空间信号转换为以信号频率为表达的频谱图：

k_xy＝0,1...,N_xy-1；

式中，

为对应n_x、n_y位置的像素值，k_xy为频域空间对应x或y的位置值，f为对应频率的值。

取傅立叶变换后的图像模板的最大值和最小值，用于后续各窗口规范化的基础值，再对图像模板进行归一化处理；其中，所述归一化处理的计算公式为：

norm(V)＝(V-V_min)/(V_max-V_min)。

对多个尺度窗口的傅立叶变换的图像进行规范化处理，把数值范围统一到与图像模板一致的数值空间，使得窗口的频域值与图像模板的频域值一致。

对不同尺度的窗口和图像模板进行互相关运算，亦即将两组数进行点乘运算；再将各尺度的窗口的频域值与图像模板的频域值进行差分操作，亦即将窗口的频域值与图像模板的频域值相减，取绝对值；把差分后的数值与互相关运算的数值进行元素相乘，把差分后的数值与互相关运算的数值进行元素相乘的操作为：

对上述操作取得的数值进行比较，寻找最大值及其对应的尺度；得到最大值后，将其设定的阈值进行对比；若最大值大于阈值，则认为当前位置的图像区域与图像模板不匹配；若小于阈值，则视为当前位置匹配，并把对应位置和对应尺度所在的图像区域进行标记。

将定位窗口移动到下一个位置，重复上面的步骤，直至全图匹配完成。

具体地，参见图3-6，本实施例中的示例图片为草坪，树木和天空，如图3，模板图片为草坪一小部分，如图4。

为说明识别出对应的数值，本实施例将暂时不使用阈值进行区分，而直接将识别的值记录下来，同时通过热图展示出识别的结果，如图5，由图可以看出，图片对应的天空位置，数值最大，数目，人行道等位置数值次之，而草坪位置的识别数值最低。由图6可以看出，草坪部位完整的识别出来(深蓝色)，而其他部位则被剔除出识别结果中。

上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所做的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于互相关性的图像频域差分材质匹配方法，其特征在于，包括以下步骤：

获取待匹配的图像模板，存储该图像模板为后续使用；

通过滑动窗口搜索待检图像，通过多尺度窗口的方式对每个滑动窗口位置使用不同尺寸的窗口；对不同尺度的窗口进行缩放，使不同尺度的窗口缩放到和图像模板一样；

对图像模板和多个尺度窗口的图像区进行傅立叶变换，得到各自的频域图像；

取傅立叶变换后的图像模板的最大值和最小值，用于后续各窗口规范化的基础值，再对图像模板进行归一化处理；

对多个尺度窗口的傅立叶变换的图像进行规范化处理，把数值范围统一到与图像模板一致的数值空间，使得窗口的频域值与图像模板的频域值一致；

对不同尺度的窗口和图像模板进行互相关运算；将各尺度的窗口的频域值与图像模板的频域值进行差分操作，取绝对值；把差分后的数值与互相关运算的数值进行元素相乘；

对上述操作取得的数值进行比较，寻找最大值及其对应的尺度；

得到最大值后，将其设定的阈值进行对比；若最大值大于阈值，则认为当前位置的图像区域与图像模板不匹配；若小于阈值，则视为当前位置匹配，并把对应位置和对应尺度所在的图像区域进行标记；

将定位窗口移动到下一个位置，重复上面的步骤，直至全图匹配完成。

2.根据权利要求1所述的基于互相关性的图像频域差分材质匹配方法，其特征在于，所述图像模板的尺寸为r×r个像素，r为奇数。

3.根据权利要求2所述的基于互相关性的图像频域差分材质匹配方法，其特征在于，在滑动窗口进行滑动过程中，每个检索窗口的尺寸的个数自定义为N个，N取偶数；

每个尺寸从分辨率(r-N)×(r-N)开始，每次分辨率增大2个像素，直到(r+N)×(r+N)。

4.根据权利要求1或3所述的基于互相关性的图像频域差分材质匹配方法，其特征在于，滑动窗口的搜索操作为：滑动窗口从左上角开始，横向滑动，滑动到每个位置即进行匹配；若匹配判断为真，则认为滑动窗口的当前区域材质与模板相同；否则忽略让滑动窗口继续移动继续下一步搜索。

5.根据权利要求4所述的基于互相关性的图像频域差分材质匹配方法，其特征在于，在匹配过程中，在一个位置需要匹配多个尺度的窗口。

6.根据权利要求1所述的基于互相关性的图像频域差分材质匹配方法，其特征在于，傅立叶变换通过以下公式将图像表达的空间信号转换为以信号频率为表达的频谱图：

式中，

为对应n_x、n_y位置的像素值，k_xy为频域空间对应x或y的位置值，f为对应频率的值。

7.根据权利要求1所述的基于互相关性的图像频域差分材质匹配方法，其特征在于，所述归一化处理的计算公式为：

norm(V)＝(V-V_min)/(V_max-V_min)。

8.根据权利要求1所述的基于互相关性的图像频域差分材质匹配方法，其特征在于，所述互相关运算为将两组数进行点乘运算。

9.根据权利要求1所述的基于互相关性的图像频域差分材质匹配方法，其特征在于，所述差分操作为将窗口的频域值与图像模板的频域值相减。

10.根据权利要求1所述的基于互相关性的图像频域差分材质匹配方法，其特征在于，把差分后的数值与互相关运算的数值进行元素相乘的操作为：

Images