CN116051820A - 基于多模板的单目标检测方法 - Google Patents

Abstract

本发明涉及一种基于多模板的单目标检测方法，属于图像处理领域。该方法包括：S1：获取同一检测目标各个场景下对应目标的模板图像；S2：形成和选取多模板图像；S3：根据实际应用场景，采用图像金字塔处理方法对待检测图像进行图像增强处理；S4：利用多尺度模板匹配方法对模板图像和待检测图像进行粗匹配运算，得到初步匹配结果；再对模板图像和待检测图像进行旋转匹配，进一步得到细化的匹配结果；最后对细化的匹配结果进行相似度排序，得到更为准确的匹配结果。本发明能实现快速、稳定、高精度的定位和识别。

Description

基于多模板的单目标检测方法

技术领域

本发明属于图像处理领域，涉及一种基于多模板的单目标检测方法。

背景技术

随着目标检测在计算机视觉中应用较为广泛，计算机视觉在工业上的应用也被越来越重视。而利用深度学习的目标检测前期所需大量时间和样本量，在实际工业上较难应用，因此传统模式识别中的模板匹配方法更适合应用。

现有的模板匹配算法一般采用单一的标准模板对单目标进行匹配，或者不同的模板对对应的图像进行匹配。目前传统的匹配算法，虽然性能较为稳当，但模板上特征较为单一，由于其受光照影响很大，匹配的精度也不高，在实际项目当中往往不被采用。实际检测场景下，图像会随着视觉传感器摆放角度和距离的不同，导致检测存在误差，检测精度较低。

因此，针对目标图像出现的旋转、缩放、部分遮挡、光照明暗变化，导致的实际检测目标和实际标准模板产生的区别，可能产生漏检、误检的情况，亟需一种新的目标检测方法来解决上述问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于多模板的单目标检测方法，针对目标图像出现的旋转、缩放、部分遮挡、光照明暗变化，导致的实际检测目标和实际标准模板产生的区别，可能产生漏检、误检的情况，本发明进行进一步的优化，实现快速、稳定、高精度的定位和识别。

为达到上述目的，本发明提供如下技术方案：

一种基于多模板的单目标检测方法，具体包括以下步骤：

S1：根据实际场景和所需检测的目标可能产生的问题，获取同一检测目标各个场景下对应目标的模板图像；

S2：形成和选取多模板图像；

S3：根据实际应用场景，采用图像金字塔处理方法对待检测图像进行图像增强处理；

S4：利用多尺度模板匹配方法对模板图像和待检测图像进行粗匹配运算，得到初步匹配结果；再对模板图像和待检测图像进行旋转匹配，进一步得到细化的匹配结果；最后对细化的匹配结果进行相似度排序，得到更为准确的匹配结果。

进一步，步骤S1中，获取模板图像，具体包括：对标准的模板图像进行缩放、旋转或光照增强变换等处理，形成能够适应匹配各个场景的模板图像；根据实际待检测图像可能产生的各种情况，提取各类模板图像。

进一步，步骤S2中，形成和选取多模板图像，具体包括以下步骤：

S21：仔细观察实际待检测目标和标准模板的差距；

S22：对模板图像进行旋转、缩放和裁剪等处理；

S23：在不同程度的部分遮挡下形成对应的待检测模板图像；

S24：在不同光照下形成对应的待检测模板图像；

S25：在不同角度下产生变形的待检测模板图像；

S26：形成待检测模板图像列表浮动区域。

进一步，步骤S24中，当存在有不同光线条件下的模板图像的情况，可以通过对模板图像灰度值变换处理得到新的模板图像，再与待检测图进行匹配，找出最佳匹配信息。

进一步，步骤S25中，当存在有不同角度的旋转模板图像的情况，可以通过对模板图像旋转处理得到新的模板图像，再与待检测图进行匹配，找出最佳匹配信息。

进一步，步骤S3中，当拍摄的图像存在因光照导致图像不清晰的情况，利用MSR算法对图像进行暗光增强处理。

进一步，步骤S3中，所述图像金字塔处理方法具体包括：采用拉普拉斯金字塔作为分层搜索策略提高待检测目标内包含的信息量，再进行模板匹配。

进一步，步骤S4中，将标准工件或数模图像作为模板图像，与增强后的待检测图像进行多尺度模板匹配对比，对于其中由拍摄角度或其他原因造成的误差，可以通过调节匹配置信度来改善，判断工件是否满足预先的设计需求；

其中，多尺度模板匹配是根据原始模板图像预先产生一系列不同尺度的模板，检测的时候，分别用产生的各个尺度的模板遍历图像，得到更适合相关系数更大的检测结果；

多尺度模板匹配的检测流程为：

(1)对待检测图像进行迭代处理，在每次迭代中，图像都会被调整大小并计算Canny边缘图；

(2)应用模板匹配，找到相关系数最大的图像的边界框坐标；

(3)计算得到模板匹配得到的最大的区域的坐标，然后绘制边界框。

进一步，步骤S4中，调节匹配置信度，具体包括以下步骤：

(1)根据区域上对应实际场景可能产生变化的概率形成相应的模板匹配置信度；

(2)根据模板置信度的不同，在待检测图像上搜索与模板列表中各个模板最相似的区域(匹配区域)；

(3)通过计算各个模板在匹配区域在待检测图像上位置的坐标偏移，计算得到整体区域内待检测目标的坐标信息。

进一步，步骤S4中，在使用了不同置信度系数后，可能导致产生检测冗余情况，考虑选择利用非极大值抑制(Non-Maximum Suppress，NMS)算法去冗余，并且搜索出局部极大值的目标实现找到最优的结果；

在经过NMS去冗余后，得到实际各个待检测模板的坐标信息及对应位置；并根据各个位置上实际采用的模板情况，对模板区域进行划分。

进一步，本发明的方法还能应用于多目标的多模板变换匹配算法，针对各个不同模板不同置信度在不同场景下的匹配检测。

本发明的有益效果在于：本发明可以应用于复杂场景下，通过机器视觉进行模板匹配检测。并且本发明可以通过不同的模板检测的方式，进一步对待检测目标的具体类别进行分析判断，并通过实际对应模板情况，适当地对工件制造的步骤和过程进行改进。本发明方法不仅可以针对模板和待检测图像间存在平移变换的情况，还能同时针对旋转、遮挡、亮度变换、尺度变换等场景，得到更准确的检测结果，从而实现快速、稳定、高精度的定位和识别。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明基于多模板的单目标检测方法流程图；

图2为单目标多模板变换的匹配算法流程图；

图3为模板匹配算法变形流程图；

图4为本发明方法与现有方法的实验对比效果图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1～图4，图1为本发明基于多模板的单目标检测方法，具体包括以下步骤：

S1：根据实际场景和所需检测的目标可能产生的问题，获取同一检测目标各个场景下对应的目标模板图像。

对标准的模板图像进行缩放、旋转、光照增强变换等处理，形成能够适应匹配各个场景的模板图像；根据实际待检测图像可能产生的各种情况，提取各类模板图像。

S2：形成和选取多模板图像；具体包括以下步骤：

S21：仔细观察实际待检测目标和标准模板的差距。

S22：对模板图像进行旋转、缩放和裁剪等处理。

S23：在不同程度的部分遮挡下形成对应的待检测模板图像。

S24：在不同光照下形成对应的待检测模板图像。

针对存在有不同光线条件下的模板图像，可以通过对模板图像灰度值变换处理得到新的模板图片，再与待检测图进行匹配，找出最佳匹配信息。

S25：在不同角度下产生变形的待检测模板图像。

针对存在有不同角度的旋转模板图像，可以通过对模板图像旋转处理得到新的模板图片，再与待检测图进行匹配，找出最佳匹配信息。

(1)制造一个原模板图旋转任何角度都能不丢失内容的图片；

(2)根据旋转情况定义一个仿射变换矩：确定旋转中心点，特征点；

(3)根据对应点关系得到仿射变换矩；

(4)根据变换矩阵得到新的模板图。

S26：形成待检测模板图像列表浮动区域。

S3：根据实际应用场景，采用图像金字塔处理方法对待检测图像进行图像增强处理；

当拍摄的图像存在因光照导致图像不清晰的情况，对其进行图像预处理中的增强处理。因此考虑利用MSR算法对图像进行暗光增强处理。

MSR是在SSR基础上发展来的，优点是可以同时保持图像高保真度与对图像动态范围压缩，即MSR可实现色彩增强、颜色恒常性、局部动态范围压缩、全局动态范围压缩，也可以用于X光图像增强。

MSR计算公式如下：

其中，r(x,y)表示输出图像，w_k表示第k个高斯函数的加权值，S(x,y)表示原图，F_k(x,y)表示第k个环绕函数；K是高斯中心环绕函数的个数，当K＝1时，MSR退化为SSR。

对图像进行图像金字塔处理，一方面为了增强图像信息，对待检测图像进行变换处理，一方面为了降低计算量，实现先粗后细的方式加快匹配速度，达到更大的精度。

图像金字塔是图像多尺度表达的一种，是一种以多分辨率来解释图像的有效但概念简单的结构。一般分为上采样和下采样，向上采样是对每个像素点进行填充，然后每个像素点再使用高斯卷积操作。向下采样就是先进行高斯卷积，卷积完之后的像素大小实际是没变的，然后将所有的偶数行和列去除，像素值大小就会缩小一半。

本发明主要研究的是对图像进行增强处理，提高模板匹配的精度。由于实际场景下，存在模板与待检测图像尺度不同导致的检测精度下降，通过对待检测图像的尺度变换，保证匹配的准确性，实现多尺度匹配问题。采用拉普拉斯金字塔作为分层搜索策略提高待检测目标内包含的信息量，再进行模板匹配，也减少了搜索时间。而其中拉普拉斯金字塔(Laplacian pyramid)用来从金字塔低层图像重建上层未采样图像，在数字图像处理中也即是预测残差，可以对图像进行最大程度的还原，配合高斯金字塔一起使用。对第i层金字塔进行上采样：

其中，L_i表示第i层拉普拉斯图像，G_i表示第i层高斯图像，G_i+1表示第i+1层高斯图像，Up表示上采样函数，

表示卷积，k_5×5表示5*5的内核。

S4：利用多尺度模板匹配方法对模板图像和待检测图像进行粗匹配运算，得到初步匹配结果；再对图像进行旋转匹配，进一步得到细化的匹配结果；最终对细化的匹配结果进行相似度排序，得到准确的匹配结果。

模板匹配是一种最原始、最基本的模式识别方法，研究某一特定对象物的图案位于待检测目标的位置，进而识别对象物，这就是一个匹配问题。它是图像处理中最基本、最常用的匹配方法。模板匹配就是在整个图像区域发现与给定子图像匹配的小块区域。又由于模板的尺寸和实际检测的尺寸不符，可能会导致检测存在错误。因此考虑利用多尺度模板匹配可以处理平移和缩放中的变化，但对旋转或非仿射变换的变化不具有鲁棒性。

本发明考虑利用多尺度图像匹配的方法，针对待检测目标(焊点)进行匹配检测，通过调节匹配置信度，实现对合格目标(焊点)的检测。本发明选择TM_CCOEFF_NORMED(归一化系数匹配法)匹配方法，该方法计算公式如下：

这种方法将系数匹配方法进行归一化，使得输入结果缩放到了1到-1之间，当模板与滑动窗口完全匹配时计算数值为1，当两者完全不匹配时计算结果为-1。

步骤S4的一种具体实施例为：将标准工件或数模图像作为模板图像，与增强后的待检测图像进行多尺度模板匹配对比，对于其中由拍摄角度或其他原因造成的误差，可以通过调节匹配置信度来改善，判断工件是否满足预先的设计需求。

多尺度匹配是根据原始模板图像预先产生一系列不同尺度的模板，检测的时候，分别用产生的各个尺度的模板遍历图像，得到更适合相关系数更大的检测结果。

多尺度模板匹配的检测流程为：

(1)对待检测图像进行迭代处理，在每次迭代中，图像都会被调整大小并计算Canny边缘图；

(2)应用模板匹配，找到相关系数最大的图像的边界框坐标；

(3)计算得到模板匹配得到的最大的区域的坐标，然后绘制边界框。

调节匹配置信度，具体包括以下步骤：

(1)根据区域上对应实际场景可能产生变化的概率形成相应的模板匹配置信度；

(2)根据模板置信度的不同，在待检测图像上搜索与模板列表中各个模板最相似的区域(匹配区域)；

(3)通过计算各个模板在匹配区域在待检测图像上位置的坐标偏移，计算得到整体区域内待检测目标的坐标信息。

由于多模板对同一目标进行检测时，在同一检测区域内可能存在的重检测，虽然使用的置信度系数不同，但仍可能导致产生检测冗余情况，考虑选择利用非极大值抑制(Non-Maximum Suppress，NMS)算法去冗余，该算法是通过抑制非极大值的目标的方式完成去冗余，并且搜索出局部极大值的目标实现找到最优的结果。

NMS算法步骤为：

(1)将所有可能的预测框按类别划分为num_class+1个集合，其中1为背景类，背景类无需NMS处理；

(2)对于每一个集合(类别)，按类别分数从高到低进行排序，得到num_class个降序列表list；

(3)从一个list中取得第一个元素(分数最高)，逐个计算该元素与列表中剩余元素的IoU，若IoU大于给定阈值则将该元素从列表中删除，同时将第一个元素保留；

(4)对处理过后的降序列表list重复执行步骤(3)，直至list为空；这样返回的keep列表中就是图中该类别所有的物体的唯一框；

(5)对每一个类别都执行步骤(3)～(4)，直接遍历完所有的类别。

在经过NMS去冗余后，得到实际各个待检测模板的坐标信息及对应位置。并根据各个位置上实际采用的模板情况，对模板区域进行划分，为之后工件的制造和检测提供依据。

图2为本发明单目标的多模板变换匹配算法，图3为模板匹配算法变形流程图。

由于模板匹配具有自身的局限性，主要表现在它只能进行平行移动，若原图像中的匹配目标发生旋转或大小变化，利用单纯的模板匹配不能得到很好的检测结果。

多目标匹配，即在目标图像中匹配出所有与模板图像匹配的结果。可以使用相关匹配或相关系数匹配。多目标匹配即对模板匹配的总结果计算情况的统计数据，使用for循环遍历，并设定一个判断标准。

本发明是针对工件上存在的多个待检测的产生多种情况导致模板变换的情况下，对目标进行模板匹配检测。多模板匹配，可以理解为对待检测图像进行了多次的单模板的匹配过程。

如图4所示，图4(a)为现有算法未对图像进行增强，且单模板匹配结果；图4(b)为本发明算法结果。在同一条件下，将本发明算法和现有方法进行分析对比，发现本发明算法能减少漏检数，提高检测精度。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于多模板的单目标检测方法，其特征在于，该方法具体包括以下步骤：

S1：获取同一检测目标各个场景下对应目标的模板图像；

S2：形成和选取多模板图像；

S3：根据实际应用场景，采用图像金字塔处理方法对待检测图像进行图像增强处理；

S4：利用多尺度模板匹配方法对模板图像和待检测图像进行粗匹配运算，得到初步匹配结果；再对模板图像和待检测图像进行旋转匹配，得到细化的匹配结果；最后对细化的匹配结果进行相似度排序，得到准确的匹配结果。

2.根据权利要求1所述的基于多模板的单目标检测方法，其特征在于，步骤S1中，获取模板图像，具体包括：对标准的模板图像进行缩放、旋转或光照增强变换处理，形成能够适应匹配各个场景的模板图像；根据实际待检测图像可能产生的各种情况，提取各类模板图像。

3.根据权利要求2所述的基于多模板的单目标检测方法，其特征在于，步骤S2中，形成和选取多模板图像，具体包括以下步骤：

S21：仔细观察实际待检测目标和标准模板的差距；

S22：对模板图像进行旋转、缩放和裁剪处理；

S23：在不同程度的部分遮挡下形成对应的待检测模板图像；

S24：在不同光照下形成对应的待检测模板图像；

S25：在不同角度下产生变形的待检测模板图像；

S26：形成待检测模板图像列表浮动区域。

4.根据权利要求3所述的基于多模板的单目标检测方法，其特征在于，步骤S24中，当存在有不同光线条件下的模板图像的情况，通过对模板图像灰度值变换处理得到新的模板图像，再与待检测图进行匹配，找出最佳匹配信息。

5.根据权利要求3所述的基于多模板的单目标检测方法，其特征在于，步骤S25中，当存在有不同角度的旋转模板图像的情况，通过对模板图像旋转处理得到新的模板图像，再与待检测图进行匹配，找出最佳匹配信息。

6.根据权利要求1所述的基于多模板的单目标检测方法，其特征在于，步骤S3中，当拍摄的图像存在因光照导致图像不清晰的情况，利用MSR算法对图像进行暗光增强处理。

7.根据权利要求1所述的基于多模板的单目标检测方法，其特征在于，步骤S3中，所述图像金字塔处理方法具体包括：采用拉普拉斯金字塔作为分层搜索策略提高待检测目标内包含的信息量，再进行模板匹配。

8.根据权利要求1所述的基于多模板的单目标检测方法，其特征在于，步骤S4中，将标准工件或数模图像作为模板图像，与增强后的待检测图像进行多尺度模板匹配对比，对于其中由拍摄角度或其他原因造成的误差，通过调节匹配置信度来改善，判断工件是否满足预先的设计需求；

其中，多尺度模板匹配是根据原始模板图像预先产生一系列不同尺度的模板，检测的时候，分别用产生的各个尺度的模板遍历图像，得到更适合相关系数更大的检测结果；

多尺度模板匹配的检测流程为：

(1)对待检测图像进行迭代处理，在每次迭代中，图像都会被调整大小并计算Canny边缘图；

(2)应用模板匹配，找到相关系数最大的图像的边界框坐标；

(3)计算得到模板匹配得到的最大的区域的坐标，然后绘制边界框。

9.根据权利要求8所述的基于多模板的单目标检测方法，其特征在于，步骤S4中，调节匹配置信度，具体包括以下步骤：

(1)根据区域上对应实际场景可能产生变化的概率形成相应的模板匹配置信度；

(2)根据模板置信度的不同，在待检测图像上搜索与模板列表中各个模板最相似的区域；

(3)通过计算各个模板在匹配区域在待检测图像上位置的坐标偏移，计算得到整体区域内待检测目标的坐标信息。

10.根据权利要求8所述的基于多模板的单目标检测方法，其特征在于，步骤S4中，在使用了不同置信度系数后，利用NMS算法去冗余，并且搜索出局部极大值的目标实现找到最优的结果；

在经过NMS去冗余后，得到实际各个待检测模板的坐标信息及对应位置；并根据各个位置上实际采用的模板情况，对模板区域进行划分。

Images