CN113592931B

CN113592931B - 一种应用于工业图像的快速配准方法

Info

Publication number: CN113592931B
Application number: CN202111155236.9A
Authority: CN
Inventors: 曾涛
Original assignee: Shenzhen Huitu Technology Co ltd
Current assignee: Shenzhen Huitu Technology Co ltd
Priority date: 2021-09-30
Filing date: 2021-09-30
Publication date: 2022-03-01
Anticipated expiration: 2041-09-30
Also published as: CN113592931A

Abstract

本发明公开了一种应用于工业图像的快速配准方法，包括以下步骤：S100：在标准图中选择特定区域，并为特定区域手动设置对应的参照ROI；S200：设置缩放系数，对手动设置了参照ROI的标准图进行缩放得到第一缩放图，此时标准图内的参照ROI也对应缩放；应用canny算子对第一缩放图的边缘点进行提取；S300：在测试图上做匹配搜索；S400：设置同步骤S200中相同的缩放系数将测试图进行缩放得到第二缩放图，基于步骤S300中做匹配搜索时的匹配搜索范围在第二缩放图中进行初步匹配位置的确认；S500：对步骤S400得到的匹配位置进行精细化矫正得到最佳匹配位置；S600：根据步骤S500中的最佳匹配位置建立匹配坐标系，在测试图中进行其他位置的匹配。

Description

一种应用于工业图像的快速配准方法

技术领域

本发明涉及图像配准技术领域，具体为一种应用于工业图像的快速配准方法。

背景技术

图像配准技术的目的是在目标图中找到标准图中对应的位置，在工业视觉中应用非常广泛，目前市场上的图像配准算法主要基于两个方向：基于模板匹配，模板匹配（Blocking Matching）是根据已知模板图像到另一幅图像中寻找与模板图像相似的子图像，该技术只能应用于图像旋转度和局部拉伸度不大的图像，在这类图像上能实现比较准确的匹配效果，通用性比较高；但是对于图像存在旋转和拉伸的情况不能实现比较准确的匹配，模板匹配灵活性比较差并且搜索范围太多导致匹配的耗时比较长；基于特征匹配，实现特征匹配首先提取图像的特征，再生成特征描述子，最后根据描述子的相似程度对两幅图像的特征之间进行匹配，图像的特征主要可以分为点、线（边缘）、区域（面）等特征，也可以分为局部特征和全局特征，区域（面）特征提取比较麻烦且耗时，因此主要用点特征和边缘特征，该技术可以应用于图像存在旋转和局部拉伸的复杂情况，但是在提取图像特征的过程中往往比较耗时，而且提取的某一种特征往往只能适用于特定场景的图像，提取局部特征容易受到噪声干扰，导致匹配的鲁棒性不够高。

基于上述问题，亟于提出一种应用于工业图像的快速配准方法，本发明的技术关键点在于手动设置参照ROI和建立匹配坐标系，基本原理就是在一张标准图上选取若干个ROI作为参照物为匹配参照ROI，在测试图中匹配得到对应的匹配参照ROI，然后根据匹配参照ROI，建立匹配坐标系，从而进一步得到其他需要匹配的位置，本方法通用性高，效率高，匹配精度高。

发明内容

本发明的目的在于提供一种应用于工业图像的快速配准方法，以解决上述背景技术中提出的问题。

为了解决上述技术问题，本发明提供如下技术方案：一种应用于工业图像的快速配准方法，其特征在于，配准方法包括以下步骤：

S100：在标准图中选择特定区域，并为特定区域手动设置参照ROI；参照ROI的类型包括a类参照ROI、b类参照ROI、c类参照ROI；

S200：设置缩放系数，对手动设置了参照ROI的标准图进行缩放得到第一缩放图，此时标准图内的参照ROI也对应缩放；应用canny算子对第一缩放图的边缘点进行提取；

S300：对应于在标准图中设置的参照ROI的位置，在测试图中也有相对应的参照ROI；在测试图中以所有参照ROI形成的点集的中心点作为搜索中心，基于搜索中心在测试图上做匹配搜索；并对匹配搜索进行范围限制从而得到匹配搜索范围；

S400：设置同步骤S200中相同的缩放系数将测试图进行缩放得到第二缩放图，基于步骤S300中得到的匹配搜索范围在第二缩放图中对初步匹配位置进行确认；初步匹配位置包括初步匹配角度和初步匹配位移；

S500：对步骤S400得到的初步匹配位置进行精细化矫正得到最佳匹配位置；最佳匹配位置包括最佳匹配角度和最佳匹配位移；

S600：根据步骤S500中得到的最佳匹配位置建立匹配坐标系，在测试图中进行其他位置的匹配；

上述步骤S100能实现结合人为因素选择合适的参照ROI，不依赖特定哪一种图像局部特征，手动设置参照ROI并且将多种类别的参照ROI结合，充分发掘图像自身有利于配准的相关要素，能够大大加强匹配的通用性；上述方法采用最原始的边缘点和自身图像采样点颜色比对的思想，并且参照ROI添加了旋转匹配处理和最后的精细化矫正处理，可以很好地应对图像旋转和局部拉伸的情况。

进一步的，步骤S100中手动设置的参照ROI因为所选择的特定区域具有不同特征所以设置的参照ROI类别也不同；a类参照ROI专门用于颜色比对；b类参照ROI用于建立匹配坐标系；c类参照ROI用于辅助匹配；

a类参照ROI具有包括以下特点：参照ROI内无边缘点；参照ROI内的颜色值分布均匀，且参照ROI内的平均颜色值与附近区域的颜色值差异性大于差异阈值；

b类参照ROI具有包括以下特点：参照ROI内具有多个边缘点；参照ROI内的颜色值分布不均匀，且参照ROI内的颜色值分布特点与附近区域的颜色值分布特点之间的差异性大于差异阈值；

c类参照ROI具有包括以下特点：参照ROI内具有多个边缘点；参照ROI内的边缘点个数多于该参照ROI左右或者上下区域；

在上述中，设置a类参照ROI是基于图像的颜色标识特性出发，有利于在匹配过程中可以过滤掉很多颜色比对不达标的匹配搜索范围，在实际操作中该类ROI的大小往往设置比较小；设置b类参照ROI是一种稳定的设置方案，当没有出现符合设置a类参照ROI和c类参照ROI时可以通过设置b类参照ROI完成图像配准；设置c类参照ROI也可以实现在匹配过程中过滤掉很多边缘点个数不达标的匹配搜索范围。

进一步的，在手动设置参照ROI的过程中，对于不同类的参照ROI具有不同的设置要求，其中对于a类参照ROI和c类参照ROI没有个数限制，而对于b类参照ROI在每次手动设置参照ROI的过程中是必须要设置的。

进一步的，步骤S200中还包括对三类参照ROI的不同处理步骤，处理步骤包括以下：

S201：对于a类参照ROI的对应缩放ROI，计算对应缩放ROI在第一缩放图中的平均颜色值；

S202：对于b类参照ROI的对应缩放ROI，提取对应缩放ROI在第一缩放图中的采样点，并且计算该ROI位于缩放图中的边缘点个数，然后再对该ROI提取对应于标准图上的采样点；

S203：对于c类参照ROI的对应缩放ROI，提取对应缩放ROI在缩放图中的采样点，并且计算该ROI位于缩放图中的边缘点个数，然后再对该ROI提取对应于标准图上的采样点。

进一步的，步骤S300在测试图上做匹配搜索包括以下步骤：

S301：在测试图中将所有的参照ROI围绕搜索中心以不同的匹配角度进行匹配旋转，匹配角度满足匹配旋转的角度阈值范围；

S302：在测试图中将匹配旋转后的参照ROI以上下左右不同的匹配位移进行匹配平移。

进一步的，步骤S300中对匹配搜索进行范围限制包括：

对于a类参照ROI，标准图上参照ROI的平均颜色值与测试图上对应搜索位置上的参照ROI的平均颜色值之间的颜色值差需小于颜色差别阈值；

对于b类参照ROI和c类参照ROI，在测试图中计算所有b类参照ROI和c类参照ROI所组成的外接矩形内的边缘点个数，测试图中每个参照ROI的边缘点个数要大于标准图中对应参照ROI的边缘点个数的一半；

通过对搜索匹配范围进行范围限制可以实现减少了搜索范围，从而减少后续的匹配时间，提升匹配效率。

进一步的，步骤S400中对初步匹配位置确认的步骤包括：

S401：标准图上参照ROI内的采样点在进行不同匹配角度和匹配位移的匹配搜索时，在测试图上都有对应的采样点；在第二缩放图中将所有b类参照ROI和c类参照ROI内对应的采样点以同样的匹配角度和匹配位移进行旋转和平移；

S402：将第一缩放图与第二缩放图进行比对，计算第一缩放图和第二缩放图上每一个对应采样点之间的颜色差；

S402：将所有采样点的颜色差求总和作为该匹配位置的匹配差；

S403：选取匹配差最小的位置作为初步匹配位置，此时得到初步匹配位置对应的匹配角度和匹配位移，并将匹配角度和匹配位移定义为初步匹配角度和初步匹配位移。

进一步的，步骤S500中的精细化矫正包括以下处理步骤：

S501：将标准图中的b类参照ROI内提取的采样点围绕步骤S300中得到的搜索中心按照步骤S400中得到的初步匹配角度进行旋转，同时在初步匹配位移的基础上，进行小范围位移波动；

S502：将经过步骤S501后标准图上的每一个采样点与测试图上对应的每一个采样点进行颜色差的求取；

S503：将所有采样点的颜色差求总和作为该匹配位置的匹配差；

S504：选取匹配差总和最小的位置作为精细化矫正后的最佳匹配位置，此时得到最佳匹配位置对应的匹配角度和匹配位移，并将匹配角度和匹配位移定义为最佳匹配角度和最佳匹配位移。

进一步的，步骤S600中建立匹配坐标系匹配其他位置的过程中包括两种方法：

SS1：将最佳匹配角度和最佳匹配位移直接应用于测试图中的其他位置，将位置内的采样点围绕步骤S300中得到的搜索中心按照最佳匹配角度进行旋转匹配，再接着按照最佳匹配位移进行平移匹配；

SS2：对标准图中的b类参照ROI求最外接矩形，选取最外接矩形的四个顶点作为标准图的四个坐标顶点，其中，每个坐标顶点会与各自相邻的其他b类参照ROI形成位置对应关系，利用位置对应关系可以在测试图中得到对应的四个坐标顶点，四个坐标顶点可组成一个四边形；

上述方法SS1有利于当图像局部拉伸不明显时对图像进行配准，上述方法SS2有利于当图像出现局部拉伸时对图像进行配准。

进一步的，在两种方法中对于在标准图中设置b类参照ROI的个数具有不同的要求，其中在方法SS1中b类参照ROI的个数至少是一个；在方法SS2中b类参照ROI的个数至少是四个，即在标准图的左上、左下、右上、右下至少各设置一个。

与现有技术相比，本发明所达到的有益效果是：本发明应用范围广泛，通用性高，匹配效率高，本发明无论对大图还是小图，或者背景干扰大的图像，都能取得相当不错的匹配效率；同时本发明通过对标准图进行初步缩放，在缩放后的小图上进行初次匹配，再通过颜色差筛选和边缘点个数达标筛选，能够过滤掉大部分匹配搜索范围，大大降低匹配时间。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明一种应用于工业图像的快速配准方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供技术方案：一种应用于工业图像的快速配准方法，配准方法包括以下步骤：

其中，步骤S100中手动设置的参照ROI因为所选择的特定区域具有不同特征所以设置的参照ROI类别也不同；参照ROI的类型分为包括a类参照ROI、b类参照ROI、c类参照ROI；a类参照ROI专门用于颜色比对；b类参照ROI用于建立匹配坐标系；c类参照ROI用于辅助匹配；

其中，在手动设置参照ROI的过程中，对于不同类的参照ROI具有不同的设置要求，其中对于a类参照ROI和c类参照ROI没有个数限制，而对于b类参照ROI在每次手动设置参照ROI的过程中是必须要设置的；

其中，步骤S200中还包括对三类参照ROI的不同处理步骤，处理步骤包括以下：

S203：对于c类参照ROI的对应缩放ROI，提取对应缩放ROI在缩放图中的采样点，并且计算该ROI位于缩放图中的边缘点个数，然后再对该ROI提取对应于标准图上的采样点；

其中，在测试图上做匹配搜索包括以下步骤：

S301：对应于在标准图中设置的参照ROI的位置，在测试图中也有相对应的参照ROI；在测试图中以所有参照ROI形成的点集的中心点作为搜索中心；

S302：在测试图中将所有的参照ROI围绕搜索中心以不同的匹配角度进行匹配旋转，匹配角度满足匹配旋转的角度阈值范围；

S303：在测试图中将匹配旋转后的参照ROI以上下左右不同的匹配位移进行匹配平移；

其中，搜索匹配范围具有范围限制，范围限制如下：

其中，步骤S400中得到初步匹配位置的步骤包括：

S402：将第一缩放图与第二缩放图进行比对，通过计算第一缩放图和第二缩放图上每一个对应采样点之间的颜色差；

S403：选取匹配差最小的位置作为初步匹配位置，此时得到初步匹配位置对应的旋转角度和平移为初步匹配角度和初步匹配位移；

其中，步骤S500中的精细化矫正包括以下处理步骤：

S501：将标准图中的b类参照ROI内提取的采样点围绕步骤S300中得到的搜索中心按照步骤S400中初步得到的初步匹配角度进行旋转，同时在初步匹配位移的基础上，进行小范围位移波动；

S503:将所有采样点的颜色差求总和作为该匹配位置的匹配差；

S504：选取匹配差总和最小的位置作为精细化矫正后的最佳匹配位置，此时得到最佳匹配位置对应的旋转角度和平移为最佳匹配角度和最佳匹配位移；

其中，建立匹配坐标系匹配其他位置的过程中包括两种方法：

SS1：将最佳匹配角度和最佳匹配位移直接应用于测试图中的其他位置，将位置内的采样点围绕步骤S300中得到的搜索中心进行旋转匹配，再接着按照最佳匹配位移进行平移匹配；

SS2：对标准图中的b类参照ROI求最外接矩形，选取最外接矩形的四个顶点作为标准图的四个坐标顶点，其中，每个坐标顶点会与各自相邻的其他b类参照ROI形成位置对应关系，利用该位置对应关系可以在测试图中得到对应的四个坐标顶点，四个坐标顶点可组成一个四边形；假如标准图中某一被匹配点为PointTemp，计算出标准图中与PointTemp最近的一个横边和一条竖边，然后从PointTemp分别延伸两条与横边和竖边平行的直线分别与竖边和横边相交形成两个点，该两个点可以利用位置比例关系在测试图中的对应两条边上计算出来，测试图中对应横边中的点延伸一条直线与对应竖边平行，对应竖边中的点延伸一条直线与对应横边平行，两条直线相交的点就是测试图中匹配出来的点；

其中，在上述方法中对于在标准图中设置b类参照ROI的个数具有不同的要求，其中在方法SS1中b类参照ROI的个数至少是一个；在方法SS2中b类参照ROI的个数至少是四个，即在标准图的左上、左下、右上、右下至少各设置一个。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种应用于工业图像的快速配准方法，其特征在于，所述配准方法包括以下步骤：

S100：在标准图中选择特定区域，并为所述特定区域手动设置参照ROI；所述参照ROI的类型包括a类参照ROI、b类参照ROI、c类参照ROI；手动设置的参照ROI因为所选择的特定区域具有不同特征所以设置的参照ROI类别也不同；所述a类参照ROI专门用于颜色比对；所述b类参照ROI用于建立匹配坐标系；所述c类参照ROI用于辅助匹配；

所述a类参照ROI具有包括以下特点：参照ROI内无边缘点；参照ROI内的颜色值分布均匀，且参照ROI内的平均颜色值与附近区域的颜色值差异性大于差异阈值；

所述b类参照ROI具有包括以下特点：参照ROI内具有多个边缘点；参照ROI内的颜色值分布不均匀，且参照ROI内的颜色值分布特点与附近区域的颜色值分布特点之间的差异性大于差异阈值；

所述c类参照ROI具有包括以下特点：参照ROI内具有多个边缘点；参照ROI内的边缘点个数多于该参照ROI左右或者上下区域；

S200：设置缩放系数，对手动设置了参照ROI的标准图进行缩放得到第一缩放图，此时标准图内的参照ROI也对应缩放；应用canny算子对所述第一缩放图的边缘点进行提取；

S300：对应于在标准图中设置的参照ROI的位置，在测试图中也有相对应的参照ROI；在测试图中以所有参照ROI形成的点集的中心点作为搜索中心，基于所述搜索中心在测试图上做匹配搜索；并对所述匹配搜索进行范围限制从而得到匹配搜索范围；

S400：设置同步骤S200中相同的缩放系数将测试图进行缩放得到第二缩放图，基于步骤S300中得到的匹配搜索范围在所述第二缩放图中对初步匹配位置进行确认；所述初步匹配位置包括初步匹配角度和初步匹配位移；

S500：对步骤S400得到的初步匹配位置进行精细化矫正得到最佳匹配位置；所述最佳匹配位置包括最佳匹配角度和最佳匹配位移；

S600：根据步骤S500中得到的最佳匹配位置建立匹配坐标系，在测试图中进行其他位置的匹配。

2.根据权利要求1所述的一种应用于工业图像的快速配准方法，其特征在于：在手动设置参照ROI的过程中，对于不同类的参照ROI具有不同的设置要求，其中对于所述a类参照ROI和所述c类参照ROI没有个数限制，而对于所述b类参照ROI在每次手动设置参照ROI的过程中是必须要设置的。

3.根据权利要求1所述的一种应用于工业图像的快速配准方法，其特征在于：步骤S200中还包括对三类参照ROI的不同处理步骤，所述处理步骤包括以下：

4.根据权利要求1所述的一种应用于工业图像的快速配准方法，其特征在于：步骤S300在测试图上做匹配搜索包括以下步骤：

S301：在测试图中将所有的参照ROI围绕所述搜索中心以不同的匹配角度进行匹配旋转，所述匹配角度满足匹配旋转的角度阈值范围；

5.根据权利要求1所述的一种应用于工业图像的快速配准方法，其特征在于：步骤S300中对匹配搜索进行范围限制包括：

对于b类参照ROI和c类参照ROI，在测试图中计算所有b类参照ROI和c类参照ROI所组成的外接矩形内的边缘点个数，测试图中每个参照ROI的边缘点个数要大于标准图中对应参照ROI的边缘点个数的一半。

6.根据权利要求1所述的一种应用于工业图像的快速配准方法，其特征在于：步骤S400中对初步匹配位置确认的步骤包括：

S403：选取匹配差最小的位置作为初步匹配位置，此时得到所述初步匹配位置对应的匹配角度和匹配位移，并将所述匹配角度和匹配位移定义为初步匹配角度和初步匹配位移。

7.根据权利要求1所述的一种应用于工业图像的快速配准方法，其特征在于：步骤S500中的精细化矫正包括以下处理步骤：

S501：将标准图中的b类参照ROI内提取的采样点围绕步骤S300中得到的所述搜索中心按照步骤S400中得到的所述初步匹配角度进行旋转，同时在所述初步匹配位移的基础上，进行小范围位移波动；

S504：选取匹配差总和最小的位置作为精细化矫正后的最佳匹配位置，此时得到所述最佳匹配位置对应的匹配角度和匹配位移，并将所述匹配角度和匹配位移定义为最佳匹配角度和最佳匹配位移。

8.根据权利要求1所述的一种应用于工业图像的快速配准方法，其特征在于：步骤S600中建立匹配坐标系匹配其他位置的过程中包括两种方法：

SS2：对标准图中的b类参照ROI求最外接矩形，选取所述最外接矩形的四个顶点作为所述标准图的四个坐标顶点，其中，每个所述坐标顶点会与各自相邻的其他b类参照ROI形成位置对应关系，利用所述位置对应关系可以在测试图中得到对应的四个坐标顶点，四个坐标顶点可组成一个四边形。

9.根据权利要求8所述的一种应用于工业图像的快速配准方法，其特征在于：在两种方法中对于在标准图中设置b类参照ROI的个数具有不同的要求，其中在方法SS1中b类参照ROI的个数至少是一个；在方法SS2中b类参照ROI的个数至少是四个，即在所述标准图的左上、左下、右上、右下至少各设置一个。