CN113378886B

CN113378886B - 一种自动训练形状匹配模型的方法

Info

Publication number: CN113378886B
Application number: CN202110528095.4A
Authority: CN
Inventors: 庹华; 袁顺宁; 张彪; 李亚楠; 韩峰涛; 耿旭达; 任赜宇; 张雷
Original assignee: Rokae Shandong Intelligent Technology Co ltd
Current assignee: Rokae Shandong Intelligent Technology Co ltd
Priority date: 2021-05-14
Filing date: 2021-05-14
Publication date: 2022-11-08
Anticipated expiration: 2041-05-14
Also published as: CN113378886A

Abstract

本发明提出了一种自动训练形状匹配模型的方法，包括：步骤S1，采集一张没有目标的图像；步骤S2，采集一张包含目标的图像；步骤S3，获取步骤S1和步骤S2采集的两张图像的多个差异区域；步骤S4，计算每个区域的最小外接矩形或椭圆形，以及其长轴与图像x轴形成的角度；步骤S5，针对所有差异区域提取边缘点，并计算每个边缘点基于灰度的梯度信息；步骤S6，随机选取一个差异区域中的边缘点训练初始模型；步骤S7，通过其他区域中的边缘点对上述模型进行修饰，得到适用于所有目标的模型；步骤S8，利用修改后的模型在步骤S2采集的图像中搜索目标，如果无法找到所有目标或到达最大迭代次数，则返回步骤S5，最后一次迭代得到的模型即为最终模型。

Description

一种自动训练形状匹配模型的方法

技术领域

本发明涉及图像定位处理技术领域，特别涉及一种自动训练形状匹配模型的方法。

背景技术

模板匹配是一种在图像中搜索另一幅图像(称之为模板图像)的技术，广泛用于在图像中定位目标。其基本思路为：首先根据模板图像的特征训练模型，然后在新的图像中利用模型信息搜索模板图像，最终得到目标在新的图像中的位置。

在当前机器视觉软件中，模板匹配是常用的功能，其第一步是获取模板图像然后训练模型。训练模型的流程为：1.将需要定位的目标放置于视野中并获取包含目标的图像；2.在图像中设置包含目标的ROI并将ROI中的部分作为模板图像；3.设置模型训练参数。上述过程要求人去参与ROI和参数的设置，相对繁琐且需要人了解参数的意义，无法实现模型训练的完全自动化。

模板匹配根据匹配原理的不同有多种匹配方法，《OCCLUSION,CLUTTER,ANDILLUMINATION INVARIANT OBJECT RECOGNITION》提出了一种工业级的模板匹配方法——基于形状的匹配(简称形状匹配)，在非线性光源变化以及存在遮挡、污损等情况下依然可以实现很好的识别。其基本原理为提取模板图像中的边缘点，并计算每个边缘点的梯度，利用所有边缘点所包含的位置和梯度信息以及目标可能发生的变化(平移、旋转和缩放)信息计算模型，随后在其他图像中搜索该模型。可见，该方法所需要设置的参数也比较多，需要一定的专业知识，具有较高的使用门槛。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种自动训练形状匹配模型的方法。

为了实现上述目的，本发明的实施例提供一种自动训练形状匹配模型的方法，包括如下步骤：

步骤S1，采集一张没有目标的图像；

步骤S2，采集一张包含目标的图像，其中，所述步骤S1采集的图像和步骤S2采集的图像的区别仅在于是否存在目标；

步骤S3，获取步骤S1和步骤S2采集的两张图像的多个差异区域；

步骤S4，计算每个区域的最小外接矩形或椭圆形；

步骤S5，针对所有差异区域提取边缘点，并计算每个边缘点基于灰度的梯度信息；

步骤S6，随机选取一个差异区域中的边缘点训练初始模型；

步骤S7，通过其他区域中的边缘点对上述模型进行修饰，得到适用于所有目标的模型；

步骤S8，利用修改后的模型在步骤S2采集的图像中搜索目标，如果无法找到所有目标或到达最大迭代次数，则返回步骤S5，最后一次迭代得到的模型即为最终模型。

进一步，所述步骤S3包括：

步骤S31，对两张图像逐像素作差并取绝对值，得到新的图像；

步骤S32，对所述新的图像进行二值化，得到二值化图像；

步骤S33，根据所述二值化图像中像素为255的点之间的连通关系，获得所述二值化图像中的多个连通域；所述多个连通域对应表示多个差异区域。

进一步，在所述步骤S31中，采用下式计算新的图像：

Image3(i,j)＝|Image1(i,j)-Image2(i,j)|

采用下式计算二值化图像：

Image4(i,j)＝|Image3(i,j)|>threshold？255:0,其中threshold为参数。

进一步，计算边缘点，并在边缘提取的过程中同时计算每个边缘点基于灰度的梯度信息。

进一步，在所述步骤S6中，所述训练初始模型，包括如下步骤：

步骤S61，确定该区域边缘点的中心点；

步骤S62，计算该区域边缘点相对该中心点的位置；

步骤S63，将该区域边缘点绕该中心点以固定步长进行旋转，计算每次旋转后所有新的边缘点位置和梯度，新的边缘点信息构成一个新的集合；

步骤S64，所有旋转后的集合信息构成初始模型。

进一步，在所述步骤S61中，使用该区域最小外接矩形或椭圆形的中心作为边缘点的中心点。

进一步，所述步骤S7，包括：

步骤S71，从其他区域中选择另一个区域，计算该区域中心点；

步骤S72，根据当前区域的最小外接矩形或椭圆形的角度选择初始模型中与该角度匹配的模型边缘点集合，该角度成为初始角度θ；

步骤S73，计算匹配分数s_0；

步骤S74，选择初始模型中与上述初始角度大一个角度步长的模型边缘点集合；

步骤S75，重复步骤S73，计算新的匹配分数s_1，若s_1>s_0，则重复步骤S74和步骤S75 n次，直至s_n<s_n-1；

步骤S76，反向选择初始模型中与上述初始角度小一个角度步长的模型边缘点集合；

步骤S77，重复步骤S73，计算新的匹配分数s_-1，若s_-1>s_0，则重复步骤S76和步骤S77 m次，直至s_-m<s_-m+1；

步骤S78，在该区域中心点附近k*k的领域重复步骤S72至步骤S77；

步骤S79，选择所有s0、s_n-1和s_-m+1中最大值对应的角度α以及中心点在k*k区域中的位置偏移l；

步骤S80，将α和l，重新计算每个点的梯度向量点积，并删除初始模型中梯度向量点积小于一定阈值的点；

步骤S81，选择剩下区域中的下一个区域，重复步骤S72至步骤S80。

根据本发明实施例的自动训练形状匹配模型的方法，具有以下有益效果：通过只拍摄两张图像即可实现形状匹配模型的自动化训练。

1、提升形状匹配的易用性，降低使用门槛。用户只需要获取两张图像即可，一张无目标图像和一张含有单个或多个目标的图像。

2、实现参数的自动化设置，降低视觉程序配置的工作量。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的自动训练形状匹配模型的方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明提出一种自动确定形状匹配所需训练模型的方法，简化了参数的设置，实现了模型训练的自动化。

需要说明的是，本发明的实现法需要以下硬件模块：

(1)相机(含镜头)。相机配合镜头用来采集图像，相机可以通过各种通信方式与处理器通信。

(2)处理器。处理器包含CPU、内存和硬盘等，用来处理图像和训练模型。

(3)人机交互设备。人机交互设备包含键盘、鼠标和显示器，用来输入指令和显示结果，其与处理器连接。

如图1所示，本发明实施例的自动训练形状匹配模型的方法，包括如下步骤：

步骤S1，采集一张没有目标的图像。

将相机等设备根据实际的环境安装好后，触发相机采集采集一张没有目标的图像。

步骤S2，采集一张包含目标的图像，其中，步骤S1采集的图像和步骤S2采集的图像的区别仅在于是否存在目标。

将单个或多个目标放置于视野中并采集包含有目标的图像，并保证该图像与上一张图像之间的差异仅为是否存在目标。两次拍摄应具有相同的拍摄环境，使用相同的相机以及具有相同的图像采集参数(曝光等)。

步骤S3，获取步骤S1和步骤S2采集的两张图像的多个差异区域。

采用下式计算新的图像：

Image3(i,j)＝|Image1(i,j)-Image2(i,j)|

步骤S32，对新的图像进行二值化，得到二值化图像；

采用下式计算二值化图像：

Image4(i,j)＝|Image3(i,j)|>threshold？255:0

步骤S33，根据二值化图像中像素为255的点之间的连通关系，获得二值化图像中的多个连通域；多个连通域对应表示多个差异区域。

具体的，根据二值化图像中像素为255的点之间的连通关系(8连通或者4连通)获得二值化图像中的连通域。这些连通域代表了步骤S2放置的目标在第二张图像上的显示区域。

步骤S4，计算每个区域的最小外接矩形或椭圆形，以及其长轴与图像x轴形成的角度。

步骤S5，针对所有差异区域提取边缘点，并计算每个边缘点基于灰度的梯度信息；。

在本发明的实施例中，计算边缘点，并在缘提取的过程中同时计算每个边缘点基于灰度的梯度信息。

优选的，可以采用canny边缘提取法计算边缘点，在canny边缘提取过程中同时计算每个边缘点基于灰度的梯度信息。

具体的，在上述所有的区域中提取边缘点，提取边缘点的方法可以使用canny边缘提取法，提取边缘点的参数在合理范围内随机选择。求取每个边缘点基于灰度的梯度，因为canny边缘提取法也会用到梯度信息，所以这一步可以在canny边缘提取的过程中同时计算。

步骤S6，随机选取一个差异区域中的边缘点训练初始模型。

步骤S61，确定该区域边缘点的中心点；

在本步骤中，使用该区域最小外接矩形或椭圆形的中心作为边缘点的中心点。

步骤S62，计算该区域边缘点相对该中心点的位置；

在本步骤中，以固定步长进行旋转，例如为：以0.1°为间隔从0°旋转至360°。

步骤S64，所有旋转后的集合信息构成初始模型。

步骤S7，通过其他区域中的边缘点对上述模型进行修饰，得到适用于所有目标的模型。

步骤S71，从其他区域中选择另一个区域，计算该区域中心点。需要说明的是，计算方式与步骤S61中的计算中心点的方式保持一致。

步骤S73，计算匹配分数s_0；

具体的，根据《OCCLUSION,CLUTTER,AND ILLUMINATION INVARIANT OBJECTRECOGNITION》中的公式，计算匹配分数s_0：

步骤S75，重复步骤S73，计算新的匹配分数s_1，若s_1>s_0，则重复步骤S74和步骤S75,n次，直至s_n<s_n-1；

步骤S77，重复步骤S73，计算新的匹配分数s_-1，若s_-1>s_0，则重复步骤S76和步骤S77，m次，直至s_-m<s_-m+1；

2、实现参数的自动化设置，降低视觉程序配置的工作量。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims

1.一种自动训练形状匹配模型的方法，其特征在于，包括如下步骤：

步骤S1，采集一张没有目标的图像；

步骤S4，计算每个区域的最小外接矩形或椭圆形，以及其长轴与图像x轴形成的角度；

步骤S6，随机选取一个差异区域中的边缘点训练初始模型；所述训练初始模型，包括如下步骤：

步骤S61，确定该区域边缘点的中心点；

步骤S62，计算该区域边缘点相对该中心点的位置；

步骤S64，所有旋转后的集合信息构成初始模型；

步骤S7，通过其他区域中的边缘点对上述模型进行修饰，得到适用于所有目标的模型；所述步骤S7，包括：

步骤S73，计算匹配分数s_0；

步骤S75，重复步骤S73，计算新的匹配分数s_1，若s_1>s_0，则重复步骤S74和步骤S75n次，直至s_n<s_n-1；

步骤S78，在该区域中心点附近k*k的领域重复步骤S72至步骤S77，其中k为参数；

步骤S79，选择所有s0、s_n-1和s_-m+1中最大值对应的角度α以及中心点在k*k 区域中的位置偏移l；

步骤S81，选择剩下区域中的下一个区域，重复步骤S72至步骤S80；

2.如权利要求1所述的自动训练形状匹配模型的方法，其特征在于，所述步骤S3包括：

步骤S32，对所述新的图像进行二值化，得到二值化图像；

3.如权利要求2所述的自动训练形状匹配模型的方法，其特征在于，在所述步骤S31中，采用下式计算新的图像：

Image3(i,j)＝|Image1(i,j)-Image2(i,j)|

采用下式计算二值化图像：

Image4(i,j)＝|Image3(i,j)|>threshold？255:0,其中threshold为阈值参数。

4.如权利要求1所述的自动训练形状匹配模型的方法，其特征在于，在所述步骤S5中，计算边缘点，并在边缘提取的过程中同时计算每个边缘点基于灰度的梯度信息。

5.如权利要求1所述的自动训练形状匹配模型的方法，其特征在于，在所述步骤S61中，使用该区域最小外接矩形或椭圆形的中心作为边缘点的中心点。