CN114638824B - 基于aoi设备采集图像的融合方法、装置、设备和介质 - Google Patents

Abstract

本申请实施例公开了一种基于AOI设备采集图像的融合方法、装置、设备和介质，该方法获取AOI设备连续采集的若干待融合图像；基于相邻两张待融合图像的初始重叠区域大小和所述AOI设备的移动误差，获得相邻两张所述待融合图像的重叠区域以及所述重叠区域对应的第一重叠区域图像和第二重叠区域图像；根据所述移动误差和所述重叠区域内的像素点数量，分别对所述第一重叠区域图像中的像素点和所述第二重叠区域图像中的像素点进行加权；将加权后的第一重叠区域图像和加权后的第二重叠区域图像进行融合，以获得相邻两张所述待融合图像的拼接图像。解决了现有图像融合效率低的技术问题。

Description

基于AOI设备采集图像的融合方法、装置、设备和介质

技术领域

本申请涉及图像融合技术领域，尤其涉及一种基于AOI设备采集图像的融合方法、装置、设备和介质。

背景技术

AOI（Automated Optical Inspection缩写）自动光学检测设备是基于光学原理对焊接生产过程中的常见缺陷进行检测的设备。由于检测要求精度较高，单个相机视野并不能完整的拍完所有PCB板，需要拍摄多个Fov图像进行拼接融合。现有的拼接融合方法效率都比较低。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本申请实施例提供了一种基于AOI设备采集图像的融合方法、装置、设备和介质，解决了现有方法中针对大规模的企业产业链分类时准确性较低的技术问题。

一方面，本申请实施例提供了一种基于AOI设备采集图像的融合方法，包括：

获取AOI设备连续采集的若干待融合图像；

基于相邻两张待融合图像的初始重叠区域大小和所述AOI设备的移动误差，获得相邻两张所述待融合图像的重叠区域以及所述重叠区域对应的第一重叠区域图像和第二重叠区域图像；其中，所述移动误差基于利用所述AOI设备对标定板图像的处理获得；

根据所述移动误差和所述重叠区域内的像素点数量，分别对所述第一重叠区域图像中的像素点和所述第二重叠区域图像中的像素点进行加权；

将加权后的第一重叠区域图像和加权后的第二重叠区域图像进行融合，以获得相邻两张所述待融合图像的拼接图像。

可选地，所述获取AOI设备连续采集的若干待融合图像的步骤之前，还包括：

获取所述AOI设备按照预设移动步长连续采集的标定板的若干Fov图像；其中，所述标定板上包括阵列排布的若干预设形状区域；所述预设移动步长基于利用所述AOI设备对标定板图像的处理获得，所述预设移动步长为所述标定板上相邻两个预设形状区域的中心之间距离的整数倍；

分别获取相邻两张所述Fov图像之间各预设形状区域的中心之间的最小距离；

基于相邻两张所述Fov图像之间各预设形状区域的中心之间的最小距离，获得所述移动误差。

在该实施方式中，利用AOI设备按照标定板上相邻两个预设形状区域的中心之间距离的整数倍的移动步长对标定板进行拍摄，由于AOI设备的预设移动步长为标定板上相邻两个预设形状区域的中心之间距离的整数倍。因此，理论上如果没有移动误差，则相邻两张所述Fov图像的尺寸相同，重合后，其上的部分或全部预设形状区域应该重合。而由于移动误差的存在，重合后两张Fov图像上的部分或全部预设形状区域并没有完全重合，而是存在一定偏差。而各预设形状区域的中心之间的最小距离则可以从一定程度上代表该偏差。因此，该实施方式中，利用巧妙的移动步长的设置与最小圆心计算的方法，科学的计算出准确的移动误差，对后续图像融合获得更好的效果提供了支持。

可选地，所述预设形状区域为圆形区域；

所述分别获取两张所述Fov图像之间各预设形状区域的中心之间的最小距离的步骤，包括：

分别获取相邻两张所述Fov图像中各圆形区域的圆心；

基于相邻两张所述Fov图像中各圆形区域的圆心，获取相邻两张所述Fov图像之间最小的多个圆心距离；

所述基于相邻两张所述Fov图像之间各预设形状区域的中心之间的最小距离，获得所述移动误差的步骤，包括：

基于相邻两张所述Fov图像之间最小的多个圆心距离的平均值，获得所述移动误差。

在该实施方式中，圆形区域便于中心的确定，通过圆拟合即可得到。另外，求多个最小圆心距离的平均值可以更准确的获得移动误差。

可选地，所述获取所述AOI设备按照预设移动步长连续采集的标定板的若干Fov图像的步骤之前，还包括：

获取所述标定板的标定板图像；

根据标定板图像，获得所述AOI设备的相机的内参系数矩阵和畸变矩阵；

基于所述内参系数矩阵和所述畸变矩阵，对所述标定板图像进行校正，以获得校正图像；

基于所述校正图像，获得所述相机的镜头分辨率；

基于所述镜头分辨率和所述校正图像，获得所述AOI设备的预设移动步长。

在该实施方式中，根据理论的方法基于对标定板图像的处理获得预设移动步长，有理论依据可以获得准确且有利于后续计算移动误差的预设移动步长。

可选地，所述根据标定板图像，获得所述AOI设备的相机的内参系数矩阵和畸变矩阵的步骤，包括：

将所述标定板图像灰度处理，获得灰度图像；

对所述灰度图像进行二值化处理，获得黑白图像；

基于所述黑白图像中圆形区域的轮廓进行圆拟合，并获得各圆形区域对应的圆心；

基于所述黑白图像中各圆形区域对应的圆心，利用标定算法获得所述AOI设备的相机的内参系数矩阵和畸变矩阵。

可选地，所述基于所述镜头分辨率和所述校正图像，获得所述AOI设备的预设移动步长的步骤，包括：

根据如下关系式，获得所述AOI设备的预设移动步长：

step=Floor(size/circledistance)*circledistance

其中，step表示预设移动步长；size=Fovsize*Actual，size表示所述相机拍摄的视场角图的物理尺寸，Fovsize为所述相机拍摄的视场角图的像素尺寸，Actual为所述相机的镜头分辨率；circledistance表示标定板中各预设形状区域的中心之间的距离，Floor()表示向上取整。

在该实施方式中，根据理论的方法基于对标定板图像的处理获得预设移动步长，有理论依据可以获得准确且有利于后续计算移动误差的预设移动步长。

可选地，所述分别获取相邻两张所述Fov图像之间各预设形状区域的中心之间的最小距离的步骤之前，还包括：

利用所述标定板的偏移角度、所述内参系数矩阵和所述畸变矩阵，对相邻两张所述Fov图像进行校正，获得两张校正后的Fov图像；

所述分别获取相邻两张所述Fov图像之间各预设形状区域的中心之间的最小距离的步骤，包括：

分别获取相邻两张所述校正后的Fov图像之间各预设形状区域的中心之间的最小距离。

在该实施方式中，在两张Fov图像重合后之间各预设形状区域的中心之间的最小距离的求解前，先进行畸变校正和角度校正。一方面，畸变校正可以使得标定板图像中图案的畸变得到改善，便于后续进行圆心拟合时的准确性，另一方面，角度校正可以使得图像中的矩阵图案与图像的位置关系更正，便于后续重合进行高效的最小圆心距离计算。

可选地，所述利用所述标定板的偏移角度、所述内参系数矩阵和所述畸变矩阵，对相邻两张所述Fov图像进行校正，获得两张校正后的Fov图像的步骤之前，还包括：

利用所述校正图像，获得所述标定板的偏移角度。

可选地，所述基于相邻两张待融合图像的初始重叠区域大小和所述AOI设备的移动误差，获得相邻两张所述待融合图像的重叠区域以及所述重叠区域对应的第一重叠区域图像和第二重叠区域图像的步骤，包括：

利用如下关系式，获得相邻两张所述待融合图像的重叠区域的像素坐标；

overlap=(size-step)/Actual+error(FovID,FovID-1)

其中，step表示预设移动步长，size表示所述相机拍摄的视场角图的物理尺寸，Actual为所述相机的镜头分辨率；FovID,FovID-1表示相邻两张所述待融合图像，error(FovID,FovID-1)表示移动误差对应产生的像素坐标误差值；

基于相邻两张所述待融合图像的重叠区域的像素坐标，获得所述第一重叠区域图像和所述第二重叠区域图像。

在该实施方式中，重叠区域通过理论的方法计算获得，且其理论基础为前述移动误差的理论计算方法，使得重叠区域的获得效率更高。

可选地，所述根据所述移动误差和所述重叠区域内的像素点数量，分别对所述第一重叠区域图像中的像素点和所述第二重叠区域图像中的像素点进行加权的步骤，包括：

在所述重叠区域内像素的行方向上，将所述移动误差按照第一权重值对所述第一重叠区域图像中各行的像素点进行加权，将所述移动误差按照第二权重值对所述第二重叠区域图像中各行的像素点进行加权；其中，所述第一权重值与所述第二权重值的和为1；

在所述重叠区域内像素的列方向上，将所述移动误差按照第三权重值对所述第一重叠区域图像中各列的像素点进行加权，将所述移动误差按照第四权重值对所述第二重叠区域图像中各列的像素点进行加权；其中，所述第三权重值与所述第四权重值的和为1。

在该实施方式中，移动误差如果直接体现在重叠区域图像的某个集中区域，则两张Fov图像进行拼接上会出现错位或图像匹配不全等情况。在本实施例中，利用加权的方法将移动误差分散到重叠区域内，具体加权的权重可以根据重叠区域内像素点的情况进行设置，从而使得从视觉上对移动误差造成的像素丢失或多余变得不明显，提高图像融合的视觉效果。

可选地，

所述第一权重值的表达式为：weightx(FovID)=col*(1/overlapx)，其中，col表示重叠区域内的行像素坐标，overlapx表示重叠区域内的像素总行数；

所述第二权重值的表达式为：weightx(FovID-1)=1-weight(FovID)；

所述第三权重值的表达式为：weighty(FovID)=row*(1/overlapy)，其中，row表示重叠区域内的列像素坐标，overlapy表示重叠区域内的像素总列数；

所述第四权重值的表达式为：weighty(FovID-1)=1-weighty(FovID)。

该实施方式中，在同一张图像上权重值相同是为了均匀分散移动误差，使得视觉上将移动误差消除到最小。

再一方面，本申请实施例提供了一种基于AOI设备采集图像的融合装置，包括：

图像获取模块，用于获取AOI设备连续采集的若干待融合图像；

重叠确定模块，用于基于相邻两张待融合图像的初始重叠区域大小和所述AOI设备的移动误差，获得相邻两张所述待融合图像的重叠区域以及所述重叠区域对应的第一重叠区域图像和第二重叠区域图像；其中，所述移动误差基于利用所述AOI设备对标定板图像的处理获得；

像素加权模块，用于根据所述移动误差和所述重叠区域内的像素点数量，分别对所述第一重叠区域图像中的像素点和所述第二重叠区域图像中的像素点进行加权；

图像融合模块，用于将加权后的第一重叠区域图像和加权后的第二重叠区域图像进行融合，以获得相邻两张所述待融合图像的拼接图像。

再一方面，本申请实施例提供了一种电子设备，包括：存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现前述方法。

再一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述处理器执行所述计算机程序，实现前述方法。

本申请的实施例提供一种基于AOI设备采集图像的融合方法、装置、设备和介质，该方法获取AOI设备连续采集的若干待融合图像；基于相邻两张待融合图像的初始重叠区域大小和所述AOI设备的移动误差，获得相邻两张所述待融合图像的重叠区域以及所述重叠区域对应的第一重叠区域图像和第二重叠区域图像；其中，所述移动误差基于利用所述AOI设备对标定板图像的处理获得；根据所述移动误差和所述重叠区域内的像素点数量，分别对所述第一重叠区域图像中的像素点和所述第二重叠区域图像中的像素点进行加权；将加权后的第一重叠区域图像和加权后的第二重叠区域图像进行融合，以获得相邻两张所述待融合图像的拼接图像。也即，该方法考虑了基于利用所述AOI设备对标定板图像的处理获得的移动误差，可以保证图像融合的效果，在此基础上，由于移动误差是通过AOI设备实际采集标定板的图像并进行像素处理获得，并且利用像素加权的方法使移动误差分散在像素点，避免现有技术直接对拍摄的图像进行特征提取以此进行图像特征处理并进行融合，从而可以快速的进行图像融合，解决了现有图像融合效率低的技术问题。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例方案涉及的硬件运行环境的电子设备结构示意图；

图2是本申请实施例提供的一种基于AOI设备采集图像的融合方法的流程示意图；

图3是本申请实施例提供的一种获得移动误差的方法流程示意图；

图4（a）和图4（b）分别是本申请实施例中角度校正前后的标定板图像示意图；

图5是本申请实施例提供的一种获得预设移动步长的方法流程示意图；

图6是本申请实施例提供的一张标定板图像；

图7（a）和图7（b）分别为加权前后的拼接效果图；

图8本申请实施例提供的一种基于AOI设备采集图像的融合装置的结构示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例的主要解决方案是：获取AOI设备连续采集的若干待融合图像；基于相邻两张待融合图像的初始重叠区域大小和所述AOI设备的移动误差，获得相邻两张所述待融合图像的重叠区域以及所述重叠区域对应的第一重叠区域图像和第二重叠区域图像；其中，所述移动误差基于利用所述AOI设备对标定板图像的处理获得；根据所述移动误差和所述重叠区域内的像素点数量，分别对所述第一重叠区域图像中的像素点和所述第二重叠区域图像中的像素点进行加权；将加权后的第一重叠区域图像和加权后的第二重叠区域图像进行融合，以获得相邻两张所述待融合图像的拼接图像。

AOI（Automated Optical Inspection缩写）自动光学检测设备是基于光学原理对焊接生产过程中的常见缺陷进行检测的设备。由于检测要求精度较高，单个相机视野并不能完整的拍完所有PCB板，需要拍摄多个Fov图像进行拼接融合。由于相机自身存在的畸变，相机拍摄的图像也需要进行畸变校正，才能得到较好的拼接效果图。此外，AOI设备移动拍摄过程中还不可避免的会产生移动误差，因此，由于相机的畸变和移动过程中产生的误差造成的拼接大图效果不好的问题。

分析发现，现有技术中，直接对拍摄的图像进行特征提取以此进行图像特征处理并进行融合所产生的计算量较大，在保证图像融合质量的前提下，融合效率低。

为此，本申请提供一种解决方案，该方案考虑了基于利用所述AOI设备对标定板图像的处理获得的移动误差，可以保证图像融合的效果，在此基础上，由于移动误差是通过AOI设备实际采集标定板的图像并进行像素处理获得，并且利用像素加权的方法使移动误差分散在像素点，避免现有技术直接对拍摄的图像进行特征提取以此进行图像特征处理并进行融合，从而可以快速的进行图像融合，解决了现有图像融合效率低的技术问题。

参照图1，图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图。

如图1所示，该电子设备可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。

在图1所示的电子设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明电子设备中的处理器1001、存储器1005可以设置在电子设备中，所述电子设备通过处理器1001调用存储器1005中存储的基于AOI设备采集图像的融合装置，并执行本申请实施例提供的基于AOI设备采集图像的融合方法。

参见图2，基于前述硬件运行环境，本申请的实施例提供了一种基于AOI设备采集图像的融合方法，包括：

S20、获取AOI设备连续采集的若干待融合图像；

在具体实施过程中，AOI设备也称为AOI检测设备，是指自动光学检测设备，其基于光学原理对焊接生产过程中的常见缺陷进行检测的设备。其中包括摄像头（在本实施例中也称为相机），工作原理为：当自动检测时，通过摄像头自动扫描产品，采集图像。例如，对PCB板的缺陷检测。但是，由于检测要求精度较高，单个相机视野并不能完整的拍完所有PCB板，需要拍摄多个Fov图像进行拼接融合。其中，Fov图像是指相机拍摄的视场角范围内拍摄的图像（该处是指待融合图像）。

在本实施例中，为了进行图像融合（在本实施例中也称为拼接），需要按照一定的规律连续采集Fov图像，图像融合即是对AOI设备的摄像头连续采集的若干待融合图像进行拼接。一般来说，对于一个产品（例如PCB板）的图像，AOI设备连续采集的待融合图像包括若干，因此在本领域所指的融合也是对这些图像进行融合，但是在本实施例中，以相邻的两张待融合图像的融合方法为例进行说明，只要按照本实施例的方法对任意相邻两张待融合图像进行融合即可得到产品的完整图像。此外，本实施例中的“相邻”是指拼接位置相邻，因此，需要连续采集的待融合图像。

S40、基于相邻两张待融合图像的初始重叠区域大小和所述AOI设备的移动误差，获得相邻两张所述待融合图像的重叠区域以及所述重叠区域对应的第一重叠区域图像和第二重叠区域图像；

在具体实施过程中，初始重叠区域是指不考虑移动误差时相邻两张待融合图像的重叠区域。可以理解的是，为了保证图像拼接后不丢失像素，在利用AOI设备拍摄待融合图像时，会在拍摄时在拼接处形成一些重叠区域。由于该重叠区域没有考虑移动误差，因此，称为初始重叠区域。

在步骤S40中，移动误差是指AOI设备按照预设步长移动拍摄时由于移动位置的不准确造成的误差。该移动误差可以在获取AOI设备连续采集的若干待融合图像的步骤之前，利用AOI设备对标定板图像的处理获得。

作为一种可选的实施方式，参见图3，移动误差具体获得步骤如下：

S102、获取所述AOI设备按照预设移动步长连续采集的标定板的若干Fov图像；其中，所述标定板上包括阵列排布的若干预设形状区域；所述预设移动步长基于利用所述AOI设备对标定板图像的处理获得，所述预设移动步长为所述标定板上相邻两个预设形状区域的中心之间距离的整数倍；

在具体实施过程中，预设移动步长为AOI设备采集Fov图像的步长。标定板（Calibration Target），在机器视觉、图像测量、摄影测量、三维重建等应用中，为校正镜头畸变，确定物理尺寸和像素间的换算关系，以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立相机成像的几何模型。通过相机拍摄带有固定间距图案阵列平板、经过标定算法的计算，可以得出相机的几何模型，从而得到高精度的测量和重建结果。而带有固定间距图案阵列的平板就是标定板。主要包括实心圆阵列图案和国际象棋盘图案，标定板上的若干预设形状区域即为实心圆阵列图案和国际象棋盘图案形成的区域。在本实施例中，标定板用于标定相机参数，以便于采集图像以及获得移动误差。需要注意的是，该实施方式中的Fov图像为针对标定板采集获得。

S104、分别获取相邻两张所述Fov图像重合后之间各预设形状区域的中心之间的最小距离；

在具体实施过程中，由于AOI设备的预设移动步长为标定板上相邻两个预设形状区域的中心之间距离的整数倍。因此，理论上如果没有移动误差，则相邻两张所述Fov图像的尺寸相同，重合后，其上的部分或全部预设形状区域应该重合。而由于移动误差的存在，重合后两张Fov图像上的部分或全部预设形状区域并没有完全重合，而是存在一定偏差。而各预设形状区域的中心之间的最小距离则可以从一定程度上代表该偏差，因此，需要分别获取相邻两张所述Fov图像重合后之间各预设形状区域的中心之间的最小距离。

具体的，可以通过图像像素处理的方法拟合出Fov图像中各预设形状区域轮廓，然后计算获得其中心。

作为一种可选的实施方式，所述预设形状区域为圆形区域；

所述分别获取两张所述Fov图像重合后之间各预设形状区域的中心之间的最小距离的步骤，包括：

分别获取相邻两张所述Fov图像中各圆形区域的圆心；

基于相邻两张所述Fov图像中各圆形区域的圆心，获取相邻两张所述Fov图像重合后之间最小的多个圆心距离；

所述基于相邻两张所述Fov图像重合后之间各预设形状区域的中心之间的最小距离，获得所述移动误差的步骤，包括：

基于相邻两张所述Fov图像重合后之间最小的多个圆心距离的平均值，获得所述移动误差。

在具体实施过程中，当预设形状区域为圆形区域，即标定板上为实心圆阵列图案时，可以通过将原图转灰度图，利用otsu方法对图像二值化，寻找二值化图像的轮廓，并对轮廓进行圆拟合，从而拟合计算所有圆的圆心。

作为一种可选的实施方式，可以在处理前首先对两张Fov图像进行畸变校正和角度校正，具体的，畸变校正可以利用标定算法（例如张正友标定算法）获得的内参系数矩阵和畸变矩阵进行校正。角度校正可以根据畸变校正后图像，求得标定板的偏移角度，具体计算方式为计算每一行起始圆心和最后圆心距离，利用反正切函数求得角度，并对多行圆心分别重复以上操作，求平均即可获得标定板的偏移角度。角度校正前后的标定板图像如图4（a）和图4（b）所示，其中，图4（a）为角度校正前的标定板图像，图4（b）为角度校正后的标定板图像。

在该实施方式中，在两张Fov图像重合后之间各预设形状区域的中心之间的最小距离的求解前，先进行畸变校正和角度校正。一方面，畸变校正可以使得标定板图像中图案的畸变得到改善，便于后续进行圆心拟合时的准确性，另一方面，角度校正可以使得图像中的矩阵图案与图像的位置关系更正，便于后续重合进行高效的最小圆心距离计算。

本实施例中的移动误差可以是像素距离也可以是物理距离。

可以理解的是，求多个最小圆心距离的平均值可以更准确的获得移动误差，但是由于存在两个fov图像中圆心数目不一致的情况，可能导致一些最小圆心距离并非对应位置的圆心偏差，因此，为了排除这一干扰，可以按照筛选规则将距离大于圆心距1/3的去除，从而进一步提高获得移动误差的准确性。

S106、基于相邻两张所述Fov图像重合后之间各预设形状区域的中心之间的最小距离，获得所述移动误差。

在具体实施过程中，如果相邻两张所述Fov图像重合后之间各预设形状区域的中心之间的最小距离为像素距离，则直接获得移动误差。如果相邻两张所述Fov图像重合后之间各预设形状区域的中心之间的最小距离为物理距离，则需要将物理距离转换为像素距离。具体的转换方法可以参考后续进行预设移动步长设置时的分辨率进行转换，这里不再赘述。

以上是关于本实施例中移动误差的一种获得方法，在该实施方式中，利用AOI设备按照标定板上相邻两个预设形状区域的中心之间距离的整数倍的移动步长对标定板进行拍摄，由于AOI设备的预设移动步长为标定板上相邻两个预设形状区域的中心之间距离的整数倍。因此，理论上如果没有移动误差，则相邻两张所述Fov图像的尺寸相同，重合后，其上的部分或全部预设形状区域应该重合。而由于移动误差的存在，重合后两张Fov图像上的部分或全部预设形状区域并没有完全重合，而是存在一定偏差。而各预设形状区域的中心之间的最小距离则可以从一定程度上代表该偏差。因此，该实施方式中，利用巧妙的移动步长的设置与最小圆心计算的方法，科学的计算出准确的移动误差，对后续图像融合获得更好的效果提供了支持。

在步骤S40中，重叠区域是指在初始重叠区域的基础上考虑了移动误差后的重叠区域。可以理解的是，重叠区域在相邻两张待融合图像中都同时存在，因此，可以得到重叠区域对应的第一重叠区域图像和第二重叠区域图像，其中，第一重叠区域图像和第二重叠区域图像分别为相邻两张待融合图像中的重叠区域对应的图像。

在本实施例中，重叠区域可以通过对相邻两张待融合图像进行图像处理来获得，例如特征的提取，像素识别等。但是为了提高获取的效率，可以通过理论计算的方式获得，因此，作为一种可选的实施方式，利用如下关系式，获得相邻两张所述待融合图像的重叠区域的像素坐标；

overlap=(size-step)/Actual+error(FovID,FovID-1)

其中，step表示预设移动步长，size表示所述相机拍摄的视场角图的物理尺寸，Actual为所述相机的镜头分辨率；FovID,FovID-1表示相邻两张所述待融合图像，error(FovID,FovID-1)表示移动误差对应产生的像素坐标误差值。

基于此，可以基于相邻两张所述待融合图像的重叠区域的像素坐标，获得所述第一重叠区域图像和所述第二重叠区域图像。

在具体实施过程中，(size-step)表示Fov图像与移动步长的差，即为初始移动误差的物理距离，除以镜头分辨率，则获得初始移动误差的像素距离。error(FovID,FovID-1)表示移动误差对应产生的像素坐标误差值，其基于前述获得的移动误差获得。

在该实施方式中，重叠区域通过理论的方法计算获得，且其理论基础为前述移动误差的理论计算方法，使得重叠区域的获得效率更高。

作为一种可选的实施方式，参见图5，预设移动步长的获得步骤如下：

S1012、获取所述标定板的标定板图像；

在具体实施过程中，该实施方式中的标定板上的预设形状区域为圆形区域。标定板图像通过AOI设备上的相机拍摄获得。

S1014、根据标定板图像，获得所述AOI设备的相机的内参系数矩阵和畸变矩阵；

在具体实施过程中，可以将标定板图像转灰度图，利用otsu方法对图像二值化，寻找二值化图像的轮廓，并对轮廓进行圆拟合。然后计算所有圆的圆心。并可以利用相机镜头的分辨率对获得的圆进行筛选，对拍摄显示不全的圆去除。然后对计算得到的所有圆心分别横向排序和纵向排序，使得圆心排列以二维阵列方式顺序排列（获得的标定板图像参见图6），最后利用张正友标定算法计算相机的内参系数矩阵和畸变矩阵。

S1016、基于所述内参系数矩阵和所述畸变矩阵，对所述标定板图像进行校正，以获得校正图像；

在具体实施过程中，可以根据内参系数矩阵和畸变矩阵对相机进行标定的算法来对标定板图像进行校正。在利用校正后的图像重复步骤S1014获得校正图像。

S1018、基于所述校正图像，获得所述相机的镜头分辨率；

在具体实施过程中，可以对校正图像中相邻圆心间的像素距离进行计算，然后根据标定板参数（相邻圆心距离）计算当前相机镜头下的分辨率。镜头分辨率计算公式如下：

实际分辨率Actual= 圆心距离（物理距离）/圆心距离（像素距离）。

S1020、基于所述镜头分辨率和所述校正图像，获得所述AOI设备的预设移动步长。

在具体实施过程中，根据如下关系式，获得所述AOI设备的预设移动步长：

step=Floor(size/circledistance)*circledistance

其中，step表示预设移动步长；size=Fovsize*Actual，size表示所述相机拍摄的视场角图的物理尺寸，Fovsize为所述相机拍摄的视场角图的像素尺寸，Actual为所述相机的镜头分辨率；circledistance表示标定板中各预设形状区域的中心之间的距离，Floor()表示向上取整。

在该实施方式中，根据理论的方法基于对标定板图像的处理获得预设移动步长，有理论依据可以获得准确且有利于后续计算移动误差的预设移动步长。

S60、根据所述移动误差和所述重叠区域内的像素点数量，分别对所述第一重叠区域图像中的像素点和所述第二重叠区域图像中的像素点进行加权。

在具体实施过程中，移动误差如果直接体现在重叠区域图像的某个集中区域，则两张Fov图像进行拼接上会出现错位或图像匹配不全等情况。在本实施例中，利用加权的方法将移动误差分散到重叠区域内，具体加权的权重可以根据重叠区域内像素点的情况进行设置，从而使得从视觉上对移动误差造成的像素丢失或多余变得不明显，提高图像融合的视觉效果。

作为一种可选的实施方式，所述根据所述移动误差和所述重叠区域内的像素点数量，分别对所述第一重叠区域图像中的像素点和所述第二重叠区域图像中的像素点进行加权的步骤，包括：

在所述重叠区域内像素的行方向上，将所述移动误差按照第一权重值对所述第一重叠区域图像中各行的像素点进行加权，将所述移动误差按照第二权重值对所述第二重叠区域图像中各行的像素点进行加权；其中，所述第一权重值与所述第二权重值的和为1；

在所述重叠区域内像素的列方向上，将所述移动误差按照第三权重值对所述第一重叠区域图像中各列的像素点进行加权，将所述移动误差按照第四权重值对所述第二重叠区域图像中各列的像素点进行加权；其中，所述第三权重值与所述第四权重值的和为1。

在具体实施过程中，将重叠区域内像素点看作是按照行和列二维阵列分布的，本实施例中，将移动误差按照行和列的方向上进行加权，以分散移动误差。

具体的，

所述第一权重值的表达式为：weightx(FovID)=col*(1/overlapx)，其中，col表示重叠区域内的行像素坐标，overlapx表示重叠区域内的像素总行数；

所述第二权重值的表达式为：weightx(FovID-1)=1-weight(FovID)；

所述第三权重值的表达式为：weighty(FovID)=row*(1/overlapy)，其中，row表示重叠区域内的列像素坐标，overlapy表示重叠区域内的像素总列数；

所述第四权重值的表达式为：weighty(FovID-1)=1-weighty(FovID)。

可以理解的是，在同一方向上，对第一重叠区域图像和第二重叠区域图像的加权的权重值和为1，是为了保证两张图像完全接纳误差。其次，在同一张图像上权重值相同是为了均匀分散移动误差，使得视觉上将移动误差消除到最小。

加权后，第一重叠区域图像或第二重叠区域图像内像素pixelnew=pixel*weightx(FovID)或pixelnew=pixel*weightx(FovID-1)，pixel表示当前像素点的像素值。

S80、将加权后的第一重叠区域图像和加权后的第二重叠区域图像进行融合，以获得相邻两张所述待融合图像的拼接图像。

在具体实施过程中，图像融合即为图像拼接（也即对错位图像的处理），将加权后的第一重叠区域图像和加权后的第二重叠区域图像拼接后，即可获得两张所述待融合图像的拼接图像。参见图7（a）和图7（b），图7（a）为加权前的拼接效果，图7（b）为加权后的拼接效果。

依次推到，将一个产品的所有的Fov图像按照本实施例的方法进行融合后，即可获得一个产品的完整图像。

应当理解的是，以上仅为举例说明，对本申请的技术方案并不构成任何限制，本领域的技术人员在实际应用中可以基于需要进行设置，此处不做限制。

通过上述描述不难发现，本实施例的方法考虑了基于利用所述AOI设备对标定板图像的处理获得的移动误差，可以保证图像融合的效果，在此基础上，由于移动误差是通过AOI设备实际采集标定板的图像并进行像素处理获得，并且利用像素加权的方法使移动误差分散在像素点，避免现有技术直接对拍摄的图像进行特征提取以此进行图像特征处理并进行融合，从而可以快速的进行图像融合，解决了现有图像融合效率低的技术问题。

参见图8，基于相同的发明思路，本申请的实施例还提供一种基于AOI设备采集图像的融合装置，包括：

图像获取模块，用于获取AOI设备连续采集的若干待融合图像；

重叠确定模块，用于基于相邻两张待融合图像的初始重叠区域大小和所述AOI设备的移动误差，获得相邻两张所述待融合图像的重叠区域以及所述重叠区域对应的第一重叠区域图像和第二重叠区域图像；其中，所述移动误差基于利用所述AOI设备对标定板图像的处理获得；

像素加权模块，用于根据所述移动误差和所述重叠区域内的像素点数量，分别对所述第一重叠区域图像中的像素点和所述第二重叠区域图像中的像素点进行加权；

图像融合模块，用于将加权后的第一重叠区域图像和加权后的第二重叠区域图像进行融合，以获得相邻两张所述待融合图像的拼接图像。

需要说明的是，本实施例中基于AOI设备采集图像的融合装置中各模块是与前述实施例中的基于AOI设备采集图像的融合方法中的各步骤一一对应，因此，本实施例的具体实施方式和达到的技术效果可参照前述基于AOI设备采集图像的融合方法的实施方式，这里不再赘述。

此外，在一种实施例中，本申请还提供一种电子设备，所述电子设备包括处理器，存储器以及存储在所述存储器中的计算机程序，所述计算机程序被处理器运行时实现前述实施例中方法的步骤。

此外，在一种实施例中，本申请还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现前述实施例中方法的步骤。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光盘）中，包括若干指令用以使得一台多媒体终端设备(可以是手机，计算机，电视接收机，或者网络设备等)执行本申请各个实施例所述的方法。

以上所揭露的仅为本申请的局部实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或局部流程，并依本申请权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (13)

1.一种基于AOI设备采集图像的融合方法，其特征在于，包括：

获取AOI设备按照预设移动步长连续采集的标定板的若干Fov图像；其中，所述标定板上包括阵列排布的若干预设形状区域；所述预设移动步长基于利用所述AOI设备对标定板图像的处理获得，所述预设移动步长为所述标定板上相邻两个预设形状区域的中心之间距离的整数倍；

分别获取相邻两张所述Fov图像重合后之间各预设形状区域的中心之间的最小距离；

基于相邻两张所述Fov图像重合后之间各预设形状区域的中心之间的最小距离，获得移动误差；

获取所述AOI设备连续采集的若干待融合图像；

基于相邻两张待融合图像的初始重叠区域大小和所述AOI设备的移动误差，获得相邻两张所述待融合图像的重叠区域以及所述重叠区域对应的第一重叠区域图像和第二重叠区域图像；

根据所述移动误差和所述重叠区域内的像素点数量，分别对所述第一重叠区域图像中的像素点和所述第二重叠区域图像中的像素点进行加权；

将加权后的第一重叠区域图像和加权后的第二重叠区域图像进行融合，以获得相邻两张所述待融合图像的拼接图像。

2.根据权利要求1所述的方法，其特征在于，所述预设形状区域为圆形区域；

所述分别获取两张所述Fov图像重合后之间各预设形状区域的中心之间的最小距离的步骤，包括：

分别获取相邻两张所述Fov图像中各圆形区域的圆心；

基于相邻两张所述Fov图像中各圆形区域的圆心，获取相邻两张所述Fov图像重合后之间最小的多个圆心距离；

所述基于相邻两张所述Fov图像重合后之间各预设形状区域的中心之间的最小距离，获得所述移动误差的步骤，包括：

基于相邻两张所述Fov图像重合后之间最小的多个圆心距离的平均值，获得所述移动误差。

3.根据权利要求2所述的方法，其特征在于，所述获取所述AOI设备按照预设移动步长连续采集的标定板的若干Fov图像的步骤之前，还包括：

获取所述标定板的标定板图像；

根据标定板图像，获得所述AOI设备的相机的内参系数矩阵和畸变矩阵；

基于所述内参系数矩阵和所述畸变矩阵，对所述标定板图像进行校正，以获得校正图像；

基于所述校正图像，获得所述相机的镜头分辨率；

基于所述镜头分辨率和所述校正图像，获得所述AOI设备的预设移动步长。

4.根据权利要求3所述的方法，其特征在于，所述根据标定板图像，获得所述AOI设备的相机的内参系数矩阵和畸变矩阵的步骤，包括：

将所述标定板图像灰度处理，获得灰度图像；

对所述灰度图像进行二值化处理，获得黑白图像；

基于所述黑白图像中圆形区域的轮廓进行圆拟合，并获得各圆形区域对应的圆心；

基于所述黑白图像中各圆形区域对应的圆心，利用标定算法获得所述AOI设备的相机的内参系数矩阵和畸变矩阵。

5.根据权利要求3所述的方法，其特征在于，所述基于所述镜头分辨率和所述校正图像，获得所述AOI设备的预设移动步长的步骤，包括：

根据如下关系式，获得所述AOI设备的预设移动步长：

step=Floor(size/circledistance)*circledistance

其中，step表示预设移动步长；size=Fovsize*Actual，size表示所述相机拍摄的视场角图的物理尺寸，Fovsize为所述相机拍摄的视场角图的像素尺寸，Actual为所述相机的镜头分辨率；circledistance表示标定板中各预设形状区域的中心之间的距离，Floor()表示向上取整。

6.根据权利要求3所述的方法，其特征在于，所述分别获取相邻两张所述Fov图像重合后之间各预设形状区域的中心之间的最小距离的步骤之前，还包括：

利用所述标定板的偏移角度、所述内参系数矩阵和所述畸变矩阵，对相邻两张所述Fov图像进行校正，获得两张校正后的Fov图像；

所述分别获取相邻两张所述Fov图像重合后之间各预设形状区域的中心之间的最小距离的步骤，包括：

分别获取相邻两张所述校正后的Fov图像重合后之间各预设形状区域的中心之间的最小距离。

7.根据权利要求6所述的方法，其特征在于，所述利用所述标定板的偏移角度、所述内参系数矩阵和所述畸变矩阵，对相邻两张所述Fov图像进行校正，获得两张校正后的Fov图像的步骤之前，还包括：

利用所述校正图像，获得所述标定板的偏移角度。

8.根据权利要求1-7中任一项所述的方法，其特征在于，所述基于相邻两张待融合图像的初始重叠区域大小和所述AOI设备的移动误差，获得相邻两张所述待融合图像的重叠区域以及所述重叠区域对应的第一重叠区域图像和第二重叠区域图像的步骤，包括：

利用如下关系式，获得相邻两张所述待融合图像的重叠区域的像素坐标；

overlap=(size-step)/Actual+error(FovID,FovID-1)

其中，step表示预设移动步长，size表示相机拍摄的视场角图的物理尺寸，Actual为相机的镜头分辨率；FovID,FovID-1表示相邻两张所述待融合图像，error(FovID,FovID-1)表示移动误差对应产生的像素坐标误差值；

基于相邻两张所述待融合图像的重叠区域的像素坐标，获得所述第一重叠区域图像和所述第二重叠区域图像。

9.根据权利要求8所述的方法，其特征在于，所述根据所述移动误差和所述重叠区域内的像素点数量，分别对所述第一重叠区域图像中的像素点和所述第二重叠区域图像中的像素点进行加权的步骤，包括：

在所述重叠区域内像素的行方向上，将所述移动误差按照第一权重值对所述第一重叠区域图像中各行的像素点进行加权，将所述移动误差按照第二权重值对所述第二重叠区域图像中各行的像素点进行加权；其中，所述第一权重值与所述第二权重值的和为1；

在所述重叠区域内像素的列方向上，将所述移动误差按照第三权重值对所述第一重叠区域图像中各列的像素点进行加权，将所述移动误差按照第四权重值对所述第二重叠区域图像中各列的像素点进行加权；其中，所述第三权重值与所述第四权重值的和为1。

10.根据权利要求9所述的方法，其特征在于，

所述第一权重值的表达式为：weightx(FovID)=col*(1/overlapx)，其中，col表示重叠区域内的行像素坐标，overlapx表示重叠区域内的像素总行数；

所述第二权重值的表达式为：weightx(FovID-1)=1-weight(FovID)；

所述第三权重值的表达式为：weighty(FovID)=row*(1/overlapy)，其中，row表示重叠区域内的列像素坐标，overlapy表示重叠区域内的像素总列数；

所述第四权重值的表达式为：weighty(FovID-1)=1-weighty(FovID)。

11.一种基于AOI设备采集图像的融合装置，其特征在于，包括：

图像获取模块，用于获取AOI设备连续采集的若干待融合图像；

重叠确定模块，用于获取AOI设备按照预设移动步长连续采集的标定板的若干Fov图像；其中，所述标定板上包括阵列排布的若干预设形状区域；所述预设移动步长基于利用所述AOI设备对标定板图像的处理获得，所述预设移动步长为所述标定板上相邻两个预设形状区域的中心之间距离的整数倍；分别获取相邻两张所述Fov图像重合后之间各预设形状区域的中心之间的最小距离；基于相邻两张所述Fov图像重合后之间各预设形状区域的中心之间的最小距离，获得移动误差；基于相邻两张待融合图像的初始重叠区域大小和所述AOI设备的移动误差，获得相邻两张所述待融合图像的重叠区域以及所述重叠区域对应的第一重叠区域图像和第二重叠区域图像；

像素加权模块，用于根据所述移动误差和所述重叠区域内的像素点数量，分别对所述第一重叠区域图像中的像素点和所述第二重叠区域图像中的像素点进行加权；

图像融合模块，用于将加权后的第一重叠区域图像和加权后的第二重叠区域图像进行融合，以获得相邻两张所述待融合图像的拼接图像。

12.一种电子设备，其特征在于，该电子设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现如权利要求1-10中任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，处理器执行所述计算机程序，实现如权利要求1-10中任一项所述的方法。

Images