CN108280829A - 焊缝图像识别方法、计算机装置及计算机可读存储介质 - Google Patents

Abstract

本发明公开一种焊缝图像识别方法、计算机装置以及计算机可读存储介质，该方法包括接收图像数据，对所接收的图像数据进行高斯滤波，并将高斯滤波后的图像数据进行二值化处理；并且，对二值化后的图像进行边缘检测，并计算出二值化后的图像中结构光中心线；应用随机抽样一致性算法计算边缘检测后的图像中的激光条的初始直线模型，基于初始直线模型计算出感兴趣区域，再次应用随机抽样一致性算法计算感兴趣区域内的图像中的激光条的精确直线模型，并计算感兴趣区域中的焊缝特征信息所在区域。本发明还提供实现上述方法的计算机装置以及计算机可读存储介质。本发明能够快速的识别出图像中的焊缝特征信息，提高焊缝特征的识别效率。

Description

焊缝图像识别方法、计算机装置及计算机可读存储介质

技术领域

本发明涉及图像处理领域，尤其涉及一种基于RANSAC算法实现的对焊缝图像进行识别、实现这种方法的计算机装置以及计算机可读存储介质。

背景技术

激光焊接技术在电子设备的焊接上得到广泛的应用，由于激光焊接具有焊缝非常精细的优点，因此广泛应用在精密的电子设备上。然而，由于激光焊接的焊缝非常细，一旦出现焊接不良等情况，难以通过肉眼观察，目前，已经广泛使用机器设备对激光焊接的焊缝进行检查。通常，在机器人上设置一个摄像装置，如CCD传感器，使用摄像装置拍摄照片，对照片进行识别，从而识别焊缝是否异常。

因此，目前机器视觉技术已经广泛应用于激光焊接的焊缝的识别、检测和定位中，但大多机器视觉技术都是在焊接以前进行图像识别，而用于焊接以后的图像识别与检测研究还比较少。机器视觉图像识别的核心工作是对焊缝图像的处理，以准确找到焊缝的特征位置与余高信息，从而实现焊缝余高的自动打磨。由于焊接前的图像一般都在焊接位置有形状规则的坡口，而焊后的图像一般都形状不一，很难定位焊缝余高的特征位置，这就增加了图像处理的难度。

因此，有需要提供一种快速对图像进行识别，并且查找出图像中的焊缝特征的方法。

发明内容

本发明的主要目的是提供一种能够快速查找出图像中焊缝特征区域的焊缝图像识别方法。

本发明的另一目的是提供一种能够实现上述焊缝图像识别方法的计算机装置。

本发明的再一目的是提供一种能够实现上述焊缝图像识别方法的计算机可读存储介质。

为了实现上述的主要目的，本发明提供的焊缝图像识别方法包括接收图像数据，对所接收的图像数据进行高斯滤波，并将高斯滤波后的图像数据进行二值化处理；并且，对二值化后的图像进行边缘检测，并计算出二值化后的图像中结构光中心线；应用随机抽样一致性算法计算边缘检测后的图像中的激光条的初始直线模型，基于初始直线模型计算出感兴趣区域，再次应用随机抽样一致性算法计算感兴趣区域内的图像中的激光条的精确直线模型，并计算感兴趣区域中的焊缝特征信息所在区域。

一个优选的方案是，应用随机抽样一致性算法计算边缘检测后的图像中的激光条的初始直线模型包括：将结构光中心线的点作为随机抽样一致性算法的输入数据集，从数据集中随机选取一部分点以最小二乘法拟合直线，获得一条直线模型，获得一条直线模型以后，计算输入数据集中的点中，是否超过预设数量的点匹配于该条初始直线模型，如是，使用所有匹配于该直线的点以最小二乘法拟合直线，以数据集中的点中匹配数量最多的直线模型作为激光条的初始直线模型。

更进一步的方案是，如确认不超过预设数量的点匹配于该条初始直线模型，则随机选取另一部分的点以最小二乘法拟合直线，获得另一条初始直线模型，直至超过预设数量的点符合所计算的初始直线模型为止。

更进一步的方案是，上述的预设数量是90％。

更进一步的方案是，计算二值化后的图像中结构光中心线包括：清除二值化后的图像中噪声点，计算清除噪声点后每一列图像的有效像素的中心点坐标，使用每一列像素的有效像素的中心点坐标的连线作为结构光中心线。

更进一步的方案是，清清除二值化后的图像中噪声点包括：计算一列图像的白色像素点的平均坐标，并计算该列像素中每一个白色像素点与该平均坐标的差值，并计算差值的绝对值，在确定该列白色像素点的行坐标与上述平均坐标差值的绝对值之和大于预设的阈值，则确定该列像素点为噪声点，并将该列像素点的像素值置0。

更进一步的方案是，计算感兴趣区域中的焊缝特征信息所在区域包括：将感兴趣区域的图像中不匹配于激光条的精确直线模型的区域的两端确定为焊缝边缘。

更进一步的方案是，确定焊缝边缘后，将焊缝边缘之间的区域的中间点作为焊缝中心点。

为实现上述的另一目的，本发明提供的计算机装置包括处理器以及存储器，存储器存储有计算机程序，计算机程序被处理器执行时实现上述的焊缝图像识别方法的各个步骤。

为实现上述的再一目的，本发明提供的计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述焊缝图像识别方法的各个步骤。

采用本发明的方法对图像中的焊缝进行识别，可以快速的确定感兴趣区域，并且识别焊缝特征时，只需要对感兴趣区域内的图像进行识别，而不需要对整张图像进行识别，从而减小识别焊缝特征的计算量，提高焊缝识别的效率。

另外，本方法的方法是基于随机抽样一致性算法进行计算的，由于随机抽样一致性算法对于动态的图像计算具有较高的灵敏度以及较精确的计算精度，而焊缝识别过程中，机器人是持续运动的，因此需要持续的对多张图像进行识别，因此使用随机抽样一致性算法能够更好的识别出多张图像中的焊缝特征，并且可以为计算焊缝余高提供准确的图像数据。

并且，本发明的方法采用多次迭代计算的方式计算激光线的初始直线模型，并且又使用最小二乘法计算激光线的精确直线模型，使得激光线的模型计算更加精确，更加准确的提取出感兴趣区域，节省了焊缝识别的时间，也提高焊缝识别的效率。

此外，计算二值化后的图像中结构光中心线时，对图像中的白色像素点进行识别，从而识别出噪声点，并且将噪声点进行清除，可以提高激光线的初始直线模型计算的精确性。

而将感兴趣区域的图像中不匹配于激光条的精确直线模型的区域的两端确定为焊缝边缘，可以快速的利用感兴趣图像定位焊缝边缘的位置，为确定焊缝特征的区域提供便利。这样，在确定焊缝特征所在的区域以后，可以通过简单的数据计算即可以计算出焊缝特征的具体信息，提高焊缝特征的识别效率。

附图说明

图1是本发明焊缝图像识别方法实施例的流程图。

图2是本发明焊缝图像识别方法实施例中二值化后的图像中结构光中心线的示意图。

图3是本发明焊缝图像识别方法实施例中感兴趣区域的示意图。

图4是本发明焊缝图像识别方法实施例中焊缝特征区域的示意图。

以下结合附图及实施例对本发明作进一步说明。

具体实施方式

本发明的焊缝图像识别方法应用在工业机器人上，例如，在工业机器人上安装CCD传感器，利用CCD传感器获取原始的图像数据，然后将获取的图像数据传输至控制器上，由控制器对图像进行识别。本发明的计算机装置可以是安装在机器人上的控制器，控制器上可以设置有处理器，处理器上设置有存储器，存储器存储有计算机可读存储介质，计算机可读存储介质可以是具有数据存储功能的各种存储介质，包括但不限于FLASH、EEPROM等非易失性存储器。当处理器执行计算机程序时，可以实现焊缝图像的识别方法。

焊缝图像识别方法实施例：

本实施例主要是针对激光焊接的焊缝余高识别与检测，因此，本实施例主要包括两个主要的处理步骤，第一个步骤是图像预处理，第二个步骤是焊缝余高信息提取。其中，图像的预处理通过CCD传感器拍摄图像，并且对CCD传感器所获取到的包含有焊缝的图像进行平滑滤波、二值化以及边缘提取等过程，得到包含焊缝余高信息的二值化图像，然后对预处理后的二值化边缘图像通过改进的平均法得到激光条的中心线，并对其进行平滑处理，然后利用随机抽样一致性(RANSAC)算法，通过调整算法的阈值，可以得到只包含焊缝余高信息的激光条中心点，从而得到一个感兴趣区域ROI，最后通过对感兴趣区域的激光条中心点进行处理从而得到焊缝余高特征点和余高信息。下面将结合图1介绍焊缝图像识别的过程。

首先，执行步骤S1，接收图像数据，并且对图像数据进行高斯滤波。由于机器人上安装有CCD传感器，应用CCD传感器获取所拍摄的图像数据，优选的，为了获取更加精确的焊缝图像数据，机器人是持续移动的，因此，CCD传感器将获取连续的多张图像数据，通过多多张图像数据进行分析，可以获取焊缝的余高特征等数据，从而获得焊缝的立体特征数据。

接收图像数据以后，首先需要对采集的图像数据进行高斯平滑滤波，例如，使用下面的滤波模板进行滤波：

因此，可以将图像中的每一个像素点的数据乘以上述的滤波模板，从而获得滤波后的图像。当然，实际应用过程中，滤波模块可以根据实际的需要进行调节，从而获得更加清晰的图像。

对图像进行滤波以后，执行步骤S2，对滤波后的图像进行二值化处理，也就是将图像中的所有像素点都变成黑色的像素点或者白色的像素点，这样，图像中的像素点只有黑色以及白色两种颜色。接着，执行步骤S3，对图像进行边缘检测，例如，对图像数据进行Canny边缘检测。由于Canny边缘检测算法是一种公知的边缘检测方法，在此不再赘述。

然后，执行步骤S4，计算激光条的初始直线模型，也就是对边缘检测后的图像进行中心坐标法粗提取出激光条的光中心线，该步骤实际上是清除二值化以后的图像的噪声点。如图2所示，进行二值化以及边缘检测以后的图像包含有大量的白色像素点以及黑色像素点，其中，图2中的图像纵向中间位置的白色带状为激光条21的图像，且激光条21横向中间位置的凸起，即向下凸出的弧线为焊缝特征所在的区域，本实施例需要提取的实际上就是凸出的弧线部分所在的区域的图像数据。

由于激光条21的图像是白色像素点，因此，需要识别图像中白色像素点的中心位置，从而计算出激光条21的直线模型。然而，由于边缘检测后的图像存在大量的白色像素点，有些白色像素点距离激光条所在位置较远，假设某一列像素点中，白色像素点较为分散，很容易导致激光条21的中心线计算出现误差，从而影响激光条21的中心线的计算，因此，可以认为该列像素点为噪声点，需要将噪声点去除，因此，步骤S4就是通过对每一列像素进行识别，从而去除噪声点。

步骤S4中，首先，对二值化以及边缘检测后的图像逐列进行扫描，得到每一列上白色像素点的平均坐标，即将每一个白色像素点的行坐标值相加，然后求出平均值。然后，计算该列像素点中，每一个白色像素点与刚才计算的该列白色像素点的平均值之间的差值，并计算该列像素点中，每一个白色像素点与平均坐标之间的差值绝对值之和，如果该列的白色像素点的行坐标与上述计算的平均坐标之间差值的绝对值之和大于预设的阈值，则表示该列像素点为噪声点，需要去除该列像素点，具体的方法是将该列像素点的每一个像素的值置0。

如果确定该列的白色像素点的行坐标与上述计算的平均坐标之间差值的绝对值之和不大于预设的阈值，则可以确定该列的激光条21中心点在上述计算的白色像素点的平均坐标上，并且将该列的其他像素的像素值置0，上述过程可以通过下面的公式表示：

其中H(i,j)为经过计算后的每一列像素点的像素值，θ(i,j)是该列像素点的初始像素值，θ_i是每一列像素点激光条21的中心点坐标，thresh为预设的阈值。这样，可以获得一条与激光条21位置大致接近的线条，该线条上的点都是每一列像素的白色像素点的坐标平均值的点。

然后，利用随机抽样一致性(RANSAC)算法进行直线拟合，具体操作方法为：将上述计算出来的激光条21的中心点的坐标作为随机抽样一致性算法的输入数据集，从该数据集中随机选取一小部分点，用最小二乘法进行直线拟合，便可得到激光条21的中心点的直线数学模型，例如，该数学模型使用直线Y＝aX+b表示，如图2中的直线22所示，该直线也就是激光条的一条直线模型。

当然，如果仅仅通过一次的直线拟合计算，获得的激光条的直线模型并不一定精确，为了更加精确的计算出初始直线模型，需要对计算出来的直线模型进行校验，例如，用计算出来的数学模型去测试数据集中其他的点，也就是将数据集中的其他点的坐标代入该直线模型中，判断其他的点是否与该直线模型的方程相匹配，如果相匹配，也就是其他的点都适用于此模型，则将适用于该数学模型的点称为“局内点”，如果不适用于该数学模型，则将这些像素点称为“局外点”。

然后，统计“局内点”的数量，如果“局内点”的数量超过阈值，如超过90％，则用该数学模型下所有局内点，再次利用最小二乘法重新求取新的数学模型，并以此所计算的新的数据模型作为整个数据集的模型。然后，重复执行上述过程，可以得到一个新的数学模型。如此重复计算，通过多次迭代计算，以多条直线模型中包含局内点最多的直线模型作为整个数据集的直线模型，该直线模型就是激光条21的初始直线模型。通常，当迭代次数为20次的时候即可以准确地得到激光条21的直线方程，也就是计算出激光条21的初始直线模型。

接着，执行步骤S5，计算图像中的感兴趣区域ROI，基于感兴趣区域实现激光条21中心线的精确提取。如图3所示，在计算出激光条21的初始直线模型以后，假设图3中的直线22为激光条21的初始直线模型，该初始直线模型的直线方程为Y＝aX+b，如果a＞0，则感兴趣区域23的设置为起点坐标为(0,b-thresh)，宽度为图像的总列数Clos，高度为a×Cols-b+2thresh；如果a＜0，则感兴趣区域23的设置为起点坐标为(0,a×Clos+b-thresh)，宽度为图像的总列数Clos，高度为a×Cols-b+2thresh。其中，thresh是一个预先设定的数值。

然后，执行步骤S6，根据上述方法识别出的感兴趣区域，计算激光条21的精确直线模型，计算激光条21的精确直线模型的方法也是利用随机抽样一致性算法进行。例如，以感兴趣区域的图像作为一张图像，并且将再次对感兴趣区域的图像进行一次高斯滤波、图像二值化处理、canny边缘检测，并且清除图像中的噪声点，再对图像中的白色像素点的中心点进行直线拟合计算。进行直线拟合计算时，也是使用上述的随机抽样一致性算法进行，即将图像中的激光条的中心点作为输入数据集，不断使用最小二乘法迭代计算出多条直线模型，使用“局内点”最多的直线模型作为激光条的精确直线模型。

可见，实际上步骤S6就是以感兴趣区域的图像为再次接收到的图像，并且再次执行步骤S1至步骤S4的过程，从而获取一条较为精确的激光条21的直线模型。

最后，执行步骤S7，对步骤S6提取的激光条21的精确直线模型的中心点进行随机抽样一致性算法处理，根据算法过程，可以快速找出激光条21的直线模型，并且得到不符合该执行模型的“局外点”，如图4所示。在感兴趣区域23中，激光条21的一部分区域呈现弧形的凸起，凸起部分即不符合激光条21的精确直线模型，这一部分的点就是“局外点”，而这些“局外点”就是焊缝特征所在的区域。

因此，步骤S7中，就是将识别出来的“局外点”的区域的边缘确定，作为焊缝特征所在区域的边缘，例如获得边缘32与边缘33的位置，从而确定焊缝特征所在的区域34。最后，将区域34的中间点作为焊缝中心点提取出来，提取出来的中心点即可以作为焊缝特征使用。

可见，本发明通过对图像进行预处理，从而快速的获取感兴趣区域，并且对感兴趣区域中的图像再次进行通过随机抽样一致性算法进行直线拟合从而确定焊缝的特征信息。由于本发明对激光条进行精确直线模型的计算时，使用的是感兴趣区域的图像，而感兴趣区域的图像区域较小，到达减小了图像的计算时间，提高焊缝特征的识别效率。

另外，针对机器人持续移动的特点，本发明所采用的随机抽样一致性算法具有很好的针对动态图像进行计算的优点，可以更加精确的计算出焊缝的立体特征，从而更加精确的计算出焊缝的余高数据。

计算机装置实施例：

本实施例的计算机装置包括有处理器、存储器以及存储在存储器中并可在处理器上运行的计算机程序，例如用于实现上述信息处理方法的信息处理程序。处理器执行计算机程序时实现上述焊缝图像识别方法的各个步骤。

例如，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明的各个模块。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。

需要说明的是，终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，本发明的示意图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备还可以包括输入输出设备、网络接入设备、总线等。

本发明所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。

存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

计算机可读存储介质实施例：

终端设备集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个焊缝图像识别方法的各个步骤。

其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

当然，上述的方案只是本发明优选的实施方案，实际应用是还可以有更多的变化，例如，缓存行的存储字节长度的变化、每次预读取的数据长度的变化等，这些改变都不影响本发明的实施，也应该包括在本发明的保护范围内。

Claims (10)

1.焊缝图像识别方法，包括：

接收图像数据，对所接收的图像数据进行高斯滤波，并将高斯滤波后的图像数据进行二值化处理；

其特征在于：

对二值化后的图像进行边缘检测，并计算出二值化后的图像中结构光中心线；

应用随机抽样一致性算法计算边缘检测后的图像中的激光条的初始直线模型，基于所述初始直线模型计算出图像中的感兴趣区域，再次应用随机抽样一致性算法计算所述感兴趣区域内的图像中的激光条的精确直线模型，并计算所述感兴趣区域中的焊缝特征信息所在区域。

2.根据权利要求1所述的焊缝图像识别方法，其特征在于：

应用随机抽样一致性算法计算边缘检测后的图像中的激光条的初始直线模型包括：将所述结构光中心线的点作为随机抽样一致性算法的输入数据集，从所述数据集中随机选取一部分点以最小二乘法拟合直线，获得一条直线模型；计算所述输入数据集中的点中，是否超过预设数量的点匹配于该条初始直线模型，如是，使用所有匹配于该直线的点以最小二乘法拟合直线，并反复拟合直线，以数据集中的点中匹配数量最多的直线模型作为激光条的初始直线模型。

3.根据权利要求2所述的焊缝图像识别方法，其特征在于：

如确认不超过预设数量的点匹配于该条初始直线模型，则随机选取另一部分的点以最小二乘法拟合直线，获得另一条所述初始直线模型，直至超过预设数量的点符合所计算的初始直线模型为止。

4.根据权利要求3所述的焊缝图像识别方法，其特征在于：

所述预设数量为90%。

5.根据权利要求1至4任一项所述的焊缝图像识别方法，其特征在于：

计算二值化后的图像中结构光中心线包括：清除二值化后的图像中噪声点，计算清除噪声点后每一列图像的有效像素的中心点坐标，使用每一列像素的有效像素的中心点坐标的连线作为所述结构光中心线。

6.根据权利要求5所述的焊缝图像识别方法，其特征在于：

清除二值化后的图像中噪声点包括：计算一列图像的白色像素点的平均坐标，并计算该列像素中每一个白色像素点与该平均坐标的差值，并计算差值的绝对值，在确定该列白色像素点的行坐标与上述平均坐标差值的绝对值之和大于预设的阈值，则确定该列像素点为噪声点，并将该列像素点的像素值置0。

7.根据权利要求1至4任一项所述的焊缝图像识别方法，其特征在于：

计算所述感兴趣区域中的焊缝特征信息所在区域包括：将感兴趣区域的图像中不匹配于所述激光条的精确直线模型的区域的两端确定为焊缝边缘。

8.根据权利要求7所述的焊缝图像识别方法，其特征在于：

确定所述焊缝边缘后，将所述焊缝边缘之间的区域的中间点作为焊缝中心点。

9.计算机装置，其特征在于，包括处理器以及存储器，所述存储器存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任意一项所述焊缝图像识别方法的各个步骤。

10.计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至8中任意一项所述焊缝图像识别方法的各个步骤。