CN102756209B - 图像处理装置以及图像处理方法 - Google Patents

Abstract

本发明涉及图像处理装置，其用于基于激光焊接的焊接部分的图像来认出形成在所述焊接部分的焊道的形状，包括：基准线设定单元，其用于以对应于在激光焊接期间在所述焊接部分产生残热发光时所拍摄并取入的所述焊接部分的图像的方式设定多条基准线；轮廓点形成单元，其用于在如下位置形成轮廓点，在所述位置所述基准线与残热发光的亮度比为了识别所述焊道的轮廓线而设定的亮度阈值高的区域和所述残热发光的亮度比所述亮度阈值低的区域之间的边界交叉；中间点形成单元，其用于形成在同一条基准线上的每2个所述轮廓点之间的中间点；以及轮廓线形成单元，其用于基于所述轮廓点形成轮廓线。图像处理方法使用所述图像处理装置。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及基于激光焊接的焊接部分的图像来认出形成在焊接部分的焊道的形状的图像处理装置以及图像处理方法。

背景技术

在诸如激光焊接等焊接的领域中，为了提高焊接质量，通过分析在焊接部分的焊道的形状、识别缺陷孔或其它操作来检查焊接缺陷的有无。这种检查主要是在生产现场的焊接工艺的后工艺中或焊接工艺期间进行。

在焊接工艺的后工艺期间的检查中，例如，通过在焊接工艺后对焊接对象照射光(所谓的“背光”)来识别在焊接部分的缺陷孔(所谓的“背光方式的检查”)。在该检查中，如果缺陷孔形成在焊接对象中，那么所照射的光通过缺陷孔。这有助于识别在焊接部分的缺陷孔。同时，在生产现场要求减小工艺数目以提高生产效率。由此，希望在焊接工艺期间进行检查。

因此，作为焊接工艺期间的检查，例如，如在JP2007-054879A和JP2004-314087A中那样，在焊接期间所发出的激光束的尺寸增大时由照相机拍摄在焊接部分的光的图像。结果是，通过分析所拍摄的图像来分析焊道的形状，并且判断在焊接部分的缺陷。

发明内容

然而，在焊接期间激光束的尺寸增大时产生等离子体束，由此，在JP2007-054879A和JP2004-314087A的检查中，在某些情况下，这种等离子体束影响并阻碍了焊道的形状的正确认出和检查装置等的图像上的焊道的形状的正确形成。同时，即使正确地认出了焊道的形状，并且焊道的形状已正确地形成在检查装置等的图像上，焊道的形状的清晰图像也会带来要处理的图像数据增加和图像处理负荷增加的问题。这种图像处理负荷的增加使图像处理时间增加，也使检查时间增加。结果是，降低了生产效率。

鉴于这种情况作出本发明。本发明的目的是提供用于判断焊接缺陷并且能够正确地认出焊道的形状和降低图像处理负荷的图像处理装置和图像处理方法。

为了实现上述目的，本发明的图像处理装置是用于基于激光焊接的焊接部分的图像来认出形成在所述焊接部分的焊道的形状的图像处理装置。所述图像处理装置包括：基准线设定单元，其用于以对应于拍摄并取入在焊接终止紧后但是在焊接中使用的光熄灭之前在所述焊接部分产生的残热发光的图像的方式设定多条基准线；轮廓点形成单元，其用于在如下位置形成轮廓点，在所述位置所述基准线与在所述取入的图像中的残热发光的亮度比亮度阈值高的区域和所述残热发光的亮度比所述亮度阈值低的区域之间的边界交叉，所述亮度阈值是为了识别所述焊道的轮廓线而设定的；中间点形成单元，其用于形成在同一条基准线上的每2个所述轮廓点之间的中间点；以及轮廓线形成单元，其用于基于多个所述轮廓点形成轮廓线。

为了实现上述目的，本发明的图像处理装置被配置为如下(a)或(b)：

(a)所述图像处理装置还包括：中心线形成单元，其用于基于多个所述中间点形成中心线，以及

(b)所述图像处理装置还包括：中心线形成单元，其用于在设定所述基准线之前，以对应于所述取入的图像的方式，基于多个焊道区域点的拟合曲线形成所述焊道的形状的中心线，所述多个焊道区域点的亮度比所述亮度阈值大；以及轮廓点确定单元，其用于在形成所述轮廓线之前，认出所述中心线的弯曲度，并且在所述同一条基准线上形成多于2个所述轮廓点的情况下，确定在所述同一条基准线上由于横跨所述焊道而其间具有间隔的彼此相对的、用于形成所述中间点的2个轮廓点，其中确定的所述2个轮廓点用于形成所述中间点和所述轮廓线。

此外，本发明的图像处理装置还包括基准线调整单元，其用于以防止所述基准线具有平行于所述中心线的弯曲形状的部分的方式调整所述基准线。

另外，本发明的图像处理装置还包括：轮廓点选择单元，其被配置为：在设定所述中间点之前，计算在所述同一条基准线上的每2个所述轮廓点之间的线段长度，计算所述线段长度的频率分布，基于亮度比所述亮度阈值大的多个焊道区域点计算所述焊道的宽度，使用所述频率分布辨别相对于基于所述焊道的宽度限定的上限线段值的长线段和相对于基于所述焊道的宽度限定的下限线段值的短线段，并且排除在所述长线段两端的轮廓点和在所述短线段两端的轮廓点。

另外，用于辨别所述长线段的所述上限线段值为所述焊道的宽度的2倍，并且用于辨别所述短线段的所述下限线段值为所述焊道的宽度的一半。

为了实现上述目的，本发明的图像处理方法是用于基于激光焊接的焊接部分的图像来认出形成在所述焊接部分的焊道的形状的图像处理方法。所述图像处理方法包括如下步骤：以对应于拍摄并取入在焊接终止紧后但是在焊接中使用的光熄灭之前在所述焊接部分产生的残热发光的图像的方式设定多条基准线；在如下位置形成轮廓点，在所述位置所述基准线与在所述取入的图像中的残热发光的亮度比亮度阈值高的区域和所述残热发光的亮度比所述亮度阈值低的区域之间的边界交叉，所述亮度阈值是为了识别所述焊道的轮廓线而设定的；形成在同一条基准线上的每2个所述轮廓点之间的中间点；以及基于多个所述轮廓点形成轮廓线。

为了实现上述目的，本发明的图像处理方法被配置为如下(a)或(b)：

(a)所述图像处理方法还包括如下步骤：基于多个所述中间点形成中心线，以及

(b)所述图像处理方法还包括如下步骤：在设定所述基准线之前，以对应于所述取入的图像的方式，基于多个焊道区域点的拟合曲线形成所述焊道的形状的中心线，所述多个焊道区域点的亮度比所述亮度阈值大；以及在形成所述轮廓线之前，认出所述中心线的弯曲度，并且在所述同一条基准线上形成多于2个所述轮廓点的情况下，确定在所述同一条基准线上由于横跨所述焊道而其间具有间隔的彼此相对的、用于形成所述中间点的2个轮廓点，其中确定的所述2个轮廓点用于形成所述中间点和所述轮廓线。

此外，本发明的图像处理方法还包括以防止所述基准线具有平行于所述中心线的弯曲形状的部分的方式调整所述基准线的步骤。

本发明的图像处理方法还包括如下步骤：在设定所述中间点之前，计算在所述同一条基准线上的每2个所述轮廓点之间的线段长度，计算所述线段长度的频率分布，基于亮度比所述亮度阈值大的多个焊道区域点计算所述焊道的宽度，使用所述频率分布辨别相对于基于所述焊道的宽度限定的上限线段值的长线段和相对于基于所述焊道的宽度限定的下限线段值的短线段，并且排除在所述长线段两端的轮廓点和在所述短线段两端的轮廓点。

另外，用于辨别所述长线段的所述上限线段值为所述焊道的宽度的2倍，并且用于辨别所述短线段的所述下限线段值为所述焊道的宽度的一半。

根据本发明的图像处理装置，能产生如下效果。

本发明的图像处理装置是用于基于激光焊接的焊接部分的图像来认出形成在所述焊接部分的焊道的形状的图像处理装置。所述图像处理装置包括：基准线设定单元，其用于以对应于在激光焊接期间在所述焊接部分产生残热发光时所拍摄并取入的所述焊接部分的图像的方式设定多条基准线；轮廓点形成单元，其用于在如下位置形成轮廓点，在所述位置所述基准线与在所述取入的图像中的残热发光的亮度比亮度阈值高的区域和所述残热发光的亮度比所述亮度阈值低的区域之间的边界交叉，所述亮度阈值是为了识别所述焊道的轮廓线而设定的；中间点形成单元，其用于形成在同一条基准线上的每2个所述轮廓点之间的中间点；以及轮廓线形成单元，其用于基于多个所述轮廓点形成轮廓线。

因此，基于焊接终止紧后但是焊接中使用的光熄灭之前产生的“残热发光”认出焊道的形状。由此，当焊道的形状被认出时，焊接期间产生的等离子束的影响变小。因而，基于所取入的图像，焊道的形状能被正确地认出。同时，由于轮廓点在显示图像上形成在受限范围内诸如在基准线上，在显示图像上显示的轮廓点的数目减少。基于这种数目减少的轮廓点形成中间点、轮廓点以及轮廓线。由此，要处理的图像数据减少。结果是，图像处理负荷降低。这使得能提供用于判断焊接缺陷并能够正确地认出焊道的形状以及降低图像处理负荷的图像处理装置。

本发明的图像处理装置还包括中心线形成单元，其用于基于多个所述中间点形成中心线。因此，基于较少数目的中间点形成中心线。由此，要处理的图像数据进一步减少，结果是，图像处理负荷进一步降低。

本发明的图像处理装置还包括：中心线形成单元，其用于在设定所述基准线之前，以对应于如此取入的所述图像的方式，基于多个焊道区域点的拟合曲线形成所述焊道的形状的中心线，所述多个焊道区域点比所述亮度阈值大；以及轮廓点确定单元，其用于在形成所述轮廓线之前，认出所述中心线的弯曲度，并且在所述同一条基准线上形成多于2个所述轮廓点的情况下，确定在所述同一条基准线上由于横跨所述焊道而其间具有间隔的彼此相对的、用于形成所述中间点的2个轮廓点，其中如此确定的所述2个轮廓点用于形成所述中间点和所述轮廓线。因此，在弯曲焊道的图像的处理中，即使在基准线上形成多于2个轮廓点的情况下，对应于焊道的形状的轮廓线和中心线也能被正确地认出并形成。

本发明的图像处理装置还包括基准线调整单元，其用于以防止所述基准线具有平行于所述中心线的弯曲形状的部分的方式调整所述基准线。因此，在弯曲焊道的图像的处理中，能防止在同一条基准线上形成沿着焊道的弯曲轮廓的2个轮廓点。换句话说，在同一条基准线上的2个轮廓点的组合被限定为在焊道的宽度方向上横跨焊道的2个轮廓点。基于这样2个轮廓点，中间点正确地形成。由此，能进一步降低图像处理负荷，并能更加正确地形成轮廓线和中心线。

本发明的图像处理装置还包括：轮廓点选择单元，其被配置为：在设定所述中间点之前，计算在所述同一条基准线上的每2个所述轮廓点之间的线段长度，计算所述线段长度的频率分布，基于比所述亮度阈值大的多个焊道区域点计算所述焊道的宽度，使用所述频率分布辨别相对于基于所述焊道的宽度限定的上限线段值的长线段和相对于基于所述焊道的宽度限定的下限线段值的短线段，并且排除在所述长线段两端的轮廓点和在所述短线段两端的轮廓点。

另外，用于辨别所述长线段的所述上限线段值为所述焊道的宽度的2倍，并且用于辨别所述短线段的所述下限线段值为所述焊道的宽度的一半。

因此，例如，形成轮廓线所不必要的轮廓点被排除，诸如基于焊道的轮廓以外的元素形成的轮廓点，能使用较少数目的正确的轮廓点形成轮廓线。由此，能进一步降低图像处理负荷，并能更加正确地形成焊道的形状。

根据本发明的图像处理方法，能产生如下效果。

本发明的图像处理方法是用于基于激光焊接的焊接部分的图像来认出形成在所述焊接部分的焊道的形状的图像处理方法。所述图像处理方法包括如下步骤：以对应于在激光焊接期间在所述焊接部分产生残热发光时所拍摄并取入的所述焊接部分的图像的方式设定多条基准线；在如下位置形成轮廓点，在所述位置所述基准线与在所述取入的图像中的残热发光的亮度比亮度阈值高的区域和所述残热发光的亮度比所述亮度阈值低的区域之间的边界交叉，所述亮度阈值是为了识别所述焊道的轮廓线而设定的；形成在同一条基准线上的每2个所述轮廓点之间的中间点；以及基于多个所述轮廓点形成轮廓线。

因此，基于焊接终止紧后但是焊接中使用的光熄灭之前产生的“残热发光”认出焊道的形状。由此，当焊道的形状被认出时，焊接期间产生的等离子束的影响变小。因而，基于所取入的图像，焊道的形状能被正确地认出。同时，由于轮廓点在显示图像上仅形成在受限范围内诸如在基准线上，在显示图像上显示的轮廓点的数目减少。基于这种数目减少的轮廓点形成中间点和轮廓线。由此，要处理的图像数据减少。结果是，图像处理负荷降低。这使得能提供用于判断焊接缺陷并能够正确地认出焊道的形状以及降低图像处理负荷的图像处理方法。

本发明的图像处理方法还包括基于多个所述中间点形成中心线的步骤。因此，基于较少数目的中间点形成中心线。由此，要处理的图像数据进一步减少，结果是，图像处理负荷进一步降低。

本发明的图像处理方法还包括如下步骤：在设定所述基准线的步骤之前，以对应于如此取入的所述图像的方式，基于多个焊道区域点的拟合曲线形成所述焊道的形状的中心线，所述多个焊道区域点比所述亮度阈值大；以及在形成所述轮廓线的步骤之前，认出所述中心线的弯曲度，并且在所述同一条基准线上形成多于2个所述轮廓点的情况下，确定在所述同一条基准线上由于横跨所述焊道而其间具有间隔的彼此相对的、用于形成所述中间点的2个轮廓点，其中如此确定的所述2个轮廓点用于形成所述中间点和所述轮廓线。因此，在弯曲焊道的图像的处理中，即使在基准线上形成多于2个轮廓点的情况下，对应于焊道的形状的轮廓线和中心线也能被正确地认出并形成。

本发明的图像处理方法还包括以防止所述基准线具有平行于所述中心线的弯曲形状的部分的方式调整所述基准线的步骤。因此，在弯曲焊道的图像的处理中，能防止在同一条基准线上形成沿着焊道的弯曲轮廓的2个轮廓点。换句话说，在同一条基准线上的2个轮廓点的组合被限定为在焊道的宽度方向上横跨焊道的2个轮廓点。基于这样2个轮廓点，中间点正确地形成。由此，能进一步降低图像处理负荷，并能更加正确地形成轮廓线和中心线。

本发明的图像处理方法还包括如下步骤：在设定所述中间点的步骤之前，计算在所述同一条基准线上的每2个所述轮廓点之间的线段长度，计算所述线段长度的频率分布，基于比所述亮度阈值大的多个焊道区域点计算所述焊道的宽度，使用所述频率分布辨别相对于基于所述焊道的宽度限定的上限线段值的长线段和相对于基于所述焊道的宽度限定的下限线段值的短线段，并且排除在所述长线段两端的轮廓点和在所述短线段两端的轮廓点。

另外，用于辨别所述长线段的所述上限线段值为所述焊道的宽度的2倍，并且用于辨别所述短线段的所述下限线段值为所述焊道的宽度的一半。

因此，例如，排除形成轮廓线所不必要的轮廓点，诸如基于焊道的轮廓以外的元素形成的轮廓点，能使用较少数目的正确的轮廓点形成轮廓线。由此，能进一步降低图像处理负荷，并能更加正确地形成焊道的形状。

附图说明

图1为示出在作为用于确定焊接缺陷的对象的焊接部分的焊道的示意图。

图2为示出具有根据本发明第1实施方式的图像处理装置的焊接缺陷确定系统的框图。

图3为示出在图像取入处理中焊接紧后的时间流逝与残热发光的亮度之间的关系的图。

图4为示出在本发明第1实施方式中显示焊道的形状的图像的实例的示意图。

图5(a)为在本发明第1实施方式中用于说明正常焊道的终端部分的弯曲度的计算的示意图。图5(b)为在本发明第1实施方式中用于说明具有焊接缺陷的终端部分的弯曲度的计算的示意图。

图6为示出使用根据本发明第1实施方式的图像处理方法的焊接缺陷确定方法的流程图。

图7为示出具有根据本发明第2实施方式的图像处理装置的焊接缺陷确定系统的框图。

图8为示出在本发明第2实施方式中基于焊道区域点形成中心线的图像的实例的示意图。

图9为示出在本发明第2实施方式中基准线的交叉角度从其初始状态变化的状态的示意图。

图10为在本发明第2实施方式中在同一条基准线上由于横跨焊道而其间具有间隔的彼此相对的两个轮廓点和这种轮廓点以外的不必要的轮廓点形成的状态的示意图。

图11为示出使用根据本发明第2实施方式的图像处理方法的焊接缺陷确定方法的流程图。

图12为示出具有根据本发明第3实施方式的图像处理装置的焊接缺陷确定系统的框图。

图13为在本发明第3实施方式中示出在同一条基准线上的两个轮廓点之间的线段长度的频率分布的实例的图。

图14为示出使用根据本发明第3实施方式的图像处理方法的焊接缺陷确定方法的流程图。

具体实施方式

[第1实施方式]

将对具有根据本发明第1实施方式的图像处理装置的焊接缺陷确定系统(以下称为“确定系统”)和使用根据第1实施方式的图像处理方法的焊接缺陷确定方法进行描述。

首先，将参照图1对在作为确定缺陷的对象的焊接部分的焊道m进行描述。焊道m形成为大致C形。具体地，焊道m具有：在焊接开始的位置形成的始端部分m1；在焊接终止的位置形成的终端部分m2；以及形成于始端部分m1和终端部分m2之间的中间部分m3。在第1实施方式中，确定缺陷的对象是包括焊道m的终端部分m2和焊道m的中间部分m3的位于靠近终端部分m2的部分的区域J。此外，在第1实施方式中，作为实例，焊道m形成为大致C形，但是焊道m可以形成为诸如直线、L形以及波形等的其它形状。

其次，将参照图2对确定系统1进行描述。

确定系统1具有图像取入装置2。图像取入装置2被配置为执行用于焊接的激光照射，拍摄激光焊接期间产生残热发光的焊接部分的图像，并取入所拍摄的焊接部分的图像。确定系统1具有图像处理装置3。图像处理装置3被配置为基于由图像取入装置2取入的焊接部分的图像来认出焊道m的形状。确定系统1具有焊道形状确定装置4。焊道形状确定装置4被配置为基于由图像处理装置3认出的焊道的形状来确定在焊接部分的缺陷。

将参照图2和图3对图像取入装置2进行描述。

如图2所示，图像取入装置2具有用于对焊接构件M照射焊接用激光束的激光照射器5。图像取入装置2具有用于连续地拍摄照射激光束的焊接部分的图像的监视器6。图像取入装置2具有用于连续地存储由监视器6拍摄的图像的存储器7。图像取入装置2具有用于取入由存储器7存储的图像的图像取入单元8。

如图3所示，图像取入单元8被配置为取入焊接终止紧后的预定时间t内产生的残热发光的图像。此外，图像取入单元8被配置为在图像的平均亮度G为预定的取入开始亮度阈值g1以上时开始图像的取入，并且在图像的平均亮度G为预定的取入终止亮度阈值g2以下时由于认出残热发光完成而终止图像的取入。

作为实例，图像取入装置2的详细配置优选如下。

残热发光在焊接终止紧后产生数十ms(毫秒)之后衰减。这使得难于确认残热发光。因为这个原因，预定时间t优选为约20ms。这种情况下，监视器6优选为帧频为约500Hz(周期：2ms)的高速照相机，因此取入约10张(＝20ms/2ms)图像。同时，监视器6优选为具有宽的信号检测的动态范围且也具有宽的可测量亮度范围的高动态范围照相机；由此，能在焊接期间和焊接紧后拍摄图像。对于图像取入单元8，开始图像的取入的开始亮度阈值g1优选为焊接期间和焊接紧后的平均亮度G的中间值。终止图像的取入的终止亮度阈值g2优选比开始亮度阈值g1小并且比不能确认残热发光这种黑暗程度的图像的平均亮度G大。

将参照图2和图4对图像处理装置3进行描述。

如图2所示，图像处理单元3具有焊道认出单元9。焊道认出单元9被配置为基于由图像取入装置2取入的图像来认出焊道区域候补。焊道区域候补是残热发光具有比预定的轮廓亮度阈值h高的亮度H的区域。轮廓亮度阈值h是为了识别焊道m的轮廓线而设定的。图像处理装置3具有焊道判断单元10。在多个焊道区域候补被认出的情况下，焊道判断单元10被配置为从多个焊道区域候补中选择对应于实际焊道的焊道区域E。注意的是，该焊道区域E由多个焊道区域点e构成。作为实例，焊道区域点e由图像上的一个以上像素表示，并且多个焊道区域点e可彼此相邻设置或以像素单位的间隔设置。此外，焊道判断单元10被配置为计算各焊道区域候补的纵横比(宽度与高度的比率)并基于纵横比来从多个焊道区域候选中选择对应于实际焊道m的焊道区域E。例如，在纵横比比对应于横长形状的一般焊道m的值大的情况下，焊道判断单元10应被设定为认出这种焊道区域候补为实际焊道m。在分别对应于实际焊道m和焊接期间飞散的溅射粒子的焊道区域候补被认出的情况下，对应于溅射粒子的焊道区域候补形成为等方性形状(isotropic shape)，而焊道m形成为横长形状。由此，对应于实际焊道m的焊道区域E被正确地选择。此外，在考虑到对应于溅射粒子的焊道区域候补没有形成为等方性形状的情况下，焊道判断单元10被配置为确定在相继取入的图像中多个焊道区域候补是移动还是停止，并认出如此停止的焊道区域候补是对应于实际焊道m的焊道区域E。

如图2所示，图像处理装置3具有基准线设定单元11。基准线设定单元11被配置为在所取入的图像上格子状地设定多条基准线L(参见图4)。作为实例，多条基准线L优选地以像素单位的间隔设置，多条基准线L之间的间隔优选地比多个焊道区域点e的间隔大。图像处理装置3具有轮廓点形成单元12。轮廓点形成单元12被配置为在基准线L上形成焊道m的轮廓点p(参见图4)。图像处理装置3具有中间点形成单元13。中间点形成单元13被配置为形成在同一条基准线上形成的每2个轮廓点p之间的中间点q(参见图4)。图像处理装置3具有轮廓线形成单元14。轮廓线形成单元14被配置为基于多个轮廓点p来形成轮廓线P(参见图4)。图像处理装置3具有第1中心线形成单元15。第1中心线形成单元15被配置为基于多个中间点q来形成中心线Q(参见图4)。

将参照图4对轮廓点形成单元12和中间点形成单元13的详细情况进行描述。

轮廓点形成单元12被配置为在基准线L上形成轮廓点p。基于由图像取入装置2取入的图像，轮廓点p形成在对应于焊道m的轮廓的边界与基准线L交叉的位置。对应于焊道m的轮廓的边界位于残热发光的亮度H比为了识别焊道m的轮廓线而设定的轮廓亮度阈值h高的区域和残热发光的亮度H比轮廓亮度阈值h低的区域之间。换句话说，轮廓亮度阈值h被设定为对应于焊道m的轮廓、且比对应于焊道m的轮廓的内侧区域的残热发光的亮度H小、但比对应于焊道m的轮廓的外侧区域的残热发光的亮度H大的值。注意的是，作为实例，轮廓亮度阈值g3优选通过预先求得焊道m的轮廓和残热发光的亮度H之间的关系来设定。此外，中间点形成单元13被配置为形成在同一条基准线L形成的每2个轮廓点p之间的中点作为中间点q。

将参照图4对轮廓线形成单元14和第1中心线形成单元15的详细情况进行描述。

轮廓线形成单元14使用拟合函数f1基于多个轮廓点p形成轮廓线P。作为实例，在相互垂直交叉的X轴和Y轴被限定的情况下，拟合函数f1优选为Y＝aX²+bX+c或X＝a'Y²+b'Y+c'。这些系数a、b和c，或系数a'、b'和c'优选以使拟合函数f1和多个轮廓点p之间的距离的平方和最小的方式限定(最小平方法)。此外，对于拟合函数f1，基于各计算式Y＝aX²+bX+c和X＝a'Y²+b'Y+c'进行计算。其中，选择具有较小拟合误差的计算式。使用如此选择的计算式可形成轮廓线P。注意的是，拟合函数f1可为诸如3次函数和4次函数等的多项式函数、指数函数、对数函数等。此外，只要基于轮廓点p能形成轮廓线P，拟合函数f1也可为使用在其它拟合中的函数。

另外，第1中心线形成单元15被配置为使用拟合函数f2基于多个中间点q形成中心线Q。作为实例，优选地，拟合函数f2相似于拟合函数f1。

将参照图2、图5(a)和图5(b)对焊道形状确定装置4进行描述。

焊道形状确定装置4被配置为基于由图像处理装置3获得轮廓点p、中间点q、轮廓线P以及中心线Q来确定在焊道m的缺陷的存在。将参照图2对焊道形状确定装置4的详细情况进行描述。焊道形状确定装置4具有代表点形成单元16。在相互垂直交叉的X轴和Y轴被限定的情况下，代表点形成单元16被配置为形成代表中间点q1，所述代表中间点q1为多个中间点q的平均位置(参见图5(a)和图5(b))。代表中间点q1的X坐标是多个中间点q的X坐标的平均值，而代表中间点q1的Y坐标是多个中间点q的Y坐标的平均值。焊道形状确定装置4具有终端点形成单元17。终端点形成单元17被配置为形成终端中间点q2，所述终端中间点q2为在焊道m的终端部分m2轮廓线P与中心线Q交叉的点(参见图5(a)和图5(b))。焊道形状确定装置4具有副代表点形成单元18。副代表点形成单元18被配置为形成副代表中间点q3，所述副代表中间点q3为代表中间点q1和终端中间点q2之间的中点(参见图5(a)和图5(b))。焊道形状确定装置4具有直线形成单元19。直线形成单元19被配置为形成一对直线U、V，所述一对直线U、V被设置为在垂直于连接终端中间点q2和副代表中间点q3的直线R的方向上具有长度d的间隔而平行于所述直线R(参见图5(a)和图5(b))。

作为实例，如图5(a)和图5(b)所示，长度d应为焊道m的宽度的一半以下。在这种情况下，焊道m的宽度优选为基于焊道区域E、和/或焊道区域E内的多个焊道区域点e、以及由焊道区域E和/或焊道区域点e计算的纵横比计算的代表宽度。焊道形状确定装置4具有弯曲度计算单元20。弯曲度计算单元20被配置为判断在焊道m的终端部分m2的焊接缺陷。

将参照图5(a)和图5(b)对弯曲度计算单元20的详细情况进行描述。

弯曲度计算单元20被配置为计算边界点u、v，所述边界点u、v为在焊道m的终端部分m2各直线U、V与轮廓线P交叉的点。弯曲度计算单元20被配置为计算直线U、V和终端中间点q2之间的距离，作为弯曲度W。如图5(a)所示，在终端中间点q2相对于连接边界点u、v的直线U、V位于与副代表中间点q3相反的一侧的情况下，弯曲度W被识别为正值。同时，如图5(b)所示，在终端中间点q2相对于直线U、V位于副代表中间点q3侧的情况下，弯曲度W被识别为负值。在弯曲度W为正值的情况下，如图5(a)所示，终端部分m2具有凸状。另一方面，在弯曲度W为负值的情况下，如图5(b)所示，终端部分m2具有凹状。此外，在弯曲度计算单元20中，为了确定在终端部分m2的缺陷的存在而设定弯曲度阈值w。在弯曲度W为弯曲度阈值w以上的情况下，终端部分m2被确定为是正常的。同时，在弯曲度W为弯曲度阈值w以下的情况下，终端部分m2被确定为有诸如孔等的缺陷产生。作为实例，弯曲度阈值w优选为0。

将参照图6对使用根据第1实施方式的图像处理方法的焊接缺陷确定方法进行描述。

激光照射器5对焊接构件M照射焊接用激光束。监视器6连续地拍摄如此照射激光束的焊接部分的图像。存储器7存储所拍摄的图像。图像取入单元8从存储器7取入产生残热发光的图像(S1)。焊道认出单元9认出所取入的图像中的焊道区域候补。在多个焊道区域候补被认出的情况下，焊道判断单元10判断对应于实际焊道m的焊道区域E。基准线设定单元11以对应于由图像取入单元8取入的图像的方式格子状地设定多条基准线L(S2)。轮廓点形成单元12在基准线L上形成焊道m的轮廓点p(S3)。中间点形成单元13形成在同一条基准线L上形成的每2个轮廓点p之间的中间点q(S4)。轮廓线形成单元14基于多个轮廓点p形成轮廓线P(S5)。第1中心线形成单元15基于多个中间点q形成中心线Q(S6)。基于由图像处理装置3获得的中间点q、轮廓线P以及中心线Q判断在焊道m是否存在缺陷(S7)。

将对确定在焊道m的缺陷的存在的详细情况进行描述。代表点形成单元16限定相互垂直交叉的X轴和Y轴，并形成代表中间点q1，所述代表中间点q1为多个中点q的平均位置。终端点形成单元17形成终端中间点q2，所述终端中间点q2为在焊道m的终端部分m2轮廓线P与中心线Q交叉的点。副代表点形成单元18形成副代表中间点q3，所述副代表中间点q3为代表中间点q1和终端中间点q2之间的中点。直线形成单元19形成一对直线U、V，所述一对直线U、V被设置为在垂直于连接终端中间点q2和副代表中间点q3的直线R的方向上具有长度d的间隔地平行于所述直线R。弯曲度计算单元20被配置为计算边界点u、v，所述边界点u、v为在终端部分m2各直线U、V与轮廓线P交叉的点。此外，在弯曲度计算单元20中，在终端部分m2的弯曲度W为弯曲度阈值w以上的情况下，终端部分m2被确定为是正常的。同时，在弯曲度W为弯曲度阈值w以下的情况下，终端部分m2被确定为有诸如孔等的缺陷产生。

如上所述，根据本发明第1实施方式，基于残热发光认出焊道m的形状。由此，当焊道m的形状被认出时，焊接期间产生的等离子束的影响变小。因而，基于所取入的图像，焊道m的轮廓线P和中心线Q能被正确地认出。同时，由于轮廓点p和中间点q形成在受限范围内诸如在基准线L上，轮廓点p和中间点q的数目减少。基于这种数目减少的轮廓点p形成中间点q和轮廓线P，并且使用数目减少的中间点q形成中心线Q。由此，要处理的图像数据减少。结果是，图像处理负荷降低。这使得能提供用于判断焊接缺陷并能够正确地认出焊道m的形状以及降低图像处理负荷的图像处理装置3。

[第2实施方式]

下面将对根据本发明第2实施方式的图像处理装置和图像处理方法进行描述。第2实施方式的图像处理装置和图像处理方法的基本构成要素具有与第1实施方式的图像处理装置和图像处理方法相同的配置。对与第1实施方式相同的要素使用与第1实施方式相同的附图标记和名称进行描述。这里，将描述与第1实施方式不同的配置。

将参照图7至图10对确定系统21进行描述。

如图7所示，确定系统21具有与第1实施方式相同的图像取入装置2和焊道形状确定装置4。确定系统21具有基于由图像取入装置2取入的焊接部分的图像来认出在焊接部分形成的焊道m的形状的图像处理装置22。

如图7所示，图像处理装置22具有与第1实施方式相同的焊道认出单元9、焊道判断单元10、基准线设定单元11、轮廓点形成单元12、中间点形成单元13以及轮廓线形成单元14。图像处理装置22具有第2中心线形成单元23。第2中心线形成单元23被配置为基于由焊道认出单元9和焊道判断单元10中获得的焊道区域E中的多个焊道区域点e来形成中心线Q(参见图8)。中心线形成单元23基于多个焊道区域点e计算拟合曲线，且该拟合曲线形成为中心线Q。例如，拟合曲线可为对数拟合曲线、多项式拟合曲线、幂拟合曲线、指数拟合曲线、移动平均曲线等。图像处理装置22具有弯曲形状认出单元24。弯曲形状认出单元24被配置为基于中心线Q来认出焊道m的弯曲形状(参照图8)。图像处理装置22具有基准线调整单元25。如图9所示，基准线调整单元25被配置为防止基准线L具有平行于中心线Q的弯曲形状的部分。具体地，基准线调整单元25被配置为改变在初始状态为直角的基准线L的交叉角度z。再次如图7所示，图像处理装置22具有轮廓点确定单元26。在中心线Q弯曲且在同一条基准线L上形成多于2个轮廓点的情况下，轮廓点确定单元26被配置为确定在同一条基准线L上由于横跨焊道m而其间具有间隔的彼此相对的两个轮廓点p，并排除这种轮廓点p以外的不必要的轮廓点p'(参见图10)。

将参照图11对使用根据第2实施方式的图像处理方法的焊接缺陷确定方法进行描述。

如在第1实施方式中那样，取入在激光焊接期间产生的残热发光的图像(S21)。焊道认出单元9认出在所取入的图像中的焊道区域候补。在多个焊道区域候补被认出的情况下，焊道判断单元10确定对应于实际焊道m的焊道区域E。第2中心线形成单元23基于焊道区域E中的焊道区域点e计算拟合曲线，并将该拟合曲线形成为中心线Q(S22)。弯曲形状认出单元24基于中心线Q认出焊道m的弯曲形状(S23)。基准线设定单元11格子状地设定多条基准线L(S24)。基准线调整单元25以防止基准线L具有平行于中心线Q的部分的方式改变在初始状态角度为直角的基准线L的交叉角度z(S25)。轮廓点形成单元12在基准线L上形成焊道m的轮廓点p(S26)。在中心线Q弯曲且在同一条基准线L上形成多于2个轮廓点的情况下，轮廓点确定单元26确定在同一条基准线L上由于横跨焊道m而其间具有间隔的彼此相对的两个轮廓点p(S27)。中间点形成单元13形成在同一条基准线L上形成且由轮廓点确定单元26确定的每2个轮廓点p之间的中间点q(S28)。轮廓线形成单元14基于多个轮廓点p形成轮廓线P(S29)。如在第1实施方式中那样，基于由图像处理装置22获得的中间点q、轮廓线P以及中心线Q判断在焊道m是否存在缺陷(S30)。

如上所述，根据本发明第2实施方式，除与第1实施方式相同的效果之外还获得如下效果。根据本发明第2实施方式，在中心线Q弯曲且在同一条基准线L上形成多于2个轮廓点的情况下，轮廓点确定单元26确定在同一条基准线L上由于横跨焊道m而其间具有间隔的彼此相对的两个轮廓点p。由此，在弯曲焊道m的图像的处理中，即使在基准线L上形成多于2个轮廓点p的情况下，对应于焊道m的这种形状的轮廓线P和中心线Q也能被正确地认出并形成。

根据本发明第2实施方式，基准线调整单元25防止基准线L具有平行于中心线Q的弯曲形状的部分。由此，在弯曲焊道m的图像的处理中，能防止在同一条基准线L上形成沿着焊道m的弯曲轮廓的2个轮廓点p。换句话说，在同一条基准线L上的2个轮廓点p的组合被限定为在焊道m的宽度方向上横跨焊道m的2个轮廓点p。基于这样2个轮廓点p，中间点q被正确地形成。由此，能进一步降低图像处理负荷，并能更加正确地形成轮廓线P和中心线Q。

[第3实施方式]

将对根据本发明第3实施方式的图像处理装置和图像处理方法进行描述。第3实施方式的图像处理装置和图像处理方法的基本构成要素具有与第1实施方式的图像处理装置和图像处理方法相同的配置。对与第1实施方式相同的要素使用与第1实施方式相同的附图标记和名称进行描述。这里，将描述与第1实施方式不同的配置。

将参照图12和图13对确定系统31进行描述。

如图12所示，确定系统31具有与第1实施方式相同的图像取入装置2和焊道形状确定装置4。确定系统31具有图像处理装置32。图像处理装置32被配置为基于由图像取入装置2取入的焊接部分的图像来认出在焊接部分形成的焊道m的形状。

如图12所示，图像处理装置32具有与第1实施方式相同的焊道认出单元9、焊道判断单元10、基准线设定单元11、轮廓点形成单元12、中间点形成单元13、轮廓线形成单元14以及中心线形成单元15。图像处理装置32具有轮廓点选择单元33。轮廓点选择单元33被配置为计算位于同一条基准线L上的每2个轮廓点p之间的线段长度K。此外，如图13所示，轮廓点选择单元33被配置为计算线段长度K的频率N的分布。另外，轮廓点选择单元33被配置为基于由焊道认出单元9和焊道判断单元10获得的焊道区域E中多个焊道区域点e来计算焊道m的宽度。轮廓点选择单元33被配置为辨别相对于基于焊道m的宽度限定的上限线段值k1的长线段和相对于基于焊道m的宽度限定的下限线段值k2的短线段，从而排除了长线段两端的轮廓点p和短线段两端的轮廓点p。在这种情况下，焊道m的宽度优选为基于焊道区域E、和/或焊道区域E中的多个焊道区域点e、以及由焊道区域E和/或焊道区域点e计算的纵横比所计算的代表宽度。优选地，上限线段值k1设定为焊道宽度的2倍，下限线段值k2设定为焊道宽度的一半。

将参照图14对使用根据第3实施方式的图像处理方法的焊接缺陷确定方法进行描述。

如在第1实施方式中那样，取入在激光焊接期间产生的残热发光的图像(S31)。焊道认出单元9认出在所取入的图像中的焊道区域候补。在多个焊道区域候补被认出的情况下，焊道判断单元10确定对应于实际焊道m的焊道区域E。基准线设定单元11以对应于由图像取入单元8取入的图像的方式在焊接部分的焊道m的形状上格子状地设定多条基准线L(S32)。轮廓点形成单元12在基准线L上形成焊道m的轮廓点p(S33)。轮廓点选择单元33计算位于同一条基准线L上的每2个轮廓点p之间的线段长度K；计算线段长度K的频率分布；基于多个焊道区域点e计算焊道m的宽度；辨别在频率分布中相对于基于焊道m的宽度限定的上限阈值k1的长线段和相对于基于焊道m的宽度限定的下限阈值k2的短线段；以及排除长线段两端的轮廓点和短线段两端的轮廓点(S34)。中间点形成单元13形成在同一条基准线L上形成的每2个轮廓点p之间的中间点q(S35)。轮廓线形成单元14基于多个轮廓点p形成轮廓线P(S36)。第1中心线形成单元15基于多个中间点q形成中心线Q(S37)。如在第1实施方式中那样，基于由图像处理装置32获得的中间点q、轮廓线P以及中心线Q判断在焊道m是否存在缺陷(S38)。

如上所述，根据本发明第3实施方式，除与第1实施方式相同的效果之外还获得如下效果。根据本发明第3实施方式，轮廓点选择单元33计算位于同一条基准线L上的每2个轮廓点p之间的线段长度K；计算线段长度K的频率分布；计算焊道m的宽度；辨别在频率分布中相对于基于焊道m的宽度限定的上限线段值k1的长线段和相对于基于焊道m的宽度限定的下限线段值k2的短线段；以及排除长线段两端的轮廓点和短线段两端的轮廓点。另外，作为实例，上限线段值k1设定为焊道宽度的2倍，下限线段值k2设定为焊道宽度的一半。因而，排除了形成轮廓线P所不必要的轮廓点，诸如基于焊道m的轮廓以外的元素形成的轮廓点，并能使用较少数目的正确的轮廓点p形成轮廓线P。由此，能进一步降低图像处理负荷，并能更加正确地形成焊道的形状。

至此已描述了本发明的实施方式。然而，本发明不仅仅限于上述实施方式，基于本发明的技术理念可做出各种变形和改变。

例如，作为本发明实施方式的第1变形例，根据第2实施方式的图像处理装置22可设置有第3实施方式的轮廓点选择单元33。从而获得与第3实施方式相同的效果。

作为本发明实施方式的第2变形例，在第1至第3实施方式中，多条基准线L可设定为在焊道区域E中的一点彼此交叉并从该交叉点径向延伸。从而获得与本发明第1至第3实施方式相同的效果。

Claims (12)

1.一种图像处理装置，用于基于激光焊接的焊接部分的图像来认出形成在所述焊接部分的焊道的形状，所述图像处理装置包括：

基准线设定单元，其用于以对应于拍摄并取入在焊接终止紧后但是在焊接中使用的光熄灭之前在所述焊接部分产生的残热发光的图像的方式设定多条基准线；

轮廓点形成单元，其用于在如下位置形成轮廓点，在所述位置所述基准线与在所述取入的图像中的残热发光的亮度比亮度阈值高的区域和所述残热发光的亮度比所述亮度阈值低的区域之间的边界交叉，所述亮度阈值是为了识别所述焊道的轮廓线而设定的；

中间点形成单元，其用于形成在同一条基准线上的每2个所述轮廓点之间的中间点；以及

轮廓线形成单元，其用于基于多个所述轮廓点形成轮廓线。

2.根据权利要求1所述的图像处理装置，还包括：

中心线形成单元，其用于基于多个所述中间点形成中心线。

3.根据权利要求1所述的图像处理装置，还包括：

中心线形成单元，其用于在设定所述基准线之前，以对应于所述取入的图像的方式，基于多个焊道区域点的拟合曲线形成所述焊道的形状的中心线，所述多个焊道区域点的亮度比所述亮度阈值大；以及

轮廓点确定单元，其用于在形成所述轮廓线之前，认出所述中心线的弯曲度，并且在所述同一条基准线上形成多于2个所述轮廓点的情况下，确定在所述同一条基准线上由于横跨所述焊道而其间具有间隔的彼此相对的、用于形成所述中间点的2个轮廓点；

其中确定的所述2个轮廓点用于形成所述中间点和所述轮廓线。

4.根据权利要求3所述的图像处理装置，还包括：

基准线调整单元，其用于以防止所述基准线具有平行于所述中心线的弯曲形状的部分的方式调整所述基准线。

5.根据权利要求1至4中任一项所述的图像处理装置，还包括：

轮廓点选择单元，其被配置为：在设定所述中间点之前，计算在所述同一条基准线上的每2个所述轮廓点之间的线段长度，计算所述线段长度的频率分布，基于亮度比所述亮度阈值大的多个焊道区域点计算所述焊道的宽度，使用所述频率分布辨别相对于基于所述焊道的宽度限定的上限线段值的长线段和相对于基于所述焊道的宽度限定的下限线段值的短线段，并且排除在所述长线段两端的轮廓点和在所述短线段两端的轮廓点。

6.根据权利要求5所述的图像处理装置，其中，

用于辨别所述长线段的所述上限线段值为所述焊道的宽度的2倍，并且

用于辨别所述短线段的所述下限线段值为所述焊道的宽度的一半。

7.一种图像处理方法，用于基于激光焊接的焊接部分的图像来认出形成在所述焊接部分的焊道的形状，所述图像处理方法包括如下步骤：

以对应于拍摄并取入在焊接终止紧后但是在焊接中使用的光熄灭之前在所述焊接部分产生的残热发光的图像的方式设定多条基准线；

在如下位置形成轮廓点，在所述位置所述基准线与在所述取入的图像中的残热发光的亮度比亮度阈值高的区域和所述残热发光的亮度比所述亮度阈值低的区域之间的边界交叉，所述亮度阈值是为了识别所述焊道的轮廓线而设定的；

形成在同一条基准线上的每2个所述轮廓点之间的中间点；以及

基于多个所述轮廓点形成轮廓线。

8.根据权利要求7所述的图像处理方法，还包括如下步骤：

基于多个所述中间点形成中心线。

9.根据权利要求7所述的图像处理方法，还包括如下步骤：

在设定所述基准线的步骤之前，以对应于所述取入的图像的方式，基于多个焊道区域点的拟合曲线形成所述焊道的形状的中心线，所述多个焊道区域点的亮度比所述亮度阈值大；以及

在形成所述轮廓线的步骤之前，认出所述中心线的弯曲度，并且在所述同一条基准线上形成多于2个所述轮廓点的情况下，确定在所述同一条基准线上由于横跨所述焊道而其间具有间隔的彼此相对的、用于形成所述中间点的2个轮廓点；

其中确定的所述2个轮廓点用于形成所述中间点和所述轮廓线。

10.根据权利要求9所述的图像处理方法，还包括如下步骤：

以防止所述基准线具有平行于所述中心线的弯曲形状的部分的方式调整所述基准线。

11.根据权利要求7至10中任一项所述的图像处理方法，还包括如下步骤：

在设定所述中间点的步骤之前，计算在所述同一条基准线上的每2个所述轮廓点之间的线段长度，计算所述线段长度的频率分布，基于亮度比所述亮度阈值大的多个焊道区域点计算所述焊道的宽度，使用所述频率分布辨别相对于基于所述焊道的宽度限定的上限线段值的长线段和相对于基于所述焊道的宽度限定的下限线段值的短线段，并且排除在所述长线段两端的轮廓点和在所述短线段两端的轮廓点。

12.根据权利要求11所述的图像处理方法，其中，

用于辨别所述长线段的所述上限线段值为所述焊道的宽度的2倍，并且

用于辨别所述短线段的所述下限线段值为所述焊道的宽度的一半。