CN1401075A - 自动检测试样中铸造缺陷的方法 - Google Patents

Abstract

本发明涉及使用在不同位置拍摄的试样的单目X－射线图像序列，自动检查例如铝铸件的一种新颖的方法。已知的用来自动检测铸造缺陷的方法，使用改良的中值滤波器，其使用所记录的X－射线图像评价无缺陷的X－射线图像。相互比较这些图像，当在其间存在相当大的区别时，就探测到铸造缺陷。不过，每个滤波器的结构在相当大的程度上取决于试样的构成结构的尺寸、形状和位置。因而必须预先考虑试样的这些特征。本发明提供了一种方法，能够用两步自动检测铸造缺陷。该方法使用单个滤波器，并且不用事先了解试样的结构。除了校正以外，该方法的第一步是分割该序列每个图像中的假设的铸造缺陷。第二步需要试图跟踪图像序列中的铸造缺陷。本发明方法的基本思想是假设序列中不能被跟踪的假设铸造缺陷是探测误差。通过使用该方法，能最大可能地检测到真正的铸造缺陷，并消除检测误差。根据多图像分析原理，进行图像序列中假设铸造缺陷的跟踪过程。使用双焦、三焦和四焦张量来减小计算时间。对在图像序列中跟踪的假设铸造缺陷进行3D重构，从而可以消除那些不属于试样空间的假设铸造缺陷。利用所拍摄的具有已知材料缺陷的铝轮的半合成和实际的X－射线图像序列，检验该方法的稳定性和可靠性。检测到真正的铸造缺陷，并消除检测误差。

Description

自动检测试样中铸造缺陷的方法

本发明涉及一种根据主要权利要求的前序部分(preamble)，自动检测试样中铸造缺陷的方法。

已知这种方法存在多种过程方式。在所附参考文献[12]-[14]中实现了本发明的公布(publication)，可以看作是最接近的现有技术。

借助X-射线透射检测实现铸件的定量检验。它的任务是寻找铸造缺陷，这些铸造缺陷处于部件内部，因而不能从外面用肉眼看出来。在铸件的制造过程中，当由于冷却液态金属发生凝固时，可能会产生收缩过程。在没有液态金属能够继续流动时，在工件内部产生空隙。除此之外，在铸造过程中存在其它铸造缺陷，如夹杂物和熔渣。图1.1表示一个例子。

多年来，在汽车工业中一直使用X-射线检测系统来实现铸件的自动、定量检验[1，6，10]。图1.2中所示的自动X-射线检测系统包括：

i)一用于操纵试样的控制器，

ii)一X-射线源，其通过中央投影产生试样的X-射线图像，

ii)一图像放大器，其将不可见的X-射线图像变换成可见图像，

iv)一CCD摄像机，其记录该可见的X-射线图像，以及

v)一图像处理计算机，其任务在于通过处理X-射线图像，对铸件或次品件中的试样进行自动分类。

根据传统的方法，在X-射线透射检验中，一般来说，记录对试样不同部位的单目投影。实际中所使用的检测方法[15，10，9，17]，是计算所记录的每个X-射线图像的参考图像。然后当X-射线图像与参考图像之间存在大的差别时，铸造缺陷被进行检测(参见图1.3)。在该方法的情形中，每个记录具有它自己的滤波器，它包括多个小窗口。该窗口的方向和尺寸按这种方式设置，使得在相应的记录位置，滤波器与试样的结构相匹配。这些方法的差别在于，用于计算参考图像的滤波类型的不同。传统方法的缺点为：

  —  滤波器的构造：为了检查铸件，通常在大约20个位置对试样照射X-射线。必须为每个位置配制一个滤波器。实际上，这种结构非常复杂，因为必须手工地实现。对非常复杂的铸件的滤波器的设置可能持续到四个星期。由于所确定的滤波器与试样的结构相匹配，所以逻辑上它们不能被用于不同结构的试样。

  —  万一定位不精确，则滤波失败：当所需要的与实际的试样位置之间存在大的偏差时，不能进行无误差参考图像的测定，因为不再满足所设置的滤波器与结构的匹配。在铸件朝编程位置运动的过程中经常会发生这种问题，因为控制器的若于制动和加速行为可能导致铸件滑动。

  —  不应用X-射线图像之间的一致性：这些方法在每个数字化的X-射线图像中寻找材料缺陷，不考虑缺陷可能存在于多个投影中这个事实。可以使用有关试样位置的信息来得到所记录的X-射线图像之间的一致性，而一般可在每个控制器中得到试样的位置。用这种方法，有可能发现在各个图像中所探测的缺陷是真正的铸造缺陷，还是错误的检测。

X-射线图像序列的评价也是已知的。该方法基于检测者检查铸件寻找材料缺陷的方法。取代单独的图像，他考虑图像序列。试样在检测系统中移动，检测者的眼睛跟踪监视器上出现的细节。当眼睛能够在图像序列中跟踪到缺陷时，便探测到铸造缺陷。该方法允许人们不考虑铸件的构造结构而检查每个试样。

在这种情形中，使用一个滤波器检测来自试样的一系列X-射线图像的每个X-射线图像中假设的铸造缺陷。滤波器的结构取决于试样的构成结构和位置。所分割的假设铸造缺陷的数量不很低，在试图跟踪图像序列中的假定铸造缺陷的过程中，可以消除没有识别出真正的铸造缺陷的错误的检测。

已经在[12]中提出了这种方法，已经制定了两种途径[13，14]，来跟踪图像序列中假定的铸造缺陷：

  —  方法A：由于试样的旋转运动，去除了在图像序列中不形成椭圆形轨迹的这些假设铸造缺陷[14]。

  —  方法B：借助外极性(epipolar)几何学[3]，在多个图像中进行检测，看所形成的轨迹的点是否彼此一致[13]。

不过，在[14]中非椭圆形轨迹的识别不够可靠。此外，不能通过外极性条件来直接实现来自三个或四个图像的轨迹点的计算[13]。在某些情况下，不能定义多于两个视图中外极性直线的交叉点的测定[5]。因而铸造缺陷的检测是费时的，并且不可靠。

因而本发明基于增加可靠性并减小错误检测的目的。

根据本发明，通过在开始部分提到的方法来实现该目的，在权利要求1中给出其特征。

从而尤其是利用系统的校正解决了所提到的问题，特别研究了有缺陷的区域和双焦、三焦和四焦张量(the bifocal，trifocal andquadrifocal tensors)的应用。根据多图像分析的原理，实现对图像序列中假设铸造缺陷的跟踪。可以在[5，7，8，11，16]中找到多图像探测器的基本原理。

进一步的优点和特征存在于从属权利要求中，与主权利要求结合，从属权利要求也具有创造性的意义。下文中将利用附图更加详细地解释一优选实施例，不过本发明不限于该优选实施例，在附图中：

图1.1表示一铝车轮的X-射线图像中三个铸造缺陷的细节的示意性例图；

图1.2表示现有技术的自动X-射线检测系统的示意图；

图1.3表示在先披露的用于根据[9]自动检测铸造缺陷的方法，具有检测图像I，参考图像R，缺陷差别图像D和二元分割结果F；

图2.1表示几何模型的例示；

图2.2表示格栅板的X-射线图像(左)，和其畸变的双曲线模拟(右)；

图3.1表示具有9幅图像和两个圆形铸造缺陷的X-射线序列的示意性例图；

图3.2表示分割的一个例子：a)X-射线图像，b)边缘检测，c)所找到的区域；

图3.3表示一封闭区域的例图；

图3.4表示图3.2a所示X-射线图像的三维例示；

图3.5表示分布的例示，a)P₁，b)P₂，和c)P＝(P₁+P₂)/2；

图3.6表示无倾斜分布的例示，a)P和其倾斜R，b)Q＝P-R；

图3.7表示图3.1所示图像序列的第五个X-射线图像中假设铸造缺陷的分割细节的示意性例图；

图3.8表示图3.1的图像序列中假设的铸造缺陷的分割的示意性例图；

图4.1表示一图像序列中假设铸造缺陷的匹配的示意性例图；

图4.2表示包括与区域(1，p)相匹配的四个图像的例示，在图像p+1，p+2，p+3中(1，p)的重心的外极性直线；

图4.3表示在三幅图像中对假设的铸造缺陷进行跟踪的示意性例图；

图4.4表示在四幅图像中对假设的铸造缺陷进行跟踪的示意性例图；

图4.5表示假设的铸造缺陷的组合轨迹的示意性例图；

图4.6表示所检测到的铸造缺陷的示意性例图；

表5.1表示实际的X-射线图像序列中的检测；

图5.1表示表5.1的14个真实图像序列中错误检测的曲线例示，被分割的假设铸造缺陷的数量对应于100％。在曲线上绘出了每步的平均值；以及

图5.2表示半合成X-射线图像序列中的检测：

    a)  检查的区域，

    b)  铸造缺陷的尺寸，

    c)  正确检测的平均，以及错误的检测。

根据本发明的方法，原则上包括三部分：校正检测系统和摄像机，记录和分割，以及跟踪假设的铸造缺陷和它们的分析。

在下文中，目的在于进一步讨论根据本发明的方法的第一步。这是离线进行的校正，测量或估算该方法的相关几何参数。由于这个目的，首先测量该检测系统的整个几何形状，特别是对其长度、宽度和高度，以及各个装置之间的距离进行测量。此处不必遵照特定值，而由测量来确定。校正的目的是确定铸造部件上3D点与X-射线图像中2D象素之间的变换。

用控制器的平移和旋转位置变量来定义试样的位置。平移变量(参见图2.1)表示试样中心相对X-射线源O位置的位置。旋转变量(ω_x，ω_y，ω_z)(参见图2.1)表示试样关于X-，Y-和Z-轴的旋转。在控制器中可得到这些测得的变量。变量 用毫米表示，变量(ω_x，ω_y，ω_z)为度。

在本申请中，使用均匀坐标表示点[2]。在与运动物体相关连的目标坐标系统中，一3D试样点被表示为x＝[X Y Z 1]^T。这意味着这些坐标与试样的运动无关。

为了确定变换，首先将x线性投影到投影平面(x，y)上(参见图2.1)。该投影平面与图像放大器的输入处的光轴成直角。下面的线性公式描述了试样的点x＝[X Y Z 1]^T与其投影平面上的投影x＝[x y1]^T之间的关系： $\mathrm{\λ}\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{cccc}{P}_{11}& P_{12}& P_{13}& P_{14}\\ P_{21}& P_{22}& P_{23}& P_{24}\\ P_{31}& P_{32}& P_{33}& P_{34}\end{array}\right]=\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$ 或  λx＝PX      (2-1)

其中λ为比例因子。对于试样的每个位置，由焦距f、平移和旋转位置变量计算矩阵P： $P=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cccc}{R}_{11}& R_{12}& R_{13}& \stackrel{\‾}{X_0}\\ R_{21}& R_{22}& R_{23}& \stackrel{\‾}{Y_0}\\ R_{31}& R_{32}& R_{33}& \stackrel{\‾}{Z_0}\\ 0& 0& 0& 1\end{array}\right]---(2-2)$

其中如下定义3×3矩阵R的元素：

R₁₁＝cos(ω_Y)*cos(ω_Z)

R₁₂＝-cos(ω_Y)*sin(ω_Z)

R₁₃＝-sin(ω_Y)

R₂₁＝-sin(ω_X)*sin(ω_Y)*cos(ω_Z)+cos(ω_X)*sin(ω_Z)

R₂₂＝sin(ω_X)*sin(ω_Y)*sin(ω_Z)+cos(ω_X)*cos(ω_Z)

R₂₃＝-sin(ω_X)*cos(ω_Y)                              (2-3)

R₃₁＝cos(ω_X)*sin(ω_Y)*cos(ω_Z)+sin(ω_X)*sin(ω_Z)

R₃₂＝-cos(ω_X)*sin(ω_Y)*sin(ω_Z)+sin(ω_X)*cos(ω_Z)

R₃₃＝cos(ω_X)*cos(ω_Y)

不过，在X-射线透射检查法中，X-射线图像被投影到弯曲的图像放大器上(参见图1.2)。在这种情形中，投影是非线性的。例如，图2.2中的图像表示一规则栅格板的X-射线图像。可以看出，孔眼在格栅板中距离图像的中心越远，其投影的畸变越严重。其原因在于在角落处，图像放大器表面的法线方向与光轴方向之间的偏离最大。

投影平面上的点(x，y)与X-射线图像中的象素(u，v)之间的关系是非线性的，因为前面提到的图像放大器的弯曲： $\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{c}{f}_1(u,v)\\ f_2(u,v)\\ 1\end{array}\right]$ 或x＝f(u)             (2-4)

其中x＝[x y 1]^T，以及u＝[u v 1]^T。在该方法中，将非线性函数f设计成双曲线[12]。首先，执行图像坐标的仿射变换(旋转，平移和改变比例)： $\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]={\left[\begin{array}{ccc}{k}_x\cos \left(\mathrm{\α}\right)& k_y\sin \left(\mathrm{\α}\right)& u_0\\ -k_x\sin \left(\mathrm{\α}\right)& k_y\cos \left(\mathrm{\α}\right)& v_0\\ 0& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]---(2-5)$

之后，计算投影平面的坐标： $x=\frac{u^{\′}}{\sqrt{1+[\frac{u^{\′}}{a}{]}^2+[\frac{v^{\′}}{b}{]}^2}}$ 和 $y=\frac{v^{\′}}{\sqrt{1+[\frac{u^{\′}}{a}{]}^2+[\frac{v^{\′}}{b}{]}^2}}$ (2-6)

从而在三个步骤中实现铸件的3D点x＝[X Y Z 1]^T到X射线图像的2D象素u＝[u v 1]^T的变换：

  —  如果在(2-1)中将x乘以投影矩阵P，便得到坐标(x，y)；

  —  (2-6)的反向变换提供了坐标(u′，v′)： $u^{\′}=\frac{x}{\sqrt{1-[\frac{x}{a}{]}^2-[\frac{y}{b}{]}^2}}$ 和 $v^{\′}=\frac{y}{\sqrt{1-[\frac{x}{a}{]}^2-[\frac{y}{b}{]}^2}}$ (2-7)

  —  从(2-5)的反向变换得到象素(u，v)的坐标： $\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\begin{array}{c}\left[\begin{array}{ccc}{k}_x\cos \left(\mathrm{\α}\right)& k_y\sin \left(\mathrm{\α}\right)& u_0\\ -k_x\sin \left(\mathrm{\α}\right)& k_y\cos \left(\mathrm{\α}\right)& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]\end{array}---(2-8)$

为了进行校正，记录不同位置的试样的N＝5次X射线图像。每次，铝车轮在Z轴上旋转5°。在每次记录过程中，从控制器自动记录试样的实际位置和旋转。从该信息计算投影矩阵P_p(对于1≤p≤N的情形)。必须从X-射线图像的相应点，借助于梯度法，估计双曲模型的参数a和b〔参见公式(2-6)和(2-7)〕，以及仿射变换的参数α，u₀，v₀，k_x，k_y〔参见公式(2-5)和(2-8)〕。此处，常用值处于以下范围内：

参数	a	U0	V0	a	b	kx	ky	f
									值	-90°	280象素	380象素	330mm	360mm	2象素/mm	2象素/mm	885mm

试验表明，对于根据本发明的操作方法，这种类型的校正是绝对必需的。

下文中，将更加详细地讨论假设铸造缺陷的记录和分割：

摄像机记录图像放大器所提供的X-射线图像，并将模拟视频信号提供给计算机。计算机的帧抓取卡对其扫描并形成一系列数字化的X-射线图像，被存储在计算机中。从试样的不同位置记录图像序列，不相合成。例如，每次将试样旋转5°。其它角度也是可能的。图3.1表示出一个图像序列。

为了进行跟踪，必须记录在记录瞬间试样所处的精确位置。可以在控制器中在线得到该信息。试样的位置由平移和旋转位置变量来限定。必须在每次记录时保存上面定义的(参见图2.1)平移变量

和旋转变量(ω_x，ω_y，ω_z)。

在下文中，将解释为了分割假设铸造缺陷而设计的算法。在序列的每个图像中，寻找可为真正缺陷的区域。在这一步骤中，没有考虑图像之间的一致性。该算法包括两个步骤：边缘检测和搜索区域。将借助一个简单的例子再次解释此分割方法。该例子表示出如何在X-射线图像中分割铸造缺陷(参见图3.2a)。

在边缘检测过程中，检测该序列中每个X-射线图像的边缘。边缘相当于X-射线图像中灰度值极大改变处的轮廓。在本研究中，应用基于拉普拉斯—高斯(LoG)的边缘检测方法[2，3]，在低通高斯滤波之后，检测图像二阶导数的跨越零值。剩余定理：函数二阶导数的跨越零值点相应于该函数一阶导数的最大或最小值(一阶导数也称为梯度)。通过这种低通高斯滤波，可抑制X-射线图像的量子噪声。所产生的二元图像具有封闭的和连贯的轮廓，作为真正的铸造缺陷，所述轮廓定义了区域。为了增加封闭区域的数量，对梯度值大于阈值的象素进行标记来实现这个目的。在图3.2b中表示出从该步骤得到的结果为二元图像。

在区域的分割过程中，从边缘所形成的区域中抽取出特征。如果其特征值处于特定阈值之间，则将区域归类为假定铸造缺陷。因而，通过特征的抽取和分类来实现区域的搜索。

在下文中，将定义该方法中所使用的特征，然后将描述分类算法。

区域被理解为意指二元图像中由边缘所限定的象素数量。我们例子中的区域由属于圆的象素组成。图3.3中表示出图3.2b的放大图，该区域的象素已经被标记为灰色。该区域的外边界限定了该区域的界限(参见图3.2b和3.3中的白色象素)。

在该方法中，抽取出与区域有关的五个特征。这些特征为：

  —  区域大小(A)，

  —  圆度或形状因数(R)，

  —  灰度值的平均(G)，

  —  界限处梯度的平均值(H)，以及

  —  对比度(K)。

区域大小(A)被定义为该区域中的象素数量。在该例中，区域大小为灰色象素的数量，也就是说，A＝45个象素。

圆度(R)是该区域形状的量度。R在1和0之间。对于圆，R＝1，对于一个没有高度或没有宽度的区域，R＝0。为了确定圆度，首先，将该区域的周长(L)计算成边界处的象素数。对于图3.3中的区域，L为白色象素的数量，也就是说，L＝24。圆度定义为〔2〕： $R=\frac{4\mathrm{\πA}}{L^2}---(3-1)$ 在我们的例子中，R＝4×3.1416×45/24²＝0.98。区域的灰度值的平均值(G)为：

在这种情况下：

→g_ij为象素(i，j)的灰度值，以及

→R为区域中的象素集合。在图3.3的例子中，象素(4，6)是该集合中的象素。集合R中的象素数目为A，也就是该区域的面积大小。

在我们的例子中，G＝121.90。(G＝0意味着100％黑色，G＝255相当于100％白色)。

界限处梯度的平均值(H)定义为： $H=\frac{1}{L}\underset{i,j\∈\mathrm{\λ}}{\mathrm{\Σ}}{g_{\mathrm{ij}}}^{\′}---(3-3)$

在这种情形中：

→g_ij’为象素(i，j)的灰度值的梯度(一阶导数)，并且

→λ为界限处的象素集合(图3.3中的白色象素)。集合λ中象素的数量为L，也就是该区域的周长。

在我们的例子中，H＝35.47。

下文中，定义了特征对比度(K)。将区域的对比度理解成区域与周围环境之间黑度差的大小。在本研究中，区域和周围环境定义了场。场中的灰度值差别越小，对比度越低。为了观察对比度，通过表示象素在i方向和j方向坐标的x-和y-轴，和作为象素(i，j)灰度值g_ij的z轴，将场的灰度值表示为一3D函数。图3.4表示对于图3.2a所示的例子的这种表示。可以看出，因为曲线的高度很大，所以这是一个强反差区域。

已经用多种方法从数学上定义了对比度。某些定义导致大量的计算时间(参见文献[2])。然而其它更加简单的定义，如最大与最小灰度值之间的差别，对噪音非常敏感。由于这个原因，在本研究中使用了一种计算对比度的新方法，这种方法不费时。在下文中将解释该方法：

1)  场的分布：从两个分布P₁和P₂以及场的灰度值计算平均值P：第一个分布P₁在i方向，第二个分布P₂在j方向。两个分布均集中在该区域的重心处。在我们的例子中，重心在(6，6)，也就是说，P₁和P₂为X-射线图像第6列和第6行的灰度值。在图3.5中表示P₁，P₂和平均值P的表示。

P₁＝i方向场的分布

P₂＝j方向场的分布                             (3-4)

P＝(P₁+P₂)/2

2)  隔离缺陷：为了隔离出缺陷，消除它的背景，其模型为一倾斜。假设P的极值属于该倾斜。从P抽取该倾斜。在图3.6中确定了新的分布Q。

    R＝倾斜(P)                   (3-5)

    Q＝P-R

3)  计算对比度：然后将对比度K定义为无倾斜分布的标准偏差除以分布的长度，即 $K=\frac{{\mathrm{\σ}}_Q}{n}---(3-6)$

其中σ_Q为Q的标准偏差，n为场宽度中的象素数。在该例中，K＝4.21。

如所提到的，如果一区域的特征值处于一定的值之间，则将该区域归类为假设的铸造缺陷。该步骤必须确保真正铸造缺陷的分割。不过，没有考虑错误检测的数量。

如果满足下列条件，则将其归为假设的铸造缺陷：

  —  区域大小(A)在15至550象素之间，并且

  —  圆度(R)大于0.2，并且

  —  灰度值的平均值(G)小于250，并且

  —  界限处梯度的平均值(H)大于1，并且

  —  对比度(K)大于0.1

通过反复试验设置这些阈值。

在图3.7中说明了在真实的X-射线图像的情形中，用于分割假设铸造缺陷的算法的两个步骤。在本发明的方法中，有可能没有分割出序列图像中所有真正的铸造缺陷。这是缺陷处于试样中构成结构边缘处的情形。在这种情况下，不是缺陷的所有边缘都被探测到，从而该缺陷不是密封的，因此没有被分割出。另外，如果缺陷处于X-射线辐射被非常强烈地吸收的铸造部件的厚截面处，可能会隐藏非常小的缺陷。不过，如果在四个或更多(不必是连续的)X-射线图像中分割出缺陷，则极可能跟踪和探测到缺陷。图3.8中表示出这种分割方法的一个例子(参见黑色区域)。

如下进行假设铸造缺陷的跟踪：

为了区分真正的铸造缺陷和错误的检测，尝试着在分割之后，跟踪图像序列中的假设铸造缺陷。跟踪包括三个步骤：在两个图像中进行匹配，在多个图像中进行跟踪以及证实。在执行这三个步骤之前，计算投影矩阵和多焦探测器。

由于在试样的N个不同位置处记录X-射线图像，所以使用符号p表示试样的位置，p＝1，...，N。

在试样的位置p处，3D点x的投影在X-射线图像中被表示为象素u_p＝[u_p v_p 1]^T。

使用所记录的位置变量 和(ω_x，ω_y，ω_z)_p，利用等式(2-2)计算投影矩阵P_p，p＝1，...，N。

可以从投影矩阵P_p确定多图像探测器[7，11]。

然后，在两个图像中进行匹配。可以将所分割的区域看作3D铸造缺陷在像平面上的投影。由于3D铸造缺陷可以被投影在序列中的多个图像上，故来自不同X-射线图像的区域可能彼此相应。相应的区域是同一个3D铸造缺陷的投影。在这一步，尝试将两个图像的相应区域联系起来。

为了对两个图像中的区域进行匹配，需要区域的位置和它们所抽取的特征值。在本研究中，将序列中第p个图像的被分割的区域表示为a＝(a，p)。假设该序列由N个图像组成(1≤p≤N)，并且已经对第p个图像中的n_p区域进行了分割(1≤p≤N)。该区域a＝(a，p)位置和特征值分别表示为位置矢量X^a _p和特征矢量w^a _p。

假设区域的位置为其重心的坐标，则利用等式(2-4)可将该坐标变换成投影坐标系统。从而位置矢量变为

x^a _p＝[x^a _py^a _p1]^T                            (4-1)

特征矢量包含n个从该区域抽取出并归一化的特征值：

w^a _p＝[w^a _p(1)w^a _p(2)...w^a _p(n)]^T            (4-2)

该步将两个区域彼此联系起来，特别是满足下列所有判断条件的区域a＝(a，p)和区域b＝(b，q)，p≠q：

a.外极性条件：该区域的重心必须满足外极性条件[4]。为了检查区域x^a _p和x^b _q的重心是否满足外极性条件，所使用的判据是第q个图像中点x^a _p的外极性直线与点x^b _q之间的垂直欧几里得距离必须小于ε₂： $\frac{\left|{x_q}^{\mathrm{bT}}{F}_{\mathrm{pq}}{x^a}_p\right|}{\sqrt{{{\mathrm{\&lambda;}}_x}^2+{{\mathrm{\&lambda;}}_y}^2}}<{\mathrm{\&epsiv;}}_2---(4-3)$

其中[λ_x λ_y λ_z]^T＝F_pq x^a _p。此处，F_pq是所谓的3×3基本矩阵，其元素为双焦张量(tensor)[7，11]。

b.相似性判据：这些区域必须充分相似。所使用的相似性的量度是区域的特征矢量之间的欧几里得距离。区域相似性的量度值S必须小于ε_s： $S({w^a}_p,{w^b}_q)=\sqrt{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}[{w^a}_q\left(i\right)-{w^b}_q\left(i\right){]}^2}<{\mathrm{\&epsiv;}}_s---(4-4)$

此处，使用3.2.2.1节中所定义的特征。

c.3D空间中的正确定位：从该区域的重心估算的重新构成的3D点，必须处于试样的空间内。利用Hartley线性方法[8]，从重心x^a _p和x^b _q计算相应的3D点x。检查x是否位于试样中，试样的尺寸一般预先是已知的(例如，假设车轮为圆柱形)。

检查序列中三个连续图像中的每两个区域a＝(a，p)和b＝(b，q)是否满足a-c三个判断标准，对于p＝1，...，N-3；q＝p+1，...，p+3；a＝1，...，n_p和b＝1，...，n_q。

借助本发明的这些方法步骤，如果在连续的图像中铸造缺陷没有被分割，则在跟踪步骤中可以解决分割中存在的上述问题(没有被分割或隐藏的铸造缺陷)。

如果假定的铸造缺陷彼此没有联系，将其归类为错误的检测。允许存在多个联系，也就是说，一个区域可以与不止一个区域有联系。

根据这种方法，成功地跟踪了真正的铸造缺陷，消除了极多的错误检测。图4.1中表示出该例子。

图4.2中所示的例子使两个图像的匹配更加清晰。从序列图像p的被分割的区域(1，p)开始，对下面三个顺序图像p+1，p+2和p+3的所有被分割的区域进行尽可能后续检查。在这种情况下，只有区域(1，p+1)，(2，p+1)；(1，p+2)，(2，p+2)和(1，p+3)满足外极性条件。另外，区域(1，p+1)不满足相似性判据，因为与区域(1，p)中相应的特征相比，其区域尺寸太小。由于区域1，p+2)比区域(1，p)暗得多，它也不满足该判据。此外，这些联系的重新构成的3D点属于试样空间。从此得出，区域(1，p)的可能的跟踪者为区域(2，p+1)，(2，p+2)和(1，p+3)。

下文中将解释在多个X-射线图像中的跟踪。将两个区域a和b之间的联系表示为a→b或(a，p)→(b，q)。定义一个m₂×4矩阵A＝[a_i1 a_i2]＝[(a_i，p_i)(b_i，q_i)]，i＝1，...，m₂，其中m₂是两个图像中有联系的区域的数量。

在三个图像中的跟踪：在跟踪过程中，寻找该图像序列中区域的轨迹。这些区域必须彼此相关。从最初确定的两个区域的联系开始，可能检查是否存在其重心是同一个3D点的投影的三个区域的轨迹。寻找三个图像中满足相应性条件的矩阵A中三个区域的所有可能的联系。确定矩阵A的列i和j(i，j＝1，...m₂，且i≠j)，其中：

a_i1＝a_j2                    (4.5)

如果列i＝I和j＝J满足条件(4.5)，例如

A_J＝[(a，p)(b，q)]和

A_I＝[(b，q)(c，r)]，

如果满足下式，则寻找到具有坐标x^a _p，x^b _q和x^c _r的三个相应的区域： $\left|\right|{\hat{x}}_r^c-x_r^c\left|\right|<{\mathrm{\&epsiv;}}_3---\left(4.6\right)$

其中

是第三个区域中坐标的估计值，利用Shashua的所谓的三线性度，从前两个区域x^a _p和x^b _q的坐标计算而得，或者借助于三焦张量，从三焦条件计算而得[16，8]。

不能在三个图像中被跟踪的区域被归类为错误的探测，从而可以消除错误的探测。将相联系的m₃三个一组表示成一个新的m₃×6矩阵B＝[b_k1 b_k2 b_k3]，k＝1，...，m₃。图4.3表示我们的例子中所确定的三个图像中的联系。

在四个图像中的跟踪：重复相同的方法，使之有可能发现具有四个区域的轨迹。在四个图像中寻找满足相应性条件的四个一组。确定了矩阵A的列i和矩阵B的列k，并且i＝1，...，m₂，k＝1，...，m₃，其中

   a_i1＝b_k3                             (4.7)

如果列i＝I和k＝K满足条件(4.7)，例如

B_K＝[(a，p)(b，q)(c，r)]和

A₁＝[(c，r)(d，s)]

如果满足下式，则寻找到坐标为x^a _p，x^b _q，x^c _r和x^d _s的四个相应的区域： $\left|\right|{\hat{x}}_s^d-x_s^d\left|\right|<{\mathrm{\&epsiv;}}_4---\left(4.8\right)$

也就是说，第四个区域中估计坐标

与其实际坐标x^d _s之间的欧几里得距离小于ε₄。借助四焦张量[7，11]，使用四焦条件估计

将所得到的四个一组的坐标存储在一个新的m₄×8矩阵c＝[c₁₁ c₁₂c₁₃ c₁₄]中，1＝1，...，m₄。图4.4中表示出我们例子的结果。根据我们的经验，对五个图像重复该方法，能够消除真正的铸造缺陷。

可以如下对轨迹进行简化。存在于多于四个X-射线图像中的铸造缺陷可以形成多个四个一组的区域。例如，该区域

(1，2)→(1，3)→(4，5)→(2，6)

和区域

(1，2)→(1，3)→(4，4)→(2，6)

为同一铸造缺陷的轨迹。简化导致：

(1，2)→(1，3)→(4，4)→(4，5)→(2，6)

可以将这种相应的轨迹结合成一个轨迹，其由多于四个区域组成。图4.5中表示出我们例子的结果。可以看出，存在一个错误的检测(参见小的缺陷)。

下面将概述检验过程：轨迹代表沿图像序列假设铸造缺陷的连接。如果将术语缺陷的子序列定义为序列中存在缺陷时的图像，那么有时候在其子序列中轨迹会被断开。这是基于缺陷不是总能被分割成其完整的子序列这一事实。

对于前一步寻找到的每个轨迹，借助最小二乘法[3]，估计出将产生被跟踪区域的重心的相应的3D点 可将该3D点投影到子序列中那些没有成功地分割缺陷的图像上。然后就知道了该子序列所有图像中缺陷的位置。作为被分割缺陷的尺寸的平均值，还能估计出缺陷的尺寸。

在子序列的所有图像中，可以确定处于轨迹区域重心(估计的和寻找到的)中心的小窗口，其尺寸相当于缺陷的尺寸。在图4.5中将这些小窗口袁示为小矩形。

作为属于一个轨迹的所有小窗口的平均值，计算滑动窗口。该操作可抑制X-射线图像的量子噪声。然后检查滑动窗口的对比度是否足够高。如果对比度足够高，则假定该轨迹的相应假设铸造缺陷为真正的铸造缺陷，并将该铸件归类为次品部件。

图4.6表示在我们的X-射线图像序列中由该方法探测到的真正的铸造缺陷。实现了目标：从错误检测中分离出真正的铸造缺陷。

现在将描述在用所述方法自动检查被标记铝车轮的过程中所得到的实验结果。利用实际和半合成的X-射线图像得到这些结果。

手工设置的该方法的参数为σ＝1.25象素(对于LoG掩模)，ε_s＝0.7，ε₂＝0.75mm，ε₃＝ε₄＝0.9mm。在我们的检测中这些参数保持不变。假设铝车轮为圆柱形且具有下列尺寸：200mm高，470mm直径。X-射线源与图像放大器之间的距离(光学距离)为884mm。

检查具有已知铸造缺陷的铝车轮的十四个真正的X-射线图像序列。通过在已知的难于检测的位置钻小孔(Φ＝2.0～7.5mm)产生了铸造缺陷。仅在前七个图像序列中存在铸造缺陷。

表5.1和图5.1归纳了这些结果。在分割过程中，错误分类为98.4％(4310/4381)。不过该步骤的效率是相当大的，因为对84.5％(71/84)的投影铸造缺陷进行了分割。可以看出，在下一步中可以消除错误的探测，同时在任何情况下都可以成功地探测真正的铸造缺陷。

为了检查关键情况下本发明方法的处理能力，对半合成的X-射线图像进行了处理。借助于吸收定律[10]，将铸造缺陷的单个3D模型(球面泡)引入铝车轮真正的X-射线图像中。

在该试验中，将人造的铸造缺陷投影到实际铝车轮的X-射线图像上。用这种方法选择铸造缺陷的位置，使得在投影过程中，该缺陷与结构的一边重叠。对图5.2a表示的区域中的24个这种位置进行检测。对各种尺寸重复该试验(Φ＝1.5～7.5mm)(参见图5.2b)。

结果参见图5.2c。错误检测的数量一般为零。对于Φ≥2.5mm该检测较好，对于Φ≥2.1mm而言大于95％。不过，当非常小的铸造缺陷正好处于结构的边缘上时，分割是不成功的。在这种情况下，在边缘检测的LoG掩模中可以选择更小的参数σ，不过遗憾的是，这将增加错误检测的数量。其它不存在上述困难的非关键试验，产生了较好的探测(100％正确探测和0％错误探测)。

根据本发明的方法是非常有效的，因为它包括两个主要步骤：分割和跟踪，如果检测系统或者摄像机均没有改变其位置，那么可能一次设置校正并保持。基本思想是模仿检测人员检查X-射线图像，寻找材料缺陷：首先他检测有关的细节，然后在图像序列中跟踪这些细节。

在根据本发明的方法中，首先在序列的每个X-射线图像中分割所有假设的铸造缺陷。然后尝试着在图像序列中跟踪它们。可以很好地消除对假设铸造缺陷的错误探测，因为它们不能被跟踪。另一方面，可以成功地跟踪图像序列中真正的铸造缺陷，因为它们位于满足几何条件的位置处。

第一步的主要的优点在于将单个滤波器应用于对假设铸造缺陷的分割，所述滤波器不依赖试样的构成结构。

此外，根据本发明的第二步：

a)  在消除错误检测方面以及在跟踪真正的铸造缺陷时是非常有效的，并且

b)  非常迅速，因为使用了多图像张量。

在工业中可以实现本发明方法的使用，因为在试验模型中检测构成部件，并且初步结果是非常有前景的。

针对确定铸造缺陷而描述了本发明。不过，本领域普通技术人员很清楚，本质上可以使用同样的内容来确定材料缺陷，例如，可以考虑焊接缺陷，以及轮胎和其它塑料制品的材料缺陷。

参考文献(以下为申请人在从事本发明创造活动中所查阅过的文献资料，为便于查找，依其原文列举如下而仅供参考之用)

[1]  Boerner，H.；StrecKer，H，：“Automated X-Ray

     Inspection of Aluminum Casting”，IEEE Trans.

     Pattern Analys is and Machine Intelligence，

     10(1)：79-91，1988.

[2]  Castleman，K.R.：“Digital Image Processing”，

     Prentice-Hall，Englewood Cliffs，New Jersey 07632，

     1996.

[3]  Faugeras，O.：“Three-Dimensional Computer Vision：

     A Geometric Viewpoint”，The MIT Press，Cambridge

     MA，London.1993.

[4]  Faugeras，O.；Mourrain，B.：“On the geometry and

     algebra of the point and line correspondences

     between N images”，in 5th.ICCV，Cambridge，MA，

     951-956.1995.

[5]  Faugeras，O.；Papadopoulo，T.：“A nonlinear method

     for estimating the projective geometry of 3

     views”，ICCV 98，pp.477-484，Bombay，India，Jan.

     1998.

[6]  Filbert，D.；Klatte，R.；Heinrich，W.；Purschke，

     M.：“Computer aided inspection of castings”，In

     IEEE-IAS Annual Meeting，Atlanta，USA，1087-1095，

     1987.

[7]  Hartley，R.：“Multilinear Relationships between

     Coordinates of Corresponding Image Points and

     Lines”，Proceedings of the International Workshop

     on Computer Vision and Applied Geometry，

     International Sophus Lie Center，Nordfjordeid，

     Norway，August 1995.[8]  Hartley，R.：“Lines and Points in Three Views and

 the Trifocal Tensor”.International Journal of

 Computer Vision，22(2)：125-150，1997.[9]  Hecker，H.：“Ein neues Verfahren zur robusten

 Rntgenbildauswertung in der automatischen

 Gussteilprüfung”[A new method for robust X-ray

 image evaluation in the automatic testing of cast

 parts]，Dissertation at the Institute for General

 Electrotechnology，Technical University of Berlin，

 1995.[10] Heinrich，W.：“Automatische Rntgenserienprüfung

 von Gussteilen”[Automatic mass X-ray testing of

 cast parts]，Dissertation at the Institute for

 General Electrotechnology，Technical University of

 Berlin，1988.[11] Heyden，A.：“A Common Framework for Multiple View

 Tensor”，European Conference on Computer Vision

 (ECCV′98)， 3-19，Freiburg，Germany，2-6 June 1998.[12] Mery，D.；Filbert，D.：“Epipolar Geometry in

 Radioscopic Images”，Computerized Tomography for

 Industrial Applications and Image Processing in

 Radiology，DGZfP Proceedings BB 67-CD：181-187，

 March 15-17，Berlin，Germany，1999.[13] Mery，D.；Filbert，D.：“Verfolgung von Gussfehler

 in einer digitalen Roentgenbildsequenz - Eine neue

 Methode zur Automatisierung der Qualittskontrolle

 von Gussteilen”[Tracking casting defects in a

 digital X-ray image sequence - a new method for

 automating the quality inspection of cast parts]，

 XIII.Meβtechnik Symposium des Arbeitskreis der

 Hochschullehrer fuer Meβtechnik e.v.，AHMT，30.

 Sep. - 02. Oct.1999，Hannover，Germany.[14]  Mery，D.；Filbert，D.；Krüger，R.；Bavendiek，K.：

 “Automatische Gussfehlererkennung aus monokularen

  Bildsequenzen”[Automatic casting fault detection

  from monocular image sequences]，annual meeting of

  the DGZfP，(1)：93-102，May 10-12，1999，Celle，

  Germany.[15]  Purschke M.；SchulenburgH.：“Fortschritte der

  vollautomatischen Rntgenprüfung”[Progress in

  fully automatic X-ray testing]，annual meeting of

  the Deutschen Gesellschaft für Zerstrungsfreie

  Prüfung[German Association for nondestructive

  testing]，annual meeting，309-317，Bamberg，7-9

  Sept.，1998.[16]  Shashua，A.：“Trilinear Tensor：The Fundamental

  Construct of Multiple-view Geometry and its

  Applications”.International Workshop on Algebraic

  Frames For The Perception Action Cycle (AFPAC)，

  Kiel Germany Sep.8-9，1997.[17]  Wenzel，T.；Hanke，R.：“Fast image processing on

  die castings”，Anglo-German Conference on NDT

  Imaging and Signal Processing，Oxford，27-28

  March，1998.[18]  Zhang，Z.：“on the Epipolar Geometry Between Two

  Images With Lens Distorsion”，in Proc.Int.

  Conference Recognition (ICPR)，Vol.I，pages 407-

  411，Aug.1996，Vienna.

Claims (10)

1.一种利用测试系统自动检测试样中铸造缺陷的方法，该检测系统包括一X-射线辐射装置，控制器，图像放大器和图像处理计算机，其中，在试样的运动过程中，记录N个X-射线图像，每个X-射线图像对应于试样的一个位置，且与各自的图像一起，存储成数字形式；寻找每个图像中的假设铸造缺陷(区域)，分割、抽取其特征并保存，并且根据几何投影判据，跟踪和分析两个或多个图像中的假设缺陷(区域)，该方法的特征在于：

a.通过测量该测试系统的几何形状并估计试样的3D点与X-射线图像的2D象素之间的几何变换进行校准，

b.利用投影坐标系统，记录并保存在每个记录瞬间试样的平移和旋转位置变量，其经过控制器的位置被进行计算，

c.计算并保存对于两或多个图像中一致性搜索所需要的，从b)步骤所记录的位置和a)步骤所进行的校正而得到的几何参数，

d.分割每次记录中的假设铸造缺陷，抽取并保存从每个被分割的假设铸造缺陷得到的特征值，定量表征其特性，

e.确定假设铸造缺陷的重心的坐标，并将这些坐标变换成新的坐标系统，以消除任何畸变，

f.跟踪该图像序列中的假设铸造缺陷，通过彼此连接的满足双焦条件、相似性条件和3D定位条件的两个区域，进行所谓的两个图像的匹配，

g.选择出不满足双焦条件、相似性条件和3D定位条件的错误的探测，

h.跟踪该图像序列中剩余的假设铸造缺陷，通过满足三焦或四焦条件、彼此连接的3个或4个区域进行所谓的3个和4个图像的跟踪，

i.选出不满足多焦条件的假设的错误探测，

j.对通过定义一距轨迹的被跟踪区域的重心的3D点而预先确定的结果进行分析，将该3D点投影到其中被跟踪的假设铸造缺陷未被分割的X-射线图像中，认为相同的作为窗口，使用一阈值来检查对比度，如果超过阈值，则限定为真正的铸造缺陷。

2.如权利要求1所述的方法，其特征在于对于每次记录，根据步骤b)所记录的位置和步骤a)所得到的校正参数，计算并存储投影矩阵P_p，p＝(1...N)，作为步骤c1)。

3.如权利要求1所述的方法，其特征在于从投影矩阵计算多焦张量，作为步骤c2)。

4.如权利要求1所述的方法，其特征在于通过抽取、归类并存储下列特征，搜索由边缘所形成的错误的区域：

区域大小(A)，

圆度或形状因数(R)，

灰度值的平均值(G)，

界限处梯度值的平均(H)，以及

对比度(K)

作为步骤d)。

5.如权利要求1所述的方法，其特征在于在步骤d)，如果

区域大小(A)在15和550个象素之间，并且

圆度(R)大于0.2，并且

灰度值的平均值(G)小于250，并且

界限处梯度的平均值(H)大于1，并且

对比度(K)大于0.1，

则将其归类为假设的铸造缺陷，通过反复试验设置这些阈值。

6.如权利要求1所述的方法，其特征在于在步骤d)A表示区域的面积， $R=\frac{4\mathrm{\&pi;A}}{L^2}$ ，其中L代表该区域的周长，并且

，其中g_ij为象素(i，j)的灰度值，R构成区域的象素集合， $H=\frac{1}{L}\underset{i,j\&Element;\mathrm{\&lambda;}}{\mathrm{\&Sigma;}}{g_{\mathrm{ij}}}^{\&prime;}$ ，其中g’_ij是象素(i，j)灰度值的梯度(一阶导数)，λ构成界限的象素集合，K代表区域与其周围的黑度差的量度。

7.如权利要求1所述的方法，其特征在于在步骤e)根据下列的公式，计算投影平面的坐标： $\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]={\left[\begin{array}{ccc}{k}_x\cos \left(\mathrm{\&alpha;}\right)& k_y\sin \left(\mathrm{\&alpha;}\right)& u_0\\ -k_x\sin \left(\mathrm{\&alpha;}\right)& k_y\cos \left(\mathrm{\&alpha;}\right)& v_0\\ 0& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]$ $x=\frac{u^{\&prime;}}{\sqrt{1+[\frac{u^{\&prime;}}{a}{]}^2+[\frac{v^{\&prime;}}{b}{]}^2}}$ 和 $y=\frac{v^{\&prime;}}{\sqrt{1+[\frac{u^{\&prime;}}{a}{]}^2+[\frac{v^{\&prime;}}{b}{]}^2}},$

在这种情形中，(u，v)为X-射线图像中假设铸造缺陷的重心的坐标，(x，y)为所变换的坐标，且用梯度方法从相关的点估计出a，b，k_x，k_y，α，u₀和v₀。

8.如权利要求1所述的方法，其特征在于通过区域的特征矢量之间的欧几里得距离，形成在步骤g)所需的相似性测量值，该区域的相似性的测量值S必须小于ε_s： $S({W^a}_p,{W^b}_q)=\sqrt{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}[{W^a}_q\left(i\right)-{W^b}_q\left(i\right){]}^2}<{\mathrm{\&epsiv;}}_s$

并且在这种情形中，w^j _k＝[w^j _k(1)...w^j _k(n)]^T，其中w^j _k(i)是第k个图像中第j个区域的第i个特征值。

9.如权利要求1所述的方法，其特征在于在四个图像中进行跟踪之后，铸造缺陷被跟踪两次，并且将重复的轨迹组合成一个更长的轨迹。

10.如权利要求1所述的方法，其特征在于将步骤f)和h)进行的匹配和跟踪的结果保存在单独的表中。

Images