CN107358636B

CN107358636B - 一种基于纹理合成的疏松缺陷图像生成方法

Info

Publication number: CN107358636B
Application number: CN201710457580.0A
Authority: CN
Inventors: 胡志辉; 黄茜
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2017-06-16
Filing date: 2017-06-16
Publication date: 2020-04-28
Anticipated expiration: 2037-06-16
Also published as: CN107358636A

Abstract

本发明公开了一种基于纹理合成的疏松缺陷图像生成方法，包括以下步骤：(1)从带有疏松纹理缺陷实际工件的X射线图像中切割出合适的缺陷样本；(2)去除样本中的背景图像，得到缺陷纹理图像样本；(3)在一幅新的工件图像中根据所需面积大小，在工件任何期望的位置上，选取一个矩形区域作为缺陷生成区域；(4)利用纹理合成方法，生成与所选缺陷生成区域大小相同的新缺陷纹理图像；(5)将生成的缺陷纹理图像叠加至所述工件图像的位置上。本发明实现了疏松缺陷图像的快速生成，生成缺陷的形状以及面积具有随机性，且图像效果与真实图像非常接近，通过专家的人眼主观判断，已可以接受为缺陷图像样本。

Description

一种基于纹理合成的疏松缺陷图像生成方法

技术领域

本发明涉及缺陷图像生成技术领域，特别涉及一种基于纹理合成的疏松缺陷图像生成方法。

背景技术

在实际生产中，由于铸造工艺、材料等原因，产生不合格铸件的概率无法完全消除。为了保证铸件的质量，对铸件的缺陷检测是很有必要的。目前我国的铸件检测很多仍然由人工完成。虽然人工检测方法能满足工厂一定的生产要求，但其存在主观、低效、易疲劳的缺点。随着生产效率和人工成本的提高，自动化缺陷检测算法渐渐成为了铸造行业的需求。

由于铸件的很多缺陷会隐藏在铸件内部，通过扫描铸件的X射线图像进而实现无损检测的方法得到了广泛的应用。但一个好的检测算法往往需要大量的缺陷样本来进行训练和测试，而低次品率使有些缺陷样本较难大量收集。因此，需要一种能大量生成与真实缺陷相似的仿真图像的算法来增加样本数量。

目前缺陷图像生成方法主要有两类。第一类为基于CAD模型的缺陷图像生成方法。该类方法需要设计铸件或缺陷的三维模型，用时较长且不能呈现缺陷的多样性。第二类为基于图像处理方法的缺陷图像生成方法。该类方法一般先根据真实缺陷的特征创建各种符合要求的模板，再由模板生成缺陷图像。虽然该类方法比较简单，适合大量生成图像，但其生成的图像，特别是疏松缺陷图像，还与真实缺陷图像有一定的差距，因此会影响后续算法的检测精度。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于纹理合成的疏松缺陷图像生成方法，该方法可实现疏松缺陷图像的快速生成，生成缺陷的形状以及面积具有随机性，且图像效果与真实图像非常接近，通过专家的人眼主观判断，已可以接受为缺陷图像样本。

本发明的目的通过以下的技术方案实现：一种基于纹理合成的疏松缺陷图像生成方法，包括步骤：

(1)将带有疏松纹理缺陷实际工件的X射线图像进行归一化，并从中切割出合适的缺陷样本；

(2)进行新缺陷纹理图像生成，步骤是：

(2-1)在一幅新的工件图像中根据所需面积大小，在工件任何期望的位置上，选取一个矩形区域作为缺陷生成区域；

(2-2)生成一幅与该矩形区域大小相同且灰度值全为零的图像版图，并在四周预留一定边界的基础上，将该版图剩余部分进行分块，每个分块内的面积为待合成区，根据分块在矩形区域的位置，为该分块选择待合成边界区域；

(2-3)在缺陷样本中搜索匹配块图像，所述匹配块的尺寸为待合成区加上待合成边界区域，设定阈值H，若匹配块中的待合成边界与版图中的待合成边界之间的均方误差小于阈值H，则将当前样本中的匹配块放入候选集，直到检索完整个缺陷样本；

从候选集中随机选择一个待用匹配块，截取待用匹配块中对应待合成区的图像作为当前版图中分块待合成区的匹配块，更新版图；

通过灰度值递变的方法实现更新后版图中的待合成区的边界融合；

重复上述步骤，直到版图中矩形区域内所有分块均完成匹配，即得到生成的缺陷纹理图像；

(2-4)将生成的缺陷纹理图像叠加到工件图像中，即得到新的带生成缺陷的工件图。

优选的，所述步骤(1)中，对于切割出的缺陷样本，先执行去除样本中的背景图像的步骤，具体是：

(1-1)作该缺陷样本的灰度直方图；

(1-2)将直方图最大值对应的灰度值作为背景灰度值；

(1-3)将样本中每个像素的灰度值减去背景灰度值，并将相减后小于零的灰度值置零，得到的图像作为缺陷样本。

优选的，步骤(2-2)中，将矩形区域进行分块，每块的大小相同，其长和宽小于等于缺陷样本的长和宽的1/5，从而保证生成图像的随机性。

优选的，步骤(2-3)中，采用K维空间树(简称KD树)搜索方法在缺陷样本中搜索匹配块图像。

优选的，步骤(2-3)中，在缺陷样本中搜索匹配块图像时，采用高斯金字塔方法或者主分量分析方法。以减少数据维数，加速搜索过程。

优选的，步骤(2-3)中，如果候选集为空，则采用所搜索到的均方误差最小的匹配块作为该待合成区的匹配块。

优选的，步骤(2-3)中，通过灰度值递变的方法实现更新后版图中的待合成区的边界融合，步骤是：

(2-3-1)将更新后版图中的待合成边界和匹配块中的边界都按照区域形状进行L等分，L∈[2,9]，版图和匹配块对应位置的边界分别赋L组权重；

(2-3-2)将权值和对应位置上的灰度值相乘，得到两组新的边界灰度值；

(2-3-3)将两组对应位置处的新的边界灰度值相加，形成待合成边界灰度值。

优选的，步骤(2)中，对每个分块进行匹配时，按照从左到右，从上到下的顺序依次进行匹配，在进行边界融合时，待合成区与已合成区域以及预留边界之间进行边界融合。

本发明与现有技术相比，具有如下优点和有益效果：

(1)本发明生成缺陷图像效果与真实图像非常接近，通过专家的人眼主观判断，已可以接受为缺陷图像样本。

(2)本发明与基于CAD模型的缺陷图像生成方法相比，可以在一个真实缺陷样本的基础上生成非常多的仿真缺陷图像，而且所生成的缺陷图像具有多样性，并且缺陷的形状以及面积具有随机性。

(3)本发明生成缺陷图像样本的速度很快。

附图说明

图1(a)—(f)是本实施例根据已有纹理图像样本进行新纹理图像生成的过程示意图。

图2(a)、(b)分别为本实施例更新后的版图边界和匹配块边界进行融合时的等分示意图。

图3(a)—(d)是实际疏松缺陷纹理图像样本及本实施例方法随机生成的三幅仿真缺陷纹理图。

图4(a)、(b)是带有疏松纹理缺陷实际工件的X射线图像和人工切割出的缺陷样本；

图5是本实施例在实际工件图像上生成疏松纹理缺陷的流程图。

图6(a)—(d)是实际工件原图与本实施例方法生成的三幅带缺陷的工件图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

图5是本发明根据带有疏松纹理缺陷实际工件图得到新的带生成缺陷的工件图的方法，包括以下步骤：

(2)去除样本中的背景图像；

(3)在一幅新的工件图像中根据所需面积大小，在工件任何期望的位置上，选取一个矩形区域作为缺陷生成区域；

(4)利用图(1)所示的新纹理图像生成过程，生成与所选缺陷生成区域大小相同的新缺陷纹理图像；

(5)将生成的缺陷纹理图像叠加至所述工件图像的位置上，即得到新的带生成缺陷的工件图。叠加方法是将所选缺陷生成区域中各像素的灰度值加上所述生成缺陷纹理图像中对应像素的灰度值，如果灰度值大于1则将其置1。

图1给出了上述步骤(4)根据已有缺陷样本进行新纹理图像生成的过程，包括下述步骤：

(1)根据所需尺寸大小，生成一幅灰度值全为零的图像版图，在版图四周预留9个像素宽边界(也可以在3-9个像素之间选择)，将所述版图剩余部分分割成同样大小的m×n个区域，每个区域都称为待合成区，其长和宽小于等于纹理图像样本的长和宽的1/5，如图1(a)所示。

(2)生成第一行第一列待合成区图像块，如图1(b)所示。该待合成区之外左边以及上边的9个像素范围为待合成边界，如图1(b)带斜线的阴影部分所示。该待合成区图像块按如下步骤生成合成后的图像：

(2-1)设定匹配块中的待合成边界与版图中的待合成边界之间均方误差的阈值为H。因对图像灰度值P进行了归一化，P∈[0,1]]，故阈值H可取1/128²。

(2-2)利用K维空间树(简称KD树)搜索方法(不限于该搜索方法)，从缺陷样本中搜索匹配块图像，所述匹配块的尺寸为待合成区加上它的待合成边界，见图1(b)所示。将当前搜索得到的边界的均方误差小于阈值H的所有匹配块放入候选集S中作为待用匹配块。优选地，对缺陷样本和上述待合成边界可采用高斯金字塔、主分量分析等方法来减少数据维数以加速搜索过程。

(2-3)从候选集S中随机选择一个待用匹配块作为图1(b)待合成区的匹配块。若当前候选集S为空，则采用所搜索到的误差最小的匹配块作为该合成区的匹配块。

(2-4)截取待用匹配块中对应待合成区的图像作为当前版图中分块待合成区的匹配块，更新版图。

(2-5)通过灰度值递变的方法实现更新后版图中的待合成区的边界融合，步骤如下：

(2-5-1)将版图中的待合成边界和匹配块中的边界都按照区域形状进行三等分，如图2所示，版图和匹配块对应位置的边界分别赋三组权重：0.75和0.25，0.5和0.5，0.25和0.75；

(2-5-2)将权值和对应位置上的灰度值相乘，得到两组新的边界灰度值；

(2-5-3)将两组新边界对应位置灰度值相加，置于图1(b)带斜线的阴影部分，形成合成边界灰度值。

(2-6)清空候选集S。

(3)重复步骤(2)，按顺序生成第一行第二列到第n-1列待合成区图像块，这些图像块的待合成边界均为待合成区之外左边9个像素和上边9个像素范围区域，图像匹配块的尺寸为待合成区加上待合成区域边界，如图1(c)所示。

(4)生成第一行最后一列待合成区图像块，该位置的图像块生成步骤与生成第一行第一列待合成区图像块的步骤相同，但待合成边界变为待合成区之外左右边和上边三边的9个像素范围区域，如图1(d)所示；

(5)按照生成第一行图像块的方法，生成第二行到第m-1行图像块。

(6)生成最后一行图像块，其前n-1列待合成区图像块的待合成边界为上下边和左边三边的9个像素范围的区域，如图1(e)所示，其生成步骤与生成第一行图像块的步骤相同。最后一行最后一列待合成区图像块的待合成边界为该待合成区之外四周的9个像素范围区域，如图1(f)所示，其生成步骤与生成第一行图像块的步骤相同。

对于不同的分块情况，由于边界区域就是指待合成区与已合成区的交界部分，预留边界也看成已合成区，所以一般的待合成区边界就是其左上两边，最后一列的边界则是左上右三边，最后一行是左上下三边，最后一块就是四边，这些边界区域是按合成顺序自然形成的。

图3(a)是适当处理了背景后的实际疏松缺陷纹理图像样本，图3(b)、(c)、(d)均为利用图3(a)的样本随机生成的尺寸不同的缺陷纹理图像，且与图3(a)有相同背景。这些生成的缺陷纹理图像在缺陷形态上具有多样性和随机性，缺陷的图像特征与样本中缺陷特征具有一致性，可以作为缺陷样本使用，且图像大小可按需设置。

图4(a)是带有疏松纹理缺陷实际工件的X射线图像，该图像为灰度图像，其灰度值P已进行归一化，P∈[0,1]]。图4(b)是从图4(a)中人工切割出的缺陷样本。

图6(a)是实际工件的X射线图像；图6(b)、(c)、(d)分别为三幅带生成缺陷的工件图，这些图是图6(a)与由图4(b)生成的仿真缺陷纹理的叠加结果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于纹理合成的疏松缺陷图像生成方法，其特征在于，包括步骤：

(2)进行新缺陷纹理图像生成，步骤是：

通过灰度值递变的方法实现更新后版图中的待合成区的边界融合，步骤是：

(2-3-3)将两组对应位置处的新的边界灰度值相加，形成待合成边界灰度值；

(2-4)将生成的缺陷纹理图像叠加到工件图像中，即得到新的带生成缺陷的工件图；

所述步骤(1)中，对于切割出的缺陷样本，先执行去除样本中的背景图像的步骤，具体是：

(1-1)作该缺陷样本的灰度直方图；

(1-2)将直方图最大值对应的灰度值作为背景灰度值；

(1-3)将样本中每个像素的灰度值减去背景灰度值，并将相减后小于零的灰度值置零，得到的图像作为缺陷样本；

步骤(2)中，对每个分块进行匹配时，按照从左到右，从上到下的顺序依次进行匹配，在进行边界融合时，待合成区与已合成区域以及预留边界之间进行边界融合。

2.根据权利要求1所述的基于纹理合成的疏松缺陷图像生成方法，其特征在于，步骤(2-2)中，将矩形区域进行分块，每块的大小相同，其长和宽小于等于缺陷样本的长和宽的1/5。

3.根据权利要求1所述的基于纹理合成的疏松缺陷图像生成方法，其特征在于，步骤(2-3)中，采用K维空间树搜索方法在缺陷样本中搜索匹配块图像。

4.根据权利要求1所述的基于纹理合成的疏松缺陷图像生成方法，其特征在于，步骤(2-3)中，在缺陷样本中搜索匹配块图像时，采用高斯金字塔方法或者主分量分析方法。

5.根据权利要求1所述的基于纹理合成的疏松缺陷图像生成方法，其特征在于，步骤(2-3)中，如果候选集为空，则采用所搜索到的均方误差最小的匹配块作为该待合成区的匹配块。