CN111709877A - 一种针对工业检测的图像融合方法 - Google Patents

Abstract

本发明公开了一种针对工业检测的图像融合方法，图像包括前景和背景，所述的前景为需检测的特征，所述的背景为无关信息，包括搜索最佳缝合线，保留前景信息，选取最佳缝合线以后，需要对图像进行渐入渐出的加权融合，减少背景亮度图片等步骤，本发明将最佳缝合线方法和渐入渐出加权融合方法相结合，保留了最佳缝合线没有鬼影的优点和渐入渐出融合效果好的优点，增加了选取缝合线起点的策略，提高了方法运行的速度，改进了最佳缝合线查找线的方式，在保证甚至提高了精度的同时，简化了步骤，提高方法寻找单根线运行的速度。

Description

一种针对工业检测的图像融合方法

技术领域

本发明涉及图像融合方法，具体地说，是一种针对工业检测的图像融合方法。

背景技术

随着现代电子技术和当代计算机科学技术的不断发展与照相机等图像获取设备的普及，计算机视觉成像技术不断革新，数字图像处理技术也同样快速发展着，应用领域也越来越广泛。在工业的缺陷检测中，使用相机拍摄图像时的条件往往受到诸多限制，例如相机的分辨率有限、视场和像距大小的限制等等。当获取大视野的场景图像时，往往需要通过手动调节相机和镜头的焦距以及像距才能获取完整的图像，但这样所获得的视野图像会有分辨率明显不足的缺点，细节信息也会有较为明显的缺失。

因此，工业常常采用图像拼接获取大图像高分辨率图像。

图像拼接主要分为图像配准和图像融合两大步骤。

图像融合技术是将配准好的两幅或多幅图像进行全景化和可视化的过程，通常是图像拼接的最后一个步骤。图像融合的质量会影响图像拼接质量，影响对拼接结果的观感。常用的像素级图像融合方法，对不同的图像进行直接融合，进行的一般是像素之间灰度值的直接计算，是在基础数据层面实现的运算。这种方法会带来重影、特征模糊等问题，因此需要进行一些改进。本文的方法是针对工业检测的要求提出的一种图像融合方法。

在工业缺陷检测中，我们要尽量保持缺陷的完整，要避免图像融合过程带来的重影，重影也可能会给缺陷的检测带来误判，例如若焊锡出现重影现象，可能会使针脚或焊锡信息缺失、遗漏。

以下是传统平均融合法的简单介绍。

直接平均融合法在求取融合区域灰度值时，对原图像折半求和。若假设A(x，y)和B(x，y)是两个原图像在点坐标(x，y)处的像素灰度值，融合后的图像用F(x，y)表示，则平均融合法为：

此方法计算便捷，但是会在边缘处产生灰度值跳变的现象，也会产生鬼影现象。

发明内容

本发明正是针对现有技术提出的技术问题所作出的改进，提供了一种针对工业检测的图像融合方法，此图像融合方法是在图像拼接过程中，将配准好的两幅图像进行融合的过程，融合方法主要步骤为搜索最佳缝合线，在缝合线周边进行渐入渐出的加权融合。最佳缝合线的方法可以有效避免鬼影的出现，而渐入渐出法可以改善图像的亮度跳变，因此我们可以结合和改进两种方法，在避免鬼影出现的同时使图像美观，使结果同时具有两种方法的优点。

本发明是采用以下技术方案来实现的：

本发明公开了一种针对工业检测的图像融合方法，所述的图像包括前景和背景，所述的前景为需检测的特征，所述的背景为无关信息，包括如下步骤：

1)、搜索最佳缝合线，保留前景信息；

2)、选取最佳缝合线以后，需要对图像进行渐入渐出的加权融合，减少背景亮度图片；

所述的最佳缝合线具有如下特征：重叠区域在缝合线上的单个像素点亮度之差最小，及重叠区域的图像边缘与缝合线不相交。

作为进一步地改进，本发明所述的步骤1)的步骤如下：

1.1)、计算能量图；

1.2)、选取缝合线起点；

1.3)、遍历缝合线；

1.4)、选取最佳缝合线。

作为进一步地改进，本发明所述的步骤1)的具体步骤如下：

1.1)、计算能量图：

根据以上准则得到最佳缝合线的求解准则为：

E(x，y)＝E_c(x，y)²+E_e(x，y)

其中，E_color表示在重叠像素位置上两幅图像的颜色值之差，(x，y)表示点的坐标：

E_c＝|I₁(x，y)-I₂(x，y)|

E_edge表示重叠区域两幅图的边缘最大值：

E_e＝max{S₁(x，y)，S₂(x，y)}

S₁、S₂表示使用拉普拉斯边缘检测算子求取的边缘图像，拉普拉斯边缘检测的卷积核为：

使用上述原则，计算E(x，y)图，定义为能量图，最佳缝合线搜索的步骤在能量图上进行；得到能量图之后就可以在第一行选取起始点，向下遍历，遍历至最后一行结束遍历得到缝合线了；

1.2)、选取缝合线起点：

对能量图做垂直方向投影，选取投影图中灰度和前20％，其横坐标对应的是图像中的x坐标，从能量图第一行中选取这些坐标所代表的点，即(x，0)点，作为缝合线的起点；

1.3)、遍历缝合线：

选中第一行的点以后，要逐行选取第二、三……行的点，直至最后一行，形成一条曲线，步骤遍历缝合线实际上是在重复“根据当前行的点计算下一行的点”，具体方法如下：

从当前行的点选取缝合线上下一行(或下多行)的点，每次遍历选取以缝合线上的点为圆心的离散圆圆周上的点进行多行的判断，每次取三个点进行判断，这三个点从该离散圆的下半圆周上等间距选取，当图像融合场景是上下拼接，则从离散圆的右半圆周上等间距选取，可提升方法的速度，离散圆的半径为大于1的自然数；

1.4)、选取最佳缝合线：

在1.2)中选取了共计a个起点，共产生了a条缝合线；

选取一条缝合线，把能量图中该线上的所有点的灰度值相加，得到能量值之和，共得到a个能量值之和，这α条缝合线中，能量值之和最小的是最佳缝合线。

作为进一步地改进，本发明所述的1.3)遍历缝合线中，选取离散圆的半径优选为3时，具体步骤如下：

从当前行的点选取缝合线上下一行(或下多行)的点，当目前遍历到第y+1行的点，坐标为P(x，y)，以点P(x，y)为圆心作半径为3的离散圆，选取7号P(x+2，y+2)、9号点P(x，y+3)、11号点P(x-2，y-2)判断，若三个点中能量值最低的是7号点，则P(x+1，y+1)、P(x+2，y+2)是缝合线的下两个点，若三个点中能量值最低的是11号点，则P(x-1，y-1)、P(x-2，y-2)是缝合线的下两个点，三个点中能量值最低的是9号点，则P(x，y+1)、P(x，y+2)、P(x，y+3)是缝合线的下三个点；

在进行遍历时，要提前设置阈值t，当选取的7、9、11三个点的能量值都高于t，说明有触碰边缘，则舍弃点P，以13号和5号点中的较小值代替，重复进行遍历步骤。

作为进一步地改进，本发明所述的步骤2)的具体步骤如下：

使用渐入渐出方法对每一行进行融合，若当前融合的是第n行，缝合线在这一行的点是P(m，n)，则使用如下公式：

其中的权重计算公式为：

式中，k表示融合区的宽度。

作为进一步地改进，本发明根据能量图来确定融合区的宽度大小，具体方法如下：

2.1)、选取缝合线上第i行的点P(x，y)；

2.2)、从缝合线上的点P出发，往左右两边延伸，设置能量值阈值T，若延伸过程中，有能量点超过阈值T，则判定该点为第i行的融合区的端点，若延伸超过一定次数依然没有发现超过阈值T的点，则设置一定次数为宽度；

2.3)、重复以上过程，找出所有行的融合区端点，利用公式计算融合图。

本发明的有益效果如下：

1、将最佳缝合线方法和渐入渐出加权融合方法相结合，保留了最佳缝合线没有鬼影的优点和渐入渐出融合效果好的优点；

2、针对工业检测的要求，即不破坏前景信息，改进了最佳缝合线方法中的能量的定义，强化了边缘信息；

3、增加了选取缝合线起点的策略，提高了方法运行的速度；

4、改进了最佳缝合线查找线的方式，在保证甚至提高了精度的同时，简化了步骤，提高方法寻找单根线运行的速度。

5、本发明的遍历缝合线中，离散圆优选为3，半径越大，速度越快，但是精度会降低，半径大于3时，对边缘的敏感度降低显著，不满足工业检测的需求，为了满足提升速度的要求，离散圆半径为3时技术效果最佳。

附图说明

图1是缝合线路径示意图；

图2是缝合线遍历示意图；

图3是最佳缝合线流程图；

图4是融合宽度选择流程图。

具体实施方式

本发明公开了一种针对工业检测的图像融合方法，把图像分为前景和背景，前景是我们需要检测的特征，背景是无关信息。因此前景信息需要保留，背景部分要减少亮度的突变，使图片美观。最佳缝合线方法可以保留前景信息，因此图像拼接方法不影响后续检测过程；渐入渐出的融合方法可以减少亮度的突变，使图像美观。

搜索最佳缝合线的目的是在进行融合时保留前景信息，所以缝合线分割时要避开前景信息，前景和背景由边缘分开，因此定义最佳缝合线上的点具有如下特征：

1.重叠区域在缝合线上的单个像素点亮度之差最小；

2.重叠区域的图像边缘与缝合线不相交；

对于实际拍摄的图像来说，很难同时满足上面两个条件，而对于第二个条件，难免会有横穿图像的、长度较长的边缘，必然会与缝合线相交。因此，需要寻找的缝合线可以较好地满足上述两个条件，而无需完全满足，所以上述两个条件可以修改为：

1.重叠区域在缝合线上的所有像素点亮度之差均值最小；

2.重叠区域中，与缝合线相交的图像边缘最少。

图3是最佳缝合线流程图；最佳缝合线方法实现步骤如下：

步骤1：计算能量图

优化了传统方法的能量图计算，强化了边缘信息。此举可以使得缝合线不经过、切割前景信息

根据以上准则得到最佳缝合线的求解准则为：

E(x，y)＝E_c(x，y)²+E_e(x，y)

其中，E_color表示在重叠像素位置上两幅图像的颜色值之差，(x，y)表示点的坐标：

E_c＝|I₁(x，y)-I₂(x，y)|

E_edge表示重叠区域两幅图的边缘最大值：

E_e＝max{S₁(x，y)，S₂(x，y)}

S₁、S₂表示使用拉普拉斯边缘检测算子求取的边缘图像，拉普拉斯边缘检测的卷积核为：

使用上述原则，计算E(x，y)图，定义为能量图，最佳缝合线搜索的步骤在能量图上进行。

得到能量图之后就可以在第一行选取起始点，向下遍历，遍历至最后一行结束遍历得到缝合线了。

步骤2：选取缝合线起点

对能量图做垂直方向投影，选取投影图中灰度和前20％，他们横坐标对应的是图像中的y坐标，从能量图第一行中选取这些坐标所代表的点，即(0，y)点，作为缝合线的起点；传统缝合线方法中选取第一行所有点作为起点，本文进行了优化，在不损失精度的前提下提高了速度。

步骤3：遍历缝合线

选中第一行的点以后，要逐行选取第二、三……行的点，直至最后一行，形成一条曲线。也就是说，步骤遍历缝合线实际上是在重复“根据当前行的点计算下一行的点”，具体方法如下：

从当前行的点选取缝合线上下一行(或下多行)的点

本方法除了优化经典最佳缝合线方法中的起始点选择，也优化了巡线方式。经典方法的遍历中，需要在每一行进行判断，每行判断三个点。本方法对此进行优化，每次遍历选取以缝合线上的点为圆心的离散圆圆周上的点进行多行的判断，每次同样是取三个点进行判断，这三个点从该离散圆的下半圆周上等间距选取(如果图像融合场景是上下拼接，则从离散圆的右半圆周上等间距选取)，可提升方法的速度。离散圆的半径可以为大于1的自然数，例如2、3、4、5等。半径越大，速度越快，但是精度会降低。经过实验验证，选取半径为3时效果最佳。半径大于3时，对边缘的敏感度降低显著，不满足工业检测的需求。此外，为了满足提升速度的要求，本方法最终选择离散圆半径为3。

图1是缝合线路径示意图，即传统的缝合线方法中、逐行查找的示意图，图2是缝合线遍历示意图；是本方法中、以半径为3的离散圆多行查找的示意图。

图2的具体意义在下文解释：

假设目前遍历到点P(x，y)，如图2所示，以点P(x，y)为圆心作半径为3的离散圆，选取7号P(x+2，y+2)、9号点P(x，y+3)、11号点P(x-2，y-2)判断，若三个点中能量值(能量图的灰度值)最低的是7号点，则P(x+1，y+1)、P(x+2，y+2)是缝合线的下两个点，若三个点中能量值最低的是11号点，则P(x-1，y-1)、P(x-2，y-2)是缝合线的下两个点，三个点中能量值最低的是9号点，则P(x，y+1)、P(x，y+2)、P(x，y+3)是缝合线的下三个点。此举简化了传统的遍历方式，提升了方法运行的速度。

在进行遍历时，要提前设置阈值t，如选取的7、9、11三个点的能量值都高于t，说明有触碰边缘，则舍弃点P，以13号和5号点中的较小值代替，重复进行遍历步骤；此举可以尽量避开边缘线，也就是可以尽量避开前景信息。

步骤4：选取最佳缝合线

假设在步骤2中选取了共计a个起点，那么共产生了a条缝合线。

选取一条缝合线，把能量图中该线上的所有点的灰度值相加，得到能量值之和。

共得到a个能量值之和。这a条缝合线中，能量值之和最小的是最佳缝合线。

渐入渐出融合方法实现步骤如下：

选取最佳缝合线以后，需要对图像进行渐入渐出的加权融合。

由于最佳缝合线的切割避开边缘，所以可以避开前景信息，在渐入渐出中避开边缘信息可以只对背景实现渐入渐出，避免亮度突变。

使用渐入渐出方法对每一行进行融合，假设当前融合的是第n行，缝合线在这一行的点是P(m，n)，则使用如下公式：

其中的权重计算公式为：

式中，k表示融合区的宽度。

传统的渐入渐出方法中，宽度是固定的，但是因为本文方法要避开边缘，仅次于每一行的宽度不是一成不变的。

图4是融合宽度选择流程图，根据能量图来确定融合区的宽度大小，具体方法如下：

1、选取缝合线上第i行的点P(x，y)；

2、从缝合线上的点P出发，往左右两边延伸，设置能量值阈值T，若延伸过程中，有能量点超过阈值T，则判定该点为第i行的融合区的端点，若延伸超过一定次数依然没有发现超过阈值T的点，则设置一定次数为宽度，例如向左延伸超过50次没有发现超过阈值T的点，则设置左端端点为x-50；

3、重复以上过程，找出所有行的融合区端点，利用公式计算融合图。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种针对工业检测的图像融合方法，其特征在于，所述的图像包括前景和背景，所述的前景为需检测的特征，所述的背景为无关信息，包括如下步骤：

1)、搜索最佳缝合线，保留前景信息；

2)、选取最佳缝合线以后，需要对图像进行渐入渐出的加权融合，减少背景亮度图片；

所述的最佳缝合线具有如下特征：重叠区域在缝合线上的单个像素点亮度之差最小，及重叠区域的图像边缘与缝合线不相交。

2.根据权利要求1所述的针对工业检测的图像融合方法，其特征在于，所述的步骤1)的步骤如下：

1.1)、计算能量图；

1.2)、选取缝合线起点；

1.3)、遍历缝合线；

1.4)、选取最佳缝合线。

3.根据权利要求2所述的针对工业检测的图像融合方法，其特征在于，所述的步骤1)的具体步骤如下：

1.1)、计算能量图：

根据以上准则得到最佳缝合线的求解准则为：

E(x，y)＝E_c(x，y)²+E_e(x，y)

其中，E_color表示在重叠像素位置上两幅图像的颜色值之差，(x，y)表示点的坐标：

E_c＝|I₁(x，y)-I₂(x，y)|

E_edge表示重叠区域两幅图的边缘最大值：

E_e＝max{S₁(x，y)，S₂(x，y)}

S₁、S₂表示使用拉普拉斯边缘检测算子求取的边缘图像，拉普拉斯边缘检测的卷积核为：

使用上述原则，计算E(x，y)图，定义为能量图，最佳缝合线搜索的步骤在能量图上进行；得到能量图之后就可以在第一行选取起始点，向下遍历，遍历至最后一行结束遍历得到缝合线了；

1.2)、选取缝合线起点：

对能量图做垂直方向投影，选取投影图中灰度和前20％，其横坐标对应的是图像中的x坐标，从能量图第一行中选取这些坐标所代表的点，即(x，0)点，作为缝合线的起点；

1.3)、遍历缝合线：

选中第一行的点以后，要逐行选取第二、三……行的点，直至最后一行，形成一条曲线，步骤遍历缝合线实际上是在重复“根据当前行的点计算下一行的点”，具体方法如下：

从当前行的点选取缝合线上下一行(或下多行)的点，每次遍历选取以缝合线上的点为圆心的离散圆圆周上的点进行多行的判断，每次取三个点进行判断，这三个点从该离散圆的下半圆周上等间距选取，当图像融合场景是上下拼接，则从离散圆的右半圆周上等间距选取，可提升方法的速度，离散圆的半径为大于1的自然数；

1.4)、选取最佳缝合线：

在1.2)中选取了共计a个起点，共产生了α条缝合线；

选取一条缝合线，把能量图中该线上的所有点的灰度值相加，得到能量值之和，共得到α个能量值之和，这α条缝合线中，能量值之和最小的是最佳缝合线。

4.根据权利要求3所述的针对工业检测的图像融合方法，其特征在于，所述的1.3)遍历缝合线中，选取离散圆的半径优选为3时，具体步骤如下：

从当前行的点选取缝合线上下一行(或下多行)的点，当目前遍历到第y+1行的点，坐标为P(x，y)，以点P(x，y)为圆心作半径为3的离散圆，选取7号P(x+2，y+2)、9号点P(x，y+3)、11号点P(x-2，y-2)判断，若三个点中能量值最低的是7号点，则P(x+1，y+1)、P(x+2，y+2)是缝合线的下两个点，若三个点中能量值最低的是11号点，则P(x-1，y-1)、P(x-2，y-2)是缝合线的下两个点，三个点中能量值最低的是9号点，则P(x，y+1)、P(x，y+2)、P(x，y+3)是缝合线的下三个点；

在进行遍历时，要提前设置阈值t，当选取的7、9、11三个点的能量值都高于t，说明有触碰边缘，则舍弃点P，以13号和5号点中的较小值代替，重复进行遍历步骤。

5.根据权利要求2所述的针对工业检测的图像融合方法，其特征在于，所述的步骤2)的具体步骤如下：

使用渐入渐出方法对每一行进行融合，若当前融合的是第n行，缝合线在这一行的点是P(m，n)，则使用如下公式：

其中的权重计算公式为：

式中，k表示融合区的宽度。

6.根据权利要求5所述的针对工业检测的图像融合方法，其特征在于，根据能量图来确定融合区的宽度大小，具体方法如下：

2.1)、选取缝合线上第i行的点P(x，y)；

2.2)、从缝合线上的点P出发，往左右两边延伸，设置能量值阈值T，若延伸过程中，有能量点超过阈值T，则判定该点为第i行的融合区的端点，若延伸超过一定次数依然没有发现超过阈值T的点，则设置一定次数为宽度；

2.3)、重复以上过程，找出所有行的融合区端点，利用公式计算融合图。

Images