CN109544498A - 一种图像自适应融合方法 - Google Patents

Abstract

本发明涉及一种图像自适应融合方法，属于图像处理领域。本发明将多成像系统下的图像融合转换成在新坐标系下的像素插值方法，新图像的左边像素区域完全取自img1中的像素信息，新图像右边区域完全取自变换坐标信息后的img2图像数据，然后再对中间的重叠区域像素信息采取一种自适应评估择优的方法，这样一来得到的重叠区域像素信息更为饱满。本发明将余弦距离判别分析的思想引入到图像融合技术中，对比传统的技术极大减少了融合后图像信息失真的可能性，鲁棒性更好，可以有效修正各选取像素时可能存在的度量标准不统一问题，自动选择规划出合适的各相机成像点集，图像融合的结果更为平滑，同时使得图像细节信息更为饱满，整体效果更为真实。

Description

一种图像自适应融合方法

技术领域

本发明属于图像处理领域，是一种基于余弦距离判别分析的图像自适应融合方法。

背景技术

目前机器视觉已成为工业领域研究的热门话题，在工业生产现场引入视觉可以更好地完成对工件的识别、检测、包装和搬运等项目，但在获取工件视觉信息的时候，一些生产项目需要识别的工件视场较大，单个相机不能够很好的满足实际需求，所以通常会采用具有平行光轴结构的多相机成像系统(如附图1)，最后利用图像拼接算法得到所需要的图像数据。

图像拼接算法的核心主要是图像配准和图像融合，图像配准的方法经过大量研究人员多年的研究已经较成熟，但是在图像融合部分，由于复杂的工业现场环境(光照、温度等)及成像系统本身的装配误差，各相机所成像的结果存在一定的差异，传统的图像合成方法在此基础上的合成效果并不好，小小的细节错误就会使得工件检测等项目产生重大失误。因此，对于多相机成像系统的重叠区域判定择优显得极为关键。

现有的图像融合方法主要分为两种：一种简易的方法是先将附图2中的右图img2经变换矩阵H变换到一个新图像中，然后直接将左图img1加到新图像中，这样拼接出来会有很明显的拼接缝；另一种方法首先也是将右图img2经变换矩阵H变换到一个新图像中，在融合过程中将目标图像分为三部分，最左边完全取自img1中的数据，重合区域右边的部分完全取自img2经变换后的图像，中间的重合部分取两幅图像的加权平均值，这样一来可能导致重叠区域细节部分的丢失，并且也会存在一定的拼接缝。

发明内容

本发明通过对各个相机的重叠区域部分评估择优，自动选择规划出合适的各镜头成像点集，使得融合的图像更为真实，细节更加突出，极大地减小了因为细节丢失而导致的系统检测误差。

为了达到上述目的，本发明提供的技术方案是：一种图像自适应融合方法，其特征在于，包括如下步骤：

步骤1，针对有重叠部分的待融合图像，根据每张图像重叠部分配准出的相同特征点，在融合图像坐标体系内，构建在每张图像上的相同特征点之间的映射关系；

步骤2，根据映射关系，将每张图片未重叠部分在融合图像坐标体系内映射融合；

步骤3，对于重叠部分，在融合图像坐标体系内，确定相同特征点在每张图片的像素坐标及其像素坐标均值，根据每张图片上的像素坐标与像素坐标均值的余弦相似度对比结果，选择余弦相似度较大的像素点作为待融合像素点，对重叠部分图像进行融合；

步骤4，将步骤2未重叠部分融合图像与步骤3重叠部分融合图像进行融合。

进一步的技术方案在于，所述步骤1的图像配准过程采用SIFI算法实现。

进一步的技术方案在于，所述映射关系是通过变换矩阵来获得。

进一步的技术方案在于，步骤1中变换矩阵的计算方式如下：

设重叠部分上任意一点T，在图像一中成像为T1，在图像2中成像为T2；由成像的映射关系得H1*T＝T1,H2*T＝T2,得T1＝T2(H1*H2^-1)；变换矩阵H表示图像一和图像二相同特征点的映射关系，由上式推导：H＝H1*H2^-1。

进一步的技术方案在于，具体包括如下步骤：

步骤1，融合图像未重叠部分的确定

针对有重叠部分的待融合图像，利用SIFI算法进行图像配准后，得到待融合图像的重叠部分范围大小，计算匹配出的相同特征点之间的变换矩阵H，通过变换矩阵H构建图像之间在重叠部分的映射关系，选择一个融合图像坐标体系；利用映射关系将待融合图像未重叠部分经变换矩阵H变换到融合图像坐标体系内；

步骤2，融合图像像素坐标的确定：

在图像坐标体系内，定义每张图片在重叠区域的像素坐标信息集合为C_n，n>2，n为待融合图像的张数，则图像重叠部分的像素坐标信息集合K^m＝{C₁,C₂,C₃......C_n}，m为融合图像在重叠部分的像素数量，图像重叠部分任意一点像素坐标信息集合为1<i<m；融合图像选取的任意一点的像素坐标信息为C_pq，p为融合图像选取的第p张图像，q为融合图像上选取的像素点；

对图像重叠部分任意一点像素坐标信息集合为1<i<m；求取在图像坐标体系内的像素均值为

然后，分别求取C_1i,C_2i,C_3i....C_ni到的余弦距离，即它们的余弦相似度cosθ_ni；比较余弦相似度的大小；选取余弦相似度较大的像素点作为融合图像选取的任意一点的像素坐标信息C_pq；

步骤3，融合图像重叠部分的确定：

利用映射关系将C_pq经变换矩阵H变换到融合图像坐标体系内；

步骤4，融合图像的完成：

将步骤1未重叠部分融合图像与步骤3重叠部分融合图像进行融合。

与现有技术相比，本发明具有的有益效果为：本发明将余弦距离判别分析的方法引入图像融合技术之中，可以有效修正各选取像素时可能存在的度量标准不统一问题，自动选择规划出合适的各相机成像点集，以此评估出的像素点集合成后的图像整体平滑度更好，同时对真实场景的还原度高，极大的提升了图像融合的准确率。

附图说明

图1为具有平行光轴结构的多相机成像系统。

图2为图像融合中成像区域示意图。

图3为本发明实施例中区域坐标对应像素点示意图。

图4为本发明实施例中合成的图像像素信息分布图。

图5为本发明实施例流程图。

图6为对比试验中传统方法的融合效果。

图7为对比试验中本发明的融合效果。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步解释说明：

本发明公开了一种图像自适应融合方法，其包括如下步骤：

步骤1，针对有重叠部分的待融合图像，根据每张图像重叠部分配准出的相同特征点，在融合图像坐标体系内，构建在每张图像上的相同特征点之间的映射关系；

步骤2，根据映射关系，将每张图片未重叠部分在融合图像坐标体系内映射融合；

步骤3，对于重叠部分，在融合图像坐标体系内，确定相同特征点在每张图片的像素坐标及其像素坐标均值，根据每张图片上的像素坐标与像素坐标均值的余弦相似度对比结果，选择余弦相似度较大的像素点作为待融合像素点，对重叠部分图像进行融合；

步骤4，将步骤2未重叠部分融合图像与步骤3重叠部分融合图像进行融合。

优选的，所述步骤1的图像配准过程采用SIFI算法实现。

优选的，所述映射关系是通过变换矩阵来获得。

优选的，步骤1中变换矩阵的计算方式如下：

设重叠部分上任意一点T，在图像一中成像为T1，在图像2中成像为T2；由成像的映射关系得H1*T＝T1,H2*T＝T2,得T1＝T2(H1*H2^-1)；变换矩阵H表示图像一和图像二相同特征点的映射关系，由上式推导：H＝H1*H2^-1。

优选的，其具体包括如下步骤：

步骤1，融合图像未重叠部分的确定

针对有重叠部分的待融合图像，利用SIFI算法进行图像配准后，得到待融合图像的重叠部分范围大小，计算匹配出的相同特征点之间的变换矩阵H，通过变换矩阵H构建图像之间在重叠部分的映射关系，选择一个融合图像坐标体系；利用映射关系将待融合图像未重叠部分经变换矩阵H变换到融合图像坐标体系内；

步骤2，融合图像像素坐标的确定：

在图像坐标体系内，定义每张图片在重叠区域的像素坐标信息集合为C_n，n>2，n为待融合图像的张数，则图像重叠部分的像素坐标信息集合K^m＝{C₁,C₂,C₃......C_n}，m为融合图像在重叠部分的像素数量，图像重叠部分任意一点像素坐标信息集合为融合图像选取的任意一点的像素坐标信息为C_pq，p为融合图像选取的第p张图像，q为融合图像上选取的像素点；

对图像重叠部分任意一点像素坐标信息集合为 求取在图像坐标体系内的像素均值为

然后，分别求取C_1i,C_2i,C_3i....C_ni到的余弦距离，即它们的余弦相似度cosθ_ni；比较余弦相似度的大小；选取余弦相似度较大的像素点作为融合图像选取的任意一点的像素坐标信息C_pq；

步骤3，融合图像重叠部分的确定：

利用映射关系将C_pq经变换矩阵H变换到融合图像坐标体系内；

步骤4，融合图像的完成：

将步骤1未重叠部分融合图像与步骤3重叠部分融合图像进行融合。

实施例1

如图1所示，利用相机1、相机2进行拍摄，获得两幅图像img1和img2，，img1和img2具有部分重叠(如图2所示黑色部分)，然后采用本发明所述方法进行融合：

步骤1，融合图像左右部分的确定：通过SIFT算法(荣燕.基于SIFT的全景图像拼接算法研究[D].青岛科技大学,2018.)对img1和img2图像配准，得到两幅图像img1和img2的重叠区域，见图2，根据匹配出的相同特征点计算变换矩阵H后构建两幅图像在重叠区域的映射关系，在此，以img1所在位置为融合图像坐标体系，将img2经变换矩阵H变换到融合图像坐标体系中；定义K^l为img1除去重叠部分像素信息后的左边部分，K^r为img2变换后的图像除去重叠部分像素信息的右边部分，并将K^l和K^r一一映射到融合图像坐标体系中；

其中，步骤1中变换矩阵的计算方式如下：

设重叠部分上任意一点T，在img1中成像为T1，在img2中成像为T2；由成像的映射关系得H1*T＝T1,H2*T＝T2,得T1＝T2(H1*H2^-1)；变换矩阵H表示img1和img2相同特征点的映射关系，由上式推导：H＝H1*H2^-1。

步骤2，融成图像重叠区域像素的确定：定义img1在重叠区域的像素信息集合为C₁，img2变换后的重叠区域像素信息集合为C₂，则整个图像重叠区域的像素信息集合K^m＝{C₁,C₂}，m为融合图像在重叠部分的像素数量，图像重叠区域坐标内任意一点都包含两个像素点即设需要填补的某点为q，C_1q(x_q,y_q,z_1q)表示img1中对应这一点坐标位置的像素信息，C_2q(x_q,y_q,z_2q)表示img2中对应这一点坐标位置的像素信息(如附图3)；

步骤3，根据重叠区域内，C_1i(x_i,y_i,z_1i)、C_2i(x_i,y_i,z_2i)的信息求取在融合图像坐标体系下每坐标点的像素均值为

步骤4，分别求取C_1i(x_i,y_i,z_1i)、C_2i(x_i,y_i,z_2i)到的余弦距离，即它们的余弦相似度cosθ_i：

步骤5，比较K_i内C_1i(x_i,y_i,z_1i)、C_2i(x_i,y_i,z_2i)到余弦相似度的大小；

(1)若cosθ₁＞cosθ₂，则判定该重叠坐标点K_i内C_1i(x_i,y_i,z_1i)优于C_2i(x_i,y_i,z_2i)，即在图像融合时自动选择img 1的像素点；

(2)若cosθ₁<cosθ₂，则判定该重叠坐标点K_i内C_2i(x_i,y_i,z_2i)优于C_1i(x_i,y_i,z_1i)，即在图像融合时自动选择img 2变换后的像素点；

(3)若cosθ₁＝cosθ₂，则在该重叠坐标点K_i内随机选择一个作为图像融合的像素点；

步骤6，整合所有选出来的像素点并将其一一映射到对应的重叠区域坐标系中，确定为合成图像的重叠区域(图4)。

步骤7，像素整合模块：整合所有选出来的像素点并将其一一映射到对应的重叠区域坐标系中，确定为合成图像的重叠区域。结合合成图像左右部分的确定模块，即可得到经过判定择优后的合成图像。

请提供一些具体应用的实施例，可提供多个，多多益善，以便支持要求保护的范围。

在对工件的识别、检测、包装和搬运等项目，在获取工件视觉信息的时候，一些生产项目需要识别的工件视场较大，单个相机不能够很好的满足实际需求，通常会采用具有平行光轴结构的多相机成像系统；

对于多批量的工件检测，传统的方法在图像融合时会存在一定程度的拼接缝，如图6所示，本发明通过对各个相机的重叠区域部分评估择优，自动选择规划出合适的各镜头成像点集，使得融合的图像更为真实，细节更加突出，极大地减小了因为细节丢失而导致的系统检测误差，如图7所示。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种图像自适应融合方法，其特征在于，包括如下步骤：

步骤1，针对有重叠部分的待融合图像，根据每张图像重叠部分配准出的相同特征点，在融合图像坐标体系内，构建在每张图像上的相同特征点之间的映射关系；

步骤2，根据映射关系，将每张图片未重叠部分在融合图像坐标体系内映射融合；

步骤3，对于重叠部分，在融合图像坐标体系内，确定相同特征点在每张图片的像素坐标及其像素坐标均值，根据每张图片上的像素坐标与像素坐标均值的余弦相似度对比结果，选择余弦相似度较大的像素点作为待融合像素点，对重叠部分图像进行融合；

步骤4，将步骤2未重叠部分融合图像与步骤3重叠部分融合图像进行融合。

2.根据权利要求1所述的一种图像自适应融合方法，其特征在于，所述步骤1的图像配准过程采用SIFI算法实现。

3.根据权利要求1所述的一种图像自适应融合方法，其特征在于，所述映射关系是通过变换矩阵来获得。

4.根据权利要求3所述的一种图像自适应融合方法，其特征在于，步骤1中变换矩阵的计算方式如下：

设重叠部分上任意一点T，在图像一中成像为T1，在图像2中成像为T2；由成像的映射关系得H1*T＝T1,H2*T＝T2,得T1＝T2(H1*H2^-1)；变换矩阵H表示图像一和图像二相同特征点的映射关系，由上式推导：H＝H1*H2^-1。

5.根据权利要求1所述的一种图像自适应融合方法，其特征在于，具体包括如下步骤：

步骤1，融合图像未重叠部分的确定

针对有重叠部分的待融合图像，利用SIFI算法进行图像配准后，得到待融合图像的重叠部分范围大小，计算匹配出的相同特征点之间的变换矩阵H，通过变换矩阵H构建图像之间在重叠部分的映射关系，选择一个融合图像坐标体系；利用映射关系将待融合图像未重叠部分经变换矩阵H变换到融合图像坐标体系内；

步骤2，融合图像像素坐标的确定：

在图像坐标体系内，定义每张图片在重叠区域的像素坐标信息集合为C_n，n>2，n为待融合图像的张数，则图像重叠部分的像素坐标信息集合K^m＝{C₁,C₂,C₃......C_n}，m为融合图像在重叠部分的像素数量，图像重叠部分任意一点像素坐标信息集合为融合图像选取的任意一点的像素坐标信息为C_pq，p为融合图像选取的第p张图像，q为融合图像上选取的像素点；

对图像重叠部分任意一点像素坐标信息集合为 求取在图像坐标体系内的像素均值为

然后，分别求取C_1i,C_2i,C_3i....C_ni到的余弦距离，即它们的余弦相似度cosθ_ni；比较余弦相似度的大小；选取余弦相似度较大的像素点作为融合图像选取的任意一点的像素坐标信息C_pq；

步骤3，融合图像重叠部分的确定：

利用映射关系将C_pq经变换矩阵H变换到融合图像坐标体系内；

步骤4，融合图像的完成：

将步骤1未重叠部分融合图像与步骤3重叠部分融合图像进行融合。