CN115953346B - 一种基于特征金字塔的图像融合方法、装置及存储介质 - Google Patents

Abstract

本发明涉及一种基于特征金字塔的图像融合方法、装置及存储介质。本发明所述的一种基于特征金字塔的图像融合方法，通过将图像在频域和时域上分别进行特征提取和坐标信息，对图像进行区间划分，并为各区域标注了时序，一方面使用lstm时序网络，将各种间接关联的区域进行运算，只要将小波分析出的特征导入到模型，模型将计算各种组合关系，另一方面通过对多张图像分别进行叠加组合，扩充了图像组，从而解决数据资源过少的问题，提升了算法的鲁棒性。解决了检测与识别准确率偏低、关键检测项灵敏度不够的问题。

Description

一种基于特征金字塔的图像融合方法、装置及存储介质

技术领域

本发明涉及图像生成领域，特别是涉及多聚焦图像的图像融合技术领域。

背景技术

在工业生产的某些场合下，产品本身成像面不是一个平面，摄像机受景深的限制，无法同时聚集到所有产品面，故一个聚集点只能清晰部分产品面，需要变换多个焦点，拍摄多幅图像，以便获得各个焦点下的清晰面。图像融合技术可以把多幅同一场景下聚焦区域不同的图像融合成一幅全清晰的图像，从而解决模糊图像在检测与识别任务中无法准确抓取特征这个问题。

图像融合技术包含不同阶段的环节：像素级辨别是否保留；特征级决定是否取舍；决策级规划不同划分、计算层数、核大小等。

目前针对图像融合已有部分算法，但具体应用到工业检测与识别领域时存在一些偏差，导致检测与识别准确率偏低、关键检测项灵敏度不够等问题。

发明内容

基于此，本发明目的在于提供一种基于特征金字塔的图像融合方法、装置及存储介质，其具有实施更为轻量，只需较少的数据量就能解决工业检测领域不同表面成像模糊，以及图像中心区域与边缘区域清晰度相差过大的问题，同时华能提高检测与识别的准确率， 提高检测灵敏度。

本发明是通过如下技术方案实现的：

第一方面，本申请提供一种基于特征金字塔的图像融合方法，其包括如下步骤：

获取原始图像组，获取图像边缘特征以及增强高反差图像，以获取的增强高反差图像作为第二图像组。所述原始图像组是由多张在相同视场范围下，不同焦点拍摄的图像组成的；

将所述第二图像组中的每一张图像进行频率变换，通过小波变化提取所有图像的Blob信息；计算第二图像组的方向梯度矩阵，依次获取第二图像组中的图像数据，根据对应图像的方向梯度矩阵和以及对应的坐标信息提取对应的第一目标区域，直至所有图像完成提取；获取最优匹配区域，确定对齐区域；所述对齐区域根据特性选取，其匹配系数高于设定的系数P；根据对齐区域与第二图像组中的每张图像的各个梯度区域进行匹配，获得第二图像组中每一张图像的相关区；对所述第二图像组中每一张图像设定像素数目l，每个区域边界向内延伸l像素，形成一个环形区域，根据邻近的环形区，计算边缘、孔洞、灰度信息，找出第二图像组中每一张图像的真实的对齐区；对第二图像组中每一张图像的相关区和真实相关区进行组合，得到第三图像组；

根据第三图像组，构建高斯金字塔，对第三图像组进行特征和信息滤除，得到第四图像组；

将所述第四图像组和一个标注图像输入至学习网络中，对每张图像中的清晰区域和模糊区域分别进行学习；所述清晰区域与模糊区域根据标注图像的分辨率进行判断，当图像一个区域内的分辨率高于标注图像，则判断为清晰区域，图像一个区域内的分辨率低于标注图像，则判断为模糊区域；

获取完成学习后的第四图像组，选取图像组内的每组图片每个区域内分辨率最高的的一块区域 ，将所有分辨率最高的区域进行拼接，得到最终产品图。

进一步地，根据第三图像组，构建高斯金字塔，对第三图像组进行特征和信息滤除，得到第四图像组包括：

将所述第三图像组的每一张图像划分为N*M块，其中N和M分别为横向和纵向的分割数，并计算每一小块的Laplacian梯度，或，Tenengrad梯度，构建成N*M梯度数组；

预设初始可视化参数W0，所述初始可视参数用于确定高斯金字塔的层数；

根据第三图像组的每一张图像通过递归构建高斯金字塔，对高斯金字塔的每一层特征层使用不同的小波算子提取频域特征，并计算高斯金字塔扩张过程每一层对应的Laplacian金字塔，并计算高斯金字塔与Laplacian金字塔的差值，并计算扩张后的图像的当前可视化参数W1；若分层后，图像的当前可视化参数W仍然大于W0，继续往下分层，否则停止分层；

分层结束后，根据每一层对应的高斯金字塔与Laplacian金字塔的差值和每一层提取的频域特征还原图像，得到第四图像组。

进一步地，在构建高斯金字塔的过程中，还包括计算每一层经过高斯滤波后的损失值，根据所有的损失值计算梯度损失函数。

进一步地，所述初始可视化参数W0的确定公式如下：

W0=W/L

其中W是图像分辨率衡量指标，L是设定的金字塔层数。W为图像的长，或，宽，或周长。

进一步地，高斯金字塔的构建方式还包括空洞卷积构建。空洞卷积对每行每列都有相关计算数据，避免了构建高斯金字塔的过程中由于行列缺失而导致的块状噪声。

进一步地，若完成学习后的第四图像组的图片出现明显不连续的块状物，则需要增多所述原始图像组的数据集并重新开始对图像进行处理。

第二方面，本申请还提供一种实现基于特征金字塔的图像融合方法的装置，其包括：

频域变换模块：用于获取原始图像组，获取图像边缘特征以及增强高反差图像，以获取的增强高反差图像作为第二图像组。所述原始图像组是由多张在相同视场范围下，不同焦点拍摄的图像组成的；

图像融合模块：用于用于将所述第二图像组中的每一张图像进行频率变换，通过小波变化提取所有图像的Blob信息；计算第二图像组的方向梯度矩阵，依次获取第二图像组中的图像数据，根据对应图像的方向梯度矩阵和以及对应的坐标信息提取对应的第一目标区域，直至所有图像完成提取；获取最优匹配区域，确定对齐区域；所述对齐区域根据特性选取，其匹配系数高于设定的系数P；根据对齐区域与第二图像组中的每张图像的各个梯度区域进行匹配，获得第二图像组中每一张图像的相关区；对所述第二图像组中每一张图像设定像素数目l,每个区域边界向内延伸l像素，形成一个环形区域，根据邻近的环形区，计算边缘、孔洞、灰度信息，找出第二图像组中每一张图像的真实的对齐区；对所述第二图像组中每一张图像经过上述处理得到的相关区和对齐区进行组合，得到第三图像组；

高斯金字塔模块：用于根据第三图像组，构建高斯金字塔，对第三图像组进行特征和信息滤除，得到第四图像组；

模板学习模块：用于将所述第四图像组和一个标注图像输入至学习网络中，对每张图像中的清晰区域和模糊区域分别进行学习；所述清晰区域与模糊区域根据标注图像的分辨率进行判断，当图像一个区域内的分辨率高于标注图像，则判断为清晰区域，图像一个区域内的分辨率低于标注图像，则判断为模糊区域；

图像拼接模块：用于获取完成学习后的第四图像组，选取图像组内的每组图片每个区域内分辨率最高的的一块区域 ，将所有分辨率最高的区域进行拼接，得到最终产品图。

第三方面，本申请还提供一种计算机设备，其包括：

至少一个存储器以及至少一个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上述提及的任一项所述的一种基于特征金字塔的图像融合方法的步骤。

第四方面，本身还提供一种计算机存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述提及的任一项所述的一种基于特征金字塔的图像融合方法的步骤。

本申请对一组在同样视场范围下具有不同焦点的图像进行边缘特征提取和图像增强，然后将增强的图像组在频域和时域上分别进行特征提取和坐标信息提取，结合标注的时序把多个图像进行叠加组合，再对叠加生成的图像进行构建高斯金字塔，输入至学习网络中，对清晰区域和模糊区域分别进行监督学习，使得每个区域的特征不会丢失，根据标准图像设定阈值，判读图像区域为清晰还是模糊，完成学习后，选取每张图片最清晰的区域进行拼接，得到各部位都清楚的最终产品图。

本申请通过将图像在频域和时域上分别进行特征提取和坐标信息，对图像进行区间划分，并为各区域标注了时序，一方面使用lstm时序网络，将各种间接关联的区域进行运算，只要将小波分析出的特征导入到模型，模型将计算各种组合关系，另一方面通过对多张图像分别进行叠加组合，扩充了图像组，从而解决数据资源过少的问题，提升了算法的鲁棒性。解决了检测与识别准确率偏低、关键检测项灵敏度不够的问题。

为了更好地理解和实施，下面结合附图详细说明本发明。

附图说明

图1为本申请实施例提供的一种基于特征金字塔的图像融合方法的流程图；

图2为本申请实施例根据的一种实现基于特征金字塔的图像融合方法的装置的结构框图；

图3为本申请实施例根据的一种计算机设备的结构框图。

附图标记：400：一种实现基于特征金字塔的图像融合方法的装置；401：频域变换模块；402：图像融合模块；403：高斯金字塔模块；404：模板学习模块；405：图像拼接模块；

910：处理器；920：存储器。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。

应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。

在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

在工业生产的某些场合下，产品本身成像面不是一个平面，摄像机受景深的限制，无法同时聚集到所有产品面，故一个聚集点只能清晰部分产品面，需要变换多个焦点，拍摄多幅图像，以便获得各个焦点下的清晰面。图像融合技术可以把多幅同一场景下聚焦区域不同的图像融合成一幅全清晰的图像，从而解决模糊图像在检测与识别任务中无法准确抓取特征这个问题。

图像融合技术包含不同阶段的环节：像素级辨别是否保留；特征级决定是否取舍；决策级规划不同划分、计算层数、核大小等。

现有的一些图像融合已有部分算法，但具体应用到工业检测与识别领域时存在一些偏差，导致检测与识别准确率偏低、关键检测项灵敏度不够。

基于上述问题，本申请提供一种基于特征金字塔的图像融合方法、装置及存储介质来解决上述问题。结合图1，本申请提及的一种基于特征金字塔的图像融合方法，包括如下步骤：

S10：用于获取原始图像组，获取图像边缘特征以及增强高反差图像，以获取的增强高反差图像作为第二图像组。原始图像组是由多张在相同视场范围下，不同焦点拍摄的图像组成的。

具体地，获取原始图像组，对原始图像组中的每一张图像进行频率变换并进行高斯滤波，得到模糊图像组，对模糊图像组中的每一张图像进行边缘特征提取，得到模糊图像组所对应的边缘特征；根据模糊图像组和对应的边缘特征，得到原始图像组的增强高反差图像组。

高斯滤波是使用一个指定的模板（或称卷积、掩膜）去扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

而边缘特征即为图像的高频分量，高频分量指的是图像强度（亮度/灰度）变化剧烈的地方，也就是的边缘（轮廓）特征。通过对原始图像组进行高斯滤波，然后将原始图像与模糊图像进行差分运算再在每个像素点加一定的像素值，就可以提取到每一张原始图像的边缘特征。再使用一个增强系数AM对边缘特征进行强化，结合高斯模糊后的图像，得到由增强高反差图像组成的第二图像组。

S20：将第二图像组进行频率变换，通过小波变化提取所有图像的Blob信息；计算第二图像组的方向梯度矩阵，依次获取第二图像组中的图像数据，根据对应图像的方向梯度矩阵和以及对应的坐标信息提取对应的第一目标区域，直至所有图像完成提取；获取最优匹配区域，确定对齐区域；对齐区域根据特性选取，其匹配系数高于设定的系数P；根据对齐区域与第二图像组中的每张图像的各个梯度区域进行匹配，获得各个相关区；设定像素数目l,每个区域边界向内延伸l像素，形成一个环形区域，根据邻近的环形区，计算边缘、孔洞、灰度信息，找出真实的对齐区；对上述图像进行组合，得到第三图像组。

Blob是指图像中的一块连通区域，Blob分析就是对前景/背景分离后的二值图像，进行连通域提取和标记。标记完成的每一个Blob都代表一个前景目标，然后就可以计算Blob的一些相关特征，如：面积、质心、外接矩形等几何特征，还可以计算Blob的颜色、纹理特征，这些特征作为跟踪的依据。

梯度的本意是一个向量，表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模），对图像建立直角坐标系，沿x方向的图像梯度测量的是灰度（亮度）值的水平变化(0 ~ 255)，沿y方向的图像梯度测量的是灰度值的垂直变化(0 ~ 255)，由于在边缘上图像的灰度值会发生突然的改变，因此最大的梯度值将出现在图像中一条边上（忽略噪声）。所以x方向的梯度能找到垂直的边缘，y方向的梯度能找到水平边缘。因此通过生成图像的方向梯度矩阵即可定位到图像的边缘坐标信息。

具体地，通过小波变换，提取第二图像组的Blob信息，结合每一张图像的方向梯度矩阵和对应的坐标信息，对图像进行目标区域提取，并结合边缘信息对图像进行划分。定义一个梯度上限T对方向梯度矩阵进行一次二进制Threshold操作，得到一组Region1区域；获取一个标准图像，将标准图像进行一次二进制Threshold操作，得到一组Region2区域。提取每一个Region1、Region2的轮廓信息，计算出Region1中每一个分区域的中心R10，将此中心与Region2中每一个分区中心做距离计算，找到其中最近的小区域R20,将R10与R20做一个形状模板匹配，如果匹配分数在指定范围证明配对成功，R10与R20就构成对齐区域。

寻找多个匹配区域，使用差值方式计算匹配点序列，进一步提高匹配精度。此方式考虑到了每一个运算点与另一个运算点的关联。假如有如下区域R1,R2,...,RmR1与Rk相邻，Rk与Rj相邻，R1与Rj不相邻，那么，R1与Rj之间的关系复杂。如果使用传统的排列算法，一方面耗时，二方面特征向量复杂时，特征与特征的关联很难定义。通过上述方法，能够算出每个区域之间的组合关系。

S30：根据第三图像组，构建高斯金字塔，对第三图像组进行特征和信息滤除，得到第四图像组。

高斯金字塔构建过程中，首先将图像扩大一倍，在扩大的图像的基础之上构建高斯金字塔，然后对该尺寸下图像进行高斯模糊，即进行高斯滤波，几幅模糊之后的图像集合构成了一个八度，然后对该八度下的最模糊的一幅图像进行下采样的过程，长和宽分别缩短一倍，图像面积变为原来四分之一。这幅图像就是下一个八度的初始图像，在初始图像图像的基础上完成属于这个八度的高斯模糊处理，以此类推完成整个算法所需要的所有八度构建。

通过构建高斯金字塔，利用小波计算将特征融合在区域的固有频率中，这样就避免了像素级的各种比对运算。空间域使用像素堆叠运算，占用内存与运算时间较大，而频率域描述的是各个点对应的频域值，参数少。仅使用很少的频域因子，就能完成图像运算，突破性能瓶颈。

S40：将第四图像组和一个标准图像输入至学习网络中，对每张图像中的清晰区域和模糊区域分别进行学习；清晰区域与模糊区域根据标注图像的分辨率进行判断，当图像一个区域内的分辨率高于标注图像，则判断为清晰区域，图像一个区域内的分辨率低于标注图像，则判断为模糊区域。

标准图像是在特殊的机构、光源下获取的产品在相同视场下的清晰图像。利用网络学习，输入原图像，因为是一个回归网络，故输出也是一个图像，但这个图像已经经过标准图像校正。因此可以通过学习网络完成整个图像的学习。

S50：获取完成学习后的第四图像组，选取图像组内的每组图片每个区域内分辨率最高的的一块区域，将所有分辨率最高的区域进行拼接，得到最终产品图。

具体地，先把固定大小区域分成n*m小块，然后k张图像每一张都分割成n*m块，对n*m块进行遍历，坐标区域相同的取k张图像中哪一块最清晰的，拼接后平滑处理，形成一张最终的清晰图。

本申请对一组在同样视场范围下具有不同焦点的图像进行边缘特征提取和图像增强，然后将增强的图像组在频域和时域上分别进行特征提取和坐标信息提取，结合标注的时序把多个图像进行叠加组合，再对叠加生成的图像进行构建高斯金字塔，输入至学习网络中，对清晰区域和模糊区域分别进行监督学习，使得每个区域的特征不会丢失，根据标准图像设定阈值，判读图像区域为清晰还是模糊，完成学习后，选取每张图片最清晰的区域进行拼接，得到各部位都清楚的最终产品图。

本申请通过将图像在频域和时域上分别进行特征提取和坐标信息，对图像进行区间划分，并为各区域标注了时序，一方面使用lstm时序网络，将各种间接关联的区域进行运算，只要将小波分析出的特征导入到模型，模型将计算各种组合关系，另一方面通过对多张图像分别进行叠加组合，扩充了图像组，从而解决数据资源过少的问题，提升了算法的鲁棒性。解决了检测与识别准确率偏低、关键检测项灵敏度不够的问题。

在另一个具体的实施例中，步骤S30具体包括：

将第三图像组的每一张图像划分为N*M块，其中N和M分别为横向和纵向的分割数，并计算每一小块的Laplacian梯度，或，Tenengrad梯度，构建成N*M梯度数组。

N、M是认为设定的分块数，根据具体场景设置，保证每个区域内有目标物品。

预设可视化参数W0，可视参数用于确定高斯金字塔的层数。

金字塔层数LayerCount，主要受两个因素影响，一是图像分辨率大小，越大层数需要越大，二是产品焦点特征，变化区域越多层数需要越大，通过可视化参数确定高斯金字塔的层数。

根据第三图像组的每一张图像通过递归构建高斯金字塔，对高斯金字塔的每一层特征层使用不同的小波算子提取频域特征，并计算高斯金字塔扩张过程每一层对应的Laplacian金字塔，并计算高斯金字塔与Laplacian金字塔的差值；若分层后，图像的可视化参数W1仍然大于W0，继续往下分层，否则停止分层。

分层结束后，根据每一层对应的高斯金字塔与Laplacian金字塔的差值和每一层提取的频域特征还原图像，得到第四图像组。

高斯金字塔的作用是滤除一些非必要的特征与噪声，通过设置不同的卷积核，可以滤除不同的噪声。

在另一个实施例中，在构建高斯金字塔的过程中，还包括计算每一层经过高斯滤波后的损失值，根据所有的损失值计算梯度损失函数。

根据损失函数，来获取高斯金字塔的过程中对图像的滤波效果。

在另一个实施例中，可视化参数W0的确定公式如下：

W0=W/L

其中W是图像分辨率衡量指标，L是设定的金字塔层数。W为图像的长，或，宽，或周长。

在另一个实施例中采用的高斯金字塔的构建方式还包括空洞卷积构建。

空洞卷积对每行每列都有相关计算数据，避免了构建高斯金字塔的过程中由于行列缺失而导致的块状噪声。

在另一个实施例中，若完成学习后的第四图像组的图片出现明显不连续的块状物，则需要增多原始图像组的数据集并重新开始对图像进行处理。

使用特征检测查找块状噪声，三张以上图像对比，在同一位置如果存在两个值（图像1-图像2=d1，图像2-图像3=d2），如果d1=d2是固有物，否则即为噪声。若存在明显不连续的块状物，则表明该处的边缘特征并未被提取出来，即图像数据中未存在焦点位于于该处的图像，因此需要对原始图像组进行扩张，获取到该处的清晰图像。

结合图2，本申请还提供一种实现基于特征金字塔的图像融合方法的装置400，其包括如下部分。

401：频域变换模块：用于获取原始图像组，获取图像边缘特征以及增强高反差图像，以获取的增强高反差图像作为第二图像组。所述原始图像组是由多张在相同视场范围下，不同焦点拍摄的图像组成的。

402：图像融合模块：用于将第二图像组进行频率变换，通过小波变化提取所有图像的Blob信息；计算第二图像组的方向梯度矩阵，依次获取第二图像组中的图像数据，根据对应图像的方向梯度矩阵和以及对应的坐标信息提取对应的第一目标区域，直至所有图像完成提取；获取最优匹配区域，确定对齐区域；对齐区域根据特性选取，其匹配系数高于设定的系数P；根据对齐区域与第二图像组中的每张图像的各个梯度区域进行匹配，获得各个相关区；设定像素数目l,每个区域边界向内延伸l像素，形成一个环形区域，根据邻近的环形区，计算边缘、孔洞、灰度信息，找出真实的对齐区；对上述图像进行组合，得到第三图像组；

403：高斯金字塔模块：用于根据第三图像组，构建高斯金字塔，对第三图像组进行特征和信息滤除，得到第四图像组。

404：模板学习模块：用于将第四图像组和一个标注图像输入至学习网络中，对每张图像中的清晰区域和模糊区域分别进行学习；清晰区域与模糊区域根据标注图像的分辨率进行判断，当图像一个区域内的分辨率高于标注图像，则判断为清晰区域，图像一个区域内的分辨率低于标注图像，则判断为模糊区域；

405：图像拼接模块：用于获取完成学习后的第四图像组，选取图像组内的每组图片每个区域内分辨率最高的的一块区域 ，将所有分辨率最高的区域进行拼接，得到最终产品图。

在另一个实施例中，高斯金字塔模块还包括：

图像分块单元：用于将第三图像组的每一张图像划分为N*M块，其中N和M分别为横向和纵向的分割数，并计算每一小块的Laplacian梯度，或，Tenengrad梯度，构建成N*M梯度数组。N、M是认为设定的分块数，根据具体场景设置，保证每个区域内有目标物品。

参数预设单元：用于预设可视化参数W0，可视参数用于确定高斯金字塔的层数。

层数确定单元：用于金字塔层数LayerCount，主要受两个因素影响，一是图像分辨率大小，越大层数需要越大，二是产品焦点特征，变化区域越多层数需要越大，通过可视化参数确定高斯金字塔的层数。

构建单元：用于根据第三图像组的每一张图像通过递归构建高斯金字塔，对高斯金字塔的每一层特征层使用不同的小波算子提取频域特征，并计算高斯金字塔扩张过程每一层对应的Laplacian金字塔，并计算高斯金字塔与Laplacian金字塔的差值；若分层后，图像的可视化参数W1仍然大于W0，继续往下分层，否则停止分层。

图像复原单元：用于分层结束后，根据每一层对应的高斯金字塔与Laplacian金字塔的差值和每一层提取的频域特征还原图像，得到第四图像组。

在另一个实施例中，高斯金字塔模块还包括：

损失函数单元：用于根据每一层对应的高斯金字塔与Laplacian金字塔的差值和每一层提取的频域特征还原图像，得到第四图像组。

如图3所示，图3是本申请实施例根据一示例性实施例示出的一种计算机设备的结构框图。所述计算机设备包括处理器910和存储器920。该主控芯片中处理器910的数量可以是一个或者多个，图3中以一个处理器910为例。该主控芯片中存储器920的数量可以是一个或者多个，图3中以一个存储器920为例。

存储器920作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例任意实施例所述的一种基于特征金字塔的图像融合方法程序，以及本申请实施例任意实施例所述的一种基于特征金字塔的图像融合方法对应的程序指令/模块。存储器920可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器920可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器920可进一步包括相对于处理器910远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器910通过运行存储在存储器920中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述任一实施例所记载的一种基于特征金字塔的图像融合方法。

本申请实施例还提供了一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现上述任意一个实施例所述的一种基于特征金字塔的图像融合方法。

本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可读储存介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其它数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其它类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其它内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其它光学存储、磁盒式磁带，磁带磁磁盘存储或其它磁性存储设备或任何其它非传输介质，可用于存储可以被计算设备访问的信息。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，则本发明也意图包含这些改动和变形。

Claims (9)

1.一种基于特征金字塔的图像融合方法，其特征在于，包括如下步骤：

获取原始图像组，获取图像边缘特征以及增强高反差图像，以获取的增强高反差图像作为第二图像组，所述原始图像组是由多张在相同视场范围下，不同焦点拍摄的图像组成的；

将所述第二图像组中的每一张图像进行频率变换，通过小波变化提取所有图像的Blob信息；计算第二图像组的方向梯度矩阵，依次获取第二图像组中的图像数据，根据对应图像的方向梯度矩阵和以及对应的坐标信息提取对应的第一目标区域，直至所有图像完成提取；获取最优匹配区域，确定对齐区域；所述对齐区域根据特性选取，其匹配系数高于设定的系数P；根据对齐区域与第二图像组中的每张图像的各个梯度区域进行匹配，获得第二图像组中每一张图像的相关区；对所述第二图像组中每一张图像设定像素数目l，每个区域边界向内延伸l像素，形成一个环形区域，根据邻近的环形区，计算边缘、孔洞、灰度信息，找出第二图像组中每一张图像的真实的对齐区；对第二图像组中每一张图像的相关区和真实的对齐区进行组合，得到第三图像组；

根据第三图像组，构建高斯金字塔，对第三图像组进行特征和信息滤除，得到第四图像组；

将所述第四图像组和一个标注图像输入至学习网络中，对每张图像中的清晰区域和模糊区域分别进行学习；所述清晰区域与模糊区域根据标注图像的分辨率进行判断，当图像一个区域内的分辨率高于标注图像，则判断为清晰区域，图像一个区域内的分辨率低于标注图像，则判断为模糊区域；

获取完成学习后的第四图像组，选取图像组内的每组图片每个区域内分辨率最高的一块区域，将所有分辨率最高的区域进行拼接，得到最终产品图。

2.根据权利要求1所述的一种基于特征金字塔的图像融合方法，其特征在于，根据第三图像组，构建高斯金字塔，对第三图像组进行特征和信息滤除，得到第四图像组包括：

将所述第三图像组的每一张图像划分为N*M块，其中N和M分别为横向和纵向的分割数，并计算每一小块的Laplacian梯度，或，Tenengrad梯度，构建成N*M梯度数组；

预设一初始可视化参数W0，所述初始可视参数W0用于确定高斯金字塔的层数；

根据第三图像组的每一张图像通过递归构建高斯金字塔，对高斯金字塔的每一层特征层使用不同的小波算子提取频域特征，并计算高斯金字塔扩张过程每一层对应的Laplacian金字塔，并计算高斯金字塔与Laplacian金字塔的差值，并计算扩张后的图像的当前可视化参数W1；若分层后，图像的当前可视化参数W1仍然大于W0，继续往下分层，否则停止分层；

分层结束后，根据每一层对应的高斯金字塔与Laplacian金字塔的差值和每一层提取的频域特征还原图像，得到第四图像组。

3.根据权利要求2所述的一种基于特征金字塔的图像融合方法，其特征在于：

在构建高斯金字塔的过程中，还包括计算每一层经过高斯滤波后的损失值，根据所有的损失值计算梯度损失函数。

4.根据权利要求3所述的一种基于特征金字塔的图像融合方法，其特征在于：

所述初始可视化参数W0的确定公式如下：

W0=W/L

W是图像分辨率衡量指标，L是设定的金字塔层数。

5.根据权利要求4所述的一种基于特征金字塔的图像融合方法，其特征在于：

高斯金字塔的构建方式还包括空洞卷积构建。

6.根据权利要求1至5任一项所述的一种基于特征金字塔的图像融合方法，其特征在于：

若完成学习后的第四图像组的图片出现明显不连续的块状物，则需要增多所述原始图像组的数据集并重新开始对图像进行处理。

7.一种实现基于特征金字塔的图像融合方法的装置，其特征在于，包括：

频域变换模块：用于获取原始图像组，获取图像边缘特征以及增强高反差图像，以获取的增强高反差图像作为第二图像组，所述原始图像组是由多张在相同视场范围下，不同焦点拍摄的图像组成的；

图像融合模块：用于将所述第二图像组中的每一张图像进行频率变换，通过小波变化提取所有图像的Blob信息；计算第二图像组的方向梯度矩阵，依次获取第二图像组中的图像数据，根据对应图像的方向梯度矩阵和以及对应的坐标信息提取对应的第一目标区域，直至所有图像完成提取；获取最优匹配区域，确定对齐区域；所述对齐区域根据特性选取，其匹配系数高于设定的系数P；根据对齐区域与第二图像组中的每张图像的各个梯度区域进行匹配，获得第二图像组中每一张图像的相关区；对所述第二图像组中每一张图像设定像素数目l,每个区域边界向内延伸l像素，形成一个环形区域，根据邻近的环形区，计算边缘、孔洞、灰度信息，找出第二图像组中每一张图像的真实的对齐区；第二图像组中每一张图像的相关区和真实的对齐区，得到第三图像组；

高斯金字塔模块：用于根据第三图像组，构建高斯金字塔，对第三图像组进行特征和信息滤除，得到第四图像组；

模板学习模块：用于将所述第四图像组和一个标注图像输入至学习网络中，对每张图像中的清晰区域和模糊区域分别进行学习；所述清晰区域与模糊区域根据标注图像的分辨率进行判断，当图像一个区域内的分辨率高于标注图像，则判断为清晰区域，图像一个区域内的分辨率低于标注图像，则判断为模糊区域；

图像拼接模块：用于获取完成学习后的第四图像组，选取图像组内的每组图片每个区域内分辨率最高的一块区域，将所有分辨率最高的区域进行拼接，得到最终产品图。

8.一种计算机设备，其特征在于，包括：

至少一个存储器以及至少一个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1至6任一项所述的一种基于特征金字塔的图像融合方法的步骤。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的一种基于特征金字塔的图像融合方法的步骤。

Images