CN118195926B - 基于空间位置偏移感知的免配准多聚焦图像融合方法 - Google Patents
基于空间位置偏移感知的免配准多聚焦图像融合方法 Download PDFInfo
- Publication number
- CN118195926B CN118195926B CN202410616956.8A CN202410616956A CN118195926B CN 118195926 B CN118195926 B CN 118195926B CN 202410616956 A CN202410616956 A CN 202410616956A CN 118195926 B CN118195926 B CN 118195926B
- Authority
- CN
- China
- Prior art keywords
- image
- focus
- offset
- features
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 230000008447 perception Effects 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims 1
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Abstract
本发明涉及基于空间位置偏移感知的免配准多聚焦图像融合方法，属于图像融合技术领域、目标检测技术领域。本发明包括步骤：检测输入源图像的聚焦区域；将多聚焦图像对输入特征提取层，提取源图像特征；将源图像特征和聚焦检测结果输入空间位置偏移感知模块，获取偏移核大小以及各偏移核的概率；利用偏移核和偏移概率对待搬移图像的特征进行搬移，实现源图像特征空间位置的对齐。对齐后的特征经过重建解码层，计算对齐损失，优化空间偏移感知层；将搬移后的特征与基准图像的特征送入解码器，重建出无伪影的融合结果；计算融合损失，优化网络参数。本发明有效缓解了未配准图像融合产生的伪影问题，能够获取高质量的融合结果。
Description
技术领域
本发明涉及基于空间位置偏移感知的免配准多聚焦图像融合方法，属于图像融合、目标检测技术领域。
背景技术
由于光学镜头的景深限制，在景深范围内的物体能够清晰成像，而在景深范围之外的物体成像模糊。多聚焦图像融合则能打破景深限制，通过整合多幅同一场景聚焦位置不同的图像，得到一幅所有物体都清晰成像的全聚焦图像。这为下游的高级任务提供了有力的支持。但是，在现实场景中，由于摄像机位置有偏差或者是摄像机的抖动，很难得到两幅位置完全配准的多聚焦图像。直接融合这种未配准的图像，获得的融合图像中会存在大量的伪影。为了解决这个问题，现有的大部分方法均采用先配准后融合的策略。但是，采用这种策略实现融合，融合结果性能受配准算法影响。并且，现有的融合算法需要大量的计算资源。为了解决上述问题，设计了特征层面上的特征位置搬移，避免了先配准后融合策略带来的负面影响，提出了基于空间位置偏移感知的免配准多聚焦图像融合方法。
发明内容
为了解决上述问题，本发明提出了基于空间位置偏移感知的免配准多聚焦图像融合方法，设计了特征层面上的特征位置搬移，避免了先配准后融合策略带来的负面影响，提高多聚焦图像融合的性能，本发明利用空间位置偏移感知预测偏移大小，并生成对应的偏移核和偏移概率，在特征层面实现了偏移图像的对齐。
本发明的技术方案是：基于空间位置偏移感知的免配准多聚焦图像融合方法，所述方法的具体步骤如下：
步骤1：合成未配准的多聚焦图像训练数据集，并对数据进行预处理；
步骤2：将预处理后的多聚焦图像对输入聚焦检测网络，检测输入源图像的聚焦区域；
步骤3：计算聚焦检测损失，优化聚焦检测网络；
步骤4：将预处理后的多聚焦图像对输入特征提取层，提取源图像特征；
步骤5：将源图像特征和聚焦检测结果输入空间位置偏移感知模块，得到偏移核大小和每个偏移核的概率；
步骤6：利用偏移核和偏移概率对待搬移图像的特征进行搬移，实现源图像特征空间位置的对齐；对齐后的特征经过解码，计算对齐损失，优化空间位置偏移感知模块；
步骤7：将搬移后的特征与基准图像的特征送入解码器，重建出无伪影的融合结果；
步骤8：计算融合损失，优化网络参数。
进一步地，所述步骤1中，训练数据集的合成操作如下：从ILSVRC2012数据集上收
集全聚焦图像，通过OpenCV中的findContours函数为每幅图生成对应的二值掩码；随机生
成两组不相同的坐标，以该坐标为中心，从全聚焦图像中随机裁剪出两幅大小为256×256
的源图像、，以及裁出对应的掩码图像、；利用上述源图像及掩码图像构造
未配准图像对：
；
；
其中，表示高斯模糊操作，以作为基准，所以标签构造如下：
；
；
其中，为融合标签，为特征搬移后的对齐标签，在得到上述图像结果之
后，对其统一进行随机反转和随机旋转，还有归一化处理。
进一步地，所述步骤2中，具体操作如下：将预处理后的多聚焦图像对输入聚焦检测网络, 得到每幅预处理后的输入源图像的聚焦检测结果：
；
其中，表示聚焦检测网络，由卷积层、BN层和ReLU激活函数构成。
进一步地，所述步骤3中，计算聚焦检测损失，优化聚焦检测网络参数，聚焦损失的
计算通过二分类交叉熵损失实现，计算过程如下：
；
其中，代表第个输入，位置处聚焦特性的检测概率，
为其对应的标签，N表示训练时输入的每个批次的图片数量，H表示输入图像的高，W表示输
入图像的宽。
进一步地，所述步骤4中，为了提取源图像特征，将预处理后的源图像输入特征提取层，得到对应的源图像特征：
；
其中，表示残差特征提取层，利用残差结构提取更丰富的细节特征，残差提取
层由卷积层，ReLU激活层，BatchNorm层和跳跃连接组成。
进一步地，所述步骤5中，将源图像特征以及预测的聚焦检测结果输入空间位置偏移感知模块，该空间位置偏移感知模块根据输入对其偏移核大小及偏移概率进行预测：
其中，表示预测的偏移距离的大小，根据两幅图像的偏移大小不同，的取值可
能为1、3、5、7、9或11，根据值，生成的偏移核大小为，偏移核中除对应搬移位置处的
值为1，其他值均为0；当时，偏移核个数为1；当时，偏移核的个数为，表示位置处使用第个特征搬移核的概率，n表示用于特征
搬移的搬移核的个数，SOA表示空间位置偏移感知模块，由两个全连接层构成。
进一步地，所述步骤6中，以的位置作为基准，对的特征F2进行搬移向进行
位置对齐：
；
其中，表示卷积操作，Kj表示第j个特征搬移核，表示经过特征搬移之后的特
征，为了使网络具备对齐能力，将搬移特征经过重建网络重建为图像：
；
其中，为由残差块构成的重建网络，为了使空间位置偏移感知模块具备更准
确的偏移感知能力，通过计算对齐损失，对重建网络进行参数优化，对齐损失定义为：
；
其中，表示范数，为预训练好的VGG16网络，为特征搬移后的对齐
标签。
进一步地，所述步骤7中，将搬移之后的特征与另一幅图像的特征F1送入解码
器，重建出无伪影的融合结果：
；
为重建的融合结果。
进一步地，所述步骤8中计算融合损失，优化网络参数，其中，融合损失由内容损
失和纹理损失构成，定义为：
；
内容损失定义为：
；
纹理损失定义为：
；
其中，表示范数；表示Sobel算子提取梯度图，为融合标签，为重建
的融合结果。
本发明的有益效果是：
1、本发明利用空间位置偏移感知预测偏移大小，能够根据输入图像偏移的大小生成对应的搬移核，能够高效的利用计算资源；
2、本发明利用搬移核实现特征层面的搬移，与以往先配准后融合的方法不同，有效避免了配准步骤误差带来的负面影响；
3、本发明利用搬移后的特征进行融合，有效缓解了未配准图像融合产生的伪影问题，能够获取高质量的融合结果。
附图说明
下面将结合附图和详细实施方式对本发明进行详细说明，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图；
图1为本发明的流程结构示意图；
图2为本发明的网络整体结构图；
图3为本发明的部分特征搬移核示意图；
具体实施方式
实施例1：如图1-图3所示，基于空间位置偏移感知的免配准多聚焦图像融合方法，所述方法的具体步骤如下：
步骤1：合成未配准的多聚焦图像训练数据集，并对数据进行预处理；训练数据集
的合成操作如下：从ILSVRC2012数据集上收集1000幅全聚焦图像，通过OpenCV中的
findContours函数为每幅图生成对应的二值掩码；随机生成两组不相同的坐标，以该坐标
为中心，从全聚焦图像中随机裁剪出两幅大小为256×256的源图像、，以及裁出对应的
掩码图像、；利用上述源图像及掩码图像构造未配准图像对：
；
；
其中，表示高斯模糊操作，以作为基准，所以标签构造如下：
；
；
其中，为融合标签，为特征搬移后的对齐标签，在得到上述图像结果之
后，对其统一进行随机反转和随机旋转，还有归一化处理。
步骤2：将预处理后的多聚焦图像对输入聚焦检测网络，检测输入源图像的聚焦区域。具体操作如下：将预处理后的多聚焦图像对输入聚焦检测网络, 得到每幅预处理后的输入源图像的聚焦检测结果：
；
其中，表示聚焦检测网络，由卷积层、BN层和ReLU激活函数构成。
步骤3：计算聚焦检测损失，优化聚焦检测网络。聚焦损失的计算通过二分类交叉
熵损失实现，计算过程如下：
；
其中，代表第个输入，位置处聚焦特性的检测概率，
为其对应的标签，N表示训练时输入的每个批次的图片数量，H表示输入图像的高，W表示输
入图像的宽。
步骤4：将预处理后的多聚焦图像对输入特征提取层，提取源图像特征；将预处理后的源图像输入特征提取层，得到对应的源图像特征：
；
其中，表示残差特征提取层，利用残差结构提取更丰富的细节特征，残差提取
层由卷积层，ReLU激活层，BatchNorm层和跳跃连接组成。
步骤5：将源图像特征以及预测的聚焦检测结果输入空间位置偏移感知模块，该空间位置偏移感知模块根据输入对其偏移核大小及偏移概率进行预测：
其中，表示预测的偏移距离的大小，根据两幅图像的偏移大小不同，的取值可
能为1、3、5、7、9或11，根据值，生成的偏移核大小为，偏移核中除对应搬移位置处的
值为1，其他值均为0；当时，偏移核个数为1；当时，偏移核的个数为，表示位置处使用第个特征搬移核的概率，n表示用于特征
搬移的搬移核的个数，SOA表示空间位置偏移感知模块，由两个全连接层构成。
步骤6：利用偏移核和偏移概率对待搬移图像的特征进行搬移，实现源图像特征空间位置的对齐；对齐后的特征经过解码，计算对齐损失，优化空间位置偏移感知模块；
本方法以的位置作为基准，对的特征F2进行搬移向进行位置对齐：
；
其中，表示卷积操作，Kj表示第j个特征搬移核，表示经过特征搬移之后的特
征，为了使网络具备对齐能力，将搬移特征经过重建网络重建为图像：
；
其中，为由残差块构成的重建网络，为了使空间位置偏移感知模块具备更准
确的偏移感知能力，通过计算对齐损失，对重建网络进行参数优化，对齐损失定义为：
；
其中，表示范数，为预训练好的VGG16网络，为特征搬移后的对齐
标签。
步骤7：将搬移后的特征与基准图像的特征送入解码器，重建出无伪影的融合结果；
具体的，将搬移之后的特征与另一幅图像的特征F1送入解码器，重建出无伪影
的融合结果：
；
为重建的融合结果。
步骤8：计算融合损失，优化网络参数，其中，融合损失由内容损失和纹理
损失构成，定义为：
；
内容损失定义为：
；
纹理损失定义为：
；
其中，表示范数；表示Sobel算子提取梯度图，为融合标签，为重建
的融合结果。
进一步地，为验证本发明方法的有效性，本发明在公开数据集Lytro和MFI-WHU上评估了提出方法的性能。在此过程中，本发明方法模型在合成的数据集的训练集上进行训练，在经过偏移处理的数据集Lytro和MFI-WHU上进行测试。其中，训练集包含1000个图像对，验证集包含140个图像对。每个图像对由两幅聚焦区域不同的多聚焦图像构成。本发明算法是基于Pytorch1.12.1框架开发，训练过程部署在 NVIDIA GTX3090显卡(显存24G)上。在训练过程中，通过Adam优化器实现模型参数的优化。在整个训练过程中，Batch size的大小设置为4，初始的学习率为0.0001，且学习率通过余弦退火算法进行调整。整个训练过程共迭代1200轮。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (7)
1.基于空间位置偏移感知的免配准多聚焦图像融合方法，其特征在于：所述方法的具体步骤如下：
步骤1：合成未配准的多聚焦图像训练数据集，并对数据进行预处理；
步骤2：将预处理后的多聚焦图像对输入聚焦检测网络，检测输入源图像的聚焦区域；
步骤3：计算聚焦检测损失，优化聚焦检测网络；
步骤4：将预处理后的多聚焦图像对输入特征提取层，提取源图像特征；
步骤5：将源图像特征和聚焦检测结果输入空间位置偏移感知模块，得到偏移核大小和每个偏移核的概率；
步骤6：利用偏移核和偏移概率对待搬移图像的特征进行搬移，实现源图像特征空间位置的对齐；对齐后的特征经过解码，计算对齐损失，优化空间位置偏移感知模块；
步骤7：将搬移后的特征与基准图像的特征送入解码器，重建出无伪影的融合结果；
步骤8：计算融合损失，优化网络参数；
所述步骤5中，将源图像特征以及预测的聚焦检测结果输入空间位置偏移感知模块，该空间位置偏移感知模块根据输入对其偏移核大小及偏移概率进行预测：
；
其中，表示预测的偏移距离的大小，根据两幅图像的偏移大小不同，的取值为1、3、5、7、9或11，根据值，生成的偏移核大小为，偏移核中除对应搬移位置处的值为1，其他值均为0；当时，偏移核个数为1；当时，偏移核的个数为，表示位置处使用第个特征搬移核的概率，n表示用于特征搬移的搬移核的个数，SOA表示空间位置偏移感知模块，由两个全连接层构成；
所述步骤6中，以的位置作为基准，对的特征F2进行搬移向进行位置对齐：
；
其中，表示卷积操作，Kj表示第j个特征搬移核，表示经过特征搬移之后的特征，将搬移特征经过重建网络重建为图像：
；
其中，为由残差块构成的重建网络，通过计算对齐损失，对重建网络进行参数优化，对齐损失定义为：
；
其中，表示范数，为预训练好的VGG16网络，为特征搬移后的对齐标签。
2.根据权利要求1所述的基于空间位置偏移感知的免配准多聚焦图像融合方法，其特征在于，所述步骤1中，训练数据集的合成操作如下：从ILSVRC2012数据集上收集全聚焦图像，通过OpenCV中的findContours函数为每幅图生成对应的二值掩码；随机生成两组不相同的坐标，以该坐标为中心，从全聚焦图像中随机裁剪出两幅大小为256×256的源图像、，以及裁出对应的掩码图像、；利用上述源图像及掩码图像构造未配准图像对：
；
；
其中，表示高斯模糊操作，以作为基准，所以标签构造如下：
；
；
其中，为融合标签，为特征搬移后的对齐标签，在得到上述图像结果之后，对其统一进行随机反转和随机旋转，还有归一化处理。
3.根据权利要求1所述的基于空间位置偏移感知的免配准多聚焦图像融合方法，其特征在于，所述步骤2中，具体操作如下：将预处理后的多聚焦图像对输入聚焦检测网络, 得到每幅预处理后的输入源图像的聚焦检测结果：
；
其中，表示聚焦检测网络，由卷积层、BN层和ReLU激活函数构成。
4.根据权利要求1所述的基于空间位置偏移感知的免配准多聚焦图像融合方法，其特征在于，所述步骤3中，计算聚焦检测损失，优化聚焦检测网络参数，聚焦损失的计算通过二分类交叉熵损失实现，计算过程如下：
；
其中，代表第个输入，位置处聚焦特性的检测概率，为其对应的标签，N表示训练时输入的每个批次的图片数量，H表示输入图像的高，W表示输入图像的宽。
5.根据权利要求1所述的基于空间位置偏移感知的免配准多聚焦图像融合方法，其特征在于，所述步骤4中，为了提取源图像特征，将预处理后的源图像输入特征提取层，得到对应的源图像特征：
；
其中，表示残差特征提取层，残差提取层由卷积层，ReLU激活层，BatchNorm层和跳跃连接组成。
6.根据权利要求1所述的基于空间位置偏移感知的免配准多聚焦图像融合方法，其特征在于，所述步骤7中，将搬移之后的特征与另一幅图像的特征F1送入解码器，重建出无伪影的融合结果：
；
为重建的融合结果。
7.根据权利要求1所述的基于空间位置偏移感知的免配准多聚焦图像融合方法，其特征在于，所述步骤8中计算融合损失，优化网络参数，其中，融合损失由内容损失和纹理损失构成，定义为：
；
内容损失定义为：
；
纹理损失定义为：
；
其中，表示范数；表示Sobel算子提取梯度图，为融合标签，为重建的融合结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410616956.8A CN118195926B (zh) | 2024-05-17 | 基于空间位置偏移感知的免配准多聚焦图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410616956.8A CN118195926B (zh) | 2024-05-17 | 基于空间位置偏移感知的免配准多聚焦图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118195926A CN118195926A (zh) | 2024-06-14 |
| CN118195926B true CN118195926B (zh) | 2024-07-12 |
Family
ID=
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113822828A (zh) * | 2021-08-18 | 2021-12-21 | 吉林大学 | 一种多聚焦图像融合方法 |
| CN114627035A (zh) * | 2022-01-29 | 2022-06-14 | 南京邮电大学 | 一种多聚焦图像融合方法、系统、装置及存储介质 |
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113822828A (zh) * | 2021-08-18 | 2021-12-21 | 吉林大学 | 一种多聚焦图像融合方法 |
| CN114627035A (zh) * | 2022-01-29 | 2022-06-14 | 南京邮电大学 | 一种多聚焦图像融合方法、系统、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yan et al. | Attention-guided network for ghost-free high dynamic range imaging | |
| CN113658051A (zh) | 一种基于循环生成对抗网络的图像去雾方法及系统 | |
| CN111754446A (zh) | 一种基于生成对抗网络的图像融合方法、系统及存储介质 | |
| Cun et al. | Defocus blur detection via depth distillation | |
| CN111091503A (zh) | 基于深度学习的图像去失焦模糊方法 | |
| US20220414838A1 (en) | Image dehazing method and system based on cyclegan | |
| Zhang et al. | Deep motion blur removal using noisy/blurry image pairs | |
| CN111833282B (zh) | 一种基于改进的DDcGAN模型的图像融合方法 | |
| KS et al. | Deep multi-stage learning for hdr with large object motions | |
| CN114627035A (zh) | 一种多聚焦图像融合方法、系统、装置及存储介质 | |
| Liu et al. | Overview of image inpainting and forensic technology | |
| Yang et al. | Deep networks with detail enhancement for infrared image super-resolution | |
| Ren et al. | Unsupervised single image dehazing with generative adversarial network | |
| Dai et al. | Mipi 2023 challenge on nighttime flare removal: Methods and results | |
| Wang et al. | Image inpainting with edge-guided learnable bidirectional attention maps | |
| Saleem et al. | A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset | |
| Zheng et al. | DomainPlus: cross transform domain learning towards high dynamic range imaging | |
| Lai et al. | Generative focused feedback residual networks for image steganalysis and hidden information reconstruction | |
| CN115965844B (zh) | 基于视觉显著性先验知识的多聚焦图像融合方法 | |
| CN117058232A (zh) | 一种改进YOLOv8模型的养殖鱼群中鱼类目标个体的位置检测方法 | |
| CN118195926B (zh) | 基于空间位置偏移感知的免配准多聚焦图像融合方法 | |
| CN114119428B (zh) | 一种图像去模糊方法和装置 | |
| CN118195926A (zh) | 基于空间位置偏移感知的免配准多聚焦图像融合方法 | |
| Žižakić et al. | Efficient local image descriptors learned with autoencoders | |
| Tusher et al. | An enhanced variational autoencoder approach for the purpose of deblurring bangla license plate images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |