CN113012087B - 基于卷积神经网络的图像融合方法 - Google Patents

基于卷积神经网络的图像融合方法 Download PDF

Info

Publication number
CN113012087B
CN113012087B CN202110347270.XA CN202110347270A CN113012087B CN 113012087 B CN113012087 B CN 113012087B CN 202110347270 A CN202110347270 A CN 202110347270A CN 113012087 B CN113012087 B CN 113012087B
Authority
CN
China
Prior art keywords
convolution kernel
sampling layer
sampling
data
output data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110347270.XA
Other languages
English (en)
Other versions
CN113012087A (zh
Inventor
梁毅雄
程海涛
刘晴
刘剑锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202110347270.XA priority Critical patent/CN113012087B/zh
Publication of CN113012087A publication Critical patent/CN113012087A/zh
Application granted granted Critical
Publication of CN113012087B publication Critical patent/CN113012087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明公开了一种基于卷积神经网络的图像融合方法，包括获取训练数据集；构建基于卷积神经网络的图像融合模型并训练得到图像融合模型；将待融合的两张图像输入到图像融合模型中完成图像的融合。本发明将图像配准和图像融合过程在一个网络中进行训练，并共享编码器，从而减少了网络参数，加速了网络的训练过程；同时设计了一种DenseBlock结构，使得特征提取过程更为精确和可靠；最后采用配准解码器网络和跳跃连接的方式，使得网络的最后输出的变形场能够捕获到浅层网络的特征信息，并且能够和深层网络特征进行融合；因此，本发明方法的可靠性高、实用性好且精确性较好。

Description

基于卷积神经网络的图像融合方法
技术领域
本发明属于图像处理领域，具体涉及一种基于卷积神经网络的图像融合方法。
背景技术
随着经济技术的发展，图像处理技术已经得到了广泛应用。而在进行图像处理时，经常涉及到图像的融合过程。图像融合后，融合后的图像既能够保持原图像中的重要信息，又能够反映出新增加的图像的信息的变换；因此，融合后的图像往往结合了来自多个图像的互补信息和冗余信息，能够提供更为丰富的数据信息。
目前随着人工智能算法的普及，人工智能算法(比如卷积神经网络算法)也已经广泛应用于图像融合领域。但是，目前的基于人工智能算法的图像融合技术，一般是先训练图像配准网络并用于图像配准，然后再将配准后的图像进行图像融合网络训练，再进行图像融合。但是，明显的，现有的基于人工智能算法的图像融合技术，其训练过程较为繁琐，而且可靠性和精确性都不高。
发明内容
本发明的目的在于提供一种可靠性高、实用性好且精确性较好的基于卷积神经网络的图像融合方法。
本发明提供的这种基于卷积神经网络的图像融合方法，包括如下步骤：
S1.获取训练数据集；
S2.构建基于卷积神经网络的图像融合模型；
S3.采用步骤S1获取的训练数据集，对步骤S2构建的基于卷积神经网络的图像融合模型进行训练，从而得到图像融合模型；
S4.将待融合的两张图像输入到步骤S3得到的图像融合模型中，完成图像的融合。
步骤S1所述的训练数据集，具体包括浮动图像和参考图像。
步骤S2所述的构建基于卷积神经网络的图像融合模型，具体为基于卷积神经网络的图像融合模型采用如下步骤进行图像融合：
A.将浮动图像和参考图像输入到编码器网络中进行编码和特征提取；
B.将步骤A提取到的特征进行串接，并将串接后的特征输入到配准解码器网络，从而得到配准参数；
C.利用步骤B得到的配准参数，对浮动图像进行变换；
D.将变换后的浮动图像输入到编码器网络进行编码；
E.将步骤D得到的编码后的变换浮动图像与步骤A得到的编码后的参考图像输入到融合层进行融合；
F.将步骤E得到的融合后的数据输入到重构解码器网络中，从而得到最终的融合后的图像。
步骤A所述的编码器网络中，具体为采用DenseBlock结构作为编码器网络。
所述的DenseBlock结构包括第一卷积核、第二卷积核和第三卷积核；第一卷积核、第二卷积核和第三卷积核依次串接；第一卷积核的大小为16*16*3*3*3；第二卷积核的大小为32*16*3*3*3；第三卷积核的大小为48*16*3*3*3；上述卷积核的参数定义为输入通道数*输出通道数*长*宽*高；第一卷积核的输入数据同时输入到第二卷积核的输入端、第三卷积核的输入端和第三卷积核的输出端；第一卷积核的输出数据同时输入到第三卷积核的输入端和第三卷积核的输出端；第二卷积核的输出数据输入到第三卷积核的输出端；第三卷积核的输出数据与第一卷积核的输入数据、第一卷积核的输出数据和第二卷积核的输出数据融合后，作为最终的DenseBlock结构的输出数据。
步骤B所述的将步骤A提取到的特征进行串接，具体为将步骤A提取到的特征直接进行串接，从而实现特征的融合。
步骤B所述的配准解码器网络，具体为采用类似U-net的结构作为配准解码器网络。
所述的配准解码器网络，具体包括上采样模块和下采样模块；下采样模块包括第一下采样层、第二下采样层、第三下采样层和第四下采样层；上采样模块包括第一上采样层、第二上采样层、第三上采样层和第四上采样层；下采样模块的输入数据通过第一下采样层进行下采样后缩小1/2，第一下采样层的输出数据输入到第二下采样层，同时第一下采样层的输出数据也和第三上采样层的输出数据进行串接；第二下采样层将接收到的数据进行下采样后缩小1/2，第二下采样层的输出数据输入到第三下采样层，同时第二下采样层的输出数据也和第二上采样层的输出数据进行串接；第三下采样层将接收到的数据进行下采样后缩小1/2，第三下采样层的输出数据输入到第四下采样层，同时第三下采样层的输出数据也和第一上采样层的输出数据进行串接；第四下采样层将接收到的数据进行下采样后缩小1/2，并将数据输出到第一上采样层；第一上采样层将第四下采样层的输出数据进行上采样后放大两倍；第二上采样层将第一上采样层的输出数据和第三下采样的数据进行上采样后放大两倍；第二上采样层将第一上采样层的输出数据和第二下采样层得到的数据进行上采样后放大两倍；第三上采样层将第二上采样层的输出数据和第一下采样层得到的数据进行上采样后放大两倍；第四上采样层将第三上采样层的输出数据进行上采样后放大两倍；最后经过卷积层操作，从而得到最终的配准解码器网络的输出。
所述的配准解码器网络，具体为下采样过程中，每个卷积核的大小为3*3*3，每次卷积操作后，均进行池化操作，具体为LeakyRelu；然后在上采样过程中，采用反卷积操作，并且每次反卷积之后，加上LeakyRelu的池化操作。
步骤E所述的将步骤D得到的编码后的变换浮动图像与步骤A得到的编码后的参考图像输入到融合层进行融合，具体为采用如下算式进行融合：
Figure BDA0003001176840000041
式中Ffused(x,y)为融合后的数据；Ef(x,y)为步骤A得到的编码后的参考图像；
Figure BDA0003001176840000042
为步骤D得到的编码后的变换浮动图像。
步骤F所述的重构解码器网络，具体包括第一卷积核、第二卷积核、第三卷积核和第四卷积核；第一卷积核、第二卷积核、第三卷积核和第四卷积核依次串联；第一卷积核的大小为64*64*3*3*3；第二卷积核的大小为64*32*3*3*3；第三卷积核的大小为32*16*3*3*3；第三卷积核的大小为16*1*3*3*3；参数定义为卷积核的输入通道数*输出通道数*长*宽*高。
步骤S3所述的训练，具体为将图像配准和图像融合进行联合训练，同时在训练时，采用如下损失函数进行训练：
Figure BDA0003001176840000043
式中Loss为损失函数；α、β和γ均为超参数；Lsim(.)为相似性度量函数，其中相似性度量函数采用NCC；Lsmo(.)为正则化项；F为输入的参考图像；
Figure BDA0003001176840000044
为采用配准参数对浮动图像进行变换的结果；FD为重构编码器输出的图像；φ为配准参数，也即变形场。
本发明提供的这种基于卷积神经网络的图像融合方法，将图像配准和图像融合过程在一个网络中进行训练，并共享编码器，从而减少了网络参数，加速了网络的训练过程；同时设计了一种DenseBlock结构，使得特征提取过程更为精确和可靠；最后采用配准解码器网络和跳跃连接的方式，使得网络的最后输出的变形场能够捕获到浅层网络的特征信息，并且能够和深层网络特征进行融合；因此，本发明方法的可靠性高、实用性好且精确性较好。
附图说明
图1为本发明方法的方法流程示意图。
图2为本发明方法的配准及融合流程示意图。
图3为本发明方法的Denseblock结构的结构示意图。
图4为本发明方法的配准解码器网络的结构示意图。
图5为本发明方法的重构解码器网络的结构示意图。
具体实施方式
如图1所示为本发明方法的方法流程示意图，图2则为本发明方法的配准及融合流程示意图：本发明提供的这种基于卷积神经网络的图像融合方法，包括如下步骤：
S1.获取训练数据集；具体包括浮动图像和参考图像；
在具体实施时，如果针对肝脏图像进行融合，则采用的训练数据集包括CT图像和MRI图像，CT图像包括SLIVER数据集、LITS数据集和LSPIG数据集；MRI图像则包括ADNI数据集、ABIDE数据集、ADHD数据集和LPBA数据集；
S2.构建基于卷积神经网络的图像融合模型；具体为基于卷积神经网络的图像融合模型采用如下步骤进行图像融合：
A.将浮动图像和参考图像输入到编码器(图2中标示Shared Encoder)网络中进行编码和特征提取；具体为采用DenseBlock结构作为编码器网络；
在具体实施时，DenseBlock结构(如图3所示)包括第一卷积核、第二卷积核和第三卷积核；第一卷积核、第二卷积核和第三卷积核依次串接；第一卷积核的大小为16*16*3*3*3；第二卷积核的大小为32*16*3*3*3；第三卷积核的大小为48*16*3*3*3；卷积核参数定义为输入通道数*输出通道数*长*宽*高；第一卷积核的输入数据同时输入到第二卷积核的输入端、第三卷积核的输入端和第三卷积核的输出端；第一卷积核的输出数据同时输入到第三卷积核的输入端和第三卷积核的输出端；第二卷积核的输出数据输入到第三卷积核的输出端；第三卷积核的输出数据与第一卷积核的输入数据、第一卷积核的输出数据和第二卷积核的输出数据融合后，作为最终的DenseBlock结构的输出数据；
B.将步骤A提取到的特征进行融合(可以直接进行串接)，并将融合后的特征输入到配准解码器网络，从而得到配准参数；
在具体实施时，配准解码器(图2中标示Registration Decoder)网络采用L类似U-net网络结构作为配准解码器网络；具体包括上采样模块和下采样模块；下采样模块包括第一下采样层、第二下采样层、第三下采样层和第四下采样层；上采样模块包括第一上采样层、第二上采样层、第三上采样层和第四上采样层；下采样模块的输入数据通过第一下采样层进行下采样后缩小1/2，第一下采样层的输出数据输入到第二下采样层，同时第一下采样层的输出数据也和第三上采样层的输出数据进行串接；第二下采样层将接收到的数据进行下采样后缩小1/2，第二下采样层的输出数据输入到第三下采样层，同时第二下采样层的输出数据也和第二上采样层的输出数据进行串接；第三下采样层将接收到的数据进行下采样后缩小1/2，第三下采样层的输出数据输入到第四下采样层，同时第三下采样层的输出数据也和第一上采样层的输出数据进行串接；第四下采样层将接收到的数据进行下采样后缩小1/2，并将数据输出到第一上采样层；第一上采样层将第四下采样层的输出数据进行上采样后放大两倍；第二上采样层将第一上采样层的输出数据和第三下采样的数据进行上采样后放大两倍；第二上采样层将第一上采样层的输出数据和第二下采样层得到的数据进行上采样后放大两倍；第三上采样层将第二上采样层的输出数据和第一下采样层得到的数据进行上采样后放大两倍；第四上采样层将第三上采样层的输出数据进行上采样后放大两倍；最后经过卷积层操作，从而得到最终的配准解码器网络的输出；
同时，在下采样过程中，每个卷积核的大小为3*3*3，每次卷积操作后，均进行池化操作，具体为LeakyRelu；然后在上采样过程中，采用反卷积操作，并且每次反卷积之后，加上LeakyRelu的池化操作；
C.利用步骤B得到的配准参数，对浮动图像进行变换；
D.将变换后的浮动图像输入到编码器网络进行编码；
E.将步骤D得到的编码后的变换浮动图像与步骤A得到的编码后的参考图像输入到融合层进行融合(图2中标示Fusion Layer)；具体为采用如下算式进行融合：
Figure BDA0003001176840000071
式中Ffused(x,y)为融合后的数据；Ef(x,y)为步骤A得到的编码后的参考图像；
Figure BDA0003001176840000072
为步骤D得到的编码后的变换浮动图像；
F.将步骤E得到的融合后的数据输入到重构解码器网络(图2中标示ReconstructDecoder)中，从而的得到最终的融合后的图像；
在具体实施时，重构解码器网络具体包括第一卷积核、第二卷积核、第三卷积核和第四卷积核；第一卷积核、第二卷积核、第三卷积核和第四卷积核依次串联；第一卷积核的大小为64*64*3*3*3；第二卷积核的大小为64*32*3*3*3；第三卷积核的大小为32*16*3*3*3；第三卷积核的大小为16*1*3*3*3；参数定义为卷积核的输入通道数*输出通道数*长*宽*高；
S3.采用步骤S1获取的训练数据集，对步骤S2构建的基于卷积神经网络的图像融合模型进行训练，从而得到图像融合模型；具体为将图像配准和图像融合进行联合训练，同时在训练时，采用如下损失函数进行训练：
Figure BDA0003001176840000081
式中Loss为损失函数；α、β和γ均为超参数；Lsim(.)为相似性度量函数；Lsmo(.)为正则化项；F为输入的参考图像；
Figure BDA0003001176840000082
为采用配准参数对浮动图像进行变换的结果；FD为重构编码器重构后得图像；φ为配准参数；
S4.将待融合的两张图像输入到步骤S3得到的图像融合模型中，完成图像的融合。

Claims (6)

1.一种基于卷积神经网络的图像融合方法，包括如下步骤：
S1.获取训练数据集；
S2.构建基于卷积神经网络的图像融合模型；具体为基于卷积神经网络的图像融合模型采用如下步骤进行图像融合：
A.将浮动图像和参考图像输入到编码器网络中进行编码和特征提取；
B.将步骤A提取到的特征进行融合，并将融合后的特征输入到配准解码器网络，从而得到配准参数；
所述的配准解码器网络，具体包括上采样模块和下采样模块；下采样模块包括第一下采样层、第二下采样层、第三下采样层和第四下采样层；上采样模块包括第一上采样层、第二上采样层、第三上采样层和第四上采样层；下采样模块的输入数据通过第一下采样层进行下采样后缩小1/2，第一下采样层的输出数据输入到第二下采样层，同时第一下采样层的输出数据也和第三上采样层的输出数据进行串接；第二下采样层将接收到的数据进行下采样后缩小1/2，第二下采样层的输出数据输入到第三下采样层，同时第二下采样层的输出数据也和第二上采样层的输出数据进行串接；第三下采样层将接收到的数据进行下采样后缩小1/2，第三下采样层的输出数据输入到第四下采样层，同时第三下采样层的输出数据也和第一上采样层的输出数据进行串接；第四下采样层将接收到的数据进行下采样后缩小1/2，并将数据输出到第一上采样层；第一上采样层将第四下采样层的输出数据进行上采样后放大两倍；第二上采样层将第一上采样层的输出数据和第三下采样的数据进行上采样后放大两倍；第二上采样层将第一上采样层的输出数据和第二下采样层得到的数据进行上采样后放大两倍；第三上采样层将第二上采样层的输出数据和第一下采样层得到的数据进行上采样后放大两倍；第四上采样层将第三上采样层的输出数据进行上采样后放大两倍；最后经过卷积层操作，从而得到最终的配准解码器网络的输出；
C.利用步骤B得到的配准参数，对浮动图像进行变换；
D.将变换后的浮动图像输入到编码器网络进行编码；
E.将步骤D得到的编码后的变换浮动图像与步骤A得到的编码后的参考图像输入到融合层进行融合；
F.将步骤E得到的融合后的数据输入到重构解码器网络中，从而的得到最终的融合后的图像；
所述的重构解码器网络，具体包括第一卷积核、第二卷积核、第三卷积核和第四卷积核；第一卷积核、第二卷积核、第三卷积核和第四卷积核依次串联；第一卷积核的大小为64*64*3*3*3；第二卷积核的大小为64*32*3*3*3；第三卷积核的大小为32*16*3*3*3；第三卷积核的大小为16*1*3*3*3；参数定义为卷积核的输入通道数*输出通道数*长*宽*高；
S3.采用步骤S1获取的训练数据集，对步骤S2构建的基于卷积神经网络的图像融合模型进行训练，从而得到图像融合模型；
S4.将待融合的两张图像输入到步骤S3得到的图像融合模型中，完成图像的融合。
2.根据权利要求1所述的基于卷积神经网络的图像融合方法，其特征在于步骤A所述的编码器网络，具体为采用DenseBlock结构作为编码器网络；DenseBlock结构包括第一卷积核、第二卷积核和第三卷积核；第一卷积核、第二卷积核和第三卷积核依次串接；第一卷积核的大小为16*16*3*3*3；第二卷积核的大小为32*16*3*3*3；第三卷积核的大小为48*16*3*3*3；参数定义为输入通道数*输出通道数*长*宽*高；第一卷积核的输入数据同时输入到第二卷积核的输入端、第三卷积核的输入端和第三卷积核的输出端；第一卷积核的输出数据同时输入到第三卷积核的输入端和第三卷积核的输出端；第二卷积核的输出数据输入到第三卷积核的输出端；第三卷积核的输出数据与第一卷积核的输入数据、第一卷积核的输出数据和第二卷积核的输出数据融合后，作为最终的DenseBlock结构的输出数据。
3.根据权利要求2所述的基于卷积神经网络的图像融合方法，其特征在于步骤B所述的将步骤A提取到的特征进行融合，具体为将步骤A提取到的特征直接进行串接，从而实现特征的融合。
4.根据权利要求3所述的基于卷积神经网络的图像融合方法，其特征在于所述的配准解码器网络，具体为下采样过程中，每个卷积核的大小为3*3*3，每次卷积操作后，均进行池化操作，具体为LeakyRelu；然后在上采样过程中，采用反卷积操作，并且每次反卷积之后，加上LeakyRelu的池化操作。
5.根据权利要求4所述的基于卷积神经网络的图像融合方法，其特征在于步骤E所述的将步骤D得到的编码后的变换浮动图像与步骤A得到的编码后的参考图像输入到融合层进行融合，具体为采用如下算式进行融合：
Figure FDA0003840219420000031
式中Ffused(x,y)为融合后的数据；Ef(x,y)为步骤A得到的编码后的参考图像；
Figure FDA0003840219420000032
为步骤D得到的编码后的变换浮动图像。
6.根据权利要求5所述的基于卷积神经网络的图像融合方法，其特征在于步骤S3所述的训练，具体为将图像配准和图像融合进行联合训练，同时在训练时，采用如下损失函数进行训练：
Figure FDA0003840219420000041
式中Loss为损失函数；α、β和γ均为超参数；Lsim(.)为相似性度量函数；Lsmo(.)为正则化项；F为输入的参考图像；
Figure FDA0003840219420000042
为采用配准参数对浮动图像进行变换的结果；FD为重构解码器的输出图像；φ为配准参数。
CN202110347270.XA 2021-03-31 2021-03-31 基于卷积神经网络的图像融合方法 Active CN113012087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110347270.XA CN113012087B (zh) 2021-03-31 2021-03-31 基于卷积神经网络的图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110347270.XA CN113012087B (zh) 2021-03-31 2021-03-31 基于卷积神经网络的图像融合方法

Publications (2)

Publication Number Publication Date
CN113012087A CN113012087A (zh) 2021-06-22
CN113012087B true CN113012087B (zh) 2022-11-04

Family

ID=76409684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110347270.XA Active CN113012087B (zh) 2021-03-31 2021-03-31 基于卷积神经网络的图像融合方法

Country Status (1)

Country Link
CN (1) CN113012087B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114630125B (zh) * 2022-03-23 2023-10-27 徐州百事利电动车业有限公司 基于人工智能与大数据的车辆图像压缩方法与系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103331A (zh) * 2017-04-01 2017-08-29 中北大学 一种基于深度学习的图像融合方法
CN107945109A (zh) * 2017-11-06 2018-04-20 清华大学 基于卷积网络的图像拼接方法及装置
CN108960345A (zh) * 2018-08-08 2018-12-07 广东工业大学 一种遥感图像的融合方法、系统及相关组件
CN109272024A (zh) * 2018-08-29 2019-01-25 昆明理工大学 一种基于卷积神经网络的图像融合方法
CN109754385A (zh) * 2019-01-11 2019-05-14 中南大学 未配准多聚焦图像的快速融合方法
CN109919887A (zh) * 2019-02-25 2019-06-21 中国人民解放军陆军工程大学 一种基于深度学习的无监督图像融合方法
CN110097528A (zh) * 2019-04-11 2019-08-06 江南大学 一种基于联合卷积自编码网络的图像融合方法
US10551845B1 (en) * 2019-01-25 2020-02-04 StradVision, Inc. Method and computing device for generating image data set to be used for hazard detection and learning method and learning device using the same
CN111008973A (zh) * 2018-10-05 2020-04-14 罗伯特·博世有限公司 用于对图像数据的语义分割的方法、人工神经网络和设备
CN111402306A (zh) * 2020-03-13 2020-07-10 中国人民解放军32801部队 一种基于深度学习的微光/红外图像彩色融合方法及系统
CN111986099A (zh) * 2020-06-30 2020-11-24 武汉大学 基于融合残差修正的卷积神经网络的耕地监测方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1313972C (zh) * 2003-07-24 2007-05-02 上海交通大学 基于滤波器组的图像融合方法
CN1282131C (zh) * 2003-07-24 2006-10-25 上海交通大学 基于不可分离小波框架的图像融合方法
US10325342B2 (en) * 2017-04-27 2019-06-18 Apple Inc. Convolution engine for merging interleaved channel data
CN110148206B (zh) * 2018-08-30 2023-10-27 杭州维聚科技有限公司 多空间的融合方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103331A (zh) * 2017-04-01 2017-08-29 中北大学 一种基于深度学习的图像融合方法
CN107945109A (zh) * 2017-11-06 2018-04-20 清华大学 基于卷积网络的图像拼接方法及装置
CN108960345A (zh) * 2018-08-08 2018-12-07 广东工业大学 一种遥感图像的融合方法、系统及相关组件
CN109272024A (zh) * 2018-08-29 2019-01-25 昆明理工大学 一种基于卷积神经网络的图像融合方法
CN111008973A (zh) * 2018-10-05 2020-04-14 罗伯特·博世有限公司 用于对图像数据的语义分割的方法、人工神经网络和设备
CN109754385A (zh) * 2019-01-11 2019-05-14 中南大学 未配准多聚焦图像的快速融合方法
US10551845B1 (en) * 2019-01-25 2020-02-04 StradVision, Inc. Method and computing device for generating image data set to be used for hazard detection and learning method and learning device using the same
CN109919887A (zh) * 2019-02-25 2019-06-21 中国人民解放军陆军工程大学 一种基于深度学习的无监督图像融合方法
CN110097528A (zh) * 2019-04-11 2019-08-06 江南大学 一种基于联合卷积自编码网络的图像融合方法
CN111402306A (zh) * 2020-03-13 2020-07-10 中国人民解放军32801部队 一种基于深度学习的微光/红外图像彩色融合方法及系统
CN111986099A (zh) * 2020-06-30 2020-11-24 武汉大学 基于融合残差修正的卷积神经网络的耕地监测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Convolutional Autoencoder-Based Multispectral Image Fusion;Azarang A et al;《IEEE Access》;20191231;全文 *
大交叠区域的三维网格的融合与拼接;邹北骥等;《电子学报》;20121231;第40卷(第05期);全文 *

Also Published As

Publication number Publication date
CN113012087A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN113362223B (zh) 基于注意力机制和双通道网络的图像超分辨率重建方法
CN109241972B (zh) 基于深度学习的图像语义分割方法
CN111353940B (zh) 一种基于深度学习迭代上下采样的图像超分辨率重建方法
CN111369565A (zh) 一种基于图卷积网络的数字病理图像的分割与分类方法
CN113240683B (zh) 基于注意力机制的轻量化语义分割模型构建方法
CN111402128A (zh) 一种基于多尺度金字塔网络的图像超分辨率重建方法
CN110930342A (zh) 一种基于彩色图引导的深度图超分辨率重建网络构建方法
CN111696035A (zh) 一种基于光流运动估计算法的多帧图像超分辨率重建方法
CN111861884A (zh) 一种基于深度学习的卫星云图超分辨率重建方法
CN115953303B (zh) 结合通道注意力的多尺度图像压缩感知重构方法及系统
CN113012087B (zh) 基于卷积神经网络的图像融合方法
CN110930306A (zh) 一种基于非局部感知的深度图超分辨率重建网络构建方法
CN103020940B (zh) 一种基于局部特征转换的人脸超分辨率重建方法
CN114821100B (zh) 基于结构组稀疏网络的图像压缩感知重建方法
CN112420170B (zh) 一种提高计算机辅助诊断系统图片分类准确度的方法
CN115511705A (zh) 一种基于可变形残差卷积神经网络的图像超分辨率重建方法
CN116797541A (zh) 一种基于Transformer的肺部CT图像超分辨率重建方法
CN116385454A (zh) 一种基于多阶段聚合的医学图像分割方法
CN112801866B (zh) 图像重建模型的生成方法、图像重建方法及相关设备
CN114862679A (zh) 基于残差生成对抗网络的单图超分辨率重建方法
CN114882047A (zh) 一种基于半监督与Transformers的医学图像分割方法及系统
CN114863104A (zh) 一种基于标签分布学习的图像分割方法
CN114596378A (zh) 一种稀疏角ct伪影去除的方法
CN113240589A (zh) 一种多尺度特征融合的图像去雾方法及系统
CN112634239A (zh) 一种基于深度学习的脑出血检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant