CN113012087A - 基于卷积神经网络的图像融合方法 - Google Patents
基于卷积神经网络的图像融合方法 Download PDFInfo
- Publication number
- CN113012087A CN113012087A CN202110347270.XA CN202110347270A CN113012087A CN 113012087 A CN113012087 A CN 113012087A CN 202110347270 A CN202110347270 A CN 202110347270A CN 113012087 A CN113012087 A CN 113012087A
- Authority
- CN
- China
- Prior art keywords
- convolution kernel
- sampling layer
- data
- output data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 30
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 18
- 230000004927 fusion Effects 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000005070 sampling Methods 0.000 claims description 122
- 238000011176 pooling Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 abstract description 4
- 230000009191 jumping Effects 0.000 abstract description 2
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 208000006096 Attention Deficit Disorder with Hyperactivity Diseases 0.000 description 1
- 208000036864 Attention deficit/hyperactivity disease Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于卷积神经网络的图像融合方法,包括获取训练数据集;构建基于卷积神经网络的图像融合模型并训练得到图像融合模型;将待融合的两张图像输入到图像融合模型中完成图像的融合。本发明将图像配准和图像融合过程在一个网络中进行训练,并共享编码器,从而减少了网络参数,加速了网络的训练过程;同时设计了一种DenseBlock结构,使得特征提取过程更为精确和可靠;最后采用配准解码器网络和跳跃连接的方式,使得网络的最后输出的变形场能够捕获到浅层网络的特征信息,并且能够和深层网络特征进行融合;因此,本发明方法的可靠性高、实用性好且精确性较好。
Description
技术领域
本发明属于图像处理领域,具体涉及一种基于卷积神经网络的图像融合方法。
背景技术
随着经济技术的发展,图像处理技术已经得到了广泛应用。而在进行图像处理时,经常涉及到图像的融合过程。图像融合后,融合后的图像既能够保持原图像中的重要信息,又能够反映出新增加的图像的信息的变换;因此,融合后的图像往往结合了来自多个图像的互补信息和冗余信息,能够提供更为丰富的数据信息。
目前随着人工智能算法的普及,人工智能算法(比如卷积神经网络算法)也已经广泛应用于图像融合领域。但是,目前的基于人工智能算法的图像融合技术,一般是先训练图像配准网络并用于图像配准,然后再将配准后的图像进行图像融合网络训练,再进行图像融合。但是,明显的,现有的基于人工智能算法的图像融合技术,其训练过程较为繁琐,而且可靠性和精确性都不高。
发明内容
本发明的目的在于提供一种可靠性高、实用性好且精确性较好的基于卷积神经网络的图像融合方法。
本发明提供的这种基于卷积神经网络的图像融合方法,包括如下步骤:
S1.获取训练数据集;
S2.构建基于卷积神经网络的图像融合模型;
S3.采用步骤S1获取的训练数据集,对步骤S2构建的基于卷积神经网络的图像融合模型进行训练,从而得到图像融合模型;
S4.将待融合的两张图像输入到步骤S3得到的图像融合模型中,完成图像的融合。
步骤S1所述的训练数据集,具体包括浮动图像和参考图像。
步骤S2所述的构建基于卷积神经网络的图像融合模型,具体为基于卷积神经网络的图像融合模型采用如下步骤进行图像融合:
A.将浮动图像和参考图像输入到编码器网络中进行编码和特征提取;
B.将步骤A提取到的特征进行串接,并将串接后的特征输入到配准解码器网络,从而得到配准参数;
C.利用步骤B得到的配准参数,对浮动图像进行变换;
D.将变换后的浮动图像输入到编码器网络进行编码;
E.将步骤D得到的编码后的变换浮动图像与步骤A得到的编码后的参考图像输入到融合层进行融合;
F.将步骤E得到的融合后的数据输入到重构解码器网络中,从而得到最终的融合后的图像。
步骤A所述的编码器网络中,具体为采用DenseBlock结构作为编码器网络。
所述的DenseBlock结构包括第一卷积核、第二卷积核和第三卷积核;第一卷积核、第二卷积核和第三卷积核依次串接;第一卷积核的大小为16*16*3*3*3;第二卷积核的大小为32*16*3*3*3;第三卷积核的大小为48*16*3*3*3;上述卷积核的参数定义为输入通道数*输出通道数*长*宽*高;第一卷积核的输入数据同时输入到第二卷积核的输入端、第三卷积核的输入端和第三卷积核的输出端;第一卷积核的输出数据同时输入到第三卷积核的输入端和第三卷积核的输出端;第二卷积核的输出数据输入到第三卷积核的输出端;第三卷积核的输出数据与第一卷积核的输入数据、第一卷积核的输出数据和第二卷积核的输出数据融合后,作为最终的DenseBlock结构的输出数据。
步骤B所述的将步骤A提取到的特征进行串接,具体为将步骤A提取到的特征直接进行串接,从而实现特征的融合。
步骤B所述的配准解码器网络,具体为采用类似U-net的结构作为配准解码器网络。
所述的配准解码器网络,具体包括上采样模块和下采样模块;下采样模块包括第一下采样层、第二下采样层、第三下采样层和第四下采样层;上采样模块包括第一上采样层、第二上采样层、第三上采样层和第四上采样层;下采样模块的输入数据通过第一下采样层进行下采样后缩小1/2,第一下采样层的输出数据输入到第二下采样层,同时第一下采样层的输出数据也和第三上采样层的输出数据进行串接;第二下采样层将接收到的数据进行下采样后缩小1/2,第二下采样层的输出数据输入到第三下采样层,同时第二下采样层的输出数据也和第二上采样层的输出数据进行串接;第三下采样层将接收到的数据进行下采样后缩小1/2,第三下采样层的输出数据输入到第四下采样层,同时第三下采样层的输出数据也和第一上采样层的输出数据进行串接;第四下采样层将接收到的数据进行下采样后缩小1/2,并将数据输出到第一上采样层;第一上采样层将第四下采样层的输出数据进行上采样后放大两倍;第二上采样层将第一上采样层的输出数据和第三下采样的数据进行上采样后放大两倍;第二上采样层将第一上采样层的输出数据和第二下采样层得到的数据进行上采样后放大两倍;第三上采样层将第二上采样层的输出数据和第一下采样层得到的数据进行上采样后放大两倍;第四上采样层将第三上采样层的输出数据进行上采样后放大两倍;最后经过卷积层操作,从而得到最终的配准解码器网络的输出。
所述的配准解码器网络,具体为下采样过程中,每个卷积核的大小为3*3*3,每次卷积操作后,均进行池化操作,具体为LeakyRelu;然后在上采样过程中,采用反卷积操作,并且每次反卷积之后,加上LeakyRelu的池化操作。
步骤E所述的将步骤D得到的编码后的变换浮动图像与步骤A得到的编码后的参考图像输入到融合层进行融合,具体为采用如下算式进行融合:
步骤F所述的重构解码器网络,具体包括第一卷积核、第二卷积核、第三卷积核和第四卷积核;第一卷积核、第二卷积核、第三卷积核和第四卷积核依次串联;第一卷积核的大小为64*64*3*3*3;第二卷积核的大小为64*32*3*3*3;第三卷积核的大小为32*16*3*3*3;第三卷积核的大小为16*1*3*3*3;参数定义为卷积核的输入通道数*输出通道数*长*宽*高。
步骤S3所述的训练,具体为将图像配准和图像融合进行联合训练,同时在训练时,采用如下损失函数进行训练:
式中Loss为损失函数;α、β和γ均为超参数;Lsim(.)为相似性度量函数,其中相似性度量函数采用NCC;Lsmo(.)为正则化项;F为输入的参考图像;为采用配准参数对浮动图像进行变换的结果;FD为重构编码器输出的图像;φ为配准参数,也即变形场。
本发明提供的这种基于卷积神经网络的图像融合方法,将图像配准和图像融合过程在一个网络中进行训练,并共享编码器,从而减少了网络参数,加速了网络的训练过程;同时设计了一种DenseBlock结构,使得特征提取过程更为精确和可靠;最后采用配准解码器网络和跳跃连接的方式,使得网络的最后输出的变形场能够捕获到浅层网络的特征信息,并且能够和深层网络特征进行融合;因此,本发明方法的可靠性高、实用性好且精确性较好。
附图说明
图1为本发明方法的方法流程示意图。
图2为本发明方法的配准及融合流程示意图。
图3为本发明方法的Denseblock结构的结构示意图。
图4为本发明方法的配准解码器网络的结构示意图。
图5为本发明方法的重构解码器网络的结构示意图。
具体实施方式
如图1所示为本发明方法的方法流程示意图,图2则为本发明方法的配准及融合流程示意图:本发明提供的这种基于卷积神经网络的图像融合方法,包括如下步骤:
S1.获取训练数据集;具体包括浮动图像和参考图像;
在具体实施时,如果针对肝脏图像进行融合,则采用的训练数据集包括CT图像和MRI图像,CT图像包括SLIVER数据集、LITS数据集和LSPIG数据集;MRI图像则包括ADNI数据集、ABIDE数据集、ADHD数据集和LPBA数据集;
S2.构建基于卷积神经网络的图像融合模型;具体为基于卷积神经网络的图像融合模型采用如下步骤进行图像融合:
A.将浮动图像和参考图像输入到编码器(图2中标示Shared Encoder)网络中进行编码和特征提取;具体为采用DenseBlock结构作为编码器网络;
在具体实施时,DenseBlock结构(如图3所示)包括第一卷积核、第二卷积核和第三卷积核;第一卷积核、第二卷积核和第三卷积核依次串接;第一卷积核的大小为16*16*3*3*3;第二卷积核的大小为32*16*3*3*3;第三卷积核的大小为48*16*3*3*3;卷积核参数定义为输入通道数*输出通道数*长*宽*高;第一卷积核的输入数据同时输入到第二卷积核的输入端、第三卷积核的输入端和第三卷积核的输出端;第一卷积核的输出数据同时输入到第三卷积核的输入端和第三卷积核的输出端;第二卷积核的输出数据输入到第三卷积核的输出端;第三卷积核的输出数据与第一卷积核的输入数据、第一卷积核的输出数据和第二卷积核的输出数据融合后,作为最终的DenseBlock结构的输出数据;
B.将步骤A提取到的特征进行融合(可以直接进行串接),并将融合后的特征输入到配准解码器网络,从而得到配准参数;
在具体实施时,配准解码器(图2中标示Registration Decoder)网络采用L类似U-net网络结构作为配准解码器网络;具体包括上采样模块和下采样模块;下采样模块包括第一下采样层、第二下采样层、第三下采样层和第四下采样层;上采样模块包括第一上采样层、第二上采样层、第三上采样层和第四上采样层;下采样模块的输入数据通过第一下采样层进行下采样后缩小1/2,第一下采样层的输出数据输入到第二下采样层,同时第一下采样层的输出数据也和第三上采样层的输出数据进行串接;第二下采样层将接收到的数据进行下采样后缩小1/2,第二下采样层的输出数据输入到第三下采样层,同时第二下采样层的输出数据也和第二上采样层的输出数据进行串接;第三下采样层将接收到的数据进行下采样后缩小1/2,第三下采样层的输出数据输入到第四下采样层,同时第三下采样层的输出数据也和第一上采样层的输出数据进行串接;第四下采样层将接收到的数据进行下采样后缩小1/2,并将数据输出到第一上采样层;第一上采样层将第四下采样层的输出数据进行上采样后放大两倍;第二上采样层将第一上采样层的输出数据和第三下采样的数据进行上采样后放大两倍;第二上采样层将第一上采样层的输出数据和第二下采样层得到的数据进行上采样后放大两倍;第三上采样层将第二上采样层的输出数据和第一下采样层得到的数据进行上采样后放大两倍;第四上采样层将第三上采样层的输出数据进行上采样后放大两倍;最后经过卷积层操作,从而得到最终的配准解码器网络的输出;
同时,在下采样过程中,每个卷积核的大小为3*3*3,每次卷积操作后,均进行池化操作,具体为LeakyRelu;然后在上采样过程中,采用反卷积操作,并且每次反卷积之后,加上LeakyRelu的池化操作;
C.利用步骤B得到的配准参数,对浮动图像进行变换;
D.将变换后的浮动图像输入到编码器网络进行编码;
E.将步骤D得到的编码后的变换浮动图像与步骤A得到的编码后的参考图像输入到融合层进行融合(图2中标示Fusion Layer);具体为采用如下算式进行融合:
F.将步骤E得到的融合后的数据输入到重构解码器网络(图2中标示ReconstructDecoder)中,从而的得到最终的融合后的图像;
在具体实施时,重构解码器网络具体包括第一卷积核、第二卷积核、第三卷积核和第四卷积核;第一卷积核、第二卷积核、第三卷积核和第四卷积核依次串联;第一卷积核的大小为64*64*3*3*3;第二卷积核的大小为64*32*3*3*3;第三卷积核的大小为32*16*3*3*3;第三卷积核的大小为16*1*3*3*3;参数定义为卷积核的输入通道数*输出通道数*长*宽*高;
S3.采用步骤S1获取的训练数据集,对步骤S2构建的基于卷积神经网络的图像融合模型进行训练,从而得到图像融合模型;具体为将图像配准和图像融合进行联合训练,同时在训练时,采用如下损失函数进行训练:
式中Loss为损失函数;α、β和γ均为超参数;Lsim(.)为相似性度量函数;Lsmo(.)为正则化项;F为输入的参考图像;为采用配准参数对浮动图像进行变换的结果;FD为重构编码器重构后得图像;φ为配准参数;
S4.将待融合的两张图像输入到步骤S3得到的图像融合模型中,完成图像的融合。
Claims (10)
1.一种基于卷积神经网络的图像融合方法,包括如下步骤:
S1.获取训练数据集;
S2.构建基于卷积神经网络的图像融合模型;
S3.采用步骤S1获取的训练数据集,对步骤S2构建的基于卷积神经网络的图像融合模型进行训练,从而得到图像融合模型;
S4.将待融合的两张图像输入到步骤S3得到的图像融合模型中,完成图像的融合。
2.根据权利要求1所述的基于卷积神经网络的图像融合方法,其特征在于步骤S2所述的构建基于卷积神经网络的图像融合模型,具体为基于卷积神经网络的图像融合模型采用如下步骤进行图像融合:
A.将浮动图像和参考图像输入到编码器网络中进行编码和特征提取;
B.将步骤A提取到的特征进行融合,并将融合后的特征输入到配准解码器网络,从而得到配准参数;
C.利用步骤B得到的配准参数,对浮动图像进行变换;
D.将变换后的浮动图像输入到编码器网络进行编码;
E.将步骤D得到的编码后的变换浮动图像与步骤A得到的编码后的参考图像输入到融合层进行融合;
F.将步骤E得到的融合后的数据输入到重构解码器网络中,从而的得到最终的融合后的图像。
3.根据权利要求2所述的基于卷积神经网络的图像融合方法,其特征在于步骤A所述的编码器网络,具体为采用DenseBlock结构作为编码器网络;DenseBlock结构包括第一卷积核、第二卷积核和第三卷积核;第一卷积核、第二卷积核和第三卷积核依次串接;第一卷积核的大小为16*16*3*3*3;第二卷积核的大小为32*16*3*3*3;第三卷积核的大小为48*16*3*3*3;参数定义为输入通道数*输出通道数*长*宽*高;第一卷积核的输入数据同时输入到第二卷积核的输入端、第三卷积核的输入端和第三卷积核的输出端;第一卷积核的输出数据同时输入到第三卷积核的输入端和第三卷积核的输出端;第二卷积核的输出数据输入到第三卷积核的输出端;第三卷积核的输出数据与第一卷积核的输入数据、第一卷积核的输出数据和第二卷积核的输出数据融合后,作为最终的DenseBlock结构的输出数据。
4.根据权利要求3所述的基于卷积神经网络的图像融合方法,其特征在于步骤B所述的将步骤A提取到的特征进行融合,具体为将步骤A提取到的特征直接进行串接,从而实现特征的融合。
5.根据权利要求4所述的基于卷积神经网络的图像融合方法,其特征在于步骤B所述的配准解码器网络,具体为采用类似U-net结构作为配准解码器网络。
6.根据权利要求5所述的基于卷积神经网络的图像融合方法,其特征在于所述的配准解码器网络,具体包括上采样模块和下采样模块;下采样模块包括第一下采样层、第二下采样层、第三下采样层和第四下采样层;上采样模块包括第一上采样层、第二上采样层、第三上采样层和第四上采样层;下采样模块的输入数据通过第一下采样层进行下采样后缩小1/2,第一下采样层的输出数据输入到第二下采样层,同时第一下采样层的输出数据也和第三上采样层的输出数据进行串接;第二下采样层将接收到的数据进行下采样后缩小1/2,第二下采样层的输出数据输入到第三下采样层,同时第二下采样层的输出数据也和第二上采样层的输出数据进行串接;第三下采样层将接收到的数据进行下采样后缩小1/2,第三下采样层的输出数据输入到第四下采样层,同时第三下采样层的输出数据也和第一上采样层的输出数据进行串接;第四下采样层将接收到的数据进行下采样后缩小1/2,并将数据输出到第一上采样层;第一上采样层将第四下采样层的输出数据进行上采样后放大两倍;第二上采样层将第一上采样层的输出数据和第三下采样的数据进行上采样后放大两倍;第二上采样层将第一上采样层的输出数据和第二下采样层得到的数据进行上采样后放大两倍;第三上采样层将第二上采样层的输出数据和第一下采样层得到的数据进行上采样后放大两倍;第四上采样层将第三上采样层的输出数据进行上采样后放大两倍;最后经过卷积层操作,从而得到最终的配准解码器网络的输出。
7.根据权利要求6所述的基于卷积神经网络的图像融合方法,其特征在于所述的配准解码器网络,具体为下采样过程中,每个卷积核的大小为3*3*3,每次卷积操作后,均进行池化操作,具体为LeakyRelu;然后在上采样过程中,采用反卷积操作,并且每次反卷积之后,加上LeakyRelu的池化操作。
9.根据权利要求8所述的基于卷积神经网络的图像融合方法,其特征在于步骤F所述的重构解码器网络,具体包括第一卷积核、第二卷积核、第三卷积核和第四卷积核;第一卷积核、第二卷积核、第三卷积核和第四卷积核依次串联;第一卷积核的大小为64*64*3*3*3;第二卷积核的大小为64*32*3*3*3;第三卷积核的大小为32*16*3*3*3;第三卷积核的大小为16*1*3*3*3;参数定义为卷积核的输入通道数*输出通道数*长*宽*高。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110347270.XA CN113012087B (zh) | 2021-03-31 | 2021-03-31 | 基于卷积神经网络的图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110347270.XA CN113012087B (zh) | 2021-03-31 | 2021-03-31 | 基于卷积神经网络的图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113012087A true CN113012087A (zh) | 2021-06-22 |
CN113012087B CN113012087B (zh) | 2022-11-04 |
Family
ID=76409684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110347270.XA Active CN113012087B (zh) | 2021-03-31 | 2021-03-31 | 基于卷积神经网络的图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113012087B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114630125A (zh) * | 2022-03-23 | 2022-06-14 | 徐州百事利电动车业有限公司 | 基于人工智能与大数据的车辆图像压缩方法与系统 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1484039A (zh) * | 2003-07-24 | 2004-03-24 | 上海交通大学 | 基于不可分离小波框架的图像融合方法 |
CN1484040A (zh) * | 2003-07-24 | 2004-03-24 | 上海交通大学 | 基于滤波器组的图像融合方法 |
CN107103331A (zh) * | 2017-04-01 | 2017-08-29 | 中北大学 | 一种基于深度学习的图像融合方法 |
CN107945109A (zh) * | 2017-11-06 | 2018-04-20 | 清华大学 | 基于卷积网络的图像拼接方法及装置 |
US20180315154A1 (en) * | 2017-04-27 | 2018-11-01 | Apple Inc. | Convolution engine for merging interleaved channel data |
CN108960345A (zh) * | 2018-08-08 | 2018-12-07 | 广东工业大学 | 一种遥感图像的融合方法、系统及相关组件 |
CN109272024A (zh) * | 2018-08-29 | 2019-01-25 | 昆明理工大学 | 一种基于卷积神经网络的图像融合方法 |
CN109754385A (zh) * | 2019-01-11 | 2019-05-14 | 中南大学 | 未配准多聚焦图像的快速融合方法 |
CN109919887A (zh) * | 2019-02-25 | 2019-06-21 | 中国人民解放军陆军工程大学 | 一种基于深度学习的无监督图像融合方法 |
CN110097528A (zh) * | 2019-04-11 | 2019-08-06 | 江南大学 | 一种基于联合卷积自编码网络的图像融合方法 |
CN110148206A (zh) * | 2018-08-30 | 2019-08-20 | 杭州维聚科技有限公司 | 多空间的融合方法 |
US10551845B1 (en) * | 2019-01-25 | 2020-02-04 | StradVision, Inc. | Method and computing device for generating image data set to be used for hazard detection and learning method and learning device using the same |
CN111008973A (zh) * | 2018-10-05 | 2020-04-14 | 罗伯特·博世有限公司 | 用于对图像数据的语义分割的方法、人工神经网络和设备 |
CN111402306A (zh) * | 2020-03-13 | 2020-07-10 | 中国人民解放军32801部队 | 一种基于深度学习的微光/红外图像彩色融合方法及系统 |
CN111986099A (zh) * | 2020-06-30 | 2020-11-24 | 武汉大学 | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 |
-
2021
- 2021-03-31 CN CN202110347270.XA patent/CN113012087B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1484039A (zh) * | 2003-07-24 | 2004-03-24 | 上海交通大学 | 基于不可分离小波框架的图像融合方法 |
CN1484040A (zh) * | 2003-07-24 | 2004-03-24 | 上海交通大学 | 基于滤波器组的图像融合方法 |
CN107103331A (zh) * | 2017-04-01 | 2017-08-29 | 中北大学 | 一种基于深度学习的图像融合方法 |
US20180315154A1 (en) * | 2017-04-27 | 2018-11-01 | Apple Inc. | Convolution engine for merging interleaved channel data |
CN107945109A (zh) * | 2017-11-06 | 2018-04-20 | 清华大学 | 基于卷积网络的图像拼接方法及装置 |
CN108960345A (zh) * | 2018-08-08 | 2018-12-07 | 广东工业大学 | 一种遥感图像的融合方法、系统及相关组件 |
CN109272024A (zh) * | 2018-08-29 | 2019-01-25 | 昆明理工大学 | 一种基于卷积神经网络的图像融合方法 |
CN110148206A (zh) * | 2018-08-30 | 2019-08-20 | 杭州维聚科技有限公司 | 多空间的融合方法 |
CN111008973A (zh) * | 2018-10-05 | 2020-04-14 | 罗伯特·博世有限公司 | 用于对图像数据的语义分割的方法、人工神经网络和设备 |
CN109754385A (zh) * | 2019-01-11 | 2019-05-14 | 中南大学 | 未配准多聚焦图像的快速融合方法 |
US10551845B1 (en) * | 2019-01-25 | 2020-02-04 | StradVision, Inc. | Method and computing device for generating image data set to be used for hazard detection and learning method and learning device using the same |
CN109919887A (zh) * | 2019-02-25 | 2019-06-21 | 中国人民解放军陆军工程大学 | 一种基于深度学习的无监督图像融合方法 |
CN110097528A (zh) * | 2019-04-11 | 2019-08-06 | 江南大学 | 一种基于联合卷积自编码网络的图像融合方法 |
CN111402306A (zh) * | 2020-03-13 | 2020-07-10 | 中国人民解放军32801部队 | 一种基于深度学习的微光/红外图像彩色融合方法及系统 |
CN111986099A (zh) * | 2020-06-30 | 2020-11-24 | 武汉大学 | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 |
Non-Patent Citations (2)
Title |
---|
AZARANG A ET AL: "Convolutional Autoencoder-Based Multispectral Image Fusion", 《IEEE ACCESS》 * |
邹北骥等: "大交叠区域的三维网格的融合与拼接", 《电子学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114630125A (zh) * | 2022-03-23 | 2022-06-14 | 徐州百事利电动车业有限公司 | 基于人工智能与大数据的车辆图像压缩方法与系统 |
CN114630125B (zh) * | 2022-03-23 | 2023-10-27 | 徐州百事利电动车业有限公司 | 基于人工智能与大数据的车辆图像压缩方法与系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113012087B (zh) | 2022-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113362223B (zh) | 基于注意力机制和双通道网络的图像超分辨率重建方法 | |
CN111353940B (zh) | 一种基于深度学习迭代上下采样的图像超分辨率重建方法 | |
CN112258526B (zh) | 一种基于对偶注意力机制的ct肾脏区域级联分割方法 | |
CN113240683B (zh) | 基于注意力机制的轻量化语义分割模型构建方法 | |
CN111696035A (zh) | 一种基于光流运动估计算法的多帧图像超分辨率重建方法 | |
CN111402128A (zh) | 一种基于多尺度金字塔网络的图像超分辨率重建方法 | |
CN116051549B (zh) | 一种太阳能电池片缺陷分割方法、系统、介质及设备 | |
CN111861884A (zh) | 一种基于深度学习的卫星云图超分辨率重建方法 | |
CN110111251A (zh) | 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法 | |
CN113012087B (zh) | 基于卷积神经网络的图像融合方法 | |
CN110930306A (zh) | 一种基于非局部感知的深度图超分辨率重建网络构建方法 | |
CN113793267B (zh) | 基于跨维度注意力机制的自监督单遥感图像超分辨率方法 | |
CN114862679A (zh) | 基于残差生成对抗网络的单图超分辨率重建方法 | |
CN111161386A (zh) | 超声图像的渲染方法、装置及超声设备 | |
CN114882047A (zh) | 一种基于半监督与Transformers的医学图像分割方法及系统 | |
CN111950496B (zh) | 一种蒙面人身份识别方法 | |
CN115511705A (zh) | 一种基于可变形残差卷积神经网络的图像超分辨率重建方法 | |
CN110033030B (zh) | 基于神经网络求解0-1测量矩阵的压缩感知问题的方法 | |
CN114708353B (zh) | 图像重建方法、装置、电子设备与存储介质 | |
CN116797541A (zh) | 一种基于Transformer的肺部CT图像超分辨率重建方法 | |
CN112102388A (zh) | 基于巡检机器人单目图像获取深度图像的方法及装置 | |
CN115546030A (zh) | 基于孪生超分辨率网络的压缩视频超分辨率方法及系统 | |
CN115170682A (zh) | 一种处理点云数据的方法和目标处理点云数据模型 | |
CN112801866A (zh) | 图像重建模型的生成方法、图像重建方法及相关设备 | |
CN114240750A (zh) | 视频分辨率提升方法及装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |