CN111754446A - 一种基于生成对抗网络的图像融合方法、系统及存储介质 - Google Patents
一种基于生成对抗网络的图像融合方法、系统及存储介质 Download PDFInfo
- Publication number
- CN111754446A CN111754446A CN202010574468.7A CN202010574468A CN111754446A CN 111754446 A CN111754446 A CN 111754446A CN 202010574468 A CN202010574468 A CN 202010574468A CN 111754446 A CN111754446 A CN 111754446A
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- training
- sample
- fused
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 97
- 238000012549 training Methods 0.000 claims abstract description 68
- 230000001575 pathological effect Effects 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 12
- 230000015556 catabolic process Effects 0.000 claims description 13
- 238000006731 degradation reaction Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 description 16
- 210000004027 cell Anatomy 0.000 description 12
- 230000000694 effects Effects 0.000 description 9
- 206010008342 Cervix carcinoma Diseases 0.000 description 7
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 7
- 201000010881 cervical cancer Diseases 0.000 description 7
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000003855 cell nucleus Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000120 cytopathologic effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于生成对抗网络的图像融合方法、系统及存储介质。该方法包括：利用样本集预训练模糊区域识别模型，输出样本集中每张图像样本标记出模糊区域的掩码图像，其中，样本集中包括图像样本以及融合图像标签Ir；将图像样本与对应的掩码图像堆叠而成的多通道图像输入融合模型进行训练，融合模型包括生成器和判别器，将生成器输出的融合图像If，和融合图像标签Ir输入到判别器进行对抗训练；将待融合的图像输入到训练好的模糊区域识别模型和融合模型，生成融合图像。本发明只需要采集少量几张多焦点图像就可以实现图像融合，可以有效降低图像融合的时间成本与硬件成本，特别适合超大尺寸的病理切片图像的融合。
Description
技术领域
本发明属于图像处理技术领域，更具体地，涉及一种基于生成对抗网络的图像融合方法、系统及存储介质。
背景技术
图像融合的目的是将多个输入图像融合成一张融合图像，与任何一张单独的输入图像相比较，该融合图像都能够为人或者机器感知提供更多的信息，包含更多信息以及更加清晰的融合图像有利于宫颈癌细胞病理切片的进一步处理。目前宫颈癌细胞病理切片在光学显微成像系统下，通过设置光学透镜的焦距，只有在景深范围内的物体在图像中清晰可见，其它地方一般模糊不清，因此，为了获得更大景深范围内的图像，通常会调整焦距拍摄多张图像进行融合来获得更大景深范围且清晰的图像。然而多次调整焦距进行病理切片的拍摄十分耗时，且融合图像质量根据融合算法的不同而效果各异。因此，通过少数几张不同焦点的切片图像在短时间内生成质量较好的融合图像是有意义的。
传统的基于变换域和空间域的融合算法，可以获得高质量的融合图像，但是由于不准确的融合决策映射，它们仍然可能会丢失一些输入图像的信息。近年来随着卷积神经网络在图像处理领域的大规模运用，越来越多的人将卷积神经网络用到了图像融合领域，发展了基于深度学习的图像融合算法，提高了融合的效果，但是受限于病理切片图像的尺寸(十亿到百亿像素量级)，使用传统的图像融合算法或者现有的基于深度学习的融合算法进行多焦点切片图像的融合，其硬件成本、时间效率存在挑战。因此，建立通过少数几张不同焦点的细胞病理切片图像生成清晰的融合图像的方法能极大节省硬件成本、提高时间效率，并且生成的清晰融合图像有助于提升后续高级语义算法的精度。
发明内容
针对现有技术的至少一个缺陷或改进需求，本发明提供了一种基于生成对抗网络的图像融合方法、系统及存储介质，可以降低图像融合的时间成本和硬件成本。
为实现上述目的，按照本发明的第一方面，提供了一种基于生成对抗网络的图像融合方法包括步骤：
利用样本集预训练模糊区域识别模型，所述模糊区域识别模型的输出为对所述样本集中每张图像样本标记出模糊区域的掩码图像，其中，所述样本集中包括目标进行成像采集的多张不同焦点的图像样本以及对目标的多张不同焦点的所述图像样本进行多层融合得到的融合图像标签Ir；
将所述图像样本与对应的所述掩码图像堆叠而成的多通道图像输入到基于生成对抗网络的融合模型进行训练；所述融合模型包括生成器和判别器，所述生成器输出融合图像If，将所述融合图像标签Ir和所述融合图像If输入到所述判别器进行对抗训练；
所述对抗训练中，将融合图像If和融合图像标签Ir输入判别器，输出N×N的概率值图像，对所述概率值图像中每个像素点计算交叉熵，然后取所有像素点交叉熵的最大值作为所述判别器的损失；
将待融合的图像输入到训练好的所述模糊区域识别模型和所述融合模型，生成融合图像。
优选地，所述利用所述样本集预训练模糊区域识别模型包括步骤：
从所述样本集中选取图像样本，对选取的图像样本的的模糊区域进行手工标记，手工标记后的图像样本构成了标记数据集；
从所述融合图像标签Ir中选取图像样本，在选取的图像样本上选取随机区域进行高斯模糊，经过高斯模糊后的图像样本构成了退化数据集；
利用所述标记数据集和退化数据集预训练模糊区域识别模型。
优选地，所述模糊区域识别模型为以残差模块与空洞卷积模块构成的语义分割网络。
优选地，所述预训练模糊区域识别模型中，将所述标记数据集与所述退化数据集混合作为每一轮训练的数据，在每轮训练前，将训练数据集做一次随机打乱操作。
优选地，所述生成器由编码模块、底层卷积模块与解码模块串联构成，所述编码模块与解码模块均由残差密集连接模块堆叠而成；
所述判别器由八个带线性激活函数的卷积层、一个最大池化层和一个线性激活层串联构成。
优选地，所述生成器的损失由内容损失和判别器反馈的对抗损失以一定比例的权重加和构成。
优选地，所述待融合的图像为病理切片。
按照本发明的第二方面，提供了一种基于生成对抗网络的图像融合系统，包括：
模糊区域识别模型训练模块，用于利用样本集预训练模糊区域识别模型，所述模糊区域识别模型的输出为对所述样本集中每张图像样本标记出模糊区域的掩码图像，其中，所述样本集中包括目标进行成像采集的多张不同焦点的图像样本以及对目标的多张不同焦点的所述图像样本进行多层融合得到的融合图像标签Ir；
融合模型训练模块，将所述图像样本与对应的所述掩码图像堆叠而成的多通道图像输入到基于生成对抗网络的融合模型进行训练，所述融合模型包括生成器和判别器，所述生成器输出融合图像If，将所述融合图像标签Ir和所述融合图像If输入到所述判别器进行对抗训练；
融合模块，用于将待融合的图像输入到训练好的所述模糊区域识别模型和所述融合模型，生成融合图像。
按照本发明的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项方法。
总体而言，本发明与现有技术相比，具有有益效果：
(1)本发明提出的基于生成对抗网络的图像融合方法,可以通过少数几张不同焦点的图像生成清晰融合图像的方法,能够有效降低传统算法生成融合图像所产生的时间成本与硬件成本，尤其适合超大尺寸的病理切片图像的融合。
(2)本发明的图像融合方法同样也适合单焦点图像，有效地解决了单焦点图像中部分区域离焦的情况，在单焦点图像存在部分离焦区域的情况下，可以将图像输入生成器得到高质量且几乎全部在焦的图像。
(3)本发明中提出的模糊区域识别模型和基于最大交叉熵的鉴别器损失实质是两种空间注意力机制，可以使得融合模型关注待模糊区域，而不是那些已经在焦的区域。
(4)本发明的图像融合方法是一种生成融合图像的通用的方法，不仅对细胞病理切片适用，在建立合适的数据集的前提下，对于其它细胞病理切片数据与自然景观图像同样适用。
附图说明
图1是本发明实施例的一种基于生成对抗网络的图像融合方法的流程示意图；
图2是本发明实施例的样本示例图；
图3是本发明实施例的生成器网络结构图；
图4是本发明实施例的生成器网络中内部模块结构图；
图5是本发明实施例的判别器网络结构图；
图6是本发明实施例的少焦点生成融合模型训练框架的结构图；
图7是本发明实施提供的少焦点图像融合前与融合后的效果对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供的一种基于生成对抗网络的图像融合方法，不仅对细胞病理切片适用，在建立合适的数据集的前提下，对于其它细胞病理切片数据与自然景观图像同样适用。以下以宫颈癌细胞病理切片的图像融合为例说明本发明。
本发明实施例的一种基于生成对抗网络的图像融合方法，包括步骤：
(1)利用宫颈癌细胞病理切片制作样本集。
(2)利用步骤(1)样本集预训练模糊区域识别模型，模糊区域识别模型的输出为对样本集中每张图像样本标记出模糊区域的掩码图像。
(3)将步骤(1)图像样本与每张图像样本对应的掩码图像堆叠而成的多通道图像输入到基于生成对抗网络的融合模型进行对抗训练。
(4)将待融合的病理切片图像输入到训练好的模糊区域识别模型和生成器，生成融合图像。
下面来具体说明每个步骤的具体实现。
步骤(1)中，拍摄的病理切片为多焦点图像，故裁剪得到的每一个样本为多张同一裁剪区域的不同焦点图像Ii。以Ii为样本集中的输入，采用现有的融合软件进行多焦点图像的融合结果作为对应的真值，即融合图像标签Ir。
步骤(2)中，模糊区域识别模型为以残差模块与空洞卷积模块构成的语义分割网络Mb。模糊区域识别模型完成语义分割任务，即二类分割，模糊区域为一类，清晰区域为另一类。
模糊识别模型的训练数据，来源可以有两个部分，标记数据集与退化数据集。
从样本集中选取图像样本，对选取的图像样本的模糊区域进行手工标记，手工标记后的图像样本构成了标记数据集，即对于标记数据集，从Ii中挑选一部分数据进行模糊区域的标记，得到标记的数据集Ii_m；从样本集的标签中选取图像样本，在选取的图像样本上选取随机区域进行高斯模糊，经过高斯模糊后的图像样本构成了退化数据集对于退化数据集，即从Ir中挑选一部分数据，运用高斯模糊进随机区域的模糊退化，得到退化的数据集Ir_b；利用标记数据集和退化数据集预训练模糊区域识别模型。
语义分割模型Mb由一个ResNet50模块与一个ASPP模块构成，输入为待识别模糊区域的图像，输出为二通道的分割结果；
ResNet50的残差模块在卷积网络中的效果十分良好，更深的残差模可能拥有更好的效果，然而模糊识别的任务相对容易，不需要选取过深的残差网络，将ResNet50的activation_40层作为后面ASPP模块的输入；
ASPP(Atrous Spatial Pyramid Pooling)模块由不同的空洞卷积所构成，将前面ResNet50模块的输出经过不同的空洞卷积采样率得到不同尺度的信息，将不同的尺度信息堆叠起来再经过卷积层与softmax层得到最后的二分割结果；
语义分割模型Mb的优化器为Adam，损失函数为交叉熵，公式如下：
上述公式中，N为图像的数量，
为模糊区域，I(n,i,j)表示第n张图像，
表示清晰区域。
将语义分割模型训练多轮至网络收敛即可获得预训练的模糊区域识别模型。预训练模糊区域识别模型时，将标记数据集与退化数据集混合作为每一轮训练的数据，在每轮训练前，将训练数据集做一次随机打乱操作。
步骤(3)中，融合模型包括生成器和判别器。生成器输出融合图像If，将融合图像标签Ir和融合图像If输入到判别器进行对抗训练。
生成器由编码模块、底层卷积模块与解码模块串联构成，编码模块与解码模块均由残差密集连接模块堆叠而成。
具体地，生成器模型Gθ，采用了U-Net模块与DenseBlock模块共同构成，并且将所述U-Net模块中下采样与上采样路径中的卷积模块置换成了DenseBlock模块。即生成器由编码模块、底层卷积模块与解码模块串联构成，编码模块由一个卷积层和三个串联的DenseBlock与平均池化层串联组成，底层卷积模块由三个串联的卷积层组成，解码模块由两个卷积层、DenseBlock、单个卷积层这样的3个结构串联组成，即解码模块由两个卷积层、DenseBlock、单个卷积层、两个卷积层、DenseBlock、单个卷积层、两个卷积层、DenseBlock和单个卷积层依次串联组成，最后使用tanh函数将结果归一化到0～1区间。
当应用本发明的图像融合方法进行少数几张不同焦点的图像融合时，融合模型的输入为少数几张不同焦点的图像进行堆叠的结果，输出即为生成的融合图像If。当应用本发明的图像融合方法进行单焦点的图像融合时，融合模型的输入为一张单焦点的图像。
U-Net为一个编码-解码器的结构，它分为下采样阶段和上采样阶段，下采样阶段由三个卷积层和池化层的组合构成，然后会经过bottom_layer层对底层信息进行编码，上采样阶段由三个卷积层与线性上采样层的组合构成，在上采样阶段中的卷积操作之前，会将对应的下采样阶段中的特征图与线性上采样的结果进行堆叠操作，因为在下采样层会丧失图像的局部信息并且获得图像的全局信息，所以堆叠操作可以结合网络中的局部与全局信息，更好地生成融合图像，而为了更好地加强特征的传递和更有效地利用特征，将此处下采样和上采样阶段中的卷积结构置换成了DenseBlock；
为了减少网络的开销，这里我们的DenseBlock结构只用了三个带LeakyReLU的卷积层，DenseBlock相对于普通卷积层来说，它减轻了梯度消失，加强了特征的传递还有更有效地利用了特征；
判别器Dθ由八个带线性激活函数的卷积层、一个最大池化层和一个线性激活层串联构成。
具体地，判别器Dθ采用了VGG16网络结构，但是去掉了最后的全连接层，在去掉了全连接层的VGG16后面加上了一个全局平局池化，然后通过一个卷积核大小为1××1的卷积层将通道数调整为1024，然后经过一个LeakyReLU层，最后再通过一个卷积核大小为1×1的卷积核和一个sigmoid激活层，将最后的结果归一化到0到1之间，完成二分类的任务。另外所有的激活层都改成了LeakyReLU。即判别器由八个带LeakyReLU的卷积层、一个最大池化层和一个sigmoid激活层串联构成。
对生成器Gθ和判别器Dθ的训练过程中，生成器的损失由内容损失和判别器反馈的对抗损失以一定比例的权重加和构成，判别器的损失采用交叉熵。
本发明另一实施例的一种基于生成对抗网络的图像融合方法，如图1所示，包括步骤：
(1)选取5张宫颈癌细胞病理切片，在20倍率的光学显微镜下成像，成像设备会选取大部分细胞都在焦的合适焦距作为0层，然后通过移动显微镜调整焦距，将0层作为中间层拍摄焦距间隔为2.7mm拍摄11张图像，每张图像大小为86784×100352×3×11，分别为图像的宽、高、通道数(RGB)和层数，层数分别是-5、-4、-3、-2、-1、0、+1、+2、+3、+4、+5，宽高的单位为像素，以下所涉及的图像大小单位均为像素。
对于每张宫颈癌细胞病理切片选取切片的中间区域，即在水平方向上取4608像素到70000像素，在垂直方向上取10000像素到76784像素的范围区域region_r作为之后裁剪样本集的区域。
对于每张切片的样本裁剪区域region_r，以512×512大小的滑动窗口遍历该区域并取1/4的冗余区域，对于每一个裁剪的512×512块，取0层该位置的RGB图像，根据三个颜色通道的极差作阈值得到二值化的前景图像，并对该二值化图像作空洞填充和较小疑似噪声区域的移除，通过阈值生成二值化图像公式如下：
其中I是裁剪出来的512×512的RGB图像，
和
表示对每个像素点求RGB三个颜色通道的最大像素值和最小像素值，t reRGB是设定的阈值，此处设置为8，Ib是根据阈值得到的二值图像，基于宫颈癌细胞病理切片图像中，背景多呈现白色和灰色，而细胞区域多呈现红色与蓝绿色，故越是彩色区域就越可能是前景细胞区域。
基于细胞核处于细胞的中间且颜色介于灰色和黑色之间故可能在细胞前景区域出现空洞，故会进行空洞的填充，另外在细胞切片中可能存在部分粘液或细胞的杂质颗粒，故在此选择将连通域面积不足4000个像素的小区域进行移除，该面积大约是普通细胞核面积的4倍。
对于每个Ib，统计前景区域，如果Ib前景区域面积大于整个512×512块面积的1/3，则将对应11层的该位置区域裁剪出512×512×3×11的块出来作为样本集，该样本的示例如图2所示。
对于样本集的标签我们采用The Digital Pathology Company旗下的软件CaseViewer进行11层图像的融合，得到对应的融合图像标签作为判别器Dθ真值的输入。
从5张切片中取前景部分，总共裁剪了39211张尺寸为512×512×3×11的图像，从其中挑选37211张做为训练集，2000张作为测试集。
(2)预训练模糊区域识别模型，对于样本集分为如下两个来源：
从制作的不同焦点图像的样本集中随机选取0层、+2层和-2层的图像678张进行手工标记出不在焦的区域，也就是模糊的区域作为标记数据集；
从作为真值的融合图像中挑选5000张图像，通过高斯模糊对图像上得随机区域进行模糊，得到经过退化的退化数据集；
对于标记数据集，取600张图像作为训练集，78张作为测试集。对于退化数据集，取4500张作为训练集，500张作为测试集。两个数据集中的样本示例如附图4所示，其中第一列是模糊区域识别模型的输入，第二列是将图中模糊区域标记出来，第三列则是对应输出的标签mask，两行分别是手工标记数据与算法退化数据。
进一步地，对于模糊区域识别网络的构建，采用了语义分割中效果较好的deeplabv3模型，基础网络采用ResNet50，将ResNet50中的activation_40层的作为后面ASPP模块的输入，网络的输入512×512×3(分别为图像的宽、高和通道数)经过ResNet50模块得到32×32×1024尺寸的特征图，然后经过采样率为2的空洞卷积模块，得到32×32×1024尺寸的特征图x，之后进入分支结构，如下：
block0，由一个普通的卷积模块构成，输入x，输出x0；
block1，由3个采样率为4的空洞卷积模块和一个带BatchNormalization的卷积模块构成，输入x，输出x1；
block2，由3个采样率为8的空洞卷积模块和一个带BatchNormalization的卷积模块构成，输入x，输出x2；
block3，由3个采样率为12的空洞卷积模块和一个带BatchNormalization的卷积模块构成，输入x，输出x3。
在经过ASPP的分支结构后将x0、x1、x2和x3进行堆叠操作，然后经过普通的卷积模块，然后再经BilinearUpSampling2D层，将特征图上采样到输入图像大小，然后经过卷积层进行图像的平滑操作，最后再经过softmax层进行结构的分类作为模型的输出，得到512×512×2的分割结果，第一个通道中值大于阈值的为预测的模糊区域，第二个通道中大于阈值的为预测的清晰区域，此处的阈值均设置为0.5。
对于模糊区域识别模型的训练，将600张标记数据集与4500张退化数据集混合作为每个epoch训练的数据，并且在输入之前进行数据的shuffle操作，并且在训练阶段设置保存模型的步长，此处设置为每25个batch进行模型权重的保存，优化器为Adam，学习率设置为1e-3，训练时的batch_size设置为4，训练50个epoch，损失函数为分割结果与标签的交叉熵，定义如下所示：
上述公式中，N为图像的数量，
为模糊区域，I(n,i,j)表示第n张图像位置为(i,j)上的值，
表示清晰区域；
对于预训练模型，选取训练的最后几轮模型中模糊识别效果较好的进行测试，采用语义分割任务中常用的两个指标，iou(交并集)与precision(准确度)，作为网络的衡量标准，将iou与precison得分较高的模型权重作为预训练的模糊区域识别模型。
(3)生成器融合模型Gθ的训练并对融合效果较好模型的挑选与权重的保存。
31)生成器融合模型Gθ的构建。
考虑到生成融合图像本质上是关于图像的增强，单焦点图像或少数几张不同焦点图像的景深范围是有限的，往往只能考虑到保持大部分对象或是感兴趣区域在焦，所以生成器Gθ的任务则是在不损害图像的原有信息的条件下尽可能的恢复出更大景深范围的图像，以使得更多的对象保持在焦且图像更加清晰，即需要考虑到图像中存在的景深信息，尽管通过人的肉眼可能无法察觉，但是能够通过卷积神经网络很好的感知到，也需要考虑到图像中模糊区域存在的纹理信息以期在图像重建时更好的掌握全局信息与细粒度的纹理信息，所以网络结构采取了使用了编码-解码的U-Net，并且将其中下采样与上采样路径中卷积模块置换成了DenseBlock模块；
U-Net模块编码阶段是由一个9×9大小的带PReLU结构的卷积模块后跟上3个下采样模块，每个下采样模块由一个down_layer结构与一个大小为2×2，步长为2的平均池化层构成，底层模块是bottom_layer，在上采样阶段由三个上采样模块构成和一个9×9大小的带PReLU结构的卷积模块构成，最后经过tanh激活函数并将结果归一化到0-1之间最为最后的结果输出；
U-Net结构如图3所示，其中input_channel为输入图像的通道数，当输入为单焦点图像时，input_channel为3，而输入为少数几张不同焦点图像时，input_channel为3的倍数，output_channel为3，其中跟在箭头上的数字，例如64×512×512分别代表通道数、宽和高，down_layer、bottom_layer和up_layer结构如图4所示。
32)判别器模型Dθ的构建。
判别器Dθ采取VGG16的结构，但是去掉了最后的全连接层，在去掉了全连接层的VGG16后面加上了一个全局平局池化，然后通过一个卷积核大小为1×1的卷积层将通道数调整为1024，然后经过一个LeakyReLU层，最后再通过一个卷积核大小为1×1的卷积核和一个sigmoid激活层，将最后的结果归一化到0到1之间，完成二分类的任务。另外所有的激活层都改成了LeakyReLU。判别器的网络结构如图5所示。
33)生成器Gθ与判别器Dθ的损失函数。
对于生成器Gθ的损失，定义如下：
对于生成器Gθ的损失
分为2项，内容损失Lcontent和判别器Dθ反馈的对抗损失Ladv，λ为各项损失的平衡因子，此处λ＝0.001。
上述公式中，N代表图像的数量，C代表图像的通道数，W、H分别代表图像的宽和高，Ir为目标图像，If为生成器Gθ生成的融合图像，
表示第n张目标融合图像If的第k通道，位置为(i，j)的像素值，
与
的意义相同，公式(3)中
表示模型生成的融合图象
输入判别器Dθ输出特征图上位置(i，j)上的元素。
对于判别器Dθ的损失采用交叉熵，定义如下：
公式(5)中N仍然代表图像数，
表示N中真实融合图像中的第n张图像，
表示真实的融合图象
输入判别器Dθ输出特征图上位置(i，j)上的元素，
与
意义相同，但是表示的是模型生成的融合图像。
34)融合模型的训练过程如图6所示，其中左边为单焦点生成融合图像模型，右边为少焦点生成融合图像模型。
对于单焦点生成融合图像融合模型，会将单焦点图像Is输入模糊区域识别模型Mb，得到模糊掩码(Im)，然后与输入图像Is堆叠输入。
生成器Gθ，得到生成的融合图像If，利用真实融合图像Ir与If对判别网络进行一个batch的训练，然后固定判别器Dθ用来训练生成器，每一个epoch为全部数据训练一次，对于少焦点生成融合图像的模型，除了生成器的输入为少数几张不同焦点图像的堆叠外，与单焦点图像生成融合图像模型相同；
生成器网络的初始学习率为0.5×1e-4，判别器的学习率设置为0.25×1e-4，每个epoch后分别以0.8的倍率进行学习率的衰减，优化器均为Adam，在训练过程中设置权重的保存步长为每50个batch进行生成器Gθ与判别器Dθ的权值保存，直至判别器的损失趋于稳定，保持在1.0～1.4之间即表示网络收敛，选取此时生成融合图像质量较好的模型作为最终的生成融合模型。
(4)高质量融合图像的生成，对于步骤3)中所保存的单焦点融合模型与少焦点融合模型的权重，只需要将其载入对应的模型结构中，将单焦点图像和少焦点图像堆叠形式分别输入单焦点融合模型和少焦点融合模型中即可得到质量更好，景深范围更大的融合图像。生成的融合图像如图7所示。
本发明实施例提供的一种基于生成对抗网络的图像融合系统，包括：
模糊区域识别模型训练模块，用于利用样本集预训练模糊区域识别模型，模糊区域识别模型的输出为对样本集中每张图像样本标记出模糊区域的掩码图像，其中，样本集中包括目标进行成像采集的多张不同焦点的图像样本以及对目标的多张不同焦点的所述图像样本进行多层融合得到的融合图像标签Ir；
融合模型训练模块，将图像样本与对应的掩码图像堆叠而成的多通道图像输入到基于生成对抗网络的融合模型进行训练，融合模型包括生成器和判别器，生成器输出融合图像If，将融合图像标签Ir和融合图像If输入到判别器进行对抗训练；
融合模块，用于将待融合的图像输入到训练好的模糊区域识别模型和融合模型，生成融合图像。
优选地，模糊区域识别模型训练模块包括：
手工标记模块，用于从样本集中选取图像样本，对选取的图像样本的模糊区域进行手工标记，手工标记后的图像样本构成了标记数据集；
退化模块，用于从融合图像标签Ir中选取图像样本，在选取的图像样本上选取随机区域进行高斯模糊，经过高斯模糊后的图像样本构成了退化数据集；
训练模块，用于利用标记数据集和退化数据集预训练模糊区域识别模型。
图像融合系统的实现原理、技术效果与上述方法类似，此处不再赘述。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现上述任一图像融合方法实施例的技术方案。其实现原理、技术效果与上述方法类似，此处不再赘述。
必须说明的是，上述任一实施例中，方法并不必然按照序号顺序依次执行，只要从执行逻辑中不能推定必然按某一顺序执行，则意味着可以以其他任何可能的顺序执行。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于生成对抗网络的图像融合方法，其特征在于，包括步骤：
利用样本集预训练模糊区域识别模型，所述模糊区域识别模型的输出为对所述样本集中每张图像样本标记出模糊区域的掩码图像，其中，所述样本集中包括目标进行成像采集的多张不同焦点的图像样本以及对目标的多张不同焦点的所述图像样本进行多层融合得到的融合图像标签Ir；
将所述图像样本与对应的所述掩码图像堆叠而成的多通道图像输入到基于生成对抗网络的融合模型进行训练，所述融合模型包括生成器和判别器，所述生成器输出融合图像If，将所述融合图像标签Ir和所述融合图像If输入到所述判别器进行对抗训练；
所述对抗训练中，将融合图像If和融合图像标签Ir输入判别器，输出概率值图像，对所述概率值图像中每个像素点计算交叉熵，然后取所有像素点交叉熵的最大值作为所述判别器的损失；
将待融合的图像输入到训练好的所述模糊区域识别模型和所述融合模型，生成融合图像。
2.如权利要求1所述的一种基于生成对抗网络的图像融合方法，其特征在于，所述利用所述样本集预训练模糊区域识别模型包括步骤：
从所述样本集中选取图像样本，对选取的图像样本的模糊区域进行手工标记，手工标记后的图像样本构成了标记数据集；
从所述融合图像标签Ir中选取图像样本，在选取的图像样本上选取随机区域进行高斯模糊，经过高斯模糊后的图像样本构成了退化数据集；
利用所述标记数据集和退化数据集预训练模糊区域识别模型。
3.如权利要求1或2所述的一种基于生成对抗网络的图像融合方法，其特征在于，所述模糊区域识别模型为以残差模块与空洞卷积模块构成的语义分割网络。
4.如权利要求3所述的一种基于生成对抗网络的图像融合方法，其特征在于，所述预训练模糊区域识别模型中，将所述标记数据集与所述退化数据集混合作为每一轮训练的数据，在每轮训练前，将训练数据集做一次随机打乱操作。
5.如权利要求1或2所述的一种基于生成对抗网络的图像融合方法，其特征在于，所述生成器由编码模块、底层卷积模块与解码模块串联构成，所述编码模块与解码模块均由残差密集连接模块堆叠而成；
所述判别器由八个带线性激活函数的卷积层、一个最大池化层和一个线性激活层串联构成。
6.如权利要求5所述的一种基于生成对抗网络的图像融合方法，其特征在于，所述生成器的损失由内容损失和判别器反馈的对抗损失以一定比例的权重加和构成。
7.如权利要求1或2所述的一种基于生成对抗网络的图像融合方法，其特征在于，所述待融合的图像为病理切片图像。
8.一种基于生成对抗网络的图像融合系统，其特征在于，包括：
模糊区域识别模型训练模块，用于利用样本集预训练模糊区域识别模型，所述模糊区域识别模型的输出为对所述样本集中每张图像样本标记出模糊区域的掩码图像，其中，所述样本集中包括目标进行成像采集的多张不同焦点的图像样本以及对目标的多张不同焦点的所述图像样本进行多层融合得到的融合图像标签Ir；
融合模型训练模块，将所述图像样本与对应的所述掩码图像堆叠而成的多通道图像输入到基于生成对抗网络的融合模型进行训练，所述融合模型包括生成器和判别器，所述生成器输出融合图像If，将所述融合图像标签Ir和所述融合图像If输入到所述判别器进行对抗训练；
融合模块，用于将待融合的图像输入到训练好的所述模糊区域识别模型和所述融合模型，生成融合图像。
9.如权利要求8所述的一种基于生成对抗网络的图像融合系统，其特征在于，所述模糊区域识别模型训练模块包括：
手工标记模块，用于从所述样本集中选取图像样本，对选取的图像样本的模糊区域进行手工标记，手工标记后的图像样本构成了标记数据集；
退化模块，用于从所述融合图像标签Ir中选取图像样本，在选取的图像样本上选取随机区域进行高斯模糊，经过高斯模糊后的图像样本构成了退化数据集；
训练模块，用于利用所述标记数据集和退化数据集预训练模糊区域识别模型。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010574468.7A CN111754446A (zh) | 2020-06-22 | 2020-06-22 | 一种基于生成对抗网络的图像融合方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010574468.7A CN111754446A (zh) | 2020-06-22 | 2020-06-22 | 一种基于生成对抗网络的图像融合方法、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111754446A true CN111754446A (zh) | 2020-10-09 |
Family
ID=72675559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010574468.7A Pending CN111754446A (zh) | 2020-06-22 | 2020-06-22 | 一种基于生成对抗网络的图像融合方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111754446A (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102205A (zh) * | 2020-10-15 | 2020-12-18 | 平安科技（深圳）有限公司 | 图像去模糊方法、装置、电子设备及存储介质 |
| CN112288031A (zh) * | 2020-11-18 | 2021-01-29 | 北京航空航天大学杭州创新研究院 | 交通信号灯检测方法、装置、电子设备和存储介质 |
| CN112288657A (zh) * | 2020-11-16 | 2021-01-29 | 北京小米松果电子有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN112348806A (zh) * | 2020-11-14 | 2021-02-09 | 四川大学华西医院 | 一种无参考数字病理切片模糊度评价算法 |
| CN112419171A (zh) * | 2020-10-28 | 2021-02-26 | 云南电网有限责任公司昆明供电局 | 一种多残差块条件生成对抗网络的图像复原方法 |
| CN112802160A (zh) * | 2021-01-12 | 2021-05-14 | 西北大学 | 一种基于u-gat-it改进的秦腔角色卡通化风格迁移的方法 |
| CN112818159A (zh) * | 2021-02-24 | 2021-05-18 | 上海交通大学 | 一种基于生成对抗网络的图像描述文本生成方法 |
| CN113077395A (zh) * | 2021-03-26 | 2021-07-06 | 东北大学 | 一种高倍光学显微镜下大尺寸样品图像的去模糊方法 |
| CN113128422A (zh) * | 2021-04-23 | 2021-07-16 | 重庆市海普软件产业有限公司 | 一种深度神经网络的图像烟火检测方法及系统 |
| CN113506259A (zh) * | 2021-07-06 | 2021-10-15 | 长江大学 | 一种基于融合网络的图像模糊判别方法及系统 |
| CN113538263A (zh) * | 2021-06-28 | 2021-10-22 | 江苏威尔曼科技有限公司 | 基于改进DeblurGAN模型的去运动模糊方法、介质及设备 |
| CN113823400A (zh) * | 2021-11-22 | 2021-12-21 | 武汉楚精灵医疗科技有限公司 | 肠道退镜速度监测方法、装置及计算机可读存储介质 |
| CN114494804A (zh) * | 2022-04-18 | 2022-05-13 | 武汉明捷科技有限责任公司 | 一种基于域特有信息获取的无监督领域适应图像分类方法 |
| CN114648724A (zh) * | 2022-05-18 | 2022-06-21 | 成都航空职业技术学院 | 一种基于生成对抗网络的轻量化高效目标分割与计数方法 |
| CN115690143A (zh) * | 2022-09-26 | 2023-02-03 | 推想医疗科技股份有限公司 | 图像分割方法、装置、电子设备及存储介质 |
| CN116051467A (zh) * | 2022-12-14 | 2023-05-02 | 东莞市人民医院 | 基于多任务学习的膀胱癌肌层侵犯预测方法及相关装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108090521A (zh) * | 2018-01-12 | 2018-05-29 | 广州视声智能科技有限公司 | 一种生成式对抗网络模型的图像融合方法和判别器 |
| CN109325931A (zh) * | 2018-08-22 | 2019-02-12 | 中北大学 | 基于生成对抗网络和超分辨率网络的多模态图像融合方法 |
-
2020
- 2020-06-22 CN CN202010574468.7A patent/CN111754446A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108090521A (zh) * | 2018-01-12 | 2018-05-29 | 广州视声智能科技有限公司 | 一种生成式对抗网络模型的图像融合方法和判别器 |
| CN109325931A (zh) * | 2018-08-22 | 2019-02-12 | 中北大学 | 基于生成对抗网络和超分辨率网络的多模态图像融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| HAO TANG等: "Attention-Guided Generative Adversarial Networks for Unsupervised Image-to-Image Translation", 2019 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN) * |
| XIEBO GENG等: "FFusionCGAN: An end-to-end fusion method for few-focus images using conditional GAN in cytopathological digital slides", HTTPS://DOI.ORG/10.48550/ARXIV.2001.00692, pages 1 - 5 * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102205A (zh) * | 2020-10-15 | 2020-12-18 | 平安科技（深圳）有限公司 | 图像去模糊方法、装置、电子设备及存储介质 |
| CN112102205B (zh) * | 2020-10-15 | 2024-02-09 | 平安科技（深圳）有限公司 | 图像去模糊方法、装置、电子设备及存储介质 |
| CN112419171A (zh) * | 2020-10-28 | 2021-02-26 | 云南电网有限责任公司昆明供电局 | 一种多残差块条件生成对抗网络的图像复原方法 |
| CN112348806A (zh) * | 2020-11-14 | 2021-02-09 | 四川大学华西医院 | 一种无参考数字病理切片模糊度评价算法 |
| CN112348806B (zh) * | 2020-11-14 | 2022-08-26 | 四川大学华西医院 | 一种无参考数字病理切片模糊度评价方法 |
| CN112288657A (zh) * | 2020-11-16 | 2021-01-29 | 北京小米松果电子有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN112288031A (zh) * | 2020-11-18 | 2021-01-29 | 北京航空航天大学杭州创新研究院 | 交通信号灯检测方法、装置、电子设备和存储介质 |
| CN112802160A (zh) * | 2021-01-12 | 2021-05-14 | 西北大学 | 一种基于u-gat-it改进的秦腔角色卡通化风格迁移的方法 |
| CN112802160B (zh) * | 2021-01-12 | 2023-10-17 | 西北大学 | 一种基于u-gat-it改进的秦腔角色卡通化风格迁移的方法 |
| CN112818159A (zh) * | 2021-02-24 | 2021-05-18 | 上海交通大学 | 一种基于生成对抗网络的图像描述文本生成方法 |
| CN113077395B (zh) * | 2021-03-26 | 2023-10-24 | 东北大学 | 一种高倍光学显微镜下大尺寸样品图像的去模糊方法 |
| CN113077395A (zh) * | 2021-03-26 | 2021-07-06 | 东北大学 | 一种高倍光学显微镜下大尺寸样品图像的去模糊方法 |
| CN113128422B (zh) * | 2021-04-23 | 2024-03-29 | 重庆市海普软件产业有限公司 | 一种深度神经网络的图像烟火检测方法及系统 |
| CN113128422A (zh) * | 2021-04-23 | 2021-07-16 | 重庆市海普软件产业有限公司 | 一种深度神经网络的图像烟火检测方法及系统 |
| CN113538263A (zh) * | 2021-06-28 | 2021-10-22 | 江苏威尔曼科技有限公司 | 基于改进DeblurGAN模型的去运动模糊方法、介质及设备 |
| CN113506259A (zh) * | 2021-07-06 | 2021-10-15 | 长江大学 | 一种基于融合网络的图像模糊判别方法及系统 |
| CN113823400A (zh) * | 2021-11-22 | 2021-12-21 | 武汉楚精灵医疗科技有限公司 | 肠道退镜速度监测方法、装置及计算机可读存储介质 |
| CN114494804B (zh) * | 2022-04-18 | 2022-10-25 | 武汉明捷科技有限责任公司 | 一种基于域特有信息获取的无监督领域适应图像分类方法 |
| CN114494804A (zh) * | 2022-04-18 | 2022-05-13 | 武汉明捷科技有限责任公司 | 一种基于域特有信息获取的无监督领域适应图像分类方法 |
| CN114648724A (zh) * | 2022-05-18 | 2022-06-21 | 成都航空职业技术学院 | 一种基于生成对抗网络的轻量化高效目标分割与计数方法 |
| CN115690143A (zh) * | 2022-09-26 | 2023-02-03 | 推想医疗科技股份有限公司 | 图像分割方法、装置、电子设备及存储介质 |
| CN116051467A (zh) * | 2022-12-14 | 2023-05-02 | 东莞市人民医院 | 基于多任务学习的膀胱癌肌层侵犯预测方法及相关装置 |
| CN116051467B (zh) * | 2022-12-14 | 2023-11-03 | 东莞市人民医院 | 基于多任务学习的膀胱癌肌层侵犯预测方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111754446A (zh) | 一种基于生成对抗网络的图像融合方法、系统及存储介质 | |
| CN110689599B (zh) | 基于非局部增强的生成对抗网络的3d视觉显著性预测方法 | |
| CN110570363A (zh) | 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法 | |
| CN112580473B (zh) | 一种融合运动特征的视频超分辨率重构方法 | |
| CN111179196B (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN114038006A (zh) | 一种抠图网络训练方法及抠图方法 | |
| CN111798469A (zh) | 基于深度卷积神经网络的数字图像小数据集语义分割方法 | |
| CN114898284B (zh) | 一种基于特征金字塔局部差异注意力机制的人群计数方法 | |
| CN111696049A (zh) | 基于深度学习的水下扭曲图像重建方法 | |
| Jia et al. | Effective meta-attention dehazing networks for vision-based outdoor industrial systems | |
| CN113393434A (zh) | 一种基于非对称双流网络架构的rgb-d显著性检测方法 | |
| CN115661459A (zh) | 一种使用差异信息的2D mean teacher模型 | |
| CN115546505A (zh) | 一种基于深度学习的无监督单目图像深度估计方法 | |
| Sharif et al. | Deep color reconstruction for a sparse color sensor | |
| Zhang et al. | Dense haze removal based on dynamic collaborative inference learning for remote sensing images | |
| Tang et al. | AutoEnhancer: Transformer on U-Net architecture search for underwater image enhancement | |
| Liu et al. | Multi-Scale Underwater Image Enhancement in RGB and HSV Color Spaces | |
| Zhang et al. | Deep joint neural model for single image haze removal and color correction | |
| CN111815529B (zh) | 一种基于模型融合和数据增强的低质图像分类增强方法 | |
| CN116993987A (zh) | 一种基于轻量级神经网络模型的图像语义分割方法及系统 | |
| CN112365451A (zh) | 图像质量等级的确定方法、装置、设备及计算机可读介质 | |
| CN114820395B (zh) | 一种基于多领域信息融合的水下图像增强方法 | |
| CN110796716A (zh) | 一种基于多重残差网络和正则化迁移学习的图像着色方法 | |
| WO2023206343A1 (zh) | 一种基于图像预训练策略的图像超分辨率方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |