CN111815690A - 一种用于显微图像实时拼接的方法、系统和计算机设备 - Google Patents
一种用于显微图像实时拼接的方法、系统和计算机设备 Download PDFInfo
- Publication number
- CN111815690A CN111815690A CN202010950938.5A CN202010950938A CN111815690A CN 111815690 A CN111815690 A CN 111815690A CN 202010950938 A CN202010950938 A CN 202010950938A CN 111815690 A CN111815690 A CN 111815690A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- microscopic
- fusion
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000004927 fusion Effects 0.000 claims abstract description 75
- 238000013507 mapping Methods 0.000 claims abstract description 57
- 239000011159 matrix material Substances 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 41
- 238000000605 extraction Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 238000001000 micrograph Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种用于显微图像实时拼接的方法、系统和计算机设备，该方法采用了两阶段双网络级联的显微图像拼接模型，利用像素级的图像配准网络直接从输入的图像对中输出像素级的映射表，实现了逐像素的映射，可将每个像素对齐至理想的对齐位置，与常用的计算一个单应矩阵或计算若干网格对应的单应矩阵相比，基于像素级的映射表的精度高，速度快，可实时处理；再利用多聚焦的图像融合网络直接从输入的对齐图像中输出融合后的图像，实现了多焦点图像融合，使获得的拼接图像各部分完全清晰，在图像对重叠区域存在弱纹理区域的情况下也能实现精确拼接。
Description
技术领域
本发明涉及显微图像处理技术领域，尤其是一种用于显微图像实时拼接的方法、系统和计算机设备。
背景技术
随着数字显微镜技术的发展，现有技术可以使用样本玻片扫描的方式对样本玻片进行全面扫描以获得全切片数字显微图像，即在数字显微镜的放大下依次拍摄样本玻片各个局部视野的显微图像，并利用图像拼接技术获得完整的全切片数字显微图像。
一般来说，显微图像的拼接技术包括两个关键步骤，分别是图像配准和图像融合，目前广泛使用的图像拼接技术是基于特征点匹配的图像拼接技术，该方法首先对相邻图像的重叠区域进行特征提取，然后执行特征匹配进行图像配准以使相互重叠的图像区域对齐，最后进行图像的融合得到大尺寸显微图像。基于特征点匹配的图像拼接技术可以获得较好的拼接效果，但是不满足实时性，尤其是当重叠区域存在弱纹理区域时，该方法无法检测到有效的特征点进行特征匹配，进而会导致图像拼接失败。
发明内容
本发明提供一种用于显微图像实时拼接的方法、系统和计算机设备，用于克服现有技术中不满足实时性，甚至对于重叠区域存在弱纹理区域时可能导致图像拼接失败等缺陷。
为实现上述目的，本发明提出一种用于显微图像实时拼接的方法，包括：
获取局部显微图像；
将局部显微图像中的相邻局部显微图像组成图像对，利用图像配准算法得到每组图像对对应的理想标签，所有的图像对和理想标签共同构成训练集；
将所述训练集输入到预先构建的显微图像拼接模型中，所述显微图像拼接模型包括图像配准网络和图像融合网络；
利用图像配准网络对输入的图像对进行配准，并根据图像对对应的理想标签，获得映射表，根据所述映射表对图像对进行对齐，获得对齐图像；
提取所述对齐图像中相互重叠的部分，利用图像融合网络对对齐图像中相互重叠的部分进行融合，获得局部融合图像，将所述局部融合图像与对齐图像中不重叠的部分进行级联，获得拼接图像，并得到训练好的显微图像拼接模型；
利用训练好的显微图像拼接模型对待拼接局部显微图像进行拼接，获得拼接图像。
为实现上述目的，本发明还提出一种用于显微图像实时拼接的系统，包括：
图像获取模块，用于获取局部显微图像；
训练集生成模块，用于将局部显微图像中的相邻局部显微图像组成图像对，利用图像配准模型得到每组图像对对应的理想标签，所有的图像对和理想标签共同构成训练集；
模型训练模块，用于将所述训练集输入到预先构建的显微图像拼接模型中，所述显微图像拼接模型包括图像配准网络和图像融合网络；利用图像配准网络对输入的图像对进行配准，并根据图像对对应的理想标签，获得映射表，根据所述映射表对图像对进行对齐，获得对齐图像；提取所述对齐图像中相互重叠的部分，利用图像融合网络对对齐图像中相互重叠的部分进行融合，获得局部融合图像，将所述局部融合图像与对齐图像中不重叠的部分进行级联，获得拼接图像，并得到训练好的显微图像拼接模型；
图像拼接模块，用于利用训练好的显微图像拼接模型对待拼接局部显微图像进行拼接，获得拼接图像。
为实现上述目的，本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
为实现上述目的，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的方法的步骤。
与现有技术相比，本发明的有益效果有：
本发明提供的用于显微图像实时拼接的方法，采用了两阶段双网络级联的显微图像拼接模型，利用像素级的图像配准网络直接从输入的图像对中输出像素级的映射表，实现了逐像素的映射，可将每个像素对齐至理想的对齐位置，与常用的计算一个单应矩阵或计算若干网格对应的单应矩阵相比，基于像素级的映射表的精度高，速度快，可实时处理；再利用多聚焦的图像融合网络直接从输入的对齐图像中输出融合后的图像，实现了多焦点图像融合，使获得的拼接图像各部分完全清晰，在图像对重叠区域存在弱纹理区域的情况下也能实现精确拼接。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明提供的用于显微图像实时拼接的方法流程图；
图2为本发明提供的显微图像拼接模型的结构图；
图3为本发明实施例中显微图像拼接模型中图像配准网络的结构图；
图4为本发明实施例中显微图像拼接模型中图像融合网络的结构图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提出一种用于显微图像实时拼接的方法，如图1所示，包括：
101：获取局部显微图像；
采集若干病变组织样本并利用病理学方法制成样本玻片，利用高倍率的数字显微镜采集上述若干样本玻片中各个视野下的局部显微图像，在采集各个视野下的局部显微图像时，需要保证相邻的局部显微图像之间存在重叠区域。
102：将局部显微图像中的相邻局部显微图像组成图像对，利用图像配准算法得到每组图像对对应的理想标签，所有的图像对和理想标签共同构成训练集；
图像配准模型选用现有常见的基于特征点匹配的图像配准模型。
理想标签，为利用图像配准模型配准、对齐后的对齐图像。
103：将训练集输入到预先构建的显微图像拼接模型中，所述显微图像拼接模型包括图像配准网络和图像融合网络；
显微图像拼接模型为两阶段双网络级联的模型。
104：利用图像配准网络对输入的图像对进行配准，并根据图像对对应的理想标签，获得映射表，根据映射表对图像对进行对齐，获得对齐图像；
映射表，包括水平方向上的映射表和垂直方向上的映射表。
对于每个像素，映射表中的对应值表示在对齐视图下将该像素的原始位置变换到对齐位置的映射，即通过映射表可确定原始图像中各个像素在对齐图像中对应的位置。
105：提取对齐图像中相互重叠的部分，利用图像融合网络对对齐图像中相互重叠的部分进行融合，获得局部融合图像，将局部融合图像与对齐图像中不重叠的部分进行级联，获得拼接图像，并得到训练好的显微图像拼接模型；
106：利用训练好的显微图像拼接模型对待拼接局部显微图像进行拼接，获得拼接图像。
本发明提供的用于显微图像实时拼接的方法，采用了两阶段双网络级联的显微图像拼接模型，利用像素级的图像配准网络直接从输入的图像对中输出像素级的映射表，实现了逐像素的映射，可将每个像素对齐至理想的对齐位置，与常用的计算一个单应矩阵或计算若干网格对应的单应矩阵相比，基于像素级的映射表的精度高，速度快，可实时处理；再利用多聚焦的图像融合网络直接从输入的对齐图像中输出融合后的图像，实现了多焦点图像融合，使获得的拼接图像各部分完全清晰，在图像对重叠区域存在弱纹理区域的情况下也能实现精确拼接。
传统的基于特征点匹配的图像拼接算法要求图像内容足够丰富，可提取到较多的特征点，并获得较多的匹配特征点对，严重依赖于所拍摄图像内容。而本发明的方法采用深度学习的方式不依赖于图像的内容，适用范围广，即方法的鲁棒性强。
在其中一个实施例中，对于步骤102，利用图像配准算法得到每组图像对对应的理想标签，包括：
201：利用图像配准算法提取每组图像对的SURF特征描述子，根据SURF特征描述子进行特征预匹配；
SURF的全称为Speed Up Robust Features，是一种加速版的具有鲁棒性的特征算法，该算法通过采用Haar特征以及积分图像的概念，大大加速了程序的运行时间。
202：利用RANSAC算法剔除特征预匹配过程中的误匹配特征点，获得匹配结果，根据匹配结果计算单应矩阵；
RANSAC（Random Sample Consensus），为随机抽样一致性算法。它可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。它是一种不确定的算法，有一定的概率得到一个合理的结果。
203：利用单应矩阵对图像对中的一张图像进行变换，并将变换后的图像与图像对中的另一张图像进行对齐，获得对齐图像，所述对齐图像为图像对对应的理想标签。
在下一个实施例中，对于步骤103，显微图像拼接模型如图2所示，为两阶段双网络级联的模型，第一阶段采用像素级的图像配准网络（简称为PWIRNet）对输入的图像对进行配准，输出对齐后的对齐图像；第二阶段采用多聚焦的图像融合网络（简称为MFIFNet）对输入的对齐图像中的重叠部分进行多焦点融合，输出大尺寸的拼接图像。
图像配准网络主要是一个类似于U-Net架构的编解码器框架，其输入两张大小为H×W×1（H为高度，W为宽度，1为通道数）的图像对，输出映射表
，即水平方向上的映射表
和垂直方向上的映射表
，
和
大小相同。对于每个像素，映射表中的对应值表示在对齐视图下将该像素的原始位置变换到对齐位置的映射，即通过映射表可确定原始图像中各个像素在对齐图像中对应的位置。
图像配准网络（简称为PWIRNet）为像素级网络，如图3所示，包括编码器模块、解码器模块和空间变换模块；
编码器模块用于从输入的图像对中提取高层特征，依次包括8个卷积层（conv1~conv8），每个卷积层的卷积核大小为3×3，步长为1，每层的特征图数量依次为32、64、128、256、256、256、256、256；
解码器模块用于对编码器模块提取的高层特征进行解码获得细映射表
，水平方向上的细映射表
和垂直方向上的细映射表
，
和
大小相同，依次包括7个反卷积层（deconv7~deconv1，每个反卷积层的卷积核大小为3×3，步长为1）和1个卷积层（conv9），每个反卷积层对应一个编码器模块中的卷积层，每个反卷积层与对应的卷积层通过跳跃连接方式相连，每个反卷积层的特征图数量与对应的卷积层中的特征图数量相同；
空间变换模块用于将仿射变换Ht和恒定矩阵A进行乘法操作，获得粗映射表
，水平方向上的粗映射表
和垂直方向上的粗映射表
，
和
大小相同，将细映射表
与粗映射表
进行叠加获得映射表
，利用映射表
对图像对中的一张图像进行变换，并将变换后的图像与图像对中的另一张图像进行对齐，获得对齐图像。
在某个实施例中，仿射变换Ht为将编码器模块中最后一个卷积层（conv8）输出的特征图经过一个卷积层（conv10）进行下采样后再经过一个1×1的卷积层（conv11）而获得。
图像融合网络为多聚焦网络，如图4所示，包括两个并列的特征提取子网络（两个并列的特征提取子网络分别用于对输入的图像Input1和Input2进行特征提取），融合模块和特征重构模块（Feature Reconstruction Module），特征提取子网络包括2个卷积层（conv1和conv2；conv1的卷积核大小为3×3，）输出64维的特征图；conv2没有激活函数）和1个位于2个卷积层之间的特征提取模块（Feature Extraction Module）；
特征提取模块用于对输入的图像进行特征提取获得高维非线性的特征图，依次包括5个卷积层（conv），每个卷积层后面连接一个ReLU非线性激活层；每个卷积层的卷积核大小为3×3，每层的特征图数量均为64。
融合模块用于将两个并列的特征提取子网络输出的特征图进行融合，包括1个融合层（Fuse）；
特征重构模块用于对融合模块输出的融合特征图进行重构，获得局部融合图像，将局部融合图像与对齐图像中不重叠的部分进行级联，获得拼接图像，依次包括7个卷积层（conv），前6个卷积层后面均连接一个Leaky-ReLU非线性激活层，第7个卷积层后面连接1个Sigmoid层；每个卷积层的卷积核大小为3×3，每层的特征图数量均为64。
Input1和Input2为对齐图像中相互重叠的部分的两张图，分别输入两个并列的特征提取子网络，首先经过卷积层conv1得到64维的特征图，然后分别输入到特征提取模块（Feature Extraction Module）获得高维非线性的特征图，并经过一个没有激活函数的卷积层conv2，接下来将输出的两个特征图在融合层Fuse进行融合，融合后的特征图输入到特征重构模块（Feature Reconstruction Module）获得局部融合图像，最后将获得的局部融合图像与对齐图像中不重叠的部分（不重叠的部分即为未参与融合的图像区域）进行级联，生成大尺寸的拼接图像Fused Image。
在下一个实施例中，对于步骤104~105，显微图像拼接模型的训练分两个阶段，第一阶段为利用训练集训练图像配准网络，获得图像配准网络的参数；第二阶段为根据第一阶段获得的参数固定图像配准网络，利用图像配准网络输出的对齐图像，采用无监督的方式训练图像融合网络，获得图像融合网络的参数。
先单独训练第一阶段的图像配准网络，利用均值为0和标准差为0.02的正态分布初始化像素级的图像配准网络的所有权值，采用Adam优化算法，初始学习率设置为0.002，在每10k次迭代中，学习率乘以0.1。
第一阶段训练完成后，根据第一阶段获得的参数固定图像配准网络，采用无监督的方式训练图像融合网络，利用图像结构相似性作为损失函数指导多聚焦的图像融合网络的无监督学习。在图像融合网络的训练过程中，采用无监督的方式进行训练，避免了大量合成训练样本集的需求，使训练后的模型在真实数据集中拼接效果好。
在某个实施例中，为了确保图像配准网络正确的预测像素级的映射表，采用了如下所示的损失函数来指导像素级图像配准网络的训练过程：
式中，I表示图像对中的一张图像；
表示对I进行变换后的对齐图像；
表示图像对对应的理想标签；
表示内容损失函数；
表示形状损失函数；
表示总的损失函数。
图像融合网络在训练中采用的损失函数为：
式中，
表示总的损失函数；x 1和x 2表示输入的对齐图像中相互重叠的部分；
表示输出的拼接图像；
表示局部窗口；N表示图像中滑动窗口总的个数；
表示局部窗口内图像块的相似性测量。
本发明还提出一种用于显微图像实时拼接的系统，包括：
图像获取模块，用于获取局部显微图像；
训练集生成模块，用于将局部显微图像中的相邻局部显微图像组成图像对，利用图像配准模型得到每组图像对对应的理想标签，所有的图像对和理想标签共同构成训练集；
模型训练模块，用于将所述训练集输入到预先构建的显微图像拼接模型中，所述显微图像拼接模型包括图像配准网络和图像融合网络；利用图像配准网络对输入的图像对进行配准，并根据图像对对应的理想标签，获得映射表，根据所述映射表对图像对进行对齐，获得对齐图像；提取所述对齐图像中相互重叠的部分，利用图像融合网络对对齐图像中相互重叠的部分进行融合，获得局部融合图像，将所述局部融合图像与对齐图像中不重叠的部分进行级联，获得拼接图像，并得到训练好的显微图像拼接模型；
图像拼接模块，用于利用训练好的显微图像拼接模型对待拼接局部显微图像进行拼接，获得拼接图像。
在其中一个实施例中，训练集生成模块还包括：
利用图像配准算法提取每组图像对的SURF特征描述子，根据所述SURF特征描述子进行特征预匹配；
利用RANSAC算法剔除特征预匹配过程中的误匹配特征点，获得匹配结果，根据所述匹配结果计算单应矩阵；
利用所述单应矩阵对图像对中的一张图像进行变换，并将变换后的图像与图像对中的另一张图像进行对齐，获得对齐图像，所述对齐图像为图像对对应的理想标签。
在下一个实施例中，对于模型训练模块，图像配准网络为像素级网络，包括编码器模块、解码器模块和空间变换模块；
所述编码器模块用于从输入的图像对中提取高层特征，依次包括8个卷积层；
所述解码器模块用于对编码器模块提取的高层特征进行解码获得细映射表，依次包括7个反卷积层和1个卷积层，每个所述反卷积层对应一个所述编码器模块中的卷积层，每个所述反卷积层与对应的卷积层通过跳跃连接方式相连，每个所述反卷积层的特征图数量与对应的卷积层中的特征图数量相同；
所述空间变换模块用于将仿射变换和恒定矩阵进行乘法操作，获得粗映射表，将所述细映射表与所述粗映射表进行叠加获得映射表，利用所述映射表对图像对中的一张图像进行变换，并将变换后的图像与图像对中的另一张图像进行对齐，获得对齐图像。
在另一个实施例中，对于模型训练模块，所述仿射变换为将编码器模块中最后一个卷积层输出的特征图经过一个卷积层进行下采样后再经过一个1×1的卷积层而获得。
在下一个实施例中，对于模型训练模块，所述图像融合网络为多聚焦网络，包括两个并列的特征提取子网络，融合模块和特征重构模块，所述特征提取子网络包括2个卷积层和1个位于所述2个卷积层之间的特征提取模块；
所述特征提取模块用于对输入的图像进行特征提取，依次包括5个卷积层，每个所述卷积层后面连接一个ReLU非线性激活层；
所述融合模块用于将两个并列的特征提取子网络输出的特征图进行融合，包括1个融合层；
所述特征重构模块用于对融合模块输出的融合特征图进行重构，获得局部融合图像，将所述局部融合图像与对齐图像中不重叠的部分进行级联，获得拼接图像，依次包括7个卷积层，前6个卷积层后面均连接一个Leaky-ReLU非线性激活层，第7个卷积层后面连接1个Sigmoid层。
在下一个实施例中，对于模型训练模块，所述显微图像拼接模型的训练分两个阶段，第一阶段为利用训练集训练图像配准网络，获得图像配准网络的参数；第二阶段为根据第一阶段获得的参数固定图像配准网络，利用图像配准网络输出的对齐图像，采用无监督的方式训练图像融合网络，获得图像融合网络的参数。
在某个实施例中，对于模型训练模块，所述图像配准网络在训练中采用的损失函数为：
式中，I表示图像对中的一张图像；
表示对I进行变换后的对齐图像；
表示图像对对应的理想标签；
表示内容损失函数；
表示形状损失函数；
表示总的损失函数；
所述图像融合网络在训练中采用的损失函数为：
式中，
表示总的损失函数；x 1和x 2表示输入的对齐图像中相互重叠的部分；
表示输出的拼接图像；
表示局部窗口；N表示图像中滑动窗口总的个数；
表示局部窗口内图像块的相似性测量。
本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的方法的步骤。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (10)
1.一种用于显微图像实时拼接的方法，其特征在于，包括：
获取局部显微图像；
将局部显微图像中的相邻局部显微图像组成图像对，利用图像配准算法得到每组图像对对应的理想标签，所有的图像对和理想标签共同构成训练集；
将所述训练集输入到预先构建的显微图像拼接模型中，所述显微图像拼接模型包括图像配准网络和图像融合网络；
利用图像配准网络对输入的图像对进行配准，并根据图像对对应的理想标签，获得映射表，根据所述映射表对图像对进行对齐，获得对齐图像；
提取所述对齐图像中相互重叠的部分，利用图像融合网络对对齐图像中相互重叠的部分进行融合，获得局部融合图像，将所述局部融合图像与对齐图像中不重叠的部分进行级联，获得拼接图像，并得到训练好的显微图像拼接模型；
利用训练好的显微图像拼接模型对待拼接局部显微图像进行拼接，获得拼接图像。
2.如权利要求1所述的用于显微图像实时拼接的方法，其特征在于，利用图像配准算法得到每组图像对对应的理想标签，包括：
利用图像配准算法提取每组图像对的SURF特征描述子，根据所述SURF特征描述子进行特征预匹配；
利用RANSAC算法剔除特征预匹配过程中的误匹配特征点，获得匹配结果，根据所述匹配结果计算单应矩阵；
利用所述单应矩阵对图像对中的一张图像进行变换，并将变换后的图像与图像对中的另一张图像进行对齐，获得对齐图像，所述对齐图像为图像对对应的理想标签。
3.如权利要求1所述的用于显微图像实时拼接的方法，其特征在于，所述图像配准网络为像素级网络，包括编码器模块、解码器模块和空间变换模块；
所述编码器模块用于从输入的图像对中提取高层特征，依次包括8个卷积层；
所述解码器模块用于对编码器模块提取的高层特征进行解码获得细映射表，依次包括7个反卷积层和1个卷积层，每个所述反卷积层对应一个所述编码器模块中的卷积层，每个所述反卷积层与对应的卷积层通过跳跃连接方式相连，每个所述反卷积层的特征图数量与对应的卷积层中的特征图数量相同；
所述空间变换模块用于将仿射变换和恒定矩阵进行乘法操作，获得粗映射表，将所述细映射表与所述粗映射表进行叠加获得映射表，利用所述映射表对图像对中的一张图像进行变换，并将变换后的图像与图像对中的另一张图像进行对齐，获得对齐图像。
4.如权利要求3所述的用于显微图像实时拼接的方法，其特征在于，所述仿射变换为将编码器模块中最后一个卷积层输出的特征图经过一个卷积层进行下采样后再经过一个1×1的卷积层而获得。
5.如权利要求1所述的用于显微图像实时拼接的方法，其特征在于，所述图像融合网络为多聚焦网络，包括两个并列的特征提取子网络，融合模块和特征重构模块，所述特征提取子网络包括2个卷积层和1个位于所述2个卷积层之间的特征提取模块；
所述特征提取模块用于对输入的图像进行特征提取，依次包括5个卷积层，每个所述卷积层后面连接一个ReLU非线性激活层；
所述融合模块用于将两个并列的特征提取子网络输出的特征图进行融合，包括1个融合层；
所述特征重构模块用于对融合模块输出的融合特征图进行重构，获得局部融合图像，将所述局部融合图像与对齐图像中不重叠的部分进行级联，获得拼接图像，依次包括7个卷积层，前6个卷积层后面均连接一个Leaky-ReLU非线性激活层，第7个卷积层后面连接1个Sigmoid层。
6.如权利要求1所述的用于显微图像实时拼接的方法，其特征在于，所述显微图像拼接模型的训练分两个阶段，第一阶段为利用训练集训练图像配准网络，获得图像配准网络的参数；第二阶段为根据第一阶段获得的参数固定图像配准网络，利用图像配准网络输出的对齐图像，采用无监督的方式训练图像融合网络，获得图像融合网络的参数。
7.如权利要求1或6所述的用于显微图像实时拼接的方法，其特征在于，所述图像配准网络在训练中采用的损失函数为：
式中，I表示图像对中的一张图像；
表示对I进行变换后的对齐图像；
表示图像对对应的理想标签；
表示内容损失函数；
表示形状损失函数；
表示总的损失函数；
所述图像融合网络在训练中采用的损失函数为：
式中，
表示总的损失函数；x 1和x 2表示输入的对齐图像中相互重叠的部分；
表示输出的拼接图像；
表示局部窗口；N表示图像中滑动窗口总的个数；
表示局部窗口内图像块的相似性测量。
8.一种用于显微图像实时拼接的系统，其特征在于，包括：
图像获取模块，用于获取局部显微图像；
训练集生成模块，用于将局部显微图像中的相邻局部显微图像组成图像对，利用图像配准模型得到每组图像对对应的理想标签，所有的图像对和理想标签共同构成训练集；
模型训练模块，用于将所述训练集输入到预先构建的显微图像拼接模型中，所述显微图像拼接模型包括图像配准网络和图像融合网络；利用图像配准网络对输入的图像对进行配准，并根据图像对对应的理想标签，获得映射表，根据所述映射表对图像对进行对齐，获得对齐图像；提取所述对齐图像中相互重叠的部分，利用图像融合网络对对齐图像中相互重叠的部分进行融合，获得局部融合图像，将所述局部融合图像与对齐图像中不重叠的部分进行级联，获得拼接图像，并得到训练好的显微图像拼接模型；
图像拼接模块，用于利用训练好的显微图像拼接模型对待拼接局部显微图像进行拼接，获得拼接图像。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1~7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1~7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010950938.5A CN111815690B (zh) | 2020-09-11 | 2020-09-11 | 一种用于显微图像实时拼接的方法、系统和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010950938.5A CN111815690B (zh) | 2020-09-11 | 2020-09-11 | 一种用于显微图像实时拼接的方法、系统和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111815690A true CN111815690A (zh) | 2020-10-23 |
| CN111815690B CN111815690B (zh) | 2020-12-08 |
Family
ID=72859295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010950938.5A Active CN111815690B (zh) | 2020-09-11 | 2020-09-11 | 一种用于显微图像实时拼接的方法、系统和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111815690B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102021213757B3 (de) | 2021-12-03 | 2023-02-02 | Continental Autonomous Mobility Germany GmbH | Verfahren zum Fusionieren von Bilddaten im Kontext eines künstlichen neuronalen Netzwerks |
| WO2023206475A1 (zh) * | 2022-04-29 | 2023-11-02 | 北京小米移动软件有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976436A (zh) * | 2010-10-14 | 2011-02-16 | 西北工业大学 | 一种基于差分图修正的像素级多聚焦图像融合方法 |
| CN103679674A (zh) * | 2013-11-29 | 2014-03-26 | 航天恒星科技有限公司 | 一种无人飞行器实时图像拼接方法及系统 |
| CN104618625A (zh) * | 2015-01-30 | 2015-05-13 | 电子科技大学 | Cis大幅面扫描仪的图像融合拼接方法 |
| CN106910192A (zh) * | 2017-03-06 | 2017-06-30 | 长沙全度影像科技有限公司 | 一种基于卷积神经网络的图像融合效果评估方法 |
| CN110232673A (zh) * | 2019-05-30 | 2019-09-13 | 电子科技大学 | 一种基于医疗显微成像的快速稳健的图像拼接方法 |
| US20200064549A1 (en) * | 2018-08-02 | 2020-02-27 | Furukawa Electric Co., Ltd. | Fusion splicing system, fusion splicer and method of determining rotation angle of optical fiber |
| CN111626936A (zh) * | 2020-05-22 | 2020-09-04 | 湖南国科智瞳科技有限公司 | 一种显微图像的快速全景拼接方法及系统 |
| CN111626933A (zh) * | 2020-05-14 | 2020-09-04 | 湖南国科智瞳科技有限公司 | 一种精准、快速的显微图像拼接方法及系统 |
-
2020
- 2020-09-11 CN CN202010950938.5A patent/CN111815690B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976436A (zh) * | 2010-10-14 | 2011-02-16 | 西北工业大学 | 一种基于差分图修正的像素级多聚焦图像融合方法 |
| CN103679674A (zh) * | 2013-11-29 | 2014-03-26 | 航天恒星科技有限公司 | 一种无人飞行器实时图像拼接方法及系统 |
| CN104618625A (zh) * | 2015-01-30 | 2015-05-13 | 电子科技大学 | Cis大幅面扫描仪的图像融合拼接方法 |
| CN106910192A (zh) * | 2017-03-06 | 2017-06-30 | 长沙全度影像科技有限公司 | 一种基于卷积神经网络的图像融合效果评估方法 |
| US20200064549A1 (en) * | 2018-08-02 | 2020-02-27 | Furukawa Electric Co., Ltd. | Fusion splicing system, fusion splicer and method of determining rotation angle of optical fiber |
| CN110232673A (zh) * | 2019-05-30 | 2019-09-13 | 电子科技大学 | 一种基于医疗显微成像的快速稳健的图像拼接方法 |
| CN111626933A (zh) * | 2020-05-14 | 2020-09-04 | 湖南国科智瞳科技有限公司 | 一种精准、快速的显微图像拼接方法及系统 |
| CN111626936A (zh) * | 2020-05-22 | 2020-09-04 | 湖南国科智瞳科技有限公司 | 一种显微图像的快速全景拼接方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102021213757B3 (de) | 2021-12-03 | 2023-02-02 | Continental Autonomous Mobility Germany GmbH | Verfahren zum Fusionieren von Bilddaten im Kontext eines künstlichen neuronalen Netzwerks |
| WO2023206475A1 (zh) * | 2022-04-29 | 2023-11-02 | 北京小米移动软件有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111815690B (zh) | 2020-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10339633B2 (en) | Method and device for super-resolution image reconstruction based on dictionary matching | |
| Hui et al. | Progressive perception-oriented network for single image super-resolution | |
| CN107358576A (zh) | 基于卷积神经网络的深度图超分辨率重建方法 | |
| CN109523470B (zh) | 一种深度图像超分辨率重建方法及系统 | |
| CN104599258B (zh) | 一种基于各向异性特征描述符的图像拼接方法 | |
| Cai et al. | FCSR-GAN: Joint face completion and super-resolution via multi-task learning | |
| CN104616247B (zh) | 一种用于基于超像素sift航拍地图拼接的方法 | |
| CN111815690B (zh) | 一种用于显微图像实时拼接的方法、系统和计算机设备 | |
| CN111626927B (zh) | 采用视差约束的双目图像超分辨率方法、系统及装置 | |
| Zuo et al. | Frequency-dependent depth map enhancement via iterative depth-guided affine transformation and intensity-guided refinement | |
| CN115358932A (zh) | 一种多尺度特征融合的人脸超分辨率重构方法及系统 | |
| Zhou et al. | Single image super-resolution using incoherent sub-dictionaries learning | |
| Li et al. | Depth image super-resolution using correlation-controlled color guidance and multi-scale symmetric network | |
| Li et al. | Image reflection removal using end‐to‐end convolutional neural network | |
| Zuo et al. | MIG-net: Multi-scale network alternatively guided by intensity and gradient features for depth map super-resolution | |
| Zheng et al. | Double-branch dehazing network based on self-calibrated attentional convolution | |
| Abbass et al. | Image super resolution based on residual dense CNN and guided filters | |
| Hua et al. | Dynamic scene deblurring with continuous cross-layer attention transmission | |
| CN113962905A (zh) | 基于多阶段特征互补网络的单幅图像去雨方法 | |
| Wang et al. | Msfnet: multistage fusion network for infrared and visible image fusion | |
| CN112270748B (zh) | 基于图像的三维重建方法及装置 | |
| CN116188272B (zh) | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 | |
| CN111696167A (zh) | 自范例学习引导的单张影像超分辨率重构方法 | |
| Chudasama et al. | Compact and progressive network for enhanced single image super-resolution—ComPrESRNet | |
| Li et al. | RGSR: A two-step lossy JPG image super-resolution based on noise reduction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |