CN114252423B - 超分辨显微镜完全采样图像的生成方法、装置 - Google Patents

超分辨显微镜完全采样图像的生成方法、装置 Download PDF

Info

Publication number
CN114252423B
CN114252423B CN202111599954.5A CN202111599954A CN114252423B CN 114252423 B CN114252423 B CN 114252423B CN 202111599954 A CN202111599954 A CN 202111599954A CN 114252423 B CN114252423 B CN 114252423B
Authority
CN
China
Prior art keywords
super
image
resolution
branch
microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111599954.5A
Other languages
English (en)
Other versions
CN114252423A (zh
Inventor
姜伟
徐蕾
阚世超
余茜颖
傅煜夏
梁彦辉
张萌萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamde Ningbo Intelligent Medical Technology Co ltd
Original Assignee
Hamde Ningbo Intelligent Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamde Ningbo Intelligent Medical Technology Co ltd filed Critical Hamde Ningbo Intelligent Medical Technology Co ltd
Priority to CN202111599954.5A priority Critical patent/CN114252423B/zh
Publication of CN114252423A publication Critical patent/CN114252423A/zh
Application granted granted Critical
Publication of CN114252423B publication Critical patent/CN114252423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Processing (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明提供了一种超分辨显微镜完全采样图像的生成方法、装置、电子设备和存储介质，所述完全采样图像的生成方法通过对多种高等真核生物细胞系亚细胞结构进行标签蛋白标记可视化或免疫荧光染色可视化得到成像样品；对所述成像样品同时进行低分辨宽场显微镜和超分辨显微镜拍摄得到训练集和测试集；基于所述训练集和测试集对预先构建的X‑Net深度学习网络进行训练和测试得到双分支目标模型；将待生成低分辨率宽场图像与超分辨显微镜采集的欠采样图像联合输入到所述双分支目标模型的每个分支得到超分辨显微镜完全采样图像；将待生成的超分辨欠采样图像输入到所述双分支目标模型的每个分支得到超分辨显微镜完全采样图像。

Description

超分辨显微镜完全采样图像的生成方法、装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种超分辨显微镜完全采样图像的生成方法、装置、电子设备及存储介质。
背景技术
普通光学显微镜存在衍射极限导致横向分辨率仅为200-300nm，轴向分辨率仅为300-500nm。超分辨显微镜通过结构光照明或单分子定位等技术实现了纳米级的分辨率。但超分辨显微镜价格昂贵、样本制备需要实验人员的先验知识，成像时间漫长，图像后处理复杂等缺点限制了它的广泛使用。近年来，深度学习开始应用到荧光显微镜图像分析、图像处理与图像恢复及重建上，但目前还没有一种能够在小数据集训练下精准的从仅输入超分辨显微镜欠采样图像(sparse)或者共同输入低分辨率宽场显微镜图像(widefield，WF)+超分辨显微镜欠采样图像(sparse)重建出超分辨完全采样图像(完美图像，perfect)的深度学习网络，因此开发一种能够从低分辨率宽场图像和超分辨显微镜欠采样图像作为双分支输入便能够得到超分辨显微镜完全采样图像，或者双分支仅输入超分辨显微镜欠采样图像便能够得到超分辨显微镜完全采样图像的深度学习模型是非常必要的，模型建成后，不仅可加速简化超分辨显微成像获取方法，提高实验效率，还可对分子影像学在细胞分子生物学研究中的应用与发展起重要的推动作用。
发明内容
本发明的实施例提供了一种超分辨显微镜完全采样图像的生成方法、装置、电子设备和存储介质，能够实现快速精准重建超分辨显微镜完全采样图像的策略和方法，可广泛应用于分子影像学与细胞分子生物学研究。
第一方面，本发明的实施例提供了一种超分辨显微镜完全采样图像的生成方法，所述完全采样图像的生成方法包括：
通过对多种高等真核生物细胞系亚细胞结构进行标签蛋白标记可视化或免疫荧光染色可视化得到成像样品；
对所述成像样品同时进行低分辨率宽场显微镜和STORM超分辨显微镜成像及分析处理得到训练集和测试集；
基于所述训练集和测试集对预先构建的X-Net深度学习网络进行训练和测试得到双分支目标模型；
将待生成的低分辨率宽场图像与超分辨显微镜采集的欠采样图像分别输入到所述双分支目标模型的每个分支得到超分辨显微镜完全采样图像；或者，
将待生成的超分辨显微镜采集的欠采样图像分别输入到所述双分支目标模型的每个分支得到超分辨显微镜完全采样图像。
作为一种可能实现的实施方式，所述对所述成像样品进行处理得到训练集和测试集包括：
利用低分辨率荧光显微镜和超分辨显微镜对所述成像样品进行成像得到数据集，所述数据集包含多个低分辨率宽场图像和超分辨率采样图像数据对；
将每个超分辨采样图像数据按照采样密度定义为不同的超分辨采样图像；同时，将低分辨率宽场图像和不同的超分辨采样图像对随机分为训练集和测试集。
作为一种可能实现的实施方式，所述预先构建的X-Net深度学习网络是基于U-Net融合的双分支输入可对称互惠监督网络。
作为一种可能实现的实施方式，所述基于U-Net融合的双分支输入可对称互惠监督网络包括：
一个输入尺度灵活的生成器和一个输入尺度灵活的判别器；所述生成器由上下两个分支的编码器和解码器构成，上下分支分别由8个堆叠的卷积层构成的编码器和8个堆叠的反卷积层构成的解码器组成，上下分支的解码器输出的重建结果通过1个卷积层融合得到最终重建结果；其中，所述生成器中的特征图大小是根据输入图像大小自动计算得到；所述生成器和判别器相互对抗实现对所述双分支目标模型的对抗训练。
作为一种可能实现的实施方式，所述判别器用于辅助所述双分支目标模型训练，共包含4个卷积层，1个空间金字塔池化层和1个用于分类输入是否包含真实超分辨显微镜完全采样图像的全连接分类层。
作为一种可能实现的实施方式，所述双分支目标模型包含两个训练好的第一模型A和第二模型B，其中所述第一模型A基于两张相同欠采样图像作为双分支输入训练得到，所述第二模型B基于宽场图像和欠采样图像作为双分支输入训练得到。
作为一种可能实现的实施方式，所述双分支目标模型的对抗网络的损失函数采用交叉熵损失、L1损失和MS-SSIM损失；MS-SSIM损失为1与所述真实超分辨显微镜perfect图像和重建的超分辨显微镜perfect图像之间的MS-SSIM值之差；通过损失值反向传播更新模型参数；所述判别器采用交叉熵损失反向传播更新模型参数。
第二方面，本发明的实施例提供了一种超分辨显微镜完全采样图像的生成装置，所述完全采样图像的生成装置包括：
获取模块，通过对多种高等真核生物细胞系亚细胞结构进行标签蛋白标记可视化或免疫荧光染色可视化得到成像样品；
预处理模块，用于对所述成像样品同时进行低分辨率宽场显微镜和STORM超分辨显微镜成像及分析处理到训练集和测试集；
训练模块，基于所述训练集和测试集对预先构建的X-Net深度学习网络进行训练和测试得到双分支目标模型；
生成模块，用于将待生成的低分辨率宽场图像与超分辨显微镜采集的欠采样图像分别输入到所述双分支目标模型的每个分支得到超分辨显微镜完全采样图像；或者，
用于将待生成的超分辨显微镜采集的欠采样图像分别输入到所述双分支目标模型的每个分支得到超分辨显微镜完全采样图像。
第三方面，本发明的实施例提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如第一方面任一项所述的方法。
第四方面，本发明的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的方法。
本发明提供了一种超分辨显微镜完全采样图像的生成方法、装置、电子设备和存储介质，所述完全采样图像的生成方法通过对多种高等真核生物细胞系亚细胞结构进行标签蛋白标记可视化或免疫荧光染色可视化得到成像样品；对所述成像样品同时进行低分辨率宽场显微镜和STORM超分辨显微镜成像及分析处理到训练集和测试集；基于所述训练集和测试集对预先构建的X-Net深度学习网络进行训练和测试得到双分支目标模型；将待生成的低分辨率宽场图像与超分辨显微镜采集的欠采样图像分别输入到所述双分支目标模型的每个分支得到超分辨显微镜完全采样图像；或者，将待生成的超分辨显微镜采集的欠采样图像分别输入到所述双分支目标模型的每个分支得到超分辨显微镜完全采样图像。
与现有技术相比，本发明的优点是：(1)X-Net支持任意尺度的双分支输入，即低分辨率宽场图像与超分辨显微镜采集的欠采样图像作为共同输入或双分支输入均为超分辨欠采样图像，所述双分支目标模型能够通过端到端重建为超分辨完全采样图像，重建过程中不会产生信息损失，完整保留了分子影像学图像的原始结构分布和量化尺度。(2)双分支输入能很好的捕获每个输入分支的细节信息，保证重建图像的完整性和高保真度，同时对称互惠能加速模型训练，实现信息在不同分支的共享。(3)所述双分支目标模型具有通用性，能够对不同细胞系的不同亚细胞结构进行快速测试输出。(4)双分支目标模型重建出的超分辨完全采样图像具有超高精确度和鲁棒性，能够很好的模拟真实超分辨显微镜采集的完全采样图像。
应当理解，发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明的实施例的一种超分辨显微镜完全采样图像的生成方法的流程图；
图2是本发明实施例的X-Net深度学习网络架构示意图；
图3是本发明实施例的输入尺度灵活的生成器结构示意图；
图4是本发明实施例的输入尺度灵活的判别器结构示意图；
图5是本发明实施例的输入两张相同sparse图像和模型重建的超分辨图像示意图；
图6示出了本发明的实施例的输入低分辨WF图像+超分辨显微镜sparse图像和模型重建的超分辨图像示意图
图7示出了本发明的实施例的一种超分辨显微镜完全采样图像的生成装置的结构示意图；
图8示出了本发明实施例的一种电子设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
本发明是基于深度学习网络和分子影像学中的超分辨显微成像技术的学科交叉融合，实现利用低分辨率宽场图像与超分辨显微镜采集的欠采样图像作为双分支共同输入或仅输入超分辨欠采样图像便能够快速准确重建出超分辨显微图像的策略和方法。本发明涉及领域包含超分辨显微镜成像与图像分析处理、图像恢复、图像重建以及一种基于新型双分支输入可对称互惠监督网络X-Net的深度学习模型来实现快速精准重建超分辨显微图像的策略和方法，可广泛应用于分子影像学与细胞分子生物学研究。
需要说明的是，本发明实施例描述的仅仅是为了更加清楚的说明本发明实施例的技术方案，并不构成对本发明实施例提供的技术方案的限定。
图1示出了本发明的实施例的一种超分辨显微镜欠采样图像的生成方法，所述欠采样图像的生成方法包括：
S20、通过对多种高等真核生物细胞系亚细胞结构进行标签蛋白标记可视化或免疫荧光染色可视化得到成像样品；例如，通过对多种高等真核生物细胞系如人类HeLa和U373MG等细胞系亚细胞结构如细胞质内细胞骨架微管、微丝和细胞核内染色质高级结构核小体蛋白histone-H2B等进行标签蛋白标记可视化或免疫荧光染色可视化获得成像样品；
S40、对所述成像样品同时进行低分辨率宽场显微镜和STORM超分辨显微镜成像及分析处理得到训练集和测试集；
例如，利用低分辨率荧光显微镜如宽场显微镜和超分辨显微镜STORM对S1所获样品进行成像，成像后的数据集包含多个FOVs(Fields of view)的宽场图像和超分辨率图像数据对，将每个FOV的超分辨图像数据集按照采样密度定义为不同的超分辨采样图像。同时，将宽场图像和不同的超分辨采样图像对随机分为训练集和测试集；
S60、基于所述训练集和测试集对预先构建的X-Net深度学习网络进行训练和测试得到双分支目标模型；在U-Net基础上，融合双分支输入可对称互惠监督的思想，设计一种新型的能够实现同时输入低分辨率宽场图像与超分辨显微镜采集的欠采样图像或只输入超分辨欠采样图像便能够快速准确重建出超分辨显微图像的策略和方法；利用步骤S40中的训练集和测试集对X-Net进行训练及测试，获得能够将低分辨率宽场图像与超分辨显微镜采集的欠采样图像联合输入或只输入超分辨欠采样图像便能够快速、精准、高鲁棒的重建出超分辨完全采样图像的X-Net模型(双分支目标模型)。
S80、将待生成的低分辨率宽场图像与超分辨显微镜采集的欠采样图像分别输入到所述双分支目标模型的每个分支得到超分辨显微镜完全采样图像；或者，
将待生成的超分辨显微镜采集的欠采样图像分别输入到所述双分支目标模型的每个分支得到超分辨显微镜完全采样图像。
本发明实施例提供了一种超分辨显微镜完全采样图像的生成方法，通过对多种高等真核生物细胞系亚细胞结构进行标签蛋白标记可视化或免疫荧光染色可视化得到成像样品；对所述成像样品同时进行低分辨率宽场显微镜和STORM超分辨显微镜成像及分析处理到训练集和测试集；基于所述训练集和测试集对预先构建的X-Net深度学习网络进行训练和测试得到双分支目标模型；将待生成的低分辨率宽场图像与超分辨显微镜采集的欠采样图像分别输入到所述双分支目标模型的每个分支得到超分辨显微镜完全采样图像；或者，将待生成的超分辨显微镜欠采样图像分别输入到所述双分支目标模型的每个分支得到超分辨显微镜完全采样图像。X-Net支持任意尺度的双分支输入，即低分辨率宽场图像与超分辨显微镜采集的欠采样图像作为共同输入或双分支输入均为超分辨欠采样图像，所述双分支目标模型能够通过端到端重建为超分辨完全采样图像，重建过程中不会产生信息损失，完整保留了分子影像学图像的原始结构分布和量化尺度。双分支输入能很好的捕获每个输入分支的细节信息，保证重建图像的完整性和高保真度，同时对称互惠能加速模型训练，实现信息在不同分支的共享。所述双分支目标模型具有通用性，能够对不同细胞系的不同亚细胞结构进行快速测试输出。双分支目标模型重建出的超分辨完全采样图像具有超高精确度和鲁棒性，能够很好的模拟真实超分辨显微镜采集的完全采样图像。
具体地，所述预先构建的X-Net深度学习网络是基于U-Net融合的双分支输入可对称互惠监督网络。
所述基于U-Net融合的双分支输入可对称互惠监督网络包括：
一个输入尺度灵活的生成器和一个输入尺度灵活的判别器；所述生成器由上下两个分支的编码器和解码器构成，上下分支分别由8个堆叠的卷积层构成的编码器和8个堆叠的反卷积层构成的解码器组成，上下分支的解码器输出的重建结果通过1个卷积层融合得到最终重建结果；其中，所述生成器中的特征图大小是根据输入图像大小自动计算得到；所述生成器和判别器相互对抗实现对所述双分支目标模型的对抗训练。
其中，所述判别器用于辅助所述双分支目标模型训练，共包含4个卷积层，1个空间金字塔池化层和1个用于分类输入是否包含真实超分辨显微镜完全采样图像的全连接分类层。
在一些实施例中，所述双分支目标模型可以包含两个训练好的第一模型A和第二模型B，其中所述第一模型A基于两张相同欠采样图像作为双输入训练得到，所述第二模型B基于宽场图像和欠采样图像作为双输入训练得到。
在一些实施例中，所述双分支目标模型的对抗网络的损失函数采用交叉熵损失、L1损失和MS-SSIM损失；MS-SSIM损失为1与所述真实超分辨显微镜perfect图像和重建的超分辨显微镜perfect图像之间的MS-SSIM值之差；通过损失值反向传播更新模型参数；所述判别器采用交叉熵损失反向传播更新模型参数。
下面以一较优的实施例对本发明的有益效果进行说明：
通过对多种高等真核生物细胞系如人类HeLa和U373MG等细胞系亚细胞结构如细胞质内细胞骨架微管、微丝和细胞核内染色质高级结构核小体蛋白histone-H2B等进行标签蛋白标记可视化或免疫荧光染色可视化获得成像样品。
涉及的主要材料及其来源如下：
HeLa、U373MG(ATCC)、兔抗H2B(Abcam,ab1790)、甲醇(Sigma-Aldrich,34860)、乙醇(Sigma-Aldrich,51976)、DMEM培养基(Gibco,11965092)、胰蛋白酶-EDTA(Gibco,25200072)、PBS缓冲液(Gibco,20012050)、多聚甲醛(Sigma-Aldrich,158127)、戊二醛(Sigma-Aldrich,G6257)、硼氢化钠(Sigma-Aldrich,71320)、牛血清白蛋白(Sigma-Aldrich,V900933)、山羊血清(Solarbio,SL038)、鬼笔环肽-647(Invitrogen,A22287)、鼠抗tubulin(Sigma-Aldrich,T5168)、羊抗鼠-647(Invitrogen,A21236)、NaCl(Sigma-Aldrich,S9888)、三羟甲基氨基甲烷(Sigma-Aldrich,10708976001)、葡萄糖(Sigma-Aldrich,D9434)、盐酸(Sigma-Aldrich,258148)、葡萄糖氧化酶(SigmaAldrich,G7141)、过氧化氢酶(Sigma-Aldrich,C9322)、巯基乙醇(Sigma-Aldrich,M3148)、氢氧化钠(Sigma-Aldrich,S588)、氯化镁(Sigma-Aldrich,M2393)。
利用低分辨率荧光显微镜如宽场显微镜和超分辨显微镜STORM对成像样品进行成像，成像后的数据集包含多个FOVs(Fields of view)的宽场图像和超分辨率图像数据对，将每个FOV的超分辨图像数据集按照采样密度定义为不同的超分辨采样图像。同时，将宽场图像和不同的超分辨采样图像对随机分为训练集和测试集。
训练集图像定义如下：本发明中涉及的宽场图像(训练输入)均来自于宽场显微镜，超分辨显微镜总采集帧数为30000-60000帧(perfect，K＝30000-60000，用于在训练中计算SSIM值)，超分辨欠采样图像定义为从总采集帧数中随机取300-500张(sparse，K＝300-500，训练输入)，超分辨高密度采样图像(dense，类似于perfect图像，因可获得较多数量从而增加训练ground truth数据集数量，在训练时默认为perfect图像充当训练的ground truth)定义为从总采集帧数中随机取95％；X-Net的每组训练对定义为1张宽场图像，30张sparse图像，30张dense图像，1张perfect图像。
基于U-Net融合的双分支输入可对称互惠监督网络，设计一种新型的能够实现同时输入低分辨率宽场图像与超分辨显微镜采集的欠采样图像或只输入超分辨欠采样图像便能够快速准确重建出超分辨显微图像的训练策略和方法介绍如下：
如附图2～6所示，包括：
基于U-Net融合的双分支输入可对称互惠监督网络包含一个输入尺度灵活的生成器和一个输入尺度灵活的判别器；所述输入尺度灵活的生成器由上下两个分支的编码器和解码器构成，上下分支分别由8个堆叠的卷积层构成的编码器和8个堆叠的反卷积层构成的解码器组成，上下分支的解码器输出的重建结果通过1个卷积层融合得到最终重建结果。所述生成器和所述判别器均可接收任意尺度的输入图像，生成器的每一层都是由特征图构成，特征图的大小根据输入图像的大小自动计算，动态变化。所述判别器中输出向量长度与输入图像大小无关。所述输入尺度灵活的生成器和判别器相互对抗实现对超分辨显微镜图像重建模型的对抗训练。双分支目标模型训练完后，所述尺度灵活的生成器的双分支中每个分支分别输入相同的sparse或者其中一个分支输入WF图像，另一个分支输入sparse图像，重建出超分辨显微镜perfect图像。
输入尺度灵活的判别器用于辅助模型训练，共包含4个卷积层，1个空间金字塔池化层和1个用于分类输入是否包含真实超分辨显微镜perfect图像的全连接分类层。若所述生成器的输入为两张sparse图像，则所述判别器的输入为两张sparse图像+超分辨显微镜perfect图像、两张sparse图像+所述生成器重建的超分辨显微镜perfect图像；若所述生成器的输入为WF图像+sparse图像，则所述判别器的输入为WF图像+sparse图像+真实超分辨显微镜perfect图像、WF图像+sparse图像+所述生成器重建的超分辨显微镜perfect图像。所述判别器输出0或1分别表示对应的输入图像中是否包含真实超分辨显微镜perfect图像。
基于U-Net融合的双分支输入可对称互惠监督网络包含两个训练好的模型A和B，其中模型A基于两张相同sparse图像作为双分支输入训练得到，模型B基于WF图像和sparse图像作为双分支输入训练得到。所述新型双分支输入对称互惠监督网络训练方法为梯度下降法，训练过程包含输入图像尺度一致的预训练阶段和输入图像尺度灵活的微调阶段。利用训练好的模型A中的生成器将两张输入的sparse图像重建为超分辨显微镜perfect图像，利用训练后的模型B中的生成器将输入的WF图像和sparse图像重建为超分辨显微镜perfect图像。
具体的，如附图2和3所示，WF图像、sparse图像和超分辨显微镜dense图像分别缩放到576×576大小后随机裁剪512×512大小的图像。将裁剪后并随机水平翻转的两张sparse图像输入到所述双分支输入生成器中；将裁剪后并随机水平翻转的WF图像+sparse图像输入到所述双分支输入生成器中。
每个分支对应于编码器和解码器的每个卷积层和反卷积之间采用跳跃的残差和注意力将信息从编码器直接传递到解码器。卷积层和反卷积层以及对应的跳跃连接形成一个U型结构，具体地：
每个编码器第一个卷积层对输入图像使用大小为5×5的卷积核，步长为2进行卷积，其余卷积层对输入特征图使用大小为3×3的卷积核，步长为2进行卷积；所述每个解码器最后一个反卷积层对输入特征图使用大小为5×5的卷积核，步长为2进行反卷积，其余反卷积层对输入特征图使用大小为3×3的卷积核，步长为2进行反卷积。本步骤中对应的卷积和反卷积层都使用relu函数激活，同时采用批归一化(bn)算法进行归一化。
将所述上下分支编码器卷积层的输出特征图在通道维度进行拼接后，通过两个大小为1×1的卷积核，步长为1进行卷积的卷积层，得到特征图F1；将所述上(下)分支编码器卷积层的输入特征图利用大小为2×2的卷积核，步长为2进行卷积，得到特征图F2。本步骤中对应的卷积后使用relu函数激活。
特征图F1和F2在对应像素位置进行相加，并利用大小为1×1的卷积核，步长为1进行卷积，得到特征图F3。对F3使用sigmod激活函数进行激活，并使用大小为3×3的卷积核，步长为2进行反卷积，得到特征图F4。
将上(下)分支编码器卷积层的输入特征图与特征图F4在对应像素位置相乘，并利用大小为1×1的卷积核，步长为1进行卷积，通过批归一化层后得到注意力特征图F5。
在通道维度拼接的上下分支编码器特征图通过大小为3×3的卷积核，步长为2进行反卷积后，对输出特征图使用dropout以0.5概率随机去掉部分像素点，在通道维度拼接dropout输出的结果和所述输出的注意力特征图F5后，通过大小为3×3的卷积核，步长为1进行卷积，得到特征图F6。
上(下)分支编码器卷积层的输入特征图减去所述特征图F6，作为所述U型结构的残差跳跃连接。
具体的，如附图3所示，所述判别器共包含4个卷积层，1个空间金字塔池化层和1个用于分类输入是否包含真实超分辨显微镜perfect图像的全连接分类层，具体地：
对应所述双分支编码器输入为两张sparse图像，将所述sparse图像+真实的超分辨显微镜perfect图像、sparse图像+所述生成器重建的超分辨显微镜perfect图像输入所述判别器的卷积层；
对应所述双分支编码器输入为WF图像+sparse图像，将所述WF+sparse图像+真实的超分辨显微镜perfect图像、WF图像+sparse图像+所述生成器重建的超分辨显微镜perfect图像输入所述判别器的卷积层；
4个卷积层中每个卷积层的卷积核大小为3×3，步长为2。对每个卷积层采用relu函数进行激活，并采用批归一化进行归一化；
空间金子塔在1×1，2×2，3×3和4×4的网格上进行均值采样，得到固定长度的特征向量，实现输入尺度灵活的判别；
全连接层输出0或1，分别表示对应的输入图像中包含有所述输入尺度自适应生成器重建的超分辨显微镜perfect图像或真实的超分辨显微镜perfect图像。
具体的，如附图2和3所示，所述训练新型双分支输入对称互惠监督网络的损失函数采用交叉熵损失、L1损失和MS-SSIM损失；MS-SSIM损失为1与所述真实超分辨显微镜perfect图像和重建的超分辨显微镜perfect图像之间的MS-SSIM值之差；通过损失值反向传播更新模型参数。所述判别器采用交叉熵损失反向传播更新模型参数；
本发明实施时，首先使用固定图像大小为512×512，即双分支仅输入sparse图像或者双分支共同输入WF图像+sparse图像预训练所述新型双分支输入对称互惠监督网络，得到能重建512×512大小超分辨显微镜perfect图像的模型；然后，使用尺度灵活的双分支仅输入sparse图像或者双分支共同输入WF图像+sparse图像微调所述新型双分支输入对称互惠监督网络，得到能够对任意大小输入精准重建为超分辨显微镜perfect图像的模型。本发明有效提高了从不同尺度下sparse图像或者WF图像+sparse图像到超分辨显微镜perfect图像的重建性能，模型建成后，可以为有超分辨显微镜资源如STORM/PALM的实验室加速超分辨显微镜成像速度，提高实验效率，具有较大的实际应用价值。
通过训练及测试数据集对X-Net进行训练及测试，获得能够将低分辨率宽场图像与超分辨显微镜采集的欠采样图像联合输入或只输入超分辨欠采样图像便能够快速、精准、高鲁棒的重建出超分辨完全采样图像的X-Net模型。
如附图4所示，通过训练及测试数据集对X-Net进行训练，通过双分支输入sparse进入模型中的测试结果如下：a图采集的超分辨显微镜sparse图像，b图是超分辨采集的完全采样即perfect图像，c图为X-Net重建出的超分辨显微镜图像，通过计算b图和c图两张图像的结构相似性，SSIM值为0.928。
如附图6所示，通过训练及测试数据集和对X-Net进行训练，通过将X-Net的一个分支输入低分辨WF图像，另一个分支输入超分辨显微镜sparse图像进入模型中的测试结果如下：a图为低分辨宽场显微镜采集的宽场图像(WF)，b图采集的超分辨显微镜sparse图像，c图是超分辨采集的完全采样即perfect图像，d图为X-Net重建出的超分辨显微镜图像，通过计算c图和d图两张图像的结构相似性，SSIM值为0.954。
基于同一发明构思，本发明实施例还提供了一种超分辨显微镜完全采样图像的生成装置，可以用于实现上述实施例中所描述的超分辨显微镜完全采样图像的生成方法，如下面实施例所述。由于该超分辨显微镜完全采样图像的生成装置解决问题的原理与超分辨显微镜完全采样图像的生成方法相似，因此超分辨显微镜完全采样图像的生成装置的实施可以参见一种超分辨显微镜完全采样图像的生成方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7示出了本发明的实施例的本发明的实施例提供了一种超分辨显微镜完全采样图像的生成装置，所述完全采样图像的生成装置包括：
获取模块20，通过对多种高等真核生物细胞系亚细胞结构进行标签蛋白标记可视化或免疫荧光染色可视化得到成像样品；
预处理模块40，用于对所述成像样品同时进行低分辨率宽场显微镜和STORM超分辨显微镜成像及分析处理得到训练集和测试集；
训练模块60，基于所述训练集和测试集对预先构建的X-Net深度学习网络进行训练和测试得到双分支目标模型；
生成模块80，用于将待生成的低分辨率宽场图像与超分辨显微镜采集的欠采样图像分别输入到所述双分支目标模型的每个分支得到超分辨显微镜完全采样图像；或者，
用于将待生成的低分辨率宽场图像分别输入到所述双分支目标模型的每个分支得到超分辨显微镜完全采样图像。
本发明实施例提供了一种超分辨显微镜完全采样图像的生成装置，通过获取模块20对多种高等真核生物细胞系亚细胞结构进行标签蛋白标记可视化或免疫荧光染色可视化得到成像样品；预处理模块40对所述成像样品进行低分辨率宽场显微镜和STORM超分辨显微镜成像及分析处理得到训练集和测试集；训练模块60基于所述训练集和测试集对预先构建的X-Net深度学习网络进行训练和测试得到双分支目标模型；生成模块80将待生成的低分辨率宽场图像与超分辨显微镜采集的欠采样图像分别输入到所述双分支目标模型的每个分支得到超分辨显微镜完全采样图像；或者，将待生成的超分辨显微镜欠采样作为双分支输入到所述双分支目标模型得到超分辨显微镜完全采样图像。X-Net支持任意尺度的双分支输入，即低分辨率宽场图像与超分辨显微镜采集的欠采样图像作为共同输入或双分支输入均为超分辨欠采样图像，所述双分支目标模型能够通过端到端重建为超分辨完全采样图像，重建过程中不会产生信息损失，完整保留了分子影像学图像的原始结构分布和量化尺度。双分支输入能很好的捕获每个输入分支的细节信息，保证重建图像的完整性和高保真度，同时对称互惠能加速模型训练，实现信息在不同分支的共享。所述双分支目标模型具有通用性，能够对不同细胞系的不同亚细胞结构进行快速测试输出。双分支目标模型重建出的超分辨完全采样图像具有超高精确度和鲁棒性，能够很好的模拟真实超分辨显微镜采集的完全采样图像。
本发明实施例还提供了一种计算机电子设备，图8示出了可以应用本发明实施例的电子设备的结构示意图，如图8所示，该计算机电子设备包括，中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述超分辨显微镜完全采样图像的生成装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入电子设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本发明的一种超分辨显微镜完全采样图像的生成方法。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (8)

1.一种超分辨显微镜完全采样图像的生成方法，其特征在于，所述完全采样图像的生成方法包括：
通过对多种高等真核生物细胞系亚细胞结构进行标签蛋白标记可视化或免疫荧光染色可视化得到成像样品；
对所述成像样品同时进行低分辨率宽场显微镜和STORM超分辨显微镜成像及分析处理得到训练集和测试集；
基于所述训练集和测试集对预先构建的X-Net深度学习网络进行训练和测试得到双分支目标模型；所述预先构建的XNet深度学习网络是基于U-Net融合的双分支输入可对称互惠监督网络；所述基于U-Net融合的双分支输入可对称互惠监督网络包括：一个输入尺度灵活的生成器和一个输入尺度灵活的判别器；所述生成器由上下两个分支的编码器和解码器构成，上下分支分别由8个堆叠的卷积层构成的编码器和8个堆叠的反卷积层构成的解码器组成，上下分支的解码器输出的重建结果通过1个卷积层融合得到最终重建结果；其中，所述生成器中的特征图大小是根据输入图像大小自动计算得到；所述生成器和判别器相互对抗实现对所述双分支目标模型的对抗训练；
将待生成的低分辨率宽场图像与超分辨显微镜采集的欠采样图像分别输入到所述双分支目标模型的每个分支得到超分辨显微镜完全采样图像；或者，将待生成的超分辨显微镜采集的欠采样图像输入到所述双分支目标模型的每个分支得到超分辨显微镜完全采样图像。
2.根据权利要求1所述的完全采样图像的生成方法，其特征在于，所述对所述成像样品进行低分辨率宽场显微镜和STORM超分辨显微镜成像及分析处理得到训练集和测试集包括：
利用低分辨率荧光显微镜和超分辨显微镜对所述成像样品进行成像得到数据集，所述数据集包含多个低分辨率宽场图像和超分辨率采样图像数据对；
将每个超分辨采样图像数据按照采样密度定义为不同的超分辨采样图像；同时，将低分辨率宽场图像和所述不同的超分辨采样图像对随机分为训练集和测试集。
3.根据权利要求1所述的完全采样图像的生成方法，其特征在于，所述判别器用于辅助所述双分支目标模型训练，共包含4个卷积层，1个空间金字塔池化层和1个用于分类输入是否包含真实超分辨显微镜完全采样图像的全连接分类层。
4.根据权利要求1所述的完全采样图像的生成方法，其特征在于，所述双分支目标模型包含两个训练好的第一模型A和第二模型B，其中所述第一模型A基于两张相同欠采样图像作为双分支输入训练得到，所述第二模型B基于宽场图像和欠采样图像作为双分支输入训练得到。
5.根据权利要求3所述的完全采样图像的生成方法，其特征在于，所述双分支目标模型的对抗网络的损失函数采用交叉熵损失、L1损失和MS-SSIM损失；MS-SSIM损失为1与所述真实超分辨显微镜perfect图像和重建的超分辨显微镜perfect图像之间的MS-SSIM值之差；通过损失值反向传播更新模型参数；所述判别器采用交叉熵损失反向传播更新模型参数。
6.一种超分辨显微镜完全采样图像的生成装置，其特征在于，用于实现权利要求1-5任一项所述的方法，所述完全采样图像的生成装置包括：
获取模块，通过对多种高等真核生物细胞系亚细胞结构进行标签蛋白标记可视化或免疫荧光染色可视化得到成像样品；
预处理模块，用于对所述成像样品同时进行低分辨率宽场显微镜和STORM超分辨显微镜成像及分析处理得到训练集和测试集；
训练模块，基于所述训练集和测试集对预先构建的X-Net深度学习网络进行训练和测试得到双分支目标模型；
生成模块，用于将待生成的低分辨率宽场图像与超分辨显微镜采集的欠采样图像分别输入到所述双分支目标模型的每个分支得到超分辨显微镜完全采样图像；或者，
用于将待生成的超分辨显微镜采集的欠采样图像分别输入到所述双分支目标模型的每个分支得到超分辨显微镜完全采样图像。
7.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。
CN202111599954.5A 2021-12-24 2021-12-24 超分辨显微镜完全采样图像的生成方法、装置 Active CN114252423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111599954.5A CN114252423B (zh) 2021-12-24 2021-12-24 超分辨显微镜完全采样图像的生成方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111599954.5A CN114252423B (zh) 2021-12-24 2021-12-24 超分辨显微镜完全采样图像的生成方法、装置

Publications (2)

Publication Number Publication Date
CN114252423A CN114252423A (zh) 2022-03-29
CN114252423B true CN114252423B (zh) 2024-02-02

Family

ID=80797493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111599954.5A Active CN114252423B (zh) 2021-12-24 2021-12-24 超分辨显微镜完全采样图像的生成方法、装置

Country Status (1)

Country Link
CN (1) CN114252423B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100033B (zh) * 2022-05-20 2023-09-08 浙江大学 一种荧光显微图像超分辨重建方法和装置以及计算设备
WO2024044981A1 (zh) * 2022-08-30 2024-03-07 深圳华大智造科技股份有限公司 超分辨率分析系统、方法及相应成像设备和模型训练方法
CN117496191B (zh) * 2024-01-03 2024-03-29 南京航空航天大学 一种基于模型协作的数据加权学习方法
CN117671072B (zh) * 2024-01-31 2024-05-10 南方医科大学 基于条件扩散模型的细胞荧光图像生成方法、模型及应用

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325914A (zh) * 2018-09-11 2019-02-12 深圳大学 分子定位超分辨成像的降噪方法、装置及终端设备
CN109389557A (zh) * 2018-10-20 2019-02-26 南京大学 一种基于图像先验的细胞图像超分辨方法及装置
CN111052173A (zh) * 2017-07-31 2020-04-21 巴斯德研究所 用于改进从单分子定位显微术获取的衍射受限图像重构密集超分辨率图像的方法、设备和计算机程序
CN111667489A (zh) * 2020-04-30 2020-09-15 华东师范大学 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统
CN112465701A (zh) * 2020-11-26 2021-03-09 上海健康医学院 显微图像的深度学习超分辨率重建方法、介质及电子设备
CN113789350A (zh) * 2021-09-08 2021-12-14 汉姆德(宁波)智能医疗科技有限公司 哺乳类食管鳞状上皮永生化细胞系的构建方法、构建的细胞系及其类器官

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2914892C (en) * 2015-04-30 2023-09-19 Farnoud Kazemzadeh A system, method and apparatus for ultra-resolved ultra-wide field-of-view multispectral and hyperspectral holographic microscopy
US11056314B2 (en) * 2015-10-22 2021-07-06 Northwestern University Method for acquiring intentionally limited data and the machine learning approach to reconstruct it
US20170168285A1 (en) * 2015-12-14 2017-06-15 The Regents Of The University Of California Systems and methods for image reconstruction
EP3499459A1 (en) * 2017-12-18 2019-06-19 FEI Company Method, device and system for remote deep learning for microscopic image reconstruction and segmentation
US11403735B2 (en) * 2018-01-25 2022-08-02 King Abdullah University Of Science And Technology Deep-learning based structure reconstruction method and apparatus
US11222415B2 (en) * 2018-04-26 2022-01-11 The Regents Of The University Of California Systems and methods for deep learning microscopy
CN109345449B (zh) * 2018-07-17 2020-11-10 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
WO2020018154A1 (en) * 2018-07-19 2020-01-23 The Regents Of The University Of California Method and system for digital staining of label-free phase images using deep learning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111052173A (zh) * 2017-07-31 2020-04-21 巴斯德研究所 用于改进从单分子定位显微术获取的衍射受限图像重构密集超分辨率图像的方法、设备和计算机程序
CN109325914A (zh) * 2018-09-11 2019-02-12 深圳大学 分子定位超分辨成像的降噪方法、装置及终端设备
CN109389557A (zh) * 2018-10-20 2019-02-26 南京大学 一种基于图像先验的细胞图像超分辨方法及装置
CN111667489A (zh) * 2020-04-30 2020-09-15 华东师范大学 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统
CN112465701A (zh) * 2020-11-26 2021-03-09 上海健康医学院 显微图像的深度学习超分辨率重建方法、介质及电子设备
CN113789350A (zh) * 2021-09-08 2021-12-14 汉姆德(宁波)智能医疗科技有限公司 哺乳类食管鳞状上皮永生化细胞系的构建方法、构建的细胞系及其类器官

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deep learning enables stochastic optical reconstruction microscopy-like superresolution image reconstruction from conventional microscopy;Lei Xu;iScience;1-21 *
Deep-Learning-Based Image Reconstruction and Enhancement in Optical Microscopy;KEVIN DE HAAN;PROCEEDINGS OF THE IEEE;30-50 *
超分辨光学显微的成像原理及应用进展;付芸;王天乐;赵森;;激光与光电子学进展(24);21-33 *

Also Published As

Publication number Publication date
CN114252423A (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
CN114252423B (zh) 超分辨显微镜完全采样图像的生成方法、装置
Ding et al. LANet: Local attention embedding to improve the semantic segmentation of remote sensing images
CN108734211B (zh) 图像处理的方法和装置
US20200218948A1 (en) Thundernet: a turbo unified network for real-time semantic segmentation
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN114331840B (zh) 重建高保真超分辨显微图像的方法、装置
Xiang et al. ThunderNet: A turbo unified network for real-time semantic segmentation
CN111862127A (zh) 图像处理方法、装置、存储介质及电子设备
CN114067119B (zh) 全景分割模型的训练方法、全景分割方法及装置
Lewis et al. Realistic SAR data augmentation using machine learning techniques
CN112734910A (zh) 基于rgb单图实时人脸三维图像重建方法、装置及电子设备
Ning et al. Deep self-learning enables fast, high-fidelity isotropic resolution restoration for volumetric fluorescence microscopy
CN116563550A (zh) 基于混合注意力的滑坡解译语义分割方法、系统、装置及介质
CN114387196A (zh) 超分辨显微镜欠采样图像的生成方法、装置
Fazel et al. Analysis of super-resolution single molecule localization microscopy data: A tutorial
Frolov et al. Image Synthesis Pipeline for CNN-Based Sensing Systems
CN114519844A (zh) 一种基于视觉转化器的人群密度估计方法及系统
CN111582101B (zh) 一种基于轻量化蒸馏网络的遥感图像目标检测方法及系统
Yang et al. Lightningnet: Fast and accurate semantic segmentation for autonomous driving based on 3D LIDAR point cloud
CN114119627B (zh) 基于深度学习的高温合金微观组织图像分割方法及装置
Punjabi et al. Efficient spatio-temporal weather forecasting using U-Net
CN113240050A (zh) 一种特征融合权重可调的金属打印熔池检测方法
Li et al. V-ShadowGAN: generative adversarial networks for removing and generating shadows associated with vehicles based on unpaired data
Ding et al. Research on the Application of Improved Attention Mechanism in Image Classification and Object Detection.
Zhu et al. LRSNet: a high-efficiency lightweight model for object detection in remote sensing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant