CN116503258B - 超分辨计算成像方法、装置、电子设备及存储介质 - Google Patents
超分辨计算成像方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116503258B CN116503258B CN202310729159.6A CN202310729159A CN116503258B CN 116503258 B CN116503258 B CN 116503258B CN 202310729159 A CN202310729159 A CN 202310729159A CN 116503258 B CN116503258 B CN 116503258B
- Authority
- CN
- China
- Prior art keywords
- resolution
- super
- image sequence
- model
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 102
- 102000004169 proteins and genes Human genes 0.000 claims abstract description 70
- 108090000623 proteins and genes Proteins 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 140
- 230000006870 function Effects 0.000 claims description 74
- 230000015556 catabolic process Effects 0.000 claims description 40
- 238000006731 degradation reaction Methods 0.000 claims description 40
- 230000004807 localization Effects 0.000 claims description 24
- 238000002073 fluorescence micrograph Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 7
- 238000002591 computed tomography Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 17
- 230000008569 process Effects 0.000 abstract description 14
- 102000034287 fluorescent proteins Human genes 0.000 abstract description 5
- 108091006047 fluorescent proteins Proteins 0.000 abstract description 5
- 239000000523 sample Substances 0.000 description 37
- 238000005516 engineering process Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000013135 deep learning Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 13
- 238000011160 research Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000002902 bimodal effect Effects 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 238000000799 fluorescence microscopy Methods 0.000 description 4
- 239000007850 fluorescent dye Substances 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012634 optical imaging Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 206010034972 Photosensitivity reaction Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 208000007578 phototoxic dermatitis Diseases 0.000 description 2
- 231100000018 phototoxicity Toxicity 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004061 bleaching Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008832 photodamage Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明涉及图像处理技术领域，提供一种超分辨计算成像方法、装置、电子设备及存储介质，其中方法包括：获取待观测荧光蛋白的低分辨率荧光图像序列与待观测蛋白的单分子信号的单分子定位图像序列；基于单分子定位算法，确定单分子定位图像序列的超分辨率单分子定位图像序列；将低分辨率荧光图像序列输入超分辨模型，得到超分辨重建图像序列。本发明提供的超分辨计算成像方法、装置、电子设备及存储介质，通过将低分辨率荧光图像序列用于超分辨模型的输入，将超分辨率单分子定位图像序列作为超分辨模型的监督，使得后续基于超分辨模型生成超分辨重建图像序列过程中产生的伪像可以受到有效监管，提升了图像的保真度。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种超分辨计算成像方法、装置、电子设备及存储介质。
背景技术
荧光显微镜具有高分子特异性、低侵袭性和多功能性，广泛应用于生物物理学、神经科学、细胞生物学等生命科学研究领域。但由于光的衍射作用，传统荧光显微镜的分辨率无法突破200纳米，荧光显微镜技术的发展受到限制。目前快速发展的超分辨荧光显微成像技术突破了传统光学成像的分辨率极限，为科研人员的研究提供了新的技术手段。
现有的基于计算重建的超分辨率显微成像技术在获取衍射受限的低分辨率图像后，通过计算重建的方式清晰化图像中的纹理细节提升最终的成像分辨率。但在实际工作中，受实验条件变化和成像信噪比改变的影响，计算重建的图像可能产生错误的伪像，对科研人员的研究产生误导。
发明内容
本发明提供一种超分辨计算成像方法、装置、电子设备及存储介质，用以解决现有技术针对超分辨荧光显微成像时，受实验条件变化和成像信噪比改变的影响，计算重建的图像可能产生错误的伪像，对科研人员的研究产生误导的技术问题。
本发明提供一种超分辨计算成像方法，包括：
获取待观测蛋白的低分辨率荧光图像序列，以及所述待观测蛋白的单分子信号的单分子定位图像序列；
基于单分子定位算法，确定所述单分子定位图像序列的超分辨率单分子定位图像序列；
将所述低分辨率荧光图像序列输入超分辨模型，得到所述低分辨率荧光图像序列的超分辨重建图像序列，所述超分辨模型是基于所述低分辨率荧光图像序列作为第一训练样本，以及所述超分辨率单分子定位图像序列作为所述第一训练样本对应的标签训练得到的。
根据本发明提供的一种超分辨计算成像方法，所述超分辨模型的训练方法，包括：
将所述低分辨率荧光图像序列作为第一训练样本，并将所述超分辨率单分子定位图像序列作为所述第一训练样本对应的标签，对所述超分辨模型进行训练，直到所述超分辨模型收敛。
根据本发明提供的一种超分辨计算成像方法，所述对所述超分辨模型进行训练，直到所述超分辨模型收敛，包括：
获取所述超分辨模型的训练输出结果，将所述训练输出结果作为第二训练样本，并将所述低分辨率荧光图像序列作为所述第二训练样本对应的标签，对退化网络模型进行训练，所述退化网络模型与所述超分辨模型的训练交替进行，直到所述超分辨模型的损失函数收敛以及所述退化网络模型的损失函数收敛，
所述超分辨模型的损失函数是基于平均绝对误差损失、多尺度结构相似性指数误差损失以及所述退化网络模型的损失函数确定的。
根据本发明提供的一种超分辨计算成像方法，所述退化网络模型的损失函数是基于预设权重系数，对平均绝对误差损失和多尺度结构相似性指数误差损失进行加权确定的。
根据本发明提供的一种超分辨计算成像方法，所述将所述低分辨率荧光图像序列输入超分辨模型之前，还包括：
基于跨模态图像对齐算法，对所述低分辨率荧光图像序列和所述超分辨率单分子定位图像序列进行基于空间投影变换的图像对齐。
根据本发明提供的一种超分辨计算成像方法，所述获取待观测蛋白的低分辨率荧光图像序列，以及所述待观测蛋白的单分子信号的单分子定位图像序列，包括：
基于双荧光通道成像，同时获取所述待观测蛋白的低分辨率荧光信号以及所述待观测蛋白的单分子信号；
基于信号采集设备，获取所述低分辨率荧光信号的低分辨率荧光图像序列以及所述单分子信号的单分子定位图像序列。
根据本发明提供的一种超分辨计算成像方法，得到所述低分辨率荧光图像序列的超分辨重建图像序列之后，还包括：
基于所述超分辨重建图像序列对应区间内稀疏单分子定位的密度估计，确定所述超分辨重建图像序列的定位误差图；
基于所述低分辨率荧光图像序列，确定所述低分辨率荧光图像序列的荧光强度分布误差图；
基于所述超分辨重建图像序列和所述低分辨率荧光图像序列的匹配相关度，确定所述超分辨重建图像序列和所述低分辨率荧光图像序列的模态配对误差图；
基于所述定位误差图、所述荧光强度分布误差图以及所述模态配对误差图，对所述超分辨重建图像序列进行矫正。
本发明还提供一种超分辨计算成像装置，包括：
图像获取模块，用于获取待观测蛋白的低分辨率荧光图像序列，以及所述待观测蛋白的单分子信号的单分子定位图像序列；
算法处理模块，用于基于单分子定位算法，确定所述单分子定位图像序列的超分辨率单分子定位图像序列；
模型处理模块，用于将所述低分辨率荧光图像序列输入超分辨模型，得到所述低分辨率荧光图像序列的超分辨重建图像序列，所述超分辨模型是基于所述低分辨率荧光图像序列作为第一训练样本，以及所述超分辨率单分子定位图像序列作为所述第一训练样本对应的标签训练得到的。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述超分辨计算成像方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种超分辨计算成像方法。
本发明提供的超分辨计算成像方法、装置、电子设备及存储介质，通过获取待观测蛋白的低分辨率荧光图像序列以及超分辨率单分子定位图像序列，将获取的低分辨率荧光图像序列用于超分辨模型的输入，同时基于获取的超分辨率单分子定位图像序列作为超分辨模型的监督，提升了低分辨率荧光图像序列的成像分辨率，实现超分辨成像。并且，基于获取的超分辨率单分子定位图像序列作为超分辨模型的监督的方式，使得后续基于超分辨模型生成超分辨重建图像序列过程中产生的伪像可以受到有效的监管，减少了伪像的产生，提升了实际应用中图像的保真度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图简要地说明，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的超分辨计算成像方法的流程示意图；
图2是本发明提供的待观测蛋白的荧光信号收集示意图；
图3是本发明提供的单分子定位算法处理示意图；
图4是本发明提供的协同训练示意图；
图5是应用本发明提供的超分辨计算成像方法的系统结构示意图；
图6是本发明提供的在线学习系统运行流程示意图；
图7是本发明提供的超分辨计算成像装置的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
荧光显微镜具有高分子特异性、低侵袭性和多功能性，广泛应用于生物物理学、神经科学、细胞生物学等生命科学研究领域。但由于光的衍射作用，传统荧光显微镜的分辨率无法突破200纳米，荧光显微镜技术的发展受到限制。快速发展的超分辨荧光显微成像技术突破了传统光学成像的分辨率极限，为科研人员的研究提供了新的技术手段。超分辨荧光显微镜的技术发展路线主要有三个方向：1、结构光照明超分辨显微镜，2、单分子定位超分辨显微镜，3、受激辐射耗损显微镜。由于显微成像技术的应用效果受空间分辨率、时间分辨率、成像视场、曝光时间、光毒性和光漂白等因素的综合影响，所以这些技术路线各有优劣同步发展。
随着计算机硬件技术的发展，新的算法的诞生，特别是深度学习领域的突破，为荧光显微成像技术带来了新的发展。利用计算机算法可以提升荧光显微镜的时空分辨率，扩大成像视场，降低曝光时间，减轻光毒性和光漂白，在相同的硬件条件下获得更佳的成像质量。在利用计算机软件技术提升荧光显微镜时空分辨率的领域，基于深度学习的超分辨成像技术研究广泛。这类技术在获取衍射受限的低分辨率图像后，通过计算重建的方式清晰化图像中的纹理细节提升最终的成像分辨率。但在实际工作中，受实验条件变化和成像信噪比改变的影响，计算重建的图像可能产生错误的伪像，对科研人员的研究产生误导。由于目前缺乏有效的估计和控制伪像的手段，该技术在实际科学研究中难以获得广泛应用。
相关方法中获取单分子定位的超分辨成像主要有以下四种：
1、基于物理和化学方式的快速单分子定位成像技术：
此类技术通过物理和化学的方式加速单分子定位：如使用可以快速进行光转换的高亮度荧光探针，使用高功率激光和快速的传感器等可以在不降低信噪比的情况下最小化曝光时间，缩短成像时间。此类方法的缺点在于：此类方法始终受到单分子定位显微镜基本原理的限制，成像时间难以突破秒级。并且高强度激光对细胞造成不可逆光损伤，影响研究者的科学研究。
2、基于定位算法改进的快速单分子定位成像技术：
此类技术通过提升单位时间内激活的荧光分子密度，计算定位帧中重叠分子的位置坐标，获取快速的超分辨成像结果。此类方法的缺点在于：重叠定位相比稀疏的单分子定位准确性降低，导致总体成像分辨率降低。根据奈奎斯特采样原理，高密度定位仍需采集一定数量的定位帧，其成像时间受限难以突破秒级。
3、利用深度学习算法直接提升时空分辨率的超分辨成像技术：
通过预先训练的深度学习网络直接对低分辨率图像进行分辨率增强，提升最终成像时空分辨率。此类方法缺点在于：此类方法容易因实验条件改变而产生伪像，而由于其仅在成像中获取低分辨率衍射受限图像，难以对其最终的成像质量进行评估，可能对科学研究带来误导。
4、基于生成对抗网络和单分子定位的超分辨成像技术：
通过生成对抗网络的训练，可以利用极少的数据还原准确的生物结构，成像速度快，突破了单分子定位的原理限制。此类方法的缺点在于：现有方法存在诸多技术难点，难以应用于实际活细胞实验。提前训练的深度学习模型在应用于不同类型细胞实验中容易出现误差，精度不足。成像结果存在人为痕迹，难以评估其真实性，会对科学家的研究造成误导。
针对相关方法的缺陷，本发明提供一种超分辨计算成像方法，图1为本发明提供的超分辨计算成像方法的流程示意图。参照图1，本发明提供的超分辨计算成像方法可以包括：
步骤110，获取待观测蛋白的低分辨率荧光图像序列，以及所述待观测蛋白的单分子信号的单分子定位图像序列；
步骤120，基于单分子定位算法，确定所述单分子定位图像序列的超分辨率单分子定位图像序列；
步骤130，将所述低分辨率荧光图像序列输入超分辨模型，得到所述低分辨率荧光图像序列的超分辨重建图像序列，所述超分辨模型是基于所述低分辨率荧光图像序列作为训练样本，以及所述超分辨率单分子定位图像序列作为所述训练样本对应的标签训练得到的。
本发明提供的超分辨计算成像方法的执行主体可以是电子设备、电子设备中的部件、集成电路、或芯片。该电子设备可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本或者个人数字助理（personal digitalassistant，PDA）等，非移动电子设备可以为服务器、网络附属存储器（Network AttachedStorage，NAS）或个人计算机（personal computer，PC）等，本发明不作具体限定。
下面以计算机执行本发明提供的超分辨计算成像方法为例，详细说明本发明的技术方案。
在步骤110中，在选取待观测蛋白后，获取待观测蛋白的低分辨率荧光图像序列，以及待观测蛋白的单分子信号的单分子定位图像序列。
待观测蛋白为可以进行通过荧光蛋白或荧光探针的标记手段使待观测蛋白所组成的荧光单元同时具有稳定发射荧光信号的特性和可逆或可转换发射荧光的闪烁特性的蛋白。基于待观测蛋白获取的超分辨图像，可以用于解析活细胞内微小结构间的相互作用。如图2本发明提供的待观测蛋白的荧光信号收集示意图所示，在选取待观测蛋白后，基于荧光蛋白或荧光探针的标记手段使待观测蛋白所组成的荧光单元同时具有稳定发射荧光信号的特性和可逆或可转换发射荧光的闪烁特性。其中，发射的稳定荧光信号称为低分辨率荧光，可逆或可转换发射的闪烁荧光信号称为单分子信号。荧光信号经过双荧光通道进行收集，得到低分辨率荧光图像序列以及单分子定位图像序列。
其中，不同照明方式，不同光路的荧光显微成像系统均可以作为稳定荧光信号以及闪烁荧光信号的信号采集设备，例如双荧光通道光学系统。其中通过常规稳定发光的荧光蛋白或荧光染料标记采集的图像序列，其分辨率相对较低，称为低分辨率荧光图像序列；通过单分子定位技术标记采集的图像序列称为单分子定位图像序列。
可选的，对于荧光信号的收集，可以采用激光共聚焦荧光显微镜，激光转盘共聚焦荧光显微镜，全内反射荧光显微镜，结构光照明荧光显微镜，双光子荧光显微镜，宽场荧光显微镜，受激辐射耗散荧光显微镜等。
可选的，在获取待观测蛋白的低分辨率荧光信号以及单分子信号后，将低分辨率荧光信号以及单分子信号中两种波段的荧光信号通过显微镜中光学透镜组的不同折射光路分别成像，并通过信号采集设备获取时间同步的低分辨率荧光图像序列和单分子定位图像序列。
在步骤120中，在步骤110中获取待观测蛋白的单分子信号的单分子定位图像序列之后，基于单分子定位算法，获取单分子定位算法输出的单分子定位图像序列的超分辨率单分子定位图像序列。
如图3本发明提供的单分子定位算法处理示意图所示，在得到单分子定位图像序列之后，基于单分子定位算法进行单分子定位重建可以得到单分子定位图像序列的超分辨率单分子定位图像序列。
可选的，在使用单分子定位算法进行单分子定位重建后，生成的超分辨率单分子定位图像序列，其定位精度/>受到以下因素影响：
；
其中表示采集时光学系统的像元尺寸；/>表示采集时光学系统的点扩散函数的标准差；/>表示荧光信号的光子数；/>表示荧光信号的背景噪声。
荧光分子通过光学系统后因为光的衍射，形成衍射斑即光学系统点扩散函数，点扩散函数通常呈高斯分布，中心区域信号强度最高。根据其信号分布情况，通过单分子定位算法可以获得荧光分子的空间位置，常用的单分子定位算法包括质心法，高斯拟合，最大似然估计，压缩感知等。在获取单分子定位图像信号时，荧光蛋白上标记的荧光团被随机激发，产生随机分布的荧光分子信号。通过单分子定位算法对每个分子的中心位置进行拟合和叠加，获得超分辨单分子定位图像序列。
可选的，在获取待观测蛋白的低分辨率荧光图像序列之后，可以对获取的待观测蛋白的低分辨率荧光图像序列进行亮度对比度调整，避免光漂白引起的图像灰度整体逐渐变暗、由于异常信号或噪声引起的对比度异常等问题。
可以理解的是，基于单分子定位算法获取待观测蛋白的超分辨率单分子定位图像序列，并应用于后续活细胞成像，可用观测细胞内微小的动态事件，时空分辨率高，成像速度快。
可选的，单分子定位算法中的可以实现点扩散函数定位功能的算法均可替代，包括但不限于基于最小二乘法准则的定位算法，基于最大似然估计法准则的定位算法和基于深度学习网络拟合的定位算法等。
在步骤130中，将得到的低分辨率荧光图像序列输入超分辨模型，得到低分辨率荧光图像序列的超分辨重建图像序列。其中，超分辨模型是基于所述低分辨率荧光图像序列作为训练样本，以及所述超分辨率单分子定位图像序列作为所述训练样本对应的标签训练得到的。
在获取待观测蛋白的低分辨率荧光图像序列以及待观测蛋白的超分辨率单分子定位图像序列之后，将低分辨率荧光图像序列作为训练样本以及超分辨率单分子定位图像序列作为所述训练样本对应的标签对超分辨模型进行训练。对超分辨模型完成训练后，将低分辨率荧光图像序列输入超分辨模型，得到超分辨模型输出的待观测蛋白的超分辨重建图像序列。
获取的超分辨重建图像序列可以用于活细胞成像，用于后续解析活细胞内微小结构间的相互作用。
超分辨模型主要以深度学习模型为主，包含两种架构1、二维深度学习网络，输入输出为单帧图像的超分辨网络。2、三维深度学习网络，输入输出为时间图像序列的深度学习网络。深度学习网络可以选择使用多种架构适用于不同实验条件下的数据，包括但不限于编码器解码器架构，多尺度金字塔架构，注意力机制架构，Transformer等。
其中，获取的待观测蛋白的低分辨率荧光图像序列以及待观测蛋白的超分辨率单分子定位图像序列，可以是实时同时获取的待观测蛋白的两种模态图像。基于实时获取的待观测蛋白的两种模态图像为同一时刻同步的图像。
在得到同时获取的待观测蛋白的两种模态图像之后，将获取的低分辨率荧光图像序列作为超分辨模型的输入，将获取的超分辨率单分子定位图像序列作为模型训练的监督数据。实现了对超分辨模型的自监督训练。由于训练数据来自于实时成像，无需实验前数据采集，并且自监督训练使得超分辨模型相比于迁移学习策略，对不同成像条件或不同生物结构的数据适应性更好。与此同时，超分辨重建是基于深度学习模型的通用学习特性而非具体的深度学习模型构架，方法的易用性和可扩展性良好。
基于低分辨率荧光图像序列以及单分子定位图像序列的双模态融合任务，综合利用了高时间分辨率低空间分辨率的低分辨率荧光图像信息和高空间分辨率低时间分辨率的单分子定位图像信息，在后续进行，可以实现相比于单模态更精确可靠的重建。
本发明实施例提供的超分辨计算成像方法，通过获取待观测蛋白的低分辨率荧光图像序列以及超分辨率单分子定位图像序列，将获取的低分辨率荧光图像序列用于超分辨模型的输入，同时基于获取的超分辨率单分子定位图像序列作为超分辨模型的监督，提升了低分辨率荧光图像序列的成像分辨率，实现超分辨成像。并且，基于获取的超分辨率单分子定位图像序列作为超分辨模型的监督的方式，使得后续基于超分辨模型生成超分辨重建图像序列过程中产生的伪像可以受到有效的监管，减少了伪像的产生，提升了实际应用中图像的保真度。
在一个实施例中，所述超分辨模型的训练方法，包括：将所述低分辨率荧光图像序列作为第一训练样本，并将所述超分辨率单分子定位图像序列作为所述第一训练样本对应的标签，对所述超分辨模型进行训练，直到所述超分辨模型收敛。
在对超分辨模型进行训练的过程中，将获取的低分辨率荧光图像序列作为超分辨模型的训练样本，将超分辨率单分子定位图像序列作为训练样本对应的标签，对超分辨模型进行训练，直到超分辨模型收敛。
可以理解的是，将获取的低分辨率荧光图像序列作为超分辨模型的输入，将获取的超分辨率单分子定位图像序列作为模型训练的监督数据。实现了对超分辨模型的自监督训练。自监督的训练方式，使得后续使用模型成像的过程中产生的伪像可以受到有效的监管，提升了实际应用中图像的保真度。
可选的，超分辨模型收敛可以基于超分辨模型的损失函数收敛实现，超分辨模型的损失函数可以由平均绝对误差损失和多尺度结构相似性指数误差损失，按照确定的预设权重系数进行加权确定的。其中，预设权重系数可以根据认为需要或者模型训练结果的反馈进行调整。
本发明实施例提供的超分辨计算成像方法，通过将获取的低分辨率荧光图像序列作为超分辨模型的输入，将获取的超分辨率单分子定位图像序列作为模型训练的监督数据，实现了对超分辨模型的自监督训练。
在一个实施例中，对所述超分辨模型进行训练，直到所述超分辨模型收敛，包括：获取所述超分辨模型的训练输出结果，将所述训练输出结果作为第二训练样本，并将所述低分辨率荧光图像序列作为所述第二训练样本对应的标签，对退化网络模型进行训练，所述退化网络模型与所述超分辨模型的训练交替进行，直到所述超分辨模型的损失函数收敛以及所述退化网络模型的损失函数收敛，所述超分辨模型的损失函数是基于平均绝对误差损失、多尺度结构相似性指数误差损失以及所述退化网络模型的损失函数确定的。
在对超分辨模型进行训练的过程中，基于退化网络模型对超分辨模型进行协同训练。协同训练的示意图如图4本发明提供的协同训练示意图所示，获取超分辨模型的训练输出结果，将训练输出结果作为第二训练样本，并将低分辨率荧光图像序列作为第二训练样本对应的标签，对退化网络模型进行训练，直到超分辨模型的损失函数收敛以及退化网络模型是损失函数收敛，达到超分辨模型收敛。
可以理解的是，获取超分辨模型训练过程中的输出，基于退化网络模型，反向获取超分辨模型训练过程的输入，期望基于退化网络模型反向得到的超分辨模型训练过程的输入，与实际超分辨模型训练过程的输入相接近，从而实现退化网络模型协助训练超分辨模型。
其中，超分辨模型的损失函数是基于平均绝对误差损失、多尺度结构相似性指数误差损失以及所述退化网络模型的损失函数确定的。在确定退化网络模型的损失函数收敛后，进一步确定包含退化网络模型损失函数的超分辨网络模型的损失函数收敛，生成训练后的超分辨模型。
具体的，超分辨模型的损失函数可以为：
；
其中，表示超分辨模型的损失函数,/>表示超分辨模型，/>表示超分辨率单分子定位图像序列，/>表示低分辨率荧光图像序列，/>为常数表示超分辨网络损失函数中平均绝对误差损失的权重系数，/>为常数表示多尺度结构相似度损失的权重系数，表示退化网络模型的损失函数,/>为常数表示退化网络损失函数的权重系数，为多尺度结构相似性指数误差损失。
可选的，平均绝对误差损失和多尺度结构相似性指数误差损失的加权组合的损失函数可被其他损失函数替代，包括但不限于Chamfer-distance损失，L2损失，SSIM损失，tv损失，感知误差损失等。
其中，多尺度结构相似性指数误差损失的计算方法如公式（3）所示：
；
其中X，Y代表像素横轴和纵轴，代表图像尺度，原始图像尺度为1，图像最大尺度为M，/>代表M尺度下的亮度，/>代表/>尺度下的对比度，/>代表/>尺度下的结构相似性，为常数代表亮度的权重系数，/>为常数代表对比度的权重系数，/>为常数代表结构相似性的权重系数。
可选的，确定超分辨网络模型的损失函数收敛，可以获取超分辨网络模型在训练过程中的损失函数下降曲线，根据损失函数的下降趋势确定断点，选择最优模型断点，实现确定超分辨网络模型的损失函数收敛。
可选的，在对超分辨模型训练时，超分辨模型中使用的神经网络构架可替代，包括但不限于3D-UNET，2D-UNET，SRCNN，EDSR，Transformer等。在协同训练的退化网络模型的训练时，退化网络模型中的神经网络框架可替代，包括但不限于VDSR，2D-UNET，SRCNN，EDSR，Transformer框架等。
基于退化网络模型与和超分辨模型的协同训练机制可以基于公式（4）实现：
；
其中，表示超分辨模型的损失函数，/>表示超分辨率单分子定位图像序列，表示低分辨率荧光图像序列，退化网络模型/>和超分辨模型/>联合交替优化，训练收敛后得到最优退化网络模型模型/>和最优超分辨模型/>。
本发明实施例提供的超分辨计算成像方法，基于退化网络模型协助训练超分辨模型，基于退化网络模型和超分辨模型的协同训练机制可以在双模态信息对应性较差的情况下提升成像质量，获取稳定的成像结果。
在一个实施例中，退化网络模型的损失函数是基于预设权重系数，对平均绝对误差损失和多尺度结构相似性指数误差损失进行加权确定的。
超分辨模型的损失函数可以对平均绝对误差损失和多尺度结构相似性指数误差损失，按照确定的预设权重系数进行加权确定的。其中，预设权重系数可以根据认为需要或者模型训练结果的反馈进行调整。
退化网络模型的输入为超分辨模型的输出，此时超分辨图像的退化如公式（5）所示：
；
其中代表超分辨图像退化后的图像，/>表示退化网络模型，/>表示超分辨模型，/>表示低分辨率荧光图像序列。
可选的，在已知光学系统的点扩散函数的情况下，可以使用基于光学系统点扩散函数的损失函数训练网络。此时超分辨率图像的退化结果如公式（6）表示：
；
其中代表超分辨图像退化后的图像，/>代表光学系统的点扩散函数，表示卷积计算。
可选的，退化网络模型的损失函数具体可以基于公式（7）确定：
；
其中表示退化网络模型的损失函数，/>代表超分辨图像退化后的图像，表示低分辨率荧光图像序列，/>为常数表示平均绝对误差损失；/>为常数表示多尺度结构相似性指数误差损失的权重系数；/>为多尺度结构相似性指数误差。
可选的，在训练前对模型参数进行初始化调整，设置超分辨模型的损失函数为模型输出与模型输入之间的重建误差，退化模型的损失函数为模型输出与模型输入之间的重建误差。用于加速模型收敛，提升协同训练稳定性，此时的超分辨模型和退化模型的损失函数如公式（8）所示。
；
其中，表示超分辨模型的损失函数，/>为常数表示超分辨网络损失函数中平均绝对误差损失的权重系数，/>为常数表示多尺度结构相似度损失的权重系数。
可选的，在超分辨率模型训练时，可以对低分辨率图像进行降噪处理，降低光学系统中的高斯和泊松噪声等，可以使用基于空间域或转换域滤波的降噪算法，基于稀疏表达的降噪算法和基于人工智能的降噪算法等。经过降噪的低分辨率图像作为第一训练样本，可以用于提升超分辨模型和退化网络模型协同训练的精确度和鲁棒性，如公式（9）所示。
；
其中代表降噪后的低分辨率图像，/>表示使用降噪算法处理，/>表示超分辨率单分子定位图像序列，/>为常数表示退化网络损失函数的权重系数。
本发明实施例提供的超分辨计算成像方法，基于预设权重系数，对平均绝对误差损失和多尺度结构相似性指数误差损失进行加权，实现了退化网络模型的损失函数的确定。
在一个实施例中，将所述低分辨率荧光图像序列输入超分辨模型之前，还包括：基于跨模态图像对齐算法，对所述低分辨率荧光图像序列和所述超分辨率单分子定位图像序列进行基于空间投影变换的图像对齐。
跨模态图像对齐，即对不同采集方式得到的具有不同模态图像进行对齐的方法。专利中超分辨单分子定位图像和低分辨率荧光图像由不同视角的成像视野同时收集，其在时间上对齐，但在空间上存在空间视角距离偏差。通常通过特征点匹配或互信息计算的方式得到刚性或非刚性的空间视角变换矩阵，然后将该矩阵作用于待对齐图像，进行对齐矫正。矫正后的图像理论上在同一像素位置对应同一空间位置。在获取低分辨率荧光图像序列和超分辨率单分子定位图像序列之后，基于跨模态图像对齐算法，对所述低分辨率荧光图像序列和超分辨率单分子定位图像序列进行基于空间投影变换的图像对齐，得到时空一致的双模态成对图像序列。
其中，时空一致是指低分辨率荧光图像序列和所述超分辨率单分子定位图像序列为同一时间的，并且确保低分辨率荧光图像序列和所述超分辨率单分子定位图像序列中图像中的位置点一一对应。
可选的，跨模态图像对齐时可以实现两种模态图像对齐的算法均可替代，包括但不限于基于特征点匹配的对齐算法，基于特征匹配的对齐算法，基于相似性的对齐算法，基于光流的对齐算法和基于深度学习的对齐算法等。
本发明实施例提供的超分辨计算成像方法，通过基于跨模态图像对齐算法，对所述低分辨率荧光图像序列和超分辨率单分子定位图像序列进行基于空间投影变换的图像对齐，得到时空一致的双模态成对图像序列。
在一个实施例中，获取待观测蛋白的低分辨率荧光图像序列，以及所述待观测蛋白的单分子信号的单分子定位图像序列，包括：基于双荧光通道成像，同时获取所述待观测蛋白的低分辨率荧光信号以及所述待观测蛋白的单分子信号；基于信号采集设备，获取所述低分辨率荧光信号的低分辨率荧光图像序列以及所述单分子信号的单分子定位图像序列。
在获取待观测蛋白的低分辨率荧光信号的低分辨率荧光图像序列，以及待观测蛋白的单分子信号的单分子定位图像序列时，基于双荧光通道成像，同时获取待观测蛋白的低分辨率荧光信号的低分辨率荧光图像序列以及待观测蛋白的单分子信号的单分子定位图像序列。
可以理解的是，基于双荧光通道成像同时获取两模态的数据。在超分辨率重建的过程中，真实获取的单分子定位信号，提升了重建结果的准确性。与此同时，基于双荧光通道成像可以实时成像，无需实验前数据采集。实时获取的数据进行训练和预测。相比提前训练而进行迁移的网络模型，鲁棒性和泛化性强，不会因实验条件改变而产生误导性的伪像。
基于双荧光通道成像同时获取待观测蛋白的低分辨率荧光信号以及待观测蛋白的单分子信号之后，信号采集设备就可以采集到时间同步的低分辨率荧光图像序列以及单分子定位图像序列。
本发明实施例提供的超分辨计算成像方法，通过基于双荧光通道成像同时获取两模态的数据。基于双荧光通道成像可以实时成像，无需实验前数据采集。实时获取的数据进行训练和预测。相比提前训练而进行迁移的网络模型，鲁棒性和泛化性强，不会因实验条件改变而产生误导性的伪像。
在一个实施例中，得到所述低分辨率荧光图像序列的超分辨重建图像序列之后，还包括：基于所述超分辨重建图像序列对应区间内稀疏单分子定位的密度估计，确定所述超分辨重建图像序列的定位误差图；基于所述低分辨率荧光图像序列，确定所述低分辨率荧光图像序列的荧光强度分布误差图；基于所述超分辨重建图像序列和所述低分辨率荧光图像序列的匹配相关度，确定所述超分辨重建图像序列和所述低分辨率荧光图像序列的模态配对误差图；基于所述定位误差图、所述荧光强度分布误差图以及所述模态配对误差图，对所述超分辨重建图像序列进行矫正。
利用超分辨重建图像序列对应区间内稀疏单分子定位的密度估计生成定位误差图，估计荧光信号分布范围。
利用低分辨率荧光图像序列生成荧光强度分布误差图，估计荧光强度分布范围。
根据超分辨重建图像序列和低分辨率荧光图像序列在多尺度的匹配情况生成模态配对误差图，估计网络预测中不同区域的置信度。
综上，利用定位误差图，荧光强度分布误差图和模态配对误差图对超分辨重建序列进行矫正。可以进一步抑制伪像的产生，提升结果的保真度。
本发明实施例提供的超分辨计算成像方法，通过确定的定位误差图、荧光强度分布误差图以及模态配对误差图，对超分辨重建图像序列进行矫正，可以进一步抑制伪像的产生，提升了最终结果的保真度。
下面以一应用本发明提供的超分辨计算成像方法的系统结构示意图为例，说明本发明提供的技术方案：
如图5所示，该系统包括：双通道成像模块510、数据预处理模块520、深度学习重建模块530、数据后处理模块540。
双通道成像模块510，用于基于双荧光通道成像，同时获取待观测蛋白的低分辨率荧光信号以及待观测蛋白的单分子信号；
数据预处理模块520，用于基于图像采集设备，获取所述低分辨率荧光信号的低分辨率荧光图像序列以及所述单分子信号的单分子定位图像序列。并基于单分子定位算法，确定所述单分子定位图像序列的超分辨率单分子定位图像序列。
深度学习重建模块530，用于将所述低分辨率荧光图像序列输入超分辨模型，得到所述低分辨率荧光图像序列的超分辨重建图像序列，所述超分辨模型是基于所述低分辨率荧光图像序列作为第一训练样本，以及所述超分辨率单分子定位图像序列作为所述第一训练样本对应的标签训练得到的。
数据后处理模块540，用于对超分辨模型输出的超分辨重建图像序列进行后处理，进一步抑制重建产生的伪影，得到最终的超分辨重建图像序列。
对应用本发明提供的超分辨计算成像方法的系统的部署包括以下步骤：
1、将执行本发明提供的超分辨计算成像方法的软件部署到中央控制计算机上，提供用户与底层算法的交互界面，方便用户查看和定制，并设定软件与在线学习及推理机的通信接口，确保远程完成计算的可行性。
2、将深度学习加速模型部署到在线学习及推理机上，其中模型加速方式包括但不限于网络结构加速、模型推理加速、模型剪枝，并提供预先在大批量活细胞数据上训练得到的预训练模型。
3、将在线学习及推理机、中央控制计算机通过网络连接设备部署到同一局域网中，确保三者可进行多线程多队列通信。
如图6本发明提供的在线学习系统运行流程示意图所示，部署的在线学习系统的运行流程如下：
用户通过光学成像装置如荧光显微镜成像，获取低分辨率荧光图像序列以及单分子定位图像序列，并通过网络将数据传送给中央控制计算机。
中央控制计算机接收低分辨率荧光图像序列、单分子定位图像序列以及人工设定的超分辨重建算法参数，并将数据和参数通过网络通信设备传送给在线学习及推理机。
在线学习及推理机接收数据和参数，进行数据预处理和模型训练，训练完成后进行模型推理和数据后处理，获得超分辨模型输出的重建结果，并通过网络将处理结果传回中央控制计算机。
中央控制计算机接收超分辨重建结果并进行显示。
其中，应用本发明提供的超分辨计算成像方法的系统可以部署到在线学习系统中。在线学习对于实际使用具有重要意义，可以加速本发明提及的特定的重建方法在实际实验中的应用。在线学习允许计算机程序实时获取新采集到的满足本发明要求的图像并进行模型训练、更新模型参数，这样随着实验数据量的积累，模型参数不断被优化，最终能够以更少的训练时长完成特定数据的超分辨重建，达到更高的处理效率，使用户能够更快地查看超分辨图像进行相关研究。
在进行基于实时采集的活细胞数据进行在线学习之前，可对模型基于已有固定细胞或活细胞数据进行预训练。预训练后的网络对不同种数据具有泛化性和鲁棒性，并可以缩短在线学习的训练时间。
图7为本发明提供的超分辨计算成像装置的结构示意图，如图7所示，该装置包括：
图像获取模块710，用于获取待观测蛋白的低分辨率荧光图像序列，以及所述待观测蛋白的单分子信号的单分子定位图像序列；
算法处理模块720，用于基于单分子定位算法，确定所述单分子定位图像序列的超分辨率单分子定位图像序列；
模型处理模块730，用于将所述低分辨率荧光图像序列输入超分辨模型，得到所述低分辨率荧光图像序列的超分辨重建图像序列，所述超分辨模型是基于所述低分辨率荧光图像序列作为第一训练样本，以及所述超分辨率单分子定位图像序列作为所述第一训练样本对应的标签训练得到的。
本发明实施例提供的超分辨计算成像装置，通过获取待观测蛋白的低分辨率荧光图像序列以及超分辨率单分子定位图像序列，将获取的低分辨率荧光图像序列用于超分辨模型的输入，同时基于获取的超分辨率单分子定位图像序列作为超分辨模型的监督，提升了低分辨率荧光图像序列的成像分辨率，实现超分辨成像。并且，基于获取的超分辨率单分子定位图像序列作为超分辨模型的监督的方式，使得后续基于超分辨模型生成超分辨重建图像序列过程中产生的伪像可以受到有效的监管，减少了伪像的产生，提升了实际应用中图像的保真度。
在一个实施例中，模型处理模块730具体用于：
所述超分辨模型的训练方法，包括：
将所述低分辨率荧光图像序列作为第一训练样本，并将所述超分辨率单分子定位图像序列作为所述第一训练样本对应的标签，对所述超分辨模型进行训练，直到所述超分辨模型收敛。
在一个实施例中，模型处理模块730还具体用于：
对所述超分辨模型进行训练，直到所述超分辨模型收敛，包括：
获取所述超分辨模型的训练输出结果，将所述训练输出结果作为第二训练样本，并将所述低分辨率荧光图像序列作为所述第二训练样本对应的标签，对退化网络模型进行训练，所述退化网络模型与所述超分辨模型的训练交替进行，直到所述超分辨模型的损失函数收敛以及所述退化网络模型的损失函数收敛，
所述超分辨模型的损失函数是基于平均绝对误差损失、多尺度结构相似性指数误差损失以及所述退化网络模型的损失函数确定的。
在一个实施例中，模型处理模块730还具体用于：
退化网络模型的损失函数是基于预设权重系数，对平均绝对误差损失和多尺度结构相似性指数误差损失进行加权确定的。
在一个实施例中，模型处理模块730还具体用于：
将所述低分辨率荧光图像序列输入超分辨模型之前，还包括：
基于跨模态图像对齐算法，对所述低分辨率荧光图像序列和所述超分辨率单分子定位图像序列进行基于空间投影变换的图像对齐。
在一个实施例中，图像获取模块710具体用于：
获取待观测蛋白的低分辨率荧光图像序列，以及所述待观测蛋白的单分子信号的单分子定位图像序列，包括：
基于双荧光通道成像，同时获取所述待观测蛋白的低分辨率荧光信号以及所述待观测蛋白的单分子信号；
基于信号采集设备，获取所述低分辨率荧光信号的低分辨率荧光图像序列以及所述单分子信号的单分子定位图像序列。
在一个实施例中，模型处理模块730还具体用于：
得到所述低分辨率荧光图像序列的超分辨重建图像序列之后，还包括：
基于所述超分辨重建图像序列对应区间内稀疏单分子定位的密度估计，确定所述超分辨重建图像序列的定位误差图；
基于所述低分辨率荧光图像序列，确定所述低分辨率荧光图像序列的荧光强度分布误差图；
基于所述超分辨重建图像序列和所述低分辨率荧光图像序列的匹配相关度，确定所述超分辨重建图像序列和所述低分辨率荧光图像序列的模态配对误差图；
基于所述定位误差图、所述荧光强度分布误差图以及所述模态配对误差图，对所述超分辨重建图像序列进行矫正。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行超分辨计算成像方法，该方法包括：
获取待观测蛋白的低分辨率荧光图像序列，以及所述待观测蛋白的单分子信号的单分子定位图像序列；
基于单分子定位算法，确定所述单分子定位图像序列的超分辨率单分子定位图像序列；
将所述低分辨率荧光图像序列输入超分辨模型，得到所述低分辨率荧光图像序列的超分辨重建图像序列，所述超分辨模型是基于所述低分辨率荧光图像序列作为第一训练样本，以及所述超分辨率单分子定位图像序列作为所述第一训练样本对应的标签训练得到的。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的超分辨计算成像方法，该方法包括：
获取待观测蛋白的低分辨率荧光图像序列，以及所述待观测蛋白的单分子信号的单分子定位图像序列；
基于单分子定位算法，确定所述单分子定位图像序列的超分辨率单分子定位图像序列；
将所述低分辨率荧光图像序列输入超分辨模型，得到所述低分辨率荧光图像序列的超分辨重建图像序列，所述超分辨模型是基于所述低分辨率荧光图像序列作为第一训练样本，以及所述超分辨率单分子定位图像序列作为所述第一训练样本对应的标签训练得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的超分辨计算成像方法，该方法包括：
获取待观测蛋白的低分辨率荧光图像序列，以及所述待观测蛋白的单分子信号的单分子定位图像序列；
基于单分子定位算法，确定所述单分子定位图像序列的超分辨率单分子定位图像序列；
将所述低分辨率荧光图像序列输入超分辨模型，得到所述低分辨率荧光图像序列的超分辨重建图像序列，所述超分辨模型是基于所述低分辨率荧光图像序列作为第一训练样本，以及所述超分辨率单分子定位图像序列作为所述第一训练样本对应的标签训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种超分辨计算成像方法，其特征在于，包括：
获取待观测蛋白的低分辨率荧光图像序列，以及所述待观测蛋白的单分子信号的单分子定位图像序列；
基于单分子定位算法，确定所述单分子定位图像序列的超分辨率单分子定位图像序列；
将所述低分辨率荧光图像序列输入超分辨模型，得到所述低分辨率荧光图像序列的超分辨重建图像序列，所述超分辨模型是基于所述低分辨率荧光图像序列作为第一训练样本，以及所述超分辨率单分子定位图像序列作为所述第一训练样本对应的标签训练得到的；
所述超分辨模型的训练方法，包括：
将所述低分辨率荧光图像序列作为第一训练样本，并将所述超分辨率单分子定位图像序列作为所述第一训练样本对应的标签，对所述超分辨模型进行训练，直到所述超分辨模型收敛；
所述对所述超分辨模型进行训练，直到所述超分辨模型收敛，包括：
获取所述超分辨模型的训练输出结果，将所述训练输出结果作为第二训练样本，并将所述低分辨率荧光图像序列作为所述第二训练样本对应的标签，对退化网络模型进行训练，所述退化网络模型与所述超分辨模型的训练交替进行，直到所述超分辨模型的损失函数收敛以及所述退化网络模型的损失函数收敛，
所述超分辨模型的损失函数是基于平均绝对误差损失、多尺度结构相似性指数误差损失以及所述退化网络模型的损失函数确定的；
所述超分辨模型的损失函数为：
；
其中，表示超分辨模型的损失函数，/>表示超分辨模型，/>表示超分辨率单分子定位图像序列，/>表示低分辨率荧光图像序列，/>为常数表示超分辨网络损失函数中平均绝对误差损失的权重系数，/>为常数表示多尺度结构相似度损失的权重系数，/>表示退化网络模型的损失函数，/>为常数表示退化网络损失函数的权重系数，/>为多尺度结构相似性指数误差损失。
2.根据权利要求1所述的超分辨计算成像方法，其特征在于，所述退化网络模型的损失函数是基于预设权重系数，对平均绝对误差损失和多尺度结构相似性指数误差损失进行加权确定的；
所述退化网络模型的损失函数为：
；
其中表示退化网络模型的损失函数，/>代表超分辨图像退化后的图像，表示低分辨率荧光图像序列，/>为常数表示平均绝对误差损失的权重系数，/>为常数表示多尺度结构相似性指数误差损失的权重系数；/>为多尺度结构相似性指数误差。
3.根据权利要求1所述的超分辨计算成像方法，其特征在于，所述将所述低分辨率荧光图像序列输入超分辨模型之前，还包括：
基于跨模态图像对齐算法，对所述低分辨率荧光图像序列和所述超分辨率单分子定位图像序列进行基于空间投影变换的图像对齐。
4.根据权利要求1所述的超分辨计算成像方法，其特征在于，所述获取待观测蛋白的低分辨率荧光图像序列，以及所述待观测蛋白的单分子信号的单分子定位图像序列，包括：
基于双荧光通道成像，同时获取所述待观测蛋白的低分辨率荧光信号以及所述待观测蛋白的单分子信号；
基于信号采集设备，获取所述低分辨率荧光信号的低分辨率荧光图像序列以及所述单分子信号的单分子定位图像序列。
5.根据权利要求1所述的超分辨计算成像方法，其特征在于，所述得到所述低分辨率荧光图像序列的超分辨重建图像序列之后，还包括：
基于所述超分辨重建图像序列对应区间内稀疏单分子定位的密度估计，确定所述超分辨重建图像序列的定位误差图；
基于所述低分辨率荧光图像序列，确定所述低分辨率荧光图像序列的荧光强度分布误差图；
基于所述超分辨重建图像序列和所述低分辨率荧光图像序列的匹配相关度，确定所述超分辨重建图像序列和所述低分辨率荧光图像序列的模态配对误差图；
基于所述定位误差图、所述荧光强度分布误差图以及所述模态配对误差图，对所述超分辨重建图像序列进行矫正。
6.一种超分辨计算成像装置，其特征在于，包括：
图像获取模块，用于获取待观测蛋白的低分辨率荧光图像序列，以及所述待观测蛋白的单分子信号的单分子定位图像序列；
图像预处理模块，用于基于单分子定位算法，确定所述单分子定位图像序列的超分辨率单分子定位图像序列；
模型处理模块，用于将所述低分辨率荧光图像序列输入超分辨模型，得到所述低分辨率荧光图像序列的超分辨重建图像序列，所述超分辨模型是基于所述低分辨率荧光图像序列作为第一训练样本，以及所述超分辨率单分子定位图像序列作为所述第一训练样本对应的标签训练得到的；
所述超分辨模型的训练方法，包括：
将所述低分辨率荧光图像序列作为第一训练样本，并将所述超分辨率单分子定位图像序列作为所述第一训练样本对应的标签，对所述超分辨模型进行训练，直到所述超分辨模型收敛；
所述对所述超分辨模型进行训练，直到所述超分辨模型收敛，包括：
获取所述超分辨模型的训练输出结果，将所述训练输出结果作为第二训练样本，并将所述低分辨率荧光图像序列作为所述第二训练样本对应的标签，对退化网络模型进行训练，所述退化网络模型与所述超分辨模型的训练交替进行，直到所述超分辨模型的损失函数收敛以及所述退化网络模型的损失函数收敛，
所述超分辨模型的损失函数是基于平均绝对误差损失、多尺度结构相似性指数误差损失以及所述退化网络模型的损失函数确定的；
所述超分辨模型的损失函数为：
；
其中，表示超分辨模型的损失函数，/>表示超分辨模型，/>表示超分辨率单分子定位图像序列，/>表示低分辨率荧光图像序列，/>为常数表示超分辨网络损失函数中平均绝对误差损失的权重系数，/>为常数表示多尺度结构相似度损失的权重系数，/>表示退化网络模型的损失函数，/>为常数表示退化网络损失函数的权重系数，/>为多尺度结构相似性指数误差损失。
7.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述超分辨计算成像方法。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述超分辨计算成像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310729159.6A CN116503258B (zh) | 2023-06-20 | 2023-06-20 | 超分辨计算成像方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310729159.6A CN116503258B (zh) | 2023-06-20 | 2023-06-20 | 超分辨计算成像方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116503258A CN116503258A (zh) | 2023-07-28 |
| CN116503258B true CN116503258B (zh) | 2023-11-03 |
Family
ID=87324995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310729159.6A Active CN116503258B (zh) | 2023-06-20 | 2023-06-20 | 超分辨计算成像方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116503258B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116930140B (zh) * | 2023-07-31 | 2024-03-12 | 之江实验室 | 一种基于金刚石nv色心的单分子定位方法、设备及介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3438920A1 (en) * | 2017-07-31 | 2019-02-06 | Institut Pasteur | Method, device, and computer program for improving the reconstruction of dense super-resolution images from diffraction-limited images acquired by single molecule localization microscopy |
| CN110120011A (zh) * | 2019-05-07 | 2019-08-13 | 电子科技大学 | 一种基于卷积神经网络和混合分辨率的视频超分辨方法 |
| CN111524064A (zh) * | 2020-03-11 | 2020-08-11 | 浙江大学 | 基于深度学习的荧光显微图像超分辨重建方法 |
| CN112330543A (zh) * | 2020-12-01 | 2021-02-05 | 上海网达软件股份有限公司 | 一种基于自监督学习的视频超分辨方法及系统 |
| CN114331840A (zh) * | 2021-12-24 | 2022-04-12 | 汉姆德(宁波)智能医疗科技有限公司 | 重建高保真超分辨显微图像的方法、装置 |
| CN114549318A (zh) * | 2022-02-23 | 2022-05-27 | 复旦大学 | 基于亚体素卷积神经网络的超高分辨荧光显微成像方法 |
| CN115115510A (zh) * | 2022-05-31 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、系统及存储介质和终端设备 |
| CN115689880A (zh) * | 2021-07-28 | 2023-02-03 | 珠海市迪谱医疗科技有限公司 | 一种基于fsrcnn的荧光显微图像超分辨方法 |
| CN115936985A (zh) * | 2022-12-01 | 2023-04-07 | 华中光电技术研究所(中国船舶集团有限公司第七一七研究所) | 一种基于高阶退化循环生成对抗网络的图像超分辨率重建方法 |
| CN116188272A (zh) * | 2023-03-15 | 2023-05-30 | 包头市易慧信息科技有限公司 | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230106383A1 (en) * | 2021-10-05 | 2023-04-06 | The Hong Kong University Of Science And Technology | Deep learning based single frame super resolution microscopy image processing |
-
2023
- 2023-06-20 CN CN202310729159.6A patent/CN116503258B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3438920A1 (en) * | 2017-07-31 | 2019-02-06 | Institut Pasteur | Method, device, and computer program for improving the reconstruction of dense super-resolution images from diffraction-limited images acquired by single molecule localization microscopy |
| CN110120011A (zh) * | 2019-05-07 | 2019-08-13 | 电子科技大学 | 一种基于卷积神经网络和混合分辨率的视频超分辨方法 |
| CN111524064A (zh) * | 2020-03-11 | 2020-08-11 | 浙江大学 | 基于深度学习的荧光显微图像超分辨重建方法 |
| CN112330543A (zh) * | 2020-12-01 | 2021-02-05 | 上海网达软件股份有限公司 | 一种基于自监督学习的视频超分辨方法及系统 |
| CN115689880A (zh) * | 2021-07-28 | 2023-02-03 | 珠海市迪谱医疗科技有限公司 | 一种基于fsrcnn的荧光显微图像超分辨方法 |
| CN114331840A (zh) * | 2021-12-24 | 2022-04-12 | 汉姆德(宁波)智能医疗科技有限公司 | 重建高保真超分辨显微图像的方法、装置 |
| CN114549318A (zh) * | 2022-02-23 | 2022-05-27 | 复旦大学 | 基于亚体素卷积神经网络的超高分辨荧光显微成像方法 |
| CN115115510A (zh) * | 2022-05-31 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、系统及存储介质和终端设备 |
| CN115936985A (zh) * | 2022-12-01 | 2023-04-07 | 华中光电技术研究所(中国船舶集团有限公司第七一七研究所) | 一种基于高阶退化循环生成对抗网络的图像超分辨率重建方法 |
| CN116188272A (zh) * | 2023-03-15 | 2023-05-30 | 包头市易慧信息科技有限公司 | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| 深度学习算法及其在光学的应用;周宏强;黄玲玲;王涌天;;红外与激光工程(第12期);全文 * |
| 超分辨显微成像中荧光单分子定位算法的研究进展;林婉妮;金璐红;许迎科;;中国生物医学工程学报(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116503258A (zh) | 2023-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| de Haan et al. | Deep-learning-based image reconstruction and enhancement in optical microscopy | |
| US11836895B2 (en) | Deep-learning based structure reconstruction method and apparatus | |
| Cai et al. | Dense-UNet: a novel multiphoton in vivo cellular image segmentation model based on a convolutional neural network | |
| Wu et al. | Three-dimensional virtual refocusing of fluorescence microscopy images using deep learning | |
| JP2023093434A (ja) | 予測タグ付けを有する画像を生成するための画像処理のためのシステム、デバイス、および方法 | |
| JP7558243B2 (ja) | 特徴点検出 | |
| WO2020139835A1 (en) | Systems and methods for two-dimensional fluorescence wave propagation onto surfaces using deep learning | |
| CN116503258B (zh) | 超分辨计算成像方法、装置、电子设备及存储介质 | |
| US20240281933A1 (en) | Systems and methods for image processing | |
| WO2020081125A1 (en) | Analyzing complex single molecule emission patterns with deep learning | |
| Yang et al. | Deep-learning-based virtual refocusing of images using an engineered point-spread function | |
| Li et al. | Patch-based U-net model for isotropic quantitative differential phase contrast imaging | |
| Hugelier et al. | Quantitative single-molecule localization microscopy | |
| Xiao et al. | Spatial resolution improved fluorescence lifetime imaging via deep learning | |
| Zhu et al. | PODB: A learning-based polarimetric object detection benchmark for road scenes in adverse weather conditions | |
| CN109557070A (zh) | 一种基于空间编码光的拉曼成像系统 | |
| Dai et al. | Exceeding the limit for microscopic image translation with a deep learning-based unified framework | |
| US20230105073A1 (en) | Method and apparatus for removing honeycomb artifacts from optical fiber bundle images based on artificial intelligence | |
| Benisty et al. | Review of data processing of functional optical microscopy for neuroscience | |
| Liu et al. | A multi-view assisted registration network for MRI registration pre-and post-therapy | |
| Gong et al. | Intensity-mosaic: automatic panorama mosaicking of disordered images with insufficient features | |
| Matlock et al. | Model and learning-based computational 3D phase microscopy with intensity diffraction tomography | |
| Papereux et al. | DeepCristae, a CNN for the restoration of mitochondria cristae in live microscopy images | |
| US20240303952A1 (en) | System and method for real-time variable resolution microscope slide imaging | |
| To | Deep Learning Classification of Deep Ultraviolet Fluorescence Images for Margin Assessment During Breast Cancer Surgery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |