CN116703802A - 一种基于组织切片的荧光图像转换方法 - Google Patents
一种基于组织切片的荧光图像转换方法 Download PDFInfo
- Publication number
- CN116703802A CN116703802A CN202210176337.2A CN202210176337A CN116703802A CN 116703802 A CN116703802 A CN 116703802A CN 202210176337 A CN202210176337 A CN 202210176337A CN 116703802 A CN116703802 A CN 116703802A
- Authority
- CN
- China
- Prior art keywords
- loss function
- fluorescence image
- fluorescence
- deep learning
- pix2pix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002073 fluorescence micrograph Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 48
- 230000006870 function Effects 0.000 claims abstract description 62
- 238000013135 deep learning Methods 0.000 claims abstract description 40
- 238000005457 optimization Methods 0.000 claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims abstract description 6
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 3
- 238000000799 fluorescence microscopy Methods 0.000 abstract description 14
- 210000001519 tissue Anatomy 0.000 description 38
- FWBHETKCLVMNFS-UHFFFAOYSA-N 4',6-Diamino-2-phenylindol Chemical compound C1=CC(C(=N)N)=CC=C1C1=CC2=CC=C(C(N)=N)C=C2N1 FWBHETKCLVMNFS-UHFFFAOYSA-N 0.000 description 6
- KPKZJLCSROULON-QKGLWVMZSA-N Phalloidin Chemical compound N1C(=O)[C@@H]([C@@H](O)C)NC(=O)[C@H](C)NC(=O)[C@H](C[C@@](C)(O)CO)NC(=O)[C@H](C2)NC(=O)[C@H](C)NC(=O)[C@@H]3C[C@H](O)CN3C(=O)[C@@H]1CSC1=C2C2=CC=CC=C2N1 KPKZJLCSROULON-QKGLWVMZSA-N 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 108010009711 Phalloidine Proteins 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 230000016776 visual perception Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 210000005084 renal tissue Anatomy 0.000 description 2
- 239000012099 Alexa Fluor family Substances 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- UFUDXCDPABDFHK-SRCYXDNASA-N caracurine VII Chemical compound O[C@@H]([C@H]([C@H]1C2)[C@@H]3NC=4C5=CC=CC=4)OCC=C1CN1[C@@H]2[C@]35CC1 UFUDXCDPABDFHK-SRCYXDNASA-N 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 210000004292 cytoskeleton Anatomy 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002207 metabolite Substances 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于组织切片的荧光图像转换方法，用于将组织切片的某一通道的待转化荧光图像转换为同一视野中其他通道荧光图像，其特征在于，包括以下步骤：构建深度学习网络Pix2Pix；构建损失函数；获取训练所需的数据集；将数据集输入至深度学习网络Pix2Pix，采用损失函数和Adam优化算法对该深度学习网络Pix2Pix进行优化训练，并将训练好的深度学习网络Pix2Pix作为荧光图像转换模型；将待转化荧光图像输入至荧光图像转换模型，以获取对应的同一视野中其他通道的荧光图像。该组织切片荧光图像转换方法利用深度学习技术在荧光图像的不同通道之间找到预测关系，从而实现不同通道的图像转换，减少了(多标)荧光成像过程中费时费力的工作，节约了成本和时间。
Description
技术领域
本发明属于荧光成像技术领域，具体涉及一种基于组织切片的荧光图像转换方法。
背景技术
荧光显微技术主要用于检测特异荧光材料，在了解大分子结构、代谢物和其他亚细胞成分中起着至关重要的作用。但是，现阶段，荧光显微技术的使用仍存在一些限制。例如：荧光显微技术涉及耗时的准备步骤、昂贵的试剂以及光漂白导致的信号偏倚等。
深度学习是一种新兴的技术，目前已被广泛应用于各种领域。随着深度学习在显微技术领域的深入应用，深层神经网络提供了将某通道的荧光图像转换为同一视野中其他通道荧光图像的可能性。换言之，深度学习技术可以在荧光图像的不同通道之间找到预测关系。基于此，提供了基于组织切片的不同荧光转换成像的可行性。
发明内容
为解决上述问题，提供一种基于深度学习策略的组织切片荧光图像转换方法，可将某通道的组织切片的荧光图像转换为同一视野中其他通道的荧光图像，进而减少(多标)荧光成像过程中重复和费时的工作，节约成本和时间，本发明采用了如下技术方案：
本发明提供了一种基于组织切片的荧光图像转换方法，用于将组织切片的某一通道的荧光图像转换为同一视野中其他通道荧光图像，其特征在于，包括以下步骤：步骤S1，构建深度学习网络Pix2Pix；步骤S2，构建损失函数；步骤S3，获取训练所需的数据集；步骤S4，将数据集输入至深度学习网络Pix2Pix，采用损失函数和Adam优化算法对深度学习网络Pix2Pix进行优化训练，并将训练好的深度学习网络Pix2Pix作为荧光图像转换模型；步骤S5，将待转化荧光图像输入至荧光图像转换模型，以获取对应的同一视野中其他通道的荧光图像。
本发明提供的一种基于组织切片的荧光图像转换方法，还可以具有这样的技术特征，其中，深度学习网络Pix2Pix包含一个生成器G和一个鉴别器D，生成器G采用U-Net网络结构，鉴别器D采用条件判别器PatchGAN。
本发明提供的一种基于组织切片的荧光图像转换方法，还可以具有这样的技术特征，其中，损失函数通过在对抗损失函数的基础上加入L1损失函数和MS-SSIM损失函数得到，损失函数为：
式中，表示对抗损失函数，/>表示L1损失函数，/>表示MS-SSIM损失函数，λ1表示L1损失函数的正则化参数，λ2表示MS-SSIM损失函数的正则化参数，表示在G为常数的情况下，选择合适的D使得/>能够最大化，然后选择合适的G使得/>能够最小化。
本发明提供的一种基于组织切片的荧光图像转换方法，还可以具有这样的技术特征，其中，对抗损失函数为：
式中，pdata(x)是训练集中的真实图像分布，pdata(x,y)是荧光图像x和荧光图像y的联合概率分布，是(x，y)的对数似然期望，G表示试图最小化目标，D表示试图最大化目标；
L1损失函数为：
MS-SSIM损失函数为：
本发明提供的一种基于组织切片的荧光图像转换方法，还可以具有这样的技术特征，其中，步骤S3包括以下子步骤：步骤S3-1，基于成像设备对组织切片进行采集和成像，获取包含三种通道的荧光图像；步骤S3-2，采用限制对比度自适应直方图均衡方法对步骤S3-1获取的荧光图像进行图像增强获得增强后荧光图像；步骤S3-3，将所有增强后荧光图像随机分割成512×512像素的若干个小图像块；步骤S3-4，将若干个小图像块作为数据集，并划分为训练数据以及测试数据。
本发明提供的一种基于组织切片的荧光图像转换方法，还可以具有这样的技术特征，其中，采集和成像过程包括感兴趣区域的选取、自动对焦以及图像拼接。
本发明提供的一种基于组织切片的荧光图像转换方法，还可以具有这样的技术特征，其中，在步骤S4的优化训练中，训练150个epoch，网络每次优化遍历的小批量图像数量N为4，初始学习率为0.0002。
发明作用与效果
根据本发明的一种基于组织切片的荧光图像转换方法，针对现有组织切片荧光成像中存在的不足，构建了具有生成器和判别器的深度学习网络Pix2Pix，采用损失函数和Adam优化算法对该深度学习网络Pix2Pix进行优化训练得到荧光图像转换模型，只要将某通道的组织荧光图像输入至该荧光图像转换模型就可以实现对应的组织切片其他通道的荧光图像的转换。该组织切片荧光图像转换方法利用深度学习技术在荧光图像的不同通道之间找到预测关系，从而实现不同通道的图像转换，减少了(多标)荧光成像过程中费时费力的工作，节约了成本和时间；同时，基于该深度学习技术，也可实现多荧光标记的组织切片成像。
附图说明
图1是本发明实施例中一种基于组织切片的荧光图像转换方法的流程图；
图2是本发明实施例中深度学习网络Pix2Pix的结构示意图；
图3是本发明实施例中小鼠肾脏组织切片的三个通道的荧光图像示意图；
图4是本发明实施例中将DAPI通道的组织切片荧光图像转换为Phalloidin通道的荧光图像示意图。
具体实施方式
本发明构建了可实现组织切片荧光图像转换的深度学习模型，包括深度学习网络Pix2Pix架构和损失函数；基于实验获取的数据集训练所构建的深度学习模型；然后，基于训练好的深度学习模型，将某通道的组织切片荧光图像转换为另一个通道的荧光图像；最后，使用平均绝对值误差(Mean Absolute Error,MAE)，结构相似性(StructuralSimilarity,SSIM)和峰值信噪比(Peak signal-to-noise ratio,PSNR)评估荧光图像转换质量。
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的一种基于组织切片的荧光图像转换方法作具体阐述。
<实施例>
本实施例基于台式机实现，该台式机具有Intel Xeon Gold 6248R CPU@3.00GHz处理器和256G RAM，运行Windows 10操作系统。其中，预测网络使用Python 3.8.3版实现的。cGAN是使用Pytorch版本1.6.0实现的。使用的其他python库包括torchvision、dominate、visdom、os、time、Python Imaging Library(PIL)、和numpy。
图1是本发明实施例中一种基于组织切片的荧光图像转换方法的流程图。
如图1所示，基于组织切片的荧光图像转换方法包括以下步骤：
图像转换的目的是通过端到端的网络模型将源域图像转换为目标域图像。本实施例中，深度学习网络Pix2Pix采用全监督的方法，即利用完全配对的输入和输出图像训练模型，通过训练好的模型将输入的图像生成指定任务的目标图像。
步骤S1，构建深度学习网络Pix2Pix。
图2是本发明实施例中深度学习网络Pix2Pix的结构示意图。
如图2所示，该深度学习网络Pix2Pix包含一个生成器G(Generator)和一个鉴别器D(Discriminator)。其中，生成器G采用基于U-Net的体系结构，该生成器的训练目标是：使得生成的G(x)和x作为鉴别器的输入时，鉴别器输出的概率值尽可能大。鉴别器D采用条件判别器PatchGAN，该鉴别器的训练目标是：输入不是一对真实图像(x和G(x))时输出小的概率值，输入是一对真实图像(x和y)时输出大的概率值，即鉴别器尝试区分目标和生成器输出图像。
步骤S2，通过在对抗损失函数的基础上加入L1损失函数和MS-SSIM损失函数从而构建损失函数，该损失函数表示如下：
式中，表示对抗损失函数，/>表示L1损失函数，/>表示MS-SSIM损失函数，λ1表示L1损失函数的正则化参数，λ2表示MS-SSIM损失函数的正则化参数，表示在G为常数的情况下，选择合适的D使得/>能够最大化，然后选择合适的G使得/>能够最小化。
损失函数对网络训练有很大影响。L1损失函数能较好地保持输入图像和输出图像之间的相似度，但是L1损失函数没有考虑人类视觉感知。而SSIM损失函数考虑了亮度(luminance)、对比度(contrast)和结构(structure)等人类视觉感知指标。进一步，MS-SSIM(Multi-Scale SSIM)损失函数是基于多层的SSIM损失函数，同时考虑了分辨率。因此，本实施例在对抗损失函数的基础上加入L1损失函数和MS-SSIM损失函数。
其中，对抗损失函数为：
式中，pdata(x)是训练集中的真实图像分布，pdata(x,y)是荧光图像x和荧光图像y的联合概率分布，是(x，y)的对数似然期望，其中，G表示试图最小化目标，D表示试图最大化目标。
L1损失函数为：
MS-SSIM损失函数为：
步骤S3，获取训练所需的数据集。
本步骤S3包括以下子步骤：
步骤S3-1，基于成像设备对组织切片进行采集和成像，获取包含三种通道的荧光图像。
本实施例中，使用配备40x/0.95NA物镜的扫描显微镜(奥林巴斯，VS-BX)的荧光成像模式对小鼠肾脏组织切片，获取DAPI、Phalloidin以及WGA这三种通道的荧光图像。
其中，DAPI(4',6-Diamidino-2-Phenylindole)用于标记细胞核(该通道简记为DAPI)；Alexa488WGA偶联物用于标记细胞膜(该通道简记为WGA)，Alexa Fluor鬼笔环肽偶联物用于标记细胞骨架(该通道简记为Phalloidin)。对于DAPI通道，发射波长为455nm，曝光时间为100ms；对于Phalloidin通道，发射波长为480nm，曝光时间为50ms；对于WGA通道，发射波长为656nm，曝光时间为50ms。采集和成像过程包括感兴趣区域(Region of Interest,ROI)的选取、自动对焦和图像拼接等。
步骤S3-2，采用限制对比度自适应直方图均衡方法对步骤S3-1获取的荧光图像进行图像增强获得增强后荧光图像。
由于获取的部分荧光图像对比度较低，本实施例使用限制对比度自适应直方图均衡(contrast limited adaptive histogram equalization,CLAHE)方法进行图像增强。该方法可以提高图像的局部对比度，不会对图像细节造成损伤，并且能够避免图像噪声随图像对比度增大而放大。最终得到三种不同通道的荧光图像如图3所示。
步骤S3-3，为降低内存需求并加快训练过程，将所有增强后荧光图像随机分割成512×512像素的若干个小图像块。
步骤S3-4，将若干个小图像块作为数据集，并划分训练数据为1280张，测试数据为320张。
步骤S4，将数据集输入至深度学习网络Pix2Pix，采用损失函数和优化算法对深度学习网络Pix2Pix进行优化训练，并将训练好的深度学习网络Pix2Pix作为荧光图像转换模型。
本实施例中，使用Adam优化算法对数据集及深度学习网络Pix2Pix进行优化训练，训练总共150个epoch，其中，网络每次优化遍历的小批量图像数量N为4，初始学习率为0.0002。为了使误差收敛到较小的值，使用学习率衰减策略。
步骤S5，将组织切片的任一通道荧光图像输入至荧光图像转换模型，以获取对应的同一视野中其他通道的荧光图像。
本实施例中，为了评估荧光图像转换模型的性能，计算了真实图像和模型生成图像的平均绝对值误差(MAE)、峰值信噪比(PSNR)和结构相似性(SSIM)。具体地：
MAE表示预测值和观测值之间绝对误差的平均值，可以避免误差相互抵消的问题，因而可以准确反映实际预测误差的大小，该值越小，则模型效果越好。计算方式如下：
式中，N表示图像里像素的个数。
SSIM是一种衡量两幅图像相似度的指标。其取值范围为[0，1]，SSIM值越大，表示图像失真越小。计算方式如下：
式中，μx是x的平均值，μy是y的平均值，是x的方差，/>是y的方差，σxy是x和y的协方差，c1＝(k1L)2，c2＝(k2L)2是用来维持稳定的常数，L是像素值的动态范围，k1＝0.01，k2＝0.03。PSNR是最普遍和使用最为广泛的一种图像客观评价指标，数值越大表示失真越小，计算方式如下：
其中，MSE(Mean Square Error)表示当前图像x和参考图像y的均方误差，h和w分别为图像的高度和宽度，n为每像素的比特数。
本实施例中，对训练后的深度学习网络Pix2Pix实现组织切片荧光图像转换的性能测评指标结果见表1，由DAPI通道转换为Phalloidin通道的实验结果如图4所示。
| 荧光通道转换 | MAE | SSIM | PSNR(dB) |
| DAPI-->Phalloidin | 14.62±2.576 | 0.621±0.014 | 16.891±0.446 |
| DAPI-->WGA | 10.38±2.928 | 0.828±0.012 | 19.364±0.506 |
表1
对比现有(多标)组织切片荧光成像方法，本发明构建了一个通用的架构可以方便解决荧光图像转换问题，进而实现多色组织切片荧光成像；同时，减少了(多标)荧光成像过程中费时费力的准备工作，节约了成本和时间。
实施例作用与效果
根据本实施例提供的一种基于组织切片的荧光图像转换方法，该方法针对现有组织切片荧光成像中存在的不足，构建了深度学习网络Pix2Pix，并采用损失函数和Adam优化算法对该深度学习网络Pix2Pix进行了优化训练得到荧光图像转换模型，只要将某通道的组织荧光图像输入至该荧光图像转换模型就可以实现对应的组织切片其他通道的荧光图像的转换。该组织切片荧光图像转换方法利用深度学习技术在荧光图像的不同通道之间找到预测关系，从而实现不同通道的图像转换，减少了(多标)荧光成像过程中费时费力的工作，节约了成本和时间；同时，基于该深度学习技术，也可实现多荧光标记的组织切片成像。
实施例中，由于构建的深度学习网络Pix2Pix具有生成器和鉴别器，因此通过生成器和判别器的互相博弈从而产生良好的输出。同时采用深度学习技术也更好地实现了不同通道图像的预测转换。
实施例中，由于训练所用损失函数是在对抗损失函数的基础上加入了L1损失函数和MS-SSIM损失函数构建的，因此不仅能较好地保持输入图像和输出图像之间的相似度，而且还考虑到了亮度、对比度和结构等人类视觉感知指标。同时，还由于MS-SSIM损失函数是基于多层的SSIM损失函数，因此也保证了图像的高分辨率。
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。
Claims (7)
1.一种基于组织切片的荧光图像转换方法，用于将组织切片的某一通道的待转化荧光图像转换为同一视野中其他通道荧光图像，其特征在于，包括以下步骤：
步骤S1，构建深度学习网络Pix2Pix；
步骤S2，构建损失函数；
步骤S3，获取训练所需的数据集；
步骤S4，将所述数据集输入至所述深度学习网络Pix2Pix，采用所述损失函数和Adam优化算法对该深度学习网络Pix2Pix进行优化训练，并将训练好的深度学习网络Pix2Pix作为荧光图像转换模型；
步骤S5，将所述待转化荧光图像输入至所述荧光图像转换模型，以获取对应的同一视野中其他通道的荧光图像。
2.根据权利要求1所述的一种基于组织切片的荧光图像转换方法，其特征在于：
其中，所述深度学习网络Pix2Pix包含一个生成器G和一个鉴别器D，
所述生成器G采用U-Net网络结构，所述鉴别器D采用条件判别器PatchGAN。
3.根据权利要求1所述的一种基于组织切片的荧光图像转换方法，其特征在于：
其中，所述损失函数通过在对抗损失函数的基础上加入L1损失函数和MS-SSIM损失函数得到，所述损失函数为：
式中，表示所述对抗损失函数，/>表示所述L1损失函数，/>表示所述MS-SSIM损失函数，λ1表示所述L1损失函数的正则化参数，λ2表示所述MS-SSIM损失函数的正则化参数，/>表示在G为常数的情况下，选择合适的D使得能够最大化，选择合适的G使得/>能够最小化。
4.根据权利要求3所述的一种基于组织切片的荧光图像转换方法，其特征在于：
其中，所述对抗损失函数为：
式中，pdata(x)是训练集中的真实图像分布，pdata(x,y)是荧光图像x和荧光图像y的联合概率分布，是(x，y)的对数似然期望，G表示试图最小化目标，D表示试图最大化目标；
所述L1损失函数为：
所述MS-SSIM损失函数为：
5.根据权利要求1所述的一种基于组织切片的荧光图像转换方法，其特征在于：
其中，所述步骤S3包括以下子步骤：
步骤S3-1，基于成像设备对组织切片进行采集和成像，获取包含三种通道的荧光图像；
步骤S3-2，采用限制对比度自适应直方图均衡方法对所述步骤S3-1获取的荧光图像进行图像增强获得增强后荧光图像；
步骤S3-3，将所有所述增强后荧光图像随机分割成512×512像素的若干个小图像块；
步骤S3-4，将若干个所述小图像块作为所述数据集，并划分为训练数据以及测试数据。
6.根据权利要求5所述的一种基于组织切片的荧光图像转换方法，其特征在于：
其中，所述采集和成像过程包括感兴趣区域的选取、自动对焦以及图像拼接。
7.根据权利要求1所述的一种基于组织切片的荧光图像转换方法，其特征在于：
其中，在所述步骤S4的优化训练中，训练共150个epoch，网络每次优化遍历的小批量图像数量N为4，初始学习率为0.0002。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210176337.2A CN116703802A (zh) | 2022-02-24 | 2022-02-24 | 一种基于组织切片的荧光图像转换方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210176337.2A CN116703802A (zh) | 2022-02-24 | 2022-02-24 | 一种基于组织切片的荧光图像转换方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116703802A true CN116703802A (zh) | 2023-09-05 |
Family
ID=87843774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210176337.2A Pending CN116703802A (zh) | 2022-02-24 | 2022-02-24 | 一种基于组织切片的荧光图像转换方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116703802A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117351485A (zh) * | 2023-12-04 | 2024-01-05 | 深圳赛陆医疗科技有限公司 | 基因测序训练数据集的增强方法及装置、设备及存储介质 |
-
2022
- 2022-02-24 CN CN202210176337.2A patent/CN116703802A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117351485A (zh) * | 2023-12-04 | 2024-01-05 | 深圳赛陆医疗科技有限公司 | 基因测序训练数据集的增强方法及装置、设备及存储介质 |
| CN117351485B (zh) * | 2023-12-04 | 2024-03-08 | 深圳赛陆医疗科技有限公司 | 基因测序训练数据集的增强方法及装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | An imaging-inspired no-reference underwater color image quality assessment metric | |
| Xu et al. | A systematic review and analysis of deep learning-based underwater object detection | |
| Zheng et al. | Segmentation of green vegetation of crop canopy images based on mean shift and fisher linear discriminant | |
| CN111429448B (zh) | 一种基于弱分割信息的生物荧光目标计数方法 | |
| CN111882489A (zh) | 用于水下图像同时增强的超分辨率图形恢复方法 | |
| Pan et al. | No-reference image quality assessment via multibranch convolutional neural networks | |
| CN109544529A (zh) | 面向深度学习模型训练和学习的病理图像数据增强方法 | |
| Zhou et al. | Deep multi-scale features learning for distorted image quality assessment | |
| CN116703802A (zh) | 一种基于组织切片的荧光图像转换方法 | |
| CN116402709A (zh) | 一种基于水下注意力生成对抗网络的图像增强方法 | |
| Arun et al. | Enhancement and detection of objects in underwater images using image super-resolution and effective object detection model | |
| You et al. | Vocal cord leukoplakia classification using deep learning models in white light and narrow band imaging endoscopy images | |
| CN113538363A (zh) | 一种基于改进U-Net的肺部医学影像分割方法及装置 | |
| CN110728660B (zh) | 基于缺血性脑卒中mri检测标记进行病灶分割的方法及装置 | |
| CN109543684B (zh) | 基于全卷积神经网络的即时目标追踪检测方法及系统 | |
| Li et al. | An improved method for underwater image super-resolution and enhancement | |
| Wang et al. | Stochastic multi-scale aggregation network for crowd counting | |
| Zhang et al. | Multi-scale attentive feature fusion network for single image dehazing | |
| Ma et al. | Automatic calcium scoring in cardiac and chest CT using DenseRAUnet | |
| CN113763471A (zh) | 一种基于视觉的弹孔检测方法及系统 | |
| Lu et al. | Dense U-net for super-resolution with shuffle pooling layer | |
| Panaetov et al. | Rdrn: Recursively defined residual network for image super-resolution | |
| Chen et al. | Semi-supervised breast lesion detection in ultrasound video based on temporal coherence | |
| Zhai et al. | Multi-focus image fusion via interactive transformer and asymmetric soft sharing | |
| Xiang et al. | Quality-distinguishing and patch-comparing no-reference image quality assessment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |