CN111476857A - 基于深度学习的结构不变的病理图像颜色标准化方法 - Google Patents

基于深度学习的结构不变的病理图像颜色标准化方法 Download PDF

Info

Publication number
CN111476857A
CN111476857A CN202010277944.9A CN202010277944A CN111476857A CN 111476857 A CN111476857 A CN 111476857A CN 202010277944 A CN202010277944 A CN 202010277944A CN 111476857 A CN111476857 A CN 111476857A
Authority
CN
China
Prior art keywords
image
deep learning
images
color
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010277944.9A
Other languages
English (en)
Other versions
CN111476857B (zh
Inventor
刘再毅
赵秉超
梁长虹
韩楚
孙洪赞
陈鑫
黄燕琪
叶维韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong General Hospital Guangdong Academy of Medical Sciences
Original Assignee
Guangdong General Hospital Guangdong Academy of Medical Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong General Hospital Guangdong Academy of Medical Sciences filed Critical Guangdong General Hospital Guangdong Academy of Medical Sciences
Priority to CN202010277944.9A priority Critical patent/CN111476857B/zh
Publication of CN111476857A publication Critical patent/CN111476857A/zh
Application granted granted Critical
Publication of CN111476857B publication Critical patent/CN111476857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的结构不变的病理图像颜色标准化方法，该方法包括：构建模型训练集；在训练集中选取一张染色质量优良的图像作为模板图像，其余图像作为原图像；搭建深度学习模型；将原图的灰度图像和模板图像的Lab色彩空间图像输入网络，训练深度学习模型，得到标准化后的a和b通道图像；在将原图像L通道和标准化后a和b通道结合，得到标准化后的RGB通道图像。本发明使用深度学习模型结合自动上色的原理，利用灰度图像的结构信息和模板图像的颜色信息，将原图像的颜色风格转化成模板图像的颜色风格，实现病理图像的颜色标准化。

Description

基于深度学习的结构不变的病理图像颜色标准化方法
技术领域
本发明属于图像处理的技术领域，具体涉及一种基于深度学习的结构不变的病理图像颜色标准化方法。
背景技术
随着医疗技术的革新，肿瘤的细胞级成像可以通过一系列处理呈现在病理图像中，病理图像已经成为肿瘤诊断和预后的重要参考。但是在病理图像成像过程中，组织样本的制备和数字化会导致颜色变化，不仅在病理医生阅片时造成干扰，更对计算机的病理图像分析带来了难以估量的误差。所以对病理图像的进行标准化，将所得的病理图像标准化到某一个颜色分布有着非常重要的临床意义。
现有的基于传统数学优化算法的标准化方法主要有两种，灰度直方图匹配，颜色转换和光谱匹配。但他们都有一些的缺点。灰度直方图匹配很难保持标准化前后图像的结构信息不变。颜色转换需要通过利用染色外观矩阵进行染色分离，而染色外观矩阵时根据使用者经验评估得到的，不等的外观矩阵会得到不一样的分离结果。在不同使用医院等机构使用时，受染色过程和扫描成像设备的影响，染色外观矩阵往往需要取不同的值以适应当前的应用场景。但计算染色外观矩阵过程较为繁琐，往往是直接使用相关文献的染色外观矩阵，这样的染色外观矩阵往往和当前应用场景不匹配，会导致染色分离结果不准确。光谱匹配算法一般都利用非负矩阵分解进行染色分离。非负矩阵分解是一个迭代过程，有两个缺点：1.分离结果容易落入局部最小，2.为了计算出较为精确的值，需要较长的迭代时间。因此需要设计一种能够保留图像结构不变，易于实现，鲁棒性强并且运算时间更短的方法。
现有的基于深度学习的标准化方法主要思路都是将原图像映射到模板图像的染色风格上。深度学习确定参数的过程是一个学习的过程，需要大量的数据对模型进行训练，并且一般对与训练时出现过的数据较为接近的数据有较好的拟合能力，但如果遇见一些从未见过的染色风格的数据，往往结果不如人意。这就使得在应用深度学习进行病理图像标准化的过程中对输入模型的数据有了一定的要求。首先，训练的数据往往需要涵盖各种染色风格，而且实际应用的时候尽量保证不要出现没有遇见过的染色风格。但实际上我们很难保证训练时可以涵盖所有的染色风格，也没办法预测实际应用时会遇到什么样的染色风格。因此需要设计一种更容易训练，且能够适应各种染色风格的深度学习算法。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于深度学习的结构不变的病理图像颜色标准化方法，使用深度学习模型结合自动上色的原理，利用灰度图像的结构信息和模板图像的颜色信息，将原图像的颜色风格转化成模板图像的颜色风格，实现病理图像的颜色标准化。
为了达到上述目的，本发明采用以下技术方案：
基于深度学习的结构不变的病理图像颜色标准化方法，包括下述步骤：
获取病理图像作为模型的训练集，并将高分辨率的病理图像切割成设定像素的小图像；
在训练集中选取一张染色质量优良的图像作为模板图像，其余图像作为原图像；
搭建深度学习模型，所述深度学习模型是在灰度图像的结构信息基础上，学习模板图像的颜色信息，生成和模板图像颜色风格相似的ab通道图像，再结合原图像L通道，最终得到RGB通道的原图像标准化后的图像；
将原图像转化成灰度图像，将模板图像转化成Lab色彩空间模板图像，并将所述灰度图像和所述Lab色彩空间模板图像输入深度学习模型中进行训练，得到训练好的深度学习模型；
将需要标准化的图像转化成灰度图像，模板图像转化成Lab色彩空间图像，将灰度图像和Lab色彩空间图像输入已经训练好的深度学习模型中，得到原图像标准化后的a和b通道的图像，将原图像L通道图像和标准化后a和b通道图像结合，得到原图像新的Lab空间图像，然后将新的Lab空间图像转换成RGB图像，得到标准化后的病理图像。
作为优选的技术方案，所述病理图像的染色方法为：
采用苏木精染色剂和伊红染色剂对病理图像进行染色，在40X或者20X下成像，切割成的小图像分辨率大小为512*512像素，最后所得的总训练图像数大于2000张。
作为优选的技术方案，所有训练集中的病理图像都来源于同一批染色样品，经历相同的染色制片过程，并且由同一扫描仪扫描成像。
作为优选的技术方案，所述模板图像作为标准化的模板，训练集中所有待标准化的原图像都通过深度学习模型被转化成模板图像的染色风格，实现颜色标准化。
作为优选的技术方案，所述深度学习模型结合原图像的结构信息和模板图像的颜色和结构信息，将原图像的颜色风格转化成模板图像的颜色风格，实现病理图像的颜色标准化。
作为优选的技术方案，所述深度学习模型为全卷积神经网络，包括卷积层，激活层和反卷积层，该全卷积神经网络网络分为上下两个分支：上分支用于提取模板图像的特征；下分支用于提取原图像的特征，然后用上分支的特征与下分支的特征进行结合，用上分支模板图像的特征指引下分支生成与模板图像颜色风格相符的a，b通道图像；
上分支输入的是模板图像，然后经过4个卷积块，每个卷积块包含两个卷积层，使用的卷积核都是3*3，第一个卷积核负责学习图像特征，第二个卷积核学习图像特征并对图像进行下采样操作，卷积步长为2，下采样一次图像长宽各减少到原来的二分之一；最后一个卷积块不进行下采样；下分支是U-net结构的变体，去掉了U-net结构的长链接，并且只用了3次下采样，和3次上采样；在上下采样之间添加了一个卷积块，负责对上下分支融合后的信息进行学习；输入的是由原图像得到的灰度图像，经过3次下采样后与得到与上分支相同分辨率的特征图，然后把上下分支的特征图串联，通过上采样恢复到和输入图像相同大小的分辨率，输出原图像标准化后a，b通道的图像。
作为优选的技术方案，所述深度学习模型激活层的激活函数为Relu，
公式为：f(x)＝max(0，x)
所述深度学习模型的损失函数为：
Figure BDA0002445459680000041
其中，y代表标准化后的图像，x代表模型输出的图像，n代表第n个像素点，yn则代表y图像的第n个像素值，同理xn代表模型输出x的第n个像素值；
作为优选的技术方案，所述将所述灰度图像和所述Lab色彩空间模板图像输入深度学习模型中进行训练，具体为：
所述深度学习模型由pytorch架构搭建，训练时使用的优化器为自适应矩估计Adam，初始的学习率为10-4，学习率衰减率为0.96，权重衰减为10-4，训练epoch为1000。
作为优选的技术方案，Lab转化RGB公式如下：
Figure BDA0002445459680000051
Figure BDA0002445459680000052
Figure BDA0002445459680000053
Figure BDA0002445459680000054
Figure BDA0002445459680000055
其中L*,a*和b*分别代表L,a,b通道线性归一化后的值，X,Y,Z是转化过程的中间值，R,G,B代表R,G,B转换后得到的R,G,B值。
作为优选的技术方案，输入原图像的灰度图和目标图像，经过网络后生成标准化后的a和b通道图像，再与原图像的L通道进行结合，生成标准化后的RGB图像，L通道表征图像的亮度信息，包含了图片完整的结构信息，网络生成的a.b信息表征了标准化后的实际颜色分布信息，由此保证被标准化病理图像的结构不
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明专利利用深度学习网络进行病理图像的标准化，用L通道图像与深度学习模型输出的a和b通道图像结合生成最后的标准化图片，由于L通道包含了图片所有的结构信息，这就避免了标准化过程中的结构形变问题。
(2)本发明深度学习模型具有强大的学习能力，比单纯的数学标准化方法更加鲁棒。模型的所有超参数在训练阶段学习，应用时只需要加载训练好的模型，对新的需要标准化的图像进行预测即可，可以快速得到标准化后的图片。
(3)本发明所有的训练图像都可以取自方法使用者所在的机构，避免了使用他人经验估计得出的染色外观矩阵带来的不匹配的问题，使得训练好的模型更加切合当前的应用场景。
(4)本发明与现有的基于风格迁移的深度学习算法更加容易实现，其一：本发明方法的网络结构简单，其二：现有的基于风格迁移原理的深度学习算法训练的时候需要至少两种不同染色风格的图片进行训练，而本发明方法只需要一种风格的染色图片，甚至可以只在同一张病理图片上进行训练。其三：基于风格迁移的方法只能学习将训练阶段出现过的风格迁移到目的风格，将训练好的模型部署到实际应用中时，如果遇到训练时没有遇见过的染色风格，标准化的结果会比较差。本发明将原图像的灰度图进行自动上色，并不受原图像颜色风格的影响，训练好的模型可以适应各种染色风格。
附图说明
图1示出了本应用使用的深度学习模型的示意图；
图2示出了本发明标准化方法的流程图；
图3示出了本发明方法深度学习模型训练的示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图2所示，本实施例提供的一种基于深度学习的结构不变的病理图像颜色标准化方法，包括如下步骤：
S100：构建模型训练集；
训练集中病理图像染色方法为苏木精伊红染色，成像应该在40X或者20X下成像。将获取的高分辨率病理图像切割成的小图像，像素大小为512*512像素。为了保证模型可以拟合，最后从切割得到的图像中选取2000张作为训练集。本实施例中，所用的高分辨率病理图像都应来源自同一批染色样品，经历相同的染色制片过程，并且由同一扫描仪扫描成像。并且要保证最后用作训练集的图像染色质量良好，病理结构清晰。
S200：选取模板图片；
选取一张图像作为模板图像，其余的图像作为原图像。模板图像是标准化的模板，所有的原图像经过深度学习模型后都会被转换成模板图像的染色风格。为了保证模板图像的质量的同时不引入额外的误差，模板图像应在训练集中选取，并且要保证模板图像染色质量好，病理结构清晰，且与原图像大小保持一致。
S300：搭建深度学习模型；
所述深度学习模型的作用就是在灰度图像的结构信息基础上，学习模板图像的颜色信息，生成和模板图像颜色风格相似的ab通道图像，再结合原图像L通道，最终得到RGB通道的原图像标准化后的图像。利用将原图像转化成灰度图像后再自动上色的原理实现病理图像的标准化。该深度学习模型旨在结合原图像的结构信息和模板图像的颜色和结构信息，将原图像的颜色风格转化成模板图像的颜色风格，实现病理图像的颜色标准化。模型由pytorch架构搭建，训练时使用的优化器为自适应矩估计(Adam)，初始的学习率为10-4，学习率衰减率为0.96，权重衰减为10-4，训练epoch为1000。
本实施例所构建的深度学习模型如图1所示，该深度学习模型不包含全连接层，由卷积层，反卷积层构成和激活层组成。所述深度学习模型为全卷积神经网络，网络分为上下两个分支：上分支负责提取模板图像的特征；下分支负责提取原图像的特征，然后用上分支的特征与下分支的特征进行结合，用上分支模板图像的特征指引下分支生成与模板图像颜色风格相符的a，b通道图像。
上分支输入的是模板图像，然后经过4个卷积块，每个卷积块包含两个卷积层，使用的卷积核都是3*3，第一个卷积核负责学习图像特征，第二个卷积核学习图像特征并对图像进行下采样操作，卷积步长为2，下采样一次图像长宽各减少到原来的二分之一。最后一个卷积块不进行下采样。下分支是U-net结构的变体，去掉了U-net结构的长链接，并且只用了3次下采样，和3次上采样。在上下采样之间添加了一个卷积块，负责对上下分支融合后的信息进行学习。输入的是由原图像得到的灰度图像，经过3次下采样后与得到与上分支相同分辨率的特征图，然后把上下分支的特征图串联，通过上采样恢复到和输入图像相同大小的分辨率，输出原图像标准化后a，b通道的图像。
所述激活层的激活函数为Relu，公式为：
f(x)＝max(0，x)
所述深度学习模型的损失函数采用交叉熵损失函数：
Figure BDA0002445459680000081
公式中，y代表标准化后的图像，x代表模型输出的图像，n代表第n个像素点，yn则代表y图像的第n个像素值，同理xn代表模型输出x的第n个像素值。
所述深度学习模型的输出是ab通道的信息，本实施例将原图像转化成Lab色彩空间图像，用其中的ab通道作为y值，计算模型的损失函数。
S400：将原图像转化成灰度图像，将模板图像转化成Lab色彩空间图像，并将灰度图像和Lab色彩空间的模板图像输入深度学习模型中进行训练，得到训练好的深度学习模型。
其中，L通道代表了图像的亮度，也就是包含了图像所有的结构信息，a代表从绿色到红色的分量，b代表从蓝色到黄色的分量。该深度学习模型的训练流程图如图3所示，将原图像转化成灰度图像，结合模板图像Lab通道，模型可以学习到原图像的所有结构信息和模板图像所有的色彩信息，使得生成的图像具有模板图像的颜色信息。
S500：将需要标准化的图像转化成灰度图像，模板图像转化成Lab色彩空间图像，并将灰度图像和Lab色彩空间图像输入已经训练好的深度学习模型中，可以得到原图像标准化后的a和b通道的图像，将原图像L通道和标准化后a和b通道结合，得到原图像新的Lab空间图像，然后将新的Lab空间图像转换成RGB图像，得到标准化后的RGB通道图像。
更进一步的，Lab转化RGB公式如下：
Figure BDA0002445459680000091
Figure BDA0002445459680000092
Figure BDA0002445459680000093
Figure BDA0002445459680000094
Figure BDA0002445459680000101
其中L*,a*和b*分别代表L,a,b通道线性归一化后的值，X,Y,Z是转化过程的中间值，R,G,B代表R,G,B转换后得到的R,G,B值。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于深度学习的结构不变的病理图像颜色标准化方法，其特征在于，包括下述步骤：
获取病理图像作为模型的训练集，并将高分辨率的病理图像切割成设定像素的小图像；
在训练集中选取一张染色质量优良的图像作为模板图像，其余图像作为原图像；
搭建深度学习模型，所述深度学习模型是在灰度图像的结构信息基础上，学习模板图像的颜色信息，生成和模板图像颜色风格相似的ab通道图像，再结合原图像L通道，最终得到RGB通道的原图像标准化后的图像；
将原图像转化成灰度图像，将模板图像转化成Lab色彩空间模板图像，并将所述灰度图像和所述Lab色彩空间模板图像输入深度学习模型中进行训练，得到训练好的深度学习模型；
将需要标准化的图像转化成灰度图像，模板图像转化成Lab色彩空间图像，将灰度图像和Lab色彩空间图像输入已经训练好的深度学习模型中，得到原图像标准化后的a和b通道的图像，将原图像L通道图像和标准化后a和b通道图像结合，得到原图像新的Lab空间图像，然后将新的Lab空间图像转换成RGB图像，得到标准化后的RGB通道图像。
2.根据权利要求1所述于深度学习的结构不变的病理图像颜色标准化方法，其特征在于，所述病理图像的染色方法为：
采用苏木精染色剂和伊红染色剂对病理图像进行染色，在40X或者20X下成像，切割成的小图像分辨率大小为512*512像素，最后所得的总训练图像数大于2000张。
3.根据权利要求2所述于深度学习的结构不变的病理图像颜色标准化方法，其特征在于，所有训练集中的病理图像都来源于同一批染色样品，经历相同的染色制片过程，并且由同一扫描仪扫描成像。
4.根据权利要求1所述于深度学习的结构不变的病理图像颜色标准化方法，其特征在于，所述模板图像作为标准化的模板，训练集中所有待标准化的原图像都通过深度学习模型被转化成模板图像的染色风格，实现颜色标准化。
5.根据权利要求1所述于深度学习的结构不变的病理图像颜色标准化方法，其特征在于，所述深度学习模型结合原图像的结构信息和模板图像的颜色和结构信息，将原图像的颜色风格转化成模板图像的颜色风格，实现病理图像的颜色标准化。
6.根据权利要求1所述于深度学习的结构不变的病理图像颜色标准化方法，其特征在于，所述深度学习模型为全卷积神经网络，包括卷积层，激活层和反卷积层，该全卷积神经网络网络分为上下两个分支：上分支用于提取模板图像的特征；下分支用于提取原图像的特征，然后用上分支的特征与下分支的特征进行结合，用上分支模板图像的特征指引下分支生成与模板图像颜色风格相符的a，b通道图像；
上分支输入的是Lab颜色通道的模板图像，然后经过4个卷积块，每个卷积块包含两个卷积层，使用的卷积核都是3*3，第一个卷积核负责学习图像特征，第二个卷积核学习图像特征并对图像进行下采样操作，卷积步长为2，下采样一次图像长宽各减少到原来的二分之一，最后一个卷积块不进行下采样。下分支是U-net结构的变体，去掉了U-net结构的长链接，并且只用了3次下采样，和3次上采样；在上下采样之间添加了一个卷积块，负责对上下分支融合后的信息进行学习；输入的是由原图像得到的灰度图像，经过3次下采样后与得到与上分支相同分辨率的特征图，然后把上下分支下采样后的特征图串联，并经过一个卷积块进行学习，最后通过上采样恢复到和输入图像相同大小的分辨率，输出原图像标准化后a，b通道的图像。
7.根据权利要求6所述于深度学习的结构不变的病理图像颜色标准化方法，其特征在于，所述深度学习模型激活层的激活函数为Relu，
公式为：f(x)＝max(0，x)
所述深度学习模型的损失函数为：
Figure FDA0002445459670000021
其中，y代表标准化后的图像，x代表模型输出的图像，n代表第n个像素点，yn则代表y图像的第n个像素值，同理xn代表模型输出x的第n个像素值。
8.根据权利要求1所述于深度学习的结构不变的病理图像颜色标准化方法，其特征在于，所述将所述灰度图像和所述Lab色彩空间模板图像输入深度学习模型中进行训练，具体为：
所述深度学习模型由pytorch架构搭建，训练时使用的优化器为自适应矩估计Adam，初始的学习率为10-4，学习率衰减率为0.96，权重衰减为10-4，训练epoch为1000。
9.根据权利要求1所述于深度学习的结构不变的病理图像颜色标准化方法，其特征在于，Lab转化RGB公式如下：
Figure FDA0002445459670000031
Figure FDA0002445459670000032
Figure FDA0002445459670000033
Figure FDA0002445459670000034
Figure FDA0002445459670000035
其中L*,a*和b*分别代表L,a,b通道线性归一化后的值，X,Y,Z是转化过程的中间值，R,G,B代表转换后得到的R,G,B值。
10.根据权利要求1所述于深度学习的结构不变的病理图像颜色标准化方法，其特征在于，输入原图像的灰度图和目标图像，经过网络后生成标准化后的a和b通道图像，再与原图像的L通道进行结合，然后将新的Lab空间图像转换成RGB图像，生成标准化后的病理图像，L通道表征图像的亮度信息，包含了图片完整的结构信息，网络生成的a.b信息表征了标准化后的实际颜色分布信息，由此保证被标准化病理图像的结构不变。
CN202010277944.9A 2020-04-10 2020-04-10 基于深度学习的结构不变的病理图像颜色标准化方法 Active CN111476857B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010277944.9A CN111476857B (zh) 2020-04-10 2020-04-10 基于深度学习的结构不变的病理图像颜色标准化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010277944.9A CN111476857B (zh) 2020-04-10 2020-04-10 基于深度学习的结构不变的病理图像颜色标准化方法

Publications (2)

Publication Number Publication Date
CN111476857A true CN111476857A (zh) 2020-07-31
CN111476857B CN111476857B (zh) 2021-07-09

Family

ID=71751790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010277944.9A Active CN111476857B (zh) 2020-04-10 2020-04-10 基于深度学习的结构不变的病理图像颜色标准化方法

Country Status (1)

Country Link
CN (1) CN111476857B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052813A (zh) * 2021-03-22 2021-06-29 山西三友和智慧信息技术股份有限公司 一种基于StrainNet的染色方法
CN114678121A (zh) * 2022-05-30 2022-06-28 上海芯超生物科技有限公司 一种hp球形变诊断模型及其构建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830912A (zh) * 2018-05-04 2018-11-16 北京航空航天大学 一种深度特征对抗式学习的交互式灰度图像着色方法
CN110288515A (zh) * 2019-05-27 2019-09-27 宁波大学 对电子显微镜拍摄的微观结构照片进行智能着色的方法及cnn着色学习器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830912A (zh) * 2018-05-04 2018-11-16 北京航空航天大学 一种深度特征对抗式学习的交互式灰度图像着色方法
CN110288515A (zh) * 2019-05-27 2019-09-27 宁波大学 对电子显微镜拍摄的微观结构照片进行智能着色的方法及cnn着色学习器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ABHISHEK VAHADANE等: "Structure-Preserving Color Normalization and Sparse Stain Separation for Histological Images", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 *
RICHARD ZHANG等: "Colorful Image Colorization", 《ARXIV:1603.08511V5 [CS.CV]》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052813A (zh) * 2021-03-22 2021-06-29 山西三友和智慧信息技术股份有限公司 一种基于StrainNet的染色方法
CN114678121A (zh) * 2022-05-30 2022-06-28 上海芯超生物科技有限公司 一种hp球形变诊断模型及其构建方法
CN114678121B (zh) * 2022-05-30 2022-09-09 上海芯超生物科技有限公司 一种hp球形变诊断模型的构建方法及系统

Also Published As

Publication number Publication date
CN111476857B (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
US11842556B2 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
JP6086949B2 (ja) 色原体分離に基づく画像解析の方法
CN111784671A (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN111798464A (zh) 基于深度学习的淋巴瘤病理图像智能识别方法
CN108288506A (zh) 一种基于人工智能技术的癌症病理辅助诊断方法
CN111476857B (zh) 基于深度学习的结构不变的病理图像颜色标准化方法
CN110838094A (zh) 病理切片染色风格转换方法和电子设备
CN115588055A (zh) 数字病理图像的色彩标准化方法及系统
CN114708229A (zh) 一种病理切片数字图像的全层次分析系统
CN113989799A (zh) 一种宫颈异常细胞识别方法、装置和电子设备
CN113538422A (zh) 一种基于染色强度矩阵的病理图像自动分类方法
CN110991408B (zh) 基于深度学习方法分割脑白质高信号的方法和装置
CN113052813A (zh) 一种基于StrainNet的染色方法
CN112069923A (zh) 3d人脸点云重建方法及系统
CN114627138B (zh) 一种白细胞分割分类方法
JP7215418B2 (ja) 画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システム
US20230316595A1 (en) Microscopy Virtual Staining Systems and Methods
CN117221505A (zh) 基于深度学习的数字显微镜白平衡校正方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant