CN115115734A - 基于结构分解和重染色的病理图像颜色标准化方法及装置 - Google Patents

基于结构分解和重染色的病理图像颜色标准化方法及装置 Download PDF

Info

Publication number
CN115115734A
CN115115734A CN202210755215.9A CN202210755215A CN115115734A CN 115115734 A CN115115734 A CN 115115734A CN 202210755215 A CN202210755215 A CN 202210755215A CN 115115734 A CN115115734 A CN 115115734A
Authority
CN
China
Prior art keywords
image
color
color space
neural network
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210755215.9A
Other languages
English (en)
Inventor
刘再毅
韩楚
易宗键
梁长虹
潘细朋
石镇维
陈鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong General Hospital
Original Assignee
Guangdong General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong General Hospital filed Critical Guangdong General Hospital
Priority to CN202210755215.9A priority Critical patent/CN115115734A/zh
Publication of CN115115734A publication Critical patent/CN115115734A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于结构分解和重染色的病理图像颜色标准化方法及装置，方法包括：获取病理图像数据集并进行预处理，切分得到patch图像数据集；将patch图像数据集进行颜色空间转移，提取Lab颜色空间下的L通道数据进行标准化预处理得到训练集；通过颜色反卷积将训练集从RGB空间转到HED空间，提取H和E通道并组合得到图像结构通道；搭建ResNet18神经网络，构建损失函数并训练得到颜色转移矩阵；修改神经网络并训练；将图像结构通道和颜色转移矩阵输入训练好的神经网络得到生成图并计算网络损失。本方法通过图像结构分解和重染色以完整地保持图像的结构，得到颜色标准化图像，保持了图像的原生结构信息，解决了图像结构形变及颜色未正确转移的问题。

Description

基于结构分解和重染色的病理图像颜色标准化方法及装置
技术领域
本发明属于数字医学图像处理的技术领域，具体涉及一种基于结构分解和重染色的病理图像颜色标准化方法及装置。
背景技术
目前，现有的癌症诊断方式有多种，但是在临床中通常以病理切片的病理报告作为当前癌症诊断最为可靠的标准。在病理切片人工分析过程中，临床病理医生在单位时间(小时)内分析病理图像数量往往是有限的。与海量的数字病理图像相比，临床病理医生的分析数量明显不足；同时一对多的模式带给临床医生的必然是过度劳作，且长时间地大量分析病理图像无疑会对报告的诊断准确度提出挑战。因此，借助算法研发与发展，开发出了计算机辅助诊断系统进行快速分析病理图像，短时间内分析大量图像成为一种趋势。但是在病理切片的制备过程中，涉及到的人工操作和实验环境都有可能会影响到最终呈色，例如染色时长、环境温度、冲洗时长等环节的不规范都会导致病理图像之间存在颜色差异。特别地，即使是在同一实验室使用不同的数字化病理切片扫描系统扫描也会得到颜色不一样的病理图像。在计算机辅助诊断系统中，大多数系统的设计都依赖于机器学习去挖掘隐含在数据集中的数据特性，数据特性作为数据本身所具有的先验知识，数据质量则决定了先验知识的信息量。病理图像之间的颜色差异作为图像质量范畴的一部分，若在设计分析系统的时候忽略的图像颜色差异可能造成的影响，则预测准确度会低于期望准确度。
为了减少病理图像颜色差异带来的系统误差，在以往的研究中提出了多种应对措施：数据增强与颜色增强、颜色忽略以及颜色标准化。基于数据增强与颜色增强的方法通过随机地改变训练集的图像亮度、饱和度和对比度等，直接改变源图像在颜色空间中的颜色分布，但是无法精确地生成未知颜色分布的图像，通常情况下，来源于不同实验室所得的病理图像颜色分布差异性较大，因此，该方法存在一定的局限性，无法模拟出真实条件下的图像颜色分布。基于颜色忽略的方法通常是忽略源图像的RGB颜色信息，将源图像作灰度变换转成灰度图或作光密度变换转成光密度图，又或者作颜色分离变换转成颜色外观矩阵等，将源图像进行相应的转换后再做进一步的分析；但是颜色信息作为图像的重要特征，在做图像分割任务和图像分类时对于边界的区分和物体的识别都有着重要意义，因此，该方法的局限性在于忽略了图像的颜色信息。基于颜色标准化的方法是当前较为新颖的研究方向，大致上可以分为三类研究工作：(1)基于染色分离的颜色标准化方法；(2)基于统计的模板颜色匹配方法；(3)基于深度学习的颜色标准化方法；基于染色分离的颜色标准化方法，将RGB图像分解成多个相互独立的颜色通道及颜色矩阵，通过源图像的颜色通道与目标图像的颜色矩阵相乘得到标准化后的图像；基于统计的模板颜色匹配方法利用RGB的颜色光谱，将源图像的灰度值与目标图像的灰度值匹配，涉及源图像到目标图像的颜色映射；基于深度学习的颜色标准化方法通常借助生成对抗网络的发展，利用生成器学习目标颜色域的颜色分布和判别器对生成图像的判别，对抗式生成能够接近于真实颜色分布的图像。但是，由于基于染色分离的颜色标准化方法在当前研究工作中使用最多的是颜色反卷积，在一定量的病理图像运用统计的方式得到的经验矩阵，虽具有快速计算的优点，但限于当时的实验条件无法得到更具有代表性的颜色矩阵，故现有研究采用基于非负矩阵分解的方法来分离图像颜色通道，但是大量的矩阵运算和求解导致算法的时间复杂度较大，对于处理分辨率高达上万的病理图像则略显效率过慢。基于统计的模板颜色匹配方法，依赖于模板图像的颜色分布，单张模板图像用于表示整个数据集的颜色分布存在一定的局限性，且一旦模板图像发生改变，则需要重新处理。基于深度学习的颜色标准化方法由于引入了对抗生成网络，使生成的新图像存在结构性损失问题以及图像结构扭曲问题，图像结构的扭曲对于医学图像来说是致命的存在，图像的结构改变影响到临床医生对于疾病的诊断，故使得依赖于成对配对的图像的颜色标准化算法在适用性上受限，导致配对的病理图像的获取存在一定的困难。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于结构分解和重染色的病理图像颜色标准化方法及装置，本方法通过颜色反卷积的方法分解给定病理图像并通过组合的方式得到图像结构通道，由网络生成的颜色转移矩阵与图像结构通道作线性组合得到重染色后的图像，最大程度上保证了源图像结构不发生任何变化，解决了图像结构形变及颜色未正确转移的问题，对于图像结构传递和保护存在极大帮助。
为了达到上述目的，本发明采用以下技术方案：
本发明第一目的在于提供一种基于结构分解和重染色的病理图像颜色标准化方法，其特征在于，包括下述步骤：
获取病理图像数据集并进行数据预处理，对预处理后的病理图像数据集进行切分，得到patch图像数据集；
将patch图像数据集中的图像从RGB颜色空间经XYZ颜色空间转移到Lab颜色空间，提取Lab颜色空间下L通道的数据并进行标准化预处理，得到训练集；
通过颜色反卷积将训练集图像从RGB颜色空间转到HED颜色空间，提取HED颜色空间下的H通道和E通道的数据，组合得到图像结构通道；
基于Pytorch深度学习框架搭建ResNet18神经网络，构建损失函数并对ResNet18神经网络进行训练，得到颜色转移矩阵；所述ResNet18神经网络G(x)包括8个残差学习模块；所述残差学习模块包括2个卷积层和ReLU激活函数；
修改ResNet18神经网络结构，并将ResNet18神经网络的单层全连接层修改为双层全连接层，训练修改后的ResNet18神经网络；
将图像结构通道和颜色转移矩阵输入训练好的ResNet18神经网络得到生成图并计算网络损失。
作为优选的技术方案，所述病理图像数据集使用MITOS-ATYPIA 14数据集中40x倍率的RGB病理图像；所述数据预处理是使用非刚性配准方法对病理图像数据集做配准处理；
所述对预处理后的病理图像数据集进行切分，具体为：对预处理后病理图像数据集中的图像以256步长分割成数张宽高为256像素大小的patch图像，得到patch图像数据集。
作为优选的技术方案，所述XYZ颜色空间表示为：
Figure BDA0003722250860000031
其中，IXYZ为在XYZ颜色空间下的图像，IRGB为在RGB颜色空间下的图像，X、Y、Z分别为XYZ颜色空间下的颜色通道；
所述Lab颜色空间表示为：
Figure BDA0003722250860000032
其中，ILab为在Lab颜色空间下的图像，L、a、b分别为Lab颜色空间下的颜色通道，Xn、Yn、Zn为设定的常数，f(x)的计算式为：
Figure BDA0003722250860000033
作为优选的技术方案，所述进行标准化预处理具体为：
使用z-score对提取的L通道数据进行标准化预处理，公式为：
Figure BDA0003722250860000041
其中，I′为标准化预处理后得到的图像，I为Lab颜色空间下L通道输出的图像，μ、σ分别为图像均值、方差。
作为优选的技术方案，所述得到图像结构通道，具体为：
通过颜色反卷积将训练集图像从RGB颜色空间转到HED颜色空间，表示为：
Figure BDA0003722250860000042
其中，IHED为处在HED颜色空间下的图像，H、E、D分别为HED染色空间下的颜色通道；
提取IHED中的IH和IE，并通过组合的方式得到IHH＝IH*IH、IEE＝IE*IE、IHE＝IH*IE；
结合IH、IE、IHE、IHH和IEE，得到图像结构通道Istr＝[H,E,HE,HH,EE]。
作为优选的技术方案，所述构建损失函数并对ResNet18神经网络进行训练，得到颜色转移矩阵，具体为：
采用平方绝对误差MAE和结构相似性指标SSIM构建损失函数；
所述平方绝对误差MAE用于计算预测值与真实值的误差绝对值，计算公式为：
Figure BDA0003722250860000043
其中，N为训练集样本数，
Figure BDA0003722250860000044
为预测值，Iy为真实值；
所述结构相似性指标SSIM通过计算图像之间的结构特征差异值对图像进行评价，计算公式为：
Figure BDA0003722250860000045
其中，
Figure BDA0003722250860000046
分别为预测值
Figure BDA0003722250860000047
的均值和方差；
Figure BDA0003722250860000048
分别为真实值Iy的均值和方差；c1、c2为常数，用于避免除零操作；
将训练集IL作为ResNet18神经网络G(x)的输入得到网络输出G(IL)，其中G(IL)是一个3行5列的颜色转移矩阵M3×5，表示为：
Figure BDA0003722250860000049
其中，a为网络输出的权重系数。
作为优选的技术方案，所述双全连接层使用Tanh函数作为激活函数，表示为：
Figure BDA0003722250860000051
其中，ex为指数函数，x为特征向量；
所述训练修改后的ResNet18神经网络，具体为：
初始化ResNet18神经网络的权重；
使用自适应学习方法训练ResNet18神经网络并进行迭代更新；
设定随机种子并在GPU中进行计算。
作为优选的技术方案，所述计算网络损失具体为：
将颜色转移矩阵M3×5与图像结构通道Istr相乘得到颜色转移后的病理图像Ioutput，表示为：
Ioutput＝M3×5×Istr
根据颜色转移后的病理图像及其对应的RGB颜色空间下的图像，计算ResNet18神经网络的损失Loss，公式为：
Loss＝α*MAE(Ioutput,Irgb)+β*SSIM(Ioutpit,Irgb)
其中，α和β为控制MAE和SSIM的权重参数。
本发明另一目的在于，提供一种基于结构分解和重染色的病理图像颜色标准化系统，其特征在于，包括数据获取处理模块、L通道提取模块、结构通道获得模块、颜色矩阵获得模块、网络修改模块及训练计算模块；
所述数据获取处理模块用于获取病理图像数据集并进行数据预处理，对预处理后的图像数据集进行切分，得到patch图像数据集；
所述L通道提取模块用于将patch图像数据集中的图像从RGB颜色空间经XYZ颜色空间转移到Lab颜色空间，提取Lab颜色空间下L通道的数据并进行标准化预处理，得到训练集；
所述结构通道获得模块通过颜色反卷积将训练集图像从RGB颜色空间转到HED颜色空间，提取HED颜色空间下的H通道和E通道的数据，组合得到图像结构通道；
所述颜色矩阵获得模块基于Pytorch深度学习框架搭建ResNet18神经网络，构建损失函数并对ResNet18神经网络进行训练，得到颜色转移矩阵；
所述网络修改模块用于修改ResNet18神经网络结构，将ResNet18神经网络的单层全连接层修改为双层全连接层，训练修改后的ResNet18神经网络；
所述训练计算模块将图像结构通道和颜色转移矩阵输入训练好的ResNet18神经网络得到生成图并计算网络损失。
本发明还一目的在于，提供一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现上述的基于结构分解和重染色的病理图像颜色标准化方法。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明提供的基于结构分解和重染色的病理图像颜色标准化方法是基于自监督学习方法设计的，相对于其它弱监督或全监督的颜色标准化方法，由于本方法在训练的过程中不需要配对的目标域图像，使得本方法具有极强的实用性。因为在临床上，病理图像的获取极其困难，样本量的大小受限于各医疗机构，不同的医疗机构对患者的隐私数据有所保护，样本在医疗机构之间难以流通。对于配对的病理图像更是如此，通常只会使用单一的数字病理扫描仪扫描病理切片，若使用基于有监督的颜色标准化方法，其使用范围会严重受制，故本方法通过自监督学习方法来拟合图像数据集颜色域，无需另外准备配对的目标颜色域图像。
2、本发明所使用的图像颜色分解方法能够较好的分解出细胞核结构和细胞质结构，这两种结构分别由H通道和E通道表征，并且通过对结构之间的矩阵变换，在一定程度上也增加了不同结构之间的对比度。这种结构分解方法利用原有的图像结构信息，在原有图像结构的基础上对其重染色，最大可能性的保持了原生结构信息，避免了结构性损失的问题。而在以往的病理图像颜色标准化方法中，大都依赖于对抗生成网络生成新图，新图的生成必然存在结构性的损失，若在训练过程中不添加限制，甚至会存在结构性扭曲的现象。
3、本发明不仅可以解决由机型不同带来的颜色差异问题，还可以解决不同组织切片的颜色标准化，适用性较广，无过多限制条件。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于结构分解和重染色的病理图像颜色标准化方法的流程图；
图2为本发明实施例中基于结构分解和重染色的病理图像颜色标准化方法的结构图；
图3为本发明实施例中ResNet18神经网络中残差学习模块的结构示意图；
图4为本发明实施例中ResNet18神经网络中单全连接层修改为双全连接层的示意图；
图5为本发明实施例中基于结构分解和重染色的病理图像颜色标准化系统的结构图；
图6为本发明实施例中计算机可读存储介质的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
病理切片在制备过程中，往往因为人为因素或者环境因素的介入，会导致各数字病理图像在颜色上表现出差异、在风格上表现出不一致的问题，尤其是在不同实验室下所得到的数字病理图像。在不同生产厂家设计的数字病理扫描仪中，由于厂家之间的图像处理算法不一致，即使是同一张病理图像也会呈现出不同的颜色外观。若将此类存在颜色差异的病理图像直接引入到基于机器学习、深度学习的分析模型中，再将在该数据集上训练得到的最优模型应用到另外一个数据集上做验证、测试时，会存在模型的性能低于预期结果的情况。因此，为了解决该项技术问题，本发明提出了基于结构分解和重染色的病理图像颜色标准化方法。
如图1、图2所示，本实施例基于结构分解和重染色的病理图像颜色标准化方法，包括下述步骤：
S1、获取病理图像数据集并进行数据预处理，对预处理后的图像数据集进行切分，得到patch图像数据集；
更具体的，本实施例中的病理图像数据集使用MITOS-ATYPIA 14数据集中40x倍率的RGB病理图像，该数据集的病理切片由乳腺癌活检组织切片经过标准的苏木精-伊红染料染色制备而成，分别由AperioScanscope XT和HamamatsuNanozoomer 2.0-HT两种扫描仪在40x倍率下扫描得到RGB病理图像，即同一切片对应有两种机型扫描得到的病理图像；数据预处理包括使用非刚性配准技术对病理图像数据集做配准处理，目的用于计算训练集和测试集中相关图像的一致性指标及验证性能。
因卷积神经网络和计算机内存对输入数据的限制，需按适合的尺寸将病理图像切分成数块patch图像，故对预处理后的病理图像数据集中的图像以256的步长分割成数张以宽、高都为256像素大小的patch图像，得到patch图像数据集。
S2、将patch图像数据集中的图像从RGB颜色空间经XYZ颜色空间转移到Lab颜色空间，提取Lab颜色空间下L通道的数据并进行标准化预处理，得到训练集；
首先，将每张patch图像从RGB颜色空间经XYZ颜色空间转移到Lab颜色空间，XYZ颜色空间表示为：
Figure BDA0003722250860000081
其中，IXYZ为在XYZ颜色空间下的图像，IRGB为在RGB颜色空间下的图像，X、Y、Z分别为XYZ颜色空间下的颜色通道；
Lab颜色空间表示为：
Figure BDA0003722250860000082
其中，ILab为处在Lab颜色空间下的图像，L、a、b分别为Lab颜色空间下的颜色通道，Xn、Yn、Zn为设定的常数，f(x)的计算式为：
Figure BDA0003722250860000083
本实施例中，Xn＝96.422，Yn＝100.000，Zn＝82.522。
本发明仅使用Lab颜色空间中的L通道数据作为神经网络的输入数据，L通道表示图像的亮度信息，不依赖于设备，降低了源图像颜色差异对神经网络的影响。将L通道数据输入到神经网络之前需要做z-score标准化预处理，数据标准化预处理操作可消除数据量纲的影响，并且在训练时使损失以平稳的态势缓慢下降、稳定网络梯度信息的传递，公式为：
Figure BDA0003722250860000084
其中，I′为标准化预处理后得到的图像，I为Lab颜色空间下L通道输出的图像，μ、σ分别为图像均值、方差；
标准化预处理后得到训练集IL。
S3、通过颜色反卷积将训练集图像从RGB颜色空间转到HED颜色空间，提取HED颜色空间下的H通道和E通道的数据，组合得到图像结构通道；
在HED颜色空间中，H通道通常表征病理图像中的细胞核结构，E通道表征病理图像的细胞质结构，本发明颜色标准化的出发点是对给定图像的病理结构图重新染色，故提取HED颜色空间下的H通道和E通道的数据；
HED颜色空间表示为：
Figure BDA0003722250860000091
其中，IHED为处在XYZ颜色空间下的图像，H、E、D分别为HED染色空间下的颜色通道；
提取IHED中的IH和IE，并通过组合的方式得到IHH＝IH*IH、IEE＝IE*IE、IHE＝IH*IE；
结合IH、IE、IHE、IHH和IEE，得到图像结构通道Istr＝[H,E,HE,HH,EE]。
S4、基于Pytorch深度学习框架搭建ResNet18神经网络，构建损失函数并对ResNet18神经网络进行训练，得到颜色转移矩阵；
ResNet18神经网络G(x)包括8个残差学习模块，如图3所示，残差学习模块的结构包括2个卷积层和ReLU激活函数，在增加深度和拟合能力的同时减少了计算量，且避免了“梯度消失”情况的发生；ResNet18神经网络在保证网络复杂度的同时又减少了训练时间和计算量，成为大规模病理图像颜色标准化的关键所在，加速了计算机辅助诊断系统的分析效率。
损失函数是深度学习算法的拟合目标，用于衡量网络的预测输出与真实值的差距，损失值的减小对应于网络在训练集上预测性能的提升；故在设计损失函数时，可通过结合多个损失函数的方式构成总体损失函数，该方式增加了约束条件，有利于训练网络、加速收敛。
ResNet18神经网络训练过程中，加入了平方绝对误差(MeanAbsoluteError，MAE)和结构相似性指标(Structural Similarity，SSIM)作为损失函数；MAE函数又称为L1损失函数，用于计算预测值与真实值的误差绝对值；SSIM函数以图像质量评价为出发点，通过计算图像之间的结构特征差异值来实现从客观的角度评价图像；SSIM函数在计算的时候以N×N大小窗在整张图像中滑动计算局部SSIM值，遍历完整张图像之后取平均值作为全局SSIM值。
平方绝对误差MAE计算公式为：
Figure BDA0003722250860000092
其中，N为训练集样本数，
Figure BDA0003722250860000093
为预测值，Iy为真实值；
结构相似性指标SSIM计算公式为：
Figure BDA0003722250860000101
其中，
Figure BDA0003722250860000102
分别为预测值
Figure BDA0003722250860000103
的均值和方差；
Figure BDA0003722250860000104
分别为真实值Iy的均值和方差；c1、c2为常数，用于避免除零操作；
将训练集IL作为ResNet18神经网络G(x)的输入得到网络输出G(IL)，其中G(IL)是一个3行5列的颜色转移矩阵M3×5，表示为：
Figure BDA0003722250860000105
其中，a为网络输出的权重系数。
S5、修改ResNet18神经网络结构，将ResNet18神经网络的单层全连接层修改为双层全连接层，训练修改后的ResNet18神经网络；
如图4所示，将原始ResNet18神经网络结构中的单层全连接层修改为双层全连接层，并以Tanh函数作为激活函数，表示为：
Figure BDA0003722250860000106
其中，ex为指数函数，x为特征向量；
接着训练修改后的ResNet18神经网络，具体为：
S51、初始化ResNet18神经网络的权重；本实施例中ResNet18神经网络中的权重以满足均值为0，标准差为0.02的正态分布假设进行初始化，有利于网络的收敛以及性能的提升；
S52、使用自适应学习方法训练ResNet18神经网络并进行迭代更新；选择合适的优化器，用于迭代更新网络，控制梯度下降的速率。
本实施例中，选择自适应学习率Adam算法，设定学习率为learning rate＝10-4，指数衰减率beta1＝0.05，指数次衰减率为beta2＝0.99；
S53、设定随机种子，用于实验的可重复性研究；所有关于网络参数的计算部分都在GPU(一种图形处理器，常用于深度学习神经网络中的快速大规模计算)中参与计算；
本实施例中将需要参与到ResNet18神经网络训练的数据都转移至cuda中完成。
S6、将图像结构通道和颜色转移矩阵输入训练好的ResNet18神经网络得到生成图并计算网络损失。
将颜色转移矩阵M3×5与图像结构通道Istr相乘得到结构图之间的线性组合的结果，即颜色转移后的病理图像Ioutput，表示为：
Ioutput＝M3×5×Istr
根据颜色转移后的病理图像及其对应的RGB颜色空间下的图像，计算ResNet18神经网络的损失Loss，公式为：
Loss＝α*MAE(Ioutput,Irgb)+β*SSIM(Ioutput,Irgb)
其中，α和β为控制MAE和SSIM的权重参数。
本实施例中，α＝1，β＝1，即MAE损失和SSIM损失在训练阶段对ResNet18神经网络的贡献度相等，同等重要程度。
本发明对于病理图像颜色标准化的出发点是通过染色反卷积的方法分解给定病理图像并通过组合的方式得到图像结构通道，由网络生成的颜色转移矩阵与图像结构通道作线性组合得到重染色后的图像；该操作对于图像结构传递和保护存在极大帮助。而现有的方法则仅仅是利用染色反卷积的方法将图像转为HE通道，利用HE通道作为网络输入做端到端的图像生成，端到端生成图像的方法存在图像结构变形以及颜色未正确转移的缺点。本发明提出的图像结构分解和重染色方法以完整地保持图像的结构，不存在结构变形的风险，并且基于通过对整个数据集的颜色分布进行拟合，经过训练的网络可以很好的表征数据分布，标准化后的图像颜色分布与目标颜色分布相似。
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的基于结构分解和重染色的病理图像颜色标准化方法相同的思想，本发明还提供基于结构分解和重染色的病理图像颜色标准化系统，该系统可用于执行上述基于结构分解和重染色的病理图像颜色标准化方法。为了便于说明，基于结构分解和重染色的病理图像颜色标准化系统实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图5所示，本发明另一个实施例提供了一种基于结构分解和重染色的病理图像颜色标准化系统，包括以下几个模块：
数据获取处理模块用于获取病理图像数据集并进行数据预处理，对预处理后的图像数据集进行切分，得到patch图像数据集；
L通道提取模块用于将patch图像数据集中的图像从RGB颜色空间经XYZ颜色空间转移到Lab颜色空间，提取Lab颜色空间下L通道的数据并进行标准化预处理，得到训练集；
结构矩阵获得模块通过颜色反卷积将训练集图像从RGB颜色空间转到HED颜色空间，提取HED颜色空间下的H通道和E通道的数据，得到图像结构通道；
颜色矩阵获得模块基于Pytorch深度学习框架搭建ResNet18神经网络，构建损失函数并对ResNet18神经网络进行训练，得到颜色转移矩阵；
网络修改模块用于修改ResNet18神经网络结构，将ResNet18神经网络的单层全连接层修改为双层全连接层，训练修改后的ResNet18神经网络；
训练计算模块将图像结构通道和颜色转移矩阵输入训练好的ResNet18神经网络得到生成图并计算网络损失。
需要说明的是，本发明的基于结构分解和重染色的病理图像颜色标准化系统与本发明的基于结构分解和重染色的病理图像颜色标准化方法一一对应，在上述基于结构分解和重染色的病理图像颜色标准化方法的实施例阐述的技术特征及其有益效果均适用于基于结构分解和重染色的病理图像颜色标准化系统的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。
此外，上述实施例的基于结构分解和重染色的病理图像颜色标准化系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述基于结构分解和重染色的病理图像颜色标准化系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。
如图6所示，在一个实施例中，提供了一种计算机可读存储介质，存储有程序于存储器中，所述程序被处理器执行时，实现所述的基于结构分解和重染色的病理图像颜色标准化方法，具体为：
获取病理图像数据集并进行数据预处理，对预处理后的病理图像数据集进行切分，得到patch图像数据集；
将patch图像数据集中的图像从RGB颜色空间经XYZ颜色空间转移到Lab颜色空间，提取Lab颜色空间下L通道的数据并进行标准化预处理，得到训练集；
通过颜色反卷积将训练集图像从RGB颜色空间转到HED颜色空间，提取HED颜色空间下的H通道和E通道的数据，组合得到图像结构通道；
基于Pytorch深度学习框架搭建ResNet18神经网络，构建损失函数并对ResNet18神经网络进行训练，得到颜色转移矩阵；所述ResNet18神经网络G(x)包括8个残差学习模块；所述残差学习模块包括2个卷积层和ReLU激活函数；
修改ResNet18神经网络结构，将ResNet18神经网络的单层全连接层修改为双层全连接层，训练修改后的ResNet18神经网络；
将图像结构通道和颜色转移矩阵输入训练好的ResNet18神经网络得到生成图并计算网络损失。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于结构分解和重染色的病理图像颜色标准化方法，其特征在于，包括下述步骤：
获取病理图像数据集并进行数据预处理，对预处理后的病理图像数据集进行切分，得到patch图像数据集；
将patch图像数据集中的图像从RGB颜色空间经XYZ颜色空间转移到Lab颜色空间，提取Lab颜色空间下L通道的数据并进行标准化预处理，得到训练集；
通过颜色反卷积将训练集图像从RGB颜色空间转到HED颜色空间，提取HED颜色空间下的H通道和E通道的数据，组合得到图像结构通道；
基于Pytorch深度学习框架搭建ResNet18神经网络，构建损失函数并对ResNet18神经网络进行训练，得到颜色转移矩阵；所述ResNet18神经网络G(x)包括8个残差学习模块；所述残差学习模块包括2个卷积层和ReLU激活函数；
修改ResNet18神经网络结构，并将ResNet18神经网络的单层全连接层修改为双层全连接层，训练修改后的ResNet18神经网络；
将图像结构通道和颜色转移矩阵输入训练好的ResNet18神经网络得到生成图并计算网络损失。
2.根据权利要求1所述的基于结构分解和重染色的病理图像颜色标准化方法，其特征在于，所述病理图像数据集使用MITOS-ATYPIA 14数据集中40x倍率的RGB病理图像；所述数据预处理是使用非刚性配准方法对病理图像数据集做配准处理；
所述对预处理后的病理图像数据集进行切分，具体为：对预处理后病理图像数据集中的图像以256步长分割成数张宽高为256像素大小的patch图像，得到patch图像数据集。
3.根据权利要求1所述的基于结构分解和重染色的病理图像颜色标准化方法，其特征在于，所述XYZ颜色空间表示为：
Figure FDA0003722250850000011
其中，IXYZ为在XYZ颜色空间下的图像，IRGB为在RGB颜色空间下的图像，X、Y、Z分别为XYZ颜色空间下的颜色通道；
所述Lab颜色空间表示为：
Figure FDA0003722250850000012
其中，ILab为在Lab颜色空间下的图像，L、a、b分别为Lab颜色空间下的颜色通道，Xn、Yn、Zn为设定的常数，f(x)的计算式为：
Figure FDA0003722250850000021
4.根据权利要求3所述的基于结构分解和重染色的病理图像颜色标准化方法，其特征在于，所述进行标准化预处理具体为：
使用z-score对提取的L通道数据进行标准化预处理，公式为：
Figure FDA0003722250850000022
其中，I′为标准化预处理后得到的图像，I为Lab颜色空间下L通道输出的图像，μ、σ分别为图像均值、方差。
5.根据权利要求4所述的基于结构分解和重染色的病理图像颜色标准化方法，其特征在于，所述得到图像结构通道，具体为：
通过颜色反卷积将训练集图像从RGB颜色空间转到HED颜色空间，表示为：
Figure FDA0003722250850000023
其中，IHED为处在HED颜色空间下的图像，H、E、D分别为HED染色空间下的颜色通道；
提取IHED中的IH和IE，并通过组合的方式得到IHH＝IH*IH、IEE＝IE*IE、IHE＝IH*IE；
结合IH、IE、IHE、IHH和IEE，得到图像结构通道Istr＝[H，E，HE，HH，EE]。
6.根据权利要求5所述的基于结构分解和重染色的病理图像颜色标准化方法，其特征在于，所述构建损失函数并对ResNet18神经网络进行训练，得到颜色转移矩阵，具体为：
采用平方绝对误差MAE和结构相似性指标SSIM构建损失函数；
所述平方绝对误差MAE用于计算预测值与真实值的误差绝对值，计算公式为：
Figure FDA0003722250850000024
其中，N为训练集样本数，
Figure FDA0003722250850000025
为预测值，Iy为真实值；
所述结构相似性指标SSIM通过计算图像之间的结构特征差异值对图像进行评价，计算公式为：
Figure FDA0003722250850000031
其中，
Figure FDA0003722250850000036
分别为预测值
Figure FDA0003722250850000037
的均值和方差；
Figure FDA0003722250850000038
分别为真实值Iy的均值和方差；c1、c2为常数，用于避免除零操作；
将训练集IL作为ResNet18神经网络G(x)的输入得到网络输出G(IL)，其中G(IL)是一个3行5列的颜色转移矩阵M3×5，表示为：
Figure FDA0003722250850000034
其中，a为网络输出的权重系数。
7.根据权利要求6所述的基于结构分解和重染色的病理图像颜色标准化方法，其特征在于，所述双全连接层使用Tanh函数作为激活函数，表示为：
Figure FDA0003722250850000035
其中，ex为指数函数，x为特征向量；
所述训练修改后的ResNet18神经网络，具体为：
初始化ResNet18神经网络的权重；
使用自适应学习方法训练ResNet18神经网络并进行迭代更新；
设定随机种子并在GPU中进行计算。
8.根据权利要求7所述的基于结构分解和重染色的病理图像颜色标准化方法，其特征在于，所述计算网络损失具体为：
将颜色转移矩阵M3×5与图像结构通道Istr相乘得到颜色转移后的病理图像Ioutput，表示为：
Ioutput＝M3×5×Istr
根据颜色转移后的病理图像及其对应的RGB颜色空间下的图像，计算ResNet18神经网络的损失Loss，公式为：
Loss＝α*MAE(Ioutput，Irgb)+β*SSIM(Ioutput，Irgb)
其中，α和β为控制MAE和SSIM的权重参数。
9.基于结构分解和重染色的病理图像颜色标准化系统，其特征在于，包括数据获取处理模块、L通道提取模块、结构通道获得模块、颜色矩阵获得模块、网络修改模块及训练计算模块；
所述数据获取处理模块用于获取病理图像数据集并进行数据预处理，对预处理后的图像数据集进行切分，得到patch图像数据集；
所述L通道提取模块用于将patch图像数据集中的图像从RGB颜色空间经XYZ颜色空间转移到Lab颜色空间，提取Lab颜色空间下L通道的数据并进行标准化预处理，得到训练集；
所述结构通道获得模块通过颜色反卷积将训练集图像从RGB颜色空间转到HED颜色空间，提取HED颜色空间下的H通道和E通道的数据，组合得到图像结构通道；
所述颜色矩阵获得模块基于Pytorch深度学习框架搭建ResNet18神经网络，构建损失函数并对ResNet18神经网络进行训练，得到颜色转移矩阵；
所述网络修改模块用于修改ResNet18神经网络结构，将ResNet18神经网络的单层全连接层修改为双层全连接层，训练修改后的ResNet18神经网络；
所述训练计算模块将图像结构通道和颜色转移矩阵输入训练好的ResNet18神经网络得到生成图并计算网络损失。
10.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-8任一项所述的基于结构分解和重染色的病理图像颜色标准化方法。
CN202210755215.9A 2022-06-30 2022-06-30 基于结构分解和重染色的病理图像颜色标准化方法及装置 Pending CN115115734A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210755215.9A CN115115734A (zh) 2022-06-30 2022-06-30 基于结构分解和重染色的病理图像颜色标准化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210755215.9A CN115115734A (zh) 2022-06-30 2022-06-30 基于结构分解和重染色的病理图像颜色标准化方法及装置

Publications (1)

Publication Number Publication Date
CN115115734A true CN115115734A (zh) 2022-09-27

Family

ID=83330843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210755215.9A Pending CN115115734A (zh) 2022-06-30 2022-06-30 基于结构分解和重染色的病理图像颜色标准化方法及装置

Country Status (1)

Country Link
CN (1) CN115115734A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883520A (zh) * 2023-09-05 2023-10-13 武汉大学 基于颜色量化的多检测器物理域对抗补丁生成方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883520A (zh) * 2023-09-05 2023-10-13 武汉大学 基于颜色量化的多检测器物理域对抗补丁生成方法
CN116883520B (zh) * 2023-09-05 2023-11-28 武汉大学 基于颜色量化的多检测器物理域对抗补丁生成方法

Similar Documents

Publication Publication Date Title
Zanjani et al. Stain normalization of histopathology images using generative adversarial networks
Zheng et al. Adaptive color deconvolution for histological WSI normalization
CN108364288B (zh) 用于乳腺癌病理图像的分割方法和装置
EP3963508B1 (en) Image diagnostic system, and methods of operating thereof
CN110490247B (zh) 图像处理模型生成方法、图像处理方法及装置、电子设备
CN111260055A (zh) 基于三维图像识别的模型训练方法、存储介质和设备
CN111161272B (zh) 一种基于生成对抗网络的胚胎组织分割方法
CN111028923B (zh) 数字病理图像染色归一化方法、电子装置及存储介质
Hoque et al. Stain normalization methods for histopathology image analysis: A comprehensive review and experimental comparison
CN112232407A (zh) 病理图像样本的神经网络模型训练方法、装置
Falahkheirkhah et al. Deep learning-based protocols to enhance infrared imaging systems
CN114841947A (zh) 肺腺癌h&e染色病理图像肿瘤区域多尺度特征提取与预后分析方法、装置
CN115587985A (zh) 组织病理图像细胞核分割以及染色风格规范化方法
CN113313169A (zh) 基于深度学习的训练素材智能识别方法、装置和设备
CN110838094A (zh) 病理切片染色风格转换方法和电子设备
CN115115734A (zh) 基于结构分解和重染色的病理图像颜色标准化方法及装置
CN113657479B (zh) 一种新型多尺度深宽结合的病理图片分类方法、系统及介质
Dufumier et al. Exploring the potential of representation and transfer learning for anatomical neuroimaging: application to psychiatry
CN112990359B (zh) 一种影像数据处理方法、装置、计算机及存储介质
Zheng et al. Integrating semi-supervised label propagation and random forests for multi-atlas based hippocampus segmentation
CN114283406A (zh) 细胞图像识别方法、装置、设备、介质及计算机程序产品
CN115424081A (zh) 一种可解释的癌症病理切片图像识别方法、装置及计算机设备
CN114332037A (zh) 一种自动分割胰腺癌病理切片中多类组织的方法及装置
Kang et al. Cervisegnet-distillplus: An efficient knowledge distillation model for enhancing early detection of cervical cancer pathology
Mukherjee et al. A min-max based hyperparameter estimation for domain-adapted segmentation of amoeboid cells

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination