CN115588055A - 数字病理图像的色彩标准化方法及系统 - Google Patents
数字病理图像的色彩标准化方法及系统 Download PDFInfo
- Publication number
- CN115588055A CN115588055A CN202211249488.2A CN202211249488A CN115588055A CN 115588055 A CN115588055 A CN 115588055A CN 202211249488 A CN202211249488 A CN 202211249488A CN 115588055 A CN115588055 A CN 115588055A
- Authority
- CN
- China
- Prior art keywords
- color
- image
- similarity
- reference image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 47
- 238000011425 standardization method Methods 0.000 title claims abstract description 13
- 230000003321 amplification Effects 0.000 claims abstract description 73
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000004043 dyeing Methods 0.000 claims abstract description 28
- 238000010586 diagram Methods 0.000 claims abstract description 20
- 230000007170 pathology Effects 0.000 claims abstract description 20
- 238000010606 normalization Methods 0.000 claims abstract description 15
- 238000009826 distribution Methods 0.000 claims abstract description 12
- 238000004040 coloring Methods 0.000 claims abstract description 10
- 230000000877 morphologic effect Effects 0.000 claims abstract description 9
- 238000010186 staining Methods 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 28
- 238000006243 chemical reaction Methods 0.000 claims description 25
- 238000011478 gradient descent method Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 7
- 239000003086 colorant Substances 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000005012 migration Effects 0.000 description 4
- 238000013508 migration Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000003416 augmentation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- FPIPGXGPPPQFEQ-OVSJKPMPSA-N all-trans-retinol Chemical compound OC\C=C(/C)\C=C\C=C(/C)\C=C\C1=C(C)CCCC1(C)C FPIPGXGPPPQFEQ-OVSJKPMPSA-N 0.000 description 2
- 238000010923 batch production Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000011717 all-trans-retinol Substances 0.000 description 1
- 235000019169 all-trans-retinol Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004042 decolorization Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种数字病理图像的色彩标准化方法及系统，该方法包括：从目标域获取彩色的数字病理图像；并校正数字病理图像的数字化色彩差异后作为参考图像；将参考图像进行色彩扩增以模拟不同染色差异，获得多张色彩扩增图像；建立参考图像与对应的多张色彩扩增图像的相似性图；将相似性图输入到去染色模型中，消除染色带来的色彩信息，输出保留和人体组织、细胞结构以及形态分布相关信息的多张色彩扩增图像对应的灰度特征图；将色彩扩增图像对应的灰度特征图输入虚拟染色网络模型，为色彩扩增图像的灰度特征图做虚拟上色，输出上色色彩和参考图像色彩具有相似性的、经色彩标准化后的彩色图像。本发明是不需要利用源域图像的色彩标准化方法。
Description
技术领域
本发明涉及医学图像的处理，尤其涉及一种数字病理图像的色彩标准化方法及系统。
背景技术
数字病理是指用病理扫描仪将病理切片数字化，获取彩色的数字病理全片图像，应用于病理诊断。然而，病理图像的色彩存在较大差异。主要原因有两个。第一是制作病理切片的染色差异。对于同一种制片方法，不同医疗机构采用的药剂品牌、成分、浓度以及制片流程存在差异，造成病理切片染色差异。制片质控不稳定，进一步加大了染色差异。第二是数字化阶段。不同厂家的病理扫描仪的色域存在差异，导致对同一个病理切片的色彩还原度存在差异，造成图像出现数字化色彩差异。所以，来自于不同医疗机构、不同扫描仪的数字病理图像的色彩总是存在明显差异。
数字病理图像的色彩差异不仅会造成病理医生诊断出现偏差，也会明显降低病理人工智能模型的诊断准确度。为了避免色彩差异影响诊断，目前的色彩标准化技术将特定来源的图像集合(例如特定的医疗机构制作的病理切片的数字化图像)作为目标域，假定为标准色彩图像。其他来源的图像集合看作为源域，例如其他某个医疗机构制作的病理切片的数字病理图像。色彩标准化技术将源域图像的色彩校正为目标域图像的色彩，使两者相似。
第一类色彩标准化技术是计算源域的色彩分布的统计特性，匹配到目标域的色彩分布，使得两者的色彩的统计量相似。
第二类技术是基于神经网络模型，将源域图像到目标域图像的色彩匹配看作为一个风格迁移问题。输入源域图像，利用风格迁移模型输出和目标域图像色彩相似性的图像。
第三类技术将目标域的彩色图像转换成灰度图像。然后训练神经网络模型，例如Pix2Pix，将灰度图像重新转化为彩色图像。对于源域图像，先灰度化，然后用目标域建立的上色模型重新上色，从而使其获得和目标域图像相同的色彩分布。
然而，这些技术具有明显的技术瓶颈。前两类技术需要为任何一个源域图像建立一个向目标域转换的模型。主要的瓶颈有：需要获取源域有代表性图像作为数据集。在实际工作中，一般无法取得足够数量的源域图像。即使能够取得源域图像，为每一个源域建立和目标域图像之间的标准化方法，是不现实的。第三类技术将源域和目标域图像的灰度图像作为中介，然而灰度图像本身已经受到色彩差异影响。当源域图像和目标域图像的色彩差别很大时，源域重新上色后的彩色图像，和目标域图像的色彩存在明显差异。而且，上述技术都假定目标域的图像是标准化的，然而目标域的图像本身受到数字化色彩差异的影响，不是病理切片的真实色彩图像。
因此，现有的色彩标准化技术无法解决数字病理图像的色彩差异问题，需要建立更具可行性的标准化技术。
发明内容
本发明提供了一种数字病理图像的色彩标准化方法及系统，用以解决现有的色彩标准化技术无法为每一个源域取得足够数量的源域图像，以及由于灰度图像受到色彩差异影响从而导致源域重新上色后的彩色图像，和目标域图像的色彩存在明显差异的技术问题。
为解决上述技术问题，本发明提出的技术方案为：
一种数字病理图像的色彩标准化方法，包括以下步骤：
从目标域获取彩色的数字病理图像；并校正数字病理图像的数字化色彩差异后作为参考图像；
将参考图像进行色彩扩增以模拟不同染色差异，获得每一张参考图像对应不同染色差异的多张色彩扩增图像；建立参考图像与对应的多张色彩扩增图像的相似性图；
将相似性图输入到去染色模型中，消除染色带来的色彩信息，输出保留和人体组织、细胞结构以及形态分布相关信息的多张色彩扩增图像对应的灰度特征图；
将色彩扩增图像对应的灰度特征图输入虚拟染色网络模型，对色彩扩增图像的灰度特征图做虚拟上色，输出上色色彩和参考图像色彩具有相似性的、经色彩标准化后的彩色图像。
优选地，去染色模型，通过以下步骤训练得到：
获取来自目标域的多张彩色病理图像，并校正多张数字病理图像的数字化色彩差异后生成参考图像数据集；
将参考图像数据集中的各参考图像进行色彩扩增以模拟不同染色差异，获得每一张参考图像对应不同染色差异的多张色彩扩增图像；建立以所有参考图像与对应的多张色彩扩增图像作为图节点、以参考图像与色彩扩增图像的连线作为边的相似性图；在相似性图中标注每张色彩扩增图像与参考图像相连的边的相似性权重；
将相似性图以及所有边的相似性权重作为输入，以保留和人体组织、细胞结构以及形态分布相关信息的多张色彩扩增图像对应的灰度特征图作为输出，训练去染色模型。
优选地，在训练去染色模型时，输出的灰度特征图为消除了色彩信息的三维图像矩阵，其中两维是与参考图像同等大小的灰度二维图像，第三维为特征通道。
优选地，去染色模型为两层以上的降采样的编码器以及对应的两层以上的上采样的解码器实现的去染色模型，去染色模型的输出还与用于图像灰度化的、由卷积层实现的灰度转换网络的输出进行相似性比较，去染色模型以及灰度转换网络的输出设有不同的权值。
优选地，在训练去染色模型时，以第一相似性、第二相似性以及第一鉴别器相似性最大为训练目标，采用反向传播的梯度下降方法优化去染色模型以及灰度转换网络的权值；
第一相似性为参考图像对应的灰度特征图与参考图像的色彩扩增图像对应的灰度特征图之间的相似性；第二相似性为参考图像对应的灰度特征图与参考图像经灰度转换网络转换的灰度图像之间的相似性。第一鉴别器相似性为第一鉴别器计算的参考图像或者色彩扩增图像的灰度特征图，和灰度转换网络获得的灰度图像之间的相似性。
优选地，第一相似性以及第二相似性，均包括像素相似性、纹理相似性以及感知特征相似性。
优选地，虚拟染色网络模型，通过以下步骤训练得到：
将去染色模型输出的色彩扩增图像对应的灰度特征图作为输入，对色彩扩增图像的灰度特征图做虚拟上色，以上色色彩和参考图像色彩具有相似性的、经色彩标准化后的彩色图像作为输出，训练虚拟染色网络模型。
优选地，虚拟染色网络模型为两层以上的降采样的编码器以及对应的两层以上的上采样的解码器实现的虚拟染色网络模型。
优选地，在训练虚拟染色网络模型时，以第三相似性、第四相似性以及第二鉴别器相似性最大为训练目标，采用反向传播的梯度下降方法优化虚拟染色网络模型的权值；
第三相似性为参考图像对应的彩色图像与参考图像的色彩扩增图像对应的彩色图像之间的相似性；第四相似性为参考图像与参考图像对应的彩色图像之间的相似性；第二鉴别器相似性为第二鉴别器计算的参考图像或者色彩扩增图像的灰度特征图经过虚拟染色后的彩色图像，和参考图像之间的相似性。
第三相似性以及第四相似性，均包括像素相似性、纹理相似性以及感知特征相似性。
本发明还提供一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一方法的步骤。
本发明具有以下有益效果：
本发明的数字病理图像的色彩标准化方法及系统，基于目标域的参考图像建立数字病理色彩标准化的方法，该方法和源域无关，是普适的不需要利用源域图像的色彩标准化方法；解决了源域图像不容易获得，以及为每个源域建立一个标准化方法的难题。同时，解决了源域图像和目标域图像色彩差异不能过大的问题，更适合具有明显色彩改变的源域图像的色彩标准化。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明优选实施例的数字病理图像的色彩标准化方法的流程示意图；
图2是本发明优选实施例的数字病理图像与参考图像之间的色彩转换函数示意图；
图3是本发明优选实施例的数字病理图像与参考图像转换时的色卡的示意图；
图4是本发明优选实施例的参考图像与对应的多张色彩扩增图像的相似性图的示意图；
图5是本发明优选实施例的去染色模型的结构示意图；
图6是本发明优选实施例的去染色模型的训练过程示意图；
图7是本发明优选实施例的虚拟染色模型的结构示意图；
图8是本发明优选实施例的虚拟染色模型的训练过程示意图；
图9是本发明优选实施例的去染色模型和虚拟染色模型的联合训练流程示意图；
图10是本发明优选实施例的去染色模型和虚拟染色模型以及人工智能模型的联合训练流程示意图；
图11是本发明优选实施例的源域图像的标准化过程。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
参见图1，本发明的数字病理图像的色彩标准化方法，包括以下步骤：
S1：从目标域获取彩色的数字病理图像；并校正数字病理图像的数字化色彩差异后作为参考图像；
将参考图像进行色彩扩增以模拟不同染色差异，获得每一张参考图像对应不同染色差异的多张色彩扩增图像；建立参考图像与对应的多张色彩扩增图像的相似性图；
S2：将相似性图输入到去染色模型中，消除染色带来的色彩信息，输出保留和人体组织、细胞结构以及形态分布相关信息的多张色彩扩增图像对应的灰度特征图；
S3：将色彩扩增图像对应的灰度特征图输入虚拟染色网络模型，对色彩扩增图像的灰度特征图做虚拟上色，输出上色色彩和参考图像色彩具有相似性的、经色彩标准化后的彩色图像。
上述步骤，利用参考图像进行色彩扩增模拟多个源域的色彩图像，建立相似性图的方案；去除源域图像的色彩信息，提取人体组织、细胞结构以及形态分布灰度化特征的去染色模型的构造方案；实现色彩标准化的虚拟染色模型的构造方案。两个模型的三步迁移学习的训练过程。该基于目标域的参考图像建立数字病理色彩标准化的方法，与源域无关，是普适的不需要利用源域图像的色彩标准化方法；解决了源域图像不容易获得，以及为每个源域建立一个标准化方法的难题。同时，解决了源域图像和目标域图像色彩差异不能过大的问题，更适合具有明显色彩改变的源域图像的色彩标准化。
在一些实施方式中，去染色模型，通过以下步骤训练得到：
S101：获取来自目标域的多张彩色数字病理图像，并校正数字病理图像的数字化色彩差异后获取参考图像数据集。在实施时，通常运用色彩定标校正目标域图像的数字化色彩差异。可以采用如下的步骤：
S1011：确定目标域的数据来源，即预先给定的某种制片和数字化协议获取的病理切片的彩色数字病理图像。假定目标域图像作为病理医生或者病理人工智能模型诊断的目标图像，定义目标域的彩色病理图像集合为：
S1012：参见图3，使用预先准备好的定标色卡，色卡由若干个色块组成，其色块的红绿蓝数值已知。用目标域扫描仪扫描色卡，获取色卡图像的红绿蓝数值；用色度计测量色卡的真实红绿蓝值。使用插值方法，建立两者之间的转换函数如图2所示。本实施例中，图2中色卡上包括了红绿蓝三种单色，每种单色从浅到深，覆盖0-255的色彩值范围。
S1013：读取目标域图像的像素i的红绿蓝数值ri′，gi′，bi′，根据色彩转换函数，将其转换为每个像素的真实的色彩值ri，gi，bi；得到目标域的参考图像数据集R＝{I0，....Im}，即校正数字化色彩差异后的目标域数字病理图像。
S102：将参考图像数据集中的各参考图像进行色彩扩增，以模拟不同染色差异的病理图像。获得每一张参考图像对应不同染色差异的多张色彩扩增图像；建立以所有参考图像与对应的多张色彩扩增图像作为图节点、以参考图像与色彩扩增图像的连线作为边的相似性图；在相似性图中标注每张色彩扩增图像与参考图像相连的边的相似性权重。
实施时，可以采用如下的步骤：
S1021：对参考图像数据集的任何一个参考图像Ii，对其做色彩数据扩增，得到参考图像Ii的色彩扩增图像集Ei＝{Ii，0，....Ii，n}。对所有的参考图像做扩增，得到色彩扩增图像数据集E＝{E0，....Em}，即E是由多个Ei构成的总的色彩扩增图像数据集。通过色彩扩增图像模拟了源域可能出现的各种色彩差异。本实施例中，扩增方式包括随机改变Ii的色相、饱和度以及灰度强度。
采用色彩扩增图像数据集模拟了不同制片协议以及数字化方式的源域数字病理图像。为了扩大模拟范围，随机色彩扩增时选择较大范围的随机参数，以扩大色相、饱和度以及灰度的变化范围。
S1022：构建参考图像以及色彩扩增图像的相似性图：将每一张参考图像以及其色彩扩增图像作为相似性图的节点，计算参考图像以及对应的色彩扩增图像的色彩相似性，作为相似性图的边的权值。参见图4，为一张参考图像Ii以及色彩扩增图像Ei，建立相似性图Gi。λj为相似性权重，取决于参考图像Ii和其色彩扩增图像Ii，j的色彩相似性。Ii和Ii，j越相似，则λj越大。实施时，可以用两张图像像素的互信息或者归一化相关系数计算图像相似性，作为相似性权重λj。
S201：参见图5、图6，将相似性图以及所有边的相似性权重作为输入，以保留和人体组织、细胞结构以及形态分布相关信息的多张色彩扩增图像对应的灰度特征图作为输出，训练去染色模型。
在一些实施方式中，去染色模型先对输入图像编码然后进行解码，使用带有编码器-解码器的神经网络结构实现。去染色模型为两层以上的降采样的编码器以及对应的两层以上的上采样的解码器实现的去染色模型，去染色模型的输出还与用于图像灰度化的、由卷积层实现的灰度转换网络连接，去染色模型以及灰度转换网络的输出设有不同的权值。
本实施例中，参见图5，去染色模型基于多层次的卷积神经网络模型，包括多个卷积层以及池化层。卷积网络可以使用具有通道和空间注意力机制的卷积网络模块。编码器和解码器数量不限。编码器从I到III，通道数逐渐增大，图像大小进行降采样。解码器从I到III，通道数据逐渐变小，图像大小逐渐上采样，直到和输入图像一样大小。
图5中，输出的灰度特征图为消除了色彩信息的三维图像矩阵，其中两维是与参考图像同等大小的灰度二维图像，第三维为特征通道。其中，输出的灰度特征图高度和宽度为H和W，通道数为M＞3。
在一些实施方式中，在训练去染色模型时，以第一相似性、第二相似性以及第一鉴别器相似性最大为训练目标，采用反向传播的梯度下降方法优化去染色模型以及灰度转换网络的权值；第一相似性为参考图像对应的灰度特征图与参考图像的色彩扩增图像对应的灰度特征图之间的相似性；第二相似性为参考图像对应的灰度特征图与参考图像灰度转换网络转换的灰度图像之间的相似性；第一鉴别器相似性为第一鉴别器计算的参考图像或者色彩扩增图像的灰度特征图，和灰度转换网络获得的灰度图像之间的相似性。
本实施例中，可以按照如下步骤使用参考图像数据集R以及色彩扩增图像数据集E的相似性图训练去染色模型：
第一步、随机初始化去染色模型以及灰度转换的卷积网络的权值。
第二步、在一个批处理中，提取参考图像Ii的相似性图Gi，获取色彩扩增图像Ei的图像数据以及相似性图的相似性权重。
第三步、输入到去染色模型，输出参考图像Ii对应的灰度特征图I′i以及参考图像Ii的色彩扩增图像对应的灰度特征图I′i，j。
第四步、用灰度转换的卷积网络对参考图像Ii进行灰度转换，得到参考图像的灰度图像I″i。
第五步，计算I′i以及I′i，j的第一相似性，I′i和I″i的第二相似性以及第一鉴别器相似性。
第六步，以第一相似性、第二相似性以及第一鉴别器相似性的和，作为去染色模型的相似性比较的函数，最大化相似性训练去染色模型，采用反向传播的梯度下降方法优化去染色模型以及灰度转换网络的权值。
第七步，更换输入Ii以及色彩扩增图像Ei，回到第二步。直到优化算法收敛或者达到预设的训练次数。
在一些实施方式中，去染色模型可采用上述流程单独训练，也可以和虚拟染色模型以及特定诊断任务的人工智能模型联合训练。
在一些实施方式中，在存储器容量足够时，一个批处理中可以装载若干张参考图像的相似性图Gk，其中Gk的数量大于1。
在一些实施方式中，卷积网络选择全卷积神经网络架构，主要由卷积层，池化层组成，不包含全连接层。使得输入图像尺寸任意，且输入图像和输出图像尺寸一致。参考图像Ii的灰度转换方法，设定为可学习的多个1×1卷积网络，计算得到多通道(通道数M＞3)的灰度图像I″i。参考图像以及其色彩扩增图像的相似性图Gi共享去染色模型，即通过同一个模型得到输出的灰度特征图，以降低网络的参数总数。
在一些实施方式中，第一相似性以及第二相似性，均包括像素相似性、纹理相似性以及感知特征相似性。
本实施例中，去染色模型的相似性比较的函数SIM_Decolor定义如下：
SIM_2＝SIM(I′i，I″i)
其中，SIM计算两个特征图像的逐像素、纹理、感知特征的相似性。其中，像素相似性计算灰度值相似性，纹理特征计算像素的统计相似性。感知相似性用预训练的特征抽取器VGG抽取两个特征图像的高层次特征，计算两者相似性。SIM_1为参考图像对应的灰度特征图与参考图像的色彩扩增图像对应的灰度特征图之间的第一相似性。λi为相似性权重，取决于相似性图上Ii和Ii，j的色彩相似性。Ii和Ii，j越相似，则λj越大，即SIM_1确保参考图像和色彩扩增图像的色彩越相似，灰度特征图越相似。SIM_2为参考图像对应的灰度特征图与参考图像经所述灰度转换网络转换的灰度图像之间的第二相似性。
SIM1，D为第一鉴别器相似性，定义为第一鉴别器计算的参考图像或者色彩扩增图像的灰度特征图，与灰度转换网络获得的灰度图像之间的相似性。
SIM定义如下：
SIM(I，J)＝SIM1(I，J)+SIM2(I，J)+SIM3(I，J)
其中I和J为两张输入的图像；SIM1(I，J)为像素相似性；SIM2(I，J)为纹理相似性；SIM3(I，J)为感知特征相似性。
SIM1定义为像素的相似性：
其中，m为输入图像的像素点个数，I和J为两张输入的图像。
SIM2(I，J)定义为纹理相似性。
SIM2(I，J)＝-[θMean(I，J)+aCon(I，J)+βEntropy(I，J)]
其中，I和J为两张输入的图像。θ，α，β为常系数；Mean(I，J)为两张输入特征图像I和J的灰度差分平均值，
Con(I，J)为I和J的灰度差分对比度，Con(I，J)＝|∑ll2p(l)-∑kk2p(k)|；Entropy(I，J)为I和J的灰度差分熵，
l和k分别为I和J的某一灰度值；p(l)和p(k)分别表示特征图像I和J取灰度值l和k的概率。
SIM3(I，J)定义为感知相似性。
其中
为特征抽取器；MSE为均方误差函数。
更进一步地，在一些实施方式中，第一鉴别器使用生成对抗网络实现。其中，去染色模型看作为生成器，将灰度特征图I′i以及I′i，j作为生成图像；将I″i看作为真实图像。定义第一鉴别器计算生成图像和真实图像的第一鉴别器相似性SIM1，D。
其中，E为期望函数；D为第一鉴别器；λj为相似性权重，取决于输入去染色模型的参考以及色彩扩增图像Ii和Ii，j在相似性图的相似性，该两幅图像被去染色模型输出为I′i和I′i，j。实施时，鉴别器采用卷积神经网络，输入灰度特征图，输出真或假的判定结果。灰度特征图的通道数量M＞3，以便获取更多的和组织相关的特征信息。
在一些实施方式中，虚拟染色网络模型，通过以下步骤训练得到：
S301：参见图7，图8，将去染色模型输出的色彩扩增图像对应的灰度特征图作为输入，对色彩扩增图像的灰度特征图做虚拟上色，以上色色彩和参考图像色彩具有相似性的经色彩标准化后的彩色图像作为输出，训练虚拟染色网络模型。
在一些实施方式中，虚拟染色网络模型为两层以上的降采样的编码器以及对应的两层以上的上采样的解码器实现的虚拟染色网络模型。实施时，虚拟染色模型可基于多层次的卷积神经网络模型，包括多个卷积层以及池化层。例如，参见图7，虚拟染色模型先对输入图像编码然后进行解码，使用带有编码器-解码器的神经网络结构实现。其中，输入灰度特征图高度和宽度为H和W，通道数为M＞3，输出的色彩图像高度和宽度为H和W，通道数为3。卷积网络可以使用具有通道和空间注意力机制的卷积网络模块。编码器和解码器数量不限。编码器从I到III，通道数逐渐增大，图像大小进行降采样。解码器从I到III，通道数据逐渐变小，图像大小逐渐上采样，直到和输入图像一样大小。
在一些实施方式中，在训练虚拟染色网络模型时，以第三相似性、第四相似性以及第二鉴别器相似性最大为训练目标，采用反向传播的梯度下降方法优化虚拟染色网络模型的权值；第三相似性为参考图像对应的彩色图像与参考图像的色彩扩增图像对应的彩色图像之间的相似性；第四相似性为参考图像与参考图像对应的彩色图像之间的相似性；第三相似性以及第四相似性差异，均包括像素相似性、纹理相似性以及感知特征相似性。第二鉴别器相似性为第二鉴别器计算的参考图像或者色彩扩增图像的灰度特征图经过虚拟染色后的彩色图像，和参考图像之间的相似性。
本实施例中，可以按照如下步骤使用参考图像数据集R以及灰度特征图，训练虚拟染色模型。
第一步，随机初始化虚拟染色模型。
第二步，提取参考图像Ii的相似性图Gi，用去染色模型输出得到：参考图像Ii对应的灰度特征图I′i以及参考图像Ii的色彩扩增图像对应的灰度特征图I′i，j。
第三步，将I′i以及I′i，j输入虚拟染色模型，得到彩色图像C(I′i)和C(I′i，j)。
第四步，计算C(I′i)和C(I′i，j)的第三相似性，C(I′i)和参考图像Ii的第四相似性以及第二鉴别器相似性。
第五步，以第三相似性、第四相似性以及第二鉴别器相似性的和，作为虚拟染色模型的相似性比较的函数，最大化相似性训练虚拟染色模型，采用反向传播的梯度下降方法优化虚拟染色模型的权值。
第六步，更换其他的参考图像Ij的相似性图Gj，回到第二步。直到优化算法收敛或者达到预设的迭代次数。在存储器容量足够时，一个批处理中可以装载若干张参考图像的相似性图Gk，其中Gk的数量大于1。
在一些实施方式中，虚拟染色模型的卷积神经网络选择全卷积神经网络架构，主要由卷积层，池化层组成，不包含全连接层。使得输入图像尺寸任意，且输入图像和输出图像尺寸一致。
在一些实施方式中，参考图像以及其色彩扩增图像的灰度特征图优选共享虚拟染色模型，即通过同一个模型得到输出，以降低网络参数数量。所述的共享权值是指共享模型中的参数。
本实施例中，虚拟染色模型的相似性比较的函数SIM_Color定义如下：
SIM_4＝SIM(C(I′i)，Ii)
其中，SIM计算两个彩色图像的逐像素、纹理、感知特征的相似性。其中，像素相似性计算像素红绿蓝值的相似性，纹理特征计算像素的统计相似性。感知相似性用预训练的特征抽取器VGG抽取两个彩色图像的高层次特征，计算两者相似性。SIM_3为参考图像对应的彩色图像与参考图像的色彩扩增图像对应的彩色图像之间的第三相似性；SIM_4为参考图像与参考图像对应的彩色图像之间的第四相似性。SIM2，D为第二鉴别器相似性，定义为第二鉴别器计算的参考图像或者色彩扩增图像的灰度特征图经过虚拟染色后的彩色图像，和参考图像之间的相似性。
SIM定义如下：
SIM(I，J)＝SIM1(I，J)+SIM2(I，J)+SIM3(I，J)
其中I和J为两张输入特征图像；SIM1(I，J)为像素相似性；SIM2(I，J)为纹理相似性；SIM3(I，J)为感知特征相似性。
SIM1定义为像素的相似性：
其中，m为输入图像的像素点个数，I和J为两张输入的图像。
SIM2(I，J)定义为纹理相似性。
SIM2(I，J)＝-[θMean(I，J)+αCon(I，J)+βEntropy(I，J)]
其中，I和J为两张输入的图像。θ，α，β为常系数；Mean(I，J)为两张输入特征图像I和J的灰度差分平均值，
Con(I，J)为I和J的灰度差分对比度，Con(I，J)＝|∑ll2p(l)-∑kk2p(k)|；Entropy(I，J)为I和J的灰度差分熵，
l和k分别为I和J的某一灰度值；p(l)和p(k)分别表示特征图像I和J取灰度值l和k的概率。
SIM3(I，J)定义为感知相似性。
其中
为特征抽取器；MSE为均方误差函数。本实施例中，特征抽取器选择VGG网络。λj为相似性权重，取决于相似性图上Ii和Ii，j的色彩相似性。Ii和Ii，j越相似，则λj越大，即Loss2确保参考图像和色彩扩增图像的色彩越相似，虚拟染色模型输出的对应彩色图像越相似。
更进一步地，在一些实施方式中，第二鉴别器使用生成对抗网络实现。其中，虚拟染色模型看作为生成器，将彩色图像C(I′i)和C(I′i，j)作为生成图像；将参考图像Ii看作为真实图像。定义第二鉴别器计算生成图像和真实图像的第二鉴别器相似性SIM2，D。
其中，E为期望函数；D为第二鉴别器；λi为相似性权重，取决于输入去染色模型和虚拟染色模型的参考图像以及色彩扩增图像Ii和Ii，j在相似性图中的相似性，该两幅图像经去染色模型和虚拟染色模型后输出为C(I′i)和C(I′i，j)。实施时，鉴别器采用卷积神经网络，输入虚拟染色图像以及参考图像，输出真或假的判定结果。
S302：分别训练去染色模型和虚拟染色模型后，使用参考图像数据集R以及相似性图对两者进行联合训练，实现对两个模型的迁移学习优化。
在一些实施方式中，虚拟染色模型可采用上述流程单独训练，也可以和去染色模型以及特定诊断任务的人工智能模型联合训练，参见图9，图10。
图9中，分别训练去染色模型和虚拟染色模型后，使用参考图像数据集R以及相似性图对两者进行联合训练，实现对两个模型的迁移学习优化。相似性比较使用SIM_Color。将两个模型的低层次的参数固定，只在高层次参数上训练，以实现优化训练。
图10中，结合具体任务的人工智能模型，使用参考图像数据集R以及相似性图进行训练，使得人工智能模型输出的结果，和参考图像数据集R标注的真实结果一致。将人工智能模型和去染色模型、虚拟染色模型一起训练，以便两个模型对于特定诊断任务取得最优性能。实施时，也可设置人工智能模型的参数固定，不参与训练，以实现去染色模型和虚拟染色模型的优化训练。
应用例：当将本发明的数字病理图像的色彩标准化方法用于源域图像的色彩标准化时，采用如下步骤进行应用：
从源域获取图像，即不同于目标域的其他制片和数字化协议获取的病理切片的彩色数字图像，定义源域的彩色图像集合为：S＝{II0....IIk}。
提取源域一张数字病理图像IIi，输入去染色模型以及虚拟染色模型，执行色彩的标准化操作，标准化过程如图11所示：
第一步，对于其他不同于目标域的任何一张源域图像IIi，输入去染色模型，去除图像的色彩信息，只保留和人体组织、细胞结构以及形态分布相关的灰度特征图IIi。
第二步，将IIi输入虚拟染色模型，得到彩色的虚拟染色的数字病理图像C(IIi)，即色彩标准化的病理图像。
本发明还提供一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一实施例的步骤。
综上可知，本发明的数字病理图像的色彩标准化方法及系统，基于目标域的参考图像建立数字病理色彩标准化的方法，该方法和源域无关，是普适的不需要利用源域图像的色彩标准化方法；解决了源域图像不容易获得，以及为每个源域建立一个标准化方法的难题。同时，解决了源域图像和目标域图像色彩差异不能过大的问题，更适合具有明显色彩改变的源域图像的色彩标准化。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数字病理图像的色彩标准化方法，其特征在于，包括以下步骤：
从目标域获取彩色的数字病理图像；并校正所述数字病理图像的数字化色彩差异后作为参考图像；
将参考图像进行色彩扩增以模拟不同染色差异，获得每一张参考图像对应不同染色差异的多张色彩扩增图像；建立参考图像与对应的多张色彩扩增图像的相似性图；
将相似性图输入到去染色模型中，消除染色带来的色彩信息，输出保留和人体组织、细胞结构以及形态分布相关信息的多张色彩扩增图像对应的灰度特征图；
将所述色彩扩增图像对应的灰度特征图输入虚拟染色网络模型，对色彩扩增图像的灰度特征图做虚拟上色，输出上色色彩和参考图像色彩具有相似性的、经色彩标准化后的彩色图像。
2.根据权利要求1所述的数字病理图像的色彩标准化方法，其特征在于，所述去染色模型，通过以下步骤训练得到：
获取来自目标域的多张彩色病理图像，并校正所述多张数字病理图像的数字化色彩差异后生成参考图像数据集；
将参考图像数据集中的各参考图像进行色彩扩增以模拟不同染色差异，获得每一张参考图像对应不同染色差异的多张色彩扩增图像；建立以所有参考图像与对应的多张色彩扩增图像作为图节点、以参考图像与色彩扩增图像的连线作为边的相似性图；在所述相似性图中标注每张色彩扩增图像与参考图像相连的边的相似性权重；
将所述相似性图以及所有边的相似性权重作为输入，以保留和人体组织、细胞结构以及形态分布相关信息的多张色彩扩增图像对应的灰度特征图作为输出，训练去染色模型。
3.根据权利要求2所述的数字病理图像的色彩标准化方法，其特征在于，在训练所述去染色模型时，输出的所述灰度特征图为消除了色彩信息的三维图像矩阵，其中两维是与参考图像同等大小的灰度二维图像，第三维为特征通道。
4.根据权利要求2所述的数字病理图像的色彩标准化方法，其特征在于，所述去染色模型为两层以上的降采样的编码器以及对应的两层以上的上采样的解码器实现的去染色模型，所述去染色模型的输出还与用于图像灰度化的、由卷积层实现的灰度转换网络的输出进行相似性比较，去染色模型以及灰度转换网络的输出设有不同的权值。
5.根据权利要求4所述的数字病理图像的色彩标准化方法，其特征在于，在训练所述去染色模型时，以第一相似性、第二相似性以及第一鉴别器相似性最大为训练目标，采用反向传播的梯度下降方法优化去染色模型以及灰度转换网络的权值；
所述第一相似性为参考图像对应的灰度特征图与所述参考图像的色彩扩增图像对应的灰度特征图之间的相似性；所述第二相似性为参考图像对应的灰度特征图与参考图像经所述灰度转换网络转换的灰度图像之间的相似性；
第一鉴别器相似性为第一鉴别器计算的参考图像或者色彩扩增图像的灰度特征图，和灰度转换网络获得的灰度图像之间的相似性。
6.根据权利要求5所述的数字病理图像的色彩标准化方法，其特征在于，所述第一相似性以及所述第二相似性，均包括像素相似性、纹理相似性以及感知特征相似性。
7.根据权利要求2-6中任一项所述的数字病理图像的色彩标准化方法，其特征在于，所述虚拟染色网络模型，通过以下步骤训练得到：
将去染色模型输出的所述色彩扩增图像对应的灰度特征图作为输入，对色彩扩增图像的灰度特征图做虚拟上色，以上色色彩和参考图像色彩具有相似性的、经色彩标准化后的彩色图像作为输出，训练虚拟染色网络模型。
8.根据权利要求7所述的数字病理图像的色彩标准化方法，其特征在于，所述虚拟染色网络模型为两层以上的降采样的编码器以及对应的两层以上的上采样的解码器实现的虚拟染色网络模型。
9.根据权利要求8所述的数字病理图像的色彩标准化方法，其特征在于，在训练所述虚拟染色网络模型时，以第三相似性、第四相似性以及第二鉴别器相似性最大为训练目标，采用反向传播的梯度下降方法优化虚拟染色网络模型的权值；
所述第三相似性为参考图像对应的彩色图像与所述参考图像的色彩扩增图像对应的彩色图像之间的相似性；所述第四相似性为参考图像与参考图像对应的彩色图像之间的相似性；
第二鉴别器相似性为第二鉴别器计算的参考图像或者色彩扩增图像的灰度特征图经过虚拟染色后的彩色图像，和参考图像之间的相似性；
所述第三相似性以及所述第四相似性，均包括像素相似性、纹理相似性以及感知特征相似性。
10.一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至9任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211249488.2A CN115588055A (zh) | 2022-10-12 | 2022-10-12 | 数字病理图像的色彩标准化方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211249488.2A CN115588055A (zh) | 2022-10-12 | 2022-10-12 | 数字病理图像的色彩标准化方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115588055A true CN115588055A (zh) | 2023-01-10 |
Family
ID=84780658
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211249488.2A Pending CN115588055A (zh) | 2022-10-12 | 2022-10-12 | 数字病理图像的色彩标准化方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115588055A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058014A (zh) * | 2023-07-14 | 2023-11-14 | 北京透彻未来科技有限公司 | 一种基于lab色彩空间匹配的染色归一化系统及方法 |
| CN117495742A (zh) * | 2023-08-01 | 2024-02-02 | 西交利物浦大学 | 图像的染色转移方法、装置、设备及介质 |
-
2022
- 2022-10-12 CN CN202211249488.2A patent/CN115588055A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058014A (zh) * | 2023-07-14 | 2023-11-14 | 北京透彻未来科技有限公司 | 一种基于lab色彩空间匹配的染色归一化系统及方法 |
| CN117058014B (zh) * | 2023-07-14 | 2024-03-29 | 北京透彻未来科技有限公司 | 一种基于lab色彩空间匹配的染色归一化系统及方法 |
| CN117495742A (zh) * | 2023-08-01 | 2024-02-02 | 西交利物浦大学 | 图像的染色转移方法、装置、设备及介质 |
| CN117495742B (zh) * | 2023-08-01 | 2024-05-31 | 西交利物浦大学 | 图像的染色转移方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| US10579908B2 (en) | Machine-learning based technique for fast image enhancement | |
| CN115588055A (zh) | 数字病理图像的色彩标准化方法及系统 | |
| CN109064396A (zh) | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 | |
| CN112801904B (zh) | 一种基于卷积神经网络的混合退化图像增强方法 | |
| CN109389603B (zh) | 一种基于预加重策略的全自动腰椎图像分割方法 | |
| US11961203B2 (en) | Image processing device and operation method therefor | |
| CN110717868B (zh) | 视频高动态范围反色调映射模型构建、映射方法及装置 | |
| CN110136122B (zh) | 一种基于注意力深度特征重建的脑mr图像分割方法 | |
| CN108921932B (zh) | 基于卷积神经网络的黑白人物图片生成多种合理着色方法 | |
| CN109345601B (zh) | 基于低秩嵌入非负矩阵分解的病理图像颜色标准化的方法 | |
| CN110717953A (zh) | 基于cnn-lstm组合模型的黑白图片的着色方法和系统 | |
| CN109214989A (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| WO2021110262A1 (en) | Noise reconstruction for image denoising | |
| CN112991371B (zh) | 一种基于着色溢出约束的图像自动着色方法及系统 | |
| JP2021179833A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP7463186B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN115170915A (zh) | 一种基于端到端注意力网络的红外与可见光图像融合方法 | |
| CN115511722A (zh) | 基于深浅特征融合网络及联合损失函数的遥感图像去噪方法 | |
| Zheng et al. | Overwater image dehazing via cycle-consistent generative adversarial network | |
| CN111476857B (zh) | 基于深度学习的结构不变的病理图像颜色标准化方法 | |
| CN113706400A (zh) | 图像矫正方法、装置、显微镜图像的矫正方法及电子设备 | |
| CN111401453A (zh) | 一种马赛克图像分类识别方法及系统 | |
| CN116664587A (zh) | 基于伪彩色增强的混合注意力UNet超声图像分割方法与装置 | |
| CN115456903B (zh) | 一种基于深度学习的全彩夜视增强方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |