CN111161359A - 一种图像处理方法及设备 - Google Patents
一种图像处理方法及设备 Download PDFInfo
- Publication number
- CN111161359A CN111161359A CN201911273788.2A CN201911273788A CN111161359A CN 111161359 A CN111161359 A CN 111161359A CN 201911273788 A CN201911273788 A CN 201911273788A CN 111161359 A CN111161359 A CN 111161359A
- Authority
- CN
- China
- Prior art keywords
- image
- network model
- color
- processed
- generation network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000010186 staining Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000004043 dyeing Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 230000007170 pathology Effects 0.000 description 91
- 230000001575 pathological effect Effects 0.000 description 46
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 14
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000000975 dye Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000001000 micrograph Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 239000002994 raw material Substances 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 235000013405 beer Nutrition 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 210000003850 cellular structure Anatomy 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011496 digital image analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002327 eosinophilic effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003125 immunofluorescent labeling Methods 0.000 description 1
- 238000011532 immunohistochemical staining Methods 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000001044 red dye Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
Abstract
本申请公开一种图像处理方法、装置及设备，所述方法包括：提取待处理图像的影像特征和颜色特征；所述影像特征用于描述所述待处理图像的数据结构信息；将所述待处理图像的影像特征和颜色特征输入至图像生成网络模型，经过所述图像生成网络模型的处理后，得到目标图像；所述目标图像与所述待处理图像具有相同的数据结构信息且具有预设颜色标准；其中，所述图像生成网络模型为利用与所述待处理图像具有相同颜色的图像样本进行训练，并在确定所述图像生成网络模型输出的图像达到所述预设标准颜色时结束训练得到。基于上述方案，本申请能够实现图像的颜色标准化。
Description
技术领域
本申请涉及数据处理领域，具体涉及一种图像处理方法、装置及设备。
背景技术
在基于机器学习的图像处理领域中，图像的颜色标准影响着机器学习对图像处理结果的准确性，因此，在对图像进行处理之前可以对其进行颜色标准化处理，以提高图像处理结果的准确性。
以医疗领域对病理图像的处理为例，由于染色原料的差异、不同病理实验室之间染色方案的差异、载玻片及扫描仪等设备的差异，导致病理图像之间的颜色标准可能不同。例如，来自不同病理实验室的病理图像的颜色标准不同，基于A病理实验室的病理图像对图像处理模型进行训练后，如果用于对B病理实验室的病理图像进行处理，则由于颜色的不同导致处理结果准确性不足。因此，在对B病理实验室的病理图像进行处理之前，首先对病理图像进行颜色标准化，使得其与A病理实验室的病理图像的颜色相同。
因此，如何实现对图像的颜色标准化是目前亟待解决的问题。
发明内容
有鉴于此，本申请提供了一种图像处理方法、装置及设备，能够基于经过训练的图像生成网络模型对待处理图像进行颜色标准化处理，具体的，通过提取待处理图像的影像特征，保证生成的颜色标准化图像不改变数据结构信息，通过提取待处理图像的颜色特征，对其进行颜色标准化处理，最终得到与预设标准颜色图像具有相同颜色的图像，实现图像的颜色标准化。
第一方面，为实现上述发明目的，本申请提供了一种图像处理方法，所述方法包括：
提取待处理图像的影像特征和颜色特征；所述影像特征用于描述所述待处理图像的数据结构信息；
将所述待处理图像的影像特征和颜色特征输入至图像生成网络模型，经过所述图像生成网络模型的处理后，得到目标图像；所述目标图像与所述待处理图像具有相同的数据结构信息，所述目标图像具有预设标准颜色；
其中，所述图像生成网络模型为利用与所述待处理图像具有相同颜色的图像样本进行训练，并在确定所述图像生成网络模型输出的图像达到所述预设标准颜色时结束训练得到。
一种可选的实施方式中，所述将待处理图像输入至图像生成网络模型，经过所述图像生成网络模型的处理后，输出目标图像之前，还包括：
利用与待处理图像具有相同颜色的图像样本对图像生成网络模型进行训练；其中，所述图像生成网络模型与图像鉴别网络模型相连；
利用所述图像鉴别网络模型对所述图像生成网络模型的训练输出图像进行鉴别；
在所述图像鉴别网络模型确定所述图像生成网络模型的训练输出图像达到所述预设标准颜色时，结束训练，得到经过训练的图像生成网络模型；否则，重新确定图像样本后，继续执行所述提取图像样本的影像特征和颜色特征的步骤。
一种可选的实施方式中，所述利用所述图像鉴别网络模型对所述图像生成网络模型的训练输出图像进行鉴别，包括：
将所述图像生成网络模型的训练输出图像与具有预设标准颜色的图像输入至图像鉴别网络模型中，并由所述图像鉴别网络模型对所述训练输出图像与所述具有预设标准颜色的图像进行颜色相似度的比较。
一种可选的实施方式中，所述提取待处理图像的影像特征和颜色特征，包括：
利用经过训练的影像特征提取模型，提取待处理图像的影像特征；
以及，基于光密度提取所述待处理图像的染色矩阵，作为所述待处理图像的颜色特征。
第二方面，本申请还提供了一种图像处理装置，所述装置包括：
提取模块，用于提取待处理图像的影像特征和颜色特征；所述影像特征用于描述所述待处理图像的数据结构信息；
处理模块，用于将所述待处理图像的影像特征和颜色特征输入至图像生成网络模型，经过所述图像生成网络模型的处理后，得到目标图像；所述目标图像与所述待处理图像具有相同的数据结构信息，所述目标图像具有预设标准颜色；
其中，所述图像生成网络模型为利用与所述待处理图像具有相同颜色标准的图像样本进行训练，并在确定所述图像生成网络模型输出的图像达到所述预设标准颜色时结束训练得到。
一种可选的实施方式中，所述装置还包括：
训练模块，用于利用与待处理图像具有相同颜色的图像样本对图像生成网络模型进行训练；其中，所述图像生成网络模型与图像鉴别网络模型相连；
鉴别模块，用于利用所述图像鉴别网络模型对所述图像生成网络模型的训练输出图像进行鉴别；
结束训练模块，用于在所述图像鉴别网络模型确定所述图像生成网络模型的训练输出图像达到所述预设标准颜色时，结束训练，得到经过训练的图像生成网络模型；否则，重新确定图像样本后，触发所述训练模块。
一种可选的实施方式中，所述鉴别模块，具体用于：
将所述图像生成网络模型的训练输出图像与具有预设标准颜色的图像输入至图像鉴别网络模型中，并由所述图像鉴别网络模型对所述训练输出图像与所述具有预设标准颜色的图像进行颜色标准相似度的比较。
一种可选的实施方式中，所述提取模块，包括：
第一提取子模块，用于利用经过训练的影像特征提取模型，提取待处理图像的影像特征；
第二提取子模块，用于基于光密度提取所述待处理图像的染色矩阵，作为所述待处理图像的颜色特征。
第三方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现如上述任一项所述的方法。
第四方面，本申请还提供了一种设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述任一项所述的方法。
本申请提供的图像处理方法中，能够基于经过训练的图像生成网络模型对待处理图像进行颜色标准化处理，具体的，通过提取待处理图像的影像特征，保证生成的颜色标准化图像不改变数据结构信息，通过提取待处理图像的颜色特征，对其进行颜色标准化处理，最终得到具有预设标准颜色的图像，实现图像颜色的标准化。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像处理方法的流程图；
图2为本申请实施例提供的一种模型训练网络架构图；
图3为本申请实施例提供的另一种图像处理方法的流程图；
图4为本申请实施例提供的一种图像处理装置的结构示意图；
图5为本申请实施例提供的一种图像处理设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
由于利用机器学习对不同颜色的图像进行处理时，不同的颜色可能会作为干扰因素，影响着机器学习对图像的处理结果，因此，在利用机器学习对图像进行处理之前，首先需要将用于机器学习的图像进行颜色标准化处理，以便提高图像处理结果的准确性。其中，颜色标准化是一种颜色调整的方式，目的是将图像的颜色统一。
为此，本申请提供了一种图像处理方法，能够利用经过训练的图像生成网络模型，对待处理图像的颜色进行标准化处理，具体的，提取待处理图像的影像特征和颜色特征，并将影像特征和颜色特征输入至图像生成网络模型进行处理，得到目标图像，该目标图像与待处理图像具有相同的数据结构信息，以及具有预设标准颜色。通过上述方式，本申请能够实现图像的颜色标准化。
参考图1，为本申请实施例提供的一种图像处理方法的流程图，其中，该方法包括：
S101：提取待处理图像的影像特征和颜色特征；所述影像特征用于描述所述待处理图像的数据结构信息。
其中，数据结构信息指的是图像的空间结构信息，即除颜色、亮度之外的形状轮廓信息及位置信息等。本申请实施例对图像的处理，是在保留空间结构信息的基础上，对图像进行颜色的调整，保留空间结构信息是为了防止颜色的调整改变了原有图像的内容。
本申请实施例提供的图像处理方法，要求对图像本身的数据结构信息不做改变，而是对图像进行颜色标准化处理，因此，本申请实施例在获取待处理图像之后，需要提取用于描述待处理图像的数据结构信息的影像特征，以及用于描述待处理图像的颜色信息的颜色特征。
一种可选的实施方式中，可以利用深度神经网络模型对待处理图像的影像特征进行提取，具体的，深度神经网络模型可以为利用图像样本进行训练得到的影像特征提取模型。
另一种可选的实施方式中，可以基于光密度提取待处理图像的染色矩阵，作为待处理图像的颜色特征。具体的实现方式在后续进行介绍。
S102：将所述待处理图像的影像特征和颜色特征输入至图像生成网络模型，经过所述图像生成网络模型的处理后，得到目标图像；所述目标图像与所述待处理图像具有相同的数据结构信息，所述目标图像具有预设标准颜色。
其中，所述图像生成网络模型为利用与所述待处理图像具有相同颜色的图像样本进行训练，并在确定所述图像生成网络模型输出的图像达到所述预设标准颜色时结束训练得到。
本申请实施例中，在提取待处理图像的影像特征和颜色特征之后，将影像特征和颜色特征进行加权融合后输入至图像生成网络模型中，经过图像生成网络模型的处理后，得到目标图像。由于得到的目标图像具有预设标准颜色，因此本申请实施例提供的图像生成网络模型实现了对待处理图像的颜色标准化处理。
值得注意的是，对于图像生成网络模型的训练过程在后续进行介绍。
总之，本申请实施例提供的图像处理方法，能够基于经过训练的图像生成网络模型对待处理图像进行颜色标准化处理，具体的，通过提取待处理图像的影像特征，保证生成的目标图像不改变待处理图像的数据结构信息，通过提取待处理图像的颜色特征，使得生成的目标图像中实现了待处理图像的颜色标准化。通过上述方式，能够将待处理图像处理成具有预设标准颜色的目标图像，实现了图像的颜色标准化。
对于图像生成网络模型的训练方法，本申请实施例提供了一种可选的实施方式，具体的，利用与待处理图像具有相同颜色的图像样本对图像生成网络模型进行训练；其中，所述图像生成网络模型与图像鉴别网络模型相连；然后，利用所述图像鉴别网络模型对所述图像生成网络模型的训练输出图像进行鉴别。最终，在所述图像鉴别网络模型确定所述图像生成网络模型的训练输出图像达到所述预设标准颜色时，结束训练，得到经过训练的图像生成网络模型；否则，重新确定图像样本后，继续执行所述提取图像样本的影像特征和颜色特征的步骤。
具体的，图像鉴别网络模型与图像生成网络模型相连，并对图像生成网络模型输出的图像进行鉴别。一种可选的实施方式中，预先确定标准图像，该标准图像的颜色即为预设标准颜色，将图像生成网络模型的训练输出图像与该标准图像输入至图像鉴别网络模型中，由图像鉴别网络模型比较二者的颜色相似度，如果二者的颜色相似度达到要求，则完成对图像生成网络模型的训练；否则重新确定图像样本对图像生成网络模型继续训练，直到图像鉴别网络模型确定图像生成网络模型的训练输出图像与标准图像之间的颜色相似度达到要求。
另一种可选的实现方式中，本申请实施例可以利用生成对抗网络GAN的原理构建网络，实现对图像生成网络模型的训练。其中，GAN的原理介绍如下：
假设存在两个网络，即G(Generator)生成网络和D(Discriminator)判别网络。其中，G是一个用于生成图片的网络，它接收一个随机的噪声z，通过噪声z可以生成图片G(z)。D是一个判别网络，用于判别一张图片是不是“真实的”。D的输入参数为x，x代表一张图片，输出D(x)代表x为真实图片的概率，如果D(x)为1，则代表x属于100％真实的图片，而D(x)为0，则代表x不可能是真实的图片。
在对生成网络G和判别网络D进行训练的过程中，生成网络G的目标是尽量生成真实的图片去欺骗判别网络D，而判别网络D的目标是尽量把生成网络G生成的图片和真实的图片分别开来。这样，生成网络G和判别网络D构成了一个动态的“博弈过程”的网络架构。在最理想的状态下，生成网络G可以生成足以“以假乱真”的图片G(z)。对于判别网络D来说，它难以判定生成网络G生成的图片究竟是不是真实的，因此D(G(z))＝0.5，即为这个网络架构的最理想的状态，此时的生成网络G即可作为图像生成网络模型，用于本申请实施例中的图像处理方法中。
以医疗领域的病理图像为例，在组织病理学中，检查组织样本的显微病理图像以研究疾病的表现，与特定蛋白质结合的试剂称为染色剂，用于增加显微病理图像中不同结构之间的对比，以进行手动检查。目前，常用的染色方案是苏木精和曙红(H&E)的组合，苏木精是一种蓝紫色的嗜碱性染料，与细胞核牢固结合，而曙红是一种红粉红色染料，主要与细胞质和基质中的嗜酸性蛋白结合。H&E组合的染色方式只是作为一种示例，针对病理领域的其他染色方式，如免疫组化染色、免疫荧光染色、多试剂染色等也可以应用本申请提供的方案。组织学依靠对显微病理图像的研究以基于细胞结构和排列诊断疾病，而染色是组织制备过程的关键部分。染色成分(主要是苏木精和曙红)的添加使自然透明的组织元素变得更加可区分(其中，苏木精将细胞核染成深紫色，而曙红将其他结构染成粉红色)，但是，由于原料的差异，不同病理中心之间的染色方案的差异，以及载玻片、扫描仪等设备的差异，导致病理显微图像的染色结果的不一致且易于变异，使得病理显微图像具有不同的颜色标准，尤其是不同病理中心的病理图像。最终导致不同的病理中心的病理图像利用计算机辅助运算后，得到的结果准确性不足。为此，对于不同的病理中心的病理图像而言，在利用计算机辅助运算之前，首先需要对病理图像进行颜色标准化处理，从而有效解决上述原料的差异，不同病理中心之间的染色方案的差异，以及载玻片、扫描仪等设备的差异导致的病理图像的染色深浅的问题以及非常规染色的病理图像的染色问题，对于病理细胞的可视化效果以及计算机图像分析能力均有提升。
具体的，假设针对A、B两家病理中心，可以将来自A病理中心的病理图像的颜色转化为B病理中心的标准图像的颜色，即将B病理中心的任一病理图像作为标准图像，将标准图像的颜色作为B病理中心的预设标准颜色；反之也可以将来自B病理中心的病理图像的颜色转化为A病理中心的标准图像的颜色，即将A病理中心的任一病理图像作为标准图像，将标准图像的颜色作为A病理中心的预设标准颜色，最终完成病理图像的颜色标准化处理。
本申请实施例中，依据上述GAN的原理，基于生成网络G创建A病理中心数据调整网络和B病理中心数据调整网络，其中，A病理中心数据调整网络中包括图像生成网络模型A，B病理中心数据调整网络中包括图像生成网络模型B。具体的，A病理中心数据调整网络，用于利用图像生成网络模型A对B病理中心的病理图像进行颜色标准化处理，生成具有A病理中心的预设标准颜色的病理图像。B病理中心数据调整网络，用于利用图像生成网络模型B对A病理中心的病理图像进行颜色标准化处理，生成具有B病理中心的预设标准颜色的病理图像。
另外，为了实现对A病理中心数据调整网络和B病理中心数据调整网络的训练，本申请实施例还可以依据上述GAN的原理，基于判别网络D创建两个数据鉴别网络，即A病理中心数据鉴别网络模型和B病理中心数据鉴别网络模型。具体的，A病理中心数据鉴别网络模型，用于对A病理中心数据调整网络生成的目标图像进行鉴别，以确定其与A病理中心的病理图像的预设标准颜色的相似度。B病理中心数据鉴别网络，用于对B病理中心数据调整网络生成的目标图像进行鉴别，以确定其与B病理中心的病理图像的预设标准颜色的相似度。
如图2所示，为本申请实施例提供的一种模型训练网络架构图，其中，依据上述GAN的原理，对A病理中心数据调整网络201和B病理中心数据调整网络202进行训练，同时基于A病理中心数据鉴别网络模型203和B病理中心数据鉴别网络模型204的鉴别结果，输出经过训练的A病理中心数据调整网络201和B病理中心数据调整网络202。
实际应用中，将A病理中心205的病理图像和B病理中心206的病理图像作为图像样本用于网络模型训练，由于病理图像的尺寸巨大，常规尺寸为10W*10W像素级别，为了提高系统处理效率，可以对病理图像进行无缝切割，如将病理图像切割为4096*4096像素大小的小切片，并将小切片进行合理编号，然后分别进行标准化及归一化处理等，完成对图像样本的预处理。
本申请实施例中，将A病理中心205的图像样本输入至B病理中心数据调整网络202，经过影像特征和颜色特征的提取之后，将提取到的影像特征和颜色特征输入至图像生成网络模型A，经过其处理后，得到训练输出图像，该训练输出图像和B病理中心的标准图像同时作为B病理中心数据鉴别网络模型204的输入，由B病理中心数据鉴别网络模型204对训练输出图像进行鉴别，以确定训练输出图像的颜色标准与B病理中心的标准图像的颜色相似度。
另外，同时将B病理中心206的图像样本输入A病理中心数据调整网络201，经过影像特征和颜色特征的提取之后，将提取到的影像特征和颜色特征输入至图像生成网络模型B，经过其处理后，得到训练输出图像，该训练输出图像和A病理中心的标准图像同时作为A病理中心数据鉴别网络203的输入，由A病理中心数据鉴别网络模型203对训练输出图像进行鉴别，以确定训练输出图像的颜色标准与A病理中心的标准图像的颜色相似度。
基于上述GAN的原理，本申请实施例中的A病理中心数据鉴别网络模型203和B病理中心数据鉴别网络模型204，在分别确定训练输出图像的颜色与标准图像的颜色的相似度为0.5时，即上述GAN的原理中D(G(z))＝0.5，则结束对A病理中心数据调整网络201和B病理中心数据调整网络202的训练，同时得到经过训练的图像生成网络模型A和B，用于本申请实施例提供的图像处理方法中。
本申请实施例中，经过训练的A病理中心数据调整网络201中的图像生成网络模型A能够用于对B病理中心的病理图像进行处理，生成具有A病理中心的标准颜色的病理图像；同样的，经过训练的B病理中心数据调整网络202中的图像生成网络模型B能够用于对A病理中心的病理图像进行处理，生成具有B病理中心的标准颜色的病理图像。
以下以利用A病理中心数据调整网络201中的图像生成网络模型A对B病理中心的病理图像进行处理的应用为例，对本申请实施例提供的图像处理方法进行介绍。参考图3，为本申请实施例提供的另一种图像处理方法的流程图。
该方法包括：
S301：将B病理中心的病理图像作为待处理图像，利用A病理中心数据调整网络201提取待处理图像的影像特征和颜色特征。
本申请实施例中，A病理中心数据调整网络201中还可以包括影像特征提取模型，用于提取影像特征。具体的，在上述对A病理中心数据调整网络201进行训练的同时，完成了对影像特征提取模型的训练。
本申请实施例中，利用A病理中心数据调整网络201中经过训练的影像特征提取模型，提取待处理图像的影像特征。
一种可选的实施方式中，由于A病理中心的病理图像与B病理中心的病理图像之间可能存在染色原料的差异、染色方案的差异、以及载玻片和扫描仪等设备的差异，从而导致二者的染色矩阵不同。因此，本申请实施例可以基于光密度提取待处理图像的染色矩阵，作为待处理图像的颜色特征。
实际应用中，病理图像的染色剂常用的为苏木素和曙红染料，将其结合到特定的细胞结构和组织后，吸收不同光谱的光，这个染色过程可以利用BeerLambert(比尔-朗伯定律)定律进行描述。
具体的，假设A用于病理图像的染色矩阵，I0为病理图像的入射光强度，It为病理图像的透射光强度，则可以利用以下公式(1)确定三者的关系：
另外，还可以利用以下公式(2)计算It，具体的：
It＝I0exp(-WH). (2)
结合公式(1)和(2)，可以确定A的表示方式如下：
A＝WH.
其中，W为m×s的矩阵，m用于表示病理图像的R G B通道个数，s用于表示染色剂数量，通常为2，即包括苏木素和曙红两种，W的每一行表示一个RGB通道，两列分别表示苏木精和曙红染色外观，W描述了经过染色(H&E)的病理图像的染色统计，使用现有的稀疏非负矩阵分解算法可以得到。H为s×n的矩阵，n用于表示病理图像中的像素个数，H用于表示染色密度图，也可以使用现有的稀疏非负矩阵分解算法可以得到。
另外，本申请实施例可以通过在3-D坐标空间中绘制从第一列开始到第二列结束的向量，实现病理图像的染色矩阵的可视化。
通过上述实施方式，本申请实施例可以得到经过苏木素和曙红染色的病理图像的颜色特征。对于其他颜色特征提取方式，本申请实施例不做限制。
S302：将待处理图像的影像特征和颜色特征，输入至图像生成网络模型A中，经过图像生成网络模型A的处理后，得到目标图像。
其中，目标图像为与A病理中心的病理图像具有相同颜色的图像，且目标图像与待处理图像具有相同的数据结构信息。
本申请实施例对待处理图像的处理，要求对图像本身数据结构信息不改变，但需要调整待处理图像的颜色标准，因此，本申请实施例能够将B病理中心的病理图像处理为具有A病理中心的病理图像的标准颜色，实现病理图像的颜色标准化。
与上述方法实施方式相对应的，以下本申请提供了一种图像处理装置，参考图4，为本申请实施例提供的一种图像处理装置的结构示意图，所述装置包括：
提取模块401，用于提取待处理图像的影像特征和颜色特征；所述影像特征用于描述所述待处理图像的数据结构信息；
处理模块402，用于将所述待处理图像的影像特征和颜色特征输入至图像生成网络模型，经过所述图像生成网络模型的处理后，得到目标图像；所述目标图像与所述待处理图像具有相同的数据结构信息，所述目标图像具有预设标准颜色；
其中，所述图像生成网络模型为利用与所述待处理图像具有相同颜色的图像样本进行训练，并在确定所述图像生成网络模型输出的图像达到所述预设标准颜色时结束训练得到。
一种可选的实施方式中，所述装置还包括：
训练模块，用于利用与待处理图像具有相同颜色的图像样本对图像生成网络模型进行训练；其中，所述图像生成网络模型与图像鉴别网络模型相连；
鉴别模块，用于利用所述图像鉴别网络模型对所述图像生成网络模型的训练输出图像进行鉴别；
结束训练模块，用于在所述图像鉴别网络模型确定所述图像生成网络模型的训练输出图像达到所述预设标准颜色时，结束训练，得到经过训练的图像生成网络模型；否则，重新确定图像样本后，触发所述训练模块。
具体的，所述鉴别模块，具体用于：
将所述图像生成网络模型的训练输出图像与具有预设标准颜色的图像输入至图像鉴别网络模型中，并由所述图像鉴别网络模型对所述训练输出图像与所述具有预设标准颜色的图像进行颜色相似度的比较。
一种可选的实施方式中，所述提取模块，包括：
第一提取子模块，用于利用经过训练的影像特征提取模型，提取待处理图像的影像特征；
第二提取子模块，用于基于光密度提取所述待处理图像的染色矩阵，作为所述待处理图像的颜色特征。
本申请实施例提供的图像处理装置，能够基于经过训练的图像生成网络模型对待处理图像进行颜色标准化处理，具体的，通过提取待处理图像的影像特征，保证生成的目标图像不改变待处理图像的数据结构信息，通过提取待处理图像的颜色特征，使得生成的目标图像中实现了待处理图像的颜色标准化。通过上述方式，能够将待处理图像处理成具有预设标准颜色的目标图像，实现了图像的颜色标准化。
另外，本申请实施例还提供了一种图像处理设备，参见图5所示，可以包括：
处理器501、存储器502、输入装置503和输出装置504。图像处理设备中的处理器501的数量可以一个或多个，图5中以一个处理器为例。在本发明的一些实施例中，处理器501、存储器502、输入装置503和输出装置504可通过总线或其它方式连接，其中，图5中以通过总线连接为例。
存储器502可用于存储软件程序以及模块，处理器501通过运行存储在存储器502的软件程序以及模块，从而执行图像处理设备的各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。输入装置503可用于接收输入的数字或字符信息，以及产生与图像处理设备的用户设置以及功能控制有关的信号输入。
具体在本实施例中，处理器501会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现上述图像处理设备的各种功能。
另外，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现图像处理功能。
可以理解的是，对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请实施例所提供的一种图像处理方法、装置及设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种图像处理方法，其特征在于，所述方法包括：
提取待处理图像的影像特征和颜色特征；所述影像特征用于描述所述待处理图像的数据结构信息；
将所述待处理图像的影像特征和颜色特征输入至图像生成网络模型，经过所述图像生成网络模型的处理后，得到目标图像；所述目标图像与所述待处理图像具有相同的数据结构信息，所述目标图像具有预设标准颜色；
其中，所述图像生成网络模型为利用与所述待处理图像具有相同颜色的图像样本进行训练，并在确定所述图像生成网络模型输出的图像达到所述预设标准颜色时结束训练得到。
2.根据权利要求1所述的方法，其特征在于，所述将待处理图像输入至图像生成网络模型，经过所述图像生成网络模型的处理后，输出目标图像之前，还包括：
利用与待处理图像具有相同颜色的图像样本对图像生成网络模型进行训练；其中，所述图像生成网络模型与图像鉴别网络模型相连；
利用所述图像鉴别网络模型对所述图像生成网络模型的训练输出图像进行鉴别；
在所述图像鉴别网络模型确定所述图像生成网络模型的训练输出图像达到所述预设标准颜色时，结束训练，得到经过训练的图像生成网络模型；否则，重新确定图像样本后，继续执行所述提取图像样本的影像特征和颜色特征的步骤。
3.根据权利要求2所述的方法，其特征在于，所述利用所述图像鉴别网络模型对所述图像生成网络模型的训练输出图像进行鉴别，包括：
将所述图像生成网络模型的训练输出图像与具有预设标准颜色的图像输入至图像鉴别网络模型中，并由所述图像鉴别网络模型对所述训练输出图像与所述具有预设标准颜色的图像进行颜色相似度的比较。
4.根据权利要求1所述的方法，其特征在于，所述提取待处理图像的影像特征和颜色特征，包括：
利用经过训练的影像特征提取模型，提取待处理图像的影像特征；
以及，基于光密度提取所述待处理图像的染色矩阵，作为所述待处理图像的颜色特征。
5.一种图像处理装置，其特征在于，所述装置包括：
提取模块，用于提取待处理图像的影像特征和颜色特征；所述影像特征用于描述所述待处理图像的数据结构信息；
处理模块，用于将所述待处理图像的影像特征和颜色特征输入至图像生成网络模型，经过所述图像生成网络模型的处理后，得到目标图像；所述目标图像与所述待处理图像具有相同的数据结构信息，所述目标图像具有预设标准颜色；
其中，所述图像生成网络模型为利用与所述待处理图像具有相同颜色的图像样本进行训练，并在确定所述图像生成网络模型输出的图像达到所述预设标准颜色时结束训练得到。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
训练模块，用于利用与待处理图像具有相同颜色的图像样本对图像生成网络模型进行训练；其中，所述图像生成网络模型与图像鉴别网络模型相连；
鉴别模块，用于利用所述图像鉴别网络模型对所述图像生成网络模型的训练输出图像进行鉴别；
结束训练模块，用于在所述图像鉴别网络模型确定所述图像生成网络模型的训练输出图像达到所述预设标准颜色时，结束训练，得到经过训练的图像生成网络模型；否则，重新确定图像样本后，触发所述训练模块。
7.根据权利要求6所述的装置，其特征在于，所述鉴别模块，具体用于：
将所述图像生成网络模型的训练输出图像与具有预设标准颜色的图像输入至图像鉴别网络模型中，并由所述图像鉴别网络模型对所述训练输出图像与所述具有预设标准颜色的图像进行颜色相似度的比较。
8.根据权利要求5所述的装置，其特征在于，所述提取模块，包括：
第一提取子模块，用于利用经过训练的影像特征提取模型，提取待处理图像的影像特征；
第二提取子模块，用于基于光密度提取所述待处理图像的染色矩阵，作为所述待处理图像的颜色特征。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现如权利要求1-4任一项所述的方法。
10.一种设备，其特征在于，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911273788.2A CN111161359B (zh) | 2019-12-12 | 2019-12-12 | 一种图像处理方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911273788.2A CN111161359B (zh) | 2019-12-12 | 2019-12-12 | 一种图像处理方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111161359A true CN111161359A (zh) | 2020-05-15 |
| CN111161359B CN111161359B (zh) | 2024-04-16 |
Family
ID=70556782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911273788.2A Active CN111161359B (zh) | 2019-12-12 | 2019-12-12 | 一种图像处理方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111161359B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111710011A (zh) * | 2020-06-10 | 2020-09-25 | 广州梦映动漫网络科技有限公司 | 一种漫画生成方法、系统、电子设备及介质 |
| CN112614568A (zh) * | 2020-12-28 | 2021-04-06 | 东软集团股份有限公司 | 检查图像的处理方法、装置、存储介质和电子设备 |
| CN114627010A (zh) * | 2022-03-04 | 2022-06-14 | 透彻影像(北京)科技有限公司 | 一种基于染色密度图的染色空间迁移方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109272492A (zh) * | 2018-08-24 | 2019-01-25 | 深思考人工智能机器人科技（北京）有限公司 | 一种细胞病理涂片的处理方法及系统 |
| CN109345601A (zh) * | 2018-09-21 | 2019-02-15 | 合肥工业大学 | 基于低秩嵌入非负矩阵分解的病理图像颜色标准化的方法 |
| CN110322396A (zh) * | 2019-06-19 | 2019-10-11 | 怀光智能科技（武汉）有限公司 | 一种病理切片颜色归一化方法及系统 |
| CN110533583A (zh) * | 2019-08-29 | 2019-12-03 | 广州锟元方青医疗科技有限公司 | 一种基于宫颈液基细胞的自适应图像增广系统 |
-
2019
- 2019-12-12 CN CN201911273788.2A patent/CN111161359B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109272492A (zh) * | 2018-08-24 | 2019-01-25 | 深思考人工智能机器人科技（北京）有限公司 | 一种细胞病理涂片的处理方法及系统 |
| CN109345601A (zh) * | 2018-09-21 | 2019-02-15 | 合肥工业大学 | 基于低秩嵌入非负矩阵分解的病理图像颜色标准化的方法 |
| CN110322396A (zh) * | 2019-06-19 | 2019-10-11 | 怀光智能科技（武汉）有限公司 | 一种病理切片颜色归一化方法及系统 |
| CN110533583A (zh) * | 2019-08-29 | 2019-12-03 | 广州锟元方青医疗科技有限公司 | 一种基于宫颈液基细胞的自适应图像增广系统 |
Non-Patent Citations (2)
| Title |
|---|
| ABHISHEK VAHADANE ET AL: "Structure-Preserving Color Normalization and Sparse Stain Separation for Histological Images", pages 1962 * |
| NIYUN ZHOU ET AL: "Enhanced Cycle-Consistent Generative Adversarial Network for Color Normalization of H＆E Stained Images", pages 694 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111710011A (zh) * | 2020-06-10 | 2020-09-25 | 广州梦映动漫网络科技有限公司 | 一种漫画生成方法、系统、电子设备及介质 |
| CN112614568A (zh) * | 2020-12-28 | 2021-04-06 | 东软集团股份有限公司 | 检查图像的处理方法、装置、存储介质和电子设备 |
| CN112614568B (zh) * | 2020-12-28 | 2024-05-28 | 东软集团股份有限公司 | 检查图像的处理方法、装置、存储介质和电子设备 |
| CN114627010A (zh) * | 2022-03-04 | 2022-06-14 | 透彻影像(北京)科技有限公司 | 一种基于染色密度图的染色空间迁移方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111161359B (zh) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11893731B2 (en) | Group sparsity model for image unmixing | |
| CN105741266B (zh) | 一种病理图像细胞核快速定位方法 | |
| CN111161359B (zh) | 一种图像处理方法及设备 | |
| JP6086949B2 (ja) | 色原体分離に基づく画像解析の方法 | |
| CN103097889B (zh) | 信息处理设备、信息处理系统、信息处理方法、程序和记录介质 | |
| CN110379020B (zh) | 一种基于生成对抗网络的激光点云上色方法和装置 | |
| CN110838094B (zh) | 病理切片染色风格转换方法和电子设备 | |
| CN111951274A (zh) | 图像分割方法、系统、可读存储介质和设备 | |
| CN112529789A (zh) | 一种城市可见光遥感图像阴影去除的弱监督方法 | |
| CN109074645B (zh) | 用于ihc图像分析的空间索引创建 | |
| CN111656393A (zh) | 组织学图像分析 | |
| JP7156361B2 (ja) | 画像処理方法、画像処理装置及びプログラム | |
| CN110517268A (zh) | 病理图像处理方法、装置、图像分析系统及存储介质 | |
| CN113724235A (zh) | 镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数系统及方法 | |
| CN109102510A (zh) | 一种基于半监督k-means算法的乳腺癌病理组织图像分割方法 | |
| WO2024021825A1 (zh) | 生理图像处理方法、模型训练方法、装置、设备及介质 | |
| US20200074628A1 (en) | Image processing apparatus, imaging system, image processing method and computer readable recoding medium | |
| CN111768406A (zh) | 细胞图像处理方法、装置、设备和存储介质 | |
| CN111476125A (zh) | 基于生成对抗网络的三维荧光显微信号去噪方法 | |
| US11227432B1 (en) | Systems and methods for multi-tree deconstruction and processing of point clouds | |
| CN111862098B (zh) | 基于光场语义的个体匹配方法、装置、设备和介质 | |
| Bai et al. | A convolutional neural network combined with color deconvolution for mitosis detection | |
| Ke et al. | Scale-aware dimension-wise attention network for small ship instance segmentation in synthetic aperture radar images | |
| CN113326893A (zh) | 车牌识别模型的训练、识别方法、装置及电子设备 | |
| CN103679684A (zh) | 用于检测图像中的云的装置、方法以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |