CN111028923A - 数字病理图像染色归一化方法、电子装置及存储介质 - Google Patents

数字病理图像染色归一化方法、电子装置及存储介质 Download PDF

Info

Publication number
CN111028923A
CN111028923A CN201910993386.3A CN201910993386A CN111028923A CN 111028923 A CN111028923 A CN 111028923A CN 201910993386 A CN201910993386 A CN 201910993386A CN 111028923 A CN111028923 A CN 111028923A
Authority
CN
China
Prior art keywords
image
normalization
hsd
gaussian mixture
mixture model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910993386.3A
Other languages
English (en)
Other versions
CN111028923B (zh
Inventor
南洋
王佳平
李风仪
侯晓帅
谢春梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910993386.3A priority Critical patent/CN111028923B/zh
Publication of CN111028923A publication Critical patent/CN111028923A/zh
Priority to PCT/CN2020/112366 priority patent/WO2021073279A1/zh
Application granted granted Critical
Publication of CN111028923B publication Critical patent/CN111028923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，提供一种数字病理图像的染色归一化方法，其中的方法包括：将数字病理切片图像进行数据解析，生成RGB图像I(x，y)，对所述RGB图像I(x，y)进行HSD变换，将所述RGB图像转换为HSD图像；利用所述HSD图片训练深度卷积高斯混合模型来提取求解不同风格图像的高斯混合模型；通过训练好的DCGMM对待检测组织病理HE染色数字病理图像进行染色归一化。利用本发明能够有效提高染色归一化的有效性和稳定性。

Description

数字病理图像染色归一化方法、电子装置及存储介质
技术领域
本发明涉及图像处理领域，尤其涉及一种数字病理图像染色归一化方法、电子装置、存储介质。
背景技术
由于肾脏疾病的种类繁多，病因及发病机制复杂，许多肾脏疾病的临床表现与肾脏的组织学改变并不完全一致，其治疗方案及病情的发展结果也差别极大。目前，肾脏病理检查结果已经成为肾脏疾病诊断的金指标。病理医生在进行肾穿活检时，需要凭肉眼以及经验观测得到一些重要的医学指标，现拟通过人工智能辅助病理医生进行阅片工作。然而，不同技术员在进行制片染色过程中无法保证每批量产出的玻片都呈同样的颜色分布，这会对AI模型产生较大的干扰，造成预测结果的波动。
目前，图像经过特征块切割后，切割生成的特征块大小不一。这时，就需要采取归一化的操作来统一特征块图像的尺寸，现有的染色归一化通常通过对抗生成网络，变分自动编码器等方法实现，这种方法虽然能够进行风格迁移，但皆容易产生不可控的噪声点，有可能改变图像结构，所以亟需一种更稳定更自然的染色归一化方法。
发明内容
本发明提供一种数字病理图像染色归一化方法、系统、电子装置及存储介质，其主要目的在于解决目前现有染色归一化通过对抗生成网络，变分自动编码器等方法实现，虽然能够进行风格迁移，但皆容易产生不可控的噪声点，有可能改变图像结构的问题，有效提高染色归一化图像的稳定性。
为实现上述目的，本发明提供一种数字病理图像染色归一化方法，应用于数字病理图像，包括如下步骤：
S110：对预存的数字病理切片图像进行数据解析，生成RGB图像I(x，y)，
Figure RE-GDA0002397074150000021
其中，IR为RGB图像中的R通道的二维矩阵，IG为RGB 图像中G通道的二维矩阵，IB为RGB图像中B通道的二维矩阵；
S120：根据预设的转换规则对所述RGB图像I(x，y)进行HSD变换，将所述RGB图像转换为HSD图像；
S130：利用所述HSD图像持续训练深度卷积高斯混合模型来提取求解不同风格图像的高斯混合模型，，直至得到最优的深度卷积高斯混合模型；
S140：通过所述最优的深度卷积高斯混合模型对待检测组织病理HE染色数字病理图像进行染色归一化。
优选地，所述转换规则为：
Figure RE-GDA0002397074150000022
其中，所述H、S、D为图像在HSD 空间下的不同通道。
优选地，利用所述HSD图像训练深度卷积高斯混合模型来提取求解不同风格图像的高斯混合模型的过程包括：
通过卷积神经网络提取后验概率的向量γ；其中，所述向量γ为一个值处于 (0，1)之间的k维向量；
获取所述HSD图像的像素点x＝{x1，x2，...，xp}，计算所述HSD图像中的像素点x1，x2，...，xp由第k个高斯分布生成的概率：
Figure RE-GDA0002397074150000023
所述zk为具有均值μ＝[μ1，..，μk]，协方差∑＝σ2I的颜色的分布；
结合所述概率从向量γ以及HSD图像中求解πk，∑k，μk，持续训练深度卷积高斯混合模型，以利用梯度下降算法不断更新所述πk，∑k，μk。
优选地，所述卷积神经网络包括卷积层、批处理层、激活层、池化层、及Upsampling层。
优选地，在结合所述概率从向量γ以及HSD图像中求解πk，∑k，μk，反复训练深度卷积高斯混合模型过程中，包括：
所述深度卷积高斯混合模型通过网络的正向传播得到gamma，通过 gamma求解πk，∑k，μk。
优选地，不断更新所述πk，∑k，μk过程中，利用对数似然函数持续更新直至得到πk，∑k，μk使得所述对数似然函数最大，所述对数似然函数为：
Figure RE-GDA0002397074150000024
优选地，通过最优的深度卷积高斯混合模型对待检测组织病理HE染色数字病理图像进行染色归一化的过程包括：
在待检测组织病理HE染色数字病理图像上应用所述最优的深度卷积高斯混合模型，所述最优的深度卷积高斯混合模型自动计算待检测图像中每个像素所属的类别，并根据每个像素所属类别分别对原图和待测试图像中同一类别的区域进行H、S、D的转换，完成染色归一化。
优选地，所述H、S、D的转换至少包括平均值、白化和色彩变换。
为实现上述数字病理图像染色归一化方法，本发明提供一种电子装置，该电子装置包括：存储器、处理器及存储在所述存储器中的数字病理图像的染色归一化程序，所述数字病理图像的染色归一化程序被所述处理器执行时实行如上任一项所述的数字病理图像的染色归一化方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有数字病理图像的染色归一化程序，所述数字病理图像的染色归一化程序被处理器执行时，实现如上任一项所述的数字病理图像的染色归一化方法的步骤。
本发明提出的数字病理图像染色归一化方法、电子装置及计算机可读存储介质，通过将数字病理切片图像进行数据解析，生成RGB图像I(x，y)，根据转换规则对所述RGB图像I(x，y)进行HSD变换，再将所述RGB图像转换为HSD图像，利用所述HSD图像持续训练深度卷积高斯混合模型来提取求解不同风格图像的高斯混合模型，进而通过深度卷积高斯混合模型对待检测组织病理HE染色数字病理图像进行染色归一化，有效提高染色归一化的有效性和稳定性。
为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。
附图说明
图1为本发明数字病理图像染色归一化方法实施例的流程图；
图2为本发明数字病理图像染色归一化方法实施例的RGB图像生成示意图：
图3为本发明实施例的系统框架图；
图4为根据本发明实施例的电子装置的结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
目前图像经过特征块切割后，切割生成的特征块大小不一。这时，就需要采取归一化的操作来统一特征块图像的尺寸，现有的染色归一化通常通过对抗生成网络，变分自动编码器等方法实现，这种方法虽然能够进行风格迁移，但皆容易产生不可控的噪声点，有可能改变图像结构，为了避免染色过程中无法保证每批量产出的玻片都呈同样的颜色分布，这会对AI模型产生较大的干扰，造成预测结果的波动的情况，所以本发明提供数字病理图像染色归一化方法，通过DCGMM结合深度卷积神经网络，增强模型的可解释性，提高训练的稳定性，以在保留结构信息的前提下进行风格迁移，为医学诊断的精确性提供了保证。
图1为本发明数字病理图像染色归一化方法的流程图，在本实施例中，数字病理图像染色归一化方法包括如下步骤：
S110：对预存的数字病理切片图像进行数据解析，生成RGB图像I(x，y)，
Figure RE-GDA0002397074150000041
其中，IR为RGB图像中的R通道的二维矩阵，IG为RGB 图像中G通道的二维矩阵，IB为RGB图像中B通道的二维矩阵；
预存的数字病理切片图像可以是通过切片扫描仪将病理切片扫描到计算机中进行存储生成数字病理切片图像，也可以是从病理切片数据库中提取的数字病理切片图像。将这些用作训练素材的数字病理切片图像读入opencv图像处理库，在opencv图像处理库中生成RGB空间的彩色图像，即RGB图像；
图2为本发明数字病理图像染色归一化方法实施例的RGB图像生成示意图。如图2所示，左边的病理切片最终被处理为右边的RGB空间的彩色图像。
S120：根据预设的转换规则对步骤S110生成的RGB图像I(x，y)进行HSD 变换，将RGB图像转换为HSD图像；其中，HSD变换为RGB图像转换为 HSD图像的变换过程，RGB图像、HSD图像均为特定格式的图像。
由于RGB图像中，颜色(chromatic)与强度(intensity)的混合信息妨碍了染色识别的标准化，而HSD图像不会妨碍染色识别标准化，因此，在进行图片训练前，需要先将RGB图像转换为HSD图像；
其中，转换的规则为：
Figure RE-GDA0002397074150000051
其中IR代表了RGB图像中的R通道的二维矩阵IG代表RGB图像中G通道的二维矩阵，IS代表S通道的二维矩阵；
S130：利用HSD图像持续训练深度卷积高斯混合模型来提取求解不同风格图像的高斯混合模型，直至得出最优解，得到最优的深度卷积高斯混合模型；
GMM(Gaussian Mixture Model，高斯混合模型)，
图像的本质是三维矩阵，图像中一些物体的特征(如细胞、组织、基液对应的颜色，形态特征等)都可以由一个单一的高斯模型或多个单一高斯模型混合进行表达。GMM就是用高斯概率密度函数精确地量化某一事物，将一类对象分解为若干的基于高斯概率密度函数(正态分布曲线)形成的模型。对于病理图像，每个通道中的灰度分布值一般为多峰，通过将直方图的多峰特性看作为多个高斯分布的叠加，能够进行图像分割，区分图像中每个点所属的类别，为求解不同风格染色图像的GMM(Gaussian mixture model高斯混合模型)，需要求解πk，∑k，μk，传统方法中，通过EM(Expectation-Maximization algorithm， EM，最大期望值)算法对GMM的参数进行求解，首先，执行E-step进行后验概率γ的提取，然后利用提取的γ执行M-step计算求得使对数似然函数最大的πk，∑k，μk。
本发明中，通过深度卷积神经网络完成E-step中对γ的提取，并将M-step 的求解看为一个最优化问题，求使得求得使负的对数似然函数最小的πk，∑k，μk，即将负的对数似然函数看为Loss，求解最优化问题。
具体的，原图中的每个像素点为某一类的概率值p(x)，
Figure RE-GDA0002397074150000052
其中πk为取第k个高斯分布的概率，N代表具有均值μk和协方差矩阵∑k 的多元正态分布。在针对组织病理HE染色(hematoxylin-eosin staining，苏木精-伊红染色法，简称HE染色)数字病理图像的GMM求解中，p(x)为当前图像中的某一点所代表的类别，上述公式表示对于图像中的每个点x，都可以表示为由k个高斯混合模型的叠加，于是需要通过神经网络代替传统的E- step进行参数γ的计算，然后，通过现有的γ对μ和∑进行估算，求解图像中每个点对应的类别。
S131：通过卷积神经网络提取后验概率的向量γ，通过归化操作将HSD图像中每个像素点转化为一个值处于(0，1)之间的k维向量γ，该值代表了3种类别分别对应的概率值，即将输入图像按组织结构分离为不同的通道；在本发明中设置k＝3，分别对应图像中的3种类别，分别对应细胞核，组织，背景3 个区域；该规划操作一般包括：卷积、池化、非线性激活函数等；
S132：获取图像的像素点X＝{x1，x2，...，xp}，该图像中的像素点 x1，x2，...，xp由第k个高斯分布生成的概率为：
Figure RE-GDA0002397074150000061
其中，隐变量z代表了具有均值μ＝[μ1，..，μk]，协方差∑＝σ2I的颜色的分布；
S133：结合概率从向量γ以及HSD图像中求解πk，∑k，μk，反复训练深度卷积高斯混合模型。
具体的，深度卷积高斯混合模型(DCGMM)通过网络的正向传播得到 gamma，再通过gamma求解πk，∑k，μk，然后计算对数似然函数，接着通过最小化对数似然函数，利用梯度下降算法来更新πk，∑k，μk；使得负对数似然函数越小越好，即持续更新直至得到πk，∑k，μk使得对数似然函数最大；其中，gamma为后验概率；
计算求得使公式(2)中的对数似然函数最小的πk，∑k，μk，其计算详情如下所示：
for i＝1，2，...，k and j＝1，2..，p：
μi＝E(xi|argmax(γj)＝i)
∑i＝E[(xj-E[xj])(xj-E[xj])T)|argmax(γj)＝i]
Figure RE-GDA0002397074150000062
z＝N(μ，∈·∑)
结合公式(1)，其对数似然函数为：
Figure RE-GDA0002397074150000063
S134：基于深度学习卷积神经网络反复训练深度卷积高斯混合模型 (DCGMM)，直至得到最优的深度卷积高斯混合模型，使DCGMM能够根据当前图片预测当前图片的各个像素点所属GMM中哪一个单一高斯模型，然后通过将待转变像素点的HSD转换为模板图像的HSD值，从而完成风格迁移，比如判断当前像素属于哪一类(背景、细胞、组织)。
在通过卷积神经网络提取后验概率的向量γ，基于深度学习卷积神经网络反复训练深度卷积高斯混合模型过程中，所运用的神经网络层包括：卷积层、批处理层、激活层、池化层及Upsampling层；
卷积层原理为：
Fcon(I)＝I·W+b (4)
公式(4)中，图像I大小为(H*W*C)，W表示卷积层中卷积核和滤波器的权重，b表示偏置项。卷积层基于kemel，提取图像关键特征。
除正常卷积外，为增加神经网络的感受野(Reception Field)，空洞卷积(Dilated Convolution，Convdilated)也被使用在网络的中间层，该卷积层增加了一个超参数膨胀率(Dilation Rate)，代表了卷积核filter的间隔数量，相比于最大池化层(MaxPooling Layer)，空洞卷积可以保留内部数据结构，避免使用池化层造成信息损失的前提下，增大了感受野；
批处理层原理为：
Figure RE-GDA0002397074150000071
FBN-recale＝γ*FBN-normaliza+β(6)
I为输入的特征图像，公式(5)对I做标准化处理，E(I)和Var(I)分别为I的均值和方差；公式(6)进行缩放变换，γ和β分别为缩放因子和偏移量。批处理可以防止梯度爆炸和梯度消失，加快模型收敛速度；
激活层原理为：
FReLU＝max(α×I，I) (7)
公式(7)表示，当I为正数时，不做任何变换，当I为负数时以一定概率输出。ReLU层使卷积操作获得非线性，使模型可以拟合复杂的实际结果；
池化层原理为：
Figure RE-GDA0002397074150000072
最大池化对输入张量进行降采样，选取每个区域的最大值，经过最大池化，减小张量维度；
UpSampling层原理为：
通过采用双线性插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素，来达到放大特征图尺寸的目的；
网络经过上采样及下采样步骤后，经过最后一层Softmax激活层，假设有一个数组V共含j个元素，Vi表示V中的第i个元素，其计算方法如下：
Figure RE-GDA0002397074150000081
经过激活函数激活后，即输出了与输入图像长宽保持一致的特征向量γ。
本实施例中数字病理图像染色归一化方法，通过将数字病理切片图像进行数据解析，生成RGB图像I(x，y)，根据转换规则对RGB图像I(x，y)进行HSD 变换，再将RGB图像转换为HSD图像，利用HSD图像持续训练深度卷积高斯混合模型来提取求解不同风格图像的高斯混合模型，进而通过深度卷积高斯混合模型对待检测组织病理HE染色数字病理图像进行染色归一化，有效提高染色归一化的有效性和稳定性。
S140：通过最优的深度卷积高斯混合模型对待检测组织病理HE染色数字病理图像进行染色归一化。
在训练好DCGMM之后，在待测试图像上应用DCGMM，DCGMM自动计算待检测图像中每个像素所属的类别，根据每个像素所属类别分别对原图和待测试图像中同一类别的区域进行H、S、D的转换，完成染色归一化。
其中，转换包括改变平均值，白化和色彩变换；色彩变化变换是指通过奇异值分解(SVD)对白化高斯分布进行缩放以获得与模板图像相同的协方差矩阵。
图3为本发明实施例的数字病理图像染色归一化方法中涉及的数字病理图像染色归一化系统的框架图。如图3所示，本实施例涉及的数字病理图像染色归一化系统包括RGB单元、HSD单元、卷积神经网络单元；
RGB单元用于将通过切片扫描仪将病理切片扫描到计算机中进行存储生成数字病理切片图像，使将数字病理切片图像读入opencv图像处理库，在 opencv图像处理库中生成RGB空间的彩色图像，即RGB图像I(x，y)，
Figure RE-GDA0002397074150000082
Figure RE-GDA0002397074150000083
其中IR代表了RGB图像中的R通道的二维矩阵IG代表RGB图像中G通道的二维矩阵，IS代表S通道的二维矩阵；
HSD单元用于将RGB图像I(x，y)进行HSD变换，将RGB图像转换为 HSD图像，其中，转换的规则为：
Figure RE-GDA0002397074150000091
卷积神经网络单元包括E-step模块和M-step模块，由众多神经网络层组成；
E-step模块用于通过深度卷积神经网络完成E-step中对γ的提取，具体的，通过卷积神经网络提取后验概率的向量γ，通过归化操作将HSD图像中每个像素点转化为一个值处于(0，1)之间的k维向量γ，该值代表了3种类别分别对应的概率值，即将输入图像按组织结构分离为不同的通道；在本发明中设置 k＝3，分别对应图像中的3种类别，分别对应细胞核，组织，背景3个区域；该规划操作一般包括：卷积、池化、非线性激活函数等；
该M-step模块用于获取图像的像素点X＝{x1，x2，...，xp}，该图像中的像素点x1，x2，...，xp由第k个高斯分布生成的概率为：
Figure RE-GDA0002397074150000092
其中，隐变量z代表了具有均值μ＝[μ1，..，μk]，协方差∑＝σ2I的颜色的分布；
S133：结合概率从向量γ以及HSD图像中求解πk，∑k，μk，反复训练深度卷积高斯混合模型。
具体的，深度卷积高斯混合模型(DCGMM)通过网络的正向传播得到 gamma，再通过gamma求解πk，∑k，μk，然后计算对数似然函数，接着通过最小化对数似然函数，利用梯度下降算法来更新πk，∑k，μk；使得负对数似然函数越小越好，即持续更新直至得到πk，∑k，μk使得对数似然函数最大；其中，gamma为后验概率；
计算求得使公式(2)中的对数似然函数最小的πk，∑k，μk，其计算详情如下所示：
for i＝1，2，...，k and j＝1，2..，p：
μi＝E(xi|argmax(γj)＝i)
∑i＝E[(xj-E[xj])(xj-E[xj])T)|argmax(γj)＝i]
Figure RE-GDA0002397074150000093
z＝N(μ，∈·∑)
结合公式(1)，其对数似然函数为：
Figure RE-GDA0002397074150000094
神经网络层包括卷积层、批处理层、激活层、池化层及Upsampling层，其中，卷积层原理为：
Fcon(I)＝I·W+b
该公式中，图像I大小为(H*W*C)，W表示卷积层中卷积核和滤波器的权重，b表示偏置项。卷积层基于kernel，提取图像关键特征。
除正常卷积外，为增加神经网络的感受野(Reception Field)，空洞卷积(Dilated Convolution，Convdilated)也被使用在网络的中间层，该卷积层增加了一个超参数膨胀率(Dilation Rate)，代表了卷积核filter的间隔数量，相比于最大池化层(MaxPooling Layer)，空洞卷积可以保留内部数据结构，避免使用池化层造成信息损失的前提下，增大了感受野；
批处理层原理为：
Figure RE-GDA0002397074150000101
FBN-recale＝γ*FBN-normalizati+β
I为输入的特征图像，公式
Figure RE-GDA0002397074150000102
对I做标准化处理，E(I)和Var(I)分别为I的均值和方差；公式FBN-recale＝γ* FBN-normaliz+β进行缩放变换，γ和β分别为缩放因子和偏移量。批处理可以防止梯度爆炸和梯度消失，加快模型收敛速度；
激活层原理为：
FReLU＝max(α×I，I)
该公式表示，当I为正数时，不做任何变换，当I为负数时以一定概率输出。ReLU层使卷积操作获得非线性，使模型可以拟合复杂的实际结果；
池化层原理为：
Figure RE-GDA0002397074150000103
最大池化对输入张量进行降采样，选取每个区域的最大值，经过最大池化，减小张量维度；
UpSampling层原理为：
通过采用双线性插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素，来达到放大特征图尺寸的目的；
网络经过上采样及下采样步骤后，经过最后一层Softmax激活层，假设有一个数组V共含j个元素，Vi表示V中的第i个元素，其计算方法如下：
Figure RE-GDA0002397074150000104
经过激活函数激活后，即输出了与输入图像长宽保持一致的特征向量γ。
图4为根据本发明实施例的电子装置示意图，在本实施例中，电子装置 40可以是服务器、平板计算机、便携计算机、桌上型计算机等具有运算功能的终端设备。
该电子装置40包括：处理器41、存储器42、计算机程序43、网络接口及通信总线。
电子装置40可以是平板电脑、台式电脑、智能手机，但不限于此。
存储器42包括至少一种类型的可读存储介质。至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器等的非易失性存储介质。在一些实施例中，该可读存储介质可以是该电子装置40的内部存储单元，例如该电子装置40的硬盘。在另一些实施例中，该可读存储介质也可以是该电子装置40的外部存储器，例如该电子装置40上配备的插接式硬盘，智能存储卡 (Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
在本实施例中，该存储器42的可读存储介质通常用于存储安装于该电子装置40的计算机程序43等。
处理器41在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)，微处理器或其他数据处理芯片，用于运行存储器42中存储的程序代码或处理数据，例如数字病理图像染色归一化程序43等。
网络接口可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该电子装置40与其他电子设备之间建立通信连接。
通信总线用于实现这些组件之间的连接通信。
图4仅示出了具有组件41-43的电子装置40，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
在图4所示的装置实施例中，作为一种计算机存储介质的存储器42中可以包括操作系统、以及数字病理图像染色归一化程序43；处理器41执行存储器42中存储的数字病理图像染色归一化程序43时实现如下步骤：
S110：通过切片扫描仪将病理切片扫描到计算机中进行存储生成数字病理切片图像，对数字病理切片图像进行数据解析，生成RGB图像I(x，y)，
Figure RE-GDA0002397074150000111
其中，IR为RGB图像中的R通道的二维矩阵，IG为RGB 图像中G通道的二维矩阵，IB为RGB图像中B通道的二维矩阵；
S120：根据预设的转换规则对RGB图像I(x，y)进行HSD变换，将RGB 图像转换为HSD图像；
S130：利用HSD图像持续训练深度卷积高斯混合模型来提取求解不同风格图像的高斯混合模型，直至得出最优解，得到最优的深度卷积高斯混合模型；
S140：通过最优的深度卷积高斯混合模型对待检测组织病理HE染色数字病理图像进行染色归一化。
此外，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质中包括数字病理图像染色归一化程序，该基于数字病理图像染色归一化程序被处理器执行时实现如下操作：
S110：通过切片扫描仪将病理切片扫描到计算机中进行存储生成数字病理切片图像，对数字病理切片图像进行数据解析，生成RGB图像I(x，y)，
Figure RE-GDA0002397074150000121
其中，IR为RGB图像中的R通道的二维矩阵，IG为RGB 图像中G通道的二维矩阵，IB为RGB图像中B通道的二维矩阵；
S120：根据预设的转换规则对RGB图像I(x，y)进行HSD变换，将RGB 图像转换为HSD图像；
S130：利用HSD图像持续训练深度卷积高斯混合模型来提取求解不同风格图像的高斯混合模型，直至得出最优解，得到最优的深度卷积高斯混合模型；
S140：通过最优的深度卷积高斯混合模型对待检测组织病理HE染色数字病理图像进行染色归一化。
该转换规则为：
Figure RE-GDA0002397074150000122
H、S、D为图像在HSD空间下的不同通道。
通过卷积神经网络提取后验概率的向量γ，其中，向量γ为一个值处于(0，1) 之间的k维向量；
获取HSD图像的像素点X＝{x1，x2，...，xp}，计算HSD图像中的像素点 x1，x2，...，xp由第k个高斯分布生成的概率：
Figure RE-GDA0002397074150000123
zk为具有均值μ＝[μ1，..，μk]，协方差∑＝σ2I的颜色的分布；
结合概率从向量γ以及HSD图像中求解πk，∑k，μk，持续训练深度卷积高斯混合模型，以利用梯度下降算法不断更新πk，∑k，μk。
卷积神经网络包括卷积层、批处理层、激活层、池化层、及Upsampling 层。
在结合概率从向量γ以及HSD图像中求解πk，∑k，μk，反复训练深度卷积高斯混合模型过程中，包括：
深度卷积高斯混合模型通过网络的正向传播得到gamma，通过gamma求解πk，∑k，μk。
不断更新πk，∑k，μk过程中，利用对数似然函数持续更新直至得到πk，∑k，μk使得对数似然函数最大。
通过深度卷积高斯混合模型对待检测组织病理HE染色数字病理图像进行染色归一化的过程包括：
在待测试图片上应用训练完成的深度卷积高斯混合模型，深度卷积高斯混合模型自动计算待检测图像中每个像素所属的类别，并根据每个像素所属类别分别对原图和待测试图像中同一类别的区域进行H、S、D的转换，完成染色归一化；
H、S、D的转换至少包括平均值、白化和色彩变换。
本发明之计算机可读存储介质的具体实施方式与上述数字病理图像染色归一化方法、电子装置的具体实施方式大致相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数字病理图像的染色归一化方法，应用于数字病理图像的处理，其特征在于，包括如下步骤：
S110：对预存的数字病理切片图像进行数据解析，生成RGB图像I(x，y)，
Figure FDA0002239000790000011
其中，IR为RGB图像中的R通道的二维矩阵，IG为RGB图像中G通道的二维矩阵，IB为RGB图像中B通道的二维矩阵；
S120：根据预设的转换规则对所述RGB图像I(x，y)进行HSD变换，将所述RGB图像转换为HSD图像；
S130：利用所述HSD图像持续训练深度卷积高斯混合模型来提取求解不同风格图像的高斯混合模型，直至得到最优的深度卷积高斯混合模型；
S140：通过所述最优的深度卷积高斯混合模型对待检测组织病理HE染色数字病理图像进行染色归一化。
2.根据权利要求1所述的数字病理图像的染色归一化方法，其特征在于，所述转换规则为：
Figure FDA0002239000790000012
其中，所述H、S、D为图像在HSD空间下的不同通道。
3.根据权利要求1所述的数字病理图像的染色归一化方法，其特征在于，利用所述HSD图像训练深度卷积高斯混合模型来提取求解不同风格图像的高斯混合模型的过程包括：
通过卷积神经网络提取后验概率的向量γ；其中，所述向量γ为一个值处于(0，1)之间的k维向量；
获取所述HSD图像的像素点X＝{x1，x2，...，xp}，计算所述HSD图像中的像素点x1，x2，...，xp由第k个高斯分布生成的概率：
Figure FDA0002239000790000013
所述zk为具有均值μ＝[μ1，..，μk]，协方差∑＝σ2I的颜色的分布；
结合所述概率从向量γ以及HSD图像中求解πk，∑k，μk，持续训练深度卷积高斯混合模型，以利用梯度下降算法不断更新所述πk，∑k，μk。
4.根据权利要求3所述的数字病理图像的染色归一化方法，其特征在于，所述卷积神经网络包括卷积层、批处理层、激活层、池化层及Upsampling层。
5.根据权利要求3所述的数字病理图像的染色归一化方法，其特征在于，在结合所述概率从向量γ以及HSD图像中求解πk，∑k，μk，反复训练深度卷积高斯混合模型过程中，包括：
所述深度卷积高斯混合模型通过网络的正向传播得到gamma，通过gamma求解πk，∑k，μk。
6.根据权利要求3所述的数字病理图像的染色归一化方法，其特征在于，不断更新所述πk，∑k，μk过程中，利用对数似然函数持续更新直至得到πk，∑k，μk使得所述对数似然函数最大，所述对数似然函数为：
Figure FDA0002239000790000021
7.根据权利要求1所述的数字病理图像的染色归一化方法，其特征在于，通过最优的深度卷积高斯混合模型对待检测组织病理HE染色数字病理图像进行染色归一化的过程包括：
在待检测组织病理HE染色数字病理图像上应用所述最优的深度卷积高斯混合模型，所述最优的深度卷积高斯混合模型自动计算待检测图像中每个像素所属的类别，并根据每个像素所属类别分别对原图和待测试图像中同一类别的区域进行H、S、D的转换，完成染色归一化。
8.根据权利要求7所述的数字病理图像的染色归一化方法，其特征在于，所述H、S、D的转换至少包括平均值、白化和色彩变换。
9.一种电子装置，其特征在于，该电子装置包括：存储器、处理器及存储在所述存储器中的数字病理图像的染色归一化程序，所述数字病理图像的染色归一化程序被所述处理器执行时实行如权利要求1-8中任一项所述的数字病理图像的染色归一化方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有数字病理图像的染色归一化程序，所述数字病理图像的染色归一化程序被处理器执行时，实现如权利要求1至8中任一项所述的数字病理图像的染色归一化方法的步骤。
CN201910993386.3A 2019-10-18 2019-10-18 数字病理图像染色归一化方法、电子装置及存储介质 Active CN111028923B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910993386.3A CN111028923B (zh) 2019-10-18 2019-10-18 数字病理图像染色归一化方法、电子装置及存储介质
PCT/CN2020/112366 WO2021073279A1 (zh) 2019-10-18 2020-08-31 数字病理图像染色归一化方法、系统、电子装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910993386.3A CN111028923B (zh) 2019-10-18 2019-10-18 数字病理图像染色归一化方法、电子装置及存储介质

Publications (2)

Publication Number Publication Date
CN111028923A true CN111028923A (zh) 2020-04-17
CN111028923B CN111028923B (zh) 2024-01-30

Family

ID=70201150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910993386.3A Active CN111028923B (zh) 2019-10-18 2019-10-18 数字病理图像染色归一化方法、电子装置及存储介质

Country Status (2)

Country Link
CN (1) CN111028923B (zh)
WO (1) WO2021073279A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021073279A1 (zh) * 2019-10-18 2021-04-22 平安科技（深圳）有限公司 数字病理图像染色归一化方法、系统、电子装置及存储介质
CN113393454A (zh) * 2021-07-02 2021-09-14 北京邮电大学 活检组织中病理目标实例分割方法和装置
CN117058014A (zh) * 2023-07-14 2023-11-14 北京透彻未来科技有限公司 一种基于lab色彩空间匹配的染色归一化系统及方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627010B (zh) * 2022-03-04 2023-01-06 北京透彻未来科技有限公司 一种基于染色密度图的染色空间迁移方法
CN115410050B (zh) * 2022-11-02 2023-02-03 杭州华得森生物技术有限公司 基于机器视觉的肿瘤细胞检测设备及其方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020093641A1 (en) * 2000-08-25 2002-07-18 Ortyn William E. Measuring the velocity of small moving objects such as cells
CN108172278A (zh) * 2018-01-24 2018-06-15 北京航空航天大学 一种he染色病理图像颜色归一化方法
CN108876735A (zh) * 2018-06-01 2018-11-23 武汉大学 一种基于深度残差网络的真实图像盲去噪方法
WO2019025533A1 (en) * 2017-08-04 2019-02-07 Ventana Medical Systems, Inc. AUTOMATIC ASSAY ASSESSMENT AND NORMALIZATION FOR IMAGE PROCESSING
CN109919959A (zh) * 2019-01-24 2019-06-21 天津大学 基于色彩、自然性及结构的色调映射图像质量评价方法
CN110322396A (zh) * 2019-06-19 2019-10-11 怀光智能科技（武汉）有限公司 一种病理切片颜色归一化方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101791603B1 (ko) * 2015-12-17 2017-10-30 성균관대학교산학협력단 잡음을 이용하여 컬러 객체를 검출하는 방법 및 잡음을 이용하여 발광 장치를 검출하는 시스템
CN108596237B (zh) * 2018-04-19 2019-11-15 北京邮电大学 一种基于颜色和血管的lci激光内镜下的结肠息肉分类装置
CN109544507A (zh) * 2018-10-18 2019-03-29 清影医疗科技（深圳）有限公司 一种病理图像处理方法及系统、设备、存储介质
CN111028923B (zh) * 2019-10-18 2024-01-30 平安科技（深圳）有限公司 数字病理图像染色归一化方法、电子装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020093641A1 (en) * 2000-08-25 2002-07-18 Ortyn William E. Measuring the velocity of small moving objects such as cells
WO2019025533A1 (en) * 2017-08-04 2019-02-07 Ventana Medical Systems, Inc. AUTOMATIC ASSAY ASSESSMENT AND NORMALIZATION FOR IMAGE PROCESSING
CN108172278A (zh) * 2018-01-24 2018-06-15 北京航空航天大学 一种he染色病理图像颜色归一化方法
CN108876735A (zh) * 2018-06-01 2018-11-23 武汉大学 一种基于深度残差网络的真实图像盲去噪方法
CN109919959A (zh) * 2019-01-24 2019-06-21 天津大学 基于色彩、自然性及结构的色调映射图像质量评价方法
CN110322396A (zh) * 2019-06-19 2019-10-11 怀光智能科技（武汉）有限公司 一种病理切片颜色归一化方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021073279A1 (zh) * 2019-10-18 2021-04-22 平安科技（深圳）有限公司 数字病理图像染色归一化方法、系统、电子装置及存储介质
CN113393454A (zh) * 2021-07-02 2021-09-14 北京邮电大学 活检组织中病理目标实例分割方法和装置
CN117058014A (zh) * 2023-07-14 2023-11-14 北京透彻未来科技有限公司 一种基于lab色彩空间匹配的染色归一化系统及方法
CN117058014B (zh) * 2023-07-14 2024-03-29 北京透彻未来科技有限公司 一种基于lab色彩空间匹配的染色归一化系统及方法

Also Published As

Publication number Publication date
WO2021073279A1 (zh) 2021-04-22
CN111028923B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN111028923B (zh) 数字病理图像染色归一化方法、电子装置及存储介质
Zanjani et al. Stain normalization of histopathology images using generative adversarial networks
EP3940592A1 (en) Sample generation method and apparatus, and computer device and storage medium
CN108537102B (zh) 基于稀疏特征与条件随机场的高分辨sar图像分类方法
Zanjani et al. Histopathology stain-color normalization using deep generative models
CN110276745B (zh) 一种基于生成对抗网络的病理图像检测算法
CN111462042B (zh) 癌症预后分析方法及系统
CN110909618B (zh) 一种宠物身份的识别方法及装置
CN111666890A (zh) 脊柱变形人群识别方法、装置、计算机设备及存储介质
CN114445268A (zh) 一种基于深度学习的服装风格迁移方法及系统
CN111126169B (zh) 基于正交化的图正则非负矩阵分解的人脸识别方法及系统
Pérez-Bueno et al. Bayesian K-SVD for H and E blind color deconvolution. Applications to stain normalization, data augmentation and cancer classification
CN112102928A (zh) 病理图像染色风格归一化方法及装置
CN116206334A (zh) 一种野生动物识别方法和装置
CN111353987A (zh) 一种细胞核分割方法及装置
CN109947960B (zh) 基于深度卷积的人脸多属性联合估计模型构建方法
CN114463335A (zh) 弱监督语义分割方法、装置、电子设备及存储介质
CN112132841B (zh) 医疗图像切割方法及装置
CN113762005B (zh) 特征选择模型的训练、对象分类方法、装置、设备及介质
Ghita et al. Automatic segmentation of mitochondria in EM data using pairwise affinity factorization and graph-based contour searching
Hanif et al. Blind bleed-through removal in color ancient manuscripts
CN114170224B (zh) 应用生成式染色归一化的细胞病理分类的系统及方法
CN116188428A (zh) 一种桥接多源域自适应的跨域组织病理学图像识别方法
CN113177602B (zh) 图像分类方法、装置、电子设备和存储介质
CN112801238A (zh) 一种图像分类方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40023055

Country of ref document: HK

CB03 Change of inventor or designer information

Inventor after: Nanyang

Inventor after: Chen Lianjun

Inventor after: Chen Huyan

Inventor after: Wang Jiaping

Inventor after: Li Fengyi

Inventor after: Hou Xiaoshuai

Inventor after: Xie Chunmei

Inventor before: Nanyang

Inventor before: Wang Jiaping

Inventor before: Li Fengyi

Inventor before: Hou Xiaoshuai

Inventor before: Xie Chunmei

CB03 Change of inventor or designer information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant