CN110264454B - 基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法 - Google Patents

基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法 Download PDF

Info

Publication number
CN110264454B
CN110264454B CN201910531051.XA CN201910531051A CN110264454B CN 110264454 B CN110264454 B CN 110264454B CN 201910531051 A CN201910531051 A CN 201910531051A CN 110264454 B CN110264454 B CN 110264454B
Authority
CN
China
Prior art keywords
hidden
image
random field
conditional random
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910531051.XA
Other languages
English (en)
Other versions
CN110264454A (zh
Inventor
李晨
陈昊
许宁
蒋涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Smart Motion Muniu Intelligent Technology Co ltd
Original Assignee
Sichuan Smart Motion Muniu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Smart Motion Muniu Intelligent Technology Co ltd filed Critical Sichuan Smart Motion Muniu Intelligent Technology Co ltd
Priority to CN201910531051.XA priority Critical patent/CN110264454B/zh
Publication of CN110264454A publication Critical patent/CN110264454A/zh
Application granted granted Critical
Publication of CN110264454B publication Critical patent/CN110264454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法，包括：步骤一，训练多隐藏层条件随机场分类器；步骤二，将测试集中或待诊断的病理图像输入训练好的多隐藏层条件随机场，输出每幅图像的最终分类结果；本发明提供一种基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法，使得其相对于现有分类器，增加高斯分布的多种特征选择和融合，分别得到一元势和二元势的分类结果，再对一元势和二元势的分类结果进一步进行组合计算，得到训练多隐藏层条件随机场分类器，以进一步提升分类器对病理图像进行诊断分类的准确率，故其能可克服现有技术的缺点，可直接根据病理图像给出诊断分类即分级结果，对病理学家的依赖度可显著降低。

Description

基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法
技术领域
本发明涉及医疗辅助领域。更具体地说，本发明涉及一种基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法。
背景技术
现有技术中，通常是使用条件随机场对宫颈阴道镜图像进行分类，而组织病理学图像作为一个基础事实。如图2所示，该方法由上至下共包含五个步骤：
(1)预处理包括图像校准，图像配准和解剖特征提取三部分；
(2)图像分段使用基于k均值聚类方法，识别颜色和强度上是同质的各组织类型中的子区域；
(3)包括但不限于醋酸变白、镶嵌、点状和非典型血管的诊断相关特征；
(4)基于按照概率方式结合相邻区域的分类结果的CRF模型的分类器：利用n个不同特征f1、f2、f3、…fn的特征函数(Y1、Y2、Y3和Y4)的具有鳞状上皮、柱状上皮、转化区和宫颈口的四种不同组织类型的四种聚类情况(W1、W2、W3和W4)。从K最近邻(KNN)分类器和线性差别分析(LDA)分类器的全体结果来确定(假定只有诊断特征)条件概率分布，应用最大后验(MAP)估计以确定后验概率分布的参数。
(5)新的基于窗口的方式用于确定检测和诊断算法的灵敏度和特异性。
其存在的客观缺点包括：
(1)宫颈癌组织病理学图像只是作为基础事实，仍需要经验丰富的病理学家对图像做出判断，然而不同病理学家或者不同时间的同一病理学家对同一病理图像的判断也有差异，这可能产生较大的误差。
(2)仍需经验丰富的病理学家进行判断，但是病理学家的数量有限，而且欠发达地区医疗资源缺乏，病理学家同样稀缺；经验不够丰富的医学生或病理学家，对组织病理学图像不能做出可靠的判断。
(3)仅能使用一个基于条件随机场的分类器判断局部区域是否异常，并不能给出宫颈癌的分级结果，比如癌前病变(CINI，CINII，CINIII三级)和恶性肿瘤(高中低分化三级)。
发明内容
本发明的一个目的是解决至少上述问题和/或缺陷，并提供至少后面将说明的优点。
本发明还有一个目的是提供一种基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法，使得其相对于现有4层的分类器来说，增加高斯分布的多种特征选择和融合，分别得到一元势和二元势的分类结果，再对一元势和二元势的分类结果进一步进行组合计算，得到训练多隐藏层条件随机场分类器，以进一步提升分类器对病理图像进行诊断分类的准确率，故其能可克服现有技术的缺点，可直接根据病理图像给出诊断分类即分级结果，对病理学家的依赖度可显著降低。
为了实现根据本发明的这些目的和其它优点，提供了一种基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法，包括以下步骤：
步骤一，训练多隐藏层条件随机场分类器；
步骤二，将测试集中或待诊断的病理图像输入训练好的多隐藏层条件随机场，输出每幅图像的最终分类结果；
其中，在步骤一中，所述多隐藏层条件随机场分类器的训练被配置为包括以下步骤：
S1，对采集到的宫颈癌组织病理学图像进行预处理，以得到预定数目的小块级图像；
S2，对预处理完的各小块级图像进行颜色特征、纹理特征和深度学习特征的提取，并对提取的各特征基于高斯分布的原理进行特征选择和融合，以得到小块级的分类结果；
S3，基于S2中选择得到的小块级分类结果，以生成多隐藏层条件随机场的一元和二元势，并将其组合以计算最终图像级分类结果的联合概率，选择其中最好的一个，确定为最终的多隐藏层条件随机场模型。
优选的是，其中，在S1中，所述宫颈癌组织病理学图像进行预处理被配置为包括以下步骤：
S10，采集预定张数且包含高、中、低分化的宫颈癌组织病理学图像作为图像数据库以进行系统训练；
S11，使用图像网格化方法把图像数据图中的每一幅原病理学图像切割成108块100像素×100像素的小块级图像。
优选的是，其中，在S2中，所述颜色特征的提取被配置为采用颜色直方图特征，以提取图像的R、G、B三个通道和灰度图的直方图，进而组合成一个1024维的特征向量；
所述纹理特征的提取被配置为采用尺度不变特征变换SIFT、DAISY、灰度共生矩阵GLCM和方向梯度直方图HOG四种特征；
所述深度学习特征的提取被配置为采用Inception-V3和VGG-16两种框架进行。
优选的是，其中，在S2中，在采用高斯分布的方式进行特征选择时，为了得到每个小块级图像的概率，有三类预分类器被选中，分别是支持向量机SVM、人工神经网络ANN和随机森林RF；
其中，支持向量机的核函数被配置为采用线性函数和径向基函数两种，人工神经网络的隐藏层层数被配置为一道六层共六种，而随机森林中树的棵数被配置为2的1次幂到2的11次幂共11种；
故7种特征和19种具体的预分类器组合出133种特征和预分类结果及所需的概率，并从这133种特征组合中选出分类准确率较好的前8％，得到11个特征组合；
所述11个特征组合的组合结果按照颜色特征、纹理特征和深度学习特征的比例被配置包括4个颜色特征组合、4个纹理特征组合和3个深度学习特征组合。
优选的是，其中，在S3中，多隐藏层条件随机场的结构被配置为包括一元势和二元势；
其中，在一元势、二元势中，对所选出的11个特征组合进行11的阶乘次组合，并从中选出验证集中图像级分类效果最好的10个一元势组合与10个二元势组合；
将上述得到的10个一元势组合与10个二元势组合再次进行两两结合，以得到100个结果，选择其中最好的一个确定为最终的多隐藏层条件随机场模型。
优选的是，其中，在提取二元势特征的时候，待提取的中心小块级图像的特征向量被配置为采用八领域布局中其它八个小块的特征向量之和来代替。
优选的是，其中，所述多隐藏层条件随机场条件的公式被配置表示为：
Figure GDA0003122045710000041
其中，Z是归一化因子，V是图G中所有节点的集合；E是所有边缘的集合，X是给定的标签向量，Y是待标记的随机变量，而xi、xj分别是第i，j个节点对应的标签，而归一化因子的公式被配置为：
Figure GDA0003122045710000042
归一化因子的势能团函数中的一元势函数
Figure GDA0003122045710000043
用于测量节点i根据给定观测向量Y的被标记为xi的概率；二元势函数ψij(xi，xj；Y)用于图G中的相邻节点i和j，二者之间的空间上下文关系不仅与节点i的标签相关，而且与其相邻节点j的标签相关，以通过找到最大的后验标签
Figure GDA0003122045710000044
解决图像分类的问题。
本发明至少包括以下有益效果：其一，本发明在条件随机场模型的设计中，全新设计了多隐藏层条件随机场分类器，用以结合使用宫颈癌组织病理学显微图像的颜色特征、纹理特征与深度学习特征，使系统的诊断结果更为高效可靠。
其二，本发明的条件随机场模型中同时具有一元势与二元势，在考虑到自身的特征向量的情况下还兼顾到了周围的一些空间信息，对于空间信息较为敏感的图像而言意义重大，能够有效提高分类准确率。
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明中多隐藏层条件随机场结构图；
图2是现有技术中宫颈瘤变和检测图像分析流程图；
图3为本发明中宫颈癌组织病理学图像分析流程图；
图4为本发明中图像预处理中的图像分块示意图；
图5为二元势特征提取中的八邻域布局示意图；
图6为单个特征组合与最终分类模型中一元势及二元势的准确率对比图；
图7为一元势、二元势在验证集上运行的混淆矩阵结果示意图；
图8为最终分类器MHCRF在验证集和测试集上运行的混淆矩阵结果示意图。
具体实施方式
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。
根据本发明的一种基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法的实现形式，包括以下步骤：
步骤一，训练多隐藏层条件随机场分类器，其结构如图1所示，其病理学图像分析流程如图3所示；
步骤二，将测试集中或待诊断的病理图像输入训练好的多隐藏层条件随机场，输出每幅图像的最终分类结果，其可实现对病理图像中诊断的分类；
其中，在步骤一中，所述多隐藏层条件随机场分类器的训练被配置为包括以下步骤：
S1，对采集到的宫颈癌组织病理学图像进行预处理，以得到预定数目的小块级图像；
S2，对预处理完的各小块级图像进行颜色特征、纹理特征和深度学习特征的提取，即图1中的第1-4层，并对提取的各特征基于高斯分布的原理进行特征选择即图1中的第5层和融合，以得到小块级的分类结果即图1中的第6层，其相对于现有技术中采用一种特征提取的方式来说，其特征选择和融合的精确度可显著提升，另外根据处理对象的不同可选择合适的部件，比如替换或增减一些特征、选择不同的特征选取方式、使用较为复杂的布局样式等，以适应不同的分析诊断的需要；
S3，基于S2中选择得到的小块级分类结果，以生成多隐藏层条件随机场的一元和二元势，即图1中的第7层，并将其组合以计算最终图像级分类结果的联合概率，选择其中最好的一个，即图1中的第8层，确定为最终的多隐藏层条件随机场模型，其相对于现有技术的3-4层的条件随机场，且一个条件随机场只需要提取一种特征并使用一个预分类器就能得到而言，本方案采用多隐藏层条件随机场除了有一般条件随机场的功能外，还能融合多种特征与预分类器的优势，从而得到更高的分类准确率，同时该分类器同时具有一元势与二元势，在考虑到自身的特征向量的情况下还兼顾到了周围的一些空间信息，对于空间信息较为敏感的图像(例如组织病理学图像)而言意义重大，能够有效提高分类准确率；另外该分类器还能有效降低杂质或噪声带来的干扰，不论杂质或噪声在一元势或二元势中出现，都会被另一方的特征淡化，减少对分类结果的影响，这对于组织病理学图像分析十分有利，故本方案的分类器训练完成后，将测试集中的图像输入训练好的多隐藏层条件随机场，可直接输出每幅图像的最终分类结果(高分化、中分化、低分化)，其最终测试集的分类准确率可达到88％，相对于现有技术而言其分类准确率可至少提升4％以上。
如图3，在另一种实例中，在S1中，所述宫颈癌组织病理学图像进行预处理被配置为包括以下步骤：
S10，采集预定张数且包含高、中、低分化的宫颈癌组织病理学图像作为图像数据库以进行系统训练，其图片格式包括*.bmp，*.BMP，*.dip，*DIP，*.jpg，*.JPG，*.jpeg，*JPEG，*.jpe，*.JPE，*.jfif，*JFIF，*.gif，*.GIF，*.tif，*.TIF，*.tiff，*.TIFF，*.png，*.PNG等，且在采集时可将除训练集的多余的图片按高、中、低分化分配给验证集和测试集，以做后期验证测试使用，且每张图片大小优选为1280×960像素，染色方式为免疫组化AQP；
S11，使用图像网格化方法把图像数据图中的每一幅原病理学图像切割成108块100像素×100像素的小块级图像，其通过小块化的图像方式设计，以使其各小块集图像的色彩、清晰度具有较好的保真度，以利于后期的特征提取。
在另一种实例中，在S2中，所述颜色特征的提取被配置为采用颜色直方图特征，以提取图像的R、G、B三个通道和灰度图的直方图，进而组合成一个1024维的特征向量；
所述纹理特征的提取被配置为采用尺度不变特征变换SIFT、DAISY、灰度共生矩阵GLCM和方向梯度直方图HOG四种特征；
所述深度学习特征的提取被配置为采用Inception-V3和VGG-16两种框架进行。在这种方案中，还可以采用局部二值模式(LBP)代替灰度共生矩阵(GLCM)特征，进行纹理特征提取；用颜色聚合向量(color-coherence vector)特征代替颜色直方图特征，进行颜色特征提取；用VGG-19深度学习特征代替VGG-16特征，进行深度学习特征提取作为替换方案，以使其达到近似的效果。
在另一种实例中，在S2中，在采用高斯分布的方式进行特征选择时，为了得到每个小块级图像的概率，有三类预分类器被选中，分别是支持向量机SVM、人工神经网络ANN和随机森林RF；
其中，支持向量机的核函数被配置为采用线性函数和径向基函数两种，人工神经网络的隐藏层层数被配置为一道六层共六种，而随机森林中树的棵数被配置为2的1次幂到2的11次幂共11种；
故7种特征和19种具体的预分类器组合出133种特征和预分类结果及所需的概率，并从这133种特征组合中选出分类准确率较好的前8％，得到11个特征组合；
所述11个特征组合的组合结果按照颜色特征、纹理特征和深度学习特征的比例被配置包括4个颜色特征组合、4个纹理特征组合和3个深度学习特征组合，在这种方案中，如图1所示，本发明相对于现有技术只有底部4层的分类器而言，另外增加了3层即图1中所示的第5层-第7层，而在第5层中，本方案把由7个特征和19个具体预分类器组合得到的133个结果按照分类准确率的高斯分布进行筛选，选取了效果较好的前8％，约11个。下表显示了一元势中133个组合的准确率以及所消耗的时间，加粗且加下划线的数据为居于高斯分布的特征选择方法选出的11个特征组合。二元势的情况与一元势类似，不再赘述。
Figure GDA0003122045710000081
这11个组合结果按照颜色特征、纹理特征和深度学习特征的比例大致为1：1：1的原则，即选取了4个颜色特征组合、4个纹理特征组合和3个深度学习特征组合。在第6层，我们把这11个被选中的组合再次组合，一共有11的阶乘次的组合结果。第7层，我们选出11的阶乘次的组合结果中效果最好的10个，作为一元势或二元势的结果，以使得一元势、二元势的分类及组合效果达到最优，相对现有技术可大幅度提升20％-30％左右，而被选中的11个单个特征组合的准确率分别和最终分类模型中一元势部分的准确率及二元势部分的准确率的对比，可具体的可从图6中清楚的得出，其中，图6中纵坐标为准确率，横坐标为各个特征组合的名称。
在另一种实例中，在S3中，多隐藏层条件随机场的结构被配置为包括一元势和二元势；
其中，在一元势、二元势中，对所选出的11个特征组合进行11的阶乘次组合，并从中选出验证集中图像级分类效果较好的10个一元势组合与10个二元势组合；
将上述得到的10个一元势组合与10个二元势组合再次进行两两结合，以得到100个结果，选择其中图像级分类效果最好的一个确定为最终的多隐藏层条件随机场模型。在这种方案中，通过在分类器中采用一元势和二元热的结合，以使其达到理想的分类效果，准确率可大幅度提升，具体如图7-8所示，进一步说明一元势在验证集上运行的混淆矩阵结果，二元势在验证集上运行的混淆矩阵结果，最终分类器MHCRF在验证集运行的混淆矩阵结果以及最终分类器MHCRF在测试集运行的混淆矩阵结果，在图7-8中，其矩阵各标签分布可用下表中的数字进行类似表达：
Figure GDA0003122045710000091
其中，横向为真实标签结果，纵向为输出标签结果。11、22、33数字所对应标签代表分类正确，12、13、21、23、31、32数字所对应标签代表分类错误，纵向分布的14、24、34中的数据为精确率，横向分布的41、42、43中的数据为召回率，44中的数据为准确率，可知本发案的准确率可有效提升至88％，相对于现有技术而言其准确率可大幅度的提升。
在另一种实例中，在提取二元势特征的时候，待提取的中心小块级图像的特征向量被配置为采用八领域布局中其它八个小块的特征向量之和来代替。
优选的是，其中，所述多隐藏层条件随机场条件的公式被配置表示为：
Figure GDA0003122045710000101
其中，Z是归一化因子，V是图G中所有节点的集合；E是所有边缘的集合，X是给定的标签向量，Y是待标记的随机变量，而归一化因子的公式被配置为：
Figure GDA0003122045710000102
归一化因子的势能团函数中的一元势函数
Figure GDA0003122045710000103
用于测量节点i根据给定观测向量Y的被标记为xi的概率；二元势函数ψij(xi，xj；Y)用于描述图G中的相邻节点i和j，二者之间的空间上下文关系不仅与节点i的标签相关，而且与其相邻节点j的标签相关，以通过找到最大的后验标签
Figure GDA0003122045710000104
解决图像分类的问题。
采用以上方案只是对较佳实例的说明，但并不局限于此。在实施本发明时，可以根据使用者需求进行适当的替换和/或修改。
实施例：
S1，如图3所示，采集包含103张高中低分化的宫颈癌组织病理学图像数据库进行系统训练(数据库中包含高分化35张，中分化35张，低分化33张；其中训练集中高分化9张，中分化9张，低分化9张；验证集中高分化9张，中分化9张，低分化8张；测试集中高分化17张，中分化17张，低分化16张)，每张图片大小为1280×960像素，染色方式为免疫组化AQP；
对采集到的图像进行预处理：使用图像网格化方法把一幅原图像切割成108块100像素×100像素的小块，如图4所示。
对预处理完的图像进行特征提取：对处理完的小块基础上提取颜色特征、纹理特征和深度学习特征，以得于如图1中第4层结果。
特征选择：为了得到每个小块的概率，有三类预分类器被选中，分别是支持向量机(SVM)、人工神经网络(ANN)和随机森林(RF)。其中支持向量机的核函数使用了线性函数和径向基函数两种；人工神经网络的隐藏层层数为一道六层共六种；而随机森林中树的棵数为2的1次幂到2的11次幂共11种。所以由7种特征和19种具体的预分类器可以组合出133种特征和预分类结果及所需的概率。从这133种特征中选出效果较好的前8％，约11个，以得到图1中第5层结果。
多隐藏层条件随机场的具体结构如图1所示，由左边的一元势和右边的二元势两部分组成。在一元势中，所选出的11个特征会进行11的阶乘次的组合，即把这11个被选中的组合再次组合，一共有图1中第6层所示的11的阶乘次的组合结果，并从中选出验证集中图像级分类效果最好的10个组合，即如图1第7层得到的结果，二元势中同样如此。再把10个一元势组合与10个二元势组合两两结合，得到100个结果，选择其中最好的一个，确定为最终的多隐藏层条件随机场模型，即图1中的第8层。其中二元势比一元势多出了第3.5层，这是因为在提取二元势特征的时候使用了如图5所示的布局。图中的“Σ”代表用八邻域中其他八个小块的特征向量之和来代替中心小块的特征向量。
将测试集中的图像输入训练好的多隐藏层条件随机场，输出每幅图像的最终分类结果(高分化、中分化、低分化)，其最终测试集的分类准确率为88％。
本方案与现有技术相比，其具有以下有益效果：
其一，应用创新：宫颈癌组织病理学图像的分类在国际上大多使用决策树、支持向量机以及人工神经网络等分类方法，并处于研究阶段。本发明把条件随机场作分类器应用于宫颈癌组织病理学图像的分类，实现了科研技术向实际成果的转化。
其二，技术创新：在条件随机场模型的设计中，本发明全新设计了多隐藏层条件随机场分类器，用以结合使用宫颈癌组织病理学显微图像的颜色特征、纹理特征与深度学习特征，使系统的诊断结果更为高效可靠。
具体来说，本发明把多隐藏层条件随机场分类器应用于宫颈癌组织病理图像的自动分析，形成了一套宫颈癌显微图像的自动诊断系统，可以适当减缓病理学家资源分配不均、不够充分的问题，也可以指导医学生与经验不充足的医生进行合理诊断；同时也可以解决不同医生间和同一医生不同状态下的矛盾问题。
这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法的应用、修改和变化对本领域的技术人员来说是显而易见的。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用。它完全可以被适用于各种适合本发明的领域。对于熟悉本领域的人员而言，可容易地实现另外的修改。因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (6)

1.一种基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法，其特征在于，包括以下步骤：
步骤一，训练多隐藏层条件随机场分类器；
步骤二，将测试集中或待诊断的病理图像输入训练好的多隐藏层条件随机场，输出每幅图像的最终分类结果；
其中，在步骤一中，所述多隐藏层条件随机场分类器的训练被配置为包括以下步骤：
S1，对采集到的宫颈癌组织病理学图像进行预处理，以得到预定数目的小块级图像；
S2，对预处理完的各小块级图像进行颜色特征、纹理特征和深度学习特征的提取，并对提取的各特征基于高斯分布的原理进行特征选择和融合，以得到小块级的分类结果；
S3，基于S2中选择得到的小块级分类结果，以生成多隐藏层条件随机场的一元和二元势，并将其组合以计算最终图像级分类结果的联合概率，选择其中概率最高的一个，确定为最终的多隐藏层条件随机场模型；
其中，所述多隐藏层条件随机场条件模型的公式被配置表示为：
Figure FDA0003122045700000011
其中，Z是归一化因子，V是图G中所有节点的集合；E是所有边缘的集合，X是给定的标签向量，Y是待标记的随机变量，而xi、xj分别是第i，j个节点对应的标签，而归一化因子的公式被配置为：
Figure FDA0003122045700000012
归一化因子的势能团函数中的一元势函数
Figure FDA0003122045700000013
用于测量节点i根据给定观测向量Y的被标记为xi的概率；二元势函数ψij(xi，xj；Y)用于图G中的相邻节点i和j，二者之间的空间上下文关系不仅与节点i的标签相关，而且与其相邻节点j的标签相关，以通过找到最大的后验标签
Figure FDA0003122045700000014
解决图像分类的问题。
2.如权利要求1所述的基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法，其特征在于，在S1中，所述宫颈癌组织病理学图像进行预处理被配置为包括以下步骤：
S10，采集预定张数且包含高、中、低分化的宫颈癌组织病理学图像作为图像数据库以进行系统训练；
S11，使用图像网格化方法把图像数据图中的每一幅原病理学图像切割成108块100像素×100像素的小块级图像。
3.如权利要求1所述的基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法，其特征在于，在S2中，所述颜色特征的提取被配置为采用颜色直方图特征，以提取图像的R、G、B三个通道和灰度图的直方图，进而组合成一个1024维的特征向量；
所述纹理特征的提取被配置为采用尺度不变特征变换SIFT、DAISY、灰度共生矩阵GLCM和方向梯度直方图HOG四种特征；
所述深度学习特征的提取被配置为采用Inception-V3和VGG-16两种框架进行。
4.如权利要求1所述的基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法，其特征在于，在S2中，在采用高斯分布的方式进行特征选择时，为了得到每个小块级图像的概率，有三类预分类器被选中，分别是支持向量机SVM、人工神经网络ANN和随机森林RF；
其中，支持向量机的核函数被配置为采用线性函数和径向基函数两种，人工神经网络的隐藏层层数被配置为一道六层共六种，而随机森林中树的棵数被配置为2的1次幂到2的11次幂共11种；
故7种特征和19种具体的预分类器组合出133种特征和预分类结果及所需的概率，并从这133种特征组合中选出分类准确率较好的前8％，得到11个特征组合；
所述11个特征组合的组合结果按照颜色特征、纹理特征和深度学习特征的比例被配置包括4个颜色特征组合、4个纹理特征组合和3个深度学习特征组合。
5.如权利要求4所述的基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法，其特征在于，在S3中，多隐藏层条件随机场的结构被配置为包括一元势和二元势；
其中，在一元势、二元势中，对所选出的11个特征组合进行11的阶乘次组合，并从中选出验证集中图像级分类效果较好的10个一元势组合与10个二元势组合；
将上述得到的10个一元势组合与10个二元势组合再次进行两两结合，以得到100个结果，选择其中图像级分类效果最好的一个确定为最终的多隐藏层条件随机场模型。
6.如权利要求5所述的基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法，其特征在于，在提取二元势特征的时候，待提取的中心小块级图像的特征向量被配置为采用八领域布局中其它八个小块的特征向量之和来代替。
CN201910531051.XA 2019-06-19 2019-06-19 基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法 Active CN110264454B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910531051.XA CN110264454B (zh) 2019-06-19 2019-06-19 基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910531051.XA CN110264454B (zh) 2019-06-19 2019-06-19 基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法

Publications (2)

Publication Number Publication Date
CN110264454A CN110264454A (zh) 2019-09-20
CN110264454B true CN110264454B (zh) 2021-07-30

Family

ID=67919325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910531051.XA Active CN110264454B (zh) 2019-06-19 2019-06-19 基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法

Country Status (1)

Country Link
CN (1) CN110264454B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210441A (zh) * 2020-01-02 2020-05-29 苏州瑞派宁科技有限公司 肿瘤预测方法、装置、云平台及计算机可读存储介质
CN111563891B (zh) * 2020-05-09 2023-09-26 吾征智能技术(北京)有限公司 基于颜色认知的疾病预测系统
CN112102231A (zh) * 2020-07-27 2020-12-18 四川木牛流马智能科技有限公司 基于多尺度条件概率模型的猪瘟病毒电镜图像检测方法
CN113627483B (zh) * 2021-07-09 2024-02-02 武汉大学 基于自监督纹理对比学习的宫颈oct图像分类方法及设备
CN115409834B (zh) * 2022-10-30 2023-02-28 四川大学华西医院 一种用于跟腱病诊断的特征提取方法、系统和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105321176A (zh) * 2015-09-30 2016-02-10 西安交通大学 一种基于分层高阶条件随机场的图像分割方法
CN109299679A (zh) * 2018-09-11 2019-02-01 东北大学 基于狭长型条件随机场的宫颈癌组织病理图像诊断方法
CN109671072A (zh) * 2018-12-18 2019-04-23 东北大学 基于点式阵列条件随机场的宫颈癌组织病理图像诊断方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011139362A1 (en) * 2010-05-03 2011-11-10 Sti Medical Systems, Llc Image analysis for cervical neoplasia detection and diagnosis
AU2015271975A1 (en) * 2015-12-21 2017-07-06 Canon Kabushiki Kaisha An imaging system and method for classifying a concept type in video
CN109410196A (zh) * 2018-10-24 2019-03-01 东北大学 基于泊松环形条件随机场的宫颈癌组织病理图像诊断方法
CN109543758A (zh) * 2018-11-26 2019-03-29 东北大学 基于共轭蝶形条件随机场的宫颈癌组织病理图像诊断方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105321176A (zh) * 2015-09-30 2016-02-10 西安交通大学 一种基于分层高阶条件随机场的图像分割方法
CN109299679A (zh) * 2018-09-11 2019-02-01 东北大学 基于狭长型条件随机场的宫颈癌组织病理图像诊断方法
CN109671072A (zh) * 2018-12-18 2019-04-23 东北大学 基于点式阵列条件随机场的宫颈癌组织病理图像诊断方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Automatic Segmentation of Cervical Nuclei Based on Deep Learing and a conditional Random Field;YiMing Liu et al.;《IEEE》;20180919;第53709-53721页 *
基于图像块分类器和条件随机场的显微图像分割;阳维 等;《计算机应用》;20110831;第2249-2252页 *

Also Published As

Publication number Publication date
CN110264454A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN110264454B (zh) 基于多隐藏层条件随机场的宫颈癌组织病理图像诊断方法
Khojasteh et al. Fundus images analysis using deep features for detection of exudates, hemorrhages and microaneurysms
Doyle et al. Cascaded discrimination of normal, abnormal, and confounder classes in histopathology: Gleason grading of prostate cancer
Beevi et al. Automatic mitosis detection in breast histopathology images using convolutional neural network based deep transfer learning
Kowal et al. Cell nuclei segmentation in cytological images using convolutional neural network and seeded watershed algorithm
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
Kazemi et al. Automatic recognition of acute myelogenous leukemia in blood microscopic images using k-means clustering and support vector machine
CN114730463A (zh) 用于组织图像分类的多实例学习器
CN107274386A (zh) 一种宫颈细胞液基涂片人工智能辅助阅片系统
Wuest et al. Region based segmentation of QuickBird multispectral imagery through band ratios and fuzzy comparison
Song et al. Hybrid deep autoencoder with Curvature Gaussian for detection of various types of cells in bone marrow trephine biopsy images
Balamurugan et al. Brain tumor segmentation and classification using hybrid deep CNN with LuNetClassifier
Alkassar et al. Going deeper: magnification‐invariant approach for breast cancer classification using histopathological images
Jamaluddin et al. Tumor detection and whole slide classification of H&E lymph node images using convolutional neural network
Tripathi et al. Ensembling handcrafted features with deep features: an analytical study for classification of routine colon cancer histopathological nuclei images
CN113261012B (zh) 处理图像的方法、装置及系统
Bhowmik et al. Nucleus region segmentation towards cervical cancer screening using AGMC-TU Pap-smear dataset
Ning et al. Multiscale context-cascaded ensemble framework (MsC 2 EF): application to breast histopathological image
Saxena et al. Computer-assisted grading of follicular lymphoma: a classification based on SVM, machine learning, and transfer learning approaches
Rathore et al. CBISC: a novel approach for colon biopsy image segmentation and classification
Jiang et al. Parallel ‘same’and ‘valid’convolutional block and input-collaboration strategy for histopathological image classification
Kim et al. Nucleus segmentation and recognition of uterine cervical pap-smears
CN113870194B (zh) 深层特征和浅层lbp特征融合的乳腺肿瘤超声图像处理装置
Vijila Rani et al. Detection of cervix tumor using an intelligent system accompanied with PNN classification approach
CN114782948A (zh) 一种对宫颈液基细胞学涂片的全局判读方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant