CN112258447B - 基于多种染色病理图像的诊断信息评估方法及系统 - Google Patents
基于多种染色病理图像的诊断信息评估方法及系统 Download PDFInfo
- Publication number
- CN112258447B CN112258447B CN202010960782.9A CN202010960782A CN112258447B CN 112258447 B CN112258447 B CN 112258447B CN 202010960782 A CN202010960782 A CN 202010960782A CN 112258447 B CN112258447 B CN 112258447B
- Authority
- CN
- China
- Prior art keywords
- images
- image
- staining
- pathological
- different
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010186 staining Methods 0.000 title claims abstract description 77
- 230000001575 pathological effect Effects 0.000 title claims abstract description 76
- 238000011156 evaluation Methods 0.000 title claims abstract description 41
- 238000004043 dyeing Methods 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000003745 diagnosis Methods 0.000 claims abstract description 17
- 238000013135 deep learning Methods 0.000 claims abstract description 5
- 230000007170 pathology Effects 0.000 claims description 82
- 238000012549 training Methods 0.000 claims description 40
- 239000013598 vector Substances 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000012360 testing method Methods 0.000 claims description 23
- 238000007781 pre-processing Methods 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000007619 statistical method Methods 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 201000010099 disease Diseases 0.000 abstract description 4
- 230000008569 process Effects 0.000 abstract description 3
- 238000004590 computer program Methods 0.000 description 6
- 230000003902 lesion Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- DHRLEVQXOMLTIM-UHFFFAOYSA-N phosphoric acid;trioxomolybdenum Chemical compound O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.OP(O)(O)=O DHRLEVQXOMLTIM-UHFFFAOYSA-N 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 208000007474 aortic aneurysm Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000000805 cytoplasm Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000004177 elastic tissue Anatomy 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000010827 pathological analysis Methods 0.000 description 2
- 231100000915 pathological change Toxicity 0.000 description 2
- 230000036285 pathological change Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 102000007469 Actins Human genes 0.000 description 1
- 108010085238 Actins Proteins 0.000 description 1
- 241000224489 Amoeba Species 0.000 description 1
- 102000008186 Collagen Human genes 0.000 description 1
- 108010035532 Collagen Proteins 0.000 description 1
- 206010014950 Eosinophilia Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000003651 basophil Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 229920001436 collagen Polymers 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000002460 smooth muscle Anatomy 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 210000002993 trophoblast Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明公开了一种基于多种染色病理图像的诊断信息评估方法及系统，主要包括如下部分：通过深度学习技术发现和提取病灶区域以及非病灶区域在不同染色病理图像上存在的染色差异和细胞形态模式，用于评估多种染色病理图像在疾病诊断过程中的重要性，量化疾病区域所包含的诊断信息量。所述方法通过将寻找多种染色图像信息权重的问题转化为度量图像病灶区域之间以及与非病灶区域差异大小的问题，实现了对多种染色病理图像中所包含的诊断信息进行准确量化评估的目的。
Description
技术领域
本发明涉及生物医学信息技术，人工智能技术领域，具体而言，涉及一种基于多种染色病理图像的诊断信息评估方法及系统。
背景技术
病理诊断通常需要将病变组织制成病理切片，染以各种颜色，供在显微镜下检查，用来观察病理变化。常用的病理切片染色方法包括苏木精-伊红染色(Hematoxylin-Eosin，HE)、阿米巴滋养体染色(Alcian Blue and Periodic Acid-Schiff，AB-PAS)、马松三色(Masson Trichrome)染色,平滑肌肌动蛋白(Actin,Smooth Muscle，SMA)染色，胶原纤维(Van Gieson，VG)染色等。不同的染色由于其染色原理不同，能够突出病理图像不同的组织信息。例如，HE染色利用细胞核与细胞质的嗜酸性与嗜碱性的差异，使得细胞核呈现蓝紫色，细胞质呈现红色，从而便于医生观察组织是否发生了细胞核相关的病变，例如细胞核缺失等。VG染色对于组织的弹力纤维有较好的显色，可以观察弹力纤维是否发生断裂。然而，使用多种染色的病理图像对疾病类型和严重程度进行人工判断，其过程费时费力，并且常常依赖医生的临床经验，具有主观性强、精确度低、可重复性差等缺点。因此，设计和开发基于计算机技术的智能辅助评估系统具有重要的临床意义。
近年来，人工智能尤其是深度学习技术在智能化医疗中具有广泛的应用，在临床辅助决策中发挥重要作用。计算机辅助评估系统能够对多种染色病理图像进行分类和分析，帮助临床医师提高诊断效率和准确率。然而，基于多染色病理图像的智能辅助评估系统构建的一个难点在于，如何准确评估不同染色病理图像中所包含的诊断信息，达到有效融合多种类的病理图像的目的。例如，主动脉瘤患者的病理图像中所呈现的细胞核缺失现象，在HE染色图像中能够明显地观察到，然而在其他染色病理图像中不明显。因此，如果能通过一种信息评估方法判断不同染色病理图像中的诊断信息，使得医师在临床诊断中更加关注含有重要信息的病理图像，不仅能提高诊断效率，并且有助于有效融合多种染色病理图像，构建性能稳定的病理图像智能分析系统。本发明公开提供了一种基于多种染色病理图像的诊断信息评估方法及系统。该方法采用深度学习技术，量化病灶区域之间以及非病灶区域间的染色差异和细胞形态变化，从而评估多种染色病理图像所包含的诊断信息。所述方法通过将寻找多种染色图像信息权重的问题转化为度量图像病灶区域之间以及与非病灶区域差异大小的问题，从而获得了更具有可靠性的多种染色病理图像诊断信息重要性的数值化评估指标。
发明内容
为解决现有技术中无法准确获得不同染色病理图像所包含的诊断信息重要性的问题，本发明公开提供了一种基于多种染色病理图像的诊断信息评估方法及系统，有效地将寻找多种染色图像信息权重的问题转化为度量图像病灶区域之间以及与非病灶区域差异大小的问题，进而计算病理图像中非病灶区域和病灶区域的差异，从而实现评估和量化不同染色病理图像诊断信息重要性的目的。
第一方面，本发明实施例提供了一种基于多种染色病理图像的诊断信息评估方法及系统，包括以下步骤：针对待评估多种染色病理图像进行预处理；对预处理后的所述多种染色病理图像依次通过深度卷积神经网络进行模型训练，构建多种染色病理图像诊断信息评估网络，对执行预处理后的多种染色病理图像执行自动获取图像向量间距离操作；通过统计学分析和归一化，对自动获取的向量间距离执行权重计算，获得用于评估不同染色病理图像诊断信息重要性的数值化指标。
在其中一个实施例中，所述针对待评估的多种染色病理图像进行预处理包括：对所述多种染色病理图像执行图像配准操作。
在其中一个实施例中，所述图像配准操作包括：采用多分辨率形变配准方法，首先在低分辨率下将图像进行整体轮廓配准，获得图像整体信息对应，然后将高分辨率下的病理图像分成小块，对每一图像块中的信息再次配准，最终拼接获得和高分辨率原始图像大小一致的配准后图像。
在其中一个实施例中，所述配准操作包括：在低分辨率下进行图像配准，采用B样条形变配准法和位移场形变配准法。
在其中一个实施例中，所述配准方法还包括：在高分辨率下进行图像配准，采用位移场形变配准法，使用均方差和相关系数作为相似性度量，其中优化方法使用梯度下降法和梯度下降线性搜索法，插值方法使用最近邻插值和线性插值法。
在其中一个实施例中，所述针对待评估的多种染色病理图像进行预处理包括：对所述多种染色病理图像进行构建数据集操作。
在其中一个实施例中，所述对多种染色病理图像进行构建数据集操作包括：对所述多种染色病理图像进行病灶区域标注，基于病灶区域和非病灶区域提取大小相同的图像块，其中80％划分为训练集，20％划分为测试集。
在其中一个实施例中，所述构建数据集操作包括：随机在所述训练集中选取一对图像，若选取的一对图像来自同一种染色，且具有同样的病理特性，则定义为同类，若选取的一对图像来自不同染色，或具有不同的病理特性，则定义为异类，保证所述同类和所述异类图像对的比例接近于1：1；对所述测试集中每一种染色选取一对图像，若选取的一对图像具有同样的病理特性，则定义为同类，若选取的一对图像具有不同的病理特性，则定义为异类，保证所述同类数据和所述异类图像的比例接近于1：1。
在其中一个实施例中，所述针对待评估的多种染色病理图像进行差异计算包括：使用所述通过图像预处理操作后的所述多种染色病理图像对深度卷积神经网络模型进行训练，使得模型在区分所述训练集同类和异类病理图像上具有良好分类效果。
在其中一个实施例中，所述针对待评估的多种染色病理图像进行差异计算包括：通过所述能够良好区分训练集中同类和异类病理图像的深度卷积神经网络模型，自动获取所述测试集中同类和异类病理图像的向量间距离。
在其中一个实施例中，所述权重计算包括：通过统计学方法，统计所述测试集中同类和异类病理图像向量间距离的平均值和方差，计算所述测试集中同类和异类病理图像的平均差异。
在其中一个实施例中，所述权重计算包括：对不同染色病理图像的所述测试集中异类病理图像的平均差异执行归一化，从而获得不同染色病理图像的诊断信息量的数值评估指标。
本发明提供的一种基于多种染色病理图像的诊断信息评估方法及系统，针对待评估多种染色病理图像进行预处理；对预处理后的所述多种染色病理图像依次通过深度卷积神经网络进行模型训练；构建多种染色病理图像诊断信息评估网络，对执行预处理后的多种染色病理图像执行自动获取图像向量间距离操作；通过统计学分析和归一化对自动获取的向量间距离执行权重计算获得不同染色病理图像的诊断信息量的数值评估指标。该方法基于深度卷积神经网络模型，量化图像病灶区域与非病灶区域间的差异，从而评估多种染色病理图像诊断信息的重要性。上述方法通过将寻找多种染色图像信息权重的问题转化为度量图像病灶区域之间以及与非病灶区域差异大小的问题，从而实现量化不同染色病理图像所包含的诊断信息重要性的目的，同时获得了更具有可靠性的多种染色病理图像诊断信息重要性的数值化评估指标。
第二方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的多种染色病理图像的处理方法。
第三方面，本发明实施例提供了一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面所述的方法。
附图说明
为了更清楚地说明本发明公开实施例的技术方案，下面对实施例描述中所需要使用的附图作简单地介绍：
图1为本发明一个实施例中的一种基于多种染色病理图像的诊断信息评估方法及系统的流程示意图；
图2为本发明另一个实施例中的一种基于多种染色病理图像的诊断信息评估方法及系统的流程示意图；
图3针对图1与图2所示的深度卷积神经网络模型结构示意图。
具体实施方式
下面结合附图和实施例对本申请进行进一步的详细介绍。
在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本发明公开的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。
为了使本发明的目的、技术方案及优点更加清楚明白，以下通过实施例，并结合附图，对本发明一种基于多种染色病理图像的诊断信息评估方法及系统的具体实施方式进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，为一个实施例中的一种基于多种染色病理图像的诊断信息评估方法及系统的流程示意图，具体包括以下步骤：
步骤101，针对待评估多种染色病理图像进行预处理。可理解的是，同一组多种染色病理图像的病变位置并不完全相同，并且医师的标注仅基于其中一张染色，因此需要对其进行图像配准操作，并构建用于后续训练的数据集。
具体的，针对待评估多种染色病理图像进行预处理包括：对待评估多种染色病理图像执行图像配准操作。其中，图像配准操作包括：多分辨率形变配准，首先在低分辨率下将图像进行整体轮廓配准，获得图像整体信息对应，然后将高分辨率下的病理图像分成小块，对每一图像块中的信息再次配准，最终拼接获得和高分辨率原始图像大小一致的配准后图像。对于低分辨率下的图像配准，选择位移场形变配准法可以使组织轮廓配准的同时，减少图像内部细节的失真。对于高分辨率下的图像配准，采用位移场形变配准法，使用均方差和相关系数作为相似性度量，优化方法使用梯度下降法和梯度下降线性搜索法，插值方法使用最近邻插值和线性插值。
进一步地，针对待评估多种染色病理图像进行预处理还包括：对所述多种染色病理图像进行构建数据集操作。其中，对经过图像配准操作后的待评估多种染色病理图像执行构建数据集操作包括：根据配准结果和医师对病灶位置的标注，对所述多种染色病理图像的病灶区域和非病灶区域提取大小相同的图像块，其中80％划分为训练集，用于深度学习模型训练。20％划分为测试集，用于深度学习模型效果评价、结果分析和最终权重的计算。具体可以理解为：随机在所述训练集中选取一对病理图像，若选取的一对图像来自同一种染色，且具有同样的病理特性，则定义为同类，若选取的一对图像来自不同染色，或具有不同的病理特性，则定义为异类；对所述测试集中每一种染色都选取一对病理图像，若选取的一对图像具有同样的病理特性，则定义为同类，若选取的一对图像具有不同的病理特性，则定义为异类。可以理解的是，本发明搭建模型的主要目的在于比较不同病灶区域以及非病灶区域间的相似度，从而量化不同染色病理图像所包含的诊断信息。因此，需要在图像块采集的基础上，构建比例均衡的图像对，即来自同一类别的图像对与来自不同类别的图像对在数量上保持大致相同，才能更好地完成后续的模型训练任务。
需要说明的是，同类图像的随机选取过程中，可能会重复选取到同一张图像，此时，输出的向量间距离将趋近于零，认为几乎没有差异，因此此类数据并不能很好地帮助实现本发明的目的，应当对这些数据进行抛弃处理，否则计算平均值时会产生一定的误差，导致结果偏小。
综上，通过图像预处理操作，采用多分辨率形变配准方法，有效实现了多种染色病理图像间的位置信息的匹配，方便对于多种染色病理图像病灶区域的采集，并成功完成对后续模型训练所需的数据集准备工作。
步骤102，对预处理后的所述多种染色病理图像依次通过深度卷积神经网络进行模型训练，构建多种染色病理图像诊断信息评估网络模型，对执行预处理后的多种染色病理图像执行获取图像向量间距离操作。
具体的，对预处理后的所述多种染色病理图像依次通过深度卷积神经网络进行模型训练，构建多种染色病理图像诊断信息评估网络模型，对执行预处理后的多种染色病理图像执行获取图像向量间距离操作包括：用经图像预处理操作后的多种染色病理图像训练集进行深度卷积神经网络模型训练，多次训练观察模型是否收敛，以及最终损失是否稳定，从而判断模型的稳定性是否良好。利用测试集评价该模型的训练效果，确保模型的有效性，使得模型在区分所述训练集同类和异类图像上具有良好的分类效果。
进一步地，对预处理后的所述多种染色病理图像依次通过深度卷积神经网络进行模型训练，构建多种染色病理图像诊断信息评估网络，对执行预处理后的多种染色病理图像执行获取图像向量间距离操作还包括：通过训练好的具有稳定性和有效性的深度学习网络模型获取所述测试集同类和异类图像向量间距离。
步骤103，通过统计学分析和归一化对获取的向量间距离执行权重计算，获得不同染色病理图像所包含的诊断信息重要性的数值评估指标。
具体的，通过统计学分析和归一化对获取的向量间距离执行权重计算，获得不同染色病理图像所包含的诊断信息重要性的数值评估指标包括：通过假设检验的统计学方法，计算所述获取的测试集同类和异类图像向量间距离的显著性差异，确认模型对于数据的有效性。计算所述获取的测试集同类和异类图像向量间距离的平均值、方差，异类图像向量间距离的平均值即是图像病灶区域和非病灶区域的平均差异，对不同染色的病灶区域和非病灶区域的平均差异执行归一化得到不同染色病理图像诊断信息重要性的权重。
为了更清晰地理解并应用基于多种染色病理图像的诊断信息评估方法及系统，进行以下公开示例。需要说明的是，本发明公开所保护的范围不限于以下示例。
本公开实施例提供了一种基于多种染色病理图像的诊断信息评估方法及系统，包括：图像预处理操作、差异计算和权重计算。图像预处理操作用于对图像进行图像配准和数据集的构建，实现训练前期数据准备的目的；差异计算作用于对模型进行良好的训练，并输出不同染色病理图像病灶区域和非病灶区域之间的差异，实现将染色权重量化为图像区域间差异的目的；权重计算用于计算不同染色病理图像所包含诊断信息重要性的权重，根据统计学方法对输出的图像病灶区域和非病灶区域之间的向量间距离进行假设检验和平均处理，并对平均值归一化，获得不同染色病理图像的诊断信息量的数值评估指标。
如图2所示，本实施例的基于多种染色病理图像的诊断信息评估方法及系统，包括：图像预处理、差异计算和权重计算。
其中，图像预处理中的图像配准和数据集构建，用于对不同染色病理图像位置进行匹配并构建用于模型训练的训练集和测试集；差异计算中的模型训练和病灶与非病灶区域差异度量，用于对模型进行训练并输出多种染色病理图像病灶区域和非病灶区域之间的向量间距离；权重计算中的统计分析和归一化，根据统计学方法对输出的图像病灶区域和非病灶区域之间的向量间距离进行假设检验和平均处理，并对平均值进行归一化，用于计算不同染色病理图像所包含的诊断信息重要性的权重。
在本发明的一个实施例中，图像预处理操作包括：对多种染色病理图像进行图像配准操作。采用多分辨率形变配准方法，首先在低分辨率下将图像进行整体轮廓配准，获得图像整体信息对应，然后将高分辨率下的病理图像分成小块，对每一图像块中的信息再次配准，最终拼接获得和高分辨率原始图像大小一致的配准后图像。
在本发明的一个实施例中，图像预处理操作包括：对多种染色病理图像进行构建数据集操作。具体的，以主动脉瘤中膜变性的病灶情况为例，对于粘液池聚集病理特性常常使用HE、AB-PAS、Masson Trichrome染色。根据医生在HE染色病理图像上手动标注的病灶区域位置，在经过配准后的HE、AB-PAS、Masson Trichrome染色病理图像相应的病灶区域分别提取病灶图像块和非病灶图像块，从而形成六种类别的图像块。将所有采集好的图像块平铺裁切至224*224像素大小的图像块。如果原始图像块大小不足224*224大小，该图像块将被舍弃。对数据集进一步整理，删除处于边缘位置而不能体现病灶特点的，或是由于成像质量原因模糊不清的图像块。设立参数Y，定义为图像对的类别标签，在所有图像类中随机选取一张图像作为X1，当Y取0时，认为此轮图像对选择将生成一对同类图像，将一直循环随机选取另外一张图像，直到第二张图像来自与第一张图像同一个类别时随机选取停止，并将该图像作为X2,图像对标签记为Y＝0，返回X1，X2和Y；当Y取1时，认为此轮图像对选择将生成一对异类图像，将一直循环随机选取另外一张图像，直到第二张图像来自与第一张图像异类时停止随机选取，并将该图像作为X2,图像对标签记为Y＝1，返回X1，X2和Y。保证同类图像对和异类图像对的数量基本是均衡的，即Y＝0和Y＝1时图像对数量相同。
图3是针对图1与图2所示的深度卷积神经网络模型结构示意图。
本方法采用的深度卷积神经网络模型以ResNet18网络结构为基础，网络层数为18层。其中，同类图像对和异类图像作为输入层的输入图像，图像大小为3*224*224像素。对输入图像中每两张图像分别进行神经网络计算，首先经过第一层卷积层，包含64个7*7大小卷积核的卷积层，以步长2进行卷积操作，获得尺寸为64*112*112大小的特征图。接下来的Resnet18结构包含基本块(basic block)，其结构主要是两个卷积核大小为3*3的卷积层。网络将输入基本块的向量叠加在卷积过后的结果上一起输出。经过第一层卷积层后尺寸为64*112*112的特征图依次经过4个结构为基本块的卷积层。其中，第二层首先进行3*3的最大池化操作，获得64*56*56大小的特征图，接下来在基本块中经由64个卷积核进行两次步长为1的卷积操作，最终得到64*56*56的特征图。第三层的基本块大体与第二层相同，有128个卷积核且卷积操作步长为2，最终得到128*28*28大小的特征图。第四层和最后一层与前述卷积层相同，分别得到256*14*14和512*7*7大小的特征图。全连接层经Softmax函数激活后与输出层相连，能够输出最终的分类结果，输出层的神经元数量对应数据类别。因此，每个神经元输出具有最大概率的类别标签。
需要说明的是，深度学习模型训练的参数设置为：epoch＝100，batch size＝64，学习率为0.0005。本方法采用Loss函数，一个非负实值函数，用来估量模型的预测值与真实值的不一致程度。其中，Loss值越小，模型的准确度越高。随着训练次数的增多，在训练集上取得的Loss值不断下降，当Loss值的下降范围趋于稳定时，模型训练成功。
本发明提供了一种多染色病理图像病变与诊断信息评估方法，针对待评估多染色病理图像进行预处理；对预处理后的所述多染色病理图像依次利用深度卷积神经网络进行模型训练，通过训练好的多染色病理图像病变与诊断信息评估网络，对执行预处理后的多染色病理图像执行自动获取图像向量间距离操作；通过统计学分析和归一化对自动获取的向量间距离执行权重计算，获得不同染色在病理诊断中的重要性权重。该方法基于深度卷积神经网络模型，量化有病灶图像与健康图像间的差异，从而评估多种染色切片在病变诊断过程中的重要性。上述方法有效地将寻找权重的问题转化为度量健康染色切片和有病灶染色切片之间差异大小的问题，进而计算健康和有病灶染色切片的差异，从而实现量化不同染色切片在疾病诊断中权重的目的。该方法解决了传统技术中因常采用平均值而导致最终效果不佳的问题，成功获得了更具可靠性的多染色病理图像权重。
本发明实施例还提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，该程序被图1或图2中处理器执行。
本发明实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时，使得计算机执行上述图1或图2的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。
本发明中涉及的器件、装置、设备、系统的方框图仅作为示例性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
为了示例和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (3)
1.基于多种染色病理图像的诊断信息评估方法及系统，其特征在于，包括以下步骤：
针对待评估的多种染色病理图像进行预处理,包括对所述多种染色病理图像执行图像配准操作和构建数据集操作；所述针对待评估的多种染色病理图像执行图像配准操作，包括：执行多分辨率形变配准，首先在低分辨率下将图像进行整体轮廓配准，获得图像整体信息对应，然后将高分辨率下的病理图像分成小块，对每一图像块中的信息再次配准，最终拼接获得和高分辨率原始图像大小一致的配准后图像；所述对多种染色病理图像进行构建数据集操作，包括：对所述多种染色病理图像进行病灶区域标注，基于病灶区域和非病灶区域提取大小相同的图像块，其中80％划分为训练集，20％划分为测试集；随机在所述训练集中选取一对图像，若选取的一对图像来自同一种染色，且具有同样的病理特性，则定义为同类，若选取的一对图像来自不同染色，或具有不同的病理特性，则定义为异类，保证所述同类和所述异类图像对的比例接近于1：1；对所述测试集中每一种染色选取一对图像，若选取的一对图像具有同样的病理特性，则定义为同类，若选取的一对图像具有不同的病理特性，则定义为异类，保证所述同类数据和所述异类图像的比例接近于1：1；搭建模型的主要目的在于比较不同病灶区域以及非病灶区域间的相似度，从而量化不同染色病理图像所包含的诊断信息；因此，需要在图像块采集的基础上，构建比例均衡的图像对，即来自同一类别的图像对与来自不同类别的图像对在数量上保持大致相同，才能完成后续的模型训练任务；
对预处理后的所述多种染色病理图像依次利用深度卷积神经网络进行模型训练，通过基于多种染色病理图像的诊断信息评估网络模型，对执行预处理后的多种染色病理图像执行自动获取图像向量间距离操作；
通过统计学分析和归一化对自动获取的向量间距离执行权重计算，获得不同染色病理图像诊断信息重要性的数值化评估指标，所述权重计算包括：通过统计学方法，统计所述测试集中同类和异类病理图像向量间距离的平均值和方差，计算所述测试集中同类和异类病理图像的平均差异；对不同染色病理图像的所述测试集中异类病理图像的平均差异执行归一化，从而获得不同染色病理图像的诊断信息量的数值评估指标；异类图像向量间距离的平均值即是图像病灶区域和非病灶区域的平均差异，对不同染色的病灶区域和非病灶区域的平均差异执行归一化得到不同染色病理图像诊断信息重要性的权重；
差异计算作用于对模型进行良好的训练，并输出不同染色病理图像病灶区域和非病灶区域之间的差异，实现将染色权重量化为图像区域间差异的目的；权重计算用于计算不同染色病理图像所包含诊断信息重要性的权重，根据统计学方法对输出的图像病灶区域和非病灶区域之间的向量间距离进行假设检验和平均处理，并对平均值归一化，获得不同染色病理图像的诊断信息量的数值评估指标。
2.根据权利要求1所述的基于多种染色病理图像的诊断信息评估方法及系统，其特征在于，所述针对待评估的多染色病理图像进行差异计算，包括：使用所述通过图像预处理操作后的所述多种染色病理图像对深度卷积神经网络模型进行训练，使得模型在区分所述训练集同类和异类病理图像上具有良好分类效果。
3.根据权利要求1所述的基于多种染色病理图像的诊断信息评估方法及系统，其特征在于，所述针对待评估的多种染色病理图像进行差异计算，包括：通过所述能够良好区分训练集中同类和异类病理图像的深度学习网络模型，自动获取所述测试集中同类和异类病理图像的向量间距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010960782.9A CN112258447B (zh) | 2020-09-14 | 2020-09-14 | 基于多种染色病理图像的诊断信息评估方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010960782.9A CN112258447B (zh) | 2020-09-14 | 2020-09-14 | 基于多种染色病理图像的诊断信息评估方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112258447A CN112258447A (zh) | 2021-01-22 |
| CN112258447B true CN112258447B (zh) | 2023-12-22 |
Family
ID=74232928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010960782.9A Active CN112258447B (zh) | 2020-09-14 | 2020-09-14 | 基于多种染色病理图像的诊断信息评估方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112258447B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408717A (zh) * | 2014-11-24 | 2015-03-11 | 北京航空航天大学 | 一种基于着色分离的病理图像颜色质量综合评价方法 |
| CN105550651A (zh) * | 2015-12-14 | 2016-05-04 | 中国科学院深圳先进技术研究院 | 一种数字病理切片全景图像自动分析方法及系统 |
| CN108305249A (zh) * | 2018-01-24 | 2018-07-20 | 福建师范大学 | 基于深度学习的全尺度病理切片的快速诊断和评分方法 |
| CN109544507A (zh) * | 2018-10-18 | 2019-03-29 | 清影医疗科技（深圳）有限公司 | 一种病理图像处理方法及系统、设备、存储介质 |
| CN109785943A (zh) * | 2018-12-21 | 2019-05-21 | 程俊美 | 一种病理监控和诊断信息处理系统及方法 |
| CN110175566A (zh) * | 2019-05-27 | 2019-08-27 | 大连理工大学 | 一种基于rgbd融合网络的手部姿态估计系统及方法 |
| CN110826576A (zh) * | 2019-10-10 | 2020-02-21 | 浙江大学 | 一种基于多模态特征级融合的宫颈病变预测系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130338016A1 (en) * | 2012-04-17 | 2013-12-19 | Vala Sciences, Inc. | Method For Integrated Pathology Diagnosis And Digital Biomarker Pattern Analysis |
-
2020
- 2020-09-14 CN CN202010960782.9A patent/CN112258447B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408717A (zh) * | 2014-11-24 | 2015-03-11 | 北京航空航天大学 | 一种基于着色分离的病理图像颜色质量综合评价方法 |
| CN105550651A (zh) * | 2015-12-14 | 2016-05-04 | 中国科学院深圳先进技术研究院 | 一种数字病理切片全景图像自动分析方法及系统 |
| CN108305249A (zh) * | 2018-01-24 | 2018-07-20 | 福建师范大学 | 基于深度学习的全尺度病理切片的快速诊断和评分方法 |
| CN109544507A (zh) * | 2018-10-18 | 2019-03-29 | 清影医疗科技（深圳）有限公司 | 一种病理图像处理方法及系统、设备、存储介质 |
| CN109785943A (zh) * | 2018-12-21 | 2019-05-21 | 程俊美 | 一种病理监控和诊断信息处理系统及方法 |
| CN110175566A (zh) * | 2019-05-27 | 2019-08-27 | 大连理工大学 | 一种基于rgbd融合网络的手部姿态估计系统及方法 |
| CN110826576A (zh) * | 2019-10-10 | 2020-02-21 | 浙江大学 | 一种基于多模态特征级融合的宫颈病变预测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112258447A (zh) | 2021-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11813047B2 (en) | Automatic quantification of cardiac MRI for hypertrophic cardiomyopathy | |
| CN109584254B (zh) | 一种基于深层全卷积神经网络的心脏左心室分割方法 | |
| CN107369160B (zh) | 一种oct图像中脉络膜新生血管分割算法 | |
| CN109325942B (zh) | 基于全卷积神经网络的眼底图像结构分割方法 | |
| Ammar et al. | Automatic cardiac cine MRI segmentation and heart disease classification | |
| CN107945173B (zh) | 一种基于深度学习的皮肤疾病检测方法以及系统 | |
| CN109242860B (zh) | 基于深度学习及权重空间集成的脑肿瘤图像分割方法 | |
| CN111079620B (zh) | 基于迁移学习的白细胞图像检测识别模型构建方法及应用 | |
| Zhang et al. | Automatic assessment of full left ventricular coverage in cardiac cine magnetic resonance imaging with fisher-discriminative 3-D CNN | |
| CN116188423B (zh) | 基于病理切片高光谱图像的超像素稀疏解混检测方法 | |
| CN110729045A (zh) | 一种基于上下文感知残差网络的舌图像分割方法 | |
| CN114600155A (zh) | 用于细胞检测和分割的弱监督多任务学习 | |
| CN112348059A (zh) | 基于深度学习的多种染色病理图像分类方法及系统 | |
| Zhou et al. | Automatic optic disc detection using low-rank representation based semi-supervised extreme learning machine | |
| CN110288574A (zh) | 一种超声辅助诊断肝肿块系统及方法 | |
| CN114694236A (zh) | 一种基于循环残差卷积神经网络的眼球运动分割定位方法 | |
| Uslu et al. | A recursive Bayesian approach to describe retinal vasculature geometry | |
| CN104933723B (zh) | 基于稀疏表示的舌图像分割方法 | |
| George et al. | A two-stage CNN model for the classification and severity analysis of retinal and choroidal diseases in OCT images | |
| CN117934489A (zh) | 基于残差和金字塔切分注意力的眼底硬渗出物分割方法 | |
| Vasudeva et al. | Classifying Skin Cancer and Acne using CNN | |
| Kugelman et al. | Constructing synthetic chorio-retinal patches using generative adversarial networks | |
| CN112258447B (zh) | 基于多种染色病理图像的诊断信息评估方法及系统 | |
| CN116958679A (zh) | 一种基于弱监督的目标检测方法及相关设备 | |
| Kumari et al. | Automated process for retinal image segmentation and classification via deep learning based cnn model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |