CN112926612A - 病理图像分类模型训练方法、病理图像分类方法及装置 - Google Patents
病理图像分类模型训练方法、病理图像分类方法及装置 Download PDFInfo
- Publication number
- CN112926612A CN112926612A CN201911242738.8A CN201911242738A CN112926612A CN 112926612 A CN112926612 A CN 112926612A CN 201911242738 A CN201911242738 A CN 201911242738A CN 112926612 A CN112926612 A CN 112926612A
- Authority
- CN
- China
- Prior art keywords
- pathological
- image
- sample image
- information
- classified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 292
- 238000013145 classification model Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000012549 training Methods 0.000 title claims abstract description 47
- 230000001131 transforming effect Effects 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 31
- 230000007170 pathology Effects 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 10
- 230000002708 enhancing effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 206010028980 Neoplasm Diseases 0.000 abstract description 17
- 201000011510 cancer Diseases 0.000 abstract description 17
- 206010006187 Breast cancer Diseases 0.000 description 11
- 208000026310 Breast neoplasm Diseases 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000000481 breast Anatomy 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 229910052750 molybdenum Inorganic materials 0.000 description 2
- 239000011733 molybdenum Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011369 optimal treatment Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了病理图像分类模型训练方法、病理图像分类方法及装置。该方法包括：获取样本图像；每张样本图像包括：该样本图像的标签信息，标签信息为指示样本图像包含病理组织以及样本图像不包含病理组织的信息；包含病理组织的样本图像还包括病理组织的位置信息、尺寸信息以及方向信息；将样本图像的尺寸进行变换，得到目标样本图像，目标样本图像包括不同尺寸的样本图像；基于目标样本图像，训练多分类模型作为病理图像分类模型，能够快速识别癌症病理组织，提高了病理组织分类的速度和准确性。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种病理图像分类模型训练方法、病理图像分类方法及装置。
背景技术
乳腺癌位于我国女性恶性肿瘤发病率中的第一位，而我国乳腺癌患者的五年生存率不到60％。因此，乳腺癌的早筛查、早诊断对提升乳腺癌的生存率非常重要。临床上，相对于伦琴射线(X-ray)、钼靶、核磁共振等图像，病理图像是医生最后确诊乳腺癌的重要标准，而对病理图像进行准确地分类是医生制订最佳治疗方案的重要依据。
传统的处理方法使用人工特征提取和传统的机器学习算法，基于人工设计特征的核主成分分析、颜色空间下形状特征和纹理特征、局部二值模式(Local Binary Patterns，LBP)和灰度共生矩阵(Grey-Level Co-occurrence Matrix，GLCM)等，并结合支持向量机(Support Vector Machine，SVM)和随机森林等分类算法实现癌症病理图像的分类。但是人工特征提取方法，不仅需要工程人员具备丰富的专业领域知识，而且需要耗费大量的时间和精力。
因此，目前的乳腺癌病理图片的处理方法还存在无法快速识别癌症病理组织的问题。
发明内容
本发明实施例提供了一种病理图像分类模型训练方法、病理图像分类方法及装置，能够解决无法快速识别癌症病理组织的问题。
第一方面，提供了一种病理图像分类模型训练方法，该方法包括：
获取样本图像；每张样本图像包括：该样本图像的标签信息，标签信息为指示样本图像包含病理组织以及样本图像不包含病理组织的信息；包含病理组织的样本图像还包括病理组织的位置信息、尺寸信息以及方向信息；
将样本图像的尺寸进行变换，得到目标样本图像，目标样本图像包括不同尺寸的样本图像；
基于目标样本图像，训练多分类模型作为病理图像分类模型。
在一种可能的实施方式中，基于目标样本图像，训练分类模型作为病理图像分类模型，包括：
将目标样本图像输入至多分类模型中，得到目标样本图像的预测信息；
通过多分类模型中的损失函数，确定预测信息和标签信息的损失值；
基于损失值调整多分类模型中的参数，得到病理图像分类模型。
在一种可能的实施方式中，损失函数满足下述公式：
其中，x表示预测信息；y表示标签信息，θ表示多分类模型的参数，i＝1,2,3,……,N，N为整数，j＝1,2,3,……,k，k为整数，ly表示指示性函数。
在一种可能的实施方式中，该方法还包括：
获取原始病理图像；
对原始病理图像进行滤除噪声、增强对比度以及二值化，得到灰度病理图像；
将灰度病理图像输入预先训练的目标定位模型中，确定灰度病理图像中病理组织的位置信息、尺寸信息以及方向信息。
在一种可能的实施方式中，该方法还包括：
获取原始病理样本图像；
将原始病理样本图像输入至中心网络中，确定原始病理样本图像的定位信息；
基于定位信息、Dice损失函数和焦点损失函数对中心网络进行训练，确定目标定位模型。
第二方面，提供了一种病理图像分类方法，该方法包括：
将目标待分类病理图像进行多尺度变换，确定多个不同尺度的待分类病理图像；
将多个不同尺度的待分类病理图像输入至如权利要求1-5任一项的病理图像分类模型中，对待分类病理图像进行分类。
在一种可能的实施方式中，在将待分类病理图像进行多尺度变换，确定多个不同尺度的待分类病理图像之前，方法还包括：
获取待分类原始病理图像；
对待分类原始病理图像进行滤除噪声、增强对比度以及二值化，得到待分类灰度病理图像；
将待分类灰度病理图像输入至预先训练的目标定位模型中，确定待分类灰度病理图像的定位信息；
将包含定位信息的待分类灰度病理图像作为目标待分类病理图像。
第三方面，提供了一种病理图像分类模型训练装置，该装置包括：
获取模块，用于获取多张样本图像；每张样本图像包括：该样本图像的标签信息，标签信息为指示样本图像包含病理组织以及样本图像不包含病理组织的信息；包含病理组织的样本图像还包括病理组织的位置信息、尺寸信息以及方向信息；
变换模块，用于将多张样本图像的尺寸进行变换，得到多张目标样本图像，目标样本图像包括不同尺寸的样本图像；
训练模块，用于基于目标样本图像，训练多分类模型作为病理图像分类模型。
在一种可能的实施方式中，训练模块，具体用于：
将目标样本图像输入至多分类模型中，得到目标样本图像的预测信息；
通过多分类模型中的损失函数，确定预测信息和标签信息的损失值；
基于损失值调整多分类模型中的参数，得到病理图像分类模型。
在一种可能的实施方式中，损失函数满足下述公式：
其中，x表示预测信息；y表示标签信息，θ表示多分类模型的参数，i＝1,2,3,……,N，N为整数，j＝1,2,3,……,k，k为整数，ly表示指示性函数。
在一种可能的实施方式中，该装置还包括：
获取模块，用于获取原始病理图像；
图像处理模块，用于对原始病理图像进行滤除噪声、增强对比度以及二值化，得到灰度病理图像；
确定模块，用于将灰度病理图像输入预先训练的目标定位模型中，确定灰度病理图像中病理组织的位置信息、尺寸信息以及方向信息。
在一种可能的实施方式中，该装置还包括：
获取模块，还用于获取原始病理样本图像；
确定模块，还用于将原始病理样本图像输入至中心网络中，确定原始病理样本图像的定位信息；
确定模块，还用于基于定位信息、Dice损失函数和焦点损失函数对中心网络进行训练，确定目标定位模型。
第四方面，提供了一种病理图像分类装置，该装置包括：
变换模块，用于将目标待分类病理图像的尺寸进行变换，确定多个不同尺度的待分类病理图像；
分类模块，用于将多个不同尺度的待分类病理图像输入至第一方面或第一方面任一种可能的实施方式中的病理图像分类模型中，对待分类病理图像进行分类。
在一种可能的实施方式中，该装置还包括：
获取模块，用于获取装置获取待分类原始病理图像；
处理模块，用于对待分类原始病理图像进行滤除噪声、增强对比度以及二值化，得到待分类灰度病理图像；
确定模块，用于将待分类灰度病理图像输入至预先训练的目标定位模型中，确定待分类灰度病理图像的定位信息；将包含定位信息的待分类灰度病理图像作为目标待分类病理图像。
第五方面，本发明实施例提供了一种设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面或者第一方面任一可能实现方式的方法，或者当计算机程序指令被处理器执行时实现第二方面或者第二方面任一可能实现方式的方法。
第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现第一方面或者第一方面任一可能实现方式的方法，或者当计算机程序指令被处理器执行时实现第二方面或者第二方面任一可能实现方式的方法。
基于提供的病理图像分类模型训练方法、病理图像分类方法及装置，通过获取样本图像；每张样本图像包括：该样本图像的标签信息，标签信息为指示样本图像包含病理组织以及样本图像不包含病理组织的信息；包含病理组织的样本图像还包括病理组织的位置信息、尺寸信息以及方向信息；将样本图像的尺寸进行变换，得到目标样本图像，目标样本图像包括不同尺寸的样本图像；基于目标样本图像，训练多分类模型作为病理图像分类模型，能够快速识别癌症病理组织，提高了病理组织分类的速度和准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种病理图像分类模型训练方法的流程示意图；
图2是本发明实施例提供的一种病理图像分类方法的流程示意图；
图3是本发明实施例提供的一种病理图像分类模型训练装置的结构示意图；
图4是本发明实施例提供的一种病理图像分类装置的结构示意图；
图5是本发明一些实施例提供的一种设备的结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
乳腺癌位于我国女性恶性肿瘤发病率中的第一位，乳腺癌的年发病率在万分之四左右，并且年发病率还在以3％～4％的速度增长。临床上，相对于X-ray、钼靶、核磁共振等图像，病理图像是医生最后确诊乳腺癌的重要标准，而对病理图像进行准确地分类是医生制订最佳治疗方案的重要依据。
目前，使用人工特征提取和传统的机器学习算法，基于人工设计特征的核主成分分析、颜色空间下形状特征和纹理特征、LBP和GLCM等，并结合SVM和随机森林等分类算法实现癌症病理图像的分类。但是人工特征提取方法需要依赖专家经验，而该领域专家不仅需要工程人员具备丰富的专业领域知识，而且需要耗费大量的时间和精力进行培训，无法快速识别癌症病理组织的问题。
因此，本发明实施例提供了一种病理图像分类模型训练方法、病理图像分类方法及装置，能够快速识别癌症病理组织，提高了病理组织分类的速度和准确性。
为便于对本实施例技术方案的理解，首先对本发明实施例所公开的一种病理图像分类模型训练方法进行详细介绍。
图1示出了本发明实施例提供的一种病理图像分类模型训练方法的流程示意图。
如图1所示，本发明实施例提供了一种病理图像分类模型训练方法，该方法可以包括以下步骤：
S101：获取样本图像；每张样本图像包括：该样本图像的标签信息，标签信息为指示样本图像包含病理组织以及样本图像不包含病理组织的信息；包含病理组织的样本图像还包括病理组织的位置信息、尺寸信息以及方向信息。
在本发明的一个实施例中，样本图像是包括包含病理组织的样本图像和不包含病理组织的样本图像。包含病理组织的样本图像的标签信息可以为“是”，也可以为“1”。不包含病理组织的样本图像的标签信息可以为“否”，也可以为“0”。
包含病理组织的样本图像包括病理组织在样本图像中的位置信息和方向信息，还包括病理组织的尺寸信息。
具体的，本发明实施例通过下述方法确定病理组织的尺寸信息以及病理组织在样本图像中的位置信息和方向信息：
获取原始病理图像。
对原始病理图像进行滤除噪声、增强对比度以及二值化，得到灰度病理图像。
将灰度病理图像输入预先训练的目标定位模型中，确定灰度病理图像中病理组织的位置信息、尺寸信息以及方向信息。
原始病理图像中包括很多与图像无关的噪声，并且对比度也比较弱。在这里，需要对原始病理图像进行噪声滤除，并增强原始病理图像的对比度。例如，可以采用黑塞矩阵(Hessian Matrix)对原始病理图像滤除与原始病理图像无关的噪声、增强原始病理图像中病理组织与其它图像区域的对比度。
对原始病理图像进行噪声滤除和对比度增强后，还需要对原始图像进行二值化处理，得到灰度病理图像。可以将原始病理图像中的像素点的灰度置为0或者255。也可以将整个原始病理图像处理为能够呈现出明显的黑白效果，也即，将具有256个亮度等级的灰度原始病理图像进行阈值选取。在使用黑塞矩阵处理后的原始病理图像的基础上，对原始病理图像进行二值化处理，能够将原始病理图像中的病理组织和背景图像清晰的分割出来。
为了提高病理组织检测的速度和精度，可以将灰度病理图像输入至预先训练的目标定位模型中，进行病理组织目标检测。
在本发明的一个实施例中，目标定位模型通过下述方式进行训练：
获取原始病理样本图像。
将原始病理样本图像输入至中心网络中，确定原始病理样本图像的定位信息。
基于定位信息、Dice损失函数和焦点损失函数对中心网络进行训练，确定目标定位模型。
获取到原始病理样本图像后，首先可以计算低分辨率的原始病理样本图像，然后使用高斯核确定一定范围的区域，即高斯区域。将同一类别的高斯区域进行重叠，可以选择高斯区域对应的高斯值较大的原始病理样本图像进行模型训练。中心网络(CenterNet)能够基于病理组织图像中的关键点去确定病理组织边框的中心点，然后回归出病理组织的属性信息。例如，病理组织在图像中的位置信息、尺寸信息以及方向信息。其中，病理组织的位置信息可以是表示病理组织的三维(3Dimensions，3D)位置，例如，乳腺肿瘤组织在乳腺中的3D位置。此外，目标定位模型还可以回归出病理组织在器官组织中的姿态。
例如，经过中心网络中的全卷积层得到关键点热图。关键点热图能够表示出病理组织的区域。其中，关键点热图中的关键点
满足下述方式：
其中，W表示灰度病理图像的宽度，H表示灰度病理图像的高度，R表示输出步长，C表示病理组织区域的数量。
本发明实施例采用中心网络架构进行病理组织区域的快速自动定位检测，该网络架构不需要生成预选框(Anchor-Free)，也不用额外耗费资源去计算预选框和真实框的重叠度(Intersection over Union，IOU)，中心网络的网络架构使用关键点检测方法确定病理组织区域的中心点，然后回归出目标的其他属性，计算速度更快，更能实际应用时实时性的要求。
经过中心网络，确定病理组织在原始病理样本图像中的定位信息，也即病理组织在图像中的位置信息、尺寸信息以及方向信息。基于定位信息、Dice损失函数和焦点(Focal)损失函数对中心网络进行训练，得到目标定位模型。其中，Dice损失学习类型分布，缓解了不平衡像素问题，焦点损失函数使得目标定位模型更好地学习分类较差的像素。
本发明实施例使用Dice损失函数和焦点损失函数共同进行网络架构的训练。Dice损失学习类型分布，缓解了图像的不平衡像素问题。焦点损失使得模型更好地学习分类较差的像素。可以更好地训练神经网络，更好地反映模型与数据样本之间的差距。
已经完成对肿瘤组织的目标检测定位，根据目标定位模型确定病理组织的中心点、大小、位置和方向，提取出包含病理组织的区域作为正样本，另随机裁剪不包含肿瘤组织的区域作为负样本。生成的数据集正负样本数量可达百万级左右。
S102：将样本图像的尺寸进行变换，得到目标样本图像，目标样本图像包括不同尺寸的样本图像。
在本发明的一个实施例中，为了能够提高图像识别的精度，在进行模型训练之前，需要将图片进行多尺寸变换。在基础网络部分常常会生成比原图小数十倍的特征图，导致小物体的特征描述不容易被检测网络捕捉。通过输入更大、更多尺寸的图片进行训练，能够在一定程度上提高检测模型对物体大小的鲁棒性，仅在测试阶段引入多尺度，也可享受大尺寸和多尺寸带来的增益。
因此，在训练模型之前，根据病理组织的病灶特征预先定义图片的尺寸。当接收到样本图像后，将样本图像按照预设的尺寸进行多尺寸变化，得到目标样本图像。
S103：基于目标样本图像，训练多分类模型作为病理图像分类模型。
在本发明的一个实施例中，病理图像分类模型是由VGG16－残差神经网络(Resnet50)二级网络以及分类器构成的多分类模型。VGG16采用更小的卷积核3x3，参数量更少；此外池化核变小，VGG中的池化核是2x2，步长为2。通过设定低阈值将VGG16作为特征粗选网络。
因为卷积神经网络(Convolutional Neural Networks，CNN)能够提取不同水平的特征，网络的层数越多，意味着能够提取到不同水平的特征越丰富。并且，越深的网络提取的特征越抽象，越具有语义信息。对于原来的网络，如果简单地增加深度，会导致梯度弥散或梯度爆炸。对于该问题的解决方法是正则化初始化和中间的正则化层(BatchNormalization)，进而能够训练的网络层数更多。但是上述训练方式还存在退化问题。网络层数增加，但是在训练集上的准确率却饱和甚至下降了，这个不能解释为过拟合，因为过拟合应该表现为在训练集上表现更好才对。退化问题说明了深度网络不能很简单地进行优化。Resnet50网络通过引入残差结构解决了随着网络加深，准确率不下降的问题。通过设定高阈值将Resnet50作为特征精选网络。
Softmax分类器是logistic模型在多分类问题上的推广将目标变量分为多类的算法。假设有N幅目标样本图像和图像特征为
每一个目标样本图像的标记为{yi∈{1,2,…,k},k≥2}，共k类。对于给定的目标样本图像xi，用假设函数估计出其属于每个类别j的概率值p(yi＝j|xi)。
具体的，将目标样本图像输入至多分类模型中，得到目标样本图像的预测信息。
通过多分类模型中的损失函数，确定预测信息和标签信息的损失值。
基于损失值调整多分类模型中的参数，得到病理图像分类模型。
在本发明的一个实施例中，预测信息可以是图像中是否包含病理组织，例如包含病理组织为“1”，不包含病理组织为“0”。对于包含病理组织的图像，预测信息还包括该病理组织的病理类型。例如，良性肿瘤、恶性肿瘤等。
病理图像分类模型的损失函数满足下述公式：
其中，x表示预测信息；y表示标签信息，θ表示多分类模型的参数，i＝1,2,3,……,N，N为整数，j＝1,2,3,……,k，k为整数，ly表示指示性函数。
采用VGG16同时设定低阈值作为粗选网络，采用Resnet50同时设定高阈值作为精选网络，融合两个深层网络提取出的深度特征，并结合Softmax分类器，可以灵活地实现有无病理组织或者病理组织类型的分类。网络的层数越多，意味着能够提取到不同水平的特征越丰富。越深的网络提取的特征越抽象，越具有语义信息。
本发明实施例通过训练得到病理图像分类模型，能够快速识别癌症病理组织，并对癌症病理组织进行分类。
图1是本发明实施例提供的一种病例图像分类模型的训练方法，下面使用图1所示实例训练出的病例图像分类模型对病例图像进行分类，其具体分类过程如图2所示。
图2示出了本发明实施例提供的一种病理图像分类方法的流程示意图。
如图2所示，该病理图像分类方法，可以包括以下步骤：
S201：将目标待分类病理图像的尺寸进行变换，确定多个不同尺寸的待分类病理图像。
目标到分类病理图像是将待分类原始病例图像进行预处理得到。例如，待分类原始病理图像中的噪声比较多，对比度也比较弱，那么就需要对待分类原始病理图像进行噪声滤除以及对比度增强等。
具体的，获取待分类原始病理图像。
对待分类原始病理图像进行滤除噪声、增强对比度以及二值化，得到待分类灰度病理图像。
将待分类灰度病理图像输入至预先训练的目标定位模型中，确定待分类灰度病理图像的定位信息。
将包含定位信息的待分类灰度病理图像作为目标待分类病理图像。
可以采用黑塞矩阵进行噪声滤除、对比度增强对待分类原始病理图像。然后讲预处理后的待分类原始病理图像进行二值化，得到待分类灰度病理图像。基于目标定位模型对待分类灰度病理图像确定病理组织区域的中心点。然后回归出病理组织的属性信息。例如，病理组织在待分类灰度图像中的位置信息、尺寸信息以及方向信息。其中，病理组织的位置信息可以是表示病理组织的3D位置，例如，乳腺肿瘤组织在乳腺中的3D位置。此外，目标定位模型还可以回归出病理组织在器官组织中的姿态。
将得到的定位信息携带于待分类灰度病理图像中，作为目标待分类病理图像。使用病理图像分类模型，对目标待分类病理图像进行分类。
S202：将多个不同尺寸的待分类病理图像输入至病理图像分类模型中，对待分类病理图像进行分类。
在本发明的一个实施例中，分类后的结果可以为良性肿瘤、恶性肿瘤等。
本发明实施例使用病理组织分类模型，能够快速识别癌症病理组织，并对癌症病理组织进行分类，提高了病理组织分类的速度和准确性。
图3示出了本发明实施例提供的一种病理图像分类模型训练装置的结构示意图。
如图3所示，本发明实施例提供了一种病理图像分类模型训练装置，该装置包括：
获取模块301，用于获取多张样本图像；每张样本图像包括：该样本图像的标签信息，标签信息为指示样本图像包含病理组织以及样本图像不包含病理组织的信息；包含病理组织的样本图像还包括病理组织的位置信息、尺寸信息以及方向信息；
变换模块302，用于将多张样本图像的尺寸进行变换，得到多张目标样本图像，目标样本图像包括不同尺寸的样本图像；
训练模块303，用于基于目标样本图像，训练多分类模型作为病理图像分类模型。
可选的，训练模块303，具体用于：
将目标样本图像输入至多分类模型中，得到目标样本图像的预测信息；
通过多分类模型中的损失函数，确定预测信息和标签信息的损失值；
基于损失值调整多分类模型中的参数，得到病理图像分类模型。
在一种可能的实施方式中，损失函数满足下述公式：
其中，x表示预测信息；y表示标签信息，θ表示多分类模型的参数，i＝1,2,3,……,N，N为整数，j＝1,2,3,……,k，k为整数，ly表示指示性函数。
可选的，该装置还包括：
获取模块301，用于获取原始病理图像；
图像处理模块304，用于对原始病理图像进行滤除噪声、增强对比度以及二值化，得到灰度病理图像；
确定模块305，用于将灰度病理图像输入预先训练的目标定位模型中，确定灰度病理图像中病理组织的位置信息、尺寸信息以及方向信息。
可选的，该装置还包括：
获取模块301，还用于获取原始病理样本图像；
确定模块305，还用于将原始病理样本图像输入至中心网络中，确定原始病理样本图像的定位信息；
确定模块305，还用于基于定位信息、Dice损失函数和焦点损失函数对中心网络进行训练，确定目标定位模型。
本发明实施例提供的卡面图片检测装置执行图1所示的方法中的各个步骤，并能够达到能够快速识别癌症病理组织，并对癌症病理组织进行分类，提高了病理组织分类的速度和准确性的技术效果，为简洁描述，再此不在详细赘述。
图4示出了本发明实施例提供的一种病理图像分类装置的结构示意图。
如图4所示，本发明实施例提供了一种病理图像分类装置，该装置包括：
变换模块401，用于将目标待分类病理图像的尺寸进行变换，确定多个不同尺度的待分类病理图像；
分类模块402，用于将多个不同尺度的待分类病理图像输入至第一方面或第一方面任一种可能的实施方式中的病理图像分类模型中，对待分类病理图像进行分类。
可选的，该装置还包括：
获取模块，用于获取装置获取待分类原始病理图像；
处理模块，用于对待分类原始病理图像进行滤除噪声、增强对比度以及二值化，得到待分类灰度病理图像；
确定模块，用于将待分类灰度病理图像输入至预先训练的目标定位模型中，确定待分类灰度病理图像的定位信息；将包含定位信息的待分类灰度病理图像作为目标待分类病理图像。
本发明实施例提供的卡面图片检测装置执行图2所示的方法中的各个步骤，并能够达到能够快速识别癌症病理组织，并对癌症病理组织进行分类，提高了病理组织分类的速度和准确性的技术效果，为简洁描述，再此不在详细赘述。
另外，本发明实施例的方法可以由设备来实现。
图5示出了本发明实施例提供的设备的硬件结构示意图。设备可以包括处理器501以及存储有计算机程序指令的存储器502。
具体地，处理器501可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器502可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器502可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器502可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器502可在数据处理装置的内部或外部。在特定实施例中，存储器502是非易失性固态存储器。在特定实施例中，存储器502包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器501通过读取并执行存储器502中存储的计算机程序指令，以实现上述实施例中的任意一种病理图像分类模型训练方法和病理图像分类方法。
在一个示例中，设备还可包括通信接口503和总线510。其中，如图5所示，处理器501、存储器502、通信接口503通过总线510连接并完成相互间的通信。
通信接口503，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线510包括硬件、软件或两者，将设备的部件彼此耦接在一起。举例来说而非限制，总线可包括增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线610可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
另外，结合上述实施例中的病理图像分类模型训练方法和病理图像分类方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种病理图像分类模型训练方法和病理图像分类方法。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (11)
1.一种病理图像分类模型训练方法，其特征在于，所述方法包括：
获取样本图像；每张样本图像包括：该样本图像的标签信息，所述标签信息为指示样本图像包含病理组织以及样本图像不包含病理组织的信息；所述包含病理组织的样本图像还包括病理组织的位置信息、尺寸信息以及方向信息；
将所述样本图像的尺寸进行变换，得到目标样本图像，所述目标样本图像包括不同尺寸的样本图像；
基于所述目标样本图像，训练多分类模型作为病理图像分类模型。
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标样本图像，训练分类模型作为病理图像分类模型，包括：
将所述目标样本图像输入至多分类模型中，得到所述目标样本图像的预测信息；
通过所述多分类模型中的损失函数，确定所述预测信息和所述标签信息的损失值；
基于所述损失值调整所述多分类模型中的参数，得到所述病理图像分类模型。
3.根据权利要求2所述的方法，其特征在于，所述损失函数满足下述公式：
其中，x表示预测信息；y表示标签信息，θ表示多分类模型的参数，i＝1,2,3,……,N，N为整数，j＝1,2,3,……,k，k为整数，l y表示指示性函数。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取原始病理图像；
对所述原始病理图像进行滤除噪声、增强对比度以及二值化，得到灰度病理图像；
将所述灰度病理图像输入预先训练的目标定位模型中，确定所述灰度病理图像中病理组织的位置信息、尺寸信息以及方向信息。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
获取原始病理样本图像；
将所述原始病理样本图像输入至中心网络中，确定所述原始病理样本图像的定位信息；
基于所述定位信息、Dice损失函数和焦点损失函数对所述中心网络进行训练，确定所述目标定位模型。
6.一种病理图像分类方法，其特征在于，所述方法包括：
将目标待分类病理图像的尺寸进行变换，确定多个不同尺寸的待分类病理图像；
将所述多个不同尺寸的待分类病理图像输入至如权利要求1-5任一项所述的病理图像分类模型中，对所述待分类病理图像进行分类。
7.根据权利要求6所述的方法，其特征在于，在将待分类病理图像进行多尺度变换，确定多个不同尺寸的待分类病理图像之前，所述方法还包括：
获取待分类原始病理图像；
对所述待分类原始病理图像进行滤除噪声、增强对比度以及二值化，得到待分类灰度病理图像；
将所述待分类灰度病理图像输入至预先训练的目标定位模型中，确定所述待分类灰度病理图像的定位信息；
将包含所述定位信息的待分类灰度病理图像作为所述目标待分类病理图像。
8.一种病理图像分类模型训练装置，其特征在于，所述装置包括：
获取模块，用于获取样本图像；每张样本图像包括：该样本图像的标签信息，所述标签信息为指示样本图像包含病理组织以及样本图像不包含病理组织的信息；所述包含病理组织的样本图像还包括病理组织的位置信息、尺寸信息以及方向信息；
变换模块，用于将所述样本图像的尺寸进行变换，得到目标样本图像，所述目标样本图像包括不同尺寸的样本图像；
训练模块，用于基于所述目标样本图像，训练多分类模型作为病理图像分类模型。
9.一种病理图像分类装置，其特征在于，所述装置包括：
变换模块，用于将目标待分类病理图像的尺寸进行变换，确定多个不同尺度的待分类病理图像；
分类模块，用于将所述多个不同尺度的待分类病理图像输入至如权利要求1-5所述的病理图像分类模型中，对所述待分类病理图像进行分类。
10.一种设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-5中任一项所述的方法；或者，当所述计算机程序指令被所述处理器执行时实现如权利要求6-7中任一项所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-5中任一项所述的方法；或者当所述计算机程序指令被处理器执行时实现如权利要求6-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911242738.8A CN112926612A (zh) | 2019-12-06 | 2019-12-06 | 病理图像分类模型训练方法、病理图像分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911242738.8A CN112926612A (zh) | 2019-12-06 | 2019-12-06 | 病理图像分类模型训练方法、病理图像分类方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112926612A true CN112926612A (zh) | 2021-06-08 |
Family
ID=76161694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911242738.8A Pending CN112926612A (zh) | 2019-12-06 | 2019-12-06 | 病理图像分类模型训练方法、病理图像分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112926612A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114141339A (zh) * | 2022-01-26 | 2022-03-04 | 杭州未名信科科技有限公司 | 膜性肾病的病理图像分类方法、装置、设备及存储介质 |
| CN115359040A (zh) * | 2022-09-26 | 2022-11-18 | 至本医疗科技（上海）有限公司 | 预测待测对象的组织样本属性的方法、设备和介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764329A (zh) * | 2018-05-24 | 2018-11-06 | 复旦大学附属华山医院北院 | 一种肺癌病理图像数据集的构建方法 |
| US20190198156A1 (en) * | 2017-12-21 | 2019-06-27 | International Business Machines Corporation | Medical Image Classification Based on a Generative Adversarial Network Trained Discriminator |
| CN109948429A (zh) * | 2019-01-28 | 2019-06-28 | 上海依智医疗技术有限公司 | 图像分析方法、装置、电子设备及计算机可读介质 |
| CN110009623A (zh) * | 2019-04-10 | 2019-07-12 | 腾讯科技（深圳）有限公司 | 一种图像识别模型训练及图像识别方法、装置及系统 |
| CN110111344A (zh) * | 2019-05-13 | 2019-08-09 | 广州锟元方青医疗科技有限公司 | 病理切片图像分级方法、装置、计算机设备和存储介质 |
| CN110119710A (zh) * | 2019-05-13 | 2019-08-13 | 广州锟元方青医疗科技有限公司 | 细胞分类方法、装置、计算机设备和存储介质 |
| CN110490262A (zh) * | 2019-08-22 | 2019-11-22 | 京东方科技集团股份有限公司 | 图像处理模型生成方法、图像处理方法、装置及电子设备 |
-
2019
- 2019-12-06 CN CN201911242738.8A patent/CN112926612A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190198156A1 (en) * | 2017-12-21 | 2019-06-27 | International Business Machines Corporation | Medical Image Classification Based on a Generative Adversarial Network Trained Discriminator |
| CN108764329A (zh) * | 2018-05-24 | 2018-11-06 | 复旦大学附属华山医院北院 | 一种肺癌病理图像数据集的构建方法 |
| CN109948429A (zh) * | 2019-01-28 | 2019-06-28 | 上海依智医疗技术有限公司 | 图像分析方法、装置、电子设备及计算机可读介质 |
| CN110009623A (zh) * | 2019-04-10 | 2019-07-12 | 腾讯科技（深圳）有限公司 | 一种图像识别模型训练及图像识别方法、装置及系统 |
| CN110111344A (zh) * | 2019-05-13 | 2019-08-09 | 广州锟元方青医疗科技有限公司 | 病理切片图像分级方法、装置、计算机设备和存储介质 |
| CN110119710A (zh) * | 2019-05-13 | 2019-08-13 | 广州锟元方青医疗科技有限公司 | 细胞分类方法、装置、计算机设备和存储介质 |
| CN110490262A (zh) * | 2019-08-22 | 2019-11-22 | 京东方科技集团股份有限公司 | 图像处理模型生成方法、图像处理方法、装置及电子设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114141339A (zh) * | 2022-01-26 | 2022-03-04 | 杭州未名信科科技有限公司 | 膜性肾病的病理图像分类方法、装置、设备及存储介质 |
| CN115359040A (zh) * | 2022-09-26 | 2022-11-18 | 至本医疗科技（上海）有限公司 | 预测待测对象的组织样本属性的方法、设备和介质 |
| CN115359040B (zh) * | 2022-09-26 | 2023-08-15 | 至本医疗科技（上海）有限公司 | 预测待测对象的组织样本属性的方法、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rahim et al. | A survey on contemporary computer-aided tumor, polyp, and ulcer detection methods in wireless capsule endoscopy imaging | |
| CN109635846B (zh) | 一种多类医学图像判断方法和系统 | |
| CN111178449A (zh) | 结合计算机视觉特征和影像组学特征的肝癌图像分类方法和装置 | |
| CN108985345B (zh) | 一种基于肺部医学图像融合分类的检测装置 | |
| CN107451615A (zh) | 基于Faster RCNN的甲状腺乳头状癌超声图像识别方法及系统 | |
| CN111369605B (zh) | 一种基于边缘特征的红外与可见光图像的配准方法和系统 | |
| Hekal et al. | Automated early breast cancer detection and classification system | |
| CN108537102A (zh) | 基于稀疏特征与条件随机场的高分辨sar图像分类方法 | |
| CN114092450B (zh) | 一种基于胃镜检查视频的实时图像分割方法、系统、装置 | |
| CN112771516A (zh) | 分类装置、分类方法、程序以及信息记录介质 | |
| CN112926612A (zh) | 病理图像分类模型训练方法、病理图像分类方法及装置 | |
| Guo et al. | Multi-focus image fusion based on fully convolutional networks | |
| Saken et al. | Impact of image segmentation techniques on celiac disease classification usingscale invariant texture descriptors for standard flexible endoscopic systems | |
| Shankara et al. | Detection of lung cancer using convolution neural network | |
| Arefin et al. | Deep learning approach for detecting and localizing brain tumor from magnetic resonance imaging images | |
| CN113870194B (zh) | 深层特征和浅层lbp特征融合的乳腺肿瘤超声图像处理装置 | |
| Senthilkumaran | Automated Brain Tumor Detection and Classification in MRI Images: A Hybrid Image Processing Techniques. | |
| Liu et al. | Histopathologic cancer detection by dense-attention network with incorporation of prior knowledge | |
| Fadlil et al. | Butterfly Image Identification Using Multilevel Thresholding Segmentation and Convolutional Neural Network Classification with Alexnet Architecture | |
| Mazlin et al. | Partitioning intensity inhomogeneity colour images via Saliency-based active contour | |
| El-Sokkary et al. | Machine learning algorithms for breast cancer CADx system in the mammography | |
| Mahmoud et al. | Novel feature extraction methodology based on histopathalogical images and subsequent classification by Support Vector Machine | |
| VN et al. | Diagnosing Cancer Cells Using Histopathological Images with Deep Learning | |
| Pavel et al. | Cancer detection using image processing techniques based on cell counting, cell area measurement and clump detection | |
| Kumar et al. | A modified method to segment sharp and unsharp edged brain tumors in 2 d mri using automatic seeded region growing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210608 |