CN113139931A - 甲状腺切片图像分类模型训练方法、装置 - Google Patents

甲状腺切片图像分类模型训练方法、装置 Download PDF

Info

Publication number
CN113139931A
CN113139931A CN202110285736.8A CN202110285736A CN113139931A CN 113139931 A CN113139931 A CN 113139931A CN 202110285736 A CN202110285736 A CN 202110285736A CN 113139931 A CN113139931 A CN 113139931A
Authority
CN
China
Prior art keywords
image
thyroid
probability
classification model
slice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110285736.8A
Other languages
English (en)
Other versions
CN113139931B (zh
Inventor
武卓越
田雪叶
杨林
崔磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Diyingjia Technology Co ltd
Original Assignee
Hangzhou Diyingjia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Diyingjia Technology Co ltd filed Critical Hangzhou Diyingjia Technology Co ltd
Priority to CN202110285736.8A priority Critical patent/CN113139931B/zh
Publication of CN113139931A publication Critical patent/CN113139931A/zh
Application granted granted Critical
Publication of CN113139931B publication Critical patent/CN113139931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

本申请涉及一种甲状腺切片图像分类模型训练方法、装置。所述方法包括：获取预设放大倍数下甲状腺切片图像；对所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块；对所述图像块，通过图像块分类模型进行分类，获得所述图像块为恶性肿瘤的概率；所述图像块分类模型训练过程中，采用优化损失函数，通过反向传播算法调整模型参数；将所述概率映射到，与其对应的所述图像块在所述甲状腺切片图像的位置，获得所述甲状腺切片图像的概率热图；从所述概率热图中提取肿瘤的特征值输入SVM分类器进行训练，获得甲状腺切片图像分类模型。采用本方法能够提高模型分类的精确度。

Description

甲状腺切片图像分类模型训练方法、装置
技术领域
本申请涉及图像处理技术领域，特别是涉及一种甲状腺切片图像分类模型训练方法、装置。
背景技术
近几十年来甲状腺癌的全球发病率持续上升，增长速度在所有实体瘤中名列前茅，发病率每年以6％的速度递增。目前甲状腺癌仍以手术治疗为主，由于甲状腺术中的冰冻切片对判断甲状腺的良恶性的特异性较高，因此临床上往往依赖常规术中冰冻切片来决定进一步的治疗方案。但在百亿级像素的甲状腺冰冻切片中寻找肿瘤区域并判断切片良恶性对病理医生来说存在极大的挑战，病理医生有可能会因为经验不足或疲劳而对甲状腺冰冻切片解读错误，使患者错过最佳治疗时期。因此可以将深度学习应用在甲状腺冰冻切片良恶性判读方面，辅助医生进行疾病诊断，这样不但可以将医生从枯燥的工作中解放出来，而且降低了疾病误判率。
针对乳腺癌、肺癌等癌症，一些研究已经证明卷积神经网络是检测数字病理切片的有效工具。对于数字病理图像全切片分类问题，即判断数字病理切片中最严重的癌变类型问题，由于百万级像素的数字病理切片无法直接送入卷积神经网络进行训练，大部分研究者采取的做法是从数字病理切片中提取N×N大小的图像块作为训练数据，然后训练卷积神经网络充当图像块分类器，在预测时使用N×N大小的窗口从左到右、从上到小划过数字病理切片，并使用图像块分类器对划过的窗口尽行分类，最后综合图像块级别的分类结果得到全切片的分类结果，可以看到训练的图像块分类器的准确与否直接决定数字化病理切片分类结果的好坏。但是目前大部分先进的分类网络对图像块分类时存在严重的漏诊，这是因为甲状腺切片中细胞形态存在多样性，部分良性肿瘤区域甚至正常区域和恶性肿瘤区域具有相似的视觉特征。正是由于细胞形态的多样性直接导致了图像块分类器存在严重的漏诊情况，从而间接导致了全切片分类存在严重的漏诊情况。但是在临床诊断中将甲状腺恶性肿瘤判断为甲状腺良性肿瘤甚至是正常组织是不允许出现的，因为这样的漏诊将会直接导致病人错过最佳治疗时期。
总之，现有技术中根据甲状腺切片图像对甲状腺肿瘤良恶的判断方法，易将恶性肿瘤判断为良性肿瘤的概率较高。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高模型分类精度的甲状腺切片图像分类模型训练方法、装置。
一种甲状腺切片图像分类模型训练方法，所述方法包括：
获取预设放大倍数下甲状腺切片图像；
对所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块；
对所述图像块，通过图像块分类模型进行分类，获得所述图像块为恶性肿瘤的概率；所述图像块分类模型训练过程中，采用优化损失函数，通过反向传播算法调整模型参数；
将所述概率映射到，与其对应的所述图像块在所述甲状腺切片图像的位置，获得所述甲状腺切片图像的概率热图；
从所述概率热图中提取肿瘤特征，输入SVM分类器进行训练，获得甲状腺切片图像分类模型。
在其中一个实施例中，对所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块，包括：使用滑动窗口法将所述甲状腺切片图像从左到右、从上到下划成互不重叠的1024×1024图像。
在其中一个实施例中，在对所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块之后，包括：过滤背景占比超过50％的图像块。
在其中一个实施例中，在对所述图像块，通过图像块分类模型进行分类，获得所述图像块为恶性肿瘤的概率之前，包括：获取预设放大倍数下，带有标注的甲状腺切片图像；所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块，并根据标注基于所述图像块恶性或非恶性的标签；根据所述图像块和标签，对Inception-v3模型进行训练，获得图像块分类模型；其中，所述图像块分类模型训练过程中，采用优化损失函数，通过反向传播算法调整模型参数。
在其中一个实施例中，所述优化损失函数为：
Figure BDA0002980376310000031
Figure BDA0002980376310000032
Figure BDA0002980376310000033
其中，n为图像块数量，
Figure BDA0002980376310000034
为传统的交叉熵损失函数，
Figure BDA0002980376310000035
为图像块Xi的惩罚项，k为类别总数，j表示某一类别，yi为独热编码，并且yi＝[yi0,yi1]，pi为网络预测出的概率向量并且pi＝[pi0,pi1]，其中pi0为图像块Xi为非恶性的概率，pi1为图像块Xi为恶性的概率，
Figure BDA0002980376310000036
为图像块Xi的标签，若图像块为恶性则标签为1，否则标签为0，
Figure BDA0002980376310000037
为网络预测出的图像块标签。
在其中一个实施例中，从所述概率热图中提取肿瘤特征，输入SVM分类器进行训练，获得甲状腺切片图像分类模型，包括：根据所述概率热图，获取肿瘤概率的最大值特征值、肿瘤概率的平均概率特征值、肿瘤区域的面积特征值、肿瘤区域的长轴长度特征值、肿瘤区域的短轴长度特征值和肿瘤区域的周长特征值；根据所述肿瘤概率的最大值特征值、肿瘤概率的平均概率特征值、肿瘤区域的面积特征值、肿瘤区域的长轴长度特征值、肿瘤区域的短轴长度特征值和肿瘤区域的周长特征值，构建特征向量；将所述特征向量输入SVM分类器进行训练，获得甲状腺切片图像分类模型。
在其中一个实施例中，所述预设放大倍数为20×放大倍数。
一种甲状腺切片图像分类模型训练装置，所述装置包括：
图像获取模块，用于获取预设放大倍数下甲状腺切片图像；
图像划分模块，用于对所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块；
概率计算模块，用于对所述图像块，通过图像块分类模型进行分类，获得所述图像块为恶性肿瘤的概率；所述图像块分类模型训练过程中，采用优化损失函数，通过反向传播算法调整模型参数；
概率热图构建模块，用于将所述概率映射到，与其对应的所述图像块在所述甲状腺切片图像的位置，获得所述甲状腺切片图像的概率热图；
图像分类模型训练模块，用于从所述概率热图中提取肿瘤特征，输入SVM分类器进行训练，获得甲状腺切片图像分类模型。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取预设放大倍数下甲状腺切片图像；
对所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块；
对所述图像块，通过图像块分类模型进行分类，获得所述图像块为恶性肿瘤的概率；所述图像块分类模型训练过程中，采用优化损失函数，通过反向传播算法调整模型参数；
将所述概率映射到，与其对应的所述图像块在所述甲状腺切片图像的位置，获得所述甲状腺切片图像的概率热图；
从所述概率热图中提取肿瘤特征，输入SVM分类器进行训练，获得甲状腺切片图像分类模型。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取预设放大倍数下甲状腺切片图像；
对所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块；
对所述图像块，通过图像块分类模型进行分类，获得所述图像块为恶性肿瘤的概率；所述图像块分类模型训练过程中，采用优化损失函数，通过反向传播算法调整模型参数；
将所述概率映射到，与其对应的所述图像块在所述甲状腺切片图像的位置，获得所述甲状腺切片图像的概率热图；
从所述概率热图中提取肿瘤的特征值输入SVM分类器进行训练，获得甲状腺切片图像分类模型。
上述甲状腺切片图像分类模型训练方法、装置、计算机设备和存储介质，通过优化损失函数对Inception-v3网络模型的网络参数进行调整，能够提高图像块分类模型的分类精确度，进而能够提高获得的所述图像块为恶性肿瘤的概率的准确度，然后所述图像块为恶性肿瘤的概率构建概率热图，通过SVM分类器进行训练，获得甲状腺切片图像分类模型，并通过甲状腺切片图像分类模型对概率热图进行分类，获得所述甲状腺切片图像是否为恶性肿瘤的结果，能够提高模型分类的准确性。
附图说明
图1为一个实施例中甲状腺切片图像分类模型训练方法的流程示意图；
图2为一个实施例中甲状腺切片图像分类模型训练装置的结构框图；
图3为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种甲状腺切片图像分类模型训练方法，包括以下步骤：
S110，获取预设放大倍数下甲状腺切片图像。
其中，甲状腺切片可为甲状腺冰冻切片。预设放大倍数可为20×放大倍数下读取的甲状腺切片图像，也可为40×放大倍数下读取的甲状腺切片图像。
S120，对所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块。
其中，预设大小的图像块可为1024×1024的图像块，当然，预设大小的具体尺寸在此不作限定。
S130，对所述图像块，通过图像块分类模型进行分类，获得所述图像块为恶性肿瘤的概率；所述图像块分类模型训练过程中，采用优化损失函数，通过反向传播算法调整模型参数。
其中，图像块分类模型根据Inception-v3网络模型训练获得，用于输入图像块，输出所述图像块为恶性肿瘤的概率。Inception-v3网络模型由Inception模块堆叠组成，网络最后是全连接层以及softmax输出层；其中，Inception模块使用不同大小的滤波器对输入执行卷积操作，然后将所有子层的输出进行级联，这样可以有效地提取图像中不同尺度的特征。本实施例中，为了对图像块进行良恶性分类，对Inception-v3网络模型的分类层进行了修改，使得向Inception-v3网络模型输入图像块后，网络输出其分别为良性肿瘤、恶性肿瘤的概率，然后将网络模型参数初始化为在ImageNet上表现最佳的参数集,通过反向传播去微调网络的所用网络模型参数。
其中，所述优化损失函数L为：
Figure BDA0002980376310000061
Figure BDA0002980376310000062
Figure BDA0002980376310000063
其中，n为图像块数量，
Figure BDA0002980376310000064
为传统的交叉熵损失函数，
Figure BDA0002980376310000065
为图像块Xi的惩罚项，k为类别总数，j表示某一类别，yi为独热编码，并且yi＝[yi0,yi1]，yi0、yi1的取值为0或者1，在图像块为恶性时，yi0、yi1取值分别0、1，在图像块为非恶性时，yi0、yi1取值分别1、0，pi为网络预测出的概率向量并且pi＝[pi0,pi1]，其中pi0为图像块Xi为非恶性的概率，pi1为图像块Xi为恶性的概率，
Figure BDA0002980376310000066
为图像块Xi的标签，若图像块为恶性则标签为1，否则标签为0，
Figure BDA0002980376310000067
为网络预测出的图像块标签。
由于在甲状腺切片中部分非恶性肿瘤区域和恶性肿瘤区域具有相似的视觉特征，使用传统的交叉熵函数训练的分类模型对图像块进行分类时存在严重的漏诊情况，本实施例中对传统的交叉熵损失函数进行了修改，使用带有惩罚的损失函数进行训练可以很大程度上避免漏诊情况的发生，其形式如公式(1)所示，惩罚项
Figure BDA0002980376310000071
的本质在于在模型训练过程中当图像块被网络误判为良性，即
Figure BDA0002980376310000072
为0而
Figure BDA0002980376310000073
为1时施加惩罚项，使得pi0尽可能的小而pi1尽可能的大，而在其他情况下惩罚项都为0。
S140，将所述概率映射到，与其对应的所述图像块在所述甲状腺切片图像的位置，获得所述甲状腺切片图像的概率热图。
其中，所述概率热图为甲状腺切片图像中的每个图像块通过概率对应的R、G、B三个颜色分量进行表示的图片。例如，对于一张分辨率大小为N×N的甲状腺切片图像，使用512×512大小的窗口从左到右、从上到下划过甲状腺切片图像，并使用图像块分类器对划过的窗口进行分类，得到一张
Figure BDA0002980376310000074
大小的概率图，其中每个点与一个512×512大小的图像块对应，然后将概率图转换成一张具有R、G、B三个颜色分量的概率热图，可以通过概率热图中“热”的区域为红色区域，即为肿瘤区域，“冷”的区域即蓝色区域，即为良性肿瘤区域、正常人体组织区域或者背景区域。
S150，从所述概率热图中提取肿瘤特征，输入SVM分类器进行训练，获得甲状腺切片图像分类模型。
其中，从概率热图中提取到的特征包括肿瘤概率的最大值特征值、肿瘤概率的平均概率特征值、肿瘤区域的面积特征值、肿瘤区域的长轴长度特征值、肿瘤区域的短轴长度特征值和肿瘤区域的周长特征值。关于SVM分类器的训练方法，可以参考现有的SVM分类器的训练方法。训练获得的甲状腺切片图像分类模型，能够根据输入的甲状腺切片图像的概率热图，输出甲状腺切片是恶性切片或者是良性切片的判断。
上述甲状腺切片图像分类模型方法中，通过优化损失函数对Inception-v3网络模型的网络参数进行调整，能够提高图像块分类模型的分类精度，进而能够提高获得的所述图像块为恶性肿瘤的准确度，然后使用所述图像块为恶性肿瘤的概率构建概率热图，通过SVM分类器进行训练，获得甲状腺切片图像分类模型，并通过甲状腺切片图像分类模型对概率热图进行分类，获得所述甲状腺切片图像是否为恶性肿瘤的结果，能够提高模型分类的准确性。
在其中一个实施例中，对所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块，包括：使用滑动窗口法将所述甲状腺切片图像从左到右、从上到下划成互不重叠的1024×1024图像。
在其中一个实施例中，在对所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块之后，包括：过滤背景占比超过50％的图像块。由于一些1024×1024的图像块中包含大量背景信息或者几乎全是背景，这些背景通常为灰白色，因此我们需要过滤掉这些带有少量信息的图像块，留下与分类任务相关的图像块，因此在图像块筛选阶段我们将背景占有比在50％以上的图像块去除。
在其中一个实施例中，在所述对所述图像块，通过图像块分类模型进行分类，获得所述图像块为恶性肿瘤的概率之前，包括：获取预设放大倍数下，带有标注的甲状腺切片图像；所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块，根据标注给予每个所述图像块恶性或非恶性的标签；根据所述图像块和标签，对Inception-v3模型进行训练，获得图像块分类模型；其中，所述图像块分类模型训练过程中，采用优化损失函数，通过反向传播算法调整模型参数。
其中，带有标注的甲状腺切片图像可通过人工进行图像标注。每个图像块可根据其是否在标注范围内，给其赋予标签，例如，属于标注范围内的图像块设置恶性标签，属于标注范围外的图像块设置非恶性标签。
在其中一个实施例中，所述从所述概率热图中提取肿瘤的特征值输入SVM分类器进行训练，获得甲状腺切片图像分类模型，包括：根据所述概率热图，获取肿瘤概率的最大值特征值、肿瘤概率的平均概率特征值、肿瘤区域的面积特征值、肿瘤区域的长轴长度特征值、肿瘤区域的短轴长度特征值和肿瘤区域的周长特征值；根据所述肿瘤概率的最大值特征值、肿瘤概率的平均概率特征值、肿瘤区域的面积特征值、肿瘤区域的长轴长度特征值、肿瘤区域的短轴长度特征值和肿瘤区域的周长特征值，构建特征向量；将所述特征向量输入SVM分类器进行训练，获得甲状腺切片图像分类模型。
由于细胞形态的多样性，使得先进的分类网络训练一个可以区分甲状腺图像块良、恶性并且分类准确率高达100％的分类器几乎是不可能的事情，因此不可避免地会发生漏诊的情况，本申请实施例甲状腺切片图像分类模型可以在维持准确率不变的条件下，使得将甲状腺恶性肿瘤判读为甲状腺良性肿瘤的情况尽可能少地甚至几乎不出现，因为这种恶性判断良性将会导致病人错过最佳治疗时期，但是将甲状腺良性肿瘤判断为甲状腺恶性肿瘤的情况却允许发生，这也只是增加了病理医生复查的工作量。
图1为模型训练过程，首先需要训练图像块分类模型，等图像块分类模型训练完成后，使用图像块分类模型分别对每张甲状腺切片图像使用滑窗法进行预测，得到甲状腺切片图像对应的概率热图，然后从热率热图中提取特征训练SVM分类器。
在一个实施例中，如图2所示，提供了一种甲状腺切片图像分类模型训练装置，包括：图像获取模块210、图像划分模块220、概率计算模块230、概率热图构建模块240和图像分类模型训练模块250，其中：
图像获取模块210，用于获取预设放大倍数下甲状腺切片图像。
图像划分模块220，用于对所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块。
概率计算模块230，用于对所述图像块，通过图像块分类模型进行分类，获得所述图像块为恶性肿瘤的概率；所述图像块分类模型训练过程中，采用优化损失函数，通过反向传播算法调整模型参数。
概率热图构建模块240，用于将所述概率映射到，与其对应的所述图像块在所述甲状腺切片图像的位置，获得所述甲状腺切片图像的概率热图。
图像分类模型训练模块250，用于从所述概率热图中提取肿瘤的特征值输入SVM分类器进行训练，获得甲状腺切片图像分类模型。
在其中一个实施例中，图像划分模块220，还用于使用滑动窗口法将所述甲状腺切片图像从左到右、从上到下划成互不重叠的1024×1024图像。
在其中一个实施例中，所述甲状腺切片图像分类模型训练装置，还包括：过滤模块，用于过滤背景占比超过50％的图像块。
在其中一个实施例中，所述甲状腺切片图像分类模型训练装置，还包括：所述图像获取模块210，还用于获取预设放大倍数下，带有标注的甲状腺切片图像；所述图像划分模块220，还用于所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块，根据标注给予每个所述图像块恶性或非恶性的标签；训练模块，用于根据所述图像块和标签，对Inception-v3模型进行训练，获得图像块分类模型；其中，所述图像块分类模型训练过程中，采用优化损失函数，通过反向传播算法调整模型参数。
在其中一个实施例中，所述优化损失函数为：
Figure BDA0002980376310000101
Figure BDA0002980376310000102
Figure BDA0002980376310000103
其中，n为图像块数量，
Figure BDA0002980376310000104
为传统的交叉熵损失函数，
Figure BDA0002980376310000105
为图像块Xi的惩罚项，k为类别总数，j表示某一类别，yi为独热编码，并且yi＝[yi0,yi1]，pi为网络预测出的概率向量并且pi＝[pi0,pi1]，其中pi0为图像块Xi为非恶性的概率，pi1为图像块Xi为恶性的概率，
Figure BDA0002980376310000106
为图像块Xi的标签，若图像块为恶性则标签为1，否则标签为0，
Figure BDA0002980376310000107
为网络预测出的图像块标签。
在其中一个实施例中，所述图像分类模型训练模块250包括：特征值获取单元，用于根据所述概率热图，获取肿瘤概率的最大值特征值、肿瘤概率的平均概率特征值、肿瘤区域的面积特征值、肿瘤区域的长轴长度特征值、肿瘤区域的短轴长度特征值和肿瘤区域的周长特征值；特征向量构建单元，用于根据所述肿瘤概率的最大值特征值、肿瘤概率的平均概率特征值、肿瘤区域的面积特征值、肿瘤区域的长轴长度特征值、肿瘤区域的短轴长度特征值和肿瘤区域的周长特征值，构建特征向量；图像分类模型训练单元，用于将所述特征向量输入SVM分类器进行训练，获得甲状腺切片图像分类模型。
在其中一个实施例中，所述预设放大倍数为20×放大倍数。
关于甲状腺切片图像分类模型训练装置的具体限定可以参见上文中对于甲状腺切片图像分类模型训练方法的限定，在此不再赘述。上述甲状腺切片图像分类模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储甲状腺切片图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种甲状腺切片图像分类模型训练方法。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种甲状腺切片图像分类模型训练方法，其特征在于，所述方法包括：
获取预设放大倍数下甲状腺切片图像；
对所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块；
对所述图像块，通过图像块分类模型进行分类，获得所述图像块为恶性肿瘤的概率；所述图像块分类模型训练过程中，采用优化损失函数，通过反向传播算法调整模型参数；
将所述概率映射到，与其对应的所述图像块在所述甲状腺切片图像的位置，获得所述甲状腺切片图像的概率热图；
从所述概率热图中提取肿瘤的特征值，输入SVM分类器进行训练，获得甲状腺切片图像分类模型。
2.根据权利要求1所述的方法，其特征在于，所述对所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块，包括：
使用滑动窗口法将所述甲状腺切片图像从左到右、从上到下划成互不重叠的1024×1024图像块。
3.根据权利要求1或2所述的方法，其特征在于，在对所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块之后，包括：
过滤背景占比超过50％的图像块。
4.根据权利要求1所述的方法，其特征在于，在对所述图像块，通过图像块分类模型进行分类，获得所述图像块为恶性肿瘤的概率之前，包括：
获取预设放大倍数下，带有标注的甲状腺切片图像；
所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块，根据标注给予所述图像块恶性或非恶性的标签；
根据所述图像块和标签，对Inception-v3模型进行训练，获得图像块分类模型；其中，所述图像块分类模型训练过程中，采用优化损失函数，通过反向传播算法调整模型参数。
5.根据权利要求4所述的方法，其特征在于，所述优化损失函数为：
Figure FDA0002980376300000021
Figure FDA0002980376300000022
Figure FDA0002980376300000023
其中，n为图像块数量，
Figure FDA0002980376300000024
为传统的交叉熵损失函数，
Figure FDA0002980376300000025
为图像块Xi的惩罚项，k为类别总数，j表示某一类别，yi为独热编码，并且yi＝[yi0,yi1]，pi为网络预测出的概率向量并且pi＝[pi0,pi1]，其中pi0为图像块Xi为非恶性的概率，pi1为图像块Xi为恶性的概率，
Figure FDA0002980376300000026
为图像块Xi的标签，若图像块为恶性则标签为1，否则标签为0，
Figure FDA0002980376300000027
为网络预测出的图像块标签。
6.根据权利要求1所述的方法，其特征在于，从所述概率热图中提取肿瘤的特征值输入SVM分类器进行训练，获得甲状腺切片图像分类模型，包括：
根据所述概率热图，获取肿瘤概率的最大值特征值、肿瘤概率的平均概率特征值、肿瘤区域的面积特征值、肿瘤区域的长轴长度特征值、肿瘤区域的短轴长度特征值和肿瘤区域的周长特征值；
根据所述肿瘤概率的最大值特征值、肿瘤概率的平均概率特征值、肿瘤区域的面积特征值、肿瘤区域的长轴长度特征值、肿瘤区域的短轴长度特征值和肿瘤区域的周长特征值，构建特征向量；
将所述特征向量输入SVM分类器进行训练，获得甲状腺切片图像分类模型。
7.根据权利要求1所述的方法，其特征在于，所述预设放大倍数为20×放大倍数。
8.一种甲状腺切片图像分类模型训练装置，其特征在于，所述装置包括：
图像获取模块，用于获取预设放大倍数下甲状腺切片图像；
图像划分模块，用于对所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块；
概率计算模块，用于对所述图像块，通过图像块分类模型进行分类，获得所述图像块为恶性肿瘤的概率；所述图像块分类模型训练过程中，采用优化损失函数，通过反向传播算法调整模型参数；
概率热图构建模块，用于将所述概率映射到，与其对应的所述图像块在所述甲状腺切片图像的位置，获得所述甲状腺切片图像的概率热图；
图像分类模型训练模块，用于从所述概率热图中提取肿瘤的特征值输入SVM分类器进行训练，获得甲状腺切片图像分类模型。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110285736.8A 2021-03-17 2021-03-17 甲状腺切片图像分类模型训练方法、装置 Active CN113139931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110285736.8A CN113139931B (zh) 2021-03-17 2021-03-17 甲状腺切片图像分类模型训练方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110285736.8A CN113139931B (zh) 2021-03-17 2021-03-17 甲状腺切片图像分类模型训练方法、装置

Publications (2)

Publication Number Publication Date
CN113139931A true CN113139931A (zh) 2021-07-20
CN113139931B CN113139931B (zh) 2022-06-03

Family

ID=76811365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110285736.8A Active CN113139931B (zh) 2021-03-17 2021-03-17 甲状腺切片图像分类模型训练方法、装置

Country Status (1)

Country Link
CN (1) CN113139931B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506287A (zh) * 2021-07-27 2021-10-15 陕西师范大学 全视野病理切片图像分类方法、装置、设备及存储介质
CN114743195A (zh) * 2022-04-13 2022-07-12 赛维森(广州)医疗科技服务有限公司 甲状腺细胞病理数字图像识别器训练方法、图像识别方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170200268A1 (en) * 2016-01-07 2017-07-13 ClearView Diagnostics Inc. Methods and means of cad system personalization to reduce intraoperator and interoperator variation
CN107316294A (zh) * 2017-06-28 2017-11-03 太原理工大学 一种基于改进的深度玻尔兹曼机肺结节特征提取和良恶性分类方法
CN108564123A (zh) * 2018-04-10 2018-09-21 复旦大学附属肿瘤医院 一种甲状腺肿瘤细胞学涂片图像分类方法及其装置
CN108717554A (zh) * 2018-05-22 2018-10-30 复旦大学附属肿瘤医院 一种甲状腺肿瘤病理组织切片图像分类方法及其装置
CN109064455A (zh) * 2018-07-18 2018-12-21 清华大学深圳研究生院 一种基于bi-rads的乳腺超声图像多尺度融合的分类方法
CN109272045A (zh) * 2018-09-25 2019-01-25 华南农业大学 一种基于神经网络和迁移学习的水果图像分类方法及装置
US20190125194A1 (en) * 2017-10-31 2019-05-02 Terumo Kabushiki Kaisha Diagnostic method, method for validation of diagnostic method, and treatment method
CN110232396A (zh) * 2019-04-09 2019-09-13 贵州大学 X射线乳腺影像深度学习分类方法
CN110309860A (zh) * 2019-06-06 2019-10-08 昆明理工大学 基于卷积神经网络对肺结节的恶性程度进行分类的方法
CN110543916A (zh) * 2019-09-06 2019-12-06 天津大学 一种缺失多视图数据的分类方法及系统
CN110782502A (zh) * 2018-07-31 2020-02-11 通用电气公司 基于深度学习的pet散射估计系统和使用感知神经网络模型的方法
CN111260639A (zh) * 2020-01-19 2020-06-09 浙江工业大学之江学院 多视角信息协作的乳腺良恶性肿瘤分类方法
CN111598875A (zh) * 2020-05-18 2020-08-28 北京小白世纪网络科技有限公司 甲状腺结节自动检测模型构建方法、系统及装置
CN112232407A (zh) * 2020-10-15 2021-01-15 杭州迪英加科技有限公司 病理图像样本的神经网络模型训练方法、装置
WO2021016131A1 (en) * 2019-07-19 2021-01-28 The Jackson Laboratory Convolutional neural networks for classification of cancer histological images
CN112287993A (zh) * 2020-10-26 2021-01-29 推想医疗科技股份有限公司 模型生成方法、图像分类方法、装置、电子设备及介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170200268A1 (en) * 2016-01-07 2017-07-13 ClearView Diagnostics Inc. Methods and means of cad system personalization to reduce intraoperator and interoperator variation
CN107316294A (zh) * 2017-06-28 2017-11-03 太原理工大学 一种基于改进的深度玻尔兹曼机肺结节特征提取和良恶性分类方法
US20190125194A1 (en) * 2017-10-31 2019-05-02 Terumo Kabushiki Kaisha Diagnostic method, method for validation of diagnostic method, and treatment method
CN108564123A (zh) * 2018-04-10 2018-09-21 复旦大学附属肿瘤医院 一种甲状腺肿瘤细胞学涂片图像分类方法及其装置
CN108717554A (zh) * 2018-05-22 2018-10-30 复旦大学附属肿瘤医院 一种甲状腺肿瘤病理组织切片图像分类方法及其装置
CN109064455A (zh) * 2018-07-18 2018-12-21 清华大学深圳研究生院 一种基于bi-rads的乳腺超声图像多尺度融合的分类方法
CN110782502A (zh) * 2018-07-31 2020-02-11 通用电气公司 基于深度学习的pet散射估计系统和使用感知神经网络模型的方法
CN109272045A (zh) * 2018-09-25 2019-01-25 华南农业大学 一种基于神经网络和迁移学习的水果图像分类方法及装置
CN110232396A (zh) * 2019-04-09 2019-09-13 贵州大学 X射线乳腺影像深度学习分类方法
CN110309860A (zh) * 2019-06-06 2019-10-08 昆明理工大学 基于卷积神经网络对肺结节的恶性程度进行分类的方法
WO2021016131A1 (en) * 2019-07-19 2021-01-28 The Jackson Laboratory Convolutional neural networks for classification of cancer histological images
CN110543916A (zh) * 2019-09-06 2019-12-06 天津大学 一种缺失多视图数据的分类方法及系统
CN111260639A (zh) * 2020-01-19 2020-06-09 浙江工业大学之江学院 多视角信息协作的乳腺良恶性肿瘤分类方法
CN111598875A (zh) * 2020-05-18 2020-08-28 北京小白世纪网络科技有限公司 甲状腺结节自动检测模型构建方法、系统及装置
CN112232407A (zh) * 2020-10-15 2021-01-15 杭州迪英加科技有限公司 病理图像样本的神经网络模型训练方法、装置
CN112287993A (zh) * 2020-10-26 2021-01-29 推想医疗科技股份有限公司 模型生成方法、图像分类方法、装置、电子设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUN LIU ET AL.: "Detecting Cancer Metastases on Gigapixel Pathology Images", 《HTTPS://ARXIV.ORG/ABS/1703.02442V2》 *
邹海鹏 等: "乳腺超声肿瘤动态噪声指数及分割算法", 《中国图象图形学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506287A (zh) * 2021-07-27 2021-10-15 陕西师范大学 全视野病理切片图像分类方法、装置、设备及存储介质
CN114743195A (zh) * 2022-04-13 2022-07-12 赛维森(广州)医疗科技服务有限公司 甲状腺细胞病理数字图像识别器训练方法、图像识别方法
CN114743195B (zh) * 2022-04-13 2022-12-09 赛维森(广州)医疗科技服务有限公司 甲状腺细胞病理数字图像识别器训练方法、图像处理方法

Also Published As

Publication number Publication date
CN113139931B (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
US11004196B2 (en) Advanced computer-aided diagnosis of lung nodules
US9123095B2 (en) Method for increasing the robustness of computer-aided diagnosis to image processing uncertainties
CN109064470B (zh) 一种基于自适应模糊聚类的图像分割方法及装置
CN113139931B (zh) 甲状腺切片图像分类模型训练方法、装置
CN113592794B (zh) 基于混合注意力机制的2d卷积神经网络的脊椎图分割方法
JP6945253B2 (ja) 分類装置、分類方法、プログラム、ならびに、情報記録媒体
CN114972341B (zh) 基于贝叶斯辅助学习的wsi图像分类方法、系统及介质
CN110766670A (zh) 一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法
CN112819747A (zh) 一种基于肺部断层扫描图片自动诊断结节良恶性的方法
Ghongade et al. Detection and classification of breast cancer from digital mammograms using RF and RF-ELM algorithm
CN114092450A (zh) 一种基于胃镜检查视频的实时图像分割方法、系统、装置
JP2024027078A (ja) マルチスケールに基づく全スライド病理特徴融合抽出方法、システム、電子機器及び記憶媒体
CN115272647A (zh) 一种肺部图像的识别处理方法及系统
CN113538435B (zh) 一种基于深度学习的胰腺癌病理图像分类方法及系统
CN113139930B (zh) 甲状腺切片图像分类方法、装置、计算机设备和存储介质
Singh et al. A robust her2 neural network classification algorithm using biomarker-specific feature descriptors
CN112052854B (zh) 一种实现自适应对比度增强的医疗图像可逆信息隐藏方法
CN113012164A (zh) 基于聚合层间信息的U-Net肾脏肿瘤图像分割方法、设备及存储介质
CN117095815A (zh) 基于磁共振图像和病理全景扫描切片预测带有同源重组缺陷的前列腺癌患者的系统
CN116416221A (zh) 一种超声图像分析方法
CN111144488B (zh) 一种基于邻近共同预测的病理切片视野分类提升方法
CN114155399A (zh) 基于多特征融合递进式判别的乳腺病理全切片分类方法
Alrahhal et al. Deep learning-based system for detection of lung cancer using fusion of features
CN112329876A (zh) 一种基于影像组学的结直肠癌预后预测方法及设备
CN116682576B (zh) 一种基于双层图卷积神经网络的肝癌病理预后系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant