CN111382801A - 一种医学影像分类方法、装置、设备及存储介质 - Google Patents

一种医学影像分类方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111382801A
CN111382801A CN202010183684.9A CN202010183684A CN111382801A CN 111382801 A CN111382801 A CN 111382801A CN 202010183684 A CN202010183684 A CN 202010183684A CN 111382801 A CN111382801 A CN 111382801A
Authority
CN
China
Prior art keywords
pulmonary tuberculosis
tuberculosis
detection model
classification
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010183684.9A
Other languages
English (en)
Other versions
CN111382801B (zh
Inventor
班允峰
王瑜
赵朝炜
邹彤
王慧芳
王丹
吴双
李萌
李新阳
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Infervision Technology Co Ltd
Infervision Co Ltd
Original Assignee
Infervision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Co Ltd filed Critical Infervision Co Ltd
Priority to CN202010183684.9A priority Critical patent/CN111382801B/zh
Publication of CN111382801A publication Critical patent/CN111382801A/zh
Application granted granted Critical
Publication of CN111382801B publication Critical patent/CN111382801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种医学影像分类方法、装置、设备及存储介质。该方法包括：获取受检胸部的受检影像，并将受检影像分别输入至已训练完成的肺结核检测模型和至少一个肺结核征象检测模型中；将肺结核检测模型输出的肺结核特征向量，以及各肺结核征象检测模型输出的肺结核征象特征向量，输入至已训练完成的肺结核分类模型中；输出肺结核分类模型的分类结果。本发明实施例的技术方案，考虑到肺结核征象的多样性，基于独立的肺结核检测模型和肺结核中至少一个典型征象的独立的肺结核征象检测模型，分别对受检影像进行检测，提高了肺结核特征和各肺结核征象特征的提取精度，进而再对各特征向量进行综合分析，提高了医学影像分类的精确度。

Description

一种医学影像分类方法、装置、设备及存储介质
技术领域
本发明实施例涉及医学影像处理技术领域，尤其涉及一种医学影像分类方法、装置、设备及存储介质。
背景技术
肺结核是由结核分枝杆菌引起的慢性传染病，是全球第十大致死疾病。但是，若肺结核在早期可以被筛查出来，并给予相应治疗，大多可获临床痊愈。因此，肺结核的早期筛查至关重要。
在实现肺结核筛查时，现有技术是将基于数字X线摄影(Digital Radiography，DR)技术获取的胸片影像直接输入到肺结核检测模型中，并根据该肺结核检测模型输出的检测结果，实现肺结核的自动筛查。但是，上述方案的鲁棒性较差，容易出现相对较多的漏诊和误诊的情况。
发明内容
本发明实施例提供了一种医学影像分类方法、装置、设备及存储介质，以实现医学影像的精准分类的效果。
第一方面，本发明实施例提供了一种医学影像分类方法，可以包括：
获取受检胸部的受检影像，并将受检影像分别输入至已训练完成的肺结核检测模型和至少一个肺结核征象检测模型中；
将肺结核检测模型输出的肺结核特征向量，以及各肺结核征象检测模型输出的肺结核征象特征向量，输入至已训练完成的肺结核分类模型中；
输出肺结核分类模型的分类结果。
可选的，肺结核检测模型和肺结核征象检测模型可以通过如下步骤预先训练得到：
获取样本胸部的样本影像，以及样本影像的肺结核标注结果和肺结核征象标注结果；
将样本影像和肺结核标注结果作为一组肺结核训练样本，基于多组肺结核训练样本对第一原始检测模型进行训练，得到肺结核检测模型；
将样本影像和肺结核征象标注结果作为一组肺结核征象训练样本，基于多肺结核征象训练样本对第二原始检测模型进行训练，得到肺结核征象检测模型。
可选的，上述医学影像分类方法，还可以包括：
将样本影像分别输入至肺结核检测模型和各肺结核征象检测模型中，得到肺结核检测模型输出的肺结核样本特征向量，以及各肺结核征象检测模型输出的肺结核征象样本特征向量；
将肺结核样本特征向量、各肺结核征象样本特征向量、以及样本影像的肺结核分类结果作为一组分类训练样本，并基于多组分类训练样本对原始分类模型进行训练，得到肺结核分类模型。
可选的，在获取样本胸部的样本影像之后，还可以包括：
对样本影像进行数据增强，并将数据增强结果和样本影像分别作为样本胸部的样本影像。
可选的，第二原始检测模型可以包括特征金字塔网络为后端的卷积神经网络模型，卷积神经网络模型包括ResNeXt网络模型或是VGG网络模型。
可选的，在上述方法的基础上，还可包括：
对受检影像进行预处理，并根据预处理结果更新受检影像，其中，预处理包括白噪声的降噪处理和/或窗宽窗位的变换处理。
可选的，受检影像是基于X光成像技术获取的，X光成像技术包括数字X线摄影技术、计算机X线摄影技术或是计算机断层扫描技术；和/或，
肺结核征象检测模型包括肺结节检测模型、肺条索影检测模型、肺空洞检测模型和胸膜牵拉检测模型中的至少一个；和/或，
肺结核分类模型包括逻辑回归分类器或是支持向量机；和/或，
分类结果包括受检影像中存在肺结核的概率值。
第二方面，本发明实施例还提供了一种医学影像分类装置，该装置可包括：
获取模块，用于获取受检胸部的受检影像，并将受检影像分别输入至已训练完成的肺结核检测模型和至少一个肺结核征象检测模型中；
输入模块，用于将肺结核检测模型输出的肺结核特征向量和各肺结核征象检测模型输出的肺结核征象特征向量，输入至已训练完成的肺结核分类模型中；
分类模块，用于输出肺结核分类模型的分类结果。
第三方面，本发明实施例还提供了一种设备，该设备可以包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例所提供的医学影像分类方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的医学影像分类方法。
本发明实施例的技术方案，通过将获取到的受检胸部的受检影像分别输入至已训练完成的肺结核检测模型和至少一个肺结核征象检测模型中，以使各检测模型基于不同角度从受检影像中提取相应特征；进而，可将肺结核检测模型输出的肺结核特征向量以及各肺结核征象检测模型输出的肺结核征象特征向量，输入至已训练完成的肺结核分类模型中，基于该肺结核分类模型对各检测模型输出的特征向量进行综合分析，由此输出肺结核分类模型的分类结果，该分类结果可以作为医护人员筛查肺结核的参考因素。上述技术方案，考虑到肺结核征象的多样性，基于独立的肺结核检测模型和肺结核中至少一个典型征象的独立的肺结核征象检测模型分别对受检影像进行检测，提高了肺结核特征和各肺结核征象特征的提取精确度，进而再基于该肺结核分类模型对各特征向量进行综合分析，多个检测模型的有效融合解决了单独的肺结核检测模型的鲁棒性较低的问题，在较大程度降低了单独的肺结核检测模型在检测时出现漏诊和误诊的情况，进而提高了医学影像分类的精确度以及肺结核筛查场景的效率。
附图说明
图1是本发明实施例中的一种医学影像分类方法中DR胸片的示意图；
图2是本发明实施例一中的一种医学影像分类方法的流程图；
图3是本发明实施例一中的一种医学影像分类方法的优选实施例图；
图4是本发明实施例二中的一种医学影像分类方法的流程图；
图5是本发明实施例三中的一种医学影像分类装置的结构框图；
图6是本发明实施例四中的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在介绍本发明实施例之前，先对本发明实施例的应用场景进行示例性说明：结核病是由结核分枝杆菌引起的慢性传染病，其可侵及许多脏器，以肺部结核感染最为常见。通常情况下，人体在感染结核菌后不一定立刻发病，当其抵抗力降低或是细胞介导的变态反应增高时，才可能引起发病。在临床上，结核病若可以得到及时筛查和相应治疗，大多可获临床痊愈。
针对结核病中最为常见的肺结核，X线影像改变对肺结核的筛查有着较为重要的参考意义。例如，原发性肺结核在X线胸片中的典型征象有原发灶、淋巴管炎和肺门或纵隔肿大的淋巴结组成哑铃状病灶。急性血行播散型肺结核在X线胸片上呈现分布均匀、大小密度相近的粟粒状阴影。继发型肺结核在X线胸片中的常见征象包括浸润性病灶如云雾状，边缘模糊，密度相对较淡；干酪样病灶，密度相对较高，且不均一；空洞即形成不同形状的透亮区；纤维钙化的硬结病灶，如条索、结节状、斑点状病灶，边缘清楚，密度相对较高。肺结核的X线影像改变表现多样、复杂，在一个病灶中可以有几种影像改变同时存在，但常以某一种病变为主。示例性的，肺结核在DR胸片中的典型表现如图1所示，该肺结核的典型征象有肺结节、肺条索影和肺空洞。
实施例一
图2是本发明实施例一中提供的一种医学影像分类方法的流程图。本实施例可适用于对医学影像进行分类的情况，尤其适用于对受检胸部的受检影像中是否存在肺结核进行分类的情况。该方法可以由本发明实施例提供的医学影像分类装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在各种用户终端或服务器上。
参见图2，本发明实施例的方法具体包括如下步骤：
S110、获取受检胸部的受检影像，并将受检影像分别输入至已训练完成的肺结核检测模型和至少一个肺结核征象检测模型中。
其中，受检影像可以基于X光成像技术获取，该X光成像技术可以是数字X线摄影(Digital Radiography，DR)技术、计算机X线摄影(Computed Radiography，CR)技术或是计算机断层扫描(Computed Tomography，CT)技术等等，在此未做具体限定。需要说明的是，无论基于何种X光成像技术获取受检影像，受检胸部上的肺结核或是肺结核征象是不变的，虽然它们在受检影像中的呈现效果可能会存在一些差异，但是模型训练过程中的样本影像和模型应用过程中的受检影像的获取方式相同，这一差异性不会对受检影像的分类结果产生影响。
在此基础上，可选的，在获取到受检胸部的受检影像后，可以对受检影像进行预处理，并根据预处理结果更新受检影像，其中，该预处理可以是白噪声的降噪处理、窗宽窗位的变换处理等等。具体的，白噪声的降噪处理可以是在受检影像中存在较大噪声的情况下应用，其可以通过高斯滤波或是其余滤波方式去除由拍摄引起的白噪声。窗框窗位的变换处理是因为基于X光成像技术获取的受检影像的数值范围通常不在0-255间，比如DR影像是16位影像(数值范围在0-65536)，但是，深度学习模型涉及到的预训练过程中的预训练参数多是在0-255间训练得到的，因此，需要对受检影像进行窗宽窗位的变换处理，如对受检影像按照预设窗宽窗位进行线性变换、非线性变换等等，以使受检影像中的像素值变换到0-255间(8位影像)
进一步，在获取到受检胸部的受检影像后，可以将受检影像分别输入至已训练完成的肺结核检测模型和至少一个肺结核征象检测模型中，可选的，该肺结核征象检测模型可以是肺结节检测模型、肺条索影检测模型、肺空洞检测模型和胸膜牵拉检测模型中的至少一个，当然，其也可以是其余的肺结核征象的检测模型，在此未做具体限定。
S120、将肺结核检测模型输出的肺结核特征向量，以及各肺结核征象检测模型输出的肺结核征象特征向量，输入至已训练完成的肺结核分类模型中。
其中，在将受检影像输入至各检测模型后，可以得到各检测模型输出的特征向量。具体的，肺结核检测模型可以输出受检影像中表示肺结核的肺结核特征向量，该肺结核特征向量可以理解为肺结核的特征值；肺结核征象检测模型可以输出受检影像中表示相应的肺结核征象的肺结核征象特征向量，比如，若肺结核征象检测模型包括肺结节检测模型，则肺结核征象特征向量包括肺结节特征向量，该肺结节特征向量可以理解为肺结节的特征值。
需要说明的是，特征向量可以是N*1的矩阵，N是大于等于1的整数，N的具体数值与预先设置有关。以肺结核检测模型为例，肺结核特征向量中的每个数值可以表示受检影像中相应的候选框中存在肺结核的概率值。具体的，在肺结核检测模型的实际应用中，肺结核检测模型在受检影像中检测出多个候选框，每个候选框都对应一个置信度，该置信度可以表示该候选框中存在肺结核的概率值。由此，可根据置信度的数值大小，从多个置信度中筛选出N个置信度，并基于该N个置信度生成肺结核特征向量。
进一步，上述各检测模型是分别从不同角度对受检影像进行检测的，比如，肺结核检测模型是对受检影像中是否存在肺结核进行检测，肺结核征象检测模型是对受检影像中是否存在相应的肺结核征象进行检测，这可提高肺结核特征和各肺结核征象特征的提取精确度。进而，若可对各个检测模型输出的特征向量进行综合分析，多个检测模型的有效融合可提高受检影像分类的鲁棒性。因此，可以将各检测模型输出的特征向量输入至已训练完成的肺结核分类模型中，基于该肺结核分类模型对各特征向量进行综合分析，该肺结核分类模型可以是逻辑回归分类器、支持向量机等等二分类模型，在此未做具体限定。
S130、输出肺结核分类模型的分类结果。
其中，输出肺结核分类模型的分类结果，该分类结果可以作为医护人员筛查肺结核的参考因素，比如，该分类结果可以是受检影像中存在肺结核的概率值或是结论值(如存在或是不存在)，则医护人员可以根据该分类结果确定受检影像中是否存在肺结核，或是结合该分类结果和其余因素共同确定受检影像中是否存在肺结核，在此未做具体限定。
本发明实施例的技术方案，通过将获取到的受检胸部的受检影像分别输入至已训练完成的肺结核检测模型和至少一个肺结核征象检测模型中，以使各检测模型基于不同角度从受检影像中提取相应特征；进而，可将肺结核检测模型输出的肺结核特征向量以及各肺结核征象检测模型输出的肺结核征象特征向量，输入至已训练完成的肺结核分类模型中，基于该肺结核分类模型对各检测模型输出的特征向量进行综合分析，由此输出肺结核分类模型的分类结果，该分类结果可以作为医护人员筛查肺结核的参考因素。上述技术方案，考虑到肺结核征象的多样性，基于独立的肺结核检测模型和肺结核中至少一个典型征象的独立的肺结核征象检测模型分别对受检影像进行检测，提高了肺结核特征和各肺结核征象特征的提取精确度，进而再基于该肺结核分类模型对各特征向量进行综合分析，多个检测模型的有效融合解决了单独的肺结核检测模型的鲁棒性较低的问题，在较大程度降低了单独的肺结核检测模型在检测时出现漏诊和误诊的情况，进而提高了医学影像分类的精确度以及肺结核筛查场景的效率。
为了更好地理解上述步骤的具体实现过程，下面结合具体示例，对本实施例的医学影像分类方法进行示例性的说明。示例性的，如图3所示，获取DR胸片，并对该DR胸片进行白噪声的降噪处理和窗宽窗位的变换处理，根据处理结果更新DR胸片；将DR胸片分别输入至已训练完成的肺结核检测模型、肺结节检测模型、肺条索影检测模型和肺空洞检测模型中，并将各检测模型输出的特征向量输入至已训练完成的逻辑回归分类器中；输出逻辑回归分类器的分类结果，该分类结果可以表示DR胸片中存在肺结核的概率值。
实施例二
图4是本发明实施例二中提供的一种医学影像分类方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，肺结核检测模型和肺结核征象检测模型可以通过如下步骤预先训练得到：获取样本胸部的样本影像，以及样本影像的肺结核标注结果和肺结核征象标注结果；将样本影像和肺结核标注结果作为一组肺结核训练样本，基于多组肺结核训练样本对第一原始检测模型进行训练，得到肺结核检测模型；将样本影像和肺结核征象标注结果作为一组肺结核征象训练样本，基于多组肺结核征象训练样本对第二原始检测模型进行训练，得到肺结核征象检测模型。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
参见图4，本实施例的方法具体可以包括如下步骤：
S210、获取样本胸部的样本影像，以及样本影像的肺结核标注结果和肺结核征象标注结果。
其中，对样本影像进行标注的过程，可以理解为医护人员在样本影像上画框的过程，示例性的，如图1所示，图1中的方框就是肺结核所在区域。由此，以肺结核标注结果为例，其可以是样本影像中肺结核所在区域的位置信息，肺结核检测模型根据接收到的位置信息可以确定出待学习的影像特征，此时，相对于肺结核检测模型而言，若某样本影像中存在肺结核，则该样本影像的标签值是1；否则，该样本影像的标签值是0。类似的，肺结核征象标注结果可以是样本影像中相应的肺结核征象所在区域的位置信息，如肺结节标注结果可以是样本影像中肺结节所在区域的位置信息，此时，相对于肺结节检测模型而言，若某样本影像中存在肺结节，则该样本影像的标签值是1；否则，该样本影像的标签值是0。需要说明的是，各检测模型在训练过程中，期望输出可以是标签值，实际输出可以是特征向量，在此未做具体限定。
在此基础上，可选的，在获取到样本胸部的样本影像之后，上述医学影像分类方法，还可以包括：对样本影像进行数据增强，并将数据增强结果和样本影像分别作为样本胸部的样本影像。其中，数据增强的实现方式有多种，比如非线性单调曲线、高斯滤波等等，在此未做具体限定。需要说明的是，对样本影像进行数据增强的原因在于，样本影像的数量是有限的，而存在肺结核和/或肺结核征象的样本影像的数量更是有限的。因此，为提高模型训练精度，在对样本影像进行数据增强后，可将数据增强结果也作为一张样本影像，由此，可从一张样本影像中扩增出多张样本影像，且该多张样本影像可以包括各种情况，样本影像的数据量的大量扩增可显著提高模型训练的精确度。但是，在模型应用过程中，是否对受检影像进行数据增强都是可以的，因为即使受检影像和各真实存在的样本影像均存在一定的差异性，但是，只要在模型训练过程中涉及到各种数据增强方式，则该受检影像也必然会和某个增强影像较为相似，这使得在模型应用过程中无需再对受检影像进行数据增强。
S220、将样本影像和肺结核标注结果作为一组肺结核训练样本，基于多组肺结核训练样本对第一原始检测模型进行训练，得到肺结核检测模型。
其中，第一原始检测模型可以是任意的未经训练的且可用于实现检测功能的卷积神经网络模型(Convolutional Neural Networks，CNN)，如ResNeXt网络模型、Faster R-CNN、特征金字塔网络(FPN)为后端的ResNeXt网络模型等等，在此未做具体限定。需要说明的是，FPN作为检测模型的后端，可以更好地结合多尺度网络层中的语义特征，每层都进行独立预测，最后再进行融合，由此实现了多尺度特征的检测。另外，相对于Faster R-CNN，ResNeXt网络模型是端到端的网络结构，学习效率更高。
S230、将样本影像和肺结核征象标注结果作为一组肺结核征象训练样本，基于多组肺结核征象训练样本对第二原始检测模型进行训练，得到肺结核征象检测模型。
其中，第二原始检测模型可以是任意的未经训练的且可用于实现检测功能的卷积神经网络模型，如FPN为后端的ResNeXt网络模型、FPN为后端的VGG网络模型，等等，在此未做具体限定。针对ResNeXt网络模型和VGG网络模型，前者的网络深度较深，比较适合于肺结节、肺条索影的检测；后者的网络深度较浅，比较适合于肺空洞这种征象比较明显的肺结核征象的检测。
需要说明的是，正如上文所述，同时存在肺结核和肺结核征象的样本影像的数量是有限的，考虑肺结核具有多态性和多分布性，因此，肺结核征象训练样本中的样本影像不局限于存在肺结核的样本影像，那些未存在肺结核且存在某一肺结核征象的样本影像依然可以用于第二原始检测模型的训练，肺结核征象训练样本的数据量的扩增可以显著提高第二原始检测模型对单肺结核征象的学习能力，由此得到的已训练完成的肺结核征象检测模型可以更有效地提取出相应征象的特征向量。例如，若某样本影像中未存在肺结核且存在肺空洞，则其可作为肺结核训练样本中的负样本(标签值是0)和肺空洞训练样本中的正样本(标签值是1)，与此同时，其还可作为肺条索影训练样本中的负样本和肺结节训练样本中的负样本。再例如，若某样本影像中存在肺结核和肺空洞，则其可作为肺结核训练样本中的正样本和肺空洞训练样本中的正样本，与此同时，其还可作为肺条索影训练样本中的负样本和肺结节训练样本中的负样本。在实际应用中，某个样本影像可以只用于构成肺结核训练样本，可以同时用于构成肺结核训练样本和肺结核征象训练样本，还可以用于构成多个肺结核征象中的一个或多个肺结核征象对应的训练样本，等等，在此未做具体限定。
S240、获取受检胸部的受检影像，并将受检影像分别输入至已训练完成的肺结核检测模型和至少一个肺结核征象检测模型中。
S250、将肺结核检测模型输出的肺结核特征向量，以及各肺结核征象检测模型输出的肺结核征象特征向量，输入至已训练完成的肺结核分类模型中，输出肺结核分类模型的分类结果。
本发明实施例的技术方案，通过已获取的样本胸部的样本影像，以及样本影像的肺结核标注结果和肺结核征象标注结果，构成肺结核训练样本和肺结核征象训练样本，并基于训练样本对原始检测模型进行训练，分别得到肺结核检测模型和肺结核征象检测模型。上述技术方案，利用了肺结核征象的多态性，独立训练出单肺结核检测模型以及至少一个肺结核征象检测模型，由此提高了各检测模型对相应的肺结核或是肺结核征象的检测精度。
在此基础上，可选的，在得到已训练完成的肺结核检测模型和肺结核征象检测模型后，可以基于各检测模型输出的特征向量对原始分类模型进行训练，得到肺结核分类模型。具体的，可以将样本影像分别输入至已训练完成的肺结核检测模型和各肺结核征象检测模型中，得到肺结核检测模型输出的肺结核样本特征向量，以及各肺结核征象检测模型输出的肺结核征象样本特征向量；将肺结核样本特征向量、各肺结核征象样本特征向量、以及样本影像的肺结核分类结果作为一组分类训练样本，可选的，若样本影像中存在肺结核，则肺结核分类结果可为1，否则可为0；进而，基于多组分类训练样本对原始分类模型进行训练，得到肺结核分类模型。
为了更好地理解上述步骤的具体实现过程，下面结合具体示例，对本实施例的医学影像分类方法中的模型训练过程进行示例性的说明。示例性的：1)获取DR样本胸片，并对DR样本胸片进行白噪声的降噪处理和窗宽窗位的变换处理，根据处理结果更新DR样本胸片。2)将多组的DR样本胸片和DR样本胸片的肺结核标注结果输入至原始的FPN为后端的ResNeXt网络模型中进行训练，学习DR样本胸片中的肺结核特征，得到可用于检测肺结核的肺结核检测模型。3)根据DR样本胸片中肺结节的边缘特征，对DR样本胸片进行多种非线性单调变换数据增强处理，如呈相对方向的指数曲线和log曲线等等，提升肺结节检测模型对单独的肺结节征象的学习能力，扩增DR样本胸片的数据量；将多组的DR样本胸片和DR样本胸片的肺结节标注结果输入至原始的FPN为后端的ResNeXt网络模型中进行训练，学习DR样本胸片中的肺结节征象，得到可用于检测肺结节的肺结节检测模型，该肺结节检测模型有效提高了肺结节特征提取的鲁棒性。4)根据DR样本胸片中肺条索影的边缘特征，对DR样本胸片进行不同程度的高斯滤波数据增强处理，提升肺条索影检测模型对单独的肺条索影征象的学习能力，扩增DR样本胸片的数据量；将多组的DR样本胸片和DR样本胸片的肺条索影标注结果输入至原始的FPN为后端的ResNeXt网络模型中进行训练，学习DR样本胸片中的肺条索影征象，得到可用于检测肺条索影的肺条索影检测模型，该肺条索影检测模型有效提高了肺条索影特征提取的鲁棒性。5)由于DR样本胸片中肺空洞比较明显，可以将多组的DR样本胸片和DR样本胸片的肺空洞标注结果输入至浅层的原始的FPN为后端的VGG网络模型中进行训练，学习DR样本胸片中的肺空洞征象，得到可用于检测肺空洞的肺空洞检测模型，模型深度的减少能够有效避免因过拟合而导致模型检出准确率降低的问题，该肺空洞检测模型有效提高了肺空洞特征提取的鲁棒性。6)在此基础上，在将DR样本胸片输入至已训练完成的肺结核检测模型、肺结节检测模型、肺条索影检测模型和肺空洞检测模型后，将各检测模型输出的特征向量和肺结核分类结果输入至原始的逻辑回归分类器中，得到可用于分类肺结核的肺结核分类模型。
实施例三
图5为本发明实施例三提供的医学影像分类装置的结构框图，该装置用于执行上述任意实施例所提供的医学影像分类方法。该装置与上述各实施例的医学影像分类方法属于同一个发明构思，在医学影像分类装置的实施例中未详尽描述的细节内容，可以参考上述医学影像分类方法的实施例。参见图5，该装置具体可包括：获取模块310、输入模块320和分类模块330。
其中，获取模块310，用于获取受检胸部的受检影像，并将受检影像分别输入至已训练完成的肺结核检测模型和至少一个肺结核征象检测模型中；
输入模块320，用于将肺结核检测模型输出的肺结核特征向量，以及各肺结核征象检测模型输出的肺结核征象特征向量，输入至已训练完成的肺结核分类模型中；
分类模块330，用于输出肺结核分类模型的分类结果。
可选的，肺结核检测模型和肺结核征象检测模型可以通过如下模块预先训练得到：
样本获取模块，用于获取样本胸部的样本影像，以及样本影像的肺结核标注结果和肺结核征象标注结果；
肺结核检测模型训练模块，用于将样本影像和肺结核标注结果作为一组肺结核训练样本，基于多组肺结核训练样本对第一原始检测模型进行训练，得到肺结核检测模型；
肺结核征象检测模型训练模块，用于将样本影像和肺结核征象标注结果作为一组肺结核征象训练样本，基于多组肺结核征象训练样本对第二原始检测模型进行训练，得到肺结核征象检测模型。
可选的，在上述装置的基础上，该装置还可包括：
特征向量得到模块，用于将样本影像分别输入至肺结核检测模型和各肺结核征象检测模型中，得到肺结核检测模型输出的肺结核样本特征向量，以及各肺结核征象检测模型输出的肺结核征象样本特征向量；
肺结核分类模型训练模块，用于将肺结核样本特征向量、各肺结核征象样本特征向量、以及样本影像的肺结核分类结果作为一组分类训练样本，并基于多组分类训练样本对原始分类模型进行训练，得到肺结核分类模型。
可选的，在上述装置的基础上，该装置还可包括：
数据增强模块，用于对样本影像进行数据增强，并将数据增强结果和样本影像分别作为样本胸部的样本影像.
可选的，第二原始检测模型包括特征金字塔网络为后端的卷积神经网络模型，卷积神经网络模型包括ResNeXt网络模型或是VGG网络模型。
可选的，在上述装置的基础上，该装置还可包括：
预处理模块，用于对受检影像进行预处理，并根据预处理结果更新受检影像，其中，预处理包括白噪声的降噪处理和/或窗宽窗位的变换处理。
可选的，受检影像是基于X光成像技术获取的，X光成像技术包括数字X线摄影技术、计算机X线摄影技术或是计算机断层扫描技术；和/或，
肺结核征象检测模型包括肺结节检测模型、肺条索影检测模型、肺空洞检测模型和胸膜牵拉检测模型中的至少一个；和/或，
肺结核分类模型包括逻辑回归分类器或是支持向量机；和/或，
分类结果包括受检影像中存在肺结核的概率值。
本发明实施例三提供的医学影像分类装置，通过获取模块和输入模块相互配合，将获取到的受检胸部的受检影像分别输入至已训练完成的肺结核检测模型和至少一个肺结核征象检测模型中，以使各检测模型基于不同角度从受检影像中提取相应特征；进而，分类模块可将肺结核检测模型输出的肺结核特征向量以及各肺结核征象检测模型输出的肺结核征象特征向量，输入至已训练完成的肺结核分类模型中，基于该肺结核分类模型对各检测模型输出的特征向量进行综合分析，由此输出肺结核分类模型的分类结果，该分类结果可以作为医护人员筛查肺结核的参考因素。上述装置，考虑到肺结核征象的多样性，基于独立的肺结核检测模型和肺结核中至少一个典型征象的独立的肺结核征象检测模型分别对受检影像进行检测，提高了肺结核特征和各肺结核征象特征的提取精确度，进而再基于该肺结核分类模型对各特征向量进行综合分析，多个检测模型的有效融合解决了单独的肺结核检测模型的鲁棒性较低的问题，在较大程度降低了单独的肺结核检测模型在检测时出现漏诊和误诊的情况，进而提高了医学影像分类的精确度以及肺结核筛查场景的效率。
本发明实施例所提供的医学影像分类装置可执行本发明任意实施例所提供的医学影像分类方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述医学影像分类装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例四
图6为本发明实施例四提供的一种设备的结构示意图，如图6所示，该设备包括存储器410、处理器420、输入装置430和输出装置440。设备中的处理器420的数量可以是一个或多个，图6中以一个处理器420为例；设备中的存储器410、处理器420、输入装置430和输出装置440可以通过总线或其它方式连接，图6中以通过总线450连接为例。
存储器410作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的医学影像分类方法对应的程序指令/模块(例如，医学影像分类装置中的获取模块310、输入模块320和分类模块330)。处理器420通过运行存储在存储器410中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的医学影像分类方法。
存储器410可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器410可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器410可进一步包括相对于处理器420远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息，以及产生与装置的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
需要说明的是，本发明各实施例所述的医学影像分类方法中涉及到的模型训练过程和模型应用过程，它们可以由同一设备执行，也可以由不同设备执行，在此未做具体限定。
实施例五
本发明实施例五提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种医学影像分类方法，该方法包括：
获取受检胸部的受检影像，并将受检影像分别输入至已训练完成的肺结核检测模型和至少一个肺结核征象检测模型中；
将肺结核检测模型输出的肺结核特征向量，以及各肺结核征象检测模型输出的肺结核征象特征向量，输入至已训练完成的肺结核分类模型中；
输出肺结核分类模型的分类结果。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的医学影像分类方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。依据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种医学影像分类方法，其特征在于，包括：
获取受检胸部的受检影像，并将所述受检影像分别输入至已训练完成的肺结核检测模型和至少一个肺结核征象检测模型中；
将所述肺结核检测模型输出的肺结核特征向量，以及各所述肺结核征象检测模型输出的肺结核征象特征向量，输入至已训练完成的肺结核分类模型中；
输出所述肺结核分类模型的分类结果。
2.根据权利要求1所述的方法，其特征在于，所述肺结核检测模型和所述肺结核征象检测模型通过如下步骤预先训练得到：
获取样本胸部的样本影像，以及所述样本影像的肺结核标注结果和肺结核征象标注结果；
将所述样本影像和所述肺结核标注结果作为一组肺结核训练样本，基于多组肺结核训练样本对第一原始检测模型进行训练，得到所述肺结核检测模型；
将所述样本影像和所述肺结核征象标注结果作为一组肺结核征象训练样本，基于多组所述肺结核征象训练样本对第二原始检测模型进行训练，得到所述肺结核征象检测模型。
3.根据权利要求2所述的方法，其特征在于，还包括：
将所述样本影像分别输入至所述肺结核检测模型和各所述肺结核征象检测模型中，得到所述肺结核检测模型输出的肺结核样本特征向量，以及各所述肺结核征象检测模型输出的肺结核征象样本特征向量；
将所述肺结核样本特征向量、各所述肺结核征象样本特征向量、以及所述样本影像的肺结核分类结果作为一组分类训练样本，并基于多组所述分类训练样本对原始分类模型进行训练，得到所述肺结核分类模型。
4.根据权利要求2所述的方法，其特征在于，在所述获取样本胸部的样本影像之后，还包括：
对所述样本影像进行数据增强，并将数据增强结果和所述样本影像分别作为所述样本胸部的样本影像。
5.根据权利要求2所述的方法，其特征在于，所述第二原始检测模型包括特征金字塔网络为后端的卷积神经网络模型，所述卷积神经网络模型包括ResNeXt网络模型或是VGG网络模型。
6.根据权利要求1所述的方法，其特征在于，还包括：
对所述受检影像进行预处理，并根据预处理结果更新所述受检影像，其中，所述预处理包括白噪声的降噪处理和/或窗宽窗位的变换处理。
7.根据权利要求1所述的方法，其特征在于，所述受检影像是基于X光成像技术获取的，所述X光成像技术包括数字X线摄影技术、计算机X线摄影技术或是计算机断层扫描技术；和/或，
所述肺结核征象检测模型包括肺结节检测模型、肺条索影检测模型、肺空洞检测模型和胸膜牵拉检测模型中的至少一个；和/或，
所述肺结核分类模型包括逻辑回归分类器或是支持向量机；和/或，
所述分类结果包括所述受检影像中存在肺结核的概率值。
8.一种医学影像分类装置，其特征在于，包括：
获取模块，用于获取受检胸部的受检影像，并将所述受检影像分别输入至已训练完成的肺结核检测模型和至少一个肺结核征象检测模型中；
输入模块，用于将所述肺结核检测模型输出的肺结核特征向量，以及各所述肺结核征象检测模型输出的肺结核征象特征向量，输入至已训练完成的肺结核分类模型中；
分类模块，用于输出所述肺结核分类模型的分类结果。
9.一种设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的医学影像分类方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的医学影像分类方法。
CN202010183684.9A 2020-03-16 2020-03-16 一种医学影像分类方法、装置、设备及存储介质 Active CN111382801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010183684.9A CN111382801B (zh) 2020-03-16 2020-03-16 一种医学影像分类方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010183684.9A CN111382801B (zh) 2020-03-16 2020-03-16 一种医学影像分类方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111382801A true CN111382801A (zh) 2020-07-07
CN111382801B CN111382801B (zh) 2021-09-10

Family

ID=71215420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010183684.9A Active CN111382801B (zh) 2020-03-16 2020-03-16 一种医学影像分类方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111382801B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112420150A (zh) * 2020-12-02 2021-02-26 沈阳东软智能医疗科技研究院有限公司 医学影像报告的处理方法、装置、存储介质及电子设备
CN112686343A (zh) * 2021-03-19 2021-04-20 慧影医疗科技（北京）有限公司 一种肺结节样本数据的分类方法、装置和电子设备
CN113299392A (zh) * 2021-05-25 2021-08-24 河南八六三软件股份有限公司 新冠肺炎ct征象识别及快速诊断系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644225A (zh) * 2017-10-31 2018-01-30 北京青燕祥云科技有限公司 肺部病灶识别方法、装置和实现装置
CN107832801A (zh) * 2017-11-23 2018-03-23 桂林优利特医疗电子有限公司 一种细胞图像分类用模型构建方法
CN108648179A (zh) * 2018-04-17 2018-10-12 杭州依图医疗技术有限公司 一种分析肺结节的方法及装置
CN110717518A (zh) * 2019-09-10 2020-01-21 北京深睿博联科技有限责任公司 基于3d卷积神经网络的持续性肺结节识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644225A (zh) * 2017-10-31 2018-01-30 北京青燕祥云科技有限公司 肺部病灶识别方法、装置和实现装置
CN107832801A (zh) * 2017-11-23 2018-03-23 桂林优利特医疗电子有限公司 一种细胞图像分类用模型构建方法
CN108648179A (zh) * 2018-04-17 2018-10-12 杭州依图医疗技术有限公司 一种分析肺结节的方法及装置
CN110717518A (zh) * 2019-09-10 2020-01-21 北京深睿博联科技有限责任公司 基于3d卷积神经网络的持续性肺结节识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王晓燕等: "在有限资源条件下的肺结核模型研究", 《生物数学学报》 *
符尧等: "基于SURF的肺结核DR图像病变区域检测", 《计算机工程与设计》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112420150A (zh) * 2020-12-02 2021-02-26 沈阳东软智能医疗科技研究院有限公司 医学影像报告的处理方法、装置、存储介质及电子设备
CN112420150B (zh) * 2020-12-02 2023-11-14 沈阳东软智能医疗科技研究院有限公司 医学影像报告的处理方法、装置、存储介质及电子设备
CN112686343A (zh) * 2021-03-19 2021-04-20 慧影医疗科技（北京）有限公司 一种肺结节样本数据的分类方法、装置和电子设备
CN112686343B (zh) * 2021-03-19 2021-06-01 慧影医疗科技（北京）有限公司 一种肺结节样本数据的分类方法、装置和电子设备
CN113299392A (zh) * 2021-05-25 2021-08-24 河南八六三软件股份有限公司 新冠肺炎ct征象识别及快速诊断系统

Also Published As

Publication number Publication date
CN111382801B (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
Teare et al. Malignancy detection on mammography using dual deep convolutional neural networks and genetically discovered false color input enhancement
CN111382801B (zh) 一种医学影像分类方法、装置、设备及存储介质
CN112508850B (zh) 基于深度学习的甲状腺细胞病理切片恶性区域的检测方法
JP5174040B2 (ja) 画像の構成要素と背景とを区別するためにコンピュータで実行される方法および画像の構成要素と背景とを区別するためのシステム
CN108564026B (zh) 用于甲状腺肿瘤细胞学涂片图像分类的网络构建方法及系统
CN111488921A (zh) 一种全景数字病理图像智能分析系统及方法
Polat et al. COVID-19 diagnosis from chest X-ray images using transfer learning: Enhanced performance by debiasing dataloader
US11501431B2 (en) Image processing method and apparatus and neural network model training method
CN112581458B (zh) 一种图像处理方法和装置
CN110766670A (zh) 一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法
CN112703531A (zh) 生成组织图像的注释数据
CN112184684A (zh) 一种改进的YOLO-v3算法及其在肺结节检测中的应用
Li et al. Hybrid supervision learning for pathology whole slide image classification
CN112990214A (zh) 一种医学图像特征识别预测模型
CN110610488A (zh) 分类训练和检测的方法与装置
Chhabra et al. An efficient ResNet-50 based intelligent deep learning model to predict pneumonia from medical images
CN109872307B (zh) 一种检测生物组织图像中肿块的方法、相应设备及介质
CN114757942A (zh) 一种基于深度学习的多层螺旋ct对活动性肺结核的检测方法
Elhanashi et al. Classification and localization of multi-type abnormalities on chest X-Rays images
CN111401102A (zh) 深度学习模型训练方法及装置、电子设备及存储介质
CN111127432B (zh) 一种医学图像检测方法、装置、设备及存储介质
Mahalaxmi et al. Detection of Lung Cancer Using Binarization Technique.
CN113591791A (zh) 基于自学习人工智能的肺癌自动化识别系统
Vijayalakshmi et al. Liver tumor detection using CNN
Abdalla et al. A computer-aided diagnosis system for classification of lung tumors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room B401, 4 / F, building 1, No. 12, shangdixin Road, Haidian District, Beijing 100085

Applicant after: Tuxiang Medical Technology Co., Ltd

Address before: Room B401, 4 / F, building 1, No. 12, shangdixin Road, Haidian District, Beijing 100085

Applicant before: Beijing Tuoxiang Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant