CN111160442B - 图像分类方法、计算机设备和存储介质 - Google Patents
图像分类方法、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111160442B CN111160442B CN201911350942.1A CN201911350942A CN111160442B CN 111160442 B CN111160442 B CN 111160442B CN 201911350942 A CN201911350942 A CN 201911350942A CN 111160442 B CN111160442 B CN 111160442B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- classification
- original image
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000011218 segmentation Effects 0.000 claims abstract description 64
- 230000002708 enhancing effect Effects 0.000 claims abstract description 14
- 210000004072 lung Anatomy 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012952 Resampling Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 17
- 201000010099 disease Diseases 0.000 abstract description 16
- 230000002787 reinforcement Effects 0.000 abstract description 3
- 206010063045 Effusion Diseases 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 208000002151 Pleural effusion Diseases 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- QTCANKDTWWSCMR-UHFFFAOYSA-N costic aldehyde Natural products C1CCC(=C)C2CC(C(=C)C=O)CCC21C QTCANKDTWWSCMR-UHFFFAOYSA-N 0.000 description 6
- ISTFUJWTQAMRGA-UHFFFAOYSA-N iso-beta-costal Natural products C1C(C(=C)C=O)CCC2(C)CCCC(C)=C21 ISTFUJWTQAMRGA-UHFFFAOYSA-N 0.000 description 6
- 208000019693 Lung disease Diseases 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 208000023275 Autoimmune disease Diseases 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 2
- 206010035664 Pneumonia Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 208000015181 infectious disease Diseases 0.000 description 2
- 230000004054 inflammatory process Effects 0.000 description 2
- 206010025135 lupus erythematosus Diseases 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 210000004351 coronary vessel Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003456 pulmonary alveoli Anatomy 0.000 description 1
- 208000008128 pulmonary tuberculosis Diseases 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000004202 respiratory function Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 201000008827 tuberculosis Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Abstract
本发明涉及一种图像分类方法、计算机设备和存储介质。该方法包括：获取包括待分类的目标结构的原始图像，并将原始图像输入至预设的分割网络，得到包括目标结构的分割图像，再根据分割图像对原始图像中的目标特征进行增强，得到中间图像，最后将中间图像输入至预设的分类网络，得到分类结果。本申请提出的分类方法实现了对原始图像中的目标特征进行加强，极大的提高了原始图像中目标特征对应图像的清晰度，使得基于增强目标特征后的原始图像在进行分类时，可以极大的提高对目标结构疾病类别分类的准确性。
Description
技术领域
本申请涉及图像识别技术领域，尤其涉及一种图像分类方法、计算机设备和存储介质。
背景技术
肺积液医学上通常叫“肋膜积水”，水是堆积在肺脏的外面，它可以是感染发炎引起(如：肺炎、肺结核)，也可以是一些自体免疫疾病引起(如：红斑性狼疮)，还有很多肺部疾病都会合并肋膜积水。X光(X-Rays)胸片由于其比较低廉的价格以及相对较好的效果，在肺部疾病、心脏疾病、腹部疾病以及骨折的早期发现以及诊断当中占有重要的地位。
目前主要使用X光的肺片图像来进行肺叶疾病类型的诊断，即，医生依靠自身丰富经验通过对肺片的目测分析，正确地诊断并且区分不同程度的肺积液；或者，采用相应的肺叶分割的算法先对X光的肺片图像上的肺叶进行分割，然后医生通过对分割后的图像进行分析，正确地诊断并且区分不同程度的肺积液；或者，直接采用相应的肺叶疾病分类算法对X光的肺片图像进行分类，得到分类结果，然后医生基于分类结果正确地诊断并且区分不同程度的肺积液。
但是，上述的肺叶疾病的诊断方法对于微量积液均难以进行准确的诊断。
发明内容
基于此，有必要针对上述技术问题，提供一种能够有效提高分类准确性的图像分类方法、计算机设备和存储介质。
第一方面，一种图像分类方法，所述方法包括：
获取原始图像；原始图像包括待分类的目标结构；
将原始图像输入至预设的分割网络，得到包括目标结构的分割图像；
根据分割图像对所述原始图像中的目标特征进行增强，得到中间图像；
将中间图像输入至预设的分类网络，得到分类结果。
在其中一个实施例中，根据分割图像对原始图像中的目标特征进行增强，得到中间图像，包括：
从分割图像的目标结构中提取目标特征，得到部分图像；
将部分图像与原始图像进行融合，得到中间图像。
在其中一个实施例中，将部分图像与所述原始图像进行融合，得到中间图像之前，方法还包括：
对部分图像进行重采样，得到与原始图像尺寸相同的部分图像。
在其中一个实施例中，目标结构为肺叶结构，目标特征为肺叶结构中包含的部分区域的特征。
在其中一个实施例中，部分区域的特征包括肋膈角区域的特征，根据分割图像对原始图像中的目标特征进行增强，得到中间图像，包括：
从肺叶结构中提取肋膈角区域的特征，得到肋膈角区域图像；
将肋膈角区域图像与原始图像进行融合，得到中间图像。
在其中一个实施例中，将肋膈角区域图像与原始图像进行融合，得到中间图像之前，所述方法包括：
对肋膈角区域图像进行重采样，得到与原始图像尺寸相同的肋膈角区域图像。
在其中一个实施例中，训练分割网络的方法包括：
获取第一样本图像；第一样本图像中标记出目标结构；
将第一样本图像输入至待训练的分割网络，训练待训练的分割网络，得到分割网络。
在其中一个实施例中，训练分类网络的方法包括：
获取第二样本图像；第二样本图像中包含目标结构的分类标签；
将第二样本图像输入至待训练的分类网络，训练待训练的分类网络，得到分类网络。
第二方面，一种图像分类装置，所述装置包括：
获取模块，用于获取原始图像；原始图像包括待分类的目标结构；
分割模块，用于将原始图像输入至预设的分割网络，得到包括目标结构的分割图像；
增强模块，用于根据分割图像对原始图像中的目标特征进行增强，得到中间图像；
分类模块，用于将中间图像输入至预设的分类网络，得到分类结果。
第三方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面任一实施例所述的图像分类方法。
第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一实施例所述的图像分类方法。
本申请提供的一种图像分类方法、计算机设备和存储介质，包括：获取包括待分类的目标结构的原始图像，并将原始图像输入至预设的分割网络，得到包括目标结构的分割图像，再根据分割图像对原始图像中的目标特征进行增强，得到中间图像，最后将中间图像输入至预设的分类网络，得到分类结果。在上述方法中，由于原始图像中的目标特征一般在实际应用中为目标结构上的狭窄区域或边缘区域包含的结构对应的特征，且该目标特征对应图像的清晰度直接影响后期对目标结构分类的准确性。基于上述应用环境，本申请提出的分类方法实现了对原始图像中的目标特征进行加强，极大的提高了原始图像中目标特征对应图像的清晰度，使得基于增强目标特征后的原始图像在进行分类时，可以极大的提高对目标结构疾病类别分类的准确性。
附图说明
图1为一个实施例提供的一种计算机设备的内部结构示意图；
图2为一个实施例提供的一种图像分类方法的流程图；
图3为图2实施例中S103的另一种实现方式的流程图；
图4为图3实施例中S202的另一种实现方式的流程图；
图5为一个实施例提供的一种检测网络的结构示意图；
图6为一个实施例提供的一种训练方法的流程图；
图7为一个实施例提供的一种训练方法的流程图；
图8为一个实施例提供的一种训练网络的结构示意图；
图9为一个实施例提供的一种图像分类装置的结构示意图；
图10为一个实施例提供的一种图像分类装置的结构示意图；
图11为一个实施例提供的一种图像分类装置的结构示意图；
图12为一个实施例提供的一种图像分类装置的结构示意图；
图13为一个实施例提供的一种图像分类装置的结构示意图；
图14为一个实施例提供的一种训练装置的结构示意图；
图15为一个实施例提供的一种训练装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请提供的图像分类方法，可以应用于如图1所示的计算机设备中。该计算机设备可以是服务器，也可以是终端，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像分类方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图2为一个实施例提供的一种图像分类方法的流程图，该方法的执行主体为图1中的计算机设备，该方法涉及的是计算机设备对图像进行准确分类的具体过程。如图2所示，该方法具体包括以下步骤：
S101、获取原始图像；原始图像包括待分类的目标结构。
其中，原始图像为待分类的图像，其中包含的目标结构可以是多种类型的形态结构，例如，脑结构、心脏结构、肺部结构、脊柱结构等。原始图像也可以是各种类型的扫描图像，例如，CT图像、X-光图像、MRI图像等，对此本实施例不做限定。本实施例中，计算机设备可以通过连接扫描设备对目标形态结构进行扫描得到原始图像，可选的，计算机设备也可以通过其它方法直接获取到原始图像，例如，从网络上或云端数据库中下载得到原始图像，对此本实施例不做限定。
S102、将原始图像输入至预设的分割网络，得到包括目标结构的分割图像。
其中，分割网络可以采用现有的用于分割图像的分割网络，可选的，其也可以采用计算机设备预先根据样本数据训练得到的用于分割图像的分割网络。分割网络具体可以包括深度神经网络或其它机器学习网络，例如，V-net网络、N-net网络、FNC全卷积网络等，对此本实施例不做限定。
本实施例中，当计算机设备获取到原始图像时，可以进一步的将原始图像输入至预先确定的分割网络或预先训练好的分割网络进行目标结构的分割处理，得到包含目标结构的分割图像。例如，将肺部图像进行分割，得到包含肺叶结构的分割图像。
S103、根据分割图像对原始图像中的目标特征进行增强，得到中间图像。
其中，目标特征为目标结构上任一局部区域的特征，例如，若目标结构为心脏结构，则对应的目标特征可以为该心脏结构上的冠状动脉所在区域的特征，若目标结构为肺叶结构，则对应的目标特征可以为该肺叶结构上的肋膈角所在区域的特征，或该肺叶结构上的肺泡所在区域的特征。
本实施例中，当计算机设备获取到分割图像时，可以进一步的对该分割图像进行目标特征的提取，再根据提取出的目标特征对原始图像中包含的目标特征进行增强处理，得到中间结果。上述增强处理的方法可以具体包括：将提取出的目标特征直接添加到原始图像中的目标特征上，或者，将提取出的目标特征对应的图像与原始图像融合。
S104、将中间图像输入至预设的分类网络，得到分类结果。
其中，分类网络可以采用现有的用于对目标结构进行疾病分类的分类网络，可选的，其也可以采用计算机设备预先根据样本数据训练得到的用于对目标结构进行疾病分类的分类网络。分类网络具体可以包括深度神经网络或其它机器学习网络，例如，V-net网络、N-net网络等，对此本实施例不做限定。分类结果表示对目标结构的疾病类别诊断结果，其具体可以用数字、文字、字母等表示，例如，目标结构为肺叶结构时，分类结果可以表示肺积液的严重程度，其具体可以使用数字0、1、2、3分别表示正常、一般、严重、非常严重。
本实施例中，当计算机设备获取到中间图像时，可以进一步的将中间图像输入至预先确定的分类网络或预先训练好的分类网络，实现对目标结构的疾病类别的分类，从而得到分类结果。可选的，也可以进一步的对中间图像进行预处理，例如，对中间图像进行标准化以及归一化处理，得到预处理后的图像，再将预处理后的图像输入至预先确定的分类网络或预先训练好的分类网络，实现对目标结构的疾病类别的分类，从而得到分类结果。
本实施例提供的一种图像分类方法，包括：获取包括待分类的目标结构的原始图像，并将原始图像输入至预设的分割网络，得到包括目标结构的分割图像，再根据分割图像对原始图像中的目标特征进行增强，得到中间图像，最后将中间图像输入至预设的分类网络，得到分类结果。在上述方法中，由于原始图像中的目标特征一般在实际应用中为目标结构上的狭窄区域或边缘区域包含的结构对应的特征，且该目标特征对应图像的清晰度直接影响后期对目标结构分类的准确性。基于上述应用环境，本申请提出的分类方法实现了对原始图像中的目标特征进行加强，极大的提高了原始图像中目标特征对应图像的清晰度，使得基于增强目标特征后的原始图像在进行分类时，可以极大的提高对目标结构疾病类别分类的准确性。
图3为图2实施例中S103的另一种实现方式的流程图，如图3所示，上述S103“根据分割图像对原始图像中的目标特征进行增强，得到中间图像”，包括：
S201、从分割图像的目标结构中提取目标特征，得到部分图像。
当计算机设备获取到分割图像时，可以进一步的从分割图像包含的目标结构中提取出目标特征的图像，即部分图像。可选的，上述提取操作可以采用现有的分割网络实现，即采用现有的分割网络对分割图像进行目标特征所在区域图像的分割，得到分割后的部分图像。可选的，也可以采用其它提取方法提取目标结构中目标特征的图像。
S202、将部分图像与原始图像进行融合，得到中间图像。
当计算机设备获取到部分图像时，可以将该部分图像与原始图像进行融合，使原始图像中的目标特征得到增强，最后得到融合后的图像，即中间图像。
在一个实施例中，上述S202“将部分图像与原始图像进行融合，得到中间图像”之前，上述方法还包括：对部分图像进行重采样，得到与原始图像尺寸相同的部分图像。
在实际应用中，在上述融合部分图像与原始图像之前，计算机设备还需要将部分图像的尺寸进行调整，使部分图像的尺寸与原始图像尺寸相同，以便之后准确的融合图像。具体可以对部分图像进行重采样，或对部分图像进行插值处理，得到与原始图像尺寸相同的部分图像。
需要说明的是，上述目标结构上的目标特征是根据实际医疗诊断需求确定的，一般情况下，目标特征为目标结构上狭窄区域或边缘区域的特征，且该狭窄区域或边缘区域内的特征直接影响后期对目标结构的疾病类别分类的准确性，而往往狭窄区域或边缘区域内的特征在原始图像上表现的十分不清楚，从而导致了后期对目标结构的疾病类别分类的准确性。
在医学领域，存在一种肺部疾病，即肺积液，该肺积液医学上通常叫“肋膜积水”，水是堆积在肺脏的外面，它可以是感染发炎引起(如：肺炎、肺结核…都可以合并肋膜积水)，也可以是一些自体免疫疾病引起(如：红斑性狼疮)，还有很多肺部疾病都会合并肋膜积水。肺积液，说明肺部存在较明显的病变，如肺积液不治疗会影响病人的呼吸功能。但是在利用医疗影像的图片对肺部积液的程度进行分类时，由于微量肺积液在图片上很不明显，而且容易跟其他类型的肺部疾病混淆，导致后期很难区分出正常与微量积液的患者。因此，基于上述技术问题，本申请提出了一种图像分类方法，该图像分类方法实现了对肺积液疾病的分类，得到表示肺积液严重程度的分类结果。
基于上述应用场景，原始图像中的目标结构是肺叶结构，则上述S201中的目标特征为肺叶结构中包含的部分区域的特征，例如，其具体可以为包含肋膈角区域的特征、也可以是包含脊肋角区域的特征，还可以是包含肺叶结构中其它部分区域的特征，对此本实施例不做限定，只要部分区域的特征可以代表肺积液疾病的类别即可。以下实施例以目标特征为包含肋膈角区域的特征为例进行说明。
基于上述应用环境，当上述目标特征为包含肋膈角区域的特征时，上述S202“将部分图像与原始图像进行融合，得到中间图像”，如图4所示，包括：
S301、从肺叶结构中提取肋膈角区域的特征，得到肋膈角区域图像。
当计算机设备获取到肺叶结构的分割图像时，可以进一步的从肺叶结构中提取出肋膈角区域的特征对应的图像，得到肋膈角区域图像。可选的，上述提取操作可以采用现有的分割网络实现，即采用现有的分割网络对分割图像进行肋膈角区域图像的分割，得到分割后的肋膈角区域图像。
S302、将肋膈角区域图像与原始图像进行融合，得到中间图像。
当计算机设备获取到肋膈角区域图像时，可以将该肋膈角区域图像与原始图像进行融合，使原始图像中的肋膈角区域的特征得到增强，最后得到融合后的图像，即中间图像。
在一个实施例中，上述S302“将肋膈角区域图像与原始图像进行融合，得到中间图像”之前，上述方法还包括：对肋膈角区域图像进行重采样，得到与原始图像尺寸相同的肋膈角区域图像。
在实际应用中，在上述融合肋膈角区域图像与原始图像之前，计算机设备还需要将肋膈角区域图像的尺寸进行调整，使肋膈角区域图像的尺寸与原始图像尺寸相同，以便之后准确的融合图像。具体可以对肋膈角区域图像进行重采样，或对肋膈角区域图像进行插值处理，得到与原始图像尺寸相同的肋膈角区域图像。
综上所有实施例，本申请提供了一种检测网络，如图5所示，该检测网络包括：分割网络、提取模块、处理模块、融合模块、分类网络，其中，分割网络用于对输入的原始图像进行目标结构的分割，得到分割图像；提取网络用于提取所述分割图像中目标特征所在区域的图像，得到中间图像；所述处理模块用于对所述中间图像进行重采样或插值处理，得到处理后的中间图像，该中间图像的尺寸与原始图像的尺寸相同；所述融合模块用于将所述处理后的中间图像与原始图像进行融合，得到融合后的图像；所述分类网络用于对输入的融合后的图像进行分类，得到分类结果。
在一个实施例中，本申请还提供了一种训练上述分割网络的方法，如图6所示，该方法包括：
S401、获取第一样本图像；第一样本图像中标记出目标结构。
其中，第一样本图像可以通过采集X光片对应的图像数据得到，可选的，也可以通过采集其它类型影像对应的图像数据得到。当计算机设备通过扫描目标结构获取到X光片或其它类型的影像时，可以在X光片或其它类型的影像上手动勾画或采用掩膜版的方式标记出目标结构，从而得到第一样本图像。例如，在肺部X光片上标记出肺叶结构。
S402、将第一样本图像输入至待训练的分割网络，训练待训练的分割网络，得到分割网络。
当计算机设备获取到第一样本图像时，可以将该第一样本图像输入至待训练的分割网络进行目标结构的分割，得到分割结果，再根据分割结果得到分割网络的训练损失，进一步的根据训练损失的收敛情况或训练损失的值调整待训练的分割网络中的参数，直至训练损失收敛或训练损失的值满足预设条件位置，完成训练，得到前述应用实施例中使用的分割网络。
在一个实施例中，本申请还提供了一种训练上述分类网络的方法，如图7所示，该方法包括：
S501、获取第二样本图像；第二样本图像中包含目标结构的分类标签。
其中，第二样本图像可以通过采集X光片对应的图像数据得到，可选的，也可以通过采集其它类型影像对应的图像数据得到，特别说明的是，获取第二样本图像时采集的影像数据与获取第一样本图像时采集的影像数据可以相同，也可以不相同，只要第一样本图像和第二样本图像中包含的目标结构的类型相同即可。当计算机设备通过扫描目标结构获取到X光片或其它类型的影像时，可以在X光片或其它类型的影像上添加目标结构所属的疾病类别的标签，从而得到第二样本图像。
S502、将第二样本图像输入至待训练的分类网络，训练待训练的分类网络，得到分类网络。
当计算机设备获取到第二样本图像时，可以将该第二样本图像输入至待训练的分类网络进行目标结构的疾病类别分析，得到分类结果，再根据分类结果得到分类网络的训练损失，进一步的根据训练损失的收敛情况或训练损失的值调整待训练的分类网络中的参数，直至训练损失收敛或训练损失的值满足预设条件位置，完成训练，得到前述应用实施例中使用的分类网络。
相应的，基于图6和图7实施例所述的训练方法，本申请还提供了一种训练网络，如图8所示，该训练网络包括：待训练的分割网络、待训练的分类网络、第一训练损失模块、第二训练损失模块，其中，待训练的分割网络用于对输入的第一样本图像进行分割，得到分割结果，第一训练损失模块用于根据分割结果计算分割网络的训练损失的值，并根据该训练损失的值训练待训练的分割网络。待训练的分类网络用于对输入的第二样本图像进行分类，得到分类结果，第二训练损失模块用于根据分类结果计算分类网络的训练损失的值，并根据该训练损失的值训练待训练的分类网络。
应该理解的是，虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行。
在一个实施例中，如图9所示，提供了一种图像分类装置，包括：获取模块11、分割模块12、增强模块13和分类模块14，其中：
获取模块11，用于获取原始图像；原始图像包括待分类的目标结构；
分割模块12，用于将原始图像输入至预设的分割网络，得到包括目标结构的分割图像；
增强模块13，用于根据分割图像对原始图像中的目标特征进行增强，得到中间图像；
分类模块14，用于将中间图像输入至预设的分类网络，得到分类结果。
在一个实施例中，如图10所示，上述增强模块13，包括：
第一提取单元131，用于从分割图像的目标结构中提取目标特征，得到部分图像；
第一融合单元132，用于将部分图像与原始图像进行融合，得到中间图像。
在一个实施例中，上述增强模块13，如图11所示，还包括：
第一采样单元133，用于对部分图像进行重采样，得到与原始图像尺寸相同的部分图像。
在一个实施例中，上述增强模块13，如图12所示，包括：
第二提取单元134，用于从肺叶结构中提取肋膈角区域的特征，得到肋膈角区域图像；
第二融合单元135，用于将肋膈角区域图像与原始图像进行融合，得到中间图像。
在一个实施例中，上述增强模块13，如图13所示，还包括：
第二采样单元136，用于对肋膈角区域图像进行重采样，得到与原始图像尺寸相同的肋膈角区域图像。
在一个实施例中，提供了一种训练装置，如图14所示，包括：获取模块21和分割模块22，其中：
第一获取样本模块21，用于获取第一样本图像；第一样本图像中标记出目标结构；
分割训练模块22，用于将第一样本图像输入至待训练的分割网络，训练待训练的分割网络，得到分割网络。
在一个实施例中，提供了一种训练装置，如图15所示，包括：第二获取样本模块31和分类训练模块32，其中：
第二获取样本模块31，用于获取第二样本图像；第二样本图像中包含目标结构的分类标签；
分类训练模块32，用于将第二样本图像输入至待训练的分类网络，训练待训练的分类网络，得到分类网络。
关于图像分类装置的具体限定可以参见上文中对于一种图像分类方法的限定，在此不再赘述。上述图像分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取原始图像；原始图像包括待分类的目标结构；
将原始图像输入至预设的分割网络，得到包括目标结构的分割图像；
根据分割图像对所述原始图像中的目标特征进行增强，得到中间图像；
将中间图像输入至预设的分类网络，得到分类结果。
上述实施例提供的一种计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时还实现以下步骤：
获取原始图像；原始图像包括待分类的目标结构；
将原始图像输入至预设的分割网络，得到包括目标结构的分割图像；
根据分割图像对所述原始图像中的目标特征进行增强，得到中间图像；
将中间图像输入至预设的分类网络，得到分类结果。
上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种图像分类方法，其特征在于，所述方法包括：
获取原始图像；所述原始图像包括待分类的目标结构；
将所述原始图像输入至预设的分割网络，得到包括所述目标结构的分割图像；
提取所述分割图像的目标特征，并将所述目标特征添加到所述原始图像中的目标特征上对所述原始图像中的目标特征进行增强，得到中间图像；所述目标特征为所述分割图像中肺叶结构中包含的部分区域的特征；所述部分区域的特征包括肋膈角区域的特征、脊肋角区域的特征，以及所述肺叶结构中其它部分区域的特征中的任一种；
将所述中间图像输入至预设的分类网络，得到分类结果；所述分类结果表示肺积液的严重程度。
2.根据权利要求1所述的方法，其特征在于，所述将所述目标特征添加到所述原始图像中的目标特征上对所述原始图像中的目标特征进行增强，得到中间图像，包括：
从所述分割图像的目标结构中提取所述目标特征，得到部分图像；
将所述部分图像与所述原始图像进行融合，得到所述中间图像。
3.根据权利要求2所述的方法，其特征在于，所述将所述部分图像与所述原始图像进行融合，得到所述中间图像之前，所述方法还包括：
对所述部分图像进行重采样，得到与所述原始图像尺寸相同的部分图像。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述中间图像进行预处理，得到预处理后的图像；
所述将所述中间图像输入至预设的分类网络，得到分类结果，包括：
将所述预处理后的图像输入至预设的分类网络，得到分类结果。
5.根据权利要求1所述的方法，其特征在于，训练所述分割网络的方法包括：
获取第一样本图像；所述第一样本图像中标记出所述目标结构；
将所述第一样本图像输入至待训练的分割网络，训练所述待训练的分割网络，得到所述分割网络。
6.根据权利要求1所述的方法，其特征在于，训练所述分类网络的方法包括：
获取第二样本图像；所述第二样本图像中包含所述目标结构的分类标签；
将所述第二样本图像输入至待训练的分类网络，训练所述待训练的分类网络，得到所述分类网络。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911350942.1A CN111160442B (zh) | 2019-12-24 | 2019-12-24 | 图像分类方法、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911350942.1A CN111160442B (zh) | 2019-12-24 | 2019-12-24 | 图像分类方法、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111160442A CN111160442A (zh) | 2020-05-15 |
| CN111160442B true CN111160442B (zh) | 2024-02-27 |
Family
ID=70557905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911350942.1A Active CN111160442B (zh) | 2019-12-24 | 2019-12-24 | 图像分类方法、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111160442B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494935B (zh) * | 2021-12-15 | 2024-01-05 | 北京百度网讯科技有限公司 | 视频信息的处理方法、装置、电子设备和介质 |
| CN115147668B (zh) * | 2022-09-06 | 2022-12-27 | 北京鹰瞳科技发展股份有限公司 | 疾病分类模型的训练方法、疾病分类的方法及相关产品 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1447772A1 (en) * | 2003-02-11 | 2004-08-18 | MeVis GmbH | A method of lung lobe segmentation and computer system |
| CN107610141A (zh) * | 2017-09-05 | 2018-01-19 | 华南理工大学 | 一种基于深度学习的遥感图像语义分割方法 |
| CN107945179A (zh) * | 2017-12-21 | 2018-04-20 | 王华锋 | 一种基于特征融合的卷积神经网络的肺结节良恶性检测方法 |
| CN109583369A (zh) * | 2018-11-29 | 2019-04-05 | 北京邮电大学 | 一种基于目标区域分割网络的目标识别方法及装置 |
| CN110188813A (zh) * | 2019-05-24 | 2019-08-30 | 上海联影智能医疗科技有限公司 | 图像特征分类方法、计算机设备和存储介质 |
| WO2019200740A1 (zh) * | 2018-04-20 | 2019-10-24 | 平安科技（深圳）有限公司 | 肺结节的检测方法、装置、计算机设备和存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6694046B2 (en) * | 2001-03-28 | 2004-02-17 | Arch Development Corporation | Automated computerized scheme for distinction between benign and malignant solitary pulmonary nodules on chest images |
| KR102475826B1 (ko) * | 2017-04-21 | 2022-12-09 | 삼성메디슨 주식회사 | 영상 분할 방법 및 그 전자 장치 |
| CN110610498A (zh) * | 2019-08-13 | 2019-12-24 | 上海联影智能医疗科技有限公司 | 乳腺钼靶图像处理方法、系统、存储介质及设备 |
-
2019
- 2019-12-24 CN CN201911350942.1A patent/CN111160442B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1447772A1 (en) * | 2003-02-11 | 2004-08-18 | MeVis GmbH | A method of lung lobe segmentation and computer system |
| CN107610141A (zh) * | 2017-09-05 | 2018-01-19 | 华南理工大学 | 一种基于深度学习的遥感图像语义分割方法 |
| CN107945179A (zh) * | 2017-12-21 | 2018-04-20 | 王华锋 | 一种基于特征融合的卷积神经网络的肺结节良恶性检测方法 |
| WO2019200740A1 (zh) * | 2018-04-20 | 2019-10-24 | 平安科技（深圳）有限公司 | 肺结节的检测方法、装置、计算机设备和存储介质 |
| CN109583369A (zh) * | 2018-11-29 | 2019-04-05 | 北京邮电大学 | 一种基于目标区域分割网络的目标识别方法及装置 |
| CN110188813A (zh) * | 2019-05-24 | 2019-08-30 | 上海联影智能医疗科技有限公司 | 图像特征分类方法、计算机设备和存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| A Lung Disease Classification Based on Feature Fusion Convolutional Neural Network with X-ray Image Enhancement;Yue Cheng et al.;《 2018 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)》;全文 * |
| 一种基于CT图像的肺实质分割方法;刘莹芳;柏正尧;李琼;;云南大学学报(自然科学版)(03);全文 * |
| 基于U-net网络的肺部肿瘤图像分割算法研究;周鲁科;朱信忠;;信息与电脑(理论版)(05);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111160442A (zh) | 2020-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109741346B (zh) | 感兴趣区域提取方法、装置、设备及存储介质 | |
| CN111325739B (zh) | 肺部病灶检测的方法及装置，和图像检测模型的训练方法 | |
| CN111160367B (zh) | 图像分类方法、装置、计算机设备和可读存储介质 | |
| JP5970766B2 (ja) | 医用画像処理装置、医用画像処理方法、プログラム | |
| CN110334722B (zh) | 图像分类方法、装置、计算机设备和存储介质 | |
| CN110600107B (zh) | 医学图像的筛选方法、计算机设备及可读存储介质 | |
| CN110738643B (zh) | 脑出血的分析方法、计算机设备和存储介质 | |
| CN110363774B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN111160442B (zh) | 图像分类方法、计算机设备和存储介质 | |
| EP3722996A2 (en) | Systems and methods for processing 3d anatomical volumes based on localization of 2d slices thereof | |
| US20110064289A1 (en) | Systems and Methods for Multilevel Nodule Attachment Classification in 3D CT Lung Images | |
| CN110210519B (zh) | 分类方法、计算机设备和存储介质 | |
| CN111223158B (zh) | 心脏冠脉图像的伪影校正方法和可读存储介质 | |
| CN113066080A (zh) | 切片组织识别方法、装置，细胞识别模型及组织分割模型 | |
| CN115439533A (zh) | 获得颅内动脉瘤在血管分段位置的方法、计算机设备、可读存储介质和程序产品 | |
| US11842275B2 (en) | Improving segmentations of a deep neural network | |
| JP7170000B2 (ja) | 学習システム、方法及びプログラム | |
| CN111160441B (zh) | 分类方法、计算机设备和存储介质 | |
| CN111161240B (zh) | 血管分类方法、装置、计算机设备和可读存储介质 | |
| CN110738639B (zh) | 医学图像检测结果的展示方法、装置、设备及存储介质 | |
| CN110473621B (zh) | 诊断数据显示方法、计算机设备和存储介质 | |
| CN110825693A (zh) | 医学数据存储方法、装置和可读存储介质 | |
| CN111918611A (zh) | 胸部x线图像的异常显示控制方法、异常显示控制程序、异常显示控制装置以及服务器装置 | |
| CN110766653B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| US20210192731A1 (en) | Image judgment device, image judgment method, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |