CN107895369B - 图像分类方法、装置、存储介质及设备 - Google Patents

图像分类方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN107895369B
CN107895369B CN201711212049.3A CN201711212049A CN107895369B CN 107895369 B CN107895369 B CN 107895369B CN 201711212049 A CN201711212049 A CN 201711212049A CN 107895369 B CN107895369 B CN 107895369B
Authority
CN
China
Prior art keywords
dimensional imaging
disease
model
disease source
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711212049.3A
Other languages
English (en)
Other versions
CN107895369A (zh
Inventor
孙星
曹鸿吉
郭晓威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd, Tencent Cloud Computing Beijing Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201711212049.3A priority Critical patent/CN107895369B/zh
Publication of CN107895369A publication Critical patent/CN107895369A/zh
Application granted granted Critical
Publication of CN107895369B publication Critical patent/CN107895369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像分类方法、装置、存储介质及设备，属于机器学习技术领域。方法包括：获取待分类的三维成像图，并将待分类的三维成像图进行缩放处理，将得到的至少两种分辨率的三维成像图输入检测模型，检测模型是基于人工标注样本的多尺度特征进行机器学习得到的；获取检测模型输出的待分类的三维成像图中的病源区域；将确定出来的病源区域输入分类模型，分类模型是基于金标准样本进行机器学习得到的，金标准样本为对病源属性进行正确区分的图像样本；获取分类模型输出的待分类的三维成像图的图像类别，图像类别中包括疾病的疾病属性。本发明基于多尺度特征以及金标准样本训练出的模型准确度高，图像分类的准确度大幅提升。

Description

图像分类方法、装置、存储介质及设备
技术领域
本发明涉及机器学习技术领域，特别涉及一种图像分类方法、装置、存储介质及设备。
背景技术
机器学习技术作为人工智能的核心，其应用范围目前已经遍及各个领域，比如医疗领域便是其中一种。在医疗领域中，利用机器学习技术对医学影像图像进行分类，通常可实现对疾病属性进行识别。其中，疾病属性一般可分为良性(未患病)以及恶性(患病)。以肺癌为例，时下利用机器学习技术对肺部病灶区域的医学影像图像进行分类，可以识别出肺癌是属于良性还是恶性。
继续以肺癌为例，相关技术在通过图像分类来识别肺癌的良恶性时，首先通过预先训练好的机器学习模型，在肺部病灶区域的CT(Computed Tomography，电子计算机断层扫描)图像中确定肺结节区域。其中，上述机器学习模型是对人工标注样本的单尺度特征进行学习得到的，而人工标注样本为人工标注好肺结节区域的样本。之后，确定肺结节区域中各个肺结节的良恶性，最后根据各个肺结节的良恶性来对该CT图像进行分类，得到该CT图像的图像类别，进而完成识别肺癌的良恶性。如果肺结节为良性，则肺癌为良性，如果肺结节为恶性，则肺癌为恶性。
在实现本发明的过程中，发明人发现相关技术至少存在以下问题：
在肺部病灶区域的CT图像中，肺结节的大小分布范围较广，利用单尺度特征进行模型训练，会导致训练出的机器学习模型准确度不高，比如会忽略掉很多小尺寸的肺结节，进而会影响通过图像分类来对肺癌属性进行识别的准确度。
发明内容
本发明实施例提供了一种图像分类方法、装置、存储介质及设备，可以解决相关技术的问题。所述技术方案如下：
第一方面，提供了一种图像分类方法，所述方法包括：
获取待分类的三维成像图，并将所述待分类的三维成像图进行缩放处理，得到至少两种分辨率的三维成像图；
将所述至少两种分辨率的三维成像图输入所述检测模型，所述检测模型是基于人工标注样本的多尺度特征进行机器学习得到的，所述人工标注样本为人工标注好病源区域的图像样本；
获取所述检测模型输出的所述待分类的三维成像图中的病源区域，所述病源区域为引起疾病的病源所在的区域；
将确定出来的病源区域输入分类模型，所述分类模型是基于金标准样本进行机器学习得到的，所述金标准样本为对病源属性进行正确区分的图像样本，所述病源属性为良性或恶性；
获取所述分类模型输出的所述待分类的三维成像图的图像类别，所述图像类别中包括所述疾病的疾病属性，所述疾病属性为良性或者恶性。
第二方面，提供了一种图像分类装置，所述装置包括：
处理模块，用于获取待分类的三维成像图，并将所述待分类的三维成像图进行缩放处理，得到至少两种分辨率的三维成像图；
第一输入模块，用于将所述至少两种分辨率的三维成像图输入所述检测模型，所述检测模型是基于人工标注样本的多尺度特征进行机器学习得到的，所述人工标注样本为人工标注好病源区域的图像样本；
第一获取模块，用于获取所述检测模型输出的所述待分类的三维成像图中的病源区域，所述病源区域为引起疾病的病源所在的区域；
第二输入模块，用于将确定出来的病源区域输入分类模型，所述分类模型是基于金标准样本进行机器学习得到的，所述金标准样本为对病源属性进行正确区分的图像样本，所述病源属性为良性或恶性；
第二获取模块，用于获取所述分类模型输出的所述待分类的三维成像图的图像类别，所述图像类别中包括所述疾病的疾病属性，所述疾病属性为良性或者恶性。
第三方面，提供了一种存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的图像分类方法。
第四方面，提供了一种用于图像分类的设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的图像分类方法。
本发明实施例提供的技术方案带来的有益效果是：
在获取到待分类的三维成像图后，先将待分类的三维成像图进行缩放处理，得到至少两种分辨率的三维成像图，然后将至少两种分辨率的三维成像图输入检测模型，通过检测模型在待分类的三维成像图中进行病源区域的检测并将检测到的病源区域输入分类模型，进而通过分类模型来识别患者所患疾病的疾病属性，由于检测模型是基于多尺度特征训练得到的且分类模型是基于金标准样本训练得到的，而多尺度特征提供了更为丰富的病源信息，金标准样本能够给出绝对准确的病源属性的判断不存在误差，因此基于多尺度特征以及精准的金标准样本训练出的机器学习模型的准确度较高，且利用多分辨率能够更加精准地检测病源区域，所以本发明实施例提供的图像分类方法的分类准确度更高。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像分类方法所涉及的实施场景的架构图；
图2是本发明实施例提供的一种图像分类方法的流程图；
图3是本发明实施例提供的一种特征提取与尺度压缩的示意图；
图4是本发明实施例提供的一种特征提取、尺度压缩与特征聚集的示意图；
图5是本发明实施例提供的一种检测模型与分类模型的结构示意图；
图6是本发明实施例提供的一种图像分类方法的流程图；
图7是本发明实施例提供的一种图像分类装置的结构示意图；
图8是本发明实施例提供的一种用于图像分类的设备的结构示意图；
图9是本发明实施例提供的一种用于图像分类的设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
在对本发明实施例进行详细地解释说明之前，先对本发明实施例涉及的一些名词进行解释说明。
三维成像图：指代患病器官的医学影像图像。其中，三维成像图既可针对整个患病器官，也可仅针对患病器官的病灶区域。
此外，三维成像图既可为CT图像也可为核磁共振图像，本发明实施例对此不进行具体限定。比如，三维成像图可以由多个不同切片层的二维CT图像组成。
敏感度：所有疾病属性为恶性(即患病)的医学影像图像中，被检测出来真实为恶性的图像所占的比例。
特异度：所有疾病属性为良性(即未患病)的医学影像图像中，被检测出来真实为良性的图像所占的比例。
深度学习技术：一种利用深层神经网络系统进行机器学习的技术。
金标准：指代进行疾病识别的最可靠、最准确、最好的方法，可以正确区分患病与未患病。本发明实施例中提及的金标准样本，指代可以给出绝对准确的病源属性的图像样本。换一种表达方式，金标准样本是能够对病源属性进行正确区分的图像样本。
下面对病灶区域、病源、病源区域等名词进行解释说明。其中，病灶通常指代机体上发生病变的部分。比如肺的一叶被结核菌破坏，那么这部分便是肺结核病灶，即为病灶区域。而病源可能会分布在病灶区域内的多个位置。其中，病源指代引起疾病的症结。以肺癌为例，病源即指代肺结节，而病源区域指代引起疾病的病源所在的区域，针对肺癌来说，病源区域即指代在病灶区域内引起肺癌的肺结节所在的区域，又可将其称之为肺结节区域。其中，病源属性可分为良性或恶性。继续以病源为肺结节为例，则肺结节属性可分为良性和恶性。
图像类别：即通过图像分类确定图像中包含内容所属的类别。在本发明实施例中，通过对医学影像图像进行分类，可以明确患者所患疾病的疾病属性。其中，疾病属性也可分为良性或恶性。以肺癌为例，通过本发明实施例提供的图像分类方法可识别出肺癌的良恶性。
检测模型：给出了图像与图像中目标的位置的对应关系。其中，检测模型即是利用机器学习技术对标注样本数据进行学习后获得的机器学习模型。在进行机器学习的过程中可获得该机器学习模型的模型参数，这样在进行检测时便可加载该机器学习模型的模型参数以给出待检测图像中出现的目标以及目标所在位置。
分类模型：给出了图像与图像类别的对应关系。其中，分类模型同样是利用机器学习技术对标注样本数据进行学习后获得的机器学习模型。在进行机器学习的过程中同样可获得该机器学习模型的模型参数，这样在进行分类预测时直接通过加载该机器学习模型的模型参数，便可给出待分类图像属于各个类别的概率。
需要说明的是，本发明实施例提出了一种具有高敏感度以及高特异度的图像分类方法，可以通过预测图像类别实现对疾病属性的识别。其中，本发明实施例利用深度学习技术，结合了检测模型以及分类模型这两个模型，来帮助患者或者医生快速地识别疾病属性，即预测患者所患疾病的良恶性。在本发明实施例中，该方案包括模型训练阶段和图像分类阶段。其中，图像分类阶段又可称之为对疾病属性的识别阶段。
参见图1，其示出了本发明实施例所提供的一种图像分类方法所涉及的实施场景的架构图。在图1中，在模型训练阶段，模型训练设备110通过人工标注样本和金标准样本训练检测模型以及分类模型。在识别阶段，识别设备120通过训练好的检测模型以及分类模型，直接给出待识别的三维成像图的图像类别。其中，该图像类别中包含了识别出的疾病良恶性。
其中，上述模型训练设备110和识别设备120可以是具有机器学习能力的计算机设备，比如，该计算机设备可以是个人电脑、服务器以及固定式医疗设备等固定式计算机设备，或者，该计算机设备也可以是平板电脑、电子书阅读器或者便携式医疗设备等移动式计算机设备。
在另一个实施例中，上述模型训练设备110和识别设备120可以是同一个设备，或者，模型训练设备110和识别设备120也可以是不同的设备。并且，当模型训练设备110和识别设备120是不同的设备时，模型训练设备110和识别设备120可以是同一类型的设备，比如模型训练设备110和识别设备120可以都是个人电脑；或者，模型训练设备110和识别设备120也可以是不同类型的设备，比如模型训练设备110可以是服务器，而识别设备120可以是固定式医疗设备或者固定式医疗设备等。本发明实施例对模型训练设备110和识别设备120的类型不进行具体限定。
还需要强调的一点是，在模型训练阶段，本发明实施例提取人工标注样本的多尺度特征，利用多尺度特征来进行机器学习，以训练检测模型。其中，有关于多尺度特征的解释说明请具体参见下述实施例。以肺癌为例，由于肺结节的大小范围分布比较广，所以本法发明实施例采用多尺度特征，来实现在三维成像图的不同尺度下进行肺结节识别，从而可提供更全面的有关于肺结节的特征信息以用于进行肺癌的良恶性分类，所以相较于采用单尺度特征的方式，本发明实施例的鲁棒性能较优，显著提高了肺结节的识别准确度以及肺癌的预测精度。
此外，本发明实施例在进行分类模型的训练时，以检测模型为基础模型，在基础模型之上，利用金标准样本继续进行机器学习，得到分类模型。继续以肺癌为例，由于金标准样本给出了绝对准确的肺结节的良恶性判断，不存在误差，所以相较于人工标注好的肺结节良恶性的样本来说，本发明实施例提供的基于金标准样本进行分类模型训练的方式，极大地提升了肺癌的分类准确率。
进一步地，本方案在产品侧的应用方式主要为后台识别，将待识别的三维成像图传递给训练好的机器学习模型即可实现对疾病属性的识别，该方案具有响应快、覆盖广、人工成本低、能够帮助领域专家确定应对策略等特点，可用于面向医院或个人的辅助医疗系统，帮助患者快速高效的进行疾病属性识别。换一种表达方式，本方案可用于面向医院或者个人医疗助手来帮助专业医生和患者本人快速进行疾病属性识别，并增加对于患者是否患病的判断精准度。
图2是本发明实施例提供的一种图像分类方法的流程图。该图像分类方法的执行主体为计算机设备，比如上述图1所示的模型训练设备和识别设备。以通过图像分类方法实现对肺癌进行属性识别为例，参见图2，本发明实施例提供的方法流程包括：
模型训练阶段
201、模型训练设备获取人工标注样本，并对人工标注样本进行预处理。
其中，人工标注样本可以由标注审核人员输入到模型训练设备中。详细来说，标注审核人员可以根据专业医生的指点，在人工标注样本中标注出肺结节区域的三维坐标和尺寸大小(又可称之为肺结节直径)，并将标注好的人工标注样本输入到模型训练设备。当然，对人工标注样本的标注也可以由标注审核人员直接在模型训练设备上进行，本发明实施例对此不进行具体限定。
在另一个实施例中，人工标注样本中可包括已患肺癌患者的肺部病灶区域的三维图像样本，其中，这些图像样本中进一步还可分为肺癌为良性的患者的三维图像样本以及肺癌为恶性的患者的三维图像样本。当然，人工标注样本中还可以包含未患肺癌的正常人的肺部区域的三维图像样本，本发明实施例对此同样不进行具体限定。
在另一个实施例中，出于降低计算量等因素的考量，在基于人工标注样本进行模型训练之前，还可以先对人工标注样本进行预处理。其中，预处理过程可实现对肺部病灶区域与图像的背景部分的分割。换一种表达方式，通过预处理可得到肺部病灶区域与图像背景的粗分割结果。之后，仅利用包含肺部病灶区域的人工标注样本来进行检测模型的训练。
202、模型训练设备基于经过预处理后的人工标注样本的多尺度特征，对初始检测模型进行模型参数优化，得到检测模型。
在本发明实施例中，检测模型可为深度三维卷积网络。其中，上述初始检测模型指代还未基于人工标注样本进行模型参数优化之前的模型。需要说明的是，在模型训练阶段，模型训练设备通过提取人工标注样本的多尺度特征来实现模型训练。
其中，多尺度的含义是一方面通过深度三维卷积网络的卷积层对图像样本进行特征提取，另一方面通过深度三维卷积网络的池化层(pool)对图像的尺度进行不断的压缩。即，每当通过一个卷积层对人工标注样本进行特征提取后，通过与该卷积层连接的下一个池化层对该人工标注样本进行尺度压缩处理，这样顺次通过设置的卷积层以及池化层对人工标注样本进行处理，便可得到人工标注样本的多尺度特征。
以图3为例，在图3中人工标注样本的原始大小为128*128*128，在经过卷积层进行特征提取以及位于每一个卷积层后的池化层进行尺度压缩处理后，人工标注样本由128*128*128大小，依次变为64*64*64、32*32*32、16*16*16，直至8*8*8大小。在这一特征图由128*128*128大小逐渐变为8*8*8大小的过程中便实现了对其进行多尺度特征提取。其中，通常情况下原始大小为128*128*128的特征图为单通道，而8*8*8大小的特征图则为多通道以及多特征空间。
在得到人工标注样本的多尺度特征后，便可基于人工标注样本的多尺度特征对初始检测模型的模型参数进行优化，进而得到用于进行肺结节区域确定的检测模型。其中，在基于多尺度特征进行模型参数优化之前，本发明实施例还会进行特征聚集，并根据聚集特征来实现模型训练，以完成模型参数优化。
继续以图3为例，结合图4可知，针对8*8*8大小的特征图，通过上采样层的处理可以进一步地得到16*16*16大小的特征图，而经过上采样层处理的16*16*16大小特征图与经过多尺度压缩处理的16*16*16大小的特征图进行连接(concat)，便可得到2个16*16*16大小的特征图，而2个16*16*16大小的特征图再经过上采样层处理以及concat处理，便可得到2个32*32*32大小的特征图，将这2个32*32*32大小的特征图进行特征聚集，便可得到最终用于进行模型参数优化的特征信息。
需要说明的是，上述初始检测模型的模型参数可进行随机初始化。在进行模型训练的过程中，由于当前模型参数还未达到最优，因此可能存在较大的误差，所以还需根据训练中的模型输出的检测结果和人工标注样本的实际情况来不断地进行模型参数优化，使得模型逐步优化，最终达到最优状态，即得到所需的检测模型。
换一种表达方式，上述检测模型的训练过程是一个模型参数逐步优化的过程，一般情况下，在训练出的模型的误差小于预先设置的阈值后，即训练的模型达到预设的精度要求后，便可结束训练。训练结束时的模型参数即为所需的检测模型的模型参数。后续在进行肺结节区域(比如肺结节区域)的确定时，检测模型便可通过加载这些模型参数来实现。
203、模型训练设备复制检测模型的模型结构，并将位于检测模型中目标位置处的目标数量卷积层替换为全连接层，得到初始分类模型，基于金标准样本，对初始分类模型进行模型参数优化，得到分类模型。
其中，金标准样本可通过预先收集手术报告、病理报告等方式获得，本发明实施例对此不进行具体限定。
分类模型的训练是在检测模型的基础之上，即以检测模型为基础模型，利用上述检测模型的模型参数来对初始分类模型进行初始化。其中，初始分类模型复制检测模型的模型结构。比如参见图5，将检测模型中最后两个卷积层替换为全连接层，便可得到初始分类模型。
在本发明实施例中，在对初始分类模型进行模型参数优化时，基于的是金标准样本。其中，在基于金标准样本进行模型训练时，与上述检测模型的训练过程类似，此处不再赘述。
在另一个实施例中，可以在对检测模型训练结束后，基于此时得到的模型参数来对初始分类模型进行初始化，并在此基础上基于金标准样本进行模型训练。或者，还可以在检测模型训练过程中，基于此时得到的模型参数来对初始分类模型进行初始化，并在此基础上基于金标准样本进行分类模型训练，同时还可以继续进行检测模型的训练。也即，模型训练设备可以开启多任务。
需要说明的是，模型训练设备在经过上述步骤完成对检测模型以及分类模型的离线训练后，便可将训练好的上述检测模型以及分类模型应用于识别设备中，以进行离线的图像分类，给出患者患肺癌的概率以及肺癌的良恶性，实现帮助患者或者医生快速且高效地识别疾病属性。更为具体的解释说明请参见下述步骤。
图像分类阶段
204、识别设备获取待分类的三维成像图，并将待分类的三维成像图进行缩放处理，得到至少两种分辨率的三维成像图，识别设备将至少两种分辨率的三维成像图输入检测模型，并获取检测模型输出的待分类的三维成像图中的病源区域。
需要说明的第一点是，为了降低计算量，在将待分类的三维成像图输入检测模型之前，还可以对待分类的三维成像图进行预处理，以分割出肺部病灶区域和背景区域，且仅将包括肺部病灶区域的三维成像图输入检测模型。
需要说明的第二点是，本发明实施例为了能够更加精准地检测病源区域，进而提高对疾病属性的识别准确度，通常选择将多分辨率的三维成像图输入检测模型，比如针对一个患者的肺部病灶区域的CT图像，可以将其分别裁剪为128*128*128大小、100*100*100大小以及156*156*156大小。然后将三种不同分辨率的CT图像均输入检测模型。
换一种表达方式，对于一个待分类的三维成像图，本发明实施例会将其进行缩放处理，得到有关于同一个患者的至少两种分辨率的三维成像图，而后将至少两种分辨率的三维成像图输入检测模型以进行肺结节区域的检测。
在另一个实施例中，对于输入的每一种分辨率的三维成像图，本发明实施例分别在每一种分辨率的三维成像图中进行肺结节区域的检测，详细过程如下：
(1)、对于每一种分辨率的三维成像图，通过检测模型的卷积层以及池化层对该三维成像图进行处理，得到该三维成像图的第一类多尺度特征。
在识别阶段，卷积层用于对输入的三维成像图进行特征提取，而池化层可对卷积层的输出进行尺度压缩处理，与前文同理，每当通过一个卷积层对输入的三维成像图进行特征提取后，通过与该卷积层连接的下一个池化层对卷积层的输出进行尺度压缩处理，这样顺次通过设置的卷积层以及池化层对输入的三维成像图进行处理后，便可得到输入的三维成像图的第一类多尺度特征。其中，第一类多尺度特征的提取即相当于图4中左半部分所示的流程。
(2)、通过检测模型的上采样层对第一类多尺度特征进行处理，得到第二类多尺度特征。
其中，上采样层具体是将得到的第一类多尺度特征插入到一个更大的特征图中进行卷积运算，进而得到第二类多尺度特征。这个过程即相当于图4中右半部分的虚线框体所示的流程。
(3)、将第一类多尺度特征中的第一目标尺度特征与第二类多尺度特征中的第二目标尺度特征进行特征聚集，得到该三维成像图的聚集特征。
此步骤具体涉及将不同尺度的三维成像图进行连接(concat)。比如，参见图4，将经过卷积层以及池化层处理的16*16*16大小的特征图与经过上采样层处理的16*16*16大小的特征图连接，将经过卷积层以及池化层处理的32*32*32大小的特征图与经过上采样层处理的32*32*32大小的特征图连接，便可得到输入的三维成像图的聚集特征，即对应图4中最后一步的输出。
(4)、根据该三维成像图的聚集特征，确定在对应分辨率的三维成像图中出现的肺结节区域。
以肺癌为例，识别设备通过检测模型会在每一种分辨率的三维成像图中进行肺结节区域的确定。此外，对于一个肺结节区域，检测模型还会给出确定其实际为肺结节区域的概率值。换一种表达方式，检测模型会给出其判断出的区域为肺结节区域的可能性。
在另一个实施例中，在经过上述步骤的处理后，识别设备会根据在每一种分辨率的三维成像图中确定出来的肺结节区域，来确定上述步骤204提及的待分类的三维成像图中的肺结节区域。比如，预先为每一种分辨率设置对应的权重，根据每一种分辨率对应的权重以及各种分辨率图像中肺结节区域对应的概率值，来最终确定待分类的三维成像图中的肺结节区域并给出对应的概率值。比如可根据上述设置的权重，通过对各种分辨率图像中出现的肺结节区域的概率值进行加权求平均实现，本发明实施例对此不进行具体限定。
在另一个实施例中，识别设备在将检测到的肺结节区域输入分类模型之前，还包括过滤掉不可能患病的肺结节区域的步骤，详细过程如下：
利用诸如非极大值抑制(non-maximum suppression)方法，在检测到的肺结节区域中确定重叠区域大于预设阈值的目标肺结节区域，即筛选有大量重叠区域的肺结节区域。其中，预设阈值可为30％、40％等等数值，本发明实施例对此不进行具体限定。而之所以筛选有大量重叠区域的肺结节区域是因为可能存在下述情况，肺结节数量较多，一些肺结节区域存在交叠的位置可能被检测模型也识别为了肺结节区域。
针对该种情况，对于目标肺结节区域中的每一个肺结节区域，识别设备还会基于检测模型给出的该肺结节区域的概率值以及该肺结节区域的尺寸大小，来判断该肺结节区域是否为真实的肺结节区域。而如果否，则直接将该肺结节区域过滤掉。比如当该肺结节区域的概率值小于一定阈值时，则将这个肺结节区域过滤掉，或者，该肺结节区域的尺寸大小超出一定范围时，则将这个肺结节区域过滤掉，或者，当该肺结节区域的概率值小于一定阈值以及尺寸大小超出一定范围时，则将这个肺结节区域过滤掉。
205、识别设备将检测模型确定出来的病源区域输入分类模型，获取分类模型输出的待分类的三维成像图的图像类别，该图像类别中包括疾病的疾病属性。
在本发明实施例中，在将检测模型的输出结果输入分类模型后，分类模型便可预测出待分类的三维成像图的图像类别，给出患者所患疾病的疾病属性，比如给出疾病是属于良性还是恶性的判断结果。
综上所述，本发明实施例基于深度学习技术训练出的机器学习模型，实现了将检测模型与分类模型相结合，并以此来进行病源区域的检测以及预测患者实际患病的可能性，显著地提升了对疾病检测的精准度。
在另一个实施例中，上述提供的图像分类方法有着广泛的应用场景，不仅仅可适用于肺癌识别，还可用于其他类型疾病的检测，仅需提供不同类型的训练数据即可。即针对其他某一种类型疾病来说，同样可基于该种类型疾病对应的人工标注样本的多尺度特征进行检测模型的训练，并基于该种类型疾病对应的金标准样本进行分类模型的训练，进而采取前文所述类似的方式实现对该种类型疾病的检测。换一种表达方式，本发明实施例提供的图像分类方法可实现对医学上各种类型疾病的检测，而不仅仅局限于肺癌检测，本发明实施例仅以肺癌为例对其进行举例说明。
本发明实施例提供的方法，在获取到待分类的三维成像图后，先将待分类的三维成像图进行缩放处理，得到至少两种分辨率的三维成像图，然后将至少两种分辨率的三维成像图输入检测模型，通过检测模型在待分类的三维成像图中进行病源区域的检测并将检测到的病源区域输入分类模型，进而通过分类模型来识别患者所患疾病的疾病属性，由于检测模型是基于多尺度特征训练得到的且分类模型是基于金标准样本训练得到的，而多尺度特征提供了更为丰富的病源信息，金标准样本能够给出绝对准确的病源属性的判断不存在误差，因此基于多尺度特征以及精准的金标准样本训练出的机器学习模型的准确度较高，且利用多分辨率能够更加精准地检测病源区域，所以本发明实施例提供的图像分类方法的分类准确度更高。
另外，本发明实施例在进行检测模型的训练时，由于基于的是人工标注样本的多尺度特征，因此相较于单尺度特征的模型训练方式，即便很小的病源区域也可检测到，显著地提高了疾病检测的精准度。
总结来说，本发明实施例提供的方案具有如下技术效果：
A、本发明实施例提供了一种高准确率以及高覆盖率的病源区域识别和疾病检测方案。本方案通过采用深度学习相关技术，构建深度三维卷积网络，基于已标注好病源区域的人工标注样本训练得到基础模型(即检测模型)，然后利用金标准样本在基础模型之上进行分类模型的训练，实现通过检测模型以及分类模型，不但可以实现对病源区域的识别，而且还能够进一步地识别疾病的属性，达到了帮助医生快速检测患者所患疾病的目的。而且解决了传统方法仅能通过病源区域的良恶性进行疾病识别导致的鲁棒性差以及过度依赖人工标注样本的标注准确性的问题。
B、本发明提供的方案支持多尺度的病源区域识别。与基于单尺度识别的方法相比，本方案能在多尺度下识别不同尺度的病源区域，从而提供更全面的特征信息用于疾病分类，提高了病源区域的检测精度和疾病属性的预测精度。
C、本发明提供的方案极大的降低了医生的工作量，并使之更有针对性和效率。由于本方案具有高敏感度和高特异度，因此可以为医生提供非常准确的病源区域的检测信息和对疾病属性的识别信息。
D、上述机器学习模型具有较快的响应速度，能够做到实时检测，尤其适用于偏远地区缺少高质量医疗资源的情况。
上述实施例介绍了在机器学习模型训练完毕之后，利用训练好的机器学习模型进行图像分类的过程。需要说明的是，在机器学习模型训练完毕之后，后续再执行本发明实施例提供的图像分类方法时，仅需加载/获取训练好的机器学习模型，通过将待分类的三维成像图输入训练好的机器学习模型，并获取机器学习模型的输出结果，即可实现图像分类。换一种表达方式，本发明实施例提供的图像分类方法还包括下述图6所示的处理流程：
601、获取训练好的检测模型以及分类模型。
602、将待分类的三维成像图输入检测模型。
603、获取检测模型输出的待分类的三维成像图中的病源区域。
604、将确定出来的病源区域输入分类模型。
605、获取分类模型输出的待分类的三维成像图的图像类别，该图像类别中包括疾病的疾病属性。
本发明实施例提供的方法，在获取到待分类的三维成像图后，先将待分类的三维成像图进行缩放处理，得到至少两种分辨率的三维成像图，然后将至少两种分辨率的三维成像图输入检测模型，通过检测模型在待分类的三维成像图中进行病源区域的检测并将检测到的病源区域输入分类模型，进而通过分类模型来识别患者所患疾病的疾病属性，由于检测模型是基于多尺度特征训练得到的且分类模型是基于金标准样本训练得到的，而多尺度特征提供了更为丰富的病源信息，金标准样本能够给出绝对准确的病源属性的判断不存在误差，因此基于多尺度特征以及精准的金标准样本训练出的机器学习模型的准确度较高，且利用多分辨率能够更加精准地检测病源区域，所以本发明实施例提供的图像分类方法的分类准确度更高。
图7是本发明实施例提供的一种图像分类装置的结构示意图。参见图7，该装置包括：
处理模块701，用于获取待分类的三维成像图，并将所述待分类的三维成像图进行缩放处理，得到至少两种分辨率的三维成像图；
第一输入模块702，用于将所述至少两种分辨率的三维成像图输入所述检测模型，所述检测模型是基于人工标注样本的多尺度特征进行机器学习得到的，所述人工标注样本为人工标注好病源区域的图像样本；
第一获取模块703，用于获取所述检测模型输出的所述待分类的三维成像图中的病源区域，所述病源区域为引起疾病的病源所在的区域；
第二输入模块704，用于将确定出来的病源区域输入分类模型，所述分类模型是基于金标准样本进行机器学习得到的，所述金标准样本为对病源属性进行正确区分的图像样本，所述病源属性为良性或恶性；
第二获取模块705，用于获取所述分类模型输出的所述待分类的三维成像图的图像类别，所述图像类别中包括所述疾病的疾病属性，所述疾病属性为良性或者恶性。
在另一个实施例中，该装置还包括：
训练模块，用于基于所述人工标注样本的多尺度特征，对初始检测模型进行模型参数优化，得到所述检测模型；复制所述检测模型的模型结构，并将位于所述检测模型中目标位置处的目标数量卷积层替换为全连接层，得到初始分类模型；基于所述金标准样本，对所述初始分类模型进行模型参数优化，得到所述分类模型。
在另一个实施例中，训练模块，用于每当通过所述初始检测模型的一个卷积层对所述人工标注样本进行特征提取后，通过与所述卷积层连接的下一个池化层对所述卷积层的输出进行尺度压缩处理，得到所述人工标注样本的多尺度特征；基于所述人工标注样本的多尺度特征，对所述初始检测模型进行模型参数优化，得到所述检测模型。
在另一个实施例中，该装置还包括：
确定模块，用于对于每一种分辨率的三维成像图，通过所述检测模型的卷积层以及池化层对所述三维成像图进行处理，得到所述三维成像图的第一类多尺度特征；通过所述检测模型的上采样层对所述第一类多尺度特征进行处理，得到第二类多尺度特征；将所述第一类多尺度特征中的第一目标尺度特征与所述第二类多尺度特征中的第二目标尺度特征进行特征聚集，得到所述三维成像图的聚集特征；根据所述三维成像图的聚集特征，确定在对应分辨率的三维成像图中出现的病源区域；根据在每一种分辨率的三维成像图中确定出来的病源区域，确定所述待分类的三维成像图中的病源区域。
在另一个实施例中，该装置还包括：
过滤模块，用于在将所述病源区域输入所述分类模型之前，在所述病源区域中检测重叠区域大于预设阈值的目标病源区域；对于所述目标病源区域中的每一个病源区域，基于所述检测模型给出的所述病源区域的概率值以及所述病源区域的尺寸大小，判断所述病源区域是否为患病的病源区域；如果所述病源区域为非患病的病源区域，则将所述病源区域过滤掉。
在另一个实施例中，处理模块，还用于对所述待分类的三维成像图进行预处理，分割出患病器官病灶区域和背景区域；将包括所述患病器官病灶区域的三维成像图输入所述检测模型。
本发明实施例提供的装置，在获取到待分类的三维成像图后，先将待分类的三维成像图进行缩放处理，得到至少两种分辨率的三维成像图，然后将至少两种分辨率的三维成像图输入检测模型，通过检测模型在待分类的三维成像图中进行病源区域的检测并将检测到的病源区域输入分类模型，进而通过分类模型来识别患者所患疾病的疾病属性，由于检测模型是基于多尺度特征训练得到的且分类模型是基于金标准样本训练得到的，而多尺度特征提供了更为丰富的病源信息，金标准样本能够给出绝对准确的病源属性的判断不存在误差，因此基于多尺度特征以及精准的金标准样本训练出的机器学习模型的准确度较高，且利用多分辨率能够更加精准地检测病源区域，所以本发明实施例提供的图像分类方法的分类准确度更高。
图8是本发明实施例提供的一种用于图像分类的设备的结构示意图。参见图8，该设备800包括：
RF(Radio Frequency，射频)电路110、包括有一个或一个以上计算机可读存储介质的存储器120、输入单元130、显示单元140、传感器150、音频电路160、WiFi(WirelessFidelity，无线保真)模块170、包括有一个或者一个以上处理核心的处理器180、以及电源190等部件。本领域技术人员可以理解，图8中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路110可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器180处理；另外，将涉及上行的数据发送给基站。通常，RF电路110包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(Low Noise Amplifier，低噪声放大器)、双工器等。此外，RF电路110还可以通过无线通信与网络和其他设备通信。无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯系统)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA(CodeDivision Multiple Access，码分多址)、WCDMA(Wideband Code Division MultipleAccess,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(ShortMessaging Service，短消息服务)等。
存储器120可用于存储软件程序以及模块，处理器180通过运行存储在存储器120的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据设备800的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器120还可以包括存储器控制器，以提供处理器180和输入单元130对存储器120的访问。
输入单元130可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元130可包括触敏表面131以及其他输入设备132。触敏表面131，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面131上或在触敏表面131附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面131可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器180，并能接收处理器180发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面131。除了触敏表面131，输入单元130还可以包括其他输入设备132。具体地，其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及设备800的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元140可包括显示面板141，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板141。进一步的，触敏表面131可覆盖显示面板141，当触敏表面131检测到在其上或附近的触摸操作后，传送给处理器180以确定触摸事件的类型，随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图8中，触敏表面131与显示面板141是作为两个独立的部件来实现输入和输出功能，但是在某些实施例中，可以将触敏表面131与显示面板141集成而实现输入和输出功能。
设备800还可包括至少一种传感器150，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板141的亮度，接近传感器可在设备800移动到耳边时，关闭显示面板141和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于设备800还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路160、扬声器161，传声器162可提供用户与设备800之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出；另一方面，传声器162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出处理器180处理后，经RF电路110以发送给比如另一终端，或者将音频数据输出至存储器120以便进一步处理。音频电路160还可能包括耳塞插孔，以提供外设耳机与设备800的通信。
WiFi属于短距离无线传输技术，设备800通过WiFi模块170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。
处理器180是设备800的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器120内的软件程序和/或模块，以及调用存储在存储器120内的数据，执行设备800的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器180可包括一个或多个处理核心；优选的，处理器180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器180中。
设备800还包括给各个部件供电的电源190(比如电池)，优选的，电源可以通过电源管理系统与处理器180逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源190还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，设备800还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端的显示单元是触摸屏显示器，终端还包括有存储器，所述存储器120中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述实施例所述的图像分类方法。
图9是根据一示例性实施例示出的一种用于图像分类的设备。具体来讲：参见图9，该设备900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Unit，CPU)922(例如，一个或一个以上处理器)和存储器932，一个或一个以上存储应用程序942或数据944的存储介质930(例如一个或一个以上海量存储设备)。其中，存储器932和存储介质930可以是短暂存储或持久存储。存储在存储介质930的程序可以包括一个或一个以上模块(图示没标出)。
设备900还可以包括一个或一个以上电源928，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口958，和/或，一个或一个以上操作系统941，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。所述存储器932中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述实施例所述的图像分类方法。
需要说明的是：上述实施例提供的图像分类装置在进行图像分类时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像分类装置与图像分类方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种图像分类方法，其特征在于，所述方法包括：
获取待分类的三维成像图，并将所述待分类的三维成像图进行缩放处理，得到至少两种分辨率的三维成像图；
将所述至少两种分辨率的三维成像图输入检测模型，所述检测模型是基于人工标注样本的多尺度特征进行机器学习得到的，所述人工标注样本为人工标注好病源区域的图像样本，其中所述多尺度特征是通过初始检测模型的一个卷积层对所述人工标注样本进行特征提取后，再通过与所述卷积层连接的下一个池化层对所述卷积层的输出进行尺度压缩处理后得到的；
通过所述检测模型确定每一种分辨率的三维成像图中的病源区域，并根据在每一种分辨率的三维成像图中确定出来的病源区域，确定所述待分类的三维成像图中的病源区域，所述病源区域为引起疾病的病源所在的区域；
将确定出来的所述待分类的三维成像图中的病源区域输入分类模型，所述分类模型是基于金标准样本进行机器学习得到的，所述金标准样本为对病源属性进行正确区分的图像样本，所述病源属性为良性或恶性；
获取所述分类模型输出的所述待分类的三维成像图的图像类别，所述图像类别中包括所述疾病的疾病属性，所述疾病属性为良性或者恶性。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述人工标注样本的多尺度特征，对所述初始检测模型进行模型参数优化，得到所述检测模型；
复制所述检测模型的模型结构，并将位于所述检测模型中目标位置处的目标数量卷积层替换为全连接层，得到初始分类模型；
基于所述金标准样本，对所述初始分类模型进行模型参数优化，得到所述分类模型。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
对于每一种分辨率的三维成像图，通过所述检测模型的卷积层以及池化层对所述三维成像图进行处理，得到所述三维成像图的第一类多尺度特征；
通过所述检测模型的上采样层对所述第一类多尺度特征进行处理，得到第二类多尺度特征；
将所述第一类多尺度特征中的第一目标尺度特征与所述第二类多尺度特征中的第二目标尺度特征进行特征聚集，得到所述三维成像图的聚集特征；
根据所述三维成像图的聚集特征，确定在对应分辨率的三维成像图中出现的病源区域。
4.根据权利要求1或3所述的方法，其特征在于，所述方法还包括：
在将所述病源区域输入所述分类模型之前，在所述病源区域中检测重叠区域大于预设阈值的目标病源区域；
对于所述目标病源区域中的每一个病源区域，基于所述检测模型给出的所述病源区域的概率值以及所述病源区域的尺寸大小，判断所述病源区域是否为患病的病源区域；
如果所述病源区域为非患病的病源区域，则将所述病源区域过滤掉。
5.根据权利要求1或2所述的方法，其特征在于，将所述待分类的三维成像图输入所述检测模型，包括：
对所述待分类的三维成像图进行预处理，分割出患病器官病灶区域和背景区域；
将包括所述患病器官病灶区域的三维成像图输入所述检测模型。
6.一种图像分类装置，其特征在于，所述装置包括：
处理模块，用于获取待分类的三维成像图，并将所述待分类的三维成像图进行缩放处理，得到至少两种分辨率的三维成像图；
第一输入模块，用于将所述至少两种分辨率的三维成像图输入检测模型，所述检测模型是基于人工标注样本的多尺度特征进行机器学习得到的，所述人工标注样本为人工标注好病源区域的图像样本，其中所述多尺度特征是通过初始检测模型的一个卷积层对所述人工标注样本进行特征提取后，再通过与所述卷积层连接的下一个池化层对所述卷积层的输出进行尺度压缩处理后得到的；
第一获取模块，用于通过所述检测模型确定每一种分辨率的三维成像图中的病源区域，并根据在每一种分辨率的三维成像图中确定出来的病源区域，确定所述待分类的三维成像图中的病源区域，所述病源区域为引起疾病的病源所在的区域；
第二输入模块，用于将确定出来的所述待分类的三维成像图中的病源区域输入分类模型，所述分类模型是基于金标准样本进行机器学习得到的，所述金标准样本为对病源属性进行正确区分的图像样本，所述病源属性为良性或恶性；
第二获取模块，用于获取所述分类模型输出的所述待分类的三维成像图的图像类别，所述图像类别中包括所述疾病的疾病属性，所述疾病属性为良性或者恶性。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
训练模块，用于基于所述人工标注样本的多尺度特征，对所述初始检测模型进行模型参数优化，得到所述检测模型；复制所述检测模型的模型结构，并将位于所述检测模型中目标位置处的目标数量卷积层替换为全连接层，得到初始分类模型；基于所述金标准样本，对所述初始分类模型进行模型参数优化，得到所述分类模型。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
确定模块，用于对于每一种分辨率的三维成像图，通过所述检测模型的卷积层以及池化层对所述三维成像图进行处理，得到所述三维成像图的第一类多尺度特征；通过所述检测模型的上采样层对所述第一类多尺度特征进行处理，得到第二类多尺度特征；将所述第一类多尺度特征中的第一目标尺度特征与所述第二类多尺度特征中的第二目标尺度特征进行特征聚集，得到所述三维成像图的聚集特征；根据所述三维成像图的聚集特征，确定在对应分辨率的三维成像图中出现的病源区域。
9.根据权利要求6或8所述的装置，其特征在于，所述装置还包括：
过滤模块，用于在将所述病源区域输入所述分类模型之前，在所述病源区域中检测重叠区域大于预设阈值的目标病源区域；对于所述目标病源区域中的每一个病源区域，基于所述检测模型给出的所述病源区域的概率值以及所述病源区域的尺寸大小，判断所述病源区域是否为患病的病源区域；如果所述病源区域为非患病的病源区域，则将所述病源区域过滤掉。
10.根据权利要求6至8中任一权利要求所述的装置，其特征在于，所述处理模块，还用于对所述待分类的三维成像图进行预处理，分割出患病器官病灶区域和背景区域；将包括所述患病器官病灶区域的三维成像图输入所述检测模型。
11.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至5中任一权利要求所述的图像分类方法。
12.一种用于图像分类的设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至5中任一权利要求所述的图像分类方法。
CN201711212049.3A 2017-11-28 2017-11-28 图像分类方法、装置、存储介质及设备 Active CN107895369B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711212049.3A CN107895369B (zh) 2017-11-28 2017-11-28 图像分类方法、装置、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711212049.3A CN107895369B (zh) 2017-11-28 2017-11-28 图像分类方法、装置、存储介质及设备

Publications (2)

Publication Number Publication Date
CN107895369A CN107895369A (zh) 2018-04-10
CN107895369B true CN107895369B (zh) 2022-11-22

Family

ID=61806217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711212049.3A Active CN107895369B (zh) 2017-11-28 2017-11-28 图像分类方法、装置、存储介质及设备

Country Status (1)

Country Link
CN (1) CN107895369B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734219B (zh) * 2018-05-23 2022-02-01 北京航空航天大学 一种基于全卷积神经网络结构的端到端撞击坑检测与识别方法
CN109255782A (zh) * 2018-09-03 2019-01-22 图兮深维医疗科技（苏州）有限公司 一种肺结节图像的处理方法、装置、设备及存储介质
CN109447973B (zh) * 2018-10-31 2021-11-26 腾讯医疗健康(深圳)有限公司 一种结肠息肉图像的处理方法和装置及系统
CN111199574A (zh) * 2018-11-16 2020-05-26 青岛海信激光显示股份有限公司 一种全息图像生成方法及设备
CN109766744B (zh) * 2018-11-21 2020-12-29 北京农业智能装备技术研究中心 一种松材线虫病树识别与定位方法及系统
CN109886092B (zh) * 2019-01-08 2024-05-10 平安科技（深圳）有限公司 对象识别方法及其装置
US10997475B2 (en) * 2019-02-14 2021-05-04 Siemens Healthcare Gmbh COPD classification with machine-trained abnormality detection
CN111104539A (zh) * 2019-12-20 2020-05-05 湖南千视通信息科技有限公司 细粒度车辆图像检索方法、装置及设备
CN112907726B (zh) * 2021-01-25 2022-09-20 重庆金山医疗技术研究院有限公司 一种图像处理方法、装置、设备及计算机可读存储介质
CN114187252B (zh) * 2021-12-03 2022-09-20 推想医疗科技股份有限公司 图像处理方法及装置、调整检测框的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228180A (zh) * 2016-07-14 2016-12-14 杭州健培科技有限公司 一种肺部影像病灶的识别模型参数训练方法及识别方法
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718952B (zh) * 2016-01-22 2018-10-30 武汉科恩斯医疗科技有限公司 使用深度学习网络对断层医学影像进行病灶分类的系统
US9767557B1 (en) * 2016-06-23 2017-09-19 Siemens Healthcare Gmbh Method and system for vascular disease detection using recurrent neural networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228180A (zh) * 2016-07-14 2016-12-14 杭州健培科技有限公司 一种肺部影像病灶的识别模型参数训练方法及识别方法
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation;Konstantinos Kamnitsas et al.;《Medical Image Analysis》;20161029;第36卷;第65-71页 *

Also Published As

Publication number Publication date
CN107895369A (zh) 2018-04-10

Similar Documents

Publication Publication Date Title
CN107895369B (zh) 图像分类方法、装置、存储介质及设备
CN111598900B (zh) 一种图像区域分割模型训练方法、分割方法和装置
CN110738263B (zh) 一种图像识别模型训练的方法、图像识别的方法及装置
CN110348543B (zh) 眼底图像识别方法、装置、计算机设备及存储介质
CN110866897B (zh) 一种图像检测方法及计算机可读存储介质
CN108304758B (zh) 人脸特征点跟踪方法及装置
JP7154678B2 (ja) 目標の位置取得方法、装置、コンピュータ機器及びコンピュータプログラム
WO2019020014A1 (zh) 解锁控制方法及相关产品
WO2019011099A1 (zh) 虹膜活体检测方法及相关产品
CN110070129B (zh) 一种图像检测方法、装置及存储介质
CN113177928B (zh) 一种图像识别方法、装置、电子设备及存储介质
CN110610181A (zh) 医学影像识别方法及装置、电子设备及存储介质
KR20160103398A (ko) 이미지의 품질 측정 방법 및 장치
CN109376781B (zh) 一种图像识别模型的训练方法、图像识别方法和相关装置
WO2019001254A1 (zh) 虹膜活体检测方法及相关产品
WO2019015418A1 (zh) 解锁控制方法及相关产品
WO2022193973A1 (zh) 图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN111598896B (zh) 图像检测方法、装置、设备及存储介质
CN112288843A (zh) 一种病灶的三维构建方法、装置、终端设备及存储介质
CN114722937A (zh) 一种异常数据检测方法、装置、电子设备和存储介质
CN114343687A (zh) 肾上腺功能性肿瘤分型定位设备、装置及存储介质
CN115393323B (zh) 一种目标区域获得方法、装置、设备和存储介质
CN113902682A (zh) 基于医疗图像的诊断方法、装置、存储介质及电子设备
WO2019001253A1 (zh) 虹膜活体检测方法及相关产品
CN115984228A (zh) 胃镜图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant