CN108615237B - 一种肺部图像处理方法及图像处理设备 - Google Patents

一种肺部图像处理方法及图像处理设备 Download PDF

Info

Publication number
CN108615237B
CN108615237B CN201810435102.4A CN201810435102A CN108615237B CN 108615237 B CN108615237 B CN 108615237B CN 201810435102 A CN201810435102 A CN 201810435102A CN 108615237 B CN108615237 B CN 108615237B
Authority
CN
China
Prior art keywords
lung
image
image processing
information
nodule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810435102.4A
Other languages
English (en)
Other versions
CN108615237A (zh
Inventor
黄晓迪
公茂亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN201810435102.4A priority Critical patent/CN108615237B/zh
Publication of CN108615237A publication Critical patent/CN108615237A/zh
Application granted granted Critical
Publication of CN108615237B publication Critical patent/CN108615237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种肺部图像处理方法及图像处理设备。其中，方法包括：获取肺部图像；使用图像处理模型处理所述肺部图像，得到肺结节信息，所述肺结节信息用于描述肺结节的生长情况；生成包含所述肺结节信息的处理报告。还公开了相应的图像处理设备。本发明利用图像处理模型对肺部图像进行处理，检测了肺结节状态，用以描述结节的生长状况，有效提高了肺部图像处理的效率。

Description

一种肺部图像处理方法及图像处理设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种肺部图像处理方法及图像处理设备。
背景技术
由于环境空气污染严重，人们长期吸入各种重金属离子、颗粒以及雾霾，使其聚集于肺内无法排除，加之现代人生活节奏快，使得许多人处于亚健康状态且免疫力低下。甚至也有不少人因此患上肺癌这种发病率及死亡率都极高的癌症。早期肺癌的预防和发现，除了医生对身体出现的外在症状进行初步判断以外，更最常用的方法是通过针对胸部的计算机断层扫描(CT，Computed Tomography)技术来检查肺部是否有肺结节。
目前，大部分地方的医院都会对体检及门诊患者进行肺癌的筛查，其中，低剂量筛查(LDCT，Low Dose Computed Tomography)及相应的随访，是用于发现肺癌的重要手段。
因此在临床中，医生通过对胸部CT读片来得到肺结节的检测结果，但由于胸部CT检查患者数量众多，不同医生技术水平和经验的差异，以及个人主观判断的影响，很难保证能够毫无遗漏的识别出胸部CT图像中的肺结节，总的来说，即使投入了大量人力以及时间，肺部图像的处理效率依然很低。
发明内容
本发明实施例提供一种肺部图像处理方法及图像处理设备，能够同时对肺部图像进行目标分割、目标检测以及病灶分类中的两项，从而有效提高肺部图像处理的效率。
第一方面，本发明实施例提供了一种肺部图像处理方法，该方法包括：
获取肺部图像；使用图像处理模型处理所述肺部图像，得到肺结节信息，所述肺结节信息用于描述肺结节的目前状态及生长情况；生成包含所述肺结节信息的处理报告。
结合第一方面，在第一方面的第一种实现方式中，所述图像处理模型为卷积神经网络，用于对所述肺部图像进行目标分割、目标检测和病灶分类中的至少两项；
所述目标分割用于确定所述肺结节的边界信息，所述目标检测用于确定所述肺结节的位置信息，所述病灶分类用于确定所述肺结节的病灶类型，所述病灶类型包括良性和恶性，或者进一步的细分类别，恶性包括腺癌，鳞癌和小细胞癌等，良性包括血管瘤，肺结核，肺肉芽肿和肺炎等；所述肺结节信息包括所述肺结节的边界信息、位置信息以及病灶类型。
结合第一方面的第一种实现方式，在第一方面的第二种实现方式中，所述使用所述图像处理模型处理所述肺部图像，包括：
使用所述图像处理模型对所述肺部图像进行目标分割、目标检测以及病灶分类，得到所述肺结节的边界信息、位置信息以及病灶类型；或者
使用所述图像处理模型对所述肺部图像进行目标分割和目标检测，得到所述肺结节的边界信息和位置信息；利用所述边界信息和所述位置信息计算所述肺结节的体积、直径和/或形状；结合所述肺结节的体积、直径和/或形状确定所述肺结节的病灶类型。
结合第一方面的第一种实现方式，在第一方面的三种实现方式中，所述生成包含所述肺结节信息的处理报告之前，还包括：
获取反馈信息和损失函数；代入所述反馈信息和所述肺结节信息到所述损失函数中，计算得到损失；利用所述损失对所述图像处理模型进行优化；
所述生成包含所述肺结节信息的处理报告，包括：
生成包含所述反馈信息的处理报告。
结合第一方面的第三种实现方式，在第一方面的第四种实现方式中，所述获取损失函数之前，还包括：
获取分割损失函数、检测损失函数和分类损失函数中的至少两个；对所述分割损失函数、所述检测损失函数和所述分类损失函数中的至少两个进行加权求和，得到所述损失函数。
结合第一方面的第一种实现方式，在第一方面的第五种实现方式中，在所述获取图像处理模型之前，还包括：
构建卷积神经网络；获得训练样本；利用所述训练样本对所述卷积神经网络进行训练；获取所述训练后的卷积神经网络为所述图像处理模型。
结合第一方面，在第一方面的第六种实现方式中，所述获取肺部图像之前，包括：
获取肺部原始图像，所述肺部原始图像包括骨骼图像、血管图像以及所述肺部图像；对所述肺部原始图像进行目标分割，得到所述肺部图像；将所述肺部图像重采样到预设分辨率。
第二方面，本发明实施例提供了一种图像处理设备，该图像处理设备包括用于执行上述第一方面的方法的单元，该图像处理设备包括：
获取单元，用于获取肺部图像；
处理单元，用于使用图像处理模型处理所述肺部图像，得到肺结节信息，所述肺结节信息用于描述肺结节的生长情况；
生成单元，用于利用所述肺结节信息生成处理报告。
结合第二方面，在第二方面的第一种实现方式中：
所述图像处理模型为卷积神经网络，用于对所述肺部图像进行目标分割、目标检测和病灶分类中的至少两项；所述目标分割用于确定所述肺结节的边界信息，所述目标检测用于确定所述肺结节的位置信息，所述病灶分类用于确定所述肺结节的病灶类型，所述病灶类型包括良性和恶性，或者进一步的细分类别，恶性包括腺癌，鳞癌和小细胞癌等，良性包括血管瘤，肺结核，肺肉芽肿和肺炎等；所述肺结节信息包括所述肺结节的边界信息、位置信息以及病灶类型。
结合第二方面的第一种实现方式，在第二方面的第二种实现方式中：
所述处理单元，用于使用所述图像处理模型对所述肺部图像进行目标分割、目标检测以及病灶分类，得到所述肺结节的边界信息、位置信息以及病灶类型；
或者，所述处理单元，用于使用所述图像处理模型对所述肺部图像进行目标分割和目标检测，得到所述肺结节的边界信息和位置信息；利用所述边界信息和所述位置信息计算所述肺结节的体积、直径和/或形状；结合所述肺结节的体积、直径和/或形状确定所述肺结节的病灶类型。
结合第二方面的第一种实现方式，在第二方面的第三种实现方式中：
所述获取单元，还用于获取反馈信息和损失函数；
计算单元，用于代入所述反馈信息和所述肺结节信息到所述损失函数中，计算得到损失；
优化单元，用于利用所述损失对所述图像处理模型进行优化；
相应的，所述生成单元，用于生成包含所述反馈信息的处理报告。
结合第二方面的第三种实现方式，在第二方面的第四种实现方式中：
所述获取单元，还用于获取分割损失函数、检测损失函数和分类损失函数中的至少两个；
所述计算单元，还用于对所述分割损失函数、所述检测损失函数和所述分类损失函数中的至少两个进行加权求和，得到所述损失函数。
结合第二方面的第一种实现方式，在第二方面的第五种实现方式中，还包括：
构建单元，用于构建卷积神经网络；相应的，所述获取单元，用于获得训练样本；
训练单元，用于利用所述训练样本对所述卷积神经网络进行训练；相应的，所述获取单元，用于获取所述训练后的卷积神经网络为所述图像处理模型。
结合第二方面，在第二方面的第六种实现方式中：
所述获取单元，还用于获取肺部原始图像，所述肺部原始图像包括骨骼图像、血管图像以及所述肺部图像；
所述处理单元，还用于对所述肺部原始图像进行目标分割，得到所述肺部图像；将所述肺部图像重采样到预设分辨率。
结合第二方面，在第二方面的第七种实现方式中：
所述图像处理设备包含所述图像处理模型；或者
所述图像处理设备还包括接收单元，所述接收单元用于接收所述图像处理模型。
第三方面，本发明实施例提供了另一种图像处理设备，包括处理器、通信接口和存储器，所述处理器、通信接口和存储器相互连接，其中，所述存储器用于存储支持图像处理设备执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，用以执行上述第一方面的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行，用以执行上述第一方面的方法。
第五方面，本发明实施例提供了一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的计算机可读存储介质，所述计算机程序可操作来使计算机执行上述第一方面的方法。
本发明通过利用图像处理模型对肺部图像进行图像处理，从而识别到肺部图像中的肺结节，且得到肺结节信息。通过该肺结节信息可以获知肺部图像中的肺结节的生长状况，例如边界信息和位置信息，甚至是肺结节的病灶类型，这样本发明可以通过有效的辅助医务人员对肺部图像进行较精确的解读，甚至可免去人工读片，因此本发明可以大大提高对肺部图像处理的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明实施例提供的一种肺部图像处理过程的示意图；
图2是本发明实施例提供的一种肺部图像处理方法的示意流程图；
图3是本发明实施例提供的另一种肺部图像处理方法的示意流程图；
图4是本发明实施例提供的一种图像处理设备的示意性框图；
图5是本发明实施例提供的一种图像处理设备的结构性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
具体实现中，本发明实施例中描述的图像处理设备包括但不限于具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的终端设备和服务器。其中，终端设备有诸如移动电话、膝上型计算机或平板计算机等设备，服务器包括具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的图像处理装置以及台式计算机等。
在接下来的讨论中，描述了包括显示器和触摸敏感表面的图像处理设备。然而，应当理解的是，图像处理设备可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。
随着人类社会的发展，现代医学技术也越来越先进，在人类的疾病斗争史上留下不少光辉的战绩。虽然人的寿命平均来说相比于以前延长了许多，但是同样不可否认的是患有现代病的人数越来越多，例如由于现代人生活方式改变，加之环境的污染，人们患上癌症的人数变多，特别是肺癌这种发病率及死亡率都极高的癌症。早期肺癌的预防和发现，除了医生对身体出现的外在症状进行初步判断以外，更最常用且更可靠的方法是通过针对胸部的计算机断层扫描(CT，Computed Tomography)技术来检查肺部是否有肺结节。
CT的原理是根据人体不同组织对射线的吸收与透过率的不同，应用灵敏度极高的仪器对透过人体的射线进行测量，然后将测量所获取的CT值输入电子计算机，电子计算机根据不同人体部位CT值的大小而成像，就可摄下人体被检查部位的断面或立体的图像。因此，通过CT扫描可以得到一张人体内部各组织的图像，例如胸部CT，医生可以对胸部CT读片，可以发现肺部的肺结节以及根据肺结节的形态初步判断肺结节的病灶类型，但这样的人工读片效率低，缺少一种高效率的肺部图像处理的方法。
为了解决上述问题，本发明实施例提供了一种肺部图像处理的方法，通过图像处理模型对肺部图像进行处理，然后得到肺结节信息来描述肺结节的当前状态及生长状况，从而辅助医生进行人工读片，甚至免去人工读片，有效的提高了肺部图像处理的效率。
为了能够更好地理解本发明实施例，下面将结合图1，对应用本发明实施例的方法进行介绍，本发明实施例可以应用于图像处理模型对肺部图像进行处理的场景中。
本发明实施例中的图像处理模型可以为卷积神经网络，用于找到肺部图像中的肺结节的边界、位置和病灶类型等信息，以描述肺结节的生长状况，如图1所示的卷积神经网络包含九层神经网络，前四层神经网络用于依次对输入的图像数据进行特征提取，后面四层神经网络用于重建图像和进一步的特征提取，第九层神经网络用于对之前几层网络卷积的输出结果进行三项不同的卷积，分别得到肺部图像的肺结节的边界信息、位置信息以及病灶类型，最后生成含有肺结节的边界信息、位置信息以及病灶类型的处理报告，该处理报告用于规范化显示处理的结果。其中，肺结节的边界信息用于描述肺结节的边界情况，例如肺结节的边界点的坐标位置的集合；肺结节的位置信息用于描述肺结节在图像中的位置情况，例如肺结节的中心点的位置坐标；肺结节的病灶类型用于描述肺结节的良恶性，例如肺结节为恶性或者良性，或者进一步的细分类别，恶性包括腺癌，鳞癌和小细胞癌等，良性包括血管瘤，肺结核，肺肉芽肿和肺炎等；特征提取指的是提取图像中特定部分的数据。
具体的，图像处理设备首先向图像处理模型输入分辨率为预设值(例如128*128*128)的肺部图像，该肺部图像为三维立体图像，且该分辨率表示该肺部图像在长宽高分别含有128个像素点。图像处理模型将该肺部图像通过前四层神经网络，依次得到分辨率为64*64*64、32*32*32、16*16*16和8*8*8的特征图像，该特征图像描述了图像的特征，包括颜色特征、纹理特征、形状特征和空间关系特征等。其中，每层神经网络都对上一层神经网络输入的特征图像进行多次卷积和池化等操作，分别用以提取图像中的特征和简化模型的参数和复杂度，例如图1所示的前四层中的每一层神经网络都包含卷积层、池化层、分批标准化层和激活函数层，其中，卷积层可以采用Conv3D用于对输入的图像数据进行卷积以提取图像特征，池化可以采用最大池化方法或者平均池化方法简化数据，分批标准化层用于提高图像处理模型的训练速度，激活函数层可以引入非线性因素提高图像处理模型解决非线性问题的能力。其中，Conv3D指的是对立体图像的卷积操作。
如图1所示的后四层的神经网络包含逆卷积层、分批标准化层、激活函数层和卷积层，其中，逆卷积层用于对输入的特征图像进行升采样，使特征图像的分辨率恢复到输入图像的原始分辨率。于是通过后四层的神经网络，图像处理模型将分辨率为8*8*8的特征图像升采样和进一步的特征提取，依次得到分辨率为16*16*16、32*32*32、64*64*64和128*128*128的特征图像，从而恢复到原始分辨率的图像。
还需要注意的是，总体来说在从上述前四层神经网络到上述后四层神经网络，肺部图像经历了降采样再到升采样的过程，于是在升采样将图像恢复到原始分辨率的过程中，图像处理模型还将在降采样过程和升采样过程中相同分辨率的特征图像结合在一起，从而得到新的特征图像，该新的特征结合了图像中局部和全局的信息，进一步提高了特征提取的效率，即图像处理的效率，且由图中可看出，新的特征图像的通道数也变多，需要说明的是，为了充分提取图像的特征，图像处理模型在卷积层会利用多个卷积核对同个图像进行多次特征提取，因此生成多个图像，该多个图像也被视为同个图像的多个通道，因此对图像处理之后生成了更多的图像，这些图像堆叠在一起增加了图像的维度，图像的通道数也产生如图1所示的变化。
上述得到经过升采样得到的原始分辨率图像之后，图像处理还可以利用第九层的神经网络进行三个卷积操作，分别得到对肺部图像进行目标分割的结果、目标检测的结果，和目标分类的结果，即分别得到肺结节的边界信息、位置信息和病灶分类，因此图像处理模型同时对肺部图像进行了目标分割、目标检测以及病灶分类。得到上述结果之后，图像处理模型获取反馈信息，反馈信息用于优化图像处理模型参数，含有与肺结节信息对应的准确数据，可以为医生基于金标准而手动标注的肺结节信息。其中，金标准是临床医学界的一种诊断疾病的方法，可以正确区分为“有病”和“无病”。
作为一种可选的方式，图像处理模型的第九层神经网络对输入的图像进行两次卷积之后，分别得到肺结节的边界信息和位置信息，然后可以根据该边界信息和位置信息计算得到肺结节的体积、直径和形状等信息，最后上述降采样和升采样中获得的至少一个如图1中分辨率较小的特征图(8*8*8)，和肺结节的体积、直径和形状等信息一起进行卷积，从而得到的病灶类型。在此方式中，目标分割、目标检测以及病灶分类不是一起完成的，而是得到目标分割、目标检测的结果之后，利用目标分割和目标检测的结果，以及较小的特征图一起卷积得到病灶分类的结果，因此可以进一步的结合肺结节的各种特征，提高肺部图像处理的准确性，提高模型的泛化能力。
获得反馈信息之后，图像处理设备利用反馈信息，图像处理得到的肺结节信息进行比较，利用损失函数来计算得到损失，根据损失使用反向传播(back-propagation)算法更新图像处理模型的参数,从而优化该图像处理模型。相应的，生成含有上述反馈信息的处理报告，该处理报告用于规范化显示处理结果。
需要说明的是，上述损失函数是描述图像处理模型的处理结果与反馈信息中的真实结果之间的损失情况，上述损失函数可以为分割损失函数、检测损失函数和分类损失函数其中的至少两项进行加权求和得到的函数，例如Y＝1/3*(M+N+L)，其中，Y、M、N和L分别表示损失函数、分割损失函数、检测损失函数和分类损失函数。分割损失函数、检测损失函数和分类损失函数可以相同也可以不同，其中，损失函数包括DICE损失函数、IOU损失函数、回归损失函数、交叉熵函数和LogLoss函数。
举例来说，若病灶类型有五类，而上述图像处理模型在第八层神经网络，对恢复原始分辨率之后的肺部图像进行卷积之后，再利用Softmax函数计算得到肺结节分别为五种病灶类型的概率的集合，例如肺结节的病灶分类的结果为p＝[0.1，0.15，0.05，0.6，0.1]，即表示该肺结节的病灶类型最可能是第四类，然后对比反馈信息中的病灶分类的结果，例如为y＝[0，0，0，1，0]，表示反馈的病灶类型为第四类，从而可以看出图像处理模型的预测是正确的，但是图像处理模型中的参数还不够完美，可以进一步优化，尽可能的使图像处理模型判断病灶类型为第四类的概率接近于1。
然后使用交叉熵函数作为分类损失函数，来描述上述图像处理模型的分类准确度，其中，分类损失函数可以表示为Li＝-log(pi)，其中Li为第i类的病灶类型的损失，pi为图像处理模型预测肺结节为第i类的病灶类型的概率。根据上述的举例来说，可以根据该分类损失函数得到图像处理模型进行正确分类的损失Loss＝-log(0.6)。
还需要说明的是，上述根据损失使用反向传播(back-propagation)算法对图像处理模型进行优化指的是，使用链式法则求导，将损失反向传播回去，然后更新图像处理模型中的权重参数，确保最后的图像处理模型预测的结果与实际的结果保持在一定的误差范围内，也就是使误差为零为最终目标。
还需要说明的是，在利用上述图像处理模型对肺部图像进行处理之前，需要构建一个卷积神经网络的框架，可以是如图1所示的卷积神经网络的框架，构建好了之后还需要向该卷积神经网络输入大量的训练样本对卷积神经网络进行训练，通过训练卷积神经网络中的参数不断被修改和优化，使得卷积神经网络能更准确的检测并分析肺部的肺结节。或者，令上述卷积神经网络的框架为全卷积网络(FCN，Fully Convolutional Network)网络结构、U-NET网络结构或V-Net网络结构。
需要说明的是，训练样本包括不计数量的多个肺部图像及其标签(图像所属类别)，即训练集(training set)。上述利用训练样本对卷积神经网络进行训练指的是将训练样本输入到网络中，利用损失函数计算网络的实际输出与期望输出间的差别，然后利用优化算法来调整图像处理模型中的参数，从而优化上述图像处理模型。其中，损失函数包括DICE损失函数、IOU损失函数、回归损失函数、交叉熵函数和LogLoss函数等，优化函数包括反向传播(back-propagation)算法等。
举例来说，在训练之前，图像处理模型中的参数是随机数，通过训练之后可以调整图像处理模型中的数据，得到一个成熟的能够正确提取肺部图像中的特征的图形处理模型。具体的，将训练集中的一个样本(Ai,Bi)输入图像处理模型中，得到图像处理模型的实际输出Yi。其中，Ai为第i个图像的图像数据、Bi为第i个图像的图像标签。然后计算D＝Bi-Yi，D为即预测值与实际值的误差，然后根据该误差D的大小利用反向传播算法调整图像处理模型中的参数。通过对每个样本重复上述过程，直到误差D不超过预设误差，表示图像处理模型训练完成。其中，预设误差可以为任意设定的值。
需要说明的是，图1所示的卷积神经网络的层数和功能并不构成对本发明实施例的限定。
请参阅图2，图2是本发明实施例公开的一种肺部图像处理方法的示意流程图，如图所示方法可包括：
201：获取肺部图像。
在本发明实施例中，图像处理设备获取肺部图像，该肺部图像为通过针对胸部的射线扫描技术获得的其中的肺部的图像，该扫描技术包括计算机断层扫描(CT，ComputedTomography)技术。
进一步的，上述肺部图像为全肺图像，即整个肺部的三维立体(3D，3Dimensions)图像。
进一步的，上述图像处理设备中从本地存储中获取上述图像处理模型，或者从云端设备中获取上述图像处理模型，或者从其他终端设备接收上述图像处理模型。
需要说明的是，图像处理模型为可以对肺部图像进行图像处理的模型，用于识别图像的特质以得到特征图像，特征图像包括颜色特征、纹理特征、形状特征和空间关系特征等。其中，图像处理模型包括基于神经网络的图像处理模型，基于小波矩的图像处理模型，基于分形特征的图像处理模型。
可选的，上述图像处理模型为卷积神经网络。
需要说明的是，深度学习技术中的卷积神经网络(CNN，Convolutional NeuralNetwork)是一种前馈神经网络，由一个或多个卷积层和池化层等组成。卷积神经网络多用于图像和语音识别，也能通过反向传播算法进行训练，使得其具有更出色的学习能力。相比较其他深度深度神经网络和前馈神经网络，卷积神经网络需要考量的参数更少，因此图片处理的效率更高。
进一步的，在上述获取图像处理模型之前，构建卷积神经网络；获得训练样本；利用上述训练样本对上述卷积神经网络进行训练；获取训练后的卷积神经网络为图像处理模型。
在本发明实施例中的卷积神经网络可以为不限数量的多个卷积层(Convolutional Layers)、池化层(Pooling Layers)和激活函数层(Activation functionlayer)等的组合，也可以是全卷积网络(FCN，Fully Convolutional Network)的网络结构、U-NET网络结构或V-Net网络结构。训练样本包括不计数量的多个肺部图像及其标签(图像所属类别)，即训练集(training set)。上述利用训练样本对卷积神经网络进行训练指的是将训练样本输入到网络中，利用损失函数计算网络的实际输出与期望输出间的差别，然后利用优化算法来调整图像处理模型中的参数，从而优化上述图像处理模型。其中，损失函数包括DICE损失函数、IOU损失函数、回归损失函数、交叉熵函数和LogLoss函数等，优化函数包括反向传播(back-propagation)算法等。
举例来说，在训练之前，图像处理模型中的参数是随机数，通过训练之后可以调整图像处理模型中的数据，得到一个成熟的能够正确提取肺部图像中的特征的图形处理模型。具体的，将训练集中的一个样本(Ai,Bi)输入图像处理模型中，得到图像处理模型的实际输出Yi。其中，Ai为第i个图像的图像数据、Bi为第i个图像的图像标签。然后计算D＝Bi-Yi，D为即预测值与实际值的误差，然后根据该误差D的大小利用反向传播算法调整图像处理模型中的参数。通过对每个样本重复上述过程，直到误差D不超过预设误差，表示图像处理模型训练完成。其中，预设误差可以为任意设定的值。
可选的，上述构建构建卷积神经网络包括：构建一个九层的卷积神经网络；前四层神经网络每层神经网络都包含有卷积层、池化层、分批标准化层和激活函数层；第五层神经网络至第八层神经网络的每一层都包含有逆卷积层、分批标准化层和激活函数层和卷积层；第九层为卷积层。
需要说明的是，卷积层可以采用Conv3D用于对输入的图像数据进行卷积以提取图像特征，池化可以采用例如最大池化方法或者平均池化等方法简化数据，对图像降采样，分批标准化层用于提高图像处理模型的训练速度，激活函数层可以引入非线性因素提高图像处理模型解决非线性问题的能力，逆卷积层用于对输入的特征图像进行升采样，使特征图像的分辨率恢复到输入图像的原始分辨率。其中，Conv3D指的是对立体图像的卷积操作。
总的来说，前四层的神经网络用于对图像降采样以提取输入的肺部图像中的细节特征，而后四层的神经网络用于对图像升采样，在恢复图像分辨率的同时并将本层与在前四层神经网络中得到的相同分辨率的特征图像结合，进一步总和提取局部与全局的特征，此外，第九层的神经网络用于对第八层神经网络输出的特征图像分别进行三项不同的卷积，得到目标分割的结果、目标分类的结果和病灶分类的结果，即上述肺结节的边界信息、位置信息和病灶类型。具体的，首先向图像处理模型输入肺部图像，该肺部图像可以是全肺图像，即整个肺部的立体(3D，3Dimensions)图像。在输入该肺部图像之前，首先将肺部图像切割为多个预设大小的小块，在输入该肺部图像之后，图像处理模型对输入的每个小块中的肺结节进行目标分割，目标检测和目标分类，最后将各个小块融合到一起，得到全肺的结果。其中，目标分割指的是识别肺结节的边界点的坐标位置的集合，将肺部图像中的肺结节分割出来；目标检测指的是定位肺结节所在的位置，例如将识别到的肺结节的中心点的坐标位置作为肺结节的定位位置；病灶分类指的是判断肺结节为良性还是恶性，或者进一步的细分类别，恶性包括腺癌，鳞癌和小细胞癌等，良性包括血管瘤，肺结核，肺肉芽肿和肺炎等。
进一步的，在上述获取肺部图像和图像处理模型之前，获取肺部原始图像，肺部原始图像包括骨骼图像、血管图像以及上述肺部图像；对上述肺部原始图像进行目标分割，得到上述肺部图像；将上述肺部图像重采样到预设分辨率。
在本发明实施例中，图像处理设备通过胸部CT获得的图像为肺部原始图像，由于CT的原理是根据人体不同组织对射线的吸收与透过率的不同，应用灵敏度极高的仪器对透过人体的射线进行测量，然后将测量所获取的CT值输入电子计算机，电子计算机根据不同人体部位CT值的大小而成像，就可摄下人体被检查部位的断面或立体的图像。因此该胸部CT获得的肺部原始图像不仅包括肺部图像，还包括身体中其他组织和器官的图像，包括骨骼图像、血管图像以及肺部图像，即血管、骨骼和肺等的图像，因此在图像处理设备获得胸部CT之后的肺部原始图像之后，先对该肺部原始图像进行目标分割，分割出肺部原始图像中的肺部图像，其中，目标分割技术指的是利用图像分割技术在肺部原始图像中分割出本发明实施例所需要的肺部图像，而图像分割技术包括基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等，或者，利用基于深度学习的技术对图像进行分割，其中，深度学习包括的模型有卷积神经网络、深度玻尔兹曼机、人工神经网络和堆栈式自编码器等。本发明实施例可以采用卷积神经网络，详细的，利用神经网络将肺部原始图像降采样保留需要肺部图像的特征，去除不需要的其他组织的图像，最后升采样得到分割后的肺部图像。而上述将肺部图像重采样到预设分辨率指的是，对分割出的肺部图像按所需的像元位置或像元间距重新采样到预设分辨率，例如预设分辨率为128*128*128，该分辨率表示该肺部图像在长宽高分别含有128个像素点。
可选的，获取上述肺部原始图像的CT值集合；将该CT值集合中的CT值归一化。
在本发明实施例中，肺部的各个部分都是由CT值来反映其密度，CT值越大越能反应其密度，归一化CT值有利于简化数据，加快图像分割的速度，和使得被处理的数据被限定在一定的范围内(比如[0，1]或者[-1，1])，从而消除奇异样本数据导致的不良影响，也便于映射到相应的灰度值来成像。
202：使用图像处理模型处理上述肺部图像，得到肺结节信息，肺结节信息用于描述肺结节的生长情况。
在本发明实施例中可以使用卷积神经网络，同时对肺部图像进行目标分割、目标检测和病灶分类中的至少两项；目标分割用于确定上述肺结节的边界信息，目标检测用于确定上述肺结节的位置信息，上述病灶分类用于确定上述肺结节的病灶类型，该病灶类型包括良性和恶性；上述肺结节信息包括上述肺结节的边界信息、位置信息以及病灶类型。
需要说明的是，上述目标分割、目标检测和病灶分类分别指的是利用被训练后的卷积神经网络提取出肺部图像的中的肺结节的特征信息，该卷积神经网络包含许多卷积层、池化层和激活函数层交叉连接在一起，同时提取肺结节的边界信息、位置信息和病灶类型，而不是单一的提取肺结节的某一项特征，从而完成多任务学习，综合了多个特性信息，提高了模型的泛化能力。
可选的，使用上述图像处理模型同时对上述肺部图像进行目标分割和目标检测，得到肺结节的边界信息和位置信息；利用上述边界信息和上述位置信息计算上述肺结节的体积、直径和/或形状；结合上述肺结节的体积、直径和/或形状确定上述病灶类型。
在本发明实施例中，图像处理模型同时对肺部图像进行目标分割和目标检测之后，得到肺结节的边界信息和位置信息，然后可以根据该边界信息和位置信息计算得到肺结节的体积、直径和形状等信息，最后利用在图像处理过程中获得的至少一个分辨率较小(例如8*8*8)的特征图，和肺结节的体积、直径和形状等信息一起进行卷积，从而得到的病灶类型。在此方式中，目标分割、目标检测以及病灶分类不是一起完成的，而是得到目标分割、目标检测的结果之后，利用目标分割和目标检测的结果，以及较小的特征图一起卷积得到病灶分类的结果，因此可以进一步的结合肺结节的各种特征，提高肺部图像处理的准确性，提高模型的泛化能力。
需要说明的是，肺结节的病灶类型与上述肺结节形状、体积以及直径等特征有十分密切的关系，根据肺结节的形状等特征便可以得到肺结节的类型(包括混合磨玻璃结节，纯磨玻璃结节和实性结节等)，从而判断肺结节为恶性还是良性，例如，纯磨玻璃结节像磨砂玻璃一样，云雾状的影子；混合磨玻璃结节就像一个荷包蛋，其中实性的成分是蛋黄，磨玻璃的部分是蛋清；实性结节就像是去掉蛋清后的蛋黄，是一个密度较高的结节；且恶性程度恶性程度概率从高到低，依次为混合磨玻璃结节，纯磨玻璃结节，实性结节。
203：生成包含上述肺结节信息的处理报告。
在本发明实施例中，在得到上述肺结节信息之后，则获取处理报告模板，并结合上述得到的肺结节信息，生成含有上述肺结节信息的处理报告。
进一步的，上述处理报告中还包含对上述肺结节的随访频率建议。
需要说明的是，上述随访为根据上述肺结节的信息生成的复查频率建议，例如良性肺结节越有可能转换为恶性肺结节的患者建议随访频率越高。
进一步的，上述生成处理报告之前，获取反馈信息和损失函数；代入反馈信息和肺结节信息到损失函数中，计算得到损失；利用损失对上述图像处理模型进行优化；生成处理报告，包括：生成包含上述反馈信息的处理报告。
进一步的，所述获取损失函数之前，获取分割损失函数、检测损失函数和分类损失函数中的至少两个；对所述分割损失函数、所述检测损失函数和所述分类损失函数中的至少两个进行加权求和，得到所述损失函数。
在本发明实施例中，图像处理模型对肺部图像进行处理，同时得到对肺部图像进行目标分割的结果、目标检测的结果，和目标分类的结果，即得到肺结节的边界信息、位置信息和病灶分类。得到上述结果之后，图像处理模型获取反馈信息，反馈信息用于优化图像处理模型参数，含有与肺结节信息对应的准确数据，可以为医生基于金标准而手动标注的肺结节信息。其中，金标准是临床医学界的一种诊断疾病的方法，可以正确区分为“有病”和“无病”。
获得反馈信息之后，图像处理设备利用反馈信息，图像处理得到的肺结节信息进行比较，利用损失函数来计算得到损失，根据损失使用反向传播(back-propagation)算法更新图像处理模型的参数,从而优化该图像处理模型。
需要说明的是，上述损失函数是描述图像处理模型的处理结果与反馈信息中的真实结果之间的损失情况，上述损失函数可以为分割损失函数、检测损失函数和分类损失函数进行加权求和得到的函数，例如Y＝1/3*(M+N+L)，其中，Y、M、N和L分别表示损失函数、分割损失函数、检测损失函数和分类损失函数。分割损失函数、检测损失函数和分类损失函数可以相同也可以不同，其中，损失函数包括DICE损失函数、IOU损失函数、回归损失函数、交叉熵函数和LogLoss函数。
举例来说，若病灶类型有五类，而上述图像处理模型在第八层神经网络，对恢复原始分辨率之后的肺部图像进行卷积之后，再利用Softmax函数得到肺结节分别为五种病灶类型的概率的集合，例如肺结节的病灶分类的结果为p＝[0.1，0.15，0.05，0.6，0.1]，即表示该肺结节的病灶类型最可能是第四类，然后对比反馈信息中的病灶分类的结果，例如为y＝[0，0，0，1，0]，表示反馈的病灶类型为第四类，从而可以看出图像处理模型的预测是正确的，但是图像处理模型中的参数还不够完美，可以进一步优化，尽可能的使图像处理模型判断病灶类型为第四类的概率接近于1。
然后使用交叉熵函数作为分类损失函数，来描述上述图像处理模型的分类准确度，其中，分类损失函数可以表示为Li＝-log(pi)，其中Li为第i类的病灶类型的损失，pi为图像处理模型预测肺结节为第i类的病灶类型的概率。根据上述的举例来说，可以根据该分类损失函数得到图像处理模型进行正确分类的损失Loss＝-log(0.6)。
还需要说明的是，上述根据损失使用反向传播(back-propagation)算法对图像处理模型进行优化指的是，使用链式法则求导，将损失反向传播回去，然后更新图像处理模型中的权重参数，确保最后的图像处理模型预测的结果与实际的结果保持在一定的误差范围内，也就是使误差为零为最终目标。
还需要说明的是，若图像处理设备接收到反馈信息，则生成包含该反馈信息的处理报告，该处理报告用于规范化显示上述反馈信息。
本发明实施例使用了基于卷积神经网络的图像处理模型，可以同时进行目标分割、目标检测和病灶分类中的至少两项，详细的参考图1，图1中所示的图像处理模型的前八层神经网络都依次对由上一层神经网络输出的特征图像进行进一步的特征提取，每一层神经网络输出的特征图都综合反映了肺结节的边界信息、位置信息和病灶类型，因此在图像处理模型的最后一层神经网络对特征图分别进行三项不同的卷积便可以得到肺结节的边界信息、位置信息和病灶类型，因此可以说本发明实施例的目标检测、目标分割和病灶分类是同时进行的，而不是每层神经网络只用于目标检测、目标分割和病灶分类中的一项，或者通过不同的图像处理模型分别进行目标检测、目标分割和病灶分类中的一项。因此本发明实施例通过同时提取肺结节的多项特征，从而完成多任务学习，也因为肺结节的各种特征之间并非毫无联系的，因此结合肺结节的多种特征也提高了肺部图像处理的准确性，提高模型的泛化能力。此外，相对以往的卷积神经网络只能对整张图片进行分类，本发明实施例中的卷积神经网络可以对图像中的每个像素进行分类，以此达到对图片特定部分进行分类的效果。
请参阅图3，图3是本发明实施例公开的另一种肺部图像处理方法的示意流程图，如图所示方法可包括：
301：获取肺部图像。
在本发明实施例中，图像处理设备获取肺部图像，该肺部图像为通过针对胸部的射线扫描技术获得的其中的肺部的图像，该扫描技术包括计算机断层扫描(CT，ComputedTomography)技术。
进一步的，上述肺部图像为全肺图像，即整个肺部的三维立体(3D，3Dimensions)图像。
进一步的，上述图像处理设备中从本地存储中获取上述图像处理模型，或者从云端设备中获取上述图像处理模型，或者从其他终端设备接收上述图像处理模型。
需要说明的是，图像处理模型为可以对肺部图像进行图像处理的模型，用于识别图像的特质以得到特征图像，特征图像包括颜色特征、纹理特征、形状特征和空间关系特征等。其中，图像处理模型包括基于神经网络的图像处理模型，基于小波矩的图像处理模型，基于分形特征的图像处理模型。
可选的，上述图像处理模型为卷积神经网络。
需要说明的是，深度学习技术中的卷积神经网络(CNN，Convolutional NeuralNetwork)是一种前馈神经网络，由一个或多个卷积层和池化层等组成。卷积神经网络多用于图像和语音识别，也能通过反向传播算法进行训练，使得其具有更出色的学习能力。相比较其他深度深度神经网络和前馈神经网络，卷积神经网络需要考量的参数更少，因此图片处理的效率更高。
进一步的，在上述获取图像处理模型之前，构建卷积神经网络；获得训练样本；利用上述训练样本对上述卷积神经网络进行训练；获取训练后的卷积神经网络为图像处理模型。
在本发明实施例中的卷积神经网络可以为不限数量的多个卷积层(Convolutional Layers)、池化层(Pooling Layers)和激活函数层(Activation functionlayer)等的组合，也可以是全卷积网络(FCN，Fully Convolutional Network)的网络结构、U-NET网络结构或V-Net网络结构。训练样本包括不计数量的多个肺部图像及其标签(图像所属类别)，即训练集(training set)。上述利用训练样本对卷积神经网络进行训练指的是将训练样本输入到网络中，利用损失函数计算网络的实际输出与期望输出间的差别，然后利用优化算法来调整图像处理模型中的参数，从而优化上述图像处理模型。其中，损失函数包括DICE损失函数、IOU损失函数、回归损失函数、交叉熵函数和LogLoss函数等，优化函数包括反向传播(back-propagation)算法等。
举例来说，在训练之前，图像处理模型中的参数是随机数，通过训练之后可以调整图像处理模型中的数据，得到一个成熟的能够正确提取肺部图像中的特征的图形处理模型。具体的，将训练集中的一个样本(Ai,Bi)输入图像处理模型中，得到图像处理模型的实际输出Yi。其中，Ai为第i个图像的图像数据、Bi为第i个图像的图像标签。然后计算D＝Bi-Yi，D为即预测值与实际值的误差，然后根据该误差D的大小利用反向传播算法调整图像处理模型中的参数。通过对每个样本重复上述过程，直到误差D不超过预设误差，表示图像处理模型训练完成。其中，预设误差可以为任意设定的值。
可选的，上述构建构建卷积神经网络包括：构建一个九层的卷积神经网络；前四层神经网络每层神经网络都包含有卷积层、池化层、分批标准化层和激活函数层；第五层神经网络至第八层神经网络的每一层都包含有逆卷积层、分批标准化层和激活函数层和卷积层；第九层为卷积层。
需要说明的是，卷积层可以采用Conv3D用于对输入的图像数据进行卷积以提取图像特征，池化可以采用例如最大池化方法或者平均池化等方法简化数据，对图像降采样，分批标准化层用于提高图像处理模型的训练速度，激活函数层可以引入非线性因素提高图像处理模型解决非线性问题的能力，逆卷积层用于对输入的特征图像进行升采样，使特征图像的分辨率恢复到输入图像的原始分辨率。其中，Conv3D指的是对立体图像的卷积操作。
总的来说，前四层的神经网络用于对图像降采样以提取输入的肺部图像中的细节特征，而后四层的神经网络用于对图像升采样，在恢复图像分辨率的同时并将本层与在前四层神经网络中得到的相同分辨率的特征图像结合，进一步总和提取局部与全局的特征，此外，第九层的神经网络用于对第八层神经网络输出的特征图像分别进行三项不同的卷积，得到目标分割的结果、目标分类的结果和病灶分类的结果，即上述肺结节的边界信息、位置信息和病灶类型。具体的，首先向图像处理模型输入肺部图像，该肺部图像可以是全肺图像，即整个肺部的立体(3D，3Dimensions)图像。在输入该肺部图像之前，首先将肺部图像切割为多个预设大小的小块，在输入该肺部图像之后，图像处理模型对输入的每个小块中的肺结节进行目标分割，目标检测和目标分类，最后将各个小块融合到一起，得到全肺的结果。其中，目标分割指的是识别肺结节的边界点的坐标位置的集合，将肺部图像中的肺结节分割出来；目标检测指的是定位肺结节所在的位置，例如将识别到的肺结节的中心点的坐标位置作为肺结节的定位位置；病灶分类指的是判断肺结节为良性还是恶性，或者进一步的细分类别，恶性包括腺癌，鳞癌和小细胞癌等，良性包括血管瘤，肺结核，肺肉芽肿和肺炎等。
进一步的，在上述获取肺部图像和图像处理模型之前，获取肺部原始图像，肺部原始图像包括骨骼图像、血管图像以及上述肺部图像；对上述肺部原始图像进行目标分割，得到上述肺部图像；将上述肺部图像重采样到预设分辨率。
在本发明实施例中，图像处理设备通过胸部CT获得的图像为肺部原始图像，由于CT的原理是根据人体不同组织对射线的吸收与透过率的不同，应用灵敏度极高的仪器对透过人体的射线进行测量，然后将测量所获取的CT值输入电子计算机，电子计算机根据不同人体部位CT值的大小而成像，就可摄下人体被检查部位的断面或立体的图像。因此该胸部CT获得的肺部原始图像不仅包括肺部图像，还包括身体中其他组织和器官的图像，包括骨骼图像、血管图像以及肺部图像，即血管、骨骼和肺等的图像，因此在图像处理设备获得胸部CT之后的肺部原始图像之后，先对该肺部原始图像进行目标分割，分割出肺部原始图像中的肺部图像，其中，目标分割技术指的是利用图像分割技术在肺部原始图像中分割出本发明实施例所需要的肺部图像，而图像分割技术包括基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等，或者，利用基于深度学习的技术对图像进行分割，其中，深度学习包括的模型有卷积神经网络、深度玻尔兹曼机、人工神经网络和堆栈式自编码器等。本发明实施例可以采用卷积神经网络，详细的，利用神经网络将肺部原始图像降采样保留需要肺部图像的特征，去除不需要的其他组织的图像，最后升采样得到分割后的肺部图像。而上述将肺部图像重采样到预设分辨率指的是，对分割出的肺部图像按所需的像元位置或像元间距重新采样到预设分辨率，例如预设分辨率为128*128*128，该分辨率表示该肺部图像在长宽高分别含有128个像素点。
可选的，获取上述肺部原始图像的CT值集合；将该CT值集合中的CT值归一化。
在本发明实施例中，肺部的各个部分都是由CT值来反映其密度，CT值越大越能反应其密度，归一化CT值有利于简化数据，加快图像分割的速度，和使得被处理的数据被限定在一定的范围内(比如[0，1]或者[-1，1])，从而消除奇异样本数据导致的不良影响，也便于映射到相应的灰度值来成像。
302：使用图像处理模型处理上述肺部图像，得到肺结节信息。
在本发明实施例中可以使用卷积神经网络，同时对肺部图像进行目标分割、目标检测和病灶分类中的至少两项；目标分割用于确定上述肺结节的边界信息，目标检测用于确定上述肺结节的位置信息，上述病灶分类用于确定上述肺结节的病灶类型，该病灶类型包括良性和恶性；上述肺结节信息包括上述肺结节的边界信息、位置信息以及病灶类型。
需要说明的是，上述目标分割、目标检测和病灶分类分别指的是利用被训练后的卷积神经网络提取出肺部图像的中的肺结节的特征信息，该卷积神经网络包含许多卷积层、池化层和激活函数层交叉连接在一起，同时提取肺结节的边界信息、位置信息和病灶类型，而不是单一的提取肺结节的某一项特征，从而完成多任务学习，综合了多个特性信息，提高了模型的泛化能力。
可选的，使用上述图像处理模型同时对上述肺部图像进行目标分割和目标检测，得到肺结节的边界信息和位置信息；利用上述边界信息和上述位置信息计算上述肺结节的体积、直径和/或形状；结合上述肺结节的体积、直径和/或形状确定上述病灶类型。
在本发明实施例中，图像处理模型同时对肺部图像进行目标分割和目标检测之后，得到肺结节的边界信息和位置信息，然后可以根据该边界信息和位置信息计算得到肺结节的体积、直径和形状等信息，最后利用在图像处理过程中获得的至少一个分辨率较小(例如8*8*8)的特征图，和肺结节的体积、直径和形状等信息一起进行卷积，从而得到的病灶类型。在此方式中，目标分割、目标检测以及病灶分类不是一起完成的，而是得到目标分割、目标检测的结果之后，利用目标分割和目标检测的结果，以及较小的特征图一起卷积得到病灶分类的结果，因此可以进一步的结合肺结节的各种特征，提高肺部图像处理的准确性，提高模型的泛化能力。
需要说明的是，肺结节的病灶类型与上述肺结节形状、体积以及直径等特征有十分密切的关系，根据肺结节的形状等特征便可以得到肺结节的类型(包括混合磨玻璃结节，纯磨玻璃结节和实性结节等)，从而判断肺结节为恶性还是良性，例如，纯磨玻璃结节像磨砂玻璃一样，云雾状的影子；混合磨玻璃结节就像一个荷包蛋，其中实性的成分是蛋黄，磨玻璃的部分是蛋清；实性结节就像是去掉蛋清后的蛋黄，是一个密度较高的结节；且恶性程度恶性程度概率从高到低，依次为混合磨玻璃结节，纯磨玻璃结节，实性结节。
303：获取反馈信息和损失函数。
在本发明实施例中，上述获取损失函数之前，获取分割损失函数、检测损失函数和分类损失函数中的至少两个；对分割损失函数、检测损失函数和分类损失函数中的至少两个进行加权求和，得到损失函数。
在本发明实施例中，图像处理模型对肺部图像进行处理，同时得到对肺部图像进行目标分割的结果、目标检测的结果，和目标分类的结果，即分别得到肺结节的边界信息、位置信息和病灶分类。得到上述结果之后，图像处理模型获取反馈信息，反馈信息用于优化图像处理模型参数，含有与肺结节信息对应的准确数据，可以为医生基于金标准而手动标注的肺结节信息。其中，金标准是临床医学界的一种诊断疾病的方法，可以正确区分为“有病”和“无病”。
304：带入上述反馈信息和上述肺结节信息到上述损失函数中，计算得到损失。
获得反馈信息之后，图像处理设备利用反馈信息，图像处理得到的肺结节信息进行比较，利用损失函数来计算得到损失，根据损失使用反向传播(back-propagation)算法更新图像处理模型的参数,从而优化该图像处理模型。
需要说明的是，上述损失函数是描述图像处理模型的处理结果与反馈信息中的真实结果之间的损失情况，上述损失函数可以为分割损失函数、检测损失函数和分类损失函数进行加权求和得到的函数，例如Y＝1/3*(M+N+L)，其中，Y、M、N和L分别表示损失函数、分割损失函数、检测损失函数和分类损失函数。分割损失函数、检测损失函数和分类损失函数可以相同也可以不同，其中，损失函数包括DICE损失函数、IOU损失函数、回归损失函数、交叉熵函数和LogLoss函数。
举例来说，若病灶类型有五类，而上述图像处理模型在第八层神经网络，对恢复原始分辨率之后的肺部图像进行卷积之后，再利用Softmax函数得到肺结节分别为五种病灶类型的概率的集合，例如肺结节的病灶分类的结果为p＝[0.1，0.15，0.05，0.6，0.1]，即表示该肺结节的病灶类型最可能是第四类，然后对比反馈信息中的病灶分类的结果，例如为y＝[0，0，0，1，0]，表示反馈的病灶类型为第四类，从而可以看出图像处理模型的预测是正确的，但是图像处理模型中的参数还不够完美，可以进一步优化，尽可能的使图像处理模型判断病灶类型为第四类的概率接近于1。
然后使用交叉熵函数作为分类损失函数，来描述上述图像处理模型的分类准确度，其中，分类损失函数可以表示为Li＝-log(pi)，其中Li为第i类的病灶类型的损失，pi为图像处理模型预测肺结节为第i类的病灶类型的概率。根据上述的举例来说，可以根据该分类损失函数得到图像处理模型进行正确分类的损失Loss＝-log(0.6)。
305：利用上述损失对上述图像处理模型进行优化。
在本发明实施例中，上述根据损失使用反向传播(back-propagation)算法对图像处理模型进行优化指的是，使用链式法则求导，将损失反向传播回去，然后更新图像处理模型中的权重参数，确保最后的图像处理模型预测的结果与实际的结果保持在一定的误差范围内，也就是使误差为零为最终目标。
306：生成包含上述反馈信息的处理报告。
在本发明实施例中，在得到上述反馈信息之后，则获取处理报告模板，并结合上述得到的反馈信息，生成含有上述反馈信息的处理报告。
进一步的，上述处理报告中还包含对上述肺结节的随访频率建议。
需要说明的是，上述随访为根据上述肺结节的信息生成的复查频率建议，例如良性肺结节越有可能转换为恶性肺结节的患者建议随访频率越高。
相比于上一个发明实施例，本发明实施例的图像处理设备完成对肺部图像的处理之后，还利用处理的结果、反馈信息和损失函数来计算损失，然后根据该损失对图像处理模型进行进一步的优化。其中，损失函数为分割损失函数、检测损失函数和分类损失函数中的至少两个的加权求和，因此在对图像处理模型优化之后，进一步提高了图像处理模型同时提取肺部图像中的多个特征的能力和准确度。本发明实施例的优化过程权衡了图像处理模型进行目标分割、目标检测和病灶分类中的至少两项的综合能力，而不是单单其中的某一项，并且本发明实施例提取的肺部图像的多个特征之间并非毫无关联，而是联系紧密的，因此进一步的提高了图像处理模型同时进行目标分割、目标检测和病灶分类的能力，也进一步的提高了图像处理模型的泛化能力。
本发明实施例还提供一种图像处理设备，该图像处理设备用于执行前述第一个实施例的方法的单元。具体地，参见图4，是本发明实施例提供的一种图像处理设备的示意框图。本实施例的图像处理设备包括：获取单元410、处理单元420和生成单元430，具体的：
获取单元410，用于获取肺部图像和图像处理模型；还用于获取反馈信息和损失函数；
处理单元420，用于使用上述图像处理模型处理上述肺部图像，得到肺结节信息，肺结节信息用于描述肺结节的生长情况；
生成单元430，用于利用上述肺结节信息生成处理报告。
具体的，处理单元420，用于使用所述图像处理模型对上述肺部图像进行目标分割、目标检测以及病灶分类，得到肺结节的边界信息、位置信息以及病灶类型；或者，用于使用上述图像处理模型对上述肺部图像进行目标分割和目标检测，得到上述肺结节的边界信息和位置信息；利用边界信息和位置信息计算肺结节的体积、直径和/或形状；结合肺结节的体积、直径和/或形状确定肺结节的病灶类型。
需要说明的是，上述图像处理模型为卷积神经网络，用于对肺部图像进行目标分割、目标检测和病灶分类中的至少两项；目标分割用于确定肺结节的边界信息，目标检测用于确定肺结节的位置信息，病灶分类用于确定肺结节的病灶类型，病灶类型包括良性和恶性；肺结节信息包括肺结节的边界信息、位置信息以及病灶类型。
进一步的，图像处理设备还包括计算单元440，用于代入上述反馈信息和上述肺结节信息到上述损失函数中，计算得到损失；优化单元450，用于利用上述损失对上述图像处理模型进行优化；构建单元460，用于构建卷积神经网络；训练单元470，用于利用上述训练样本对上述卷积神经网络进行训练。
相应的，上述获取单元410，用于获得训练样本；用于获取训练后的卷积神经网络作为上述图像处理模型。
相应的，上述生成单元430，还用于生成包含上述反馈信息的处理报告。
可选的，上述获取单元410，还用于获取分割损失函数、检测损失函数和分类损失函数中的至少两个；上述计算单元440，还用于对所述分割损失函数、所述检测损失函数和所述分类损失函数中的至少两个进行加权求和，得到所述损失函数。
可选的，上述获取单元410，还用于获取肺部原始图像，肺部原始图像包括骨骼图像、血管图像以及上述肺部图像；上述处理单元420，还用于对上述肺部原始图像进行目标分割，得到上述肺部图像；将肺部图像重采样到预设分辨率。
进一步的，上述所述图像处理设备包含所述图像处理模型。
可选的，所述图像处理设备还包括接收单元480，该接收单元480用于接收所述图像处理模型。
本发明实施例通过图像处理设备的构建单元和训练单元构建了一个基于卷积神经网络的图像处理模型，然后利用图像处理模型对获取到的肺部图像进行处理，其中，图像处理模型的获取单元获取肺部图像之后，处理单元同时对肺部图像进行目标分割、目标检测和病灶分类，从而提取肺结节的边界信息、位置信息和病灶类型；或者处理单元先同时对肺部图像进行目标分割和目标检测之后，再利用目标分割和目标检测的结果，以及较小的特征图一起卷积得到病灶分类的结果，然后生成单元生成处理报告，最终完成了对肺部图像处理的过程。详细的参考图1，图1中所示的图像处理模型的前八层神经网络都依次对由上一层神经网络输出的特征图像进行进一步的特征提取，每一层神经网络输出的特征图都综合反映了肺结节的边界信息、位置信息和病灶类型，因此在图像处理模型的最后一层神经网络对特征图分别进行三项不同的卷积便可以得到肺结节的边界信息、位置信息和病灶类型，因此可以说本发明实施例的目标检测、目标分割和病灶分类是同时进行的，而不是每层神经网络只用于目标检测、目标分割和病灶分类中的一项，或者通过不同的图像处理模型分别进行目标检测、目标分割和病灶分类中的一项。
此外，图像处理设备还包括优化单元，用于在计算单元利用反馈信息、损失函数和处理单元处理肺部图像得到的结果来计算得到损失之后，利用该损失对图像处理模型进行进一步的优化。其中，损失函数为分割损失函数、检测损失函数和分类损失函数中的至少两个的加权求和，因此本发明实施例的优化过程权衡了图像处理模型进行目标分割、目标检测和病灶分类中的至少两项的综合能力，而不是单单其中的某一项。
因此本发明实施例通过利用图像处理模型同时提取肺结节的多项特征，以及利用肺部图像的多个特征的反馈信息来对图像处理模型进行优化，从而提高了图像处理模型的多任务学习能力。也因为肺结节的各种特征之间并非毫无联系的，而是联系紧密的，因此进一步的提高了图像处理模型同时进行目标分割、目标检测和病灶分类的能力，也进一步的提高了图像处理模型的泛化能力。并且相对以往的卷积神经网络只能对整张图片进行分类，本发明实施例中的卷积神经网络可以对图像中的每个像素进行分类，以此达到对图片特定部分进行分类的效果。
请参考图5，本发明实施例提供了另一种图像处理设备，包括一个或一个以上的处理器510、通信接口520以及存储器530，处理器510、通信接口520以及存储器530通过总线540相互连接，其中，存储器530用于存储计算机程序，计算机程序包括程序指令，处理器510被配置用于调用程序指令，用以执行如上述的发明实施例的方法，具体的：
通信接口520用于执行接收单元480的功能，用于接收所述图像处理模型。
可选的，上述所述图像处理设备包含所述图像处理模型。
处理器510用于执行获取单元410的功能，用于获取肺部图像和图像处理模型，还用于获取反馈信息和损失函数；还用于执行处理单元420的功能，用于使用上述图像处理模型处理上述肺部图像，得到肺结节信息，肺结节信息用于描述肺结节的生长情况；还用于执行生成单元430，用于利用上述肺结节信息生成处理报告。
具体的，处理器510，用于使用所述图像处理模型对上述肺部图像进行目标分割、目标检测以及病灶分类，得到肺结节的边界信息、位置信息以及病灶类型；或者，用于使用上述图像处理模型对上述肺部图像进行目标分割和目标检测，得到上述肺结节的边界信息和位置信息；利用边界信息和位置信息计算肺结节的体积、直径和/或形状；结合肺结节的体积、直径和/或形状确定肺结节的病灶类型。
需要说明的是，上述图像处理模型为卷积神经网络，用于对肺部图像进行目标分割、目标检测和病灶分类中的至少两项；目标分割用于确定肺结节的边界信息，目标检测用于确定肺结节的位置信息，病灶分类用于确定肺结节的病灶类型，病灶类型包括良性和恶性；肺结节信息包括肺结节的边界信息、位置信息以及病灶类型。
进一步的，处理器510还用于执行计算单元440的功能，用于代入上述反馈信息和上述肺结节信息到上述损失函数中，计算得到损失；还用于执行优化单元450的功能，用于利用上述损失对上述图像处理模型进行优化；还用于执行构建单元460的功能，用于构建卷积神经网络；还用于执行训练单元470的功能，用于利用上述训练样本对上述卷积神经网络进行训练。
相应的，处理器510还用于获得训练样本；还用于获取训练后的卷积神经网络作为上述图像处理模型；还用于生成包含上述反馈信息的处理报告。
可选的，处理器510还用于获取分割损失函数、检测损失函数和分类损失函数中的至少两个；处理器510，还用于对所述分割损失函数、所述检测损失函数和所述分类损失函数中的至少两个进行加权求和，得到所述损失函数。
可选的，处理器510还用于获取肺部原始图像，肺部原始图像包括骨骼图像、血管图像以及上述肺部图像；还用于对上述肺部原始图像进行目标分割，得到上述肺部图像；将肺部图像重采样到预设分辨率。
应当理解，在本发明实施例中，所称处理器510可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器530可以包括只读存储器和随机存取存储器，并向处理器510提供指令和数据。存储器530的一部分还可以包括非易失性随机存取存储器。例如，存储器530还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器510、通信接口520以及存储器530可执行本发明实施例提供的肺部图像处理的方法的第一实施例和第二实施例中所描述的实现方式，也可执行本发明实施例所描述的图像处理设备的实现方式，在此不再赘述。
本发明实施例还提供了一种计算机可读存储介质，计算机存储介质存储有计算机程序，计算机程序包括程序指令，程序指令被处理器执行，用以执行如上述发明实施例的方法。
计算机可读存储介质可以是前述任一实施例的图像处理设备的内部存储单元，例如图像处理设备的硬盘或内存。计算机可读存储介质也可以是图像处理设备的外部存储设备，例如图像处理设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，计算机可读存储介质还可以既包括图像处理设备的内部存储单元也包括外部存储设备。计算机可读存储介质用于存储计算机程序以及图像处理设备所需的其他程序和数据。计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本发明实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的计算机可读存储介质，所述计算机程序可操作来使计算机执行上述发明实施例的方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的服务器和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的服务器和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (14)

1.一种肺部图像处理方法，其特征在于，所述方法包括：
获取肺部图像；
使用图像处理模型处理所述肺部图像，得到肺结节信息，所述肺结节信息用于描述肺结节的生长情况；
生成包含所述肺结节信息的处理报告；
所述图像处理模型为卷积神经网络，用于对所述肺部图像进行目标分割、目标检测和病灶分类中的至少两项；
所述目标分割用于确定所述肺结节的边界信息，所述目标检测用于确定所述肺结节的位置信息，所述病灶分类用于确定所述肺结节的病灶类型；
所述肺结节信息包括所述肺结节的边界信息、位置信息以及病灶类型；
所述卷积神经网络包含九层神经网络，所述使用所述图像处理模型处理所述肺部图像，包括：
通过所述九层神经网络的前四层神经网络依次对输入的图像数据进行降采样，得到不同分辨率的特征图像，以提取所述肺部图像中的细节特征；通过所述九层神经网络的第五至第八层神经网络依次对输入的图像数据进行升采样，以重建不同分辨率的特征图像，将第五至第八层中的每一层与在前四层神经网络中得到的相同分辨率的特征图像结合，提取所述肺部图像的局部和全局特征；通过第九层神经网络用于对第八层网络卷积的输出结果进行三项不同的卷积，分别得到所述肺部图像的肺结节的边界信息、位置信息以及病灶类型；
所述使用所述图像处理模型处理所述肺部图像，包括：
使用所述图像处理模型对所述肺部图像进行目标分割和目标检测，得到所述肺结节的边界信息和位置信息；
利用所述边界信息和所述位置信息计算所述肺结节的体积、直径和/或形状；
利用在所述图像处理过程中获得的至少一个分辨率的特征图像与所述肺结节的体积、直径和/或形状进行卷积，得到所述肺结节的病灶类型。
2.根据权利要求1所述的方法，其特征在于，所述生成包含所述肺结节信息的处理报告之前，还包括：
获取反馈信息和损失函数；代入所述反馈信息和所述肺结节信息到所述损失函数中，计算得到损失；利用所述损失对所述图像处理模型进行优化；
所述生成包含所述肺结节信息的处理报告，包括：
生成包含所述反馈信息的处理报告。
3.根据权利要求2所述的方法，其特征在于，所述获取损失函数之前，还包括：
获取分割损失函数、检测损失函数和分类损失函数中的至少两个；
对所述分割损失函数、所述检测损失函数和所述分类损失函数中的至少两个进行加权求和，得到所述损失函数。
4.根据权利要求1所述的方法，其特征在于，在所述获取图像处理模型之前，还包括：
构建卷积神经网络；
获得训练样本；
利用所述训练样本对所述卷积神经网络进行训练；
获取训练后的所述卷积神经网络作为所述图像处理模型。
5.根据权利要求1所述的方法，其特征在于，所述获取肺部图像之前，包括：
获取肺部原始图像，所述肺部原始图像包括骨骼图像、血管图像以及所述肺部图像；
对所述肺部原始图像进行目标分割，得到所述肺部图像；
将所述肺部图像重采样到预设分辨率。
6.一种图像处理设备，其特征在于，包括：
获取单元，用于获取肺部图像；
处理单元，用于使用图像处理模型处理所述肺部图像，得到肺结节信息，所述肺结节信息用于描述肺结节的生长情况；
生成单元，用于生成包含所述肺结节信息的处理报告；
所述图像处理模型为卷积神经网络，用于对所述肺部图像进行目标分割、目标检测和病灶分类中的至少两项；
所述目标分割用于确定所述肺结节的边界信息，所述目标检测用于确定所述肺结节的位置信息，所述病灶分类用于确定所述肺结节的病灶类型；
所述肺结节信息包括所述肺结节的边界信息、位置信息以及病灶类型；
所述卷积神经网络包含九层神经网络，所述处理单元，具体用于通过所述九层神经网络的前四层神经网络依次对输入的图像数据进行降采样，得到不同分辨率的特征图像，以提取所述肺部图像中的细节特征；通过所述九层神经网络的第五至第八层神经网络依次对输入的图像数据进行升采样，以重建不同分辨率的特征图像，将第五至第八层中的每一层与在前四层神经网络中得到的相同分辨率的特征图像结合，提取所述肺部图像的局部和全局特征；通过第九层神经网络用于对第八层网络卷积的输出结果进行三项不同的卷积，分别得到所述肺部图像的肺结节的边界信息、位置信息以及病灶类型；
所述处理单元，具体用于使用所述图像处理模型对所述肺部图像进行目标分割和目标检测，得到所述肺结节的边界信息和位置信息；利用所述边界信息和所述位置信息计算所述肺结节的体积、直径和/或形状；利用在所述图像处理过程中获得的至少一个分辨率的特征图像与所述肺结节的体积、直径和/或形状进行卷积，得到所述肺结节的病灶类型。
7.根据权利要求6所述的图像处理设备，其特征在于，还包括计算单元和优化单元；
所述获取单元，还用于获取反馈信息和损失函数；
所述计算单元，用于代入所述反馈信息和所述肺结节信息到所述损失函数中，计算得到损失；
所述优化单元，用于利用所述损失对所述图像处理模型进行优化；
所述生成单元，具体用于生成包含所述反馈信息的处理报告。
8.根据权利要求7所述的图像处理设备，其特征在于，
所述获取单元，还用于获取分割损失函数、检测损失函数和分类损失函数中的至少两个；
所述计算单元，还用于对所述分割损失函数、所述检测损失函数和所述分类损失函数中的至少两个进行加权求和，得到所述损失函数。
9.根据权利要求6所述的图像处理设备，其特征在于，还包括构建单元和训练单元；
所述构建单元，用于构建卷积神经网络；
所述获取单元，还用于获得训练样本；
所述训练单元，用于利用所述训练样本对所述卷积神经网络进行训练；
所述获取单元，还用于获取训练后的所述卷积神经网络作为所述图像处理模型。
10.根据权利要求6所述的图像处理设备，其特征在于，
所述获取单元，还用于获取肺部图像和图像处理模型之前，获取肺部原始图像，所述肺部原始图像包括骨骼图像、血管图像以及所述肺部图像；
所述处理单元，还用于对所述肺部原始图像进行目标分割，得到所述肺部图像；将所述肺部图像重采样到预设分辨率。
11.根据权利要求6所述的图像处理设备，其特征在于，所述图像处理设备包含所述图像处理模型；或者
所述图像处理设备还包括接收单元，所述接收单元用于接收所述图像处理模型。
12.一种图像处理设备，其特征在于，包括处理器、通信接口和存储器，所述处理器、通信接口和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，用以执行如权利要求1-5任一项所述的方法。
13.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行，用以执行如权利要求1-5任一项所述的方法。
14.一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的计算机可读存储介质，所述计算机程序可操作来使计算机执行如权利要求1-5任一项所述的方法。
CN201810435102.4A 2018-05-08 2018-05-08 一种肺部图像处理方法及图像处理设备 Active CN108615237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810435102.4A CN108615237B (zh) 2018-05-08 2018-05-08 一种肺部图像处理方法及图像处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810435102.4A CN108615237B (zh) 2018-05-08 2018-05-08 一种肺部图像处理方法及图像处理设备

Publications (2)

Publication Number Publication Date
CN108615237A CN108615237A (zh) 2018-10-02
CN108615237B true CN108615237B (zh) 2021-09-07

Family

ID=63662636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810435102.4A Active CN108615237B (zh) 2018-05-08 2018-05-08 一种肺部图像处理方法及图像处理设备

Country Status (1)

Country Link
CN (1) CN108615237B (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191462A (zh) * 2018-10-18 2019-01-11 天津大学 一种ct仿真体模生成方法
CN109523521B (zh) * 2018-10-26 2022-12-20 复旦大学 基于多切片ct图像的肺结节分类和病灶定位方法和系统
CN109859233B (zh) * 2018-12-28 2020-12-11 上海联影智能医疗科技有限公司 图像处理、图像处理模型的训练方法及系统
CN109544528B (zh) * 2018-11-19 2021-02-12 上海馨孚科技有限公司 一种肺小结节图像识别方法及装置
CN109544534B (zh) * 2018-11-26 2020-10-16 上海联影智能医疗科技有限公司 一种病灶图像检测装置、方法和计算机可读存储介质
CN111292289B (zh) * 2018-12-07 2023-09-26 中国科学院深圳先进技术研究院 基于分割网络的ct肺肿瘤分割方法、装置、设备及介质
CN109801263A (zh) * 2018-12-21 2019-05-24 杭州依图医疗技术有限公司 一种肺结节分析的方法及装置
CN109523546A (zh) * 2018-12-21 2019-03-26 杭州依图医疗技术有限公司 一种肺结节分析的方法及装置
CN109801264A (zh) * 2018-12-21 2019-05-24 杭州依图医疗技术有限公司 一种肺结节分析的方法及装置
CN109684991B (zh) * 2018-12-24 2021-10-01 北京旷视科技有限公司 图像处理方法、装置、电子设备及存储介质
CN109741312A (zh) 2018-12-28 2019-05-10 上海联影智能医疗科技有限公司 一种肺结节鉴别方法、装置、设备及介质
CN110009600A (zh) * 2019-02-14 2019-07-12 腾讯科技（深圳）有限公司 一种医学图像区域过滤方法、装置及存储介质
CN110070930A (zh) * 2019-03-12 2019-07-30 中山大学中山眼科中心 一种人工智能眼病筛查服务方法和系统
CN109993733A (zh) * 2019-03-27 2019-07-09 上海宽带技术及应用工程研究中心 肺部病灶的检测方法、系统、存储介质、终端及显示系统
CN109934841A (zh) * 2019-03-27 2019-06-25 上海宽带技术及应用工程研究中心 肝部轮廓的检测方法、系统、存储介质、终端及显示系统
CN110135591A (zh) * 2019-05-16 2019-08-16 数坤（北京）网络科技有限公司 一种基于深度学习的损失值优化方法及设备
CN110223289A (zh) * 2019-06-17 2019-09-10 上海联影医疗科技有限公司 一种图像处理方法和系统
CN110648337A (zh) * 2019-09-23 2020-01-03 武汉联影医疗科技有限公司 髋关节分割方法、装置、电子设备和存储介质
CN110675411B (zh) * 2019-09-26 2023-05-16 重庆大学 基于深度学习的宫颈鳞状上皮内病变识别算法
CN110992312B (zh) * 2019-11-15 2024-02-27 上海联影智能医疗科技有限公司 医学图像处理方法、装置、存储介质及计算机设备
CN110827294A (zh) * 2019-10-31 2020-02-21 北京推想科技有限公司 网络模型训练方法及装置、病灶区域确定方法及装置
CN110969632B (zh) * 2019-11-28 2020-09-08 北京推想科技有限公司 一种深度学习模型的训练方法、图像处理方法及装置
WO2021155829A1 (zh) * 2020-02-05 2021-08-12 杭州依图医疗技术有限公司 一种基于医学影像的诊断信息处理方法、装置及存储介质
CN111261285A (zh) * 2020-02-07 2020-06-09 杭州依图医疗技术有限公司 诊断信息界面的显示方法、交互方法及存储介质
CN111261284A (zh) * 2020-02-05 2020-06-09 杭州依图医疗技术有限公司 一种基于医学影像的诊断信息处理方法、装置及存储介质
CN111160812B (zh) * 2020-02-17 2023-08-29 杭州依图医疗技术有限公司 诊断信息评估方法、显示方法及存储介质
CN111383328B (zh) * 2020-02-27 2022-05-20 西安交通大学 一种面向乳腺癌病灶的3d可视化方法及系统
CN111383767A (zh) * 2020-03-05 2020-07-07 上海市肺科医院（上海市职业病防治院） 一种基于深度学习的肺内小结节进展评估系统及方法
CN111415341A (zh) * 2020-03-17 2020-07-14 北京推想科技有限公司 肺炎阶段的评估方法、装置、介质及电子设备
CN111476774B (zh) * 2020-04-07 2023-04-18 广州柏视医疗科技有限公司 基于新型冠状病毒肺炎ct检测的智能征象识别装置
CN111368848B (zh) * 2020-05-28 2020-08-21 北京同方软件有限公司 一种复杂场景下的文字检测方法
CN111723817B (zh) * 2020-06-30 2023-09-29 重庆大学 一种肺结节辅助检测方法
CN112331279A (zh) * 2020-11-27 2021-02-05 上海商汤智能科技有限公司 信息处理方法及装置、电子设备和存储介质
CN112614118B (zh) * 2020-12-29 2022-06-21 浙江明峰智能医疗科技有限公司 一种基于深度学习的ct图像预测方法及计算机可读存储介质
CN112651960A (zh) * 2020-12-31 2021-04-13 上海联影智能医疗科技有限公司 一种图像处理方法、装置、设备及存储介质
CN113349810B (zh) * 2021-05-27 2022-03-01 北京安德医智科技有限公司 脑出血病灶识别及血肿扩大预测系统及装置
CN115147933B (zh) * 2022-09-01 2023-01-17 深圳市爱深盈通信息技术有限公司 人体预设行为的识别方法、装置、设备终端和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097340A (zh) * 2016-06-12 2016-11-09 山东大学 一种基于卷积分类器的自动检测并勾画肺结节所在位置的方法
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测系统
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN107274402A (zh) * 2017-06-27 2017-10-20 北京深睿博联科技有限责任公司 一种基于胸部ct影像的肺结节自动检测方法及系统
CN107301640A (zh) * 2017-06-19 2017-10-27 太原理工大学 一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法
CN107563383A (zh) * 2017-08-24 2018-01-09 杭州健培科技有限公司 一种医学影像辅助诊断及半监督样本生成系统
CN107578405A (zh) * 2017-08-30 2018-01-12 北京网医智捷科技有限公司 一种基于深度卷积神经网络的肺部结节自动检测方法
CN107945179A (zh) * 2017-12-21 2018-04-20 王华锋 一种基于特征融合的卷积神经网络的肺结节良恶性检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003216295A1 (en) * 2002-02-15 2003-09-09 The Regents Of The University Of Michigan Lung nodule detection and classification
JP6267710B2 (ja) * 2012-09-13 2018-01-24 ザ リージェンツ オブ ザ ユニヴァーシティー オブ カリフォルニアＴｈｅ Ｒｅｇｅｎｔｓ Ｏｆ Ｔｈｅ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｃａｌｉｆｏｒｎｉａ 医用画像中の肺結節を自動検出するためのシステム及び方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097340A (zh) * 2016-06-12 2016-11-09 山东大学 一种基于卷积分类器的自动检测并勾画肺结节所在位置的方法
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测系统
CN107301640A (zh) * 2017-06-19 2017-10-27 太原理工大学 一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法
CN107274402A (zh) * 2017-06-27 2017-10-20 北京深睿博联科技有限责任公司 一种基于胸部ct影像的肺结节自动检测方法及系统
CN107563383A (zh) * 2017-08-24 2018-01-09 杭州健培科技有限公司 一种医学影像辅助诊断及半监督样本生成系统
CN107578405A (zh) * 2017-08-30 2018-01-12 北京网医智捷科技有限公司 一种基于深度卷积神经网络的肺部结节自动检测方法
CN107945179A (zh) * 2017-12-21 2018-04-20 王华锋 一种基于特征融合的卷积神经网络的肺结节良恶性检测方法

Also Published As

Publication number Publication date
CN108615237A (zh) 2018-10-02

Similar Documents

Publication Publication Date Title
CN108615237B (zh) 一种肺部图像处理方法及图像处理设备
CN109461495B (zh) 一种医学图像的识别方法、模型训练的方法及服务器
CN108830826B (zh) 一种检测肺结节的系统及方法
CN108022238B (zh) 对3d图像中对象进行检测的方法、计算机存储介质和系统
CN109615636B (zh) Ct影像的肺叶段分割中的血管树构造方法、装置
CN109791692B (zh) 使用来自感兴趣区域的不同视角的多个图像进行计算机辅助检测以提高检测准确度的系统和方法
Zhao et al. Automatic detection of small lung nodules on CT utilizing a local density maximum algorithm
Shukla et al. AI‐DRIVEN Novel Approach for Liver Cancer Screening and Prediction Using Cascaded Fully Convolutional Neural Network
CN107622492A (zh) 肺裂分割方法及系统
CN110766051A (zh) 一种基于神经网络的肺结节形态学分类方法
CN110070540B (zh) 图像生成方法、装置、计算机设备及存储介质
CN112258530A (zh) 基于神经网络的计算机辅助肺结节自动分割方法
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
Dodia et al. Recent advancements in deep learning based lung cancer detection: A systematic review
CN112329871B (zh) 一种基于自校正卷积与通道注意力机制的肺结节检测方法
CN111798424B (zh) 一种基于医学图像的结节检测方法、装置及电子设备
US20210407637A1 (en) Method to display lesion readings result
CN112365973A (zh) 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统
Liu et al. A pyramid input augmented multi-scale CNN for GGO detection in 3D lung CT images
Suinesiaputra et al. Deep learning analysis of cardiac MRI in legacy datasets: multi-ethnic study of atherosclerosis
CN110246143A (zh) 肺部ct图像辅助检测处理装置
CN109410170B (zh) 图像数据处理方法、装置及设备
CN115439478A (zh) 基于肺灌注的肺叶灌注强度评估方法、系统、设备及介质
Qian et al. Knowledge-based automatic detection of multitype lung nodules from multidetector CT studies
CN115841476A (zh) 肝癌患者生存期预测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant