CN112116562A - 基于肺部影像数据检测病灶的方法、装置、设备及介质 - Google Patents

基于肺部影像数据检测病灶的方法、装置、设备及介质 Download PDF

Info

Publication number
CN112116562A
CN112116562A CN202010868199.5A CN202010868199A CN112116562A CN 112116562 A CN112116562 A CN 112116562A CN 202010868199 A CN202010868199 A CN 202010868199A CN 112116562 A CN112116562 A CN 112116562A
Authority
CN
China
Prior art keywords
focus
image
dimensional
feature map
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010868199.5A
Other languages
English (en)
Inventor
马新强
何小玉
黄羿
刘友缘
任鸿铭
何泽维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Zhong Di Medical Information Technology Co ltd
Original Assignee
Chongqing Zhong Di Medical Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Zhong Di Medical Information Technology Co ltd filed Critical Chongqing Zhong Di Medical Information Technology Co ltd
Priority to CN202010868199.5A priority Critical patent/CN112116562A/zh
Publication of CN112116562A publication Critical patent/CN112116562A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067Reshaping or unfolding 3D tree structures onto 2D planes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供一种基于肺部影像数据检测病灶的方法、装置、设备及介质,包括:分割胸片图像数据得到影像图像;提取影像图像的特征生成包含病灶特征与位置的三维特征图;降维处理三维特征图,得到病灶在X轴维度与Y轴维度的二维特征图;检测二维特征图得到每个病灶的位置以及位置对应的置信度;提取三维特征图中病灶在多个不同视图和多个不同尺度下的补丁;构建多个卷积神经网络模型,将每个平面视图中提取的补丁按尺度进行训练,融合多个卷积神经网络模型的全连接层得到各个图像关于病灶的特征融合;在全连接层对病灶的语义特征联合训练,得到语义特征的分类结果;根据分类结果与病灶的位置得到检测结果。本发明提高了病灶的检测精度。

Description

基于肺部影像数据检测病灶的方法、装置、设备及介质
技术领域
本发明涉及人工智能技术领域,特别是涉及一种基于肺部影像数据检测病灶的方法、装 置、设备及介质。
背景技术
现代医疗技术的发展已经很成熟,专业医护人员可以凭借医学知识以及医疗经验诊断出 各种疾病,然而,这样的工作效率显然不高,并且由于专业医护人员严重不足,且还对专业 医护人员的医疗水平和空间想象能力要求非常高,这样也导致其任务量繁多且工作压力大, 在高强度的工作状态下,可能会出现漏检的情况,从而导致整个检测过程耗时耗力,且漏诊 率高。同时,由于各个地区的医疗水平很不一致,且医生的个人经验水平也参差不齐,因此, 传统的医生诊断疾病的方法容易受到地区医疗水平以及医生个人经验水平的影响,导致诊断 误差较大的问题,例如,患者通过CT拍摄肺部影像数据,往往需要专业医护人员在观片灯 下才能够清楚明了观看影像数据从而做出诊断,因此亟需一种基于肺部影像数据检测病灶的 方法、装置、设备及介质。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种基于肺部影像数据检测病灶 的方法、装置、设备及介质,用于解决现有技术中肺部病灶检测精度不高的问题。
为实现上述目的及其他相关目的,本发明提供一种基于肺部影像数据检测病灶的方法, 包括:
步骤S1,分割胸片图像数据,得到用户基于肺部的影像图像,所述影像图像包括肺部在 X轴、Y轴、Z轴的三维图像;
步骤S2,提取所述影像图像的特征,生成包含病灶特征与位置的三维特征图;
步骤S3,降维处理所述三维特征图,得到病灶在X轴维度与Y轴维度的二维特征图;
步骤S4,检测所述二维特征图得到每个病灶的位置以及所述位置对应的置信度;
步骤S5,根据所述二维特征图提取所述三维特征图中病灶在多个不同视图和多个不同尺 度下的补丁;
步骤S6,构建多个卷积神经网络模型,将每个平面视图中提取的补丁按尺度进行训练, 融合多个卷积神经网络模型的全连接层得到各个图像关于病灶的特征融合;
步骤S7,在全连接层对病灶的语义特征联合训练,得到语义特征的分类结果;
步骤S8,根据所述分类结果与每个病灶的位置得到肺部影像数据的检测结果。
本发明的第二方面,提供一种基于肺部影像数据检测病灶的装置,包括:
分割模块,用于分割胸片图像数据,得到用户基于肺部的影像图像,所述影像图像包括 肺部在X轴、Y轴、Z轴的三维图像;
第一提取模块,用于提取所述影像图像的特征,生成包含病灶特征与位置的三维特征图;
降维模块,用于降维处理所述三维特征图,得到病灶在X轴维度与Y轴维度的二维特征 图;
第一检测模块,用于检测所述二维特征图得到每个病灶的位置以及所述位置对应的置信 度;
第二提取模块,用于根据所述二维特征图提取所述三维特征图中病灶在多个不同视图和 多个不同尺度下的补丁;
特征融合模块,用于构建多个卷积神经网络模型,将每个平面视图中提取的补丁按尺度 进行训练,融合多个卷积神经网络模型的全连接层得到各个图像关于病灶的特征融合;
分类模块,用于在全连接层对病灶的语义特征联合训练,得到语义特征的分类结果;
第二检测模块,用于根据所述分类结果与每个病灶的位置得到肺部影像数据的检测结果。
本发明第三方面提供一种基于肺部影像数据检测病灶的计算机设备,包括:存储器,用 于存储至少一种程序;处理器,用于调取并执行所存储的至少一种程序,用以执行如第一方 面中任一项所述的基于肺部影像数据检测病灶的方法。
本发明的第四方面,提供一种计算机可读存储介质,存储至少一种程序,所述至少一个 程序在被调用并执行时实现第一方面中所述的基于肺部影像数据检测病灶的方法。
如上所述,本发明的基于肺部影像数据检测病灶的方法、装置、设备及介质,具有以下 有益效果:
本发明通过检测病灶位置,不仅可准确地检测出患者体内多个部位的病灶情况,还实现 对患者全身范围的癌症初步评估;同时,基于多视图、多尺度、多任务病灶分类方法,采用 2D图像来表征3D图像,融合多尺度和多视图图像来更好地表征病灶的病理信息;病灶语义 特征分类,存在数据分布不均衡的问题,提出一个方法解决联合多任务分类数据不均衡问题; 根据模型学习到的病灶特征,对病灶多个语义特征进行分类,通过联合多分类准确的标注出 结节语义特征,通过所述分类结果与每个病灶的位置精准地得到病灶的检测结果。
附图说明
图1显示为本发明提供的一种基于肺部影像数据检测病灶的方法流程图;
图2显示为本发明提供的一种基于肺部影像数据检测病灶工作流程图;
图3显示为本发明提供的一种基于肺部影像数据检测病灶的装置结构框图;
图4显示为本发明提供的一种基于肺部影像数据检测病灶的计算机设备结构框图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露 的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加 以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精 神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征 可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图 式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实 际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复 杂。
病灶指的是组织或器官遭受致病因子的作用而引起病变的部位,是机体上发生病变的部 分。例如,人体肺部的某一部分被结核菌破坏,那么这一部分就是肺结核病灶。
请参阅图1,显示为本发明提供的一种基于肺部影像数据检测病灶的方法流程图,包括:
步骤S1,分割胸片图像数据,得到用户基于肺部的影像图像,所述影像图像包括肺部在 X轴、Y轴、Z轴的三维图像;
以第一采样间隔对获取到的患者的CT图像进行重采样,生成包括多张采样切片的第一 图像。其中,患者的CT图像可包括130层的断层数,每一层的断层的厚度为2.0mm,在X轴维度、Y轴维度上的第一采样间隔可为2.0mm。具体地,患者的CT图像为关于患者的组 织或器官的一个包括多个断层数的扫描序列,断层数可为130。
步骤S2,提取所述影像图像的特征,生成包含病灶特征与位置的三维特征图;
步骤S3,降维处理所述三维特征图,得到病灶在X轴维度与Y轴维度的二维特征图;
步骤S4,检测所述二维特征图得到每个病灶的位置以及所述位置对应的置信度;
步骤S5,根据所述二维特征图提取所述三维特征图中病灶在多个不同视图和多个不同尺 度下的补丁;
步骤S6,构建多个卷积神经网络模型,将每个平面视图中提取的补丁按尺度进行训练, 融合多个卷积神经网络模型的全连接层得到各个图像关于病灶的特征融合;
步骤S7,在全连接层对病灶的语义特征联合训练,得到语义特征的分类结果;
步骤S8,根据所述分类结果与每个病灶的位置得到肺部影像数据的检测结果。
在另一实施例中,应当说明的,第一神经网络包括卷积层(Conv1)以及与卷积层级联的残 差模块(SEResBlock)。其中,残差模块可包括:批量归一化层(BatchNormalization,BN)、ReLU 激活函数以及最大池化层(Max-pooling)。
其中,第一神经网络可用于对输入到第一神经网络的影像图像进行在X轴维度以及Y轴 维度的下采样,生成第一特征图。应当说明的,影像图像为包括X轴维度、Y轴维度以及Z 轴维度的三维图像(也即是说,影像图像为多张包括由X轴维度、Y轴维度的二维图像组成的 包括X轴维度、Y轴维度以及Z轴维度的三维图像),例如第一图像可为512*512*9的三维图 像。
具体的,第一神经网络通过卷积层中的卷积核生成对影像图像进行处理,生成第一特征 图,进而,第一神经网络通过残差模块对特定特征图进行池化,可生成分辨率比影像图像小 的第一特征图。举例来说,可通过第一神经网络将512*512*9的三维图像处理为256*256*9 的三维图像,或还可通过第一神经网络将512*512*9的三维图像处理为128*128*9的三维图 像。下采样的过程可以将输入的影像图像中包含的病灶特征提取出来,剔除影像图像中一些 不必要的区域。
下面例举一个例子对本申请实施例中的下采样进行简单说明。例如:对于一幅图像I的 尺寸为M*N,对图像I进行S倍下采样,即可得到(M/S)*(N/S)尺寸的分辨率图像。也即是说, 把原始图像I内S*S窗口内的图像变成一个像素,其中,该像素的像素值为该S*S窗口内所 有像素的最大值。其中,水平方向或垂直方向滑动的步长(Stride)可为2。
第二神经网络可包括四个堆叠的3D U-net网络。多个3D U-net网络的检测可以提升检测 的准确性,本申请实施例对3D U-net网络的个数仅作举例,不作限定。其中,3D U-Net网络 包括:卷积层、反卷积层、残差模块以及DenseASPP模块。
其中,通过所述第二神经网络的DenseASPP模块对所述第一特征图中不同尺度的病灶 的特征进行提取;
经过所述DenseASPP模块处理后,通过所述第二神经网络的反卷积层以及所述残差模块 对经过所述DenseASPP模块处理后的特征图进行上采样,生成与所述影像图像分辨率大小相 同的所述第一预设特征图;
将所述影像图像与所述第一预设特征图生成与所述第一预设特征图的分辨率大小相同的 三维特征图;所述第一预设特征图包括病灶的位置;所述病灶的位置用于生成所述三维特征 图中病灶的位置。
应当说明的,DenseASPP模块包括5个扩张率不同的扩张卷积组合级联,可对不同尺度 的病灶的特征进行提取。其中,5个扩张率不同的扩张卷积分别为:扩张率d=3的扩张卷积、 扩张率d=6的扩张卷积、扩张率d=12的扩张卷积、扩张率d=18的扩张卷积以及扩张率d =24的扩张卷积。
在另一个实施例中,即在步骤S1之前还包括:
通过将预存的包含多个病灶标注的三维图像输入到所述第一神经网络,所述病灶标注用 于对病灶进行标注;并利用梯度下降法分别对所述第二神经网络、所述DenseASPP模块、所 述第一检测子网以及所述第二检测子网的各项参数进行训练;其中,所述多个病灶中每一个 病灶的位置由所述第一检测子网络输出。
在另一个实施例中,检测子网络可包括:第一检测子网络以及第二检测子网络。第一检 测子网络包括:多个卷积层,多个卷积层中每一个卷积层与一个ReLU激活函数相连。同理, 第二检测子网络包括:多个卷积层,多个卷积层中每一个卷积层与一个ReLU激活函数相连。
第一检测子网络用于对由三维特征图进行降维后的二维特征图进行检测,检测出二维特 征图中每一个病灶的位置的坐标。
具体的,通过第一检测子网络中4个级联的卷积层对输入的二维特征图进行处理,其中, 每个卷积层包括一个Y*Y的卷积核,可通过先后获得每一个病灶的左上角的坐标(x1,y1)以及 病灶的右下角的坐标(x2,y2),以确定出二维特征图中各个病灶的位置。
通过第二检测子网络对上述二维特征图进行检测,检测出二维特征图中每一个病灶对应 的置信度。
具体的,通过第二检测子网络中4个级联的卷积层对输入的二维特征图进行处理,其中, 每个卷积层包括一个Y*Y的卷积核,可通过先后获得每一个病灶的左上角的坐标(x1,y1)以及 病灶的右下角的坐标(x2,y2),以确定出二维特征图中各个病灶的位置,进而,输出该位置所 对应的置信度。
应当说明的,本申请实施例中的位置对应的置信度为用户对该位置为病灶的真实性相信 的程度。
例如某个病灶的位置的置信度可为90%。综上所述,从而可实现准确地检测出患者体内 多个部位的病灶情况,并可实现对患者全身范围的癌症初步评估。
在另一个实施中,步骤S5中,根据所述二维特征图提取所述三维特征图中病灶在多个不 同视图和多个不同尺度下的补丁(patch),详述如下:
对于二维特征图中每个病灶所对应的候选结节提取三维特征图中以病灶为中心的40X 40X40mm立方体,选择立方体的大小是为了包含所有结节信息,并包括足够的背景信息;
为了提取病灶图像,在与9个对称立方平面对应的平面上提取了九个切片;其中三个对 称立方平面是与立方体平行的平面,三个对称立方平面分别俗称矢状面、冠状面和轴面;另 外六个平面是对称平面,它们在对角线上切出立方体的两个相对的面,这样的平面包含立方 体的两个相对的边和四个顶点。
进一步地,为了能够从原始病灶块中提取定量特征,而不是分割病灶(肺结节),我们 考虑以病灶为中心的结节切片,切片间隔厚度为0.702mm。病灶的图像在每个切片的中心位 置。因为在我们的子集中最大的结节直径为30mm,所以选择40mm的长度可以将所有的结 节将完全包含在切片中,然后我们采用数据扩容方法;
对于一个病灶,我们首先提取了9个切片,然后以结节为中心提取10mm、20mm、40mm的切片。这样既达到了分割病灶的效果,同时又保留了病灶的原始边缘信息,然后再采用数据平衡方法;
对于三个尺度上结节特征的提取,我们采用VGG-NET网络,我们试图通过增加训练样 本来训练Multi-SVT模型,在给定有限的训练样本的情况下补充学习过程。我们通过图像旋 转操作增强结节。旋转的方法是分别以3-D的垂直轴、冠状轴、水平轴为中心轴旋转一定角 度,旋转的角度范围是[0°-360°],然后再分别进行重切片。得到的是一系列40mm的结节 分布在中心位置的病灶切片。最后在40mm切片基础上以结节为中心裁剪出10mm、20mm的病灶切片;
进一步地,所述步骤S7的具体步骤为:
构建3个卷积神经网络模型并使用每个平面视图中提取的补丁按尺度进行训练;
将每个尺度的结节切片分别输入Model A、Model B、Model C,然后在全连接层进行病 灶各个图像的特征融合;
输入的切片经过四个卷积层和一个完全连接层的处理,最后是softmax层。
进一步地,所述步骤S8的具体步骤为:
步骤S7中融合了病灶各个图像特征,进一步通过卷积神经网络的卷积层,卷积神经网络 在最后的全连接层输出64维信息;
9类语义特征隐藏在特征向量中,最后对每一类语义特征分别进行softmax分类;其中损 失值根据softmax分类结果与病灶真实标签计算得出,联合多任务同时考虑9类语义特征, 根据9类语义特征的总体损失值进行反向传播。
进一步地,所述语义特征包括精细度、内部结构、钙化、球形度、边缘、分叶征、毛刺征、纹理、恶性程度参数,内部结构包括软组织、液态、脂肪、空气参数。
本发明提出一个Multi-SVT方法通过联合九个语义特征对病灶恶性程度分类,其他语义 特征的分类增强病灶诊断决策的客观性。Multi-SVT方法将多张以结节为中心的CT图像作为 模型输入,并将九个语义特征作为模型输出。该方法通过病灶的九个视图表征病灶3D特征, 对于每个视图,以病灶为中心截取三个尺度(10mm、20mm、40mm)的病灶图像来表征结节 边缘信息与背景信息,而不是对病灶分割,保证病灶边缘信息的完整性。接下来,将每个尺 度的结节图像分别灌入不同的卷积神经网络,这样可以保证对于同一尺度病灶图像的模型参 数共享,然后,对三个尺度的卷积神经网络输出特征在全连接层进行融合,最后在融合后的 全连接层之后对病灶的九个语义特征进行联合多任务分类,通过最小化全局损失函数来训练 模型。
在本实施例中,基于多视图、多尺度、多任务病灶分类方法,采用2D图像来表征3D图 像,融合多尺度和多视图图像来更好地表征病灶的病理信息;病灶语义特征分类,存在数据 分布不均衡的问题,提出一个方法解决联合多任务分类数据不均衡问题;根据模型学习到的 病灶特征,对病灶多个语义特征进行分类,通过联合多分类准确的标注出结节语义特征,通 过所述分类结果与每个病灶的位置精准地得到病灶的检测结果。
请参阅图2,显示为本发明提供的一种基于肺部影像数据检测病灶工作流程图,详述如 下:
图像采集、重建以及图像质量处理-将有混叠的降采样图像作为输入,利用深度卷积神经 网络及图像降噪,在图像域进行处理,得到重建的高质量图像;
图像区域病变识别-利用卷积神经网络进行处理,将区域检测问题转化为分类问题,分别 对像素和体素进行分类;
图像分割-采用Ronneberger于2015年提出的U-net卷积神经网络框架,结合相同数量的 上采样与下采样层,实现将整幅图像在一次正向处理过程中直接生成分割图像,同时,横跨 上下采样层的连接保证了高分辨率信息的保存;
图像配准-利用DL网络对两幅图像的相似性进行估计,将独立子空间分析与卷积层结合, 提取出图像的相似性信息,进而驱动迭代优化以完成配准;
影像组学-利用模式识别的方法,从大量的影像原始数据当中获得数字化特征,并在此基 础上进行数据挖掘,例如图像中感兴趣区的大小、形状、位置、灰度直方图等低级别特征以 及血管化、毛刺征、坏死核、纹理、小波分析、拉普拉斯变换、分形维度等高级别特征。通 过结合低级别特征与高级别特征能够迅速检测出病灶,不仅提高了病灶检测、诊断的准确性, 将上述数据应用到上述实施例中,能够显著提高病灶的检测精度。
上述的深度卷积神经网络还可以由两个卷积层、两个池化层、一个全连接层、一个ReLU 层(激活函数的数学表达为ReLU(z)=max(0,z))和一个输出层组成。其中,池化层采用最大 池化方法,使用softmax函数作为损失函数。检测方法由模型训练和肺癌细胞检测两个阶段 组成。在模型训练阶段,对病理学家手工标注的图片进行图片预处理与输入,通过模型训练 进行深度卷积神经网络参数的学习;在检测阶段,将病理学图片输入到训练好的深度卷积神 经网络中,得到输出结果图像,然后使用矩量分析方法对输出结果进行肺癌细胞中心标注, 得到肺癌细胞自动检测结果。例如,是否通过指数衰减法设置神经网络学习率,并通过L2 正则化对训练模型的参数进行更新。
进一步,参照图2,将病理全切片库,通过数码显微镜扫描,成为全切片数字病理图形 库;对特定区域进行标记,采集形成原始病理图像标记数据集;再通过对图像、标记数据同 等尺度缩小,建立深度学习数据集;将其一分为二,分为训练集和测试集,训练集用于训练 更快区域卷积神经网络,形成训练好的深度网络模板;测试集用于输入训练好的深度网络进 行判定,输出特定区域的定位结果,再通过对图像、标记数据放大到原始尺度,还原为全切 片数字病理图像的特定区域定位。
本实施例中,通过对各自所在区域的的医疗影像进行针对性的判别,通过对数十万张肺 部低剂量CT影像数据进行学习分析,来对可疑结节进行精准定位,从而对患者进行全方位 良恶性判别,为医生发现肺癌提供全方面的辅助,从而提高医生诊断效率和准确率。
请参阅图3,显示为本发明提供的一种基于肺部影像数据检测病灶的装置结构框图,包 括:
分割模块1,用于分割胸片图像数据,得到用户基于肺部的影像图像,所述影像图像包 括肺部在X轴、Y轴、Z轴的三维图像;
第一提取模块2,用于提取所述影像图像的特征,生成包含病灶特征与位置的三维特征 图;
降维模块3,用于降维处理所述三维特征图,得到病灶在X轴维度与Y轴维度的二维特 征图;
第一检测模块4,用于检测所述二维特征图得到每个病灶的位置以及所述位置对应的置 信度;
第二提取模块5,用于根据所述二维特征图提取所述三维特征图中病灶在多个不同视图 和多个不同尺度下的补丁;
特征融合模块6,用于构建多个卷积神经网络模型,将每个平面视图中提取的补丁按尺 度进行训练,融合多个卷积神经网络模型的全连接层得到各个图像关于病灶的特征融合;
分类模块7,用于在全连接层对病灶的语义特征联合训练,得到语义特征的分类结果;
第二检测模块8,用于根据所述分类结果与每个病灶的位置得到肺部影像数据的检测结 果。
在本实施例中,基于肺部影像数据检测病灶的装置与上述基于肺部影像数据检测病灶的 方法为一一对应关系,其中,所涉及的技术内容、技术细节以及技术效果请参照上述基于肺 部影像数据检测病灶的方法,在此不再详细赘述。
请参阅图4,其显示为本申请基于肺部影像数据检测病灶的计算机设备一实施例的结构 示意图。如图4所示,本实施例提供的计算机设9包括存储器92、一个或多个处理器91、以 及存储于所述存储器92中的一个或多个程序,其中,存储器92存储执行指令,当计算机设 备9运行时,处理器91与存储器92之间通信。
于某些实施方式中,所述处理器还与I/O端口和输入结构可操作地耦接,该I/O端口可 使得计算机设备9能够与各种其他电子设备进行交互,该输入结构可使得用户能够与计算机 设备9进行交互。因此,输入结构可包括按钮、键盘、鼠标、触控板等。此外,电子显示器 可包括触摸部件,该触摸部件通过检测对象触摸其屏幕(例如,电子显示器的表面)的发生和/ 或位置来促进用户输入。
所述处理器可操作地与存储器和/或非易失性存储设备耦接。更具体地,处理器可执行在 存储器和/或非易失性存储设备中存储的指令以在计算设备中执行操作,诸如生成图像数据和 /或将图像数据传输到电子显示器。如此,处理器可包括一个或多个通用微处理器、一个或多 个专用处理器(ASIC)、一个或多个现场可编程逻辑阵列(FPGA)、或它们的任何组合。
所述存储器可包括高速随机存取存储器,并且还可包括非易失性存储器,例如一个或多 个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在某些实施例中,存储器还可以 包括远离一个或多个处理器的存储器,例如经由RF电路或外部端口以及通信网络(未示出) 访问的网络附加存储器,其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、 广域网(WLAN)、存储局域网(SAN)等,或其适当组合。存储器控制器可控制设备的诸如CPU 和外设接口之类的其他组件对存储器的访问。
需要说明的是,通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申 请的部分或全部可借助软件并结合必需的通用硬件平台来实现。所述功能如果以软件功能单 元的形式实现并作为独立的产品销售或使用时,还可以存储在一个计算机可读取存储介质中。 基于这样的理解,本申请还提供一种计算机可读存储介质,所述存储介质存储有至少一个程 序,所述程序在被执行时实现前述的任一所述的检测方法,比如实现前述对应图1所描述的 基于肺部影像数据检测病灶的方法。
基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软 件产品的形式体现出来,该计算机软件产品可包括其上存储有机器可执行指令的一个或多个 机器可读介质,这些指令在由诸如计算机、计算机网络或其他电子设备等一个或多个机器执 行时可使得该一个或多个机器根据本申请的实施例来执行操作。例如基于肺部影像数据检测 病灶的法中的各步骤等。机器可读介质可包括,但不限于,软盘、光盘、CD-ROM(紧致盘- 只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程 只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器 可执行指令的其他类型的介质/机器可读介质。其中,所述存储介质可位于本地服务器也可位 于第三方服务器中,如位于第三方云方服务平台中。在此对具体云服务平台不做限制,如阿 里云、腾讯云等。本申请可用于众多通用或专用的计算系统环境或配置中。例如:被配置为 分布式系统中一个节点的个人计算机、专用服务器计算机、大型计算机等。
另外,任何连接都可以适当地称为计算机可读介质。例如,如果指令是使用同轴电缆、 光纤光缆、双绞线、数字订户线(DSL)或者诸如红外线、无线电和微波之类的无线技术,从网 站、服务器或其它远程源发送的,则所述同轴电缆、光纤光缆、双绞线、DSL或者诸如红外 线、无线电和微波之类的无线技术包括在所述介质的定义中。然而,应当理解的是,计算机 可读写存储介质和数据存储介质不包括连接、载波、信号或者其它暂时性介质,而是旨在针 对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光盘包括压缩光盘(CD)、激光光 盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘,其中,磁盘通常磁性地复制数据,而 光盘则用激光来光学地复制数据。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先 后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成 任何限定。
综上所述,本发明通过检测病灶位置,不仅可准确地检测出患者体内多个部位的病灶情 况,还实现对患者全身范围的癌症初步评估;同时,基于多视图、多尺度、多任务病灶分类 方法,采用2D图像来表征3D图像,融合多尺度和多视图图像来更好地表征病灶的病理信息; 病灶语义特征分类,存在数据分布不均衡的问题,提出一个方法解决联合多任务分类数据不 均衡问题;根据模型学习到的病灶特征,对病灶多个语义特征进行分类,通过联合多分类准 确的标注出结节语义特征,通过所述分类结果与每个病灶的位置精准地得到病灶的检测结果。 所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技 术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡 所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等 效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于肺部影像数据检测病灶的方法,其特征在于,包括:
步骤S1,分割胸片图像数据,得到用户基于肺部的影像图像,所述影像图像包括肺部在X轴、Y轴、Z轴的三维图像;
步骤S2,提取所述影像图像的特征,生成包含病灶特征与位置的三维特征图;
步骤S3,降维处理所述三维特征图,得到病灶在X轴维度与Y轴维度的二维特征图;
步骤S4,检测所述二维特征图得到每个病灶的位置以及所述位置对应的置信度;
步骤S5,根据所述二维特征图提取所述三维特征图中病灶在多个不同视图和多个不同尺度下的补丁;
步骤S6,构建多个卷积神经网络模型,将每个平面视图中提取的补丁按尺度进行训练,融合多个卷积神经网络模型的全连接层得到各个图像关于病灶的特征融合;
步骤S7,在全连接层对病灶的语义特征联合训练,得到语义特征的分类结果;
步骤S8,根据所述分类结果与每个病灶的位置得到肺部影像数据的检测结果。
2.根据权利要求1所述的基于肺部影像数据检测病灶的方法,其特征在于,所述步骤S2包括:
通过第一神经网络对所述影像图像进行下采样,生成第一特征图;
通过所述第二神经网络的DenseASPP模块对所述第一特征图中不同尺度的病灶的特征进行提取;
经过所述DenseASPP模块处理后,通过所述第二神经网络的反卷积层以及所述残差模块对经过所述DenseASPP模块处理后的特征图进行上采样,生成与所述影像图像分辨率大小相同的所述第一预设特征图;
将所述影像图像与所述第一预设特征图生成与所述第一预设特征图的分辨率大小相同的三维特征图;所述第一预设特征图包括病灶的位置;所述病灶的位置用于生成所述三维特征图中病灶的位置。
3.根据权利要求2所述的基于肺部影像数据检测病灶的方法,其特征在于,所述第一神经网络,包括:卷积层以及与所述卷积层相级联的残差模块;所述第二神经网络为3D U-Net网络,所述3D U-Net网络包括:卷积层、反卷积层、残差模块以及所述DenseASPP模块。
4.根据权利要求1所述的基于肺部影像数据检测病灶的方法,其特征在于,步骤S3包括:分别将所述三维特征图的所有特征中每一个特征的通道维度和Z轴维度进行合并,使得所述三维特征图的所有特征中每一个特征的维度由X轴维度以及Y轴维度组成;所述所有特征中每一个特征的维度由X轴维度以及Y轴维度组成的三维特征图为所述二维特征图。
5.根据权利要求1所述的基于肺部影像数据检测病灶的方法,其特征在于,所述步骤S4包括:通过第一检测子网络对所述二维特征图进行检测,检测出所述二维特征图中每一个病灶的位置的坐标;通过第二检测子网络对所述二维特征图进行检测,检测出所述二维特征图中每一个病灶对应的置信度。
6.根据权利要求1所述的基于肺部影像数据检测病灶的方法,其特征在于,所述步骤S6包括:
融合了病灶各个图像特征,通过卷积神经网络的卷积层,全连接层输出64维信息;
多类语义特征隐藏在特征向量中,对每一类语义特征分别进行softmax分类;根据softmax分类结果与病灶的真实标签计算得到损失值,联合多任务同时考虑多类语义特征,根据多类语义特征的总体损失值进行反向传播。
7.根据权利要求1所述的基于肺部影像数据检测病灶的方法,其特征在于,所述语义特征包括精细度、内部结构、钙化、球形度、边缘、分叶征、毛刺征、纹理和恶性程度参数,其中,所述内部结构包括软组织、液态、脂肪与空气参数。
8.一种基于肺部影像数据检测病灶的装置,其特征在于,所述装置包括:
分割模块,用于分割胸片图像数据,得到用户基于肺部的影像图像,所述影像图像包括肺部在X轴、Y轴、Z轴的三维图像;
第一提取模块,用于提取所述影像图像的特征,生成包含病灶特征与位置的三维特征图;
降维模块,用于降维处理所述三维特征图,得到病灶在X轴维度与Y轴维度的二维特征图;
第一检测模块,用于检测所述二维特征图得到每个病灶的位置以及所述位置对应的置信度;
第二提取模块,用于根据所述二维特征图提取所述三维特征图中病灶在多个不同视图和多个不同尺度下的补丁;
特征融合模块,用于构建多个卷积神经网络模型,将每个平面视图中提取的补丁按尺度进行训练,融合多个卷积神经网络模型的全连接层得到各个图像关于病灶的特征融合;
分类模块,用于在全连接层对病灶的语义特征联合训练,得到语义特征的分类结果;
第二检测模块,用于根据所述分类结果与每个病灶的位置得到肺部影像数据的检测结果。
9.一种基于肺部影像数据检测病灶的设备,其特征在于,包括:存储器,用于存储至少一种程序;处理器,用于调取并执行所存储的至少一种程序,用以执行权利要求1至8中任一所述的基于肺部影像数据检测病灶的方法。
10.一种计算机可读存储介质,其特征在于,存储至少一种程序,所述至少一个程序在被调用并执行时实现权利要求1至8中任一所述的基于肺部影像数据检测病灶的方法。
CN202010868199.5A 2020-08-26 2020-08-26 基于肺部影像数据检测病灶的方法、装置、设备及介质 Pending CN112116562A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010868199.5A CN112116562A (zh) 2020-08-26 2020-08-26 基于肺部影像数据检测病灶的方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010868199.5A CN112116562A (zh) 2020-08-26 2020-08-26 基于肺部影像数据检测病灶的方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN112116562A true CN112116562A (zh) 2020-12-22

Family

ID=73805583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010868199.5A Pending CN112116562A (zh) 2020-08-26 2020-08-26 基于肺部影像数据检测病灶的方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN112116562A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597982A (zh) * 2021-03-04 2021-04-02 中国人民解放军总医院 基于人工智能的图像分类方法、装置、设备和介质
CN113053520A (zh) * 2021-04-02 2021-06-29 北京掌引医疗科技有限公司 肺结核检测模型的训练方法、训练装置及辅助诊断设备
CN114119546A (zh) * 2021-11-25 2022-03-01 推想医疗科技股份有限公司 检测mri影像的方法及装置
CN115170510A (zh) * 2022-07-04 2022-10-11 北京医准智能科技有限公司 一种病灶检测方法、装置、电子设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897572A (zh) * 2017-03-08 2017-06-27 山东大学 基于流形学习的肺结节病例匹配辅助检测系统及其工作方法
CN109754389A (zh) * 2018-12-07 2019-05-14 北京市商汤科技开发有限公司 一种病灶检测方法、装置及设备
CN111144474A (zh) * 2019-12-25 2020-05-12 昆明理工大学 基于多视图、多尺度、多任务肺结节分类方法
CN111242853A (zh) * 2019-12-31 2020-06-05 浙江工业大学之江学院 基于光流处理的医学ct图像去噪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897572A (zh) * 2017-03-08 2017-06-27 山东大学 基于流形学习的肺结节病例匹配辅助检测系统及其工作方法
CN109754389A (zh) * 2018-12-07 2019-05-14 北京市商汤科技开发有限公司 一种病灶检测方法、装置及设备
CN111292301A (zh) * 2018-12-07 2020-06-16 北京市商汤科技开发有限公司 一种病灶检测方法、装置、设备及存储介质
CN111144474A (zh) * 2019-12-25 2020-05-12 昆明理工大学 基于多视图、多尺度、多任务肺结节分类方法
CN111242853A (zh) * 2019-12-31 2020-06-05 浙江工业大学之江学院 基于光流处理的医学ct图像去噪方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597982A (zh) * 2021-03-04 2021-04-02 中国人民解放军总医院 基于人工智能的图像分类方法、装置、设备和介质
CN112597982B (zh) * 2021-03-04 2021-05-28 中国人民解放军总医院 基于人工智能的图像分类方法、装置、设备和介质
CN113053520A (zh) * 2021-04-02 2021-06-29 北京掌引医疗科技有限公司 肺结核检测模型的训练方法、训练装置及辅助诊断设备
CN114119546A (zh) * 2021-11-25 2022-03-01 推想医疗科技股份有限公司 检测mri影像的方法及装置
CN115170510A (zh) * 2022-07-04 2022-10-11 北京医准智能科技有限公司 一种病灶检测方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
Cai et al. A review of the application of deep learning in medical image classification and segmentation
Shahidi et al. Breast cancer classification using deep learning approaches and histopathology image: A comparison study
Xie et al. Automated pulmonary nodule detection in CT images using deep convolutional neural networks
Saha et al. A survey on skeletonization algorithms and their applications
Oskal et al. A U-net based approach to epidermal tissue segmentation in whole slide histopathological images
CN112116562A (zh) 基于肺部影像数据检测病灶的方法、装置、设备及介质
US20170004619A1 (en) System and method for automatic pulmonary embolism detection
JP4660546B2 (ja) デジタル化画像中の対象の特徴描写方法およびコンピュータ読取り可能なプログラム記憶装置
US20090097728A1 (en) System and Method for Detecting Tagged Material Using Alpha Matting
CN106462746A (zh) 分析数字全息显微术数据以用于血液学应用
JP2019076699A (ja) 偽陽性低減での小結節検出
Sluimer et al. Automated classification of hyperlucency, fibrosis, ground glass, solid, and focal lesions in high‐resolution CT of the lung
CN111798424B (zh) 一种基于医学图像的结节检测方法、装置及电子设备
Hu et al. Boundary-aware network for kidney tumor segmentation
Razavi et al. MiNuGAN: Dual segmentation of mitoses and nuclei using conditional GANs on multi-center breast H&E images
Singh et al. An efficient hybrid methodology for an early detection of breast cancer in digital mammograms
Nguyen et al. Finding nano-Ötzi: cryo-electron tomography visualization guided by learned segmentation
Yu et al. Convolutional neural network design for breast cancer medical image classification
Malafaia et al. Robustness analysis of deep learning-based lung cancer classification using explainable methods
CN112686932B (zh) 用于医学影像的图像配准方法及图像处理方法、介质
Han et al. Three dimensional nuclei segmentation and classification of fluorescence microscopy images
Li et al. Classifying breast histopathology images with a ductal instance-oriented pipeline
CN115880200A (zh) 基于3D-Vnet和3D-resNet的CT图像肺结节检测方法及系统
Khan et al. Morphology preserving segmentation method for occluded cell nuclei from medical microscopy image
Xie et al. Identification method of thyroid nodule ultrasonography based on self-supervised learning dual-branch attention learning framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination