CN112017161A - 一种基于中心点回归的肺结节检测方法和检测装置 - Google Patents

一种基于中心点回归的肺结节检测方法和检测装置 Download PDF

Info

Publication number
CN112017161A
CN112017161A CN202010782644.6A CN202010782644A CN112017161A CN 112017161 A CN112017161 A CN 112017161A CN 202010782644 A CN202010782644 A CN 202010782644A CN 112017161 A CN112017161 A CN 112017161A
Authority
CN
China
Prior art keywords
lung nodule
nodule
central point
lung
center point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010782644.6A
Other languages
English (en)
Inventor
刘峰
幸子健
周振
俞益洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN202010782644.6A priority Critical patent/CN112017161A/zh
Publication of CN112017161A publication Critical patent/CN112017161A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于中心点回归的肺结节检测方法和检测装置，解决肺结节检测准确性和时效性较差的技术问题。方法包括：通过肺结节影像训练样本对卷积神经网络进行训练输出特征预测数据，特征预测数据包括关键中心点置信度热力图、中心点偏移量和中心点所在肺结节的目标大小；根据所述卷积神经网络输出的特征预测数据形成损失函数；通过所述损失函数对卷积神经网络进行监督训练，迭代优化为肺结节特征提取网络。网络的输出利用了肺结节在影像上表现为类圆形的特点，在训练过程中可以很好地关注结节区域的图像特征，避免出现大量结节候选区域的负样本参与，加快了模型训练的速度。此外在检测推理的过程中无需额外的后处理操作加快了推理的速度。

Description

一种基于中心点回归的肺结节检测方法和检测装置
技术领域
本发明涉及图像识别技术领域，具体涉及一种基于中心点回归的肺结节检测方法和检测装置。
背景技术
肺结节是肺部直径小于3cm局灶性、类圆形、密度增高的实性或半实性组织，具有形成肺癌的可能性，因此基于CT(Computed Tomography)的自动化肺结节检测方法进行有效的早期肺癌筛查非常必要。现有技术中的肺结节检测方法通常采用3D或者2D卷积神经网络，基于anchor-based模型获得结节位置的候选区域，在这些候选区域的基础上进行一次或者多次的位置回归并判断候选区域为结节的可能性。由于在模型训练过程中会在结节影像附近产生大量冗余的候选区域，使得模型不能很好地对结节区域进行特征学习，同时在推理过程中需要额外的后处理操作来消除这些冗余的候选区域。而直接利用anchor-free模型进行肺结节检测不能获得必须的稳定结果。
发明内容
鉴于上述问题，本发明实施例提供一种基于中心点回归的肺结节检测方法和检测装置，解决现有肺结节检测准确性和时效性较差的技术问题。
本发明实施例的基于中心点回归的肺结节检测方法，包括：
通过肺结节影像训练样本对卷积神经网络进行训练输出特征预测数据，特征预测数据包括关键中心点置信度热力图、中心点偏移量和中心点所在肺结节的目标大小；
根据所述卷积神经网络输出的特征预测数据形成损失函数；
通过所述损失函数对卷积神经网络进行监督训练，将所述卷积神经网络迭代优化为肺结节特征提取网络。
本发明一实施例中，还包括：
向所述肺结节特征提取网络输入肺结节影像测试样本进行推理，获取所述肺结节位置和肺结节大小映射在所述肺结节影像测试样本上。
本发明一实施例中，所述关键中心点置信度热力图的形成包括：
利用全卷积神经网络提取所述肺结节影像训练样本中各像素的图像特征；
提取肺结节的图像特征并进行下采样，形成所述关键中心点置信度热力图；
将所述肺结节影像训练样本中标记的肺结节中心点映射至所述关键中心点置信度热力图；
通过高斯核将所述肺结节影像训练样本中标记的肺结节区域分布在所述关键中心点置信度热力图中。
本发明一实施例中，所述根据所述卷积神经网络输出的特征预测数据形成损失函数包括：
根据所述关键中心点置信度热力图中肺结节中心点的预测位置与真实位置的分布差异形成中心点置信度损失函数；
根据所述预测位置相对所述肺结节影像训练样本的肺结节中心点的偏差形成所述肺结节中心点的位置偏移损失函数；
形成所述肺结节中心点所处肺结节的预测尺寸相对所述肺结节影像训练样本中肺结节大小的尺寸偏差损失函数；
根据肺结节在中心点置信度、位置偏移和尺寸偏差的损失形成训练过程损失函数。
本发明一实施例中，所述关键中心点置信度热力图的形成包括：
所有肺结节输出一个关键中心点置信度热力图；和/或
根据肺结节的尺度输出不同的关键中心点置信度热力图；
形成肺结节特征金字塔网络。
本发明实施例的基于中心点回归的肺结节检测装置，包括：
存储器，用于存储上述的基于中心点回归的肺结节检测方法处理过程对应的程序代码；
处理器，用于执行所述程序代码。
本发明实施例的基于中心点回归的肺结节检测装置，包括：
预测输出模块，用于通过肺结节影像训练样本对卷积神经网络进行训练输出特征预测数据，特征预测数据包括关键中心点置信度热力图、中心点偏移量和中心点所在肺结节的目标大小；
损失函数形成模块，用于据所述卷积神经网络输出的特征预测数据形成损失函数；
网络生成模块，用于通过所述损失函数对卷积神经网络进行监督训练，将所述卷积神经网络迭代优化为肺结节特征提取网络。
本发明一实施例中，还包括：
肺结节检测模块，用于向所述肺结节特征提取网络输入肺结节影像测试样本进行推理，获取所述肺结节位置和肺结节大小映射在所述肺结节影像测试样本上。
本发明一实施例中，所述热力图形成模块包括：
特征提取单元，用于利用全卷积神经网络提取所述肺结节影像训练样本中各像素的图像特征；
特征图化单元，用于提取肺结节的图像特征并进行下采样，形成所述关键中心点置信度热力图；
中心映射单元，用于将所述肺结节影像训练样本中标记的肺结节中心点映射至所述关键中心点置信度热力图；
高斯分布单元，用于通过高斯核将所述肺结节影像训练样本中标记的肺结节区域分布在所述关键中心点置信度热力图中。
本发明一实施例中，所述损失函数形成模块包括：
中心损失优化单元，用于根据所述关键中心点置信度热力图中肺结节中心点的预测位置与真实位置的分布差异形成中心点置信度损失函数；
偏移损失优化单元，用于根据所述预测位置相对所述肺结节影像训练样本的肺结节中心点的偏差形成所述肺结节中心点的位置偏移损失函数；
尺寸损失优化单元，用于形成所述肺结节中心点所处肺结节的预测尺寸相对所述肺结节影像训练样本中肺结节大小的尺寸偏差损失函数；
过程损失优化单元，用于根据肺结节在中心点置信度、位置偏移和尺寸偏差的损失形成训练过程损失函数。
本发明实施例的基于中心点回归的肺结节检测方法和检测装置根据所述监督训练将所述卷积神经网络迭代优化为肺结节特征提取网络。网络的输出利用了肺结节在影像上表现为类圆形的特点，从而在训练过程中可以很好地关注结节区域的图像特征，避免出现大量结节候选区域的负样本参与，加快了模型训练的速度。此外在检测推理的过程中无需额外的后处理操作加快了推理的速度。
附图说明
图1所示为本发明一实施例基于中心点回归的肺结节检测方法的流程示意图。
图2所示为本发明一实施例基于中心点回归的肺结节检测方法中关键中心点置信度热力图形成过程示意图。
图3所示为本发明一实施例基于中心点回归的肺结节检测方法中损失函数形成过程示意图。
图4所示为本发明一实施例基于中心点回归的肺结节检测装置的架构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明一实施例基于中心点回归的肺结节检测方法如图1所示。在图1中，本实施例包括：
步骤100：通过肺结节影像训练样本对卷积神经网络进行训练输出特征预测数据，特征预测数据包括关键中心点置信度热力图、中心点偏移量和中心点所在肺结节的目标大小。
本领域技术人员可以理解，肺结节影像为包括一个或多个肺结节，经过预处理后形成的具有统一坐标空间和灰度识别空间的肺部医学图像。卷积神经网络可以进行图像特征提取。卷积神经网络需要利用训练样本进行必要的针对性训练以输出正确分类的图像特征，对图像特征进行人工标记形成包含真实特征标签的训练样本可以对卷积神经网络进行监督训练，可以提高卷积神经网络在特征提取过程中的训练速度和性能。
在本发明一实施例中，肺结节影像具有纹理特征、尺寸特征可以形成肺结节的图像特征标签，肺结节影像存在类圆形的图像特征，可以基于肺结节的图像特征获取肺结节相关的形状描述。
关键中心点置信度热力图用于分类显示肺结节影像训练样本中每种图像特征的分布，所有图像特征可以存在于一个热力图中，也可以每个热力图显示一种图像特征的分布。热力图使得肺部医学影像中像素的图像特征按类别在相应位置分类显示。
本发明一实施例中，关键中心点置信度热力图主要是展现所处区域为肺结节的概率。
步骤200：根据卷积神经网络输出的特征预测数据形成损失函数。
本领域技术人员可以理解，卷积神经网络输出的像素的图像特征预测数据存在预测误差。而且训练过程存在的下采样处理导致的信息损失会提高预测误差，信息损失包括但不限于对象尺寸表达信息损失或对象位置表达信息损失等。
通过图像特征的真实标签(ground truth)和预测数据差异合理设计的损失函数通过反向传播在卷积神经网络训练的迭代过程中逐渐优化网络参数权重消除预测数据误差，使预测值逼近真实状态，使卷积神经网络输出趋于真实图像特征。
步骤300：通过损失函数对卷积神经网络进行监督训练，将卷积神经网络迭代优化为肺结节特征提取网络。
本领域技术人员可以理解，通过肺结节影像训练样本中结节位置以及大小的真实标签可以对卷积神经网络进行有监督的训练，利用较全面的特征真实标签可以完成密集监督训练。通过损失函数可以获得肺结节影像训练样本中肺结节的真实标签与卷积神经网络训练过程中输出的预测结果的量化差异。通过损失函数在反向传播形成训练迭代，直至卷积神经网络参数权重优化后的输出标签接近肺结节的特征真实标签形成肺结节特征提取网络，实现准确提取肺结节的位置，同时通过中心位置范围内特征进行尺度回归获得肺结节的具体大小。
本发明实施例的基于中心点回归的肺结节检测方法通过对卷积神经网络进行肺结节图像特征的训练输出以基于中心点回归的肺结节位置和尺寸。基于肺结节中心点使得肺结节特征提取网络可以很好地关注结节区域的图像特征，避免出现大量结节候选区域的负样本参与，加快了模型训练的速度。在肺结节特征提取网络确定结节中心点的过程中形成肺结节中心点的精确定位和结节大小的量化，避免了在检测推理的过程中增加额外的后处理操作加快了推理的速度。
如图1所示，在本发明一实施例中，还包括：
步骤400：向肺结节特征提取网络输入肺结节影像测试样本进行推理，获取肺结节位置和肺结节大小映射在肺结节影像测试样本上。
肺结节位置是指在肺结节影像测试样本中肺结节中心的像素坐标，肺结节大小是指肺结节轮廓框选窗口的长宽像素尺寸。
本发明实施例的基于中心点回归的肺结节检测方法利用训练成型的肺结节特征提取网络进行肺结节检测，利用中心点位置和轮廓框选窗口标记肺结节，获取肺结节位置和尺寸供诊断人员作进一步诊断，可以有效减低诊断误差。
本发明一实施例基于中心点回归的肺结节检测方法中关键中心点置信度热力图形成过程如图2所示。在图2中，关键中心点置信度热力图形成包括：
步骤110：利用全卷积神经网络提取肺结节影像训练样本中各像素的图像特征。
本领域技术人员可以理解，全卷积神经网络可以根据实际的使用场景或者计算能力进行配置。本发明实施例中可以利用的骨干网络包括但不限于ResNet-18、DLA-34或Hourglass-104骨干网络。利用全卷积神经网络可以获得肺结节影像训练样本中各像素的特征类别。
步骤120：提取肺结节的图像特征并进行下采样，形成关键中心点置信度热力图。
通过下采样可以获得与肺结节影像训练样本成比例缩小的关键中心点置信度热力图，既避免了由于数据量过大造成处理性能下降又可以兼顾肺结节尺寸的较大差异。进行下采样后形成的关键中心点置信度热力图，可以表示为：
Figure BDA0002620773900000071
其中W和H分别为肺结节影像训练样本的像素宽度和像素高度，R为肺结节影像训练样本卷积处理中的下采样步长，C为图像特征的类别数。
关键中心点置信度热力图中的每一个像素对应的是经全卷积神经网络特征提取后预测的符合确定图像特征的概率值。
当仅需要呈现肺结节单一特征时，关键中心点置信度热力图可以表示为：
Figure BDA0002620773900000081
在形成的关键中心点置信度热力图中仅显示像素为肺结节图像特征的概率值。
步骤130：将肺结节影像训练样本中标记的肺结节中心点映射至关键中心点置信度热力图。
肺结节影像训练样本中包括真实特征标签(即ground truth point)，利用真实特征标签中的肺结节标签可以获得肺结节的真实关键点(即key point)，肺结节标签对应肺结节特征，具有明确肺结节框选窗口的位置坐标。在肺结节影像训练样本中的肺结节中心点与在关键中心点置信度热力图中的位置映射关系可以表示为：
Figure BDA0002620773900000082
其中p为肺结节中心点在肺结节影像训练样本中的位置坐标，通常可以由设定的选框窗口对角位置坐标转换形成，
Figure BDA0002620773900000083
为肺结节中心点在关键中心点置信度热力图中的位置坐标，R为输出关键中心点置信度热力图的下采样步长。
步骤140：通过高斯核将肺结节影像训练样本中标记的肺结节区域分布在关键中心点置信度热力图中。
分布的具体过程可以表示为：
Figure BDA0002620773900000084
其中
Figure BDA0002620773900000085
为肺结节中心点在关键中心点置信度热力图中的横坐标和纵坐标，x、y分别为肺结节的真实关键点(即肺结节的真实标签)在关键中心点置信度热力图中的横坐标和纵坐标，σp是根据获得的肺结节大小自适应调整的标准差，Yxy为确定坐标像素经高斯核模糊的预测值。每个Yxy的范围在0至1之间，当为1时说明Yxy为肺结节中心点。
在本发明一实施例中，当两个肺结节中心点的高斯核分布存在重叠时，重叠部分取其中的最大值。
本发明实施例基于中心点回归的肺结节检测方法直接利用卷积神经网络提取肺结节影像训练样本中的图像特征，并根据图像特征形成关键中心点置信度热力图表达像素点属于肺结节的图像特征预测值。由于将影像训练样本中肺结节中心区域以高斯核分布的形式作为关键中心点置信度热力图的训练标签，有利于网络在训练过程中形成样本专注机制，保持优化过程的模型的注意力始终位于肺结节，很好地关注肺结节区域的组织图像特征，缓解了训练时结节正负样本过于悬殊的问题。
本发明一实施例基于中心点回归的肺结节检测方法中损失函数形成过程形成过程如图3所示。在图3中，损失函数形成包括：
步骤210：根据关键中心点置信度热力图中肺结节中心点的预测位置与真实位置的分布差异形成中心点置信度损失函数。
肺结节中心点的真实位置即肺结节中心点的真实标签在关键中心点置信度热力图中的坐标位置，肺结节中心点的预测位置与真实位置的分布差异表明了若干肺结节中心点的预测位置与真实位置的宏观误差。
中心点置信度损失函数Lk采用focal loss函数为主体，表示为：
Figure BDA0002620773900000091
其中α，β为focalloss函数超参数，Yxy为真实关键点的值，
Figure BDA0002620773900000092
真实关键点的预测值，N为图像中真实关键点的个数，起到了归一化的作用。
利用中心点置信度损失函数Lk在训练迭代过程中排除肺结节中心点预测的周围负样本影响。
步骤220：根据预测位置相对肺结节影像训练样本的肺结节中心点的偏差形成所述肺结节中心点的位置偏移损失函数。
受下采样影响，肺结节中心点在关键中心点置信度热力图像中必然存在偏移。位置偏移损失函数Loff采用L1 loss函数为主体，表示为：
Figure BDA0002620773900000101
其中
Figure BDA0002620773900000102
为肺结节中心标签的预测偏移量。
通过位置偏移损失函数Loff补偿因下采样形成关键中心点置信度热力图像中的肺结节中心点重新映射回肺结节影像训练样本的精度误差。
步骤230：形成肺结节中心点所处肺结节的预测尺寸相对肺结节影像训练样本中肺结节大小的尺寸偏差损失函数。
肺结节尺寸的图形特征根据肺结节中心点迭代回归。尺寸偏差损失函数Lsize采用L1 loss函数为主体，表示为：
Figure BDA0002620773900000103
其中s为关键中心点对应目标尺寸回归后的长宽值，
Figure BDA0002620773900000104
为预测的肺结节中心点。
步骤240：根据肺结节在中心点置信度、位置偏移和尺寸偏差的损失形成训练过程损失函数。
训练过程损失函数Ldet表示为：
Ldet＝Lk+λsizeLsize+λoffLoff
其中λsize和λoff为不同损失函数的权重系数。
本发明实施例基于中心点回归的肺结节检测方法形成中心误差、位置误差和尺寸误差的损失函数对训练过程中与真实样本标签的差异造成的误差进行反向传播时的训练迭代优化，逐渐形成卷积神经网络的优化参数。
在本发明一实施例中，卷积神经网络可以选择2D全卷积神经网络，肺结节影像训练样本或测试样本可以采用2D层图像，输出的关键中心点置信度热力图预测单个层面的肺结节中心点位置信息。
在本发明一实施例中，卷积神经网络可以选择3D全卷积神经网络，肺结节影像训练样本或测试样本可以采用切取CT图像局部区域构成的3D图像，输出的关键中心点置信度热力图预测3D空间中肺结节中心点位置信息。
在本发明一实施例中，为每个肺结节输出对应的关键中心点置信度热力图。
在本发明一实施例中，为相同尺度的肺结节输出一个关键中心点置信度热力图。
在本发明一实施例中，为所有肺结节输出一个关键中心点置信度热力图。
结合上述不同尺度肺结节的关键中心点置信度热力图，形成肺结节特征金字塔网络用于提高预测效率。
本发明实施例基于中心点回归的肺结节检测装置，包括：
存储器，用于存储上述实施例基于中心点回归的肺结节检测方法处理过程对应的程序代码；
处理器，用于执行上述实施例基于中心点回归的肺结节检测方法处理过程对应的程序代码。
处理器可以采用DSP(Digital Signal Processor)数字信号处理器、FPGA(Field-Programmable Gate Array)现场可编程门阵列、MCU(Microcontroller Unit)系统板、SoC(system on a chip)系统板或包括I/O的PLC(Programmable Logic Controller)最小系统。
本发明一实施例基于中心点回归的肺结节检测装置如图4所示。在图4中，本实施例包括：
预测输出模块10，用于通过肺结节影像训练样本对卷积神经网络进行训练输出特征预测数据，特征预测数据包括关键中心点置信度热力图、中心点偏移量和中心点所在肺结节的目标大小；
损失函数形成模块20，用于根据卷积神经网络输出的特征预测数据形成损失函数；
网络生成模块30，用于通过损失函数对卷积神经网络进行监督训练，将卷积神经网络迭代优化为肺结节特征提取网络。
如图4所示，在本发明一实施例中，还包括：
肺结节检测模块40，用于向肺结节特征提取网络输入肺结节影像测试样本进行推理，获取肺结节位置和肺结节大小映射在肺结节影像测试样本上。
如图4所示，在本发明一实施例中，热力图形成模块10包括：
特征提取单元11，用于利用全卷积神经网络提取肺结节影像训练样本中各像素的图像特征；
特征图化单元12，提取肺结节的图像特征并进行下采样，形成关键中心点置信度热力图；
中心映射单元13，用于将肺结节影像训练样本中标记的肺结节中心点映射至关键中心点置信度热力图；
高斯分布单元14，用于通过高斯核将肺结节影像训练样本中标记的肺结节区域分布在关键中心点置信度热力图中。
如图4所示，在本发明一实施例中，损失函数形成模块20包括：
中心损失优化单元21，用于根据关键中心点置信度热力图中肺结节中心点的预测位置与真实位置的分布差异形成中心点置信度损失函数；
偏移损失优化单元22，用于根据预测位置相对肺结节影像训练样本的肺结节中心点的偏差形成所述肺结节中心点的位置偏移损失函数；
尺寸损失优化单元23，用于形成肺结节中心点所处肺结节的预测尺寸相对肺结节影像训练样本中肺结节大小的尺寸偏差损失函数；
过程损失优化单元24，用于根据肺结节在中心点置信度、位置偏移和尺寸偏差的损失形成训练过程损失函数。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于中心点回归的肺结节检测方法，其特征在于，包括：
通过肺结节影像训练样本对卷积神经网络进行训练输出特征预测数据，所述特征预测数据包括关键中心点置信度热力图、中心点偏移量和中心点所在肺结节的目标大小；
根据所述卷积神经网络输出的所述特征预测数据形成损失函数；
通过所述损失函数对卷积神经网络进行监督训练，将所述卷积神经网络迭代优化为肺结节特征提取网络。
2.如权利要求1所述的基于中心点回归的肺结节检测方法，其特征在于，还包括：
向所述肺结节特征提取网络输入肺结节影像测试样本进行推理，获取所述肺结节位置和肺结节大小映射在所述肺结节影像测试样本上。
3.如权利要求1所述的基于中心点回归的肺结节检测方法，其特征在于，所述关键中心点置信度热力图的形成包括：
利用全卷积神经网络提取所述肺结节影像训练样本中各像素的图像特征；
提取肺结节的图像特征并进行下采样，形成所述关键中心点置信度热力图；
将所述肺结节影像训练样本中标记的肺结节中心点映射至所述关键中心点置信度热力图；
通过高斯核将所述肺结节影像训练样本中标记的肺结节区域分布在所述关键中心点置信度热力图中。
4.如权利要求1所述的基于中心点回归的肺结节检测方法，其特征在于，所述根据所述卷积神经网络输出的特征预测数据形成损失函数包括：
根据所述关键中心点置信度热力图中肺结节中心点的预测位置与真实位置的分布差异形成中心点置信度损失函数；
根据所述预测位置相对所述肺结节影像训练样本的肺结节中心点的偏差形成所述肺结节中心点的位置偏移损失函数；
形成所述肺结节中心点所处肺结节的预测尺寸相对所述肺结节影像训练样本中肺结节大小的尺寸偏差损失函数；
根据肺结节在中心点置信度、位置偏移和尺寸偏差的损失形成训练过程损失函数。
5.如权利要求1所述的基于中心点回归的肺结节检测方法，其特征在于，所述关键中心点置信度热力图的形成包括：
所有肺结节输出一个关键中心点置信度热力图；和/或
根据肺结节的尺度输出不同的关键中心点置信度热力图；
形成肺结节特征金字塔网络。
6.一种基于中心点回归的肺结节检测装置，其特征在于，包括：
存储器，用于存储如权利要求1至5任一所述的基于中心点回归的肺结节检测方法处理过程对应的程序代码；
处理器，用于执行所述程序代码。
7.一种基于中心点回归的肺结节检测装置，其特征在于，包括：
预测输出模块，用于通过肺结节影像训练样本对卷积神经网络进行训练输出特征预测数据，特征预测数据包括关键中心点置信度热力图、中心点偏移量和中心点所在肺结节的目标大小；
损失函数形成模块，用于据所述卷积神经网络输出的特征预测数据形成损失函数；
网络生成模块，用于通过所述损失函数对卷积神经网络进行监督训练，将所述卷积神经网络迭代优化为肺结节特征提取网络。
8.如权利要求7所述的基于中心点回归的肺结节检测装置，其特征在于，还包括：
肺结节检测模块，用于向所述肺结节特征提取网络输入肺结节影像测试样本进行推理，获取所述肺结节位置和肺结节大小映射在所述肺结节影像测试样本上。
9.如权利要求7所述的基于中心点回归的肺结节检测装置，其特征在于，所述热力图形成模块包括：
特征提取单元，用于利用全卷积神经网络提取所述肺结节影像训练样本中各像素的图像特征；
特征图化单元，用于提取肺结节的图像特征并进行下采样，形成所述关键中心点置信度热力图；
中心映射单元，用于将所述肺结节影像训练样本中标记的肺结节中心点映射至所述关键中心点置信度热力图；
高斯分布单元，用于通过高斯核将所述肺结节影像训练样本中标记的肺结节区域分布在所述关键中心点置信度热力图中。
10.如权利要求7所述的基于中心点回归的肺结节检测装置，其特征在于，所述损失函数形成模块包括：
中心损失优化单元，用于根据所述关键中心点置信度热力图中肺结节中心点的预测位置与真实位置的分布差异形成中心点置信度损失函数；
偏移损失优化单元，用于根据所述预测位置相对所述肺结节影像训练样本的肺结节中心点的偏差形成所述肺结节中心点的位置偏移损失函数；
尺寸损失优化单元，用于形成所述肺结节中心点所处肺结节的预测尺寸相对所述肺结节影像训练样本中肺结节大小的尺寸偏差损失函数；
过程损失优化单元，用于根据肺结节在中心点置信度、位置偏移和尺寸偏差的损失形成训练过程损失函数。
CN202010782644.6A 2020-08-06 2020-08-06 一种基于中心点回归的肺结节检测方法和检测装置 Pending CN112017161A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010782644.6A CN112017161A (zh) 2020-08-06 2020-08-06 一种基于中心点回归的肺结节检测方法和检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010782644.6A CN112017161A (zh) 2020-08-06 2020-08-06 一种基于中心点回归的肺结节检测方法和检测装置

Publications (1)

Publication Number Publication Date
CN112017161A true CN112017161A (zh) 2020-12-01

Family

ID=73500220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010782644.6A Pending CN112017161A (zh) 2020-08-06 2020-08-06 一种基于中心点回归的肺结节检测方法和检测装置

Country Status (1)

Country Link
CN (1) CN112017161A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561863A (zh) * 2020-12-03 2021-03-26 吉林大学 一种基于改进ResNet的医学图像多分类识别系统
CN112733730A (zh) * 2021-01-12 2021-04-30 中国石油大学(华东) 采油作业现场吸烟人员识别处理方法及系统
CN113642558A (zh) * 2021-08-16 2021-11-12 云南电网有限责任公司电力科学研究院 耐张线夹压接缺陷的x射线图像识别方法及装置
CN114841951A (zh) * 2022-04-28 2022-08-02 浙江卡易智慧医疗科技有限公司 一种胸部ct序列多病种综合检查系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807764A (zh) * 2019-09-20 2020-02-18 成都智能迭迦科技合伙企业(有限合伙) 一种基于神经网络的肺癌筛查方法
CN110838125A (zh) * 2019-11-08 2020-02-25 腾讯医疗健康(深圳)有限公司 医学图像的目标检测方法、装置、设备、存储介质
CN110942446A (zh) * 2019-10-17 2020-03-31 付冲 一种基于ct影像的肺结节自动检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807764A (zh) * 2019-09-20 2020-02-18 成都智能迭迦科技合伙企业(有限合伙) 一种基于神经网络的肺癌筛查方法
CN110942446A (zh) * 2019-10-17 2020-03-31 付冲 一种基于ct影像的肺结节自动检测方法
CN110838125A (zh) * 2019-11-08 2020-02-25 腾讯医疗健康(深圳)有限公司 医学图像的目标检测方法、装置、设备、存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561863A (zh) * 2020-12-03 2021-03-26 吉林大学 一种基于改进ResNet的医学图像多分类识别系统
CN112561863B (zh) * 2020-12-03 2022-06-10 吉林大学 一种基于改进ResNet的医学图像多分类识别系统
CN112733730A (zh) * 2021-01-12 2021-04-30 中国石油大学(华东) 采油作业现场吸烟人员识别处理方法及系统
CN113642558A (zh) * 2021-08-16 2021-11-12 云南电网有限责任公司电力科学研究院 耐张线夹压接缺陷的x射线图像识别方法及装置
CN114841951A (zh) * 2022-04-28 2022-08-02 浙江卡易智慧医疗科技有限公司 一种胸部ct序列多病种综合检查系统及方法

Similar Documents

Publication Publication Date Title
US20230186476A1 (en) Object detection and instance segmentation of 3d point clouds based on deep learning
CN111401201B (zh) 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法
CN112241766B (zh) 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
CN111275714B (zh) 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法
CN112017161A (zh) 一种基于中心点回归的肺结节检测方法和检测装置
WO2021203795A1 (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN109003267B (zh) 从3d图像自动检测目标对象的计算机实现方法和系统
CN114120102A (zh) 边界优化的遥感图像语义分割方法、装置、设备及介质
CN111291825B (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
CN110363802B (zh) 基于自动分割和骨盆对齐的前列腺图像配准系统及方法
CN114758137B (zh) 超声图像分割方法、装置及计算机可读存储介质
CN111145200B (zh) 结合卷积神经网络与循环神经网络的血管中心线追踪方法
CN116091490A (zh) 一种基于YOLOv4-CA-CBAM-K-means++-SIOU的肺结节检测方法
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN114693671A (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN113764101A (zh) 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN116309640A (zh) 一种基于多层级多注意力MLMA-UNet网络的图像自动分割方法
CN114565617A (zh) 基于剪枝U-Net++的乳腺肿块图像分割方法及系统
CN114565626A (zh) 基于PSPNet改进的肺部CT图像分割算法
CN115035193A (zh) 一种基于双目视觉与图像分割技术的散装粮随机扦样方法
CN113902738A (zh) 一种心脏mri分割方法及系统
CN114418989A (zh) 口腔医学影像的牙齿分割方法、装置、设备及存储介质
CN111080588A (zh) 基于多尺度神经网络的快速胎儿mr图像大脑提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination