CN108648192B - 一种检测结节的方法及装置 - Google Patents

一种检测结节的方法及装置 Download PDF

Info

Publication number
CN108648192B
CN108648192B CN201810474907.XA CN201810474907A CN108648192B CN 108648192 B CN108648192 B CN 108648192B CN 201810474907 A CN201810474907 A CN 201810474907A CN 108648192 B CN108648192 B CN 108648192B
Authority
CN
China
Prior art keywords
nodule
image
identification
images
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810474907.XA
Other languages
English (en)
Other versions
CN108648192A (zh
Inventor
魏子昆
丁泽震
华铱炜
Original Assignee
Hangzhou Yitu Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yitu Medical Technology Co ltd filed Critical Hangzhou Yitu Medical Technology Co ltd
Priority to CN201810474907.XA priority Critical patent/CN108648192B/zh
Publication of CN108648192A publication Critical patent/CN108648192A/zh
Application granted granted Critical
Publication of CN108648192B publication Critical patent/CN108648192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种检测结节的方法及装置，涉及机器学习技术领域，该方法包括：获取结节影像，然后采用结节检测模型提取结节影像的不同尺寸的特征图像，从特征图像中确定出结节识别框，结节检测模型是采用3D卷积神经网络对已标记结节的多个结节影像进行训练后确定的。之后再根据从各特征图像中确定出的结节识别框确定结节影像的结节。由于提取结节影像的不同尺寸的特征图像，并识别每一个特征图像中的结节，故既能检测到大尺寸的结节，同时也能检测到小尺寸的结节，提高了结节检测的精度。其次，相较于人工判断结节影像中是否存在结节的方法，采用结节检测模型自动检测结节的方法有效地提高了结节检测的效率。

Description

一种检测结节的方法及装置
技术领域
本发明实施例涉及机器学习技术领域，尤其涉及一种检测结节的方法及装置。
背景技术
目前，结节己引起广泛关注，例如肺结节、甲状腺结节等等，医生一般通过医学影像手段观察患者结节的情况，进而确定患者的病情。当患者拍摄医学影像之后，医生通过个人经验判断医学影像中是否存在结节，该方法效率较低，并且存在较大的主观性。
发明内容
本发明实施例提供一种检测结节的方法及装置，用于解决现有技术中通过医生经验判断医学影像中是否存在结节的方法效率低的问题。
一方面，本发明实施例提供了一种检测结节的方法，该方法包括：首先获取结节影像，然后提取所述结节影像的不同尺寸的特征图像。针对所述结节影像的不同尺寸的特征图像中的任意一个特征图像，从所述特征图像中确定出结节识别框，之后再根据从各特征图像中确定出的结节识别框确定所述结节影像的结节。由于提取结节影像的不同尺寸的特征图像，并识别每一个特征图像中的结节，故既能检测到大尺寸的结节，同时也能检测到小尺寸的结节，提高了结节检测的精度。其次，相较于人工判断结节影像中是否存在结节的方法，本申请中自动检测结节的方法有效地提高了结节检测的效率。
可选地，提取所述结节影像的不同尺寸的特征图像，具体包括：将所述结节影像依次通过M个3D下采样卷积块提取M个所述结节影像的第一特征图像，每个3D下采样卷积块提取的第一特征图像的尺寸均不同，M大于0。将第M个3D下采样卷积块输出的第一特征图像依次通过M个3D上采样卷积块提取M个所述结节影像的第二特征图像，每个3D上采样卷积块提取的第二特征图像的尺寸均不同。将尺寸相同的第一特征图像和第二特征图像合并后，确定M个所述结节影像的不同尺寸的特征图像。通过3D下采样卷积块提取结节影像的第一特征图像，通过3D上采样卷积块提取提取结节影像的第二特征图像，通过将第一特征图像和第二特征图像进行合并确定特征图像，故特征图像为多层特征图像的特征融合，其表达能力更强。
可选地，所述从所述特征图像中确定出结节识别框，具体包括：针对所述特征图像中任意一个像素，以所述像素为中心，向四周扩散确定第一区域。在所述第一区域中根据预设规则设置多个预设框；针对任意一个预设框，预测所述预设框与所述第一区域的位置偏差，然后根据所述位置偏差调整所述预设框后确定结节识别框，并预测所述结节识别框的结节概率，所述结节概率为结节识别框框选的区域为结节的概率。通过预测预设框与第一区域的位置偏差，然后采用位置偏差调整预设框确定识别框，以使识别框更多地框选特征图中的结节区域，提高结节检测的准确性。
可选地，所述根据从各特征图像中确定出的结节识别框确定所述结节影像的结节，包括：将所述各特征图像转化为同一尺寸的特征图像并对齐，将从各特征图像中确定出的结节识别框进行筛选，并将筛选后的结节识别框确定为所述结节影像中的结节；其中，结节识别框的筛选过程如下：从各特征图像的结节识别框中确定结节概率最大的结节识别框，计算所述结节概率最大的结节识别框与其他结节识别框的交并比；将交并比大于预设阈值的其他结节识别框删除；从剩余的其他结节识别框中确定结节概率最大的结节识别框，重复执行结节识别框的筛选过程，直到没有剩余的其他结节识别框。根据结节识别框的结节概率以及结节识别框之间的交并比对各特征图像中确定出的结节识别框进行筛选，避免重复检测结节影像中的同一个结节并输出，提高检测结节影像中结节数量的准确性。
一方面，本发明实施例提供了一种检测结节的装置，包括：
获取模块，用于获取结节影像；
特征提取模块，用于提取所述结节影像的不同尺寸的特征图像；
识别模块，用于针对所述结节影像的不同尺寸的特征图像中的任意一个特征图像，从所述特征图像中确定出结节识别框；
处理模块，用于根据从各特征图像中确定出的结节识别框确定所述结节影像的结节。
可选地，所述特征提取模块具体用于：
将所述结节影像依次通过M个3D下采样卷积块提取M个所述结节影像的第一特征图像，每个3D下采样卷积块提取的第一特征图像的尺寸均不同，M大于0；
将第M个3D下采样卷积块输出的第一特征图像依次通过M个3D上采样卷积块提取M个所述结节影像的第二特征图像，每个3D上采样卷积块提取的第二特征图像的尺寸均不同；
将尺寸相同的第一特征图像和第二特征图像合并后，确定M个所述结节影像的不同尺寸的特征图像。
可选地，所述识别模块具体用于：
针对所述特征图像中任意一个像素，以所述像素为中心，向四周扩散确定第一区域；
在所述第一区域中根据预设规则设置多个预设框；
针对任意一个预设框，预测所述预设框与所述第一区域的位置偏差；
根据所述位置偏差调整所述预设框后确定结节识别框，并预测所述结节识别框的结节概率，所述结节概率为结节识别框框选的区域为结节的概率。
可选地，所述处理模块具体用于：
将所述各特征图像转化为同一尺寸的特征图像并对齐；
将从各特征图像中确定出的结节识别框进行筛选，并将筛选后的结节识别框确定为所述结节影像中的结节；
其中，结节识别框的筛选过程如下：
从各特征图像的结节识别框中确定结节概率最大的结节识别框；
计算所述结节概率最大的结节识别框与其他结节识别框的交并比；
将交并比大于预设阈值的其他结节识别框删除；
从剩余的其他结节识别框中确定结节概率最大的结节识别框，重复执行结节识别框的筛选过程，直到没有剩余的其他结节识别框。
另一方面，本发明实施例提供了一种计算设备，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行上述任一项所述方法的步骤。
又一方面，本发明实施例提供了一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行上述任一项所述方法的步骤。
本发明实施例中，由于提取结节影像的不同尺寸的特征图像，并识别每一个特征图像中的结节，故既能检测到大尺寸的结节，同时也能检测到小尺寸的结节，提高了结节检测的精度。其次，相较于人工判断结节影像中是否存在结节的方法，本申请中自动检测结节的方法有效地提高了结节检测效率。另外，根据结节识别框的结节概率以及结节识别框之间的交并比对各特征图像中确定出的结节识别框进行筛选，避免重复检测结节影像中的同一个结节并输出，提高检测结节影像中结节数量的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种检测结节的方法的流程示意图；
图2为本发明实施例提供的一种肺部CT影像的示意图；
图3为本发明实施例提供的一种结节识别框的筛选过程示意图；
图4为本发明实施例提供的一种训练结节检测模型的过程示意图；
图5为本发明实施例提供的一种提取特征图像的流程示意图；
图6为本发明实施例提供的检测结节识别框的过程示意图；
图7为本发明实施例提供的一种检测结节的装置的结构示意图；
图8为本发明实施例提供的一种计算设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1例性示出了本发明实施例提供的一种检测结节的方法的流程，该流程可以由检测结节的装置执行，如图1所示，该流程的具体步骤包括：
步骤S101，获取结节影像。
结节影像为三维图像，结节包括但不限于肺结节、甲状腺结节、乳腺结节。结节影像可以是计算机体层摄影(Computed Tomography，简称CT)影像、磁共振成像(MagneticResonance Imaging，简称MRI)影像等等，为了更清楚的描述结节影像，图2示例性示出了一名患者的肺部CT影像。
步骤S102，提取结节影像的不同尺寸的特征图像。
不同尺寸的特征图像可以为不同像素的特征图像，比如500×500的特征图像与1000×1000的特征图像为不同尺寸的特征图像。
可选地，采用预先训练好的的结节检测模型提取结节影像的不同尺寸的特征图像，结节检测模型是采用3D卷积神经网络对已标记结节的多个结节影像进行训练后确定的。
可选地，在提取结节影像的不同尺寸的特征图像之前，将结节图像缩放到特定尺寸，使各方向上像素与实际长度的比例尺一定。
步骤S103，针对结节影像的不同尺寸的特征图像中的任意一个特征图像，从特征图像中确定出结节识别框。
可选地，采用预先训练好的的结节检测模型从特征图像中确定出结节识别框，结节检测模型是采用3D卷积神经网络对已标记结节的多个结节影像进行训练后确定的。从特征图像中确定出的结节识别框框选的区域并不一定都包含结节，故需要根据结节识别框的结节概率对各结节识别框进行筛选，将结节概率小于预设阈值的结节识别框删除，其中，结节概率为结节识别框框选的区域为结节的概率。
步骤S104，根据从各特征图像中确定出的结节识别框确定结节影像的结节。
确定出结节识别框之后，将识别框作为结节影像中的结节输出，输出的结节参数包括结节的中心坐标以及结节的直径，其中结节的中心坐标为结节识别框的中心坐标，结节的直径为结节识别框的中心至其中一个面的距离。
由于提取结节影像的不同尺寸的特征图像，并识别每一个特征图像中的结节，故既能检测到大尺寸的结节，同时也能检测到小尺寸的结节，提高了结节检测的精度。其次，相较于人工判断结节影像中是否存在结节的方法，本申请中自动检测结节的方法有效地提高了结节检测效率。
由于从各个特征图像中确定出的结节识别框可能存在多个识别框对应一个结节，若直接根据结节识别框的数量确定结节影像中结节的数量，将导致检测得到的结节数量存在很大偏差，故需要将各特征图像转化为同一尺寸的特征图像并对齐，然后将从各特征图像中确定出的结节识别框进行筛选，并将筛选后的结节识别框确定为结节影像中的结节。
可选地，结节识别框的筛选过程包括以下步骤，如图3所示：
步骤S301，从各特征图像的结节识别框中确定结节概率最大的结节识别框。
步骤S302，计算结节概率最大的结节识别框与其他结节识别框的交并比。
步骤S303，将交并比大于预设阈值的其他结节识别框删除。
步骤S304，从剩余的其他结节识别框中确定结节概率最大的结节识别框，重复执行结节识别框的筛选过程，直到没有剩余的其他结节识别框。
下面结合具体的例子对上述结节识别框的筛选过程进行说明，设定各特征图像中确定出的结节识别框分别为A、B、C、D、E、F，上述各结节识别框的结节概率分别为：P(A)＝0.9、P(B)＝0.85、P(C)＝0.95、P(D)＝0.75、P(E)＝0.96、P(F)＝0.65。将上述结节识别框按照结节概率从大到小进行排序后为：E、C、A、B、D、F，排序后可知各特征图像的结节识别框中结节概率最大的结节识别框为E，然后分别计算结节识别框E与其他各结节识别框之间的交并比IOU，其中交并比的计算方式如式(1)所示：
Figure BDA0001664177750000071
其中，m为结节概率最大的结节识别框，n为与结节识别框m比较的结节识别框，IOU为结节识别框m与结节识别框n之间的交并比。
设定预设阈值为0.5，若结节识别框C与结节识别框E之间的交并比大于0.5，结节识别框A与结节识别框E之间的交并比大于0.5，结节识别框B、结节识别框D、结节识别框F与结节识别框E之间的交并比均小于0.5，则删除结节识别框C和结节识别框A，将结节识别框E确定为结节影像中的结节。
进一步地，将剩余的其他结节识别框B、D、F根据结节概率进行排序，确定结节概率最大的结节识别框为结节识别框B，然后计算结节识别框B与结节识别框D之间的交并比以及结节识别框B与结节识别框F之间的交并比。若结节识别框B与结节识别框D之间的交并比大于0.5，结节识别框B与结节识别框F之间的交并比小于0.5，则删除结节识别框D，将结节识别框B以及结节识别框F确定为结节影像中的结节。由于根据结节识别框的结节概率以及结节识别框之间的交并比对各特征图像中确定出的结节识别框进行筛选，避免重复检测结节影像中的同一个结节并输出，提高检测结节影像中结节数量的准确性。
下面具体介绍一下通过3D卷积神经网络对已标记结节的多个结节影像进行训练确定结节检测模型过程，如图4所示，包括以下步骤：
步骤S401，获取结节影像作为训练样本。
具体地，可以将获取的多幅结节影像直接作为训练样本，也可以对获取的多幅结节影像进行增强操作，扩大训练样本的数据量，增强操作包括但不限于：随机上下左右平移设定像素(比如0～20像素)、随机旋转设定角度(比如-15～15度)、随机缩放设定倍数(比如0.85～1.15倍)。
步骤S402，人工标记训练样本中的结节。
可以通过医生等专业人员对训练样本中的结节进行标记，标记的内容包括结节的中心坐标以及结节的直径。具体地，可以由多名医生对结节进行标注，并通过多人投票合成的方式确定最终的结节以及结节参数，结果用掩码图的方式保存。需要说明的是，人工标记训练样本中结节与训练样本的增强操作不分先后，可以先人工标记训练样本中的结节，然后再将标记结节的训练样本进行增强操作，也可以先将训练样本进行增强操作，然后人工对增强操作后的训练样本进行标记。
步骤S403，将训练样本输入3D卷积神经网络进行训练，确定结节检测模型。
该卷积神经网络的结构包括输入层、3D下采样卷积块、3D上采样卷积块、目标检测网络以及输出层。将训练样本进行预处理后输入上述3D卷积神经网络，将输出的结节与预先标记的训练样本的掩码图进行损失函数计算，然后采用反向传播算法以及sgd优化算法反复迭代，确定结节检测模型。
进一步地，采用上述训练确定的结节检测模型提取结节影像的不同尺寸的特征图像的过程如图5所示，包括以下步骤：
步骤S501，将结节影像依次通过M个3D下采样卷积块提取M个结节影像的第一特征图像。
每个3D下采样卷积块提取的第一特征图像的尺寸均不同，M大于0。
可选地，3D下采样卷积块包括3D卷积层、组连接层、前后连接层、下采样层，3D卷积层包括3D卷积运算、batch normalization层和RELU层。
步骤S502，将第M个3D下采样卷积块输出的第一特征图像依次通过M个3D上采样卷积块提取M个结节影像的第二特征图像。
每个3D上采样卷积块提取的第二特征图像的尺寸均不同。
可选地，3D上采样卷积块包括3D卷积层、组连接层、前后连接层、上采样层以及合成连接层。3D卷积层包括3D卷积运算，batch normalization层和RELU层。
步骤S503，将尺寸相同的第一特征图像和第二特征图像合并后，确定M个结节影像的不同尺寸的特征图像。
通过3D上采样卷积块中的合成连接层将尺寸相同的第一特征图像和第二特征图像合并确定不同尺寸的特征图像。可选地，在合并时，是将第一特征图像和第二特征图像的通道数进行合并，合并后得到的特征图像的尺寸与第一特征图像和第二特征图像的尺寸相同。
进一步地，采用上述训练确定的结节检测模型从特征图像中确定出结节识别框的过程如图6所示，包括以下步骤：
步骤S601，针对特征图像中任意一个像素，以像素为中心，向四周扩散确定第一区域。
步骤S602，在第一区域中根据预设规则设置多个预设框。
预设框可以是二维的，也可以是三维的。由于结节的形状近似球，故可以将预设框设置为正方体，需要说明的是，预设框并不仅限于正方体，还可以是长方体。预设规则可以是将预设框中心与第一区域的中心重合，也可以是预设框的角与第一区域的角重合等等。
步骤S603，针对任意一个预设框，预测预设框与第一区域的位置偏差。
步骤S604，根据位置偏差调整预设框后确定结节识别框，并预测结节识别框的结节概率。
其中，结节概率为结节识别框框选的区域为结节的概率。通过预测预设框与第一区域的位置偏差，然后采用位置偏差调整预设框确定识别框，以使识别框更多地框选特征图中的结节区域，提高结节检测的准确性。
基于相同的技术构思，本发明实施例提供了一种检测结节的装置，如图7所示，该装置可以执行检测结节的方法的流程，该装置70包括获取模块701、特征提取模块702、识别模块703以及处理模块704。
获取模块701，用于获取结节影像；
特征提取模块702，用于提取所述结节影像的不同尺寸的特征图像；
识别模块703，用于针对所述结节影像的不同尺寸的特征图像中的任意一个特征图像，从所述特征图像中确定出结节识别框；
处理模块704，用于根据从各特征图像中确定出的结节识别框确定所述结节影像的结节。
可选地，所述特征提取模块702具体用于：
将所述结节影像依次通过M个3D下采样卷积块提取M个所述结节影像的第一特征图像，每个3D下采样卷积块提取的第一特征图像的尺寸均不同，M大于0；
将第M个3D下采样卷积块输出的第一特征图像依次通过M个3D上采样卷积块提取M个所述结节影像的第二特征图像，每个3D上采样卷积块提取的第二特征图像的尺寸均不同；
将尺寸相同的第一特征图像和第二特征图像合并后，确定M个所述结节影像的不同尺寸的特征图像。
可选地，所述识别模块703具体用于：
针对所述特征图像中任意一个像素，以所述像素为中心，向四周扩散确定第一区域；
在所述第一区域中根据预设规则设置多个预设框；
针对任意一个预设框，预测所述预设框与所述第一区域的位置偏差；
根据所述位置偏差调整所述预设框后确定结节识别框，并预测所述结节识别框的结节概率，所述结节概率为结节识别框框选的区域为结节的概率。
可选地，所述处理模块704具体用于：
将所述各特征图像转化为同一尺寸的特征图像并对齐；
将从各特征图像中确定出的结节识别框进行筛选，并将筛选后的结节识别框确定为所述结节影像中的结节；
其中，结节识别框的筛选过程如下：
从各特征图像的结节识别框中确定结节概率最大的结节识别框；
计算所述结节概率最大的结节识别框与其他结节识别框的交并比；
将交并比大于预设阈值的其他结节识别框删除；
从剩余的其他结节识别框中确定结节概率最大的结节识别框，重复执行结节识别框的筛选过程，直到没有剩余的其他结节识别框。
本发明实施例提供了一种计算设备，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行检测结节的方法的步骤。如图8所示，为本发明实施例中所述的计算设备的硬件结构示意图，该计算设备具体可以为台式计算机、便携式计算机、智能手机、平板电脑等。具体地，该计算设备可以包括存储器801、处理器802及存储在存储器上的计算机程序，所述处理器802执行所述程序时实现上述实施例中的任一检测结节的方法的步骤。其中，存储器801可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器802提供存储器801中存储的程序指令和数据。
进一步地，本申请实施例中所述的计算设备还可以包括输入装置803以及输出装置804等。输入装置803可以包括键盘、鼠标、触摸屏等；输出装置804可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)，触摸屏等。存储器801，处理器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。处理器802调用存储器801存储的程序指令并按照获得的程序指令执行上述实施例提供的检测结节的方法。
本发明实施例还提供了一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在计算设备上运行时，使得所述计算设备执行检测结节的方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种检测结节的方法，其特征在于，包括：
获取结节影像；
将所述结节影像依次通过M个3D下采样卷积块提取M个所述结节影像的第一特征图像，每个3D下采样卷积块提取的第一特征图像的尺寸均不同，M大于0；
将第M个3D下采样卷积块输出的第一特征图像依次通过M个3D上采样卷积块提取M个所述结节影像的第二特征图像，每个3D上采样卷积块提取的第二特征图像的尺寸均不同；
将尺寸相同的第一特征图像和第二特征图像合并后，确定M个所述结节影像的不同尺寸的特征图像；
针对所述结节影像的不同尺寸的特征图像中的任意一个特征图像，从所述特征图像中确定出结节识别框；
根据从各特征图像中确定出的结节识别框确定所述结节影像的结节。
2.如权利要求1所述的方法，其特征在于，所述从所述特征图像中确定出结节识别框，包括：
针对所述特征图像中任意一个像素，以所述像素为中心，向四周扩散确定第一区域；
在所述第一区域中根据预设规则设置多个预设框；
针对任意一个预设框，预测所述预设框与所述第一区域的位置偏差；
根据所述位置偏差调整所述预设框后确定结节识别框，并预测所述结节识别框的结节概率，所述结节概率为结节识别框框选的区域为结节的概率。
3.如权利要求2所述的方法，其特征在于，所述根据从各特征图像中确定出的结节识别框确定所述结节影像的结节，包括：
将所述各特征图像转化为同一尺寸的特征图像并对齐；
将从各特征图像中确定出的结节识别框进行筛选，并将筛选后的结节识别框确定为所述结节影像中的结节；
其中，结节识别框的筛选过程如下：从各特征图像的结节识别框中确定结节概率最大的结节识别框；
计算所述结节概率最大的结节识别框与其他结节识别框的交并比；
将交并比大于预设阈值的其他结节识别框删除；
从剩余的其他结节识别框中确定结节概率最大的结节识别框，重复执行结节识别框的筛选过程，直到没有剩余的其他结节识别框。
4.一种检测结节的装置，其特征在于，包括：
获取模块，用于获取结节影像；
特征提取模块，用于将所述结节影像依次通过M个3D下采样卷积块提取M个所述结节影像的第一特征图像，每个3D下采样卷积块提取的第一特征图像的尺寸均不同，M大于0；将第M个3D下采样卷积块输出的第一特征图像依次通过M个3D上采样卷积块提取M个所述结节影像的第二特征图像，每个3D上采样卷积块提取的第二特征图像的尺寸均不同；将尺寸相同的第一特征图像和第二特征图像合并后，确定M个所述结节影像的不同尺寸的特征图像；
识别模块，用于针对所述结节影像的不同尺寸的特征图像中的任意一个特征图像，从所述特征图像中确定出结节识别框；
处理模块，用于根据从各特征图像中确定出的结节识别框确定所述结节影像的结节。
5.如权利要求4所述的装置，其特征在于，所述识别模块具体用于：
针对所述特征图像中任意一个像素，以所述像素为中心，向四周扩散确定第一区域；
在所述第一区域中根据预设规则设置多个预设框；
针对任意一个预设框，预测所述预设框与所述第一区域的位置偏差；
根据所述位置偏差调整所述预设框后确定结节识别框，并预测所述结节识别框的结节概率，所述结节概率为结节识别框框选的区域为结节的概率。
6.如权利要求5所述的装置，其特征在于，所述处理模块具体用于：
将所述各特征图像转化为同一尺寸的特征图像并对齐；
将从各特征图像中确定出的结节识别框进行筛选，并将筛选后的结节识别框确定为所述结节影像中的结节；
其中，结节识别框的筛选过程如下：从各特征图像的结节识别框中确定结节概率最大的结节识别框；
计算所述结节概率最大的结节识别框与其他结节识别框的交并比；
将交并比大于预设阈值的其他结节识别框删除；
从剩余的其他结节识别框中确定结节概率最大的结节识别框，重复执行结节识别框的筛选过程，直到没有剩余的其他结节识别框。
7.一种计算设备，其特征在于，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行权利要求1～3任一权利要求所述方法的步骤。
8.一种计算机可读存储介质，其特征在于，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行权利要求1～3任一所述方法的步骤。
CN201810474907.XA 2018-05-17 2018-05-17 一种检测结节的方法及装置 Active CN108648192B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810474907.XA CN108648192B (zh) 2018-05-17 2018-05-17 一种检测结节的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810474907.XA CN108648192B (zh) 2018-05-17 2018-05-17 一种检测结节的方法及装置

Publications (2)

Publication Number Publication Date
CN108648192A CN108648192A (zh) 2018-10-12
CN108648192B true CN108648192B (zh) 2021-08-17

Family

ID=63756634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810474907.XA Active CN108648192B (zh) 2018-05-17 2018-05-17 一种检测结节的方法及装置

Country Status (1)

Country Link
CN (1) CN108648192B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461144B (zh) * 2018-10-16 2021-02-23 杭州依图医疗技术有限公司 一种乳腺影像识别的方法及装置
CN109363698B (zh) * 2018-10-16 2022-07-12 杭州依图医疗技术有限公司 一种乳腺影像征象识别的方法及装置
CN109363699B (zh) * 2018-10-16 2022-07-12 杭州依图医疗技术有限公司 一种乳腺影像病灶识别的方法及装置
CN109447963A (zh) * 2018-10-22 2019-03-08 杭州依图医疗技术有限公司 一种脑部影像识别的方法及装置
CN109636819A (zh) * 2018-12-17 2019-04-16 郑州云海信息技术有限公司 一种基于深度学习的肺结节生长速率预测装置
CN109711464B (zh) * 2018-12-25 2022-09-27 中山大学 基于层次化特征关系图构建的图像描述方法
CN109712131B (zh) * 2018-12-27 2021-04-16 上海联影智能医疗科技有限公司 肺结节特征的量化方法、装置、电子设备及存储介质
CN110222641B (zh) * 2019-06-06 2022-04-19 北京百度网讯科技有限公司 用于识别图像的方法和装置
CN110866897B (zh) * 2019-10-30 2022-10-14 上海联影智能医疗科技有限公司 一种图像检测方法及计算机可读存储介质
CN111369532A (zh) * 2020-03-05 2020-07-03 北京深睿博联科技有限责任公司 乳腺x射线影像的处理方法和装置
CN111461145B (zh) * 2020-03-31 2023-04-18 中国科学院计算技术研究所 一种基于卷积神经网络进行目标检测的方法
CN111583220B (zh) * 2020-04-30 2023-04-18 腾讯科技（深圳）有限公司 影像数据检测方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145908A (zh) * 2017-05-08 2017-09-08 江南大学 一种基于r‑fcn的小目标检测方法
CN107527029A (zh) * 2017-08-18 2017-12-29 卫晨 一种改进的Faster R‑CNN人脸检测方法
CN107680106A (zh) * 2017-10-13 2018-02-09 南京航空航天大学 一种基于Faster R‑CNN的显著性目标检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101909125B1 (ko) * 2011-11-23 2018-10-18 삼성전자주식회사 컴퓨터 기반 진단 방법 및 그에 따른 컴퓨터 기반 진단 장치
CN105447866A (zh) * 2015-11-22 2016-03-30 南方医科大学 基于卷积神经网络的x线胸片骨抑制处理方法
CN105654067A (zh) * 2016-02-02 2016-06-08 北京格灵深瞳信息技术有限公司 一种车辆检测方法及装置
CN107016665B (zh) * 2017-02-16 2021-05-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN107122735B (zh) * 2017-04-26 2020-07-14 中山大学 一种基于深度学习和条件随机场的多目标跟踪方法
CN107301640A (zh) * 2017-06-19 2017-10-27 太原理工大学 一种基于卷积神经网络的目标检测实现肺部微小结节检测的方法
CN107680678B (zh) * 2017-10-18 2020-12-01 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节诊断系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145908A (zh) * 2017-05-08 2017-09-08 江南大学 一种基于r‑fcn的小目标检测方法
CN107527029A (zh) * 2017-08-18 2017-12-29 卫晨 一种改进的Faster R‑CNN人脸检测方法
CN107680106A (zh) * 2017-10-13 2018-02-09 南京航空航天大学 一种基于Faster R‑CNN的显著性目标检测方法

Also Published As

Publication number Publication date
CN108648192A (zh) 2018-10-12

Similar Documents

Publication Publication Date Title
CN108648192B (zh) 一种检测结节的方法及装置
WO2020215985A1 (zh) 医学影像分割方法、装置、电子设备和存储介质
US10867384B2 (en) System and method for automatically detecting a target object from a 3D image
CN108229343B (zh) 目标对象关键点检测方法、深度学习神经网络及装置
CN109363699B (zh) 一种乳腺影像病灶识别的方法及装置
CN109003267B (zh) 从3d图像自动检测目标对象的计算机实现方法和系统
CN109447065B (zh) 一种乳腺影像识别的方法及装置
CN109363698B (zh) 一种乳腺影像征象识别的方法及装置
CN108717700B (zh) 一种检测结节长短径长度的方法及装置
EP4044115A1 (en) Image processing method and apparatus based on artificial intelligence, and device and storage medium
US9020233B2 (en) Method and system for up-vector detection for ribs in computed tomography volumes
WO2016054779A1 (en) Spatial pyramid pooling networks for image processing
CN109363697B (zh) 一种乳腺影像病灶识别的方法及装置
WO2021238548A1 (zh) 区域识别方法、装置、设备及可读存储介质
CN108888294B (zh) 一种检测颈部透明带宽度的方法及装置
CN112862824A (zh) 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质
CN104484886B (zh) 一种mr图像的分割方法及装置
US20220335600A1 (en) Method, device, and storage medium for lesion segmentation and recist diameter prediction via click-driven attention and dual-path connection
WO2021164280A1 (zh) 三维边缘检测方法、装置、存储介质和计算机设备
CN111798424B (zh) 一种基于医学图像的结节检测方法、装置及电子设备
CN111916206A (zh) 一种基于级联的ct影像辅助诊断系统
CN115953393A (zh) 基于多任务学习的颅内动脉瘤检测系统、设备及存储介质
CN110992310A (zh) 一种确定纵隔淋巴结所在分区的方法及装置
CN111583417B (zh) 一种图像语义和场景几何联合约束的室内vr场景构建的方法、装置、电子设备和介质
CN110210314B (zh) 人脸检测方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190620

Address after: 310000 Room 177, Building No. 16, Zhuantang Science and Technology Economic Zone, Xihu District, Hangzhou City, Zhejiang Province

Applicant after: According to the Hangzhou Medical Technology Co., Ltd.

Address before: 310000 Room 177, Building No. 16, Zhuantang Science and Technology Economic Zone, Xihu District, Hangzhou City, Zhejiang Province

Applicant before: According to the Hangzhou Medical Technology Co., Ltd.

Applicant before: Hangzhou Yi chart Network Technology Co., Ltd.

Applicant before: Guangzhou Yi chart Medical Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant