CN109523547A - 一种影像结节检出的方法及装置 - Google Patents
一种影像结节检出的方法及装置 Download PDFInfo
- Publication number
- CN109523547A CN109523547A CN201811570843.XA CN201811570843A CN109523547A CN 109523547 A CN109523547 A CN 109523547A CN 201811570843 A CN201811570843 A CN 201811570843A CN 109523547 A CN109523547 A CN 109523547A
- Authority
- CN
- China
- Prior art keywords
- tubercle
- feature extraction
- image
- extraction block
- convolution feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000005520 cutting process Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims description 158
- 230000015654 memory Effects 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 13
- 230000005284 excitation Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 8
- 230000002708 enhancing effect Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 208000009453 Thyroid Nodule Diseases 0.000 description 2
- 208000024770 Thyroid neoplasm Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010006272 Breast mass Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种影像结节检出的方法及装置，该方法包括获取结节影像，将至少3张结节影像输入至第一结节检出模型中，确定出结节影像的候选结节，对候选结节进行多方位的切割，得到候选结节的多个方向的多个切面影像，将至少3张连续的切面影像输入至第二结节检出模型，确定出结节影像中的结节。由于采用深度残差网络模型对已标记结节区域的结节影像进行训练学习得到的第一结节检出模型以及对结节的多个切面影像进行训练学习得到第二结节检出模型，可以提高结节检测的效率，并且在检测出结节后再过滤掉假阳性的结节，从而提高了结节检测的准确率。
Description
技术领域
本发明实施例涉及机器学习技术领域，尤其涉及一种影像结节检出的方法及装置。
背景技术
目前，结节己引起广泛关注，例如肺结节、甲状腺结节等等，医生一般通过医学影像手段观察患者结节的情况。由于随着时间的增长，患者的结节可能发生变化，例如，增大、减小，或者，长出新的结节等等。目前从医学影像中找出结节的方式主要是通过医生人工观察医学影像来查找出医学影像中对应的存在的结节，但是这种情况会导致找出的结节准确性不高，同时也会耗费大量的时间，并且存在较大的主观性。
发明内容
本发明实施例提供一种影像结节检出的方法及装置，用以提高结节检出的效率，以及提高结节检出的准确率。
本发明实施例提供的一种影像结节检出的方法，包括：
获取结节影像；
将至少3张所述结节影像输入至第一结节检出模型中，确定出所述结节影像的候选结节；所述第一结节检出模型是采用深度残差网络模型对已标记结节候选区域的多个结节影像进行训练后得到的；
对所述候选结节进行多方位的切割，得到所述候选结节的多个方向的多个切面影像；
将至少3张连续的所述切面影像输入至第二结节检出模型，确定出所述结节影像中的结节；所述第二结节检出模型是采用深度残差网络模型对结节的多个切面影像进行训练学习得到的。
由于采用深度残差网络模型对已标记结节区域的结节影像进行训练学习得到的第一结节检出模型以及对结节的多个切面影像进行训练学习得到第二结节检出模型，可以提高结节检测的效率，并且在检测出结节后再过滤掉假阳性的结节，从而提高了结节检测的准确率。
可选的，所述将至少3张所述结节影像输入至第一结节检出模型中，确定出所述结节影像的候选结节，包括：
将所述至少3张所述结节影像经N个连续的卷积特征提取块处理，得到所述结节影像的图像特征，N大于0，所述卷积特征提取块包括L个卷积模块，L大于0，任意一个卷积模块中包括卷积层、BN层及激励层；针对所述N个卷积特征提取块中任意两个连续的第一卷积特征提取块和第二卷积特征提取块，所述第二卷积特征提取块输出的第二图像特征与所述第一卷积特征提取块输出的第一图像特征相加后作为第三积特征提取块的输入或者N个连续的卷积特征提取块的输出；所述第三卷积特征提取块为位于所述第二卷积特征提取块之后且与所述第二卷积特征提取块连续的卷积特征提取块；
将所述结节影像的图像特征输入全连接层，输出所述结节影像的候选结节。
通过第一结节检出模型对结节影响进行检出，可以提高候选结节检出的效率。
可选的，所述对所述候选结节进行多方位的切割，得到所述候选结节的多个方向的多个切面影像，包括：
对所述候选结节在空间上进行不同方向的多次切割，得到所述候选结节在空间的多个方向上的多个切面影像。
通过对候选结节的多个方向上的切割，得到的多个切面影像，能够提高结节检出的准确度。
可选的，所述将至少3张连续的所述切面影像输入至第二结节检出模型，确定出所述结节影像中的结节，包括：
将所述至少3张连续的所述切面影像经N个连续的卷积特征提取块处理，得到所述切面影像的图像特征，N大于0，所述卷积特征提取块包括L个卷积模块，L大于0，任意一个卷积模块中包括卷积层、BN层及激励层；针对所述N个卷积特征提取块中任意两个连续的第一卷积特征提取块和第二卷积特征提取块，所述第二卷积特征提取块输出的第二图像特征与所述第一卷积特征提取块输出的第一图像特征相加后作为第三积特征提取块的输入或者N个连续的卷积特征提取块的输出；所述第三卷积特征提取块为位于所述第二卷积特征提取块之后且与所述第二卷积特征提取块连续的卷积特征提取块；
将所述切面影像的图像特征输入全连接层，输出所述结节影像的结节。
相应的，本发明实施例还提供了一种影像结节检出的装置，该方法包括：
获取单元，用于获取结节影像；
处理单元，用于将至少3张所述结节影像输入至第一结节检出模型中，确定出所述结节影像的候选结节；所述第一结节检出模型是采用深度残差网络模型对已标记结节候选区域的多个结节影像进行训练后得到的；
切割单元，用于对所述候选结节进行多方位的切割，得到所述候选结节的多个方向的多个切面影像；
检测单元，用于将至少3张连续的所述切面影像输入至第二结节检出模型，确定出所述结节影像中的结节；所述第二结节检出模型是采用深度残差网络模型对结节的多个切面影像进行训练学习得到的。
可选的，所述处理单元具体用于：
将所述至少3张所述结节影像经N个连续的卷积特征提取块处理，得到所述结节影像的图像特征，N大于0，所述卷积特征提取块包括L个卷积模块，L大于0，任意一个卷积模块中包括卷积层、BN层及激励层；针对所述N个卷积特征提取块中任意两个连续的第一卷积特征提取块和第二卷积特征提取块，所述第二卷积特征提取块输出的第二图像特征与所述第一卷积特征提取块输出的第一图像特征相加后作为第三积特征提取块的输入或者N个连续的卷积特征提取块的输出；所述第三卷积特征提取块为位于所述第二卷积特征提取块之后且与所述第二卷积特征提取块连续的卷积特征提取块；
将所述结节影像的图像特征输入全连接层，输出所述结节影像的候选结节。
可选的，所述切割单元，具体用于：
对所述候选结节在空间上进行不同方向的多次切割，得到所述候选结节在空间的多个方向上的多个切面影像。
可选的，所述检测单元具体用于：
将所述至少3张连续的所述切面影像经N个连续的卷积特征提取块处理，得到所述切面影像的图像特征，N大于0，所述卷积特征提取块包括L个卷积模块，L大于0，任意一个卷积模块中包括卷积层、BN层及激励层；针对所述N个卷积特征提取块中任意两个连续的第一卷积特征提取块和第二卷积特征提取块，所述第二卷积特征提取块输出的第二图像特征与所述第一卷积特征提取块输出的第一图像特征相加后作为第三积特征提取块的输入或者N个连续的卷积特征提取块的输出；所述第三卷积特征提取块为位于所述第二卷积特征提取块之后且与所述第二卷积特征提取块连续的卷积特征提取块；
将所述切面影像的图像特征输入全连接层，输出所述结节影像的结节。
相应的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述影像结节检出的方法。
相应的，本发明实施例还提供了一种图像识别的计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述影像结节检出的方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种系统架构的示意图；
图2为本发明实施例提供的一种影像结节检出的方法的流程示意图；
图3为本发明实施例提供的一种结节影像的示意图；
图4为本发明实施例提供的一种深度残差网络的结构示意图；
图5为本发明实施例提供的一种卷积特征提取块的结构示意图；
图6a和图6b分别示出了本发明实施例提供的一种结节切割的示意图；
图7为本发明实施例提供的一种影像结节检测的装置的结构示意图；
图8为本发明实施例提供的一种影像结节检测的设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明实施例提供的影像结节检出的方法所适用的系统架构。参考图1所示，该系统架构可以为服务器100，包括处理器110、通信接口120和存储器130。
其中，通信接口120用于医生适用的终端设备进行通信，收发该终端设备传输的信息，实现通信。
处理器110是服务器100的控制中心，利用各种接口和线路连接整个服务器100的各个部分，通过运行或执行存储在存储器130内的软件程序/或模块，以及调用存储在存储器130内的数据，执行服务器100的各种功能和处理数据。可选地，处理器110可以包括一个或多个处理单元。
存储器130可用于存储软件程序以及模块，处理器110通过运行存储在存储器130的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器130可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据业务处理所创建的数据等。此外，存储器130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。
基于上述描述，图2示例性的示出了本发明实施例提供的一种影像结节检出的流程，该流程可以由影像结节检出的装置执行。
如图2所示，该流程具体包括：
步骤201，获取结节影像。
结节影像为三维图像。结节包括但不限于肺结节、甲状腺结节、乳腺结节。其中，肺结节也可以理解为肺内斑片，也就是说，本发明实施例适用于肺内斑片检出。结节影像可以是计算机体层摄影(Computed Tomography，简称CT)影像、磁共振成像(MagneticResonance Imaging，简称MRI)影像等等，为了更清楚的描述结节影像，图3示例性示出了一名患者的肺部CT影像。
步骤202，将至少3张所述结节影像输入至第一结节检出模型中，确定出所述结节影像的候选结节。
在本发明实施例中，该第一结节检出模型是采用深度残差网络模型对已标记结节候选区域的多个结节影像进行训练后得到的。因此，在将至少3张结节影像输入至第一结节检出模型中之前，还需要对已标记结节候选区域的多个结节影像进行训练。
具体的，可以将获取的多幅结节影像直接作为训练样本，也可以对获取的多幅结节影像进行增强操作，扩大训练样本的数据量，增强操作包括但不限于：随机上下左右平移设定像素(比如0～20像素)、随机旋转设定角度(比如-15～15度)、随机缩放设定倍数(比如0.85～1.15倍)。
然后可以通过医生等专业人员对训练样本中的结节进行标记，标记的内容包括结节的中心坐标以及结节的直径。具体地，可以由多名医生对结节进行标注，并通过多人投票合成的方式确定最终的结节以及结节参数，结果用掩码图的方式保存。需要说明的是，人工标记训练样本中结节与训练样本的增强操作不分先后，可以先人工标记训练样本中的结节，然后再将标记结节的训练样本进行增强操作，也可以先将训练样本进行增强操作，然后人工对增强操作后的训练样本进行标记。
最后再将训练样本输入至该深度残差网络模型进行训练，将输出的结节与预先标记的训练样本的掩码图进行损失函数计算，然后采用反向传播算法以及带有动量和阶梯衰减的sgd优化算法反复迭代，确定第一结节检出模型。
训练好第一结节检出模型后，就可以将至少3张结节影像输入至第一结节检出模型中，确定出结节影像的候选结节。
该第一结节检出模型包括N个连续的卷积特征提取块和一个全连接层，N大于0，具体如图4所示。将至少3张结节影像经N个连续的卷积特征提取块处理，得到结节影像的图像特征。其中，该卷积特征提取块包括L个卷积模块，L大于0，如图5所示，任意一个卷积模块中包括卷积层、BN层及激励层；针对N个卷积特征提取块中任意两个连续的第一卷积特征提取块和第二卷积特征提取块，第二卷积特征提取块输出的第二图像特征与第一卷积特征提取块输出的第一图像特征相加后作为第三积特征提取块的输入或者N个连续的卷积特征提取块的输出；第三卷积特征提取块为位于第二卷积特征提取块之后且与第二卷积特征提取块连续的卷积特征提取块。第一卷积特征提取块输出的特征图像的个数小于第一卷积特征提取块输入的特征图像的个数，第二卷积特征提取块输出的特征图像的个数大于第一卷积特征提取块输出的特征图像的个数。
本发明实施例中卷积特征提取块可以为2D卷积神经网络中的特征提取模块，相应的，第一卷积特征提取块的卷积核大小可以为m*m、第二卷积特征提取块的卷积核大小可以为n*n；m和n可以相同也可以不同，在此不做限定；其中，m，n为大于或等于1的整数。
通过设置不同的卷积核，可以有效的提高特征提取的感知野，有利于提高结节检出的准确度。
在得到结节影像的图像特征后，就可以将结节影像的图像特征输入全连接层，从而输出结节影像的候选结节。
步骤203，对所述候选结节进行多方位的切割，得到所述候选结节的多个方向的多个切面影像。
为了能够得到更准确的结节，在得到候选结节之后，还需要对候选结节进行多方位的切割，从而得到候选结节的多个方向的多个切面影像。如图6a和图6b所示两种切割方式，对候选结节在空间上进行不同方向的多次切割，得到候选结节在空间的多个方向上的多个切面影像。也就是对候选结节在空间层次，以候选结节的中心为交点的多个截面。
步骤204，将至少3张连续的所述切面影像输入至第二结节检出模型，确定出所述结节影像中的结节。
在本发明实施例中，该第二结节检出模型是通过采用深度残差网络模型对结节的多个切面影像进行训练学习得到的。因此，在将至少3张连续的切面影像输入至第二结节检出模型之前，和需要通过对已标记好的结节的多个切面影像进行训练。
需要说明的是第二结节检出模型的训练方式与第一结节检出模型的训练方式相同，已在上述实施例中描述，不在赘述，可参照之前第一结节检出模型的训练。
将至少3张连续的所述切面影像经N个连续的卷积特征提取块处理，得到切面影像的图像特征，所述卷积特征提取块包括L个卷积模块，任意一个卷积模块中包括卷积层、BN层及激励层；针对N个卷积特征提取块中任意两个连续的第一卷积特征提取块和第二卷积特征提取块，该第二卷积特征提取块输出的第二图像特征与第一卷积特征提取块输出的第一图像特征相加后作为第三积特征提取块的输入或者N个连续的卷积特征提取块的输出；第三卷积特征提取块为位于第二卷积特征提取块之后且与第二卷积特征提取块连续的卷积特征提取块。将切面影像的图像特征输入全连接层，就可以输出结节影像的结节。
通过上述检出方式，可以过滤掉假阳性的候选结节，得到的就是最终的结节，从而可以提高结节检出的准确度。
上述实施例表明，通过获取结节影像，将至少3张结节影像输入至第一结节检出模型中，确定出结节影像的候选结节，第一结节检出模型是采用深度残差网络模型对已标记结节候选区域的多个结节影像进行训练后得到的，对候选结节进行多方位的切割，得到候选结节的多个方向的多个切面影像，将至少3张连续的切面影像输入至第二结节检出模型，确定出结节影像中的结节，第二结节检出模型是采用深度残差网络模型对结节的多个切面影像进行训练学习得到的。由于采用深度残差网络模型对已标记结节区域的结节影像进行训练学习得到的第一结节检出模型以及对结节的多个切面影像进行训练学习得到第二结节检出模型，可以提高结节检测的效率，并且在检测出结节后再过滤掉假阳性的结节，从而提高了结节检测的准确率。
基于相同的技术构思，图7示例性的示出了本发明实施例提供的一种影像结节检出的装置700，该装置700可以执行影像结节检出的流程。
如图7所示，该装置具体包括：
获取单元701，用于获取结节影像；
处理单元702，用于将至少3张所述结节影像输入至第一结节检出模型中，确定出所述结节影像的候选结节；所述第一结节检出模型是采用深度残差网络模型对已标记结节候选区域的多个结节影像进行训练后得到的；
切割单元703，用于对所述候选结节进行多方位的切割，得到所述候选结节的多个方向的多个切面影像；
检测单元704，用于将至少3张连续的所述切面影像输入至第二结节检出模型，确定出所述结节影像中的结节；所述第二结节检出模型是采用深度残差网络模型对结节的多个切面影像进行训练学习得到的。
可选的，所述处理单元702具体用于：
将所述至少3张所述结节影像经N个连续的卷积特征提取块处理，得到所述结节影像的图像特征，N大于0，所述卷积特征提取块包括L个卷积模块，L大于0，任意一个卷积模块中包括卷积层、BN层及激励层；针对所述N个卷积特征提取块中任意两个连续的第一卷积特征提取块和第二卷积特征提取块，所述第二卷积特征提取块输出的第二图像特征与所述第一卷积特征提取块输出的第一图像特征相加后作为第三积特征提取块的输入或者N个连续的卷积特征提取块的输出；所述第三卷积特征提取块为位于所述第二卷积特征提取块之后且与所述第二卷积特征提取块连续的卷积特征提取块；
将所述结节影像的图像特征输入全连接层，输出所述结节影像的候选结节。
可选的，所述切割单元703具体用于：
对所述候选结节在空间上进行不同方向的多次切割，得到所述候选结节在空间的多个方向上的多个切面影像。
可选的，所述检测单元704具体用于：
将所述至少3张连续的所述切面影像经N个连续的卷积特征提取块处理，得到所述切面影像的图像特征，N大于0，所述卷积特征提取块包括L个卷积模块，L大于0，任意一个卷积模块中包括卷积层、BN层及激励层；针对所述N个卷积特征提取块中任意两个连续的第一卷积特征提取块和第二卷积特征提取块，所述第二卷积特征提取块输出的第二图像特征与所述第一卷积特征提取块输出的第一图像特征相加后作为第三积特征提取块的输入或者N个连续的卷积特征提取块的输出；所述第三卷积特征提取块为位于所述第二卷积特征提取块之后且与所述第二卷积特征提取块连续的卷积特征提取块；
将所述切面影像的图像特征输入全连接层，输出所述结节影像的结节。
基于相同的技术构思，本发明实施例还提供了一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述影像结节检出的方法。
基于相同的技术构思，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述影像结节检出的方法。
基于相同的技术构思，本发明实施例提供了一种影像结节检出的设备，如图8所示，包括至少一个处理器801，以及与至少一个处理器连接的存储器802，本申请实施例中不限定处理器801与存储器802之间的具体连接介质，图8中处理器801和存储器802之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。
在本申请实施例中，存储器802存储有可被至少一个处理器801执行的指令，至少一个处理器801通过执行存储器802存储的指令，可以执行前述的影像结节检出的方法中所包括的步骤。
其中，处理器801是影像结节检出的设备的控制中心，可以利用各种接口和线路连接影像结节检出的设备的各个部分，通过运行或执行存储在存储器802内的指令以及调用存储在存储器802内的数据，从而实现影像结节检出。可选的，处理器801可包括一个或多个处理单元，处理器801可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器801中。在一些实施例中，处理器801和存储器802可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器801可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器802作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器802可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器902是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器802还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种影像结节检出的方法，其特征在于，该方法包括：
获取结节影像；
将至少3张所述结节影像输入至第一结节检出模型中，确定出所述结节影像的候选结节；所述第一结节检出模型是采用深度残差网络模型对已标记结节候选区域的多个结节影像进行训练后得到的；
对所述候选结节进行多方位的切割，得到所述候选结节的多个方向的多个切面影像；
将至少3张连续的所述切面影像输入至第二结节检出模型，确定出所述结节影像中的结节；所述第二结节检出模型是采用深度残差网络模型对结节的多个切面影像进行训练学习得到的。
2.如权利要求1所述的方法，其特征在于，所述将至少3张所述结节影像输入至第一结节检出模型中，确定出所述结节影像的候选结节，包括：
将所述至少3张所述结节影像经N个连续的卷积特征提取块处理，得到所述结节影像的图像特征，N大于0，所述卷积特征提取块包括L个卷积模块，L大于0，任意一个卷积模块中包括卷积层、BN层及激励层；针对所述N个卷积特征提取块中任意两个连续的第一卷积特征提取块和第二卷积特征提取块，所述第二卷积特征提取块输出的第二图像特征与所述第一卷积特征提取块输出的第一图像特征相加后作为第三积特征提取块的输入或者N个连续的卷积特征提取块的输出；所述第三卷积特征提取块为位于所述第二卷积特征提取块之后且与所述第二卷积特征提取块连续的卷积特征提取块；
将所述结节影像的图像特征输入全连接层，输出所述结节影像的候选结节。
3.如权利要求1所述的方法，其特征在于，所述对所述候选结节进行多方位的切割，得到所述候选结节的多个方向的多个切面影像，包括：
对所述候选结节在空间上进行不同方向的多次切割，得到所述候选结节在空间的多个方向上的多个切面影像。
4.如权利要求1所述的方法，其特征在于，所述将至少3张连续的所述切面影像输入至第二结节检出模型，确定出所述结节影像中的结节，包括：
将所述至少3张连续的所述切面影像经N个连续的卷积特征提取块处理，得到所述切面影像的图像特征，N大于0，所述卷积特征提取块包括L个卷积模块，L大于0，任意一个卷积模块中包括卷积层、BN层及激励层；针对所述N个卷积特征提取块中任意两个连续的第一卷积特征提取块和第二卷积特征提取块，所述第二卷积特征提取块输出的第二图像特征与所述第一卷积特征提取块输出的第一图像特征相加后作为第三积特征提取块的输入或者N个连续的卷积特征提取块的输出；所述第三卷积特征提取块为位于所述第二卷积特征提取块之后且与所述第二卷积特征提取块连续的卷积特征提取块；
将所述切面影像的图像特征输入全连接层，输出所述结节影像的结节。
5.一种影像结节检出的装置，其特征在于，该方法包括：
获取单元，用于获取结节影像；
处理单元，用于将至少3张所述结节影像输入至第一结节检出模型中，确定出所述结节影像的候选结节；所述第一结节检出模型是采用深度残差网络模型对已标记结节候选区域的多个结节影像进行训练后得到的；
切割单元，用于对所述候选结节进行多方位的切割，得到所述候选结节的多个方向的多个切面影像；
检测单元，用于将至少3张连续的所述切面影像输入至第二结节检出模型，确定出所述结节影像中的结节；所述第二结节检出模型是采用深度残差网络模型对结节的多个切面影像进行训练学习得到的。
6.如权利要求5所述的装置，其特征在于，所述处理单元具体用于：
将所述至少3张所述结节影像经N个连续的卷积特征提取块处理，得到所述结节影像的图像特征，N大于0，所述卷积特征提取块包括L个卷积模块，L大于0，任意一个卷积模块中包括卷积层、BN层及激励层；针对所述N个卷积特征提取块中任意两个连续的第一卷积特征提取块和第二卷积特征提取块，所述第二卷积特征提取块输出的第二图像特征与所述第一卷积特征提取块输出的第一图像特征相加后作为第三积特征提取块的输入或者N个连续的卷积特征提取块的输出；所述第三卷积特征提取块为位于所述第二卷积特征提取块之后且与所述第二卷积特征提取块连续的卷积特征提取块；
将所述结节影像的图像特征输入全连接层，输出所述结节影像的候选结节。
7.如权利要求5所述的装置，其特征在于，所述切割单元，具体用于：
对所述候选结节在空间上进行不同方向的多次切割，得到所述候选结节在空间的多个方向上的多个切面影像。
8.如权利要求5所述的装置，其特征在于，所述检测单元具体用于：
将所述至少3张连续的所述切面影像经N个连续的卷积特征提取块处理，得到所述切面影像的图像特征，N大于0，所述卷积特征提取块包括L个卷积模块，L大于0，任意一个卷积模块中包括卷积层、BN层及激励层；针对所述N个卷积特征提取块中任意两个连续的第一卷积特征提取块和第二卷积特征提取块，所述第二卷积特征提取块输出的第二图像特征与所述第一卷积特征提取块输出的第一图像特征相加后作为第三积特征提取块的输入或者N个连续的卷积特征提取块的输出；所述第三卷积特征提取块为位于所述第二卷积特征提取块之后且与所述第二卷积特征提取块连续的卷积特征提取块；
将所述切面影像的图像特征输入全连接层，输出所述结节影像的结节。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行如权利要求1至4中任一项所述的方法。
10.一种图像识别的计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行如权利要求1至4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811570843.XA CN109523547A (zh) | 2018-12-21 | 2018-12-21 | 一种影像结节检出的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811570843.XA CN109523547A (zh) | 2018-12-21 | 2018-12-21 | 一种影像结节检出的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109523547A true CN109523547A (zh) | 2019-03-26 |
Family
ID=65795533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811570843.XA Pending CN109523547A (zh) | 2018-12-21 | 2018-12-21 | 一种影像结节检出的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109523547A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084314A (zh) * | 2019-05-06 | 2019-08-02 | 西安交通大学 | 一种针对靶向捕获基因测序数据的假阳性基因突变过滤方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016665A (zh) * | 2017-02-16 | 2017-08-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
| CN107145727A (zh) * | 2017-04-26 | 2017-09-08 | 中国人民解放军总医院 | 一种利用卷积神经网络的医学图像处理装置与方法 |
| CN107563983A (zh) * | 2017-09-28 | 2018-01-09 | 上海联影医疗科技有限公司 | 图像处理方法以及医学成像设备 |
| CN108399616A (zh) * | 2018-02-11 | 2018-08-14 | 西安理工大学 | 基于深度残差网络的骨科病病变分类分级方法 |
| CN108664971A (zh) * | 2018-05-22 | 2018-10-16 | 中国科学技术大学 | 基于2d卷积神经网络的肺结节检测方法 |
| CN108888294A (zh) * | 2018-03-30 | 2018-11-27 | 杭州依图医疗技术有限公司 | 一种检测颈部透明带宽度的方法及装置 |
-
2018
- 2018-12-21 CN CN201811570843.XA patent/CN109523547A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016665A (zh) * | 2017-02-16 | 2017-08-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
| CN107145727A (zh) * | 2017-04-26 | 2017-09-08 | 中国人民解放军总医院 | 一种利用卷积神经网络的医学图像处理装置与方法 |
| CN107563983A (zh) * | 2017-09-28 | 2018-01-09 | 上海联影医疗科技有限公司 | 图像处理方法以及医学成像设备 |
| CN108399616A (zh) * | 2018-02-11 | 2018-08-14 | 西安理工大学 | 基于深度残差网络的骨科病病变分类分级方法 |
| CN108888294A (zh) * | 2018-03-30 | 2018-11-27 | 杭州依图医疗技术有限公司 | 一种检测颈部透明带宽度的方法及装置 |
| CN108664971A (zh) * | 2018-05-22 | 2018-10-16 | 中国科学技术大学 | 基于2d卷积神经网络的肺结节检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| JIHYE YUN 等: "Improvement of fully automated airway segmentation on volumetric computed tomographic images using a 2.5 dimensional convolutional neural net", 《MEDICAL IMAGE ANALYSIS》 * |
| KAIMING HE 等: "Deep Residual Learning for Image Recognition", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| NANNAN SUN 等: "Deep Convolutional Nets for Pulmonary Nodule Detection and Classification", 《KNOWLEDGE SCIENCE, ENGINEERING AND MANAGEMENT, KSEM 2018, PT II》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084314A (zh) * | 2019-05-06 | 2019-08-02 | 西安交通大学 | 一种针对靶向捕获基因测序数据的假阳性基因突变过滤方法 |
| CN110084314B (zh) * | 2019-05-06 | 2021-08-13 | 西安交通大学 | 一种针对靶向捕获基因测序数据的假阳性基因突变过滤方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110662484B (zh) | 用于全身测量结果提取的系统和方法 | |
| CN106650662B (zh) | 目标对象遮挡检测方法及装置 | |
| US8319793B2 (en) | Analyzing pixel data by imprinting objects of a computer-implemented network structure into other objects | |
| CN108648178A (zh) | 一种影像结节检测的方法及装置 | |
| CN108615237A (zh) | 一种肺部图像处理方法及图像处理设备 | |
| CN110490212A (zh) | 钼靶影像处理设备、方法和装置 | |
| CN111429421B (zh) | 模型生成方法、医学图像分割方法、装置、设备及介质 | |
| CN109685060A (zh) | 图像处理方法和装置 | |
| CN108986891A (zh) | 医疗影像处理方法及装置、电子设备及存储介质 | |
| CN110008956A (zh) | 发票关键信息定位方法、装置、计算机设备及存储介质 | |
| CN107633526A (zh) | 一种图像跟踪点获取方法及设备、存储介质 | |
| CN109377484A (zh) | 一种检测骨龄的方法及装置 | |
| CN110400299A (zh) | 一种肺部胸腔积液检出的方法及装置 | |
| CN110163834A (zh) | 对象识别方法和装置及存储介质 | |
| US11386553B2 (en) | Medical image data | |
| CN109146879A (zh) | 一种检测骨龄的方法及装置 | |
| CN109272002A (zh) | 一种骨龄片的分类方法及装置 | |
| CN110796659B (zh) | 一种目标检测结果的鉴别方法、装置、设备及存储介质 | |
| CN108875481A (zh) | 用于行人检测的方法、装置、系统及存储介质 | |
| CN109447963A (zh) | 一种脑部影像识别的方法及装置 | |
| CN110136153A (zh) | 一种图像处理方法、设备及存储介质 | |
| Porzi et al. | Learning contours for automatic annotations of mountains pictures on a smartphone | |
| CN109523546A (zh) | 一种肺结节分析的方法及装置 | |
| CN107845091A (zh) | 基于预筛查的快速标注方法和系统 | |
| US20200327661A1 (en) | Systems and methods for processing 3d anatomical volumes based on localization of 2d slices thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190326 |
|
| RJ01 | Rejection of invention patent application after publication |