CN109492547B - 一种结节识别方法、装置和存储介质 - Google Patents

Abstract

本发明实施例公开了一种结节识别方法、装置和存储介质；本发明实施例可以获取结节对应的三维生命体组织图像、位置信息；根据位置信息获取三维生命体组织图像中结节周围的多个三维像素块；基于三维卷积神经网络模型对三维像素块进行假阳性识别，得到三维像素块对应的假阳性识别结果；对三维像素块对应的假阳性识别结果进行融合，得到结节的最终假阳性识别结果。该方案可以提高结节假阳性识别的准确性、效率以及鲁棒性。

Description

一种结节识别方法、装置和存储介质

技术领域

本发明涉及通信技术领域，具体涉及一种结节识别方法、装置和存储介质。

背景技术

随着人工智能(AI，Artificial Intelligence)的发展，AI在医疗领域上的应用也越来越为广泛。比如，可以通过AI来实现病变诊断或检测等。

目前在医疗领域，可以通过AI实现结节检测如肺结节检测等，比如，可以采集肺部图像，然后，基于肺结节检测模型对肺部图像进行结节检测，得到结节检测结果，展示结节检测结果。

在利用AI检测结节的实际过程中，为提升结节检测的准确率，一般在通过AI检测到结节如肺结节后，还需要判别检测到的结节如一些存在疑虑或者不确定的结节是否为假阳性(也即判别检测到的结节是否为假结节)。

目前结节假阳性识别方案主要是基于传统机器学习算法来识别或判别结节如肺结节是否为假阳性。基于传统机器学习算法的结节假阳性识别方案，需要对存疑结节周围图像进行人工特征提取，如提取灰度、梯度直方图、SIFT(Scale-invariant featuretransform，尺度不变特征变换)特征、HOG(Histogram of Oriented Gradient,方向梯度直方图)特征等特征，然后将所提取的特征进行尺度上的统一，拼接成多维向量，然后，输入到SVM(Support Vector Machine,支持向量机)、随机森林等传统分类器中进行分类，从而实现结节假阳性识别。

然而，基于传统机器学习算法的结节假阳性识主要依赖于人工设计特征的好坏，其描述能力有限，并且算法的运行时间较长，因此，结节假阳性识别的准确性和效率较低。

发明内容

本发明实施例提供一种结节识别方法、装置和存储介质，可以提高结节假阳性识别的准确性和效率。

本发明实施例提供一种结节识别方法，包括：

获取结节对应的三维生命体组织图像、位置信息；

根据所述位置信息获取三维生命体组织图像中所述结节周围的多个三维像素块；

基于三维卷积神经网络模型对所述三维像素块进行假阳性识别，得到三维像素块对应的假阳性识别结果；

对所述三维像素块对应的假阳性识别结果进行融合，得到所述结节的最终假阳性识别结果。

相应的，本发明实施例还提供一种结节识别装置，包括：

图像获取单元，用于获取结节对应的三维生命体组织图像、位置信息；

像素块获取单元，用于根据所述位置信息获取三维生命体组织图像中所述结节周围的多个三维像素块；

识别单元，用于基于三维卷积神经网络模型对所述三维像素块进行假阳性识别，得到三维像素块对应的假阳性识别结果；

融合单元，用于对所述三维像素块对应的假阳性识别结果进行融合，得到所述结节的最终假阳性识别结果。

此外，本发明实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种结节识别方法中的步骤。

本发明实施例可以获取结节对应的三维生命体组织图像、位置信息；根据位置信息获取三维生命体组织图像中结节周围的多个三维像素块；基于三维卷积神经网络模型对三维像素块进行假阳性识别，得到三维像素块对应的假阳性识别结果；对三维像素块对应的假阳性识别结果进行融合，得到结节的最终假阳性识别结果。该方案可以获取结节的周围空间信息，并采用三维卷积神经网络模型充分提取结节的周边空间特征信息进行假阳性识别，最后对识别结果进行融合；该方案从而无需依赖于人工设计特征，并且算法运行的时间较短，可以提高结节假阳性识别的准确性、效率以及鲁棒性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本发明实施例提供的结节识别方法的场景示意图；

图1b是本发明实施例提供的结节识别方法的流程图；

图1c是本发明实施例提供的3D残差卷积神经网络的结构示意图；

图2a是本发明实施例提供的结节识别方法的另一流程图；

图2b是本发明实施例提供的结节识别系统的架构示意图；

图2c是本发明实施例提供的结节识别方法的框架示意图；

图3a是本发明实施例提供的结节识别装置的第一种结构示意图；

图3b是本发明实施例提供的结节识别装置的第二种结构示意图

图3c是本发明实施例提供的结节识别装置的第三种结构示意图；

图3d是本发明实施例提供的结节识别装置的第四种结构示意图；

图3e是本发明实施例提供的结节识别装置的第五种结构示意图；

图4是本发明实施例提供的网络设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种结节识别方法、装置和存储介质。

其中，该结节识别装置具体可以集成在网络设备，如终端或服务器等设备中，例如，参考图1a，网络设备可以获取结节对应的三维生命体组织图像、位置信息；比如，可以从结节检测系统获取结节对应的三维生命体组织图像、位置信息，等等(在一实施例中，结节检测系统也集成在网络设备中，比如，可以由一台服务器来实现结节检测和识别)；然后，根据位置信息获取三维生命体组织图像中结节周围的多个三维像素块；基于三维卷积神经网络模型对三维像素块进行假阳性识别，得到三维像素块对应的假阳性识别结果；对三维像素块对应的假阳性识别结果进行融合，得到结节的最终假阳性识别结果。

其中，网络设备可以采用图像增强的方式获取结节周围的三维像素块，比如，网络设备可以根据位置信息对三维生命体组织图像中结节图像进行增强处理，得多个三维像素块。

其中，三维像素块对应的假阳性识别结果可以包括：三维像素块对应的假阳性概率，网络设备对识别结果融合的过程可以包括：对三维像素块对应的假阳性识别概率进行融合，得到融合后概率；根据融合后概率获取结节的最终假阳性识别结果。

以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。

在本发明实施例中，将结节识别装置的角度进行描述，该结节识别装置具体可以集成在网络设备如终端或服务器等设备中。

在一实施例中，提供了一种结节识别方法，该方法可以由网络设备的处理器执行，如图1b所示，该结节识别方法的具体流程可以如下：

101、获取结节对应的三维生命体组织图像、位置信息。

本发明实施例的结节识别方法的目的是识别结节是否为假阳性，也即结节是否为假结节。

其中，结节对应的三维生命体组织图像可以包括结节所在生命体组织的三维图像。

其中，生命体组织，指的是生命体(有生命形态的独立个体就是生命体，能对外界刺激做出相应反映)的某组成部分，比如人体的肺部、肠胃、心脏、喉咙和阴道等，又比如狗的肠胃、甚至口腔或皮肤等。

例如，结节对应的三维生命体组织图像可以为肺结节所在肺部的三维图像，等等。

本发明实施例获取三维生命体组织图像的方式可以有多种，比如，可以直接其系统如结节检测系统或者其他设备中获取三维生命体组织图像如肺部三维图像；又比如，还可以自己获取结节对应的生命体组织的CT(电子计算机断层扫描)数据；然后，根据CT数据构建三维生命体组织图像。

例如，可以获取生命体组织的电子计算机断层扫描数据，然后，根据电子计算机断层扫描数据构建生命体组织的三维图像，即三维生命体组织图像。

具体地，获取电子计算断层扫描图像的二维像素矩阵，得到电子计算机断层扫描图像序列对应的二维像素矩阵序列；根据二维像素矩阵序列构建三维像素矩阵，得到生命体组织的三维图像；

比如，可以获取CT图像在序列中的位置标识如序列号或层号，然后，基于位置标识对CT图像进行排列，获取排列后CT图像的二维像素矩阵，得到二维像素矩阵序列，根据二维像素矩阵训练构建三维像素矩阵，得到三维图像。

本发明实施例中，CT数据可以从图像采集设备如CT设备直接获取；也可以从结节检测系统中获取，该结节检测系统用于从图像采集设备如CT设备获取生命体组织的CT数据，然后，基于AI模型对CT数据进行结节检测。在结节检测系统后，本发明实施例结节识别装置便可以从结节检测系统中获取生命体组织的CT数据。

CT即电子计算机断层扫描，它是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点。

其中，CT数据可以包括CT图像序列、生命体基本信息(如病人基本信息，包括年龄、性别、检查时间等)、CT图像属性信息等等。该CT图像属性信息可以包括CT图像的尺寸、像素、CT图像在序列中的位置信息(如序号、扫描层号等等)，等信息。

其中，结节的位置信息可以为结节在其对应的三维生命体组织图像中的位置信息，比如，在建立三维图像坐标系的情况下，该位置信息可以包括结节在三维生命体组织图像中的三维坐标值(如x、y、z值)。

本发明实施例获取结节的位置信息方式可以有多种，比如，在一实施例中，可以从其他系统如结节检测系统中获取，结节检测系统可以基于AI模型对CT数据进行结节检测，并输出结节的位置信息如结节的坐标。因此，本发明实施例结节识别装只可以从结节检测系统中获取结节(如存疑结节)的位置信息。

又比如，在一实施例中，结节的位置信息还可以由结节识别装置自己获取，比如，可以读取医生标注的结节的位置信息，或者医生输入的结节的位置信息；譬如，实际应用中，医生可以通过设备在三维生命体组织图像中标记结节，此时，可以读取标注结节的位置信息如三维坐标值。

应当理解的是，本发明实施例获取三维生命体组织图像以及位置信息的方式不仅于上述介绍的方式。

102、根据位置信息获取三维生命体组织图像中结节周围的多个三维像素块。

其中，三维(3d)像素块为生命体组织的三维图像中结节图像周围的三维像素块。该结节周围的三维像素块可以包括结节自身所在的三维像素块、以及结节周边的三维像素块；或者，在一实施例中，结节周围的三维像素块可以不包含结节自身所在的三维像素块，仅包含结节周边的三维像素块。具体可以根据实际需求选择。

本发明实施例基于位置信息获取结节周围的三维像素块的方式可以有多种，比如，在一实施例中，可以对结节的位置信息进行变化，根据变化后的位置信息从三维生命体组织图像中提取(如裁剪)三维像素块。

又比如，在一实施例中，可以采用图像增强的方式来获取三维像素块，具体地，步骤“根据位置信息获取三维生命体组织图像中结节周围的多个三维像素块”，可以包括：根据位置信息对三维生命体组织图像中结节图像进行图像增强处理，得结节周围的多个三维像素块。

其中，图像增强处理的方式(类型)可以包括：移动(如平移)、旋转、缩放等增强方式。

例如，可以根据结节的坐标信息(x、y、z)对三维生命体组织图像中结节图像进行小幅度移动、旋转等图像增强处理，得到结节周围的多个3d像素块。

具体地，步骤“根据位置信息对三维生命体组织图像中结节图像进行图像增强处理，得结节周围的多个三维像素块”，可以包括：

根据位置信息在三维生命体组织图像中对结节图像进行图像增强处理，得到多个增强处理后结节图像的位置信息；

根据增强处理后结节图像的位置信息从三维生命体组织图像中裁剪相应尺寸的三维像素块，得到结节周围的多个三维像素块。

例如，可以对三维生命体组织图像中结节图像进行旋转操作，得到旋转后结节图像的位置信息，然后根据旋转后结节图像的位置信息从三维生命体组织图像裁剪出相应的三维像素块；譬如，按照旋转后结节图像的位置信息裁剪出选择后结节图像，便得到三维像素块。

具体地，可以按照分别对三维生命体组织图像中结节图像进行多个不同的旋转方向，得到多个旋转后结节图像的位置信息，然后，根据旋转后结节图像的位置信息从三维生命体组织图像裁剪出相应的三维像素块，便可以得到多个三维像素块。

又例如，可以对结节图像进行移动如平移操作，得到平移后结节结节图像的位置信息，然后，根据平移后结节图像的位置信息从三维命体组织图像裁剪出相应尺寸的三维像素块。譬如，可以根据预设移动参数对三维生命体组织图像中结节图像进行移动，得到多个移动如平移后结节图像的位置信息，然后，根据每个移动后的位置信息来从三维命体组织图像裁剪出相应尺寸的三维像素块，得到多个像素块。也即，步骤“根据位置信息在三维生命体组织图像中对结节图像进行增强处理，得到多个增强处理后结节图像的位置信息”，可以包括：根据预设移动参数对三维生命体组织图像中结节图像进行移动，得到多个移动后结节图像的位置信息；

步骤“根据增强处理后结节图像的位置信息从三维生命体组织图像中裁剪相应尺寸的三维像素块”，可以包括：根据移动后结节图像的位置信息从三维生命体组织图像中裁剪相应尺寸的三维像素块。

其中，预设移动参数可以包括移动方向、移动距离中的至少一种，移动参数的具体值可以根据实际需求设定。

比如，可以按照不同的预设移动参数分别对三维生命体组织图像中结节图像进行多次不同的移动，然后，根据每个移动后结节图像的位置信息来裁剪出三维像素块。

其中，结节对应的位置信息可以包括结节对应的结节图像中某一点(如像素点)的位置信息(即参考点的位置信息)，该参考点可以根据实际需求选择，比如，可以为结节的中心点、或者其他点。本发明实施例对结节图像移动可以是对结节图像上的参考点进行移动。

本发明实施例，在得到移动后结节图像的位置信息如坐标信息，可以基于该位置信息从三维生命体组织图像裁剪出预定尺寸的三维像素块。例如，可以基于移动后参考点的位置信息来裁剪三维像素块。

其中，基于位置信息裁剪三维像素块的方式有多种，比如，可以按照移动后结节图像的位置信息直接裁剪出相应尺寸的三维像素块；或者，又比如，可以基于移动结节图像的位置信息确定三维像素块的中心点，然后，基于中心点裁剪三维像素块。比如，步骤“根据移动后结节图像的位置信息从三维生命体组织图像中裁剪相应尺寸的三维像素块”，可以包括：

根据移动后结节图像的位置信息确定三维像素块的中心；

根据中心和预设尺寸从三维生命体组织图像中裁剪相应尺寸的三维像素块。

譬如，当结节的位置信息包括结节图像中参考点的位置信息如坐标时，可以将移动后参考点的位置信息所有对应的位置作为三维像素块的中心，然后，按照预设尺寸从三维生命体组织图像中裁剪出以该位置为中心的三维像素块。

其中，预设尺寸为三维尺寸，可以根据实际需求设定，比如，16*16*16(像素)等等。

下面以平移为例来介绍三维像素块的获取过程：

比如，结节对应的位置信息包括结节图像中参考点的坐标(x,y,z)；以简单的平移为例，分别向x轴将坐标(x,y,z)平移距离±1，分别向y轴将坐标(x,y,z)平移距离±1，分别向z轴将坐标(x,y,z)平移距离±1，得到平移后点的坐标(x±1,y,z)、(x,y±1,z)和(x,y,z±1)。然后，分别以(x±1,y,z)、(x,y±1,z)和(x,y,z±1)这六个平移后的坐标为中心，裁剪出16*16*16的3D像素块。这样，加上以原始坐标为中心的3D像素块，一共得到了7个16*16*16的3D像素块。

103、基于三维卷积神经网络模型对三维像素块进行假阳性识别，得到三维像素块对应的假阳性识别结果。

其中，三维(3D)卷积神经网络模型：是一种深度模型，与普通神经网络类似，由具有可学习的权重和偏置常量的神经元组成，通过局部连接和全局共享两种方式显著降低网络的复杂度。3D卷积神经网络在结构体系上类似于2D卷积神经网络，区别在于使用的是3D卷积核，因此可以捕捉3D空间维度中具有区分性的特征，这对于经常使用3D采集方式的医学图像数据处理是非常有效的。

本发明实施例中，三维卷积神经网络模型用于实现假阳性识别，可以对输入的三维像素块进行假阳性识别。三维卷积神经网络模型的输出可以包括假阳性识别结果，比如，可以包括假阳性、阳性等，或者还可以包括假阳性概率等等。

本发明实施例中，三维卷积神经网络模型是经过大量标注的样本三维像素块训练而成的；该三维卷积神经网络模型可以采用独立的训练策略，也即，在实际应用不与其他模型联合训练(目前结节识别模型与结节检测模型均是采用联合训练方式训练)。采用独立的训练策略，在降低网络训练时间的同时，可以使得判别网络能够充分学习真假结节的实习分布，从而在实际应用中具有更加优秀的分类能力。

在一实施例中，为了能够提升结节假阳性识别的准确率，可以采用三维残差卷积神经网络模型；其中，三维残差卷积神经网络模型用于对输入的三维像素块进行3D残差卷积运算，并最终输出假阳性识别结果(假阳性、阳性，或者假阳性概率等等)。

其中，三维残差卷积神经网络模型的结构可以参考图1c所示，包括：预处理块(PreBlock)、残差网络(Residual Net)和一个全连接层((FC，Fully Connected Layers)。

预处理块(PreBlock)：对输入的图像如三维像素块进行预处理，具体地，进行三维卷积特征提取。其中，PreBlock可以包括：依次连接的三维卷积(Conv 3d)层、归一化(BN，Batch Norm)层和下采样(pooling)层，可以由三维卷积(Conv 3d)层、归一化(BN，BatchNorm)层和下采样(pooling)层串联或堆叠构成。

其中，三维卷积(Conv 3d)层，用于对输入的图像如三维像素块进行三维特征提取，具体地，3D卷积核对输入的图像进行三维特征提取。3D卷积核的大小可以根据实际应用而定。

归一化(BN)层，用于输入的特征进行归一化处理。

下采样(pooling)层，用于对输入的特征进行下采样操作，以减少计算量，该下采样操作与卷积的操作基本相同，只不过下采样的卷积核为只取对应位置的最大值(maxpooling)或平均值(average pooling)等。

残差网络(Residual Net)：可以包括多个串联的残差块(Residual Block)，或者堆叠的残差块，残差块的数量可以根据实际需求设定，比如，可以为10个、11个等等。每个残差块用于多输入的特征进行三维残差卷积运算等等。由于在训练深卷积神经网络时通常会出现退化问题，即深层网络比浅层网络训练效果差。因此residual block是为了解决该问题设计的一种卷积神经网络结构，通过加入一个恒等的快捷连接，使得网络的恒等映射变为零映射，使得网络更容易优化。

其中，残差块(Residual Block)的结构可以有多种，比如，可以包括：三维卷积(Conv 3d)层、归一化(BN，Batch Norm)层，可以由三维卷积(Conv 3d)层、归一化(BN，BatchNorm)层串联或者堆叠构成；例如，参考图1c，Residual Block可以包括两个Conv 3d层和两个BN层，每个Conv 3d层后设有一BN层。

其中，本发明实施例根据结节如肺结节的图像特点，对残差网络中的下采样层(如MaxPooling层)数量进行减少。具体地，仅在最后一个残差块中设置一下采样层(如MaxPooling层)；以10个残差块为例，在第1-第9个残差块中不是设置下采样层(如MaxPooling层)，在第10个残差块中设置下采样层(如MaxPooling层)；具体地，在第10个残差块中的最后一个BN层后设置一下采样层(如MaxPooling层)；该下采样层对输入的特征进行下采样操作后，将下采样的特征输入至全连接层。

由于，减少了Pooling层的数量，可以防止结节如肺结节的关键信息丢失，从而使得结节如肺结节的关键信息能够更好的保留，大大提升了结节识别的准确率。

为了提升网络的训练速度、优化网络的效果、提升准确率，在残差网络中，对于每个Residual Block，可以将Residual Block的输入会直接和输出相融合如相加，形成恒等连接，并将融合后特征输入至下一个Residual Block或者全连接层，从而加快了网络的训练速度。

全连接层(FC)，可以将学到的“分布式特征表示”映射到样本标记空间，其在整个神经网络中主要起到“分类器”的作用，全连接层的每一个结点都与上一层(如残差块中的下采样层)输出的所有结点相连，其中，全连接层的一个结点即称为全连接层中的一个神经元，全连接层中神经元的数量可以根据实际应用的需求而定。本发明实施例中，全连接层可以对残差网络输出的三维像素块的三维卷积特征进行分类，得到假阳性识别结果(真假结节、和/或真假结节的概率)。

根据上述3D残差卷积神经网络模型的结构，可以将得到的三维像素块输入至3D残差卷积神经网络模型，在经过了PreBlock的预处理阶段后，由多个如10个重复ResidualBlock串联构成的残差网络进行特征提取后，最后的将提取的特征输入到全连接层进行映射，得到每一个三维像素块的假阳性识别结果如假阳性概率等。

具体地，步骤“基于三维卷积神经网络模型对三维像素块进行假阳性识别，得到三维像素块对应的假阳性识别结果”，可以包括：

通过预处理块对三维像素块进行三维卷积特征提取，得到初步三维卷积特征；

通过残差网络对初步三维卷积特征进行三维特征提取，得到目标三维卷积特征；

通过全连接层对目标三维卷积特征进行分类，得到三维像素块对应的假阳性识别结果。

其中，步骤“通过预处理块对三维像素块进行三维卷积特征提取，得到初步三维卷积特征”，可以包括：

在三维卷积层对三维像素块进行三维卷积运算，得到初始三维卷积特征；

在归一化层对初始三维卷积特征进行归一化处理，得到处理后三维卷积特征；

在下采样层对处理后三维卷积特征进行下采样操作，得到初步三维卷积特征。

比如，可以将三维像素块输入至PreBlock，PreBlock可以对三维像素块进行预处理，具体地，PreBlock中Conv 3d层对三维像素块进行三维特征提取，得到初始三维卷积特征，然后，PreBlock中BN层对初始三维卷积特征进行归一化处理，并将处理后的三维卷积层输入至采样层(如MaxPooling层)；采样层(如MaxPooling层)对处理后的特征进行下采样操作，得到初步三维卷积特征。

在一实施例中，由于残差网络残差的输入和输入融合，形成恒等连接，因此，步骤“通过残差网络对初步三维卷积特征进行三维特征提取，得到目标三维卷积特征”，可以包括：

将初步三维卷积特征作为当前残差块的输入；

通过当前残差块对其输入进行三维特征提取，得到当前残差块的输出；

对将当前残差块的输出和输入进行融合，得到融合后特征；

当当前残差块不为最后一个残差块时，将当前残差块的下一个残差块更新为当前残差块，并将融合后特征作为当前残差块的输入；返回执行通过当前残差块对其输入进行三维特征提取的步骤；

当当前残差块为最后一个残差块时，将融合后特征作为目标三维卷积特征。

比如，以将PreBlock输出的初步三维卷积特征作为第一个Residual Block的输入，并输入至第一个Residual Block，第一个Residual Block可以对其输入进行三维特征提取(具体地，在第一个Conv 3d层进行三维特征提取，然后，在第一BN层将提取的特征进行归一化处理，接着第二个Conv 3d层对归一化处理的特征再次进行三维特征提取，最后，在第二个BN层对再次提取的三维特征进行归一化处理，得到Residual Block的输出)；将第一个Residual Block的输入和输出进行融合，得到融合后特征，将融合后特征作为第二个Residual Block的输入，在第二个Residual Block对输入进行三维特征提取，得到第二个Residual Block的输出，(参考第一Residual Block的提取过程)；将第二Residual Block的输入和输出进行融合并作为第三个Residual Block的输入，依次类推，直到得到最后一个Residual Block的输出，将最后一个Residual Block的输入和输出融合，得到残差网络的最终输出，即目标三维卷积特征。

例如，以通过平移的增加方式得到7个6*16*16的3D像素块为例，可以将增强所获得的7个3D像素块分别输入至由3D残差卷积神经网络进行假阳性判别；在经过PreBlock和堆叠的Residual Block后利用全连接层得到每一个像素块的假阳性识别结果如假阳性概率值Pi(i＝1,2,…7)。

104、对三维像素块对应的假阳性识别结果进行融合，得到结节的最终假阳性识别结果。

其中，三维像素块对应的假阳性识别结果可以包括多种，比如，可以包括真结节(即阳性)、假结节(即假阳性)；又比如，还可以包括：真结节(即阳性)的概率、假结节(即假阳性)的概率，等等。

本发明实施例可以对每个三维像素块对应的假阳性识别结果进行融合，该融合方式可以有多种，比如，在一实施例中，当假阳性识别结果包括真结节(即阳性)、或者假结节(即假阳性)时，可以统计识别结果为阳性的第一数量和识别结果为假阳性的第二数量；当第一数量大于第二数量，确定结节为阳性，当第一数量不大于第二数量，确定结节为假阳性。

又比如，在一实施例中，当假阳性识别结果包括假阳性概率时，可以对每个三维像素块的假阳性概率进行融合，根据融合后概率获取结节的最终假阳识别结果。比如，标注“对三维像素块对应的假阳性识别结果进行融合，得到结节的最终假阳性识别结果”，可以包括：

对三维像素块对应的假阳性识别概率进行融合，得到融合后概率；

根据融合后概率获取结节的最终假阳性识别结果。

例如，假设有n个3D像素块，经过由3D卷积神经网络判别后，得到每个3D像素块的假阳性识别概率，如第i个3D像素块的概率为Pi(i＝1,2,…7……n)；此时，可以将P1、P2……Pn进行融合得到融合后概率P’，根据融合后概率P’确定结节是否为假阳性，得到最终结果。

其中，三维像素块的假阳性识别概率的融合方式可以有多种，比如，在一实施例中，可以将所有三维像素块对应的假阳性识别概率进行累加，将累加概率作为融合后概率，如P’＝P1+P2……+Pn；又比如，可以计算三维像素块的平均假阳性识别概率，将该概率作为融合后概率，如P’＝(P1+P2……+Pn)/n。

又比如，在一实施例中，还可以计算三维像素块的加权平均概率，将该加权平均概率作为融合后概率，具体地，步骤“对三维像素块对应的假阳性识别概率进行融合，得到融合后概率”，可以包括：根据三维像素块对应的权重和假阳性概率，获取三维像素块的加权平均概率，得到融合后概率。

如P’＝P1*w1+P2*w2……+Pn*wn，wi为第i个三维像素块对应的权重。

本发明实施例可以采用加权平均的方法整合所有3D像素块的假阳性概率值，获取该存疑结节的假阳性概率，依据其概率值可以完成对于肺结节假阳性的筛选。

本发明实施例中，可以针对不同的三维像素块设置不同的权重；也即，本发明实施例方法还可以包括：设置三维像素块对应的权重，比如，在开始结节识别之前，预先设置三维像素块对应的权重。

在一实施例中，当采用图像增强方式得到三维像素块的情况下，可以针对三维像素块，基于图像增强处理方式(类型)的不同设置不同的权重；比如，本发明实施例方法还包括：

根据图像增强处理的增强处理类型设置三维像素块对应的权重。

其中，增强处理类型即方式可以包括：旋转、移动、缩放等类型。例如，当增强处理类型为移动时，可以设置原始结节图像对应的三维像素块的权重，高于通过增强得到周边三维像素块的权重。例如，在结节的位置信息为参考点的坐标(x,y,z)的情况，可设置以(x,y,z)为中心的3D像素块权重较高，(x,y,z±1)为中心的3D像素块由于z轴方向的变化较大，权重较小。

又比如，当增强处理类型为旋转时，可以设置原始结节图像对应的三维像素块的权重、旋转得到周边三维像素块的权重依次递减等等。

在一实施例中，为了提升假阳性识别准确性，可以基于增强处理类型对应的增强处理指示参数来设置三维像素块对应的权重，其中，增强处理指示参数用于指示对图像进行该增强处理类型的处理，可以包括：增强参数等等。

例如，当增强处理类型为旋转时，其对应的增强处理指示参数包括旋转参数，如旋转方向、旋转角度等等；当增强处理类型为缩放时，其对应的增强处理指示参数包括缩放参数，如缩放比例、缩放方向等等；当增强处理类型为移动时，其对应的增强处理指示参数包括：移动参数，如移动方向、移动距离等等

譬如，当增强处理类型为移动时，可以根据移动参数(移动方向和/或移动距离)确定三维像素块的权重，该三维像素块为基于该移动参数对结节图像进行移动得到的三维像素块。同理对于旋转、缩放等其他增强方式也是类似，这里不再赘述。

本发明实施例在，得到融合后概率，可以基于该概率识别结节是否为假阳性，比如，将融合后概率与预设阈值进行比较，如果大于预设阈值，则确定结节为假阳性，如果不大于预设阈值，则确定结节为真结节。

本发明实施例提供的方案可以对检出的可疑肺结节进行判别，筛选出其中置信度较高的结果，从而既可以作为后处理模块集成到肺结节检测模型中，也可以作为独立组件为医生的日常诊断进行辅助。

由上可知，本发明实施例获取结节对应的三维生命体组织图像、位置信息；根据位置信息获取三维生命体组织图像中结节周围的多个三维像素块；基于三维卷积神经网络模型对三维像素块进行假阳性识别，得到三维像素块对应的假阳性识别结果；对三维像素块对应的假阳性识别结果进行融合，得到结节的最终假阳性识别结果。该方案可以获取结节的周围空间信息，并采用三维卷积神经网络模型充分提取结节的周边空间特征信息进行假阳性识别，最后对识别结果进行融合；该方案从而无需依赖于人工设计特征，并且算法运行的时间较短，可以提高结节假阳性识别的准确性、效率以及鲁棒性。

另外，该方案还可以采用图像增强的输入方式和处理策略，充分结合结节的周边信息和3D残差卷积神经网络的特点，可以提高网络判别结果的准确性和鲁棒性。并且，还可以充分利用卷积神经网络在前向传播时高并行等特点，以极少的运行时间增加为代价，实现了判断结果的精确性，鲁棒性等多项提升。

此外，该方案还可以采用3D残差卷积神经网络，提高网络模型的特征表征能力，防止梯度消失和模型退化，对于复杂的结节如肺结节能够充分提取结节的周边空间信息，利用强大的特征提取能力判别真假结节，从而提升判别准确率。

最终，该方案中3D卷积神经网络模型采用独立的训练策略，在降低网络训练时间的同时，可以使得判别网络能够充分学习真假结节的实习分布，从而在实际应用中具有更加优秀的分类能力。

根据前面实施例所描述的方法，以下将举例作进一步详细说明。

在本实施例中，将以该结节识别装置具体集成在网络设备中为例进行说明。

(一)、模型训练。

首先，网络设备可以获取多个样本3D像素块，然后，采用样本3D像素块对3D残差卷积神经网络模型进行训练。

具体地，可以将样本3D像素块输入至3D残差卷积神经网络模型进行训练，得到样本3D像素块的预测值(表征识别结果)；然后，将样本3D像素块的真实值与预测值进行收敛，得到训练后模型。

例如，具体可以采用预设损失函数对该样本3D像素块的真实值和预测值进行收敛，得到训练后模型。

(二)、结节识别。

如图2a所示，基于上述训练后模型，该结节识别的具体流程如下：

201、网络设备获取结节对应的三维生命体组织图像、位置信息。

其中，结节对应的三维生命体组织图像可以包括结节所在生命体组织的三维图像。获取方式可以包括：获取生命体组织的电子计算机断层扫描数据，然后，根据电子计算机断层扫描数据构建生命体组织的三维图像，即三维生命体组织图像。具体地获取方式可以参考上述实施例的描述。

其中，结节的位置信息可以为结节在其对应的三维生命体组织图像中的位置信息，比如，在建立三维图像坐标系的情况下，该位置信息可以包括结节在三维生命体组织图像中的三维坐标值(如x、y、z值)。

例如，参考图2b和图2c，可以获取存疑结节如肺结节坐标(如xyz)，以及存疑结节的三维图像，并将存疑结节的位置和三维图像输入至增强输入模型。

202、网络设备对根据位置信息对三维生命体组织图像中结节图像进行图像增强处理，得结节周围的多个三维像素块。

其中，三维(3d)像素块为生命体组织的三维图像中结节图像周围的三维像素块。该结节周围的三维像素块可以包括结节自身所在的三维像素块、以及结节周边的三维像素块；或者，在一实施例中，结节周围的三维像素块可以不包含结节自身所在的三维像素块，仅包含结节周边的三维像素块。具体可以根据实际需求选择。

其中，图像增强处理的方式(类型)可以包括：移动(如平移)、旋转、缩放等增强方式。

比如，网络设备根据位置信息在三维生命体组织图像中对结节图像进行图像增强处理，得到多个增强处理后结节图像的位置信息；根据增强处理后结节图像的位置信息从三维生命体组织图像中裁剪相应尺寸的三维像素块，得到结节周围的多个三维像素块。具体地，增强得到三维像素块的方式可以参考上述实施例的描述。

例如，参考图2b和图2c，增强输入模块可以根据结节的坐标(x,y,z)在三维图像中对结节图像进行小幅度图像增强处理，如平移、旋转等，可以得到结节附近的3D像素块。然后，将得到的3D像素块输入至3D残差卷积神经网络构成的假阳性判别模块。

譬如，参考图2b和图2c，结节对应的位置信息包括结节图像中参考点的坐标(x,y,z)；以简单的平移为例，分别向x轴将坐标(x,y,z)平移距离±1，分别向y轴将坐标(x,y,z)平移距离±1，分别向z轴将坐标(x,y,z)平移距离±1，得到平移后点的坐标(x±1,y,z)、(x,y±1,z)和(x,y,z±1)。然后，分别以(x±1,y,z)、(x,y±1,z)和(x,y,z±1)这六个平移后的坐标为中心，裁剪出16*16*16的3D像素块。这样，加上以原始坐标为中心的3D像素块，一共得到了7个16*16*16的3D像素块。随后，将增强所获得的7个3D像素块均输入至由3D残差卷积神经网络构成的假阳性判别模块。

203、网络设备基于三维残差卷积神经网络模型对三维像素块进行假阳性识别，得到三维像素块对应的假阳性概率。

其中，三维残差卷积神经网络的结构可以上述描述和图2c。

比如，网络设备可以将三维像素块输入至3D残差卷积神经网络中PreBlock，PreBlock可以对三维像素块进行预处理，具体地，PreBlock中Conv 3d层对三维像素块进行三维特征提取，得到初始三维卷积特征，然后，PreBlock中BN层对初始三维卷积特征进行归一化处理，并将处理后的三维卷积层输入至采样层(如MaxPooling层)；采样层(如MaxPooling层)对处理后的特征进行下采样操作，得到初步三维卷积特征。

在Residual网络中，对以将PreBlock输出的初步三维卷积特征作为第一个Residual Block的输入，并输入至第一个Residual Block，第一个Residual Block可以对其输入进行三维特征提取(具体地，在第一个Conv 3d层进行三维特征提取，然后，在第一BN层将提取的特征进行归一化处理，接着第二个Conv 3d层对归一化处理的特征再次进行三维特征提取，最后，在第二个BN层对再次提取的三维特征进行归一化处理，得到ResidualBlock的输出)；将第一个Residual Block的输入和输出进行融合，得到融合后特征，将融合后特征作为第二个Residual Block的输入，在第二个Residual Block对输入进行三维特征提取，得到第二个Residual Block的输出，(参考第一Residual Block的提取过程)；将第二Residual Block的输入和输出进行融合并作为第三个Residual Block的输入，依次类推，直到得到最后一个Residual Block的输出，将最后一个Residual Block的输入和输出融合，得到残差网络的最终输出，即目标三维卷积特征。

然而，在全连接层对目标三维卷积特征进行分类，得到三维像素块对应的假阳性概率。

例如，参考图2b和图2c，以通过平移的增加方式得到7个6*16*16的3D像素块为例，可以将增强所获得的7个3D像素块分别输入至由3D残差卷积神经网络进行假阳性判别；在经过PreBlock和堆叠的Residual Block后利用全连接层得到每一个像素块的假阳性识别结果如假阳性概率值Pi(i＝1,2,…7)。例如，图2c中可以得到3D像素块的假阳性概率：0.56、0.75……0.42。

204、网络设备对每个三维像素块对应的假阳性识别概率进行融合，得到融合后概率。

例如，假设有n个3D像素块，经过由3D卷积神经网络判别后，得到每个3D像素块的假阳性识别概率，如第i个3D像素块的概率为Pi(i＝1,2,…7……n)；此时，可以将P1、P2……Pn进行融合得到融合后概率P’，根据融合后概率P’确定结节是否为假阳性，得到最终结果。

具体地，概率融合方式可以参考上述实施例介绍。比如，根据三维像素块对应的权重和假阳性概率，获取三维像素块的加权平均概率，得到融合后概率。如P’＝P1*w1+P2*w2……+Pn*wn，wi为第i个三维像素块对应的权重。

参考图2b和图2c，在得到每个3D像素块的假阳性概率后，将每个3D像素块的假阳性概率输入融合模块进行融合，具体地，采用加权平均法对所有像素块的假阳性概率值，获取存疑结节的假阳性最终概率。比如，如图2c将3D像素块的假阳性概率：0.56、0.75……0.42输入至融合模块进行加权平均后，可以得到存疑结节的假阳性最终概率为0.66。

本发明实施例中，可以针对不同的三维像素块设置不同的权重；也即，本发明实施例方法还可以包括：设置三维像素块对应的权重，比如，在开始结节识别之前，预先设置三维像素块对应的权重。

在一实施例中，当采用图像增强方式得到三维像素块的情况下，可以针对三维像素块，基于图像增强处理方式(类型)的不同设置不同的权重。

本发明实施例中，具体的权重设置可以参考上述实施例的描述，这里不再赘述。

205、根据融合后概率确定结节是否为假阳性，得到最终假阳性识别结果。

比如，当融合后概率与预设阈值进行比较，如果大于预设阈值，则确定结节为假阳性，如果不大于预设阈值，则确定结节为阳性。

例如，参考图2c，如果预设阈值为0.5时，那么存疑结节的假阳性最终概率0.66大于预设阈值0.5，此时，可以确定存疑结节为假阳性。

本发明实施例提供的结节识别方案可以与AI结节检测系统联合使用，对AI结节检测系统检测到的可疑结节进行判别，筛选出其中置信度较高的结节检测结果，从而既可以作为后处理模块集成到肺结节检测模型中，也可以作为独立组件为医生的日常诊断进行辅助。

本发明实施例具有以下优点：

1)采用3D残差网络，能够充分提取结节的周边空间信息，利用其强大的特征提取能力判别真假结节，可以提升结节识别的准确率和效率；

2)采用独立的训练策略，使得判别网络能够学习真假结节的实际分布，使其具有更加优异的分类能力；

3)采用增强的输入方式和处理策略，充分利用结节的周边信息和3D残差网络的特点，使得判别网络的结果更加具有鲁棒性。

4)引入Residual Block结构避免设计深层CNN时容易遇到的退化问题，有助于提高模型的表征能力，从而提升判别准确率。

5)采用增强的输入方式，充分利用卷积神经网络在前向传播时高并行等特点，以极少的运行时间增加为代价，实现了判断结果的精确性，鲁棒性等多项提升。

为了更好地实施以上方法，本发明实施例还可以提供一种结节识别装置，该结节识别装置具体可以集成在网络设备，如终端或服务器等设备。

例如，如图3a所示，该结节识别装置可以包括图像获取单元301、像素块获取单元302、识别单元303和融合单元304，如下：

图像获取单元301，用于获取结节对应的三维生命体组织图像、位置信息；

像素块获取单元302，用于根据所述位置信息获取三维生命体组织图像中所述结节周围的多个三维像素块；

识别单元303，用于基于三维卷积神经网络模型对所述三维像素块进行假阳性识别，得到三维像素块对应的假阳性识别结果；

融合单元304，用于对所述三维像素块对应的假阳性识别结果进行融合，得到所述结节的最终假阳性识别结果。

在一实施例中，像素块获取单元302，可以具体用于：根据所述位置信息对三维生命体组织图像中结节图像进行图像增强处理，得所述结节周围的多个三维像素块。

在一实施例中，参考图3b，像素块获取单元302，可以包括：

增强处理子单元3021，用于根据所述位置信息在所述三维生命体组织图像中对结节图像进行图像增强处理，得到多个增强处理后结节图像的位置信息；

裁剪子单元3022，用于根据所述增强处理后结节图像的位置信息从所述三维生命体组织图像中裁剪相应尺寸的三维像素块，得到所述结节周围的多个三维像素块。

在一实施例中，增强处理子单元3021，用于根据预设移动参数对三维生命体组织图像中结节图像进行移动，得到多个移动后结节图像的位置信息；

所述裁剪子单元3022，用于根据所述移动后结节图像的位置信息确定三维像素块的中心；根据所述中心和预设尺寸从所述三维生命体组织图像中裁剪相应尺寸的三维像素块。

在一实施例中，三维卷积神经网络模型包括三维残差卷积神经网络模型；所述三维残差卷积神经网络模型包括：预处理块、残差网络和全连接层；

参考图3c，所述识别单元303，可以包括：

预处理子单元3031，用于通过预处理块对所述三维像素块进行三维卷积特征提取，得到初步三维卷积特征；

残差处理子单元3032，用于通过残差网络对所述初步三维卷积特征进行三维特征提取，得到目标三维卷积特征；

分类子单元3033，用于通过所述全连接层对所述目标三维卷积特征进行分类，得到所述三维像素块对应的假阳性识别结果。

在一实施例中，所述残差网络包括：多个串联的残差块；残差处理子单元3032，可以具体用于：

将所述初步三维卷积特征作为当前残差块的输入；

通过当前残差块对其输入进行三维特征提取，得到当前残差块的输出；

对将当前残差块的输出和输入进行融合，得到融合后特征；

当所述当前残差块不为最后一个残差块时，将当前残差块的下一个残差块更新为当前残差块，并将融合后特征作为当前残差块的输入；返回执行通过当前残差块对其输入进行三维特征提取的步骤；

当所述当前残差块为最后一个残差块时，将融合后特征作为目标三维卷积特征。

在一实施例中，所述预处理块包括三维卷积层、归一化层和下采样层；

预处理子单元3031，可以具体用于：

在三维卷积层对所述三维像素块进行三维卷积运算，得到初始三维卷积特征；

在归一化层对初始三维卷积特征进行归一化处理，得到处理后三维卷积特征；

在下采样层对所述处理后三维卷积特征进行下采样操作，得到初步三维卷积特征。

在一实施例中，所述假阳性识别结果包括假阳性概率，参考图3d，所述融合单元304，可以包括：

融合子单元3041，用于对所述三维像素块对应的假阳性识别概率进行融合，得到融合后概率；

结果获取子单元3042，用于根据融合后概率获取所述结节的最终假阳性识别结果。

在一实施例中，融合子单元3041，可以具体用于根据所述三维像素块对应的权重和假阳性概率，获取三维像素块的加权平均概率，得到融合后概率。

在一实施例中，参考图3e，所述假阳性识别结果包括假阳性概率，结节识别装置还可以包括权重设置单元305；

所述权重设置单元305，可以具体用于根据图像增强处理的增强处理类型设置三维像素块对应的权重；

所述融合单元304，可以具体用于：根据所述三维像素块对应的权重和假阳性概率，获取三维像素块的加权平均概率，得到融合后概率；根据融合后概率获取所述结节的最终假阳性识别结果。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上可知，本实施例中结节检测装置通过图像获取单元301获取结节对应的三维生命体组织图像、位置信息；由像素块获取单元302根据所述位置信息获取三维生命体组织图像中所述结节周围的多个三维像素块；由识别单元303基于三维卷积神经网络模型对所述三维像素块进行假阳性识别，得到三维像素块对应的假阳性识别结果；由融合单元304对所述三维像素块对应的假阳性识别结果进行融合，得到所述结节的最终假阳性识别结果。该方案可以获取结节的周围空间信息，并采用三维卷积神经网络模型充分提取结节的周边空间特征信息进行假阳性识别，最后对识别结果进行融合；该方案从而无需依赖于人工设计特征，并且算法运行的时间较短，可以提高结节假阳性识别的准确性、效率以及鲁棒性。

例如，如图4所示，其示出了本发明实施例所涉及的网络设备的结构示意图，具体来讲：

该网络设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的网络设备结构并不构成对网络设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该网络设备的控制中心，利用各种接口和线路连接整个网络设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行网络设备的各种功能和处理数据，从而对网络设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据网络设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

网络设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该网络设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，网络设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，网络设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

获取生命体组织的电子计算机断层扫描数据，所述电子计算机断层扫描数据包括电子计算机断层扫描图像序列；根据所述电子计算机断层扫描图像序列三维重建所述生命体组织的多位视图，所述多位视图包括多个预设方位的视图；基于深度神经网络和所述电子计算机断层扫描数据进行结节检测识别，得到结节检测识别结果；向终端发送所述结节检测识别结果以及所述多位视图，以便所述终端显示。

或者，在一实施例中，络设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

获取结节对应的三维生命体组织图像、位置信息；根据所述位置信息获取三维生命体组织图像中所述结节周围的多个三维像素块；基于三维卷积神经网络模型对所述三维像素块进行假阳性识别，得到三维像素块对应的假阳性识别结果；对所述三维像素块对应的假阳性识别结果进行融合，得到所述结节的最终假阳性识别结果。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

由上可知，本实施例的网络设备可以获取结节的周围空间信息，并采用三维卷积神经网络模型充分提取结节的周边空间特征信息进行假阳性识别，最后对识别结果进行融合；该方案从而无需依赖于人工设计特征，并且算法运行的时间较短，可以提高结节假阳性识别的准确性、效率以及鲁棒性。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种结节识别方法中的步骤。例如，该指令可以执行如下步骤：

获取结节对应的三维生命体组织图像、位置信息；根据所述位置信息获取三维生命体组织图像中所述结节周围的多个三维像素块；基于三维卷积神经网络模型对所述三维像素块进行假阳性识别，得到三维像素块对应的假阳性识别结果；对所述三维像素块对应的假阳性识别结果进行融合，得到所述结节的最终假阳性识别结果。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种结节识别方法中的步骤，因此，可以实现本发明实施例所提供的任一种结节识别方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本发明实施例所提供的一种结节识别方法、装置和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种结节识别装置，其特征在于，包括：

图像获取单元，用于获取结节对应的生命体组织的电子计算断层扫描图像序列；获取电子计算断层扫描图像在序列中的位置标识，基于所述位置标识对序列中电子计算断层扫描图像进行排列，获取排列后序列中电子计算断层扫描图像的二维像素矩阵，得到电子计算机断层扫描图像序列对应的二维像素矩阵序列；根据二维像素矩阵序列构建三维像素矩阵，得到结节对应的三维生命体组织图像，以及获取所述结节的位置信息，其中，所述结节的位置信息采用人工智能模型对所述电子计算断层扫描图像序列进行结节检测得到；

像素块获取单元，用于根据所述位置信息对三维生命体组织图像中结节图像进行图像增强处理，得所述结节图像周围的多个三维像素块，所述结节周围的维三维像素块包括结节自身所在的三维像素块、以及结节周边的三维像素块；当图像增强类型为移动时，按照不同的预设移动参数分别对三维生命体组织图像中结节图像进行多次不同的移动，然后，根据每个移动后结节图像的位置信息来裁剪出三维像素块，所述预设移动参数可以包括移动方向、移动距离中的至少一种；

识别单元，用于基于三维残差卷积神经网络模型对所述三维像素块进行假阳性识别，得到三维像素块对应的假阳性识别结果；所述三维残差卷积神经网络模型包括：预处理块、残差网络和全连接层；具体地，通过预处理块对所述三维像素块进行三维卷积特征提取，得到初步三维卷积特征，包括：通过预处理快中三维卷积层对三维像素块进行三维特征提取，通过所述预处理块中归一化层对提取的三维卷积特征进行归一化处理，并将处理后的三维卷积层输入至采样层进行下采样操作；通过残差网络对所述初步三维卷积特征进行三维特征提取，得到目标三维卷积特征；通过所述全连接层对所述目标三维卷积特征进行分类，得到所述三维像素块对应的假阳性识别结果，其中，假阳性识别结果包括假阳性概率，其中，所述三维残差卷积神经网络模型为采用独立的训练策略和标注的三维像素块训练得到，所述残差网络包括多个残差块，所述残差网络中仅最后一个残差块中设置有下采样层，所述下采样层对输入的特征进行下采样操作后，将下采样的特征输入至全连接层；

权重设置单元，用于根据图像增强处理的增强处理类型设置三维像素块对应的权重；其中，所述增强处理类型包括旋转、移动；当图像增强处理类型为移动时，设置结节自身所在的三维像素块的权重，高于通过增强得到周边三维像素块的权重；当图像增强处理类型为旋转时，设置结节自身所在的三维像素块的权重、旋转得到周边三维像素块的权重依次递减；根据图像增强处理的增强处理类型设置三维像素块对应的权重，包括：基于增强处理类型对应的增强处理指示参数来设置三维像素块对应的权重，其中，增强处理指示参数用于指示对图像进行该增强处理类型的处理，当增强处理类型为旋转时，其对应的增强处理指示参数包括旋转方向、旋转角度，当增强处理类型为移动时，其对应的增强处理指示参数包括移动方向、移动距离；

融合单元，用于根据每个三维像素块对应的权重和假阳性概率，获取三维像素块的加权平均概率，得到融合后概率；根据融合后概率获取所述结节图像的最终假阳性图像识别结果。

2.如权利要求1所述的结节识别装置，其特征在于，所述像素块获取单元，包括：

增强处理子单元，用于根据所述位置信息在所述三维生命体组织图像中对结节图像进行图像增强处理，得到多个增强处理后结节图像的位置信息；

裁剪子单元，用于根据所述增强处理后结节图像的位置信息从所述三维生命体组织图像中裁剪相应尺寸的三维像素块，得到所述结节周围的多个三维像素块。

3.如权利要求1所述的结节识别装置，其特征在于，所述预处理块包括三维卷积层、归一化层和下采样层；

所述识别单元，用于：在三维卷积层对所述三维像素块进行三维卷积运算，得到初始三维卷积特征；在归一化层对初始三维卷积特征进行归一化处理，得到处理后三维卷积特征；在下采样层对所述处理后三维卷积特征进行下采样操作，得到初步三维卷积特征。

4.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行步骤：

获取结节对应的生命体组织的电子计算断层扫描图像序列；获取电子计算断层扫描图像在序列中的位置标识，基于所述位置标识对序列中电子计算断层扫描图像进行排列，获取排列后序列中电子计算断层扫描图像的二维像素矩阵，得到电子计算机断层扫描图像序列对应的二维像素矩阵序列；根据二维像素矩阵序列构建三维像素矩阵，得到结节对应的三维生命体组织图像，以及获取所述结节的位置信息，其中，所述结节的位置信息采用人工智能模型对所述电子计算断层扫描图像序列进行结节检测得到；

根据所述位置信息对三维生命体组织图像中结节图像进行图像增强处理，得所述结节图像周围的多个三维像素块，所述结节周围的维三维像素块包括结节自身所在的三维像素块、以及结节周边的三维像素块；当图像增强类型为移动时，按照不同的预设移动参数分别对三维生命体组织图像中结节图像进行多次不同的移动，然后，根据每个移动后结节图像的位置信息来裁剪出三维像素块，所述预设移动参数可以包括移动方向、移动距离中的至少一种；

基于三维残差卷积神经网络模型对所述三维像素块进行假阳性识别，得到三维像素块对应的假阳性识别结果所述三维残差卷积神经网络模型包括：预处理块、残差网络和全连接层；具体地，通过预处理块对所述三维像素块进行三维卷积特征提取，得到初步三维卷积特征，包括：通过预处理快中三维卷积层对三维像素块进行三维特征提取，通过所述预处理块中归一化层对提取的三维卷积特征进行归一化处理，并将处理后的三维卷积层输入至采样层进行下采样操作；通过残差网络对所述初步三维卷积特征进行三维特征提取，得到目标三维卷积特征；通过所述全连接层对所述目标三维卷积特征进行分类，得到所述三维像素块对应的假阳性识别结果，其中，假阳性识别结果包括假阳性概率，其中，所述三维残差卷积神经网络模型为采用独立的训练策略和标注的三维像素块训练得到，所述残差网络包括多个残差块，所述残差网络中仅最后一个残差块中设置有下采样层，所述下采样层对输入的特征进行下采样操作后，将下采样的特征输入至全连接层；

根据图像增强处理的增强处理类型设置三维像素块对应的权重；其中，所述增强处理类型包括旋转、移动；当图像增强处理类型为移动时，设置结节自身所在的三维像素块的权重，高于通过增强得到周边三维像素块的权重；当图像增强处理类型为旋转时，设置结节自身所在的三维像素块的权重、旋转得到周边三维像素块的权重依次递减；根据图像增强处理的增强处理类型设置三维像素块对应的权重，包括：基于增强处理类型对应的增强处理指示参数来设置三维像素块对应的权重，其中，增强处理指示参数用于指示对图像进行该增强处理类型的处理，当增强处理类型为旋转时，其对应的增强处理指示参数包括旋转方向、旋转角度，当增强处理类型为移动时，其对应的增强处理指示参数包括移动方向、移动距离；

根据每个三维像素块对应的权重和假阳性概率，获取三维像素块的加权平均概率，得到融合后概率；根据融合后概率获取所述结节图像的最终假阳性图像识别结果。

Images