CN111429447A

CN111429447A - 病灶区域检测方法、装置、设备及存储介质

Info

Publication number: CN111429447A
Application number: CN202010259982.1A
Authority: CN
Inventors: 蔡杭; 李月; 魏征
Original assignee: WeBank Co Ltd
Current assignee: WeBank Co Ltd
Priority date: 2020-04-03
Filing date: 2020-04-03
Publication date: 2020-07-17

Abstract

本发明公开了一种病灶区域检测方法、装置、设备及存储介质，所述方法包括：对肺图像进行肺叶分割处理，得到肺叶分割图像；基于所述肺叶分割图像的图像特征，得到所述图像特征中的特征点对应的注意力特征；利用所述注意力特征对所述肺叶分割图像进行病灶预测处理，得到所述肺叶分割图像中的病灶区域。本发明能够提升病灶区域的检测精度。

Description

病灶区域检测方法、装置、设备及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种病灶区域检测方法、装置、设备及存储介质。

背景技术

近年来，人工智能和医学影像的结合，可以为医疗诊断提供极大的便利性，通过人工智能技术手段，可以从医学影像中确定出病灶位置。但是，现有技术中，对病灶区域进行检测时，通常直接根据提取的图像特征对病灶区域直接进行分类预测，然而，提取的图像特征包括除病灶特征以外的特征，若采用上述方式进行病灶区域预测，会造成病灶区域检测的精度较低。

发明内容

本发明的主要目的在于提供一种病灶区域检测方法、装置、设备及存储介质，旨在解决现有直接根据提取的图像特征对病灶区域直接进行分类预测，病灶区域检测的精度较低的问题。

为实现上述目的，第一方面，本发明提供一种病灶区域检测方法，包括：

对肺图像进行肺叶分割处理，得到肺叶分割图像；

基于所述肺叶分割图像的图像特征，得到所述图像特征中的特征点对应的注意力特征；

利用所述注意力特征对所述肺叶分割图像进行病灶预测处理，得到所述肺叶分割图像中的病灶区域。

可选地，所述基于所述肺叶分割图像的图像特征，得到所述图像特征中的特征点对应的注意力特征，包括：

对所述肺叶分割图像的图像特征进行第一卷积处理，获得多个基准注意力特征，所述基准注意力特征中的元素为与所述图像特征中各特征点对应的基准注意力；

对所述图像特征进行第二卷积处理，获得注意力系数矩阵，所述注意力系数矩阵中的元素为与所述图像特征内各所述特征点对应的基准注意力系数，并且所述注意力系数矩阵的通道数与所述基准注意力特征的数量相同；

利用所述注意力系数矩阵、所述图像特征、各所述基准注意力特征，确定各所述特征点的注意力特征。

可选地，所述利用所述注意力系数矩阵、所述图像特征、各所述基准注意力特征，确定各所述特征点的注意力特征，包括：

基于所述图像特征与各所述基准注意力特征，获得与各基准注意力特征对应的基准特征向量，所述基准特征向量由所述图像特征和所述基准注意力特征中对应元素的乘积之和得到；

利用所述注意力系数矩阵与各所述基准特征向量，得到各所述特征点的注意力特征。

可选地，所述利用所述注意力系数矩阵与各所述基准特征向量，得到各所述特征点的注意力特征，包括：

分别利用各所述基准特征向量与注意力系数矩阵相乘，得到针对各个基准特征向量的乘积矩阵；

将针对各基准特征向量的乘积矩阵中相同特征点的乘积值相加，得到该特征点的注意力特征。

可选地，所述利用所述注意力特征对所述肺叶分割图像进行病灶预测处理，得到所述肺叶分割图像中的病灶区域，包括：

利用所述注意力特征，得到肺叶分割图像中的预测病灶区域的掩码信息，所述掩码信息包括所述预测病灶区域内的像素点的掩码值；

基于所述掩码信息中的所述掩码值，形成椎体结构；

对所述椎体结构进行优化处理，得到优化后的病灶区域，所述优化后的病灶区域与病灶形状匹配。

可选地，所述掩码值表示所述像素点位于病灶位置的置信度，所述基于所述掩码信息中的所述掩码值，形成椎体结构，包括：

将所述预测病灶区域内掩码值超过第一阈值的像素点确定为第一像素点；

基于所述预测病灶区域内的所述第一像素点的位置以及预设高度值，确定所述椎体结构的顶点；

基于所述预测病灶区域和所述顶点，形成所述椎体结构。

可选地，所述对所述椎体结构进行优化处理，得到优化后的病灶区域，包括：

对所述椎体结构执行平面聚类的优化处理，得到优化后的椎体结构；

基于优化后的椎体结构的底面，得到所述肺图像优化后的病灶区域。

可选地，所述对所述椎体结构执行平面聚类的优化处理，得到优化后的椎体结构，包括：

对所述掩码信息中包含的第一像素点进行平面聚类，得到所述第一像素点所属的侧面；

基于所述侧面包括的第一像素点，对所述侧面进行迭代更新，得到优化后的侧面；

基于所述优化后的侧面形成所述优化后的椎体结构。

第二方面，本发明还提出一种病灶区域检测装置，所述病灶区域检测装置包括：

处理模块，用于对肺图像进行肺叶分割处理，得到肺叶分割图像；

获取模块，用于基于所述肺叶分割图像的图像特征，得到所述图像特征中的特征点对应的注意力特征；

检测模块，用于利用所述注意力特征对所述肺叶分割图像进行病灶预测处理，得到所述肺叶分割图像中的病灶区域。

可选地，所述获取模块包括：

第一获取单元，用于对所述肺叶分割图像的图像特征进行第一卷积处理，获得多个基准注意力特征，所述基准注意力特征中的元素为与所述图像特征中各特征点对应的基准注意力；

所述第一获取单元，还用于对所述图像特征进行第二卷积处理，获得注意力系数矩阵，所述注意力系数矩阵中的元素为与所述图像特征内各所述特征点对应的基准注意力系数，并且所述注意力系数矩阵的通道数与所述基准注意力特征的数量相同；

确定单元，用于利用所述注意力系数矩阵、所述图像特征、各所述基准注意力特征，确定各所述特征点的注意力特征。

可选地，所述确定单元包括：

第一确定子单元，用于基于所述图像特征与各所述基准注意力特征，获得与各基准注意力特征对应的基准特征向量，所述基准特征向量由所述图像特征和所述基准注意力特征中对应元素的乘积之和得到；

第二确定子单元，用于利用所述注意力系数矩阵与各所述基准特征向量，得到各所述特征点的注意力特征。

可选地，所述第二确定子单元，具体用于分别利用各所述基准特征向量与注意力系数矩阵相乘，得到针对各个基准特征向量的乘积矩阵；并将针对各基准特征向量的乘积矩阵中相同特征点的乘积值相加，得到该特征点的注意力特征。

可选地，所述检测模块包括：

第二获取单元，用于利用所述注意力特征，得到肺叶分割图像中的预测病灶区域的掩码信息，所述掩码信息包括所述预测病灶区域内的像素点的掩码值；

形成单元，用于基于所述掩码信息中的所述掩码值，形成椎体结构；

检测单元，用于对所述椎体结构进行优化处理，得到优化后的病灶区域，所述优化后的病灶区域与病灶形状匹配。

可选地，所述掩码值表示所述像素点位于病灶位置的置信度，所述形成单元包括：

第三确定子单元，用于将所述预测病灶区域内掩码值超过第一阈值的像素点确定为第一像素点；

第四确定子单元，用于基于所述预测病灶区域内的所述第一像素点的位置以及预设高度值，确定所述椎体结构的顶点；

形成单元，用于基于所述预测病灶区域和所述顶点，形成所述椎体结构。

可选地，所述处理单元，用于对所述椎体结构执行平面聚类的优化处理，得到优化后的椎体结构；并基于优化后的椎体结构的底面，得到所述肺图像优化后的病灶区域。

可选地，所述处理单元，还用于对所述掩码信息中包含的第一像素点进行平面聚类，得到所述第一像素点所属的侧面；基于所述侧面包括的第一像素点，对所述侧面进行迭代更新，得到优化后的侧面；基于所述优化后的侧面形成所述优化后的椎体结构。

第三方面，本发明还提出一种病灶区域检测设备，所述病灶区域检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的病灶区域检测程序，所述病灶区域检测程序被所述处理器执行所述的病灶区域检测方法的步骤。

第四方面，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有病灶区域检测程序，所述病灶区域检测程序被处理器执行时实现所述的病灶区域检测方法的步骤。

本发明提供的一种病灶区域检测方法、装置、设备及存储介质，在对肺图像进行分割得到肺叶分割图像后，可以根据肺叶分割图像的特征，确定图像的各特征点对应的注意力特征，通过结合注意力特征对肺叶分割图像进行病灶预测，与现有直接根据提取的图像特征对病灶区域直接进行分类预测相比，可以实现针对肺叶分割进行重要性突出处理，降低了除病灶特征以外的特征对病灶区域检测的影响，从而提高了病灶区域检测精度。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的结构示意图；

图2示出本发明实施例的一种病灶区域检测方法的流程示意图；

图3示出本发明实施例的一种肺叶分割方法的网络结构示意图；

图4示出本发明实施例的一种病灶区域检测方法步骤S20的流程图；

图5示出本发明实施例的一种病灶区域检测方法中步骤S23的流程图；

图6示出本发明实施例的一种病灶区域检测方法中步骤S40的流程图。

图7示出本发明实施例的一种病灶区域检测装置的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。

需要说明的是，本发明实施例提供的病灶区域检测方法可以用于提高肺图像中病灶区域的检测精度，该方法的执行主体可以是任意的肺图像处理装置，例如，肺图像图像处理方法可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant， PDA)、手持设备、计算设备、车载设备、可穿戴设备等，在此不做具体限制。

如图1所示，该病灶区域检测设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005 可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的设备结构并不构成对病灶区域检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及病灶区域检测程序。其中，操作系统是管理和控制设备硬件和软件资源的程序，支持病灶区域检测程序以及其它软件或程序的运行。

在图1所示的设备中，用户接口1003主要用于与客户端进行数据通信；网络接口1004主要用于与服务器建立通信连接；而处理器1001可以用于调用存储器1005中存储的病灶区域检测程序，并执行本发明实施例的肺图像处理方法。

本发明实施例的一种病灶区域检测方法，如图2所示，所述病灶区域检测方法包括：

S10：对肺图像进行肺叶分割处理，得到肺叶分割图像；

S20：基于所述肺叶分割图像的图像特征，得到所述图像特征中的特征点对应的注意力特征；

S30：利用所述注意力特征对所述肺叶分割图像进行病灶预测处理，得到所述肺叶分割图像中的病灶区域。

本发明实施例中，可以首先获取肺图像。其中，可以实时通过拍摄CT (ComputedTomography，计算机断层影像)的方式得到肺图像，也可以与其他电子设备通信，接收传输的肺图像。本发明实施例中，获取的肺图像可以为三个视角下的肺图像，三个视角包括矢状面视角、冠状面视角以及横断面视角。对应的，在每个视角下可以得到多个断层图像，即为肺图像，同时同一视角下的肺图像可以构造形成三维肺部图像。例如，可以将同一视角下的多层图像进行堆叠，得到三维肺部图像，或者也可以执行线性拟合或者曲面拟合，得到三维肺部图像。

下述实施例中，肺图像可以为任意视角下的任意层的肺图像，本发明实施例对此不作具体限定。

另外，在对肺图像进行肺叶分割处理，得到肺叶分割图像的过程中时，得到的肺叶分割图像可以包括：左肺图像以及右肺图像中的至少一种。左肺图像包括：左上叶和左下叶；右肺图像，包括：右上叶、右中叶、右下叶，即肺叶分割图像为五种肺叶中任意一个或多个肺叶分别对应的肺叶图像，本发明实施例可以通过肺叶分割处理分别得到五钟肺叶的分割图像。

在一些可能的实施方式中，对肺图像进行肺叶分割处理，得到肺叶分割图像，包括：步骤1：获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征；步骤2：利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正；步骤3：利用校正后的肺叶裂隙特征对所述肺图像进行分割。

步骤1：获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征。

在一些可能的实施方式中，可以通过特征提取处理的方式，提取不同视角下的肺图像的肺叶裂隙特征。肺叶裂隙特征是用于执行肺图像中的各肺叶区域的分割处理的特征，例如肺叶裂隙特征可以用于确定肺叶之间的裂隙面的位置，实现肺叶分割。

本发明实施例可以分别对矢状面、冠状面以及横断面视角下的肺图像执行特征提取处理，得到相应视角下的肺图像的裂隙特征，即可以分别得到肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征。本发明实施例中，各视角下的肺叶裂隙特征可以表示为矩阵或者向量的形式，肺叶裂隙特征可以表示相应视角下的肺图像在各像素点处的特征值。

在一些可能的实施方式中，可以通过特征提取神经网络执行肺图像的裂隙特征的特征提取处理。例如可以对神经网络训练，实现神经网络对肺部图像的肺叶裂隙特征的精确提取，并通过得到的特征执行肺叶分割。在肺叶分割的精度超过精度阈值的情况下，表示该神经网络得到的肺叶裂隙特征的精确度满足要求，此时可以将神经网络中执行分割的网络层去掉，保留的网络部分即可以作为本发明实施例的特征提取神经网络。其中，特征提取神经网络可以为卷积神经网络，如可以为残差网络、金字塔特征网络、U网络，上述仅为示例性说明，不作为本发明的具体限定。

步骤2：利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正。

在一些可能的实施方式中，在得到三个视角下的肺叶裂隙特征的情况下，可以利用其中两个视角下的肺叶裂隙特征对第三个视角下的肺叶裂隙特征进行校正，提高第三个视角下的肺叶裂隙特征的精确度。

在一个示例中，本发明实施例可以利用冠状面和横断面视角下的肺叶裂隙特征，对矢状面视角下的肺叶裂隙特征进行校正。在其他实施例中，也可以通过三种视角的肺叶裂隙特征中任意两种肺叶裂隙特征校正另一肺叶裂隙特征。为了方便描述，下述实施例中通过第一肺叶裂隙特征和第二肺叶裂隙特征对第三肺叶裂隙特征进行校正进行描述。其中第一肺叶裂隙特征、第二肺叶裂隙特征以及第三肺叶裂隙特征与本发明实施例的三个视角下的肺叶裂隙特征分别对应。

在一些可能的实施方式中，可以采用映射的方式将第一肺叶裂隙特征和第二肺叶裂隙特征转换到第三肺叶裂隙特征的视角下，并利用映射得到的两个肺叶裂隙特征与第三肺叶裂隙特征执行特征融合，得到校正后的肺叶裂隙特征。

步骤3：利用校正后的肺叶裂隙特征对所述肺图像进行分割。

在一些可能的实施方式中，可以直接通过校正后的肺叶裂隙特征执行肺叶分割，得到肺叶裂隙的分割结果。或者，在其他实施方式中，也可以将校正后的肺叶裂隙特征与第三肺叶裂隙特征执行特征融合处理，基于融合结果执行肺叶分割，得到肺叶裂隙的分割结果。其中，分割结果可以包括识别出的肺图像中的各个分区对应的位置信息。例如，肺图像可以包括五个肺叶区域，分别为右上叶、右中叶、右下叶、左上叶和左下叶，得到分割结果中可以包括上述五个肺叶在肺图像中分别所在的位置信息。本发明实施例可以通过掩码特征的方式表示分割结果，也就是说，本发明实施例得到的分割结果可以是表示为掩码形式的特征，例如，本发明实施例可以为上述五个肺叶区域分别分配唯一对应的掩码值，如1、2、3、4和5，每个掩码值形成的区域即为相应的肺叶所在的位置区域。上述掩码值仅为示例性说明，在其他实施例中也可以配置其他的掩码值。

基于上述实施例，可以充分融合三个视角下的肺叶裂隙特征，提高校正后的裂隙特征的信息含量以及准确度，进而提高肺叶分割结果的精确度。

为了详细的说明本发明实施例，下面分别对本发明实施例的各过程进行说明。

本发明实施例中，所述获取肺图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征的方法为：

获得在矢状面、冠状面以及横断面下的多序列肺图像；分别对所述矢状面、冠状面以及横断面下的多序列肺图像进行肺叶裂隙特征提取，得到在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征。

本发明实施例可以首先获取三个视角下的多序列肺图像，如上述实施例所述，可以通过CT成像的方式采集肺图像在不同视角下的多层肺图像(多序列图像)，通过每个视角下的多层肺图像均可以得到三维形式的肺部图像。

在得到三个视角下的多序列肺图像的情况下，可以对各肺图像执行特征提取处理，例如通过上述特征提取神经网络对各视角下的肺图像执行特征提取处理，得到三个视角下的每个图像的肺叶裂隙特征，如在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征。其中，由于每个视角下可以包括多个肺图像，本发明实施例可以通过多个特征提取神经网络并行的执行该多个肺图像的特征提取处理，提高特征提取效率。

图3示出根据本发明实施例的一种肺叶分割方法的网络结构示意图的示意图。如图3所示，本发明实施例执行特征提取处理的网络可以为U网络 (U-net)，也可以为其他的能够执行特征提取的卷积神经网络。

在得到各个视角下的肺图像的肺叶裂隙特征的情况下，可以利用矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正，该过程可以包括：

将所述任意二个的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角；利用映射后的所述任意二个的肺叶裂隙特征对所述第三个肺叶裂隙特征进行校正。

为了描述方便，下述以第一肺叶裂隙特征和第二肺叶裂隙特征对第三肺叶裂隙特征进行校正为例进行说明。

由于在不同视角下，提取的肺叶裂隙特征不同，本发明实施例可以将三个视角下的肺叶裂隙特征映射转换到一个视角下。其中，所述将所述任意二个的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角的方法为：将所述矢状面、冠状面以及横断面任意二个的多序列肺图像的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角。也就是说，可以将第一肺叶裂隙特征和第二肺叶裂隙特征映射转换到第三肺叶裂隙特征所在的视角。其中，通过视角的映射转换，可以使得映射后得到的肺叶裂隙特征中融合映射之前视角的特征信息。

如上述实施例所述，本发明实施例在每个视角下可以得到多个肺图像，该多个肺图像对应的具有多个肺叶裂隙特征。肺叶裂隙特征中各特征值与相应的肺图像各像素点一一对应。

本发明实施例可以根据一个视角下的多个肺图像形成的三维立肺图像，确定将该视角转换到另一视角时肺图像中各像素点之间位置映射关系，如某一像素点从第一视角的第一位置切换到第二视角的第二位置，此时，该第一视角下的第一位置对应的特征值被映射到第二位置。通过上述实施例，可以实现不同视角下各肺图像的肺叶裂隙特征之间的映射转换。

在一些可能的实施方式中，在将三个视角的肺叶裂隙特征映射到相同的视角下的情况下，可以利用映射后的两个肺叶裂隙特征对第三肺叶裂隙特征执行校正处理，提高第三肺叶裂隙特征的信息含量和精确度。

本发明实施例中，所述利用映射后的所述任二个的肺叶裂隙特征对所述第三个肺叶裂隙特征进行校正的方法为：

分别利用映射后的所述任意二个的肺叶裂隙特征以及所述第三个肺叶裂隙特征进行空间注意力特征融合，得到第一融合特征和第二融合特征；根据所述第一融合特征和所述第二融合特征得到校正后的所述第三个肺叶裂隙特征。

本发明实施例可以将第一肺叶裂隙特征映射后的特征称为第一映射特征，以及将第二肺叶裂隙特征映射后的特征称为第二映射特征。在得到第一映射特征和第二映射特征的情况下，可以执行第一映射特征和第三肺叶裂隙特征之间的空间注意力特征融合，得到第一融合特征，以及执行第二映射特征和第三肺叶裂隙特征之间的空间注意力特征融合，得到第二融合特征。

其中，所述分别利用映射后的所述任意二个的肺叶裂隙特征以及所述第三个肺叶裂隙特征进行空间注意力特征融合，得到第一融合特征和第二融合特征的方法为：

分别将所述任意二个的肺叶裂隙特征与所述第三个肺叶裂隙特征进行连接，得到第一连接特征和第二连接特征；对所述第一连接特征进行第一卷积操作得到第一卷积特征，以及对所述第二连接特征进行第一卷积操作得到第二卷积特征；对所述第一卷积特征进行第二卷积操作得到第一注意力系数，以及对所述第二卷积特征进行第二卷积操作得到第二注意力系数；利用第一卷积特征和第一注意力系数得到所述第一融合特征，以及利用第二卷积特征和第二注意力系数得到所述第二融合特征。

在一些可能的实施方式中，如图3所示，可以通过空间注意力机制的网络模块执行上述空间注意力特征融合处理本发明实施例考虑到肺叶裂隙特征在不同位置上的重要性不同，采用了空间注意力机制。其中，可以通过空间注意力神经网络(attention)实现基于注意力机制的卷积处理，得到的融合特征中进一步突出了重要的特征。在该空间注意力神经网络的训练过程中可以自适应的学到空间特征每个位置的重要性，形成与每个位置的特征对象的注意力系数，例如该系数可以表示[0,1]区间的系数值，系数越大说明相应位置的特征越重要。

在执行空间注意力融合处理的过程中，可以首先对第一映射特征和第三肺叶裂隙特征执行连接处理得到第一连接特征，对第二映射特征和第三肺叶裂隙特征执行连接处理得到第二连接特征，上述连接处理可以为在通道方向上进行连接(concatenate)。本发明实施例中，第一映射特征、第二映射特征以及第三肺叶裂隙特征的尺度均可以标识为(C/2，H，W)，其中C表示各特征的通道数，H表示特征的高度，W表示特征的宽度。对应的，通过连接处理得到的第一连接特征和第二连接特征的尺度可以表示为(C，H，W)。

在得到第一连接特征和第二连接特征的情况下，可以分别对各第一连接特征和第二连接特征执行第一卷积操作，如利用卷积层A通过3*3的卷积核执行该第一卷积操作，而后还可以执行批归一化(bn)以及激活函数(relu) 处理，得到与第一连接特征对应的第一卷积特征，以及与第二连接特征对应的第二卷积特征。该第一卷积特征和第二卷积特征的尺度可以表示为(C/2， H，W)，通过第一卷积操作可以减少特征图中的参数，减少了后续的计算成本。

在一些可能的实施方式中，在得到第一卷积特征和第二卷积特征的情况下，可以分别对第一卷积特征和第二卷积特征执行第二卷积操作以及sigmoid 函数处理，分别得到对应的第一注意力系数和第二注意力系数。其中第一注意力系数可以表示第一卷积特征各个元素的特征的重要程度，以及第二注意力系数可以表示第二卷积特征中元素的特征的重要程度。

如图3所示，针对第一卷积特征或者第二卷积特征，均可以采用两个卷积层B和C执行该第二卷积操作，其中卷积层B通过1*1的卷积核处理后，执行批归一化(bn)以及激活函数(relu)处理，得到第一中间特征，该第一中间特征图的尺度可以表示为(C/8，H，W)，而后通过第二个卷积层C对该第一中间特征图执行1*1卷积核的卷积操作，得到(1，H，W)的第二中间特征图。进一步可以对该第二中间特征图使用sigmoid函数执行激活函数处理，得到第一卷积特征或者第二局演技特征对应的注意力系数，注意力系数的系数值可以为[0,1]范围内的数值。

通过上述第二卷积操作可以对第一连接特征和第二连接特征执行降维处理，得到单通道的注意力系数。

在一些可能的实施方式中，在得到第一卷积特征对应的第一注意力系数以及第二卷积特征对应的第二注意力系数的情况下，可以对第一卷积特征和第一注意力系数执行乘积处理，并将乘积结果与第一卷积特征相加，得到第一融合特征。以及对第二卷积特征和第二注意力系数矩阵执行乘积处理，并将乘积结果与第二卷积特征相加得到第二融合特征。其中，乘积处理(mul) 可以为对应元素相乘，以及特征相加(add)可以为对应元素相加。通过上述方式可以将实现三个视角下特征的有效融合。

或者，在另一些实施方式中，也可以利用所述第一卷积特征与所述第一注意力系数相乘的特征与所述第一卷积特征相加，并对相加得到的特征进行若干卷积操作得到所述第一融合特征；以及利用所述第二卷积特征与所述第二注意力系数相乘的特征与所述第二卷积特征相加，并对相加得到的特征进行若干卷积操作得到所述第二融合特征。通过该方式可以进一步提高融合特征的精确度，以及提高融合的信息含量。

在得到第一融合特征以及第二融合特征的情况下，可以利用第一融合特征和第二融合特征得到校正后的第三肺叶裂隙特征。

在一些可能的实施方式中，由于第一融合特征和第二融合特征中分别包括三个视角下的特征信息，因此可以直接通过将第一融合特征和第二融合特征进行连接，并对连接后的特征执行第三卷积操作，得到校正后的第三肺叶裂隙特征。或者，也可以将第一融合特征、第二融合特征以及第三肺叶裂隙特征连接，并对连接后的特征执行第三卷积操作，得到校正后的第三肺叶裂隙特征。

其中，该第三卷积操作可以包括分组卷积处理。通过第三卷积操作可以进一步实现每个特征中的特征信息的进一步融合。如图3所示，本发明实施例的第三卷积操作可以包括分组卷积D(depth wise conv)，其中分组卷积可以加快卷积速度，同时提高卷积特征的精度。

在通过第三卷积操作得到校正后的第三肺叶裂隙特征的情况下，可以利用校正后的肺叶裂隙特征对所述肺图像进行分割。本发明实施例可以利用卷积的方式得到校正后的肺叶裂隙特征对应的分割结果。如图2所示，本发明实施例可以将校正后的肺叶裂隙特征输入到卷积层E中，通过1*1的卷积核执行标准卷积，得到肺图像的分割结果。如上述实施例所述，该分割结果中可以表示肺图像中的五个肺叶分别所在的位置区域。如图2所示，肺图像中各肺叶区域通过深浅填充色的方式进行区分。

基于上述配置，本发明实施例提供的基于多视角下的肺叶分割方法可以以解决没有充分利用其他视角的信息对肺叶进行分割，造成信息丢失，不能准确的分割肺叶的技术问题。

如上述实施例所述本发明实施例可以通过神经网络实现，如图3所示，本发明实施例执行多视角下的肺叶分割方法的神经网络可以包括特征提取神经网络、空间注意力神经网络以及分割网络(包括卷积层D和E)。

本发明实施例可以包括三个特征提取神经网络，分别用于提取不同视角下的肺叶裂隙特征。其中，可以将三个特征提取网络称为第一分支网络、第二分支网络和第三分支网络。其中，本发明实施例的三个分支网络的结构完全相同，每个分支网络的输入图像各不相同。例如矢状面的肺图像样本输入到第一分支网络、冠状面的肺图像样本输入到第二分支网络，以及横断面的肺图像样本输入到第三分支网络，用以分别执行各视角下的肺图像样本的特征提取处理。

具体的，本发明实施例中，训练所述特征提取神经网络的过程，包括：

获取矢状面下、冠状面下以及横断面下的训练样本，所述训练样本为带有标记肺叶裂隙特征的肺图像样本；利用所述第一分支网络对矢状面下的肺图像样本执行特征提取，得到第一预测肺叶裂隙特征；利用所述第二分支网络对冠状面下的肺图像样本执行特征提取，得到第二预测肺叶裂隙特征；利用所述第三分支网络对横断面下的肺图像样本执行特征提取，得到第三预测肺叶裂隙特征；分别利用所述第一预测肺叶裂隙特征、第二预测肺叶裂隙特征以及第三预测肺叶裂隙特征与对应的标记肺叶裂隙特征得到所述第一分支网络、所述第二分支网络和所述第三分支网络的网络损失，并利用所述网络损失调整所述第一分支网络、所述第二分支网络和所述第三分支网络的参数。

如上述实施例所述，分别利用第一分支网络、第二分支网络和第三分支网络执行矢状面、冠状面以及横断面视角下的肺图像样本的特征提取处理，进而可以对应的得到预测的特征，即第一预测肺叶裂隙特征、第二预测肺叶裂隙特征和第三预测肺叶裂隙特征。

在得到各预测的肺叶裂隙特征的情况下，可以分别利用所述第一预测肺叶裂隙特征、第二预测肺叶裂隙特征以及第三预测肺叶裂隙特征与对应的标记肺叶裂隙特征得到所述第一分支网络、所述第二分支网络和所述第三分支网络的网络损失。例如，本发明实施例的损失函数可以为对数损失函数，通过第一预测肺叶裂隙特征和标记的真实肺叶裂隙特征，可以得到第一分支网络的网络损失，通过第二预测肺叶裂隙特征和标记的真实肺叶裂隙特征，可以得到第二分支网络的网络损失，以及通过第三预测肺叶裂隙特征和标记的真实肺叶裂隙特征，可以得到第三分支网络的网络损失。

在得到各分支网络的网络损失的情况下，可以根据各网络的网络损失的调整第一分支网络、所述第二分支网络和所述第三分支网络的参数，直至满足终止条件。其中，本发明实施例可以利用所述第一分支网络、所述第二分支网络和所述第三分支网络中任一分支的网络损失分别同时调整所述第一分支网络、所述第二分支网络和所述第三分的网络参数，如卷积参数等。从而可以使得任一视角下网络参数与其余两个视角下的特征相关，可以提高提取的肺叶裂隙特征与其余两个视角下的肺叶裂隙特征的相关性以及实现各视角下的肺叶裂隙特征的初步融合。

另外，特征提取神经网络的训练终止条件为各个分支网络的网络损失均小于第一损失阈值，此时表明特征提取神经网络的各分支网络均能够精确的提取相应视角下的肺图像的肺叶裂隙特征。

在训练完成特征提取神经网络的情况下，可以利用特征提取神经网络、空间注意力神经网络以及分割网络同时进行训练，并利用分割网络输出的分割结果与标记的肺叶裂隙特征中对应的标记结果，确定整个神经网络的网络损失。并利用整个神经网络的网络损失进一步反馈调节特征提取神经网络、空间注意力神经网络以及分割网络的网络参数，直至整个神经网络的网络损失小于第二损失阈值。本发明实施例中的第一损失阈值大于或者等于第二损失阈值，从而可以提高网络的网络精度。

在应用本发明实施例的神经网络执行基于多视角下的肺叶分割时，可以将同一肺部的不同视角下肺图像分别对应的输入至三个分支网络中，最终通过这个神经网络得到最终的肺图像的分割结果。

综上所述，本发明实施例提供的肺叶分割方法，可以对多视角特征信息进行融合，执行肺图像的肺叶分割，解决没有充分利用其他视角的信息对肺叶进行分割，造成信息丢失，不能准确的分割肺叶的问题。

另外，本发明实施例也可以通过肺叶分割装置进行肺叶分割，其包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述实施例中的肺叶分割方法。

在一些实施例中，本发明实施例提供的肺叶分割装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

在得到肺图像对应的肺叶分割图像的情况下，可以对肺叶分割图像进行病灶预测，即确定肺叶分割图像中是否存在预设的病灶，本发明实施例病灶的类型可以根据需求设定，例如可以为肺结节、肺癌中的至少一种，或者也可以为其他类型，本发明对此不作具体限定。在此需要说明的是，肺叶分割图像可以是肺图像中任意肺叶对应图像，本发明实施例可以检测任意肺叶的病灶区域。

首先，本发明实施例可以得到肺叶分割图像中各特征点的注意力特征。在执行本发明实施例时，可以首先获取肺叶分割图像的图像特征。其中，图像特征可以用于表示肺叶分割图像的特征点的特征，图像特征中的元素为关于肺叶分割图像的各特征点的特征向量。本发明实施例中，可以对肺叶分割图像执行特征提取处理等得到图像特征，或者也可以将步骤S10中关于肺叶分割图像的特征作为图像特征。本领域技术人员可以采取不同的方式形成肺叶分割图像的特征向量，本发明对此不进行具体限定。

在获取图像特征之后，即可以分别对该图像特征执行第一卷积处理和第二卷积处理，并根据卷积处理的结果得到注意力特征。图4示出根据本发明实施例步骤S20的流程图，其中所述基于所述肺叶分割图像的图像特征，得到所述图像特征中的特征点对应的注意力特征，包括：

S21：对肺叶分割图像的图像特征进行第一卷积处理，获得多个基准注意力特征，所述基准注意力特征中的元素为与所述图像特征中各特征点对应的基准注意力；

S22：对所述图像特征进行第二卷积处理，获得注意力系数矩阵，所述注意力系数矩阵中的元素为与所述图像特征内各所述特征点对应的基准注意力系数，并且所述注意力系数矩阵的通道数与所述基准注意力特征的数量相同；

S23：利用所述注意力系数矩阵、所述图像特征、各所述基准注意力特征，确定各所述特征点的注意力特征。

本发明实施例中，步骤S21和S22可以同时执行，也可以分别执行，对该两个步骤的顺序不作具体限定。

通过步骤S21可以对图像特征执行第一卷积处理，获得多个基准注意力特征，其中，可以利用第一卷积核对图像特征执行特征方向上的卷积处理，得到预设个数的基准注意力特征。其中预设个数可以为预先设置的数值，如 16、32等，本领域技术人员可以根据需求自行设定。得到的基准注意力特征中的元素为与图像特征中各特征点对应的基准注意力。即通过第一卷积处理可以获得针对每个特征点的基准注意力，该基准注意力可以为特征向量形式。并且，获得的各基准注意力特征的长度与图像特征的长度相同，以及所述基准注意力特征的宽度与图像特征的宽度相同。

其中，本发明实施例所述的各特征点可以为肺叶分割图像的像素点，第一卷积核可以为1*1的卷积核，但不作为本发明的具体限定。

步骤21中，可以通过第一卷积处理，得到多个基准注意力特征，每个基准注意力特征都可以包括与图像特征中各特征点对应的基准注意力，并且得到的各基准注意力特征不同。而且基准注意力特征的长度与图像特征内相应特征点的长度相同，以及所述基准注意力特征内的宽度与图像特征内相应特征点的宽度相同，即基准注意力特征的特征点对应的基准注意力与图像特征中的各特征点的特征值一一对应。例如，对于某个维度为a×b×c的图像特征，各基准注意力特征的维度为a×b×1。

另外，通过步骤S22可以对图像特征执行第二卷积处理，获得注意力系数矩阵，其中，可以利用第二卷积核对图像特征执行卷积处理，得到注意力系数矩阵，该注意力系数矩阵中的元素为与图像特征的各特征点对应的基准注意力系数。并且，基准注意力系数矩阵内各特征点对应的注意力系数的通道数与基准注意力特征的数量相同。即基准注意力系数矩阵内的各元素可以表示与对应的特征点对应的多个基准注意力系数，该基准注意力系数的数量与基准注意力特征的数量相同。也就是针对特征点的每个基准注意力都可以对应相应的基准注意力系数。

其中，第二卷积核可以为1*1的卷积核，本发明实施例对此不进行具体限定。本发明实施例中的第一卷积核和第二卷积核可以为不同的卷积核。

在步骤S22中，通过对图像特征进行第二卷积处理得到的注意力系数矩阵中，各注意力系数矩阵内的元素分别为针对不同的特征点的多个注意力系数。即，通过第二卷积处理，可以得到表示各特征点的注意力系数的注意力系数矩阵，每个注意力系数矩阵都可以包括与图像特征中各特征点对应的注意力系数。并且得到的注意力系数矩阵的长度与图像特征的长度相同，所述注意力系数矩阵的宽度与图像特征的宽度相同，得到的注意力系数矩阵可以表示为a×b×n，其中n为基准注意力特征的数量。

在获得注意力系数矩阵和基准注意力特征之后，即可以根据获得的两个类型的特征矩阵执行步骤S23。

其中，本发明实施例中，所述基于所述图像特征与各所述基准注意力特征，获得与各基准注意力特征对应的基准特征向量，包括：将所述图像特征中各特征点对应的特征向量与基准注意力特征中相同特征点的第一注意力相乘，得到针对基准注意力特征中每个特征点的第一乘积；将针对基准注意力特征中每个特征点的第一乘积加和，获得与基准注意力特征对应的基准特征向量。

其中，在得到基准注意力特征之后，则可以将基准注意力特征与图像特征中相应特征点对应的向量值进行乘积，得到针对该基准注意力特征的该特征点的第一乘积。例如，图像特征A可以表示为[a1,b1,c1],一个基准注意力特征B可以表示为[a2,b2,c2]，另一个基准注意力特征C可以表示为[a3,b3,c3]。则步骤S23可以分别得到针对基准注意力特征B的三个特征点的第一乘积，即为a1a2，b1b2和c1c2，以及针对基准注意力特征C的三个特征点的第一乘积，即为a1a3，b1b3以及c1c3。同理可以获得针对每个基准注意力特征的各特征点的第一乘积值。

进一步地，可以将针对基准注意力特征中每个特征点的第一乘积加和，获得与基准注意力特征对应的基准特征向量。即，在获得一个基准注意力特征中各相同特征点的第一乘积值之后，可以将各特征点的第一乘积加和得到基准特征向量。例如，针对基准注意力特征B，则可以得到加和向量为a1a2， b1b2和c1c2的加和值，即得到针对基准注意力特征B的基准特征向量 a1a2+b1b2+c1c2。同样，可以得到针对基准注意力特征C的基准特征向量a1a3+b1b3+c1c3。依次类推，可以得到每个基准注意力特征的基准特征向量。

本发明实施例的上述配置中，并不需要针对每个特征点运算与其他特征点之间的关联性，构建关于每个特征点的关联张量，大大提高了运算速度，以及减小了运算资源的耗费。

另外，在获得各基准注意力特征对应的基准特征向量之后，可以通过步骤S23获取各特征点的注意力特征。图5示出本发明实施例的一种病灶区域检测方法中步骤S23的流程图，所述利用所述注意力系数矩阵、所述图像特征、各所述基准注意力特征，确定各所述特征点的注意力特征，包括：

S231：基于所述图像特征与各所述基准注意力特征，获得与各基准注意力特征对应的基准特征向量；所述基准特征向量由所述图像特征和所述基准注意力特征中对应元素的乘积之和得到；

S232：利用所述注意力系数矩阵与各所述基准特征向量，得到各所述特征点的注意力特征。

需要说明的是，所述利用所述注意力系数矩阵与各所述基准特征向量，得到各所述特征点的注意力特征，包括：分别利用各所述基准特征向量与注意力系数矩阵相乘，得到针对各个基准特征向量的乘积矩阵；将针对各基准特征向量的乘积矩阵中相同特征点的乘积值相加，得到该特征点的注意力特征。

在得到每个基准注意力特征对应的基准特征向量之后，即可以将基准特征向量分别与步骤S22的得到的注意力系数矩阵相乘，得到与基准特征向量对应的乘积矩阵。其中，可以将相同特征点对应的基准注意力和注意力系数相乘，由于注意力系数矩阵中的每个元素可以包括一个特征点的多个注意力系数，并且，每个特征点的注意力系数的数量与基准注意力特征的数量相同，因此，可以获得一一对应的注意力系数与基准注意力特征的乘积，因此，在乘积之后，可以获得每个特征点的注意力系数与基准注意力的多个乘积值。因此，通过上述即可以获得针对每个基准注意力向量对应的乘积矩阵，该乘积矩阵中包括每个特征点的上述多个乘积值。

在得到各基准注意力向量的乘积矩阵之后，即可以将各乘积矩阵中对应特征点的乘积值相加，得到针对该特征点的注意力特征。如上所述，每个乘积矩阵中可以包括各特征点对应的注意力系数与基准注意力的乘积值，因此可以将各乘积矩阵中相同点的对应注意力系数的乘积值相加，得到针对该特征点的注意力特征，从而获得每个特征点的注意力特征。由各特征点获得的注意力特征可以构成注意力特征矩阵。根据上述实施例，即可以获得肺叶分割图像中各特征点的注意力，本发明实施例的上述处理过程中，通过得到的注意力系数矩阵与基准注意力向量进行相乘，并进行简单的加和运算即得到最终的各特征点的注意力，该过程相对于现有技术中的运算过程减小了运算量。

本发明实施例步骤S20可以通过注意力机制的神经网络实现，该神经网络可以为经过训练能够满足精度需求的网络结构，可以包括执行上述第一卷积核第二卷积处理的卷积模块，以及执行上述相乘和相加处理的运算模块。可以在实现全局关联性的情况下(即确定各特征点的注意力的情况下)，减少资源的消耗，能够以显著更少的资源完成目前使用注意力模块学习全局相关性的任务；并且，能够在显著更大的输入上学习全局相关性。

在得到肺叶分割图像的各特征点的注意力特征的情况下，可以利用该注意力特征执行病灶检测。其中，本发明实施例可以直接通过各特征点形成的注意力特征矩阵的特征处理，得到病灶区域，或者也可以对该注意力矩阵进行优化之后，再执行步骤S40。例如，优化处理可以包括将所述图像特征和由各特征点对应的注意力特征构成的注意力特征矩阵输入至残差模块进行加和处理，得到优化的注意力特征矩阵，所述优化的注意力特征矩阵内的元素为针对各特征点的优化注意力。即可以将注意力特征矩阵与原始输入数据对应的图像特征进行加和处理，得到优化的注意力矩阵。

下述以注意力矩阵为例说明病灶预测的过程，优化的注意力矩阵的病灶预测过程与之相同，在此不做重复说明。

图6示出根据本发明实实施例的病灶检测方法中步骤S40的流程图，所述利用所述注意力特征对所述肺叶分割图像进行病灶预测处理，得到所述肺叶分割图像中的病灶区域，可以包括：

S41：利用所述注意力特征，得到肺叶分割图像中的预测病灶区域的掩码信息，所述掩码信息包括所述预测病灶区域内的像素点的掩码值，所述掩码值表示所述像素点位于病灶位置的置信度；

S42：基于所述掩码信息中的所述掩码值，形成椎体结构；

S43：对所述椎体结构进行优化处理，得到优化后的病灶区域，所述优化后的病灶区域与病灶形状匹配。

在得到肺图像对应的肺叶分割图像以及肺叶分割图像的注意力特征矩阵的情况下下，可以对肺叶分割图像进行病灶预测，即确定肺叶分割图像中是否存在预设的病灶，本发明实施例病灶的类型可以根据需求设定，例如可以为肺结节、肺癌中的至少一种，或者也可以为其他类型，本发明对此不作具体限定。在此需要说明的是，肺叶分割图像可以是肺图像中任意肺叶对应图像，本发明实施例可以检测任意肺叶的病灶区域。

本发明实施例中，所述利用所述注意力特征，得到肺叶分割图像中的预测病灶区域的掩码信息，可以包括：利用所述注意力特征矩阵对所述肺叶分割图像执行病灶检测处理，确定所述肺叶分割图像的预测病灶区域；对所述预测病灶区域对应的第一特征图执行特征处理，得到所述病灶区域的掩码信息，所述掩码信息包含所述病灶区域中多个像素点的掩码值，并且所述掩码值可以表示像素点所在的位置对应于病灶位置的置信度，所述掩码值为大于或者等于零且小于或者等于1的数值。

在一些可能的实施方式中，可以对得到的肺叶分割图像执行病灶检测处理，检测图像中的病灶区域所在位置。其中，病灶区域可以为肺结节所在区域，肺癌信息所在区域。其中可以通过卷积神经网络对肺叶分割图像进行处理得到，如可以通过感兴趣区域(Regoin of Intrest，ROI)等手段得到该病灶区域。其中，在一些示例中，将输出的限定框所限定的区域作为病灶区域，该限定框可以为矩形框，但本发明对此不作具体限定。

本发明实施例中，利用注意力特征矩阵对所述肺叶分割图像执行病灶检测处理，确定所述肺叶分割图像的预测病灶区域，可以包括：将所述肺叶分割图像的注意力特征矩阵输入到区域候选网络(RPN)中，利用所述区域候选网络执行病灶区域检测，得到肺叶分割图像中的预测病灶区域。即，本发明实施例可以训练区域候选网络(RPN)执行病灶区域的检测，得到病灶对应的检测框，即病灶区域在其他实施例中，也可以通过其他能够执行目标检测的神经网络执行病灶区域的确定，例如残差网络，等本发明对此不做具体限定。其中，本发明实施例内的预测病灶区域可以为肺结节、肺癌的病灶区域，但不作为本发明的具体限定，在其他实施例中，也可以为其他类型的病灶区域。

其中，本发明实施例的区域候选网络可以包括第一卷积组A、第二卷积组B、分类器C。其中，第一卷积组包括至少一个卷积层，用于执行输入的肺叶分割图像的特征提取处理，得到肺叶分割图像的特征图F1，第一卷积组可以为残差网络结构或者金字塔特征提取网络结构，本发明对此不作具体限定。第二卷积组B也可以包括至少一个卷积层，用于对输入的特征图F1执行卷积处理，得到肺叶分割图像中预测病灶区域的检测框，该检测框可以矩形框，用于表示病灶的位置，即对应于预测病灶区域，分类器C可以执行检测框内病灶类型的分类，如该病灶是肺癌或者肺结节。通过上述配置可以实现肺叶分割图像中预测病灶区域的确定。其中，第一卷积组和第二卷积组的卷积核大小可以根据需求设定，如可以为1*1或3*3，本发明对此不作具体限定。

在一些可能的实施方式中，由于预测得到的预测病灶区域中包括较多的背景信息，同时得到的病灶区域的形状与实际上病灶形状没有任何关联，不管病灶是如何的形状得到的病灶区域的检测框均为矩形框，其中可能存在病灶信息的其他信息，存在检测的病灶区域不精确的情况。为了进一步提高冰病灶区域的检测精度本发明实施例可以基于预测得到的预测病灶区域优化形成与病灶形状匹配的最终病灶区域。

其中，可以对预测病灶区域对应的第一特征图执行处理，进一步得到与预测病灶区域对应的掩码信息，该掩码信息可以包含病灶区域内各像素点对应的掩码值，具体可以表示为掩码矩阵或掩码图或其他形式，但本发明实施例对此不做限定。其中掩码信息中的掩码值可以为[0,1]范围内的数值，相关技术中，得到掩码信息中对应的掩码值通常为0或1，本发明实施例通过生成 [0,1]范围内的掩码值，可以表示预测病灶区域中对应的像素点为病灶信息的置信度，也可以表示像素点距离病灶区域中心的距离的远近。例如，掩码值越高说明对应的像素点为病灶信息的概率就越高，距离病灶信息的中心的距离就越近，但本发明实施例不限于此。

在一些可能的实施方式中，可以通过至少一个卷积层对预测病灶区域的第一特征图执行卷积处理和/或其他处理，得到上述掩码信息。其中，首先可以得到预测病灶区域对应的第一特征图，例如可以对预测病灶区域在肺叶分割图像中的图像区域执行特征提取，得到病灶区域对应的第一特征图，或者，也可以对肺叶分割图像执行特征提取，得到肺叶分割图像的特征图，并将该特征图中与预测病灶区域位置对应的特征确定为第一特征图。上述仅为示例性说明得到第一特征图的方式，不作为本发明的具体限定。其中特征提取可以通过特征提取网络实现，例如可以通过残差网络、金字塔网络等实现。

在一些可能的实施方式中，在得到预测病灶区域的第一特征图的情况下，可以对该第一特征图执行特征处理，得到对应的掩码信息。其中可以通过掩码预测神经网络实现该掩码信息的获取，其中掩码预测神经网络可以包括多个卷积层。其中，可以对第一特征图执行至少一层卷积处理，得到相应的掩码特征图，即预测掩码信息，各卷积层的卷积核的大小以及参数可以为训练得到的参数。或者在一些实施例中，也可以结合空洞卷积和标准卷积(利用不存在空洞的卷积核执行卷积处理的方式)对第一特征图执行特征处理，得到掩码信息。例如，可以对第一特征图执行n层空洞卷积，而后再执行标准卷积，其中n为大于或者等于1的数值，如n可以为4，但不作为本发明的具体限定。其中，通过结合空洞卷积执行卷积处理可以扩大感受视野，提高掩码值精度。另外，在一些可能的实施方式中，在对第一特征图执行特征处理的过程中，包括对特征信息的上采样处理，本发明实施例可以将现有技术中使用的转置卷积层转换为双线性插值和卷积处理的方式实现，其中可以通过 3*3的卷积核执行卷积处理，本发明对此不作具体限定。

本发明实施例中，不同现有掩码预测神经网络Mask RCNN得到由0或1 组成的掩码图，其中1表示检测对象所在的区域，0表示检测对象以外的区域，本发明实施例通过对MaskRCNN网络进行训练使得该Mask RCNN输出的掩码特征图中的元素(掩码值)可以为预测病灶区域内像素点为病灶所在区域的置信度，同时该掩码值也表示对应的像素点与病灶的边界之间的距离的远近，掩码值由[0,1]范围内的数值构成，也就是说，本发明实施例得到的掩码信息中的掩码值为[0,1]范围内的数值。

在一些可能的实施方式中，在训练Mask RCNN网络或者训练执行本发明实施例的病灶预测的神经网络时，可以根据像素点与真实病灶的边界之间的距离确定上述像素点对应的真实掩码值。通过该真实掩码值作为监督，对Mask RCNN进行监督训练。

在得到肺叶分割图像预测的病灶区域对应的掩码信息后，可以利用该掩码信息形成椎体结构，即执行步骤S43。

在一些可能的实施方式中，由于预测得到的病灶区域中的像素点与掩码信息中的掩码值一一对应，因此，本发明实施例可以利用像素点的位置和掩码值构建椎体结构。其中，该椎体结构可以为棱锥体，该椎体结构可以包括一底面，以及与底面连接的多个倾斜侧面，该多个倾斜侧面相交于一点时形成棱锥体，该倾斜侧面不相交时，可以形成棱台体。在一些可能的实施例中，底面可以构造为n边形，n为大于或者等于3的数值，下述实施例中以底面为四边形进行说明，但本发明对此不进行具体限制，其余边数的底面的原理相同，不再进行重复赘述。

在一些可能的实施方式中，可以将病灶区域中的像素点对应的掩码值，作为像素点对应的高度，本发明实施例可以根据各高度值构建椎体结构。在一个示例中，可以确定各像素点对应的掩码值中最大的掩码值，在只存在一个像素点的掩码值为该最大掩码值的情况下，可以将该像素点的掩码值对应的高度确定为椎体结构顶点的高度，即可以将该像素点的最大掩码值对应的高度处的点作为椎体结构的顶点，同时将病灶区域作为主体结构的底面，从而可以确定椎体结构，此时椎体结构为多棱锥。或者，可以利用病灶区域的中心位置的像素点对应的掩码值(高度)确定椎体结构的顶点，从而得到椎体结构。此时椎体结构也为多棱锥。

在另一个示例中，可以确定各像素点对应的掩码值中最大的掩码值，在存在多个像素点的掩码值为该最大掩码值的情况下，可以利用该多个像素点的掩码值对应的高度确定为椎体结构顶面的高度，即可以利用该多个像素点的最大掩码值对应的高度处的点构建椎体结构的顶面，同时将病灶区域作为椎体结构的底面，从而可以确定椎体结构，此时椎体结构为多棱台。

在一些可能的实施方式中，也可以利用掩码信息中包括的预测病灶区域内各像素点的掩码值，构建针对各像素点的三维坐标，并利用各三维坐标构建椎体结构。具体原理与上述根据各像素点的高度确定椎体结构的原理相同。本发明实施例可以利用预测病灶区域内各像素点的位置和对应的掩码值建立与各像素点对应的三维坐标值，从而可以将预测病灶区域内各像素点转换为 (x,y,z)的点集，其中该(x,y,z)可以为三维坐标系下的坐标形式，(x,y)表示该像素点在病灶区域中的位置，z代表该像素点对应的掩码值。通过各像素点对应的三维坐标可以建立椎体结构，其中，可以将z值最大的像素点对应的三维坐标作为椎体结构的顶点，或者将z值最大的多个像素点对应的三维坐标构建的平面作为椎体结构的顶面，从而构建多棱锥或者多棱台形式的椎体结构。

上述仅为示例性说明基于像素点的掩码值确定椎体结构的实施例，在其他实施例中也可以通过其他方式构建椎体结构，如利用满足预设条件的像素点构建椎体结构，即从像素点中筛选出满足预设条件的第一像素点，根据第一像素点对应的掩码值或者预设的配置信息构建椎体结构。

下面具体说明构成椎体结构的过程。如上述实施例可以根据病灶区域内各像素点对应的掩码值作为像素点的高度，来构建椎体结构，或者可以基于病灶区域内各像素点的位置以及对应的掩码值，形成三维坐标，从而构建椎体结构。另外，本发明实施例还可以从像素点中确定满足条件的第一像素点，通过第一像素点确定椎体结构的定点或者顶面，从而构建椎体结构。

本发明实施例中，基于所述掩码信息中的所述掩码值，形成椎体结构，可以包括：将所述预测病灶区域内掩码值超过第一阈值的像素点确定为第一像素点；基于所述预测病灶区域内的所述第一像素点的位置以及预设高度值，确定所述椎体结构的顶点；基于所述预测病灶区域和所述顶点，形成所述椎体结构。

在一些可能的实施方式中，如上所述，得到的预测病灶区域中各像素点对应的掩码值可以为0到1范围内的数值，本发明实施例可以从中选择出掩码值大于第一阈值的像素点，并将该掩码值大于第一阈值的像素点确定为第一像素点。其中，第一阈值可以为小于0.5的数值，如可以为0.01，但本发明对此不作具体限定。通过选择掩码值较大的第一像素点，可以在不影响椎体结构的构建的情况下减少后续聚类过程中像素点的数量，加快椎体结构的优化速度。

在一些可能的实施方式中，利用得到的多个第一像素点的位置确定该多个第一素点对应的中心位置，其中第一像素点的位置可以表示为(x，y)，通过各第一像素点的位置均值可以得到中心位置的坐标，即分别求取第一像素点的x坐标值的均值，以及y坐标值的均值，得到中心位置的坐标。同时，本发明实施例可以设定中心位置对应的高度设定为预设高度，例如该预设高度可以为1。通过该中心位置的预设高度处对应的空间点可以作为椎体结构的侧面顶点。此时由于中心位置为一个点，对应的顶点为一个。

在一些可能的实施例中，在得到多个第一像素点的情况下，还可以得到该多个第一像素点中掩码值大于第三阈值的第二像素点，其中第三阈值大于第一阈值，如可以为大于0.5的数值，本发明实施例中第三阈值可以为0.8，但不作为本发明的具体限定。在得到掩码值大于第三阈值的第二像素点时，可以将该多个第二像素点的高度设定为预设高度，例如为1，此时根据第二像素点在预设高度处形成的平面，可以作为侧面顶点形成的顶面。

在一些可能的实施方式中，在得到侧面顶点的情况下，可以将病灶区域作为椎体结构的底面，将底面的各顶点与相应的侧面顶点连接，即可以得到椎体结构。其中，在侧面顶点为基于第一像素点的中心位置确定的情况下，可以将底面的各个顶点(顶角点)与侧面顶点连接，得到棱锥体形式的椎体结构，例如，在病灶区域为矩形或者四边形的情况下，得到的椎体结构为四棱锥。

另外，在侧面顶点为基于掩码值大于第三阈值的第一像素点确定的情况下，可以将底面的各个顶点与侧面顶点构成的平面连接，得到多棱台形式的椎体结构，例如，在病灶区域为矩形或者四边形的情况下，得到的椎体结构为四棱台。

上述仅为示例性说明，在其他实施例中，也可以通过其他方式得到椎体结构。另外，本发明实施例通过构建椎体结构执行病灶所在区域的检测，可以得到适应于病灶信息的区域形状的优化的病灶区域。

本发明实施例中，所述对所述椎体结构进行优化处理，得到优化后的病灶区域(步骤S24)，可以包括：对所述椎体结构执行平面聚类的优化处理，得到优化后的椎体结构；基于优化后的椎体结构，得到所述肺图像优化后的病灶区域。

在一些可能的实施方式中，在得到与预测病灶区域对应的椎体结构之后，可以对椎体结构的平面进行优化处理。其中，可以对椎体结构的各个侧面执行平面聚类处理，不断的优化各侧面，最终得到优化后的椎体结构。其中，平面聚类处理可以为基于最小二乘法的平面聚类处理，但不作为本发明实施例的具体限定，在其他实施例中也可以通过其他平面聚类算法执行椎体结构的优化。在对椎体结构的各个侧面执行平面聚类优化之后，基于侧面的不断优化，椎体结构底面的边界形状也随之改变，通过优化处理使得底面的边界不断接近病灶的边界，在执行椎体结构的优化处理后，即可以基于该优化后的椎体结构的底面区域确定最终病灶区域，即可以基于优化后的椎体结构包含的多个侧面与所述椎体结构的底面的交集，得到图像的最终病灶区域。

下面详细说明优化椎体结构的过程。所述对所述椎体结构执行平面聚类的优化处理，得到优化后的椎体结构，包括：对所述掩码信息中包含的第一像素点进行平面聚类，得到所述第一像素点所属的侧面；基于所述侧面包括的第一像素点，对所述侧面进行迭代更新，得到多个优化后的侧面；基于所述优化后的侧面形成所述优化后的椎体结构。

如上所述病灶区域的各像素点可以构造为(x,y,z)的点集，本发明实施例可以将基准平面表示为平面z＝0，而椎体结构的中的每个面可以由方程 Ax+By+Cz+D＝0，C＝1唯一确定。因此，本发明对椎体结构进行优化的任务可以规约为：找到每个平面的最佳参数{A,B,D}。

本发明实施例可以通过病灶区域中的第一像素点执行椎体结构的优化处理，该第一像素点即为掩码值大于第一阈值的像素点。对应的基于第一像素点对椎体结构执行平面聚类优化的步骤可以包括分组和更新，分组包括将病灶区域的每个第一像素点对应的三维坐标点(x,y,z)分配到距离最近的侧面中，即可以得到每个第一像素点所属的侧面。

其中，本发明实施例可以基于各第一像素点的中心位置将第一像素点对应的三维坐标分配给相应的椎体结构侧面，其中，本发明实施例可以基于第一像素点的中心位置在底面上形成椎体结构侧面对应的俯视区域。第一像素点的中心位置可以根据第一像素点的位置坐标(x，y)的均值得到，进而基于底面的顶点与中心位置的连线得到多个底面分区，每个底面分区构造为对应的侧面的俯视区域。其中，以预测病灶区域为四边形为例进行说明，其中通过中心位置与预测病灶区域的四个顶点可以将底面(预测病灶区域)划分成多个底面区域a、b、c和d。该多个底面区域可以分别为相应的侧面的俯视区域。对应的，可以将该底面区域分组给对应的侧面，从而确定每个第一像素点所属的侧面，例如可以确定底面区域a为侧面S1的俯视区域，即确定底面区域a内的第一像素点对应的三维坐标点所属的侧面为S1对应的侧面，确定底面区域b为侧面S2的俯视区域，即确定底面区域b内的第一像素点对应的三维坐标点所属的侧面为S2对应的侧面，确定底面区域c为侧面S3的俯视区域，即确定底面区域c内的第一像素点对应的三维坐标点所属的侧面为 S3对应的侧面，以及确定底面区域d为侧面S4的俯视区域，即确定底面区域 d内的第一像素点对应的三维坐标点所属的侧面为S4对应的侧面。也就是说，本发明实施例，可以根据第一像素点的中心位置以及椎体结构的底面边界确定底面内各第一像素点的三维坐标点对应的分组侧面。

更新可以包括通过鲁棒最小二乘算法(RLS)分别回归各个侧面，使得与每个侧面对应的第一像素点对应的三维坐标与相应的侧面之间的距离之和最小。即通过每个侧面对应的第一像素点，可以执行相应平面的拟合得到新的侧面。在得到新的侧面之后同时得到新的底面，进而可以重新确定新的底面中各第一像素点的中心位置，并对第一像素点进行分组(确定所属的侧面)，而后执行侧面的更新，如此通过反复的迭代分组和更新过程，最终得到优化的椎体结构。其中，迭代分组和更新的截止条件可以包括以下方式中的至少一种：所述迭代更新的次数达到第二阈值，以及所述多个第一像素点与更新之后的多个侧面之间的距离满足预设条件。

也就是说，本发明实施例可以通过迭代的次数确定椎体结构的优化是否满足截止条件，如迭代次数可以为10次，或者在其他实施例中，迭代次数也可以为其他值，本发明不作具体限定。或者，在其他实施例中，在RLS返回的回归残差足够小时，便获得最终的优化的椎体结构。其中，在对第n次优化得到的椎体结构执行优化时，第n-1次优化得到的椎体结构的底面中的正像点的三维坐标与第n次优化得到的椎体结构对应侧面之间的距离之和小于距离阈值，此时可以确定第n-1次优化得到的椎体结构的底面中的正像点与更新之后的第n次优化得到的椎体结构的多个侧面之间的距离满足预设条件，此时可以终止优化。其中n表示优化次数，n为大于1的整数值。本发明实施例中，最大迭代次数(第二阈值)和残余阈值(距离阈值)分别被设定为10和 1e-4，但不作为本发明的具体限定。

在对椎体结构执行优化后，可以根据优化后的椎体结构的底面与侧面之间的交集确定最终的病灶区域。其中，在对侧面的聚类过程中，侧面的顶点不变，底边的位置会不断的优化，从而完成侧面的聚类优化，进而实现底面的病灶区域的优化。本发明实施例借助于整个预测得到的病灶区域以及对应的标签值(掩码值)的信息来回归最适合的椎体结构。由于最终病灶区域是从支撑平面(侧面)而不是边界像素获得的，因此对于不精确的边界框更加鲁棒，并且能够回归出更精确的病灶边界。

综上所述，在本发明实施例中，通过对肺叶分割图像执行病灶检测处理，得到肺叶分割图像中的预测的病灶区域，利用冰傲区域的特征信息可以得到关于病灶区域的掩码信息，本发明实施例得到的掩码信息为0到1之间的数值，通过该掩码信息可以构建椎体结构，通过对主体结构进行处理可以预测出最终的病灶区域，其中，预测的病灶中存在背景区域，通过构建椎体结构对预测病灶区域执行优化得到最终病灶区域，可以减少背景区域的影响，同时提高病灶区域的检测精度。

进一步地，本发明实施例中，在确定了肺叶分割图像中优化后的病灶区域的情况下，可以对病灶进行分析，例如分析病灶对应的疾病类型、目前的状态(疾病等级)，以及还可以执行对疾病的未来的发展情况进行预测(发展等级的预测)。

本发明实施例的病灶检测方法还包括：针对每个所述肺叶分割图像，确定优化后的病灶区域内对应第一疾病的第一区域，以及对应第二疾病的第二区域，所述第二疾病可单向转化为所述第一疾病；确定所述第一疾病的等级；基于所述第一疾病的等级、第一区域和第二区域确定所述第一疾病的预测发展等级。

如上述实施例所述，肺叶分割图像中的病灶区域可以包括至少一种类型的疾病的病灶位置，例如可以为肺结节病灶区域，肺癌病灶区域。例如，本发明实施例中，所述肺叶分割图像中每个肺叶的病灶区域的所述第一疾病为肺癌，所述肺叶分割图像中每个肺叶的病灶区域的所述第二疾病为肺结节。

所述针对每个所述肺叶分割图像，确定优化后的病灶区域内对应第一疾病的第一区域，以及对应第二疾病的第二区域，可以报考：根据每个肺叶分割图像确定对应的第一疾病和关联的第二疾病。例如可以将肺分割图像对应的各个肺叶图像输入到经过训练能够识别肺结节和肺癌的神经网络中，通过该神经网络检测出各个肺叶的第一疾病(肺癌)和关联的第二疾病(肺结节)，还可以得到第一疾病和第二疾病分别对应的病灶区域。该神经网络可以包括对肺叶图像特征提取、区域候选网络以及分类网络，通过特征提取网络对肺叶图像执行特征提取处理得到肺叶特征，利用区域候选网络对肺叶特征执行卷积处理得到肺叶图像中的第一疾病和第二疾病的病灶区域，并通过分类网络对病灶区域的疾病类型进行分类识别，得到肺叶分割图像对应的疾病类型 (第一疾病或者第二疾病)。

在此需要说明的是，在检测各个肺叶分割图像的第一疾病和关联的第二疾病的过程中，并不是每个肺叶都一定具有第一疾病和第二疾病，可能存在仅具有第二疾病的情况，或者第一疾病和第二疾病都不存在的情况。本发明实施例可以利用不同的疾病标识表示不同的疾病，以及是否存在疾病。

在检测出肺叶分割图像中的第一疾病的第一区域，以及第二疾病的第二区域的情况下，可以确定第一疾病对应的等级。

也就是说，本发明实施例可以实现左肺图像的左上叶和左下叶的病灶区域的第一疾病的等级；以及分别确定右肺图像的右上叶、右中叶、右下叶的病灶区域的第一疾病的等级。也就是说可以确定每个肺叶的第一疾病的等级。其中，本发明实施例中，可以利用神经网络检测各个肺叶的第一疾病的等级，例如可以将分割得到的各个肺叶分割图像输入至神经网络中，通过神经网络的处理可以分类检测出每个肺叶分割图像当前第一疾病的等级。其中，神经网络可以包括卷积神经网络，例如可以执行肺叶图像的特征提取(例如通过残差网络实现)，得到肺叶特征后经过分类网络(多分类器)执行肺叶特征对应的第一疾病等级的检测。针对不同的第一疾病可以设置不同的分类等级。

若所述第一疾病为肺癌，则肺癌的等级，包括：I期、II期、III期、IV 期以及III、IV期。

I期：肿瘤比较小，且无淋巴结转移，手术可以完全切除。根据肿瘤的大小，又分为IA期和IB期，肿瘤较小的为IA期，较大的为IB期。

II期：也可以分为IIA期和IIB期两个亚型。IIA期包括两种情况：一是肿瘤稍大但无邻近淋巴结转移，二是较小的肿瘤，有周围淋巴结转移。IIB期是指较大的肿瘤且有淋巴结转移，或大肿瘤，有或无肺周围结构受累，但无淋巴结转移。

III期：分为IIIA和IIIB期。许多IIIA期和几乎所有IIIB期的肿瘤很难或是根本无法手术切除。例如，肿瘤累及纵膈淋巴结，或肿瘤侵犯肺内邻近结构。还有一种情况，由于各种因素，肿瘤无法一次完整切除，只能分多次取出，这种情况很难彻底清除肿瘤。

IV期：包括：癌细胞转移至对侧肺的多个部位，或肺周围或心脏周围积液，或经血流转移至身体其他部位。癌细胞一旦进入血流，可以转移至身体的任何部位，但更多见的转移部位是脑、骨、肝和肾上腺。

III、IV期：肺癌属于中晚期，手术无法根治，一般是放化疗为主要的治疗方式，晚期基本上以减少病人痛苦，姑息治疗为主，当肺癌出现以下情况，也无法进行手术切除，包括：肿瘤转移至锁骨上淋巴结，或肿瘤累及胸腔内重要器官，如心脏、大血管或主气管。

通过上述配置，可以得到肺叶分割图像中的每个肺叶对应的第一疾病的等级。

在确定第一疾病的等级的情况下，可以执行基于所述第一疾病的等级、第一区域和第二区域确定所述第一疾病的预测发展等级(步骤S40)。

本发明实施例中，所述基于所述第一疾病的等级、第一区域和第二区域确定所述第一疾病的预测发展等级，包括：根据所述肺叶分割图像的每层图像中的所述第一区域得到所述第一疾病在所述肺叶上的第一体积，以及根据所述肺叶分割图像的每层图像中的第二区域得到所述第二疾病在所述肺叶上的第二体积；分别计算针对所述肺叶的所述第一体积与所述第二体积的比值；基于所述第一疾病的等级、所述比值与预设阈值确定所述肺叶对应所述第一疾病的预测发展等级。如上述实施例所述，肺叶分割图像可以为从肺图像中分割出的任一肺叶的图像，其中，由于肺图像可以为通过CT的方式采集的多层图像，对应肺叶分割图像也可以为针对任一肺叶的多层图像，本发明实施例中的病灶区域可以包括该多层图像中每层图像的病灶位置。另外，第一疾病的等级为当前肺叶分割图像表征的疾病等级，第一疾病的预测发展等级是用来表征未来的疾病的发展情况，也就是说，通过第一疾病的预测发展等级可以确定第一疾病是转好还是恶化，该转好或者恶化程度可以通过预测等级的等级数来表示。

其中，第一体积以及第二体积分别为每个肺叶的第一疾病的病灶区域的第一体积以及第二疾病的病灶区域的第二体积。也就是说，第一体积，包括：左上叶的第一疾病的病灶区域的第一体积、左下叶的第一疾病的病灶区域的第一体积、右上叶的第一疾病的病灶区域烦扰第一体积、右中叶的第一疾病的病灶区域第一体积、右下叶的第一疾病的病灶区域的第一体积。第二体积，包括：左上叶的第二疾病的病灶区域的第二体积、左下叶的第二疾病的病灶区域的第二体积、右上叶的第二疾病的病灶区域的第二体积、右中叶的第二疾病的病灶区域的第二体积、右下叶的第二疾病的病灶区域的第二体积。

所述基于所述第一疾病的等级、所述比值与预设阈值确定所述肺叶对应所述第一疾病的预测发展等级，包括：响应于所述比值大于所述预设阈值，所述预测发展等级为所述第一疾病的等级的下一个等级；否则，所述预测发展等级为所述第一疾病的等级的上一个等级；其中，上一个等级比所述第一疾病的等级严重。如，在左上叶上，肺癌的等级为IB期，左上叶肺癌区域的所述第一体积除以左上叶肺结节区域的所述第二体积得到比值，比值小于或者等于所述预设阈值，说明左上叶肺癌区域虽然小，但是肺结节区域的大，肺结节区域转化为肺癌区域的可能性大，可以将左上叶的肺癌的等级预测到上一个等级II期中的IIA期或IIB期。比值大于所述预设阈值，可以将左上叶的肺癌的等级预测到下一个等级IA期。其中，在所述第一疾病为肺癌中，所述预设阈值可为0.2。

本发明实施例可以将所述肺叶分割图像进行网格化处理，分别计算网格化后的所述第一区域和所述第二区域的网格体积，所述第一区域的网格体积之和为第一体积，所述第二区域的网格体积之和为第二体积。

在本发明实施例中，所述肺叶分割图像进行网格化处理的方法为：确定所述肺叶分割图像的层数；分别对每层图像中的第一区域和第二区域的网格面积，分别根据所述每层每个肺叶的第一区域和第二区域的网格面积、所述层数、CT扫描层厚以及扫描的层间距确定第一体积和第二体积。

在本发明的实施例中，确定第一区域对应的第一体积的方法为：利用每个肺叶分割图像中的多层图像内第一区域对应的网格面积，以及层间距和层厚，得到相邻两层图像的第一区域形成的第一子体积，利用肺叶分割图像中全部相邻的两层第一区域形成的第一子体积之和得到肺叶的第一区域对应的第一体积。其中，可以将相邻的两层第一区域形成的结构体看作棱台，棱台的上下两个底面的面积为第一区域对应的网格面积，棱台的高可以通过层间距和层厚确定，例如层数为N，第一层和第二层第一区域形成的棱台的高可以为层厚*2与层间距之间的加和值，其余相邻两层第一区域形成的棱台的高可以是层厚和层间距之间的加和值。基于上下两个底面积以及高可以确定相邻层形成的第一区域的第一子体积。继而可以利用各第一子体积的加和值得到第一体积。

确定第二区域对应的第二体积的方法为：利用每个肺叶分割图像中的相邻两层第二区域对应的网格面积，以及层间距和层厚，得到相邻两层小气道区域形成的第二子体积，利用肺叶分割图像中全部相邻的两层图像内的第二区域形成的第二子体积之和得到肺叶的第二区域的第二体积。其中，可以将相邻的两层第二区域形成的结构体看作棱台，棱台的上下两个底面的面积为第二区域对应的网格面积，棱台的高可以通过层间距和层厚确定，例如层数为N，第一层和第二层第二区域形成的棱台的高可以为层厚*2与层间距之间的加和值，其余相邻两层第二区域形成的棱台的高可以是层厚和层间距之间的加和值。基于上下两个底面积以及高可以确定相邻层形成的第二区域的第二子体积。继而可以利用各第二子体积的加和值得到第二体积。

在本发明的实施例中，所述对肺叶分割图像中的每层图像的第一区域进行网格化处理得到第一区域的网格面积的具体方法为：步骤1：分别确定肺叶分割图像中每层图像的第一区域的边缘(对应于第一疾病的优化后的病灶区域的边缘)；分别在每层第一区域内确定一个第一规格形状；步骤2：所述第一规格形状向第一区域的边缘延伸；步骤3：当所述第一规格形状的若干设定点接触到所述第一区域的边缘时，所述第一规格形状停止延伸，并在所述第一规格形状外生成第二规格形状；依次按照步骤2和3进行生成，直到规格形状的数量到达所述设定数量后，计算所有规格形状的面积，得到所述每层每个肺叶的第一区域的网格面积；其中，所述第一规格形状、所述第二规格形状以及设定数量对应的规格形状面积依次减少。

在本发明的实施例中，所述对肺叶分割图像中每层图像的第二区域进行网格化处理得到第二区域的网格面积的具体方法为：步骤1：分别确定肺叶分割图像中每层图像内第二区域的边缘(对应于第二疾病的优化后的病灶区域的边缘)；分别在每层图像的第二区域内确定一个第一规格形状；步骤2：所述第一规格形状向所述每层图像的第二区域边缘延伸；步骤3：当所述第一规格形状的若干设定点接触到所述第二区域边缘时，所述第一规格形状停止延伸，并在所述规格形状外生成第二规格形状；依次按照步骤2和3进行生成，直到规格形状的数量到达所述设定数量后，计算所有规格形状的面积，得到所述每层每个肺叶的第二区域网格面积；其中，所述第一规格形状、所述第二规格形状以及设定数量对应的规格形状面积依次减少。

其中，第一规格形状优选在第一区域和第二区域的几何中心处。规格形状可以选择圆形、椭圆形、矩形、正方形中的任何一种。如，规格形状选择圆形，则可以在圆形的圆周上可以均匀地设定有若干设定点，如20个设定点，当规格形状的若干设定点接触到右肺的第一区域边缘或所述右肺的第二区域边缘时，所述第一规格形状停止延伸，并在所述规格形状外生成第二规格形状；第二规格形状也可以选择圆形、椭圆形、矩形、正方形中的任何一种，但是第二规格形状要比第一规格形状要小，以达到精细划分目的。对于设定数量的量值设置，本领域人员可以根据精度需要进行自行设置。

在得到第一疾病的等级，以及第一体积和第二体积之间的比值的情况下，可以预测第一疾病的发展等级。例如，在本发明的另外一些实施例中，第一疾病还可以为慢阻肺，对应的第二疾病可以为小气道病变。

如，在左上叶上，基于所述慢阻肺的等级，可根据左上叶的所述第一体积以及左上叶的所述第二体积的比值与预设阈值确定左上叶的所述慢阻肺的预测等级。所述基于所述第一疾病的等级，分别根据每个肺叶的所述第一区域以及第二区域的比值与预设阈值确定相应肺叶的所述第一疾病的预测等级的方法为：若所述比值大于所述预设阈值，则所述预测等级为所述第一疾病的等级的下一个等级；否则，所述预测等级为所述第一疾病的等级的上一个等级；其中，上一个等级比所述第一疾病的等级严重。

如，在左上叶上，慢阻肺的等级为GOLD 2级(中度)，左上叶慢阻肺区域的所述第一体积除以左上叶小气道病变区域的所述第二体积得到比值，比值小于或者等于所述预设阈值，说明左上叶慢阻肺区域虽然小，但是小气道病变区域的大，小气道病变区域转化为慢阻肺区域的可能性大，可以将左上叶的慢阻肺的等级预测到上一个等级GOLD 3级(重度)。比值大于所述预设阈值，则认为可以进行药物治疗，可以将左上叶的慢阻肺的等级预测到下一个等级GOLD 1级(轻度)。其中，在所述第一疾病为肺癌中，所述预设阈值可为0.4。

综上所述，本发明实施例不仅可以优化肺叶病灶区域的检测精度，同时还可以根据该优化后的病灶区域以及当前肺叶的疾病等级，预测该疾病在未来的发展等级。

此外，此外本发明实施例还提出一种病灶区域检测装置，参照图7，所述病灶区域检测装置包括：

处理模块10，用于对肺图像进行肺叶分割处理，得到肺叶分割图像；

获取模块20，用于基于所述肺叶分割图像的图像特征，得到所述图像特征中的特征点对应的注意力特征；

检测模块30，用于利用所述注意力特征对所述肺叶分割图像进行病灶预测处理，得到所述肺叶分割图像中的病灶区域。

进一步地，所述获取模块20包括：

进一步地，所述确定单元包括：

进一步地，所述第二确定子单元，具体用于分别利用各所述基准特征向量与注意力系数矩阵相乘，得到针对各个基准特征向量的乘积矩阵；并将针对各基准特征向量的乘积矩阵中相同特征点的乘积值相加，得到该特征点的注意力特征。

进一步地，所述检测模块30包括：

进一步地，所述掩码值表示所述像素点位于病灶位置的置信度，所述形成单元包括：

进一步地，所述处理单元，用于对所述椎体结构执行平面聚类的优化处理，得到优化后的椎体结构；并基于优化后的椎体结构的底面，得到所述肺图像优化后的病灶区域。

进一步地，所述处理单元，还用于对所述掩码信息中包含的第一像素点进行平面聚类，得到所述第一像素点所属的侧面；基于所述侧面包括的第一像素点，对所述侧面进行迭代更新，得到优化后的侧面；基于所述优化后的侧面形成所述优化后的椎体结构。

此外，本发明实施例还提出一种计算机可读存储介质，所述存储介质上存储有病灶区域检测程序，所述病灶区域检测程序被处理器执行时实现如下所述的病灶区域检测方法的步骤。

本发明病灶区域检测设备和计算机可读存储介质的各实施例，均可参照本发明病灶区域检测方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种病灶区域检测方法，其特征在于，包括：

对肺图像进行肺叶分割处理，得到肺叶分割图像；

2.根据权利要求1所述的方法，其特征在于，所述基于所述肺叶分割图像的图像特征，得到所述图像特征中的特征点对应的注意力特征，包括：

3.根据权利要求2所述的方法，其特征在于，所述利用所述注意力系数矩阵、所述图像特征、各所述基准注意力特征，确定各所述特征点的注意力特征，包括：

4.根据权利要求3所述的方法，其特征在于，所述利用所述注意力系数矩阵与各所述基准特征向量，得到各所述特征点的注意力特征，包括：

5.根据权利要求1-4中任意一项所述的方法，其特征在于，所述利用所述注意力特征对所述肺叶分割图像进行病灶预测处理，得到所述肺叶分割图像中的病灶区域，包括：

基于所述掩码信息中的所述掩码值，形成椎体结构；

6.根据权利要求5所述的方法，其特征在于，所述掩码值表示所述像素点位于病灶位置的置信度，所述基于所述掩码信息中的所述掩码值，形成椎体结构，包括：

基于所述预测病灶区域和所述顶点，形成所述椎体结构。

7.根据权利要求5所述的方法，其特征在于，所述对所述椎体结构进行优化处理，得到优化后的病灶区域，包括：

8.根据权利要求7所述的方法，其特征在于，所述对所述椎体结构执行平面聚类的优化处理，得到优化后的椎体结构，包括：

基于所述优化后的侧面形成所述优化后的椎体结构。

9.一种病灶区域检测装置，其特征在于，包括：

10.一种病灶区域检测设备，其特征在于，所述病灶区域检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的病灶区域检测程序，所述病灶区域检测程序被所述处理器执行时实现如权利要求1至8中任一项所述的病灶区域检测方法的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有病灶区域检测程序，所述病灶区域检测程序被处理器执行时实现如权利要求1至8中任一项所述的病灶区域检测方法的步骤。