CN111724356B - 一种用于ct影像肺炎识别的图像处理方法和系统 - Google Patents

Abstract

本发明提供一种用于CT影像肺炎识别的图像处理方法和系统，该图像处理方法在卷积分类模型中引入基于肺炎掩模的注意力机制，对卷积特征在空间层面进行加权，对于肺炎区域的特征乘一个更大的系数，非肺炎区域特征乘以一个小的系数，使肺炎区域特征更加突出；另，对于三维CT序列采用二维网络，对序列的每个阳性层面(患有肺炎的层面)逐层分类，然后通过类别加权然后投票取概率最大的类别得到该三维CT序列的肺炎分类结果，以此方式可以快速高效地识别CT影像中的肺炎类别。

Description

一种用于CT影像肺炎识别的图像处理方法和系统

技术领域

本发明涉及影像处理领域，特别涉及一种用于CT影像肺炎识别的图像处理方法和系统。

背景技术

CT，又称为电子计算机X射线断层扫描技术，其成像原理是：用X线束对人体特定部位一定厚度的层面进行扫描，由探测器接收透过该层面的X线，经过计算机处理后得到医学影像，其与常规的影像学检查手段相比具有：获取真正的断面图像，密度分辨率高，可定量分析，便于后续图像处理等优势，因此CT影像在医学影像检测中有着越来越广泛的应用。

近年来，快速发展的计算机辅助诊断技术极大地便利了医疗CT影像的诊断分析，其在肺部CT影像的应用已经使得医护人员可以快速准确地获取清楚的肺部病变区域，以及辅助进行特定类型的肺部疾病的诊断。然而，目前的技术更多还是研究如何分割肺部病变区域以及进行肺结节的识别，较少看到通过肺部CT影像进行肺炎类型识别的研究报道。

中国专利CN110969622A提供一种用于辅助肺炎诊断的图像处理方法和系统，其通过采用与待诊断类型的肺炎病灶相似的肺部疾病数据集对神经网络进行训练，对主干网络以外的卷积层和激活层使用较少的肺炎数据进行训练，以解决有限临床肺炎数据的神经网络训练问题，但是该技术方案具有较多的局限性：1.无法对多类别的肺炎进行区分，从而导致肺炎诊断结果误差大的问题：像是新冠肺炎、细菌性肺炎、真菌性肺炎就很难通过这种方案被区分，可能会导致细菌性肺炎被误判为新冠肺炎的情况；2.网络计算量大，该方案通过去除肺部血管的方式提高肺炎区域检测的准确度，但肺部血管的去除也并不容易实现，进而导致整体效率低下。3.该软件的核心功能是肺炎病灶检出，在网络设计上是以获得肺炎病灶区域为目的，网络模型通过预训练过程和精准训练过程两步走实现，其本质上不具备肺炎类型鉴别能力。

换言之，目前较少关于计算机辅助诊断技术应用CT影像肺炎类型识别的技术报道，少量报道的方案也存在着技术方案不成熟的技术缺陷，亟待发明一种更有效的CT影像肺炎识别方法。

发明内容

本发明的目的在于提供一种用于CT影像肺炎识别的图像处理方法和系统，可用于辅助医护人员获取肺部CT影像中的肺炎类型，且存在效率高识别误差低等优势。

为实现以上目的，本技术方案提供一种用于CT影像肺炎识别的图像处理方法，包括以下步骤：

对肺部CT影像进行肺部区域分割得到肺实质区域影像；

对肺实质区域影像进行肺炎掩模分析得到肺炎掩模预测概率图；

根据肺炎掩模预测概率图从肺实质区域影像中提取二维横断位阳性层面图像，其中二维横断位阳性层面图像中含有肺炎掩模；

将二维横断位阳性层面图像和肺炎掩模预测概率图输入卷积分类模型中，得到二维横断位阳性层面图像的肺炎分类结果，其中肺炎分类结果至少包括单层肺炎类别及对应概率；

加权统计二维横断位阳性层面的肺炎分类结果和肺炎掩模面积，得到肺部CT影像的肺炎结果。

在本方案中，一大技术要点在于卷积分类模型中引入了肺炎掩模注意力机制，该肺炎掩模注意力机制可使得网络更专注于掩模区域，得到更快更好的判断结果；另外，还有一大技术点在于将三维CT影像处理为二维图像，根据二维图像的加权分析统计得到概率学上更符合实际情况的CT影像肺炎结果，使得识别CT影像中的肺炎类别成为可能，其处理过程相比三维图像处理更加高效。

本方案可用于识别新冠肺炎、细菌性肺炎、真菌性肺炎、肺结核等。

根据本发明的另一方面，本方案提供一种用于CT影像肺炎识别的系统，对应的系统设置功能模块以完成其上提到的用于CT影像肺炎识别的方法步骤，可被加载于计算机程序中，特别是计算机辅助诊断系统中进行运作，辅助医护人员更快更好地分析CT影像得到肺炎结果。

该系统包括肺实质区域影像获取单元，对肺部CT影像进行肺部区域分割得到肺实质区域影像；肺炎掩模预测单元，对肺实质区域影像进行肺炎掩模分析得到肺炎掩模预测概率图；分类单元，处理二维横断位阳性层面图像和对应的肺炎掩模预测概率图，得到二维横断位阳性层面图像的肺炎分类结果，其中二维横断位阳性层面图像根据肺炎掩模预测概率图从肺实质区域影像中提取；类型计算单元：加权统计二维横断位阳性层面的肺炎分类结果和肺炎掩模面积，得到肺部CT影像的肺炎结果。

根据本发明的另一方面，本方案提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上任一提到的用于CT影像肺炎识别的方法的步骤。

根据本发明的另一方面，本方案提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上任一提到的用于CT影像肺炎识别的方法的步骤。

相较现有技术，本技术方案具有以下的特点和有益效果：本方案采用的图像处理方法引入了基于肺炎掩模注意力机制的卷积分类模型，该卷积分类模型通过在卷积过程中引入肺炎掩模做空间特征加权，使得网络更专注于图像信息中需要被关注的肺炎区域；另，本方案对三维的CT采用二维网络进行处理，对二维图像序列的患有肺炎的阳性层面图逐层分类，然后通过各类别加权得到分数最高的类别确定为该CT影像的肺炎分类结果，可以很好地区分不同类别的肺炎，且整体的识别过程对网络要求低效率也高。

附图说明

图1是根据本发明的一实施例的一种用于CT影像肺炎识别的方法的流程示意图。

图2是根据本发明的一实施例的肺炎掩模注意力模块的工作流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。计算机程序包括可由一个或多个处理器执行的多个指令。

本发明提供一种用于CT影像肺炎识别的图像处理方法，包括以下步骤：

对肺部CT影像进行肺部区域分割得到肺实质区域影像；对肺实质区域影像进行肺炎掩模分析得到肺炎掩模预测概率图；根据肺炎掩模预测概率图从肺实质区域影像中提取二维横断位阳性层面图像，其中二维横断位阳性层面图像中含有肺炎掩模；将二维横断位阳性层面图像和对应的肺炎掩模预测概率图输入卷积分类模型中，得到二维横断位阳性层面图像的肺炎分类结果，其中肺炎分类结果至少包括单层肺炎类别及对应权重；加权统计二维横断位阳性层面的肺炎分类结果和肺炎掩模面积，得到肺部CT影像的肺炎结果。

本方案可用于识别新冠肺炎、细菌性肺炎、真菌性肺炎、肺结核、无肺炎；即，本方案的卷积分类模型可分类以上提到肺炎种类的肺炎类型，肺炎结果至少显示是否为新冠肺炎、细菌性肺炎、真菌性肺炎、肺结核、无肺炎的一种。

在肺部区域分割步骤中，肺部CT影像可输入基于卷积神经网络的肺分割模型分析得到肺实质区域影像，肺分割模型为常规技术手段，在此不展开说明；为了便于肺实质区域影像的后续处理，需对肺实质区域影像进行预处理，其中预处理的内容包括先将二值化的肺分割掩模与CT影像做对应像素乘操作，然后根据肺分割结果沿肺分割掩模边界裁剪，并进行HU值归一化处理。。

在肺炎掩模获取步骤中，肺实质区域影像输入基于卷积神经网络的肺炎掩模预测模型中得到肺炎掩模预测概率图，其中肺炎掩模预测概率图包括二维横断位图像上的掩模轮廓，若二维横断位图像上含有掩模轮廓，则定义该二维横断位图像为横断位阳性层面图像；

值得一提的是，肺炎掩模预测模型可以有很多种，可以以三维方式获取也可以用二维方式获取，也可以用手工标记的方式获取。在本方案中通过三维方式获取肺炎掩模预测概率图，随后进行二维序列化确定二维横断位阳性层面图像。

其中肺炎掩模预测模型的训练如下：

获取训练数据：对有肺炎的肺实质区域影像的二维横断位图像进行手工标记，得到带有手工标记掩模的训练影像数据，其中手工标记的方式为用轮廓线对肺炎区域进行标注，得到肺炎区域的2D区域轮廓标注；

构建肺炎掩模预测模型：采用二维卷积神经网络，包括特征编码模块和特征解码模块；

训练预测模型：将训练影像数据输入到肺炎掩模预测模型中训练。

在肺炎分类结果预测步骤中，空间注意力模块的输入为卷积特征层，调节肺炎掩模预测概率图的空间分辨率和卷积特征层一致，并将肺炎掩模预测概率图和卷积特征层进行乘积运算后与卷积特征层相加，随后进行卷积核为1*1的卷积操作，值得一提的是，空间注意力模块仅作用于第一次池化和第二次池化之前的卷积特征层。具体的，将肺炎掩模预测概率图缩放到宽高与卷积特征层一致。

通过该步骤可对卷积特征在空间层面进行加权，对于肺炎区域的特征乘一个更大的系数，非肺炎区域特征乘以一个小的系数，使肺炎区域特征更加突出。

其中空间注意力模块的计算公式如下：

其中，y为输出，X为卷积特征层，i为卷积特征层中任意一层，Map指肺炎掩模预测概率图，取值范围为[0,1]，且Map宽高尺寸与X的宽高一致，w为1x1卷积核的权值，b为1x1卷积的偏置。

该卷积分类模型的训练过程如下：

获取训练数据：

获取标注有肺炎分类标签的且带有肺炎掩模的二维横断位阳性层面图像以及对应的肺炎掩模预测概率图作为分类训练数据，其中二维横断位图像由CT影像处理得到，肺炎分类标签为人为标记的肺炎类别；若本方案选择的训练数据取自经过肺炎掩模预测模型处理得到的二维横断位阳性层面图像，优选地，对二维横断位阳性层面图像进行筛选处理，即根据手工掩模标记确定每层二维横断位阳性图像的肺炎分类标签，其中确定规则如下：对于有手工标记肺炎掩模的二维横断位阳性层面图像标注为该CT影像对应的肺炎分类标签，对于没有手工标记肺炎掩模的二维横断图像但肺炎分割模型预测概率图为阳性结果的标注为无肺炎类别，其他数据舍弃。

另外，在本方案中结合CT影像及对应的报告，提取肺炎分类标签，并将肺炎分类标签添加至对应的二维横断位阳性层面图。

这是由于肺炎掩模预测模型预测的掩模结果有的是真的肺炎病灶区域，有的是假的预测错了，所以优选对其预测结果进行筛选。对于预测错的二维横断位图像也就是健康的图但肺炎掩模预测模型预测为假阳性的图像，通过分类训练进一步区分，这样可以有效抑制假阳性。

构建卷积分类模型：

该卷积分类模型包括二维卷积层，二维池化层，批归一化层，激活层，全局平均池化层，全连层，肺炎掩模空间注意力模块层，二维卷积层经过二维池化层后进入下一层的二维卷积层，经过多层卷积池化后进入全局平均池化层，再进入全连层后进入激活层，其中空间注意力模块作用于第一次池化和第二次池化之前的二维卷积层。

训练卷积分类模型：

将分类训练数据输入卷积分类模型中进行训练，训练得到每层二维横断位阳性层面图像的单层肺炎类别及权重。

另外，在卷积分类模型的分类预测过程中输入的二维横断位阳性层面图像和肺炎掩模预测概率图缩放到相同尺寸，避免不同人肺部区域大小带来的差异。

在加权统计步骤中，获取每层二维横断位阳性层面的掩模面积，其中掩模面积的获取为常规技术，在此不展开说明；将掩模面积和对应的单层肺炎类别的权重乘积，得到每层二维横断位阳性层面的单层类别及概率，其中每层二维横断位阳性层面仅仅获取一种分类类别，将每层二维横断位阳性层面的单层类别和概率分别累加，取最后得分值最高的类别作为该CT影像的肺炎结果。

在本方案中对于三维CT序列采用二维网络，对序列的每个阳性层面(患有肺炎的层面)逐层分类，然后通过类别加权然后投票取概率最大的类别得到该三维CT序列的肺炎分类结果，这样的方式可有效地区分不同类别的肺炎。

举例说明：

若A层二维横断位阳性层面图像的掩膜面积为a，单层肺炎类别为“新冠肺炎”的权重为“d1”，则A层二维横断位阳性层面图像的单层类别为“新冠肺炎”，概率为：a*d1；得到B层二维横断位阳性层面图像的掩膜面积为b，单层类别为“细菌性肺炎”的权重为“d2”，则B层二维横断位阳性层面的单层类别为“细菌性肺炎”，概率为b*d2；得到C层二维横断位阳性层面图像的掩膜面积为c，单层类别为“细菌性肺炎”的权重为“d3”，则B层二维横断位阳性层面的单层类别为“细菌性肺炎”，概率为c*d3；则累加“细菌性肺炎”概率为【b*d2+c*d3】，累加“新冠肺炎”概率为【a*d1】，若【b*d2+c*d3】大于【a*d1】，则判断该CT影像为“细菌性肺炎”。

另外，根据本发明的另一方面，本发明提供一种用于CT影像肺炎识别的图像处理系统，包括：

肺实质区域影像获取单元：对肺部CT影像进行肺部区域分割得到肺实质区域影像；

肺炎掩模预测单元：对肺实质区域影像进行肺炎掩模分析得到肺炎掩模预测概率图；

分类单元：处理二维横断位阳性层面图像和对应的肺炎掩模预测概率图，得到二维横断位阳性层面图像的肺炎分类结果，其中二维横断位阳性层面图像根据肺炎掩模预测概率图从肺实质区域影像中提取；

类型计算单元：加权统计二维横断位阳性层面的肺炎分类结果和肺炎掩模面积，得到肺部CT影像的肺炎结果。

其中肺炎掩模预测单元内置有肺炎掩模预测模型，分类单元内置有卷积分类模型，关于其具体的训练和模型结构如上所述。另，该系统采用以上介绍的方法进行运行，因此重复的内容也不进行累赘说明。

本方案在前期分割步骤分割得到肺炎掩模，这样一方面通过肺炎掩模可以知道哪些层面患有肺炎即阳性层面，这样只需要把阳性层面输入后续网络节省计算量，另一方面，可以根据肺炎掩模形成注意力机制，为后续分类网络带来效益；在后期肺炎类别识别中采用二维网络实现，与现有技术的主要区别有两点，一方面，二维网络在卷积操作过程中引入注意力机制对卷积特征在空间层面进行加权(对于肺炎区域的特征乘一个更大的系数，非肺炎区域特征乘以一个小的系数，使肺炎区域特征更加突出)，另一方面，对于三维CT序列采用二维网络，对序列的每个阳性层面(患有肺炎的层面)逐层分类，然后通过类别加权然后投票取概率最大的类别得到该三维CT序列的肺炎分类结果

本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。

Claims (8)

1.一种用于CT影像肺炎识别的图像处理方法，其特征在于，包括以下步骤：对肺部CT影像进行肺部区域分割得到肺实质区域影像；对肺实质区域影像进行肺炎掩模分析得到肺炎掩模预测概率图，所述肺炎掩模预测概率图包括二维横断位图像上的掩模轮廓；根据肺炎掩模预测概率图从肺实质区域影像中提取二维横断位阳性层面图像，其中二维横断位阳性层面图像中含有肺炎掩模；

将二维横断位阳性层面图像和对应的肺炎掩模预测概率图输入卷积分类模型中得到二维横断位阳性层面图像的肺炎分类结果，其中肺炎分类结果至少包括单层肺炎类别及对应权重；该卷积分类模型包括二维卷积层、二维池化层、批归一层、激活层、全局平均池化层、全连接层、肺炎掩模空间注意力模块层，二维卷积层经过二维池化层后进入下一层的二维卷积层，经过多层卷积池化后进入全局平均池化层，再进入全连层后进入激活层，其中空间注意力模块层作用于第一次池化和第二次池化之前的二维卷积层，卷积分类模型的卷积特征层输入到空间注意力模块，二维横断位阳性层面图像和肺炎掩模预测概率图两者进行乘积操作并与卷积特征层进行相加后进行卷积核为1*1的卷积操作；

加权统计二维横断位阳性层面的肺炎分类结果和肺炎掩模面积，得到肺部CT影像的肺炎结果。

2.根据权利要求1所述的用于CT影像肺炎识别的图像处理方法，其特征在于，在卷积分类模型的分类预测过程中输入空间注意力模块的卷积特征层和肺炎掩模预测概率图缩放到相同空间分辨率。

3.根据权利要求1所述的用于CT影像肺炎识别的图像处理方法，其特征在于，将掩模面积和对应的单层肺炎类别的权重乘积，得到每层二维横断位阳性层面的单层类别及概率，将每层二维横断位阳性层面的单层类别和概率分别累加，取最后得分值最高的类别作为该CT影像的肺炎结果。

4.根据权利要求1所述的用于CT影像肺炎识别的图像处理方法，其特征在于，其中空间注意力模块的计算公式如下：

其中，y为输出，X为卷积特征层，i为卷积特征层中任意一层，Map指肺炎掩模预测概率图，取值范围为[0,1]，且Map宽高尺寸与X的宽高一致，w为1x1卷积核的权值，b为1x1卷积的偏置。

5.根据权利要求1所述的用于CT影像肺炎识别的图像处理方法，其特征在于，肺炎结果为新冠肺炎、细菌性肺炎、真菌性肺炎、肺结核、无肺炎的其中一种。

6.一种用于CT影像肺炎识别的图像处理系统，其特征在于，包括：

肺实质区域影像获取单元，对肺部CT影像进行肺部区域分割得到肺实质区域影像；

肺炎掩模预测单元，对肺实质区域影像进行肺炎掩模分析得到肺炎掩模预测概率图，所述肺炎掩模预测概率图包括二维横断位图像上的掩模轮廓；根据肺炎掩模预测概率图从肺实质区域影像中提取二维横断位阳性层面图像，其中二维横断位阳性层面图像中含有肺炎掩模；

分类单元，将二维横断位阳性层面图像和对应的肺炎掩模预测概率图输入卷积分类模型中得到二维横断位阳性层面图像的肺炎分类结果，其中肺炎分类结果至少包括单层肺炎类别及对应权重；该卷积分类模型包括二维卷积层、二维池化层、批归一层、激活层、全局平均池化层、全连接层、肺炎掩模空间注意力模块层，二维卷积层经过二维池化层后进入下一层的二维卷积层，经过多层卷积池化后进入全局平均池化层，再进入全连层后进入激活层，其中空间注意力模块层作用于第一次池化和第二次池化之前的二维卷积层，卷积分类模型的卷积特征层输入到空间注意力模块，二维横断位阳性层面图像和肺炎掩模预测概率图两者进行乘积操作并与卷积特征层进行相加后进行卷积核为1*1的卷积操作；

类型计算单元：加权统计二维横断位阳性层面的肺炎分类结果和肺炎掩模面积，得到肺部CT影像的肺炎结果。

7.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1-6任一项所述的方法的步骤。

8.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的方法的步骤。