CN114612381A - 一种带有尺度增强和注意力融合的医疗图像病灶检测算法 - Google Patents

Abstract

本发明涉及医疗图像病灶检测检测技术领域，且公开了一种带有尺度增强和注意力融合的医疗图像病灶检测算法，包括以下步骤：S1：病例数据加载与预处理；S2：特征提取；S3：权重生成；S4：尺度增强；S5：特征融合；S6：得到候选框；S7：分类和回归；S8：输出预测。本发明中尺度增强部分采用了不同大小的卷积核，这样可以融合更大范围的特征，并且生成的权重可以为不同尺度信息提供不同的权重，在融合时可以做到加权融合，从而提高检测的准确性，本发明医疗图像病灶检测算法对于医疗图像的病灶检测可以获得更加准确的检测精度，并且本发明设计的网络结构可以端到端地进行训练，并且具有很好的可移植性。

Description

一种带有尺度增强和注意力融合的医疗图像病灶检测算法

技术领域

本发明属于医疗图像病灶检测技术领域，具体为一种带有尺度增强和注意力融合的医疗图像病灶检测算法。

背景技术

医学影像病灶检测在基于计算机辅助诊疗系统的临床诊疗过程中有着非常重要的作用，例如：在对肿瘤的影像学初筛和对肿瘤的检测定位等过程中，智能辅助诊疗的病灶检测系统可以快速的判断、识别、检测、定位肿瘤的位置，并且病灶检测中对病灶的定位可以应用到其他一些的智能辅助诊疗任务中，比如病灶的分割，通过病灶检测的定位可以缩小分割的区域从而提高分割的精确率。当前，在医学临床影像复杂、读片分析过程极具专业经验性等临床实际与分析技术背景下，完全端到端的医学影像自动化读片分析技术还不成熟，主要还是依赖于具有丰富专业技术经验的医师去判断影像中病灶的位置。此外，受到所用成像仪器、成像环境、医师工作疲劳度等客观因素与医师自身专业的主观经验的影响，对同一病例影像的分析结果(尤其是较小的病灶)往往可能会出现一定偏差。因此，实现端到端的对临床医学影像的高效准确的自动化检测具有着重要的理论价值与社会经济效益。

近年来，卷积神经网络以对图像的欧氏空间特征优秀的特征提取能力，获得了很好的图像检测性能表现。基于深度神经网络的医学影像检测是指通过利用深度卷积神经网络等深度学习方法，学习医学影像中的目标特征，并定位感兴趣的目标器官组织或者炎症、囊肿与肿瘤等病灶区域。

当前针对自然图像的深度神经网络目标检测方法主要分为两类，一类是双阶段的检测网络(如：R-CNN,Fast-RCNN,Faster-RCNN)，另一类是单阶段的检测网络(如：YoLo,RetinaNet等)。双阶段网络和单阶段网络的共同点是都是先通过VGG或ResNet等骨干网络对医疗影像提取特征，不同的是双阶段网络先对提取到的特征进行初步的分类和定位，然后再对定位区域中的特征再次进行更准确的定位，而单阶段网络省去了初步的分类和定位操作直接对提取到的特征进行分类和定位。显而易见的，双阶段的网络由于有初步的定位步骤从而能够在速度上相对于双阶段更慢但是在准确度上的更高。但是针对医疗图像的病灶检测和自然图像相比有着很大的不同和挑战，比如：医疗影像并没有自然图像那样色彩丰富，医疗影像中目标病灶相对于背景并不容易区分等等，这也导致了医疗图像的病灶检测效果并不如自然图像检测效果好。

因此，需要一种带有尺度增强和注意力融合的医疗图像病灶检测算法从而克服医疗影像相对于自然图像难检测的难题。

发明内容

针对上述情况，为克服现有技术的缺陷，本发明提供一种带有尺度增强和注意力融合的医疗图像病灶检测算法，有效的解决了背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种带有尺度增强和注意力融合的医疗图像病灶检测算法，包括以下步骤：

S1：病例数据加载与预处理：获得医学影像数据及病灶定位信息的标准注释；

S2：特征提取：采用现有的残差网络来实现对输入的原始数据的特征提取，并且保留最后5层的特征信息作为初始的特征信息；

S3：权重生成：对步骤S2中产生的5层特征图中每层的特征图都进行最大池化、二维卷积、归一化和ReLU函数激活操作，最终生成该层对应每个不同尺度特征图的权重；

S4：尺度增强：对步骤S2生成的特征图分别用不同大小的卷积核进行卷积得到两个相同大小且不同尺度的特征图；

S5：特征融合：对于现有的不同尺度的特征和对应的权重分别相乘后加和；

S6：得到候选框：将最终得到的特征图送入区域生成网络得到一系列的候选框；

S7：分类和回归：将步骤S6得到的候选框中的特征再次进行分类和回归修正，并且生成对于每个预测框的成绩；

S8：输出预测：通过对步骤S7产生的成绩这一参数设定阈值，对于超过这一阈值的预测框将作为最终预测，对于测试部分，将没有步骤S1中的标准注释，直接将预测结果作为预测进行输出。

优选的，所述步骤S1病例数据加载与预处理包括以下步骤：

S11：收集获取目标诊断病症的病例数据库；

S12：对步骤S11的数据库中每个病人的影像文件夹以有序的编号命名，并且对应生成相同命名的xml格式的病灶定位的注释文件。

优选的，所述步骤S2中残差网络为ResNet网络。

优选的，所述步骤S2最后5层的特征信息为不同语义深度、不同尺度的特征信息。

优选的，所述特征信息大小分别为4×4×256、8×8×256、16×16×256、32×32×256、64×64×256。

优选的，所述步骤S4尺度增强还包括以下步骤：

S41：对特征图多尺度细节增强；

S42：对特征图进行单尺度对比度拉伸。

优选的，所述步骤S6中区域生成网络为RPN网络。

优选的，所述步骤S6生成候选框包括以下步骤：

S61：对步骤S5生成的特征图上的每一个点，生成具有不同尺度和宽高比的锚点框；

S62：将步骤S61中的锚点框输入到rpn_cls_score网络层进行分类，判断锚点框里面的特征图是否属于前景，以及输入到rpn_bbox_pred网络层输出四个位置坐标(相对于真实物体框的偏移)，然后通过GT来进行loss学习；

S63：将锚点框与Ground Truth中的标签框进行IoU对比，如果其IoU高于某个阈值，则该锚点框标定为前景框，否则属于背景框，对于前景框，要计算其与真实标签框的4个位置偏移，将这个标注好的锚点框(带有前背景类别和位置偏移标注)与卷积网络层的两个输出进行loss比较(类别：CrossEntrpy loss和位置回归：smooth L1loss)，从而学习到如何提取前景框；

S64：根据rpn_cls_score层的输出概率值确定前景框，位置偏移值则被整合到锚点框的坐标中以得到实际的框的坐标，得到了候选框；

S65：根据步骤S64得到的候选框，将候选框中的特征进行分类和回归修正框的位置作为最终的预测。

与现有技术相比，本发明的有益效果是：

(1)、本发明医疗图像病灶检测算法在现有的特征金字塔网络(FPN)的基础上增加了尺度增强模块，并且在尺度增强后的融合过程中加入了注意力机制来赋给不同尺度以不同的权重，尺度增强模块加入了更大的卷积核，以此可以包含更大范围的信息来融合，这对于医疗图像是至关重要的，因为医疗图像的病灶边界往往并没有自然图像的边界那样清晰，这就导致了网络在定位的时候对于病灶的边缘定位不准确，而更大卷积核的加入可以融合更大范围的特征信息，这有利于更准确的定位病灶，注意力机制给出的权重能够从不同尺度的特征抽取更有利于分类和回归的特征信息从而提高病灶检测的精度，在尺度增强和注意力机制的加持下，对于医疗图像的病灶检测可以获得更加准确的检测精度。

(2)、本发明医疗图像病灶检测算法设计的网络结构可以端到端地进行训练，具有很好的可移植性。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

在附图中：

图1是根据本发明实施例的一种带有尺度增强和注意力融合的医疗图像病灶检测算法的流程图；

图2是根据本发明实施例的一种带有尺度增强和注意力融合的医疗图像病灶检测算法中最大池化的示意图；

图3是根据本发明实施例的一种带有尺度增强和注意力融合的医疗图像病灶检测算法中二维卷积的示意图；

图4是根据本发明实施例的一种带有尺度增强和注意力融合的医疗图像病灶检测算法中归一化的示意图；

图5是根据本发明实施例的一种带有尺度增强和注意力融合的医疗图像病灶检测算法中ReLU函数的示意图；

图6是根据本发明实施例的一种带有尺度增强和注意力融合的医疗图像病灶检测算法中生成候选框的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种带有尺度增强和注意力融合的医疗图像病灶检测算法，包括以下步骤：

S1：病例数据加载与预处理：获得医学影像数据及病灶定位信息的标准注释；

S2：特征提取：采用现有的残差网络来实现对输入的原始数据的特征提取，并且保留最后5层的特征信息作为初始的特征信息；

S3：权重生成：对步骤S2中产生的5层特征图中每层的特征图都进行最大池化、二维卷积、归一化和ReLU函数激活操作，最终生成该层对应每个不同尺度特征图的权重；

S4：尺度增强：对步骤S2生成的特征图分别用不同大小的卷积核进行卷积得到两个相同大小且不同尺度的特征图；

S5：特征融合：对于现有的不同尺度的特征和对应的权重分别相乘后加和；

S6：得到候选框：将最终得到的特征图送入区域生成网络得到一系列的候选框；

S7：分类和回归：将步骤S6得到的候选框中的特征再次进行分类和回归修正，并且生成对于每个预测框的成绩；

S8：输出预测：通过对步骤S7产生的成绩这一参数设定阈值，对于超过这一阈值的预测框将作为最终预测，对于测试部分，将没有步骤S1中的标准注释，直接将预测结果作为预测进行输出。

在一个优选地实施方式中，步骤S1病例数据加载与预处理包括以下步骤：

S11：收集获取目标诊断病症的病例数据库；

S12：对步骤S11的数据库中每个病人的影像文件夹以有序的编号命名，并且对应生成相同命名的xml格式的病灶定位的注释文件。

在一个优选地实施方式中，步骤S2中残差网络为ResNet网络。

在一个优选地实施方式中，步骤S2最后5层的特征信息为不同语义深度、不同尺度的特征信息。

在一个优选地实施方式中，特征信息大小分别为4×4×256、8×8×256、16×16×256、32×32×256、64×64×256。

在一个优选地实施方式中，步骤S4尺度增强还包括以下步骤：

S41：对特征图多尺度细节增强；

S42：对特征图进行单尺度对比度拉伸。

在一个优选地实施方式中，步骤S6中区域生成网络为RPN网络。

在一个优选地实施方式中，步骤S6生成候选框包括以下步骤：

S61：对步骤S5生成的特征图上的每一个点，生成具有不同尺度和宽高比的锚点框；

S62：将步骤S61中的锚点框输入到rpn_cls_score网络层进行分类，判断锚点框里面的特征图是否属于前景，以及输入到rpn_bbox_pred网络层输出四个位置坐标(相对于真实物体框的偏移)，然后通过GT来进行loss学习；

S63：将锚点框与Ground Truth中的标签框进行IoU对比，如果其IoU高于某个阈值，则该锚点框标定为前景框，否则属于背景框，对于前景框，要计算其与真实标签框的4个位置偏移，将这个标注好的锚点框(带有前背景类别和位置偏移标注)与卷积网络层的两个输出进行loss比较(类别：CrossEntrpy loss和位置回归：smooth L1loss)，从而学习到如何提取前景框；

S64：根据rpn_cls_score层的输出概率值确定前景框，位置偏移值则被整合到锚点框的坐标中以得到实际的框的坐标，得到了候选框；

S65：根据步骤S64得到的候选框，将候选框中的特征进行分类和回归修正框的位置作为最终的预测。

为了方便理解本发明的上述技术方案，以下结合附图对本发明的上述方案的流程进行详细说明，具体如下：

根据本发明的实施例，提供了基于带有注意力机制的尺度增强的医疗影像病灶检测网络，如图1所示，包括以下步骤：

步骤S101：病例数据加载与预处理：获得医学影像数据及病灶定位信息的标准注释；

具体的，先收集获取目标诊断病症的病例数据库，对数据库中每个病人的影像文件夹以有序的编号命名，并且对应生成相同命名的xml格式的病灶定位的注释文件，定位信息的格式为坐标形式，其具体格式为病灶定位框的左上角(xmin,ymin)和右下角(xmax,ymax)，其具体格式如下所示：

-<annotation>

<folder>VOC2007</folder>

<filename>BraTS19_2013_2_1-30.jpg</filename>

-<source>

<database>The UAV autolanding</database>

<annotation>UAV AutoLanding</annotation>

<image>flickr</image>

<flickrid>NULL</flickrid>

</source>

-<owner>

<flickrid>NULL</flickrid>

<name>ChaojieZhu</name>

</owner>

-<size>

<width>240</width>

<height>240</height>

<depth>3</depth>

</size>

<segmented>0</segmented>

-<object>

<name>lesion</name>

<pose>Unspecified</pose>

<truncated>1</truncated>

<difficult>0</difficult>

-<bndbox>

<xmin>80</xmin>

<ymin>93</ymin>

<xmax>169</xmax>

<ymax>142</ymax>

</bndbox>

</object>

</annotation>。

步骤S103：特征提取：采用现有的残差网络来实现对输入的原始数据的特征提取，并且保留最后5层的特征信息作为初始的特征信息，最后5层的特征信息为不同语义深度、不同尺度的特征信息，其大小分别为4×4×256、8×8×256、16×16×256、32×32×256、64×64×256；

步骤S105：对步骤S103中产生的5层特征图中每层的特征图都进行最大池化、二维卷积、归一化和ReLU函数激活操作，最终生成该层对应每个不同尺度特征图的权重，其中最上层只有两种尺度的特征，而下面的4层有三种尺度的特征，所以对于第一层生成2×256的权重而下面4层生成大小为3×256的权重；

步骤S107：尺度增强：对步骤S103中产生的5层特征图中每层的特征图都将分别用3×3和5×5两个不同大小的卷积核进行卷积，并且得到相同大小的两个特征图；

具体的，卷积的设定为：

torch.nn.Conv2d(in_channels＝256,out_channels＝256,kernel_size＝3,stride＝1,padding＝1)，

torch.nn.Conv2d(in_channels＝256,out_channels＝256,kernel_size＝5,stride＝1,padding＝2)。

步骤S109：特征融合：将最后一层只有尺度增强后的两个不同尺度的特征信息以及其他几层3种不同尺度的特征信息(分别是尺度增强后的两个不同尺度的特征信息还有一个后一层特征信息经过上采样得到的特征信息)与步骤S105得到的权重相乘后相加进行特征融合，得到了最终用于分类和回归定位的特征图；

步骤S111：生成候选框：由区域生成网络生成一系列的候选框，将步骤S109产生的特征图送入区域生成网络中得到多个初步的候选框；

步骤S113：分类和回归定位：将候选框中的特征用全连接的形式，将候选框进行分类和回归修正从而得到最后的预测框，并且生成对于每个预测框的成绩；

步骤S115：输出预测：通过对步骤S113产生的成绩这一参数设定阈值，对于超过这一阈值的预测框将作为最终预测，对于测试部分，将没有步骤S101中的标准注释，直接将预测结果作为预测进行输出。

综上所述，借助于本发明的上述技术方案，本发明主要采用双阶段网络的结构，并且引入尺度增强实现对多尺度信息的融合，由于尺度增强过程中用到了更大的卷积核，所以网络能够融合更大范围的特征信息，这有利于在复杂背景中提取到更多的病灶特征从而有利于分类和定位，不仅如此在尺度增强后，本方法加入了注意力机制从而能够在不同尺度的特征信息中抓取更有利分类和定位的特征，神经网络主要采用Faster-RCNN的主要结构来进行病灶检测，该网络通过ResNet网络作为骨干网络来提取特征，以特征金字塔网络为主要架构，并在特征金字塔的横向通道中加入了带有注意力机制的特征增强模块，并且特征增强之后运用注意力机制对不同的尺度的进行有加权的融合，融合之后的特征将作为最后的特征输入到并列的两个全连接中进行分类和定位，具体地，ResNet网络采用深度为50的ResNet-50，并且取最后5层(其大小分别：4×4×256、8×8×256、16×16×256、32×32×256、64×64×256)特征图作为特征金字塔网络的输入，这从上到下5层的特征都将进行特征增强，每层的特征增强采用两个不同大小的卷积核(一个为3×3，另一个为5×5)分别来进行提取特征后得到相同大小的两个特征图，最后每层的两个特征图和经过上采样的上一层的特征图进行融合，在融合过程中采用了注意力机制，具体操作为对输入的每层特征做卷积、池化、激活操作得到对该层不同尺度特征图的权重，随着训练的进行，反向传播优化这些权重，至此，得到了每层的不同尺度的特征也得到了不同尺度特征对应的权重，最后不同尺度的特征乘以相对应的权重再相加后就得到了最终的每层的特征图，对于每层的特征图都将用两个全连接神经网络进行分类和回归定位。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种带有尺度增强和注意力融合的医疗图像病灶检测算法，其特征在于，包括以下步骤：

S1：病例数据加载与预处理：获得医学影像数据及病灶定位信息的标准注释；

S2：特征提取：采用现有的残差网络来实现对输入的原始数据的特征提取，并且保留最后5层的特征信息作为初始的特征信息；

S3：权重生成：对步骤S2中产生的5层特征图中每层的特征图都进行最大池化、二维卷积、归一化和ReLU函数激活操作，最终生成该层对应每个不同尺度特征图的权重；

S4：尺度增强：对步骤S2生成的特征图分别用不同大小的卷积核进行卷积得到两个相同大小且不同尺度的特征图；

S5：特征融合：对于现有的不同尺度的特征和对应的权重分别相乘后加和；

S6：得到候选框：将最终得到的特征图送入区域生成网络得到一系列的候选框；

S7：分类和回归：将步骤S6得到的候选框中的特征再次进行分类和回归修正，并且生成对于每个预测框的成绩；

S8：输出预测：通过对步骤S7产生的成绩这一参数设定阈值，对于超过这一阈值的预测框将作为最终预测，对于测试部分，将没有步骤S1中的标准注释，直接将预测结果作为预测进行输出。

2.根据权利要求1所述的一种带有尺度增强和注意力融合的医疗图像病灶检测算法，其特征在于，所述步骤S1病例数据加载与预处理包括以下步骤：

S11：收集获取目标诊断病症的病例数据库；

S12：对步骤S11的数据库中每个病人的影像文件夹以有序的编号命名，并且对应生成相同命名的xml格式的病灶定位的注释文件。

3.根据权利要求1所述的一种带有尺度增强和注意力融合的医疗图像病灶检测算法，其特征在于，所述步骤S2中残差网络为ResNet网络。

4.根据权利要求1所述的一种带有尺度增强和注意力融合的医疗图像病灶检测算法，其特征在于，所述步骤S2最后5层的特征信息为不同语义深度、不同尺度的特征信息。

5.根据权利要求4所述的一种带有尺度增强和注意力融合的医疗图像病灶检测算法，其特征在于，所述特征信息大小分别为4×4×256、8×8×256、16×16×256、32×32×256、64×64×256。

6.根据权利要求1所述的一种带有尺度增强和注意力融合的医疗图像病灶检测算法，其特征在于，所述步骤S4尺度增强还包括以下步骤：

S41：对特征图多尺度细节增强；

S42：对特征图进行单尺度对比度拉伸。

7.根据权利要求1所述的一种带有尺度增强和注意力融合的医疗图像病灶检测算法，其特征在于，所述步骤S6中区域生成网络为RPN网络。

8.根据权利要求1所述的一种带有尺度增强和注意力融合的医疗图像病灶检测算法，其特征在于，所述步骤S6生成候选框包括以下步骤：

S61：对步骤S5生成的特征图上的每一个点，生成具有不同尺度和宽高比的锚点框；

S62：将步骤S61中的锚点框输入到rpn_cls_score网络层进行分类，判断锚点框里面的特征图是否属于前景，以及输入到rpn_bbox_pred网络层输出四个位置坐标(相对于真实物体框的偏移)，然后通过GT来进行loss学习；

S63：将锚点框与Ground Truth中的标签框进行IoU对比，如果其IoU高于某个阈值，则该锚点框标定为前景框，否则属于背景框，对于前景框，要计算其与真实标签框的4个位置偏移，将这个标注好的锚点框(带有前背景类别和位置偏移标注)与卷积网络层的两个输出进行loss比较(类别：CrossEntrpy loss和位置回归：smooth L1loss)，从而学习到如何提取前景框；

S64：根据rpn_cls_score层的输出概率值确定前景框，位置偏移值则被整合到锚点框的坐标中以得到实际的框的坐标，得到了候选框；

S65：根据步骤S64得到的候选框，将候选框中的特征进行分类和回归修正框的位置作为最终的预测。

Images