CN112967295B - 一种基于残差网络和注意力机制的图像处理方法及系统 - Google Patents

Abstract

本发明提供了一种基于残差网络和注意力机制的图像处理方法及系统，方法包括：获取输入图像，输入图像包括第一图像和第二图像；根据第二图像对第一图像进行预处理，获取第一目标图像，基于第一目标图像获取第一标注图像；根据第一标注图像和第一目标图像对预设分割网络进行训练，获取第一分割网络，第一分割网络是包括具有残差网络和注意力机制的编码解码结构；通过第一分割网络对第一目标图像进行处理，获取输出图像。该方法基于深度学习技术对医学图像进行图像分割处理，恢复出高分辨率二值图像，能够得到更精确的分割结果，且计算效率更高，错误率更小，避免了人为因素干扰，为后续疾病的诊断和治疗提供精确的分割和定位依据。

Description

一种基于残差网络和注意力机制的图像处理方法及系统

技术领域

本发明涉及图像处理领域，具体而言，涉及一种基于残差网络和注意力机制的图像处理方法及系统。

背景技术

根据世界卫生组织国际癌症研究机构(IARC)发布的全球最新癌症数据，2020年全球新增癌症人数1929万人左右，其中乳腺癌新增人数达226万人，成为“全球第一大癌症”。全球因癌症死亡的人数996万人，其中乳腺癌占6.9％。乳腺癌治疗效果较好，因此“早发现、早诊断、早治疗”尤为重要，是降低致死率的关键。其中，病灶区域的分割对于医生的诊断具有很大的辅助作用，因为病灶区域的形状特征是肿瘤诊断的重要依据。

常见的临床影像筛查手段包括钼靶、MRI和超声。其中超声成像具有检查手段方便、价格低廉、无辐射、实时性好的优点，尤其适用于40岁以下致密型乳腺的女性乳腺筛查。由于超声成像机制的限制，超声图像容易衰减，存在大量伪影和斑点噪声，大大降低图像质量，病灶区域肿瘤边界模糊。此外，不同厂商的超声设备对超声图像都进行了一系列的预处理，而且不同医生对设备的采集参数设置不同，甚至探头都没聚焦，图像质量良莠不齐，严重影响医生的后续诊断。不同设备的设置条件和图像预处理方法不同，导致图像的几何中心及对比度等差异很大，影响最终诊断结果。

传统机器学习方法利，用特征工程和利用专业医生的先验知识计算医学图像的形状、纹理等特征，对图像进行前景和背景的分割。该方法需要手动提取特征进行大量计算，步骤十分繁琐，特征工程十分依赖于人工经验。提取到的特征无法准确、全面地描述病灶区域，如果特征选取的数量不当或者不足会严重影响分割性能。

深度学习方法，利用深度学习工具，对医学超声图像进行研究，能够自动从大量数据中学习模型的方法，可以避免人为因素的干扰，而且其错误率也远远低于传统机器学习方法。但是，医学数据尤其是超声图像数据，其数据量很少，导致深度学习网络训练困难。

其中，采用U-NET结构进行图像处理能取得不错的效果。该方法所需的网络结构参数少，分割性能好。但是不适用于边界模糊的超声图像，而且对多中心多视角的医学图像数据，每次都要重新训练模型，泛化性能较差。

因此，需要一种医学超声图像分割方法，能够解决上述问题。

发明内容

基于现有技术存在的问题，本发明提供了一种基于残差网络和注意力机制的图像处理方法及系统。具体方案如下：

一种基于残差网络和注意力机制的图像处理方法，包括，

图像输入：获取输入图像，所述输入图像包括第一图像和第二图像；

预处理：根据所述第二图像对所述第一图像进行预处理，获取第一目标图像，基于所述第一目标图像获取第一标注图像；

模型训练：根据所述第一标注图像和所述第一目标图像对预设分割网络进行训练，获取第一分割网络，所述第一分割网络是包括具有残差网络和注意力机制的编码解码结构；

模型处理：通过所述第一分割网络对所述第一目标图像进行处理，获取输出图像。

在一个具体实施例中，所述预处理具体包括：

获取所述第二图像中预设区域的坐标信息；

基于所述坐标信息对所述第一图像进行映射处理，获取所述第一目标图像；

通过对预设比例的所述第一目标图像进行标注，获取所述第一标注图像。

在一个具体实施例中，所述模型训练具体包括，

根据所述第一标注图像和与所述第一标注图像对应的所述第一目标图像对所述预设分割网络进行训练，输出预训练图像；

根据所述预训练图像与所述标注图像获取损失函数；

根据所述损失函数优化所述预设分割网络，获取所述第一分割网络。

在一个具体实施例中，所述预处理还包括，

在获取所述第一标注图像之后，

对所述第一目标图像进行杨氏模量转换处理，对所述第一标注图像进行二值化处理。

在一个具体实施例中，所述模型处理具体包括：

所述分割网络包括设置有残差网络结构的下采样网络和设置有注意力机制的上采样网络；

通过所述下采样网络对所述第一目标图像进行下采样编码处理，获取下采样图像；

通过所述上采样网络对所述下采样图像进行上采样编码处理，获取输出图像。

在一个具体实施例中，所述注意力机制具体包括：

获取特征图在图像通道上的均值和最大值，将所述均值和所述最大值相加，得到权重向量；

将所述权重向量输入到全连接层进行重新排列，获取第一权重向量；

根据所述第一权重向量和所述特征图获取带有权重的特征图。

在一个具体实施例中，在所述预处理和所述模型训练之间，还包括：

对所述第一目标图像和所述第一标注图像进行数据增强；

所述数据增强包括随机水平翻转、角度旋转、随机裁剪。

在一个具体实施例中，所述下采样网络的第一层和最后一层也设置有所述注意力机制。

在一个具体实施例中，所述上采样网络还设置有所述残差网络结构；

所述上采样网络的表达式为：

y＝D(cat(x_l,x_l-1))+w·cat(x_l,x_l-1)

其中，D表示解码操作，包括上采样、卷积、激活函数、正则化运算，w表示卷积运算，cat表示特征拼接运算，y表示上采样网络第l层输出，x_l表示上采样网络的第l层，x_l-1表示上采样网络的第l-1层。

在一个具体实施例中，所述损失函数包括二元交叉熵和Dice损失的组合。

在一个具体实施例中，所述第一图像为横纵切扫描方式下的B模式图像，所述第二图像为横纵切扫描方式下的弹性图像。

一种基于残差网络和注意力机制的图像处理系统，包括，

图像输入单元：用于获取输入图像，所述输入图像包括第一图像和第二图像；

预处理单元：用于根据所述第二图像对所述第一图像进行预处理，获取第一目标图像，并基于所述第一目标图像获取第一标注图像；

模型训练单元：用于根据所述第一标注图像和所述第一目标图像对预设分割网络进行训练，获取第一分割网络，所述第一分割网络是包括具有残差网络和注意力机制的编码解码结构；

模型处理单元：通过所述第一分割网络对所述第一目标图像进行处理，获取输出图像。

在一个具体实施例中，所述预处理单元具体包括，

坐标获取单元：用于获取所述第二图像中预设区域的坐标信息；

映射处理单元：用于基于所述坐标信息对所述第一图像进行映射处理，获取所述第一目标图像；

标注处理单元：用于通过对所述第一目标图像进行标注，获取所述第一标注图像。

在一个具体实施例中，所述模型训练单元具体包括，

训练单元：用于根据所述第一标注图像和与所述第一标注图像对应的所述第一目标图像对所述预设分割网络进行训练，输出预训练图像；

损失获取单元：用于根据所述预训练图像与所述标注图像获取损失函数值；

分割网络获取单元：用于根据所述损失函数优化所述预设分割网络，获取所述第一分割网络。

在一个具体实施例中，所述分割网络包括设置有残差网络结构的下采样网络和设置有注意力机制的上采样网络；

所述模型处理单元具体包括，

下采样单元：用于通过所述下采样网络对所述第一目标图像进行下采样编码处理，获取下采样图像；

上采样单元：用于通过所述上采样网络对所述下采样图像进行上采样编码处理，获取输出图像。

本发明针对现有技术，提出了一种基于残差网络和注意力机制的图像处理方法及系统，基于深度学习技术对医学图像进行图像分割处理，恢复出和原始输入图像分辨率一致的高分辨率二值图像。具有如下有益效果：

本发明可以得到更精确的分割结果，计算效率更高，错误率更小，避免了人为因素干扰，大大节省了医生的手动分割时间，为后续乳腺疾病的诊断和治疗提供精确的分割和定位依据，大幅提升了网络的分割性能。

采用了类似U-NET的结构，将其下采样网络部分替换成预训练的残差网络结构，可以获得更优秀的初始化权重参数，克服医学图像数据量少的缺点，更容易训练。

下采样网络部分采用预训练的残差网络，提取到多达5倍达下采样的多尺度特征，优于U-NET的4倍下采样倍数，能够提供更多层次的多尺度分类特征。

在上采样网络部分加入注意力机制学习最重要的特征，忽略次要特征，提高计算资源的分配效率。

在上采样网络部分加入残差网络结构，改善深度网络的退化问题，减少了错误率。

将该方法模块化，形成一种具体的系统，使其更具备实用性。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例1的图像处理方法流程图；

图2是本发明实施例1的预处理流程图；

图3是本发明实施例1的ROI效果示意图；

图4是本发明实施例1的模型训练流程图；

图5是本发明实施例1的模型训练示意图；

图6是本发明实施例1的分割网络示意图；

图7是本发明实施例1的注意力机制原理图；

图8是本发明实施例1的数据集概况图；

图9是本发明实施例1的实验对比结果图；

图10是本发明实施例2的图像处理系统模块示意图。

附图标记：

1-图像输入单元；2-预处理单元；3-模型训练单元；4-模型处理单元；21-坐标获取单元；22-映射处理单元；23-标注处理单元；24-分辨率处理单元；31-训练单元；32-损失获取单元；33-分割网络获取单元；41-下采样单元单元；42-上采样单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出了一种基于残差网络和注意力机制的图像处理方法及系统，能够恢复出和原始输入图像分辨率一致的高分辨率二值图像，提供肿瘤精确的定位信息和分割外形。本发明采用了类似U-NET的结构，将其下采样网络部分替换成预训练的残差网络结构，可以获得更优秀的初始化权重参数，克服医学图像数据量少的缺点，更容易训练；在上采样网络部分加入注意力机制学习最重要的特征，忽略次要特征，提高计算资源的分配效率，同时，在上采样网络部分加入残差网络结构，改善深度网络的退化问题，减少了错误率。

需要说明的是，本发明以一组横纵切多视角多模态乳腺超声图像序列为输入图像进行阐述。该数据集通过使用GE LogiqE9彩色多普勒超声诊断仪，二维高频线阵探头ML 6-15(6-15MHz)，由专业医生进行操作获取。数据真实有效，具有很强的代表性。

此外，本发明实施例采用准确率(ACC)、肿瘤重合比(AreaOverlap,AO)、非肿瘤差异比(AreaDifference,AD)、DICE相似系数(DICE)4组评价指标和五次五折交叉验证对结果进行评估，其中，除了AD指标是越小越好以外，其他指标均是越大越好。

经实验证明，本发明提供的方法，能在测试集上实现准确率提升1.5％、AO提升10.9％、AD降低10.9％、Dice系数提升7.1％，平均性能提升7.6％以上。

实施例1

本实施例提出了一种基于残差网络和注意力机制的图像处理方法，流程步骤如说明书附图1，具体方案如下:

101、图像输入：获取输入图像，输入图像包括第一图像和第二图像。

102、预处理：根据第二图像对第一图像进行预处理，获取第一目标图像，基于第一目标图像获取第一标注图像。

103、模型训练：根据第一标注图像和第一目标图像对预设分割网络进行训练，获取第一分割网络，第一分割网络包括设置有残差网络结构和注意力机制的编码解码结构。

104、模型处理：通过第一分割网络对第一目标图像进行处理，获取输出图像。

在本实施例中，以一组横纵切多视角多模态乳腺超声图像序列为输入图像。该图像集包括B模式图像、多普勒图像和弹性图像，通过GE LogiqE9彩色多普勒超声诊断仪和二维高频线阵探头ML 6-15(6-15MHz)，每张图像都是由专业医生根据真实案例进行诊断获取。该数据集包括500例病灶图像，每组病例包括横纵切扫描方式下的B模式图像、弹性图像和多普勒图像共计6张图像。特别地，第一图像为横纵切扫描方式下的弹性图像，第二图像为横纵切扫描方式下的B模式图像。

具体地，步骤102如说明书附图2所示，具体包括:

10201:获取第二图像中预设区域的坐标信息。

10202:基于坐标信息对第一图像进行映射处理，获取第一目标图像。

10203:通过对第一目标图像进行标注，获取第一标注图像。

10204:对第一目标图像进行杨氏模量转换处理，对第一标注图像进行二值化处理。

输入图像的分辨率为1440*1080，高分辨率直接用于训练会大量占用显存且包含大量无用的背景噪声，严重影响图像生成速度和图像质量。在本实施例中，通过裁剪，选取特定区域的坐标信息，最终只保留病灶等主要区域的图像。由于弹性图像能提供更精确的诊断，在弹性图像中，获取医生标注的感兴趣区域(Regionofinterest,ROI)，ROI区域即为本实施例中的预设区域。把该ROI区域边界框的坐标信息提取出来，映射到B模式图像上，根据坐标信息的映射对B模式图像进行裁剪，获取目标图像。由专业医生对ROI肿瘤外形进行标注，得到GroundTruth的二值标注文件mask，ROI肿瘤外形即为目标图像，二值标注文件mask即为标注图像。数据送入网络之前，还要进行分辨率处理，将第一标注图像和第一目标图像经过裁剪和缩放为224*224的分辨率。二值标注文件如说明书附图2所示。

在本实施例中，为验证可行性，将输入图像按一定比例划分为训练集、验证机和测试集。具体地，对原始输入图像数据按3:1:1的比例划分为训练集、验证集和测试集，其中训练集用于模型训练，验证集用于模型的参数选择，测试集用于对训练好的模型进行评价。

在步骤102和步骤103之间，还包括对第一目标图像和第一标注图像进行数据增强处理。在本实施例中，数据增强包括随机水平翻转、角度旋转、随机裁剪等常见的数据增强处理。通过对第一目标图像和第一标注图像进行数据增强处理，提升了模型的泛化性能，使模型具备更广泛的应用，能够处理更多的图像。将数据增强处理后的图像送入分割网络进行训练，输出的特征经过1*1的卷积层输出，得到单通道的高分辨率二值分割结果。

步骤103、模型训练：根据第一标注图像和第一目标图像对预设分割网络进行训练，获取第一分割网络。其中，第一分割网络包括设置有残差网络结构的下采样网络和设置有注意力机制的上采样网络。

模型训练如说明书附图4所示，具体包括：

10301、根据第一标注图像和与第一标注图像对应的第一目标图像对预设分割网络进行训练，输出预训练图像。

10302、根据预训练图像与标注图像获取损失函数。

10303、根据损失函数调整预设分割网络，获取第一分割网络。

模型训练主要根据第一标注图像和第一目标图像对预设分割网络进行训练。在本实施例中，分割网络包括下采样网络和上采样网络两个部分。下采样网络采用预训练的残差网络结构，通过大规模图像数据集ImageNet预训练的通用结构ResNet-34，获取下采样网络。相比现有的U-NET的下采样网络部分，本实施例采用预训练模型能够实现在模型训练阶段不用从头开始训练，对于小规模的医学图像数据集更高效。

10302、根据预训练图像与标注图像获取损失函数。其中，损失函数包括二元交叉熵和Dice损失的组合。其中，交叉熵由于对数函数的特性，损失越大，惩罚越多，且呈指数增长；Dice损失是1与Dice相似系数的差值，是分割性能的评价指标，将其整合到损失函数中，可以进一步提升分割性能。模型训练的具体流程如说明书附图5所示。

104模型处理具体包括：通过下采样网络对第一目标图像进行下采样编码处理，获取下采样图像。通过上采样网络对下采样图像进行上采样编码处理，获取输出图像。

具体地，下采样网络部分经过五次池化层，原始图像的分辨率缩小到原来的1/5，同时特征通道数从输入的3增加到512。第一目标图像经过下采样网络处理后生成下采样图像。上采样网络部分设置有注意力机制，将每一层的低分辨率特征图先进行上采样，再和上一层的高分辨率特征图进行拼接，使输出的特征图同时具有低分辨率和高分辨率信息，低分辨率特征提供分类的依据，高分辨率特征提供精准的分割依据。最后上采样网络部分输出了1个通道的高分辨率特征图。上采样网络对下采样图像进行处理获取输出图像。分割网络如说明书附图6所示。

此外，还可更改预训练模型，将残差网络结构替换为密集连接网络结构。

具体地，上采样网络设置有注意力机制。注意力机制，是利用一些简单的卷积神经网络模拟人类眼睛观察事物的行为特点，眼睛在观察物体的时候，往往会忽略一些不重要的信息，只关注一些主要的细节。如说明书附图4所示，在注意力机制中，对特征图的特征从通道上求均值和最大值，将均值和最大值相加，得到一组权重向量。然后将权重向量送入全联接层，进行重新排列，使得模型训练好以后，在通道维度上，特征是有权重的，获取第一权重向量。将学习到的第一权重向量乘以原来的特征图，得到带有权重的特征图，模型的其他部分保持不变。注意力机制原理图如说明书附图7所示。

特别地，本实施例在下采样网络也设置有注意力机制。通过注意力机制可以让模型在训练过程中，更关注感兴趣的局部区域，可以把计算资源自动分配到最有用的局部区域，提高模型的计算效率。在医学超声图像，采用注意力机制可着重分析患者病灶区域，提高超声图像的分割效率。

然而，引入注意力机制的同时，会增加模型的计算复杂度。为了降低运算复杂度，本实施例只在下采样网络的第一层和最后一层之后加入注意力机制。模型在进行上采样的时候，往往需要融合几百个通道的低分辩特征和高分辨率特征，所以计算效率尤其重要，因此在上采样网络每个层都设置有注意力机制。

此外，本实施例还在上采样网络设置有残差网络结构。随着网络层数的增加，网络发生了退化(degradation)现象：网络层数越多，loss不降反升。当网络退化时，浅层网络能够达到比深层网络更好的训练效果。本实施例把低层的特征直接传到高层，效果会好于更深一层网络的计算结果。原来的上采样网络表达式为：

y＝D(cat(x_l,x_l-1))

改进后的残差-上采样网络的表达式为：

y＝D(cat(x_l,x_l-1))+w·cat(x_l,c_l-1)

其中，y表示上采样网络第l层输出，x_l表示上采样网络的第l层，x_l-1表示上采样网络的第l-1层，D表示解码操作，包括上采样、卷积、激活函数、正则化运算，w表示卷积运算，cat表示特征拼接运算，用于高低层次的特征融合。

本实施例采用准确率(ACC)、肿瘤重合比(AreaOverlap,AO)、非肿瘤差异比(AreaDifference,AD)、DICE相似系数(DICE)4组评价指标和五次五折交叉验证对结果进行评估，其中，除了AD指标是越小越好以外，其他指标均是越大越好。对比的方法是U-NET及其最新改进版本U-NET++，对比结果如说明书附图8和说明书附图9所示。其中，说明书附图8为实验数据集概括，说明书附图9是实验结果对比图。本实施例提供的方法，在测试集上准确率提升1.5％、AO提升10.9％、AD降低10.9％、Dice系数提升7.1％，平均性能提升7.6％以上。

本实施例提供了一种基于残差网络和注意力机制的图像处理方法，基于深度学习技术对医学图像进行图像分割处理，恢复出和原始输入图像分辨率一致的高分辨率二值图像。本实施例提供的方法可以得到更精确的分割结果，计算效率更高，错误率更小，避免了人为因素干扰，大大节省了一生的手动分割时间，为后续疾病的诊断和治疗提供精确的分割和定位依据，大幅提升了网络的分割性能。本实施例采用了类似U-NET的结构，将其下采样网络部分替换成预训练的残差网络结构，可以获得更优秀的初始化权重参数，克服医学图像数据量少的缺点，更容易训练。下采样网络部分采用预训练的残差网络，提取到多达5倍达下采样的多尺度特征，优于U-NET的4倍下采样倍数，能够提供更多层次的多尺度分类特征。在上采样网络部分加入注意力机制学习最重要的特征，忽略次要特征，提高计算资源的分配效率。同时，在上采样网络部分加入残差网络结构，改善深度网络的退化问题，减少了错误率。

实施例2

本实施例在实施例1的基础上，将实施例1提出的一种基于残差网络和注意力机制的图像处理系统，各模块示意图如说明书附图10。具体方案如下:

一种基于残差网络和注意力机制的图像处理系统，包括图像输入单元1、预处理单元2、模型训练单元3和模型处理单元4。具体包括：

图像输入单元1，用于获取输入图像，输入图像包括第一图像和第二图像。

预处理单元2，用于根据第二图像对第一图像进行预处理，获取第一目标图像，基于第一目标图像获取第一标注图像。

模型训练单元3，用于根据第一标注图像和第一目标图像对预设分割网络进行训练，获取第一分割网络，第一分割网络包括设置有残差网络结构和设置有注意力机制的编码解码结构。

模型处理单元4，通过第一分割网络对第一目标图像进行处理，获取输出图像。

其中，预处理单元2包括坐标获取单元21、映射处理单元22、标注处理单元23和分辨率处理单元24。具体包括：

坐标获取单元21，用于获取第二图像中预设区域的坐标信息。

映射处理单元22，用于基于坐标信息对第一图像进行映射处理，获取第一目标图像。

标注处理单元23，用于通过对第一目标图像进行标注，获取第一标注图像。

分辨率处理单元24，用于通过对第一目标图像和第一标注图像进行分辨率处理。对第一目标图像进行杨氏模量转换处理，对第一标注图像进行二值化处理。

其中，模型训练单元3包括训练单元31、损失获取单元32和分割网络获取单元33。具体包括：

训练单元31，用于根据第一标注图像和与第一标注图像对应的第一目标图像对预设分割网络进行训练，输出预训练图像。

损失获取单元32，用于根据预训练图像与标注图像获取损失函数。

分割网络获取单元33，用于根据损失函数调整预设分割网络，获取第一分割网络。

其中，模型处理单元4包括下采样单元41和上采样单元42，具体包括：

下采样单元41，用于通过下采样网络对第一目标图像进行下采样编码处理，获取下采样图像。

上采样单元42，用于通过上采样网络对下采样图像进行上采样编码处理，获取输出图像。

本实施例提出了一种基于残差网络和注意力机制的图像处理系统，将实施例1的方法模块化，形成一种具体的系统，使其更具备实用性。

本发明针对现有技术，提出了一种基于残差网络和注意力机制的图像处理方法及系统，基于深度学习技术对医学图像进行图像分割处理，恢复出和原始输入图像分辨率一致的高分辨率二值图像。本发明可以得到更精确的分割结果，计算效率更高，错误率更小，避免了人为因素干扰，大大节省了医生的手动分割时间，为后续疾病的诊断和治疗提供精确的分割和定位依据，大幅提升了网络的分割性能。采用了类似U-NET的结构，将其下采样网络部分替换成预训练的残差网络结构，可以获得更优秀的初始化权重参数，克服医学图像数据量少的缺点，更容易训练。下采样网络部分采用预训练的残差网络，提取到多达5倍达下采样的多尺度特征，优于U-NET的4倍下采样倍数，能够提供更多层次的多尺度分类特征。在上采样网络部分加入注意力机制学习最重要的特征，忽略次要特征，提高计算资源的分配效率。同时，在上采样网络部分加入残差网络结构，改善深度网络的退化问题，减少了错误率。将该方法模块化，形成一种具体的系统，使其更具备实用性。

本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (9)

1.一种基于残差网络和注意力机制的图像处理方法，其特征在于，包括：

图像输入：获取输入图像，所述输入图像包括第一图像和第二图像，所述第一图像为横纵切扫描方式下的B模式图像，所述第二图像为横纵切扫描方式下的弹性图像；

预处理：获取所述第二图像中预设区域的坐标信息；基于所述坐标信息对所述第一图像进行映射处理，获取第一目标图像；通过对预设比例的所述第一目标图像进行标注，获取第一标注图像；

模型训练：根据所述第一标注图像和所述第一目标图像对预设分割网络进行训练，所述预设分割网络包括设置有残差网络结构的下采样网络和设置有注意力机制的上采样网络，获取第一分割网络，所述第一分割网络是包括具有残差网络和注意力机制的编码解码结构；

模型处理：通过所述下采样网络对所述第一目标图像进行下采样编码处理，获取下采样图像，所述下采样网络的第一层和最后一层也设置有所述注意力机制；

通过所述上采样网络对所述下采样图像进行上采样解码处理，获取输出图像，所述上采样网络也设置有所述残差网络结构。

2.根据权利要求1所述的方法，其特征在于，所述模型训练具体包括，

根据所述第一标注图像和与所述第一标注图像对应的所述第一目标图像对所述预设分割网络进行训练，输出预训练图像；

根据所述预训练图像与所述第一标注图像获取损失函数；

根据所述损失函数优化所述预设分割网络，获取所述第一分割网络。

3.根据权利要求1所述的方法，其特征在于，所述预处理还包括，

在获取所述第一标注图像之后，

对所述第一目标图像进行杨氏模量转换处理，对所述第一标注图像进行二值化处理。

4.根据权利要求1所述的方法，其特征在于，所述注意力机制具体包括：

获取特征图在图像通道上的均值和最大值，将所述均值和所述最大值相加，得到权重向量；

将所述权重向量输入到全连接层进行重新排列，获取第一权重向量；

根据所述第一权重向量和所述特征图获取带有权重的特征图。

5.根据权利要求1所述的方法，其特征在于，在所述预处理和所述模型训练之间，还包括：

对所述第一目标图像和所述第一标注图像进行数据增强；

所述数据增强包括随机水平翻转、角度旋转、随机裁剪。

6.根据权利要求1所述的方法，其特征在于，所述上采样网络的表达式为：

y＝D(cat(x_l,x_l-1))+w·cat(x_l,x_l-1)

其中，D表示解码操作，包括上采样、卷积、激活函数、正则化运算，w表示卷积运算，cat表示特征拼接运算，y表示上采样网络第l层输出，x_l表示上采样网络的第l层，x_l-1表示上采样网络的第l-1层。

7.根据权利要求2所述的方法，其特征在于，所述损失函数包括二元交叉熵和Dice损失的组合。

8.一种基于残差网络和注意力机制的图像处理系统，其特征在于，所述系统用于实现如权利要求1-7任意一项所述的方法，包括：

图像输入单元：用于获取输入图像，所述输入图像包括第一图像和第二图像；

坐标获取单元：用于获取所述第二图像中预设区域的坐标信息；

映射处理单元：用于基于所述坐标信息对所述第一图像进行映射处理，获取所述第一目标图像；

标注处理单元：用于通过对所述第一目标图像进行标注，获取所述第一标注图像；

模型训练单元：用于根据所述第一标注图像和所述第一目标图像对预设分割网络进行训练，所述预设分割网络包括设置有残差网络结构的下采样网络和设置有注意力机制的上采样网络，获取第一分割网络，所述第一分割网络是包括具有残差网络和注意力机制的编码解码结构；

下采样单元：用于通过所述下采样网络对所述第一目标图像进行下采样编码处理，获取下采样图像，所述下采样网络的第一层和最后一层也设置有所述注意力机制；

上采样单元：用于通过所述上采样网络对所述下采样图像进行上采样编码处理，获取输出图像，所述上采样网络也设置有所述残差网络结构。

9.根据权利要求8所述的系统，其特征在于，所述模型训练单元具体包括，

训练单元：用于根据所述第一标注图像和与所述第一标注图像对应的所述第一目标图像对所述预设分割网络进行训练，输出预训练图像；

损失获取单元：用于根据所述预训练图像与所述第一标注图像获取损失函数值；

分割网络获取单元：用于根据所述损失函数优化所述预设分割网络，获取所述第一分割网络。