CN113096132A - 图像处理的方法、装置、存储介质和电子设备 - Google Patents

Abstract

本公开涉及一种图像处理的方法、装置、存储介质和电子设备，该方法包括：获取包括指定部位的待处理图像，将待处理图像输入预先训练的图像处理模型，以得到图像处理模型输出的待处理图像中每个像素与多个标签中每个标签的匹配度，图像处理模型中包括第一特征提取网络和第二特征提取网络，图像处理模型用于根据第一特征提取网络提取的深层特征图，和第二特征提取网络提取的浅层特征图，确定待处理图像中每个像素与每个标签的匹配度，根据待处理图像中每个像素与每个标签的匹配度，对待处理图像进行划分，以得到待处理图像中每个标签对应的目标区域。本公开能够准确识别待处理图像中不同标签对应的区域，提高划分后的待处理图像的空间分辨率。

Description

图像处理的方法、装置、存储介质和电子设备

技术领域

本公开涉及图像处理技术领域，具体地，涉及一种图像处理的方法、装置、存储介质和电子设备。

背景技术

肝肿瘤是全世界范围致死率最高的疾病之一，肝肿瘤的早期诊断可以极大的降低患者的死亡率，基于CT(英文：Computed Tomography，中文：计算机断层扫描)图像进行诊断已经成为肝肿瘤诊断的重要手段之一。肝肿瘤可能会出现在肝脏的任意位置，并且可能会存在多个肿瘤，还可能会有微小肿瘤或结节，为了降低医生出现漏诊的风险，CT设备通常会采用图像分割技术，来自动识别和分割CT图像中的异常病灶。现有技术中，CT设备所采用的图像分割技术对于微小肝肿瘤和结节识别的准确度低，所获取的分割图像的空间分辨率较低，并且，腹部CT图像中含有肝脏、脾脏和胰脏等多种器官和组织，可能会将脾脏和胰脏等背景图像错误地识别为肝脏图像，导致无法准确地识别和分割图像中的肝肿瘤或结节。

发明内容

为了解决现有技术中存在的问题，本公开的目的是提供一种图像处理的方法、装置、存储介质和电子设备。

为了实现上述目的，根据本公开实施例的第一方面，提供一种图像处理的方法，所述方法包括：

获取包括指定部位的待处理图像；

将所述待处理图像输入预先训练的图像处理模型，以得到所述图像处理模型输出的所述待处理图像中每个像素与多个标签中每个所述标签的匹配度，所述图像处理模型中包括第一特征提取网络和第二特征提取网络，所述第一特征提取网络包括第一卷积层和扩张卷积池化层，所述第二特征提取网络包括第二卷积层和特征复用卷积层，所述图像处理模型用于根据所述第一特征提取网络提取的所述待处理图像的深层特征图，和所述第二特征提取网络提取的所述待处理图像的浅层特征图，确定所述待处理图像中每个像素与每个所述标签的匹配度；

根据所述待处理图像中每个像素与每个所述标签的匹配度，对所述待处理图像进行划分，以得到所述待处理图像中每个所述标签对应的目标区域。

可选地，所述将所述待处理图像输入预先训练的图像处理模型，以得到所述图像处理模型输出的所述待处理图像中每个像素与多个标签中每个所述标签的匹配度，包括：

将所述待处理图像输入所述第一特征提取网络，以提取所述深层特征图，并将所述待处理图像输入所述第二特征提取网络，以提取所述浅层特征图；

将所述深层特征图和所述浅层特征图在通道方向上进行拼接，以得到总特征图；

将所述总特征图输入所述图像处理模型的1×1卷积层，以得到所述待处理图像中每个像素与每个所述标签的匹配度，所述1×1卷积层的输出通道的数量与所述多个标签的数量相同。

可选地，所述将所述待处理图像输入所述第一特征提取网络，以提取所述深层特征图，包括：

将所述待处理图像输入所述第一卷积层，以得到所述第一卷积层输出的第一深层特征图，所述第一卷积层为ResNet中的卷积层；

将所述第一深层特征图输入所述扩张卷积池化层，以得到所述扩张卷积池化层输出的第二深层特征图；

对所述第二深层特征图进行双线性插值放大，以得到所述深层特征图。

可选地，所述将所述待处理图像输入所述第二特征提取网络，以提取所述浅层特征图，包括：

将所述待处理图像输入所述第二卷积层，以得到所述第二卷积层输出的第一浅层特征图；

将所述第一浅层特征图输入所述特征复用卷积层，以得到所述特征复用卷积层输出的所述浅层特征图。

可选地，所述特征复用卷积层为N个，N为大于3的正整数，所述将所述第一浅层特征图输入所述特征复用卷积层，以得到所述特征复用卷积层输出的所述浅层特征图，包括：

将第n-1个所述特征复用卷积层的输入，和第n-1个所述特征复用卷积层的输出进行拼接，并将拼接结果输入第n个所述特征复用卷积层，以得到第n个所述特征复用卷积层输出的特征图，1<n≤N，且n为正整数，第1个所述特征复用卷积层的输入为所述第一浅层特征图；

将全部所述特征复用卷积层的输出进行拼接，以得到所述浅层特征图。

可选地，N个所述特征复用卷积层之间密集连接，且第n个所述特征复用卷积层的扩张倍率，大于第n-1个所述特征复用卷积层的扩张倍率。

可选地，所述图像处理模型是通过如下方式训练的：

获取样本输入集和样本输出集，所述样本输入集中的每个样本输入包括样本图像，所述样本图像包括所述指定部位，所述样本输出集中包括与每个所述样本输入对应的样本输出，每个所述样本输出包括对应的所述样本图像所标注的标签；

将所述样本输入集作为所述图像处理模型的输入，将所述样本输出集作为所述图像处理模型的输出，以训练所述图像处理模型。

根据本公开实施例的第二方面，提供一种图像处理的装置，所述装置包括：

获取模块，用于获取包括指定部位的待处理图像；

处理模块，用于将所述待处理图像输入预先训练的图像处理模型，以得到所述图像处理模型输出的所述待处理图像中每个像素与多个标签中每个所述标签的匹配度，所述图像处理模型中包括第一特征提取网络和第二特征提取网络，所述第一特征提取网络包括第一卷积层和扩张卷积池化层，所述第二特征提取网络包括第二卷积层和特征复用卷积层，所述图像处理模型用于根据所述第一特征提取网络提取的所述待处理图像的深层特征图，和所述第二特征提取网络提取的所述待处理图像的浅层特征图，确定所述待处理图像中每个像素与每个所述标签的匹配度；

所述处理模块，还用于根据所述待处理图像中每个像素与每个所述标签的匹配度，对所述待处理图像进行划分，以得到所述待处理图像中每个所述标签对应的目标区域。

可选地，所述处理模块包括：

提取子模块，用于将所述待处理图像输入所述第一特征提取网络，以提取所述深层特征图，并将所述待处理图像输入所述第二特征提取网络，以提取所述浅层特征图；

拼接子模块，用于将所述深层特征图和所述浅层特征图在通道方向上进行拼接，以得到总特征图；

获取子模块，用于将所述总特征图输入所述图像处理模型的1×1卷积层，以得到所述待处理图像中每个像素与每个所述标签的匹配度，所述1×1卷积层的输出通道的数量与所述多个标签的数量相同。

可选地，所述提取子模块用于：

将所述待处理图像输入所述第一卷积层，以得到所述第一卷积层输出的第一深层特征图，所述第一卷积层为ResNet中的卷积层；

将所述第一深层特征图输入所述扩张卷积池化层，以得到所述扩张卷积池化层输出的第二深层特征图；

对所述第二深层特征图进行双线性插值放大，以得到所述深层特征图。

可选地，所述提取子模块用于：

将所述待处理图像输入所述第二卷积层，以得到所述第二卷积层输出的第一浅层特征图；

将所述第一浅层特征图输入所述特征复用卷积层，以得到所述特征复用卷积层输出的所述浅层特征图。

可选地，所述特征复用卷积层为N个，N为大于3的正整数，所述提取子模块用于：

将第n-1个所述特征复用卷积层的输入，和第n-1个所述特征复用卷积层的输出进行拼接，并将拼接结果输入第n个所述特征复用卷积层，以得到第n个所述特征复用卷积层输出的特征图，1<n≤N，且n为正整数，第1个所述特征复用卷积层的输入为所述第一浅层特征图；

将全部所述特征复用卷积层的输出进行拼接，以得到所述浅层特征图。

可选地，N个所述特征复用卷积层之间密集连接，且第n个所述特征复用卷积层的扩张倍率，大于第n-1个所述特征复用卷积层的扩张倍率。

可选地，所述图像处理模型是通过如下方式训练的：

获取样本输入集和样本输出集，所述样本输入集中的每个样本输入包括样本图像，所述样本图像包括所述指定部位，所述样本输出集中包括与每个所述样本输入对应的样本输出，每个所述样本输出包括对应的所述样本图像所标注的标签；

将所述样本输入集作为所述图像处理模型的输入，将所述样本输出集作为所述图像处理模型的输出，以训练所述图像处理模型。

根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述方法的步骤。

根据本公开实施例的第四方面，提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面所述方法的步骤。

通过上述技术方案，本公开首先通过获取包括指定部位的待处理图像，并将待处理图像输入预先训练的图像处理模型，以得到图像处理模型输出的待处理图像中每个像素与多个标签中每个标签的匹配度，其中，图像处理模型中包括第一特征提取网络和第二特征提取网络，第一特征提取网络包括第一卷积层和扩张卷积池化层，第二特征提取网络包括第二卷积层和特征复用卷积层，图像处理模型用于根据第一特征提取网络提取的待处理图像的深层特征图，和第二特征提取网络提取的待处理图像的浅层特征图，确定待处理图像中每个像素与每个标签的匹配度，之后根据待处理图像中每个像素与每个标签的匹配度，对待处理图像进行划分，以得到待处理图像中每个标签对应的目标区域。本公开通过第一特征提取网络提取的深层特征图，通过第二特征提取网络提取的浅层特征图，对待处理图像进行划分，能够准确识别待处理图像中不同标签对应的区域，提高划分后的待处理图像的空间分辨率。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的一种图像处理的方法的流程图；

图2是根据一示例性实施例示出的一种图像处理的方法的效果图；

图3是图1所示实施例示出的一种步骤102的流程图；

图4是图1所示实施例示出的一种图像处理模型的示意图；

图5是图1所示实施例示出的一种特征复用卷积层的示意图；

图6是图1所示实施例示出的一种特征复用卷积层的连接示意图；

图7是根据一示例性实施例示出的一种训练图像处理模型的流程图；

图8是根据一示例性实施例示出的一种图像处理的装置的框图；

图9是图8所示实施例示出的一种处理模块的框图；

图10是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种图像处理的方法的流程图。如图1所示，该方法包括以下步骤：

步骤101，获取包括指定部位的待处理图像。

示例的，医生在诊断肿瘤患者的病情时，需要获取肿瘤图像(例如：肝肿瘤图像，或脑部肿瘤图像)，来诊断病灶，从而为病人提供有效的治疗方案。为了使医生能够准确地获知肿瘤的相关信息(例如肿瘤的体积和轮廓等)，可以利用双路神经网络，对肿瘤图像进行划分，以识别和分割肿瘤图像中的肝肿瘤或结节。例如，首先可以获取包括指定部位(例如头部、腹部等部位)的待处理图像，其中，待处理图像可以是CT图像、MRI(英文：MagneticResonance Imaging，中文：磁共振成像)图像等医疗中使用的图像，本公开对此不作具体限定。

步骤102，将待处理图像输入预先训练的图像处理模型，以得到图像处理模型输出的待处理图像中每个像素与多个标签中每个标签的匹配度，图像处理模型中包括第一特征提取网络和第二特征提取网络，第一特征提取网络包括第一卷积层和扩张卷积池化层，第二特征提取网络包括第二卷积层和特征复用卷积层，图像处理模型用于根据第一特征提取网络提取的待处理图像的深层特征图，和第二特征提取网络提取的待处理图像的浅层特征图，确定待处理图像中每个像素与每个标签的匹配度。

举例来说，获取待处理图像后，可以将待处理图像输入预先训练的图像处理模型，其中，图像处理模型可以是根据预先设置的样本输入集和样本输出集训练得到的双路神经网络。图像处理模型中包括了第一特征提取网络和第二特征提取网络，其中，第一特征提取网络包括第一卷积层和扩张卷积池化层，第二特征提取网络包括第二卷积层和特征复用卷积层。图像处理模型通过第一特征提取网络提取待处理图像的深层特征图，深层特征图包含了待处理图像的深层特征，深层特征反映了待处理图像的高维特征和抽象特征，用于对待处理图像进行分类和识别。同时，图像处理模型还通过第二特征提取网络提取待处理图像的浅层特征图，浅层特征图包含了待处理图像的浅层特征，浅层特征反映了待处理图像的空间结构和形状细节。可以理解为，图像处理模型通过两路特征提取网络分别提取待处理图像的深层特征和浅层特征。

之后图像处理模型根据深层特征图和浅层特征图确定待处理图像中每个像素与多个标签中每个标签的匹配度，匹配度与标签是一一对应的，匹配度可以是逻辑回归参数logits。其中，多个标签可以包括：正常标签、异常标签和背景标签，正常标签用于指示某个像素属于正常区域(即该像素所包含的内容不属于肿瘤或结节)，异常标签用于指示某个像素属于异常区域(即该像素所包含的内容属于肿瘤或结节)，背景标签用于指示某个像素属于其它区域(即指示某个像素属于待处理图像中除正常区域和异常区域外的区域)。标注正常标签的所有像素组成正常区域，标注异常标签的所有像素组成异常区域，标注背景标签的所有像素组成其他区域。进一步的，正常标签和背景标签可以为同一标签，即多个标签可以只包括：背景标签和异常标签，此时，异常标签用于指示某个像素属于异常区域(即该像素所包含的内容属于肿瘤或结节)，背景标签用于指示某个像素属于待处理图像中除异常区域外的区域。图像处理模型确定待处理图像中每个像素与每个标签的匹配度的方式可以是：将深层特征图和浅层特征图以通道拼接的方式融合，以得到包括两组特征的总特征图，之后对总特征图进行处理，以得到待处理图像中的每个像素与每个标签的匹配度。

步骤103，根据待处理图像中每个像素与每个标签的匹配度，对待处理图像进行划分，以得到待处理图像中每个标签对应的目标区域。

具体的，标签的匹配度可以理解为每个像素被标注为该标签的概率，匹配度越高，该像素越有可能被标注为该标签，匹配度越低，该像素越不可能被标注为该标签。在得到图像处理模型输出的待处理图像中每个像素与多个标签中每个标签的匹配度后，可以将待处理图像中每个像素与每个标签的匹配度，输入到预设函数，以确定每个像素对应的坐标和目标标签(目标标签为每个像素与多个标签中匹配度最高的标签)，其中，预设函数例如可以是argmax(英文：arguments of the maxima，中文：最大值自变量点集)函数。之后根据每个像素对应的坐标和目标标签，对待处理图像中的每个像素进行划分，以得到待处理图像中每个标签对应的目标区域，即获取每个待处理图像中正常标签所标注的正常区域、异常标签所标注的异常区域和背景标签所标注的其它区域。例如，待处理图像为肝脏图像时，正常区域用于表示正常的肝脏，异常区域用于表示肿瘤和结节，其他区域表示待处理图像中除肝脏、肿瘤和结节外的其它部分(例如脾脏和胰脏等多种器官和组织)。

需要说明的是，本公开中的第一特征提取网络和第二特征提取网络采用并联结构，即在通道方向上拼接的深层特征图和浅层特征图为并联结构，相比于深层特征图和浅层特征图都采用密集连接，能降低对内存的需求、对硬件计算能力的要求，还能降低过拟合发生的概率。并且，可以有效地利用待处理图像的深层特征图和浅层特征图，对待处理图像进行划分，能够提高划分后的待处理图像的空间分辨率，并准确识别和分割待处理图像中的肝肿瘤或结节。例如，可以将待处理图像中被标注为正常标签的像素渲染为灰色，将被标注为异常标签的像素渲染为白色，将被标注为背景标签的像素渲染为黑色，如图2所示，图2中的(a)的左图为待处理图像，图2中的(a)的右图为划分后的待处理图像(显示了肝脏分割图像和3个肿瘤分割图像)，图2中的(b)的左图为待处理图像，图2中的(b)的右图为划分后的待处理图像(显示了肝脏分割图像和单个肿瘤分割图像)，图2中的(c)的左图为待处理图像，图2中的(c)的右图为划分后的待处理图像(显示了肝脏分割图像和多个肿瘤分割图像)，图2中的(d)的左图为待处理图像，图2中的(d)的右图为划分后的待处理图像(显示了肝脏分割图像和单个肿瘤分割图像)。

综上所述，本公开首先通过获取包括指定部位的待处理图像，并将待处理图像输入预先训练的图像处理模型，以得到图像处理模型输出的待处理图像中每个像素与多个标签中每个标签的匹配度，其中，图像处理模型中包括第一特征提取网络和第二特征提取网络，第一特征提取网络包括第一卷积层和扩张卷积池化层，第二特征提取网络包括第二卷积层和特征复用卷积层，图像处理模型用于根据第一特征提取网络提取的待处理图像的深层特征图，和第二特征提取网络提取的待处理图像的浅层特征图，确定待处理图像中每个像素与每个标签的匹配度，之后根据待处理图像中每个像素与每个标签的匹配度，对待处理图像进行划分，以得到待处理图像中每个标签对应的目标区域。本公开通过第一特征提取网络提取的深层特征图，通过第二特征提取网络提取的浅层特征图，对待处理图像进行划分，能够准确识别待处理图像中不同标签对应的区域，提高划分后的待处理图像的空间分辨率。

图3是图1所示实施例示出的一种步骤102的流程图。如图3所示，步骤102包括以下步骤：

步骤1021，将待处理图像输入第一特征提取网络，以提取深层特征图，并将待处理图像输入第二特征提取网络，以提取浅层特征图。

举例来说，获取待处理图像后，可以将待处理图像输入第一特征提取网络，以提取深层特征图，并将待处理图像输入第二特征提取网络，以提取浅层特征图。将待处理图像输入第一特征提取网络，以提取深层特征图的方式可以是：首先将待处理图像输入第一卷积层，以得到第一卷积层输出的第一深层特征图。之后将第一深层特征图输入扩张卷积池化层，以得到扩张卷积池化层输出的第二深层特征图。最后对第二深层特征图进行双线性插值放大，以得到深层特征图。其中，第一卷积层可以为ResNet(英文：Residual Network，中文：残差网络)中的卷积层，例如第一卷积层可以为ResNet-50，ResNet-101，和ResNet-152三种结构的ResNet主干，该ResNet主干指的是不含全局平均池化层(英文：global averagepooling layer)和不含全连接层的ResNet，第一卷积层还可以为DenseNet(英文：DenseConvolutional Network)等神经网络中的卷积层，本公开对此不作具体限定。将待处理图像输入第二特征提取网络，以提取浅层特征图的方式可以是：首先将待处理图像输入第二卷积层，以得到第二卷积层输出的第一浅层特征图。之后将第一浅层特征图输入特征复用卷积层，以得到特征复用卷积层输出的浅层特征图，其中，第二卷积层可以为7×7卷积层。

步骤1022，将深层特征图和浅层特征图在通道方向上进行拼接，以得到总特征图。

步骤1023，将总特征图输入图像处理模型的1×1卷积层，以得到待处理图像中每个像素与每个标签的匹配度，1×1卷积层的输出通道的数量与多个标签的数量相同。

进一步的，在提取到深层特征图和浅层特征图后，可以将深层特征图和浅层特征图在通道方向上进行拼接，以得到总特征图。之后将总特征图输入图像处理模型的1×1卷积层，并通过1×1卷积层的多个输出通道输出待处理图像中每个像素的分类结果，即待处理图像中每个像素与每个标签的匹配度。其中，1×1卷积层的输出通道的数量与多个标签的数量相同，可以理解为，1×1卷积层的每个输出通道都对应一个标签，在将总特征图输入图像处理模型的1×1卷积层后，1×1卷积层的每个输出通道都会为待处理图像中每个像素输出一个与该输出通道对应的标签的匹配度。

以待处理图像为512×512的CT肝脏图像，第一卷积层为ResNet主干，第二卷积层为7×7卷积层，第一特征提取网络输出张量流的通道数设定为第二特征提取网络输出张量流的通道数的两倍为例来进行说明。图像处理模型的结构如图4所示，为了获取深层特征图和浅层特征图，首先可以将待处理图像复制为3通道512×512×3的张量，并分别输入到ResNet主干和7×7卷积层，ResNet主干输出张量为32×32×2048的第一深层特征图。之后将第一深层特征图输入扩张卷积池化层，扩张卷积池化层输出张量为32×32×64的第二深层特征图，并对第二深层特征图进行双线性插值放大，以得到张量为512×512×64的深层特征图。同时，7×7卷积层输出张量为512×512×48的第一浅层特征图(7×7卷积层中包含有144个卷积核)，并将第一浅层特征图输入特征复用卷积层，特征复用卷积层输出张量为512×512×32的浅层特征图。之后将512×512×64的深层特征图和512×512×32的浅层特征图在通道方向上进行拼接，以获取张量为512×512×96的总特征图，并将总特征图输入1×1卷积层，1×1卷积层输出为3通道512×512×3的张量，即为待处理图像中512×512个像素中每个像素分别与正常标签、异常标签和背景标签的匹配度。

需要说明的是，为例降低内存负载，提高图像处理的速度，可以增加第二卷积层的stride(即步长)。例如，当第二卷积层的步长为2时，浅层特征图比待处理图像缩小一倍，可以在深层特征图和浅层特征图在通道方向上拼接，并输入1×1卷积层后，将1×1卷积层输出的总特征图利用双线性插值放大的方式放大一倍，使总特征图和待处理图像的长、宽相同。

进一步的，特征复用卷积层为N个，N为大于3的正整数，N个特征复用卷积层之间密集连接，且第n个特征复用卷积层的扩张倍率，大于第n-1个特征复用卷积层的扩张倍率。

将第一浅层特征图输入特征复用卷积层，以得到特征复用卷积层输出的浅层特征图可以通过以下方式实现：

首先，将第n-1个特征复用卷积层的输入，和第n-1个特征复用卷积层的输出进行拼接，并将拼接结果输入第n个特征复用卷积层，以得到第n个特征复用卷积层输出的特征图，1<n≤N，且n为正整数，第1个特征复用卷积层的输入为第一浅层特征图。

其次，将全部特征复用卷积层的输出进行拼接，以得到浅层特征图。

具体的，特征复用卷积层的数量大于或等于3，多个特征复用卷积层可以构成特征复用金字塔模块，第n-1个特征复用卷积层的输入，和第n-1个特征复用卷积层的输出通过通道进行拼接，并将拼接结果输入第n个特征复用卷积层，特征复用金字塔模块的输出为所有特征复用卷积层输出的特征图在通道方向拼接后输出的浅层特征图。特征复用层之间通过密集连接以实现特征复用，特征复用卷积层可以对接收到的特征图依次进行Batchnormalization(中文：批量标准化，缩写：BN)、Relu(英文：Rectified Linear Unit，中文：线性整流函数)、扩张卷积和Dropout运算，如图5所示。其中，每个特征复用层的扩张卷积的扩张倍率(英文：dilation rate)逐层增加，呈金字塔形结构，通过使每个特征复用层的扩张卷积的扩张倍率不同，可以获取待处理图像不同尺度的空间结构特征图，能够提高对待处理图像的划分精度和泛化性能。

以特征复用卷积层为4个，每个特征复用卷积层中扩张卷积的卷积核为7×7卷积核，输出通道为8，4个特征复用卷积层的扩张卷积的扩张倍率分别为1、8、16、32，Dropoutrate(即Dropout的比率)为0.2为例进行说明。如图6所示(图6中的Concatenate为拼接)，将张量为512×512×48的第一浅层特征图输入第1个特征复用卷积层，第1个特征复用卷积层输出512×512×8的张量，之后将该张量与第一浅层特征图(即第1个特征复用卷积层输入的张量)进行拼接得到张量为512×512×56的第一特征图，作为第2个特征复用卷积层的输入，以此类推。最后将4个特征复用卷积层的输出进行拼接，以得到张量为512×512×32的浅层特征图。

图7是根据一示例性实施例示出的一种训练图像处理模型的流程图。如图7所示，图像处理模型是通过如下方式训练的：

步骤104，获取样本输入集和样本输出集，样本输入集中的每个样本输入包括样本图像，样本图像包括指定部位，样本输出集中包括与每个样本输入对应的样本输出，每个样本输出包括对应的样本图像所标注的标签。

步骤105，将样本输入集作为图像处理模型的输入，将样本输出集作为图像处理模型的输出，以训练图像处理模型。

示例的，在构建好图像处理模型后，可以获取预先设置的样本输入集和样本输出集，其中，样本输入集中的每个样本输入包括样本图像，样本图像包括指定部位，样本输出集中包括与每个样本输入对应的样本输出，每个样本输出包括对应的样本图像所标注的标签。之后将样本输入集作为图像处理模型的输入，将样本输出集作为图像处理模型的输出，来对图像处理模型中的参数进行训练(参数可以包括卷积核，加权系数和偏置等)，以使图像处理模型能够在输入任一样本图像时，输出的样本图像中每个像素与多个标签的匹配度，与该样本图像所标注的标签匹配，即图像处理模型输出的每个像素与多个标签中匹配度最高的标签，与该像素所标注的标签相同。在图像处理模型训练完成后，用训练好的图像处理模型对待处理图像来进行图像处理。例如，可以获取医院在一段时间内所使用的多张肿瘤图像，将每张肿瘤图像作为样本图像(即将多张肿瘤图像作为样本输入集)，再通过人工标注的方式对获取到的多张肿瘤图像进行标注，分别标注出每张肿瘤图像中的正常区域、异常区域和其他区域，最后将标注后的多张肿瘤图像作为样本输出集。

综上所述，本公开首先通过获取包括指定部位的待处理图像，并将待处理图像输入预先训练的图像处理模型，以得到图像处理模型输出的待处理图像中每个像素与多个标签中每个标签的匹配度，其中，图像处理模型中包括第一特征提取网络和第二特征提取网络，第一特征提取网络包括第一卷积层和扩张卷积池化层，第二特征提取网络包括第二卷积层和特征复用卷积层，图像处理模型用于根据第一特征提取网络提取的待处理图像的深层特征图，和第二特征提取网络提取的待处理图像的浅层特征图，确定待处理图像中每个像素与每个标签的匹配度，之后根据待处理图像中每个像素与每个标签的匹配度，对待处理图像进行划分，以得到待处理图像中每个标签对应的目标区域。本公开通过第一特征提取网络提取的深层特征图，通过第二特征提取网络提取的浅层特征图，对待处理图像进行划分，能够准确识别待处理图像中不同标签对应的区域，提高划分后的待处理图像的空间分辨率。

图8是根据一示例性实施例示出的一种图像处理的装置的框图。如图8所示，该装置200包括：

获取模块201，用于获取包括指定部位的待处理图像。

处理模块202，用于将待处理图像输入预先训练的图像处理模型，以得到图像处理模型输出的待处理图像中每个像素与多个标签中每个标签的匹配度，图像处理模型中包括第一特征提取网络和第二特征提取网络，第一特征提取网络包括第一卷积层和扩张卷积池化层，第二特征提取网络包括第二卷积层和特征复用卷积层，图像处理模型用于根据第一特征提取网络提取的待处理图像的深层特征图，和第二特征提取网络提取的待处理图像的浅层特征图，确定待处理图像中每个像素与每个标签的匹配度。

处理模块202，还用于根据待处理图像中每个像素与每个标签的匹配度，对待处理图像进行划分，以得到待处理图像中每个标签对应的目标区域。

图9是图8所示实施例示出的一种处理模块的框图。如图9所示，处理模块202包括：

提取子模块2021，用于将待处理图像输入第一特征提取网络，以提取深层特征图，并将待处理图像输入第二特征提取网络，以提取浅层特征图。

拼接子模块2022，用于将深层特征图和浅层特征图在通道方向上进行拼接，以得到总特征图。

获取子模块2023，用于根据总特征图输入图像处理模型的1×1卷积层，以得到待处理图像中每个像素与每个标签的匹配度，1×1卷积层的输出通道的数量与多个标签的数量相同。

可选地，提取子模块2021用于：

将待处理图像输入第一卷积层，以得到第一卷积层输出的第一深层特征图，第一卷积层为ResNet中的卷积层。

将第一深层特征图输入扩张卷积池化层，以得到扩张卷积池化层输出的第二深层特征图。

对第二深层特征图进行双线性插值放大，以得到深层特征图。

可选地，提取子模块2021用于：

将待处理图像输入第二卷积层，以得到第二卷积层输出的第一浅层特征图。

将第一浅层特征图输入特征复用卷积层，以得到特征复用卷积层输出的浅层特征图。

可选地，特征复用卷积层为N个，N为大于3的正整数，提取子模块2021用于：

将第n-1个特征复用卷积层的输入，和第n-1个特征复用卷积层的输出进行拼接，并将拼接结果输入第n个特征复用卷积层，以得到第n个特征复用卷积层输出的特征图，1<n≤N，且n为正整数，第1个特征复用卷积层的输入为第一浅层特征图。

将全部特征复用卷积层的输出进行拼接，以得到浅层特征图。

可选地，N个特征复用卷积层之间密集连接，且第n个特征复用卷积层的扩张倍率，大于第n-1个特征复用卷积层的扩张倍率。

可选地，图像处理模型是通过如下方式训练的：

获取样本输入集和样本输出集，样本输入集中的每个样本输入包括样本图像，样本图像包括指定部位，样本输出集中包括与每个样本输入对应的样本输出，每个样本输出包括对应的样本图像所标注的标签。

将样本输入集作为图像处理模型的输入，将样本输出集作为图像处理模型的输出，以训练图像处理模型。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

综上所述，本公开首先通过获取包括指定部位的待处理图像，并将待处理图像输入预先训练的图像处理模型，以得到图像处理模型输出的待处理图像中每个像素与多个标签中每个标签的匹配度，其中，图像处理模型中包括第一特征提取网络和第二特征提取网络，第一特征提取网络包括第一卷积层和扩张卷积池化层，第二特征提取网络包括第二卷积层和特征复用卷积层，图像处理模型用于根据第一特征提取网络提取的待处理图像的深层特征图，和第二特征提取网络提取的待处理图像的浅层特征图，确定待处理图像中每个像素与每个标签的匹配度，之后根据待处理图像中每个像素与每个标签的匹配度，对待处理图像进行划分，以得到待处理图像中每个标签对应的目标区域。本公开通过第一特征提取网络提取的深层特征图，通过第二特征提取网络提取的浅层特征图，对待处理图像进行划分，能够准确识别待处理图像中不同标签对应的区域，提高划分后的待处理图像的空间分辨率。

图10是根据一示例性实施例示出的一种电子设备700的框图。如图10所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。

其中，处理器701用于控制该电子设备700的整体操作，以完成上述的图像处理的方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。

在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的图像处理的方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的图像处理的方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的图像处理的方法。

综上所述，本公开首先通过获取包括指定部位的待处理图像，并将待处理图像输入预先训练的图像处理模型，以得到图像处理模型输出的待处理图像中每个像素与多个标签中每个标签的匹配度，其中，图像处理模型中包括第一特征提取网络和第二特征提取网络，第一特征提取网络包括第一卷积层和扩张卷积池化层，第二特征提取网络包括第二卷积层和特征复用卷积层，图像处理模型用于根据第一特征提取网络提取的待处理图像的深层特征图，和第二特征提取网络提取的待处理图像的浅层特征图，确定待处理图像中每个像素与每个标签的匹配度，之后根据待处理图像中每个像素与每个标签的匹配度，对待处理图像进行划分，以得到待处理图像中每个标签对应的目标区域。本公开通过第一特征提取网络提取的深层特征图，通过第二特征提取网络提取的浅层特征图，对待处理图像进行划分，能够准确识别待处理图像中不同标签对应的区域，提高划分后的待处理图像的空间分辨率。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种图像处理的方法，其特征在于，所述方法包括：

获取包括指定部位的待处理图像；

将所述待处理图像输入预先训练的图像处理模型，以得到所述图像处理模型输出的所述待处理图像中每个像素与多个标签中每个所述标签的匹配度，所述图像处理模型中包括第一特征提取网络和第二特征提取网络，所述第一特征提取网络包括第一卷积层和扩张卷积池化层，所述第二特征提取网络包括第二卷积层和特征复用卷积层，所述图像处理模型用于根据所述第一特征提取网络提取的所述待处理图像的深层特征图，和所述第二特征提取网络提取的所述待处理图像的浅层特征图，确定所述待处理图像中每个像素与每个所述标签的匹配度；

根据所述待处理图像中每个像素与每个所述标签的匹配度，对所述待处理图像进行划分，以得到所述待处理图像中每个所述标签对应的目标区域。

2.根据权利要求1所述的方法，其特征在于，所述将所述待处理图像输入预先训练的图像处理模型，以得到所述图像处理模型输出的所述待处理图像中每个像素与多个标签中每个所述标签的匹配度，包括：

将所述待处理图像输入所述第一特征提取网络，以提取所述深层特征图，并将所述待处理图像输入所述第二特征提取网络，以提取所述浅层特征图；

将所述深层特征图和所述浅层特征图在通道方向上进行拼接，以得到总特征图；

将所述总特征图输入所述图像处理模型的1×1卷积层，以得到所述待处理图像中每个像素与每个所述标签的匹配度，所述1×1卷积层的输出通道的数量与所述多个标签的数量相同。

3.根据权利要求2所述的方法，其特征在于，所述将所述待处理图像输入所述第一特征提取网络，以提取所述深层特征图，包括：

将所述待处理图像输入所述第一卷积层，以得到所述第一卷积层输出的第一深层特征图，所述第一卷积层为ResNet中的卷积层；

将所述第一深层特征图输入所述扩张卷积池化层，以得到所述扩张卷积池化层输出的第二深层特征图；

对所述第二深层特征图进行双线性插值放大，以得到所述深层特征图。

4.根据权利要求2所述的方法，其特征在于，所述将所述待处理图像输入所述第二特征提取网络，以提取所述浅层特征图，包括：

将所述待处理图像输入所述第二卷积层，以得到所述第二卷积层输出的第一浅层特征图；

将所述第一浅层特征图输入所述特征复用卷积层，以得到所述特征复用卷积层输出的所述浅层特征图。

5.根据权利要求4所述的方法，其特征在于，所述特征复用卷积层为N个，N为大于3的正整数，所述将所述第一浅层特征图输入所述特征复用卷积层，以得到所述特征复用卷积层输出的所述浅层特征图，包括：

将第n-1个所述特征复用卷积层的输入，和第n-1个所述特征复用卷积层的输出进行拼接，并将拼接结果输入第n个所述特征复用卷积层，以得到第n个所述特征复用卷积层输出的特征图，1<n≤N，且n为正整数，第1个所述特征复用卷积层的输入为所述第一浅层特征图；

将全部所述特征复用卷积层的输出进行拼接，以得到所述浅层特征图。

6.根据权利要求5所述的方法，其特征在于，N个所述特征复用卷积层之间密集连接，且第n个所述特征复用卷积层的扩张倍率，大于第n-1个所述特征复用卷积层的扩张倍率。

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述图像处理模型是通过如下方式训练的：

获取样本输入集和样本输出集，所述样本输入集中的每个样本输入包括样本图像，所述样本图像包括所述指定部位，所述样本输出集中包括与每个所述样本输入对应的样本输出，每个所述样本输出包括对应的所述样本图像所标注的标签；

将所述样本输入集作为所述图像处理模型的输入，将所述样本输出集作为所述图像处理模型的输出，以训练所述图像处理模型。

8.一种图像处理的装置，其特征在于，所述装置包括：

获取模块，用于获取包括指定部位的待处理图像；

处理模块，用于将所述待处理图像输入预先训练的图像处理模型，以得到所述图像处理模型输出的所述待处理图像中每个像素与多个标签中每个所述标签的匹配度，所述图像处理模型中包括第一特征提取网络和第二特征提取网络，所述第一特征提取网络包括第一卷积层和扩张卷积池化层，所述第二特征提取网络包括第二卷积层和特征复用卷积层，所述图像处理模型用于根据所述第一特征提取网络提取的所述待处理图像的深层特征图，和所述第二特征提取网络提取的所述待处理图像的浅层特征图，确定所述待处理图像中每个像素与每个所述标签的匹配度；

所述处理模块，还用于根据所述待处理图像中每个像素与每个所述标签的匹配度，对所述待处理图像进行划分，以得到所述待处理图像中每个所述标签对应的目标区域。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。

Images