CN113269794A - 一种图像区域分割方法、装置、终端设备及存储介质 - Google Patents

Abstract

本发明公开了一种图像区域分割方法、装置、终端设备及存储介质，包括：获取待分割图像；将所述待分割图像输入到预先建立的深度残差模型，得到所述待分割图像的特征图像；将所述待分割图像的特征图像作为一预先建立的金字塔场景分割模型的输入，通过所述金字塔场景分割模型将局部和全局的语境信息进行融合，以输出区域分割预测结果。本发明提高了图像区域分割的准确度，大大降低了现有技术中依赖人工经验带来的出错率。

Description

一种图像区域分割方法、装置、终端设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像区域分割方法、装置、终端设备及存储介质。

背景技术

在医学图像处理领域，图像分割技术对于医生了解肿块的形态、大小等重要特性扮演非常重要的角色。目前在膀胱癌诊断、治疗、随访中都需要依赖膀胱镜。膀胱镜是一种内镜，将膀胱内的情况实时显示出来，让医师对膀胱内病变有个直观的判断。所以，这种技术本身存在一定主观性和经验依赖性。传统膀胱镜通过人工判读，诊断膀胱癌的准确性不高，容易导致膀胱癌漏诊。同样，对于需行经尿道膀胱肿瘤电切术的患者，膀胱肿瘤的边界、侵袭深度决定了手术范围。然而，通过人工辨认肿瘤边界、深度存在明显经验依赖性，准确性不高，在一定程度上无法完整切除肿瘤，导致膀胱癌术后早期复发率高。

目前，数字病理全切片是通过专用的扫描成像系统将病理切片转换为可供计算机显示、传输及处理的高倍率大规模数字图像。随着数字病理图像成像技术不断成熟，基于数字病理图像的计算机辅助诊断方法发展迅速。现有技术中，通常采用灰度直方图的方式从病理图像提取中癌变部位的图像数据。但由于大多数病理图像中不存在明显的灰度差异和颜色差异，因此利用灰度直方图的方式无法准确地用于病理分析，且当图像处理时仅考虑了灰度信息，忽略了图像中的空间信息，这样会导致图像处理得到的结果与实际结果偏差较大。

发明内容

本发明实施例提供一种图像区域分割方法、装置、终端设备及存储介质，能有效解决现有技术中对于不存在明显的灰度差异的图像难以准确分割区域的问题。

本发明一实施例提供一种图像区域分割方法，包括：

获取待分割图像；

将所述待分割图像输入到预先建立的深度残差模型，得到所述待分割图像的特征图像；

将所述待分割图像的特征图像作为一预先建立的金字塔场景分割模型的输入，通过所述金字塔场景分割模型将局部和全局的语境信息进行融合，以输出区域分割预测结果。

作为上述方案的改进，所述深度残差模型由23个残差模块构成，每个所述残差模块包括依次相连的卷积核为1的第一卷积层、卷积核为1的第二卷积层以及卷积核为3的第三卷积层。

作为上述方案的改进，所述金字塔场景分割模型包括输入层、四个不同的卷积池化层、上采样层、串联层、第四卷积层和输出层，所述输入层的输入端与所述深度残差模型中第三卷积层的输出端连接，所述输入层的输出端分别与四个所述卷积池化层的输入端连接，所述卷积池化层的输出端均与所述上采样层的输入端连接，所述上采样层的输出端、所述输入层的输出端均与所述串联层的输入端连接，所述串联层的输出端与所述第四卷积层的输入端连接，所述第四卷积层的输出端与所述输出层的输入端连接。

作为上述方案的改进，所述将所述待分割图像的特征图像作为一预先建立的金字塔场景分割模型的输入，通过所述金字塔场景分割模型将局部和全局的语境信息进行融合，以输出区域分割预测结果，具体包括：

通过所述卷积池化层对所述深度残差模型输出的所述待分割图像的特征图像进行卷积池化处理，得到不同子区域的特征表达；

将所述不同子区域的特征表达图像与所述特征图像进行融合，形成最终特征表达；

将所述最终特征表达输入到所述第四卷积层，从所述输出层获得像素级预测结果，作为所述区域分割预测结果。

作为上述方案的改进，通过如下步骤建立所述深度残差模型和所述金字塔场景分割模型，具体包括：

根据预先定义的区域特征，对预先采集的图像数据进行区域分割，得到对应各区域的区域分割图像；

将所述区域分割图像划分为训练样本和测试样本；

分别对所述训练样本和所述测试样本进行处理，得到训练图像和测试图像；

采用所述训练图像分别对预设的深度残差网络和金字塔场景解析网络进行训练；

采用所述测试图像分别对训练得到的深度残差网络和金字塔场景解析网络进行测试，获得所述深度残差模型和所述金字塔场景分割模型。

作为上述方案的改进，通过如下步骤处理所述训练样本，具体包括：

以所述训练样本的最短边为参考，将所述训练样本剪裁为正方形，并缩放到第一预设图像尺寸；

将缩放后的图像随机做水平翻转、垂直翻转、预设角度区间内旋转中的一项或多项的操作；

对操作后的图像的通道、宽度和高度进行标准化处理，得到所述训练图像。

作为上述方案的改进，通过如下步骤处理所述测试样本，具体包括：

以所述测试样本的最短边为参考，将所述训练样本剪裁为正方形，并缩放到第二预设图像尺寸；

对缩放后的图像的通道、宽度和高度进行标准化处理，得到所述测试图像。

本发明另一实施例对应提供了一种图像区域分割装置，包括：

图像获取模块，用于获取待分割图像；

特征提取模块，用于将所述待分割图像输入到预先建立的深度残差模型，得到所述待分割图像的特征图像；

区域分割模块，用于将所述待分割图像的特征图像作为一预先建立的金字塔场景分割模型的输入，通过所述金字塔场景分割模型将局部和全局的语境信息进行融合，以输出区域分割预测结果。

本发明另一实施例提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述发明实施例所述的图像区域分割方法。

本发明另一实施例提供了一种存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述发明实施例所述的图像区域分割方法。

与现有技术相比，本发明实施例公开的一种图像区域分割方法、装置、终端设备及存储介质，通过获取待分割图像，进而将所述待分割图像输入到预先建立的深度残差模型，得到所述待分割图像的特征图像，从而将所述待分割图像的特征图像作为一预先建立的金字塔场景分割模型的输入，通过所述金字塔场景分割模型将局部和全局的语境信息进行融合，以输出区域分割预测结果，这样融合了图像中子区域和整个空间的语境信息，能有效解决现有技术中对于不存在明显的灰度差异的图像难以准确分割区域的问题，而且通过深度学习的方式能有效拟合图像特征，提高了图像区域分割的准确度，以及提高了图像处理的效率。本发明可适用于医学图像中病灶区域的分割，大大降低了现有技术中依赖人工经验带来的出错率，且可重复性强。

附图说明

图1是本发明一实施例提供的一种图像区域分割方法的流程示意图；

图2是本发明一实施例提供的图像区域分割方法的具体流程示意图；

图3是本发明一实施例提供的一种图像区域分割装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，是本发明一实施例提供的一种图像区域分割方法的流程示意图，所述方法包括步骤S101至S103。

S101、获取待分割图像。

需要说明的是，本发明所处理的图像尤其针不存在明显的灰度差异、各物体的灰度值范围有较大重叠的黑白图像，同样适用于色彩差异不明确的彩图图像，如类似膀胱镜检图像的医学图像。

S102、将所述待分割图像输入到预先建立的深度残差模型，得到所述待分割图像的特征图像。

在一些实施例中，所述深度残差模型由23个残差模块构成，每个所述残差模块包括依次相连的卷积核为1的第一卷积层、卷积核为1的第二卷积层以及卷积核为3的第三卷积层。

S103、将所述待分割图像的特征图像作为一预先建立的金字塔场景分割模型的输入，通过所述金字塔场景分割模型将局部和全局的语境信息进行融合，以输出区域分割预测结果。

本发明实施例公开的一种图像区域分割方法，通过获取待分割图像，进而将所述待分割图像输入到预先建立的深度残差模型，得到所述待分割图像的特征图像，从而将所述待分割图像的特征图像作为一预先建立的金字塔场景分割模型的输入，通过所述金字塔场景分割模型将局部和全局的语境信息进行融合，以输出区域分割预测结果，这样融合了图像中子区域和整个空间的语境信息，能有效解决现有技术中对于不存在明显的灰度差异的图像难以准确分割区域的问题，而且通过深度学习的方式能有效拟合图像特征，提高了图像区域分割的准确度，以及提高了图像处理的效率。本发明可适用于医学图像中病灶区域的分割，大大降低了现有技术中依赖人工经验带来的出错率，且可重复性强。

在一些实施例中，所述金字塔场景分割模型包括输入层、四个不同的卷积池化层、上采样层、串联层、第四卷积层和输出层，所述输入层的输入端与所述深度残差模型中第三卷积层的输出端连接，所述输入层的输出端分别与四个所述卷积池化层的输入端连接，所述卷积池化层的输出端均与所述上采样层的输入端连接，所述上采样层的输出端、所述输入层的输出端均与所述串联层的输入端连接，所述串联层的输出端与所述第四卷积层的输入端连接，所述第四卷积层的输出端与所述输出层的输入端连接。

在上述实施例的基础上，在一些实施例中，所述将所述待分割图像的特征图像作为一预先建立的金字塔场景分割模型的输入，通过所述金字塔场景分割模型将局部和全局的语境信息进行融合，以输出区域分割预测结果，具体包括：

通过所述卷积池化层对所述深度残差模型输出的所述待分割图像的特征图像进行卷积池化处理，得到不同子区域的特征表达；

将所述不同子区域的特征表达图像与所述特征图像进行融合，形成最终特征表达；

将所述最终特征表达输入到所述第四卷积层，从所述输出层获得像素级预测结果，作为所述区域分割预测结果。

在本实施例中，使用金字塔场景分割模型的四个卷积池化层对待分割图像的特征图像进行处理，得到不同尺寸的特征图像，每种卷积池化中提取的特征对应的的是不同大小的图像区域，由此生成不同子区域的特征表达。进一步，通过上采样层和串联层形成最终特征表达，这样的表达融合了局部和全局的语境信息，即同时考虑了图像中子区域和整体空间的像素点信息，以此能有有效解决现有技术中图像中不存在明显的灰度差异或各物体的灰度值范围有较大重叠的图像分割问题难以得到准确结果的问题。更进一步，第四卷积层的通道数为16，卷积核为1，通过第四卷积层对所输入得最终特征表达的图像进行卷积操作，生成区域分割预测结果，其中，区域分割预测结果中预测图像的每个像素点的值为预测得到的概率值。因此，根据区域分割预测结果的概率值分割区域，可具体为当该概率值超过一定阈值时，判断为目标区域，以进行区域分割。

此外，参见图2，是本发明一实施例提供的图像区域分割方法的具体流程示意图，以膀胱镜检图像为例，将癌症区域视为目标区域。具体的，可先对待处理的膀胱镜检图像作预处理。更具体的，获取膀胱镜检图像，以最短边为参考，将该膀胱镜检图像剪裁为正方形，并缩放到256*256的尺寸，进而作水平翻转、垂直翻转、[-10,10]度范围内的旋转中的一项或多项的处理，以获得金字塔场景分割模型的输入图像。进一步，将处理好的膀胱镜检图像输入深度残差模型，以进行特征提取，获得像素为1*1*2048的特征图像。将该特征图像输入到金字塔场景分割模型的输入层，进而将该特征图像输入到池化层，得到不同尺寸的图像区域。进一步，将该不同尺寸的图像区域输入到四个卷积层进行卷积处理，获得不同子区域的特征表达。将该不同子区域的特征表达依次输入到上采样层和串联层，将该特征表达与金字塔场景分割模型的输入图像进行融合，形成最终特征表达。更进一步，将该膀胱镜检图像的特征表达输入到金字塔场景分割模型的卷积层中进行卷积操作，从输出层得到区域分割预测结果中预测图像的每个像素点的概率值，以此概率值定位识别出该膀胱镜检图像中的癌症区域。因此，本发明可适用于医学图像中病灶区域的分割，大大降低了现有技术中依赖人工经验带来的出错率，且可重复性强，提高了图像中癌症区域定位分割的准确度。

在一些实施例中，通过如下步骤建立所述深度残差模型和所述金字塔场景分割模型，具体包括：

根据预先定义的区域特征，对预先采集的图像数据进行区域分割，得到对应各区域的区域分割图像；

将所述区域分割图像划分为训练样本和测试样本；

分别对所述训练样本和所述测试样本进行处理，得到训练图像和测试图像；

采用所述训练图像分别对预设的深度残差网络和金字塔场景解析网络进行训练；

采用所述测试图像分别对训练得到的深度残差网络和金字塔场景解析网络进行测试，获得所述深度残差模型和所述金字塔场景分割模型。

在本实施例中，根据预先定义的区域特征，识别出预先采集的图像的目标区域，得到对应各区域的区域分割图像。示例性的，以膀胱镜检图像为例，将癌症区域视为目标区域，根据癌症区域的形状、颜色、纹理、空间位置等特征，从膀胱镜检图像中识别并标记出癌症区域。本实施例中的训练过程，具体为将训练图像输入到深度残差网络，以进行特征提取，进而将训练图像对应的特征图像输入到金字塔场景解析网络进行训练，使得金字塔场景解析网络中各层将局部和全局的语境信息进行融合，以输出训练结果。期间，训练过程中可对深度残差网络和金字塔场景解析网络的超参数和损失函数进行调整以及优化。其次，深度残差网络和金字塔场景解析网络如上述实施例中深度残差模型和所述金字塔场景分割模型所述，在此不做重复赘述，训练过程中亦可对神经网络的架构进行调整优化，本发明不对此作出限定。进一步，采用测试图像对训练后的深度残差网络和金字塔场景解析网络进行测试，以进行模型的参数优化等操作，最终生成深度残差模型和金字塔场景分割模型。因此，本发明通过深度学习的方式能有效拟合图像特征，提高了图像区域分割的准确度，以及提高了图像处理的效率，将本发明应用于医学图像的处理，能提高确诊率，避免了人工经验操作带来的误差。

基于上述实施例，在一些实施例中，通过如下步骤处理所述训练样本，具体包括：

以所述训练样本的最短边为参考，将所述训练样本剪裁为正方形，并缩放到第一预设图像尺寸；

将缩放后的图像随机做水平翻转、垂直翻转、预设角度区间内旋转中的一项或多项的操作；

对操作后的图像的通道、宽度和高度进行标准化处理，得到所述训练图像。

在本实施例中，先以最短边为参考，将训练样本剪裁为正方形，并缩放到256*256的尺寸，这样保证了原始的宽高比的同时又满足了网络的输入要求。此外，每次读取训练样本的时候，随机加入水平翻转、垂直翻转、[-10,10]度范围内的旋转中的一项或多项操作，以增加样本的多样性，特别是在多个迭代训练过程中增加更多随机性，从而有效提高深度神经网络的鲁棒性。最后，对训练样本的通道、宽度、高度三个维度分别做均值0.5、标准差0.5的标准化处理，使得图像像素范围在[-1,1]的区间内，做归一化处理，以此生成训练图像。

基于上述实施例，在一些实施例中，通过如下步骤处理所述测试样本，具体包括：

以所述测试样本的最短边为参考，将所述训练样本剪裁为正方形，并缩放到第二预设图像尺寸；

对缩放后的图像的通道、宽度和高度进行标准化处理，得到所述测试图像。

在本实施例中，先以最短边为参考，将测试样本剪裁为正方形，并缩放到256*256的尺寸。由于需保证测试结果的可重复性和一致性，因此不对测试样本做任何的随机变换操作。同样地，最后对测试样本的通道、宽度、高度三个维度分别做均值0.5、标准差0.5的标准化处理，做归一化处理，以此生成测试图像。

参见图3，是本发明一实施例提供的一种图像区域分割装置的结构示意图，所述装置包括：

图像获取模块201，用于获取待分割图像；

特征提取模块202，用于将所述待分割图像输入到预先建立的深度残差模型，得到所述待分割图像的特征图像；

区域分割模块203，用于将所述待分割图像的特征图像作为一预先建立的金字塔场景分割模型的输入，通过所述金字塔场景分割模型将局部和全局的语境信息进行融合，以输出区域分割预测结果。

优选的，该图像区域分割装置可以为用于医学图像的图像分割装置，如用于膀胱镜检图像的图像分割装置，其装置包括：图像获取模块，用于获取膀胱镜检图像；特征提取模块，用于将所述膀胱镜检图像输入到预先建立的深度残差模型，得到所述膀胱镜检图像的特征图像；区域分割模块，用于将所述膀胱镜检图像的特征图像作为一预先建立的金字塔场景分割模型的输入，通过所述金字塔场景分割模型将局部和全局的语境信息进行融合，以输出关于癌症区域的区域分割预测结果。

优选的，所述深度残差模型由23个残差模块构成，每个所述残差模块包括依次相连的卷积核为1的第一卷积层、卷积核为1的第二卷积层以及卷积核为3的第三卷积层。

优选的，所述金字塔场景分割模型包括输入层、四个不同的卷积池化层、上采样层、串联层、第四卷积层和输出层，所述输入层的输入端与所述深度残差模型中第三卷积层的输出端连接，所述输入层的输出端分别与四个所述卷积池化层的输入端连接，所述卷积池化层的输出端均与所述上采样层的输入端连接，所述上采样层的输出端、所述输入层的输出端均与所述串联层的输入端连接，所述串联层的输出端与所述第四卷积层的输入端连接，所述第四卷积层的输出端与所述输出层的输入端连接。

优选的，所述区域分割模块203包括：

卷积池化处理单元，用于通过所述卷积池化层对所述深度残差模型输出的所述待分割图像的特征图像进行卷积池化处理，得到不同子区域的特征表达；

特征融合单元，用于将所述不同子区域的特征表达图像与所述特征图像进行融合，形成最终特征表达；

预测单元，用于将所述最终特征表达输入到所述第四卷积层，从所述输出层获得像素级预测结果，作为所述区域分割预测结果。

优选的，所述装置还包括：

样本获取模块，用于根据预先定义的区域特征，对预先采集的图像数据进行区域分割，得到对应各区域的区域分割图像；

样本分类模块，用于将所述区域分割图像划分为训练样本和测试样本；

样本处理模块，用于分别对所述训练样本和所述测试样本进行处理，得到训练图像和测试图像；

训练模块，用于采用所述训练图像分别对预设的深度残差网络和金字塔场景解析网络进行训练；

测试模块，用于采用所述测试图像分别对训练得到的深度残差网络和金字塔场景解析网络进行测试，获得所述深度残差模型和所述金字塔场景分割模型。

优选的，样本处理模块包括：

第一缩放单元，用于以所述训练样本的最短边为参考，将所述训练样本剪裁为正方形，并缩放到第一预设图像尺寸；

旋转单元，用于将缩放后的图像随机做水平翻转、垂直翻转、预设角度区间内旋转中的一项或多项的操作；

第一标准化处理单元，用于对操作后的图像的通道、宽度和高度进行标准化处理，得到所述训练图像。

优选的，样本处理模块还包括：

第二缩放单元，用于以所述测试样本的最短边为参考，将所述训练样本剪裁为正方形，并缩放到第二预设图像尺寸；

第二标准化处理单元，用于对缩放后的图像的通道、宽度和高度进行标准化处理，得到所述测试图像。

本发明实施例公开的一种图像区域分割装置，通过获取待分割图像，进而将所述待分割图像输入到预先建立的深度残差模型，得到所述待分割图像的特征图像，从而将所述待分割图像的特征图像作为一预先建立的金字塔场景分割模型的输入，通过所述金字塔场景分割模型将局部和全局的语境信息进行融合，以输出区域分割预测结果，这样融合了图像中子区域和整个空间的语境信息，能有效解决现有技术中对于不存在明显的灰度差异的图像难以准确分割区域的问题，而且通过深度学习的方式能有效拟合图像特征，提高了图像区域分割的准确度，以及提高了图像处理的效率。本发明可适用于医学图像中病灶区域的分割，大大降低了现有技术中依赖人工经验带来的出错率，且可重复性强。

该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如图像区域分割程序。所述处理器执行所述计算机程序时实现上述各个图像区域分割方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。

所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种图像区域分割方法，其特征在于，包括：

获取待分割图像；

将所述待分割图像输入到预先建立的深度残差模型，得到所述待分割图像的特征图像；

将所述待分割图像的特征图像作为一预先建立的金字塔场景分割模型的输入，通过所述金字塔场景分割模型将局部和全局的语境信息进行融合，以输出区域分割预测结果。

2.如权利要求1所述的图像区域分割方法，其特征在于，所述深度残差模型由23个残差模块构成，每个所述残差模块包括依次相连的卷积核为1的第一卷积层、卷积核为1的第二卷积层以及卷积核为3的第三卷积层。

3.如权利要求2所述的图像区域分割方法，其特征在于，所述金字塔场景分割模型包括输入层、四个不同的卷积池化层、上采样层、串联层、第四卷积层和输出层，所述输入层的输入端与所述深度残差模型中第三卷积层的输出端连接，所述输入层的输出端分别与四个所述卷积池化层的输入端连接，所述卷积池化层的输出端均与所述上采样层的输入端连接，所述上采样层的输出端、所述输入层的输出端均与所述串联层的输入端连接，所述串联层的输出端与所述第四卷积层的输入端连接，所述第四卷积层的输出端与所述输出层的输入端连接。

4.如权利要求3所述的图像区域分割方法，其特征在于，所述将所述待分割图像的特征图像作为一预先建立的金字塔场景分割模型的输入，通过所述金字塔场景分割模型将局部和全局的语境信息进行融合，以输出区域分割预测结果，具体包括：

通过所述卷积池化层对所述深度残差模型输出的所述待分割图像的特征图像进行卷积池化处理，得到不同子区域的特征表达；

将所述不同子区域的特征表达图像与所述特征图像进行融合，形成最终特征表达；

将所述最终特征表达输入到所述第四卷积层，从所述输出层获得像素级预测结果，作为所述区域分割预测结果。

5.如权利要求1所述的图像区域分割方法，其特征在于，通过如下步骤建立所述深度残差模型和所述金字塔场景分割模型，具体包括：

根据预先定义的区域特征，对预先采集的图像数据进行区域分割，得到对应各区域的区域分割图像；

将所述区域分割图像划分为训练样本和测试样本；

分别对所述训练样本和所述测试样本进行处理，得到训练图像和测试图像；

采用所述训练图像分别对预设的深度残差网络和金字塔场景解析网络进行训练；

采用所述测试图像分别对训练得到的深度残差网络和金字塔场景解析网络进行测试，获得所述深度残差模型和所述金字塔场景分割模型。

6.如权利要求5所述的图像区域分割方法，其特征在于，通过如下步骤处理所述训练样本，具体包括：

以所述训练样本的最短边为参考，将所述训练样本剪裁为正方形，并缩放到第一预设图像尺寸；

将缩放后的图像随机做水平翻转、垂直翻转、预设角度区间内旋转中的一项或多项的操作；

对操作后的图像的通道、宽度和高度进行标准化处理，得到所述训练图像。

7.如权利要求5所述的图像区域分割方法，其特征在于，通过如下步骤处理所述测试样本，具体包括：

以所述测试样本的最短边为参考，将所述训练样本剪裁为正方形，并缩放到第二预设图像尺寸；

对缩放后的图像的通道、宽度和高度进行标准化处理，得到所述测试图像。

8.一种图像区域分割装置，其特征在于，包括：

图像获取模块，用于获取待分割图像；

特征提取模块，用于将所述待分割图像输入到预先建立的深度残差模型，得到所述待分割图像的特征图像；

区域分割模块，用于将所述待分割图像的特征图像作为一预先建立的金字塔场景分割模型的输入，通过所述金字塔场景分割模型将局部和全局的语境信息进行融合，以输出区域分割预测结果。

9.一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的图像区域分割方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的图像区域分割方法。

Images