CN110544256B - 基于稀疏特征的深度学习图像分割方法及装置 - Google Patents

Abstract

本申请提出一种基于稀疏特征的深度学习图像分割方法及装置，该方法通过将带有分割标注信息的原始图像输入到待训练的图像分割神经网络中，对原始图像进行特征提取获取小于原始图像尺寸的目标特征图像，结合目标特征图像上每个分割目标点的坐标信息和坐标补偿信息，获取与原始图像对应的包含语义信息的分割结果，训练图像分割神经网络，得到图像分割神经网络的网络参数，并通过具有网络参数的图像分割神经网络对待处理的目标图像进行图像分割。由此通过改进图像分割神经网络的结构，并基于小于原始图像尺寸的目标特征图像训练图像分割神经网络，减少图像分割神经网络所需要计算量，减少训练图像分割神经网络所需的训练时间，提高了训练效率。

Description

基于稀疏特征的深度学习图像分割方法及装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于稀疏特征的深度学习图像分割方法及装置。

背景技术

图像分割是计算机视觉的一项核心技术，在无人驾驶、机器人导航、图像识别等应用场合均有着重要的作用。图像分割的主要目的是，把图像划分成若干的互相没有重合的区域，主要应用于对人像、动物以及自然场景以及各种带有明显语义信息的事物的分割。

目前，主流的图像分割算法是通过深度学习分割框架对图像进行分割，且已经取得了较好的效果。其中，深度学习分割框架对图像进行分割大致过程为：将待分割图像输入到深度学习分割框架中，通过卷积神经网络对待分割图像进行下采样，得到较小尺寸的下采样特征图，随后将较小尺寸的下采样特征图，逐步上采样到与待分割图像尺寸相同的上采样特征图像，并根据上采样特征图像得到分割结果。

相关技术中，在通过应深度学习分割框架进行图像分割之前，需要通过训练图像对深度学习分割框架进行训练，然而，在实现本申请的过程中，发明人发现在训练上述深度学习分割框架的过程中，由于待训练的深度学习分割框架需要将训练图像的下采样特征图像逐步上采样到与训练图像尺寸相同的上采样特征图像，而上采样操作所需计算量较大，因此，训练深度学习分割框架所耗时较长，并且，由于训练好的深度学习框架对待处理图像进行图像分割时，也会将对应下采样特征图像逐步上采样到与待分割图像尺寸相同的上采样特征图，从而使得上述图像分割方式很难满足对实时性要求较高场景的图像分割需求。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种基于稀疏特征的深度学习图像分割方法。

本申请的第二个目的在于提出一种基于稀疏特征的深度学习图像分割装置。

本申请的第三个目的在于提出一种电子设备。

本申请的第四个目的在于提出一种计算机可读存储介质。

本发明的第五个目的在于提出一种计算机程序产品。

为达上述目的，本申请第一方面实施例提出了一种基于稀疏特征的深度学习图像分割方法，包括：将带有分割标注信息的原始图像输入到待训练的图像分割神经网络，对所述原始图像进行特征提取获取目标特征图像，其中，所述目标特征图像的第二尺寸小于所述原始图像的第一尺寸；获取与所述目标特征图像上每个分割目标点对应的坐标补偿信息；根据所述目标特征图像上每个分割目标点的坐标信息和所述对应的坐标补偿信息，获取与所述原始图像对应的包含语义信息的分割结果，训练所述图像分割神经网络，当训练结束后获取所述图像分割神经网络的网络参数；将待处理的目标图像输入到具有所述网络参数的图像分割神经网络，获取与所述目标图像对应的包含语义信息的分割结果。

本申请实施例提供的基于稀疏特征的深度学习图像分割方法，通过将带有分割标注信息的原始图像输入到待训练的图像分割神经网络中，对原始图像进行特征提取获取小于原始图像尺寸的目标特征图像，并结合该目标特征图像上每个分割目标点的坐标信息和对应的坐标补偿信息，获取与所述原始图像对应的包含语义信息的分割结果，训练图像分割神经网络，得到该图像分割神经网络的网络参数，并通过具有该网络参数的图像分割神经网络对待处理的目标图像进行图像分割。由此，通过对图像分割神经网络的结构进行改进，并基于尺寸小于原始图像尺寸的目标特征图像对图像分割神经网络进行训练，减少了图像分割神经网络所需要的计算量，进而减少了训练图像分割神经网络所需的训练时间，提高获得图像分割神经网络效率的同时，使得训练好的图像分割神经网络在对待处理的目标图像进行图像分割时，基于尺寸小于目标图像尺寸的特征图像，即可得到该目标图像的图像分割结果，减少了图像分割神经网络分割图像过程中的上采样操作，减少了图像分割过程中的计算量，进而减少了图像分割神经网络分割图像所需要的时间，大大提高了图像分割神经网络分割图像的效率，满足了实时性要求较高场景对图像进行实时分割的需求。

为达上述目的，本申请第二方面实施例提出了一种基于稀疏特征的深度学习图像分割装置，包括：特征提取模块，用于将带有分割标注信息的原始图像输入到待训练的图像分割神经网络，对所述原始图像进行特征提取获取目标特征图像，其中，所述目标特征图像的第二尺寸小于所述原始图像的第一尺寸；第一获取模块，用于获取与所述目标特征图像上每个分割目标点对应的坐标补偿信息；训练模块，用于根据所述目标特征图像上每个分割目标点的坐标信息和所述对应的坐标补偿信息，获取与所述原始图像对应的包含语义信息的分割结果，训练所述图像分割神经网络，当训练结束后获取所述图像分割神经网络的网络参数；图像分割模块，用于将待处理的目标图像输入到具有所述网络参数的图像分割神经网络，获取与所述目标图像对应的包含语义信息的分割结果。

本申请实施例提供的基于稀疏特征的深度学习图像分割装置，通过将带有分割标注信息的原始图像输入到待训练的图像分割神经网络中，对原始图像进行特征提取获取小于原始图像尺寸的目标特征图像，并结合该目标特征图像上每个分割目标点的坐标信息和对应的坐标补偿信息，获取与所述原始图像对应的包含语义信息的分割结果，训练图像分割神经网络，得到该图像分割神经网络的网络参数，并通过具有该网络参数的图像分割神经网络对待处理的目标图像进行图像分割。由此，通过对图像分割神经网络的结构进行改进，并基于尺寸小于原始图像尺寸的目标特征图像对图像分割神经网络进行训练，减少了图像分割神经网络所需要的计算量，进而减少了训练图像分割神经网络所需的训练时间，提高获得图像分割神经网络效率的同时，使得训练好的图像分割神经网络在对待处理的目标图像进行图像分割时，基于尺寸小于目标图像尺寸的特征图像，即可得到该目标图像的图像分割结果，减少了图像分割神经网络分割图像过程中的上采样操作，减少了图像分割过程中的计算量，进而减少了图像分割神经网络分割图像所需要的时间，大大提高了图像分割神经网络分割图像的效率，满足了实时性要求较高场景对图像进行实时分割的需求。

为达上述目的，本申请第三方面实施例提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的基于稀疏特征的深度学习图像分割方法。

为了实现上述目的，本申请第四方面实施例提出了一种计算机可读存储介质，当所述存储介质中的指令被处理器执行时，实现如上所述的基于稀疏特征的深度学习图像分割方法。

为了实现上述目的，本发明第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，实现如上所述的基于稀疏特征的深度学习图像分割方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例提供的一种基于稀疏特征的深度学习图像分割方法的流程示意图；

图2为本申请实施例中步骤103的细化流程图；

图3为本申请实施例提供的一种基于稀疏特征的深度学习图像分割装置的结构示意图；

图4为本申请实施例提供的另一种基于稀疏特征的深度学习图像分割装置的结构示意图；

图5为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的基于稀疏特征的深度学习图像分割方法、装置和电子设备。

图1为本申请实施例提供的一种基于稀疏特征的深度学习图像分割方法的流程示意图。

如图1所示，该基于稀疏特征的深度学习图像分割方法可以包括：

步骤101，将带有分割标注信息的原始图像输入到待训练的图像分割神经网络，对原始图像进行特征提取获取目标特征图像。

其中，目标特征图像的第二尺寸小于原始图像的第一尺寸。

其中，分割标注信息可以包括但不限于每个像素的坐标信息，以及该坐标信息对应的语义信息分割结果。

在本实施例中，对原始图像进行特征提取获取目标特征图像的具体实现过程可以为：根据预设的下采样倍数对原始图像进行多层特征提取获取下采样特征图像；根据预设的上采样倍数对下采样特征图像进行上采样处理获取目标特征图像。

其中，可以理解的是，为了得到小于原始图像尺寸的目标特征图像，本实施例中的下采样倍数大于上采样倍数。

在本实施例中，可通过多种方式对下采样图像进行上采样处理，例如，可通过插值、反池化、反卷积等方式实现对下采样特征图像进行上采样处理，在实际应用中，可根据实际需求进行选择，该实施例对此不作限定。

本实施例以插值方式对下采样特征图像进行上采样处理。也就是说，本实施例根据预设的上采样倍数对下采样特征图像进行插值处理，获取目标特征图像。

步骤102，获取与目标特征图像上每个分割目标点对应的坐标补偿信息。

在本实施例中，在不同应用场景中，获取与目标特征图像上每个分割目标点对应的坐标补偿信息的方式不同，举例说明如下：

作为一种可能的实现方式，可根据预先保存的特征图像、分割目标点与坐标补充信息之间的对应关系，获取该目标特征图像上每个分割目标点对应的坐标补偿信息。

作为另一种可能的实现方式，可根据原始图像的第一尺寸与目标特征图像的第二尺寸确定原始图像的缩小倍数；根据原始图像中每个分割目标点的原始坐标信息和缩小倍数，确定每个分割目标点对应的坐标补偿信息。

当然，在实际应用中，还可以通过其他方式获取与目标特征图像上每个分割目标点对应的坐标补偿信息，例如，可通过访问保存有特征图像、分割目标点与坐标补充信息之间的对应关系的硬件设备，获取目标特征图像上每个分割目标点对应的坐标补偿信息，该实施对此不作具体限定。

步骤103，根据目标特征图像上每个分割目标点的坐标信息和对应的坐标补偿信息，获取与原始图像对应的包含语义信息的分割结果，训练图像分割神经网络，当训练结束后获取图像分割神经网络的网络参数。

在本实施例中，根据目标特征图像上每个分割目标点的坐标信息和对应的坐标补偿信息，获取与原始图像对应的包含语义信息的分割结果，训练图像分割神经网络存在多种可能的实现方式，举例说明如下：

作为第一种可能的实现方式，如果坐标补充信息包括在预设缩小倍数下的坐标补偿值，则可根据目标特征图像上每个分割目标点的坐标信息以及每个分割特征点在预设缩小倍数下的坐标补偿值，确定出原始图像中与对应分割目标点坐标信息的目标坐标信息，以及获取原始图像中对应目标坐标信息对应的语义信息分割结果，根据目标特征图像上每个分割目标点对应的语义信息分割结果，与原始图像中相应坐标信息对应的语义信息分割结果对图像分割神经网络进行训练，直至图像分割神经网络根据目标特征图像进行图像分割出的语义信息结果，与原始图像的分割标注信息中的语义信息结果匹配时，图像分割神经网络训练完成。其中，本实施例中的预设缩小倍数可以是根据待训练的图像分割神经网络中目标特征图像的尺寸与原始图像的尺寸预先确定的，也可以是根据待训练神经网络中上采样倍数和下采样倍数预先确定的，该实施例对确定预设缩小倍数的方式不作具体限定。

其中，需要说明的是，本实施例中目标特征图像上每个分割目标点对应的语义信息分割结果是通过本实施中待训练的图像分割神经网络进行图像语义而得到的。

作为第二种可能的实现方式，根据目标特征图像上每个分割目标点的坐标信息和对应的坐标补偿信息，获取与原始图像对应的包含语义信息的分割结果，训练图像分割神经网络的具体实现过程，如图2所示，可以包括：

步骤1031，根据原始图像的第一尺寸与目标特征图像的第二尺寸确定原始图像的缩小倍数。

步骤1032，将目标特征图像上每个分割目标点的坐标信息乘以缩小倍数获取第一回归坐标信息。

步骤1033，将第一回归坐标信息和对应的坐标补偿信息进行相加获取第二回归坐标信息。

步骤1034，确定与第二回归坐标信息对应的语义信息分割结果。

在本实施例中，可从原始图像对应的分割标注信息中，确定与第二回归坐标信息对应的语义信息分割结果。

在本实施例中，分割标注信息中每个第二回归坐标信息对应的语义信息分割结果可以是通过将原始图像输入到未优化前的图像分割神经网络进行图像分割而预先得到的。

其中，未优化前的图像分割神经网络是指在对输入图像进行分割时，将下采样特征图像逐步上采样到与输入图像尺寸相同的上采样特征图像，并根据该上采样特征图像进行图像分割的图像分割网络。

步骤1035，根据目标特征图像上每个分割目标点对应的语义信息分割结果，与原始图像中第二回归坐标对应的语义信息分割结果，对图像分割神经网络进行训练。

举例而言，假设确定原始图像的缩小倍数为8，对于目标特征图像上分割目标点的坐标信息为(40,20)，分割目标点的坐标补偿信息为(1,7)。根据该分割目标点的坐标信息为(40,20)以及坐标补偿信息(1,7)，回归得到原始图像中第二回归坐标信息的具体过程为：将该分割目标点的坐标信息(40,20)乘以缩小倍数8，可以得到原始图像中第一回归坐标信息(320,160)。对应地，将第一回归坐标信息(320,160)与坐标补偿信息为(1,7)相加，即可得到原始图像中第二回归坐标信息(321,167)。由此，通过坐标补偿信息，对目标特征图像回归到原始图像上丢失的坐标信息进行补充，从而使得目标特征图像上的坐标准确回归到原始图像上的相应坐标，提高了从目标特征图像回归到原始图像上的准确度。

在本实施例中，根据目标特征图像上每个分割目标点对应的语义信息分割结果以及与原始图像中相应第二回归坐标信息的语义信息分割结果，对图像分割神经网络进行训练，直至图像分割神经网络根据目标特征图像进行图像分割出的语义信息结果，与原始图像的分割标注信息中的语义信息结果匹配时，图像分割神经网络训练完成，即，图像分割神经网络训练结束。

可以理解的是，本实施例通过对图像分割神经网络的结构进行改进，基于尺寸小于原始图像尺寸的目标特征图像对图像分割神经网络进行训练，减少待训练的图像分割神经网络分割图像过程中的上采样操作，减少了图像分割过程中的计算量，进而减少了训练图像分割神经网络所需的训练时间，提高了获得图像分割神经网络的效率。

步骤104，将待处理的目标图像输入到具有网络参数的图像分割神经网络，获取与目标图像对应的包含语义信息的分割结果。

作为一种示例性的实施方式，在将待处理的目标图像输入到具有网络参数的图像分割神经网络，该图像分割神经网络根据预设的下采样倍数对原始图像进行多层特征提取获取下采样特征图像，然后，根据预设的上采样倍数对下采样特征图像进行插值处理得到尺寸小于目标图像尺寸的目标特征图像，并根据该目标特征图像进行图像语义分割，以得到该目标图像对应的包含语义信息的分割结果。

本申请实施例的基于稀疏特征的深度学习图像分割方法，通过将带有分割标注信息的原始图像输入到待训练的图像分割神经网络中，对原始图像进行特征提取获取小于原始图像尺寸的目标特征图像，并结合该目标特征图像上每个分割目标点的坐标信息和对应的坐标补偿信息，获取与原始图像对应的包含语义信息的分割结果，训练图像分割神经网络，得到该图像分割神经网络的网络参数，并通过具有该网络参数的图像分割神经网络对待处理的目标图像进行图像分割。由此，通过对图像分割神经网络的结构进行改进，并基于尺寸小于原始图像尺寸的目标特征图像对图像分割神经网络进行训练，减少了图像分割神经网络所需要的计算量，进而减少了训练图像分割神经网络所需的训练时间，提高获得图像分割神经网络效率的同时，使得训练好的图像分割神经网络在对待处理的目标图像进行图像分割时，基于尺寸小于目标图像尺寸的特征图像，即可得到该目标图像的图像分割结果，减少了图像分割神经网络分割图像过程中的上采样操作，减少了图像分割过程中的计算量，进而减少了图像分割神经网络分割图像所需要的时间，大大提高了图像分割神经网络分割图像的效率，满足了实时性要求较高场景对图像进行实时分割的需求。

其中，可以理解的是，在实际应用过程中，在不同应用场景中，不同应用场景对图像分割神经网络的图像分割的实时性要求是不同的。例如，在自动驾驶场景中对车载摄像头采集到的图像进行图像分割，以及在医学图像分割场景中对采集到的图像进行细胞组织分割中，这两种场景中对图像分割的实时性要求通常是不同的。因此，为了使得训练出的图像分割神经网络可以满足对应应用场景的需求，作为一种示例性的实施方式，在对原始图像进行特征提取获取目标特征图像之前，还可以：获取图像分割的场景特征信息，根据场景特征信息确定目标特征图像的第二尺寸与原始图像的第一尺寸之间的比值。

也就是说，在本实施例中，在对对应图像分割神经网络进行训练之前，还可以结合应用场景的场景特征信息，确定目标特征图像的第二尺寸与原始图像的第一尺寸之间的比值，进而确定出图像分割神经网络中目标特征图像的尺寸。从而在对应图像分割神经网络进行训练时，可结合通过场景特征信息，预先确定出的目标特征图像的尺寸对对应图像分割神经网络进行训练，从而使得训练出的图像分割神经网络满足了对应应用场景对图像分割的要求。

其中，场景特征信息用于描述对应应用场景的场景特征。例如，场景特征信息可以包括应用场景类型，对图像分割的实时性要求特征等。

图3为本申请实施例提供的一种基于稀疏特征的深度学习图像分割装置的结构示意图。

图3所示，该基于稀疏特征的深度学习图像分割装置包括特征提取模块110、第一获取模块120、训练模块130和图像分割模块140，其中：

特征提取模块110，用于将带有分割标注信息的原始图像输入到待训练的图像分割神经网络，对原始图像进行特征提取获取目标特征图像，其中，目标特征图像的第二尺寸小于原始图像的第一尺寸。

第一获取模块120，用于获取与目标特征图像上每个分割目标点对应的坐标补偿信息。

训练模块130，用于根据目标特征图像上每个分割目标点的坐标信息和对应的坐标补偿信息，获取与原始图像对应的包含语义信息的分割结果，训练图像分割神经网络，当训练结束后获取图像分割神经网络的网络参数。

图像分割模块140，用于将待处理的目标图像输入到具有网络参数的图像分割神经网络，获取与目标图像对应的包含语义信息的分割结果。

在本申请的一个实施例中，为了使得训练出的图像分割神经网络满足对应应用场景的场景需求，在图3所示的装置实施例的基础上，如图4所示，该装置还可以包括：

第二获取模块150，用于获取图像分割的场景特征信息。

确定模块160，用于根据场景特征信息确定目标特征图像的第二尺寸与原始图像的第一尺寸之间的比值。

在本申请的一个实施例中，特征提取模块110具体用于：根据预设的下采样倍数对原始图像进行多层特征提取获取下采样特征图像；根据预设的上采样倍数对下采样特征图像进行插值处理获取目标特征图像。

在本申请的一个实施例中，第一获取模块120具体用于：根据原始图像的第一尺寸与目标特征图像的第二尺寸确定原始图像的缩小倍数；根据原始图像中每个分割目标点的原始坐标信息和缩小倍数，确定每个分割目标点对应的坐标补偿信息。

在本申请的一个实施例中，训练模块130具体用于：根据原始图像的第一尺寸与目标特征图像的第二尺寸确定原始图像的缩小倍数；将目标特征图像上每个分割目标点的坐标信息乘以缩小倍数获取第一回归坐标信息；将第一回归坐标信息和对应的坐标补偿信息进行相加获取第二回归坐标信息；确定与第二回归坐标信息对应的语义信息分割结果；根据目标特征图像上每个分割目标点对应的语义信息分割结果，与原始图像中第二回归坐标信息对应的语义信息分割结果，对图像分割神经网络进行训练。

其中，需要说明的是，前述对基于稀疏特征的深度学习图像分割方法实施例的解释说明也适用于该实施例的基于稀疏特征的深度学习图像分割装置，此处不再赘述。

本申请实施例提供的基于稀疏特征的深度学习图像分割装置，通过将带有分割标注信息的原始图像输入到待训练的图像分割神经网络中，对原始图像进行特征提取获取小于原始图像尺寸的目标特征图像，并结合该目标特征图像上每个分割目标点的坐标信息和对应的坐标补偿信息，获取与原始图像对应的包含语义信息的分割结果，训练图像分割神经网络，得到该图像分割神经网络的网络参数，并通过具有该网络参数的图像分割神经网络对待处理的目标图像进行图像分割。由此，通过对图像分割神经网络的结构进行改进，并基于尺寸小于原始图像尺寸的目标特征图像对图像分割神经网络进行训练，减少了图像分割神经网络所需要的计算量，进而减少了训练图像分割神经网络所需的训练时间，提高获得图像分割神经网络效率的同时，使得训练好的图像分割神经网络在对待处理的目标图像进行图像分割时，基于尺寸小于目标图像尺寸的特征图像，即可得到该目标图像的图像分割结果，减少了图像分割神经网络分割图像过程中的上采样操作，减少了图像分割过程中的计算量，进而减少了图像分割神经网络分割图像所需要的时间，大大提高了图像分割神经网络分割图像的效率，满足了实时性要求较高场景对图像进行实时分割的需求。

图5为本申请实施例提供的一种电子设备的结构示意图。该电子设备包括：

存储器1001、处理器1002及存储在存储器1001上并可在处理器1002上运行的计算机程序。

处理器1002执行程序时实现上述实施例中提供的基于稀疏特征的深度学习图像分割方法。

进一步地，电子设备还包括：

通信接口1003，用于存储器1001和处理器1002之间的通信。

存储器1001，用于存放可在处理器1002上运行的计算机程序。

存储器1001可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

处理器1002，用于执行程序时实现上述实施例的基于稀疏特征的深度学习图像分割方法。

如果存储器1001、处理器1002和通信接口1003独立实现，则通信接口1003、存储器1001和处理器1002可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器1001、处理器1002及通信接口1003，集成在一块芯片上实现，则存储器1001、处理器1002及通信接口1003可以通过内部接口完成相互间的通信。

处理器1002可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上的基于稀疏特征的深度学习图像分割方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种基于稀疏特征的深度学习图像分割方法，其特征在于，包括以下步骤：

将带有分割标注信息的原始图像输入到待训练的图像分割神经网络，对所述原始图像进行特征提取获取目标特征图像，其中，所述目标特征图像的第二尺寸小于所述原始图像的第一尺寸；

获取与所述目标特征图像上每个分割目标点对应的坐标补偿信息；

根据所述目标特征图像上每个分割目标点的坐标信息和所述对应的坐标补偿信息，获取与所述原始图像对应的包含语义信息的分割结果，训练所述图像分割神经网络，当训练结束后获取所述图像分割神经网络的网络参数；

将待处理的目标图像输入到具有所述网络参数的图像分割神经网络，获取与所述目标图像对应的包含语义信息的分割结果；

所述根据所述目标特征图像上每个分割目标点的坐标信息和所述对应的坐标补偿信息，获取与所述原始图像对应的包含语义信息的分割结果，训练所述图像分割神经网络，当训练结束后获取所述图像分割神经网络的网络参数，包括：

根据目标特征图像上每个分割目标点的坐标信息以及每个分割特征点在预设缩小倍数下的坐标补偿值，确定出原始图像中与对应分割目标点坐标信息的目标坐标信息，以及获取原始图像中对应目标坐标信息对应的语义信息分割结果，根据目标特征图像上每个分割目标点对应的语义信息分割结果，与原始图像中相应坐标信息对应的语义信息分割结果对图像分割神经网络进行训练。

2.如权利要求1所述的方法，其特征在于，在对所述原始图像进行特征提取获取目标特征图像之前，还包括：

获取图像分割的场景特征信息；

根据所述场景特征信息确定所述目标特征图像的第二尺寸与所述原始图像的第一尺寸之间的比值。

3.如权利要求1所述的方法，其特征在于，所述对所述原始图像进行特征提取获取目标特征图像，包括：

根据预设的下采样倍数对所述原始图像进行多层特征提取获取下采样特征图像；

根据预设的上采样倍数对所述下采样特征图像进行插值处理获取目标特征图像。

4.如权利要求1所述的方法，其特征在于，所述获取与所述目标特征图像上每个分割目标点对应的坐标补偿信息，包括：

根据所述原始图像的第一尺寸与所述目标特征图像的第二尺寸确定所述原始图像的缩小倍数；

根据所述原始图像中每个分割目标点的原始坐标信息和所述缩小倍数，确定每个分割目标点对应的坐标补偿信息。

5.如权利要求1所述的方法，其特征在于，所述根据所述目标特征图像上每个分割目标点的坐标信息和所述对应的坐标补偿信息，获取与所述原始图像对应的包含语义信息的分割结果，训练所述图像分割神经网络，包括：

根据所述原始图像的第一尺寸与所述目标特征图像的第二尺寸确定所述原始图像的缩小倍数；

将所述目标特征图像上每个分割目标点的坐标信息乘以所述缩小倍数获取第一回归坐标信息；

将所述第一回归坐标信息和所述对应的坐标补偿信息进行相加获取第二回归坐标信息；

确定与所述第二回归坐标信息对应的语义信息分割结果；

根据所述目标特征图像上每个分割目标点对应的语义信息分割结果，与所述原始图像中第二回归坐标信息对应的语义信息分割结果，对所述图像分割神经网络进行训练。

6.一种基于稀疏特征的深度学习图像分割装置，其特征在于，包括：

特征提取模块，用于将带有分割标注信息的原始图像输入到待训练的图像分割神经网络，对所述原始图像进行特征提取获取目标特征图像，其中，所述目标特征图像的第二尺寸小于所述原始图像的第一尺寸；

第一获取模块，用于获取与所述目标特征图像上每个分割目标点对应的坐标补偿信息；

训练模块，用于根据所述目标特征图像上每个分割目标点的坐标信息和所述对应的坐标补偿信息，获取与所述原始图像对应的包含语义信息的分割结果，训练所述图像分割神经网络，当训练结束后获取所述图像分割神经网络的网络参数；

图像分割模块，用于将待处理的目标图像输入到具有所述网络参数的图像分割神经网络，获取与所述目标图像对应的包含语义信息的分割结果；

所述训练模块，还用于：根据目标特征图像上每个分割目标点的坐标信息以及每个分割特征点在预设缩小倍数下的坐标补偿值，确定出原始图像中与对应分割目标点坐标信息的目标坐标信息，以及获取原始图像中对应目标坐标信息对应的语义信息分割结果，根据目标特征图像上每个分割目标点对应的语义信息分割结果，与原始图像中相应坐标信息对应的语义信息分割结果对图像分割神经网络进行训练。

7.如权利要求6所述的装置，其特征在于，还包括：

第二获取模块，用于获取图像分割的场景特征信息；

确定模块，用于根据所述场景特征信息确定所述目标特征图像的第二尺寸与所述原始图像的第一尺寸之间的比值。

8.如权利要求6所述的装置，其特征在于，所述特征提取模块，具体用于：

根据预设的下采样倍数对所述原始图像进行多层特征提取获取下采样特征图像；

根据预设的上采样倍数对所述下采样特征图像进行插值处理获取目标特征图像。

9.如权利要求6所述的装置，其特征在于，所述第一获取模块，具体用于：

根据所述原始图像的第一尺寸与所述目标特征图像的第二尺寸确定所述原始图像的缩小倍数；

根据所述原始图像中每个分割目标点的原始坐标信息和所述缩小倍数，确定每个分割目标点对应的坐标补偿信息。

10.如权利要求6所述的装置，其特征在于，所述训练模块，具体用于：

根据所述原始图像的第一尺寸与所述目标特征图像的第二尺寸确定所述原始图像的缩小倍数；

将所述目标特征图像上每个分割目标点的坐标信息乘以所述缩小倍数获取第一回归坐标信息；

将所述第一回归坐标信息和所述对应的坐标补偿信息进行相加获取第二回归坐标信息；

确定与所述第二回归坐标信息对应的语义信息分割结果；

根据所述目标特征图像上每个分割目标点对应的语义信息分割结果，与所述原始图像中第二回归坐标信息对应的语义信息分割结果，对所述图像分割神经网络进行训练。

11.一种电子设备，其特征在于，包括：

存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一所述的基于稀疏特征的深度学习图像分割方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的基于稀疏特征的深度学习图像分割方法。

Images