CN113470048A - 场景分割方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本申请提供了一种场景分割方法，该方法包括：当获取到待分割的目标图像后，生成该目标图像的第一强化场景特征，其中，该第一强化场景特征中携带了目标图像中的各个图像类别之间的关联关系，然后，根据目标图像的第一强化场景特征，对目标图像进行场景分割。可见，本申请在对目标图像进行场景分割时，考虑了目标图像中各个类别之间的关联关系，因此，可以有效提升场景分割结果的准确性。本申请还提供了一种场景分割装置、设备及计算机可读存储介质。

Description

场景分割方法、装置、设备及计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别涉及一种场景分割方法、装置、设备及计算机可读存储介质。

背景技术

场景分割，是指将图像中的物体都分割识别出来，但在自然图像中，其图像场景中往往包含多种物体，因此，想要实现准确的场景分割，将具有非常高的挑战性。

在现有的一种场景分割技术中，设计了一种基于上下文先验的场景分割深度学习网络，通过该深度学习网络对场景图像提取深度特征，然后，通过预先设计的上下文先验模块，将提取的深度特征进行变换，得到上下文先验图，最后，将两者结合起来，得到场景分割结果。但是，采用该现有技术进行场景分割容易出现一些低级的常识性的分割错误，使得场景分割结果不够准确。

发明内容

本申请提供了一种场景分割方法、装置、设备及计算机可读存储介质，能够提升场景分割结果的准确性。

第一方面，本申请提供了一种场景分割方法，包括：

获取待分割的目标图像；

生成所述目标图像的第一强化场景特征，其中，所述第一强化场景特征中携带了所述目标图像中的各个图像类别之间的关联关系；

根据所述目标图像的第一强化场景特征，对所述目标图像进行场景分割。

可选的，所述生成所述目标图像的第一强化场景特征，包括：

对所述目标图像进行特征提取，得到所述目标图像的第一初始场景特征；

根据所述第一初始场景特征对所述目标图像进行场景分割，得到初始分割结果；

基于预先定义的图像类别关联关系、以及所述初始分割结果，生成所述目标图像的第一强化场景特征。

可选的，所述对所述目标图像进行特征提取，包括：

采用下采样和上采样相结合的网络结构，对所述目标图像进行特征提取。

可选的，所述第一初始场景特征包括特征分辨率不同的细节特征和语义特征。

可选的，所述初始分割结果包括至少一个分割位置，每个分割位置对应至少一种预测类别、且每个分割位置对应的各个预测类别的概率之和为1。

可选的，所述基于预先定义的图像类别关联关系、以及所述初始分割结果，生成所述目标图像的第一强化场景特征，包括：

根据预先定义的图像类别关联关系、所述目标图像中的每一分割位置对应的各个预测类别、以及所述初始场景特征中的属于每一分割位置的场景特征和/或每一分割位置的周边场景的场景特征，生成所述目标图像的第一强化场景特征。

可选的，所述根据所述目标图像的第一强化场景特征，对所述目标图像进行场景分割，包括：

根据所述目标图像的第一初始场景特征和第一强化场景特征，对所述目标图像进行场景分割。

可选的，所述根据所述目标图像的第一初始场景特征和第一强化场景特征，对所述目标图像进行场景分割，包括：

将所述目标图像的第一初始场景特征和第一强化场景特征的特征分辨率进行统一化处理，得到所述目标图像的第二初始场景特征和第二强化场景特征；

根据所述目标图像的第二初始场景特征和第二强化场景特征，对所述目标图像进行场景分割。

第二方面，本申请提供了一种场景分割装置，包括：

目标图像获取单元，用于获取待分割的目标图像；

强化特征生成单元，用于生成所述目标图像的第一强化场景特征，其中，所述第一强化场景特征中携带了所述目标图像中的各个图像类别之间的关联关系；

目标场景分割单元，用于根据所述目标图像的第一强化场景特征，对所述目标图像进行场景分割。

可选的，所述强化特征生成单元，包括：

特征提取子单元，用于对所述目标图像进行特征提取，得到所述目标图像的第一初始场景特征；

场景分割子单元，用于根据所述第一初始场景特征对所述目标图像进行场景分割，得到初始分割结果；

特征生成子单元，用于基于预先定义的图像类别关联关系、以及所述初始分割结果，生成所述目标图像的第一强化场景特征。

可选的，所述特征提取子单元，具体用于：

采用下采样和上采样相结合的网络结构，对所述目标图像进行特征提取，得到所述目标图像的第一初始场景特征。

可选的，所述第一初始场景特征包括特征分辨率不同的细节特征和语义特征。

可选的，所述初始分割结果包括至少一个分割位置，每个分割位置对应至少一种预测类别、且每个分割位置对应的各个预测类别的概率之和为1。

可选的，所述特征生成子单元，具体用于：

根据预先定义的图像类别关联关系、所述目标图像中的每一分割位置对应的各个预测类别、以及所述初始场景特征中的属于每一分割位置的场景特征和/或每一分割位置的周边场景的场景特征，生成所述目标图像的第一强化场景特征。

可选的，所述目标场景分割单元，包括：

场景分割子单元，用于根据所述目标图像的第一初始场景特征和第一强化场景特征，对所述目标图像进行场景分割。

可选的，所述场景分割子单元，具体用于：

将所述目标图像的第一初始场景特征和第一强化场景特征的特征分辨率进行统一化处理，得到所述目标图像的第二初始场景特征和第二强化场景特征；

根据所述目标图像的第二初始场景特征和第二强化场景特征，对所述目标图像进行场景分割。

第三方面，本申请提供了一种电子设备，包括：处理器、存储器；

所述存储器，用于存储计算机程序；

所述处理器，用于通过调用所述计算机程序，执行上述场景分割方法。

第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述场景分割方法。

在以上本申请提供的技术方案中，当获取到待分割的目标图像后，生成该目标图像的第一强化场景特征，其中，该第一强化场景特征中携带了目标图像中的各个图像类别之间的关联关系，然后，根据目标图像的第一强化场景特征，对目标图像进行场景分割。可见，本申请在对目标图像进行场景分割时，考虑了目标图像中各个类别之间的关联关系，因此，可以有效提升场景分割结果的准确性。

附图说明

图1为本申请示出的一种场景分割方法的流程示意图；

图2为本申请示出的生成强化场景特征的流程示意图

图3为本申请示出的场景分割模型的组成示意图；

图4为本申请示出的一种场景分割装置的组成示意图；

图5为本申请示出的一种电子设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

需要说明的是，场景分割的难点在于，当场景中包含多种物体时，很难将它们一一分割识别出来，但实际上，物体类别之间有着明显的相互依赖，然而，现有的场景分割技术没有考虑到类别之间的关联关系(比如车辆基本都位于道路上或者停车场、路边的障碍物有对应的限制类别等)，这样很容易出现一些违背常识的分类结果，使得场景分割结果不够准确。

为此，本申请实施例提供了一种场景分割方法，该方法考虑了场景中类别之间的关联关系，从而提升了场景分割结果的准确性，即，相比于现有技术，能够更准确的将图像中的物体分割识别出来。

参见图1，为本申请实施例提供的一种场景分割方法的流程示意图，该方法包括以下步骤：

S101：获取待分割的目标图像。

在本申请实施例中，将每一幅需要进行场景分割的图像定义为目标图像。本申请实施例不对目标图像的来源进行限定，比如，目标图像是马路上的摄像头拍摄的图像。

S102：生成目标图像的第一强化场景特征，其中，第一强化场景特征中携带了目标图像中的各个图像类别之间的关联关系。

在本申请实施例中，需要对目标图像进行特征提取，在提取到的场景特征中，使其不但包括目标图像的各个局部场景的场景特征(包括形状、位置等特征)，还可以包括目标图像中的各个图像类别之间的关联关系，比如，其关联关系可能体现为车辆与道路、停车场之间的强相关关系、道路与路牌之间的强相关关系等。为便于区分，这里，将生成的携带有目标图像的图像类别关联关系的场景特征，定义为目标图像的第一强化场景特征。

在本申请实施例中，S102中的“生成目标图像的第一强化场景特征”，可以包括以下步骤S1021-S1023，参见图2所示的生成强化场景特征的流程示意图：

S1021：对目标图像进行特征提取，得到目标图像的第一初始场景特征。

在本申请实施例中，可以预先训练一个图像分割模型，如图3所示的场景分割模型的组成示意图，该图像分割模型可以包括预分割模块、推理关联模块和分割输出模块，这三个模块串行相连，在训练阶段，可以进行端到端的训练。

可以采用该图像分割模型中的预分割模块，对目标图像进行初步的特征提取，为便于区分，将提取的特征定义为目标图像的第一初始场景特征。其中，预分割模块所采用的网络可以是深度卷积网络，需要说明的是，本申请实施例不对预分割模块的网络结构进行限定。

在本申请实施例的一种实现方式中，当采用步骤S1021对目标图像进行特征提取时，可以包括：采用下采样和上采样相结合的网络结构，对目标图像进行特征提取。在本实现方式中，当利用图3所示的预分割模块对目标图像进行初步的特征提取时，该预分割模块可以采用下采样-上采样结合的网络结构，该下采样-上采样结合的网络结构，包括但限于U型网络、Deeplab系列网络、V型网络、特征金字塔网络(Feature Pyramid Network)等中的至少一种。

在本申请实施例的一种实现方式中，当对目标图像进行初步的特征提取，得到第一初始场景特征后，该第一初始场景特征可以包括特征分辨率不同的细节特征和语义特征。具体来讲，第一初始场景特征可以是一组场景特征，特征分辨率从高到低，包括低级别(低分辨率)的细节特征、高级别(高分辨率)的语义特征，等等；其中，低分辨率的特征可以作为生成更高一级分辨率特征的输入，也就是说，可以先提取目标图像的原始特征分辨率的场景特征，该原始特征分辨率的分辨率最低，为便于描述，将该原始特征分辨率的级别定义为第一级别，然后，基于第一级别的场景特征生成第二级别(第二级别高于第一级别)的场景特征，再基于第二级别的场景特征生成第三级别(第三级别高于第二级别)的场景特征……，以此类推，生成第N级别(第N级别高于第N-1级别，N≥2)的场景特征。

S1022：根据第一初始场景特征对目标图像进行场景分割，得到初始分割结果。

在本申请实施例中，可以采用图3所示的推理关联模块，基于第一初始场景特征，对目标图像进行预分割，即，对目标图像进行初步的场景分割，这里，将经此场景分割得到的分割结果定义为初始分割结果。

其中，初始分割结果可以包括至少一个分割位置，每个分割位置对应至少一种预测类别、且每个分割位置对应的各个预测类别的概率之和为1。具体来讲，当对目标图像进行预分割时，可以从中分割出多个物体位置，每个位置中的物体可能会有多种预测类别，对于每一位置来讲，该位置的各个预测类别的概率之和为1。

S1023：基于预先定义的图像类别关联关系、以及初始分割结果，生成目标图像的第一强化场景特征。

在本申请实施例中，可以采用图3所示的推理关联模块，显式地建模目标图像中的各图像类别之间的逻辑关系，用于强化目标图像中的场景特征，从而生成目标图像的第一强化场景特征。

在本申请实施例的一种实现方式中，S1023中的“基于预先定义的图像类别关联关系、以及初始分割结果，生成目标图像的第一强化场景特征”，可以包括：根据预先定义的图像类别关联关系、目标图像中的每一分割位置对应的各个预测类别、以及初始场景特征中的属于每一分割位置的场景特征和/或每一分割位置的周边场景的场景特征，生成目标图像的第一强化场景特征。

在本实现方式中，可以预先定义类别关联关系，本申请实施例不对该类别关联关系的定义方式进行限定，可以通过经验进行预先定义，也可以基于标注数据进行统计分析来预先定义。基于此，当对目标图像进行预分割得到初始分割结果后，对于该初始分割结果中的每一个分割位置，可以基于预先定义好的类别关联关系以及该分割位置对应的各个预测类别，来利用该分割位置的初始场景特征、和/或其周边邻域的场景特征，做加权图卷积操作，从而得到该分割位置的强化场景特征，这样，可以得到每一分割位置的强化场景特征，这些强化特征的集合即为第一强化场景特征。

可见，通过上述方式，本申请实施例实现了多分辨率的特征类别关联强化。

S103：根据目标图像的第一强化场景特征，对目标图像进行场景分割。

在本申请实施例中，可以采用图3所示的分割输出模块，来根据目标图像的第一强化场景特征，对目标图像进行场景分割。

在本申请实施例中，S103中的“根据目标图像的第一强化场景特征，对目标图像进行场景分割”，可以包括：根据目标图像的第一初始场景特征和第一强化场景特征，对目标图像进行场景分割。也就是说，当得到上述不同分辨率下的第一初始场景特征和第一强化场景特征之后，可以基于这些不同分辨率下的场景特征对目标图像进行场景分割。

在本申请实施例的一种实现方式中，当根据所述目标图像的第一初始场景特征和第一强化场景特征，对所述目标图像进行场景分割时，具体可以包括：将目标图像的第一初始场景特征和第一强化场景特征的特征分辨率进行统一化处理，得到目标图像的第二初始场景特征和第二强化场景特征；根据目标图像的第二初始场景特征和第二强化场景特征，对目标图像进行场景分割。

在本实现方式中，可以将上述不同分辨率下的第一初始场景特征和第一强化场景特征，分别基于上采样或反卷积统一到目标图像的原始分辨率下，得到具有相同分辨率的第二初始场景特征和第二强化场景特征；其中，第二初始场景特征是基于第一初始场景特征得到，二者的特征数量相同，第二强化场景特征是基于第一强化场景特征得到，二者的特征数量相同。然后，可以将第二初始场景特征和第二强化场景特征，利用一系列卷积操作融合在一起，得到场景分割特征；最后，将得到的场景分割特征输入给分类器，由分类器基于该场景分割特征实现对目标图像的场景分割，从而得到场景分割结果。

在上述提供的场景分割方法中，当获取到待分割的目标图像后，生成该目标图像的第一强化场景特征，其中，该第一强化场景特征中携带了目标图像中的各个图像类别之间的关联关系，然后，根据目标图像的第一强化场景特征，对目标图像进行场景分割。可见，本申请实施例在对目标图像进行场景分割时，考虑了目标图像中各个类别之间的关联关系，因此，可以有效提升场景分割结果的准确性。

参见图4，为本申请实施例提供的一种场景分割装置的组成示意图，该装置包括：

目标图像获取单元410，用于获取待分割的目标图像；

强化特征生成单元420，用于生成所述目标图像的第一强化场景特征，其中，所述第一强化场景特征中携带了所述目标图像中的各个图像类别之间的关联关系；

目标场景分割单元430，用于根据所述目标图像的第一强化场景特征，对所述目标图像进行场景分割。

在本申请实施例的一种实现方式中，强化特征生成单元420，包括：

特征提取子单元，用于对所述目标图像进行特征提取，得到所述目标图像的第一初始场景特征；

场景分割子单元，用于根据所述第一初始场景特征对所述目标图像进行场景分割，得到初始分割结果；

特征生成子单元，用于基于预先定义的图像类别关联关系、以及所述初始分割结果，生成所述目标图像的第一强化场景特征。

在本申请实施例的一种实现方式中，所述特征提取子单元，具体用于：

采用下采样和上采样相结合的网络结构，对所述目标图像进行特征提取，得到所述目标图像的第一初始场景特征。

在本申请实施例的一种实现方式中，所述第一初始场景特征包括特征分辨率不同的细节特征和语义特征。

在本申请实施例的一种实现方式中，所述初始分割结果包括至少一个分割位置，每个分割位置对应至少一种预测类别、且每个分割位置对应的各个预测类别的概率之和为1。

在本申请实施例的一种实现方式中，所述特征生成子单元，具体用于：

根据预先定义的图像类别关联关系、所述目标图像中的每一分割位置对应的各个预测类别、以及所述初始场景特征中的属于每一分割位置的场景特征和/或每一分割位置的周边场景的场景特征，生成所述目标图像的第一强化场景特征。

在本申请实施例的一种实现方式中，所述目标场景分割单元430，包括：

场景分割子单元，用于根据所述目标图像的第一初始场景特征和第一强化场景特征，对所述目标图像进行场景分割。

在本申请实施例的一种实现方式中，所述场景分割子单元，具体用于：

将所述目标图像的第一初始场景特征和第一强化场景特征的特征分辨率进行统一化处理，得到所述目标图像的第二初始场景特征和第二强化场景特征；

根据所述目标图像的第二初始场景特征和第二强化场景特征，对所述目标图像进行场景分割。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本申请实施例还提供了一种电子设备，该电子设备的结构示意图如图5所示，该电子设备5000包括至少一个处理器5001、存储器5002和总线5003，至少一个处理器5001均与存储器5002电连接；存储器5002被配置用于存储有至少一个计算机可执行指令，处理器5001被配置用于执行该至少一个计算机可执行指令，从而执行如本申请中任意一个实施例或任意一种可选实施方式提供的任意一种场景分割方法的步骤。

进一步，处理器5001可以是FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其它具有逻辑处理能力的器件，如MCU(Microcontroller Unit，微控制单元)、CPU(Central Process Unit，中央处理器)。

应用本申请实施例，在对目标图像进行场景分割时，考虑了目标图像中各个类别之间的关联关系，因此，可以有效提升场景分割结果的准确性。

本申请实施例还提供了另一种计算机可读存储介质，存储有计算机程序，该计算机程序用于被处理器执行时实现本申请中任意一个实施例或任意一种可选实施方式提供的任意一种场景分割方法的步骤。

本申请实施例提供的计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(RandomAccess Memory，随即存储器)、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

应用本申请实施例，在对目标图像进行场景分割时，考虑了目标图像中各个类别之间的关联关系，因此，可以有效提升场景分割结果的准确性。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (11)

1.一种场景分割方法，其特征在于，包括：

获取待分割的目标图像；

生成所述目标图像的第一强化场景特征，其中，所述第一强化场景特征中携带了所述目标图像中的各个图像类别之间的关联关系；

根据所述目标图像的第一强化场景特征，对所述目标图像进行场景分割。

2.根据权利要求1所述的方法，其特征在于，所述生成所述目标图像的第一强化场景特征，包括：

对所述目标图像进行特征提取，得到所述目标图像的第一初始场景特征；

根据所述第一初始场景特征对所述目标图像进行场景分割，得到初始分割结果；

基于预先定义的图像类别关联关系、以及所述初始分割结果，生成所述目标图像的第一强化场景特征。

3.根据权利要求2所述的方法，其特征在于，所述对所述目标图像进行特征提取，包括：

采用下采样和上采样相结合的网络结构，对所述目标图像进行特征提取。

4.根据权利要求2所述的方法，其特征在于，所述第一初始场景特征包括特征分辨率不同的细节特征和语义特征。

5.根据权利要求2所述的方法，其特征在于，所述初始分割结果包括至少一个分割位置，每个分割位置对应至少一种预测类别、且每个分割位置对应的各个预测类别的概率之和为1。

6.根据权利要求5所述的方法，其特征在于，所述基于预先定义的图像类别关联关系、以及所述初始分割结果，生成所述目标图像的第一强化场景特征，包括：

根据预先定义的图像类别关联关系、所述目标图像中的每一分割位置对应的各个预测类别、以及所述初始场景特征中的属于每一分割位置的场景特征和/或每一分割位置的周边场景的场景特征，生成所述目标图像的第一强化场景特征。

7.根据权利要求2-6任一项所述的方法，其特征在于，所述根据所述目标图像的第一强化场景特征，对所述目标图像进行场景分割，包括：

根据所述目标图像的第一初始场景特征和第一强化场景特征，对所述目标图像进行场景分割。

8.根据权利要求7所述的方法，其特征在于，所述根据所述目标图像的第一初始场景特征和第一强化场景特征，对所述目标图像进行场景分割，包括：

将所述目标图像的第一初始场景特征和第一强化场景特征的特征分辨率进行统一化处理，得到所述目标图像的第二初始场景特征和第二强化场景特征；

根据所述目标图像的第二初始场景特征和第二强化场景特征，对所述目标图像进行场景分割。

9.一种场景分割装置，其特征在于，包括：

目标图像获取单元，用于获取待分割的目标图像；

强化特征生成单元，用于生成所述目标图像的第一强化场景特征，其中，所述第一强化场景特征中携带了所述目标图像中的各个图像类别之间的关联关系；

目标场景分割单元，用于根据所述目标图像的第一强化场景特征，对所述目标图像进行场景分割。

10.一种电子设备，其特征在于，包括：处理器、存储器；

所述存储器，用于存储计算机程序；

所述处理器，用于通过调用所述计算机程序，执行如权利要求1-8中任一项所述的场景分割方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8任一项所述的场景分割方法。

Images