CN111079761B - 图像处理方法、装置及计算机存储介质 - Google Patents

Abstract

本发明公开了一种图像处理方法、装置及计算机存储介质，其中方法包括：提取目标图像的不同尺度的特征图组，其中，同一特征图组中的各个特征图具有相同的尺度；对所有特征图组分别进行同尺度特征融合，获得对应的第一融合特征图；将每一第一融合特征图放大至不同尺度中的最大尺度，并对所有放大后的第一融合特征图进行同尺度特征融合，得到第二融合特征图；根据第二融合特征图，获得目标图像的语义分割结果。

Description

图像处理方法、装置及计算机存储介质

技术领域

本发明涉及图像处理技术领域，更具体地，涉及一种图像处理方法、一种图像处理装置以及一种计算机存储介质。

背景技术

图像的语义分割已成为计算机视觉的三大任务之一，其目标是对图像中的每一像素进行分类，最终将图像分割成一个个具有不同语义含义的区域。正是基于此，图像的语义分割在医学图像分析、自动驾驶、场景理解等领域具有广泛的应用。

目前，通常利用结构复杂的神经网络算法实现图像的语义分割。由于结构复杂的神经网络算法的计算量大，因此，只有利用具备强大的GPU能力的计算机运行结构复杂的神经网络算法，才能实现实时的图像的语义分割。

为了能够利用普通的计算机实现实时的图像的语义分割，通常采用结构较为简单的神经网络算法，但是这使得图像的语义分割的分割精度降低。

发明内容

本发明的一个目的是提供一种用于语义分割的新技术方案。

根据本发明的第一方面，提供了一种图像处理方法，包括：

提取目标图像的不同尺度的特征图组，其中，同一特征图组中的各个特征图具有相同的尺度；

对所有所述特征图组分别进行同尺度特征融合，获得对应的第一融合特征图；

将每一所述第一融合特征图放大至所述不同尺度中的最大尺度，并对所有放大后的所述第一融合特征图进行同尺度特征融合，得到第二融合特征图；

根据所述第二融合特征图，获得所述目标图像的语义分割结果。

可选的，所述提取目标图像的不同尺度的特征图组，包括：

将所述目标图像输入至卷积神经网络中，以获取所述目标图像对于所述不同尺度中每一尺度的第一特征图；

对于每一尺度，将所有所述第一特征图缩放至对应尺度，得到对应尺度的特征图组。

可选的，所述将所述目标图像输入至卷积神经网络中，以获取所述目标图像对于所述不同尺度中每一尺度的第一特征图的步骤，包括：

将所述目标图像输入至卷积神经网络中，获得包含所述不同尺度的第一特征图的候选集合；

对于所述候选集合中存在的尺度相同的多个第一特征图，选择最大深度的第一特征图作为对应尺度的第一特征图；

将所述候选集合中存在除所述尺度相同的多个第一特征图外的第一特征图中的每一个，作为对应尺度的第一特征图。

可选的，所述对于每一尺度，将所有所述第一特征图缩放至对应尺度，包括：

对于每一尺度，对大于对应尺度的第一特征图进行平均池化，以将大于对应尺度的第一特征图缩小至对应尺度；

对于每一尺度，对小于对应尺度的第一特征图进行上采样，以将小于对应尺度的第一特征图放大至对应尺度；

对于每一尺度，对等于对应尺度的第一特征图进行缩放系数为1的缩放。

可选的，所述卷积神经网络为轻量级神经网络。

可选的，所述进行同尺度特征融合，包括：

按照通道数串联待融合特征图集合中的所有特征图，得到第二特征图；其中，所述待融合特征图集合为每一所述特征图组，或者包括所有所述第一融合特征图；

利用1*1的卷积减小所述第二特征图的通道数，及利用可分离卷积，对减小通道数后的第二特征图进行特征融合，得到融合后的第二特征图；

根据融合后的第二特征图，获得与所述待融合特征图对应的融合特征图。

可选的，所述根据融合后的第二特征图，获得与所述待融合特征图对应的融合特征图，包括：

提取所述融合后的第二特征图每一通道对应的全局上下文信息；

利用每一全局上下文信息为融合后的第二特征图中的对应通道设置权重系数；

利用每一通道的所述权重系数，对融合后的第二特征图进行加权，以获得与所述待融合特征图对应的融合特征图。

可选的，所述利用每一通道的所述权重系数，对融合后的第二特征图进行加权，以获得与所述待融合特征图对应的融合特征图，包括：

利用每一通道的所述权重系数，对融合后的第二特征图进行加权，以得到第三特征图；

将所述第三特征图按照预设丢失率随机进行特征丢失，以获得与所述待融合特征图对应的融合特征图。

可选的，所述根据融合后的第二特征图，获得与所述待融合特征图对应的融合特征图，包括：

将融合后的第二特征图按照预设丢失率随机进行特征丢失，以获得与所述待融合特征图对应的融合特征图。

可选的，所述根据所述第二融合特征图，输出所述目标图像的语义分割结果，包括：

将所述第二融合特征图进行缩放至所述目标图像的尺度；

利用1*1的卷积将缩放后的第二融合特征图的通道数减少至为目标通道数，并利用归一化指数函数确定语义分割结果；其中，目标通道数为语义分割的类别数。

根据本发明的第二方面，提供一种图像处理装置，包括：

提取模块，用于提取目标图像的不同尺度的特征图组，其中，同一特征图组中的各个特征图具有相同的尺度；

融合模块，用于对所有所述特征图组分别进行同尺度特征融合，获得对应的第一融合特征图；

所述融合模块，还用于将每一所述第一融合特征图放大至所述不同尺度中的最大尺度，并对所有放大后的所述第一融合特征图进行同尺度特征融合，得到第二融合特征图；

分割模块，用于根据所述第二融合特征图，获得所述目标图像的语义分割结果。

根据本发明的第三方面，提供一种图像处理装置，包括存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用所述计算机指令，以执行如第一方面所述的图像处理方法。

根据本发明的第四方面，提供一种计算机存储介质，所述存储介质存储有计算机指令，当所述存储介质中的计算机指令由处理器执行时，实现如第一方面所述的图像处理方法。

在本实施例中，首先，通过提取目标图像的不同尺度的特征图组；然后对所有特征图组进行同尺度特征融合，获得对应的第一融合特征图。由于对所有特征图组分别进行同尺度特征融合，可以使得获得的对应的第一融合特征图，在对应尺度下都包含丰富的语义和细节信息。再然后将每一第一融合特征图放大至不同尺度中的最大尺度，并对所有放大后的第一融合特征图进行同尺度特征融合，得到第二融合特征图。由于对所有放大后的第一融合特征图进行同尺度特征融合，可以将不同尺度下的语义和细节进行融合，这样可而提高对目标图像的特征表达能力。因此，根据第二融合特征图，所获得目标图像的语义分割结果更为精准。这也就是说，本实施例中，采用了简单算法，还可具备高的分割精度。另外，由于本实施例中采用了简单的算法，这样使得计算机的数据处理量大大降低，因此，普通的计算机，例如PC机也可执行本实施例的方法以达到实时的语义分割。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是本发明实施例提供的一种图像处理系统的硬件结构示意图；

图2是本发明实施例提供的一种图像处理的方法的流程示意图。

图3是本发明实施例提供的一种进行同尺度特征融合的流程示意图；

图4是本发明实施例提供的另一种进行同尺度特征融合的流程示意图；

图5是本发明实施例提供的一种目标图像、人工标注的分割结果、本实施例语义分割结果的示意图；

图6是本发明实施例提供的一种图像处理装置的结构示意图；

图7是本发明实施例提供的另一种图像处理装置的结构示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

<实施例一>

图1是根据本发明实施例的图像处理系统100的硬件配置的框图。

如图1所示，图像处理系统100包括图像采集装置1000和图像处理装置2000。

图像采集装置1000用于采集待检测2D图像，并将采集到的待检测2D图像提供至图像处理装置2000。

该图像采集装置1000可以是能够进行拍照的任意成像设备，以获得目标图像，即待语义分割的图像，例如摄像头等。或者，能够从成像设备获取目标图像的装置。

图像处理装置2000可以是任意的电子设备，例如PC机、笔记本电脑、服务器等。

在本实施例中，参照图1所示，图像处理装置2000可以包括处理器2100、存储器2200、接口装置2300、通信装置2400、显示装置2500、输入装置2600、扬声器2700、麦克风2800等等。

处理器2100可以是移动版处理器。存储器2200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置2300例如包括USB接口、耳机接口等。通信装置2400例如能够进行有线或无线通信，通信装置2400可以包括短距离通信装置，例如是基于Hilink协议、WiFi(IEEE 802.11协议)、Mesh、蓝牙、ZigBee、Thread、Z-Wave、NFC、UWB、LiFi等短距离无线通信协议进行短距离无线通信的任意装置，通信装置2400也可以包括远程通信装置，例如是进行WLAN、GPRS、2G/3G/4G/5G远程通信的任意装置。显示装置2500例如是液晶显示屏、触摸显示屏等，显示装置2500用于显示图像采集装置采集的待语义分割的图像(例如RGB图像)。输入装置2600例如可以包括触摸屏、键盘等。用户可以通过扬声器2700和麦克风2800输入/输出语音信息。

在该实施例中，图像处理装置2000的存储器2200用于存储指令，该指令用于控制处理器2100进行操作以至少执行根据本发明任意实施例的图像处理方法。技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。

尽管在图1中示出了图像处理装置2000的多个装置，但是，本发明可以仅涉及其中的部分装置，例如，图像处理装置2000只涉及存储器2200、处理器2100和显示装置2500。

在本实施例中，图像采集装置1000用于采集目标图像，并提供至图像处理装置2000，图像处理装置2000则基于该目标图像实施根据本发明任意实施例的方法。

应当理解的是，尽管图1仅示出一个图像采集装置1000和一个图像处理装置2000，但不意味着限制各自的数量，图像处理系统100中可以包含多个图像采集装置1000和/或图像处理装置2000。

<实施例二>

本实施例提供的一种图像处理方法，如图2所示，包括如下步骤S201-S204：

S201、提取目标图像的不同尺度的特征图组，其中，同一特征图组中的各个特征图具有不同的尺度。

在本实施例中，上述的目标图像为待语义分割的图像。该图像通常为RGB图像。

在一种实施例中，上述S201通过如下S2011和S2012实现：

S2011、将目标图像输入至卷积神经网络中，以获取目标图像对于不同尺度中每一尺度的第一特征图。

在第一种实施例中，上述S2011的具体实现方式可以为：将目标图像输入至卷积神经网络中，利用卷积神经网络对目标图像进行图像特征提取，得到多个具有对应尺度的特征图。将多个具有对应尺度的特征图中的每一个作为对应尺度的第一特征图。基于此可知，上述S2011中的不同尺度指的是不同特征图分别对应的尺度。

需要说明的是，将目标图像输入至卷积神经网络中，通常会得到5个输出，其中每一个输出对应一个第一特征图，且所对应的第一特征图具备对应的尺度。

在第二种实施例中，将目标图像输入至卷积神经网络中，利用卷积神经网络对目标图像进行图像特征提取，得到多个具有对应尺度的特征图。若得到的多个具有对应尺度的特征图中存在尺度相同的特征图，随机从尺度相同的特征图中选择一个特征图，将选择出的特征图与其他尺度的特征图分别作为对应尺度的第一特征图。

例如，利用卷积神经网络对目标图像进行特征提取，得到5个特征图C1、特征图C2、特征图C3、特征图C4和特征图C5。若其中特征图C3和特征图C4的尺度相同，特征图C1、特征图C2、特征图C4、特征图C5的尺度各不相同，则将特征图C1、特征图C2、特征图C4、特征图C5分别作为对应尺度的第一特征图。或者，特征图C1、特征图C2、特征图C3、特征图C5分别作为第一特征图。

在该实施例中，从尺度相同的特征图中随机选择一个特征图作为第一特征图的方式，相比于将尺度相同的特征图均作为第一特征图的方式，能够的减少数据量，进而提高数据处理速度。同时，为普通计算机例如PC机运行本实施例，以对目标图像实施实时语义分割提供基础。

在第三种实施例中，将目标图像输入至卷积神经网络中，利用卷积神经网络对目标图像进行图像特征提取，得到多个具有对应尺度的特征图。若多个具有对应尺度的特征图中存在尺度相同的特征图，从尺度相同的特征图中选择最大深度的特征图，将选择出的特征图与其他尺度的特征图分别作为对应尺度的第一特征图。

例如，利用卷积神经网络对目标图像进行特征提取，得到5个特征图C1、特征图C2、特征图C3、特征图C4和特征图C5。若其中特征图C3和特征图C4的尺度相同，且特征图C4具有更深的深度，特征图C1、特征图C2、特征图C4、特征图C5的尺度各不相同，则将特征图C1、特征图C2、特征图C4、特征图C5分别作为对应尺度的第一特征图。

需要说明的是，在上述第二种实施例和第三种实施例中，上述S201中的不同尺度指的是，利用卷积神经网络对目标图像进行图像特征提取，得到多个具有对应尺度的特征图，从得到的多个特征图分别所对应的尺度中提取出的互不相同的尺度。

在上述第三种实施例中，由于更深深度的特征图包含更多的图像特征信息，因此。从尺度相同的特征图中选择最大深度的特征图作为第一特征图的方式，相比于将尺度相同的特征图均作为第一特征图的方式，能够有效的减少数据量，进而提高数据处理速度。同时，为普通计算机例如PC机运行本实施例，以对目标图像实施实时语义分割提供基础。

在一种实施例中，上述的卷积神经网络可以为轻量级卷积神经网络，利用可以为：MobileNet、ShuffleNet等轻量级卷积神经网络。由于轻量级神经网络的网络架构简单，即数据处理量小，因此，在该实施例中，能够有效的减少数据量，进而提高数据处理速度。同时，为普通计算机例如PC机运行本实施例，以对目标图像实施实时语义分割提供基础。

基于上述S2011的第二种实现方式，上述S2011可被替换为如下S2011a-S2011c、

S2011a、将目标图像输入至卷积神经网络中，获得包含不同尺度的第一特征图的候选集合。

S2011b、对于候选集合中存在的尺度相同的多个第一特征图，随机选择一个第一特征图作为对应尺度的第一特征图。

S2011c、将候选集合中存在除尺度相同的多个第一特征图外的第一特征图中的每一个，作为对应尺度的第一特征图。

基于上述S2011的第三种实现方式，上述S2011还可被替换为如下步骤S2011d-S2011f：

S2011d、将所述目标图像输入至卷积神经网络中，获得包含所述不同尺度的第一特征图的候选集合。

S2011e、对于所述候选集合中存在的尺度相同的多个第一特征图，选择最大深度的第一特征图作为对应尺度的第一特征图。

S2011f、将所述候选集合中存在除所述尺度相同的多个第一特征图外的第一特征图中的每一个，作为对应尺度的第一特征图。

S2012、对于每一尺度，将所有第一特征图缩放至对应尺度，得到对应尺度的特征图组。

以第一特征图为特征图C1、特征图C2、特征图C4和特征图C5，且对应的尺度分别依次为A1、A2、A4、A5为例，说明上述的S2012的过程：针对于尺度A1，将特征图C1、特征图C2、特征图C4和特征图C5，均缩放到尺度A1，将由缩放后得到的特征图C1’、特征图C2’、特征图C4’和特征图C5’组成的特征图组，作为尺度为A1的特征图组。重复该过程，便可得到尺度为A2的特征图组、尺度为A4的特征图组以及尺度为A5的特征图组。

可以理解的是，特征图C1的尺度本来就为A1，因此，针对尺度A1对特征图C1进行缩放时，缩放系数为1。可以理解的是，此时特征图C1与特征图C1’完全相同。

在一种实施例中，上述S2012中的对于每一尺度的，将所有第一特征图缩放至对应尺度，可通过下述S2012a-S2012c实现：

S2012a、对于每一尺度，对大于对应尺度的第一特征图进行平均池化，以将大于对应尺度的第一特征图缩小至对应尺度。

S2012b、对于每一尺度，对小于对应尺度的第一特征图进行上采样，以将小于对应尺度的第一特征图放大至对应尺度。

在一种例子中，上述的上采样可以为双线性插值上采样。

S2012c、可以理解的是，对于等于对应尺度的第一特征图进行缩放系数为1的缩放。

需要说明的是，上述的平均池化和上采样为本领域人员很容易就做到的，因此，这里不再赘述平均池化和上采样的具体实现。另外，还可采用其他手段，将所有第一特征图缩放至对应尺度。例如，全局池化，上采样等。

S202、对所有特征图组分别进行同尺度特征融合，获得对应的第一融合特征图。

在一种实施例中，如图3所示，上述的进行同尺度特征融合可通过下述S2021-S2023：

S2021、按照通道数串联待融合特征图集合中的所有特征图，得到第二特征图。

在该实施例中，待融合特征图集合为每一特征图组。

以一个特征图组包含特征图C1’、特征图C2’、特征图C4’和特征图C5’为例，若特征图C1’、特征图C2’、特征图C4’和特征图C5’的通道数分别为：B1、B2、B4、B5，则根据上述S2021的得到的第二特征图的通道数为B1+B2+B4+B5，且每一通道上的图像信息保持不变。

S2022、利用1*1的卷积减小第二特征图的通道数，及利用可分离卷积，对减小通道数后的第二特征图进行特征融合，得到融合后的第二特征图。

需要说明的是，利用1*1的卷积将第二特征图的通道数减少的具体减少量可根据经验值设置，另外，上述的可分离卷积可以为1个，也可以为多个，本实施例对可分离卷积的个数不作限定。在一个例子中，一个可分离卷积可以为5*5的可分离卷积。

以可分离卷积为1个5*5的可分离卷积为例，说明上述的S2022。首先利用1*1的卷积将第二特征图的通道数减少，然后针对减少通道后的第二特征图，利用1个5*5的可分离卷积进行卷积计算。将利用1个5*5的可分离卷积进行卷积计算得到的卷积结果，作为融合后的第二特征图。其中，1个5*5的可分离卷积用于对减少通道数后的第二特征图的每一通道进行卷积，并对每一通道进行卷积后得到的卷积结果进行特征融合。另外，融合后的第二特征图具有多个通道。

S2023、根据融合后的第二特征图，获得与待融合特征图对应的融合特征图。

在第一种实施例中，可将融合后的第二特征图，直接作为与待融合特征图对应的融合特征图。

在该实施例中，通过采用了1x1卷积将第二特征图的通道数减少，同时采用可分离卷积替代卷积，可有效减少卷积中的参数。因此，在该实施例中，能够有效的减少数据量，进而提高数据处理速度。同时，为普通计算机例如PC机运行本实施例，以对目标图像实施实时语义分割提供基础。

在第二种实施例中，上述S2023可通过如下S2023a-S2023c来实现：

S2023a、提取融合后的第二特征图每一通道对应的全局上下文信息。

需要说明的是，上述S2023a的为本领域技术人员很容易就做到的，因此，在此不再赘述上述S2023a的具体实现。另外，本实施例并不限定获取全局上下文信息的具体方式。

S2023b、利用全局上下文信息为融合后的第二特征图中的每一个通道设置权重系数。

S2023c、利用权重系数，对融合后的第二特征图进行加权，以获得与待融合特征图对应的融合特征图。

在一种实施例中，上述S2023c的具体实现方式可以为：利用权重系数，对融合后的第二特征图进行加权，将加权后的结果直接作为与待融合特征图对应的融合特征图。

在该实施例中，由于利用全局上下文信息为融合后的第二特征图中的每一个通道设置的权重系数，因此，该权重系数可以反映出融合后的第二特征图中每一通道对应的特征的重要性。进一步的，在该实施例中，可将有效的特征放大，无效的特征减小，进而使得与待融合特征图对应的融合特征图可更准确的反映出目标图像的特征。

在一种实施例中，上述S2023c中的具体实现方式还可以为：

c1、利用每一通道的所述权重系数，对融合后的第二特征图进行加权，以得到第三特征图。

c2、将第三特征图按照预设丢失率随机进行特征丢失，以获得与待融合特征图对应的融合特征图。

在一种实施例中，可通过Dropout函数实现上述的按照预设丢失率进行随机丢失。在一个例子中，上述的预设丢失率可以为0.5。

在该实施例中，在上述S2023a-S2023c的基础上，还可以将融合后的第二特征图按照预设丢失率随机进行特征丢失，从而减少融合后的第二特征图中特征之间的依赖关系，避免过拟合，提升泛化能力。

基于上述的内容可知，在一种实施方式中，进行同尺度特征融合可如图4所示。

在第三种实施例中，上述S2023可通过如下S2023d来实现：

S2023d、将融合后的第二特征图按照预设丢失率随机进行特征丢失，以获得与待融合特征图对应的融合特征图。

在一种实施例中，可通过Dropout函数实现上述的按照预设丢失率进行随机丢失。在一个例子中，上述的预设丢失率可以为0.5。

在该实施例中，将融合后的第二特征图按照预设丢失率随机进行特征丢失，可以减少融合后的第二特征图中特征之间的依赖关系，避免过拟合，提升泛化能力。

S203、将每一第一融合特征图放大至不同尺度中的最大尺度，并对所有放大后的所述第一融合特征图进行同尺度特征融合，得到第二融合特征图。

基于上述S202可得到多个第一融合特征图。另外，可通常采用上采样的方法实现上述S203中的放大。

需要说明的是，上述S203中的同尺度特征融合，与上述的S202中的同尺度特征融合的数据处理过程相同。唯一的差别仅仅在于，上述S202中的同尺度特征融合中待融合特征图集合为每一特征图组，而S203中的同尺度特征融合中的待融合特征图集合包括所有第一融合特征图。

进一步需要说明的是，上述S202和S203中可以按照需求，来采用不同方式的同尺度特征融合。例如，在上述S202中可以利用如图3所示的方式，在S203中可利用如图4所示的方式。

S204、根据第二融合特征图，获得目标图像的语义分割结果。

在一种实施例中，上述S204可通过下述S2041和S2042来实现：

S2041、将第二融合特征图进行缩放至目标图像的尺度。

通常，第二融合特征图的尺度小于目标图像的尺度，因此，上述S2041中为将第二融合特征图放大至目标图像的尺度。其中，可采用上采样的方法实现S2041中的放大。

S2042、利用1*1的卷积将缩放后的第二融合特征图的通道数减小至目标通道数，并利用归一化指数函数确定语义分割结果。其中，目标通道数为语义分割的类别数。

上述S2042中的归一化指数函数是逻辑函数的一种推广，能将一个含任意实数的K维向量“压缩”到另一个K维实向量中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。

在本实施例中，首先，通过提取目标图像的不同尺度的特征图组；然后对所有特征图组进行同尺度特征融合，获得对应的第一融合特征图。由于对所有特征图组分别进行同尺度特征融合，可以使得获得的对应的第一融合特征图，在对应尺度下都包含丰富的语义和细节信息。再然后将每一第一融合特征图放大至不同尺度中的最大尺度，并对所有放大后的第一融合特征图进行同尺度特征融合，得到第二融合特征图。由于对所有放大后的第一融合特征图进行同尺度特征融合，可以将不同尺度下的语义和细节进行融合，这样可而提高对目标图像的特征表达能力。因此，根据第二融合特征图，所获得目标图像的语义分割结果更为精准。这也就是说，本实施例中，采用了简单算法，还可具备高的分割精度。另外，由于本实施例中采用了简单的算法，这样使得计算机的数据处理量大大降低，因此，普通的计算机，例如PC机也可执行本实施例的方法以达到实时的语义分割。

如图5所示，图5中包含目标图像、人工标注的分割结果、利用本实施例的图像处理方法对目标图像进行图像处理得到的语义分割结果。基于图5可直观的得出，利用本实施例的语义分割方法得到的语义分割结果具有较高的语义分割精度。

另外，针对相同的数据集，分别利用传统技术中FCN8s、SegNet、Dilation8、BiSegNet的图像处理方法，以及本实施例的图像处理方法得到的MeanIoU(用于表征语义分割的精度)，如下述表1所示。

表1

基于上述的表1可知，本实施例的图像处理方法具有更高的语义分割精度。

<实施例三>

如图6所示，本发明实施例还提供一种图像处理装置6000。该图像处理装置6000包括：提取模块6100、融合模块6200、分割模块6300。其中：

提取模块6100，用于提取目标图像的不同尺度的特征图组，其中，同一特征图组中的各个特征图具有相同的尺度；

融合模块6200，用于对所有所述特征图组分别进行同尺度特征融合，获得对应的第一融合特征图；

融合模块6200，还用于将每一所述第一融合特征图放大至所述不同尺度中的最大尺度，并对所有放大后的所述第一融合特征图进行同尺度特征融合，得到第二融合特征图；

分割模块6300，用于根据所述第二融合特征图，获得所述目标图像的语义分割结果。

在一个实施例中，提取模块6100，具体用于将所述目标图像输入至卷积神经网络中，以获取所述目标图像对于所述不同尺度中每一尺度的第一特征图；

对于每一尺度，将所有所述第一特征图缩放至对应尺度，得到对应尺度的特征图组。

在一个实施例中，提取模块6100，具体用于将所述目标图像输入至卷积神经网络中，获得包含所述不同尺度的第一特征图的候选集合；

对于所述候选集合中存在的尺度相同的多个第一特征图，选择最大深度的第一特征图作为对应尺度的第一特征图；

将所述候选集合中存在除所述尺度相同的多个第一特征图外的第一特征图中的每一个，作为对应尺度的第一特征图。

在一个实施例中，提取模块6100，具体用于对于每一尺度，对大于对应尺度的第一特征图进行平均池化，以将大于对应尺度的第一特征图缩小至对应尺度；

对于每一尺度，对小于对应尺度的第一特征图进行上采样，以将小于对应尺度的第一特征图放大至对应尺度；

对于每一尺度，对等于对应尺度的第一特征图进行缩放系数为1的缩放。

在一种实施例中，所述卷积神经网络为轻量级神经网络。

在一种实施例中，融合模块6200，具体用于按照通道数串联待融合特征图集合中的所有特征图，得到第二特征图；其中，所述待融合特征图集合为每一所述特征图组，或者包括所有所述第一融合特征图；

利用1*1的卷积减小所述第二特征图的通道数，及利用可分离卷积，对减小通道数后的第二特征图进行特征融合，得到融合后的第二特征图；

根据融合后的第二特征图，获得与所述待融合特征图对应的融合特征图。

在一种实施例中，融合模块6200，具体用于提取所述融合后的第二特征图每一通道对应的全局上下文信息；

利用每一全局上下文信息为融合后的第二特征图中的对应通道设置权重系数；

利用每一通道的所述权重系数，对融合后的第二特征图进行加权，以获得与所述待融合特征图对应的融合特征图。

在一种实施例中，融合模块6200，具体用于利用每一通道的所述权重系数，对融合后的第二特征图进行加权，以得到第三特征图；

将所述第三特征图按照预设丢失率随机进行特征丢失，以获得与所述待融合特征图对应的融合特征图。

在一种实施例中，融合模块6200，具体用于将融合后的第二特征图按照预设丢失率随机进行特征丢失，以获得与所述待融合特征图对应的融合特征图。

在一种实施例中，分割模块6300，具体用于将所述第二融合特征图进行缩放至所述目标图像的尺度；

利用1*1的卷积将缩放后的第二融合特征图的通道数减少至目标通道数，并利用归一化指数函数确定语义分割结果；其中，目标通道数为语义分割的类别数。

需要说明的是，本发明装置实施例中各模块的具体实现方式可以参见本发明方法实施例的相关内容，在此不再赘述。

<实施例四>

如图7所示，本发明实施例还提供一种图像处理装置7000。该装置包括存储器7100和处理器7200。其中：

所述存储器7100用于存储计算机指令；

所述处理器7200用于从所述存储器7100中调用所述计算机指令，以执行如实施例二所述的图像处理方法。

<实施例五>

在本实施例中，还提供一种计算机存储介质，所述存储介质存储有计算机指令，当所述存储介质中的计算机指令由处理器执行时，实现如实施例一所述的图像处理方法。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

提取目标图像的不同尺度的特征图组，其中，同一特征图组中的各个特征图具有相同的尺度；

对所有所述特征图组分别进行同尺度特征融合，获得对应的第一融合特征图；

将每一所述第一融合特征图放大至所述不同尺度中的最大尺度，并对所有放大后的所述第一融合特征图进行同尺度特征融合，得到第二融合特征图；

根据所述第二融合特征图，获得所述目标图像的语义分割结果；

其中，所述提取目标图像的不同尺度的特征图组，包括：

将所述目标图像输入至卷积神经网络中，以获取所述目标图像对于所述不同尺度中每一尺度的第一特征图；

对于每一尺度，将所有所述第一特征图缩放至对应尺度，得到对应尺度的特征图组；

所述进行同尺度特征融合，包括：

按照通道数串联待融合特征图集合中的所有特征图，得到第二特征图；其中，所述待融合特征图集合为每一所述特征图组，或者包括所有所述第一融合特征图；

利用1*1的卷积减小所述第二特征图的通道数，及利用可分离卷积，对减小通道数后的第二特征图进行特征融合，得到融合后的第二特征图；

根据融合后的第二特征图，获得与所述待融合特征图对应的融合特征图；

所述根据所述第二融合特征图，获得所述目标图像的语义分割结果，包括：

将所述第二融合特征图缩放至所述目标图像的尺度；

利用1*1的卷积将缩放后的第二融合特征图的通道数减少至目标通道数，并利用归一化指数函数确定语义分割结果；其中，目标通道数为语义分割的类别数。

2.根据权利要求1所述的方法，所述将所述目标图像输入至卷积神经网络中，以获取所述目标图像对于所述不同尺度中每一尺度的第一特征图的步骤，包括：

将所述目标图像输入至卷积神经网络中，获得包含所述不同尺度的第一特征图的候选集合；

对于所述候选集合中存在的尺度相同的多个第一特征图，选择最大深度的第一特征图作为对应尺度的第一特征图；

将所述候选集合中存在除所述尺度相同的多个第一特征图外的第一特征图中的每一个，作为对应尺度的第一特征图。

3.根据权利要求1所述的方法，其特征在于，所述对于每一尺度，将所有所述第一特征图缩放至对应尺度，包括：

对于每一尺度，对大于对应尺度的第一特征图进行平均池化，以将大于对应尺度的第一特征图缩小至对应尺度；

对于每一尺度，对小于对应尺度的第一特征图进行上采样，以将小于对应尺度的第一特征图放大至对应尺度；

对于每一尺度，对等于对应尺度的第一特征图进行缩放系数为1的缩放。

4.根据权利要求1所述的方法，其特征在于，所述卷积神经网络为轻量级神经网络。

5.根据权利要求1所述的方法，其特征在于，所述根据融合后的第二特征图，获得与所述待融合特征图对应的融合特征图，包括：

提取所述融合后的第二特征图每一通道对应的全局上下文信息；

利用每一全局上下文信息为融合后的第二特征图中的对应通道设置权重系数；

利用每一通道的所述权重系数，对融合后的第二特征图进行加权，以获得与所述待融合特征图对应的融合特征图。

6.根据权利要求5所述的方法，其特征在于，所述利用每一通道的所述权重系数，对融合后的第二特征图进行加权，以获得与所述待融合特征图对应的融合特征图，包括：

利用每一通道的所述权重系数，对融合后的第二特征图进行加权，以得到第三特征图；

将所述第三特征图按照预设丢失率随机进行特征丢失，以获得与所述待融合特征图对应的融合特征图。

7.根据权利要求5所述的方法，其特征在于，所述根据融合后的第二特征图，获得与所述待融合特征图对应的融合特征图，包括：

将融合后的第二特征图按照预设丢失率随机进行特征丢失，以获得与所述待融合特征图对应的融合特征图。

8.一种图像处理装置，其特征在于，包括：

提取模块，用于提取目标图像的不同尺度的特征图组，其中，同一特征图组中的各个特征图具有相同的尺度；

融合模块，用于对所有所述特征图组分别进行同尺度特征融合，获得对应的第一融合特征图；

所述融合模块，还用于将每一所述第一融合特征图放大至所述不同尺度中的最大尺度，并对所有放大后的所述第一融合特征图进行同尺度特征融合，得到第二融合特征图；

分割模块，用于根据所述第二融合特征图，获得所述目标图像的语义分割结果；

其中，所述提取模块，具体用于将所述目标图像输入至卷积神经网络中，以获取所述目标图像对于所述不同尺度中每一尺度的第一特征图；

对于每一尺度，将所有所述第一特征图缩放至对应尺度，得到对应尺度的特征图组；

所述融合模块，具体用于按照通道数串联待融合特征图集合中的所有特征图，得到第二特征图；其中，所述待融合特征图集合为每一所述特征图组，或者包括所有所述第一融合特征图；

利用1*1的卷积减小所述第二特征图的通道数，及利用可分离卷积，对减小通道数后的第二特征图进行特征融合，得到融合后的第二特征图；

根据融合后的第二特征图，获得与所述待融合特征图对应的融合特征图；

所述分割模块，具体用于将所述第二融合特征图缩放至所述目标图像的尺度；

利用1*1的卷积将缩放后的第二融合特征图的通道数减少至目标通道数，并利用归一化指数函数确定语义分割结果；其中，目标通道数为语义分割的类别数。

9.一种图像处理装置，其特征在于，包括存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用所述计算机指令，以执行如权利要求1-7任一项所述的图像处理方法。

10.一种计算机存储介质，其特征在于，所述存储介质存储有计算机指令，当所述存储介质中的计算机指令由处理器执行时，实现如权利要求1-7任一项所述的图像处理方法。