CN113743410A - 图像处理方法、装置和计算机可读存储介质 - Google Patents

Abstract

本公开涉及一种图像处理方法、装置和计算机可读存储介质，涉及计算机技术领域。本公开的方法包括：获取多个第一数据域图像和第二数据域图像对作为多个图像对，其中，每个图像对中的第一数据域图像和第二数据域图像的采集位置差距在预设范围内，且第一数据域图像和第二数据域图像属于不同光照条件或不同天气条件下的图像；针对每个图像对，将第一数据域图像和第二数据域图像分别输入语义分割网络，得到第一数据域图像和第二数据域图像的分割结果；根据各个图像对中第一数据域图像的分割结果和第二数据域图像的分割结果的相似性，确定第一损失函数；根据第一损失函数调整语义分割模型的参数，直至达到预设收敛条件，以完成对语义分割模型的训练。

Description

图像处理方法、装置和计算机可读存储介质

技术领域

本公开涉及计算机技术领域，特别涉及一种图像处理方法、装置和计算机可读存储介质。

背景技术

语义分割(Semantic Segmentation)是利用计算机视觉技术对图像中每个像素进行语义分类。该技术可应用于无人驾驶系统、智能机器人等领域。

目前，但是大多数语义分割算法都是为有利的光照和天气条件下捕获的白天场景而设计的，并且需要大量的标记，完成语义分割模型的训练。

发明内容

发明人发现：大多数语义分割算法不能很好的适用于不同光照和天气条件下的图像的语义分割，尤其是针对光照条件不好的夜间图像或者天气条件不好的雨天或雪天的图像，语义分割模型的准确度和适应性不好。并且由于需要大量标记进行训练，提高了人工成本，降低了训练效率。

本公开所要解决的一个技术问题是：如何提高语义分割模型针对不同光照或不同天气条件下的图像的分割准确度，提高训练效率。

根据本公开的一些实施例，提供的一种图像处理方法，包括：获取多个第一数据域图像和第二数据域图像对作为多个图像对，其中，每个图像对中的第一数据域图像和第二数据域图像的采集位置差距在预设范围内，且第一数据域图像和第二数据域图像属于不同光照条件或不同天气条件下的图像；针对每个图像对，将第一数据域图像和第二数据域图像分别输入语义分割网络，得到第一数据域图像的分割结果和第二数据域图像的分割结果；根据各个图像对中第一数据域图像的分割结果和第二数据域图像的分割结果的相似性，确定第一损失函数；根据第一损失函数调整语义分割模型的参数，直至达到预设收敛条件，以完成对语义分割模型的训练。

在一些实施例中，该方法还包括：针对每个图像对，将第一数据域图像输入生成器，得到第一数据域图像的特征信息，其中，生成器中的特征提取层与语义分割模型中的特征提取层结构和参数相同；将第一数据域图像的特征信息和第一数据域图像进行融合，得到第一融合数据；将第一融合数据输入判别器，得到第一判别结果；根据各个图像对所对应的第一判别结果确定对抗损失函数，作为第二损失函数；根据第一损失函数调整语义分割模型的参数，直至达到预设收敛条件包括：根据第一损失函数和第二损失函数确定总损失函数；根据总损失函数调整语义分割模型的参数、生成器的参数和判别器的参数，直至达到预设收敛条件。

在一些实施例中，该方法还包括：根据各个第一数据域图像的分割结果和各个第一数据域图像的预训练的语义分割结果的差异，确定第三损失函数；根据第一损失函数和第二损失函数确定总损失函数包括：根据第一损失函数、第二损失函数和第三损失函数确定总损失函数。

在一些实施例中，该方法还包括：针对每个图像对，将第二数据域图像和第一数据域图像进行融合，得到第二融合数据；将第二融合数据输入判别器，得到第二判别结果；根据各个图像对所对应的第一判别结果和第二判别结果确定第四损失函数；根据第四损失函数调整判别器的参数，直至达到预设条件。

在一些实施例中，根据各个图像对中第一数据域图像的分割结果和第二数据域图像的分割结果的相似性，确定第一损失函数包括：针对每个图像对，将第一数据域图像的分割结果中每个像素点的特征，采用该像素点周围预设区域范围内的相邻像素的分割结果表示，得到第一数据域图像的区域特征信息；将第二数据域图像的分割结果中每个像素点的特征，采用该像素点周围预设区域范围内的相邻像素的分割结果表示，得到第二数据域图像的区域特征信息；根据第一数据域图像的区域特征信息和第二数据域图像的区域特征信息之间的互信息，确定图像对所对应的互信息损失；根据各个图像对所对应的互信息损失，确定互信息损失函数，作为第一损失函数。

在一些实施例中，根据各个图像对所对应的互信息损失，确定互信息损失函数，作为第一损失函数包括：根据各个图像对的调整因子，对各个图像对所对应的互信息损失进行加权求和，得到互信息损失函数，作为第一损失函数。

在一些实施例中，第一损失函数采用以下公式表示：

其中，B表示图像对的数量，1≤b≤B，b为正整数，C表示语义分割的种类数，1≤c≤C，c为正整数，

表示第b个图像对所对应的互信息损失，X表示一个语义分割的种类对应的第一数据域图像的区域特征信息，Y表示一个语义分割的种类对应的第二数据域图像的区域特征信息，(1-l_b)^γ表示第b个图像对的调整因子，l_b表示第b个图像对的权重，γ为超参数。

在一些实施例中，

其中，

det表示行列式。

在一些实施例中，将第一数据域图像和第二数据域图像分别输入语义分割网络，得到第一数据域图像的分割结果和第二数据域图像的分割结果包括：将第一数据域图像输入语义分割网络的特征提取层，得到第一数据域图像的基本特征信息，将第一数据域图像的基本特征信息输入语义分割网络的分类器，得到第一数据域图像中各个像素点属于各个语义分割的种类的概率，作为第一数据域图像的初步分割结果，将第一数据域图像的初步分割结果进行上采样，得到第一数据域图像的分割结果；将第二数据域图像输入语义分割网络的特征提取层，得到第二数据域图像的基本特征信息，将第二数据域图像的基本特征信息输入语义分割网络的分类器，得到第二数据域图像中各个像素点属于各个语义分割的种类的概率，作为第二数据域图像的初步分割结果，将第二数据域图像的初步分割结果进行上采样，得到第二数据域图像的分割结果。

在一些实施例中，将第一数据域图像输入生成器，得到将第一数据域图像的特征信息包括：将第一数据域图像输入生成器的特征提取层，得到第一数据域图像的基本特征信息；将第一数据域图像的基本特征信息输入生成器的上采样层，得到将第一数据域图像的特征信息。

在一些实施例中，第二损失函数采用以下公式表示：

其中，x表示第一数据域图像，B^S表示第一数据域图像的集合，G(x)表示第一数据域图像的特征信息，D(·)表示判别器函数，D(x,G(x))表示第一判别结果。

在一些实施例中，根据各个第一数据域图像的分割结果和各个第一数据域图像的预训练的语义分割结果的差异，确定第三损失函数包括：根据各个第一数据域图像的分割结果和各个第一数据域图像的预训练的语义分割结果，确定交叉熵损失函数，作为第三损失函数。

在一些实施例中，第四损失函数采用以下公式表示：

其中，x表示第一数据域图像，y表示第二数据域图像，B^S表示第一数据域图像的集合，B^t表示第二数据域图像的集合，G(x)表示第一数据域图像的特征信息，D(·)表示判别器函数，D(x，G(x))表示第一判别结果，D(x，y)表示第二判别结果。

在一些实施例中，该方法还包括：将待分割的图像输入训练完成的语义分割模型，得到待分割的图像的语义分割结果。

在一些实施例中，该方法还包括：根据各个第一数据域图像的分割结果和各个第一数据域图像的预训练的语义分割结果的差异，确定第三损失函数；根据第一损失函数调整语义分割模型的参数，直至达到预设收敛条件包括：根据第一损失函数和第三损失函数确定总损失函数；根据总损失函数调整语义分割模型的参数，直至达到预设收敛条件。

根据本公开的另一些实施例，提供的一种图像处理装置，包括：获取模块，用于获取多个第一数据域图像和第二数据域图像对作为多个图像对，其中，每个图像对中的第一数据域图像和第二数据域图像的采集位置差距在预设范围内，且第一数据域图像和第二数据域图像属于不同光照条件或不同天气条件下的图像；第一损失确定模块，用于针对每个图像对，将第一数据域图像和第二数据域图像分别输入语义分割网络，得到第一数据域图像的分割结果和第二数据域图像的分割结果；根据各个图像对中第一数据域图像的分割结果和第二数据域图像的分割结果的相似性，确定第一损失函数；调整模块，用于根据第一损失函数调整语义分割模型的参数，直至达到预设收敛条件，以完成对语义分割模型的训练。

根据本公开的又一些实施例，提供的一种图像处理装置，包括：处理器；以及耦接至处理器的存储器，用于存储指令，指令被处理器执行时，使处理器执行如前述任意实施例的图像处理方法。

根据本公开的再一些实施例，提供的一种非瞬时性计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现前述任意实施例的图像处理方法。

本公开中将不同光照条件或不同天气条件下的图像分别作为第一数据域图像和第二数据域图像，组成多个图像对，根据各个图像对中第一数据域图像的分割结果和第二数据域图像的分割结果的相似性，确定第一损失函数对语义分割模型进行训练。由于图像对中的图像采集位置大体相同，利用近景图像对之间的相似性以及语义分割之间的固有相关性对语义分割模型进行训练，无需进行标记，提高了训练效率，降低了人工成本。进一步，由于图像对包含不同光照条件或不同天气条件下的图像，使得语义分割模型可以学习不同光照条件或不同天气条件下的图像的特征，从而提高模型的分割准确度以及适应性。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本公开的一些实施例的图像处理方法的流程示意图。

图2示出本公开的一些实施例的网络结构的示意图。

图3示出本公开的另一些实施例的图像处理方法的流程示意图。

图4示出本公开的又一些实施例的图像处理方法的流程示意图。

图5示出本公开的再一些实施例的图像处理方法的流程示意图。

图6示出本公开的一些实施例的图像处理装置的结构示意图。

图7示出本公开的另一些实施例的图像处理装置的结构示意图。

图8示出本公开的再一些实施例的图像处理装置的结构示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

本公开提出一种图像处理方法，下面结合图1～5进行描述。

图1为本公开图像处理方法一些实施例的流程图。如图1所示，该实施例的方法包括：步骤S102～S108。

在步骤S102中，获取多个第一数据域图像和第二数据域图像对作为多个图像对。

每个图像对包含一张第一数据域图像和一张第二数据域图像，第一数据域图像和第二数据域图像的采集位置差距在预设范围内，且第一数据域图像和第二数据域图像属于不同光照条件或不同天气条件下的图像。可以将光照条件更好或者天气条件更好的图像作为第一数据域图像，另一张图像作为第二数据域图像。例如，第一数据域图像为白天图像，第二数据域图像为夜间图像，或第一数据域图像为晴天图像，目标图像为多雨图像等，不限于所举示例。

可以分别采集第一数据域图像和第二数据域图像后组成图像对。例如，将第一数据域(例如，白天图像)中的训练集设为

x_i为第i个第一数据域图像，其中M是第一数据域图像的数量。第二数据域(例如，夜间/多雨图像)中的训练集为

y_i为第i个第二数据域图像，N为第二数据域图像数。对于每个第二数据域图像y_j，可以存在从相似位置捕获的多个第一数据域图像x_i。每个(x_i,y_j)都可以视为一个图像对。

在步骤S104中，针对每个图像对，将第一数据域图像和第二数据域图像分别输入语义分割网络，得到第一数据域图像的分割结果和第二数据域图像的分割结果。

语义分割模型可以用S:

表示，H，W表示像素点的二维空间位，C表示标签类别数(语义分割的种类数)。第一数据域图像的分割结果和第二数据域图像的分割结果包括每个像素点所属的标签类别(例如，道路、建筑物、汽车、天空等)。

在一些实施例中，语义分割模型包括特征提取层、分类器和上采样层。将第一数据域图像输入语义分割网络的特征提取层，得到第一数据域图像的基本特征信息，将第一数据域图像的基本特征信息输入语义分割网络的分类器，得到第一数据域图像中各个像素点属于各个语义分割的种类的概率，作为第一数据域图像的初步分割结果，将第一数据域图像的初步分割结果进行上采样，得到第一数据域图像的分割结果；将第二数据域图像输入语义分割网络的特征提取层，得到第二数据域图像的基本特征信息，将第二数据域图像的基本特征信息输入语义分割网络的分类器，得到第二数据域图像中各个像素点属于各个语义分割的种类的概率，作为第二数据域图像的初步分割结果，将第二数据域图像的初步分割结果进行上采样，得到第二数据域图像的分割结果。

如图2所示，特征提取层可以作为共享层(Sharing Layer)，后续实施例中将进行详细描述。特征提取层可以采用神经网络，例如ResNet-101等，不限于所举示例。分类器可以采用全连接分类网络或者Atrous空间金字塔池(ASPP)等，不限于所举示例。

在步骤S106中，根据各个图像对中第一数据域图像的分割结果和第二数据域图像的分割结果的相似性，确定第一损失函数。

第一数据域图像的分割结果和第二数据域图像的分割结果的相似性越高，第一损失函数值越小。可以用各个图像对中第一数据域图像的分割结果和第二数据域图像的分割结果的区域互信息来表示两者的相似性，进而确定第一损失函数。由于视点差异或运动对象可能会导致第一数据域图像的分割结果和第二数据域图像的分割结果之间的布局不完全对齐，从而不可避免地损害了监督训练过程。使用区域互信息可以更好地抵抗第一数据域图像的分割结果和第二数据域图像的分割结果未对准的影响。

在一些实施例中，针对每个图像对，将第一数据域图像的分割结果中每个像素点的特征，采用该像素点周围预设区域范围内的相邻像素的分割结果表示，得到第一数据域图像的区域特征信息；将第二数据域图像的分割结果中每个像素点的特征，采用该像素点周围预设区域范围内的相邻像素的分割结果表示，得到第二数据域图像的区域特征信息；根据第一数据域图像的区域特征信息和第二数据域图像的区域特征信息之间的互信息，确定图像对所对应的互信息损失；根据各个图像对所对应的互信息损失，确定互信息损失函数，作为第一损失函数。

每个像素点的特征可以使用R²—neighborhood patch feature(例如，周围预设区域范围内的相邻像素的分割结果的平均值)表示。第一数据域图像x_i的分割结果为S(x_i)，其一个语义分割的种类对应的R²-neighborhood patch feature写作

withd＝R²。类似地，第二数据域图像y_j的分割结果为S(y_j)，一个语义分割的种类对应的区域特征信息写为

如果将X和Y视为多维随机变量，则X和Y之间的互信息，即I(X；Y)可以表示为：

公式(1)中，f(x),f(y)分别是X和Y的概率密度函数，f(x,y)是X和Y的联合概率密度函数，

and

分别表示x和y的值范围。

互信息的值越大，表示X和Y之间的相似性越大。为了简化上述公式的计算过程，可以最大化I(X；Y)的下限而不是其实际值，将公式(1)改写为以下公式(2)。

公式(2)中，

det表示行列式，∑_Y，∑_X分别表示Y，X的方差矩阵，cov(Y,X)表示(Y，X)的协方差矩阵。

可以将公式(2)中的常数项忽略，得到I(X；Y)的简化下界，即I_l(X；Y)，采用以下公式表示。

进一步，根据每个图像对中第一数据域图像的区域特征信息和第二数据域图像的区域特征信息之间的互信息，可以确定区域互信息损失，采用以下公式表示。

B表示图像对的数量，1≤b≤B，b为正整数，C表示语义分割的种类数，1≤c≤C，c为正整数，

表示第b个图像对所对应的互信息损失，X表示一个语义分割的种类对应的第一数据域图像的区域特征信息，Y表示一个语义分割的种类对应的第二数据域图像的区域特征信息。语义分割结果中包括每个像素点属于每种语义分割的种类的概率，一个语义分割的种类对应的第一数据域图像或第二数据域图像的区域特征信息，是指针对一个语义分割的种类，可以得到各个像素点对应的概率，进而根据该像素点周围预设区域范围内的相邻像素对应的概率，得到一个语义分割的种类对应的区域特征信息。

许多因素可能会导致图像对中的图像之间出现外观差异，包括天气，照明条件，运动对象和图像视点等。这些因素会导致第一数据域图像和第二数据域图像之间的分割结果布局不对齐，导致损失增大。如果图像对中第一数据域图像和第二数据域图像之间的分割结果越相近，则损失越大，可以通过调整因子，以增强这些分割结果越相近的图像对对损失的影响。

在一些实施例中，根据各个图像对的调整因子，对各个图像对所对应的互信息损失进行加权求和，得到互信息损失函数，作为第一损失函数。图像对中第一数据域图像的区域特征信息和第二数据域图像的区域特征信息之间的互信息的值越大或者图像对所对应的互信息损失，则该图像对的调整因子越大。

由于可以在相同或相似位置捕获的多个第一数据域图像表示为x_i,b，对应于一个第二数据域图像y_i。将每个第一数据域图像与该第二数据域图像组成图像对，并且多个图像对组成一个批次

互信息(区域互信息)损失函数可以采用以下公式表示。

公式(5)中，B表示(一个批次内)图像对的数量，1≤b≤B，b为正整数，C表示语义分割的种类数，1≤c≤C，c为正整数，

表示第b个图像对所对应的互信息损失，X表示一个语义分割的种类对应的第一数据域图像的区域特征信息，Y表示一个语义分割的种类对应的第二数据域图像的区域特征信息，(1-l_b)^γ表示第b个图像对的调整因子，l_b表示第b个图像对的权重，γ为超参数。

公式(6)与公式(3)是相同的。

在步骤S108中，根据第一损失函数调整语义分割模型的参数，直至达到预设收敛条件，以完成对语义分割模型的训练。

前面提到可以将图像对划分为多个批次，可以根据每个批次计算第一损失函数的值，可以采用梯度下降算法调整语义分割模型的参数，直至达到预设收敛条件，例如，第一损失函数的值达到最小或预设值，或者达到预设迭代次数。调整语义分割模型的参数的方法可以参考现有技术，在此不再赘述。

上述实施例的方法中将不同光照条件或不同天气条件下的图像分别作为第一数据域图像和第二数据域图像，组成多个图像对，根据各个图像对中第一数据域图像的分割结果和第二数据域图像的分割结果的相似性，确定第一损失函数对语义分割模型进行训练。由于图像对中的图像采集位置大体相同，利用近景图像对之间的相似性以及语义分割之间的固有相关性对语义分割模型进行训练，无需进行标记，提高了训练效率，降低了人工成本。进一步，由于图像对包含不同光照条件或不同天气条件下的图像，使得语义分割模型可以学习不同光照条件或不同天气条件下的图像的特征，从而提高模型的分割准确度以及适应性。

下面结合图3描述本公开图像处理方法的另一些实施例。

图3为本公开图像处理方法另一些实施例的流程图。如图3所示，与步骤S104和步骤S106并列的包括步骤S302～S308。

在步骤S302中，针对每个图像对，将第一数据域图像输入生成器，得到第一数据域图像的特征信息。

在一些实施例中，生成器包括特征提取层和上采样层，如图2所示，生成器中的特征提取层与语义分割模型中的特征提取层结构和参数相同，属于共享层。将第一数据域图像输入生成器的特征提取层，得到第一数据域图像的基本特征信息；将第一数据域图像的基本特征信息输入生成器的上采样层，得到第一数据域图像的特征信息。

在步骤S304中，将第一数据域图像的特征信息和第一数据域图像进行融合，得到第一融合数据。

例如，为了充分利用第一数据域和第二数据域数据，在训练过程中通过将第一数据域图像同时转换为第二数据域风格的图像，来训练GAN(生成对抗)网络参数。训练目标是学习给定第一数据域D^S和第二数据域D_t的额训练样本和的之间的映射函数G：

第一数据域图像经过生成器之后得到特征信息

将该特征信息与第一数据域图像沿通道合并，得到第一融合数据。

在步骤S306中，将第一融合数据输入判别器，得到第一判别结果。

将第一融合数据输入判别器D，得到第一判别结果。

在步骤S308中，根据各个图像对所对应的第一判别结果确定对抗损失函数，作为第二损失函数。

例如，第二损失函数采用以下公式表示。

x表示第一数据域图像，B^S表示(一个批次)第一数据域图像的集合，G(x)表示第一数据域图像的特征信息，D(·)表示判别器函数，D(x,G(x))表示第一判别结果。

的目标是使第一融合数据被视为第二数据域图像的预测概率最大化。

的目标是优化以下最小-最大函数。

在一些实施例中，步骤S108可以替换为步骤S310～S312。

在步骤S310中，根据第一损失函数和第二损失函数确定总损失函数。

例如，将第一损失函数和第二损失函数进行加权求和，得到总损失函数。

在步骤S312中，根据总损失函数调整语义分割模型的参数、生成器的参数和判别器的参数，直至达到预设收敛条件。

下面结合图4描述本公开图像处理方法的又一些实施例。

图4为本公开图像处理方法又一些实施例的流程图。如图4所示，与步骤S104～S106或步骤S302～S308并列的包括步骤S402。

在步骤S402中，根据各个第一数据域图像的分割结果和各个第一数据域图像的预训练的语义分割结果的差异，确定第三损失函数。

假设在第一数据域图像上有一个预训练的语义分割网络S₀:

是可用的，因此每个第一数据域图像x_i都有一个对应的预训练的语义分割结果S₀(x_i)。

在一些实施例中，根据各个第一数据域图像的分割结果和各个第一数据域图像的预训练的语义分割结果，确定交叉熵损失函数，作为第三损失函数。第三损失函数可以采用以下公式表示。

x表示第一数据域图像，B^S表示(一个批次)第一数据域图像的集合，S(x)表示第一数据域图像的分割结果，S₀(x)表示第一数据域图像的预训练的语义分割结果。

在一些实施例中，步骤S310可以替换为步骤S404。

在步骤S404中，根据第一损失函数、第二损失函数和第三损失函数确定总损失函数。可以采用以下公式确定总损失函数。

λ₁和λ₂分别表第二损失函数和第三损失函数的权重。

如图2中示出了第一、第二、第三损失函数的确定过程和网络结构。

下面结合图5描述本公开图像处理方法的又一些实施例。

图5为本公开图像处理方法又一些实施例的流程图。如图5所示，与步骤S302～S306并列的包括步骤S502～S504。

在步骤S502中，针对每个图像对，将第二数据域图像和第一数据域图像进行融合，得到第二融合数据。

在步骤S504中，将第二融合数据输入判别器，得到第二判别结果。

在步骤S504之后还包括：步骤S506～S508。

在步骤S506中，根据各个图像对所对应的第一判别结果和第二判别结果确定第四损失函数。第四损失函数采用以下公式表示。

x表示第一数据域图像，y表示第二数据域图像，B^S表示(一个批次)第一数据域图像的集合，B^t表示第二数据域图像的集合，G(x)表示第一数据域图像的特征信息，D(·)表示判别器函数，D(x，G(x))表示第一判别结果，D(x，y)表示第二判别结果。

在步骤S508中，根据第四损失函数调整判别器的参数，直至达到预设条件。

调整判别器参数的方法可以参考现有技术，预设条件例如为第四损失函数的值达到最小或预设值，或者达到预设迭代次数等。

上述各个实施例的方法相互结合，可以提高语义分割模型的准确率。在语义分割模型训练完成后，可以将待分割的图像输入训练完成的语义分割模型，得到待分割的图像的语义分割结果。

上述各个实施例中的方案可以进行多种组合，例如，(1)根据第一损失函数和第二损失函数确定总损失函数，根据总损失函数调整语义分割模型的参数、生成器的参数和判别器的参数，直至达到预设收敛条件；(2)根据第一损失函数、第二损失函数和第三损失函数确定总损失函数，根据总损失函数调整语义分割模型的参数、生成器的参数和判别器的参数，直至达到预设收敛条件；(3)根据第一损失函数和第三损失函数确定总损失函数，根据总损失函数调整语义分割模型的参数直至达到预设收敛条件；(4)根据第二损失函数和第三损失函数确定总损失函数，根据总损失函数调整语义分割模型的参数生成器的参数和判别器的参数，直至达到预设收敛条件。上述方案(1)、(2)、(4)都可以和第四损失函数的方案进行结合，根据第四损失函数调整判别器的参数，直至达到预设条件。具体如何确定每种损失函数可以参考前述实施例。

本公开还提供一种图像处理装置，下面结合图6进行描述。

图6为本公开图像处理装置的一些实施例的结构图。如图6所示，该实施例的装置60包括：获取模块610，第一损失确定模块620，调整模块630。

获取模块610用于获取多个第一数据域图像和第二数据域图像对作为多个图像对，其中，每个图像对中的第一数据域图像和第二数据域图像的采集位置差距在预设范围内，且第一数据域图像和第二数据域图像属于不同光照条件或不同天气条件下的图像。

第一损失确定模块620用于针对每个图像对，将第一数据域图像和第二数据域图像分别输入语义分割网络，得到第一数据域图像的分割结果和第二数据域图像的分割结果；根据各个图像对中第一数据域图像的分割结果和第二数据域图像的分割结果的相似性，确定第一损失函数。

在一些实施例中，第一损失确定模块620用于将第一数据域图像输入语义分割网络的特征提取层，得到第一数据域图像的基本特征信息，将第一数据域图像的基本特征信息输入语义分割网络的分类器，得到第一数据域图像中各个像素点属于各个语义分割的种类的概率，作为第一数据域图像的初步分割结果，将第一数据域图像的初步分割结果进行上采样，得到第一数据域图像的分割结果；将第二数据域图像输入语义分割网络的特征提取层，得到第二数据域图像的基本特征信息，将第二数据域图像的基本特征信息输入语义分割网络的分类器，得到第二数据域图像中各个像素点属于各个语义分割的种类的概率，作为第二数据域图像的初步分割结果，将第二数据域图像的初步分割结果进行上采样，得到第二数据域图像的分割结果。

在一些实施例中，第一损失确定模块620用于针对每个图像对，将第一数据域图像的分割结果中每个像素点的特征，采用该像素点周围预设区域范围内的相邻像素的分割结果表示，得到第一数据域图像的区域特征信息；将第二数据域图像的分割结果中每个像素点的特征，采用该像素点周围预设区域范围内的相邻像素的分割结果表示，得到第二数据域图像的区域特征信息；根据第一数据域图像的区域特征信息和第二数据域图像的区域特征信息之间的互信息，确定图像对所对应的互信息损失；根据各个图像对所对应的互信息损失，确定互信息损失函数，作为第一损失函数。

在一些实施例中，第一损失确定模块620用于根据各个图像对的调整因子，对各个图像对所对应的互信息损失进行加权求和，得到互信息损失函数，作为第一损失函数。

在一些实施例中，第一损失函数采用以下公式表示：

其中，B表示图像对的数量，1≤b≤B，b为正整数，C表示语义分割的种类数，1≤c≤C，c为正整数，

表示第b个图像对所对应的互信息损失，X表示一个语义分割的种类对应的第一数据域图像的区域特征信息，Y表示一个语义分割的种类对应的第二数据域图像的区域特征信息，(1-l_b)^γ表示第b个图像对的调整因子，l_b表示第b个图像对的权重，γ为超参数。

在一些实施例中，

其中，

det表示行列式。

调整模块630用于根据第一损失函数调整语义分割模型的参数，直至达到预设收敛条件，以完成对语义分割模型的训练。

在一些实施例中，图像处理装置60还包括：第二损失确定模块640，用于针对每个图像对，将第一数据域图像输入生成器，得到第一数据域图像的特征信息，其中，生成器中的特征提取层与语义分割模型中的特征提取层结构和参数相同；将第一数据域图像的特征信息和第一数据域图像进行融合，得到第一融合数据；将第一融合数据输入判别器，得到第一判别结果；根据各个图像对所对应的第一判别结果确定对抗损失函数，作为第二损失函数。

在一些实施例中，第二损失确定模块640用于将第一数据域图像输入生成器的特征提取层，得到第一数据域图像的基本特征信息；将第一数据域图像的基本特征信息输入生成器的上采样层，得到将第一数据域图像的特征信息。

在一些实施例中，第二损失函数采用以下公式表示：

其中，x表示第一数据域图像，B^S表示第一数据域图像的集合，G(x)表示第一数据域图像的特征信息，D(·)表示判别器函数，D(x,G(x))表示第一判别结果。

调整模块630用于根据第一损失函数和第二损失函数确定总损失函数；根据总损失函数调整语义分割模型的参数、生成器的参数和判别器的参数，直至达到预设收敛条件。

在一些实施例中，图像处理装置60还包括：第三损失确定模块650，用于根据各个第一数据域图像的分割结果和各个第一数据域图像的预训练的语义分割结果的差异，确定第三损失函数。调整模块630用于根据第一损失函数、第二损失函数和第三损失函数确定总损失函数。

在一些实施例中，该方法还包括：调整模块630用于根据第一损失函数和第三损失函数确定总损失函数；根据总损失函数调整语义分割模型的参数，直至达到预设收敛条件。

在一些实施例中，第三损失确定模块650用于根据各个第一数据域图像的分割结果和各个第一数据域图像的预训练的语义分割结果，确定交叉熵损失函数，作为第三损失函数。

在一些实施例中，图像处理装置60还包括：第四损失确定模块660，用于针对每个图像对，将第二数据域图像和第一数据域图像进行融合，得到第二融合数据；将第二融合数据输入判别器，得到第二判别结果；根据各个图像对所对应的第一判别结果和第二判别结果确定第四损失函数；判别器调整模块670，用于根据第四损失函数调整判别器的参数，直至达到预设条件。

在一些实施例中，第四损失函数采用以下公式表示：

其中，x表示第一数据域图像，y表示第二数据域图像，B^S表示第一数据域图像的集合，B^t表示第二数据域图像的集合，G(x)表示第一数据域图像的特征信息，D(·)表示判别器函数，D(x，G(x))表示第一判别结果，D(x，y)表示第二判别结果。

在一些实施例中，图像处理装置60还包括：分割模块680，用于将待分割的图像输入训练完成的语义分割模型，得到待分割的图像的语义分割结果。

本公开的实施例中的图像处理装置可各由各种计算设备或计算机系统来实现，下面结合图7以及图8进行描述。

图7为本公开图像处理装置的一些实施例的结构图。如图7所示，该实施例的装置70包括：存储器710以及耦接至该存储器710的处理器720，处理器720被配置为基于存储在存储器710中的指令，执行本公开中任意一些实施例中的图像处理方法。

其中，存储器710例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。

图8为本公开图像处理装置的另一些实施例的结构图。如图8所示，该实施例的装置80包括：存储器810以及处理器820，分别与存储器710以及处理器720类似。还可以包括输入输出接口830、网络接口840、存储接口850等。这些接口830，840，850以及存储器810和处理器820之间例如可以通过总线860连接。其中，输入输出接口830为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口840为各种联网设备提供连接接口，例如可以连接到数据库服务器或者云端存储服务器等。存储接口850为SD卡、U盘等外置存储设备提供连接接口。

本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (18)

1.一种图像处理方法，包括：

获取多个第一数据域图像和第二数据域图像对作为多个图像对，其中，每个图像对中的第一数据域图像和第二数据域图像的采集位置差距在预设范围内，且所述第一数据域图像和所述第二数据域图像属于不同光照条件或不同天气条件下的图像；

针对每个图像对，将所述第一数据域图像和所述第二数据域图像分别输入语义分割网络，得到所述第一数据域图像的分割结果和所述第二数据域图像的分割结果；

根据各个图像对中所述第一数据域图像的分割结果和所述第二数据域图像的分割结果的相似性，确定第一损失函数；

根据所述第一损失函数调整所述语义分割模型的参数，直至达到预设收敛条件，以完成对所述语义分割模型的训练。

2.根据权利要求1所述的图像处理方法，还包括：

针对每个图像对，将所述第一数据域图像输入生成器，得到所述第一数据域图像的特征信息，其中，所述生成器中的特征提取层与所述语义分割模型中的特征提取层结构和参数相同；

将所述第一数据域图像的特征信息和所述第一数据域图像进行融合，得到第一融合数据；

将所述第一融合数据输入判别器，得到第一判别结果；

根据各个图像对所对应的第一判别结果确定对抗损失函数，作为第二损失函数；

所述根据所述第一损失函数调整所述语义分割模型的参数，直至达到预设收敛条件包括：

根据所述第一损失函数和所述第二损失函数确定总损失函数；

根据所述总损失函数调整所述语义分割模型的参数、所述生成器的参数和所述判别器的参数，直至达到预设收敛条件。

3.根据权利要求2所述的图像处理方法，还包括：

根据各个第一数据域图像的分割结果和各个第一数据域图像的预训练的语义分割结果的差异，确定第三损失函数；

所述根据所述第一损失函数和所述第二损失函数确定总损失函数包括：

根据所述第一损失函数、所述第二损失函数和所述第三损失函数确定总损失函数。

4.根据权利要求2所述的图像处理方法，还包括：

针对每个图像对，将所述第二数据域图像和所述第一数据域图像进行融合，得到第二融合数据；

将所述第二融合数据输入所述判别器，得到第二判别结果；

根据各个图像对所对应的第一判别结果和第二判别结果确定第四损失函数；

根据所述第四损失函数调整所述判别器的参数，直至达到预设条件。

5.根据权利要求1所述的图像处理方法，其中，所述根据各个图像对中所述第一数据域图像的分割结果和所述第二数据域图像的分割结果的相似性，确定第一损失函数包括：

针对每个图像对，将所述第一数据域图像的分割结果中每个像素点的特征，采用该像素点周围预设区域范围内的相邻像素的分割结果表示，得到所述第一数据域图像的区域特征信息；

将所述第二数据域图像的分割结果中每个像素点的特征，采用该像素点周围预设区域范围内的相邻像素的分割结果表示，得到所述第二数据域图像的区域特征信息；

根据所述第一数据域图像的区域特征信息和所述第二数据域图像的区域特征信息之间的互信息，确定所述图像对所对应的互信息损失；

根据各个图像对所对应的互信息损失，确定互信息损失函数，作为第一损失函数。

6.根据权利要求5所述的图像处理方法，其中，所述根据各个图像对所对应的互信息损失，确定互信息损失函数，作为第一损失函数包括：

根据各个图像对的调整因子，对各个图像对所对应的互信息损失进行加权求和，得到互信息损失函数，作为第一损失函数。

7.根据权利要求6所述的图像处理方法，其中，所述第一损失函数采用以下公式表示：

其中，B表示图像对的数量，1≤b≤B，b为正整数，C表示语义分割的种类数，1≤c≤C，c为正整数，

表示第b个图像对所对应的互信息损失，X表示一个语义分割的种类对应的第一数据域图像的区域特征信息，Y表示一个语义分割的种类对应的第二数据域图像的区域特征信息，(1-l_b)^γ表示第b个图像对的调整因子，l_b表示第b个图像对的权重，γ为超参数。

8.根据权利要求7所述的图像处理方法，其中，

其中，

det表示行列式。

9.根据权利要求1所述的图像处理方法，其中，所述将所述第一数据域图像和所述第二数据域图像分别输入语义分割网络，得到所述第一数据域图像的分割结果和所述第二数据域图像的分割结果包括：

将所述第一数据域图像输入所述语义分割网络的特征提取层，得到所述第一数据域图像的基本特征信息，将所述第一数据域图像的基本特征信息输入所述语义分割网络的分类器，得到所述第一数据域图像中各个像素点属于各个语义分割的种类的概率，作为所述第一数据域图像的初步分割结果，将所述第一数据域图像的初步分割结果进行上采样，得到所述第一数据域图像的分割结果；

将所述第二数据域图像输入所述语义分割网络的特征提取层，得到所述第二数据域图像的基本特征信息，将所述第二数据域图像的基本特征信息输入所述语义分割网络的分类器，得到所述第二数据域图像中各个像素点属于各个语义分割的种类的概率，作为所述第二数据域图像的初步分割结果，将所述第二数据域图像的初步分割结果进行上采样，得到所述第二数据域图像的分割结果。

10.根据权利要求2所述的图像处理方法，其中，所述将所述第一数据域图像输入生成器，得到将所述第一数据域图像的特征信息包括：

将所述第一数据域图像输入生成器的特征提取层，得到所述第一数据域图像的基本特征信息；

将所述第一数据域图像的基本特征信息输入所述生成器的上采样层，得到将所述第一数据域图像的特征信息。

11.根据权利要求2所述的图像处理方法，其中，所述第二损失函数采用以下公式表示：

其中，x表示所述第一数据域图像，B^S表示第一数据域图像的集合，G(x)表示所述第一数据域图像的特征信息，D(·)表示判别器函数，D(x,G(x))表示第一判别结果。

12.根据权利要求3所述的图像处理方法，其中，所述根据各个第一数据域图像的分割结果和各个第一数据域图像的预训练的语义分割结果的差异，确定第三损失函数包括：

根据各个第一数据域图像的分割结果和各个第一数据域图像的预训练的语义分割结果，确定交叉熵损失函数，作为第三损失函数。

13.根据权利要求4所述的图像处理方法，其中，所述第四损失函数采用以下公式表示：

其中，x表示所述第一数据域图像，y表示所述第二数据域图像，B^S表示第一数据域图像的集合，B^t表示第二数据域图像的集合，G(x)表示所述第一数据域图像的特征信息，D(·)表示判别器函数，D(x,G(x))表示第一判别结果，D(x,y)表示第二判别结果。

14.根据权利要求1所述的图像处理方法，还包括：

将待分割的图像输入训练完成的语义分割模型，得到所述待分割的图像的语义分割结果。

15.根据权利要求1所述的图像处理方法，还包括：

根据各个第一数据域图像的分割结果和各个第一数据域图像的预训练的语义分割结果的差异，确定第三损失函数；

所述根据所述第一损失函数调整所述语义分割模型的参数，直至达到预设收敛条件包括：

根据所述第一损失函数和所述第三损失函数确定总损失函数；

根据所述总损失函数调整所述语义分割模型的参数，直至达到预设收敛条件。

16.一种图像处理装置，包括：

获取模块，用于获取多个第一数据域图像和第二数据域图像对作为多个图像对，其中，每个图像对中的第一数据域图像和第二数据域图像的采集位置差距在预设范围内，且所述第一数据域图像和所述第二数据域图像属于不同光照条件或不同天气条件下的图像；

第一损失确定模块，用于针对每个图像对，将所述第一数据域图像和所述第二数据域图像分别输入语义分割网络，得到所述第一数据域图像的分割结果和所述第二数据域图像的分割结果；根据各个图像对中所述第一数据域图像的分割结果和所述第二数据域图像的分割结果的相似性，确定第一损失函数；

调整模块，用于根据所述第一损失函数调整所述语义分割模型的参数，直至达到预设收敛条件，以完成对所述语义分割模型的训练。

17.一种图像处理装置，包括：

处理器；以及

耦接至所述处理器的存储器，用于存储指令，所述指令被所述处理器执行时，使所述处理器执行如权利要求1-15任一项所述的图像处理方法。

18.一种非瞬时性计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现权利要求1-15任一项所述方法的步骤。

Images