CN108197567A - 用于图像处理的方法、装置和计算机可读介质 - Google Patents

Abstract

本公开的实施例提供了一种用于图像处理的方法、装置和计算机可读存储介质。在此描述的方法包括确定输入图像中待处理的第一区域和第二区域。第一区域至少部分地利用第一颜色填充，第二区域至少部分地利用第二颜色填充，并且第一区域和第二区域是具有共同边界区域的相邻区域。该方法还包括缩小第一区域和第二区域，使得经缩小的第一区域和第二区域均不再包括边界区域。该方法还包括扩大经缩小的第一区域和第二区域，使得边界区域利用第一颜色和第二颜色中的至少一种颜色来填充。以此方式，本公开的实施例能够为后续的语义分割模型训练系统提供精确标注的训练图像，从而提高后续图像分割的精度。

Description

用于图像处理的方法、装置和计算机可读介质

技术领域

本公开的实施例总体涉及计算机视觉领域，并且更具体地，涉及用于图像处理的方法、装置和计算机可读介质。

背景技术

图像语义分割是图像理解的基础技术，其通常指代将图像中的像素按照所表达的语义进行分组，从而能够识别出图像中的内容。早期的图像语义分割方案通常根据图像中像素自身的低阶视觉信息来进行图像分割，其分割精度常常不能令人满意。在计算机视觉步入深度学习时代之后，基于深度学习的图像语义分割技术被广泛使用。

基于深度学习的图像语义分割技术虽然能够取得相比于早期方案的突飞猛进的分割效果，但是其对数据标注的要求较高。基于深度学习的图像语义分割技术不仅需要海量图像作为模型训练数据，同时还要求对这些图像中存在的不同对象进行像素级别的标注。通常，图像中的不同对象可以利用不同的颜色来被标注。然而，如果所标注的色块的交界处不够平滑或者某个对象利用错误的颜色被标注，则可能导致所训练的语义分割模型无法产生令人期望的语义分割结果。

发明内容

根据本公开的示例实施例，提供了一种用于图像处理的方案。

在本公开的第一方面中，提供了一种图像处理的方法。该方法包括确定输入图像中待处理的第一区域和第二区域。第一区域至少部分地利用第一颜色填充，第二区域至少部分地利用第二颜色填充，并且第一区域和第二区域是具有共同边界区域的相邻区域。该方法还包括缩小第一区域和第二区域，使得经缩小的第一区域和第二区域均不再包括边界区域。该方法还包括扩大经缩小的第一区域和第二区域，使得边界区域利用第一颜色和第二颜色中的至少一种颜色来填充。

在本公开的第二方面中，提供了一种用于图像处理的装置。该装置包括：区域确定模块，被配置为确定输入图像中待处理的第一区域和第二区域，第一区域至少部分地利用第一颜色填充，第二区域至少部分地利用第二颜色填充，第一区域和第二区域是具有共同边界区域的相邻区域；第一图像处理模块，被配置为缩小第一区域和第二区域，使得经缩小的第一区域和第二区域均不再包括边界区域；以及第二图像处理模块，被配置为扩大经缩小的第一区域和第二区域，使得边界区域利用第一颜色和第二颜色中的至少一种颜色来填充。

在本公开的第三方面中，提供了一种电子设备，包括一个或多个处理器和存储装置。存储装置用于存储一个或多个程序。当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现根据本公开的第一方面的方法。

在本公开的第六方面中，提供了一种设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据本公开的第二方面的方法。

在本公开的第四方面中，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了本公开的实施例能够在其中实现的示例环境的示意图；

图2示出了根据本公开的实施例的训练图像的示例；

图3示出了根据本公开的实施例的经标注的颜色分布图的示例；

图4示出了根据本公开的实施例的用于平滑相邻色块的边界的方法的流程图；

图5示出了根据本公开的实施例的图像腐蚀的示意图；

图6示出了根据本公开的实施例的经腐蚀的颜色分布图的示例；

图7示出了根据本公开的实施例的图像膨胀的示意图；

图8示出了根据本公开的实施例的经膨胀的颜色分布图的示例；

图9示出了根据本公开的实施例的用于纠正错误颜色的方法的流程图；

图10示出了根据本公开实施例的用于图像处理的装置的示意性框图；以及

图11示出了能够实施本公开的多个实施例的计算设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

如以上提及的，传统的基于深度学习的图像语义分割技术需要海量图像作为模型训练数据，同时还要求对这些图像中存在的不同对象进行像素级别的标注。这种标注可以借助于标注工具由人工完成。通常，通过利用不同的颜色填充代表不同对象的图像区域来完成上述标注。在本文中，利用颜色填充的图像区域也被称为“色块”。经人工标注的图像可以被提供给语义分割模型训练系统，用于训练语义分割模型。如本文所使用的，术语“模型”可以从训练数据中学习到相应的输入与输出之间的关联，从而在训练完成后可以针对给定的输入，生成对应的输出。例如，所训练的语义分割模型可以用于针对待识别图像生成语义分割结果，也即识别该图像中所包含的各种对象。

然而，在对训练图像进行人工标注时有可能出现错误。例如，某个对象可能利用错误的颜色来被标注。在此情况下，所训练的语义分割模型可能产生错误的语义分割结果，例如不能够正确地识别图像中所包含的该对象。此外，由人工填充的色块边界可能不够平滑。例如，色块可能出现锯齿状边界，相邻色块的交界处还可能出现未被充分填充的模糊区域等等。在此情况下，所训练的语义分割模型可能无法实现令人满意的分割精度。

根据本公开的实施例，提出了一种用于图像处理的方案。该方案针对经标注的训练图像中的有效色块建立颜色字典，并且向不同色块分配不同优先级。该方案通过移除色块的锯齿状或模糊的边界，然后基于不同色块的不同优先级对各个色块进行膨胀和叠加，由此得到具有平滑的色块边界的训练图像。此外，该方案还能够自动校正图像标注中的错误。

通过自动校正图像标注中的错误并且平滑经标注的训练图像中的色块边界，该方案能够为后续的语义分割模型训练系统提供精确标注的训练图像，由此提高后续图像分割的精度。因此，该方案能够被广泛地应用于各种语义分割应用中，包括但不限于自动驾驶系统(诸如，街景识别与理解)、无人机应用(诸如，着陆点判断)以及可穿戴设备应用等等。

以下将参照附图来具体描述本公开的实施例。

图1示出了本公开的实施例能够在其中实现的示例环境100的示意图。环境100总体上可以包括图像标注模块120、图像处理模块130和模型训练模块140。应当理解，仅出于示例性的目的描述环境100的结构和功能，而不暗示对于本公开的范围的任何限制。本公开的实现还可以被应用到具有不同的结构和/或功能的环境中。

图像标注模块120可以由用户110操作以对训练图像102进行标注。训练图像102可以包含待分割的多个对象。例如，图2示出了根据本公开的实施例的训练图像102的示例。如图2所示，示例训练图像102可以包括天空201、树木202(包括道路左右两侧的树木)、道路203、车辆204、道路两侧的围栏205等。出于示例和简化的目的，在图2中仅标识出了训练图像102中的部分对象，而非全部对象。

用户110可以通过图像标注模块120利用不同颜色对训练图像102中的不同对象进行标注。具体地，用户110可以利用预定义的不同颜色来填充对应于不同对象的区域，以生成与训练图像102相对应的颜色分布图104。例如，图3示出了与如图2所示的训练图像102相对应的颜色分布图104的示例。在图3中，例如，与训练图像102中的天空201相对应的区域301利用颜色A被填充，与训练图像102中的树木202相对应的区域302利用颜色B被填充，与训练图像102中的道路203相对应的区域303利用颜色C被填充，与训练图像102中的车辆204相对应的区域304利用颜色D被填充，并且与训练图像102中的围栏205相对应的区域305利用颜色E被填充。应当理解，本文中所述的颜色A-E可以是预先定义的任何颜色。

如上所述，经用户110标注的颜色分布图104中可能存在若干问题。在一些情况下，用户110可能利用错误的颜色来标注某个对象(例如，假设围栏应该利用粉色来标注，而操作者110将其标注未指定的深红色等等)。此外，在一些情况下，由用户110填充的色块边界可能不够平滑。例如，色块可能出现锯齿状边界，相邻色块的交界处还可能出现未被充分填充的模糊区域等等。图像处理模块130可以纠正颜色分布图104中可能出现的上述问题。

在一些实施例中，图像处理模块130可以获取针对颜色分布图104的颜色字典。该颜色字典可以被存储为数据库表、文件等任何适当的形式，其指示颜色分布图104中的多个有效颜色。例如，针对如图3所示的颜色分布图104，颜色字典可以指示颜色A、颜色B、颜色C、颜色D和颜色E为有效颜色。基于该颜色字典，图像处理模块130可以将颜色分布图104中未利用有效颜色填充的色块纠正为利用最匹配的有效颜色来填充。以此方式，人工标注中出现的错误能够被消除。

此外，在一些实施例中，颜色字典还可以指示不同有效颜色具有不同优先级。具体地，可以根据现实环境中不同色块间的语义关系来向不同有效颜色分配不同优先级。例如，前景的优先级可以高于背景的优先级。以图3所示的颜色分布图104为例，利用颜色A填充的区域301对应于如图2所示的天空201，利用颜色B填充的区域302对应于如图2所示的树木202。由于天空201是树木202的背景，因此填充区域301的颜色A可以具有相对于填充区域302的颜色B更低的优先级。类似地，利用颜色C填充的区域303对应于如图2所示的道路203，利用颜色D填充的区域304对应于如图2所示的车辆204。由于道路203是车辆204的背景，因此填充区域303的颜色C可以具有相对于填充区域304的颜色D更低的优先级。应当理解，也可以利用其它规则来向不同有效颜色分配相应优先级，并且本公开的范围在此方面不受限制。

基于颜色字典，图像处理模块130可以确定颜色分布图104中存在的相邻有效色块(也即，两者均利用有效颜色填充的相邻色块)。图像处理模块130可以首先移除相邻有效色块之间的边界区域(例如，其可能是锯齿状或模糊的)。然后，图像处理模块130可以基于相邻有效色块的不同优先级来对相邻有效色块执行图像膨胀和叠加，以利用有效颜色填充上述边界区域。以此方式，相邻色块之间可能存在的锯齿状或模糊的边界区域能够被平滑。

通过纠正颜色分布图104中存在的问题，图像处理模块130可以生成经纠正的颜色分布图106。经纠正的颜色分布图106可以被提供给模型训练模块140，以用于生成语义分割模型108。所训练的语义分割模型108可以用于针对待识别图像生成语义分割结果，也即识别该图像中所包含的各种对象。以下将结合图4来进一步描述图像处理模块130的工作原理。

图4示出了根据本公开的实施例的用于图像处理的方法400的流程图。例如，方法400可以由如图1所示的图像处理模块130来执行。应当理解的是，方法400还可以包括未示出的附加步骤和/或可以省略所示出的步骤。本公开的范围在此方面不受限制。

在框401，图像处理模块130确定颜色分布图104中待处理的第一区域和第二区域。在本文中，颜色分布图104也被称为图像处理模块130的“输入图像”。第一区域和第二区域可以是具有共同边界区域的相邻区域。此外，第一区域可以至少部分地由第一颜色填充，而第二区域可以至少部分地由第二区域填充。

在一些实施例中，为了确定待处理的第一区域和第二区域，图像处理模块130可以获取颜色字典。例如，颜色字典可以指示填充输入图像中的区域的多个有效颜色。在一些实施例中，颜色字典可以是预定义的。在另一些实施例中，当颜色分布图104中不存在错误颜色的情况下，图像处理模块130也可以通过学习颜色分布图104中的颜色分布，来自动获得颜色字典。图像处理模块130可以基于所获得的颜色字典，将利用有效颜色填充的彼此相邻的两个区域作为待处理的第一区域和第二区域。

以如图3所述的颜色分布图104为例，图像处理模块130可以获得针对颜色分布图104的颜色字典。例如，该颜色字典可以指示颜色A、颜色B、颜色C、颜色D和颜色E为有效颜色。图像处理模块130可以将彼此相邻的区域301和302分别确定未待处理的第一区域和第二区域。备选地，图像处理模块130可以将彼此相邻的区域302和305分别确定未待处理的第一区域和第二区域。备选地，图像处理模块130可以将彼此相邻的区域303和304分别确定未待处理的第一区域和第二区域。

在框402，图像处理模块130缩小第一区域和第二区域，使得经缩小的第一区域和第二区域均不再包括边界区域。在一些示例中，第一区域和第二区域之间的边界区域可能具有不同于第一颜色和第二颜色的另一颜色。例如，边界区域可能是两个色块交界处的一片模糊区域。此外，由于人工标注的原因，第一区域和第二区域之间的边界可能不够清晰和平滑。

在一些实施例中，图像处理模块130可以直接从第一区域和第二区域中移除边界区域。例如，图像处理模块130可以将边界区域填充为某种预定义的无效颜色，诸如黑色。也即，通过该操作，第一区域和第二区域可以被由无效颜色填充的区域分离。

备选地或附加地，在一些实施例中，图像处理模块130可以分别对第一区域和第二区域执行图像腐蚀，以移除位于第一区域和第二区域的边界周围的多个像素。以此方式，经腐蚀的第一区域和第二区域均不再包括上述锯齿状或模糊的边界区域。

图5示出了根据本公开的实施例的图像腐蚀的示意图。图5中示出了待腐蚀的输入图像510以及用于对图像510进行图像腐蚀的结构元素520。图像510例如可以是如上所述的第一区域或者第二区域，其利用特定有效颜色被填充。在图5中，结构元素520为3×3像素的较小图像，其原点521利用五角星符号被表示，原点521在后续腐蚀操作中充当参考点。

在一些实施例中，用于对图像510进行图像腐蚀的结构元素可以基于腐蚀系数来确定。腐蚀系数可以表示图像510将被腐蚀的程度。例如，当腐蚀系数为3时，可以采用如图5所示的3×3像素的结构元素。当腐蚀系数为2时，可以采用2×2像素的结构元素。在一些实施例中，针对待腐蚀的第一区域和第二区域，图像处理模块130可以分别采用不同的腐蚀系数。也即，图像处理模块130可以分别利用不同的结构元素来对第一区域和第二区域进行图像腐蚀。备选地，在一些实施例中，针对待腐蚀的第一区域和第二区域，图像处理模块130可以采用相同的腐蚀系数。也即，图像处理模块130可以分别利用相同的结构元素来对第一区域和第二区域进行图像腐蚀。

此外，尽管如图5所示的结构元素520为正方形，并且原点521正好是其中心点，然而应当理解的是，这仅仅出于示例的目的，而不旨在对本公开的范围的限制。在一些实施例中，图像处理模块130可以采用其他形状的结构元素，并且结构元素的原点位置可以是任意位置。

为了对图像510进行图像腐蚀，图像处理模块130可以首先在图像510中寻找与结构元素520完全匹配的部分。当找到这样的部分时，图像处理模块130可以利用填充源图像510的有效颜色来填充空白输出图像上(例如，全黑图像，也被称为“真空图”)与原点521对应的像素。图像处理模块130可以重复执行上述过程，直至图像510中所存在的与结构元素520相匹配的所有部分被处理完毕。所生成的输出图像如图5中的图像530所示。

应当理解的是，图5所示出的二值(即，输出图像530中的像素具有有效颜色和无效颜色之一)图像腐蚀方法仅是图像腐蚀操作的一种示例实现。在一些实施例中，也可以利用与图5不同的、现有或将要开发的其他图像腐蚀方法来对第一区域和第二区域进行处理，本公开的范围在此方面不受限制。

图6示出了如图3所示的颜色分布图104经由图像腐蚀操作而生成的颜色分布图600。如图600所示，通过对相邻区域执行如图5所示的图像腐蚀，相邻区域之间的边界区域被移除。例如，该边界区域利用预定义的无效颜色(诸如黑色)被填充，使得相邻区域被由无效颜色填充的区域分离。

返回参考图4，在框403，图像处理模块130扩大经缩小的第一区域和第二区域，使得边界区域利用第一颜色和第二颜色中的至少一种颜色来填充。在一些实施例中，为了扩大第一区域和第二区域，图像处理模块130可以基于颜色字典所指示的不同区域的不同优先级对第一区域和第二区域进行膨胀和叠加。

在一些实施例中，图像处理模块130可以对经缩小的第一区域执行图像膨胀，以向经缩小的第一区域的第一边界附近添加具有第一颜色的多个像素。附加地，图像处理模块130还可以对经缩小的第二区域执行图像膨胀，以向经缩小的第二区域的第二边界附近添加具有第二颜色的多个像素。

图7示出了根据本公开的实施例的图像膨胀的示意图。图7中示出了待膨胀的输入图像710以及用于对图像710进行图像膨胀的结构元素720。图像710例如可以是如上所述的待膨胀的第一区域或者第二区域，其利用特定有效颜色被填充。在图7中，结构元素720为3×3像素的较小图像，其原点721利用五角星符号被表示，原点721在后续腐蚀操作中充当参考点。

在一些实施例中，用于对图像710进行图像膨胀的结构元素可以基于膨胀系数来被确定。膨胀系数可以表示图像710将被膨胀的程度。例如，当膨胀系数为3时，可以采用如图7所示的3×3像素的结构元素。当膨胀系数为2时，可以采用2×2像素的结构元素。在一些实施例中，针对第一区域和第二区域，图像处理模块130可以分别采用不同的膨胀系数。也即，图像处理模块130可以分别利用不同的结构元素来对第一区域和第二区域进行图像膨胀。备选地，在一些实施例中，针对第一区域和第二区域，图像处理模块130可以采用相同的膨胀系数。也即，图像处理模块130可以分别利用相同的结构元素来对第一区域和第二区域进行图像膨胀。附加地或者备选地，针对特定区域的膨胀系数可以与之前所描述的针对该区域的腐蚀系数相同或者不同。

此外，尽管如图7所示的结构元素720为正方形，并且原点721正好是其中心点，然而应当理解的是，这仅仅出于示例的目的，而不旨在对本公开的范围的限制。在一些实施例中，图像处理模块130可以采用其他形状的结构元素，并且结构元素的原点位置可以是任意位置。

为了对图像710进行图像膨胀，图像处理模块130可以使结构元素720的原点721依次经过图像710中的每个像素。当原点721经过图像710中的某个像素时，图像处理模块130可以利用填充源图像610的有效颜色来填充空白输出图像上(例如，全黑图像，也被称为“真空图”)与结构元素720对应的所有像素(例如，9个像素)。图像处理模块130可以重复执行上述过程，直至原点721遍历图像710中的每个像素。所生成的输出图像如图7中的图像730所示。

应当理解的是，图7所示出的二值(即，输出图像730中的像素具有有效颜色和无效颜色之一)图像膨胀仅是图像膨胀操作的一种示例实现。在一些实施例中，也可以利用与图7不同的、现有或将要开发的其他图像腐蚀方法来对经缩小的第一区域和第二区域进行处理，本公开的范围在此方面不受限制。

进一步地，图像处理模块130可以将经图像膨胀的第一区域和第二区域进行图像叠加。在一些实施例中，颜色字典可以指示不同色块(或者填充不同色块的不同颜色)具有不同优先级。例如，颜色字典可以指示利用第一颜色填充的第一区域具有第一优先级，而利用第二颜色填充的第二区域具有第二优先级。在一些实施例中，图像处理模块130可以基于由颜色字典指示的不同有效颜色的不同优先级来对经膨胀的第一区域和第二区域进行图像叠加。具体而言，经膨胀的第一区域和第二区域可能存在交叠区域。当第一区域的第一优先级高于第二区域的第二优先级时，在该交叠区域处第一区域将覆盖第二区域。也即，该交叠区域将利用第一颜色被填充。当第二区域的第二优先级高于第一区域的第一优先级时，在该交叠区域处，第二区域将覆盖第一区域。也即，该交叠区域将利用第二颜色被填充。如之前所描述的，不同色块的优先级通常可以根据现实环境中不同色块间的语义关系来被分配，例如前景的优先级可以高于背景的优先级。以此方式，通过对经缩小的相邻区域进行图像膨胀和图像叠加，相邻区域中优先级高的区域将至少部分地覆盖优先级低的区域。

图8示出了如图6所示的颜色分布图600经由图像膨胀操作而生成的颜色分布图800。如图800所示，通过对相邻区域执行如图7所示的图像膨胀，如图6中所示的相邻区域之间的黑色区域(也即，被删除的边界区域)利用填充相邻区域的有效颜色被填充。以此方式，能够得到具有平滑的色块边界的训练图像，以供如图1所示的模型训练模块140使用。

以上描述了图像处理模块130为了平滑训练图像中相邻色块之间的边界而执行的相应操作。附加地或者备选地，图像处理模块130还可以纠正颜色分布图104中可能存在的被错误标注的色块。

图9示出了根据本公开的实施例的用于纠正错误颜色的方法900的流程图。例如，方法900可以由如图1所示的图像处理模块130来执行。应当理解的是，方法900还可以包括未示出的附加步骤和/或可以省略所示出的步骤。本文所描述主题的范围在此方面不受限制。

在框901，图像处理模块130获得针对输入图像(也即，颜色分布图104)的颜色字典，颜色字典指示填充输入图像中的区域的多个有效颜色。以如图3所示的颜色分布图104为例，该颜色字典可以指示颜色A、颜色B、颜色C、颜色D和颜色E为有效颜色。

在框902，响应于确定输入图像包括第三区域并且第三区域利用未被包括在多个有效颜色中的第三颜色填充，图像处理模块130从多个有效颜色中选择与第三颜色最匹配的第四颜色。例如，图像处理模块130可以对输入图像中的色块进行检查，以确定是否存在利用未被包括在多个有效颜色中的第三颜色填充的第三区域。

在一些实施例中，当确定输入图像中存在利用未被包括在多个有效颜色中的第三颜色填充的第三区域时，图像处理模块130可以确定第三颜色与多个有效颜色各自的距离。该距离可以指示第三颜色与多个有效颜色之间的相应差异程度。

例如，以红绿蓝(RGB)颜色空间为例，一种颜色可以利用三个颜色通道的值的组合(R值，G值，B值)来表示，其可以对应于三维坐标系中的一个向量。假设第三颜色利用第一向量表示，多个有效颜色中的一个有效颜色利用第二向量表示，则图像处理模块130可以计算第一向量与第二向量之间的欧式距离，以作为第三颜色与该有效颜色之间的距离。以此方式，图像处理模块130可以确定第三颜色与多个有效颜色各自的距离。以上以RGB颜色空间为例描述了如何确定RGB颜色空间中的两种颜色之间的距离。应当理解的是，这仅仅出于示例的目的，而不旨在对本公开的范围的任何限制。本公开的实施例也适用于其他颜色空间，诸如YUV颜色空间等。此外，可以利用任何现有或将来开发的方法来确定两种颜色的差异程度，并且本公开的范围在此方面不受限制。

进一步地，图像处理模块130可以从多个有效颜色中选择与第三颜色的距离最小的有效颜色作为第四颜色。

在框903，图像处理模块130可以利用第四颜色来填充第三区域，以替代第三颜色。以此方式，人工标注中出现的错误颜色能够被自动地纠正。

在一些实施例中，方法900可以在方法400之前被执行。也即，图像处理模块130首先对颜色分布图104中的错误颜色进行纠正，然后再对其中的相邻色块边界进行平滑。在另一些实施例中，方法900也可以在方法400之后被执行或者与方法400并行地执行。此外，在一些实施例中，方法900可以与方法400彼此独立地被执行。例如，针对不同情况，图像处理模块130可以仅执行方法400或者方法900。本公开的范围在此方面不受限制。

通过以上描述能够看出，本公开的实施例能够移除经人工标准的训练图像中相邻色块之间的锯齿状或模糊的边界，并且基于不同色块的不同优先级对各个色块进行膨胀和叠加，由此得到具有平滑的色块边界的训练图像。此外，本公开的实施例还能够自动校正图像标注中的错误。通过自动校正图像标注中的错误并且平滑经标注的训练图像中的色块边界，本公开的实施例能够为后续的语义分割模型训练系统提供精确标注的训练图像，由此提高后续图像分割的精度。因此，本公开的实施例能够被广泛地应用于各种语义分割应用中，包括但不限于自动驾驶系统(诸如，街景识别与理解)、无人机应用(诸如，着陆点判断)以及可穿戴设备应用等等。

图10示出了根据本公开实施例的用于图像处理的装置1000的示意性框图。如图10所示，装置1000可以包括区域确定模块1010，其被配置为确定输入图像中待处理的第一区域和第二区域。第一区域至少部分地利用第一颜色填充，第二区域至少部分地利用第二颜色填充，第一区域和第二区域是具有共同边界区域的相邻区域。装置1000还可以包括第一图像处理模块1020，其被配置为缩小第一区域和第二区域，使得经缩小的第一区域和第二区域均不再包括边界区域。此外，装置1000还可以包括第二图像处理模块1030，其被配置为扩大经缩小的第一区域和第二区域，使得边界区域利用第一颜色和第二颜色中的至少一种颜色来填充。

在一些实施例中，区域确定模块1010还包括：颜色字典获取单元，被配置为获取颜色字典，该颜色字典指示填充输入图像中的区域的多个有效颜色；以及区域确定单元，被配置为响应于确定第一颜色和第二颜色被包括在多个有效颜色中，确定彼此相邻的第一区域和第二区域。

在一些实施例中，第一图像处理模块1020还被配置为：从第一区域和第二区域中移除边界区域。

在一些实施例中，第一图像处理模块1020还包括：第一图像腐蚀单元，被配置为对第一区域执行图像腐蚀，以移除第一区域中位于第一区域的第一边界附近的多个像素；以及第二图像腐蚀单元，被配置为对第二区域执行图像腐蚀，以移除第二区域中位于第二区域的第二边界附近的多个像素。

在一些实施例中，颜色字典还指示第一颜色与第一优先级相关联并且第二颜色与第二优先级相关联。第二图像处理模块1030还包括：第一图像膨胀单元，被配置为对经缩小的所述第一区域执行图像膨胀，以向经缩小的第一区域的第一边界附近添加具有第一颜色的多个像素；第二图像膨胀单元，被配置为对经缩小的第二区域执行图像膨胀，以向经缩小的第二区域的第二边界附近添加具有第二颜色的多个像素；以及图像叠加单元，被配置为基于第一优先级和第二优先级，将经图像膨胀的第一区域和第二区域进行图像叠加。

在一些实施例中，图像叠加单元还被配置为：响应于第一优先级超过第二优先级，使得经图像膨胀的第一区域至少部分地覆盖经图像膨胀的第二区域。

在一些实施例中，输入图像包括第三区域，第三区域利用未被包括在多个有效颜色中的第三颜色来填充。装置1000还包括：颜色选择模块，被配置为从多个有效颜色中选择与第三颜色最匹配的第四颜色；以及颜色替换模块，被配置为利用第四颜色来填充第三区域以替换第三颜色。

在一些实施例中，颜色选择模块包括：距离确定单元，被配置为确定第三颜色与多个有效颜色各自的距离，该距离指示第三颜色与多个有效颜色之间的相应差异程度；以及颜色选择单元，被配置为从多个有效颜色中选择与第三颜色的距离最小的有效颜色作为第四颜色。

在一些实施例中，第三颜色由第一向量表示，第四颜色由第二向量表示，并且第三颜色与第四颜色之间的距离为第一向量和第二向量之间的欧式距离。

图11示出了可以用来实施本公开的实施例的示例设备1100的示意性框图。设备1100可以用于实现图1的计算设备102。如图所示，设备1100包括中央处理单元(CPU)1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序指令或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序指令，来执行各种适当的动作和处理。在RAM1103中，还可存储设备1100操作所需的各种程序和数据。CPU 1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。

设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元1101执行上文所描述的各个方法和处理，例如方法400和/或900。例如，在一些实施例中，方法400和/或900可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM1103并由CPU 1101执行时，可以执行上文描述的方法400和/或900的一个或多个步骤。备选地，在其他实施例中，CPU 1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法400和/或900。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (20)

1.一种图像处理的方法，包括：

确定输入图像中待处理的第一区域和第二区域，所述第一区域至少部分地利用第一颜色填充，所述第二区域至少部分地利用第二颜色填充，所述第一区域和所述第二区域是具有共同边界区域的相邻区域；

缩小所述第一区域和所述第二区域，使得经缩小的所述第一区域和所述第二区域均不再包括所述边界区域；以及

扩大经缩小的所述第一区域和所述第二区域，使得所述边界区域利用所述第一颜色和所述第二颜色中的至少一种颜色来填充。

2.根据权利要求1所述的方法，其中确定输入图像中待处理的第一区域和第二区域包括：

获取颜色字典，所述颜色字典指示填充所述输入图像中的区域的多个有效颜色；以及

响应于确定所述第一颜色和所述第二颜色被包括在所述多个有效颜色中，确定彼此相邻的所述第一区域和所述第二区域。

3.根据权利要求1或2所述的方法，其中缩小所述第一区域和所述第二区域包括：

从所述第一区域和所述第二区域中移除所述边界区域。

4.根据权利要求1或2所述的方法，其中缩小所述第一区域和所述第二区域包括：

对所述第一区域执行图像腐蚀，以移除所述第一区域中位于所述第一区域的第一边界附近的多个像素；以及

对所述第二区域执行图像腐蚀，以移除所述第二区域中位于所述第二区域的第二边界附近的多个像素。

5.根据权利要求2所述的方法，其中所述颜色字典还指示所述第一颜色与第一优先级相关联并且所述第二颜色与第二优先级相关联，扩大经缩小的所述第一区域和所述第二区域包括：

对经缩小的所述第一区域执行图像膨胀，以向经缩小的所述第一区域的第一边界附近添加具有所述第一颜色的多个像素；

对经缩小的所述第二区域执行图像膨胀，以向经缩小的所述第二区域的第二边界附近添加具有所述第二颜色的多个像素；以及

基于所述第一优先级和所述第二优先级，将经图像膨胀的所述第一区域和所述第二区域进行图像叠加。

6.根据权利要求5所述的方法，其中将经图像膨胀的所述第一区域和所述第二区域进行图像叠加包括：

响应于所述第一优先级超过所述第二优先级，使得经图像膨胀的所述第一区域至少部分地覆盖经图像膨胀的所述第二区域。

7.根据权利要求2所述的方法，其中所述输入图像包括第三区域，所述第三区域利用未被包括在所述多个有效颜色中的第三颜色来填充，并且所述方法还包括：

从所述多个有效颜色中选择与所述第三颜色最匹配的第四颜色；以及

利用所述第四颜色来填充所述第三区域以替换所述第三颜色。

8.根据权利要求7所述的方法，其中选择所述第四颜色包括：

确定所述第三颜色与所述多个有效颜色各自的距离，所述距离指示所述第三颜色与所述多个有效颜色之间的相应差异程度；以及

从所述多个有效颜色中选择与所述第三颜色的所述距离最小的有效颜色作为所述第四颜色。

9.根据权利要求8所述的方法，其中所述第三颜色由第一向量表示，所述第四颜色由第二向量表示，并且所述第三颜色与所述第四颜色之间的所述距离为所述第一向量和所述第二向量之间的欧式距离。

10.一种用于图像处理的装置，包括：

区域确定模块，被配置为确定输入图像中待处理的第一区域和第二区域，所述第一区域至少部分地利用第一颜色填充，所述第二区域至少部分地利用第二颜色填充，所述第一区域和所述第二区域是具有共同边界区域的相邻区域；

第一图像处理模块，被配置为缩小所述第一区域和所述第二区域，使得经缩小的所述第一区域和所述第二区域均不再包括所述边界区域；以及

第二图像处理模块，被配置为扩大经缩小的所述第一区域和所述第二区域，使得所述边界区域利用所述第一颜色和所述第二颜色中的至少一种颜色来填充。

11.根据权利要求10所述的装置，其中所述区域确定模块还包括：

颜色字典获取单元，被配置为获取颜色字典，所述颜色字典指示填充所述输入图像中的区域的多个有效颜色；以及

区域确定单元，被配置为响应于确定所述第一颜色和所述第二颜色被包括在所述多个有效颜色中，确定彼此相邻的所述第一区域和所述第二区域。

12.根据权利要求10或11所述的装置，其中所述第一图像处理模块还被配置为：

从所述第一区域和所述第二区域中移除所述边界区域。

13.根据权利要求10或11所述的装置，其中所述第一图像处理模块还包括：

第一图像腐蚀单元，被配置为对所述第一区域执行图像腐蚀，以移除所述第一区域中位于所述第一区域的第一边界附近的多个像素；以及

第二图像腐蚀单元，被配置为对所述第二区域执行图像腐蚀，以移除所述第二区域中位于所述第二区域的第二边界附近的多个像素。

14.根据权利要求11所述的装置，其中所述颜色字典还指示所述第一颜色与第一优先级相关联并且所述第二颜色与第二优先级相关联，所述第二图像处理模块还包括：

第一图像膨胀单元，被配置为对经缩小的所述第一区域执行图像膨胀，以向经缩小的所述第一区域的第一边界附近添加具有所述第一颜色的多个像素；

第二图像膨胀单元，被配置为对经缩小的所述第二区域执行图像膨胀，以向经缩小的所述第二区域的第二边界附近添加具有所述第二颜色的多个像素；以及

图像叠加单元，被配置为基于所述第一优先级和所述第二优先级，将经图像膨胀的所述第一区域和所述第二区域进行图像叠加。

15.根据权利要求14所述的装置，其中所述图像叠加单元还被配置为：

响应于所述第一优先级超过所述第二优先级，使得经图像膨胀的所述第一区域至少部分地覆盖经图像膨胀的所述第二区域。

16.根据权利要求11所述的装置，其中所述输入图像包括第三区域，所述第三区域利用未被包括在所述多个有效颜色中的第三颜色来填充，并且所述装置还包括：

颜色选择模块，被配置为从所述多个有效颜色中选择与所述第三颜色最匹配的第四颜色；以及

颜色替换模块，被配置为利用所述第四颜色来填充所述第三区域以替换所述第三颜色。

17.根据权利要求16所述的装置，其中所述颜色选择模块包括：

距离确定单元，被配置为确定所述第三颜色与所述多个有效颜色各自的距离，所述距离指示所述第三颜色与所述多个有效颜色之间的相应差异程度；以及

颜色选择单元，被配置为从所述多个有效颜色中选择与所述第三颜色的所述距离最小的有效颜色作为所述第四颜色。

18.根据权利要求17所述的装置，其中所述第三颜色由第一向量表示，所述第四颜色由第二向量表示，并且所述第三颜色与所述第四颜色之间的所述距离为所述第一向量和所述第二向量之间的欧式距离。

19.一种电子设备，所述设备包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一项所述的方法。

20.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1-9中任一项所述的方法。