CN110852385B - 图像处理方法、装置、设备和存储介质 - Google Patents

Abstract

根据本公开的示例实施例，提供了图像处理方法、装置、设备和计算机可读存储介质，可用于人工智能领域。图像处理方法包括基于样本图像集中的样本图像所包括的通道，确定针对样本图像集的目标通道集合，目标通道集合中的通道具有不同的类型。方法还包括基于目标通道集合，确定用于图像处理模型的通道参数，通道参数指示与图像处理模型对样本图像所执行操作相对应的通道数目。方法进一步包括基于通道参数和样本图像集，生成图像处理模型。所得到的图像处理模型能够处理具有任意数目通道的图像。以此方式，能够利用不同通道所提供的信息，从而提高图像处理结果的准确性。

Description

图像处理方法、装置、设备和存储介质

技术领域

本公开的实施例主要涉及图像处理领域，可用于人工智能，并且更具体地，涉及图像处理方法、装置、设备和计算机可读存储介质。

背景技术

随着机器学习的发展，可以利用诸如基于深度学习的框架和系统来处理图像，以进行分类、检测和分割等。目前，基于深度学习的框架和系统在训练及预测时所处理的图像通常要求仅包括与颜色相关的通道，例如仅包括红绿蓝RGB三通道。气象预测、地块识别、医学诊断等场景也开始尝试使用深度学习技术来处理图像。在这些场景中，要处理的图像除了RGB三通道外还包括其他通道。例如，卫星拍摄的高分图像除了RGB三通道外还有红外等其他通道。

发明内容

根据本公开的示例实施例，提供了一种图像处理方案。

在本公开的第一方面中，提供了一种图像处理方法。该方法包括基于样本图像集中的样本图像所包括的通道，确定针对样本图像集的目标通道集合，目标通道集合中的通道具有不同的类型。该方法还包括基于目标通道集合，确定用于图像处理模型的通道参数，通道参数指示与图像处理模型对样本图像所执行操作相对应的通道数目。该方法进一步包括基于通道参数和样本图像集，生成图像处理模型。

在本公开的第二方面中，提供了一种图像处理装置。该装置包括通道确定模块，被配置为基于样本图像集中的样本图像所包括的通道，确定针对样本图像集的目标通道集合，目标通道集合中的通道具有不同的类型。该装置还包括参数确定模块，被配置为基于目标通道集合，确定用于图像处理模型的通道参数，通道参数指示与图像处理模型对样本图像所执行操作相对应的通道数目。该装置进一步包括模型生成模块，被配置为基于通道参数和样本图像集，生成图像处理模型。

在本公开的第三方面中，提供了一种电子设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第一方面的方法。

在本公开的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：

图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；

图2示出了根据本公开的一些实施例的处理图像的过程的流程图；

图3示出了根据本公开的一些实施例的生成图像处理模型的过程的流程图；

图4示出了图示根据本公开的一些实施例的深度学习任务流程的示意图；

图5示出了根据本公开的一些实施例的图像处理装置的示意性框图；以及

图6示出了能够实施本公开的多个实施例的计算设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

在本公开的实施例的描述中，术语“模型”可以从训练数据中学习到相应的输入与输出之间的关联，从而在训练完成后基于训练得到的参数集对给定的输入进行处理以生成对应的输出。“模型”有时也可以被称为“神经网络”、“学习模型”、“学习网络”或“网络”。这些术语在本文中可互换地使用。

如上文所提及的，在一些场景中，要处理的图像可能包括除了RGB三通道之外的附加通道。卫星拍摄的高分图像或者一些特殊系统拍摄和处理后的图像包括附加通道，例如，除了RGB通道外还有红外等其他通道。

常规上，对于存在除了RGB通道之外的附加通道的图像文件，需要用户先通过手动处理保存为RGB三通道后再通过深度学习框架和系统进行训练和处理。这种方式一方面增加了处理所耗费的时间，另一方面附加通道信息未被利用，不利于处理结果的准确性。另外，在模型的训练过程中无法对多通道图像及训练结果进行预览查看，不便于训练参数的调整和优化。

根据本公开的实施例，提出了一种图像处理方案。在该方案中，与图像处理模型中的处理操作(例如，卷积)相对应的通道数目不是预先确定的，而是根据样本图像集来确定。例如，基于样本图像集中的各个样本图像所包括的通道，确定针对样本图像集的目标通道集合，该目标通道集合中的目标通道具有不同的类型。然后，基于与目标通道集合相关联的通道数目来构建初始的图像处理模型，并且利用图像样本集来训练初始的图像处理模型，从而得到经优化的图像处理模型。在将经优化的图像处理模型应用于待处理图像时，可以首先确定待处理图像所包括的通道，然后基于此来利用图像处理模型处理该图像。

因此，在本公开的方案中，所得到的图像处理模型能够处理具有任意数目的通道的图像。例如，根据本公开的实施例的图像处理模型既能够处理仅包括RGB通道的普通图像文件，也能够处理包括附加通道的图像文件。以此方式，能够全面利用不同通道所提供的信息，从而提高图像处理结果的准确性。例如，当应用于图像检测领域时，可以使附加通道提供的信息得以利用，提高图像检测的准确性。。

以下将参照附图来具体描述本公开的实施例。图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。在该示例环境100中，由计算设备102利用样本图像集105来生成图像处理模型103。在一些实施例中，计算设备102还可以将图像处理模型103应用于待处理图像106，从而得到对应的处理结果107。应当理解，图1中示出的环境100仅是示例性的，还可以使用多个计算设备来实现本公开的实施例。例如，图像处理模型103的生成和对待处理图像106的处理可以在不同的计算设备处被执行。

计算设备102可以是任何具有计算能力的设备。作为非限制性示例，计算设备102可以是任意类型的固定计算设备、移动计算设备或便携式计算设备，包括但不限于台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、多媒体计算机、移动电话等；计算设备102的全部组件或一部分组件可以分布在云端。

在图1的示例中，样本图像集105包括样本图像110、120、130和140，其中每个样本图像可以包括一个或多个通道。这些通道可以包括但不限于，与颜色信息相对应的通道(诸如，R通道、G通道、B通道)，与红外信息相对应的通道，与深度信息相对应的通道，与水汽信息相对应的通道等。为了便于讨论，与颜色信息相对应的通道也可以被称为颜色通道，或者将R通道、G通道、B通道统称为RGB通道，与红外信息相对应的通道也可以被称为红外通道，与深度信息相对应的通道也可以被称为深度通道。

每个样本图像所包括的通道的数目和类型可以彼此不同。在一些实施例中，可以认为R、G、B通道是不同类型的通道，因为它们对应于不同的颜色。仅作为一个示例，样本图像110可以包括四个通道，诸如RGB通道和红外通道；样本图像120可以包括三个通道，诸如RGB通道；样本图像130可以包括五个通道，诸如RGB通道、红外通道和深度通道；样本图像140可以仅包括红外通道。

应当理解，图1中所示出的样本图像集105中的样本图像的数目及其包括的通道数目和类型仅是示例性的，而无意任何限制。样本图像集105可以包括更多或更少的样本图像。与样本图像110、120、130、140类似，待处理图像106的通道数目和类型也不受限制。

为了更清楚地理解本公开的实施例所提供的图像处理方案，将参照图2-图6来进一步描述本公开的实施例。图2示出了根据本公开的实施例的处理图像的过程200的流程图。过程200可以由图1的计算设备102实现。为便于讨论，将结合图1来描述过程200。

在框210，计算设备102基于样本图像集105中的样本图像所包括的通道，确定针对样本图像集105的目标通道集合。目标通道集合中的通道具有不同的类型。可以基于样本图像的元数据来确定其包括的通道。目标通道集合可以涵盖样本图像集105所包括的所有类型的通道。换言之，目标通道集合可以是样本图像集105中的样本图像所包括的不同类型的通道的并集。例如，如果样本图像集105中的所有样本图像均为包括RGB通道的普通图像，则目标通道集合包括R通道、G通道和B通道。

在一些实施例中，计算设备102确定样本图像集105中的第一样本图像包括第一类型的通道并且与第一样本图像不同的第二样本图像包括第二类型的通道，第二类型不同于第一类型。计算设备102进而可以将第一类型的通道和第二类型的通道确定为目标通道集合中的通道。例如，如果样本图像110包括红外通道，并且样本图像120包括深度通道，则计算设备102可以将红外通道和深度通道均确定为目标通道集合中的通道。

作为一个示例，如果样本图像集105中的所有样本图像均仅包括RGB通道，则计算设备102可以确定目标通道集合包括RGB通道。作为另一示例，如果样本图像集105中的一些样本图像(诸如，样本图像110、130)仅包括RGB通道，并且另一些样本图像(诸如，样本图像120、140)包括RGB通道和红外通道，则计算设备102可以确定目标通道集合包括四个通道，分别是R通道、G通道、B通道和红外通道。作为又一示例，对于上述关于图1所描述的情况，计算设备102可以确定目标通道集合包括五个通道，分别是R通道、G通道、B通道、红外通道和深度通道。

在一些实施例中，计算设备102可以根据需要(例如，应用场景)来确定目标通道集合，例如，可以将不需要纳入考虑的通道排除在目标通道集合外。例如，如果所要生成的图像处理模型的应用场景无需考虑深度信息，则即便样本图像集105中的样本图像包括深度通道，也可以不将深度通道包括在目标通道集合中。

以此方式，根据本公开的实施例的图像处理模型可以根据需要来利用样本图像的不同通道的信息。用户在采集和获取业务数据(例如，样本图像集105)时，无需再区分具有不同通道数目的图像。

在需要对样本图像进行预处理的情况下，可以对各个通道的数据执行相同的预处理。例如，在需要进行常见的图像上下左右翻转、尺度变化、模糊、饱和度变化时，可以对各个通道中的数据进行操作，以及对图像的归一化后减均值除方差等操作也会对各个通道数据进行。这样可以确保在对样本图像集的后续增强和读取时可以支持多通道图像。

在框220，计算设备102基于目标通道集合，确定用于图像处理模型103的通道参数。该通道参数指示与图像处理模型103对样本图像(例如，样本图像110、120、130、140)所执行操作相对应的通道数目。计算设备102可以将目标通道集合中的通道的数目确定为用于图像处理模型103的通道参数。例如，如果目标通道集合包括四个通道，则计算设备102可以将通道参数的值设置为4。

举例而言，在设计和构建深度学习网络时，通道参数可以指示网络中所涉及的各个操作或算子与通道相关的参数。例如，卷积操作所针对的通道的数目可以取决于该通道参数。

在框230，计算设备102基于通道参数和样本图像集105，生成图像处理模型103。在一些实施例中，计算设备102可以通过优化已有模型来生成图像处理模型103。例如，基于通道参数来调整该已有模型中与操作或算子相对应的通道数目，然后利用样本图像集105来训练该已有模型，从而生成所期望的图像处理模型103。

在一些实施例中，计算设备102可以从头来生成图像处理模型103。例如，计算设备102可以先构建针对图像处理模型103的初始模型，然后通过对初始模型的训练来得到图像处理模型103。例如，在初始模型的训练中，网络层的各个操作或算子可以接收多通道数据并对各通道数据进行运算后传入下一层算子，通过设置合适的损失函数并在训练时进行损失函数计算后更新网络的权重参数，在损失不断下降达到一定程度时停止训练，将相关的模型和参数保存后完成训练过程。

现在参考图3，其示出了根据本公开的一些实施例的生成图像处理模型的过程300的流程图。过程300可以视为图2中框230的一个实现。为了便于讨论，将参考图1来描述过程300。

在框310，计算设备102基于在框220处确定的通道参数，针对图像处理模型103构建初始模型。例如，计算设备102可以基于应用场景选择图像处理模型103所要包括的各个操作或算子，例如卷积、池化(pooling)等。备选地或附加地，计算设备102可以基于用户选择来确定图像处理模型103所要包括的各个操作或算子。例如，用户可以指定神经网络的各层中的操作或算子。

在构建初始模型时，无论是计算设备102选择的还是用户选择的操作或算子所针对的通道的数目取决于在框220处确定的通道参数。以此方式，在这样的实施例中，操作或算子(例如，卷积、池化)可以支持动态指定通道数目并且所指定的通道数目可以大于3(即，常规图像处理中的通道数目)。

在框320，计算设备102基于目标通道集合，更新样本图像集105。例如，当样本图像集105(例如，由用户输入的图像文件)中混合了具有不同通道的样本图像时，可以对通道较少(例如，小于通道参数)的样本图像进行填充(padding)。

计算设备102可以确定样本图像集105中通道数目小于通道参数的样本图像(为了便于讨论，将其称为第三样本图像)。计算设备102可以确定存在于目标通道集合中、但不存在于第三样本图像中的通道的类型，然后将与所确定的类型的通道相对应的数据添加到第三样本图像中。换言之，计算设备102可以对第三样本图像进行填充。所填充的与第三样本图像所缺少的通道相对应的数据可以例如是预先确定的值或默认值(例如，零)，也可以是其他合适的值，例如由用户基于场景而配置的值。

作为一个示例，假设在框210处确定目标通道集合包括R通道、G通道、B通道和红外通道，而样本图像130包括R通道、G通道、B通道。在这种情况下，计算设备102可以确定样本图像130缺少红外通道的数据。为了使所构建的初始模型能够正确地利用样本图像130，计算设备102可以对样本图像130进行填充，例如，将与红外通道相对应的数据设置为零。

计算设备102可以以此方式对样本图像集105中的通道少的样本图像进行预处理，从而得到经更新的样本图像集105。在框330，计算设备102通过利用经更新的样本图像集105训练初始模型，来生成图像处理模型103。对初始模型的训练可以如上文关于框230所描述的那样。

继续参考图2，在框230的执行过程中，例如在模型训练过程中，可以利用可视化工具来对多通道图像进行预览。以此方式，可以观察多通道图像的训练结果和评估结果，便于用户对训练过程中进行参数调整和优化。

在一些实施例中，计算设备102可以针对样本图像集105中的一个或多个样本图像(为了便于讨论，将其称为第四样本图像)，确定与目标通道集合中的不同类型的通道相对应的训练结果。例如，这里所描述的第四样本图像可以是样本图像集105中的任何样本图像，也可以是由用户选择的某个或某些样本图像。例如，在目标通道集合包括RGB通道和红外通道的情况下，计算设备102可以针对样本图像140来确定分别与RGB通道和红外通道(或者这些通道中的一个或多个通道)相对应的训练结果。举例而言，在图像处理模型104旨在用于人脸检测的情况下，所确定的训练结果可以是对样本图像140中的人脸的检测结果。

计算设备102可以相关联地提供训练结果以及第四样本图像的至少一部分，以使得图像处理模型103的参数能够被调整。例如，计算设备102可以向用户呈现与各个通道相对应的训练结果以及样本图像140。用户可以将不同通道的结果进行比较，从而确定是否要对模型的参数进行调整或优化。计算设备102可以接收用户的输入，并且基于用户的输入来对模型参数的调整或优化。

以上参考框210-230以及图3描述了图像处理模型103的生成。根据本公开的实施例旨在支持多通道数据的通用的图像处理模型，例如深度学习系统。这样的方案可以用于获得旨在用于不同目的的模型。所获得的图像处理模型可以是检测模型，诸如用于人脸检测或人脸关键点检测等。所获得的图像处理模型还可以是但不限于分类模型或分割模型等。

在一些实施例中，可以进一步部署所获得的图像处理模型103来处理图像。继续参考图2，在框240，计算设备102获取待处理图像106。计算设备102可以接收待处理图像106。例如，计算设备102可以从图像捕获设备或者从用户接收待处理图像106。计算设备102然后可以确定接收到的待处理图像106所包括的通道。在一些实施例中，如果待处理图像106所包括的通道与目标通道集合一致，则计算设备102可以直接使用接收到的待处理图像106。

在一些实施例中，如果待处理图像106所包括的通道少于目标通道集合，则计算设备102可以确定存在于目标通道集合中、但不存在于待处理图像106中的通道的类型。计算设备102进而可以将与所确定的类型的通道相对应的数据添加到待处理图像106中。例如，如果计算设备102确定待处理图像106缺少红外通道，则可以将与红外通道对应的数据(例如预定值或默认值，诸如零)添加到待处理图像106中。

换言之，在待处理图像106所包括的通道少于目标通道集合的情况下，可以对待处理图像106进行填充。对待处理图像106的填充可以以与对样本图像的填充类似的方式进行，例如，上文关于框320所描述的。

在框250，计算设备102通过将图像处理模型103应用于待处理图像106，来确定针对待处理图像106的处理结果107。作为一个示例，在图像处理模型103为人脸检测模型的情况下，处理结果107可以包括对待处理图像106中的人脸的检测结果。

以上结合图2-图3描述了根据本公开的一些实施例的图像处理方案。所得到的图像处理模型支持多通道图像(特别是包含除RGB通道之外的附加通道)的处理，既能处理普通图像文件，也能处理包含附加通道的图像文件。以此方式，可以使附加通道提供的信息得以利用，提高图像检测的准确性。因此，根据本公开的实施例的图像处理方案可以更好地支持诸如气象预测、地块识别、医学诊断等场景的应用。

根据本公开的图像处理方案可以应用于各种深度学习框架。为了进一步更好地理解本公开的实施例的应用，下面结合图4来描述本公开的实施例在深度学习任务中的一个示例实现。图4示出了图示根据本公开的一些实施例的深度学习任务流程的示意图400。如图4所示，深度学习框架410包括数据采集和处理阶段402、算法构建阶段403、模型训练阶段404和模型部署阶段405。在数据采集和处理阶段402以及算法构建阶段403需要基于应用目标401。应用目标401可以包括应用的领域，气象预测、地块识别、医学诊断等。应用目标401还可以包括任务目的，诸如检测、分类或分割等。

用户在采集和获取图像数据(例如，样本图像集105)时，无需再区分不同通道数目的图像。在数据采集和处理阶段402，可以根据所采集的样本图像的通道情况进行处理或兼容。例如，可以确定目标通道集合，如上文关于框210所描述的。

常见的图像上下左右翻转、尺度变化、模糊、饱和度变化等可以对各个通道中的数据进行操作，以及对图像的归一化后减均值除方差等操作也可以对各个通道数据进行。这样可以确保在数据增强和读取时可以支持多通道图像。

当所采集的样本图像中混合了不同通道的图像文件时，可以对通道少的样本图像进行填充，如上文关于框320所描述的。例如，对缺少红外通道的样本图像进行填充。

在算法构建阶段403，所提供的算子(例如，卷积或池化)可以支持动态指定通道数目并且支持指定通道数目可以大于3，如上文关于框220所描述的，可以基于通道参数来动态指定通道数目。通道数据可以支持数量-通道-高度-宽度(NCHW)和数量-高度-宽度-通道(NHWC)方式存储。用户可以根据任务目的(诸如分类、检测或者分割)选择不同的算子来构建神经网络结构。

例如，特征提取网络中的卷积操作算子，通过指定输入的通道数目(例如，上文提及的通道参数)，算子在处理时会并行处理多个通道的图像数据，使用卷积核在每个通道上执行卷积，得到输出结果。卷积操作输出图像的通道数目等于卷积核数量。当采用NCHW方式存储时，同一个通道的像素是连续的，这样同一通道的数据访问内存的时候为连续的。如多通道的图像卷积操作且采用NCHW格式输入时，输出结果为σ(W*X+b)，其中X为输入的多通道向量，W为卷积核，b为偏差。

在数据处理及网络搭建完成之后的模型训练阶段404，网络层的各算子可以接收多通道数据并对各通道数据进行运算后传入下一层算子，通过设置合适的损失函数并在训练时进行损失函数计算后更新网络的权重参数，在损失不断下降达到一定程度时停止训练，将相关的模型和参考保存后完成训练过程。这一阶段如上文关于框230所描述的。

在训练过程中，可以训练可视化工具以支持对多通道图像进行预览，如上文关于框230所描述的。利用可视化工具，用户可以观察多通道图像的训练结果和评估结果，方便对训练过程中参数调整和优化。

在模型部署阶段405，加载先前在模型训练阶段404中得到的模型。通过读取输入的图像(例如，普通图像或者包括除RGB通道之外的附加通道的图像)，对不同通道的数据按模型中的网络结构和算子使用训练好的参数进行计算得到最终预测结果。这一阶段可以如上文关于框240、250所描述的那样进行。

图5示出了根据本公开的一些实施例的图像处理装置500的示意性框图。装置500可以被包括在图1的计算设备102中或者被实现为计算设备102。如图5所示，装置500包括通道确定模块510，被配置为基于样本图像集中的样本图像所包括的通道，确定针对样本图像集的目标通道集合，目标通道集合中的通道具有不同的类型。装置500还包括参数确定模块520，被配置为基于目标通道集合，确定用于图像处理模型的通道参数，通道参数指示与图像处理模型对样本图像所执行操作相对应的通道数目。装置500进一步包括模型生成模块530，被配置为基于通道参数和样本图像集，生成图像处理模型。

在一些实施例中，通道确定模块510包括：第一确定模块，被配置为确定样本图像集中的第一样本图像包括第一类型的通道并且与第一样本图像不同的第二样本图像包括第二类型的通道，第二类型不同于第一类型；第二确定模块，被配置为将第一类型的通道和第二类型的通道确定为目标通道集合中的通道。

在一些实施例中，模型生成模块530包括：初始模型构建模块，被配置为基于通道参数，针对图像处理模型构建初始模型；样本图像集更新模块，被配置为基于目标通道集合，更新样本图像集；以及模型训练模块，被配置为通过利用经更新的样本图像集训练初始模型，来生成图像处理模型。

在一些实施例中，样本图像集更新模块包括：第一类型确定模块，被配置为确定存在于目标通道集合中、但不存在于样本图像集的第三样本图像中的通道的类型；以及第一数据添加模块，被配置为将与所确定的类型的通道相对应的数据添加到第三样本图像中。

在一些实施例中，装置500还包括：训练结果确定模块，被配置为针对样本图像集中的第四样本图像，确定与目标通道集合中的不同类型的通道相对应的训练结果；以及训练结果提供模块，被配置为相关联地提供训练结果以及第四样本图像的至少一部分，以使得图像处理模型的参数能够被调整。

在一些实施例中，装置500还包括：图像获取模块，被配置为获取待处理图像；以及模型应用模块，被配置为通过将图像处理模型应用于待处理图像，来确定针对待处理图像的处理结果。

在一些实施例中，图像获取模块包括：图像接收模块，被配置为接收待处理图像；第二类型确定模块，被配置为确定存在于目标通道集合中、但不存在于待处理图像中的通道的类型；以及第二数据添加模块，被配置为将与所确定的类型的通道相对应的数据添加到待处理图像中。

在一些实施例中，目标通道集合包括以下中的至少一项：与颜色信息相对应的通道，与红外信息相对应的通道，以及与深度信息相对应的通道。

图6示出了可以用来实施本公开的实施例的示例设备600的示意性框图。设备600可以用于实现图1的计算设备102。如图所示，设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序指令，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元601执行上文所描述的各个方法和处理，例如过程200、300中的任一个。例如，在一些实施例中，过程200、300中的任一个可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由CPU 601执行时，可以执行上文描述的过程200、300中的任一个的一个或多个步骤。备选地，在其他实施例中，CPU 601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行过程200、300中的任一个。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (16)

1.一种图像处理方法，包括：

基于样本图像集中的样本图像所包括的通道，确定针对所述样本图像集的目标通道集合，所述目标通道集合中的通道具有不同的类型；

基于所述目标通道集合，确定用于图像处理模型的通道参数，所述通道参数指示与所述图像处理模型对所述样本图像所执行操作相对应的通道数目；以及

基于所述通道参数和所述样本图像集，生成所述图像处理模型；

其中生成所述图像处理模型包括：

基于所述目标通道集合，更新所述样本图像集；

其中更新所述样本图像集包括：

确定存在于所述目标通道集合中、但不存在于所述样本图像集的第三样本图像中的通道的类型；以及

将与所确定的所述类型的通道相对应的数据添加到所述第三样本图像中。

2.根据权利要求1所述的方法，其中确定所述目标通道集合包括：

确定所述样本图像集中的第一样本图像包括第一类型的通道并且与所述第一样本图像不同的第二样本图像包括第二类型的通道，所述第二类型不同于所述第一类型；

将所述第一类型的通道和所述第二类型的通道确定为所述目标通道集合中的通道。

3.根据权利要求1所述的方法，其中生成所述图像处理模型包括：

基于所述通道参数，针对所述图像处理模型构建初始模型；以及

通过利用经更新的所述样本图像集训练所述初始模型，来生成所述图像处理模型。

4.根据权利要求1所述的方法，还包括：

针对所述样本图像集中的第四样本图像，确定与所述目标通道集合中的不同类型的通道相对应的训练结果；以及

相关联地提供所述训练结果以及所述第四样本图像的至少一部分，以使得所述图像处理模型的参数能够被调整。

5.根据权利要求1所述的方法，还包括：

获取待处理图像；以及

通过将所述图像处理模型应用于所述待处理图像，来确定针对所述待处理图像的处理结果。

6.根据权利要求5所述的方法，其中获取所述待处理图像包括：

接收所述待处理图像；

确定存在于所述目标通道集合中、但不存在于所述待处理图像中的通道的类型；以及

将与所确定的所述类型的通道相对应的数据添加到所述待处理图像中。

7.根据权利要求1所述的方法，其中所述目标通道集合包括以下中的至少一项：

与颜色信息相对应的通道，

与红外信息相对应的通道，以及

与深度信息相对应的通道。

8.一种图像处理装置，包括：

通道确定模块，被配置为基于样本图像集中的样本图像所包括的通道，确定针对所述样本图像集的目标通道集合，所述目标通道集合中的通道具有不同的类型；

参数确定模块，被配置为基于所述目标通道集合，确定用于图像处理模型的通道参数，所述通道参数指示与所述图像处理模型对所述样本图像所执行操作相对应的通道数目；以及

模型生成模块，被配置为基于所述通道参数和所述样本图像集，生成所述图像处理模型；

其中所述模型生成模块包括：

样本图像集更新模块，被配置为基于所述目标通道集合，更新所述样本图像集；

其中所述样本图像集更新模块包括：

第一类型确定模块，被配置为确定存在于所述目标通道集合中、但不存在于所述样本图像集的第三样本图像中的通道的类型；以及

第一数据添加模块，被配置为将与所确定的所述类型的通道相对应的数据添加到所述第三样本图像中。

9.根据权利要求8所述的装置，其中所述通道确定模块包括：

第一确定模块，被配置为确定所述样本图像集中的第一样本图像包括第一类型的通道并且与所述第一样本图像不同的第二样本图像包括第二类型的通道，所述第二类型不同于所述第一类型；

第二确定模块，被配置为将所述第一类型的通道和所述第二类型的通道确定为所述目标通道集合中的通道。

10.根据权利要求8所述的装置，其中所述模型生成模块还包括：

初始模型构建模块，被配置为基于所述通道参数，针对所述图像处理模型构建初始模型；以及

模型训练模块，被配置为通过利用经更新的所述样本图像集训练所述初始模型，来生成所述图像处理模型。

11.根据权利要求8所述的装置，还包括：

训练结果确定模块，被配置为针对所述样本图像集中的第四样本图像，确定与所述目标通道集合中的不同类型的通道相对应的训练结果；以及

训练结果提供模块，被配置为相关联地提供所述训练结果以及所述第四样本图像的至少一部分，以使得所述图像处理模型的参数能够被调整。

12.根据权利要求8所述的装置，还包括：

图像获取模块，被配置为获取待处理图像；以及

模型应用模块，被配置为通过将所述图像处理模型应用于所述待处理图像，来确定针对所述待处理图像的处理结果。

13.根据权利要求12所述的装置，其中所述图像获取模块包括：

图像接收模块，被配置为接收所述待处理图像；

第二类型确定模块，被配置为确定存在于所述目标通道集合中、但不存在于所述待处理图像中的通道的类型；以及

第二数据添加模块，被配置为将与所确定的所述类型的通道相对应的数据添加到所述待处理图像中。

14.根据权利要求8所述的装置，其中所述目标通道集合包括以下中的至少一项：

与颜色信息相对应的通道，

与红外信息相对应的通道，以及

与深度信息相对应的通道。

15.一种电子设备，所述设备包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的方法。

16.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

Images