CN113487480A - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本公开关于一种图像处理方法、装置、电子设备及计算机可读存储介质，该方法包括：检测待处理图像中的目标对象；在目标对象的数量大于等于两个的情况下，获取各个目标对象所在区域的图像，得到至少两个子图像；分别将子图像缩放至预设拼接方式指示的尺寸，并对缩放后的子图像进行拼接，得到拼接后的图像；通过目标模型对拼接后的图像执行预设处理任务，得到处理后的图像；按照预设切分方式对处理后的图像进行切分，并将切分后的图像分别缩放至对应的子图像的尺寸，得到各个目标对象在预设处理任务下的处理结果，本公开至少解决相关技术中在待处理图像中包含的多个目标对象的情况下，对目标对象进行图像处理的时间成本高的问题。

Description

图像处理方法、装置、电子设备及计算机可读存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。

背景技术

当前很多人工智能的应用场景，需要在客户端部署轻量的神经网络模型，以执行实时的图像处理任务，例如人脸分割任务，人脸风格化生成任务等。

需要说明的是，由于客户端计算资源的限制，以及任务的实时处理要求，轻量模型往往只能实现对单实例场景下的图像的实时推理，对多实例场景下的图像的处理存在局限性，具体地，在对多实例场景下的图像进行处理时，例如，在对包含多个人物的视频中的图像执行人脸风格化任务中，相关技术是采用现有模型对一帧图像中的人脸串行进行多次处理，实现人脸风格化任务，增加了模型处理一帧图像的时间加倍，从而大大降低了客户端视频显示的帧率。

针对相关技术中在待处理图像中包含的多个目标对象的情况下，对目标对象进行图像处理的时间成本高的问题，目前尚未提出有效的解决方案。

发明内容

本公开提供一种图像处理方法、装置、电子设备及计算机可读存储介质，以至少解决相关技术中在待处理图像中包含的多个目标对象的情况下，对目标对象进行图像处理的时间成本高的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，包括：检测待处理图像中的目标对象；在目标对象的数量大于等于两个的情况下，获取各个目标对象所在区域的图像，得到至少两个子图像；分别将至少两个子图像缩放至预设拼接方式指示的尺寸，得到至少两个缩放后的子图像，并按照预设拼接方式对至少两个缩放后的子图像进行拼接，得到拼接后的图像；通过目标模型对拼接后的图像执行预设处理任务，得到处理后的图像；按照与预设拼接方式相对应的预设切分方式对处理后的图像进行切分，得到多个切分后的图像，并将多个切分后的图像分别缩放至对应的子图像的尺寸，得到各个目标对象在预设处理任务下的处理结果。

可选地，分别对至少两个子图像进行缩放处理，得到至少两个缩放后的子图像，并按照预设拼接方式对至少两个缩放后的子图像进行拼接，得到拼接后的图像包括：确定目标对象的数量对应的预设拼接方式，并确定在预设拼接方式下各个待拼接区域的尺寸，其中，拼接方式与训练目标模型时采用的训练集数据中的图像的拼接方式相同，待拼接区域的数量与目标对象的数量相同；分别将每个子图像缩放至对应的待拼接区域的尺寸，得到至少两个处理后的子图像；将至少两个处理后的子图像按照预设拼接方式进行拼接，得到拼接后的图像。

可选地，在通过目标模型对拼接后的图像执行预设处理任务，得到处理后的图像之前，该方法还包括：获取多组第一样本数据和多组第二样本数据，其中，每组第一样本数据为包含单个目标对象的样本图像以及样本图像执行预设处理任务后的样本处理结果，每组第二样本数据为至少两个目标对象的拼接后的样本图像以及样本图像执行预设处理任务后的样本处理结果；通过多组第一样本数据和多组第二样本数据交替训练预设模型，得到目标模型。

可选地，在检测待处理图像中的目标对象之后，该方法还包括：在目标对象的数量为一个的情况下，通过目标模型对目标对象所在区域的图像执行预设处理任务，得到目标对象在预设处理任务下的处理结果。

可选地，通过多组第一样本数据和多组第二样本数据交替训练预设模型，得到目标模型包括：在每次训练预设模型之后，计算模型对样本图像的处理结果和样本图像对应的样本处理结果之间的目标损失值，并根据目标损失值调整预设模型的模型参数，直至得到目标模型。

可选地，处理结果包括一份样本数据中的多个样本图像对应的多个实际处理结果，计算模型对样本图像的处理结果和样本图像对应的样本处理结果之间的目标损失值包括：分别计算多个实际处理结果和对应的样本处理结果之间的损失值，得到多个损失值，将多个损失值的平均值确定为目标损失值；或从多个实际处理结果中随机选取预设数量的实际处理结果，分别计算预设数量的实际处理结果中每个实际处理结果和对应的样本处理结果之间的损失值，得到多个损失值，将多个损失值的平均值确定为目标损失值。

可选地，在样本数据为第二样本数据的情况下，每个实际处理结果对应的样本处理结果包括多个样本子处理结果，计算每个实际处理结果和对应的样本处理结果之间的损失值包括：按照预设切分方式对实际处理结果进行切分，得到多个切分结果；分别计算多个切分结果与对应的样本子处理结果之间的损失值，得到多个切分结果对应的损失值；计算多个切分结果对应的损失值的均值，得到实际处理结果和对应的样本处理结果之间的损失值。

根据本公开实施例的第二方面，提供一种图像处理装置，包括检测单元，被配置为检测待处理图像中的目标对象；第一获取单元，被配置为在目标对象的数量大于等于两个的情况下，获取各个目标对象所在区域的图像，得到至少两个子图像；拼接单元，被配置为分别将至少两个子图像缩放至预设拼接方式指示的尺寸，得到至少两个缩放后的子图像，并按照预设拼接方式对至少两个缩放后的子图像进行拼接，得到拼接后的图像；处理单元，被配置为通过目标模型对拼接后的图像执行预设处理任务，得到处理后的图像；切分单元，被配置为按照与预设拼接方式相对应的预设切分方式对处理后的图像进行切分，得到多个切分后的图像，并将多个切分后的图像分别缩放至对应的子图像的尺寸，得到各个目标对象在预设处理任务下的处理结果。

可选地，拼接单元包括：确定模块，被配置为确定目标对象的数量对应的预设拼接方式，并确定在预设拼接方式下各个待拼接区域的尺寸，其中，拼接方式与训练目标模型时采用的训练集数据中的图像的拼接方式相同，待拼接区域的数量与目标对象的数量相同；缩放模块，被配置为分别将每个子图像缩放至对应的待拼接区域的尺寸，得到至少两个处理后的子图像；拼接模块，被配置为将至少两个处理后的子图像按照预设拼接方式进行拼接，得到拼接后的图像。

可选地，该装置还包括：第二获取单元，被配置为在通过目标模型对拼接后的图像执行预设处理任务，得到处理后的图像之前，获取多组第一样本数据和多组第二样本数据，其中，每组第一样本数据为包含单个目标对象的样本图像以及样本图像执行预设处理任务后的样本处理结果，每组第二样本数据为至少两个目标对象的拼接后的样本图像以及样本图像执行预设处理任务后的样本处理结果；训练单元，被配置为通过多组第一样本数据和多组第二样本数据交替训练预设模型，得到目标模型。

可选地，该装置还包括：执行单元，被配置为在检测待处理图像中的目标对象之后，在目标对象的数量为一个的情况下，通过目标模型对目标对象所在区域的图像执行预设处理任务，得到目标对象在预设处理任务下的处理结果。

可选地，训练单元还被配置为在每次训练预设模型之后，计算模型对样本图像的处理结果和样本图像对应的样本处理结果之间的目标损失值，并根据目标损失值调整预设模型的模型参数，直至得到目标模型。

可选地，处理结果包括一份样本数据中的多个样本图像对应的多个实际处理结果，训练单元包括：第一计算模块，被配置为分别计算多个实际处理结果和对应的样本处理结果之间的损失值，得到多个损失值，将多个损失值的平均值确定为目标损失值；或第二计算模块，被配置为从多个实际处理结果中随机选取预设数量的实际处理结果，分别计算预设数量的实际处理结果中每个实际处理结果和对应的样本处理结果之间的损失值，得到多个损失值，将多个损失值的平均值确定为目标损失值。

可选地，在样本数据为第二样本数据的情况下，每个实际处理结果对应的样本处理结果包括多个样本子处理结果，第一计算模块包括：切分子模块，被配置为按照预设切分方式对实际处理结果进行切分，得到多个切分结果；第一计算子模块，被配置为分别计算多个切分结果与对应的样本子处理结果之间的损失值，得到多个切分结果对应的损失值；第二计算子模块，被配置为计算多个切分结果对应的损失值的均值，得到实际处理结果和对应的样本处理结果之间的损失值。

根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现上述任一项的图像处理方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一项的图像处理方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任一项的图像处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

本公开通过检测待处理图像中的目标对象；检测待处理图像中的目标对象；在目标对象的数量大于等于两个的情况下，获取各个目标对象所在区域的图像，得到至少两个子图像；分别将至少两个子图像缩放至预设拼接方式指示的尺寸，得到至少两个缩放后的子图像，并按照预设拼接方式对至少两个缩放后的子图像进行拼接，得到拼接后的图像；通过目标模型对拼接后的图像执行预设处理任务，得到处理后的图像；按照与预设拼接方式相对应的预设切分方式对处理后的图像进行切分，得到多个切分后的图像，并将多个切分后的图像分别缩放至对应的子图像的尺寸，得到各个目标对象在预设处理任务下的处理结果，可以达到通过目标模型对拼接图像进行单次处理即可得到各个目标对象的处理结果的目的，实现了提高对待处理图像中的各个目标对象进行图像处理的速度的技术效果，解决了相关技术中在待处理图像中包含的多个目标对象的情况下，对目标对象进行图像处理的时间成本高的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种图像处理方法的应用场景示意图。

图2是根据一示例性实施例示出的一种图像处理方法的流程。

图3是根据一示例性实施例示出的一种图像处理方法的示意图。

图4是根据一示例性实施例示出的一种可选的图像处理方法中的图像拼接示意图。

图5是根据一示例性实施例示出的一种可选的图像处理方法中的图像拼接示意图。

图6是根据一示例性实施例示出的一种可选的图像处理方法的示意图。

图7是根据一示例性实施例示出的一种可选的图像处理方法的示意图。

图8是根据一示例性实施例示出的一种图像处理装置的框图。

图9是根据一示例性实施例示出的一种终端的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

为了解决相关技术中在待处理图像中包含的多个目标对象的情况下，对目标对象进行图像处理的时间成本高的问题，相关技术中出现了以下方法：

进一步优化轻量模型的结构，减少轻量模型单次前传的时间，使得在保证图像实时性的同时对图像进行处理，但是，轻量模型结构的优化费时费力，且在降低模型计算量时会大大降低模型效果精度，影响图像处理效果。

基于此，本申请希望提供一种能够解决上述技术问题的方案，其详细内容将在后续实施例中得以阐述。

本申请提供实施例一的图像处理方法，可以应用于如图1所示的应用场景中，图1为一个实施例中信息处理的应用场景图，该应用场景可以包括客户端110和服务器120，其中，服务器120可以通过网络与客户端110进行通信连接。客户端110显示待处理图像，并触发第一目标请求至服务器120，服务器120响应第一目标请求以检测待处理图像中的目标对象，在目标对象的数量大于等于两个的情况下，获取各个目标对象所在区域的图像，将各个目标对象所在区域的图像拼接为预设尺寸的图像，并通过目标模型对预设尺寸的图像执行预设处理任务得到处理后的图像，对处理后的图像进行切分，得到各个目标对象在预设处理任务下的处理结果，并返回处理结果。从而在客户端110显示各个目标对象在预设处理任务下的处理结果，实现了了提高对待处理图像中的各个目标对象进行图像处理的速度的技术效果，解决了相关技术中在待处理图像中包含的多个目标对象的情况下，对目标对象进行图像处理的时间成本高的问题。

图2是根据一示例性实施例示出的一种图像处理方法的流程图，如图2所示，图像处理方法用于服务器中，包括以下步骤。

在步骤S201中，检测待处理图像中的目标对象。

具体地，待处理图像可以为存在包含目标对象的可能性的图像，例如，待处理图像可以为视频中的一帧图像。

目标对象为待处理图像中的待执行预设处理任务的一类对象，目标对象的类型根据预设处理任务的不同而不同，例如，在预设处理任务为人脸风格化处理任务时，目标对象为人脸，在预设处理任务为人体形变处理任务时，目标对象为人体。

在步骤S202中，在目标对象的数量大于等于两个的情况下，获取各个目标对象所在区域的图像，得到至少两个子图像。

需要说明的是，同一待处理图像中的目标对象可能为一个，也可能为多个，在目标对象的数量大于等于两个的情况下，可以分别获取各个目标对象所在区域的图像，得到对应的子图像，具体地，可以将包含一个目标对象的最小矩形区域确定为目标对象所在区域。

在步骤S203中，分别将至少两个子图像缩放至预设拼接方式指示的尺寸，得到至少两个缩放后的子图像，并按照预设拼接方式对至少两个缩放后的子图像进行拼接，得到拼接后的图像。

具体地，预设拼接方式确定了拼接形式以及各个待拼接区域的尺寸，在待检测图像中的目标对象的数量大于等于两个的情况下，根据目标对象的数量确定预设拼接方式，并将目标对象对应的子图像缩放至各个待拼接区域的尺寸，然后再按照拼接形式进行拼接。

在步骤S204中，通过目标模型对拼接后的图像执行预设处理任务，得到处理后的图像。

具体地，目标模型的待处理图像中可包含的目标对象的个数由训练模型的样本图像中的目标对象的个数决定，例如，多组样本图像中存在包含2个目标对象的图像以及包含3个目标对象的图像，则训练得到的目标模型可以处理包含2个目标对象的待处理图像以及包含3个目标对象的待处理图像。

需要说明的是，在通过目标模型对拼接后的图像进行处理后，得到的是拼接后的图像对应的处理效果，无法直接展现各个目标对象在预设处理任务下的处理效果，因而，为了得到各个目标对象对应的处理结果，需要对处理后的图像进行切分。

在步骤S205中，按照与预设拼接方式相对应的预设切分方式对处理后的图像进行切分，得到多个切分后的图像，并将多个切分后的图像分别缩放至对应的子图像的尺寸，得到各个目标对象在预设处理任务下的处理结果。

具体地，对处理后的图像进行切分时，切分的方式与处理前的图像对应的各个子图的拼接的方式一致，在切分之后再将各个图像恢复至拼接前的尺寸，也即恢复至缩放前的分辨率，从而得到各个目标对象的处理效果。

需要说明的是，相对于相关技术中通过模型对各个目标对象进行串行处理的方式，在待处理的图像中包含N个目标对象的情况下，本公开实施例的图像处理速度是相关技术中的两倍，在待处理的图像中包含N个目标对象的情况下，本公开实施例的图像处理速度是相关技术中的N倍。也即，本公开实施例在保证处理效果的情况下，提高了获取各个目标对象对应的处理结果的速度。

本公开通过检测待处理图像中的目标对象；在目标对象的数量大于等于两个的情况下，获取各个目标对象所在区域的图像，得到至少两个子图像；分别将至少两个子图像缩放至预设拼接方式指示的尺寸，得到至少两个缩放后的子图像，并按照预设拼接方式对至少两个缩放后的子图像进行拼接，得到拼接后的图像；通过目标模型对拼接后的图像执行预设处理任务，得到处理后的图像；按照与预设拼接方式相对应的预设切分方式对处理后的图像进行切分，得到多个切分后的图像，并将多个切分后的图像分别缩放至对应的子图像的尺寸，得到各个目标对象在预设处理任务下的处理结果，可以达到通过目标模型对拼接图像进行单次处理即可得到各个目标对象的处理结果的目的，实现了提高对待处理图像中的各个目标对象进行图像处理的速度的技术效果，解决了相关技术中在待处理图像中包含的多个目标对象的情况下，对目标对象进行图像处理的时间成本高的问题。

需要说明的是，目标模型可以由多组样本图像以及样本图像对应的处理结果训练得到，样本图像中除了存在包含至少两个目标对象的拼接图像，还可以存在包含单个目标对象的图像，相应的，样本图像对应的处理结果存在拼接图像的处理结果，也存在包含单个目标对象图像的处理结果。

因而，目标模型除了可以处理包含至少两个目标对象的待处理图像，还可以处理包含单个目标对象的待处理图像，可选地，在本公开实施例的图像处理方法中，在检测待处理图像中的目标对象之后，该方法还包括：在目标对象的数量为一个的情况下，通过目标模型对目标对象所在区域的图像执行预设处理任务，得到目标对象在预设处理任务下的处理结果。

具体地，在检测到待处理图像中的目标对象为单个的情况下，可以不对目标对象所在区域的图像进行拼接处理，将目标对象所在区域的图像输入目标模型执行预设处理任务，即可得到目标对象在预设处理任务下的处理结果。

在一种可选地实施方式中，如图3所述，预设处理任务为人脸风格化处理任务，目标对象为人脸，待处理图像中仅包含人脸A，将人脸A所在的区域图像定义为非拼接图像，并输入模型，通过模型进行处理即可得到人脸A对应的人脸风格化处理结果，也即效果a。

通过本公开实施例，采用目标模型对待处理图像进行处理，不仅使得包含至少两个目标对象的图像的处理效果尽量少折损，而且实现了对包含单个目标对象的图像的处理效果不折损的目的。

对于包含至少两个目标对象的待处理图像，对应的拼接方式与包含的目标对象的数量相关，可选地，在本公开实施例的图像处理方法中，分别将至少两个子图像缩放至预设拼接方式指示的尺寸，得到至少两个缩放后的子图像，并按照预设拼接方式对至少两个缩放后的子图像进行拼接，得到拼接后的图像包括：确定目标对象的数量对应的预设拼接方式，并确定在预设拼接方式下各个待拼接区域的尺寸，其中，拼接方式与训练目标模型时采用的训练集数据中的图像的拼接方式相同，待拼接区域的数量与目标对象的数量相同；分别将每个子图像缩放至对应的待拼接区域的尺寸，得到至少两个处理后的子图像；将至少两个处理后的子图像按照预设拼接方式进行拼接，得到拼接后的图像。

具体地，待处理图像包含的目标对象的数量不同，对应的拼接方式不同，且同一数量的目标对象对应的拼接方式可以为多种，可以选择其中的一种作为预设拼接方式，并将每个子图像缩放至预设拼接方式对应的待拼接区域的尺寸。

在待处理图像包含两个目标对象时，对应的拼接方式可以为上下拼接，也可以为左右拼接；在待处理图像包含三个目标对象时，可以对应如图4所示的4种拼接方式，但不局限于这4种拼接方式；在待处理图像包含四个目标对象时，可以对应如图5所示的5种拼接方式，但不局限于这5种拼接方式。

在一种可选地实施方式中，如图6所示，在人脸处理任务中，对于包含2个人脸的待处理图像，可以先将检测到的两个不同的人脸A和人脸B所在的区域图像分别进行宽度压缩，压缩到原始宽度的一半，然后沿着宽度拼接在一起获得拼接图像，将拼接图像送入目标模型中进行单次前向推理，获得拼接图像的效果，然后切分拼接图像对应的效果图，具体地，在宽度维度通过双线性插值等操作将切分后的图像分别恢复至原始宽度，获得人脸A和人脸B对应的效果a和效果b。

此外，还需要说明的是，对于各种拼接方式，每幅图的缩放比例不需要相同，可以根据实际需求进行图像的缩放，只需要保证图像恢复后的分辨率与压缩前的分辨率一致即可。

通过本公开实施例，将各个目标对象对应的子图调整至合适的尺寸后进行拼接，使得包含多个目标对象的待处理图像通过目标模型进行一次处理即可得到各个目标对象的处理结果，提高了对包含多个目标对象的待处理图像进行处理的处理速度。

为了保证目标模型的处理不同个数的目标对象的效果，可选地，在本公开实施例的图像处理方法中，在通过目标模型对拼接后的图像执行预设处理任务，得到处理后的图像之前，该方法还包括：获取多组第一样本数据和多组第二样本数据，其中，每组第一样本数据为包含单个目标对象的样本图像以及样本图像执行预设处理任务后的样本处理结果，每组第二样本数据为至少两个目标对象的拼接后的样本图像以及样本图像执行预设处理任务后的样本处理结果；通过多组第一样本数据和多组第二样本数据交替训练预设模型，得到目标模型。

其中，第一样本数据即为包含单个目标对象的图像及其处理结果，第二样本数据即为至少2个目标对象的拼接图像及其处理结果，需要说明的是，第二样本数据对应的目标对象的个数由预设处理任务确定，多组第二样本数据中可以包含多组2个目标对象的拼接图像及其处理结果、还可以包含多组3个目标对象的拼接图像及其处理结果、还可以包含多组4个目标对象的拼接图像及其处理结果，或多组其他数量的目标对象的拼接图像及其处理结果，本公开实施例不限制第二样本数据对应的目标对象的个数。

具体地，在训练模型时，将多组第一样本数据和多组第二样本数据分别分为多份，分批交替迭代训练预设模型，例如，可以先采用一批单个目标对象的图像及其处理结果图训练预设模型，再采用一批2个目标对象的拼接图像及其处理结果图训练预设模型，然后再采用一批单个目标对象的图像及其处理结果图训练预设模型，再采用一批3个目标对象的拼接图像及其处理结果图训练预设模型，然后再采用一批4个目标对象的拼接图像及其处理结果图训练预设模型，直至得到目标模型，本实施例不限定交替迭代训练的具体方式。

需要说明的是，在图像处理任务中预设模型可以为卷积神经网络，具体地，可以为全卷积神经网络，在实时进行图像处理的场景下，预设模型可以为轻量模型，将轻量模型部署到客户端实现图像的实时处理，轻量模型可以为轻量的卷积神经网络，具体地，可以为轻量的全卷积神经网络，本公开实施例不限制模型的类型。

通过本公开实施例，采用包含不同数量的目标对象的样本数据交替迭代训练预设模型，得到目标模型，使得目标模型具备处理包含不同数量的目标对象的待处理图像的功能，而且提高了目标模型的处理性能。

迭代训练模型的过程中即为不断调整模型参数的过程，可选地，在本公开实施例的图像处理方法中，通过多组第一样本数据和多组第二样本数据交替训练预设模型，得到目标模型包括：在每次训练预设模型之后，计算模型对样本图像的处理结果和样本图像对应的样本处理结果之间的目标损失值，并根据目标损失值调整预设模型的模型参数，直至得到目标模型。

具体地，每次通过一批样本数据对预设模型进行训练之后，计算实际处理结果和对应的样本处理结果之间的目标损失值，再采用目标损失值通过梯度反传的方式调整预设模型的各个参数，直至调整模型参数后的预设模型满足预设条件，例如，预设条件可以为目标损失值小于预设值，预设条件还可以为得到的模型在进行测试时可以得到较好的图像处理效果，本公开实施例不限制预设条件的设定方式。

在一种可选地实施方式中，如图7所示，以训练可以对单个人脸和两个人脸进行风格化处理的轻量模型为例，由于模型推理部分需要同时处理双人场景下的拼接图像和单人场景下的非拼接图像，模型训练过程中也需要对拼接图像和非拼接图像进行混合交替训练，具体地，每一次迭代下，当模型仅输入人脸A的非拼接图像时，模型输出效果a，采用损失函数对输出效果a进行损失计算。每一次迭代下，当模型输入双人对应的拼接图像时，模型输出效果a，b，将效果a，b放大到非压缩图像的分辨率后，采用损失函数对效果a，b进行损失计算。

进一步的，每次计算损失后，根据损失值进行梯度反传，以更新模型的参数，直至得到目标模型，使得目标模型既可以实时处理单人非拼接图像，同时可以实时处理双人拼接图像。需要说明的是，将效果a，b放大到非压缩图像分辨率后进行损失计算，比直接将压缩效果a，b进行损失计算的效果好，因而对效果a，b进行放大到非压缩图像分辨率输出在进行损失计算。

在一种可选地实施方式中，在可以处理包含N个人的图像的模型的训练过程中，首先选择一种合适拼接方式，然后将压缩拼接后的图像送入轻量网络中获得输出结果，根据拼接方式对输出结果进行切分，接着将切分后的图像分别恢复到非压缩图像分辨率大小，例如，可以通过双线性插值等操作进行图像恢复，从而获得N个效果图像。然后分别对N个效果图像进行损失计算，根据计算得到损失值进行梯度反传，更新模型的参数，直至得到目标模型。

需要说明的是，为了使得训练得到的目标模型具有更好的图像处理效果，训练过程的拼接方式需要和测试过程的拼接方式一致，训练过程的切分方式也需要和测试过程的切分方式保持一致。

此外，还需要说明的是，损失函数的类型根据对应的视觉任务确定，例如，在图像生成任务中，损失函数可以包括GAN损失，L1损失等，本公开实施例不限制图像处理任务的类型，相应的不限定损失函数的类型。

通过本公开实施例，在交替迭代训练模型的同时，根据损失值不断更新模型参数，提高了训练得到的目标模型处理图像的性能。

确定实际处理结果和对应的样本处理结果之间的目标损失值的方式可以为多种，可选地，在本公开实施例的图像处理方法中，处理结果包括一份样本数据中的多个样本图像对应的多个实际处理结果，计算模型对样本图像的处理结果和样本图像对应的样本处理结果之间的目标损失值包括：分别计算多个实际处理结果和对应的样本处理结果之间的损失值，得到多个损失值，将多个损失值的平均值确定为目标损失值；或从多个实际处理结果中随机选取预设数量的实际处理结果，分别计算预设数量的实际处理结果中每个实际处理结果和对应的样本处理结果之间的损失值，得到多个损失值，将多个损失值的平均值确定为目标损失值。

需要说明的是，为了保证计算多个实际处理结果和对应的样本处理结果之间的目标损失的准确性，可以对每个实际处理结果和对应的样本处理结果的损失值求平均，得到目标损失。但是，虽然对每个实际处理结果和对应的样本处理结果的损失值求平均的方式能保证损失值的准确性，但在每次迭代时的样本数据众多的情况下，需要占用较大的显存资源，在显存资源有限的情况下，可以根据实际情况在N个图像中随机选择部分图像进行损失计算，在尽可能保证损失值的准确度的情况下，减少计算损失时所占用的显存资源。

通过本公开实施例，可以根据对模型精度的需求不同采用不同的方式计算损失值，在保证损失值的准确度的前提下，减少计算损失时的显存资源占用量，提高模型训练的速度。

可选地，在本公开实施例的图像处理方法中，在样本数据为第二样本数据的情况下，每个实际处理结果对应的样本处理结果包括多个样本子处理结果，计算每个实际处理结果和对应的样本处理结果之间的损失值包括：按照预设切分方式对实际处理结果进行切分，得到多个切分结果；分别计算多个切分结果与对应的样本子处理结果之间的损失值，得到多个切分结果对应的损失值；计算多个切分结果对应的损失值的均值，得到实际处理结果和对应的样本处理结果之间的损失值。

通过本实施例，在样本图像中包括至少一个目标对象的情况下，分别计算每个目标对象所在的子图的处理结果和对应的样本子处理结果之间的损失值，并将损失值的均值确定为实际处理结果和对应的样本处理结果之间的损失值，提高了确定实际处理结果和对应的样本处理结果之间的损失值的准确性。

图8是根据一示例性实施例示出的一种图像处理装置框图。参照图8，该装置包括检测单元801、第一获取单元802、拼接单元803、处理单元804和切分单元805。

该检测单元801被配置为检测待处理图像中的目标对象。.

该第一获取单元802被配置为在目标对象的数量大于等于两个的情况下，获取各个目标对象所在区域的图像，得到至少两个子图像。

该拼接单元803被配置为分别将至少两个子图像缩放至预设拼接方式指示的尺寸，得到至少两个缩放后的子图像，并按照预设拼接方式对至少两个缩放后的子图像进行拼接，得到拼接后的图像。

该处理单元804被配置为通过目标模型对拼接后的图像执行预设处理任务，得到处理后的图像。

该切分单元805被配置为按照与预设拼接方式相对应的预设切分方式对处理后的图像进行切分，得到多个切分后的图像，并将多个切分后的图像分别缩放至对应的子图像的尺寸，得到各个目标对象在预设处理任务下的处理结果。

可选地，在本公开实施例的图像处理装置中，拼接单元803包括：确定模块，被配置为确定目标对象的数量对应的预设拼接方式，并确定在预设拼接方式下各个待拼接区域的尺寸，其中，拼接方式与训练目标模型时采用的训练集数据中的图像的拼接方式相同，待拼接区域的数量与目标对象的数量相同；缩放模块，被配置为分别将每个子图像缩放至对应的待拼接区域的尺寸，得到至少两个处理后的子图像；拼接模块，被配置为将至少两个处理后的子图像按照预设拼接方式进行拼接，得到拼接后的图像。

可选地，在本公开实施例的图像处理装置中，该装置还包括：第二获取单元，被配置为在通过目标模型对拼接后的图像执行预设处理任务，得到处理后的图像之前，获取多组第一样本数据和多组第二样本数据，其中，每组第一样本数据为包含单个目标对象的样本图像以及样本图像执行预设处理任务后的样本处理结果，每组第二样本数据为至少两个目标对象的拼接后的样本图像以及样本图像执行预设处理任务后的样本处理结果；训练单元，被配置为通过多组第一样本数据和多组第二样本数据交替训练预设模型，得到目标模型。

可选地，在本公开实施例的图像处理装置中，该装置还包括：执行单元，被配置为在检测待处理图像中的目标对象之后，在目标对象的数量为一个的情况下，通过目标模型对目标对象所在区域的图像执行预设处理任务，得到目标对象在预设处理任务下的处理结果。

可选地，在本公开实施例的图像处理装置中，训练单元还被配置为在每次训练预设模型之后，计算模型对样本图像的处理结果和样本图像对应的样本处理结果之间的目标损失值，并根据目标损失值调整预设模型的模型参数，直至得到目标模型。

可选地，在本公开实施例的图像处理装置中，处理结果包括一份样本数据中的多个样本图像对应的多个实际处理结果，训练单元包括：第一计算模块，被配置为分别计算多个实际处理结果和对应的样本处理结果之间的损失值，得到多个损失值，将多个损失值的平均值确定为目标损失值；或第二计算模块，被配置为从多个实际处理结果中随机选取预设数量的实际处理结果，分别计算预设数量的实际处理结果中每个实际处理结果和对应的样本处理结果之间的损失值，得到多个损失值，将多个损失值的平均值确定为目标损失值。

可选地，在本公开实施例的图像处理装置中，在样本数据为第二样本数据的情况下，每个实际处理结果对应的样本处理结果包括多个样本子处理结果，第一计算模块包括：切分子模块，被配置为按照预设切分方式对实际处理结果进行切分，得到多个切分结果；第一计算子模块，被配置为分别计算多个切分结果与对应的样本子处理结果之间的损失值，得到多个切分结果对应的损失值；第二计算子模块，被配置为计算多个切分结果对应的损失值的均值，得到实际处理结果和对应的样本处理结果之间的损失值。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现上述任一项的图像处理方法。

在示例性实施例中，还提供了一种计算机可读存储介质，当存储介质中的指令由信息处理方法的电子设备的处理器执行时，使得信息处理方法的电子设备能够执行上述任一项的图像处理方法。可选地，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化上述任一项所述的图像处理方法的程序。该计算机产品可以是一种终端，该终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本公开实施例中，上述终端也可以为移动终端等终端设备。

可选地，在本公开实施例中，上述终端可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，图9是根据一示例性实施例示出的一种终端的结构框图。如图9所示，该终端可以包括：一个或多个(图中仅示出一个)处理器91、用于存储处理器可执行指令的存储器93；其中，处理器被配置为执行指令，以实现上述任一项的图像处理方法。

其中，存储器可用于存储软件程序以及模块，如本公开实施例中的图像处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本领域普通技术人员可以理解，图9所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图9其并不对上述电子装置的结构造成限定。例如，终端9还可包括比图9中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图9所示不同的配置。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

检测待处理图像中的目标对象；

在所述目标对象的数量大于等于两个的情况下，获取各个所述目标对象所在区域的图像，得到至少两个子图像；

分别将所述至少两个子图像缩放至预设拼接方式指示的尺寸，得到至少两个缩放后的子图像，并按照所述预设拼接方式对所述至少两个缩放后的子图像进行拼接，得到拼接后的图像；

通过目标模型对所述拼接后的图像执行预设处理任务，得到处理后的图像；

按照与所述预设拼接方式相对应的预设切分方式对所述处理后的图像进行切分，得到多个切分后的图像，并将所述多个切分后的图像分别缩放至对应的所述子图像的尺寸，得到各个所述目标对象在所述预设处理任务下的处理结果。

2.根据权利要求1所述的图像处理方法，其特征在于，所述分别将所述至少两个子图像缩放至预设拼接方式指示的尺寸，得到至少两个缩放后的子图像，并按照所述预设拼接方式对所述至少两个缩放后的子图像进行拼接，得到拼接后的图像包括：

确定所述目标对象的数量对应的所述预设拼接方式，并确定在所述预设拼接方式下各个待拼接区域的尺寸，其中，所述拼接方式与训练所述目标模型时采用的训练集数据中的图像的拼接方式相同，所述待拼接区域的数量与所述目标对象的数量相同；

分别将每个所述子图像缩放至对应的所述待拼接区域的尺寸，得到所述至少两个处理后的子图像；

将所述至少两个处理后的子图像按照所述预设拼接方式进行拼接，得到所述拼接后的图像。

3.根据权利要求1所述的图像处理方法，其特征在于，在所述通过目标模型对所述拼接后的图像执行预设处理任务，得到处理后的图像之前，所述方法还包括：

获取多组第一样本数据和多组第二样本数据，其中，每组所述第一样本数据为包含单个目标对象的样本图像以及所述样本图像执行所述预设处理任务后的样本处理结果，每组所述第二样本数据为至少两个目标对象的拼接后的样本图像以及所述样本图像执行所述预设处理任务后的样本处理结果；

通过多组所述第一样本数据和多组所述第二样本数据交替训练预设模型，得到所述目标模型。

4.根据权利要求3所述的图像处理方法，其特征在于，在所述检测待处理图像中的目标对象之后，所述方法还包括：

在所述目标对象的数量为一个的情况下，通过所述目标模型对所述目标对象所在区域的图像执行所述预设处理任务，得到所述目标对象在所述预设处理任务下的处理结果。

5.根据权利要求3所述的图像处理方法，其特征在于，所述通过多组所述第一样本数据和多组所述第二样本数据交替训练预设模型，得到所述目标模型包括：

在每次训练所述预设模型之后，计算模型对所述样本图像的处理结果和所述样本图像对应的样本处理结果之间的目标损失值，并根据所述目标损失值调整所述预设模型的模型参数，直至得到所述目标模型。

6.根据权利要求5所述的图像处理方法，其特征在于，所述处理结果包括一份样本数据中的多个样本图像对应的多个实际处理结果，所述计算模型对所述样本图像的处理结果和所述样本图像对应的样本处理结果之间的目标损失值包括：

分别计算多个所述实际处理结果和对应的所述样本处理结果之间的损失值，得到多个损失值，将所述多个损失值的平均值确定为所述目标损失值；或

从多个所述实际处理结果中随机选取预设数量的所述实际处理结果，分别计算所述预设数量的所述实际处理结果中每个所述实际处理结果和对应的所述样本处理结果之间的损失值，得到多个损失值，将所述多个损失值的平均值确定为所述目标损失值。

7.根据权利要求6所述的图像处理方法，其特征在于，在所述样本数据为所述第二样本数据的情况下，每个所述实际处理结果对应的所述样本处理结果包括多个样本子处理结果，计算每个所述实际处理结果和对应的所述样本处理结果之间的损失值包括：

按照所述预设切分方式对所述实际处理结果进行切分，得到多个切分结果；

分别计算所述多个切分结果与对应的所述样本子处理结果之间的损失值，得到所述多个切分结果对应的损失值；

计算所述多个切分结果对应的损失值的均值，得到所述实际处理结果和对应的所述样本处理结果之间的损失值。

8.一种图像处理装置，其特征在于，包括：

检测单元，被配置为检测待处理图像中的目标对象；

第一获取单元，被配置为在所述目标对象的数量大于等于两个的情况下，获取各个所述目标对象所在区域的图像，得到至少两个子图像；

拼接单元，被配置为分别将所述至少两个子图像缩放至预设拼接方式指示的尺寸，得到至少两个缩放后的子图像，并按照所述预设拼接方式对所述至少两个缩放后的子图像进行拼接，得到拼接后的图像；

处理单元，被配置为通过目标模型对所述拼接后的图像执行预设处理任务，得到处理后的图像；

切分单元，被配置为按照与所述预设拼接方式相对应的预设切分方式对所述处理后的图像进行切分，得到多个切分后的图像，并将所述多个切分后的图像分别缩放至对应的所述子图像的尺寸，得到各个所述目标对象在所述预设处理任务下的处理结果。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的图像处理方法。

10.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7中任一项所述的图像处理方法。

Images