CN113537209A - 一种图像处理方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、设备及计算机可读存储介质，所述方法包括：获取目标对象对应的待检测图像；将所述待检测图像输入图像检测网络进行图像检测，得到所述目标对象对应的位置信息；将所述待检测图像和所述位置信息输入图像分割网络进行图像分割，得到目标对象图像；获取背景图像；对所目标对象图像和所述背景图像进行图像合成，得到所述目标对象对应的目标图像。利用本申请提出的技术方案至少可以提高目标图像的质量。

Description

一种图像处理方法、装置、设备及计算机可读存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种图像处理方法、装置、设备及计算机可读存储介质。

背景技术

为了拍摄证件照，拍摄者需要身着正装去专业的证件照拍摄场所进行拍摄，消耗大量时间和财力。为了便于获得证件照，目前可以通过对拍摄者的普通照片中的人像进行抠图，将抠图得到的人像与证件照背景进行合成，以通过替换人像所在背景生成证件照。然而，这种方案仅通过固定的数学运算方法区分普通照片中的人像和背景，无法处理背景复杂度高的普通照片，进而影响证件照的合成效果和质量。此外，在证件照需要拍摄者身着正装的情况下，这种方法无法实现服装的替换。

发明内容

本申请提供了一种图像处理方法、装置、设备及计算机存储介质，至少可以提高目标图像的合成效率、准确性和质量。

一方面，本申请提供了一种图像处理方法，所述方法包括：

获取目标对象对应的待检测图像；

将所述待检测图像输入图像检测网络进行图像检测，得到所述目标对象对应的位置信息；

将所述待检测图像和所述位置信息输入图像分割网络进行图像分割，得到目标对象图像；

获取背景图像；

对所目标对象图像和所述背景图像进行图像合成，得到所述目标对象对应的目标图像。

另一方面提供了一种图像处理装置，所述装置包括：

第一获取模块，用于获取目标对象对应的待检测图像；

图像检测模块，用于将所述待检测图像输入图像检测网络进行图像检测，得到所述目标对象对应的位置信息；

图像分割模块，用于将所述待检测图像和所述位置信息输入图像分割网络进行图像分割，得到目标对象图像；

第二获取模块，用于获取背景图像；

图像合成模块，用于对所目标对象图像和所述背景图像进行图像合成，得到所述目标对象对应的目标图像。

另一方面提供了一种图像处理设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序、所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上所述的图像处理方法。

另一方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述的图像处理方法。

本申请提供的一种图像处理方法、装置、设备及计算机可读存储介质，具有如下技术效果：

本申请通过图像检测网络对待检测图像进行图像检测，得到目标对象对应的位置信息，可以提高图像检测的效率和准确性，获得准确的位置信息，间接提高目标图像的合成效率。通过图像分割网络对待检测图像进行图像分割，得到目标对象图像，可以提高图像分割的效率和准确性，提高目标对象图像的质量，进一步间接提高目标图像的合成效率。通过对目标对象图像和背景图像进行图像合成，得到目标图像，可以提高目标图像的质量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种图像处理方法的流程示意图；

图2是本申请实施例提供的一种图像检测过程的流程示意图；

图3是本申请实施例提供的一种图像分割过程的流程示意图；

图4是本申请实施例提供的一种目标图像合成过程的流程示意图；

图5是本申请实施例提供的一种待合成对象宽度参数确定过程的流程示意图；

图6是本申请实施例提供的一种待合成对象色彩参数确定过程的流程示意图；

图7是本申请实施例提供的一种图像检测网络训练过程的流程示意图；

图8是本申请实施例提供的一种图像分割网络训练过程的流程示意图；

图9是本申请实施例提供的一种图像处理装置的结构示意图；

图10是本申请实施例提供的一种图像处理服务器的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

以下介绍本申请的一种图像处理方法，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的，如图1所示，所述方法包括：

S101：获取目标对象对应的待检测图像。

本申请实施例中，所述目标对象可以为任意需要采集图像的人或物，还可以为任意需要采集图像的人或物的部分，例如人的人脸部分。

本申请实施例中，所述待检测图像可以为对所述目标对象进行图像采集而得的图像。相应的，所述待检测图像可以包括所述目标对象。

在实际应用中，所述待检测图像可以为用户的生活照，该生活照至少包括用户的头像，该头像至少包括用户的人脸部分。

S103：将所述待检测图像输入图像检测网络进行图像检测，得到所述目标对象对应的位置信息。

本申请实施例中，所述位置信息可以为所述目标对象的最小外接矩形的顶点坐标。

以待检测图像为用户的生活照为例，所述位置信息可以为用户的人脸部分的最小外接矩形的顶点坐标。

本申请实施例中，所述图像检测网络可以为基于深度学习的神经网络，例如深度卷积网络。

本申请实施例中，所述图像检测网络包括特征提取子网络和位置信息提取子网络。

在一个具体的实施例中，如图2所示，所述将所述待检测图像输入图像检测网络进行图像检测，得到所述目标对象对应的位置信息包括：

S201：将所述待检测图像输入所述特征提取子网络进行特征提取，得到所述目标对象对应的边缘特征。

本申请实施例中，所述边缘特征可以为所述目标对象与所述待检测图像中除所述目标对象之外的第一其他部分间的边缘像素。

以待检测图像为用户的生活照为例，上述第一其他部分可以为生活照中除用户的人脸部分之外的部分。

本申请实施例中，所述边缘特征可以为所述目标对象和上述第一其他部分间的边缘特征，可以区分所述目标对象和上述第一其他部分。

在实际应用中，所述待检测图像中不同的部分间存在像素值差距。例如，用户的人脸部分的像素值区别于第一背景部分的像素值。可以理解，第一背景部分为所述待检测图像中除用户的人脸部分之外的部分。

通过特征提取子网络，对所述待检测图像的像素进行特征提取，得到所述边缘特征，所述边缘特征能够体现上述像素值差距，有利于确定像素值差距明显的像素为所述目标对象与上述第一其他部分间的边缘像素。

S203：将所述边缘特征输入所述位置信息提取子网络进行位置信息提取，得到所述位置信息。

本申请实施例中，所述位置信息提取子网络可以根据所述目标对象对应的边缘特征，确定所述目标对象与上述第一其他部分间的边缘像素，根据边缘像素确定所述目标对象的最小外接矩形。

在一个具体的实施例中，所述位置信息提取子网络可以对所述待检测图像建立平面直角坐标系，以确定上述边缘像素的坐标，根据上述边缘像素的坐标，确定所述目标对象的最小外接矩形。

具体的，所述位置信息提取子网络可以以所述待检测图像的某一顶点(例如左上角顶点)为原点，以该顶点所在横边为x轴，以该顶点所在纵边为y轴，建立平面直角坐标系。具体的，平面直角坐标系统中x轴和y轴的单位为像素。

在一个具体的实施例中，所述位置信息提取子网络可以根据上述边缘像素的坐标，确定所述目标对象的水平长度最大值和竖直高度最大值，以及确定上述水平长度最大值对应的左像素和右像素，以及确定上述竖直高度最大值对应的上像素和下像素。根据左像素和右像素的横坐标以及上像素和下像素的纵坐标，确定所述目标对象的最小外接矩形。

本申请实施例中，通过图像检测网络对待检测图像进行图像检测，得到目标对象对应的位置信息，可以提高图像检测的效率和准确性，获得准确的位置信息，间接提高目标图像的合成效率。

S105：将所述待检测图像和所述位置信息输入图像分割网络进行图像分割，得到目标对象图像。

本申请实施例中，所述目标对象图像为可以为所述图像分割网络基于所述位置信息，对所述待检测图像进行图像分割得到的图像。

在实际应用中，所述目标对象图像可以为用户的头像。

本申请实施例中，所述图像分割网络可以为基于深度学习的神经网络，例如深度卷积网络。

本申请实施例中，所述图像分割网络用于根据所述位置信息，对所述待检测图像进行图像分割，得到所述目标对象图像。

在一个具体的实施例中，所述图像分割网络包括图像截取子网络和像素分类子网络；相应的，如图3所示，所述将所述待检测图像和所述位置信息输入图像分割网络进行图像分割，得到目标对象图像包括：

S301：将所述待检测图像和所述位置信息输入所述图像截取子网络进行图像截取，得到所述目标对象所在的区域图像。

可以理解，所述目标对象可以为用户的人脸部分。为了后续图像分割网络能够从所述待检测图像中分割出用户的头像，所述图像截取子网络需要对上述最小外接矩形向外均匀扩大，得到所述目标对象所在矩形区域。

在一个具体的实施例中，所述图像截取子网络可以对左像素和右像素的横坐标以及上像素和下像素的纵坐标进行坐标调整，得到调整后左像素和右像素的横坐标和上像素和下像素的纵坐标，根据调整后左像素和右像素的横坐标和上像素和下像素纵坐标对上述最小外接矩形进行扩大，得到所述目标对象所在矩形区域。

可选的，上述坐标调整方式可以为设定固定值，根据固定值对上述第一像素组合的横坐标和上述第二像素组合的纵坐标进行坐标调整。

可选的，上述坐标调整方式还可以为设定固定倍数，根据固定倍数调整上述水平长度最大值和上述竖直高度最大值，根据调整后的上述水平长度最大值和上述竖直高度最大值，对左像素和右像素的横坐标和上像素和下像素的纵坐标进行坐标调整。

本申请实施例中，所述图像截取子网络将所述待检测图像中所述目标对象所在区域截取出来，可以得到所述区域图像。

以目标对象为用户的人脸部分为例，所述区域图像可以为用户的颈部图像以上的图像，至少包括用户的头像。

S303：将所述区域图像输入所述像素分类子网络进行像素分类，得到所述区域图像的像素分类信息。

本申请实施例中，所述像素分类子网络可以对所述区域图像的像素进行分类。具体的，所述像素分类信息可以为像素分类标识。

在一个具体的实施例中，上述像素分类标识可以包括0和1。其中，1表示像素的类别为头像的像素，0表示像素的类别为非头像的像素。其中，所述非头像可以为所述区域图像中除所述目标对象图像之外的第二其他部分。

以目标对象为用户的人脸部分为例，所述像素分类子网络可以将区域图像中用户的头像的像素标识为1，将第二背景部分的像素标识为0。可以理解，第二背景部分包括用户的颈部图像，用户的颈部图像的图像的分类标识为0。用户的头像包括用户的人脸部分和用户的颈部以上的头发部分，用户的人脸部分和用户的颈部以上的头发部分的像素的分类标识为1。可以理解，第二背景部分为区域图像中除头像之外的其他部分。

S305：根据所述像素分类信息对所述区域图像进行分割，得到所述目标对象图像。

具体的，通过图像分割网络，对所述区域图像中像素分类标识为1的像素进行保留，对所述区域图像中像素分类标识为0的像素进行删除，即可得到所述目标对象图像。

以目标对象为用户的人脸部分为例，所述图像分割网络根据用户的人脸部分和颈部以上的头发部分的像素的分类标识为1，第二其他部分的像素的分类标识为0，对用户的人脸部分和颈部以上的头发部分的像素进行保留，对第二其他部分的像素进行删除，得到用户的头像，即目标对象图像。

本申请实施例中，通过图像分割网络对待检测图像进行图像分割，得到目标对象图像，可以提高图像分割的效率和准确性，提高目标对象图像的质量，进一步间接提高目标图像的合成效率。

S107：获取背景图像。

本申请实施例中，可以预先设置所述背景图像。

在一个具体的实施例中，所述背景图像可以为需要与所述目标对象图像进行合成的图像。例如，在所述目标对象图像为用户的头像的情况下，所述背景图像可以为证件照背景图像。

S109：对所目标对象图像和所述背景图像进行图像合成，得到所述目标对象对应的目标图像。

本申请实施例中，所述目标图像可以为用户需要合成的图像。例如，对用户的头像和证件照背景图像进行图像合成，得到用户需要的证件照图像。

在一个具体的实施例中，所述背景图像包括待合成对象。具体的，所述待合成对象为图像合成过程中、需要与所述目标对象图像进行拼接合成的对象。在目标对象图像为用户的头像的情况下，所述待合成对象可以为颈部图像。

以目标对象图像为用户的头像为例，所述背景图像可以为预先设置的证件照背景图像，证件照背景图像包括正装图像和与正装图像连接的颈部图像，将用户的头像和颈部图像进行拼接合成，可以得到证件照图像。

相应的，如图4所示，所述对所目标对象图像和所述背景图像进行图像合成，得到所述目标对象对应的目标图像包括：

S401：获取预设尺寸信息。

本申请实施例中，所述预设尺寸信息可以为预先设置的用于约束所述目标对象图像大小的尺寸信息。

在一个具体的实施例中，可以根据所述背景图像的尺寸信息、上述正装图像的尺寸信息等因素，预先设置所述预设尺寸信息。例如，在背景图像的尺寸信息为51*51个像素的情况下，将所述预设尺寸信息设置为500个像素。

S403：根据所述预设尺寸信息，对所述目标对象图像的尺寸进行等比例调整。

本申请实施例中，为了在调整所述目标对象图像的尺寸的过程中，确保所述目标对象图像不失真，可以将所述目标对象图像的尺寸等比例调整到所述预设尺寸信息规定的尺寸，与所述背景图像的尺寸匹配。

例如，将所述目标对象图像的尺寸等比例调整到500个像素大小。

S405：确定所述待合成对象的目标宽度信息和目标色彩参数。

本申请实施例中，为了提高目标图像的合成效果，还需要确定所述待合成对象的目标宽度信息和目标色彩参数，以使得所述待合成对象的色彩和宽度匹配于所述目标对象图像的色彩和宽度。

本申请实施例中，所述目标宽度信息可以为所述待合成对象与所述目标对象图像匹配所需的目标宽度参数。

本申请实施例中，所述目标色彩参数可以为所述待合成对象与所述目标对象图像匹配所需的色彩参数。

S407：根据所述待合成对象的目标宽度和目标色彩参数，对所述待合成对象和调整后的目标对象图像进行拼接合成，得到所述目标图像。

本申请实施例中，将所述待合成对象的宽度参数确定为所述目标宽度参数，将所述待合成对象的色彩参数确定为所述目标色彩参数，对调整后的目标对象和待合成对象进行拼接合成，可以得到所述目标图像。

在一个具体的实施例中，如图5所示，所述确定所述待合成对象的目标宽度信息包括：

S501：根据所述目标对象对应的位置信息，确定所述目标对象的第一宽度信息。

本申请实施例中，所述目标对象对应的位置信息可以包括所述待检测图像中、所述目标对象的最小外接矩形的顶点坐标。

本申请实施例中，所述第一宽度信息可以为上述水平长度最大值。

S503：确定所述目标对象图像的第二宽度信息。

本申请实施例中，所述第二宽度信息可以为所述目标对象图像的水平宽度最大值。

以所述目标对象图像为用户的头像为例，所述第二宽度信息可以为用户的头像的水平宽度最大值。

S505：获取所述待合成对象的初始宽度信息。

本申请实施例中，所述待合成对象的初始宽度信息可以为所述待合成对象的初始宽度参数。

本申请实施例中，可以根据背景图像的尺寸信息预先设置所述初始宽度信息。例如，在背景图像的尺寸信息为51*51个像素的情况下，可以预先设置初始宽度信息为100个像素。

S507：根据所述第一宽度信息、所述第二宽度信息和所述初始宽度信息，确定所述目标宽度信息。

本申请实施例中，可以根据第一宽度参数和所述目标对象图像的水平宽度最大值，对初始宽度参数进行调整，得到目标宽度参数。

在一个具体的实施例中，所述目标宽度参数的确定方式可以参考公式1：

目标宽度参数

其中，a为初始宽度参数，W_f为第一宽度参数，W_t为第二宽带参数。

上述公式1的意义为，0.75为待合成对象的宽度参数为a的情况下，目标对象占目标对象图像的合适比例。若目标对象占目标对象图像的比例大于0.75，则需要将待合成对象的宽度参数调大，计算比例与0.75的差距，在初始宽度参数的基础上增加10倍的差距。若目标对象占目标对象图像的比例小于0.75，则需要将待合成对象的宽度参数调小，计算比例与0.75的差距，在初始宽度参数的基础上减少10倍的差距。

本申请实施例中，通过合理设置待合成对象的宽度参数，可以提高目标图像的合成效果和质量。

在一个具体的实施例中，如图6所示，所述确定所述待合成对象的目标色彩参数包括：

S601：确定所述目标对象图像的高度信息。

本申请实施例中，所述高度信息可以为所述目标对象图像的纵向最大高度参数。

S603：获取预设的截取参数范围。

本申请实施例中，所述截取参数范围用于截取所述目标对象图像中的所需区域。可以根据所述目标对象图像对应的截取需求进行确定。

在目标对象图像为头像的情况下，所述截取参数用于截取头像中的皮肤区域。在实际应用中，截取头像自上而下五分之三至五分之四的区域和从左到右五分之一至五分之三的区域的重叠区域，可以确保截取的区域为皮肤区域，不包括其他区域(例如头发区域)。相应的，所述截取参数范围可以预先设置为纵向

和水平

S605：根据所述目标对象图像的高度信息、第二宽度信息和所述预设的截取参数范围，从所述目标对象图像的像素集中确定出目标像素。

在一个具体的实施例中，根据所述目标对象图像的高度信息、第二宽度信息和所述预设的截取参数范围，可以从所述目标对象图像中截取出所需区域，所需区域的像素为目标像素。

在目标对象图像为头像的情况下，根据头像的纵向最大高度参数和

的截取参数范围，确定纵向截取区域，根据头像水平宽度最大值和

的截取参数范围，确定水平截取区域，可以确定纵向截取区域和水平截取区域的重叠区域为头像中合适的皮肤区域，所述皮肤区域的像素为目标像素。

S607：根据所述目标像素对应的色彩参数，确定所述待合成对象的目标色彩参数。

本申请实施例中，所述色彩参数具体为像素值。可以理解，像素的像素值包括R(red)、G(green)和B(blue)三个值，可以确定像素的色彩。

本申请实施例中，所述目标色彩参数具体为所述待合成对象的像素的目标像素值。

在目标对象图像为头像的情况下，根据皮肤区域的像素的像素值，可以确定上述颈部图像的像素的像素值。

在一个具体的实施例中，目标色彩参数的确定方式可以参考公式2：

目标色彩参数

其中，i为纵向自上而下第i个像素，j为水平从左往右第j个像素，c_i,j为纵向自上而下第i、且水平从左往右第j的像素的像素值。

计算的是所需区域的像素的总数。

上述公式2的意义为，对所需区域的像素的像素值求平均值，得到所述目标像素值。

本申请实施例中，通过上述方案使得待合成对象的色彩参数和目标对象图像的色彩参数匹配，可以提高目标图像的合成效果和质量。

在一个具体的实施例中，如图7所示，上述方法还包括：

S701：获取第一训练样本集。

本申请实施例中，所述第一训练样本集可以包括第一样本对象。

本申请实施例中，所述第一训练样本集可以用于训练预设图像检测网络。

S703：将所述第一训练样本集输入预设图像检测网络进行图像检测，得到所述第一训练样本集对应的预测位置信息。

本申请实施例中，所述预设位置信息可以为所述预设图像检测网络预测的所述第一训练样本集中第一样本对象的最小外接矩形的顶点坐标。

S705：获取所述第一训练样本集对应的目标位置信息。

本申请实施例中，所述目标位置信息可以为预先标注好的所述第一训练样本集中第一样本对象的最小外接矩形的真实坐标。

S707：根据所述预测位置信息和所述目标位置信息，确定所述预设图像检测网络的第一目标损失。

本申请实施例中，所述第一目标损失的计算公式可以包括但不限回归损失函数和均方差损失函数。

S709：在所述第一目标损失不满足第一预设条件的情况下，调整所述预设图像检测网络的网络参数，基于调整后的预设图像检测网络，更新所述第一目标损失，直至所述第一目标损失满足第一预设条件，将当前的预设图像检测网络作为所述图像检测网络。

在一个可选的实施例中，所述第一预设条件可以为：所述第一目标损失达到第一预设阈值，或者所述第一目标损失落入第一预设范围，该第一预设阈值和第一预设范围可以根据实际应用需求而定。

本申请实施例中，训练预设图像检测网络，利用训练好的预设图像检测网络进行图像检测，可以提高图像检测的效率和准确性。

在一个具体的实施例中，如图8所示，上述方法还包括：

S801：获取第二训练样本集。

本申请实施例中，所述第二训练样本集可以包括第二样本对象对应的训练图像和位置信息。其中，第二样本对象不同于第一样本对象。其中，第二样本对象的位置信息可以为训练图像中第二样本对象的最小外接矩形的顶点坐标。

S803：将所述第二训练样本集输入预设图像分割网络进行图像分割，得到所述第二训练样本集对应的预测对象图像。

本申请实施例中，所述预测对象图像可以为所述预设图像分割网络根据第二样本对象对应的位置信息，对所述第二样本对象的训练图像进行图像分割得到的区域图像。

例如，在第二样本对象为样本人脸部分的情况下，预测对象图像可以为预设图像分割网络预测的样本头像。

S805：获取第二训练样本集对应的样本对象图像。

本申请实施例中，所述样本对象图像可以为所述第二样本对象的真实对象图像。

例如，在第二样本对象为样本人脸部分的情况下，真实对象图像可以为第二训练样本集标注好的样本头像。

S807：根据所述预测对象图像和所述样本对象图像，确定所述预设图像分割网络的第二目标损失。

本申请实施例中，所述第二目标损失的计算公式可以包括但不限于0-1损失函数和交叉熵损失函数。

可以理解，预测图像分割网络的图像分割方法，是对第二训练样本集的像素进行分类，根据样本分类标识进行图像分割，可以根据预测对象图像的像素的样本分类标识和样本对象图像的像素的分类标识，确定预设图像分割网络的第二目标损失。

S809：在所述第二目标损失不满足第二预设条件的情况下，调整所述预设图像分割网络的网络参数，基于调整后的预设图像分割网络，更新所述第二目标损失，直至所述第二目标损失满足第二预设条件，将当前的预设图像分割网络作为所述图像分割网络。

本申请实施例中，所述第二预设条件可以为：所述第二目标损失达到第二预设阈值，或者所述第二目标损失落入第二预设范围，该第二预设阈值和第二预设范围可以根据实际应用需求而定。

本申请实施例中，训练预设图像分割网络，利用训练好的预设图像分割网络进行图像分割，可以提高图像分割的效率和准确性。

本申请实施例中，通过图像检测网络对待检测图像进行图像检测，得到目标对象对应的位置信息，可以提高图像检测的效率和准确性，获得准确的位置信息，间接提高目标图像的合成效率。通过图像分割网络对待检测图像进行图像分割，得到目标对象图像，可以提高图像分割的效率和准确性，提高目标对象图像的质量，进一步间接提高目标图像的合成效率。通过对目标对象图像和背景图像进行图像合成，得到目标图像，可以提高目标图像的质量。

本申请实施例还提供了一种图像处理装置900，所述装置包括：

第一获取模块901，用于获取目标对象对应的待检测图像；

图像检测模块903，用于将所述待检测图像输入图像检测网络进行图像检测，得到所述目标对象对应的位置信息；

图像分割模块905，用于将所述待检测图像和所述位置信息输入图像分割网络进行图像分割，得到目标对象图像；

第二获取模块907，用于获取背景图像；

图像合成模块909，用于对所目标对象图像和所述背景图像进行图像合成，得到所述目标对象对应的目标图像。

在一些实施例中，上述图像检测网络包括特征提取子网络和位置信息提取子网络；相应的，上述图像检测模块903包括：

特征提取单元，用于将所述待检测图像输入所述特征提取子网络进行特征提取，得到所述目标对象对应的边缘特征；

位置信息提取单元，用于将所述边缘特征输入所述位置信息提取子网络进行位置信息提取，得到所述位置信息。

在一些实施例中，上述图像分割网络包括图像截取子网络和像素分类子网络；上述图像分割模块905包括：

图像截取单元，用于将所述待检测图像和所述位置信息输入所述图像截取子网络进行图像截取，得到所述目标对象所在的区域图像；

像素分类单元，用于将所述区域图像输入所述像素分类子网络进行像素分类，得到所述区域图像的像素分类信息；

图像分割单元，用于根据所述像素分类信息对所述区域图像进行分割，得到所述目标对象。

在一些实施例中，上述背景图像包括待合成对象；相应的，上述图像合成模块909包括：

获取单元，用于获取预设尺寸信息；

调整单元，用于根据所述预设尺寸信息，对所述目标对象图像的尺寸进行等比例调整；

确定单元，用于确定所述待合成对象的目标宽度信息和目标色彩参数；

拼接合成单元，用于根据所述待合成对象的目标宽度和目标色彩参数，对所述待合成对象和调整后的目标对象图像进行拼接合成，得到所述目标图像。

在一些实施例中，所述确定单元包括：

第一确定子单元，用于根据所述目标对象对应的位置信息，确定所述目标对象的第一宽度信息；

第二确定子单元，用于确定所述目标对象图像的第二宽度信息；

第一获取子单元，用于获取所述待合成对象的初始宽度信息；

第三确定子单元，用于根据所述第一宽度信息、所述第二宽度信息和所述初始宽度信息，确定所述目标宽度信息。

在一些实施例中，上述确定单元还包括：

第四确定子单元，用于确定所述目标对象图像的高度信息；

第二获取子单元，用于获取预设的截取参数范围；

第五确定子单元，用于根据所述目标对象图像的高度信息和所述预设的截取参数范围，从所述目标对象图像的像素集中确定出目标像素；

第六确定子单元，用于根据所述目标像素对应的色彩参数，确定所述待合成对象的目标色彩参数。

在一些实施例中，所述装置还包括：

第三获取模块，用于获取第一训练样本集；

图像检测模块，还用于所述第一训练样本集输入预设图像检测网络进行图像检测，得到所述第一训练样本集对应的预测位置信息；

第四获取模块，用于获取所述第一训练样本集对应的目标位置信息；

第一确定模块，用于根据所述预测位置信息和所述目标位置信息，确定所述预设图像检测网络的第一目标损失；

第一训练模块，用于在所述第一目标损失不满足第一预设条件的情况下，调整所述预设图像检测网络的网络参数，基于调整后的预设图像检测网络，更新所述第一目标损失，直至所述第一目标损失满足第一预设条件，将当前的预设图像检测网络作为所述图像检测网络。

在一些实施例中，所述装置还包括：

第五获取模块，用于获取第二训练样本集；

图像分割模块，还用于将所述第二训练样本集输入预设图像分割网络进行图像分割，得到所述第二训练样本集对应的预测对象图像；

第六获取模块，用于获取第二训练样本集对应的样本对象图像；

第二确定模块，用于根据所述预测对象图像和所述样本对象图像，确定所述预设图像分割网络的第二目标损失；

第二训练模块，用于在所述第二目标损失不满足第二预设条件的情况下，调整所述预设图像分割网络的网络参数，基于调整后的预设图像分割网络，更新所述第二目标损失，直至所述第二目标损失满足第二预设条件，将当前的预设图像分割网络作为所述图像分割网络。

所述的装置实施例中的装置与对应的方法实施例基于同样地发明构思。

本申请还提供了一种图像处理设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序、所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上方法实施例所述的图像处理方法。

所述的设备实施例中的设备与方法实施例基于同样地发明构思。

本申请还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上方法实施例所述的图像处理方法。

本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。

本申请实施例提供了一种图像处理服务器，该图像处理服务器包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的图像处理方法。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及图像处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

本申请实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图10是本申请实施例提供的一种图像处理方法的服务器的硬件结构框图。如图10所示，该服务器1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)1010(处理器1010可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1030，一个或一个以上存储应用程序1023或数据1022的存储介质1020(例如一个或一个以上海量存储设备)。其中，存储器1030和存储介质1020可以是短暂存储或持久存储。存储在存储介质1020的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1010可以设置为与存储介质1020通信，在服务器1000上执行存储介质1020中的一系列指令操作。服务器1000还可以包括一个或一个以上电源1060，一个或一个以上有线或无线网络接口1050，一个或一个以上输入输出接口1040，和/或，一个或一个以上操作系统1021，例如Windows ServerTM，Mac OSXTM，UnixTM,LinuxTM，FreeBSDTM等等。

输入输出接口1040可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1000的通信供应商提供的无线网络。在一个实例中，输入输出接口1040包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口1040可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图10所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器1000还可包括比图10中所示更多或者更少的组件，或者具有与图10所示不同的配置。

本申请的实施例还提供了一种存储介质，所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种图像处理方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的图像处理方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

由上述本申请提供的图像处理方法、装置、服务器或存储介质的实施例可见，本申请中通过图像检测网络对待检测图像进行图像检测，得到目标对象对应的位置信息，可以提高图像检测的效率和准确性，获得准确的位置信息，间接提高目标图像的合成效率。通过图像分割网络对待检测图像进行图像分割，得到目标对象图像，可以提高图像分割的效率和准确性，提高目标对象图像的质量，进一步间接提高目标图像的合成效率。通过对目标对象图像和背景图像进行图像合成，得到目标图像，可以提高目标图像的质量。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种图像处理方法，其特征在于，所述方法包括：

获取目标对象对应的待检测图像；

将所述待检测图像输入图像检测网络进行图像检测，得到所述目标对象对应的位置信息；

将所述待检测图像和所述位置信息输入图像分割网络进行图像分割，得到目标对象图像；

获取背景图像；

对所目标对象图像和所述背景图像进行图像合成，得到所述目标对象对应的目标图像。

2.根据权利要求1所述的方法，其特征在于，所述图像检测网络包括特征提取子网络和位置信息提取子网络；所述将所述待检测图像输入图像检测网络进行图像检测，得到所述目标对象对应的位置信息包括：

将所述待检测图像输入所述特征提取子网络进行特征提取，得到所述目标对象对应的边缘特征；

将所述边缘特征输入所述位置信息提取子网络进行位置信息提取，得到所述位置信息。

3.根据权利要求1所述的方法，其特征在于，所述图像分割网络包括图像截取子网络和像素分类子网络；所述将所述待检测图像和所述位置信息输入图像分割网络进行图像分割，得到目标对象图像包括：

将所述待检测图像和所述位置信息输入所述图像截取子网络进行图像截取，得到所述目标对象所在的区域图像；

将所述区域图像输入所述像素分类子网络进行像素分类，得到所述区域图像的像素分类信息；

根据所述像素分类信息对所述区域图像进行分割，得到所述目标对象图像。

4.根据权利要求2所述的方法，其特征在于，所述背景图像包括待合成对象；所述对所目标对象图像和所述背景图像进行图像合成，得到所述目标对象对应的目标图像包括：

获取预设尺寸信息；

根据所述预设尺寸信息，对所述目标对象图像的尺寸进行等比例调整；

确定所述待合成对象的目标宽度信息和目标色彩参数；

根据所述待合成对象的目标宽度和目标色彩参数，对所述待合成对象和调整后的目标对象图像进行拼接合成，得到所述目标图像。

5.根据权利要求4所述的方法，其特征在于，所述确定所述待合成对象的目标宽度信息包括：

根据所述目标对象对应的位置信息，确定所述目标对象的第一宽度信息；

确定所述目标对象图像的第二宽度信息；

获取所述待合成对象的初始宽度信息；

根据所述第一宽度信息、所述第二宽度信息和所述初始宽度信息，确定所述目标宽度信息。

6.根据权利要求5所述的方法，其特征在于，所述确定所述待合成对象的目标色彩参数包括：

确定所述目标对象图像的高度信息；

获取预设的截取参数范围；

根据所述目标对象图像的高度信息、第二宽度信息和所述预设的截取参数范围，从所述目标对象图像的像素集中确定出目标像素；

根据所述目标像素对应的色彩参数，确定所述待合成对象的目标色彩参数。

7.根据权利要求1至6任一所述的方法，其特征在于，所述方法还包括：

获取第一训练样本集；

将所述第一训练样本集输入预设图像检测网络进行图像检测，得到所述第一训练样本集对应的预测位置信息；

获取所述第一训练样本集对应的目标位置信息；

根据所述预测位置信息和所述目标位置信息，确定所述预设图像检测网络的第一目标损失；

在所述第一目标损失不满足第一预设条件的情况下，调整所述预设图像检测网络的网络参数，基于调整后的预设图像检测网络，更新所述第一目标损失，直至所述第一目标损失满足第一预设条件，将当前的预设图像检测网络作为所述图像检测网络。

8.根据权利要求1至6任一所述的方法，其特征在于，所述方法还包括：

获取第二训练样本集；

将所述第二训练样本集输入预设图像分割网络进行图像分割，得到所述第二训练样本集对应的预测对象图像；

获取第二训练样本集对应的样本对象图像；

根据所述预测对象图像和所述样本对象图像，确定所述预设图像分割网络的第二目标损失；

在所述第二目标损失不满足第二预设条件的情况下，调整所述预设图像分割网络的网络参数，基于调整后的预设图像分割网络，更新所述第二目标损失，直至所述第二目标损失满足第二预设条件，将当前的预设图像分割网络作为所述图像分割网络。

9.一种图像处理装置，其特征在于，所述装置包括：

第一获取模块，用于获取目标对象对应的待检测图像；

图像检测模块，用于将所述待检测图像输入图像检测网络进行图像检测，得到所述目标对象对应的位置信息；

图像分割模块，用于将所述待检测图像和所述位置信息输入图像分割网络进行图像分割，得到目标对象图像；

第二获取模块，用于获取背景图像；

图像合成模块，用于对所目标对象图像和所述背景图像进行图像合成，得到所述目标对象对应的目标图像。

10.一种图像处理设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序、所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1至8任一所述的资源分配方法。

11.一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至8任一所述的资源分配方法。

Images