CN108961267A - 图片处理方法、图片处理装置及终端设备 - Google Patents

Abstract

本申请适用于图片处理技术领域，提供了一种图片处理方法，所述方法包括：检测待处理图片中的前景目标，获得检测结果；对所述待处理图片进行场景分类，获得分类结果，所述分类结果包括所述待处理图片的背景类别；判断所述待处理图片中背景的背景类别是否包含预定的背景类别；若所述待处理图片中背景的背景类别包含预定的背景类别，则确定所述背景在所述待处理图片中的位置；根据所述检测结果、所述背景的背景类别以及所述背景在所述待处理图片中的位置，对所述待处理图片进行处理。通过本申请，使得图片处理的精细度更高，可有效提升图片整体的处理效果。

Description

图片处理方法、图片处理装置及终端设备

技术领域

本申请属于图片处理技术领域，尤其涉及图片处理方法、图片处理装置、终端设备及计算机可读存储介质。

背景技术

随着移动终端技术的快速发展，人们对于手机等移动终端上拍照的使用越来越频繁。现有的大部分移动终端都支持拍照时的图片处理功能，例如，针对人脸的滤镜功能、磨皮功能、美白功能等。

然而，在现有的图片处理方式中，如果需要对图片中某目标物体进行处理，则只能对整张图片进行相应的处理。例如，如果需要对图片中的人脸进行处理，则只能对整张图片进行美白以及磨皮等处理。现有的图片处理方式处理精度较低，而且可能会影响图片整体的处理效果。例如在对图片中的人脸进行处理时，虽然图片中的人脸美白了，但图片中的绿草以及蓝天背景的效果却变差了。

发明内容

有鉴于此，本申请实施例提供了一种图片处理方法、图片处理装置、终端设备及计算机可读存储介质，可以有效提高图片处理的精度，提升图片整体的处理效果。

本申请实施例的第一方面提供了一种图片处理方法，包括：

检测待处理图片中的前景目标，获得检测结果，所述检测结果用于指示所述待处理图片中是否存在前景目标，以及在存在前景目标时用于指示各个前景目标的类别和各个前景目标在所述待处理图片中的位置；

对所述待处理图片进行场景分类，获得分类结果，所述分类结果用于指示是否识别出所述待处理图片的背景，以及在识别出所述待处理图片的背景时用于指示所述待处理图片的背景类别；

若所述分类结果指示识别出所述待处理图片的背景，则判断所述待处理图片中背景的背景类别是否包含预定的背景类别；

若所述待处理图片中背景的背景类别包含预定的背景类别，则确定所述背景在所述待处理图片中的位置；

根据所述检测结果、所述背景的背景类别以及所述背景在所述待处理图片中的位置，对所述待处理图片进行处理。

本申请实施例，通过获取待处理图片中前景目标的类别以及位置，和待处理图片中背景的类别以及位置，可以对待处理图片中的前景目标以及背景进行全方位的处理，从而使得图片处理的精细度更高，有效的提升图片整体的处理效果，增强用户体验。而且，在对图片的处理过程中，通过先判断图片的背景类别，可实现对某些特定场景的快速处理。

在一个实施例中，在确定所述背景在所述待处理图片中的位置之前，还包括：

判断图片处理终端当前的处理性能；

相应的，确定所述背景在所述待处理图片中的位置包括：

若所述图片处理终端当前的处理性能符合预设条件，则采用训练后的语义分割模型确定所述背景在所述待处理图片中的位置；

若所述图片处理终端当前的处理性能不符合所述预设条件，则采用训练后的目标检测模型确定所述背景在所述待处理图片中的位置。

本申请实施例，可根据图片处理终端当前的处理性能选择不同的背景位置确定方案，从而可有效提高图片处理的效率。

本申请实施例的第二方面提供了一种图片处理装置，包括：

检测模块，用于检测待处理图片中的前景目标，获得检测结果，所述检测结果用于指示所述待处理图片中是否存在前景目标，以及在存在前景目标时用于指示各个前景目标的类别和各个前景目标在所述待处理图片中的位置；

分类模块，用于对所述待处理图片进行场景分类，获得分类结果，所述分类结果用于指示是否识别出所述待处理图片的背景，以及在识别出所述待处理图片的背景时用于指示所述待处理图片的背景类别；

第一判断模块，用于在所述分类结果指示识别出所述待处理图片的背景时，判断所述待处理图片中背景的背景类别是否包含预定的背景类别；

位置确定模块，用于在所述待处理图片中背景的背景类别包含预定的背景类别时，确定所述背景在所述待处理图片中的位置；

处理模块，用于根据所述检测结果、所述背景的背景类别以及所述背景在所述待处理图片中的位置，对所述待处理图片进行处理。

本申请实施例的第三方面提供了一种终端设备，包括包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如所述图片处理方法的步骤。

本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被一个或多个处理器执行时实现如所述图片处理方法的步骤。

本申请实施例的第五方面提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被一个或多个处理器执行时实现如所述图片处理方法的步骤。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1是本申请实施例一提供的图片处理方法的实现流程示意图；

图2是本申请实施例二提供的图片处理方法的实现流程示意图；

图3是本申请实施例三提供的图片处理装置的示意图；

图4是本申请实施例四提供的终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

具体实现中，本申请实施例中描述的终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

在接下来的讨论中，描述了包括显示器和触摸敏感表面的终端设备。然而，应当理解的是，终端设备可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。

终端设备支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。

可以在终端设备上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。

另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

参见图1，是本申请实施例一提供的图片处理方法的实现流程示意图，该方法可以包括：

步骤S101，检测待处理图片中的前景目标，获得检测结果，所述检测结果用于指示所述待处理图片中是否存在前景目标，以及在存在前景目标时用于指示各个前景目标的类别和各个前景目标在所述待处理图片中的位置。

在本实施例中，所述待处理图片可以是当前拍摄的图片、预先存储的图片、从网络上获取的图片或者从视频中提取的图片等。例如，通过终端设备的相机拍摄的图片；或者，预先存储的微信好友发送的图片；或者，从指定网站上下载的图片；或者，从当前所播放的视频中提取的一帧图片。较佳的，还可以是终端设备启动相机后预览画面中的某一帧图片。

在本实施例中，所述检测结果包括但不限于：所述待处理图片中有无前景目标的指示信息，以及在包含前景目标时用于指示上述待处理图片中所包含的各个前景目标的类别和位置的信息。其中，所述前景目标可以是指所述待处理图片中具有动态特征的目标，例如人、动物等；所述前景目标还可以是指距离观赏者较近的景物，例如鲜花、美食等。进一步的，为了更准确的识别到前景目标的位置，以及对识别到的前景目标进行区分。本实施例在检测到前景目标后，还可以对所述前景目标采用不同的选定框进行框选，例如方框框选动物，圆框框选人脸等。

较佳的，本实施例可以采用训练后的场景检测模型对待处理图片中的前景目标进行检测。示例性的，该场景检测模型可以为单点多盒检测(Single Shot MultiboxDetection，SSD)等具有前景目标检测功能的模型。当然，也可以采用其他场景检测方式，例如通过目标(如人脸)识别算法检测所述待处理图片中是否存在预定目标，在检测出存在所述预定目标后，通过目标定位算法或目标跟踪算法确定所述预定目标在所述待处理图片中的位置。

需要说明的是，本领域技术人员在本发明揭露的技术范围内，可容易想到的其他检测前景目标的方案也应在本发明的保护范围之内，在此不一一赘述。

以采用训练后的场景检测模型对待处理图片中的前景目标进行检测为例说明场景检测模型的具体训练过程：

预先获取样本图片以及所述样本图片对应的检测结果，其中，所述样本图片对应的检测结果包括该样本图片中各个前景目标的类别和位置；

利用初始的场景检测模型检测上述样本图片中的前景目标，并根据预先获取的所述样本图片对应的检测结果，计算该初始的场景检测模型的检测准确率；

若上述检测准确率小于预设的检测阈值，则调整初始的场景检测模型的参数，再通过参数调整后的场景检测模型检测所述样本图片，直到调整后的场景检测模型的检测准确率大于或等于所述检测阈值，并将该场景检测模型作为训练后的场景检测模型。其中，调整参数的方法包括但不限于随机梯度下降算法、动力更新算法等。

步骤S102，对所述待处理图片进行场景分类，获得分类结果，所述分类结果用于指示是否识别出所述待处理图片的背景，以及在识别出所述待处理图片的背景时用于指示所述待处理图片的背景类别。

在本实施例中，对所述待处理图片进行场景分类，即识别待处理图片中当前的背景属于哪几种场景，例如海滩场景、森林场景、雪地场景、草原场景、沙漠场景、蓝天场景等。

较佳的，可以采用训练后的场景分类模型对所述待处理图片进行场景分类。示例性的，该场景分类模型可以为MobileNet等具有背景检测功能的模型。当然，也可以采用其他场景分类方式，例如通过前景检测模型检测出所述待处理图片中的前景目标之后，将所述待处理图片中的剩余部分作为背景，并通过图像识别算法识别出剩余部分的类别。

需要说明的是，本领域技术人员在本发明揭露的技术范围内，可容易想到的其他检测背景的方案也应在本发明的保护范围之内，在此不一一赘述。

以采用训练后的场景分类模型对待处理图片中的背景进行检测为例说明场景分类模型的具体训练过程：

预先获取各个样本图片以及各个样本图片对应的分类结果；例如样本图片1为草地场景、样本图片2为雪地场景、样本图片3为海滩场景；

利用初始的场景分类模型对各个样本图片进行场景分类，并根据预先获取的各个样本图片的分类结果，计算该初始的场景分类模型的分类准确率，即是否识别出样本图片1为草地场景、样本图片2为雪地场景、样本图片3为海滩场景、样本图片4为沙漠场景；

若上述分类准确率小于预设的分类阈值(如75％，即识别出的样本图片小于3个)，则调整上述初始的场景分类模型的参数，再通过参数调整后的场景分类模型检测所述样本图片，直到调整后的场景分类模型的分类准确率大于或等于所述分类阈值，并将该场景分类模型作为训练后的场景分类模型。其中，调整参数的方法包括但不限于随机梯度下降算法、动力更新算法等。

步骤S103，若所述分类结果指示识别出所述待处理图片的背景，则判断所述待处理图片中背景的背景类别是否包含预定的背景类别。

需要说明的是，一般图片的背景可能包含多种类别，例如蓝天白云、草地、青山等。

在本实施例中，为了方便后续高效、快捷的对背景进行处理，可以预先设定一些背景类别，例如蓝天、草地等。当识别出所述待处理图片的背景后，判断所述待处理图片中背景的背景类别是否包含预定的背景类别。

步骤S104，若所述待处理图片中背景的背景类别包含预定的背景类别，则确定所述背景在所述待处理图片中的位置。

具体的，可以采用训练后的语义分割模型或者目标检测模型等确定所述背景在所述待处理图片中的位置。当然，还可以通过前景检测模型检测出所述待处理图片中的前景目标之后，将所述待处理图片中的剩余部分作为背景所在位置。

需要说明的是，本领域技术人员在本发明揭露的技术范围内，可容易想到的其他背景位置确定方案也应在本发明的保护范围之内，在此不一一赘述。

步骤S105，根据所述检测结果、所述背景的背景类别以及所述背景在所述待处理图片中的位置，对所述待处理图片进行处理。

示例性的，所述根据所述检测结果、所述背景的背景类别以及所述背景在所述待处理图片中的位置，对所述待处理图片进行处理可以包括：

根据所述待处理图片中背景的背景类别，获取所述背景的图片处理模式，并根据所述背景在所述待处理图片中的位置，确定所述背景所在的图片区域；

根据所述背景的图片处理模式，对所述背景所在的图片区域进行处理，获得处理后的第一图片；

根据所述检测结果中各个前景目标的类别，获取各个前景目标的图片处理模式，并根据所述检测结果中各个前景目标在所述待处理图片中的位置，确定各个前景目标所在的图片区域；

根据各个前景目标的图片处理模式，对各个前景目标所在的图片区域进行处理，获得对应的处理后的图片区域；

将所述第一图片中的各个前景目标所在的图片区域替换成对应的处理后的图片区域，获得处理后的第二图片，并将所述处理后的第二图片作为处理后的最终图片。

其中，对待处理图片的处理包括但不限于对前景目标和/或背景进行风格转换、饱和度、亮度和/或对比度等图片参数的调节。

通过本申请实施例，可以实现对待处理图片中前景目标以及背景图像的全方位处理，有效提升图片整体的处理效果。

参见图2，是本申请实施例二提供的图片处理方法的实现流程示意图，该方法可以包括：

步骤S201，检测待处理图片中的前景目标，获得检测结果，所述检测结果用于指示所述待处理图片中是否存在前景目标，以及在存在前景目标时用于指示各个前景目标的类别和各个前景目标在所述待处理图片中的位置；

步骤S202，对所述待处理图片进行场景分类，获得分类结果，所述分类结果用于指示是否识别出所述待处理图片的背景，以及在识别出所述待处理图片的背景时用于指示所述待处理图片的背景类别；

步骤S203，若所述分类结果指示识别出所述待处理图片的背景，则判断所述待处理图片中背景的背景类别是否包含预定的背景类别。

其中，步骤S201至S203的具体实现过程可以参考上述步骤S101至103，在此不再赘述。

步骤S204，若所述待处理图片中背景的背景类别包含预定的背景类别，判断图片处理终端当前的处理性能是否符合预设条件。

在本实施例中，所述处理性能包括但不限于CPU的使用率以及物理内存的占用率等。

相应的，判断图片处理终端当前的处理性能是否符合预设条件可以包括：

判断所述图片处理终端当前的CPU使用率是否小于第一预设值，且物理内存占用率是否小于第二预设值。

步骤S205，若所述图片处理终端当前的处理性能符合预设条件，则采用训练后的语义分割模型确定所述背景在所述待处理图片中的位置；若所述图片处理终端当前的处理性能不符合所述预设条件，则采用训练后的目标检测模型确定所述背景在所述待处理图片中的位置。

示例性的，若所述图片处理终端当前的CPU使用率小于第一预设值，且物理内存占用率小于第二预设值，则采用训练后的语义分割模型确定所述背景在所述待处理图片中的位置；

若所述图片处理终端当前的CPU使用率大于或等于所述第一预设值，和/或物理内存占用率大于或等于所述第二预设值，则采用训练后的目标检测模型确定所述背景在所述待处理图片中的位置。

示例性的，训练语义分割模型的过程可以包括：

采用多个预先标注有背景类别以及背景所在位置的样本图片对语义分割模型进行训练，针对于每一个样本图片，训练步骤包括：

将所述样本图片输入至所述语义分割模型，得到所述语义分割模型输出的所述样本图片的语义分割的初步结果；

依据所述背景类别和从所述样本图片选择的多个局部候选区域，进行局部候选区域融合，得到所述样本图片的语义分割的校正结果；

依据所述初步结果和所述校正结果，对所述语义分割模型的模型参数进行修正；

迭代执行所述训练步骤直至所述语义分割模型的训练结果满足预定收敛条件，将训练结果满足预定收敛条件的语义分割模型作为训练后的语义分割模型，所述收敛条件包括背景分割的准确率大于第一预设值。

进一步的，在所述进行局部候选区域融合之前，还包括：对所述样本图片进行超像素分割处理，将进行超像素分割处理得到的若干图像块进行聚类，得到多个局部候选区域。

其中，依据所述背景类别和从所述样本图片选择的多个局部候选区域，进行局部候选区域融合，得到所述样本图片的语义分割的校正结果可以包括：

从所述多个局部候选区域内选择出属于同一背景类别的局部候选区域；

针对属于同一背景类别的局部候选区域，进行融合处理，得到所述样本图片的语义分割的校正结果。

示例性的，训练目标检测模型的过程可以包括：

预先获取样本图片以及所述样本图片对应的检测结果，其中，所述样本图片对应的检测结果包括该样本图片中背景所在的位置；

利用目标检测模型检测所述样本图片中的背景，并根据预先获取的所述样本图片对应的检测结果，计算所述目标检测模型的检测准确率；

若上述检测准确率小于第二预设值，则调整所述目标检测模型的参数，再通过参数调整后的目标检测模型检测所述样本图片，直到调整后的目标检测模型的检测准确率大于或等于所述第二预设值，并将该参数调整后的目标检测模型作为训练后的目标检测模型。

步骤S206，根据所述检测结果、所述背景的背景类别以及所述背景在所述待处理图片中的位置，对所述待处理图片进行处理。

其中，图片处理模式包括但不限于对前景目标、背景和/或背景目标进行风格转换、饱和度、亮度和/或对比度等图片参数的调节。

通过本申请实施例，不仅可以根据待处理图片中前景目标的类别以及位置，和待处理图片中背景的类别以及位置，实现对待处理图片中前景目标以及背景图像的全方位处理，有效提升图片整体的处理效果。而且，还可以根据图片处理终端当前的处理性能选择不同的背景位置确定方案，从而有效提高图片处理的效率。

应理解，在上述实施例中，各步骤的序号的大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

图3是本申请第三实施例提供的图片处理装置的示意图，为了便于说明，仅示出与本申请实施例相关的部分。

该图片处理装置3可以是内置于手机、平板电脑、笔记本等终端设备内的软件单元、硬件单元或者软硬结合的单元，也可以作为独立的挂件集成到所述手机、平板电脑、笔记本等终端设备中。

所述图片处理装置3包括：

检测模块31，用于检测待处理图片中的前景目标，获得检测结果，所述检测结果用于指示所述待处理图片中是否存在前景目标，以及在存在前景目标时用于指示各个前景目标的类别和各个前景目标在所述待处理图片中的位置；

分类模块32，用于对所述待处理图片进行场景分类，获得分类结果，所述分类结果用于指示是否识别出所述待处理图片的背景，以及在识别出所述待处理图片的背景时用于指示所述待处理图片的背景类别；

第一判断模块33，用于在所述分类结果指示识别出所述待处理图片的背景时，判断所述待处理图片中背景的背景类别是否包含预定的背景类别；

位置确定模块34，用于在所述待处理图片中背景的背景类别包含预定的背景类别时，确定所述背景在所述待处理图片中的位置；

处理模块35，用于根据所述检测结果、所述背景的背景类别以及所述背景在所述待处理图片中的位置，对所述待处理图片进行处理。

可选的，所述图片处理装置3还包括：

第二判断模块，用于判断图片处理终端当前的处理性能是否符合预设条件；

相应的，所述位置确定模块34，具体用于若所述图片处理终端当前的处理性能符合预设条件，则采用训练后的语义分割模型确定所述背景在所述待处理图片中的位置；若所述图片处理终端当前的处理性能不符合所述预设条件，则采用训练后的目标检测模型确定所述背景在所述待处理图片中的位置。

示例性的，所述处理性能可以包括但不限于CPU的使用率以及物理内存的占用率。

相应的，所述位置确定模块34，具体用于若所述图片处理终端当前的CPU使用率小于第一预设值，且物理内存占用率小于第二预设值，则采用训练后的语义分割模型确定所述背景在所述待处理图片中的位置；若所述图片处理终端当前的CPU使用率大于或等于所述第一预设值，和/或物理内存占用率大于或等于所述第二预设值，则采用训练后的目标检测模型确定所述背景在所述待处理图片中的位置。

可选的，所述图片处理装置3还包括语义分割模型训练模块，所述语义分割模型训练模块具体用于：

采用多个预先标注有背景类别以及背景所在位置的样本图片对语义分割模型进行训练，针对于每一个样本图片，训练步骤包括：

将所述样本图片输入至所述语义分割模型，得到所述语义分割模型输出的所述样本图片的语义分割的初步结果；

依据所述背景类别和从所述样本图片选择的多个局部候选区域，进行局部候选区域融合，得到所述样本图片的语义分割的校正结果；

依据所述初步结果和所述校正结果，对所述语义分割模型的模型参数进行修正；

迭代执行所述训练步骤直至所述语义分割模型的训练结果满足预定收敛条件，将训练结果满足预定收敛条件的语义分割模型作为训练后的语义分割模型，所述收敛条件包括背景分割的准确率大于第一预设值。

所述语义分割模型训练模块还用于，从所述多个局部候选区域内选择出属于同一背景类别的局部候选区域；针对属于同一背景类别的局部候选区域，进行融合处理，得到所述样本图片的语义分割的校正结果。

可选的，所述图片处理装置3还包括目标检测模型训练模块，所述目标检测模型训练模块具体用于：

预先获取样本图片以及所述样本图片对应的检测结果，其中，所述样本图片对应的检测结果包括该样本图片中背景所在的位置；

利用目标检测模型检测所述样本图片中的背景，并根据预先获取的所述样本图片对应的检测结果，计算所述目标检测模型的检测准确率；

若上述检测准确率小于第二预设值，则调整所述目标检测模型的参数，再通过参数调整后的目标检测模型检测所述样本图片，直到调整后的目标检测模型的检测准确率大于或等于所述第二预设值，并将该参数调整后的目标检测模型作为训练后的目标检测模型。

可选的，所述处理模块35包括：

第一处理单元，用于根据所述待处理图片中背景的背景类别，获取所述背景的图片处理模式，并根据所述背景在所述待处理图片中的位置，确定所述背景所在的图片区域；

第二处理单元，用于根据所述背景的图片处理模式，对所述背景所在的图片区域进行处理，获得处理后的第一图片；

第三处理单元，用于根据所述检测结果中各个前景目标的类别，获取各个前景目标的图片处理模式，并根据所述检测结果中各个前景目标在所述待处理图片中的位置，确定各个前景目标所在的图片区域；

第四处理单元，用于根据各个前景目标的图片处理模式，对各个前景目标所在的图片区域进行处理，获得对应的处理后的图片区域；

第五处理单元，用于将所述第一图片中的各个前景目标所在的图片区域替换成对应的处理后的图片区域，获得处理后的第二图片，并将所述处理后的第二图片作为处理后的最终图片。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

图4是本申请第四实施例提供的终端设备的示意图。如图4所示，该实施例的终端设备4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42，例如图片处理程序。所述处理器40执行所述计算机程序42时实现上述各个图片处理方法实施例中的步骤，例如图1所示的步骤101至105。或者，所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能，例如图3所示模块31至35的功能。

所述终端设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是终端设备4的示例，并不构成对终端设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器41可以是所述终端设备4的内部存储单元，例如终端设备4的硬盘或内存。所述存储器41也可以是所述终端设备4的外部存储设备，例如所述终端设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述终端设备所需的其它程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

具体可以如下，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质；也可以是单独存在，未装配入终端设备中的计算机可读存储介质。所述计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序被一个或者一个以上的处理器执行时实现所述图片处理方法的以下步骤：

检测待处理图片中的前景目标，获得检测结果，所述检测结果用于指示所述待处理图片中是否存在前景目标，以及在存在前景目标时用于指示各个前景目标的类别和各个前景目标在所述待处理图片中的位置；

对所述待处理图片进行场景分类，获得分类结果，所述分类结果用于指示是否识别出所述待处理图片的背景，以及在识别出所述待处理图片的背景时用于指示所述待处理图片的背景类别；

若所述分类结果指示识别出所述待处理图片的背景，则判断所述待处理图片中背景的背景类别是否包含预定的背景类别；

若所述待处理图片中背景的背景类别包含预定的背景类别，则确定所述背景在所述待处理图片中的位置；

根据所述检测结果、所述背景的背景类别以及所述背景在所述待处理图片中的位置，对所述待处理图片进行处理。

假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，在确定所述背景在所述待处理图片中的位置之前，还包括：

判断图片处理终端当前的处理性能是否符合预设条件；

相应的，确定所述背景在所述待处理图片中的位置包括：

若所述图片处理终端当前的处理性能符合预设条件，则采用训练后的语义分割模型确定所述背景在所述待处理图片中的位置；

若所述图片处理终端当前的处理性能不符合所述预设条件，则采用训练后的目标检测模型确定所述背景在所述待处理图片中的位置。

假设上述为第二种可能的实施方式，则在第二种可能的实施方式作为基础而提供的第三种可能的实施方式中，所述处理性能包括CPU的使用率以及物理内存的占用率；

相应的，若所述图片处理终端当前的处理性能符合预设条件，则采用训练后的语义分割模型确定所述背景在所述待处理图片中的位置；若所述图片处理终端当前的处理性能不符合所述预设条件，则采用训练后的目标检测模型确定所述背景在所述待处理图片中的位置，包括：

若所述图片处理终端当前的CPU使用率小于第一预设值，且物理内存占用率小于第二预设值，则采用训练后的语义分割模型确定所述背景在所述待处理图片中的位置；

若所述图片处理终端当前的CPU使用率大于或等于所述第一预设值，和/或物理内存占用率大于或等于所述第二预设值，则采用训练后的目标检测模型确定所述背景在所述待处理图片中的位置。

假设上述为第二或三种可能的实施方式，则在第二或三种可能的实施方式作为基础而提供的第四种可能的实施方式中，训练语义分割模型的过程包括：

采用多个预先标注有背景类别以及背景所在位置的样本图片对语义分割模型进行训练，针对于每一个样本图片，训练步骤包括：

将所述样本图片输入至所述语义分割模型，得到所述语义分割模型输出的所述样本图片的语义分割的初步结果；

依据所述背景类别和从所述样本图片选择的多个局部候选区域，进行局部候选区域融合，得到所述样本图片的语义分割的校正结果；

依据所述初步结果和所述校正结果，对所述语义分割模型的模型参数进行修正；

迭代执行所述训练步骤直至所述语义分割模型的训练结果满足预定收敛条件，将训练结果满足预定收敛条件的语义分割模型作为训练后的语义分割模型，所述收敛条件包括背景分割的准确率大于第一预设值。

在第四种可能的实施方式作为基础而提供的第五种可能的实施方式中，依据所述背景类别和从所述样本图片选择的多个局部候选区域，进行局部候选区域融合，得到所述样本图片的语义分割的校正结果包括：

从所述多个局部候选区域内选择出属于同一背景类别的局部候选区域；

针对属于同一背景类别的局部候选区域，进行融合处理，得到所述样本图片的语义分割的校正结果。

在第二或3种可能的实施方式作为基础而提供的第六种可能的实施方式中，训练目标检测模型的过程包括：

预先获取样本图片以及所述样本图片对应的检测结果，其中，所述样本图片对应的检测结果包括该样本图片中背景所在的位置；

利用目标检测模型检测所述样本图片中的背景，并根据预先获取的所述样本图片对应的检测结果，计算所述目标检测模型的检测准确率；

若上述检测准确率小于第二预设值，则调整所述目标检测模型的参数，再通过参数调整后的目标检测模型检测所述样本图片，直到调整后的目标检测模型的检测准确率大于或等于所述第二预设值，并将该参数调整后的目标检测模型作为训练后的目标检测模型。

在第一种可能的实施方式作为基础而提供的第七种可能的实施方式中，所述根据所述检测结果、所述背景的背景类别以及所述背景在所述待处理图片中的位置，对所述待处理图片进行处理，包括：

根据所述待处理图片中背景的背景类别，获取所述背景的图片处理模式，并根据所述背景在所述待处理图片中的位置，确定所述背景所在的图片区域；

根据所述背景的图片处理模式，对所述背景所在的图片区域进行处理，获得处理后的第一图片；

根据所述检测结果中各个前景目标的类别，获取各个前景目标的图片处理模式，并根据所述检测结果中各个前景目标在所述待处理图片中的位置，确定各个前景目标所在的图片区域；

根据各个前景目标的图片处理模式，对各个前景目标所在的图片区域进行处理，获得对应的处理后的图片区域；

将所述第一图片中的各个前景目标所在的图片区域替换成对应的处理后的图片区域，获得处理后的第二图片，并将所述处理后的第二图片作为处理后的最终图片。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图片处理方法，其特征在于，包括：

检测待处理图片中的前景目标，获得检测结果，所述检测结果用于指示所述待处理图片中是否存在前景目标，以及在存在前景目标时用于指示各个前景目标的类别和各个前景目标在所述待处理图片中的位置；

对所述待处理图片进行场景分类，获得分类结果，所述分类结果用于指示是否识别出所述待处理图片的背景，以及在识别出所述待处理图片的背景时用于指示所述待处理图片的背景类别；

若所述分类结果指示识别出所述待处理图片的背景，则判断所述待处理图片中背景的背景类别是否包含预定的背景类别；

若所述待处理图片中背景的背景类别包含预定的背景类别，则确定所述背景在所述待处理图片中的位置；

根据所述检测结果、所述背景的背景类别以及所述背景在所述待处理图片中的位置，对所述待处理图片进行处理。

2.如权利要求1所述的图片处理方法，其特征在于，在确定所述背景在所述待处理图片中的位置之前，还包括：

判断图片处理终端当前的处理性能是否符合预设条件；

相应的，确定所述背景在所述待处理图片中的位置包括：

若所述图片处理终端当前的处理性能符合预设条件，则采用训练后的语义分割模型确定所述背景在所述待处理图片中的位置；

若所述图片处理终端当前的处理性能不符合所述预设条件，则采用训练后的目标检测模型确定所述背景在所述待处理图片中的位置。

3.如权利要求2所述的图片处理方法，其特征在于，所述处理性能包括CPU的使用率以及物理内存的占用率；

相应的，若所述图片处理终端当前的处理性能符合预设条件，则采用训练后的语义分割模型确定所述背景在所述待处理图片中的位置；若所述图片处理终端当前的处理性能不符合所述预设条件，则采用训练后的目标检测模型确定所述背景在所述待处理图片中的位置，包括：

若所述图片处理终端当前的CPU使用率小于第一预设值，且物理内存占用率小于第二预设值，则采用训练后的语义分割模型确定所述背景在所述待处理图片中的位置；

若所述图片处理终端当前的CPU使用率大于或等于所述第一预设值，和/或物理内存占用率大于或等于所述第二预设值，则采用训练后的目标检测模型确定所述背景在所述待处理图片中的位置。

4.如权利要求2或3所述的图片处理方法，其特征在于，训练语义分割模型的过程包括：

采用多个预先标注有背景类别以及背景所在位置的样本图片对语义分割模型进行训练，针对于每一个样本图片，训练步骤包括：

将所述样本图片输入至所述语义分割模型，得到所述语义分割模型输出的所述样本图片的语义分割的初步结果；

依据所述背景类别和从所述样本图片选择的多个局部候选区域，进行局部候选区域融合，得到所述样本图片的语义分割的校正结果；

依据所述初步结果和所述校正结果，对所述语义分割模型的模型参数进行修正；

迭代执行所述训练步骤直至所述语义分割模型的训练结果满足预定收敛条件，将训练结果满足预定收敛条件的语义分割模型作为训练后的语义分割模型，所述收敛条件包括背景分割的准确率大于第一预设值。

5.如权利要求4所述的图片处理方法，其特征在于，依据所述背景类别和从所述样本图片选择的多个局部候选区域，进行局部候选区域融合，得到所述样本图片的语义分割的校正结果包括：

从所述多个局部候选区域内选择出属于同一背景类别的局部候选区域；

针对属于同一背景类别的局部候选区域，进行融合处理，得到所述样本图片的语义分割的校正结果。

6.如权利要求2或3所述的图片处理方法，其特征在于，训练目标检测模型的过程包括：

预先获取样本图片以及所述样本图片对应的检测结果，其中，所述样本图片对应的检测结果包括该样本图片中背景所在的位置；

利用目标检测模型检测所述样本图片中的背景，并根据预先获取的所述样本图片对应的检测结果，计算所述目标检测模型的检测准确率；

若上述检测准确率小于第二预设值，则调整所述目标检测模型的参数，再通过参数调整后的目标检测模型检测所述样本图片，直到调整后的目标检测模型的检测准确率大于或等于所述第二预设值，并将该参数调整后的目标检测模型作为训练后的目标检测模型。

7.如权利要求1所述的图片处理方法，其特征在于，所述根据所述检测结果、所述背景的背景类别以及所述背景在所述待处理图片中的位置，对所述待处理图片进行处理，包括：

根据所述待处理图片中背景的背景类别，获取所述背景的图片处理模式，并根据所述背景在所述待处理图片中的位置，确定所述背景所在的图片区域；

根据所述背景的图片处理模式，对所述背景所在的图片区域进行处理，获得处理后的第一图片；

根据所述检测结果中各个前景目标的类别，获取各个前景目标的图片处理模式，并根据所述检测结果中各个前景目标在所述待处理图片中的位置，确定各个前景目标所在的图片区域；

根据各个前景目标的图片处理模式，对各个前景目标所在的图片区域进行处理，获得对应的处理后的图片区域；

将所述第一图片中的各个前景目标所在的图片区域替换成对应的处理后的图片区域，获得处理后的第二图片，并将所述处理后的第二图片作为处理后的最终图片。

8.一种图片处理装置，其特征在于，包括：

检测模块，用于检测待处理图片中的前景目标，获得检测结果，所述检测结果用于指示所述待处理图片中是否存在前景目标，以及在存在前景目标时用于指示各个前景目标的类别和各个前景目标在所述待处理图片中的位置；

分类模块，用于对所述待处理图片进行场景分类，获得分类结果，所述分类结果用于指示是否识别出所述待处理图片的背景，以及在识别出所述待处理图片的背景时用于指示所述待处理图片的背景类别；

第一判断模块，用于在所述分类结果指示识别出所述待处理图片的背景时，判断所述待处理图片中背景的背景类别是否包含预定的背景类别；

位置确定模块，用于在所述待处理图片中背景的背景类别包含预定的背景类别时，确定所述背景在所述待处理图片中的位置；

处理模块，用于根据所述检测结果、所述背景的背景类别以及所述背景在所述待处理图片中的位置，对所述待处理图片进行处理。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述图片处理方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图片处理方法的步骤。