CN108898082A - 图片处理方法、图片处理装置及终端设备 - Google Patents

图片处理方法、图片处理装置及终端设备 Download PDF

Info

Publication number
CN108898082A
CN108898082A CN201810631045.7A CN201810631045A CN108898082A CN 108898082 A CN108898082 A CN 108898082A CN 201810631045 A CN201810631045 A CN 201810631045A CN 108898082 A CN108898082 A CN 108898082A
Authority
CN
China
Prior art keywords
picture
processed
background
classification
samples pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810631045.7A
Other languages
English (en)
Other versions
CN108898082B (zh
Inventor
王宇鹭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810631045.7A priority Critical patent/CN108898082B/zh
Publication of CN108898082A publication Critical patent/CN108898082A/zh
Application granted granted Critical
Publication of CN108898082B publication Critical patent/CN108898082B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation

Abstract

本申请适用于图片处理技术领域,提供了一种图片处理方法,所述方法包括:检测待处理图片中的前景目标,获得检测结果;对所述待处理图片进行场景分类,获得分类结果;根据所述前景目标的类别和所述背景类别确定所述待处理图片的场景类别;根据所述场景类别确定所述待处理图片需要转换的风格类型,并获取所述风格类型对应的图片,将所述待处理图片的背景替换为所述风格类型对应的图片。本申请可以根据检测到的场景类别,自动将待处理图片中的背景转换成与所述场景类别对应风格的图片。

Description

图片处理方法、图片处理装置及终端设备
技术领域
本申请属于图片处理技术领域,尤其涉及图片处理方法、图片处理装置、终端设备及计算机可读存储介质。
背景技术
在日常生活中,随着相机、手机等终端设备的日益增多,人们拍摄照片也变得更加频繁和方便了。同时,随着社交网络的发展,越来越多的人喜欢利用照片来分享他们的日常生活。
然而,由于人们缺乏摄影师的专业技能,所以拍出的照片会存在缺乏层次,曝光不足,色彩饱和度低等问题。为了使照片看起来精致且具有艺术效果,一些图像处理软件被用来处理照片。但对大多数的图像处理软件来说,它们操作复杂,需要具备一定的专业技能才能够使用。而且,目前已有的图像处理软件无法实现将用户的照片按照场景类似的风格进行转换。
发明内容
有鉴于此,本申请实施例提供了一种图片处理方法、图片处理装置、终端设备及计算机可读存储介质,可以根据检测到的场景类别,自动将待处理图片中的背景转换成与所述场景类别对应风格的图片。
本申请实施例的第一方面提供了一种图片处理方法,包括:
检测待处理图片中的前景目标,获得检测结果,所述检测结果用于指示所述待处理图片中是否存在前景目标,以及在存在前景目标时用于指示各个前景目标的类别;
对所述待处理图片进行场景分类,获得分类结果,所述分类结果用于指示是否能够识别出所述待处理图片的背景,以及在能够识别出所述待处理图片的背景后用于指示所述待处理图片的背景类别;
若所述检测结果指示存在前景目标,所述分类结果指示识别出所述待处理图片的背景,则根据所述前景目标的类别和所述背景类别确定所述待处理图片的场景类别;
根据所述场景类别确定所述待处理图片需要转换的风格类型,并获取所述风格类型对应的图片,将所述待处理图片的背景替换为所述风格类型对应的图片。
本申请实施例的第二方面提供了一种图片处理装置,包括:
检测模块,用于检测待处理图片中的前景目标,获得检测结果,所述检测结果用于指示所述待处理图片中是否存在前景目标,以及在存在前景目标时用于指示各个前景目标的类别;
分类模块,用于对所述待处理图片进行场景分类,获得分类结果,所述分类结果用于指示是否能够识别出所述待处理图片的背景,以及在能够识别出所述待处理图片的背景后用于指示所述待处理图片的背景类别;
确定模块,用于在所述检测结果指示存在前景目标,所述分类结果指示识别出所述待处理图片的背景时,根据所述前景目标的类别和所述背景类别确定所述待处理图片的场景类别;
处理模块,用于根据所述场景类别确定所述待处理图片需要转换的风格类型,并获取所述风格类型对应的图片,将所述待处理图片的背景替换为所述风格类型对应的图片。
本申请实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如所述图片处理方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被一个或多个处理器执行时实现如所述图片处理方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被一个或多个处理器执行时实现如所述图片处理方法的步骤。
本申请实施例与现有技术相比存在的有益效果是:本申请实施例可以根据待处理图片中前景目标的类别和背景类别确定所述待处理图片的场景类别,根据所述场景类别,自动将待处理图片中的背景转换成与所述场景类别对应风格的图片,有效增强用户体验,具有较强的易用性和实用性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1是本申请实施例一提供的图片处理方法的实现流程示意图;
图2是本申请实施例二提供的图片处理方法的实现流程示意图;
图3是本申请实施例三提供的图片处理装置的示意图;
图4是本申请实施例四提供的终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
具体实现中,本申请实施例中描述的终端设备包括但不限于诸如具有触摸敏感表面(例如,触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是,在某些实施例中,所述设备并非便携式通信设备,而是具有触摸敏感表面(例如,触摸屏显示器和/或触摸板)的台式计算机。
在接下来的讨论中,描述了包括显示器和触摸敏感表面的终端设备。然而,应当理解的是,终端设备可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。
终端设备支持各种应用程序,例如以下中的一个或多个:绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
可以在终端设备上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样,终端的公共物理架构(例如,触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。
另外,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
为了说明本申请所述的技术方案,下面通过具体实施例来进行说明。
参见图1,是本申请实施例一提供的图片处理方法的实现流程示意图,该方法可以包括:
步骤S101,检测待处理图片中的前景目标,获得检测结果,所述检测结果用于指示所述待处理图片中是否存在前景目标,以及在存在前景目标时用于指示各个前景目标的类别。
在本实施例中,所述待处理图片可以是当前拍摄的图片、预先存储的图片、从网络上获取的图片或者从视频中提取的图片等。例如,通过终端设备的相机拍摄的图片;或者,预先存储的微信好友发送的图片;或者,从指定网站上下载的图片;或者,从当前所播放的视频中提取的一帧图片。较佳的,还可以是终端设备启动相机后预览画面中的某一帧图片。
在本实施例中,所述检测结果包括但不限于:所述待处理图片中有无前景目标的指示信息,以及在包含前景目标时用于指示上述待处理图片中所包含的各个前景目标的类别。例如,还可以包括各个前景目标在所述待处理图片中的位置。其中,所述前景目标可以是指所述待处理图片中具有动态特征的目标,例如人、动物等;所述前景目标还可以是指距离观赏者较近的景物,例如鲜花、美食等。进一步的,为了更准确的识别到前景目标的位置,以及对识别到的前景目标进行区分。本实施例在检测到前景目标后,还可以对所述前景目标采用不同的选定框进行框选,例如方框框选动物,圆框框选人脸等。
较佳的,本实施例可以采用训练后的场景检测模型对待处理图片中的前景目标进行检测。示例性的,该场景检测模型可以为单点多盒检测(Single Shot MultiboxDetection,SSD)等具有前景目标检测功能的模型。当然,也可以采用其他场景检测方式,例如通过目标(如人脸)识别算法检测所述待处理图片中是否存在预定目标,在检测出存在所述预定目标后,通过目标定位算法或目标跟踪算法确定所述预定目标在所述待处理图片中的位置。
需要说明的是,本领域技术人员在本发明揭露的技术范围内,可容易想到的其他检测前景目标的方案也应在本发明的保护范围之内,在此不一一赘述。
以采用训练后的场景检测模型对待处理图片中的前景目标进行检测为例说明场景检测模型的具体训练过程:
预先获取样本图片以及所述样本图片对应的检测结果,其中,所述样本图片对应的检测结果包括该样本图片中各个前景目标的类别和位置;
利用初始的场景检测模型检测上述样本图片中的前景目标,并根据预先获取的所述样本图片对应的检测结果,计算该初始的场景检测模型的检测准确率;
若上述检测准确率小于预设的检测阈值,则调整初始的场景检测模型的参数,再通过参数调整后的场景检测模型检测所述样本图片,直到调整后的场景检测模型的检测准确率大于或等于所述检测阈值,并将该场景检测模型作为训练后的场景检测模型。其中,调整参数的方法包括但不限于随机梯度下降算法、动力更新算法等。
步骤S102,对所述待处理图片进行场景分类,获得分类结果,所述分类结果用于指示是否能够识别出所述待处理图片的背景,以及在能够识别出所述待处理图片的背景后用于指示所述待处理图片的背景类别。
在本实施例中,对所述待处理图片进行场景分类,即识别待处理图片中当前的背景属于哪几种场景,例如海滩场景、森林场景、雪地场景、草原场景、沙漠场景、蓝天场景等。
较佳的,可以采用训练后的场景分类模型对所述待处理图片进行场景分类。示例性的,该场景分类模型可以为MobileNet等具有背景检测功能的模型。当然,也可以采用其他场景分类方式,例如通过前景检测模型检测出所述待处理图片中的前景目标之后,将所述待处理图片中的剩余部分作为背景,并通过图像识别算法识别出剩余部分的类别。
需要说明的是,本领域技术人员在本发明揭露的技术范围内,可容易想到的其他检测背景的方案也应在本发明的保护范围之内,在此不一一赘述。
以采用训练后的场景分类模型对待处理图片中的背景进行检测为例说明场景分类模型的具体训练过程:
预先获取各个样本图片以及各个样本图片对应的分类结果;
利用初始的场景分类模型对各个样本图片进行场景分类,并根据预先获取的各个样本图片的分类结果,计算该初始的场景分类模型的分类准确率;
若上述分类准确率小于预设的分类阈值(如80%),则调整上述初始的场景分类模型的参数,再通过参数调整后的场景分类模型检测所述样本图片,直到调整后的场景分类模型的分类准确率大于或等于所述分类阈值,并将该场景分类模型作为训练后的场景分类模型。其中,调整参数的方法包括但不限于随机梯度下降算法、动力更新算法等。
步骤S103,若所述检测结果指示存在前景目标,所述分类结果指示识别出所述待处理图片的背景,则根据所述前景目标的类别和所述背景类别确定所述待处理图片的场景类别。
在本实施例中,为了提高场景类别识别的准确率,本实施例根据所述前景目标的类别和所述背景类别共同确定所述待处理图片的场景类别。例如,检测到的前景目标中包含人物、美食,背景类别为草地,则确定所述场景类别为野餐。
需要说明的是,如果需要快速的识别出场景类别,可以直接将所述背景类别作为所述场景类别。
步骤S104,根据所述场景类别确定所述待处理图片需要转换的风格类型,并获取所述风格类型对应的图片,将所述待处理图片的背景替换为所述风格类型对应的图片。
示例性的,所述根据所述场景类别确定所述待处理图片需要转换的风格类型可以包括:
将所述场景类别输入训练后的判别网络模型,获得所述训练后的判别网络模型输出的与所述场景类别对应的风格类型。
所述判别网络模型的训练过程可以包括:
预先获取各个样本图片的场景类别以及各个样本图片所对应的风格类型;
分别将各个样本图片的场景类别输入至判别网络模型中,以使所述判别网络模型输出与各个样本图片对应的风格类型;
根据所述判别网络模型输出的与各个样本图片对应的风格类型以及预先获取的各个样本图片所对应的风格类型,计算获得所述判别网络模型的判别准确率;
若所述判别准确率小于第一预设阈值,则调整所述判别网络模型的参数,并通过参数调整后的判别网络模型继续对所述各个样本图片的场景类别进行判别,直到参数调整后的判别网络模型的判别准确率大于或等于所述第一预设阈值,将所述判别准确率大于或等于所述第一预设阈值的判别网络模型确定为训练后的判别网络模型。
另外,本实施例在确定需要转换的风格类型,可以从本地或者网络上获取与所述风格类型对应的图片。例如:检测到日落或日出场景,可以获取莫奈的油画《日出印象》;若检测到人像、美食和草地,可以获取《草地上的午餐》风格;若检测到植物,可以获取梵高的《向日葵》等。
可选的,在获取所述风格类型对应的图片之后,可以根据所述前景目标的位置,确定所述背景所在的区域(即所述待处理图片中除前景目标之外的区域),并将获取的图片转换成所述背景所在区域大小的目标图片,将所述待处理图片的背景替换为所述风格类型对应的目标图片。
通过本申请实施例,可以根据检测到的场景类别,自动将待处理图片中的背景转换成与所述场景类别对应风格的图片。
参见图2,是本申请实施例二提供的图片处理方法的实现流程示意图,该方法可以包括:
步骤S201,检测待处理图片中的前景目标,获得检测结果,所述检测结果用于指示所述待处理图片中是否存在前景目标,以及在存在前景目标时用于指示各个前景目标的类别;
步骤S202,对所述待处理图片进行场景分类,获得分类结果,所述分类结果用于指示是否能够识别出所述待处理图片的背景,以及在能够识别出所述待处理图片的背景后用于指示所述待处理图片的背景类别。
其中,步骤S201和S202的具体实现过程可以参考上述步骤S101和S102,在此不再赘述。
步骤S203,若所述检测结果指示存在前景目标,所述分类结果指示识别出所述待处理图片的背景,则确定所述背景在所述待处理图片中的位置,并根据所述前景目标的类别和所述背景类别确定所述待处理图片的场景类别。
示例性的,在所述分类结果指示识别出所述待处理图片的背景之后,可以采用训练后的语义分割模型确定所述背景在所述待处理图片中的位置,或者采用训练后的目标检测模型确定所述背景在所述待处理图片中的位置等。
其中,训练目标检测模型的过程可以包括:
预先获取样本图片以及所述样本图片对应的检测结果,其中,所述样本图片对应的检测结果包括该样本图片中背景所在的位置;
利用目标检测模型检测所述样本图片中的背景,并根据预先获取的所述样本图片对应的检测结果,计算所述目标检测模型的检测准确率;
若上述检测准确率小于第二预设值,则调整所述目标检测模型的参数,再通过参数调整后的目标检测模型检测所述样本图片,直到调整后的目标检测模型的检测准确率大于或等于所述第二预设值,并将该参数调整后的目标检测模型作为训练后的目标检测模型。
其中,训练语义分割模型的过程可以包括:
采用多个预先标注有背景类别以及背景所在位置的样本图片对语义分割模型进行训练,针对于每一个样本图片,训练步骤包括:
将所述样本图片输入至所述语义分割模型,得到所述语义分割模型输出的所述样本图片的语义分割的初步结果;
依据所述背景类别和从所述样本图片选择的多个局部候选区域,进行局部候选区域融合,得到所述样本图片的语义分割的校正结果;
依据所述初步结果和所述校正结果,对所述语义分割模型的模型参数进行修正;
迭代执行所述训练步骤直至所述语义分割模型的训练结果满足预定收敛条件,将训练结果满足预定收敛条件的语义分割模型作为训练后的语义分割模型,所述收敛条件包括背景分割的准确率大于第一预设值。
进一步的,在所述进行局部候选区域融合之前,还包括:对所述样本图片进行超像素分割处理,将进行超像素分割处理得到的若干图像块进行聚类,得到多个局部候选区域。
其中,依据所述背景类别和从所述样本图片选择的多个局部候选区域,进行局部候选区域融合,得到所述样本图片的语义分割的校正结果可以包括:
从所述多个局部候选区域内选择出属于同一背景类别的局部候选区域;
针对属于同一背景类别的局部候选区域,进行融合处理,得到所述样本图片的语义分割的校正结果。
步骤S204,根据所述背景在所述待处理图片中的位置,确定所述背景在所述待处理图片中的区域大小,将获取的所述风格类型对应的图片转换成所述区域大小的目标图片,并将所述待处理图片中所述位置的背景替换为所述目标图片。
例如,检测到日落或日出场景,则自动将背景部分转换为莫奈的油画《日出印象》;若检测到人像+草地,则自动转换为油画《草地上的午餐》风格;若检测到植物,则自动转换为梵高的《向日葵》风格等。
本申请实施例,在所述分类结果指示识别出所述待处理图片的背景,先确定所述背景在所述待处理图片中的位置,再根据所述位置确定所述背景在所述待处理图片中的区域大小和/或形状,将获取的所述风格类型对应的图片通过缩放、裁剪等方式转换成所述区域大小和/或形状的目标图片后,将所述待处理图片中所述位置的背景替换为所述目标图片。
应理解,在上述实施例中,各步骤的序号的大小并不意味着执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
图3是本申请第三实施例提供的图片处理装置的示意图,为了便于说明,仅示出与本申请实施例相关的部分。
该图片处理装置3可以是内置于手机、平板电脑、笔记本等终端设备内的软件单元、硬件单元或者软硬结合的单元,也可以作为独立的挂件集成到所述手机、平板电脑、笔记本等终端设备中。
所述图片处理装置3包括:
检测模块31,用于检测待处理图片中的前景目标,获得检测结果,所述检测结果用于指示所述待处理图片中是否存在前景目标,以及在存在前景目标时用于指示各个前景目标的类别和各个前景目标在所述待处理图片中的位置;
分类模块32,用于对所述待处理图片进行场景分类,获得分类结果,所述分类结果用于指示是否能够识别出所述待处理图片的背景,以及在能够识别出所述待处理图片的背景后用于指示所述待处理图片的背景类别;
确定模块33,用于在所述检测结果指示存在前景目标,所述分类结果指示识别出所述待处理图片的背景时,根据所述前景目标的类别和所述背景类别确定所述待处理图片的场景类别;
处理模块34,用于根据所述场景类别确定所述待处理图片需要转换的风格类型,并获取所述风格类型对应的图片,将所述待处理图片的背景替换为所述风格类型对应的图片。
可选的,所述确定模块33还用于:
在所述分类结果指示识别出所述待处理图片的背景时,确定所述背景在所述待处理图片中的位置;
相应地,所述处理模块34,具体用于根据所述背景在所述待处理图片中的位置,确定所述背景在所述待处理图片中的区域大小,将获取的所述风格类型对应的图片转换成所述区域大小的目标图片,并将所述待处理图片中所述位置的背景替换为所述目标图片。
可选的,所述确定模块33具体用于,采用训练后的语义分割模型确定所述背景在所述待处理图片中的位置。
可选的,所述图片处理装置3还包括语义分割模型训练模块,所述语义分割模型训练模块具体用于:
采用多个预先标注有背景类别以及背景所在位置的样本图片对语义分割模型进行训练,针对于每一个样本图片,训练步骤包括:
将所述样本图片输入至所述语义分割模型,得到所述语义分割模型输出的所述样本图片的语义分割的初步结果;
依据所述背景类别和从所述样本图片选择的多个局部候选区域,进行局部候选区域融合,得到所述样本图片的语义分割的校正结果;
依据所述初步结果和所述校正结果,对所述语义分割模型的模型参数进行修正;
迭代执行所述训练步骤直至所述语义分割模型的训练结果满足预定收敛条件,将训练结果满足预定收敛条件的语义分割模型作为训练后的语义分割模型,所述收敛条件包括背景分割的准确率大于第一预设值。
所述语义分割模型训练模块还用于,从所述多个局部候选区域内选择出属于同一背景类别的局部候选区域;针对属于同一背景类别的局部候选区域,进行融合处理,得到所述样本图片的语义分割的校正结果。
可选的,所述图片处理装置3还可以包括目标检测模型训练模块,所述目标检测模型训练模块具体用于:
预先获取样本图片以及所述样本图片对应的检测结果,其中,所述样本图片对应的检测结果包括该样本图片中背景所在的位置;
利用目标检测模型检测所述样本图片中的背景,并根据预先获取的所述样本图片对应的检测结果,计算所述目标检测模型的检测准确率;
若上述检测准确率小于第二预设值,则调整所述目标检测模型的参数,再通过参数调整后的目标检测模型检测所述样本图片,直到调整后的目标检测模型的检测准确率大于或等于所述第二预设值,并将该参数调整后的目标检测模型作为训练后的目标检测模型。
可选的,所述处理模块34具体用于,将所述场景类别输入训练后的判别网络模型,获得所述训练后的判别网络模型输出的与所述场景类别对应的风格类型。
可选的,所述图片处理装置3还包括判别网络模型训练模块,所述判别网络模型训练模块包括:
第一单元,用于预先获取各个样本图片的场景类别以及各个样本图片所对应的风格类型;
第二单元,用于分别将各个样本图片的场景类别输入至判别网络模型中,以使所述判别网络模型输出与各个样本图片对应的风格类型;
第三单元,用于根据所述判别网络模型输出的与各个样本图片对应的风格类型以及预先获取的各个样本图片所对应的风格类型,计算获得所述判别网络模型的判别准确率;
第四单元,用于在所述判别准确率小于第一预设阈值时,调整所述判别网络模型的参数,并通过参数调整后的判别网络模型继续对所述各个样本图片的场景类别进行判别,直到参数调整后的判别网络模型的判别准确率大于或等于所述第一预设阈值,将所述判别准确率大于或等于所述第一预设阈值的判别网络模型确定为训练后的判别网络模型。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
图4是本申请第四实施例提供的终端设备的示意图。如图4所示,该实施例的终端设备4包括:处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42,例如图片处理程序。所述处理器40执行所述计算机程序42时实现上述各个图片处理方法实施例中的步骤,例如图1所示的步骤101至104。或者,所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能,例如图3所示模块31至34的功能。
所述终端设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括,但不仅限于,处理器40、存储器41。本领域技术人员可以理解,图4仅仅是终端设备4的示例,并不构成对终端设备4的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器40可以是中央处理单元(Central Processing Unit,CPU),还可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述终端设备4的内部存储单元,例如终端设备4的硬盘或内存。所述存储器41也可以是所述终端设备4的外部存储设备,例如所述终端设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述终端设备所需的其它程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
具体可以如下,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质;也可以是单独存在,未装配入终端设备中的计算机可读存储介质。所述计算机可读存储介质存储有一个或者一个以上计算机程序,所述一个或者一个以上计算机程序被一个或者一个以上的处理器执行时实现所述图片处理方法的以下步骤:
检测待处理图片中的前景目标,获得检测结果,所述检测结果用于指示所述待处理图片中是否存在前景目标,以及在存在前景目标时用于指示各个前景目标的类别;
对所述待处理图片进行场景分类,获得分类结果,所述分类结果用于指示是否能够识别出所述待处理图片的背景,以及在能够识别出所述待处理图片的背景后用于指示所述待处理图片的背景类别;
若所述检测结果指示存在前景目标,所述分类结果指示识别出所述待处理图片的背景,则根据所述前景目标的类别和所述背景类别确定所述待处理图片的场景类别;
根据所述场景类别确定所述待处理图片需要转换的风格类型,并获取所述风格类型对应的图片,将所述待处理图片的背景替换为所述风格类型对应的图片。
假设上述为第一种可能的实施方式,则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中,所述方法还包括:
若所述分类结果指示识别出所述待处理图片的背景,确定所述背景在所述待处理图片中的位置;
相应地,将所述待处理图片的背景替换为所述风格类型对应的图片包括:
根据所述背景在所述待处理图片中的位置,确定所述背景在所述待处理图片中的区域大小,将获取的所述风格类型对应的图片转换成所述区域大小的目标图片,并将所述待处理图片中所述位置的背景替换为所述目标图片。
假设上述为第二种可能的实施方式,则在第二种可能的实施方式作为基础而提供的第三种可能的实施方式中,所述确定所述背景在所述待处理图片中的位置包括:
采用训练后的语义分割模型确定所述背景在所述待处理图片中的位置。
在第三种可能的实施方式作为基础而提供的第四种可能的实施方式中,训练语义分割模型的过程包括:
采用多个预先标注有背景类别以及背景所在位置的样本图片对语义分割模型进行训练,针对于每一个样本图片,训练步骤包括:
将所述样本图片输入至所述语义分割模型,得到所述语义分割模型输出的所述样本图片的语义分割的初步结果;
依据所述背景类别和从所述样本图片选择的多个局部候选区域,进行局部候选区域融合,得到所述样本图片的语义分割的校正结果;
依据所述初步结果和所述校正结果,对所述语义分割模型的模型参数进行修正;
迭代执行所述训练步骤直至所述语义分割模型的训练结果满足预定收敛条件,将训练结果满足预定收敛条件的语义分割模型作为训练后的语义分割模型,所述收敛条件包括背景分割的准确率大于第一预设值。
在第四种可能的实施方式作为基础而提供的第五种可能的实施方式中,依据所述背景类别和从所述样本图片选择的多个局部候选区域,进行局部候选区域融合,得到所述样本图片的语义分割的校正结果包括:
从所述多个局部候选区域内选择出属于同一背景类别的局部候选区域;
针对属于同一背景类别的局部候选区域,进行融合处理,得到所述样本图片的语义分割的校正结果。
在第一种可能的实施方式作为基础而提供的第六种可能的实施方式中,所述根据所述场景类别确定所述待处理图片需要转换的风格类型,包括:
将所述场景类别输入训练后的判别网络模型,获得所述训练后的判别网络模型输出的与所述场景类别对应的风格类型。
在第六种可能的实施方式作为基础而提供的第七种可能的实施方式中,所述判别网络模型的训练过程包括:
预先获取各个样本图片的场景类别以及各个样本图片所对应的风格类型;
分别将各个样本图片的场景类别输入至判别网络模型中,以使所述判别网络模型输出与各个样本图片对应的风格类型;
根据所述判别网络模型输出的与各个样本图片对应的风格类型以及预先获取的各个样本图片所对应的风格类型,计算获得所述判别网络模型的判别准确率;
若所述判别准确率小于第一预设阈值,则调整所述判别网络模型的参数,并通过参数调整后的判别网络模型继续对所述各个样本图片的场景类别进行判别,直到参数调整后的判别网络模型的判别准确率大于或等于所述第一预设阈值,将所述判别准确率大于或等于所述第一预设阈值的判别网络模型确定为训练后的判别网络模型。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种图片处理方法,其特征在于,包括:
检测待处理图片中的前景目标,获得检测结果,所述检测结果用于指示所述待处理图片中是否存在前景目标,以及在存在前景目标时用于指示各个前景目标的类别;
对所述待处理图片进行场景分类,获得分类结果,所述分类结果用于指示是否能够识别出所述待处理图片的背景,以及在能够识别出所述待处理图片的背景后用于指示所述待处理图片的背景类别;
若所述检测结果指示存在前景目标,所述分类结果指示识别出所述待处理图片的背景,则根据所述前景目标的类别和所述背景类别确定所述待处理图片的场景类别;
根据所述场景类别确定所述待处理图片需要转换的风格类型,并获取所述风格类型对应的图片,将所述待处理图片的背景替换为所述风格类型对应的图片。
2.如权利要求1所述的图片处理方法,其特征在于,所述方法还包括:
若所述分类结果指示识别出所述待处理图片的背景,确定所述背景在所述待处理图片中的位置;
相应地,将所述待处理图片的背景替换为所述风格类型对应的图片包括:
根据所述背景在所述待处理图片中的位置,确定所述背景在所述待处理图片中的区域大小,将获取的所述风格类型对应的图片转换成所述区域大小的目标图片,并将所述待处理图片中所述位置的背景替换为所述目标图片。
3.如权利要求2所述的图片处理方法,其特征在于,所述确定所述背景在所述待处理图片中的位置包括:
采用训练后的语义分割模型确定所述背景在所述待处理图片中的位置。
4.如权利要求3所述的图片处理方法,其特征在于,训练语义分割模型的过程包括:
采用多个预先标注有背景类别以及背景所在位置的样本图片对语义分割模型进行训练,针对于每一个样本图片,训练步骤包括:
将所述样本图片输入至所述语义分割模型,得到所述语义分割模型输出的所述样本图片的语义分割的初步结果;
依据所述背景类别和从所述样本图片选择的多个局部候选区域,进行局部候选区域融合,得到所述样本图片的语义分割的校正结果;
依据所述初步结果和所述校正结果,对所述语义分割模型的模型参数进行修正;
迭代执行所述训练步骤直至所述语义分割模型的训练结果满足预定收敛条件,将训练结果满足预定收敛条件的语义分割模型作为训练后的语义分割模型,所述收敛条件包括背景分割的准确率大于第一预设值。
5.如权利要求4所述的图片处理方法,其特征在于,依据所述背景类别和从所述样本图片选择的多个局部候选区域,进行局部候选区域融合,得到所述样本图片的语义分割的校正结果包括:
从所述多个局部候选区域内选择出属于同一背景类别的局部候选区域;
针对属于同一背景类别的局部候选区域,进行融合处理,得到所述样本图片的语义分割的校正结果。
6.如权利要求1所述的图片处理方法,其特征在于,所述根据所述场景类别确定所述待处理图片需要转换的风格类型,包括:
将所述场景类别输入训练后的判别网络模型,获得所述训练后的判别网络模型输出的与所述场景类别对应的风格类型。
7.如权利要求6所述的图片处理方法,其特征在于,所述判别网络模型的训练过程包括:
预先获取各个样本图片的场景类别以及各个样本图片所对应的风格类型;
分别将各个样本图片的场景类别输入至判别网络模型中,以使所述判别网络模型输出与各个样本图片对应的风格类型;
根据所述判别网络模型输出的与各个样本图片对应的风格类型以及预先获取的各个样本图片所对应的风格类型,计算获得所述判别网络模型的判别准确率;
若所述判别准确率小于第一预设阈值,则调整所述判别网络模型的参数,并通过参数调整后的判别网络模型继续对所述各个样本图片的场景类别进行判别,直到参数调整后的判别网络模型的判别准确率大于或等于所述第一预设阈值,将所述判别准确率大于或等于所述第一预设阈值的判别网络模型确定为训练后的判别网络模型。
8.一种图片处理装置,其特征在于,包括:
检测模块,用于检测待处理图片中的前景目标,获得检测结果,所述检测结果用于指示所述待处理图片中是否存在前景目标,以及在存在前景目标时用于指示各个前景目标的类别;
分类模块,用于对所述待处理图片进行场景分类,获得分类结果,所述分类结果用于指示是否能够识别出所述待处理图片的背景,以及在能够识别出所述待处理图片的背景后用于指示所述待处理图片的背景类别;
确定模块,用于在所述检测结果指示存在前景目标,所述分类结果指示识别出所述待处理图片的背景时,根据所述前景目标的类别和所述背景类别确定所述待处理图片的场景类别;
处理模块,用于根据所述场景类别确定所述待处理图片需要转换的风格类型,并获取所述风格类型对应的图片,将所述待处理图片的背景替换为所述风格类型对应的图片。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述图片处理方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图片处理方法的步骤。
CN201810631045.7A 2018-06-19 2018-06-19 图片处理方法、图片处理装置及终端设备 Expired - Fee Related CN108898082B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810631045.7A CN108898082B (zh) 2018-06-19 2018-06-19 图片处理方法、图片处理装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810631045.7A CN108898082B (zh) 2018-06-19 2018-06-19 图片处理方法、图片处理装置及终端设备

Publications (2)

Publication Number Publication Date
CN108898082A true CN108898082A (zh) 2018-11-27
CN108898082B CN108898082B (zh) 2020-07-03

Family

ID=64345326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810631045.7A Expired - Fee Related CN108898082B (zh) 2018-06-19 2018-06-19 图片处理方法、图片处理装置及终端设备

Country Status (1)

Country Link
CN (1) CN108898082B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109597912A (zh) * 2018-12-05 2019-04-09 上海碳蓝网络科技有限公司 用于处理图片的方法
CN109727208A (zh) * 2018-12-10 2019-05-07 北京达佳互联信息技术有限公司 滤镜推荐方法、装置、电子设备及存储介质
CN110347858A (zh) * 2019-07-16 2019-10-18 腾讯科技(深圳)有限公司 一种图片的生成方法和相关装置
CN111340720A (zh) * 2020-02-14 2020-06-26 云南大学 一种基于语义分割的套色木刻版画风格转换算法
CN111460987A (zh) * 2020-03-31 2020-07-28 北京奇艺世纪科技有限公司 一种场景识别、矫正模型训练方法及装置
CN112560998A (zh) * 2021-01-19 2021-03-26 德鲁动力科技(成都)有限公司 针对目标检测的少样本数据扩增方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593353A (zh) * 2008-05-28 2009-12-02 日电(中国)有限公司 图像处理方法和设备以及视频系统
CN106101547A (zh) * 2016-07-06 2016-11-09 北京奇虎科技有限公司 一种图像数据的处理方法、装置和移动终端
CN107154051A (zh) * 2016-03-03 2017-09-12 株式会社理光 背景剪除方法及装置
CN107622272A (zh) * 2016-07-13 2018-01-23 华为技术有限公司 一种图像分类方法及装置
CN107767391A (zh) * 2017-11-02 2018-03-06 北京奇虎科技有限公司 风景图像处理方法、装置、计算设备及计算机存储介质
WO2018176195A1 (zh) * 2017-03-27 2018-10-04 中国科学院深圳先进技术研究院 一种室内场景的分类方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593353A (zh) * 2008-05-28 2009-12-02 日电(中国)有限公司 图像处理方法和设备以及视频系统
CN107154051A (zh) * 2016-03-03 2017-09-12 株式会社理光 背景剪除方法及装置
CN106101547A (zh) * 2016-07-06 2016-11-09 北京奇虎科技有限公司 一种图像数据的处理方法、装置和移动终端
CN107622272A (zh) * 2016-07-13 2018-01-23 华为技术有限公司 一种图像分类方法及装置
WO2018176195A1 (zh) * 2017-03-27 2018-10-04 中国科学院深圳先进技术研究院 一种室内场景的分类方法及装置
CN107767391A (zh) * 2017-11-02 2018-03-06 北京奇虎科技有限公司 风景图像处理方法、装置、计算设备及计算机存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109597912A (zh) * 2018-12-05 2019-04-09 上海碳蓝网络科技有限公司 用于处理图片的方法
CN109727208A (zh) * 2018-12-10 2019-05-07 北京达佳互联信息技术有限公司 滤镜推荐方法、装置、电子设备及存储介质
CN110347858A (zh) * 2019-07-16 2019-10-18 腾讯科技(深圳)有限公司 一种图片的生成方法和相关装置
CN110347858B (zh) * 2019-07-16 2023-10-24 腾讯科技(深圳)有限公司 一种图片的生成方法和相关装置
CN111340720A (zh) * 2020-02-14 2020-06-26 云南大学 一种基于语义分割的套色木刻版画风格转换算法
CN111460987A (zh) * 2020-03-31 2020-07-28 北京奇艺世纪科技有限公司 一种场景识别、矫正模型训练方法及装置
CN112560998A (zh) * 2021-01-19 2021-03-26 德鲁动力科技(成都)有限公司 针对目标检测的少样本数据扩增方法

Also Published As

Publication number Publication date
CN108898082B (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN108898082A (zh) 图片处理方法、图片处理装置及终端设备
CN108961157A (zh) 图片处理方法、图片处理装置及终端设备
CN108961267A (zh) 图片处理方法、图片处理装置及终端设备
CN109658455A (zh) 图像处理方法和处理设备
CN108898587A (zh) 图片处理方法、图片处理装置及终端设备
CN110276075A (zh) 模型训练方法、命名实体识别方法、装置、设备及介质
CN110009052A (zh) 一种图像识别的方法、图像识别模型训练的方法及装置
US20200364457A1 (en) Emotion recognition-based artwork recommendation method and device, medium, and electronic apparatus
CN108550107A (zh) 一种图片处理方法、图片处理装置及移动终端
CN104200249B (zh) 一种衣物自动搭配的方法,装置及系统
CN109086742A (zh) 场景识别方法、场景识别装置及移动终端
CN108174096A (zh) 拍摄参数设置的方法、装置、终端及存储介质
US11106909B2 (en) Recognizing carbon-saving behaviors from images
CN107465868A (zh) 基于终端的物体识别方法、装置及电子设备
CN109086680A (zh) 图像处理方法、装置、存储介质和电子设备
CN110134885A (zh) 一种兴趣点推荐方法、装置、设备以及计算机存储介质
CN110222728A (zh) 物品鉴别模型的训练方法、系统及物品鉴别方法、设备
CN111368525A (zh) 信息搜索方法、装置、设备及存储介质
CN110069715A (zh) 一种信息推荐模型训练的方法、信息推荐的方法及装置
CN110209810A (zh) 相似文本识别方法以及装置
CN107111761A (zh) 用于提供用户图像捕捉反馈以便进行改良的机器语言翻译的技术
CN109784165A (zh) 诗词内容的生成方法、装置、终端及存储介质
CN110782448A (zh) 渲染图像的评价方法及装置
JP2023508062A (ja) 対話モデルの訓練方法、装置、コンピュータ機器及びプログラム
CN112206541A (zh) 游戏外挂识别方法、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200703