CN111695384A - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111695384A
CN111695384A CN201910194377.8A CN201910194377A CN111695384A CN 111695384 A CN111695384 A CN 111695384A CN 201910194377 A CN201910194377 A CN 201910194377A CN 111695384 A CN111695384 A CN 111695384A
Authority
CN
China
Prior art keywords
processed
image
face image
target face
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910194377.8A
Other languages
English (en)
Inventor
陈杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201910194377.8A priority Critical patent/CN111695384A/zh
Publication of CN111695384A publication Critical patent/CN111695384A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种图像处理方法、装置、电子设备及计算机可读存储介质,应用于图像处理技术领域。该方法包括:从待处理图像中识别得到至少一个待处理的目标人脸图像,并对至少一个待处理的目标人脸图像进行表情处理,得到至少一个表情处理后的目标人脸图像,继而将至少一个表情处理后的目标人脸图像与待处理图像进行融合处理,得到目标图像。即本申请通过识别待处理图像中的待处理的目标人脸图像,并对待处理的目标人脸图像进行表情处理,实现了待处理图像中需要进行表情处理的人脸图像的自动识别与处理,与此同时,对待处理的目标人脸图像的表情进行优化处理,从而提升了图像的质量。

Description

图像处理方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及图像处理技术领域,具体而言,本申请涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。
背景技术
随着照片拍摄技术的发展,人们通过手机或者其他终端设备即能进行照片的拍摄,在日常生活中,人们经常会利用手机的拍照功能拍摄相应的照片以记录生活中的点滴,而如何得到一张质量较高的照片成为了一个问题。
目前,人们可以通过相应的图像处理方法对拍摄的照片进行简单的处理,如对照片进行尺寸的裁剪,对照片的色温、亮度、饱和度、对比度进行调整等,以得到效果较好的照片。然而,人物表情作为人们评价一张照片的质量的重要考量因素,现有的图像处理方法,并不能对照片中的人像的表情进行相应处理,因此,实现对照片中的人像表情的调整处理,成为了一个亟待解决的问题。
发明内容
本申请提供了一种图像处理方法、装置、电子设备及计算机可读存储介质,用于实现对图像中人物表情的自动处理,与此同时提升图像的质量,本申请采用的技术方案如下:
第一方面,本申请提供了一种图像处理方法,该方法包括:
从待处理图像中识别得到至少一个待处理的目标人脸图像;
对至少一个待处理的目标人脸图像进行表情处理,得到至少一个表情处理后的目标人脸图像;
将至少一个表情处理后的目标人脸图像与待处理图像进行融合处理,得到目标图像。
可选地,从待处理图像中识别得到至少一个待处理的目标人脸图像,包括:
从待处理图像中识别得到至少一个人物对象;
识别各个人物对象的对象信息;
基于各个人物对象的对象信息,确定出至少一个待处理的目标人脸图像。
可选地,对至少一个待处理的目标人脸图像进行表情处理,得到至少一个表情处理后的目标人脸图像,包括:
识别至少一个待处理的目标人脸图像的对象信息;
基于任一待处理的目标人脸图像的对象信息,确定针对该待处理的目标人脸图像的表情处理方式,表情处理方式包括以下至少一项:变鬼脸处理、变笑脸处理、变惊恐处理、变愤怒处理;
基于确定的针对各个待处理的目标人脸图像的表情处理方式,分别对各个待处理的目标人脸图像进行表情处理,得到至少一个表情处理后的目标人脸图像。
其中,对象信息包括以下至少一项:位置信息、表情信息、姿态信息。
可选地,对任一待处理的目标人脸图像进行表情处理,得到表情处理后的目标人脸图像,包括:
确定任一待处理的目标人脸图像的多个关键部位的原始参数信息,关键部位包括眉毛、眼睛、嘴角、脸颊;
基于任一待处理的目标人脸图像的多个关键部位的原始参数信息以及预先确定的多个关键部位的目标参数,分别对多个关键部位进行调整处理,得到表情处理后的目标人脸图像。
其中,多个关键部位的目标参数是通过以下方式学习得到的:
基于深度学习的方式通过学习任一待处理的目标人脸对应的人物对象的多帧人脸图像得到的;
基于深度学习的方式通过学习多帧人脸图像得到的到的。
可选地,对至少一个待处理的目标人脸图像进行表情处理,得到至少一个表情处理后的目标人脸图像,包括:
确定任一待处理的目标人脸图像的原始嘴部参数信息,确定相应的待处理目标人脸图像的目标牙齿模型信息;
基于目标牙齿模型信息以及相应的待处理的目标人脸图像的原始嘴部参数信息,对该待处理目标人脸图像进行表情处理,得到表情处理后的目标人脸图像。
第二方面,提供了一种图像处理装置,该装置包括:
识别模块,用于从待处理图像中识别得到至少一个待处理的目标人脸图像;
表情处理模块,用于对识别模块识别得到的至少一个待处理的目标人脸图像进行表情处理,得到至少一个表情处理后的目标人脸图像;
融合处理模块,用于将表情处理模块处理得到的至少一个表情处理后的目标人脸图像与待处理图像进行融合处理,得到目标图像。
可选地,识别模块包括:
第一识别单元,用于从待处理图像中识别得到至少一个人物对象;
第二识别单元,用于识别第一识别单元识别得到的各个人物对象的对象信息;
第一确定单元,用于基于第二识别单元识别得到的各个人物对象的对象信息,确定出至少一个待处理的目标人脸图像。
可选地,表情处理模块包括:
第三识别单元,用于识别至少一个待处理的目标人脸图像的对象信息;
第二确定单元,用于基于第三识别单元识别得到的任一待处理的目标人脸图像的对象信息,确定针对该待处理的目标人脸图像的表情处理方式,表情处理方式包括以下至少一项:变鬼脸处理、变笑脸处理、变惊恐处理、变愤怒处理;
表情处理单元,用于基于第二确定单元确定的针对各个待处理的目标人脸图像的表情处理方式,分别对各个待处理的目标人脸图像进行表情处理,得到至少一个表情处理后的目标人脸图像。
其中,对象信息包括以下至少一项:位置信息、表情信息、姿态信息。
可选地,表情处理模块包括:
第三确定单元,用于确定任一待处理的目标人脸图像的多个关键部位的原始参数信息,关键部位包括眉毛、眼睛、嘴角、脸颊;
调整处理单元,用于基于任一待处理的目标人脸图像的多个关键部位的原始参数信息以及预先确定的多个关键部位的目标参数,分别对多个关键部位进行调整处理,得到表情处理后的目标人脸图像。
其中,多个关键部位的目标参数是通过基于深度学习的方式通过学习任一待处理的目标人脸对应的人物对象的多帧人脸图像得到的,或者通过基于深度学习的方式通过学习多帧人脸图像得到的到的。
可选地,表情处理模块包括:
第四确定单元,用于确定任一待处理的目标人脸图像的原始嘴部参数信息,确定相应的待处理目标人脸图像的目标牙齿模型信息;
处理单元,用于基于目标牙齿模型信息以及相应的待处理的目标人脸图像的原始嘴部参数信息,对该待处理目标人脸图像进行表情处理,得到表情处理后的目标人脸图像。
第三方面,本申请提供了一种电子设备,该电子设备包括:处理器和存储器;
存储器,用于存储操作指令;
处理器,用于通过调用操作指令,执行如本申请的第一方面的任一实施方式中所示的图像处理方法。
第四方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本申请的第一方面的任一实施方式中所示的图像处理方法。
本申请提供了一种图像处理方法、装置、电子设备及计算机可读存储介质,与现有技术仅能对图像的大小、色温、亮度、饱和度处理相比,本申请通过从待处理图像中识别得到至少一个待处理的目标人脸图像,并对至少一个待处理的目标人脸图像进行表情处理,得到至少一个表情处理后的目标人脸图像,继而将至少一个表情处理后的目标人脸图像与待处理图像进行融合处理,得到目标图像。即本申请通过识别待处理图像中的待处理的目标人脸图像,并对待处理的目标人脸图像进行表情处理,实现了待处理图像中需要进行表情处理的人脸图像的自动识别与处理,例如,待处理图像中的某甲的人脸没有表情,待处理图像中的其他人脸图像处于微笑状态,识别出需要对某甲的人脸表情进行处理,并进行相应的表情处理使某甲从无表情状态变为微笑状态。与此同时,对待处理的目标人脸图像的表情进行优化处理,从而提升了图像的质量。
本申请附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种图像处理方法的流程示意图;
图2为本申请实施例提供的一种图像处理装置的结构示意图;
图3为本申请实施例提供的另一种图像处理装置的结构示意图;
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
本申请的一个实施例提供了一图像处理方法,如图1所示,该方法包括:
步骤S101,从待处理图像中识别得到至少一个待处理的目标人脸图像;
具体地,通过相应的图像识别方法,从待处理图像中识别出至少一个待处理的目标人脸图像;其中,该待处理图像可以是用户通过手机、PAD等终端设备拍摄得到的照片,该待处理图像中包括至少一个人物对象的人脸图像;其中,待处理的目标人脸图像可以是待处理图像中需要进行表情优化处理的人物对象的人脸图像。
步骤S102,对至少一个待处理的目标人脸图像进行表情处理,得到至少一个表情处理后的目标人脸图像;
具体地,可以通过相应的图像特征提取方法提取待处理的目标人脸的图像特征,并对提取得到的目标人脸的图像特征进行相应处理,以对目标人脸图像进行表情处理,从而得到表情处理后的目标人脸图像。
步骤S103,将至少一个表情处理后的目标人脸图像与待处理图像进行融合处理,得到目标图像。
具体地,通过相应的图像处理方法,将得到的至少一个表情处理后的目标人脸图像与待处理图像进行融合处理,得到目标图像,其中,可以该融合处理可以包括对图像的对比度、饱和度等进行调整处理。
本申请实施例提供了一种图像处理方法,与现有技术仅能对图像的大小、色温、亮度、饱和度处理相比,本申请实施例通过从待处理图像中识别得到至少一个待处理的目标人脸图像,并对至少一个待处理的目标人脸图像进行表情处理,得到至少一个表情处理后的目标人脸图像,继而将至少一个表情处理后的目标人脸图像与待处理图像进行融合处理,得到目标图像。即本申请通过识别待处理图像中的待处理的目标人脸图像,并对待处理的目标人脸图像进行表情处理,实现了待处理图像中需要进行表情处理的人脸图像的自动识别与处理,例如,待处理图像中的某甲的人脸没有表情,待处理图像中的其他人脸图像处于微笑状态,识别出需要对某甲的人脸表情进行处理,并进行相应的表情处理使某甲从无表情状态变为微笑状态。与此同时,对待处理的目标人脸图像的表情进行优化处理,从而提升了图像的质量。
本申请实施例还提供了一种可能的实现方式,具体地,步骤S101包括:
步骤S1011(图中未示出),从待处理图像中识别得到至少一个人物对象;
步骤S1012(图中未示出),识别各个人物对象的对象信息;
步骤S1013(图中未示出),基于各个人物对象的对象信息,确定出至少一个待处理的目标人脸图像。
具体地,待处理图像中可以包括多个人物对象,也可以仅包括一个人物对象,也可以包括其他的动物,通过相应的图像识别方法,从待处理图像中识别得到至少一个人物对象,以及识别确定各个人物对象的对象信息,并基于各个人物对象的对象信息,通过相应的判定方法确定出需要进行表情处理的目标人脸图像。
对于本申请实施例,自动识别出需要进行表情调整处理的目标人脸图像,提升了自动化程度。
本申请实施例还提供了一种可能的实现方式,具体地,步骤S102包括:
步骤S1021(图中未示出),识别至少一个待处理的目标人脸图像的对象信息;
步骤S1022(图中未示出),基于任一待处理的目标人脸图像的对象信息,确定针对该待处理的目标人脸图像的表情处理方式,表情处理方式包括以下至少一项:变鬼脸处理、变笑脸处理、变惊恐处理、变愤怒处理;
步骤S1023(图中未示出),基于确定的针对各个待处理的目标人脸图像的表情处理方式,分别对各个待处理的目标人脸图像进行表情处理,得到至少一个表情处理后的目标人脸图像。
具体地,通过相应的图像识别方法,可以识别确定目标人脸图像对应的人物对象的对象信息,基于目标人脸图像的对象信息,通过相应的表情处理方式确定方法,确定针对该目标人脸图像的表情处理方式,其中,该表情处理方式包括但不限于变鬼脸处理、变笑脸处理、变惊恐处理、变愤怒处理。
具体地,可以基于确定的针对各个待处理的目标人脸图像的表情处理方式,对各个待处理目标人脸图像进行表情处理,得到表情处理后的目标人脸图像,例如,对某一待处理的目标人脸图像的表情处理方式为变微笑处理,可以确定变微笑处理的相应表情处理参数,对目标人脸图像进行表情处理,从而得到表情处理后的人脸图像。
对于本申请实施例,基于目标人脸图像对应的对象信息,分别确定相应的表情处理方式,并基于确定的各个目标人脸图像的表情处理方式对目标人脸图像进行表情处理,提升了对人脸图像进行表情处理的丰富性。
本申请实施例还提供了一种可能的实现方式,其中,对象信息包括以下至少一项:位置信息、表情信息、姿态信息。
具体地,对象信息包括但不限于人物对象的位置信息(如中间位置、左右两侧位置等)、表情信息(如无表情、微笑表情)、姿态信息(如人脸图像的正面、侧面)。
对于本申请实施例,对象信息包括但不限于位置信息、表情信息、姿态信息,为确定目标人脸图像或确定针对目标人脸图像的表情处理方式提供了基础。
本申请实施例还提供了一种可能的实现方式,步骤S102包括:
步骤S1024(图中未示出),确定任一待处理的目标人脸图像的多个关键部位的原始参数信息,关键部位包括眉毛、眼睛、嘴角、脸颊;
步骤S1025(图中未示出),基于任一待处理的目标人脸图像的多个关键部位的原始参数信息以及预先确定的多个关键部位的目标参数,分别对多个关键部位进行调整处理,得到表情处理后的目标人脸图像。
具体地,可以通过相应的图像特征提取方法,确定某一待处理的目标人脸图像的多个关键部位的参数信息,其中,该关键部位包括但不限于眉毛、眼睛、嘴角、脸颊。
具体地,该多个关键部位的目标参数可以是预先确定的,可以通过相应的数据查询方法确定待处理的目标人脸图像的多个关键部位的目标参数;其中,不同的表情处理方式对应的关键部位的目标参数的具体参数值可以不同,可以通过表情处理方式与关键部位目标参数的映射关系,确定针对目标人脸图像相应表情处理方式的关键部位的目标参数。
具体地,基于待处理的目标人脸图像的多个关键部位的原始参数信息以及预先确定的多个关键部位的目标参数,分别对多个关键部位进行调整处理,得到表情处理后的目标人脸图像,例如,对于关键部位中的嘴角,嘴角上扬的原始参数信息为0.1度,目标参数为嘴角上扬0.5度,通过相应的图像处理方法对嘴角进行处理,使得嘴角上扬的度数由0.1度变为0.5度。
对于本申请实施例,基于目标人脸图像的多个关键部位的原始参数信息以及目标参数,对目标人脸图像进行表情处理,解决了如何对目标人脸图像进行表情处理的问题。
本申请实施例提供了一种可能的实现方式,其中,多个关键部位的目标参数是通过以下方式学习得到的:
基于深度学习的方式通过学习任一待处理的目标人脸对应的人物对象的多帧人脸图像得到的;
基于深度学习的方式通过学习多帧人脸图像得到的到的。
具体地,目标表情参数可以是通过基于深度学习的方式通过学习待处理图像中的目标人脸对应的人物对象的多帧人脸图像得到,如目标人脸为用户甲的人脸,用户甲的手机相册中有多张本人的相应表情的人脸照片,基于用户甲本人的多张本人的相应表情的人脸照片,通过深度学习的方式(如基于卷积神经网络的深度学习方法)对该多张相应表情的人脸照片进行学习得到用户甲相应表情的目标表情参数;或者,通过基于深度学习的方式通过学习多帧人脸图像得到,如基于多张相应表情的人脸照片,通过深度学习的方式对该多张相应表情的人脸照片进行学习得到相应表情的目标表情参数。
其中,该方法还包括:如果存在针对目标人脸对应的人物对象的特定目标表情参数(基于该人物对象的多张相应表情照片,通过深度学习方法得到的目标表情参数),如果不存在专门针对目标人脸的目标表情参数,则针对该目标人脸适用通用目标表情参数(基于多张相应表情照片,通过深度学习方法得到的目标表情参数)。
对于本申请实施例,通过深度学习的方式学习多张相应的人脸图像得到目标表情参数,解决了目标表情参数的确定问题。
本申请实施例提供了一种可能的实现方式,具体地,步骤S102包括:
步骤S1026(图中未示出),确定任一待处理的目标人脸图像的原始嘴部参数信息,确定相应的待处理目标人脸图像的目标牙齿模型信息;
步骤S1027(图中未示出),基于目标牙齿模型信息以及相应的待处理的目标人脸图像的原始嘴部参数信息,对该待处理目标人脸图像进行表情处理,得到表情处理后的目标人脸图像。
具体地,可以通过相应的图像特征提取方法,确定目标人脸图像的原始嘴部参数信息;其中,目标牙齿模型信息可以是预先确定的,通过相应的数据查询方法,可以确定待处理目标人脸图像的目标牙齿模型信息;其中,目标表情参数可以包括目标牙齿模型信息,该目标牙齿模型信息可以是通过相应的深度学习的方式学习多张人脸相应表情的图像得到的。
具体地,基于原始嘴部参数信息以及目标牙齿模型信息,对该待处理目标人脸图像进行表情处理,得到多帧表情处理后的图像,如原始嘴部参数信息中上下部位的牙齿分离的度数为0.1度,目标牙齿模型信息中上下部位的牙齿分离的度数为0.5度,通过相应的图像处理方法对上下部位的牙齿进行处理,使得上下部位的牙齿分离的度数由0.1度变为0.5度。
对于本申请实施例,对目标人脸图像的牙齿进行相应的处理,提升了对目标人脸图像进行表情处理后的目标人脸表情的真实性。
本申请实施例还提供了一种图像处理装置,如图2所示,该装置20可以包括:识别模块201、表情处理模块202以及融合处理模块203;
识别模块201,用于从待处理图像中识别得到至少一个待处理的目标人脸图像;
表情处理模块202,用于对识别模块201识别得到的至少一个待处理的目标人脸图像进行表情处理,得到至少一个表情处理后的目标人脸图像;
融合处理模块203,用于将表情处理模块202处理得到的至少一个表情处理后的目标人脸图像与待处理图像进行融合处理,得到目标图像。
本实施例提供了一种图像处理装置,与现有技术仅能对图像的大小、色温、亮度、饱和度处理相比,本申请实施例通过从待处理图像中识别得到至少一个待处理的目标人脸图像,并对至少一个待处理的目标人脸图像进行表情处理,得到至少一个表情处理后的目标人脸图像,继而将至少一个表情处理后的目标人脸图像与待处理图像进行融合处理,得到目标图像。即本申请通过识别待处理图像中的待处理的目标人脸图像,并对待处理的目标人脸图像进行表情处理,实现了待处理图像中需要进行表情处理的人脸图像的自动识别与处理,例如,待处理图像中的某甲的人脸没有表情,待处理图像中的其他人脸图像处于微笑状态,识别出需要对某甲的人脸表情进行处理,并进行相应的表情处理使某甲从无表情状态变为微笑状态。与此同时,对待处理的目标人脸图像的表情进行优化处理,从而提升了图像的质量。
本实施例的图像处理装置可执行本申请上述实施例中提供的一种图像处理方法,其实现原理相类似,此处不再赘述。
本申请实施例提供了另一种图像处理装置,如图3所示,本实施例的装置30包括:识别模块301、表情处理模块302以及融合处理模块303;
识别模块301,用于从待处理图像中识别得到至少一个待处理的目标人脸图像;
其中,图3中的识别模块301与图2中的识别模块201的功能相同或者相似。
表情处理模块302,用于对识别模块301识别得到的至少一个待处理的目标人脸图像进行表情处理,得到至少一个表情处理后的目标人脸图像;
其中,图3中的表情处理模块302与图2中的表情处理模块202的功能相同或者相似。
融合处理模块303,用于将表情处理模块302处理得到的至少一个表情处理后的目标人脸图像与待处理图像进行融合处理,得到目标图像。
其中,图3中的融合处理模块303与图2中的融合处理模块203的功能相同或者相似。
本申请实施例提供了一种可能的实现方式,具体地识别模块301包括:
第一识别单元3011,用于从待处理图像中识别得到至少一个人物对象;
第二识别单元3012,用于识别第一识别单元3011识别得到的各个人物对象的对象信息;
第一确定单元3013,用于基于第二识别单元3012识别得到的各个人物对象的对象信息,确定出至少一个待处理的目标人脸图像。
对于本申请实施例,自动识别出需要进行表情调整处理的目标人脸图像,提升了自动化程度。
本申请实施例提供了一种可能的实现方式,具体地,表情处理模块302包括:
第三识别单元3021,用于识别至少一个待处理的目标人脸图像的对象信息;
第二确定单元3022,用于基于第三识别单元识别得到的任一待处理的目标人脸图像的对象信息,确定针对该待处理的目标人脸图像的表情处理方式,表情处理方式包括以下至少一项:变鬼脸处理、变笑脸处理、变惊恐处理、变愤怒处理;
表情处理单元3023,用于基于第二确定单元确定的针对各个待处理的目标人脸图像的表情处理方式,分别对各个待处理的目标人脸图像进行表情处理,得到至少一个表情处理后的目标人脸图像。
对于本申请实施例,基于目标人脸图像对应的对象信息,分别确定相应的表情处理方式,并基于确定的各个目标人脸图像的表情处理方式对目标人脸图像进行表情处理,提升了对人脸图像进行表情处理的丰富性。
本申请实施例提供了一种可能的实现方式,其中,对象信息包括以下至少一项:位置信息、表情信息、姿态信息。
对于本申请实施例,对象信息包括但不限于位置信息、表情信息、姿态信息,为确定目标人脸图像或确定针对目标人脸图像的表情处理方式提供了基础。
本申请实施例提供了一种可能的实现方式,具体地,表情处理模块302包括:
第三确定单元3024,用于确定任一待处理的目标人脸图像的多个关键部位的原始参数信息,关键部位包括眉毛、眼睛、嘴角、脸颊;
调整处理单元3025,用于基于任一待处理的目标人脸图像的多个关键部位的原始参数信息以及预先确定的多个关键部位的目标参数,分别对多个关键部位进行调整处理,得到表情处理后的目标人脸图像。
对于本申请实施例,基于目标人脸图像的多个关键部位的原始参数信息以及目标参数,对目标人脸图像进行表情处理,解决了如何对目标人脸图像进行表情处理的问题。
本申请实施例提供了一种可能的实现方式,其中,多个关键部位的目标参数是通过基于深度学习的方式通过学习任一待处理的目标人脸对应的人物对象的多帧人脸图像得到的,或者通过基于深度学习的方式通过学习多帧人脸图像得到的到的。
对于本申请实施例,通过深度学习的方式学习多张相应的人脸图像得到目标表情参数,解决了目标表情参数的确定问题。
本申请实施例提供了一种可能的实现方式,具体地,表情处理模块302包括:
第四确定单元3026,用于确定任一待处理的目标人脸图像的原始嘴部参数信息,确定相应的待处理目标人脸图像的目标牙齿模型信息;
处理单元3027,用于基于目标牙齿模型信息以及相应的待处理的目标人脸图像的原始嘴部参数信息,对该待处理目标人脸图像进行表情处理,得到表情处理后的目标人脸图像。
对于本申请实施例,对目标人脸图像的牙齿进行相应的处理,提升了对目标人脸图像进行表情处理后的目标人脸表情的真实性。
本申请实施例提供了一种图像处理装置,与现有技术仅能对图像的大小、色温、亮度、饱和度处理相比,本申请实施例通过从待处理图像中识别得到至少一个待处理的目标人脸图像,并对至少一个待处理的目标人脸图像进行表情处理,得到至少一个表情处理后的目标人脸图像,继而将至少一个表情处理后的目标人脸图像与待处理图像进行融合处理,得到目标图像。即本申请通过识别待处理图像中的待处理的目标人脸图像,并对待处理的目标人脸图像进行表情处理,实现了待处理图像中需要进行表情处理的人脸图像的自动识别与处理,例如,待处理图像中的某甲的人脸没有表情,待处理图像中的其他人脸图像处于微笑状态,识别出需要对某甲的人脸表情进行处理,并进行相应的表情处理使某甲从无表情状态变为微笑状态。与此同时,对待处理的目标人脸图像的表情进行优化处理,从而提升了图像的质量。
本申请实施例提供的图像处理装置适用于上述方法实施例,在此不再赘述。
本申请实施例提供了一种电子设备,如图4所示,图4所示的电子设备40包括:处理器4001和存储器4003。其中,处理器4001和存储器4003相连,如通过总线4002相连。进一步地,电子设备40还可以包括收发器4004。需要说明的是,实际应用中收发器4004不限于一个,该电子设备400的结构并不构成对本申请实施例的限定。
其中,处理器4001应用于本申请实施例中,用于实现图2或图3所示的识别模块、表情处理模块以及融合处理模块的功能。收发器4004包括接收机和发射机。
处理器4001可以是CPU,通用处理器,DSP,ASIC,FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器4001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线4002可包括一通路,在上述组件之间传送信息。总线4002可以是PCI总线或EISA总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备,RAM或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
存储器4003用于存储执行本申请方案的应用程序代码,并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码,以实现图2或图3所示实施例提供的图像处理装置的功能。
本申请实施例提供了一种电子设备适用于上述方法实施例。在此不再赘述。
本申请实施例提供了一种电子设备,与现有技术仅能对图像的大小、色温、亮度、饱和度处理相比,本申请实施例通过从待处理图像中识别得到至少一个待处理的目标人脸图像,并对至少一个待处理的目标人脸图像进行表情处理,得到至少一个表情处理后的目标人脸图像,继而将至少一个表情处理后的目标人脸图像与待处理图像进行融合处理,得到目标图像。即本申请通过识别待处理图像中的待处理的目标人脸图像,并对待处理的目标人脸图像进行表情处理,实现了待处理图像中需要进行表情处理的人脸图像的自动识别与处理,例如,待处理图像中的某甲的人脸没有表情,待处理图像中的其他人脸图像处于微笑状态,识别出需要对某甲的人脸表情进行处理,并进行相应的表情处理使某甲从无表情状态变为微笑状态。与此同时,对待处理的目标人脸图像的表情进行优化处理,从而提升了图像的质量。
本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现上述实施例中所示的方法。
本申请实施例提供了一种计算机可读存储介质,与现有技术仅能对图像的大小、色温、亮度、饱和度处理相比,本申请实施例通过从待处理图像中识别得到至少一个待处理的目标人脸图像,并对至少一个待处理的目标人脸图像进行表情处理,得到至少一个表情处理后的目标人脸图像,继而将至少一个表情处理后的目标人脸图像与待处理图像进行融合处理,得到目标图像。即本申请通过识别待处理图像中的待处理的目标人脸图像,并对待处理的目标人脸图像进行表情处理,实现了待处理图像中需要进行表情处理的人脸图像的自动识别与处理,例如,待处理图像中的某甲的人脸没有表情,待处理图像中的其他人脸图像处于微笑状态,识别出需要对某甲的人脸表情进行处理,并进行相应的表情处理使某甲从无表情状态变为微笑状态。与此同时,对待处理的目标人脸图像的表情进行优化处理,从而提升了图像的质量。
本申请实施例提供了一种计算机可读存储介质适用于上述方法实施例。在此不再赘述。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
从待处理图像中识别得到至少一个待处理的目标人脸图像;
对所述至少一个待处理的目标人脸图像进行表情处理,得到至少一个表情处理后的目标人脸图像;
将至少一个表情处理后的目标人脸图像与所述待处理图像进行融合处理,得到目标图像。
2.根据权利要求1所述的方法,其特征在于,所述从待处理图像中识别得到至少一个待处理的目标人脸图像,包括:
从待处理图像中识别得到至少一个人物对象;
识别各个人物对象的对象信息;
基于各个人物对象的对象信息,确定出至少一个待处理的目标人脸图像。
3.根据权利要求1所述的方法,其特征在于,所述对所述至少一个待处理的目标人脸图像进行表情处理,得到至少一个表情处理后的目标人脸图像,包括:
识别所述至少一个待处理的目标人脸图像的对象信息;
基于任一待处理的目标人脸图像的对象信息,确定针对该待处理的目标人脸图像的表情处理方式,所述表情处理方式包括以下至少一项:变鬼脸处理、变笑脸处理、变惊恐处理、变愤怒处理;
基于确定的针对各个待处理的目标人脸图像的表情处理方式,分别对各个待处理的目标人脸图像进行表情处理,得到至少一个表情处理后的目标人脸图像。
4.根据权利要求2或3所述的方法,其特征在于,所述对象信息包括以下至少一项:位置信息、表情信息、姿态信息。
5.根据权利要求1所述的方法,其特征在于,对任一待处理的目标人脸图像进行表情处理,得到表情处理后的目标人脸图像,包括:
确定任一待处理的目标人脸图像的多个关键部位的原始参数信息,所述关键部位包括眉毛、眼睛、嘴角、脸颊;
基于任一待处理的目标人脸图像的多个关键部位的原始参数信息以及预先确定的多个关键部位的目标参数,分别对多个关键部位进行调整处理,得到表情处理后的目标人脸图像。
6.根据权利要求5所述的方法,其特征在于,所述多个关键部位的目标参数是通过以下方式学习得到的:
基于深度学习的方式通过学习所述任一待处理的目标人脸对应的人物对象的多帧人脸图像得到的;
基于深度学习的方式通过学习多帧人脸图像得到的到的。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述对所述至少一个待处理的目标人脸图像进行表情处理,得到至少一个表情处理后的目标人脸图像,包括:
确定任一待处理的目标人脸图像的原始嘴部参数信息,确定相应的待处理目标人脸图像的目标牙齿模型信息;
基于所述目标牙齿模型信息以及相应的待处理的目标人脸图像的原始嘴部参数信息,对该待处理目标人脸图像进行表情处理,得到表情处理后的目标人脸图像。
8.一种图像处理装置,其特征在于,包括:
识别模块,用于从待处理图像中识别得到至少一个待处理的目标人脸图像;
表情处理模块,用于对所述识别模块识别得到的所述至少一个待处理的目标人脸图像进行表情处理,得到至少一个表情处理后的目标人脸图像;
融合处理模块,用于将所述表情处理模块处理得到的至少一个表情处理后的目标人脸图像与所述待处理图像进行融合处理,得到目标图像。
9.一种电子设备,其特征在于,其包括处理器和存储器;
所述存储器,用于存储操作指令;
所述处理器,用于通过调用所述操作指令,执行上述权利要求1-7中任一项所述的图像处理方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现上述权利要求1-7中任一项所述的图像处理方法。
CN201910194377.8A 2019-03-14 2019-03-14 图像处理方法、装置、电子设备及计算机可读存储介质 Pending CN111695384A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910194377.8A CN111695384A (zh) 2019-03-14 2019-03-14 图像处理方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910194377.8A CN111695384A (zh) 2019-03-14 2019-03-14 图像处理方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111695384A true CN111695384A (zh) 2020-09-22

Family

ID=72475188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910194377.8A Pending CN111695384A (zh) 2019-03-14 2019-03-14 图像处理方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111695384A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313085A (zh) * 2021-07-28 2021-08-27 北京奇艺世纪科技有限公司 一种图像处理方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313085A (zh) * 2021-07-28 2021-08-27 北京奇艺世纪科技有限公司 一种图像处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US10872420B2 (en) Electronic device and method for automatic human segmentation in image
JP4914398B2 (ja) 表情認識装置、撮像装置、方法及びプログラム
CN109993716B (zh) 图像融合变换
CN103729120B (zh) 用于产生缩略图的方法及其电子设备
US8130281B2 (en) Information processing apparatus, eye open/closed degree determination method, computer-readable storage medium, and image sensing apparatus
KR101727438B1 (ko) 가변형 표현 검출기
JP7132654B2 (ja) レイアウト解析方法、読取り支援デバイス、回路および媒体
JP5662670B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN110602379A (zh) 一种拍摄证件照的方法、装置、设备及存储介质
CN105404878A (zh) 一种照片分类方法和装置
JP5641813B2 (ja) 撮像装置及び撮像方法、画像処理装置及び画像処理方法
US20160189413A1 (en) Image creation method, computer-readable storage medium, and image creation apparatus
US20140301650A1 (en) Image processing device, image processing method, and recording medium
CN108769537A (zh) 一种拍照方法、装置、终端及可读存储介质
CN112383824A (zh) 视频广告过滤方法、设备及存储介质
CN108574803A (zh) 图像的选取方法、装置、存储介质及电子设备
CN111695384A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
EP2793166A2 (en) Target-image detecting device, control method and control program thereof, recording medium, and digital camera
CN110415318B (zh) 图像处理方法和装置
US20230107555A1 (en) Facial Expression Editing Method and Electronic Device
US20230066331A1 (en) Method and system for automatically capturing and processing an image of a user
CN108334821B (zh) 一种图像处理方法及电子设备
CN111383289A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
WO2021259333A1 (zh) 视频处理方法、装置、设备及计算机可读存储介质
CN116823869A (zh) 背景替换的方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination