CN112446821A - 一种图像处理方法、装置及电子设备 - Google Patents
一种图像处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112446821A CN112446821A CN202011330660.8A CN202011330660A CN112446821A CN 112446821 A CN112446821 A CN 112446821A CN 202011330660 A CN202011330660 A CN 202011330660A CN 112446821 A CN112446821 A CN 112446821A
- Authority
- CN
- China
- Prior art keywords
- information
- face
- gender
- image
- hair style
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 210000004209 hair Anatomy 0.000 claims abstract description 177
- 238000006243 chemical reaction Methods 0.000 claims abstract description 106
- 238000000034 method Methods 0.000 claims abstract description 65
- 230000009466 transformation Effects 0.000 claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 44
- 239000000463 material Substances 0.000 claims description 46
- 238000005034 decoration Methods 0.000 claims description 34
- 230000008859 change Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 description 37
- 238000012549 training Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 8
- 210000004709 eyebrow Anatomy 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 210000000887 face Anatomy 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000004925 denaturation Methods 0.000 description 5
- 230000036425 denaturation Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 241000195955 Equisetum hyemale Species 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000007850 degeneration Effects 0.000 description 2
- 210000000720 eyelash Anatomy 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000037308 hair color Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000009647 facial growth Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本公开关于一种图像处理方法、装置及电子设备,属于图像处理技术领域,用以提高人脸性别变换的准确性。本公开的方法包括:获取待处理图像,所述待处理图像包括需要进行性别变换的目标人脸;确定所述待处理图像中的目标人脸对应的第一性别信息、人脸特征信息和第一发型信息;根据所述第一性别信息和所述人脸特征信息对所述目标人脸进行性别特征变换处理以得到变换后人脸信息,以及根据所述第一性别信息和所述第一发型信息确定第二发型信息,所述第二发型信息与所述第一性别信息相反的第二性别信息对应;根据所述变换后人脸信息和所述第二发型信息,获得所述待处理图像对应的人脸性别变换图像。
Description
技术领域
本公开涉及图像处理技术领域,尤其涉及一种图像处理方法、装置及电子设备。
背景技术
随着电子技术和图像处理技术的发展,拍照类、短视频类、视频直播类的应用受到越来越多用户的使用,在这些应用中,与人脸相关的交互类应用占比越来越大,用户可以通过这些应用增加交互乐趣。以应用中的人脸性别变换功能为例,用户可以通过人脸性别变换技术来预测自己若是另一性别的样貌,例如用户自己是女性,通过该功能可以预测若是男性的大致样貌,可以满足人们的好奇心和趣味性,增加应用玩法。
所以,如何准确地进行人脸性别变换是需要考虑的问题。
发明内容
本公开提供一种图像处理方法、装置及电子设备,用以提供一种人脸性别变换的处理方式,提高人脸性别变换的准确性。
本公开的技术方案如下:
第一方面,提供一种图像处理方法,所述方法包括:
获取待处理图像,所述待处理图像包括需要进行性别变换的目标人脸;
确定所述目标人脸对应的第一性别信息、人脸特征信息和第一发型信息;
根据所述第一性别信息和所述人脸特征信息对所述目标人脸进行性别特征变换处理以得到变换后人脸信息,以及根据所述第一性别信息和所述第一发型信息确定第二发型信息,所述第二发型信息与所述第一性别信息相反的第二性别信息对应;
根据所述变换后人脸信息和所述第二发型信息,获得所述待处理图像对应的人脸性别变换图像。
可选的,根据所述第一性别信息和所述第一发型信息确定第二发型信息,包括:
确定所述目标人脸对应的年龄信息;
根据所述第一性别信息、所述年龄信息和所述第一发型信息确定所述第二发型信息。
可选的,确定所述目标人脸对应的人脸特征信息和第一发型信息,包括:
对所述待处理图像进行裁剪,得到裁剪后图像,其中,所述裁剪后图像包括所述目标人脸的人脸区域以及发型区域;
将所述裁剪后图像进行角度变换处理,得到所述目标人脸的眼睛区域位于预定方向的角度变换后图像;
对所述角度变化后图像进行特征提取,以得到所述目标人脸对应的人脸特征信息和第一发型信息。
可选的,在所述获得所述待处理图像对应的人脸性别变换图像之后,所述方法还包括:
在检测到发型变换触发操作时,确定第三发型信息,其中,所述第三发型信息与所述第二性别信息对应,所述第三发型信息与所述第二发型信息不同;
根据所述变换后人脸信息和所述第三发型信息,获得所述待处理图像对应的另一人脸性别变换图像。
可选的,在所述获得所述待处理图像对应的人脸性别变换图像之后,所述方法还包括:
确定目标装饰素材;
根据所述目标装饰素材的素材类型和所述变换后人脸信息的人脸关键区域,确定所述目标装饰素材的设置位置;
在所述设置位置处添加所述目标装置素材,以获得装饰后的人脸性别变换图像。
可选的,在所述获得所述待处理图像对应的人脸性别变换图像之后,所述方法还包括:
根据所述人脸性别变换图像和所述待处理图像得到合成图像,并以所述合成图像替换所述待处理图像进行展示,其中,在所述合成图像中所述人脸性别变换图像和所述待处理图像具有预定位置关系;或者,
将所述人脸性别变换图像和所述待处理图像按照预定位置关系展示。
可选的,根据所述第一性别信息和所述人脸特征信息对所述目标人脸进行性别特征变换处理以得到变换后人脸信息,以及根据所述第一性别信息和所述第一发型信息确定第二发型信息,包括:
将所述第一性别信息、所述人脸特征信息和所述第一发型信息输入预先训练的人脸性别变换模型,以通过所述人脸性别变换模型根据所述第一性别信息和所述人脸特征信息对所述目标人脸进行性别特征变换处理以得到变换后人脸信息,以及通过所述人脸性别变换模型根据所述第一性别信息和所述第一发型信息确定第二发型信息。
可选的,所述人脸性别变换模型按照以下方式训练得到:
获取训练样本集,所述训练样本集包括男性样本图像和女性样本图像;
针对所述训练样本集中的每个样本图像,根据所述每个样本图像的人脸特征数据生成与所述每个样本图像中的人脸性别相反的变性人脸特征数据,以及,根据所述每个样本图像的原始发型数据生成与所述每个样本图像中的人脸性别相反的变性发型数据;
根据所述每个样本图像对应的变性人脸特征数据和变性发型数据,确定所述每个样本图像配对的变性后样本图像;
根据所述每个样本图像和配对的变性后样本图像,训练得到所述人脸性别变换模型。
根据本公开实施例的第二方面,提供一种图像处理装置,所述装置包括:
获取单元,被配置为执行获取待处理图像,所述待处理图像包括需要进行性别变化的目标人脸;
确定单元,被配置为执行确定所述目标人脸对应的第一性别信息、人脸特征信息和第一发型信息;
变换单元,被配置为执行根据所述第一性别信息和所述人脸特征信息对所述目标人脸进行性别特征变换处理以得到变换后人脸信息,以及根据所述第一性别信息和所述第一发型信息确定第二发型信息,所述第二发型信息与所述第一性别信息相反的第二性别信息对应;并根据所述变换后人脸信息和所述第二发型信息,获得所述待处理图像对应的人脸性别变换图像。
可选的,所述变换单元被配置为执行:
确定所述目标人脸对应的年龄信息;
根据所述第一性别信息、所述年龄信息和所述第一发型信息确定所述第二发型信息。
可选的,所述确定单元被配置为执行:
对所述待处理图像进行裁剪,得到裁剪后图像,其中,所述裁剪后图像包括所述目标人脸的人脸区域以及发型区域;
将所述裁剪后图像进行角度变换处理,得到所述目标人脸的眼睛区域位于预定方向的角度变换后图像;
对所述角度变化后图像进行特征提取,以得到所述目标人脸对应的人脸特征信息和第一发型信息。
可选的,所述变换单元还被配置为执行:
在检测到发型变换触发操作时,确定第三发型信息,其中,所述第三发型信息与所述第二性别信息对应,所述第三发型信息与所述第二发型信息不同;
根据所述变换后人脸信息和所述第三发型信息,获得所述待处理图像对应的另一人脸性别变换图像。
可选的,所述变换单元还被配置为执行:
确定目标装饰素材;
根据所述目标装饰素材的素材类型和所述变换后人脸信息的人脸关键区域,确定所述目标装饰素材的设置位置;
在所述设置位置处添加所述目标装置素材,以获得装饰后的人脸性别变换图像。
可选的,所述装置还包括显示单元,被配置为执行:
根据所述人脸性别变换图像和所述待处理图像得到合成图像,并以所述合成图像替换所述待处理图像进行展示,其中,在所述合成图像中所述人脸性别变换图像和所述待处理图像具有预定位置关系;或者,
将所述人脸性别变换图像和所述待处理图像按照预定位置关系展示。
可选的,所述变换单元被配置为执行:
将所述第一性别信息、所述人脸特征信息和所述第一发型信息输入预先训练的人脸性别变换模型,以通过所述人脸性别变换模型根据所述第一性别信息和所述人脸特征信息对所述目标人脸进行性别特征变换处理以得到变换后人脸信息,以及通过所述人脸性别变换模型根据所述第一性别信息和所述第一发型信息确定第二发型信息。
可选的,所述装置还包括模型训练单元,被配置为执行:
获取训练样本集,所述训练样本集包括男性样本图像和女性样本图像;
针对所述训练样本集中的每个样本图像,根据所述每个样本图像的人脸特征数据生成与所述每个样本图像中的人脸性别相反的变性人脸特征数据,以及,根据所述每个样本图像的原始发型数据生成与所述每个样本图像中的人脸性别相反的变性发型数据;
根据所述每个样本图像对应的变性人脸特征数据和变性发型数据,确定所述每个样本图像配对的变性后样本图像;
根据所述每个样本图像和配对的变性后样本图像,训练得到所述人脸性别变换模型。
根据本公开实施例的第三方面,提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,处理器被配置为执行指令以实现第一方面中任一项所述的图像处理方法。
根据本公开实施例的第四方面,提供一种存储介质,当存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行第一方面中任一项所述的图像处理方法。
根据本公开实施例的第五方面,提供一种包含指令的计算机程序产品,当所述计算机程序产品在计算机上运行时,使得计算机执行第一方面中任一项所述的图像处理方法包括的步骤。
本公开的实施例提供的技术方案至少带来以下有益效果:
本公开实施例中,在进行人脸性别变化时,不仅对人脸区域进行性别变换,由于发型对于性别和对应的样貌也有较大程度的影响,所以本公开实施例中在进行人脸性别变换时还可以同时变换对应性别的发型,这样,在考虑人脸五官、妆容、皮肤进行性别变换的基础上同时自动进行了发型变换,这样进行人脸性别变换的结果可以更加真实,也更加符合实际场景需求,从而提高人脸性别变换的准确性和有效性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的图像处理方法的流程图;
图2是根据一示例性实施例示出的对待处理图像进行裁剪和角度变换处理的示意图;
图3根据一示例性实施例示出的训练人脸性别变换模型的流程图;
图4根据一示例性实施例示出的人脸性别变换图像的示意图;
图5是根据一示例性实施例示出的触发发型变换的示意图;
图6是根据一示例性实施例示出的待变换图像和对应的人脸性别变换图像镜像显示的示意图;
图7是根据一示例性实施例示出的为待处理图像和对应的人脸性别变换图像添加装饰素材的示意图;
图8a是根据一示例性实施例示出的图像处理装置的结构示意图;
图8b是根据一示例性实施例示出的图像处理装置的另一结构示意图;
图9是根据一示例性实施例示出的电子设备的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
其中,在本公开的描述中,除非另有说明,“多个”、“若干个”的含义是指两个或两个以上。
为进一步说明本公开实施例提供的技术方案,下面结合附图以及具体实施方式对此进行详细的说明。虽然本公开实施例提供了如下述实施例或附图所示的方法操作步骤,但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本公开实施例提供的执行顺序。所述方法在实际的处理过程中或者装置执行时,可按照实施例或者附图所示的方法顺序执行或者并行执行。
本公开实施例提供的图像处理方法可以由具有图像处理能力的电子设备执行,该电子设备例如可以是各种可能的终端设备,或者可以是服务器。其中,终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能电视、智能穿戴式设备等,但并不局限于此;服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。在电子设备中安装的应用软件中可以嵌入本公开实施例提供的图像处理方法对应的人脸性别变换功能,用户可以使用该功能拍摄得到自己性别变换后的图像,增强娱乐性。
图1是根据一示例性实施例示出的本公开实施例中的图像处理方法的流程示意图,图1所示方法的流程描述如下。
步骤101:获取待处理图像,该待处理图像包括需要进行性别变换的目标人脸。
本公开实施例中将需要进行人脸性别变换的图像称作待处理图像,待处理图像例如可以是拍摄得到图像,或者可以是本地存储的图像,或者可以是从网络上下载得到的图像。待处理图像可以是一张独立的图像,或者可以是视频中的一帧图像,例如是用户拍摄的短视频中的一帧图像,本公开实施例中对图像进行人脸性别变换,可以是对一张图像进行人脸性别变换,也可以是对视频中的多帧(例如短视频中包括的所有帧)图像均进行人脸性别变换,即进行连续的人脸性别变换。
本公开实施例中的“人脸性别变换”,是指从脸部样貌特征上进行性别变换以及从发型上进行性别变换,例如将男性的脸部样貌变换成女性的脸部样貌以及将男性的发型变换成女性的发型,或者将女性的脸部样貌变换成男性的脸部样貌以及将女性的发型变换成男性的发型,这样,用户可以得到自己变换性别后的脸部外貌变化以及发型变化,可以增强用户的好奇心和娱乐性。
步骤102:确定待处理图像中的目标人脸对应的第一性别信息、人脸特征信息和第一发型信息。
由于是通过人脸特征变换来实现性别变换,所以待处理图像中至少包括有人脸对应的人脸图像,例如可以包括一个或多个人脸,而在具体实施过程中,可以对待变换图像中的一个人脸或多个人脸进行人脸性别变换,为便于描述,本公开实施例中待处理图像中需要进行人脸性别变换的人脸称作目标人脸。
可以通过性别识别模型识别目标人脸对应用户的性别,例如识别出的目标人脸对应用户的性别是男性或者是女性,可以将得到的性别识别结果确定为是目标人脸对应的性别信息,本公开实施例将目标人脸对应的性别信息称作第一性别信息,因为男性和女性在脸部特征有上一些明显的区别,例如男性有胡须而女性一般没有,又例如女性的眉形和男性一般不同,再例如女性一般会涂抹口红、腮红而男性一般不会,等等。
其中,目标人脸的人脸特征信息是能够体现目标人脸的特性的相关信息,通过人脸特征信息能够较为准确且唯一地描述一个人脸的外观特性,人脸特征信息可以描述脸部形态(例如是否有胡子、是否戴眼镜等)、脸部长相、脸部表情、面部妆容等外观特性。人脸特征信息可以包括长相特征信息、形态特征信息、人脸关键点信息、面部妆容信息等,例如,可以通过人脸的人脸特征信息来大致判断对应的人脸长相、形态、妆容之间的相似性,等等。
本公开实施例中将待处理图像中的目标人脸当前的发型信息称作第一发型信息,第一发型信息是用于表征目标人脸的发型相关的信息,例如包括发型样式信息、头发颜色信息、头发相对于脸部的位置信息等等,通过第一发型信息可以明确目标人脸对应的发型样式(例如是中分或者偏分,或者是批发或者马尾等、头发颜色(例如是纯黑或者纯黄或者多种颜色混合)以及头发相对于脸部的相对位置(例如马尾在脸部右侧或者偏分位置在脸部左侧)等。
在具体实施过程中,由于待处理图像的原始尺寸较大,而目标人脸对应的区域一般只占据待处理图像中的部分区域,为了减少数据处理量,可以先对待处理图像进行裁剪,然后再对裁剪后的图像进行特征提取以得到目标人脸对应的第一性别信息、人脸特征信息和第一发型信息。
具体地,可以对待处理图像以目标人脸为中心进行裁剪以得到裁剪后图像,由于需要确定目标人脸的对应的第一性别信息、人脸特征信息和第一发型信息,所以在裁剪时以目标人脸为中心向外进行一定尺寸的裁剪,使得裁剪后图像包括目标人脸的人脸区域以及发型区域,例如包括全部的人脸区域,以及包括全部发型区域或者部分发型区域。进一步地,可以将裁剪后图像进行角度变换处理,例如以目标人脸的眼睛区域位于预定方向(例如水平方向或者垂直方向或者其它方向)进行角度变换处理,得到角度变换后图像,这样得到的裁剪后图像中目标人脸的眼睛区域可以位于预定方向。以预定方向是水平方向为例,因为在实际中待处理图像中的人脸可能并不是正视角度,所以可以以用户的眼睛区域为水平方向进行一定的角度调整,使得进行角度调整后的角度变换后图像中的目标人脸尽量是正视角度的,例如请参见图2所示的裁剪以及角度调整的示例,其中图2中的左图为待处理图像,而图2中的右图是经过裁剪和角度调整得到的角度变换后图像。
此外,在处理图像的过程中,还可以针对待处理图像中的目标人脸进行“去除背景”的处理,即可以将目标人脸和对应发型外的背景区域去除,这样可以减少背景对前景的目标人脸和发型的显示影响,同时由于减少了对背景区域的图像进行处理,这样可以在一定程度上减少数据处理量。
步骤103:根据第一性别信息和人脸特征信息对目标人脸进行性别特征变换处理以得到变换后人脸信息,以及根据第一性别信息和第一发型信息确定第二发型信息。
其中,在进行性别特征变换处理时,例如,可以根据人脸关键点数据确定各人脸关键区域,其中,人脸关键区域可以是按五官划分的区域,比如额头、眉毛、眼睛、下巴、嘴巴区域等,或者,人脸关键区域还可以指男性与女性特征不同的区域,比如下巴、两腮、鼻部区域、鼻下区域等。在确定各人脸关键区域后,可以对各人脸关键区域进行性别特征变换处理。可以理解的是,不同的人脸关键区域对应的性别特征变换处理方式可以不同。
举例而言,当需要将男性变为女性时,通常情况下,女性的脸部更加白净光滑、脸型下巴更尖、脸的宽度更窄、眉毛一般更细等等,因此,下巴区域对应的特征调整处理可以包括下巴变尖处理,唇部区域对应的特征调整处理可以包括添加唇彩或者口红处理,鼻下区域或胡须区域对应的特征调整处理可以包括磨皮处理,鼻子区域对应的特征调整处理可以包括鼻翼添加阴影、鼻梁高光处理,眼睛区域对应的特征调整处理可以包括眼睛变大处理,睫毛区域对应的特征变化处理可以包括睫毛变长变翘处理,眉毛区域对应的特征调整处理可以包括眉毛变细调整眉形等处理,两腮区域对应的特征调整处理可以包括添加腮红等处理,脸部区域对应的特征调整处理可以包括美白、光滑处理、脸型调整处理等等,此处就不一一列举了。
以及,在根据第一性别信息和第一发型信息确定第二发型信息时,得到的第二发型信息是与第一性别信息相反的第二性别信息对应的,也就是说,可以将与第一性别信息所表征的性别相反的性别所对应的性别信息称作第二性别信息,例如,第一性别信息所表征的性别是男性,那么对应的第二性别信息所表征的性别则是女性,本公开实施例中将与目标人脸性别相反的发型信息称作第二发型信息,而目标人脸的原始性别对应的发型信息是第一发型信息。也就是说,通过将第一发型信息变换为第二发型信息可以实现与性别相符的发型变换,提高性别变换的准确性和有效性,增强人脸性别变换操作的趣味性。
此外,由于发型样式和颜色众多,而不同用户可能喜欢不同风格的发型,并且不同的发型一般也有匹配的年龄,例如年轻人喜欢潮流、夸张一点的发型风格,而老年人可能更喜欢稳重、低调一些的发型风格,所以可以先确定目标人脸对应的年龄信息,再根据第一性别信息、年龄信息和第一发型信息确定第二发型信息,例如,通过年龄信息可以判断目标人脸对应的用户是小孩、年轻人或者老年人,进而在确定第二发型信息时同时考虑性别和年龄这两个因素,可以确定出与用户实际年龄相匹配的发型,这样可以提高发型匹配的准确性和适配性,提升性别变换效果。
步骤104:根据变换后人脸信息和第二发型信息,获得待处理图像对应的人脸性别变换图像。
在具体实施过程中,可以在变换后人脸信息对应的人脸相应的发型位置添加上第二发型信息,以实现人脸和发型的融合,在人脸边缘区域融合第二发型信息时,可以结合人脸边缘区域的像素和发型边缘的像素进行过渡融合处理,以得到较为平缓柔和的边缘过渡效果,达到较好的人脸与发型融合效果。
请参见图3所示的一种可能的人脸性别变换图像的示例,图3中的左图为原始的待处理图像,图3中的右图为完成人脸性别变换而得到的人脸性别变换图像,可见右图中的脸部更为男性化,以及发型也变换成了男性发型,从而实现了人脸性别的准确变换。
也就是说,在进行人脸性别变化时,不仅是对人脸区域进行性别变换,由于发型对于性别和对应的样貌也有较大程度的影响,所以本公开实施例中在进行人脸变换时还可以同时变换对应性别的发型,这样,在考虑人脸五官、妆容、皮肤进行性别变换的基础上同时自动进行了发型变换,这样进行人脸性别变换的结果可以更加真实,也更加符合实际场景需求,从而提高人脸性别变换的准确性和有效性。
在具体实施过程中,可以通过预先训练得到的人脸性别变换模型来进行人脸性别变换处理以实现对目标人脸的性别变换。其中的人脸性别变换模型例如是生成对抗网络(Generative Adversarial Networks,GAN)模型,GAN模型主要包括生成模型和判别模型这两部分,生成模型是指我们可以根据任务、通过模型训练由输入的数据生成文字、图像、视频等数据。在具体实施过程,例如可以通过图4所示的流程预先训练得到人脸性别变换模型。
步骤401:获得训练样本集。
训练样本集中包括多个男性样本图像和女性样本图像,男性样本图像中包括男性人脸,女性样本图像中包括女性人脸,也就是说,训练样本集是男性人脸图像和女性人脸图像的混合图像集。
在具体实施过程中,可以通过网络爬取或者本地查找或者人工收集等方式获得男性样本图像和女性样本图像。在获取样本的过程中,对于男性样本图像和女性样本图像,需要确保样本的多样性,例如,需要获取多个角度(例如正面视角、左侧面视角、右侧面视角)的人脸图像、多种面部形态(例如戴眼镜和未戴眼镜、嘟嘴和未嘟嘴、闭眼和未闭眼)的人脸图像、多种表情(例如微笑、大笑、哭、生气)的人脸图像、多种年龄的人脸图像,等等,这样可以较为全面地从整体上体现各个样本集所代表的样本特性。并且,为了能够尽量准确、全面地通过男性样本图像来代表所有男性脸部的特性以及通过女性样本图像来代表所有女性脸部的特性,对训练样本集中所包括的样本数量也需要一定量级的要求,即样本数量不宜过少。
步骤402:针对训练样本集中的每个样本图像,根据每个样本图像的人脸特征数据生成与该样本图像中的人脸性别相反的变性人脸特征数据,以及,根据每个样本图像的原发型数据生成与该样本图像中的人脸性别相反的变性发型数据。
在具体实施过程中,例如可以通过GAN模型中的生成模型来生成每个样本图像的人脸性别相反的变性人脸特征数据和变性发型数据,这样,对于每个男性样本图像,可以生成与其性别相反(即女性)对应的变性人脸数据和变性发型数据,对于每个女性样本图像,可以生成与其性别相反(即男性)对应的变性人脸数据和变性发型数据。在根据每个样本图像的原发型数据生成对应相反性别的变性发型数据时,可以从预先配置的发型库中选择对应性别的发型,或者,也可以根据生成与对应性别匹配的发型,例如男性一般是短发且头发一般是直立或者向后梳倒,女性一般是长发批发或者各种潮流的卷发样式,等等。
步骤403:根据每个样本图像对应的变性人脸特征数据和变性发型数据,确定每个样本图像对应的变性后样本图像。
在得到各个样本图像对应相反性别的变性人脸特征数据和变性发型数据之后,根据这些数据生成每个样本图像对应的变性后样本图像,也就是说,可以生成每个样本图像对应性别相反的人脸性别变换的图像,例如对于样本集中的某个女性人脸样本图像,通过该步骤,则可以得到与该女性人脸图像对应的变性后样本图像,即男性人脸样本图像,对于该男性人脸样本图像,其大概样貌与该女性人脸样本图像中的样貌大致相同,但是性别特征(例如胡须、肤色、眉形、发型等)却是与女性特征是相反的。
步骤404:根据每个样本图像和对应的变性后样本图像,训练得到人脸性别变换模型。
在得到每个样本图像对应配对的变性后样本图像之后,每个样本图像和对应的变性后样本图像的性别标签都是已知的,以及每个样本图像和对应的变性后样本图像的人脸特征和发型特征也都是已知的,这样可以利用这些配对数据(将一个样本图像和对应生成的变性后样本对象称作一对配对数据)对模型进行收敛训练,在达到设定的训练收敛条件时即可停止训练,例如在通过训练后的模型每次预测的性别与配对数据中已知性别标签相同的准确率达到90%时则可停止训练,以得到训练好的人脸性别变换模型。
训练好的人脸性别变换模型,通过学习了大量的配对的人脸性别变换前后的数据,则具有了进行人脸性别变换的能力。所以,在得到训练好的人脸性别变换模型后,可以利用该人脸性别变换模型来实现人脸性别变换。
在对待处理图像进行人脸性别变换时,可以将待处理图像直接输入人脸性别变换模型以得到目标人脸对应的第一性别信息、人脸特征信息和第一发型信息,或者也可以通过其它方式得到目标人脸对应的第一性别信息、人脸特征信息和第一发型信息,然后再将得到的这些信息直接作为输入数据输入到人脸性别变换模型中。然后再通过人脸性别变换模型根据第一性别信息和人脸特征信息对目标人脸进行性别特征变换处理以得到变换后人脸信息,以及根据第一性别信息和第一发型信息确定第二发型信息。再进一步地,再通过人脸性别变换模型根据变换后人脸信息和第二发型信息生成待处理图像对应的人脸性别变换图像。
本公开实施例中,通过利用机器学习得到的人脸性别变换模型来进行人脸的性别变换,这样可以较为快速且准确地实现人脸性别变换,通过人工智能的方式也可以较为快速地进行人脸性别变换,提高人脸性别变换的效率。
在一种可能的实施方式中,例如上述进行变换的待处理图像为视频中的帧图像,在检测到发型变换触发操作时,可以根据目标人脸对应的第一性别信息和第一发型信息确定第三发型信息,其中的第三发型信息与第二发型信息类似的,均是与第一性别信息相反的第二性别信息对应,并且第三发型信息与第二发型信息是不同的,进一步地,并根据变换后人脸信息和第三发型信息,获得待处理图像对应的另一人脸性别变换图像。也就是说,在人脸性别变化的过程中,用户可能希望尝试不同的发型,那么用户则可以进行发型变换触发操作,例如用手敲击头部或者作出“V”的手势,当电子设备检测到这些发型变换触发操作时即可以触发进行发型变换,例如图5所示,图5中的左图为一种发型(例如是第二发型信息对应的发型,称作发型1),即头发整体比较向上蓬松且颜色为棕色,而图5中的右图为另外一种发型(例如是第三发型信息对应的发型,称作发型2),即头发相对左图发型来说更塌陷一些且颜色变为了黄色,发型1和发型2的发型样式不同,但是发型1和发型2均是男性发型,所以在人脸性别变换的过程中,电子设备可以提供多种可变的发型选择,用户可以根据自己的实际喜好通过特定的触发操作来选择更换,以此增加发型变换的灵活性,进而增加娱乐性,提升用户的使用黏度。
在本公开实施例中,在获得待处理图像对应的人脸性别变换图像之后,还可以对其添加一些素材进行装饰,此时,用户可以先进行选择装饰素材的选取操作,电子设备响应于该选取操作确定用户所选择的装饰素材为目标装饰素材,即,电子设备可以通过前述的选取操作获取其它方式确定目标装饰素材,再确定目标装饰素材的素材类型,例如是头部装饰素材(例如帽子或者头巾)、眼部装饰素材(例如眼镜)、脸部装饰素材(例如贴花)。再根据目标装饰素材的素材类型和变换后人脸信息的人脸关键区域,确定目标装饰素材的设置位置,例如头部装饰素材的设置位置应该是位于头部,眼部装饰素材的设置位置应该是位于眼部,等等,进而再在确定出的设置位置处添加目标装置素材,以获得装饰后的人脸性别变换图像,从而通过添加素材实现对人脸的装饰,可以为人脸性别变换提供更丰富的附加功能,增强操作的娱乐性和趣味性。
上面讲述的用户手动添加装饰的方式,在具体实施过程中,电子设备也可以自动为人脸性别变换图像添加装饰素材,例如可以根据用户妆容添加匹配的装饰素材,或者可以根据用户的服装风格和颜色添加匹配的装饰素材,或者可以将用户历史选择使用频率最高的素材自动为用户添加上,等等。
此外,在得到待处理图像对应的人脸性别变换图像之后,可以将其显示,例如可以将得到的人脸性别变换图像单独进行显示。或者,可以将其与待处理图像同屏显示。一种方式是,可以将人脸性别变换图像和对应的待处理图像进行合成以得到一张合成图像,在合成的时候可以按照预定位置关系对两张图像进行合成,即,在合成图像中,人脸性别变换图像和待处理图像具有预定位置关系,例如,两者呈镜像显示,或者,人脸性别变换图像位于对应的待处理图像的后方或者左侧,等等。另外一种方式是,直接将人脸性别变换图像和待处理图像按照预定位置关系展示,即同时以多图层的方式同屏展示。
例如请参见图6所示的将待处理图像和对应的人脸性别变换图像同时进行展示的示意,同时展示的方式可以上述的合成展示或者未合成展示,图6中的右侧的人脸图像为男性的待处理图像,而左侧图像为对应变换的女性人脸图像,即人脸性别变换图像,可见女性人脸图像的脸部皮肤更为光滑和白皙,去掉了男性的胡须,以及对男性的粗弄眉毛进行了弱化处理,并且这两张图像是呈镜像位置关系进行展示的,这样便于两者进行直观对比,在这种情形下,用户例如可以左侧的人脸图像是自己的妹妹或者姐姐与其好友进行玩笑娱乐,增加了趣味性和新奇性。
再参见图7所示的,图7在图6的基础上,待处理图像和对应的人脸性别变换图像均添加了装饰素材,可见待变换图像添加了帽子和花型围脖的装饰素材,而对应的人脸性别变换图像也添加了帽子素材,并且这两者的装饰素材是大红的婚庆风格,以此可以实现男性用户与自身人脸性别变换的“另一个自己”实现“结婚”的娱乐场景,可以较大程度上增强娱乐性和趣味性。
本公开实施例中,在进行人脸性别变化时,不仅是对人脸区域进行性别变换,由于发型对于性别和对应的样貌也有较大程度的影响,所以本公开实施例中在进行人脸变换时还可以同时变换对应性别的发型,这样,在考虑人脸五官、妆容、皮肤进行性别变换的基础上同时自动进行了发型变换,这样进行人脸性别变换的结果可以更加真实,也更加符合实际场景需求,从而提高人脸性别变换的准确性和有效性。
基于上述公开实施例的相同构思,本公开实施例提供一种图像处理装置,该图像处理装置能够实现上述图1、图4所示的方法。图8a是根据一示例性实施例示出的一种图像处理装置的结构框图,如图8a所示,该图像处理装置包括获取单元801、确定单元802和变换单元803。其中:
获取单元801,被配置为执行获取待处理图像,待处理图像包括需要进行性别变化的目标人脸;
确定单元802,被配置为执行确定目标人脸对应的第一性别信息、人脸特征信息和第一发型信息;
变换单元803,被配置为执行根据第一性别信息和人脸特征信息对目标人脸进行性别特征变换处理以得到变换后人脸信息,以及根据第一性别信息和第一发型信息确定第二发型信息,第二发型信息与第一性别信息相反的第二性别信息对应;并根据变换后人脸信息和第二发型信息,获得待处理图像对应的人脸性别变换图像。
在一种可能的实施方式中,变换单元803被配置为执行:
确定目标人脸对应的年龄信息;
根据第一性别信息、年龄信息和第一发型信息确定第二发型信息。
在一种可能的实施方式中,确定单元802被配置为执行:
对待处理图像进行裁剪,得到裁剪后图像,其中,裁剪后图像包括目标人脸的人脸区域以及发型区域;
将裁剪后图像进行角度变换处理,得到目标人脸的眼睛区域位于预定方向的角度变换后图像;
对角度变化后图像进行特征提取,以得到目标人脸对应的人脸特征信息和第一发型信息。
在一种可能的实施方式中,变换单元803还被配置为执行:
在检测到发型变换触发操作时,确定第三发型信息,其中,第三发型信息与第二性别信息对应,第三发型信息与第二发型信息不同;
根据变换后人脸信息和第三发型信息,获得待处理图像对应的另一人脸性别变换图像。
在一种可能的实施方式中,变换单元803还被配置为执行:
确定目标装饰素材;
根据目标装饰素材的素材类型和变换后人脸信息的人脸关键区域,确定目标装饰素材的设置位置;
在设置位置处添加目标装置素材,以获得装饰后的人脸性别变换图像。
在一种可能的实施方式中,如图8b所示的,本公开实施例中的图像处理装置还包括显示单元804,被配置为执行:
根据人脸性别变换图像和待处理图像得到合成图像,并以合成图像替换待处理图像进行展示,其中,在合成图像中人脸性别变换图像和待处理图像具有预定位置关系;或者,
将人脸性别变换图像和待处理图像按照预定位置关系展示。
在一种可能的实施方式中,变换单元803被配置为执行:
将第一性别信息、人脸特征信息和第一发型信息输入预先训练的人脸性别变换模型,以通过人脸性别变换模型根据第一性别信息和人脸特征信息对目标人脸进行性别特征变换处理以得到变换后人脸信息,以及通过人脸性别变换模型根据第一性别信息和第一发型信息确定第二发型信息;
在一种可能的实施方式中,如图8b所示的,本公开实施例中的图像处理装置还包括模型训练单元805,被配置为执行:
获取训练样本集,训练样本集包括男性样本图像和女性样本图像;
针对训练样本集中的每个样本图像,根据每个样本图像的人脸特征数据生成与每个样本图像中的人脸性别相反的变性人脸特征数据,以及,根据每个样本图像的原始发型数据生成与每个样本图像中的人脸性别相反的变性发型数据;
根据每个样本图像对应的变性人脸特征数据和变性发型数据,确定每个样本图像配对的变性后样本图像;
根据每个样本图像和配对的变性后样本图像,训练得到人脸性别变换模型。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,另外,在本公开各个实施例中的各功能模块可以集成在一个处理器中,也可以是单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
基于上述本公开实施例相同构思,本公开实施例提供一种电子设备,该电子设备能够执行本公开实施例中的图像处理方法,图9是根据一示例性实施例示出的电子设备的结构示意图,如图9所示,本公开实施例示出的电子设备包括至少一个处理器901,以及与至少一个处理器连接的存储器902,本公开中不限定处理器901与存储器902之间的具体连接介质,例如处理器901和存储器902之间可以通过总线连接,该总线可以分为地址总线、数据总线、控制总线等。
在本公开中,存储器902存储有可被至少一个处理器901执行的指令,至少一个处理器901通过执行存储器902存储的指令,可以执行前述的视频处理方法中所包括的步骤。
处理器901可以是通用处理器,例如中央处理器(CPU)、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。处理器901被配置为执行指令,以实现本公开实施例中的图像处理方法。
存储器902作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random Access Memory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本公开中的存储器902还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
其中,处理器901是电子设备的控制中心,可以利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器902内的指令以及调用存储在存储器902内的数据,电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器901可包括一个或多个处理单元,处理器901可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器901中。在一些实施例中,处理器901和存储器902可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
进一步地,本公开中的电子设备还可以包括输入单元903、显示单元904、射频单元905、音频电路909、扬声器907、麦克风908、无线保真(Wireless Fidelity,WiFi)模块909、蓝牙模块910、电源911、外部接口912、耳机插孔913等部件。本领域技术人员可以理解的是,图9仅仅是电子设备的举例,并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件。
输入单元903可用于接收输入的数字或字符信息,以及产生与视频播放设备的用户设置以及功能控制有关的键信号输入。例如,输入单元903可包括触摸屏914以及其它输入设备915。触摸屏914可收集用户在其上或附近的触摸操作(比如用户使用手指、关节、触笔等任何适合的物体在触摸屏914上或在触摸屏914附近的操作),即触摸屏914可用于检测触摸压力以及触摸输入位置和触摸输入面积,并根据预先设定的程序驱动相应的连接装置。触摸屏914可以检测用户对触摸屏914的触控操作,将触控操作转换为触控信号发送给处理器901,或者理解为可将触控操作的触控信息发送给处理器901,并能接收处理器901发来的命令并加以执行。触控信息至少可以包括压力大小信息和压力持续时长信息中的至少一种。触摸屏914可以提供视频播放设备和用户之间的输入界面和输出界面。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触摸屏914。除了触摸屏914,输入单元903还可以包括其它输入设备915。比如,其它输入设备915可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元904可用于显示由用户输入的信息或提供给用户的信息以及视频播放设备的各种菜单。进一步的,触摸屏914可覆盖显示单元904,当触摸屏914检测到在其上或附近的触控操作后,传送给处理器901以确定的触控操作的压力信息。在本公开中,触摸屏914与显示单元904可以集成为一个部件而实现视频播放设备的输入、输出、显示功能。为便于描述,本公开以触摸屏914代表触摸屏914和显示单元904的功能集合为例进行示意性说明,当然在某些实施例中,触摸屏914与显示单元904也可以作为两个独立的部件。
当显示单元904和触摸板以层的形式彼此叠加以形成触摸屏914时,显示单元904可以用作输入装置和输出装置,在作为输出装置时,可以用于显示图像,例如实现对各种视频的播放。显示单元904可以包括液晶显示器(Liquid Crystal Display,LCD)、薄膜晶体管液晶显示器(Thin Film Transistor Liquid Crystal Display,TFT-LCD)、有机发光二极管(Organic Light Emitting Diode,OLED)显示器、有源矩阵有机发光二极体(ActiveMatrix Organic Light Emitting Diode,AMOLED)显示器、平面转换(In-PlaneSwitching,IPS)显示器、柔性显示器、3D显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看,这可以称为透明显示器,根据特定想要的实施方式,电子设备可以包括两个或更多显示单元(或其它显示装置),例如,电子设备可以包括外部显示单元(图9未示出)和内部显示单元(图9未示出)。
射频单元905可用于收发信息或通话过程中信号的接收和发送。通常,射频电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,LNA)、双工器等。此外,射频单元905还可以通过无线通信与网络设备和其它设备通信。
音频电路906、扬声器907、麦克风908可提供用户与视频播放设备之间的音频接口。音频电路906可将接收到的音频数据转换后的电信号,传输到扬声器907,由扬声器907转换为声音信号输出。另一方面,麦克风908将收集的声音信号转换为电信号,由音频电路906接收后转换为音频数据,再将音频数据输出处理器901处理后,经射频单元905以发送给比如另一电子设备,或者将音频数据输出至存储器902以便进一步处理,音频电路也可以包括耳机插孔913,用于提供音频电路和耳机之间的连接接口。
WiFi属于短距离无线传输技术,电子设备通过WiFi模块909可帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图9示出了WiFi模块909,但是可以理解的是,其并不属于电子设备的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
蓝牙是一种短距离无线通讯技术。利用蓝牙技术,能够有效地简化掌上电脑、笔记本电脑和手机等移动通信视频播放设备之间的通信,也能够成功地简化以上这些设备与因特网(Internet)之间的通信,电子设备通过蓝牙模块910使展示电子设备与因特网之间的数据传输变得更加迅速高效,为无线通信拓宽道路。蓝牙技术是能够实现语音和数据无线传输的开放性方案。虽然图9示出了蓝牙模块910,但是可以理解的是,其并不属于电子设备的必须构成,完全可以根据需要在不改变本公开的本质的范围内而省略。
电子设备还可以包括电源911(比如电池),其用于接收外部电力或为电子设备内的各个部件供电。优选的,电源911可以通过电源管理系统与处理器901逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
电子设备还可以包括外部接口912,该外部接口912可以包括标准的Micro USB接口,也可以包括多针连接器,可以用于连接电子设备与其它设备进行通信,也可以用于连接充电器为电子设备充电。
尽管未示出,本公开中的电子设备还可以包括摄像头、闪光灯等其它可能的功能模块,在此不再赘述。
基于同一发明构思,本公开还提供一种存储介质,该存储介质可以是计算机可读存储介质,该存储介质中存储有计算机指令,当该计算机指令在计算机上运行时,使得计算机执行如前述的图像处理方法的步骤。
基于同一发明构思,本公开提供的图像处理方法的各个方面还可以实现为一种计算机程序产品的形式,其包括程序代码,当所述计算机程序产品在电子设备(例如计算机)上运行时,所述程序代码用于使所述电子设备执行前文所描述的根据本公开各种示例性实施方式的图像处理方法中的步骤,即,本公开实施例还提供一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行如前述的图像处理方法的步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种图像处理方法,其特征在于,所述方法包括:
获取待处理图像,所述待处理图像包括需要进行性别变换的目标人脸;
确定所述目标人脸对应的第一性别信息、人脸特征信息和第一发型信息;
根据所述第一性别信息和所述人脸特征信息对所述目标人脸进行性别特征变换处理以得到变换后人脸信息,以及根据所述第一性别信息和所述第一发型信息确定第二发型信息,所述第二发型信息与所述第一性别信息相反的第二性别信息对应;
根据所述变换后人脸信息和所述第二发型信息,获得所述待处理图像对应的人脸性别变换图像。
2.如权利要求1所述的方法,其特征在于,根据所述第一性别信息和所述第一发型信息确定第二发型信息,包括:
确定所述目标人脸对应的年龄信息;
根据所述第一性别信息、所述年龄信息和所述第一发型信息确定所述第二发型信息。
3.如权利要求1所述的方法,其特征在于,确定所述目标人脸对应的人脸特征信息和第一发型信息,包括:
对所述待处理图像进行裁剪,得到裁剪后图像,其中,所述裁剪后图像包括所述目标人脸的人脸区域以及发型区域;
将所述裁剪后图像进行角度变换处理,得到所述目标人脸的眼睛区域位于预定方向的角度变换后图像;
对所述角度变化后图像进行特征提取,以得到所述目标人脸对应的人脸特征信息和第一发型信息。
4.如权利要求1所述的方法,其特征在于,在所述获得所述待处理图像对应的人脸性别变换图像之后,所述方法还包括:
在检测到发型变换触发操作时,确定第三发型信息,其中,所述第三发型信息与所述第二性别信息对应,所述第三发型信息与所述第二发型信息不同;
根据所述变换后人脸信息和所述第三发型信息,获得所述待处理图像对应的另一人脸性别变换图像。
5.如权利要求1-4任一所述的方法,其特征在于,在所述获得所述待处理图像对应的人脸性别变换图像之后,所述方法还包括:
确定目标装饰素材;
根据所述目标装饰素材的素材类型和所述变换后人脸信息的人脸关键区域,确定所述目标装饰素材的设置位置;
在所述设置位置处添加所述目标装置素材,以获得装饰后的人脸性别变换图像。
6.如权利要求1-4任一所述的方法,其特征在于,在所述获得所述待处理图像对应的人脸性别变换图像之后,所述方法还包括:
根据所述人脸性别变换图像和所述待处理图像得到合成图像,并以所述合成图像替换所述待处理图像进行展示,其中,在所述合成图像中所述人脸性别变换图像和所述待处理图像具有预定位置关系;或者,
将所述人脸性别变换图像和所述待处理图像按照预定位置关系展示。
7.如权利要求1-4任一所述的方法,其特征在于,根据所述第一性别信息和所述人脸特征信息对所述目标人脸进行性别特征变换处理以得到变换后人脸信息,以及根据所述第一性别信息和所述第一发型信息确定第二发型信息,包括:
将所述第一性别信息、所述人脸特征信息和所述第一发型信息输入预先训练的人脸性别变换模型,以通过所述人脸性别变换模型根据所述第一性别信息和所述人脸特征信息对所述目标人脸进行性别特征变换处理以得到变换后人脸信息,以及通过所述人脸性别变换模型根据所述第一性别信息和所述第一发型信息确定第二发型信息。
8.一种图像处理装置,其特征在于,所述装置包括:
获取单元,被配置为执行获取待处理图像,所述待处理图像包括需要进行性别变化的目标人脸;
确定单元,被配置为执行确定所述目标人脸对应的第一性别信息、人脸特征信息和第一发型信息;
变换单元,被配置为执行根据所述第一性别信息和所述人脸特征信息对所述目标人脸进行性别特征变换处理以得到变换后人脸信息,以及根据所述第一性别信息和所述第一发型信息确定第二发型信息,所述第二发型信息与所述第一性别信息相反的第二性别信息对应;并根据所述变换后人脸信息和所述第二发型信息,获得所述待处理图像对应的人脸性别变换图像。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令以实现如权利要求1-7中任一项所述的图像处理方法。
10.一种存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1-7中任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011330660.8A CN112446821B (zh) | 2020-11-24 | 2020-11-24 | 一种图像处理方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011330660.8A CN112446821B (zh) | 2020-11-24 | 2020-11-24 | 一种图像处理方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112446821A true CN112446821A (zh) | 2021-03-05 |
CN112446821B CN112446821B (zh) | 2023-01-24 |
Family
ID=74738553
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011330660.8A Active CN112446821B (zh) | 2020-11-24 | 2020-11-24 | 一种图像处理方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112446821B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113361357A (zh) * | 2021-05-31 | 2021-09-07 | 北京达佳互联信息技术有限公司 | 图像处理模型训练方法、图像处理方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105530434A (zh) * | 2016-02-01 | 2016-04-27 | 深圳市金立通信设备有限公司 | 一种拍摄方法及终端 |
US9971933B1 (en) * | 2017-01-09 | 2018-05-15 | Ulsee Inc. | Facial image screening method and face recognition system thereof |
CN110688948A (zh) * | 2019-09-26 | 2020-01-14 | 北京百度网讯科技有限公司 | 视频中人脸性别变换方法、装置、电子设备和存储介质 |
CN111899159A (zh) * | 2020-07-31 | 2020-11-06 | 北京百度网讯科技有限公司 | 用于变换发型的方法、装置、设备以及存储介质 |
-
2020
- 2020-11-24 CN CN202011330660.8A patent/CN112446821B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105530434A (zh) * | 2016-02-01 | 2016-04-27 | 深圳市金立通信设备有限公司 | 一种拍摄方法及终端 |
US9971933B1 (en) * | 2017-01-09 | 2018-05-15 | Ulsee Inc. | Facial image screening method and face recognition system thereof |
CN110688948A (zh) * | 2019-09-26 | 2020-01-14 | 北京百度网讯科技有限公司 | 视频中人脸性别变换方法、装置、电子设备和存储介质 |
CN111899159A (zh) * | 2020-07-31 | 2020-11-06 | 北京百度网讯科技有限公司 | 用于变换发型的方法、装置、设备以及存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113361357A (zh) * | 2021-05-31 | 2021-09-07 | 北京达佳互联信息技术有限公司 | 图像处理模型训练方法、图像处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112446821B (zh) | 2023-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11798246B2 (en) | Electronic device for generating image including 3D avatar reflecting face motion through 3D avatar corresponding to face and method of operating same | |
US10609334B2 (en) | Group video communication method and network device | |
CN111652121B (zh) | 一种表情迁移模型的训练方法、表情迁移的方法及装置 | |
CN110110118B (zh) | 妆容推荐方法、装置、存储介质及移动终端 | |
CN111432267B (zh) | 视频调整方法、装置、电子设备及存储介质 | |
KR20220005424A (ko) | 가상 캐릭터의 생성 방법 및 장치, 전자장비, 컴퓨터 판독가능 저장매체 및 컴퓨터 프로그램 | |
CN112396679B (zh) | 虚拟对象显示方法及装置、电子设备、介质 | |
CN113362263B (zh) | 变换虚拟偶像的形象的方法、设备、介质及程序产品 | |
CN111009031B (zh) | 一种人脸模型生成的方法、模型生成的方法及装置 | |
CN113569614A (zh) | 虚拟形象生成方法、装置、设备及存储介质 | |
CN110755847B (zh) | 虚拟操作对象的生成方法和装置、存储介质及电子装置 | |
US11380037B2 (en) | Method and apparatus for generating virtual operating object, storage medium, and electronic device | |
CN109272473B (zh) | 一种图像处理方法及移动终端 | |
CN112449098B (zh) | 一种拍摄方法、装置、终端及存储介质 | |
CN112083863A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
CN112446821B (zh) | 一种图像处理方法、装置及电子设备 | |
CN114339393A (zh) | 直播画面的显示处理方法、服务器、设备、系统及介质 | |
TW201629907A (zh) | 三維頭像產生系統及其裝置、產生方法 | |
CN104715505A (zh) | 三维头像产生系统及其装置、产生方法 | |
CN204791190U (zh) | 三维头像产生系统及其装置 | |
CN114004922B (zh) | 骨骼动画显示方法、装置、设备、介质及计算机程序产品 | |
CN111640204B (zh) | 三维对象模型的构建方法、构建装置、电子设备及介质 | |
TWM508085U (zh) | 三維頭像產生系統及其裝置 | |
CN112562066A (zh) | 图像重建方法和装置、电子设备 | |
TWM532129U (zh) | 傳送人形玩偶圖像或影像之通訊系統與伺服器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |