CN117636413A - 一种人脸分析方法、电子设备和网络设备 - Google Patents
一种人脸分析方法、电子设备和网络设备 Download PDFInfo
- Publication number
- CN117636413A CN117636413A CN202211001668.9A CN202211001668A CN117636413A CN 117636413 A CN117636413 A CN 117636413A CN 202211001668 A CN202211001668 A CN 202211001668A CN 117636413 A CN117636413 A CN 117636413A
- Authority
- CN
- China
- Prior art keywords
- image
- user
- face
- electronic device
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000004044 response Effects 0.000 claims abstract description 26
- 210000001508 eye Anatomy 0.000 claims description 79
- 238000003860 storage Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 9
- 210000004709 eyebrow Anatomy 0.000 claims description 4
- 210000001061 forehead Anatomy 0.000 claims description 4
- 210000001331 nose Anatomy 0.000 claims description 4
- 230000006870 function Effects 0.000 abstract description 58
- 239000010410 layer Substances 0.000 description 25
- 238000012545 processing Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 21
- 238000011156 evaluation Methods 0.000 description 19
- 230000008859 change Effects 0.000 description 16
- 230000001976 improved effect Effects 0.000 description 14
- 238000007726 management method Methods 0.000 description 13
- 238000010295 mobile communication Methods 0.000 description 12
- 230000006399 behavior Effects 0.000 description 9
- 239000006071 cream Substances 0.000 description 9
- 239000000243 solution Substances 0.000 description 8
- 238000005070 sampling Methods 0.000 description 7
- 235000002673 Dioscorea communis Nutrition 0.000 description 6
- 241000544230 Dioscorea communis Species 0.000 description 6
- 208000035753 Periorbital contusion Diseases 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 239000003889 eye drop Substances 0.000 description 3
- 229940012356 eye drops Drugs 0.000 description 3
- 230000002503 metabolic effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000002537 cosmetic Substances 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010000496 acne Diseases 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000003712 anti-aging effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- -1 concealers Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供了一种人脸分析方法、电子设备和网络设备,该方法可以应用于电子设备,该方法包括:获取包含用户人脸的第一图像;在第一图像中获取用户人脸的第一部位的第一信息;响应于第一用户操作,获取第二图像,第二图像包括第一部位在第一时段后的预测图像,第二图像是基于第一部位的所述第一信息获得的;显示第二图像及第一图像。本申请可以快捷地识别人脸部位的信息,并为用户提供该人脸部位的预测图像,产品功能更加丰富和智能,为用户提供了可靠的参考和良好的体验。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种人脸分析方法、电子设备和网络设备。
背景技术
目前,用户可以将包括整张人脸的图像上传至手机上用于预测未来长相的应用程序,该应用程序可以返回该人脸在未来的图像,但返回的图像往往不够准确,产品功能也较为单一,智能化程度较低,不能为用户提供可靠的参考和良好的体验。
发明内容
本申请公开了一种人脸分析方法、电子设备和网络设备,能够精准预测人脸局部在未来的图像,并且预测部位和用户意图相符,产品功能更加智能和丰富,从而为用户提供可靠的参考和良好的体验。
第一方面,本申请提供了一种人脸分析方法,应用于电子设备,该方法包括:获取包含用户人脸的第一图像;在所述第一图像中获取所述用户人脸的第一部位的第一信息;响应于第一用户操作,获取第二图像,所述第二图像包括所述第一部位在第一时段后的预测图像,所述第二图像是基于所述第一部位的所述第一信息获得的;显示第一界面,所述第一界面包括所述第二图像及所述第一图像。
例如,所述第一界面包括所述第一图像的部分或全部。
在上述方法中,电子设备可以自动识别出第一图像中用户人脸的第一部位,并为用户提供第一部位的预测图像,减少手动裁剪整张人脸图像得到第一部位的图像等不必要的用户操作,智能化程度更高,用户可以根据该预测图像更加了解第一部位在未来的变化趋势,从而及时作出调整,更具实际价值,提升用户体验。
在一种可能的实现方式中,所述在所述第一图像中获取所述用户人脸的第一部位的第一信息,包括:识别到所述第一图像中的用户手势,根据所述用户手势获取所述第一部位的所述第一信息;或者,所述电子设备显示所述第一图像,接收针对所述第一图像中的所述第一部位的所述第一用户操作,响应于所述第一用户操作,在所述第一图像中获取所述第一部位的所述第一信息。
例如,所述用户手势为用户手指指向第一部位。
在上述方法中,电子设备可以根据用户手势或者针对显示内容的用户操作等用户行为,快速识别出用户意图了解的人脸部位,用户行为灵活多样,用户体验感更好。
在一种可能的实现方式中,所述第一部位为发际线、额头、眉毛、眼睛、鼻子、法令纹、嘴唇、下巴、脸颊或耳朵。
在一种可能的实现方式中,所述第一图像是通过所述电子设备的摄像头采集到的,在所述显示第一界面之后,该方法还包括:通过所述电子设备的摄像头采集第三图像;获取所述第三图像中所述第一部位的第二信息;获取第四图像,所述第四图像包括所述第一部位在第二时段后的预测图像,所述第四图像是基于所述第一部位的所述第二信息获得的;显示所述第四图像和所述第三图像。
在一种可能的实现方式中,所述第三图像和所述第一图像中所述第一部位的显示角度不同,所述第四图像和所述第二图像中所述第一部位的显示角度不同。
例如,所述显示所述第四图像和所述第三图像时,显示所述第三图像的部分或全部。
在上述方法中,当电子设备的摄像头实时采集的图像中用户人脸的第一部位的显示角度变化时(例如从第一图像中第一部位的显示角度变为第三图像中第一部位的显示角度),电子设备可以重新获取显示角度变化后的第一部位的预测图像,也就是说,用户可以通过改变人脸中第一部位的显示角度,获取到不同角度的第一部位的预测图像,产品功能更加丰富和智能,进一步提升用户体验感。
在一种可能的实现方式中,所述第一用户操作为针对所述电子设备显示的预测控件的用户操作,或者,所述第一用户操作为针对所述第一图像中的所述第一部位的用户操作。
在上述方法中,用于触发获取第一部位的预测图像的第一用户操作多种多样,用户使用灵活,进一步提升用户体验。
在一种可能的实现方式中,所述第一图像是通过所述电子设备的摄像头采集到的,或者,所述第一图像是所述电子设备响应于第二用户操作从图库中获取的。
在上述方法中,电子设备获取用于获得第一部位的预测图像的第一图像的方式多种多样,用户使用灵活,进一步提升用户体验。
在一种可能的实现方式中,所述第一界面还包括广告信息,所述广告信息和所述第一部位和/或所述第二图像相关。
例如,所述第一部位为眼睛时,所述广告信息为针对眼睛的眼霜、眼部精华、眼药水等产品的广告。
在上述方法中,电子设备可以结合第一部位的分类和/或第一部位的预测图像,进行广告的精准推荐,不仅提升了产品的商业价值,而且提升了用户体验。
在一种可能的实现方式中,所述第一时段为所述电子设备接收用户输入的,或者,所述第一时段为所述电子设备预设的。
在上述方法中,用户可以自行设置预测图像对应的第一时段,也可以使用电子设备预设的第一时段,满足不同的用户需求,提升用户体验。
在一种可能的实现方式中,该方法还包括:接收用户输入的第五图像,所述第五图像包括所述用户人脸的历史图像,和/或用户亲属的人脸图像,所述第二图像是基于所述第一部位的所述第一信息和所述第五图像获得的。
在上述方法中,第一部位的预测图像可以是结合用户人脸的历史图像和/或用户亲属的人脸图像获得的,而用户人脸的历史图像和/或用户亲属的人脸图像可以体现用户个人代谢情况和/或皮肤变化趋势,因此得到的预测图像更加准确,从而为用户提供可靠的参考,提升用户粘性。
在一种可能的实现方式中,所述获取第二图像,包括:向网络设备发送请求消息,所述请求消息用于请求获取所述第二图像,所述请求消息包括所述第一部位的所述第一信息;接收所述网络设备发送的所述第二图像,所述第二图像是所述网络设备基于所述第一信息和第三信息获取的,所述第三信息包括所述网络设备从互联网获取的第二部位的信息,所述第二部位和所述第一部位的分类相同。
在一种可能的实现方式中,所述请求消息还包括所述第五图像。
第二方面,本申请提供了一种电子设备,包括收发器、处理器和存储器,上述存储器用于存储计算机程序,上述处理器调用上述计算机程序,用于执行上述任一方面任一项可能的实现方式中的人脸分析方法。
第三方面,本申请提供了一种计算机存储介质,该计算机存储介质存储有计算机程序,该计算机程序被处理器执行时,实现上述任一方面任一项可能的实现方式中的人脸分析方法。
第四方面,本申请提供了一种计算机程序产品,当该计算机程序产品在电子设备上运行时,使得该电子设备执行上述任一方面任一项可能的实现方式中的人脸分析方法。
第五方面,本申请提供一种电子设备,该电子设备包括执行本申请任一实现方式所介绍的方法或装置。上述电子设备例如为芯片。
附图说明
以下对本申请用到的附图进行介绍。
图1A是本申请提供的一种人脸分析系统的架构示意图;
图1B是本申请提供的又一种人脸分析系统的架构示意图;
图2A是本申请提供的一种电子设备的硬件结构示意图;
图2B是本申请提供的一种电子设备的软件架构示意图;
图3是本申请提供的一种网络设备的硬件结构示意图;
图4是本申请提供的一种用户界面的示意图;
图5是本申请提供的又一种用户界面的示意图;
图6是本申请提供的又一种用户界面的示意图;
图7是本申请提供的又一种用户界面的示意图;
图8是本申请提供的又一种用户界面的示意图;
图9是本申请提供的又一种用户界面的示意图;
图10是本申请提供的又一种用户界面的示意图;
图11是本申请提供的又一种用户界面的示意图;
图12是本申请提供的一种人脸分析方法的流程示意图;
图13是本申请提供的又一种人脸分析方法的流程示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
目前,用户使用电子设备上用于预测未来长相的应用程序(application,app)时,用户可以将包括整张人脸的图像上传至该app,或者,该app可以通过电子设备的摄像头捕获整张人脸,该app可以返回上述人脸在一段时间后的预测图像,但返回的图像往往不够准确,该app的产品功能也较为单一,若用户想要获取人脸局部在一段时间后的预测图像(可简称为实现人脸局部预测),则需要手动对整张人脸的图像进行裁剪或者拍摄人脸局部的图像,再将裁剪后的图像或拍摄的人脸局部的图像上传至该app,以使app返回人脸局部的预测图像,用户操作复杂繁琐且预测结果往往不准确,甚至可能出现该app无法识别人脸局部的图像导致无法预测的情况,智能化程度也较低,不能为用户提供可靠的参考和良好的体验。并且,用户使用该app的行为单一,无法根据用户行为发掘该app更深的商业价值。
本申请提供了一种人脸分析方法,可以应用于电子设备,该电子设备可以根据用户行为快捷地识别人脸局部信息,并提供针对该人脸局部的预测功能,产品功能更加丰富和智能。并且,人脸局部的预测图像可以是结合当前用户的个人代谢情况/皮肤趋势(例如通过该用户人脸的历史图像、该用户的亲属的人脸图像等体现)预测得到的,有效提升预测的准确度,从而为用户提供可靠的参考和良好的体验,提升用户粘性。电子设备还可以根据人脸局部的预测情况精准地推荐符合用户需求的广告信息,提升产品的商业价值。
下面介绍本申请实施例涉及的一种人脸分析系统10。
图1A示例性示出了一种人脸分析系统10的架构示意图。
如图1A所示,人脸分析系统10可以包括电子设备100和网络设备200。电子设备100可以通过有线(例如,通用串行总线(universal serial bus,USB)、双绞线、同轴电缆和光纤等)和/或无线(例如,无线局域网(wireless local area networks,WLAN)、蓝牙和蜂窝通信网络等)的方式和网络设备200进行通信。
在一种实施方式中,电子设备100可以配置有摄像头。示例性地,电子设备100可以是手机、平板电脑、手持计算机、桌面型计算机、膝上型计算机、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、蜂窝电话、个人数字助理(personaldigital assistant,PDA),以及智能电视、智能摄像头等智能家居设备,智能手环、智能手表、智能眼镜等可穿戴设备,增强现实(augmented reality,AR)、虚拟现实(virtualreality,VR)、混合现实(mixed reality,MR)等扩展现实(extended reality,XR)设备,或者车载设备,本申请实施例对电子设备的具体类型不作特殊限制。
在一种实施方式中,网络设备200可以包括至少一个服务器,在一些示例中,任意一个服务器可以为硬件服务器,在一些示例中,任意一个服务器可以为云服务器。
在一些示例中,电子设备100安装有预测app,预测app用于提供显示人脸局部的预测图像的功能,网络设备200可以是为该预测app提供相关服务的应用服务器。
在一种实施方式中,电子设备100可以与网络设备200基于浏览器/服务器(browser/server,B/S)架构通信,也可以基于客户端/服务器(client/server,C/S)架构通信。例如,电子设备100可以根据用户行为确定待分析的人脸局部,并向网络设备200请求获取该人脸局部的预测图像,电子设备100可以显示从网络设备200处获取到的该人脸局部的预测图像。
图1B示例性示出了一种人脸分析系统10的交互示意图。
如图1B所示,人脸分析系统10中的电子设备100可以包括处理模块101和存储模块102,人脸分析系统10中的网络设备200可以包括分类服务201、对比服务202和大数据采样服务203,其中:
处理模块101用于接收和用户行为相关的指令,并根据指令显示对应的功能信息,例如,接收到针对人脸上的部位1的评估指令时,根据部位1的历史数据(例如历史采集到的图像)显示部位1的历史变化趋势(也可称为历史生长趋势),或者,接收到针对人脸上的部位1的预测指令时,显示人脸局部的预测图像。存储模块102可以用于存储人脸数据/人脸图像。在一种实施方式中,电子设备100可以安装有预测app,预测app可以包括上述处理模块101和/或存储模块102。在一种实施方式中,处理模块101可以周期性或不定期采集人脸数据(例如电子设备100运行预测app期间),并将采集到的人脸数据发送至存储模块102存储,在一种实施方式中,处理模块101可以接收用户上传的用户人脸的历史图像和/或亲属的人脸图像,并将接收到的图像发送至存储模块102存储。网络设备200的分类服务201、对比服务202和大数据采样服务203可以配合电子设备100实现人脸局部的预测功能。
(1)电子设备100的处理模块101可以接收针对人脸上的部位1的预测指令,处理模块101可以在接收该预测指令之前/时/之后采集部位1的图像数据,(2)处理模块101可以向网络设备200的分类服务201发送当前采集到的部位1的图像数据,并请求获取部位1在一段时间后的预测图像。(3)分类服务201可以根据部位1的图像数据识别部位1所属的分类,例如但不限于为发际线、额头、眉毛、眼睛、鼻子、鼻基底/法令纹、嘴唇、下巴、脸颊、耳朵等,(4)分类服务201可以向对比服务202发送识别到的部位1所属的分类。(5)对比服务202可以根据部位1所属的分类,通过大数据采样服务203从互联网中获取部位1相关的大众样本数据和广告数据,其中,部位1相关的大众样本数据可以但不限于包括部位1在多个年龄段的特征信息和/或图像,部位1相关的广告数据例如但不限于包括作用于部位1的护肤品、化妆品的广告信息/产品信息等。(6)对比服务202可以根据部位1所属的分类,从电子设备100的存储模块102获取部位1相关的人脸数据,例如,部位1所属的用户的历史人脸图像、部位1所属的用户的亲属的人脸图像。可以理解地,上述(5)和(6)的顺序不作限定。(7)对比服务202可以根据上述当前采集到的部位1的图像数据、上述部位1相关的大众样本数据和上述部位1相关的人脸数据,获取部位1的预测图像。在一种实施方式中,对比服务202还可以根据部位1的预测情况从部位1相关的广告数据中确定出更符合预测情况的广告数据。(8)对比服务202可以向电子设备100的处理模块101发送部位1的预测图像和广告数据(例如上述更符合预测情况的广告数据),(9)处理模块101可以显示部位1的预测图像和广告数据(例如上述更符合预测情况的广告数据)。
不限于图1B所示的人脸分析系统10的架构,在另一些实施例中,分类服务201、对比服务202和大数据采样服务203中的至少一个可以不属于网络设备200,而是属于电子设备100。在另一些实施例中,存储模块102可以不属于电子设备100,而是属于网络设备200,本申请对人脸分析系统10的具体架构不作限定。
接下来介绍本申请实施例提供的示例性的电子设备100。
图2A示例性示出了一种电子设备100的硬件结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请的另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一种实施方式中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一种实施方式中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
充电管理模块140用于从充电器接收充电输入。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现,该无线通信功能例如用于和网络设备200进行通信。
天线1和天线2用于发射和接收电磁波信号。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G/6G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一种实施方式中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一种实施方式中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一种实施方式中,调制解调处理器可以是独立的器件。在另一些实施方式中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一种实施方式中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobilecommunications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code division multiple access,CDMA),宽带码分多址(wideband codedivision multiple access,WCDMA),时分码分多址(time-division code divisionmultiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidou navigation satellite system,BDS),准天顶卫星系统(quasi-zenithsatellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一种实施方式中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一种实施方式中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一种实施方式中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。
耳机接口170D用于连接有线耳机。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一种实施方式中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一种实施方式中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于镜子app显示的实时图像时,执行暂停当前画面的指令(即保持显示当前拍摄到的一帧图像)。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于镜子app显示的实时图像时,执行识别该触摸操作所在的人脸部位的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一种实施方式中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。
气压传感器180C用于测量气压。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。
距离传感器180F,用于测量距离。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。
环境光传感器180L用于感知环境光亮度。
指纹传感器180H用于采集指纹。温度传感器180J用于检测温度。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施方式中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。
按键190包括开机键,音量键等。
马达191可以产生振动提示。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。例如,分层架构的软件系统可以是安卓(Android)系统,也可以是鸿蒙(harmony)操作系统(operating system,OS),或其它软件系统。本申请实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图2B示例性示出一种电子设备100的软件架构示意图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一种实施方式中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图2B所示,应用程序包可以包括相机,通话,音乐,图库,短信息,浏览器,预测,镜子,医美/护肤等应用程序。其中,预测应用可以提供人脸局部的预测功能。预测可以为独立的应用程序,也可以是镜子、医美/护肤等其他应用程序封装的功能组件,本申请对此不作限定。本申请中,应用程序包也可以替换为小程序等其他形式的软件。以下实施例以镜子应用集成了预测的功能组件为例进行说明。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2B所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
下面结合镜子应用的使用场景,示例性说明电子设备100软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸单击操作,该单击操作所对应的控件为镜子应用图标的控件为例,镜子应用调用应用框架层的接口,启动镜子应用,进而通过调用内核层启动摄像头驱动和显示驱动,通过摄像头193捕获动态图像,并通过显示屏194显示捕获到的动态图像,也可称为是通过显示屏194显示摄像头193实时捕获到的图像。
接下来介绍本申请实施例中提供的示例性的网络设备200。
图3示例性示出了一种网络设备200的硬件结构示意图。
如图3所示,网络设备200可以包括一个或多个处理器210、通信接口220、存储器230,其中处理器210、通信接口220、存储器230可通过总线或者其它方式连接,图3以通过总线240连接为例。其中:
处理器210可以由一个或者多个通用处理器构成,例如中央处理器(centralprocessing unit,CPU)。处理器210可用于运行人脸分析方法相关的程序代码。
通信接口220可以为有线接口(例如以太网接口)或无线接口(例如蜂窝网络接口或使用无线局域网接口),用于与其他节点进行通信。本申请中,通信接口220可以用于与电子设备100进行通信。
存储器230可以包括易失性存储器(volatile memory),例如随机存取存储器(random access memory,RAM);存储器也可以包括非易失性存储器(non-vlatilememory),例如只读存储器(read-only memory,ROM)、快闪存储器(flash memory)、硬盘驱动器(hard disk drive,HDD)或固态硬盘(solid state disk,SSD)。存储器230还可以包括上述种类的存储器的组合。存储器230可用于存储一组程序代码,以便于处理器210调用存储器230中存储的程序代码以实现本申请中网络设备200执行的方法。在本申请中,存储器230还可以是存储阵列等等。
在一种实施方式中,网络设备200可以包括多个服务器,其中任意一个服务器的硬件结构可参照图3所示的网络设备200的硬件结构。
需要说明的,图3所示的网络设备200是本申请示例的一种实现方式,在实际应用中,网络设备200还可以包括更多或更少的部件,本申请对此不作限制。
下面介绍本申请实施例涉及的应用场景以及该场景下的用户界面示例。
图4示例性示出一种获取人脸局部的预测图像的用户界面示意图。
如图4的(A)所示,电子设备100可以显示镜子应用的用户界面410,用户界面410可以包括窗口411和页面栏412,其中,窗口411可以用于显示电子设备100通过摄像头(例如图4的(A)所示的摄像头193-1)拍摄到的实时图像,页面栏412可以包括多个页面选项,例如但不限于“镜子”的选项412A、“预测”的选项412B、“测肤”的选项412C和“我的”的选项412D,其中,选项412B为选中状态。用户界面410还包括拍摄控件413和图库控件414,其中,拍摄控件413用于触发拍摄图像,该图像可以用于电子设备获取人脸局部的预测图像。图库控件414用于触发显示图库应用的用户界面,该用户界面可以用于用户选择图像,用户选择的图像可以用于电子设备获取人脸局部的预测图像。
在一种实施方式中,电子设备100可以响应于针对选项412B的触摸操作(例如点击操作),显示用户界面410,并在用户界面410上显示提示框415,提示框415可以包括字符“5秒后拍摄预测图像”,该字符可以随着时间变化,例如1秒后为“4秒后拍摄预测图像”。电子设备100显示提示框415的5秒后,可以通过摄像头拍摄用户的人脸图像,并在窗口411中显示拍摄到的人脸图像,具体可参见图4的(B)所示的用户界面420。不限于此,在另一种实施方式中,电子设备100也可以响应于针对拍摄控件413的触摸操作(例如点击操作),在用户界面410上显示提示框415,在另一种实施方式中,电子设备100也可以不显示提示框415,而是响应于用户操作,直接通过摄像头拍摄用户的人脸图像。
如图4的(B)所示的,用户界面420包括的窗口411中显示有用户411A的人脸图像1,电子设备100可以识别到人脸图像1中用户411A的手指指向眼睛411B的手势,并根据该手势确定用户意图获取眼睛411B的预测图像。用户界面421还包括提示框421,提示框421包括字符“点击查看未来眼部皮肤的趋势”,用于提示用户查看眼睛411B的预测图像。在一种实施方式中,电子设备100可以响应于针对提示框421的触摸操作(例如点击操作),获取人脸图像1中的眼睛411B在一段时间后的预测图像,并显示该预测图像,具体可参见图4的(C)所示的用户界面430。
如图4的(C)所示,用户界面430包括的窗口411不仅显示有用户411A的人脸图像1,而且显示有人脸图像1中的眼睛411B的预测图像431,以及预测图像431的说明432。其中,说明432可以包括字符“大数据趋势预测,在30年后,你的眼部可能会长这样”,可以表征预测图像431为预测到的眼睛411B在30年后的预测图像。相比人脸图像1中的眼睛411B,预测图像431所示的眼睛的纹路较多。用户界面430还包括广告信息433,广告信息433可以指示和眼睛411B和/或预测图像431相关的产品,广告信息433可以包括该产品的图片433A、说明433B和购买控件433C。说明433B可以包括该产品的名称“小A眼霜”和宣传语“紧致眼周,淡化细纹”,例如理解为是:该产品为根据预测的预测图像431确定的、用于改善预测图像431对应的眼纹加深问题的“小A眼霜”。
图5示例性示出又一种获取人脸局部的预测图像的用户界面示意图。
如图5的(A)所示,电子设备100可以显示镜子应用的用户界面410,图5的(A)所示的用户界面410和图4的(A)所示的用户界面410类似,区别在于,图5的(A)所示的用户界面410包括的窗口411显示的实时图像不同,并且,图5的(A)所示的用户界面410不包括提示框415。在一种实施方式中,电子设备可以响应于针对选项414的触摸操作(例如点击操作),显示图库应用的用户界面,并响应于用于选择图库应用中的图片1的用户操作,在窗口411中显示用户选择的图片1,具体可参见图5的(B)所示的用户界面510。
如图5的(B)所示,用户界面510包括的窗口411中显示有图片1,即用户511的人脸图像2。用户界面510还包括提示框512,提示框512包括字符“请选择需预测的部位”,用于提示用户选择需获取预测图像的部位。在一种实施方式中,电子设备100可以接收针对用户界面510所示的人脸图像2中的用户511的法令纹区域511A的触摸操作,例如该触摸操作为手指围绕法令纹区域511A画圈的滑动操作,电子设备100可以响应于该触摸操作,获取人脸图像3中的法令纹区域511A在一段时间后的预测图像,并显示该预测图像,具体可参见图5的(C)所示的用户界面520。
如图5的(C)所示,用户界面520包括的窗口411不仅显示有用户511的人脸图像2,而且显示有人脸图像2中的法令纹区域511A的预测图像521,以及预测图像521的说明522。其中,说明522可以包括字符“大数据趋势预测,在30年后,你的法令纹可能会长这样”,可以表征预测图像521为预测到的法令纹区域511A在30年后的预测图像。相比人脸图像2中的法令纹区域511A,预测图像521所示的法令纹较深。用户界面520还包括广告信息523,广告信息523可以指示和法令纹区域511A和/或预测图像521相关的产品,广告信息523可以包括该产品的图片523A、说明523B和购买控件523C。说明523B可以包括该产品的名称“小B精华”和宣传语“弹嫩紧致,抗老必备”,例如理解为是:该产品为根据预测的预测图像521确定的、用于改善预测图像521对应的法令纹加深问题的“小B精华”。
在一种实施方式中,在图4的(B)所示的用户界面420中,电子设备100还可以显示选择控件,该选择控件可以用于用户重新选择意图获取预测图像的部位,具体可参见图6的(A)所示的用户界面420。
如图6的(A)所示,用户界面420中的选择控件422包括字符“重新选择预测部位”,电子设备100可以响应于针对选择控件422的触摸操作(例如点击操作),显示图6的(B)所示的用户界面610。如图6的(B)所示,用户界面610中的窗口411可以显示之前拍摄的用户411A的人脸图像1,用户界面610还包括提示框611,提示框611包括字符“请选择需预测的部位”,用于提示用户选择需获取预测图像的部位。在一些示例中,电子设备100可以响应于针对人脸图像1中的法令纹区域411C的触摸操作(例如长按操作),获取法令纹区域411C在一段时间后的预测图像,并显示该预测图像,具体可参见图6的(C)所示的用户界面520,即图5的(C)所示的用户界面520。可以理解地,用户只需拍摄/选择一次图像,即可使用针对当前图像中的多个不同部位的局部预测功能,减少重新拍摄/选择图像等不必要的用户操作,提升用户体验。
不限于上述实施方式,在另一种实施方式,电子设备100也可以在显示图4的(C)所示的用户界面430时,响应于用户操作(例如长按用户界面430中的窗口411的空白区域),显示图6的(B)所示的用户界面610,以使用户重新选择想要预测的人脸局部,本申请对再次选择部位以进行预测的触发方式不作限定。
在一种实施方式中,电子设备100获取人脸局部的预测图像之前,可以先提示用户上传本人人脸的历史图像和/或亲属的人脸图像等,具体示例可参见图7所示的用户界面710。
如图7所示,用户界面710可以包括提示框711,提示框711可以包括提示信息711A、提示信息711B和对应的上传控件711C、提示信息711D和对应的上传控件711E、确定控件711F、取消控件711G和跳过控件711H。其中,提示信息711A可以包括字符“样本不足,请上传相关图像提升预测准确性”,提示信息711B可以包括字符“请上传您的历史相片”,上传控件711C可以用于用户上传本人人脸的历史图像,提示信息711D可以包括字符“请上传您亲属(如父母、爷爷奶奶、外公外婆等长辈)的相片”,上传控件711E可以用于用户上传亲属的人脸图像。确定控件711F可以用于触发通过上传控件711C和上传控件711E上传的人脸图像进行人脸局部预测,取消控件711G可以用于取消人脸局部预测,跳过控件711H可以用于跳过上传人脸图像并触发进行人脸局部预测。在一些示例中,电子设备100可以响应于针对图4的(B)所示的用户界面420中的提示框421的触摸操作(例如点击操作),显示图7所示的用户界面710,电子设备100获取到用户基于用户界面710上传的本人人脸的历史图像和/或亲属的人脸图像后,可以结合这些图像获取用户界面420中的窗口411所示的人脸图像1中的眼睛411B的预测图像。
在一种实施方式中,电子设备100获取人脸局部的预测图像之前,可以先提示用户输入人脸局部的预测时间,具体示例可参见图8所示的用户界面810。
如图8所示,用户界面810可以包括提示框811,提示框811可以包括提示信息811A、时间信息811B(包括输入框811C)、确定控件811D和取消控件811E。其中,提示信息811A可以包括字符“请输入预测时间”,输入框811C可以用于输入数字,例如输入数字“30”时,可以表征用户当前选择获取人脸局部在30年后的预测图像(即预测时间为30年),确定控件811D可以用于触发基于用户当前输入的预测时间进行人脸局部预测,取消控件811E可以用于取消人脸局部预测。在一些示例中,电子设备100可以响应于针对图4的(B)所示的用户界面420中的提示框421的触摸操作(例如点击操作),显示图8所示的用户界面810,电子设备100获取到用户基于用户界面810输入的预测时间后,可以获取用户界面420中的窗口411所示的人脸图像1中的眼睛411B在该预测时间后的预测图像,例如,该预测时间为30年时,电子设备100显示该预测图像的界面可参见图4的(C)所示的用户界面430。
不限于上述实施方式,在另一种实施方式中,电子设备100也可以预设有预测时间,当用户未输入预测时间时,可以根据预设的预测时间获取人脸局部的预测图像。
图9示例性示出又一种获取人脸局部的预测图像的用户界面示意图。
如图9的(A)所示,电子设备100可以显示镜子应用的用户界面910,用户界面910可以包括窗口911和页面栏412,其中,窗口911可以用于显示电子设备100通过摄像头(例如图9的(A)所示的摄像头193-1)拍摄到的实时图像,页面栏412可以包括多个页面选项,例如但不限于“镜子”的选项412A、“预测”的选项412B、“测肤”的选项412C和“我的”的选项412D,其中,选项412A为选中状态。在一种实施方式中,窗口911中的用户911A可以将手指放置在眼睛911B附近,当电子设备100检测到该放置时长大于或等于预设时长(例如5秒)时,可以获取眼睛911B在一段时间后的预测图像,并显示该预测图像,具体可参见图9的(B)所示的用户界面920。
如图9的(B)所示,用户界面920和图9的(A)所示的用户界面910类似,用户界面920中的窗口911不仅包括用户911A(包括眼睛911B),还包括眼睛911B的预测图像911C和预测图像911C的说明911D,说明911D可以包括字符“大数据趋势预测,在5年后,你的眼部可能会长这样”,可以表征预测图像911C为获取的眼睛911B在5年后的预测图像。相比窗口911所示的眼睛911B,预测图像911C所示的眼睛的黑眼圈较重。并且,用户界面920还包括广告信息922,广告信息922可以指示和眼睛911B和/或预测图像911C相关的产品,广告信息922可以包括该产品的图片、说明922A和购买控件,说明922A可以包括该产品的名称“小C眼霜”和宣传语“有效淡化黑眼圈”,例如理解为是:该产品为根据获取的预测图像911C确定的、用于改善预测图像911C对应的黑眼圈加深问题的“小C眼霜”。
在一种实施方式中,电子设备100获取眼睛911B的预测图像之前,可以先提示用户上传本人人脸的历史图像和/或亲属的人脸图像等,具体示例和图7类似,不再赘述。
在一种实施方式中,电子设备100获取眼睛911B的预测图像之前,可以先提示用户输入人脸局部的时间,具体示例和图8类似,不再赘述。
在一种实施方式中,图9的(B)所示的用户界面920中的窗口911用于显示摄像头拍摄到的实时图像,因此,窗口911中的用户911A的人脸角度可以发生变化,相应地,窗口911所示的用户911A的眼睛911B的角度也会发生变化,电子设备100可以根据变化后的眼睛911B获取新的预测图像,以使预测图像所示的眼睛的角度可以和窗口911所示的眼睛911B的角度一致,具体示例可参见图10所示的用户界面930。和图9的(B)所示的用户界面920中的用户911A的人脸角度(正视前方)不同,图10所示的用户界面930中的用户911A的人脸角度为仰视上方,相应地,用户界面930中的用户911A的眼睛911B的角度也和用户界面920中的用户911A的眼睛911B的角度不同,用户界面930中的眼睛911B的预测图像931和用户界面920中的眼睛911B的预测图像911C不同,用户界面930中的预测图像931所示的眼睛的角度和用户界面930中的眼睛911B的角度一致。这样可以方便用户通过不同角度查看人脸局部的预测图像,进一步提升用户体验感。
在一种实施方式中,图9所示的实施方式之后,图9的(B)所示的用户界面920中的窗口911内的用户911A可以将手指放置在其他部位,当电子设备100检测到该放置时长大于或等于预设时长时,可以显示该其他部位的预测图像。
在一种实施方式中,电子设备100还可以提供针对人脸局部的历史变化趋势的评估功能。在一些示例中,电子设备100可以在图4的(B)所示的用户界面420中显示提示信息,该提示信息例如为“点击查看眼部皮肤的历史变化趋势”,电子设备100可以响应于针对该提示信息的触摸操作,根据用户界面420中的眼睛411B的历史数据评估眼睛411B的历史变化趋势,并显示对应的评估信息,例如为“最近眼部纹路加深了”,其中,眼睛411B的历史数据例如但不限于包括历史采集到的图像、通过“测肤”功能得到的历史状态数据(例如眼纹的深浅程度和黑眼圈的深浅程度)等。
在一种实施方式中,电子设备100接收到用于选择人脸局部的用户操作后,可以先显示该人脸局部的历史变化趋势的评估信息,例如为“最近眼部纹路加深了,想看未来眼部皮肤趋势,请点击跳转”,电子设备100可以响应于针对该评估信息的触摸操作(例如点击操作),显示该人脸局部的预测图像。可以理解为是通过历史变化趋势的评估信息来吸引用户使用人脸局部的预测功能,提升功能使用率和用户粘性。
以上实施方式中的用户操作仅为示例,在另一种实施方式中,用户可以通过语音输入或脑电波选择人脸局部,本申请对用于选择人脸局部的用户操作不作限定。
在一种实施方式中,电子设备100可以默认开启人脸局部预测的功能,在另一种实施方式中,电子设备100可以响应于用户操作开启人脸局部预测的功能,具体示例可参见图11。
如图11的(A)所示,电子设备100可以显示用户界面1010,在一些示例中,用户界面1010为电子设备100的系统设置界面,另一些示例中,用户界面1010为镜子应用的设置界面。用户界面1010可以包括功能名称1011和开关控件1012,功能名称1011可以包括字符“局部预测功能”,开关控件1012用于开启或关闭功能名称1011指示的局部预测功能。用户界面1010可以包括上述局部预测功能的功能说明1013和功能说明1014,功能说明1013可以包括字符“开启后可通过长按屏幕、手指人脸局部来触发人脸局部的预测”,功能说明1014可以包括字符“首次使用需录入基础的人脸数据,开启后,在使用过程中可能会采集人脸数据,该功能不影响其他操作”。
在一些示例中,上述开关控件1012为开启状态,即已开启上述局部预测功能时,用户界面1010还显示有列表说明1015和对应的列表,列表说明1015可以包括字符“上传相关人脸数据以提示预测准确性”,列表例如包括“基础数据”的选项1016A、“历史相片”的选项1017A和“亲属相片”的选项1018A,其中,选项1016A旁显示的录入控件1016B可以用于录入电子设备100的使用者当前的人脸数据作为“基础数据”,选项1017A旁显示的上传控件1017B可以用于上传电子设备100的使用者人脸的历史图像(即上述“历史相片”),选项1018A旁显示的上传控件1018B可以用于上传电子设备100的使用者的亲属的人脸图像(即上述“亲属相片”)。
在一些示例中,电子设备100可以响应于针对录入控件1016B的触摸操作,通过摄像头拍摄用户的人脸图像,例如显示图11的(B)所示的用户界面1020,用户界面1020可以包括取景框1021和提示信息1022,提示信息1022可以包括字符“基础数据录入中”,取景框1021可以用于显示通过摄像头(例如图11的(B)所示的摄像头193-1)拍摄到的人脸图像。
基于以上实施例介绍本申请涉及的人脸分析方法。该方法可以应用于图1A所示的人脸分析系统10。该方法可以应用于图1B所示的人脸分析系统10。
请参见图12,图12是本申请实施例提供的一种人脸分析方法的流程示意图。该方法可以包括但不限于如下步骤:
S101:电子设备100启动第一应用。
在一种实施方式中,电子设备100的第一应用可以为预测应用,或者封装了预测的功能组件的应用,例如图4-图10所示的镜子应用,或者医美/护肤应用。
在一种实施方式中,电子设备100接收到用于启动第一应用的用户操作,例如,电子设备100的触摸传感器和/或压力传感器接收到针对桌面的第一应用的图标的触摸操作,响应于该用户操作,电子设备100启动第一应用。
S102:当局部预测功能开启时,第一应用周期性检测用户是否执行局部预测功能的触发操作。
在一种实施方式中,上述S102为可选的步骤。
在一种实施方式中,局部预测功能用于获取人脸局部在第一时段后的预测图像。
在一种实施方式中,电子设备100可以默认开启局部预测功能,在另一种实施方式中,在S102之前,电子设备100可以响应于用户操作开启局部预测功能,设置界面的示例可参见上图11。
在一种实施方式中,局部预测功能的触发操作可以但不限于包括:将手放置在人脸局部附近且放置时长大于或等于预设时长(例如图9的(A)所示的用户界面910中用户911A将手放置在眼睛911B附近超过5秒),针对人脸上的任一部位的特定手势(例如图4的(B)所示的用户界面420中用户411A手指指向眼睛411B,或者圈住眼睛的O形手势等),针对显示屏显示的人脸局部的触摸操作(例如图5的(B)所示的用户界面510中手指围绕法令纹区域511A画圈的滑动操作,或图6的(B)所示的用户界面610中针对法令纹区域411C的长按操作)。
在一些示例中,第一应用可以周期性开启电子设备100的摄像头,根据摄像头拍摄到的图像检测用户是否执行局部预测功能的触发操作,例如上述将手放置在人脸局部附近且放置时长大于或等于预设时长,上述针对人脸上的任一部位的特定手势等。
不限于上述实施方式,在另一种实施方式中,第一应用也可以持续检测用户是否执行局部预测功能的触发操作,例如第一应用持续开启电子设备100的摄像头,根据摄像头拍摄到的实时图像检测用户是否执行局部预测功能的触发操作,例如上述将手放置在人脸局部附近且放置时长大于或等于预设时长,上述针对人脸上的任一部位的特定手势等。在另一种实施方式中,第一应用可以在接收到电子设备100的触摸传感器和/或压力传感器上报的和触摸操作相关的事件的情况下,根据该事件检测用户是否执行局部预测功能的触发操作,例如上述针对显示屏显示的人脸局部的触摸操作,该情况可以理解为是触发检测。本申请对如何检测用户是否执行局部预测功能的触发操作不作限定。
S103:第一应用周期性采集人脸数据。
在一种实施方式中,上述S103为可选的步骤。
在一种实施方式中,当局部预测功能开启时,第一应用可以周期性采集人脸数据,例如每隔2秒拍摄一张人脸图像。不限于此,在另一种实施方式中,第一应用也可以不定期采集人脸数据,例如检测到完整人脸时拍摄一张人脸图像。
S104:第一应用可以通过电子设备100的存储模块存储采集的人脸数据。
在一种实施方式中,上述S104为可选的步骤。
在一种实施方式中,电子设备100的存储模块可以属于第一应用。
在一种实施方式中,第一应用还可以显示提示信息,该提示信息用于提示用户录入基础数据、上传历史相片和/或上传亲属相片,界面示例可参见上图11。第一应用可以通过存储模块存储用户主动录入的基础数据、历史相片和/或亲属相片。
在一种实施方式中,存储模块存储的人脸数据可以用于实现局部预测功能。
S105:第一应用获取第一人脸图像。
在一种实施方式中,第一应用响应于用户操作,拍摄第一人脸图像,具体示例可参见图4的(A)和(B)的说明。
在另一种实施方式中,第一应用响应于用户操作,从图库中获取第一人脸图像,具体示例可参见图5的(A)和(B)的说明。在一些示例中,上述图库为电子设备100本地的图库,因此,上述从图库中获取第一人脸图像可以为从电子设备100的存储器中获取第一人脸图像,在另一些示例中,上述图库为云图库,因此,上述从图库中获取第一人脸图像可以为接收服务器发送的第一人脸图像,该服务器例如为图库的应用服务器。
在另一种实施方式中,第一应用通过电子设备100的摄像头实时采集用户的人脸图像,上述第一人脸图像可以为第一应用在某一时刻采集到的人脸图像,具体示例可参见图9的(A)的说明。
S106:第一应用检测到用户执行针对人脸部位1的第一用户操作。
在一种实施方式中,人脸部位1属于第一用户的人脸,上述第一人脸图像可以包括第一用户的人脸。
在一种实施方式中,S106可以包括:第一应用识别到第一人脸图像中的第一用户执行针对人脸部位1的第一用户操作,其中,第一用户操作可以但不限于为S102中的针对人脸上的任一部位的特定手势,具体示例可参见图4的(B)的说明。
在另一种实施方式中,S106可以包括:第一应用显示第一人脸图像时,接收针对第一人脸图像中的人脸部位1的第一用户操作,其中,第一用户操作可以但不限于为S102中的针对显示屏显示的人脸局部的触摸操作,具体示例可参见图5的(B)的说明。
在另一种实施方式中,S106可以包括:第一应用根据摄像头实时采集的第一用户的人脸图像,检测到第一用户执行针对人脸部位1的第一用户操作,其中,第一用户操作可以但不限于为S102中的针对人脸上的任一部位的特定手势、将手放置在人脸局部附近且放置时长大于或等于预设时长,具体示例可参见图9的(A)的说明。在一些示例中,在这种情况下,第一人脸图像可以是第一应用检测到第一用户操作之前/时/之后获取的,即S105和S106的顺序不作限定。
S107:第一应用在第一人脸图像中获取人脸部位1的信息1。
在一种实施方式中,第一应用可以根据第一用户操作,在第一人脸图像中获取人脸部位1的信息,人脸部位1的信息可以但不限于包括人脸部位1的图像和/或特征等。
在一种实施方式中,第一应用可以根据人脸部位1的信息1获取人脸部位1所属的分类,例如但不限于为发际线、额头、眉毛、眼睛、鼻子、鼻基底/法令纹、嘴唇、下巴、脸颊、耳朵等。在一些示例中,S107之后,该方法还包括S108和S109,具体如下所示:
S108:第一应用向网络设备200的分类服务请求获取人脸部位1所属的分类。
例如,第一应用可以向分类服务发送请求消息,该请求消息用于请求获取人脸部位1所属的分类,该请求消息可以包括人脸部位1的信息1。
S109:分类服务向第一应用发送人脸部位1所属的分类。
例如,分类服务接收到上述请求消息后,根据人脸部位1的信息1识别出人脸部位1所属的分类,并返回给第一应用。
S110:第一应用向网络设备200的对比服务请求获取人脸部位1的预测图像。
在一种实施方式中,第一应用可以向对比服务发送请求消息,该请求消息用于请求获取人脸部位1在第一时段后的预测图像。该请求消息可以包括人脸部位1的信息1,在一些示例中,该请求消息可以包括第一人脸图像。
在一种实施方式中,上述请求消息可以包括人脸部位1所属的分类,在另一种实施方式中,S108-S109执行之后,网络设备200的分类服务可以向对比服务发送人脸部位1所属的分类。
在一种实施方式中,第一应用获取到人脸部位1所属的分类后,可以根据该分类从存储模块获取人脸部位1相关的人脸数据,在一些示例中,存储模块可以按照不同用户、不同人脸部位所属的分类存储人脸数据,例如,用户A的鼻子对应人脸数据1,用户A的眼睛对应人脸数据2,用户B的鼻子对应人脸数据3,第一应用可以先识别第一人脸图像中的第一用户,然后根据第一用户和人脸部位1所属的分类获取对应的人脸数据(即上述人脸部位1相关的人脸数据)。在一些示例中,人脸部位1相关的人脸数据可以包括第一用户的基础数据、第一用户的历史相片和/或第一用户的亲属的人脸图像(即亲属相片),可选地,具体包括其中的人脸部位1的数据。在一种实施方式中,上述请求消息可以包括人脸部位1相关的人脸数据。不限于此,在另一种实施方式中,第一应用也可以在识别出第一人脸图像中的第一用户后,从存储模块获取第一用户相关的人脸数据,上述请求消息可以包括第一用户相关的人脸数据,第一用户相关的人脸数据的示例和上述人脸部位1相关的人脸数据的示例类似。
在一种实施方式中,S106之后,第一应用可以获取用户主动上传的用户人脸的历史图像和/或亲属的人脸图像,在一些示例中,第一应用可以显示提示信息,该提示信息用于提示用户上传本人人脸的历史图像和/或亲属的人脸图像等,具体示例可参见图7。在一种实施方式中,上述请求消息可以包括获取的用户人脸的历史图像和/或亲属的人脸图像。
在一种实施方式中,S106之后,第一应用可以获取用户输入的第一时段,在一些示例中,第一应用可以显示提示信息,该提示信息用于提示用户输入预测时间,界面示例可参见图8。在一种实施方式中,上述请求消息可以包括第一时段。在另一种实施方式中,第一时段为预设的。
S111:对比服务通过网络设备200的大数据采样服务获取人脸部位1相关的大众样本数据和广告数据。
在一种实施方式中,对比服务可以根据人脸部位1所属的分类,通过大数据采样服务从互联网中获取人脸部位1相关的大众样本数据,其中,人脸部位1相关的大众样本数据可以但不限于包括人脸部位1在多个年龄段的特征信息和/或图像。
在一种实施方式中,对比服务还可以根据人脸部位1所属的分类,通过大数据采样服务从互联网中获取人脸部位1相关的广告数据,其中,人脸部位1相关的广告数据可以但不限于包括针对人脸部位1的护肤品、化妆品、药品的广告信息/产品信息等,例如,眼睛相关的广告数据包括眼霜、遮瑕膏、眼药水等产品的信息。
S112:对比服务根据人脸部位1的信息1和人脸部位1相关的大众样本数据确定人脸部位1的预测图像。
在一种实施方式中,对比服务可以根据电子设备100发送的人脸部位1相关的人脸数据、第一用户人脸的历史图像和第一用户的亲属的人脸图像中的至少一项,从人脸部位1相关的大众样本数据中筛选出:和人脸部位1的历史生长趋势的匹配度最高的大众样本数据1,其中,人脸部位1的历史生长趋势可以是根据电子设备100发送的人脸部位1相关的人脸数据、第一用户人脸的历史图像和第一用户的亲属的人脸图像中的至少一项得到的。例如,假设人脸部位1为眼睛,对比服务获取的人脸部位1的历史生长趋势为纹路增加较快和黑眼圈加深较慢,而人脸部位1相关的大众样本数据中,大众样本数据1包括的眼睛在各个年龄段的增长趋势为纹路增加较快和黑眼圈加深较慢,大众样本数据2包括的眼睛在各个年龄段的增长趋势为纹路增加较慢和黑眼圈加深较快,因此,对比服务可以筛选出和人脸部位1的历史生长趋势更匹配的大众样本数据1。在一种实施方式中,对比服务可以根据大众样本数据1和人脸部位1的信息1获取人脸部位1在第一时段后的预测图像。可以理解为是,人脸局部的预测图像是结合个人代谢情况和/或皮肤趋势(可通过上述人脸部位1相关的人脸数据、第一用户人脸的历史图像和第一用户的亲属的人脸图像体现)以及大数据(即大众样本数据)得到的,预测准确度更高。
在一种实施方式中,对比服务可以根据预测数据从人脸部位1相关的广告数据中筛选出广告数据1,预测数据例如但不限于包括人脸部位1所属的分类、大众样本数据1和/或人脸部位1的预测图像。
例如,人脸部位1为眼睛时,广告数据1为眼霜、眼药水等产品的广告数据,人脸部位1为鼻子时,广告数据1为清洁面膜等产品的广告数据。
例如,图4的(C)所示的用户界面430中,预测图像431所示的眼睛比窗口411所示的眼睛411B的纹路多,但黑眼圈变化不大,因此,眼睛411B对应的广告信息433指示宣传语为“紧致眼周,淡化细纹”的眼霜。而图9的(B)所示的用户界面920中,预测图像911C所示的眼睛比窗口911所示的眼睛911B的黑眼圈深,但纹路变化不大,因此,眼睛911B对应的广告信息922指示宣传语为“有效淡化黑眼圈”的眼霜。
S113:对比服务向第一应用发送人脸部位1的预测图像。
在一种实施方式中,对比服务还向第一应用发送S112中的广告数据1。
S114:第一应用显示人脸部位1的预测图像。
在一种实施方式中,第一应用显示人脸部位1的预测图像时,还显示第一人脸图像的部分或全部,例如显示第一人脸图像中人脸部位1所在的区域。
在一种实施方式中,第一应用接收到对比服务发送的人脸部位1的预测图像和广告数据1后,可以显示该预测图像和该广告数据1。
S114的示例可参见图4的(C)所示的用户界面430、图5的(C)所示的用户界面520、图9的(B)所示的用户界面920。
在一种实施方式中,S114之后,该方法还包括:第一应用根据实时采集的第一用户的人脸图像,检测到第一用户的人脸角度变化时,可以重新向对比服务获取角度变化后的人脸部位1的预测图像,并显示重新获取的预测图像,具体过程和S110-S114类似,区别在于,第一人脸图像需替换为人脸角度变化后的第一用户的人脸图像,具体示例可参见图10。
在上述方法中,电子设备可以根据用户行为快速识别出用户意图了解的人脸局部,并准确预测和显示该人脸局部的预测图像,减少手动裁剪整张人脸的图像得到人脸局部的图像等不必要的用户操作,智能化程度更高,同时,该预测图像可以是结合该用户人脸的历史图像和/或该用户的亲属的人脸图像得到的,可以理解为是结合个人代谢情况和/或皮肤趋势得到的,有效提升预测准确度,用户可以根据局部预测功能更加了解自人脸局部的未来变化趋势,及时作出调整,更具有实际的医用价值。电子设备还可以结合准确的预测数据进行广告的精准推送,不仅提升了产品的商业价值,而且可以提升用户体验。并且,上述用户行为多种多样,用户使用更加灵活,体验感更好。
请参见图13,图13是本申请实施例提供的又一种人脸分析方法的流程示意图。该方法可以包括但不限于如下步骤:
S201:电子设备100启动第一应用。
S201和图12的S101类似,具体可参见图12的S101的说明。
S202:当局部评估功能开启时,第一应用周期性检测用户是否执行局部评估功能的触发操作。
S202和图12的S102类似,具体可参见图12的S102的说明,其中,局部评估功能用于获取人脸局部的历史变化趋势(简称评估信息)。
S203:第一应用周期性采集人脸数据。
S204:第一应用可以通过电子设备100的存储模块存储采集的人脸数据。
S203-S204和图12的S103-S104类似,具体可参见图12的S103-S104的说明,其中,存储模块存储的人脸数据可以用于实现局部评估功能。
S205:第一应用获取第二人脸图像。
S206:第一应用检测到用户执行针对人脸部位2的第二用户操作。
S207:第一应用在第二人脸图像中获取人脸部位2的信息2。
S205-S207和图12的S105-S107类似,区别在于,第一人脸图像需替换为第二人脸图像,第一用户需替换为第二用户,人脸部位1需替换为人脸部位2,信息1需替换为信息2,第一用户操作需替换为第二用户操作,具体可参见图12的S105-S107的说明。
在一种实施方式中,第一应用可以根据人脸部位2的信息2获取人脸部位2所属的分类。
在一些示例中,S207之后,该方法还包括S208-S209,具体如下所示:
S208:第一应用向网络设备200的分类服务请求获取人脸部位2所属的分类。
S209:分类服务向第一应用发送人脸部位2所属的分类。
S208-S209的示例可参见图12的S108-S109的示例。
S210:第一应用从存储模块获取人脸部位2相关的人脸数据。
在一种实施方式中,第一应用获取到人脸部位2所属的分类后,可以根据该分类从存储模块获取人脸部位2相关的人脸数据,具体示例和图12的S110中第一应用获取人脸部位1相关的人脸数据的示例类似,不再赘述。
不限于此,在另一种实施方式中,第一应用也可以在识别出第一人脸图像中的第一用户后,从存储模块获取第一用户相关的人脸数据。
S211:第一应用根据人脸部位2的信息2和人脸部位2相关的人脸数据确定人脸部位2的评估信息。
在一种实施方式中,第一应用可以根据人脸部位2相关的人脸数据获取第二用户的人脸部位2的信息3,并对比人脸部位2的信息2和信息3,以获取第二用户的人脸部位2的历史变化趋势/历史生长趋势(即评估信息),其中,该评估信息可以理解为是:相比信息3表征的人脸部位2的状态(可以理解为是历史状态),信息2表征的人脸部位2的状态(可以理解为是当前状态)的变化情况。
S212:第一应用显示人脸部位2的评估信息。
例如,人脸部位2为眼睛,该评估信息可以为“最近眼部纹路加深了”。
例如,人脸部位2为鼻子,该评估信息可以为“最近黑头增多了”。
在一种实施方式中,S212之后,该方法还包括:第一应用响应于针对上述人脸部位2的评估信息的用户操作(例如触摸操作),获取第二人脸图像中的人脸部位2在第二时段后的预测图像,具体过程和图12的S110-S114类似,不再赘述。
在图13所示的方法中,电子设备可以根据用户行为快速识别出用户意图了解的人脸局部,并准确评估和显示该人脸局部的历史变化趋势,用户可以根据局部评估功能更加了解面部的历史变化趋势,进一步丰富产品功能,提升用户体验。并且,上述用户行为多种多样,用户使用更加灵活,体验感更好。
本申请各实施例提供的方法中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机可以存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,数字视频光盘(digital video disc,DWD)、或者半导体介质(例如,固态硬盘(solid state disk,SSD)等。以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (14)
1.一种人脸分析方法,其特征在于,应用于电子设备,所述方法包括:
获取包含用户人脸的第一图像;
在所述第一图像中获取所述用户人脸的第一部位的第一信息;
响应于第一用户操作,获取第二图像,所述第二图像包括所述第一部位在第一时段后的预测图像,所述第二图像是基于所述第一部位的所述第一信息获得的;
显示第一界面,所述第一界面包括所述第二图像及所述第一图像。
2.如权利要求1所述的方法,其特征在于,所述在所述第一图像中获取所述用户人脸的第一部位的第一信息,包括:
识别到所述第一图像中的用户手势,根据所述用户手势获取所述第一部位的所述第一信息;或者,
所述电子设备显示所述第一图像,接收针对所述第一图像中的所述第一部位的所述第一用户操作,响应于所述第一用户操作,在所述第一图像中获取所述第一部位的所述第一信息。
3.如权利要求1或2所述的方法,其特征在于,所述第一部位为发际线、额头、眉毛、眼睛、鼻子、法令纹、嘴唇、下巴、脸颊或耳朵。
4.如权利要求1-3任一项所述的方法,其特征在于,所述第一图像是通过所述电子设备的摄像头采集到的,在所述显示第一界面之后,所述方法还包括:
通过所述电子设备的摄像头采集第三图像;
获取所述第三图像中所述第一部位的第二信息;
获取第四图像,所述第四图像包括所述第一部位在第二时段后的预测图像,所述第四图像是基于所述第一部位的所述第二信息获得的;
显示所述第四图像和所述第三图像。
5.如权利要求4所述的方法,其特征在于,所述第三图像和所述第一图像中所述第一部位的显示角度不同,所述第四图像和所述第二图像中所述第一部位的显示角度不同。
6.如权利要求1-5任一项所述的方法,其特征在于,所述第一用户操作为针对所述电子设备显示的预测控件的用户操作,或者,所述第一用户操作为针对所述第一图像中的所述第一部位的用户操作。
7.如权利要求1-6任一项所述的方法,其特征在于,所述第一图像是通过所述电子设备的摄像头采集到的,或者,所述第一图像是所述电子设备响应于第二用户操作从图库中获取的。
8.如权利要求1-7任一项所述的方法,其特征在于,所述第一界面还包括广告信息,所述广告信息和所述第一部位和/或所述第二图像相关。
9.如权利要求1-8任一项所述的方法,其特征在于,所述第一时段为所述电子设备接收用户输入的,或者,所述第一时段为所述电子设备预设的。
10.如权利要求1-9任一项所述的方法,其特征在于,所述方法还包括:
接收用户输入的第五图像,所述第五图像包括所述用户人脸的历史图像,和/或用户亲属的人脸图像,所述第二图像是基于所述第一部位的所述第一信息和所述第五图像获得的。
11.如权利要求10所述的方法,其特征在于,所述获取第二图像,包括:
向网络设备发送请求消息,所述请求消息用于请求获取所述第二图像,所述请求消息包括所述第一部位的所述第一信息;
接收所述网络设备发送的所述第二图像,所述第二图像是所述网络设备基于所述第一信息和第三信息获取的,所述第三信息包括所述网络设备从互联网获取的第二部位的信息,所述第二部位和所述第一部位的分类相同。
12.如权利要求11所述的方法,其特征在于,所述请求消息还包括所述第五图像。
13.一种电子设备,其特征在于,包括收发器、处理器和存储器,所述存储器用于存储计算机程序,所述处理器调用所述计算机程序,用于执行如权利要求1-12任一项所述的方法。
14.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序被处理器执行时,实现权利要求1-12任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211001668.9A CN117636413A (zh) | 2022-08-19 | 2022-08-19 | 一种人脸分析方法、电子设备和网络设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211001668.9A CN117636413A (zh) | 2022-08-19 | 2022-08-19 | 一种人脸分析方法、电子设备和网络设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117636413A true CN117636413A (zh) | 2024-03-01 |
Family
ID=90024141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211001668.9A Pending CN117636413A (zh) | 2022-08-19 | 2022-08-19 | 一种人脸分析方法、电子设备和网络设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117636413A (zh) |
-
2022
- 2022-08-19 CN CN202211001668.9A patent/CN117636413A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115866121B (zh) | 应用界面交互方法、电子设备和计算机可读存储介质 | |
US20220350450A1 (en) | Processing Method for Waiting Scenario in Application and Apparatus | |
KR102349428B1 (ko) | 이미지 처리 방법 및 이를 지원하는 전자장치 | |
WO2020029306A1 (zh) | 一种图像拍摄方法及电子设备 | |
CN112950525B (zh) | 图像检测方法、装置及电子设备 | |
CN113170037B (zh) | 一种拍摄长曝光图像的方法和电子设备 | |
WO2020042112A1 (zh) | 一种终端对ai任务支持能力的评测方法及终端 | |
WO2020088633A1 (zh) | 支付方法、装置和用户设备 | |
WO2022042766A1 (zh) | 信息显示方法、终端设备及计算机可读存储介质 | |
CN111400605A (zh) | 基于眼球追踪的推荐方法及装置 | |
CN111580671A (zh) | 视频图像处理方法及相关装置 | |
CN115333941B (zh) | 获取应用运行情况的方法及相关设备 | |
WO2022166435A1 (zh) | 分享图片的方法和电子设备 | |
WO2022052786A1 (zh) | 皮肤敏感度的显示方法、装置、电子设备及可读存储介质 | |
CN115115679A (zh) | 一种图像配准方法及相关设备 | |
WO2020062014A1 (zh) | 一种向输入框中输入信息的方法及电子设备 | |
CN116389884B (zh) | 缩略图显示方法及终端设备 | |
CN115437601B (zh) | 图像排序方法、电子设备、程序产品及介质 | |
CN114079730A (zh) | 一种拍摄方法和拍摄系统 | |
WO2022078116A1 (zh) | 笔刷效果图生成方法、图像编辑方法、设备和存储介质 | |
CN117009005A (zh) | 一种显示方法、汽车和电子设备 | |
CN116527266A (zh) | 数据归集方法及相关设备 | |
CN117636413A (zh) | 一种人脸分析方法、电子设备和网络设备 | |
CN115730091A (zh) | 批注展示方法、装置、终端设备及可读存储介质 | |
CN111339513A (zh) | 数据分享的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |