CN110956595A - 一种人脸美型处理的方法、装置、系统及存储介质 - Google Patents
一种人脸美型处理的方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN110956595A CN110956595A CN201911207522.8A CN201911207522A CN110956595A CN 110956595 A CN110956595 A CN 110956595A CN 201911207522 A CN201911207522 A CN 201911207522A CN 110956595 A CN110956595 A CN 110956595A
- Authority
- CN
- China
- Prior art keywords
- face image
- template
- template face
- terminal
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 238000012545 processing Methods 0.000 title claims abstract description 81
- 238000012986 modification Methods 0.000 claims abstract description 103
- 230000004048 modification Effects 0.000 claims abstract description 103
- 230000008569 process Effects 0.000 claims abstract description 33
- 230000001815 facial effect Effects 0.000 claims description 38
- 230000003796 beauty Effects 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 19
- 238000011156 evaluation Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000012552 review Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开公开了一种人脸美型处理的方法、装置、系统及存储介质,属于计算机技术领域。所述方法包括:向服务器发送携带有目标主播账户对应的人脸图像的模板推荐请求;接收并显示服务器发送的至少一个模板人脸图像;当接收到对至少一个模板人脸图像中第一模板人脸图像的修改指令时,基于修改指令对第一模板人脸图像进行修改,向服务器发送修改指令对应的修改信息;当接收到对至少一个模板人脸图像中第二模板人脸图像的选择使用指令时,将第二模板人脸图像设置为目标主播账户的直播过程中进行人脸美型处理的模板人脸图像。采用本公开可以提高主播的用户体验。
Description
技术领域
本公开涉及计算机技术领域,特别涉及一种人脸美型处理的方法、装置、系统及存储介质。
背景技术
在直播过程中,主播经常使用人脸美型功能或者人脸美型软件,以提高主播在直播过程中的颜值。
在相关技术中,服务器将主播的人脸图像输入机器学习模型建立一个的模板人脸图像,并将该模板人脸图像推荐给终端。服务器根据主播的人脸图像上的人脸关键点和该模板人脸图像的人脸关键点,以及一定的映射算法,将用户的人脸图像对齐到该模板人脸图像人脸图像上,获得映射之后的人脸图像。通过计算映射之后的人脸图像上的用户的人脸和模板人脸图像上的人脸之间的多个矢量距离,根据这些矢量距离,对主播已经拍摄到的人脸图像上的人脸进行变形,获得主播在直播过程中人脸美型处理的人脸。
在实现本公开的过程中,发明人发现相关技术至少存在以下问题:
针对上述人脸美型处理的方法,由于上述模板人脸图像是固定不变的,不能针对用户本身的审美品位,进而对用户做出针对性的推荐。
发明内容
为了解决相关技术中存在的技术问题,本实施例提供了一种人脸美型处理的方法、装置、系统及存储介质。所述人脸美型处理的方法、装置、系统及存储介质的技术方案如下:
第一方面,提供了一种人脸美型处理的方法,应用于终端,所述方法包括:
向服务器发送携带有目标主播账户对应的人脸图像的模板推荐请求,以使所述服务器基于所述人脸图像,以及预先训练的第一模板生成模型,确定至少一个模板人脸图像;
接收并显示所述服务器发送的所述至少一个模板人脸图像;
当接收到对所述至少一个模板人脸图像中第一模板人脸图像的修改指令时,基于所述修改指令对所述第一模板人脸图像进行修改,向所述服务器发送所述修改指令对应的修改信息,以使所述服务器基于所述修改信息和多组样本图像,对所述第一模板生成模型进行训练更新;
当接收到对所述至少一个模板人脸图像中第二模板人脸图像的选择使用指令时,将所述第二模板人脸图像设置为所述目标主播账户的直播过程中进行人脸美型处理的模板人脸图像。
可选的,所述方法还包括:
当接收到对所述至少一个模板人脸图像中第三模板人脸图像的抛弃指令时,向所述服务器发送携带有所述第三模板人脸图像的抛弃通知。
可选的,所述方法还包括:
每当接收到选择使用指令时,获取所述终端当前进行人脸美型处理的第四模板人脸图像;
向所述服务器发送所述第四模板人脸图像。
可选的,所述方法还包括:
当接收到对所述自定义模板人脸图像的选择使用指令时,将所述自定义模板人脸图像设置为所述目标主播账户的直播过程中进行人脸美型处理的模板人脸图像。
第二方面,提供了一种人脸美型处理的方法,应用于服务器,所述方法包括:
接收终端发送的携带有目标主播账户对应的人脸图像的模板推荐请求;
基于所述人脸图像,以及预先训练的第一模板生成模型,确定至少一个模板人脸图像,向所述终端发送所述至少一个模板人脸图像;
当接收到所述终端发送的修改信息时,基于所述修改信息和多组样本图像,对所述第一模板生成模型进行训练更新。
可选的,每组样本图像包括一个样本输入图像和多组样本输出参考图像,所述基于所述修改信息和多组样本图像,对第一模板生成模型进行训练更新,包括:
基于所述修改信息对每个样本输出参考图像分别进行修改,得到多组修改后的样本图像;
基于所述多组修改后的样本图像,对第一模板生成模型进行训练更新。
可选的,所述向所述终端发送所述至少一个模板人脸图像之后,还包括:
接收所述终端发送的携带有第三模板人脸图像的抛弃通知;
将所述第三模板人脸图像添加到所述目标主播账户对应的禁用人脸图像集合;
每当确定出待向所述终端发送的至少一个模板人脸图像时,在确定出的至少一个模板人脸图像中,选取出与所述禁用人脸图像集合中的图像相似度小于预设阈值的模板人脸图像,向所述终端发送选取出的模板人脸图像。
可选的,所述方法还包括:
接收所述终端发送的所述终端当前进行人脸美型处理的第四模板人脸图像;
如果所述终端使用所述第四模板人脸图像进行人脸美型处理的时长达到预设时长阈值,则确定所述第四模板人脸图像满足第一条件,如果所述终端使用所述第四模板人脸图像进行人脸美型处理的时长未达到所述预设时长阈值,则确定所述第四模板人脸图像不满足所述第一条件;
获取在所述终端使用所述第四模板人脸图像进行人脸美型处理的过程中所述目标主播账户的直播间中的评论信息、所述目标主播账户对应的评价标签和所述目标主播账户对应的粉丝账户的数量;
基于所述评论信息、所述评价信息和所述数量,确定所述第四模板人脸图像对应的用户参考分值;
如果所述用户参考分值大于预设分值阈值,则确定所述第四模板人脸图像满足第二条件,如果所述用户参考分值小于所述预设分值阈值,则确定所述第四模板人脸图像不满足所述第二条件;
如果所述第四模板人脸图像满足所述第一条件和所述第二条件,则将所述第四模板人脸图像做为基准人脸图像,添加到公共基准人脸图像集合,如果所述第四模板人脸图像满足所述第一条件不满足所述第二条件,则将所述第四模板人脸图像作为基准人脸图像,添加到所述主播账户对应的个人基准人脸图像集合。
可选的,所述接收终端发送的携带有目标主播账户对应的人脸图像的模板推荐请求之后,还包括:
在所述公共基准人脸图像集合中,选取与所述人脸图像相似度超过预设阈值的基准人脸图像,在所述主播账户对应的个人基准人脸图像集合中,选取与所述人脸图像相似度超过预设阈值的基准人脸图像;
分别基于选取的每个基准人脸图像对所述人脸图像进行调整,得到多个模板人脸图像;
向所述终端发送所述多个模板人脸图像。
第三方面提供了一种人脸美型处理的装置,所述装置包括:
请求模块,用于向服务器发送携带有目标主播账户对应的人脸图像的模板推荐请求,以使所述服务器基于所述人脸图像,以及预先训练的第一模板生成模型,确定至少一个模板人脸图像;
接收模块,用于接收并显示所述服务器发送的所述至少一个模板人脸图像;
修改模块,用于当接收到对所述至少一个模板人脸图像中第一模板人脸图像的修改指令时,基于所述修改指令对所述第一模板人脸图像进行修改,向所述服务器发送所述修改指令对应的修改信息,以使所述服务器基于所述修改信息和多组样本图像,对所述第一模板生成模型进行训练更新;
显示模块,用于当接收到对所述至少一个模板人脸图像中第二模板人脸图像的选择使用指令时,将所述第二模板人脸图像设置为所述目标主播账户的直播过程中进行人脸美型处理的模板人脸图像。
可选的,所述方法还包括:
当接收到对所述至少一个模板人脸图像中第三模板人脸图像的抛弃指令时,向所述服务器发送携带有所述第三模板人脸图像的抛弃通知。
可选的,所述方法还包括:
每当接收到选择使用指令时,获取所述终端当前进行人脸美型处理的第四模板人脸图像;
向所述服务器发送所述第四模板人脸图像。
可选的,所述方法还包括:
当接收到对所述自定义模板人脸图像的选择使用指令时,将所述自定义模板人脸图像设置为所述目标主播账户的直播过程中进行人脸美型处理的模板人脸图像。
第四方面,提供了一种人脸美型处理的装置,所述装置包括:
接收模块,用于接收终端发送的携带有目标主播账户对应的人脸图像的模板推荐请求;
生成模块,用于基于所述人脸图像,以及预先训练的第一模板生成模型,确定至少一个模板人脸图像,向所述终端发送所述至少一个模板人脸图像;
更新模块,用于当接收到所述终端发送的修改信息时,基于所述修改信息和多组样本图像,对所述第一模板生成模型进行训练更新。
可选的,每组样本图像包括一个样本输入图像和多组样本输出参考图像,所述基于所述修改信息和多组样本图像,对第一模板生成模型进行训练更新,包括:
基于所述修改信息对每个样本输出参考图像分别进行修改,得到多组修改后的样本图像;
基于所述多组修改后的样本图像,对第一模板生成模型进行训练更新。
可选的,所述向所述终端发送所述至少一个模板人脸图像之后,还包括:
接收所述终端发送的携带有第三模板人脸图像的抛弃通知;
将所述第三模板人脸图像添加到所述目标主播账户对应的禁用人脸图像集合;
每当确定出待向所述终端发送的至少一个模板人脸图像时,在确定出的至少一个模板人脸图像中,选取出与所述禁用人脸图像集合中的图像相似度小于预设阈值的模板人脸图像,向所述终端发送选取出的模板人脸图像。
可选的,所述方法还包括:
接收所述终端发送的所述终端当前进行人脸美型处理的第四模板人脸图像;
如果所述终端使用所述第四模板人脸图像进行人脸美型处理的时长达到预设时长阈值,则确定所述第四模板人脸图像满足第一条件,如果所述终端使用所述第四模板人脸图像进行人脸美型处理的时长未达到所述预设时长阈值,则确定所述第四模板人脸图像不满足所述第一条件;
获取在所述终端使用所述第四模板人脸图像进行人脸美型处理的过程中所述目标主播账户的直播间中的评论信息、所述目标主播账户对应的评价标签和所述目标主播账户对应的粉丝账户的数量;
基于所述评论信息、所述评价信息和所述数量,确定所述第四模板人脸图像对应的用户参考分值;
如果所述用户参考分值大于预设分值阈值,则确定所述第四模板人脸图像满足第二条件,如果所述用户参考分值小于所述预设分值阈值,则确定所述第四模板人脸图像不满足所述第二条件;
如果所述第四模板人脸图像满足所述第一条件和所述第二条件,则将所述第四模板人脸图像作为基准人脸图像,添加到公共基准人脸图像集合,如果所述第四模板人脸图像满足所述第一条件不满足所述第二条件,则将所述第四模板人脸图像作为基准人脸图像,添加到所述主播账户对应的个人基准人脸图像集合。
可选的,所述接收终端发送的携带有目标主播账户对应的人脸图像的模板推荐请求之后,还包括:
在所述公共基准人脸图像集合中,选取与所述人脸图像相似度超过预设阈值的基准人脸图像,在所述主播账户对应的个人基准人脸图像集合中,选取与所述人脸图像相似度超过预设阈值的基准人脸图像;
分别基于选取的每个基准人脸图像对所述人脸图像进行调整,得到多个模板人脸图像;
向所述终端发送所述多个模板人脸图像。
第五方面提供了一种人脸美型处理的系统,所述系统包括终端和服务器,其中:
所述终端,用于向所述服务器发送携带有目标主播账户对应的人脸图像的模板推荐请求,以使所述服务器基于所述人脸图像,以及预先训练的第一模板生成模型,确定至少一个模板人脸图像;接收并显示所述服务器发送的所述至少一个模板人脸图像;当接收到对所述至少一个模板人脸图像中第一模板人脸图像的修改指令时,基于所述修改指令对所述第一模板人脸图像进行修改,向所述服务器发送所述修改指令对应的修改信息,以使所述服务器基于所述修改信息和多组样本图像,对所述第一模板生成模型进行训练更新;当接收到对所述至少一个模板人脸图像中第二模板人脸图像的选择使用指令时,将所述第二模板人脸图像设置为所述目标主播账户的直播过程中进行人脸美型处理的模板人脸图像。
所述服务器,用于接收所述终端发送的携带有所述目标主播账户对应的人脸图像的模板推荐请求;基于所述人脸图像,以及所述预先训练的第一模板生成模型,确定所述至少一个模板人脸图像,向所述终端发送所述至少一个模板人脸图像;当接收到所述终端发送的修改信息时,基于所述修改信息和多组样本图像,对所述第一模板生成模型进行训练更新。
第六方面,提供了一种计算机设备,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如第一方面所述的人脸美型处理的方法。
第七方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如第一方面所述的人脸美型处理的方法。
本公开实施例提供的技术方案带来的有益效果至少包括:
本公开实施例中,服务器根据主播的人脸图像和第一模板生成模型生成至少一个模板人脸图像发送给终端,主播可以针对其中某个模板人脸图像进行修改,并操作终端将相应的修改信息发送给服务器,服务器可以基于修改信息对第一模板生成模型进行训练,可以用于后续的模板人脸图像生成,从而,可以基于主播的审美对模板生成模型进行针对性训练,使模板生成模型输出的模板人脸图像更加的贴切目标主播的审美,进而对不同的主播做出针对性推荐。可见,本公开提供的人脸美型处理的方法可以提高主播的用户体验。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种实施环境的示意图;
图2是本公开实施例提供的一种人脸美型处理的方法流程图;
图3是本公开实施例提供的一种人脸美型处理的方法流程图;
图4是本公开实施例提供的一种人脸美型处理的方法流程图;
图5是本公开实施例提供的一种人脸美型处理的方法示意图;
图6是本公开实施例提供的一种人脸美型处理的方法示意图;
图7是本公开实施例提供的一种人脸美型处理的方法示意图;
图8是本公开实施例提供的一种人脸美型处理的方法示意图;
图9是本公开实施例提供的一种人脸美型处理的装置结构示意图;
图10是本公开实施例提供的一种人脸美型处理的装置结构示意图;
图11是本公开实施例提供的一种终端结构示意图;
图12是本公开实施例提供的一种服务器结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开实施方式作进一步地详细描述。
本公开实施例提供了一种人脸美型处理的方法可以由计算机设备实现,该计算机设备可以是终端和服务器。该终端可以是手机、平板电脑、笔记本电脑等移动终端,也可以是台式计算机等固定终端。该服务器可以是一个单独的服务器也可以是一个服务器组,如果是单独的服务器,该服务器可以负责下述方案中的所有处理,如果是服务器组,服务器组中的不同服务器分别可以负责下述方案中的不同处理,具体的处理分配情况可以由技术人员根据实际需求任意设置,此处不再赘述。
本公开实施例提供的方法,如图1所示,在主播直播过程中,主播可以使用直播平台带有的人脸美型功能,也可以在直播过程中使用人脸美型软件。以直播平台带有的人脸美型功能为例,当目标主播账户打开直播软件时,目标主播账户可以根据该账户的喜好来决定是否开启人脸美型功能。当目标主播账户开启人脸美型功能时,直播软件会根据目标主播账户使用人脸美型功能的历史记录,或者预先训练的机器学习模型,来对目标主播账户登录的终端推荐至少一个模板人脸图像。如果目标主播账户选定推荐的至少一个模板人脸图像中的一个模板人脸图像且不对该模板人脸图像进行修改,且目标主播账户使用该模板人脸图像进行直播,此时,可以确定该模板人脸图像符合目标主播账户的审美。如果目标主播账户选定推荐的至少一个模板人脸图像中的一个模板人脸图像,并对该模板人脸图像进行修改,目标主播账户可以使用修改后的模板人脸图像进行直播,说明修改后的模板人脸图像符合目标主播账户的审美。如果目标主播账户未选定推荐的至少一个模板人脸图像中的任意一个模板人脸图像,只是对标准人脸图像进行修改,生成并使用目标主播自己自定义模板人脸图像,说明推荐的至少一个模板人脸图像都不符合目标主播账户的审美。目标主播账户所登陆的终端将修改的模板人脸图像,或者目标主播账户中存储的自定义模板人脸图像,上传到服务器并对服务器中存储的第一模板生成模型进行训练更新,从而达到对目标主播账户的审美进行针对性训练的目的,使得第一模板生成模型生成的至少一个模板人脸图像更加的贴切目标主播的审美,进而对不同的主播账户做出针对性推荐。
图2是本公开实施例提供的一种人脸美型处理的方法中终端侧的流程图。
参见图2,该实施例包括:
步骤201,向服务器发送携带有目标主播账户对应的人脸图像的模板推荐请求,以使服务器基于人脸图像,以及预先训练的第一模板生成模型,确定至少一个模板人脸图像。
步骤202,接收并显示服务器发送的至少一个模板人脸图像。
步骤203,当接收到对至少一个模板人脸图像中第一模板人脸图像的修改指令时,基于修改指令对第一模板人脸图像进行修改,向服务器发送修改指令对应的修改信息,以使服务器基于修改信息和多组样本图像,对第一模板生成模型进行训练更新。
步骤204,当接收到对至少一个模板人脸图像中第二模板人脸图像的选择使用指令时,将第二模板人脸图像设置为目标主播账户的直播过程中进行人脸美型处理的模板人脸图像。
图3是本公开实施例提供的一种人脸美型处理的方法中服务器侧的流程图。
参见图3,该实施例包括:
步骤301,接收终端发送的携带有目标主播账户对应的人脸图像的模板推荐请求。
步骤302,基于人脸图像,以及预先训练的第一模板生成模型,确定至少一个模板人脸图像,向终端发送至少一个模板人脸图像。
步骤303,当接收到终端发送的修改信息时,基于修改信息和多组样本图像,对第一模板生成模型进行训练更新。
图4是本公开实施例提供的一种人脸美型处理的方法中终端与服务器之间交互的流程图。参见图5,该实施例包括:
步骤401,服务器发送携带有目标主播账户对应的人脸图像的模板推荐请求。
其中,当目标主播打开带有人脸美型功能的直播软件,或者人脸美型软件时,终端自动向服务器发送携带有目标主播账户对应的人脸图像的模板推荐请求,或者当主播触发在直播软件上的人脸美型功能时,终端自动向服务器发送携带有目标主播账户对应的人脸图像的模板推荐请求。
在实施中,当目标主播账号触发在直播软件上的人脸美型功能时,终端可以通过安装在终端上的摄像头采集目标主播账户对应的人脸图像,或者通过接收安装有摄像头的设备发送来的目标主播账户对应的人脸图像,进而向服务器发送携带有目标主播账户对应的人脸图像的模板推荐请求。
步骤402,服务器接收终端发送的携带有目标主播账户对应的人脸图像的模板推荐请求。
步骤403,基于人脸图像,以及预先训练的第一模板生成模型,确定至少一个模板人脸图像,向终端发送至少一个模板人脸图像。
在人脸库中选取大量的具有美丽特征的人脸图像,其中,判断人脸图像是否具有美丽特征是以人的评价为标准。在选取出大量的具有美丽特征的人脸图像之后,使用大量的具有美丽特征的人脸图像来建立公共人脸集合,并将公共人脸集合中的所有人脸图像作为样本人脸图像。
将目标主播账户对应的人脸图像与人脸库中的样本人脸图像输入第一模板生成模型,生成至少一个模板人脸图像。
进一步的,通过第一模板生成模型筛选出与目标主播账户对应的人脸图像的相似度高于预设阈值的样本人脸图像,或者,通过第一模板生成模型筛选出预设数目个与目标主播账户对应的人脸图像相似的样本人脸图像,并根据这些样本人脸图像上的矢量距离,对目标主播账户对应的人脸图像进行修改,生成至少一个模板人脸图像。
可以使用大量的样本人脸图像对第一模板生成模型进行训练,进而使得第一模板生成模型学习到大量的样本人脸图像的美丽特征。
需要说明的是,一个人的美并没有统一的标准,不同的美丽人脸有着不同美丽的特征,使得机器学习模型学习所有美丽人脸图像的特征,生成一个最完美,且所有账户都认为美丽的人脸图像是不可能的。因此,第一模板生成模型学习到大量的样本人脸图像的美丽特征,当将目标主播账户对应的人脸图像输入预先训练的第一模板生成模型时,会产生至少一个模板人脸图像,可以认为对目标主播账户对应的人脸图像进行多种不同角度的调节,进而产生至少一个模板人脸图像,使得使用模板人脸图像的目标主播看起来更加的美丽。其中,当目标主播账户对应的人脸图像与至少一个模板人脸图像中的模板人脸图像的匹配度高,则该模板人脸图像相对于目标主播账户对应的人脸图像调节程度小,在直播过程中,使用该模板人脸图像的目标主播的看起来更加的自然,目标主播以及目标主播的粉丝喜欢该模板人脸图像的可能性更大。当目标主播账户对应的人脸图像与至少一个模板人脸图像中的模板人脸图像的匹配度低,则该模板人脸图像相对于目标主播账户对应的人脸图像调节程度大,在直播过程中,使用该模板人脸图像的目标主播的看起来更加的不自然,目标主播以及目标主播的粉丝不喜欢该模板人脸图像的可能性更大。因此,在实际过程中,往往将与目标主播账户对应的人脸图像的匹配度高于预设数值的模板人脸图像发送给终端。
例如,将目标主播的人脸图像和a-e等五人的样本人脸图像输入第一模板生成模型,将目标主播的人脸图像分别和a-e等五人的样本人脸图像相匹配,并计算目标主播的人脸图像分别和a-e等五人的样本人脸图像之间的匹配度,分别与a-e等五人的人脸的匹配度为80%、70%、70%、50%以及50%,将匹配度为80%、70%和70%的样本人脸图像选取出来,并根据选取出的样本人脸图像对目标主播的人脸图像分别进行修改,生成三个模板人脸图像,并将生成的模板人脸图像发送给终端。
在实施中,将目标主播对应的人脸图像输入预先训练的第一模板生成模型,确定至少一个模板人脸图像,向终端发送至少一个模板人脸图像。
步骤404,接收并显示服务器发送的至少一个模板人脸图像。
其中,当接收到服务器发送的至少一个模板人脸图像,此时,终端会获取同一模板人脸图像上的属性,以及每个属性所对应的数据,并在终端上显示同一模板人脸图像上的属性,以及属性所对应的数据。如图4所示,终端接收到三个脸型后,在图5所示的页面上可以选取任一脸型,并在下方显示该人脸所对应的属性,以及这些属性所对应的数据。
在实施中,终端接收到服务器发送的至少一个模板人脸图像,并在终端的显示界面显示至少一个模板人脸图像,以供用户选择。
可选的,在终端接收并显示服务器发送的至少一个模板人脸图像之后,目标主播账户可以直接选取至少一个模板人脸图像中的模板人脸图像设置为目标主播账户的直播过程中进行人脸美型处理的模板人脸图像。
步骤405,当接收到对至少一个模板人脸图像中第一模板人脸图像的修改指令时,基于修改指令对第一模板人脸图像进行修改,向服务器发送修改指令对应的修改信息,以使服务器基于修改信息和样本图像,对第一模板生成模型进行训练更新。
其中,至少一个模板人脸图像中的第一模板人脸图像并不能修改,如图5所示的模板人脸1号,此时只显示模板人脸1号的属性值,并不能做修改。如果目标主播账户需要对至少一个模板人脸图像中的第一模板人脸图像进行修改,需要先将第一模板人脸图像修改为自定义模板人脸图像,然后对自定义模板人脸图像进行修改,如图6所示,将模板人脸1号修改为自定义模板人脸图像,并选定微调人脸,此时可以对模板人脸1号对应的自定义模板人脸进行修改。
需要说明的,在步骤403中的第一模板生成模型可以是公共的,也可以是在步骤405中已经训练更新后且存储在服务器中的第一模板生成模型,此时第一模板生成模型为目标主播账户的私有的第一模板生成模型,即该第一模板生成模型生成的模板人脸图像只向目标主播账户推荐。
具体的,可以将第一模板人脸图像直接保存为自定义模板人脸图像,然后对自定义模板人脸图像进行修改。或者,当终端接收到对至少一个模板人脸图像中第一模板人脸图像的修改指令时,此时第一模板人脸图像进入自定义模式,可以根据该修改指令对第一模板人脸图像进行修改,将修改后的第一模板人脸图像保存为自定义模板人脸图像,此时,可以保留原先的第一模板人脸图像。
在实施中,当目标主播账户想要对至少一个模板人脸图像中第一模板人脸图像进行修改时,可以触发对第一模板人脸图像的修改指令。当终端接收到对第一模板人脸图像的修改指令时,可以根据该修改指令对第一模板人脸图像进行修改,向服务器发送修改指令对应的修改信息。
具体的,当目标主播账户想要对至少一个模板人脸图像中第一模板人脸图像进行修改时,可以触发对第一模板人脸图像的修改指令,第一模板人脸图像进入自定义模式,可以根据该修改指令对第一模板人脸图像进行修改,将修改后的第一模板人脸图像保存为自定义人脸图像,且保留原先的第一模板人脸图像。在修改第一模板人脸图像之后,向服务器发送该修改指令对应的修改信息。
在本实施例中,目标主播账户根据自己的意愿修改的第一模板人脸图像,使得修改后的第一模板人脸图像最大可能的符合目标主播账户的审美,从而,对目标主播账户做出针对性的推荐。
可选的,每当终端接收到选择使用指令时,终端获取终端当前进行人脸美型处理的第四模板人脸图像,向服务器发送第四模板人脸图像。
其中,第四模板人脸图像可以是模板人脸图像,也可以是自定义模板人脸图像。
当推荐的所有的模板人脸图像不符合目标主播账户的审美时,目标主播账户可以针对自定义模板人脸进行修改,如图7和图8所示,在选定自定义模板人脸之后,再选定微调人脸,实现对自定义模板人脸的修改。
在实施中,终端将终端当前进行人脸美型处理的第四模板人脸图像,即目标主播当前使用的第四模板人脸图像,发送给服务器。
可选的,当接收到对自定义模板人脸图像的选择使用指令时,将自定义模板人脸图像设置为目标主播账户的直播过程中进行人脸美型处理的模板人脸图像。
在实施中,在选定自定义模板人脸图像后,可以在右击将自定义模板人脸图像设置为目标主播账户的直播过程中进行人脸美型处理的模板人脸图像。
步骤406,当终端接收到对至少一个模板人脸图像中第二模板人脸图像的选择使用指令时,将第二模板人脸图像设置为目标主播账户的直播过程中进行人脸美型处理的模板人脸图像。
其中,第二模板人脸图像可以是修改过的第一模板人脸图像,也可以是其它模板人脸图像。
需要说明的是,步骤405和步骤406并不分先后,可以认为当目标主播账户选取第二模板人脸图像时,便针对第二模板人脸图像的某些位置便进行了修改,然后使用修改后的第二模板人脸图像进行直播,也可以认为在直播过程中,目标主播账户发现了第二模板人脸图像存在不完美的地方,并在直播后对第二模板人脸图像进行了修改。
步骤407,当服务器接收到终端发送的修改后的第一模板人脸图像时,基于修改信息和样本图像,对第一模板生成模型进行训练更新。
在实施中,当服务器接收到终端发送的修改后的第一模板人脸图像时,根据修改后的第一模板人脸图像与原来的第一模板人脸图像之间的数据差值,确定修改的人脸参数以及该人脸参数所对应的数据。根据修改信息和多组样本,对第一模板生成模型进行训练更新。
可选的,基于修改信息对每个样本输出参考图像分别进行修改,得到多组修改后的样本图像;基于多组修改后的样本图像,对第一模板生成模型进行训练更新。
在实施中,根据终端发送的修改信息,根据修改信息中所修改的参数及对应的数据,对每个样本输出参考图像相应的参数进行相应的修改,进而得到多组修改后的样本图像。根据多组修改后的样本图像,对第一模板生成模型进行训练更新。
具体的,当接收到终端发送的调大眼睛的信息时,根据调大眼睛后所对应的参数所对应的数据和修改的数据,将每个样本输出参考图像相应的参数相应的数据修改为相应的大小,并将多组修改后的样本图像训练第一模板生成模型并进行更新。
可选的,当终端接收到对至少一个模板人脸图像中第三模板人脸图像的抛弃指令时,向服务器发送携带有第三模板人脸图像的抛弃通知。服务器接收终端发送的携带有第三模板人脸图像的抛弃通知,将第三模板人脸图像添加到目标主播账户对应的禁用人脸图像集合。每当服务器确定出待向终端发送的至少一个模板人脸图像时,在确定出的至少一个模板人脸图像中,服务器选取出与禁用人脸图像集合中的图像相似度小于预设阈值的模板人脸图像,向终端发送选取出的模板人脸图像。
其中,禁用人脸图像集合是指包含所有被目标主播账户抛弃的第三模板人脸图像的集合。
在实施中,服务器在接收终端发送的携带有第三模板人脸图像的抛弃通知后。服务器根据抛弃通知,将第三模板人脸图像添加到目标主播账户对应的禁用人脸图像集合。每当服务器确定出待向终端发送的至少一个模板人脸图像时,在确定出的至少一个模板人脸图像中,服务器筛选出与禁用人脸图像集合中的图像相似度小于预设阈值的模板人脸图像,向终端发送选取出的模板人脸图像。
需要说明的是,当模板人脸图像与禁用人脸图像集合中的图像相似度大于预设阈值,说明模板人脸图像与禁用人脸图像集合中的图像相像程度很高,目标主播账户抛弃该模板人脸图像的可能性越大,浪费了网络资源。
进一步的,向终端发送选取出与禁用人脸图像集合中的图像相似度小于预设阈值的模板人脸图像,进而实现对目标主播账户的针对性推荐。
可选的,接收终端发送的终端当前进行人脸美型处理的第四模板人脸图像;如果终端使用第四模板人脸图像进行人脸美型处理的时长达到预设时长阈值,则确定第四模板人脸图像满足第一条件,如果终端使用第四模板人脸图像进行人脸美型处理的时长未达到预设时长阈值,则确定第四模板人脸图像不满足第一条件;获取在终端使用第四模板人脸图像进行人脸美型处理的过程中目标主播账户的直播间中的评论信息、目标主播账户对应的评价标签和目标主播账户对应的粉丝账户的数量;基于评论信息、评价信息和数量,确定第四模板人脸图像对应的用户参考分值;如果用户参考分值大于预设分值阈值,则确定第四模板人脸图像满足第二条件,如果用户参考分值小于预设分值阈值,则确定第四模板人脸图像不满足第二条件;如果第四模板人脸图像满足第一条件和第二条件,则将第四模板人脸图像作为基准人脸图像,添加到公共基准人脸图像集合,如果第四模板人脸图像满足第一条件不满足第二条件,则将第四模板人脸图像作为基准人脸图像,添加到主播账户对应的个人基准人脸图像集合。
其中第一条件是第四模板人脸图像符合目标主播账户的审美,第二条件是第四模板人脸图像符合其他账户的审美。
当第四模板人脸图像只满足第一条件且不满足第二条件时,则只能说明这是目标主播账户的私有爱好,并不能被其他账户所认可,此时可以将第四模板人脸图像作为负样本,且添加到目标主播账户对应的个人基准人脸图像集合中。当当第四模板人脸图像满足第一条件且满足第二条件时,则说明第四模板人脸图像被所有账户所认可,可以将第四模板人脸图像作为正样本添加所有主播账户对应的公共基准人脸图像集合和目标主播账户对应的个人基准人脸图像集合中。
需要说明的是,根据目标主播账户的直播间中的评论信息,确定目标主播账户的直播间中的评论中第一评论占所有评论的比例,以及第二评论占所有评论的比例,其中第一评论中有与美有关的词汇,如漂亮、美丽等词汇,第二评论中有与丑有关的词汇,如丑陋,不好看等词汇。如果第一评论占所有评论的比例大于第二评论占所有评论的比例,则评论信息的分数为第一分数,如果第一评论占所有评论的比例小于第二评论占所有评论的比例,则评论信息的分数为第二分数。如果目标主播账户对应的评价标签为第一标签,则评分为第三分数,如果目标主播账户对应的评价标签为第二标签,则评价信息评分为第四分数,其中第一标签为颜值高标签,第二标签为颜值低标签。如果目标主播账户对应的粉丝账户的数量大于第一数值,且粉丝账户的减少量小于第二数值,则数量信息所对应的分数为第五分数,如果目标主播账户对应的粉丝账户的数量量小于预设数值,或者目标主播账户对应的粉丝账户的数量小于第一数值,且粉丝账户的减少量大于第二数值,则数量信息所对应的分数为第六分数,其中第一分数大于第二分数,第三分数大于第四分数,第五分数大于第六分数。
具体的,如果关于美的评论占所有评论的比例大于关于丑的评论占所有评论的比例,则评分为1,如果关于美的评论占所有评论的比例小于关于丑的评论占所有评论的比例,则记为0。如果目标主播账户对应的评价标签为颜值高,则评分为1,如果目标主播账户对应的评价标签为颜值低,则评分为0。如果目标主播账户对应的粉丝账户的数量大于预设数值,则评分为1,如果目标主播账户对应的粉丝账户的数量小于预设数值,则评分为0,如果目标主播账户对应的粉丝账户的减少,则评分为-1。
其中还可以针对评论信息、评价信息和变化信息设置不同的权重,根据评论信息、评价信息和变化信息分别对应的分数和权重,最终确定第四模板人脸图像对应的用户参考分值。
可选的,在公共基准人脸图像集合中,选取与人脸图像相似度超过预设阈值的基准人脸图像,在主播账户对应的个人基准人脸图像集合中,选取与人脸图像相似度超过预设阈值的基准人脸图像;分别基于选取的每个基准人脸图像对人脸图像进行调整,得到多个模板人脸图像;向终端发送多个模板人脸图像。
本公开实施例提供的方法,服务器在接收到携带有目标主播账户对应的人脸图像的模板推荐请求时,将目标主播账户对应的人脸图像输入预先训练的第一模板生成模型,确定并向目标主播账户的终端发送至少一个模板人脸图像。终端当接收到对至少一个模板人脸图像中第一模板人脸图像的修改指令时,对人脸图像进行修改,向服务器发送修改后的第一模板人脸图像。服务器在接收到修改后的第一模板人脸图像后,根据人脸图像和修改后的第一模板人脸图像,对第一模板生成模型进行训练更新,从而达到对使用目标主播账户的目标主播的审美进行针对性训练的目的,使得第一模板生成模型生成的至少一个模板人脸图像更加的贴切目标主播的审美,进而对不同的目标主播做出针对性推荐。
基于相同的技术构思,本公开实施例还提供了一种装置,该装置用于终端,如图9示,该装置包括:
请求模块910,用于向服务器发送携带有目标主播账户对应的人脸图像的模板推荐请求,以使服务器基于人脸图像,以及预先训练的第一模板生成模型,确定至少一个模板人脸图像。
接收模块920,用于接收并显示服务器发送的至少一个模板人脸图像。
修改模块930,当接收到对至少一个模板人脸图像中第一模板人脸图像的修改指令时,基于修改指令对第一模板人脸图像进行修改,向服务器发送修改指令对应的修改信息,以使服务器基于修改信息和多组样本图像,对第一模板生成模型进行训练更新。
显示模块940,用于当接收到对至少一个模板人脸图像中第二模板人脸图像的选择使用指令时,将第二模板人脸图像设置为目标主播账户的直播过程中进行人脸美型处理的模板人脸图像。
可选的,方法还包括:
当接收到对至少一个模板人脸图像中第三模板人脸图像的抛弃指令时,向服务器发送携带有第三模板人脸图像的抛弃通知。
可选的,方法还包括:
每当接收到选择使用指令时,获取终端当前进行人脸美型处理的第四模板人脸图像;
向服务器发送第四模板人脸图像。
可选的,方法还包括:
当接收到对自定义模板人脸图像的选择使用指令时,将自定义模板人脸图像设置为目标主播账户的直播过程中进行人脸美型处理的模板人脸图像。
基于相同的技术构思,本公开实施例还提供了一种装置,该装置用于服务器,如图10所示,该装置包括:
接收模块1010,用于接收终端发送的携带有目标主播账户对应的人脸图像的模板推荐请求。
生成模块1020,用于基于人脸图像,以及预先训练的第一模板生成模型,确定至少一个模板人脸图像,向终端发送至少一个模板人脸图像。
更新模块1030,用于当接收到终端发送的修改信息时,基于修改信息和多组样本图像,对第一模板生成模型进行训练更新。
可选的,每组样本图像包括一个样本输入图像和多组样本输出参考图像,基于修改信息和多组样本图像,对第一模板生成模型进行训练更新,包括:
基于修改信息对每个样本输出参考图像分别进行修改,得到多组修改后的样本图像;
基于多组修改后的样本图像,对第一模板生成模型进行训练更新。
可选的,向终端发送至少一个模板人脸图像之后,还包括:
接收终端发送的携带有第三模板人脸图像的抛弃通知;
将第三模板人脸图像添加到目标主播账户对应的禁用人脸图像集合;
每当确定出待向终端发送的至少一个模板人脸图像时,在确定出的至少一个模板人脸图像中,选取出与禁用人脸图像集合中的图像相似度小于预设阈值的模板人脸图像,向终端发送选取出的模板人脸图像。
可选的,方法还包括:
接收终端发送的终端当前进行人脸美型处理的第四模板人脸图像;
如果终端使用第四模板人脸图像进行人脸美型处理的时长达到预设时长阈值,则确定第四模板人脸图像满足第一条件,如果终端使用第四模板人脸图像进行人脸美型处理的时长未达到预设时长阈值,则确定第四模板人脸图像不满足第一条件;
获取在终端使用第四模板人脸图像进行人脸美型处理的过程中目标主播账户的直播间中的评论信息、目标主播账户对应的评价标签和目标主播账户对应的粉丝账户的数量;
基于评论信息、评价信息和数量,确定第四模板人脸图像对应的用户参考分值;
如果用户参考分值大于预设分值阈值,则确定第四模板人脸图像满足第二条件,如果用户参考分值小于预设分值阈值,则确定第四模板人脸图像不满足第二条件;
如果第四模板人脸图像满足第一条件和第二条件,则将第四模板人脸图像作为基准人脸图像,添加到公共基准人脸图像集合,如果第四模板人脸图像满足第一条件不满足第二条件,则将第四模板人脸图像作为基准人脸图像,添加到主播账户对应的个人基准人脸图像集合。
可选的,接收终端发送的携带有目标主播账户对应的人脸图像的模板推荐请求之后,还包括:
在公共基准人脸图像集合中,选取与人脸图像相似度超过预设阈值的基准人脸图像,在主播账户对应的个人基准人脸图像集合中,选取与人脸图像相似度超过预设阈值的基准人脸图像;
分别基于选取的每个基准人脸图像对人脸图像进行调整,得到多个模板人脸图像;
向终端发送多个模板人脸图像。
本公开实施例还提供一种人脸美型处理的系统,其特征在于,系统包括终端和服务器,其中:
终端,向服务器发送携带有目标主播账户对应的人脸图像的模板推荐请求,以使服务器基于人脸图像,以及预先训练的第一模板生成模型,确定至少一个模板人脸图像;接收并显示服务器发送的至少一个模板人脸图像;当接收到对至少一个模板人脸图像中第一模板人脸图像的修改指令时,基于修改指令对第一模板人脸图像进行修改,向服务器发送修改指令对应的修改信息,以使服务器基于修改信息和多组样本图像,对第一模板生成模型进行训练更新;当接收到对至少一个模板人脸图像中第二模板人脸图像的选择使用指令时,将第二模板人脸图像设置为目标主播账户的直播过程中进行人脸美型处理的模板人脸图像。
服务器,接收终端发送的携带有目标主播账户对应的人脸图像的模板推荐请求;基于人脸图像,以及预先训练的第一模板生成模型,确定至少一个模板人脸图像,向终端发送至少一个模板人脸图像;当接收到终端发送的修改信息时,基于修改信息和多组样本图像,对第一模板生成模型进行训练更新。
需要说明的是:上述实施例提供的人脸美型处理的装置在处理人脸时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的人脸美型处理的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图11是本公开实施例提供的一种终端的结构示意图,该终端可以是上述实施例中的第一终端。该终端1100可以是:智能手机、平板电脑、MP3播放器(Moving PictureExperts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(MovingPicture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1100还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端1100包括有:一个或多个处理器1101和一个或多个存储器1102。
处理器1101可以包括一个或多个处理核心,比如4核心处理器、11核心处理器等。处理器1101可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1101可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1101还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1102可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1102还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1102中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1101所执行以实现本公开中方法实施例提供的人脸美型的方法。
在一些实施例中,终端1100还可选包括有:外围设备接口1103和至少一个外围设备。处理器1101、存储器1102和外围设备接口1103之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1103相连。具体地,外围设备包括:射频电路1104、显示屏1105、摄像头1106、音频电路1107、定位组件11011和电源1109中的至少一种。
外围设备接口1103可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1101和存储器1102。在一些实施例中,处理器1101、存储器1102和外围设备接口1103被集成在同一芯片或电路板上;在一些其他实施例中,处理器1101、存储器1102和外围设备接口1103中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1104用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1104通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1104将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1104包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1104可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1104还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本公开对此不加以限定。
显示屏1105用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1105是触摸显示屏时,显示屏1105还具有采集在显示屏1105的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1101进行处理。此时,显示屏1105还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1105可以为一个,设置终端1100的前面板;在另一些实施例中,显示屏1105可以为至少两个,分别设置在终端1100的不同表面或呈折叠设计;在再一些实施例中,显示屏1105可以是柔性显示屏,设置在终端1100的弯曲表面上或折叠面上。甚至,显示屏1105还可以设置成非矩形的不规则图形,也即异形屏。显示屏1105可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1106用于采集图像或视频。可选地,摄像头组件1106包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1106还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1107可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1101进行处理,或者输入至射频电路1104以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1101或射频电路1104的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1108还可以包括耳机插孔。
定位组件11011用于定位终端1100的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件1108可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1109用于为终端1100中的各个组件进行供电。电源1109可以是交流电、直流电、一次性电池或可充电电池。当电源1109包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1100还包括有一个或多个传感器1110。该一个或多个传感器1110包括但不限于:加速度传感器1111、陀螺仪传感器1112、压力传感器1113、指纹传感器1114、光学传感器1115以及接近传感器1116。
加速度传感器1111可以检测以终端1100建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1111可以用于检测重力加速度在三个坐标轴上的分量。处理器1101可以根据加速度传感器1111采集的重力加速度信号,控制显示屏1105以横向视图或纵向视图进行用户界面的显示。加速度传感器1111还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1112可以检测终端1100的机体方向及转动角度,陀螺仪传感器1112可以与加速度传感器1111协同采集用户对终端1100的3D动作。处理器1101根据陀螺仪传感器1112采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1113可以设置在终端1100的侧边框和/或显示屏1105的下层。当压力传感器1113设置在终端1100的侧边框时,可以检测用户对终端1100的握持信号,由处理器1101根据压力传感器1113采集的握持信号进行左右手识别或快捷操作。当压力传感器1113设置在显示屏1105的下层时,由处理器1101根据用户对显示屏1105的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1114用于采集用户的指纹,由处理器1101根据指纹传感器1114采集到的指纹识别用户的身份,或者,由指纹传感器1114根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1101授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1114可以被设置终端1100的正面、背面或侧面。当终端1100上设置有物理按键或厂商Logo时,指纹传感器1114可以与物理按键或厂商Logo集成在一起。
光学传感器1115用于采集环境光强度。在一个实施例中,处理器1101可以根据光学传感器1115采集的环境光强度,控制显示屏1105的显示亮度。具体地,当环境光强度较高时,调高显示屏1105的显示亮度;当环境光强度较低时,调低显示屏1105的显示亮度。在另一个实施例中,处理器1101还可以根据光学传感器1115采集的环境光强度,动态调整摄像头组件1106的拍摄参数。
接近传感器1116,也称距离传感器,通常设置在终端1100的前面板。接近传感器1116用于采集用户与终端1100的正面之间的距离。在一个实施例中,当接近传感器1116检测到用户与终端1100的正面之间的距离逐渐变小时,由处理器1101控制显示屏1105从亮屏状态切换为息屏状态;当接近传感器1116检测到用户与终端1100的正面之间的距离逐渐变大时,由处理器1101控制显示屏1105从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图11中示出的结构并不构成对终端1100的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图9是本公开实施例提供的一种服务器的结构示意图,该服务器1200可因配置或性能不同而产生比较大的差异,可以包括一个或多个处理器(central processing units,CPU)1201和一个或多个的存储器1202,其中,该一个或多个存储器1202中存储有至少一条程序代码,该至少一条程序代码由该一个或多个处理器1201加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器1200还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器1200还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括指令的存储器,上述指令可由处理器执行以完成上述实施例中的人脸美型处理的方法。例如,该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random AccessMemory,RAM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
上述仅为本公开的较佳实施例,并不用以限制本公开,凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之中。
Claims (14)
1.一种人脸美型处理的方法,其特征在于,应用于终端,所述方法包括:
向服务器发送携带有目标主播账户对应的人脸图像的模板推荐请求,以使所述服务器基于所述人脸图像,以及预先训练的第一模板生成模型,确定至少一个模板人脸图像;
接收并显示所述服务器发送的所述至少一个模板人脸图像;
当接收到对所述至少一个模板人脸图像中第一模板人脸图像的修改指令时,基于所述修改指令对所述第一模板人脸图像进行修改,向所述服务器发送所述修改指令对应的修改信息,以使所述服务器基于所述修改信息和多组样本图像,对所述第一模板生成模型进行训练更新;
当接收到对所述至少一个模板人脸图像中第二模板人脸图像的选择使用指令时,将所述第二模板人脸图像设置为所述目标主播账户的直播过程中进行人脸美型处理的模板人脸图像。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当接收到对所述至少一个模板人脸图像中第三模板人脸图像的抛弃指令时,向所述服务器发送携带有所述第三模板人脸图像的抛弃通知。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
每当接收到选择使用指令时,获取所述终端当前进行人脸美型处理的第四模板人脸图像;
向所述服务器发送所述第四模板人脸图像。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当接收到对所述自定义模板人脸图像的选择使用指令时,将所述自定义模板人脸图像设置为所述目标主播账户的直播过程中进行人脸美型处理的模板人脸图像。
5.一种人脸美型处理的方法,其特征在于,应用于服务器,所述方法包括:
接收终端发送的携带有目标主播账户对应的人脸图像的模板推荐请求;
基于所述人脸图像,以及预先训练的第一模板生成模型,确定至少一个模板人脸图像,向所述终端发送所述至少一个模板人脸图像;
当接收到所述终端发送的修改信息时,基于所述修改信息和多组样本图像,对所述第一模板生成模型进行训练更新。
6.根据权利要求5所述的方法,其特征在于,每组样本图像包括一个样本输入图像和多组样本输出参考图像,所述基于所述修改信息和多组样本图像,对第一模板生成模型进行训练更新,包括:
基于所述修改信息对每个样本输出参考图像分别进行修改,得到多组修改后的样本图像;
基于所述多组修改后的样本图像,对第一模板生成模型进行训练更新。
7.根据权利要求5所述的方法,其特征在于,所述向所述终端发送所述至少一个模板人脸图像之后,还包括:
接收所述终端发送的携带有第三模板人脸图像的抛弃通知;
将所述第三模板人脸图像添加到所述目标主播账户对应的禁用人脸图像集合;
每当确定出待向所述终端发送的至少一个模板人脸图像时,在确定出的至少一个模板人脸图像中,选取出与所述禁用人脸图像集合中的图像相似度小于预设阈值的模板人脸图像,向所述终端发送选取出的模板人脸图像。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
接收所述终端发送的所述终端当前进行人脸美型处理的第四模板人脸图像;
如果所述终端使用所述第四模板人脸图像进行人脸美型处理的时长达到预设时长阈值,则确定所述第四模板人脸图像满足第一条件,如果所述终端使用所述第四模板人脸图像进行人脸美型处理的时长未达到所述预设时长阈值,则确定所述第四模板人脸图像不满足所述第一条件;
获取在所述终端使用所述第四模板人脸图像进行人脸美型处理的过程中所述目标主播账户的直播间中的评论信息、所述目标主播账户对应的评价标签和所述目标主播账户对应的粉丝账户的数量;
基于所述评论信息、所述评价信息和所述数量,确定所述第四模板人脸图像对应的用户参考分值;
如果所述用户参考分值大于预设分值阈值,则确定所述第四模板人脸图像满足第二条件,如果所述用户参考分值小于所述预设分值阈值,则确定所述第四模板人脸图像不满足所述第二条件;
如果所述第四模板人脸图像满足所述第一条件和所述第二条件,则将所述第四模板人脸图像做为基准人脸图像,添加到公共基准人脸图像集合,如果所述第四模板人脸图像满足所述第一条件不满足所述第二条件,则将所述第四模板人脸图像作为基准人脸图像,添加到所述主播账户对应的个人基准人脸图像集合。
9.根据权利要求7所述的方法,其特征在于,所述接收终端发送的携带有目标主播账户对应的人脸图像的模板推荐请求之后,还包括:
在所述公共基准人脸图像集合中,选取与所述人脸图像相似度超过预设阈值的基准人脸图像,在所述主播账户对应的个人基准人脸图像集合中,选取与所述人脸图像相似度超过预设阈值的基准人脸图像;
分别基于选取的每个基准人脸图像对所述人脸图像进行调整,得到多个模板人脸图像;
向所述终端发送所述多个模板人脸图像。
10.一种人脸美型处理的装置,其特征在于,所述装置包括:
请求模块,用于向服务器发送携带有目标主播账户对应的人脸图像的模板推荐请求,以使所述服务器基于所述人脸图像,以及预先训练的第一模板生成模型,确定至少一个模板人脸图像;
接收模块,用于接收并显示所述服务器发送的所述至少一个模板人脸图像;
修改模块,用于当接收到对所述至少一个模板人脸图像中第一模板人脸图像的修改指令时,基于所述修改指令对所述第一模板人脸图像进行修改,向所述服务器发送所述修改指令对应的修改信息,以使所述服务器基于所述修改信息和多组样本图像,对所述第一模板生成模型进行训练更新;
显示模块,用于当接收到对所述至少一个模板人脸图像中第二模板人脸图像的选择使用指令时,将所述第二模板人脸图像设置为所述目标主播账户的直播过程中进行人脸美型处理的模板人脸图像。
11.一种人脸美型处理的装置,其特征在于,所述装置包括:
接收模块,用于接收终端发送的携带有目标主播账户对应的人脸图像的模板推荐请求;
生成模块,用于基于所述人脸图像,以及预先训练的第一模板生成模型,确定至少一个模板人脸图像,向所述终端发送所述至少一个模板人脸图像;
更新模块,用于当接收到所述终端发送的修改信息时,基于所述修改信息和多组样本图像,对所述第一模板生成模型进行训练更新。
12.一种人脸美型处理的系统,其特征在于,所述系统包括终端和服务器,其中:
所述终端,用于向所述服务器发送携带有目标主播账户对应的人脸图像的模板推荐请求,以使所述服务器基于所述人脸图像,以及预先训练的第一模板生成模型,确定至少一个模板人脸图像;接收并显示所述服务器发送的所述至少一个模板人脸图像;当接收到对所述至少一个模板人脸图像中第一模板人脸图像的修改指令时,基于所述修改指令对所述第一模板人脸图像进行修改,向所述服务器发送所述修改指令对应的修改信息,以使所述服务器基于所述修改信息和多组样本图像,对所述第一模板生成模型进行训练更新;当接收到对所述至少一个模板人脸图像中第二模板人脸图像的选择使用指令时,将所述第二模板人脸图像设置为所述目标主播账户的直播过程中进行人脸美型处理的模板人脸图像。
所述服务器,用于接收所述终端发送的携带有所述目标主播账户对应的人脸图像的模板推荐请求;基于所述人脸图像,以及所述预先训练的第一模板生成模型,确定所述至少一个模板人脸图像,向所述终端发送所述至少一个模板人脸图像;当接收到所述终端发送的修改信息时,基于所述修改信息和多组样本图像,对所述第一模板生成模型进行训练更新。
13.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如权利要求1至9任一项所述的人脸美型处理的方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如权利要求1至9任一项所述的人脸美型处理的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911207522.8A CN110956595B (zh) | 2019-11-29 | 2019-11-29 | 一种人脸美型处理的方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911207522.8A CN110956595B (zh) | 2019-11-29 | 2019-11-29 | 一种人脸美型处理的方法、装置、系统及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110956595A true CN110956595A (zh) | 2020-04-03 |
CN110956595B CN110956595B (zh) | 2023-11-24 |
Family
ID=69979201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911207522.8A Active CN110956595B (zh) | 2019-11-29 | 2019-11-29 | 一种人脸美型处理的方法、装置、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110956595B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109167914A (zh) * | 2018-09-25 | 2019-01-08 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
US20190014884A1 (en) * | 2017-07-13 | 2019-01-17 | Shiseido Americas Corporation | Systems and Methods for Virtual Facial Makeup Removal and Simulation, Fast Facial Detection and Landmark Tracking, Reduction in Input Video Lag and Shaking, and a Method for Recommending Makeup |
CN109325929A (zh) * | 2018-10-17 | 2019-02-12 | 联想(北京)有限公司 | 图像处理方法和电子设备 |
CN109544444A (zh) * | 2018-11-30 | 2019-03-29 | 深圳市脸萌科技有限公司 | 图像处理方法、装置、电子设备及计算机存储介质 |
CN109788303A (zh) * | 2019-01-28 | 2019-05-21 | 广州酷狗计算机科技有限公司 | 直播视频流的推送方法、装置、电子设备及存储介质 |
CN109934895A (zh) * | 2019-03-18 | 2019-06-25 | 北京海益同展信息科技有限公司 | 图像局部特征迁移方法与装置 |
WO2019134560A1 (zh) * | 2018-01-08 | 2019-07-11 | Oppo广东移动通信有限公司 | 搭配模型构建方法、服饰推荐方法、装置、介质及终端 |
CN110163160A (zh) * | 2019-05-24 | 2019-08-23 | 北京三快在线科技有限公司 | 人脸识别方法、装置、设备及存储介质 |
-
2019
- 2019-11-29 CN CN201911207522.8A patent/CN110956595B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190014884A1 (en) * | 2017-07-13 | 2019-01-17 | Shiseido Americas Corporation | Systems and Methods for Virtual Facial Makeup Removal and Simulation, Fast Facial Detection and Landmark Tracking, Reduction in Input Video Lag and Shaking, and a Method for Recommending Makeup |
WO2019134560A1 (zh) * | 2018-01-08 | 2019-07-11 | Oppo广东移动通信有限公司 | 搭配模型构建方法、服饰推荐方法、装置、介质及终端 |
CN109167914A (zh) * | 2018-09-25 | 2019-01-08 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
CN109325929A (zh) * | 2018-10-17 | 2019-02-12 | 联想(北京)有限公司 | 图像处理方法和电子设备 |
CN109544444A (zh) * | 2018-11-30 | 2019-03-29 | 深圳市脸萌科技有限公司 | 图像处理方法、装置、电子设备及计算机存储介质 |
CN109788303A (zh) * | 2019-01-28 | 2019-05-21 | 广州酷狗计算机科技有限公司 | 直播视频流的推送方法、装置、电子设备及存储介质 |
CN109934895A (zh) * | 2019-03-18 | 2019-06-25 | 北京海益同展信息科技有限公司 | 图像局部特征迁移方法与装置 |
CN110163160A (zh) * | 2019-05-24 | 2019-08-23 | 北京三快在线科技有限公司 | 人脸识别方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110956595B (zh) | 2023-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110992493B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN110865754B (zh) | 信息展示方法、装置及终端 | |
CN110278464B (zh) | 显示榜单的方法和装置 | |
CN110533585B (zh) | 一种图像换脸的方法、装置、系统、设备和存储介质 | |
CN109558837B (zh) | 人脸关键点检测方法、装置及存储介质 | |
CN110263617B (zh) | 三维人脸模型获取方法及装置 | |
CN112533017B (zh) | 直播方法、装置、终端及存储介质 | |
CN111028144B (zh) | 视频换脸方法及装置、存储介质 | |
CN109634688B (zh) | 会话界面的显示方法、装置、终端及存储介质 | |
CN110956580B (zh) | 图像换脸的方法、装置、计算机设备以及存储介质 | |
CN112581358A (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
CN111613213B (zh) | 音频分类的方法、装置、设备以及存储介质 | |
CN113613028A (zh) | 直播数据处理方法、装置、终端、服务器及存储介质 | |
CN110796083A (zh) | 图像显示方法、装置、终端及存储介质 | |
CN110933454B (zh) | 处理直播萌脸礼物的方法、装置、设备及存储介质 | |
CN110891181B (zh) | 直播画面显示方法、装置、存储介质及终端 | |
CN112860046B (zh) | 选择运行模式的方法、装置、电子设备及介质 | |
CN112100528A (zh) | 对搜索结果评分模型进行训练的方法、装置、设备、介质 | |
CN112419143A (zh) | 图像处理方法、特效参数设置方法、装置、设备及介质 | |
CN112118482A (zh) | 音频文件的播放方法、装置、终端及存储介质 | |
CN110152309B (zh) | 语音通信方法、装置、电子设备及存储介质 | |
CN114143280B (zh) | 会话显示方法、装置、电子设备及存储介质 | |
CN112967261B (zh) | 图像融合方法、装置、设备及存储介质 | |
CN111128115B (zh) | 信息验证方法、装置、电子设备及存储介质 | |
CN112329909B (zh) | 生成神经网络模型的方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |