CN112560540A - 一种美妆穿搭推荐方法及装置 - Google Patents

一种美妆穿搭推荐方法及装置 Download PDF

Info

Publication number
CN112560540A
CN112560540A CN201910851266.XA CN201910851266A CN112560540A CN 112560540 A CN112560540 A CN 112560540A CN 201910851266 A CN201910851266 A CN 201910851266A CN 112560540 A CN112560540 A CN 112560540A
Authority
CN
China
Prior art keywords
data
makeup
network model
recommendation
target data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910851266.XA
Other languages
English (en)
Other versions
CN112560540B (zh
Inventor
刘军
党杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Research America Inc
Original Assignee
TCL Research America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Research America Inc filed Critical TCL Research America Inc
Priority to CN201910851266.XA priority Critical patent/CN112560540B/zh
Publication of CN112560540A publication Critical patent/CN112560540A/zh
Application granted granted Critical
Publication of CN112560540B publication Critical patent/CN112560540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于智能电视机技术领域，提供了一种美妆穿搭推荐方法，包括：将目标数据输入已训练的第一算法网络模型，获取与所述目标数据对应的推荐结果，所述目标数据包括所述脸部特征数据、所述形态特征数据和预处理数据；其中，所述脸部特征数据为第一数据进行识别后得到的数据，所述第一数据包括面部图像数据，所述形态特征数据为第二数据进行识别后得到的数据，所述第二数据包括形态图像数据，所述预处理数据为第三数据进行预处理后得到的数据，所述第三数据包括环境数据和美妆穿搭流行数据。本申请通过获取多种类型数据，并进行处理，获取用户的个性化特征，并输入基于深度学习的网络模型，获取个性化的美妆穿搭推荐结果，有效的提高了美妆穿搭的推荐效率和成功率，增加了产品的智能生活娱乐功能，以及用户的生活品质、娱乐性，提高了用户的体验度。

Description

一种美妆穿搭推荐方法及装置
技术领域
本申请属于智能电视机技术领域，尤其涉及一种美妆穿搭推荐方法及装置。
背景技术
现在化妆和穿搭的选择已经成为社会的共识，好的妆容和恰当的穿搭是一种礼貌的表现，尤其化妆成为出行前必要准备，好的妆容可以为其形象气质加分添彩，不同场合需要不同的妆容和穿搭。
目前，有很多人不知道应如何选择适合自己的妆容和恰当的穿搭。
现有的指导用户如何进行化妆和穿搭视频教程，无法满足用户的需求。
发明内容
本申请实施例提供了一种美妆穿搭推荐方法及装置，可以解决有很多人不知道应如何选择适合自己的妆容和恰当的穿搭。现有的指导用户如何进行化妆和穿搭视频教程，却无法满足用户的需求问题。
将目标数据输入已训练的第一算法网络模型，获取与所述目标数据对应的推荐结果，所述目标数据包括所述脸部特征数据、所述形态特征数据和预处理数据；其中，所述脸部特征数据为第一数据进行识别后得到的数据，所述第一数据包括面部图像数据，所述形态特征数据为第二数据进行识别后得到的数据，所述第二数据包括形态图像数据，所述预处理数据为第三数据进行预处理后得到的数据，所述第三数据包括环境数据和美妆穿搭流行数据。
在第一方面的一种可能的实现方式中，将目标数据输入已训练的第一算法网络模型，获取与所述目标数据对应的推荐结果，包括：
将所述目标数据输入已训练的第一算法网络模型进行特征提取，获取特征提取后的目标数据；
将所述特征提取后的目标数据进行残差连接处理，获取残差连接后的目标数据；
将所述残差连接后的目标数据进行全连接处理，获取所述目标数据对应的推荐类型；
根据所述推荐类型，输出对应的推荐结果。
在第一方面的一种可能的实现方式中，所述脸部特征数据为第一数据进行识别后得到的数据，具体为：
通过人脸检测算法网络模型对所述第一数据进行识别，获取第一预设形式的脸部特征数据；其中，所述人脸检测算法网络模型包括MTCNN算法网络模型。
在第一方面的一种可能的实现方式中，所述通过人脸检测算法网络模型对所述第一数据进行识别，获取第一预设形式的脸部特征数据，包括：
通过浅层全卷积神经网络对所述第一数据进行处理，获取候选窗体和所述候选窗体的边界回归向量，并对所述候选窗体进行去重，获取去重后的候选窗体；其中，候选窗体为根据边界回归向量进行校准后的窗体；
通过深层卷积神经网络训练所述去重后的候选窗体，获取训练后的候选窗体，并对所述训练后的候选窗体进行调整和二次去重，获取二次去重后的候选窗体；
通过最终层卷积神经网络对二次去重后的候选窗体进行调整、去重及关键点定位，以获取所述第一预设形式的脸部特征数据；其中，关键点包括脸部轮廓、眉毛、眼睛、嘴角和鼻尖中的至少一种；脸部特征数据包括脸型、眉型、眼型、鼻型、嘴型、肤色和皮肤类型中的至少一种。
在第一方面的一种可能的实现方式中，所述形态特征数据为第二数据进行识别后得到的数据，包括：
通过图像分析算法网络模型对所述第二数据进行识别，获取第二预设形式的形态特征数据；其中，图像分析算法网络模型包括深度优先搜索算法、广度优先搜索算法和迪科斯彻算法中的至少一种；形态特征数据包括身高、体重、三维、身型和发型中的至少一种。
在第一方面的一种可能的实现方式中，将目标数据输入已训练的第一算法网络模型，获取与所述目标数据对应的推荐结果之前，包括：
拼接所述第一预设形式的脸部特征数据、所述第二预设形式的形态特征数据和所述预处理数据，获取所述目标数据。
在第一方面的一种可能的实现方式中，所述将目标数据输入已训练的第一算法网络模型，获取与所述目标数据对应的推荐结果之前，包括：
建立基于深度学习的所述第一算法网络模型，并对所述第一算法网络模型进行训练，获取已训练的第一算法网络模型；
建立人脸检测算法网络模型和图像分析算法网络模型。
在第一方面的一种可能的实现方式中，获取与所述目标数据对应的推荐结果，具体为：
若所述目标数据的类型为美妆，则获取第一算法网络模型输出的美妆推荐结果；其中，美妆包括美容和化妆中的至少一种；
若所述目标数据的类型为穿搭，则获取第一算法网络模型输出的穿搭推荐结果；其中，穿搭包括服装搭配、饰品搭配和发型搭配中的至少一种。
在第一方面的一种可能的实现方式中，将目标数据输入已训练的第一算法网络模型，获取与所述目标数据对应的推荐结果之后，包括：
获取用户的选择结果；
根据所述选择结果显示对应的效果图，并推送与所述选择结果相对应的美容美妆教学数据。
第二方面，本申请实施例提供了一种美妆穿搭推荐装置，包括：
推荐模块，用于将目标数据输入已训练的第一算法网络模型，获取与所述目标数据对应的推荐结果，所述目标数据包括所述脸部特征数据、所述形态特征数据和预处理数据；其中，所述脸部特征数据为第一数据进行识别后得到的数据，所述第一数据包括面部图像数据，所述形态特征数据为第二数据进行识别后得到的数据，所述第二数据包括形态图像数据，所述预处理数据为第三数据进行预处理后得到的数据，所述第三数据包括环境数据和美妆穿搭流行数据。
在第二方面的一种可能的实现方式中，推荐模块，包括：
特征提取单元，用于将所述目标数据输入已训练的第一算法网络模型进行特征提取，获取特征提取后的目标数据；
残差连接处理单元，用于将所述特征提取后的目标数据进行残差连接处理，获取残差连接后的目标数据；
全连接处理单元，用于将所述残差连接后的目标数据进行全连接处理，获取所述目标数据对应的推荐类型；
输出单元，用于根据所述推荐类型，输出对应的推荐结果。
在第二方面的一种可能的实现方式中，所述脸部特征数据为第一数据进行识别后得到的数据，具体为：
通过人脸检测算法网络模型对所述第一数据进行识别，获取第一预设形式的脸部特征数据；其中，所述人脸检测算法网络模型包括MTCNN算法网络模型。
在第二方面的一种可能的实现方式中，所述通过人脸检测算法网络模型对所述第一数据进行识别，获取第一预设形式的脸部特征数据，包括：
通过浅层全卷积神经网络对所述第一数据进行处理，获取候选窗体和所述候选窗体的边界回归向量，并对所述候选窗体进行去重，获取去重后的候选窗体；其中，候选窗体为根据边界回归向量进行校准后的窗体；
通过深层卷积神经网络训练所述去重后的候选窗体，获取训练后的候选窗体，并对所述训练后的候选窗体进行调整和二次去重，获取二次去重后的候选窗体；
通过最终层卷积神经网络对二次去重后的候选窗体进行调整、去重及关键点定位，以获取所述第一预设形式的脸部特征数据；其中，关键点包括脸部轮廓、眉毛、眼睛、嘴角和鼻尖中的至少一种；脸部特征数据包括脸型、眉型、眼型、鼻型、嘴型、肤色和皮肤类型中的至少一种。
在第二方面的一种可能的实现方式中，所述形态特征数据为第二数据进行识别后得到的数据，包括：
通过图像分析算法网络模型对所述第二数据进行识别，获取第二预设形式的形态特征数据；其中，图像分析算法网络模型包括深度优先搜索算法、广度优先搜索算法和迪科斯彻算法中的至少一种；形态特征数据包括身高、体重、三维、身型和发型中的至少一种。
在第二方面的一种可能的实现方式中，所述装置，包括：
拼接模块，用于拼接所述第一预设形式的脸部特征数据、所述第二预设形式的形态特征数据和所述预处理数据，获取所述目标数据。
在第二方面的一种可能的实现方式中，所述装置，包括：
第一建立模块，用于建立基于深度学习的所述第一算法网络模型，并对所述第一算法网络模型进行训练，获取已训练的第一算法网络模型；
第二建立模块，用于建立人脸检测算法网络模型和图像分析算法网络模型。
在第二方面的一种可能的实现方式中，获取与所述目标数据对应的推荐结果，具体为：
若所述目标数据的类型为美妆，则获取第一算法网络模型输出的美妆推荐结果；其中，美妆包括美容和化妆中的至少一种；
若所述目标数据的类型为穿搭，则获取第一算法网络模型输出的穿搭推荐结果；其中，穿搭包括服装搭配、饰品搭配和发型搭配中的至少一种。
在第二方面的一种可能的实现方式中，所述装置，包括：
获取模块，获取用户的选择结果；
显示模块，用于根据所述选择结果显示对应的效果图，并推送与所述选择结果相对应的美容美妆教学数据。
第三方面，本申请实施例提供了一种终端设备，存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的美妆穿搭推荐方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的美妆穿搭推荐方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的美妆穿搭推荐方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
本申请实施例通过获取多种类型数据，并进行处理，获取用户的个性化特征，并输入基于深度学习的网络模型，获取个性化的美妆穿搭推荐结果，有效的提高了美妆穿搭的推荐效率和成功率，增加了产品的智能生活娱乐功能，以及用户的生活品质、娱乐性，提高了用户的体验度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的智能电视机的部分结构的框图；
图2是本申请实施例一提供的智能电视机的软件结构示意图；
图3是本申请实施例二提供的美妆穿搭推荐方法的流程示意图；
图4是本申请实施例二提供的用于实现美妆穿搭推荐方法的MTCNN算法网络模型结构图；
图5是本申请实施例二提供的用于实现美妆穿搭推荐方法的图像分析算法模型结构图；
图6是本申请实施例二提供的用于实现美妆穿搭推荐方法的多任务级联算法网络结构图；
图7是本申请实施例三提供的美妆穿搭推荐装置的结构示意图；
图8是本申请实施例四提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
实施例一
本申请实施例提供的美妆穿搭推荐方法可以应用于手机、平板电脑、电视机、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。
例如，所述终端设备可以是WLAN中的站点(STAION，ST)，可以是蜂窝电话、无绳电话、会话启动协议(Session InitiationProtocol，SIP)电话、无线本地环路(WirelessLocal Loop，WLL)站、个人数字处理(Personal Digital Assistant，PDA)设备、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、车联网终端、电脑、膝上型计算机、手持式通信设备、手持式计算设备、卫星无线设备、无线调制解调器卡、电视机顶盒(set top box，STB)、用户驻地设备(customer premise equipment，CPE)和/或用于在无线系统上进行通信的其它设备以及下一代通信系统，例如，5G网络中的移动终端或者未来演进的公共陆地移动网络(Public Land Mobile Network，PLMN)网络中的移动终端等。
作为示例而非限定，当所述终端设备为可穿戴设备时，该可穿戴设备还可以是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称，如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能，如智能手表或智能眼镜等，以及只专注于某一类应用功能，需要和其它设备如智能手机配合使用，如各类进行体征监测的智能手环、智能首饰等。
以所述终端设备为智能电视机为例。图1示出的是与本申请实施例提供的智能电视机的部分结构的框图。参考图1，智能电视机包括：射频(Radio Frequency，RF)电路110、存储器120、输入单元130、显示单元140、传感器150、音频电路160、无线保真(wirelessfidelity，WiFi)模块170、处理器180、以及电源190等部件。本领域技术人员可以理解，图1中示出的智能电视机结构并不构成对智能电视机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图1对智能电视机的各个构成部件进行具体的介绍：
RF电路110可用于播放视频过程中，接收和发送信号，特别地，将基站的下行信息接收后，给处理器180处理；另外，将设计上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。此外，RF电路110还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobilecommunication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access，WCDMA)、长期演进(Long Term Evolution，LTE))、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器120可用于存储软件程序以及模块，处理器180通过运行存储在存储器120的软件程序以及模块，从而执行智能电视机的各种功能应用以及数据处理。存储器120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据智能电视机的使用所创建的数据(比如音频数据、视频数据)等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元130可用于接收输入的数字或字符信息，以及产生与智能电视机100的用户设置以及功能控制有关的键信号输入。具体地，输入单元130可包括触控面板131以及其他输入设备132。触控面板131，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板131上或在触控面板131附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板131可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器180，并能接收处理器180发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板131。除了触控面板131，输入单元130还可以包括其他输入设备132。具体地，其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及智能电视机的各种菜单。显示单元140可包括显示面板141，可选的，可以采用液晶显示器(LiquidCrystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板141。进一步的，触控面板131可覆盖显示面板141，当触控面板131检测到在其上或附近的触摸操作后，传送给处理器180以确定触摸事件的类型，随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图1中，触控面板131与显示面板141是作为两个独立的部件来实现智能电视机的输入和输入功能，但是在某些实施例中，可以将触控面板131与显示面板141集成而实现智能电视机的输入和输出功能。
智能电视机100还可包括至少一种传感器150，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板141的亮度，接近传感器可在智能电视机移动到耳边时，关闭显示面板141和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别智能电视机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于智能电视机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路160、扬声器161，传声器162可提供用户与智能电视机之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出；另一方面，传声器162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出处理器180处理后，经RF电路110以发送给比如另一智能电视机，或者将音频数据输出至存储器120以便进一步处理。
WiFi属于短距离无线传输技术，智能电视机通过WiFi模块170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块170，但是可以理解的是，其并不属于智能电视机100的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器180是智能电视机的控制中心，利用各种接口和线路连接整个智能电视机的各个部分，通过运行或执行存储在存储器120内的软件程序和/或模块，以及调用存储在存储器120内的数据，执行智能电视机的各种功能和处理数据，从而对智能电视机进行整体监控。可选的，处理器180可包括一个或多个处理单元；优选的，处理器180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器180中。
智能电视机100还包括给各个部件供电的电源190，优选的，电源可以通过电源管理系统与处理器180逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，智能电视机100还可以包括摄像头。可选地，摄像头在智能电视机100的上的位置可以为前置的，也可以为后置的，本申请实施例对此不作限定。
可选地，智能电视机100可以包括单摄像头、双摄像头或三摄像头等，本申请实施例对此不作限定。
例如，智能电视机100可以包括三摄像头，其中，一个为主摄像头、一个为广角摄像头、一个为长焦摄像头。
可选地，当智能电视机100包括多个摄像头时，这多个摄像头可以全部前置，或者全部后置，或者一部分前置、另一部分后置，本申请实施例对此不作限定。
另外，尽管未示出，智能电视机100还可以包括蓝牙模块等，在此不再赘述。
图2是本申请实施例的智能电视机100的软件结构示意图。以智能电视机100操作系统为Roku TV系统为例，在一些实施例中，将Roku TV系统分为四层，分别为应用程序层、应用程序框架层(framework，FWK)、系统层以及硬件抽象层，层与层之间通过软件接口通信。
如图2所示，所述应用程序层可以一系列应用程序包，应用程序包可以包括短信息，日历，相机，视频，导航，图库，通话等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层可以包括一些预先定义的函数，例如用于接收应用程序框架层所发送的事件的函数。
如图2所示，应用程序框架层可以包括窗口管理器、资源管理器以及通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
应用程序框架层还可以包括：
视图系统，所述视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
系统层可以包括多个功能模块。例如：传感器服务模块，物理状态识别模块，三维图形处理库(例如：OpenGL ES)等。
传感器服务模块，用于对硬件层各类传感器上传的传感器数据进行监测，确定手机100的物理状态；
物理状态识别模块，用于对用户手势、人脸等进行分析和识别；
三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
系统层还可以包括：
表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。
硬件抽象层是硬件和软件之间的层。硬件抽象层可以包括显示驱动，摄像头驱动，传感器驱动等，用于驱动硬件层的相关硬件，如显示屏、摄像头、传感器等。
以下实施例可以在具有上述硬件结构/软件结构的智能电视机100上实现。以下实施例将以智能电视机100为例，对本申请实施例提供的美妆穿搭推荐方法进行说明。
实施例二
图3示出了本申请提供的美妆穿搭推荐方法的示意性流程图，作为示例而非限定，该方法可以应用于上述智能电视机100中。
S101、将目标数据输入已训练的第一算法网络模型，获取与所述目标数据对应的推荐结果，所述目标数据包括所述脸部特征数据、所述形态特征数据和预处理数据；其中，所述脸部特征数据为第一数据进行识别后得到的数据，所述第一数据包括面部图像数据，所述形态特征数据为第二数据进行识别后得到的数据，所述第二数据包括形态图像数据，所述预处理数据为第三数据进行预处理后得到的数据，所述第三数据包括环境数据和美妆穿搭流行数据。
在具体应用中，对预处理数据、脸部特征数据和形态特征数据进行数据处理，获取目标数据，将目标数据输入已训练的第一算法网络模型，获取与目标数据的类型对应的推荐结果。其中，数据处理可以包括但不限于拼接和融合中的至少一种。第一算法网络模型包括但不限于多任务级联算法网络模型。
在一个实施例中，在获取到启动指令的条件下，或者，在获取到包含特定启动词的语句的条件下，则获取第一数据、第二数据和第三数据。其中，启动指令可根据实际情况进行具体设定，设定启动指令为特定的启动语句或包含特定启动词的语句，例如，在获取到“我要化妆”、“帮我推荐怎么化妆”、“帮我推荐穿搭”等特定的启动语句，或者包含“化妆”“穿搭”等特定启动词的语句的条件下，通过预先设定的摄像头收集第一数据、第二数据，以及通过感应装置或网络数据获取第三数据。第一数据包括但不限于面部图像数据，第二数据包括但不限于形态图像数据，第三数据包括但不限于环境数据和美妆穿搭流行数据，环境数据包括但不限于位置数据、气候数据和季节数据；美妆穿搭流行数据包括但不限于美妆流行数据和穿搭流行数据。美妆流行数据包括美容流行数据和化妆流行数据中的至少一种，穿搭流行数据包括服装搭配流行数据、饰品搭配流行数据和发型搭配流行数据中的至少一种。需要说明的是，美妆穿搭流行数据可以是获取预先设定的美容美妆穿搭网页上的搜索排行榜的数据。例如，可以是淘宝美容美妆产品或服装产品各类目下的搜索排行榜前十名的数据。
在一个实施例中，若启动指令中包含的特定启动词为预先设定的特定妆容装扮时，显示与特定妆容装扮对应的推荐结果。例如，启动指令中包含的特定启动词为预先设定的“林妹妹妆”、“赵四妆”或“唐妆”，则获取预先设定的与上述特定妆容装扮对应的推荐结果(包括但不限于化妆工具选择列表、化妆品选择列表和化妆教学视频)并显示。
在一个实施例中，步骤S101，包括：
将所述目标数据输入已训练的第一算法网络模型进行特征提取，获取特征提取后的目标数据；
将所述特征提取后的目标数据进行残差连接处理，获取残差连接后的目标数据；
将所述残差连接后的目标数据进行全连接处理，获取所述目标数据对应的推荐类型；
根据所述推荐类型，输出对应的推荐结果。
在具体应用中，将第一预设形式的脸部特征数据、第二预设形式的形态特征数据和第三预设形式的预处理数据进行拼接，获得第四预设形式的目标数据；然后经过多个卷积、池化以及批标准化操作对第四预设形式的目标数据进行特征提取，获得特征提取后的目标数据；然后，经过25层的残差连接处理，获取残差连接后的目标数据，可解决图像数据和文字特征数据结合训练难度大的问题，同时加快了训练速度和提升特征提取的准确性。再经过多层的全连接操作，可保持目标数据的维度不变，并附加一个softmax层输出，可区分目标数据的推荐型是美妆推荐、穿搭推荐、美妆推荐和穿搭推荐或者是娱乐推荐。最后，根据预设的自定义标签的形式，输出对应的推荐结果。
在一个实施例中，所述预处理数据为第三数据进行预处理后得到的数据，具体为：
通过预处理训练方法对所述第三数据进行预处理，获取第三预设形式的预处理数据；其中，所述预处理训练方法包括词嵌入训练方法。
在具体应用中，预处理训练方法包括但不限于词嵌入训练方法，第三预设形式的预处理数据可以是(A，B，C，D)形式，例如，设定第三预设形式为(1024，64，64，1)。其中，A表示一次输入数据大小，可设定为1024；B表示文字长度(文字长度具体可根据实际情况进行具体设定，例如，可设定为64)；C表示文字字典大小(可设定为64)；D表示为实现与图像进行拼接而添加的一个维度数据，可设定为1。
在一个实施例中，所述脸部特征数据为第一数据进行识别后得到的数据，具体为：
通过人脸检测算法网络模型对所述第一数据进行识别，获取第一预设形式的脸部特征数据；其中，所述人脸检测算法网络模型包括MTCNN算法网络模型。
在具体应用中，人脸检测算法网络模型包括但不限于MTCNN算法网络模型。其中，脸部特征数据包括但不限于脸型、眉型、眼型、鼻型、嘴型、肤色和皮肤类型。第一预设形式的脸部特征数据可以是包含脸部特征的(a，b，c，d)形式的图像数据；例如设定第一预设形式为(1024，64，64，3)。其中a为一次输入图像数据的大小，例如，可设定为1024；b为图像的长度，可设定为64；c为图像的和宽度，可设定为64；d表示通道数，可设定为3。
MTCNN算法主要利用在多维度感知卷积神经网络框架下检测和校准之间固有的相关性来提升性能。尤其利用三层级联架构结合精心设计的卷积神经网络算法，对人脸进行检测和关键点的定位。MTCNN算法与FDDB算法和WIDER FACE算法进行对比，MTCNN算法具有更高的精度。同时，MTCNN算法与AFLW人脸对齐算法比较，MTCNN算法的实时性能更优。
图4示例性的示出了一种用于实现美妆穿搭推荐方法的MTCNN算法网络模型结构图。
在一个实施例中，所述通过人脸检测算法网络模型对所述第一数据进行识别，获取第一预设形式的脸部特征数据，包括：
通过浅层全卷积神经网络对所述第一数据进行处理，获取候选窗体和所述候选窗体的边界回归向量，并对所述候选窗体进行去重，获取去重后的候选窗体；其中，候选窗体为根据边界回归向量进行校准后的窗体；
通过深层卷积神经网络训练所述去重后的候选窗体，获取训练后的候选窗体，并对所述训练后的候选窗体进行调整和二次去重，获取二次去重后的候选窗体；
通过最终层卷积神经网络对二次去重后的候选窗体进行调整、去重及关键点定位，以获取所述第一预设形式的脸部特征数据；其中，关键点包括脸部轮廓、眉毛、眼睛、嘴角和鼻尖中的至少一种；脸部特征数据包括脸型、眉型、眼型、鼻型、嘴型、肤色和皮肤类型中的至少一种。
在具体应用中，首先，通过浅层全卷积神经网络(即P-Net)对第一数据进行处理，获取候选窗体和这些候选窗体的边界回归向量，并通过非极大化抑制(NMS)方法去除大量的重复候选窗体。其中，候选窗体为根据边界回归向量进行校准的窗体。
其次，通过深层卷积神经网络(即R-Net)，对经过浅层全卷积神经网络确定的包含候选窗体的图片进行训练，(例如，选用全连接层(FC)的方式进行训练)，以排除掉不符合要求的候选窗体。并利用边界回归向量调整候选窗体，通过非极大化抑制(NMS)方法二次去除重叠窗体。
最后通过MTCNN算法网络模型的最终层卷积神经网络(即O-Net，O-Net的网络结构比R-Net多一层卷积)。获取候选窗体和候选窗体的边界回归向量，再次利用边界回归向量微调候选窗体，以及通过非极大化抑制(NMS)方法第三次去除重叠候选窗体；同时，定位人脸关键点(如脸部轮廓、眉毛、眼睛、嘴角以及鼻尖中的至少一种)，以检测出第一数据中人脸关键特征(即脸部特征数据，包括脸型、眉型、眼型、鼻型、皮肤类型、肤色以及嘴型特征中的至少一种)所在的位置。其中，肤色可通过图像的RGB值进行特征提取。
在一个实施例中，所述形态特征数据为第二数据进行识别后得到的数据，具体为：
通过图像分析算法网络模型对所述第二数据进行识别，获取第二预设形式的形态特征数据；其中，图像分析算法网络模型包括深度优先搜索算法、广度优先搜索算法和迪科斯彻算法中的至少一种；形态特征数据包括身高、体重、三维、身型和发型中的至少一种。
在具体应用中，通过图像分析算法对第二数据进行识别处理，精确地获取到用户的个性化形态特征数据，提高了穿搭推荐结果的成功率。
图像分析算法网络模型包括但不限于深度优先搜索算法、广度优先搜索算法和迪科斯彻算法中的至少一种。其中，形态特征数据包括但不限于身高、体重、三维、身型和发型中的至少一种。
例如，通过深度优先搜索算法对第二数据进行识别处理，精确地获得用户的身高、体重、三维、身型和发型，并提供个性化的穿搭推荐结果。
在本实施例中，设定第二预设形式与第一预设形式相同；例如：第二预设形式的形态特征数据可以是包含形态特征的(a，b，c，d)形式的图像数据；例如设定第二预设形式为(1024，64，64，3)。其中a为一次输入数据的大小，例如，可设定为1024；b为图像的长度，可设定为64；c为图像的和宽度，可设定为64；d表示通道数，可设定为3。图5示例性的示出了一种用于实现美妆穿搭推荐方法的图像分析算法模型结构图。
在一个实施例中，步骤S101之前，包括：
拼接所述第一预设形式的脸部特征数据、所述第二预设形式的形态特征数据和所述预处理数据，获取所述目标数据。
在一个实施例中，步骤S101之前，包括：
建立基于深度学习的所述第一算法网络模型，并对所述第一算法网络模型进行训练，获取已训练的第一算法网络模型；
建立人脸检测算法网络模型和图像分析算法网络模型。
在具体应用中，建立基于深度学习的第一算法网络模型，并对第一算法网络模型进行训练，获取已训练的第一算法网络模型。建立人脸检测算法网络模型和图像分析算法网络模型。
在本实施例中，可预先获取大量第三数据、第二数据和第一数据，分别对第一算法网络模型、人脸检测算法网络模型和图像分析算法网络模型进行预训练，获取已训练的第一算法网络模型、人脸检测算法网络模型和图像分析算法网络模型。
在一个实施例中，获取与所述目标数据对应的推荐结果，具体为：
若所述目标数据的类型为美妆，则获取第一算法网络模型输出的美妆推荐结果；其中，美妆包括美容和化妆中的至少一种；
若所述目标数据的类型为穿搭，则获取第一算法网络模型输出的穿搭推荐结果；其中，穿搭包括服装搭配、饰品搭配和发型搭配中的至少一种。
在具体应用中，在一个实施例中，可根据启动指令的类型预先设定第三数据、脸部特征数据和形态特征数据的权重，根据权重加权平均计算第三数据、脸部特征数据和形态特征数据后，拼接预处理第三数据、脸部特征数据和形态特征数据，获取拼接后的数据。将拼接后的数据输入第一算法网络模型，获取与启动指令的类型对应的推荐结果。例如，若启动指令的类型为美妆，则设定第三数据、脸部特征数据和形态特征数据的权重为：5:2:3，并对应设定该情况下的目标数据的类型为美妆；若启动指令的类型为穿搭，则设定第三数据、脸部特征数据和形态特征数据的权重为：2:5:3，并对应设定该情况下的目标数据的类型为穿搭；若启动指令的类型为美妆和穿搭，则设定第三数据、脸部特征数据和形态特征数据的权重为：2:2:1，并对应设定该情况下的目标数据的类型为美妆和穿搭。
若目标数据的类型为美妆，则获取第一算法网络模型输出的美妆推荐结果；若目标数据的类型为穿搭，则获取第一算法网络模型输出的穿搭推荐结果。若目标数据的类型为美妆和穿搭，则获取第一算法网络模型输出的美妆推荐结果和穿搭推荐结果。
目标数据的类型包括但不限于美妆、穿搭、美妆和穿搭中的至少一种。例如，若目标数据的类型是美妆，可提供多种美容护肤产品列表、化妆工具选择列表、化妆品选择列表和化妆教学视频的推荐结果；若目标数据的类型是穿搭，则可提供多种服装搭配推荐列表、发型搭配推荐列表、饰品搭配推荐列表和穿搭视频的推荐结果。
图6示例性的提供了一种用于实现美妆穿搭推荐方法的多任务级联算法网络结构图。
如图6所示，用于实现美妆穿搭推荐方法的多任务级联算法网络的输入数据包括文字特征数据、图像特征数据。
其中，文字特征数据先经过词嵌入训练后为(A，B，C，D)形式，例如，(1024，64，64，1)。其中，A表示一次输入数据大小，可设定为1024；B表示文字长度(文字长度具体可根据实际情况进行具体设定，例如，可设定为64)；C表示文字字典大小(可设定为64)；D表示为实现与图像进行拼接而添加的一个维度数据，可设定为1。
图像数据输入形式为(a，b，c，d)形式；例如设定为(1024，64，64，3)。其中a为一次输入数据的大小，例如，可设定为1024；b为图像的长度，可设定为64；c为图像的和宽度，可设定为64；d表示通道数，可设定为3。
将预处理后的图像数据和文字特征数据进行拼接作为输入数据，如图6中第一列黑色图形，输入数据为(1024，64，64，4)。然后经过多个卷积+池化+批标准化操作进行特征提取，获得输出如图中第二列黑色图形，形式为(1024，32，32，4)；然后，经过25层的残差连接，如图中中间白色示意图，输出数据为(1024，64，64，4)，以解决图像数据和文字特征数据结合训练难度大的问题，加快了训练速度和提升特征提取的准确性。再经过多层的全连接操作保持数据维度不变，并附加一个softmax层输出，以区分推荐的类型是美妆推荐、穿搭推荐还是娱乐推荐，如图中第三列黑色和第四列黑色图形所示。最后，根据预设的自定义标签的形式，获得输出的推荐结果。
在一个实施例中，通过预处理训练方法对所述第三数据进行预处理，获取第三预设形式的预处理数据之前，包括：
通过大数据处理算法对第三数据进行处理，获取数据处理后的第三数据；其中，大数据处理算法包括但不限于分布式计算算法和流计算算法中的至少一种。例如，分布式计算算法可以是spark算法，流计算算法可以是storm算法。
在一个实施例中，步骤S101之后，包括：
获取用户的选择结果；
根据所述选择结果显示对应的效果图，并推送与所述选择结果相对应的美容美妆教学数据。
在具体应用中，获取用户对于推荐结果的选择结果，根据选择结果显示对应的推荐效果图，并推送与选择结果相对应的美容美妆教学数据。例如，若启动指令的类型是美妆，获取用户对于第一算法网络模型输出的美妆推荐结果的选择结果，根据用户的选择结果显示对应的美妆效果图，推送与选择结果对应的化妆刷推荐列表、化妆品推荐列表和美妆教学数据。
本实施例通过获取多种类型数据并进行处理，获取用户的个性化特征，并输入基于深度学习的网络模型，获取个性化的美妆穿搭推荐结果，有效的提高了美妆穿搭的推荐效率和成功率，增加了产品的智能生活娱乐功能，以及用户的生活品质、娱乐性，提高了用户的体验度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
实施例五
对应于上文实施例所述的美妆穿搭推荐方法，图7示出了本申请实施例提供的美妆穿搭推荐装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图7，该装置包括：
推荐模块，用于将目标数据输入已训练的第一算法网络模型，获取与所述目标数据对应的推荐结果，所述目标数据包括所述脸部特征数据、所述形态特征数据和预处理数据；其中，所述脸部特征数据为第一数据进行识别后得到的数据，所述第一数据包括面部图像数据，所述形态特征数据为第二数据进行识别后得到的数据，所述第二数据包括形态图像数据，所述预处理数据为第三数据进行预处理后得到的数据，所述第三数据包括环境数据和美妆穿搭流行数据。
在一个实施例中，推荐模块，包括：
特征提取单元，用于将所述目标数据输入已训练的第一算法网络模型进行特征提取，获取特征提取后的目标数据；
残差连接处理单元，用于将所述特征提取后的目标数据进行残差连接处理，获取残差连接后的目标数据；
全连接处理单元，用于将所述残差连接后的目标数据进行全连接处理，获取所述目标数据对应的推荐类型；
输出单元，用于根据所述推荐类型，输出对应的推荐结果。
在一个实施例中，所述预处理数据为第三数据进行预处理后得到的数据，具体为：
通过预处理训练方法对所述第三数据进行预处理，获取第三预设形式的预处理数据；其中，所述预处理训练方法包括词嵌入训练方法。
在一个实施例中，所述脸部特征数据为第一数据进行识别后得到的数据，具体为：
通过人脸检测算法网络模型对所述第一数据进行识别，获取第一预设形式的脸部特征数据；其中，所述人脸检测算法网络模型包括MTCNN算法网络模型。
在一个实施例中，所述通过人脸检测算法网络模型对所述第一数据进行识别，获取第一预设形式的脸部特征数据，包括：
通过浅层全卷积神经网络对所述第一数据进行处理，获取候选窗体和所述候选窗体的边界回归向量，并对所述候选窗体进行去重，获取去重后的候选窗体；其中，候选窗体为根据边界回归向量进行校准后的窗体；
通过深层卷积神经网络训练所述去重后的候选窗体，获取训练后的候选窗体，并对所述训练后的候选窗体进行调整和二次去重，获取二次去重后的候选窗体；
通过最终层卷积神经网络对二次去重后的候选窗体进行调整、去重及关键点定位，以获取所述第一预设形式的脸部特征数据；其中，关键点包括脸部轮廓、眉毛、眼睛、嘴角和鼻尖中的至少一种；脸部特征数据包括脸型、眉型、眼型、鼻型、嘴型、肤色和皮肤类型中的至少一种。
在一个实施例中，所述形态特征数据为第二数据进行识别后得到的数据，包括：
通过图像分析算法网络模型对所述第二数据进行识别，获取第二预设形式的形态特征数据；其中，图像分析算法网络模型包括深度优先搜索算法、广度优先搜索算法和迪科斯彻算法中的至少一种；形态特征数据包括身高、体重、三维、身型和发型中的至少一种。
在一个实施例中，所述装置，包括：
拼接模块，用于拼接所述第一预设形式的脸部特征数据、所述第二预设形式的形态特征数据和所述预处理数据，获取所述目标数据。
在一个实施例中，所述装置，包括：
第一建立模块，用于建立基于深度学习的所述第一算法网络模型，并对所述第一算法网络模型进行训练，获取已训练的第一算法网络模型；
第二建立模块，用于建立人脸检测算法网络模型和图像分析算法网络模型。
在一个实施例中，获取与所述目标数据对应的推荐结果，具体为：
若所述目标数据的类型为美妆，则获取第一算法网络模型输出的美妆推荐结果；其中，美妆包括美容和化妆中的至少一种；
若所述目标数据的类型为穿搭，则获取第一算法网络模型输出的穿搭推荐结果；其中，穿搭包括服装搭配、饰品搭配和发型搭配中的至少一种。
在一个实施例中，所述装置，包括：
获取模块，获取用户的选择结果；
显示模块，用于根据所述选择结果显示对应的效果图，并推送与所述选择结果相对应的美容美妆教学数据。
本实施例通过获取多种类型数据，并进行处理，获取用户的个性化特征，并输入基于深度学习的网络模型，获取个性化的美妆穿搭推荐结果，有效的提高了美妆穿搭的推荐效率和成功率，增加了产品的智能生活娱乐功能，以及用户的生活品质、娱乐性，提高了用户的体验度。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
实施例六
图8为本实施例提供的终端设备的结构示意图。如图8所示，该实施例的终端设备8包括：至少一个处理器80(图8中仅示出一个)处理器、存储器81以及存储在所述存储器81中并可在所述至少一个处理器80上运行的计算机程序82，所述处理器80执行所述计算机程序82时实现上述任意各个美妆穿搭推荐方法实施例中的步骤。
所述终端设备8可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图8仅仅是终端设备8的举例，并不构成对终端设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器80可以是中央处理单元(Central Processing Unit，CPU)，该处理器80还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器81在一些实施例中可以是所述终端设备8的内部存储单元，例如终端设备8的硬盘或内存。所述存储器81在另一些实施例中也可以是所述终端设备8的外部存储设备，例如所述终端设备8上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器81还可以既包括所述终端设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种终端设备，该终端设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (12)

1.一种美妆穿搭推荐方法，其特征在于，包括：
将目标数据输入已训练的第一算法网络模型，获取与所述目标数据对应的推荐结果，所述目标数据包括脸部特征数据、形态特征数据和预处理数据；其中，所述脸部特征数据为第一数据进行识别后得到的数据，所述第一数据包括面部图像数据，所述形态特征数据为第二数据进行识别后得到的数据，所述第二数据包括形态图像数据，所述预处理数据为第三数据进行预处理后得到的数据，所述第三数据包括环境数据和美妆穿搭流行数据。
2.如权利要求1所述的美妆穿搭推荐方法，其特征在于，将目标数据输入已训练的第一算法网络模型，获取与所述目标数据对应的推荐结果，包括：
将所述目标数据输入已训练的第一算法网络模型进行特征提取，获取特征提取后的目标数据；
将所述特征提取后的目标数据进行残差连接处理，获取残差连接后的目标数据；
将所述残差连接后的目标数据进行全连接处理，获取所述目标数据对应的推荐类型；
根据所述推荐类型，输出对应的推荐结果。
3.如权利要求1所述的美妆穿搭推荐方法，其特征在于，所述脸部特征数据为第一数据进行识别后得到的数据，具体为：
通过人脸检测算法网络模型对所述第一数据进行识别，获取第一预设形式的脸部特征数据；其中，所述人脸检测算法网络模型包括MTCNN算法网络模型。
4.如权利要求3所述的美妆穿搭推荐方法，其特征在于，所述通过人脸检测算法网络模型对所述第一数据进行识别，获取第一预设形式的脸部特征数据，包括：
通过浅层全卷积神经网络对所述第一数据进行处理，获取候选窗体和所述候选窗体的边界回归向量，并对所述候选窗体进行去重，获取去重后的候选窗体；其中，候选窗体为根据边界回归向量进行校准后的窗体；
通过深层卷积神经网络训练所述去重后的候选窗体，获取训练后的候选窗体，并对所述训练后的候选窗体进行调整和二次去重，获取二次去重后的候选窗体；
通过最终层卷积神经网络对二次去重后的候选窗体进行调整、去重及关键点定位，以获取所述第一预设形式的脸部特征数据；其中，关键点包括脸部轮廓、眉毛、眼睛、嘴角和鼻尖中的至少一种；脸部特征数据包括脸型、眉型、眼型、鼻型、嘴型、肤色和皮肤类型中的至少一种。
5.如权利要求1所述的美妆穿搭推荐方法，其特征在于，所述形态特征数据为第二数据进行识别后得到的数据，包括：
通过图像分析算法网络模型对所述第二数据进行识别，获取第二预设形式的形态特征数据；其中，图像分析算法网络模型包括深度优先搜索算法、广度优先搜索算法和迪科斯彻算法中的至少一种；形态特征数据包括身高、体重、三维、身型和发型中的至少一种。
6.如权利要求1至5任一项所述的美妆穿搭推荐方法，其特征在于，将目标数据输入已训练的第一算法网络模型，获取与所述目标数据对应的推荐结果之前，包括：
拼接所述第一预设形式的脸部特征数据、所述第二预设形式的形态特征数据和所述预处理数据，获取所述目标数据。
7.如权利要求1至5任一项所述的美妆穿搭推荐方法，其特征在于，所述将目标数据输入已训练的第一算法网络模型，获取与所述目标数据对应的推荐结果之前，包括：
建立基于深度学习的所述第一算法网络模型，并对所述第一算法网络模型进行训练，获取已训练的第一算法网络模型；
建立人脸检测算法网络模型和图像分析算法网络模型。
8.如权利要求1所述的美妆穿搭推荐方法，其特征在于，获取与所述目标数据对应的推荐结果，具体为：
若所述目标数据的类型为美妆，则获取第一算法网络模型输出的美妆推荐结果；其中，美妆包括美容和化妆中的至少一种；
若所述目标数据的类型为穿搭，则获取第一算法网络模型输出的穿搭推荐结果；其中，穿搭包括服装搭配、饰品搭配和发型搭配中的至少一种。
9.如权利要求1至8任一项所述的美妆穿搭推荐方法，其特征在于，将目标数据输入已训练的第一算法网络模型，获取与所述目标数据对应的推荐结果之后，包括：
获取用户的选择结果；
根据所述选择结果显示对应的效果图，并推送与所述选择结果相对应的美容美妆教学数据。
10.一种美妆穿搭推荐装置，其特征在于，包括：
推荐模块，用于将目标数据输入已训练的第一算法网络模型，获取与所述目标数据对应的推荐结果，所述目标数据包括所述脸部特征数据、所述形态特征数据和预处理数据；其中，所述脸部特征数据为第一数据进行识别后得到的数据，所述第一数据包括面部图像数据，所述形态特征数据为第二数据进行识别后得到的数据，所述第二数据包括形态图像数据，所述预处理数据为第三数据进行预处理后得到的数据，所述第三数据包括环境数据和美妆穿搭流行数据。
11.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述的方法。
12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的方法。
CN201910851266.XA 2019-09-10 2019-09-10 一种美妆穿搭推荐方法及装置 Active CN112560540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910851266.XA CN112560540B (zh) 2019-09-10 2019-09-10 一种美妆穿搭推荐方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910851266.XA CN112560540B (zh) 2019-09-10 2019-09-10 一种美妆穿搭推荐方法及装置

Publications (2)

Publication Number Publication Date
CN112560540A true CN112560540A (zh) 2021-03-26
CN112560540B CN112560540B (zh) 2024-06-18

Family

ID=75028758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910851266.XA Active CN112560540B (zh) 2019-09-10 2019-09-10 一种美妆穿搭推荐方法及装置

Country Status (1)

Country Link
CN (1) CN112560540B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674141A (zh) * 2021-08-23 2021-11-19 厦门美图之家科技有限公司 实时仿妆方法、基于仿妆的神经网络训练获取方法及装置
CN114879874A (zh) * 2022-05-19 2022-08-09 广州小鹏汽车科技有限公司 车载美妆空间启闭的交互方法、交互装置、车辆及介质
CN116580445A (zh) * 2023-07-14 2023-08-11 江西脑控科技有限公司 一种大语言模型人脸特征分析方法、系统及电子设备
CN117436989A (zh) * 2023-11-06 2024-01-23 海通证券股份有限公司 物品搭配推荐方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834800A (zh) * 2015-06-03 2015-08-12 上海斐讯数据通信技术有限公司 一种美妆方法、系统及设备
CN105956150A (zh) * 2016-05-12 2016-09-21 张家港索奥通信科技有限公司 一种生成用户发型及妆容搭配建议的方法及装置
CN108229415A (zh) * 2018-01-17 2018-06-29 广东欧珀移动通信有限公司 信息推荐方法、装置、电子设备及计算机可读存储介质
CN109829354A (zh) * 2018-11-29 2019-05-31 四川商通实业有限公司 一种基于深度学习的人脸识别方法
CN109948702A (zh) * 2019-03-20 2019-06-28 中南大学 一种基于卷积神经网络的服装分类和推荐模型
WO2019134560A1 (zh) * 2018-01-08 2019-07-11 Oppo广东移动通信有限公司 搭配模型构建方法、服饰推荐方法、装置、介质及终端
CN110110118A (zh) * 2017-12-27 2019-08-09 广东欧珀移动通信有限公司 妆容推荐方法、装置、存储介质及移动终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834800A (zh) * 2015-06-03 2015-08-12 上海斐讯数据通信技术有限公司 一种美妆方法、系统及设备
CN105956150A (zh) * 2016-05-12 2016-09-21 张家港索奥通信科技有限公司 一种生成用户发型及妆容搭配建议的方法及装置
CN110110118A (zh) * 2017-12-27 2019-08-09 广东欧珀移动通信有限公司 妆容推荐方法、装置、存储介质及移动终端
WO2019134560A1 (zh) * 2018-01-08 2019-07-11 Oppo广东移动通信有限公司 搭配模型构建方法、服饰推荐方法、装置、介质及终端
CN108229415A (zh) * 2018-01-17 2018-06-29 广东欧珀移动通信有限公司 信息推荐方法、装置、电子设备及计算机可读存储介质
CN109829354A (zh) * 2018-11-29 2019-05-31 四川商通实业有限公司 一种基于深度学习的人脸识别方法
CN109948702A (zh) * 2019-03-20 2019-06-28 中南大学 一种基于卷积神经网络的服装分类和推荐模型

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674141A (zh) * 2021-08-23 2021-11-19 厦门美图之家科技有限公司 实时仿妆方法、基于仿妆的神经网络训练获取方法及装置
CN114879874A (zh) * 2022-05-19 2022-08-09 广州小鹏汽车科技有限公司 车载美妆空间启闭的交互方法、交互装置、车辆及介质
CN116580445A (zh) * 2023-07-14 2023-08-11 江西脑控科技有限公司 一种大语言模型人脸特征分析方法、系统及电子设备
CN116580445B (zh) * 2023-07-14 2024-01-09 江西脑控科技有限公司 一种大语言模型人脸特征分析方法、系统及电子设备
CN117436989A (zh) * 2023-11-06 2024-01-23 海通证券股份有限公司 物品搭配推荐方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN112560540B (zh) 2024-06-18

Similar Documents

Publication Publication Date Title
CN111652678B (zh) 物品信息显示方法、装置、终端、服务器及可读存储介质
US20190339840A1 (en) Augmented reality device for rendering a list of apps or skills of artificial intelligence system and method of operating the same
CN112560540B (zh) 一种美妆穿搭推荐方法及装置
EP3321787B1 (en) Method for providing application, and electronic device therefor
CN107633098A (zh) 一种内容推荐方法及移动终端
CN113220848B (zh) 用于人机交互的自动问答方法、装置和智能设备
US11544921B1 (en) Augmented reality items based on scan
WO2022057435A1 (zh) 基于搜索的问答方法及存储介质
CN107948429B (zh) 一种内容演示方法、终端设备及计算机可读存储介质
CN110795007A (zh) 一种获取截图信息的方法及装置
US20220206582A1 (en) Media content items with haptic feedback augmentations
CN112766406B (zh) 物品图像的处理方法、装置、计算机设备及存储介质
US11550435B2 (en) Trackpad on back portion of a device
EP4268057A1 (en) Gesture control on an eyewear device
WO2024183434A1 (zh) 基于文本生成图片的方法及模型训练方法、装置、设备及存储介质
CN113010066B (zh) 显示参数确定方法及装置
CN113031838B (zh) 屏幕录制方法、装置及电子设备
CN114691860A (zh) 文本分类模型的训练方法、装置、电子设备及存储介质
CN114462580B (zh) 文本识别模型的训练方法、文本识别方法、装置和设备
CN115658857A (zh) 智能对话方法、装置、设备及存储介质
CN112766389B (zh) 图像分类方法、图像分类模型的训练方法、装置和设备
CN111897709B (zh) 监控用户的方法、装置、电子设备及介质
CN115905374A (zh) 应用功能的展示方法、装置、终端及存储介质
CN109816047A (zh) 提供标签的方法、装置、设备及可读存储介质
CN113626683B (zh) 一种ctr预估处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: China

Address after: 516006 TCL science and technology building, No. 17, Huifeng Third Road, Zhongkai high tech Zone, Huizhou City, Guangdong Province

Applicant after: TCL Technology Group Co.,Ltd.

Address before: 516006 Guangdong province Huizhou Zhongkai hi tech Development Zone No. nineteen District

Applicant before: TCL Corp.

Country or region before: China

GR01 Patent grant
GR01 Patent grant