CN112801859A - 一种具有美妆指导功能的化妆镜系统 - Google Patents
一种具有美妆指导功能的化妆镜系统 Download PDFInfo
- Publication number
- CN112801859A CN112801859A CN202110050796.1A CN202110050796A CN112801859A CN 112801859 A CN112801859 A CN 112801859A CN 202110050796 A CN202110050796 A CN 202110050796A CN 112801859 A CN112801859 A CN 112801859A
- Authority
- CN
- China
- Prior art keywords
- makeup
- user
- image
- value
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 239000002537 cosmetic Substances 0.000 title claims abstract description 54
- 238000004458 analytical method Methods 0.000 claims abstract description 25
- 230000001815 facial effect Effects 0.000 claims abstract description 18
- 230000000694 effects Effects 0.000 claims abstract description 12
- 238000011156 evaluation Methods 0.000 claims description 42
- 238000007499 fusion processing Methods 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 11
- 210000004373 mandible Anatomy 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 210000000537 nasal bone Anatomy 0.000 claims description 3
- 210000001331 nose Anatomy 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种具有美妆指导功能的化妆镜系统,包括:存储模块,用于预先存储用户的护肤品、化妆品的产品信息;摄像头,用于获取所述用户的面部图像;分析模块,用于对所述面部图像进行预分析;推荐模块,用于基于预分析结果以及产品信息,向所述用户推荐相关的参考妆容,供用户选择;指导模块,用于根据用户选择的参考妆容,获取化妆步骤,来为用户提供化妆指导;可以帮助用户了解化妆品的使用效果,满足用户对不同妆容的需求,帮助用户选择合适的妆容;提高了用户的化妆效率。
Description
技术领域
本发明涉及智能化妆镜领域,特别涉及一种具有美妆指导功能的化妆镜系统。
背景技术
镜子是每个家庭中不可缺少的物品之一,传统的镜子只能用来整理妆容着装,功能单一。随着科技的进步,智能家居开始进入到人们的生活中,普通镜子已经不能满足人们的生活需求了,开始出现了智能化妆镜。
在实际生活中,大量用户会购买许多的护肤品、化妆品,致使她们不能清楚的了解每一个护肤品、化妆品的性能,并且对选择什么样的妆容,如何进行化妆存在很多困扰,可能导致选择的妆容不合适,化妆花费时间过长等问题。
因此,本发明提供一种具有美妆指导功能的化妆镜系统。
发明内容
本发明提供一种具有美妆指导功能的化妆镜系统,通过获取并对用户的面部图像进行分析,并对化妆品进行评价,帮助用户了解化妆品的使用效果,通过基于用户的信息来提供妆容供用户选择,满足用户对不同妆容的需求,帮助用户选择合适的妆容,并在化妆过程中提供指导,来辅助用户化妆,提高了用户的化妆效率。
本发明提供一种具有美妆指导功能的化妆镜系统,包括:
存储模块,用于预先存储用户的护肤品、化妆品的产品信息;
摄像头,用于获取所述用户的面部图像;
分析模块,用于对所述面部图像进行预分析;
推荐模块,用于基于预分析结果以及产品信息,向所述用户推荐相关的参考妆容,供用户选择;
指导模块,用于根据用户选择的参考妆容,获取化妆步骤,来为用户提供化妆指导。
在一种可能实现的方式中,还包括:图像处理单元,用于所述分析模块对所述摄像头获取的面部图像进行预分析之前,对所述摄像头获取的面部图像进行预处理,包括:
所述图像处理单元,用于将所述面部图像转换为灰度图像,并随机选取所述灰度图像的像素点作为插值点,且获取以所述插值点为中心的领域内的多个像素点的像素均值,作为所述插值点的像素值,完成对所述灰度图像的图像插值;
所述图像处理单元,还用于对完成图像插值的灰度图像进行分割得到子图像,并为所述子图像设定均衡化程度系数,且基于所述均衡化程度系数,并行对所述子图像进行直方图均衡化处理以及进行融合处理。
在一种可能实现的方式中,还包括:显示模块,用于显示所述参考妆容以及化妆步骤。
在一种可能实现的方式中,所述分析模块,包括:
获取单元,用于对所述面部图像进行特征提取,得到人脸特征图像;
坐标单元,用于确定所述人脸特征图像的中心点,并以所述中心点为坐标原点,建立直角坐标系;
检测单元,用于检测所述人脸特征图像中的皮肤部位,并确定所述皮肤部位在所述直角坐标系中的位置;
提取单元,用于基于所述皮肤部位在所述直角坐标系中的位置确定所述皮肤部位的连通边缘位置,并基于所述连通边缘位置对所述皮肤部位进行提取,得到皮肤区域;
参考单元,用于基于用户年龄,获取标准状况下的皮肤的水分、纹理状况,得到标准皮肤图像,并获取所述标准皮肤图像R、G、B通道中对应的像素点R、G、B的像素值,并计算得到像素点R、G、B像素值的均值,将所述均值作为参考值;
分析单元,用于将所述皮肤区域的R、G、B通道中对应的像素点R、G、B的像素值小于所述参考值的像素点标记为第一区域,将剩余像素点标记为第二区域;
计算单元,用于计算所述第一区域以及第二区域在所述皮肤区域中的占比,同时,根据判别规则,对占比结果进行判别,根据判别结果确定皮肤状态,并基于所述皮肤状态为所述用户推荐化妆品及使用方法。
在一种可能实现的方式中,所述计算单元基于所述皮肤状态为所述用户推荐化妆品及使用方法包括:
提醒子单元,用于根据所述存储模块中的护肤品信息推荐基本的护肤品进行初次护肤提醒,且护肤覆盖区域为面部所有皮肤区域;
基于所述皮肤状态的等级选择对应等级的护肤品进行二次护肤提醒,且护肤覆盖区域为面部所有皮肤区域;
针对所述第一区域的标记确定所述第一区域的位置,并选择针对性的护肤品对所述第一区域进行护肤提醒;
评价子单元,用于当检测到用户护肤完成后,对所述用户的皮肤进行再次检测,重新获得所述第一区域以及第二区域的占比,并根据重新占比结果,对选择的护肤品进行评价并记录。
在一种可能实现的方式中,所述推荐模块,包括:
信息获取单元,用于获取所述用户的服装、出行目的信息;
查询单元,用于从妆容数据库中查找与所述用户的服装、出行目的信息相匹配的第一参考妆容;
脸型识别单元,用于识别并标记用户人脸图像的鼻骨特征点、下颌骨特征点、下巴特征点,获得标记点,并以所述标记点为基准,获得所述用户的人脸长度值、人脸宽度值以及下巴角度值;
其中,所述人脸长度值基于所述鼻骨特征点、下巴特征点获得,所述人脸宽度值基于所述下颌骨特征点获得,所述下巴角度值基于所述下颌骨特征点、下巴特征点获得;
所述脸型识别单元,还用于将所述用户的人脸长度值、人脸宽度值以及下巴角度值输入到脸型识别模型中,获得所述用户的脸型;
匹配单元,用于从所述第一参考妆容匹配选择与所述用户的脸型匹配的第二参考妆容;
融合单元,用于利用图像融合算法将所述第二参考妆容与所述用户的脸型进行融合处理,得到参考妆容,供用户选择。
在一种可能实现的方式中,所述指导模块,包括:
调取单元,用于调取所述用户选定的参考妆容对应的化妆步骤;
识别单元,用于识别所述化妆步骤中每一步化妆子步骤对应的标准手部姿态;
监测单元,用于监测所述用户的化妆过程,其步骤包括:
在预设时间内采集所述用户的第一手部动作数据,并将所述第一手部动作数据输入到动作识别模型中,得到所述用户的第一手部姿态;
将所述第一手部姿态与所述标准手部姿态进行比对获得相似度,选择相似度最高的对应的标准手部姿态及其化妆子步骤,并确定所述化妆子步骤为所述用户的当前化妆操作;
确定所述化妆子步骤的后续标准手部姿态,并采集所述用户的第二手部动作数据,并将所述第二手部动作数据输入到动作识别模型中,得到所述用户的第二手部姿态;
判断所述第二手部姿态与所述后续标准手部姿态是否一致;
若是,语音提醒所述用户继续进行化妆操作;
否则,语音提醒所述用户化妆操作失误,并进行纠正,直到所述述第二手部姿态与所述后续标准手部姿态一致;
确定所述当前化妆子步骤的结束标准手部姿态,当检测到所述用户存在所述结束标准手部姿态时,语音提醒所述用户完成所述化妆子步骤;
修正单元,将所述用户当前的妆容与所述化妆子步骤的效果图进行智能比对,若满足预设要求,则继续下一步的化妆步骤,否则,基于所述预设要求生成修正方案指导所述用户对当前妆容进行修正。
在一种可能实现的方式中,检测模块,还用于利用图像融合算法将所述第二参考妆容与所述用户的脸型进行融合处理后,对融合处理后的图像进行检测,其包括:
第一获取单元,用于基于边缘检测模型确定所述第二参考妆容与所述用户的脸型进行融合处理后的图像的边缘点以及所述边缘点的方向角度及像素强度;
第一计算单元,用于根据如下公式计算融合处理后的图像的边缘评估值:
其中,σ1表示所述融合处理后的图像的边缘评估值,α表示评估指数,取值为[0.1,0.3],m表示所述融合处理后的图像的边缘点行数,n表示所述融合处理后的图像的边缘点列数,θ(i,j)表示第i行第j列边缘点的方向角度,G(i,j)表示第i行第j列边缘点的像素强度,ω(i,j)表示第i行第j列边缘点的权重值,取值范围为[0,1],l表示与所述边缘点的像素强度有关的常量,当所述G(i,j)>1时,l=3,当所述G(i,j)≤1时,l=1;
第一判断单元,用于判断所述边缘评估值是否大于预设边缘评估值:
若是,控制第二获取单元开始工作;
否则,调整所述图像融合算法的可调整参数,再次将所述第二参考妆容与所述用户的脸型进行融合处理,直到检测到边缘评估值大于预设边缘评估值;
所述第二获取单元,用于基于相似性检测模型获得所述融合处理后的图像与第二参考妆容图像的亮度相似值A1、对比度相似值A2、结构相似值ε3;
第二计算单元,用于根据所述第二获取单元获取的参数值以及如下公式,计算所述融合处理后的图像与所述第二参考妆容图像的相似评估值:
其中,σ2表示所述融合处理后图像与所述第二参考妆容图像的相似评估值,β表示所述融合处理后图像的像素均值,γ表示所述第二参考妆容图像的像素均值,τ表示所述融合处理后图像的像素标准差,ω所述第二参考妆容图像的像素标准差;
第二判断单元,用于判断所述相似评估值是否大于预设相似评估值:
若是,则将所述融合处理后的图像作为所述参考妆容;
否则,调整所述图像融合算法的可调整参数,再次将所述第二参考妆容与所述用户的脸型进行融合处理,直到检测到边缘评估值大于预设相似评估值。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种具有美妆指导功能的化妆镜系统的结构图;
图2为本发明实施例中分析模块的结构图;
图3为本发明实施例中推荐模块的结构图;
图4为本发明实施例中指导模块的结构图;
图5为本发明实施例中检测模块的结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例1
本发明实施例提供一种具有美妆指导功能的化妆镜系统,如图1所示,包括:
存储模块,用于预先存储用户的护肤品、化妆品的产品信息;
摄像头,用于获取所述用户的面部图像;
分析模块,用于对所述面部图像进行预分析;
推荐模块,用于基于预分析结果以及产品信息,向所述用户推荐相关的参考妆容,供用户选择;
指导模块,用于根据用户选择的参考妆容,获取化妆步骤,来为用户提供化妆指导。
在该实施例中,所述用户的产品信息包括产品的成分、功能、使用方法等。
在该实施例中,所述参考妆容为多个。
上述设计方案的有益效果是:通过获取并对用户的面部图像进行分析,并对化妆品进行评价,帮助用户了解化妆品的使用效果,通过基于用户的信息来提供妆容供用户选择,满足用户对不同妆容的需求,帮助用户选择合适的妆容,并在化妆过程中提供指导,来辅助用户化妆,提高了用户的化妆效率。
实施例2:
基于实施例1的基础上,本发明实施例提供一种具有美妆指导功能的化妆镜系统,还包括:图像处理单元,用于所述分析模块对所述摄像头获取的面部图像进行预分析之前,对所述摄像头获取的面部图像进行预处理,包括:
所述图像处理单元,用于将所述面部图像转换为灰度图像,并随机选取所述灰度图像的像素点作为插值点,且获取以所述插值点为中心的领域内的多个像素点的像素均值,作为所述插值点的像素值,完成对所述灰度图像的图像插值;
所述图像处理单元,还用于对完成图像插值的灰度图像进行分割得到子图像,并为所述子图像设定均衡化程度系数,且基于所述均衡化程度系数,并行对所述子图像进行直方图均衡化处理以及进行融合处理。
在该实施例中,所述子图像为至少两个。
在该实施例中,所述领域内的多个像素点可以邻域内4*4的16个像素点。
上述设计方案的有益效果是:通过对获取的面部图像进行图像插值,可以使图像更加平滑干净,对所述面部图像进行直方图均衡化,可以提高图像的亮度,最终使图像得到优化,可以更好的反应用户的面部情况,使为用户推荐的化妆品更加精确。
实施例3
基于实施例1的基础上,本发明提供一种具有美妆指导功能的化妆镜系统,还包括:显示模块,用于显示所述参考妆容以及化妆步骤。
上述设计方案的有益效果是:为用户提供直观的参考妆容以及化妆步骤,便于用户的查看。
实施例4
基于实施例1的基础上,本发明提供一种具有美妆指导功能的化妆镜系统,如图2所示,所述分析模块,包括:
获取单元,用于对所述面部图像进行特征提取,得到人脸特征图像;
坐标单元,用于确定所述人脸特征图像的中心点,并以所述中心点为坐标原点,建立直角坐标系;
检测单元,用于检测所述人脸特征图像中的皮肤部位,并确定所述皮肤部位在所述直角坐标系中的位置;
提取单元,用于基于所述皮肤部位在所述直角坐标系中的位置确定所述皮肤部位的连通边缘位置,并基于所述连通边缘位置对所述皮肤部位进行提取,得到皮肤区域;
参考单元,用于基于用户年龄,获取标准状况下的皮肤的水分、纹理状况,得到标准皮肤图像,并获取所述标准皮肤图像R、G、B通道中对应的像素点R、G、B的像素值,并计算得到像素点R、G、B像素值的均值,将所述均值作为参考值;
分析单元,用于将所述皮肤区域的R、G、B通道中对应的像素点R、G、B的像素值小于所述参考值的像素点标记为第一区域,将剩余像素点标记为第二区域;
计算单元,用于计算所述第一区域以及第二区域在所述皮肤区域中的占比,同时,根据判别规则,对占比结果进行判别,根据判别结果确定皮肤状态,并基于所述皮肤状态为所述用户推荐化妆品及使用方法。
在该实施例中,所述第一区域为皮肤未达到标准状况下皮肤的水分、纹理状况的区域。
在该实施例中,所述第二区域为皮肤达到标准状况下皮肤的水分、纹理状况的区域。
在该实施例中,所述判别规则为若占比小于所述预设占比范围,将所述用户的皮肤状态为一级状态;若占比在所述预设占比范围内,将所述用户的皮肤状态为二级状态;若占比大于所述预设占比范围,将所述用户的皮肤状态为三级状态;其中,所述皮肤状态等级反应皮肤的好坏情况,其中皮肤情况从好到坏依次为一级状态>二级状态>三级状态。
上述设计方案的有益效果是:通过对人脸图像进行分析,获得用户的皮肤状况,针对性的为用户推荐化妆品及使用方法。
实施例5
基于实施例4的基础上,本发明提供一种具有美妆指导功能的化妆镜系统,所述计算单元基于所述皮肤状态为所述用户推荐化妆品及使用方法包括:
提醒子单元,用于根据所述存储模块中的护肤品信息推荐基本的护肤品进行初次护肤提醒,且护肤覆盖区域为面部所有皮肤区域;
基于所述皮肤状态的等级选择对应等级的护肤品进行二次护肤提醒,且护肤覆盖区域为面部所有皮肤区域;
针对所述第一区域的标记确定所述第一区域的位置,并选择针对性的护肤品对所述第一区域进行护肤提醒;
评价子单元,用于当检测到用户护肤完成后,对所述用户的皮肤进行再次检测,重新获得所述第一区域以及第二区域的占比,并根据重新占比结果,对选择的护肤品进行评价并记录。
上述设计方案的有益效果是:通过根据用户皮肤状况,针对性的为用户推荐化妆品,并对化妆品进行评价,帮助用户了解化妆品的使用效果。
实施例6
基于实施例1的基础上,本发明提供一种具有美妆指导功能的化妆镜系统,如图3所示,所述推荐模块,包括:
信息获取单元,用于获取所述用户的服装、出行目的信息;
查询单元,用于从妆容数据库中查找与所述用户的服装、出行目的信息相匹配的第一参考妆容;
脸型识别单元,用于识别并标记用户人脸图像的鼻骨特征点、下颌骨特征点、下巴特征点,获得标记点,并以所述标记点为基准,获得所述用户的人脸长度值、人脸宽度值以及下巴角度值;
其中,所述人脸长度值基于所述鼻骨特征点、下巴特征点获得,所述人脸宽度值基于所述下颌骨特征点获得,所述下巴角度值基于所述下颌骨特征点、下巴特征点获得;
所述脸型识别单元,还用于将所述用户的人脸长度值、人脸宽度值以及下巴角度值输入到脸型识别模型中,获得所述用户的脸型;
匹配单元,用于从所述第一参考妆容匹配选择与所述用户的脸型匹配的第二参考妆容;
融合单元,用于利用图像融合算法将所述第二参考妆容与所述用户的脸型进行融合处理,得到参考妆容,供用户选择。
在该实施例中,所述第一参考妆容、第二参考妆容为多个。
上述设计方案的有益效果为:通过基于用户的服装、出行目的,以及用户的脸型来为用户提供参考妆容,提高了所述参考妆容的实用性,帮助用户选择合适的妆容。
实施例7
基于实施例1的基础上,本发明提供一种具有美妆指导功能的化妆镜系统,如图4所示,所述指导模块,包括:
调取单元,用于调取所述用户选定的参考妆容对应的化妆步骤;
识别单元,用于识别所述化妆步骤中每一步化妆子步骤对应的标准手部姿态;
监测单元,用于监测所述用户的化妆过程,其步骤包括:
在预设时间内采集所述用户的第一手部动作数据,并将所述第一手部动作数据输入到动作识别模型中,得到所述用户的第一手部姿态;
将所述第一手部姿态与所述标准手部姿态进行比对获得相似度,选择相似度最高的对应的标准手部姿态及其化妆子步骤,并确定所述化妆子步骤为所述用户的当前化妆操作;
确定所述化妆子步骤的后续标准手部姿态,并采集所述用户的第二手部动作数据,并将所述第二手部动作数据输入到动作识别模型中,得到所述用户的第二手部姿态;
判断所述第二手部姿态与所述后续标准手部姿态是否一致;
若是,语音提醒所述用户继续进行化妆操作;
否则,语音提醒所述用户化妆操作失误,并进行纠正,直到所述述第二手部姿态与所述后续标准手部姿态一致;
确定所述当前化妆子步骤的结束标准手部姿态,当检测到所述用户存在所述结束标准手部姿态时,语音提醒所述用户完成所述化妆子步骤;
修正单元,将所述用户当前的妆容与所述化妆子步骤的效果图进行智能比对,若满足预设要求,则继续下一步的化妆步骤,否则,基于所述预设要求生成修正方案指导所述用户对当前妆容进行修正。
在该实施例中,所述化妆子步骤为在其中一个化妆步骤下再分为若干个子步骤。
在该实施例中,所述预设要求例如可以是眼部效果与所述效果图差异为用户可接受的范围、脸颊效果与所述效果图差异为用户可接受的范围等。
上述设计方案的有益效果是:通过对用户的化妆过程进行监测,可以及时提醒用户化妆过程中的失误,并进行修正,来辅助用户化妆,提高了用户的化妆效率。
实施例8
基于实施例6的基础上,本发明提供一种具有美妆指导功能的化妆镜系统,检测模块,还用于利用图像融合算法将所述第二参考妆容与所述用户的脸型进行融合处理后,对融合处理后的图像进行检测,其包括:
第一获取单元,用于基于边缘检测模型确定所述第二参考妆容与所述用户的脸型进行融合处理后的图像的边缘点以及所述边缘点的方向角度及像素强度;
第一计算单元,用于根据如下公式计算融合处理后的图像的边缘评估值:
其中,σ1表示所述融合处理后的图像的边缘评估值,α表示评估指数,取值为[0.1,0.3],m表示所述融合处理后的图像的边缘点行数,n表示所述融合处理后的图像的边缘点列数,θ(i,j)表示第i行第j列边缘点的方向角度,G(i,j)表示第i行第j列边缘点的像素强度,ω(i,j)表示第i行第j列边缘点的权重值,取值范围为[0,1],l表示与所述边缘点的像素强度有关的常量,当所述G(i,j)>1时,l=3,当所述G(i,j)≤1时,l=1;
第一判断单元,用于判断所述边缘评估值是否大于预设边缘评估值:
若是,控制第二获取单元开始工作;
否则,调整所述图像融合算法的可调整参数,再次将所述第二参考妆容与所述用户的脸型进行融合处理,直到检测到边缘评估值大于预设边缘评估值;
所述第二获取单元,用于基于相似性检测模型获得所述融合处理后的图像与第二参考妆容图像的亮度相似值A1、对比度相似值A2、结构相似值ε3;
第二计算单元,用于根据所述第二获取单元获取的参数值以及如下公式,计算所述融合处理后的图像与所述第二参考妆容图像的相似评估值:
其中,σ2表示所述融合处理后图像与所述第二参考妆容图像的相似评估值,β表示所述融合处理后图像的像素均值,γ表示所述第二参考妆容图像的像素均值,τ表示所述融合处理后图像的像素标准差,ω所述第二参考妆容图像的像素标准差;
第二判断单元,用于判断所述相似评估值是否大于预设相似评估值:
若是,则将所述融合处理后的图像作为所述参考妆容;
否则,调整所述图像融合算法的可调整参数,再次将所述第二参考妆容与所述用户的脸型进行融合处理,直到检测到边缘评估值大于预设相似评估值。
在该实施例中,所述像素强度表示像素的亮度,且所述像素强度没有单位。
在该实施例中,所述图像融合算法的可调整参数例如可以是融合层数设置、融合的位置等。
上述设计方案的有益效果是:通过对融合处理后的图像进行检测和优化,可以提高参考妆容的质量,便于用户直观的看到妆容的效果,帮助用户选择合适的妆容。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种具有美妆指导功能的化妆镜系统,其特征在于,包括:
存储模块,用于预先存储用户的护肤品、化妆品的产品信息;
摄像头,用于获取所述用户的面部图像;
分析模块,用于对所述面部图像进行预分析;
推荐模块,用于基于预分析结果以及产品信息,向所述用户推荐相关的参考妆容,供用户选择;
指导模块,用于根据用户选择的参考妆容,获取化妆步骤,来为用户提供化妆指导。
2.根据权利要求1所述的一种具有美妆指导功能的化妆镜系统,其特征在于,还包括:图像处理单元,用于所述分析模块对所述摄像头获取的面部图像进行预分析之前,对所述摄像头获取的面部图像进行预处理,包括:
所述图像处理单元,用于将所述面部图像转换为灰度图像,并随机选取所述灰度图像的像素点作为插值点,且获取以所述插值点为中心的领域内的多个像素点的像素均值,作为所述插值点的像素值,完成对所述灰度图像的图像插值;
所述图像处理单元,还用于对完成图像插值的灰度图像进行分割得到子图像,并为所述子图像设定均衡化程度系数,且基于所述均衡化程度系数,并行对所述子图像进行直方图均衡化处理以及进行融合处理。
3.根据权利要求1所述的一种具有美妆指导功能的化妆镜系统,其特征在于,还包括:显示模块,用于显示所述参考妆容以及化妆步骤。
4.根据权利要求1所述的一种具有美妆指导功能的化妆镜系统,其特征在于,所述分析模块,包括:
获取单元,用于对所述面部图像进行特征提取,得到人脸特征图像;
坐标单元,用于确定所述人脸特征图像的中心点,并以所述中心点为坐标原点,建立直角坐标系;
检测单元,用于检测所述人脸特征图像中的皮肤部位,并确定所述皮肤部位在所述直角坐标系中的位置;
提取单元,用于基于所述皮肤部位在所述直角坐标系中的位置确定所述皮肤部位的连通边缘位置,并基于所述连通边缘位置对所述皮肤部位进行提取,得到皮肤区域;
参考单元,用于基于用户年龄,获取标准状况下的皮肤的水分、纹理状况,得到标准皮肤图像,并获取所述标准皮肤图像R、G、B通道中对应的像素点R、G、B的像素值,并计算得到像素点R、G、B像素值的均值,将所述均值作为参考值;
分析单元,用于将所述皮肤区域的R、G、B通道中对应的像素点R、G、B的像素值小于所述参考值的像素点标记为第一区域,将剩余像素点标记为第二区域;
计算单元,用于计算所述第一区域以及第二区域在所述皮肤区域中的占比,同时,根据判别规则,对占比结果进行判别,根据判别结果确定皮肤状态,并基于所述皮肤状态为所述用户推荐化妆品及使用方法。
5.根据权利要求4所述的一种具有美妆指导功能的化妆镜系统,其特征在于,所述计算单元基于所述皮肤状态为所述用户推荐化妆品及使用方法包括:
提醒子单元,用于根据所述存储模块中的护肤品信息推荐基本的护肤品进行初次护肤提醒,且护肤覆盖区域为面部所有皮肤区域;
基于所述皮肤状态的等级选择对应等级的护肤品进行二次护肤提醒,且护肤覆盖区域为面部所有皮肤区域;
针对所述第一区域的标记确定所述第一区域的位置,并选择针对性的护肤品对所述第一区域进行护肤提醒;
评价子单元,用于当检测到用户护肤完成后,对所述用户的皮肤进行再次检测,重新获得所述第一区域以及第二区域的占比,并根据重新占比结果,对选择的护肤品进行评价并记录。
6.根据权利要求1所述的一种具有美妆指导功能的化妆镜系统,其特征在于,所述推荐模块,包括:
信息获取单元,用于获取所述用户的服装、出行目的信息;
查询单元,用于从妆容数据库中查找与所述用户的服装、出行目的信息相匹配的第一参考妆容;
脸型识别单元,用于识别并标记用户人脸图像的鼻骨特征点、下颌骨特征点、下巴特征点,获得标记点,并以所述标记点为基准,获得所述用户的人脸长度值、人脸宽度值以及下巴角度值;
其中,所述人脸长度值基于所述鼻骨特征点、下巴特征点获得,所述人脸宽度值基于所述下颌骨特征点获得,所述下巴角度值基于所述下颌骨特征点、下巴特征点获得;
所述脸型识别单元,还用于将所述用户的人脸长度值、人脸宽度值以及下巴角度值输入到脸型识别模型中,获得所述用户的脸型;
匹配单元,用于从所述第一参考妆容匹配选择与所述用户的脸型匹配的第二参考妆容;
融合单元,用于利用图像融合算法将所述第二参考妆容与所述用户的脸型进行融合处理,得到参考妆容,供用户选择。
7.根据权利要求1所述的一种具有美妆指导功能的化妆镜系统,其特征在于,所述指导模块,包括:
调取单元,用于调取所述用户选定的参考妆容对应的化妆步骤;
识别单元,用于识别所述化妆步骤中每一步化妆子步骤对应的标准手部姿态;
监测单元,用于监测所述用户的化妆过程,其步骤包括:
在预设时间内采集所述用户的第一手部动作数据,并将所述第一手部动作数据输入到动作识别模型中,得到所述用户的第一手部姿态;
将所述第一手部姿态与所述标准手部姿态进行比对获得相似度,选择相似度最高的对应的标准手部姿态及其化妆子步骤,并确定所述化妆子步骤为所述用户的当前化妆操作;
确定所述化妆子步骤的后续标准手部姿态,并采集所述用户的第二手部动作数据,并将所述第二手部动作数据输入到动作识别模型中,得到所述用户的第二手部姿态;
判断所述第二手部姿态与所述后续标准手部姿态是否一致;
若是,语音提醒所述用户继续进行化妆操作;
否则,语音提醒所述用户化妆操作失误,并进行纠正,直到所述述第二手部姿态与所述后续标准手部姿态一致;
确定所述当前化妆子步骤的结束标准手部姿态,当检测到所述用户存在所述结束标准手部姿态时,语音提醒所述用户完成所述化妆子步骤;
修正单元,将所述用户当前的妆容与所述化妆子步骤的效果图进行智能比对,若满足预设要求,则继续下一步的化妆步骤,否则,基于所述预设要求生成修正方案指导所述用户对当前妆容进行修正。
8.根据权利要求6所述的一种具有美妆指导功能的化妆镜系统,其特征在于,检测模块,还用于利用图像融合算法将所述第二参考妆容与所述用户的脸型进行融合处理后,对融合处理后的图像进行检测,其包括:
第一获取单元,用于基于边缘检测模型确定所述第二参考妆容与所述用户的脸型进行融合处理后的图像的边缘点以及所述边缘点的方向角度及像素强度;
第一计算单元,用于根据如下公式计算融合处理后的图像的边缘评估值:
其中,σ1表示所述融合处理后的图像的边缘评估值,α表示评估指数,取值为[0.1,0.3],m表示所述融合处理后的图像的边缘点行数,n表示所述融合处理后的图像的边缘点列数,θ(i,j)表示第i行第j列边缘点的方向角度,G(i,j)表示第i行第j列边缘点的像素强度,ω(i,j)表示第i行第j列边缘点的权重值,取值范围为[0,1],l表示与所述边缘点的像素强度有关的常量,当所述G(i,j)>1时,l=3,当所述G(i,j)≤1时,l=1;
第一判断单元,用于判断所述边缘评估值是否大于预设边缘评估值:
若是,控制第二获取单元开始工作;
否则,调整所述图像融合算法的可调整参数,再次将所述第二参考妆容与所述用户的脸型进行融合处理,直到检测到边缘评估值大于预设边缘评估值;
所述第二获取单元,用于基于相似性检测模型获得所述融合处理后的图像与第二参考妆容图像的亮度相似值A1、对比度相似值A2、结构相似值ε3;
第二计算单元,用于根据所述第二获取单元获取的参数值以及如下公式,计算所述融合处理后的图像与所述第二参考妆容图像的相似评估值:
其中,σ2表示所述融合处理后图像与所述第二参考妆容图像的相似评估值,β表示所述融合处理后图像的像素均值,γ表示所述第二参考妆容图像的像素均值,τ表示所述融合处理后图像的像素标准差,ω所述第二参考妆容图像的像素标准差;
第二判断单元,用于判断所述相似评估值是否大于预设相似评估值:
若是,则将所述融合处理后的图像作为所述参考妆容;
否则,调整所述图像融合算法的可调整参数,再次将所述第二参考妆容与所述用户的脸型进行融合处理,直到检测到边缘评估值大于预设相似评估值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110050796.1A CN112801859A (zh) | 2021-01-14 | 2021-01-14 | 一种具有美妆指导功能的化妆镜系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110050796.1A CN112801859A (zh) | 2021-01-14 | 2021-01-14 | 一种具有美妆指导功能的化妆镜系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112801859A true CN112801859A (zh) | 2021-05-14 |
Family
ID=75810991
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110050796.1A Withdrawn CN112801859A (zh) | 2021-01-14 | 2021-01-14 | 一种具有美妆指导功能的化妆镜系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112801859A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113570674A (zh) * | 2021-07-30 | 2021-10-29 | 精诚工坊电子集成技术(北京)有限公司 | 一种美肤品推荐方法、系统及其使用的比色片 |
CN113674829A (zh) * | 2021-07-13 | 2021-11-19 | 广东丸美生物技术股份有限公司 | 一种化妆配方的推荐方法及装置 |
CN116797864A (zh) * | 2023-04-14 | 2023-09-22 | 东莞莱姆森科技建材有限公司 | 基于智能镜子的辅助化妆方法、装置、设备及存储介质 |
CN117197541A (zh) * | 2023-08-17 | 2023-12-08 | 广州兴趣岛信息科技有限公司 | 一种基于卷积神经网络的用户分类方法及系统 |
-
2021
- 2021-01-14 CN CN202110050796.1A patent/CN112801859A/zh not_active Withdrawn
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113674829A (zh) * | 2021-07-13 | 2021-11-19 | 广东丸美生物技术股份有限公司 | 一种化妆配方的推荐方法及装置 |
CN113570674A (zh) * | 2021-07-30 | 2021-10-29 | 精诚工坊电子集成技术(北京)有限公司 | 一种美肤品推荐方法、系统及其使用的比色片 |
CN116797864A (zh) * | 2023-04-14 | 2023-09-22 | 东莞莱姆森科技建材有限公司 | 基于智能镜子的辅助化妆方法、装置、设备及存储介质 |
CN116797864B (zh) * | 2023-04-14 | 2024-03-19 | 东莞莱姆森科技建材有限公司 | 基于智能镜子的辅助化妆方法、装置、设备及存储介质 |
CN117197541A (zh) * | 2023-08-17 | 2023-12-08 | 广州兴趣岛信息科技有限公司 | 一种基于卷积神经网络的用户分类方法及系统 |
CN117197541B (zh) * | 2023-08-17 | 2024-04-30 | 广州兴趣岛信息科技有限公司 | 一种基于卷积神经网络的用户分类方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112801859A (zh) | 一种具有美妆指导功能的化妆镜系统 | |
CN106815566B (zh) | 一种基于多任务卷积神经网络的人脸检索方法 | |
CN104680121B (zh) | 一种人脸图像的处理方法及装置 | |
US8379937B1 (en) | Method and system for robust human ethnicity recognition using image feature-based probabilistic graphical models | |
JP5008269B2 (ja) | 情報処理装置、情報処理方法 | |
CN108537160A (zh) | 基于微表情的风险识别方法、装置、设备及介质 | |
CN109948476B (zh) | 一种基于计算机视觉的人脸皮肤检测系统及其实现方法 | |
CN107341688A (zh) | 一种客户体验的采集方法及系统 | |
EP3579176A1 (en) | Makeup evaluation system and operation method thereof | |
CN107798318A (zh) | 一种机器人识别面部快乐微表情的方法及其装置 | |
CN106056064A (zh) | 一种人脸识别方法及人脸识别装置 | |
CN104598888B (zh) | 一种人脸性别的识别方法 | |
CN105740779A (zh) | 人脸活体检测的方法和装置 | |
CN107066932A (zh) | 人脸识别中关键特征点的检测与定位方法 | |
CN113920568B (zh) | 基于视频图像的人脸和人体姿态情绪识别方法 | |
CN107862240A (zh) | 一种多摄像头协同的人脸追踪方法 | |
CN114445879A (zh) | 一种高精度人脸识别方法及人脸识别设备 | |
CN113222582B (zh) | 一种人脸支付零售终端机 | |
CN112883867A (zh) | 一种基于图像情感分析的学生在线学习评估方法及系统 | |
CN105912126A (zh) | 一种手势运动映射到界面的增益自适应调整方法 | |
JP2013003706A (ja) | 表情認識装置、方法、及びプログラム | |
CN112800950A (zh) | 一种基于深度学习的大型安保活动人脸搜索方法 | |
CN114894337A (zh) | 一种用于室外人脸识别测温方法及装置 | |
CN103870814A (zh) | 基于智能相机的非接触式实时眼动识别方法 | |
Al-Qayedi et al. | An algorithm for face and facial-feature location based on grey-scale information and facial geometry |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210514 |