CN112016491B - 一种智能卸妆镜及其控制方法和ai算法 - Google Patents

Abstract

本发明涉及一种智能卸妆镜及其控制方法和AI算法，属于卸妆镜应用技术领域，该智能卸妆镜具有特殊摄像头、彩色摄像头和补光灯，通过特殊摄像头采集包含反光异常特征区域的化妆品残留物图像，通过彩色摄像头采集人脸轮廓图像并根据人脸轮廓图像进行皮肤定位，通过补光灯提供照明光源和窄带光源，利用AI算法将包含反光异常特征区域的化妆品残留物图像和人脸轮廓图像合并，获得人脸妆容图像，人脸妆容图像中的反光异常特征区域表征未完全卸妆、残留的化妆品，从而实现了真正智能化的卸妆，根据反光异常特征区域的位置进行有针对性的卸妆，有效提升了卸妆速度和质量，使卸妆用时更短，卸妆更加充分、彻底，提高了卸妆效率。

Description

一种智能卸妆镜及其控制方法和AI算法

技术领域

本发明涉及卸妆镜应用技术领域，特别是涉及一种智能卸妆镜及其控制方法和AI算法。

背景技术

目前的化妆镜产品主要分为智能和非智能两类。非智能化妆镜，大多采用平面镜或具有放大效果的凹面反射镜，以帮助使用者看清脸部细微之处，有的非智能化妆镜还会增加补光灯，通过不同色温的补光灯辅助使用者进行化妆、补妆或卸妆。而智能化妆镜，一般会内嵌镜面显示器，集成有天气预报功能、日历、时间等多种功能，以及AR补妆和AI选妆功能，AR补妆可帮助使用者选择各式各样的彩妆，例如不同的口红色号、不同颜色的眼影，AI选妆可提供多种妆容搭配或装扮搭配供使用者选择。

很明显，这些化妆镜主要用于化妆和补妆，并不是专门用于卸妆与防晒自检的，虽然也可以提供基本的卸妆功能，但并不能帮助使用者有效地卸掉涂抹的化妆品、防晒霜、保养品等难以用人眼直接看到的“妆”。因此，目前亟需提供一种智能化的、专用于卸妆、可以识别残留化妆品、检测卸妆程度的卸妆镜，以实现完全、彻底的卸妆。

发明内容

本发明的目的是提供一种智能卸妆镜及其控制方法和AI算法，在不同波长的窄带光源的照射下，防晒霜等化妆品对窄带光源的反射和穿透的程度不同，利用这一原理，本发明在卸妆镜上设置了补光灯、特殊摄像头和彩色摄像头，补光灯提供不同波长的窄带光源，当窄带光源照射到脸部皮肤时，特殊摄像头中的特殊图像传感器会识别脸部皮肤上由化妆品残留物引起的反光异常特征区域，并采集包含反光异常特征区域的化妆品残留物图像，彩色摄像头中的彩色图像传感器采集人脸轮廓图像，并对脸部皮肤定位，然后利用AI算法将包含反光异常特征区域的化妆品残留物图像和人脸轮廓图像进行图像叠加合并，以AR的形式在卸妆镜上展现包含反光异常特征区域的人脸妆容图像，人脸妆容图像中的反光区域即反光异常特征区域，表征未完全卸妆、残留的化妆品，反光与原画色差差距越大、范围越大，表示残留的化妆品越多、涂抹范围越大，根据反光区域的位置进行有针对性的卸妆，从而实现可识别残留化妆品位置、检测卸妆程度的智能卸妆镜，有效提升了卸妆速度和质量，使卸妆用时更短，卸妆更加充分、彻底，提高了卸妆效率。并且，所述智能卸妆镜也可用于防晒霜涂抹与防护效果的检测，根据针对性的补光与图像采集，可以反馈防晒霜的涂抹效能与覆盖范围。

为实现上述目的，本发明提供了如下方案：

一种智能卸妆镜，包括镜面、镜身和主控制板，

所述镜面内嵌有用于显示人脸轮廓图像和化妆品残留物图像的触摸显示屏；

所述镜面的顶部设置有摄像头模组和补光灯；

所述摄像头模组包括特殊摄像头和彩色摄像头，所述特殊摄像头包括镜头和特殊图像传感器，所述彩色摄像头包括镜头和彩色图像传感器；所述镜头用于将影像聚焦于所述特殊图像传感器或所述彩色图像传感器上；

所述彩色图像传感器用于采集人脸图像，并从所述人脸图像中提取出人脸轮廓图像并建立动态皮肤定位坐标系；所述特殊图像传感器用于采集人脸图像，并根据窄带光源对不同化妆品反射和透过的程度不同，识别所述人脸图像中由化妆品残留物引起的反光异常特征区域，采集包含反光异常特征区域的化妆品残留物图像；

所述补光灯包括多个LED补光灯，多个所述LED补光灯用于为卸妆提供照明光源，以及为所述特殊图像传感器提供不同波长的窄带光源；

所述主控制板设置于所述镜身内部，所述主控制板用于利用AI算法，在所述动态皮肤定位坐标系中对所述反光异常特征区域进行皮肤定位，确定所述反光异常特征区域在所述动态皮肤定位坐标系中的具体坐标，并将所述人脸轮廓图像和所述包含反光异常特征区域的化妆品残留物图像合成，生成具有化妆品残留物的人脸妆容图像，并显示在所述触摸显示屏上。

可选的，所述镜身的底部外壳上设置有电源插头、电池、指示灯、充电口、开关按钮、功能按钮；所述电源插头、所述电池、所述指示灯、所述开关按钮和所述功能按钮均与所述主控制板电性连接；所述电源插头用于直接为所述智能卸妆镜供电；所述充电口与电池电性连接，所述充电口用于为所述电池充电，所述电池为所述智能卸妆镜供电；所述指示灯作为低电量、充电状态、开关状态和故障的指示提醒；所述开关按钮包括补光灯开关按钮和触摸显示屏开关按钮；所述功能按钮包括功能选择、确定和取消，通过所述触摸显示屏的屏幕菜单OSD调取多功能。

可选的，所述主控制板上集成安装有DSP数字信号处理器、MCU微控制芯片、存储器RAM/ROM和GPU图形处理器；所述摄像头模组与所述DSP数字信号处理器电性连接，所述补光灯一端与所述MCU微控制芯片电性连接，另一端与所述补光灯开关按钮连接；所述触摸显示屏一端与所述GPU图形处理器电性连接，另一端与所述触摸显示屏开关按钮连接。

可选的，所述镜面为平面镜或具有放大效果的凹面镜。

可选的，所述彩色摄像头有一个，所述特殊摄像头至少有一个。

可选的，所述开关按钮和所述功能按钮采用触摸式按钮、按压式按钮或长按式按钮。

可选的，所述触摸显示屏开关按钮处于关闭状态时，所述触摸显示屏关闭，所述智能卸妆镜的镜面作为正常化妆镜使用；所述触摸显示屏开关按钮处于开启状态时，通过所述触摸显示屏的屏幕菜单OSD或功能按钮选择AI合成功能或普通人脸功能时，选择AI合成功能时，所述触摸显示屏实时显示具有化妆品残留物的人脸妆容图像以辅助卸妆；选择普通人脸功能时，所述触摸显示屏实时显示普通人脸图像。

可选的，所述镜身的正面还设置有用于保护摄像头模组和补光灯且聚光的灯罩；所述镜身的背面还设置有用于保护镜体的外壳；所述灯罩和所述外壳通过卡扣扣合连接或者螺栓紧固连接。

本发明还提出了一种AI算法，具体步骤包括：

获取特殊图像传感器和彩色图像传感器同时实时采集的用户的人脸图像；

控制所述彩色图像传感器从所述人脸图像中抓取人脸轮廓图像，并根据所述人脸轮廓图像建立动态皮肤定位坐标系；

控制所述特殊图像传感器识别所述人脸图像中的反光异常特征部位，获得反光异常特征区域，并采集包含反光异常特征区域的化妆品残留物图像；

在所述动态皮肤定位坐标系中对所述反光异常特征区域进行皮肤定位，确定所述反光异常特征区域在所述动态皮肤定位坐标系中的具体坐标，并将所述人脸轮廓图像和所述化妆品残留物图像叠加合成，生成具有化妆品残留物的人脸妆容图像；

将所述人脸妆容图像以AR形式通过触摸显示屏显示给用户，其中所述反光异常特征区域表示化妆品残留物的位置。

本发明还提出了一种智能卸妆镜的控制方法，具体步骤包括：

实时采集镜面前的人脸图像；

从所述人脸图像中抓取人脸轮廓图像；

根据所述人脸轮廓图像建立动态皮肤定位坐标系；

识别人脸图像中由化妆品残留物引起的反光异常特征部位，获得反光异常特征区域；

采集包含反光异常特征区域的化妆品残留物图像；

利用AI算法，在所述动态皮肤定位坐标系中对所述反光异常特征区域进行皮肤定位，确定所述反光异常特征区域在所述动态皮肤定位坐标系中的具体坐标；

将所述人脸轮廓图像和所述包含反光异常特征区域的化妆品残留物图像合成，生成具有化妆品残留物的人脸妆容图像；

将所述人脸妆容图像以AR形式显示给用户。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

1、本发明通过特殊摄像头采集包含反光异常特征区域的化妆品残留物图像，彩色摄像头采集人脸轮廓图像并建立动态皮肤定位坐标系，利用AI算法确定反光异常特征区域在动态皮肤定位坐标系中的具体坐标位置，将包含反光异常特征区域的化妆品残留物图像和人脸轮廓图像合并，获得具有反光异常特征区域的人脸妆容图像，反光异常特征区域表征未完全卸妆、残留的化妆品，从而实现了真正智能化的卸妆。通过建立基于人脸轮廓图像的动态皮肤定位坐标系，并确定反光异常特征区域在动态皮肤定位坐标系的具体坐标，从而确定残留化妆品在人脸皮肤上的具体位置，根据反光异常特征区域的具体位置进行有针对性的卸妆，有效提升了卸妆速度和质量，使卸妆用时更短，卸妆更加充分、彻底，提高了卸妆效率。

2、本发明通过在人脸妆容图像上标注出反光部分即反光异常特征区域，标注的反光部分的颜色越亮、范围越大，表示残留的化妆品越多、涂抹范围越大，从而帮助用户查看到人眼不容易察觉与直接可见380-700nm外的化妆品，以实时影像展示给用户，辅助用户卸妆，解决了因化妆品、防晒霜、保养品等“妆”难以肉眼辨别而造成的卸妆不彻底的问题。

3、本发明不仅可帮助用户进行卸妆，还可以帮助用户进行上妆、补妆，同样根据人脸妆容图像中标注出的反光区域，反光区域颜色亮暗程度不同，表示化妆品涂抹厚度不均匀，反光区域覆盖不完全表示化妆品涂抹不全面，根据反光区域进一步进行补妆，使化妆品与防晒霜涂抹的更加均匀、饱和，保证化妆与防晒效果。

4、本发明通过补光灯产生窄带光源照射脸部的化妆品，效仿太阳光照射脸部防晒霜的过程，因此，可利用这一点验证防晒霜或其他化妆品的防晒功效，在验证防晒霜的防晒功效时，将不同的防晒霜涂抹到脸部皮肤上，此时，特殊摄像头会采集防晒霜涂抹效果图像，不同防晒霜涂抹于不同的位置会在防晒霜涂抹效果图像中生成对应的反光异常特征区域，利用与卸妆相同的原理，根据防晒霜涂抹效果图像中反光异常特征区域的反光颜色的亮暗程度，判断各个防晒霜的防晒功效的强弱，若反光异常特征区域的反光颜色较深，则该防晒霜的防晒效果相对较佳；若反光异常特征区域的反光颜色较浅，则该防晒霜的防晒效果相对较差。

5、本发明通过特殊摄像头中的特殊图像传感器识别人脸妆容图像中的反光异常特征区域，当充分卸妆后，图像中若还存在反光异常特征区域，则可初步断定为这些反光异常特征区域为色斑、色素沉淀，因此，本发明还可查看用户表皮层以下的真皮层的皮肤状况，可提早查看发觉色斑、色素沉淀的形成，便于对皮肤提前进行预防保养，针对性的解决色斑、色素沉淀等皮肤问题。

6、本发明针对触摸显示屏设置有独立开关，开关关闭时，触摸显示屏关闭时，整个智能卸妆镜的镜面作为一个正常的化妆镜使用，触摸显示屏开启时，通过触摸显示屏的屏幕菜单OSD选择AI合成功能或普通人脸功能，当选择AI合成功能时，触摸显示屏实时显示具有化妆品残留物的人脸妆容图像以辅助智能卸妆；当选择普通人脸功能时，所述触摸显示屏实时显示普通人脸图像，此时可以打开LED补光灯，以此种方式辅助使用者进行卸妆、上妆或补妆。此外，本发明的智能卸妆镜具有直插直流或交流电以及可充电电池两种供电模式，且触摸显示屏上还可显示天气、日历、温度和时间等多种功能界面，通过屏幕菜单OSD或者功能按钮可在AI合成功能、普通人脸功能、天气、日历、温度和时间等多功能中进行选择，使用更加便捷，为生活提供便利。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为智能卸妆镜的整体结构的剖视图和主视图，图1(a)为剖视图，图1(b)为主视图；

图2为智能卸妆镜的主控制板的连接关系示意图；

图3为人脸轮廓图像及脸部皮肤定位示意图，图3(a)为人脸轮廓图像示意图，图3(b)为脸部皮肤定位示意图；

图4为具有反光异常特征区域的人脸妆容图像示意图；

图5为集成多功能的触摸显示屏示意图；

图6为AI算法的流程示意图；

图7为智能卸妆镜的控制方法的流程示意图。

附图标记说明：

1-镜面；2-镜身；3-主控制板；4-触摸显示屏；5-摄像头模组；501-特殊摄像头；502-彩色摄像头；6-补光灯；601-LED补光灯；7-电源插头；8-电池；9-指示灯；10-充电口；11-开关按钮；12-功能按钮；13-灯罩；14-外壳。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种智能卸妆镜及其控制方法和AI算法，能够在卸妆的过程中，从卸妆镜中观察到脸部中的反光区域，这些反光区域即反光异常特征区域，表征未完全卸妆、残留的化妆品，通过实时查看反光区域的位置，可确定残留的化妆品的位置，从而进行有针对性的卸妆，有效提升了卸妆速度和质量，使卸妆用时更短，卸妆更加充分、彻底，提高了卸妆效率。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例

如图1所示，本实施例示出了一种智能卸妆镜的整体结构示意图，其中，图1(a)为智能卸妆镜的剖视图，图1(b)为智能卸妆镜的主视图。

从图1中可以看出，本实施例的镜面1为圆形，实际上镜面1的形状可以根据实际需求设置为各种形状，例如正方形、矩形、椭圆形、三角形或者星形等各种形状，而镜身2的形状则根据镜面1的形状进行适配，例如将镜面1采用美观的椭圆形镜面1，则镜身2必然会设置为椭圆形的镜身2，以实现镜面1和镜身2的无缝贴合。智能卸妆镜的尺寸也可以根据实际需求设定。所述智能卸妆镜可为个人日常卸妆或专柜/专业店铺使用，可以为手持便携式，可以为立式摆放，也可以为嵌入式安装于墙体，也可以吸附、粘贴在墙面或衣柜等其他物件上。因此，本实施例采用的立式摆放式的圆形镜面1的智能卸妆镜，并不是对本发明做出的唯一性的限定，任何形状、尺寸的镜面1和镜身2，或者在镜面1、镜身2上增添美观性的装饰，以及智能卸妆镜的嵌入式、手持式等各种安装形式，都应该在本发明的保护范围之内。

本实施例的智能卸妆镜，主要由镜面1、镜身2和主控制板3三部分构成。其中，所述镜面1为一块平面镜或具有放大效果的凹面镜，其内部嵌有触摸显示屏4，所述触摸显示屏4用于显示人脸轮廓图像和化妆品残留物图像。所述触摸显示屏4可占据部分或者全部镜面1，与镜面1集成为镜面1屏。当所述触摸显示屏4占据部分镜面1时，所述触摸显示屏4在镜面1中的高度、厚度和大小等尺寸可根据实际需求设置，其大小至少可显示出完整的人脸，在镜面1中的高度以用户坐在椅子上恰好显示出完整的人脸为最佳。

所述触摸显示屏4可选用红外线式、电阻式、表面声波式和电容式触摸屏，所述触摸显示屏4的材质可选用TFT、TFD、UFB、STN、OLED、LCD以及AMOLED等各种屏幕材质。

所述镜面1的顶部设置有多个摄像头模组5和多个补光灯6。其中，每个摄像头模组5又包括至少一个特殊摄像头501和1个彩色摄像头502。所述补光灯6包括多个LED补光灯601，多个所述LED补光灯601用于为卸妆提供照明光源，以及为所述特殊图像传感器提供不同波长的窄带光源。本实施例中，所述镜面1为圆形，多个所述LED补光灯601在圆形镜面1的周围均匀分布，实际上，多个所述LED补光灯601可根据所述镜面1的形状进行布置，但需尽量保持均匀分布，以保证提供的照明光源和窄带光源更加均匀、全面。

多个摄像头模组5的目的是为了采集光学影像，并将光学影像通过所述主控制板3转化成数码图像。单一的摄像头模组5具体包括镜头组、镜头托架、特定滤片、特定CMOS图像传感器。其中，镜头组、镜头托架、特定滤片是聚焦镜头的核心部件，因此，本实施例中，所述特殊摄像头501包括镜头和特殊图像传感器，所述彩色摄像头502包括镜头和彩色图像传感器，所述镜头用于将影像聚焦于所述特殊图像传感器或所述彩色图像传感器上。

所述彩色图像传感器用于采集人脸图像，并从所述人脸图像中提取出人脸轮廓图像并建立动态皮肤定位坐标系；所述特殊图像传感器用于采集人脸图像，并根据窄带光源对不同化妆品反射和透过的程度不同，识别所述人脸图像中由化妆品残留物引起的反光异常特征区域，采集包含反光异常特征区域的化妆品残留物图像。一个所述特殊图像传感器仅能对于1～4个特定波段的窄带光源进行获取。

所述智能卸妆镜识别皮肤残留化妆品的原理是：由于每个特殊摄像头501所捕捉的光学波段有所不同，包括彩色可见光(可见光VIS)、多光谱窄带紫外线(UV)、多光谱窄带红外线(IR)，且每个特殊摄像头501对应的感光电磁波的波长也不同，所述彩色可见光、所述多光谱窄带紫外线和所述多光谱窄带红外线的波长均不同，因此，本实施例中，通过所述LED补光灯601为所述特殊摄像头501提供多个不同的窄带光源，而各个窄带光源的波段对应皮肤色斑、化妆品、保养品或防晒品的特定成分进行光学的反射、吸收、反射特征，从而在镜面1上显示出反光区域，即反光异常特征区域，表示未完全卸妆、残留的化妆品、保养品、防晒品或者皮肤色斑。

由于要精准抓取化妆品、保养品或防晒品在皮肤中残留物的特征，因此需要针对各个不同窄带波段进行光信号转化数码信号的处理，以实现光学影像向数码图像的转化过程，即所述彩色图像传感器和所述特殊图像传感器即感光二极管矩阵，如CCD或CMOS，在每一个Cell中将光子能量转化成电子能像，外部再在DSP数字信号处理器中进行电子信号计算组合成数字信号，在所述彩色图像传感器和所述特殊图像传感器中的每一个二极管的像素点均是将光能量转化成电子能量的，在矩阵中相当于用各个像素点组合成一个图像，从而在所述触摸显示屏4中实时显示出人脸图像。

本实施例中的主控制板3设置于所述镜身2内部，通过螺栓紧固或其他方式固定，所述主控制板3用于利用AI算法，在所述动态皮肤定位坐标系中对所述反光异常特征区域进行皮肤定位，即确定所述反光异常特征区域在所述动态皮肤定位坐标系中的具体坐标位置，并将所述人脸轮廓图像和所述包含反光异常特征区域的化妆品残留物图像合成，生成具有化妆品残留物的人脸妆容图像，并显示在所述触摸显示屏4上。

所述镜身2的底部外壳14上设置有电源插头7、电池8、指示灯9、充电口10、开关按钮11、功能按钮12。所述电源插头7用于直接为所述智能卸妆镜提供交流电或直流电供电；所述充电口10与电池8电性连接，所述充电口10用于为所述电池8充电，所述电池8为所述智能卸妆镜提供弱电供应(12V或以下，通常为5V电压)，并且所述电池8还可作为充电宝，为手机或其他移动设备进行充电。所述电池8的电流输出或输入通过USB规格或相应通用接口如USB、MicroUSB、TypeC或Lightning提供。该接口同时可提供数据的导出或导入，作为固件升级、外部数据闪存功能、图像数据读出。

所述指示灯9作为低电量、充电状态、开关状态和故障的指示提醒。通过设置不同的指示灯9颜色，或者指示灯9闪动亮起的频率，区分低电量、充电状态、开关状态和故障等指示提醒，例如指示灯9显示为红色则表示所述智能卸妆镜出现故障，显示为黄色表示所述智能卸妆镜电量过低，显示绿色表示所述智能卸妆镜充电已完成，显示蓝色表示所述智能卸妆镜已正常开启处于正常工作状态，或者指示灯9高频率闪动，表示所述智能卸妆镜出现故障，低频率闪动则表示所述智能卸妆镜电量过低，需要充电。对所述指示灯9的灯光提醒的设置可根据实际需求进行设定。

所述开关按钮11包括补光灯6开关按钮和触摸显示屏4开关按钮；所述功能按钮12包括功能选择、确定和取消，通过所述触摸显示屏4的屏幕菜单OSD调取多功能，例如日历、天气、日程安排、时间、截屏、录屏等。所述开关按钮11和所述功能按钮12采用触摸式按钮、按压式按钮或长按式按钮，所述功能按钮12可通过按压持续时间的不同实现功能选择、确定和取消等不同功能，或者，将所述功能按钮至少设置为三个，三个所述功能按钮分别对应预设有功能选择/切换、确定和取消。

所述触摸显示屏4开关按钮处于关闭状态时，所述触摸显示屏4关闭，所述智能卸妆镜的镜面1作为正常化妆镜使用；所述触摸显示屏4开关按钮处于开启状态时，所述触摸显示屏4开启显示功能，显示功能为主控制板3所提供的处理后的数字信号，该数字信号效果为分别各个摄像头模组5采集的图像，或分屏组合图像，或利用虚拟现实AR标注出反光异常特征区域，实时显示具有化妆品残留物的人脸妆容图像以辅助卸妆。

所述镜身2的正面还设置有用于保护摄像头模组5和补光灯6的灯罩13，所述灯罩13还具有柔光、散光或聚光功能，以及滤光功能，从而更有利于所述特殊图像传感器和所述彩色图像传感器采集图像，且对用户的眼睛更加柔和、不刺激。所述镜身2的背面还设置有用于保护镜体和提升美观度的外壳14。所述灯罩13和所述外壳14通过卡扣扣合或者螺栓紧固等方式连接。

本实施例针对触摸显示屏4设置有独立开关，所述触摸显示屏4开关按钮处于关闭状态时，所述触摸显示屏4关闭，所述智能卸妆镜的镜面1作为正常化妆镜使用。所述触摸显示屏4开关按钮处于开启状态时，通过所述触摸显示屏4的屏幕菜单OSD选择AI合成功能时，所述触摸显示屏4实时显示具有化妆品残留物的人脸妆容图像以辅助卸妆；通过所述触摸显示屏4的屏幕菜单OSD选择普通人脸功能时，所述触摸显示屏4实时显示普通人脸图像，此时可以打开LED补光灯601，以此种方式辅助使用者进行卸妆、上妆或补妆，真正实现了“一镜多用”。

此外，本发明的智能卸妆镜具有直插交流电和可充电电池8两种供电模式，使用更加方便，且触摸显示屏4上不仅可显示日历、天气、温度、日程安排、时间等多种功能界面，还可以对触摸显示屏4进行截屏、录屏，可以对用户化妆或卸妆的过程进行全程录像，也可以针对化妆后的妆容或者卸妆后的素颜进行截屏拍照，通过数据线导出到手机等移动终端，可以供用户后期查看，也可作为化妆、卸妆教学视频或交流视频分享给其他人，使用更加便捷，为生活提供便利。

本实施例通过特殊摄像头501采集包含反光异常特征区域的化妆品残留物图像，彩色摄像头502采集人脸轮廓图像并建立动态皮肤定位坐标系，利用AI算法确定反光异常特征区域在动态皮肤定位坐标系中的具体坐标位置，将包含反光异常特征区域的化妆品残留物图像和人脸轮廓图像合并，获得具有反光异常特征区域的人脸妆容图像，反光异常特征区域表征未完全卸妆、残留的化妆品，从而实现了真正智能化的卸妆。通过建立基于人脸轮廓图像的动态皮肤定位坐标系，并确定反光异常特征区域在动态皮肤定位坐标系的具体坐标，从而确定残留化妆品在人脸皮肤上的具体位置，根据反光异常特征区域的具体位置进行有针对性的卸妆，有效提升了卸妆速度和质量，使卸妆用时更短，卸妆更加充分、彻底，提高了卸妆效率。

图2为智能卸妆镜的主控制板3的连接关系示意图。本实施例中，主控制板3是一块PCB电路板，为整体设备的电子控制器与数码信号处理和优化，所述主控制板3上集成安装有DSP数字信号处理器、MCU微控制芯片、存储器RAM/ROM，还增设了GPU图形处理器作为AI图形分析，还集成有多个电容与电阻。

其中，所述DSP数字信号处理器、所述MCU微控制芯片、所述存储器RAM/ROM和所述GPU图形处理器均为常用的计算机硬件，各自的功能此处不再赘述，所述DSP数字信号处理器、所述MCU微控制芯片和所述GPU图形处理器的具体型号可根据实际需求选择，所述存储器RAM/ROM的容量也可根据实际需求选择，由于需要存储人脸妆容图像和化妆、卸妆的视频，因此，容量以64GB或128GB等大容量为最佳。

所述主控制板3中，所述DSP数字信号处理器与所述摄像头模组5电性连接。所述MCU微控制芯片与所述补光灯6一端电性连接，所述补光灯6的另一端与所述补光灯6开关按钮11连接。所述GPU图形处理器与所述触摸显示屏4一端电性连接，所述触摸显示屏4的另一端与所述触摸显示屏4开关按钮11连接。

所述镜身2上设置的所述电源插头7、所述电池8、所述指示灯9、所述开关按钮11和所述功能按钮12，均与所述主控制板3电性连接。

所述智能卸妆镜在使用时，用户的脸部应对准镜面1的触摸显示屏4，使触摸显示屏4可显示出整个脸部皮肤。接入电源，打开所述补光灯6开关按钮11和所述触摸显示屏4开关按钮11，所述补光灯6亮起，所述特殊摄像头501和所述彩色摄像头502开始工作，所述触摸显示屏4开始显示彩色的具有化妆品残留物的人脸妆容图像，根据所述人脸妆容图像进行有针对性的卸妆，同时可通过功能按键或直接在所述触摸显示屏4上选择日历、天气、日程安排、时间、截屏、录屏等各种功能。

图3为人脸轮廓图像及脸部皮肤定位示意图，其中，3(a)为人脸轮廓图像示意图，3(b)为脸部皮肤定位示意图。本实施例中，人脸轮廓图像是由所述彩色图像传感器从人脸图像中提取出来的，所述彩色图像传感器提取出人脸轮廓图像后，根据所述人脸轮廓图像建立动态皮肤定位坐标系，与此同时，所述特殊图像传感器也会采集人脸图像，并根据窄带光源对不同化妆品反射和透过的程度不同，识别所述人脸图像中由化妆品残留物引起的反光异常特征区域，从而从所述人脸图像中提取出包含反光异常特征区域的化妆品残留物图像，所述反光异常特征区域存在未卸妆完成、残留的化妆品，再获得所述动态皮肤定位坐标系和所述反光异常特征区域后，主控制板3会利用AI算法，在基于人脸轮廓图像建立的动态皮肤定位坐标系中，确定反光异常特征区域的具体坐标信息，并将所述人脸轮廓图像和所述包含反光异常特征区域的化妆品残留物图像进行AR合成，所述人脸轮廓图像作为AR合成图像的底层，所述包含反光异常特征区域的化妆品残留物图像作为AR合成图像的顶层，AR合成后，生成具有化妆品残留物的人脸妆容图像，从而确定人脸图像中化妆品残留物的具体位置，根据化妆品残留物的具体位置进行卸妆。

在多个LED补光灯601发射的不同波段的窄带光源的照射下，有化妆品残留物的皮肤和完全卸妆的正常皮肤的反射状况是不同的，因此，所述特殊图像传感器采集的人脸图像中，化妆品残留物和正常皮肤的反射图像也就会不同，有化妆品残留物的皮肤处就会形成反光特征，这些反光特征就会形成反光异常特征区域，如图4所示。图4展示出了具有反光异常特征区域的人脸妆容图像示意图，从图4中可直观看出，在人脸妆容图像中，有一长条状区域与其他皮肤处的颜色明显不同，这一长条状区域呈现出反光状态，而其他皮肤处则比较昏暗，这一长条状区域就是反光异常特征区域，表示在这一长条状区域的位置处，仍然残留有粉底或防晒霜等没有完全卸除的化妆品。

实际使用过程中，反光异常特征区域的具体形状并不限于图4中所示的长条状，可以为各种规则或不规则的形状，反光异常特征区域的形状和大小由化妆和卸妆的情况决定，并且，反光异常特征区域的数量也是不确定的，可以为一处或多处，甚至可以没有(表示充分、彻底卸妆)，其数量也由化妆和卸妆的情况决定。此外，可通过虚线标注所述反光异常特征区域的边缘轮廓，或者增加色块闪动的方式，提醒用户所述反光异常特征区域的具体位置。

本实施例通过在人脸妆容图像上标注出反光部分即反光异常特征区域，标注的反光部分的颜色越亮、范围越大，表示残留的化妆品越多、涂抹范围越大，从而帮助用户查看到人眼不容易察觉与直接可见380-700nm外的化妆品，以实时影像展示给用户，辅助用户卸妆，解决了因化妆品、防晒霜、保养品等“妆”难以肉眼辨别而造成的卸妆不彻底的问题。

同理，根据反光异常特征区域，不仅可以实现卸妆，还可以进行化妆、补妆，同样根据人脸妆容图像中标注出的反光区域，当化妆时，反光区域的颜色亮暗程度不同表示化妆品涂抹厚度不均匀，偏暗的区域表示涂抹的化妆品厚度较薄，反光区域覆盖不完全表示化妆品涂抹不全面，未被反光区域覆盖的皮肤处表示没有涂抹化妆品，根据反光异常特征区域进一步进行补妆，使化妆品涂抹的更加均匀、饱和，保证化妆、补妆的效果。

此外，本实施例通过补光灯6产生窄带光源照射脸部的化妆品，效仿太阳光照射脸部防晒霜的过程，因此，可利用这一点验证防晒霜或其他化妆品的防晒功效，在验证防晒霜的防晒功效时，将不同的防晒霜涂抹到脸部皮肤上，此时，特殊摄像头501会采集防晒霜涂抹效果图像，不同防晒霜涂抹于不同的位置会在防晒霜涂抹效果图像中生成对应的反光异常特征区域。利用与卸妆相同的原理，根据防晒霜涂抹效果图像中反光异常特征区域的反光颜色的亮暗程度，判断各个防晒霜的防晒功效的强弱，若反光异常特征区域的反光颜色较深，则该防晒霜的防晒效果相对较佳；若反光异常特征区域的反光颜色较浅，则该防晒霜的防晒效果相对较差。

化妆品会在人脸妆容图像中形成反光异常特征区域，除此之外，雀斑、黑斑、色斑、黄褐斑和老年斑等皮肤病也会在人脸妆容图像中形成反光异常特征区域，这些皮肤病都是由于皮肤黑色素的增加而形成，一般会在面部呈现褐色或黑色区域。

基于此，本实施例通过反光异常特征区域辨别色斑等皮肤病，当充分卸妆后，人脸妆容图像中若还存在反光异常特征区域，则可初步断定这些反光异常特征区域为黑色素沉淀导致的色斑等皮肤病，因此，本发明还可查看用户表皮层以下的真皮层的皮肤状况，可提早发觉色斑等皮肤病的形成，便于对皮肤提前进行预防保养，针对性的解决色斑、色素沉淀等皮肤问题。

图5为集成多功能的触摸显示屏4示意图。从图中可以直观看出，在所述触摸显示屏4上，还显示出了时间、日历和天气等多种功能，这些功能在用户化妆、卸妆时为用户提供便利。

并且，本实施例中，所述触摸显示屏4还具有智能补妆功能，可帮助使用者选择各式各样的彩妆，图5中为用户提供了7种不同色号的口红，在所述触摸显示屏4中点击口红色号，即可在所述触摸显示屏4中自动适配出相应色号的口红，用户根据该色号的口红的搭配效果，决定是否采用这一色号的口红，若是则手动选择该色号的口红进行上妆，否则可选择其他色号的口红进行搭配。同时，所述触摸显示屏4的智能补妆功能还可提供粉底、眉笔等多种化妆品的智能搭配。

通过所述触摸显示屏4中预设的时间、日历、天气和智能补妆等多种功能，不仅可为用户提供生活所需的基础信息，还可为用户提供多种妆容搭配，极大提升了用户化妆和卸妆的体验，为生活带来极大便利，在软件层面还可升级增加皮肤管理建议，或其他如高温、恶劣天气等提前预警提示，或者与其他智能家居整合构成物联网系统，使所述智能卸妆镜更加智能化。

图6为AI算法的流程示意图。所述AI算法的具体步骤包括：

S1：获取特殊图像传感器和彩色图像传感器同时实时采集的用户的人脸图像；

S2：控制所述彩色图像传感器从所述人脸图像中抓取人脸轮廓图像，并根据所述人脸轮廓图像建立动态皮肤定位坐标系；

S3：控制所述特殊图像传感器识别所述人脸图像中的反光异常特征部位，获得反光异常特征区域，并采集包含反光异常特征区域的化妆品残留物图像；

S4：在所述动态皮肤定位坐标系中对所述反光异常特征区域进行皮肤定位，确定所述反光异常特征区域在所述动态皮肤定位坐标系中的具体坐标，并将所述人脸轮廓图像和所述化妆品残留物图像叠加合成，生成具有化妆品残留物的人脸妆容图像；

S5：将所述人脸妆容图像以AR形式通过触摸显示屏4显示给用户，其中所述反光异常特征区域表示化妆品残留物的位置。

图7为智能卸妆镜的控制方法的流程示意图。所述智能卸妆镜的控制方法具体步骤包括：

S1：实时采集镜面1前的人脸图像；

S2：从所述人脸图像中抓取人脸轮廓图像；

S3：根据所述人脸轮廓图像建立动态皮肤定位坐标系；

S4：识别人脸图像中由化妆品残留物引起的反光异常特征部位，获得反光异常特征区域；

S5：采集包含反光异常特征区域的化妆品残留物图像；

S6：利用AI算法，在所述动态皮肤定位坐标系中对所述反光异常特征区域进行皮肤定位，确定所述反光异常特征区域在所述动态皮肤定位坐标系中的具体坐标；

S7：将所述人脸轮廓图像和所述包含反光异常特征区域的化妆品残留物图像合成，生成具有化妆品残留物的人脸妆容图像；

S8：将所述人脸妆容图像以AR形式显示给用户。

本实施例提出了一种智能卸妆镜及其控制方法和AI算法，通过特殊摄像头采集包含反光异常特征区域的化妆品残留物图像，彩色摄像头采集人脸轮廓图像并建立动态皮肤定位坐标系，利用AI算法确定反光异常特征区域在动态皮肤定位坐标系中的具体坐标位置，将包含反光异常特征区域的化妆品残留物图像和人脸轮廓图像合并，获得具有反光异常特征区域的人脸妆容图像，反光异常特征区域表征未完全卸妆、残留的化妆品，从而实现了真正智能化的卸妆。通过建立基于人脸轮廓图像的动态皮肤定位坐标系，并确定反光异常特征区域在动态皮肤定位坐标系的具体坐标，从而确定残留化妆品在人脸皮肤上的具体位置，根据反光异常特征区域的具体位置进行有针对性的卸妆，有效提升了卸妆速度和质量，使卸妆用时更短，卸妆更加充分、彻底，提高了卸妆效率。同时，还可通过所述智能卸妆镜进行智能化妆、补妆，以及检测化妆品的防晒性，使所述智能卸妆镜更加智能化，提升用户的使用体验。还可通过所述智能卸妆镜提前发觉色斑、色素沉淀等皮肤病，便于对皮肤提前进行预防保养，针对性的解决色斑、色素沉淀等皮肤问题。

此外，利用与卸妆相同的原理，可根据防晒霜涂抹效果图像中反光异常特征区域的反光颜色的亮暗程度，判断各个防晒霜的防晒功效的强弱，若反光异常特征区域的反光颜色较深，则该防晒霜的防晒效果相对较佳；若反光异常特征区域的反光颜色较浅，则该防晒霜的防晒效果相对较差。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种智能卸妆镜，其特征在于，包括镜面、镜身和主控制板，

所述镜面内嵌有用于显示人脸轮廓图像和化妆品残留物图像的触摸显示屏；

所述镜面的顶部设置有摄像头模组和补光灯；

所述摄像头模组包括特殊摄像头和彩色摄像头，所述特殊摄像头包括镜头和特殊图像传感器，所述彩色摄像头包括镜头和彩色图像传感器；所述镜头用于将影像聚焦于所述特殊图像传感器或所述彩色图像传感器上；

所述彩色图像传感器用于采集人脸图像，并从所述人脸图像中提取出人脸轮廓图像并建立动态皮肤定位坐标系；所述特殊图像传感器用于采集人脸图像，并根据窄带光源对不同化妆品反射和透过的程度不同，识别所述人脸图像中由化妆品残留物引起的反光异常特征区域，采集包含反光异常特征区域的化妆品残留物图像；

所述补光灯包括多个LED补光灯，多个所述LED补光灯用于为卸妆提供照明光源，以及为所述特殊图像传感器提供不同波长的窄带光源；

每个所述特殊摄像头所捕捉的光学波段不同，包括彩色可见光、多光谱窄带紫外线、多光谱窄带红外线，且每个所述特殊摄像头对应的感光电磁波的波长也不同，所述彩色可见光、所述多光谱窄带紫外线和所述多光谱窄带红外线的波长均不同，通过所述LED补光灯为所述特殊摄像头提供多个不同的窄带光源，而各个窄带光源的波段对应皮肤色斑、化妆品、保养品或防晒品的特定成分进行光学的反射、吸收、反射特征，从而在镜面上显示出反光异常特征区域，所述反光异常特征区域表示未完全卸妆、残留的化妆品、保养品、防晒品或者皮肤色斑；

所述主控制板设置于所述镜身内部，所述主控制板用于利用AI算法，在所述动态皮肤定位坐标系中对所述反光异常特征区域进行皮肤定位，确定所述反光异常特征区域在所述动态皮肤定位坐标系中的具体坐标，并将所述人脸轮廓图像和所述包含反光异常特征区域的化妆品残留物图像合成，生成具有化妆品残留物的人脸妆容图像，并显示在所述触摸显示屏上。

2.如权利要求1所述的智能卸妆镜，其特征在于，所述镜身的底部外壳上设置有电源插头、电池、指示灯、充电口、开关按钮、功能按钮；所述电源插头、所述电池、所述指示灯、所述开关按钮和所述功能按钮均与所述主控制板电性连接；所述电源插头用于直接为所述智能卸妆镜供电；所述充电口与电池电性连接，所述充电口用于为所述电池充电，所述电池为所述智能卸妆镜供电；所述指示灯作为低电量、充电状态、开关状态和故障的指示提醒；所述开关按钮包括补光灯开关按钮和触摸显示屏开关按钮；所述功能按钮包括功能选择、确定和取消，通过所述触摸显示屏的屏幕菜单OSD调取多功能。

3.如权利要求2所述的智能卸妆镜，其特征在于，所述主控制板上集成安装有DSP数字信号处理器、MCU微控制芯片、存储器RAM/ROM和GPU图形处理器；所述摄像头模组与所述DSP数字信号处理器电性连接，所述补光灯一端与所述MCU微控制芯片电性连接，另一端与所述补光灯开关按钮连接；所述触摸显示屏一端与所述GPU图形处理器电性连接，另一端与所述触摸显示屏开关按钮连接。

4.如权利要求1所述的智能卸妆镜，其特征在于，所述镜面为平面镜或具有放大效果的凹面镜。

5.如权利要求1所述的智能卸妆镜，其特征在于，所述彩色摄像头有一个，所述特殊摄像头至少有一个。

6.如权利要求2所述的智能卸妆镜，其特征在于，所述开关按钮和所述功能按钮采用触摸式按钮、按压式按钮或长按式按钮。

7.如权利要求2所述的智能卸妆镜，其特征在于，所述触摸显示屏开关按钮处于关闭状态时，所述触摸显示屏关闭，所述智能卸妆镜的镜面作为正常化妆镜使用；所述触摸显示屏开关按钮处于开启状态时，通过所述触摸显示屏的屏幕菜单OSD或功能按钮选择AI合成功能或普通人脸功能时，选择AI合成功能时，所述触摸显示屏实时显示具有化妆品残留物的人脸妆容图像以辅助卸妆；选择普通人脸功能时，所述触摸显示屏实时显示普通人脸图像。

8.如权利要求1所述的智能卸妆镜，其特征在于，所述镜身的正面设置有用于保护摄像头模组和补光灯且聚光的灯罩；所述镜身的背面还设置有用于保护镜体的外壳；所述灯罩和所述外壳通过卡扣扣合连接或者螺栓紧固连接。

9.一种基于权利要求1所述的智能卸妆镜的AI算法，其特征在于，具体步骤包括：

获取特殊图像传感器和彩色图像传感器同时实时采集的用户的人脸图像；

控制所述彩色图像传感器从所述人脸图像中抓取人脸轮廓图像，并根据所述人脸轮廓图像建立实时动态皮肤定位坐标系；

控制所述特殊图像传感器识别所述人脸图像中的反光异常特征部位，获得反光异常特征区域，并采集包含反光异常特征区域的化妆品残留物图像；

在所述动态皮肤定位坐标系中对所述反光异常特征区域进行皮肤定位，确定所述反光异常特征区域在所述动态皮肤定位坐标系中的具体坐标，并将所述人脸轮廓图像和所述化妆品残留物图像叠加合成，生成具有化妆品残留物的人脸妆容图像；

将所述人脸妆容图像以AR形式通过触摸显示屏显示给用户，其中所述反光异常特征区域表示化妆品残留物的位置；

所述特殊图像传感器和镜头构成特殊摄像头，每个所述特殊摄像头所捕捉的光学波段不同，包括彩色可见光、多光谱窄带紫外线、多光谱窄带红外线，且每个所述特殊摄像头对应的感光电磁波的波长也不同，所述彩色可见光、所述多光谱窄带紫外线和所述多光谱窄带红外线的波长均不同，通过所述LED补光灯为所述特殊摄像头提供多个不同的窄带光源，而各个窄带光源的波段对应皮肤色斑、化妆品、保养品或防晒品的特定成分进行光学的反射、吸收、反射特征，从而在镜面上显示出反光异常特征区域，所述反光异常特征区域表示未完全卸妆、残留的化妆品、保养品、防晒品或者皮肤色斑。

10.一种基于权利要求1所述的智能卸妆镜的控制方法，其特征在于，具体步骤包括：

实时采集镜面前的人脸图像；

从所述人脸图像中抓取人脸轮廓图像；

根据所述人脸轮廓图像建立实时动态皮肤定位坐标系；

识别人脸图像中由化妆品残留物引起的反光异常特征部位，获得反光异常特征区域；

采集包含反光异常特征区域的化妆品残留物图像；

利用AI算法，在所述动态皮肤定位坐标系中对所述反光异常特征区域进行皮肤定位，确定所述反光异常特征区域在所述动态皮肤定位坐标系中的具体坐标；

将所述人脸轮廓图像和所述包含反光异常特征区域的化妆品残留物图像合成，生成具有化妆品残留物的人脸妆容图像；

将所述人脸妆容图像以AR形式显示给用户；

通过特殊图像传感器实现所述识别人脸图像中由化妆品残留物引起的反光异常特征部位，获得反光异常特征区域；每个所述特殊摄像头所捕捉的光学波段不同，包括彩色可见光、多光谱窄带紫外线、多光谱窄带红外线，且每个所述特殊摄像头对应的感光电磁波的波长也不同，所述彩色可见光、所述多光谱窄带紫外线和所述多光谱窄带红外线的波长均不同，通过所述LED补光灯为所述特殊摄像头提供多个不同的窄带光源，而各个窄带光源的波段对应皮肤色斑、化妆品、保养品或防晒品的特定成分进行光学的反射、吸收、反射特征，从而在镜面上显示出反光异常特征区域，所述反光异常特征区域表示未完全卸妆、残留的化妆品、保养品、防晒品或者皮肤色斑。

Images