CN117079343A - 一种智能卫浴镜的控制方法 - Google Patents
一种智能卫浴镜的控制方法 Download PDFInfo
- Publication number
- CN117079343A CN117079343A CN202310869904.7A CN202310869904A CN117079343A CN 117079343 A CN117079343 A CN 117079343A CN 202310869904 A CN202310869904 A CN 202310869904A CN 117079343 A CN117079343 A CN 117079343A
- Authority
- CN
- China
- Prior art keywords
- image
- area
- bathroom mirror
- region
- executing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000001815 facial effect Effects 0.000 claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 230000001680 brushing effect Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 238000004140 cleaning Methods 0.000 claims description 12
- 238000005520 cutting process Methods 0.000 claims description 11
- 230000003321 amplification Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 7
- 210000004709 eyebrow Anatomy 0.000 claims description 7
- 238000010438 heat treatment Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims 2
- 238000001514 detection method Methods 0.000 abstract description 15
- 206010063385 Intellectualisation Diseases 0.000 abstract description 4
- 238000004891 communication Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000006399 behavior Effects 0.000 description 49
- XOFYZVNMUHMLCC-ZPOLXVRWSA-N prednisone Chemical compound O=C1C=C[C@]2(C)[C@H]3C(=O)C[C@](C)([C@@](CC4)(O)C(=O)CO)[C@@H]4[C@@H]3CCC2=C1 XOFYZVNMUHMLCC-ZPOLXVRWSA-N 0.000 description 7
- 230000003542 behavioural effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000005406 washing Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 210000004279 orbit Anatomy 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003749 cleanliness Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种智能卫浴镜的控制方法,该方法用于控制智能卫浴镜，包括以下步骤，步骤1：管理员采集使用者数据，并将数据储存值用户数据库，数据包括身高、脸部五官与脸部轮廓数据；管理员设定照明模块参数本发明将控制器、供电模块、三维相机、触摸屏、照明模块、除雾模块以及通讯模块集成在卫浴镜，实现卫浴镜检测的自动化以及智能化，将人体关键点及身份识别算法、高精度Anchor‑Free目标检测算法、行为分析等人工智能技术运用到卫浴镜，能够实现人在卫浴镜前的操作检测，行为模式的检测，并根据检测结果进行操作提醒，照明模块根据行为模式调节灯光，从而大大提升了卫浴镜的智能化。
Description
技术领域
本发明属于卫浴用品领域，涉及一种智能卫浴镜的控制方法。
背景技术
卫浴镜是放在浴室里供人梳洗用的镜子，它是卫浴空间不可缺少的组成部分。随着智能家居技术的普及和应用,卫浴镜也具备智能化的应用功能，目前市面上智能卫浴镜带有LED灯和触摸开关功能，通过触摸开关调节照明色温，整体功能单一，智能应用较为基础。
发明内容
本发明为了克服现有技术的不足，提供一种智能卫浴镜的控制方法。
为了实现上述目的，本发明采用以下技术方案：一种智能卫浴镜的控制方法,该方法用于控制智能卫浴镜，包括以下步骤：
步骤1：管理员采集使用者数据，并将数据储存值用户数据库，数据包括身高、脸部五官与脸部轮廓数据；管理员设定照明模块参数；
步骤2：三维相机实时监控，控制器控制三维相机实时采集卫浴镜前方的彩色图像Pm与深度图像Dm；
步骤3：有人进入卫生间，判断进入者是否在卫浴镜前面活动，若是，执行步骤4，若否，执行步骤2；
步骤4：识别进入者的身份；
步骤5：获取当前时间，照明模块根据当前时间所属的时间段Th，将亮度调节至Lh，色温调节至Kh；
步骤6：判断卫浴镜的镜面和三维相机镜头是否需要除雾，若是，执行自动除雾流程后，执行步骤7，若否，执行步骤7；
步骤7：处理彩色图像Pm，获取脸部区域F1；
步骤8：处理彩色图像Pm，获取左手区域H1和右手区域H2；
步骤9：分析行为，判断行为是否为清洗行为，若是，清洗行为完成后执行步骤2，若否，执行步骤10；
步骤10：判断手部是否握持物品，若是，执行步骤12，进入物品识别流程，若否，执行步骤11；
步骤11：判断是否需要对某一区域放大，若是，执行放大流程，若否，执行步骤13；
步骤12：物品识别模型识别手部握持物品，若物品识别模型输出1，判定物品为牙刷，进入刷牙行为模式；若物品识别模型输出2，判定物品为口红,进入口红行为模式；若物品识别模型输出3，判定物品为剃须刀，进入剃须行为模式；
步骤13：判断是否有人在卫生间，若是，执行步骤2；若否，照明模块关闭，结束步骤。
进一步的，所述步骤1中用户自定义照明模块参数为不同时间段以及不同行为模式的灯光的亮度和色温；时间段的划分根据用户自定义设定，不同时间段根据用户自定义设定亮度和色温，控制器控制照明模块启闭，并根据当前时间开启对应时间段的亮度和色温，再根据当前行为模式将亮度和色温转化为对应行为模式设定的亮度和色温。
进一步的，所述步骤3中判断进入者是否在卫浴镜前面活动的具体步骤为：
步骤3.1：计算进入者与卫浴镜的距离d；
步骤3.2：判断d和进入者与卫浴镜之间的阈值距离S，若d不大于S，
执行步骤3.3，若d大于S，判定进入者不在卫浴镜前面活动；
步骤3.3：判断进入者在满足d不大于S的条件下的活动时间Δt与活动阈值时间t，若Δt不小于t，判定进入者在卫浴镜前面活动，执行步骤4，若Δt小于t，判定进入者不在卫浴镜前面活动，执行步骤2。
进一步的，所述步骤4中识别进入者的身份具体为：识别彩色图像Pm中的脸部信息，将脸部信息与用户数据库比对以识别用户身份，若识别出用户身份，执行步骤5，若未识别出用户身份，判定进入者为陌生人，触摸屏提示“是否需要管理员添加数据”，若需要添加，管理员采集陌生人的数据，若否，执行步骤5。
进一步的，所述步骤6包括以下步骤：
步骤6.1：湿度传感器检测卫浴镜的镜面湿度是否大于镜面湿度阈值，若是，判定卫浴镜的镜面需要除雾，执行步骤6.4，若否，执行步骤6.2；
步骤6.2：控制器控制除雾模块启动，加热电阻丝对卫浴镜的镜面除雾；
步骤6.3：湿度传感器实时检测卫浴镜的镜面湿度，当镜面湿度小于镜面湿度阈值，控制器控制除雾模块停止，执行步骤6.4；
步骤6.4：计算当前三维相机镜头的清晰度指标C0(f)，对比清晰度指标C0(f)与清晰度阈值CA，若C0(f)>CA，判定镜头清晰，结束步骤，若否，判定镜头模糊，执行步骤6.5；
上式(4)中，xPa，yPa为彩色图像Pm的横向坐标以及纵向坐标，f(xP,yP)为在坐标点(xPa，yPa)对应的灰度值；
步骤6.5：控制器控制除雾模块启动，加热电阻丝对镜头除雾；
步骤6.6：计算镜头的除雾清晰度指标Ct(f),对比除雾清晰度指标Ct(f)与清晰度阈值CA，若Ct(f)>CA，判定镜头清晰，步骤6.8，结束步骤，若否，对比Ct(f)与C0(f)，若|Ct(f)-C0(f)|<Cθ，Cθ为清晰度差值阈值，若是，认为镜头的清晰度不良是由无法通过除雾模块的脏污产生的，判定镜头脏污，执行步骤6.7，若否，继续执行步骤6.5；
步骤6.7：触摸屏提示，提示用户镜头脏污并处理，执行步骤6.6；
步骤6.8：结束步骤。
进一步的，所述步骤7中处理彩色图像Pm中脸部区域具体包括以下步骤:
步骤7.1：提取彩色图像Pm上脸部关键点14-17，计算最小外接矩形，长宽各膨胀n个像素点，生成脸部区域,将脸部区域裁剪获得脸部图像F1:
步骤7.2：对脸部图像F1运行face_landmark_localization神经网络模型，识别人脸70个关键点，采用两个级联的CNN对关键点进行检测，识别人脸的外轮廓、眉毛区域、鼻子区域、眼睛区域、嘴唇区域以口腔区域；
步骤7.3：根据步骤7.2识别的区域，获得肤色区域以及唇部区域。进一步的，所述步骤8中处理彩色图像Pm中手部区域，具体为：提取彩色图像Pm上手部关键点4以及7，计算最小外接矩形，长宽各膨胀n个像素点，生成左手区域H1和右手区域H2。
进一步的，所述步骤3.1中距离d的计算公式为：
彩色图像Pm中关键点标记为OPa,深度图像Dm中关键点标记为ODa，a＝1、2...18,OPa与ODa一一对应；
彩色图像Pm的像素宽度设为WP,像素高度设为HeP，深度图像Dm的像素宽度设为WD,像素高度设为HeD，WP、HeP、WD、HeD为已知参数，可得
取P1关键点OPa，OPa的坐标为(xPa，yPa)，Pm关键点映射的Dm关键点ODa的坐标为(xDa，yDa),(xPa，yPa)为可获取的已知参数，根据(1),可得
由式(2)，得到关键点的坐标(xDa，yDa)，根据(xDa，yDa)，得到深度图像Dm中对应标的距离值da，da为实际拍摄对象的关键点距离三维相机深度值，取关键点0-7与14-17，
进一步的，所述步骤9中判断行为是否为清洗行为的具体步骤为:
步骤9.1：计算左手区域H1和右手区域H2分别与嘴唇区域的距离D1和D2；
D1为人体左手区域H1中心点与嘴唇区域中心点的实际距离，D2为人体右手区域H2中心点与嘴唇区域中心点的实际距离，在Pm图像上，嘴唇区域中心点为ZP1,坐标设为(xP1，yP1)，左手区域H1中心点为ZP2，ZP2坐标设为(xP2，yP2),右手区域H2中心点为ZP3，ZP3坐标设为(xP3，yP3),ZP1、ZP2以及ZP3的坐标为已知参数，ZP1、ZP2以及ZP3在Dm上的映射点为ZD1、ZD2以及ZD3,ZD1的坐标为(xD1，yD1),ZD2的坐标为(xD2，yD2),ZD3的坐标为(xD3，yD3),根据上式(1)和(2)可得ZP1、ZP2以及ZP3与ZD1、ZD2以及ZD3坐标的映射关系；
根据上式(5)、(6)和(7)中ZD1、ZD2以及ZD3的坐标，可得深度图像Dm中ZD1、ZD2以及ZD3距离三维相机深度值dD1、dD2、dD3；
计算深度图像Dm相对于实际拍摄对象的放大率，Dm横向图像放大率设为Mx，Dm纵向图像放大率设为My，实际拍摄对象的物理视场范围设为W0×H0，W0为横向宽度，H0纵向高度，可得
上式(9)中，α1为三维相机的横向视场角，α2为三维相机的纵向视场角，μ为三维相机与Dm的距离均值，α1、α2、μ为已知参数，根据上式(8)和(9)，可得
以实际拍摄对象建立世界坐标系，ZD1、ZD2以及ZD3在世界坐标系对应的点设为ZS1、ZS2以及ZS3,根据上式(11)、(12)和(13)，将ZD1、ZD2以及ZD3的坐标转化为ZS1、ZS2以及ZS3世界坐标系的坐标，ZS1的坐标为(Wx1，Wy1，Wz1)，ZS2的坐标为(Wx2，Wy2，Wz2)，ZS3的坐标为(Wx3，Wy3，Wz3)；可得
步骤9.2：计算左手区域H1和右手区域H2分别与嘴唇区域的重叠面积和交并比；
嘴唇区域的面积设为SZ,左手区域H1的面积设为SH1，左手区域H1与嘴唇区域的重叠面积设为Si1,左手区域H1的交并比设为IoU1,右手区域H2的面积设为SH2,右手区域H2与嘴唇区域的重叠面积设为Si2，右手区域H2的交并比设为IoU2,可得
上式(15)和(16)中，SZ、SH1、Si1、SH2以及Si2均为已知参数，
根据Pm图像可得，SZ、SH1、Si1、SH2均为Pm图像中的面积；
步骤9.3：分析行为：
若D1、D2均大于D0，Si1＝0，Si2＝0，判定用户处于清洗行为；
若D1或/和D2大于Ds且不大于D0，IoU1和IoU2大于0，判定继续分析；
若D1或/和D2小于Ds，IoU1和IoU2大于IoU0，判定用户处于梳洗行为；
D0为手部与嘴部区域的最大距离阈值，在此距离下认为手部与嘴部无互动，D0为设定值；
Ds为手部与嘴部区域的最小距离阈值，在此距离下认为手部与嘴部存在互动，Ds为设定值；
IoU0为交并比的阈值。
进一步的，所述步骤11中放大流程具体步骤如下：
步骤11.1：用户手部在脸部区域待放大位置划圈；
步骤11.2：提取手部划圈的轨迹；
获取手部划圈由开始到结束的实时彩色图像Pt，计算最小外接矩形，长宽各膨胀n个像素点，生成脸部区域,将脸部区域裁剪获得脸部图像Ft，提取彩色图像Pt上手部关键点4以及7，计算最小外接矩形，长宽各膨胀n个像素点，生成左手区域H1t和右手区域H2t,采用卷积姿态机(CPM)检测左手区域H1t和右手区域H2t，提取手指的关键点，获取脸部图像Ft与手指的关键点重叠的点，若干点形成手部划圈轨迹；
步骤11.3：将提取手部划圈的轨迹拟合水平的最小外矩形，形成轨迹图像，将轨迹图像从脸部图像Ft裁剪，并对轨迹图像的数据进行二次插值处理，增大分辨率，生成放大图像；
步骤11.4：触摸屏显示放大图像。
综上所述，本发明的有益之处在于：
1)本发明的卫浴镜具备刷牙规范检测、口红检测以及剃须检测，并且根据不同的行为自动调节相应的灯光，丰富了卫浴镜的功能，提高了卫浴镜使用的舒适性和便利性。
2)本发明将控制器、供电模块、三维相机、触摸屏、照明模块、除雾模块以及通讯模块集成在卫浴镜，实现卫浴镜检测的自动化以及智能化，将人体关键点及身份识别算法、高精度Anchor-Free目标检测算法、行为分析等人工智能技术运用到卫浴镜，能够实现人在卫浴镜前的操作检测，行为模式的检测，并根据检测结果进行操作提醒，照明模块根据行为模式调节灯光，从而大大提升了卫浴镜的智能化。
附图说明
图1为本发明的智能卫浴镜的构架图示意图。
图2为本发明的流程图。
图3为本发明的照明模块流程图。
图4为本发明的人体关键点示意图。
图5为本发明的除雾模块除雾流程图。
图6为本发明的脸部区域关键点示意图。
图7a为本发明的左眼眶区域关键点示意图。
图7b为本发明的右眼眶区域关键点示意图。
图7c为本发明的嘴唇区域关键点示意图。
图8为本发明的脸部区域分布示意图。
图9为本发明的嘴唇区域与手部区域的示意图。
图10为本发明的嘴唇区域与手部区域的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明实施例中所有方向性指示(诸如上、下、左、右、前、后、横向、纵向……)仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
因安装误差等原因，本发明实施例中所指的平行关系可能实际为近似平行关系，垂直关系可能实际为近似垂直关系。
实施例一：
如图1-10所示，一种智能卫浴镜的控制方法，该方法用于控制智能卫浴镜，智能卫浴镜包括控制器、供电模块、三维相机、触摸屏、照明模块、除雾模块以及通讯模块，供电模块为控制器供电，控制器分别与三维相机、触摸屏、照明模块、除雾模块连接，控制器控制通讯模块，进行用户数据上传以及下载，包括以下步骤：
步骤1：管理员采集使用者数据，并将数据储存值用户数据库，数据包括身高、脸部五官与脸部轮廓数据；管理员设定照明模块参数；
步骤2：三维相机实时监控，控制器控制三维相机实时采集卫浴镜前方的彩色图像Pm与深度图像Dm；
步骤3：有人进入卫生间，判断进入者是否在卫浴镜前面活动，若是，执行步骤4，若否，执行步骤2；
步骤4：识别进入者的身份；
步骤5：获取当前时间，照明模块根据当前时间所属的时间段Th，将亮度调节至Lh，色温调节至Kh；
步骤6：判断卫浴镜的镜面和三维相机镜头是否需要除雾，若是，执行自动除雾流程后，执行步骤7，若否，执行步骤7；
步骤7：处理彩色图像Pm，获取脸部区域F1；
步骤8：处理彩色图像Pm，获取左手区域H1和右手区域H2；
步骤9：分析行为，判断行为是否为清洗行为，若是，清洗行为完成后执行步骤2，若否，执行步骤10；
步骤10：判断手部是否握持物品，若是，执行步骤12，进入物品识别流程，若否，执行步骤11；
步骤11：判断是否需要对某一区域放大，若是，执行放大流程，若否，执行步骤13；
步骤12：物品识别模型识别手部握持物品，若物品识别模型输出1，判定物品为牙刷，进入刷牙行为模式；若物品识别模型输出2，判定物品为口红,进入口红行为模式；若物品识别模型输出3，判定物品为剃须刀，进入剃须行为模式；
步骤13：判断是否有人在卫生间，若是，执行步骤2；若否，照明模块关闭，结束步骤。
步骤1中用户自定义照明模块参数为不同时间段以及不同行为模式的灯光的亮度和色温；时间段的划分根据用户自定义设定，不同时间段根据用户自定义设定亮度和色温，控制器控制照明模块启闭，并根据当前时间开启对应时间段的亮度和色温，再根据当前行为模式将亮度和色温转化为对应行为模式设定的亮度和色温。
本实施例将一天24h划分为H个时间段，当前时间段为Th，1≤h≤H，h为当前时间段的序号，当前时间段的亮度设定为Lh，当前时间段的色温设定为Kh。
本实施例时间段包括序号为1的凌晨时间段(1:00-5:00)、序号为2的早上时间段(5:00-8:00)、序号为3的上午时间段(8:00-11:00)、序号为4的中午时间段(11:00-13:00)、序号为5的下午时间段(13:00-17:00)、序号为6的晚上时间段(17:00-19:00)、序号为7的半夜时间段(19:00-20:00)、序号为8的深夜时间段(20:00-24:00)，凌晨时间段(1:00-5:00)以及深夜时间段(20:00-24:00)的亮度和色温分别设定100-200l ux以及3000-3500k，该时间段选择亮度较低的柔和暖黄色，早上时间段(5:00-8:00)、上午时间段(8:00-11:00)、晚上时间段(17:00-19:00)、半夜时间段(19:00-20:00)的亮度和色温分别设定300-400l ux以及4000-5000k，该时间段一般为梳洗时段，需要将亮度和色温调高；中午时间段(11:00-13:00)、下午时间段(13:00-17:00)的亮度和色温分别设定100-200l ux以及4000-5000k，该时间段为非梳洗时段，且环境光亮度较强。
行为模式包括口红行为模式、剃须行为模式、刷牙行为模式；口红行为模式以Q1标记，Q1下的亮度设定为色温设定为/>剃须行为模式以Q2标记，Q2下的亮度设定为色温设定为/>刷牙行为模式以Q3标记，Q3下的亮度设定为/>色温设定为/>
用户未自定义设定照明模块参数的，照明模块开启出厂设定的亮度和色温，并在触摸屏提示是否需要设定，经提示后超过一定时间后未设定，触摸屏提示取消。
步骤2中图像Pm以及图像Dm为实时拍摄的图像，并非指某一张图像。
步骤3中进入者在卫浴镜前面活动是指进入者位于一定位置以及一定时间内利用或待利用卫浴镜进行活动，不包括进出卫生间等短暂性且与卫浴镜无关的活动。
判断进入者是否在卫浴镜前面活动的具体步骤包括：
步骤3.1：计算进入者与卫浴镜的距离d；
利用openpose_hands_estimation模型对步骤2采集的彩色图像Pm，判断Pm中是否存在进入者，若否，判定进入者不在卫浴镜前面活动，若是，openpose_hands_estimation模型获取进入者关键点，关键点数量为18,关键点14-17为脸部关键点，关键点0-1为胸部关键点，关键点2-4为左臂关键点，关键点5-7为右臂关键点，关键点8-10为左腿关键点，关键点11-13为右腿关键点，彩色图像Pm中关键点标记为OPa,深度图像Dm中关键点标记为ODa，a＝1、2...18,OPa与ODa一一对应，
彩色图像Pm的像素宽度设为WP,像素高度设为HeP，深度图像Dm的像素宽度设为WD,像素高度设为HeD，WP、HeP、WD、HeD为已知参数，已知
建立Pm的坐标系A1，建立Dm的坐标系A2，坐标系A1和坐标系A2的坐标原点对应、坐标轴方向相同，便于坐标转化，取P1关键点OPa，OPa的坐标为(xPa，yPa)，Pm关键点映射的Dm关键点ODa的坐标为(xDa，yDa),(xPa，yPa)为可获取的已知参数，根据(1),可得
由式(2)，得到关键点的坐标(xDa，yDa)，根据(xDa，yDa)，得到深度图像Dm中对应标的距离值da，da为实际拍摄对象的关键点距离三维相机深度值，取关键点0-7与14-17，拍摄对象与三维相机的距离值设为d，
步骤3.2：判断d和进入者与卫浴镜之间的阈值距离S，若d不大于S，执行步骤3.3，若d大于S，判定进入者不在卫浴镜前面活动；
步骤3.3：判断进入者在满足d不大于S的条件下的活动时间Δt与活动阈值时间t，若Δt不小于t，判定进入者在卫浴镜前面活动，执行步骤4，若Δt小于t，判定进入者不在卫浴镜前面活动，执行步骤2。
标记第一次检测出d不大于S时的时间，并设为t1，检测后续实时拍摄的Pm与Dm中d，当d不大于S时，标记时间为t2，若后续拍摄的Pm与Dm中检测的d不大于S，将当时时间赋值到t2，Δt＝t2-t1，若Δt不小于t，判定进入者在卫浴镜前面活动，执行步骤4，若Δt小于t，判定进入者不在卫浴镜前面活动，执行步骤2。
步骤4：识别进入者的身份；
识别彩色图像Pm中的脸部信息，将脸部信息与用户数据库比对以识别用户身份，若识别出用户身份，执行步骤5，若未识别出用户身份，判定进入者为陌生人，触摸屏提示“是否需要管理员添加数据”，若需要添加，管理员采集陌生人的数据，若否，执行步骤5。
本实施例根据不同的身份配置相应的行为模式，比如识别出的用户身份为男人，配置的行为模式为剃须行为模式以及刷牙行为模式，识别出的用户身份为女人，配置的行为模式为口红行为模式以及刷牙行为模式；识别出的用户身份为小孩，配置的行为模式为刷牙行为模式，以便减少运算，提高运算的速度。
步骤6包括以下步骤：
步骤6.1：湿度传感器检测卫浴镜的镜面湿度是否大于镜面湿度阈值，若是，判定卫浴镜的镜面需要除雾，执行步骤6.4，若否，执行步骤6.2；
步骤6.2：控制器控制除雾模块启动，加热电阻丝对卫浴镜的镜面除雾；
步骤6.3：湿度传感器实时检测卫浴镜的镜面湿度，当镜面湿度小于镜面湿度阈值，控制器控制除雾模块停止，执行步骤6.4；
步骤6.4：计算当前三维相机镜头的清晰度指标C0(f)，对比清晰度指标C0(f)与清晰度阈值CA，若C0(f)>CA，判定镜头清晰，结束步骤，若否，判定镜头模糊，执行步骤6.5；
上式(4)中，xPa，yPa为彩色图像Pm的横向坐标以及纵向坐标，f(xP,yP)为在坐标点(xPa，yPa)对应的灰度值；
一般情况下，除雾模块采用电阻丝加热对卫浴镜的镜面除雾时会将镜头表面的水雾同步蒸发，但因对三维相机拍摄图像清晰度的要求，镜头所在位置清晰和干净的要求更高,因而需要进一步除雾。
步骤6.5：控制器控制除雾模块启动，加热电阻丝对镜头除雾；
步骤6.6：计算镜头的除雾清晰度指标Ct(f),对比除雾清晰度指标Ct(f)与清晰度阈值CA，若Ct(f)>CA，判定镜头清晰，步骤6.8，结束步骤，若否，对比Ct(f)与C0(f)，若|Ct(f)-C0(f)<Cθ，Cθ为清晰度差值阈值，若是，认为镜头的清晰度不良是由无法通过除雾模块的脏污产生的，判定镜头脏污，执行步骤6.7，若否，继续执行步骤6.5；
步骤6.7：触摸屏提示，提示用户镜头脏污并处理，执行步骤6.6；
步骤6.8：结束步骤。
步骤7中处理彩色图像Pm中脸部区域具体包括以下步骤：
步骤7.1：提取彩色图像Pm上脸部关键点14-17，计算最小外接矩形，长宽各膨胀n个像素点，生成脸部区域,将脸部区域裁剪获得脸部图像F1；
步骤7.2：对脸部图像F1运行face_landmark_local ization神经网络模型，识别人脸70个关键点，采用两个级联的CNN对关键点进行检测，识别人脸的外轮廓、眉毛区域、鼻子区域、眼睛区域、嘴唇区域以口腔区域；
人脸70个关键点包括外部关键点17个以及内部关键点53个，内部关键点采用四个层级的级联网络level进行检测；Level-1获得面部器官的边界框；Level-2的输出关键点预测位置，实现关键点粗定位，为Level-3进行初始化；Level-3依据不同器官进行从粗到精的定位；Level-4的输入是将Level-3的输出进行一定的旋转，最终将53个关键点的位置进行输出；外部关键点采用两个层级的级联网络进行检测，Level-1获得面部外轮廓的边界框；Level-2直接预测17个关键点位置，人脸70个关键点由两个级联CNN的输出进行叠加得到。
外轮廓区域为关键点0-16计算最小外接矩形形成的区域，眉毛区域为关键点17-21以及关键点22-26计算最小外接矩形形成的左眉毛区域和右眉毛区域，鼻子区域为关键点27-35计算最小外接矩形形成的区域，眼睛区域为关键点36-41、68以及42-47、69计算最小外接矩形形成的左眼眶和右眼眶区域，嘴唇区域为关键点48-59计算最小外接矩形形成的区域；口腔区域为关键点60-67计算最小外接矩形形成的区域。
步骤7.3：根据步骤7.2识别的区域，获得肤色区域以及唇部区域；
肤色区域由额头区域、脸颊区域、下巴区域以及上巴区域，额头区域为眉毛区域以上的脸部区域；脸颊区域为关键点0-4、36-39、28-30、32-31、49-48计算最小内接矩形形成的第一区域和关键点16-12、45-42、28-30、34-35、53-54计算最小内接矩形形成的第二区域构成的总区域，下巴区域为关键点4-12、48-54计算最小内接矩形形成的区域，上巴区域为32-35、48-54之间计算最小内接矩形形成的区域；
唇部区域为嘴唇区域减去口腔区域形成的区域。
步骤8中处理彩色图像Pm中手部区域，具体为：提取彩色图像Pm上手部关键点4以及7，计算最小外接矩形，长宽各膨胀n个像素点，生成左手区域H1和右手区域H2；
步骤9中的清洗行为是洗手、洗衣物等行为，而非洗漱行为；
步骤9中判断行为是否为清洗行为的具体步骤为：
步骤9.1：计算左手区域H1和右手区域H2分别与嘴唇区域的距离D1和D2；
D1为人体左手区域H1中心点与嘴唇区域中心点的实际距离，D2为人体右手区域H2中心点与嘴唇区域中心点的实际距离，在Pm图像上，嘴唇区域中心点为ZP1,坐标设为(xP1，yP1)，左手区域H1中心点为ZP2，ZP2坐标设为(xP2，yP2),右手区域H2中心点为ZP3，ZP3坐标设为(xP3，yP3),ZP1、ZP2以及ZP3的坐标为已知参数，ZP1、ZP2以及ZP3在Dm上的映射点为ZD1、ZD2以及ZD3,ZD1的坐标为(xD1，yD1),ZD2的坐标为(xD2，yD2),ZD3的坐标为(xD3，yD3),根据上式(1)和(2)可得ZP1、ZP2以及ZP3与ZD1、ZD2以及ZD3坐标的映射关系，
根据上式(5)、(6)和(7)中ZD1、ZD2以及ZD3的坐标，可得深度图像Dm中ZD1、ZD2以及ZD3距离三维相机深度值dD1、dD2、dD3；
计算深度图像Dm相对于实际拍摄对象的放大率，Dm横向图像放大率设为Mx，Dm纵向图像放大率设为My，实际拍摄对象的物理视场范围设为W0×H0，W0为横向宽度，H0纵向高度，可得
/>
上式(9)中，α1为三维相机的横向视场角，α2为三维相机的纵向视场角，μ为三维相机与Dm的距离均值，α1、α2、μ为已知参数，根据上式(8)和(9)，可得
以实际拍摄对象建立世界坐标系，ZD1、ZD2以及ZD3在世界坐标系对应的点设为ZS1、ZS2以及ZS3,根据上式(11)、(12)和(13)，将ZD1、ZD2以及ZD3的坐标转化为ZS1、ZS2以及ZS3世界坐标系的坐标，ZS1的坐标为(Wx1，Wy1，Wz1)，ZS2的坐标为(Wx2，Wy2，Wz2)，ZS3的坐标为(Wx3，Wy3，Wz3)；可得
步骤9.2：计算左手区域H1和右手区域H2分别与嘴唇区域的重叠面积和交并比；
嘴唇区域的面积设为SZ,左手区域H1的面积设为SH1，左手区域H1与嘴唇区域的重叠面积设为Si1,左手区域H1的交并比设为IoU1,右手区域H2的面积设为SH2,右手区域H2与嘴唇区域的重叠面积设为Si2，右手区域H2的交并比设为IoU2,可得
上式(15)和(16)中，SZ、SH1、Si1、SH2以及Si2均为已知参数，根据Pm图像可得，SZ、SH1、Si1、SH2均为Pm图像中的面积。
步骤9.3：分析行为：
若D1、D2均大于D0，Si1＝0，Si2＝0，判定用户处于清洗行为；
若D1或/和D2大于Ds且不大于D0，IoU1和IoU2大于0，判定继续分析；
若D1或/和D2小于Ds，IoU1和IoU2大于IoU0，判定用户处于梳洗行为；
D0为手部与嘴部区域的最大距离阈值，在此距离下认为手部与嘴部无互动，D0为设定值；
Ds为手部与嘴部区域的最小距离阈值，在此距离下认为手部与嘴部存在互动，Ds为设定值；
IoU0为交并比的阈值。
步骤11中放大流程具体步骤如下：
步骤11.1：用户手部在脸部区域待放大位置划圈；
步骤11.2：提取手部划圈的轨迹；
获取手部划圈由开始到结束的实时彩色图像Pt，计算最小外接矩形，长宽各膨胀n个像素点，生成脸部区域,将脸部区域裁剪获得脸部图像Ft，
提取彩色图像Pt上手部关键点4以及7，计算最小外接矩形，长宽各膨胀n个像素点，生成左手区域H1t和右手区域H2t,采用卷积姿态机(CPM)检测左手区域H1t和右手区域H2t，提取手指的关键点，获取脸部图像Ft与手指的关键点重叠的点，若干点形成手部划圈轨迹；
步骤11.3：将提取手部划圈的轨迹拟合水平的最小外矩形，形成轨迹图像，将轨迹图像从脸部图像Ft裁剪，并对轨迹图像的数据进行二次插值处理，增大分辨率，生成放大图像；
步骤11.4：触摸屏显示放大图像。
步骤12中物品识别模型采用高精度Anchor-Free目标检测算法，骨干网络为ESNet(Enhanced ShuffleNet),网络使用PAN(路径聚合结构)结构.用于获取多级feature maps，用CSP跨部分阶段网络进行相邻特映射图征之间的特征连接和融合。
Anchor-Free目标检测算法对牙刷、口红以及剃须刀进行深度学习，设定牙刷标签为1，口红标签为2，剃须刀标签为3；
在左手区域H1和右手区域H2运行轻量级pico-det，pico-det在CSP-PAN的顶部添加一个特征图scale以检测更多的目标。
步骤12中首先根据步骤4识别的身份得到身份所属的行为模式，之后对物品进行检测，
步骤12中刷牙行为模式具体为：照明模块将灯光亮度调整至色温调整至采用深度学习的方法对刷牙的区域进行识别，根据牙刷角度朝向、时长、刷牙完成后的刷牙效果，如整洁度，判断刷牙姿态是否规范。
涂抹口红为化妆的最后一步，在口红行为模式下进行口红试色，检测口红涂抹后的饱和度以及检测化妆均匀度。
步骤12中执行口红行为模式包括以下步骤：
步骤S1.1:照明模块将灯光亮度调整至色温调整至/>判断肤色区域化妆是否均匀度，若是，执行步骤S1.2；若否，触摸屏提示，告知用户化妆不均匀，并将不均匀位置显示在触摸屏，若用户判断重新化妆，点击触摸屏“是”，对调整后的化妆均匀度重新判断，若用户判断无需重新化妆，点击触摸屏“否”，执行步骤S1.2；
步骤S1.2:判断是否进行口红试色，若是执行步骤S1.3，若否，执行步骤S1.5；
步骤S1.3:提取脸部图像F2中的唇部区域，记录未涂抹口红的唇色，建立HSV模型，设定HSV模型三个分量色相H′、饱和度S′以及明度V′的取值；用户通过触摸屏的触摸移动调节分量的取值；三个分量的匹配色号显示在唇部区域；若用户确认选用色号，将该色号记为目标色号，存储此刻匹配的HSV三个分量；
步骤S1.4:口红涂抹后检测试色后唇部区域口红的均匀度。
将步骤S1.3存储的HSV三个分量色相H′、饱和度S′以及明度V′转化为RGB,
(R,G,B)＝((R'+q)×255+(G'+q)×255+(B'+q)×255)； (17)
上式(18)中，M、N、q、(R',G',B')均为变量，M＝S'×V'，q＝V′-M；
将RGB转化为XYZ三刺激值，得到式(19)：
将XYZ三刺激值转化为LAB值，得到式(20)：
上式(20)中，XYZ为转化的三刺激值，X0Y0Z0为光源的三刺激值，X0Y0Z0为已知参数；(Lz，Az，Bz)为由步骤S1.3存储的HSV三个分量色相H'、饱和度S′以及明度V′转化而的LAB值，即为目标LAB值；
获得试色后的脸部图像F3，提取唇部区域图像；
将唇部区域图像变换到LAB色差空间；LAB色差空间一组(L，A，B)与一种颜色形成一一对应关系，L为亮度，A，B为颜色的绿-红程度以及蓝-黄程度；
取唇部区域图像上像素点Gc,Gc表示为(Lc，Ac，Bc)，(Lc，Ac，Bc)为已知参数，c为图像上任意像素点的编号，c的取值不大于图像像素点的总数量，像素点Gc与目标LAB值的色差为：
ΔEc＝[(Lc-Lz)2+(Ac-Az)2+(Bc-Bz)2]1/2； (21)
ΔEc与标准均匀度色差阈值EM对比，若ΔEc不小于EM，判定均匀度不良，触摸屏显示唇部区域中哪一部分区域未涂抹均匀，若ΔEc小于EM，判定口红涂抹均匀。
步骤S1.5:口红涂抹后检测唇部区域口红的均匀度；
该步骤检测步骤与步骤S1.1中判断肤色区域化妆是否均匀度的步骤相同，在此不做赘述。
步骤S1.6:结束步骤。
步骤S1.1中判断肤色区域化妆是否均匀度的步骤为：
步骤S1.1.1：获取当前时间的彩色图像Pm,提取彩色图像Pm上脸部关键点14-17，计算最小外接矩形，长宽各膨胀n个像素点，生成脸部区域,将脸部区域裁剪获得脸部图像F2，图像F2为用户已化妆未涂抹口红的脸部图像，获取脸部图像F2；
步骤S1.1.2：建立数字图像处模型LAB；
步骤S1.1.3：计算不均匀率Ec；
将脸部图像F2变换到LAB色差空间；LAB色差空间一组(L，A，B)与一种颜色形成一一对应关系，L为亮度，A，B为颜色的绿-红程度以及蓝-黄程度；
取图像F2的肤色区域上像素点Gl和Gj,Gl表示为(Ll，Al，Bl)，Gj表示为(Lj，Aj，Bj)，(Ll，Al，Bl)和(Lj，Aj，Bj)为已知参数，l和j为图像F2上任意像素点的编号，l和j小于图像F2像素点的总数量g，l≠j，两像素点的色差为：
ΔElj＝[(ΔL)2+(ΔA)2+(ΔB)2]1/2； (22)
上式(22)中，ΔElj为像素点Gl和Gj的色差，ΔL为像素点Gl和Gj的亮度差，ΔA、ΔB为像素点Gl和Gj的色坐标值差，ΔL、ΔA、ΔB根据式(23)可得；
ΔE为图像F2上所有像素点中任意两点的色差集合，ΔE＝{ΔE12...ΔElj...ΔE(g-1)g}，统计ΔE中色差个数，记为E1，统计ΔE中大于均匀度色差阈值ΔE0的个数，记为E2，计算不均匀率Ec，
步骤S1.1.4：对比Ec与标准不均匀率Ev，若Ec大于Ev，判定肤色不均匀，若否，判定肤色均匀，Ev为设定值。
步骤12中剃须行为模式的具体步骤为：
步骤S2.1：照明模块将灯光亮度调整至色温调整至/>
步骤S2.2：获取当前时间的彩色图像Pm,提取彩色图像Pm上脸部关键点14-17，计算最小外接矩形，长宽各膨胀n个像素点，生成脸部区域,将脸部区域裁剪获得脸部图像F3，获取F3上唇与鼻子间区域的上巴区域图像以及下唇与下轮廓的区域的下巴区域图像；
步骤S2.3：将上巴区域图像以及下巴区域图像转化为灰度图像g1，采用5x5的高斯滤波器将上巴区域图像以及下巴区域图像进行处理，得到图像m1，将灰度图像g1减去图像m1，获得图像c1；
步骤S2.4：设定阈值tθ，使用阈值tθ对图像c1进行二值化提取，提取图像c1中灰度值小于阈值tθ的区域，将提取的各区域合并成一个区域，计算每一个黑点(胡须为黑点)的位置和大小以及黑点的数量；
步骤S2.5：剃须刀剃须后，获取当前的彩色图像Pt,利用步骤S2.2-S2.4，得到当前图像中每一个黑点的位置和大小以及黑点的数量；
步骤S2.6：将步骤S2.4中黑点的位置和大小以及黑点的数量与步骤S2.5中黑点的位置和大小以及黑点的数量进行对比，统计在相同位置上的黑点消失数量，若黑点面积缩小率大于90％，判定剃须干净，若黑点面积缩小率不大于90％，判定剃须未干净，触摸屏提示剃须未干净，将剃须未干净的位置显示在触摸屏，若用户判断重新剃须，点击触摸屏“是”，执行步骤S2.5，重新判断，若用户判断无需重新剃须，点击触摸屏“否”。
口红行为模式以及剃须行为模式的步骤涉及放大流程，放大流程为裁剪脸部与手部的合并区域，将该区域拟合水平的最小外矩形，形成区域图像，对区域图像的数据进行二次插值处理，增大分辨率，生成该区域的放大图像；
本实施例指定的物品为牙刷、口红和剃须刀，但不限于此，可根据实际需要增加或减少物品种类。
显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
Claims (10)
1.一种智能卫浴镜的控制方法,其特征在于：该方法用于控制智能卫浴镜，包括以下步骤：
步骤1：管理员采集使用者数据，并将数据储存值用户数据库，数据包括身高、脸部五官与脸部轮廓数据；管理员设定照明模块参数；
步骤2：三维相机实时监控，控制器控制三维相机实时采集卫浴镜前方的彩色图像Pm与深度图像Dm；
步骤3：有人进入卫生间，判断进入者是否在卫浴镜前面活动，若是，执行步骤4，若否，执行步骤2；
步骤4：识别进入者的身份；
步骤5：获取当前时间，照明模块根据当前时间所属的时间段Th，将亮度调节至Lh，色温调节至Kh；
步骤6：判断卫浴镜的镜面和三维相机镜头是否需要除雾，若是，执行自动除雾流程后，执行步骤7，若否，执行步骤7；
步骤7：处理彩色图像Pm，获取脸部区域F1；
步骤8：处理彩色图像Pm，获取左手区域H1和右手区域H2；
步骤9：分析行为，判断行为是否为清洗行为，若是，清洗行为完成后执行步骤2，若否，执行步骤10；
步骤10：判断手部是否握持物品，若是，执行步骤12，进入物品识别流程，若否，执行步骤11；
步骤11：判断是否需要对某一区域放大，若是，执行放大流程，若否，执行步骤13；
步骤12：物品识别模型识别手部握持物品，若物品识别模型输出1，判定物品为牙刷，进入刷牙行为模式；若物品识别模型输出2，判定物品为口红,进入口红行为模式；若物品识别模型输出3，判定物品为剃须刀，进入剃须行为模式；
步骤13：判断是否有人在卫生间，若是，执行步骤2；若否，照明模块关闭，结束步骤。
2.根据权利要求1所述的一种智能卫浴镜的控制方法，其特征在于：所述步骤1中用户自定义照明模块参数为不同时间段以及不同行为模式的灯光的亮度和色温；控制器控制照明模块启闭，并依据当前时间开启对应时间段的亮度和色温，再依据当前行为模式将亮度和色温转化为对应行为模式设定的亮度和色温。
3.根据权利要求1所述的一种智能卫浴镜的控制方法，其特征在于：所述步骤3中判断进入者是否在卫浴镜前面活动的具体步骤为：
步骤3.1：计算进入者与卫浴镜的距离d；
步骤3.2：判断d和进入者与卫浴镜之间的阈值距离S，若d不大于S，执行步骤3.3，若d大于S，判定进入者不在卫浴镜前面活动；
步骤3.3：判断进入者在满足d不大于S的条件下的活动时间Δt与活动阈值时间t，若Δt不小于t，判定进入者在卫浴镜前面活动，执行步骤4，若Δt小于t，判定进入者不在卫浴镜前面活动，执行步骤2。
4.根据权利要求1所述的一种智能卫浴镜的控制方法，其特征在于：所述步骤4中识别进入者的身份具体为：识别彩色图像Pm中的脸部信息，将脸部信息与用户数据库比对以识别用户身份，若识别出用户身份，执行步骤5，若未识别出用户身份，判定进入者为陌生人，触摸屏提示“是否需要管理员添加数据”，若需要添加，管理员采集陌生人的数据，若否，执行步骤5。
5.根据权利要求1所述的一种智能卫浴镜的控制方法，其特征在于：所述步骤6包括以下步骤：
步骤6.1：湿度传感器检测卫浴镜的镜面湿度是否大于镜面湿度阈值，若是，判定卫浴镜的镜面需要除雾，执行步骤6.4，若否，执行步骤6.2；
步骤6.2：控制器控制除雾模块启动，加热电阻丝对卫浴镜的镜面除雾；
步骤6.3：湿度传感器实时检测卫浴镜的镜面湿度，当镜面湿度小于镜面湿度阈值，控制器控制除雾模块停止，执行步骤6.4；
步骤6.4：计算当前三维相机镜头的清晰度指标C0(f)，对比清晰度指标C0(f)与清晰度阈值CA，若C0(f)>CA，判定镜头清晰，结束步骤，若否，判定镜头模糊，执行步骤6.5；
上式(4)中，xPa，yPa为彩色图像Pm的横向坐标以及纵向坐标，f(xP,yP)为在坐标点(xPa，yPa)对应的灰度值；
步骤6.5：控制器控制除雾模块启动，加热电阻丝对镜头除雾；
步骤6.6：计算镜头的除雾清晰度指标Ct(f),对比除雾清晰度指标Ct(f)与清晰度阈值CA，若Ct(f)>CA，判定镜头清晰，步骤6.8，结束步骤，若否，对比Ct(f)与C0(f)，若|Ct(f)-C0(f)|<Cθ，Cθ为清晰度差值阈值，若是，认为镜头的清晰度不良是由无法通过除雾模块的脏污产生的，判定镜头脏污，执行步骤6.7，若否，继续执行步骤6.5；
步骤6.7：触摸屏提示，提示用户镜头脏污并处理，执行步骤6.6；
步骤6.8：结束步骤。
6.根据权利要求1所述的一种智能卫浴镜的控制方法，其特征在于：所述步骤7中处理彩色图像Pm中脸部区域具体包括以下步骤:
步骤7.1：提取彩色图像Pm上脸部关键点14-17，计算最小外接矩形，长宽各膨胀n个像素点，生成脸部区域,将脸部区域裁剪获得脸部图像F1:
步骤7.2：对脸部图像F1运行face_landmark_localization神经网络模型，识别人脸70个关键点，采用两个级联的CNN对关键点进行检测，识别人脸的外轮廓、眉毛区域、鼻子区域、眼睛区域、嘴唇区域以口腔区域；
步骤7.3：根据步骤7.2识别的区域，获得肤色区域以及唇部区域。
7.根据权利要求1所述的一种智能卫浴镜的控制方法，其特征在于：所述步骤8中处理彩色图像Pm中手部区域，具体为：提取彩色图像Pm上手部关键点4以及7，计算最小外接矩形，长宽各膨胀n个像素点，生成左手区域H1和右手区域H2。
8.根据权利要求3所述的一种智能卫浴镜的控制方法，其特征在于：所述步骤3.1中距离d的计算公式为：
彩色图像Pm中关键点标记为OPa,深度图像Dm中关键点标记为ODa，a＝1、2...18,OPa与ODa一一对应；
彩色图像Pm的像素宽度设为WP,像素高度设为HeP，深度图像Dm的像素宽度设为WD,像素高度设为HeD，WP、HeP、WD、HeD为已知参数，得
取P1关键点OPa，OPa的坐标为(xPa，yPa)，Pm关键点映射的Dm关键点ODa的坐标为(xDa，yDa),(xPa，yPa)为可获取的已知参数，根据(1),得
由式(2)，得到关键点的坐标(xDa，yDa)，根据(xDa，yDa)，得到深度图像Dm中对应标的距离值da，da为实际拍摄对象的关键点距离三维相机深度值，取关键点0-7与14-17，
9.根据权利要求1所述的一种智能卫浴镜的控制方法，其特征在于：所述步骤9中判断行为是否为清洗行为的具体步骤为:
步骤9.1：计算左手区域H1和右手区域H2分别与嘴唇区域的距离D1和D2；
D1为人体左手区域H1中心点与嘴唇区域中心点的实际距离，D2为人体右手区域H2中心点与嘴唇区域中心点的实际距离，在Pm图像上，嘴唇区域中心点为ZP1,坐标设为(xP1，yP1)，左手区域H1中心点为ZP2，ZP2坐标设为(xP2，yP2),右手区域H2中心点为ZP3，ZP3坐标设为(xP3，yP3),ZP1、ZP2以及ZP3的坐标为已知参数，ZP1、ZP2以及ZP3在Dm上的映射点为ZD1、ZD2以及ZD3,ZD1的坐标为(xD1，yD1),ZD2的坐标为(xD2，yD2),ZD3的坐标为(xD3，yD3),根据上式(1)和(2)可得ZP1、ZP2以及ZP3与ZD1、ZD2以及ZD3坐标的映射关系；
根据上式(5)、(6)和(7)中ZD1、ZD2以及ZD3的坐标，可得深度图像Dm中ZD1、ZD2以及ZD3距离三维相机深度值dD1、dD2、dD3；
计算深度图像Dm相对于实际拍摄对象的放大率，Dm横向图像放大率设为Mx，Dm纵向图像放大率设为My，实际拍摄对象的物理视场范围设为W0×H0，W0为横向宽度，H0纵向高度，可得
上式(9)中，α1为三维相机的横向视场角，α2为三维相机的纵向视场角，μ为三维相机与Dm的距离均值，α1、α2、μ为已知参数，根据上式(8)和(9)，可得
以实际拍摄对象建立世界坐标系，ZD1、ZD2以及ZD3在世界坐标系对应的点设为ZS1、ZS2以及ZS3,根据上式(11)、(12)和(13)，将ZD1、ZD2以及ZD3的坐标转化为ZS1、ZS2以及ZS3世界坐标系的坐标，ZS1的坐标为(Wx1，Wy1，Wz1)，ZS2的坐标为(Wx2，Wy2，Wz2)，ZS3的坐标为(Wx3，Wy3，Wz3)；可得
步骤9.2：计算左手区域H1和右手区域H2分别与嘴唇区域的重叠面积和交并比；
嘴唇区域的面积设为SZ,左手区域H1的面积设为SH1，左手区域H1与嘴唇区域的重叠面积设为Si1,左手区域H1的交并比设为IoU1,右手区域H2的面积设为SH2,右手区域H2与嘴唇区域的重叠面积设为Si2，右手区域H2的交并比设为IoU2,可得
上式(15)和(16)中，SZ、SH1、Si1、SH2以及Si2均为已知参数，根据Pm图像可得，SZ、SH1、Si1、SH2均为Pm图像中的面积；
步骤9.3：分析行为：
若D1、D2均大于D0，Si1＝0，Si2＝0，判定用户处于清洗行为；
若D1或/和D2大于Ds且不大于D0，IoU1和IoU2大于0，判定继续分析；
若D1或/和D2小于Ds，IoU1和IoU2大于IoU0，判定用户处于梳洗行为；
D0为手部与嘴部区域的最大距离阈值，在此距离下认为手部与嘴部无互动，D0为设定值；
Ds为手部与嘴部区域的最小距离阈值，在此距离下认为手部与嘴部存在互动，Ds为设定值；
IoU0为交并比的阈值。
10.根据权利要求1所述的一种智能卫浴镜的控制方法，其特征在于：所述步骤11中放大流程具体步骤如下：
步骤11.1：用户手部在脸部区域待放大位置划圈；
步骤11.2：提取手部划圈的轨迹；
获取手部划圈由开始到结束的实时彩色图像Pt，计算最小外接矩形，长宽各膨胀n个像素点，生成脸部区域,将脸部区域裁剪获得脸部图像Ft，提取彩色图像Pt上手部关键点4以及7，计算最小外接矩形，长宽各膨胀n个像素点，生成左手区域H1t和右手区域H2t,采用卷积姿态机(CPM)检测左手区域H1t和右手区域H2t，提取手指的关键点，获取脸部图像Ft与手指的关键点重叠的点，若干点形成手部划圈轨迹；
步骤11.3：将提取手部划圈的轨迹拟合水平的最小外矩形，形成轨迹图像，将轨迹图像从脸部图像Ft裁剪，并对轨迹图像的数据进行二次插值处理，增大分辨率，生成放大图像；
步骤11.4：触摸屏显示放大图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310869904.7A CN117079343A (zh) | 2023-07-17 | 2023-07-17 | 一种智能卫浴镜的控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310869904.7A CN117079343A (zh) | 2023-07-17 | 2023-07-17 | 一种智能卫浴镜的控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117079343A true CN117079343A (zh) | 2023-11-17 |
Family
ID=88701299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310869904.7A Pending CN117079343A (zh) | 2023-07-17 | 2023-07-17 | 一种智能卫浴镜的控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117079343A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576756A (zh) * | 2023-11-28 | 2024-02-20 | 东莞莱姆森科技建材有限公司 | 一种具有脸部细节捕捉放大功能的卫浴镜 |
| CN117676992A (zh) * | 2024-02-02 | 2024-03-08 | 东莞莱姆森科技建材有限公司 | 多组智能灯镜协同照明控制方法和系统 |
| CN117831104A (zh) * | 2023-12-30 | 2024-04-05 | 佛山瀚镜智能科技有限公司 | 一种智能镜柜及其控制方法 |
-
2023
- 2023-07-17 CN CN202310869904.7A patent/CN117079343A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576756A (zh) * | 2023-11-28 | 2024-02-20 | 东莞莱姆森科技建材有限公司 | 一种具有脸部细节捕捉放大功能的卫浴镜 |
| CN117576756B (zh) * | 2023-11-28 | 2024-05-24 | 东莞莱姆森科技建材有限公司 | 一种具有脸部细节捕捉放大功能的卫浴镜 |
| CN117831104A (zh) * | 2023-12-30 | 2024-04-05 | 佛山瀚镜智能科技有限公司 | 一种智能镜柜及其控制方法 |
| CN117831104B (zh) * | 2023-12-30 | 2024-05-24 | 佛山瀚镜智能科技有限公司 | 一种智能镜柜及其控制方法 |
| CN117676992A (zh) * | 2024-02-02 | 2024-03-08 | 东莞莱姆森科技建材有限公司 | 多组智能灯镜协同照明控制方法和系统 |
| CN117676992B (zh) * | 2024-02-02 | 2024-04-26 | 东莞莱姆森科技建材有限公司 | 多组智能灯镜协同照明控制方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117079343A (zh) | 一种智能卫浴镜的控制方法 | |
| US6920236B2 (en) | Dual band biometric identification system | |
| CN103914699B (zh) | 一种基于色彩空间的自动唇彩的图像增强的方法 | |
| CN110287790B (zh) | 一种面向静态多人场景的学习状态混合分析方法 | |
| Bourel et al. | Recognition of Facial Expressions in the Presence of Occlusion. | |
| CN109145864A (zh) | 确定视线区域的方法、装置、存储介质和终端设备 | |
| JP2001346627A (ja) | 化粧アドバイスシステム | |
| CN116912940A (zh) | 基于神经网络多模型特征融合的智能卫浴镜系统 | |
| EP1774465A1 (en) | Adaptiv 3d scanning | |
| US20200146622A1 (en) | System and method for determining the effectiveness of a cosmetic skin treatment | |
| CN106650654B (zh) | 一种基于人体头部彩色点云模型的三维发际线提取方法 | |
| CN109199240A (zh) | 一种基于手势控制的扫地机器人控制方法及系统 | |
| US20190371059A1 (en) | Method for creating a three-dimensional virtual representation of a person | |
| JP4992823B2 (ja) | 顔検出装置及び顔検出方法 | |
| CN109028226A (zh) | 基于双区域图像采集进行油烟浓度判断的油烟机 | |
| CN109987036A (zh) | 一种基于驾驶员身体姿态提高交互准确度的控制方法 | |
| CN111767756A (zh) | 自动检测脸部瑕疵的方法 | |
| KR100515798B1 (ko) | 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법 | |
| CN111561771A (zh) | 一种空调温度智能调节方法 | |
| KR20210136502A (ko) | Rgb-d 데이터와 딥러닝을 이용한 3d객체영역분할 방법과 그 시스템 | |
| CN111462265A (zh) | 一种多模态机器人智能绘画方法 | |
| JP4134147B2 (ja) | 動作指示装置 | |
| CN108926138A (zh) | 一种基于智能家居的梳妆台系统 | |
| CN115402333A (zh) | 基于驾驶员情绪的车内互动控制系统、方法及存储介质 | |
| CN205721623U (zh) | 智能交互系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |