CN107340856A - 控制方法、控制器、智能镜子和计算机可读存储介质 - Google Patents
控制方法、控制器、智能镜子和计算机可读存储介质 Download PDFInfo
- Publication number
- CN107340856A CN107340856A CN201710439604.XA CN201710439604A CN107340856A CN 107340856 A CN107340856 A CN 107340856A CN 201710439604 A CN201710439604 A CN 201710439604A CN 107340856 A CN107340856 A CN 107340856A
- Authority
- CN
- China
- Prior art keywords
- user
- intelligent mirror
- human face
- face region
- characteristic information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 230000002452 interceptive effect Effects 0.000 claims abstract description 25
- 230000003993 interaction Effects 0.000 claims description 9
- 239000007858 starting material Substances 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 description 20
- 230000006870 function Effects 0.000 description 15
- 230000008859 change Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000005616 pyroelectricity Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 3
- 230000010287 polarization Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241001396014 Priacanthus arenatus Species 0.000 description 1
- 241000287181 Sturnus vulgaris Species 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种控制方法，用于智能镜子。智能镜子包括热释电传感器和摄像头。控制方法包括：控制热释电传感器检测是否有用户靠近；在检测到有用户靠近时启动摄像头拍摄用户以得到用户图像；处理用户图像以检测用户图像中的用户是否为注册用户；在用户为注册用户时确定用户成功登录智能镜子，并启动智能镜子的镜面显示交互界面。本发明还公开了一种控制器、智能镜子和计算机可读存储介质。本发明实施方式的控制方法、控制器、智能镜子和计算机可读存储介质利用热释电传感器检测用户是否靠近，在检测到用户靠近智能镜子时自动开启摄像头进行刷脸登录操作并点亮镜面以显示交互界面，用户无需通过手动触控来启动智能镜子，提升了智能镜子的智能性。
Description
技术领域
本发明涉及智能家居领域，特别涉及一种控制方法、控制器、智能镜子和计算机可读存储介质。
背景技术
现有的智能镜子缺乏快速便捷的启动方式，用户往往需要通过手动触控才能启动智能镜子。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提供一种控制方法、控制器、智能镜子和计算机可读存储介质。
本发明实施方式的控制方法，用于智能镜子。所述智能镜子包括热释电传感器和摄像头，所述控制方法包括以下步骤：
控制所述热释电传感器检测是否有用户靠近；
在检测到有用户靠近时启动所述摄像头拍摄所述用户以得到用户图像；
处理所述用户图像以检测所述用户图像中的用户是否为注册用户；和
在所述用户为注册用户时确定所述用户成功登录所述智能镜子，并启动所述智能镜子的镜面显示交互界面。
在某些实施方式中，所述控制所述热释电传感器检测是否有用户靠近的步骤包括以下步骤：
控制所述热释电传感器探测当前场景中的红外线以得到探测数据；
根据所述探测数据判断是否有用户靠近所述智能镜子。
在某些实施方式中，所述处理所述用户图像以检测所述用户图像中的用户是否为注册用户的步骤包括以下步骤：
处理所述用户图像以提取人脸区域；
处理所述人脸区域以得到所述用户的人脸区域的特征信息；
比较所述用户的人脸区域的特征信息与所述注册用户的人脸区域的特征信息是否匹配；和
在所述用户的人脸区域的特征信息与所述注册用户的人脸区域的特征信息匹配时确定所述用户为注册用户。
在某些实施方式中，所述交互界面的交互内容包括萌颜处理、美颜处理、虚拟试妆、2D面具渲染、3D卡通形象渲染、虚拟眼镜渲染和/或虚拟发型渲染。
本发明实施方式的控制器用于智能镜子。所述智能镜子包括热释电传感器和摄像头。所述控制器包括第一控制装置、启动装置、处理装置和第二控制装置。所述第一控制装置用于控制所述热释电传感器检测是否有用户靠近；所述启动装置用于在检测到有用户靠近时启动所述摄像头拍摄所述用户以得到用户图像；所述处理装置用于处理所述用户图像以检测所述用户图像中的用户是否为注册用户；所述第二控制装置用于在所述用户为注册用户时确定所述用户成功登录所述智能镜子，并启动所述智能镜子的镜面显示交互界面。
在某些实施方式中，所述第一控制装置包括控制单元和判断单元。所述控制单元用于控制所述热释电传感器探测当前场景中的红外线以得到探测数据；所述判断单元用于根据所述探测数据判断是否有用户靠近所述智能镜子。
在某些实施方式中，所述处理装置包括第一处理单元、第二处理单元、比较单元和确定单元。所述第一处理单元用于处理所述用户图像以提取人脸区域；所述第二处理单元用于处理所述人脸区域以得到所述用户的人脸区域的特征信息；所述比较单元用于比较所述用户的人脸区域的特征信息与所述注册用户的人脸区域的特征信息是否匹配；所述确定单元用于在所述用户的人脸区域的特征信息与所述注册用户的人脸区域的特征信息匹配时确定所述用户为注册用户。
在某些实施方式中，所述交互界面的交互内容包括萌颜处理、美颜处理、虚拟试妆、2D面具渲染、3D卡通形象渲染、虚拟眼镜渲染和/或虚拟发型渲染。
本发明实施方式的智能镜子包括摄像头、热释电传感器和上述任意一项实施方式所述的控制器。所述控制器与所述摄像头及所述热释电传感器均电连接。
本发明实施方式的智能镜子包括摄像头、热释电传感器、一个或多个处理器。存储器和一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行以下步骤的指令：
控制所述热释电传感器检测是否有用户靠近；
在检测到有用户靠近时启动所述摄像头拍摄所述用户以得到用户图像；
处理所述用户图像以检测所述用户图像中的用户是否为注册用户；和
在所述用户为注册用户时确定所述用户成功登录所述智能镜子，并启动所述智能镜子的镜面显示交互界面。
在某些实施方式中，所述程序还包括用于执行以下步骤的指令：
控制所述热释电传感器探测当前场景中的红外线以得到探测数据；
根据所述探测数据判断是否有用户靠近所述智能镜子。
在某些实施方式中，所述程序还包括用于执行以下步骤的指令：
处理所述用户图像以提取人脸区域；
处理所述人脸区域以得到所述用户的人脸区域的特征信息；
比较所述用户的人脸区域的特征信息与所述注册用户的人脸区域的特征信息是否匹配；和
在所述用户的人脸区域的特征信息与所述注册用户的人脸区域的特征信息匹配时确定所述用户为注册用户。
在某些实施方式中，所述交互界面的交互内容包括萌颜处理、美颜处理、虚拟试妆、2D面具渲染、3D卡通形象渲染、虚拟眼镜渲染和/或虚拟发型渲染。
本发明实施方式的一种计算机可读存储介质，包括与能够显示画面的电子装置结合使用的计算机程序，所述计算机程序可被处理器执行以完成上述任意一项实施方式所述的控制方法。
本发明实施方式的控制方法、控制器、智能镜子和计算机可读存储介质利用热释电传感器检测用户是否靠近，在检测到用户靠近智能镜子时自动开启摄像头进行刷脸登录操作并点亮镜面以显示交互界面，用户无需通过手动触控来启动智能镜子，提升了智能镜子的智能性。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明某些实施方式的控制方法的流程示意图。
图2是本发明某些实施方式的智能镜子的模块示意图。
图3是本发明某些实施方式的智能镜子的结构示意图。
图4是本发明某些实施方式的智能镜子的模块示意图。
图5是本发明某些实施方式的控制方法的流程示意图。
图6是本发明某些实施方式的第一控制装置的模块示意图。
图7是热释电传感器的结构及等效电路图。
图8是本发明某些实施方式的控制方法的流程示意图。
图9是本发明某些实施方式的处理装置的模块示意图。
图10是本发明某些实施方式的控制方法的状态示意图。
图11是本发明某些实施方式的控制方法的状态示意图。
图12是本发明某些实施方式的控制方法的状态示意图。
图13是本发明某些实施方式的控制方法的状态示意图。
图14是本发明某些实施方式的控制方法的状态示意图。
图15是本发明某些实施方式的控制方法的状态示意图。
图16是本发明某些实施方式的控制方法的状态示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
请一并参阅图1至3，本发明实施方式的控制方法用于智能镜子100。智能镜子100包括热释电传感器30和摄像头20。控制方法包括以下步骤：
S11：控制热释电传感器30检测是否有用户靠近；
S12：在检测到有用户靠近时启动摄像头20拍摄用户以得到用户图像；
S13：处理用户图像以检测用户图像中的用户是否为注册用户；和
S14：在用户为注册用户时确定用户成功登录智能镜子100，并启动智能镜子100的镜面40显示交互界面。
本发明实施方式的控制方法可以由本发明实施方式的控制器10实现。本发明实施方式的控制器10包括第一控制装置11、启动装置12、处理装置13和第二控制装置14。步骤S11可以由第一控制装置11实现，步骤S12可以由启动装置12实现，步骤S13可以由处理装置13实现，步骤S14可以由第二控制装置14实现。
也即是说，第一控制装置11用于控制热释电传感器30检测是否有用户靠近；启动装置12用于在检测到有用户靠近时启动摄像头20拍摄用户以得到用户图像；处理装置13用于处理用户图像以检测用户图像中的用户是否为注册用户；第二控制装置14用于在用户为注册用户时确定用户成功登录智能镜子100，并启动智能镜子100的镜面40显示交互界面。
本发明实施方式的控制器10可以应用于本发明实施方式的智能镜子100。也即是说，本发明实施方式的智能镜子100包括本发明实施方式的控制器10。其中，控制器10与摄像头20及热释电传感器30均电连接。
请参阅图4，本发明实施方式的智能镜子100包括摄像头20、热释电传感器30、一个或多个处理器50、存储器60和一个或多个程序61，其中，一个或多个程序61被存储在存储器60中，并且被配置成由一个或多个处理器50执行。程序61包括执行以下步骤的指令：
S11：控制热释电传感器30检测是否有用户靠近；
S12：在检测到有用户靠近时启动摄像头20拍摄用户以得到用户图像；
S13：处理用户图像以检测用户图像中的用户是否为注册用户；和
S14：在用户为注册用户时确定用户成功登录智能镜子100，并启动智能镜子100的镜面40显示交互界面。
可以理解，现有许多智能镜子100需要用户手动触控才能启动，用户使用的便捷性较低。本发明实施方式的控制方法采用热释电传感器30检测是否有用户靠近，在检测到用户靠近智能镜子100时启动摄像头20拍摄用户以使用户进行刷脸登陆的操作，同时启动镜面60显示交互内容。如此，智能镜子100在检测到有用户靠近时自动开启摄像头20和镜面40，用户无需手动触控，提升了智能镜子100的智能性及用户的使用体验。
请参阅图5，在某些实施方式中，步骤S11控制热释电传感器30检测是否有用户靠近包括：
S111：控制热释电传感器30探测当前场景中的红外线以得到探测数据；
S112：根据探测数据判断是否有用户靠近智能镜子100。
请参阅图6，本发明实施方式的第一控制装置11包括控制单元111和判断单元112。步骤S111可以由控制单元111实现，步骤S112可以由判断单元112实现。
也即是说，控制单元111用于控制热释电传感器30探测当前场景中的红外线以得到探测数据；判断单元112用于根据探测数据判断是否有用户靠近智能镜子100。
在某些实施方式中，程序61还包括用于执行以下步骤的指令：
S111：控制热释电传感器30探测当前场景中的红外线以得到探测数据；
S112：根据探测数据判断是否有用户靠近智能镜子100。
具体地，人体具有约37℃的恒定体温，所以会发出波长约10μm左右的红外线。热释电传感器30是一种基于红外探测的传感器，它通过探测人体发射的10μm左右的红外线进行工作。热释电传感器30设置有具有极化现象的热晶体或称为“铁电体”，这种铁电体的极化强度(单位面积的电荷)随温度变化而变化。当红外线照射到已经极化的铁电体薄片表面上时，引起薄片温度升高，使其极化强度降低表面电荷减少，这相当于释放一部分电荷，所以叫做热释电传感器30。如果将负载电阻与铁电体薄片相连，则负载电阻上会产生一个电信号输出，该电信号即为热释电传感器30探测当前场景中的红外线后得到的探测数据。电信号的大小取决于薄片温度变化的快慢，从而反映出入射的红外线的强度。也即是说，热释电传感器30的电压响应率正比于入射红外线的变化率。
请参阅图7，热释电传感器30主要由外壳、滤光片、热释电元件、场效应管等组成。其中，滤光片设置在窗口处组成红外线通过的窗口。滤光片为6μm多层膜干涉滤光片。热释电元件将波长为8～12μm之间的红外信号的变化转变为电信号。为了使热释电传感器30仅对人体的红外辐射敏感，在它的辐射照面通常覆盖有特殊的菲涅尔滤光片，使环境中其他光的干扰得到明显抑制。菲涅尔透镜将红外线分成可见区和盲区，使进入检测区的移动物体能以温度变化的形式在热释电传感器上产生电信号。菲涅尔透镜同时还起到聚焦作用，将热释的红外信号折射或反射在热释电传感器30上。因此，当人体进入热释电传感器30的检测区时，人体辐射的红外线通过菲涅尔滤光片增强后聚集到热释电元件，热释电元件接收红外线后失去电荷平衡，向外释放电荷，从而产生电信号输出即探测数据，判断单元112即可根据得到的探测数据确定有用户靠近智能镜子100。
在其他实施方式中，智能镜子100还可以采用人体微波感应传感器检测是否有用户靠近。人体微波感应传感器使用直径9㎝的微型环形天线作微波探测，其天线在轴线方向产生一个椭圆形且半径为0～5m可调的空间微波戒备区。当人体活动时反射的回波和人体微波感应传感器发出的原微波场(或频率)相干涉而发生变化，这一变化经由人体微波感应传感器进行检测、放大、多重比较以及延时处理后得到一个电压控制信号。最后智能镜子100通过分析该电压信号即可判断是否有用户靠近。
另外，在一些实施方式中，智能镜子100可以通过语音识别的方式检测是否由用户靠近，从而启动摄像头20拍摄及镜面40显示交互界面。比如，用户说出“启动”或“开启”等预先设置的语音开启指令，智能镜子100通过拾音设备如麦克风接收用户的语音信号，随后对接收到的语音信号进行识别，在确定语音信号为开启指令时，即刻启动摄像头20和镜面40进行工作。
请参阅图8，在某些实施方式中，步骤S13处理用户图像以检测用户图像中的用户是否为注册用户包括以下步骤：
S131：处理用户图像以提取人脸区域；
S132：处理人脸区域以得到用户的人脸区域的特征信息；
S133：比较用户的人脸区域的特征信息与注册用户的人脸区域的特征信息是否匹配；和
S134：在用户的人脸区域的特征信息与注册用户的人脸区域的特征信息匹配时确定用户为注册用户。
请参阅图9，在某些实施方式中，处理装置13包括第一处理单元131、第二处理单元132、比较单元133和确定单元134。步骤S131可以由第一处理单元131实现；步骤S132可以由第二处理单元132实现，步骤S133可以由比较单元133实现，步骤S134可以由确定单元134实现。
也即是说，第一处理单元131用于处理用户图像以提取人脸区域；第二处理单元132用于处理人脸区域以得到用户的人脸区域的特征信息；比较单元133用于比较用户的人脸区域的特征信息与注册用户的人脸区域的特征信息是否匹配；确定单元134用于在用户的人脸区域的特征信息与注册用户的人脸区域的特征信息匹配时确定用户为注册用户。
在某些实施方式中，程序61还包括用于执行以下步骤的指令：
S131：处理用户图像以提取人脸区域；
S132：处理人脸区域以得到用户的人脸区域的特征信息；
S133：比较用户的人脸区域的特征信息与注册用户的人脸区域的特征信息是否匹配；和
S134：在用户的人脸区域的特征信息与注册用户的人脸区域的特征信息匹配时确定用户为注册用户。
具体地，第一处理单元131首先基于局部二进制模式逐行扫描原始图像，得到一响应图像。具体地，对于用户图像中的每一个像素点，以该像素点的灰度值为阈值，对周围3*3的8邻域进行二值化，并按照一定的顺序将二值化的结果组成一个8位二进制数，以此二进制数的值作为该点的响应值从而得到相应图像。随后，第一处理单元131采用Adaboost算法对响应图像进行人脸检测以检测出人脸的位置。具体地，可以基于采用Adaboost训练好的强分类器检测相应图像以得到人脸区域。随后，再对人脸区域进行人脸尺度、光照以及旋转等方面的校正，得到归一化人脸图像。第二处理单元132从归一化人脸图像中提取出特征信息，具体地，可以采用Gabor小波变换进行特征信息提取。由于Gabor小波变换可提取人脸区域内的多尺度、多方向空间频率特征，像显微镜一样放大灰度变化，这样人脸区域中的眼镜、鼻子、嘴以及其他局部特征被放大。因此，采用Gabor小波变换来提取人脸区域的特征信息可以增强关键特征，从而区分不同的人脸。在提取人脸区域的特征信息后，即可将用户的人脸区域的特征信息与注册用户的人脸区域的特征信息进行匹配比对，如果找到一个注册用户的人脸区域的特征信息与用户的人脸区域的特征信息的相似度超过预定值，则表明该用户为注册用户。其中，注册用户的人脸区域的特征信息是用户注册时通过图像采集及图像处理得到的。注册用户的人脸区域的特征信息可以存储在存储器60中，也可以存储在云端服务器中。
在某些实施方式中，交互界面的交互内容包括萌颜处理、美颜处理、虚拟试妆、2D面具渲染、3D卡通形象渲染、虚拟眼镜渲染和/或虚拟发型渲染。
如此，智能镜子100提供多种交互功能以实现与用户的互动，提升智能镜子100的智能性和趣味性，同时改善用户的使用体验。
具体地，请参阅图10，萌颜处理指的是在当前用户的人脸区域上，依据检测得到的人脸特征点(如鼻子、眼睛、嘴巴、耳朵、头发等)进行装饰物效果的叠加。例如，在脸部叠加可爱的表情、头部叠加发卡等虚拟装饰、头部叠加动物耳朵、鼻子位置叠加动物鼻子、脸颊位置叠加动物胡须等。智能镜子100的萌颜处理功能包括多种萌颜素材，当前用户可自行选定萌颜素材叠加至脸部以获得萌颜图像。萌颜图像显示在镜面40中。
请参阅图11，美颜处理指的是对当前用户的脸部进行美白、红润、瘦脸及大眼瞪处理。当前用户通过点选具体的美颜功能，在镜面40中即可看到美颜后的美颜图像。
请参阅图12，虚拟试妆指的是对当前用户的脸部进行美妆处理。美妆的妆容素材包括眼睛素材、眼线素材、腮红素材、唇彩素材和眉毛素材等。当前用户通过点选具体的妆容素材，即可在镜面40中看到相应的试装后的虚拟试妆图像。
请参阅图13，2D面具渲染指的是为当前用户的脸部戴上虚拟的面具。2D面具渲染的交互功能中包含有多种2D面具素材，如经典白色面具、京剧脸谱、动物脸谱、卡通形象脸谱等。当用户点选具体的2D面具素材时，镜面40显示处理后的2D面具渲染图像。如此，用户可以直观感受自己戴上面具后的效果。
请参阅图14，3D卡通形象渲染是通过摄像头20拍摄当前用户以获取当前用户的动作，并控制3D卡通形象对当前用户的动作(例如头部偏转的角度、嘴巴的动作等)进行模仿跟随。3D卡通形象渲染的交互功能包含有多种3D卡通形象，如海绵宝宝、叮当猫、功夫熊猫、维尼熊等。当前用户点选具体的3D卡通形象素材后，镜面40中即会显示出与点选的3D卡通形象素材对应的3D卡通形象渲染图像。例如，图14中所示的当前用户选择的3D卡通素材为叮当猫，当前用户做张大眼睛并开口大笑的动作，叮当猫同时进行张大眼睛并开口大笑的动作，实现实时模仿跟随。
请参阅图15，虚拟眼镜渲染指的是为当前用户戴上虚拟眼镜，虚拟眼镜可跟随当前用户的头部的动作而动作。虚拟眼镜渲染的交互功能包括有多种不同颜色及造型的虚拟眼镜素材。当前用户点选具体的虚拟眼镜素材，镜面40即会显示出当前用户戴上虚拟眼镜后的虚拟眼镜渲染图像。
请参阅图16，虚拟发型渲染指的是为当前用户戴上虚拟的发型，虚拟发型可跟随当前用户的头部的动作而动作。虚拟发型渲染的交互功能包括有多种不同造型及颜色的虚拟发型素材。当前用户点选具体的虚拟发型素材，镜面40即会显示出当前用户戴上发型眼镜后的虚拟发型渲染图像。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (14)
1.一种控制方法，用于智能镜子，其特征在于，所述智能镜子包括热释电传感器和摄像头，所述控制方法包括以下步骤：
控制所述热释电传感器检测是否有用户靠近；
在检测到有用户靠近时启动所述摄像头拍摄所述用户以得到用户图像；
处理所述用户图像以检测所述用户图像中的用户是否为注册用户；和
在所述用户为注册用户时确定所述用户成功登录所述智能镜子，并启动所述智能镜子的镜面显示交互界面。
2.根据权利要求1所述的控制方法，其特征在于，所述控制所述热释电传感器检测是否有用户靠近的步骤包括以下步骤：
控制所述热释电传感器探测当前场景中的红外线以得到探测数据；
根据所述探测数据判断是否有用户靠近所述智能镜子。
3.根据权利要求1所述的控制方法，其特征在于，所述处理所述用户图像以检测所述用户图像中的用户是否为注册用户的步骤包括以下步骤：
处理所述用户图像以提取人脸区域；
处理所述人脸区域以得到所述用户的人脸区域的特征信息；
比较所述用户的人脸区域的特征信息与所述注册用户的人脸区域的特征信息是否匹配；和
在所述用户的人脸区域的特征信息与所述注册用户的人脸区域的特征信息匹配时确定所述用户为注册用户。
4.根据权利要求1所述的控制方法，其特征在于，所述交互界面的交互内容包括萌颜处理、美颜处理、虚拟试妆、2D面具渲染、3D卡通形象渲染、虚拟眼镜渲染和/或虚拟发型渲染。
5.一种控制器，用于智能镜子，其特征在于，所述智能镜子包括热释电传感器和摄像头，所述控制器包括：
第一控制装置，用于控制所述热释电传感器检测是否有用户靠近；
启动装置，用于在检测到有用户靠近时启动所述摄像头拍摄所述用户以得到用户图像；
处理装置，用于处理所述用户图像以检测所述用户图像中的用户是否为注册用户；和
第二控制装置，用于在所述用户为注册用户时确定所述用户成功登录所述智能镜子，并启动所述智能镜子的镜面显示交互界面。
6.根据权利要求5所述的控制器，其特征在于，所述第一控制装置包括：
控制单元，用于控制所述热释电传感器探测当前场景中的红外线以得到探测数据；
判断单元，用于根据所述探测数据判断是否有用户靠近所述智能镜子。
7.根据权利要求5所述的控制器，其特征在于，所述处理装置包括：
第一处理单元，用于处理所述用户图像以提取人脸区域；
第二处理单元，用于处理所述人脸区域以得到所述用户的人脸区域的特征信息；
比较单元，用于比较所述用户的人脸区域的特征信息与所述注册用户的人脸区域的特征信息是否匹配；和
确定单元，用于在所述用户的人脸区域的特征信息与所述注册用户的人脸区域的特征信息匹配时确定所述用户为注册用户。
8.根据权利要求5所述的控制器，其特征在于，所述交互界面的交互内容包括萌颜处理、美颜处理、虚拟试妆、2D面具渲染、3D卡通形象渲染、虚拟眼镜渲染和/或虚拟发型渲染。
9.一种智能镜子，其特征在于，所述智能镜子包括：
摄像头；
热释电传感器；和
权利要求5至8任意一项所述的控制器，所述控制器与所述摄像头及所述热释电传感器均电连接。
10.一种智能镜子，其特征在于，所述智能镜子包括：
摄像头；
热释电传感器；
一个或多个处理器；
存储器；和
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行以下步骤的指令：
控制所述热释电传感器检测是否有用户靠近；
在检测到有用户靠近时启动所述摄像头拍摄所述用户以得到用户图像；
处理所述用户图像以检测所述用户图像中的用户是否为注册用户；和
在所述用户为注册用户时确定所述用户成功登录所述智能镜子，并启动所述智能镜子的镜面显示交互界面。
11.根据权利要求10所述的智能镜子，其特征在于，所述程序还包括用于执行以下步骤的指令：
控制所述热释电传感器探测当前场景中的红外线以得到探测数据；
根据所述探测数据判断是否有用户靠近所述智能镜子。
12.根据权利要求10所述的智能镜子，其特征在于，所述程序还包括用于执行以下步骤的指令：
处理所述用户图像以提取人脸区域；
处理所述人脸区域以得到所述用户的人脸区域的特征信息；
比较所述用户的人脸区域的特征信息与所述注册用户的人脸区域的特征信息是否匹配；和
在所述用户的人脸区域的特征信息与所述注册用户的人脸区域的特征信息匹配时确定所述用户为注册用户。
13.根据权利要求10所述的智能镜子，其特征在于，所述交互界面的交互内容包括萌颜处理、美颜处理、虚拟试妆、2D面具渲染、3D卡通形象渲染、虚拟眼镜渲染和/或虚拟发型渲染。
14.一种计算机可读存储介质，包括与能够显示画面的电子装置结合使用的计算机程序，所述计算机程序可被处理器执行以完成权利要求1至4任意一项所述的控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710439604.XA CN107340856A (zh) | 2017-06-12 | 2017-06-12 | 控制方法、控制器、智能镜子和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710439604.XA CN107340856A (zh) | 2017-06-12 | 2017-06-12 | 控制方法、控制器、智能镜子和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107340856A true CN107340856A (zh) | 2017-11-10 |
Family
ID=60220013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710439604.XA Pending CN107340856A (zh) | 2017-06-12 | 2017-06-12 | 控制方法、控制器、智能镜子和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107340856A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107832745A (zh) * | 2017-11-30 | 2018-03-23 | 深圳云天励飞技术有限公司 | 人脸认证方法、智能镜子及存储介质 |
| CN108197551A (zh) * | 2017-12-28 | 2018-06-22 | 深圳市赛亿科技开发有限公司 | 一种基于智能镜子的脸部表情监测方法及智能镜子 |
| CN108830137A (zh) * | 2018-04-26 | 2018-11-16 | 深圳市赛亿科技开发有限公司 | 一种智能镜子控制方法及系统 |
| CN108921633A (zh) * | 2018-04-26 | 2018-11-30 | 深圳市赛亿科技开发有限公司 | 一种智能镜子导购方法及系统 |
| WO2018227349A1 (zh) * | 2017-06-12 | 2018-12-20 | 美的集团股份有限公司 | 控制方法、控制器、智能镜子和计算机可读存储介质 |
| CN110045872A (zh) * | 2019-04-25 | 2019-07-23 | 廖其锋 | 日用智能镜及使用方法 |
| CN110647051A (zh) * | 2019-11-28 | 2020-01-03 | 星络智能科技有限公司 | 一种充电信息获取方法、智能家居控制器及存储介质 |
| CN110822648A (zh) * | 2019-11-25 | 2020-02-21 | 广东美的制冷设备有限公司 | 空调器及其控制方法、计算机可读存储介质 |
| CN110822641A (zh) * | 2019-11-25 | 2020-02-21 | 广东美的制冷设备有限公司 | 空调器及其控制方法、装置和可读存储介质 |
| CN110822649A (zh) * | 2019-11-25 | 2020-02-21 | 广东美的制冷设备有限公司 | 空调器的控制方法、空调器及存储介质 |
| CN110822646A (zh) * | 2019-11-25 | 2020-02-21 | 广东美的制冷设备有限公司 | 空调器的控制方法、空调器及存储介质 |
| CN110822647A (zh) * | 2019-11-25 | 2020-02-21 | 广东美的制冷设备有限公司 | 空调器的控制方法、空调器及存储介质 |
| CN110822661A (zh) * | 2019-11-25 | 2020-02-21 | 广东美的制冷设备有限公司 | 空调器的控制方法、空调器及存储介质 |
| CN113260949A (zh) * | 2019-01-31 | 2021-08-13 | 华为技术有限公司 | 一种降低功耗的方法和电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8219646B2 (en) * | 2010-03-31 | 2012-07-10 | Oracle International Corporation | Dynamic intelligent mirror host selection |
| CN104223858A (zh) * | 2014-09-28 | 2014-12-24 | 广州视睿电子科技有限公司 | 一种自识别智能镜子 |
| CN104898835A (zh) * | 2015-05-19 | 2015-09-09 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN105512599A (zh) * | 2014-09-26 | 2016-04-20 | 数伦计算机技术（上海）有限公司 | 人脸识别方法及人脸识别系统 |
| CN106713988A (zh) * | 2016-12-09 | 2017-05-24 | 福建星网视易信息系统有限公司 | 一种对虚拟场景直播进行美颜处理的方法及系统 |
| CN106773852A (zh) * | 2016-12-19 | 2017-05-31 | 北京小米移动软件有限公司 | 智能镜子及其工作控制方法、装置 |
-
2017
- 2017-06-12 CN CN201710439604.XA patent/CN107340856A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8219646B2 (en) * | 2010-03-31 | 2012-07-10 | Oracle International Corporation | Dynamic intelligent mirror host selection |
| CN105512599A (zh) * | 2014-09-26 | 2016-04-20 | 数伦计算机技术（上海）有限公司 | 人脸识别方法及人脸识别系统 |
| CN104223858A (zh) * | 2014-09-28 | 2014-12-24 | 广州视睿电子科技有限公司 | 一种自识别智能镜子 |
| CN104898835A (zh) * | 2015-05-19 | 2015-09-09 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN106713988A (zh) * | 2016-12-09 | 2017-05-24 | 福建星网视易信息系统有限公司 | 一种对虚拟场景直播进行美颜处理的方法及系统 |
| CN106773852A (zh) * | 2016-12-19 | 2017-05-31 | 北京小米移动软件有限公司 | 智能镜子及其工作控制方法、装置 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018227349A1 (zh) * | 2017-06-12 | 2018-12-20 | 美的集团股份有限公司 | 控制方法、控制器、智能镜子和计算机可读存储介质 |
| CN107832745A (zh) * | 2017-11-30 | 2018-03-23 | 深圳云天励飞技术有限公司 | 人脸认证方法、智能镜子及存储介质 |
| CN107832745B (zh) * | 2017-11-30 | 2020-10-23 | 深圳云天励飞技术有限公司 | 人脸认证方法、智能镜子及存储介质 |
| CN108197551A (zh) * | 2017-12-28 | 2018-06-22 | 深圳市赛亿科技开发有限公司 | 一种基于智能镜子的脸部表情监测方法及智能镜子 |
| CN108830137A (zh) * | 2018-04-26 | 2018-11-16 | 深圳市赛亿科技开发有限公司 | 一种智能镜子控制方法及系统 |
| CN108921633A (zh) * | 2018-04-26 | 2018-11-30 | 深圳市赛亿科技开发有限公司 | 一种智能镜子导购方法及系统 |
| CN113260949A (zh) * | 2019-01-31 | 2021-08-13 | 华为技术有限公司 | 一种降低功耗的方法和电子设备 |
| CN110045872A (zh) * | 2019-04-25 | 2019-07-23 | 廖其锋 | 日用智能镜及使用方法 |
| CN110822646A (zh) * | 2019-11-25 | 2020-02-21 | 广东美的制冷设备有限公司 | 空调器的控制方法、空调器及存储介质 |
| CN110822649A (zh) * | 2019-11-25 | 2020-02-21 | 广东美的制冷设备有限公司 | 空调器的控制方法、空调器及存储介质 |
| CN110822641A (zh) * | 2019-11-25 | 2020-02-21 | 广东美的制冷设备有限公司 | 空调器及其控制方法、装置和可读存储介质 |
| CN110822647A (zh) * | 2019-11-25 | 2020-02-21 | 广东美的制冷设备有限公司 | 空调器的控制方法、空调器及存储介质 |
| CN110822661A (zh) * | 2019-11-25 | 2020-02-21 | 广东美的制冷设备有限公司 | 空调器的控制方法、空调器及存储介质 |
| CN110822648A (zh) * | 2019-11-25 | 2020-02-21 | 广东美的制冷设备有限公司 | 空调器及其控制方法、计算机可读存储介质 |
| CN110822648B (zh) * | 2019-11-25 | 2021-12-17 | 广东美的制冷设备有限公司 | 空调器及其控制方法、计算机可读存储介质 |
| CN110822647B (zh) * | 2019-11-25 | 2021-12-17 | 广东美的制冷设备有限公司 | 空调器的控制方法、空调器及存储介质 |
| CN110822646B (zh) * | 2019-11-25 | 2021-12-17 | 广东美的制冷设备有限公司 | 空调器的控制方法、空调器及存储介质 |
| CN110822661B (zh) * | 2019-11-25 | 2021-12-17 | 广东美的制冷设备有限公司 | 空调器的控制方法、空调器及存储介质 |
| CN110822649B (zh) * | 2019-11-25 | 2021-12-17 | 广东美的制冷设备有限公司 | 空调器的控制方法、空调器及存储介质 |
| CN110647051A (zh) * | 2019-11-28 | 2020-01-03 | 星络智能科技有限公司 | 一种充电信息获取方法、智能家居控制器及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107340856A (zh) | 控制方法、控制器、智能镜子和计算机可读存储介质 | |
| Heusch et al. | Deep models and shortwave infrared information to detect face presentation attacks | |
| US20220284732A1 (en) | Iris liveness detection for mobile devices | |
| US10657401B2 (en) | Biometric object spoof detection based on image intensity variations | |
| Steiner et al. | Reliable face anti-spoofing using multispectral swir imaging | |
| US9971920B2 (en) | Spoof detection for biometric authentication | |
| US6920236B2 (en) | Dual band biometric identification system | |
| CN107423690A (zh) | 一种人脸识别方法及装置 | |
| CN107820591A (zh) | 控制方法、控制器、智能镜子和计算机可读存储介质 | |
| US20140294252A1 (en) | Quality metrics for biometric authentication | |
| CN109035516A (zh) | 控制智能锁的方法、装置、设备及存储介质 | |
| CN107317974A (zh) | 一种美妆拍照方法和装置 | |
| Bourlai et al. | On designing a SWIR multi-wavelength facial-based acquisition system | |
| CN110929705A (zh) | 活体检测方法和装置、身份认证方法和系统、存储介质 | |
| CN107346419A (zh) | 虹膜识别方法、电子装置和计算机可读存储介质 | |
| Mary et al. | Human identification using periocular biometrics | |
| Raghavendra et al. | Detecting disguise attacks on multi-spectral face recognition through spectral signatures | |
| Varastehpour et al. | Vein pattern visualisation and feature extraction using sparse auto-encoder for forensic purposes | |
| Rabbani et al. | A different approach to appearance–based statistical method for face recognition using median | |
| Vineetha et al. | Face expression detection using Microsoft Kinect with the help of artificial neural network | |
| Khamele et al. | An approach for restoring occluded images for face-recognition | |
| CN107273847A (zh) | 虹膜采集方法及设备、电子装置和计算机可读存储介质 | |
| CN107451531A (zh) | 虹膜识别方法和电子装置 | |
| Goicoechea-Telleria et al. | Fingerprint Presentation Attack Detection: Multispectral imaging with a narrow-band camera using Bag of Features | |
| Gocheva et al. | Modelling of the verification by iris scanning by generalized nets |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171110 |
|
| RJ01 | Rejection of invention patent application after publication |