CN108431730A - 增强型镜子 - Google Patents

增强型镜子 Download PDF

Info

Publication number
CN108431730A
CN108431730A CN201680075830.8A CN201680075830A CN108431730A CN 108431730 A CN108431730 A CN 108431730A CN 201680075830 A CN201680075830 A CN 201680075830A CN 108431730 A CN108431730 A CN 108431730A
Authority
CN
China
Prior art keywords
user
mirror
enhanced
camera
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680075830.8A
Other languages
English (en)
Other versions
CN108431730B (zh
Inventor
S·D·本福德
A·布朗
N·耶格
B·P·纽比
A·T·拉塞尔
L·M·斯科菲尔德
K·J·肖
P·R·坦南特
M·F·瓦尔斯塔尔
R·齐尔默
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unilever IP Holdings BV
Original Assignee
Unilever NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unilever NV filed Critical Unilever NV
Publication of CN108431730A publication Critical patent/CN108431730A/zh
Application granted granted Critical
Publication of CN108431730B publication Critical patent/CN108431730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D42/00—Hand, pocket, or shaving mirrors
    • A45D42/08—Shaving mirrors
    • A45D42/10—Shaving mirrors illuminated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605—Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Mirrors, Picture Frames, Photograph Stands, And Related Fastening Devices (AREA)

Abstract

增强型镜子，其包括：部分镀银镜面；位于镜面下方的屏幕；相机；以及用于从相机接收数据并将图形图像提供给屏幕的计算机模块，其中所处理的视觉信息所覆盖的视野被减少为来自视觉通道内的视觉信息，该视觉通道对应于相机的视野的子集。

Description

增强型镜子
技术领域
本发明涉及一种增强型镜子，尤其涉及一种包括部分镀银镜面、位于镜面下方的屏幕、相机、以及用于从相机接收数据并将图形图像提供给屏幕的计算机模块的增强型镜子。
背景技术
镜子作为家中独特的收聚点，由人员所执行的作为其日常生活的一部分的活动将在镜子前得以可靠且常规地执行。
例如，由人员每天所执行的常见活动可能包括以下中一项或多项：刷牙、梳头、剃须、化妆。
此外，由于镜子通常位于房屋内的特定位置，因此可以以合理的精确程度预测人员将在特定位置执行日常活动；例如浴室、走廊或卧室。
已知智慧镜子。例如，US2002/0080494描述了一种智能镜子，其中由于人员会在浴室中花费一定量的时间以为当天进行准备，所以其优选地放置在浴室中。镜子允许人员可以在为当天进行准备(例如，刷牙、剃须、头发造型、洗漱和化妆)的同时查看电子新闻和信息以及他们的时间表。这旨在解决人员需要在他们离开家之前计划他们的一天并接收新闻和信息的需求。
在所讨论的现有技术镜子中，由于智能镜子中所涉及的技术使得他们能够在进行日常任务的同时进行诸如阅读/观看新闻的其他任务，因此改善了用户的早间例程。
本发明的发明人已经认识到，由镜子提供的独特的收聚点也可以用于改善来自日常任务本身的用户体验和/或表现和/或结果。市场上需要能够与用户，特别是与FMCG用户交互的智能镜子以增强他们的体验。
通常，日常任务将涉及使用可能包括诸如牙刷、发刷、吹风机或剃刀的梳理工具的手持物体。梳理工具可能是或可能不是智能装置。另外，手持物体可以采取快速消费品(FMCG)容器的形式。对于快速消费品供应商来说，镜子在家中所提供的独特收聚点为提供商提供了增强其产品购买者的用户体验的理想机会。
除了家中的用户体验之外，本发明的发明人还认识到，智能镜子还有可能在诸如美发沙龙等商业环境中提供改进的用户体验。
用户在镜子前方所可以使用的FMCG产品的示例包括：口腔护理产品，例如牙膏和牙刷；护发产品，例如洗发水、护发素、护理产品、造型产品、造型装置；以及护肤产品，例如龄活霜、化妆品和除臭剂。
提供了一种改进的智能镜子，其适用于涉及家庭/消费者空间以及零售应用中的用户和/或对象交互应用。
发明内容
因此，根据第一方面，本发明旨在通过提供一种增强型镜子来解决上述问题，该增强型镜子包括：部分镀银镜面；位于镜面下方的显示屏幕；相机模块，其包括用于捕获镜子的用户的图像和相关联的深度信息的深度扫描仪；以及计算机模块，其包括一个或多个处理器，该一个或多个处理器配置为：在由相机模块所获得的图像中定位用户的眼睛；使用由相机模块所获得的深度信息来确定所定位的用户的眼睛在3D坐标中的位置；在3D坐标中确定由相机模块所成像的感兴趣对象的位置；使用用户眼睛的3D坐标计算镜面上感兴趣对象出现至用户的点；将所计算的镜面上的点从3D坐标转换为显示屏幕上的2D坐标；并且将图像在相对于显示屏幕上的2D坐标的期望位置处投射在显示屏幕上。
根据第二方面，提供了一种与一个或多个用户对象一起使用的增强型镜子，该增强型镜子包括：部分镀银镜面；位于镜面下方的显示屏幕；相机模块，其包括用于捕获镜子的用户的图像和相关深度信息的深度扫描仪；以及计算机模块，其包括一个或多个处理器，该一个或多个处理器配置为处理从相机模块所接收的图像并控制显示屏幕上所显示的图像；其中与计算机模块通信的唯一手段是经由一个或多个用户对象。
根据第三方面，提供了一种增强型镜子，其包括：部分镀银镜面；位于镜面下方的屏幕；相机；以及用于从相机接收数据并将图形图像提供至屏幕的计算机模块。
根据第四方面，提供了一种增强型镜子，其包括：部分镀银镜面；位于镜子下方的屏幕；相机；以及计算模块，该计算模块配置为从相机接收视觉信息、处理信息、并基于处理后的信息在显示屏幕上显示一个或多个图像；其中由计算模块所处理的视觉信息所覆盖的视野被减少为来自视觉通道内的视觉信息，该视觉通道对应于相机的视野的子集。
上述四个方面中的每一个方面都可以在它们相兼容的范围内与彼此中的一个或多个组合地提供。
现在将阐述本发明的可选特征。这些可以单独或与本发明的任何方面组合应用。
显示屏幕和镜面可以是单独的部件。可替代地，镜面可以是直接沉积在显示屏幕上的部分镀银涂层。
在一些实施例中，增强型镜子包括计算机模块，该计算机模块包括一个或多个处理器，该一个或多个处理器配置为：在由相机模块所获得的图像中定位用户的眼睛；使用由相机模块所获得的深度信息来确定所定位的用户的眼睛在3D坐标中的位置；在3D坐标中确定由相机模块所成像的感兴趣对象的位置；使用用户的眼睛的3D坐标计算镜面上感兴趣对象出现至用户的点；将所计算的镜面上的点从3D坐标转换为显示屏幕上的2D坐标；并且将图像在相对于显示屏幕上的2D坐标的期望位置处投射在显示屏幕上。
在一些实施例中，当确定所定位的用户的眼睛的在3D坐标中的位置时，将在以相机为中心的参照系中所测量的眼睛的位置变换为以镜子为中心的参照系，并且其中3D坐标处于以镜子为中心的参照系中。
在这种实施例中，对用户眼睛的位置的计算可以包括视频眼睛追踪。在一些实施例中，眼镜追踪器使用用户瞳孔中心的视频图像和来自用户角膜的红外反射的组合来确定用户正在观看显示屏上的刺激的方向。连接瞳孔中心与角膜反射位置的矢量可以用于计算观察的方向，可以对该方向进行外推以确定用户正在观看的屏幕上的点。
已知两种一般类型的红外眼睛追踪技术：亮瞳孔眼睛追踪和暗瞳孔眼睛追踪。如果照明源(例如RGB-D相机)偏离光路，则所使用的眼睛追踪类型将是暗瞳孔追踪，其中由于来自视网膜的回复反射导向为远离相机，所以瞳孔显得黑暗。
对用户眼睛的3D坐标的计算可以考虑用户头部的角度。
将所计算的镜面上的x，y z点从3D坐标转换为显示屏幕上的2D坐标需要将x和y坐标转换为显示屏上的像素。Z坐标是已知的，因为其对应于镜面的表面。部分镀银镜涂层应被选择为具有优化为给出最大反射性但依然允许高水平图像亮度以透射通过镜面的反射性/透明性比率。反射性/透明性值将取决于显示元件的亮度和对比度(例如，OLED屏幕的对比度比LCD屏幕大得多)。感知的透射率和反射率水平将取决于来自显示器和位于镜子前方的相对亮度级。部分镀银镜涂层是众所周知的。市场上可获得的具有部分镀银镜涂层的显示屏幕的一个示例是由AquavisionTM出售的Mirror VisionTM屏幕。
透射率值可以具有50-80％的值；特别是50-60％。透射率值可以取10-50％的值；特别是20-40％；更特别地，30-40％。
在一些实施例中，光透射率值大于光反射率值。透射率值可以至少是反射率值的两倍。
合适的透射率值的示例是66％，合适的反射率值的示例是31％。
在一些实施例中，为了计算对象出现至用户的镜面点，运算模块配置为：测量从镜面到对象的垂直距离；计算在镜面与对象相反的相反侧上距镜子相同垂直距离的3D虚拟位置；计算从3D虚拟位置到用户眼睛的3D坐标的视线；并且确定部分镀银镜面的平面与该视线相交的点，该交点对应于在镜面上对象出现至用户的点。
为了使显示屏幕的像素与2D镜子位置相匹配，RGB-D装置的高度、装置的角度和其相对于屏幕左上方的位置是已知的。使用这些固定参数，屏幕尺寸(已知的)并已知从RGB-D到对象的距离使得能够在显示屏幕上的正确点处“绘制”对象位置。
对象可以与用户分离，例如造型装置、移动装置、产品的容器。可替代地，对象可以是用户本身的一部分，例如他们的头发、他们的衣服、他们的嘴巴。
在一些实施例中，通过在一个或多个处理器中的一个处理器上所运行的对象识别软件来实现在3D坐标中确定由相机模块所成像的感兴趣对象的位置。
在一些实施例中，对象识别软件在与RGB-D相机分开的处理器上运行。在其他实施例中，对象识别软件可以在形成RGB-D相机本身的硬件包的一部分的处理器上运行。
在一些实施例中，相机是RGB-D相机。
在一些实施例中，用户的眼睛的位置通过在增强型镜子的一个或多个处理器中的一个处理器上所运行的人脸对齐算法来实现。
在一些实施例中，首先计算距离运算以确定用户的眼睛的3D坐标。
在一些实施例中，通过测量距镜面上3D坐标已知的参考点的距离来实现将所计算的镜面的点从3D坐标变换为显示屏幕上的2D坐标。
在一些实施例中，增强型镜子还包括一个或多个处理器，该一个或多个处理器配置为：鉴别对象；追踪对象的移动；并且根据物体的移动采用控制信号。通过这种方式，所鉴别的对象用作控制器。
在一些实施例中，对象的移动控制微动梭(jog shuttle)响应。
在一些实施例中，增强型镜子进一步包括对象学习算法。通过这种方式，增强型镜子系统可以重新配置为根据新对象采取控制。
增强型镜子可以包括“关闭状态”，在此期间系统不响应特定对象(或任何对象)的通常会触发控制的移动。
可以提供一种镜子系统，其包括与FMCG容器结合的增强型镜子，其中FMCG容器是感兴趣对象。
在一些实施例中，FMCG是非智能FMCG容器。也就是说，FMCG容器不具有电气元件，也不具有主动通信部件。非智能FMCG容器可以是被动对象，其只能通过非智能FMCG容器的外观与计算模块通信。
在一些实施例中，增强型镜子的一个或多个处理器中的一个已被预先配置为识别FMCG容器上的形状和/或标记。
在一些实施例中，计算机模块配置为鉴别设置在非智能FMCG容器上的二维印刷符号。印刷符号可能没有旋转对称性。计算机模块可以被配置为确定符号的角度位置。例如，通过分析符号在相机所捕获的图像中的外观方向。
这种标记可以是对用户可见的。在其他实施例中，当仅在可见光谱中观察时，标记是不可见的(例如，它们可以在IR或UV照射下可见)。这可以使用合适的染料来实现。
FMCG可以包括：
加速度计；以及
用于与镜子无线通信的通信模块。
在这种的实施例中，FMCG是“智能FMCG”。这可能包括，例如具有加速度计的蓝牙牙刷。智能FMCG可以只有通信模块或加速度计中的一个。智能FMCG也可以包含一个或多个其他智能特征，如声音传感器、光传感器、相机、陀螺仪和化学分析仪。
例如，FMCG可以是智能牙刷。在智能牙刷包括加速计的情况下，则可以在用户刷牙时追踪牙刷的移动。图像在镜子上可以显示在对应于用户的3D反射空间中的特定位置的期望位置处。在一些实施例中，图形图像在2D镜子空间上叠覆在用户看到他们的反射的点处。在一些实施例中，FMCG包括相机。
根据本发明的另一方面，提供了一种经由增强型镜子向用户提供目标信息的方法，该方法提供以下步骤：
提供增强型镜子，增强型镜子包括：
部分镀银镜面；
位于镜面下方的显示屏幕；
相机模块，其包括用于捕获镜子的用户的图像和相关联的深度信息的深度扫描仪；以及
计算机模块，其包括一个或多个处理器，以用于：
在由相机模块所获得的图像中定位用户的眼睛；
使用由相机模块所获得的深度信息确定所定位的用户的眼睛在3D坐标中的位置；
在3D坐标中确定由相机模块所成像的感兴趣对象的位置；
使用用户的眼睛的3D坐标计算镜面上感兴趣对象出现至用户的点；
将所计算的镜面上的点从3D坐标转换为显示屏幕上的2D坐标；
将图像在相对于显示屏幕上的2D坐标的期望位置处投射在显示屏幕上。
计算镜面上感兴趣对象出现至用户的点的步骤可以包括以下步骤：
测量从镜面到对象的垂直距离；
计算在镜面与对象相反的相反侧上距离镜子相同垂直距离的3D虚拟位置；
计算从3D虚拟位置到用户眼睛的3D坐标的视线；以及
确定部分镀银镜面的平面与该视线相交的点，该交点对应于镜面上对象出现至用户的点
在一些实施例中，增强型镜子包括计算机模块，该计算机模块包括一个或多个处理器，该一个或多个处理器配置为处理从相机模块所接收的图像并控制在显示屏幕上显示的图像；其中与计算机模块通信的唯一手段是经由一个或多个用户对象。以这种方式，由于数据留存在家中，所以安全风险得以最小化。所销售的实物产品使数据得以嵌入。该一个或多个用户对象可以包括一个或多个FMCG容器。
计算机模块可以包括位于计算机模块的存储器内的存储应用内置数据库。存储在计算机模块的存储器中的应用存在于用户无法访问的锁定配置中；其中用户对象和增强型镜子之间的特定交互提供了解锁应用的密钥。
在一些实施例中，增强型镜子的计算机模块与用户对象之间的连接经由以下中的任何一种或多种来实现：光、声音、本地电子装置、振动、对象形状、对象移动和对象图形。
在一些实施例中，增强型镜子的计算机模块和用户对象之间的连接通过本地电子装置来实现，本地电子装置包括以下中的一个或多个：蓝牙，蓝牙LE、近场通信(NFC)和WiFi。
在一些实施例中，将数据传输到镜子的对象与从镜子接收数据的对象分离。
在一些实施例中，增强型镜子的计算机模块包括用于捕获和分析来自相机的数据并基于该分析提供关于用户的信息的常规学习算法。通过这种方式，增强型镜子可提供“冷启动”功能。
增强型镜子可以进一步包括一个或多个照明面板，照明面板可由计算机模块控制。在一些实施例中，计算机模块响应于由相机所接收的输入来控制照明。以这种方式，照明用作反馈机制。照明可由已达到的阈值而得以触发。这种阈值可以包括时间阈值(例如，在其间发生诸如刷牙的特定动作的某时间量)。可替代地或另外地，触发某照明事件的阈值可以是距离触发(例如靠近镜子)。
在一些实施例中，光源可以提供IR和/或UV光。以这种方式，由于用户眼睛只能看到可见光谱中的光，所以光可以提供对用户不可见的数据传输机制。
在一些实施例中，照明面板可以提供特定的照明度以激励可再现的或特定的环境。用于该目的的照明面板可以与用于反馈和/或数据传输的照明面板分开，使得可以同时执行不同的照明功能。通过这种方式，通过为图像捕获创建可再现的条件，用户可以更准确地评估产品性能。
照明面板可以考虑外部照明。在一些实施例中，运算模块配置为随着用户朝向使用镜子的最佳位置移动时使外部照明逐渐照亮。逐渐照亮可以包括照亮线性演变。在一些实施例中，逐渐照亮包括两个照亮线性演变，运算模块配置为使得当用户位于最佳位置时两种演变相遇。
此外，可以“产生”某些光场(例如办公室/居所/晴天/餐馆)以照亮用户，从而使得镜子能够向用户展示在这些位置中他们将看起来如何。
在一些实施例中，增强型镜子包括能够经由高频闪光将信息传输到FMCG对象/容器/装置的灯，这些信息的控制由计算机模块实现。照明面板的一个或多个元件可以是定向的和/或可调焦的。
在一些实施例中，增强型镜子还包括用于记录和/或测量从用户反射的光的光传感器。因此增强型镜子可以提供对当前环境光场的动态监测，并且因此可选地适应由镜子所生成的照明。
运算模块和相机模块中的一个或两个可以包括面部识别软件。
在一些实施例中，相机提供视觉输入，并且计算机模块或相机包括用于从视觉图像提取词汇信息的软件。通过这种方式，可以使用诸如“拇指向上/拇指向下”或旋转手部的姿势来触发事件或滚动选项。
在一些实施例中，相机提供视觉图像，并且其中计算机模块包括用于从视觉图像提取词汇信息的软件。
词汇信息可以包括用户做出的姿势。可选地，姿势是手部姿势。计算机模块可以配置为确定用户的手部的中心位置是否处于由用户所感知的图形图像的区域内。此外，计算机模块可以配置为当用户的手部的中心位置处于用户所感知的图形图像的区域内时，如果用户闭合他们的手部则触发抓取动作。可选地，计算机模块可以进一步配置为如果用户打开其手部则触发释放动作。
计算模块可以配置为测量用户的手部的中心位置处于用户所感知的图形图像的区域内的时间长度。可选地，计算模块配置为如果时间长度超过预定的触发周期则触发悬停动作。
在一些实施例中，运算模块配置为提供两个分开的输出通道并且将两个输出通道设置在显示屏幕的不同部段上。通过这种方式，提供了分屏：一个屏幕可以用于时间敏感的信息，例如用户的动态相机馈送；可以使用另一个屏幕以例如向用户提供步骤/指导。
分屏的两个部分可以相对于彼此设置成使得一个位于另一个之上或者使得它们并排定位。可替代地，如果提供了角度相关双屏幕，则两个视觉输出可以被发送到双屏幕的相应输出。第一视觉输出将在第一角度范围内可见；并且第二视觉输出将在第二角度范围内可见，第二角度范围选择为使得不与第一角度范围叠覆。
在一些实施例中，增强型镜子包括音频输入。音频输入可以采用一个或多个麦克风的形式。音频输入可以用作触发和/或控制。音频触发可以是语音激活的，但是可以编程其他非语音音频，例如，打开吹风机或电动剃须刀。
在一些实施例中，增强型镜子还包括用于通过网络和/或经由本地连接与外部装置交互的发射器和/或接收器。以这种方式，装置可以通过网络接收信息馈送，例如，天气预报。另外，增强型镜子可以与属于用户的其他装置(例如移动装置(手机)，平板电脑，数码相机，笔记本电脑)交互。
具有相机的移动装置可用于“看到”用户头部的背面。
在一些实施例中，通信模块配置为仅允许与外部装置和/或经由本地连接进行传入通信。
这可以通过构建通信模块使得它仅包括接收器(无发射器)来实现。可替代地，如果使用发射器/接收器模块，则可以通过停用发射器/接收器模块的发射器来实现单向通信。
在一些实施例中，运算模块配置为从相机接收视觉信息；处理信息；并基于所处理的信息在显示屏幕上显示一个或多个图像；其中由运算模块所处理视觉信息所覆盖的视野被减少为来自视觉通道内的视觉信息，视觉通道对应于相机的视野的子集。
以这种方式，运算复杂度得以降低。只处理来自感兴趣“视觉通道”的数据，而不是在相机的整个视野上处理来自相机的视觉数据。
对于镜子应用，用户只对用户反射可见的视野范围感兴趣。这明显小于例如与视频游戏控制台一起使用的标准相机的整个视野。由于视觉通道外部的数据在执行计算之前被丢弃，所以视觉通道引起计算简化并减少所需的存储空间。
在另一个实施例中，视觉通道外部的数据被分开处理并被镜子用来给出情境信息，例如房间中的人数、用户来自其他镜子的反射。
在一些实施例中，相机包括RGB-D装置，该装置包括输入软件以提取相机视野内的每个检测到的人员的骨架数据点。
运算模块还可以包括剔除软件，该剔除软件配置为：处理由RGB-D装置提取的骨架点；提取由RGB-D装置所检测到的每个用户的特定骨架区域的位置；丢弃对应于特定骨架区域位于视觉通道外部的任何用户的数据。
剔除软件还可以被配置为：丢弃对应于除了特定骨架区域最接近RGB-D装置的用户以外的任何用户的数据。也就是说，特定骨架区域(例如脊柱)的z坐标具有最低值的用户。
运算模块还可以包括：执行软件，其从剔除软件接收未丢弃的数据并处理该数据。
视觉通道通过RGB-D装置处的最大x，y和z输入而被提供。视觉通道可以基于镜面的尺寸和形状定义为与用户可以在镜子中看到他们的反射的区域相匹配。
在一些实施例中，具有“视觉通道”过滤器的增强型镜子可以与便携式电子设备(例如智能牙刷，梳子和吹风机)组合提供；或者可以是移动装置，例如移动电话或平板电脑。便携式电子设备可以包括仅当它们出现在通道中时才会激活的特征，例如，当交互式刷子移动并出现在通道中时激活交互式刷子。
便携式电子设备可以配置为在镜子中“看到自身”。例如，它可包括LED和光接收器。当来自LED的光线被镜子反射并被光接收器接收时，便携式电子设备上的至少一个特征将从“关闭”配置切换到“打开”配置。
设定视觉通道极限的一个或多个最大坐标(例如x，y和z)可以配置为对应于装置可以“看到自身”的位置，使得当装置在进入视觉通道时将接通。
视觉通道可以对应于人在镜子前方所能处于但仍然可以看到他们的反射的最“左侧”或“右侧”(即通道的“外部极限”)。
在一些实施例中，增强型镜子是壁挂式的。
在一些实施例中，附加的传感器可以嵌入在镜子内以捕获用户和镜子周围的环境的方面，例如气味、湿度和温度。
下方列出了本发明的其他可选特征。
附图说明
现在将参照附图通过举例的方式描述本发明的实施例，在附图中：
图1示出了增强型镜子的示意图；
图2示出了另一增强型镜子的示意图；
图3示出用于增强型镜子的软件的示意图；
图4示出了用于增强型镜子的壳体的示意图；
图5示出了使用增强型镜子的两个用户的示意图；
图6示出了使用增强型镜子的用户的示意图；
图7示出了增强型镜子的坐标的示意图；
图8示出了针对特定用户确定应当定位图形的2D像素的方法的示意图；
图9示出了与增强型镜子一起使用的FMCG容器的示例。
图10示出了词汇分析方法的示意图；
图11示出了第二种词汇分析方法的示意图；
图12示出了包括增强型镜子的壁挂系统的示意图；
图13示出了包括增强型镜子的另一壁挂系统的示意图；
图14示出了另一具有视觉通道功能的增强型镜子的示意图；
图15示出了由图14的增强型镜子执行的方法的示意图；和
图16示出了操作外部照明和绘制/显示对象的覆盖物的方法的示意图。
具体实施方式
下方将关于图1和图4描述增强型镜子的示例。增强型镜子1包括镜面2和相机3，显示屏幕20位于镜面2下方。
显示屏幕20和相机3均可通信地连接到计算机模块4。显示屏幕通过诸如HDMI电缆的第一连接21连接到计算机模块4，相机通过诸如USB连接的第二连接22连接到计算机模块4。
相机形成例如RGB-D装置的相机模块的一部分，该相机模块包括用于捕获镜子的用户的图像和相关联的深度信息的视觉相机和深度扫描仪。RGB-D装置可以是专门构建的，或者可以是预先存在的产品，例如Microsoft Kinect 2运动感测输入装置。
镜面被部分镀银，使得可以通过镜面观看显示屏幕。在图1所示的实施例中，部分镀银表面是部分反射材料已被直接涂覆于其上的显示屏幕自身的表面。然而，设想部分镀银表面可以作为与显示屏幕分离的部件而提供，然后直接设置在显示屏幕的前方。
部分镀银镜涂层应被选择为具有优化为给出最大反射性但依然允许高水平图像亮度以透射通过镜面的反射性/透明性比率。合适的透射率值的示例是66％，合适的反射率值的示例是31％。然而，本领域技术人员会理解其他值是可接受的。
计算机模块包括一个或多个处理器，该一个或多个处理器包括与存储器和各种其他部件通信的中央处理单元(CPU)。
这些其他部件可以包括电源、网络接口(在某些情况下不需要)、输入/输出接口、音频接口和用户控制。镜子可以语音激活，其他音频触发可以包括吹风机的打开。
计算机模块编程为从相机3接收数据并将图形图像提供到显示屏幕，使得它们通过(部分镀银)镜面2可见。常规的学习算法用于捕获并分析来自相机的数据，并且基于该分析提供关于用户的信息。
(可选的)壳体单元25包围镜面、显示屏幕和相机。该壳体在浴室设置中是有利的，以防止水损害。
关于图2描述了具有附加特征的增强型镜子，其中同样的部件具有与图1中相同的数字。
除了图1中的部件之外，图2的增强型镜子还包括呈两个细长照明面板形式的多个照明面板，在这种情况下为LED面板，镜子的任一侧各设置一个面板。诸如ArduinoTM微处理器的照明控制器8在多个照明面板和计算机模块之间提供接口。照明控制器8和计算机之间的连接可以是USB连接或任何其他合适的连接器。额外的电源为照明面板供电。
计算机模块可以响应于相机接收的输入来控制由照明面板发出的光，使得照明用作反馈机制。照明可由已达到的阈值触发。这样的阈值可以包括时间阈值(例如，在其间发生诸如刷牙的特定动作的某时间量)。可替代地或另外地，触发某照明事件的阈值可以是距离触发(例如靠近镜子)。
每个照明面板可以由多个照明部段组成，这些部段可单独控制，使得照明面板的某些部分可以被单独控制。例如，当用户靠近镜子时，照明面板的各个部段可以从面板中的一个部段到另一个顺序地点亮。当照明面板内的所有部段被点亮时，这向用户指示他们站在最佳位置。
作为示例，镜子可以包括一对照明面板，每个照明面板由多个照明部段组成。例如，每个面板可以是大致线性的，并且沿着镜子的相应侧竖直设置。当用户鉴别为已经进入到镜子的视野中，或者可替代地进入到镜子的视觉通道内(在下文描述)，则照明面板的照亮可以控制为指示用户他们正在靠近与镜子交互的最佳位置。
例如，当用户进入镜子的视野或视觉通道时，每个照明面板的最上方和最下方的照明部段被照亮。随着用户朝向与镜子交互的最佳位置(例如视野或视觉通道的中心)移动，每个面板的其余照明部段得以顺序地照亮。照亮顺序可以从最上方和最下方的部段开始(如所描述的)，照明面板的照亮分别从最上方和最下方的部段朝向面板的中心逐渐演变。换言之，随着用户从它们的初始位置朝向最佳位置移动接近，最上方第二个部段和最下方倒数第二个部段的照明部段均可以得以照亮。随着用户继续向最佳位置移动，剩余的照明部段得以顺序照亮。如将认识到的，随着用户朝着最佳位置移动，每个照明面板的效果作为“收聚”效果而呈现至用户，其中照明部段从面板的顶部和底部顺序地照亮，以最终“相遇”在照明面板的中心。照明控制器可以配置成照亮面板的部段，使得当用户处于最佳位置时，始自面板的顶部的照亮顺序和始自面板的底部的照亮在面板的中心处相遇。用户越靠近最佳位置，越多的LED在镜子的竖直中心会聚。当用户成功地位于最佳位置时，照明部段的全部或一部分可以关闭。
如果用户离开位于镜子前方的最佳位置，则照明的“收聚”照亮可以反向进行。也就是说，照明面板中心的部段首先熄灭，然后分别沿着向上方向和向下方向朝向最上方部段和最下方部段使部段逐渐熄灭。
这种照明配置提供了一种指示用户何时处于与镜子交互的最佳位置的直观方法。这种照明配置可以用于指示用户相对于镜子的最佳角度位置和/或用户距镜子的最佳距离。上述的照明配置形成了针对用户的反馈机制，以至于用户为了镜子的最佳操作而移动的结果以人体工程学的方式传送给用户。以这种方式，用户能够将自身置于镜子的最佳位置处，而不需要了解存在最佳位置或最佳位置位于何处。这种照明配置从用户的最佳位置概念抽离，并且以人体工程学的方式且简单地允许用户将自身置于最佳位置。
上述照明的使用示出在图11的示意图中。
照明面板可以提供特定的照明度以激励可再现或特定的环境。诸如光电二极管(未示出)的光传感器可以检测从用户反射的光强和/或光波长以提供实际水平的测量结果，并且能够通过改变由照明面板发射的光强和/或光波长来实现特定强度或色相。用于此的照明面板可以与用于反馈和/或数据传输的那些照明面板分开，使得可以同时执行不同的照明功能(气氛和反馈)。通过为图像捕获创建可再现的条件，用户可以更准确地评估某些光场(办公室/居所/晴天/餐厅等)内的产品性能。
照明控制器可以配置为闪光或脉冲，并因此配置为经由高频闪光将信息光学地从计算机模块4传输到FMCG对象/容器/装置10,110，如果这种信息由计算机模块获得，则进行控制。
照明面板的一个或多个元件可以是定向的和/或可调焦的。照明面板可以高度可控，适用于不同的场景，并且可以与应用/程序交互。例如，照明可以用作计时器指示器，其中诸如全光或无光的照明信号指示应当停止诸如刷牙的活动。
除了由照明面板提供的可见光之外，可以存在额外的光源(未示出)以提供IR和/或UV光。这种额外的光源提供了对于用户不可见的数据传输机制。
图2所示的实施例还包括由用于接收诸如来自用户的语音命令的音频信号的麦克风(未示出)以及用于将音频信息中继给用户的扬声器6所组成的音频接口。扬声器和麦克风两者例如经由USB连接可通信地连接到计算机模块4。
图2的实施例还包括通信模块7，该通信模块7使得增强型镜子能够与用户装置10无线通信。用户装置可以采取诸如手机、平板电脑或笔记本电脑的移动装置的形式。可替代地，用户装置可以采取智能FMCG的形式，诸如蓝牙牙刷。除了自身的通信模块之外，智能FMCG还可以具有其他智能特征，诸如加速度计、声音传感器、光传感器、相机、陀螺仪和化学分析仪。来自这些智能特征中的一个或多个智能特征的信息可以经由通信模块7传送到增强型镜子101的计算机模块。通信模块7还可以支持除了蓝牙以外的其他合适的无线通信方法，例如WiFi、近场通信(NFC)和蓝牙LE(低能量)。
可以设想，关于图2描述的额外特征中的任何一个或其组合可以应用于图1的实施例。
增强型镜子允许使用具有内置相机和蓝牙或WiFi数据传输功能的手持装置，以使用户可以看到由于他们的眼睛位置而通常无法看到的身体部位。因为用户可以在镜子屏幕中看到手持装置的位置以及该装置所捕获的图像，所以这种交互易于使用。这允许用户容易地控制并导航手持装置。
增强型镜子的用户可以从在线存储库安装程序。一些程序可以从在线服务器与镜子进行交互。为了在保证安全性和隐私的同时实现这种交互，这些在线服务器与镜子操作系统(OS)之间的任何交互均必须通过镜子OSapi调用来完成。
图3示出了图2中所示实施例的镜子OS软件部件的概览，其中相同的附图标记对应于图1和图2中的那些特征。对由相机模块3接收的视觉和深度信息的处理在两个主要阶段来实现。在第一阶段中，位于实际相机模块本身处的软件执行对数据的分析。例如，相机模块处的软件可以包括以下中的一个或多个：面部识别、词汇分析(其中一个示例为“拇指向上识别器”)以及符号识别器。在第二阶段中，可以在增强型镜子1,101的计算机模块4内运行其它应用。诸如FMCG容器的对象可以在基于屏幕的交互环境中作为第一类交互字符使用。可以通过视觉感测来检测FMCG的存在，例如通过RGB或RGB-D相机。可替代地，可以通过诸如蓝牙、WiFi或NFC的无线通信技术来检测FMCG的存在。在图9中描绘了用作控制器的FMCG容器的示例。
当使用RGB-D时，也可以确定FMCG容器的位置和定向。
在一些实施例中，对FMCG容器的检测将触发产品特定程序或在线内容的加载。通过将FMCG的存在或不存在用作二进制输入，还可以实现用户对屏幕上显示的程序的受限输入。
基于视觉的感测可以使FMCG作为多模式控制器使用，其中FMCG的定向和位置可作为对程序的细粒度输入。
最后，使FMCG位置的基于视觉的感测与从用户接收的视觉输入(例如，对用户的(头部)姿态、姿势和面部表情的感测)相结合允许对程序的第三组输入。
关于图5至图8更详细地描述增强型镜子的操作。
在图5至图8所示的实施例中，增强型镜子的相机3是具有集成面部对准的RGB-D扫描仪。如下文更详细描述的那样，可通信地连接到显示屏幕20的计算机模块已经装配有算法，该算法将允许任何用户在相对于对象的正确位置处看到与真实世界对象有关的数字内容。
这是一个重要的问题，因为如图5所示，对象的投影将根据用户的视角而位于镜屏幕上的不同位置处。用户A将在镜子上点RA处“看到”对象的反射，而用户B将在镜子的点RB处“看到”对象的反射。
对特定用户呈现反射的位置RA/RB(即，从对象到用户眼睛的光路在镜面处反射的点)必须得以确定以便在正确的位置处使图形叠覆。以这种方式，可以可靠地产生诸如指向对象的反射、突出显示对象的特定部分或围绕对象的反射的箭头的图形。这使得所有用户都能够与屏幕上相对于他们的反射定位的图形高精度地交互。
用户的视角取决于人的眼睛相对于镜子的位置以及对象的位置。因此，为了准确地将图形放置在显示屏幕20上，眼睛和对象都必须位于真实世界的空间中，即按照3D真实世界坐标，其中，坐标系相对于镜面(MS)，原点位于MS的中心，x轴平行于MS(使用中)的水平侧，y轴平行于MS(使用中)的竖直侧，并且z轴垂直于MS平面。
为了检测用户的眼睛(s2)，使用RGB-D相机的面部对准算法。这使在以相机为中心的坐标系中相对于相机的任何用户的眼睛的3D坐标(s3)返回。在增强型镜子的计算机模块4上运行的程序将在相机坐标系中通过相机进行的该测量变换为MS真实世界坐标。这种变换需要一次性测量相机相对于MS坐标系原点的相对位置。在此描述的实施例中，真实世界坐标系的原点是镜面的中心。然而，例如镜子的角落其它适当的点可以用作原点。通过测量相机相对于镜子的位置，可以使眼睛位置(由相机测量)旋转且平移到真实世界坐标系中。
定制对象识别软件(位于计算机模块4中)定位一个或多个对象(s4)，在这种情况下为消费品(FMCG容器)。为了使对象识别软件对新的对象起作用，必须添加新的对象识别软件，或者必须更新现有软件以包含(“学习”)新的对象。
一旦确定了用户的眼睛和对象的位置，就使用投影几何来计算镜子/屏幕上投影对象的点xo(s5)。从RGB-D相机观察场景，这在相对于相机的参考系(3D相机世界坐标)中提供了头部和感兴趣对象的3D坐标。任务是推导2D镜子坐标中的2D坐标，其中参考系对应于或可映射到屏幕的像素位置。
若给定由RGB-D相机观察到的对象上的3D点，则首先计算距镜子的距离d。然后，将该点垂直于镜子并沿着该方向平移该距离的两倍(见图6)。然后，通过找到镜子平面和连接刚刚计算的虚拟3D点与用户眼睛的位置的直线之间的交点来计算由用户观察到的镜子中的点。然而，结果点仍位于3D相机世界坐标中。如图7所示，通过知道镜子屏幕中心按照3D相机空间坐标的位置和镜子屏幕按照每英寸屏幕像素的分辨率，可以直接计算到2D镜子坐标(镜子空间，以像素为单位)的转换。
特别地，镜子平面在3D相机世界坐标中的坐标由平面中的点和正交于该平面的矢量给出：
其中
3D点x的镜面位置表示为：
反射对象在镜子上被感知的点xo被计算为平面Pm和以下直线的交点：
其中
可替代地，同一点可以被计算为下列两条直线的交点：
其中
其中
最后，需要如图6所示地由3D进行转换(S6)：
为了获得最佳精度，可以考虑对象的角度。因此，变换成显示屏幕20上的像素涉及对以下物理变量的确定：
·RGBDF轴角度：RGBD传感器向下倾斜的度数
·RGBDF偏移量Y：RGBD传感器位于镜子左上角上方的距离，以米为单位
·RGBDF偏移量X：RGBD传感器距镜子左上角偏移的距离，以米为单位
·ScreenHeight：屏幕的X分辨率，以像素为单位
·ScreenWidth：屏幕的Y分辨率，以像素为单位
·screenDotsPerMeter：每平方米的像素数
一旦已知这些物理变量，就可以执行以下操作步骤：
应用从RGBD传感器接收以下两条信息作为以米为单位的3D矢量：
1.用户的眼睛位置
2.待叠覆的对象的位置
一旦建立起这些信息输入，则执行以下六个变换步骤：
1.围绕RGBDF轴角度旋转和平移眼睛位置以校正角度和偏移(使用RGBDF轴角度、RGBDF偏移量Y、RGBDF偏移量X)
2.围绕RGBDF轴角度旋转和平移对象位置以校正角度和偏移(使用RGBDF轴角度、RGBDF偏移量Y、RGBDF偏移量X)
3.计算对象的反射位置
4.计算新的眼睛位置与对象的反射位置之间的矢量
5.计算真实世界坐标系中该矢量与镜子的交点
6.将该交点转换为像素坐标(使用ScreenHeight，ScreenWidth，screenDotsPerMeter)
这六个步骤返回显示屏幕20上的像素x,y坐标，特定用户在该坐标处看到对象的反射。
词汇分析可以包括识别用户方面的多个姿势。这种姿势例如可以包括拇指向上姿势(以指示接受或肯定的回答)和拇指向下姿势(以指示拒绝或否定的回答)。应当理解，也可以通过词汇分析来识别其他姿势。姿势可以不限于手势，例如，词汇分析可以识别面部/头部姿势，例如用户点头或摇头以指示肯定和否定的回应。提取词汇信息的能力允许用户以非常直观且符合人体工程学的方式与镜子进行交互。特别地，在用户使用这种镜子之前几乎不需要进行教导，因为词汇分析能够识别用户在日常生活中可能已经熟悉的动作。换句话说，用户不必为了与包括词汇分析的镜子交互而学习一组特定的命令。
下文详细描述两种特定的词汇交互。这两种交互都需要在从镜子反射的图像中鉴别如用户所看到的用户手部的位置，以及用户手部和与在屏幕上显示的用户手部重合的图像(用户从他们的观察位置所感知的)之间的感知交互。
作为第一计算，根据上述方法确定用户眼睛的真实世界3D位置。以类似的方式，还确定用户手部的真实世界3D位置。在一个示例中，确定用户手部的中心的位置。在另一示例中，确定用户手掌的中心的位置。
根据上述方法，计算用户手部或手掌在反射空间中的位置。接着，计算手部/手掌在镜子的表面上反射的2D位置。屏幕上的2D位置通常对应于用户在屏幕上看到手部的反射(从用户眼睛的真实世界3D位置的视角来看)处的坐标。
手部在屏幕上的2D位置可以用作交互点。在镜子的屏幕上，可能会显示有界面部件。这种界面部件通常可以对应于用户可以与之交互的图形显示的区域。界面部件的示例包括按钮、开关、手柄(可以转动)、旋钮(可以转动)。本领域技术人员将会理解存在一系列可能的界面部件。每个界面部件在屏幕上都有位置，并且用户可以在该位置看到界面部件。例如，界面部件具有由2D屏幕坐标(Ix，Iy)定义的交互对象中心。界面部件还在屏幕上以有限大小显示：例如，矩形界面部件具有交互对象宽度Iw和交互对象高度Ih。将理解到，界面部件还可能具有其他形状，例如圆形界面部件。
描述了与界面对象交互的两种示例性模式，每种模式均使用交互点。如图10示出的示意图所示，第一种模式的交互是“抓取”。在抓取模式中，用户将他们的手部的反射(从用户的眼睛位置看到的)对准他们所期望与之交互的界面部件。当用户感知到他/她的手部的反射与界面部件对准时，他/她可以将他们的手部合为拳头，从而与界面部件交互。例如，合上拳头可以导致界面部件被“抓取”。相反，当用户打开他/她的手部时，界面部件被“释放”。抓取和释放功能有效地实现了镜子的拖放功能。合上用户的手部还可以导致与界面部件的不同交互，例如，合上手部可以导致界面部件的按钮按压。
图11示出了实现悬停交互模式的示例性方法。该方法以面部和眼睛检测和位置测量开始，并且在触发界面部件的选择之前完成测量用户手部处于界面部件的上方悬停位置中的时间，以确定该时间段是否超过预定的触发时间段。
如图11示出的示意图所示，第二种交互模式是“悬停”。在悬停模式中，用户将他们的手部的反射(从用户的眼睛位置看到)与他们所期望与之交互的界面部件对准。当用户感知到他/她的手部的反射与界面部件对准时，他/她可以将他们的手部保持在界面部件上。镜子配置为测量用户将他们的手部保持在界面部件上的时间段。如果用户将他/她的手部保持在界面部件上达到至少预定的触发时间段，则触发与界面对象的交互。例如，该对象可以被“抓取”或被选择。悬停功能仅使用用户所感知的用户的反射来实现与镜子的简单交互。
图11中所示的方法以面部和眼睛检测和位置测量开始，并且在触发交互部件的选择之前完成测量用户手部处于界面部件上方悬停的位置中的时间，以确定该时间段是否超过预定的触发时间段。
对于抓取和悬停这两种交互模式而言，均计算用户手部的反射与界面部件的重合程度。
假设交互点是矩形的，则以下内容是已知的：
·反射的手部中心2D坐标＝(Hx，Hy)
·交互部件中心2D坐标＝(Ix，Iy)
·交互部件宽度＝Iw
·交互部件高度＝Ih
例如，当以下条件为真时，手部和界面部件之间的交互被触发：
(Hx+(Iw/2))<(Ix+(Iw/2))AND(Hx-(Iw/2))>(Ix-(Iw/2))AND(Hy+(Ih/2))<(Iy+(Ih/2))AND(Hy-(Ih/2))>(Iy-(Ih/2))
上述条件基本上相当于确定如用户所感知的反射的手部2D坐标是否位于矩形交互部件内。
在悬停功能的情况下，如上所述，还可以存在所实施的预定触发时间段条件。
交互的抓取和悬停模式对用户来说是非常符合人体工程学且直观的，用户能够轻松地与镜子进行交互，而无需学习特定的命令。
界面部件可以是显示在屏幕上的用户的一部分。
在一些实施例中，在安全性是重要的考虑因素的情况下，增强型镜子形成壁挂系统的一部分。下文参照图12和图13来描述这种系统的示例。
图12的系统包括增强型镜子(例如上文关于图1至图4所描述的那些增强型镜子中的任何一个)，其中显示屏幕20位于镜面下方并且相机模块包括用于捕获镜子的用户的图像和相关联的深度信息的深度扫描仪。增强型镜子1将包括计算机模块4，计算机模块4本身包括一个或多个处理器，该一个或多个处理器配置为处理从相机模块接收的图像并控制显示在显示屏幕上的图像。
在增强型镜子1形成壁挂系统的一部分的情况下，外部世界和计算机模块之间的唯一的通信手段是与一个或多个用户对象10的连接。在这种情况下，用户对象10是与已经嵌入的数据一起销售的物理产品(例如，FMCG)。
如本申请中其他地方所述，增强型镜子1与对象10之间的连接例如可以是光学连接或无线数据连接。在图12所示的实施例中，来自对象10的数据可以由增强型镜子上的通信模块7接收，即数据通信是单向的，只有镜子接收来自产品的数据。因为数据不会被发送到产品，所以该实施例对于关注安全性的用户而言可能是优选的。
通过避免增强型镜子1的计算机模块4与任何其他装置之间的网络连接，由于数据保持在家中，所以安全性的风险被最小化。也就是说，由于无需连接到物联网，因此提供了更高的隐私性。
这种数据传输机制在一个或多个用户对象包括FMCG容器的情况下是最可行的，这是因为产品的容器是定期购买的并因此可以提供持续且定期的更新。换句话说，本发明不涉及“大数据”，相反，旨在帮助用户(也是FMCG的消费者)充分利用FMCG产品。
图13所示的实施例与图12所示的实施例的不同之处在于，增强型镜子能够向用户和对象10发送数据72。
在图12和图13所示的实施例中，计算机模块4包括内置数据库。数据库可以包括由系统主动或被动(“冷启动”)输入到数据库中的用户个人信息。
数据库可以具有预编译的软件模板，软件模板可以通过来自产品的数据修改和激活(如下文更详细的描述)。处理器可以使用用户信息来优化/个性化设置软件更新。另外，数据库可以由与不同的使用情况(刷牙、涂抹护肤霜、头发造型)有关的一系列应用组成。
在一些实施例中，产品可以是被动的，由镜子来触发/管理数据传输。
位于产品上的数据可以被加密，并可以包含与数据关联的ID密钥。通过这种方式，可以避免用镜子被黑客/假冒产品篡改的风险。在一些实施例中，可以使用单向网络连接(即，仅接收)来更新镜子处的ID密钥。
在一些实施例中，增强型镜子可以包括在从FMCG产品接收到数据时激活的硬件更新(例如，诊断传感器)。
在一些实施例中，从增强型镜子的存储器运行的这些应用的某些算法/变量/属性将具有通用的基本设置。如果从FMCG对象收到数据，则会更新并“个性化设置”该特定应用。变量/新算法/属性信息将直接包含在FMCG对象中。可以经由无线数据传输(例如，蓝牙)或通过视觉方式(例如，编码在FMCG的容器上的条形码或类似标记中)来实现信息的传递。
可替代地或附加地，存储在增强型镜子的存储器中的应用的范围是完整的。每个应用可以通过数字“密钥”来“解锁”。数字密钥可以采取来自特定FMCG对象的数据传输的形式并且可以被编码。这种实施例的优点是潜在变化范围大得多，而只有有限量的数据从FMCG传递到镜子。然而，一个缺点是应用的选择限于预编程到镜子中的程序。
增强型镜子的计算机模块与用户对象之间的连接可以通过以下中任何一个或多个来实现：光、声音、本地电子装置、振动、对象形状、对象移动和对象图形。在FMCG容器或其他对象上的图形充当数字密钥或数据源的情况下，图形可以印在仅在电磁频谱的不可见部分中(即在UV或IR光下)可见的墨水中。
特别地，FMCG对象可是“非智能FMCG”。非智能FMCG不包括从其自身主动输出信息或数据的设备。非智能FMCG也无法进行双向交互。一般而言，非智能FMCG的总信息量是固定的，并且非智能FMCG允许通过系统来检测信息，系统利用相机的检查来观察非智能FMCG。因此，非智能FMCG的总信息量可以视觉传达。换句话说，可以仅从非智能FMCG的外观来确定来自非智能FMCG的信息。在正常情况下，人眼可能看不到特定标记。
非智能FMCG包装上的特定标记可以特别设计成易于通过增强型镜子的相机和计算机模块进行区分和测量。特定标记例如可以包括符号、条形码、二维条形码或QR码。
符号可以是显示(例如，印刷)在非智能FMCG包装上的简单几何形状。符号可以包括在包装上，使得该使符号相对于非智能FMCG包装的其余部分具有较高的视觉对比度，从而使增强型镜子的计算机模块更容易地鉴别符号。例如，符号可以是白色背景上的黑色简单几何形状。符号可以不是旋转对称的。如果该符号不是旋转对称的，则利用相机观察该符号的系统能够鉴别该符号的角度定向。如果系统还可以从符号中鉴别出非智能FMCG，则符号的定向可以用来推断应用该符号的非智能FMCG的定向。
特定标记可以使得镜子例如从符号和对应FMCG数据库中鉴别FMCG。数据库可以本地存储在镜子中，或者可以与镜子远程存储。如果数据库远程存储，则镜子可以通过网络(例如，互联网)查询数据库。
可以使用特定协议来防止由镜子发送的数据被除FMCG之外的任何装置拾取，其中该FMCG能够从该装置接收数据。这可以通过对数据进行编码使得数据仅由相关的对象读取来实现。
此外，可以使用例如NFC或蓝牙的短范围的传输系统，这有利地意味着只有处于一定距离内的装置可以与镜子交互。
最后，所选的传输系统可以连接到特定的识别参数，例如物理FMCG对象的视觉识别。通过这种方式，提供了额外的检查，其检查视觉数据、确定对象的形状、根据存储在镜子的存储器中的规则检查形状、并且仅在FMCG对象的形状与存储器中的规则所定义的形状相匹配时进行信息传输。
在存在网络连接的地方，这可以是单向连接，使得仅允许传入数据。以这种方式，安全性风险得以最小化，但镜子仍然可以接收更新并且还可以与外部装置交互，例如，天气预报。在安全性根本不成问题的情况下，可以存在双向连接，使得数据可以经由镜子传入和传出系统。
下文结合图14和图15描述本发明的另一个实施例。
根据前述实施例，增强型镜子201的计算模块4配置为从相机接收视觉信息；处理信息；并基于处理后的信息在显示屏幕上显示一个或多个图像。然而，该实施例不同于以上关于图1和图2所描述的实施例之处在于，由运算模块所处理的视觉信息所覆盖的视野减少为来自视觉通道202,203内的视觉信息，该视觉通道对应于相机视野的子集。
相应地，可以基于镜子的物理尺寸来确定视觉通道的高度和宽度。例如，视觉通道可以对应于用户可以看到自己在镜子中反射的位置。通过这种方式，镜子仅与可以在镜子中看到自己的用户交互。实施这种的视觉通道可防止镜子与视觉通道外部的用户的无意交互。
在一些实施例中，视觉通道的范围针对特定镜子来定义，并且应用于由该镜子所实施的所有应用和/或功能。此外，相同的视觉通道可以与特定镜子的多个硬件配置一起使用。
图14示出了视觉通道的两种可能的选择；其一为锥形，另一为矩形。应注意到，在任一情况下，尽管四个用户C、D、E和F均位于相机的视野204之内，但他们均位于在视觉通道之外。
对于镜子的应用而言，用户仅对用户的反射可见的视野范围感兴趣。该视野范围明显小于例如与视频游戏控制台一起使用的标准相机的全部视野。
由于视觉通道外部的数据在执行计算之前被丢弃，因此视觉通道可以简化计算并减少所需的存储空间。
在图14所示的实施例中，相机是RGB-D装置，其包括用于捕获镜子的用户的图像和相关联的深度信息的深度扫描仪。RGB-D装置包括输入软件，以提取相机视野内每个检测到的人的骨架数据点。
由图14的增强型镜子所执行的处理示出在图15的流程图中。
RGB-D相机捕获全帧(即，覆盖相机可能的视野的图像)。通过RGB-D装置处的最大x、y和z输入来提供代表全帧的子集的视觉通道。
计算模块包括剔除软件，剔除软件配置为：处理由RGB-D装置提取的骨架点；提取由RGB-D装置检测到的每个用户的特定骨架区域的位置；丢弃对应于特定骨架区域位于视觉通道外部的任何用户的数据。
骨架区域可以是用户的脊柱，或者可以是另一身体部位或区域，例如头部、手臂或腿部。身体上的中心区域诸如脊柱或头部可能是有利的。
剔除软件可以执行定位每个检测到的骨架的特定骨架点的真实世界Z坐标和X坐标并丢弃真实世界X坐标和Z坐标位于视觉通道外部的相关用户视觉数据的步骤。
剔除软件还配置为丢弃对应于特定骨架区域最接近RGB-D装置的用户以外的任何用户的数据。也就是说，特定骨架区域(例如脊柱)的z坐标具有最低值的用户。
除了剔除软件之外，运算模块还包括：执行软件，其从剔除软件接收未丢弃的数据并处理该数据。
本实施例的增强型镜子可以包括用于与便携式用户装置交互的软件。在这种示例中，便携式电子装置包括仅当它们出现在通道中时才激活的特征。例如，交互式智能牙刷一旦移动到视觉通道内就会被激活。
这可以通过包括LED和光接收器的便携式电子装置来实现。当来自LED的光线被镜子反射并被光接收器接收时，则便携式电子装置将在镜子中“看到”自己时使至少一个特征从“关闭”配置切换为“打开”配置。
最大的x、y和z坐标(或者如果选择更复杂的形状的通道，则为极坐标)对应于在人员的信息将不被运算模块处理之前人员可能处于的“最左”或“最右”处。这些界限可以设定为对应于用户可以站在镜子前方但仍然能够看到他们的反射的最远位置(即，通道的“外侧界限”)。
在一些实施例中，位于运算模块处的附加软件可以编程为“锁定”到用户头部的位置。
随着用户的移入，他们的骨架被RGB-D装置获取。这会输出他们头部位置的坐标。例如，坐标可以对应于每个用户的头部的中心或每个用户的头部的最高点。这些坐标然后用于创建一个动态的“边界盒”；这个区域将粗略地包绕他们的头部。此边界盒的坐标将随着用户的移动而移动。
然后将这些边界盒坐标应用于相机图像。通过这种方式，相机图像显示用户的头部，并且被“锁定”到他们的头部，而不管用户使头部在RGB-D装置的视线内移动的位置。
边界盒的一个应用是巧妙处理面部识别。面部识别软件仅应用于边界盒内的视觉数据，这减小了图像区域的大小，在该图像区域中面部必须与位于运算模块的存储器内的数据库中的面部相匹配。
图16示出了用于在屏幕上绘制叠覆的方法和相关联的步骤，从镜子的用户的视角来看，该叠覆在用户看来位于镜子中反射的对象上。该对象可以是用户的一部分或者可以是用户持有的或位于用户上的对象。
所示方法首先检测视觉通道(如上所述的视觉通道)中的所有骨架。在第二步骤中，系统鉴别视觉通道内的哪个骨架最接近镜子。由于视觉通道中可能有多个人，所以这是一个重要的步骤。最接近的用户鉴别为“激活”，并且是行为由镜子所监测并且将与镜子交互的用户。
当激活用户在视觉通道内时，他/她可能未处于与镜子交互的最佳位置。为了使激活用户移动到最佳位置，可以如上所述控制镜子周围的照明，从而以直观方式将用户引导到最佳位置。
当激活用户处于最佳位置或接近该位置时，系统鉴别激活用户的面部并开始交互会话。系统还鉴别可以由相机看到的对象(例如，非智能FMCG)以及该对象的位置。该对象将如激活用户所感知的被叠覆图形。
接下来，检测激活用户的面部，并随后鉴别激活用户的眼睛位置(激活用户的眼睛的3D坐标)。对象的对象检测也被执行。
根据对象的3D坐标，计算对象在反射空间中的3D位置虚拟位置。为了计算镜面上对象出现至用户的点，镜子的运算模块：测量从镜面到对象的垂直距离；计算在镜面与对象相反的相反侧上距镜子相同垂直距离处的3D虚拟位置；计算从3D虚拟位置到用户眼睛的3D坐标的视线；并确定镜面平面与该视线的交点。该交点对应于镜面上的点，在该点上物体以镜面上的2D坐标呈现至用户。
然后，在显示屏幕上在镜面上的交点处绘制对象的叠覆。该叠覆与用户所感知的对象反射的位置重合，因此叠覆看起来与对象重合。该对象可以是用户自身的一部分。例如，叠覆可以包括看起来指向对象的箭头。叠覆可能是一个环圈，所以叠覆看起来围绕着对象。以这种方式，对象可以突出显示给镜子的用户。
结合本文描述的任何实施例，增强型镜子可以包括编程为产生两个屏幕输出的软件。屏幕本身可以是双视图屏幕，其中屏幕提供两个单独的视觉输出，并因此从计算机模块接收两个视觉输出；在第一角度范围上可见的第一视觉输出；以及在第二角度范围上可见的第二视觉输出，所述第二角度范围选择为使得与所述第一角度范围不叠覆。
这种特征可以用在沙龙中，使得顾客看到与美发师/沙龙工作人员不同的东西。
在此描述的任一实施例中，可以通过音频或视觉输入来触发增强型镜子。视觉触发可能包括与产品相关的特定行为，例如从容器上取下盖子。在这种情况下，计算机模块中的软件可以教导或预编程为使用对象学习来识别这种事件。
用于本文描述的任何一个方面或实施例的对象学习过程的示例如下所示：
1.用户向镜子展示对象，并使用语音命令来初始化对象学习，包括赋予该对象唯一的ID；
2.镜子使用其相机拍摄静止图像，并将其显示在镜子上。基于用户手部的位置、颜色和深度信息来完成对象的初始分区；
3.用户使用语音命令来微调分区
4.一旦完成，对象的RGB-D表示被存储为对象的肯定示例；
5.还从图像的其他部分采样多个否定示例；
6.利用在步骤4和5中收集的新训练数据来更新统计机器学习模型；
7.用户在不同的位置向镜子展示对象，并且镜子使用步骤2的初始分区过程的加权评分和模型在步骤6中训练的机器学习预测来对对象的位置进行分区。其还为用户展示模型预测以评估正确性；以及
8.重复步骤3-7直到用户对系统的自动识别结果满意为止。
下文描述本发明的另一实施例。该实施例涉及可以与上述任何方面和/或实施例结合使用的“冷启动”机制。
在该实施例中，计算模块包括被配置为提取关于用户的信息的“冷启动软件”。
该软件从增强型镜子系统的一个或多个传感器获得输入并提取关于个体的相关信息。
以这种方式，可以被动地获得和存储关于用户的一定程度的个性化信息，而用户不必主动回答问题。这提供了更快、更无缝的用户交互。
冷启动机制对于使用增强型镜子进行产品推荐特别有用。通常，产品推荐包括完成问卷以描述与做出推荐相关的头发和其他属性；例如：
·头发的颜色
·头发的长度
·头发的质地
·头发的运动
·优选的风格
·当前的头发护理状态
一旦输入了答案，传统的问卷系统可以基于用户输入的信息做出推荐。输入数据的过程可能很漫长，并且经常令用户感到沮丧。
以下举例说明如何使用“冷启动”机制来改进推荐过程：
·用户接近镜子并捕获视觉图像；
·冷启动软件应用检测头发区域的算法；
·冷启动软件应用算法以检测面部区域；
·从相关区域提取有关头发和面部的信息，例如：
1.头发的颜色
2.头发的长度
3.头发的质地
4.头发的运动
5.优选的风格
·提取的信息可单独使用也可与调查问卷一起使用来进行推荐，与传统的方法相比，问卷的长度缩短。
当冷启动软件应用于产品推荐时，该冷启动软件通过使用从消费者的智能镜子反射评估的视觉信息，可以更快地实现个性化产品或状态推荐，从而减少使用传统的调查问卷方法来收集数据的需求。还可以具有商业上的优点，例如在个性化过程中减少“用户退出”。这可能与店内或家用有关。
该软件可以适应在更长时间内捕获信息以识别用户行为的状态或趋势。
尽管已经结合上述示例性实施例描述了本发明，但是对于本领域技术人员而言，在给出本公开时，许多等同的修改和变化将是显而易见的。因此，上文阐述的本发明的示例性实施例被认为是说明性的而非限制性的。在不脱离本发明的精神和范围的情况下，可以对所描述的实施例进行各种改变。
在此描述的实施例均涉及具有部分镀银表面的增强型镜子，然而，可以设想在此描述的概念，特别是视觉通道的概念还可以应用于简单的显示屏幕，其不具有额外的部分镀银涂层。
上文提及的所有参考文献通过引用并入本文。

Claims (15)

1.一种增强型镜子，其包括：
部分镀银镜面；
位于所述镜子下方的屏幕；
相机；以及
运算模块，其配置为从所述相机接收视觉信息、处理所述信息、并且基于处理后的信息在显示屏幕上显示一个或多个图像；
其中由所述运算模块处理视觉信息所覆盖的视野减少为来自视觉通道内的视觉信息，所述视觉通道对应于所述相机的视野的子集。
2.根据权利要求1所述的增强型镜子，其中，所述相机是RGB-D装置，其包括用于捕获所述镜子的用户的图像和相关联的深度信息的深度扫描仪。
3.根据权利要求2所述的增强型镜子，其中，所述RGB-D装置包括输入软件，以提取在所述相机的视野内每个检测到的人员的骨架数据点。
4.根据权利要求3所述的增强型镜子，其中，所述运算模块包括剔除软件，所述剔除软件配置为：
处理由所述RGB-D装置所提取的骨架点；
提取由所述RGB-D装置检测到的每个用户的特定骨架区域的位置；
丢弃对应于特定骨架区域位于所述视觉通道外部的任何用户的数据。
5.根据权利要求4所述的增强型镜子，其中，所述剔除软件还配置为：
丢弃对应于除了特定骨架区域最接近所述RGB-D装置的用户以外的任何用户的数据。
6.根据权利要求5所述的增强型镜子，其中，所述运算模块进一步包括：
执行软件，其从所述剔除软件接收未丢弃的数据并处理该数据。
7.根据权利要求1所述的增强型镜子，其中，所述视觉通道通过所述RGB-D装置处的最大x、y和z输入而被提供。
8.根据前述权利要求中任一项所述的增强型镜子，其中，所述视觉通道基于所述镜面的尺寸和形状而被限定为与所述用户能够在所述镜子中看到他们的反射的区域相匹配。
9.根据前述权利要求中任一项所述的增强型镜子，还包括外部照明，所述外部照明由所述运算模块控制。
10.根据权利要求9所述的增强型镜子，其中，所述运算模块配置为随着用户朝向使用所述镜子的最佳位置移动而使所述外部照明逐渐照亮。
11.根据权利要求10所述的增强型镜子，其中，所述逐渐照亮包括照亮线性演变。
12.根据权利要求11所述的增强型镜子，其中，所述逐渐照亮包括两个照亮线性演变，所述运算模块配置为使得当所述用户位于所述最佳位置时两种演变相遇。
13.根据前述权利要求中任一项所述的增强型镜子，其中，所述屏幕提供两个单独的视觉输出：
在第一角度范围上可见的第一视觉输出；以及
在第二角度范围上可见的第二视觉输出，所述第二角度范围选择为不与所述第一角度范围叠覆。
14.根据前述权利要求中任一项所述的增强型镜子，还包括用于音频控制和/或触发的音频输入。
15.根据前述权利要求中任一项所述的增强型镜子，其与便携式电子装置相组合。
CN201680075830.8A 2015-12-24 2016-12-19 增强型镜子 Active CN108431730B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15202690.2 2015-12-24
EP15202690 2015-12-24
PCT/EP2016/081762 WO2017108700A1 (en) 2015-12-24 2016-12-19 Augmented mirror

Publications (2)

Publication Number Publication Date
CN108431730A true CN108431730A (zh) 2018-08-21
CN108431730B CN108431730B (zh) 2021-11-23

Family

ID=55085482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680075830.8A Active CN108431730B (zh) 2015-12-24 2016-12-19 增强型镜子

Country Status (4)

Country Link
US (1) US11068051B2 (zh)
EP (1) EP3394709B1 (zh)
CN (1) CN108431730B (zh)
WO (1) WO2017108700A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111541888A (zh) * 2020-05-07 2020-08-14 青岛跃迁科技有限公司 一种基于显示面的ar实现方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11093554B2 (en) 2017-09-15 2021-08-17 Kohler Co. Feedback for water consuming appliance
US10887125B2 (en) 2017-09-15 2021-01-05 Kohler Co. Bathroom speaker
US11314214B2 (en) 2017-09-15 2022-04-26 Kohler Co. Geographic analysis of water conditions
US11099540B2 (en) * 2017-09-15 2021-08-24 Kohler Co. User identity in household appliances
EP3632634A1 (en) 2018-10-04 2020-04-08 Koninklijke Philips N.V. A personal care apparatus
EP3669748A1 (en) * 2018-12-19 2020-06-24 Koninklijke Philips N.V. A mirror assembly
WO2021171442A1 (ja) * 2020-02-26 2021-09-02 日本電信電話株式会社 鏡像に情報を重畳して表示する表示装置と表示方法と表示プログラム
US11500454B2 (en) * 2020-12-29 2022-11-15 Snap Inc. Body UI for augmented reality components
KR20230124703A (ko) 2020-12-29 2023-08-25 스냅 인코포레이티드 증강 현실 컴포넌트들을 위한 신체 ui

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008018058A (ja) * 2006-07-13 2008-01-31 Matsushita Electric Works Ltd 鏡装置
US20100270953A1 (en) * 2007-12-17 2010-10-28 Koninklijke Philips Electronics N.V. Mirror for personal use with user position dependent illumination
CN202698575U (zh) * 2012-07-10 2013-01-30 高仲华 新型镜子
US20130229482A1 (en) * 2005-03-01 2013-09-05 Nissi Vilcovsky Devices, systems and methods of capturing and displaying appearances
KR20140076849A (ko) * 2012-12-13 2014-06-23 강원대학교산학협력단 거울 조명 시스템
CN104602398A (zh) * 2014-11-28 2015-05-06 常州市武进区半导体照明应用技术研究院 试衣间照明控制系统及方法
CN104754218A (zh) * 2015-03-10 2015-07-01 广东欧珀移动通信有限公司 一种智能拍照方法及终端
CN105007418A (zh) * 2015-07-03 2015-10-28 广东欧珀移动通信有限公司 一种拍照方法及移动终端
US20150358520A1 (en) * 2014-06-09 2015-12-10 Cellco Partnership D/B/A Verizon Wireless Systems and Methods for Supporting a Video Call in a Dark or Low Light Environment
CN204862288U (zh) * 2015-04-22 2015-12-16 北京五悦信息科技有限公司 一种带有提醒功能的智能镜子

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6560027B2 (en) 2000-12-21 2003-05-06 Hewlett-Packard Development Company System and method for displaying information on a mirror
JP2004357103A (ja) 2003-05-30 2004-12-16 Pioneer Electronic Corp 表示装置付きミラー装置
US8976160B2 (en) 2005-03-01 2015-03-10 Eyesmatch Ltd User interface and authentication for a virtual mirror
GB2428153A (en) 2005-07-08 2007-01-17 Sharp Kk Interactive multiple view display
US7714912B2 (en) 2007-01-24 2010-05-11 International Business Machines Corporation Intelligent mirror
US9313452B2 (en) * 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US20140180019A1 (en) 2010-09-30 2014-06-26 Fitbit, Inc. Wearable biometric monitoring devices, interchangeable accessories and integrated fastenings to permit wear
US20130145272A1 (en) 2011-11-18 2013-06-06 The New York Times Company System and method for providing an interactive data-bearing mirror interface
US20140080593A1 (en) 2012-09-19 2014-03-20 Wms Gaming, Inc. Gaming System and Method With Juxtaposed Mirror and Video Display
EP4184443A1 (en) 2012-12-18 2023-05-24 Eyesmatch Ltd. Devices, systems and methods of capturing and displaying appearances
US10218586B2 (en) 2013-01-23 2019-02-26 Owl Cyber Defense Solutions, Llc System and method for enabling the capture and securing of dynamically selected digital information
JP2015007866A (ja) 2013-06-25 2015-01-15 ローランドディー．ジー．株式会社 投影画像補正システム、投影画像補正方法、プログラムおよびコンピューター読み取り可能な記録媒体
DE102014006453A1 (de) 2014-05-06 2015-11-12 Arnulf Deinzer Informationssystem zur Unterweisung in und Überwachung der Anwendung von Zahnputztechniken
CN104199542A (zh) 2014-08-20 2014-12-10 百度在线网络技术（北京）有限公司 一种智能镜实现方法、装置和智能镜
CN104461006A (zh) 2014-12-17 2015-03-25 卢晨华 一种基于自然用户界面的互联网智能镜
US10165949B2 (en) * 2015-06-14 2019-01-01 Facense Ltd. Estimating posture using head-mounted cameras

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130229482A1 (en) * 2005-03-01 2013-09-05 Nissi Vilcovsky Devices, systems and methods of capturing and displaying appearances
JP2008018058A (ja) * 2006-07-13 2008-01-31 Matsushita Electric Works Ltd 鏡装置
US20100270953A1 (en) * 2007-12-17 2010-10-28 Koninklijke Philips Electronics N.V. Mirror for personal use with user position dependent illumination
CN101902937A (zh) * 2007-12-17 2010-12-01 皇家飞利浦电子股份有限公司 具有依赖于用户位置的照明的个人使用的镜子
CN202698575U (zh) * 2012-07-10 2013-01-30 高仲华 新型镜子
KR20140076849A (ko) * 2012-12-13 2014-06-23 강원대학교산학협력단 거울 조명 시스템
US20150358520A1 (en) * 2014-06-09 2015-12-10 Cellco Partnership D/B/A Verizon Wireless Systems and Methods for Supporting a Video Call in a Dark or Low Light Environment
CN104602398A (zh) * 2014-11-28 2015-05-06 常州市武进区半导体照明应用技术研究院 试衣间照明控制系统及方法
CN104754218A (zh) * 2015-03-10 2015-07-01 广东欧珀移动通信有限公司 一种智能拍照方法及终端
CN204862288U (zh) * 2015-04-22 2015-12-16 北京五悦信息科技有限公司 一种带有提醒功能的智能镜子
CN105007418A (zh) * 2015-07-03 2015-10-28 广东欧珀移动通信有限公司 一种拍照方法及移动终端

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
北京数字科普协会: "《数字博物馆发展新趋势》", 31 March 2014 *
库克: "《移动机器人导航、控制与遥感》", 31 October 2015 *
范凯熹: "《信息交互设计》", 31 March 2015 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111541888A (zh) * 2020-05-07 2020-08-14 青岛跃迁科技有限公司 一种基于显示面的ar实现方法

Also Published As

Publication number Publication date
EP3394709A1 (en) 2018-10-31
US11068051B2 (en) 2021-07-20
WO2017108700A1 (en) 2017-06-29
US20180373330A1 (en) 2018-12-27
CN108431730B (zh) 2021-11-23
EP3394709B1 (en) 2021-02-17

Similar Documents

Publication Publication Date Title
CN108475107A (zh) 增强型镜子
CN108431730A (zh) 增强型镜子
US11819108B2 (en) Smart mirror system and methods of use thereof
US11533453B2 (en) Smart mirror system and methods of use thereof
CN109085966B (zh) 一种基于云计算的三维展示系统及方法
WO2017108703A1 (en) Augmented mirror
US20200193713A1 (en) Smart mirror for location-based augmented reality
US20170319065A1 (en) Information processing device, information processing method, and program
CN106104650A (zh) 经由凝视检测进行远程设备控制
EP3062195A1 (en) Interactive mirror
CN105334955B (zh) 一种信息处理方法及电子设备
CN109982616A (zh) 用于支持至少一个用户执行个人护理活动的装置和方法
CN108875468A (zh) 活体检测方法、活体检测系统以及存储介质
CN103678971B (zh) 用户信息提取方法及用户信息提取装置
JP2012152389A (ja) ミラー付什器
CN103631503B (zh) 信息交互方法及信息交互装置
WO2017108702A1 (en) Augmented mirror
US20190035126A1 (en) Body information analysis apparatus capable of indicating blush-areas
CN108629824A (zh) 图像生成方法、装置、电子设备及计算机可读介质
US10824850B2 (en) Body information analysis apparatus capable of indicating shading-areas
WO2019023929A1 (zh) 一种酒店购物方法
CN213934811U (zh) 互动异型投影台展项装置
LARSEN Sensory science: digitally unlocking the subconscious response.
CN109522773A (zh) 身体信息分析装置及其脸型检测方法
CN115311704A (zh) 一种图像显示方法、装置及智能化妆镜

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210906

Address after: Rotterdam

Applicant after: Unilever Intellectual Property Holdings Ltd.

Address before: Rotterdam

Applicant before: Unilever Nederland B.V.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant