CN111344124B - 用于使用混合现实进行对象修改的系统和方法 - Google Patents

用于使用混合现实进行对象修改的系统和方法 Download PDF

Info

Publication number
CN111344124B
CN111344124B CN201880071377.2A CN201880071377A CN111344124B CN 111344124 B CN111344124 B CN 111344124B CN 201880071377 A CN201880071377 A CN 201880071377A CN 111344124 B CN111344124 B CN 111344124B
Authority
CN
China
Prior art keywords
electronic device
smart mirror
smart
information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880071377.2A
Other languages
English (en)
Other versions
CN111344124A (zh
Inventor
阿伦·雷克斯·尤甘南丹
凯尔·T·麦吉尔
张龙珠·金
斯蒂西·L·希比诺
库米·秋吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111344124A publication Critical patent/CN111344124A/zh
Application granted granted Critical
Publication of CN111344124B publication Critical patent/CN111344124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D42/00—Hand, pocket, or shaving mirrors
    • A45D42/08—Shaving mirrors
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • A47G1/02—Mirrors used as equipment
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • A47G1/16—Devices for hanging or supporting pictures, mirrors, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B26—HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26B—HAND-HELD CUTTING TOOLS NOT OTHERWISE PROVIDED FOR
    • B26B19/00—Clippers or shavers operating with a plurality of cutting edges, e.g. hair clippers, dry shavers
    • B26B19/38—Details of, or accessories for, hair clippers, or dry shavers, e.g. housings, casings, grips, guards
    • B26B19/3873—Electric features; Charging; Computing devices
    • B26B19/388—Sensors; Control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B26—HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26B—HAND-HELD CUTTING TOOLS NOT OTHERWISE PROVIDED FOR
    • B26B21/00—Razors of the open or knife type; Safety razors or other shaving implements of the planing type; Hair-trimming devices involving a razor-blade; Equipment therefor
    • B26B21/40—Details or accessories
    • B26B21/405—Electric features; Charging; Computing devices
    • B26B21/4056—Sensors or controlling means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B26—HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26B—HAND-HELD CUTTING TOOLS NOT OTHERWISE PROVIDED FOR
    • B26B21/00—Razors of the open or knife type; Safety razors or other shaving implements of the planing type; Hair-trimming devices involving a razor-blade; Equipment therefor
    • B26B21/40—Details or accessories
    • B26B21/4081—Shaving methods; Usage or wear indication; Testing methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B26—HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26B—HAND-HELD CUTTING TOOLS NOT OTHERWISE PROVIDED FOR
    • B26B21/00—Razors of the open or knife type; Safety razors or other shaving implements of the planing type; Hair-trimming devices involving a razor-blade; Equipment therefor
    • B26B21/40—Details or accessories
    • B26B21/4081—Shaving methods; Usage or wear indication; Testing methods
    • B26B21/4087—Usage or wear indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G2200/00—Details not otherwise provided for in A47G
    • A47G2200/20—Vibration
    • A47G2200/205—Vibrating parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Forests & Forestry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Architecture (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Mirrors, Picture Frames, Photograph Stands, And Related Fastening Devices (AREA)

Abstract

方法包括由装置基于图像、装置、用户上下文或其组合中的至少一者来获取上下文信息。基于上下文信息从多个模型中识别至少一个模型，并且基于至少一个模型在图像中辨识至少一个对象。在装置上显示至少一个图标。至少一个图标与提供额外信息的应用程序、服务或其组合中的至少一者相关联。

Description

用于使用混合现实进行对象修改的系统和方法
技术领域
一个或多个实施方式大体上涉及混合现实，并且具体地涉及使用电子装置将混合现实用于对象修改。
背景技术
随着不同文化和时尚趋势的兴起，面部美容需求比以往任何时候都更重要。面部毛发样式是身份和自我表达的手段。
发明内容
技术问题
遗憾的是，制作并维护外观并不容易。
市场上充斥着用于面部修理的工具和解决方案，但它们都存在以下问题。当前的工具对用户、其面部结构、其皮肤等一无所知。解决方案或服务中没有定制。当前的工具对用户正试图实现的样式一无所知。尽管机械加工工艺的改进已经使得刀片更光滑并且使得抓握剃刀的人体工程学更好，但是它们与40年前的前辈们大致相同。实现外观的责任完全在于用户，因为没有反馈。当前的系统不提供关于用户进展的反馈，也不提供关于剃刮胡子的最佳方式的指导以便实现预期外观。用户可能正在使用错误的设置，从而破坏了外观的可能性并且他们直到后来才会知道。
问题解决方案
一个或多个实施方式涉及使用电子装置将混合现实用于对象修改。在一些实施方式中，智能镜装置包括：存储器，其存储指令；以及处理器，其执行指令以：接收与映射到用于对象的三维掩模的叠加热图相关联的第一信息，接收用于检测电子装置与对象的接触的第二信息，以及基于确定电子装置相对于对象和叠加热图的定位来向电子装置提供通信。
在若干实施方式中，方法包括由第一电子装置接收用于映射到用于对象的三维掩模的叠加热图的第一信息。针对检测第二电子装置与对象的接触接收第二信息。基于确定第二电子装置相对于对象和叠加热图的定位来向第二电子装置提供通信。
在一些实施方式中，非暂时性处理器可读介质包括当由处理器执行时执行方法的程序。该方法包括接收用于映射到用于对象的三维掩模的叠加热图的第一信息。基于检测电子装置与对象的接触来接收第二信息。基于确定第二电子装置相对于对象和叠加热图的定位来致使生成用于电子装置的通信。
参考以下描述、所附权利要求书和附图，将理解一个或多个实施方式的这些和其他特征、方面和优点。
发明的有利效果
如从前面的描述显而易见的，本公开的实施方式可以通过以下操作来提供关于对进行剃刮的最佳方式的指导：接收与映射到用于对象的三维掩模的叠加热图相关联的第一信息；接收用于检测电子装置与对象的接触的第二信息；以及基于确定电子装置相对于对象和叠加热图的定位来向电子装置提供通信。
附图说明
图1示出了根据一些实施方式的用于使用混合现实进行对象修改的示例系统架构；
图2示出了根据一些实施方式的用于使用混合现实进行对象修改的示例系统；
图3示出了根据实施方式的用于智能镜的示例架构；
图4示出了根据实施方式的示例智能剃刀电子装置；
图5示出了根据实施方式的示例涂抹器装置；
图6A至图6B示出了多个对象定位关系的示例；
图7A至图7D示出了模版/覆盖层的示例使用；
图8示出了根据实施方式的指示各种可选面部样板的示例智能镜；
图9A示出了根据实施方式的跟踪特征的空间关系的示例；
图9B示出了根据实施方式的基于跟踪特征的空间关系来表示对象的形状的构造三维(3D)网格的示例；
图10示出了根据实施方式的用于映射纹理的3D掩模的示例；
图11示出了根据一些实施方式的叠加在面部的反射上的热图的示例；
图12示出了根据一些实施方式的3D定位和定向跟踪的示例；
图13示出了根据一些实施方式的用于胡须厚度的纹素值的示例使用；
图14A至图14C示出了根据一些实施方式的剃刀在面部上的随机移动、智能镜与剃刀之间的通信以及所需效果的实现的示例；
图15A至图15D示出了根据一些实施方式的使用反馈通信的高级修理的示例；
图16示出了根据一些实施方式的由智能镜提供的图形信息的示例；
图17示出了根据一些实施方式的由智能镜提供的文本和反射信息的示例；
图18示出了根据一些实施方式的映射到由智能镜提供的面部对象的样板覆盖层的示例；
图19示出了根据一些实施方式的自校正机器人剃刀装置的示例；
图20示出了根据一些实施方式的另一自校正机器人剃刀装置的示例；
图21示出了根据一些实施方式的又一自校正机器人剃刀装置的示例；
图22是示出信息处理系统的示例性高级框图，该信息处理系统包括可用于实施所公开的实施方式的计算机系统；
图23示出了根据一些实施方式的用于使用混合现实进行对象修改的过程的框图；以及
图24示出了根据一些实施方式的用于使用通信进行对象修改的过程的框图。
具体实施方式
以下描述是为了说明一个或多个实施方式的一般原理而做的，并不试图限制本文要求保护的发明概念。此外，本文描述的特定特征能够以各种可能组合和置换中的每一者与其他描述的特征结合使用。除非本文中另有具体定义，否则所有术语将被给予其最广泛的可能解释，包括说明书中暗示的含义以及本领域的技术人员理解的和/或字典、论文等中定义的含义。
应当注意，术语“中的至少一者”指的是前方元素中的一者或一者以上。例如，“a、b、c或其组合中的至少一者”可以解释为单独的“a”、“b”或“c”；或者组合在一起的“a”和“b”、组合在一起的“b”和“c”、组合在一起的“a”和“c”；或者组合在一起的“a”、“b”和“c”。
一个或多个实施方式提供使用电子装置将混合现实用于对象修改。在一些实施方式中，智能镜装置包括存储器和处理器，其中存储器存储指令，处理器执行指令以：接收与映射到用于对象的三维掩模的叠加热图相关联的第一信息，接收用于检测电子装置与对象的接触的第二信息，以及基于确定电子装置相对于对象和叠加热图的定位来向电子装置提供通信。
创造和保持面部毛发样式的一些问题可能包括缺乏必要的修理技能。像任何其他形式的造型一样，面部修理要求用户端具备一定技能以实现中等至复杂的外观。对于创造突出清晰边界、曲线和对称性的非常规外观来说尤其是这样。用户需要熟练使用他们的工具以便获得他们想要的外观。普通用户的技能水平可能远远低于这个要求，并且因此，他们甚至不去尝试许多所需样式。除了技能，实现特定外观需要投入大量时间和精力。此外，更多的时间花在保持那种样式上。实现特定样式需要使用多种工具，每种工具用于特定效果或目的。创造定制样式和高级外观需要创造力和想象力。普通人可能缺乏研究和创造此类新样式的能力，并且因此会退回到最安全的可能样式。为了实现特定的外观，用户在锁定到一个特定的外观之前可能需要经过几轮反复试验。由于诸如面向公众的工作、既定的公众形象等原因，大多数用户负担不起这样的试验和实验。对于那些缺乏技能或时间来投资自我修理的人来说，唯一的办法就是找专业的发型师。使用专业造型师的相关成本不仅是为了实现外观第一次去拜访，而且是为了保持外观反复去拜访。例如，剃刀俱乐部可能收取接近1000美元的专属沙龙会员费。
图1示出了根据一些实施方式的用于使用混合现实进行对象修改的示例系统架构100。在一个实施方式中，系统100包括智能(电子)镜110和智能(电子)剃刀120。智能镜110包括镜111、显示面板112、计算系统113、无线网络模块114、相机115和跟踪站116。智能剃刀包括反馈控制装置121、触觉模块122、发光二极管(LED)模块123、无线网络模块124、电池和电力模块125、计算系统126、跟踪模块127、接触模块128、包括一个或多个马达130和刀片131的马达控制装置129。在一些实施方式中，系统100使得用户无需太多努力且很少或不需要技能就能获得专业质量的结果。系统100利用计算机视觉、3D传感、驱动、触觉和视觉反馈以及混合现实的最新进展来提供美感体验。应当注意，智能镜110的许多部件可以使用包括相机的其他电子装置或者可以使用联接相机的其他电子装置(诸如智能电话、平板计算装置、个人计算机(PC)、可佩戴电子装置等)来包括或模拟。
在一个实施方式中，智能镜110可以有多种尺寸，包括大壁尺寸、医药箱尺寸、个人镜尺寸等。在一些实施方式中，智能镜110容纳计算系统113，计算系统113提供由显示面板112渲染的输出。相机115嵌入在镜111中，其用于捕获在镜111前面的环境并将该环境传输给计算系统113用于图像处理。计算系统113还可以容纳用于无线通信的无线网络模块114硬件和跟踪站116。
计算系统113可以包括一个或多个硬件处理器、存储器装置(例如，以下一者或多者：随机存取存储器(RAM)、闪存、可移除存储器、高速缓存存储器等)。无线网络模块114可以包括用于实现经由局部网络、互联网等发射和接收网络流量(例如，Wi-Fi、
Figure BDA0002476065230000051
等)的硬件和软件。跟踪站116提供对对象和装置(例如，面部对象、剃刀120等)的跟踪。智能镜110将镜111和显示面板112融合在一起。在其框架内的任何点处，用户不仅能够看到来自镜111的反射(就像在普通镜中一样)，还能够使用显示面板112查看电子显示器的像素和数字内容。在一个示例中，镜111是半透明的镜。
在一些实施方式中，显示面板112提供通过镜111或在镜111上投射或显示的成像(例如，图形文本、图像、视频等)以提供信息(例如，反馈指示、可选样板、时间、天气信息、日历信息、交通信息、社交媒体信息/内容/消息、来自监控相机的视频等)。显示面板112可以包括一个或多个用于音频信息、反馈、警告、警报等的扬声器。
在一个实施方式中，智能剃刀120的无线网络模块124可以包括用于实现经由局部网络、互联网等发射和接收网络流量(例如，Wi-Fi、
Figure BDA0002476065230000061
等)的硬件和软件。无线网络模块124与无线网络模块114通信，并且可以包括相当的部件。反馈控制装置121提供来自与智能剃刀120一起使用智能镜110的反馈。该反馈可以基于智能镜110与智能剃刀120之间的相对定位和定向、智能剃刀120的使用进展等。触觉模块122可以包括一个或多个触觉电子马达装置，其用于剃刀120中提供的触觉反馈或振动指示。LED模块123包括一个或多个LED，并且针对来自智能镜110或剃刀120本身的反馈或通信提供灯光指示。灯光指示可以包括不同颜色的光发射(例如，红色、绿色、黄色等)、展现的不同模式(诸如闪烁指示、发光箭头等)。电池和电力模块125可以包括可再充电电池和用于AC/DC适配器、USB连接器等的端口。计算系统126可以包括一个或多个硬件处理器、存储器装置(例如，以下中的一者或多者：随机存取存储器(RAM)、闪存、可移除存储器、高速缓存存储器等)。跟踪模块127与跟踪站116通信以用于跟踪更新信息(例如，定位、定向等)。接触模块128可以基于接触传感器、接近传感器、压力传感器等中的一者或多者来提供与智能剃刀120何时与对象的表面接触有关的信息。马达控制装置129可以包括用于控制马达130(例如，以下中的一者或多者：速度、刀片131的方向、开/关等)的硬件。
在一些实施方式中，系统100向用户提供几乎为零的认知负荷，而不管用户正试图实现多么复杂的外观(例如，面部毛发造型)。几乎没有技能的用户可以实现与专业用户同样复杂水平的外观。用户可以选择标准样板并且在提交样板之前预览样板的外观。持续的视觉、听觉和触觉反馈引导用户朝着正确方向前进并且确保实现预期外观。剃刀120基于其当前位置来自动调整若干设置，而无需用户手动进行调整。因此，用户不会被中断，并且可以在装置适当地适应并调整的同时继续执行相同的操作。系统100提供实时视觉反馈，既有硬件上的，也有与用户面部并置的混合现实可视化，这使得该过程非常直观并使用户了解当前状态。系统100提供从专业人员那里购买或获得手工制作样板并将其用于造型的能力。由于用户实际上并没有参与手动修理过程，所以剃刮/修剪可能会以更快的速度进行，从而节省了实现和保持样式的时间。由于计算系统113的所有计算都是基于用户的面部来执行的，所以完成的精度很高。还提供了手动超控并远离样板的能力，这允许用户定制/修改样板并将其保存以供将来再用。
图2示出了根据一些实施方式的用于使用混合现实进行对象(例如，面部)修改(例如，样式修改)的示例系统。在包括智能镜110和智能剃刀120的示例系统中，在智能镜110上向用户提供信息。如图所示，智能镜110示出时间/日期和可以使用所述系统应用于用户的面部毛发样式的样板210(例如，由用户选择)。
图3示出了根据实施方式的用于智能镜110的示例架构。在一些实施方式中，智能镜110包括外壳205、显示面板112和镜111。在一个示例中，智能镜110覆盖位于显示面板112之上的镜111(例如，半透明(双向或半镀银)镜)。半透明镜111允许用户看到反射，还允许用户穿过它看到显示面板112上所渲染的内容。在另一实施方式中，显示面板112可以是透明的并且覆盖在镜111之上，镜111是不透明的镜。
图4示出了根据实施方式的示例智能剃刀120电子装置。在一个实施方式中，智能剃刀120包括可移动刷子/梳子/刀片421，其提供智能剃刀120的自动调整。在一个示例中，可移动刷子/梳子/刀片421移动以调整所需毛发长度(例如，更短或更长)。在一个示例中，智能剃刀120包括触觉马达以在智能剃刀120的外壳上的各种位置提供触觉反馈422，从而基于所感测的振动来向用户警报如何移动并定向智能剃刀120。灯元件423可以包括一个或多个LED 423以用于指示旋转通信或反馈。智能剃刀120可以使用无线网络模块124(图1)通过无线连接接收用于面部热图的信息424和用于选定样式(例如，面部毛发样式)的信息。
在一些实施方式中，智能剃刀120无线连接到智能镜110(图1)，并且与计算系统113持续通信。智能剃刀110的特征在于六自由度(6DOF)定位和定向跟踪模块127，其用于估计智能剃刀120相对于智能镜110的精确定位和定向。这可以通过各种类型的跟踪技术(诸如磁、光、超声等)来实现，其中跟踪站116的基座定位于智能镜110内，与嵌入在智能剃刀120中的惯性测量单元(IMU)组合。
在一些实施方式中，智能剃刀120在其尖端处包含刀片131(图1)，刀片131用于执行修理操作。智能剃刀120包含其自己的计算系统126，计算系统126与智能镜110无线通信并协调其内存在的传感器和致动器。智能剃刀120的特征在于围绕智能剃刀120的圆周的LED阵列423，其由计算系统126和LED模块123驱动，并且用于向用户提供视觉反馈。此外，智能剃刀120还在剃刀手柄上包含触觉马达/致动器，以向用户提供关于用户需要移动智能剃刀120的正确定向和方向的指令(触觉反馈422)。此外，存在马达来修改刀片131的厚度或调整梳子/刷子的输出，它们都连接到计算系统126和马达控制装置129并受其控制。智能剃刀120包括接近和接触传感器，其可以检测智能剃刀120何时实际接触用户的皮肤或毛发，或者不同程度的接近，以便激活智能剃刀120。
图5示出了根据实施方式的示例涂抹器装置500。在一个实施方式中，来自智能剃刀120(图2)的类似元件可以应用于其他装置，诸如用于提供面部绘画、临时纹身的涂抹器装置500，或者甚至应用于包括自动针和墨水源的自动纹身装置。在一些实施方式中，涂抹器装置500包括电荷输入端505(端口)、具有颜料印刷输出端520的涂抹器510、(可再充电的)电池530、陀螺仪和传感器540以及可移除/可更换的颜料盒550。
在一个实施方式中，涂抹器装置500与智能镜110(图1至图3)分开，智能镜110无线连接到涂抹器装置500并与计算系统(例如，计算系统126)持续通信。涂抹器装置500的特征在于其内的6DOF定位和定向跟踪，其用于估计涂抹器装置500相对于智能镜110的精确定位和定向。这可以通过各种类型的跟踪技术(诸如磁、光、超声等)来实现，其中跟踪站116的基座定位于智能镜110内，与内部IMU组合以增加精度。在一个示例中，涂抹器装置500在其尖端处包含喷嘴，该喷嘴连接到涂抹器装置500内部的各种墨水/颜料盒550。
在一些实施方式中，涂抹器装置500包含其自己的计算系统(例如，计算系统126，图1)，该计算系统与智能镜110无线通信并协调其内存在的传感器和致动器。涂抹器装置500的特征在于围绕涂抹器装置500的圆周的LED阵列，该阵列由计算系统驱动并用于向用户提供视觉反馈。此外，涂抹器装置500还包含位于涂抹器装置500的手柄上的触觉致动器和用于调整通过涂抹器装置500的墨水流的马达，涂抹器装置500又连接到计算系统并由其控制。
图6A至图6B示出了多个对象定位关系的示例。考虑二维(2D)平面上的对象A 605、B 615和C 610。如果B 615相对于A 605的定位是已知的，并且C 610相对于A 605的定位是已知的，则B 615相对于C 610的定位可以使用矢量数学来推导。例如，如果已知对象B 615在A 605右方3个单位和下方1个单位，并且如果已知对象C 610在A 605右方2个单位和下方3个单位，则B 615相对于C 610的定位可以被计算为在C 610右方1个单位和上方2个单位。即使B 615和C 610正相对于A 605不断地随机移动，它们中的每一者的相对定位仍然可以被计算。这种关系可以类似地如图6B所示扩展到3D场景以计算3D对象B 616和C 611之间的相对定位，这在本文中称为相对变换。使用一些额外矢量数学计算，这种关系还可以扩展到计算对象B 616和C 611之间的相对定向。因此，当B 616是用户的面部，C 611是剃刀，并且A606是智能镜110(图1至图3)内的跟踪站116(图1)时，可以由系统100计算相对定位和定向。
图7A至图7D示出了可以应用于一些实施方式的模版(stencil)/覆盖图的示例使用。一些实施方式采用对交互的遮蔽控制。考虑一张纸P 705和切去星形和五边形的模版S710。如果模版S 710被放置在P 705之上并且涂料罐C被用于喷射到其上，则模版S 710允许纸P 705的某些区域被喷涂，同时防止纸P 705的其他区域被喷射。在移除模版S 710后，获得具有明确定义的边界和边缘的清晰绘画720。在一些实施方式中，P 705是用户的面部，S710是由用户选择的胡须样板(template)，并且智能剃刀120代替罐C。
图8示出了根据实施方式的指示各种可选面部样板805的示例智能镜110。在一个示例中，用户决定刮胡须并站在智能镜110的前面。用户接着使用智能镜110来浏览胡须样式的各种样板805并且选择样板810。智能镜110接着启动面部跟踪站116(图1)，面部跟踪站116开始实时连续跟踪用户的面部特征。这允许计算系统113计算用户面部特征的3D定位和定向，并且将它们表示为在显示面板112上运行的图形应用程序中的标记。
图9A示出了根据实施方式的跟踪特征的空间关系的示例。3D标记905、906和907看起来恰好叠加在它们所代表的用户的被跟踪的面部(身体)特征901的真实反射上。例如，对应于用户鼻子的标记907将看起来恰好叠加在用户鼻子在智能镜110上的真实反射901上。这通过将物理相机115正确放置在智能镜110上并且随后进行包括校准、翘曲和图像处理在内的一系列步骤来实现。
图9B示出了根据实施方式的用于基于被跟踪面部特征901的空间关系来表示对象(例如，面部)的形状的构造3D网格910的示例。这些3D标记之间的空间关系与用户的被跟踪面部特征901之间的对应空间关系相同。这些3D标记接着可以用于重构近似表示用户面部的形状的3D网格910。这种粗糙3D网格充当3D掩模，其看起来恰好叠加在用户头部的真实反射上，与用户的当前头部定位和定向相匹配。
图10示出了根据实施方式的用于映射纹理的3D掩模的示例。像任何其他3D网格1020一样，3D掩模1010可以用于将纹理1030映射到掩模1010，从而产生掩模1031。图形应用程序在3D掩模上渲染不同效果，并且对用户来说，其在他们的反射中看起来就好像那个效果实际上正发生在他们的面部上。这些效果甚至可能只是某些区域中的透明度。在一个示例中，具有纹理的胡须1040被映射到网格1041。
图11示出了根据一些实施方式的叠加在面部的反射上的热图1140的示例。智能镜110(图1至图3)使用所选的胡须样板1110作为纹理，并且接着将所选的胡须样式叠加到3D掩模1120上(使用图像信息1115)并继而以适当方式叠加在用户面部的反射上。这将允许观看者预览样式如何适合他们。用户接着在预览之后确认样式。智能镜110绘制叠加在用户面部的反射上的热图1140。热图1140用于向用户视觉传达细节的目的，细节诸如为：剃刀将无法修剪的区域1130；剃刀将修剪的区域1130；以及修剪的厚度或设置。在一些实施方式中，热图1140是基于用户选择的样板1110。每个样板都与热图相关联，该热图详细说明了每个区域中应当有多少厚度。
在一些实施方式中，热图1140使用各种变量(诸如颜色、阴影和图案等)来表达。例如，绿色可以表示智能剃刀120(图1、图2和图4)将具有较长刀片长度以便留下一致胡须厚度的区域。在橙色区域中，智能剃刀120将一直修剪到零厚度。这向用户保证将覆盖正确区域。
在一些实施方式中，用户伸出手并从支架上抓住智能剃刀120。用户接着打开智能剃刀120并将其带到他们的面前。智能剃刀120上的6DOF跟踪连续地将其3D定位和定向与智能镜120通信，并且经由智能剃刀120的表面上的传感器提供关于其是否与用户面部物理接触的额外细节。
图12示出了根据一些实施方式的3D定位和定向跟踪的示例。参考相对于图6A至图6B描述的“相对变换”，计算系统113(图1)计算智能剃刀120相对于用户面部的相对定位和定向。使用跟踪站116和跟踪模块127，面部跟踪提供了用户面部相对于智能镜110(图1至图3)的3D定位和定向。智能剃刀120上的6DOF跟踪模块127提供智能剃刀120相对于智能镜110的3D定位和定向。因此，计算系统113可以估计智能剃刀120相对于用户面部的3D定位和定向。也就是说，智能镜110可以确定智能剃刀120在下巴1203旁边位于其上方某个高度处(即，下巴1203的定位(5,10,10)相对于智能剃刀120的从定位1201(20,10,10)重新确定位置的定位1202(10,10,10))。
图13示出了根据一些实施方式的用于胡须厚度的纹素值(texel value)的示例使用。纹理由纹理元素或纹素的矩阵(行和列)组成。每个纹素包含单独的颜色值(范围为0到255的红色、绿色和蓝色值)，其代表观察到的图像的微小部分。在一些使用案例(诸如科学可视化)中，这些纹素不仅用于存储那个区域处的颜色，还用于存储与所述区域相对应的其他物理特征，诸如：压力、地震震级、人口密度等。在一些实施方式中，选定面部毛发样式样板使用纹素值作为存储在使用智能剃刀120(图1、图2、图4和图12)修剪之后在那个区域中留下的胡须厚度的方式。例如，纹素的胡须值(0)1301可以意指干净的剃刮，胡须值(100)可以意指2英寸的厚度，胡须值(200)可以意指6英寸的厚度，等等。如图所示，可以容易地看到胡须(0)是干净的面部表面，胡须(3)1302在胡须的边缘处，并且胡须(11)1303又比胡须(3)1302厚。
返回参考上面参照图7A至图7D描述的“对交互的遮蔽控制”，一些实施方式使用该想法来计算智能剃刀120的设置。所选择的胡须样板充当模版。在模版外部的区域被修剪到零高度。对于在模版区域内的区域，获取那个位置处的纹素值。基于这个值，调整智能剃刀120的刀片、梳子或刷子的高度。例如，获取的值为100的纹素值自动将刀片、梳子或刷子设置修改为2mm。
图14A至14C示出了根据一些实施方式的智能剃刀120在面部上的随机移动、智能镜110(图1至图3以及图8至图9B)与智能剃刀120之间的无线通信1420以及所需效果1430的实现的示例。作为无线通信1420的结果，用户可以在他的整个面部上方随意移动智能剃刀120，并且仍然实现所需面部毛发样式。智能镜110与智能剃刀120一致地确定智能剃刀120相对于用户面部位于哪里以及刀片、梳子或刷子设置在那个位置处需要是什么，并且立即实时切换到那个设置。确定剃净线1410沿着面部存在于哪里决定了何时限制智能剃刀120的刀片、梳子或刷子长度。
在一些实施方式中，除了手动移动智能剃刀120之外，用户不必积极参与过程，从而在很大程度上减少了用户的认知负荷，允许他们专注于其他活动，诸如在剃刮的同时在智能镜110上观看电视。此外，因为计算系统113(图1)和计算系统126以比人类快得多的速度执行计算，所以系统100将允许以快得多的速度完成剃刮。应当注意，在其他实施方式中，智能剃刀120可以使用固定的臂和保持器来固定，其中用户简单地移动他们的头部来代替移动智能剃刀120。在又一实施方式中，系统100可以使用与智能剃刀120连接的可移动机器人臂来移动机器人臂，这对于手臂受伤、肢体缺失、瘫痪等来说是方便的。
图15A至图15D示出了根据一些实施方式的使用智能剃刀120上的反馈通信的高级修理的示例。高级面部毛发样式的典型特征是轮廓鲜明，其中曲线精心制作。为了实现这种完成水平，重要的是用户不仅要将智能剃刀120保持在正确的定位处，而且要保持在精确的定向处，尤其是将允许制作这些曲线的旋转角度。系统100(图1)计算这个所需角度，将其与用户正握持智能剃刀120的当前角度进行比较，计算偏移量，并且将(例如，来自智能镜110、来自智能电话、平板电脑或可佩戴电子装置等)的信息中继到智能剃刀120。智能剃刀120内的计算系统126接收消息，对其进行处理，并且使用智能剃刀120上的触觉模块122激活触觉反馈。触觉反馈开始以时相方式并且用不同类型的信号振动，以向用户提供关于他们需要旋转智能剃刀120的方向和定向的反馈(例如，在1540处)。触觉反馈一直持续到用户达到所需定向和定位。一旦智能剃刀120处于正确角度，振动或嗡嗡声便停止并且智能剃刀120开始以适合于面部1510上的那个位置的设置进行修剪。通过使用围绕智能剃刀120的多个触觉致动器来实现触觉反馈，该触觉反馈产生虚拟力以提供关于定向和定位的信息，并且以时相方式且还通过产生形状(正方形、正弦形、三角形)、占空比和功率的组合的信号激活每个触觉致动器。
在一些实施方式中，首先(例如，通过电源开关、基于移动、基于语音命令等)激活智能剃刀120，并且智能剃刀120沿方向1520或其他方向移动以开始过程。除了触觉反馈，在一些实施方式中，LED可以点亮红色1530，其指示智能剃刀120的刀片、梳子或刷子的不正确方向或角度。触觉振动1540发信号通知用户沿箭头1525的方向旋转智能剃刀120。一旦智能剃刀120被正确定位，触觉振动便停止(如1545所示)并且LED可以点亮绿色1535。
图16示出了根据一些实施方式的由智能镜110提供的图形信息1640的示例。除了上述触觉反馈之外，在一些实施方式中，还以两种方式提供视觉反馈：经由智能剃刀120上的LED阵列1630，其中时相闪烁LED的方向向用户告知待旋转的方向；以及经由在镜面反射上提供的实时可视化(例如，可以包括文本、箭头图形、线条等的图形信息1640)。智能镜110在屏幕空间中提供图形用户界面。此外，图形信息1640还叠加在对应于智能剃刀120的区域上，其经由其6DOF硬件来跟踪。智能剃刀120经过的路径可以是完成质量的重要指标。
在一个实施方式中，基于由跟踪站116和跟踪模块127提供的跟踪数据以及图6A至图6B、图9A和图9B所示的“相对变换”，系统100可以计算智能剃刀120的尖端在空间中的3D定位并且确定其是否与用户的面部接触。智能剃刀120的接近传感器也可以帮助这种估计。考虑智能剃刀120的宽度及其容差，可以估计智能剃刀120在任何给定时间能够切割的宽度。例如，在智能剃刀120沿着平坦表面沿直线移动时，还可以通过将智能剃刀120的宽度和覆盖的距离相乘来计算被剃刮的矩形区域的表面积。在这个示例实施方式中，场景较复杂，因为用户的面部是3D轮廓(非平坦的)并且智能剃刀120所经过的路径不是直线。然而，相同原理可以通过计算智能剃刀120沿着这个3D表面经过的曲线以及通过对智能剃刀120沿着弧线的宽度求积分来延伸，以计算覆盖的表面积。
在一些实施方式中，创建与热图(例如，热图1140，图11)的纹理大小相同的临时空白纹理(称为会话纹理)，其也以相同方式映射在重构的3D掩模上。在初始化时，所有会话纹理都被标记有高值-尚未覆盖表面积。在剃刮开始并且智能剃刀120开始移动时，计算智能剃刀120所覆盖的表面积并且用智能剃刀120所使用的高度标记映射到已经被覆盖的面部上的那些位置的临时纹理的对应纹素。在任何时间点处，系统100(图1)可以将这个会话纹理与热图纹理进行比较以计算差异——需要修剪的区域是否从未被访问过。这又可以帮助识别用户可能遗漏的点并且引起他们的注意。
图17示出了根据一些实施方式的由智能镜110提供的文本和反射信息的示例。系统100(图1)为用户提供在整个面部上方随机移动智能剃刀120并且获得所需外观，而不管他们采取什么路径。通过记录用户所采取的路径和在每个行程处覆盖的面积(通过跟踪站116、跟踪模块128以及计算系统116和126)，系统100检测用户面部上可能遗漏的区域。系统100接着可以使用叠加在用户反射上的可视化来突出显示这些遗漏点1740并且使得用户能够校正它们。
图18示出了根据一些实施方式的映射到由智能镜110提供的面部对象(例如，用户的面部)的样板1810覆盖层的示例。在一些实施方式中，用户可以选择样板1810并且在智能镜110中将样板1810叠加在其反射上，之后着手进行实际剃刮。智能镜110可以提供消息1840，在这个示例中，其指示用户或许应当尝试样板1810中所示的样式。在一些实施方式中，智能镜110可以基于用户面部的形状并将该形状与针对特定脸型建议的许多不同样式的样板进行比较来建议样板1810。在其他实施方式中，所建议的样板可以来自社交媒体、名人、朋友建议等的流行面部毛发样式。
在一些实施方式中，智能镜110可以跟踪用户胡须的生长。基于生长量，系统100(图1)可以向用户告知(例如，在智能镜110上、通过语音等)选定样板还不起作用(例如，当前胡须生长不足)以及用户需要等待多长时间的估计。系统100还可以基于用户的当前胡须生长来推荐相当的样板。
用户可以采取许多路径来实现所需外观。虽然最终输出是令人满意的，但某些路径能够比其他路径更快、更干净地完成。这对于高级修理场景尤其重要。在一些实施方式中，系统100提供沿着最合乎需要的路径引导用户的选项。在智能镜110中叠加在用户面部反射上的可视化提供了关于用户需要以逐步方式采取的最佳路径的反馈。
在一些实施方式中，基于用户使用相机115的视觉捕获，智能镜110可以辨识用户的伤残(例如，戴脚轮、戴夹板、缺少手臂等)，并且系统100可以将最佳剃刮路径改变为最适合用户特殊条件的路径。在一些实施方式中，基于用户如何握持智能剃刀120，系统100可以确定用户是左撇子还是右撇子(或者更喜欢用一只手或另一只手握持智能剃刀120)，并且选择用户将最容易应用的对应样板。
实现外观是复杂的，但是随着时间的推移保持这个外观也是问题。在一些实施方式中，系统100可以几乎不费力地帮助保持外观。用户还可以修改样板以将它们扩展到定制设计，记录其剃刮会话，并且在以后播放以重复相同的外观。
同样的技术可以用于重复来自外部从业者的服务。当专业人员(诸如理发师)使用系统100向用户提供定制外观时，系统100可以记录理发师的动作并将其保存到存储器、媒体盘、基于云的系统等。以后，用户可以重放理发师的记录，让系统100引导他们通过相同的动作来重复相同的外观。在一些实施方式中，可以基于一组人的同步外貌来生成代表性样板。在一个示例中，系统100识别共同的特点(例如，脸型、生长速率、生长量、偏好等)用于构建样板。代表性样板接着可以应用于用户，使得用户获得类似于该组的面部外观。
在一些实施方式中，可以由系统100生成或获得表示特定图案(例如，在运动员、演艺者等的头部上的字词、数字等)的特定样板。
在一些实施方式中，系统100提供运行时样板调整。在一个示例中，用户可以使用手/手指等触摸其面部的不同部分以指示用户想要对样板做出某些改变(例如，在触摸屏、镜110等上拖动)。在另一个示例中，用户还可以使用语音命令来实现样板调整。在另一个实施方式中，智能镜可能具有触摸或悬停输入，用户可以使用该输入通过触摸或悬停来对样板做出调整。
在一些实施方式中，所选择的样板很大程度上定义了将在用户面部上最终得到的样式。可以创建在线生态系统，用户可以浏览并购买由专业理发师或面部样式艺术家出售的高级样板。用户还可以聘请专业人员来设计特别适合该用户的定制外观。
在一些实施方式中，系统100可以学习用户的习惯。细节，诸如用户偏好避免和将来应用通用样板的哪些方面，以及其他方面，诸如速度和定位。例如，当用户重复跳过样板中详述的尖锐侧边发辫时，系统100可以学习到用户偏好跳过它并相应地改编将来会话；但是以渐进方式向用户提供关于这个假设的反馈。
在一些实施方式中，采用涂抹器装置500的系统100可以用于面部绘画和化妆场景。代替智能剃刀120(图1、图2、图4和图12)，用户将使用上述涂抹器装置500，并且使用下载的样板将其面部涂成不同的效果、角色等。
在替代实施方式中，系统100可以用于使用纹身涂抹器装置来创建纹身。系统100中的相机115连同图像处理算法或其他种类的身体跟踪技术可以用于跟踪用户的整个身体。包含智能剃刀110或涂抹器装置500中的类似部件的智能纹身枪接着可以用于在用户身体上渲染高级纹身。
图19示出了根据一些实施方式的自校正机器人剃刀装置1900的示例。在一些实施方式中，自校正机器人剃刀装置1900的部件与智能剃刀100(图1)的部件相似或相同。剃刀头C 1930自动地以尽可能最佳的角度将其自身对准用户面部的表面，而不管用户如何握持自校正机器人剃刀装置1900。自校正机器人剃刀装置1900包括多个机械部件，其在自校正机器人剃刀装置1900的剃刀头1930与基座A 1910之间实现3轴旋转(俯仰、偏航、滚动)。在一些实施方式中，用户在基座A 1910处握持自校正机器人剃刀装置1900。单轴旋转部件B1920允许偏航旋转1925。剃刀头C 1930是双轴头，其允许俯仰1936和滚动1935同时移动。
图20示出了根据一些实施方式的另一自校正机器人剃刀装置2000的示例。在一些实施方式中，自校正机器人剃刀装置2000的部件与智能剃刀100(图1)的部件相似或相同。剃刀头C 2030自动地以尽可能最佳的角度将其自身对准用户面部的表面，而不管用户如何握持自校正机器人剃刀装置2000。自校正机器人剃刀装置2000包括多个机械部件，其在自校正机器人剃刀装置2000的剃刀头2030与基座A 1910之间实现3轴旋转(俯仰、偏航、滚动)。在一些实施方式中，用户在基座A 1910处握持自校正机器人剃刀装置2000。单轴旋转部件B 2020允许偏航旋转2031。剃刀头C 2030是双轴头，其允许剃刀头C 2030与其刀片之间的俯仰2033和滚动2032同时移动。
在一些实施方式中，在任何时间点处，系统100(图1)可以通过计算机视觉技术来估计用户面部的绝对定位和定向。类似地，还已经确定，自校正机器人剃刀装置1900和2000的基座1910可以通过几个跟踪机构以6DOF跟踪。这两者的组合允许系统100计算失配，并且提供触觉反馈以促使用户将定位和定向调整到正确姿势，从而减少偏差。
在一些实施方式中，机器人剃刀头C 1930/2030可以实行上述的一些校正，使得用户不必(完全或至少部分地)依赖于角度。系统100知道剃刀头C 1930/2030的刀片的理想最终定位和定向以获得最佳剃刮效果。当用户以非最佳姿势握持自校正机器人剃刀装置1900/2000时，系统100估计偏差并使用运动学来计算自校正机器人剃刀装置1900/2000的机械部件应当执行的反向旋转/平移以便减少这个偏差。
在一些实施方式中，当用户正以机器人剃刀头C 1930/2030不能完全校正的极其奇怪姿势握持自校正机器人剃刀装置1900/2000时，它尽其所能并且接着使用触觉反馈来促使用户做出姿势调整。这允许最小化用户必须执行的调整。例如，如果用户偏离45度并且机器人剃刀头C 1930/2030可以通过反向旋转30度来进行校正，则用户只需要再旋转15度(相比之下，如果没有可移动机器人剃刀头C 1930/2030，则旋转整个45度)来进行校正，这减少了用户的工作量。
在一些实施方式中，使用容纳在自校正机器人剃刀装置1900/2000内的传感技术(定位、旋转、压力等)，系统100跟踪并存储可以随时间分析的数据以向用户提供有用的信息。例如，当用户保持被称为法国胡须的样式时，他们能够在减少的时间量(例如，5至10分钟)内完成一天的剃刮任务。或者，当用户保持较复杂的山羊胡样式时，用户可能平均每天花17分钟进行剃刮。像这样的信息可以帮助忙碌的专业人士通过知道使用自校正机器人剃刀装置1900/2000进行剃刮所花费的平均实际时间来更好地规划他们的生活方式。在一些实施方式中，上述时间信息还可以用于确定是否有足够的电池电量来完成所需的剃刮操作。系统100可以基于机器人剃刀装置1900/2000(或智能剃刀120，图1)中剩余的电荷量来确定是否需要对机器人剃刀装置1900/2000(或智能剃刀120，图1)充电或改变为需要较少时间来完成的样板。
除了来自自校正机器人剃刀装置1900/2000的数据之外，系统100还可以整合来自用户“生活”中的其他连接装置(诸如其智能手表、数字秤、智能水瓶、天气信息、交通信息等)的信息。在一些实施方式中，收集的数据可以包括但不限于：心率、呼吸率、应力水平、水消耗、睡眠模式等。这提供了交叉关联机会以观察图案和相互依赖性。例如，当用户在夏天每天在户外跑步并睡足8小时时，与每天仅在室内跑步机上行走并睡6小时相比，他们可能会更快地长胡须。这种关联可以提供能够让用户规划或工作以达到其目标的洞察力。此外，关于面部毛发生长的当前厚度、长度和面积的信息可以用于确定面部毛发样式的合适样板、在用户可以选择面部毛发样式的特定样板之前的时间信息(例如，用户将其面部毛发生长到可接受的长度、面积、厚度将要花的估计时间)。这辅助用户进行潜在选择。另外，系统100可以考虑用户的样式偏好、喜好、流行样式、喜爱的演员、体育人物、朋友等来向用户建议面部毛发样式。系统100还可以使用诸如天气预报等信息来建议更合适的毛发样式。类似地，系统100可以连接到用户的日历应用程序以识别即将到来的繁重体力活动(诸如野营旅行、马拉松赛跑等)来建议有助于这种追求的面部毛发样式。系统100还可以使用计算机视觉和来自其他装置(例如，智能电话、可佩戴装置、平板装置等)的数据来估计用户的当前情绪并相应地调整推荐。系统100还可以提供快速购物体验，诸如识别即将到来的剃刀刀片断货日期并显示供用户快速重新订购的选项。
在一些实施方式中，系统100可以将用户接收的关注量(例如，照片、评论等上的“喜欢”)交叉关联到他们在给定时间处保持的面部毛发样式，以提供诸如人们对什么样式最有响应的洞察力并将其进行排名。用户接着可以在某个时间点处为其利益相应地使用这个信息。
图21示出了根据一些实施方式的又一自校正机器人剃刀装置2100的示例。自校正机器人剃刀装置2100对前述实施方式添加了平移。平移装置B 2120可以在x 2121和y 2122方向上移位，并且可移动机器人剃刀头C 2130可以在z 2123方向上移位。
图22是示出信息处理系统的示例性高级框图，该信息处理系统包括可用于实施所公开的实施方式的计算机系统2200。计算机系统2200可以并入系统100(图1)中位于智能镜110、智能剃刀120、自校正机器人剃刀装置1900、2000和2100中。计算机系统2200包括一个或多个处理器2201，并且还可以包括电子显示装置2202(用于显示视频、图形、文本和其他数据)、主存储器2203(例如，随机存取存储器(RAM))、存储装置2204(例如，硬盘驱动器)、可移除存储装置2205(例如，可移除存储驱动器、可移除存储器装置、磁带驱动器、光盘驱动器、其中存储有计算机软件和/或数据的计算机可读介质)、用户接口装置2206(例如，键盘、触摸屏、电容性表面触摸元件等)和通信接口2207(例如，调制解调器、网络接口(诸如以太网卡)、通信端口或PCMCIA插槽和卡)。通信接口2207允许软件和数据在计算机系统与外部装置之间传送。系统2200还包括通信基础设施2208(例如，通信总线、交叉条或网络)，前述装置/处理器2201至2207连接到通信基础设施2208。
在一个实施方式中，主存储器2203、存储装置2204和可移除存储装置2205各自或以任何组合可以存储用于上述实施方式的指令，该指令可以由一个或多个处理器2201执行。
经由通信接口2207传送的信息可以呈信号的形式，诸如电子、电磁、光学或其他信号，其能够由通信接口2207经由携载信号的通信链路接收，该通信链路可以使用电线或电缆、光纤、电话线、蜂窝电话链路、射频(RF)链路和/或其他通信信道来实施。代表本文的框图和/或流程图的计算机程序指令可以被加载到计算机、可编程数据处理设备或处理装置上以致使在其上执行一系列操作，从而产生计算机实施过程。在一些实施方式中，用于系统100的处理指令可以作为程序指令存储在存储器2203、存储装置2204和可移除存储装置2205上以供处理器2201执行。
图23示出了根据一些实施方式的用于使用混合现实进行对象修改的过程2300的框图。在框2310中，通过第一电子装置(例如，图1中的智能镜110、智能电话、计算平板电脑、智能相机、可穿戴计算装置等)接收用于映射到用于对象(例如，用户的面部)的三维掩模的叠加热图的第一信息(例如，定位、定向、面部毛发信息等)。在框2320中，针对检测第二电子装置(例如，智能剃刀120、涂抹器装置500、智能纹身枪等)与对象的接触接收第二信息(例如，压力信息、接近信息、电容性触摸信息等)。在框2330中，基于确定第二电子装置相对于对象和叠加热图的定位，向第二电子装置提供通信(例如，信号、反馈、消息等)。
在一些实施方式中，过程2300还可以包括向定位和定向跟踪单元(例如，跟踪站116)提供通信以用于跟踪第二电子装置的六自由度(6DOF)定位和定向。通信接着可以产生触觉指示、视觉指示、声音或其组合(在第一电子装置、第二电子装置或其组合上)。
在一些实施方式中，过程2300还可以包括针对对象信息从第二电子装置实时接收通信，其中对象信息包括：所跟踪的6DOF定位和定向。第一电子装置可以以具有镜射功能的至少一种状态操作以反映视觉指示。
过程2300可以额外包括由第一电子装置接收样板选择(用于各种面部毛发样式、面部绘画样式等)，以基于选定的样板控制第二电子装置。可以将热图叠加在对象的反射图像上以识别选定的样板与对象的反射图像之间的差异。
在一些实施方式中，过程2300可以包括向第二电子装置发送通信以致使第二电子装置估计跟踪偏差，并使用运动学来确定第二电子装置的致动器和马达的反向移动以减少偏差。基于对象的特征，可以构建对象的三维掩模以将选定样板映射到对象和对象的特征。
在一些实施方式中，过程2300可以包括使用图像捕获装置(例如，相机115)跟踪对象的特征。在过程2300中提供用于第二电子装置的操作路径以使用选定样板达到所需效果。所述差异可以由第一装置基于所跟踪的特征来显示。
在一些实施方式中，过程2300可以包括当第二电子装置基于选定样板旋转到所需定向和定位时停止通信。第一电子装置可以致使第二电子装置的机器人元件(例如，旋转部件B 1920和/或剃刀头C 1930(图19A至图19D)、旋转部件B 2020和/或剃刀头C 2030(图20A至图20C)、平移装置B 2120和/或机器人剃刀头C 2130(图21A至图21C))基于对象的相对定位和热图来调整定位和定向。在过程2300中，对象的特征包括面部信息。来自与第一电子装置连接的其他装置(例如，智能手表、数字秤、智能水瓶、天气信息、交通信息等)的整合信息提供收集的健康相关信息(例如，心率、呼吸率、应力水平、水消耗、食物消耗、锻炼信息、睡眠模式等)进行交叉关联，以观察图案和相互依赖性以用于规划样板选择并接收用于样板选择的通信。样板信息可以在社交媒体(平台)上共享。选定的样板可修改以供存储为新样板。机器人元件可以是：单色或多色墨水调配装置(例如，涂抹器装置500)，或者联接到由致动器控制的梳理装置的修剪器装置。
图24示出了根据一些实施方式的用于使用通信进行对象修改的过程2400的框图。在框2410中，针对映射到用于对象(例如，人脸、面部毛发练习人体模型等)的三维掩模的叠加热图(例如，热图1140，图11)(例如，从服务器、云计算环境、文件、智能电子装置等)接收第一信息(例如，信息424，图4)。在框2420中，基于对电子装置(例如，智能剃刀120、涂抹器500等)与对象的接触的检测来接收(例如，从接触模块128，图1)第二信息(例如，基于接触传感器、接近传感器、压力传感器等中的一者或多者，何时发生智能剃刀120(图1)与对象表面的接触)。在框2430中，基于确定第二电子装置相对于对象和叠加热图的定位来生成用于电子装置的通信。在框2440中，跟踪电子装置的6DOF定位和定向(例如，使用跟踪站116(图1)、跟踪模块127或其组合)。在框2450中，(例如，经由服务器、智能镜110(图1)、电子装置等)进行触觉指示、视觉指示、声音或其组合中的至少一者。在框2460中，接收样板(例如，用于面部毛发样式、用于对象绘画、用于纹身样式等)选择以基于选定样板引起对第二电子装置(例如，智能镜110(图1))的控制。
在一些实施方式中，过程2400还可以包括估计跟踪偏差(例如，来自跟踪站116(图1))并且使用运动学来引起电子装置的致动器和马达的反向移动以减少偏差。基于对象的特征，构建对象的三维掩模以将选定样板映射到对象和对象的特征(例如，通过计算系统113(图1))。
在一些实施方式中，过程2400还可以包括为电子装置提供操作路径以使用选定样板达到所需效果。可以基于所跟踪的特征来显示差异。可以使得电子装置的机器人元件(例如，智能剃刀1900(图19A至图19D)、2000(图20A至图20C)、2100(图21A至图21C)等)基于对象的相对定位和热图来调整定位和定向。
已经参考方法、设备(系统)和计算机程序产品的流程图和/或框图描述了实施方式。此类图示/图表的每个框或其组合可以由计算机程序指令来实施。计算机程序指令在提供给处理器时产生机器，使得经由处理器执行的指令创建用于实施流程图和/或框图中指定的功能/操作的装置。流程图/框图中的每个框可以代表硬件和/或软件处理器/过程或逻辑。在替代实施方式中，框中标注的功能可以不按图中标注的次序、同时等发生。
术语“计算机程序介质”、“计算机可用介质”、“计算机可读介质”和“计算机程序产品”通常用来指代诸如主存储器、次存储器、可移除存储驱动器、安装在硬盘驱动器中的硬盘以及信号等介质。这些计算机程序产品是用于向计算机系统提供软件的装置。计算机可读介质允许计算机系统从计算机可读介质读取数据、指令、消息或消息包以及其他计算机可读信息。例如，计算机可读介质可以包括非易失性存储器，诸如软盘、ROM、闪存、磁盘驱动存储器、CD-ROM和其他永久存储装置。例如，其对于在计算机系统之间传输诸如数据和计算机指令等信息是有用的。计算机程序指令可以存储在计算机可读介质中，该计算机可读介质可以指导计算机、其他可编程数据处理设备或其他装置以特定方式运行，使得存储在计算机可读介质中的指令产生包括实施流程图和/或框图的一个或多个框中指定的功能/动作的指令的制品。
如本领域的技术人员将了解，实施方式的各方面可以体现为系统、方法或计算机程序产品。因此，实施方式的各方面可以采取完全硬件实施方式、完全软件实施方式(包括固件、驻留软件、微代码等)或组合软件和硬件方面的实施方式的形式，其全部可以在本文中统称为“电路”、“处理器”或“系统”。此外，实施方式的各方面可以采取以一个或多个计算机可读介质体现的计算机程序产品的形式，其中计算机可读介质上体现有计算机可读程序代码。
可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读存储介质。计算机可读存储介质可以是，例如但不限于电子、磁性、光学、电磁、红外或半导体系统、设备或装置，或者前述各项的任何合适组合。计算机可读存储介质的较具体示例(非穷举列表)将包括以下各项：具有一条或多条电线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式压缩光盘只读存储器(CD-ROM)、光学存储装置、磁性存储装置或前述各项的任何合适组合。在本文档的上下文中，计算机可读存储介质可以是能够包含或存储程序以供指令执行系统、设备或装置使用或与其结合使用的任何有形介质。
用于实行一个或多个实施方式的各方面的操作的计算机程序代码可以用一种或多种编程语言的任何组合来编写，编程语言包括面向对象的编程语言(诸如Java、Smalltalk、C++等)以及常规程序编程语言(诸如“C”编程语言或类似编程语言)。程序代码可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立的软件包执行，部分在用户的计算机上以及部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种场景中，远程计算机可以通过任何类型的网络连接到用户的计算机，其中网络包括局域网(LAN)或广域网(WAN)，或者(例如，使用因特网服务提供商通过因特网)可以连接到外部计算机。
上文参考方法、设备(系统)和计算机程序产品的流程图和/或框图描述了一个或多个实施方式的各方面。应当理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以通过计算机程序指令来实施。这些计算机程序指令可以提供给专用计算机或其他可编程数据处理设备以产生机器，使得经由计算机或其他可编程数据处理设备的处理器执行的指令创建用于实施流程图和/或框图的一个或多个框中指定的功能/动作的装置。
这些计算机程序指令还可以存储在计算机可读介质中，该计算机可读介质可以指导计算机、其他可编程数据处理设备或其他装置以特定方式运行，使得存储在计算机可读介质中的指令产生包括实施流程图和/或框图的一个或多个框中指定的功能/动作的指令的制品。
计算机程序指令还可以加载到计算机、其他可编程数据处理设备或其他装置上以致使在计算机、其他可编程设备或其他装置上执行一系列操作步骤，从而产生计算机实施过程，使得在计算机或其他可编程设备上执行的指令提供用于实施流程图和/或框图的一个或多个框中指定的功能/动作的过程。
附图中的流程图和框图示出了根据各种实施方式的系统、方法和计算机程序产品的可能实施方式的架构、功能性和操作。在这点上，流程图或框图中的每个框可以代表过程、片段或指令部分，其包括用于实施指定逻辑功能的一个或多个可执行指令。在一些替代实施方式中，框中标注的功能可以不按图中标注的次序发生。例如，依据所涉及的功能性，连续示出的两个框实际上可以大致同时执行，或者这些框有时可以按相反次序执行。还将注意到，框图和/或流程图的每个框以及框图和/或流程图中的框的组合可以由执行指定功能或动作或者实行专用硬件和计算机指令的组合的专用基于硬件的系统来实施。
除非明确说明，否则权利要求书中对元件的单数参考不旨在意指“一个且仅一个”，而是意指“一个或多个”。本领域的普通技术人员当前已知或以后将会知道的上述示例性实施方式的元件的所有结构和功能等同均旨在由本权利要求涵盖。本文中的权利要求要素都不应根据35U.S.C第112章第6段的规定进行解释，除非所述要素使用短语“用于……的装置”或“用于……的步骤”明确陈述。
本文使用的术语仅仅是为了描述特定实施方式，而不试图限制本发明。如本文所使用，单数形式旨在包括复数形式，除非上下文另有明确指示。还应当理解，当在本说明书中使用时，术语“包括”和/或“包含”指定所陈述的特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、部件和/或其群组的存在或添加。
所附权利要求书中的对应结构、材料、动作以及所有装置或步骤加功能元件的等同旨在包括用于与如具体要求保护的其他要求保护的元件组合执行功能的任何结构、材料或动作。已经出于说明和描述的目的给出了实施方式的描述，但是不试图为详尽的或限于呈所公开形式的实施方式。在不脱离本发明的范围和精神的情况下，本领域的普通技术人员将领会许多修改和变化。
尽管已经参照其某些版本描述了实施方式；然而，其他版本也是可能的。因此，所附权利要求书的精神和范围不应限于本文所包含的优选版本的描述。

Claims (15)

1.一种智能镜装置，包括：
相机，配置为捕获对象的至少一个图像；
显示装置，配置为提供与所述对象相关的信息；
存储器，配置为存储指令；以及
处理器，与所述相机、所述显示装置和所述存储器联接，其中所述处理器配置为执行所述指令以：
生成指示所述对象的三维掩模的每个区域中胡须厚度的胡须修剪信息，所述对象的所述三维掩模基于由所述相机捕获的所述对象的所述至少一个图像而生成；
从用于修剪胡须的电子装置接收定位信息；以及
基于根据所述定位信息确定的所述电子装置相对于所述对象的定位、用于映射到所述对象的所述三维掩模的叠加热图和所述胡须修剪信息，向所述电子装置传输用于控制所述电子装置的信号。
2.根据权利要求1所述的智能镜装置，其中：
所述信号被提供到定位和定向跟踪单元，用于跟踪所述电子装置的六自由度定位和定向；以及
所述处理器配置为通过所述信号控制所述电子装置执行触觉指示、视觉指示、声音或其组合中的至少一者。
3.根据权利要求2所述的智能镜装置，其中：
所述处理器还配置为执行所述指令以实时从所述电子装置接收用于对象信息的通信，所述对象信息包括：所跟踪的六自由度定位和定向；以及
所述智能镜装置以具有镜射功能的至少一种状态操作以反射所述视觉指示。
4.根据权利要求3所述的智能镜装置，其中：
所述处理器还配置为执行所述指令以：
接收样板选择、基于选择的样板来控制所述电子装置、并且将所述热图叠加在所述对象的反射图像上以用于识别所述选择的样板与所述对象的所述反射图像之间的差异，
其中，通过将所述选择的样板叠加至所述对象的所述三维掩模来生成所述胡须修剪信息。
5.根据权利要求4所述的智能镜装置，其中：
所述处理器通过所述信号控制所述电子装置估计跟踪偏差，并且使用运动学来确定所述电子装置的致动器和马达的反向移动以减少所述偏差；以及
所述处理器还配置为执行所述指令以使用所述对象的特征来构建所述对象的所述三维掩模，以将所述选择的样板映射到所述对象和所述对象的特征。
6.根据权利要求5所述的智能镜装置，其中：
所述智能镜装置联接到用于跟踪所述对象的特征的图像捕获装置；以及
所述处理器还配置为执行所述指令以提供用于所述电子装置的操作路径以使用所述选择的样板达到所需效果，并且通过所述智能镜装置基于所跟踪的特征来显示所述差异。
7.根据权利要求4所述的智能镜装置，其中：
当所述电子装置基于所述选择的样板旋转到所需定向和定位时，所述处理器配置为停止向所述电子装置传输所述信号；以及
所述处理器还配置为控制所述电子装置的机器人元件基于所述对象和所述热图的相对定位来调整定位和定向。
8.根据权利要求5所述的智能镜装置，其中：
所述对象的所述特征包括面部信息；以及
来自与所述智能镜装置连接的其他装置的整合信息提供用于交叉关联的收集的健康相关信息，以观察图案和相互依赖性以用于规划样板选择并接收用于样板选择的通信。
9.根据权利要求4所述的智能镜装置，其中：
样板信息能够在社交媒体上共享；以及
所述选择的样板能够被修改以存储为新样板。
10.根据权利要求7所述的智能镜装置，其中所述机器人元件包括以下各项之一：单色或多色墨水调配装置，或者联接到由致动器控制的梳理装置的修剪器装置。
11.一种智能镜装置操作方法，包括：
所述智能镜装置生成指示对象的三维掩模的每个区域中胡须厚度的胡须修剪信息，所述对象的所述三维掩模基于由所述智能镜装置的相机捕获的所述对象的至少一个图像而生成；
所述智能镜装置接收定位信息；以及
所述智能镜装置基于根据所述定位信息确定的用于修剪胡须的电子装置相对于所述对象的定位、用于映射到所述对象的所述三维掩模的叠加热图和所述胡须修剪信息，向所述电子装置传输用于控制所述电子装置的信号。
12.根据权利要求11所述的方法，其中：
所述信号被提供到定位和定向跟踪单元，用于跟踪所述电子装置的六自由度定位和定向；以及
所述电子装置基于所述信号而执行触觉指示、视觉指示、声音或其组合中的至少一者。
13.根据权利要求12所述的方法，还包括：
所述智能镜装置实时从所述电子装置接收用于对象信息的通信，所述对象信息包括：所跟踪的六自由度定位和定向；以及
所述智能镜装置以具有镜射功能的至少一种状态操作以反射所述视觉指示。
14.根据权利要求13所述的方法，还包括：
所述智能镜装置接收样板选择以基于选择的样板来控制所述电子装置；以及
所述智能镜装置将所述热图叠加在所述对象的反射图像上以识别所述选择的样板与所述对象的所述反射图像之间的差异，
其中，通过将所述选择的样板叠加至所述对象的所述三维掩模来生成所述胡须修剪信息。
15.一种包括程序的非暂时性处理器可读介质，所述程序在由智能镜装置的处理器执行时使得所述智能镜执行如权利要求11至14中任一项所述的方法。
CN201880071377.2A 2017-12-21 2018-12-21 用于使用混合现实进行对象修改的系统和方法 Active CN111344124B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/850,310 US10646022B2 (en) 2017-12-21 2017-12-21 System and method for object modification using mixed reality
US15/850,310 2017-12-21
PCT/KR2018/016483 WO2019125056A1 (en) 2017-12-21 2018-12-21 System and method for object modification using mixed reality

Publications (2)

Publication Number Publication Date
CN111344124A CN111344124A (zh) 2020-06-26
CN111344124B true CN111344124B (zh) 2022-04-15

Family

ID=66948717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880071377.2A Active CN111344124B (zh) 2017-12-21 2018-12-21 用于使用混合现实进行对象修改的系统和方法

Country Status (4)

Country Link
US (1) US10646022B2 (zh)
EP (1) EP3673320A4 (zh)
CN (1) CN111344124B (zh)
WO (1) WO2019125056A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170340086A1 (en) * 2015-01-06 2017-11-30 Koninklijke Philips N.V. A system and method for making a template
CN107116580B (zh) * 2017-05-12 2019-02-15 戴鹏辉 智能理发机及其理发方法
US11191341B2 (en) * 2018-01-11 2021-12-07 Casio Computer Co., Ltd. Notification device, notification method, and storage medium having program stored therein
US10647011B2 (en) 2018-01-19 2020-05-12 The Gillette Company Llc Networked shaving appliance system
US11117276B2 (en) 2018-01-19 2021-09-14 The Gillette Company Llc Method for generating user feedback information from a shave event
US20190224869A1 (en) * 2018-01-19 2019-07-25 The Gillette Company Llc Shaving appliance including a notification circuit for communicating cumulative shave event information
JP7139638B2 (ja) * 2018-03-22 2022-09-21 カシオ計算機株式会社 報知装置、報知方法及び報知プログラム
CN112292709A (zh) * 2018-05-16 2021-01-29 美康美环球有限公司 用于提供发型推荐的系统和方法
USD895983S1 (en) * 2018-06-18 2020-09-15 MKM Global Pty Ltd. Smart mirror with tablet
US20200031003A1 (en) * 2018-07-25 2020-01-30 Reginald Weston Brown Automatic Adjustment and Fade Performance Hair Clippers and Method for Using the Same
US11858155B1 (en) * 2018-07-30 2024-01-02 AI Incorporated Electronic razor with suction
USD895984S1 (en) * 2019-03-05 2020-09-15 MKM Global Pty Ltd. Smart mirror with tablet
US11447073B2 (en) * 2019-10-17 2022-09-20 Gulfstream Aerospace Corporation Smart mirror and hidden compartment assembly for a vehicle
KR20210094247A (ko) * 2020-01-21 2021-07-29 삼성전자주식회사 디스플레이 장치 및 그 제어방법
CN111446953A (zh) * 2020-03-31 2020-07-24 赛尔富电子有限公司 一种能防止镜面电容式触摸按钮触摸误动作的镜柜
US20210307492A1 (en) * 2020-04-01 2021-10-07 Magicom Inc. Smart-mirror display system
WO2021219333A1 (en) * 2020-04-30 2021-11-04 Bic Violex S.A. Shaving systems and methods
KR20220009300A (ko) * 2020-07-15 2022-01-24 삼성전자주식회사 접촉 압력 정보를 제공하는 전자 장치 및 그 제어 방법
JP7414707B2 (ja) * 2020-12-18 2024-01-16 トヨタ自動車株式会社 画像表示システム
CN117241699A (zh) * 2021-04-27 2023-12-15 扎赫尔·阿卡什利 制造剃刮模板的方法和相关系统
CN113705392B (zh) * 2021-08-16 2023-09-05 百度在线网络技术（北京）有限公司 工作状态切换方法、装置、设备、存储介质及程序产品
EP4177831A1 (en) * 2021-11-03 2023-05-10 Koninklijke Philips N.V. Assisting a person to perform a personal care activity
US20240108119A1 (en) * 2022-09-30 2024-04-04 L'oreal Instrumenting makeup applicators for improving and sharing application techniques

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103141078A (zh) * 2010-10-05 2013-06-05 索尼电脑娱乐公司 图像显示装置及图像显示方法
CN104010778A (zh) * 2011-12-21 2014-08-27 马修·W·克雷尼科 自动理发系统及其操作方法
CN105744854A (zh) * 2013-11-06 2016-07-06 皇家飞利浦有限公司 用于在剃刮过程中引导用户的系统和方法
WO2017102859A1 (en) * 2015-12-15 2017-06-22 Koninklijke Philips N.V. System and method for tracking an oral care device
WO2017108699A1 (en) * 2015-12-24 2017-06-29 Unilever Plc Augmented mirror

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6598301B2 (en) 2000-06-02 2003-07-29 American Safety Razor Company Multi-purpose razor blade tool
US6920236B2 (en) 2001-03-26 2005-07-19 Mikos, Ltd. Dual band biometric identification system
EP1904347B1 (en) 2005-07-11 2011-09-28 Volvo Technology Corporation Methods and arrangement for performing driver identity verification
AU2006279800B2 (en) 2005-08-12 2012-03-29 Tcms Transparent Beauty Llc System and method for medical monitoring and treatment through cosmetic monitoring and treatment
US7714912B2 (en) 2007-01-24 2010-05-11 International Business Machines Corporation Intelligent mirror
JP2009064423A (ja) 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
US7953686B2 (en) 2008-03-17 2011-05-31 International Business Machines Corporation Sensor and actuator based validation of expected cohort behavior
US20100186234A1 (en) 2009-01-28 2010-07-29 Yehuda Binder Electric shaver with imaging capability
WO2012060537A2 (ko) 2010-11-02 2012-05-10 에스케이텔레콤 주식회사 얼굴 및 스타일 인식 기반의 추천 시스템 및 그 방법
US9235977B2 (en) 2011-02-22 2016-01-12 Richard Deutsch Systems and methods for monitoring caregiver and patient protocol compliance
US8928747B2 (en) * 2011-07-20 2015-01-06 Romello J. Burdoucci Interactive hair grooming apparatus, system, and method
FR2978933B1 (fr) * 2011-08-12 2013-09-06 Fatronik France Procede de commande d'un automate a actionnement parallele redondant, dispositif de commande associe et automate.
US8743051B1 (en) 2011-09-20 2014-06-03 Amazon Technologies, Inc. Mirror detection-based device functionality
US9656400B2 (en) * 2012-11-21 2017-05-23 Matthew W. Krenik Hair cutting techniques for automated hair cutting system
US8924735B2 (en) 2013-02-15 2014-12-30 Microsoft Corporation Managed biometric identity
US9325943B2 (en) * 2013-02-20 2016-04-26 Microsoft Technology Licensing, Llc Providing a tele-immersive experience using a mirror metaphor
WO2014204330A1 (en) 2013-06-17 2014-12-24 3Divi Company Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
WO2015067634A1 (en) 2013-11-06 2015-05-14 Koninklijke Philips N.V. A system and a method for treating a part of a body
US10259131B2 (en) * 2014-02-06 2019-04-16 Matthew W. Krenik User interface and modeling techniques for automated hair cutting system
US9913733B2 (en) 2014-08-20 2018-03-13 Synaptive Medical (Barbados) Inc. Intra-operative determination of dimensions for fabrication of artificial bone flap
US20160140986A1 (en) 2014-11-17 2016-05-19 Elwha Llc Monitoring treatment compliance using combined performance indicators
US10699461B2 (en) * 2016-12-20 2020-06-30 Sony Interactive Entertainment LLC Telepresence of multiple users in interactive virtual space

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103141078A (zh) * 2010-10-05 2013-06-05 索尼电脑娱乐公司 图像显示装置及图像显示方法
CN104010778A (zh) * 2011-12-21 2014-08-27 马修·W·克雷尼科 自动理发系统及其操作方法
CN105744854A (zh) * 2013-11-06 2016-07-06 皇家飞利浦有限公司 用于在剃刮过程中引导用户的系统和方法
WO2017102859A1 (en) * 2015-12-15 2017-06-22 Koninklijke Philips N.V. System and method for tracking an oral care device
WO2017108699A1 (en) * 2015-12-24 2017-06-29 Unilever Plc Augmented mirror

Also Published As

Publication number Publication date
EP3673320A1 (en) 2020-07-01
US20190191850A1 (en) 2019-06-27
CN111344124A (zh) 2020-06-26
EP3673320A4 (en) 2020-10-21
WO2019125056A1 (en) 2019-06-27
US10646022B2 (en) 2020-05-12

Similar Documents

Publication Publication Date Title
CN111344124B (zh) 用于使用混合现实进行对象修改的系统和方法
US20210177124A1 (en) Information processing apparatus, information processing method, and computer-readable storage medium
US10861245B2 (en) Systems and methods for generating and facilitating access to a personalized augmented rendering of a user
CN105899336B (zh) 用于处理身体部分的系统和方法
CN105899337B (zh) 用于处理身体部分的系统和方法
CN105745052B (zh) 用于处理身体部位的系统和方法
CN107088896B (zh) 自动理发系统及其操作方法
JP6297687B2 (ja) シェービング処理中に利用者をガイドするためのシステム及び方法
CN106170083B (zh) 用于头戴式显示器设备的图像处理
CN109416586B (zh) 生成引导指示符和指示信号
US20080219528A1 (en) System and method for providing simulated images through cosmetic monitoring
US20220288372A1 (en) Robotic tattooing systems and related technologies
US10512321B2 (en) Methods, systems and instruments for creating partial model of a head for use in hair transplantation
EP3552079B1 (en) Displaying a guidance indicator to a user
WO2008098235A2 (en) System and method for providing simulated images through cosmetic monitoring
US9202312B1 (en) Hair simulation method
CN107609490B (zh) 控制方法、控制装置、智能镜子和计算机可读存储介质
CN110310349A (zh) 实时面部动画的在线建模
KR20190037051A (ko) 증강 현실과 결합된 신체 정보 분석 장치 및 눈썹 모양 미리보기 방법
WO2016158729A1 (ja) 化粧支援システム、計測装置、携帯端末装置およびプログラム
JP2015197710A (ja) 化粧支援装置およびプログラム
CN108182588A (zh) 一种发型设计及修剪装置、系统及方法、设备与介质
EP4177831A1 (en) Assisting a person to perform a personal care activity
WO2023187787A1 (en) Dynamically updated automatic makeup application
EP4383269A1 (en) Determining a location of a personal care device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant