CN110050251B - 向用户显示引导指示符 - Google Patents

向用户显示引导指示符 Download PDF

Info

Publication number
CN110050251B
CN110050251B CN201780075876.4A CN201780075876A CN110050251B CN 110050251 B CN110050251 B CN 110050251B CN 201780075876 A CN201780075876 A CN 201780075876A CN 110050251 B CN110050251 B CN 110050251B
Authority
CN
China
Prior art keywords
head
user
display screen
images
indicator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780075876.4A
Other languages
English (en)
Other versions
CN110050251A (zh
Inventor
R·戈列布
M·普拉特耶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN110050251A publication Critical patent/CN110050251A/zh
Application granted granted Critical
Publication of CN110050251B publication Critical patent/CN110050251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D27/00—Shaving accessories
    • A45D27/42—Shaving masks
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D40/00—Casings or accessories specially adapted for storing or handling solid or pasty toiletry or cosmetic substances, e.g. shaving soaps or lipsticks
    • A45D40/30—Masks for marking lips or eyelashes
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D42/00—Hand, pocket, or shaving mirrors
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D42/00—Hand, pocket, or shaving mirrors
    • A45D42/08—Shaving mirrors
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B26—HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26B—HAND-HELD CUTTING TOOLS NOT OTHERWISE PROVIDED FOR
    • B26B19/00—Clippers or shavers operating with a plurality of cutting edges, e.g. hair clippers, dry shavers
    • B26B19/38—Details of, or accessories for, hair clippers, or dry shavers, e.g. housings, casings, grips, guards
    • B26B19/3873—Electric features; Charging; Computing devices
    • B26B19/388—Sensors; Control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B26—HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26B—HAND-HELD CUTTING TOOLS NOT OTHERWISE PROVIDED FOR
    • B26B21/00—Razors of the open or knife type; Safety razors or other shaving implements of the planing type; Hair-trimming devices involving a razor-blade; Equipment therefor
    • B26B21/40—Details or accessories
    • B26B21/405—Electric features; Charging; Computing devices
    • B26B21/4056—Sensors or controlling means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B26—HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26B—HAND-HELD CUTTING TOOLS NOT OTHERWISE PROVIDED FOR
    • B26B21/00—Razors of the open or knife type; Safety razors or other shaving implements of the planing type; Hair-trimming devices involving a razor-blade; Equipment therefor
    • B26B21/40—Details or accessories
    • B26B21/4081—Shaving methods; Usage or wear indication; Testing methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D2200/00—Details not otherwise provided for in A45D
    • A45D2200/20—Additional enhancing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Forests & Forestry (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

根据一个方面，提供了一种向用户显示引导指示符的方法。所述方法包括：接收用户的头部的一系列图像；根据所述一系列图像中的每幅图像确定与用户的头部的位置有关的信息；并且仅在满足关于头部的位置的一个或多个定义的条件中的每个的情况下在显示屏上向所述用户显示与用户的头部的表示相关联的引导指示符。根据其他方面，还提供了一种装置。

Description

向用户显示引导指示符
技术领域
本发明涉及向用户提供引导，并且更具体地，涉及在满足具体条件的情况下向用户显示引导指示符。公开了一种方法和装置。
背景技术
当执行个人护理活动(诸如应用化妆、执行皮肤护理活动、剃刮或毛发修剪)时，用户可以使用具有相机的智能镜或具有相机和诸如平板计算机或智能电话的相关联的显示屏的电子设备，以提供关于活动的引导和/或反馈。例如，在平板计算机上运行的应用可以用于在剃刮或修剪具体样式到用户的面部毛发中时向用户提供引导。所述引导可以包括，例如，引导线在用户的图像上的显示，用户能够使用所述引导线来引导剃刮设备实现期望的外观。
在一些情形下，被提供给用户的引导可以采取图像的形式，例如采取期望的面部毛发设计的图像的形式，所述图像被叠加或以其他方式显示在用户的表示(例如，由相机捕获的图像，或智能镜中的反射)上。
US 2012/0223956公开了一种用于生成表示叠加在面部图像上的化妆图像的输出图像数据的方法。
Mercia-Ganady等人的“The Mind-Mirror:See Your Brain in Action in YourHead Using EEG and Augmented Reality”公开了一种显示用户的反射和用户大脑活动的虚拟显示的方法。
Kitanovski等人的“Augmented Reality Mirror for Virtual FacialAlterations”公开了一种用于在增强现实中执行细心的面部几何改变的方法。
US 9442564公开了一种操作用户界面的设备，所述用户界面取决于用户的头部的位置。
发明内容
在用户的图像或反射上的引导线或引导图像的显示能够使用户面部的部分模糊，使得用户不能看见自己或者不能清楚地看到自己，在某些情况下，这可能会抑制个人护理活动的执行。在其他情况下，可能期望在正执行个人护理活动时显示引导线或图像。
因此，存在一种对用于向用户显示引导指示符的改进方法的需要，其能够适当地选择性地被显示和从视图移除。
根据第一方面，提供了一种向用户显示引导指示符的方法。所述方法包括接收用户的头部的一系列图像；根据一系列图像的每幅图像确定与用户的头部的位置有关的信息；以及仅在关于头部的位置的一个或多个定义的条件中的每个被满足的情况下在显示屏上向用户显示与用户的头部的表示相关联的引导指示符；其中，关于头部的位置的定义的条件包括以下中的一个或多个：i)与头部的位置有关的信息指示头部的位置能够被确定到定义的阈值准确度水平；ii)与头部的位置有关的信息指示头部的位置在定义的时段内的变化小于定义的阈值；以及iii)与头部的位置有关的信息指示头部相对于显示屏的取向在定义的角度范围内。
通过仅当所有定义的条件被满足时显示引导指示符，向用户提供他或她处于相对于显示器的合适的位置的指示，使得装置能够置信地(confidently)确定他或她的位置和取向。此外，在用户正在执行个人护理活动(例如将毛发切割设备保持在他们的面部上)时，可能不期望使引导指示符被显示，因为这样做可能会模糊其表示的视图。因此，在这种情形下不显示引导指示符(因为不能准确地确定用户头部的位置)可以有助于用户执行个人护理活动的能力。
当头部的位置的置信度或头部的面部特征的位置的置信度高于定义的置信度水平时，可以认为头部的位置被确定到定义的阈值准确度水平。
头部的位置在定义的时段内的变化的定义的阈值可以包括小于图像的宽度或高度的10％的变化。在一些实施例中，定义的阈值可以包括小于图像的宽度或高度的百分之六的变化。在一些实施例中，定义的时段可以包括定义的时间段(例如0.5秒)，而在其他实施例中，定义的时段可以包括在捕获一系列图像中的第一图像和第二图像之间的时段。因此，可以在一系列图像中的第一图像和第二图像之间测量头部的位置的变化。
在一些实施例中，定义的角度范围包括与显示屏的法线成15度。在其他实施例中，定义的角度范围可以包括显示屏的法线的任一侧的10或20度。
在一些实施例中，可以经由与显示屏相关联的相机接收所述一系列图像。
引导指示符可以包括以下中的至少一项：用于帮助用户进行个人护理活动的线、文本或图像。引导指示符可以覆盖用户的表示。
在一些实施例中，显示引导指示符可以包括，当与头部的位置有关的信息指示所有定义的条件被满足时使引导指示符逐渐地显现。以这种方式，用户能够确定他或她何时正在接近能够置信地知道他们头部位置的位置/取向。
引导指示符的可见性可以根据头部位置满足定义的条件的严密度(closeness)而改变。因此，当用户朝向或远离所有条件被满足的位置移动时，用户能够轻松而本能地分辨出他或她需要如何定位他们的头部以便引导指示符被显示。
根据一些实施例，方法还可以包括在正在显示屏上显示引导指示符时，在与头部的位置有关的信息指示定义的条件中的任一个不满足的情况下使引导指示符逐渐消失。当用户移动到使引导指示符消失的位置时，他或她能够本能地了解他们的位置需要如何改变以便引导指示符完全重新显现。
引导指示符的可见性可以根据头部的位置与定义的条件的偏离的水平而降低。
在一些实施例中，仅在关于头部的位置的所有定义的条件被满足的情况下可以向用户显示引导指示符，而在其他实施例中，可以当定义的条件的子集被满足时向用户显示引导指示符。
根据第二方面，提供了一种用于向用户提供引导的装置，所述装置包括：成像单元，其用于接收用户的头部的一系列图像；处理单元，其用于根据所述一系列图像中的每幅图像来确定与用户的头部的位置有关的信息；以及显示屏；其中，处理单元被配置为仅在关于头部的位置的一个或多个定义的条件中的每个被满足的情况下在显示屏上显示与用户的头部的表示相关联的引导指示符；其中，关于头部的位置的定义的条件包括以下中的一个或多个：i)与头部的位置有关的信息指示头部的位置能够被确定到定义的阈值准确度水平；ii)与头部的位置有关的信息指示头部的位置在定义的时段内的变化小于定义的阈值；以及iii)与头部的位置有关的信息指示头部相对于显示屏的取向在定义的角度范围内。在一些实施例中，处理单元可以基于与用户的头部的位置有关的信息确定条件是否被满足。
在一些实施例中，处理单元可以仅在关于头部的位置的所有定义的条件被满足的情况下向用户显示引导指示符，而在其他实施例中，处理单元可以在定义的条件的子集被满足时向用户显示引导指示符。
装置还可以包括用于捕获用户的头部的一系列图像的相机。
在一些实施例中，装置可以包括存储介质，以用于存储以下中的至少一项：接收到的一系列图像；以及所确定的与用户头部位置有关的信息。
装置可以包括以下之一：智能电视、智能镜、智能电话、平板计算机、膝上型计算机和台式计算机。
参考下文描述的实施例，本发明的这些和其他实施例将变得显而易见并得到阐述。
附图说明
为了更好地理解本发明，并且为了更清楚地示出可以如何实现本发明，现在仅通过范例对附图做出参考，其中：
图1是使用智能镜执行个人护理活动的用户的图示；
图2A-2B是引导指示符的范例的图示；
图3是执行个人护理活动的用户的表示的范例的图示；
图4是执行个人护理活动的用户的表示的另外的范例的图示；
图5是执行个人护理活动的用户的表示的另外的范例的图示；
图6A-6B是执行个人护理活动的用户的图示；
图7A-7C是相对于显示器在三个不同取向上的用户头部的图示；
图8是向用户显示引导指示符的方法的范例的流程图；
图9是用于向用户提供引导的装置的范例的示意图；并且
图10是用于向用户提供引导的另外的范例或装置的示意图。
具体实施方式
除了其他目的之外，在一些范例中，本发明可以用于改进向用户显示引导指示符，例如在用户查看他自己或她自己的实时视频(图像流)或反射时。例如，可以在执行包括但不限于化妆应用、卸妆、皮肤护理、毛发护理、口腔护理和毛发移除活动(诸如剃刮、脱毛和修剪)的个人护理活动时实施本发明。
当执行诸如剃刮面部毛发的个人护理活动时，用户可以使用引导系统或装置来提供引导。这种装置可以包括与诸如智能镜或平板计算机的计算设备相关联或耦合的相机。当用户在相机前面执行剃刮活动时，装置可以例如以要显示在与设备相关联的显示屏上(例如，在智能镜的屏幕上或在计算设备的显示屏上)的引导指示符的形式向用户提供引导。引导指示符可包括线、文本、图像或一系列点，其指示例如应当被剃刮的用户区域和不应当被剃刮的区域。在一些范例中，引导指示符可以包括一条或多条线，以用于指示用户要将面部毛发(例如，鬓角)剃刮到的水平，以便实现期望和对称的外观。在其他实施例中，可以显示文本以向用户传递消息。
在这样的引导系统中，经由相机以一系列图像的形式来接收表示用户(或用户的部分)的图像数据，并且使用与系统相关联的处理装置来处理图像数据。然后，引导指示符可以被生成并与用户的图像一起显示或叠加在用户的图像上。为了使引导系统向用户提供准确的引导，相机需要能够对用户进行成像，使得能够确定要被处置的用户的部分(例如用户的头部)的位置。
参考附图，图1是示出在装置102前面执行个人护理活动的用户100的图示。在该范例中，装置102是具有显示器104和相机106的智能镜。装置102还可以包括或连接到处理装置(未示出)，所述处理装置用于控制显示器104和/或相机106，并且用于处理由相机接收的信息和要呈现在显示器上的信息。虚线指示相机106的范例视场。显示器104包括允许用户查看其反射的镜像部分，以及在镜像部分后面或内置到镜像部分内的显示部分或屏幕，所述显示部分或屏幕能够用于向用户100呈现诸如图像或文本的信息。在一些实施例中，显示器104可以用于向用户显示诸如新闻文章、天气信息、日历条目等的信息。然而，在本文所公开的范例中，显示器104还被配置为显示用于帮助用户100执行个人护理活动的引导指示符108。
可以由装置102显示的引导指示符108的范例在图2A-2B中示出。如上所述，在一些范例中，引导指示符108可以包括如图2A所示的图像或掩模。图像或掩模108可以投影或叠加在用户100的反射上，使得用户能够看到活动的预期结果。用户100还可以使用投影图像或掩模来示出对在何处执行个人护理活动的限制。例如，当剃刮或修剪面部毛发时，用户可以使用图像来示出在何处剃刮毛发，以实现期望面部毛发样式。在其他范例中，如图2B所示，引导指示符108可以包括一条或多条线(也如图1所示)，以用于指示在何处剃刮或修剪面部毛发，诸如鬓角，以实现对称的面部毛发样式。
在其他范例中，装置102可以包括计算设备，或者形成计算设备的部分，所述计算设备诸如是智能电视、智能电话、平板计算机或膝上型计算机或台式计算机。在一些范例中，显示器104可以包括计算设备的显示屏，并且相机106可以是内置在设备内或连接到设备的相机。显示器104可以显示用户100的图像或实况视频流而不是用户的反射。图像或系列图像可以由相机106捕获。
通常，显示器104能够被认为显示用户100的表示110，表示110可以是反射或捕获的图像。在一些实施例中，装置102可以不包括相机106，但是可以从诸如远程图像采集系统的外部源获得图像数据，或者一系列图像或帧(例如视频流)。
为了使装置102能够在相对于用户100的表示110的正确位置处准确地呈现引导指示符108，装置需要准确地知道用户的位置和取向。在一些实施例中，例如，装置102可以使用面部标志检测(FLD)算法或引擎来检测面部特征或标志，诸如用户的眼角或嘴角、用户的鼻子或下巴的边缘、或用户的眉毛的末端。这样的特征被认为是人脸的标准或通用特征。FLD算法能够识别这样的特征，并且如果在由相机106采集的具体图像内可见足够数量的特征，则可以确定图像内的面部的取向和位置。
当已经通过FLD算法检测并识别了用户的面部或头部的具体标志或特征时，置信度值被确定并与该具体标志相关联。置信度值提供FLD算法在其对标志的位置的确定时多么置信的指示。如果还能够确定其他附近标志的位置，则置信度值可以相对高。相反，如果无法确定其他附近或相邻的标志的位置，则具体标志的置信度值能够相对低。如果例如用户的面部被转动、倾斜或取向为使得标志位于捕获图像的相机106的视场之外，则标志的位置可能是不可确定的。类似地，如果标志从相机的视图被模糊(例如由被定位在标志和相机106之间的诸如手或个人护理器具的物体)，则标志的位置可能是不可确定的。
与用户的头部的个体标志相关联的置信度值可以用于确定用户100的头部的位置的总体置信度值。例如，个体标志置信度值可以组合以给出头部位置的总置信度值。如果与头部相关联的置信度值低于定义的阈值，则装置可以推断出用户的头部的位置不能被准确地确定。
根据本发明，仅在一个或多个定义的条件中的每个被满足时可以显示引导指示符108。具体地，条件可以涉及用户100的头部的位置。换言之，可以设置一个或多个条件或标准(例如，编程到与装置102相关联的处理装置中)，并且仅如果所有条件或标准被满足，则在显示器104上显示引导指示符108。在一些实施例中，装置102能够要求，仅条件中的一个或多个(即不是所有条件)被满足以显示引导指示符108。下面参考图3到7讨论可能设置的各种条件。
第一条件或标准(如果被应用，其必须被满足以便装置102向用户100显示引导指示符108)是与头部的位置有关的信息必须指示用户头部的位置能够被确定到定义的阈值准确度水平。如上所述，如果面部标志中的一些对于相机106是不可见的，则用户100的头部的位置可能不可确定为最小置信度水平。图3是来自视频流的个体帧(即来自一系列捕获的图像的单幅图像)的范例的图示，其示出了执行个人护理活动的用户100，在这种情况下所述个人护理活动是修剪面部毛发。在图3所示的范例中，用户100的表示110的范例被呈现在显示器104上。在该范例中，诸如修剪器或剃须刀的毛发切割设备112正被用于修剪用户的面部毛发，并且其因此使得用户100的头部的部分从相机106的视图模糊。由于毛发切割设备112从相机106的视图中阻挡面部标志中的一些，装置102可能不能够准确地确定它们的位置，并且因此，可能不能够将头部的位置和取向确定到高置信度水平。如果装置102不能够确定头部的精确位置，那么其将不能够将引导指示符108相对于头部的表示110准确地定位在显示器上。因此，为了避免相对于头部的表示110不正确地呈现引导指示符108的风险，装置确定第一条件未被满足，并且因此不呈现引导指示符。
在一些实施例中，装置102将确定与所确定的头部的位置相关联的置信度水平，并将置信度水平与定义的阈值进行比较。如果所确定的置信度水平超过(即，高于)阈值，则装置102可以认为条件被满足。换言之，当头部的位置的置信度或头部的面部特征的位置的置信度高于定义的置信度水平时，认为头部的位置被确定到定义的阈值准确度水平。因此，用户头部的一些标志可以从相机的视图(例如，由毛发切割设备112或由用户的手)被模糊，但是仍然可以呈现引导指示符108，因为头部的位置仍然能够置信地被确定。
第二条件或标准(如果被应用，其必须被满足以便装置102向用户100显示引导指示符108)是与头部的位置有关的信息必须指示在定义的时段内头部的位置的变化小于定义的阈值。换言之，用户头部在定义的时段内必须不移动太远和/或太快。在一些实施例中，定义的时段可以包括时间段(例如，0.5秒)，而在其他实施例中，定义的时段可以包括捕获一系列图像中的第一图像和第二图像之间的时段。因此，可以在一系列图像中的第一图像和第二图像之间测量头部的位置的变化。这种条件的范例在图4中示出。图4说明性示出了呈现在显示器104上的用户100的头部的表示110。在该范例中，头部的表示110已经在定义的时间段中，或者在一系列图像的第一图像和第二图像之间从第一位置114a移动到第二位置114b。对于由相机106捕获(或者由设备102以其他方式接收以进行处理)的每个图像或帧，每个标志的位置被记录在例如与装置相关联的存储介质中。例如，对于每幅图像，可以为每个可见标志确定坐标集。通过比较一系列图像中的多幅连续图像中的每个标志的坐标，然后装置102能够确定用户的头部的运动的量度。例如，在一些实施例中，相机106可以以每秒20帧(fps)的速率捕获图像。装置102可以将三秒的图像(即，60图像)存储在存储器中以用于测量头部的移动中。
装置102可以基于单个标志或一组标志的移动，或者基于例如从可见标志的坐标的平均计算的图像中的点的移动来确定用户100的头部的移动。当针对具体图像计算这样的平均坐标时，可以将其与参考坐标值进行比较，所述参考坐标值是从一系列图像中的先前图像或者根据存储在存储器中(例如，来自前60图像中的至少一些的平均)的图像计算的平均参考坐标值计算的。如果所计算的坐标值与参考坐标值之间的移动小于定义的阈值，则认为第二条件被满足。在一些实施例中，第一图像和第二图像之间的头部位置的变化的定义的阈值可以包括小于图像的宽度或高度的10％的变化。在其他实施例中，定义的阈值可以是图像的高度或宽度的不同的百分比(例如，6％)。
如上所述，一组图像存储在与装置102相关联的存储器中。在一些实施例中，存储器可以是先进先出(FIFO)型存储器，使得最后一组图像(例如，最后的60帧)被存储。每次存储器以新的图像更新时，计算新的平均参考坐标值。在其他实施例中，例如通过在每次捕获新的帧时计算新的平均坐标值，并且使用所计算的平均坐标值作为参考值来计算滚动平均。在一些实施例中，可以例如基于与所确定的位置相关联的置信度值对一些标志的位置进行加权。因此，已知为更高置信度水平的位置可以比认为已知为较低置信度水平的位置被更强地加权。
第三条件或标准(如果被应用，其必须被满足以便装置102向用户100显示引导指示符108)是与头部的位置有关的信息必须指示头部相对于显示器104的取向在定义的角度范围内。换言之，用户必须面向显示器104或者头部必须从显示器的法线旋转或倾斜(向左或向右，以改变偏航；向上或向下，以改变俯仰)小于定义的角度。例如，用户的视线被认为是从用户的面部直线向前延伸的线，例如图7A-7C中指示的，并且可以计算从用户的视线到显示器的法线的角度。在一些实施例中，定义的角度范围可以是15度，而在其他实施例中，定义的角度范围可以是例如5度、10度或20度。通常，定义的角度范围可以小于与法线的25度。图5示出了在显示器104上呈现的用户100的头部的表示110。在该范例中，头部相对于显示器104旋转(即，用户不直接面向显示器)。在这样的范例中，捕获用户100的头部的图像的相机106可能不能够查看头部的所有标志，并且因此，装置102可能不能够准确地确定所有标志或头部的位置。
图6A-6B在相对于显示器104的两个取向上说明性地示出了用户100的头部。在图6A中，头部正在面向显示器104，使得用户的视线与显示器的法线对齐。在图6A-6B中以虚线指代显示器的法线。在图6B中，头部被旋转，使得用户的视线不与显示器的法线对齐。
如上所述，如果装置确定用户的视线在显示器104的法线的定义的角度范围内，则可以认为第三条件或标准被满足。在一些实施例中，定义的角度范围可以是显示器的法线的任一侧的20度、15度或10度。
因此，装置102可以被编程为仅在满足一组定义的条件中的所有条件的情况下显示引导指示符108。上述三个条件中的一个或多个可以应用于装置。
尽管在一些实施例中显示引导指示符108可以包括简单地使指示符突然显现在显示器104上，但是在其他实施例中，引导指示符的外观可以更加逐渐。例如在一些实施例中，当涉及头部的位置的信息指示所有定义的条件被满足时，可以使引导示器108逐渐显现。类似地，在引导指示符108正被显示在显示器104上时，如果与头部的位置有关的信息指示定义的条件中的任何一个不满足，则可以使引导指示符逐渐消失。
参考图7A-7C所示的范例来说明引导指示符108的逐渐显现/消失。图7A-7C的范例涉及用户相对于显示器向左或向右旋转他或她的头部(即，偏航移动)。相同的原理适用于头部相对于显示器的向上和向下的倾斜移动(即俯仰移动)以及围绕沿着视线的轴的旋转(即滚动移动)。
在图7A中，用户100的头部被取向成使得用户的视线与显示器104的法线(图7A-7C中标记为N)对齐。虚线θmin和θmax分别表示在满足上面讨论的第三条件时用户100的头部能够旋转通过的最小和最大角度。换言之，当用户的面部被取向在角度范围θmin到θmax内时，第三条件被满足，并且引导指示符108被显示。虚线θlim_min和θlim_max表示当头部分别朝向θmin和θmax旋转时引导指示符108将开始消失的角度，或者当头部从θmin朝向θlim_min或从θmax朝向θlim_max旋转时引导指示符108开始显现的角度。
在图7B中，用户的头部已经朝向θmax，但在角度范围θmin到θmax内旋转，因此引导指示符108被显示。此外，头部的取向使得头部的旋转在角度范围θlim_min到θlim_max内，因此引导指示符108以最大可见性被显示，并且尚未开始消失。引导指示符的可见性被表示在图7A、7B和7C的显示器之上的图形中。
在图7C中，用户的头部相比于图7B中进一步旋转，并且在这种情况下，旋转超过角度范围θmin到θmax。因此，引导指示符108已经逐渐消失并且对用户100不可见。
如果用户的头部旋转到θlim_max和θmax之间的角度，则在其从完全可见到不可见的过渡期间，引导指示符108将对用户部分可见。因此，引导指示符108的可见性根据头部的位置从定义的条件的偏离的水平而降低。在一些实施例中，引导指示符108可以随着其逐渐消失而褪色。
以类似于引导指示符108的显现的方式，随着用户100的头部从θmax旋转到θlim_max(或从θmin到θlim_min)，可以使引导指示符108逐渐显现。
图7A-7C中所示的范例涉及上面讨论的第三条件。然而，当头部接近或偏离满足其他条件的位置时，可以引起引导指示符108的逐渐显现和消失。例如，当用户100将毛发切割设备112在他或她的面部上移动时，并且对用户的头部的位置的置信度降低时，引导指示符108的可见性可以降低(如上面讨论的第一条件)。类似地，当用户的头部的移动速度增加到阈值水平时(如在上面讨论的第二条件中)，引导指示符108的可见性可以降低。
因此，引导指示符108的可见性程度可以根据头部的位置满足定义的条件的严密度而改变。以这种方式，用户100能够容易地看到条件是否满足(在这种情况下，引导指示符108将是完全可见的)、不满足(在这种情况下，引导指示符108将是不可见的)、或几乎满足(在这种情况下，引导指示符108将是部分可见的，例如在褪色状态下)。
通过逐渐调节引导指示符108的可见性，而不是简单地使指示符显现或消失，用户100可以了解他或她的动作中的何者已经导致了可见性的改变。例如，如果用户将他或她的头部旋转到使得引导指示符108开始消失的程度，用户可以直观地将他们的头部向后旋转以使指示符变得完全可见。因此，通过根据与被满足的定义的条件的偏离的水平来改变引导指示符的可见性，向用户提供关于他相对于显示器的位置的反馈。
图8是示出向用户100显示引导指示符108的方法200的范例的流程图。方法200包括，在步骤202处，接收用户100的头部的一系列图像。一系列图像可以包括视频流的帧，并且可以从诸如外部相机的远程源接收，或者可以由连接到执行方法的装置102或与之相关联的相机106来捕获。方法还包括，在步骤204处，根据一系列图像中的每幅图像来确定与用户100的头部的位置有关的信息。确定204可以由与装置102相关联的处理装置来执行。在步骤206处，方法200包括，仅在满足关于头部的位置的一个或多个定义的条件中的每个的情况下在显示屏104上向用户显示与用户100的头部的表示相关联的引导指示符108。条件可包括上述三个条件中的一个或多个。例如，关于头部的位置的定义的条件可以包括以下中的一个或多个：i)与头部的位置有关的信息指示头部的位置能够被确定到定义的阈值准确度水平；ii)与头部的位置有关的信息指示头部的位置在定义的时段内的变化小于定义的阈值；以及iii)与头部的位置有关的信息指示头部相对于显示屏的取向在定义的角度范围内。在一些实施例中，处理装置可以基于与用户100的头部的位置有关的信息来确定条件是否被满足。在一些实施例中，仅在关于头部的位置的所有定义的条件(例如，上面讨论的第一、第二和第三条件)被满足的情况下，可以向用户显示引导指示符108，而在其他实施例中，在仅一个(例如第一)条件被满足的情况下，可以向用户显示引导指示符108。
本发明还提供一种用于向用户提供引导的装置，并且所述装置可以用于执行方法100。图9示意性示出了这样的装置300的范例。装置300(可以是上面讨论的装置102)包括用于接收用户100的头部的一系列图像的成像单元302。装置300还包括处理单元304，以用于根据一系列图像中的每幅图像来确定与用户100的头部的位置有关的信息。装置300还包括显示屏306，诸如显示器106。处理单元304被配置为仅在关于头部的位置的一个或多个定义的条件中的每个被满足的情况下，在显示屏306上显示与用户100的头部的表示相关联的引导指示符108。例如，关于头部的位置的定义的条件可以包括以下中的一个或多个：i)与头部的位置有关的信息指示头部的位置能够被确定到定义的阈值准确度水平；ii)与头部的位置有关的信息指示头部的位置在定义的时段内的变化小于定义的阈值；以及iii)与头部的位置有关的信息指示头部相对于显示屏的取向在定义的角度范围内。
图10中示出了装置300的备选实施例。在图10中，装置300类似于图9的装置，但是还包括用于捕获用户头部的一系列图像的相机308。相机308可以与上面讨论的相机106相同。装置300还可以包括存储介质310，以用于存储以下中的至少一个：接收到的一系列图像和所确定的与用户100的头部的位置有关的信息。
装置300可以包括以下之一：智能电视、智能镜、智能电话、平板计算机、膝上型计算机和台式计算机。
通过研究附图、公开内容和权利要求，本领域技术人员在实践所要求保护的发明时可以理解和实现对所公开实施例的变型。在权利要求中，词语“包括”不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现权利要求中记载的若干项的功能。尽管在相互不同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。计算机程序可以存储/分布在合适的介质上，例如与其他硬件一起提供或作为其他硬件的部分提供的光学存储介质或固态介质，但是计算机程序也可以以其他形式分布，诸如经由因特网或其他有线或无线电信系统分布。
权利要求中的任何附图标记不应被解释为对范围的限制。

Claims (15)

1.一种向用户(100)显示引导指示符(108)的方法(200)，所述方法包括：
接收(202)用户的头部的一系列图像；
根据所述一系列图像中的每幅图像来确定(204)与所述用户的所述头部的位置有关的信息；以及
仅在关于所述头部的所述位置的一个或多个定义的条件中的每个都被满足的情况下在显示屏(104)上向所述用户显示(206)与所述用户的所述头部的表示(110)相关联的引导指示符，使得所述用户被提供有以下指示：他或她相对于所述显示屏被适当地定位，以使所述头部的所述位置被置信地确定；
其中，关于所述头部的所述位置的所述定义的条件包括以下中的一个或多个：
i)与所述头部的所述位置有关的所述信息指示所述头部的所述位置在定义的时段内的变化小于定义的阈值；以及
ii)与所述头部的所述位置有关的所述信息指示所述头部关于平行于所述显示屏的轴从所述显示屏的法线旋转或倾斜小于定义的角度范围。
2.根据权利要求1所述的方法(200)，其中，除了所述一个或多个定义的条件之外，如果与所述头部的所述位置有关的所述信息指示所述头部的所述位置能够被确定到定义的阈值准确度水平，则显示所述引导指示符。
3.根据权利要求2所述的方法(200)，其中，当所述头部的所述位置的置信度或者所述头部的面部特征的位置的置信度高于定义的置信度水平时，所述头部的所述位置被认为是被确定到定义的阈值准确度水平。
4.根据权利要求1-3中的任一项所述的方法(200)，其中，在所述头部的所述位置在所述定义的时段内的所述变化的所述定义的阈值包括小于所述图像的宽度或高度的10％。
5.根据权利要求1-3中的任一项所述的方法(200)，其中，所述定义的角度范围包括与所述显示屏的法线成15度。
6.根据权利要求1-3中的任一项所述的方法(200)，其中，所述一系列图像是经由与所述显示屏(104)相关联的相机(106)来接收的。
7.根据权利要求1-3中的任一项所述的方法(200)，其中，所述引导指示符(108)包括以下中的至少一项：用于帮助所述用户进行个人护理活动的线、文本或图像。
8.根据权利要求1-3中的任一项所述的方法(200)，其中，显示所述引导指示符(108)包括当与所述头部的所述位置有关的所述信息指示全部所述定义的条件被满足时使所述引导指示符逐渐地显现。
9.根据权利要求8所述的方法(200)，其中，所述引导指示符(108)的可见性程度根据所述头部的所述位置满足所述定义的条件的严密度来改变。
10.根据权利要求1-3中的任一项所述的方法(200)，还包括：
在所述引导指示符(108)正被显示在所述显示屏(104)上时，在与所述头部的所述位置有关的所述信息指示所述定义的条件中的任一个不再被满足的情况下使所述引导指示符逐渐地消失。
11.根据权利要求10所述的方法(200)，其中，所述引导指示符(108)的可见性根据所述头部的所述位置与所述定义的条件的偏离的水平而降低。
12.一种用于向用户提供引导的装置(300)，所述装置包括：
成像单元(302)，其用于接收用户的头部的一系列图像；
处理单元(304)，其用于根据所述一系列图像中的每幅图像来确定与所述用户的所述头部的位置有关的信息；以及
显示屏(306)；
其中，所述处理单元被配置为仅在关于所述头部的所述位置的一个或多个定义的条件中的每个都被满足的情况下在所述显示屏上显示与所述用户的所述头部的表示相关联的引导指示符(108)，使得所述用户被提供有以下指示：他或她相对于所述显示屏被适当地定位，以使所述头部的所述位置被置信地确定；
其中，关于所述头部的所述位置的所述定义的条件包括以下中的一个或多个：
i)与所述头部的所述位置有关的所述信息指示所述头部的所述位置在定义的时段内的变化小于定义的阈值；以及
ii)与所述头部的所述位置有关的所述信息指示所述头部关于平行于所述显示屏的轴从所述显示屏的法线旋转或倾斜小于定义的角度范围。
13.根据权利要求12所述的装置(300)，还包括：
相机(308)，其用于捕获所述用户的所述头部的所述一系列图像。
14.根据权利要求12或13所述的装置(300)，还包括：
存储介质(310)，其用于存储以下中的至少一项：接收到的所述一系列图像；以及所确定的与所述用户的所述头部的所述位置有关的信息。
15.根据权利要求12或13所述的装置(300)，其中，所述装置包括以下中的一项：智能电视、智能镜、智能电话、平板计算机、膝上型计算机和台式计算机。
CN201780075876.4A 2016-12-06 2017-12-06 向用户显示引导指示符 Active CN110050251B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16202530.8 2016-12-06
EP16202530 2016-12-06
PCT/EP2017/081611 WO2018104356A1 (en) 2016-12-06 2017-12-06 Displaying a guidance indicator to a user

Publications (2)

Publication Number Publication Date
CN110050251A CN110050251A (zh) 2019-07-23
CN110050251B true CN110050251B (zh) 2023-10-03

Family

ID=57569880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780075876.4A Active CN110050251B (zh) 2016-12-06 2017-12-06 向用户显示引导指示符

Country Status (7)

Country Link
US (1) US11116303B2 (zh)
EP (1) EP3552079B1 (zh)
JP (1) JP7121034B2 (zh)
CN (1) CN110050251B (zh)
BR (1) BR112019011426A2 (zh)
RU (1) RU2750596C2 (zh)
WO (1) WO2018104356A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778585B (zh) * 2016-12-08 2019-04-16 腾讯科技（上海）有限公司 一种人脸关键点跟踪方法和装置
JP7139638B2 (ja) * 2018-03-22 2022-09-21 カシオ計算機株式会社 報知装置、報知方法及び報知プログラム
WO2020181461A1 (en) * 2019-03-11 2020-09-17 Nokia Shanghai Bell Co., Ltd. Conditional display of object characteristics
CN111698411A (zh) * 2019-03-12 2020-09-22 丽宝大数据股份有限公司 脸部影像自动检测与拍摄方法
JP7238580B2 (ja) * 2019-04-26 2023-03-14 Ｉ－Ｐｅｘ株式会社 鏡台
EP3922419A1 (en) * 2020-06-09 2021-12-15 Koninklijke Philips N.V. Predicting the appearance of a user following treatment
US10952519B1 (en) * 2020-07-16 2021-03-23 Elyse Enterprises LLC Virtual hub for three-step process for mimicking plastic surgery results
WO2022232968A1 (en) * 2021-05-04 2022-11-10 Nutricia Early Life Nutrition (Shanghai) Co.,Ltd. A massage coaching method, device and application thereof
EP4177831A1 (en) * 2021-11-03 2023-05-10 Koninklijke Philips N.V. Assisting a person to perform a personal care activity

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015942A (ja) * 2006-07-07 2008-01-24 Sony Computer Entertainment Inc ユーザインタフェースプログラム、装置および方法、情報処理システム
JP2008035415A (ja) * 2006-07-31 2008-02-14 Canon Inc 撮像装置及びその制御方法
JP2009105705A (ja) * 2007-10-24 2009-05-14 Fujifilm Corp 撮像装置およびその動作制御方法
JP2014023127A (ja) * 2012-07-23 2014-02-03 Sharp Corp 情報表示装置、情報表示方法、制御プログラム、および記録媒体
WO2014171142A1 (ja) * 2013-04-17 2014-10-23 パナソニックＩｐマネジメント株式会社 画像処理方法および画像処理装置
JP2016025367A (ja) * 2014-07-16 2016-02-08 キヤノン株式会社 撮像装置
US9274597B1 (en) * 2011-12-20 2016-03-01 Amazon Technologies, Inc. Tracking head position for rendering content
US9442564B1 (en) * 2015-02-12 2016-09-13 Amazon Technologies, Inc. Motion sensor-based head location estimation and updating

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141584A (ja) * 2003-11-07 2005-06-02 Omron Corp 画像削除装置，及び画像圧縮装置
US20070040033A1 (en) * 2005-11-18 2007-02-22 Outland Research Digital mirror system with advanced imaging features and hands-free control
US8077931B1 (en) * 2006-07-14 2011-12-13 Chatman Andrew S Method and apparatus for determining facial characteristics
JP4513843B2 (ja) * 2007-09-10 2010-07-28 カシオ計算機株式会社 撮像装置及びプログラム
JP5159515B2 (ja) 2008-08-26 2013-03-06 キヤノン株式会社 画像処理装置およびその制御方法
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
US20130057573A1 (en) * 2011-09-02 2013-03-07 DigitalOptics Corporation Europe Limited Smart Display with Dynamic Face-Based User Preference Settings
US8928747B2 (en) 2011-07-20 2015-01-06 Romello J. Burdoucci Interactive hair grooming apparatus, system, and method
US20140354676A1 (en) 2012-01-13 2014-12-04 Wisimage Hair colouring device and method
PT106430B (pt) * 2012-07-03 2018-08-07 Cesar Augusto Dos Santos Silva Sistema para medição da distância interpupilar usando um dispositivo equipado com um ecrã e uma câmara
JP6008309B2 (ja) * 2013-03-29 2016-10-19 パナソニックＩｐマネジメント株式会社 電子ミラー装置
WO2015029371A1 (ja) * 2013-08-30 2015-03-05 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
CN105744854B (zh) * 2013-11-06 2020-07-03 皇家飞利浦有限公司 用于在剃刮过程中引导用户的系统和方法
US9642521B2 (en) * 2013-11-26 2017-05-09 Ulsee Inc. Automatic pupillary distance measurement system and measuring method
US20150356661A1 (en) * 2014-06-09 2015-12-10 Jillianne Rousay Cosmetic matching and recommendations
RU2551731C1 (ru) * 2014-07-02 2015-05-27 Константин Александрович Караваев Способ виртуального подбора одежды
US20160042557A1 (en) * 2014-08-08 2016-02-11 Asustek Computer Inc. Method of applying virtual makeup, virtual makeup electronic system, and electronic device having virtual makeup electronic system
US10553006B2 (en) 2014-09-30 2020-02-04 Tcms Transparent Beauty, Llc Precise application of cosmetic looks from over a network environment
US9760762B2 (en) * 2014-11-03 2017-09-12 Anastasia Soare Facial structural shaping
JP6675384B2 (ja) * 2015-03-27 2020-04-01 株式会社メガチップス 化粧支援システム、計測装置、携帯端末装置およびプログラム
US9607347B1 (en) * 2015-09-04 2017-03-28 Qiang Li Systems and methods of 3D scanning and robotic application of cosmetics to human
US9811717B2 (en) * 2015-09-04 2017-11-07 Qiang Li Systems and methods of robotic application of cosmetics
US9996981B1 (en) * 2016-03-07 2018-06-12 Bao Tran Augmented reality system
US20180137663A1 (en) * 2016-11-11 2018-05-17 Joshua Rodriguez System and method of augmenting images of a user

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015942A (ja) * 2006-07-07 2008-01-24 Sony Computer Entertainment Inc ユーザインタフェースプログラム、装置および方法、情報処理システム
JP2008035415A (ja) * 2006-07-31 2008-02-14 Canon Inc 撮像装置及びその制御方法
JP2009105705A (ja) * 2007-10-24 2009-05-14 Fujifilm Corp 撮像装置およびその動作制御方法
US9274597B1 (en) * 2011-12-20 2016-03-01 Amazon Technologies, Inc. Tracking head position for rendering content
JP2014023127A (ja) * 2012-07-23 2014-02-03 Sharp Corp 情報表示装置、情報表示方法、制御プログラム、および記録媒体
WO2014171142A1 (ja) * 2013-04-17 2014-10-23 パナソニックＩｐマネジメント株式会社 画像処理方法および画像処理装置
JP2016025367A (ja) * 2014-07-16 2016-02-08 キヤノン株式会社 撮像装置
US9442564B1 (en) * 2015-02-12 2016-09-13 Amazon Technologies, Inc. Motion sensor-based head location estimation and updating

Also Published As

Publication number Publication date
RU2019120992A3 (zh) 2021-04-29
EP3552079B1 (en) 2022-05-25
RU2019120992A (ru) 2021-01-11
JP2020516984A (ja) 2020-06-11
BR112019011426A2 (pt) 2019-10-15
WO2018104356A1 (en) 2018-06-14
JP7121034B2 (ja) 2022-08-17
US20200069034A1 (en) 2020-03-05
US11116303B2 (en) 2021-09-14
EP3552079A1 (en) 2019-10-16
CN110050251A (zh) 2019-07-23
RU2750596C2 (ru) 2021-06-29

Similar Documents

Publication Publication Date Title
CN110050251B (zh) 向用户显示引导指示符
US10748021B2 (en) Method of analyzing objects in images recorded by a camera of a head mounted device
KR102291461B1 (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
JP6597235B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR101663452B1 (ko) 화면 조작장치 및 화면 조작방법
EP3956807A1 (en) A neural network for head pose and gaze estimation using photorealistic synthetic data
KR20160046495A (ko) 외부 물체의 움직임과 연관된 이벤트에 응답하여 화면을 디스플레이하는 장치 및 방법
JP6693223B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109584285B (zh) 一种显示内容的控制方法、装置及计算机可读介质
US11004273B2 (en) Information processing device and information processing method
JP2007043263A (ja) 撮影システム、撮影方法及び該方法を実行するためのプログラム
JP2017102598A (ja) 認識装置、認識方法および認識プログラム
US11398024B2 (en) Information processing apparatus, information processing method, and non-transitory storage medium
US20230300290A1 (en) Information display system, information display method, and non-transitory recording medium
US20200211294A1 (en) Information processing apparatus, information processing method, and non-transitory storage medium
US20230171370A1 (en) Determining display zoom level
EP3364644A1 (en) Image capturing
US10783853B2 (en) Image provision device, method and program that adjusts eye settings based on user orientation
EP4177831A1 (en) Assisting a person to perform a personal care activity
US12057092B2 (en) Information processing device and information processing method for a head-mounted display
US11847198B2 (en) Information processing apparatus, information processing method, and storage medium
CN115880465A (zh) 一种ar行为识别方法、ar交互方法及其存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant