CN111095334B - 用于执行查看者注视分析的装置和方法 - Google Patents

用于执行查看者注视分析的装置和方法 Download PDF

Info

Publication number
CN111095334B
CN111095334B CN201880057776.3A CN201880057776A CN111095334B CN 111095334 B CN111095334 B CN 111095334B CN 201880057776 A CN201880057776 A CN 201880057776A CN 111095334 B CN111095334 B CN 111095334B
Authority
CN
China
Prior art keywords
gaze
user
item
viewer
computing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880057776.3A
Other languages
English (en)
Other versions
CN111095334A (zh
Inventor
普拉尼·库马尔·萨曼塔
普拉迪普·库马尔·博图
普拉蒂巴·拉伊·帕特勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111095334A publication Critical patent/CN111095334A/zh
Application granted granted Critical
Publication of CN111095334B publication Critical patent/CN111095334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils

Abstract

提供了一种用于执行查看者注视分析的系统和方法。该方法包括：检测可穿戴计算设备的用户穿戴的至少一个物品；检测查看者对用户穿戴的至少一个物品的至少一个注视；以及基于至少一个注视为用户提供至少一个推荐。

Description

用于执行查看者注视分析的装置和方法
技术领域
根据示例实施例的装置和方法涉及分析对用户的查看者注视，具体地，涉及基于查看者注视分析向用户提供推荐。
背景技术
人们常常困惑于选择每天穿戴的衣柜物品，例如服装、鞋类、配饰等。例如，在为上班而打扮时，个人常常会困惑于该穿戴什么或哪种衣服的组合最适合他。类似地，当为诸如民族事件之类的事件选择服装时，个人可能会困惑于他的不同民族服装中的哪一件最适合他。当面临着打扮的不确定性时，人们通常会依赖他人的意见。例如，个人可以征求家人或朋友的意见。然而，基于有限的人集合形成的这些意见可能无法反映出个人在特定着装上的外貌的真实度量。因此，个人可能无法获得关于打扮的正确指导。
当个人购买这种衣柜物品时，也会出现类似情况。例如，考虑这样一种情况，例如个人通过逛服装店和购物中心而亲自购买这些物品。在这种情况下，如果没有其他人陪同，则这个人必须依靠自我判断或服装店助理对某件物品如何适合他的意见。如上所述，即使有其他人陪同，对特定物品如何适合他的意见也可能未反映出真实的度量。在另一种情况下，当个人正在网上购买物品时，与物品有关的建议和推荐通常基于诸如先前购买的物品、最新的流行趋势、由相似年龄组的其他人购买的物品等因素。然而，这些建议或推荐均不能反映该物品适合个人的程度。
发明内容
技术问题
US 7742623 B1描述了基于自动图像测量来估计人们正在寻找的视觉目标的方法和系统。根据图像的质量，基于定位的眼睛和虹膜的位置或根据眼睛图像本身来估计眼睛注视。注视方向是在三维面部姿势的背景下根据眼睛注视测量估计的。基于估计的注视方向、估计的头部姿势和相机校准来确定注视目标。注视目标估计可以根据许多注视实例提供人的注视轨迹或集合注视图。该专利公开了用于注视检测的方法和系统。然而，该专利没有描述向用户提供推荐。
US 7682026 B2描述了用于对有生命的主体(通常是人类)进行注视检测的系统和方法。使用红眼检测技术和三角测量法，主体的瞳孔位于三维空间中。然后，基于主体的虹膜的形状确定注视方向。然而，该专利没有描述所收集的注视数据的利用以及向用户提供建议。
US 2012/0314045 A1描述了一种非侵入式便携式设备，其可从婴儿期到成年时穿戴，并安装有：i)一组两个或更多个光学设备，其提供用户感知的视觉和音频信息；ii)返回关于用户面部的一部分的视觉信息的致动镜或光学设备。可以通过有线或无线传输在板上或在板外对视听信号进行处理。对视听信号的分析尤其可以跟踪用户的注视或面部特征以及对外部刺激的视觉和听觉注意。可穿戴设备专注于用户的注视，而音频信号记录用户的感知和查看。然而，该专利公开没有公开向用户提供推荐。
因此，鉴于上述情况，需要一种解决方案来克服上述缺陷中的至少一个。
问题的解决方案
提供该概述以用简化形式介绍对下面在具体实施方式中进一步描述的构思的选择。该概述既不旨在标识本申请的关键或必要发明构思，也不旨在确定本发明构思的范围。
根据一个实施例，一种方法包括：检测可穿戴相机设备的用户穿戴的至少一个物品；检测查看者对用户穿戴的至少一个物品的至少一个注视；以及基于至少一个注视为用户提供至少一个推荐。
在另一个实施例中，一种系统包括处理器和存储可由处理器执行的指令的存储器，其中处理器被配置为：检测可穿戴计算设备的用户穿戴的至少一个物品；检测查看者对用户穿戴的至少一个物品的至少一个注视；以及基于至少一个注视为用户提供至少一个推荐。在另一个实施例中，一种方法包括：检测可穿戴相机设备的用户穿戴的至少一个物品；检测查看者对用户穿戴的至少一个物品的至少一个注视；基于至少一个注视生成针对用户穿戴的至少一个物品的注视模式；以及向用户提供注视模式。
在另一个实施例中，一种系统包括处理器和存储可由处理器执行的指令的存储器，其中处理器被配置为：检测可穿戴计算设备的用户穿戴的至少一个物品；检测查看者对用户穿戴的至少一个物品的至少一个注视；以及基于至少一个注视为用户提供至少一个推荐。
在另一个示例中，一种计算机程序产品包括用于存储能够由电子设备执行的计算机程序的非暂时性计算机记录介质，其中该计算机程序包括以下操作：检测可穿戴计算设备的用户穿戴的至少一个物品；检测查看者对用户穿戴的至少一个物品的至少一个注视；以及基于至少一个注视为用户提供至少一个推荐。
在另一个示例中，一种计算机程序产品包括用于存储能够由电子设备执行的计算机程序的非暂时性计算机记录介质，其中该计算机程序包括以下操作：检测可穿戴计算设备的用户穿戴的至少一个物品；检测查看者对用户穿戴的至少一个物品的至少一个注视；基于至少一个注视生成针对用户穿戴的至少一个物品的注视模式；以及向用户提供注视模式。
为了进一步阐明本发明的优点和特征，将通过参考在附图中示出的本发明的特定实施例来对本发明构思进行更具体的描述。应当理解，这些附图仅描绘了本发明构思的典型实施例，因此不应视为对其范围的限制。将结合附图以附加的特征和细节来描述和解释本发明构思。
附图说明
当参照附图阅读以下详细描述时，将更好地理解本公开的某些实施例的这些和其他特征、方面和优点，其中在整个附图中，相似的字符表示相似的部分，在附图中：
图1示出了根据实施例的系统；
图2示出了根据另一个实施例的计算设备；
图3示出了根据又一个实施例的计算设备；
图4示出了根据另一个实施例的计算设备；
图5示出了根据实施例的用于向用户提供推荐的示例性方法；
图6示出了根据另一个实施例的用于向用户显示注视模式的示例性方法；
图7示出了用户和该用户的多个物品；
图8示出了用于实现图1的系统的多个示例性设备；
图9A至图9D示出了根据实施例的图1的系统的配置；
图10示出了捕获查看者对用户穿戴的物品的注视；
图11示出了标记查看者对用户的物品的注视；
图12至图19B示出了在用户的计算设备上提供的应用的图形用户界面(GUI)；
图20A至图20C示出了根据一个实施例的用例；
图21A至图21C示出了根据另一个实施例的用例；
图22A至图22B示出了根据一个实施例的用例；
图23A至图23B示出了根据又一个实施例的用例；
图24A至图24C示出了根据一个实施例的用例；
图25A至图25B示出了根据另一个实施例的用例；
图26示出了在用户的计算设备上提供的应用的GUI；以及
图27示出了根据一个实施例的用例。
此外，本领域技术人员将认识到，为了简洁起见示出了附图中的元件，并且附图中的元件可不必按比例绘制。例如，流程图根据所涉及的最突出的步骤来说明该方法，以有助于改进对本公开的各方面的理解。此外，就设备的构造而言，设备的一个或多个组件可能已经通过常规符号在附图中表示，并且附图可以仅示出与理解本公开的实施例有关的那些细节，以便不会因为受益于本文的描述对本领域的普通技术人员来说显而易见的细节而模糊了附图。
具体实施方式
出于促进理解本发明的原理的目的，现在将参考附图中示出的实施例，并且将使用具体语言来描述这些实施例。然而，应当理解的是，本发明构思的范围并不限于此，所示系统中的这种改变和进一步修改以及其中所示的预期的本公开原理的进一步应用对于本发明构思所属领域的技术人员而言将是易于想到的。
本领域技术人员将理解的是，前述总体描述和以下详细描述是本公开的示例性描述并且不旨在对其进行限制。
贯穿本说明书对“一个方面”、“另一个方面”或类似语言的引用表示结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，贯穿本说明书中的短语“在一个实施例中”、“在另一个实施例中”和类似语言可以(但不必)指的是相同的实施例。
术语“包括”、“包括有”或其任何其他变体旨在覆盖非排他性包含，使得包括步骤列表在内的过程或方法不仅包括这些步骤，而且可以包括没有明确列出的或者这种过程或方法所固有的其他步骤。类似地，在没有更多约束的情况下，前面接有“包括……”的一个或多个设备或子系统或元件或结构或组件并不排除其他设备或其他子系统或其他元件或其他结构或其他组件或附加设备或附加子系统或附加元件或附加结构或附加组件的存在。
除非另外定义，否则本文使用的所有技术和科学术语具有与本公开所属领域的普通技术人员通常所理解的含义相同的含义。本文提供的系统、方法和示例仅是说明性的而不旨在是限制性的。
以下将参考附图详细地描述本公开的实施例。
图1示出了根据本公开的实施例的系统100。在一个示例中，系统100可以被实现为捕获注视事件，即，查看者对可穿戴相机设备的用户穿戴的物品的注视。基于捕获的注视，可以执行查看者注视分析，并且相应地，可以向用户提供关于穿戴物品的推荐。
在一个示例中，系统100包括处理器102、可穿戴相机104、物品检测单元106、注视检测单元108、通信单元110、推荐单元112、数据存储单元114和显示单元116。物品检测单元106、注视检测单元108和推荐单元112可以被实现为信号处理器、状态机、逻辑电路和/或基于操作指令来操纵信号的任何其他设备或组件。此外，物品检测单元106，注视检测单元108和推荐单元112可以以硬件、由处理单元执行的指令或其组合来实现。处理单元可以包括计算机、诸如处理器102的处理器、状态机、逻辑阵列或能够处理指令的任何其他合适的设备。处理单元可以是通用处理器，其执行使通用处理器执行所需任务的指令，或者处理单元可以专用于执行所需功能。在另一个示例中，物品检测单元106、注视检测单元108和推荐单元112可以是机器可读指令(软件)，当由处理器/处理单元执行机器可读指令(软件)时，机器可读指令(软件)执行所描述的功能中的任何功能。数据存储单元114可以是用于存储由物品检测单元106、注视检测单元108和推荐单元112中的一个或多个处理、接收和生成的数据的存储库/存储介质/数据存储设备。
如上所述，系统100可以被实现用于查看者注视分析。在一个示例中，系统100在被实现用于查看者注视分析之前被配置。系统100的配置包括构造注视平面、确定诸如身高和宽度之类的用户尺寸以及确定可穿戴计算设备在用户身体上的位置。注视平面可以被理解为与用户的身体结构相对应的多个网格。作为配置系统100的初始步骤，捕获或接收用户的图像。例如，在系统100被实现在可穿戴计算设备中的情况下，用户可以站在镜子前面，并且可以使用可穿戴相机104捕获用户的图像。在另一个示例中，用户可以使用用户的计算设备的相机来捕获图像。随后，用户可以将图像发送到系统100。在该示例中，通信单元110接收用户的图像。在上述任一示例中，在捕获用户的图像时，使用系统100的接近传感器(图1中未示出)记录用户到镜子的距离。在使用计算设备捕获图像的示例中，距离与图像一起被发送到系统100。用户的图像和用户到镜子的距离作为图像数据存储在数据存储单元114中。
一旦记录了图像数据，就可以使用用户输入自动地或半自动地执行系统100的配置。在自动执行系统100的配置的示例中，物品检测单元106从数据存储单元114获得图像，并基于该图像生成注视平面。为了生成注视平面，物品检测单元106将图像划分为多个矩形网格，并且随后实施模式识别算法以识别并标记与用户的身体相对应的网格。即，识别并且例如使用第一标签来标记落在用户身体上的网格。落在用户身体上的网格可以称为虚拟身体区。第一标签可以被理解为指示将考虑标记的网格以用于查看者注视分析的指示符或标识符。未落在用户身体上的其他网格将被丢弃和/或使用第二个标签进行标记。第二标签可以被理解为描绘了标记的网格将不被考虑用于查看者注视分析的指示符或标识符。注视平面存储在数据存储单元114中。
在生成注视平面之后，物品检测单元106基于图像数据确定用户尺寸，例如用户的身高和宽度。为了确定用户的尺寸，物品检测单元106确定图像中用户的身高。基于图像中用户的身高以及用户与镜子之间的距离，物品检测单元106确定用户的尺寸。在一个示例中，用户的尺寸作为用户数据存储在数据存储单元114中。
一旦确定了用户的尺寸，物品检测单元106就确定可穿戴计算设备在用户的身体上的位置。在一个示例中，物品检测单元106基于用户数据和心脏传感器来确定可穿戴计算设备在用户身体上的位置。在该示例中，物品检测单元106可以基于用户数据来确定心脏的位置。一旦确定了心脏的位置，物品检测单元106就使用心脏传感器来确定可穿戴计算设备距心脏的距离。因此，确定了可穿戴计算设备的位置。在另一个示例中，物品检测单元106可以对图像执行模式识别技术，以识别可穿戴计算设备在用户身体上的位置。
因此，以如上所述的方式自动地配置系统100。
如上所述，还可以基于用户输入半自动地配置系统100。在这种情况下，可以基于用户输入来构造注视平面。例如，一旦物品检测单元106将用户的图像划分为多个矩形网格，就可以在计算设备上向用户显示多个网格。随后，用户可以提供用户输入以选择用户感兴趣的一个或多个网格。例如，用户可能仅对针对特定衣物(例如衬衫和裤子)的查看者注视分析感兴趣。在这种情况下，用户选择与对应于衬衫和裤子的身体区相对应的网格。用户选择的网格随后作为注视平面存储在数据存储单元114中。
在另一个示例中，可以基于从用户接收的用户输入来确定用户的尺寸。例如，在系统100的配置期间，可以通过计算设备向用户显示用于提供用户的尺寸作为输入值的应用界面。此后，用户可以提供指定一个或多个用户尺寸(例如身高和宽度)的用户输入。
在另一个示例中，可以基于用户输入来确定可穿戴计算设备的位置。例如，可以使用计算设备向用户显示用户身体的草图。随后，用户可以选择可穿戴计算设备在草图上的位置。在另一个示例中，用户可以提供可穿戴计算设备距身体的顶部和中心的距离作为用户输入。因此，物品检测单元106确定可穿戴计算设备在用户的身体上的位置。
因此，以如上所述的方式半自动地配置系统100。
此外，作为系统100的配置的一部分，物品检测单元106使用图像识别技术来处理图像以检测用户穿戴的多个物品。在处理期间，从图像中检测一个或多个图像层，随后检测一个或多个图像层中的每一个中的物品。除了检测物品之外，还可以识别与物品相关联的一个或多个属性。作为示例，在用户的图像中，物品检测单元106可以检测物品，例如手表、帽子、耳环、眼镜、鞋子、皮带等。另外，物品检测单元106可以识别与各个物品相关联的属性，例如颜色。
在检测到多个物品之后，在一个示例中，物品检测单元106可以生成具有多个物品的列表。通信单元110将该列表发送到计算设备，在该计算设备中将该列表显示给用户。响应于该显示，用户可以从列表中选择要对其执行查看者注视分析的至少一个物品。在一个示例中，用户可以选择列表中的所有物品。然后，将用户选择发送到系统100。因此，物品检测单元106检测到用户穿戴的至少一个物品，其中要对该至少一个物品执行查看者注视分析。此外，在一个示例中，物品检测单元106可以将检测到的至少一个物品映射到多个虚拟身体区中的至少一个虚拟身体区上。例如，物品检测单元106可以检测用户的手表，并且可以将手表映射到与用户的手腕相对应的虚拟身体区。
如上所述，系统100检测到用户当前正在穿戴的物品。在一个实现中，系统100可以为用户创建物品的储存库。在该实现中，除了将当前穿戴的物品添加到储存库之外，系统100还可以提示用户将用户的其他物品添加到储存库。响应该提示，用户可以将其他物品添加到存储库。例如，用户可以使用可穿戴相机104捕获其他物品的图像。基于捕获的图像，系统100可以更新物品的储存库。用户的存储库可以存储在用户数据中。在一个示例中，系统100将来可以使用存储库以用于识别用户穿戴的物品。
另外，在一个实现中，系统100可以接收与用户的物品有关的用户输入。除了当前穿戴的物品之外，用户输入还可以包括例如其他物品，以创建物品的存储库。
在配置系统100之后，可以实现系统100以用于查看者注视分析。以下描述提供了与查看者注视分析有关的细节。
在操作中，注视检测单元108检测查看者对用户穿戴的至少一个物品的至少一个注视。在一个示例中，检测至少一个注视可以基于系统100的至少一个硬件规范，例如，处理能力或相机规范。为了检测至少一个注视，注视检测单元108可以执行注视检测和跟踪技术。在一个示例中，注视检测单元108可以基于利用特殊亮瞳效应的主动红外(IR)照明来实现注视检测技术。在该技术中，通过使用分别不位于光轴上和位于光轴上的一个或多个IRLED照亮查看者的眼睛来获得查看者的暗瞳图像和亮瞳图像。在一个示例中，本文使用的IRLED在40nm的波段中以888nm的标称带宽、32mW的功率工作。基于这两个图像的差异，检测查看者的瞳孔。此后，使用具有10nm宽的通波段(wavelength pass band)的光学带通滤波器。滤波器使信噪比提高了很多倍。本文使用的IR LED交替地操作以提供隔行图像的偶数场和奇数场。此外，经由视频解码对两个隔行输入图像去隔行，从而产生偶数场图像和奇数场图像。对于偶数场图像，IR LED的内环打开，并且IR LED的外环关闭，对于奇数场图像则反之。在一个示例中，从偶数场图像中减去奇数场图像以消除背景和外部光照明。随后，使用阈值因子来改善差异图像。经过上述处理，结果图像包含瞳孔斑点和其他噪声斑点。在一个示例中，然后执行连通分量分析以识别每个二进制斑点(binary blob)从而识别包含瞳孔的斑点。通常，瞳孔斑点为椭圆形，并且注视检测单元108可以执行椭圆滤波方法以识别椭圆形瞳孔斑点。在一个示例中，为了进一步识别瞳孔，注视检测单元108执行支持向量技术。在该示例中，可以一起执行两类模式识别和根据示例的预测学习。对于后续图像，注视检测单元108可以使用均值移位方法来进行眼睛跟踪或瞳孔跟踪。另外，在将眼睛定位在前一帧中之后，注视检测单元108可以使用卡尔曼滤波器来预测眼睛在当前帧中的可能位置。因此，如所说明的，注视检测单元108检测查看者的至少一个注视。
在检测到至少一个注视之后，注视检测单元108确定注视的观看位置。换句话说，注视检测单元108确定查看者正在观看用户的哪个(哪些)物品。在一个示例中，注视检测单元108基于闪烁点和瞳孔之间的相对位置以及一个或多个其他参数来确定观看位置。闪烁点是瞳孔图像附近的小亮点，其是由于角膜表面的光反射引起的。通常，由于与闪烁点和瞳孔重叠的亮瞳图像相比，闪烁点和瞳孔均等地出现在暗图像中，因此可以容易地从暗图像中检测到闪烁点。另一方面，在暗图像中，闪烁点比眼睛图像的其余部分亮得多。一个或多个其他参数包括：
a)基于面部关于注视平面的角度的比率；
b)面内角度，用于考虑面部围绕相机光轴的旋转；以及
c)观察者的面内头部平移。
在一个示例中，除了一个或多个参数之外，注视检测单元108还可以基于查看者到用户的距离和查看者的视角之一来确定观看位置。例如，在该距离等于或大于阈值距离的情况下，查看者的视角可能增大，并且观看位置的确定可能不准确。在这种情况下，注视可以被丢弃。在距离小于阈值距离并且可以准确地确定视角的另一种情况下，注视检测单元108可以保留注视以用于进一步处理。
如上所述，注视检测单元108确定查看者的观看位置。在确定观看位置之后，注视检测单元108可以基于对应的虚拟身体区的区域和阈值时间段中的至少一个将注视映射到至少一个物品上。例如，注视检测单元108可以确定观看位置是否落在至少一个物品上。如果观看位置落在至少一个物品上，则注视检测单元108将注视映射到与该物品相对应的虚拟身体区上。如果注视没有落在至少一个物品上，则注视检测单元108可以丢弃该注视。在另一个示例中，注视检测单元108可以基于阈值时间段来映射注视。例如，注视检测单元108可以识别注视的注视持续时间是否等于或大于阈值时间段。在注视持续时间小于阈值时间段的情况下，注视检测单元108可以丢弃注视。在注视持续时间等于或大于阈值时间段的另一种情况下，注视检测单元108可以将注视映射到与至少一个物品相对应的虚拟身体区上。因此，如所说明的，注视检测单元108检测针对至少一个物品的至少一个注视。另外，在一个示例中，注视检测单元108可以基于至少一个注视来更新与至少一个物品相关联的注视命中计数器。例如，用户可以戴上帽子并且可以穿过市场区域。在这种情况下，对于针对帽子的每个注视，注视检测单元108可以更新该至少一个物品的注视命中计数器。
在将检测到的注视映射到至少一个物品上时，注视检测单元108可以记录与注视相关联的至少一个注视参数。在一个示例中，至少一个注视参数可以是以下之一：
a)至少一个注视的注视持续时间；
b)检测到至少一个注视的位置；
c)查看者的面部照；
d)查看者的身体照；
e)与至少一个注视相关联的时间；
f)与至少一个注视相关联的查看者的面部表情；
g)与至少一个注视相关联的查看者的音频；
h)查看者的身份；
i)查看者的性别；以及
j)至少一个注视的注视标识。
作为示例，考虑用户在购物中心购物并且穿戴着可穿戴计算设备(例如，夹型相机(clip camera))来实现系统100的情况。在这种情况下，夹型相机可以检测查看者对用户穿戴的物品的注视。连同每个注视一起，夹型相机可以记录注视的注视持续时间。此外，夹型相机还可以记录购物中心的位置。此外，在一个示例中，夹型相机可以记录查看者的面部照或身体照。在另一个示例中，夹型相机可以记录与注视相关联的时间。此外，夹型相机可以记录与注视相关联的面部表情。例如，查看者的面部表情可以表示对用户的物品(例如，手表)的喜爱。在查看者可能已经发出声音(例如，“漂亮的手表”)的另一示例中，该声音可以由夹型相机记录。在另一个示例中，夹型相机可以记录用户的身份。例如，在用户在购物中心遇见朋友的情况下，夹型相机记录朋友对用户穿戴的物品的注视，并且可以将注视与朋友的身份(例如，名字)相关联。此外，在一个示例中，夹型相机可以记录查看者的性别。另外，夹型相机可以记录每个注视的注视标识。
在一个示例中，捕获的注视和相关联的注视参数可以作为注视数据存储在数据存储单元114中。下面示出了包括注视数据的示例数据库。
示例注视数据
上面示出的示例注视数据包括分别具有注视标识(ID)Gid1、Gid2和Gid3的三个查看者注视条目。在一个示例中，对于Gid1、Gid2和Gid3中的每一个，可以记录至少一个注视参数。例如，如上所示，与Gid1一起还记录了与查看者相关联的人的身份(ID)PID1。此外，还记录了注视平面网格索引。注视平面网格索引包括虚拟身体区Z44、Z45、Z46、Z54和Z55。当注视被记录时，注视数据还包括用户的GPS位置。在一个示例中，可以使用在用户的可穿戴计算设备或计算设备中的任何一个中设置的GPS传感器来记录用户的GPS位置。此外，还记录了与可穿戴计算设备的位置相对应的虚拟身体区Z10。如上所述，在配置系统100期间记录可穿戴计算设备的位置。此外，还记录查看者注视的位置处的观看落入的虚拟身体区“Z8”。此外，如上所述，还记录了性别“男性”。注视数据还包括与Gid1相对应的开始时间和结束时间。如所示的，还记录了针对Gid2和Gid3的类似条目。
在一个示例中，注视检测单元108可以基于至少一个注视和至少一个注视参数来生成针对至少一个物品的注视模式。与物品相对应的注视模式包括与针对该物品接收的所有注视有关的细节。例如，注视模式可以包括关于物品接收的注视的数量。此外，对于每个注视，注视模式可包括对应的注视参数，例如，位置、时间、查看者的性别等。在一个示例中，注视检测单元108可以将与注视相对应的注视模式存储在注视数据中。可以理解，注视数据可以包括先前生成的注视模式。在一个示例中，可以使用显示单元116将注视模式提供给用户。即，可以使用显示单元116将注视模式显示给用户。
在一个实现中，注视检测单元108可以基于用户定义的规则集合来检测关于至少一个物品的至少一个注视。在一个示例中，用户定义的规则集合可以由用户在系统100的配置期间定义。例如，可以将与用户定义的规则相对应的选项列表呈现给用户，并且用户可以选择用户想要实现的一个或多个规则。在一个示例中，用户定义的规则集合可以包括：
a)用户在预定位置处；
b)在一天的预定义的时间期间检测到注视；
c)查看者是预定义的用户；
d)观众具有预定义的性别；
e)至少一个物品是用户选择的物品；
f)注视具有预定义的持续时间；以及
g)注视频率大于预定义的阈值频率。
在一个示例中，用户定义的规则集合可以适用于检测至少一个注视的任何阶段。例如，在开始注视检测之前，注视检测单元108可以确定可穿戴相机104的位置，并且可以将所确定的位置与预定位置进行比较。在位置与预定位置不匹配的情况下，可以不执行注视检测。例如，当用户在健身房时，用户可能试图使得执行查看者注视分析。在这种情况下，注视检测可以仅在检测到的位置是健身房时才开始。在另一个示例中，仅当至少一个物品是用户选择的物品时，才可以记录注视。例如，用户可能正戴着诸如帽子、手表、头巾和手镯之类的配件。在一个示例中，用户可能仅希望仅针对帽子进行查看者注视分析。在这种情况下，如果注视落在除帽子之外的任何其他物品上，则注视可以被丢弃。可以理解，用户可以选择性地实现用户定义的规则集合。即，用户可以应用用户定义的规则中的一个或多个。在另一个示例中，用户可以选择应用用户定义的规则集合中的全部或不应用用户定义的规则集合。基于用户对用户定义的规则集合的选择，注视检测单元108可以相应地操作以检测关于至少一个物品的至少一个注视。
前面的描述说明了捕获查看者的注视并基于捕获的注视生成注视数据。在一个示例中，注视数据可以用于向用户提供与物品有关的推荐。例如，用户可以在准备工作时寻求建议。在另一个示例中，注视数据可以与诸如服装/时装企业或电子商务企业之类的企业共享。在该示例中，服装/时装企业或电子商务企业可以将注视数据用于目标广告。因此，基于与用户相关联的注视数据，可以将广告形式的有意义的推荐提供给用户。
以下描述说明了关于向用户提供推荐的细节。
在一个示例中，推荐单元112可以基于至少一个注视为用户提供至少一个推荐。例如，推荐单元112可以基于至少一个注视参数来提供穿戴至少一个物品的推荐。在该示例中，推荐单元112可以基于至少一个参数来分析注视数据以用于提供推荐。例如，用户可以针对特定位置(例如，商场)寻求穿戴物品的推荐。在这种情况下，推荐单元112可以基于特定位置来分析注视数据。即，推荐单元112可以基于对应的注视命中计数器从多个物品中识别一个或多个物品。例如，可以识别注视命中计数器为250的物品1、注视命中计数器为220的物品2等等。随后将所识别的一个或多个物品作为推荐提供给用户。
在另一个示例中，推荐单元112可以检测即将到来的事件。例如，推荐单元112可以监视存储在数据存储单元114中的日历数据，并且推荐单元112可以基于日历数据来检测即将到来的事件。在一个示例中，推荐单元112还可以识别与即将到来的事件相关联的至少一个参数。例如，在即将到来的事件是在xyz位置的会议的情况下，推荐单元112可以识别xyz位置参数。在另一个示例中，在即将到来的事件是与朋友的午餐会的情况下，推荐单元112可以识别与即将到来的事件相关联的位置、预定的人、预定的性别。推荐单元112可以如上所述地基于至少一个参数来分析注视数据并且可以提供至少一个推荐。
在又一个示例中，推荐单元112可以提供购买另一物品的推荐。在该示例中，推荐单元112可以基于注视数据来识别具有最高注视命中的用户的物品。例如，可以识别出具有最高注视命中的用户的衬衫。推荐单元112可以基于所识别的物品来提供购买相似物品的推荐。在另一个示例中，推荐单元112可以提供与物品相关联的累积个性指数。在一个示例中，使用显示单元116将与物品有关的推荐提供给用户。
前述描述说明了可以执行查看者注视分析以向用户提供推荐的示例。
在一个示例中，用户可以寻求观看注视数据。在该示例中，用户可以访问在计算设备上提供的应用。在访问该应用时，可以基于至少一个注视参数向用户提供一个或多个选项。例如，可以基于位置、性别、预定义的用户等来向用户提供查看物品的选项。在另一个示例中，选项可以包括物品列表。响应于选项的显示，用户可以选择选项。例如，用户可以选择物品列表，并且可以随后从列表中选择物品。基于用户的选择，注视检测单元108可以检索与所选择的物品相对应的注视模式。随后，注视检测单元108可以通过计算设备的显示器来使得显示与选择的物品相对应的注视模式。
如上文所定义的系统100的各种组件可以形成单个设备的一部分，该单个设备可以例如是可穿戴计算设备的形式，例如智能手表、光学头戴式设备、夹型相机等。
备选地，如上定义的系统的各种组件可以形成两个或更多个设备的一部分。换句话说，可以使用可穿戴计算设备和计算设备中的一个或多个以分布式方式实现系统100。
作为示例，处理器102、可穿戴相机104、物品检测单元106、注视检测单元108、通信单元110、推荐单元112、数据存储单元114和显示单元116中的至少一个可以形成第一设备的一部分。而处理器102、可穿戴相机104、物品检测单元106、注视检测单元108、通信单元110、推荐单元112、数据存储单元114和显示单元116的其余部分可以形成至少一个其他设备的一部分。
作为另一示例，处理器102、可穿戴相机104、物品检测单元106、注视检测单元108、通信单元110、推荐单元112、数据存储单元114和显示单元116中的至少两个可以形成第一设备的一部分。而处理器102、可穿戴相机104、物品检测单元106、注视检测单元108、通信单元110、推荐单元112、数据存储单元114和显示单元116的其余部分可以形成至少一个其他设备的一部分。
在以下段落中，将说明以分布式方式实现的系统100的非限制性示例。
图2示出了根据实施例的系统100的实现。如图2所示，系统100可以在可穿戴计算设备200中实现，并且可以包括处理器102、可穿戴相机104、物品检测单元106、注视检测单元108、通信单元110-1、推荐单元112和数据存储单元114。可穿戴计算设备200的示例可以包括但不限于：智能手表、相机夹、光学头戴式单元等。在一个示例中，可穿戴计算设备200与用户的计算设备202耦合。计算设备202可以是智能电话、膝上型计算机、平板电脑、个人计算机等，并且可以包括通信单元100-2、相机204和显示单元116。如以上参考图1所描述的，系统100可以执行查看者注视分析，并且可以随后提供与物品有关的推荐。
在一个示例中，使用计算设备202向用户显示推荐。在该示例中，通信单元110-1将由推荐单元112生成的推荐发送到计算设备202的通信单元110-2。随后，计算设备202的显示单元116可以向用户显示推荐。
图3示出了根据实施例的系统100的实现。在该实施例中，系统100以分布式方式实现。如图3所示，可穿戴计算设备300包括处理器102、可穿戴相机104、通信单元110-1和数据存储单元114-1。进一步地，如图3所示，计算设备302包括通信单元110-2、物品检测单元106、注视检测单元108和推荐单元112。此外，计算设备302包括显示单元1.16和相机304。
在一个实现中，可穿戴计算设备300的可穿戴相机104可以用于捕获用户的图像。然后，使用通信单元110-1将捕获的图像发送到计算设备302。在接收到图像时，计算设备302以上述图1中描述的方式执行系统100的配置。
在另一实现中，可以使用计算设备302的相机304来捕获用户的图像，并且可以基于所捕获的图像来执行系统100的配置。
在一个实现中，在配置系统100之后，系统100可以被实现用于查看者注视分析。在该实现中，可穿戴计算设备300可以被配置为捕获查看者的图像并将查看者的图像发送到计算设备302。用于查看者注视分析的图像的后续处理可以由计算设备302以上述图1中描述的方式执行。此外，可以在计算设备302上生成推荐并且随后通过显示单元116将推荐显示给用户。
图4示出了根据实施例的实现系统100的环境。该环境包括可穿戴计算设备400、计算设备402和服务器404。可穿戴计算设备400包括处理器102、可穿戴相机104、物品检测单元106、注视检测单元108、通信单元110-1和数据存储单元114。计算设备402包括通信单元110-2和显示单元116。在该实施例中，推荐单元112被设置在服务器404中。在一个示例中，服务器404可以由诸如时装企业、服装企业和电子商务企业之类的企业实现，以基于注视数据向用户提供物品推荐。服务器404还包括通信单元110-3。
此外，在该环境中，可穿戴计算设备400、计算设备402和服务器404可以使用网络408彼此交互。网络408可以是无线网络、有线网络或其组合。网络408还可以是单个网络或彼此互连并且用作单个大型网络(例如，互联网或内联网)的许多单个网络的集合。网络408可以被实现为诸如内联网、局域网(LAN)、广域网(WAN)、互联网等的不同类型的网络之一。此外，网络408可以实现各种有线或无线通信协议，例如蓝牙和/或Wi-Fi，以促进各种网络设备与通过网络408连接的其他设备之间的互连。
在一个实现中，可穿戴计算设备400可以被实现用于捕获查看者对用户物品的注视。基于捕获的注视，可穿戴计算设备生成注视数据。如此生成的注视数据可以用于向用户提供与物品有关的推荐。在一个示例中，通信单元110-1可以将注视数据发送到服务器404。在通过通信单元110-3接收到注视数据时，推荐单元112可以以上述图1中描述的方式分析注视数据。基于对注视数据的分析，推荐单元112可以为用户生成与物品有关的推荐。在一个示例中，通信单元110-2可以将推荐发送到计算设备402。在一个示例中，通信单元110-2可以接收推荐。之后，可以使用显示单元116将推荐显示给用户。
图5示出了根据实施例的用于向用户提供推荐的示例性方法500。图6示出了根据实施例的用于向用户显示注视模式的示例性方法600。描述方法500和600的顺序不应解释为限制，而是可以以任何顺序组合任意数量的所描述的方法框以实现方法500和600或备选方法。另外，在不脱离本文描述的发明构思的范围的情况下，可以从方法500和方法600中删除各个框。此外，方法500和方法600可以任何合适的硬件、软件、固件或其组合来实现。
参考图5，在框502处，检测可穿戴计算设备的用户穿戴的至少一个物品。在一个示例中，物品检测单元106可以检测至少一个物品。可以基于用户的图像来检测用户穿戴的至少一个物品。例如，可以访问存储在存储设备中的图像，并且随后可以基于该图像识别多个物品。在一个示例中，可以执行图像识别技术以检测多个物品。此后，可以将物品列表呈现给用户，并且可以接收对至少一个物品的选择。在一个示例中，至少一个物品可以被映射到多个身体区中的至少一个虚拟身体区上。多个虚拟身体区可以构成基于图1中描述的图像构造的注视平面。
在一个示例中，在检测到用户穿戴的至少一个物品之前，可以基于用户的图像来构造注视平面。注视平面包括多个矩形网格。可以从多个网格中识别并标记落在用户的身体结构或身体上的网格。标记的网格稍后用于查看者注视分析。另外，可以基于图像和用户输入之一来确定用户的尺寸，例如用户的身高和宽度。此外，在一个示例中，可以基于图像和用户输入来检测可穿戴计算设备的位置。
在框504处，检测查看者关于用户穿戴的至少一个物品的至少一个注视。在一个示例中，可以捕获查看者的眼睛的图像。随后，可以通过对查看者的图像执行瞳孔检测技术来识别查看者的瞳孔。可以执行进一步处理以用于确定查看者的观看位置。基于观看位置来识别查看者是否正在观看至少一个物品。在观看位置在至少一个物品上的情况下，检测到查看者的至少一个注视是关于用户穿戴的至少一个物品的。在一个示例中，检测注视可以基于一个或多个参数或因子，例如查看者距用户的距离、查看者的视角和阈值时间段。此外，参数可以包括至少一个虚拟身体区的区域、其中实现系统100的设备的至少一个硬件规范以及以上参考图1描述的用户定义的规则。
如以上参考图1所描述的，前述参数可能在注视检测的各个阶段影响注视的检测。在一个示例中，注视检测模块108可以检测关于用户穿戴的至少一个物品的至少一个注视。
在框506处，基于至少一个注视为用户提供至少一个推荐。在一个示例中，至少一个推荐可以是基于至少一个注视参数的穿戴至少一个物品的推荐。例如，至少一个推荐可以是穿戴特定衬衫去商场的推荐。在另一个示例中，至少一个推荐可以是为即将到来的事件穿戴至少一个物品的推荐。在另一个示例中，至少一个推荐可以是购买另一个物品的推荐。在一个示例中，至少一个推荐可以是与至少一个物品相关联的累积个性指数。在一个示例中，可以通过分析注视数据来提供至少一个推荐。注视数据可以包括与用户穿戴的物品相关联的先前记录的注视模式。在一个示例中，推荐单元112可以基于用户穿戴的至少一个物品来为用户提供至少一个推荐。
参考图6，框602和框604分别类似于框502和框504，并且以如上所述的方式执行。参照框606，基于至少一个注视来生成针对用户穿戴的至少一个物品的注视模式。在一个示例中，在检测到注视时，可以记录与注视相关联的至少一个注视参数。例如，可以记录至少一个注视的注视持续时间、当检测到至少一个注视时用户的位置、查看者的面部照以及查看者的身体照。在另一个示例中，连同前述参数一起，可以记录与至少一个注视相关联的时间、与至少一个注视相关联的查看者的面部表情以及与至少一个注视相关联的查看者的音频。在另一个示例中，还可以记录身份，例如，查看者的姓名、查看者的性别以及至少一个注视的注视标识。至少一个注视参数与注视一起被存储为注视模式。在一个示例中，注视检测单元108可以基于至少一个注视来生成注视模式。在一个示例中，可以基于注视模式和至少一个注视参数来更新注视数据。注视数据可以包括先前记录的注视模式。
在一个示例中，上面记录的注视数据可以用于向用户提供与物品有关的至少一个推荐。在该示例中，可以例如基于用户选择的一个或多个注视参数来分析注视数据，并且因此可以提供推荐。
在框608处，将注视模式提供给用户。注视模式可以包括与物品有关的细节。例如，注视模式可以包括与物品有关的注视命中的数量。对于每个注视命中，注视模式可以包括其他细节，例如用户的位置、一天中的时间、注视的持续时间、查看者的性别、查看者的图像等。在一个示例中，可以通过显示单元116将注视模式提供给用户。
图7示出了用户700和用户700的多个物品702-1、702-2、702-3、702-4、……、702-N。多个物品702-1、702-2、702-3、702-4、……、702-N可以被统称为物品702，并且可以被单独地称为物品702。物品702的示例可以包括但不限于：眼镜、耳塞、珠宝、戒指、脚踝带、鞋子、智能鞋、腕带、手表、纹身、服装、夹克、衬衫、皮带、领带、裤子、凉鞋、LED服装等等。根据本公开的原理，可以捕获从查看者接收的对物品702的注视，并且以与物品702的映射关系将该注视存储在数据库中。例如，关于用户700的手表接收的所有查看者注视可以被映射到手表并存储在数据库中。类似地，关于物品702接收的所有查看者注视以与相应物品702的映射关系存储在数据库中。除了注视的映射之外，还可以记录与注视有关的注视参数。如上所述，注视参数包括注视持续时间、检测到注视的位置、查看者的面部照以及查看者的身体照。此外，注视参数还可以包括记录注视的时间、查看者的面部表情、查看者的音频、查看者的身份、查看者的性别以及与注视相关联的注视标识。此外，在一个示例中，对于针对物品702接收的每个注视，更新相应的注视计数器。因此，记录了关于物品702接收到的注视的数量。随后可以使用如此收集的数据(在本文中被称为注视数据)以用于向用户700提供推荐。
在一个示例中，可以基于注视参数来提供推荐。例如，用户可以寻求与他可以穿戴到工作场所的物品有关的推荐。在该示例中，用户700可以选择位置作为工作场所。基于接收到的位置和与物品702相对应的注视计数器，可以将与物品702有关的推荐提供给用户700。例如，可以识别具有最高的相应注视计数器的衬衫、裤子、皮带、手表和鞋类，并将其作为推荐提供给用户700。
图8示出了可以用于实现系统100的多个设备800-1、800-2、800-3、800-4、……、800-N。多个设备800-1、800-2、800-3、800-4、……、800-N可以统称为设备800，并且可以被单独地称为设备800。在一个示例中，设备800可以包括可穿戴计算设备，例如相机眼镜、相机夹、智能手表等。在另一个示例中，设备800可以包括计算设备，例如智能电话、平板电脑、个人数字助理(PDA)、膝上型计算机、工作站计算机、个人计算机等。在又一个示例中，设备800可以包括服务器(图8中未示出)。该服务器可以由诸如服装/时装行业和电子商务行业之类的企业来实现，以向用户呈现推荐服务。
图9A至图9D示出了根据实施例的系统100的配置。参考图9A，用户900可以穿戴可穿戴计算设备902，如图9A所示。通过使用可穿戴计算设备902的相机，用户900可以点击他自己的图像904。在一个示例中，可以以上述的用于配置系统100的方式对图像904进行处理。例如，可以基于图像904来构建注视平面。此外，可以确定用户的尺寸，例如用户900的身高和宽度。此外，可以检测可穿戴计算设备902的位置和用户穿戴的至少一个物品906。
参考图9B，可以使用诸如智能电话的计算设备908来半自动地配置系统100。在一个示例中，为了配置系统100，可以向用户提供多个选项910-1、910-2、910-3、……、910-N。多个选项910-1、910-2、910-3、……、910-N可以被统称为选项910，并且可以被单独地称为选项910。如图9B所示，通过使用选项910，用户可以指定身高和性别。此外，用户可以通过选项910选择语言、定义隐私级别并选择自动登录服务。此外，用户可以使用选项910选择个人索引、选择与可穿戴计算设备的位置相对应的区、选择位置设置以及与注视相对应的基于时间的设置。
参考图9C，示出了注视平面912。注视平面912包括网格914和网格916。网格914表示落在用户身体上的网格。网格916表示未落在用户身体上的网格。为了简洁起见，在图9C中仅标记了一个网格914和一个网格916。在一个示例中，如上所述，仅网格914可以用于执行查看者注视分析。术语“网格”可互换地称为虚拟身体区。
参考图9D，示出了定制的注视平面918。定制的注视平面918是包括用户选择的网格的注视平面，其中用户选择的网格要用于查看者注视分析。如图9D所示，用户可以选择网格920，并且可以丢弃网格922。随后考虑选择的网格920以用于查看者注视分析。
图10示出了捕获查看者对用户穿戴的物品的注视。如图10所示，用户1000可以穿戴可穿戴计算设备1002。在一个示例中，可穿戴计算设备1002可以分别从查看者1006-1和1006-2捕获注视1004-1和1004-2。可以基于捕获的注视来确定注视1004-1和1004-2的观看位置。随后，可以将注视1004-1和1004-2与注视1004-1和1004-2所落在的物品映射在一起。尽管在图10中仅示出了一个可穿戴计算设备1002，但是可以理解，用户1000可以实现多于一个可穿戴设备1002。在一个示例中，由用户实现的一个或多个可穿戴计算设备可以彼此通信以捕获来自查看者的注视。
参考图11，示出了标记查看者(图11中未示出)对用户的物品906的注视。为了简洁起见，在图11中仅示出了一个注视的映射。在图11中，示出了与注视平面912相似的注视平面1100。如注视平面中所示，查看者对用户的物品906的注视被映射到网格1102上。网格1102表示注视的观看位置落在注视平面上的网格。此外，网格1102形成与物品906相对应的网格集合的一部分。因此，注视被映射到物品906。相似地，以类似的方式标记查看者对用户的其他注视。
在配置设备并从查看者捕获注视之后，用户可以通过在用户的计算设备上提供的应用来访问查看者注视分析的结果。以下描述说明了应用的图形用户界面(GUI)。
图12至图19B示出了在用户的计算设备上提供的应用的图形用户界面(GUI)。在一个示例中，用户可以访问该应用以查看与查看者注视分析有关的各种结果。参考图12，示出了GUI 1200。GUI 1200示出了应用的主屏幕。如图12所示，GUI 1200向用户提供各种选项。例如，选项1202向用户提供选择用户的可穿戴计算设备的选项。在一个示例中，在选择可穿戴计算设备之后，用户可以配置所选择的可穿戴计算设备。在另一个示例中，在可穿戴计算设备的选择之后，可以向用户呈现通过所选择的可穿戴计算设备捕获的查看者注视。
选项1204向用户提供选择查看对应注视的区域的选项。例如，如图12所示，可以向用户提供查看关于用户的整个身体接收到的注视的选项。在另一个示例中，用户可以选择查看关于特定身体部位接收到的注视的选项。在又一示例中，用户可以选择查看关于用户的配件接收到的注视的选项。选项1206向用户提供关于用户的最新外观完成的查看者注视分析的选项。在一个示例中，该选项还可以显示指示针对用户的最新外观接收到的总注视命中的数量。如图12所示，针对用户的最新外观，用户已经接收到200次注视命中。在选择选项1206时，可以以分支的方式向用户呈现关于外观中的用户的每个物品接收到的注视命中。
选项1208向用户提供各种其他选项。例如，可以向用户呈现查看用户的不同可穿戴物品的照片以及针对每个物品接收到的注视命中的选项。在另一个示例中，可以向用户提供外观分析的选项。此外，可以向用户提供配置即将到来的事件的选项。在配置事件之后，可以向用户提供与服装有关的推荐/建议，该服装包括由用户可以为事件而穿戴的多个可穿戴物品。在一个示例中，服装可以包括来自用户的衣柜的可穿戴物品。在另一个示例中，服装可以包括用户尚未拥有的一个或多个可穿戴物品。在该示例中，可以向用户提供一个或多个源，例如，在线链接和商店地址，其中用户可以从所述一个或多个源购买可穿戴物品。在另一个示例中，服装可以包括用户拥有的物品和用户尚未拥有的物品两者的混合。在这种情况下，如前所述，可以将用于购买用户尚未拥有的物品的源提供给用户。
此外，可以向用户提供选择要捕获其注视的查看者的选项。在一个示例中，通过使用该选项，用户可以选择要捕获其注视的一个或多个查看者，例如朋友和家庭成员。在另一个示例中，用户可以使用该选项来选择性别。在这种情况下，可以仅捕获来自具有所选择的性别的查看者的注视。
此外，可以向用户呈现查看一个或多个建议/推荐的服装/外观的选项。通过使用该选项，用户可以查看推荐的外观/服装。在一个示例中，一旦用户已经选择了前述选项，就可以向用户提供另一选项，由此用户可以通过诸如位置、事件等的参数来过滤外观/服装。作为示例，用户可以基于诸如商场的位置来过滤选项，并且可以接收与最适合于商场的外观/服装有关的推荐。
此外，可以向用户呈现选项，由此用户可以查看并获得基于存储的注视数据对服装/外观的分析。在这种情况下，用户可以穿戴衣服/外观，并且随后可以捕获他自己的图像。可以基于捕获的图像来检测可穿戴物品，并随后基于存储的注视数据对其进行分析。例如，可以分析相似的可穿戴物品和针对此类相似的可穿戴物品的相应注视命中。因此，确定服装/外观是否适合用户。此外，可以向用户呈现访问和修改设置的选项。通过使用该选项，用户可以定制个人和应用的配置以查看特定结果。
参考图13，示出了GUI 1300。GUI 1300向用户提供了用户今天穿戴的外观/服装的分析。例如，指示符1302指示用户针对外观/服装接收到的总注视命中。此外，一个或多个指示符1304指示关于用户的各个物品接收到的注视命中。例如，如图13所示，用户得到了针对她的手表的60次注视命中、针对她的牛仔裤的20次注视命中、针对她的凉鞋的30次注视命中，等等。此外，GUI 1300向用户提供选项(多个选项)1306，以用于通过多个社交媒体平台与其他用户共享外观/服装分析。此外，GUI 1300向用户提供过滤和分析选项1308。根据选项1308，用户可以基于查看者的性别过滤注视命中。根据另一选项1308，用户可以基于位置过滤注视命中。例如，用户今天可能已经去过商场和咖啡店。用户可以选择仅查看在咖啡店中接收到的注视命中。因此，用户可以将位置设置为咖啡店。根据另一选项1308，用户可以查看与关于特定可穿戴物品接收到的注视有关的细节。例如，用户可以选择查看与关于她的手表接收到的注视有关的细节。在接收到对手表的选择时，可以向用户呈现包括与关于手表接收到的每个注视相关联的注视参数在内的信息。例如，可以将关于注视记录的位置、注视持续时间、性别、照片、注视ID等显示给用户。
参考图14，示出了GUI 1400。GUI 1400向用户提供用户的多张照片。这些照片可以包括用户的特定物品、用户的完整外观/服装、用户的配件等。在一个示例中，通过GUI 1400中提供的选项1402，用户可以过滤呈现给用户的照片。例如，用户可以查看最新照片。在另一个示例中，用户可以选择查看他/她最受欢迎的外观。在又一个示例中，用户可以选择查看他/她的配件的照片。如图14所示，用户可以选择查看最新照片。因此，向用户显示多张照片1404。在一个示例中，与每张照片相关联的注视命中与照片一起显示给用户。例如，如图14所示，用户的耳环的照片1404已经从查看者接收到98次注视。
参考图15，示出了GUI 1500。GUI 1500向用户提供了关于物品、服装、用户可以尝试的外观的外观分析。例如，用户可能想要了解服装店中的特定裙子在她身上的外观。为此，用户可以穿上裙子并随后捕获自己的图像。在一个示例中，基于注视数据来分析图像，并且因此向用户提供分析结果。例如，如图15所示，用户可以尝试裙子1502。基于该分析，向用户呈现结果部分1504。结果部分1504可以向用户提供关于裙子的注视命中。另外，向用户提供推荐1506。此外，在一个示例中，可以向用户呈现与用户可以尝试的其他物品有关的其他推荐1508。
参考图16，示出了GUI 1600。GUI 1600向用户提供了与外观/服装有关的推荐。在一个示例中，可以基于场合/出游的类型向用户呈现推荐。例如，如图16所示，对于休闲出游/事件，向用户呈现多个推荐1602。此外，对于聚会出游/事件，向用户呈现多个推荐1604。如前所述，建议1602和1604是基于系统100记录的注视数据的。
参考图17，示出了GUI 1700。GUI 1700向用户提供了选择要捕获其查看者注视的查看者的类型的选项1702。在一个示例中，用户可以通过选择选项1702-1选择捕获来自每个人的查看者注视。在另一个示例中，用户可以通过选择选项1702-2选择仅捕获来自女性的查看者注视。在另一个示例中，用户可以通过选择选项1702-3选择仅捕获来自男性的查看者注视。在又一个示例中，用户可以通过选择选项1702-4选择捕获来自选定人员的查看者注视。通过使用选项1702-4，用户可以随后选择可以捕获其查看者注视的人，例如朋友、家庭成员、同事等。
参考图18，示出了GUI 1800。GUI 1800向用户提供了与即将到来的事件有关的一个或多个推荐。例如，如图18所示，针对即将到来的事件1802(例如，婚礼事件)，向用户提供一个或多个推荐1804。
参考图19A，示出了GUI 1900。GUI 1900表示示例界面，由此用户可以改变一个或多个个人或应用设置。例如，如图19A所示，GUI1900向用户提供多个选项1902-1、1902-2、1902-3、……、1902-N，其统称为选项1902。通过使用选项1902，用户可以改变诸如隐私设置、语言设置、登录设置、通知设置、联系人同步设置等的设置。作为示例，通过使用选项1902-N，用户可以将其电子邮件联系人与应用同步。在另一个示例中，通过使用选项1902-3，用户可以选择他/她偏好的语言。
参考图19B，示出了GUI 1904。GUI 1904表示另一示例界面，由此用户可以改变一个或多个个人或应用设置。如图19B所示，GUI1904向用户提供多个选项1906-1、1906-2、……、1906-N，其统称为选项1906。在一个示例中，通过使用选项1906，用户可以定义/改变与注视参数有关的设置。例如，用户可以选择启用选项1906，由此记录检测到注视的时间。类似地，在另一个示例中，用户可以选择选项1906，由此系统100的位置与注视一起被记录。
图20A至图20C示出了一个用例，由此系统100被实现为捕获来自特定用户的查看者注视。考虑用户A是性格内向并希望与用户B成为朋友的情况。在这种情况下，用户A可以选择选项2002，如图20A的GUI 2000所示。选项2002使得能够捕获特定用户(在这种情况下为用户B)的查看者注视。在选择选项2002时，捕获了从用户B接收的查看者注视。参考图20B，示出了GUI 2004，该GUI 2004示出了从用户B接收的查看者注视的结果分析2006。如图20B所示，结果分析2006示出了从用户B接收到的注视的每日分解。例如，在6月22日，用户A从用户B接收到250次注视。如前所述，在一个示例中，系统100可以记录来自查看者的面部表情和声音作为注视参数。这样的注视参数可以用于执行查看者注视分析。例如，可以在捕获注视的同时记录来自用户B的面部表情和/或声音。因此，可以生成描绘用户B对用户A的情绪的图形(在图20C中示出)。图20C示出了GUI 2008。GUI 2008包括基于从用户B捕获的注视描绘用户B对用户A的情感的图形2010。基于如上所述的查看者注视分析，用户A可以与用户B交朋友。
图21A至图21C示出了在服装/时装行业中实现系统100的用例。在这个行业中，系统100可以由时装/服装企业(例如企业A)实现，以捕获与最新服装趋势有关的数据，并参考最新服装趋势了解公众的偏好。作为示例，企业A可以将可穿戴计算设备固定在要在时装秀期间显示的衣物上。如图21A所示，当衣物展示给公众时，来自查看者的多个注视2100以先前在图1中描述的方式被捕获并作为注视数据存储。可以对捕获的注视数据执行查看者注视分析，并且可以随后查看结果分析。例如，如图21B所示，通过GUI 2104显示针对衣物2102的结果分析。如图21B所示，使用指示符2106显示注视命中的总数。还使用指示符2108-1、2108-2和2108-3显示其他单独的注视命中。类似地，如图21C所示，通过GUI 2112显示针对另一个衣物2110的结果分析。如图21C所示，使用指示符2114显示注视命中的总数。基于结果分析，企业A可以了解公众对最新时尚趋势的偏好，并因而可以计划其服装系列。
图22A至图22B示出了向用户提供与穿戴/购买衣物有关的推荐的用例。如图22A所示，用户2200可能对为了工作、聚会和事件要穿什么衣物感到困惑。在一个示例中，用户2200可以使用如前所述的可穿戴计算设备和计算设备来实现系统100。因此，可以向用户2200提供与衣物有关的推荐。例如，如图22B所示，可以向用户提供与用户2200可以穿着去办公室、处理事件、聚会等的衣物有关的多个推荐2202。在一个示例中，推荐2202可以涉及来自用户2200的衣柜的衣物。在另一个示例中，推荐2202可以涉及用户2200可以购买的衣物。如图22B所示，通过GUI 2204将推荐2202显示给用户2200。
图23A至图23B示出了将购物推荐提供给用户的用例。如前所述，系统100维护用户衣柜的存储库，并捕获从查看者接收到的关于用户正穿戴的物品的注视。因此，对于用户的每个物品，维护注视计数。因此，在用户可能希望外出购物的情况下，用户可以寻求与他/她可以购买的衣物有关的推荐。在这种情况下，系统100基于针对用户收集的注视数据提供用于购买衣物的推荐。在一个示例中，推荐可以基于颜色、样式、图案、用户的受欢迎外观等。图23A示出了GUI 2300。如图23A所示，GUI 2300向用户显示针对休闲穿戴和聚会穿戴的多个推荐2302。类似地，图23B示出了GUI 2304，其中向用户显示针对聚会和休闲穿戴的多个推荐2306。因此，在一个示例中，系统100用作自助购物助手。
图24A至图24C示出了将购物推荐提供给用户的用例。在该用例中，向寻求在服装店购买衣物的用户提供购物帮助。在一个示例中，商店可以在展示衣物的模特上部署设备。例如，如图24A所示，将设备2400部署在展示衣物2404的模特2402上。在该示例中，设备2400可以捕获关于衣物2404接收的查看者注视。基于捕获的注视，设备2400可以维护关于衣物2404接收的注视命中的记录。在一个示例中，用户2406可以使用计算设备2408来检索与衣物2404有关的注视数据。参考图24B，示出了GUI 2410，该GUI 2410示出了基于注视数据的结果分析2412。结果分析2412可以包括接收到的查看的总数、从每种性别接收到的查看、以及商店可能具有的类似裙子。
基于结果分析，用户2406可以决定尝试衣物2404。在一个示例中，在尝试衣物2404之后，用户2406可以点击自身图像。基于与用户相关联的自身图像和注视数据，可以向用户提供指示衣物2404是否适合他的结果分析。在另一个示例中，如图24C所示，用户2406可以站在智能镜2414的前面，并且可以将与用户相关联的注视数据与智能镜2414同步。智能镜2414可以被理解为包括相机2416和用于执行本文所述功能的一个或多个硬件单元的镜子。在该示例中，相机2416可以捕获用户2406的图像。基于与用户2406相关联的图像和注视数据，智能镜2414可以向用户2406提供结果分析2418。结果分析2418可以包括衣物2404的查看次数，并且可以包括关于用户2406是否应该购买衣物2404的建议。因此，用户2406被协助购物。
图25A至图25B示出了系统100识别用户可能穿戴的独特物品的用例。参考图25A，示出了用户2500穿着鞋子2502。在一个示例中，用户2500可以接收多个查看者注视2504-1、2504-2、……、以及2504-N，其统称为注视2504。在注视2504的数量变为等于或大于阈值数量的示例中，可以通知用户2500。例如，鞋子2502可能是有缺陷的，因此可能会接收大量的注视2504。在另一个示例中，鞋子2502可能是独特的并且颜色良好，因此可以接收大量的注视2504。参考图25B，示出了GUI 2506。GUI 2506包括指示符2508，该指示符2508指示独特物品，即，鞋子2502。在一个示例中，关于鞋子2502接收到的注视命中也可以被显示在GUI2506上。基于该通知，在一个示例中，如果需要对鞋子2502进行任何修理/更换，则用户2500可以采取必要的措施。
参考图26，示出了GUI 2600。在一个示例中，用户可以寻求查看已经接收到查看者注视的位置。在该示例中，系统100可以分析注视数据并且可以在GUI 2600上显示结果。例如，如图26所示，示出了多个位置2602-1、2602-2、……、2602-N，其统称为位置2602。位置2602指示已经接收到查看者注视的位置。在一个示例中，用户可以基于位置过滤注视。在另一个示例中，用户可以选择已经接收到最大注视命中的位置。
图27示出了用户可以与他/她的朋友共享结果分析的用例。在图27中，示出了GUI2700。GUI 2700是消息传递应用的界面，用户可以通过该界面与他/她的朋友共享结果分析。GUI 2700包括针对用户的特定衣物2704的结果分析的快照2702。因此，用户可以从他/她的朋友接收与衣物2704有关的反馈。例如，用户可能希望穿着衣物2704去聚会，因此可以与他/她的朋友共享针对该衣物2704的结果分析。
实施例可以实现为计算机可读记录介质中的计算机可读代码。本领域计算机编程人员可以容易地推断出构成该计算机程序的代码和代码段。计算机可读记录介质包括存储有计算机可读数据的所有类型的记录介质。计算机可读记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘和光学数据存储设备。此外，记录介质可以以诸如互联网传输之类的载波的形式来实现。另外，可以通过网络向计算机系统分配计算机可读记录介质，其中可以按照分布方式存储和执行计算机可读代码。用于执行根据各种实施例的方法的指令可以存储在非暂时性可读介质上。
尽管已经使用特定语言来描述本公开，但是并不旨在由此引起任何限制。对于本领域技术人员而言显而易见的是，可以对该方法进行各种工作修改，以实现本文所教导的发明构思。附图和前面的描述给出了实施例的示例。本领域技术人员将理解，所描述的元件中的一个或多个可以很好地组合成单个功能元件。备选地，某些元件可以被分成多个功能元件。来自一个实施例的元件可以被添加到另一实施例中。

Claims (13)

1.一种用于执行查看者注视分析的方法，包括：
由可穿戴计算设备的处理器通过使用所述可穿戴计算设备的相机来访问所述可穿戴计算设备的用户的图像；
由所述处理器基于所述用户的图像来识别所述可穿戴计算设备的用户穿戴的至少一个物品，其中，所述可穿戴计算设备由所述用户穿戴并且不同于所述至少一个物品；
由所述处理器通过使用所述相机来检测多个查看者的注视，所述注视中的每个注视朝向所述可穿戴计算设备的用户穿戴的所述至少一个物品；以及
由所述处理器基于所述注视为所述用户提供至少一个推荐，
其中，所述至少一个推荐是以下之一：
基于与所述注视相关联的至少一个注视参数穿戴所述至少一个物品的推荐；
针对即将到来的事件穿戴所述至少一个物品的推荐；以及
基于所述至少一个物品购买另一个物品的推荐。
2.根据权利要求1所述的方法，还包括：存储与所述注视相关联的至少一个注视参数，
其中所述至少一个注视参数包括以下项中的至少一项：
所述注视中的每个注视的注视持续时间；
检测到所述注视中的每个注视的位置；
所述多个查看者中的每个查看者的面部照；
所述多个查看者中的每个查看者的身体照；
与所述注视中的每个注视相关联的时间；
所述多个查看者中的每个查看者的音频；
所述多个查看者中的每个查看者的身份；
所述多个查看者中的每个查看者的性别；以及
所述注视中的每个注视的注视标识。
3.根据权利要求1所述的方法，还包括：
基于所述注视和与所述注视相关联的至少一个注视参数，生成针对所述用户穿戴的所述至少一个物品的注视模式；以及
至少基于所述注视模式来更新注视数据。
4.根据权利要求3所述的方法，其中，提供包括：基于所述至少一个注视参数来分析所述注视数据，以提供所述至少一个推荐。
5.根据权利要求3所述的方法，还包括：
检测所述即将到来的事件；以及
基于所述至少一个注视参数来分析所述注视数据，以提供所述至少一个推荐。
6.根据权利要求1所述的方法，还包括：
基于所述用户的图像和用户输入中的至少一个来计算所述用户的宽度和身高；以及
基于所述用户的图像和所述用户输入中的至少一个来检测所述可穿戴计算设备的位置。
7.根据权利要求1所述的方法，还包括：将所述用户穿戴的所述至少一个物品从多个身体区映射到至少一个虚拟身体区上。
8.根据权利要求7所述的方法，其中，检测所述注视包括：基于以下项中的至少一项将所述注视映射到所述至少一个虚拟身体区上：
所述多个查看者中的每个查看者与所述用户的距离；
所述多个查看者中的每个查看者的视角；
阈值时间段；以及
所述至少一个虚拟身体区的区域。
9.根据权利要求1所述的方法，其中，所述方法由系统实现，并且其中，检测所述注视基于所述系统的至少一个硬件规范。
10.根据权利要求1所述的方法，其中，检测所述注视还基于用户定义的规则集合，所述用户定义的规则集合包括以下项中的至少一项：
所述用户在预定位置处；
在一天的预定义的时间段期间检测到所述注视中的每个注视；
所述多个查看者中的每个查看者是预定义的用户；
所述多个查看者中的每个查看者具有预定义的性别；
所述至少一个物品是用户选择的物品；
所述注视中的每个注视具有预定义的持续时间；以及
注视频率大于预定义的阈值频率。
11.一种用于执行查看者注视分析的方法，包括：
由可穿戴计算设备的处理器通过使用所述可穿戴计算设备的相机来访问所述可穿戴计算设备的用户的图像；
由所述处理器基于所述用户的图像来识别所述可穿戴计算设备的用户穿戴的至少一个物品，其中，所述可穿戴计算设备由所述用户穿戴并且不同于所述至少一个物品；
由所述处理器通过使用所述相机来检测多个查看者的注视，所述注视中的每个注视朝向所述可穿戴计算设备的用户穿戴的所述至少一个物品；
由所述处理器基于所述多个查看者的检测到的注视生成针对所述用户穿戴的所述至少一个物品的所述多个查看者的所述注视的注视模式；以及
由所述处理器向所述用户提供所述注视模式。
12.根据权利要求11所述的方法，其中，所述方法还包括：
检测与所述注视相关联的至少一个注视参数，
其中所述至少一个注视参数包括以下项中的至少一项：
所述注视中的每个注视的注视持续时间；
检测到所述注视中的每个注视的位置；
所述多个查看者中的每个查看者的面部照；
所述多个查看者中的每个查看者的身体照；
与所述注视中的每个注视相关联的时间；
所述多个查看者中的每个查看者的音频；
所述多个查看者中的每个查看者的身份；
所述多个查看者中的每个查看者的性别；以及
所述注视中的每个注视的注视标识；以及
基于所述注视模式和所述至少一个注视参数来更新注视数据；以及
基于更新后的注视数据向所述用户提供至少一个推荐，
其中，所述至少一个推荐是以下之一：
基于与所述注视相关联的至少一个注视参数穿戴所述至少一个物品的推荐；
针对即将到来的事件穿戴所述至少一个物品的推荐；以及
基于所述至少一个物品购买另一个物品的推荐。
13.一种用于执行查看者注视分析的装置，被配置为执行根据权利要求1至12所述的方法之一。
CN201880057776.3A 2017-10-31 2018-10-08 用于执行查看者注视分析的装置和方法 Active CN111095334B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN201711038739 2017-10-31
IN201711038739 2017-10-31
PCT/KR2018/011840 WO2019088483A1 (en) 2017-10-31 2018-10-08 Apparatus and method for performing viewer gaze analysis

Publications (2)

Publication Number Publication Date
CN111095334A CN111095334A (zh) 2020-05-01
CN111095334B true CN111095334B (zh) 2023-11-14

Family

ID=66244033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880057776.3A Active CN111095334B (zh) 2017-10-31 2018-10-08 用于执行查看者注视分析的装置和方法

Country Status (4)

Country Link
US (1) US10943119B2 (zh)
EP (1) EP3649607A4 (zh)
CN (1) CN111095334B (zh)
WO (1) WO2019088483A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112889350A (zh) * 2018-09-18 2021-06-01 Ai智者有限公司 用于人的解剖学部位以及这样的部位处的物品的识别和照亮的系统和处理
US11347308B2 (en) * 2019-07-26 2022-05-31 Samsung Electronics Co., Ltd. Method and apparatus with gaze tracking
KR102299103B1 (ko) * 2019-10-23 2021-09-07 주식회사 비주얼캠프 시선 분석 장치 및 이를 이용한 시선 분석 시스템 및 방법
JP7194158B2 (ja) * 2020-11-25 2022-12-21 ソフトバンク株式会社 情報処理装置及びプログラム
US11967149B2 (en) 2021-06-09 2024-04-23 International Business Machines Corporation Increasing capabilities of wearable devices using big data and video feed analysis

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160067373A (ko) * 2014-12-04 2016-06-14 김상백 아바타를 이용한 신변제품 착용 스타일 정보 제공 시스템 및 그 운용방법
KR20170090585A (ko) * 2016-01-29 2017-08-08 김삼열 비서 일정 알림 제어 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7682026B2 (en) 2006-08-22 2010-03-23 Southwest Research Institute Eye location and gaze detection system and method
US7742623B1 (en) 2008-08-04 2010-06-22 Videomining Corporation Method and system for estimating gaze target, gaze sequence, and gaze map from video
JP2010081480A (ja) * 2008-09-29 2010-04-08 Fujifilm Corp 携帯型不審者検出装置、不審者検出方法及びプログラム
EP2470061A1 (en) 2009-08-26 2012-07-04 Ecole Polytechnique Fédérale de Lausanne (EPFL) Wearable systems for audio, visual and gaze monitoring
EP3200046A1 (en) * 2011-10-27 2017-08-02 Tobii Technology AB Power management in an eye-tracking system
JP5863423B2 (ja) * 2011-11-30 2016-02-16 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2014138925A1 (en) * 2013-03-15 2014-09-18 Interaxon Inc. Wearable computing apparatus and method
KR102039427B1 (ko) * 2013-07-01 2019-11-27 엘지전자 주식회사 스마트 글라스
US20150358594A1 (en) 2014-06-06 2015-12-10 Carl S. Marshall Technologies for viewer attention area estimation
US9671862B2 (en) * 2014-10-15 2017-06-06 Wipro Limited System and method for recommending content to a user based on user's interest
KR102354458B1 (ko) * 2015-08-19 2022-01-21 삼성전자주식회사 디스플레이 장치 및 그의 제어방법
US10497014B2 (en) * 2016-04-22 2019-12-03 Inreality Limited Retail store digital shelf for recommending products utilizing facial recognition in a peer to peer network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160067373A (ko) * 2014-12-04 2016-06-14 김상백 아바타를 이용한 신변제품 착용 스타일 정보 제공 시스템 및 그 운용방법
KR20170090585A (ko) * 2016-01-29 2017-08-08 김삼열 비서 일정 알림 제어 방법

Also Published As

Publication number Publication date
US20190130184A1 (en) 2019-05-02
EP3649607A1 (en) 2020-05-13
WO2019088483A1 (en) 2019-05-09
US10943119B2 (en) 2021-03-09
CN111095334A (zh) 2020-05-01
EP3649607A4 (en) 2020-07-15

Similar Documents

Publication Publication Date Title
CN111095334B (zh) 用于执行查看者注视分析的装置和方法
US10595072B2 (en) Systems and methods for recognizing faces using non-facial information
CA2983749C (en) Devices, methods and systems for biometric user recognition utilizing neural networks
US11315324B2 (en) Virtual try-on system for clothing
CN107087431B (zh) 用于辨别眼睛信号和连续生物识别的系统和方法
US10210544B2 (en) Displaying merchandise with avatars
CN109690686A (zh) 用于分析图像的可穿戴装置和方法
CN110084088A (zh) 用于分析图像和提供反馈的可佩戴设备和方法
KR102223444B1 (ko) 개인 의류 코디 통합 서비스 시스템
JP2020181278A (ja) ファッション推薦サーバ、ファッション推薦システム、ファッション推薦方法およびファッション推薦プログラム
KR102506356B1 (ko) 코디 추천 장치 및 방법
KR102419056B1 (ko) 증강현실을 이용한 소셜 네트워크 서비스 제공 장치
KR102365896B1 (ko) 의류 추천 장치 및 방법
Emperador et al. INDUSTRY ANALYSIS: WEARABLE TECHNOLOGY

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant