CN101495945A - 用于被凝视物品的信息显示的凝视交互 - Google Patents

用于被凝视物品的信息显示的凝视交互 Download PDF

Info

Publication number
CN101495945A
CN101495945A CNA2007800284552A CN200780028455A CN101495945A CN 101495945 A CN101495945 A CN 101495945A CN A2007800284552 A CNA2007800284552 A CN A2007800284552A CN 200780028455 A CN200780028455 A CN 200780028455A CN 101495945 A CN101495945 A CN 101495945A
Authority
CN
China
Prior art keywords
product
duration
seeing
article
staring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007800284552A
Other languages
English (en)
Inventor
T·拉希纳
K·范格尔德
S·B·F·范德威德文
G·霍尔曼斯
V·P·布尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Priority to CN201410031853.1A priority Critical patent/CN103823556B/zh
Publication of CN101495945A publication Critical patent/CN101495945A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Abstract

一种交互方法和系统，包括至少一个检测器(210)，其被配置成检测看着物品(230，232，234)的至少一个观看者(250)的凝视。处理器(130)被配置成计算凝视持续时间，诸如按所述物品中每个物品的累计的凝视持续时间，根据累计的凝视持续时间来识别看得最多的物品，以及提供与看得最多的物品有关的信息。显示设备(240)显示所述信息、所述看得最多的物品的列表、所述看得最多的物品的表示和/或与所述看得最多的物品中至少一个物品有关的音频/视觉显示。至少一个物品(290)和/或物品表示可以比起其它看得最多的物品和/或物品表示更突出地被显示。

Description

用于被凝视物品的信息显示的凝视交互
本发明涉及一种交互解决方案，用于作为检测到正看着视场内(诸如象在交互式商店橱窗内)产品的用户的凝视(gaze)的结果，基于分析该凝视并显示例如关于看得最多的(most looked at)产品的信息，而提供系统反馈和产品信息。
为了引起顾客兴趣和为了提供有关产品的额外信息，零售商已经部署了从大的液晶显示器(LCD)或等离子体显示器到透明投影屏幕的各种各样的显示技术。经常发现这些显示器被安装在商店橱窗中，在这里这些显示器被使用来显示带有关于该商店或其产品的通告或信息的视频剪辑、幻灯片显示。大多数当前使用的商店橱窗显示器是纯粹提供信息的非交互的屏幕。更先进的商店橱窗显示器提供了在基本层面上的与显示设备的某些交互性，这里用户可以按压在显示设备上或在其附近的按钮以便激活某功能性，诸如进到下一页或回到前一页。
更有吸引力的商店橱窗可以通过使商店橱窗后陈列的实际产品与将显示关于用户感兴趣的产品的信息的商店橱窗显示器相结合来实现。这样的商店橱窗显示系统可以通过使用凝视跟踪或指点手势检测而推断出用户的兴趣，如在2005年8月4日提交的、标题为“Apparatus for Monitoringa Person Having an Interest to an Object，and Method Thereof”的欧洲专利申请序列号05107205.6(代理人案号No.002232)中描述的，该专利申请整体地在此引入以供参考。在这样的交互式商店橱窗中，用户可以观看或指点实际产品。观看/凝视和/或指点可被商店橱窗检测到，响应于此，商店橱窗在显示器上显示有关该产品的信息。这样的商店橱窗是有利的，因为它使得观看者能够实际地看见真实的实际产品并同时得到附加的(例如，数字)信息，包括在显示设备上提供的/建议的各种交互服务。
除了检测单个观看者的凝视以外，还可以检测多个凝视和面孔。使用一个凝视跟踪器同时进行多个用户的凝视跟踪可以是基于通过使用启发式规则把检测到的瞳孔候选者分组成‘面孔对’，正如在C.Morimoto、D.Koons、A.Amir和M.Flickner的标题为“Real-Time Detection of Eyes andFaces”的文章(in Proc.Wkshp.Percept.User Interfaces，pages 117-120，1998)中描述的，该文章整体地在此引入以供参考。在授权给Edwards的、标题为“Techniques for Facilitating Use of Eye Tracking Data”的美国专利No 7,029,121中，描述了另外的眼睛跟踪系统，其例如由网页设计者或广告者使用来聚合多个用户的眼睛跟踪数据以确定趋势，该专利被整体地在此引入以供参考。在这样的系统中，聚合可以通过求和或平均数据、以及使用划分和统计分析而完成。
本发明人认识到，例如对于建立一种在其中利用凝视进行产品选择的商店橱窗，存在某些没有很好地解决的状况。具体地，希望提供一种交互系统和方法，它更好地对来自观看者的凝视跟踪输入进行反应和更好地对以下状况进行反应，即：一个以上的用户或观看者与商店橱窗进行交互、或与在一个或多个观看者的视场内的物体——诸如在博物馆内的艺术品等等——的任何其它显示进行交互。用于商店橱窗情景或类似情景的其中一个直截了当的方法例如是在显示设备上展示最后被看着的产品，所述显示设备包括在其上显示或投影图像的商店橱窗显示器。然而，这个解决方案不是理想的，因为凝视不是用来明确地选择东西的适当的模态(modality)。
为了举例说明，想象用户是在商店橱窗(或诸如博物馆中艺术品等等之类的实际产品的任何其它安排)前面，并只是扫视不同的产品，以得到所显示的东西的总貌。作为响应，交互系统对观看者的凝视作出反应，并在商店橱窗显示器或任何其它显示设备上展示最后被看着的产品。当用户/观看者了解在他的凝视与系统反应之间的联系时，该用户他将需要盯视他感兴趣的产品，以便在显示设备上得到关于该产品的附加信息。这样的选择方式——即为了得到附加信息而连续地盯着看——是不自然的。
而且，这样的系统在多个观看者观看/凝视或指点产品的情形下没有很好地反应。也就是，在多个用户的情形下，系统应当对哪个用户的凝视作出反应或系统对多个用户凝视应当如何反应？在使用指点手势进行选择的情形下，当多个人同时地指点几个不同的产品时出现类似的问题。
因此，需要一种更好的交互系统，用于根据单个或多个观看者凝视或指点一个或多个产品而提供更好的产品选择和信息。
本系统和方法的一个目的是克服传统的交互系统的缺点。
这个和其它目的是通过如下的系统和方法而达到的，该系统和方法把凝视持续时间作为用户的兴趣的指示来对待，然后它被使用来识别和突显与那个用户最相关的产品，包括在显示设备上显示产品表示，诸如图标和/或缩略图，连同与所识别的产品有关的信息，诸如幻灯片显示、视频剪辑和用来访问附加信息的链接，附加信息是诸如象产品说明书和相关的产品。
按照一个说明性的实施例，一种交互方法和系统包括：检测器，被配置成检测看着物品的至少一个观看者的凝视；以及处理器，被配置成计算凝视持续时间，诸如所述物品中按每个物品的累计的凝视持续时间，根据累计的凝视持续时间来识别被看得最多的物品，以及提供与该看得最多的物品有关的信息。显示设备可被提供来显示以下的至少一项：所述信息、看得最多的物品的列表、看得最多的物品的表示和与该看得最多的物品中的至少一个物品有关的音频和视觉显示中的至少一个。至少一个物品和/或物品表示可以比其它的看得最多的物品和/或物品表示更突出地被显示。
该系统和方法更好地适合于使用对于单个和多个用户都起作用的凝视交互。按每个用户/观看者来检测对于所有产品的在预定义时间帧内的凝视持续时间或凝视时间，然后识别对于所有用户和/或对于每个单独用户的被看得最多的物品。按每个用户来检测和分析与每个产品有关的凝视时间，其中计算出与每个或任何数目的产品和/或用户相关联的平均和/或累计的凝视时间，并进行排列。产品按照凝视时间进行排列，并识别出在排列的产品中的最相关的一个或多个产品。
使用看得最多的产品作为交互式凝视系统的观看者或用户的最感兴趣的指示，对于系统反应使用了不同的策略。一个策略包括识别看得最多的产品，然后在显示设备上——诸如在商店橱窗显示器上——展示它们，放大它们的相应的缩略图和/或图标，和/或启动与这些看得最多的产品中一个或多个产品有关的幻灯片显示。与看得最多的产品之外的一个或多个产品有关的幻灯片显示和/或视频剪辑可以同时地以平铺的缩略图来展示，当相关的幻灯片显示和/或视频剪辑不是正被展示时，这些缩略图展示产品图像的减小尺寸的版本。
另一个策略包括显示按照相应于每个用户的产品平均凝视时间进行分类的产品缩略图，其可以与被突出地且/或在显示设备的期望区域——诸如在显示设备的中心——显示的看得最多的产品相组合。
从下文提供的详细说明中，本系统和方法的另外的可应用范围将变得明显。应当理解，虽然详细的说明和具体的例子表明本系统和方法的示例性实施例，但它们打算仅仅用于说明的目的而不打算用来限制本发明的范围。
从以下的说明、所附权利要求和附图中，将更好地了解本发明的设备、系统和方法的这些和其它特征、方面和优点，其中：
图1显示按照本发明的一个说明性实施例的交互系统的框图；
图2显示按照本发明的另一个说明性实施例的商店交互系统；以及
图3显示按照本发明的再一个说明性实施例的交互方法。
对某些示例性实施例的以下说明实质上仅仅是示例性的，以及决不打算用来限制本发明、它的应用或使用。在本系统和方法的实施例的以下详细说明中，参考于形成本发明的一部分的附图，以及在附图中为了举例说明而显示了特定的实施例，在这些特定实施例中可以实行所描述的系统和方法。这些实施例以足够的细节被描述，以使得本领域技术人员能够实行现在所公开的系统，应当理解，可以利用其它的实施例，以及可能作出结构上和逻辑上的改变，而不背离本发明的精神和范围。
所以，以下的详细说明不是在限制意义上作出的，本系统的范围仅仅由所附权利要求来定义。图上的参考标号的前导数字在这里典型地对应于图号，例外的情况是：在多个图上出现的相同的部件用相同的参考标号来标识。而且，为了清晰起见，熟知的设备、电路和方法的详细说明被省略，以免遮蔽对本系统的说明。
凝视是指示用户的兴趣的一种自然模态。然而，诸如对于凝视目标的选择，希望不依赖于凝视作为明显输入的方式，因为人们发现很难为了选择目标而盯视目标。
图1显示一种更好的交互系统100，它基于使用凝视检测器(诸如至少一个照相机110)来检测凝视，从该凝视来推断或确定用户的注意力的焦点，以及基于在系统用户或产品观看者的视场内的各种产品的预定的图，诸如经由处理器或控制器130而确定被看着的产品。预定的图可被存储在能够存储该图和其它数据的任何存储设备或存储器120中。
处理器130还被配置成诸如在根据被存储在存储器120中的程序执行指令后，执行想要的动作，该存储器例如还存储用于系统运行的其它数据，诸如操作系统等等。
根据被一个或多个观看者所看着的产品的推断或确定和各自的凝视持续时间——包括按每个产品按每个用户的累计的和/或平均的凝视持续时间，可以在处理器130的控制下执行各种动作，包括：监视和收集数据，包括按每个产品和/或按每个用户的凝视持续时间；分析数据，包括计算按每个产品和/或按每个用户的平均的和/或累计的凝视持续时间；以及根据分析的和/或计算出的数据，提供想要的输出，诸如在显示设备140上显示信息，包括到其它信息的链接，和/或经由高亮器(highlighter)150突显被识别的并被排列为对于每个用户或用户组而言最感兴趣的产品的实际产品。显示设备140例如可以是商店橱窗显示器240，如在图2的商店交互系统200中显示的。
图2还显示了商店橱窗205，它包括各种产品230、232、234和至少一个照相机，其中示出了两个照相机210、212，它们形成图1所示的凝视检测器110的一部分。商店橱窗显示器240例如可被嵌入在透明的商店橱窗205中，或者可以是在商店橱窗205之内或在其上、或在商店橱窗205的外表面或内表面上的分开的显示器。例如，可以使用投影在透明的屏幕——诸如透明的商店橱窗205——上的背投显示器或正面投影显示器，诸如从丹麦的DNP，Dai Nippon Print Co.Ltd.的世界范围屏幕生产中心可得到的Holo ScreenTM。从DisplaxTM可得到具有显示能力的其它的透明材料——交互窗口，其中内容被投影在透明的材料——诸如玻璃上、并且通过触摸在其上用户的手指被跟踪的玻璃而被控制。当然，可以使用能够显示信息的任何类型的显示设备，诸如阴极射线管(CRT)、等离子体、液晶显示器(LCD)或投影显示器。图2还显示了交互系统200的观看者或用户250，他正看着各种产品230、232、234和/或在商店橱窗显示器240上显示的信息。
在商店橱窗显示器240上所显示的信息可以涉及到最相关的产品，它(们)是从凝视——诸如从朝每个产品凝视的持续时间而被确定的。与特定的产品相关联的各种凝视间隔或持续时间，包括在不同的不连续的时间间隔内的凝视，可被相加以形成对于每个特定的产品的累计的凝视持续时间。累计的凝视持续时间可以在任何想要的间隔期间被确定或被累加，其中所述想要的间隔可以是预定的、可变的和/或可编程的。
图3显示按照一个实施例的交互方法300，其中，如方块310所示，检测一个或多个观看者的凝视。为了清晰起见，将描述使用单个观看者的例子，但本领域技术人员将会明白，多个用户的凝视可被跟踪，以确定对于不同观看者的感兴趣的产品。
凝视持续时间，诸如在想要的间隔期间凝视的累计的持续时间，被使用来指示或确定观看者(和/或多个观看者)对于被凝视的各种产品的感兴趣的程度，如方块320所示，其中用户的兴趣是从由图1的处理器130提供的或可访问的数据推断的。
在视场内且被观看者凝视的产品可以按照相应产品的、它们的相应凝视持续时间被排列。例如，产品可以被从具有最大累计凝视持续时间的最相关的产品到具有最小累计凝视持续时间的最不相关的产品排列。当然，可以使用任何其它的排列，包括提供不同的权重给一个或多个产品，诸如根据在不同的产品之间的关系，其中相关的产品可以编组在一起，并与一个组权重相关联，其中组本身被排列和被加权，并且被进一步划分成子组，子组也可以被排列和被加权，以确定用于信息显示和/或突显的各种不同的排序的产品组。
例如，表1显示各种产品的凝视持续时间，包括与它们的相关联加权的持续时间有关的产品组和产品子组。
  组1   凝视持续时间(累计的)   加权产品持续时间   加权子组持续时间
  照相机1   29   58
  照相机2   4   8
  照相机3   2   4
  累计的照相机   35   70
  存储器1   5   10
  存储器2   2   4
  累计的存储器   7   14
  电池1   4   8
  累计的电池   4   8
  累计的组1   46
  组2
  衬衫1   7   7
  衬衫2   2   2
  衬衫3   1   1
  累计的衬衫   10   10
  裤子1   4   4
  裤子2   3   3
  累计的裤子   7   7
  领带   1   1
  累计的领带   1   1
  套装   5   5
  累计的套装   5   5
  累计的组2   23
表1
如表1所示，照相机1在预定的时间期间(诸如象2分钟)具有累加的最高累计凝视持续时间——44个时间单位，诸如秒或任何其它单位。当然，预定的时间可以是任何想要的时间，例如可编程的时间，诸如代替2分钟是10分钟，1小时等等。
在表1所示的例子中，在可选择的或可编程的预定时间段(诸如象2分钟)期间，观看者凝视组1中的产品达46秒，而凝视组2中的产品达23秒，这约为凝视组1的时间量的一半，因此导致组1的为2的权重和组2的为1的权重。在表1上的加权产品持续时间列，显示照相机1的为29的凝视持续时间被乘以组1的为2的权重，导致为58的加权的照相机1凝视持续时间。
在表1所示的说明性排列方案中，与组有关的信息可以例如根据它们的累计凝视持续时间被排列和/或被显示在显示设备140上。因此，具有46秒的组累计凝视持续时间的组1首先被显示，然后显示或列出具有23秒的组累计凝视持续时间的组2。在每个组内，产品可以以它们的凝视持续时间的次序被排列和/或被显示。因此，照相机2被第二个显示，尽管它具有4秒的累计凝视持续时间，这个时间小于其它产品的累计凝视持续时间，诸如具有5秒的存储器1和具有7秒的衬衫1。
子组也可以被排列，其中子组“照相机”在组1内(相比于存储器子组的7秒和电池子组的4秒)具有35秒的最大子组累计凝视持续时间。因此，子组“照相机”被更高地排列，且具有4秒的累计凝视持续时间的照相机2在存储器1之前被显示，尽管存储器1具有更大的5秒的累计凝视持续时间。
任何其它方案可被使用来根据用户凝视产品的持续时间(可以是累计的或非累计的)而进行排列、列表和确定用户最相关的产品，包括根据在表1的最后一列中显示的加权的子组持续时间进行排列，其中子组“照相机”的35秒被乘以2(组1权重)，以得到70秒的加权的子组“照相机”值。本领域技术人员鉴于本公开内容可以确定各种排列方案，包括指配各种不同的权重给各种产品或产品组。例如，如果与组2(具有比组1低的组权重)中的产品1相关联的累计凝视持续时间大得多，例如，长于或大于预定阈值(预定阈值可以是绝对的或相对于其它产品的其它累计凝视持续时间的)，则组2中的产品1可以被更高地排列，并被确定为用户最相关或更相关的，而不管它具有比例如组1中的其它加权产品凝视持续时间更低的加权产品凝视持续时间(因为组2具有比组1低的组权重)。
同样地，如果与产品X相关联的单个非累计的凝视持续时间大于绝对的或相对的预定阈值，则这个产品X可以被更高地排列，并被确定为用户最相关的，而不管由于与这个产品X相关联的组的较低权重而导致根据加权的凝视持续时间产品X被低于其它产品地排列。
可显示被确定为观看者相关的各种信息，诸如涉及到被凝视的产品和它们的基于平均的和/或累计的凝视持续时间的排列。例如，在观看会话期间，观看者可以凝视包括产品1在内的不同的产品，然后在凝视其它产品之后回过来凝视产品1。在有预定的持续时间(诸如象2分钟)的整个观看会话期间，在各个不连续的时间段看着产品1的凝视持续时间被求和，以得到对于产品1的累计的凝视持续时间。这个累计的凝视持续时间可以在预定的时间段上被规格化或被平均，诸如象通过把累计的凝视持续时间除以预定的时间段。
一旦观看者最感兴趣的或最相关的产品根据凝视持续时间——诸如加权的、平均的和/或累计的凝视持续时间——而被确定和被排列，就显示产品有关的信息。关于任何数目的最相关的产品的信息可被提供，或这样的产品——例如排列在头五个的产品——被突显。
对于显示关于用户最相关的产品或产品组的信息，可以使用不同的策略，如在图2的方块330显示的。具体地，以下任何一个或多个策略可被使用来在显示设备140上显示各种信息：
1.启动和显示与一个或多个看得最多的产品有关的幻灯片显示或视频剪辑；例如，具有最大的单个和/或累计的凝视持续时间的产品。
2.在例如感兴趣的头五个产品的显示中，放大看得最多的产品(具有最大的单个或累计的凝视持续时间)；和/或
3.在图2所示的例如感兴趣的头五个产品的列表或表示260(诸如图标或缩略图)的显示中，放大看得最多的表示，其中缩略图包括产品的缩小版本和图片、或比图标更具体的产品类型，诸如象PhilipsTMDVD播放器/记录器或它们的图片。
当然，代替于在显示设备上显示相关的产品或其表示，可以由图1所示的高亮器150来突显相关的产品，诸如象通过用不同的灯光来照亮相关的产品。在2006年5月31日提交的、标题为“Mirror Feedback on PhysicalObject Selection”的欧洲专利申请序列号06114760.9中描述了这样的突显系统，其中在商店橱窗中的实际产品例如通过灯光照明而被突显，而所述的灯光照明使用可控制的光源——诸如发光二极管(LED)、聚光灯和位于每个产品后面的可开关的反射镜——来提供具有想要的属性的光，所述属性诸如是强度、颜色、色饱和度、色温、波束宽度、光点尺寸和/或方向，该专利申请整体地在此引入以供参考。
也可以通过使用在其上放置产品的发光垫子、或通过使用位于产品周围(诸如在产品的底部和/或产品的外围)的带状物来提供突显，其中所述的垫子和/或带状物例如通过接通被嵌入在其中的光源而发光，如在2006年6月7日提交的、标题为“Light Feedback on Physical Object Selection”的欧洲专利申请序列号06115086.8中所描述的，该专利申请整体地在此引入以供参考。当实际产品被突显时，发光的强度可以涉及到相关联的(累计的和/或平均的)凝视时间。因此，凝视时间越大，被凝视的产品的突显就越亮，这是通过增加那些提供产品突显的光源——诸如照亮产品的聚光灯和/或照亮产品周围或附近的垫子和/或带状物的光源——的强度而达到的。
在图2所示的商店橱窗系统200的说明性例子的上下文中，凝视检测器110(图1)被配置成并行地检测多个用户的凝视，并可以在变化的灯光条件下运行，诸如图2的具有一个或多个照相机210、212的系统，典型地，可以使用两个或三个照相机用于头部、眼睑和凝视跟踪，或其它凝视跟踪系统，诸如从基地在瑞典的Smart Eye AB可得到的一种系统，其中单个照相机系统具有例如用于检测驾驶员的睡意的抗睡眠应用，其中也可以使用多个照相机。
照相机连同IR闪光照明器和滤光器一起工作，它们被调谐到具有最小的室外光干扰的频率，用于在各种照明条件下鲁棒地运行。这样的凝视系统跟踪面部特征，并把它们匹配于三维(3D)头部模型，以便估计头部的3D位置和取向。观看者250的虹膜和瞳孔以及眼睑然后被检测和定位，以确定观看者的凝视方向。
还可以使用其它凝视检测系统，诸如象被称为faceLAB TM的那些系统，它们是从Seeing Machines of Australia可得到的。在授予Durnell的、标题为“Eye Tracking Systems”的美国专利申请公布号No.2004/0196433中描述了确定用户的凝视视线的另外的眼睛跟踪系统，该专利申请整体地在此引入以供参考。在再一个系统中，使用眼睛跟踪来提供控制信号，诸如用于控制图像和其它设备，以及可以通过导引信号而被使用，如在授权给Maguire，Jr.的、标题为“Method and Apparatus for Eye Tracking”的美国专利No.6,359,601中描述的，该专利整体地在此引入以供参考。
凝视检测系统100检测对于与陈列的产品相关联的每个区域的凝视出现的平均次数，诸如平均凝视时间。为了平滑快速凝视改变，可以使用滑窗平均。通过使用这样的处理，得到对于每个陈列的产品的在规定的时间帧内(诸如象刚刚过去的2分钟)的平均凝视时间。
为了推断注意力的焦点，识别出被一个或多个用户看得最多的产品。最大平均凝视时间对应于最受欢迎的产品。也可以使用其它分类方法，例如，具有k＝2的k-均值聚类(k-mean clustering)，以便把对于所有产品的平均凝视时间分类成两个聚类，“最受欢迎的”和“最不受欢迎的”。而且，可以根据一个或多个观看者的凝视持续时间，给予各种产品以各种不同的权重。例如，为了把更高的权重指配给被一个以上的用户看着的产品，渐进的权重＞1.0可被指配给凝视时间平均值。
一旦凝视平均值被检测和被分析，图1的交互系统100，诸如图2的商店橱窗系统200，可以部署一个或多个策略，用于例如在商店橱窗显示器240或任何其它显示设备上显示相关的信息，所述其它显示设备诸如是象蜂窝电话和/或个人数字助理(PDA)那样的移动设备的显示器。
正如所描述的，一个策略可以是放大被识别为“最受欢迎的”产品的缩略图260，并使得对应于“最不受欢迎的”产品的缩略图成为相对较小的。结果，该系统可以适配产品项的视觉表示，诸如幻灯片显示、流播的视频显示或视频剪辑，以使得用户250更容易找到和选择，诸如通过使用例如目标选择和获取系统来点击被用户最多地看着的并且在商店橱窗系统200上显示的产品图像，所述目标选择和获取系统是如在McGuffin，M.和Balakrishnan，R.的标题为“Acquisition of Expanding Targets”的文章中(Proc CHI 2002，ACM，57-64)描述的，该文章整体地在此引入以供参考。替换地，图像亮度、不透明度和/或色彩可被改变，以使得产品缩略图在显示设备上更明显，该缩略图可以附加地或替换地在显示设备上被突显。
另一个信息输送策略包括自动启动被识别为“最受欢迎的”产品的幻灯片显示或流播的视频剪辑。用户然后可被提供以控制——诸如是连同该显示一起的、在显示设备240上显示的软件按钮或按键270(图2)——以便控制该显示，诸如暂停幻灯片显示、访问和查阅感兴趣的产品页。指点设备也可以被使用来控制所显示的物品，这是熟知的，诸如在例如可被提供在商店橱窗205上的触摸屏上或具有电容性触摸检测器的屏幕上使用指针或手指，所述触摸屏诸如是在2002年7月17日公布的、授予Porter等人的、标题为“Touch Sensitive Display Screen”的英国专利申请号GB 2 367991中所描述的触摸屏，该专利申请整体地在此引入以供参考。也可以使用图1所示的其它输入/输出设备160，诸如鼠标、跟踪球、键盘，其可以包括在触摸屏上显示的软键等等。
再一个策略包括根据特定用户看着各种产品或物品的凝视持续时间，提供按用户排序或排列的物品“受欢迎性”的总貌。当然，在这个策略中，处理器130保持每个用户的凝视及其持续时间的记录。如果新的用户到达，则系统将根据本领域熟知的面部识别相似性测度把他们分类为新的用户。
如果由于某个用户走到照相机视场以外而引起对于该用户的凝视跟踪被中断，且稍后同一个用户返回到照相机的视场，则对该同一个用户的跟踪重新开始，其中该系统根据相似性测度而将该用户识别并分类为“老的”用户，相似性测度是通过比较该返回的用户的特征与新近用户的数据库而被确定的。
在一个策略中，该系统在商店橱窗显示器200上显示被每个用户250看着的所有物品的排序列表252(图2)。按照用户的凝视记录，把物品根据它们的“受欢迎性”进行排序。用户然后可以点击在商店橱窗显示器240或任何其它显示设备上显示的物品的缩略图260，以便打开或访问关于所选择的/被点击的物品的信息。当然，代替于仅仅提供附加信息的列表252或链接254，可以响应于根据凝视持续时间检测到或确定了用户感兴趣的产品，而自动地把比如象由系统管理者预先确定的信息呈现给用户。该系统还可以被配置成在显示设备的任何地方，诸如在商店橱窗显示器的中心处，默认地显示关于与一个或多个用户相关联的最“受欢迎的”物品260的信息。
为了使产品的呈现更有吸引力并造成有机地改变商店橱窗显示的印象，可以使用专门的效果，诸如用于产品图像改变的淡入和/或淡出效果。在凝视检测与响应于该凝视检测而适配或改变在商店橱窗显示器上的信息之间可以引入延迟，因为自然地用户最可能首先看着产品并仅仅过一会儿看一下显示器。另一个实施例包括一检测到对商店橱窗的凝视，或甚至预见到凝视，诸如检测到用户沿商店橱窗的方向移动他或她的凝视，就触发在商店橱窗显示器上的信息改变或适配。快速信息显示将使得系统的响应性对于用户是更明显的，以及用作为注意力抓取器(grabber)，从而劝诱用户看着或保持看着商店橱窗，以及与商店橱窗交互系统进行交互。
除了凝视作为输入模态以外，也有可能使用自发的指点手势，和/或触摸可以具有电容性触摸检测器的商店橱窗，以便得出用户的兴趣集中点，如在上面讨论的、在2005年8月4日提交的、标题为“Apparatus forMomtoring a Person Having an Interest to an Object，and Method Thereof”的欧洲专利申请序列号05107205.6中描述的。
替换地或附加地，可以使用姿态取向来确定用户现在留意商店橱窗的哪个部分。姿态取向可以通过能够检测脚取向的传感垫子295而被检测，其中传感垫子295被整合到在商店橱窗前面的路面中。这样的垫子可包括传感器，它检测踩在其上的脚或鞋的取向并提供取向信息给处理器130。而且，可以用计算机视觉技术检测头部取向，以便检测凝视的方向，以及突显产品或显示与在凝视方向上的产品有关的信息。再一个实施例可以使用用户沿商店橱窗的分布来检测哪些产品组当前正被看着。例如，如果经由照相机210、212例如在商店橱窗的右侧检测到比起其它部分更多的用户，则在右侧的产品被确定为感兴趣的、并且如描述的那样被处理，诸如突显这样的产品或显示相关的信息。
应当明白，所述交互系统和方法可以在许多情形下应用，诸如博物馆、展览会，以及总地来说用于如下的应用，即其中使用实际产品与电子显示器的组合。
因此，除了在商店橱窗后的产品以外，所述交互系统和方法同样可应用于大型产品，其中产品的特定部分可以通过凝视被“选择”。例如，在商店橱窗中展示的自行车可以包含电机、齿轮、锁、坐椅等等。通过使用所描述的方法，用户看得最多的自行车的特定部件可被识别出来，并随后显示例如关于在商店橱窗上被显示的那些部件的信息。
当然，正如通信领域技术人员鉴于本说明书将会清楚的，在用于通信的系统部件中可包括各种单元，诸如发射机、接收机或收发信机、天线、调制器、解调器、变换器、双工器、滤波器、复用器等等。在各种系统部件之间的通信或链路可以是通过任何手段，诸如象有线的或无线的。所述系统单元可以是分开的，或诸如与处理器集成在一起。
正如熟知的，处理器130执行例如被存储在存储器120中的指令，该存储器也可以存储其它数据，诸如与系统交互有关的预定的或可编程的设置值、阈值、预定的会话间隔、用于显示产品信息和用于被使用于突显产品的灯光属性的设置值等等。
在显示设备上显示的信息可包括与看得最多的产品有关的产品，或任何其它信息——诸如广告、促销材料以及产品，正如由第三方或不同的源(诸如商店店主、系统管理者、广告者等等)确定的。可以使用任何信息源，不管是本地存储的还是远端存储的，和/或通过网络(诸如互联网)例如经由产品制造商的网址等可访问的、推送的和/或拉取的。
应当明白，所述交互系统的各种部件可以操作地通过任何类型的链路(例如包括有线或无线链路)互相耦合。也可以提供各种修改，正如本领域技术人员鉴于这里的描述而意识到的。存储器可以是任何类型的、用于存储应用数据以及其它数据的设备。应用数据和其它数据由控制器或处理器接收，以配置它来执行按照本系统和方法的操作动作。
本方法的操作动作特别适合于由计算机软件程序来实行，这样的计算机软件程序优选地包含相应于本方法的各个步骤或动作的模块。这样的软件当然可以包含在计算机可读的介质——诸如集成芯片中，包含在外围设备或存储器——诸如所述的存储器或被耦合到控制器或光模块的处理器的其它存储器中。
计算机可读的介质和/或存储器可以是任何可记录的介质(例如，RAM、ROM、可拆卸式存储器、CD-ROM、硬驱动、DVD、软盘或存储卡)，或者可以是传输介质(例如，包括光纤的网络、万维网、电缆和/或使用例如时分多址、码分多址、或其它无线通信系统的无线信道)。任何已知的或被开发的、可以存储适合于计算机系统使用的信息的介质可被用作为所述计算机可读的介质和/或存储器120。
也可以使用附加的存储器。计算机可读的介质、存储器120和/或任何其它存储器可以是长期的、短期的或长期和短期存储器的组合。这些存储器配置处理器/控制器130，以实施这里公开的方法、操作动作和功能。存储器可以是分布式的或是本地的，以及在可以提供附加处理器的场合下，处理器可以是分布式的或是单数的。存储器可被实施为电的、磁的或光的存储器，或者这些或其它类型的存储设备的任何组合。而且，术语“存储器”应当被足够广义地解释为包括能够从处理器访问的可寻址空间中的地址被读出或被写入到该地址的任何信息。通过这个定义，举例来说，在网络上的信息仍然在存储器内，因为处理器可以从网络检索该信息。
处理器130和存储器120可以是任何类型的处理器/控制器和存储器，诸如在U.S.2003/0057887中描述的那些，该专利申请整体地在此引入以供参考。该处理器可能能够响应于检测到用户的凝视而执行操作，且执行被存储在存储器中的指令。该处理器可以是专用或通用集成电路。而且，该处理器可以是用于按照本系统执行的专用处理器，或可以是通用处理器，其中许多功能中的仅仅一个功能运行，以便按照本系统执行。该处理器可以通过利用程序部分、多个程序分段而运行，或者可以是利用专用或多用集成电路的硬件设备。以上的被利用来识别用户的存在和身份的每个系统可以结合另外的系统一起被利用。
当然，应当意识到，以上的任何一个实施例或处理过程可以与一个或多个其它实施例或处理过程相组合，以便在发现和匹配用户与特定的个性化、以及提供相关的推荐方面提供更进一步的改进。
最后，以上的讨论仅仅打算用来举例说明本系统，而不应当被解释为把所附权利要求限制于任何特定的实施例或实施例组。因此，虽然本系统是参照其特定的示例性实施例以特定的细节描述的，但还应当意识到，本领域普通技术人员可以设计出许多修改和替换的实施例，而不背离在后面的权利要求中阐述的、本系统的较广义的和预定的实质和范围。本说明书和附图因此要以一种说明性方式来看待，而不打算限制所附权利要求的范围。
在解译所附的权利要求时，应当明白：
a)单词“包括”不排除与在给定的权利要求中列出的那些不同的其它单元或动作的存在；
b)在单元前面的单词“一”或“一个”不排除多个这样的单元的存在；
c)在权利要求中的任何参考标号不限制它们的范围；
d)几个“装置”可以由相同的或不同的项或硬件或软件所实施的结构或功能来代表；
e)所公开的任何单元可以由硬件部分(例如，包括分立的和集成的电子电路)、软件部分(例如，计算机编程)和它们的任何组合组成；
f)硬件部分可以由模拟与数字部分之一或二者组成；
g)所公开的任何设备或其部分可被组合在一起或被分开成另外的部分，除非另外明确地阐述；以及
h)不打算需要动作或步骤的特定的顺序，除非明确地指出。

Claims (16)

1.一种交互系统(100)，包括：
检测器(110)，被配置成检测看着物品(230，232，234)的至少一个观看者(250)的凝视；以及
处理器(130)，被配置成计算所述物品(230，232，234)的按每个物品的累计的凝视持续时间，根据所述累计的凝视持续时间来识别看得最多的物品，以及提供与所述看得最多的物品有关的信息。
2.权利要求1的交互系统(100)，还包括显示器(140)，用于显示以下至少一项：所述信息、所述看得最多的物品的列表、所述看得最多的物品的表示和与所述看得最多的物品中的至少一个物品有关的音频和视觉显示中的至少一个。
3.权利要求2的交互系统(100)，其中所述至少一个物品比起其它看得最多的物品更突出地被显示。
4.权利要求2的交互系统(100)，其中所述表示中的一个表示比起其它表示更突出地被显示。
5.权利要求1的交互系统(100)，还包括垫子(295)，其被配置成检测所述至少一个观看者(250)的脚取向。
6.一种交互方法，包括以下动作：
检测对于在至少一个用户(250)的视场内的产品(230，232，234)的、在预定义的时间段内的凝视时间；
识别看得最多的产品；以及
提供与所述看得最多的产品有关的信息。
7.权利要求6的交互方法，其中提供动作包括以下动作的至少一项：
在显示设备(240)上显示看得最多的产品；
显示按照凝视时间分类的看得最多的产品的缩略图(260)；
放大相应于与至少最大的所述凝视时间相关联的看得最多的产品中至少一个产品的所述缩略图(260)的至少一个；
突显看得最多的产品；
在所述显示设备(240)上比起其它看得最多的产品更突出地显示所述看得最多的产品中的所述至少一个产品；以及
启动与所述看得最多的产品中的所述至少一个产品有关的音频和视觉显示中的至少一个。
8.权利要求7的交互方法，其中所述显示动作在所述显示设备的预定区域显示所述看得最多的产品中的所述至少一个产品，所述显示设备的预定区域包括所述显示设备的中心。
9.权利要求6的交互方法，其中所述识别动作包括按照所述凝视时间排列所述产品(230，232，234)。
10.权利要求6的交互方法，还包括如下动作：在所述预定义的时间段内，跟踪所述至少一个用户凝视所述产品(230，232，234)中个体产品的凝视的持续时间，以便形成相应于所述个体产品的所述凝视时间中的一个凝视时间。
11.权利要求6的交互方法，其中所述凝视时间包括在所述预定的时间段内被所述用户(250)凝视的所述产品的、按每个产品的累计的凝视时间。
12.权利要求6的交互方法，其中所述凝视时间包括在所述预定的时间段内被多个观看者凝视的所述产品的、按每个观看者按每个产品的累计的凝视时间。
13.一种交互方法，包括以下动作：
跟踪观看多个产品的至少一个观看者(250)的凝视的凝视持续时间；
按照所述凝视持续时间排列所述多个产品；
按照所述排列动作确定所述至少一个观看者(250)的感兴趣的产品；以及
提供与至少一个所述感兴趣的产品有关的信息。
14.权利要求13的交互方法，其中所述提供动作包括以下动作的至少一项：
按照相应于所述感兴趣的产品的所述凝视持续时间，显示以下至少一项：所述感兴趣产品(230，232，234)、所述感兴趣产品的表示(260)和所述感兴趣产品的列表，该列表包括预定数目的看得最多的产品；以及
按照所述排列动作突显所述感兴趣的产品中的至少一个产品。
15.权利要求14的交互方法，其中所述突显动作包括以下动作的至少一项：
照亮所述感兴趣的产品中的所述至少一个产品；以及
在显示设备上比起其它表示更突出地显示所述感兴趣的产品中的所述至少一个产品的表示。
16.权利要求13的交互方法，其中所述凝视持续时间包括所述多个产品中的各个产品的累计的凝视持续时间。
CNA2007800284552A 2006-07-28 2007-07-10 用于被凝视物品的信息显示的凝视交互 Pending CN101495945A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410031853.1A CN103823556B (zh) 2006-07-28 2007-07-10 用于被凝视物品的信息显示的凝视交互

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP06118029.5 2006-07-28
EP06118029 2006-07-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201410031853.1A Division CN103823556B (zh) 2006-07-28 2007-07-10 用于被凝视物品的信息显示的凝视交互

Publications (1)

Publication Number Publication Date
CN101495945A true CN101495945A (zh) 2009-07-29

Family

ID=38924365

Family Applications (2)

Application Number Title Priority Date Filing Date
CNA2007800284552A Pending CN101495945A (zh) 2006-07-28 2007-07-10 用于被凝视物品的信息显示的凝视交互
CN201410031853.1A Active CN103823556B (zh) 2006-07-28 2007-07-10 用于被凝视物品的信息显示的凝视交互

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201410031853.1A Active CN103823556B (zh) 2006-07-28 2007-07-10 用于被凝视物品的信息显示的凝视交互

Country Status (5)

Country Link
US (1) US9606621B2 (zh)
EP (1) EP2049972B1 (zh)
JP (1) JP5355399B2 (zh)
CN (2) CN101495945A (zh)
WO (1) WO2008012717A2 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049081A (zh) * 2012-12-05 2013-04-17 上海量明科技发展有限公司 开启对象视觉触发的方法、客户端及系统
CN103309451A (zh) * 2013-06-20 2013-09-18 上海华勤通讯技术有限公司 移动终端的显示方法及移动终端
CN103339628A (zh) * 2011-03-30 2013-10-02 日本电气株式会社 数据相关度评估设备、数据相关度评估方法和记录介质
CN104080010A (zh) * 2014-06-25 2014-10-01 刘耀 交互式信息推送系统及方法
CN104321785A (zh) * 2012-03-22 2015-01-28 Smi创新传感技术有限公司 评估视线检测结果的方法和装置
CN104395857A (zh) * 2012-05-09 2015-03-04 英特尔公司 显示器的部分的基于眼球追踪的选择性强调
CN104516501A (zh) * 2013-09-26 2015-04-15 卡西欧计算机株式会社 显示装置以及内容显示方法
CN104571488A (zh) * 2013-10-25 2015-04-29 由田新技股份有限公司 电子文件标记方法及装置
CN105321442A (zh) * 2014-06-23 2016-02-10 卡西欧计算机株式会社 信息评价装置以及信息评价方法
CN105518666A (zh) * 2013-08-29 2016-04-20 索尼公司 信息处理装置和信息处理方法
CN108292163A (zh) * 2015-10-26 2018-07-17 卡洛拉蒂协会有限公司 用于待挑选的物品的增强现实展台
CN108665305A (zh) * 2018-05-04 2018-10-16 水贝文化传媒（深圳）股份有限公司 用于门店信息智能分析的方法及系统
CN108833703A (zh) * 2018-06-20 2018-11-16 深圳正品创想科技有限公司 一种商品关联信息呈现方法及其装置、移动终端
CN108921655A (zh) * 2018-06-20 2018-11-30 深圳正品创想科技有限公司 基于防伪溯源信息的商品推荐方法及其装置、服务器
CN110019897A (zh) * 2017-08-01 2019-07-16 北京小米移动软件有限公司 显示图片的方法及装置
CN113010017A (zh) * 2021-03-29 2021-06-22 武汉虹信技术服务有限责任公司 一种多媒体信息交互显示方法、系统及电子设备

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060070001A1 (en) * 2004-09-29 2006-03-30 Fuji Xerox Co., Ltd. Computer assisted presentation authoring for multimedia venues
US8122259B2 (en) 2005-09-01 2012-02-21 Bricom Technologies Ltd Systems and algorithms for stateless biometric recognition
JP5535626B2 (ja) 2006-07-28 2014-07-02 コーニンクレッカ フィリップス エヌ ヴェ ショップウィンドーに沿って自動的に分布するプライベート用スクリーン
JP5381705B2 (ja) * 2007-05-14 2014-01-08 富士通株式会社 広告提供システム、広告表示装置、広告管理装置、広告表示プログラム、広告管理プログラム、広告表示方法、および広告管理方法
FR2928809B1 (fr) * 2008-03-17 2012-06-29 Antoine Doublet Systeme interactif et procede de commande d'eclairages et/ou de diffusion d'images
JP2011521348A (ja) 2008-05-14 2011-07-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 閲覧者のインタフェースの表現場内の起動領域を決定するためのシステム及び方法
WO2009138915A1 (en) * 2008-05-14 2009-11-19 Koninklijke Philips Electronics N. V. An interaction system and method
JP2010004118A (ja) * 2008-06-18 2010-01-07 Olympus Corp デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体
WO2010026519A1 (en) * 2008-09-03 2010-03-11 Koninklijke Philips Electronics N.V. Method of presenting head-pose feedback to a user of an interactive display system
US20110141011A1 (en) 2008-09-03 2011-06-16 Koninklijke Philips Electronics N.V. Method of performing a gaze-based interaction between a user and an interactive display system
US8540569B2 (en) * 2008-09-05 2013-09-24 Eric Gustav Orlinsky Method and system for multiplayer multifunctional electronic surface gaming apparatus
KR20100064177A (ko) * 2008-12-04 2010-06-14 삼성전자주식회사 전자장치 및 그의 디스플레이방법
US8760391B2 (en) * 2009-05-22 2014-06-24 Robert W. Hawkins Input cueing emersion system and method
CN101901610B (zh) * 2009-05-25 2012-08-29 鸿富锦精密工业（深圳）有限公司 互动式影像调整系统及方法
KR101596890B1 (ko) * 2009-07-29 2016-03-07 삼성전자주식회사 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법
US20110211738A1 (en) * 2009-12-23 2011-09-01 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Identifying a characteristic of an individual utilizing facial recognition and providing a display for the individual
US9875719B2 (en) 2009-12-23 2018-01-23 Gearbox, Llc Identifying a characteristic of an individual utilizing facial recognition and providing a display for the individual
CN102129824A (zh) * 2010-01-20 2011-07-20 鸿富锦精密工业（深圳）有限公司 资讯控制系统及方法
JP2012022589A (ja) * 2010-07-16 2012-02-02 Hitachi Ltd 商品選択支援方法
JP2012022632A (ja) * 2010-07-16 2012-02-02 Canon Inc 情報処理装置およびその制御方法
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
WO2012145649A1 (en) 2011-04-22 2012-10-26 Pepsico, Inc. Beverage dispensing system with social media capabilities
US20120326969A1 (en) * 2011-06-24 2012-12-27 Krishnan Ramanathan Image slideshow based on gaze of a user
WO2013067020A1 (en) 2011-11-01 2013-05-10 Stephen Lim Dispensing system and user interface
US10395263B2 (en) * 2011-12-12 2019-08-27 Intel Corporation Interestingness scoring of areas of interest included in a display element
CN102622833A (zh) * 2012-01-10 2012-08-01 中山市先行展示制品有限公司 一种购物者选购商品的识别装置
US9256902B2 (en) 2012-04-09 2016-02-09 Sears Brands, L.L.C. Non-transitory computer-readable media for presenting product recommendations
US20130293530A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
US9030505B2 (en) * 2012-05-17 2015-05-12 Nokia Technologies Oy Method and apparatus for attracting a user's gaze to information in a non-intrusive manner
US9201500B2 (en) * 2012-09-28 2015-12-01 Intel Corporation Multi-modal touch screen emulator
US9043349B1 (en) 2012-11-29 2015-05-26 A9.Com, Inc. Image-based character recognition
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9996150B2 (en) 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US10461743B2 (en) 2013-01-11 2019-10-29 Imagesurge, Inc. Interactive display system and method for use with low emissivity glass using infrared illumination
EP2943863A4 (en) * 2013-01-14 2016-09-28 Imagesurge Inc INTERACTIVE DISPLAY SYSTEM AND METHOD FOR USE WITH GLASS WITH LOW EMISSIVITY ON INFRARED LIGHTING
US9342930B1 (en) * 2013-01-25 2016-05-17 A9.Com, Inc. Information aggregation for recognized locations
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9881058B1 (en) 2013-03-14 2018-01-30 Google Inc. Methods, systems, and media for displaying information related to displayed content upon detection of user attention
US9256795B1 (en) 2013-03-15 2016-02-09 A9.Com, Inc. Text entity recognition
EP2975997B1 (en) 2013-03-18 2023-07-12 Mirametrix Inc. System and method for on-axis eye gaze tracking
US20140328505A1 (en) * 2013-05-02 2014-11-06 Microsoft Corporation Sound field adaptation based upon user tracking
WO2014185919A1 (en) * 2013-05-16 2014-11-20 Empire Technology Development, Llc Adjustment of display intensity
DE102014109079A1 (de) * 2013-06-28 2014-12-31 Harman International Industries, Inc. Vorrichtung und verfahren zur erfassung des interesses eines fahrers an einer werbeanzeige durch die verfolgung der blickrichtung des fahrers
CN103472912B (zh) * 2013-08-18 2018-03-23 苏州量跃信息科技有限公司 眼部充能触发的方法及系统
US10686972B2 (en) 2013-09-03 2020-06-16 Tobii Ab Gaze assisted field of view control
CN108209857B (zh) 2013-09-03 2020-09-11 托比股份公司 便携式眼睛追踪设备
US10310597B2 (en) 2013-09-03 2019-06-04 Tobii Ab Portable eye tracking device
JP6213077B2 (ja) * 2013-09-06 2017-10-18 カシオ計算機株式会社 情報処理装置、コンテンツ配信システム及びプログラム
JP6221535B2 (ja) * 2013-09-11 2017-11-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9412021B2 (en) * 2013-11-29 2016-08-09 Nokia Technologies Oy Method and apparatus for controlling transmission of data based on gaze interaction
US9424598B1 (en) 2013-12-02 2016-08-23 A9.Com, Inc. Visual search in a controlled shopping environment
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
US9633252B2 (en) 2013-12-20 2017-04-25 Lenovo (Singapore) Pte. Ltd. Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data
US9639152B2 (en) * 2013-12-30 2017-05-02 Lenovo (Singapore) Pte. Ltd. Display alignment based on eye tracking
KR102120105B1 (ko) 2014-01-08 2020-06-09 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US11010042B2 (en) * 2014-02-13 2021-05-18 Lenovo (Singapore) Pte. Ltd. Display of different versions of user interface element
CN104932668A (zh) * 2014-03-20 2015-09-23 冠捷投资有限公司 显示系统的播放内容驱动装置及方法
JP6356998B2 (ja) * 2014-04-10 2018-07-11 サッポロホールディングス株式会社 商品販売装置及び画像表示方法
US9536161B1 (en) 2014-06-17 2017-01-03 Amazon Technologies, Inc. Visual and audio recognition for scene change events
US9830888B2 (en) * 2014-11-10 2017-11-28 Dell Products, Lp Gaze driven display front of screen performance
GB2532243A (en) * 2014-11-13 2016-05-18 Nokia Technologies Oy An apparatus, method and computer program for using gaze tracking information
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
US10242374B2 (en) 2014-12-09 2019-03-26 Facebook, Inc. Providing insights to a merchant
JP6670549B2 (ja) * 2015-03-30 2020-03-25 大和ハウス工業株式会社 取引支援システム及び取引支援方法
EP3089097A1 (de) * 2015-04-28 2016-11-02 Omikron Data Quality GmbH Verfahren zum erzeugen von prioritätsdaten für produkte
WO2016191133A1 (en) * 2015-05-22 2016-12-01 Pcms Holdings, Inc. Retrieving sensor data based on user interest
US20170045935A1 (en) 2015-08-13 2017-02-16 International Business Machines Corporation Displaying content based on viewing direction
JP5961736B1 (ja) * 2015-08-17 2016-08-02 株式会社コロプラ ヘッドマウントディスプレイシステムを制御する方法、および、プログラム
US10775882B2 (en) 2016-01-21 2020-09-15 Microsoft Technology Licensing, Llc Implicitly adaptive eye-tracking user interface
US10296934B2 (en) 2016-01-21 2019-05-21 International Business Machines Corporation Managing power, lighting, and advertising using gaze behavior data
JP6586904B2 (ja) * 2016-02-19 2019-10-09 富士通株式会社 画像表示装置、表示制御方法および表示制御プログラム
AU2017223313A1 (en) * 2016-02-26 2018-09-20 The Coca-Cola Company Touchless control graphical user interface
JP6728863B2 (ja) * 2016-03-25 2020-07-22 富士ゼロックス株式会社 情報処理システム
US20170329397A1 (en) * 2016-05-12 2017-11-16 Rovi Guides, Inc. Systems and methods for navigating a media guidance application using gaze control
US10963914B2 (en) * 2016-06-13 2021-03-30 International Business Machines Corporation System, method, and recording medium for advertisement remarketing
US10776827B2 (en) * 2016-06-13 2020-09-15 International Business Machines Corporation System, method, and recording medium for location-based advertisement
US10467658B2 (en) 2016-06-13 2019-11-05 International Business Machines Corporation System, method and recording medium for updating and distributing advertisement
US10209772B2 (en) 2016-09-19 2019-02-19 International Business Machines Corporation Hands-free time series or chart-based data investigation
JP6304348B2 (ja) * 2016-11-14 2018-04-04 カシオ計算機株式会社 コンテンツ出力装置及びプログラム
KR20180074180A (ko) 2016-12-23 2018-07-03 삼성전자주식회사 가상현실 영상에 대한 정보를 제공하는 장치 및 방법
US20180225744A1 (en) * 2017-02-03 2018-08-09 Shopper Scientist Llc In-Store Display with Selective Display of Products Based on Visibility Metric
EP3590026B1 (en) * 2017-03-02 2020-09-09 Signify Holding B.V. Lighting system and method
JP7087403B2 (ja) * 2017-05-30 2022-06-21 富士通株式会社 視線分析プログラム、視線分析方法及び視線分析装置
US20180357670A1 (en) * 2017-06-07 2018-12-13 International Business Machines Corporation Dynamically capturing, transmitting and displaying images based on real-time visual identification of object
EP3570141A4 (en) * 2017-11-15 2020-03-11 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
CA3033605C (en) * 2018-02-14 2021-11-23 Aaron Derouin Three-dimensional visual target acquisition systems
JP6936198B2 (ja) * 2018-09-14 2021-09-15 Kddi株式会社 出力装置及び出力方法
JP7363807B2 (ja) * 2018-11-07 2023-10-18 ソニーグループ株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
US11144118B2 (en) * 2018-12-17 2021-10-12 Citrix Systems, Inc. Distraction factor used in A/B testing of a web application
JP2020118919A (ja) * 2019-01-28 2020-08-06 沖電気工業株式会社 表示制御装置、表示制御方法、プログラムおよび表示制御システム
ES2741377A1 (es) * 2019-02-01 2020-02-10 Mendez Carlos Pons Procedimiento analitico de atraccion de productos en escaparates basado en un sistema de inteligencia artificial y equipo para llevar a cabo dicho procedimiento
CN110209278A (zh) * 2019-05-30 2019-09-06 广州小鹏汽车科技有限公司 人车交互方法、装置、存储介质及控制终端
FR3105508B1 (fr) * 2019-12-20 2023-04-14 Orange Procédé de collecte de données relatives à un parcours d’un utilisateur dans un environnement
US11226678B2 (en) 2020-01-27 2022-01-18 Magic Leap, Inc. Gaze timer based augmentation of functionality of a user input device
KR102220074B1 (ko) * 2020-10-06 2021-02-25 주식회사 이노피아테크 영상인식기반 실-시청 몰입도 판정 서비스 제공을 위한 데이터 생성 방법 및 장치

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5204947A (en) * 1990-10-31 1993-04-20 International Business Machines Corporation Application independent (open) hypermedia enablement services
JPH05249428A (ja) * 1992-03-05 1993-09-28 Koudo Eizou Gijutsu Kenkyusho:Kk 投影システム
US5574669A (en) * 1993-05-28 1996-11-12 Marshall; William R. Device for measuring foot motion and method
US6359601B1 (en) 1993-09-14 2002-03-19 Francis J. Maguire, Jr. Method and apparatus for eye tracking
AUPN298995A0 (en) 1995-05-16 1995-06-08 Phillips, Scott Vr walker
JP3800257B2 (ja) * 1996-08-02 2006-07-26 オムロン株式会社 注目情報計測方法及び装置並びにそれを用いた各種システム
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
US6353773B1 (en) * 1997-04-21 2002-03-05 Honda Giken Kogyo Kabushiki Kaissha Remote control system for biped locomotion robot
JP3579218B2 (ja) * 1997-07-04 2004-10-20 三洋電機株式会社 情報表示装置及び情報収集装置
US7242152B2 (en) 1997-08-26 2007-07-10 Color Kinetics Incorporated Systems and methods of controlling light systems
JP2000131162A (ja) * 1998-10-28 2000-05-12 Ks Techno Kk 敷物センサ
US7120880B1 (en) * 1999-02-25 2006-10-10 International Business Machines Corporation Method and system for real-time determination of a subject's interest level to media content
US6408282B1 (en) * 1999-03-01 2002-06-18 Wit Capital Corp. System and method for conducting securities transactions over a computer network
US20060229930A9 (en) 1999-11-15 2006-10-12 Gottfurcht Elliot A Method to generate advertising revenue based on time and location
US6456262B1 (en) * 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
GB2367991A (en) 2000-10-12 2002-04-17 Kubix Com Touch sensitive display screen
US6601021B2 (en) * 2000-12-08 2003-07-29 Xerox Corporation System and method for analyzing eyetracker data
GB0119859D0 (en) 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
US6712468B1 (en) 2001-12-12 2004-03-30 Gregory T. Edwards Techniques for facilitating use of eye tracking data
US7467398B2 (en) * 2002-03-21 2008-12-16 International Business Machines Corproation Apparatus and method of searching for desired television content
JP2004280673A (ja) * 2003-03-18 2004-10-07 Takenaka Komuten Co Ltd 情報提供装置
JP4125634B2 (ja) * 2003-05-26 2008-07-30 Ｎｅｃソフト株式会社 顧客情報収集管理方法及びそのシステム
CA2545202C (en) * 2003-11-14 2014-01-14 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US20060047649A1 (en) * 2003-12-29 2006-03-02 Ping Liang Internet and computer information retrieval and mining with intelligent conceptual filtering, visualization and automation
US7464110B2 (en) * 2004-06-30 2008-12-09 Nokia Corporation Automated grouping of image and other user data
US8943537B2 (en) * 2004-07-21 2015-01-27 Cox Communications, Inc. Method and system for presenting personalized television program recommendation to viewers
US7331929B2 (en) * 2004-10-01 2008-02-19 General Electric Company Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
WO2007015200A2 (en) 2005-08-04 2007-02-08 Koninklijke Philips Electronics N.V. Apparatus for monitoring a person having an interest to an object, and method thereof
WO2007138504A2 (en) 2006-05-31 2007-12-06 Koninklijke Philips Electronics N. V. Mirror feedback upon physical object selection

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103339628A (zh) * 2011-03-30 2013-10-02 日本电气株式会社 数据相关度评估设备、数据相关度评估方法和记录介质
CN104321785B (zh) * 2012-03-22 2018-01-09 Smi创新传感技术有限公司 评估视线检测结果的方法和装置
CN104321785A (zh) * 2012-03-22 2015-01-28 Smi创新传感技术有限公司 评估视线检测结果的方法和装置
CN104395857A (zh) * 2012-05-09 2015-03-04 英特尔公司 显示器的部分的基于眼球追踪的选择性强调
CN103049081A (zh) * 2012-12-05 2013-04-17 上海量明科技发展有限公司 开启对象视觉触发的方法、客户端及系统
CN103049081B (zh) * 2012-12-05 2017-05-24 上海量明科技发展有限公司 开启对象视觉触发的方法、客户端及系统
CN103309451B (zh) * 2013-06-20 2016-06-08 上海华勤通讯技术有限公司 移动终端的显示方法及移动终端
CN103309451A (zh) * 2013-06-20 2013-09-18 上海华勤通讯技术有限公司 移动终端的显示方法及移动终端
CN105518666B (zh) * 2013-08-29 2020-01-17 索尼公司 信息处理装置和信息处理方法
CN105518666A (zh) * 2013-08-29 2016-04-20 索尼公司 信息处理装置和信息处理方法
CN104516501A (zh) * 2013-09-26 2015-04-15 卡西欧计算机株式会社 显示装置以及内容显示方法
CN104571488B (zh) * 2013-10-25 2018-03-23 由田新技股份有限公司 电子文件标记方法及装置
CN104571488A (zh) * 2013-10-25 2015-04-29 由田新技股份有限公司 电子文件标记方法及装置
CN105321442A (zh) * 2014-06-23 2016-02-10 卡西欧计算机株式会社 信息评价装置以及信息评价方法
CN104080010A (zh) * 2014-06-25 2014-10-01 刘耀 交互式信息推送系统及方法
CN108292163A (zh) * 2015-10-26 2018-07-17 卡洛拉蒂协会有限公司 用于待挑选的物品的增强现实展台
CN110019897A (zh) * 2017-08-01 2019-07-16 北京小米移动软件有限公司 显示图片的方法及装置
CN110019897B (zh) * 2017-08-01 2022-02-08 北京小米移动软件有限公司 显示图片的方法及装置
CN108665305A (zh) * 2018-05-04 2018-10-16 水贝文化传媒（深圳）股份有限公司 用于门店信息智能分析的方法及系统
CN108833703A (zh) * 2018-06-20 2018-11-16 深圳正品创想科技有限公司 一种商品关联信息呈现方法及其装置、移动终端
CN108921655A (zh) * 2018-06-20 2018-11-30 深圳正品创想科技有限公司 基于防伪溯源信息的商品推荐方法及其装置、服务器
CN113010017A (zh) * 2021-03-29 2021-06-22 武汉虹信技术服务有限责任公司 一种多媒体信息交互显示方法、系统及电子设备

Also Published As

Publication number Publication date
EP2049972B1 (en) 2019-06-05
CN103823556A (zh) 2014-05-28
EP2049972A2 (en) 2009-04-22
JP5355399B2 (ja) 2013-11-27
CN103823556B (zh) 2017-07-04
JP2009545051A (ja) 2009-12-17
US20100007601A1 (en) 2010-01-14
US9606621B2 (en) 2017-03-28
WO2008012717A2 (en) 2008-01-31
WO2008012717A3 (en) 2008-07-03

Similar Documents

Publication Publication Date Title
CN101495945A (zh) 用于被凝视物品的信息显示的凝视交互
US11609607B2 (en) Evolving docking based on detected keyboard positions
CN103842941B (zh) 响应于所感测出的乘客比划动作而执行交通工具娱乐系统的控制
US11017603B2 (en) Method and system for user interaction
US9348421B2 (en) Gesture and touch-based interactivity with objects using 3D zones in an interactive system
US20120169583A1 (en) Scene profiles for non-tactile user interfaces
CN111868673B (zh) 增加用户界面中的可发现性的系统和方法
CN105872452A (zh) 浏览摘要图像的系统及方法
KR101606431B1 (ko) 상호작용 시스템 및 방법
JP2013513304A (ja) ３ｄメディア環境においてメディアオブジェクトの近接度を決定するシステムおよび方法
WO2022170221A1 (en) Extended reality for productivity
CN113767394A (zh) 在非结构化视频流中捕获对象
WO2023049705A1 (en) Devices, methods, and graphical user interfaces for content applications
EP3533217A1 (en) A method of providing information about an object
CN106663197B (zh) 用于环境简档生成的方法和装置
WO2018077648A1 (en) A method of providing information about an object

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20090729