CN102144201A - 在用户与交互式显示系统之间执行基于目光的交互的方法 - Google Patents

在用户与交互式显示系统之间执行基于目光的交互的方法 Download PDF

Info

Publication number
CN102144201A
CN102144201A CN2009801343792A CN200980134379A CN102144201A CN 102144201 A CN102144201 A CN 102144201A CN 2009801343792 A CN2009801343792 A CN 2009801343792A CN 200980134379 A CN200980134379 A CN 200980134379A CN 102144201 A CN102144201 A CN 102144201A
Authority
CN
China
Prior art keywords
sight
viewing area
user
classification
feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801343792A
Other languages
English (en)
Inventor
T.A.拉施纳
E.J.范洛南
A.H.伯格曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN102144201A publication Critical patent/CN102144201A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0603—Catalogue ordering

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明描述了一种在用户（1）与交互式显示系统（2）之间执行基于目光的交互的方法，所述交互式显示系统包括其中设置了一定数量的物理对象（10，11，12，13，14，15，16）的三维显示区域（D）和观测装置（3），该方法包括步骤：从观测装置（3）获取用户（1）的目光相关输出（30）；基于目光相关输出（30）从多个目光类别（Go，Gdw，Gbo，Gnr）确定瞬时目光类别（Go，Gdw，Gbo，Gnr）；以及依照该确定的瞬时目光类别（Go，Gdw，Gbo，Gnr）连续地产生显示区域反馈。本发明还描述了一种交互式显示系统（2），该交互式显示系统包括：三维显示区域（D），其中设置了一定数量的物理对象（10，11，12，13，14，15，16）；观测装置（3），其用于获取用户（1）的目光相关输出（30）；目光类别确定单元（22），其用于基于目光相关输出（30）从多个目光类别（Go，Gdw，Gbo，Gnr）确定瞬时目光类别（Go，Gdw，Gbo，Gnr）；以及反馈生成单元（25），其用于依照该确定的瞬时目光类别（Go，Gdw，Gbo，Gnr）连续地产生显示区域反馈（29）。

Description

在用户与交互式显示系统之间执行基于目光的交互的方法
技术领域
本发明描述了一种在用户与交互式显示系统之间执行基于目光（gaze-based）的交互的方法。本发明也描述了一种交互式显示系统。
背景技术
近年来，在交互式橱窗显示器领域取得了进展，所述交互式橱窗显示器能够使用例如高级投影技术呈现产品相关信息，目的是使得浏览或购物对于潜在的顾客更加有趣和有吸引力。以这种方式呈现产品和产品相关信息促成更有趣的购物体验。对于店主而言的一个优点在于，显示区域并不限于必须定期地替换或设置的一定数量的物理物品，而是可以使用现在可用的投影和显示技术显示“虚拟的”物品。这种交互式橱窗可以呈现有关特别地使潜在顾客感兴趣的一个或多个产品的信息。通过这种方式，顾客或许更可能进入商店并且购买感兴趣的物品。这样的显示系统在展览会或博物馆中也变得更加令人感兴趣，因为与对于陈列柜中的每个物品使用印刷标签或卡片而可能呈现的信息相比，可以呈现更多的信息。
交互式橱窗系统可以检测人何时站在窗口之前，并且相机用来跟踪人眼的运动。目光跟踪的技术被应用于确定人正在看何处，即“目光航向（gaze heading）”，从而可以向他呈现特定信息。交互式橱窗系统的适当响应可以是向该人呈现有关该对象的更详细信息，例如价格、任何技术细节、特价等等。
由于交互式橱窗系统领域是非常新的领域，这样的橱窗相对罕见，从而大多数人不会意识到它们的存在，或者不能判断某个橱窗是传统的不活动的种类，还是更新的交互式种类。目光跟踪作为一种交互手段对于公众是非常新的，从而带来如何向人传达系统可以借助于目光而控制的挑战。这对于诸如购物区、博物馆、美术馆、游乐园等等之类的公共场所中的交互式系统是特别重要的，在这些公共场所中，交互式系统必须对于用户是直观和简单的，使得任何人都可以与它们交互，而不必首先查阅手册或者经过培训。
如已经所指出的，这样的系统只能在人的目光可以实际检测的情况下起作用。通常，在最新技术水平的系统中，人仅当在与显示区域中的对象关联的限定区域内检测到目光矢量时接收反馈。换言之，仅在人特别地观看对象时才给他或她以反馈。当人在观看显示区域中的对象之间的点时或者在目光扫视期间，不给出反馈，从而交互式系统的状态对于该人是未知的。最新技术水平的目光跟踪并不给出对于用户输入的高度鲁棒的检测。此外，用户目光的检测精度可能通过改变照明状况、通过用户改变其在相机之前的位置或者通过改变其头部相对于相机焦点的位置等等而变得更坏。最新技术水平的交互式系统中确定目光检测方面的这样的困难可能导致或者例如在系统丢失了目光的跟踪时，不存在给用户的关于系统状态的反馈的情形；或者即使当用户已经在看别处时，最近观看的对象仍然突出的情形。这样的行为可能激怒用户或者潜在的顾客，这显然是不希望的。
因此，本发明的目的是提供一种向用户传达交互式显示系统的能力的方式以避免上面提及的问题。
发明内容
本发明的目的是通过依照权利要求1的在用户与交互式显示系统之间执行基于目光的交互的方法以及依照权利要求10的交互式显示系统来实现的。
在用户与包括其中设置了一定数量的物理对象的三维显示区域和观测装置的交互式显示系统之间执行基于目光的交互的方法包括步骤：从观测装置获取用户的目光相关输出；基于目光相关输出从多个目光类别确定瞬时目光类别；以及依照该确定的瞬时目光类别连续地产生显示区域反馈。
所提出的解决方案可适用于提供基于目光的交互的公共显示，例如交互式橱窗、交互式展览会、博物馆交互式展览等等。
依照本发明的方法相对于最新发展水平的技术的一个优点在于，连续地提供关于系统的目光检测状态的显示区域反馈，使得用户不断地被告知交互式显示系统的状态。换言之，用户不必首先有意或无意地观看显示区域中的对象、物品或产品以便被提供反馈，相反地，即使显示区域中的对象未被观看，也一直给用户以反馈。有利的是，对于这种类型的交互式显示系统陌生的人直观地被提供显示区域能够做什么的指示，即指示该橱窗能够进行基于目光的交互的反馈。用户只需瞥视显示区域以被给予目光检测状态的指示。事实上，对于显示区域之前的用户而言，没有时间用户不被告知或者不知道系统状态，使得他能够例如通过更直接地观看使他感兴趣的对象而选择相应地反应。
在这里，“目光相关输出”指的是由观测装置输出的与潜在目光相关的任何信息。例如，如果用户头部可以被观测装置检测，并且他的眼睛可以被跟踪，那么观测装置的目光相关输出可以用来确定他正在观看的点。
依照本发明的交互式显示系统包括：三维显示区域，其中设置了一定数量的物理对象；观测装置，其用于获取用户的目光相关输出；目光类别确定单元，其用于基于目光相关输出从多个目光类别确定瞬时目光类别；以及反馈生成单元，其用于依照该确定的瞬时目光类别连续地产生显示区域反馈。
依照本发明的系统提供了一种让用户知道他可以容易地与显示区域交互、允许对于公共交互式显示必不可少的自然和未经训练的行为的直观手段，对于所述公共交互式显示而言，不得不训练用户既不是所希望的，也是不切实际的。
从属权利要求和随后的描述公开了本发明的特别有利的实施例和特征。
如已经所指出的，本发明所描述的交互式显示系统和执行基于目光的交互的方法适合应用于任何适当的环境，例如应用于POP（购买点）处的自动产品呈现的商店内购物区中的交互式橱窗，应用于展览会、商品交易会或者博物馆环境等等中的交互式陈列柜。在下文中，不以任何方式限制本发明地，可以假设显示区域是橱窗。此外，可能与系统交互的人在下文中称为“用户”。被呈现的显示区域的内容在下面可以称为“物品”、“对象”或者“产品”，这不以任何方式限制本发明。
依照本发明的交互式显示系统可以包括用于检测显示区域之前的用户的存在性的检测模块，例如显示区域之前的地面上的一个或多个压力传感器、任何适当的运动传感器或者红外传感器。当然，观测装置本身可以用来检测显示区域之前的用户的存在性。
观测装置可以包括相机布置，例如安装在显示区域内部的一定数量的活动相机。被设计成跟踪人的头部的运动的观测装置通常称为“头部跟踪器”。一些系统可以跟踪人脸中的眼睛，例如“智能眼®”跟踪设备，以给出目光相关输出，即描述用户眼睛正在观看的估计方向的信息。假如观测装置能够检测用户的眼睛，那么可以通过应用已知的算法推断观看方向或目光方向。由于显示区域是三维区域，并且显示区域中对象的位置可以通过坐标系统中的坐标来描述，因而有利的是通过例如这种坐标系统的头部姿态矢量描述目光方向。构成头部姿态矢量的三维称为偏航或航向（水平旋转）、俯仰（竖直旋转）和摇摆（从一侧向另一侧倾斜头部）。不是所有的该信息要求用于确定用户正在观看的点。描述观看方向的矢量可以包括诸如仅仅航向或者航向连同俯仰的相关信息并且称为“目光航向”。因此，在本发明的一个特别优选的实施例中，只要用户的目光方向可以从目光相关输出确定，则将目光相关输出转化成该用户的有效目光航向。在其中在显示区域之前没有检测到用户的情况下，或者如果用户在那里，但是他的眼睛不能被跟踪，那么处理观测装置获得的数据的算法或程序可以简单地给出无效、空或“零（null）”矢量以指示该情形。
由于要连续地提供反馈，因而分析目光输出和目光航向以便确定要提供的反馈类型。在依照本发明的方法中，依照瞬时目光类别提供反馈。因此，在本发明的另一特别优选的实施例中，可以依照以下四个条件之一确定目光类别或分类。
1）在第一目光类别中，目光航向指向显示区域中的对象不足预定义的停留时间，例如当用户仅仅暂时观看对象并且然后观看别处时。这可以对应于“对象被观看”目光类别。
2）在第二目光类别中，目光航向指向显示区域中的对象至少预定义的停留时间。这将意味着用户实际上对该特定对象感兴趣，并且可以与“对于对象的停留时间被超过”类别关联。
3）在第三目光类别中，目光航向指向显示区域中的对象之间。当例如用户正在观察显示区域，但是没有意识到他可以单独使用目光与显示区域交互时，可能发生这种情形。在所称的目光扫视期间，用户的目光也可以暂时离开他正在观看的对象而指向。在这里，可能分配“对象之间”目光类别。
4）在第四目光类别中，不能从目光相关输出确定目光航向。这可能因为显示区域之前的用户正在观看一定方向，使得观测装置不能跟踪他的一只或两只眼睛。这可以对应于“零”目光类别。该类别也可以应用于这样的情形，其中没有用户被检测到，但是以某种方式可视地强调显示区域内容，例如旨在吸引潜在的顾客接近橱窗。
在这里以及在下文中，上面列出的目光类别的描述性标题仅仅是示例性标题，并且只是意在使得不同目光类别的解释更加清楚。在程序或算法中，可以适当地给予目光类别任何合适的标识符或标记。
一旦确定了瞬时目光类别，可以控制显示区域以反映该目光类别。在本发明的一个优选的实施例中，基于瞬时目光类别选择显示区域中的对象或者显示区域中的点以便进行视觉强调，并且产生显示区域反馈的步骤包括依照该瞬时目光类别控制显示区域以便在视觉上强调选择的对象或者在视觉上指示被观看的点。在视觉上强调显示区域中的一个或多个对象的不同方式在下文中加以描述。
在本发明的一个优选的实施例中，如果用户直接观看对象，那么第一或第二目光类别适用，并且依照瞬时目光类别产生显示区域反馈可以涉及在视觉上强调被观看的对象。例如，如果显示区域配备了诸如菲涅尔透镜阵列之类的活动聚光灯阵列，那么可以对其控制以便使它们的光束指向标识的对象。例如，如果用户依次暂时观看一定数量的对象，那么相继地突出这些对象，并且用户可以认识到系统正在对他的目光方向做出反应。对象的视觉强调可以涉及使用如上面所提及的聚光灯突出对象，或者可以涉及将图像投影到对象之上或对象之后，使得该对象在视觉上有别于显示区域中的其他对象。
使用户感兴趣的对象通常将保持用户的目光更长的时间段。在依照本发明的方法中，可以定义最小停留时间，例如两秒的持续时间。如果用户观看对象至少这么长时间，那么可以假设他对该对象感兴趣，从而瞬时（第二）目光类别为“停留时间被超过”，并且系统可以相应地控制显示区域。依照瞬时“停留时间被超过”目光类别产生显示区域反馈可以包括例如投影关于感兴趣对象的动画“光环”或“光晕”、增大指向该对象的聚光灯的强度或者缩窄聚焦到该对象上的一定数量的聚光灯的组合光束。在该进一步优选的实施例中，系统“让用户知道”它已经标识了用户感兴趣的对象。用户观看选择的对象的时间越长，对该对象的突出可以变得越强烈，使得这种类型的反馈可以具有肯定的效果，从而让用户知道系统正在响应他的目光。响应于用户的兴趣，诸如例如价格、可用尺寸、可用颜色、设计者姓名等等之类的产品相关信息可以靠近该物品而被投影。当用户的目光离开该对象时，该信息可以在适当的时间长度之后淡出。
当然，可以设想，无论何时用户观看对象、无论多么短暂，都可以不区分“对象被观看”目光类别和“停留时间被超过”目光类别地提供产品相关信息。然而，每当用户瞥视对象时示出产品信息可能对于用户而言太混乱和太困惑，从而优选的是如上面所描述的区分这些类别。
在本发明的另一个优选的实施例中，当目光输出和目光航向指示用户确实正在观察显示区域，但是观察显示区域中的对象之间，使得第三目光类别“对象之间”适用时，产生反馈的步骤可以包括控制显示区域以便向用户表明他的目光正被系统记录。为此目的，可以在用户的目光指向的点处示出视觉反馈。利用适当的已知算法，确定目光航向指向的点是相对直接的。这种情况下的视觉反馈可以涉及例如通过以下方式在用户观看的点处示出静态或动画图像：例如再现跟随用户眼睛的运动的一双眼睛的图像，或者在用户移动其眼睛的方向上运动的闪烁之星的图像。可替换地，可以使一个或多个聚光灯指向用户观看的点，并且可以控制其依照用户的眼睛运动而运动。由于图像或突出跟随用户眼睛的运动，因而它可以称作“目光光标”。这种类型的显示区域反馈对于对这种类型的交互式系统陌生的用户而言可能是特别有帮助的，因为它可以向他指示他可以使用他的目光与系统交互。
交互式显示区域的能力不必限于对象的简单突出。利用现代再现技术，有可能例如借助于投影系统将图像或图像序列投影到屏幕上，例如投影到设置在显示区域中的对象之后的屏幕上而向用户呈现信息。因此，在本发明的另一个实施例中，显示区域中物品的视觉强调可以包括呈现物品相关信息。例如，对于橱窗中的产品，系统可以示出有关该产品的信息，例如设计者姓名、价格、可用尺寸，或者可以在相同的产品以不同的颜色出现时示出该产品。对于服装物品，系统可以示出该物品由模特穿着的简短视频。在展览会环境中，例如在物品在陈列柜中展示的博物馆中，系统可以以一种或多种语言再现描述用户正在观看的物品的信息。如已经指出的，示出的信息量可以与依照用户的目光行为确定的瞬时目光类别联系。
如上面所提及的，可能在显示区域之前检测到用户，但是观测装置可能不能确定目光航向，例如如果用户离显示区域一侧太远地观看。这种情形可能导致分配“零”目光类别。在这种情况下，依照第四目光类别产生显示区域反馈的步骤包括控制显示区域在视觉上指示没有获得目光航向。例如，可以显示表达不能确定目光输出的文本消息，或者可以以更巧妙的方法依次突出显示区域中的每一个对象，示出它们的有关信息。如果显示区域配备了活动聚光灯，那么可以驱动这些聚光灯扫掠和回扫，使得显示区域中的对象以随机或受控的方式被照射。可替换地，显示区域反馈可以涉及例如示出反映不能确定用户的目光这一事实的某种视觉图像，例如在显示区域周围“漂移”的一双闭着的眼睛、疑惑的表情、问号等等，以便指示“目光离开”。如果用户反应，即如果用户观察显示区域，使得观测装置能够确定目光航向，那么该双眼睛可以“睁开”并且跟随用户眼睛的运动。失败的目光跟踪的情况下的反馈也可以作音频输出消息而给出。在另一种方法中，当目光跟踪失败时，系统可以模拟目光输入，产生注视点和扫视，从而模仿自然的目光路径并且相应地产生反馈。可替换地，目光跟踪一失败，系统就可以对场景中的对象开始预先记录的多媒体演示，例如，它将逐个突出场景的对象并且显示相关内容。该方法并不需要用户对发生的事情的任何理解，并且实质上是没有用户交互地显示产品相关内容的另一种方式。
当然，依照本发明的方法并不限于这里描述的目光类别。其他适当的类别可以加以使用。例如，在其中目光输出指示显示区域之前没有人的情况下，系统可能应用其中不进行突出的“备用”目光类别。这在博物馆环境中可能是适当的。可替换地，这种“备用”类型的类别可能涉及依次突出每个对象，以便例如在购物中心或者商品贸易会环境中吸引潜在的用户，在所述环境中，可以预期人们将在显示区域之前经过。
依照本发明的交互式显示系统可以包括可控或活动的聚光灯，其可以例如电子地控制以便突出显示区域中的被观看对象。在这种环境中，反馈生成单元可以包括被实现为控制聚光灯再现显示区域反馈的控制单元。例如，该控制单元可以发出改变聚光灯瞄准的方向的信号以及控制其颜色或强度的信号。然而，出于无论什么原因，显示区域可能限于其上可以放置对象以便呈现的搁板布置，或者橱窗可能限于宽而浅的区域。使用单个聚光灯，可能难于精确地突出呈现区域中的对象。因此，依照本发明的交互式显示系统的一个实施例优选地包括用于突出显示区域中的对象的可同步操作的聚光灯布置。这样的聚光灯可以不引人注目地设置在搁板的底侧上。如上面所提及的，这样的聚光灯可以包括菲涅尔透镜或者LC（液晶）透镜，其可以依照施加到聚光灯的电压产生运动的光束。优选地，可以例如在运动、强度和颜色方面同步地控制若干这样的聚光灯，从而可以以特别简单和有效的方式突出一个对象以便将其与显示区域中的其他对象区分。在用户观看对象之间的情况下，可以控制一个或多个聚光灯，使得它们的光束会聚到用户观看的点处，并且跟随用户眼睛的运动。如果不能检测到目光航向，那么可以控制这些聚光灯以便连续地照射对象。如果检测到用户的目光停靠在所述对象之一上，那么若干光束可以会聚到该对象上，而其余对象不被照射，从而为用户突出被观看的对象。如果他观看该对象的时间长于特定停留时间，那么光束可以变得更窄并且可能也更强烈，从而发信号告知用户已经注意到他的兴趣。这种反馈的优点在于，其实现起来相对经济，因为大多数橱窗装备了照明器具，并且这里描述的聚光灯的控制相当直接。
在一个稍微更复杂的实施例中，依照本发明的交互式显示系统可以包括将图像投影到显示区域中的微步进电机可控激光器。这样的设备可以定位在显示区域之前，使得它可以将图像或照明效果投影到显示区域中的任何对象上或者显示区域中的对象之间。
可替换地，可操纵投影仪可以用来将图像投影到显示区域中。由于投影方法允许向用户示出详细的产品信息，因而所述交互式显示系统的一个特别优选的实施例包括显示区域之后的屏幕，例如背投式屏幕。这种投影屏幕优选地依照反馈生成单元的输出加以控制，该反馈生成单元可以依照瞬时目光类别向其提供适当的命令，例如对于“停留时间被超过”目光类别呈现产品信息的命令，或者对于“对象之间”类别投影一双眼睛的图像的命令。在一种可能的实现中，投影屏幕可以置于显示区域中的对象之后。在另一种可能的实现中，投影屏幕可以是具有例如范围从不透明到半透明到透明的不同透射模式的电泳显示器。更优选地，投影屏幕可以包括低成本无源矩阵电泳显示器。这种类型的电泳屏幕可以置于用户与显示区域之间。用户可以在这种显示器处于透明模式下时通过该显示器观看其后的对象，在半透明模式下阅读该显示器上出现的通过该显示器同时可见的对象的信息，或者在该显示器处于不透明模式下时仅仅看见投影到该显示器上的图像。当然，屏幕不必是投影屏幕，而是可以为可以在其上再现图像或突出效果的任何适当类型的表面，例如液晶显示器或TFT（薄膜晶体管）显示器。
依照本发明的交互式显示系统优选地包括数据库或存储单元，其用于存储显示区域中的对象的位置相关信息，使得针对有效目光输出确定的目光航向可以与一定对象关联，该对象例如最靠近用户正观看的点的对象，或者用户正在观看的对象。对于能够在显示区域中的屏幕上再现图像的系统而言，这种数据库或存储器优选地也存储对象的产品相关信息，从而可以向反馈生成单元提供用于再现这样的信息的适当命令和数据以便给出对于用户观看的产品的信息视觉强调。
为了反馈生成单元可以用来正确地控制显示区域，有必要将显示区域中的对象与对象相关内容“联系”，并且将该信息存储到数据库中。这可以例如使用嵌入到搁板中的RFID（射频标识）读取器来实现以便检测嵌入或附接到对象以用于标识目的的RFID标记。系统然后可以不断地跟踪对象的位置并且依照目光类别和目光航向获取对象相关内容。使用RFID标识，系统可以在对象布置改变的任何时候更新对象的位置。
可替换地，可以借助于图像识别标识显示区域中的对象。特别是在投影屏幕置于对象之后并且用来通过给对象以可见的“光环”而突出对象的情况下，对象的实际形状或轮廓需要为系统所知。存在自动地检测轮廓的若干方式。例如，第一方法涉及需要在产品布置改变（例如一个产品被另一个取代）的任何时候进行的一次校准。为了开始校准，在产品之后的屏幕上显示清晰的背景。相机摄取场景的快照并且通过从图像中减去该已知背景而提取对象的轮廓。另一种方法在基于视觉的解决方案中使用TouchLight触摸屏，其在透明屏幕之后使用两个相机检测触摸或附近的对象的轮廓。
本发明的其他对象和特征根据以下结合附图考虑的详细描述将变得清楚明白。然而，应当理解的是，这些附图仅仅被设计用于图示的目的，而不是作为本发明限制的定义。
附图说明
图1示出了用户以及依照本发明实施例的交互式显示系统的示意图；
图2a示出了显示区域的示意性前视图，其中使用依照本发明的方法为被观看的对象之间的点提供反馈；
图2b示出了显示区域的示意性前视图，其中使用依照本发明的方法为被观看的对象提供反馈；
图2c示出了显示区域的示意性前视图，其中使用依照本发明的方法为被观看预定义停留时间的对象提供反馈；
图3a示出了显示区域的示意性前视图，其中使用依照本发明的方法为被观看的对象提供反馈；
图3b示出了显示区域的示意性前视图，其中使用依照本发明的方法为被观看的对象之间的点提供反馈。
在附图中，相似的数字始终表示相似的对象。示图中的对象不一定按比例绘制。
具体实施方式
图1示出了用户1在显示区域D之前，在这种情况下潜在顾客1在橱窗D之前。为了清楚起见，该示意性表示保持非常简单。在橱窗D中，物品10、11、12、13被设置用于展示，其在该实例中为不同的移动电话10、11、12、13。在这种情况下为压力垫4的检测装置4定位在橱窗D之前的适当位置处，从而可以检测在橱窗D之前逗留的潜在顾客1的存在性。具有相机布置的头部跟踪装置3置于显示区域D中，使得当用户1观察显示区域D时可以跟踪用户1的头部运动。头部跟踪装置3可以响应于输送到控制单元20的来自检测装置4的信号40而激活。显然，这样的检测装置4不一定需要，因为观测装置3也可以用来检测用户1的存在性。然而，压力垫4或者类似物的使用可以触发观测装置3的功能，其在其他情况下可以置于失活或备用模式下，从而在显示区域D之前没有人时可以节省能量。
控制单元20通常对于用户1不可见，并且因而由虚线指示。控制单元20被示为包括处理头部跟踪器3提供的目光输出数据30的目光输出处理单元21，头部跟踪器3可以监视用户头部和/或眼睛的运动。数据库23或存储器23存储描述显示区域D中的物品10、11、12、13的位置的信息28，并且也存储要在对象被选择时向用户再现的信息27，例如产品细节，如价格、制造商、特价、关于该对象的其他版本的描述信息等等。
如果目光输出处理单元21确定用户的目光方向指向显示区域D，那么将目光输出30转化成有效的目光航向Vo、Vbo。否则，将目光输出30转化成零值目光航向Vnr，其可以简单地为零矢量。显然，目光输出处理单元21的输出只需为单个输出，并且这里示出的不同目光航向Vo、Vbo、Vnr只是说明性的。
当用户的目光L指向对象时，目光航向将“截取”该对象在显示区域中的位置。例如，如图所示，用户1正在观看对象12。得到的目光航向Vo由目光输出处理单元21使用存储在数据库23中的对象10、11、12、13的坐标信息28确定，以便确定被观看的实际对象12。如果用户1观看对象之间，那么这由目光输出处理单元21确定，其不能将有效的目光航向Vbo与显示区域D中的对象的坐标匹配。
在下面的目光类别确定单元22中，再次借助于数据库23提供的物品10、11、12、13的位置信息28对于当前的目光航向Vo、Vbo、Vnr确定瞬时目光类别Go、Gdw、Gbo、Gnr。例如，当用户1正在观看对象并且该对象通过其坐标标识时，可以将瞬时目光类别Go分类为“对象被观看”，在这种情况下，如下面将解释的突出该对象。如果用户注视该对象，即稳定地观看它达预定义的停留时间，那么可以将瞬时目光类别Gdw分类为“对于对象的停留时间被超过”，在这种情况下，如下面将解释的向用户示出该对象的详细产品信息。对于用户观看对象之间的情况而言，可以将瞬时目光类别Gbo分类为“对象之间”。如果观测装置不能跟踪用户的眼睛，那么得到的零矢量使得目光类别确定单元22向瞬时目光类别Gnr分配“零”的解释。在这里，出于说明的目的，目光类别确定单元22被示为与目光输出处理单元21分开的实体，但是显然这些单元可以实现为单个单元。
瞬时目光类别Go、Gdw、Gbo、Gnr与来自数据库23的属于用户1观看的任何对象（对于有效的目光航向Vo）或者靠近用户1观看的点的对象（对于有效的目光航向Vbo）的产品相关信息27和坐标信息28一起转发到反馈生成单元25。显示控制器24产生驱动图中未示出的诸如聚光灯、电机、投影仪等等之类的显示区域D的元件的命令29以便产生希望的且合适的视觉强调，从而连续地向用户提供与其目光行为有关的反馈。
依照本发明的交互式系统的一个基本实施例借助于图2a-2c而示出，图2a-2c示出了显示区域D的示意性前视图。为了简单起见，在这里没有示出观测装置和控制单元，而是假设它们是如上面利用图1所描述的交互式系统的一部分。
包括可同步控制的菲涅尔聚光灯5的照明布置被示出，其中聚光灯5安装在搁板61、62的底侧上，从而可以照射下搁板62、63上的对象14、15、16。图5示出了当用户观察显示区域D时如何可以给用户（未示出）以反馈。让我们假设用户在显示区域D之前逗留，并且其目光越过一定区域移动到中间搁板62上的鞋15的左边。他观看的点在控制单元中确定，该控制单元向聚光灯5发出命令信号，使得上搁板61下面的聚光灯，使得从这些聚光灯5发出的光束会聚到该点处。随着用户移动其眼睛以跨越显示区域观看，聚光灯被控制成使得会聚的光束“跟随”其眼睛的运动。通过这种方式，用户立即知道系统对其目光做出反应，并且他可以利用其目光控制该交互。
如果用户观看中间搁板62上的鞋15，那么控制单元标识该对象15并且控制上搁板上的聚光灯5以会聚在鞋15上，使得这些鞋被照射或突出，如图2b中所示。如果鞋15是用户感兴趣的，那么他的目光可能停留在鞋15上，在这种情况下，系统做出反应，控制上搁板61上的聚光灯5，使得光束变窄，如图2c中所示。
图3a和图3b中示出了交互式显示系统的一个更复杂的实施例，图3a和图3b再次没有控制单元或观测装置，尽管假设这些被包括在内。在该实施例中，显示区域D也包括置于设置在搁板64、65上的对象14、15、16之后的投影屏幕30。图像可以通过使用图中未示出的投影模块投影到屏幕30上。
图3a示出了针对被观看的对象14提供的反馈，该对象在这种情况下为包14。包的形状的知识存储在控制单元的数据库中，使得当目光输出处理单元确定该包14正被观看时，其形状通过投影到屏幕30上的亮轮廓31或光晕31而被强调。如果用户观看包14的时间长于预定义的停留时间，那么可以将该包14的诸如关于设计者的信息、可替换的颜色、关于使用的材料的细节等等之类的附加产品信息投影到屏幕30上。通过这种方式，可以保持显示区域“整齐”，同时如果用户感兴趣的话，可以向他示出关于任何对象14、15、16的任何必要的信息。
依照本发明的系统的该实施例可以用来非常直观地向用户表明他可以使用其目光与系统交互。图3b示出了其中用户的目光在对象之间，例如如果用户经过时瞥视橱窗D的情形。他的目光被检测并且他观看的点被确定。在他的目光将相交的屏幕30上的点处，投影目光光标32。在这种情况下，目光光标32示出在用户目光的相同方向上“运动”的流星的图像，从而他可以立即理解他的目光被跟踪并且他可以使用他的目光与系统交互。
尽管以优选实施例及其变型的形式公开了本发明，但是应当理解的是，在不脱离本发明的范围的情况下，可以对其做出许多附加的修改和变型。
为了清楚起见，应当理解的是，整个本申请中“一”或“一个”的使用并没有排除复数，并且“包括/包含”并没有排除其他的步骤或元件。除非另有说明，“单元”或“模块”可以包括一定数量的单元或模块。

Claims (14)

1. 一种在用户（1）与交互式显示系统（2）之间执行基于目光的交互的方法，所述交互式显示系统包括其中设置了一定数量的物理对象（10，11，12，13，14，15，16）的三维显示区域（D）和观测装置（3），该方法包括步骤：
- 从观测装置（3）获取用户（1）的目光相关输出（30）；
- 基于目光相关输出（30）从多个目光类别（Go，Gdw，Gbo，Gnr）确定瞬时目光类别（Go，Gdw，Gbo，Gnr）；以及
- 依照该确定的瞬时目光类别（Go，Gdw，Gbo，Gnr）连续地产生显示区域反馈。
2. 依照权利要求1的方法，其中如果用户（1）的目光方向（L）可以从目光相关输出（30）确定，则将目光相关输出（30）转化成该用户（1）的目光航向（Vo，Vbo）。
3. 依照前面的权利要求中任何一项的方法，其中确定以下目光类别（Go，Gdw，Gbo，Gnr）之一：
- 第一目光类别（Go）：当目光航向（Vo）指向显示区域（D）中的对象（10，11，12，13，14，15，16）不足预定义的停留时间时；
- 第二目光类别（Gdw）：当目光航向（Vo）指向显示区域（D）中的对象（10，11，12，13，14，15，16）至少预定义的停留时间时；
- 第三目光类别（Gbo）：当目光航向（Vbo）指向显示区域（D）中的对象（10，11，12，13，14，15，16）之间时；
- 第四目光类别（Gnr）：当不能从目光相关输出（30）确定目光航向时。
4. 依照权利要求3的方法，其中依照第一和第二目光类别（Go，Gdw）产生显示区域反馈的步骤包括控制显示区域（D）以便在视觉上强调用户的目光指向的对象（14，15）。
5. 依照权利要求3或4的方法，其中依照第二目光类别（Gdw）产生显示区域反馈的步骤包括控制显示区域（D）以便依照停留时间在视觉上强调选择的对象（14，15）。
6. 依照权利要求3-5中任何一项的方法，其中依照第三目光类别（Gbo）产生显示区域反馈的步骤包括控制显示区域（D）以便在视觉上强调用户的目光（L）指向的点。
7. 依照权利要求3的方法，其中依照第四目光类别（Gnr）产生显示区域反馈的步骤包括控制显示区域（D）以便在视觉上指示没有获得目光航向。
8. 依照权利要求1-7中任何一项的方法，其中产生显示区域反馈的步骤包括在显示区域（D）中再现图像（31，32）。
9. 依照权利要求4-8中任何一项的方法，其中在视觉上强调显示区域（D）中的对象（10，11，12，13，14，15，16）包括向用户（1）呈现对象相关信息。
10. 一种交互式显示系统（2），包括：
- 三维显示区域（D），其中设置了一定数量的物理对象（10，11，12，13，14，15，16）；
- 观测装置（3），其用于获取用户（1）的目光相关输出（30）；
- 目光类别确定单元（22），其用于基于目光相关输出（30）从多个目光类别（Go，Gdw，Gbo，Gnr）确定瞬时目光类别（Go，Gdw，Gbo，Gnr）；以及
- 反馈生成单元（25），其用于依照该确定的瞬时目光类别（Go，Gdw，Gbo，Gnr）连续地产生显示区域反馈（29）。
11. 依照权利要求10的交互式显示系统（2），包括用于在显示区域（D）中再现图像（31，32）的再现模块。
12. 依照权利要求10或11的交互式显示系统（2），包括用于突出显示区域（D）中的对象（14，15，16）的可同步操作的聚光灯（5）布置，并且其中反馈生成单元（25）包括被实现为控制聚光灯（5）再现显示区域反馈（29）的控制单元（24）。
13. 依照权利要求10-12中任何一项的交互式显示系统（2），包括用于存储显示区域（D）中的对象（10，11，12，13，14，15，16）的位置相关信息（28）的存储单元（23）。
14. 依照权利要求10-13中任何一项的交互式显示系统（2），其中显示区域（D）包括投影屏幕（30），并且其中反馈生成单元（25）包括被实现为控制投影屏幕（30）再现显示区域反馈（29）的控制单元（24）。
CN2009801343792A 2008-09-03 2009-08-31 在用户与交互式显示系统之间执行基于目光的交互的方法 Pending CN102144201A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP08105213.6 2008-09-03
EP08105213 2008-09-03
PCT/IB2009/053784 WO2010026520A2 (en) 2008-09-03 2009-08-31 Method of performing a gaze-based interaction between a user and an interactive display system

Publications (1)

Publication Number Publication Date
CN102144201A true CN102144201A (zh) 2011-08-03

Family

ID=41797591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801343792A Pending CN102144201A (zh) 2008-09-03 2009-08-31 在用户与交互式显示系统之间执行基于目光的交互的方法

Country Status (5)

Country Link
US (1) US20110141011A1 (zh)
EP (1) EP2324409A2 (zh)
CN (1) CN102144201A (zh)
TW (1) TW201017474A (zh)
WO (1) WO2010026520A2 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103063224A (zh) * 2011-10-18 2013-04-24 罗伯特·博世有限公司 用于操作导航系统的方法
CN103425445A (zh) * 2012-05-23 2013-12-04 鸿富锦精密工业（深圳）有限公司 电子橱窗系统
CN103581618A (zh) * 2012-08-01 2014-02-12 鸿富锦精密工业（深圳）有限公司 通过透明显示屏监控目标物的显示设备及监控方法
CN103716667A (zh) * 2012-10-09 2014-04-09 鸿富锦精密工业（深圳）有限公司 通过显示设备捕获目标物信息的显示系统及显示方法
CN105074762A (zh) * 2013-03-01 2015-11-18 日本电气株式会社 信息处理系统和信息处理方法
CN106710490A (zh) * 2016-12-26 2017-05-24 上海斐讯数据通信技术有限公司 一种橱窗系统及其实施方法
CN106923908A (zh) * 2015-12-29 2017-07-07 东洋大学校产学协力团 性别注视特性分析系统
CN108153169A (zh) * 2017-12-07 2018-06-12 北京康力优蓝机器人科技有限公司 导览模式切换方法、系统和导览机器人
CN108292163A (zh) * 2015-10-26 2018-07-17 卡洛拉蒂协会有限公司 用于待挑选的物品的增强现实展台
WO2018133274A1 (zh) * 2017-01-18 2018-07-26 广景视睿科技（深圳）有限公司 一种物体投影展示装置
CN108604128A (zh) * 2016-12-16 2018-09-28 华为技术有限公司 一种处理方法及移动设备
CN108665305A (zh) * 2018-05-04 2018-10-16 水贝文化传媒（深圳）股份有限公司 用于门店信息智能分析的方法及系统
CN110825225A (zh) * 2019-10-30 2020-02-21 深圳市掌众信息技术有限公司 一种广告展示方法及系统
CN111598974A (zh) * 2014-06-03 2020-08-28 苹果公司 用于呈现与真实对象相关的数字信息的方法和系统

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2928809B1 (fr) * 2008-03-17 2012-06-29 Antoine Doublet Systeme interactif et procede de commande d'eclairages et/ou de diffusion d'images
US9037468B2 (en) * 2008-10-27 2015-05-19 Sony Computer Entertainment Inc. Sound localization for user in motion
KR20100064177A (ko) * 2008-12-04 2010-06-14 삼성전자주식회사 전자장치 및 그의 디스플레이방법
WO2011121484A1 (en) * 2010-03-31 2011-10-06 Koninklijke Philips Electronics N.V. Head-pose tracking system
US8888287B2 (en) 2010-12-13 2014-11-18 Microsoft Corporation Human-computer interface system having a 3D gaze tracker
US8726367B2 (en) * 2011-03-30 2014-05-13 Elwha Llc Highlighting in response to determining device transfer
US8863275B2 (en) 2011-03-30 2014-10-14 Elwha Llc Access restriction in response to determining device transfer
US8726366B2 (en) 2011-03-30 2014-05-13 Elwha Llc Ascertaining presentation format based on device primary control determination
US8839411B2 (en) 2011-03-30 2014-09-16 Elwha Llc Providing particular level of access to one or more items in response to determining primary control of a computing device
US8745725B2 (en) * 2011-03-30 2014-06-03 Elwha Llc Highlighting in response to determining device transfer
US9317111B2 (en) 2011-03-30 2016-04-19 Elwha, Llc Providing greater access to one or more items in response to verifying device transfer
US8918861B2 (en) 2011-03-30 2014-12-23 Elwha Llc Marking one or more items in response to determining device transfer
US8713670B2 (en) 2011-03-30 2014-04-29 Elwha Llc Ascertaining presentation format based on device primary control determination
US8739275B2 (en) 2011-03-30 2014-05-27 Elwha Llc Marking one or more items in response to determining device transfer
US8613075B2 (en) 2011-03-30 2013-12-17 Elwha Llc Selective item access provision in response to active item ascertainment upon device transfer
US9153194B2 (en) 2011-03-30 2015-10-06 Elwha Llc Presentation format selection based at least on device transfer determination
US9996972B1 (en) * 2011-06-10 2018-06-12 Amazon Technologies, Inc. User/object interactions in an augmented reality environment
US9921641B1 (en) 2011-06-10 2018-03-20 Amazon Technologies, Inc. User/object interactions in an augmented reality environment
US10008037B1 (en) 2011-06-10 2018-06-26 Amazon Technologies, Inc. User/object interactions in an augmented reality environment
US10585472B2 (en) 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US10209771B2 (en) 2016-09-30 2019-02-19 Sony Interactive Entertainment Inc. Predictive RF beamforming for head mounted display
WO2013085193A1 (ko) * 2011-12-06 2013-06-13 경북대학교 산학협력단 사용자 인지 향상 장치 및 그 인지 향상 방법
US9024844B2 (en) 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display
US8698901B2 (en) 2012-04-19 2014-04-15 Hewlett-Packard Development Company, L.P. Automatic calibration
US9423870B2 (en) * 2012-05-08 2016-08-23 Google Inc. Input determination method
ITFI20120165A1 (it) * 2012-08-08 2014-02-09 Sr Labs S R L Sistema multimediale interattivo a controllo oculare per il tracciamento attivo e passivo
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
CH707946A1 (fr) 2013-04-24 2014-10-31 Pasquale Conicella Système de présentation d'objets.
US9189095B2 (en) 2013-06-06 2015-11-17 Microsoft Technology Licensing, Llc Calibrating eye tracking system by touch input
DE102013013698B4 (de) * 2013-08-16 2024-10-02 Audi Ag Verfahren zum Betreiben einer elektronischen Datenbrille
US10108258B2 (en) * 2013-09-06 2018-10-23 Intel Corporation Multiple viewpoint image capture of a display user
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
US9778814B2 (en) * 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system
US9398258B1 (en) * 2015-03-26 2016-07-19 Cisco Technology, Inc. Method and system for video conferencing units
US20170045935A1 (en) * 2015-08-13 2017-02-16 International Business Machines Corporation Displaying content based on viewing direction
US10296934B2 (en) 2016-01-21 2019-05-21 International Business Machines Corporation Managing power, lighting, and advertising using gaze behavior data
US10950052B1 (en) 2016-10-14 2021-03-16 Purity LLC Computer implemented display system responsive to a detected mood of a person
US10429926B2 (en) * 2017-03-15 2019-10-01 International Business Machines Corporation Physical object addition and removal based on affordance and view
US10650545B2 (en) 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US10853965B2 (en) 2017-08-07 2020-12-01 Standard Cognition, Corp Directional impression analysis using deep learning
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
US10474988B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
US11023850B2 (en) 2017-08-07 2021-06-01 Standard Cognition, Corp. Realtime inventory location management using deep learning
US11232687B2 (en) 2017-08-07 2022-01-25 Standard Cognition, Corp Deep learning-based shopper statuses in a cashier-less store
US11250376B2 (en) 2017-08-07 2022-02-15 Standard Cognition, Corp Product correlation analysis using deep learning
US10474991B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Deep learning-based store realograms
US10672032B2 (en) 2017-08-10 2020-06-02 Cooler Screens Inc. Intelligent marketing and advertising platform
US11698219B2 (en) 2017-08-10 2023-07-11 Cooler Screens Inc. Smart movable closure system for cooling cabinet
US11768030B2 (en) 2017-08-10 2023-09-26 Cooler Screens Inc. Smart movable closure system for cooling cabinet
US11763252B2 (en) 2017-08-10 2023-09-19 Cooler Screens Inc. Intelligent marketing and advertising platform
US10769666B2 (en) 2017-08-10 2020-09-08 Cooler Screens Inc. Intelligent marketing and advertising platform
US12118510B2 (en) 2017-08-10 2024-10-15 Cooler Screens Inc. Intelligent marketing and advertising platform
CN107622248B (zh) * 2017-09-27 2020-11-10 威盛电子股份有限公司 一种注视识别及互动方法与装置
US10768696B2 (en) 2017-10-05 2020-09-08 Microsoft Technology Licensing, Llc Eye gaze correction using pursuit vector
EP3716220B1 (en) * 2017-11-20 2024-02-21 Rakuten Group, Inc. Information processing device, information processing method, and information processing program
EP3502838B1 (en) * 2017-12-22 2023-08-02 Nokia Technologies Oy Apparatus, method and system for identifying a target object from a plurality of objects
WO2020023926A1 (en) * 2018-07-26 2020-01-30 Standard Cognition, Corp. Directional impression analysis using deep learning
US11232575B2 (en) 2019-04-18 2022-01-25 Standard Cognition, Corp Systems and methods for deep learning-based subject persistence
US10860095B2 (en) * 2019-05-02 2020-12-08 Cognixion Dynamic eye-tracking camera alignment utilizing eye-tracking maps
IT201900016505A1 (it) * 2019-09-17 2021-03-17 Luce 5 S R L Apparato e metodo per il riconoscimento dell'orientazione facciale
TWI733219B (zh) * 2019-10-16 2021-07-11 驊訊電子企業股份有限公司 音頻調整方法以及音頻調整裝置
US11361468B2 (en) 2020-06-26 2022-06-14 Standard Cognition, Corp. Systems and methods for automated recalibration of sensors for autonomous checkout
US11303853B2 (en) 2020-06-26 2022-04-12 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout
EP3944724A1 (fr) * 2020-07-21 2022-01-26 The Swatch Group Research and Development Ltd Dispositif de presentation d'un objet decoratif

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1607840A1 (en) * 2004-06-18 2005-12-21 Tobii Technology AB Eye control of computer apparatus
WO2007015200A2 (en) * 2005-08-04 2007-02-08 Koninklijke Philips Electronics N.V. Apparatus for monitoring a person having an interest to an object, and method thereof
WO2008012717A2 (en) * 2006-07-28 2008-01-31 Koninklijke Philips Electronics N. V. Gaze interaction for information display of gazed items

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6456262B1 (en) * 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
US9274598B2 (en) * 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
WO2005046465A1 (en) 2003-11-14 2005-05-26 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US8360578B2 (en) 2006-01-26 2013-01-29 Nokia Corporation Eye tracker device
JP2009530071A (ja) * 2006-03-13 2009-08-27 アイモーションズ−エモーション テクノロジー エー／エス 視覚的注意および感情反応の検出表示システム
ES2612863T3 (es) * 2006-06-07 2017-05-19 Philips Lighting Holding B.V. Retroalimentación de luz sobre selección de objetos físicos
US20080243614A1 (en) * 2007-03-30 2008-10-02 General Electric Company Adaptive advertising and marketing system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1607840A1 (en) * 2004-06-18 2005-12-21 Tobii Technology AB Eye control of computer apparatus
WO2007015200A2 (en) * 2005-08-04 2007-02-08 Koninklijke Philips Electronics N.V. Apparatus for monitoring a person having an interest to an object, and method thereof
WO2008012717A2 (en) * 2006-07-28 2008-01-31 Koninklijke Philips Electronics N. V. Gaze interaction for information display of gazed items

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103063224B (zh) * 2011-10-18 2019-04-12 罗伯特·博世有限公司 用于操作导航系统的方法
CN103063224A (zh) * 2011-10-18 2013-04-24 罗伯特·博世有限公司 用于操作导航系统的方法
CN103425445A (zh) * 2012-05-23 2013-12-04 鸿富锦精密工业（深圳）有限公司 电子橱窗系统
CN103581618A (zh) * 2012-08-01 2014-02-12 鸿富锦精密工业（深圳）有限公司 通过透明显示屏监控目标物的显示设备及监控方法
CN103581618B (zh) * 2012-08-01 2018-01-09 鸿富锦精密工业（深圳）有限公司 通过透明显示屏监控目标物的显示设备及监控方法
CN103716667A (zh) * 2012-10-09 2014-04-09 鸿富锦精密工业（深圳）有限公司 通过显示设备捕获目标物信息的显示系统及显示方法
CN103716667B (zh) * 2012-10-09 2016-12-21 王文明 通过显示设备捕获目标物信息的显示系统及显示方法
CN105074762A (zh) * 2013-03-01 2015-11-18 日本电气株式会社 信息处理系统和信息处理方法
US12039644B2 (en) 2014-06-03 2024-07-16 Apple Inc. Method and sytem for presenting a digital information related to a real object
CN111598974B (zh) * 2014-06-03 2023-12-22 苹果公司 用于呈现与真实对象相关的数字信息的方法和系统
CN111598974A (zh) * 2014-06-03 2020-08-28 苹果公司 用于呈现与真实对象相关的数字信息的方法和系统
CN108292163A (zh) * 2015-10-26 2018-07-17 卡洛拉蒂协会有限公司 用于待挑选的物品的增强现实展台
CN106923908A (zh) * 2015-12-29 2017-07-07 东洋大学校产学协力团 性别注视特性分析系统
CN108604128A (zh) * 2016-12-16 2018-09-28 华为技术有限公司 一种处理方法及移动设备
CN108604128B (zh) * 2016-12-16 2021-03-30 华为技术有限公司 一种处理方法及移动设备
CN106710490A (zh) * 2016-12-26 2017-05-24 上海斐讯数据通信技术有限公司 一种橱窗系统及其实施方法
WO2018133274A1 (zh) * 2017-01-18 2018-07-26 广景视睿科技（深圳）有限公司 一种物体投影展示装置
CN108153169A (zh) * 2017-12-07 2018-06-12 北京康力优蓝机器人科技有限公司 导览模式切换方法、系统和导览机器人
CN108665305A (zh) * 2018-05-04 2018-10-16 水贝文化传媒（深圳）股份有限公司 用于门店信息智能分析的方法及系统
CN110825225A (zh) * 2019-10-30 2020-02-21 深圳市掌众信息技术有限公司 一种广告展示方法及系统
CN110825225B (zh) * 2019-10-30 2023-11-28 深圳市掌众信息技术有限公司 一种广告展示方法及系统

Also Published As

Publication number Publication date
EP2324409A2 (en) 2011-05-25
US20110141011A1 (en) 2011-06-16
WO2010026520A2 (en) 2010-03-11
WO2010026520A3 (en) 2010-11-18
TW201017474A (en) 2010-05-01

Similar Documents

Publication Publication Date Title
CN102144201A (zh) 在用户与交互式显示系统之间执行基于目光的交互的方法
US20110128223A1 (en) Method of and system for determining a head-motion/gaze relationship for a user, and an interactive display system
CN106462233B (zh) 用于显示设备观看者视线吸引的方法和设备
CN102802502B (zh) 用于跟踪观察者的注视点的系统和方法
US10586391B2 (en) Interactive virtual reality platforms
CN102150072B (zh) 宽视角显示和用户接口
US20100259610A1 (en) Two-Dimensional Display Synced with Real World Object Movement
US20120169583A1 (en) Scene profiles for non-tactile user interfaces
CN108369449A (zh) 第三方全息门户
CN105378632A (zh) 用户焦点控制的有向用户输入
US20100020254A1 (en) Multi-panel virtual image display
US10360613B2 (en) System and method for monitoring display unit compliance
CN102027435A (zh) 用于在观看者界面的代表布景内限定激活区的系统和方法
KR101464273B1 (ko) 투명 디스플레이를 이용한 인터랙티브 이미지 표시장치, 표시방법 및 그 기록매체
Wedel Improving ad interfaces with eye tracking
Bulling et al. Pervasive eye-tracking for real-world consumer behavior analysis
KR101431804B1 (ko) 투명 디스플레이를 이용한 쇼윈도 이미지 표시장치, 표시방법 및 그 기록매체
WO2016051183A1 (en) System and method for monitoring display unit compliance
CN112535392B (zh) 基于光通信装置的物品陈列系统和信息提供方法、设备及介质
US20070133111A1 (en) Interactive control system for image display device
Mubin et al. How not to become a buffoon in front of a shop window: A solution allowing natural head movement for interaction with a public display
WO2010026519A1 (en) Method of presenting head-pose feedback to a user of an interactive display system
US11699301B2 (en) Transparent display system, parallax correction method and image outputting method
KR20190142857A (ko) 미러 디스플레이를 이용한 게임 장치 및 그 방법
Schwerdtfeger et al. Technical Report TUM-L0819: An Evaluation of Augmented Reality Visualizations to Support the Order Picking

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110803