CN107076999A - 使用目光接触经由平视显示器进行对接 - Google Patents

使用目光接触经由平视显示器进行对接 Download PDF

Info

Publication number
CN107076999A
CN107076999A CN201680003378.4A CN201680003378A CN107076999A CN 107076999 A CN107076999 A CN 107076999A CN 201680003378 A CN201680003378 A CN 201680003378A CN 107076999 A CN107076999 A CN 107076999A
Authority
CN
China
Prior art keywords
equipment
display
head
visual field
instance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680003378.4A
Other languages
English (en)
Other versions
CN107076999B (zh
Inventor
R·S·小古罗
A·梅耶斯
S·R·小贝德尔
C·M·奥美利亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN107076999A publication Critical patent/CN107076999A/zh
Application granted granted Critical
Publication of CN107076999B publication Critical patent/CN107076999B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally

Abstract

根据本发明的一个实施例，用于经由平视显示器进行设备交互的系统确定采用第一平视显示器的第一实体的视野区域，以及响应于至少检测到所确定的视野区域对至少一个第二设备的影响而建立至少一个第一设备与第一平视显示器之间的交互。本发明的实施例还包括用于以与上述基本相同的方式经由平视显示器与设备进行交互的方法和计算机程序产品。

Description

使用目光接触经由平视显示器进行对接
背景技术
本发明实施例涉及平视显示器，并且更具体而言涉及基于平视显示器用户和至少一个其它实体的目光接触经由平视显示器与设备进行交互。
使得平视显示器(HUD)设备的用户能够进行交互(例如，将文件从一个用户传送到另一个用户)的一种方法是使用常规的电子邮件、FTP、文本消息传送或USB驱动器传送。然而，这些方法对于HUD的穿戴者而言是不方便和缓慢的，因为它们需要在难以保证精度的接口中进行许多精确动作，接口的精度难以保证是因为缺乏精确的输入设备，诸如鼠标、键盘或触摸屏。例如，考虑在没有这样的精确输入设备的情况下在HUD上发送电子邮件的难度。近场通信(NFC)技术比其它常规方法对于用户而言潜在地更容易激活，但是NFC技术还可能给用户带来不便，因为它们需要紧密的物理接近。例如，每当两个个体希望传送文件时，他们碰头，这将是尴尬的。
发明内容
根据本发明的实施例，用于经由平视显示器进行设备交互的系统确定采用第一平视显示器的第一实体的视野区域，并且响应于至少检测到所确定的视野区域对至少一个第二设备的影响而建立至少一个第一设备与第一平视显示器之间的交互。本发明实施例的一个优点是通过与常规方法相比减少缓慢或不方便的动作的数量来为HUD的用户提高与设备交互的速度和简易性，而不需要近场通信所需的紧密接近。
根据本发明的其它实施例，第一平视显示器被耦接到(一个或多个)第二设备，并且建立交互包括：在第一平视显示器上呈现(一个或多个)第一设备的界面，基于耦接到第一平视显示器的(一个或多个)第二设备上第一实体的所确定的视野区域和/或至少一个语音命令来操纵所呈现的界面，以及基于所呈现的界面的操纵来控制(一个或多个)第一设备。这样的实施例提供了在手上持有设备不方便、困难或不可能的情况下更容易地利用可穿戴HUD来控制设备(例如，笔记本、工作站、平板等)而不必需要手操作的优点。
在一些实施例中，至少检测所确定的视野区域的影响包括(1)在与第一平视显示器相关联的对应设备的电磁信号检测器处检测从与(一个或多个)第一设备中的至少一个相关联的发送器发送的电磁信号和/或(2)在与(一个或多个)第一设备中的至少一个相关联的对应设备的电磁信号检测器处检测从与第一平视显示器相关联的发送器发送的电磁信号。
在其它实施例中，第一平视显示器包括发射器，以沿着第一实体的视线方向发送信号，并且(一个或多个)第一设备中的每个第一设备与(一个或多个)第二设备中包括用于接收信号的接收器的对应的第二设备相关联，并且至少检测所确定的视野区域的影响包括在与(一个或多个)第一设备相关联的接收器处检测从第一平视显示器发送的信号。
在其它实施例中，第一平视显示器还包括图像捕获设备，并且确定视野区域包括经由图像捕获设备跟踪第一实体的视野区域并且瞄准发射器，以便以被跟踪的视野区域的方向发送信号。
在其它实施例中，第一设备包括由第二实体采用的第二平视显示器，并且至少一个第二设备包括受第一实体的所确定的视野区域影响和受第二实体的所确定的视野区域影响的公共设备。
本发明的实施例还包括用于经由平视显示器以与上文描述的基本相同的方式与设备进行交互的方法和计算机程序产品。
附图说明
一般而言，在各个附图中相似的附图标记被用于标识相似的部件。
图1是用于本发明的实施例的示例环境的示意图。
图2是根据本发明的实施例的用于目光接触的示例视觉部件的框图。
图3是根据本发明的实施例的便于视线跟踪的示例接触镜片的示意图。
图4是根据本发明的实施例的两个平视显示系统交互的框图。
图5是示出根据本发明的实施例的两个平视显示系统可以交互的示例方式的流程图。
图6是示出根据本发明的实施例的在两个平视显示系统的穿戴者之间建立目光接触的示例方式的流程图。
图7是根据本发明的实施例的以一对多关系与其它平视显示系统交互的平视显示系统的框图。
图8是示出根据本发明的实施例的平视显示系统可以以一对多关系与其它平视显示系统交互的示例方式的流程图。
图9是根据本发明的实施例的使用目光接触经由中间感知设备交互的平视显示系统的框图。
图10是根据本发明的实施例的使用目光接触经由多个联网的中间感知设备交互的平视显示系统的框图。
图11是根据本发明的实施例的使用目光接触与感知设备以一对一关系交互的平视显示系统的框图。
图12是示出根据本发明的实施例的使用基于相机的目光接触在平视显示系统和感知设备之间建立目光接触的示例方式的流程图。
图13是示出根据本发明的实施例的使用基于聚焦发射器的目光接触在平视显示系统和感知设备之间建立目光接触的示例方式的流程图。
具体实施方式
本发明实施例提供了用于基于平视显示器(HUD)用户和至少一个其他个体或设备的目光接触经由HUD与设备进行交互的技术。例如，为了将文件从一个HUD设备传送到另一个HUD设备，一个HUD设备的穿戴者指示发送文件的意愿；另一个HUD设备的穿戴者指示接收该文件的意愿；穿戴者之间进行目光接触；并且作为结果，文件传送过程开始。HUD设备可以直接地或经由一个或多个中间设备以一对一或一对多的关系与一个或多个其它HUD设备交互。在一种场景中，第一HUD用户可以通过与具有到第二用户的HUD的远程网络连接的本地设备(例如，同一房间中的设备)进行目光接触(例如，看本地设备)来与远离第一HUD用户(例如，在另一个城市中)的第二HUD用户进行交互。另外，HUD可以经由与除了HUD以外的设备的目光接触来进行交互。例如，HUD穿戴者可以通过看设备上的传感器来发起与该设备的交互。此外，HUD穿戴者可以通过使用HUD穿戴者的注视指引光标来与具有在HUD上呈现的点击界面的设备(例如，笔记本、平板等)进行交互。
经由HUD与设备交互的示例包括HUD(例如，可穿戴HUD)和设备之间的以下关系：文件传送、发起用于音频通信(例如，包含麦克风和扬声器的HUD之间的蜂窝电话、互联网呼叫等)的连接、设备控制(例如，HUD控制设备，或设备控制HUD)、查看设备状态、查看与设备相关联的公共消息(例如，“公告牌”)、客户端-服务器关系(其中可穿戴HUD可以是客户端或服务器)、登录/认证(例如，经由存储的密钥、生物特征(例如，虹膜图案)等)等等。
设备可以主动或被动地检测来自HUD用户或穿戴者的目光接触。例如，设备可以包括相机，并且可以主动地分析来自相机的图像数据以确定个体正在看该设备。可替代地，设备可以被动地检测来自HUD穿戴者的目光接触。例如，设备可以从HUD接收指示HUD的穿戴者正在看该设备的聚焦信号。
本发明实施例的一个优点是与常规方法相比，为HUD的用户提高与设备交互的速度和简易性。例如，使用电子邮件经由HUD的文件传送需要在由HUD为发送者和接收者二者呈现的用户界面(UI)中采取许多动作：发送者和/或接收者必须采取动作以指定接收者地址、访问并且登录邮件客户端、选择要下载的附件等。本发明的实施例简化了交互。文件传送可以不用手(hands free)执行，因此即使在用户忙于其它任务时也可以发生。
使用近场通信(NFC)技术的替代方法(例如，用于在电话之间交换信息的“碰撞”)要求两个用户都具有带NFC能力的设备、当时带着这些设备并且有时间和空闲的手来使用设备。此外，NFC技术与可穿戴HUD一起使用将要求穿戴者将两个HUD设备(例如，眼镜对)碰撞在一起，这是尴尬的并且非直观的。本发明实施例提供了经由可穿戴HUD的直观的、不用手的、更快的并且便利的交互模式。
图1中示出了用于本发明实施例的示例环境。具体而言，该环境可以包括一个或多个平视显示器(HUD)系统110、一个或多个服务器系统120、一个或多个感知设备130以及一个或多个远程系统140。HUD系统110、服务器系统120、感知设备130和远程系统140可以经网络12进行通信。网络12可以由任何数量的任何合适的通信介质(例如，广域网(WAN)、局域网(LAN)、因特网、内联网、硬连线、无线链路等)实现。
HUD系统110包括平视显示器40并且可以是头戴物(headgear)(例如，头戴式显示器、头盔式显示器、眼镜等)、其它可穿戴设备(例如，接触镜片、衣服等)或者具有交互式用户接口的其它配置的形式。HUD系统110和/或感知设备130可以包括用于建立个体和/或设备之间的目光接触的视觉部件50。视觉部件50可以驻留在HUD系统110内、HUD系统110上和/或接近HUD系统110。可替代地，视觉部件可以远离相关联的HUD系统，并且例如经由网络12与HUD系统通信。另外，任何数量的感知设备130可以包括视觉部件50。HUD系统110可以呈现任何图形用户界面(例如，GUI等)或其它接口(例如，控制按钮、触摸传感器、视觉传感器、加速度计、麦克风和语音命令接口等)，以从用户接收命令以及向用户显示信息。感知设备130通常缺乏集成的显示器并且不由用户穿戴，但是可以包括显示器和/或由用户穿戴。
HUD系统110、服务器系统120、感知设备130和远程系统140可以至少包括一个处理器20、存储器30和/或内部或外部网络接口或通信设备10(例如，调制解调器、网卡、Wi-Fi、无线(例如，3G、4G等)等)和任何商用的和定制的软件(例如，用户接口软件、网络软件、服务器软件等)。服务器系统120优选地装备有显示器或监视器以及可选的输入设备(例如，键盘、鼠标或其它输入设备)。
HUD系统、服务器系统、感知设备和/或远程系统可以包括用于执行下文描述的本发明实施例的各种功能(例如，跟踪穿戴者注视的方向、检测来自另一个体的目光接触、发送和接收红外信号或其它信号等)的一个或多个模块或单元(例如，视线模块、分析模块、信号模块等)、可以通过任何数量的软件和/或硬件模块或单元的任何组合来实现、并且可以驻留在HUD系统、服务器系统、感知设备、远程系统或其它系统(例如，视觉部件50)的存储器30内，以供处理器20执行。
图2中示出根据本发明的实施例的示例视觉部件50。特别地，视觉部件50包括分别用于向其它设备(例如，在HUD系统或用户的视线、视锥、视野区域或视场内的设备)发送信号以及接收到其它设备的信号的发射器220和检测器230。视觉部件50还可以包括视线跟踪器226。发射器220可以包括可以结合视线跟踪器226一起操作的广域发射器222和/或聚焦发射器224。
广域发射器222可以由常规的或其它电磁(EM)发射器222(例如，红外光源)实现，并且可以将EM信号发射到任何区域或场(例如，圆锥形的、全向的等等)。聚焦发射器224可以是聚焦的、准直的或其它窄的定向电磁(例如，红外)源(例如，激光、光学准直源等)。传感器234可以由相机或者常规的光电检测器或其它光电检测器实现。检测器230检测(例如从另一个HUD的发射器220)冲击(impinge)到检测器上的信号。检测器230可以使用相机232和/或传感器234(例如，常规的光电检测器或其它光电检测器)来实现。
根据本发明的一个实施例，包括相机232的HUD系统110或感知设备130包括与相机一起操作的分析模块，以检测与系统或系统的穿戴者进行目光接触的个体。例如，分析模块可以确定相机位于个体的视线、视野区域或视场内。可以使用用于从相机图像数据检测人的视线或视野区域的常规的或其它模式识别技术来实现分析模块。另外，相机232可以被用于从另一个HUD系统110或其它感知设备130的发射器220接收信号。信号模块接收来自相机的信号并且将该信号解码，并且经由发射器将信号编码和发送信号。根据该实施例，另一个系统可以使用非聚焦发射器并且不必(但是可以)包括聚焦发射器或视线跟踪器。
根据本发明的另一个实施例，HUD系统110包括聚焦发射器224和视线跟踪器226。视线跟踪器226和聚焦发射器224通常被安装在由用户穿戴的HUD上。视线跟踪器226监视HUD的穿戴者正在看向的方向。视线模块从视线跟踪器226接收关于穿戴者正在看向的方向的信息，并且操纵聚焦发射器224以指向相同的方向。当用户看另一个HUD系统110或另一个感知设备130时，该另一个系统可以(例如，经由传感器234)检测来自聚焦发射器的信号，由此确定穿戴者正在看该设备。根据该实施例，该另一个系统不必(但是可以)包括面朝外的相机232。
视线跟踪器226可以使用已知技术来实现。例如，视线跟踪器可以包括朝向穿戴者的眼睛的一个或多个相机。视线模块可以使用已知技术来分析相机数据，以确定穿戴者注视的方向。可替代地或附加地，视线跟踪器226可以使用接触镜片来辅助确定用户注视的方向。
图3中示出了根据本发明的实施例的便于视线跟踪的示例接触镜片。由于线由空间中的两个点定义，因此可以在接触镜片上的两个点中的每个点处放置一个微小的设备：例如，对准设备2可以接近透镜的内表面的中心处放置，而对准设备1可以接近透镜的外表面的中心处放置。视线跟踪器226检测由这两个点定义的线，并且沿着这条线瞄准聚焦发射器。这些设备可以被放置在眼睛中间的盲区(盲点)处。
图4和图5中示出根据本发明的实施例的两个HUD系统110可以交互的示例方式。一个HUD系统110(表示为HA)由用户A穿戴，第二个HUD系统110(表示为HB)由用户B穿戴。用户A和B彼此可见，并且足够靠近，以便使他们的HUD系统中的每一个检测来自另一个用户的目光接触。用户A和B可以分别经由HA和HB进行交互。例如，用户A可以使用HA来选择要传送的文件。这些文件可以例如驻留在HA本地或远程驻留(例如，驻留在服务器系统120上的用于用户A的存储装置440中)。用户B可以使用HB来查看文件，这些文件可以例如驻留在HB本地或远程驻留(例如，驻留在服务器系统上的用于用户B的存储装置450中)。用户A想要向用户B发送文件，并且用户B想要从用户A接收文件。
在步骤510处，用户A向HA(例如，通过语音或以其它方式)发送要发起交互的命令。例如，用户A可以向HA发送要传送所选择的文件的命令。在步骤520处，用户B向HB(例如，通过语音或以其它方式)发送要发起事务的命令。例如，用户B可以向HB发送要接收文件的命令。在步骤530处，建立A和B之间的目光接触。在建立目光接触的过程中，HA和HB可以交换信号410，并且HA可以获得HB的唯一标识符。同样，HB可以获得HA的唯一标识符。HUD 110或感知设备130的唯一标识符可以被用来确定用于与HUD或感知设备通信的地址。例如，唯一地址可以被用于查找(或可以是)IP地址或域名。
由于HA和HB已经接收到发起交互和建立目光接触的命令，所以在步骤540处交互被发起。一旦被发起，则交互可以以常规的或其它方式进行。例如，HA可以使用在步骤530处获得的HB的唯一标识符经由网络接口设备10和网络12与HB建立TCP连接或者以其它方式与HB通信。可替代地，HA和HB可以经由发射器220和检测器230建立网络连接或以其它方式传送进一步的信息。在图4中示出的示例中，HA可以向服务器系统120的控制器模块430发送所选择的文件或所选择的文件的标识符，控制器模块430将文件从用户A的存储装置440传送到用户B的存储装置450。HB轮询服务器系统并且(例如，经由FTP、POP/IMAP等)取得文件。然后用户B可以从HUD HB查看文件。
图6中示出了根据本发明的实施例的在两个平视显示器(HUD)系统的穿戴者之间建立目光接触的示例方式。HUD系统中的每个HUD系统(例如，通过分析相机232的图像主动地或者通过接收来自聚焦发射器224的信号被动地)执行目光接触检测、接收发射的信号并且将该信号解码以及执行以下步骤。HUD系统在步骤610处(例如，通过使它的发射器220闪烁)发射唯一标识符。在步骤620处，HUD系统(经由发射器220)发射指示以下条件是否为真的布尔信号S：HUD系统已经接收到发起交互(例如，发送选择的文件、接收文件等)的命令并且HUD系统检测到来自另一个HUD系统的穿戴者的目光接触。如果HUD系统已经从另一个系统接收到值为真的布尔信号S，则HUD系统在步骤630处发射该另一个系统的唯一标识符。在步骤640处，HUD系统确定它是否已经从该另一个HUD系统接收到它自己的唯一标识符。如果是的话，则处理前进到步骤540(图5)，并且HUD系统之间的交互被发起。否则，处理返回到步骤610。
相应地，HA经由它的发射器220发射三个信号：(1)HA的唯一标识符；(2)指示HA是否检测到目光接触以及A是否已经给出发起对接(例如，发送文件)的命令的布尔信号；以及(3)仅当HB发信号通知HA它对于发起对接是开放的(例如，B已经给出接收文件的命令)时，其用户已经与HA建立目光接触的HUD的唯一标识符。第三个信号通过指示信号1和2仅用于HB来防止模糊的信令，以防多个设备检测到目光接触。类似地，HB经由它的发射器220发射三个信号：(1)HB的唯一标识符；(2)指示HB是否检测到目光接触以及HB对于对接是否开放的布尔信号；以及(3)仅当HA发信号通知HB它对于发起对接是开放的时，其用户已经与HB建立目光接触的HUD的唯一标识符。第三个信号通过指示信号1和2仅用于HB来防止模糊的信令，以防多个设备检测到目光接触。当A看B时，A穿戴的HUD看到HB的唯一标识符，并且A穿戴的HUD从该唯一标识符可以识别它可以利用其与HB对接的地址。此外，作为对接的前提条件，当A看B时，HA必须看到HB的(指示HB既检测到目光接触又对于对接开放的)布尔信号被设置为“真”。一旦满足该前提条件，HA和HB就建立直接到彼此或者到介入(intermediate)交互的一个或多个服务器的连接交互(例如，经由网络12的连接交互)。HA和HB然后可以经由连接进行交互。
在图7和图8中示出根据本发明的实施例的HUD系统110可以与其它HUD系统110以一对多关系交互的示例方式。一个HUD系统110(表示为HA)由用户A穿戴，而一个或多个其它HUD系统110(例如，HB1、HB2、...、HBN)由对应的其他用户(例如，B1、B2、...、BN)穿戴。用户A(经由视线92)对于用户B1-BN是可见的，并且足够靠近，以便使HB1-HBN中的每一个检测来自HA的信号。HA可以以一对多的方式与HB1-HBN交互。例如，用户A可能想要将文件传送到在视觉范围内穿戴HUD系统的一大群人。用户A可以选择文件，并且进入“文件广播”模式，以将文件传送到与HA进行目光接触的所有人。
特别地，在步骤810处，用户A(例如，通过语音或以其它方式)向HA发送要以广播模式发起交互的命令。在步骤820处，每个用户B1-BN(例如，通过语音或以其它方式)向他或她的HUD系统发送要发起作为广播接收器的事务的命令。在步骤830处，在HA和HB1-HBN中的每一个之间建立目光接触。例如，可以以参考图6描述的方式在用户A和用户B1-BN中的每个用户之间建立目光接触。可替代地，HA可以响应于来自HA的命令(例如，经由非聚焦发射器222)发射HA的唯一标识符和指示HA的广播模式的信号；然后通过HB1-HBN检测到来自HA的唯一标识符和信号来建立目光接触。
作为HA和HB1-HBN接收命令并且建立目光接触的结果，在步骤840处交互被发起。一旦被发起，则交互可以以常规的或其它方式进行。例如，HA可以(例如，经由网络12)向服务器发送文件或其它数据，并且HB1-HBN可以使用在步骤830处获得的HA的唯一标识符(例如，经由网络12)请求来自服务器的文件或其它数据。
图9中示出根据本发明的实施例的HUD系统110可以使用中间感知设备130进行交互的示例方式。一个HUD系统110(表示为HA)由用户A穿戴，并且第二个HUD系统110(表示为HB)由用户B穿戴。感知设备130(设备D)对于两个用户都是可见的，并且足够靠近，以便使设备D检测来自用户的目光接触。用户A和B不必彼此可见。用户A和B可以使用目光接触与设备D交互(例如，传送文件)。交互可以以其它方式进行，例如，以与参考图5描述的方式类似的方式进行。
在HUD用户使用中间感知设备进行交互的另一个示例场景中，HUD用户可以具有关于设备D的两个权限：只读关系和读写关系。设备D可以在任何给定的时间与一个并且仅一个文件相关联。如果用户A具有对于设备D的读写权限并且想要将文件发送到一个或多个其他HUD用户(例如，一大群人)，则用户A可以与设备D进行目光接触，以将文件发送到设备D。具有对于设备D的读或读写权限的其他HUD用户可以看设备D，以下载文件，而不必与HA进行目光接触，HA可能没有必需的硬件或软件来处理大量同时传入和传出的连接。
图10中示出了根据本发明的实施例的HUD系统110可以使用多个中间感知设备130进行交互的示例方式。一个HUD系统110(表示为HA)由用户A穿戴，并且第二个HUD系统110(表示为HB)由用户B穿戴。感知设备(CA)对于用户B是可见的，并且足够靠近，以便使CA检测来自用户B的目光接触。感知设备(CB)对于用户A是可见的，并且足够接近，以便使CB检测来自用户A的目光接触。CA具有到HA的(例如，经由网络12的)连接，而CB具有到HB的(例如，经由网络12的)连接。用户A和B不必彼此可见并且可以远离彼此。用户A和B可以以与参考图5描述的方式类似的方式使用目光接触分别与CB和CA进行交互(例如，传送文件)。例如，用户A可以使用HA来(例如，在本地存储装置上、在服务器上等)选择要传送的文件并且(例如，通过语音、触摸、手势等)向HA发送向用户B传送文件的命令。用户B(例如，通过语音、触摸、手势等)向HB发送接收来自A的文件的命令。响应于CB检测到与A的目光接触同时CA检测到与B的目光接触，可以(例如，经由网络12)创建HA和HB之间的直接或间接连接，通过该连接，HA将文件发送到HB。根据本发明的一个实施例，CA或CB可以例如被实现为笔记本上的网络摄像头。
图11中示出根据本发明的实施例的HUD系统110可以使用目光接触与设备(例如，感知设备130)进行交互的示例方式。当HUD系统用户与设备的检测器220进行目光接触时，在用户的HUD系统上显示用于设备的界面1100。作为示例，考虑进入装满发电机的房间并且需要找到发电机中的哪个发电机损坏的穿戴HUD系统110的技术人员。感知设备130驻留在每个发电机上。感知设备130的检测器230在物体(例如，发电机)上的位置可以按照惯例(例如“传感器总是在物体的右上角”)建立，或者该位置可以由物体上的标记(例如，示出传感器的位置的靶心(bulls eye))来指示，以使得HUD系统用户可以确定为了与设备进行交互要看哪里。当技术人员与每个发电机上的适当位置进行目光接触时，技术人员的HUD上的弹出界面1100显示发电机的状态，例如，它发多少电。相应地，HUD向技术人员提供哪个发电机损坏的指示。
另外，具有感知设备130的非HUD设备可以向看感知设备的HUD的穿戴者提供交互式界面。例如，当HUD的穿戴者沿着街道行走时，可以用HUD上的小图标来指示或标记可以经由目光接触进行交互的设备。如果穿戴者直接看这些图标(即，直接看设备)，则图标可以例如扩大并且显示关于设备的信息、以及为了与设备交互人们可以采取的动作。例如，这样的设备可以被放置在餐厅的外立面上。可以在用户的HUD中用微小的图标标记该设备。如果HUD穿戴者(例如，通过直接看界面中的图标)与该设备进行目光接触，则该图标可以扩大并且向HUD穿戴者示出信息(例如，餐厅有多少空位、等待时间是多久、菜单等)。HUD穿戴者可以利用该设备执行动作(例如，从该餐厅界面下订单或者进行预约)。
图12和图13中示出了根据本发明的实施例的使用基于相机的目光接触在平视显示系统110和感知设备130(设备D)之间建立目光接触的示例方式。HUD系统包括相机232，而设备D包括相机232和分析模块，该分析模块与相机一起操作，以检测与设备D的相机232进行目光接触的个体。设备D通过分析相机232的图像来执行目光接触检测。HUD系统和设备D各自接收和解码来自另一方的发射器220的信号。
HUD系统执行以下步骤。在步骤1210处，HUD系统(例如，通过使它的发射器220闪烁)发射唯一标识符。在步骤1220处，HUD系统(经由发射器220)发射布尔信号S，该布尔信号S指示HUD系统是否已经接收到发起交互(例如，发送所选择的文件、接收文件等)的命令。如果HUD系统已经从设备D接收到指示设备D对于对接开放的布尔信号S，则HUD系统在步骤1230处发射设备D的唯一标识符。在步骤1240处，HUD系统确定它是否已经从设备D系统接收到HUD系统自己的唯一标识符。如果是的话，则HUD系统在步骤1250处使用设备D的唯一标识符(例如，通过经由网络12建立到设备D的TCP连接并且向设备D发送文件)来发起交互。否则，HUD系统返回到步骤1210。
设备D执行以下步骤。在步骤1310处，设备D(例如，通过使它的发射器220闪烁)发射唯一标识符。在步骤1320处，设备D(经由发射器220)发射布尔信号S，该布尔信号S指示以下条件是否为真：设备D检测到来自HUD系统用户的目光接触，并且设备D对于对接是开放的。如果设备D已经从HUD系统接收到指示HUD系统已经接收到发起交互的命令的布尔信号S，则在步骤1330处设备D发射HUD系统的唯一标识符。在步骤1340处，设备D确定它是否已经从HUD系统接收到设备D自己的唯一标识符。如果是的话，则在步骤1350处设备D使用HUD系统的唯一标识符(例如，通过经由网络12建立到HUD的TCP连接并且接收文件)来发起交互。否则，设备D返回到步骤1310。
根据本发明的替代实施例，平视显示系统110包括聚焦发射器224和视线跟踪器226，并且以如下方式与感知设备130(设备D)交互。视线跟踪器226跟踪HUD系统的穿戴者的眼睛移动，并且将聚焦发射器指引为指向穿戴者看的方向。设备D的检测器230(例如，传感器234)接收来自HUD系统的聚焦发射器的信号。HUD系统和设备D各自接收并且解码来自另一方的发射器的信号。为了在HUD系统和设备D之间建立目光接触，HUD系统经由聚焦发射器发射两个信号：(1)HUD的唯一标识符，和(2)指示HUD系统是否已经接收到发起交互的命令的布尔信号。当HUD系统的穿戴者看设备D时，设备D接收来自HUD系统的聚焦发射器的信号。设备D从这些信号确定HUD系统的唯一标识符，并且如果设备D对于交互是开放的，则设备D使用HUD系统的唯一标识符(例如，通过经由网络12建立到HUD系统的TCP连接并且接收文件)来发起交互。
根据本发明的另一个实施例，包括感知设备130或其它设备(例如，远程系统140)的设备可以经由HUD系统110向用户呈现界面。例如，HUD系统110的穿戴者可以与不在手上的设备(例如，远程的、不可接近的、在某人的背包中的、在另一个房间中的设备等)(例如，平板、笔记本等)进行交互。该设备具有与它相关联的用户界面(UI)，诸如在设备的屏幕上显示的UI或存储在HUD系统中的UI。HUD穿戴者可以在HUD上显示设备的UI，以使用HUD系统和设备之间的数据连接(例如，经网络12的TCP连接)经由该UI来控制设备。连接可以经由设备和可穿戴HUD系统之间的目光接触来建立或以其它方式建立。
根据一个实施例，如可穿戴HUD中示出的UI可以是如在设备的常规显示器上出现的UI的接近的或精确的副本。可替代地，UI可以在设备和HUD之间被翻译或修改，以更好地适应可穿戴HUD的UI。
经由HUD(HUD可能不需要手或者需要极少的手的使用来操作)提供到其它设备的用户界面使得能够在手上拿着另一个设备不方便、困难或不可能的情况下更容易地控制该设备。经由HUD控制诸如笔记本之类的设备在一些情况下可能比使用鼠标和键盘的效率更低，但是如果设备远离或者以其它方式难以或不可能直接访问(例如，当站在拥挤的地铁列车中时、当走路时等等)则可能更方便。
可以经由HUD系统110提供用户界面的设备可以包括具有屏幕的设备(诸如智能电话、笔记本等)和没有屏幕的设备。没有屏幕的设备可以向连接到该设备的HUD系统显示特定于HUD的UI。例如，对于无头(headless)设备，HUD系统可以定义用于与该设备交互的UI。
对于提供可以经由包括视线跟踪器226的HUD系统呈现给用户的点击或触摸界面(例如，台式机/笔记本电脑界面、触摸板/智能手机界面等)的设备，HUD用户可以使用他或她的眼睛来指引该设备的UI的光标并且使用例如语音命令经由光标执行动作(例如，左/右点击、“轻击”(即，模拟与触摸屏进行接触的手指)等)。以这种方式，HUD界面允许比单独使用语音或其它命令更精细地控制设备。
将理解的是，上文描述并且在附图中示出的实施例仅仅是实现用于使用目光接触经由平视显示器(HUD)与设备交互的实施例的许多方式中的一些方式。
本发明实施例的环境可以包括以任何期望方式布置的任何数量的计算机或其它处理系统(例如，客户端或终端用户系统、服务器系统等)和存储系统(例如，文件系统、数据库或其它储存库)，其中本发明实施例可以被应用到任何期望类型的计算环境(例如，云计算、客户端-服务器、网络计算、大型机、独立系统等)。本发明实施例采用的计算机或其它处理系统可以由任何数量的任何个人或其它类型的计算机或处理系统(例如，台式机、笔记本、PDA、移动设备等)来实现，并且可以包括任何商用的操作系统以及商用和定制软件(例如，数据库软件、通信软件等)的任何组合。这些系统可以包括用于输入和/或查看信息的任何类型的监视器和输入设备(例如，键盘、鼠标、语音识别、触摸屏等)。
要理解的是，本发明实施例的软件可以用任何期望的计算机语言来实现，并且可以由计算机领域的普通技术人员基于本说明书中包含的功能描述和附图中所示的流程图来开发。此外，本文对执行各种功能的软件的任何引用一般是指在软件控制下执行这些功能的计算机系统或处理器。本发明实施例的计算机系统可以可替代地由任何类型的硬件和/或其它处理电路系统来实现。
计算机或其它处理系统的各种功能可以以任何方式在任何数量的软件和/或硬件模块或单元、处理系统或计算机系统和/或电路系统之间分布，其中计算机或处理系统可以彼此本地或远程布置并且可以经由任何合适的通信介质(例如，LAN、WAN、内联网、因特网、硬连线、调制解调器连接、无线等)进行通信。例如，本发明实施例的功能可以以任何方式在各种终端用户/客户端和服务器系统和/或任何其它中间处理设备之间分布。上文描述并且在流程图中示出的软件和/或算法可以以实现本文描述的功能的任何方式被修改。另外，流程图或描述中的功能可以以实现期望操作的任何次序执行。
本发明实施例的软件可以在固定或便携式程序产品装置或设备的非暂态计算机可用介质(例如，磁介质或光介质、磁-光介质、软盘、CD-ROM、DVD、存储器设备等)上可用，以用于与独立系统或通过网络或其它通信介质连接的系统一起使用。
通信网络可以由任何数量的任何类型的通信网络(例如，LAN、WAN、因特网、内联网、VPN等)来实现。本发明实施例的计算机或其它处理系统可以包括经由任何常规协议或其它协议经网络通信的任何常规通信设备或其它通信设备。计算机或其它处理系统可以利用任何类型的连接(例如，有线连接、无线连接等)来访问网络。本地通信介质可以由任何合适的通信介质(例如，局域网(LAN)、硬连线、无线链路、内联网等)来实现。
系统可以采用任何数量的任何常规的或其它数据库、数据存储库或存储结构(例如，文件、数据库、数据结构、数据或其它储存库等)来存储信息。数据库系统可以由任何数量的任何常规的或其它数据库、数据存储库或存储结构(例如，文件、数据库、数据结构、数据或其它储存库等)来实现，以存储信息。数据库系统可以被包括在服务器和/或客户端系统内或者被耦接到服务器和/或客户端系统。数据库系统和/或存储结构可以远离计算机或其它处理系统或者在计算机或其它处理系统本地，并且可以存储任何期望的数据。
本发明实施例可以采用任何数量的任何类型的用户界面(例如，图形用户界面(GUI)、命令行、提示等)来获得或提供信息，其中该界面可以包括以任何方式布置的任何信息。界面可以包括布置在任何位置的任何数量的任何类型的输入机构或致动机构(例如，按钮、图标、字段、框、链接等)，以经由任何合适的输入设备(例如，鼠标、键盘等)输入/显示信息以及发起期望的动作。界面屏幕可以包括以任何方式在屏幕之间导航的任何合适的致动器(例如，链接、选项卡等)。
本文使用的术语仅出于描述特定实施例的目的，并且不旨在限制本发明。如本文所使用的，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另有明确指示。还将理解的是，当在本说明书中使用时，术语“包括(comprise、comprising)”、“包含(includes、including)”、“具有(has、have、having)”、“带有(with)”等指定所述特征、整数、步骤、操作、元素和/或部件的存在，但不排除一个或多个其它特征、整数、步骤、操作、元素、部件和/或其组的存在或添加。
以下权利要求书中的所有装置或步骤加上功能元素的对应结构、材料、动作和等价物旨在包括用于与具体要求保护的其它要求保护的元件结合执行功能的任何结构、材料或动作。本发明的描述为了说明和描述的目的而给出，但并不旨在是详尽的或者以所公开的形式限制本发明。在不背离本发明的范围和精神的情况下，许多修改和变化对于本领域普通技术人员将是明显的。选择和描述实施例以便于最佳地解释本发明的原理和实际应用，并且使得本领域其他普通技术人员能够对于具有适于预期的特定使用的各种修改的各种实施例来理解本发明。
本发明的各种实施例的描述出于说明的目的而给出，但是并不旨在是详尽的或限于所公开的实施例。在不背离所描述的实施例的范围的情况下，许多修改和变化对于本领域普通技术人员将是明显的。选择本文使用的术语以便于最佳地解释实施例的原理、市场中发现的实际应用或者对技术的技术改进或者使得本领域普通技术人员能够理解本文公开的实施例。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括以下项：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式紧凑盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、诸如其上记录有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，其中存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续示出的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作或者实现专用硬件与计算机指令的组合的专用的基于硬件的系统来实现。

Claims (36)

1.一种经由平视显示器的设备交互的方法，包括：
确定采用第一平视显示器的第一实体的视野区域；
响应于至少检测到所确定的视野区域对至少一个第二设备的影响而建立至少一个第一设备与所述第一平视显示器之间的交互。
2.如权利要求1所述的方法，其中所述视野区域包括视线和视锥之一。
3.如权利要求1或权利要求2所述的方法，其中所述至少一个第一设备与所述第一平视显示器之间的交互包括来自以下各项的组中的一个或多个：控制来自所述至少一个第一设备和所述第一平视显示器的组中的一个或多个，查看来自所述至少一个第一设备和所述第一平视显示器的组中的一个或多个的状态，查看与来自所述至少一个第一设备和所述第一平视显示器的组中的一个或多个相关联的消息，所述至少一个第一设备和所述第一平视显示器之间的服务器-客户端关系，在所述至少一个第一设备和所述第一平视显示器之间传送文件，发起用于在所述至少一个第一设备和所述第一平视显示器之间进行音频通信的连接，以及所述第一实体向来自所述至少一个第一设备和所述第一平视显示器的组中的一个或多个的认证。
4.如前述权利要求中任一项所述的方法，其中所述第一平视显示器耦接到所述至少一个第二设备，并且建立所述交互包括：
在所述第一平视显示器上呈现所述至少一个第一设备的界面；
基于来自耦接到所述第一平视显示器的所述至少一个第二设备上所述第一实体的所确定的视野区域以及至少一个语音命令的组中的一个或多个来操纵所呈现的界面；以及
基于对所呈现的界面的操纵来控制所述至少一个第一设备。
5.如前述权利要求中任一项所述的方法，其中所述至少一个第一设备包括来自第二平视显示器和处理设备的组中的一个或多个。
6.如前述权利要求中任一项所述的方法，其中至少检测到所确定的视野区域的影响包括来自以下各项的组中的一个或多个：
在所述至少一个第二设备中与所述第一平视显示器相关联的对应的第二设备的电磁信号检测器处检测到从与所述至少第一设备相关联的发送器发送的电磁信号；以及
在所述至少一个第二设备中与所述至少一个第一设备相关联的对应的第二设备的电磁信号检测器处检测到从与所述第一平视显示器相关联的发送器发送的电磁信号。
7.如权利要求6所述的方法，其中与所述至少一个第一设备相关联的所发送的电磁信号和与所述第一平视显示器相关联的所发送的电磁信号各自包括用于建立所述交互的信息。
8.如权利要求5所述的方法，其中所述第一平视显示器包括发射器，以沿着所述第一实体的视线方向发送信号，并且所述至少一个第一设备中的每个设备与所述至少一个第二设备中包括接收所述信号的接收器的对应的第二设备相关联，并且至少检测到所确定的视野区域的影响包括：
在与所述至少一个第一设备相关联的接收器处检测到从所述第一平视显示器发送的所述信号。
9.如权利要求8所述的方法，其中从所述第一平视显示器发送的所述信号包括用于建立所述交互的信息。
10.如前述权利要求中任一项所述的方法，其中所述至少一个第一设备包括第二平视显示器，并且至少检测到所确定的视野区域的影响包括来自以下各项的组中的一个或多个：
在所述至少一个第二设备中与所述第一平视显示器相关联的对应的第二设备的接收器处检测到由发射器从所述第二平视显示器沿着第二实体的视线方向发送的信号；以及
在所述至少一个第二设备中与所述第二平视显示器相关联的对应的第二设备的接收器处检测到由发射器从所述第一平视显示器沿着所述第一实体的视线方向发送的信号。
11.如权利要求10所述的方法，其中从所述第一平视显示器发送的所述信号和从所述第二平视显示器发送的所述信号包括用于建立所述交互的信息。
12.如权利要求8所述的方法，其中所述第一平视显示器还包括图像捕获设备，并且确定视野区域包括：
经由所述图像捕获设备跟踪所述第一实体的视野区域；以及
瞄准所述发射器，以沿所跟踪的视野区域的方向发送所述信号。
13.如权利要求8所述的方法，其中所述第一实体采用具有限定视野区域的多个物体的接触镜片，并且确定视野区域包括：
查明由所述多个物体限定的视野区域；以及
瞄准所述发射器，以沿所查明的视野区域的方向发送所述信号。
14.如前述权利要求中的任一项所述的方法，其中多个第一实体各自采用对应的第一平视显示器，并且所述至少一个第一设备包括第二平视显示器，所述第二平视显示器包括所述至少一个第二设备，并且其中确定视野区域还包括：
确定采用所述第一平视显示器中对应的平视显示器的每个第一实体的视野区域；
其中建立所述交互还包括：
响应于检测到每个第一平视显示器的第一实体的所确定的视野区域对所述第二平视显示器的所述至少一个第二设备的影响而建立所述第二平视显示器和该第一平视显示器之间的交互。
15.如前述权利要求中任一项所述的方法，其中所述至少一个第一设备包括由第二实体采用的第二平视显示器，并且所述至少一个第二设备包括受所述第一实体的所确定的视野区域影响和受所述第二实体的所确定的视野区域影响的公共设备。
16.如前述权利要求中任一项所述的方法，其中所述至少一个第一设备包括由第二实体采用的第二平视显示器，并且所述至少一个第二设备包括受所述第一实体的所确定的视野区域影响的初始设备和受所述第二实体的所确定的视野区域影响的远离所述初始设备的另一个不同设备。
17.如前述权利要求中任一项所述的方法，其中响应于建立与所述至少一个第一设备中的每个第一设备的交互，该第一设备在所述第一平视显示器中被表示为图标，以提供信息。
18.如前述权利要求中任一项所述的方法，其中所述第一平视显示器和所述至少一个第一设备各自包括所述至少一个第二设备中包括用于发送和接收信号的发送器和接收器的对应的第二设备，并且建立所述交互还包括：
经由来自网络连接以及在所述第一平视显示器和所述至少一个第一设备的所述发送器和接收器之间交换的信号的组中的一个或多个来执行所述交互。
19.一种用于经由平视显示器进行设备交互的系统，包括：
至少一个处理器，所述至少一个处理器被配置为：
确定采用第一平视显示器的第一实体的视野区域；以及
响应于至少检测到所确定的视野区域对至少一个第二设备的影响而建立至少一个第一设备与所述第一平视显示器之间的交互。
20.如权利要求19所述的系统，其中所述第一平视显示器耦接到所述至少一个第二设备，并且建立所述交互包括：
在所述第一平视显示器上呈现所述至少一个第一设备的界面；
基于来自耦接到所述第一平视显示器的所述至少一个第二设备上所述第一实体的所确定的视野区域以及至少一个语音命令的组中的一个或多个来操纵所呈现的界面；以及
基于对所呈现的界面的操纵来控制所述至少一个第一设备。
21.如权利要求19或权利要求20所述的系统，其中所述至少一个第一设备包括来自第二平视显示器和处理设备的组中的一个或多个。
22.如权利要求19至21中任一项所述的系统，其中至少检测到所确定的视野区域的影响包括以下各项的组中的一个或多个：
在所述至少一个第二设备中与所述第一平视显示器相关联的对应的第二设备的电磁信号检测器处检测到从与所述至少第一设备相关联的发送器发送的电磁信号；以及
在所述至少一个第二设备中与所述至少一个第一设备相关联的对应的第二设备的电磁信号检测器处检测到从与所述第一平视显示器相关联的发送器发送的电磁信号。
23.如权利要求22所述的系统，其中与所述至少一个第一设备相关联的所发送的电磁信号和与所述第一平视显示器相关联的所发送的电磁信号各自包括用于建立所述交互的信息。
24.如权利要求21所述的系统，其中所述第一平视显示器包括发射器，以沿着所述第一实体的视线方向发送信号，并且所述至少一个第一设备中的每一个与所述至少一个第二设备中包括接收所述信号的接收器的对应的第二设备相关联，并且至少检测到所确定的视野区域的影响包括：
在与所述至少一个第一设备相关联的所述接收器处检测到从所述第一平视显示器发送的所述信号。
25.如权利要求24所述的系统，其中从所述第一平视显示器发送的所述信号包括用于建立所述交互的信息。
26.如权利要求19至25中任一项所述的系统，其中所述至少一个第一设备包括由第二实体采用的第二平视显示器，并且所述至少一个第二设备包括受所述第一实体的所确定的视野区域影响和受所述第二实体的所确定的视野区域影响的公共设备。
27.如权利要求19至26中任一项所述的系统，其中所述至少一个第一设备包括由第二实体采用的第二平视显示器，并且所述至少一个第二设备包括受所述第一实体的所确定的视野区域影响的初始设备和受所述第二实体的所确定的视野区域影响的远离所述初始设备的另一个不同设备。
28.如权利要求19至27中任一项所述的系统，其中响应于建立与所述至少一个第一设备中的每个第一设备的交互，该第一设备在所述第一平视显示器中被表示为图标，以提供信息。
29.如权利要求19至28中任一项所述的系统，其中所述第一平视显示器和所述至少一个第一设备各自包括所述至少一个第二设备中包括用于发送和接收信号的发送器和接收器的对应的第二设备，并且建立所述交互还包括：
经由来自网络连接以及在所述第一平视显示器和所述至少一个第一设备的所述发送器和接收器之间交换的信号的组中的一个或多个来执行所述交互。
30.一种用于经由平视显示器进行设备交互的计算机程序产品，包括：
计算机可读存储介质，所述计算机可读存储介质具有随其实施的计算机可读程序代码，以用于在处理系统上执行，所述计算机可读程序代码包括被配置为执行以下操作的计算机可读程序代码：
确定采用第一平视显示器的第一实体的视野区域；
响应于至少检测到所确定的视野区域对至少一个第二设备的影响而建立至少一个第一设备与所述第一平视显示器之间的交互。
31.如权利要求30所述的计算机程序产品，其中所述第一平视显示器耦接到所述至少一个第二设备，并且建立所述交互包括：
在所述第一平视显示器上呈现所述至少一个第一设备的界面；
基于来自耦接到所述第一平视显示器的所述至少一个第二设备上所述第一实体的所确定的视野区域以及至少一个语音命令的组中的一个或多个来操纵所呈现的界面；以及
基于对所呈现的界面的操纵来控制所述至少一个第一设备。
32.如权利要求30或权利要求31所述的计算机程序产品，其中所述至少一个第一设备包括来自第二平视显示器和处理设备的组中的一个或多个。
33.如权利要求30至32中任一项所述的计算机程序产品，其中所述至少一个第一设备包括由第二实体采用的第二平视显示器，并且所述至少一个第二设备包括受所述第一实体的所确定的视野区域影响和受所述第二实体的所确定的视野区域影响的公共设备。
34.如权利要求30至33中任一项所述的计算机程序产品，其中所述至少一个第一设备包括由第二实体采用的第二平视显示器，并且所述至少一个第二设备包括受所述第一实体的所确定的视野区域影响的初始设备和受所述第二实体的所确定的视野区域影响的远离所述初始设备的另一个不同设备。
35.如权利要求30至34中任一项所述的计算机程序产品，其中响应于建立与所述至少一个第一设备中的每个第一设备的交互，该第一设备在所述第一平视显示器中被表示为图标，以提供信息。
36.如权利要求30至35中任一项所述的计算机程序产品，其中所述第一平视显示器和所述至少一个第一设备各自包括所述至少一个第二设备中包括用于发送和接收信号的发送器和接收器的对应的第二设备，并且建立所述交互还包括：
经由来自网络连接以及在所述第一平视显示器和所述至少一个第一设备的所述发送器和接收器之间交换的信号的组中的一个或多个来执行所述交互。
CN201680003378.4A 2015-02-23 2016-02-09 使用目光接触经由平视显示器进行对接 Active CN107076999B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/628,693 US9652035B2 (en) 2015-02-23 2015-02-23 Interfacing via heads-up display using eye contact
US14/628,693 2015-02-23
PCT/EP2016/052729 WO2016134969A1 (en) 2015-02-23 2016-02-09 Interfacing via heads-up display using eye contact

Publications (2)

Publication Number Publication Date
CN107076999A true CN107076999A (zh) 2017-08-18
CN107076999B CN107076999B (zh) 2019-10-11

Family

ID=55361478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680003378.4A Active CN107076999B (zh) 2015-02-23 2016-02-09 使用目光接触经由平视显示器进行对接

Country Status (5)

Country Link
US (2) US9652035B2 (zh)
JP (1) JP6718460B2 (zh)
CN (1) CN107076999B (zh)
DE (1) DE112016000470T5 (zh)
WO (1) WO2016134969A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109426351A (zh) * 2017-09-04 2019-03-05 富士施乐株式会社 信息处理装置以及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10176163B2 (en) * 2014-12-19 2019-01-08 International Business Machines Corporation Diagnosing autism spectrum disorder using natural language processing
US11941168B2 (en) * 2016-02-06 2024-03-26 Ip3 2023, Series 923 Of Allied Security Trust I Gaze initiated interaction technique
CN108235745B (zh) * 2017-05-08 2021-01-08 深圳前海达闼云端智能科技有限公司 机器人唤醒方法、装置和机器人
US11333902B2 (en) * 2017-12-12 2022-05-17 RaayonNova LLC Smart contact lens with embedded display and image focusing system
US10732710B2 (en) * 2018-06-26 2020-08-04 Sony Interactive Entertainment Inc. Privacy chat trigger using mutual eye contact
WO2020213088A1 (ja) * 2019-04-17 2020-10-22 楽天株式会社 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
US11295309B2 (en) 2019-09-13 2022-04-05 International Business Machines Corporation Eye contact based financial transaction
US11010980B2 (en) 2019-09-25 2021-05-18 International Business Machines Corporation Augmented interface distraction reduction

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070024579A1 (en) * 2005-07-28 2007-02-01 Outland Research, Llc Gaze discriminating electronic control apparatus, system, method and computer program product
US20110043617A1 (en) * 2003-03-21 2011-02-24 Roel Vertegaal Method and Apparatus for Communication Between Humans and Devices
US20120075618A1 (en) * 2008-08-21 2012-03-29 Honeywell International Inc. Photoacoustic sensor
CN103091844A (zh) * 2011-12-12 2013-05-08 微软公司 将头戴式显示连接到外部显示和其他通信网络

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8292433B2 (en) * 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7979899B2 (en) * 2008-06-02 2011-07-12 Microsoft Corporation Trusted device-specific authentication
WO2011092369A1 (en) 2010-01-28 2011-08-04 Nokia Corporation Access establishment to locally connectable device
US20120194549A1 (en) 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses specific user interface based on a connected external device type
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
AU2011220382A1 (en) * 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
WO2012037290A2 (en) 2010-09-14 2012-03-22 Osterhout Group, Inc. Eyepiece with uniformly illuminated reflective display
AU2011205223C1 (en) 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US8789150B2 (en) * 2011-09-22 2014-07-22 Kinesis Identity Security System Inc. System and method for user authentication
US20130246967A1 (en) 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US9823742B2 (en) 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US10620902B2 (en) * 2012-09-28 2020-04-14 Nokia Technologies Oy Method and apparatus for providing an indication regarding content presented to another user
US20140160157A1 (en) * 2012-12-11 2014-06-12 Adam G. Poulos People-triggered holographic reminders
KR102056221B1 (ko) 2013-07-12 2019-12-16 삼성전자주식회사 시선인식을 이용한 장치 연결 방법 및 장치
US9319419B2 (en) * 2013-09-26 2016-04-19 Wave Systems Corp. Device identification scoring
AU2015297035B2 (en) * 2014-05-09 2018-06-28 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US9210156B1 (en) * 2014-06-16 2015-12-08 Lexisnexis Risk Solutions Inc. Systems and methods for multi-stage identity authentication
US10375081B2 (en) * 2014-08-13 2019-08-06 Intel Corporation Techniques and system for extended authentication

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110043617A1 (en) * 2003-03-21 2011-02-24 Roel Vertegaal Method and Apparatus for Communication Between Humans and Devices
US20070024579A1 (en) * 2005-07-28 2007-02-01 Outland Research, Llc Gaze discriminating electronic control apparatus, system, method and computer program product
US20120075618A1 (en) * 2008-08-21 2012-03-29 Honeywell International Inc. Photoacoustic sensor
CN103091844A (zh) * 2011-12-12 2013-05-08 微软公司 将头戴式显示连接到外部显示和其他通信网络

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109426351A (zh) * 2017-09-04 2019-03-05 富士施乐株式会社 信息处理装置以及存储介质

Also Published As

Publication number Publication date
US9652035B2 (en) 2017-05-16
CN107076999B (zh) 2019-10-11
WO2016134969A1 (en) 2016-09-01
US20160246365A1 (en) 2016-08-25
JP6718460B2 (ja) 2020-07-08
DE112016000470T5 (de) 2017-10-05
US9658689B2 (en) 2017-05-23
JP2018509693A (ja) 2018-04-05
US20160246054A1 (en) 2016-08-25

Similar Documents

Publication Publication Date Title
CN107076999B (zh) 使用目光接触经由平视显示器进行对接
US20210407203A1 (en) Augmented reality experiences using speech and text captions
US10542118B2 (en) Facilitating dynamic filtering and local and/or remote processing of data based on privacy policies and/or user preferences
US9418481B2 (en) Visual overlay for augmenting reality
CN105940411B (zh) 在个人设备上显示隐私信息
CN104321730B (zh) 3d图形用户接口
US9286726B2 (en) Mobile information gateway for service provider cooperation
CN105378691B (zh) 移动装置、头戴式显示器及其控制方法
CN117356116A (zh) 用于定位可穿戴设备和向可穿戴设备递送内容的信标
CN106687885A (zh) 用于信使处理的可穿戴设备及其使用方法
US9665901B2 (en) Mobile information gateway for private customer interaction
US20170359456A1 (en) Communication system comprising head wearable devices
CN104813642A (zh) 用于触发手势辨识模式以及经由非触摸手势的装置配对和共享的方法、设备和计算机可读媒体
JP2012174208A (ja) 情報処理装置、情報処理方法、プログラム及び端末装置
CN103733196A (zh) 用于实现现实世界用户经历的可搜索历史的方法及设备
JP6728863B2 (ja) 情報処理システム
US10803988B2 (en) Color analysis and control using a transparent display screen on a mobile device with non-transparent, bendable display screen or multiple display screen with 3D sensor for telemedicine diagnosis and treatment
US20210405363A1 (en) Augmented reality experiences using social distancing
US20150058192A1 (en) Mobile Information Gateway for Customer Identification and Assignment
JP2017174339A (ja) 情報提示装置及び情報処理システム
JP2023531849A (ja) オーディオ認識を行う拡張現実デバイスおよびその制御方法
WO2016161640A1 (zh) 一种接入Wi-Fi网络的方法及装置
Ostkamp et al. Short-range optical interaction between smartphones and public displays
Bhowmik Natural and intuitive user interfaces with perceptual computing technologies
KR102308970B1 (ko) 글라스형 웨어러블 디바이스를 이용한 외부기기의 입력신호 제공시스템 및 입력신호 제공방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant