CN107003739A - 对接系统 - Google Patents

对接系统 Download PDF

Info

Publication number
CN107003739A
CN107003739A CN201580066401.XA CN201580066401A CN107003739A CN 107003739 A CN107003739 A CN 107003739A CN 201580066401 A CN201580066401 A CN 201580066401A CN 107003739 A CN107003739 A CN 107003739A
Authority
CN
China
Prior art keywords
peripheral hardware
wearable device
main frame
docking adapter
docking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580066401.XA
Other languages
English (en)
Other versions
CN107003739B (zh
Inventor
W.迪斯
L.蒂贝里
P.A.斯鲁布索勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN107003739A publication Critical patent/CN107003739A/zh
Application granted granted Critical
Publication of CN107003739B publication Critical patent/CN107003739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/24Radio transmission systems, i.e. using radiation field for communication between two or more posts
    • H04B7/26Radio transmission systems, i.e. using radiation field for communication between two or more posts at least one of which is mobile
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种对接系统包括至少一个主机(100)、多个外设(110,111,112)和头部可穿戴设备(120)。主机布置用于与作为对接器的头部可穿戴设备无线对接。头部可穿戴设备具有用于捕获操作环境中的外设的图像的相机(123),以及对接器处理器(122),对接器处理器(122)布置用于经由头部可穿戴设备基于穿戴者的观看方向而检测操作环境中的聚焦位置,处理图像以用于标识外设,使用聚焦位置从图像中的外设当中选择外设,通过确定提供对所选外设的接入的主机来确定所选主机,以及对接到所选主机并且接入所选外设。主机具有主机处理器(101),主机处理器(101)布置用于接收指示所选外设的选择消息,对接作为对接器的头部可穿戴设备,并且提供对所选外设的接入。

Description

对接系统
技术领域
本发明涉及对接系统,包括布置用于与对接器(dockee)无线对接的至少一个主机以及耦合到所述至少一个主机的多个外设。主机可以具有一个或多个内置外设,和/或可以布置用于耦合到至少一个外部外设。当对接时,主机可以为对接器提供对相应外设的接入。
本发明还涉及对接器、主机、主机方法、对接器方法、以及用于主机和对接器之间的对接的计算机程序产品。
本发明涉及无线通信的领域,例如经由Wi-Fi,并且更具体地涉及头部可穿戴设备到主机的对接以用于接入一个或多个外设。在该上下文中,外设可以是外部设备,比如显示器、键盘或鼠标,或者外设可以是内置在主机中的外设,比如扬声器或存储单元。例如,TV也可以是主机,即主机内置在TV中并且构成可以提供对多个外设的接入的主机。接入和/或使用这样的外设和/或主机的任何其它内部或外部资源可以称为由主机提供的服务。
背景技术
无线对接使得移动设备(还称为对接器)能够在无线链路(例如基于使用如在IEEE802.11中描述的Wi-Fi)之上通过一组通用消息交换协议而接入通过导线本地附连或无线连接到主机设备(还称为无线对接站)的一组外设(诸如鼠标、显示器、机器工具等)。与一个或多个有线或无线外设耦合在一起的主机可以称为无线对接环境。
无线对接例如从WO 2012/117306A1得知。无线对接站可以使得能够实现至少一个对接器与主机之间的无线保密通信。无线对接主机可以通过Wi-Fi信标提供关于其存在性的信息,对接器可以将该信息用于选择和发起与所选主机的连接。
发明内容
在各种复杂的操作环境(例如手术室、空中交通控制、金融、软件开发等)中,用户可以具有对各种外设的接入。在此文档中,词语外设包括耦合到主机并且为用户提供功能性的任何物理设备,所述功能性诸如信息的输入或输出、交互或控制,例如显示器或交互式工具。这样的功能性的示例包括:
– 选择在给定时间显示哪些信息源;
– 缩放到显示器的某个区域中;
– 示出附加的信息;
– 接通/关断一些外围设备;
– 创建注释;
– 发送/接收消息;
– 与其他人通信(例如视频聊天)。
用户可能想要与外设的所选子集交互。例如,用户可以被多个不同的设备(例如多个监视器、控制面板等)提供有相关信息。为了执行某个任务,用户可能需要具有对一个或多个所选外设的某种形式的控制以及与一个或多个所选外设的交互。
用户可以具有无线设备并且可以从可用外设的列表选择外设或服务,并且可以尝试与其连接以与外设交互。做出这样的选择和连接花费时间和努力,并且要求用户动作。而且,用户(例如手术室中的外科医生)可能忙于将占用他的双手的其它任务。如果用户将需要使用鼠标或键盘以用于这些设备的控制或交互,则将是麻烦的。
而且,由于Wi-Fi信号的范围可以到达数十米,因此可以在Wi-Fi范围内发现供应Wi-Fi服务的相当众多的设备。用户可能牵涉到选择要连接到的正确设备/服务中。然而,从呈现给用户的设备/服务的列表,哪个条目对应于哪个设备可能不是非常清楚的。
本发明的目的是提供一种用于无线对接的系统,其使得能够选择用于使用的外设而同时减少所需要的用户交互和时间的量。
为此目的,根据本发明的第一方面,在如开头段落中描述的对接系统中,主机包括主机处理器,其布置用于
– 传输外设消息,每一个外设消息包括外设数据,所述外设数据指示至少一个外设的服务的可用性,
– 与对接器对接,
– 接收指示所选外设的选择消息,以及
– 为对接器提供对所选外设的接入,
对接器是布置用于无线对接的头部可穿戴设备,并且
头部可穿戴设备包括
– 相机,用于捕获包括外设的操作环境的图像,以及
– 对接器处理器,布置用于
– 接收外设消息,
– 处理图像以用于标识外设,
– 经由头部可穿戴设备基于穿戴者的观看方向而检测操作环境中的聚焦位置,
– 使用聚焦位置从所标识的外设当中选择外设,
– 通过依赖于所接收的外设消息而确定提供对所选外设的接入的主机来确定所选主机,以及
– 对接到所选主机,
– 发送指示所选外设的选择消息,以及
– 接入所选外设并且使用所选外设的服务。
为此目的,一种用于使用在以上系统中的头部可穿戴设备包括
– 相机,用于捕获包括外设的操作环境的图像,
– 对接器处理器,布置用于
– 接收外设消息,
– 处理图像以用于标识外设,
– 经由头部可穿戴设备基于穿戴者的观看方向而检测操作环境中的聚焦位置,
– 基于聚焦位置从所标识的外设当中选择外设,
– 通过依赖于所接收的外设消息而确定提供对所选外设的接入的主机来确定所选主机,以及
– 对接到所选主机,
– 发送指示所选外设的选择消息,以及
– 接入所选外设并且使用所选外设的服务。
为此目的,一种用于使用在以上系统中的主机设备布置用于与充当对接器的头部可穿戴设备无线对接并且用于为头部可穿戴设备提供对外设中的至少一个的接入,主机包括主机处理器,布置用于
– 传输外设消息,每一个外设消息包括外设数据,所述外设数据指示至少一个外设的服务的可用性,
– 对接作为对接器的头部可穿戴设备,
– 接收指示所选外设的选择消息,以及
– 为对接器提供对所选外设的接入。
为此目的,提供了一种用于使用在作为以上系统中的对接器的头部可穿戴设备中的对接器对接方法,该方法包括
– 接收外设消息,
– 处理图像以用于标识外设,
– 经由头部可穿戴设备基于穿戴者的观看方向而检测操作环境中的聚焦位置,
– 基于聚焦位置从所标识的外设当中选择外设,
– 通过依赖于所接收的外设消息而确定提供对所选外设的接入的主机来确定所选主机,以及
– 对接到所选主机,
– 发送指示所选外设的选择消息,以及
– 接入所选外设并且使用所选外设的服务。
为此目的,提供了一种用于使用在以上系统中的主机中的主机对接方法,主机布置用于与作为对接器的头部可穿戴设备无线对接,并且用于为头部可穿戴设备提供对外设中的至少一个的接入,该方法包括
– 传输外设消息,每一个外设消息包括外设数据,所述外设数据指示至少一个外设的服务的可用性,
– 提供显示在外设的显示器上的主动视觉标记物,
– 对接作为对接器的头部可穿戴设备,
– 接收指示所选外设的选择消息,以及
– 为对接器提供对所选外设的接入。
该措施具有如下实现对接的效果。提出头部可穿戴设备以用于使用在用于选择要使用的相应外设的系统中。多个外设存在于操作环境中。对接意味着实际地提供所选外设作为附加I/O外设以操作对接器,在该情况下头部可穿戴设备或耦合到头部可穿戴设备的听筒。例如,输入外围设备,诸如鼠标或键盘,将实际地作为用于可穿戴设备的输入设备而操作。如果在操作环境中存在许多外围设备,通过看向设备以使得对接器能够智能地且自动地连接到所述多个可用外围设备之中的所选外设来做出选择。
在主机中,主机处理器布置用于传输外设消息,外设消息标识主机并且包括指示所述至少一个外设的可用性的外设数据,用于使得头部可穿戴设备在接收到外设消息时能够确定提供对所选外设的接入的所选主机。外设消息向无线传输范围中的任何对接器输送外设数据,并且向头部可穿戴设备通知可用外设。
头部可穿戴设备具有用于捕获操作环境中的外设的图像的相机,以及称为对接器处理器的处理器。相机通常定向在头部可穿戴设备(例如智能护目镜)的穿戴者的观看方向上。在操作中,对接器处理器经由头部可穿戴设备检测穿戴者相对于操作环境的聚焦位置。由于穿戴者的眼睛在居中取向中,因此聚焦位置可以对应于笔直向前看的穿戴者的视场中的中心位置。
对接器处理器布置用于处理图像以用于标识外设。接着,使用聚焦位置从图像中的外设当中选择外设,例如通过使得在观看方向上来自相机的线与操作环境的图像相交。如所选择的外设还称为所选外设。对于单个相机,这可能不是所捕获的图像的中间像素,但是可以通过相机关于头部和眼睛的物理位置来校正。例如,相交线可以用于立体相机。选择最靠近相交点的外设。
接着,通过确定提供对所选外设的接入的主机来找到所选主机,并且对接器处理器布置用于对接到所选主机并接入所选外设。选择消息可以在例如穿戴者已经聚焦在特定外设上最小量的时间时生成,所述最小量的时间确保穿戴者正聚焦于某个设备而不是简单地四处看。主机包括主机处理器,其在操作中接收指示所选外设的选择消息,并且随后对接作为对接器的头部可穿戴设备,并且提供对所选外设的接入。有利地,在操作环境中的多个可用外设之中,通过穿戴者看向外设来选择要使用或控制的外设。
根据本发明的方法可以作为计算机实现的方法实现在计算机上,或者在专用硬件中,或者在二者的组合中。用于根据本发明的方法的可执行代码可以存储在计算机程序产品上。计算机程序产品的示例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等。优选地,计算机程序产品包括存储在计算机可读介质上以用于在计算机上执行所述程序产品时执行根据本发明的方法的非暂时性程序代码部件。在实施例中,计算机程序包括计算机程序代码部件,其适配成当计算机程序在计算机上运行时执行根据本发明的方法的所有步骤。计算机程序可以体现在计算机可读介质上。
可选地,在以上对接系统中,至少一个外设和/或主机处理器布置用于提供显示在外设的显示器上的主动视觉标记物,并且对接器处理器布置用于通过检测图像中的视觉标记物来标识外设。有利地,外设动态地示出主动标记物并且使用视觉标记物来标识以将外设从其环境和/或图像中的其它类似设备区分开。
可选地,头部可穿戴设备包括用于显示如由穿戴者经由头部可穿戴设备感知的操作环境之上的覆盖图(overlay)的显示单元,并且对接器处理器布置用于生成覆盖图并且其中视觉地标记外设中的至少一个。有利地,帮助穿戴者聚焦在可用于对接的外设上。而且,对接器处理器可以布置成通过基于外设到穿戴者的距离而视觉地优先化外设来用于所述标记。优先化意味着使得更加合适的外设在视觉上更加突出,例如通过高亮或使用颜色或图形符号。有利地,合适的外设基于与穿戴者的接近性而在视觉上区分和排序。而且,对接器处理器可以布置成通过基于对接器使用外设的之前会话的会话信息来视觉优先化外设而用于所述标记。有利地,在将之前会话中的在先使用考虑在内的情况下,穿戴者可以选择和继续与所选外设一起工作,例如使用早前已经使用的相同打印机。而且,对接器处理器可以布置成通过基于穿戴者的当前状态来视觉优先化外设而用于所述标记。有利地,系统确定当前状态,例如坐着或站着,并且基于此而优先化合适的外设。而且,对接器处理器可以布置成通过在视觉上指示可用但是在如由穿戴者感知的操作环境中不可见的外设而用于所述标记。例如,合适的外设可能隐藏在其它物体后面或者刚好在视场外部,并且系统可以通过表示外设的符号或箭头来图形标记位置。
可选地,在头部可穿戴设备中,对接器处理器布置用于通过将图像中的中心位置视为指示相对于操作环境的观看方向而经由相机检测聚焦位置,由于穿戴者的眼睛在居中取向中,因此聚焦位置对应于笔直向前看的穿戴者的视场中的中心位置,并且选择最接近聚焦位置的外设。有利地,基于如在图像中检测的聚焦位置而选择处于或靠近聚焦位置的外设。
可选地,在头部可穿戴设备中,对接器处理器布置用于通过检测穿戴者的眼睛的实际取向并且确定实际取向从居中取向的偏移量而检测凝视方向,并且依赖于偏移量而使聚焦位置移位。由于穿戴者的眼睛在居中取向中,因此聚焦位置可以对应于笔直向前看的穿戴者的视场中的中心位置,或者由于穿戴者的眼睛看向与头部可穿戴设备指向的方向不同的方向,因此聚焦位置可以对应于离心位置。这可以通过指向穿戴者的眼睛处的面向内的附加相机来检测。有利地,聚焦位置通过穿戴者的实际凝视方向来增强,并且基于图像中的经增强的聚焦位置而选择外设。
可选地,在头部可穿戴设备中,对接器处理器布置用于检测从穿戴者的眼睛到外设的观看距离,并且依赖于观看距离而使所述聚焦位置移位。有利地,聚焦位置通过到外设的实际观看距离来增强,并且基于图像中的经增强的聚焦位置而选择外设。
可选地,在头部可穿戴设备中,对接器处理器布置用于通过参考预配置的设置而标识操作环境图中的外设,预配置的设置限定操作环境中的多个外设的位置。例如,对接主机可以提供加注释的图像,对接器可以与加注释的图像比较其当前图像。有利地,基于相对于如在图像中捕获的操作环境的已知、预配置的设置的位置而选择外设。
可选地,在头部可穿戴设备中,对接器处理器布置用于通过基于外设的视觉性质识别外设而标识操作环境中的外设。例如,性质可以由对接主机、外设自身提供,或者可以基于设备发现信息而从因特网提取。有利地,通过使用其视觉性质来检测外设,比如形状、特定颜色、品牌或类型。
可选地,在头部可穿戴设备中,对接器处理器布置用于通过检测图像中的视觉标记物来标识外设。视觉标记物可以是例如QR码或条形码。这样的视觉标记物被设计用于由图像处理器读取,并且可以包含关于外设的另外的信息。视觉标记物可以是例如具有图形符号和/或文本的标签。有利地,这样的符号或文本可以由图像处理器检测,并且清楚地标识相应外设。
可选地,至少一个外设和/或主机处理器布置用于提供显示在外设的显示器上的主动视觉标记物。视觉标记物可以是例如显示在由外设自身控制的外设的显示器上的主动视觉标记物。有利地,标记物可以由主机动态地创建/适配以表示在外设处可用的实际服务或功能。
在随附权利要求中给出根据本发明的设备和方法的另外的优选实施例,随附权利要求的公开内容通过引用并入本文。
附图说明
本发明的这些和其它方面将从通过示例的方式在以下描述中描述的实施例并且参照附图而是明显的,并且将进一步参照其进行阐述,其中
图1示出包括头部可穿戴设备的对接系统,
图2示出具有多个外设和头部可穿戴设备的操作环境的示例,
图3示出用于选择对接器处的外设的对接方法,以及
图4示出主机处的对接方法。
各图纯粹是示意性的并且未按比例绘制。在各图中,与已经描述的元件对应的元件可以具有相同的参考标号。
具体实施方式
在此文档中,无线对接是关于使得移动设备(称为对接器)能够无线连接到主机供给。通过无线对接,主机向对接器提供内置在主机中和/或耦合到主机的可用外设的服务,使得移动设备上的应用可以利用外设的服务来改进与这些应用一起的工作/交互的体验和生产力。服务的发现/通告以及管理到外设的连接可以由主机执行,这使得服务的功能性通过无线对接协议而可用。可能的主机包括(但不限于)专用无线对接站设备、显示设备、音频设备、打印机、PC。无线对接主机还可以是具有显示器、USB和音频接口的小型(PC式)电子狗。可能的外设包括(但不限于)鼠标、键盘、显示设备、音频设备、网络相机、打印机、存储设备、USB集线器、网络接口、机器工具、医学装备、工业控制面板等。这些外设可以是无线的并且可以支持诸如Wi-Fi串行总线和Wi-Fi Miracast之类的标准以使其功能性通过无线网络可用于主机。有线外设还可以连接到无线主机(例如USB、HDMI、DVI、VGA、模拟音频、模拟视频等)。靠近提供对外设的接入的服务,其它服务可以包括例如提供远程桌面接入或对某些应用的接入、数据库访问(例如文档归档)、网络文件系统访问、对互联网和特定互联网服务的接入、家庭网络服务,诸如DLNA或UPnP服务等。
市面上正在发布创新的可穿戴移动设备,例如智能可穿戴眼镜。这些设备具有由穿戴者穿戴而不是携带的优点,并且可以由穿戴者徒手操作。典型地,头部可穿戴设备具有各种板上传感器(例如麦克风、加速度计等)和致动器(例如扬声器、显示器等),并且通常还有相机。从这些传感器,特别地从捕获操作环境的图像的相机提取的信息可以用于导出关于穿戴者的位置和聚焦的信息,例如凝视方向。在操作环境中可以存在各种外设,例如在定义明确且结构化的环境中,比如手术室或工业控制中心。要使用的相应外设现在可以经由头部可穿戴设备来选择。相机还可以用于通过处理图像来标识可见标记物(例如QR码)或对象性质,因为智能护目镜中的向外相机指向与穿戴者聚焦的相同方向。
典型地,头部可穿戴设备和主机设备各自包括微处理器,其执行存储在设备处的适当软件;例如,该软件可能已经被下载和/或存储在对应存储器中,例如易失性存储器,诸如RAM,或非易失性存储器,诸如闪存(未示出)。设备还可以配备有微处理器和存储器(未示出)。可替换地,设备可以整个地或部分地实现在可编程逻辑中,例如作为现场可编程门阵列(FPGA)。对接器和主机设备可以整个地或部分地实现为所谓的专用集成电路(ASIC),即针对其特定使用而定制的集成电路(IC)。
而且,如以下描述的功能和单元可以至少部分地实现在硬件电路中,其可以包括处理器电路和存储电路,处理器电路执行在存储电路中电子表示的指令。
图1示出包括头部可穿戴设备的对接系统。系统包括用于与一个或多个对接器120(例如头部可穿戴设备)无线通信的主机设备100。主机设备耦合到数个外设110、111、112以提供服务,例如渲染音频或视频(AV)数据。要指出的是,在此文档中,AV数据用于任何类型的视频数据、音频数据或视频和音频数据的组合。外设可以包括视频输出设备,比如投影机或显示器111,图形输入/输出设备,比如智能板(smartboard)110或触摸屏,音频输出设备,比如扬声器系统112或耳机,用户输入设备,比如鼠标或房间控制单元;数据处理设备,比如数据存储单元或打印机。在实践环境中,可以存在多个主机,其耦合到另外的外设。
主机设备100具有用于适应无线通信152的主机通信单元102,例如Wi-Fi单元,其本身是公知的。主机设备还具有布置用于对接至少一个对接器的主机处理器101。将无线设备对接到无线对接主机(WDH)的过程是经由诸如Wi-Fi或蓝牙之类的可用无线电信道建立数据链路的过程,并且本身是已知的,诸如以上参照WO 2012/117306A1所讨论的。蓝牙的描述可以例如在蓝牙规范,核心包版本2.1+EDR,2007年7月26日发布中找到。对接过程牵涉为对接器提供对一个或多个外设的接入。主机可以具有用于控制经由外设可用的配置和服务的外设控制单元103。
对接器120具有用于适应与主机的所述无线通信的对接器通信单元121。在实践中,可以存在用于该目的的多个通信单元,例如蓝牙、Wi-Fi和60GHz(例如WiGig)。对接器还具有布置用于与主机设备对接的对接器处理器122,以用于作为对接器而得到对所述至少一个服务的接入。
使无线连接性对于用户而言更简单的一种方式是无线对接。在无线对接中,所谓的无线对接主机使得数个服务可用于移动设备,移动设备可以利用其一举设置通信。通过无线对接主机而可用的外围设备和/或服务的任何群组称为无线对接环境。无线对接环境可以包含单个主机和多个外设,或者无线对接主机可以适应数个(不同的)无线对接环境。无线对接主机还可以通过每一个的单独选择而使其服务可用。还可以存在处于移动设备与其对接的到达范围中的数个无线对接主机。
使得对于用户而言使用移动设备更方便的另一方式是外围设备,例如监视器或TV,使其功能、其屏幕无线地可用于移动设备。当然可以频繁发生的是,存在移动设备的无线到达范围中的这些无线外围设备中的若干个。由Wi-Fi联盟认证的Miracast是利用其而使这可能的技术。在当前文档中,与提供功能性的外设组合以提供对外设输入和/或输出功能的访问的任何设备称为主机。
传统地,以上提到的设备可以采用Wi-Fi通信以使其无线对接环境或其功能无线可用,例如通过使用直接Wi-Fi。设置Wi-Fi连接要求采取相当多的步骤以及在两个设备通过Wi-Fi“相关联”之前的数个消息的交换。这可能要求相当多的用户参与以确保将要连接正确的设备,并且花费时间,在此期间用户必须等待设置和启动连接。当两个设备通过Wi-Fi相关联时,其Wi-Fi连接被密码保护并且建立IP连接。
Wi-Fi设备可以使其自身无线可发现。这可以在两个设备相关联之前完成,因此这称为预关联发现。存在若干类型的预关联发现。一个是预关联设备发现,其中可以发现设备和设备的一些性质(比如其名称、功能等)。这可以通过信标帧和探查请求帧以及探查响应帧来完成,从IEEE 802.11是公知的。另一类型是预关联服务发现,可以利用其通过IEEE802.11u通用通告服务(GAS)帧由其它者发现由Wi-Fi设备供应的服务(例如打印、显示等)。这样的发现可以包括关于为无线对接供应的无线对接环境的信息。
由于Wi-Fi信号的范围可以达到数十米,因此可以在Wi-Fi范围内发现供应Wi-Fi服务的相当多的设备。用户需要牵涉在选择要连接到的正确设备/服务中。然而,从呈现给用户的设备/服务的列表,哪个名称对应于哪个设备可能不是非常清楚。例如,用户感兴趣的是在大显示器上示出驻留在他的移动MP4播放器中的内容。Miracast是用于显示通过Wi-Fi接收的视频的服务的Wi-Fi联盟的商业名称。可以存在供应服务的用户邻域中的若干显示器,该服务渲染通过Wi-Fi接收的视频。这可以是现代办公大楼中的情况,其中许多会议室和灵活工作场所配备有启用Miracast的显示器,而且在家庭情形中,其中家庭配备有供应该Wi-Fi服务的若干TV。具有多个外设的这样的环境在此文档中还称为操作环境。
在图1中,对接系统具有至少一个主机、多个外设以及作为对接器的头部可穿戴设备。头部可穿戴设备具有相机123,例如具有前视相机的头部安装显示器。当头部可穿戴设备由穿戴者穿戴时,穿戴者可能想要与外设之一交互,并且将看向其中存在外设的操作环境的方向。
主机100布置用于与作为对接器的头部可穿戴设备无线对接。当对接时,主机将为头部可穿戴设备提供对外设中的至少一个的接入。头部可穿戴设备120布置用于作为主机的对接器而无线对接以用于接入外设中的至少一个。头部可穿戴设备上的相机123布置用于在穿戴者看向外设的方向时捕获操作环境的图像。
头部可穿戴设备120具有用于检测穿戴者相对于操作环境的观看方向的对接器处理器122。由于用于捕获图像的相机以已知方式耦合到头部可穿戴设备,因此使得对接器处理器能够经由头部可穿戴设备执行所述检测。由于头部可穿戴设备及其相机的取向在实际穿戴头部可穿戴设备期间是已知的,因此对接器处理器可以假定穿戴者聚焦在靠近所捕获的图像的中心的聚焦点处。稍后讨论确定观看方向和聚焦点的另外的实施例。
对接器处理器还布置用于处理图像以用于标识外设。由于外设存在于穿戴者看向的操作环境中,因此可以识别和标识一个或多个外设。对接器处理器还布置用于基于观看方向而从图像中的外设当中选择外设。以下讨论用于标识外设和选择它们中的一个的各种选项。
对接器处理器还布置用于通过确定提供对所选外设的接入的主机来确定所选主机。可以存在无线通信范围内的若干主机设备。例如,关于预配置的操作环境的信息或协议消息的交换可以用于确定耦合到所选外设的所选主机。最后,对接器处理器还布置用于对接到所选主机并且接入所选外设。
主机处理器101布置用于接收指示所选外设的选择消息,对接作为对接器的头部可穿戴设备,并且提供对所选外设的接入。
可选地,至少一个外设布置用于提供视觉标记物,例如标签或QR码。对接器处理器还可以布置用于通过检测图像中的视觉标记物来标识外设。
图2示出具有多个外设和头部可穿戴设备的操作环境的示例。该图中的操作环境250示出连接到多个外设(例如显示器251、252、253)的若干主机设备261、262、263。可以存在另外的外设,比如投影屏幕、机器工具、控制面板、医学装备等。将头部可穿戴设备130示出为提供有相机133和用于电子电路(比如对接器处理器和无线通信单元)的隔室132的智能眼镜,类似于以上图1。假定在使用中,头部可穿戴设备由看向他想要使用的外设的穿戴者(未示出)穿戴。
头部可穿戴设备可以具有显示单元以用于显示如由穿戴者经由头部可穿戴设备感知的操作环境之上的覆盖图。显示单元本身未示出,但是可以集成在隔室132中并且定位成使得所显示的覆盖图与真实世界视图组合地经由眼镜来感知。提供穿戴者的真实世界视图之上的这样的覆盖图可以称为增强现实。对接器处理器可以布置用于生成覆盖图。例如,实际聚焦位置和/或所选外围设备可以在覆盖图中通过箭头、高亮窗口或图形符号来视觉指示。对接器处理器可以布置用于在覆盖图中视觉标记外设中的至少一个。现在描述各种示例。
可选地,对接器处理器布置成通过基于外设到穿戴者的距离来视觉优先化外设而用于所述标记,所谓的用户视场内的可对接设备的基于接近性的优先化。当穿戴经增强的智能眼镜的用户希望找到可对接设备时,可用设备在经增强的覆盖图中基于其到穿戴者的当前距离而视觉优先化。例如,手臂到达范围内的设备可以呈现有最多的视觉关注。在开放办公环境中,可能存在可以充当用于对接器的外设的许多设备,但是仅几个可以直接可用或适合于与穿戴者的交互。到外设的距离或接近性检测可以例如经由智能眼镜中的相机使用对象识别和透视校正,或者使用相机图像和信号强度测量来执行,诸如从可对接外设发射的RSSI值。
可选地,对接器处理器布置成通过基于对接器使用外设的之前会话的会话信息来视觉优先化外设而用于所述标记。这可以称为用户视场内的可对接设备的面向会话的优先化。当用户之前已经与可对接设备交互时,之前涉及该设备的会话信息(诸如呼叫列表)和/或来自最后对接的会话的设备/用户的表现(例如打字速度)二者可以用作输入参数来确定用于与该外设的潜在对接的优先级。该信息用于优先化经增强的覆盖图中的可对接设备,例如使用大小、透明度、颜色、文本来表示优先级。会话信息可以存储在可对接设备中以用于安全检索(例如以在用户离开的地方继续),或者可以存储在另一设备上,例如主机中。来自在先会话的表现相关历史信息还可以存储在头部可穿戴设备、外围设备上或云上。
在优先化期间,当支持多会话交互的可对接外围设备可用时,视觉优先级水平可以基于该设备上剩余的可用资源,例如剩余存储器、CPU循环、打印队列等。
可选地,对接器处理器布置成通过基于穿戴者的当前状态来视觉优先化外设而用于所述标记。这可以称为与用户的当前状态有关的可对接设备的优先化。现在设备在经增强的覆盖图中基于其对于用户当前状态的支持水平而视觉优先化。例如,当智能眼镜穿戴者想要在坐着的同时给出会议中的演示时,系统将搜索可用并且适合于穿戴者状态的该会话的外围设备,例如以与穿戴者坐在的桌子处的输入设备和本地显示器对接。然而,当穿戴者站着时,经增强的智能眼镜覆盖图内的输入设备选择被示出有不同的优先级水平,并且另一设备取得较高优先级,例如用于姿势识别的相机。在实践中,穿戴者状态检测可以由智能眼镜设备使用各种传感器来执行,例如加速度计、压力传感器(用于海拔高度)、陀螺仪(用于头部取向)、相机(用于从眼镜到书桌的距离以推断坐姿)。检测还可以经由潜在对接器远程执行,如果其具有感测能力并且当前未被利用的话。例如,如果对接器具有相机,其可以远程地推断用户的状态以确定其对于基于用户的当前状态/活动的对接的适宜性。如果智能眼镜处于发现模式中,潜在对接器可以通过临时供应其功能中的一些以确定上下文来帮助优先级水平确定过程。
可选地,对接器处理器布置成通过视觉指示可用但是在如由穿戴者感知的操作环境中不可见的外设而用于所述标记。现在可以将用户的关注更改到其视场外部的可对接外围设备。例如,当高优先级可对接外围设备在用户的视场外部可用并且用户正在寻找这样的设备时,可以在设备的实际位置附近但是在穿戴者的视场内部示出符号。而且,智能眼镜的左侧或右侧上的电机可以被致动以指示用户应当进一步向左或向右看。可替换地或此外,经增强的覆盖图可以指示箭头,其中箭头的大小/颜色指示可对接设备的优先级水平。
相应主机与各个外设之间的连接对头部可穿戴设备130或其穿戴者不是已知的。为了解决该问题,头部可穿戴设备中的对接器处理器布置用于检测穿戴者相对于操作环境的观看方向,处理图像以用于标识外设,基于观看方向从图像中的外设当中选择外设,通过确定提供对所选外设的接入的主机来确定所选主机。随后可以执行对接到所选主机并且接入所选外设。
可选地,对接器处理器布置用于通过将图像中的中心位置视为指示相对于操作环境的观看方向来经由相机检测聚焦位置。由于穿戴者的眼睛处在居中取向中,因此聚焦位置对应于笔直向前看的穿戴者的视场中的中心位置。对接器处理器还布置用于选择最靠近聚焦位置的外设。
可选地,对接器处理器布置用于通过检测穿戴者的眼睛的实际取向并且确定实际取向从居中取向的偏移量来检测凝视方向。追踪眼睛的实际取向以确定观看方向本身是已知的。随后,依赖于偏移量而使聚焦位置移位。对接器处理器可以布置用于检测从穿戴者的眼睛到外设的观看距离,并且使所述聚焦位置依赖于观看距离而移位。例如,距离可以使用自动聚焦相机来确定,自动聚焦相机具有使穿戴者通过与头部可穿戴设备交互而适配自动聚焦点的能力。另外,距离范围可以用于仅选择不超过距穿戴者眼睛的某个距离的那些外设。可替换地,距离可以通过使用例如基于Wi-Fi的距离测量(使用例如IEEE精细时间测量(FTM))来检测。
可选地,对接器处理器布置用于通过参考预配置的设置来标识操作环境中的外设。预配置的设置可以限定操作环境中的多个外设的位置,例如多个显示器或控制面板的相互距离和位置。预配置的设置可以对头部可穿戴设备是已知的,例如在配置会话期间存储。可替换地,预配置的设置可以由至少一个主机存储和维护,例如在图1中所示的外设控制单元103中。可以使得主机能够与彼此通信以交换配置信息,并且在预关联发现消息中提供关于彼此的外设的信息。
可选地,对接器处理器布置用于通过基于外设的视觉性质识别外设而标识操作环境中的外设。例如,本身已知的图像识别可以用于通过使用这样的外设的已知图像或模型来标识外设并且将模型匹配到图像。
可选地,对接器处理器布置用于通过检测图像中的视觉标记物来标识外设。例如,视觉标记物可以是QR码或条形码,其使得能够由对接器处理器读取存储在这样的代码中的一定量的数据。视觉标记物还可以是具有图形符号和/或文本的标签,或者显示在外设的显示器上的主动视觉标记物。
以上系统使得能够经由智能可穿戴设备(例如智能护目镜)的使用而在丰富的信息上下文中从多个外设当中选择特定设备并且经由耦合到外设的主机将头部可穿戴设备自动对接到所选外设。对接还可以扩展成包括相关联的设备,诸如关联到头部可穿戴设备的智能电话或平板电脑。可以通过由具有相机的头部可穿戴设备(例如智能护目镜)的穿戴者看向要选择的设备来执行选择。头部可穿戴设备可以处理所捕获的图像以标识穿戴者看向的聚焦位置,并且然后标识最靠近该位置的设备。例如,找到聚焦位置可以牵涉经由头部可穿戴设备上的3D陀螺仪和加速度计的凝视方向检测。例如,标识可以牵涉以下中的一个或多个:视觉标记物检测、形状识别、品牌或标签检测。
在优选实施例中,系统可以包括由穿戴者(例如手术室中的外科医生)穿戴的具有向外看的相机的智能护目镜或头部安装显示器。头部可穿戴设备可以是独立设备或结合相关联的智能电话或平板电脑工作。我们将独立的头部可穿戴设备或与智能电话/平板电脑的组合称为对接器。主机可以是具有连接到它的多个外围设备的独立无线对接站,例如将在其上显示视觉信息的多个显示设备,诸如生命体征监视器、腹腔镜相机显示器等。
例如,如果外围设备是显示设备并且对接已经成功,信息可以显示在如由对接器提供的这些外围设备上,例如以Miracast输出数据的形式,其中对接器是Miracast源并且外围设备是Miracast汇点。视觉信息还可以在对接器的控制之下由网络/因特网上的服务器提供,例如HTML页面或所显示的其它信息源。
对接器可以对接到连接至主机的所有外围设备、那些的子组或单独的外围设备。对接的过程可以牵涉:
1)发现无线对接主机,并且对于相应主机,关于所连接的外围设备的信息,
2)设置对接器与无线对接主机之间的无线链路,
3)使用消息集合从连接至无线对接主机的所述多个外围设备当中选择要使用哪些外设,
4)使用外设特定消息传递协议(诸如Miracast、Wi-Fi串行总线、WiGig显示扩展),设置对接器与所选外围设备之间的会话以用于控制/交互目的。
在可能的实施例中,外围设备具有用于意义明确的标识的视觉标记物(例如QR码贴纸、条形码、具有编码光的LED等),其可以由头部可穿戴设备的相机或不同传感器解码。视觉标记物可以是静态的(例如显示唯一标识符并且可以由可穿戴设备的相机识别的贴纸)或动态的(例如显示在显示设备的角落上的动态生成的QR码,其具有作为QR码的部分而编码的唯一设备标识符)。
主机和所连接的外围设备可以以外围设备与视觉标记物之间的关系已知的这样的方式进行配置。配置可以例如存储在主机中,例如作为无线对接环境数据结构的部分,或者在对接器连接到的网络中的服务器设备上。主机或网络服务器设备可以供应查询接口以用于检索所存储的配置信息。主机还可以在与无线对接器的预关联发现信息交换期间使用信标帧、探查响应或GAS帧来供应所存储的配置信息。可替换地,配置数据可以分布在每一个所连接的外设之中。如果这样的外围设备支持Wi-Fi,则外围设备可以供应用于检索所存储的配置数据的查询接口,或者使用现有或添加到P2P预关联设备发现的新信息元素在预关联发现期间供应该数据,或者在GAS查询响应消息中供应该数据。
在头部可穿戴设备的实施例中,一旦在来自可穿戴设备的向外相机的图像内检测到视觉标记物,关于标记物或从其提取的信息就用于从较早存储的配置信息检索关于外围设备的信息。可以通过连接到主机,通过向网络中的服务器发送查询,通过使用信标帧、探查响应或GAS帧解析由无线对接主机发送的预关联发现信息来检索配置。配置信息然后用于确定用于对接的外围设备并且设置对接器与所选外围设备之间的会话。
在实施例中,向穿戴者当前聚焦在其上的外围设备设置会话。可替换地,可以向当前在穿戴者的视觉场中的外围设备设置会话。在又一实施例中,仅向穿戴者自对接会话的开始就看向的外围设备设置会话。在另外的实施例中,针对外围设备所检索的信息(例如友好设备名称、设备类型、品牌、所供应的服务)在可穿戴设备的显示器上示出,并且可以以所显示的所检索的信息与从外围设备到人们眼睛中的光线反射重叠的这样的方式进行定位(即增强现实)。
在实施例中,可穿戴设备向设备的对接发生在设备的形状由耦合至头部可穿戴设备的相机的对接器处理器识别时。例如,所捕获的图像可以流送至分离的处理器(例如计算机)。主机和所连接的外围设备可以配置成使得关于每一个外围设备的形状的信息存储在主机中,或者在无线对接器连接到的网络中的服务器上。一旦在来自头部可穿戴设备的向外相机的图像内检测到设备的已知形状,形状信息就与配置数据中的所存储的形状信息相关。在正匹配之后,可以检索来自较早存储的配置信息的关于外围设备的详细信息。该信息然后用于选择用于对接的外围设备并且设置无线对接器与所选外围设备之间的会话。
在实施例中,还配置和存储外围设备的相对位置,以便能够帮助具有相同或类似形状的众多外围设备之中的外围设备的检测。例如,一号显示器放置在二号显示器上方,并且在三号显示器右边。与通过头部可穿戴设备的加速度计和陀螺仪检测的观看方向结合地确定所选显示器以确定穿戴者的聚焦。位置还可以相对于特定已知参考点来配置和存储,例如相对于外围设备连接到的主机。
在实施例中,外设的选择牵涉在给定穿戴者的固定位置(例如站在手术室中的手术床附近的特定位置或地板上的标记位置)的情况下通过头部可穿戴设备的加速度计和陀螺仪对穿戴者的凝视方向的检测。这要求通过可穿戴设备或可穿戴设备向其实时发送加速度计和陀螺仪数据的分离处理器(例如计算机)对环境的感知。当凝视方向与外围设备的位置相交时,可以检索来自较早存储的配置信息的关于外围设备的详细信息。该信息然后用于选择用于对接的外围设备并且设置对接器与所选外围设备之间的会话。
在实施例中,头部可穿戴设备的选择和向外设的对接发生在外设的品牌/标签由智能护目镜的相机识别时,例如通过光学字符识别。可能地,将所捕获的图像流送至分离的处理器(例如计算机)。为此目的,无线对接主机及其所连接的外围设备以关于每一个外围设备的品牌/类型的信息存储在例如主机中的这样的方式进行配置。设备的品牌/标签与配置数据中所存储的品牌/标签信息相关。在正匹配之后,可以检索关于外围设备的详细信息。该信息然后用于选择用于对接的外围设备并且设置无线对接器与所选外围设备之间的会话。
在实施例中,当已经根据前述过程之一选择了特定外围设备以用于对接时,用户输入控制事件可以自动定向在所选外围设备处。如果穿戴者在一段时间内转移开目光,或者如果已经选择另一外围设备,对接会话可以终止。这使得能够实现基于该自动选择机制对特定外围设备的穿戴者控制,例如以选择哪些信息应当在所选外围设备上示出。用户输入控制事件可以以语音控制命令或由可穿戴设备或经由另一系统(例如可穿戴传感器、通用用户接口、键盘/鼠标接口、触摸垫或触摸屏)检测的姿势控制命令的形式。要指出,当前未使用的外围设备可以取决于穿戴者的偏好/配置而关断。
在实施例中,系统可以保留对接会话或在用户命令下,通过特定眼睛移动,经由姿势或语音控制而结束对接会话,例如当穿戴者在足够长的时间内转移开目光时结束会话。
在实施例中,头部可穿戴设备在利用主机对外围设备的配置期间使用,例如将视觉标记物与外设相关、这些设备具有哪个形状、这些设备在彼此之中具有哪个相对位置、哪些设备成为设备的一个或多个子集的部分。例如,操作环境和主机的配置可以通过选择性地看向穿戴者可以以顺序方式使用的外围设备而同时将主机置于配置模式中来设置。
在实施例中,可穿戴设备具有用于无线通信的射束成形天线,例如使用60GHzIEEE 802.11ad的Wi-Fi P2P通信。天线可以定向在与相机相同的方向上。头部可穿戴设备保持追踪在定向Wi-Fi射束内发现的可用设备。头部可穿戴设备可以使用可用性信息来限制使用前述过程之一针对匹配设备的搜索。头部可穿戴设备还可以使用可用性信息以用于设置针对在定向射束内发现的可用设备的连接。
图3示出用于在对接器处选择外设的对接方法。对接器方法使得能够实现对接器与一个或多个主机之间的无线通信。已经参照图1和2阐述了主机和对接器。对接器布置用于与主机无线对接以用于接入经由头部可穿戴设备的相机选择的外设。对接器方法最初在开始 501处开始,并且通过用户将头部可穿戴设备放置在他/她的头部上(即成为穿戴者)并且激活相机以用于捕获图像而触发。接着,在DT_FOC 502处,经由头部可穿戴设备检测聚焦位置。操作环境中的聚焦位置基于穿戴者的观看距离,并且对应于穿戴者使他的关注聚焦于的操作环境中的位置。例如,聚焦位置可以是头部可穿戴设备的前视相机的图像中心。在ID_PRF 503处,处理如所捕获的图像以用于标识外设。接着,在阶段SEL 504处,基于聚焦位置从图像中的外设当中选择外设。如果头部可穿戴设备已经具有关于哪个主机耦合到所标识和选择的外设的配置数据,则直接选择主机,并且过程通过在阶段INIT_DCK 505处对接而继续。如果配置尚且未知,例如当多个主机在范围内时,在阶段SEL_H中检索外设信息以用于确定提供对所选外设的接入的主机。当已经如此确定所选主机时,过程通过在阶段INIT_DCK 505处对接而继续以用于对接到所选主机并且接入所选外设。当终止外设的使用时,方法在节点结束 507处结束。
可选地,在对接方法中,在发生外设的实际检测和选择之前,可穿戴设备与若干对接主机对接。这可以更快,因为然后可穿戴设备可以避免与主机(再次)相关联。而且,对接主机可能已经准备和预留所有外设以用于与该特定对接器对接,但是仅在使用无线对接协议完成“选择外设”动作之后,外设得到选择并且可以在使用外设特定消息传递协议时进行操作。
图4示出主机处的对接方法。主机方法使得能够实现主机与作为对接器的头部可穿戴设备之间的无线通信。已经参照图1和2阐述了主机和对接器。主机布置用于无线对接以用于提供对外设的接入。主机方法最初在开始 601处开始,并且通过对主机和外设通电来触发。在下一步骤TR_ID 602中,主机方法可以牵涉生成主动标识符,比如QR码、文本或条形码,并且在对应外设上显示标识符。而且,主机可以传输外设配置数据以便通知可用性,和或外设的其它性质。接着,在阶段R_SEL 603中,主机可以接收指示所选外设的选择消息。在阶段PRF 604中,主机确定是否连接所选外设。如果否,方法在阶段TR_ID 602处继续。如果外设可用并且耦合到主机,方法在阶段DOCK 605处通过对接作为对接器的头部可穿戴设备而继续。最后,在阶段AC_PR 606处,主机提供对所选外设的接入。如果会话断开,方法在阶段结束 607处终止。
在实践中,方法可以实现在主机软件(主机方法)和对接器软件(对接器方法)中,例如所谓的app。这样的计算机程序产品用于主机与对接器之间的无线对接,并且包括操作成使处理器执行主机或对接器方法的程序。因此本发明可以实现在硬件和/或使用可编程组件的软件中。
尽管已经主要通过使用无线对接和分离外设的实施例解释了本发明,但是本发明还适合于任何无线系统,其中头部可穿戴设备(具有对接器角色)想要连接到另外的无线设备(具有主机角色)以接入或共享一个或多个外设或服务。因此主机可以是执行主机角色的任何控制单元,并且可以集成在某个其它设备中并且不需要对穿戴者可见。外设包括意图由穿戴者物理地用于控制或交互的所有设备。
外设还可以是物理对接系统或对接站(的部分)。外设还可以包含另外的外设。例如,外设可以是提供有一个或多个LED或LED条的设备并且具有另外的连接器以附连一个或多个另外的外设。对接站可以是其中可以定位一个或多个显示器的框架,每一个显示器是另外的相应外设。框架可以例如容纳2x2个显示器,而不同的LED信号可以用于指示哪个位置可用或意图用于对接。对接站可以激活相应LED信号并且主机可以向对接器告知相应的位置和对应的LED信号。在图像中,首先标识对接站,而随后做出到由主机供应的外设中的一个或多个(例如基于由主机提供的附加数据的框架中的所述显示器中的一个)的连接。
将领会到,以上描述为了清楚起见而参照不同的功能单元和处理器描述了本发明的实施例。然而,将明显的是,可以使用不同功能单元或处理器之间的任何合适的功能性分布而不脱离本发明。例如,图示为由分离单元、处理器或控制器执行的功能性可以由相同的处理器或控制器执行。因而,对特定功能单元的参考仅视为对用于提供所描述的功能性的合适部件的参考而不指示严格的逻辑或物理结构或组织。本发明可以以任何合适的形式实现,包括硬件、软件、固件或这些的任何组合。
要指出的是,在此文档中,词语“包括”不排除除了所列出的那些之外的其它元件或步骤的存在,并且在元件之前的词语“一”或“一个”不排除多个这样的元件的存在,任何参考标记不限制权利要求的范围,本发明可以借助于硬件和软件二者来实现,并且若干“部件”或“单元”可以由相同的硬件或软件项表示,并且处理器可以履行一个或多个单元的功能,可能地与硬件元件协作。另外,本发明不限于实施例,并且本发明在于以上描述的或在相互不同的从属权利要求中叙述的每一个新颖特征或特征的组合。

Claims (15)

1.对接系统,包括至少一个主机(100)、耦合到所述至少一个主机的多个外设(110,111,112)和对接器(120),
主机布置用于与对接器无线对接并且包括主机处理器(101),主机处理器(101)布置用于
– 传输外设消息,每一个外设消息包括外设数据,所述外设数据指示至少一个外设的服务的可用性,
– 与对接器对接,
– 接收指示所选外设的选择消息,以及
– 为对接器提供对所选外设的接入,
对接器是布置用于无线对接的头部可穿戴设备,并且
头部可穿戴设备包括
– 用于捕获包括外设的操作环境的图像的相机(123),
以及
– 对接器处理器(122),对接器处理器(122)布置用于
– 接收外设消息,
– 处理图像以用于标识外设,
– 经由头部可穿戴设备基于穿戴者的观看方向而检测操作环境中的聚焦位置,
– 使用聚焦位置从所标识的外设当中选择外设,
– 通过依赖于所接收的外设消息而确定提供对所选外设的接入的主机来确定所选主机,以及
– 对接到所选主机,
– 发送指示所选外设的选择消息,以及
– 接入所选外设并且使用所选外设的服务。
2.如权利要求1中所要求保护的对接系统,其中
- 至少一个外设和/或主机处理器布置用于提供显示在外设的显示器上的主动视觉标记物,并且
- 对接器处理器布置用于通过检测图像中的视觉标记物来标识外设。
3.用于使用在如权利要求1中所要求保护的系统中的头部可穿戴设备,头部可穿戴设备(120)包括
– 用于捕获包括外设的操作环境的图像的相机(123),
– 对接器处理器(122),对接器处理器(122)布置用于
– 接收外设消息,
– 处理图像以用于标识外设,
– 经由头部可穿戴设备基于穿戴者的观看方向而检测操作环境中的聚焦位置,
– 基于聚焦位置从所标识的外设当中选择外设,
– 通过依赖于所接收的外设消息而确定提供对所选外设的接入的主机来确定所选主机,以及
– 对接到所选主机,
– 发送指示所选外设的选择消息,以及
– 接入所选外设并且使用所选外设的服务。
4.如权利要求3中所要求保护的头部可穿戴设备,其中
头部可穿戴设备包括显示单元以用于显示如由穿戴者经由头部可穿戴设备感知的操作环境之上的覆盖图,并且对接器处理器布置用于生成覆盖图并且在其中视觉标记外设中的至少一个。
5.如权利要求4中所要求保护的头部可穿戴设备,其中
对接器处理器布置成通过以下中的至少一个而用于所述标记
- 基于外设到穿戴者的距离而视觉优先化外设;
- 基于对接器使用外设的之前会话的会话信息来视觉优先化外设;
- 基于穿戴者的当前状态来视觉优先化外设;
- 在视觉上指示可用但是在如由穿戴者感知的操作环境中不可见的外设。
6.如权利要求3-5中任何一项中所要求保护的头部可穿戴设备,其中对接器处理器布置用于
- 通过将图像中的中心位置视为指示相对于操作环境的观看方向而经由相机检测聚焦位置,由于穿戴者的眼睛处在居中取向中,因此聚焦位置对应于笔直向前看的穿戴者的视场中的中心位置,并且
- 选择最接近聚焦位置的外设。
7.如权利要求6中所要求保护的头部可穿戴设备,其中对接器处理器布置用于
- 通过检测穿戴者的眼睛的实际取向并且确定实际取向从居中取向的偏移量而检测凝视方向,以及依赖于偏移量而使聚焦位置移位。
8.如权利要求7中所要求保护的头部可穿戴设备,其中对接器处理器布置用于检测从穿戴者的眼睛到外设的观看距离,并且依赖于观看距离而使所述聚焦位置移位。
9.如权利要求3至8中任何一项中所要求保护的头部可穿戴设备,其中对接器处理器布置用于通过参考预配置的设置而标识操作环境中的外设,所述预配置的设置限定操作环境中的多个外设的位置。
10.如权利要求3至9中任何一项中所要求保护的头部可穿戴设备,其中对接器处理器布置用于通过基于外设的视觉性质识别外设而标识操作环境中的外设。
11.如权利要求3至10中任何一项中所要求保护的头部可穿戴设备,其中对接器处理器布置用于通过检测图像中的视觉标记物来标识外设。
12.如权利要求11中所要求保护的头部可穿戴设备,其中视觉标记物是
- QR码或条形码;
- 具有图形符号和/或文本的标签;
- 显示在外设的显示器上的主动视觉标记物。
13.用于使用在如权利要求1中所要求保护的系统中的作为对接器的头部可穿戴设备中的对接器对接方法,所述方法包括
– 接收外设消息,
– 处理图像以用于标识外设,
– 经由头部可穿戴设备基于穿戴者的观看方向而检测操作环境中的聚焦位置,
– 基于聚焦位置从所标识的外设当中选择外设,
– 通过依赖于所接收的外设消息而确定提供对所选外设的接入的主机来确定所选主机,以及
– 对接到所选主机,
– 发送指示所选外设的选择消息,以及
– 接入所选外设并且使用所选外设的服务。
14.用于使用在如权利要求2中所要求保护的系统中的主机中的主机对接方法,主机(100)布置用于与对接器无线对接,并且用于为对接器提供对外设中的至少一个的接入,
所述方法包括
– 传输外设消息,每一个外设消息包括外设数据,所述外设数据指示至少一个外设的服务的可用性,
– 提供显示在外设的显示器上的主动视觉标记物,
– 对接作为对接器的头部可穿戴设备,
– 接收指示所选外设的选择消息,以及
– 为对接器提供对所选外设的接入。
15.用于在主机与对接器之间进行对接的计算机程序,包括操作成使得处理器执行如权利要求13或14中所要求保护的方法的程序。
CN201580066401.XA 2014-10-06 2015-09-30 对接系统 Active CN107003739B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14187768.8 2014-10-06
EP14187768 2014-10-06
PCT/EP2015/072496 WO2016055317A1 (en) 2014-10-06 2015-09-30 Docking system

Publications (2)

Publication Number Publication Date
CN107003739A true CN107003739A (zh) 2017-08-01
CN107003739B CN107003739B (zh) 2020-10-27

Family

ID=51730341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580066401.XA Active CN107003739B (zh) 2014-10-06 2015-09-30 对接系统

Country Status (9)

Country Link
US (1) US20170242480A1 (zh)
EP (1) EP3204837B1 (zh)
JP (1) JP6214828B1 (zh)
CN (1) CN107003739B (zh)
BR (1) BR112017006797A2 (zh)
RU (1) RU2017115844A (zh)
TR (1) TR201901086T4 (zh)
TW (1) TWI728956B (zh)
WO (1) WO2016055317A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108810151A (zh) * 2018-06-15 2018-11-13 恒生电子股份有限公司 多系统间的对接适配方法、装置及存储介质和电子设备
CN112019756A (zh) * 2020-10-06 2020-12-01 青岛天纵通信网络技术有限公司 一种基于5g的智能可穿戴设备的控制方法及系统

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111934943B (zh) 2014-12-30 2024-05-03 华为技术有限公司 位转发入口路由器、位转发路由器及操作管理维护检测方法
WO2018075076A1 (en) 2016-10-21 2018-04-26 Hewlett-Packard Development Company, L.P. Wireless head-mounted device
CN111010865B (zh) 2017-02-24 2023-07-25 梅西莫股份有限公司 用于显示医疗监测数据的系统
US11024064B2 (en) * 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
US10510161B2 (en) 2017-03-24 2019-12-17 Varian Medical Systems, Inc. Patient-mounted or patient support-mounted camera for position monitoring during medical procedures
WO2018208616A1 (en) 2017-05-08 2018-11-15 Masimo Corporation System for pairing a medical system to a network controller by use of a dongle
TWI643167B (zh) * 2017-08-25 2018-12-01 湛雲國際股份有限公司 雙螢幕顯示器之管理系統
KR102441407B1 (ko) * 2017-12-14 2022-09-07 한국전자통신연구원 스마트 글라스를 이용한 발화자 선택 장치 및 방법
JP2021523408A (ja) * 2018-05-08 2021-09-02 スクウェア パンダ インコーポレイテッドSquare Panda, Inc. 周辺デバイス識別システムおよび方法
US10896144B2 (en) 2018-05-08 2021-01-19 International Business Machines Corporation Automated configuring of computer system settings for peripheral device(s)
WO2020132831A1 (en) * 2018-12-24 2020-07-02 Intel Corporation Systems and methods for pairing devices using visual recognition
US10757561B2 (en) * 2019-03-29 2020-08-25 Intel Corporation Wi-Fi docking in dense environment
CN117043709A (zh) * 2021-02-08 2023-11-10 视域电脑有限公司 用于生产力的扩展现实
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
KR20230144042A (ko) 2021-02-08 2023-10-13 사이트풀 컴퓨터스 리미티드 생산성을 위한 확장 현실
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
WO2022170222A1 (en) * 2021-02-08 2022-08-11 Multinarity Ltd Content sharing in extended reality
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
BE1030488B1 (nl) * 2022-04-29 2023-12-04 Rods&Cones Holding Bv Werkwijze voor het koppelen van één of meerdere beeldschermen aan een videoconferentie

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7779193B2 (en) * 2007-08-03 2010-08-17 Intel Corporation Method and apparatus for external data transfer in a personal storage device
CN103532982A (zh) * 2013-11-04 2014-01-22 祝贺 基于可穿戴设备授权的方法、装置和系统
CN103677631A (zh) * 2013-11-15 2014-03-26 北京智谷睿拓技术服务有限公司 信息交互方法及信息交互装置
CN103809751A (zh) * 2014-02-12 2014-05-21 北京智谷睿拓技术服务有限公司 信息共享方法及信息共享装置
CN104102344A (zh) * 2013-04-15 2014-10-15 奥林巴斯株式会社 可佩戴装置及可佩戴装置的显示控制方法
US20140351480A1 (en) * 2013-05-23 2014-11-27 Samsung Electronics Co., Ltd. Method and apparatus for managing wireless docking network

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4241724B2 (ja) * 2005-12-16 2009-03-18 ブラザー工業株式会社 通信システム、周辺機器、及び、プログラム
JP2008225991A (ja) * 2007-03-14 2008-09-25 Nec Computertechno Ltd 次動作予測準備マルチメディア装置
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
JP5685935B2 (ja) * 2010-12-28 2015-03-18 ブラザー工業株式会社 制御装置及びプログラム
CN103385013B (zh) * 2011-03-01 2017-09-15 皇家飞利浦有限公司 用于使能设备间的无线安全通信的方法
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US8866852B2 (en) * 2011-11-28 2014-10-21 Google Inc. Method and system for input detection
US9517776B2 (en) * 2011-12-29 2016-12-13 Intel Corporation Systems, methods, and apparatus for controlling devices based on a detected gaze
US20150084864A1 (en) * 2012-01-09 2015-03-26 Google Inc. Input Method
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
SG11201406384QA (en) * 2012-04-13 2014-11-27 Sony Corp Wireless communication device, communication system, and communication method
KR101861380B1 (ko) * 2012-07-16 2018-05-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이를 이용한 컨텐츠 출력 방법 및 이를 위한 헤드 마운트 디스플레이
US20150193977A1 (en) * 2012-08-31 2015-07-09 Google Inc. Self-Describing Three-Dimensional (3D) Object Recognition and Control Descriptors for Augmented Reality Interfaces
US9426184B2 (en) * 2012-11-27 2016-08-23 Qualcomm Incorporated Dockee-centric wireless docking
US20140152538A1 (en) * 2012-11-30 2014-06-05 Plantronics, Inc. View Detection Based Device Operation
US9335547B2 (en) * 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
KR101845350B1 (ko) * 2013-03-26 2018-05-18 세이코 엡슨 가부시키가이샤 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
US10194478B2 (en) * 2013-05-01 2019-01-29 Lg Electronics Inc. Method and apparatus for performing wireless docking service

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7779193B2 (en) * 2007-08-03 2010-08-17 Intel Corporation Method and apparatus for external data transfer in a personal storage device
CN104102344A (zh) * 2013-04-15 2014-10-15 奥林巴斯株式会社 可佩戴装置及可佩戴装置的显示控制方法
US20140351480A1 (en) * 2013-05-23 2014-11-27 Samsung Electronics Co., Ltd. Method and apparatus for managing wireless docking network
CN103532982A (zh) * 2013-11-04 2014-01-22 祝贺 基于可穿戴设备授权的方法、装置和系统
CN103677631A (zh) * 2013-11-15 2014-03-26 北京智谷睿拓技术服务有限公司 信息交互方法及信息交互装置
CN103809751A (zh) * 2014-02-12 2014-05-21 北京智谷睿拓技术服务有限公司 信息共享方法及信息共享装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108810151A (zh) * 2018-06-15 2018-11-13 恒生电子股份有限公司 多系统间的对接适配方法、装置及存储介质和电子设备
CN108810151B (zh) * 2018-06-15 2021-05-25 恒生电子股份有限公司 多系统间的对接适配方法、装置及存储介质和电子设备
CN112019756A (zh) * 2020-10-06 2020-12-01 青岛天纵通信网络技术有限公司 一种基于5g的智能可穿戴设备的控制方法及系统

Also Published As

Publication number Publication date
EP3204837A1 (en) 2017-08-16
US20170242480A1 (en) 2017-08-24
EP3204837B1 (en) 2018-11-28
JP2017534974A (ja) 2017-11-24
BR112017006797A2 (pt) 2018-01-09
TW201624304A (zh) 2016-07-01
RU2017115844A (ru) 2018-11-12
TR201901086T4 (tr) 2019-02-21
CN107003739B (zh) 2020-10-27
JP6214828B1 (ja) 2017-10-18
RU2017115844A3 (zh) 2019-05-08
TWI728956B (zh) 2021-06-01
WO2016055317A1 (en) 2016-04-14

Similar Documents

Publication Publication Date Title
CN107003739A (zh) 对接系统
CN104520787B (zh) 头戴式计算机作为具有自动语音识别和头部追踪输入的辅助显示器
US9563272B2 (en) Gaze assisted object recognition
JP6298561B1 (ja) ヘッドマウントデバイスと通信可能なコンピュータによって実行されるプログラム、当該プログラムを実行するための情報処理装置、およびヘッドマウントデバイスと通信可能なコンピュータによって実行される方法
US8514326B2 (en) Information processing apparatus, information processing method, program, and information processing system
EP3454184B1 (en) Dual screen head mounted display
CN110851095B (zh) 虚拟和增强现实中的多屏幕交互
CN110691027A (zh) 一种信息处理方法、装置、电子设备及介质
CN109409244B (zh) 一种物体摆放方案的输出方法和移动终端
JP2013200793A (ja) 情報処理装置、情報処理方法およびプログラム
WO2015093130A1 (ja) 情報処理装置、情報処理方法およびプログラム
JPWO2018198318A1 (ja) コンピュータシステム、遠隔操作通知方法及びプログラム
WO2023064719A1 (en) User interactions with remote devices
JP2018200678A (ja) ヘッドマウントデバイスと通信可能なコンピュータによって実行されるプログラム、当該プログラムを実行するための情報処理装置、およびヘッドマウントデバイスと通信可能なコンピュータによって実行される方法
TWI638264B (zh) 應用於智慧型機器人的開機系統及其開機方法
KR20220066385A (ko) 노트 정보 표시 방법, 노트 정보 송신 방법 및 전자기기
KR20210129067A (ko) 상호작용 방법, 장치, 상호작용 장치, 전자 장치 및 저장 매체
CN110246001B (zh) 一种图像显示方法及终端设备
CN109033297B (zh) 一种图像显示方法及移动终端
KR20230168950A (ko) Gps 정보에 따른 시선 방향을 바탕으로 직관적인 컨트롤 환경을 제공하는 사용자 단말 및, 서버, 및 디스플레이 장치
CN115016721A (zh) 信息的展示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant