CN102812417B - 具有可由运动、身体姿势和/或口头命令控制的可拆卸附件的无线免提计算头戴式送受话器 - Google Patents

具有可由运动、身体姿势和/或口头命令控制的可拆卸附件的无线免提计算头戴式送受话器 Download PDF

Info

Publication number
CN102812417B
CN102812417B CN201180013748.XA CN201180013748A CN102812417B CN 102812417 B CN102812417 B CN 102812417B CN 201180013748 A CN201180013748 A CN 201180013748A CN 102812417 B CN102812417 B CN 102812417B
Authority
CN
China
Prior art keywords
user
input
headset
computing device
peripherals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180013748.XA
Other languages
English (en)
Other versions
CN102812417A (zh
Inventor
J·J·雅各布森
S·A·庞博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kopin Corp
Original Assignee
Kopin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/774,179 external-priority patent/US9235262B2/en
Application filed by Kopin Corp filed Critical Kopin Corp
Publication of CN102812417A publication Critical patent/CN102812417A/zh
Application granted granted Critical
Publication of CN102812417B publication Critical patent/CN102812417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Abstract

一种遥控微型显示设备，使用手部动作、身体姿势、头部动作、头部位置和/或口头命令以控制头戴式送受话器、外围设备、远程系统、网络或者软件应用，诸如用以控制用于与主机应用、外围设备或者主机系统关联的更大虚拟显示区域内的微型显示器的视野的参数。经由头戴式送受话器和/或经由一个或者多个外设端口连接到头戴式送受话器微型显示设备的可拆卸外围设备来检测动作和/或口头命令。

Description

具有可由运动、身体姿势和/或口头命令控制的可拆卸附件的无线免提计算头戴式送受话器
相关申请
本申请要求2010年2月2日提交的第61/300,611号美国临时申请(代理案号为0717.2102-000)和2010年5月5日提交的、标题为“RemoteControlofHostApplicationUsingMotionandVoiceCommands”的第12/774,179号美国申请(代理案号为0717.2098-001)的优先权。通过引用将上述申请的全部教导结合于此。
技术领域
本公开涉及使用具有用于容纳外设的集成底座的无线计算头戴式送受话器或者其他护目镜。更具体而言，容纳的外设接受多个接口输入，诸如地理位置、3轴到9轴自由度定向感测、大气传感器、健康状况传感器、GPS、数字罗盘(多轴磁力计)、压力传感器、能量传感器、光学传感器等、外设姿态(倾斜、滚动、偏航和原点)、手部运动、头部运动、用户姿势和/或口头命令，从而控制外设操作或者软件应用程序。
背景技术
本申请涉及人类/计算机接口并且更具体地涉及一种具有一个或者多个微型显示设备的无线计算头戴式送受话器，这些微型显示设备可以提供对附着的或者远程外围设备、系统和/或网络的免提遥控。使得无线计算头戴式送受话器以及附着的或者远程外围设备、系统和/或网络能够接收一个或多个输入，诸如地理位置、3轴到9轴自由度定向感测、大气传感器、健康状况传感器、GPS、数字罗盘(多轴磁力计)、压力传感器、环境传感器、能量传感器、光学传感器等、手部运动、头部运动、用户手势和/或口头命令，从而控制头戴式送受话器操作、外设操作或者在头戴式送受话器、外围设备、系统或者网络上执行的软件应用程序。
能够存储和显示大量高分辨率计算机图形信息并且甚至视频内容的小型便携电子设备继续越来越流行。这些设备，诸如AppleiPhoneTM，代表移动电话、便携计算机和数字媒体播放器之间的明显会聚趋势。(iPhone是加利福尼亚州库比蒂诺的苹果计算机公司AppleComputer，Inc.的商标。)尽管这些设备通常包括显示屏幕，但是在这样的设备中由于它们的物理尺寸限制而不能容易地复制高分辨率、大格式显示器的视觉体验。
因而专家和消费者现在正寻求一种用于增强他们的手持和桌面设备的高质量便携彩色显示器解决方案。近来开发的微型显示器可以提供很小外形规格的大格式高分辨率彩色图片和流视频。用于这样的显示器的一种应用是与熟悉的音频头戴式送受话器或者护目镜相似的、在用户的脸部或者头部附近佩戴的无线计算头戴式送受话器。“无线计算头戴式送受话器”设备包括一个或者多个小型高分辨率微型显示器和用于放大图像的光学器件。微型显示器可以提供超视频图形阵列(SVGA)(800x600)分辨率或者扩展图形阵列(XGA)(1024x768)或者甚至更高分辨率。“无线计算头戴式送受话器”包含一个或者多个无线计算接口，从而实现数据和流视频能力，向这样的设备提供更大便利性和移动性。关于涉及这样的设备的更多信息，参见以下共同未决专利申请：2009年1月5日提交的第12/348,648号美国申请，标题为“MobileWirelessDisplaySoftwarePlatformforControllingOtherSystemsandDevices”；以及2009年3月27日提交的第PCT/US09/39601号PCT国际申请，标题为“HandheldWirelessDisplayDevicesHavingHighResolutionDisplaySuitableforUseasMobileInternetDevice”，每份申请通过整体引用它们而结合于此。
发明内容
无线计算头戴式送受话器遥控微型显示设备使用输入设备，诸如头部跟踪加速度计、陀螺仪和/或磁力计、GPS、数字罗盘和/或相机，以结合可选的口头命令来检测头戴式送受话器位置、外设位置、运动、方向、高度、速度、动作(诸如头部动作、手部运动和/或身体姿势)，从而向头戴式送受话器、外围设备和/或在头戴式送受话器、外围设备、远程系统或者网络上运行的软件应用程序提供控制输入。在一个例子中，输入可以用来设置用于微型显示器的视野的参数，诸如与头戴式送受话器上的存储数据、外围设备上的存储数据、头戴式送受话器或者外设或者在头戴式送受话器、外围设备、远程系统和/或网络上运行的软件应用接收的数据或者视频流关联的更大虚拟显示区域内的视野的参数。可以用各种形式实施一个或者多个显示器，诸如实施为无线计算头戴式送受话器中的单目显示器、双目无线计算头戴式送受话器、头装式显示器(HMD)或者其他护目镜设备。
在一个优选实施例中，无线计算头戴式送受话器装置包括一个或者多个辅助接口底座以允许电的、无线和/或机械连接外围设备，诸如但不限于扬声器、显示器、地理位置、3轴到9轴自由度定向感测、大气传感器、健康状况传感器、GPS、数字罗盘、压力传感器、环境传感器、能量传感器、相机(可见光、红外线等)、附加无线射频、辅助照明、测距器等，这些外围设备可以通过传感器输入、位置、手部运动、身体姿势、头部动作和/或口头输入进行控制或者通过其来增强头戴式送受话器或者外围设备控制。底座可以优选地向外设提供电源。底座也可以被无线或者电连接以向位于外设、头戴式送受话器中的处理器或者经由有线或者无线连接向远程主机系统处理器提供外设检测到的传感器数据。处理器解译头戴式送受话器或者外设位置、动作、各种传感器、手部运动、身体姿势、头部动作和/或口头信号以向头戴式送受话器、外设、远程系统和/或软件应用程序提供命令。
本发明可以提供一种头戴式送受话器便携设备，其包括一个或者多个显示器，用于显示从本地处理器接收的可视信息。一个或者多个外设端口可以支持一个或者多个外围设备，外围设备提供一个或者多个外设输入信号，这些信号指示传感器输入或者指示用户运动和/或口头输入中的至少一项。本地处理器可以位于头戴式送受话器便携设备中并且还包括用于接收外设输入的一个或者多个接收器。转译器可以将来自一个或者多个外设端口的传感器信息、用户信息和/或口头输入转译成一个或者多个用户命令。通信接口可以向主机处理器转发用户命令以及从主机处理器接收答复。显示控制器可以响应于答复来转发将在一个或者多个微型显示器上显示的信息，该信息至少包括本地处理器已经处理用户命令的听觉和/或视觉确认。
在具体实施例中，一个或者多个外围设备可以包括用于从用户接收音频信号的一个或者多个麦克风。本地处理器还可以包括用于处理音频信号以产生口头命令的话音识别器。转译器还可以使用口头命令以确定主机命令。一个或者多个外围设备可以是运动检测器，并且运动检测器可以提供指示沿着两个或者更多轴的运动的两个或者更多运动输入。运动检测器也可以是用于检测用户的手部和/或身体姿势动作的相机。运动检测器也可以是用于检测用户的3轴直至9轴自由度头部动作的头部动作跟踪设备。通信接口可以是在头戴式送受话器便携设备与主机处理器之间的一个或者多个无线链路。用户命令可以由本地处理器处理以控制显示于微型显示器上的可视信息的呈现的方面。用户命令可以控制视野。用户命令可以控制缩放、平移或者比例因子。用户命令可以选择网页显示中的超链接项目。一个或者多个外设端口可以是到两个或者更多远程相机或者其他一个或者多个外围设备的无线接口。用户命令可以作为主机命令被转发到主机处理器。答复可以造成光标动作。
本发明也可以提供一种用于操作头戴式送受话器便携设备的方法，该便携设备具有微型显示器、一个或者多个外设端口、一个或者多个无线通信接口和本地处理器，该方法包括在微型显示器上显示从本地处理器接收的可视信息。一个或者多个外设端口可以用于支持用于检测来自用户的传感器和用户输入的一个或者多个传感器或者外围设备。可以将传感器和/或用户输入转译成用户命令。可以基于用户命令来控制头戴式送受话器、外围设备、远程主机系统或者呈现于微型显示器上的可视信息的至少一个方面。
在具体实施例中，可视信息的方面可以是视野。可视信息的方面也可以是缩放、平移、比例因子和/或3D效果。可以使用无线接口向主机处理器转发用户命令。用户输入可以是指示用户在两个或者更多轴中的运动的两个或者更多运动输入。用户输入可以是用于检测用户的手部动作或者身体姿势的相机。可以从用于检测和跟踪少至3个轴自由度或者多至9个轴自由度的头部动作和定位传感器得到用户输入。
附图说明
将从如附图中所示示例实施例的以下更具体描述中清楚前述内容，在附图中，相似标号在不同附图中全篇指代相同部分。附图未必按比例，代之以强调举例说明实施例。
图1A是示出了无线计算头戴式送受话器设备和使用手部姿势和/或头部动作以控制主机计算机、虚拟显示器和/或视野的人员的高级框图。
图1B是无线计算头戴式送受话器和外设部分的更具体视图。
图2是遥控设备和主机的高级框图，该框图图示了如何将口头、手部姿势和头部跟踪命令转译成键盘和鼠标命令。
图3A和图3B图示了口头和头部跟踪命令的组合如何操控虚拟显示器内的视野。
图4A和图4B是使用口头和头部动作命令的另一例子。
图5图示了使用口头和头部动作命令的网络浏览示例。
图6A和图6B是导航建筑绘图的另一示例。
图7A是包括屏幕命令和专用命令的典型命令的列表。
图7B图示了跟踪的头部动作和“BOLD(加粗)”口头命令如何可以用来与MicrosoftWord交互。
图8示出了丧失外围视觉的人员如何可以更有效地利用遥控显示设备。
图9是视野的中心部分如何可以暂时显示菜单以辅助这种视觉有限的人员的例子。
图10是图示了示例实施例的单目显示设备和主机计算设备的内部部件的简化示意框图，其中该单目显示设备和主机计算设备适于通过双向通信路径无线发送数据。
图11是图示了示例实施例的单目显示设备的内部部件的详细示意框图，其中单目显示设备通过BluetoothTM(蓝牙TM)连接接收内容。
图12是图示了示例实施例的单目显示设备的操作方法的流程图。
图13是示出了外设端口和扬声器的无线计算头戴式送受话器的另一视图。
图14是示出了安装于端口中的扬声器外设的视图。
图15示出了相机外设。
图16示出了第二显示外设。
图17示出了悬臂。
图18图示了通过多个传感器外设(诸如多个相机)进行控制。
具体实施方式
图1A示出了遥控无线计算头戴式送受话器设备100(这里也称为视频护目镜设备100)，该设备包括高分辨率(VGA或者更佳)微型显示元件140以及下文描述的其他特征。音频输入和/或输出设备包括一个或者多个麦克风输入和输出扬声器、地理位置感测、3轴到9轴自由度定向感测、大气传感器、健康状况传感器、GPS、数字罗盘、压力传感器、环境传感器、能量传感器、加速度、位置、姿态、运动、速度或者光学传感器、相机(可见光、红外线等)、附加无线射频、辅助照明、测距器等，和/或嵌入于头戴式送受话器中和/或经由一个或者多个外设端口(在图1中未具体示出)附着到设备的传感器阵列。通常还位于壳内的是各种电子电路，如很快将理解的，包括微计算机(单核或者多核)、一个或者多个有线和无线接口、关联存储器或者存储设备、各种传感器和一个或者多个外设底座，诸如“热靴插座(hotshoe)”。
可以用各种方式使用设备100。可以使用它作为用于远程主机计算设备200提供的流视频信号的远程显示器。主机200例如可以是膝上型计算机、蜂窝电话、黑莓、iPhoneTM或者比无线计算头戴式送受话器遥控设备100具有更少或者更大计算复杂性的其他计算设备。主机200还可以诸如通过到因特网的有线或者无线连接210连接到其他网络。设备100和主机200经由诸如由蓝牙WiFi、蜂窝、LTE、WiMax或者其他无线电链路150提供的一个或者多个适当的无线连接进行连接。
也可以使用设备100作为用于主机200的遥控。例如设备100可以允许用户在主机200上选择由虚拟显示器400限定的大得多的区域内的视野300。用户通常可以使用头部动作或者手部动作或者身体姿势或者以其他方式(诸如用口头或者语音命令)来控制视野300的位置、广度(例如X-Y或者3D范围)和/或放大率。无线计算头戴式送受话器设备100因此可以具有专门的用户输入外设和处理例如以用于平移和缩放并且控制显示器的视野。
如下电路也位于设备100内，这些电路如不久将理解的那样包括微计算机(单核或者多核)、一个或者多个无线接口、关联存储器或者其他存储设备、一个或者多个相机(光学传感器)和/或先前提到的各种传感器。相机、运动传感器和/或位置传感器用来跟踪用户的头部、手部和/或身体在至少第一轴111(水平)中、但是优选地还在第二(竖直)轴112、第三(深度)轴113、第四(倾斜)轴114、第五(滚动)轴115和第六(偏航)轴116中的运动和/或位置。可以添加3轴磁力计(数字罗盘)以向无线计算头戴式送受话器或者外围设备提供全9轴自由度定位精度。
如提到的那样，使用设备100作为用于主机计算机设备200的遥控。主机200可以例如是膝上型计算机、蜂窝电话、BlackberryTM(黑莓TM)、iPhoneTM或者比遥控设备100具有更少或者更大计算复杂性的其他计算设备。主机200还可以诸如通过到因特网的无线连接210而连接到其他网络。遥控100和主机200经由诸如由BluetoothTM(蓝牙TM)、WiFi或者其他短程无线链路150提供的适当无线连接进行连接。
根据下文将更具体说明的方面，遥控设备100允许用户选择由虚拟显示器限定的大得多的区域内的视野300。用户通常可以控制视野300的位置、广度(例如X-Y或者3D范围)和/或放大率。
尽管在图1A中示出的是用悬臂吊杆在用户的脸部上支撑的呈现单个固定显示元件的单目微型显示器，但是应当理解，用于遥控显示设备100的其他机械配置是可能的。
图1B是示出了设备100的更多细节的透视图。设备100主要包括框100、带1002、后段1004、扬声器1006、吊杆或者臂1008和微型显示子组件1010。
本公开感兴趣的是所示细节，其中设备100的与悬臂1008相反的一侧是外设端口1020。外设端口1020提供与一个或者多个附件外围设备(如下文具体说明的那样)的对应连接，因而用户可以将各种附件可拆卸地附着到设备100。示例端口1020提供机械和电附件底座，诸如热靴插座。配线例如通过后部分1004向设置于其中的电路输送来自端口1020的电信号。热靴插座1020可以与相机上的热靴插座很相似地操作，从而自动提供连接以向附件供电并且输送去往和来自设备100的外围扬声器1031的其余部分的信号。
各种类型的附件可以与端口1020一起用来向系统提供手部动作、头部动作和/或口头输入，这些附件诸如但不限于麦克风、位置、定向和其他先前描述的传感器、相机、扬声器等。
图2是示出了遥控显示器100、主机200和在它们之间行进的数据的更多细节的框图。遥控显示器100经由麦克风从用户接收口头输入，经由位置和定向传感器、相机或者光学传感器接收手部动作或者身体姿势，以及经由头部跟踪电路(诸如3轴到9轴自由度定向感测)接收头部动作。这些由远程设备100中的软件转译成键盘和/或鼠标命令，其继而通过蓝牙或者其他无线接口150被发送到主机200。主机200然后根据它自己的操作系统/应用软件来解译这些转译的命令以执行各种功能。这些命令之一是选择虚拟显示器内的视野300并且向远程设备返回所选屏幕数据。因此应当理解，很大格式的虚拟显示区域可以与在主机200上运行的应用软件或者操作系统关联。然而仅向遥控显示设备100返回并且由遥控显示设备100实际显示在视野300内的该大型虚拟显示区域的一部分。
图3A和图3B是其中主机200上的虚拟显示区域可以包括美国的详细地图的例子。用户起初可以在微型显示器140上看见整个虚拟显示区域、尽管分辨率降低。如图3A中所示，视野因此起初以低放大率将中心定位在中心光标点或者位置上，诸如在地图上的堪萨斯州劳伦斯(Lawrence，Kansas)处。用户然后移动他的头部或者做出手势以详细查看感兴趣的具体区域。手势可以是斜扫运动。头部动作可以是向左、然后向上或者可以是直线斜线移动至用户感兴趣的区域。例如用户现在可能对华盛顿州西雅图(Seattle，Washington)周围的区域感兴趣并且已经移动他的/她的头部至此。利用对应的口头命令(诸如“zoomin(放大)”)，如图3B中所示，然后放大所呈现的虚拟显示区域以在微型显示器上更详细地查看西雅图周围区域。这可以可选地始终在主机上仍然呈现原始的整个美国区域。
也有可能通过语音命令在原始的整个美国区域与西雅图周围区域之间来回切换。取而代之，切换可以是在任何两个缩放水平或者地图中的任何两个不同位置之间。
图4A和图4B是典型的主机计算机200可以如何被远程设备100控制的更具体视图。用户起初看见屏幕的中心部分并且可以选择两个模式之一：(a)移动光标模式或者(b)平移/缩放模式。用语音命令选择这些模式中的第一模式，用户可以使用手势或者头部动作以使光标在虚拟显示器内到处(左、右、上、下)移动。因此例如如图4A中所示，在视野原始居中于MicrosoftOutlook电子邮件窗口上时，用户在这一模式中可以使用手部或者头部动作以将光标定位于待读取的特定电子邮件消息之上。用户然后可以说出命令，诸如“SELECT(选择)”，以使电子邮件消息出现于显示窗格中。
然而，用户然后可以发出另一口头命令，诸如“SELECTPAN(选择平移)”，从而使屏幕移出以允许用户更好地看见屏幕的不同部分，诸如处于Outlook视窗后面的MicrosoftWord文档窗口的一部分。使用手部或者头部动作并且说出“SELECT(选择)”口头命令，用户然后可以改变视野，从而MicrosoftWord文档出现在前面。见图4B。
图5是使用手部或者头部动作和语音命令以使用网络浏览器来导航网页的类似示例。这里，用户可以选择移动模式并且使用手部或者头部动作以将光标定位于感兴趣的特定超链接。使用语音命令“SELECT(选择)”，然后激活所选超链接，例如“AboutUSPTO(关于USPTO)”。浏览器然后向前移向所选网页。
因此使用手部或者头部动作，用户可以从显示于网页上的多个超链接之中进行选择、然后使用口头命令来使该超链接被选择。手部/头部动作和口头命令的其他组合可以使网页上下滚动、前后翻页或者实现其他典型的网络浏览器命令。
图6A和图6B是使用遥控显示设备以查看建筑绘图的另一示例。虚拟显示区域在这一例子中是安装于大楼中的太阳能热水系统的绘图。用户已经在鼠标移动模式中拾取了感兴趣的特定管道310。用户然后可以用手部/头部动作沿着管道310的路径跟随管道310(例如跟随在“水箱”320与“集水器”330之间的路径)。例如通过简单地右移她的手部/头部，视野因此随着用户的手部/头部移动以将泵340和集水器330二者带入视野内而由此跟随感兴趣的管道段。
在这一模式中的动作速度可以由用户的手部动作的范围、剧烈程度或者相对量进行控制。例如用户可以用与在MicrosoftWindows操作系统内控制鼠标动作的比例大体相同的方式来控制引起光标和/或视野在虚拟显示器内的特定对应动作的手部动作的量。
图7A是通常可以在MicrosoftWindows环境中利用的典型口头命令的列表。这些包括屏幕命令，诸如光标上移、下移、左平移、右平移、上平移、下平移、放大、缩小、放大5倍、放大10倍等。口头命令也可以包括诸如“选择”、“后退”、“前进”或者其他专用命令，诸如“加粗”、“下划线”等这样的命令。
遥控设备也可以包括用于支持应用(诸如MicrosoftWord)的软件覆盖(overlay)。如图7B中所示，应用覆盖可以使用手部/头部动作和口头命令以选择文字区域710。接着，遥控设备100将口头命令“选择加粗”转换成Control-B命令。然后向主机200并且最终向MicrosoftWord发送这一Control-B以使所选文字710置于加粗字体中。
图8图示了使用遥控设备100以辅助视觉有损伤的人员的另一例子。大部分人具有需要诸如通过使用双焦距透镜进行矫正的视觉损伤。这些人往往近似和/或具有外围视觉损伤，从而仅在他们的视野中心的区域可以正确对焦。他们通常不能容易地使用诸如图1A中所示的头装式显示器。由于这一受限的能力，他们例如不能调整他们的双焦距以清晰看见微型显示器的全部，并且微型显示器140的边缘将出现失焦。这里描述的装置解放这样的用户以选择更大虚拟显示器内的视野、因此让他们具有更愉悦的体验。
如图8中所示，应用软件的主菜单通常横穿屏幕的顶部或者底部伸展。然而这些菜单区域对于尝试使用微型显示器140的视觉受限的人员而言经常可能失焦。
使用遥控显示设备100，可以代之以如图9中所示经由口头命令使主菜单出现于视野300的中心250。例如口令命令“调用主菜单”可以迫使命令主菜单754作为覆盖而出现于视野300的中心750处，而不是沿着视图300的顶部753与菜单栏752相邻。用户然后可以诸如经由更多口头或者手部/头部动作命令来选择菜单内的命令。在选择了命令之后，菜单然后消失从而允许再次查看底层信息。
现在可以理解，用户可以利用语音命令以将视野固定于虚拟区域内并且允许手部/头部动作以控制鼠标位置，或者用户可以使光标位置被固定并且允许视野在虚拟区域内到处平移和缩放。用户也可以控制多大程度的移动可以转译成特定鼠标或者平移/缩放命令，即，限定用于在更大虚拟显示器的背景内的动作的比例尺。
将远程设备用于网络浏览的独特方面是与头部动作命令结合使用口头命令以在网页中导航。
现在可以理解，仅需从主机200向设备100反馈主机计算机所呈现的虚拟显示器的一部分。因此例如仅需返回视野内的显示量。
图10图示了本无线计算头戴式送受话器设备100和示例主机计算设备225的非限制性示例实施例的简化框图。设备100包括连接到显示控制器400的微型显示元件140，该显示控制器可以是IntelTM、TexasInstrumentsTM或者AdvancedMicro-Devices(AMD)TM制造的数字信号处理器。控制器400连接到总线405，诸如外围部件互连(PCI)总线。在一个实施例中，微型显示器140可以代之以连接到视频图形芯片(未示出)，该芯片连接到总线405。
主机计算设备225包括中央处理单元(CPU)445、存储器，该存储器具有RAM450、ROM455并且也包括高速缓存存储器460。主机计算设备225还包括可以实施为组合式收发器的发送器465和接收器470。主机计算设备225还可以包括均连接到总线490(诸如PCI总线)的主显示器475和输入设备480。总线490也可以连接到有线宽带连接(未示出)、无线宽带连接485、DSL线、线缆调制解调器、媒体播放器、音乐或者视频播放器或者任何其他适当链路以接收内容。
设备100还可以包括存储器410，诸如随机存取存储器(RAM)415和只读存储器(ROM)420，该存储器保存可执行程序指令并且通过总线405向显示控制器400传送程序指令。优选地，设备100还包括发送器425和接收器430和/或组合式收发器9(未示出)，二者连接到总线405以形成与主机计算设备225的无线接口。发送器425和接收器430也通过总线405连接到显示控制器400以及接收用于控制显示控制器400的指令。
设备100还包括一个或者多个输入设备接口435，该接口可以提供去往可以由无线链路440无线连接到由接收器430接收的PCI总线405的无线鼠标、轨迹球或者键盘、或其他类似用户设备的接口。绕着X、Y和Z轴的横向和旋转头部动作姿势可以由3轴到9轴自由度定向传感器447、MIM二极管448、各种传感器449或者其他传感器/换能器进行检测。在一些实施例中，传感器447可以是霍尔效应传感器，并且传感器449可以是加速度计。位于设备100上的相机440也可以向CPU445提供指示手部动作和姿势的输入。相机440可以是向前瞄准的视频相机和/或能够检测手部动作和姿势的光学传感器。输入435、相机440、音频输入495和传感器447、448、449等可以控制设备100、主机计算设备225或者二者上的屏幕提示，其中设备100和主机计算设备225具有如在此处其他地方所期望的主/从联网关系。
相机440、音频输入496、3轴到9轴自由度定向传感器447、MIM二极管448或者各种传感器449中的任何部件可以嵌入于设备100中或者优选地经由先前结合图1B提到的一个或者多个外设端口1020可拆卸地附着到设备100。
显示控制器400向显示器140输出控制信号以显示图像。这允许设备100接收存储于主机计算设备225的高速缓存存储器460上的数据。当主机计算机225未使用或者关断时，在设备100上查看的数据来自高速缓存存储器460并且未被更新。与在主机计算设备225操作时相比，这一数据可能略微更旧并且未通过通信链路300a至300e来刷新。
取而代之，在又一示例实施例中，无线计算头戴式送受话器设备100可以在主机计算设备225开启、关闭或者节电状态(诸如睡眠或者休眠状态)中时，通过无线通信链路235来访问主机计算设备225。在这一实施例中，主机计算设备225以最小功率进行操作并且定期扫描来自单目显示设备100的即兴、自发的唤醒呼叫或者命令，以触发主机计算设备225中的低层命令以唤醒主机计算设备225并且向单目显示设备或者备选地向双目显示设备提供内容或者服务。主机计算设备225可以配置有预定输入/输出(I/O)端口，以便针对唤醒呼叫或者命令进行监视，该呼叫或者命令触发低层命令以唤醒主机计算设备225。端口包括适合于通过无线通信链路235来进行无线通信的以太网端口或者卡、WiFiTM端口或者卡、蜂窝端口或者卡或者蓝牙TM端口或者卡。这一端口也为单目显示设备100所知，从而可以由主机计算设备225适当发送和接收唤醒命令。
可以访问任何外部硬接线或者外部无线接口以允许MicrosoftWindowsSideShowTM小工具或者专门的软件应用访问来自休眠的主机计算设备225的数据。主机计算设备225监听特别地针对休眠的主机计算设备225以将其唤醒的特定地址号、名称或者命令。在主机计算设备225处接收命令会触发低层命令以唤醒主机计算设备225。一旦唤醒，主机计算设备225会供应无线计算头戴式送受话器设备100请求的任何以及所有信息和服务。
当完成传送时，无线计算头戴式送受话器设备100可以通过无线通信链路235向主机计算设备225发送命令。响应于接收到该命令，在主机计算设备225上运行的MicrosoftWindowsSideShowTM小工具或者专门的软件应用会触发系统层命令以使主机计算设备225例如重新进入休眠直至以后再次需要为止。也可以触发其他节电状态，包括睡眠和关闭。
无线计算头戴式送受话器设备100可以通过利用MicrosoftWindows7或者更晚OS或者专门的软件应用的能力而向用户提供许多益处。使用在主机计算设备上运行的MicrosoftWindows7、更晚OS或者专门的软件应用使得用户能够避免例如在移动或者旅行时必须携带PC225。用户(该用户的PC225在运行MicrosoftWindows7或者更晚OS或者专门的软件应用)可以从任何地方远程且自发地联系他们的PC225、由此即时接收所需要的主机计算设备225的信息内容和服务、然后让他们的PC25返回到休眠状态。
另外，通过允许用户无需让计算机在无照看时运行而又仍然向它们的用户提供对所有或PC信息、计算服务的立即访问以及用户在用户需要时对公司计算机资源的正常访问，设备100允许大量设施减少它们的计算机和附件功耗。它还减少一般PC维护、修理乃至在携带期间的损耗。另外，无照看运行PC的减少允许大量设施减少空调功率要求以冷却无照看PC并且允许无照看PC(甚至许多服务器)置于休眠直至需要它们之时。
设备100也允许PC用户不再需要等待他们的PC启动(例如每个启动循环为5-10分钟并非罕见)。无论PC与用户邻近(例如＜30英尺)并且通过BluetoothTM(蓝牙TM)无线命令、WiFiTM命令从休眠进行访问、还是通过蜂窝无线命令通过更大距离、甚至通过因特网接口，PC都在休眠并且准备好在被用户调用时触发进入动作。例如在工作日的上午或者恰在开始旅程之前启动PC之后，PC可以保持于休眠模式中并且在绝对必需或者用户希望之前无需再次启动。
另外，PC用户可以使用MicrosoftWindows7或者更晚OS或者专门的软件应用以提供对主机计算设备的储存器、内容、应用和服务的远程访问，并且可以远程操作而无需用户通过协议(诸如远程显示协议(RDP)和虚拟网络计算(VNC))和商用服务(诸如GoToMyPC)与主机计算设备交互。
图11提供了并入于设备100中的电子部件的更详细视图，该设备通过蓝牙连接来连接到主机计算设备225以接收数字视频信号。这些部件在共同未决专利申请中进行了详细描述：2009年1月5日提交、标题为“MethodAndApparatusForTransportingVideoSignalOverBluetoothWirelessInterface”的第12/348,627号美国申请，通过引用而结合于此。
在优选实施例中，无线计算头戴式送受话器设备100包括单核或者多核高级精简指令集计算机(RISC)机器(ARM)/数字信号处理器(DSP)512(该ARM/DSP可以是开放多媒体应用平台(OMAP)3500系列或者更新系列的处理器，其可以从德克萨斯州达拉斯的TexasInstruments获得)、存储器514、蓝牙接口516(该接口可以由来自英格兰剑桥的CambridgeSiliconRadio(CSR)的类别2蓝牙接口来提供)、显示驱动器519(该驱动器例如可以是来自马萨诸塞州韦斯特伯鲁的KopinCorporation的SDD1508显示驱动器)、视频电平移位器电路520、电池524支持的电源522、通用接收器发送器(UART)526(诸如可以用于调试)和存储器515。SecureDigital(SD)、eXtremeDigital(xD)、USBSD(uSD)存储器517或者其他类似接口可以用来存储应用程序、内核指令或者配置数据，和/或连接到诸如数字相机的设备。先前提到的多个输入设备530可以与设备(例如交换机1/交换机2/交换机3和重置输入)、相机546、3轴直至9轴自由度位置传感器547(这些传感器在一些实施例中可以是霍尔效应传感器)、MIM二极管548、各种传感器549(这些传感器在一些实施例中可以是加速度计、轨迹板和滚轮)和LED输出532(led1)相关联。也提供VGA或者更佳质量的微型显示元件140以及音频输入和输出设备560，其可以包括一个或者多个麦克风输入562和立体声输出564。
可以通过诸如使用串行端口简档(SPP)建立的BluetoothTM无线通信链路235之类的无线接口以从单目显示设备100向主机计算设备225发送视频信号，相对于使用“高级”蓝牙模式中的任何模式，这提供了比已经发现在本申请中并不需要的这种高级模式所施加的更高层协议更高的更大吞吐量。在BluetoothTM无线电516中，通过USB连接518向处理器512发送通过BluetoothTM连接接收的视频信号。一个设计考虑是在给定已知的数据缓冲器大小的情况下优化数据分组格式。在BluetoothTM无线电516内部是默认大小为1000字节的分组缓冲器。这可以被修改以迫使流视频信号仅使用约990字节的缓冲器大小。处理器512可以预计使用所谓基线简档或者更佳简档、利用H.264(运动图片专家组(MPEG)-4第10部分)格式化对接收的视频内容进行编码。
在一个优选实施例中，处理器512可以使用多任务嵌入式操作系统。处理器512可以对接收的视频信号操作如下。使MPEG格式的容器文件(例如.MP4文件)可用。在一个优选实施例中，这可以是专用文件格式，不过所选输入.MP4文件格式的具体细节在这里并不重要，只要处理器512被编程为正确处理它即可。处理器512然后打开通往主机计算设备225的通信端口并且通过USB接口518从BluetoothTM无线电516接收文件。
处理器512中的MP4解码器将文件剥离成相应的音频和视频流。更具体而言，处理器512将输入文件H.264压缩数字视频信号解码成YCbCr基带分量视频信号。处理器512也可以将关联的压缩音频(格式化为高级音频编码(AAC)格式信号)划分成基带立体声音频。
处理器512可以用任何适当格式(诸如8位国际电信联盟无线电通信部门(ITU-R)推荐BT.656或者具有单独同步信号的运动图片和电视工程师协会(SMPTE)293M16位YUV渐进扫描信号)向显示驱动器519输出视频。解压缩的视频信号然后通过处理器512的内部ARM总线进行转发。ARM总线然后经由SMPTE293M接口向显示驱动器519直接发送内容。智能接口控制器(I2C)接口547用来配置微型显示元件140。处理器512也向音频输出压缩/解压模块(CODEC)560输出基带音频。音频输出压缩/解压模块可以取得单声道或者立体声音频输入并且产生适当立体声输出信号。
图12是根据设备100的一个实施例的操作方法600的流程图。在第一步骤中，该方法开始(步骤605)。随后，设备100等待(步骤607)用户输入请求。这一输入可以是从输入设备输出的任何信号，诸如由MIM二极管、3轴至9轴自由度传感器或者加速度计检测到的单目显示设备的用户头部动作所生成的输出，或者来自检测手部运动或者姿势的相机的输出或者来自无线轨迹球、无线鼠标或者无线键区或者位于单目显示设备的壳上的按钮的输出。
在一个实施例中，使用操作系统(诸如MicrosoftWindowsCE6、MobileTM或者更晚操作系统)并且使用手势输入和口头命令，用户可以“双击”单目显示设备屏幕(例如图1A的微型显示元件140)上的图标以指示打开电子邮件消息或者打开应用。(关于具体例子，请参考图3A至图8的上文讨论。)随后，方法600响应于请求而尝试从内容源接收数据，并且该方法确定(步骤610)内容源是否位于单目显示设备上的存储器(例如图4的存储器410)中，诸如在相机输出上，或者源是否位于另一远程位置，诸如主机计算设备(例如图2的主机计算设备225)上。如果实际上本地存储数据(步骤612)并且无需无线链路，则访问本地存储器(步骤615)并且数据被配置成被取回和加载以用于随后显示在显示元件上。一旦方法600访问本地存储器(步骤615)，方法600就返回等待新用户输入请求(步骤607)。
然而，如果数据位于远程存储器上或者不在单目显示设备上的存储器中(步骤613)，则启动BluetoothTM连接或者其他先前描述的无线连接(步骤620)以获得所请求的数据(步骤607)。如先前所讨论的，也可以使用其他无线通信格式，并且本方法600仅用于示例目的。
可以激活设备的发送器(例如图10的发送器425)以询问主机计算设备并且向主机计算设备的接收器(例如图4的接收器470)发送初始配置信号(步骤625)。主机确定BluetoothTM信号是否被充分供电并且是从单目显示设备100接收的(步骤630)。一旦接收到信号，主机发送器(例如图10的发送器425)就使用第二预定信号向无线计算头戴式送受话器设备接收器(例如图10的接收器430)发送确认信号。如果未接收到信号(步骤632)，则无线计算头戴式送受话器设备继续询问主机(步骤625)。发送更强或者更有向的信号。如果主机计算设备正确接收到信号(步骤634)，则通过无线链路(例如图1A的无线链路150)形成双向通信数据路径(步骤635)。可以通过双向连接数据路径进行往来于设备(例如图1A的设备100和主机计算设备200)的上行和下行信号通信，本方法仅为示例，因为除了图6的非限制性方法之外还可以沿着无线链路发送各种诊断、工具应用程序和信号。
一旦形成双向通信数据路径(步骤635)，就可以从主机计算设备向无线计算头戴式送受话器设备传送多媒体数据文件。在一个非限制实施例中，通信路径的带宽的每秒比特数(bps)足以使得当在主机计算设备处操作MicrosoftWindows7或者更晚的操作系统时，主机显示输出屏幕(例如图10的主机显示器475)的图形输出在微型显示元件(例如图10的微型显示元件140)处实时可见，从而如果并排放置两个显示器，则光标动作基本上同时出现于两个屏幕上以实现在无线计算头戴式送受话器设备处对主机计算系统的远程操作。
显示控制器(例如图10的控制器400)向计算设备发送针对视频信号的请求(步骤640)。该请求被传送到总线450并且到发送器，然后通过链路进行发送。随后，无线计算头戴式送受话器设备确定是否以无线方式从主机计算系统接收到视频信号(步骤645)。如果无线地接收到信号(步骤647)，则无线计算头戴式送受话器设备请求音频(步骤650)。如果未以无线方式接收到信号(步骤648)，则无线计算头戴式送受话器设备返回发送另一请求(步骤640)。
显示控制器向主机计算设备发送针对音频信号的请求(步骤650)。音频和视频信号可以作为一个连续信号被发送，并且本公开不限于任何这样的两个信号的实施例。该请求被传送到总线(例如图10的总线405)、到发送器，然后通过链路进行发送。无线计算头戴式送受话器设备然后确定是否以无线方式从主机计算系统接收到音频信号(步骤655)。如果无线地接收到音频信号(步骤647)，则无线计算头戴式送受话器设备显示视频(步骤660)。如果未无线地接收到音频数据或者信号(步骤648)，则无线计算头戴式送受话器设备返回发送另一请求(步骤650)。
程序指令可以通过显示控制器使得无线计算头戴式送受话器设备在微型显示元件上显示视频(步骤660)并且使用音频设备(例如图10的音频输出设备495)来播放音频(步骤665)。随后发送针对又一输入信号的请求(步骤670)。然后确定处理是否完成(步骤675)。如果处理完成(步骤677)，则该方法结束(步骤680)。如果处理未完成(步骤678)，则等待又一用户输入请求。各种控制配置是可能的并且在本公开的范围内，并且当前配置仅用于示例目的，可以实现用于加密和解密主机计算或者其他外部计算设备格式的多个其他步骤。
头部动作(诸如沿着X、Y和Z轴的横向动作以及绕着X、Y和Z轴的旋转姿势)可以由3轴直至9轴自由度传感器447、MIM二极管448、传感器449或者内置于和/或附着到外设端口1020(图1B)的其他传感器/换能器进行检测。设备100也可以使用外部输入设备435，该输入设备可以是无线鼠标、轨迹球或者键盘、可以通过无线链路440无线连接到PCI总线405其他类似无线输入设备，PCI总线由接收器430接收。取而代之，输入设备435可以以有线方式(未示出)连接到总线405以向控制器400提供输入信号。输入设备435可以控制无线计算头戴式送受话器设备100、主机计算设备225或者二者上的屏幕提示，其中无线计算头戴式送受话器设备100和主机计算设备225具有主/从联网关系。
对于本公开而言重要的是设备100也包括允许可拆卸地附着和拆卸各种传感器外设的一个或者多个外设端口1020或者“热靴插座”。
图13示出了具有辅助扬声器1031的设备100的一个例子。利用这一所选附件，用户现在可以享受立体声音频。
图14是示出了佩戴于用户的头部1050上的设备100的透视图。这里再次示出了第二外设扬声器1032。
图15图示了可以置于端口1020中的另一类型的附件。这一附件是自备式相机(或者更早的运动传感器)组件1060。相机1060可以包括音频和视频感测和记录能力。如图16中所示，可以与“子弹式相机”类似地封装相机1060。它可以经由后段1004中的内置接线连接到设备100中的其余部件(如在先前描述的扬声器的情况下那样)或者可以经由BluetoothTM或者WiFiTM连接来无线连接。
可以是经由先前提到的头部动作跟踪的和/或口头命令的用户命令也可以由用户1050提供以操控相机1060的设置。例如用户口头命令(诸如“缩放”或者“平移”)可以由控制器400识别并且促使相机1060放大或者用长焦拍摄。
应当理解，相机1060可以未必是视频相机、但是也可以检测红外线、紫外线或者其他波长。相机1060也可以包括用户可调辅助光源。利用光源，相机1060也可以按照需要用作闪光灯而无相机部分。
通过利用3轴直至9轴自由度位置传感器，相机1060也可以具有内置图像稳定系统和/或动作跟踪机制，使得设备100或者附着的外围设备中的软件可以经由检测到的动作，尤其是在放大相机图像时，针对小振动、头部动作或者小相机动作来校正传入视频馈送。在这一配置中，设备100也可以以比仅用相机1060实际捕获的帧速率更高的帧速率进行操作。存在用于这样的相机1060外设的诸多应用。例如它可以置于年长者的头部上并且设备100可以识别和校正他们头部动作中由于通常随年龄而增加的自然人类稳定颤动所致的振动。这可以在使用设备100作为用于主机200的遥控时有助于光标动作的准确性。设备100也可以在承载于移动的车辆或者运输工具中经过粗糙表面时、在严酷天气中或者在恶劣环境(诸如未铺砖的道路)中用于针对振动来纠正显示器1010上的视图并且再次提供光标动作的更佳控制。
图16图示了其中外设是第二显示单元1100的一个实施例。设备100然后变成双目显示器并且提供其各种优点，例如提供虚拟双目3D影像。
图17图示了双目组件的一个实施例，其中可以在向上位置转动一对悬臂以允许用户将显示器和外围设备移出他们的视野。
图18图示了将外设端口1020用于控制连接到设备100的多个无线外设的另一用途。这些外设可以是连接到插入到一个或者多个端口1020的接口1088的相机1060和/或音频传感器系统。利用多个无线相机1060的设备100可以经由多个无线连接1200进行连接，而不是经由端口1020直接有线连接每个相机。具有对多个无线相机的集中控制可以提供可视和/或红外线检测的“振铃”。这允许用户例如步入黑暗房间并且放置多个无线红外线相机以在房间中进行监控。在另一例子中，用户100可以将单个相机1060置于机器的一侧上并且绕着机器行走以观测调整轮。
多个无线设备1060也可以具有用于提供环境噪声抵消并且因此提供改进的语音识别的麦克风。例如用户可以用正常音调向设备100上的麦克风说话，并且进入主机200的实际语音数据可以使用来自外设1060的更多输入来让环境噪声被抵消。多个麦克风因此提供噪声抵消功能。
用户也可以将远程相机1060置于某一位置中并且对设备100编程，使得它仅在远程无线相机1060检测到振动、环境音频、环境无线电信号、环境光改变、扫描的图像区域改变、各种传感器(诸如机器中的计量器上的针)检测到的信息时，接通并且向主机200报告。系统100或主机200继而可被编程以仅在检测到改变并且记录正发生时通知用户。
在另一应用中，多个无线相机1060可以遍布于不同远程位置。相机起初可以关停而仅激活音频麦克风。当检测到指定音频时，相机可以自动接通并且按照需要使无线流视频可用。在处于红外线波长的布置中，相机可以用来寻找热源，诸如其他人。
可移除外设和相机1060也可以具有内置激光测距器设备。测距器可以允许用户估计与对象的距离、计算在一段距离(诸如在施工地点或者在高尔夫路线上)等的区域测量。在其他模式中，激光测距传感器可以用来检测例如从玻璃窗格反射回的激光束以拾取振动、检测和再现一段距离处的其他物体的可听信息。
在又一用途中，外设1060可以包括LED或者激光发射器(未示出)。LED或者激光发射器可以用来通过口头或者姿势命令来暂时让在用户附近的其他人惊吓、致盲或者目眩。激光器可以针对宽或者窄区域和脉冲重复速率和/或聚焦光束能力或者以可见或者不可见频率发射进行编程。设备然后变成用于警方和安全人员的非常有价值的补充。
在更多其他实施例中，连接到端口1020的外设可以是无线蓝牙笔接口(未示出)，诸如烛龙(CandleDragon)提供的DotPenProTM。这种无线笔可以提供输入到设备100，这些输入提供空间和旋转方位信息。其也可以允许用户对数字文件、文档、图像、地图、图表、植物做出记号和评论并且存储在设备100或主机200上的存储器中。无线笔可以测量和施加用户向笔施加的压力以例如调整暗度或者灰度或者设置通过使用无线笔来虚拟捕获的虚拟线或者字母数字式文本。无线笔也可以控制色板、各种CAD图像纹理、线粗细、色阴影或者灰度，这些也可以在无线笔在使用时通过口头命令来个别选择。无线笔也可以用作鼠标以醒目显示设备100和主机200二者上的菜单中的域和/或无线笔可以输入命令。无线笔因此可以创建字母数字式文本、绘制的形状或者CAD渲染图以及修改和/或创建或者存储设备100中的和/或(经由遥控的)主机200的其他数字信息。无线笔生成的手写字母数字式文本可以转换成任何大小、间距或者字体的打字文本并且可以对接到在设备100或者遥控主机200上运行的字处理器或者图形图示软件。
尽管已经参考本发明的示例实施例具体示出和描述了本发明，但是本领域技术人员将理解可以对其做出形式和细节上的各种改变而未脱离所附权利要求涵盖的本发明范围。

Claims (19)

1.一种头戴式送受话器便携计算机，包括：
一个或者多个微型显示器，用于显示从本地处理器接收的可视信息；
运动检测器，用于检测用户的身体部分的物理移动并且将用户运动输入提供至所述本地处理器；
一个或者多个外设端口，用于支持一个或者多个外围设备，所述一个或者多个不同的外围设备提供一个或者多个外设输入信号或响应于用户命令，所述一个或者多个外设输入信号指示传感器输入，所述一个或者多个外围设备可移除地附接至所述外设端口；
所述本地处理器，位于所述头戴式送受话器便携计算机中并且还包括：
一个或者多个接收器，用于接收所述用户运动输入和所述外设输入信号；
转译器，用于将来自一个或者多个外设端口的用户运动输入和/或外围传感器输入转译成一个或者多个用户命令，所述一个或者多个用户命令控制所述一个或者多个外围设备或者可由主机计算设备执行；
通信接口，用于转发所述用户命令以控制在主机计算设备上运行的软件应用，并且用于从在所述主机计算设备上运行的所述软件应用接收答复；以及
显示控制器，用于响应于来自所述主机计算设备上运行的应用程序的所述答复来转发将在所述一个或者多个微型显示器上显示的信息，所述信息至少包括所述主机计算设备已经处理所述用户命令的听觉和/或视觉确认。
2.根据权利要求1所述的计算机，其中所述一个或者多个外围设备包括：
一个或者多个麦克风，用于从所述用户接收音频信号，并且其中所述本地处理器还包括：
话音识别器，用于处理所述音频信号以产生口头命令；并且
其中所述转译器还将所述口头命令转译为所述用户命令。
3.根据权利要求1所述的计算机，其中所述运动检测器提供指示沿着两个或者更多轴的运动的两个或者更多的用户运动输入。
4.根据权利要求1所述的计算机，其中所述运动检测器是用于检测所述用户的手部和/或身体姿势动作的相机。
5.根据权利要求1所述的计算机，其中所述运动检测是用于检测所述用户的3轴直到9轴自由度头部动作的头部动作跟踪设备。
6.根据权利要求1所述的计算机，其中所述通信接口是在所述头戴式送受话器便携计算机与所述主机计算设备之间的一个或者多个无线链路。
7.根据权利要求1所述的计算机，其中由所述本地处理器处理附加的用户命令以控制显示于所述微型显示器上的可视信息的呈现的方面。
8.根据权利要求7所述的计算机，其中所述附加的用户命令控制视野。
9.根据权利要求7所述的计算机，其中所述附加的用户命令控制缩放、平移或者比例因子。
10.根据权利要求7所述的计算机，其中所述附加的用户命令选择网页显示中的超链接项目。
11.根据权利要求1所述的计算机，其中所述一个或者多个外设端口是到两个或者更多远程相机或者一个或者多个其他外围设备的无线接口。
12.根据权利要求1所述的计算机，其中所述答复造成所述头戴式送受话器便携计算机本地的微型显示器上的光标动作。
13.一种用于操作头戴式送受话器便携计算机的方法，所述方法包括：
在微型显示器上显示从本地处理器接收的可视信息，所述微型显示器附接至所述头戴式送受话器便携计算机；
使用运动检测器检测用户的身体部分的物理移动以提供用户运动输入；
将一个或者多个外设端口用于支持多个不同类型的传感器或者外围设备以检测传感器输入，所述一个或者多个外围设备可移除地附接至所述一个或者多个外设端口；
在所述本地处理器处，所述方法还包括：
将所述传感器输入和/或用户运动输入转译成一个或者多个用户命令，所述一个或者多个用户命令控制所述一个或者多个外围设备或者可由主机计算设备执行；以及
基于所述一个或者多个用户命令控制所述一个或者多个外围设备、所述主机计算设备、呈现于所述微型显示器上的可视信息或在所述主机计算设备上运行的软件应用的至少一个方面，至少包括呈现所述主机计算设备已经处理所述一个或者多个用户命令的听觉和/或视觉确认。
14.根据权利要求13所述的方法，其中呈现于所述微型显示器上的所述可视信息的所述方面是从较大虚拟显示区域选择的视野。
15.根据权利要求13所述的方法，其中所述可视信息的所述方面是缩放、平移、比例因子和/或3D效果。
16.根据权利要求13所述的方法，还包括：
使用无线通信接口向主机处理器转发所述用户命令。
17.根据权利要求13所述的方法，其中所述运动输入指示所述用户在两个或者更多轴中的运动。
18.根据权利要求13所述的方法，其中所述运动输入由用于检测所述用户的手部动作或者身体姿势的相机提供。
19.根据权利要求13所述的方法，其中从用于检测和跟踪少至3个轴自由度或者多至9个轴自由度的头部动作和定位传感器得到所述用户输入。
CN201180013748.XA 2010-02-02 2011-02-01 具有可由运动、身体姿势和/或口头命令控制的可拆卸附件的无线免提计算头戴式送受话器 Active CN102812417B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US30061110P 2010-02-02 2010-02-02
US61/300,611 2010-02-02
US12/774,179 US9235262B2 (en) 2009-05-08 2010-05-05 Remote control of host application using motion and voice commands
US12/774,179 2010-05-05
PCT/US2011/023337 WO2011097226A1 (en) 2010-02-02 2011-02-01 Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands

Publications (2)

Publication Number Publication Date
CN102812417A CN102812417A (zh) 2012-12-05
CN102812417B true CN102812417B (zh) 2016-03-02

Family

ID=44341176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180013748.XA Active CN102812417B (zh) 2010-02-02 2011-02-01 具有可由运动、身体姿势和/或口头命令控制的可拆卸附件的无线免提计算头戴式送受话器

Country Status (3)

Country Link
US (1) US20140368412A1 (zh)
CN (1) CN102812417B (zh)
WO (1) WO2011097226A1 (zh)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2150950A1 (en) 2007-05-14 2010-02-10 Kopin Corporation Mobile wireless display for accessing data from a host and method for controlling
US8855719B2 (en) 2009-05-08 2014-10-07 Kopin Corporation Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands
WO2009120984A1 (en) 2008-03-28 2009-10-01 Kopin Corporation Handheld wireless display device having high-resolution display suitable for use as a mobile internet device
US9513718B2 (en) 2008-03-19 2016-12-06 Computime, Ltd. User action remote control
WO2010129679A1 (en) 2009-05-08 2010-11-11 Kopin Corporation Remote control of host application using motion and voice commands
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
US9122307B2 (en) 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US9316827B2 (en) 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
US9377862B2 (en) 2010-09-20 2016-06-28 Kopin Corporation Searchlight navigation using headtracker to reveal hidden or extra document data
CN109116985A (zh) 2011-05-10 2019-01-01 寇平公司 控制信息显示的方法
US8941560B2 (en) * 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
CN103018905A (zh) * 2011-09-23 2013-04-03 奇想创造事业股份有限公司 头戴式体感操控显示系统及其方法
US8977205B2 (en) * 2011-10-06 2015-03-10 Symbol Technologies, Inc. Head-mounted computer with peripheral expansion port
WO2013101438A1 (en) 2011-12-29 2013-07-04 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
US9141194B1 (en) 2012-01-04 2015-09-22 Google Inc. Magnetometer-based gesture sensing with a wearable device
US9035878B1 (en) 2012-02-29 2015-05-19 Google Inc. Input system
US8643951B1 (en) 2012-03-15 2014-02-04 Google Inc. Graphical menu and interaction therewith through a viewing window
JP6289448B2 (ja) 2012-04-25 2018-03-07 コピン コーポレーション 即時翻訳システム
US8929954B2 (en) 2012-04-25 2015-01-06 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
US9442290B2 (en) 2012-05-10 2016-09-13 Kopin Corporation Headset computer operation using vehicle sensor feedback for remote control vehicle
CN103914128B (zh) * 2012-12-31 2017-12-29 联想(北京)有限公司 头戴式电子设备和输入方法
WO2014107186A1 (en) * 2013-01-04 2014-07-10 Kopin Corporation Controlled headset computer displays
US9332580B2 (en) 2013-01-04 2016-05-03 Kopin Corporation Methods and apparatus for forming ad-hoc networks among headset computers sharing an identifier
US9301085B2 (en) 2013-02-20 2016-03-29 Kopin Corporation Computer headset with detachable 4G radio
US9681219B2 (en) * 2013-03-07 2017-06-13 Nokia Technologies Oy Orientation free handsfree device
US9280972B2 (en) * 2013-05-10 2016-03-08 Microsoft Technology Licensing, Llc Speech to text conversion
US20140375799A1 (en) * 2013-06-19 2014-12-25 Honeywell International Inc. Hands-Free User Interface for Security Systems
US10070211B2 (en) 2013-06-28 2018-09-04 Kopin Corporation Digital voice processing method and system for headset computer
CN103336579A (zh) * 2013-07-05 2013-10-02 百度在线网络技术（北京）有限公司 穿戴式设备的输入方法和穿戴式设备
US20150097759A1 (en) * 2013-10-07 2015-04-09 Allan Thomas Evans Wearable apparatus for accessing media content in multiple operating modes and method of use thereof
US10303242B2 (en) 2014-01-06 2019-05-28 Avegant Corp. Media chair apparatus, system, and method
US10409079B2 (en) 2014-01-06 2019-09-10 Avegant Corp. Apparatus, system, and method for displaying an image using a plate
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9629774B2 (en) 2014-01-14 2017-04-25 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9578307B2 (en) 2014-01-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10360907B2 (en) 2014-01-14 2019-07-23 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10024679B2 (en) 2014-01-14 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9915545B2 (en) 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
WO2015126987A1 (en) 2014-02-18 2015-08-27 Merge Labs, Inc. Head mounted display goggles for use with mobile computing devices
GR20140100195A (el) * 2014-04-07 2015-12-09 Μιλτο Λαζαρ Νανουσης Γυαλια ποντικι και πληκτρολογιο
DE202014101791U1 (de) * 2014-04-15 2014-04-29 Reiner Bayer Vorrichtung für Ereignisdarstellungen beim Duell-Schießen
US9959591B2 (en) * 2014-07-31 2018-05-01 Seiko Epson Corporation Display apparatus, method for controlling display apparatus, and program
US10024667B2 (en) * 2014-08-01 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable earpiece for providing social and environmental awareness
US10024678B2 (en) 2014-09-17 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
US9922236B2 (en) 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
USD768024S1 (en) 2014-09-22 2016-10-04 Toyota Motor Engineering & Manufacturing North America, Inc. Necklace with a built in guidance device
US9576460B2 (en) 2015-01-21 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device for hazard detection and warning based on image and audio data
US10490102B2 (en) 2015-02-10 2019-11-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for braille assistance
US9586318B2 (en) 2015-02-27 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Modular robot with smart device
US9677901B2 (en) 2015-03-10 2017-06-13 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing navigation instructions at optimal times
US9811752B2 (en) 2015-03-10 2017-11-07 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device and method for redundant object identification
US9972216B2 (en) 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
US9823474B2 (en) 2015-04-02 2017-11-21 Avegant Corp. System, apparatus, and method for displaying an image with a wider field of view
US9995857B2 (en) 2015-04-03 2018-06-12 Avegant Corp. System, apparatus, and method for displaying an image using focal modulation
US20180136891A1 (en) * 2015-07-30 2018-05-17 Shenzhen Royole Technologies Co., Ltd. Head-mounted electronic device
US9898039B2 (en) 2015-08-03 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Modular smart necklace
US10356407B2 (en) * 2015-11-20 2019-07-16 Facebook Technologies, Llc Display-side video decompression using quantization tables
US20170150138A1 (en) * 2015-11-25 2017-05-25 Atheer, Inc. Method and apparatus for selective mono/stereo visual display
US20170150137A1 (en) * 2015-11-25 2017-05-25 Atheer, Inc. Method and apparatus for selective mono/stereo visual display
CN106993243A (zh) * 2016-02-03 2017-07-28 深圳市汇顶科技股份有限公司 一种基于耳机的智能设备控制方法、装置及系统
US10024680B2 (en) 2016-03-11 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Step based guidance system
US9958275B2 (en) 2016-05-31 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for wearable smart device communications
CN107484424A (zh) * 2016-06-23 2017-12-15 深圳市柔宇科技有限公司 一种头戴式播放设备
US20180021021A1 (en) * 2016-07-19 2018-01-25 Neural Analytics, Inc. Headset apparatus
US10561519B2 (en) 2016-07-20 2020-02-18 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device having a curved back to reduce pressure on vertebrae
CN106598211A (zh) * 2016-09-29 2017-04-26 莫冰 一种基于多摄像头的可穿戴式头盔的手势交互系统及识别方法
US10432851B2 (en) 2016-10-28 2019-10-01 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device for detecting photography
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
US10521669B2 (en) 2016-11-14 2019-12-31 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing guidance or feedback to a user
CN106540444A (zh) * 2016-11-21 2017-03-29 上海健石智能科技有限公司 一种游乐场体感操作游戏头盔
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10172760B2 (en) 2017-01-19 2019-01-08 Jennifer Hendrix Responsive route guidance and identification system
CN108958457A (zh) * 2017-05-19 2018-12-07 宏碁股份有限公司 模拟携带式装置的感测信号的虚拟实境系统及其控制方法
KR20190012695A (ko) * 2017-07-28 2019-02-11 양재혁 태그 컨텐츠를 포함하는 정보를 공유하는 광고 방법 및 시스템
WO2019050520A1 (en) * 2017-09-07 2019-03-14 Hewlett-Packard Development Company, L.P. CONVERSION OF NON-VERBAL INSTRUCTIONS
EP3502835A1 (en) * 2017-12-20 2019-06-26 Nokia Technologies Oy Gesture control of a data processing apparatus
EP3531243B1 (en) * 2018-02-23 2021-12-29 Rohde & Schwarz GmbH & Co. KG Measurement instrument identification system as well as method for finding a particular measurement instrument
US11431038B2 (en) * 2019-06-21 2022-08-30 Realwear, Inc. Battery system for a head-mounted display
CN110531516A (zh) * 2019-07-12 2019-12-03 上海大学 一种头戴式眼动跟踪操作辅助的智能装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060061551A1 (en) * 1999-02-12 2006-03-23 Vega Vista, Inc. Motion detection and tracking system to control navigation and display of portable displays including on-chip gesture detection
JP2002032212A (ja) * 2000-07-14 2002-01-31 Toshiba Corp コンピュータシステムおよびヘッドセット型表示装置
US20020130818A1 (en) * 2000-12-27 2002-09-19 Viertl John R.M. Methods and systems for exchanging information, such as nondestructive evaluation data, between distributed users
US20060012884A1 (en) * 2004-07-13 2006-01-19 Snap-On Incorporated Portable diagnostic system with heads-up display
KR100594117B1 (ko) * 2004-09-20 2006-06-28 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
US7501995B2 (en) * 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
US20070265495A1 (en) * 2005-12-15 2007-11-15 Medivision, Inc. Method and apparatus for field of view tracking
WO2009120984A1 (en) * 2008-03-28 2009-10-01 Kopin Corporation Handheld wireless display device having high-resolution display suitable for use as a mobile internet device
JP5499854B2 (ja) * 2010-04-08 2014-05-21 ソニー株式会社 頭部装着型ディスプレイにおける光学的位置調整方法
US9319019B2 (en) * 2013-02-11 2016-04-19 Symphonic Audio Technologies Corp. Method for augmenting a listening experience

Also Published As

Publication number Publication date
WO2011097226A1 (en) 2011-08-11
CN102812417A (zh) 2012-12-05
US20140368412A1 (en) 2014-12-18

Similar Documents

Publication Publication Date Title
CN102812417B (zh) 具有可由运动、身体姿势和/或口头命令控制的可拆卸附件的无线免提计算头戴式送受话器
US8855719B2 (en) Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands
CN104520787B (zh) 头戴式计算机作为具有自动语音识别和头部追踪输入的辅助显示器
US9235262B2 (en) Remote control of host application using motion and voice commands
US10558353B2 (en) System and method for 360-degree video navigation
CN109863510A (zh) 冗余跟踪系统
US10521013B2 (en) High-speed staggered binocular eye tracking systems
US10832481B2 (en) Multi-screen interactions in virtual and augmented reality
EP2856284A1 (en) Head -worn computer with improved virtual display function
CN107846518A (zh) 一种导航状态切换方法、移动终端及计算机可读存储介质
CN110058754A (zh) 一种选项显示方法及终端设备
JP2018032440A (ja) 制御可能なヘッドセットコンピュータディスプレイ
US9640199B2 (en) Location tracking from natural speech
CN113365085A (zh) 一种直播视频生成方法及装置
CN104166929A (zh) 一种基于时空场景的信息推送系统和方法
CN109618278A (zh) 一种定位方法及移动终端
US20150220506A1 (en) Remote Document Annotation
KR102420166B1 (ko) 맞춤형 네트워크 전송 정보 퀄리티 조정 방법 및 시스템
CN112954480B (zh) 数据传输进度的显示方法和数据传输进度的显示装置
CN115357112A (zh) 一种基于5G技术的vr远程教育装置
KR20190053447A (ko) 터치스크린을 통한 문자입력 서비스를 제공하는 이동통신 단말기의 제어방법 및 가상현실에 기반한 그림지도를 이용하는 메신져서비스를 제공하는 이동통신 단말기의 제어방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant