CN103620527A - 使用动作和语音命令来控制信息显示和远程设备的头戴式计算机 - Google Patents
使用动作和语音命令来控制信息显示和远程设备的头戴式计算机 Download PDFInfo
- Publication number
- CN103620527A CN103620527A CN201280031144.2A CN201280031144A CN103620527A CN 103620527 A CN103620527 A CN 103620527A CN 201280031144 A CN201280031144 A CN 201280031144A CN 103620527 A CN103620527 A CN 103620527A
- Authority
- CN
- China
- Prior art keywords
- wear
- computing machine
- camera
- input
- headwork
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title description 9
- 230000000007 visual effect Effects 0.000 claims description 19
- 239000000725 suspension Substances 0.000 claims description 9
- 230000002093 peripheral effect Effects 0.000 abstract description 15
- 230000005855 radiation Effects 0.000 abstract description 5
- 230000000903 blocking effect Effects 0.000 abstract 1
- 230000005043 peripheral vision Effects 0.000 abstract 1
- 210000003128 head Anatomy 0.000 description 20
- 230000006870 function Effects 0.000 description 13
- 230000004886 head movement Effects 0.000 description 9
- 230000009471 action Effects 0.000 description 6
- 230000003321 amplification Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000003199 nucleic acid amplification method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 206010038743 Restlessness Diseases 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005538 encapsulation Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 244000078534 Vaccinium myrtillus Species 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000014616 translation Effects 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 244000287680 Garcinia dulcis Species 0.000 description 1
- 230000005355 Hall effect Effects 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 235000003095 Vaccinium corymbosum Nutrition 0.000 description 1
- 235000017537 Vaccinium myrtillus Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 235000021014 blueberries Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000000162 simple eye Anatomy 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
- G05D1/0016—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
- G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G05D1/223—
-
- G05D1/224—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
Abstract
一种无线免手动的便携式头戴式计算机，其具有布置在接近穿戴者的眼睛但是在眼睛之下的微型显示器，该微型显示器在外围视觉区域中而不阻挡穿戴者的主视线。头戴式计算机可以显示图像或者图像的部分，其中该部分可以被放大。头戴式计算机还可以配备有外围设备，诸如光源和相机，其可以分别发出和检测可见光和不可见辐射，诸如红外辐射和紫外辐射。穿戴者通过语音命令或者通过姿势可控制外围设备。头戴式计算机还可以划分为组件部分，组件部分可附接至个人穿戴的另一产品，诸如头盔或者呼吸面罩。
Description
相关申请
本申请要求于2011年5月10日提交的美国临时专利申请序列号61/484,464的权益。
在此通过引用并入上述申请的全部教导。
技术领域
本申请涉及人/机接口，并且更特别地涉及可穿戴头戴式计算机，该可穿戴头戴式计算机接受语音命令、跟踪手部姿势和/或检测头部运动，以便向在头戴式计算机和/或外围设备内运行的控制软件提供输入。
背景技术
能够存储和显示大量高分辨率计算机图形信息和视频内容的小的便携式电子设备继续变得越来越流行。诸如苹果iPhoneTM、谷歌AndroidTM和其他智能手机的设备展现了移动电话、便携式计算机和数字媒体播放器之间的融合趋势（iPhone是苹果电脑公司的商标，并且Android是谷歌公司的商标）。虽然这些智能电话通常包括显示屏，但是因为手持式形式因素中物理大小限制，无法容易地再现高分辨率、大幅面显示的视觉体验。
提供相对于智能电话改进的功能的其他设备具有各种名称，诸如具有嵌入式计算机处理器的头戴式计算机、视频眼镜、头戴式显示器等等。这些设备包括在面部和/或头部上穿戴的框架或者其他支持机制，类似于一副眼镜和/或耳机。框架容纳用于向穿戴者呈现电子图像所需的小的高分辨率微型显示器、光学镜片和其他组件。头戴式计算机中的电路可以包括显示器驱动器、无线接口和全功能个人计算机系统。对于与此类头戴式计算机有关的其他信息，参考在2009年3月27日提交的名称为“Handheld Wireless Display DevicesHaving High-Resolution Display Suitable for Use as a Mobile InternetDevice”的PCT国际申请号PCT/US09/38601的相应专利申请，在此通过引用并入其全部内容。
还在以下文献中进一步描述了此类设备：在2010年2月2日提交的名称为“Head Mounted Video Eyewear With Accessory Mount”的美国申请号61/300,611；在2010年5月5日提交的名称为“RemoteControl Of Host Application Using Motion And Voice Commands”的美国申请号12/774,179；在2009年5月8日提交的名称为“RemoteControl Of Host Application Using Tracking And Voice Commands”的美国申请号61/176,662；在2009年8月28日提交的名称为“RemoteControl Of Host Application Using Motion And Voice Commands”的美国申请号61/237,884；在2008年1月8日提交的名称为“MonocularDisplay Device”的美国申请号12/008,104，在此通过引用其整体而并入其中每一个的内容。
发明内容
一种头戴式计算机包括：微型显示器；多个输入设备，诸如头部跟踪加速计和/或相机，用于检测诸如头部运动、手部动作和/或姿势的运动；以及音频处理电路，用于检测语音命令。这些输入提供对于头戴式计算机本身和/或与头戴式计算机相关联的外围设备内运行的应用程序的控制和操作。
在一个实现中，从位于头戴式计算机内的传感器接收语音、头部动作和/或手部姿势输入。继而根据语音、头部动作和/或手部姿势输入来确定到3-D虚拟空间的视野。可以通过头戴式计算机设备本地的处理器和/或远程处理器来维护表示3-D虚拟空间的数据。3-D虚拟空间包含表示一个活多个图形对象的数据。图形对象可以包括各种元素，诸如计算机桌面、应用窗口、数字图像、照片、3-D模型或者其他图像数据。语音、头部动作和/或手部姿势输入可以确定用于将视点确定到3-D虚拟空间中的视野和缩放因子二者。基于视野和缩放因子来确定从3-D虚拟空间中选择的图像数据，并且继而将其在微型显示器上呈现。
手部姿势、头部动作和/或语音命令不仅可以用于设置视野和缩放因子，还可以用于选择3-D虚拟空间内的若干图形对象中的哪个用于在微型显示器上整体地或者局部地呈现。由此，通过使用这些输入命令，头戴式设备的穿戴者可以通过大幅面3-D空间进行导航，并且完全控制在微型显示器上看到3-D空间的哪些部分。
头戴式计算机还可以包括光源和相机。可以通过输入命令来操纵光源和相机的光谱特性，以便提供合成视觉功能。特别地，通过相机来检测光源照亮的场景，并且转而在微型显示器上呈现。光源和相机优选地在包括红外线、近红外线、紫外线、短波红外线或者其他不可见波长的光谱的不可见电磁部分中操作。以这种方式，头戴式计算机的佩戴者能够观看光谱的不可见部分中的场景。
语音、头部动作和/或手部姿势可以控制光源和相机的操作波长、来自光源的辐射的强度、相机的敏感度或者微型显示器上的合成视觉功能的呈现的其他方面。
光源还可以用于确定测距信息。特别地，光源可以发射高精度光，诸如激光。继而可以通过相机或者能够确定对于光的往返时延的其他传感器来检测由对象对光的反射。头戴式计算机继而可以确定到物理空间中的一个或多个点的测距。这不仅可以提供到给定对象的测距，还可以提供例如两个对象之间的距离。在确定到不止两个点的距离的情况下，可以估计空间的体积。
可以将头戴式计算机封装以便与诸如头盔的头戴装置相配合。在一个实现中，处理器和其他电子组件可以安置在第一壳体中，第二壳体可以在吊杆上承载微型显示器，并且第三壳体可以包括电源。继而可以在各个壳体之间提供一个或多个信号和/或电力连接器。壳体单独地可附接至头戴装置，并且从头戴装置可拆卸。这允许将头戴式计算机加装到头盔或者由安全人员、安保人员和军事人员习惯穿戴的其他头戴装置上。这继而消除了他们适应于在其头戴装置内部或者顶部完全聚集的头戴式设备的需要。在特定实施方式中，用于微型显示器和/或处理器的壳体可以包括噪声消除电路，该噪声消除电路可以辅助诸如呼吸器设备等的噪声环境中的操作。
头戴式计算机还可以控制远程载具，并且接收和显示从远程载具上的相机返回的图像。源自语音、头部动作和手部姿势输入的控制命令可以用作相关联载具的远程控制。在其他实施方式中，控制命令可以改变位于载具上的相机的位置和/或其他操作特性。从远程载具上的相机返回的图像信息可以在微型显示器上显示。
头戴式计算机的穿戴者因此可以如同其是乘坐载具的微型驾驶员一样，来体验使用远程载具、操作载具、同时看到在微型显示器上显示的载具周围的场景。头戴式计算机与载具之间的无线接口可以用于检测用于该载具的控制命令。
控制命令还可以控制安装在载具上的控制装置，诸如负载和要通过载具运输的其他设备。在某些方面，语音命令可以生成用于载具的复杂命令，诸如“返回基地”、“在特定高度盘旋”等。
附图说明
在如附图中所示的本公开的示例实施方式的下文更为具体描述中，上述内容将变得易见，贯穿不同视图，相似的参考符号是指相同的部分。附图未必是按比例的，重点在于示出各个实施方式。
图1示出了实现在此描述的若干功能的头戴式计算机。
图2绘出了可以利用语音、头部动作或者手部姿势来操纵的到3-D虚拟空间的视口。
图3A和图3B绘出了合成增强视觉模式和测距模式。
图4A和图4B更加详细地示出了合成视觉模式，图4A是光源关闭的黑屏幕，图4B是光源开启时的视图的场景。
图5A和图5B示出了头戴式计算机的组件单独地附接至头盔的实现。
图6示出了可与头戴式计算机一起使用以控制诸如载具的另一设备的无线操纵杆和鼠标控制器。
图7A、图7B和图7C示出了可以通过操作其上包含的组件的头戴式计算机来控制的载具的多个示例。
图8示出了与头戴式计算机一起使用的无线操纵杆。
图9是头戴式计算机的更详细视图。
图10是由头戴式计算机执行的功能的高层框图。
图11是头戴式计算机的组件的更加详细的框图。
具体实施方式
图1示出了在人的头部穿戴的头戴式计算机100。头戴式计算机100也被称为具有嵌入式计算机的视频眼镜、头戴式显示器（HMD）或者各种其他名称。在该示例中，头戴式计算机100包括装置、处理器和控制微型显示器120上的对象的呈现和外围设备的软件。微型显示器120可以被容纳在显示器壳体125中，该显示器壳体125由附接至框架140的吊杆132所支持。框架140可以附加地包含壳体150，用以容纳其他电子组件；在此处所示的示例中，壳体150定位在穿戴者头部的后部。一个或多个扬声器135向穿戴者的耳朵递送音频信号，并且类似地，一个或多个麦克风137包含在壳体125中和/或包含在检测音频信号的其他区域中。诸如相机160的外围设备可以附接至外围端口165。头戴式计算机100例如也可以通过穿戴者头部上的带子170来支持。
如下文结合图9、图10和图11详细解释的，头戴式计算机100是完全包含的个人计算机系统，该个人计算机系统包括一个或多个数据处理器，用于在微型显示器120上生成图像并且执行其他功能。位于头戴式计算机100中的处理器能够解译语音命令、（诸如通过相机）检测穿戴者160的手部运动和/或通过加速计或者其他动作传感器来检测穿戴者的头部运动。这些输入继而被解译为对头戴式计算机100和/或远程设备的命令，头戴式计算机诸如可以通过无线接口与远程设备进行通信。
到3-D虚拟空间的视口
由头戴式计算机100执行的一个功能是提供到3-D虚拟空间的图形视口和/或窗口。图形视口确定在微型显示器120上呈现哪些信息。以这种模式，例如，穿戴者的头部的运动可以将3-D虚拟空间的不同部分带入到微型显示器120上的视图中。
图2示出了其中的某些细节。此处，相对于虚拟3-D空间300示出了穿戴者200。虚拟3-D空间300具有位于其中的多个窗口310、320、330、340、350，这些窗口由头戴式计算机100或者外部主机内的处理器来维护。然而，仅将一个窗口340以无阴影方式示出，以指示其是活跃窗口。其他窗口310、320、330和350示出为灰色的。由此，虽然3-D虚拟空间中存在其他这些窗口，但是穿戴者200不会看到整个3-D虚拟空间，而是，用户200仅在微型显示器120上看到窗口340（或者更典型地，该窗口的选定部分）。窗口340可以是简单的视口，该视口到例如窗口化操作系统中的图形窗口。在此处示出的示例中，图形对象是数字地图图像，并且穿戴者正在查看地图的仅一部分而不是整个地图。
可以理解，3-D虚拟空间可以包括各种元素，诸如计算机桌面、应用窗口、照片、3-D对象模型或者任何其他类型的数字图像对象。还应当理解，这些图像对象可以在3-D虚拟空间中彼此相邻、覆盖或者前后或靠近而定位。
用户可以通过使用头戴式计算机100给出命令，而操纵各种图像对象。在一个示例中，用户可以要求放大对象之一内感兴趣的特定区域的一定水平。可以通过跟踪头部动作、语音命令和/或手部姿势，来选择窗口区域的位置和大小。例如，用户可以指定要应用于特定应用软件窗口的位置和放大和/或变焦水平。结果类似于使用放大镜跨越大区域无缝地观看某些事物，不同之处在于通过使用头部跟踪器/姿势检测器/语音输入检测，并且确定以什么放大水平来放大正在微型显示器120上看到的区域。由此，使用这一特征，用户可以将其头部向左、向右、向上或者向下移动，并且继而选择图像对象300、310、320到340中的一个特定图像对象被激活。在一个示例中，用户200可以从图2中所示的位置，将他的头转到右边。这一动作继而将产生新的窗口330，并且继而成为活跃窗口，窗口340继而被解激活。
用户200还可以发布命令，用以保持其希望放大的大图像片，冻结屏幕上的该部分，并且将其放置在一边，并且继而返回并且观看该图像的另一区域，或者甚至请求针对其他区域的另一水平的放大。以这种方式，用户可以以不同的放大水平来观看图像的相同部分，和/或以不同的放大水平观看较大图像的不同点或者片，并且继而简单地通过将其头部向左或者向右、向上或向下移动而在其之间进行切换。
在又一示例中，穿戴者可以发布语音命令来操纵3-D虚拟空间中各个图像对象的位置。例如，穿戴者例如可以通过移动其头部而选择图像对象，但继而发布诸如“向上移动对象”或者“将对象A移动到对象B后方”的语音命令。这使得头部跟踪器继而控制所选择的图像对象在3-D虚拟空间内的相对位置，而不是允许他在3-D空间内的给定单个对象之中导航。
应当理解，穿戴者200由此访问虚拟桌面，该虚拟桌面可以按照可以在3-D虚拟空间中呈现的任何形式因素，即，穿戴者200可以在围绕其头部的360°表面中工作，或者可以具有如下印象：他正在长景深的3-D空间中工作。
在另一示例中，用户200可以将他的头部转到左下方，从而使得窗口350变得活跃。该窗口可以是诸如引擎的对象的3-D模型。用户继而可以使用语音、头部跟踪和/或手部姿势命令来操纵该3-D模型，用以操纵3-D空间中的视点。穿戴者还可以发布命令用以操纵模型本身，诸如说“水平旋转对象90°”，从而使得马达的表示在3-D空间中旋转。
微型显示器120上的显示图像的视图不需要用户物理上定向为如同其正以任何特定方向观看一样。例如，用于可以远程地观看如可以在房间的墙壁上投影的、落座或站立的位置虚拟生成的任何图像，但是穿戴者可以自己物理地面向其他位置，诸如躺下。
免手动（hands-free）合成视觉
图3A和图3B示出了头戴式计算机100提供的其他模式和功能。在该示例中，诸如光源195的发射器位于头戴式计算机100内，通常在与相机160相同的小壳体内。如果相机1600和光源195的波长是协调的，从而使得相机对由光源发射的相同波长敏感，则可以产生合成视觉功能。例如，光源可以是红外或者紫外的，并且如果相机类似地在这些波长区域中灵敏，则所产生的来自相机的图像可以在微型显示器120上看到。头戴式计算机100中的处理器不仅可以使得图像由相机捕获、并且直接在微型显示器120上观看，而且还可以存储在存储器中和/或向远程系统或者显示器发送。
使用头戴式计算机100，穿戴者由此可以体验组合了合成视图的免手动合成视觉，合成视图例如示出个人的热签名或者墙壁或者其他障碍物的其他侧面上的对象的远红外视图。其示例在图4A和图4B中示出。当光源195关闭时，微型显示器上的图像是完全空白的。然而，当光源195打开时，红外相机拾取红外辐射，并且看到否则不可见的图像。使用头戴式计算机100，利用集成的红外光源和相机，穿戴者继而能够在黑暗环境中看到微型显示器120上的内容，但是其本身仍然无法被那些仅依赖于自然的非增强景象的看到。场景中的个人350不能够检测到穿戴者的存在，因为来自光源的红外照明对于肉眼是不可见的。
如图3B所示，光源还可以包括激光测距仪198。激光198可以通过用户移动其头部和/或使用语音命令来引导。测距仪可以用于各种功能，诸如发现到物理空间中的对象的距离，确定两个物体之间的相对距离。在后一示例中，用户可以将其头部朝向一个对象，并且测量到第一对象的距离，并且继而移动其头部，否则将使激光瞄准第二对象。用户继而可以要求头戴式计算机100求解其位置与两个对象之间的三角方程，从而估计两个对象之间的距离。
在又一示例中，可以通过穿戴者将激光瞄准三个或者更多个点，并且要求头戴式计算机计算出其之间的距离来估计空间的体积。在使用诸如调查或者材料估计时，这些功能可能是有用的。现在，可以在不需要穿戴者实际移动的情况下、或者通过使用除了内置到头戴式计算机100中的激光测距仪之外的测量实现来实现。
对头盔可改装的组件
图5A和图5B示出了改装到现有头戴装置上的以特定方式封装的头戴式计算机100的另一示例。在这种实现中，头戴式计算机电子设备（包括外围设备，诸如相机和电池电源）、主处理器等可以被封装到一个组件壳体502中，并且具有集成的光学/视觉/音频部分的吊杆被封装为另一组件壳体501。组件501、502单独地可附接至用户熟悉的现有的头戴装置。在所示的该示例中，头盔500可以具有两个VelcroTM平板，电子组件502附接至一个平板VelcroTM，并且电池503独立地封装并且附接至其他VelcroTM平板（Velcro是Velcro公司的商标）。吊杆元件501诸如经由机械夹具或者紧固件也附接至头盔；吊杆当然包括集成的微型显示器和麦克风。布线系统可以将微型显示器和吊杆501连接至电子设备502和电池503。吊杆501可以固定和/或栓接到头盔的左侧或右侧，这取决于用户的偏好，也取决于用户可能操作的其他设备。
相机、激光器和其他外围设备也可以安装到头盔500上。代替穿戴者在头盔之下佩戴专用耳机，该封装解决方案可以实现头戴式计算机功能，而用户不必适应于新的头戴装置。另外，对特定类型的头戴装置（诸如呼吸器）的操作不受影响。如果装载的电子设备还提供噪声消除，则可以改善该特定最终使用。例如，如果穿戴者正在使用呼吸器，则呼吸器常常会制造很多背景噪声，这种背景噪声将会干扰语音输入或者声音录制。装载电子设备可以包括噪声消除电路或者程序，其消除呼吸器的背景噪声。类似的解决方案可以用于消除其他背景噪声，以允许语音或者其他声音的更清楚的录制。
头戴式计算机控制远程载具，接收和显示来自和去往远程载具的图像
在另一实现中，从位于头戴式计算机100内的传感器接收的语音、头部动作和/或手部姿势输入可以用于导出远程控制命令。该控制命令继而可以通过无线接口发送以控制远程载具机器人或者其他对象。在这一最终使用中，输入设备还可以包括无线操纵杆和/或鼠标用以提供用于控制载具的其他输入。
在一个示例中，对头戴式计算机的语音输入可以生成用于控制载具的路径的控制命令。语音命令，诸如“向右转”、“向左转”、“前行”、“后退”、“停止”等等可以包括在头戴式计算机100的处理能力中。类似地，头部跟踪输入可以生成用于控制载具的路径，或者更通常地，用于控制载具上的相机的方向的控制命令。以这种方式，用户可以获得其物理地位于载具上的体验。这通过使得载具上的相机优选地无线地向头戴式计算机传输回视频来实现。在远程载具处接收的视频继而可以在头戴式计算机内的显示器上显示。
在另一示例中，诸如图6所示的无线手持式控制器610可以与头戴式计算机100一起使用，以便更加自然地控制载具620的路径位置、姿态和/或方向。
使用这一布置，人可以控制诸如无人飞行载具（图7A）、无人地面载具（图7B）或者玩具（图7C）等等的载具。这消除了现有技术中利用需要几乎全部用户注意力和双手来操作的可视游戏类型的控制器来简单地操作远程载具620的问题。通过与可以获得头部动作、语音和手部跟踪命令的可穿戴的头戴式计算机100相结合地使用无线操纵杆，头戴式计算机的控制和电子处理能力可以授予任何人控制权，诸如军人、警察、消防员或者工业工人，来以简单和自然的方式控制一个或多个远程系统或者载具620。
在不存在单独的用户输入设备的情况下，头戴式计算机100上的相机可以检测用户的手部姿势作为控制输入。穿戴者还可以给出话音命令，以便给予载具特定命令。例如，如果穿戴者说“冻结”，其可以由头戴式计算机检测到，说出的命令继而被翻译为一个或多个命令用以控制无人飞行载具的飞行路径，停止一切事项，仅是悬停或者围绕当前的感兴趣点遵循圆形飞行路径。
在其他示例中，诸如“返回基地”的语音命令可以使得载具遵循复杂的编程飞行路径。另一示例可以是“在特定高度盘旋”，其可以使得载具通常遵循围绕其当前位置的地理稳定的圆形。这可以缓解用户不得不乏味地经由手持式控制器持续地提供命令。
其他的语音命令和手持式命令可以用于控制载具的能力、性能和/或行进路径的其他方面。
在一个实施方式中，载具620本身包含相机，该相机向头戴式计算机100无线地传输回视频输出。向头戴式计算机输送返回的视频继而在微型显示器120上显示。穿戴者的头部运动和/或姿势继而可以以自然的方式用于控制远程载具上的相机的位置、姿态、摇镜头、变焦、放大、光谱敏感度或者其他能力。用户的头部运动继而可以通过头戴式计算机100的装载的电子设备来跟踪，并且通过头戴式计算机翻译为被发送回无人载具的相机的命令。作为示例，如果穿戴者向左看，则该动作被头戴式计算机的头部跟踪器检测到，被翻译为相机“向左移动”命令。该“向左移动”命令继而被无线地发送至远程载具，使得远程载具上的相机向左摇镜头。
通过从载具返回视频流，并且将其显示在微型显示器上，可以给予穿戴者如同其是无人飞行载具内的微型飞行员的体验。
在另一功能中，用户例如可以使用话音命令来控制载具本身可能包含的其他外围设备。诸如图8所示的无人飞行载具可以携带负载，诸如要在远程位置降下的相机或者其他传感器。载具能够递送的这些负载、武器或者其他对象可以由头戴式计算机100的用户来控制。对这些负载的控制可以不考虑载具本身被命令做什么而实现。
系统描述
图9示出了无线头戴式计算机100（也称为视频眼镜设备100），其包括高分辨率（VGA或更佳）微型显示器元件和下文描述的其他特征。头戴式计算机100通常包括很多不同类型的集成电路，包括微处理器（单核或者多核）、一个或多个无线接口、相关联的存储器或者其他存储设备、一个或多个相机（光学传感器）和/或各种传感器。这些传感器可以包括音频输入和/或输出设备，诸如一个或多个麦克风输入和输出扬声器，传感器可以包括地理位置感应、3轴到9轴自由度的方向传感器（诸如数字磁力计）、气压传感器、能量传感器、加速、位置、姿态、动作、速率或者光学传感器以及相机（可视、红外灯）。诸如附加无线电、辅助照明、测距仪等，和/或传感器的阵列可以嵌入和/或附接到设备。而且，通常位于设备100内的是诸如“热靴插座”（图9中未示出）的一个或者多个外围安装座，以用于安装诸如相机或者附加传感器的光学附件。相机、动作传感器和/或传感器用于跟踪用户的头部、手部和/或身体在至少第一轴111（水平）上的动作和/或位置，但是优选地，轴还包括第二（垂直）、第三（深度）轴、第四（倾斜）轴、第五（滚动）轴和第六（摇摆）轴。
头戴式计算机设备100可以按照多种方式使用。其可以用作完全包含的、头盔式全功能便携式个人计算机/智能电话，其具有通过短距和/或长距无线链路到外部计算机和网络的全部连接，无线链路诸如蓝牙、WiFi、蜂窝、LTE、WiMax或者其他无线电。
设备100还可以用作远程显示器，用于流式传输由远程主机提供的视频信号。主机例如可以是膝上型计算机、蜂窝电话、黑莓、iPhoneTM、或者比设备100本身具有较小或者较大计算复杂度的其他计算设备。主机继而向设备100提供要显示的信息。设备100和主机经由一个或多个适合的无线连接来连接，无线连接诸如由蓝牙WiFi、蜂窝、LTE、WiMax或者其他无线电来提供。主机本身还可以连接到其他网络，诸如通过有线或者无线连接而连接到因特网。
虽然图9中示出了利用悬臂式吊杆在用户的面部支持的表示单个固定显示器元件的单眼微型显示器，但是应当理解，用于各种视频眼镜设备100的其他机械配置也是可能的。
在图9的实现中，头戴式计算机100一般包括框架1000、带子1002、后部1004、扬声器1006、悬臂或臂1008和微型显示器部件1010。在设备100的与悬臂1008相对的一侧是外围端口1020。外围端口1020向一个或多个外围设备提供相应的连接，所以用户可以可拆卸地将各种附件附接到设备100。作为示例，端口1020提供机械和电气附件安装座，诸如热靴插座。线路通过后部1004将来自端口1020的电信号运载到其中布置的电路。热靴插座1020可以如同相机上的热靴插座一样操作，自动地提供连接以便为附件供电，并且运载去往和来自设备100的其他部分的信号。各种类型的附件由此可以与端口1020一起使用，以便向系统提供手部运动、头部运动和/或声输入，诸如但不限于麦克风、位置、方向和其他先前描述的传感器、相机等。
图1是在用户的头部上穿戴的头戴式计算机100的视图，其中附件1060放置在热靴端口1020中。该附件1060是独立相机（或者其他动作传感器）部件。相机1060可以在类似于“子弹相机”的封装中包括音频和视频感应二者、录制和发光能力。其可以通过以下方式连接到设备100中的其余组件：在后部1004中内置布线（如在先前描述的扬声器的情况下），或者可以经由BluetoothTM或者WiFiTM连接而无线地连接。相机1060可以不必是视频相机，还可以是红外、紫外或者其他波长。相机1060还可以包括用户可调节的辅助光源。利用光源，相机1060还可以在不激活相机部分的情况下用作所需要的光源。
以各种方式将对设备100的相机、动作跟踪和音频输入解译为用户命令，用以控制本地处理器、微型显示器或者外部主机的操作。
也可以由用户1050提供头部运动跟踪和/或声命令以便操纵相机1060的设置。例如，可以由本地处理器识别用户声命令，诸如“变焦”或者“摇镜头”，以使得相机1060放大或者摄远。
图10是更加详细地示出设备100、可选主机200以及其间传输的数据的框图。设备100经由麦克风接收音频信号输入，经由位置和方向传感器、相机或者光学传感器来接收手部运动或者身体姿势，经由头部跟踪电路（诸如3轴到9轴自由度方向传感器）来接收头部运动输入。通过设备100本地的处理器中的软件将这些翻译为命令。继而，通过设备100内部的处理器解译这些命令，用以控制微型显示器上的信息的呈现、或者诸如外围或者远程载具的其他对象的方面。还可以通过蓝牙或者其他无线接口150向主机200发送命令。主机200继而根据其自己的操作系统/应用软件来解译这些翻译的命令，以执行各种功能，或者将信息返回至设备100。在一个示例中，设备100和/或主机200维护其中存储图形对象的3-D虚拟空间。
在可以在本地处理器和/或远程主机200上执行的命令之中，一个命令是用于选择虚拟显示内的视野300。由此，应当理解，非常大幅面的虚拟显示区域可以与设备100或者主机200上运行的操作系统或者应用软件相关联。然而，仅返回视野内的大虚拟显示区域的一部分，并且通过由语音、手部姿势或者头部动作命令选择的远程控制显示设备120来实际地显示。
图11是头戴式计算机设备100的非限制性示例实施方式的简化高层框图。系统电子设备可以放置在适当位置（诸如后部1004）的框架上或其中，并且包括开放媒体应用平台（OMAP）作为本地处理器4110、功率/音频组合芯片4102、显示驱动器4104、头部跟踪器电路板4106和无线LAN/蓝牙接口4108。电源也位于壳体中，诸如锂离子电池4200。
设备100也可以包括eye pod部件4000，其包括上述微型显示器4010（例如，图2A的微型显示器1010和吊杆1008）、以及一个或多个麦克风4020。一个或多个扬声器4030位于接近用户的耳朵的HMD壳体耳机（图9中的项目1006）中。头部跟踪器电路4106可以包括用于确定由设备100中的传感器检测到的头部运动和姿势的电路，诸如使用霍尔效应传感器、MIM二极管、加速计、陀螺仪和/或三极管、或者上文提到的其他传感器而检测到的、沿着X轴、Y轴和Z轴的横向运动和围绕X轴、Y轴和Z轴的旋转姿势。
设备系统100还可以从外部输入设备接收输入，外部输入设备诸如无线鼠标、轨迹球或者键盘，其可以通过蓝牙接口4108无线地连接。
WLAN/BT前端4108、OMAP4100和/或主机200中的软件可以用于解译由相机或者其他传感器检测到的手部姿势。相机板4060也可以可选地提供视频输入。
OMAP处理器4100可以包括中央处理单元和片上存储器（诸如随机存取存储器（RAM）），片上存储器可以包括非易失性存储器和/或只读存储器（ROM）。OMAP可以是由德州仪器公司销售的德州仪器型号OMAP3530处理器或者更新版本，并且使用多媒体处理器。OMAP4100通常可以执行嵌入式系统，诸如操作
的特定版本。OMAP4100是一般比WLAN/BT接口4108更加强大并且更加耗电的处理器。
在该示例中，同样从德州仪器可得的TPS65950功率/音频组合芯片向系统提供音频、USB、小键盘控制和电池充电功能。
WLAN/BT接口4108可以是型号LBEE1W8NEC接口电路（诸如从英国剑桥的CSR公司可得的蓝牙电路）或者具有类似或者较大能力的其他音频模块。
显示器驱动器可以是从马萨诸塞州韦斯特伯勒市的Kopin公司可得的型号KCD-A910显示器驱动器。
从Kopin公司可得的微型显示器4010可以包括型号CyberDisplay230K、WQVGA、VGA、WVGA、SVGA或者其他制造商的可接受的微型显示器。
NCS模块4400采用原始麦克风信号数据作为输入，并且输出去除了背景噪声的音频数据。其产生去往音频组合芯片4102以及从其到OMAP处理器4100的音频信号。使用由NCS4400馈送的经清理的麦克风信号，在OMAP处理器4100上的软件中执行语音识别。
通过引用在此提及的所有专利、公开申请和参考的教导而并入其全部内容。
虽然本公开已经描述了若干示例实施方式，但是本领域技术人员可以理解，在不脱离由所附权利要求包括的本发明的范围的情况下，可以在形式和细节上做出各种改变。
Claims (29)
1.一种由头戴式计算机设备内安置的一个或多个处理器执行的方法，包括：
从远程处理器接收图像数据；
从位于所述头戴式计算机内的传感器接收语音、头部动作和/或手部姿势输入；
根据所述语音、头部动作和/或手部姿势输入来确定到三维（3D）虚拟空间的视口；
根据视野和缩放因子从所述图像数据中选择图像部分；以及
在所述头戴式计算机内安置的微型显示器上呈现所述图像部分。
2.根据权利要求1所述的方法，还包括：
维护所述3D虚拟空间内的多个图形对象的表示。
3.根据权利要求1所述的方法，还包括：
与安置在所述头戴式计算机设备外部的主机处理器通信，以便维护所述3D虚拟空间内的多个图形对象的表示。
4.根据权利要求2所述的方法，还包括：
检测头部动作以在所述3D虚拟空间内移动所述视野。
5.根据权利要求2所述的方法，还包括：
检测语音输入以在所述3D虚拟空间内移动所述视野。
6.根据权利要求2所述的方法，其中所述图形对象是从包括应用窗口、数字图像等的组中选择的。
7.一种由安置在头戴式计算机设备内的一个或多个处理器执行的方法，包括：
根据由位于所述头戴式计算机内的传感器检测到的语音、头部动作和/或手部姿势输入，来操作位于所述头戴式计算机内的光源；
根据由位于所述头戴式计算机内的传感器检测到的语音、头部动作和/或手部姿势输入，来操作位于所述头戴式计算机内的相机；
所述光源和所述相机在不可见波长处操作；以及
在安置在所述头戴式计算机内的微型显示器上显示图像数据。
8.根据权利要求7所述的方法，其中所述光源和所述相机在红外（IR）或者紫外（UV）波长处操作。
9.根据权利要求7所述的方法，还包括：
根据所述语音、头部动作和/或手部姿势输入来确定视野和缩放因子；以及
根据所述视野和所述缩放因子而从所述图像数据中选择将在所述微型显示器上被呈现的图像部分。
10.根据权利要求7所述的方法，还包括：
接收语音、头部动作和/或手部姿势输入，并且响应于所述输入，控制用于所述光源和所述相机的操作波长。
11.根据权利要求7所述的方法，还包括：
接收语音、头部动作和/或手部姿势输入，并且响应于所述输入，控制从所述光源发射的强度。
12.根据权利要求7所述的方法，还包括：
接收语音、头部动作和/或手部姿势输入，并且响应于所述输入，控制所述相机的敏感度。
13.根据权利要求7所述的方法，其中所述光源是激光测距仪，并且所述响应包括测距信息。
14.根据权利要求7所述的方法，还包括：
确定针对至少两个点的测距信息；
根据所述测距信息来确定所述两个点之间的距离信息；以及
在所述微型显示器上显示所述距离信息。
15.根据权利要求7所述的方法，其中所述测距信息是针对多个点而确定的，并且还包括：
确定由所述多个点限定的空间的体积信息；以及
在所述微型显示器上显示所述体积信息。
16.一种头戴式计算机系统，包括：
用于处理器的第一壳体；
用于微型显示器的第二壳体；
用于电源的第三壳体；
所述第一壳体、所述第二壳体以及所述第三壳体之间的一个或多个信号和电力连接；以及
用于将所述第一壳体、所述第二壳体和所述第三壳体分离地附接至头戴装置以及从所述头戴装置分离的紧固件。
17.根据权利要求16所述的系统，其中所述头戴装置是头盔。
18.根据权利要求16所述的系统，其中所述紧固件附加地包括挂钩和环紧固件。
19.根据权利要求16所述的系统，其中所述第一壳体还容纳噪声消除电路。
20.根据权利要求16所述的系统，其中所述第二壳体还包括用于支持所述微型显示器的吊杆。
21.一种由头戴式计算机设备内安置的一个或多个处理器执行的方法，包括：
从远程载具接收图像数据；
从位于所述头戴式计算机内的传感器接收语音、头部动作和/或手部姿势输入；
根据所述语音、头部动作和/或手部姿势输入来确定控制命令；以及
向所述远程载具发送所述控制命令。
22.根据权利要求21所述的方法，其中所述控制命令控制位于所述载具上的相机。
23.根据权利要求22所述的方法，还包括：
响应于发送所述控制命令，
从位于所述远程载具上的所述相机接收图像数据；
在安置在所述头戴式计算机内的微型显示器上呈现所述图像数据。
24.根据权利要求21所述的方法，其中所述控制命令控制所述载具的操作。
25.根据权利要求24所述的方法，其中所述语音输入生成用于控制所述载具的路径的控制命令。
26.根据权利要求25所述的方法，其中头部动作输入生成用于控制所述载具上的所述相机的控制命令。
27.根据权利要求26所述的方法，其中所述控制命令控制所述相机的位置、姿态和/或方向。
28.根据权利要求27所述的方法，还包括：
从手持式控制器接收输入；以及
根据所述手持式控制器输入来确定用于控制所述载具的路径的命令。
29.根据权利要求28所述的方法，其中所述语音输入生成使得所述载具和所述相机保持在固定位置的悬停命令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810876856.3A CN109116985A (zh) | 2011-05-10 | 2012-05-10 | 控制信息显示的方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161484464P | 2011-05-10 | 2011-05-10 | |
| US61/484,464 | 2011-05-10 | ||
| PCT/US2012/037284 WO2012154938A1 (en) | 2011-05-10 | 2012-05-10 | Headset computer that uses motion and voice commands to control information display and remote devices |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810876856.3A Division CN109116985A (zh) | 2011-05-10 | 2012-05-10 | 控制信息显示的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103620527A true CN103620527A (zh) | 2014-03-05 |
| CN103620527B CN103620527B (zh) | 2018-08-17 |
Family
ID=47139660
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810876856.3A Pending CN109116985A (zh) | 2011-05-10 | 2012-05-10 | 控制信息显示的方法 |
| CN201280031144.2A Active CN103620527B (zh) | 2011-05-10 | 2012-05-10 | 使用动作和语音命令来控制信息显示和远程设备的头戴式计算机 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810876856.3A Pending CN109116985A (zh) | 2011-05-10 | 2012-05-10 | 控制信息显示的方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (3) | US10627860B2 (zh) |
| EP (1) | EP2712432A4 (zh) |
| CN (2) | CN109116985A (zh) |
| WO (1) | WO2012154938A1 (zh) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104407766A (zh) * | 2014-08-28 | 2015-03-11 | 联想(北京)有限公司 | 一种信息处理方法和穿戴式电子设备 |
| CN104967816A (zh) * | 2015-06-15 | 2015-10-07 | 广州杰赛科技股份有限公司 | 智能穿戴设备及应急监控系统 |
| CN105786167A (zh) * | 2014-12-26 | 2016-07-20 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN106249847A (zh) * | 2015-07-21 | 2016-12-21 | 深圳市拓丰源电子科技有限公司 | 一种基于头戴式设备实现远程控制的虚拟增强现实系统 |
| CN106540444A (zh) * | 2016-11-21 | 2017-03-29 | 上海健石智能科技有限公司 | 一种游乐场体感操作游戏头盔 |
| CN106664393A (zh) * | 2014-07-31 | 2017-05-10 | 索尼公司 | 信息处理装置、信息处理方法以及图像显示系统 |
| WO2017084158A1 (zh) * | 2015-11-20 | 2017-05-26 | 广州亿航智能技术有限公司 | 摄像设备指向方位控制装置 |
| CN107211195A (zh) * | 2015-02-12 | 2017-09-26 | 日商可乐普拉股份有限公司 | 使用头戴显示器的内容视听用的装置和系统 |
| CN107454947A (zh) * | 2016-09-26 | 2017-12-08 | 深圳市大疆创新科技有限公司 | 无人机控制方法、头戴式显示眼镜及系统 |
| CN107637066A (zh) * | 2015-05-12 | 2018-01-26 | 三星电子株式会社 | 使用可穿戴装置的远程控制方法和装置 |
| CN108028910A (zh) * | 2015-09-25 | 2018-05-11 | 索尼公司 | 信息处理设备、信息处理方法与程序 |
| CN108292489A (zh) * | 2015-11-20 | 2018-07-17 | 索尼互动娱乐股份有限公司 | 信息处理装置和图像生成方法 |
| CN108351643A (zh) * | 2015-10-30 | 2018-07-31 | 索尼移动通讯有限公司 | 用于受心率控制的无人机的方法和装置 |
| CN109144245A (zh) * | 2018-07-04 | 2019-01-04 | Oppo（重庆）智能科技有限公司 | 设备控制方法及相关产品 |
| CN109564428A (zh) * | 2016-07-29 | 2019-04-02 | 日本电气方案创新株式会社 | 移动物体操作系统、操作信号发送系统、移动物体操作方法、程序和记录介质 |
| CN109582141A (zh) * | 2018-11-23 | 2019-04-05 | 华为技术有限公司 | 根据眼球焦点控制显示屏的方法和头戴电子设备 |
| CN109844694A (zh) * | 2017-06-15 | 2019-06-04 | 腾讯科技（深圳）有限公司 | 使用集线器连接两个不同环境的系统和方法 |
| CN109937394A (zh) * | 2016-10-04 | 2019-06-25 | 脸谱公司 | 用于虚拟空间中的用户交互的控件和界面 |
| US10474418B2 (en) | 2008-01-04 | 2019-11-12 | BlueRadios, Inc. | Head worn wireless computer having high-resolution display suitable for use as a mobile internet device |
| US10522145B2 (en) | 2016-03-01 | 2019-12-31 | Sony Corporation | Information processing apparatus and information processing method |
| US10627860B2 (en) | 2011-05-10 | 2020-04-21 | Kopin Corporation | Headset computer that uses motion and voice commands to control information display and remote devices |
| CN111781725A (zh) * | 2020-06-28 | 2020-10-16 | 浙江华消科技有限公司 | 消防机器人的声控眼镜、遥控方法和消防控制系统 |
| US10901499B2 (en) | 2017-06-15 | 2021-01-26 | Tencent Technology (Shenzhen) Company Limited | System and method of instantly previewing immersive content |
| CN113805653A (zh) * | 2021-08-27 | 2021-12-17 | 瑞欧威尔(上海)智能科技有限公司 | 一种ai头戴式计算机 |
| US11467572B2 (en) | 2016-07-29 | 2022-10-11 | NEC Solution Innovations, Ltd. | Moving object operation system, operation signal transmission system, moving object operation method, program, and recording medium |
| CN113805653B (zh) * | 2021-08-27 | 2024-04-23 | 瑞欧威尔(上海)智能科技有限公司 | 一种ai头戴式计算机 |
Families Citing this family (113)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8855719B2 (en) * | 2009-05-08 | 2014-10-07 | Kopin Corporation | Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands |
| US9235262B2 (en) * | 2009-05-08 | 2016-01-12 | Kopin Corporation | Remote control of host application using motion and voice commands |
| US10180572B2 (en) | 2010-02-28 | 2019-01-15 | Microsoft Technology Licensing, Llc | AR glasses with event and user action control of external applications |
| US20120249797A1 (en) | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
| WO2011106797A1 (en) | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Projection triggering through an external marker in an augmented reality eyepiece |
| US20150309316A1 (en) | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
| US8587719B2 (en) * | 2010-04-19 | 2013-11-19 | Shenzhen Aee Technology Co., Ltd. | Ear-hanging miniature video camera |
| US9122307B2 (en) | 2010-09-20 | 2015-09-01 | Kopin Corporation | Advanced remote control of host application using motion and voice commands |
| US9316827B2 (en) | 2010-09-20 | 2016-04-19 | Kopin Corporation | LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking |
| US10013976B2 (en) | 2010-09-20 | 2018-07-03 | Kopin Corporation | Context sensitive overlays in voice controlled headset computer displays |
| WO2012125596A2 (en) | 2011-03-12 | 2012-09-20 | Parshionikar Uday | Multipurpose controller for electronic devices, facial expressions management and drowsiness detection |
| US8810598B2 (en) | 2011-04-08 | 2014-08-19 | Nant Holdings Ip, Llc | Interference based augmented reality hosting platforms |
| WO2013033954A1 (zh) | 2011-09-09 | 2013-03-14 | 深圳市大疆创新科技有限公司 | 陀螺式动态自平衡云台 |
| US8848940B2 (en) * | 2011-10-06 | 2014-09-30 | Symbol Technologies, Inc. | Modular headset computer |
| DE102011054848B4 (de) * | 2011-10-27 | 2014-06-26 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Steuer- und Überwachungseinrichtung für Fahrzeuge |
| WO2013101438A1 (en) | 2011-12-29 | 2013-07-04 | Kopin Corporation | Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair |
| EP2842055B1 (en) | 2012-04-25 | 2018-06-27 | Kopin Corporation | Instant translation system |
| US9417660B2 (en) | 2012-04-25 | 2016-08-16 | Kopin Corporation | Collapsible head set computer |
| US8929954B2 (en) | 2012-04-25 | 2015-01-06 | Kopin Corporation | Headset computer (HSC) as auxiliary display with ASR and HT input |
| US9442290B2 (en) * | 2012-05-10 | 2016-09-13 | Kopin Corporation | Headset computer operation using vehicle sensor feedback for remote control vehicle |
| US9747306B2 (en) * | 2012-05-25 | 2017-08-29 | Atheer, Inc. | Method and apparatus for identifying input features for later recognition |
| US9116666B2 (en) * | 2012-06-01 | 2015-08-25 | Microsoft Technology Licensing, Llc | Gesture based region identification for holograms |
| US20180048750A1 (en) * | 2012-06-15 | 2018-02-15 | Muzik, Llc | Audio/video wearable computer system with integrated projector |
| US9418657B2 (en) * | 2012-07-19 | 2016-08-16 | Shavar Daniels | Communication system and method for an ear worn communication device |
| KR101958778B1 (ko) * | 2012-08-31 | 2019-03-15 | 엘지전자 주식회사 | 헤드 마운트 디스플레이 및 이를 이용한 디지털 디바이스 제어 방법 |
| US9268136B1 (en) | 2012-09-28 | 2016-02-23 | Google Inc. | Use of comparative sensor data to determine orientation of head relative to body |
| JP6622588B2 (ja) * | 2012-11-29 | 2019-12-18 | チェイス， スティーヴンＣＨＡＳＥ， Ｓｔｅｐｈｅｎ | ビデオヘッドフォン、システム、プラットフォーム、方法、機器、およびメディア |
| CN102981626A (zh) * | 2012-12-12 | 2013-03-20 | 紫光股份有限公司 | 一种头戴式计算机 |
| US9620144B2 (en) | 2013-01-04 | 2017-04-11 | Kopin Corporation | Confirmation of speech commands for control of headset computers |
| WO2014107410A1 (en) * | 2013-01-04 | 2014-07-10 | Kopin Corporation | Lifeboard-series of home pages for head mounted displays (hmd) that respond to head tracking |
| US9301085B2 (en) | 2013-02-20 | 2016-03-29 | Kopin Corporation | Computer headset with detachable 4G radio |
| US9041741B2 (en) | 2013-03-14 | 2015-05-26 | Qualcomm Incorporated | User interface for a head mounted display |
| US10339711B2 (en) | 2013-03-15 | 2019-07-02 | Honda Motor Co., Ltd. | System and method for providing augmented reality based directions based on verbal and gestural cues |
| US9747898B2 (en) * | 2013-03-15 | 2017-08-29 | Honda Motor Co., Ltd. | Interpretation of ambiguous vehicle instructions |
| US10215583B2 (en) | 2013-03-15 | 2019-02-26 | Honda Motor Co., Ltd. | Multi-level navigation monitoring and control |
| EP2983064B1 (en) * | 2013-04-02 | 2019-11-27 | Sony Corporation | Information processing apparatus, information processing method, and program |
| US9117120B2 (en) | 2013-05-24 | 2015-08-25 | Honda Motor Co., Ltd. | Field of vision capture |
| JP6625523B2 (ja) * | 2013-05-30 | 2019-12-25 | スミス， チャールズ， アンソニーＳＭＩＴＨ， Ｃｈａｒｌｅｓ， Ａｎｔｈｏｎｙ | Ｈｕｄオブジェクト設計および表示方法。 |
| JP2015027015A (ja) * | 2013-07-29 | 2015-02-05 | ソニー株式会社 | 情報提示装置及び情報処理システム |
| US8903568B1 (en) | 2013-07-31 | 2014-12-02 | SZ DJI Technology Co., Ltd | Remote control method and terminal |
| CN103425402A (zh) * | 2013-08-28 | 2013-12-04 | 紫光股份有限公司 | 一种移动终端姿态的检测方法及其装置 |
| CN103480152A (zh) * | 2013-08-31 | 2014-01-01 | 中山大学 | 一种可遥控的摇距临境移动系统 |
| JP2016541026A (ja) | 2013-10-08 | 2016-12-28 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 安定化と振動低減のための装置および方法 |
| US9582516B2 (en) | 2013-10-17 | 2017-02-28 | Nant Holdings Ip, Llc | Wide area augmented reality location-based services |
| DE102013019574A1 (de) | 2013-11-22 | 2015-05-28 | Audi Ag | Verfahren zum Betreiben einer elektronischen Datenbrille und elektronische Datenbrille |
| JP2015115848A (ja) * | 2013-12-13 | 2015-06-22 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
| US9384402B1 (en) * | 2014-04-10 | 2016-07-05 | Google Inc. | Image and video compression for remote vehicle assistance |
| CN106462037B (zh) * | 2014-05-13 | 2019-04-26 | 松下知识产权经营株式会社 | 穿戴装置 |
| US10282057B1 (en) * | 2014-07-29 | 2019-05-07 | Google Llc | Image editing on a wearable device |
| US11327711B2 (en) * | 2014-12-05 | 2022-05-10 | Microsoft Technology Licensing, Llc | External visual interactions for speech-based devices |
| CN104484037A (zh) * | 2014-12-12 | 2015-04-01 | 三星电子（中国）研发中心 | 通过可穿戴设备进行智能控制的方法及该可穿戴设备 |
| CN105828021A (zh) * | 2015-01-05 | 2016-08-03 | 沈阳新松机器人自动化股份有限公司 | 基于增强现实技术的特种机器人图像采集控制方法及系统 |
| US10613528B2 (en) * | 2015-03-06 | 2020-04-07 | Alberto Daniel Lacaze | Point-and-click control of unmanned, autonomous vehicle using omni-directional visors |
| US9880551B2 (en) * | 2015-03-06 | 2018-01-30 | Robotic Research, Llc | Point-and-click control of unmanned, autonomous vehicle using omni-directional visors |
| FR3034681B1 (fr) * | 2015-04-10 | 2017-05-12 | Parrot | Systeme de pilotage de drone en immersion. |
| US10459524B2 (en) | 2015-04-14 | 2019-10-29 | Northrop Grumman Systems Corporation | Multi-sensor control system and method for remote signaling control of unmanned vehicles |
| US9931749B2 (en) * | 2015-04-15 | 2018-04-03 | John C. Nappo | Remote presence robotic system |
| EP3292700B1 (en) | 2015-05-05 | 2019-09-18 | Razer (Asia-Pacific) Pte. Ltd. | Methods for controlling a headset device, headset devices, computer readable media, and infrared sensors |
| US20180190388A1 (en) * | 2015-06-15 | 2018-07-05 | University Of Maryland, Baltimore | Method and Apparatus to Provide a Virtual Workstation With Enhanced Navigational Efficiency |
| US9804595B1 (en) * | 2015-06-19 | 2017-10-31 | Samuel E. Denard | Control system for communicating with and controlling operations of a vehicle |
| JP6682379B2 (ja) * | 2015-08-06 | 2020-04-15 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器 |
| US11172273B2 (en) | 2015-08-10 | 2021-11-09 | Delta Energy & Communications, Inc. | Transformer monitor, communications and data collection device |
| US10055869B2 (en) | 2015-08-11 | 2018-08-21 | Delta Energy & Communications, Inc. | Enhanced reality system for visualizing, evaluating, diagnosing, optimizing and servicing smart grids and incorporated components |
| US10055966B2 (en) | 2015-09-03 | 2018-08-21 | Delta Energy & Communications, Inc. | System and method for determination and remediation of energy diversion in a smart grid network |
| US11196621B2 (en) | 2015-10-02 | 2021-12-07 | Delta Energy & Communications, Inc. | Supplemental and alternative digital data delivery and receipt mesh net work realized through the placement of enhanced transformer mounted monitoring devices |
| WO2017070646A1 (en) | 2015-10-22 | 2017-04-27 | Delta Energy & Communications, Inc. | Data transfer facilitation across a distributed mesh network using light and optical based technology |
| WO2017070648A1 (en) | 2015-10-22 | 2017-04-27 | Delta Energy & Communications, Inc. | Augmentation, expansion and self-healing of a geographically distributed mesh network using unmanned aerial vehicle technology |
| US11106273B2 (en) * | 2015-10-30 | 2021-08-31 | Ostendo Technologies, Inc. | System and methods for on-body gestural interfaces and projection displays |
| US9568995B1 (en) * | 2015-12-30 | 2017-02-14 | Thunder Power Hong Kong Ltd. | Remote driving with a virtual reality system |
| US10019054B2 (en) * | 2015-12-30 | 2018-07-10 | Thunder Power New Energy Vehicle Development Company Limited | Remote driving with a virtual reality system |
| US10908694B2 (en) | 2016-02-01 | 2021-02-02 | Microsoft Technology Licensing, Llc | Object motion tracking with remote device |
| CA3054546C (en) | 2016-02-24 | 2022-10-11 | Delta Energy & Communications, Inc. | Distributed 802.11s mesh network using transformer module hardware for the capture and transmission of data |
| US10200659B2 (en) * | 2016-02-29 | 2019-02-05 | Microsoft Technology Licensing, Llc | Collaborative camera viewpoint control for interactive telepresence |
| FR3049722B1 (fr) * | 2016-04-01 | 2018-03-30 | Thales | Systeme de visualisation de tete a pontets pour aeronef compatible d'un casque audio |
| US10146334B2 (en) | 2016-06-09 | 2018-12-04 | Microsoft Technology Licensing, Llc | Passive optical and inertial tracking in slim form-factor |
| US10146335B2 (en) * | 2016-06-09 | 2018-12-04 | Microsoft Technology Licensing, Llc | Modular extension of inertial controller for six DOF mixed reality input |
| US10078377B2 (en) * | 2016-06-09 | 2018-09-18 | Microsoft Technology Licensing, Llc | Six DOF mixed reality input by fusing inertial handheld controller with hand tracking |
| US20170366785A1 (en) * | 2016-06-15 | 2017-12-21 | Kopin Corporation | Hands-Free Headset For Use With Mobile Communication Device |
| CN107589827B (zh) * | 2016-07-07 | 2021-07-02 | 深圳市掌网科技股份有限公司 | 一种可识别手势的虚拟现实头盔及其手势识别方法 |
| CN106648045A (zh) * | 2016-08-04 | 2017-05-10 | 德胜国际科技有限公司 | 一种基于虚拟现实技术的实时旅游体验系统 |
| WO2018035143A1 (en) | 2016-08-15 | 2018-02-22 | Delta Energy & Communications, Inc. | Integrated solution of internet of things and smart grid network |
| CN206365527U (zh) * | 2016-12-09 | 2017-08-01 | 点子建有限公司 | 一种集成智能头戴式设备 |
| CN106775528A (zh) * | 2016-12-12 | 2017-05-31 | 合肥华耀广告传媒有限公司 | 一种虚拟现实的旅游系统 |
| US11099716B2 (en) | 2016-12-23 | 2021-08-24 | Realwear, Inc. | Context based content navigation for wearable display |
| US10936872B2 (en) | 2016-12-23 | 2021-03-02 | Realwear, Inc. | Hands-free contextually aware object interaction for wearable display |
| US10393312B2 (en) * | 2016-12-23 | 2019-08-27 | Realwear, Inc. | Articulating components for a head-mounted display |
| US10620910B2 (en) * | 2016-12-23 | 2020-04-14 | Realwear, Inc. | Hands-free navigation of touch-based operating systems |
| US11507216B2 (en) | 2016-12-23 | 2022-11-22 | Realwear, Inc. | Customizing user interfaces of binary applications |
| US10437070B2 (en) * | 2016-12-23 | 2019-10-08 | Realwear, Inc. | Interchangeable optics for a head-mounted display |
| US10365493B2 (en) | 2016-12-23 | 2019-07-30 | Realwear, Incorporated | Modular components for a head-mounted display |
| DE102017203970B4 (de) | 2017-03-10 | 2022-09-22 | Bayerische Motoren Werke Aktiengesellschaft | System und Verfahren zur Übermittlung von Videodaten aus einem Kraftfahrzeug für eine virtuelle Fahrt in dem Kraftfahrzeug |
| DE102017108166B4 (de) | 2017-04-18 | 2019-06-27 | Alexander Ohly | Vorrichtung zur optischen Informationsanzeige |
| KR20220158873A (ko) * | 2017-06-16 | 2022-12-01 | 모셔널 에이디 엘엘씨 | 자율 주행 능력들을 갖춘 차량의 작동에 대한 개입 |
| US10740988B2 (en) | 2017-06-16 | 2020-08-11 | nuTonomy Inc. | Intervention in operation of a vehicle having autonomous driving capabilities |
| KR20200101906A (ko) | 2017-08-23 | 2020-08-28 | 뉴레이블 인크. | 고속 눈 추적 피처들을 갖는 뇌-컴퓨터 인터페이스 |
| US10647332B2 (en) * | 2017-09-12 | 2020-05-12 | Harman International Industries, Incorporated | System and method for natural-language vehicle control |
| US10379628B2 (en) * | 2017-09-27 | 2019-08-13 | Htc Corporation | Tracking system, virtual reality system and attachable device |
| US10489951B2 (en) | 2017-09-29 | 2019-11-26 | Qualcomm Incorporated | Display of a live scene and auxiliary object |
| US11002437B2 (en) * | 2017-12-07 | 2021-05-11 | First-Light Usa, Llc | Head-mounted illumination devices |
| US11144125B2 (en) | 2017-12-07 | 2021-10-12 | First-Light Usa, Llc | Hands-free switch system |
| KR20200106547A (ko) * | 2018-01-18 | 2020-09-14 | 밸브 코포레이션 | 센서 집적 회로들을 포함하는 머리-착용 디스플레이들에 대한 위치 추적 시스템 |
| US10774986B2 (en) * | 2018-06-08 | 2020-09-15 | Realwear, Inc. | Head mounted display mounting assembly |
| US10664050B2 (en) | 2018-09-21 | 2020-05-26 | Neurable Inc. | Human-computer interface using high-speed and accurate tracking of user interactions |
| WO2020117597A1 (en) * | 2018-12-05 | 2020-06-11 | First-Light Usa, Llc | Hands-free switch system |
| WO2020257827A1 (en) * | 2019-06-21 | 2020-12-24 | Mindgam3 Institute | Distributed personal security video recording system with dual-use facewear |
| US11677103B2 (en) * | 2019-06-21 | 2023-06-13 | Realwear, Inc. | Auxilary battery system for a head-mounted display |
| US11714285B1 (en) * | 2019-07-22 | 2023-08-01 | Apple Inc. | Head-mountable device with head securement mechanism |
| US20210261247A1 (en) * | 2020-02-26 | 2021-08-26 | Nxp B.V. | Systems and methodology for voice and/or gesture communication with device having v2x capability |
| IL275163B (en) * | 2020-06-04 | 2022-07-01 | Elbit Systems Ltd | System and method for displaying scene information |
| US11553313B2 (en) | 2020-07-02 | 2023-01-10 | Hourglass Medical Llc | Clench activated switch system |
| DE102020123423A1 (de) * | 2020-09-08 | 2022-03-10 | AR-Check GmbH & Co. KG | System mit einer Strahlungsquelle, einem Sensor und einem mobilen Endgerät zur Erfassung von Oberflächenstrukturen und Anomalien |
| WO2022173558A1 (en) | 2021-02-12 | 2022-08-18 | Hourglass Medical Llc | Clench-control accessory for head-worn devices |
| EP4327186A1 (en) | 2021-04-21 | 2024-02-28 | Hourglass Medical LLC | Methods for voice blanking muscle movement controlled systems |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6198462B1 (en) * | 1994-10-14 | 2001-03-06 | Hughes Electronics Corporation | Virtual display screen system |
| US6313864B1 (en) * | 1997-03-24 | 2001-11-06 | Olympus Optical Co., Ltd. | Image and voice communication system and videophone transfer method |
| CN101243392A (zh) * | 2005-08-15 | 2008-08-13 | 皇家飞利浦电子股份有限公司 | 用于终端用户编程的增强现实眼镜的系统、设备和方法 |
| US7501995B2 (en) * | 2004-11-24 | 2009-03-10 | General Electric Company | System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation |
| WO2010129679A1 (en) * | 2009-05-08 | 2010-11-11 | Kopin Corporation | Remote control of host application using motion and voice commands |
Family Cites Families (284)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4567479A (en) | 1982-12-23 | 1986-01-28 | Boyd Barry S | Directional controller apparatus for a video or computer input |
| US5005213A (en) * | 1986-07-10 | 1991-04-02 | Varo, Inc. | Head mounted video display and remote camera system |
| JPH0284686A (ja) | 1988-09-21 | 1990-03-26 | Matsushita Electric Ind Co Ltd | 画像音声出力装置 |
| US5208449A (en) | 1991-09-09 | 1993-05-04 | Psc, Inc. | Portable transaction terminal |
| US5491651A (en) | 1992-05-15 | 1996-02-13 | Key, Idea Development | Flexible wearable computer |
| US6010216A (en) | 1993-01-19 | 2000-01-04 | Jesiek; Daniel Stephen | "Hear speak" two-way voice radio communications eyeglasses |
| US5698834A (en) | 1993-03-16 | 1997-12-16 | Worthington Data Solutions | Voice prompt with voice recognition for portable data collection terminal |
| US6853293B2 (en) | 1993-05-28 | 2005-02-08 | Symbol Technologies, Inc. | Wearable communication system |
| US5818455A (en) | 1993-07-21 | 1998-10-06 | Xerox Corporation | Method and apparatus for operating on the model data structure of an image to produce human perceptible output using a viewing operation region having explicit multiple regions |
| JPH08510568A (ja) | 1994-03-04 | 1996-11-05 | モトローラ・インコーポレイテッド | 情報表示装置 |
| US5642129A (en) | 1994-03-23 | 1997-06-24 | Kopin Corporation | Color sequential display panels |
| JPH086708A (ja) | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
| US9513744B2 (en) | 1994-08-15 | 2016-12-06 | Apple Inc. | Control systems employing novel physical controls and touch screens |
| US5990793A (en) | 1994-09-02 | 1999-11-23 | Safety Tech Industries, Inc. | Firefighters integrated communication and safety system |
| US5594469A (en) | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
| JPH0934895A (ja) | 1995-07-14 | 1997-02-07 | Sony Corp | 翻訳システム |
| US6369952B1 (en) * | 1995-07-14 | 2002-04-09 | I-O Display Systems Llc | Head-mounted personal visual display apparatus with image generator and holder |
| US6127990A (en) | 1995-11-28 | 2000-10-03 | Vega Vista, Inc. | Wearable display and methods for controlling same |
| US5742263A (en) | 1995-12-18 | 1998-04-21 | Telxon Corporation | Head tracking system for a head mounted display system |
| JPH1020867A (ja) | 1996-07-05 | 1998-01-23 | Masanobu Kujirada | 口対向型消音装置 |
| US5689619A (en) | 1996-08-09 | 1997-11-18 | The United States Of America As Represented By The Secretary Of The Army | Eyetracker control of heads-up displays |
| US6204974B1 (en) | 1996-10-08 | 2001-03-20 | The Microoptical Corporation | Compact image display system for eyeglasses or other head-borne frames |
| US5929748A (en) | 1997-06-12 | 1999-07-27 | Microsoft Corporation | Automated home control using existing electrical lines as a communications medium |
| EP0923759A2 (en) | 1997-07-03 | 1999-06-23 | Koninklijke Philips Electronics N.V. | Apparatus and method for creating and controlling a virtual workspace of a windowing system |
| US6505055B1 (en) | 1997-08-04 | 2003-01-07 | Starfish Software, Inc. | Camel-back digital organizer and communication protocol for a cellular phone device |
| US6826407B1 (en) | 1999-03-29 | 2004-11-30 | Richard J. Helferich | System and method for integrating audio and visual messaging |
| US6270414B2 (en) | 1997-12-31 | 2001-08-07 | U.S. Philips Corporation | Exoskeletal platform for controlling multi-directional avatar kinetics in a virtual environment |
| US7860725B2 (en) | 1998-05-26 | 2010-12-28 | Ineedmd.Com, Inc. | Method for remote medical consultation and care |
| JP2002525769A (ja) | 1998-09-22 | 2002-08-13 | ヴェガ ヴィスタ インコーポレイテッド | 携帯型データディスプレイの直接的コントロール方法 |
| US6192343B1 (en) | 1998-12-17 | 2001-02-20 | International Business Machines Corporation | Speech command input recognition system for interactive computer display with term weighting means used in interpreting potential commands from relevant speech terms |
| US8275617B1 (en) | 1998-12-17 | 2012-09-25 | Nuance Communications, Inc. | Speech command input recognition system for interactive computer display with interpretation of ancillary relevant speech query terms into commands |
| US7035897B1 (en) | 1999-01-15 | 2006-04-25 | California Institute Of Technology | Wireless augmented reality communication system |
| US20060061551A1 (en) | 1999-02-12 | 2006-03-23 | Vega Vista, Inc. | Motion detection and tracking system to control navigation and display of portable displays including on-chip gesture detection |
| EP1194806A4 (en) | 1999-06-21 | 2008-07-23 | Microoptical Corp | LENS SYSTEM FOR GOGGLES WITH EXCEPTIONAL OPTICAL DESIGN |
| US7158096B1 (en) | 1999-06-21 | 2007-01-02 | The Microoptical Corporation | Compact, head-mountable display device with suspended eyepiece assembly |
| US6408257B1 (en) | 1999-08-31 | 2002-06-18 | Xerox Corporation | Augmented-reality display method and system |
| JP2001100878A (ja) | 1999-09-29 | 2001-04-13 | Toshiba Corp | マルチモーダル入出力装置 |
| US6538676B1 (en) | 1999-10-04 | 2003-03-25 | Intel Corporation | Video token tracking system for overlay of metadata upon video data |
| US6532446B1 (en) | 1999-11-24 | 2003-03-11 | Openwave Systems Inc. | Server based speech recognition user interface for wireless devices |
| US6621508B1 (en) | 2000-01-18 | 2003-09-16 | Seiko Epson Corporation | Information processing system |
| JP2001216069A (ja) | 2000-02-01 | 2001-08-10 | Toshiba Corp | 操作入力装置および方向検出方法 |
| US6981229B1 (en) * | 2000-04-28 | 2005-12-27 | Alias Systems Corp. | System for dynamically mapping input device movement as a user's viewpoint changes |
| US20120105740A1 (en) | 2000-06-02 | 2012-05-03 | Oakley, Inc. | Eyewear with detachable adjustable electronics module |
| US7150526B2 (en) | 2000-06-02 | 2006-12-19 | Oakley, Inc. | Wireless interactive headset |
| US7461936B2 (en) | 2000-06-02 | 2008-12-09 | Oakley, Inc. | Eyeglasses with detachable adjustable electronics module |
| US7278734B2 (en) | 2000-06-02 | 2007-10-09 | Oakley, Inc. | Wireless interactive headset |
| US8482488B2 (en) | 2004-12-22 | 2013-07-09 | Oakley, Inc. | Data input management system for wearable electronically enabled interface |
| US6325507B1 (en) | 2000-06-02 | 2001-12-04 | Oakley, Inc. | Eyewear retention system extending across the top of a wearer's head |
| US7487112B2 (en) | 2000-06-29 | 2009-02-03 | Barnes Jr Melvin L | System, method, and computer program product for providing location based services and mobile e-commerce |
| JP2002032212A (ja) | 2000-07-14 | 2002-01-31 | Toshiba Corp | コンピュータシステムおよびヘッドセット型表示装置 |
| US20020044152A1 (en) | 2000-10-16 | 2002-04-18 | Abbott Kenneth H. | Dynamic integration of computer generated and real world images |
| WO2002033541A2 (en) | 2000-10-16 | 2002-04-25 | Tangis Corporation | Dynamically determining appropriate computer interfaces |
| US6956614B1 (en) | 2000-11-22 | 2005-10-18 | Bath Iron Works | Apparatus and method for using a wearable computer in collaborative applications |
| GB2369742A (en) | 2000-11-30 | 2002-06-05 | Nokia Mobile Phones Ltd | Neck strap accessory for audio device having wired earpiece |
| WO2002047043A2 (en) | 2000-12-04 | 2002-06-13 | De La Rue Cash Systems Inc. | Wireless networked cash management system |
| US20020130818A1 (en) | 2000-12-27 | 2002-09-19 | Viertl John R.M. | Methods and systems for exchanging information, such as nondestructive evaluation data, between distributed users |
| US6798391B2 (en) | 2001-01-02 | 2004-09-28 | Xybernaut Corporation | Wearable computer system |
| US6900777B1 (en) | 2001-01-03 | 2005-05-31 | Stryker Corporation | Infrared audio/video interface for head-mounted display |
| US20020094845A1 (en) | 2001-01-16 | 2002-07-18 | Rei Inasaka | Body worn display system |
| DE10103922A1 (de) | 2001-01-30 | 2002-08-01 | Physoptics Opto Electronic Gmb | Interaktives Datensicht- und Bediensystem |
| JP4649050B2 (ja) * | 2001-03-13 | 2011-03-09 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び制御プログラム |
| WO2002077972A1 (en) | 2001-03-27 | 2002-10-03 | Rast Associates, Llc | Head-worn, trimodal device to increase transcription accuracy in a voice recognition system and to process unvocalized speech |
| EP2242049B1 (en) | 2001-03-28 | 2019-08-07 | Mitsubishi Denki Kabushiki Kaisha | Noise suppression device |
| WO2002082733A1 (fr) | 2001-03-30 | 2002-10-17 | Yozan Inc. | Systeme de lan radio, procede de commande de systeme de lan radio et programme de commande |
| US6769767B2 (en) | 2001-04-30 | 2004-08-03 | Qr Spex, Inc. | Eyewear with exchangeable temples housing a transceiver forming ad hoc networks with other devices |
| GB2376283B (en) | 2001-06-04 | 2005-03-16 | Hewlett Packard Co | Foot activated user input |
| US7013009B2 (en) | 2001-06-21 | 2006-03-14 | Oakley, Inc. | Eyeglasses with wireless communication features |
| US6961912B2 (en) | 2001-07-18 | 2005-11-01 | Xerox Corporation | Feedback mechanism for use with visual selection methods |
| CN1335702A (zh) | 2001-08-06 | 2002-02-13 | 北京邮电通信设备厂 | 配装有头戴式显示装置插接口的移动电话机 |
| US6778906B1 (en) * | 2001-08-14 | 2004-08-17 | The United States Of America As Represented By The Secretary Of The Navy | Apparatus and method for ensuring retention of situational awareness by employing an active network guidance and emergency logic (angel) system |
| US6968219B2 (en) | 2001-08-15 | 2005-11-22 | Qualcomm, Incorporated | Method for reducing power consumption in bluetooth and CDMA modes of operation |
| US6529372B1 (en) * | 2001-08-17 | 2003-03-04 | Xybernaut Corp. | Wearable computer-battery system |
| US20030169339A1 (en) * | 2001-10-01 | 2003-09-11 | Digeo. Inc. | System and method for tracking an object during video communication |
| US6583808B2 (en) * | 2001-10-04 | 2003-06-24 | National Research Council Of Canada | Method and system for stereo videoconferencing |
| US7313246B2 (en) | 2001-10-06 | 2007-12-25 | Stryker Corporation | Information system using eyewear for communication |
| US7088234B2 (en) * | 2001-11-27 | 2006-08-08 | Matsushita Electric Industrial Co., Ltd. | Wearing information notifying unit |
| AU2002362095A1 (en) * | 2001-12-05 | 2003-06-17 | Kopin Corporation | Head-mounted display system |
| US20070121423A1 (en) * | 2001-12-20 | 2007-05-31 | Daniel Rioux | Head-mounted display apparatus for profiling system |
| GB2388209C (en) | 2001-12-20 | 2005-08-23 | Canon Kk | Control apparatus |
| JP4114859B2 (ja) | 2002-01-09 | 2008-07-09 | 松下電器産業株式会社 | 動きベクトル符号化方法および動きベクトル復号化方法 |
| US7035091B2 (en) | 2002-02-28 | 2006-04-25 | Accenture Global Services Gmbh | Wearable computer system and modes of operating the system |
| US6965862B2 (en) | 2002-04-11 | 2005-11-15 | Carroll King Schuller | Reading machine |
| JP2004054879A (ja) | 2002-05-27 | 2004-02-19 | Sony Corp | 表示装置および表示方法 |
| US7519918B2 (en) | 2002-05-30 | 2009-04-14 | Intel Corporation | Mobile virtual desktop |
| US7110799B1 (en) | 2002-06-14 | 2006-09-19 | Symbol Technologies, Inc. | Mobile terminal for interoperating with a standard or push-button enabled headset |
| MXPA05001079A (es) | 2002-07-26 | 2005-06-03 | Oakley Inc | Audifonos interactivos inalambricos. |
| CN101286172B (zh) | 2002-09-13 | 2012-11-14 | 雅虎公司 | 改进的浏览器用户界面 |
| TW200417228A (en) | 2002-09-17 | 2004-09-01 | Ginganet Corp | Sign language image presentation apparatus, sign language image input/output apparatus, and system for sign language translation |
| US7330740B2 (en) | 2002-10-22 | 2008-02-12 | Broadcom Corporation | Cell phone wireless speaker-microphone sleep modes |
| US7774075B2 (en) | 2002-11-06 | 2010-08-10 | Lin Julius J Y | Audio-visual three-dimensional input/output |
| SE0203908D0 (sv) * | 2002-12-30 | 2002-12-30 | Abb Research Ltd | An augmented reality system and method |
| US7620433B2 (en) | 2003-01-15 | 2009-11-17 | Gn Netcom, Inc. | Display headset |
| JP4135520B2 (ja) | 2003-01-29 | 2008-08-20 | トヨタ自動車株式会社 | 車両用通信装置 |
| CN100592246C (zh) | 2003-03-04 | 2010-02-24 | 微软公司 | 在较小的显示屏上浏览图形用户接口的方法 |
| US8745541B2 (en) | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
| US7760898B2 (en) | 2003-10-09 | 2010-07-20 | Ip Venture, Inc. | Eyeglasses with hearing enhanced and other audio signal-generating capabilities |
| US7806525B2 (en) | 2003-10-09 | 2010-10-05 | Ipventure, Inc. | Eyeglasses having a camera |
| ES2333528T3 (es) | 2003-05-12 | 2010-02-23 | Elbit Systems Ltd. | Procedimiento y sistema de comunicacion audiovisual. |
| JP4197271B2 (ja) | 2003-06-17 | 2008-12-17 | シャープ株式会社 | 通信端末、通信端末の制御方法、音声認識処理装置、音声認識処理装置の制御方法、通信端末制御プログラム、通信端末制御プログラムを記録した記録媒体、音声認識処理装置制御プログラム、および、音声認識処理装置制御プログラムを記録した記録媒体 |
| US20040267527A1 (en) | 2003-06-25 | 2004-12-30 | International Business Machines Corporation | Voice-to-text reduction for real time IM/chat/SMS |
| ITTO20030640A1 (it) | 2003-08-19 | 2005-02-20 | Luigi Giubbolini | Apparato d'interfaccia uomo- macchina mediante |
| US20050047629A1 (en) | 2003-08-25 | 2005-03-03 | International Business Machines Corporation | System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking |
| DE10344062A1 (de) | 2003-09-23 | 2005-04-21 | Zeiss Carl | Am Kopf zu tragende Anzeigevorrichtung |
| FI20035211A (fi) * | 2003-11-17 | 2005-05-18 | Nokia Corp | Menetelmä ja laitteisto kannettavan laitteen näyttöyksikön toimintojen parantamiseksi |
| US20050108643A1 (en) | 2003-11-17 | 2005-05-19 | Nokia Corporation | Topographic presentation of media files in a media diary application |
| US20050114140A1 (en) | 2003-11-26 | 2005-05-26 | Brackett Charles C. | Method and apparatus for contextual voice cues |
| EP1691547A4 (en) | 2003-12-03 | 2008-01-16 | Nikon Corp | INFORMATION DISPLAY AND WIRELESS REMOTE CONTROL |
| MXPA06011168A (es) * | 2004-04-01 | 2007-04-16 | William C Torch | Biosensores, comunicadores, y controladores que verifican el movimiento del ojo y metodos para utilizarlos. |
| KR20050102803A (ko) | 2004-04-23 | 2005-10-27 | 삼성전자주식회사 | 가상입력장치, 시스템 및 방법 |
| US20050261890A1 (en) | 2004-05-21 | 2005-11-24 | Sterling Robinson | Method and apparatus for providing language translation |
| EP1978692B1 (en) | 2004-06-04 | 2011-07-27 | QUALCOMM Incorporated | High data rate interface apparatus and method |
| JP4526307B2 (ja) | 2004-06-09 | 2010-08-18 | 富士通テン株式会社 | 機能選択装置 |
| IL162572A (en) | 2004-06-17 | 2013-02-28 | Lumus Ltd | High brightness optical device |
| US7284192B2 (en) | 2004-06-24 | 2007-10-16 | Avaya Technology Corp. | Architecture for ink annotations on web documents |
| US20060007056A1 (en) | 2004-07-09 | 2006-01-12 | Shu-Fong Ou | Head mounted display system having virtual keyboard and capable of adjusting focus of display screen and device installed the same |
| US20060012884A1 (en) | 2004-07-13 | 2006-01-19 | Snap-On Incorporated | Portable diagnostic system with heads-up display |
| WO2006012678A1 (en) | 2004-08-03 | 2006-02-09 | Silverbrook Research Pty Ltd | Walk-up printing |
| KR100725385B1 (ko) | 2004-08-14 | 2007-06-07 | 삼성전자주식회사 | 메시지 통신을 이용한 컨텐츠 디스플레이 시스템 및 방법 |
| KR100594117B1 (ko) | 2004-09-20 | 2006-06-28 | 삼성전자주식회사 | Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법 |
| KR101097584B1 (ko) | 2004-11-25 | 2011-12-22 | 엘지디스플레이 주식회사 | 액정표시장치의 휘도제어 장치 및 방법 |
| US7976480B2 (en) | 2004-12-09 | 2011-07-12 | Motorola Solutions, Inc. | Wearable auscultation system and method |
| CN100399247C (zh) | 2004-12-22 | 2008-07-02 | 联想(北京)有限公司 | 一种显示设备的光标的控制系统及方法 |
| US7877115B2 (en) | 2005-01-24 | 2011-01-25 | Broadcom Corporation | Battery management in a modular earpiece microphone combination |
| CN1815556A (zh) * | 2005-02-01 | 2006-08-09 | 松下电器产业株式会社 | 可利用语音命令操控车辆的方法及系统 |
| US8083569B2 (en) * | 2005-02-04 | 2011-12-27 | Nicholas Sotereanos | Remotely controlled vehicle |
| CN1815437A (zh) | 2005-02-04 | 2006-08-09 | 乐金电子(中国)研究开发中心有限公司 | 一种外置头戴式手机显示装置及方法 |
| US8140197B2 (en) | 2005-02-17 | 2012-03-20 | Lumus Ltd. | Personal navigation system |
| CN101185016A (zh) * | 2005-03-30 | 2008-05-21 | 诺瓦维申公司 | 在视觉训练中用头戴式显示器提供视觉刺激的方法和设备 |
| US7249846B2 (en) | 2005-05-03 | 2007-07-31 | Grand Joseph B | Eyewear with an image projected off of an unassisted eyewear lens to the user |
| US8606333B2 (en) | 2005-06-10 | 2013-12-10 | At&T Mobility Ii Llc | Push to lower hearing assisted device |
| US7437223B2 (en) | 2005-08-05 | 2008-10-14 | The Boeing Company | Heading reference command and control algorithm and cueing systems and methods for aircraft turn-to-target maneuvers |
| TWI284481B (en) | 2005-09-02 | 2007-07-21 | Kye Systems Corp | Wireless earphone device |
| JP2007079978A (ja) | 2005-09-14 | 2007-03-29 | Fuji Xerox Co Ltd | 翻訳システムおよび翻訳方法 |
| US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
| US20070093279A1 (en) | 2005-10-12 | 2007-04-26 | Craig Janik | Wireless headset system for the automobile |
| US20080144854A1 (en) | 2006-12-13 | 2008-06-19 | Marcio Marc Abreu | Biologically fit wearable electronics apparatus and methods |
| US20070265495A1 (en) | 2005-12-15 | 2007-11-15 | Medivision, Inc. | Method and apparatus for field of view tracking |
| CN1828586A (zh) | 2005-12-21 | 2006-09-06 | 泰为信息科技（上海）有限公司 | 计算机上基于Flash技术的电子地图生成与显示的方法 |
| US8577538B2 (en) * | 2006-07-14 | 2013-11-05 | Irobot Corporation | Method and system for controlling a remote vehicle |
| US7732694B2 (en) | 2006-02-03 | 2010-06-08 | Outland Research, Llc | Portable music player with synchronized transmissive visual overlays |
| JP5007510B2 (ja) | 2006-02-13 | 2012-08-22 | コニカミノルタビジネステクノロジーズ株式会社 | 文書処理装置および文書処理システム |
| US20070220108A1 (en) | 2006-03-15 | 2007-09-20 | Whitaker Jerry M | Mobile global virtual browser with heads-up display for browsing and interacting with the World Wide Web |
| US20070238475A1 (en) | 2006-03-30 | 2007-10-11 | Goedken Terrance J | Wireless communications device with priority list |
| WO2007129661A1 (ja) | 2006-05-09 | 2007-11-15 | Nikon Corporation | ヘッドマウントディスプレイ |
| US8947531B2 (en) * | 2006-06-19 | 2015-02-03 | Oshkosh Corporation | Vehicle diagnostics based on information communicated between vehicles |
| US20070291974A1 (en) * | 2006-06-20 | 2007-12-20 | United Global Sourcing, Inc. | Earpiece for an electronic audio player, with decorative accessory |
| ATE410346T1 (de) * | 2006-08-04 | 2008-10-15 | Harman Becker Automotive Sys | Methode und system zur verarbeitung von stimmkommandos in einer fahrzeugumgebung |
| JP4267648B2 (ja) | 2006-08-25 | 2009-05-27 | 株式会社東芝 | インターフェース装置及びその方法 |
| US20080055194A1 (en) | 2006-08-31 | 2008-03-06 | Motorola, Inc. | Method and system for context based user interface information presentation and positioning |
| US8611889B2 (en) | 2006-09-26 | 2013-12-17 | Samsung Electronics Co., Ltd. | Remote handset diagnostics |
| US8212859B2 (en) | 2006-10-13 | 2012-07-03 | Apple Inc. | Peripheral treatment for head-mounted displays |
| US8036917B2 (en) | 2006-11-22 | 2011-10-11 | General Electric Company | Methods and systems for creation of hanging protocols using eye tracking and voice command and control |
| KR101304461B1 (ko) | 2006-12-04 | 2013-09-04 | 삼성전자주식회사 | 제스처 기반 사용자 인터페이스 방법 및 장치 |
| US20080211768A1 (en) | 2006-12-07 | 2008-09-04 | Randy Breen | Inertial Sensor Input Device |
| EP2095178B1 (en) | 2006-12-14 | 2015-08-12 | Oakley, Inc. | Wearable high resolution audio visual interface |
| US7798638B2 (en) | 2007-01-02 | 2010-09-21 | Hind-Sight Industries, Inc. | Eyeglasses with integrated video display |
| US7547101B2 (en) | 2007-01-02 | 2009-06-16 | Hind-Sight Industries, Inc. | Eyeglasses with integrated telescoping video display |
| US7484847B2 (en) | 2007-01-02 | 2009-02-03 | Hind-Sight Industries, Inc. | Eyeglasses having integrated telescoping video camera and video display |
| US9217868B2 (en) * | 2007-01-12 | 2015-12-22 | Kopin Corporation | Monocular display device |
| JP4395792B2 (ja) * | 2007-01-29 | 2010-01-13 | セイコーエプソン株式会社 | プロジェクタ |
| US9044136B2 (en) | 2007-02-16 | 2015-06-02 | Cim Technology Inc. | Wearable mini-size intelligent healthcare system |
| US20080201634A1 (en) | 2007-02-20 | 2008-08-21 | Gibb Erik W | System and method for customizing a user interface |
| US8949130B2 (en) | 2007-03-07 | 2015-02-03 | Vlingo Corporation | Internal and external speech recognition use with a mobile communication facility |
| US20080239080A1 (en) * | 2007-03-26 | 2008-10-02 | Moscato Jonathan D | Head-mounted rear vision system |
| US8352264B2 (en) | 2008-03-19 | 2013-01-08 | Canyon IP Holdings, LLC | Corrective feedback loop for automated speech recognition |
| JP2008271413A (ja) * | 2007-04-24 | 2008-11-06 | Olympus Corp | 画像表示装置、撮像装置、処理プログラム、画像表示装置の制御方法 |
| US20100020229A1 (en) | 2007-04-30 | 2010-01-28 | General Electric Company | Wearable personal video/audio device method and system |
| CA2685947A1 (en) | 2007-05-14 | 2008-11-27 | Kopin Corporation | Mobile wireless display for accessing data from a host and method for controlling |
| US8855719B2 (en) | 2009-05-08 | 2014-10-07 | Kopin Corporation | Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands |
| US8909296B2 (en) | 2007-05-14 | 2014-12-09 | Kopin Corporation | Mobile wireless display software platform for controlling other systems and devices |
| FR2916541B1 (fr) | 2007-05-25 | 2014-11-21 | Thales Sa | Dispositif de visualisation tete haute pour aeronef comprenant des moyens d'affichage d'une symbologie dediee a l'evitement d'obstacles. |
| IL183637A (en) | 2007-06-04 | 2013-06-27 | Zvi Lapidot | Head display system |
| WO2008149172A1 (en) | 2007-06-07 | 2008-12-11 | Panagiotis Pavlopoulos | An eyewear comprising at least one display device |
| KR20080114391A (ko) * | 2007-06-27 | 2008-12-31 | 삼성전기주식회사 | 레이저 광원을 이용한 디스플레이 장치, 디스플레이 방법및 디스플레이 방법을 구현하기 위한 프로그램이 기록된기록매체 |
| EP3435373B1 (en) | 2007-07-31 | 2024-04-24 | Kopin Corporation | Mobile wireless display providing speech to speech translation and avatar simulating human attributes |
| CN101809651B (zh) | 2007-07-31 | 2012-11-07 | 寇平公司 | 提供语音到语音翻译和模拟人类属性的化身的移动无线显示器 |
| US8825468B2 (en) | 2007-07-31 | 2014-09-02 | Kopin Corporation | Mobile wireless display providing speech to speech translation and avatar simulating human attributes |
| US7458682B1 (en) | 2007-09-06 | 2008-12-02 | Double Hero Corporation | Eyeglass with multimedia functions of music playing and remote communication |
| DE102007045835B4 (de) | 2007-09-25 | 2012-12-20 | Metaio Gmbh | Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung |
| FR2921735B1 (fr) | 2007-09-28 | 2017-09-22 | Joel Pedre | Procede et dispositif de traduction ainsi qu'un casque mis en oeuvre par ledit dispositif |
| JP5116424B2 (ja) * | 2007-10-09 | 2013-01-09 | 任天堂株式会社 | ゲームプログラムおよびゲーム装置 |
| US7969657B2 (en) | 2007-10-25 | 2011-06-28 | University Of Central Florida Research Foundation, Inc. | Imaging systems for eyeglass-based display devices |
| US8072393B2 (en) | 2007-11-15 | 2011-12-06 | Symbol Technologies, Inc. | User interface for a head mounted display |
| US8520860B2 (en) | 2007-12-13 | 2013-08-27 | Symbol Technologies, Inc. | Modular mobile computing headset |
| US8108143B1 (en) | 2007-12-20 | 2012-01-31 | U-Blox Ag | Navigation system enabled wireless headset |
| WO2009120984A1 (en) | 2008-03-28 | 2009-10-01 | Kopin Corporation | Handheld wireless display device having high-resolution display suitable for use as a mobile internet device |
| US20090182562A1 (en) | 2008-01-14 | 2009-07-16 | Garmin Ltd. | Dynamic user interface for automated speech recognition |
| US8099289B2 (en) | 2008-02-13 | 2012-01-17 | Sensory, Inc. | Voice interface and search for electronic devices including bluetooth headsets and remote systems |
| JP2009294728A (ja) | 2008-06-02 | 2009-12-17 | Sony Ericsson Mobilecommunications Japan Inc | 表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置 |
| US8838075B2 (en) | 2008-06-19 | 2014-09-16 | Intelligent Mechatronic Systems Inc. | Communication system with voice mail access and call by spelling functionality |
| US8180280B2 (en) | 2008-06-24 | 2012-05-15 | Hewlett-Packard Development Company, L.P. | Techniques for tracking destinations on a mobile computing device |
| JP2010015238A (ja) | 2008-07-01 | 2010-01-21 | Sony Corp | 情報処理装置、及び補助情報の表示方法 |
| US7959084B2 (en) | 2008-07-01 | 2011-06-14 | Symbol Technologies, Inc. | Multi-functional mobile computing device utilizing a removable processor module |
| US20100001699A1 (en) | 2008-07-02 | 2010-01-07 | Murata Power Solutions | Output voltage control circuit for modular power supplies |
| US20100033830A1 (en) | 2008-08-11 | 2010-02-11 | Man Fat Yung | Wearable image display device |
| US8498425B2 (en) * | 2008-08-13 | 2013-07-30 | Onvocal Inc | Wearable headset with self-contained vocal feedback and vocal command |
| US20100053069A1 (en) | 2008-08-26 | 2010-03-04 | Symbol Technologies, Inc. | Mobile computing system facilitating adaptive display of content among a plurality of display components including at least one virtual image display component |
| CN101349944A (zh) | 2008-09-03 | 2009-01-21 | 宏碁股份有限公司 | 手势引导系统及以触控手势控制计算机系统的方法 |
| AT10520U3 (de) | 2008-09-05 | 2013-10-15 | Knapp Systemintegration Gmbh | Vorrichtung und verfahren zur visuellen unterstützung von kommissioniervorgängen |
| US8242884B2 (en) | 2008-09-24 | 2012-08-14 | Denso International America, Inc. | Car finder by cell phone |
| JP5154363B2 (ja) | 2008-10-24 | 2013-02-27 | クラリオン株式会社 | 車室内音声対話装置 |
| WO2010051483A1 (en) | 2008-10-31 | 2010-05-06 | Cedars-Sinai Medical Center | Methods of diagnosing insulin resistance and sensitivity |
| US8249243B2 (en) | 2008-11-13 | 2012-08-21 | Aspect Software, Inc. | Method of remotely operating contact center systems |
| US8547342B2 (en) | 2008-12-22 | 2013-10-01 | Verizon Patent And Licensing Inc. | Gesture-based delivery from mobile device |
| US20100169073A1 (en) | 2008-12-31 | 2010-07-01 | Voice Muffler Corporation | Foldable Wireless Device for Language Translation |
| US7997723B2 (en) | 2008-12-31 | 2011-08-16 | Nokia Corporation | Display apparatus and device |
| US20100171696A1 (en) | 2009-01-06 | 2010-07-08 | Chi Kong Wu | Motion actuation system and related motion database |
| FR2941786B1 (fr) | 2009-02-03 | 2011-04-29 | Laster | Dispositif portable d'affichage tete haute et de realite augmentee |
| US8326601B2 (en) | 2009-02-11 | 2012-12-04 | Microsoft Corporation | Queue based mechanism to support multi-language chat rooms |
| CN105717989B (zh) | 2009-02-27 | 2020-02-21 | 艾卡姆有限公司 | 基于耳机的电信平台 |
| US20100225734A1 (en) | 2009-03-03 | 2010-09-09 | Horizon Semiconductors Ltd. | Stereoscopic three-dimensional interactive system and method |
| US20100250231A1 (en) | 2009-03-07 | 2010-09-30 | Voice Muffler Corporation | Mouthpiece with sound reducer to enhance language translation |
| KR101589433B1 (ko) | 2009-03-11 | 2016-01-28 | 삼성전자주식회사 | 동시 통역 시스템 |
| US20100238184A1 (en) | 2009-03-19 | 2010-09-23 | Michael Janicki | Method and apparatus for three-dimensional visualization in mobile devices |
| JP5389493B2 (ja) | 2009-03-25 | 2014-01-15 | オリンパス株式会社 | 眼鏡装着型画像表示装置 |
| JP5245981B2 (ja) | 2009-03-30 | 2013-07-24 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
| CN201393284Y (zh) | 2009-04-03 | 2010-01-27 | 周业如 | 穿戴式无线音视频交互系统 |
| US8170262B1 (en) | 2009-04-15 | 2012-05-01 | Frank Kung Fu Liu | Wireless air tube headset |
| US8212855B2 (en) | 2009-04-29 | 2012-07-03 | Embarq Holdings Company, Llc | Video conferencing eyewear |
| JP2009179062A (ja) | 2009-05-14 | 2009-08-13 | Seiko Epson Corp | 露光装置および画像形成装置 |
| US8269175B2 (en) * | 2009-05-22 | 2012-09-18 | Motorola Mobility Llc | Electronic device with sensing assembly and method for detecting gestures of geometric shapes |
| US9529437B2 (en) | 2009-05-26 | 2016-12-27 | Dp Technologies, Inc. | Method and apparatus for a motion state aware device |
| US8581856B2 (en) | 2009-05-27 | 2013-11-12 | Microsoft Corporation | Touch sensitive display apparatus using sensor input |
| US8243103B2 (en) * | 2009-05-29 | 2012-08-14 | Exelis, Inc. | Laser aiming spot distinguishing methods and apparatus |
| US20100309295A1 (en) * | 2009-06-04 | 2010-12-09 | Chow Kenny W Y | 3d video processor integrated with head mounted display |
| US20100315329A1 (en) * | 2009-06-12 | 2010-12-16 | Southwest Research Institute | Wearable workspace |
| EP2746727B1 (en) | 2009-07-09 | 2016-09-07 | TomTom International B.V. | Method and device for time-dependent route calculation |
| US20110090135A1 (en) | 2009-10-21 | 2011-04-21 | Symbol Technologies, Inc. | Interchangeable display device for a head-mounted display system |
| CN101706850A (zh) | 2009-10-21 | 2010-05-12 | 杭州乐港科技有限公司 | 一种网页游戏的消息提示方法 |
| US9503555B2 (en) | 2009-10-21 | 2016-11-22 | Symbol Technologies, Llc | Mounting device couplable to a human head |
| US8369779B2 (en) | 2009-10-21 | 2013-02-05 | Plantronics, Inc. | Device wearing status determination using RSSI |
| EP2494388B1 (en) | 2009-10-27 | 2018-11-21 | DigiLens Inc. | Compact holographic eyeglass display |
| US8279861B2 (en) | 2009-12-08 | 2012-10-02 | International Business Machines Corporation | Real-time VoIP communications using n-Way selective language processing |
| WO2011097226A1 (en) | 2010-02-02 | 2011-08-11 | Kopin Corporation | Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands |
| WO2011106797A1 (en) | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Projection triggering through an external marker in an augmented reality eyepiece |
| US20110214082A1 (en) | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Projection triggering through an external marker in an augmented reality eyepiece |
| US20120056846A1 (en) | 2010-03-01 | 2012-03-08 | Lester F. Ludwig | Touch-based user interfaces employing artificial neural networks for hdtp parameter and symbol derivation |
| GB2478738A (en) | 2010-03-16 | 2011-09-21 | Belron Hungary Kft Zug Branch | Eye level display in communication with electronic device |
| JP5564300B2 (ja) | 2010-03-19 | 2014-07-30 | 富士フイルム株式会社 | ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法 |
| JP5499854B2 (ja) | 2010-04-08 | 2014-05-21 | ソニー株式会社 | 頭部装着型ディスプレイにおける光学的位置調整方法 |
| US8982160B2 (en) | 2010-04-16 | 2015-03-17 | Qualcomm, Incorporated | Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size |
| US8545013B2 (en) | 2010-04-27 | 2013-10-01 | Kopin Corporation | Wearable electronic display |
| US20150279354A1 (en) | 2010-05-19 | 2015-10-01 | Google Inc. | Personalization and Latency Reduction for Voice-Activated Commands |
| JP2012002568A (ja) | 2010-06-15 | 2012-01-05 | Brother Ind Ltd | ナビゲーションシステム、携帯機器及び携帯機器用プログラム |
| JP5630141B2 (ja) | 2010-08-18 | 2014-11-26 | ブラザー工業株式会社 | 画像表示システム、画像表示システムに含まれる携帯型情報処理装置のためのコンピュータプログラム、画像表示システムに含まれるヘッドマウントディスプレイ、及び画像表示方法 |
| WO2012025956A1 (ja) | 2010-08-25 | 2012-03-01 | 三菱電機株式会社 | ナビゲーション装置 |
| EP2437163A1 (en) | 2010-09-09 | 2012-04-04 | Harman Becker Automotive Systems GmbH | User interface for a vehicle system |
| US9377862B2 (en) | 2010-09-20 | 2016-06-28 | Kopin Corporation | Searchlight navigation using headtracker to reveal hidden or extra document data |
| US9316827B2 (en) | 2010-09-20 | 2016-04-19 | Kopin Corporation | LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking |
| US9122307B2 (en) | 2010-09-20 | 2015-09-01 | Kopin Corporation | Advanced remote control of host application using motion and voice commands |
| US20190279636A1 (en) | 2010-09-20 | 2019-09-12 | Kopin Corporation | Context Sensitive Overlays in Voice Controlled Headset Computer Displays |
| US10013976B2 (en) | 2010-09-20 | 2018-07-03 | Kopin Corporation | Context sensitive overlays in voice controlled headset computer displays |
| WO2012040086A1 (en) | 2010-09-20 | 2012-03-29 | Kopin Corporation | Miniature communications gateway for head mounted display |
| WO2012040386A1 (en) | 2010-09-21 | 2012-03-29 | 4Iiii Innovations Inc. | Head-mounted peripheral vision display systems and methods |
| US8862186B2 (en) | 2010-09-21 | 2014-10-14 | Kopin Corporation | Lapel microphone micro-display system incorporating mobile information access system |
| US20120089392A1 (en) | 2010-10-07 | 2012-04-12 | Microsoft Corporation | Speech recognition user interface |
| US8378881B2 (en) | 2010-10-18 | 2013-02-19 | Raytheon Company | Systems and methods for collision avoidance in unmanned aerial vehicles |
| US20120110456A1 (en) | 2010-11-01 | 2012-05-03 | Microsoft Corporation | Integrated voice command modal user interface |
| CN101986255A (zh) | 2010-11-05 | 2011-03-16 | 福州瑞芯微电子有限公司 | 一种半透明渐变式三维用户界面 |
| US8994610B2 (en) | 2010-11-08 | 2015-03-31 | Symbol Technologies, Inc. | User configurable headset |
| US8184983B1 (en) | 2010-11-12 | 2012-05-22 | Google Inc. | Wireless directional identification and subsequent communication between wearable electronic devices |
| DE102010052244A1 (de) | 2010-11-23 | 2012-05-24 | Pierre-Alain Cotte | Verfahren und Vorrichtung zur Darstellung einer grafischen Benutzeroberfläche einer tragbaren Recheneinheit auf einem externen Anzeigegerät |
| WO2012087900A2 (en) | 2010-12-20 | 2012-06-28 | Bio-Nexus Ltd. | System and method for mobile workflow processing |
| US8290669B2 (en) | 2010-12-29 | 2012-10-16 | Honda Motor Co., Ltd. | System and method for controlling an engine |
| US20120188245A1 (en) | 2011-01-20 | 2012-07-26 | Apple Inc. | Display resolution increase with mechanical actuation |
| JP5977922B2 (ja) | 2011-02-24 | 2016-08-24 | セイコーエプソン株式会社 | 情報処理装置および情報処理装置の制御方法、透過型頭部装着型表示装置 |
| CN102724353A (zh) | 2011-03-31 | 2012-10-10 | 汉王科技股份有限公司 | 一种手机界面显示方法和装置 |
| CN102736827A (zh) | 2011-04-12 | 2012-10-17 | 上海三旗通信科技股份有限公司 | 一种移动终端支持3d翻转唱片封面的实现方式 |
| US10627860B2 (en) | 2011-05-10 | 2020-04-21 | Kopin Corporation | Headset computer that uses motion and voice commands to control information display and remote devices |
| US20120302288A1 (en) | 2011-05-23 | 2012-11-29 | Joe Born | Cellular Telephone Docking Interface |
| US9582187B2 (en) | 2011-07-14 | 2017-02-28 | Microsoft Technology Licensing, Llc | Dynamic context based menus |
| US9131296B2 (en) | 2011-09-19 | 2015-09-08 | Apple Inc. | Auto-configuring audio output for audio performance and fault detection |
| WO2013101438A1 (en) | 2011-12-29 | 2013-07-04 | Kopin Corporation | Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair |
| US8577427B2 (en) | 2012-03-08 | 2013-11-05 | Lee Serota | Headset with adjustable display and integrated computing system |
| US8818606B2 (en) | 2012-04-16 | 2014-08-26 | GM Global Technology Operations LLC | System and method for vehicle lateral control |
| EP2842055B1 (en) | 2012-04-25 | 2018-06-27 | Kopin Corporation | Instant translation system |
| US8929954B2 (en) | 2012-04-25 | 2015-01-06 | Kopin Corporation | Headset computer (HSC) as auxiliary display with ASR and HT input |
| US9436220B2 (en) | 2012-05-04 | 2016-09-06 | Jpmorgan Chase Bank, N.A. | System and method for mobile device docking station |
| US9442290B2 (en) | 2012-05-10 | 2016-09-13 | Kopin Corporation | Headset computer operation using vehicle sensor feedback for remote control vehicle |
| US9100757B2 (en) | 2012-07-02 | 2015-08-04 | Apple Inc. | Headset impedance detection |
| US9099967B2 (en) | 2012-09-28 | 2015-08-04 | Apple Inc. | Increasing ground noise rejection in audio systems |
| US9319019B2 (en) | 2013-02-11 | 2016-04-19 | Symphonic Audio Technologies Corp. | Method for augmenting a listening experience |
| US9301085B2 (en) | 2013-02-20 | 2016-03-29 | Kopin Corporation | Computer headset with detachable 4G radio |
| US9548047B2 (en) | 2013-07-31 | 2017-01-17 | Google Technology Holdings LLC | Method and apparatus for evaluating trigger phrase enrollment |
-
2012
- 2012-05-10 US US13/468,207 patent/US10627860B2/en active Active
- 2012-05-10 CN CN201810876856.3A patent/CN109116985A/zh active Pending
- 2012-05-10 CN CN201280031144.2A patent/CN103620527B/zh active Active
- 2012-05-10 WO PCT/US2012/037284 patent/WO2012154938A1/en active Application Filing
- 2012-05-10 EP EP12782481.1A patent/EP2712432A4/en not_active Withdrawn
-
2020
- 2020-01-21 US US16/748,668 patent/US11237594B2/en active Active
-
2021
- 2021-11-02 US US17/516,962 patent/US11947387B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6198462B1 (en) * | 1994-10-14 | 2001-03-06 | Hughes Electronics Corporation | Virtual display screen system |
| US6313864B1 (en) * | 1997-03-24 | 2001-11-06 | Olympus Optical Co., Ltd. | Image and voice communication system and videophone transfer method |
| US7501995B2 (en) * | 2004-11-24 | 2009-03-10 | General Electric Company | System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation |
| CN101243392A (zh) * | 2005-08-15 | 2008-08-13 | 皇家飞利浦电子股份有限公司 | 用于终端用户编程的增强现实眼镜的系统、设备和方法 |
| WO2010129679A1 (en) * | 2009-05-08 | 2010-11-11 | Kopin Corporation | Remote control of host application using motion and voice commands |
| US20110001699A1 (en) * | 2009-05-08 | 2011-01-06 | Kopin Corporation | Remote control of host application using motion and voice commands |
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10579324B2 (en) | 2008-01-04 | 2020-03-03 | BlueRadios, Inc. | Head worn wireless computer having high-resolution display suitable for use as a mobile internet device |
| US10474418B2 (en) | 2008-01-04 | 2019-11-12 | BlueRadios, Inc. | Head worn wireless computer having high-resolution display suitable for use as a mobile internet device |
| US11947387B2 (en) | 2011-05-10 | 2024-04-02 | Kopin Corporation | Headset computer that uses motion and voice commands to control information display and remote devices |
| US11237594B2 (en) | 2011-05-10 | 2022-02-01 | Kopin Corporation | Headset computer that uses motion and voice commands to control information display and remote devices |
| US10627860B2 (en) | 2011-05-10 | 2020-04-21 | Kopin Corporation | Headset computer that uses motion and voice commands to control information display and remote devices |
| CN106664393A (zh) * | 2014-07-31 | 2017-05-10 | 索尼公司 | 信息处理装置、信息处理方法以及图像显示系统 |
| CN104407766A (zh) * | 2014-08-28 | 2015-03-11 | 联想(北京)有限公司 | 一种信息处理方法和穿戴式电子设备 |
| CN105786167A (zh) * | 2014-12-26 | 2016-07-20 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN105786167B (zh) * | 2014-12-26 | 2019-11-26 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN107211195A (zh) * | 2015-02-12 | 2017-09-26 | 日商可乐普拉股份有限公司 | 使用头戴显示器的内容视听用的装置和系统 |
| CN107211195B (zh) * | 2015-02-12 | 2020-04-24 | 日商可乐普拉股份有限公司 | 使用头戴显示器的内容视听用的装置和系统 |
| CN107637066A (zh) * | 2015-05-12 | 2018-01-26 | 三星电子株式会社 | 使用可穿戴装置的远程控制方法和装置 |
| CN104967816B (zh) * | 2015-06-15 | 2019-01-01 | 广州杰赛科技股份有限公司 | 智能穿戴设备及应急监控系统 |
| CN104967816A (zh) * | 2015-06-15 | 2015-10-07 | 广州杰赛科技股份有限公司 | 智能穿戴设备及应急监控系统 |
| CN106249847A (zh) * | 2015-07-21 | 2016-12-21 | 深圳市拓丰源电子科技有限公司 | 一种基于头戴式设备实现远程控制的虚拟增强现实系统 |
| CN108028910A (zh) * | 2015-09-25 | 2018-05-11 | 索尼公司 | 信息处理设备、信息处理方法与程序 |
| CN108351643B (zh) * | 2015-10-30 | 2021-06-22 | 索尼移动通讯有限公司 | 控制无人机的方法和控制无人机的位置的装置 |
| CN108351643A (zh) * | 2015-10-30 | 2018-07-31 | 索尼移动通讯有限公司 | 用于受心率控制的无人机的方法和装置 |
| WO2017084158A1 (zh) * | 2015-11-20 | 2017-05-26 | 广州亿航智能技术有限公司 | 摄像设备指向方位控制装置 |
| CN108292489B (zh) * | 2015-11-20 | 2021-01-12 | 索尼互动娱乐股份有限公司 | 信息处理装置和图像生成方法 |
| CN108292489A (zh) * | 2015-11-20 | 2018-07-17 | 索尼互动娱乐股份有限公司 | 信息处理装置和图像生成方法 |
| US10522145B2 (en) | 2016-03-01 | 2019-12-31 | Sony Corporation | Information processing apparatus and information processing method |
| US11415980B2 (en) | 2016-07-29 | 2022-08-16 | Nec Solution Innovators, Ltd. | Moving object operation system, operation signal transmission system, moving object operation method, program, and recording medium |
| CN109564428B (zh) * | 2016-07-29 | 2022-05-31 | 日本电气方案创新株式会社 | 移动物体操作系统、操作信号发送系统、移动物体操作方法、程序和记录介质 |
| US11467572B2 (en) | 2016-07-29 | 2022-10-11 | NEC Solution Innovations, Ltd. | Moving object operation system, operation signal transmission system, moving object operation method, program, and recording medium |
| CN109564428A (zh) * | 2016-07-29 | 2019-04-02 | 日本电气方案创新株式会社 | 移动物体操作系统、操作信号发送系统、移动物体操作方法、程序和记录介质 |
| WO2018053824A1 (zh) * | 2016-09-26 | 2018-03-29 | 深圳市大疆创新科技有限公司 | 无人机控制方法、头戴式显示眼镜及系统 |
| CN107454947A (zh) * | 2016-09-26 | 2017-12-08 | 深圳市大疆创新科技有限公司 | 无人机控制方法、头戴式显示眼镜及系统 |
| CN109937394A (zh) * | 2016-10-04 | 2019-06-25 | 脸谱公司 | 用于虚拟空间中的用户交互的控件和界面 |
| CN106540444A (zh) * | 2016-11-21 | 2017-03-29 | 上海健石智能科技有限公司 | 一种游乐场体感操作游戏头盔 |
| CN109844694A (zh) * | 2017-06-15 | 2019-06-04 | 腾讯科技（深圳）有限公司 | 使用集线器连接两个不同环境的系统和方法 |
| US10901499B2 (en) | 2017-06-15 | 2021-01-26 | Tencent Technology (Shenzhen) Company Limited | System and method of instantly previewing immersive content |
| CN109844694B (zh) * | 2017-06-15 | 2020-08-25 | 腾讯科技（深圳）有限公司 | 使用集线器连接两个不同环境的系统和方法 |
| CN109144245A (zh) * | 2018-07-04 | 2019-01-04 | Oppo（重庆）智能科技有限公司 | 设备控制方法及相关产品 |
| CN109582141B (zh) * | 2018-11-23 | 2022-05-10 | 华为技术有限公司 | 根据眼球焦点控制显示屏的方法和头戴电子设备 |
| CN109582141A (zh) * | 2018-11-23 | 2019-04-05 | 华为技术有限公司 | 根据眼球焦点控制显示屏的方法和头戴电子设备 |
| CN111781725A (zh) * | 2020-06-28 | 2020-10-16 | 浙江华消科技有限公司 | 消防机器人的声控眼镜、遥控方法和消防控制系统 |
| CN113805653A (zh) * | 2021-08-27 | 2021-12-17 | 瑞欧威尔(上海)智能科技有限公司 | 一种ai头戴式计算机 |
| CN113805653B (zh) * | 2021-08-27 | 2024-04-23 | 瑞欧威尔(上海)智能科技有限公司 | 一种ai头戴式计算机 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2712432A4 (en) | 2014-10-29 |
| WO2012154938A1 (en) | 2012-11-15 |
| US20220057831A1 (en) | 2022-02-24 |
| US20120287284A1 (en) | 2012-11-15 |
| US11237594B2 (en) | 2022-02-01 |
| CN103620527B (zh) | 2018-08-17 |
| CN109116985A (zh) | 2019-01-01 |
| WO2012154938A8 (en) | 2013-01-10 |
| US20200159283A1 (en) | 2020-05-21 |
| US10627860B2 (en) | 2020-04-21 |
| EP2712432A1 (en) | 2014-04-02 |
| US11947387B2 (en) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11947387B2 (en) | Headset computer that uses motion and voice commands to control information display and remote devices | |
| TWI621967B (zh) | 虛擬實境系統 | |
| US20210143672A1 (en) | Nfc communication and qi wireless charging of eyewear | |
| US10078366B2 (en) | Head-mountable apparatus and system | |
| US10073262B2 (en) | Information distribution system, head mounted display, method for controlling head mounted display, and computer program | |
| US10908428B2 (en) | Multiple-device system with multiple power and data configurations | |
| CN110060614B (zh) | 头部佩戴型显示装置及其控制方法、显示系统 | |
| US10718948B2 (en) | Head-mounted display apparatus, display control method, and computer program | |
| US20190285896A1 (en) | Transmission-type head mounted display apparatus, method of controlling transmission-type head mounted display apparatus, and computer program for controlling transmission-type head mounted display apparatus | |
| US20160171780A1 (en) | Computer device in form of wearable glasses and user interface thereof | |
| JP2016206374A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
| JP2018097160A (ja) | 表示システム、表示装置、及び、表示装置の制御方法 | |
| JP2018142764A (ja) | 表示システム、表示装置、及び、表示装置の制御方法 | |
| JP2018055416A (ja) | 表示装置、頭部装着型表示装置、表示装置の制御方法、及び、プログラム | |
| US20190086677A1 (en) | Head mounted display device and control method for head mounted display device | |
| US20210065435A1 (en) | Data processing | |
| GB2515353A (en) | Head-mountable apparatus and systems | |
| US10902617B2 (en) | Data processing for position detection using optically detectable indicators | |
| JP2018091882A (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
| JP2018056791A (ja) | 表示装置、受信装置、プログラム、及び受信装置の制御方法。 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |