CN103827780B - 用于虚拟输入设备的方法和系统 - Google Patents

用于虚拟输入设备的方法和系统 Download PDF

Info

Publication number
CN103827780B
CN103827780B CN201280044081.4A CN201280044081A CN103827780B CN 103827780 B CN103827780 B CN 103827780B CN 201280044081 A CN201280044081 A CN 201280044081A CN 103827780 B CN103827780 B CN 103827780B
Authority
CN
China
Prior art keywords
projection
equipment
input equipment
image
input device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280044081.4A
Other languages
English (en)
Other versions
CN103827780A (zh
Inventor
T·E·斯塔纳
池梁宇（汤姆）
L·R·P·戈麦斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/181,238 external-priority patent/US8228315B1/en
Application filed by Google LLC filed Critical Google LLC
Publication of CN103827780A publication Critical patent/CN103827780A/zh
Application granted granted Critical
Publication of CN103827780B publication Critical patent/CN103827780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2006—Lamp housings characterised by the light source
    • G03B21/2033—LED or laser light sources
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B29/00—Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本申请公开用于虚拟输入设备的系统和方法。在一个实施例中，虚拟输入设备包括投影仪和摄像机。投影仪将图案投影到表面。摄像机捕捉可由处理器解释以判定动作的图像。投影仪可以被装载在一副眼镜的镜臂上，而摄像机可以被装载在眼镜的相对镜臂上。用于虚拟输入设备的图案可以被投影到用户的“显示手”，并且摄像机能够检测何时用户使用相对手来选择虚拟输入设备的项目。在另一个示例中，摄像机可以检测何时显示手正在移动，并且解释显示手的移动作为虚拟输入设备的输入，和/或重新排列在移动的显示手上的投影。

Description

用于虚拟输入设备的方法和系统
相关申请的交叉引用
本申请要求2011年7月12日递交的、序列号为13/181,238的、题目为“Methods andSystems for a Virtual Input Device”的美国专利申请，和2012年6月26日递交的、序列号为13/533,120的、题目为“Methods and Systems for a Virtual Input Device”的美国专利申请的优先权，两者通过引用被并入本文如同在本说明书中进行了详尽阐述。
背景技术
投影键盘是一种能够被投影到表面的虚拟键盘，键盘的部件检测手指移动并将所述移动转换为在设备上的击键。投影键盘单元通常包括激光，用于将可视虚拟键盘投影到表面上(例如，红色二极管激光作为光源以用于投影全尺寸QWERTY布局键盘，距投影键盘单元60mm处投影尺寸为295mm x 95mm)，和传感器或者摄像机以感知手指移动。手指的位置或者检测到的坐标可以被用于判定将要产生的动作或者特性。
投影键盘也可以使用第二(不可见红外)光束投影到虚拟键盘之上。在这个示例中，当手指在虚拟键盘上击键时，手指隔断红外光束，并且红外光反射回摄像机。反射的红外光束可以穿过红外滤光器到摄像机，而摄像机可以拍摄入射的红外光的角度。传感器可以判定红外光束在哪里被隔断，并且检测到的坐标可以被用于判定将要产生的动作或者特性。
投影键盘可以包括使用微控制器以接收对应于来自传感器的反射光或者闪光的位置信息，并且解释将通过适当的接口与外部设备通信的事件。事件可以包括击键、鼠标移动或者触摸板控制。
发明内容
除了其他事物以外，本公开可能公开用于虚拟输入设备的方法和系统。在一个示例中，提供了一种用于虚拟输入设备的系统，其包括投影仪、摄像机和处理器。投影仪被配置用于将虚拟输入设备提供到表面，而虚拟输入设备包括对象的图案。摄像机被配置用于捕捉虚拟输入设备的图像，并且捕捉表面的图像，而处理器被配置用于接收虚拟输入设备的图像和表面的图像，以判定表面的近似位置。处理器可以进一步被配置用于基于表面的近似位置，指示投影仪修改虚拟输入设备的投影，并且当处理器判定虚拟输入设备的图像具有高于预定阈值的亮度时，判定虚拟输入设备正在被使用。
在另一个示例中，提供了一种用于虚拟输入设备的操作的方法。该方法包括将虚拟输入设备提供到表面，所述虚拟输入设备包括对象的图案。所述方法还包括接收虚拟输入设备的图像，并且基于该图像来判定表面的近似位置。所述方法进一步包括基于表面的近似位置，修改虚拟输入设备的投影，并当处理器判定虚拟输入设备的图像具有高于预定阈值的亮度时，判定虚拟输入设备正在被使用。
在又一个示例中，提供一种包括有形的计算机可读介质的制品，所述介质上编码有计算机可读指令。计算机可读介质包括指令，用于将虚拟输入设备提供到表面，虚拟输入设备包括对象的图案。计算机可读介质还包括指令，用于接收虚拟输入设备的图像，和指令用于基于图像来判定表面的近似位置。计算机可读介质进一步包括指令，用于基于表面的近似位置，修改虚拟输入设备的投影，并且当处理器判定虚拟输入设备的图像具有高于预定阈值的亮度时判定虚拟输入设备正在被使用。
在另一个示例中，提供一种系统，其包括用于将虚拟输入设备提供到表面上的模块，所述虚拟输入设备包括对象的图案。所述系统还包括用于捕捉虚拟输入设备的图像的模块、用于接收图像的模块、用于基于表面的近似位置来修改虚拟输入设备投影的模块、以及用于当处理器判定虚拟输入设备的图像具有高于预定阈值的亮度时判定虚拟输入设备正在被使用的模块。
前述发明内容仅仅是解释性的，而不旨在以任何方式进行限制。除了上面描述的解释性的方面、实施例和特征之外，通过参考附图和以下的具体实施方式，进一步的方面、实施例和特征将会变得明显。
附图说明
在附图中，
图1示出了用于传输和接收数据的示例系统；
图2示出了用于接收、传输和显示数据的示例系统；
图3A-3B示出了图2的系统的示例操作；
图4示出了在虚拟输入设备接收输入的示例；
图5示出了在虚拟输入设备接收输入的另一个示例；
图6是按照本文描述的至少一些实施例的用于判定虚拟输入设备的对象选择的示例方法的框图；
图7A-7C示出了投影表面的示例性旋转移动；
图8A-8C示出了投影表面的旋转移动的额外示例；
图9A-9C示出了投影表面的示例性倾斜移动；
图10A-10C示出了投影表面的额外示例性倾斜移动；
图11A-11C示出了投影表面的示例性移动以指示对象的选择；
图12是按照本文描述的至少一些实施例的用于虚拟输入设备的操作的示例方法的框图；
图13是按照本文描述的至少一些实施例的用于虚拟输入设备的操作的另一个示例方法的框图；
图14是按照本文描述的至少一些实施例的用于虚拟输入设备的操作的另一个示例方法的框图；
图15示出了系统的示例操作；
图16是示出了在按照本文描述的至少一些实施例布置的计算系统中使用的示例计算设备的功能框图；和
图17是示出了示例计算机程序产品的概念上的部分观点的示意图，所述计算机程序产品包括用于在计算设备上执行计算机过程的计算机程序。
所有布置按照本文描述的至少一些实施例。
具体实施方式
在以下的具体实施方式中对形成该具体实施方式的一部分的附图进行了引用。在附图中，除非上下文另外指示，否则相似的符号通常标识了相似的部件。在具体实施方式、附图和权利要求中描述的说明性的实施例，并不是为了限制。可以使用其他实施例，可以进行其他改变，而不偏离本文展示的主题的范围。容易理解的是，如本文大致描述的并且在附图示出的本公开的方面，可以以多种多样不同配置进行布置、替代、合并、分离和设计，所有这些在本文中被明确地考虑。
本申请尤其公开用于虚拟输入设备的方法和系统。简单地讲，在一个示例中，描述了一种虚拟输入设备(或者键盘)，其包括激光投影仪和摄像机。投影仪将激光投影到表面上。可以以任何数量的图案或者图形用户界面(GUI)投影激光，包括键盘。摄像机可以捕捉图像，其可以由处理器解释(例如，使用计算机视觉技术)以判定例如键盘的按键。
在一个示例中，激光投影仪可以被装载在一副眼镜的一镜臂上，而摄像机可以被装载在所述眼镜的相对镜臂上。处理器可以进一步被装载在眼镜上并且耦合到激光投影仪和/或摄像机。用于虚拟输入设备的激光图案可以被投影到用户的手上，而用户可以使用相对的手选择虚拟输入设备的项目。例如，激光图案可以被投影到“显示手”上，而摄影机可以检测用户何时使用相对手并且激光击中正在做选择的相对手的“动作手指”。
在另一个示例中，处理器可以检测何时显示手正在移动并且解释显示手移动，作为到虚拟输入设备的输入。例如，当显示手倾斜时，激光图案改变，并且激光图案的改变可以被辨识。当显示手远离用户倾斜时，在手的远边缘的激光图案的图像比在手的近边缘的激光图案的图像小。相似的，如果显示手旋转，那么最靠近投影仪的手的边缘显示的对象较大，而较为远离投影仪的边缘显示的对象较小。显示手的移动(例如倾斜和旋转)可以被判定并且接受为用户选择。在一个示例中，显示手的移动可以被解释为相似于在标准计算机上从鼠标接收到的用户输入。旋转可以被解释为水平的(x轴)移动，而倾斜可以被解释为垂直的(y轴)移动。
在另一个示例中，处理器可以检测显示手何时正在移动，并且可以指示激光投影仪基于移动调整虚拟输入设备的投影，以便追踪移动的显示手。处理器可以被进一步配置为：当处理器判定虚拟输入设备的图像的亮度高于预定的阈值时，判定虚拟输入设备正在被使用。
现参考图1，示出了用于传输和接收数据的示例系统100。系统100包括使用通信链路104(例如有线或者无线连接)与主机106通信的设备102。
设备102可以是能够接收数据并显示对应于或者关联于所述数据的信息的任何类型的设备。例如，设备102可以是抬头显示系统，例如眼镜或者任何类型的包含显示装置的近眼显示器单元(例如，头盔、隐形眼镜和护目镜)。进一步的示例实施例例如可以包括头戴显示器(HMD)，包括液晶显示器(LCD)、发光二极管(LED)、模塑聚合物显示器、或者自由空间反射显示器的显示器、或者图像产生的其他方式。额外的示例实施例可以包括在显示器中用于在用户眼前产生图像的波导，或者包括带有双眼显示器或者单眼显示器的HMD的可穿戴计算机。
因此，设备102可以包括显示系统108，其包括处理器110和显示器112。显示器112可以是，例如，光学穿透显示器、光学环顾显示器或者视频穿透显示器。显示系统108可以被配置用于与主机106通信(例如，有线或无线地接收和传输数据)。处理器110可以接收来自主机106的数据，并配置数据以用于在显示器112显示。处理器110可以是任何类型的处理器，例如微处理器、数字信号处理器(DSP)等，并且显示器112可以是任何类型的显示器，包括LCD、等离子等。
此外，设备102可以包括耦合到处理器110的一个或多个传感器，例如传感器114。传感器114可以是陀螺仪或者加速计以测量设备102的移动。传感器114可以进一步包括以下中的任一项：例如，除了其它的，全球定位系统(GPS)接收机、红外传感器、光学传感器、生物传感器、射频识别(RFID)系统、无线传感器和/或指南针。传感器114也可以采用摄像机的形式，并且设备的移动可以例如基于光流或者计算机视觉来进行判定(例如，使用于自摄像机的图像判定动作)。
此外，设备102可以包括集成的用户界面(UI)，其允许用户与设备102交互。例如，设备102可以包括各种按钮和/或触摸屏界面，其允许用户提供输入。作为另一个示例，设备102可以包括被配置用于接收来自用户的语音指示的麦克风。此外，设备102可以包括一个或多个界面，其允许各种类型的用户-界面设备被连接到设备102。
设备102可以进一步包括机载数据存储，例如耦合到处理器110的存储器116。存储器116可以存储例如可以由处理器110访问和执行的软件。
主机106可以是任何类型的计算设备或者发送机，包括膝上计算机、移动电话等，其被配置用于传输数据到设备102。主机106和设备102可以包含硬件用于实现通信链路104，例如处理器、发送机、接收机、天线等。
在图1中，示出作为无线连接的通信链路104；然而，也可以使用有线连接。例如，通信链路104可以是经由例如USB的串行总线或并行总线的有线链路。有线连接也可以是专有连接。通信链路104也可以是无线连接，例如蓝牙、IEEE 802.11(IEEE 802.11可以指IEEE802.11-2007、IEEE 802.11n-2009或者任何其他IEEE 802.11修订)、或者其他基于无线的通信链路。
在另一个示例中，系统100包括接入点118，设备102可以通过所述接入点118与因特网120通信。在这个示例中，设备102可能不要求连接到主机106。接入点118可以采用各种形式。例如，如果设备102使用802.11或者经由以太网连接来连接，则接入点118可以采用无线接入点(WAP)或者无线路由器的形式。作为另一个示例，如果设备102利用蜂窝空中接口协议(例如CDMA或者GSM协议)来连接，则接入点118可以是在蜂窝网络中经由蜂窝网络提供因特网连接的基站。
同样，设备102可以包括有线或者无线网络接口，设备102可以通过所述网络接口连接到接入点118。作为示例，设备102可以被配置用于使用一个或多个协议连接到接入点118，所述协议例如802.11、802.16(WiMAX)、LTE、GSM、GPRS、CDMA、EV-DO和/或HSPDA。此外，设备102可以被配置用于使用多个有线和/或无线协议连接到接入点118，所述协议例如使用蜂窝通信协议(例如，CDMA、GSM或者WiMAX和使用802.11的“WiFi”连接)的“3G”或“4G”数据连接。其他示例也是可能的。
或者，主机106也可以包括到因特网120的连接，因此，设备102可以通过主机106访问因特网120。
系统100的一个或多个描述的功能可以被划分成额外的功能或者物理部件，或者合并入更少的功能或者物理部件。例如，尽管作为设备102的部件示出传感器114，但传感器114可以是与设备102分离的，因此，可以与设备102通信。在又一些示例中，额外的功能和/或物理部件可以被增加到由图1示出的示例。
图2示出了用于接收、传输和显示数据的示例系统200。系统200以可穿戴计算设备的形式展示，例如包括一副眼镜的HMD。在一个示例中，系统200可以被配置用于如图1中展示的设备104那样操作，或者包括图1所示的设备104的任何功能。
系统200包括显示器202、机载计算系统204、光波导206、视频摄像机208、激光投影仪210和传感器212。系统200的一个或多个描述的部件或者功能可以被划分成额外的功能或者物理部件，或者合并入更少的功能或者物理部件。在又一些示例中，额外的功能和/或物理部件可以被增加到由图2示出的示例系统200。
显示器202可以被配置用于以物理世界的用户视野覆盖计算机产生的图形。示出的显示器202设置在一副眼镜的一个透镜的中心，然而显示器202可以设置在其他位置。另外，可以提供不止一个显示器，例如在眼镜的相对透镜上提供第二显示器，或者在一个透镜中提供多个显示器。
显示器202可以经由机载计算系统204控制，所述机载计算系统204经由光波导206耦合到显示器202。所示的机载计算系统204位于一副眼镜的一条镜臂上，然而机载计算系统204也可以设置在其他位置(例如，在眼镜鼻托处)。例如，机载计算系统204可以包括处理器和存储器。机载计算系统204可以被配置用于接收和分析来自视频摄像机208的数据(和可能来自其他传感设备和/或用户接口的数据)，并且相应地控制显示器202。进一步地，组成图形的数据(例如，视频、图像、文本等)可以经由光波导206从机载计算系统204中继到显示器202。
所示的视频摄像机208装载在眼镜框上。视频摄像机208也可以装载在其他位置。视频摄像机208可以被配置用于以各种分辨率和/或不同的帧率(例如，不同的帧每秒(fps))捕捉图像(例如视频)。许多具有小形状因子的视频摄像机(例如那些在蜂窝电话、网络摄像头等中使用的)被本领域的技术人员所熟知，并且可以被并入系统200的示例。然而应当理解，本文描述的示例不限于任何特定类型的视频摄像机。尽管图2示出了一个视频摄像机208，但可以使用更多的视频摄像机，并且每个可以被配置用于捕捉相同的视野或者捕捉不同视角或视野，并且因此可以被装载在一副眼镜的其他区域。
视频摄像机208可以是定向的，以便通过将视频摄像机208定向来捕捉与用户视野类似的视野，来大体上追踪用户的参照系(即用户的视野点)。其他配置也是可能的。如图2所示，视频摄像机208可以被装载在眼镜臂上并且定向以捕捉在眼镜前的图像。或者，视频摄像机208可以被装载在用户的额头或者在用户的眼睛之间，并且定向为与用户眼睛相同的方向。视频摄像机208可以被配置用于追踪用户头部的移动，并且因此在给定的时间点的记录视频的视角可以捕捉在那个时间的用户参照系(即用户的视野)。
在一个示例中，对显示器202进行定位和定尺寸，以使得正在显示的图像似乎覆盖或者“飘浮”在物理世界的用户视野之上，因此提供这样一种体验：其中计算机产生的信息可以与物理世界的用户感知相融合。为此，机载计算系统204可以被配置用于分析由视频摄像机208捕捉的视频片段，以判定应当显示什么图形，以及应当如何显示图形(例如，在显示器上的位置、图形的尺寸等)。
所示的激光投影仪210装载在与视频摄像机208相对的眼镜臂上。然而，激光投影仪210可以被装载在与视频摄像机208相同的臂上，或者在一副眼镜的其他区域。激光投影仪210可以被定向以便在用户正在看的方向上投影图像。激光投影仪210可以被配置用于投影图像(例如虚拟输入设备)到表面。在一个示例中，虚拟输入设备可以包括采用了QWERTY键盘形式的对象的激光图案。对象的激光图案也可以包括依赖系统200的应用的许多其他类型或者配置。
激光投影仪210可以提供视觉图像，或者可替代地，激光投影仪210可以包括红外(IR)投影仪以提供IR或者激光图案和IR的组合。在一个实施例中，当使用IR投影仪时，在图3B中在抬头显示器(下面描述)中可以看到图像。
激光投影仪210可以提供由激光产生的图案，例如，激光穿过衍射图案产生器以创造点或线的网格，造成激光图案。
此外，激光投影仪210可以被配置用于在任何要求的方向提供投影。例如，激光投影仪210可以包括镜子，镜子可以被配置用于在要求的方向反射投影，或者激光投影仪210可以包括可移动的底座以改变投影的方向(例如，装有电动机的或者不装有电动机的底座)。
更进一步的，激光投影仪210可以是或者包括通常的任何类型的投影仪显示器(例如，激光投影仪、LCD背光、硅基液晶(LCOS)等)，包括激光的投影仪是一个示例。其他示例也是可能的。
示出的传感器212装载在一副眼镜的镜臂上，然而，传感器212可以位于系统200的其他区域。例如，传感器212可以包括一个或多个陀螺仪或者加速计。其他传感设备可以被包括在传感器212内，或者其他传感功能可以由传感器212执行。此外，系统200可以包括额外的传感器，或者额外的输入设备，例如轨迹板输入设备、用于输入的按钮等。
图3A示出了图2的系统200的示例操作。在一个示例中，用户可以戴上作为一副眼镜的系统200，并且激光投影仪210可以被配置用于提供对象300的激光图案的投影。基于用户注视的方向(例如，用户正在看的方向)，用户可以引导在哪里显示对象300的激光图案的投影。在图3A展示的示例中，用户正在看手302，因此对象300的激光图案可以被投影到手302上。在这个示例中，手302可以被认为是显示手，而对象300的激光投影是数字小键盘。然而，对象300的激光图案可以被投影到任何表面上，并且可以包括任何数量的对象，对象的内容可以按照要求配置。
图3B示出了图2的系统另一个示例操作。在这个示例中，可以在眼镜的抬头显示器304中查看投影。抬头显示器304可以被配置用于在用户查看图形时，对准图形以覆盖到手302上。在这个示例中，可以没有虚拟输入设备投影到表面。
尽管在图3A-3B中展示的系统200体现为一副眼镜，但系统的部件可以从眼镜分离。例如，摄像机208和/或投影仪210可以从眼镜分离，并且可以被附加在用户其他区域，包括脖子、胸部、腕部或者腰带，并被配置用于在投影图像和从表面捕捉图像。作为特定的示例，摄像机和投影仪可以被附在用户的腰带，并被引导投影激光图案到地板或者用户的脚上，而不是投影到用户的手上或者除了投影到用户手上以外。进一步的，包括摄像机208和投影仪210的系统200的部件可以从眼镜处移除，并且可以被置于例如用户的腰带，或者被定制为被配置用于在任何要求的方向操作。更进一步的，系统可以包括多个摄像机和/或多个投影仪以投影图案并捕捉多个区域的图像。
在一个示例中，当对象300的激光图案被投影到显示手302时，摄像机208可以拍摄手302的图像和对象300的激光图案。在一个示例中，当对象300的激光图案包括虚拟输入设备时，用户可以使用相对手来向虚拟输入设备提供输入。图4示出了在虚拟输入设备上接收输入的示例。例如在图4中，对象300的激光图案被投影到手302(例如，到手302的手掌)，用户可以使用相对手来通过选择对象300的激光图案的一个对象提供输入。
当用户移动手指304(例如，动作手指)通过对象300的激光图案时，摄像机208可以拍摄围绕动作手指304弯曲的不连续的激光线。激光线中的改变可以被用于判定动作手指304的位置或者近似位置。对于已知的激光图案，例如，一组显示为按钮的10个图标，系统200的机载计算机的处理器可以检测在图像300的激光图案中哪个按钮被动作手指304扭曲，以判定选择了哪个按钮。在判定了已经选择哪个对象之后，系统200的机载计算机可以引导激光投影仪改变所选择的对象，例如通过改变对象的颜色。
尽管图4示出了投影到手302的对象300的激光图案，但对象300的激光图案可以被投影到任何区域或者表面(例如，除了手之外)，并且用户可以使用能够扭曲激光图案的任何项目来在虚拟输入设备上做出选择。
图5示出了在虚拟输入设备上接收输入的另一个示例。在图5中，对象308的激光图案被投影到用户的前臂306，并且用户可以使用相对手通过选择对象308的激光图案的一个对象提供输入。在这个例子中，对象308的激光图案包括编号为一至四的四个按钮，并且第二按钮在用户选择之后改变颜色。
图6是按照本文描述的至少一些实施例的用于判定虚拟输入设备的对象的选择的示例方法的框图。展示在图6中的方法600展现了例如可以与系统100和200一起使用且可以被设备(例如头戴设备或者设备部件)执行的方法的实施例。方法600可以包括如一个或多个框602-612所示的一个或多个操作、功能或者动作。尽管框以顺序次序示出，但这些框也可以并行的和/或与在这里描述的那些不同的顺序执行。同样，各种框可以基于所需的实现方式被合并进更少的框、划分成额外的框和/或被移除。
此外，对于本文描述的方法600和其他过程和方法，流程图展示了本实施例的一个可能的实现的功能和操作。在这一点上，每个框可以代表模块、段、或者程序代码的一部分，其包括可由处理器执行以实现处理中的特定逻辑功能或者步骤的一个或多个指令。程序代码可以被存储在任何类型的计算机可读介质上，例如，包括磁盘或者硬盘驱动器的存储设备。计算机可读介质可以包括非瞬态计算机可读介质，例如用于短时期存储数据的计算机可读介质，如寄存器存储器、处理器缓存和随机存取存储器(RAM)。计算机可读介质也可以包括非瞬态介质，例如二级或者持续性长期存储，例如，像只读存储器(ROM)、光盘或磁盘、光盘只读存储器(CD-ROM)。计算机可读介质也可以是任何其他易失或者非易失性存储系统。计算机可读介质可以被认为是例如计算机可读存储介质，或者有形存储设备。
此外，对于方法600和本文公开的其他过程和方法，在图6中的每个框可以代表被连线以执行过程中的特定逻辑功能的电路。
在框602，方法600包括判定是否投影虚拟输入设备和/或捕捉图像。方法600可以例如由图2中的系统200执行，其中激光投影仪和摄像机装载在眼镜上。眼镜可以进一步包括陀螺仪用于感知头部移动。当用户的头是稳定的或者大致稳定的(例如，固定的或者大致固定的)时，激光投影仪可以开始投影虚拟输入设备(例如，对象的激光图案)且摄像机可以被配置用于开始捕捉虚拟输入设备的图像。可以基于陀螺仪的输出来判定用户的头是否是稳定的，例如，当输出在可接受的范围内或者低于预定的阈值时。一旦判定用户的头是稳定的，那么摄像机可以开始捕捉图像(或者视频)以捕捉用户在虚拟输入设备的输入。以这种方式，用户可以指示系统：通过保持他们的头部固定或者大致固定，用户准备好开始与虚拟输入设备交互。
作为一个示例，如果来自摄像机的图像不再包括对象的激光图案的图像(或者不再包括对象的激光图案的可辨别的图像)，则激光投影仪可以停止投影虚拟输入设备并且摄像机可以停止捕捉图像。在这个示例中，对象的激光图案所在的表面可能移出激光投影仪的投影线(例如，用户移动显示手到激光图案的投影线外)，并且处理捕捉到的图案的处理器可以判定用户不再使用虚拟输入设备。从另一个观点，用户可以移动他/她的头，以使激光图案的投影线不再留在表面，所述表面可以为激光图案提供背景以便激光图案的可辨别的图像(例如，亮度/分辨率高于阈值水平的图像)能被解释。例如，穿戴有图2中的系统200的用户可以沿向下的方向看，以将对象的激光图案投影到用户的手上，并且在使用虚拟输入设备之后，用户然后可以向上或者向前看，从而对象的激光图案被投影到向前的方向，并且不到任何特定的表面。
在框604，方法600包括接收与背景的图像相关联的信息。例如，视频摄像机可以捕捉被投影到表面上的虚拟输入设备的图像。图像可以包括虚拟输入设备，例如对象的激光图案。在框604，激光投影仪可以在用户提供输入到虚拟输入设备之前执行校准。例如，为了初始化虚拟输入设备，激光投影仪可以提供闪烁的激光图案(例如，打开/关闭投影的激光图案)以指示图案现在是活动的。当感知或者辨识了闪烁的激光图案(基于捕捉到的图像)时，摄像机可以无需用户交互通过捕捉激光图案的图像来执行校准，其可以被用于作为参考图像(并且可以被存储在存储器中)以判定何时用户与激光图案交互。例如，可以捕捉带有图案和不带有图案的图像，并且，可以判定图案的不同以产生图像。基于图案的图像自身，例如通过修改投影仪的功率能够调节图案的亮度。
作为另一个示例，为了初始化虚拟输入设备，可以发出鸣响或者语音通告。更进一步的，为了初始化虚拟输入设备，可以提供任何类型或者形式的通知。
在框606，方法600包括接收与虚拟输入设备相关联的信息。例如，视频摄像机可以捕捉用户与虚拟输入设备交互的图像。图像可以包括对象，例如，中断对象的激光图案的线的动作手指。在这个示例中，用户可以移动手指穿过激光图案的线，以便指示选择激光图案的一个对象。当手指移动以指示选择激光图案的一个对象时，视频摄像机可以捕捉手指的图像。处理器然后可以接收与虚拟图像设备相关联的信息。信息可以是由视频摄像机捕捉的图像(例如，视频)。
在框608，方法600包括提取图像的特征。例如，处理器可以从图像数据提取具有各种级别复杂度的特征。提取的特征的示例例如包括：线，边缘，脊，例如角或点的局部兴趣点，或者例如与纹理、形状或者运动有关的复杂特征。
在一个示例中，图像可以代表由摄影机查看的真实世界场景，其包括静态背景和可以移动的各种前景对象，而处理器可以提取指示前景对象的特征。例如，背景对象可以包括投影对象的激光图案，而前景对象可以包括置于激光图案的一个对象之上的用户的手指。
在框610，方法600包括比较提取出的图像特征。在一个示例中，处理器可以比较提取出的图像特征，以辨识图像间的不同。以这种方式，处理器可以辨识手指在激光图案的对象上的移动，以便辨识选择了哪个对象。
在另一个示例中，处理器可以访问在存储器中的参考背景图像模型，其可以在系统校准期间被记录并且存储。背景图像模型可以代表对象的激光图案的估计，例如，对应于如果在图像中没有前景对象则摄像机图像将会看起来像什么。前景对象可以在亮度上假定是与背景图像不同的。因此，可以在每个时间步骤创造差分图像(difference image)以辨识前景对象。差分图像可以是从背景模型图像减去摄像机图像的结果。对于在差分图像的每个像素，如果差分的绝对值大于特定的阈值，那么那个像素可以被归类为前景；否则，那个像素可以被归类为背景。这个差分阈值可能根据背景的亮度不同。作为另一个示例，如果差分的绝对值大于特定的阈值达特定长度的时间，那么像素可以被归类为前景；否则，那个像素可以被归类为背景。
因此，处理器可以基于逐像素来处理特征或者图像，以判定特征或者图像的什么部分是前景(例如，代表对对象的激光图案中的对象进行选择的对象)以及特征或者图像的什么部分是背景。处理器可以区分在特征和图像中的改变。
在框612，方法600包括判定虚拟输入设备的对象的选择。例如，通过参考存储在存储器中的背景图像并判定前景对象的位置，处理器可以判定用户选择了对象的激光图案的哪个对象。处理器可以引用存储的背景图像并且获知对象的激光图案的对象的位置。例如，如果对象的激光图案是数字小键盘的表示，则处理器可以获知表示数字键的每个对象的方位/位置。处理器然后可以判定前景对象的位置，并且将那个位置与在激光图案中对象的已知位置进行比较。当位置匹配(或者大致匹配或者覆盖)时，处理器可以判定前景对象覆盖在激光图案中的对象。在激光图案中的覆盖对象可以被判定为所选择的对象。
在一个示例中，在图6中的方法600是一个计算机视觉的示例。接收来自摄像机的输入图像，并且计算机视觉系统可以从背景图像实时分离感兴趣的前景对象(例如，用户的手指)，以便前景对象的位置和轮廓可以作为指示符，用于到虚拟输入设备的输入。
在进一步的示例中，参考回图4，对象300的激光投影被投影到表面上，例如在图4中的显示手，而系统的部件(例如，处理器和摄像机)可以被配置用于判定显示手302何时正在移动，并且解释显示手的移动作为到虚拟输入设备的输入。
图7-10示出了投影表面的示例移动。例如，当显示手302倾斜时，对象302的激光投影的显示改变，并且在对象302的激光投影的显示中的改变可以被辨识。当显示手302远离用户倾斜时，在手的远边缘的激光图案的图像比在手的近边缘的激光图案的图像小。相似的，如果显示手朝向用户旋转，那么最为靠近投影仪的手的边缘显示的对象较大，而较为远离投影仪的边缘显示的对象较小。显示手的移动(例如倾斜和旋转)可以被判定并且接受为用户选择。在一个示例中，显示手的移动可以被解释为类似于在标准计算机上从鼠标接收到的用户输入。旋转可以被解释为水平的(x轴)移动，而倾斜可以被解释为垂直的(y轴)移动。
在图7A-7C中，示出了投影表面的示例性旋转移动。在图7A中，展示了由示例系统提供的带有对象300的激光投影的显示手302。也展示了x-y轴用于参考关于显示手302的移动的方向和定向，并且x-y轴可以是从系统视角的参考轴。在图7A中，显示手302展示为固定的，中央对象(例如，框5)被突出展示。在一个示例中，系统的部件可以被配置用于基于对象的位置以突出中央对象。如图7A展示的，中央框5处在x-y轴的位置(0，0)处，因此，处在系统观点的中央位置。
在图7B-7C中，显示手302围绕y轴旋转，以便显示手302的边缘310朝向用户，并且显示手302的拇指旋转远离用户。以这种方式，由于投影仪缺乏移动而造成对象300的激光投影保持固定(或者大致固定)，对象300的激光投影的右列(例如，数字3、6和9)被投影到显示手302的边缘310，并且由于投影表面的改变，其在尺寸上比任何剩下的对象显得更大。当判定显示手302已经被以这种方式旋转(例如，使用在图6中任何上述的方法)时，系统的部件可以被配置用于突出现在处在中央位置的框(例如，框6)。图7C示出了突出的中央框。
在图8A-8C中，示出了投影表面的旋转移动的额外示例。在图8A中，展示了带有由示例系统提供的对象300的激光投影的显示手302。在图8B-8C中，显示手302围绕y轴旋转，以便显示手302的内边缘312朝向用户，而显示手302的边缘310被旋转远离用户。以这种方式，由于缺乏投影仪的移动，对象300的激光投影保持固定(或者大致固定)，对象300的激光投影的左列(例如，数字1、4和7)被投影到显示手302的内边缘312，并且由于投影表面的改变，其在尺寸上比任何剩下的对象显得更大。当判定显示手302已经被以这种方式旋转(例如，使用在图6中任何上述方法)时，系统的部件可以被配置用于突出现在处于中央位置的框(例如，框4)。图8C示出了突出的中央框。
图7-8示出了投影表面的示例旋转移动。例如，旋转移动可以被解释为选择器的水平移动，其被展示为突出的对象。
在图9A-9C中，示出了投影表面的示例倾斜移动。在图9B-9C中，显示手302围绕x轴倾斜，以便显示手302的跟部314朝向用户并且显示手302的手指倾斜远离用户。以这种方式，由于缺乏投影仪的移动，对象300的激光投影保持固定(或者大致固定)，对象300的激光投影的底端行(例如，数字3、6和9)被投影到显示手302的跟部314，并且由于投影表面的改变，其在尺寸上比任何剩下的对象显得更大。当判定显示手302已经被以这种方式旋转(例如，使用在图6中任何上述的方法)时，系统的部件可以被配置用于突出现在处于中央位置的框(例如，框8)。图9C示出了突出的中央框。
在图10A-10C中，示出了投影表面的额外的示例倾斜移动。在图10B-10C中，显示手302围绕x轴倾斜，以便显示手302的指尖316朝向用户，而显示手302的跟部314被倾斜远离用户。以这种方式，由于缺乏投影仪的移动，对象300的激光投影保持固定(或者大致固定)，对象300的激光投影的顶端行(例如，数字3、6和9)被投影到显示手302的指尖316，并且由于投影表面的改变，其在尺寸上比任何剩下的对象显得更大。当判定显示手302已经被以这种方式旋转(例如，使用在图6中任何上述的方法)时，系统的部件可以被配置用于突出现在处于中央位置的框(例如，框2)。图10C示出了突出的中央框。
图9-10示出了投影表面的示例旋转移动。例如，旋转移动可以被解释为选择器的垂直移动，其展示为突出对象。
在图7-10中展示的示例旋转和倾斜移动可以组合使用。例如，为了移动投影表面使得右下角对象(例如，框9)处于中央位置，在执行了如图7A-7C展示的旋转移动之后，用户可以执行如图9A-9C所示的倾斜移动。在这个示例中，可以执行旋转移动并且在旋转的同时可以执行倾斜移动。可以执行旋转和倾斜移动的任何其他示例组合，以使得对象300的激光投影的任何对象处于中央位置。
作为示例，激光可以被投影到如图7-10展示的表面上的9个按钮的3x3网格。最开始，可以突出中央按钮或者由选择器指示(例如，通过使用指针或者其他图形图标)。通过旋转表面，系统的处理器可以被配置成判定存在比突出的按钮更大的按钮，并且可以指示激光投影仪突出所述更大的按钮。相似的，通过倾斜显示手远离用户，处理器可以辨识另一个按钮更大，并且可以指示激光投影仪来突出该更大的按钮。例如，旋转和倾斜移动可以被解释为类似于计算机上鼠标的移动。
在一个示例中，用户可以通过做出投影表面的另一个移动，来选择突出的对象。图11A-11C示出了投影表面的示例移动，以指示对象的选择。在图11A中，展示了显示手302带有对象300的激光投影，激光投影中的中央对象(例如，框5)被突出。在图11B中，为了指示选择了突出对象，用户可以围绕z轴旋转显示手302。当判定显示手302已经以这种方式旋转(例如，使用在图6中上述任何方法)时，系统的部件可以被配置用于接收所述移动作为突出对象的选择。显示手302围绕z轴的旋转可以被解释为鼠标点击。作为另一个示例，如图11C所示，用户可以执行另一个手移动，例如通过关闭显示手302做成拳头。拳头手势可以被解释为鼠标点击。任何类型的手势可以被解释为鼠标点击，例如做出预定的手势、举起某个数量的手指、竖起大拇指、将手翻过来、来回摇手、挤压或者例如任何用户自定制的手势。
使用在图7-11中示出的示例移动，用户可以仅仅使用显示手302来提供到虚拟输入设备的输入。在其他示例中，用户可以(独立地或者同时地)使用显示手和动作手指以提供输入。
图12是按照本文描述的至少一些实施例的用于虚拟输入设备的操作的示例方法的框图。在图12展示的方法1200代表这种方法的实施例：例如所述方法可以与例如系统100和200一起使用，并且可以被例如头戴设备的设备或者设备部件执行。方法1200也可以与例如方法600一同使用。方法1200包括如一个或多个框1202-1208示出的一个或多个操作、功能或者动作。尽管以顺序次序示出了框，但这些框也可以并行地执行，和/或以与在这里描述的那些不同的顺序。同样，各种框可以被组合到更少的框，划分成额外的框，和/或基于要求的实现而被移除。
在框1202，方法1200包括将虚拟输入设备提供到表面。如一个示例，虚拟输入设备包括对象的激光图案，例如在图7-11中展示并描述的对象的任何的激光投影。可以将任何数量、类型、尺寸和配置的对象投影到表面。此外，表面可以是能够显示激光投影的任何类型的表面。
在框1204，方法1200包括接收虚拟输入设备的图像。作为一个示例，摄像机可以被配置用于捕捉被投影到表面的虚拟输入设备的图像，并且可以被配置用于提供图像给处理器。
在框1206，方法1200包括基于图像来判定表面的移动。例如，可以使用包括在图6中描述的方法600的任何方法来判定表面的移动。可以彼此比较图像以辨识表面的移动。
在框1208，方法1200包括至少部分基于表面的移动来判定虚拟输入设备的对象的选择。例如，如在图7-11中展示并描述的，表面的移动造成虚拟输入设备的对象的显示的改变，并且基于该改变，可以判定对象的选择。在对象中的示例改变包括：显示由于表面移动而与其他对象相比更大的对象。
图13是按照本文描述的至少一些实施例的用于虚拟输入设备的操作的另一个示例方法的框图。在图13中展示的方法1300代表这样的方法的实施例：例如所述方法可以与系统100和200一起使用，并且可以由例如头戴设备的设备或者设备部件执行。方法1300也可以与方法600或者1200一同使用，例如，方法1300可以包括如一个或多个框1302-1308所示出的一个或多个操作、功能或者动作。尽管框以顺序次序示出，但这些框也可以并行执行，和/或以与这里描述的那些不同的顺序。同样，各种框可以被合并到较少的框、划分成额外的框，和/或基于要求的实现而被移除。
在框1302，方法1300包括提供虚拟输入设备。作为一个示例，虚拟输入设备包括对象的激光图案，例如在图7-11中展示并描述的对象的任何激光投影。任何数量、种类、尺寸和配置的对象可以被投影到表面。此外，可以将虚拟输入设备提供到表面，而表面可以是在上面显示激光投影的任何类型的表面。
在框1304，方法1300包括接收虚拟输入设备的图像。作为一个示例，摄像机可以被配置用于捕捉投影到表面的虚拟输入设备的图像，并且可以被配置用于提供图像给处理器。
在框1306，方法1300包括基于图像来判定对象的扭曲。例如，可以彼此比较图像以辨识对象的扭曲，或者在对象的激光图案中的任何改变。在一个示例中，由于表面的移动而扭曲对象，这可以使用包括在图6中描述的方法600的任何方法进行判定。基于表面的移动，与在表面运动之前的对象视图相比较，现在对象可以看起来更大、更小、变形的、弯曲的、拉伸的等等。
在框1308，方法1300包括：至少部分基于对象的扭曲，判定虚拟输入设备的对象选择。例如，如在图7-11中展示和描述的，表面的移动造成在虚拟输入设备的对象的显示中的改变，并且基于该改变，可以判定对象的选择。在对象中的示例改变包括显示由于表面的运动而比其他对象更大的对象。例如，处理器可以被配置用于解释对象的扭曲，作为那个对象选择。
图14是按照本文描述的至少一些实施例的用于虚拟输入设备的操作的另一个示例方法的框图。在图14中展示的方法1400代表这样的方法的实施例：例如，所述方法可以与系统100和200一起使用，并且可以由例如头戴设备的设备或者设备部件执行。方法1400也可以与方法600、1200或者1300一同使用。方法1400可以包括如一个或多个框1402-1414所示出的一个或多个操作、功能或者动作。尽管框以顺序次序示出，但这些框也可以并行执行，和/或以与这里描述的那些不同的顺序。同样，各种框可以被合并到较少的框、划分成额外的框，和/或基于要求的实现而被移除。
在框1402，方法1400包括提供虚拟输入设备。如一个示例，虚拟输入设备包括对象的激光图案，例如在图7-11中展示并描述的对象的任何激光投影。任何数量、种类、尺寸和配置的对象可以被投影到表面。此外，可以将虚拟输入设备提供到表面，而表面可以是在上面可以显示激光投影的任何类型的表面。此外，最开始，例如可以在区域而不是特定在表面上提供虚拟输入设备。
在框1404，方法1400包括接收虚拟输入设备和表面的图像。如一个示例，摄像机可以被配置用于捕捉投影到表面的虚拟输入设备的图像，并且可以被配置用于提供图像给处理器。此外，摄像机可以被配置用于捕捉有或者没有虚拟输入设备投影在其上的表面的图像，并且提供图像给处理器。
在框1406，方法1400包括判定表面的近似位置。例如，处理器可以接收表面的图像，并且可以基于图像的比较来判定表面的近似位置。特别的，处理器可以使用计算机视觉以追踪表面的运动并且判定位置。作为追踪表面的运动的另一个示例，当表面移动通过投影的图像时，在摄像机处接收到的来自投影图像的光变得比在摄像机处接收到的来自其他区域的光更亮。因此，处理器可以判定与投影内产生的图案匹配的光源的亮区域，以定位投影。投影可以包括有区别的图案，一旦图案被扰乱(例如，通过在图案中穿过的表面)，处理器将会判定图像的亮度。通过比较图像，处理器可以判定表面的位置。例如，投影仪可以提供宽广的投影以便初始始定位表面，或者初始定位包括表面的区域。
位置可以是不同于表面的准确位置或除了所述准确位置之外的近似位置。近似位置可以是在阈值容许度内的表面的位置，例如在大约1英尺到3英尺、大约1cm到3cm、大约1mm到3mm、大约1μm到3μm内，或者对于表面的尺寸和从系统到表面的距离来讲合适的其他范围。
在框1408，方法1400包括在表面上提供虚拟输入设备。例如，一旦判定出表面的位置，投影仪就可以修改将在表面上的虚拟输入设备的投影。最开始，投影可以是宽的图案以覆盖大片区域，而一旦判定出提供有投影的表面的位置，投影就可以收窄以提供更多细节或者更高的图像分辨率。例如，如果表面是用户的手，则当手穿过图案时，图案中的扰乱被判定出，并且可以判定手的位置。作为另一个示例，处理器可以被配置用于判定表面的区域，并且指示投影仪将虚拟输入设备提供到表面的区域，例如通过加宽或者收窄投影以适应可用区域。因此，投影可以最开始在第一覆盖区域，然后可以被修改到在第二覆盖区域，该第二覆盖区域小于或者大于第一覆盖区域(例如，开始宽而减少，或者开始窄而增加)。
在框1410，方法1400包括追踪表面的运动。作为一个示例，如果表面是用户的手，如果手在虚拟输入设备被提供到手上之后移动，则虚拟输入设备的部分对于用户或者摄像机来说不是可辨别的(例如，摄像机从那些图像不能接收足够的光)。因此，处理器可以使用上述判定表面的位置的方法追踪表面的运动。作为一个示例，可以分析通过摄像机捕捉的图像以判定表面的运动。
在框1412，方法1400包括基于表面的运动将虚拟输入设备提供到表面。例如，当表面改变位置时，处理器可以指示投影仪改变虚拟输入设备的投影方向，以便在表面处在运动的同时大致将虚拟输入设备提供到表面。此外，基于运动的速度，如果不容易找到表面的位置(例如，表面整体移动出投影的视野)，则可以执行方法1400以辨识表面的新位置。以这种方式，计算机视觉可用于在表面移动时将虚拟输入设备的投影重新排列到表面。
在框1414，方法1400包括当处理器判定虚拟输入设备的图像的亮度高于预定的阈值时，判定虚拟输入设备正在被使用。例如，最开始，当在区域中提供投影(并且不具体到表面上或者到远处的表面上)，反射到摄像机并且在图像中捕捉的光将会具有某个亮度级别。一旦将投影提供到较靠近摄像机的表面，被反射到摄像机和在图像中捕捉的光将会具有更高的亮度级别。一旦图像具有高于预定的阈值的亮度级别，处理器就可以判定虚拟输入设备正在被使用。当虚拟图像设备被投影到处在距离投影仪低于预定的阈值的距离的表面时，图像可以具有高于预定阈值的亮度级别。因此，当投影仪将虚拟输入设备提供到靠近用户的表面时，处理器可以判定虚拟输入设备正在被使用。在一个示例中，当处理器判定虚拟输入设备不在使用中时(例如，基于接收到的亮度级别)，处理器可以关闭投影仪、摄像机或者其他系统部件。如果虚拟输入设备不被投影到处于比距离阈值低的距离的表面，那么可以接收低于阈值的亮度级别(例如，用户的手不存在区域中以作为显示手操作)。
上述预定阈值的示例在亮度级别上相对于图像中的其他像素可以是特定的。例如，当超过了阈值(例如，用于判定亮度级别高于预定阈值)时，所述阈值可以指示其上投影虚拟输入设备的表面的存在(例如，手的存在)。当手穿过(例如，由激光图案产生器产生的)投影图案时，对应于激光点的像素可以饱和(例如，红/绿/蓝像素值为255，255，255，即使激光点趋向于红色；而图像中的剩余像素平均值可以大约为128，128，128)。因此，当图像的区域的像素值高于像素值的平均值或者图像的像素值的平均值时，第一阈值可以被满足。
当手不拦截激光图案时，图案相反被投影到例如地板上，激光点的红/绿/蓝值趋向于摄像机图像中的像素的平均红/绿/蓝值。在表面是手的情况下，皮肤反射激光图案相对较好(在某种意义上说，皮肤类似朗伯表面，其入射光均匀的向所有方向反射)。然而其他表面(例如地板)趋向于更暗(例如，办公室地毯)或者是镜面的并且提供其他角度以反射光(例如，抛光砖地板)。此外，除了用户的手之外的表面可以距离摄像机更远，并且因此在图案中的光也可以不反射。因此，当手不拦截激光图案时，对应于对这些更远距离的表面的投影图案中的点的像素可以在图像中更趋向于平均的红/绿/蓝值。
或者，存在其他的方式使得处理器可以判定虚拟输入设备正在被使用。例如，投影的图案可以被瞄准，从而当图案被投影到近表面而不是当投影图案被投影到远处的表面时，投影的图案可以由摄像机查看。特别的，参考图3A，投影仪210可以装载在眼镜的右侧臂上，并且可以被定位为使得它被配置用于朝向(例如，提供投影)或者到用户的左手投影。摄像机208可以装载在眼镜的左侧臂上，并且可以被定位为使得它被配置用于朝向用户的右手瞄准。由于摄像机208的视野有限(例如，60度)并且投影图案具有有限的视觉弧(例如，10度)，所以摄像机208可能看不到图案，除非存在相对靠近摄像机208的用于投影图案的表面(即图3A中用户的左手或者左手持有的一张纸)。太远的表面可能导致图像相对于摄像机208所看到的图像距离右边太远。
使用在图3A中展示的示例，摄像机208和投影仪210的中央射线可以在用户前相互交叉瞄准。因此，在用户的大约一个胳膊长度处，可以发生射线的覆盖区域。使用这个方法，任一只手(或者对象)可以用于界面，并且可以在用户的身体前近似居中地放置。不在这个覆盖区域中的任何对象不会被摄像机208看到，或者不具有投影到对象上的图案。如在这个示例中摄像机208和投影仪210的配置帮助避免错误地解释对象或系统功能。
在其他示例中，投影仪210可以被装载在眼镜的左侧臂上，并且可以被定位成使得它被配置用于朝向(例如，提供投影)或者到用户的右手上投影，而摄像机208可以被装载在眼镜的右侧臂，并且可以被定位成使得它被配置用于朝向用户的左手瞄准。更进一步的，摄像机208和投影仪210中的每个可以被装载在眼镜的同一侧臂上，并且可以被配置成具有在用户前面的区域瞄准以相互交叉的射线。
在进一步的其他示例中，投影仪210可以被装载在眼镜的左侧臂(或右侧臂)上，并且可以被配置用于朝向(例如，提供投影)或者到用户的右手投影，而摄像机208可以被装载在眼镜的投影仪210相对的右(或左)侧臂，并且可以被配置用于朝向用户的右手瞄准。在这个示例中，摄像机208可以被配置成具有在用户前面的区域瞄准以交叉投影(例如，根据用户手的位置)的射线。
在另一个示例中，可以投影相比于摄像机的视野对向高视角(例如，视野)的图案。靠近投影仪的手或者对象可以使投影仪能够提供投影图案图像到手。太远的对象可以造成例如图像对摄像机伸展太多以致不能捕捉图像的整体。
在一个示例中，当处理器判定虚拟输入设备不是正在被使用时，处理器可以指示投影仪和/或摄像机改变投影和图像捕捉的方向以便定位表面。为此，可以扩大投影的范围或者可以修改投影的方向，直到接收到表面上具有预定阈值的投影分辨率/亮度的图像。可以判定投影被扰乱的区域是表面的位置，并且可以选择任意一个表面作为投影表面，在其上可以投影激光图案。系统可以向用户呈现辨识出的表面用于选择使用的表面。
图15示出了系统的示例操作。在一个实例中，在图15中的系统可以根据图14的方法1400操作。例如，最开始，系统可以提供宽广的投影1500，以便定位在上面可以投影虚拟输入设备的表面。在这个示例中，由于表面1502到(例如，以用户可穿戴眼镜的形式展示的)系统的距离，表面1502的图像的亮度级别将会高于在投影1500内其他区域的图像。系统可以辨识或者估计表面1502的位置，并且指示投影仪提供窄的或者聚焦的投影1504到表面1502。收窄的投影1504可以提供比最开始的投影1500更多的细节或者更高的分辨率图形。例如，收窄的投影1504可以以数字小键盘的形式提供虚拟输入设备1506。
作为另一个示例，在图15中的系统可以从距用户一定距离处提供投影1508到表面1510。表面1510可以是距用户比用户的手更远距离的墙或者另一个表面。以这种方式，借助更大的表面区域，可以将投影1508提供到距用户更远距离的表面，并且可以得到相同或者相似级别的分辨率。为了在由投影1508提供的虚拟输入设备上做出光标选择或者移动，用户可以移动头部，以便造成投影在表面1510上扭曲。摄像机可以捕捉扭曲的和不扭曲配置的虚拟输入设备的图像，并且可以进行比较，以便判定光标的适当选择或者移动。在一个示例中，虚拟输入设备是3x3的按钮组，头部向右移动将会扭曲投影，这样按钮组最左边的行在表面1510上的投影比其他两行更亮，并且因此，投影仪可以被配置用于将光标移动到左边。相似的头部向上/下和左/右移动可以使得光标沿任何方向移动，而光标的默认位置在任何位置(例如，中央位置)。为了在虚拟输入设备中选择对象，系统可以包括传感器以检测用户的其他移动，例如眨眼(例如，使用摄像机)、点头(使用加速计)，或者可以通过使用手指向选择而进行选择(其中选择可以借助摄像机捕捉)。
图16是示出了在按照本文描述的至少一些实施例布置的计算系统中使用的示例计算设备1600的功能框图。计算设备例如可以是个人电脑、移动设备、蜂窝电话、视频游戏系统或者全球定位系统，并且可以实现为如图1-2所描述的设备、发送机、或者显示设备或者发送机的一部分。在基本配置1602中，计算设备1600可以包括一个或多个处理器1610和系统存储器1620。存储器总线1630可用于在处理器1610和系统存储器1620之间的通信。根据所要求的配置，处理器1610可以是任何类型的，包括但不限于微处理器(μP)、微控制器(μC)、数字信号处理器(DSP)或者其任何组合。存储器控制器1615也可以与处理器1610一同使用，或者在一些实施例中，存储器控制器1615可以是处理器1610的内部部件。
根据所要求的配置，系统存储器1620可以是任何类型的，包括但不限于易失性存储器(例如RAM)、非易失性存储器(例如ROM、闪存等)或者其任何组合。系统存储器1620可以包括一个或多个应用1622，和程序数据1624。按照本公开，应用1622可以包括虚拟输入设备算法1623，其被布置以提供输入到电子电路，并且可以包括指令，其可以由处理器1610执行以执行本文描述的任何方法。程序数据1624可以包括内容信息1625，其可以被引导到任何数量类型的数据，例如图像数据。在一些示例实施例中，应用1622可以被布置以在操作系统中与程序数据1624一同操作。
计算设备1600可以具有额外的特征或者功能，以及额外的接口用于促进在基本配置1602和任何设备和接口之间的通信。例如，可以提供数据存储设备1640，包括可移除存储设备1642、不可移除存储设备1644、或者其组合。可移除存储设备和不可移除存储设备的示例包括磁盘设备，举例来说，例如软盘驱动器和硬盘驱动器(HDD)、光盘驱动器如高密度磁盘(CD)驱动器或者数字通用磁盘(DVD)驱动器、固态驱动器(SSD)和磁带驱动器。计算机存储器介质可以包括以任何方法或者技术实现的用于存储信息(例如计算机可读指令、数据结构、程序模块或者其他数据)的易失性的和非易失性的、非瞬态的、可移除的和不可移除的介质。
系统存储器1620和存储设备1640是计算机存储介质的示例。计算机存储介质包括但不限于，RAM、ROM、EEPROM、闪存或者其他存储器技术、CD-ROM、数字通用磁盘(DVD)或者其他光学存储、磁带盒、磁带、磁盘存储或者其他磁性存储设备，或者任何其他可用于存储所要求的信息并且可以由计算设备1600访问的介质。任何这样的计算机存储介质可以是设备1600的一部分。
计算设备1600还可以包括输出接口1650，其可以包括图形处理单元1652，该输出接口1650被配置用于与经由一个或多个A/V端口或者通信接口1670与各种外部设备(例如显示设备1660或者扬声器)进行通信。通信接口1670可以包括网络控制器1672，其可以被布置以促进经由一个或多个通信端口1674在网络通信上与一个或多个其他计算设备1680的通信。通信连接是通信介质的一个示例。通信介质可以由计算机可读指令、数据结构、程序模块或者在已调制的数据信号(例如载波或者其他传输机制)中的其他数据具体呈现，并且所述通信介质包括任何信息传递介质。已调制的数据信号可以是这样的信号：其具有一个或多个它的特性集或者以编码信号中的信息的这种方式而改变。通过示例而不是限制，通信介质可以包括有线介质如有线网络或者直接有线连接，和无线介质如声音、射频(RF)、红外(IR)和其他无线介质。
计算设备1600可以实现为小形状因子的便携式(或者移动)电子设备的一部分，所述电子设备例如是蜂窝电话、个人数字助理(PDA)、个人媒体播放设备、无线网络观看设备、个人头戴式耳机设备、专用设备、或者包括任何以上功能的混合设备。计算设备1600还可以实现为个人计算机，包括膝上计算机和非膝上计算机配置。
在一些实施例中，所公开的方法可以以在制品内的有形计算机可读介质上或者在制品的其他非瞬态介质上编码的计算机可读指令的形式实现。指令可以是例如机器可读格式。图17是示出了示例计算机程序产品1700的概念的部分观点的视图，其包括根据本文出现的至少一些实施例布置的用于在计算设备上执行计算机过程的计算机程序。在一个实施例中，使用信号承载介质1701提供示例计算机程序产品1700。信号承载介质1701可以包括一个或多个编程指令1702，当其由一个或多个处理器执行时，可以提供关于图1-16的上述功能或者部分功能。因此，例如，参考在图6和图12-14中展示的实施例，框602-612、1202-1208、1302-1308和/或框1402-1414的一个或多个特征可以由与信号承载介质1701相关联的一个或多个指令承担。
在一些示例中，信号承载介质1701可以包括计算机可读介质1703，例如但不限于硬盘驱动器、高密度磁盘(CD)、数字化视频磁盘(DVD)、数字磁带、存储器等。在一些实现方式中，信号承载介质1701可以包括计算机可记录介质1704，例如但不限于存储器、读/写(R/W)CD、R/W DVD等。在一些实现方式中，信号承载介质1701可以包括通信介质1705，例如但不限于数字和/或模拟通信介质(例如，光纤、波导、有线通信链路、无线通信链路等)。因此，例如，信号承载介质1701可以通过无线形式的通信介质1705进行传达(例如，遵从IEEE802.11标准或者其他传输协议的无线通信介质)。
一个或多个编程指令1702可以是，例如，计算机可执行和/或逻辑实现的指令。在一些示例中，计算设备例如图16的计算设备1600可以被配置为响应于编程指令1702由计算机可读介质1703、计算机可记录介质1704和/或通信介质1705中的一个或多个传达到计算设备1600，来提供各种操作、功能或者动作。示例编程指令1702在图17中示出以包括展示在图6和图12-14中的部分方法；然而，编程指令1702可以采用其他形式，并且可以包括指令以执行本文描述的任何方法(或者本文描述的任何方法的部分)。
在更进一步的示例中，本文描述的任何类型的设备或者设备的部件，可用作或者配置为用于执行本文描述的任何方法(或者本文描述的方法的任何部分)的功能的手段。
应当理解，本文描述的布置仅仅用于示例的目的。这样，那些本领域的技术人员将会领会可以替代地使用其他布置和其他元件(例如，机器、接口、功能、顺序和功能的分组等)，并且根据要求的结果可以一同省略一些元件。进一步的，描述的许多元件是功能实体，其可以实现为离散的或分布的部件或者与其它部件结合，以任何合适的组合和位置。
尽管本文已经公开了各方面和实施例，但对本领域的技术人员而言其他方面和实施例将会变得明显。本文公开的各方面和实施例是为了解释的目的而不旨在限制，真实范围由以下权利要求以及所述权利要求所赋予的等价物的完全范围所指示。也应当理解，本文使用的术语仅仅是为了描述特定实施例的目的，而不旨在限制。

Claims (20)

1.一种用于虚拟输入设备的方法，包括：
将输入设备提供到表面，所述输入设备包括对象的图案；
接收所述输入设备的图像；
基于所述图像，判定所述表面的近似位置；和
基于所述表面的所述近似位置，修改所述输入设备的投影；以及
当所述输入设备的所述图像被判定为具有高于预定阈值的亮度时，判定所述输入设备正在被使用。
2.根据权利要求1所述的方法，进一步包括基于所述表面的所述近似位置，调整所述输入设备的投影方向，以便当所述表面正在运动时大致将所述输入设备提供到所述表面。
3.根据权利要求1所述的方法，进一步包括至少部分基于所述表面的移动，判定对象的图案的对象选择。
4.根据权利要求1所述的方法，进一步包括判定所述表面的区域，其中修改所述输入设备的所述投影进一步基于所述表面的所述区域。
5.根据权利要求1所述的方法，进一步包括：
接收包括所述输入设备的参考背景图像；
接收所述输入设备的描绘了所述对象的图案的对象选择的给定图像；和
基于所述给定图像与所述参考背景图像的比较，判定所述对象的选择。
6.根据权利要求1所述的方法，其中将所述输入设备提供到所述表面包括：提供所述输入设备，使得所述输入设备在所述表面具有给定的覆盖区域，其中所述给定的覆盖区域是基于所述表面的所述近似位置。
7.一种用于虚拟输入设备的方法，包括：
将投影的输入设备提供到表面，所述投影的输入设备包括对象的图案；
接收所述投影的输入设备的图像；
基于在所述投影的输入设备的所述图像内的所述投影的输入设备的亮度级别，判定所述表面的近似位置；以及
基于所述表面的所述近似位置，修改所述投影的输入设备的所述亮度级别，
其中，当所述投影的输入设备的所述亮度级别被判定为高于预定阈值时，所述投影的输入设备被判定为正在被使用。
8.根据权利要求7所述的方法，其中所述对象的图案包括选择器，并且其中所述方法进一步包括判定所述表面的旋转作为所述选择器的水平移动。
9.根据权利要求7所述的方法，其中所述对象的图案包括选择器，并且其中所述方法进一步包括判定所述表面的倾斜作为所述选择器的垂直移动。
10.一种用于虚拟输入设备的系统，包括：
投影仪；和
与所述投影仪通信的计算设备，所述计算设备被配置用于：
使得所述投影仪将投影的输入设备提供到表面，所述投影的输入设备包括对象的图案；
接收包括所述投影的输入设备的参考背景图像；
接收所述投影的输入设备的描绘了所述对象的图案的对象选择的图像；
基于所述图像与所述参考背景图像的比较，判定所述对象的选择；
以及
基于所述图像和所述参考背景图像中的一个或多个，修改所述投影的输入设备的亮度级别，
其中，当所述投影的输入设备的所述亮度级别被判定为高于预定阈值时，所述投影的输入设备被判定为正在被使用。
11.根据权利要求10所述的系统，其中所述计算设备进一步被配置用于使得所述投影仪改变所述投影的输入设备的投影方向，以便当所述表面正在运动时大致将所述投影的输入设备提供到所述表面。
12.根据权利要求10所述的系统，其中所述投影仪被配置用于将所述投影的输入设备提供到用户的手。
13.根据权利要求12所述的系统，其中所述对象的图案包括选择器，并且其中所述计算设备被进一步配置用于判定手势作为由所述选择器指示的对象的用户选择。
14.根据权利要求13所述的系统，其中所述手势是握拳。
15.根据权利要求10所述的系统，进一步包括：
摄像机，其耦合到所述计算设备，并被配置用于捕捉所述投影的输入设备的一个或多个图像；和
传感器，其耦合到所述计算设备，其中所述计算设备被进一步配置用于从所述传感器接收一个或多个输出，并用于基于所述一个或多个输出判定所述系统的移动，并且其中所述摄像机被配置用于在所述一个或多个输出指示所述系统大致固定时，开始捕捉所述投影的输入设备的所述一个或多个图像。
16.根据权利要求15所述的系统，进一步包括头戴式设备，其中所述投影仪和所述摄像机耦合到所述头戴式设备。
17.根据权利要求10所述的系统，其中所述计算设备被进一步配置用于：
在耦合到所述计算设备的显示设备上产生输入设备的显示；以及
接收请求以将所显示的输入设备投影到所述表面，其中所述计算设备被配置用于：基于所述请求，使得所述投影仪将所述投影的输入设备提供到所述表面。
18.根据权利要求10所述的系统，其中所述计算设备被进一步配置用于判定所述表面的区域，其中所述计算设备被配置用于：基于所述表面的所述区域，使得所述投影仪将所述投影的输入设备提供到所述表面。
19.根据权利要求10所述的系统，其中所述计算设备被配置用于：基于所述参考背景图像来判定所述表面的近似位置，其中所述计算设备被配置用于：基于所述表面的所述近似位置，修改所述投影的输入设备的所述亮度级别。
20.根据权利要求19所述的系统，其中所述计算设备被配置用于：使得所述投影仪提供所述投影的输入设备，从而所述投影的输入设备在所述表面上具有给定的覆盖区域，其中所述给定的覆盖区域基于所述表面的所述近似位置。
CN201280044081.4A 2011-07-12 2012-06-28 用于虚拟输入设备的方法和系统 Active CN103827780B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US13/181,238 2011-07-12
US13/181,238 US8228315B1 (en) 2011-07-12 2011-07-12 Methods and systems for a virtual input device
US13/533,120 US9069164B2 (en) 2011-07-12 2012-06-26 Methods and systems for a virtual input device
US13/533,120 2012-06-26
PCT/US2012/044574 WO2013009482A2 (en) 2011-07-12 2012-06-28 Methods and systems for a virtual input device

Publications (2)

Publication Number Publication Date
CN103827780A CN103827780A (zh) 2014-05-28
CN103827780B true CN103827780B (zh) 2016-11-02

Family

ID=47506792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280044081.4A Active CN103827780B (zh) 2011-07-12 2012-06-28 用于虚拟输入设备的方法和系统

Country Status (4)

Country Link
US (2) US9069164B2 (zh)
EP (1) EP2732357B1 (zh)
CN (1) CN103827780B (zh)
WO (1) WO2013009482A2 (zh)

Families Citing this family (164)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130079974A1 (en) * 2011-09-23 2013-03-28 Manitowoc Crane Companies, Llc Outrigger monitoring system and methods
JP2013110514A (ja) * 2011-11-18 2013-06-06 Konica Minolta Business Technologies Inc 操作入力システム
US20130215132A1 (en) * 2012-02-22 2013-08-22 Ming Fong System for reproducing virtual objects
EP2831706B1 (en) * 2012-03-26 2018-12-26 Tata Consultancy Services Limited A multimodal system and method facilitating gesture creation through scalar and vector data
US9857919B2 (en) * 2012-05-17 2018-01-02 Hong Kong Applied Science And Technology Research Wearable device with intelligent user-input interface
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9582035B2 (en) 2014-02-25 2017-02-28 Medibotics Llc Wearable computing devices and methods for the wrist and/or forearm
US10314492B2 (en) 2013-05-23 2019-06-11 Medibotics Llc Wearable spectroscopic sensor to measure food consumption based on interaction between light and the human body
US9261759B1 (en) * 2012-08-31 2016-02-16 Amazon Technologies, Inc. Aspect corrected laser video projection
BR112015005692A2 (pt) 2012-09-21 2017-07-04 Sony Corp dispositivo de controle, e, meio de armazenamento.
US20140118250A1 (en) * 2012-10-25 2014-05-01 University Of Seoul Industry Cooperation Foundation Pointing position determination
US20140118243A1 (en) * 2012-10-25 2014-05-01 University Of Seoul Industry Cooperation Foundation Display section determination
US9030446B2 (en) 2012-11-20 2015-05-12 Samsung Electronics Co., Ltd. Placement of optical sensor on wearable electronic device
US10423214B2 (en) 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
US9477313B2 (en) 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US11157436B2 (en) 2012-11-20 2021-10-26 Samsung Electronics Company, Ltd. Services associated with wearable electronic device
US8994827B2 (en) 2012-11-20 2015-03-31 Samsung Electronics Co., Ltd Wearable electronic device
US11237719B2 (en) 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
US11372536B2 (en) 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
US9977492B2 (en) * 2012-12-06 2018-05-22 Microsoft Technology Licensing, Llc Mixed reality presentation
US9699433B2 (en) 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
US10110647B2 (en) * 2013-03-28 2018-10-23 Qualcomm Incorporated Method and apparatus for altering bandwidth consumption
US9361501B2 (en) 2013-04-01 2016-06-07 Ncr Corporation Headheld scanner and POS display with mobile phone
JP6264370B2 (ja) * 2013-04-02 2018-01-24 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US8922589B2 (en) * 2013-04-07 2014-12-30 Laor Consulting Llc Augmented reality apparatus
US9658453B1 (en) 2013-04-29 2017-05-23 Google Inc. Head-mounted display including diffractive combiner to integrate a display and a sensor
US9128285B2 (en) * 2013-04-30 2015-09-08 Google Inc. Head-mounted display including integrated projector
CN105190515A (zh) * 2013-05-08 2015-12-23 富士通株式会社 输入装置以及输入程序
EP2804093A1 (en) * 2013-05-13 2014-11-19 Sony Corporation A method for stabilization and a system thereto
US9605950B2 (en) * 2013-05-22 2017-03-28 Cognex Corporation System and method for efficient surface measurement using a laser displacement sensor
US9047514B2 (en) * 2013-07-10 2015-06-02 Christie Digital Systems Usa, Inc. Apparatus, system and method for projecting images onto predefined portions of objects
US10408613B2 (en) 2013-07-12 2019-09-10 Magic Leap, Inc. Method and system for rendering virtual content
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US10019843B2 (en) * 2013-08-08 2018-07-10 Facebook, Inc. Controlling a near eye display
US9286726B2 (en) 2013-08-20 2016-03-15 Ricoh Company, Ltd. Mobile information gateway for service provider cooperation
US9665901B2 (en) 2013-08-20 2017-05-30 Ricoh Company, Ltd. Mobile information gateway for private customer interaction
US10089684B2 (en) 2013-08-20 2018-10-02 Ricoh Company, Ltd. Mobile information gateway for customer identification and assignment
JP2015041052A (ja) * 2013-08-23 2015-03-02 ソニー株式会社 リストバンド型情報処理装置および記憶媒体
US9763071B2 (en) 2013-09-22 2017-09-12 Ricoh Company, Ltd. Mobile information gateway for use in emergency situations or with special equipment
US10095833B2 (en) 2013-09-22 2018-10-09 Ricoh Co., Ltd. Mobile information gateway for use by medical personnel
US20150130688A1 (en) * 2013-11-12 2015-05-14 Google Inc. Utilizing External Devices to Offload Text Entry on a Head Mountable Device
DE102013019574A1 (de) * 2013-11-22 2015-05-28 Audi Ag Verfahren zum Betreiben einer elektronischen Datenbrille und elektronische Datenbrille
US9857971B2 (en) * 2013-12-02 2018-01-02 Industrial Technology Research Institute System and method for receiving user input and program storage medium thereof
KR20150067489A (ko) * 2013-12-10 2015-06-18 삼성전자주식회사 전자 장치에서 입력기 제공 방법 및 장치
CN103713737B (zh) * 2013-12-12 2017-01-11 中国科学院深圳先进技术研究院 用于智能眼镜的虚拟键盘系统
JP6127958B2 (ja) * 2013-12-19 2017-05-17 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
US9195124B2 (en) * 2013-12-20 2015-11-24 Plantronics, Inc. Automatic projector safety protocols
US9442631B1 (en) 2014-01-27 2016-09-13 Google Inc. Methods and systems for hands-free browsing in a wearable computing device
US10429888B2 (en) 2014-02-25 2019-10-01 Medibotics Llc Wearable computer display devices for the forearm, wrist, and/or hand
US10691332B2 (en) 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
KR102184402B1 (ko) * 2014-03-06 2020-11-30 엘지전자 주식회사 글래스 타입의 이동 단말기
KR20150110257A (ko) * 2014-03-21 2015-10-02 삼성전자주식회사 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스
WO2015142023A1 (en) 2014-03-21 2015-09-24 Samsung Electronics Co., Ltd. Method and wearable device for providing a virtual input interface
EP3126932A1 (en) * 2014-04-01 2017-02-08 Sony Corporation Harmonizing a projected user interface
JP5850970B2 (ja) * 2014-04-09 2016-02-03 株式会社東芝 情報処理装置、映像投影装置、情報処理方法及びプログラム
JP6362391B2 (ja) 2014-04-10 2018-07-25 キヤノン株式会社 情報処理端末、情報処理方法及びコンピュータプログラム
CN103941867B (zh) * 2014-04-11 2017-07-11 北京智谷睿拓技术服务有限公司 交互方法和系统
DE102014207963A1 (de) * 2014-04-28 2015-10-29 Robert Bosch Gmbh Interaktives Menü
CN103984437B (zh) * 2014-04-28 2017-09-29 京东方科技集团股份有限公司 一种穿戴式触控装置和穿戴式触控方法
US10013083B2 (en) * 2014-04-28 2018-07-03 Qualcomm Incorporated Utilizing real world objects for user input
CN103974049B (zh) * 2014-04-28 2015-12-02 京东方科技集团股份有限公司 一种穿戴式投影装置及投影方法
CN106687885B (zh) 2014-05-15 2020-03-03 联邦快递公司 用于信使处理的可穿戴设备及其使用方法
JP6341755B2 (ja) 2014-05-26 2018-06-13 キヤノン株式会社 情報処理装置、方法及びプログラム並びに記録媒体
US9323983B2 (en) 2014-05-29 2016-04-26 Comcast Cable Communications, Llc Real-time image and audio replacement for visual acquisition devices
US9575560B2 (en) * 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
CN106575151A (zh) * 2014-06-17 2017-04-19 奥斯特豪特集团有限公司 用于头戴式计算的外部用户接口
CN105204613B (zh) * 2014-06-27 2019-02-05 联想(北京)有限公司 一种信息处理方法及穿戴式设备
CN105224069B (zh) * 2014-07-03 2019-03-19 王登高 一种增强现实虚拟键盘输入方法及使用该方法的装置
JP6041016B2 (ja) * 2014-07-25 2016-12-07 裕行 池田 眼鏡型端末
JP6528774B2 (ja) * 2014-07-30 2019-06-12 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9921660B2 (en) 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US9946361B2 (en) 2014-08-14 2018-04-17 Qualcomm Incorporated Management for wearable display
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US9588625B2 (en) 2014-08-15 2017-03-07 Google Inc. Interactive textiles
US9829708B1 (en) 2014-08-19 2017-11-28 Boston Incubator Center, LLC Method and apparatus of wearable eye pointing system
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
CN104216517A (zh) * 2014-08-25 2014-12-17 联想(北京)有限公司 一种信息处理方法及电子设备
CN104182050B (zh) * 2014-08-29 2017-10-31 百度在线网络技术（北京）有限公司 头戴式智能设备和具有该头戴式智能设备的投影系统
CN104182051B (zh) * 2014-08-29 2018-03-09 百度在线网络技术（北京）有限公司 头戴式智能设备和具有该头戴式智能设备的交互系统
US9924143B2 (en) * 2014-09-23 2018-03-20 Intel Corporation Wearable mediated reality system and method
CN105528086A (zh) * 2014-09-29 2016-04-27 百辰光电股份有限公司 虚拟键盘输入装置及其输入方法
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
CN104317398B (zh) * 2014-10-15 2017-12-01 天津三星电子有限公司 一种手势控制方法、穿戴式设备及电子设备
KR102358548B1 (ko) 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
GB2532192A (en) 2014-10-29 2016-05-18 Ibm Secure pairing of personal device with host device
KR20160055577A (ko) * 2014-11-10 2016-05-18 엘지전자 주식회사 웨어러블 디바이스
JP2016099742A (ja) * 2014-11-19 2016-05-30 株式会社東芝 情報処理装置、映像投影装置、情報処理方法及びプログラム
JP6492588B2 (ja) * 2014-12-01 2019-04-03 セイコーエプソン株式会社 プロジェクター及びプロジェクターの制御方法
EP3234685B1 (en) * 2014-12-18 2021-02-03 Facebook Technologies, LLC System, device and method for providing user interface for a virtual reality environment
US20160178906A1 (en) * 2014-12-19 2016-06-23 Intel Corporation Virtual wearables
CN104615328B (zh) * 2014-12-29 2018-08-10 联想(北京)有限公司 一种投影输出方法和电子设备
US10108832B2 (en) * 2014-12-30 2018-10-23 Hand Held Products, Inc. Augmented reality vision barcode scanning system and method
KR102345911B1 (ko) * 2015-01-16 2022-01-03 삼성전자주식회사 가상 입력 장치 및 이를 이용한 사용자 입력 수신 방법
US9858718B2 (en) * 2015-01-27 2018-01-02 Microsoft Technology Licensing, Llc Dynamically adaptable virtual lists
US10684485B2 (en) * 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
CN106034212B (zh) * 2015-03-10 2019-02-26 深圳富泰宏精密工业有限公司 投影装置、控制装置及穿戴式投影系统
US10016162B1 (en) 2015-03-23 2018-07-10 Google Llc In-ear health monitoring
US9983747B2 (en) 2015-03-26 2018-05-29 Google Llc Two-layer interactive textiles
KR102011992B1 (ko) 2015-04-30 2019-08-19 구글 엘엘씨 타입-애그노스틱 rf 신호 표현들
CN111880650A (zh) 2015-04-30 2020-11-03 谷歌有限责任公司 基于宽场雷达的手势识别
KR102002112B1 (ko) 2015-04-30 2019-07-19 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
CN107615214B (zh) * 2015-05-21 2021-07-13 日本电气株式会社 界面控制系统、界面控制装置、界面控制方法及程序
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
ES2669253T3 (es) * 2015-07-24 2018-05-24 Vorwerk & Co. Interholding Gmbh Procesador de alimentos así como procedimiento para el funcionamiento de un procesador de alimentos
CN105094675B (zh) * 2015-07-28 2019-04-02 中国联合网络通信集团有限公司 一种人机交互方法及触屏可穿戴设备
KR20180057693A (ko) 2015-09-24 2018-05-30 토비 에이비 눈 추적 가능한 웨어러블 디바이스들
US10565446B2 (en) 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
US10416776B2 (en) 2015-09-24 2019-09-17 International Business Machines Corporation Input device interaction
WO2017057106A1 (ja) * 2015-09-28 2017-04-06 日本電気株式会社 入力装置、入力方法、及びプログラム
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US11106273B2 (en) * 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
WO2017079484A1 (en) 2015-11-04 2017-05-11 Google Inc. Connectors for connecting electronics embedded in garments to external devices
CN105892636A (zh) * 2015-11-20 2016-08-24 乐视致新电子科技（天津）有限公司 一种应用于头戴设备的控制方法及头戴设备
US10048560B1 (en) 2015-12-01 2018-08-14 Apple Inc. Transparent structure with controllable lighting
US10940790B1 (en) 2015-12-01 2021-03-09 Apple Inc. System and method for adjustable lighting based on occupant and object identification in a vehicle
US10843535B1 (en) 2015-12-01 2020-11-24 Apple Inc. System and method for dynamic privacy and window tinting
JP2017146927A (ja) 2016-02-19 2017-08-24 ソニーモバイルコミュニケーションズ株式会社 制御装置、制御方法及びプログラム
JP6256497B2 (ja) * 2016-03-04 2018-01-10 日本電気株式会社 情報処理システム、情報処理装置、制御方法、及びプログラム
CN105652651B (zh) * 2016-03-28 2018-01-16 京东方科技集团股份有限公司 可穿戴物品
CN105652451A (zh) * 2016-04-15 2016-06-08 深圳市智能体科技有限公司 一种智能眼镜
CN105913558A (zh) * 2016-04-19 2016-08-31 福建联迪商用设备有限公司 一种新型密码键盘及其实现方法
US10739851B2 (en) 2016-04-29 2020-08-11 Tobii Ab Eye-tracking enabled wearable devices
WO2017192167A1 (en) 2016-05-03 2017-11-09 Google Llc Connecting an electronic component to an interactive textile
US10175781B2 (en) 2016-05-16 2019-01-08 Google Llc Interactive object with multiple electronics modules
US20170351415A1 (en) * 2016-06-06 2017-12-07 Jonathan K. Cheng System and interfaces for an interactive system
US10591988B2 (en) * 2016-06-28 2020-03-17 Hiscene Information Technology Co., Ltd Method for displaying user interface of head-mounted display device
CN106415460B (zh) * 2016-07-12 2019-04-09 香港应用科技研究院有限公司 具有智能用户输入界面的可穿戴设备
TWI587206B (zh) * 2016-11-24 2017-06-11 財團法人工業技術研究院 互動顯示裝置及系統
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
US10690918B2 (en) * 2016-12-19 2020-06-23 United States Of America As Represented By The Administrator Of Nasa Optical head-mounted displays for laser safety eyewear
US10168788B2 (en) * 2016-12-20 2019-01-01 Getgo, Inc. Augmented reality user interface
US10355875B1 (en) * 2017-06-29 2019-07-16 State Farm Mutual Automobile Insurance Company Utilizing movement-based control data
US10313148B1 (en) * 2017-06-29 2019-06-04 State Farm Mutual Automobile Insurance Company Configuring a device for movement-based control
US10452263B2 (en) * 2017-09-13 2019-10-22 Biosense Webster (Israel) Ltd. Patient face as touchpad user interface
US10564420B2 (en) 2017-10-02 2020-02-18 International Business Machines Corporation Midair interaction with electronic pen projection computing system
US10983144B2 (en) 2017-10-11 2021-04-20 Rohde & Schwarz Gmbh & Co. Kg Measurement apparatus with projected user interface
US10345895B2 (en) 2017-11-07 2019-07-09 International Business Machines Corporation Hand and finger line grid for hand based interactions
TWI656362B (zh) * 2018-03-26 2019-04-11 仁寶電腦工業股份有限公司 電子裝置及其物件重製方法
US11353952B2 (en) 2018-11-26 2022-06-07 Tobii Ab Controlling illuminators for optimal glints
KR20200098034A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
CN114175103A (zh) * 2019-05-30 2022-03-11 辉达公司 使用表面跟踪的虚拟现实模拟
JP2021002288A (ja) * 2019-06-24 2021-01-07 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、コンテンツ処理システム、および画像処理方法
FR3099957B1 (fr) * 2019-08-12 2022-07-08 Yanis Rouvrais Dispositif portable de projection d’une image sur au moins une partie du corps d’un utilisateur
US11132058B1 (en) * 2019-09-12 2021-09-28 Facebook Technologies, Llc Spatially offset haptic feedback
CN111176513B (zh) * 2019-12-31 2021-07-13 维沃移动通信有限公司 一种控制方法及电子设备
DE102020100073A1 (de) * 2020-01-03 2021-07-08 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum Auswählen eines Listeneintrags aus einer Liste
US11669988B1 (en) 2020-02-10 2023-06-06 4DMobile, LLC System and method for three-dimensional box segmentation and measurement
DE102020205954A1 (de) 2020-05-12 2021-11-18 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zu einem Erkennen zumindest eines Objekts und/oder einer Bewegung
CN112025547B (zh) * 2020-09-15 2021-11-02 泉芯集成电路制造(济南)有限公司 激光投影虚拟校正设备和方法
TWI746169B (zh) * 2020-09-17 2021-11-11 宏碁股份有限公司 具有結構光偵測功能的擴增實境眼鏡
EP3985486B1 (en) 2020-10-13 2024-04-17 Hiroyuki Ikeda Glasses-type terminal
US20220197393A1 (en) * 2020-12-22 2022-06-23 Snap Inc. Gesture control on an eyewear device
US11782577B2 (en) 2020-12-22 2023-10-10 Snap Inc. Media content player on an eyewear device
US11797162B2 (en) 2020-12-22 2023-10-24 Snap Inc. 3D painting on an eyewear device
JP7318669B2 (ja) * 2021-01-27 2023-08-01 セイコーエプソン株式会社 表示方法および表示システム
US11442582B1 (en) * 2021-03-05 2022-09-13 Zebra Technologies Corporation Virtual keypads for hands-free operation of computing devices
JP2022186140A (ja) * 2021-06-04 2022-12-15 京セラドキュメントソリューションズ株式会社 情報入力装置
US20240077936A1 (en) * 2022-09-07 2024-03-07 Snap Inc. Selecting ar buttons on a hand

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
CN1664755A (zh) * 2005-03-11 2005-09-07 西北工业大学 一种视频识别输入系统
CN101685342A (zh) * 2008-09-26 2010-03-31 联想(北京)有限公司 一种动态虚拟键盘的实现方法及装置

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3157304B2 (ja) 1992-09-22 2001-04-16 富士通株式会社 仮想キーボード
US20090273574A1 (en) 1995-06-29 2009-11-05 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US6266048B1 (en) 1998-08-27 2001-07-24 Hewlett-Packard Company Method and apparatus for a virtual display/keyboard for a PDA
US20030174125A1 (en) 1999-11-04 2003-09-18 Ilhami Torunoglu Multiple input modes in overlapping physical space
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
GB2370395A (en) 2000-12-19 2002-06-26 Ubinetics Ltd Display apparatus
GB2374266A (en) 2001-04-04 2002-10-09 Matsushita Comm Ind Uk Ltd Virtual user interface device
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
WO2003001722A2 (en) 2001-06-22 2003-01-03 Canesta, Inc. Method and system to display a virtual input device
US6614995B2 (en) * 2001-11-28 2003-09-02 Sunplus Technology Co., Ltd. Apparatus and method for compensating auto-focus of image capture device by utilizing red-eye eliminating function
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
JP2004004284A (ja) * 2002-05-31 2004-01-08 Canon Inc 投射型表示装置
DE60215504T2 (de) * 2002-10-07 2007-09-06 Sony France S.A. Verfahren und Gerät zur Analyse von Gesten eines Menschen, z.B. zur Steuerung einer Maschine durch Gestik
US7774075B2 (en) 2002-11-06 2010-08-10 Lin Julius J Y Audio-visual three-dimensional input/output
KR100528537B1 (ko) * 2003-04-04 2005-11-15 엘지전자 주식회사 Ｌｃｄ 화면 밝기 자동 조절 장치 및 그 방법
CA2524213A1 (en) * 2003-04-30 2004-11-18 D4D Technologies, L.P. Intra-oral imaging system
US7173605B2 (en) 2003-07-18 2007-02-06 International Business Machines Corporation Method and apparatus for providing projected user interface for computing device
JP2005106951A (ja) * 2003-09-29 2005-04-21 Seiko Epson Corp プロジェクタおよびプロジェクタ用光源ランプの駆動制御
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
WO2005064439A2 (en) 2003-12-31 2005-07-14 France Telecom Dynamically modifiable virtual keyboard or virtual mouse interface
US7369584B2 (en) 2003-12-31 2008-05-06 Symbol Technologies, Inc. Laser projection display
US20060007056A1 (en) 2004-07-09 2006-01-12 Shu-Fong Ou Head mounted display system having virtual keyboard and capable of adjusting focus of display screen and device installed the same
US20060050062A1 (en) 2004-08-19 2006-03-09 Masanori Ozawa Input device
US20060232558A1 (en) 2005-04-15 2006-10-19 Huan-Wen Chien Virtual keyboard
JP4422074B2 (ja) * 2005-06-16 2010-02-24 Ｎｅｃディスプレイソリューションズ株式会社 プロジェクタおよびフォーカス調整方法
WO2007053116A1 (en) 2005-10-31 2007-05-10 National University Of Singapore Virtual interface system
CN101438218B (zh) 2006-06-15 2011-11-23 诺基亚公司 具有虚拟小键盘的移动设备
US20080018591A1 (en) 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
CN101339450B (zh) * 2007-07-04 2011-08-17 群康科技(深圳)有限公司 触控显示装置及其驱动方法
TW200907764A (en) 2007-08-01 2009-02-16 Unique Instr Co Ltd Three-dimensional virtual input and simulation apparatus
US8007110B2 (en) 2007-12-28 2011-08-30 Motorola Mobility, Inc. Projector system employing depth perception to detect speaker position and gestures
US7869204B2 (en) 2008-09-15 2011-01-11 International Business Machines Corporation Compact size portable computer having a fully integrated virtual keyboard projector and a display projector
US8610726B2 (en) 2008-09-26 2013-12-17 Apple Inc. Computer systems and methods with projected display
US20100177035A1 (en) 2008-10-10 2010-07-15 Schowengerdt Brian T Mobile Computing Device With A Virtual Keyboard
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8860693B2 (en) 2009-07-08 2014-10-14 Apple Inc. Image processing for camera based motion tracking
KR20110049162A (ko) 2009-11-04 2011-05-12 삼성테크윈 주식회사 휴대용 영상 처리기에서 가상 입출력 장치 및 방법
US8421634B2 (en) * 2009-12-04 2013-04-16 Microsoft Corporation Sensing mechanical energy to appropriate the body for data input
EP2539759A1 (en) * 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
JP5439347B2 (ja) * 2010-12-06 2014-03-12 日立コンシューマエレクトロニクス株式会社 操作制御装置
US10061387B2 (en) * 2011-03-31 2018-08-28 Nokia Technologies Oy Method and apparatus for providing user interfaces
JP6039248B2 (ja) * 2012-06-04 2016-12-07 キヤノン株式会社 情報処理装置およびその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
CN1664755A (zh) * 2005-03-11 2005-09-07 西北工业大学 一种视频识别输入系统
CN101685342A (zh) * 2008-09-26 2010-03-31 联想(北京)有限公司 一种动态虚拟键盘的实现方法及装置

Also Published As

Publication number Publication date
US20130016070A1 (en) 2013-01-17
US9069164B2 (en) 2015-06-30
EP2732357A4 (en) 2015-03-04
US20150268799A1 (en) 2015-09-24
US9727174B2 (en) 2017-08-08
WO2013009482A3 (en) 2013-05-30
CN103827780A (zh) 2014-05-28
WO2013009482A2 (en) 2013-01-17
EP2732357B1 (en) 2018-09-19
EP2732357A2 (en) 2014-05-21

Similar Documents

Publication Publication Date Title
CN103827780B (zh) 用于虚拟输入设备的方法和系统
CN110647237B (zh) 在人工现实环境中基于手势的内容共享
US11886638B2 (en) External user interface for head worn computing
US11816296B2 (en) External user interface for head worn computing
KR102544062B1 (ko) 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
US20230217008A1 (en) Systems and Methods for Eye Tracking in Virtual Reality and Augmented Reality Applications
US8228315B1 (en) Methods and systems for a virtual input device
US20170017323A1 (en) External user interface for head worn computing
US20160025979A1 (en) External user interface for head worn computing
US20160171780A1 (en) Computer device in form of wearable glasses and user interface thereof
CN110018736A (zh) 人工现实中的经由近眼显示器界面的对象增强
CN106104650A (zh) 经由凝视检测进行远程设备控制
US11954268B2 (en) Augmented reality eyewear 3D painting
KR20160018792A (ko) 헤드 마운티드 디바이스를 사용한 사용자 초점 제어 그래픽 사용자 인터페이스
JP6303274B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2019128693A (ja) 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
US20210407213A1 (en) Augmented reality eyewear with 3d costumes
US20230060453A1 (en) Electronic device and operation method thereof
JP6996115B2 (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
US20210406542A1 (en) Augmented reality eyewear with mood sharing
US20230367118A1 (en) Augmented reality gaming using virtual eyewear beams
JP2019133309A (ja) プログラム、情報処理装置、及び情報処理方法
EP3262488B1 (en) Apparatus and method for effecting a control action in respect of system functions
JP2018091882A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
KR20220047878A (ko) 프로그램, 방법, 및 정보 처리 단말

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: Google limited liability company

Address before: American California

Patentee before: Google Inc.