CN105807914A - 虚拟输入设备和用于使用其来接收用户输入的方法 - Google Patents

虚拟输入设备和用于使用其来接收用户输入的方法 Download PDF

Info

Publication number
CN105807914A
CN105807914A CN201610028525.5A CN201610028525A CN105807914A CN 105807914 A CN105807914 A CN 105807914A CN 201610028525 A CN201610028525 A CN 201610028525A CN 105807914 A CN105807914 A CN 105807914A
Authority
CN
China
Prior art keywords
user
hands
virtual input
layout
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610028525.5A
Other languages
English (en)
Inventor
B.R.坎杜尔拉贾
金完锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105807914A publication Critical patent/CN105807914A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662—Details related to the integrated keyboard
    • G06F1/1673—Arrangements for projecting a virtual keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/0219—Special purpose keyboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种使用投影器的虚拟输入设备以及用于使用其来接收用户输入的方法。虚拟输入设备包括：第一传感器，被配置为检测至少一个用户手，处理器，被配置为基于检测到的至少一个用户手来确定虚拟输入布局，投影器，被配置为在用户输入平面上光学投影所确定的虚拟输入布局，以及第二传感器，被配置为检测通过投影的虚拟输入布局的用户输入。

Description

虚拟输入设备和用于使用其来接收用户输入的方法
对相关申请的交叉引用
此申请要求于2015年1月16日在韩国知识产权局提交并被分配序号10-2015-0007917的韩国专利申请的权益，通过引用将其全部公开合并于此。
技术领域
本公开涉及一种虚拟输入设备以及用于使用其来接收用户输入的方法。
背景技术
随着无线技术的发展，电子设备易于携带并且能够自由地连接到有线/无线网络。例如，诸如智能手机、平板个人电脑(PC)等的便携式电子设备能够支持除了呼叫功能和消息发送/接收功能之外的各种功能，诸如互联网连接和聊天。
为了支持各种功能，便携式电子设备一般在显示器上配备有触摸面板，从而从用户接收各种输入(例如，触摸输入、字母输入等)。例如，便携式电子设备能够显示所谓的软键，其中在显示器上显示键盘或呼叫按钮，并且用户能够在被显示在与显示器结合的触摸面板上的软键上进行输入。
便携式电子设备可能不可避免地要进行最小化，来促进用户在携带时的便利。例如，即使存在尽可能大地增加智能显示器的尺寸的趋势，智能手机显示器的尺寸一般也限于4英寸到6英寸。当用户通过显示在4英寸至6英寸显示器上的软键输入用户输入时，与使用一般键盘的时候相比，速度和精度显著下降。此外，智能手机的软键不适合于在智能手机中输入大量数据(例如，文件)。
对于平板PC来说，如果显示了软键，则用于显示内容的屏幕的面积被减小。在这种情况中，用户必须在观看被软键覆盖的屏幕的同时输入信息，从而显著地降低了输入效率。此外，即使平板PC具有10英寸显示器，由于平板PC的屏幕尺寸的约束，具有相对大手的用户也可能容易地产生打字错误。
此外，在软键用在智能手机或平板PC中的情况中，用户需要操作设置来改变键布局或键类型。用于改变设置的分开的操作对于想要使用各种输入布局的用户来说可能非常不便。此外，用于改变设置的分开的操作对于不熟悉电子设备的使用的用户(例如，老年人)来说可能非常困难。
作为背景信息呈现以上信息仅仅是来帮助对本公开的理解。至于以上任何内容是否可以适用为相对于本公开的现有技术，没有进行确定，也没有进行断言。
发明内容
本公开的各方面是要解决至少上述问题和/或缺点，并且提供至少下述优点。因此，本公开的一方面是要基于使用各种传感器检测到的用户手的特征(包括手的数量)、用户手的位置、用户手的移动(手势)等，通过投影器来提供最适合于用户的虚拟输入布局。
根据本公开的一方面，提供了一种虚拟输入设备。虚拟输入设备包括：第一传感器，被配置为检测至少一个用户手，处理器，被配置为基于检测到的至少一个用户手来确定虚拟输入布局，投影器，被配置为在用户输入平面上投影所确定的虚拟输入布局，以及第二传感器，被配置为检测通过投影的虚拟输入布局的用户输入。
根据本公开的另一方面，提供了一种用于接收用户输入的方法。该方法包括：检测至少一个用户手，基于检测到的至少一个用户手来确定虚拟输入布局，在用户输入平面上光学投影所确定的虚拟输入布局，以及检测通过投影的虚拟输入布局的用户输入。
根据以下结合附图来公开本公开的各种实施例的详细描述，本公开的其它方面、优点和显著特征将对本领域技术人员变得显而易见。
附图说明
根据以下结合附图进行的描述，本公开的某些实施例的以上和其它方面、特征和优点将更加显而易见，在附图中：
图1A至1C是示出根据本公开的各种实施例的虚拟输入设备的示图；
图2是示出根据本公开的实施例的虚拟输入设备的配置的框图；
图3是示出根据本公开的实施例的用户输入接收方法的流程图；
图4是示出根据本公开的实施例的基于用户的手或手指的大小的用户输入接收方法的流程图；
图5A和5B是示出使用基于用户的手或手指的大小来执行的、根据本公开的实施例的用户输入接收方法的示图；
图6是示出根据本公开的实施例的基于用户手的位置的用户输入接收方法的流程图；
图7A和7B是示出使用基于用户手的位置的、根据本公开的实施例的用户输入接收方法的示图；
图8是示出根据本公开的实施例的基于用户手的数量的用户输入接收方法的流程图；
图9A至9C是示出使用通过支持一手的虚拟输入布局来执行的、根据本公开的实施例的用户输入接收方法的示图；
图10是示出使用通过键盘布局执行的、根据本公开的实施例的用户输入接收方法的示图；
图11是示出使用通过分离的键盘布局执行的、根据本公开的实施例的用户输入接收方法的示图；
图12A和12B是示出使用通过用于两人的虚拟输入布局来执行的、根据本公开的实施例的用户输入接收方法的示图；
图13是示出使用通过用于多用户的键盘布局执行的、根据本公开的实施例的用户输入接收方法的示图；
图14是示出根据本公开的实施例的基于用户手的手势的用户输入接收方法的流程图；以及
图15A和15B是示出使用基于手势来执行的、根据本公开的实施例的用户输入接收方法的示图。
遍及附图，应该注意到相似的参考数字用于描绘相同或相似的元素、特征和结构。
具体实施方式
提供以下参照附图的描述来帮助对如权利要求及其等价物定义的本公开的各种实施例的全面理解。包括帮助理解的各种特定细节，但是这些应被认为仅仅是示范性的。因此，本领域普通技术人员将认识到可以对在此描述的各种实施例进行各种改变和修改而不脱离本公开的范围和精神。另外，为了清楚和简明，可以省略公知功能和结构的描述。
在以下描述和权利要求中使用的术语和词汇不限于词典意义，而是仅由发明人用来使能清楚和一致地理解本公开。因此，对于本领域技术人员来说应该显而易见的是，提供本公开的各种实施例的以下描述仅出于说明的目的，而不是为了限制如所附权利要求及其等价物所定义的本公开的目的。
应该理解，单数形式“一”、“一个”和“所述”包括复数指代，附非上下文清楚地规定除外。因而，例如，提及“一个组件表面”时包括提及一个或多个这样的表面。
在本公开中，用在这里的表达“具有”、“可以具有”、“包括”和“包含”或者“可以包括”和“可以包含”指示相应特征(例如，诸如数值、功能、操作或组件的元素)的存在，但是不排除额外的特征的存在。
在本公开中，在此使用的表达“A或B”、“A或/和B的至少一个”或“A或/和B的一个或多个”等可以包括一个或多个相关联的所列项的任何和全部组合。例如，术语“A或B”、“A和B的至少一个”或“A或B的至少一个”可以指代以下全部：情况(1)其中包括至少一个A，情况(2)其中包括至少一个B，或者情况(3)包括至少一个A和至少一个B二者。
在此使用的术语，诸如“第一”、“第二”等可以指代本公开的各种实施例的各种元素，但是不用于限制该元素。例如，这样的术语不限制元素的次序和/或优先级。例如，“第一用户设备”和“第二用户设备”指示不同的用户设备。例如，在不脱离本公开的范围的情况下，第一元素可以被称为第二元素，并且类似地，第二元素可以被称为第一元素。
将理解，当元素(例如，第一元素)被称为“(操作地或通信地)耦合到”或者“连接到”另一元素(例如，第二元素)时，其可以直接耦合或连接到另一元素，或者中间元素(例如，第三元素)可以存在。相反，当元素(例如，第一元素)被称为“直接耦合到”或“直接连接到”另一元素(例如，第二元素)时，应该理解没有中间元素(例如，第三元素)。
根据该情形，在此使用的表达“被配置为”可以用于例如表达“适合于”、“具有……的能力”、“被设计为”、“被适配为”、“被使得”或“能够”。术语“被配置为”必须不仅仅意味着在硬件上“专门被设计为”。而是，表达“设备被配置为”可以意思是设备“能够”与另一设备或其它组件一起操作。例如，“处理器被配置为执行A、B和C”可以意味着用于执行相应操作的专用处理器(例如，嵌入式处理器)，或者可以通过运行存储在存储器件中的一个或多个软件程序来执行相应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器)。
除非在此另外定义，否则在此使用的所有术语，包括技术或科学术语，可以具有本领域技术人员所一般理解的相同意思。还将理解，在本公开的各种实施例中，在词典中普通使用和定义的术语也应该如相关领域中惯例的来解释，而不以理想的或过于正式的意思来解释，除非在此明白地如此定义。在一些情况中，即使术语是在说明书中定义的术语，它们也不可以被解释为排除本公开的实施例。
根据本公开的各种实施例的电子设备可以包括以下至少一个：智能手机、平板个人电脑(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本电脑、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、移动图片专家组阶段1或阶段2(MPEG-1或MPEG-2)音频层3(MP3)播放器、移动医疗设备、相机、可穿戴设备(例如，头戴式设备(HMD)，诸如电子眼镜)、电子衣服、电子手镯、电子项链、电子配件、电子纹身、智能手表等等。
根据本公开的各种实施例，电子设备可以是智能家庭用具。智能家庭用具可以包括以下至少一个：例如，电视机(TV)、数字多功能盘(DVD)播放器、音响设备、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、TV盒子(例如，SamsungHomeSyncTM、AppleTVTM或GoogleTVTM)、游戏机(例如，XboxTM和PlayStationTM)、电子词典、电子钥匙、摄像放像机、电子相框等。
根据本公开的各种实施例，电子设备可以包括以下至少一个：医疗设备(例如，各种便携式医学测量设备(例如，血糖监视设备、心跳测量设备、血压测量设备、体温测量设备等))、磁共振血管学成像(MRA)、磁共振成像(MRI)、计算机断层成像(CT)、扫描仪和在空闲模式中接收用户输入的超声波设备、导航设备、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐设备、船用电子装备(例如，导航系统和陀螺罗盘)、航空电子、安全设备、车辆头单元、工业或家庭机器人、自动售卖机(ATM)、销售点(POS)或物联网(例如，灯泡、各种传感器、电或气表、洒水设备、火警器、恒温器、街灯、烤面包机、健身装备、热水箱、加热器、锅炉等等)。
根据本公开的实施例，电子设备可以包括以下至少一个：家具或建筑/结构、电子板、电子签名接收设备、投影器、或各种测量仪器(例如，水表、电表、燃气表或水表等等)。根据本公开的实施例的电子设备可以是上述设备的一个或多个组合。根据本公开的实施例，电子设备可以是柔性电子。此外，根据本公开的各种实施例的电子设备不限于上述设备，并且根据技术发展可以包括新的电子设备。
下文中，将参照附图来描述根据本公开的各种实施例的虚拟输入设备。用在这里的术语“用户”可以指代使用电子设备的人，或者可以指代使用电子设备的设备(例如，人工电子设备)。
图1A至1C是示出根据本公开的各种实施例的虚拟输入设备的示图。
参照图1A，示出了根据本公开的实施例的虚拟输入设备10。例如，虚拟输入设备10可以用通用串行总线(USB)或蓝牙来连接到上述类型的电子设备，或者可以被安装在电子设备上。
虚拟输入设备10可以检测用户手。例如，虚拟输入设备10可以检测用户手(或手指)的大小、位置或数量，或者用户手的手势。虚拟输入设备10可以基于用户手(或手指)的大小、其位置、用户手(或手指)的数量或用户手(或手指)的手势，来确定要提供给用户的虚拟输入布局。虚拟输入布局可以不同于用硬件实现的输入设备，诸如键盘。虚拟输入布局可以指由光学投影设备(例如，投影器)生成的关于输入设备的形状的无形(intangible)渲染。
虚拟输入设备10可以使用光学投影设备来在用户输入平面上投影虚拟输入布局。例如，在图1A中，虚拟输入布局11可以从虚拟输入设备10被投影在用户输入平面13上，并且可以具有键盘的形状，其中，用户平面还可以称为投影平面并且可以是任何适合的表面，诸如桌子顶面、地面、墙、或者例如用户虚拟用户输入布局可以被投影到其上的对象。
用户可以通过投影在用户输入平面13上的虚拟输入布局11来执行用户输入(例如，键盘打字)。例如，虚拟输入设备10可以使用三维(3D)传感器来检测用户输入，并且可以将检测到的用户输入转换为电信号，并且可以将电信号发送到连接到虚拟输入设备10的电子设备。
参照图1B，示出了根据本公开的实施例的虚拟输入设备20被安装在智能手机上的例子。例如，虚拟输入设备20可以具有与上述虚拟输入设备10对应的配置，并且可以执行相应操作。
例如，如果虚拟输入设备20被安装在智能手机上，则可以支持智能手机的便携性和多功能性。用户可以通过从安装在智能手机上的虚拟输入设备20投影在用户输入平面23上的虚拟输入布局21来执行用户输入。如果虚拟输入设备20被安装在智能手机上，则不会在包括在智能手机中的触摸显示器(与触摸面板结合的显示器)上显示软键，从而克服配备有限尺寸的显示器的智能手机的尺寸的约束。
参照图1C，示出了根据本公开的实施例的虚拟输入设备30被安装在平板PC上的例子。虚拟输入设备30可以具有与上述虚拟输入设备10对应的配置，并且可以执行相应操作。
例如，如果虚拟输入设备30被安装在平板PC上，则可以支持如同智能手机的便携性或多功能性。用户可以通过从安装在平板PC上的虚拟输入设备30投影在用户输入平面33上的虚拟输入布局31来执行用户输入。因为与智能手机的屏幕相比，平板PC具有相对大的触摸显示器的屏幕，所以用户可以实现与使用膝上型PC时所获得的相同效果。
图2是示出根据本公开的实施例的虚拟输入设备1000的配置的框图。
参照图2，根据本公开的实施例的虚拟输入设备1000可以包括传感器组100(其包括第一传感器110和第二传感器120)、处理器200、投影器300和存储器400。
第一传感器110可以检测用户手。例如，第一传感器110可以检测以下至少一个或多个：用户的手或手指的大小、用户手的位置、用户手的数量、用户手是左手还是右手、用户的右手和左手之间的间距、以及用户的身体(例如，手)的姿势。
第二传感器120可以从投影在用户输入平面上的虚拟输入布局检测用户输入。例如，第二传感器120可以获得关于用户手指的图像的深度信息和关于用户输入平面的3D深度信息。第二传感器120可以检测用户手指的图像与在其上投影虚拟输入布局的用户输入平面的图像之间的3D深度。第二传感器120可以基于3D深度来检测是否任何手指触摸了虚拟输入布局的任何键。
第一传感器110和第二传感器120可以分别以以下至少一个或多个来实现：检测用户手的图像的图像传感器(例如，相机)、跟踪并检测用户手的移动的3D传感器、红外传感器或超声波传感器或者其两个或多个的组合。然而，本公开的范围和精神可以不限于此。例如，第一传感器110和第二传感器120可以被集成为芯片集(例如，传感器组100)。第一和第二传感器也可以是相同的传感器(即，单个传感器)，或者可以被实现为分离的传感器。
处理器200可以基于由第一传感器110检测到的用户手来确定投影器300投影的虚拟输入布局。处理器200确定的项目可以包括，例如，虚拟输入布局的类型(例如，键盘布局、小键盘布局等)、包括在虚拟输入布局中的键的尺寸和形状、以及在其上投影虚拟输入布局的位置。
例如，处理器200可以基于由第一传感器110检测到的手(或手指)的大小来调整包括在虚拟输入布局中的键的区域或包括在其中的键之间的间距。因此，可以向具有大手的用户提供具有大尺寸键的虚拟输入布局或者在键之间具有宽间距的虚拟输入布局。
此外，处理器200可以确定将虚拟输入布局投影在与通过第一传感器100检测到的用户手的位置对应的位置上。例如，在处理器200的控制下，可以在检测到的用户手被放置在的位置周围投影虚拟输入布局。
此外，如果第一传感器110检测到特定手势，则处理器200可以确定投影与检测到的特定手势对应的虚拟输入布局。特定手势可以对应于特定虚拟输入布局。该对应性可以被存储在存储器400中。例如，用户在合拢除了食指之外的其余手指的状态中打开食指并从左向右移动食指的手势可以被确定为对应于Hangul(Hangul意思是韩国字母)2-集合键盘的布局，并且关于这种对应性的数据可以被存储在存储器400中。
此外，处理器200基于由第一传感器110检测到的用户手的数量，可以允许投影器300投影适合于用户手的数量的虚拟输入布局。
例如，如果由第一传感器110检测到的用户手的数量是1个，则处理器200可以确定投影支持一手的虚拟输入布局。支持一手的虚拟输入布局可以意味着在其中用户仅使用一只手来有效地执行数据输入的虚拟输入布局。因此，即使使用一只手的数据输入是可能的，但是通常扔被计划为使用两只手(左手和右手两者)的虚拟输入布局(例如，键盘输入)不可以被称为支持一手的虚拟输入布局。支持一手的虚拟输入布局可以包括小键盘布局、游戏手柄(joy-pad)布局或跟踪点布局。支持一手的虚拟输入布局可以不限于上述例子。
支持一手的虚拟输入布局可以是基于3乘4个键的小键盘布局。基于3乘4个键的小键盘布局可以包括Chunjiin、Naratgul或SkyHangul的布局，它们被适配为韩国字母(下文中称为“Hangul”)输入国家标准。此外，基于3乘4个键的小键盘布局可以包括具有字母的10键布局或者包括各种字符表情(emoticons)的小键盘布局。
又例如，如果由第一传感器110检测到的用户手的数量是2个，则处理器200可以确定投影支持两手的虚拟输入布局。支持两手的虚拟输入布局可以意味着允许用户使用两只手来有效地输入数据的虚拟输入布局。
两只手可以是相同用户的左手和右手，或者不同用户的同侧手(例如，用户A的左手和用户B的左手)。例如，支持两手的虚拟输入布局可以包括用于相同用户的左手和右手的键盘布局，或者两个支持一手的虚拟输入布局(也称为，用于两人的虚拟输入布局)。
例如，如果由第一传感器110检测到的用户的两只手包括右手和左手，则处理器200可以确定投影作为两手支持虚拟输入布局的键盘布局。此外，如果由第一传感器110检测到的用户的两只手包括两只右手或两只左手，则处理器200可以确定投影多个支持一手的虚拟输入布局来作为支持两手的虚拟输入布局。
键盘布局可以符合由世界各个国家指定的标准。例如，键盘布局可以是以下之一：QWERTY键盘、DVORAK键盘、COLEMAK键盘、QWERTZ键盘、AZERTY键盘、Hangul2-集合键盘、Hangul3-集合键盘或者日本工业标准(JIS)键盘。
此外，根据本公开的实施例，第一传感器110还可以检测用户的右手和左手之间的间距。如果右手和左手之间的间距大于特定间距，则处理器200可以确定投影分离的键盘布局来作为键盘布局。分离的键盘布局可以是在其中用于使用用户的左手的输入的键与用于使用用户的右手的输入的键分开的键盘布局。
其间，如果由第一传感器110检测到的用户手的数量大于或等于三，则虚拟输入设备1000可以从两个或更多用户接收用户输入。因此，处理器200可以确定投影多个虚拟输入布局。例如，如果由第一传感器110检测到的用户手的数量是3个，则处理器200可以确定投影三个支持一手的虚拟输入布局，或者一个支持一手的虚拟输入布局和一个支持两手的虚拟输入布局两者。
投影器300可以在用户输入平面上光学地投影由处理器200确定的虚拟输入布局。根据本公开的实施例，投影器300可以包括激光投影器来更清晰地投影虚拟输入布局。
根据本公开的各种实施例，投影器300还可以包括一般投影器，其能够在用户输入平面上投影大屏幕的内容(例如，图像、视频、人物等)。在这种情况中，用户可能能够在观看投影的内容的同时通过虚拟输入布局来执行用户输入，从而提高用户的便利性。
存储器400可以存储各种数据，诸如关于投影器300能够光学投影的各种虚拟输入布局的数据、关于由第一传感器110检测到的用户手的各种特征信息的数据、关于用户手的手势的数据、关于虚拟输入布局与手势之间的对应性的数据，等等。根据本公开的各种实施例，存储器400可以存储用于实现稍后将说明的接收用户输入的方法的程序。
图3是示出根据本发明的实施例的用户输入接收方法的流程图。
参照图3，根据本公开的实施例的用户输入接收方法可以包括操作301至307。
在操作301中，第一传感器110可以检测用户手。例如，第一传感器110可以检测以下至少一个或多个：用户的手或手指的大小、用户手的位置、用户手的数量、用户手是左手还是右手、用户的左手和右手之间的间距、以及用户的身体(例如，手)的姿势。
在操作303中，处理器200可以基于在操作301中检测到的用户手来确定虚拟输入布局。例如，处理器200可以基于用户的手或手指的大小、用户手的位置、用户手的数量、用户手是左手还是右手、用户的左手和用户的右手之间的间距、或者用户手的手势来确定布局的类型和形状。
在操作305中，投影器300可以在用户输入平面上光学地投影在操作303中确定的虚拟输入布局。例如，投影器300可以使用激光投影器用于投影虚拟输入布局。此外，投影器300还可以包括一般投影器，从而使用一般投影器来在投影虚拟输入布局之外进一步投影内容，诸如图像、视频、人物等。
在操作307中，第二传感器120可以从投影在用户输入平面上的虚拟输入布局来检测用户输入。例如，3D深度可以用于检测通过虚拟输入布局的用户输入。
图4是示出根据本公开的实施例的基于用户的手或手指的大小的用户输入接收方法的流程图。
参照图4，基于用户的手或手指的大小的用户输入接收方法可以包括操作401至407。操作405和407对应于图3的操作305和307，从而省略其详细描述。
在操作401中，第一传感器110可以检测用户手的大小或者用户手的手指的大小(或厚度)。为了检测用户的手或手指的大小，可以应用特定的图像处理或对象特征识别方法。
在操作403中，处理器200可以确定根据在操作401中检测到的大小(或厚度)要投影的虚拟输入布局中包括的键的区域或包括在其中的键之间的间距。从而，虚拟输入设备1000可以向具有相对大手的用户提供在其中键具有相对大的区域的虚拟输入布局，或者向具有相对小手的用户提供在其中键具有相对小的区域的虚拟输入布局。此外，虚拟输入设备1000可以向具有相对厚的手指的用户提供在其中键之间的间距相对宽的虚拟输入布局，或者向具有相对细的手指的用户提供在其中键之间的间距相对窄的虚拟输入布局。
图5A和5B是示出使用基于用户的手或手指的大小来执行的、根据本公开的实施例的用户输入接收方法的示图。
参照图5A，第一传感器110可以检测用户手52或者包括在用户手52中的手指。因为检测到的用户手52相对较大，并且检测到的用户手52的手指相对较厚，所以处理器200可以将键的区域设置为大，或者可以将键之间的间距设置为宽，键被包括在要从虚拟输入设备1000投影在用户输入平面53上的虚拟输入布局51中。
相反，参照图5B，第一传感器110可以检测到用户手52或者包括在用户手52中的手指。因为检测到的用户手56相对较小，并且检测到的用户手56的手指相对瘦，所以处理器200可以将键的区域设置为小，或者可以将键之间的间距设置为窄，键被包括在要从虚拟输入设备1000投影在用户输入平面57上的虚拟输入布局55中。
图6是示出根据本公开的实施例的基于用户手的位置的用户输入接收方法的流程图。
参照图6，基于用户手的位置的用户输入接收方法可以包括操作601至607。操作605和607对应于图3的操作305和307，从而省略其详细描述。
在操作601中，第一传感器110可以检测到用户输入平面上的用户手的位置。例如，要检测用户手的位置，可以应用特定的图像处理或对象特征识别方法。
在操作603中，处理器200可以确定在与操作601中检测到的位置对应的位置上投影虚拟输入布局。此外，处理器200可以确定在检测到的用户手的位置前面(即，在手指端前面的空间上)投影虚拟输入布局。
图7A和7B是示出使用基于用户手的位置的、根据本公开的实施例的用户输入接收方法的示图。
参照图7A，第一传感器110可以检测到用户手72的位置。因为检测到的用户手72位于用户的左侧，即，在用户输入平面73的左侧，所以处理器200可以从虚拟输入设备1000在用户手72的前面投影虚拟输入布局71。
此外，参照图7B，第一传感器110可以检测用户手76的位置。因为检测到的用户手76基于用户位于右侧，即，在用户输入平面77的右侧，所以处理器200可以从虚拟输入设备1000在用户手76的前面投影虚拟输入布局75。
图8是示出根据本公开的实施例的基于用户手的数量的用户输入接收方法的流程图。
参照图8，基于用户手的数量的用户输入接收方法可以包括操作801至829。
在操作801中，第一传感器110可以检测用户手的数量。根据本公开的各种实施例，第一传感器110可以检测手指的数量，并且可以基于手指的数量来检测手的数量。
在操作803中，处理器200可以确定在操作801中检测到的手的数量。例如，处理器200可以通过特定的图像处理来确定在操作801中检测到的手的数量。在手的数量是1个的情况中，该过程可以进行到操作823。在手的数量是2个的情况中，该过程可以进行到操作805。在手的数量大于或等于3个的情况中，该过程可以进行到操作829。
因为检测到的手的数量是2个，所以在操作805中，处理器200可以确定投影支持两手的虚拟输入布局作为要投影的虚拟输入布局。因为在支持两手的虚拟输入布局中各种类型的布局都是可能的，所以可能要求额外的确定，诸如操作809和815。
在操作807中，第一传感器110可以检测这样检测到的用户的两只手的每个是左手还是右手。
在操作809中，处理器200可以确定在操作807中检测到的两只手是否包括左手和右手二者。即，处理器200可以确定检测到的两只手是否属于相同用户。如果在操作807中检测到的两只手包括左手和右手两者，则该过程可以进行到操作811。然而，如果检测到的两只手是两只左手或者两只右手(即，确定两个用户存在的情况)，则该过程可以进行到操作827。
在操作811中，在检测到的两只手包括左手和右手二者的情况中，即，在检测到的两只手属于相同用户的情况中，处理器200可以确定投影键盘布局来作为要投影的支持两手的虚拟输入布局。
在操作813中，第一传感器110可以检测所检测到的两只手的左手和右手之间的间距。
在操作815中，处理器200可以确定在操作813中检测到的在左手和右手之间的间距是否大于特定的间距。在检测到的间距大于特定的间距的情况中，该过程可以进行到操作825。如果否，则该过程可以进行到操作817。
在操作813中检测到的左手和右手之间的间距不大于特定间距的情况中，在操作817中，处理器200可以允许投影器300投影一般键盘布局(即，其中键被接连布置来从左手和右手二者接收输入的键盘布局)作为要投影的键盘布局。
在操作819中，投影器300可以在用户输入平面上光学投影在操作817、823、825、827或829中确定的虚拟输入布局。
在操作821中，第二传感器120可以通过在操作819中投影在用户输入平面上的虚拟输入布局来检测用户输入。
在操作802中确定的手的数量是1个的情况中，可以处理操作823。因此，处理器200可以允许投影器300投影支持一手的虚拟输入布局。
在检测到的手的数量是2个的情况中，在两只手包括左手和右手两者的情况中，并且在左手和右手之间的间距大于特定的间距的情况中，可以处理操作825。因此，处理器200可以允许投影器300投影分离的键盘布局作为要投影的键盘布局。
在检测到的手的数量是2个的情况中，在两只手不包括左手或者右手两者，即，两只手包括两只左手或两只右手的情况中，可以处理操作827。因此，处理器200可以允许投影器300投影两个独立的支持一手的虚拟输入布局来作为要投影的键盘布局。
在检测到的手的数量大于或等于3个的情况中，在操作829中，处理器200可以允许投影器300投影多个虚拟输入布局作为要投影的键盘布局。例如，投影器200可以确定投影三个支持一手的虚拟输入布局，或者一个支持一手的虚拟输入布局和一个支持两手的虚拟输入布局两者。
图9A至9C是示出使用通过支持一手的虚拟输入布局来执行的、根据本公开的实施例的用户输入接收方法的示图。例如，图9A至9C示出在用户输入平面上投影在图8的操作823中确定的支持一手的虚拟输入布局的例子。
图9A示出作为由处理器200确定的支持一手的虚拟输入布局的Chunjiin小键盘布局91。如果第一传感器110可以检测到用户的一只手92，则处理器200可以确定投影Chunjiin小键盘布局91作为支持一手的虚拟输入布局。虚拟输入设备1000的投影器300可以在用户输入平面93上投影Chunjiin小键盘布局91。第二传感器120可以检测(或接收)通过投影在用户输入平面93上的Chunjiin小键盘布局91的用户输入(韩国字母输入)。
图9B示出作为由处理器200确定的支持一手的虚拟输入布局的布置有字母的10键布局95(下文中，称为“10键布局”)。如果第一传感器110可以检测到用户的一只手92，则处理器200可以确定投影10键布局95作为支持一手的虚拟输入布局。同样地，虚拟输入设备1000的投影器300可以在用户输入平面93上投影10键布局95。第二传感器120可以检测(或接收)通过投影在用户输入平面93上的10键95的用户输入(字母或数字输入)。
图9C示出作为由处理器200确定的支持一手的虚拟输入布局的跟踪点布局97。如果第一传感器110可以检测到用户的一只手92，则处理器200可以确定投影跟踪点布局97作为支持一手的虚拟输入布局。同样地，虚拟输入设备1000的投影器300可以在用户输入平面93上投影跟踪点布局97。第二传感器120可以检测(或接收)通过投影在用户输入平面93上的跟踪点布局97的用户输入(方向或选择输入(点击))。
图10是示出使用通过键盘布局执行的、根据本公开的实施例的用户输入接收方法的示图。例如，图10示出在用户输入平面上投影在图8的操作817中确定的一般键盘布局的例子。
参照图10，第一传感器110可以检测到用户的两只手102L和102R，其分别是相同用户的左手和右手，并且可以检测到左手102L和右手102R之间的间距小于特定间距。处理器200可以确定投影一般键盘布局101作为要投影的虚拟输入布局。虚拟输入设备1000的投影器300可以在用户输入平面103上投影键盘布局101。第二传感器120可以通过投影在用户输入平面103上的键盘布局101来接收用户输入(字母输入)。
图11是示出使用通过分离的键盘布局执行的、根据本公开的实施例的用户输入接收方法的示图。例如，图11示出在用户输入平面上投影在图8的操作825中确定的分离的键盘布局的例子。
参照图11，第一传感器111可以检测到用户的两只手112L和112R，其分别是相同用户的左手和右手，并且可以检测到左手112L和右手112R之间的间距大于特定间距。处理器200可以确定投影分离的键盘布局111作为要投影的虚拟输入布局。虚拟输入设备1000的投影器300可以在用户输入平面113上投影分离的键盘布局111。第二传感器120可以通过投影在用户输入平面113上的分离的键盘布局111来接收用户输入(字母输入)。
图12A和12B是示出使用通过用于两人的虚拟输入布局来执行的、根据本公开的实施例的用户输入接收方法的示图。例如，图12A和12B示出在用户输入平面上投影在图8的操作827中确定的两个支持一手的虚拟输入布局的例子。
参照图12A，第一传感器110可以检测到两只手，即，用户A的手122A和用户B的手122B，并且可以检测到手122A和122B两者都是右手。处理器200可以确定投影两个支持一手的虚拟输入布局来作为要投影的虚拟输入布局。
图12A示出作为两个支持一手的虚拟输入布局的Chunjiin小键盘布局121A和10键布局121B。虚拟输入设备1000的投影器300可以在用户输入平面123上投影两个支持一手的虚拟输入布局121A和121B。第二传感器120可以从投影在用户输入平面123上的两个支持一手的虚拟输入布局121A和121B来接收来自用户A和B的用户输入。
此外，参照图12B，因为第一传感器110检测到两只手，即，用户C的手122C和用户D的手122D，并且检测到手122C和122D都是左手，所以处理器200可以确定投影两个支持一手的虚拟输入布局来作为要投影的虚拟输入布局。
图12B示出作为两个支持一手的虚拟输入布局的两个跟踪点布局125C和125D。虚拟输入设备1000的投影器300可以在用户输入平面123上投影两个跟踪点布局125C和125D，并且第二传感器120可以通过投影在用户输入平面123上的两个跟踪点布局125C和125D来从用户C和D接收用户输入。
图13是示出使用通过用于多用户的键盘布局的、根据本公开的实施例的用户输入接收方法的示图。图13示出在用户输入平面上投影在图8的操作829中确定的三个支持一手的虚拟输入布局的例子。
参照图13，因为第一传感器110检测到三只手，例如，用户A的手132A、用户B的手132B和用户C的手132C，所以处理器200可以确定投影多个虚拟输入布局。
例如，图13示出作为三个支持一手的虚拟输入布局的三个跟踪点布局131A、131B和131C。虚拟输入设备1000的投影器300可以在用户输入平面133上投影三个跟踪点布局131A、131B和131C。第二传感器120可以分别通过投影在用户输入平面133上的三个跟踪点布局131A、131B和131C来从用户A、B和C接收用户输入。
图12A、12B和13中的实施例可以适合于在其中虚拟输入设备1000支持多个操作系统的情况。例如，实施例可以支持多个用户在多个操作系统下同时输入字符。此外，实施例可以支持多个虚拟输入布局(例如，多个跟踪点布局或者多个游戏手柄布局)，从而应对支持多个玩家的游戏。
图14是示出根据本公开的实施例的基于用户手的手势的用户输入接收方法的流程图。
参照图14，根据本公开的实施例的基于用户手的手势的用户输入接收方法可以包括操作1401至1407。操作1405和1407对应于图3的操作305和307，从而省略其详细描述。
在操作1401中，第一传感器110可以检测到用户手的手势。图像传感器(例如，相机)、立体相机、红外相机或超声波传感器中的至少一个可以用于检测用户手势。
由第一传感器110检测到的手势可以具有各种类型的手势，诸如从打开的手的状态握拳的手势，向左或右移动打开的手的手势、在手中的任何手指打开并且除了打开的手指之外的手指合拢的状态中向左或右移动手的手势等。关于手势的信息可以对应于每种特定的虚拟输入布局，并且相应的结果可以被存储在存储器400中。
在操作1403中，处理器200可以比较在操作1401中检测到的手势与存储在存储器400中的特定手势。如果检测到的手势对应于存储在存储器400中的特定手势，则处理器200可以确定投影与特定手势对应的虚拟输入布局。
此外，根据本公开的各种实施例，存储器400可以预先存储用于按顺序改变虚拟输入布局的手势。如果第一传感器110检测到预先指定的手势，则处理器200可以确定按顺序改变并投影各种虚拟输入布局。
图15A和15B是示出使用基于手势来执行的、根据本公开的实施例的用户输入接收方法的示图。
参照图15A，第一传感器110可以在从虚拟输入设备1000投影QWERTY键盘151E的同时检测手势，在其中用户手从打开状态152E改变为握紧状态152K。如果映射到Hangul2-集合键盘151K的手势被存储在存储器400中，则处理器200可以确定在用户输入平面153上从虚拟输入设备1000投影Hangul2-集合键盘151K，其被映射到从手的打开状态152E改变到拳头的握紧状态152K的手势。因此，用户可以非常方便地将键盘布局改变为用户想要的虚拟输入布局。
此外，参照图15B，第一传感器110可以检测到手势152J，在其中在用户手的所有手指打开的状态下用户手向左或右移动。例如，手势152J可以是按顺序改变存储在存储器400中的虚拟输入布局的手势。如果由第一传感器110检测到手势152J，则处理器200可以将用户输入平面153上从虚拟输入设备1000投影的当前虚拟输入布局顺序地改变为存储在存储器400中的另一虚拟输入布局155K。结果，即使用户不知道存储在存储器400中的手势与虚拟输入布局之间的对应性，用户也可以方便地将键盘布局改变为用户想要的虚拟输入布局。
一般智能手机、平板PC等可以通过显示在智能手机、平板PC等上的软键来接收用户输入，或者可以通过连接的物理键盘来接收用户输入。然而，在使用软键或物理键盘的情况中，用户身体的特征(例如，手的大小)可能完全不被考虑。此外，在输入布局被改变为另一个的情况中，可能需要分开地操作用户设置，从而使得难以让所有用户都容易地执行改变操作。
相反，根据本公开的各种实施例的虚拟输入设备1000可以基于用户身体(例如，手)的特征、身体的位置、身体的移动(姿势)等，来提供最适合于用户的虚拟输入布局。此外，虚拟输入设备1000可以自动地检测用户身体的特征、身体的位置等，并且可以提供与检测结果对应的虚拟输入布局。因此，可以不需要分开地操作用户设置。
另外，如果根据本公开的各种实施例的虚拟输入设备1000被安装在便携式电子设备诸如智能手机上，则可以显著地改变便携性，因为除了电子设备之外不必携带其它硬件。此外，可以消除被放置在公共场所的、安装在诸如台式PC的公共电子设备上或与其连接的输入设备的失窃的风险。
根据本公开的各种实施例的虚拟输入设备1000基于用户手势，可以提供最适合于用户的虚拟输入布局。因此，除了母语之外不精通于外语的外国人可以直观地将键盘布局改变为与他/她的母语对应的虚拟输入布局，使得他/她想要的虚拟输入布局被提供。
根据本本公开的各种实施例的设备的至少一部分(例如，虚拟输入设备的组件)或者方法的至少一部分(例如，操作)可以例如以程序模块的形式被存储在非瞬时性计算机可读存储介质中的指令来实现。当由处理器(例如，处理器200)运行时，指令可以使得处理器执行与指令对应的功能。例如，非瞬时性计算机可读存储介质可以是存储器400。
非瞬时性计算机可读记录介质可以包括硬盘、磁性介质、软盘、磁性介质(例如，磁带)、光学介质(例如，紧密盘只读存储器(CD-ROM)和DVD、磁光学介质(例如，光读软盘)和硬件器件(例如，ROM、随机存取存储器(RAM)或闪存)。此外，程序指令不但可以包括诸如由编译器生成的机械代码，而且可以包括在使用解释器的计算机上可运行的高级语言代码。以上硬件单元可以被配置为经由用于执行本公开的操作的一个或多个软件模块操作，并且反之亦然。
根据本公开的各种实施例的模块或程序模块可以包括以上元素的至少一个，或者可以省略以上元素的一部分，或者可以进一步包括额外的其它元素。根据本公开的各种实施例由模块、程序模块或其它元件执行的操作可以被顺序地、并行地、重复地或以启发式方法来运行。另外，操作的一部分可以以不同的顺序来运行、被省略或者可以添加其它操作。
根据本公开的各种实施例的用于接收用户输入的虚拟输入设备和方法考虑用户手的特征(包括手的数量)、用户手的移动(手势)等，可以直观地提供最适合于用户的虚拟输入布局。
虽然已经参照其各种实施例显示和描述了本公开，但是本领域技术人员将理解，在不脱离如由所附权利要求及其等价物定义的本公开的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (15)

1.一种虚拟输入设备，包括：
第一传感器，被配置为检测至少一只用户手；
处理器，被配置为基于检测到的至少一只用户手来确定投影虚拟输入布局；
投影器，被配置为在用户输入平面上光学投影所确定的虚拟输入布局；以及
第二传感器，被配置为检测通过投影的虚拟输入布局的用户输入。
2.如权利要求1所述的虚拟输入设备，其中第一传感器检测到用户手的数量，并且
其中处理器基于检测到的用户手的数量来确定投影虚拟输入布局。
3.如权利要求2所述的虚拟输入设备，其中，如果检测到的用户手的数量是一，则处理器确定投影支持一手的虚拟输入布局。
4.如权利要求2所述的虚拟输入设备，其中，如果检测到的用户手的数量是二，则处理器确定投影支持两手的虚拟输入布局。
5.如权利要求4所述的虚拟输入设备，其中第一传感器还检测每只用户手是右手还是左手，并且
其中如果用户手包括左手和右手两者，则处理器确定投影键盘布局作为支持两手的虚拟输入布局。
6.如权利要求4所述的虚拟输入设备，其中第一传感器还检测每只用户手是右手还是左手，并且
其中如果用户手包括两只右手或者两只左手，则处理器确定投影多个支持一手的虚拟输入布局作为支持两手的虚拟输入布局。
7.如权利要求2所述的虚拟输入设备，其中，如果检测到的用户手的数量大于或等于三，则处理器确定投影多个虚拟输入布局。
8.如权利要求1所述的虚拟输入设备，其中第一传感器检测所述至少一个用户手的大小或所述至少一个用户手的至少一个手指的大小，并且
其中处理器基于检测到的大小来确定包括在虚拟输入布局中的键的区域或包括在其中的键之间的间距。
9.如权利要求1所述的虚拟输入设备，其中第一传感器检测到所述至少一个用户手的手势，并且
其中如果第一传感器检测到特定手势，则处理器确定投影与所述特定手势对应的虚拟输入布局。
10.一种用于接收用户输入的方法，该方法包括：
检测至少一只用户手；
基于检测到的至少一只用户手来确定投影虚拟输入布局；
在用户输入平面上光学投影所确定的虚拟输入布局；以及
检测通过投影的虚拟输入布局的用户输入。
11.如权利要求10所述的方法，其中所述检测包括检测用户手的数量，并且
其中所述确定包括基于检测到的用户手的数量来确定投影虚拟输入布局。
12.如权利要求11所述的方法，其中所述确定包括如果检测到的用户手的数量是一，则确定投影支持一手的虚拟输入布局。
13.如权利要求11所述的方法，其中所述确定包括如果检测到的用户手的数量是二，则确定投影支持两手的虚拟输入布局。
14.如权利要求13所述的方法，其中所述检测还包括检测每只用户手是右手还是左手，并且
其中所述确定包括如果用户手包括左手和右手二者，则确定投影键盘布局作为支持两手的虚拟输入布局。
15.如权利要求13所述的方法，其中所述检测还包括检测每只用户手是右手还是左手，并且
其中所述确定包括如果用户手包括两只右手或两只左手，则确定投影多个支持一手的虚拟输入布局作为支持两手的虚拟输入布局。
CN201610028525.5A 2015-01-16 2016-01-15 虚拟输入设备和用于使用其来接收用户输入的方法 Pending CN105807914A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0007917 2015-01-16
KR1020150007917A KR102345911B1 (ko) 2015-01-16 2015-01-16 가상 입력 장치 및 이를 이용한 사용자 입력 수신 방법

Publications (1)

Publication Number Publication Date
CN105807914A true CN105807914A (zh) 2016-07-27

Family

ID=55177765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610028525.5A Pending CN105807914A (zh) 2015-01-16 2016-01-15 虚拟输入设备和用于使用其来接收用户输入的方法

Country Status (5)

Country Link
US (1) US9933854B2 (zh)
EP (1) EP3046002B1 (zh)
KR (1) KR102345911B1 (zh)
CN (1) CN105807914A (zh)
WO (1) WO2016114610A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110168489A (zh) * 2017-01-12 2019-08-23 微软技术许可有限责任公司 使用取向感测的悬停交互

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881135B (zh) * 2015-05-28 2018-07-03 联想(北京)有限公司 一种信息处理方法及电子设备
US11334197B2 (en) * 2015-07-27 2022-05-17 Jordan A. Berger Universal keyboard
US10627948B2 (en) * 2016-05-25 2020-04-21 Microsoft Technology Licensing, Llc Sequential two-handed touch typing on a mobile device
US10638316B2 (en) * 2016-05-25 2020-04-28 Intel Corporation Wearable computer apparatus with same hand user authentication
US11394385B1 (en) * 2016-09-20 2022-07-19 Apple Inc. Input device having adjustable input mechanisms
US10459629B2 (en) * 2017-09-20 2019-10-29 Salesforce.Com, Inc. Ergonomic keyboard user interface
US11422670B2 (en) * 2017-10-24 2022-08-23 Hewlett-Packard Development Company, L.P. Generating a three-dimensional visualization of a split input device
US10877554B2 (en) 2018-04-19 2020-12-29 Samsung Electronics Co., Ltd. High efficiency input apparatus and method for virtual reality and augmented reality
US11188154B2 (en) * 2018-05-30 2021-11-30 International Business Machines Corporation Context dependent projection of holographic objects
US11015830B2 (en) 2018-11-19 2021-05-25 Johnson Controls Technology Company Device using projector for display
KR102269466B1 (ko) * 2019-05-21 2021-06-28 이진우 동작 인식 기반의 문자 입력 방법 및 그 장치
CN112629142A (zh) * 2019-09-24 2021-04-09 青岛海尔电冰箱有限公司 冰箱虚拟按键操作处理方法及冰箱
CN112629101B (zh) * 2019-09-24 2022-08-23 青岛海尔电冰箱有限公司 冰箱
US11194470B2 (en) * 2020-03-29 2021-12-07 Dell Products L.P. Systems and methods for implementing a dynamic and contextual on screen keyboard
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
KR20230144042A (ko) 2021-02-08 2023-10-13 사이트풀 컴퓨터스 리미티드 생산성을 위한 확장 현실
US20220365655A1 (en) * 2021-05-10 2022-11-17 Qingdao Pico Technology Co., Ltd. Virtual Keyboard Interaction Method and System
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
WO2023072406A1 (en) * 2021-10-29 2023-05-04 Telefonaktiebolaget Lm Ericsson (Publ) Layout change of a virtual input device
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
GB2619543A (en) * 2022-06-09 2023-12-13 Sony Interactive Entertainment Inc Input mapping modification system and method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901051A (zh) * 2009-05-26 2010-12-01 美国智能科技有限公司 基于区别的输入对象的数据输入方法及装置
US8493366B2 (en) * 2007-01-25 2013-07-23 Microsoft Corporation Dynamic projected user interface
CN103221901A (zh) * 2010-09-23 2013-07-24 诺基亚公司 用户输入的装置和方法
CN103221902A (zh) * 2010-09-23 2013-07-24 诺基亚公司 用户输入的方法和可佩戴设备
US20140055364A1 (en) * 2012-08-23 2014-02-27 Celluon, Inc. System and method for a virtual keyboard
US20140327611A1 (en) * 2012-09-20 2014-11-06 Sony Corporation Information processing apparatus and method, and program
US20150268730A1 (en) * 2014-03-21 2015-09-24 Dell Products L.P. Gesture Controlled Adaptive Projected Information Handling System Input and Output Devices

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266048B1 (en) 1998-08-27 2001-07-24 Hewlett-Packard Company Method and apparatus for a virtual display/keyboard for a PDA
US6614422B1 (en) 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
JP2004523031A (ja) * 2001-01-08 2004-07-29 ヴィーケービー インコーポレイテッド データ入力装置
US6724370B2 (en) 2001-04-12 2004-04-20 International Business Machines Corporation Touchscreen user interface
CN1280700C (zh) 2002-07-04 2006-10-18 皇家飞利浦电子股份有限公司 自适应虚拟键盘
CA2426867A1 (en) 2003-04-30 2004-10-30 Naviform Holdings Ltd. Customizable keyboard
US8334837B2 (en) * 2004-11-10 2012-12-18 Nokia Corporation Method for displaying approached interaction areas
TWI263436B (en) 2005-03-18 2006-10-01 Asustek Comp Inc Mobile phone with virtual keyboard
US20090231281A1 (en) * 2008-03-11 2009-09-17 Microsoft Corporation Multi-touch virtual keyboard
WO2009148210A1 (en) * 2008-06-02 2009-12-10 Lg Electronics Inc. Virtual optical input unit and control method thereof
TWI470478B (zh) * 2008-12-26 2015-01-21 Inventec Appliances Corp 電子裝置之虛擬鍵盤結構及其資料輸入方法
US8600166B2 (en) 2009-11-06 2013-12-03 Sony Corporation Real time hand tracking, pose classification and interface control
KR101639383B1 (ko) 2009-11-12 2016-07-22 삼성전자주식회사 근접 터치 동작 감지 장치 및 방법
KR20110064629A (ko) 2009-12-08 2011-06-15 삼성전자주식회사 휴대 단말기의 보조키맵 운용 방법 및 장치
US20110216015A1 (en) * 2010-03-05 2011-09-08 Mckesson Financial Holdings Limited Apparatus and method for directing operation of a software application via a touch-sensitive surface divided into regions associated with respective functions
KR101821160B1 (ko) 2010-12-10 2018-03-08 삼성전자 주식회사 휴대단말에서 사용자 키패드 제공 방법 및 장치
US9436381B2 (en) * 2011-01-24 2016-09-06 Apple Inc. Device, method, and graphical user interface for navigating and annotating an electronic document
WO2012132802A1 (ja) * 2011-03-28 2012-10-04 富士フイルム株式会社 タッチパネル装置及びその表示方法並びに表示用プログラム
US9069164B2 (en) 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
US8228315B1 (en) 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
US8482527B1 (en) 2012-09-14 2013-07-09 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US9378592B2 (en) 2012-09-14 2016-06-28 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
KR101411569B1 (ko) * 2013-06-05 2014-06-27 고려대학교 산학협력단 가상 키보드를 이용한 정보 처리 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8493366B2 (en) * 2007-01-25 2013-07-23 Microsoft Corporation Dynamic projected user interface
CN101901051A (zh) * 2009-05-26 2010-12-01 美国智能科技有限公司 基于区别的输入对象的数据输入方法及装置
CN103221901A (zh) * 2010-09-23 2013-07-24 诺基亚公司 用户输入的装置和方法
CN103221902A (zh) * 2010-09-23 2013-07-24 诺基亚公司 用户输入的方法和可佩戴设备
US20140055364A1 (en) * 2012-08-23 2014-02-27 Celluon, Inc. System and method for a virtual keyboard
US20140327611A1 (en) * 2012-09-20 2014-11-06 Sony Corporation Information processing apparatus and method, and program
US20150268730A1 (en) * 2014-03-21 2015-09-24 Dell Products L.P. Gesture Controlled Adaptive Projected Information Handling System Input and Output Devices

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110168489A (zh) * 2017-01-12 2019-08-23 微软技术许可有限责任公司 使用取向感测的悬停交互

Also Published As

Publication number Publication date
KR20160088620A (ko) 2016-07-26
EP3046002A1 (en) 2016-07-20
US20160209928A1 (en) 2016-07-21
KR102345911B1 (ko) 2022-01-03
US9933854B2 (en) 2018-04-03
EP3046002B1 (en) 2020-01-01
WO2016114610A1 (en) 2016-07-21

Similar Documents

Publication Publication Date Title
CN105807914A (zh) 虚拟输入设备和用于使用其来接收用户输入的方法
US11402871B1 (en) Keyboard movement changes virtual display orientation
CN105824431B (zh) 信息输入装置与方法
Wilson PlayAnywhere: a compact interactive tabletop projection-vision system
US20190238755A1 (en) Method and apparatus for push interaction
US20150261310A1 (en) One-dimensional input system and method
CN110852100B (zh) 关键词提取方法、装置、电子设备及介质
CN110618755A (zh) 可穿戴装置的用户界面控制
US9864516B2 (en) Universal keyboard
US20130271400A1 (en) Shake unlock mobile touch device and method for unlocking the same
WO2022170221A1 (en) Extended reality for productivity
Katzakis et al. INSPECT: extending plane-casting for 6-DOF control
Menzner et al. Above surface interaction for multiscale navigation in mobile virtual reality
Wang et al. Augmenting tactile 3D data navigation with pressure sensing
US20220019288A1 (en) Information processing apparatus, information processing method, and program
Zhang et al. A novel human-3DTV interaction system based on free hand gestures and a touch-based virtual interface
CN112534390B (zh) 用于提供虚拟输入工具的电子装置及其方法
KR20160098700A (ko) 멀티 터치 입력을 처리하기 위한 전자 장치 및 그 동작 방법
Huang et al. A comparative study on inter-device interaction: One-handed interaction vs two-handed interaction
Boby et al. Calibration and statistical techniques for building an interactive screen for learning of alphabets by children
Colley Extending mobile touchscreen interaction
Panigrahi On-arm body centered 3D user interfaces
Ren Designing for Effective Freehand Gestural Interaction
Onodera et al. Vision-Based User Interface for Mouse and Multi-mouse System
KR20160002760U (ko) 다이얼을 가지는 전자 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160727

RJ01 Rejection of invention patent application after publication