CN104978016A - 具有虚拟输入功能的电子装置 - Google Patents

Abstract

一种电子装置包括屏幕、影像提取单元、储存单元及处理单元，其中影像提取单元设置于电子装置的背面，处理单元耦接屏幕、影像提取单元及储存单元。储存单元记录多个模块，处理单元存取并执行所述模块，以进行下列步骤：将使用者界面显示在屏幕上；整合使用者界面与影像提取单元所提取的所述手部影像，以产生多个整合影像，并且将所述整合影像显示在屏幕上；根据所述手部影像，识别使用者的手势，并且取得上述手势相对于使用者界面的位置，以产生多个检测位置；以及根据在使用者界面上的检测位置产生对应于上述手势的输入信号，从而操作使用者界面。

Description

具有虚拟输入功能的电子装置

技术领域

本发明涉及一种电子装置，且特别涉及一种具有虚拟输入功能的电子装置。

背景技术

随着科技的发展，更复杂且更人性化的电子产品已推陈出新。举例而言，笔记本电脑（laptop computer）、平板电脑（tablet computer）以及智能型手机（smart phone）已与一般台式电脑（desktop computer）具有相同的功能，再加上体积小以及重量轻等特点，让使用者可随身携带，已然成为一般人生活及工作当中不可或缺的重要工具。

然而，目前使用者在使用智能型手机或是平板电脑等无实体键盘以及鼠标的电子装置时，使用者得以手写或操作屏幕上所显示的虚拟键盘来进行文书处理，相对地不方便。而若搭配实体键盘以及鼠标，则增加携带体积以及重量，则破坏了便携性。

发明内容

有鉴于此，本发明提供一种电子装置，其可在没有实体输入装置的情况下，提供使用者更方便且直觉性的操作。

本发明提供一种电子装置，其包括屏幕、影像提取单元、储存单元以及处理单元，其中影像提取单元设置于电子装置的背面，处理单元耦接屏幕、影像提取单元以及储存单元。影像提取单元用以提取使用者的连续多个手部影像。储存单元用以记录多个模块。处理单元用以存取并执行储存单元中记录的所述模块。所述模块包括：显示模块、整合模块、识别模块、映射模块以及输入模块。显示模块用以在屏幕上显示使用者界面。整合模块用以整合使用者界面与所述各手部影像，以产生多个整合影像，其中显示模块又在屏幕上显示所述各整合影像屏幕。识别模块用以根据所述各手部影像，识别使用者的手势。映射模块用以取得所述各手部影像中上述手势相对于使用者界面的位置，以产生多个检测位置。输入模块用以根据在使用者界面上的检测位置产生对应于上述手势的输入信号，操作使用者界面。

本发明另提供一种电子装置，其包括屏幕、影像提取单元、收发单元、储存单元以及处理单元，其中影像提取单元以及收发单元设置于电子装置的背面，处理单元耦接屏幕、影像提取单元、收发单元以及储存单元。影像提取单元用以提取使用者的连续多个手部影像。收发单元具有发送器以及接收器。储存单元用以记录多个模块。处理单元用以存取并执行储存单元中记录的所述模块。所述模块包括：显示模块、整合模块、检测模块、映射模块以及输入模块。显示模块用以在屏幕上显示使用者界面。整合模块用以整合使用者界面与所述各手部影像，以产生多个整合影像，其中显示模块又在屏幕上显示所述各整合影像。检测模块利用收发单元检测使用者的手势，其中上述手势对应于影像提取单元所提取的所述各手部影像。映射模块用以取得上述手势相对于使用者界面上的位置，以产生多个检测位置。输入模块用以根据在使用者界面上的检测位置产生对应于上述手势的输入信号，操作使用者界面。

基于上述，本发明的电子装置可提供使用者在电子装置以外的位置来对使用者界面进行虚拟输入操作，其凭借识别使用者的手势及其位置，将手势位置映射至使用者界面的相对位置，进而在所述相对位置产生对应的输入信号。因此，使用者于电子装置以外的位置的手势操作可对应地在使用者界面产生输入信号，从而操作使用者界面。此外，本发明的电子装置更整合使用者界面以及手部影像，从而让使用者可在屏幕画面上看到手部以及使用者界面上的物件的相对关系。据此，使用者可在不携带实体键盘或鼠标等输入装置的情况下，达到接近利用实体输入装置来操作电子装置的效果，并且提供使用者更直觉性的操作。

附图说明

图1是依照本发明一实施例所绘示的电子装置的组成框图。

图2是依照本发明一实施例所绘示的虚拟输入操作的方法流程图。

图3是根据本发明另一实施例所绘示的电子装置的使用情景示意图。

图4是依照本发明另一实施例所绘示的电子装置的组成框图。

图5是依照本发明另一实施例所绘示的虚拟输入操作的方法流程图。

图中符号说明：

100、400：电子装置；

110、410：屏幕；

120、420：影像提取单元；

425：收发单元；

130、430：储存单元；

131、431：显示模块；

132、432：整合模块；

133：辩识模块；

433：检测模块；

134、434：映射模块；

135、435：切换模块；

140、440：处理单元；

S201～S211、S501～S511：虚拟输入操作的方法步骤；

30：整合影像；

32：虚拟键盘；

34：使用者界面；

A：手部；

A’：手部影像。

具体实施方式

目前使用者在使用智能型手机或是平板电脑等无实体键盘以及鼠标的电子装置时，使用者得以手写或操作屏幕上所显示的虚拟键盘来进行文书处理，相对地不方便。本发明所提出的电子装置除了可提供使用者在电子装置以外的位置来对使用者界面进行虚拟输入操作，更利用电子装置的影像提取装置拍摄使用者的手部影像，以将手部影像整合于使用者界面上，使得使用者可在屏幕画面上看到手部以及使用者界面上的物件的相对位置关系，提供使用者更直觉性的操作。为了使本发明的内容更为明了，以下特举实施例，做为本发明确实能够据以实施的范例。

图1是依照本发明一实施例所绘示的电子装置的结构框图。请参照图1，本实施例的电子装置100例如是平板电脑、个人数字助理、智能型手机、一体型电脑、电子书等具有显示功能的电子装置，本发明并不针对电子装置100的种类加以限制。电子装置100包括屏幕110、影像提取单元120、储存单元130以及一或多个处理单元140，其功能分述如下。

屏幕110用以显示电子装置100输出的画面而提供给使用者观看。在本实施例中，屏幕110可以是液晶显示器（Liquid Crystal Display，LCD）、发光二极管（Light-Emitting Diode，LED）显示器、场发射显示器（Field Emission Display，FED）或其他种类的显示器。然而，虽然本发明的电子装置100具有虚拟输入功能，屏幕110仍可以是由电阻式、电容式或其他种类的触碰感应元件与液晶显示器整合而成，本发明不在此设限。

影像提取模块120包括至少一镜头，其设置于电子装置100的背面并且包括感光元件，用以分别感应进入各所述镜头的光线强度，进而产生影像。所述的感光元件可以是电荷耦合元件（Charge Coupled Device，CCD）、互补性氧化金属半导体（Complementary Metal-OxideSemiconductor，CMOS）元件或其他元件，本发明不在此设限。

储存单元130可以是任意形式的固定式或可移动式随机存储器（Random Access Memory，RAM）、只读存储器（Read-Only Memory，ROM）、闪速存储器（Flash memory）、硬盘或其他类似装置或这些装置的组合，而用以记录可由处理单元140执行的多个模块，这些模块可载入处理单元140以执行虚拟输入操作的功能。

处理单元140例如是中央处理单元（Central Processing Unit，CPU），或是其他可程式化的一般用途或特殊用途的微处理器（Microprocessor）、数字信号处理器（Digital SignalProcessor，DSP）、可程序化控制器、特殊应用积体电路（Application Specific IntegratedCircuits，ASIC）、可程序化逻辑装置（Programmable Logic Device，PLD）或其他类似装置或这些装置的组合。处理单元140耦接至屏幕110、影像提取单元120以及储存单元130，而可存取并执行记录在储存单元130中的模块。

上述模块包括显示模块131、整合模块132、辩识模块133、映射模块134以及切换模块135，这些模块可以是电脑程序，其可载入处理单元140，从而执行虚拟输入操作的功能。

图2是依照本发明一实施例所绘示的虚拟输入操作的方法流程图。请参照图2，本实施例的方法适用于图1的电子装置100，以下即配合电子装置100中的各项元件说明本发明的虚拟输入操作的方法的详细步骤。

请参照图1以及图2，首先处理单元140利用显示模块131在屏幕110上显示使用者界面（步骤S201）。在此，使用者界面可以是视窗操作系统提供的动态窗口（tiles）界面、网页浏览界面、电子邮件界面、桌面背景或其他软件程式所提供的显示界面等，本发明不在此设限。

接着，处理单元140利用影像提取单元120提取使用者的连续多个手部影像（步骤S203）。具体地，在本实施例中，使用者可在桌面上对使用者界面进行操作。电子装置100可以是斜立于桌面上，其中影像提取单元120面向桌面，以不断提取使用者的手部影像。然而，本发明不限于此。在其它的实施例中，使用者可在影像提取单元120可拍摄到的位置，例如任一平面甚至于悬空的方式，对使用者界面进行操作。

之后，处理单元140利用整合模块132整合使用者界面与各所述手部影像，以产生多个整合影像，再利用显示模块131将各所述整合影像显示于屏幕110（步骤S205）。具体地，整合模块132可将所述各手部影像套迭于使用者界面，以产生所述整合影像。在一实施例中，套迭于使用者界面的所述各手部影像可以以半透明的视觉效果呈现，从而避免使用者界面上的物件被手部影像遮蔽，然而，本发明不在此设限。在其它的实施例中，整合模块132可根据使用者界面上的物件类型，来决定所述各整合影像的视觉效果。

接着，处理单元140将利用识别模块133，根据所述各手部影像，识别使用者的手势（gesture）（步骤S207）。具体地，识别模块133可先在各所述手部影像中检测出手部的位置。在一实施例中，识别模块133可利用特征提取演算法（feature extraction algorithm）结合用以检测移动物体的动态移动演算法（motion detection algorithm），检测出各所述手部影像中手部的位置以及移动轨迹，用以识别使用者在桌面上的手势操作。此外，在一实施例中，储存单元130可储存预先经过训练的多个手势模板影像（template image）。识别模块133则可根据所述手部影像的移动轨迹，与各所述手势模板影像进行比对，来识别使用者在桌面上的手势操作。

之后，处理单元140将利用映射模块134取得所述各手部影像中上述手势相对于使用者界面上的位置，以产生多个检测位置（步骤S209）。具体地，各所述手部影像与使用者界面的画面存在着位置的映射关系（mapping relation）。处理单元140在步骤S207取得上述手势在所述各手部影像中的位置后，将会利用上述映射关系取得相对于使用者界面上的位置，也就是前述的「检测位置」。

在一实施例中，各所述手部影像与使用者界面的画面之映射关系可以预先以一查找表（look-up table）的形式预存在电子装置100的储存单元130，以在此将此查找表定义为「第一查找表」。查找表的输入索引为各所述手部影像的座标，查找表的输出为使用者界面的座标。在本实施例中，前述的「座标」可以为手部影像以及使用者界面中的像素座标。据此，映射模块134可将上述手势在各所述手部影像的座标输入至第一查找表，以取得使用者界面上的检测位置。

处理单元140在利用映射模块134取得使用者界面上的检测位置后，将利用输入模块135在检测位置上产生对应于上述手势的输入信号，用以操作使用者界面（步骤S211）。具体地，由于处理单元140已利用映射模块134取得的检测位置，也就是使用者想要对使用者界面操作的位置，处理单元140将利用输入模块135，依照上述手势的移动轨迹依序地在检测位置上产生输入信号，使得使用者在桌面上的手势操作可对应地在使用者界面产生输入信号，从而操作使用者界面。

值得一提的是，前述的电子装置100提供使用者可以在桌面等电子装置100以外的操作界面来对使用者界面上的物件进行操作。在一实施例中，使用者界面上的物件可以是虚拟键盘或是虚拟鼠标。以下将以虚拟键盘来说明电子装置100的应用范例。

图3是根据本发明之一实施例所绘示的电子装置100的使用情景示意图。

在本实施例中，使用者界面为电子邮件界面。此外，使用者界面包括虚拟键盘。请同时参照图1以及图3，当处理单元140在步骤S205中利用整合模块132整合使用者界面34与手部A的连续影像（即，手部影像A’）后，会产生整合影像30，其中使用者界面34还包括虚拟键盘32。在本实施例中，手部影像A’为半透明影像，以使虚拟键盘32的按键不被手部影像A’所遮蔽。在其它实施例中，也可以选择性地让虚拟键盘32以半透明的方式呈现。

之后，识别模块133则会根据手部影像A’，识别使用者的手势为键盘敲击手势（keystroke）。处理单元140可利用映射模块134取得手部影像A’中的键盘敲击手势相对于虚拟键盘32的按键位置。输入模块135可在所述各按键位置产生输入信号，用以操作虚拟键盘。举例来说，手部影像A’中的键盘敲击手势相对于虚拟键盘32的按键位置为按键G时，输入模块135将在虚拟键盘32的按键G产生输入信号，而使用者界面34则会在打字游标处显示字母「G」。

上述实施例主要是利用图形识别（pattern recognition）的技术来识别使用者的操作手势。在另一实施例中，还可利用频率信号检测的技术来识别使用者的操作手势。

图4是依照本发明另一实施例所绘示的电子装置的结构框图。请参照图1，本实施例的电子装置400可以是平板电脑、个人数字助理、智能型手机、电子书等具有显示功能的电子装置，本发明并不针对电子装置400的种类加以限制。电子装置400包括屏幕410、影像提取单元420、收发单元425、储存单元430以及一或多个处理单元440。影像提取单元420以及收发单元425设置于电子装置400的背面，而处理单元440耦接屏幕410、影像提取单元420、收发单元425以及储存单元430。

收发单元425包括发送器（transmitter）以及接收器（receiver）。在本实施例中，收发单元为红外线收发器（infrared transmitter/receiver）。在其它实施例中，收发单元430可以为其它频率信号的收发器，本发明不在此设限。

在本实施例中，屏幕410、影像提取单元420、储存单元430以及处理单元440的结构以及功能类似于屏幕110、影像提取单元120、储存单元130以及处理单元140，相同之处于此不再赘述。不同之处在于，本实施例中的储存单元440所储存的模块包括显示模块431、整合模块432、检测模块433、映射模块434以及切换模块435。类似地，这些模块可以是电脑程序，其可载入处理单元440，从而执行虚拟输入操作的功能。

图5是依照本发明另一实施例所绘示的虚拟输入操作的方法流程图。请参照图5，本实施例的方法适用于图4的电子装置400，以下即配合电子装置400中的各项元件说明本发明的虚拟输入操作的方法的详细步骤。

请参照图4以及图5，首先处理单元440利用显示模块431将使用者界面显示于屏幕410（步骤S501）。接着，处理单元440利用影像提取单元420提取使用者的连续多个手部影像（步骤S503）。之后，处理单元440利用整合模块432整合使用者界面与所述各手部影像，以产生多个整合影像，再利用显示模块431将所述各整合影像在屏幕410上显示（步骤S505）。步骤S501、步骤S503以及步骤S505类似于步骤S201、步骤S03以及步骤S205，请参照前述段落的相关说明，在此不再赘述。

处理单元440将利用检测模块433通过收发单元425检测使用者的手势（步骤S507）。在本实施例中，检测模块443可通过收发单元425发送以及反射的红外线来检测并且定位上述手势。换言之，检测模块443可利用收发单元425检测手势的移动轨迹以及手势在真实空间中的位置。

必须说明的是，在其它实施例中，处理单元440也可以先执行步骤S507，以利用检测模块433检测出使用者的手势后，再执行步骤S503以及步骤S505，以将产生的整合影像显示在屏幕410上，本发明不在此设限。

之后，处理单元450将利用映射模块434取得所述各手部影像中上述手势相对于使用者界面上的位置，以产生多个检测位置（步骤S509）。具体地，上述手势在真实空间中的位置与使用者界面的画面存在着位置的映射关系。处理单元440在步骤S507取得上述手势在真实空间中的位置后，将会利用上述映射关系取得相对于使用者界面上的位置，也就是前述的「检测位置」。

在一实施例中，上述手势与使用者界面的画面的映射关系可以预先以一查找表的形式预存在电子装置400的储存单元430，以在此将此查找表定义为「第二查找表」。查找表的输入索引为各所述手势的真实座标（actual coordinates），查找表的输出为使用者界面的座标（例如：像素座标）。据此，映射模块434可将上述手势的真实座标输入至第二查找表，以取得使用者界面上的检测位置。

接着，处理单元450将利用输入模块435在检测位置上产生对应于上述手势的输入信号，用以操作使用者界面（步骤S511）。步骤S511类似于步骤S211，请参照前述段落的相关说明，在此不再赘述。

类似于图3的使用情景，在一实施例中，电子装置400的显示模块410同样可以显示包括虚拟键盘或是虚拟鼠标。在此的检测模块433可检测使用者的手势为键盘敲击手势，并且直接定位键盘敲击手势的真实座标。处理单元440可利用映射模块434取得键盘敲击手势的真实位置相对于虚拟键盘32的按键位置。输入模块435可在各所述按键位置产生输入信号，从而操作使用者界面上的虚拟键盘。

综上所述，本发明的电子装置可提供使用者在电子装置以外的位置来对使用者界面进行虚拟输入操作，其通过识别使用者的手势及其位置，将手势位置映射到使用者界面的相对位置，进而在所述相对位置产生对应的输入信号。因此，使用者在电子装置以外的位置的手势操作可对应地在使用者界面产生输入信号，从而操作使用者界面。此外，本发明的电子装置更整合使用者界面以及手部影像从而让使用者可在屏幕画面上看到手部以及使用者界面上的物件的相对关系。据此，使用者可在不携带实体键盘或鼠标等输入装置的情况下，达到接近利用实体输入装置来操作电子装置的效果，并且提供使用者更直觉性的操作。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围以权利要求书的保护范围所界定者为准。

Claims (10)

1.一种电子装置，其特征在于，包括：

一屏幕；

一影像提取单元，设置于该电子装置的背面，用以提取一使用者的连续多个手部影像；

一储存单元，记录多个模块；

以及一或多个处理单元，耦接该屏幕、该影像提取单元以及该储存单元，以存取并执行该储存单元中记录的所述模块，所述模块包括：

一显示模块，在该屏幕上显示一使用者界面；

一整合模块，整合该使用者界面与所述各手部影像，以产生多个整合影像，其中该显示模块在该屏幕上显示所述各整合影像；

一识别模块，根据所述各手部影像，识别该使用者的一手势；

一映射模块，取得各所述手部影像中该手势相对于该使用者界面的位置，以产生多个检测位置；

以及一输入模块，根据该使用者界面上的所述检测位置产生对应于该手势的一输入信号，操作该使用者界面。

2.如权利要求1所述的电子装置，其特征在于，该储存单元包括多个手势模板影像，该识别模块根据所述手部影像中手部的位置以及移动轨迹，对比所述手部影像与所述手势模板影像，识别该手势。

3.如权利要求2所述的电子装置，其特征在于，该储存单元包括一第一查找表，其中该第一查找表的输入索引为所述各手部影像的座标，该第一查找表的输出为该使用者界面的座标。

4.如权利要求3所述的电子装置，其特征在于，该映射模块在该第一查找表中输入该手势在所述各手部影像的座标，以取得该使用者界面上的所述检测位置。

5.如权利要求1所述的电子装置，其特征在于，该使用者界面包括一虚拟键盘，该识别模块根据各所述手部影像，识别该使用者的该手势为一键盘敲击手势，该映射模块取得所述各手部影像中该键盘敲击手势相对于该虚拟键盘的一按键位置，而根据该输入模块在该虚拟键盘的该按键位置产生的该输入信号，操作该虚拟键盘。

6.一种电子装置，其特征在于，包括：

一屏幕；

一影像提取单元，设置于该电子装置的背面，以提取一使用者的连续多个手部影像；

一收发单元，设置于该电子装置的背面，并且具有一发送器以及一接收器；

一储存单元，记录多个模块；以及

一或多个处理单元，耦接该屏幕、该影像提取单元、该收发单元以及该储存单元，以存取并执行该储存单元中记录的所述模块，所述模块包括：

一显示模块，在该屏幕上显示一使用者界面；

一整合模块，整合该使用者界面与所述各手部影像，以产生多个整合影像，其中该显示模块在该屏幕上显示所述各整合影像；

一检测模块，利用该收发单元，以检测该使用者的一手势，其中该手势对应于该影像提取单元所提取的所述各手部影像；

一映射模块，取得该手势相对于该使用者界面上的位置，以产生多个检测位置；

以及一输入模块，根据在该使用者界面上的所述检测位置产生对应于该手势的一输入信号，操作该使用者界面。

7.如权利要求6所述的电子装置，其特征在于，该检测模块利用该收发单元，检测该手势的移动轨迹以及该手势在一真实空间中的位置。

8.如权利要求7所述的电子装置，其特征在于，该储存单元包括一第二查找表，其中该第二查找表的输入索引为该手势的在该真实空间中的座标，该第二查找表的输出为该使用者界面的座标。

9.如权利要求8所述的电子装置，其特征在于，该映射模块在该第二查找表中输入该手势在该真实空间中的座标，以取得该使用者界面的所述检测位置。

10.如权利要求6所述的电子装置，其特征在于，该使用者界面包括一虚拟键盘，该识别模块根据各所述手部影像，识别该使用者的该手势为一键盘敲击手势，该映射模块取得该键盘敲击手势相对于该虚拟键盘的一按键位置，而该输入模块根据产生在该虚拟键盘的该按键位置的该输入信号，操作该虚拟键盘。