CN103425238A - 以手势为输入的控制系统云端系统 - Google Patents

Abstract

本发明公开了一种以手势为输入的控制系统，所述的系统包括：影像撷取单元、影像处理单元、数据库及运算比对单元。影像撷取单元撷取包括有使用者的手势的输入影像。手势为手语姿势或手部握持辅助物件的姿势。影像处理单元连接于影像撷取单元，用以接收及辨识该输入影像中的手势。数据库记录多个参考影像及每一个参考影像对应的至少一项控制指令。运算比对单元则连接于影像处理单元及数据库，用以比该数据库的所述参考影像与影像处理单元所辨识的手势，以获得与手势相符的参考影像的相对应控制指令。所述控制指令用以控制电子装置的运作。

Description

以手势为输入的控制系统云端系统

技术领域

本发明有关于一种控制系统，且特别是有关于以手势作为输入的控制系统。

背景技术

随着科技的进步，电子装置的发展为人类生活带来许多便利性，因此，如何使电子装置的操作及控制更为人性化及方便是一个重要的工作。举例而言，使用者一般常用鼠标、键盘或遥控器等设备对电脑或电视等装置进行操作，但使用前述的输入装置需要至少一小段学习的时间，对不谙操作这类输入装置的使用者而言产生使用上的门槛。再者，上述的输入装置都会占用一定的空间，使用者需要为了摆放鼠标、键盘等装置而腾出桌面部分空间，即使是使用遥控器也必须考虑到收纳遥控器的问题。此外，长时间使用下鼠标或键盘等输入装置也容易造成疲劳及酸痛而影响健康。

发明内容

为解决现有技术中的上述问题，本发明提供了一种以手势为输入的控制系统。

本发明提供一种以手势为输入的控制系统，所述的系统包括：影像撷取单元、影像处理单元、数据库及运算比对单元。影像撷取单元撷取包括有辅助物件及使用者的手势的输入影像。影像处理单元连接于影像撷取单元，用以接收及辨识该输入影像中的手势。手势包括使用者用手语时的手语姿势或使用者手部握持辅助物件的姿势。数据库记录多个参考影像及每一个参考影像对应的至少一项控制指令。运算比对单元则连接于影像处理单元及数据库，用以比该数据库的所述参考影像与影像处理单元所辨识的手势，以获得与手势相符的参考影像的相对应控制指令。由此，控制系统可根据以手势为输入所获得的控制指令控制电子装置的运作。

根据上述构思的控制系统，还包括：指令执行单元，连接该运算比对单元以接收该运算比对单元比对出的该控制指令，并执行该控制指令以控制该电子装置运作。

根据上述构思的控制系统，还包括：输入单元，连接该指令执行单元，该输入单元接受该使用者输入而产生输入指令；其中，该指令执行单元根据该控制指令及该输入指令控制该电子装置运作，该输入单元为触控面板、键盘、鼠标、手写板或声音输入装置。

根据上述构思的控制系统，该控制指令包括：上一页、下一页、进入、退出、取消、放大、缩小、翻转、旋转、拍摄该使用者的影像、开启该电子装置的显示装置、关闭该电子装置的该显示装置、锁定该显示装置的画面、解除锁定该显示装置的画面、关闭该电子装置、启动该电子装置、关闭该电子装置的特定功能、启动该电子装置的特定功能、播放多媒体数据、开启程序、关闭程序或休眠。

根据上述构思的控制系统，该手势还包括手部姿势、手臂姿势或该手部姿势与该手臂姿势的组合。

根据上述构思的控制系统，该手势包括单指伸出姿势、多指伸出姿势或握拳姿势。

根据上述构思的控制系统，该手势为双手握拳姿势、双手合掌姿势、双手抱拳姿势、单手臂伸出姿势或双臂伸出姿势。

根据上述构思的控制系统，该手姿势为手部顺时针运动、手部逆时针运动、手部由外向内运动、手部由内向外运动、点击运动、打叉运动、打勾运动或拍击运动。

根据上述构思的控制系统，该手势为关联于数字、数量、英文字母、完成、OK、暂停、当机、死、行、来或去的意义。

根据上述构思的控制系统，该输入影像还包括该使用者的脸部姿势，该影像处理单元还辨识该输入影像中的该脸部姿势的影像，该数据库的所述多个参考影像包括该手势与该脸部姿势的结合的影像，该运算比对单元更接收该影像处理单元所辨识的该脸部姿势的影像，并与所述多个参考影像进行比对，以获得与该手势及该脸部姿势的结合的影像相符的该参考影像的相对应该控制指令。

根据上述构思的控制系统，该脸部姿势为关联于喜、怒、哀、乐、惧、恶、哭、好、差、鄙视、咒骂、惊吓或疑惑的表情或情绪。

根据上述构思的控制系统，该影像处理单元根据该使用者脸部的眉、眼、鼻或口之间的距离辨识该脸部姿势。

根据上述构思的控制系统，该脸部姿势为该使用者双眼张开、单眼闭合、双眼闭合、张口、闭口、撅嘴、张口吐舌、或闭口吐舌。

根据上述构思的控制系统，该脸部姿势为该使用者唇语或说话时的口部运动产生的姿势。

根据上述构思的控制系统，该脸部姿势为单眼眨眼运动、双眼交错眨眼运动、双眼同步眨眼运动、口部开合运动或舌部伸缩运动。

附图说明

图1：本发明提供的一种控制系统实施例的方块图；

图2：本发明提供的一种控制系统实施例的示意图；

图3A-3D：手势实施例的示意图；

图4A-4D：手势实施例的示意图；

图5A-5C：手语姿势实施例的示意图；

图6：手部握持辅助物件实施例的示意图；及

图7A-7C：手语姿势结合辅助物件实施例的示意图。

其中，附图标记说明如下：

1：使用者

2：控制系统

20：影像撷取单元

21：影像处理单元

22：数据库

23：运算比对单元

24：指令执行单元

25：输入单元

3：轮椅

30：电子装置

300：摄影镜头

302：触控板

40-45：方向

6：辅助物件

60-67：方向

具体实施方式

〔以手势为输入的控制系统实施例〕

请参照图1所绘示的一种以手势为输入的控制系统实施例的方块图。控制系统2可包括影像撷取单元20、影像处理单元21、数据库22、运算比对单元23及指令执行单元24。影像撷取单元20耦接于影像处理单元21，而影像处理单元21、数据库22及指令执行单元24则分别连接于运算比对单元23。

影像撷取单元20可为包括CCD或CMOS镜头的摄影机或照相机，用以撷取使用者1的输入影像。输入影像当中包括使用者1的手势，而使用者1的手势包括使用者1的手部姿势、手臂姿势，或是手部姿势与手臂姿势的组合姿势。其中，手部姿势可包括有手掌、手指或其组合所形成的姿势。具体来说，所述的手势可例如使用者1单手或双手的手部姿势或手臂姿势组合成作为沟通语言的手语（sign language）姿势，或是使用者1手部握持额外的辅助物件而形成的手势。

影像撷取单元20撷取所述包括手势的输入影像后，将输入影像传送到影像处理单元21，利用影像演算方法进行影像分析及处理，以辨识出输入影像当中的手势以供比对。用以辨识手势的影像演算方法可例如为：影像特征值萃取与分析法、背景相减法、或Adaboost演算法等演算方法以识别出输入影像当中的手势影像。

数据库22当中记录了多个参考影像，而每一个参考影像对应至少一种控制指令。每一个参考影像显示了一种特定的手势的影像，例如手语姿势的影像或手部握持辅助物件的影像。控制指令则可例如为：拍摄使用者1的影像、开启电子装置的一显示装置、关闭电子装置的显示装置、锁定显示装置的画面、解除锁定显示装置的画面、关闭电子装置、启动电子装置、关闭电子装置的特定功能、启动电子装置的特定功能、上一页、下一页、进入、取消、放大、缩小、翻转、旋转、播放影像或音乐、开启程序、关闭程序、休眠、加密、解密、数据运算或比对、数据传输、显示数据或影像，或执行影像比对等指令。前述的控制指令仅为本实施例所述的控制系统2可控制及执行的部分例示，并无限制控制指令项目或类型之意。

运算比对单元23用于接收影像处理单元21所辨识出的手势，并且将所述的手势与数据库22中的参考影像进行比对，判断数据库22中是否具有与所述手势相符的参考影像，并且在判断数据库22中存有与所述手势相符的参考影像时，读取参考影像所对应的特定控制指令。

指令执行单元24接收运算比对单元23所读取的控制指令，并且根据控制指令的内容使电子装置（图1未绘示）执行控制指令所指示的作业，例如开启电子装置的显示装置以显示画面。所述的电子装置可为桌上型电脑、笔记型电脑、平板电脑、智能型手机、个人数字助理或电视机等具有运算处理能力的运算装置，所述的电子装置还可结合于轮椅或车辆等装置。

其中，控制系统2可设置于上述的电子装置，影像撷取单元20可内建或外接于所述的电子装置，影像处理单元21、运算比对单元23及指令执行单元24可整合于电子装置的中央处理器、嵌入式处理器、微控制器或数字信号处理器等主要运算处理单元执行，亦或是分别由专用的处理芯片实作而成。数据库22可储存于电子装置的非挥发性储存装置当中，例如硬盘、快闪存储器或电子式可编程可擦除唯读存储器等装置。

更进一步地，本实施例的控制系统2更可包括输入单元25，用以接受使用者1的操作而产生手势以外的输入指令。输入单元25可例如为鼠标、键盘、触控面板、手写板或声音输入装置（如麦克风）等装置。指令执行单元24可进一步接收输入单元25产生的输入指令，并在执行控制指令后进一步执行输入指令以控制电子装置的运作。例如使用者1先以手势控制电子装置启动特定程序，再通过输入单元25产生输入指令以选取被启动的程序的特定选项。特别说明的是，所述的输入单元25并非本实施例的控制系统2的必要元件。

接着请参阅图2所绘示的一种以手势为输入的控制系统实施例的示意图。对应于图1所示的实施例方块图，所述的控制系统2即可适用在结合于轮椅3的电子装置30（如平板电脑）上。影像撷取单元20可为设置在轮椅3扶手上的摄影镜头300，当使用者坐在轮椅3上面对摄影镜头300时，摄影镜头300可撷取使用者的手势而产生输入影像，并交由电脑内的中央处理器（图2未示）进行影像处理的工作，以及读取储存在电脑内的数据库（图2未示）所记录的参考影像进行比对，进而根据比对结果所获得的控制指令执行相对应的作业，达到控制电脑甚至是轮椅3运作的目的。

此外，如上所述，除了利用摄影镜头300撷取使用者的影像以利用使用者的手势作为输入之外，还可进一步配合电子装置30原有的输入单元25，如图2所示的触控板302，以执行需要多重步骤才能完成的工作。

接下来将详细说明用以作为输入的手势的方式。如前所述，手势可包括手部姿势（包括手掌及手指）及手臂姿势。

其中手部单手的左手姿势或右手姿势，以及左、右双手姿势的组合。具体来说，可包括左手握拳姿势、左手单指伸出姿势、左手两指伸出姿势、左手三指伸出姿势、左手四指伸出姿势、左手手掌张开姿势、右手握拳姿势、右手单指伸出姿势、右手两指伸出姿势、右手三指伸出姿势、右手四指伸出姿势及右手手掌张开姿势。

另一方面，手臂姿势也可包括单手的左手臂姿势或右手臂姿势，或是左、右双手臂姿势的组合。手势还可包括左手姿势、右手姿势，以及左手姿势与右手姿势的组合，并且单次运动或循环运动所形成的手部姿势。以左手姿势为例，手势可为任一个左手姿势的单次运动或循环运动所形成的姿势，或是多个左手姿势的组合的单次运动或循环运动所形成的姿势。请参阅图3A所示的左手姿势，即为左手单指伸出姿势的单次向上40运动而形成的左手单指上挥姿势。类似地，图3B则为左手单指伸出姿势的单次向下41运动而形成的左手单指下挥姿势。图3C则根据左手单指伸出姿势的单次侧向42运动而形成的左手单指侧勾姿势。图3D更根据左手单指伸出姿势的单次向内43运动而形成的左手单指内勾姿势。

除此之外，左手姿势还可例如为图4A到图4D分别例示的各种姿势。如图4A所示，左手姿势还可包括左手单指顺时针44方向运动、图4B所示的左手单指逆时针45方向运动、图4C所示的左手单指打勾运动，或图4D所示的左手单指打叉运动所形成的姿势。

图3A到图3D及图4A到图4D虽是以左手单指姿势所衍生的变化为例示，但左手姿势并不限所示方式，例如还可包括点击运动、拇指与中指接触的弹指运动，或是拍击运动所产生的姿势。右手姿势的原理亦同，即不再重述。

更进一步而言，手势不仅可为手部的或姿势，或手臂的或姿势，更可包括手部姿势与手臂姿势的任意组合，例如：双手握拳、双手合掌、双手抱拳、或双臂伸出等姿势或前述姿势的组合。

通过各种手部及/或手臂的姿势的组合，可产生关联于诸如数字、数量、英文字母、完成、“OK”、暂停、当机、死、行、来或去等意义的手势，作为控制系统2的输入内容，经过控制系统2的影像处理单元21辨识及运算比对单元23比对，进行获得与所述输入相对应的控制指令，再通过指令执行单元24执从所述的控制指令而达到控制电子装置根据使用者的手势输入而运作的效果。举一具体例示来说，使用者1结合手指、手掌或手臂的姿势组合成的手语姿势也为一种典型的手势，如图5A到5C分别绘示的手语姿势。由于手语通常需要利用到使用者1的手指、手掌甚至是手臂之间的组合，结合关节以特定的角度摆置出复杂或连续变化的姿势，可产生出多种关联于不同意义的手势，并进而作为用以控制电子装置的输入来源（input source），经由影像处理单元及运算比对单元的处理之后，可对电子装置进行更为精细及准确的操作控制。

〔以手势为输入的控制系统的另一实施例〕

在本实施例中，影像撷取单元20所撷取的输入影像当中，还包括由使用者1的手部所握持的辅助物件。所述的辅助物件例如为笔、尺、口红或纸张等物品，且不限于前述例示的物品。在本实施例中的数据库22所储存的参考影像可为握持近似或相同的辅助物件的手势的影像或影像，以供运算比对单元23进行比对。

影像处理单元21分析及辨识输入影像时，除辨识使用者1的手势（如手语姿势）之外，还可一并辨识所述被握持的辅助物件，并将辨识出的手势与辅助物件的影像特征交由运算比对单元23读取数据库22中的参考影像进行比对，以获得与输入影像中的手势及辅助物件的影像相符的参考影像所对应的控制指令。

请参阅图6所绘示包括有辅助物件6的手势示意图。辅助物件6可被握持于使用者的手部，例如图6所示的以右手握拳姿势握持辅助物件6的姿势。影像处理单元21可辨识出使用者1的手势为右手握拳姿势，以及辅助物件6被握持的方向（如图6所示的方向60到方向67任一者），以供运算比对单元23分别比对参考影像中的相对应手势及辅助物件的方向。图6所绘示的示意图仅为例示，本实施例所述具有辅助物件6的输入影像并不限于上述图式及说明。例如：输入影像还可为以使用者的手部任意两指夹持辅助物件6，并使辅助物件6朝向方向60到方向67中的任一方向摆置，如图7A所示以食指和中指夹持笔所形成的手势。更进一步来说，输入影像还可为包括前述任意一种手部姿势或手臂姿势与辅助物件的组合，以形成关联于不同意义的输入，例如结合手语姿势和握持辅助物件6所组成的手势。例如图7B所示将辅助物件6（如球状物）摆置于手掌中央，或如图7C所示将辅助物件6置于指尖，再以手指所摆出的不同姿势而代表不同的手语姿势，进而形成各式的手势。

〔以手势为输入的控制系统的再一实施例〕

本实施例中，所述的输入影像除了包括使用者1的手势之外，还包括使用者1的脸部姿势。使用者1的脸部姿势包括使用者1的脸部姿势，或脸部姿势。影像处理单元21除了辨识使用者1的手势之外，还可根据使用者1脸部的眉、眼、鼻、齿或口之间的距离辨识其脸部姿势。此外，在本实施例中的数据库22所储存的参考影像可为脸部姿势及手势的结合的影像或影像，以供运算比对单元23进行比对。

其中，脸部姿势为使用者1的脸部表情或情绪，例如为关联于喜、怒、哀、乐、惧、恶、哭、好、差、鄙视、咒骂、惊吓或疑惑等情绪，或是使用者1的双眼张开、单眼闭合、双眼闭合、张口、闭口、撅嘴、张口吐舌、或露齿微笑等表情。

更进一步来说，脸部姿势则可为使用者1的脸部表情或情绪的变化。也就是脸部姿势的单次运动或循环运动，或是脸部姿势的组合的运动，例如单眼眨眼、双眼交错眨眼、双眼同步眨眼、口部开合、或舌部伸缩等的单次或多次循环运动。举例来说，例如使用者唇语时所产生的口部形状变化也为一种典型的脸部态动姿势。

将被影像处理单元21辨识出来的手势与脸部姿势的组合交由运算比对单元23进行比对后，当数据库22中存有与所述手势与脸部姿势的组合相符的参考影像时，运算比对单元23即可选择与所述参考影像对应的控制指令，藉以控制电子装置的运作。

本实施例中与前述各实施例内容相同之处，于本实施例中不再重述，敬请参照前述各实施例及其相对应的图式说明。

〔实施例的可能功效〕

根据本发明实施例，上述的控制系统可利用使用者本身可摆出的手势作为控制电子装置运作的输入，由于使用者对于自身的手势动作通常具有绝佳的控制与协调能力，相较于操作其他实体输入装置具有更直觉而易懂的特性，免除了学习操作实体输入装置的困难。

此外，利用使用者的手势做为输入，还节省了摆放实体输入装置所占用的空间，同时也避免长时间点击鼠标或敲打键盘等动作而造成的身体不适。

更进一步来说，根据本发明的各实施例，上述的控制系统除了利用手势为输入之外，更可辨识使用者其他的肢体语言，包括腿部、脚部、脸部等的或姿势，搭配使用者的手势可以产生更多种类的变化，提供更多样的控制手段，有利于更精确地对电子装置下达控制命令，并使电子装置依照使用者的肢体动作而运作。

值得一提的是，根据本发明实施例所述的控制系统还可以唇语或/及手语为输入，即使使用者处于无法打字或无法以语音输入的环境下（例如使用者为喑哑人士或使用者位于外太空），仍可利用脸部表情、手势而达到控制电子装置的效果。

以上所述仅为本发明的实施例，其并非用以局限本发明的专利范围。

Claims (15)

1.一种以手势为输入的控制系统，其特征在于，该系统包括：

影像撷取单元，撷取输入影像，该输入影像包括使用者的手势，该手势包括该使用者用手语时的手语姿势或该使用者手部握持辅助物件的姿势；

影像处理单元，连接该影像撷取单元，用以接收及辨识该输入影像中的该手势；

数据库，记录多个参考影像及每一个该参考影像对应的至少一控制指令；

运算比对单元，连接于该影像处理单元及该数据库，比对该数据库的所述多个参考影像与该影像处理单元所辨识的该手势，以获得与该手势相符的该参考影像的相对应该控制指令；

其中，该控制系统根据以该手势为输入所获得的该控制指令用以控制电子装置的运作。

2.如权利要求1所述的控制系统，其特征在于还包括：

指令执行单元，连接该运算比对单元以接收该运算比对单元比对出的该控制指令，并执行该控制指令以控制该电子装置运作。

3.如权利要求2所述的控制系统，其特征在于还包括：

输入单元，连接该指令执行单元，该输入单元接受该使用者输入而产生输入指令；

其中，该指令执行单元根据该控制指令及该输入指令控制该电子装置运作，该输入单元为触控面板、键盘、鼠标、手写板或声音输入装置。

4.如权利要求1、2或3所述的控制系统，其特征在于，该控制指令包括：上一页、下一页、进入、退出、取消、放大、缩小、翻转、旋转、拍摄该使用者的影像、开启该电子装置的显示装置、关闭该电子装置的该显示装置、锁定该显示装置的画面、解除锁定该显示装置的画面、关闭该电子装置、启动该电子装置、关闭该电子装置的特定功能、启动该电子装置的特定功能、播放多媒体数据、开启程序、关闭程序或休眠。

5.如权利要求1所述的控制系统，其特征在于，该手势还包括手部姿势、手臂姿势或该手部姿势与该手臂姿势的组合。

6.如权利要求1所述的控制系统，其特征在于，该手势包括单指伸出姿势、多指伸出姿势或握拳姿势。

7.如权利要求1所述的控制系统，其特征在于，该手势为双手握拳姿势、双手合掌姿势、双手抱拳姿势、单手臂伸出姿势或双臂伸出姿势。

8.如权利要求1所述的控制系统，其特征在于，该手姿势为手部顺时针运动、手部逆时针运动、手部由外向内运动、手部由内向外运动、点击运动、打叉运动、打勾运动或拍击运动。

9.如权利要求1所述的控制系统，其特征在于，该手势为关联于数字、数量、英文字母、完成、OK、暂停、当机、死、行、来或去的意义。

10.如权利要求1所述的控制系统，其特征在于，该输入影像还包括该使用者的脸部姿势，该影像处理单元还辨识该输入影像中的该脸部姿势的影像，该数据库的所述多个参考影像包括该手势与该脸部姿势的结合的影像，该运算比对单元更接收该影像处理单元所辨识的该脸部姿势的影像，并与所述多个参考影像进行比对，以获得与该手势及该脸部姿势的结合的影像相符的该参考影像的相对应该控制指令。

11.如权利要求10所述的控制系统，其特征在于，该脸部姿势为关联于喜、怒、哀、乐、惧、恶、哭、好、差、鄙视、咒骂、惊吓或疑惑的表情或情绪。

12.如权利要求10所述的控制系统，其特征在于，该影像处理单元根据该使用者脸部的眉、眼、鼻或口之间的距离辨识该脸部姿势。

13.如权利要求10所述的控制系统，其特征在于，该脸部姿势为该使用者双眼张开、单眼闭合、双眼闭合、张口、闭口、撅嘴、张口吐舌、或闭口吐舌。

14.如权利要求10所述的控制系统，其特征在于，该脸部姿势为该使用者唇语或说话时的口部运动产生的姿势。

15.如权利要求10所述的控制系统，其特征在于，该脸部姿势为单眼眨眼运动、双眼交错眨眼运动、双眼同步眨眼运动、口部开合运动或舌部伸缩运动。

Images