CN103425239B - 以脸部表情为输入的控制系统 - Google Patents

Abstract

本发明公开了一种以脸部表情为输入的控制系统，包括了影像撷取单元、影像处理单元、数据库及运算比对单元。影像撷取单元撷取包括使用者唇语时的脸部表情的输入影像。影像处理单元连接影像撷取单元，用以接收及辨识输入影像中的所述脸部表情。数据库记录多个参考影像及每一所述参考影像对应的控制指令。运算比对单元连接于影像处理单元及数据库，接收影像处理单元所辨识的脸部表情，并与数据库的参考影像进行运算比对，以获得与脸部表情相符的参考影像相对应的控制指令。由此，控制系统可根据以脸部表情为输入所获得的控制指令控制电子装置的运作。

Description

以脸部表情为输入的控制系统

技术领域

本发明有关于一种控制系统，且特别是有关于以脸部表情为输入的控制系统。

背景技术

随着科技的进步，电子装置的发展为人类生活带来许多便利性，因此，如何使电子装置的操作及控制更为人性化及方便是一个重要的工作。举例而言，使用者一般常用鼠标、键盘或遥控器等设备对电脑或电视等装置进行操作，但使用前述的输入装置需要至少一小段学习的时间，对不谙操作这类输入装置的使用者而言产生使用上的门槛。再者，上述的输入装置都会占用一定的空间，使用者需要为了摆放鼠标、键盘等装置而腾出桌面部分空间，即使是使用遥控器也必须考虑到收纳遥控器的问题。此外，长时间使用下鼠标或键盘等输入装置也容易造成疲劳及酸痛而影响健康。

发明内容

本发明的目的在于提供一种以脸部表情为输入的控制系统，以解决现有技术的上述问题。

本发明实施例提供一种以脸部表情为输入的控制系统，包括了影像撷取单元、影像处理单元、数据库及运算比对单元。影像撷取单元撷取包括使用者的脸部表情的输入影像，所述的脸部表情包括使用者用唇语或说话时的口部运动产生的表情。影像处理单元连接影像撷取单元，用以接收及辨识输入影像中的所述脸部表情。数据库记录多个参考影像及每一所述参考影像对应的控制指令。运算比对单元连接于影像处理单元及数据库，接收影像处理单元所辨识的脸部表情，并与数据库的参考影像进行运算比对，以获得与脸部表情相符的参考影像相对应的控制指令。

由此，控制系统可根据以脸部表情为输入所获得的控制指令控制电子装置的运作。

依据上述构思的控制系统，还包括：指令执行单元，连接该运算比对单元以接收该运算比对单元运算比对出的该控制指令，并执行该控制指令以控制该电子装置的运作。

依据上述构思的控制系统，该指令执行单元根据该控制指令控制该电子装置执行拍摄该使用者的影像、开启该电子装置的显示装置、关闭该电子装置的该显示装置、锁定该显示装置的画面、解除锁定该显示装置的画面、关闭该电子装置、或启动该电子装置、关闭该电子装置的特定功能、或启动该电子装置的特定功能。

依据上述构思的控制系统，该指令执行单元根据该控制指令控制该电子装置执行上一页、下一页、进入、退出、取消、放大、缩小、翻转、旋转、播放多媒体数据、开启程序、关闭程序、休眠或关闭。

依据上述构思的控制系统，该影像处理单元还根据该使用者的眉、眼、耳、鼻、齿或口的特征绝对位置或特征相对位置而分析出该脸部表情。

依据上述构思的控制系统，该影像处理单元还根据该使用者脸部的眉、眼、耳、鼻、齿或口之间的距离或位移辨识该脸部表情。

依据上述构思的控制系统，该脸部表情还包括关联于喜、怒、哀、惧、恶、惊吓或疑惑的情绪。

依据上述构思的控制系统，该脸部表情还包括该使用者单边挑眉、双边挑眉、双眼张开、单眼闭合、双眼闭合、挤鼻，或其任意组合的表情。

依据上述构思的控制系统，该脸部表情还包括单眼眨眼、双眼交错眨眼、双眼同步眨眼，或其任意组合的表情。

依据上述构思的控制系统，该输入影像还包括该使用者的手势或下肢姿势，该影像处理单元还辨识该输入影像中的该手势或该下肢姿势，该数据库的所述多个参考影像包括该手势或该下肢姿势与该脸部表情的结合的影像，该运算比对单元还接收该影像处理单元所辨识的该手势或该下肢姿势，并与所述多个参考影像进行运算比对，以获得与该手势或该下肢姿势及该脸部表情的结合相符的该参考影像的相对应该控制指令。

依据上述构思的控制系统，该手势为手语。

依据上述构思的控制系统，该手势为单指伸出姿势、多指伸出姿势、单手握拳姿势、双手握拳姿势、双手合掌姿势、双手抱拳姿势、单手臂伸出姿势或双臂伸出姿势。

依据上述构思的控制系统，该手势为手部顺时针运动、手部逆时针运动、手部由外向内运动、手部由内向外运动、点击运动、打叉运动、打勾运动或拍击运动。

依据上述构思的控制系统，该输入影像还包括辅助物件，该脸部表情包括搭配该辅助物件的姿势。

依据上述构思的控制系统，还包括：输入单元，连接该指令执行单元，该输入单元接收该使用者输入而产生输入指令；其中，该指令执行单元根据该控制指令及该输入指令控制该电子装置运作，该输入单元为触控面板、键盘、鼠标、手写板或声音输入装置。

附图说明

图1：本发明所提供的一种以脸部表情为输入的控制系统实施例的方块图；

图2：本发明提供的一种以脸部表情为输入的控制系统实施例的示意图；

图3：本发明实施例中脸部及唇语的示意图；

图4A-4C：脸部表情实施例的示意图（眉毛）；

图5A-5D：脸部表情实施例的示意图（眼睛）；

图6A-6C：脸部表情实施例的示意图（口部）；

图7：脸部配置辅助物件实施例的示意图；及

图8A-8C：手势实施例的示意图（手语）。

其中，附图标记说明如下：

1：使用者

2：控制系统

20：影像撷取单元

21：影像处理单元

22：数据库

23：运算比对单元

24：指令执行单元

25：输入单元

3：电子装置

30：摄影镜头

32：触控板

34：键盘

4：脸部

40：眉毛

41：眼睛

42：耳朵

43：鼻子

44：口部

45 舌头

46：牙齿

5：无线耳机

具体实施方式

〔以脸部表情为输入的控制系统实施例〕

请参照图1所绘示的一种以脸部表情为输入的控制系统实施例的方块图。控制系统2可包括影像撷取单元20、影像处理单元21、数据库22、运算比对单元23及指令执行单元24。影像撷取单元20耦接于影像处理单元21，而影像像处理单元21、数据库22及指令执行单元24则分别连接于运算比对单元23。

影像撷取单元20可为包括CCD或CMOS镜头的摄影机或照相机，用以撷取使用者1的输入影像。输入影像当中包括使用者1的脸部表情，而使用者1的脸部表情包括使用者1的眉、眼、耳、鼻、口或舌，或是前述眉、眼、耳、鼻、口或舌的任意组合的姿势，例如使用者1说话或是唇语时口部运动所形成的各种口型变化。影像撷取单元20撷取所述包括脸部表情的输入影像后，将输入影像传送到影像处理单元21，利用影像演算方法进行影像分析及处理，以辨识出输入影像当中的脸部表情以供比对。用以辨识脸部表情的影像演算方法可例如为：影像特征值萃取与分析法、类神经网络（neural networks）、模版配对（templatematching）、或几何模型（geometrical modeling）等演算方法以识别出输入影像当中的脸部表情的影像。

数据库22当中记录了多个参考影像，而每一个参考影像对应至少一种控制指令。每一个参考影像显示了一种特定的脸部表情的影像。控制指令则可例如为：拍摄使用者1的影像、开启电子装置的显示装置、关闭电子装置的显示装置、锁定显示装置的画面、解除锁定显示装置的画面、关闭电子装置、启动电子装置、关闭电子装置的特定功能、启动电子装置的特定功能、上一页、下一页、进入、退出、取消、放大、缩小、翻转、旋转、播放影像或音乐、开启程序、关闭程序、休眠、加密、解密、数据运算或比对、数据传输、显示数据或影像，或执行影像比对等指令。前述的控制指令仅为本实施例所述的控制系统2可控制及执行的部分例示，并无限制控制指令项目或类型之意。

运算比对单元23用于接收影像处理单元21所辨识出的脸部表情，并且将所述的脸部表情与数据库22中的参考影像进行比对，判断数据库22中是否具有与所述脸部表情相符的参考影像，并且在判断数据库22中存有与所述脸部表情相符的参考影像时，读取参考影像所对应的特定控制指令。

指令执行单元24接收运算比对单元23所读取的控制指令，并且根据控制指令的内容使电子装置（图1未绘示）执行控制指令所指示的作业，例如开启电子装置的显示装置以显示画面。所述的电子装置可为桌上型电脑、笔记型电脑、平板电脑、智能型手机、个人数字助理或电视机等具有运算处理能力的运算装置。

其中，控制系统2可设置于上述的电子装置，影像撷取单元20可内建或外接于所述的电子装置，影像处理单元21、运算比对单元23及指令执行单元24可整合于电子装置的中央处理器、嵌入式处理器、微控制器或数字信号处理器等主要运算处理单元执行，抑或是分别由专用的处理晶片实作而成。数据库22可储存于电子装置的非挥发性储存装置当中，例如硬盘、快闪存储器或电子式可编程可擦除只读存储器等装置。

更进一步地，本实施例的控制系统2更可包括输入单元25，用以接收使用者1的操作而产生脸部表情以外的输入指令。输入单元25可例如为鼠标、键盘、触控面板、手写板或声音输入装置（如麦克风）等装置。指令执行单元24可进一步接收输入单元25产生的输入指令，并在执行控制指令后进一步执行输入指令以控制电子装置的运作。例如使用者1先以脸部表情控制电子装置启动特定程序，再通过输入单元25产生输入指令以选取被启动的程序的特定选项。特别说明的是，所述的输入单元25并非本实施例的控制系统2的必要元件。

接着请参阅图2所示的一种以脸部表情为输入的控制系统实施例的示意图。对应于图1所示的实施例方块图，所述的控制系统2即可适用在如笔记型电脑的电子装置3上。影像撷取单元20可为设置在笔记型电脑上的摄影镜头30，当使用者站立或坐在电脑前方面对摄影镜头30时，摄影镜头30可撷取使用者的脸部表情，例如使用者唇语所形成的口部运动的脸部表情变化，而产生输入影像，并交由电脑内的中央处理器（图2未示）进行影像处理的工作，以及读取储存在电脑内的数据库（图2未示）所记录的参考影像进行比对，进而由中央处理器根据比对结果所获得的控制指令执行相对应的作业，达到控制电脑运作的目的。

此外，如上所述，除了利用摄影镜头30撷取使用者的影像以利用使用者的脸部表情作为输入之外，还可进一步配合电子装置3原有的输入单元，如图2所示的触控板32或键盘34，以执行需要多重步骤才能完成的工作。

接下来将详细说明用以作为输入的脸部表情的方案。

请参阅图3，图3所示为使用者的脸部示意图，本实施例中用以作为输入的脸部表情即由位于影像撷取单元20（参阅图1）撷取范围内的使用者脸部4的眉、眼、耳、鼻、口、齿或舌等脸部器官所产生。其中，影像处理单元21（参阅图1）可根据如图3所示的眉毛40、眼睛41、耳朵42、鼻子43、口部44、舌头45或牙齿46之间的距离，计算脸部器官的特征绝对位置、位移或特征相对位置、位移而分析出脸部表情，例如关联于表现出使用者1的喜、怒、哀、惧、恶、惊吓或疑惑等情绪的脸部表情。

请参阅图4A到图4C所示的使用者1的脸部表情示意图。图4A到图4C绘示的是眉毛40的不同特征位置所形成的脸部表情，包括如图4A的右眉高耸及图4B的左眉高耸所形成的单边挑眉表情，以及如图4C的左、右眉皆高耸所形成的双边挑眉表情。影像处理单元可根据眉毛40相对于眼睛41的位置或眉毛40本身的弧度而判断出眉毛40是否上挑。其中，图4C还绘示出使用者1挤鼻子43（squeeze nose）的表情。

除了眉毛40形成的脸部表情之外，请参阅图5A到图5D所示的另一个脸部表情示意图，图5A到图5D绘示的是眼睛41的不同特征位置所形成的脸部表情，包括如图5A的右眼闭合、左眼张开及图5B的右眼张开、左眼闭合所形成的单眼闭合表情，如图5C的左、右眼皆闭合所形成的双眼闭合表情，以及图5D的左、右眼皆张开所形成的双眼张开表情。影像处理单元可根据眼睛41的形状或是判断瞳孔的位置和大小等方式，分析并辨识出使用者1的眼睛开、合的状态。

再参照图6A到图6C所示的使用者1的口部44的不同特征位置所形成的脸部表情。图6A绘示的是口部44闭合的闭口表情，而图6B则显示了口部44张开的张口表情。图6C绘示使用者1的口部44与舌头45的组合所形成的脸部表情。图6C绘示了口部44张开且舌头45伸出口部44的张口吐舌表情。图6A到6C所绘示的仅是与口部44相关的脸部表情的少数例示。使用者1因说话或是单纯以唇语做出不同嘴型时，还可产生更多不同的口部44形状或特征位置的变化，并进一步被影像处理单元21（如图1所示）所辨识。

上述图3到图6所绘示的脸部表情仅为各种脸部表情的部分例示，所述的脸部表情尚可包括例如撅嘴、咬牙，或使用者1的耳朵42或鼻子43的不同特征位置而形成的表情。脸部表情也可包括如上述图3到图7各图式所绘示的脸部表情及耳朵42或鼻子43的表情的任意组合，例如结合图5A的右眼闭合表情及图6B的张口表情而形成另一组脸部表情。

另一方面，脸部表情尚可为各种脸部器官的特征位置的单次或循环变化而组成，或是根据使用者1脸部的眉毛40、眼睛41、耳朵42、鼻子43或口部44之间的位移辨识该脸部表情。包括如：图4A到图4C所示的使用者1眉毛40各种表情的组合的变化；图5A到图5D的眼睛41各种表情的组合的变化而产生的单眼眨眼、双眼交错眨眼或双眼同时眨眼等表情；图6A到图6C的张口表情与闭口、吐舌表情的组合的变化而产生的口部开合表情，或者是使用者唇语或说话时所产生的口部形状变化。

更进一步来说，所述的脸部表情更可结合不同的脸部器官同时运动而产生，例如结合图4A及图4B的单眼闭合及图6A到图6B的张口与闭口的组合而产生一种脸部表情。

上述所举的数种脸部表情也仅为供说明之用的部分例示，而非用以限制本实施例中用以作为输入的脸部表情的范围。通过分析使用者1脸部器官的各种方式的组合，还可产生出关联于诸如数字、数量、英文字母、完成、“OK”、暂停、当机、死、行、来或去等意义的脸部表情，作为图1所示的控制系统2的输入内容，经过控制系统2的影像处理单元21辨识及运算比对单元23比对，进行获得与所述输入相对应的控制指令，再通过指令执行单元24执行所述的控制指令而达到控制电子装置根据使用者的脸部表情输入而运作的效果。

〔以脸部表情为输入的控制系统另一实施例〕

请再度参照图1。在本实施例中，影像撷取单元20所撷取的输入影像当中，还包括配置于使用者1脸部的辅助物件。所述的辅助物件例如为笔、尺、口红或通讯设备（如无线耳机与麦克风）等物品。在本实施例中的数据库22所储存的参考影像可为包括了近似或相同的辅助物件的脸部表情的影像，以供运算比对单元23进行比对。

为利于了解，请参阅图7所示的一个输入影像实施例的示意图。图7所绘示的输入影像当中，除了包括有使用者的脸部表情之外，还包括了戴在使用者1其中一只耳朵42上的无线耳机5。当影像处理单元21接收到所述的输入影像时，除了可利用前述的影像辨识方法辨识出使用者1的脸部表情之外，还可进一步根据辨识配置于使用者1耳朵42上的无线耳机。例如可根据耳朵42与无线耳机5的轮廓及色彩数据分析出使用者1的耳朵42至少一部分被无线耳机5遮蔽，以辨识出在耳朵42上配置有辅助物件。当运算比对单元23接收到影像处理单元21所辨识出来的脸部表情与辅助物件后，可读取数据库22中的参考影像与之进行比对，以获得相对应的控制指令。

举例而言，假设数据库22也储存有与影像处理单元21所辨识出来的脸部表情（例如说出“语音”的口形）、辅助物件以及辅助物件与脸部相关位置相同或相近的参考影像，并读取所述参考影像的控制指令。所述的控制指令可例如为指示电子装置启动语音通讯的功能，由此，当使用者1面对影像撷取单元20戴上无线耳机5并说出“语音”时，控制系统2即可经由辨识及比对的程序而使电子装置自动启动语音通讯的程序，以供使用者1通过无线耳机5与远端进行语音通讯。图7所绘示的示意图仅为例示，本实施例所述具有辅助物件的输入影像并不限于上述图式及说明。例如：输入影像还可为以使用者1的口部44含咬辅助物件（例如笔），并使辅助物件朝向特定方向摆置而形成关联于不同意义的输入。

本实施例中与前述实施例内容相同之处，于本实施例中不再重述，敬请参照前述各实施例及其相对应的图式说明。

〔以脸部表情为输入的控制系统再一实施例〕

请再参照图1。在本实施例中，影像撷取单元20所撷取而产生的输入影像中，除了包括使用者1的脸部表情之外，还可进一步包括使用者1的手势或下肢姿势。影像处理单元21则用以分析及辨识出输入影像中的脸部表情及手势或下肢姿势的组合。数据库22所储存的参考影像可包括脸部表情及手势或下肢姿势的结合的影像，用以供运算比对单元23进行比对。当运算比对单元23从数据库22中比对出与影像处理单元21所辨识出的脸部表情及手势或下肢姿势相同或相近的参考影像时，可读取与所述参考影像相对应的控制指令交由指令执行单元24执行。

所述的手势可包括使用者1以手指、手掌、手臂或其任意组合的运动而形成的手语的姿势，如图8A到8C所示。

更进一步而言，手势不仅可为手部（包括手指或/及手掌）的姿势，或手臂的姿势，更可包括手部姿势与手臂姿势的任意组合，例如：双手握拳、双手合掌、双手抱拳、或双臂伸出等姿势或前述姿势的组合，举例来说，例如使用者1结合手指、手掌或手臂的姿势组合成的手语也为一种典型的手势。

通过前述例示的各种使用者1脸部表情配合各种手势的组合，可产生关联于诸如数字、数量、英文字母、完成、“OK”、暂停、当机、死、行、来或去等意义的输入影像，作为控制系统2的输入内容，经过控制系统2的影像处理单元21辨识及运算比对单元23比对，进行获得与所述输入相对应的控制指令，再通过指令执行单元24执从所述的控制指令而达到控制电子装置根据使用者的手势输入而运作的效果。

下肢姿势的撷取与辨识方式，分别与上述手部姿势原理相仿，于此不再赘述。

上述的脸部表情的口语、唇语的口部运动与手语的手势的配合方式皆仅为举例说明，本实施例中并无限制所述输入影像当中的脸部表情与手势的组合方式之意。更进一步而言，所述的输入影像甚至更可包含使用者的脸部表情、手势及辅助物件，以产生更多可能的输入组合而供运算比对单元23进行比对判断。

〔实施例的可能功效〕

根据本发明实施例，上述的控制系统可利用使用者本身可表现出的脸部表情及情绪作为控制电子装置运作的输入，由于使用者对于自身的脸部表情变化通常具有绝佳的控制与协调能力，相较于操作其他实体输入装置具有更直觉而易懂的特性，免除了学习操作实体输入装置的困难。

此外，利用使用者的脸部表情做为输入，还节省了摆放实体输入装置所占用的空间，同时也避免长时间点击鼠标或敲打键盘等动作而造成的身体不适。

更进一步来说，根据本发明的各实施例，上述的控制系统除了利用脸部表情为输入之外，更可辨识使用者其他的肢体语言，包括手势的姿势，以及常用的辅助物件，搭配使用者的脸部表情可以产生更多种类的变化，提供更多样的控制手段，有利于更精确地对电子装置下达控制命令，并使电子装置依照使用者的肢体动作而运作，使得电子装置与使用者之间的沟通方式更自然而简易。

值得一提的是，根据本发明实施例所述的控制系统还可以唇语、说话时或/及手语为输入，即使使用者处于无法打字或无法以语音输入的环境下（例如使用者为喑哑人士或使用者位于外太空），仍可利用脸部表情、手势而达到控制电子装置的效果。

以上所述仅为本发明的实施例，其并非用以局限本发明的专利范围。

Claims (14)

1.一种以脸部表情为输入的控制系统，其特征在于，该系统包括：

影像撷取单元，撷取输入影像，该输入影像包括使用者的脸部表情以及配置于该使用者脸部的辅助物件，该脸部表情包括该使用者用唇语或说话时的口部运动产生的表情以及该使用者脸部搭配该辅助物件的姿势；

影像处理单元，连接该影像撷取单元，用以接收及辨识该输入影像中的该脸部表情及该辅助物件；

数据库，记录多个参考影像及每一所述参考影像对应的至少一控制指令，其中所述多个参考影像包括具有该辅助物件的该脸部表情；

运算比对单元，连接于该影像处理单元及该数据库，接收该影像处理单元所辨识的该脸部表情与该辅助物件以及该辅助物件与脸部的相关位置的影像，并与该数据库的所述多个参考影像进行运算比对，以获得与包括有该脸部表情、该辅助物件以及该辅助物件与脸部的相关位置的影像相符的该参考影像相对应的该控制指令；

其中，该控制系统根据以该脸部表情、该辅助物件以及该辅助物件与脸部的相关位置为输入所获得的该控制指令控制电子装置。

2.如权利要求1所述的控制系统，其特征在于还包括：

指令执行单元，连接该运算比对单元以接收该运算比对单元运算比对出的该控制指令，并执行该控制指令以控制该电子装置的运作。

3.如权利要求2所述的控制系统，其特征在于，该指令执行单元根据该控制指令控制该电子装置执行拍摄该使用者的影像、开启该电子装置的显示装置、关闭该电子装置的该显示装置、锁定该显示装置的画面、解除锁定该显示装置的画面、关闭该电子装置、或启动该电子装置、关闭该电子装置的特定功能、或启动该电子装置的特定功能。

4.如权利要求2所述的控制系统，其特征在于，该指令执行单元根据该控制指令控制该电子装置执行上一页、下一页、进入、退出、取消、放大、缩小、翻转、旋转、播放多媒体数据、开启程序、关闭程序、休眠或关闭。

5.如权利要求1所述的控制系统，其特征在于，该影像处理单元还根据该使用者的眉、眼、耳、鼻、齿或口的特征绝对位置或特征相对位置而分析出该脸部表情。

6.如权利要求5所述的控制系统，其特征在于，该影像处理单元还根据该使用者脸部的眉、眼、耳、鼻、齿或口之间的距离或位移辨识该脸部表情。

7.如权利要求1所述的控制系统，其特征在于，该脸部表情还包括关联于喜、怒、哀、惧、恶、惊吓或疑惑的情绪。

8.如权利要求1所述的控制系统，其特征在于，该脸部表情还包括该使用者单边挑眉、双边挑眉、双眼张开、单眼闭合、双眼闭合、挤鼻，或其任意组合的表情。

9.如权利要求1所述的控制系统，其特征在于，该脸部表情还包括单眼眨眼、双眼交错眨眼、双眼同步眨眼，或其任意组合的表情。

10.如权利要求1所述的控制系统，其特征在于，该输入影像还包括该使用者的手势或下肢姿势，该影像处理单元还辨识该输入影像中的该手势或该下肢姿势，该数据库的所述多个参考影像包括该手势或该下肢姿势与该脸部表情的结合的影像，该运算比对单元还接收该影像处理单元所辨识的该手势或该下肢姿势，并与所述多个参考影像进行运算比对，以获得与该手势或该下肢姿势及该脸部表情的结合相符的该参考影像的相对应该控制指令。

11.如权利要求10所述的控制系统，其特征在于，该手势为手语。

12.如权利要求10或11所述的控制系统，其特征在于，该手势为单指伸出姿势、多指伸出姿势、单手握拳姿势、双手握拳姿势、双手合掌姿势、双手抱拳姿势、单手臂伸出姿势或双臂伸出姿势。

13.如权利要求10或11所述的控制系统，其特征在于，该手势为手部顺时针运动、手部逆时针运动、手部由外向内运动、手部由内向外运动、点击运动、打叉运动、打勾运动或拍击运动。

14.如权利要求2所述的控制系统，其特征在于还包括：

输入单元，连接该指令执行单元，该输入单元接收该使用者输入而产生输入指令；

其中，该指令执行单元根据该控制指令及该输入指令控制该电子装置运作，该输入单元为触控面板、键盘、鼠标、手写板或声音输入装置。