CN101923389A - 一种解译控制走势的方法与装置 - Google Patents

Abstract

本发明揭露一种使用一图像传感器控制移动装置中的应用程序的方法与系统。此系统使用图像处理来检测使用者的控制走势。举例而言，控制走势可包括将一只手横向地移动、将一只手向摄影机移动或远离摄影机，或将一只手张开或紧握。在任何目标物出现之前，此系统通过储存用以显示图像传感器的视野的一背景图像来进行初始化。接着，此系统通过比对新图像与背景图像来检测视野内的新的目标物。若检测到一新的目标物，此系统在位于视野内的目标物静止之前会维持在等待状态。当目标物静止之后，此系统检测指示一控制走势的目标物是否有变化。在检测到静止目标物的变化后，此系统决定出一组定义变化的参数，并且将参数与使用者命令做配对。

Description

一种解译控制走势的方法与装置

技术领域

本发明涉及一种解译控制走势的方法与装置。

背景技术

随着移动科技的进步，移动装置已变得更小并且功能更强大，而且与移动装置连接的无线网络也已改进。这些改进代表现在的移动装置不单只有语音通话功能而已，而是还可通过连接至网络来执行许多功能。举例而言，移动装置可用来传送电子邮件(e-mail)、浏览因特网以及传送立即的消息。许多装置也包括具有内建地图的全球定位系统(Global Positioning System；GPS)接收器(或从网络下载地图)。在某些情况下，移动装置支持提供本地连线(local connectivity)的无线标准(wireless standards)，例如802.11连续的通讯协议或蓝牙(Bluetooth)。这些标准可以使得这些装置能够连接至一无线局域网络(Wireless Local Area Networks；WLAN)，或甚至在一点对点(peer-to-peer)模式下与其它移动装置联系。许多移动装置也包括允许使用者拍摄图片或记录像片的内建摄影机。但不幸地，使用性已经无法跟上这些增加的功能。由于桌上型计算机与移动装置的大小不同，因此无法将应用于桌上型计算机上的使用模式完全移植于移动装置上。因此，若想要使用这些新的功能，则需要一更好的使用者接口。随着科技进步，移动装置若能具有能够使用这些强化功能的使用者接口的话，将会是有帮助的。

发明内容

本发明提供一种解译控制走势的方法，适用于一移动装置，并且移动装置具有能够提供一连续图像的一图像传感器，上述方法包括检测连续图像中的一目标物；决定所检测到的目标物是否静止；若所检测到的目标物被认定为静止，检测所检测到的目标物的变化；决定一个或多个与所检测到的变化相关的参数；解译由所决定的一个或多个参数所指示的一使用者命令；以及执行与所解译的使用者命令相关的一指令。

本发明另外提供一种解译一控制走势的装置，适用于一移动装置，上述装置包括一摄影机，用以产生一连续图像；一存储器；以及一处理器，耦接至摄影机与存储器，其中处理器用以执行多个模块，其中模块包括一目标物检测器模块，用以检测连续图像中的一目标物；一静止目标物检测器模块，用以决定目标物是否为静止；一变化检测器模块，用以在认定目标物为静止后，检测目标物中的一变化；一走势辨识器模块，用以决定一个或多个与所检测到的变化相关的参数；一应用程控模块，用以解译由一个或多个参数所指示的一使用者命令；以及一移动程序，用以接收来自应用程控模块的使用者命令，并且执行与使用者命令相关的一指令。

本发明另外提供一种解译一控制走势的装置，适用于一移动装置，上述装置包括一第一产生部件，用以产生一连续图像；一第一检测部件，用以检测连续图像中的一目标物；一第一决定部件，用以决定所检测到的目标物是否静止；一第二检测部件，若所检测到的目标物被认定为静止，则检测所检测到的目标物中的一变化；一第二决定部件，用以决定一个或多个与所检测到的变化相关的参数；一解译部件，用以解译由所决定的一个或多个参数所指示的一使用者命令；以及一执行部件，用以执行与所解译的使用者命令相关的一指令。

为让本发明的上述和其它目的、特征、和优点能更明显易懂，下文特举出较佳实施例，并配合所附图式，作详细说明如下：

附图说明

图1为本发明中适用于实现一指令识别使用者接口系统的一移动装置的前视图；

图2为本发明中适用于指令识别使用者接口系统运作的一典型环境的方块图；

图3为本发明中一移动装置的高阶方块架构图；

图4为本发明中一指令识别使用者接口系统的方块图；

图5为本发明中用以实现指令识别使用者接口系统的流程图；

图6为本发明中背景图像产生器模块产生背景图像给指令识别使用者接口系统的流程图；

图7为本发明中用以实现监控步骤的流程图；

图8A-1和8A-2为本发明中摄影机可辨别的范例图像；

图8B为本发明中用以区分图像型式的流程图；

图9A-1和9A-2为本发明中一手部张开与一手部紧握的图像；

图9B为本发明中用以决定在摄影机视野中的目标物为张开或紧握状态的流程图；

图10A-1～10A-4和图10B-1～10B-2为本发明中指令识别使用者接口系统可检测到的其它型式的动作；

图10C为本发明中用以检测图10A-110B-2中的动作型式的流程图。

[主要元件标号说明]

100、202、203、300～移动装置；     101～外壳；

102～按钮；                        104～方向按键；

108～摄影机；                      109～触控感测元件；

110～显示器；                      200～典型环境；

204～全球定位系统卫星；            206～无线连线；

208～位置信号；                    210～基地台；

212～公共交换电话网络；            214～因特网；

216～远程电话；                    218～远程装置；

220～电子邮件服务器；              222～网站服务器；

224～实时通服务器；                302～处理器；

304～存储器；                      306～内连线；

308～操作系统；                    310～本地储存器；

312～输入装置；                    314～显示装置；

316～网络配接器；                  400～指令识别使用者接口系统；

402～图像输入模块；                404～其它输入模块；

406～应用程控模块；                408～数据模块；

410～动作检测器模块；              412～背景图像产生器模块；

414～目标物检测器模块；            416～静止目标物检测器模块；

418～变化检测器模块；              420～色彩决定模块；

422～目标物辨识器模块；            424～手部状态模块；

426～走势辨识器模块；

500、600、700、800、900、1000～程序。

具体实施方式

本发明揭露一种使用图像传感器来控制移动装置上的应用程序的方法与系统(以下称为“指令识别使用者接口系统”或“系统”)。此系统使用图像处理(image processing)来检测使用者的控制走势(control gestures)。举例而言，控制走势可包括将一只手横向地移动、将一只手向摄影机移动或远离摄影机，或将一只手张开或紧握。这些控制动作系链接至受控制的应用程序所执行的使用者命令。在任何目标物出现之前，系统通过储存一个用以显示图像传感器的视野的背景图像来初始化。接着，此系统通过比对新图像与背景图像来检测视野内的新的目标物。若检测到新的目标物，此系统在位于视野内的目标物静止(stationary)之前，会维持在等待状态。当目标物静止之后，系统检测用以指示一控制走势的目标物是否有变化。在检测静止目标物的变化后，系统决定出一组用以定义此变化的参数，并且将参数与使用者命令做配对。参数可包括目标物的位置或大小的变化，或手部状态的变化(例如张开或紧握)。此系统接着将命令传送至应用程序来执行。

以下将说明本发明的各种实施例。为了彻底了解本发明，以下的说明将提供具体的细节以及实施方式。本领域技术人员应能理解，本发明不一定要按照这些细节来实施。此外，以下内容可能会省略描述一些已知的结构或功能，以避免混淆与实施例相关的描述。即使本发明在某些特定实施例中使用该术语，以下所描述的术语是以最大的合理范围来做解释。

1.典型环境

图1为一移动装置的前视图，该移动装置用以执行一指令识别使用者接口系统。如图1所示，移动装置100可包括一外壳101、多个按钮102、一方向按键104(例如五个方向的按键(five-way key))、一扬声器106、一摄影机108，以及设置于外壳101上的一显示器110。移动装置100也可包括麦克风、收发器(transceivers)、照度传感器(photo sensors)，及/或其它常见于个人数字助理(PDA)装置、移动电话、膝上型计算机、平板型计算机(tabletPCs)、智能型手机、掌上型电子邮件装置，或其它移动通讯/计算装置中的计算元件。

显示器110可包括一液晶显示器(LCD)、一等离子体显示器、一真空荧光显示器、发光二极管(LED)显示器、场发射显示器，以及/或配置为可显示一使用者接口的其它适合型式的显示器。移动装置100也可包括一触控感测元件109，用以接收来自使用者中的输入。举例而言，触控感测元件109可包括一电阻式、电容式、红外线式、表面声波式(surface acoustic wave；SAW)，以及/或其它型式的触控屏幕。触控感测元件109可集成于显示器110中，或独立于显示器110。在本实施例中，触控感测元件109以及显示器110具有大小相似的存取区域(access areas)。在另一实施例中，触控感测元件109以及显示器110可具有大小不同的存取区域。举例而言，触控感测元件109可具有一超过显示器110的边界的存取区域。

移动装置100也可包括一摄影机108，用以拍摄图片或记录像片。摄影机108包括一光学图像传感器以及一镜头，并且也可具有一个其相关的闪光灯，用以在低光度情况下拍照。虽然摄影机108是显示于移动装置100的正面，但摄影机108也可是设置在移动装置100的背面。或者，移动装置100可配置多摄影机(multiple cameras)，例如在移动装置100的正面及背面个别配置一第一摄影机、一第二摄影机。

在某些实施例中，除了摄影机108与触控感测元件109之外(或是替代摄影机108与触控感测元件109)，移动装置100也可包括一压力传感器、一温度传感器，以及/或独立于或集成于显示器110的其它型式的传感器(图未显示)。举例而言，移动装置100可包括一热电耦(thermocouple)、一电阻式温度检测器，以及/或接近显示器110的其它型式的温度传感器，用以测量一输入机制、显示器110及/或触控感测元件109的温度。移动装置100也可包括一个或多个连接器(图未显示)，用以使得移动装置100能够连接至其它元件。举例而言，移动装置100可包括一音频输出连接器，用以连接至耳机或喇叭以便允许使用者播放储存在移动装置100中或来自一网络连线的音频。同样地，移动装置100可包括一视频连接器，用以使得移动装置100能够连接至一电视或其它显示装置。移动装置100可具有专门的音频与视频连接器，或可包括一通用序列总线(Universal Serial Bus；USB)或其它数据连接器。

图2为适用于指令识别使用者接口系统运作的一典型环境200的方块图。多个移动装置202与203漫游在由一无线网络所覆盖的区域中。举例而言，移动装置202与203为移动电话或移动因特网装置。移动装置202与203通过一无线连线206与一基地台210联系。无线连线206是使用任何可传输数字数据的系统来实现。举例而言，无线连线206可使用用以实现通用移动电讯系统(Universal Mobile Telecommunications Systems；UMTS)或码分多址接入(Code Division Multiple Access；CDMA)2000的蜂窝式网络，或是用以实现WiFi(IEEE 802.11)或蓝牙的非蜂窝式网络。虽然移动装置202与203最常使用是无线连线通讯，但也可使用一有线连线(例如以太网络(Ethernet)。在某些实施例中，移动装置202与203系配置为视情况使用多重通讯协议(multiple protocol)来连线。举例而言，当可使用WiFi连线移动装置202与203可能配置为使用WiFi连线，并且切换至一较慢的蜂窝式网络(例如EDGE等等)。

在某些实施例中，移动装置202也内建一全球定位系统接收器，用以提供位置信息。在这些实施例中，移动装置202亦从一个或多个全球定位系统卫星204中接收一位置信号208。为了清楚起见，图上只显示了一个全球定位系统卫星204。然而，因为一全球定位系统接收器需要许多个全球定位系统卫星204用以决定其位置，故具有全球定位系统功能的装置通常会从许多个全球定位系统卫星204中接收位置信号208。虽然图2中的移动装置202使用一全球定位系统卫星204连线来决定位置，但也可根据移动装置202相对于一蜂窝式网络中的一个或多个基地台210的位置，来推断移动装置202的位置。

基地台210连接至一个或多个提供骨干服务(backhaul service)给无线网络的网络。基地台210连接至公共交换电话网络(Public SwitchedTelephone Network；PSTN)212，而公共交换电话网络212提供移动网络与一位于另一网络上的远程电话216之间的连线。当移动装置202的使用者拨打一通电话时，基地台210通过无线网络的语音骨干(voice backhaul)(图未显示)，将通话路由(routes)至公共交换电话网络212。公共交换电话网络212接着自动地将通话连接至远程电话216。若远程电话216为另一个移动装置，那么通话将通过一第二无线网络回程路由至另一个基地台210。

基地台210亦连接至因特网214，而因特网214用以提供一个以封包为基础的连线(packet-based connection)至支持网络应用程序的远程装置218。当移动装置202的使用者建立一数据连线时，基地台210通过无线网络的数据骨干(data backhaul)(图未显示)，将封包数据路由至因特网214(或其它以封包为基础的网络)。因特网214将无线网络连接至远程装置218(包括一电子邮件服务器220、一网站服务器222，以及一实时通服务器224)。当然，远程装置218可包括任何可在因特网214中使用的应用程序，例如一文件传输通讯协议(File Transfer Protocol；FTP)服务器或一串流多媒体(streaming media)服务器。远程装置218也可包括其它个人计算机或移动装置，其中移动装置202通过一点对点连线来连接，这可以用以通过一数据网络来提供语音服务，例如通过因特网语音通讯协议(Voice over InternetProtocol；VoIP)。

图3为一高阶方块图，用以显示一移动装置300的架构。移动装置300可代表图2中的移动装置202。

移动装置300包括耦接至一内连线(interconnect)306的一个或多个处理器302以及一存储器304。图3中的内连线306为一抽象概念，代表任何一个或多个分离的实体总线(separate physical buses)、点对点连线，或者是通过适当的桥接器、配接器(adapters)或控制器连接的实体总线与点对点连线。举例而言，内连线306可包括一系统总线、外围元件互连(PeripheralComponent Interconnect；PCI)系列总线、一超传输(HyperTransport)或工业标准架构(industry standard architecture；ISA)总线、一小型计算机系统接口(small computer system interface；SCSI)总线、一通用序列总线、IIC(I2C)总线，或一电机电子工程师协会(Institute of Electrical andElectronics Engineers；IEEE)标准1394总线(有时称为“火线(Firewire)”)。

(多个)处理器302可包括移动装置300的中央处理器(CPUs)，因而控制移动装置300的整体运作。在某些实施例中，(多个)处理器302通过执行储存在存储器304中的软件或固件，来控制移动装置300的整体运作。(多个)处理器302可为(或可包括)一个或多个可编程通用(general-purpose)或专用(special-purpose)微处理器、数字信号处理器(DSPs)、可编程控制器、专用集成电路(ASICs)、可编程逻辑装置(PLDs)等等，或诸如此类装置的结合。

存储器304为(或包括)移动装置300的主存储器。存储器304代表任何型式的固定或可移除式的随机存取存储器(RAM)、只读存储器(ROM)、闪存等等，或诸如此类装置的结合。在使用上，除了其它数据之外，存储器304还储存了移动装置300的操作系统308。

移动装置300包括一输入装置312，使得使用者能够控制移动装置300。输入装置312可包括一键盘、轨迹板(trackpad)、触控式屏幕(touch-sensitive screen)，或其它标准计算机输入装置。移动装置300也包括一显示装置314，用以显示一使用者接口。网络配接器316使得移动装置300能够通过一网络与远程装置218联系。举例而言，网络配接器316可为一无线配接器。移动装置300还可包括耦接至内连线306的本地储存器(local storage)310。举例而言，本机储存器310可包括用以提供大容量储存的一闪存装置。

2.动作检测系统

这些应用程序大部分具有可使用于桌上型计算机的类似的版本(analogous versions)。然而，移动装置的较小的外观尺寸(form-factor)会使得应用程序的控制更为复杂。因此，需要针对移动装置的功能来提供新的接口。本发明的指令识别使用者接口系统通过使用内建摄影机108接收并且解译用以指示使用者命令的控制走势来达成此目的。

举例而言，音乐播放器应用程序具有一组基本功能(例如播放、快转、倒转)，以及一组进阶功能(例如播放清单管理、歌曲评分)。使用者通常期望快速(或立即)存取音乐播放器应用程序中的基本功能，但愿意容忍进阶功能在执行上的复杂性。然而，移动装置300通常没有足够的按键用以简单地控制基本功能。指令识别使用者接口系统允许移动装置300将一组控制走势映像至应用程序的基本命令。举例而言，一手张开的动作可以命令音乐播放器应用程序开始播放歌曲，而一手紧握的动作可以命令应用程序停止(或暂停)播放歌曲。同样地，接口可配置为对使用者的手往右或往左移动，各自地做出快转或倒转的反应。同样地，手往上以及往下移动可用来调高音量以及调低音量。

指令识别使用者接口系统在一相簿应用程序中的具有类似的运作方式。一相簿应用程序的基本功能包括播放/暂停一幻灯片显示(slideshow)、手动地前进至下一张相片、回到上一张相片、改变比例(zoom level)，以及平移(panning)一特定的相片。利用与音乐播放器应用程序类似的方法，可将这些基本功能映像至手部动作。当然，指令识别使用者接口系统并非限定在这些应用程序，也可在移动装置300上使用许多其它的应用程序。

图4为用以说明指令识别使用者接口系统400的一方块图。虽然有许多不同的模块被画在一单一装置中，但这些模块不一定要配置在同一个实体上(physically collocated)。在某些实施例中，不同的模块是分布在多个实体装置(multiple physical devices)中。同样地，数据储存器可使用本机储存器310元件来实现，例如一硬盘(hard drive)或闪存，或使用远程储存器(例如一可通过因特网214存取的网站服务器222)。支持指令识别使用者接口系统400的功能的程序码，可储存在一计算机可读媒体(computer readablemedium)，例如一光驱(optical drive)、闪存或一硬盘。指令识别使用者接口系统400的态样可利用软件、固件、硬件或其结合来实现。

指令识别使用者接口系统400包括一图像输入模块402，用以接收来自移动装置100的摄影机108(或其它光学输入装置)的图像数据。图像数据为在一组时距内(例如每十分之一秒)所接收的一连续图像(a sequence ofimage)。指令识别使用者接口系统400也包括另一输入模块404，用以接收来自移动装置100的其它输入元件(例如从触控感测元件109或一附属键盘)的输入。指令识别使用者接口系统400也包括一数据模块408，用以储存关于指令识别使用者接口系统400的设定与其它信息。举例而言，数据模块408可储存一组可配置走势的定义(definitions)，这些定义可被指令识别使用者接口系统400辨识，并且这些定义系链接至特定的应用程序。

指令识别使用者接口系统400也包括一动作(activity)检测器模块410，用以处理来自图像输入模块402中的连续图像以及来自其它输入模块404的命令，以便检测来自正被摄影机108观看的动作的控制走势。动作检测器模块410连接至应用程控模块406，应用程控模块406使用动作检测信息，用以控制动作应用程序。应用程控模块406使用来自数据模块408的设定，用以将所检测的动作转变成一指令以便应用程序来执行。

如下所述，动作检测器模块410包括数个用以执行指令识别使用者接口系统400的动作检测功能的模块。这些模块可利用一通用处理器所执行的软件程序码来实现，或是在一专门处理元件上的硬件来实现。支持此指令识别使用者接口系统400的功能的软件程序码，可储存在一计算机可读媒体，例如一光驱、闪存或一硬盘。动作检测器模块410可具有其它未显示的标准模块。

动作检测器模块410包括一背景图像产生器模块412，用以产生一在动作检测中使用的背景图像。背景图像为动作检测器模块410所储存的图像，此图像显示了在使用者设置一目标物在摄影机108前方之前，摄影机108的视野。

动作检测器模块410也包括一目标物检测器模块414，用以处理所接收的图像(incoming image)，以便决定一新的目标物是否已经进入摄影机108的视野。目标物检测器模块414通知动作检测器模块410中的其它元件，以便处理新的目标物。动作检测器模块410也具有一静止目标物检测器模块416，用以处理所接收的图像，以便决定所检测的目标物是否静止。动作检测器模块410也包括一变化检测器模块418，用以在已经决定所检测的目标物静止之后，变化检测器模块418决定所检测的目标物是否改变。

动作检测器模块410具有一色彩决定模块420，用以估算正在处理的图像的色彩成分。举例而言，色彩决定模块420可以决定在一图像或部分图像中的色阶(color levels)的变化。动作检测器模块410也包括一目标物辨识器模块422，用以将目标物检测器模块414已检测到的目标物的型式做分类。同样地，动作检测器模块410也具有一手部状态模块424，用以决定目标物辨识器模块422所检测到的手部状态(例如张开或紧握)。最后，动作检测器模块410包括一走势辨识器模块426，用以决定正在做的走势的型式(例如决定移动的方向)。

图5为用以实现指令识别使用者接口系统400的一程序500的流程图。指令识别使用者接口系统400在步骤502中开始处理，用以取得一背景图像。在之后的说明中将再配合图6进一步说明取得一背景图像的程序。取得背景图像之后，指令识别使用者接口系统400前进至步骤504用以监控使用者的动作。在此步骤中(后续会做更详细的说明)，指令识别使用者接口系统400寻找在摄影机108视野内的一新的目标物，检测控制走势并且决定与控制走势有关的动作。指令识别使用者接口系统400接着前进至步骤506，根据在步骤504中所决定的动作来控制移动装置100的功能。最后，指令识别使用者接口系统400前进至步骤508，决定是否要继续为动作控制系统处理输入。如果是，指令识别使用者接口系统400回到步骤504用以监控下一个使用者动作。否则，指令识别使用者接口系统400离开。

图6为背景图像产生器模块412所实现的程序600的流程图。背景图像产生器模块412产生一背景图像给指令识别使用者接口系统400。背景图像是显示在动作识别开始之前(例如没有发生任何事情时)摄影机108的视野。因此，当一图像静止一段时间后，程序600通过储存视野中的图像来产生背景图像。指令识别使用者接口系统400在步骤602中开始处理，用以由图像输入模块402中取得目前图像。接收到目前图像之后，指令识别使用者接口系统400接着前进至步骤604，比对目前图像与先前图像。比对图像之后，指令识别使用者接口系统400前进至判断方块606，使用该比对结果来决定图像是否改变。若图像改变，指令识别使用者接口系统400前进至步骤608，储存目前图像作为先前图像并且重复上述程序。若图像没有改变，指令识别使用者接口系统400前进至步骤610，储存目前图像作为背景图像。

在一实施例中，指令识别使用者接口系统400在步骤604中，通过产生一差异图像(difference image)(例如在这两个图像中减去对应的像素值)来比对图像。在判断方块606中，指令识别使用者接口系统400可接着从差异图像中计算一量度值(metric)，用以指示所显示的变化程度。举例而言，指令识别使用者接口系统400可通过比对差异图像中像素值的总合与一特定临界值，来检测一变化。此临界值可根据关于差异的理论值来设定，或由多种情况下的分析来决定。数值可适当地选择以便指令识别使用者接口系统400在检测较大的变化时，能够忽略摄影机108视野内的次要变动(minorfluctuations)。

图7为用以实现监控步骤504的一程序700的流程图。程序700是实现成一循环，用以处理从摄影机108中所接收到的每个图像。程序700可视为一具有三个可能状态的状态机：搜寻、目标物检测，以及移动检测。在取得背景图像之后，指令识别使用者接口系统400进入搜寻状态，用以寻找在摄影机108视野内的一目标物。在检测到一目标物之后，指令识别使用者接口系统400前进至目标物检测状态，用以检测目标物是否静止。此状态有助于指令识别使用者接口系统400避免根据暂时目标物(transient objects)来检测控制走势。若指令识别使用者接口系统400检测到在摄影机108视野内有一静止的目标物，指令识别使用者接口系统400进入移动检测状态，用以决定目标物是否已改变位置或状态(指示一命令)。

为了减少复杂性，在图7的流程图中已省略了一些指令识别使用者接口系统400的处理过程的态样。举例而言，一重大变化是指一目标物被移除或摄影机108被遮盖，而不是一命令。因此，若图像中有重大变化时，指令识别使用者接口系统400可从移动检测状态或目标物检测状态转变至搜寻状态。同样地，若指令识别使用者接口系统400检测到与先前明显不同的一目标物，指令识别使用者接口系统400可回到搜寻状态(例如在先前图像中检测到一只手之后，在目前图像中检测到一个头)。

指令识别使用者接口系统400在步骤702中开始处理，指令识别使用者接口系统400从图像输入模块402中接收目前图像。在取得一新图像之后，指令识别使用者接口系统400根据其目前的状态进行下一步(branches)。若目前的状态为搜寻，那么指令识别使用者接口系统400前进至步骤704，用以试图检测一新目标物。此步骤通常系通过比对目前图像的内容与先前图像，或比对目前图像的内容与背景图像来完成。若图像差异值比一特定临界值大，指令识别使用者接口系统400接着检测一目标物。举例而言，可使用上述差异图像方法来完成。指令识别使用者接口系统400接着前进至判断方块706，根据检测步骤的结果进行下一步。若指令识别使用者接口系统400没有检测到一新目标物，指令识别使用者接口系统400前进至判断方块732，用以决定是否继续处理动作输入。如果不是，程序结束。如果是，程序回到步骤702，指令识别使用者接口系统400取得一新图像。

若指令识别使用者接口系统400检测到一新目标物，那么指令识别使用者接口系统400前进至步骤708，用以处置新目标物。在此步骤中，指令识别使用者接口系统400通过比对目前图像与背景图像，产生一目标物的图像。指令识别使用者接口系统400接着只储存含有目前图像与背景图像不同的画素的图像。在储存目标物数据后，指令识别使用者接口系统400前进至步骤710，用以将目前的状态转换至目标物检测状态。指令识别使用者接口系统400接着前进至步骤732，然后不是离开就是回到循环的起始点，以便在步骤702中取得下一个图像。

若目前的状态是目标物检测，指令识别使用者接口系统400从步骤702前进至步骤712，用以试图检测一静止目标物。指令识别使用者接口系统400可通过决定整个图像是否静止来完成。指令识别使用者接口系统400通过比对目前图像与先前图像，用以检测一静止图像。若没有改变，那么目标物被认定为静止。指令识别使用者接口系统400可通过使用与产生背景图像类似的方法，来检测图像的变化。举例而言，指令识别使用者接口系统400可使用前述的差异图像方法(参考图6)。

在估算目标物是否静止后，指令识别使用者接口系统400前进至方块714，并根据结果进行下一步。若指令识别使用者接口系统400决定目标物尚未静止，则继续前进至步骤732，然后不是离开就是回到循环的起始点。否则，指令识别使用者接口系统400前进至步骤716，用以储存关于静止目标物的数据。举例而言，指令识别使用者接口系统400通过比对目前图像与背景图像，并且储存与背景图像不同的像素(如上述步骤708)，可更新数据模块408中所储存的目标物。在储存更新的目标物数据后，指令识别使用者接口系统400前进至步骤718，用以决定目标物的初始特性(例如位置、尺寸、目标物型式以及手部状态)。指令识别使用者接口系统400在下一个状态中使用这些初始特性来检测一命令走势。关于决定目标物型式的方法，将在以下配合图8A与8B做说明，而关于决定手部状态的方法，将在以下配合图9A与9B做说明。在指令识别使用者接口系统400已决定起始目标物信息后，指令识别使用者接口系统400前进至步骤720，将目前的状态设定为移动检测状态。指令识别使用者接口系统400接着离开或通过前进至步骤732以及步骤702，随着一新图像重复这个循环。

若目前的状态为移动检测，指令识别使用者接口系统400前进至步骤722，试图检测目前所追踪的目标物的变化。在一实施例中，指令识别使用者接口系统400使用一个与步骤704的程序类似的程序来检测一目标物的变化。在此实施例中，指令识别使用者接口系统400比对目前图像与先前图像。指令识别使用者接口系统400接着前进至判断步骤724，根据比对结果是否指示目标物已移动来进行下一步。或者，在步骤722中，指令识别使用者接口系统400可使用在步骤718中所决定的目标物特性来检测用以指示一命令的变化。指令识别使用者接口系统400使用在步骤716与718中所决定的目标物特性来检测用以指示一命令的变化。举例而言，若一开始目标物被检测为一只手，指令识别使用者接口系统400会检查各个新图像，用以决定手部状态是否已改变(例如从张开到紧握，或从紧握到张开)。同样地，指令识别使用者接口系统400可使用位置与尺寸，用以决定手是否已横向地移动或往移动装置100移动，或远离移动装置100。上述程序将在后续说明中配合图10A～10C做说明。

在检测变化后，指令识别使用者接口系统400前进至判断方块724，并且根据来自步骤722的结果进行下一步。如上所述，若没有任何改变，指令识别使用者接口系统400回到循环的起始端，并且开始取得下一个可用的图像来处理。若有发生改变，指令识别使用者接口系统400前进至步骤726，用以决定所检测到的变化的型式。指令识别使用者接口系统400通过比对目前的目标物特性与在步骤718中所决定的初始的目标物特性，来决定变化的型式。因此，若在步骤722中没有计算目前的目标物特性，在比对目前数值与初始数值之前，指令识别使用者接口系统400会在步骤726中计算目前数值。

在决定变化的型式之后，指令识别使用者接口系统400前进至步骤728，根据所检测到的变化的型式来解译使用者命令。如上所述，使用者命令会根据应用程序而改变，并且可为使用者所设定(configurable)。一般而言，指令识别使用者接口系统400通过将检测到的变化与储存在数据模块408的一命令名单进行比对(match)来判断出使用者命令。指令识别使用者接口系统400接着将命令提供给应用程序。

在解译使用者命令之后，指令识别使用者接口系统400前进至步骤730，将目前的状态转换至目标物检测状态。在解译一使用者命令之后，指令识别使用者接口系统400在解译一新的命令之前，会维持在等待状态直到目标物再一次静止。这有助于避免在以使用者进行一连续动作的基础下，执行两次相同的命令。指令识别使用者接口系统400也可包括其它方法来避免重复命令。举例而言，指令识别使用者接口系统400可在走势之间配置一等待期(waiting period)，使得指令识别使用者接口系统400在回到目标物检测状态之前，会有一段闲置时间(例如0.5秒)。指令识别使用者接口系统400也可将这些补偿方法互相结合。或者，若指令识别使用者接口系统400在一第一命令之后的一段时间之内执行一第二命令，且此第二命令是与第一命令相同，则可经由设定使指令识别使用者接口系统400忽略这个第二命令，以免造成命令执行上的重复。

3.目标物特性以及变化检测

如上所述，指令识别使用者接口系统400使用一组目标物特性(包括目标物型式、手部状态、位置以及尺寸)，用以决定所要求的使用者命令。以下将说明计算这些特性的方法。

图8A与8B描述以型式来分类所检测到的目标物的方法。图8A描述摄影机108所显示的范例图像(一头部图像与一手部图像)。图8B描述用以区分这些型式的一程序800的流程图。程序800使用两个目标物的色彩特性来区分型式。指令识别使用者接口系统400在步骤802中开始处理，指令识别使用者接口系统400会决定目标物中的最大色彩值。指令识别使用者接口系统400接着前进至步骤804，用以决定目标物中的最小色彩值。在判断方块806中，指令识别使用者接口系统400决定最大色彩值与最小色彩值是否不同。如图8A所示，一头部图像通常在色彩上具有明显变化。因此，若最大与最小色彩值不同，指令识别使用者接口系统400前进至步骤808，用以将目标物分类为一头部图像。同样地，一手部图像通常在色彩上仅具有较小变化。所以，若色彩不相同(或只有一点差异)，指令识别使用者接口系统400前进至步骤810，用以将目标物分类为一手部图像。

若目标物为一手部图像，指令识别使用者接口系统400也会决定手部状态(例如张开或紧握)。图9A是显示一手部张开与一手部紧握的图像。图9B是显示用以决定在视野中的目标物为张开或紧握的一程序900的流程图。在步骤902中，指令识别使用者接口系统400决定目标物的最左点(以符号A标示)。在步骤904中，指令识别使用者接口系统400决定目标物的最右点(以符号B标示)。在步骤906中，指令识别使用者接口系统400决定目标物的最上点(以符号C标示)。在判断方块908中，指令识别使用者接口系统400决定线段A到B上是否仅存在一单一色彩。如图9A的右半部所示，若目标物为一紧握的手，那么线段AB只经过该手部本身。因此若线段上的色彩为一致，那么指令识别使用者接口系统400前进至步骤910，用以将手部状态设定为紧握。相反地，如图9A的左半部所示，若目标物为一张开的手，那么线段上包括了目标物之外的像素。在此情况下线段上会经过的色彩是不一致的，因此指令识别使用者接口系统400前进至步骤912，用以将手部状态设定为张开。

指令识别使用者接口系统400可通过计算目标物中的一组像素的平均位置，来决定一检测目标物的位置。举例而言，指令识别使用者接口系统400可使用来自手部状态程序900的点A、B以及C，作为决定位置的依据。因此，手部张开图像的位置(图9A的左半部)为 $P=(\frac{x1+x2+x3}{3},\frac{y1+y2+y3}{3}).$ 就效率而言，指令识别使用者接口系统400可使用点A、B以及C，因为它们已经是决定好的数值，但不限定于此。也可使用目标物上的其它点，或甚至是整个目标物。

指令识别使用者接口系统400也可使用类似的方法来决定一目标物的代表性尺寸。举例而言，指令识别使用者接口系统400可使用最左点(A)与最右点(B)来定义宽度。如图9A所示，该两点间的线段代表目标物的宽度。因此，指令识别使用者接口系统400计算宽度作为两点A与B之间的距离。当然，虽然只显示了计算手部图像的位置以及宽度，但也可对其他目标物(例如一头部)使用相同的方法。其它代表性尺寸亦可使用类似的方法来计算。

如上所述，指令识别使用者接口系统400使用目标物的特性来检测变化(包括手部状态、横向动作的变化，以及距离的变化)。为了检测手部状态的变化，指令识别使用者接口系统400比对目标物的初始手部状态与其目前手部状态。若状态不同则表示有发生改变。此外，图10A与10B是描述指令识别使用者接口系统400可检测到其它型式的动作，包括往左、右、上、或下移动。同样地，图10B是描述指令识别使用者接口系统400可检测到目标物距离的变化，例如目标物靠近或远离。

图10C是描述用以检测这些动作的型式的一程序1000的流程图。指令识别使用者接口系统400在步骤1002中开始处理，用以决定目前图像中的目标物的位置与宽度。指令识别使用者接口系统400接着前进至步骤1004，用以决定先前图像中的目标物的位置与宽度。在决定目前与先前的位置与宽度后，指令识别使用者接口系统400接着前进至判断方块1006，用以决定图像之间目标物的位置或宽度是否已改变。若位置已改变，指令识别使用者接口系统400前进至步骤1008，将动作解译为一横移动作(如图10A所示)。指令识别使用者接口系统400接着前进至步骤1010，根据图像之间位置的变化来决定动作的横移方向。若宽度已改变，指令识别使用者接口系统400前进至步骤1012，将动作解译为一摄影机108与目标物之间距离的变化(如图10B所示)。指令识别使用者接口系统400接着前进至步骤1014，根据图像之间宽度的变化来决定比例方向。如图10B所示，一目标物的宽度随着目标物靠近摄影机108而增加，反之亦然。

4.结论

虽然前述说明中是以「相同」或「不同」等较为精确的比对条件来加以描述，但指令识别使用者接口系统400并不受限于此。因为现实系统(real-world systems)的限制，即使在静止状态下，仍可以预期在环境中所检测到的数值会有些微的变化。因此，前述测试图像或色彩是否相等的比对，通常不需要精确的相等性。相反地，指令识别使用者接口系统400可使用一变化临界值用以解释现实变化。在此配置中，若数值之间的差异小于临界值，则两个数量被视为相等。在设计时，此一临界值可写死或于作业中动态设定至指令识别使用者接口系统400中。这些数值可根据理论预测或实验测定来选择。

指令识别使用者接口系统400也可在上述检测步骤中使用多重图像。举例而言，指令识别使用者接口系统400可使用来自许多(例如3个)图像的一像素值的移动平均，用以产生背景图像或目前图像(用来检测目标物)。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许更动与润饰，因此本发明的保护范围当视所附的权利要求范围所界定者为准。

Claims (20)

1.一种解译控制走势的方法，适用于一移动装置，并且上述移动装置具有能够提供一连续图像的一图像传感器，上述方法包括：

检测上述连续图像中的一目标物；

决定所检测到的上述目标物是否静止；

当所检测到的上述目标物被认定为静止时，检测所检测到的上述目标物的一变化；

决定一个或多个与所检测到的上述变化相关的参数；

解译由所决定的上述一个或多个参数所指示的一使用者命令；以及

执行与所解译的上述使用者命令相关的一指令。

2.根据权利要求1所述的解译控制走势的方法，其中上述检测一目标物的步骤包括：

取得一背景图像；

比对一目前图像与上述背景图像；以及

当上述目前图像的一部分大体上与上述背景图像中的一对应的部分不同时，则指定上述目前图像的上述部分为所检测到的上述目标物。

3.根据权利要求1所述的解译控制走势的方法，其中上述检测一变化的步骤包括：

决定与上述目标物相关的一参数值；以及

检测上述参数值在上述连续图像中的一后段图像中是否发生改变。

4.根据权利要求1所述的解译控制走势的方法，还包括：

按照一目标物型式，对所检测到的上述目标物进行分类；以及

根据上述检测的目标物的上述目标物型式选择上述一个或多个参数中的多个参数。

5.根据权利要求1所述的方法，还包括当所解译的上述使用者命令是接收于一先前的使用者命令完成后的一特定时间内时，则忽略所解译的上述使用者命令。

6.根据权利要求1所述的解译控制走势的方法，还包括：

决定上述连续图像的一第一图像中的上述目标物的一第一位置；以及

决定上述连续图像的一第二图像中的上述目标物的一第二位置；

其中上述决定一个或多个参数的步骤包括通过决定从上述第一位置到上述第二位置的一变化方向，来决定一方向参数。

7.根据权利要求1所述的解译控制走势的方法，其中上述决定一个或多个与上述检测的变化相关的参数的步骤包括：

当所检测到的上述目标物为静止时，决定与所检测到的上述目标物相关的一第一手部状态；

在检测到上述变化后，决定与所检测到的上述目标物相关的一第二手部状态；以及

当上述第一手部状态与上述第二手部状态不同时，则产生指示上述第一手部状态与上述第二手部状态之间的变化的一参数；

其中上述决定一第一手部状态与上述决定一第二手部状态的步骤包括：

决定所检测到的上述目标物的一第一点；

决定所检测到的上述目标物的一第二点；

当上述第一点与上述第二点之间的一线段大体上为单一颜色时，设定上述第一手部状态或上述第二手部状态为紧握；以及

当上述第一点与上述第二点之间的上述线段大体上不为单一颜色时，设定上述第一手部状态或上述第二手部状态设定为张开。

8.根据权利要求1所述的解译控制走势的方法，其中上述决定一个或多个与上述检测的变化相关的参数的步骤包括：

当上述检测的目标物为静止时，决定与所检测到的上述目标物相关的一第一手部状态；

在检测到上述变化后，决定与所检测到的上述目标物相关的一第二手部状态；以及

产生指示上述第一手部状态与上述第二手部状态之间的变化的一参数。

9.根据权利要求1所述的解译控制走势的方法，其中上述检测一目标物的步骤包括：

比对上述连续图像中的一第二图像与上述连续图像中的一第一图像；

当上述第二图像大体上与上述第一图像相同时，将上述第二图像设定为一背景图像；以及

若上述连续图像的一第三图像大体上与上述背景图像不同时，则检测一目标物。

10.根据权利要求1所述的解译控制走势的方法，其中上述决定上述检测的目标物是否为静止的步骤还包括：

比对上述连续图像中的一目前图像与上述连续图像中的一先前图像；以及

当上述目前图像是大体上与上述先前图像相同时，指定上述目标物为静止的。

11.一种解译控制走势的装置，适用于一移动装置，上述装置包括：

一第一产生部件，用以产生一连续图像；

一第一检测部件，用以检测上述连续图像中的一目标物；

一第一决定部件，用以决定所检测到的上述目标物是否静止；

一第二检测部件，当所检测到的上述目标物被认定为静止时，检测所检测到的上述目标物中的一变化；

一第二决定部件，用以决定一个或多个与所检测到的上述变化相关的参数；

一解译部件，用以解译由上述决定的一个或多个参数所指示的一使用者命令；以及

一执行部件，用以执行与所解译的上述使用者命令相关的一指令。

12.根据权利要求11所述的解译控制走势的装置，其中用以检测一目标物的上述第一检测部件包括：

一取得部件，用以取得一背景图像；

一比对部件，用以比对一目前图像与上述背景图像；以及

一指定部件，当上述目前图像的一部分大体上与上述背景图像的一对应部分不同时，指定上述目前图像的上述部分为所检测到的上述目标物。

13.根据权利要求11所述的解译控制走势的装置，其中用以检测一变化的上述第二检测部件包括：

一第三决定部件，用以决定与上述目标物相关的一参数值；以及

一第三检测部件，检测上述参数值在上述连续图像中的一后段图像中是否发生改变。

14.根据权利要求11所述的解译控制走势的装置，还包括：

一分类部件，用以按照一目标物型式，对所检测到的上述目标物进行分类；

其中根据所检测到的上述目标物的上述目标物型式来选择上述一个或多个参数。

15.根据权利要求11所述的解译控制走势的装置，还包括一忽略部件，用以当所解译的上述使用者命令是在一先前的使用者命令完成之后的一特定时间内接收时，忽略所解译的上述使用者命令。

16.根据权利要求11所述的解译控制走势的装置，用以决定一个或多个与所检测到的上述变化相关的参数的上述第二决定部件包括：

一第三决定部件，用以当上述检测的目标物为静止时，决定上述检测的目标物的一第一宽度；

一第四决定部件，用以在所检测到的上述变化后，决定所检测到的上述目标物的一第二宽度；以及

一第二产生部件，用以通过决定上述第一宽度与上述第二宽度之间的一大小变化，产生指示一距离变化的一参数。

17.根据权利要求11所述的解译控制走势的装置，其中用以检测一目标物的上述第一检测部件包括：

一比对部件，用以比对上述连续图像中的一第二图像与上述连续图像中的一第一图像；

一设定部件，当上述第二图像大体上与上述第一图像相同时，将上述第二图像设定为一背景图像；

一第三检测部件，当上述连续图像的一第三图像大体上与上述背景图像不同时，检测一目标物。

18.根据权利要求11所述的解译控制走势的装置，其中用以决定上述所检测的目标物是否静止的上述第一决定部件包括：

一比对部件，用以比对上述连续图像中的一目前图像与上述连续图像中的一先前图像；以及

一指定部件，当上述目前图像是大体上与上述先前图像相同时，指定上述目标物为静止。

19.根据权利要求11所述的解译控制走势的装置，其中用以决定一个或多个参数的上述第二检测部件包括：

一第三决定部件，用以当所检测到的上述目标物为静止时，决定与所检测到的上述目标物相关的一第一手部状态；

一第四决定部件，用以在所检测到的上述变化后，决定与所检测到的上述目标物相关的一第二手部状态；以及

一指示部件，用以产生指示上述第一手部状态与上述第二手部状态之间的变化的一参数。

20.根据权利要求11所述的解译控制走势的装置，其中用以检测一目标物的上述第一检测部件还包括：

一比对部件，用以比对上述连续图像中的一第二图像与上述连续图像中的一第一图像；

一设定部件，当上述第二图像大体上与上述第一图像相同时，将上述第二图像设定为一背景图像；

一第三检测部件，当上述连续图像中的一第三图像大体上与上述背景图像不同时，检测一目标物。

Images