发明内容
为了不需要另外安装高成本的红外线雷射投影机及深度传感器等设备就可以达成手势控制,本发明提供一种移动向量触发的控制方法,执行于电子装置。所述电子装置包含处理器及内存。所述移动向量触发控制方法包含下列步骤:通过所述电子装置所连接的影像撷取装置依序接收多个影像帧。通过所述处理器选择所述多个影像帧中的二幅不同影像帧。通过所述处理器对所述二幅不同影像帧执行相位相关方法。储存执行所述相位相关方法后的结果中所述二幅不同影像帧的正规化相位相关值于所述内存中的相位相关影像。所述相位相关影像在一个二维坐标空间中记录所述正规化相位相关值,并且用于表示一个三维坐标空间中的三维相位相关曲面。所述三维坐标空间的三个坐标轴包含所述二维坐标空间的二坐标轴以及代表所述正规化相位相关值刻度的坐标轴。通过所述处理器以找出所述三维相位相关曲面中的波峰。通过所述处理器以根据所述波峰的位置以产生移动向量。通过所述处理器以根据所述移动向量的长度及所述波峰的截面积以判别所述移动向量为合格向量。通过所述处理器以驱动所述电子装置的功能以响应所述合格向量。
优选地,所述移动向量起始自所述相位相关影像的中心,并指向所述相位相关影像上的所述波峰的位置。
优选地,所述波峰的截面积为所述波峰在对应于第一相位相关界限值的截面积。
优选地,所述处理器通过比较所述三维相位相关曲面与第二相位相关界限值以找出所述波峰。
优选地,若所述移动向量的长度在向量长度上限及向量长度下限所界定的范围内,则所述处理器判别所述移动向量为有效向量,其特征在于所述有效向量为所述合格向量的候选向量。
优选地,若所述波峰的截面积在面积上限及面积下限所界定的范围内,则所述处理器判别所述有效向量为所述合格向量。
另外,本发明提供一种电子装置,其包含内存及处理器。所述内存储存通过所述电子装置所连接的影像撷取装置所依序接收的多个影像帧。所述处理器电连接所述内存,用于执行移动向量触发的控制方法。所述移动向量触发的控制方法包含:选择所述多个影像帧中的二幅不同影像帧,所述二幅不同影像帧皆包含一个移动物体的影像;驱动所述电子装置的功能以响应所述移动物体的移动向量,其中所述移动向量是取自所述二幅不同影像帧的相位相关方法,并且通过判别所述二幅不同影像帧的相位相关影像中所述移动物体的代表面积以避免所述功能被误驱动,其中所述相位相关影像储存所述相位相关方法执行后的结果。
优选地,所述相位相关影像在一个二维坐标空间中记录所述二幅不同影像帧的所述正规化相位相关值,并且用于表示一个三维坐标空间中的三维相位相关曲面,所述三维坐标空间的三个坐标轴包含所述二维坐标空间的二坐标轴以及代表所述正规化相位相关值刻度的坐标轴,并且所述移动物体的代表面积为所述三维相位相关曲面中所述移动物体对应的波峰的截面积。
另外,本发明提供一种电子装置,包含内存及处理器。所述内存储存通过所述电子装置所连接的影像撷取装置所依序接收的多个压缩影像帧。所述处理器电连接所述内存,用于执行移动向量触发的控制方法。所述方法包含:解压缩所述多个压缩影像帧;选择所述解压缩多个影像帧中的二幅不同影像帧;利用对所述二幅不同影像帧执行的相位相关方法,以产生所述二幅不同影像帧所包含的一个移动物体的移动向量;根据所述移动向量的长度及在三维相位相关曲面中对应所述物体的面积,以判定所述移动向量为合格向量,其特征在于所述三维相位相关曲面为述二幅不同影像帧的所述相位相关方法所产生;以及驱动所述电子装置的功能以响应所述合格向量。
优选地,所述三维相位相关曲面上的所述面积为所述三维相位相关曲面中的波峰对应于相位相关界限值的截面积。
所述电子装置利用影像撷取装置以执行所述移动向量触发的控制方法。由于影像撷取装置已普遍存在于行动电话、视频会议装置及网络通信装置,所述方法不需要另外安装高成本的其它外围设备就可以达成手势控制。
具体实施方式
移动向量触发的控制方法及使用其的电子装置实施方说明如下:
1.系统概述
本发明所揭示的电子装置100可以实作成单独一台装置,或整合于各种不同的电子装置中,诸如机顶盒、行动电话、平板个人计算机(tablet personalcomputer)、膝上型计算机(laptop computer)、监视器、多媒体播放器、数字摄影机、个人数字助理(personal digital assistant,简称PDA)、导航装置或移动上网装置(mobile internet device,MID)。
参照图1,处理器151包含电子装置100的中央处理器(Central ProcessingUnit,CPU),可以由集成电路(Integrated Circuit,简称IC)组成,用于处理数据及执行计算机程序。电子装置100的组件连接方式如图1所示,可用串行或并行总线、或无线通信信道构成。通信单元156建立通信信道,使电子装置100通过所述通信信道以连接至远程服务器,并从所述远程服务器下媒体数据。另外,通信单元156可以建立无线通信信道,使移动设备,例如遥控器,通过所述无线通信信道以连接至电子装置100并交换数据。所述通信单元156可以包含天线、基频(base band)及射频(radio frequency,简称RF)芯片组用于进行无线局域网络(wireless local area network,简称wireless LAN)通信、红外线通信及/或蜂巢式通信系统通信,例如宽带分码多重进接(Wideband Code DivisionMultiple Access,简称W-CDMA)及高速下行封包存取(High Speed DownlinkPacket Access,简称HSDPA)。通过所述建立的无线通信信道,所述电子装置100可以作为无线局域网络的接入点,使移动设备可以通过所述接入点以连接因特网(Internet)。
所述处理器151可以是由单颗封装的IC所组成,或连接多颗相同功能或不同功能的封装IC而组成。举例来说,处理器151可以仅包含中央处理器,或者是CPU、数字信号处理器(digital signal processor,简称DSP)、及通信控制器(例如通信单元156)的控制芯片的组合。所述通信控制器可以包含蜂巢式通信系统通信、红外线、蓝芽(BluetoothTM)或无线局域网络的通信控制装置。CPU可以是单运算核心或多运算核心的CPU。所述的通信控制器用于控制电子装置100中的各组件的通信,或电子装置100与外部装置的通信,并且可以支持直接内存存取(Direct Memory Access)。DSP 165处理影像数据。所述译码器166可以依据一种影像编译码标准,例如H.264、VC-1、MPEG-2或MPEG-4以对影像数据进行译码。所述DSP 165及译码器166可以包含IC。在其它实施方式中,所述译码器166可以包含在所述内存153中的计算机程序码。所述计算机程序码包含所述处理器151所执行的指令,用于提供所述译码器166的功能。
电源供应器158供给电力予电子装置100中的各组件。提供频率信号给处理器151与电子装置100中的其它组件。输入输出装置160包括控制按钮、以及多个发光二极管(light emitting diodes,简称LEDs)。控制器165侦测并控制输入输出装置160的操作及运作,并将所侦测的操作传送至所述处理器151。所述处理器151可以通过控制器165控制输入输出装置160。端口164可以连接到各种计算机化的接口,例如一台外部的计算机装置或外围装置。端口164可以是符合通用总线(universal serial bus,简称USB)或电机电子工程师学会(Institute of Electrical and Electronics Engineers,IEEE)1394等标准的实体端口、美国电子工业协会(Electronic Industries Association,简称EIA)所制定的第232号推荐标准(Recommended Standard-232,简称RS-232)及/或第11号推荐标准(Recommended Standard-11,简称RS-11)的实体连接端口、串行ATA(Serial ATA,简称SATA)及/或高清晰度多媒体接口(High DefinitionMultimedia Interface,简称HDMI)。
非易失性内存153储存处理器151所执行的操作系统及应用程序。所述处理器151从所述非易失性内存153加载运行程序与数据数据到主存储器152并将数字内容储存于大量储存装置154中。该主存储器152可以是随机存取内存(Random Access Memory,简称RAM),例如静态随机存取内存(Static RAM,简称SRAM)或是动态随机存取内存(Dynamic RAM,简称DRAM)。该非易失性内存153可以是电子可抹除可规划只读存储器(Electrically ErasableProgrammable Read-Only Memory,简称EEPROM)或闪存(flash memory),例如反或(NOR)闪存或是反及(NAND)闪存。
影像处理装置100可从天线、调谐器(tuner)以及解调器(demodulator)传递的数字信号取得数字内容。另一个实施例中,影像处理装置100可以通过网络存取接口从因特网等网络中取得数字内容。
视频输出单元162包含滤波器及放大器用来将处理器151所输出的视频信号滤波及放大。音频输出单元161包含数字模拟转换器用来将处理器151所输出的音频信号从数字格式转换为模拟格式。
显示器155显示文字及影像,并且可以包含电子纸、OLED有机发光二极管(organic light emitting diode,简称OLED)、场发射显示器(field emissiondisplay,简称FED)、或LCD液晶显示器(liquid crystal display,简称LCD)。或者所述显示器155可以包含反射式显示器,例如电泳式(electrophoretic)显示器,或利用光干涉调变技术(interferometric modulation of light)的显示器。所述显示器155可以显示各种图形化用户接口(graphical user interface,简称GUI)以作为虚拟控制组件,包含但不限于窗口、卷动轴、图标及剪贴簿。所述显示器155可以包含单一显示器或不同尺寸的多个显示器。所述处理器151可以将以下说明的GUI显示于所述显示器155。
影像撷取装置200可以整合于所述电子装置100中,或是通过所述端口164电连接于所述电子装置100。所述影像撷取装置200可以包含镜头201、影像传感器202、内存203以及编码器204。所述影像传感器202从所述镜头201接收光线呈现的影像并将影像转换为电信号,其组成可以包含电荷耦合装置(charge-coupled devices,CCDs)或互补金氧半导体(complementarymetal-oxide-semiconductor,CMOS)图元传感器。所述影像传感器202可以将所述影像的电信号储存于所述内存203。所述编码器204可以依据一种影像编译码标准,例如H.264、VC-1、MPEG-2或MPEG-4以对所述影像的电信号进行编码。所述编码器204可以包含IC。
2.移动向量触发的控制方法
参照图2A,所述电子装置100执行移动向量触发的控制方法。所述影像撷取装置200撷取用户的一个影像序列,所述影像序列包含多个影像帧(步骤S2)。举例来说,所述影像撷取装置200每秒撷取30个影像帧,分别为影像帧[1]、影像帧[2]...及影像帧[30]。所述编码器204依据一种影像编译码标准,例如H.264、VC-1、MPEG-2或MPEG-4以对所述多个影像帧进行编码。所述编码器204所执行的编码包含数据压缩。
所述电子装置100利用所述译码器166接收并译码所述多个影像帧,并储存已译码的所述多个影像帧于所述内存152(步骤S4)。所述译码器166依据一种影像编译码标准,例如H.264、VC-1、MPEG-2或MPEG-4以对所述多个影像帧进行译码。所述译码器166所执行的译码包含数据解压缩。
所述处理器151从所述内存152选择所述多个影像帧中的二幅不同影像帧,并将所述选择的二幅不同影像帧提取给所述DSP 165(步骤S6)。在步骤S6中,举例来说,所述处理器151选取影像帧[k]及影像帧[k+n],其中k及n皆为正整数,使得k+n不大于30。举例来说,请参照图3,影像331代表影像帧[k],包含对象301及302,而影像332代表影像帧[k+n],所包含的对象301’及302’分别代表位移后的所述对象301及302。举例来说,所述对象301及302可以是所述用户的手及脸。
所述DSP 165对所述二幅不同影像帧执行相位相关方法,并正规化所述相位相关方法所产生的相位相关值(步骤S8)。所述相位相关方法为影像处理中所使用的相位相关方法,可以参照美国专利号5063524、5808626及7885483所揭示的内容。
所述DSP 165储存所述相位相关方法的结果中所述二幅不同影像帧的正规化相位相关值于所述内存152中的相位相关影像(步骤S10)。所述正规化相位相关值以变量x及y的函数r(x,y)表示。所述(x,y)代表在所述相位相关影像中的一个坐标。所述相位相关影像在一个二维坐标空间中记录所述正规化相位相关值r(x,y),并且用于表示一个三维坐标空间中的三维相位相关曲面,所述三维坐标空间的三个坐标轴包含所述二维坐标空间的二坐标轴x及y以及代表所述正规化相位相关值刻度的坐标轴z。举例来说,如图3所示,所述相位相关影像M1在一个二维坐标空间中记录所述影像帧[k]及影像帧[k+n]的相位相关值。所述相位相关影像M1的正规化相位相关值r(x,y)可以表示成三维相位相关曲面,所述三维相位相关曲面包含波峰P1及P2。所述波峰P1是由所述对象301及301’的相位相关方法所产生。所述波峰P2是由所述对象302及302’的相位相关方法所产生。
所述DSP 165搜寻所述相位相关影像中的正规化相位相关值以找出有效移动向量(effective motion vector,EMV)(步骤S13)。参照图2B,所述步骤S13更包含步骤S132-S138。所述DSP 165找出所述三维相位相关曲面中的波峰(步骤S132)。举例来说,所述DSP 165通过比较所述三维相位相关曲面与相位相关界限值LB1以找出所述波峰。明确而言,所述DSP 165找出所述三维相位相关曲面中高于所述相位相关界限值LB1的波峰。举例来说,参照图4,所述DSP 165找出高于所述相位相关界限值LB 1的波峰P1及P2。
所述DSP 165基于所述波峰的位置以产生移动向量(步骤S 134)。参照图4及6,所述DSP 165基于所述波峰P1的位置以产生移动向量V1。所述移动向量V1始于所述相位相关影像M1的中心,终止于所述波峰P1的所在位置。
所述DSP 165根据所述移动向量V1的长度以判别所述移动向量V1是否为EMV(步骤S 136)。EMV为合格向量的候选向量,须要进一步确认是否为用于驱动手势指令的合格向量。
若所述移动向量V1的长度在向量长度上限LM2及向量长度下限LM1所界定的范围内,则所述DSP 165判别所述移动向量为EMV(步骤S138)。亦即,所述移动向量V1在符合下列条件时即为EMV:
LM1<|V1|<LM2 (1)
若所述移动向量V1的长度不在所述公式(1)的范围内,则所述DSP 165判别所述移动向量不是EMV,并且判定在所述三维相位相关曲面r(x,y)中是否有另一个波峰高于相位相关界限值LB1(步骤S137)。若在所述三维相位相关曲面r(x,y)中有另一个波峰高于相位相关界限值LB1,则所述DSP 165对所述另一个波峰重复执行步骤S13。换言之,若在步骤S132找出的波峰多于一个,所述DSP 165可以在步骤S134至S138中以相同方式产生移动向量并找出EMV。
所述处理器151判别是否所述EMV的数量为1(步骤S18)。若所述EMV的数量非1,则重复步骤S2。若所述EMV的数量为1,则执行步骤S20。
所述DSP 165计算所述EMV所据以产生的所述波峰的截面积(步骤S20)。举例来说,参照图4,若所述移动向量V1为EMV,所述DSP 165计算所述移动向量V1的终点所指的所述波峰P1的截面积C。若所述EMV所指的所述波峰的所述截面积在面积上限LC2及面积下限LC1所界定的范围内,则所述处理器151判别所述EMV为合格向量(步骤S22)。若所述EMV所指的所述波峰的所述截面积不在面积上限LC2及面积下限LC1所界定的范围内,则所述处理器151判别所述EMV不是合格向量。举例来说,所述DSP 165利用函数P(x,y)以计算所述波峰P1的截面积C。函数P(x,y)定义为:
若r(x,y)>LB2时,则P(x,y)=1,否则P(x,y)=0。
其中LB2为另一个相位相关界限值。所述DSP 165利用于下公式以计算所述波峰P1的截面积C。
C=∑P(x,y) (2)
所述波峰P1在三维相位相关曲面r(x,y)的截面积C与所述影像帧[k]的对象301及所述影像帧[k+n]的对象301’的面积之间有对应关系。所述处理器151判定所述截面积C是否在面积上限LC2及面积下限LC1所界定的范围内,亦即判定下列不等式是否成立:
LC1<C<LC2 (3)
所述合格向量可以构成手势指令或是构成手势指令的一部分。举例来说,一个手势指令可以仅包含一个合格向量或连续的多个合格向量。所述处理器151根据所述合格向量的长度及方向以识别所述手势指令(步骤S24),并启动所述电子装置100的一种功能以响应所述识别的手势指令(步骤S26)。举例来说,在图5中,所述显示器155以屏幕上显示(On Screen Display,OSD)的形式呈现手势指令的示范说明。参照图6,若所述合格向量从所述相位相关影像的中心指向区域A1或A3中的位置,所述处理器151可以分别增加或减少所述电子装置100的输出音量。另外,若所述合格向量从所述相位相关影像的中心指向区域A2或A4中的位置,所述处理器151可以分别增加或减少所述电子装置100的频道号码。如此,利用识别所述相位相关影像M1中所述对象301及301’的代表面积以避免所述电子装置100的所述功能被误启动。所述对象301及301’在所述相位相关影像M1中的代表面积为所述对象301所对应的所述波峰P1的截面积C。所述波峰P1的截面积C对应于所述相位相关界限值LB2。所述波峰P2的截面积C2的位置在所述区域A1-A4的范围以外,因此指向所述波峰P2的位置的移动向量不是EMV。
3.结论
总之,所述电子装置100利用所撷取的二幅影像帧的相位相关方法以产生所述二幅影像帧中一个移动物体的移动向量。所述装置100判别所述移动向量的长度及相位相关曲面中对应所述移动物体的面积,并据以判别是否所述移动向量为用于驱动所述装置的手势指令的合格向量。所述电子装置100利用所述合格向量以发出手势指令以启动特定功能。所述相位相关曲面是由所述二幅影像帧的相位相关方法所产生的。所述电子装置100通过判别所述二幅不同影像帧的相位相关曲面中所述移动物体的代表面积以避免所述特定功能被误驱动。