CN103677246A - 双模式遥控方法 - Google Patents

Abstract

本发明公开了一种双模式遥控方法，适用于具有影像感测器的电子装置。此方法使用影像感测器连续撷取多张影像，然后根据这些影像的至少一项特性，决定对这些影像进行红外光源侦测及/或手势侦测，以获得这些影像中至少一个目标物的动作，最后则执行所述动作对应的控制指令。

Description

双模式遥控方法

技术领域

本发明是有关于一种遥控方法，且特别是有关于一种结合红外线侦测及手势侦测的遥控方法。

背景技术

随着科技的日新月异，消费性电子产品也推陈出新，这些电子产品不仅提供了多样化的功能，也改变了现代人的生活方式。以居家环境为例，客厅中即放置有电视、音响、数字视频光盘（Digital Video Disc，DVD）播放器、冷气、电风扇等电器。而为了方便使用者操作，电器厂商在销售电器时也会附上遥控器，让使用者可以坐在沙发上不用起身就能够控制电器。

然而，随着电器的数目变多，家中将会充斥着各式各样的遥控器，结果造成使用者在遥控电器前，得先找出对应的遥控器。此外，由于遥控器的操作方式局限于按键操作，且各家厂商、各种电器的遥控器的设计及操作方式均不相同，结果造成使用者在使用遥控器之前，还得先熟悉其操作方式。因此，传统遥控器的使用及操作方式仍带给使用者不少的困扰。

对此，目前业界已发展许多较为直觉的遥控方式，例如红外线遥控及手势遥控。在红外线遥控的应用中，使用者可手持红外光源对着电器（例如电视）挥动，而配置在电器上的影像感测器即会侦测此红外光源的移动轨迹，从而转换为对应的控制指令，进而控制电器执行相应的功能。类似地，在手势遥控的应用中，使用者可直接用手在电器前挥动，而配置在电器上的影像感测器即会侦测使用者手部的移动轨迹并辨识为手势，从而转换为对应的控制指令，进而控制电器执行相应的功能。然而，上述两种遥控方式仍有各自的缺点，红外线遥控需要由使用者手持红外线光源，手势遥控则辨识率不高，而可能因为辨识错误，造成电器的误动作。

发明内容

有鉴于此，本发明提出一种双模式遥控方法，可结合红外线遥控及手势遥控两种方式，提供更精确的遥控方式。

本发明提出一种双模式遥控方法，适用于具有影像感测器的电子装置。此方法使用影像感测器连续撷取多张影像，然后根据这些影像的至少一项特性，决定对这些影像进行红外光源侦测及/或手势侦测，以获得这些影像中至少一个目标物的动作，最后则执行所述动作对应的控制指令。

在本发明的一实施例中，上述使用影像感测器连续撷取多张影像的步骤包括在使用影像感测器撷取影像时，交错使用第一曝光值及第二曝光值进行影像撷取，其中第一曝光值小于第二曝光值。

在本发明的一实施例中，上述根据影像特性，决定对影像进行红外光源侦测及/或手势侦测，以获得影像中目标物的动作的步骤包括针对使用第一曝光值撷取的影像进行红外光源侦测，以获得红外光源的动作，以及针对使用第二曝光值撷取的影像进行手势侦测，以获得手势。

在本发明的一实施例中，上述根据影像特性，决定对影像进行红外光源侦测及/或手势侦测，以获得影像中目标物的动作的步骤包括同步对所述影像进行红外光源侦测及手势侦测，以获得这些影像中红外光源的动作及手势。

在本发明的一实施例中，上述根据影像特性，决定对影像进行红外光源侦测及/或手势侦测，以获得影像中目标物的动作的步骤包括将所述影像二值化，并针对二值化后的影像进行红外光源侦测，以获得这些影像中红外光源的动作，以及针对原始影像进行手势侦测，以获得这些影像中的手势。

在本发明的一实施例中，在上述将所述影像二值化的步骤之前，还包括使影像感测器曝光，以建立背景影像，接着将一光源置入影像感测器的感测范围内，并使影像感测器曝光，以建立光点影像，然后将光点影像减去背景影像，以获得差值影像，最后再使用此差值影像，决定将影像二值化的第一阀值。

在本发明的一实施例中，上述根据影像特性，决定对影像进行红外光源侦测及/或手势侦测，以获得影像中目标物的动作的步骤包括找出所述影像中亮度值高于第二阀值的特征，并将此特征在影像中的移动轨迹辨识为红外光源的动作。

在本发明的一实施例中，上述根据影像特性，决定对影像进行红外光源侦测及/或手势侦测，以获得影像中目标物的动作的步骤包括找出所述影像中手部的特征，并辨识此特征的移动轨迹为手势。

在本发明的一实施例中，上述根据影像特性，决定对影像进行红外光源侦测及/或手势侦测，以获得影像中目标物的动作的步骤包括判断所述影像中是否存在亮度值高于第三阀值的特征。其中，若存在此特征，则判断此特征的移动量是否高于第四阀值，而若又高于第四阀值，则进入红外光源侦测模式，对所述影像进行红外光源侦测，以获得这些影像中红外光源的动作。

在本发明的一实施例中，在上述判断所述影像中是否存在亮度值高于第一阀值的特征的步骤之后，还包括在判断不存在所述特征时，进入手势侦测模式，而对所述影像进行手势侦测，以获得这些影像中的手势。

在本发明的一实施例中，在上述判断特征的移动量是否高于第四阀值的步骤之后，还包括在未高于第四阀值时，进入手势侦测模式，而对所述影像进行手势侦测，以获得这些影像中的手势。

在本发明的一实施例中，在上述进入红外光源侦测模式，而对所述影像进行红外光源侦测，以获得这些影像中所述目标物的动作的步骤之后，还包括判断此特征的亮度值是否低于第五阀值，而若低于第五阀值，则进入手势侦测模式，而对所述影像进行手势侦测，以获得这些影像中的手势。

基于上述，本发明的双模式遥控方法针对影像感测器连续所撷取的多张影像的特性，选择以红外线侦测及/或手势侦测的方式侦测影像中目标物的动作，从而根据两种侦测方式的结果决定所要执行的控制指令。由此，可提供使用者一种更精确且便利的遥控方式。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。

附图说明

图1是依照本发明一实施例所绘示的双模式遥控方法的流程图。

图2是依照本发明一实施例所绘示的双模式遥控方法的流程图。

图3是本发明一实施例所绘示的双模式遥控方法的范例。

图4是依照本发明一实施例所绘示的双模式遥控方法的流程图。

图5中的(a)~(c)是依照本发明一实施例所绘示的建立二值化阀值的范例。

图6是本发明一实施例所绘示的双模式遥控方法的范例。

图7是依照本发明一实施例所绘示的双模式遥控方法的流程图。

其中，附图标记说明如下：

32、34：影像

52：背景影像

54：光点影像

56：差值影像

62：原始影像

64：二值化后影像

S102~S106：本发明一实施例的双模式遥控方法的步骤

S202~S208：本发明一实施例的双模式遥控方法的步骤

S402~S410：本发明一实施例的双模式遥控方法的步骤

S702~S712：本发明一实施例的双模式遥控方法的步骤

具体实施方式

有鉴于红外线侦测及手势侦测都是利用影像感测器撷取影像，并对所撷取的影像进行处理，以此达到红外线遥控及手势遥控的功能，本发明即采用光谱较一般感测器广，能够侦测到不可见的红外光的影像感测器来撷取使用者操作电子装置的影像，并进行红外线侦测及手势侦测。而在进行遥控时，也是结合这两种方式的侦测结果来判断目标物的动作，进而执行对应的控制指令。以此，可增加电子装置判断使用者遥控操作的正确性。

图1是依照本发明一实施例所绘示的双模式遥控方法的流程图。请参照图1，本实施例的方式适用于具有影像感测器的电子装置，此电子装置例如是电视、音响、DVD播放器、冰箱、冷气、电风扇等家用电器，或者是手机、桌上型电脑、笔记型电脑、平板电脑等可携式装置，在此不设限。电子装置上的影像感测器例如是电荷耦合元件（Charge Coupled Device，CCD）感测器或互补金属氧化物半导体（Complementary Metal-Oxide Semiconductor，CMOS）感测器，其光谱涵盖可见光及不可见光，而能够侦测红外线光源所发出的红外线。本实施例的双模式遥控方法的步骤如下：

首先，由电子装置使用影像感测器连续撷取多张影像（步骤S102）。其中，影像感测器所撷取的影像例如会暂存于电子装置的存储器，而等待进行后续处理。

接着，电子装置将根据所撷取影像的至少一项特性，决定对这些影像进行红外光源侦测及/或手势侦测，以获得这些影像中至少一个目标物的动作（步骤S104）。举例来说，电子装置可通过检视所撷取影像中各个像素的亮度值来决定是否进行红外光源侦测及/或手势侦测。其中，当电子装置发现所撷取影像中的多个像素出现亮度值较高的情形时，即可判定侦测到红外光源，从而进行红外光源侦测，以追踪红外光源在这些影像中的移动轨迹，并辨识红外光源的动作。另一方面，当电子装置发现所撷取影像中的像素没有出现亮度值较高的像素时，则可判定影像中没有红外光源，从而进行手势侦测，以追踪使用者手部在这些影像中的移动轨迹，并辨识为手势。

最后，电子装置即可根据其执行红外光源侦测及/或手势侦测所获得的目标物（红外光源及/或手势）的动作，执行此动作对应的控制指令（步骤S106），从而达到遥控电子装置的目的。上述目标物动作与控制指令之间的对应关系例如会记录于一个装置内建或是使用者自订的指令对映表，而可供电子装置在辨识出目标物动作之后查询，而据以执行相应的控制指令，实现遥控操作。此外，电子装置在执行控制指令之后，仍会持续使用影像感测器撷取影像，以侦测使用者的下一个遥控操作。

通过上述的遥控方式，电子装置可先分辨出使用者是使用红外线光源，抑或是使用手势来进行遥控，而在最后执行控制指令时，也可综合考量两种方式的侦测结果，以此可增加电子装置判断使用者遥控操作的正确性。

需说明的是，针对上述结合红外线侦测及手势侦测的遥控方式，本发明亦进一步结合硬件交错式、软件同步式以及双模式间切换的方式，以此可针对不同规格的电子装置，提供较为合适的方式来实现遥控操作。以下则各举一实施例详细说明。

硬件交错式

图2是依照本发明一实施例所绘示的双模式遥控方法的流程图。请参照图2，本实施例的方式适用于具有影像感测器的电子装置，其步骤如下：

首先，由电子装置控制其影像感测器交错使用第一曝光值（ExposureValue，EV）及第二曝光值连续撷取多张影像（步骤S202），其中第一曝光值小于第二曝光值。详言之，电子装置例如会根据影像感测器撷取影像的画面更新率（Frame per Second，FPS），决定其交错使用曝光值的频率。例如，当影像感测器的画面更新率为每秒60张时画面，则曝光值的交错频率即为1/60秒。

举例来说，图3是本发明一实施例所绘示的双模式遥控方法的范例。请参照图3，电子装置例如会在其连续撷取多张影像时，交错使用标准曝光值及降低的曝光值进行影像撷取。其中，利用降低的曝光值进行影像撷取例如会得到影像32，而由影像32及其像素值直方图（histogram）可知，影像32的像素值呈现两个群落分布，且亮部群落接近数值为255的像素值极大值（最亮）。反之，利用标准的曝光值进行影像撷取则例如会得到影像34。其中，由影像34可知，使用者手持红外光源的手势依稀可见，且使用者另一支手的影像也很明显；由影像34的像素值直方图可知，影像34的像素值中除了对应红外光源的亮部群落外，其余像素值则平均分布在0~255之间。而由于影像34具有较多的细节，电子装置可进一步对其进行手势侦测，从而辨识出使用者在影像34中实施的手势。

接着，电子装置会针对使用第一曝光值撷取的影像进行红外光源侦测，以获得红外光源的动作（步骤S204）。其中，电子装置例如会针对红外光源设定一个亮度值的阀值，而在对影像进行红外光源侦测时，也是使用此阀值做为判定像素是否是红外光源的依据。详言之，电子装置例如会找出影像中亮度值高于此阀值的特征，并根据此特征在影像中的移动轨迹判断红外光源的动作。

另一方面，电子装置也会针对使用第二曝光值撷取的影像进行手势侦测，以获得使用者的手势（步骤S206）。其中，电子装置例如会依据预先建立的特征资料库，将影像中的物体分别与多个手部特征比对，以找出影像中的手部特征，而以此特征的移动轨迹做为手势。

最后，电子装置会结合其进行红外光源侦测所获得的红外光源的动作以及进行手势侦测所获得的手势，判断使用者的操作动作，从而执行此操作动作对应的控制指令（步骤S208）。由此，可增加遥控操作的正确性。

软件同步式

图4是依照本发明一实施例所绘示的双模式遥控方法的流程图。请参照图4，本实施例的方式适用于具有影像感测器的电子装置，其步骤如下：

首先，由电子装置使用影像感测器连续撷取多张影像（步骤S402）。接着，电子装置会同步对所撷取的影像进行红外光源侦测及手势侦测，以获得这些影像中红外光源的动作及手势。

详言之，电子装置例如会针对影像感测器所撷取的原始影像进行手势侦测，以获得这些影像中的手势（步骤S404）。其中，电子装置侦测手势的技术细节已于前述实施例中说明，在此不再赘述。

另一方面，在进行手势侦测的同时，电子装置还会对所述影像进行二值化处理（步骤S406），并针对二值化后的影像进行红外光源侦测，以获得这些影像中红外光源的动作（步骤S408）。其中，电子装置在进行上述的二值化处理前，例如会先建立二值化所使用的阀值。

举例来说，图5(a)~图5(c)是依照本发明一实施例所绘示的建立二值化阀值的范例。请参照图5(a)~图5(c)，本实施例是由使用者控制电子装置，使电子装置的影像感测器曝光，以建立如图5(a)所示的背景影像52。接着，由使用者将光源置入影像感测器的感测范围内（在本实施例中是由使用者将光源开启），并再使电子装置的影像感测器曝光，以建立如图5(b)所示的光点影像54。然后，由电子装置将光点影像减去背景影像，而获得如图5(c)所示的差值影像56。最后，电子装置即可使用此差值影像来决定二值化影像的阀值。其中，电子装置例如会找出差值影像中低于亮部群落的平均亮度值且可与其他群落明显区隔的亮度值来做为二值化阀值，以区隔光源及背景影像。

在二值化阀值决定之后，即可用以对影像感测器撷取的影像进行二值化处理，并进行红外光源侦测。举例来说，图6是本发明一实施例所绘示的双模式遥控方法的范例。请参照图6，电子装置例如会针对其影像感测器连续撷取的原始影像62，使用二值化阀值来将其中像素的像素值区分为0或255两种像素值。其中，电子装置例如会将原始影像62中像素值高于二值化阀值的像素归为亮部群落（即像素值为255的群落），而将像素值小于等于二值化阀值的像素归为暗部群落（即像素值为0的群落），从而得到二值化后影像64。由影像64的像素值直方图可知，影像64的像素值分布只包括像素值为0及255的两个群落。而由于影像64只分为亮度及暗部群落，电子装置可轻易地对亮度群落的特征进行移动侦测，从而辨识出使用者在影像64中对红外光源实施的动作。

最后，电子装置会结合其进行红外光源侦测所获得的红外光源的动作以及进行手势侦测所获得的手势，判断使用者的操作动作，从而执行此操作动作对应的控制指令（步骤S410）。

通过上述二值化处理，可清楚区隔出影像中的红外光源，此时再对红外光源进行移动侦测，即可获得更正确的红外光源动作，从而增加电子装置判断使用者遥控操作的正确性。

双模式切换

图7是依照本发明一实施例所绘示的双模式遥控方法的流程图。请参照图7，本实施例的方式适用于具有影像感测器的电子装置，其步骤如下：

首先，电子装置例如会先进入手势侦测模式，而对影像感测器连续撷取的多张影像进行手势侦测，以获得这些影像中的手势（步骤S702）。在进行手势侦测的过程中，电子装置会判断这些影像中是否存在亮度值高于第一阀值的特征（步骤S704），以判断影像中是否出现红外光源。其中，上述的第一阀值例如是前述实施例中用以对影像进行二值化处理的阀值，其取得方式已于前述实施例中说明，在此不再赘述。

若电子装置判断这些影像中没有存在亮度值高于第一阀值的特征，则可推测影像中没有出现红外光源，因此仍维持在手势侦测模式，而对影像进行手势侦测，以获得这些影像中的手势。反之，若电子装置判断这些影像中存在亮度值高于第一阀值的特征，则可推测影像中出现红外光源。而为了区分此特征是由使用者操作的红外光源，还是被放置在影像感测器的感测范围内，没有被使用者操作的红外光源，本实施例还进一步判断此特征在所述影像中的移动量是否高于第二阀值（步骤S706）。其中，上述的移动量例如是电子装置所侦测到的同一特征在前一张影像中的位置以及在后一张影像中的位置之间的距离。

若电子装置判断上述特征在影像中的移动量高于第二阀值，则可确认使用者正在使用红外光源进行遥控操作，从而进入红外光源侦测模式，而对所述影像进行红外光源侦测，以获得这些影像中红外光源的动作（步骤S708）。反之，若电子装置判断上述特征在影像中的移动量未高于第二阀值，则可确认此特征只是放置在于影像感测器的感测范围内的固定光源，从而仍维持在手势侦测模式，对所述影像进行手势侦测，以获得这些影像中的手势。

需说明的是，在进入红外光源侦测模式之后，电子装置仍会持续判断这些影像中是否存在亮度值高于第三阀值的特征（步骤S710），以判断影像中的红外光源是否被移出影像感测器的感测范围。其中，若电子装置判断这些影像中已不存在亮度值高于第三阀值的特征，则会回到手势侦测模式，而对影像进行手势侦测，以获得这些影像中的手势。上述的第三阀值例如小于或等于上述的第一阀值，在此不设限。

此外，电子装置也会持续判断上述侦测到的特征在影像中的移动量是否高于第四阀值（步骤S712），以判断影像中的红外光源是否已停止操作。其中，若电子装置判断上述特征在影像中的移动量未高于第四阀值，则会回到手势侦测模式，而对影像进行手势侦测，以获得这些影像中的手势。上述的第四阀值例如小于或等于上述的第二阀值，在此不设限。

此外，上述的步骤S710及步骤S712也可以独立做为判断是否切换回手势侦测模式的依据。意即，当电子装置判断这些影像中没有存在亮度值高于第三阀值的特征，即判断红外线光源已移出影像感测器的感测范围，从而直接切换回手势侦测模式；当电子装置判断所侦测到的特征在影像中的移动量没有高于第四阀值，即判断使用者已放下或搁置红外线光源，从而直接切换回手势侦测模式。

综上所述，本发明的双模式遥控方法系针对影像感测器连续所撷取的多张影像的特性，选择以红外线侦测及/或手势侦测的方式侦测影像中目标物的动作，从而增加电子装置判断使用者遥控操作的正确性。此外，通过使用硬件交错式、软件同步式、双模式切换等方式实施红外线侦测及/或手势侦测，则可针对不同规格的电子装置，提供较为合适的方式来实现遥控操作。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视后附的申请专利范围所界定者为准。

Claims (12)

1.一种双模式遥控方法，适用于具有一影像感测器的一电子装置，该方法包括下列步骤：

使用该影像感测器连续撷取多张影像；

根据所述多个影像的至少一特性，决定对所述多个影像进行一红外光源侦测及/或一手势侦测，以获得所述多个影像中至少一目标物的一动作；以及

执行所述动作对应的一控制指令。

2.如权利要求1所述的双模式遥控方法，其中使用该影像感测器连续撷取多张影像的步骤包括：

在使用该影像感测器撷取所述多个影像时，交错使用一第一曝光值及一第二曝光值进行影像撷取，其中该第一曝光值小于该第二曝光值。

3.如权利要求2所述的双模式遥控方法，其中根据所述多个影像的所述特性，决定对所述多个影像进行该红外光源侦测及/或该手势侦测，以获得所述多个影像中所述目标物的该动作的步骤包括：

针对使用该第一曝光值撷取的影像进行该红外光源侦测，以获得一红外光源的动作；以及

针对使用该第二曝光值撷取的影像进行该手势侦测，以获得一手势。

4.如权利要求1所述的双模式遥控方法，其中根据所述多个影像的所述特性，决定对所述多个影像进行该红外光源侦测及/或该手势侦测，以获得所述多个影像中所述目标物的该动作的步骤包括：

同步对所述多个影像进行该红外光源侦测及该手势侦测，以获得所述多个影像中一红外光源的动作及一手势。

5.如权利要求4所述的双模式遥控方法，其中同步对所述多个影像进行该红外光源侦测及该手势侦测，以获得所述多个影像中该红外光源的动作及该手势的步骤包括：

二值化所述多个影像，并针对二值化后的所述多个影像进行该红外光源侦测，以获得所述多个影像中该红外光源的动作；以及

针对原始的所述多个影像进行该手势侦测，以获得所述多个影像中的该手势。

6.如权利要求5所述的双模式遥控方法，其中在二值化所述多个影像的步骤之前，还包括：

使该影像感测器曝光，以建立一背景影像；

置入一光源于该影像感测器的一感测范围内，并使该影像感测器曝光，以建立一光点影像；

将该光点影像减去该背景影像，以获得一差值影像；以及

使用该差值影像，决定二值化所述多个影像的一第一阀值。

7.如权利要求1所述的双模式遥控方法，其中根据所述多个影像的所述特性，决定对所述多个影像进行该红外光源侦测及/或该手势侦测，以获得所述多个影像中所述目标物的该动作的步骤包括：

找出所述多个影像中一亮度值高于一第二阀值的一特征，并辨识该特征在所述多个影像中的一移动轨迹为一红外光源的动作。

8.如权利要求1所述的双模式遥控方法，其中根据所述多个影像的所述特性，决定对所述多个影像进行该红外光源侦测及/或该手势侦测，以获得所述多个影像中所述目标物的该动作的步骤包括：

找出所述多个影像中一手部的一特征，并辨识该特征的一移动轨迹为该手势。

9.如权利要求1所述的双模式遥控方法，其中根据所述多个影像的所述特性，决定对所述多个影像进行该红外光源侦测及/或该手势侦测，以获得所述多个影像中所述目标物的该动作的步骤包括：

判断所述多个影像中是否存在一亮度值高于一第三阀值的一特征；

若存在该特征，判断该特征的一移动量是否高于一第四阀值；以及

若高于该第四阀值，进入一红外光源侦测模式，而对所述多个影像进行该红外光源侦测，以获得所述多个影像中一红外光源的动作。

10.如权利要求9所述的双模式遥控方法，其中在判断所述多个影像中是否存在该亮度值高于该第一阀值的该特征的步骤之后，还包括：

若不存在该特征，进入一手势侦测模式，而对所述多个影像进行该手势侦测，以获得所述多个影像中的一手势。

11.如权利要求9所述的双模式遥控方法，其中在判断该特征的该移动量是否高于该第四阀值的步骤之后，还包括：

若未高于该第四阀值，进入一手势侦测模式，而对所述多个影像进行该手势侦测，以获得所述多个影像中的一手势。

12.如权利要求9所述的双模式遥控方法，其中在进入该红外光源侦测模式，而对所述多个影像进行该红外光源侦测，以获得所述多个影像中所述目标物的该动作的步骤之后，还包括：

判断该特征的该亮度值是否低于一第五阀值；以及

若低于该第五阀值，进入一手势侦测模式，而对所述多个影像进行该手势侦测，以获得所述多个影像中的一手势。

Images