CN103472907B - 操作区的决定方法与系统 - Google Patents

Abstract

一种操作区的决定方法与系统。在此方法中，在多个时间点建立目标场景的多张深度图。比较上述深度图的至少其中两张特定深度图之间的差异，以识别目标场景中的移动物体，并将移动物体在目标场景中的位置定义为参考点。根据参考点与参考点所对应的特定深度来取得目标场景中的基准点，以及利用参考点与基准点决定目标场景中能对电子装置进行控制的有效操作区。

Description

操作区的决定方法与系统

技术领域

本发明涉及一种识别操作者的方法与系统，特别是涉及一种识别目标场景中的操作者并决定有效操作区的方法与系统。

背景技术

随着显示技术的进步，显示器不再局限于只能呈现二维（2-dimensional，2D）影像画面，市面上已有越来越多能支持立体（3-dimensional，3D）影像画面的显示器产品可提供使用者更多元化的影音感受。此外，遥控器也不再是唯一用来对显示器产品进行操控的装置，只要在显示器产品中搭配使用动作感测系统，便可藉由检测使用者的手势或体感来控制显示器产品做出回应。在支持上述技术的产品中，又以智能型电视（SmartTV）最受到消费者的青睐，而在市场上逐渐崭露头角。

以配置有动作感测系统的智能型电视为例，动作感测系统在运作时必须先根据数据库中的脸部特征信息，在整个背景中搜寻出人物来做为操作者，尔后再检测操作者的动作以对智能型电视进行控制。但当背景同时存在二个以上的人物时，一般的动作感测系统则无法有效判断何者才是操作者。

为了解决上述问题，市面上许多智能型电视产品会根据人物的距离来选择操作者，例如将距离智能型电视较近的人物定义为操作者。或者，将所有检测到的人物皆定义为操作者。然而，以距离定义操作者的方法相当容易产生不精确的结果，好比当路人从实际操作者的前方经过时，由于其比操作者更接近智能型电视，因此会干扰系统运作而导致非预期的操作结果。至于将所有人物皆定义为操作者的方法，则由于后续追踪使用者动作的运作复杂度庞大，会造成系统需求过高。据此，如何有效地确定操作者便是所有相关业者所致力研发的技术。

发明内容

本发明提供一种操作区的决定方法与系统，可准确地识别出目标场景中的主要操作者。

本发明提出一种操作区的决定方法，此方法包括以下步骤。在多个时间点建立目标场景的多张深度图。比较深度图的至少其中两张特定深度图之间的差异，以识别目标场景中的移动物体，并将移动物体在目标场景中的位置定义为参考点。根据参考点与参考点所对应的特定深度取得目标场景中的基准点。利用参考点与基准点决定目标场景中能对电子装置进行控制的有效操作区。

在本发明的一实施例中，上述在时间点建立目标场景的深度图的步骤包括针对各时间点，通过至少一影像撷取装置撷取目标场景的至少一影像。分析至少一影像中的至少一物体分别与观察位置之间的距离，以建立在时间点下目标场景的深度图。

在本发明的一实施例中，其中在比较深度图的至少其中两张特定深度图之间的差异，以识别目标场景中的移动物体的步骤中，包括由特定深度图中根据一动作特征找出有移动且符合预设的操作物体种类的移动物体。

在本发明的一实施例中，上述的操作物体种类包括使用者的手部、遥控器、指挥棒。

在本发明的一实施例中，上述在根据参考点与参考点所对应的特定深度取得基准点的步骤包括取得特定深度图其中之一。在所取得的特定深度图中，以参考点为中心向外搜寻基准物体，其中基准物体对应的深度与特定深度之间的差距不超过预设值。将基准物体在目标场景中的位置定义为基准点。

在本发明的一实施例中，上述在所取得的特定深度图中以参考点为中心向外搜寻基准物体的步骤包括以参考点为中心向一特定方向搜寻基准物体。

在本发明的一实施例中，上述的基准物体为使用者的脸部。

在本发明的一实施例中，上述在利用参考点与基准点决定有效操作区的步骤的后，还可令有效操作区与电子装置的显示画面相互对应。

本发明提出一种操作区的决定系统，其包括至少一影像撷取装置、深度单元以及处理单元。深度单元耦接至少一影像撷取装置，深度单元根据至少一影像撷取装置提供的拍摄结果建立目标场景的多张深度图，其中各深度图分别对应一时间点。处理单元耦接深度单元，处理单元比较些深度图的至少其中两张特定深度图之间的差异，以识别目标场景中的移动物体，将移动物体在目标场景中的位置定义为参考点，根据参考点与参考点所对应的特定深度取得目标场景中的基准点，以及利用参考点与基准点决定目标场景中能对电子装置进行控制的有效操作区。

在本发明的一实施例中，上述的深度单元在各时间点取得上述影像撷取装置对目标场景进行撷取的至少一影像，并分析上述影像中的上述物体分别与观察位置之间的距离，以建立在时间点下目标场景的深度图。

在本发明的一实施例中，上述的处理单元由特定深度图中根据一动作特征找出有移动且符合预设的操作物体种类的移动物体。

在本发明的一实施例中，上述的操作物体种类包括使用者的手部、遥控器、指挥棒。

在本发明的一实施例中，上述的处理单元取得特定深度图其中之一，在所取得的特定深度图中，以参考点为中心向外搜寻基准物体，其中基准物体对应的深度与特定深度之间的差距不超过预设值，且将基准物体在目标场景中的位置定义为基准点。

在本发明的一实施例中，上述的处理单元以参考点为中心向一特定方向搜寻基准物体。

在本发明的一实施例中，上述的基准物体为使用者的脸部。

在本发明的一实施例中，上述的处理单元令有效操作区与电子装置的显示画面相互对应。

基于上述，藉由建立目标场景在不同时间下的多张深度图，可从至少其中两张特定深度图识别出目标场景中的特定移动物体来做为参考点，并依据参考点来取得基准点，进而利用参考点与基准点定义出目标场景中的有效操作区。如此一来，即便在目标场景中存在多个使用者，此操作区的决定方法与系统亦能有效地识别出哪个使用者在进行控制，并据以决定出有效操作区。后续亦只需要针对有效操作区来识别及追踪使用者的操作动作，据此可大幅增加操作效率。

为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并结合附图详细说明如下。

附图说明

图1是依照本发明的一实施例所绘示的操作区的决定系统方块图。

图2是依照本发明一实施例所绘示的操作区的决定方法流程图。

图3A是依照本发明一实施例所绘示的目标场景的示意图。

图3B是依照本发明一实施例所绘示的特定深度图的示意图。

图4是依照本发明一实施例所绘示的有效操作区与电子装置的显示画面相互对应的示意图。

附图符号说明

100：操作区决定系统

110_1、110_n：影像撷取装置

110：影像撷取设备

120：深度单元

130：处理单元

300：目标场景

302、410：深度图

310、320：使用者

32：右手

34：脸部

350：有效操作区

420：显示画面

430：指标

R：参考点

S：基准点

S201~S207：本发明的一实施例所述的操作区的决定方法的各步骤

具体实施方式

随着电子装置所支持的功能种类日益繁多，若能识别目标场景中主要进行控制的使用者，并根据此使用者来定义出操作区，使操作区与电子装置的显示画面呼应，势必能提升正确识别使用者的操控行为的效率。本发明便是基于上述观点而提出的操作区的决定方法与系统。为了使本发明的内容更为明了，以下特举实施例做为本发明确实能够据以实施的范例。

图1是依照本发明的一实施例所绘示的操作区的决定系统方块图。请参照图1，操作区决定系统100包括n个影像撷取装置（即，影像撷取装置110_1至110_n，n为正整数）、深度单元120以及处理单元130。其中深度单元120分别耦接于影像撷取装置110_1至110_n与处理单元130。以下将分别针对操作区决定系统100中各元件的功能进行说明。

影像撷取装置110_1至110_n用以对一目标场景进行拍摄而取得目标场景的影像。拍摄动作例如会定期不断进行，或因应操作区决定系统100的控制而进行。各影像撷取装置可以是采用电荷耦合元件（Chargecoupleddevice，CCD）镜头、互补式金属氧化物半导体晶体管（Complementarymetaloxidesemiconductortransistors，CMOS）镜头，或红外线镜头的摄影机、照相机，但本发明并不以此为限。必须说明的是，本发明并不对n的大小加以限制。当n大于1（例如n为2）时，影像撷取装置110_1至110_n可组成阵列式摄影机，亦即影像撷取装置110_1至110_n平行摆设而没有垂直位移，且装置间的距离会符合人类的双眼距离。而当n等于1时，影像撷取装置110_1例如是深度摄影机。影像撷取装置110_1至110_n可通过有线或无线的方式，将所撷取的影像传送至深度单元120以进行后续处理。为了方便说明，以下将影像撷取装置110_1至110_n统称为影像撷取设备110。

深度单元120用以根据影像撷取设备110提供的拍摄结果建立目标场景的多张深度图，其中各深度图分别对应一时间点。详言之，深度图是以不同的灰阶值表示不同深度，举例来说，对于距离影像撷取设备110较近的第一物体而言，深度单元120判定第一物体具有较低的深度值，而对于距离影像撷取设备110较远第二物体而言，深度单元120判定第二物体具有较高的深度值。在本实施例中，具有较低深度值的物体在深度图中会以较高的灰阶值来表示，具有较高深度值的物体在深度图中则会以较低的灰阶值来表示。亦即，距离影像撷取设备110越远的物体在深度图中越接近黑色，而越接近影像撷取设备110的物体在深度图中则越接近白色。但本发明并不对深度值与灰阶值的对应关系加以限制，于其他实施例中，亦可在深度图中以较高的灰阶值来表示具有较高深度值的物体，并以较低的灰阶值来表示具有较低深度值的物体，或者根据深度值的渐层而以不同的颜色来表示。

处理单元130可以是具备处理能力的硬件（例如芯片组、处理器等）、软件元件（例如操作系统、应用程序等），或硬件及软件元件的组合。处理单元130用以根据深度单元120所建立的深度图来决定目标场景中的有效作用区。进一步来说，本实施例的操作区决定系统100可与一电子装置（例如智能型电视，但本发明并不以此为限）搭配使用，例如整合至电子装置中、通过特殊接口及传输线外接于电子装置，或经由无线传输的方式与电子装置沟通。在目标场景包括多个使用者的情况下，只有位于有效作用区内的使用者所做出的动作才会被视为是对电子装置进行操作的指令。

下面讲话上述操作区决定系统100来说明本实施例的操作区决定方法的各步骤。图2是依照本发明一实施例所绘示的操作区的决定方法流程图。图3A是依照本发明一实施例所绘示的目标场景的示意图，须说明的是，虽然在本实施例中目标场景300仅包括两使用者310及320，但本发明并不对目标场景300中的物体数量与种类加以限制。且在本实施例中，假设使用者320在目标场景300中左右来回地挥动其右手32。

请同时参照图1、图2及图3A，首先如步骤S201所示，深度单元120在多个时间点建立目标场景300的多张深度图。具体而言，欲建立目标场景300在时间点T的深度图时，深度单元120首先取得影像撷取设备110在时间点T对目标场景300进行撷取的一张或多张影像，并分析上述影像中各物体与影像撷取设备110之间的距离，以建立出深度图。

举例来说，在影像撷取设备110仅包括一台影像撷取装置110_1（例如为深度摄影机）的情况下，影像撷取装置110_1在时间点T对目标场景300进行拍摄时可利用如红外线反射原理来获得其中使用者310及320的深度信息（即，使用者310、320个别与影像撷取装置110_1之间的距离），而深度单元120能进一步根据上述深度信息来建立出目标场景300在时间点T的深度图。此外，在影像撷取设备110包括多台影像撷取装置（例如，影像撷取装置110_1与110_2）的情况下，深度单元120取得影像撷取装置110_1与110_2同样在时间点T分别对目标场景300进行拍摄的影像I_1及I_2，并根据影像I_1及I_2分析使用者310及320个别与一观察位置（例如，影像撷取装置110_1、110_2）之间的距离，并据此建立目标场景300在时间点T的深度图。

图3B是依照本发明一实施例所绘示的特定深度图的示意图。请参照图3B，在深度图302中，由于用来标示使用者310的灰阶值较高（较接近白色），而用来标示使用者320的灰阶值较低（较接近黑色），因此可根据深度图302判断使用者310较接近影像撷取设备110。

接着如步骤S203所示，处理单元130从深度单元120所建立的数张深度图中取得至少两张特定深度图，并比较所取得的特定深度图之间的差异来识别出目标场景300中的移动物体，并将移动物体在目标场景300中的位置定义为参考点。上述各特定深度图所对应的时间点可以彼此相邻或相距一段预设时间。且在本实施例中，处理单元130所识别出的移动物体必须符合预设的操作物体种类，例如为使用者的手部、遥控器，或指挥棒等。

具体来说，假设特定深度图的数量为2，处理单元130是在两张特定深度图中根据动作特征找出有移动且符合操作物体种类的移动物体。其中，动作特征会与操作物体种类有关，假设操作物体种类为使用者的手部，动作特征可以是手势的晃动程度或形状变化等。举例而言，处理单元130可在两张特定深度图中比较具有相同或相似灰阶值且形状类似的区域的位置，若此区域在两张特定深度图之间的移动变化大于一阈值，表示此区域包括正在移动的物体。处理单元130可以藉由检测建构出特定深度图的原始二维影像来判断此物体的种类是否符合预设的操作物体种类。例如，假设在使用者320左右挥动其右手32的同时，使用者310亦在左右摇晃其头部，因此处理单元130会找到两个正在移动的物体，基此，只要再取得原始二维影像并对其进行例如人脸特征或手部特征等识别程序，便可正确找出符合操作物体种类的移动物体。在另一实施例中，深度单元120在建立深度图时亦可先确定出各区域的物体种类，而处理单元130在找移动物体时则可直接排除不符合预设操作物体种类的区域。

值得一提的是，倘若处理单元130识别出两个以上符合预设操作物体种类的移动物体，处理单元130例如会选择较靠近影像撷取设备110的移动物体来定义参考点并进行后续步骤。

接着，如步骤S205所示，处理单元130根据参考点与参考点所对应的特定深度，取得目标场景300中的基准点。举例来说，处理单元130会利用在步骤S203所取得的其中一张特定深度图（例如最新的特定深度图）来取得基准点的位置。假设图3B所示的深度图302为处理单元130所取得的最新的特定深度图，且处理单元130已通过检测动作特征等方式识别出目标场景300中的移动物体为使用者320的右手32，并且以右手32的中心点做为参考点R。接着，处理单元130会以参考点R为中心向外搜寻基准物体，在本实施例中假设基准物体为使用者的脸部34，但本发明并不以此为限。然而必须特别说明的是，基准物体所对应的深度与右手32所对应的特定深度之间的差距不超过一预设值。举例来说，假设预设值为3（本发明并不以此为限），若以灰阶值30表示右手32对应的特定深度，则基准物体所对应的深度必须介于灰阶值27至33之间。处理单元130在以参考点R为中心并向外搜寻到深度符合上述范围的物体（即，使用者的脸部34）时，便以该物体作为基准物体，并且将基准物体在目标场景中的位置定义为基准点。举例来说，处理单元130例如是以脸部34的中心点作为基准点S。

由于大多数的使用者习惯以右手进行操作，因此为了提升找出基准物体的效率，处理单元130在特定深度图302中会以参考点R为中心向右来搜寻使用者320的脸部34。在其他实施例中，处理单元130也可根据基准物体与移动物体在真实环境下的位置对应关系，朝其他预设的特定方向来搜寻基准物体。

最后如步骤S207所示，处理单元130利用参考点R与基准点S决定目标场景300中能对电子装置进行控制的有效操作区350。在一实施例中，有效操作区350的长宽比会符合电子装置的屏幕的长宽比，且有效操作区350会涵盖移动物体与基准物体（即，使用者的右手32及脸部34）。

在决定有效操作区350后，处理单元130令有效操作区350与电子装置的显示画面相互对应。图4是依照本发明一实施例所绘示的有效操作区与电子装置的显示画面相互对应的示意图。请参照图4，在经过如图2所示的流程后，当深度单元120再根据影像撷取设备110提供的拍摄结果来建立目标场景300的深度图410时，处理单元130可跟据先前找寻有效操作区所得到的信息，直接在深度图410中决定有效操作区350，而仅有在有效操作区350内的动作才会被视为是对电子装置的操作。进一步来说，处理单元130将有效操作区350对应至电子装置的显示画面420，因此当使用者320将右手32移动到有效操作区350的左上角，显示画面420上的指标430也将对应地移动到显示画面420的左上角，使用者320便能据此对电子装置进行各种操控，例如选择选单中的选项等等。

综上所述，本发明所述的操作区的决定系统与方法是在建立目标场景的深度图后，根据动作特征找出参考点与基准点，再利用参考点与基准点决定有效的操作区域。如此一来，即便目标场景中出现多个使用者，本发明亦能有效地从所有使用者中识别出实际在进行操作的操作者，并将有效操作区锁定在操作者的所在位置。尔后便只需要针对有效操作区来分析与追踪操作者的动作，据此降低系统运算复杂度，并增加操作效率。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，本领域的技术人员，在不脱离本发明的精神和范围的前提下，可作若干的更动与润饰，故本发明的保护范围是以本发明的权利要求为准。

Claims (14)

1.一种操作区的决定方法，该方法包括：

在多个时间点建立一目标场景的多张深度图；

比较这些深度图的至少其中两张特定深度图之间的差异，以识别该目标场景中的一移动物体，并将该移动物体在该目标场景中的位置定义为一参考点；

根据该参考点与该参考点所对应的一特定深度取得该目标场景中的一基准点；以及

利用该参考点与该基准点决定该目标场景中能对一电子装置进行控制的一有效操作区，

其中根据该参考点与该参考点所对应的该特定深度取得该基准点的步骤包括：

取得这些特定深度图其中之一；

在所取得的特定深度图中，以该参考点为中心向外搜寻一基准物体，其中该基准物体对应的一深度与该特定深度之间的差距不超过一预设值；以及

将该基准物体在该目标场景中的位置定义为该基准点。

2.如权利要求1所述的操作区的决定方法，其中在这些时间点建立该目标场景的这些深度图的步骤包括：

针对各该时间点，通过至少一影像撷取装置撷取该目标场景的至少一影像；以及

分析该至少一影像中的至少一物体分别与一观察位置之间的一距离，以建立在该时间点下该目标场景的该深度图。

3.如权利要求1所述的操作区的决定方法，其中比较这些深度图的该至少其中两张特定深度图之间的差异，以识别该目标场景中的该移动物体的步骤包括：

由这些特定深度图中根据一动作特征找出有移动且符合预设的一操作物体种类的该移动物体。

4.如权利要求3所述的操作区的决定方法，其中该操作物体种类包括使用者的手部、遥控器、指挥棒。

5.如权利要求1所述的操作区的决定方法，其中在所取得的特定深度图中以该参考点为中心向外搜寻该基准物体的步骤包括：

以该参考点为中心向一特定方向搜寻该基准物体。

6.如权利要求1所述的操作区的决定方法，其中该基准物体为使用者的脸部。

7.如权利要求1所述的操作区的决定方法，其中在利用该参考点与该基准点决定该有效操作区的步骤之后，该方法还包括：

令该有效操作区与该电子装置的一显示画面相互对应。

8.一种操作区的决定系统，包括：

至少一影像撷取装置；

一深度单元，耦接该至少一影像撷取装置，该深度单元根据该至少一影像撷取装置提供的拍摄结果建立一目标场景的多张深度图，其中各深度图分别对应一时间点；以及

一处理单元，耦接该深度单元，该处理单元比较这些深度图的至少其中两张特定深度图之间的差异，以识别该目标场景中的一移动物体，将该移动物体在该目标场景中的位置定义为一参考点，根据该参考点与该参考点所对应的一特定深度取得该目标场景中的一基准点，以及利用该参考点与该基准点决定该目标场景中能对一电子装置进行控制的一有效操作区，

其中该处理单元取得这些特定深度图其中之一，在所取得的特定深度图中，以该参考点为中心向外搜寻一基准物体，其中该基准物体对应的一深度与该特定深度之间的差距不超过一预设值，且将该基准物体在该目标场景中的位置定义为该基准点。

9.如权利要求8所述的操作区的决定系统，其中该深度单元在各该时间点取得该至少一影像撷取装置对该目标场景进行撷取的至少一影像，并分析该至少一影像中的至少一物体分别与一观察位置之间的一距离，以建立在该时间点下该目标场景的该深度图。

10.如权利要求8所述的操作区的决定系统，其中该处理单元由这些特定深度图中根据一动作特征找出有移动且符合预设的一操作物体种类的该移动物体。

11.如权利要求10所述的操作区的决定系统，其中该操作物体种类包括使用者的手部、遥控器、指挥棒。

12.如权利要求8所述的操作区的决定系统，其中该处理单元以该参考点为中心向一特定方向搜寻该基准物体。

13.如权利要求8所述的操作区的决定系统，其中该基准物体为使用者的脸部。

14.如权利要求8所述的操作区的决定系统，其中该处理单元令该有效操作区与该电子装置的一显示画面相互对应。