CN102870122A

CN102870122A - 用于3d系统中推&拉动作识别的方法和装置

Info

Publication number: CN102870122A
Application number: CN201080066519XA
Authority: CN
Inventors: 秦鹏; 杜琳; 上官思楠
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2010-04-30
Filing date: 2010-04-30
Publication date: 2013-01-09
Also published as: EP2564350A4; JP2013525909A; JP5485470B2; EP2564350A1; KR20130067261A; US20130044916A1; WO2011134112A1; KR101711925B1; BR112012027659A2

Abstract

本发明提出了一种通过两个摄像机进行动作识别的方法和装置。所述方法包括根据进行所述动作的物体与摄像机之间的距离和所述物体在两个摄像机的成像面中的移动轨迹的特征确定所述动作是“推”或者“拉”。

Description

用于3D系统中推拉动作识别的方法和装置

技术领域

本发明总体上涉及三维（3D）技术，具体而言，本发明涉及用于3D系统中“推（PUSH）”&“拉（PULL）”动作识别的方法和装置。

背景技术

随着越来越多的3D电影的出现，由家庭用户进行3D绘制的装置变得越来越普遍。在3D用户界面（UI）出现后，很明显利用动作识别进行3D UI控制是一种最直接的方式。“推”和“拉”是需要识别的动作中两个常见动作。“拉”动作可以理解为用户向着靠近自己的方向拿物体，而“推”动作可以理解为用户将物体推开。

传统的“拉”和“推”动作判断基于用户手与摄像机之间的距离变化。具体而言，如果摄像机探测到上述距离减小，则将动作判断为“推”；如果所述距离增加，则将动作判断为“拉”。

图1是现有技术中双摄像机动作识别系统的示意图。

如图1所示，采用两个摄像机进行动作识别。所述摄像机可以是摄像头、WiiMote红外（IR）摄像机或者能够探测用户手指轨迹的任何类型的摄像机。例如，IR摄像机可以用于跟踪用户手中的IR发射器。请注意，虽然手指轨迹探测也是动作识别中的一项重要技术，但其不是本发明所谈论的主题。因此，在本说明书中将假设用户的手指轨迹可以很容易由每个摄像机探测到。另外，在整个说明书中，假设摄像机采用左上坐标系统。

图2是通过图1所示双摄像机动作识别系统进行深度信息探测的几何原理的示意图。请注意，术语深度在此处是指发出需要识别的动作的物体与摄像机的成像面之间的距离。

具有相同光学参数的左摄像机L和右摄像机R分别位于Ol和Or，两个摄像机的透镜轴垂直于Ol和Or之间的连接线。点P是将要识别的物体，在本例中为用户的手指。点P需要位于两个摄像机的透镜范围内以能够进行识别。

图2中的参数f是两个摄像机的焦距。图2中的pl和pr分别表示左、右摄像机的垂直虚拟投影面。T是两个摄像机之间的距离。Z是点P与两个摄像机的连接线之间的垂直距离。在系统操作期间，点P将在两个摄像机的虚拟投影面上分别成像。由于两个摄像机正平（frontal parallel）设置（图像行对齐并且一个摄像机的每个像素行与另一个摄像机的对应行精确对齐），xr和xl是点P在左、右摄像机中的x轴坐标。根据三角原理，图2中的参数的关系可以由下述等式描述：

\frac{T}{Z} = \frac{T - (x_{l} - x_{r})}{Z - f};

Z = \frac{T \cdot f}{x_{l} - x_{r}} = \frac{T \cdot f}{d}

在上述等式中，d称为视差，可以简单定义为d＝xl－xr。

但是，在3D用户界面中，有许多动作需要识别，例如“向右（RIGHT）”、“向左（LEFT）”、“向上（UP）”、“向下（DOWN）”“胜利（VICTORY）”、“画圈（CIRCLE）”、“推”、“拉”和“按压（PRESS）”，这些动作有可能导致摄像机中的深度变化。因此，仅基于深度信息确定“拉”和“推”动作的传统技术很可能产生错误识别。

发明内容

根据本发明的一个方面，提出了一种通过两个摄像机进行动作识别的方法，包括根据进行所述动作的物体与摄像机之间的距离和所述物体在两个摄像机的成像面中的移动轨迹的特征确定所述动作是“推”或者“拉”。

根据本发明的另一个方面，提出了一种通过两个摄像机进行动作识别的装置，包括根据进行所述动作的物体与摄像机之间的距离和所述物体在两个摄像机的成像面中的移动轨迹的特征确定所述动作是“推”或者“拉”的装置。

附图说明

通过下面结合附图的详细说明，本发明的上述及其他方面、特征和优点讲更为明显，其中：

图1是现有技术中双摄像机动作识别系统的示意图；

图2是通过图1所示双摄像机动作识别系统进行深度信息探测的几何原理的示意图；

图3是“推”动作在左、右摄像机中的手指轨迹的示意图；

图4是“拉”动作在左、右摄像机中的手指轨迹的示意图；

图5－8是“向左”、“向右”、“向上”和“向下”动作分别在左、右摄像机中的手指轨迹的示意图；

图9是根据本发明实施方式的动作识别方法的流程图；

图10是在不同设置的立体摄像机中的立体视野范围的示意图；

图11是以α角度放置的立体摄像机的临界线估计法的示意图；和

图12是用于判断逻辑左、右摄像机的方法的流程图。

具体实施方式

下面将对本发明的多个实施方式进行详细说明。出于解释的目的，下面将对具体结构进行详细说明以使本发明得到更好的理解。但是，本领域普通技术人员可以理解，也可以不采用所述具体细节来实施本发明。

考虑到上述现有技术的缺点，本发明的实施方式提供了一种用于3D系统中“推（PUSH）”&“拉（PULL）”动作识别的方法和装置，其根据深度变化和在垂直于两个摄像机的深度方向的平面中成像的移动轨迹识别“推”和&“拉”动作。

首先，将结合附图3－8描述发明人关于多个动作在左、右摄像机中的手指轨迹的研究。

在图3－8中，水平和垂直线是作为一个动作的中点的基础的坐标轴，箭头线表示该动作在对应的摄像机中的运动方向。在图3－8中，坐标原点位于左上角。X轴坐标在向右的方向上增加，Y轴左边在向下的方向上增加。在图3－8中未示出Z坐标轴，其垂直于由X轴和Y轴确定的平面。

图3是“推”动作在左、右摄像机中的手指轨迹的示意图。如图3所示，对于“推”动作，除了深度变化（减小）之外，手指轨迹在左、右摄像机中是彼此相向运动的。

图4是“拉”动作在左、右摄像机中的手指轨迹的示意图。如图4所示，对于“拉”动作，除了深度变化（增加）之外，手指轨迹在左、右摄像机中是彼此背向运动的。

图5-8是“向左”、“向右”、“向上”和“向下”动作分别在左、右摄像机中的手指轨迹的示意图。如图所示，对于“向左”、“向右”、“向上”和“向下”动作，手指轨迹在左、右摄像机中是朝着相同方向运动的，虽然这些动作也能引起深度变化。

因此可以看出，除了深度变化之外，“推”和“拉”动作在左、右摄像机的X轴上的手指轨迹的运动方向与“向左”、“向右”、“向上”和“向下”动作存在很大不同。

另外，手指轨迹在左、右摄像机的X轴和Y轴上的运动比率在“推”和“拉”动作与其他上述动作之间也存在不同。

由于“向左”、“向右”、“向上”和“向下”动作也可能引起在Z轴上的变化，在这种情况下如果只基于深度变化（即△Z（终点的z减去起点的z））对“推”和“拉”动作进行判断，则“向左”、“向右”、“向上”和“向下”动作也可能被判断为“推”或“拉”动作。

考虑到上述因素，本发明的实施方式提出基于△Z和手指轨迹在左、右摄像机的X轴上的运动方向来识别“推”或“拉”动作。

另外，X轴和Y轴上的比例也可以用于动作识别。

下面的表格示出了基于上述参数的动作识别标准。

在上面的表格中，

TH_Z是△Z的阈值集。

在上面的表格中，箭头线表示每个动作在X轴上的运动方向。可以看出，该X轴上的运动方向和比例（x/y）可以用于将推/拉动作与向左/向右动作区分开来，这是因为向左/向右动作在两个摄像机的X轴上具有相同运动方向并且比例（x/y）对于向左/向右动作将非常大。比例（x/y）还可以用于将推/拉动作与向上/向下动作区分开来，这是因为比例（x/y）对于向上/向下动作将非常小。

图9是根据本发明实施方式的动作识别方法的流程图。

如图9所示，从动作开始时间至动作结束时间，由左、右摄像机获取的数据将分别存储在ArrayL和ArrayR中。

需要指出，左、右摄像机的概念是从逻辑意义角度进行定义。即，两个摄像机都是逻辑摄像机。例如，左摄像机并非指位于屏幕左侧位置的摄像机。因此，在下面的步骤中，如果识别系统探测到摄像机交换，则ArrayL和ArrayR也将交换。

在下面的步骤中，将如上面的表格所示，根据深度变化、手指轨迹在左、右摄像机的X轴上的运动方向和比例（x/y）来进行动作识别。

如图9所示，推和拉动作具有最高优先级。“向左”、“向右”、“向上”和“向下”动作具有第二优先级。“画圈”和“胜利”动作具有第三优先级。“按压”和不动具有最低优先级。这种优先级分级的好处是能够提高推和拉动作的识别率并且能够过滤某些用户的误用。

如果将立体摄像机正平设置，则在某些应用场景下深度的视野范围将非常小。因此，在某些情况下可以将立体摄像机以某个角度设置。

图10是在不同设置的立体摄像机中的立体视野范围的示意图。图10（a）显示立体摄像机正平设置，图10（b）显示立体摄像机具有角度α。

实际的成像面是透镜会聚面，因此实际成像表面将位于透镜之后。在保证正确性的前提下，为了易于理解，图中将成像表面绘制在摄像机前面并且使透镜成为一个点。

如果立体摄像机如图10（b）所示以角度α设置，则将具有一条穿过两个摄像机的光轴交点（点C）并与水平线平行的临界线。事实上，用户可以粗略估计点C的位置：两个摄像机的主光轴的交点，并且此时两个主光轴之间的角度为2α。如果光点位于此临界线之上（例如点A），则左摄像机中X轴数值大于右摄像机中的数值。如果光点位于此临界线之下（例如点B），则左摄像机中X轴数值小于右摄像机中的数值。即，如果一个光点远离立体摄像机，则差异值（左摄像机的X轴坐标减去右摄像机的X轴坐标数值）将具有从正减少到零、继而减少至负值的趋势。

图11是以α角度放置的立体摄像机的临界线估计法的示意图。

如果成像表面（或摄像机）相对于水平的偏转角为α，根据图中的三角形原理，临界线与摄像机之间的距离Z可以由公式z-tan(α)·算出。

在估计出以α角度放置的立体摄像机的临界线之后，可以检测到逻辑左或右摄像机。图12是用于判断逻辑左、右摄像机的方法的流程图。

如图12所示，当识别系统启动时，将根据两个立体摄像机的角度以用户前的两个点（右上和左下）绘制出校准平面。

接着，系统将确定该平面是否在临界线之前。

如果该平面在临界线之前，在用户点击上述两点之后基于两个摄像机中的X轴坐标的数值探测逻辑摄像机。具体而言，如果Lx>Rx，则不需要交换两个逻辑摄像机。否则，交换两个逻辑摄像机。

如果该平面未处在临界线之前，在用户点击上述两点之后基于两个摄像机中的X轴坐标的数值探测逻辑摄像机。具体而言，如果Lx>Rx，则需要交换两个逻辑摄像机。否则，不交换两个逻辑摄像机。

本领域普通技术人员可以理解，如果立体摄像机正平设置，则校准平面设置在无穷远位置。因此，仅需要比较Lx和Rx就可以判断是否需要交换逻辑摄像机。这是因为，在正平设置中，对于逻辑左、右摄像机的Lx和Rx将具有固定关系，例如Lx>Rx。如果检测到Lx>Rx，则不需要交换摄像机。如果检测到Lx<Rx，则需要交换摄像机，因为此时逻辑左摄像机位于右侧位置而逻辑右摄像机位于左侧位置。

可以理解，在不背离本发明的主旨和权利要求限定的范围的情况下，可以对所述实施方式进行各种修改。

Claims

1.一种通过两个摄像机进行动作识别的方法，包括：

根据进行所述动作的物体与摄像机之间的距离和所述物体在两个摄像机的成像面中的移动轨迹的特征确定所述动作是“推”或者“拉”。

2.根据权利要求1所述方法，其中所述物体在摄像机的成像面中的移动轨迹的特征包括其在成像面的移动方向。

3.根据权利要求2所述方法，其中当所述距离的减小大于预定阈值并且所述物体在一个摄像机中沿X轴移动方向与另外一个摄像机中的该方向不同时判断为“推”动作。

4.根据权利要求3所述的方法，其中两个摄像机中的移动轨迹沿着X轴相向运动。

5.根据权利要求1所述的方法，其中当所述距离的增加大于预定阈值并且所述物体在一个摄像机中沿X轴移动方向与另外一个摄像机中的该方向不同时判断为“拉”动作。

6.根据权利要求5所述的方法，其中两个摄像机中的移动轨迹沿着X轴背向运动。

7.根据权利要求1所述的方法，其中所述物体在摄像机的成像面中的移动轨迹的特征包括移动轨迹的X轴与Y轴坐标的比率。

8.一种通过两个摄像机进行动作识别的装置，包括：

根据进行所述动作的物体与摄像机之间的距离和所述物体在两个摄像机的成像面中的移动轨迹的特征确定所述动作是“推”或者“拉”的装置。