CN103345301B

CN103345301B - 一种深度信息获取方法和装置

Info

Publication number: CN103345301B
Application number: CN201310242774.0A
Authority: CN
Inventors: 郑士胜
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2013-06-18
Filing date: 2013-06-18
Publication date: 2016-08-10
Anticipated expiration: 2033-06-18
Also published as: CN103345301A

Abstract

本发明实施例公开了一种深度信息获取方法和装置，以方法的实现为例，包括：从摄像头采集图像作为输入图像；通过图形检测确定输入图像中的目标物体以及目标物体的成像大小；通过目标物体的成像大小确定所述目标物体的深度。从摄像头采集图像作为输入图像，通过图形检测确定输入图像中的目标物体以及目标物体的成像大小，通过目标物体的成像大小来确定目标物体的深度。可以通过一个摄像头实现深度信息的获取，可以减少硬件使用并减少设备功耗，提高可操作性，另外，只用对一个摄像头捕捉的图像进行匹配，可以减少数据计算量并降低延时。

Description

一种深度信息获取方法和装置

技术领域

本发明涉及电子技术领域，特别涉及一种深度信息获取方法和装置。

背景技术

深度信息是指在三维空间中物体间垂直距离的相关信息，这一信息在电子设备中有重要用途，以智能手机中的手势的应用为例，具体介绍如下：

随着移动互联网的兴起和以配备前置摄像头智能手机为代表的移动终端的普及，除了简单的电话呼叫以外，智能手机上具备了越来越多的应用和功能。而与此同时，采用键盘、按钮、触摸屏等接触式设备的传统的人机交互方式会给使用场景、用户体验带来很大的局限性。手势作为人们在交流过程中最直接、最自然的方式之一，正在通过计算机视觉识别人的指示行为作为系统的非接触式输入，其带来了远比传统的接触式输入设备更为有效和自然的交互方式。

在日常手势操作使用中，用户单手或是双手的手指在手机前置摄像头前方一定距离和视角范围内运动，通过手指的绝对或是相对运动轨迹/运动模式表达用户的操作意图。手机的前置摄像头以一定的帧率实时捕获手指运动图像，并且将图像信号传输到控制器/处理器。控制器/处理器检测得到图像中的手指指尖对象，并且定位其空间位置；综合一段操作时间间隔内的指尖空间位置轨迹，识别用户的操作手势，并执行预定义应用。

在手势控制过程中，手指的空间位置检测是极为关键的，它直接影响到手指行为识别的准确度和精度。而且，手指在三维空间中运动，普通摄像头采集图像是二维平面的，因此手指空间位置在摄像头采集过程中会存在信息丢失情况，尤其是手指距离摄像头的垂直距离—深度信息很难保留。为了获得手指的深度信息，目前采用双摄像头系统来获得深度信息，具体如下：

双摄像头系统使用两个知道其投影中心连线的距离—基线距、固定于不同位置具有相同焦距的摄像头，获得左右两个影像，该两个影像有些轻微偏移。控制器/处理器通过比较这两个影像，就可获得对应物体同一特征点位在两个摄像头像平面上的坐标,根据视差和摄像头参数，用几何的方法得到该特征点距离摄像头中轴线的距离。具体地：如图1所示，其中B为基线距，坐标原点O1、O2到各自成像平面的距离为摄像头焦距f。

两摄像头在同一时刻观看手指指尖的同一特征点P(x₁,y₁,z₁)，其在C1坐标系中坐标为P(x_c,y_c,z_c)，分别在左摄像头和右摄像头上获取了点P的图像，它们的图像坐标分别为：

p_left=(X_left,Y_left)；

p_right=(X_right,Y_right)。

两个摄像头的图像在同一个平面上，则特征点P的图像坐标Y坐标相同，即Y_left=Y_right=Y，则由三角几何关系得到：

\{\begin{matrix} X_{left} = f \frac{x_{c}}{z_{c}} \\ X_{right} = f \frac{(x_{c} - B)}{z_{c}} \\ Y = f \frac{y_{c}}{z_{c}} \end{matrix}

其视差为：

Disparity=X_left-X_right。

由此可计算出特征点P在摄像头C1坐标系下的三维坐标为：

\{\begin{matrix} x_{c} = \frac{Bg X_{left}}{Disparity} \\ y_{c} = \frac{BgY}{Disparity} \\ z_{c} = \frac{Bgf}{Disparity} \end{matrix}

根据上述计算公式可知，左边摄像头成像平面上的任意一点只要能在右边摄像头成像平面上找到对应的匹配点，就可以确定出该点的三维坐标。这种方法是完全的点对点运算，像面上所有点只要存在相应的匹配点，就可以参与上述运算，从而获取其对应的三维坐标，从而得到其深度信息。

上述方案需要两个前置摄像头，这给硬件设计布局以及使用功耗都会带来负面影响。另外，该方案只能针对同时被两个摄像头捕捉的目标物体进行深度计算，这将限制目标物体运动范围在两个摄像头的视场交集范围内工作，可操作性差。此外，需要对目标物在两个摄像头捕捉的图像中进行匹配，在两幅图像中寻找手指上同一特征点，会增加额外的计算和处理延时。

发明内容

本发明实施例提供了一种深度信息获取方法和装置，用于减少硬件使用并减少设备功耗，提高可操作性，减少数据计算量并降低延时。

一种深度信息获取方法，包括：

从摄像头采集图像作为输入图像；

通过图形检测确定输入图像中的目标物体以及目标物体的成像大小；

通过目标物体的成像大小确定所述目标物体的深度。

一种深度信息获取装置，包括：

图像采集单元，用于从摄像头采集图像作为输入图像；

图像确定单元，用于通过图形检测确定所述图像采集单元采集的图像中的目标物体以及目标物体的成像大小；

深度确定单元，用于通过目标物体的成像大小确定所述目标物体的深度。

从以上技术方案可以看出，本发明实施例具有以下优点：从摄像头采集图像作为输入图像，通过图形检测确定输入图像中的目标物体以及目标物体的成像大小，通过目标物体的成像大小来确定目标物体的深度。可以通过一个摄像头实现深度信息的获取，可以减少硬件使用并减少设备功耗，提高可操作性，另外，只用对一个摄像头捕捉的图像进行匹配，可以减少数据计算量并降低延时。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术两摄像头深度信息获取的结构示意图；

图2为本发明实施例方法流程示意图；

图3为本发明实施例手势识别场景示意图；

图4为本发明实施例视频捕获装置结构示意图；

图5为本发明实施例视频捕获装置结构示意图；

图6为本发明实施例方法流程示意图；

图7为本发明实施例方法流程示意图；

图8为本发明实施例方法流程示意图；

图9A为本发明实施例参数选择试验模型示意图；

图9B为本发明实施例参数选择试验模型示意图；

图10为本发明实施例装置结构示意图；

图11为本发明实施例装置结构示意图；

图12为本发明实施例装置结构示意图；

图13为本发明实施例装置结构示意图；

图14为本发明实施例装置结构示意图；

图15为本发明实施例装置结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例提供一种深度信息获取方法，如图2所示，包括：

201：从摄像头采集图像作为输入图像；

202：通过图形检测确定输入图像中的目标物体以及目标物体的成像大小；

可选地，上述目标物体为：手指指尖、手指、手掌、指甲中的任意一项。需要说明的是，目标物体还可以是其他任意可以被检测到的实物，本发明实施例对此不予限定。以上关于手的相关特征的举例，不应理解为对本发明实施例的唯一限定。

如果目标物体是手的相关特征，那么上述从摄像头采集图像作为输入图像之前，还包括：向摄像头的摄像区域发射红外光；上述从摄像头采集图像作为输入图像包括：从加装有红外滤光片的摄像头采集图像作为输入图像。后续实施例将就此作为举例给出更详细的说明。

更进一步地，上述向摄像头的摄像区域发射红外光时的激发闪光时间与上述摄像头的图像帧采集曝光时间同步。

优选地，上述摄像头采用卷帘快门或者全局快门。

本发明实施例还给出了去除背景的实现方式，图像帧采集中的设定帧对应的时间对应有红外光的闪光；上述方法还包括：通过有红外闪光对应的图像帧与没有红外光对应的图像帧，去除有红外闪光对应的图像帧的图像背景；上述通过图形检测确定输入的图像中的目标物体包括：通过图形检测确定去除了图像背景的输入图像中的目标物体。通过去除背景，可以进一步地减少深度计算的计算量。

203：通过目标物体的成像大小确定上述目标物体的深度。

由成像大小确定深度的可选方式有很多，这个深度可以是相对深度，也可以是绝对深度；相对深度是指目标物体深度的变化，比如成像大小变小则深度越大；绝对深度则可以对应深度值。通过对目标物理相对深度或绝对深度的连续测量，都可以确定目标物体的运动轨迹。

以上方案，从摄像头采集图像作为输入图像，通过图形检测确定输入图像中的目标物体以及目标物体的成像大小，通过目标物体的成像大小来确定目标物体的深度。可以通过一个摄像头实现深度信息的获取，可以减少硬件使用并减少设备功耗，提高可操作性，另外，只用对一个摄像头捕捉的图像进行匹配，可以减少数据计算量并降低延时。

以下给出了几个由成像大小确定深度的可选方式的举例，如下：

上述通过目标物体的成像大小确定上述目标物体的深度包括：通过目标物体成像的长度或宽度或者面积在整个输入图像所占的比例，确定目标物体的相对深度；或者，通过目标物体的连续的两个或两个以上的成像大小确定上述目标物体的相对深度；或者，通过上述目标物体的成像大小查询预制的成像大小与深度的对照关系，确定上述目标物体的深度。

为了目标物体的运动轨迹并据此确定操作命令，上述方法还包括：

连续获得目标物体的两个或者两个以上的深度信息，并依据上述目标物体的两个或者两个以上的深度信息的变化对照预定的操作规则，确定上述目标物体指定的操作命令。上述目标物体的深度信息的变化，则对应了目标物体的运动轨迹。

以下实施例将以智能手机中，手势的应用为例进行更详细的举例说明。本发明实施例的技术方案除了应用于以配置前置摄像头的智能手机为代表的移动终端设备外，还可以应用于家庭电视、机顶盒、以及会议等场景。因此本发明实施例给出的举例不应理解为对本发明实施例的唯一限定。

在手持设备（如智能手机）上进行手势识别操作时，手持设备与操作手指之间最远操作距离大约为一臂距离（约60cm）；考虑到手持设备屏幕大小，实际操作距离一般为10～30cm。请参阅图3所示，大三角形下端为摄像头位置，左右两边示意为摄像头成像的视场范围，请参阅图3所示手指的位置，以及成像大小可以看到如下结果：当手指在前置摄像头视场范围内有垂直方向运动时，手指在摄像头成像平面上的大小（面积/宽度等参数）会有比较明显的变换。

通过比较两帧（即两次图像采集得到的图像）之间的手指成像大小，可以给出两帧采集之时，手指距离摄像头的相对远近。进一步，针对给定的手机装置，和摄像头参数，可以预先计算不同深度距离时手指的成像大小；然后根据手指成像大小推算手指距离摄像头的深度距离。

基于以上原理说明，本发明实施例给出了通过手势实现指令输入的方案：

首先，从手机前置摄像头采集用户的手指图像作为输入，然后经过手型检测、手指指尖提取，确认手指指尖在二维图像坐标中的位置。

然后，检测得到的手指指尖信息估算指尖位置距离摄像头的垂直距离，进而根据集合信息确定指尖在三维空间中的位置坐标信息。

最后，在获取指尖坐标信息后，根据一段时间间隔间的连续空间位置坐标轨迹，和预定义的模式，判断用户的操作意图，进而实现相应的事件响应反馈。

在以上方案中，手势识别过程对于检测和定位的手指数目取决于应用操作的需要和手机平台的处理能力。更多数目的手指操作能够丰富应用的输入模式，构建复杂的的控制手势；另一方面，这将显著的增加手机平台处理器的需要处理的数据量，对于手机处理器的处理能力和手持设备电池的续航能力提出更高的要求。除特别说明外，本发明实施例以一个手指指尖的检测应用为例，多个手指情况相当于单独对每个手指进行处理，本发明实施例不一一赘述。

本发明实施例可以在配置有前置摄像头的手机硬件系统上实现部署，利用前置摄像头采集图像，在ARM（Acorn RISC Machine）芯片处理器上完成手型检测、指尖空间定位和应用操作控制，最终通过手机显示屏或是其他与应用相关的方式，比如震动、启动/结束语音通话、控制闪光灯等形式反馈用户。

在不同终端设备上实现本发明实施例方法时，可以根据芯片平台的能够提供的硬件资源，使用不同处理单元，比如通用的ARM处理器、支持通用并行计算的GPU（Graphic Processing Unit，图形处理器）、DSP（Digital SignalProcessing，数字信号处理）、以及专用的硬件加速器。此外，具体实现方案中还需要考虑不同算法子模块在不同处理单元上处理运算的效率，以及整体系统的处理单元分配情况。发明实施中优先选择实现效率高、功耗低的方案。不同的方案对于存储器的需求是不一样的，通常要求包括较大的存储空间。举例来说，存储器可包括动态随机存储器或是FLASH（闪存）存储器。在其他实例中，存储器可以包括非易失性存储器或其他数据存储装置。

基于手势的特殊性，本发明实施中优选采用主动红外光源，叠加红外滤片的视频捕获装置，请参阅图4。该视频捕获装置包含两部分：

第一部分为包含IR FILTERS（Infra-red FILTERS，红外线滤光片）的摄像头装置如图4所示（竖直向下实线箭头下的结构），内部结构包含特定波长（例如中心波长为850nm）的IR FILTERS、LENS（镜头）、CMOS(Metal-Oxide-Semiconductor，金属-氧化物-半导体)或CCD（Charge-coupledDevice，电荷耦合元件）Sensor（传感器）。

此外，摄像头快门可以采用现在常见卷帘快门（Rolling Shuttle）以降低成本，或是全局快门（Global Shuttle），避免高速运动手掌/手指的采集拖影。

第二部分包含红外光强控制装置，请参阅图5（图4中虚线箭头的源端），包含两个850nm IR LED（light-emitting diode，发光二极管）,红外光强控制驱动电路。红外光强控制驱动电路保证红外LED红外光激发时间与摄像采集曝光同步，并激发脉冲式的短暂（例如2ms）但是高强度的LED红外光强。短暂的LED激发保证采集图像中近景运动手掌/手指的清晰，减少拖影，远景干扰在图像中的低曝光；另外，高强度的LED光强还可以保证近景手掌/手指得到充分曝光，具有与黑暗背景明显可以区别的亮度。这些硬件保障，能够减少后续手型检测过程预处理的复杂度，降低数据计算量、处理时长以及功耗。

如图4所示，曝光流程如下：IR LED发出的红外光（虚线箭头方向）照射到其上的手上，手反射红外光到红外滤光片（斜线填充矩形所示），被反射的红外光会穿过红外滤光片并穿过其下的镜头到达传感器。自然光（实线镜头方向）则会被红外滤光片过滤掉，无法到达传感器。

中心波长为850nm的红外光照射用户手掌并反射通过覆盖有红外滤膜IRFILTERS的镜头LENS后，在CMOS/CCD SENSOR上获取清晰的近景红外手掌图像。而可见光被红外滤膜IR FILTERS反射，无法进入LENS光学器件而进成像。

本方案实施采用的提供红外光的采集装置不是必须的，完全可以基于现有的手机前置摄像头，不依赖于专门的采集硬件模块，降低了硬件依赖性。对应的，手型检测过程则对此需要进行更多的降噪、背景去除等预处理工作，以降低环境明暗变化、背景物体干扰等因素负面影响。

本发明实施例的采集方案的另一个明显优势在于：可以提供一种高效的背景去除方法。在手势识别实时处理30fpsVGA（Video Graphics Array，视频图形阵列）分辨率连续图像时，选用能够处理60fps帧率的VGA分辨率的摄像头；当奇数帧时采用关闭红外LED光源获取背景图像，偶数帧时打开红外LED光源对运动物体进行曝光，曝光的照度通过LED控制器对LED的电流大小进行控制，闪光灯开启的信号为上一奇数帧的结束信号。如表1所示：

表1

帧

F1

F2

F3

F4

F5

F6

F7

…

LED

关

开

关

开

关

开

关

…

上面举了一个帧间交替(奇关偶开)的例子,实际应用中奇偶可以交换，而且在背景移动较慢时，可以采用多帧关闭、一次闪光的方式，获得背景。

基于本发明实施例提供的图像采集方案，可以有效降低手型检测过程中的背景干扰去除复杂度。通过简单的降噪等预处理，采用上述交替帧背景去除方法，即可获得清晰的手掌/手指（轮廓）图像；采用检测与跟踪相结合的方案，可以加速手指的检测提取。

手指检测可以采用通用的聚类算法进行分割，区分为手掌/手指和背景两个区域。检测算法中考虑指尖方向等可靠性检测逻辑排除误判。指尖跟踪可以在检测失效情况下进行跟踪，保证检测的连续性；而且跟踪算法可以降低算法处理复杂度，保持整体算法模块的低功耗。请参阅图6所示，指尖检测的具体方法如下：

601：图像帧获取；

本步骤从摄像头处获得图像。可以采用间隔前后景，或者连续前景方式获取。

602：前处理；

本步骤具体执行下采样、色差转换、灰度图像提取、降噪等处理。

603：背景去除；

本步骤具体可以采用平均背景法进行背景去除。

604：判断上一次没有识别到手指或者连续跟踪N帧；若判断结果为Y（是），则执行检测进入605，若判断结果为N（否），则进入605；

本步骤跟踪N次后用检测纠正识别结果。

605：确定上一次是否识别到手指，如果是则跟踪并进入606，否则进入606

本步骤是如果上一次识别到手指则进行跟踪。

606：根据跟踪结果计算指尖的移动方向。

本步骤可以采用循环数组的方式进行存储，避免每次都进行整体移动。

另外，本发明实施例还给出了指尖提取流程，请参阅图7，如下：

701：聚类；

本步骤采用聚类算法对采集到的图像进行分割。

702：判断中心点距离<设定阈值；如果是，直接结束流程，如果否进入703；

703：获取轮廓；

704：获取手的本征信息；

本步骤通过计算轮廓矩，获取手心，手的本征轴等信息，并根据手与图像边缘的相交情况初步确定手的方向。

705：提取指尖。

本发明实施例还提供了如何通过目标物体的成像大小确定上述目标物体的深度的具体计算方法，请参阅如下实施例：

手机前置摄像头完成手指指尖的采集、处理器完成手指指尖位置检测和手指轮廓提取后，取得其手指区域的长度H和宽度W，以及指尖在采集图像之中的坐标P₁(x₁,y₁)。

手指空间定位可以分为深度信息估计和指尖空间三维坐标投影两部分。

可以参阅图1，指尖空间三维坐标投影根据指尖坐标P₁(x₁,y₁)和深度/z轴坐标z_c，结合摄像头参数（焦距f）计算其在三维空间中的坐标。获得图像坐标点P₁(x₁,y₁)对应的指尖，在三维坐标中的深度/z轴坐标z_c后，根据三角形相似性可以计算得到该指尖在图1所示坐标系C₁中的空间三维投影坐标（f为摄像头焦距）。

手势控制应用程序根据连续时间内的指尖空间三维坐标序列根据隐式马尔科夫链（HMM）模型统计手指指尖运动的状态迁移，根据预先识别的手势定义，识别用户的操作手势，并执行预定义应用。手势应用控制子模块可以采用的实现方法包括但不限于HMM、神经网络等不同的识别匹配算法。

指尖空间坐标定位模块将每一帧的指尖坐标反馈给应用操作控制模块，应用操作模块根据自己的算法判断准则，确认当前是否接受之前的手指轨迹信息为某一手势。如果接受，则产生响应；否则应用操作模块对外部用户没有响应。请参阅图8，具体流程如下：

801：根据实验/摄像头配置选取参数K；

802：前置摄像头采集；

803：手型检测；

然后执行深度信息估计；

804：判断手指区域宽高比是否>T；如果是进入805，否则进入806；

805：计算手指宽度W；

806：计算手指半周长C=H+W；

807：估计手指深度h；

808：确定是否处理下一帧?如果是，回到802，否则结束流程。

深度信息估计模块根据手指区域长宽比区分手指与摄像头方向的相对关系：

宽高比小于阈值T，表明手指与摄像头（更接近）垂直关系；此时计算手指外框半周长C=H+W；

否则，表明手指与摄像头（更接近）平行，此时记录手指宽度W。

手指深度信息计算可以通过无需先验知识的相对比较实现，或是通过预先试验的方式获得（接近）绝对深度距离信息。

相对比较通过比较前一帧图像和当前帧图像的对应的参数C/W，判断手指距离摄像头的相对距离：

表明相比较于之前，手指靠近摄像头；

表明相比较于之前，手指摄像头距离没有（明显）改变；

表明相比较于之前，手指远离摄像头。

前后帧只能进行对应参数比较，即半周长之间、宽度之间分别比较，不可以进行半周长与宽度之间的比较。当手指与摄像头方向的相对关系首次发生关系变化时，例如原先为（更接近）垂直关系变为（更接近）平行关系，此时的宽度信息作为初始宽度信息，就如垂直关系时记录首次半周长信息为初始半周长信息。以上关系变换反之亦然。

定义：为手指指尖相对深度信息值。

当k_C=1，或是给定值，即可以得到上述简化示例。实际上给定手机和视频采集装置，可以通过预先实验/定义，获取经验值，使得手指指尖相对深度信息值与实际三维空间距离坐标相符，即相对深度信息反映实际空间深度距离。

本发明实施中的摄像头采集分辨率和视角FoV会上述参数选择。对于视角60°、640x480分辨率摄像头而言，其外接圆直径D=800pixels,通过0所示实验模型进行实际试验，记录手指距离摄像头不同距离h_C时的采集图像中的半周长C，可以通过(但不限于)最小二乘法获得k_C（=2000pixels*cm）。或者，根据经验值（手指实际半周长L=2.5cm）进行理论计算，请参阅图9A和图9B所示的参数选择试验模型：

k_C=h_CC；

C = \frac{D}{2 h_{c} tg \frac{FoV}{2}} L;

针对垂直关系，除了采用半周长信息外，还可以采用面积S=HW进行深度计算，

h_{s} = \frac{k_{s}}{S_{(cm);}}

k_S=3000pixels²·cm；

类似的，定义为另一手指指尖相对深度信息值。

通过相同的模型和方法，选择参数k'_w使得h_W=h_C=实际空间深度距离。以上手指指尖相对深度信息值可以统一记为h。这样可以确保当手指与摄像头关系发生切换时，能得到连续、一致而准确的空间深度信息。

以上方案大致总结，可以有如下几个步骤：

步骤一：根据当前实际应用场景选取手指深度估计参数。

步骤二：根据识别得到的手指矩形框的宽高比，确定当前手指相对于摄像头的方向。

步骤三：根据步骤二中确定的方向，分情况计算手指宽度，手指指尖外包矩形框周长或面积。

步骤四：根据步骤一中选取的估计参数，和步骤三计算获得的宽度/周长/面积估算当前手指距离摄像头的距离，即深度信息。

以上方案，通过手指在摄像头采集图像中形状差异，获得不同手指的相对深度信息；结合经验参数，估算手指的绝对深度信息，可以通过低复杂度的几何计算扩展手势应用中的2D（two dimension，二维）信息，为单目摄像头的手指识别添加深度信息，有效扩展了应用场景和提升用户体验。

本发明实施例还提供了一种深度信息获取装置，如图10所示，包括：

图像采集单元1001，用于从摄像头采集图像作为输入图像；

图像确定单元1002，用于通过图形检测确定上述图像采集单元1001采集的图像中的目标物体以及目标物体的成像大小；

深度确定单元1003，用于通过目标物体的成像大小确定上述目标物体的深度。

可选地，上述图像确定单元1002，具体用于通过目标物体成像的长度或宽度或者面积在整个输入图像所占的比例，确定目标物体的相对深度；或者，通过目标物体的连续的两个或两个以上的成像大小确定上述目标物体的相对深度；或者，通过上述目标物体的成像大小查询预制的成像大小与深度的对照关系，确定上述目标物体的深度。

可选地，如图11所示，上述深度确定单元1003，用于连续获得目标物体的两个或者两个以上的深度信息；上述装置还包括：

命令确定单元1101，用于依据上述目标物体的两个或者两个以上的深度信息的变化对照预定的操作规则，确定上述目标物体指定的操作命令。

可选地，上述图像确定单元1002，具体用于确定的上述目标物体为：手指指尖、手指、手掌、指甲中的任意一项。

进一步地，如图12所示，上述装置，还包括：

红外控制单元1201，用于控制红外发光设备向摄像头的摄像区域发射红外光；

上述图像采集单元1001，用于从加装有红外滤光片的摄像头采集图像作为输入图像。

可选地，上述红外控制单元1201，用于控制红外发光设备发射红外光时的激发闪光时间与上述摄像头的图像帧采集曝光时间同步。

进一步地，如图13所示，上述红外控制单元1201，用于控制激发闪光时间，使图像帧采集中的设定帧对应的时间对应有红外光的闪光；上述装置还包括：

背景去除单元1301，用于通过有红外闪光对应的图像帧与没有红外光对应的图像帧，去除有红外闪光对应的图像帧的图像背景；

上述图像确定单元1002，用于通过图形检测确定去除了图像背景的输入图像中的目标物体。

本发明实施例还提供了另一种深度信息获取装置，如图14所示，包括：

接收设备1401，发射设备1402、存储器1403、处理器1404；

其中，上述处理器1404，用于从摄像头采集图像作为输入图像；通过图形检测确定输入图像中的目标物体以及目标物体的成像大小；通过目标物体的成像大小确定上述目标物体的深度。

可选地，上述处理器1404，还用于上述通过目标物体的成像大小确定上述目标物体的深度包括：

通过目标物体成像的长度或宽度或者面积在整个输入图像所占的比例，确定目标物体的相对深度；或者，通过目标物体的连续的两个或两个以上的成像大小确定上述目标物体的相对深度；或者，通过上述目标物体的成像大小查询预制的成像大小与深度的对照关系，确定上述目标物体的深度。

可选地，上述处理器1404，还用于连续获得目标物体的两个或者两个以上的深度信息，并依据上述目标物体的两个或者两个以上的深度信息的变化对照预定的操作规则，确定上述目标物体指定的操作命令。

可选地，上述目标物体为：手指指尖、手指、手掌、指甲中的任意一项。

可选地，上述处理器1404，还用于从摄像头采集图像作为输入图像之前，向摄像头的摄像区域发射红外光；从加装有红外滤光片的摄像头采集图像作为输入图像。

可选地，上述处理器1404，还用于控制上述向摄像头的摄像区域发射红外光时的激发闪光时间与上述摄像头的图像帧采集曝光时间同步。

可选地，上述摄像头采用卷帘快门或者全局快门。

可选地，上述处理器1404，还用于控制图像帧采集中的设定帧对应的时间对应有红外光的闪光；通过有红外闪光对应的图像帧与没有红外光对应的图像帧，去除有红外闪光对应的图像帧的图像背景；通过图形检测确定去除了图像背景的输入图像中的目标物体。

本发明实施例还提供了另一种深度信息获取装置，如图15所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该终端可以为包括手机、平板电脑、PDA（Personal Digital Assistant，个人数字助理）、POS（Point of Sales，销售终端）、车载电脑等任意终端设备，以终端为手机为例：

图15示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图15，手机包括：射频（Radio Frequency，RF）电路1510、存储器1520、输入单元1530、显示单元1540、传感器1550、音频电路1560、无线保真（wireless fidelity，WiFi）模块1570、处理器1580、以及电源1590等部件。本领域技术人员可以理解，图15中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图15对手机的各个构成部件进行具体的介绍：

RF电路1510可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1580处理；另外，将设计上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器（Low Noise Amplifier，LNA）、双工器等。此外，RF电路150还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统（Global Systemof Mobile communication，GSM）、通用分组无线服务（General Packet RadioService，GPRS）、码分多址（Code Division Multiple Access，CDMA）、宽带码分多址（Wideband Code Division Multiple Access,WCDMA）、长期演进（Long Term Evolution，LTE）、电子邮件、短消息服务（Short Messaging Service，SMS）等。

存储器1520可用于存储软件程序以及模块，处理器1580通过运行存储在存储器1520的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器1520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元1530可用于接收输入的数字或字符信息，以及产生与手机1500的用户设置以及功能控制有关的键信号输入。具体地，输入单元1530可包括触控面板1531以及其他输入设备1532。触控面板1531，也称为触摸屏，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触控面板1531上或在触控面板1531附近的操作），并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1531可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1580，并能接收处理器1580发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1531。除了触控面板1531，输入单元1530还可以包括其他输入设备1532。具体地，其他输入设备1532可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1540可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1540可包括显示面板1541，可选的，可以采用液晶显示器（Liquid Crystal Display，LCD）、有机发光二极管（Organic Light-EmittingDiode,OLED）等形式来配置显示面板1541。进一步的，触控面板1531可覆盖显示面板1541，当触控面板1531检测到在其上或附近的触摸操作后，传送给处理器1580以确定触摸事件的类型，随后处理器1580根据触摸事件的类型在显示面板1541上提供相应的视觉输出。虽然在图15中，触控面板1531与显示面板1541是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1531与显示面板1541集成而实现手机的输入和输出功能。

手机1500还可包括至少一种传感器1550，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1541的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1541和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路1560、扬声器1561，传声器1562可提供用户与手机之间的音频接口。音频电路1560可将接收到的音频数据转换后的电信号，传输到扬声器1561，由扬声器1561转换为声音信号输出；另一方面，传声器1562将收集的声音信号转换为电信号，由音频电路1560接收后转换为音频数据，再将音频数据输出处理器1580处理后，经RF电路1510以发送给比如另一手机，或者将音频数据输出至存储器1520以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块1570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图15示出了WiFi模块1570，但是可以理解的是，其并不属于手机1500的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器1580是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1520内的软件程序和/或模块，以及调用存储在存储器1520内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1580可包括一个或多个处理单元；优选的，处理器1580可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1580中。

手机1500还包括给各个部件供电的电源1590（比如电池），优选的，电源可以通过电源管理系统与处理器1580逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机1500还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本发明实施例中，该终端所包括的处理器1580还具有以下功能：

用于从摄像头采集图像作为输入图像；通过图形检测确定输入图像中的目标物体以及目标物体的成像大小；通过目标物体的成像大小确定上述目标物体的深度。

可选地，上述处理器1504，还用于上述通过目标物体的成像大小确定上述目标物体的深度包括：

可选地，上述处理器1504，还用于连续获得目标物体的两个或者两个以上的深度信息，并依据上述目标物体的两个或者两个以上的深度信息的变化对照预定的操作规则，确定上述目标物体指定的操作命令。

可选地，上述处理器1504，还用于从摄像头采集图像作为输入图像之前，向摄像头的摄像区域发射红外光；从加装有红外滤光片的摄像头采集图像作为输入图像。

可选地，上述处理器1504，还用于控制上述向摄像头的摄像区域发射红外光时的激发闪光时间与上述摄像头的图像帧采集曝光时间同步。

可选地，上述摄像头采用卷帘快门或者全局快门。

可选地，上述处理器1504，还用于控制图像帧采集中的设定帧对应的时间对应有红外光的闪光；通过有红外闪光对应的图像帧与没有红外光对应的图像帧，去除有红外闪光对应的图像帧的图像背景；通过图形检测确定去除了图像背景的输入图像中的目标物体。

值得注意的是，上述装置实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各方法实施例中的全部或部分步骤是可以通过程序来指令相关的硬件完成，相应的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims

1.一种深度信息获取方法，其特征在于，包括：

从摄像头采集图像作为输入图像；

通过目标物体的成像大小确定所述目标物体的深度；

其中，所述目标物体包括手指，所述通过目标物体的成像大小确定所述目标物体的深度包括：

根据当前实际应用场景选取手指深度估计参数；根据识别得到的手指矩形框的宽高比，确定当前手指相对于摄像头的方向；根据确定的所述方向，计算手指宽度，或者计算手指指尖外包矩形框周长或面积；根据选取的估计参数和计算得到的所述手指宽度或周长或面积，估算所述手指的深度。

2.根据权利要求1所述方法，其特征在于，还包括：

连续获得目标物体的两个或者两个以上的深度信息，并依据所述目标物体的两个或者两个以上的深度信息的变化对照预定的操作规则，确定所述目标物体指定的操作命令。

3.根据权利要求1所述方法，其特征在于，所述从摄像头采集图像作为输入图像之前，还包括：向摄像头的摄像区域发射红外光；

所述从摄像头采集图像作为输入图像包括：

从加装有红外滤光片的摄像头采集图像作为输入图像。

4.根据权利要求3所述方法，其特征在于，所述向摄像头的摄像区域发射红外光时的激发闪光时间与所述摄像头的图像帧采集曝光时间同步。

5.根据权利要求4所述方法，其特征在于，所述摄像头采用卷帘快门或者全局快门。

6.根据权利要求4所述方法，其特征在于，图像帧采集中的设定帧对应的时间对应有红外光的闪光；所述方法还包括：

通过有红外闪光对应的图像帧与没有红外光对应的图像帧，去除有红外闪光对应的图像帧的图像背景；

所述通过图形检测确定输入的图像中的目标物体包括：

通过图形检测确定去除了图像背景的输入图像中的目标物体。

7.一种深度信息获取装置，其特征在于，包括：

图像采集单元，用于从摄像头采集图像作为输入图像；

深度确定单元，用于通过目标物体的成像大小确定所述目标物体的深度；

其中，所述目标物体包括手指，所述深度确定单元具体用于：根据当前实际应用场景选取手指深度估计参数；根据识别得到的手指矩形框的宽高比，确定当前手指相对于摄像头的方向；根据确定的所述方向，计算手指宽度，或者计算手指指尖外包矩形框周长或面积；根据选取的估计参数和计算得到的所述手指宽度或周长或面积，估算所述手指的深度。

8.根据权利要求7所述装置，其特征在于，

所述深度确定单元，用于连续获得目标物体的两个或者两个以上的深度信息；所述装置还包括：

命令确定单元，用于依据所述目标物体的两个或者两个以上的深度信息的变化对照预定的操作规则，确定所述目标物体指定的操作命令。

9.根据权利要求7所述装置，其特征在于，还包括：

红外控制单元，用于控制红外发光设备向摄像头的摄像区域发射红外光；

所述图像采集单元，用于从加装有红外滤光片的摄像头采集图像作为输入图像。

10.根据权利要求9所述装置，其特征在于，

所述红外控制单元，用于控制红外发光设备发射红外光时的激发闪光时间与所述摄像头的图像帧采集曝光时间同步。

11.根据权利要求9所述装置，其特征在于，

所述红外控制单元，用于控制激发闪光时间，使图像帧采集中的设定帧对应的时间对应有红外光的闪光；所述装置还包括：

背景去除单元，用于通过有红外闪光对应的图像帧与没有红外光对应的图像帧，去除有红外闪光对应的图像帧的图像背景；

所述图像确定单元，用于通过图形检测确定去除了图像背景的输入图像中的目标物体。