CN102799271A - 一种基于人手手势的交互命令识别方法及系统 - Google Patents

Abstract

本发明适用电视机技术领域，提供了一种基于人手手势的交互命令识别方法及系统，包括：步骤A、对预设的第一摄像头和第二摄像头分别进行标定，以获取投影矩阵；步骤B、分别从第一摄像头和第二摄像头对应的图像缓存区获取一张图像，组成一个图像对；步骤C、当在图像对中检测到匹配的人手图像时，获取匹配的人手图像对应的人手三维坐标并存储到预设的坐标存储区，检测坐标存储区存储的人手三维坐标形成的人手运动轨迹是否包含预设的人手运动轨迹，是则获取该人手运动轨迹对应的交互命令，否则，跳转至步骤B。

Description

一种基于人手手势的交互命令识别方法及系统

技术领域

本发明属于电视机技术领域，尤其涉及一种基于人手手势的交互命令识别方法及系统。

背景技术

目前，各种消费电子产品的功能越来越强大，交互命令也越来越多，越来越复杂。对于用户来说，也增加了交互的复杂性。因此，更加自然的人机交互技术成为消费电子产品交互的重要方式之一。在各种自然的人机交互方式中，手势操作是一种非常方便快捷的方式。然而，现有技术中对人手手势进行识别的三维手势识别技术识别速度慢、识别率低，导致用户的手势操作的响应时间过长，降低了用户体验。

发明内容

本发明实施例的目的在于提供一种三维手势识别方法及系统，旨在解决由于现有技术无法提供一种有效的手势识别方法，导致手势的识别速度慢、识别率低的问题。

本发明实施例是这样实现的，一种基于人手手势的交互命令识别方法，所述方法包括下述步骤：

步骤A、对预设的第一摄像头和第二摄像头分别进行标定，以获取所述第一摄像头和第二摄像头的投影矩阵；

步骤B、分别从所述第一摄像头和第二摄像头对应的图像缓存区根据图像拍摄时间的先后顺序获取一张图像，组成一个图像对，所述图像对中的两张图像拍摄时间最接近；

步骤C、在所述图像对中检测匹配的人手图像，当在所述图像对中检测到匹配的人手图像时，根据所述第一摄像头和第二摄像头的投影矩阵，获取所述匹配的人手图像对应的人手三维坐标并存储到预设的坐标存储区，检测所述坐标存储区存储的人手三维坐标形成的人手运动轨迹是否包含预设的人手运动轨迹，是则获取该人手运动轨迹对应的交互命令，否则，跳转至步骤B。

本发明实施例的另一目的在于提供一种基于人手手势的交互命令识别系统，其特征在于，所述系统包括：

摄像头标定单元，用于对预设的第一摄像头和第二摄像头分别进行标定，以获取所述第一摄像头和第二摄像头的投影矩阵；

图像对获取单元，用于分别从所述第一摄像头和第二摄像头对应的图像缓存区根据图像拍摄时间的先后顺序获取一张图像，组成一个图像对，所述图像对中的两张图像拍摄时间最接近；以及

交互命令识别单元，用于在所述图像对中检测匹配的人手图像，当在所述图像对中检测到匹配的人手图像时，根据所述第一摄像头和第二摄像头的投影矩阵，获取所述匹配的人手图像对应的人手三维坐标并存储到预设的坐标存储区，检测所述坐标存储区存储的人手三维坐标形成的人手运动轨迹是否包含预设的人手运动轨迹，是则获取该人手运动轨迹对应的交互命令，否则，跳转至触发图像对获取单元，以分别从所述第一摄像头和第二摄像头对应的图像缓存区根据图像拍摄时间的先后顺序获取下一张图像，组成一个图像对。

本发明实施例分别从预设的第一摄像头和第二摄像头对应的图像缓存区根据图像拍摄时间的先后顺序获取一张图像，组成一个图像对，当在图像对中检测到匹配的人手图像时，根据第一摄像头和第二摄像头的投影矩阵，获取匹配的人手图像对应的人手三维坐标并存储到预设的坐标存储区，当检测到坐标存储区存储的人手三维坐标形成的人手运动轨迹包含预设的人手运动轨迹，获取该人手运动轨迹对应的交互命令，从而实现了基于人手手势的交互命令的识别，提高了人手手势的识别速度以及识别率。

附图说明

图1是本发明基于人手手势的交互命令识别方法的较佳实施例的实现流程图；

图2是本发明基于人手手势的交互命令识别系统的较佳实施例的结构图；以及

图3是图2所示交互命令识别单元的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明基于人手手势的交互命令识别方法的较佳实施例的实现流程，详述如下：

在步骤S101中，对预设的第一摄像头和第二摄像头分别进行标定，以获取第一摄像头和第二摄像头的投影矩阵。

在本发明实施例中，在交互终端上预先设置两个摄像头，记为第一摄像头、第二摄像头，对第一摄像头和第二摄像头分别进行标定，以获取第一摄像头和第二摄像头的投影矩阵。其中，交互终端可以是电视机等显示装置。摄像头标定是指通过实验和计算获取到摄像头成像的几何模型，即获取到真实世界中的物点(x，y，z)与其图像平面中的像点(u，v)的几何映射关系。在具体实施过程中，对第一摄像头和第二摄像头进行标定时，可以采用传统标定方法、自标定方法以及基于主动视觉的标定方法。物点的三维坐标(x，y，z)通过一个投影矩阵M映射成图像平面像点的二维坐标(u，v)，存在如下关系：

其中Z_c是一个比例因子，M为投影矩阵。对预设的第一摄像头和第二摄像头分别进行标定后，就可以获取第一摄像头和第二摄像头的投影矩阵M₁、M₂。

在步骤S102中，分别从第一摄像头和第二摄像头对应的图像缓存区根据图像拍摄时间的先后顺序获取一张图像，组成一个图像对，该图像对中的两张图像拍摄时间最接近。

在本发明实施例中，第一摄像头和第二摄像头同步连续地拍摄图像，拍摄的图像被分别存储到各自对应的图像缓存区中。因此，两个摄像头拍摄的图像是一一对应的，在同一时间点两个摄像头拍摄的两张图像为用户输入的同一个手势在该时间点的位置图像。由于机械误差或其它原因，同步拍摄的两张图像在拍摄时间上可能存在一定的差异，但该图像对中的两张图像拍摄时间是最接近的。在具体实施过程中，可以采用两个队列分别来缓存两个摄像头拍摄的图像，进而可采用先进先出的方式分别从两个队列的相同位置获取一张图像，以组成一个图像对，从而减少图像对的获取时间。当然也可以采用其它方式，在此不用限制本发明。

在步骤S103中，在图像对中检测匹配的人手图像，当在图像对中检测到匹配的人手图像时，根据第一摄像头和第二摄像头的投影矩阵，获取匹配的人手图像对应的人手三维坐标并存储到预设的坐标存储区。

在本发明实施例中，在图像对中通过相应的图像处理方式检测匹配的人手图像，即在第一摄像头和第二摄像头在同一时间点拍摄的两张图像中，识别出同一只手。在本发明实施的一实施例中，可以采用下述方式在图像对中检测匹配的人手图像：

1)将从第一摄像头的图像缓存区获取的一张图像设置为第一图像，将从第二摄像头的图像缓存区获取的一张与第一图像拍摄时间最接近的图像设置为第二图像。

2)通过预设的运动检测算法分别获取第一图像和第二图像中人手的候选区域，在候选区域检测人手图像。

在本发明实施例中，可以采用背景减法、帧差法等算法来分别获取第一图像和第二图像中人手的候选区域，以提高图像的处理速度。为了适应复杂背景和快速变化的背景，优选地，采用三帧差法检测人手。例如，设其中一幅图像的序列表示为：I_i(uv)，其中(uv)表示图像中像素点的位置坐标，i表示本幅图像(或者称为i时间点的图像)。选取图像序列中连续的三幅图像I_i-1(uv)、I_i(uv)、I_i+1(uv)，分别计算相邻两幅图像的插值图像d_i，i-1(uv)、d_i+1，i(uv)：

$\left\{\begin{array}{c}{d}_{i,i-1}\left(\mathrm{u\; v}\right)=|\left(\mathrm{u\; v}\right)-I_{i-1}\left(\mathrm{u\; v}\right)|\\ d_{i+1,i}\left(\mathrm{u\; v}\right)=|I_{i+1}\left(\mathrm{u\; v}\right)-I_i\left(\mathrm{u\; v}\right)|\end{array}\right.$

在每一个像素点(uv)上将得到的图像进行逻辑“与”运算，得到图像A_i(uv)：

A_i(uv)＝d_i，i-1(uv)∩d_i+1，i(uv)

接下来对获得的图像A_i(uv)进行相应的图像处理(通过开运算以除去图像中的噪声点和目标中的空洞)就可以得到一幅图像中人手的候选区域。

在分别获取到图像对中两张图像人手的候选区域后，分别在两张图像中人手的候选区域中检测人手图像，具体可以采用模板匹配模型，肤色模型，ANN模型，SVM模型，Adaboost模型等实现人手图像的检测。

3)根据第一摄像头和第二摄像头的投影矩阵，对在第一图像中人手的候选区域检测到的人手图像以及在第二图像中人手的候选区域检测到的人手图像进行匹配，获取第一图像与所述第二图像匹配的人手图像。

在本发明实施例中，由于同一时间点(或最接近的两时间点)，两个摄像头拍摄的两张图像为用户输入的手势在该时间点的位置图像，即拍摄的事物(用户手势)相同，只是拍摄位置不同，因此，两幅图像存在一转换矩阵F，该转换矩阵可通过第一摄像头和第二摄像头的投影矩阵来获取，当两幅图像中检测到的表示人手的图像矩阵P₁、P₂存在P₁ ^TFP₂＝0关系时，则该人手即为同一人手，即匹配的人手图像。

在本发实施例中，在获取到匹配的人手图像后，获取匹配的人手图像对应的人手三维坐标并存储到预设的坐标存储区。具体地，在检测到的匹配的人手图像中选择表征人手的预设位置的匹配点，计算预设位置的匹配点对应的人手三维坐标。在本发明实施例中，预设位置的匹配点可以通过人工进行标注，也可以通过人手特征进行自动标注。根据两张图像中匹配的人手图像上预设位置的匹配点以及物点的三维坐标(x，y，z)与图像平面像点的二维坐标(u，v)之间的映射关系，可以获取匹配点对应的人手上某一点对应的真实三维坐标。例如：已知第一图像中匹配的人手图像上的一点(u₁v₁)、第二图像中匹配的人手图像上与该点对应的匹配点(u₂v₂)、第一摄像头和第二摄像头的投影矩阵 $M_1=\left[\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right],$ $M_2=\left[\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^2& m_{22}^2& m_{23}^2& m_{24}^2\\ m_{31}^2& m_{32}^2& m_{33}^2& m_{34}^2\end{array}\right],$ 则两个点对应的人手上一点的三维坐标(x，y，z)可通过下述等式进行方程式求解计算得到(其中，Z_c1、Z_c2为比例因子)：

$Z_{c1}\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]---\left(1\right)$

$Z_{c2}\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^2& m_{22}^2& m_{23}^2& m_{24}^2\\ m_{31}^2& m_{32}^2& m_{33}^2& m_{34}^2\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]---\left(2\right)$

在获取匹配的人手图像对应的人手三维坐标后，将其存储到预设的坐标存储区，在该坐标存储区存储了该图像对对应的时间点之前已经获取的、连续时间点对应的多个图像对对应的人手三维坐标。

在步骤S104中，检测坐标存储区存储的人手三维坐标形成的人手运动轨迹是否包含预设的人手运动轨迹，是则执行步骤S105，否则跳转至步骤S102。

在步骤S105中，获取该人手运动轨迹对应的交互命令。

在本发明实施例中，检测坐标存储区存储的人手三维坐标形成的人手运动轨迹是否包含预设的人手运动轨迹，即：检测不同时间点、第一摄像头与第二摄像头连续拍摄形成的图像对中对应的人手所形成的手势(人手运动轨迹)是否包含预设的人手运动轨迹，是则获取该人手运动轨迹对应的交互命令，否则，跳转至步骤S102，以分别从第一摄像头和第二摄像头对应的图像缓存区根据图像拍摄时间的先后顺序获取下一张图像，组成一个图像对，再对该图像对执行步骤S103中的步骤，直至检测到坐标存储区存储的人手三维坐标形成的人手运动轨迹包含预设的人手运动轨迹，获取该人手运动轨迹对应的交互命令，从而完成一次交互命令的识别，之后进入下一次基于人手手势的交互命令的识别。

在本发明的另一实施例中，若在上一时间点已检测出人手图像，但尚未识别出交互命令，则在本次获取第一图像和第二图像中人手的候选区域时，只需要对在上一时间点拍摄的图像中已检测出人手图像进行跟踪，将跟踪得到的图像区域设置为所述第一图像和第二图像中人手的候选区域，进而在该候选区域检测人手图像，从而可以有效地缩小本次图像中人手检测的范围，提高了人手检测的速度，进一步提高了交互命令的识别速度。优选地，由于人手的运动比较随意，可以采用自适应相互作用多模型(IMM)对人手图像进行跟踪，以提高跟踪的命中率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

实施例二：

图2示出了本发明基于人手手势的交互命令识别系统的较佳实施例的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：

摄像头标定单元21，用于对预设的第一摄像头和第二摄像头分别进行标定，以获取第一摄像头和第二摄像头的投影矩阵；

图像对获取单元22，用于分别从第一摄像头和第二摄像头对应的图像缓存区根据图像拍摄时间的先后顺序获取一张图像，组成一个图像对，图像对中的两张图像拍摄时间最接近；以及

交互命令识别单元23，用于在图像对中检测匹配的人手图像，当在图像对中检测到匹配的人手图像时，根据第一摄像头和第二摄像头的投影矩阵，获取匹配的人手图像对应的人手三维坐标并存储到预设的坐标存储区，检测坐标存储区存储的人手三维坐标形成的人手运动轨迹是否包含预设的人手运动轨迹，是则获取该人手运动轨迹对应的交互命令，否则，跳转至触发图像对获取单元，以分别从第一摄像头和第二摄像头对应的图像缓存区根据图像拍摄时间的先后顺序获取下一张图像，组成一个图像对。

其中，交互命令识别单元23包括：

三维坐标计算单元231，用于在检测到的匹配的人手图像中选择表征人手的预设位置的匹配点，计算预设位置的匹配点对应的人手三维坐标。

如图3所示，在本发明另一实施例中，交互命令识别单元还包括：

图像设置单元232，用于将从第一摄像头的图像缓存区获取的一张图像设置为第一图像，将从第二摄像头的图像缓存区获取的一张与第一图像拍摄时间最接近的图像设置为第二图像；

图像检测单元233，用于通过预设的运动检测算法分别获取第一图像和第二图像中人手的候选区域，在候选区域检测人手图像；以及

图像获取单元234，用于根据第一摄像头和第二摄像头的投影矩阵，对在第一图像中人手的候选区域检测到的人手图像以及在第二图像中人手的候选区域检测到的人手图像进行匹配，获取第一图像与第二图像匹配的人手图像。

其中，图像检测单元233可以包括：

候选区域设置单元2331，用于对在分别获取的上一张图像组成一个图像对中检测到的匹配的人手图像进行图像跟踪，将跟踪得到的图像区域设置为第一图像和第二图像中人手的候选区域。

本发明实施例分别从预设的第一摄像头和第二摄像头对应的图像缓存区根据图像拍摄时间的先后顺序获取一张图像，组成一个图像对，当在图像对中检测到匹配的人手图像时，根据第一摄像头和第二摄像头的投影矩阵，获取匹配的人手图像对应的人手三维坐标并存储到预设的坐标存储区，当检测到坐标存储区存储的人手三维坐标形成的人手运动轨迹包含预设的人手运动轨迹，获取该人手运动轨迹对应的交互命令，从而实现了基于人手手势的交互命令的识别，提高了人手手势的识别速度以及识别率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于人手手势的交互命令识别方法，其特征在于，所述方法包括下述步骤：

步骤A、对预设的第一摄像头和第二摄像头分别进行标定，以获取所述第一摄像头和第二摄像头的投影矩阵；

步骤B、分别从所述第一摄像头和第二摄像头对应的图像缓存区根据图像拍摄时间的先后顺序获取一张图像，组成一个图像对，所述图像对中的两张图像拍摄时间最接近；

步骤C、在所述图像对中检测匹配的人手图像，当在所述图像对中检测到匹配的人手图像时，根据所述第一摄像头和第二摄像头的投影矩阵，获取所述匹配的人手图像对应的人手三维坐标并存储到预设的坐标存储区，检测所述坐标存储区存储的人手三维坐标形成的人手运动轨迹是否包含预设的人手运动轨迹，是则获取该人手运动轨迹对应的交互命令，否则，跳转至步骤B。

2.如权利要求1所述的方法，其特征在于，根据所述第一摄像头和第二摄像头的投影矩阵，获取所述匹配的人手图像对应的人手三维坐标的步骤包括：

在所述检测到的匹配的人手图像中选择表征人手的预设位置的匹配点，计算所述预设位置的匹配点对应的人手三维坐标。

3.如权利要求1或2所述的方法，其特征在于，所述在所述图像对中检测匹配的人手图像的步骤包括：

将从所述第一摄像头的图像缓存区获取的一张图像设置为第一图像，将从所述第二摄像头的图像缓存区获取的一张与所述第一图像拍摄时间最接近的图像设置为第二图像；

通过预设的运动检测算法分别获取所述第一图像和第二图像中人手的候选区域，在所述候选区域检测人手图像；

根据所述第一摄像头和第二摄像头的投影矩阵，对在所述第一图像中人手的候选区域检测到的人手图像以及在所述第二图像中人手的候选区域检测到的人手图像进行匹配，获取所述第一图像与所述第二图像匹配的人手图像。

4.如权利要求3所述的方法，其特征在于，所述通过预设的运动检测算法分别获取所述第一图像和第二图像中人手的候选区域的步骤包括：

对在分别获取的上一张图像组成一个图像对中检测到的匹配的人手图像进行图像跟踪，将跟踪得到的图像区域设置为所述第一图像和第二图像中人手的候选区域。

5.如权利要求3所述的方法，其特征在于，所述预设的运动检测算法为三帧差法。

6.一种基于人手手势的交互命令识别系统，其特征在于，所述系统包括：

摄像头标定单元，用于对预设的第一摄像头和第二摄像头分别进行标定，以获取所述第一摄像头和第二摄像头的投影矩阵；

图像对获取单元，用于分别从所述第一摄像头和第二摄像头对应的图像缓存区根据图像拍摄时间的先后顺序获取一张图像，组成一个图像对，所述图像对中的两张图像拍摄时间最接近；以及

交互命令识别单元，用于在所述图像对中检测匹配的人手图像，当在所述图像对中检测到匹配的人手图像时，根据所述第一摄像头和第二摄像头的投影矩阵，获取所述匹配的人手图像对应的人手三维坐标并存储到预设的坐标存储区，检测所述坐标存储区存储的人手三维坐标形成的人手运动轨迹是否包含预设的人手运动轨迹，是则获取该人手运动轨迹对应的交互命令，否则，跳转至触发图像对获取单元，以分别从所述第一摄像头和第二摄像头对应的图像缓存区根据图像拍摄时间的先后顺序获取下一张图像，组成一个图像对。

7.如权利要求6所述的系统，其特征在于，所述交互命令识别单元包括：

三维坐标计算单元，用于在所述检测到的匹配的人手图像中选择表征人手的预设位置的匹配点，计算所述预设位置的匹配点对应的人手三维坐标。

8.如权利要求6或7所述的系统，其特征在于，所述交互命令识别单元包括：

图像设置单元，用于将从所述第一摄像头的图像缓存区获取的一张图像设置为第一图像，将从所述第二摄像头的图像缓存区获取的一张与所述第一图像拍摄时间最接近的图像设置为第二图像；

图像检测单元，用于通过预设的运动检测算法分别获取所述第一图像和第二图像中人手的候选区域，在所述候选区域检测人手图像；以及

图像获取单元，用于根据所述第一摄像头和第二摄像头的投影矩阵，对在所述第一图像中人手的候选区域检测到的人手图像以及在所述第二图像中人手的候选区域检测到的人手图像进行匹配，获取所述第一图像与所述第二图像匹配的人手图像。

9.如权利要求8所述的系统，其特征在于，所述图像检测单元包括：

候选区域设置单元，用于对在分别获取的上一张图像组成一个图像对中检测到的匹配的人手图像进行图像跟踪，将跟踪得到的图像区域设置为所述第一图像和第二图像中人手的候选区域。

10.如权利要求8所述的系统，其特征在于，所述预设的运动检测算法为三帧差法。

Images