CN105138131B - 一种通用的手势命令发射和操作方法 - Google Patents

Abstract

本发明提供了一种通用的手势命令发射和操作方法，属于电器控制领域。该装置包括计算机、摄像头、卡片母版、卡片、无线发射器和无线接收器；所述卡片是有语义或操作功能的图形、图像或符号、标识；与卡片对应的虚拟界面具有特定的功能分布；所述卡片母版是一个物理平面，上面设置有一个或多个不同卡片，代表不同操控对象或操控功能的图像或图形；所述摄像头获取卡片母版上的图像数据，并将其传给计算机，所述计算机通过对各个卡片进行分割，并对卡片进行识别；所述计算机通过图像的卡片进行识别，自动确定卡片对应的功能；通过识别操作者的手势移动范围，隐式感知操作者的操控对象，通过对操作者进行手势识别，感知操作者的交互意图。

Description

一种通用的手势命令发射和操作方法

技术领域

本发明属于电器控制领域，具体涉及一种通用的手势命令发射和操作方法。

背景技术

目前，控制家电的主要方法及其存在的问题为：(1)用遥控器操控。存在的问题是通用性差，操作比较复杂，交互的自然性差。(2)语音操控。存在的主要问题是容易受到环境干扰，识别率难以保证。(3)手势鼠标。把手势轨迹转化为鼠标位置，以WIMP(Windows,Icon，Menu，Pointer device)范式与设备进行交互。存在的主要问题是只能与显示设备进行交互，且远距离下的手势识别难度非常大。(4)手势体感操控。存在的主要问题是“MidasTouch问题”(即“点石成金”问题，用户所有的手势动作都会被传感器捕获当作命令执行而导致系统状态紊乱，极大地加重认知用户负荷和操作负荷)难以解决。另外，在用手势操控不同设备时往往有不同的设备和方法，给用户带来很大的认知负荷。提供一种统一的、通用的手势命令发射和操作装置具有重要应用价值。

发明内容

本发明的目的在于解决上述现有技术中存在的难题，提供一种通用的手势命令发射和操作方法。

本发明是通过以下技术方案实现的：

一种通用的手势命令发射和操作方法，其特征在于：所述方法包括：

(1)生成虚拟界面群，得到虚拟界面群{Vi|i＝1,2…}，其中，i是虚拟界面的个数；

(2)跟踪操作者的指尖，实时获取指尖位置FP；

(3)如果指尖在某虚拟界面j的正上方，则调出虚拟界面Vj(P，N，f，F)；

(4)在虚拟界面Vj内识别操作者的基本手势轨迹g，若g在Vj区域之外，计算机忽略g所代表的手势命令；

(5)通过自定义手势与命令之间的映射关系，把手势转化为操作指令，完成对物理界面或操控对象的操纵；

(6)转步骤(1)；

所述步骤(1)中的生成虚拟界面群是这样实现的：

(21)识别下一个卡片C；

(22)计算卡片所在平面的法线方向向量N以及卡片边界角点的空间位置向量P；

(23)从卡片数据库中检索出卡片对应的功能F；

卡片数据库中的每条记录包括以下字段：卡片名称，卡片编号，卡片图像识别特征，卡片的功能；

(24)以卡片边界的空间位置P为基础，沿方向N生成空间体V；

(25)求出该空间体V的范围f，则空间体V(P，N，f，F)就是虚拟界面；

(26)判断卡片母版上是否还有未识别卡片，如果还有，则转步骤(21)；如果没有，则进入步骤(27)；

(27)返回虚拟界面群{Vi|i＝1,2…M}，其中，M是虚拟界面的个数；

所述步骤(21)是这样实现的：

(211)，标准化卡片图像：对卡片图像进行标准化处理，即把分割后的卡片图像的尺寸统一规定到特定的像素图像内；

(212)，获取卡片主方向：卡片主方向是指从卡片重心点到卡片最远点的一个方向向量，它表征了卡片主轴的方向，即指尖的总体朝向；

(213)，空间卡片坐标点分布特征：基于卡片主方向提取卡片特征，并用空间卡片坐标点分布特征来描述卡片的特征信息；

(214)，获取类-Hausdorff距离：Hausdorff距离反映两组点集之间最大不匹配程度，它的值越大，这两组点集越不相似；

(215)，进行卡片识别：结合HCDF和类-Hausdorff距离进行卡片识别。

所述(211)中对卡片图像进行标准化处理是这样实现的：

Step1.输入分割后的卡片图像，求出卡片图像的最小外接正方形；

Step2.把最小外接正方形内卡片图像的像素点按照缩放公式(1)缩放到标准化图像中：

式中，(x′，y′)为标准化图像中像素点的坐标值，(x，y)为源图像中像素点的坐标值，zoom＝Newwide/Wide；zoom为缩放比率，Newwide为标准化图像的边长，Wide为源图像的边长；

Step3.输出标准化后的卡片图像。

所述步骤(212)是这样实现的：

首先，按照公式(2)求出标准化卡片图像中卡片的重心点然后，再求出离卡片重心点最远的卡片像素点M(x_m,y_m)；最后，规定向量作为卡片的主方向；

式中，R表示卡片图像中卡片像素的区域。

所述步骤(213)通过下面的方程组来描述卡片的特征信息；

式中，HCDF表示卡片的特征向量，其中第一个特征表示卡片的主方向；第二个特征r表示把卡片图像划分为8个子图像区域后，每个子图像区域内目标像素点的相对密度；第三个特征p表示在二维卡片直角坐标系内，每个子图像区域中目标像素点的点集；

所述公式(3)中每个特征的求解步骤如下：

Step1.输入标准化卡片图像，按公式(2)计算标准化图像中卡片的主方向

Step2.建立二维卡片直角坐标系；在标准化卡片图像中，以卡片重心点为坐标原点，卡片主方向为Y轴正方向，沿Y轴正方向顺时针旋转90度作为X轴正方向，建立二维卡片直角坐标系；

Step3.沿卡片主方向顺时针把卡片图像等分为8个子图像区域；

Step4.统计每个子图像区域内目标像素点的总数S_i(i＝1,…,8)，并找出S_i的最大值S_max＝Max(S_i)，然后按照公式(3)中的第3个式子，计算HCDF的第2个特征r；

Step5.把每个子图像区域内目标像素点的坐标值存放在HCDF的第3个特征p中，如公式(3)中第4个式子所示，其中R_i表示第i个子图像区域内的目标像素区域；

Step6.输出HCDF的三个特征。

所述步骤(214)是利用公式(4)获得的：

HL(A,B)＝hl(A,B)+hl(B,A) (4)

式中，hl(A,B)和hl(B,A)分别表示点集A到点集B和点集B到点集A的单向类-Hausdorff距离，用数学公式表述分别为

式中，hl(A,B)表示累加计算出点集A中每一点到点集B中最近一点的距离后的均值；N_A为点集A中特征点的个数；选取欧氏距离Dis(a,b)作为||a-b||的距离范式，如公式(7)所示。同理计算hl(B,A)；

对于两幅卡片图像E和F，它们之间的类-Hausdorff距离由8个子图像区域的类-Hausdorff距离累加得到，如公式(8)所示：

式中，p_i和p_j由公式(3)第4个式子所定义，p_i表示卡片图像E中第i个子图像区域内卡片像素点的点集，p_j表示卡片图像F中第j个子图像区域内卡片像素点的点集。

所述步骤(215)是这样实现的：

Step1.从视频流中获取当前图像帧；

Step2.用肤色分布模型把目标卡片从图像帧中提取出来；

Step3.求出卡片图像的最小外接正方形，并把它转化为标准化的卡片图像；

Step4.计算出卡片主方向，并建立二维卡片直角坐标系，然后求出HCDF中的每个特征向量；

Step5.计算当前卡片和样本库里每种卡片HCDF中第二个特征向量的欧氏距离，然后从小到大选取出M；

Step6.根据公式(8)依次计算当前卡片C和候选卡片G_m的类-Hausdorff距离HCG_m；

Step7.求出HCG_n，与之对应的样本库里的卡片G_n就是最终的识别结果，输出三维卡片图像；

HCG_n＝Min{HCG₁,…,HCG_M}，n＝1,…,M。

与现有技术相比，本发明的有益效果是：(1)有效地解决“Midas Touch问题”(即“点石成金”问题，用户所有的手势动作都会被传感器捕获当作命令执行而导致系统状态紊乱，极大地加重认知用户负荷和操作负荷)。

(2)实现对不同设备或操作功能的智能感知和隐式交互。

(3)为智能家电设备(电视、电脑、热水器、窗帘等)提供一种统一的、通用的手势命令发射和操作装置。

附图说明

图1本发明装置的原理示意图。

图2-1分割后的卡片图像

图2-2标准化卡片图像

图3二维卡片直角坐标系

图中，1，虚拟界面，2，电视音量卡片标识，3，手势鼠标卡片标识，4，卡片母版,5，电视主界面卡片标识，6，电视频道卡片标识。

具体实施方式

下面结合附图对本发明作进一步详细描述：

该装置包括一个无线发射器和无线接收器，手势命令通过无线发射器(例如Wifi)传递到无线接收器上，无线接收器再把手势指令传给被操纵(设备)对象的执行机构，从而在单一摄像头条件下完成手势对分布在不同位置的被操纵(设备)对象的远程控制

基于虚拟界面群的自然交互(即操纵方法)

1.如果卡片没有运动发生，转步骤1；

2.生成虚拟界面群，得到虚拟界面群{Vi|i＝1,2…}，其中，i是虚拟界面的个数；

3.跟踪操作者的指尖，实时获取指尖位置FP；

4.如果指尖在某虚拟界面j的“正上方”(即指尖位置在卡片上的垂直投影位于该卡片的中心位置)，则调出虚拟界面Vj(P，N，f，F)；

5.在虚拟界面Vj内识别操作者的基本手势轨迹g；

6.通过自定义手势与命令之间的映射关系，把手势转化为操作指令，完成对物理界面或操控对象的操纵。

7.转步骤1.

通过分析操作者的手势操作行为，计算机可以形成位于操作者前面的手势交互感应区，该区域既可能是二维(2D)也可能是三维(3D)，它可以随着操作者的身体位置或体态的变化亦步亦趋地变化，就好像操作者手势附近有一个看不见但却可以随操作者身体的运动而变化的操作屏幕，本发明将这种具有特定结构和功能的操作者手势操作区域称为(无形)虚拟界面(TI)。虚拟界面不仅具有特定的形状，而且根据应用需要具有特定的功能和结构。

虚拟界面的作用在于，它不仅从一个侧面反映了操作者手势操作的行为模型，而且它从一个侧面刻画了操作者的心理模型，并且使得非接触式交互界面是有结构的、是可以感知的、是可以计算的，从而将接触式交互与非接触式交互有效地统一起来。操作者手势只有在虚拟界面内才是有效的和可以感知的；在虚拟界面之外的物理空间是无效手势命令区，计算机不会响应无效手势命令区的任何手势命令或手势操作。

本发明将显示屏幕称为物理界面(PI)，操作者与物理界面之间的空间称为物理空间。物理空间分为虚拟界面和非虚拟界面构成。

本发明装置具体如图1所示，包括虚拟界面1、电视音量卡片标识2、手势鼠标卡片标识3、卡片母版4、电视主界面卡片标识5和电视频道卡片标识6。所述装置是由计算机、摄像头、卡片母版以及卡片等所构成。卡片是可以隐喻一定语义或操作功能的图形、图像或符号、标识，卡片母版是布置一个或多个不同卡片的物理载体。摄像头获取卡片母版上的图像数据，传给计算机，计算机通过对各个卡片进行分割，并对卡片进行识别。

摄像头、卡片母版以及智能感知和识别算法，卡片母版是一个物理平面，上面分布着代表不同操控对象(如电视机、空调、电热水器等智能家电设备)或操控功能的图像或图形(本发明把这些图像或图形称为卡片)。

计算机通过图像的卡片识别，自动确定卡片对应的功能；通过识别操作者的手势移动范围，隐式感知操作者的操控对象(首先需要判断操作者想操控电视，窗帘盒，还是电热水器)；通过对操作者进行手势识别，感知操作者的交互意图(如果操控对象是电视中的声音，需要判断操作者想调高声音还是调低声音)。与卡片对应的虚拟界面可以具有特定的功能分布。例如，与“电视卡片”对应的虚拟界面，可以划分为“音量调节区”、“频道调节区”、“打开”和“关闭”等不同的三维功能区。

虚拟界面群的生成算法如下：

(21)识别卡片C；

(22)计算卡片的所在平面的法线方向向量N(与Z轴的夹角小于90°)以及卡片边界角点的空间位置向量P；

3D深度摄像头可以返回3D场景中每个点的深度信息z和RRGB位图信息.首先，从RGB位图中得到角点的2D图像坐标(x,y)，然后，P＝(x,y,z)就是该角点的空间位置向量。

(23)从卡片数据库中检索出卡片对应的功能F；

卡片数据库中的每条记录包括以下字段：卡片名称，卡片编号，卡片图像识别特征，卡片的功能。

(24)以卡片边界的空间位置P为基础，沿方向N生成空间体V；

(25)求出该空间体的范围f，则空间体V(P，N，f，F)就是虚拟界面。

(26)如果还有未识别的卡片，转步骤1；

(27)返回虚拟界面群{Vi|i＝1,2…M}，其中，M是虚拟界面的个数。

卡片识别方法如下：

1，标准化卡片图像

为了解决卡片在发生平移、缩放的情况下对卡片识别带来的问题，同时提高识别速度，先对卡片图像进行标准化处理，即把分割后的卡片图像的尺寸统一规定到特定的像素图像内(本发明采用32*32的像素图像)。如图2-1和图2-2所示，图2-1为分割后的卡片图像，图2-2为标准化卡片图像。

卡片图像标准化处理步骤如下：

输入：分割后的卡片图像；

输出：标准化后的卡片图像；

Step1.求出卡片图像的最小外接正方形；

Step2.把最小外接正方形内卡片图像的像素点按照缩放公式(1)缩放到标准化图像中：

式中，(x′，y′)为标准化图像中像素点的坐标值，(x，y)为源图像中像素点的坐标值，zoom＝Newwide/Wide；zoom为缩放比率，Newwide为标准化图像的边长，Wide为源图像的边长；

2，卡片主方向

在卡片特征提取阶段，,引入卡片主方向的概念。卡片主方向是指从卡片重心点到卡片最远点的一个方向向量，它表征了卡片主轴的方向，即指尖的总体朝向。提出卡片主方向的目的是保证卡片特征提取的一致性，解决卡片在发生旋转情况下给卡片识别带来的问题。卡片主方向计算如下：

首先，按照公式(2)求出标准化卡片图像中卡片的重心点然后，再求出离卡片重心点最远的卡片像素点M(x_m,y_m)；最后，我们规定向量作为卡片的主方向，如图2-1和图2-2所示。

式中，R表示卡片图像中卡片像素的区域。

3，空间卡片坐标点分布特征

本,发明提出一种基于卡片主方向的卡片特征提取方法，并用空间卡片坐标点分布特征(hand coordinates distribution features,HCDF)来描述卡片的特征信息。

HCDF主要从卡片像素点在不同区域内的密度分布特征和坐标位置两方面来提取卡片特征。

一方面，由于不同卡片的卡片像素点在空间区域中的分布各不相同，故可以根据卡片密度分布特征把区分度较大的卡片识别出来。

另一方面，相近卡片的卡片像素点在空间坐标系中的坐标位置不同，因此可以通过像素点坐标位置的不同识别出相近卡片。在预处理阶段我们把卡片图像进行了标准化处理，确保了卡片像素点个数的规整化，避免了卡片因为放大缩小而造成像素点个数差别很大的问题。同时，每种卡片的卡片主方向相对固定，因而可以根据卡片主方向建立卡片的二维直角坐标系，保证同一种卡片在不同旋转角度下卡片像素点坐标的一致性、不同卡片之间卡片像素点坐标的差异性。通过这一系列的工作就保证了利用像素点坐标进行卡片识别的可行性。

通过一个方程组的形式来描述卡片的特征信息。

式中，HCDF表示卡片的特征向量，其中第一个特征表示卡片的主方向；第二个特征r表示把卡片图像划分为8个子图像区域后，每个子图像区域内目标像素点的相对密度；第三个特征p表示在二维卡片直角坐标系内，每个子图像区域中目标像素点的点集。

下面详细介绍公式(3)HCDF中每个特征的求解步骤：

输入：标准化卡片图像。

输出：HCDF的三个特征。

Step1.按公式(2)计算标准化图像中卡片的主方向

Step2.建立二维卡片直角坐标系；在标准化卡片图像中，以卡片重心点为坐标原点，卡片主方向为Y轴正方向，沿Y轴正方向顺时针旋转90度作为X轴正方向，建立二维卡片直角坐标系，如图3所示。

Step3.沿卡片主方向(即图3中二维卡片直角坐标系的Y轴)顺时针把卡片图像等分为8个子图像区域。

Step4.统计每个子图像区域内目标像素点的总数S_i(i＝1,…,8)，并找出S_i的最大值S_max＝Max(S_i)，然后按照公式(3)中的第3个式子，计算HCDF的第2个特征r。

Step6.把每个子图像区域内目标像素点的坐标值存放在HCDF的第3个特征p中，如公式(3)中第4个式子所示，其中R_i表示第i个子图像区域内的目标像素区域。

4，类-Hausdorff距离^[19]

Hausdorff距离反映了两组点集之间最大不匹配程度，它的值越大，说明这两组点集越不相似。但是，它对噪声点的干扰很敏感。比如，点集A和点集B非常相似，而A中仅有一点与B相差较大时，Hausdorff距离的值就变得很大，从而影响整体匹配的结果。

针对上述Hausdorff距离的缺点，提高算法对噪声的适应性，可以将单个元素代表整个集合的思想转变为集合内所有元素的平均作用。类-Hausdorff距离的定义如公式(4)所示。

HL(A,B)＝hl(A,B)+hl(B,A) (4)

式中，hl(A,B)和hl(B,A)分别表示点集A到点集B和点集B到点集A的单向类-Hausdorff距离，用数学公式表述分别为

式中，hl(A,B)表示累加计算出点集A中每一点到点集B中最近一点的距离后的均值；N_A为点集A中特征点的个数；选取欧氏距离Dis(a,b)作为||a-b||的距离范式，如公式(7)所示。同理可计算hl(B,A)。

对于两幅卡片图像E和F，它们之间的类-Hausdorff距离由8个子图像区域的类-Hausdorff距离累加得到，如公式(8)所示。

式中，p_i和p_j由公式(3)第4个式子所定义，p_i表示卡片图像E中第i个子图像区域内卡片像素点的点集，p_j表示卡片图像F中第j个子图像区域内卡片像素点的点集。

5，卡片识别

由于HCDF特征向量中的相对密度特征对相近卡片区分度不大，而相近卡片目标像素点的坐标不同，用类-Hausdorff距离可以加以区分。因此，本文结合HCDF和类-Hausdorff距离(HCDF-H)进行卡片识别。识别过程中,为了解决旋转效果对识别的影响,本文创新性地引入了卡片主方向同时，由于先用HCDF中的第二个特征进行初步识别，从而减少了类-Hausdorff距离的计算量，因此，比单纯用类-Hausdorff距离进行识别，提高了识别速度。

卡片识别算法步骤如下：

输入：摄像头获取的BMP图像。

输出：识别后的三维卡片图像。

Step1.从视频流中获取当前图像帧。

Step2.用肤色分布模型把目标卡片从图像帧中提取出来。

Step3.求出卡片图像的最小外接正方形，并把它转化为标准化的卡片图像。

Step4.计算出卡片主方向，并建立二维卡片直角坐标系，然后求出HCDF中的每个特征向量(见公式(3))。

Step5.计算当前卡片和样本库里每种卡片HCDF中第二个特征向量的欧氏距离，然后从小到大选取出M(本实验中M取8)个候选卡片G_m。其中，G_m表示第m个最小卡片，m＝1,…,M。

Step6.根据公式(8)依次计算当前卡片C和候选卡片G_m的类-Hausdorff距离HCG_m。

Step7.求出HCG_n，与之对应的样本库里的卡片G_n就是最终的识别结果，输出三维卡片图像。

HCG_n＝Min{HCG₁,…,HCG_M}，n＝1,…,M。

本发明采用粒子滤波算法得到手势运动轨迹：

S1：初始化。

根据手势重心状态的先验分布p(X₀)选择粒子集：

k＝1；

S2：状态采样。

S2.1：For i＝1To N

根据先验分布得到样本

S2.3：求样本的权值：

For i＝1To N

S2.3：把权值标准化：

For i＝1To N

S3：状态估计：

S4：重采样：

对样本进行重新抽样，产生一组新样本使得：

亦即新样本中出现的概率为ωⁱ

S5：k＝k+1，转S2。

上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

Claims (6)

1.一种通用的手势命令发射和操作装置方法，其特征在于：所述方法包括：

(1)生成虚拟界面群，得到虚拟界面群{Vi|i＝1,2…M}，其中，M是虚拟界面的个数；

(2)跟踪操作者的指尖，实时获取指尖位置FP；

(3)如果指尖在某虚拟界面j的正上方，则调出虚拟界面Vj(P，N，f，F)；

(4)在虚拟界面Vj内识别操作者的基本手势轨迹g，若g在Vj区域之外，计算机忽略g所代表的手势命令；

(5)通过自定义手势与命令之间的映射关系，把手势转化为操作指令，完成对物理界面或操控对象的操纵；

(6)转步骤(1)；

所述步骤(1)中的生成虚拟界面群是这样实现的：

(21)识别下一个卡片C；

(22)计算卡片所在平面的法线方向向量N以及卡片边界角点的空间位置向量P；

(23)从卡片数据库中检索出卡片对应的功能F；

卡片数据库中的每条记录包括以下字段：卡片名称，卡片编号，卡片图像识别特征，卡片的功能；

(24)以卡片边界的空间位置向量P为基础，沿方向N生成空间体V；

(25)求出该空间体V的范围f，则空间体V(P，N，f，F)就是虚拟界面；

(26)判断卡片母版上是否还有未识别卡片，如果还有，则转步骤(21)；如果没有，则进入步骤(27)；

(27)返回虚拟界面群{Vi|i＝1,2…M}，其中，M是虚拟界面的个数；

所述步骤(21)是这样实现的：

(211)，标准化卡片图像：对卡片图像进行标准化处理，即把分割后的卡片图像的尺寸统一规定到特定的像素图像内；

(212)，获取卡片主方向：卡片主方向是指从卡片重心点到卡片最远点的一个方向向量，它表征了卡片主轴的方向，即指尖的总体朝向；

(213)，利用空间卡片坐标点分布特征描述卡片的特征信息：基于卡片主方向提取卡片特征，并用空间卡片坐标点分布特征来描述卡片的特征信息；

(214)，获取类-Hausdorff距离：Hausdorff距离反映两组点集之间最大不匹配程度，它的值越大，这两组点集越不相似；

(215)，进行卡片识别：结合HCDF和类-Hausdorff距离进行卡片识别，HCDF表示卡片的特征向量。

2.根据权利要求1所述的方法，其特征在于：所述(211)中对卡片图像进行标准化处理是这样实现的：

S1.输入分割后的卡片图像，求出卡片图像的最小外接正方形；

S2.把最小外接正方形内卡片图像的像素点按照缩放公式(1)缩放到标准化图像中：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{cc}zoom& 0\\ 0& zoom\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]---\left(1\right)$

式中，(x′，y′)为标准化图像中像素点的坐标值，(x，y)为源图像中像素点的坐标值，zoom＝Newwide/Wide；zoom为缩放比率，Newwide为标准化图像的边长，Wide为源图像的边长；

S3.输出标准化后的卡片图像。

3.根据权利要求2所述的方法，其特征在于：所述步骤(212)是这样实现的：

首先，按照公式(2)求出标准化卡片图像中卡片的重心点然后，再求出离卡片重心点最远的卡片像素点M(x_m,y_m)；最后，规定向量作为卡片的主方向；

$\left\{\begin{array}{c}O=\left\{(\stackrel{\‾}{x},\stackrel{\‾}{y})\right|\stackrel{\‾}{x}=\frac{\underset{x}{\Σ}\underset{y}{\Σ}x\×f(x,y)}{\underset{x}{\Σ}\underset{y}{\Σ}f(x,y)},\stackrel{\‾}{y}=\frac{\underset{x}{\Σ}\underset{y}{\Σ}y\×f(x,y)}{\underset{x}{\Σ}\underset{y}{\Σ}f(x,y)}\}\\ M=\left\{(x_m,y_m)\right|\max \left(\sqrt{{(x-\stackrel{\‾}{x})}^2+{(y-\stackrel{\‾}{y})}^2}\right),(x,y)\∈R\}\\ \stackrel{\→}{OM}=(x_m-\stackrel{\‾}{x},y_m-\stackrel{\‾}{y})\end{array}\right.---\left(2\right)$

式中，R表示卡片图像中卡片像素的区域。

4.根据权利要求3所述的方法，其特征在于：所述步骤(213)通过下面的方程组来描述卡片的特征信息；

$\left\{\begin{array}{c}HCDF=\left(\stackrel{\→}{OM};r_1,\mathrm{...},r_8;p_1,\mathrm{...},p_8\right)\\ \stackrel{\→}{OM}=(x_m-\stackrel{\‾}{x},y_m-\stackrel{\‾}{y})\\ r_i=\frac{S_i}{S_{\max }},i=1,\mathrm{...},8\\ p_i=\left\{(x,y)\right|(x,y)\∈R_i\},i=1,\mathrm{...},8\end{array}\right.---\left(3\right)$

式中，HCDF表示卡片的特征向量，其中第一个特征表示卡片的主方向；第二个特征r表示把卡片图像划分为8个子图像区域后，每个子图像区域内目标像素点的相对密度；第三个特征p表示在二维卡片直角坐标系内，每个子图像区域中目标像素点的点集；

所述公式(3)中每个特征的求解步骤如下：

T1.输入标准化卡片图像，按公式(2)计算标准化图像中卡片的主方向

T2.建立二维卡片直角坐标系；在标准化卡片图像中，以卡片重心点为坐标原点，卡片主方向为Y轴正方向，沿Y轴正方向顺时针旋转90度作为X轴正方向，建立二维卡片直角坐标系；

T3.沿卡片主方向顺时针把卡片图像等分为8个子图像区域；

T4.统计每个子图像区域内目标像素点的总数S_i(i＝1,…,8)，并找出S_i的最大值S_max＝Max(S_i)，然后按照公式(3)中的第3个式子，计算HCDF的第2个特征r；

T5.把每个子图像区域内目标像素点的坐标值存放在HCDF的第3个特征p中，如公式(3)中第4个式子所示，其中R_i表示第i个子图像区域内的目标像素区域；

T6.输出HCDF的三个特征。

5.根据权利要求4所述的方法，其特征在于：所述步骤(214)是利用公式(4)获得的：

HL(A,B)＝hl(A,B)+hl(B,A) (4)

式中，hl(A,B)表示点集A到点集B的单向类-Hausdorff距离，hl(B,A)表示点集B到点集A的单向类-Hausdorff距离，用数学公式表述分别为

$hl(A,B)=\sqrt{\frac{1}{N_A}{\Σ}_{a\∈A}\underset{b\∈B}{min}\left|\right|a-b\left|\right|}---\left(5\right)$

$hl(B,A)=\sqrt{\frac{1}{N_B}{\Σ}_{b\∈B}\underset{a\∈A}{min}\left|\right|b-a\left|\right|}---\left(6\right)$

式中，hl(A,B)表示累加计算出点集A中每一点到点集B中最近一点的距离后的均值；N_A为点集A中特征点的个数；选取欧氏距离Dis(a,b)作为||a-b||的距离范式，如公式(7)所示，同理计算hl(B,A)；

$Dis(a,b)=\sqrt{{(a_x-b_x)}^2+{(a_y-b_y)}^2,}a\∈A,b\∈B---\left(7\right)$

其中，a(a_x,a_y)和b(b_x,b_y)分别是集合A和集合B中的一个元素，a_x和a_y分别是元素a的横坐标和纵坐标，b_x和b_y分别是元素b的横坐标和纵坐标；

对于两幅卡片图像E和F，它们之间的类-Hausdorff距离由8个子图像区域的类-Hausdorff距离累加得到，如公式(8)所示：

$HEF=\underset{i,j=1,\mathrm{...},8}{\Σ}HL(p_i,p_j)---\left(8\right)$

式中，p_i和p_j由公式(3)第4个式子所定义，p_i表示卡片图像E中第i个子图像区域内卡片像素点的点集，p_j表示卡片图像F中第j个子图像区域内卡片像素点的点集。

6.根据权利要求5所述的方法，其特征在于：所述步骤(215)是这样实现的：

P1.从视频流中获取当前图像帧；

P2.用肤色分布模型把目标卡片从图像帧中提取出来；

P3.求出卡片图像的最小外接正方形，并把它转化为标准化的卡片图像；

P4.计算出卡片主方向，并建立二维卡片直角坐标系，然后求出HCDF中的每个特征向量；

P5.计算当前卡片和样本库里每种卡片HCDF中第二个特征向量的欧氏距离，然后从小到大选取出M；

P6.根据公式(8)依次计算当前卡片C和候选卡片G_m的类-Hausdorff距离HCG_m；

P7.求出HCG_n，与之对应的样本库里的卡片G_n就是最终的识别结果，输出三维卡片图像；

HCG_n＝Min{HCG₁,…,HCG_M}，n＝1,…,M。