CN108171163A - 基于Pareto优化查询的手部姿态识别方法 - Google Patents

Abstract

本发明涉及一种基于Pareto优化查询的手部姿态识别方法，属于基于视频的数据处理技术领域。该方法利用Poser软件建立多视点下的手部图像库树形模型，提取手部图像特征后建立特征空间与手姿态空间的映射关系，然后采用与Poser相同视点布置摄像机拍摄目标手势，基于Pareto优化查询方法将手部姿态估计中的图像匹配问题转化为多视点优化查询，实现不同视点图像层的并行搜索以提高查询效率，最后在查询获得的Pareto最优点集中，依据欧式距离选取与圆心最近距离位置的解作为姿态识别结果。本发明采用多摄像机布置消除手部自遮挡造成的姿态识别歧义，基于Pareto优化查询方法提高识别的准确性和实时性。

Description

基于Pareto优化查询的手部姿态识别方法

技术领域

本发明涉及一种基于Pareto(帕累托)优化查询的手部姿态识别方法，属于基于视频的数据处理技术领域。

背景技术

基于视频的无标记手姿态识别方法可以分为两大类：基于模型(Model-Based)的方法和基于表观(Appearance-Based)的方法。

基于模型的方法利用3D手模型投影得到预测手型图像，比较其与实时采集图像之间差异，修正相应姿态参数。该方法跟踪精度较高，但要在高维手姿态空间中完成各维参数的搜索耗时巨大，有的学者，参见“I.Oikonomidis,N.Kyriazis,A.Argyros.基于遮挡和物理约束下的全自由度手部交互跟踪.2011年计算机视觉国际会议.2011:2088-2095”采用圆柱体，有的学者，参见“C.Qian,X.Sun,Y.Wei,X.Tang,J.Sun.基于深度的手部实时鲁棒跟踪.2014年计算机视觉与模式识别国际会议.2014:1106-1113”采用球体近似手模型，降低姿态空间维数，但仍无法满足实时跟踪的要求。

基于表观的方法通过预先给出的手势图像库，建立图像特征空间到姿态空间的映射，由图像特征直接估计姿态参数。相比较基于模型的方法，时间复杂度较低，易于达到实时性。但映射过程时间效率和准确率与手势图像库图像数量相关，特别为解决自遮挡问题，往往需要多视点下建立庞大的图像库以及高效的数据搜索算法的支持，即使通过索引机制加快图像检索效率，时间效率和准确率也是一对矛盾共同体。

发明内容

本发明提出了一种基于Pareto优化查询的手部姿态识别方法，将姿态识别中的逐层单目标图像匹配转化为多视点查询优化问题，实现不同视点层特征匹配的并行计算以降低时间消耗，并通过获得Pareto最优点集，抛弃不相似度较大的节点，有效降低数据点个数，提高识别效率。同时由于将不同视点层的相似度同时引入，不设定每层的筛选阈值，避免由于筛选阈值引起的误判，提高识别准确性。

本发明为解决其技术问题采用如下技术方案：

一种基于Pareto优化查询的手部姿态识别方法，包括如下步骤：

(1)构建手势特征库：利用Poser软件控制手部模型姿态参数获得多视点摄像机下不同手势图像，依据视点关系建立手势图像库树形模型，采用计算机图像处理方法提取对应手部图像特征，在树形模型下建立手势特征空间与姿态参数空间的映射关系；

(2)获得目标手势图像特征：采取与手势图像库相同视点布置摄像机拍摄目标手部图像，提取手部区域后采用步骤(1)中的图像处理技术提取目标手势不同视点下图像特征；

(3)Pareto优化查询：将步骤(2)拍摄得到的目标手势各视点图像特征与树形模型中对应视点层各个图像特征进行比较，不同视点层图像可以并行计算与目标手势对应视点下的图像不相似度，与同一手势不同视点图像的不相似度构成了一个多维空间数据点，称为Pareto点，与不同手势的比较就构成了多维空间的Pareto点集，然后通过点集中的严格支配关系求解出Pareto最优点集；

(4)手部姿态识别：在查询获得的Pareto最优点集中，根据欧式距离选取与圆心最近距离点，依据在树形模型下手势特征空间与姿态参数空间的映射关系获得最近距离点对应的手部姿态参数，实现手部姿态识别。

步骤(3)中所述Pareto点集及Pareto最优点集的形成方法，包括如下步骤：

步骤A：根据需要布置n个视点C_i，其中i＝1,2,3,...n，利用Poser软件获得手部模型在不同视点下的图像构成手势图像库树形模型，每个叶子节点和它的祖先节点是同一个手势在不同视点下拍摄的图像，每一层节点是同一视点下不同手势的图像；

步骤B：按照模型库摄像机视点位置布置摄像机实拍目标手势，分别计算目标手势各视点下图像与模型库中对应视点层各节点的图像特征不相似度，各个视点层的不相似度可并行计算，即在计算C_i视点下目标手势图像与该视点层各图像的特征不相似度的同时，可同时计算C_j视点下目标手势图像与该视点层各图像的特征不相似度，其中i≠j；不同视点下的比较结果构建多维坐标系，每一维坐标分别代表目标手势与对应视点层各手势图像的特征不相似度，目标手势与图像库中手势s_i的的特征不相似度构成了点其中是与手势s_i在视点C₁层的图像特征不相似度，是与手势s_i在视点C₂层的图像特征不相似度，是与手势s_i在视点C₃层的图像特征不相似度，是与手势s_i在视点C_n层的图像特征不相似度，点d_i的维数由视点数n决定；与手势库中所有手势的匹配情况构成了Pareto点集D＝(d₁,d₂,...,d_m)，其中d₁是目标手势与树形模型中手势s₁在各视点下图像特征不相似度组成的多维数据点，d₂是目标手势与手势s₂在各视点下图像特征不相似度组成的多维数据点，d_m是目标手势与手势s_m在各视点下图像特征不相似度组成的多维数据点，m为手势库中手势个数；

步骤C：在Pareto点集D＝(d₁,d₂,...,d_m)中，如果点d_i和d_j满足：其中p＝1,2...,n，且有称元素d_i严格地支配元素d_j，记作其中是目标手势与树形模型中手势s_i在p视点下图像特征的不相似度，是目标手势与树形模型中手势s_j在p视点下图像特征的不相似度，是目标手势与树形模型中手势s_i在q视点下图像特征的不相似度，是目标手势与树形模型中手势s_j在q视点下图像特征的不相似度；如果d不被D中其余元素严格支配，则称d为一个Pareto最优点；D中所有的Pareto最优点构成了Pareto最优点集合，也称为Pareto最优点集。

本发明的有益效果如下：

本发明方法中操作者手上无需任何附加物，不会妨碍操作者的动作，操作者手部位置不受限制，可以方便进行操作，还可以直接获得温度、材质、纹理等感知。本发明布置多角度摄像机拍摄，通过建立多视点手势图像库树形模型，避免由于手势自遮挡产生的同一视点下不同手势具有相同观测图像而导致的误识别问题，同时本发明方法通过多层视点的并行计算有效解决多视点识别时的效率问题。

附图说明

图1为正交摄像头布置方案示例。

图2为手势图像库树形模型及手势特征-姿态映射关系示意图。

图3为图2中手势图像库查询后的Pareto点集映射。

图4为Pareto最优点集示意图。

具体实施方式

本发明以正交二层视点为例，结合附图和实施案例对本发明的技术方案做进一步详细说明：

利用Poser软件进行手势图像的采集。本发明以正交二层视点为例，采用如图1所示布置两个正交摄像机C₁和C₂，由Poser控制模型手的姿态拍摄模型手势在C₁和C₂视点下的图像以构建手势模型库；

对各个视点下的手势图像提取特征。本发明中通过比较邻域对称点之间的差异捕捉梯度信息进行二值描述得到OG_LBP(梯度二值模式)特征：

其中，g_i和g_i+P/2分别代表邻域内以中心点为对称的一组像素点的灰度值；P是环形邻域内半径为R的像素个数，坐标不是整数位置的采样点可通过双线性插值得到；OG_LBP特征以邻域对称点之间的差异描述梯度信息，采用v(·)阶跃响应函数，其中σ为人工设定的阈值：

对手势图库里所有手势图像提取OG_LBP特征。

采用树形结构，以不同树层代表不同视点，生成图2所示的手势特征图像库树形模型。其中表示手势特征树的节点对应的OG_LBP图像特征，C_p(p＝1,2,...,n)代表摄像机视点，m_p(p＝1,2,...)为C_p视点下的树节点数目。每个叶子节点和它的祖先节点构成一个手势在不同视点下拍摄的图像，例如，组成手势s₁，组成手势s₂，组成手势每一层节点代表不同手势在该层对应视点下的图像。手势库中模型手势数量等于叶子节点数量，以正交两个视点为例，每个叶子节点对应于模型手势的唯一姿态参数φ_i(i＝1,2,...,m₂)，m₂是模型库手势个数。于是建立手势特征空间与姿态参数空间的映射关系。

实际拍摄过程也按照图1布置正交摄像机拍摄目标手势，对目标手势的图像提取OG_LBP特征，将目标手势图像与手势模型库(图2树形模型所示)中手势进行图像特征相似度比较，为方便优化检索，本发明采用不相似度进行比较，每个视点下的不相似度比较采用归一化的直方图相交距离：

其中A，B表示待识别目标手势和模型库中任一手势的OG_LBP图像特征值，k表示OG_LBP特征通道数，a_i和b_i分别表示归一化后的特征通道值。

双视点C₁和C₂下的不相似度比较组成目标手势与手势库中手势s_i的特征匹配向量d_i：

d_i＝(f₁(s_i),f₂(s_i)) s_i∈S

其中f₁(s_i)、f₂(s_i)分别表示视点C₁和C₂下目标手势图像与树形模型中对应视点层手势s_i图像的不相似度。将得到的二维特征匹配向量映射到坐标系中，得到图3所示二维坐标系中的点集其中s₁为手势1，s₂为手势2，为手势m₂，m₂为手势库中手势数量。其中双视点C₁和C₂下的不相似度比较可以并行进行，即目标手势C₁视点下图像与手势库C₁视点下的树节点进行图像特征比较的同时，可进行C₂视点下目标手势图像与C₂层各节点图像特征的比较，提高搜索效率。

利用Pareto优化查询算法可以获得Pareto最优点。如图4所示，对坐标系中的特征匹配点集D来说，当点集中任意两点x和y之间存在如下关系：

f_i(x)≤f_i(y) i＝1,2,...,T

并且满足f_j(x)＜f_j(y)

其中f_i(·)为第i个视点下的不相似度，f_i(x)为目标手势与模型库中手势x在视点i下的图像不相似度，f_i(y)为目标手势与模型库中手势y在视点i下的图像不相似度，f_j(x)为目标手势与模型库中手势x在视点j下的图像的不相似度，f_j(y)为目标手势与模型库中手势y在视点j下的图像不相似度。T为匹配向量的维度，本发明中代表视点数，本例中为2。存在上述关系时称点x严格支配点y，或点y被点x严格支配，记作转换为优化问题的解后，点x对应的解要优于点y对应的解，如果点x不被D中其余元素严格支配，则称x为一个Pareto最优点。D中所有的Pareto最优点构成了Pareto最优点集，也称Pareto Front，如图4中大点组成的集合。图3二维坐标系中的点集显示了与图2双视点树形模型手势特征匹配后形成的查询点，其中直线连接线上的点组成了Pareto最优点集。

手势识别在Pareto最优点集中选取，最优识别结果可能在某一视点下的特征匹配不是最优，但在多视点的检索优化条件下，其在多维特征下的相似度具有最优性。因此在得到的Pareto最优点集中根据最优判据检索出匹配结果。本发明中依据欧式距离选取与圆心最近距离位置的解作为识别的最优坐标点。

其中F为从特征匹配点集D中得到的Pareto最优点集，D_f为F中任一Pareto最优点。利用欧式距离求解后选取与圆心最近距离位置的解作为最优结果。图3二维坐标系中的点集中为最优结果，则在图2中的树形结构中查找手势s₃对应姿态φ₃即为姿态识别结果。

Claims (2)

1.一种基于Pareto优化查询的手部姿态识别方法，其特征在于，包括如下步骤：

(1)构建手势特征库：利用Poser软件控制手部模型姿态参数获得多视点摄像机下不同手势图像，依据视点关系建立手势图像库树形模型，采用计算机图像处理方法提取对应手部图像特征，在树形模型下建立手势特征空间与姿态参数空间的映射关系；

(2)获得目标手势图像特征：采取与手势图像库相同视点布置摄像机拍摄目标手部图像，提取手部区域后采用步骤(1)中的图像处理技术提取目标手势不同视点下图像特征；

(3)Pareto优化查询：将步骤(2)拍摄得到的目标手势各视点图像特征与树形模型中对应视点层各个图像特征进行比较，不同视点层图像可以并行计算与目标手势对应视点下的图像不相似度，与同一手势不同视点图像的不相似度构成了一个多维空间数据点，称为Pareto点，与不同手势的比较就构成了多维空间的Pareto点集，然后通过点集中的严格支配关系求解出Pareto最优点集；

(4)手部姿态识别：在查询获得的Pareto最优点集中，根据欧式距离选取与圆心最近距离点，依据在树形模型下手势特征空间与姿态参数空间的映射关系获得最近距离点对应的手部姿态参数，实现手部姿态识别。

2.根据权利要求1所述的基于Pareto优化查询的手部姿态识别方法，其特征在于，步骤(3)中所述Pareto点集及Pareto最优点集的形成方法，包括如下步骤：

步骤A：根据需要布置n个视点C_i，其中i＝1,2,3,...n，利用Poser软件获得手部模型在不同视点下的图像构成手势图像库树形模型，每个叶子节点和它的祖先节点是同一个手势在不同视点下拍摄的图像，每一层节点是同一视点下不同手势的图像；

步骤B：按照模型库摄像机视点位置布置摄像机实拍目标手势，分别计算目标手势各视点下图像与模型库中对应视点层各节点的图像特征不相似度，各个视点层的不相似度可并行计算，即在计算C_i视点下目标手势图像与该视点层各图像的特征不相似度的同时，可同时计算C_j视点下目标手势图像与该视点层各图像的特征不相似度，其中i≠j；不同视点下的比较结果构建多维坐标系，每一维坐标分别代表目标手势与对应视点层各手势图像的特征不相似度，目标手势与图像库中手势s_i的的特征不相似度构成了点其中是与手势s_i在视点C₁层的图像特征不相似度，是与手势s_i在视点C₂层的图像特征不相似度，是与手势s_i在视点C₃层的图像特征不相似度，是与手势s_i在视点C_n层的图像特征不相似度，点d_i的维数由视点数n决定；与手势库中所有手势的匹配情况构成了Pareto点集D＝(d₁,d₂,...,d_m)，其中d₁是目标手势与树形模型中手势s₁在各视点下图像特征不相似度组成的多维数据点，d₂是目标手势与手势s₂在各视点下图像特征不相似度组成的多维数据点，d_m是目标手势与手势s_m在各视点下图像特征不相似度组成的多维数据点，m为手势库中手势个数；

步骤C：在Pareto点集D＝(d₁,d₂,...,d_m)中，如果点d_i和d_j满足：其中p＝1,2...,n，且有称元素d_i严格地支配元素d_j，记作其中是目标手势与树形模型中手势s_i在p视点下图像特征的不相似度，是目标手势与树形模型中手势s_j在p视点下图像特征的不相似度，是目标手势与树形模型中手势s_i在q视点下图像特征的不相似度，是目标手势与树形模型中手势s_j在q视点下图像特征的不相似度；如果d不被D中其余元素严格支配，则称d为一个Pareto最优点；D中所有的Pareto最优点构成了Pareto最优点集合，也称为Pareto最优点集。