CN108171163B - 基于Pareto优化查询的手部姿态识别方法 - Google Patents

基于Pareto优化查询的手部姿态识别方法 Download PDF

Info

Publication number
CN108171163B
CN108171163B CN201711453511.9A CN201711453511A CN108171163B CN 108171163 B CN108171163 B CN 108171163B CN 201711453511 A CN201711453511 A CN 201711453511A CN 108171163 B CN108171163 B CN 108171163B
Authority
CN
China
Prior art keywords
gesture
image
viewpoint
dissimilarity
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711453511.9A
Other languages
English (en)
Other versions
CN108171163A (zh
Inventor
孙瑾
张哲�
杨刘涛
丁永晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201711453511.9A priority Critical patent/CN108171163B/zh
Publication of CN108171163A publication Critical patent/CN108171163A/zh
Application granted granted Critical
Publication of CN108171163B publication Critical patent/CN108171163B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于Pareto优化查询的手部姿态识别方法，属于基于视频的数据处理技术领域。该方法利用Poser软件建立多视点下的手部图像库树形模型，提取手部图像特征后建立特征空间与手姿态空间的映射关系，然后采用与Poser相同视点布置摄像机拍摄目标手势，基于Pareto优化查询方法将手部姿态估计中的图像匹配问题转化为多视点优化查询，实现不同视点图像层的并行搜索以提高查询效率，最后在查询获得的Pareto最优点集中，依据欧式距离选取与圆心最近距离位置的解作为姿态识别结果。本发明采用多摄像机布置消除手部自遮挡造成的姿态识别歧义，基于Pareto优化查询方法提高识别的准确性和实时性。

Description

基于Pareto优化查询的手部姿态识别方法
技术领域
本发明涉及一种基于Pareto(帕累托)优化查询的手部姿态识别方法，属于基于视频的数据处理技术领域。
背景技术
基于视频的无标记手姿态识别方法可以分为两大类：基于模型 (Model-Based)的方法和基于表观(Appearance-Based)的方法。
基于模型的方法利用3D手模型投影得到预测手型图像，比较其与实时采集图像之间差异，修正相应姿态参数。该方法跟踪精度较高，但要在高维手姿态空间中完成各维参数的搜索耗时巨大，有的学者，参见“I.Oikonomidis,N.Kyriazis, A.Argyros.基于遮挡和物理约束下的全自由度手部交互跟踪.2011年计算机视觉国际会议.2011:2088-2095”采用圆柱体，有的学者，参见“C.Qian,X.Sun,Y. Wei,X.Tang,J.Sun.基于深度的手部实时鲁棒跟踪.2014年计算机视觉与模式识别国际会议.2014:1106-1113”采用球体近似手模型，降低姿态空间维数，但仍无法满足实时跟踪的要求。
基于表观的方法通过预先给出的手势图像库，建立图像特征空间到姿态空间的映射，由图像特征直接估计姿态参数。相比较基于模型的方法，时间复杂度较低，易于达到实时性。但映射过程时间效率和准确率与手势图像库图像数量相关，特别为解决自遮挡问题，往往需要多视点下建立庞大的图像库以及高效的数据搜索算法的支持，即使通过索引机制加快图像检索效率，时间效率和准确率也是一对矛盾共同体。
发明内容
本发明提出了一种基于Pareto优化查询的手部姿态识别方法，将姿态识别中的逐层单目标图像匹配转化为多视点查询优化问题，实现不同视点层特征匹配的并行计算以降低时间消耗，并通过获得Pareto最优点集，抛弃不相似度较大的节点，有效降低数据点个数，提高识别效率。同时由于将不同视点层的相似度同时引入，不设定每层的筛选阈值，避免由于筛选阈值引起的误判，提高识别准确性。
本发明为解决其技术问题采用如下技术方案：
一种基于Pareto优化查询的手部姿态识别方法，包括如下步骤：
(1)构建手势特征库：利用Poser软件控制手部模型姿态参数获得多视点摄像机下不同手势图像，依据视点关系建立手势图像库树形模型，采用计算机图像处理方法提取对应手部图像特征，在树形模型下建立手势特征空间与姿态参数空间的映射关系；
(2)获得目标手势图像特征：采取与手势图像库相同视点布置摄像机拍摄目标手部图像，提取手部区域后采用步骤(1)中的图像处理技术提取目标手势不同视点下图像特征；
(3)Pareto优化查询：将步骤(2)拍摄得到的目标手势各视点图像特征与树形模型中对应视点层各个图像特征进行比较，不同视点层图像可以并行计算与目标手势对应视点下的图像不相似度，与同一手势不同视点图像的不相似度构成了一个多维空间数据点，称为Pareto点，与不同手势的比较就构成了多维空间的Pareto点集，然后通过点集中的严格支配关系求解出Pareto最优点集；
(4)手部姿态识别：在查询获得的Pareto最优点集中，根据欧式距离选取与圆心最近距离点，依据在树形模型下手势特征空间与姿态参数空间的映射关系获得最近距离点对应的手部姿态参数，实现手部姿态识别。
步骤(3)中所述Pareto点集及Pareto最优点集的形成方法，包括如下步骤：
步骤A：根据需要布置n个视点Ci，其中i＝1,2,3,...n，利用Poser软件获得手部模型在不同视点下的图像构成手势图像库树形模型，每个叶子节点和它的祖先节点是同一个手势在不同视点下拍摄的图像，每一层节点是同一视点下不同手势的图像；
步骤B：按照模型库摄像机视点位置布置摄像机实拍目标手势，分别计算目标手势各视点下图像与模型库中对应视点层各节点的图像特征不相似度，各个视点层的不相似度可并行计算，即在计算Ci视点下目标手势图像与该视点层各图像的特征不相似度的同时，可同时计算Cj视点下目标手势图像与该视点层各图像的特征不相似度，其中i≠j；不同视点下的比较结果构建多维坐标系，每一维坐标分别代表目标手势与对应视点层各手势图像的特征不相似度，目标手势与图像库中手势si的特征不相似度构成了点
Figure BDA0001528837550000031
其中
Figure BDA0001528837550000032
是与手势si在视点C1层的图像特征不相似度，
Figure BDA0001528837550000033
是与手势si在视点 C2层的图像特征不相似度，
Figure BDA0001528837550000034
是与手势si在视点C3层的图像特征不相似度，
Figure BDA0001528837550000035
是与手势si在视点Cn层的图像特征不相似度，点di的维数由视点数n决定；与手势库中所有手势的匹配情况构成了Pareto点集D＝(d1,d2,...,dm)，其中d1是目标手势与树形模型中手势s1在各视点下图像特征不相似度组成的多维数据点，d2是目标手势与手势s2在各视点下图像特征不相似度组成的多维数据点，dm是目标手势与手势sm在各视点下图像特征不相似度组成的多维数据点，m为手势库中手势个数；
步骤C：在Pareto点集D＝(d1,d2,...,dm)中，如果点di和dj满足：
Figure BDA0001528837550000036
其中p＝1,2...,n，且
Figure BDA0001528837550000037
有
Figure BDA0001528837550000038
称元素di严格地支配元素dj，记作
Figure BDA00015288375500000314
其中
Figure BDA0001528837550000039
是目标手势与树形模型中手势si在 p视点下图像特征的不相似度，
Figure BDA00015288375500000310
是目标手势与树形模型中手势sj在p视点下图像特征的不相似度，
Figure BDA00015288375500000311
是目标手势与树形模型中手势si在q视点下图像特征的不相似度，
Figure BDA00015288375500000312
是目标手势与树形模型中手势sj在q视点下图像特征的不相似度；
Figure BDA00015288375500000313
如果d不被D中其余元素严格支配，则称d为一个Pareto 最优点；D中所有的Pareto最优点构成了Pareto最优点集合，也称为Pareto最优点集。
本发明的有益效果如下：
本发明方法中操作者手上无需任何附加物，不会妨碍操作者的动作，操作者手部位置不受限制，可以方便进行操作，还可以直接获得温度、材质、纹理等感知。本发明布置多角度摄像机拍摄，通过建立多视点手势图像库树形模型，避免由于手势自遮挡产生的同一视点下不同手势具有相同观测图像而导致的误识别问题，同时本发明方法通过多层视点的并行计算有效解决多视点识别时的效率问题。
附图说明
图1为正交摄像头布置方案示例。
图2为手势图像库树形模型及手势特征-姿态映射关系示意图。
图3为图2中手势图像库查询后的Pareto点集映射。
图4为Pareto最优点集示意图。
具体实施方式
本发明以正交二层视点为例，结合附图和实施案例对本发明的技术方案做进一步详细说明：
利用Poser软件进行手势图像的采集。本发明以正交二层视点为例，采用如图1所示布置两个正交摄像机C1和C2，由Poser控制模型手的姿态拍摄模型手势在C1和C2视点下的图像以构建手势模型库；
对各个视点下的手势图像提取特征。本发明中通过比较邻域对称点之间的差异捕捉梯度信息进行二值描述得到OG_LBP(梯度二值模式)特征：
Figure BDA0001528837550000041
其中，gi和gi+P/2分别代表邻域内以中心点为对称的一组像素点的灰度值； P是环形邻域内半径为R的像素个数，坐标不是整数位置的采样点可通过双线性插值得到；OG_LBP特征以邻域对称点之间的差异描述梯度信息，采用v(·)阶跃响应函数，其中σ为人工设定的阈值：
Figure BDA0001528837550000051
对手势图库里所有手势图像提取OG_LBP特征。
采用树形结构，以不同树层代表不同视点，生成图2所示的手势特征图像库树形模型。其中
Figure BDA0001528837550000052
表示手势特征树的节点对应的OG_LBP图像特征， Cp(p＝1,2,...,n)代表摄像机视点，mp(p＝1,2,...)为Cp视点下的树节点数目。每个叶子节点和它的祖先节点构成一个手势在不同视点下拍摄的图像，例如，
Figure BDA0001528837550000053
组成手势s1，
Figure BDA0001528837550000054
组成手势s2，
Figure BDA0001528837550000055
组成手势
Figure BDA0001528837550000056
每一层节点代表不同手势在该层对应视点下的图像。手势库中模型手势数量等于叶子节点数量，以正交两个视点为例，每个叶子节点
Figure BDA0001528837550000057
对应于模型手势的唯一姿态参数φi(i＝1,2,...,m2)，m2是模型库手势个数。于是建立手势特征空间与姿态参数空间的映射关系。
实际拍摄过程也按照图1布置正交摄像机拍摄目标手势，对目标手势的图像提取OG_LBP特征，将目标手势图像与手势模型库(图2树形模型所示)中手势进行图像特征相似度比较，为方便优化检索，本发明采用不相似度进行比较，每个视点下的不相似度比较采用归一化的直方图相交距离：
Figure BDA0001528837550000058
其中A，B表示待识别目标手势和模型库中任一手势的OG_LBP图像特征值，k 表示OG_LBP特征通道数，ai和bi分别表示归一化后的特征通道值。
双视点C1和C2下的不相似度比较组成目标手势与手势库中手势si的特征匹配向量di：
di＝(f1(si),f2(si)) si∈S
其中f1(si)、f2(si)分别表示视点C1和C2下目标手势图像与树形模型中对应视点层手势si图像的不相似度。将得到的二维特征匹配向量映射到坐标系中，得到图 3所示二维坐标系中的点集
Figure BDA0001528837550000061
其中s1为手势1，s2为手势2，
Figure BDA0001528837550000062
为手势m2，m2为手势库中手势数量。其中双视点C1和C2下的不相似度比较可以并行进行，即目标手势C1视点下图像与手势库C1视点下的树节点进行图像特征比较的同时，可进行C2视点下目标手势图像与C2层各节点图像特征的比较，提高搜索效率。
利用Pareto优化查询算法可以获得Pareto最优点。如图4所示，对坐标系中的特征匹配点集D来说，当点集中任意两点x和y之间存在如下关系：
fi(x)≤fi(y) i＝1,2,...,T
并且
Figure BDA0001528837550000063
满足fj(x)＜fj(y)
其中fi(·)为第i个视点下的不相似度，fi(x)为目标手势与模型库中手势x在视点i下的图像不相似度，fi(y)为目标手势与模型库中手势y在视点i下的图像不相似度，fj(x)为目标手势与模型库中手势x在视点j下的图像的不相似度， fj(y)为目标手势与模型库中手势y在视点j下的图像不相似度。T为匹配向量的维度，本发明中代表视点数，本例中为2。存在上述关系时称点x严格支配点y，或点y被点x严格支配，记作
Figure BDA0001528837550000064
转换为优化问题的解后，点x对应的解要优于点y对应的解，如果点x不被D中其余元素严格支配，则称x为一个Pareto 最优点。D中所有的Pareto最优点构成了Pareto最优点集，也称Pareto Front，如图4中大点组成的集合。图3二维坐标系中的点集显示了与图2双视点树形模型手势特征匹配后形成的查询点，其中直线连接线上的点组成了Pareto最优点集。
手势识别在Pareto最优点集中选取，最优识别结果可能在某一视点下的特征匹配不是最优，但在多视点的检索优化条件下，其在多维特征下的相似度具有最优性。因此在得到的Pareto最优点集中根据最优判据检索出匹配结果。本发明中依据欧式距离选取与圆心最近距离位置的解作为识别的最优坐标点。
Figure BDA0001528837550000071
其中F为从特征匹配点集D中得到的Pareto最优点集，Df为F中任一Pareto 最优点。利用欧式距离求解后选取与圆心最近距离位置的解作为最优结果。图3 二维坐标系中的点集中
Figure BDA0001528837550000072
为最优结果，则在图2中的树形结构中查找手势s3对应姿态φ3即为姿态识别结果。

Claims (1)

1.一种基于Pareto优化查询的手部姿态识别方法，其特征在于，包括如下步骤：
(1)构建手势特征库：利用Poser软件控制手部模型姿态参数获得多视点摄像机下不同手势图像，依据视点关系建立手势图像库树形模型，采用计算机图像处理方法提取对应手部图像特征，在树形模型下建立手势特征空间与姿态参数空间的映射关系；
(2)获得目标手势图像特征：采取与手势图像库相同视点布置摄像机拍摄目标手部图像，提取手部区域后采用步骤(1)中的图像处理技术提取目标手势不同视点下图像特征；
(3)Pareto优化查询：将步骤(2)拍摄得到的目标手势各视点图像特征与树形模型中对应视点层各个图像特征进行比较，不同视点层图像可以并行计算与目标手势对应视点下的图像不相似度，与同一手势不同视点图像的不相似度构成了一个多维空间数据点，称为Pareto点，与不同手势的比较就构成了多维空间的Pareto点集，然后通过点集中的严格支配关系求解出Pareto最优点集；所述Pareto点集及Pareto最优点集的形成方法，包括如下步骤：
步骤A：根据需要布置n个视点Ci，其中i＝1,2,3,...n，利用Poser软件获得手部模型在不同视点下的图像构成手势图像库树形模型，每个叶子节点和它的祖先节点是同一个手势在不同视点下拍摄的图像，每一层节点是同一视点下不同手势的图像；
步骤B：按照模型库摄像机视点位置布置摄像机实拍目标手势，分别计算目标手势各视点下图像与模型库中对应视点层各节点的图像特征不相似度，各个视点层的不相似度可并行计算，即在计算Ci视点下目标手势图像与对应视点层各图像的特征不相似度的同时，可同时计算Cj视点下目标手势图像与对应视点层各图像的特征不相似度，其中i≠j；不同视点下的比较结果构建多维坐标系，每一维坐标分别代表目标手势与对应视点层各手势图像的特征不相似度，目标手势与图像库中手势si的特征不相似度构成了点
Figure FDA0003239453760000011
其中
Figure FDA0003239453760000021
是与手势si在视点C1层的图像特征不相似度，
Figure FDA0003239453760000022
是与手势si在视点C2层的图像特征不相似度，
Figure FDA0003239453760000023
是与手势si在视点C3层的图像特征不相似度，
Figure FDA0003239453760000024
是与手势si在视点Cn层的图像特征不相似度，点di的维数由视点数n决定；与手势库中所有手势的匹配情况构成了Pareto点集D＝(d1,d2,...,dm)，其中d1是目标手势与树形模型中手势s1在各视点下图像特征不相似度组成的多维数据点，d2是目标手势与手势s2在各视点下图像特征不相似度组成的多维数据点，dm是目标手势与手势sm在各视点下图像特征不相似度组成的多维数据点，m为手势库中手势个数；
步骤C：在Pareto点集D＝(d1,d2,...,dm)中，如果点di和dj满足：
Figure FDA0003239453760000025
其中p＝1,2...,n，且
Figure FDA0003239453760000026
有
Figure FDA0003239453760000027
称元素di严格地支配元素dj，记作
Figure FDA0003239453760000028
其中
Figure FDA0003239453760000029
是目标手势与树形模型中手势si在p视点下图像特征的不相似度，
Figure FDA00032394537600000210
是目标手势与树形模型中手势sj在p视点下图像特征的不相似度，
Figure FDA00032394537600000211
是目标手势与树形模型中手势si在q视点下图像特征的不相似度，
Figure FDA00032394537600000212
是目标手势与树形模型中手势sj在q视点下图像特征的不相似度；
Figure FDA00032394537600000213
如果d不被D中其余元素严格支配，则称d为一个Pareto最优点；D中所有的Pareto最优点构成了Pareto最优点集合，也称为Pareto最优点集；(4)手部姿态识别：在查询获得的Pareto最优点集中，根据欧式距离选取与圆心最近距离点，依据在树形模型下手势特征空间与姿态参数空间的映射关系获得最近距离点对应的手部姿态参数，实现手部姿态识别。
CN201711453511.9A 2017-12-28 2017-12-28 基于Pareto优化查询的手部姿态识别方法 Active CN108171163B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711453511.9A CN108171163B (zh) 2017-12-28 2017-12-28 基于Pareto优化查询的手部姿态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711453511.9A CN108171163B (zh) 2017-12-28 2017-12-28 基于Pareto优化查询的手部姿态识别方法

Publications (2)

Publication Number Publication Date
CN108171163A CN108171163A (zh) 2018-06-15
CN108171163B true CN108171163B (zh) 2021-11-16

Family

ID=62518853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711453511.9A Active CN108171163B (zh) 2017-12-28 2017-12-28 基于Pareto优化查询的手部姿态识别方法

Country Status (1)

Country Link
CN (1) CN108171163B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650554A (zh) * 2015-10-30 2017-05-10 成都理想境界科技有限公司 静态手势识别方法
CN107479715A (zh) * 2017-09-29 2017-12-15 广州云友网络科技有限公司 利用手势控制实现虚拟现实交互的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650554A (zh) * 2015-10-30 2017-05-10 成都理想境界科技有限公司 静态手势识别方法
CN107479715A (zh) * 2017-09-29 2017-12-15 广州云友网络科技有限公司 利用手势控制实现虚拟现实交互的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Hand Gesture Vocabulary Design: A Multicriteria Optimization》;Helman I. Stern等;《2004 IEEE International Conference on Systems, Man and Cybernetics》;20050307;第19-23页 *
《面向虚拟现实飞行模拟训练的视觉手交互技术研究》;周来;《中国博士学位论文全文数据库》;20140615;第6-72页 *

Also Published As

Publication number Publication date
CN108171163A (zh) 2018-06-15

Similar Documents

Publication Publication Date Title
CN109598268B (zh) 一种基于单流深度网络的rgb-d显著目标检测方法
AU2020104423A4 (en) Multi-View Three-Dimensional Model Retrieval Method Based on Non-Local Graph Convolutional Network
CN108062574B (zh) 一种基于特定类别空间约束的弱监督目标检测方法
CN113065546B (zh) 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统
CN110110694B (zh) 一种基于目标检测的视觉slam闭环检测方法
CN111625667A (zh) 一种基于复杂背景图像的三维模型跨域检索方法及系统
CN107045631A (zh) 人脸特征点检测方法、装置及设备
CN113744311A (zh) 基于全连接注意力模块的孪生神经网络运动目标跟踪方法
CN113963032A (zh) 一种融合目标重识别的孪生网络结构目标跟踪方法
CN110490913A (zh) 基于角点与单线段编组的特征描述算子进行影像匹配方法
Zhu et al. A review of 6d object pose estimation
Wang et al. A novel method for image classification based on bag of visual words
CN115147599A (zh) 一种面向遮挡和截断场景的多几何特征学习的物体六自由度位姿估计方法
Javed et al. Hierarchical spatiotemporal graph regularized discriminative correlation filter for visual object tracking
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
Xie et al. RGB-D object tracking with occlusion detection
Wang et al. Global Localization in Large-scale Point Clouds via Roll-pitch-yaw Invariant Place Recognition and Low-overlap Global Registration
Liu et al. Deep learning of directional truncated signed distance function for robust 3D object recognition
CN113705393A (zh) 一种基于3d人脸模型的俯角人脸识别方法及系统
Wu et al. Object Pose Estimation with Point Cloud Data for Robot Grasping
CN108171163B (zh) 基于Pareto优化查询的手部姿态识别方法
Liu et al. [Retracted] Mean Shift Fusion Color Histogram Algorithm for Nonrigid Complex Target Tracking in Sports Video
Mebtouche et al. Depth estimation from a single 2D image
Li et al. A novel automatic image stitching algorithm for ceramic microscopic images
He et al. SCIR-Net: Structured color image representation based 3D object detection network from point clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant