CN107563333A - 一种基于测距辅助的双目视觉手势识别方法和装置 - Google Patents
一种基于测距辅助的双目视觉手势识别方法和装置 Download PDFInfo
- Publication number
- CN107563333A CN107563333A CN201710792820.2A CN201710792820A CN107563333A CN 107563333 A CN107563333 A CN 107563333A CN 201710792820 A CN201710792820 A CN 201710792820A CN 107563333 A CN107563333 A CN 107563333A
- Authority
- CN
- China
- Prior art keywords
- gesture
- binocular vision
- image
- depth
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明提供了一种基于测距辅助的双目视觉手势识别方法，包括：通过双目视觉单元采集图像，同时通过测距单元获取测距数据；根据所述测距数据计算双目视觉单元到手部的深度距离；根据立体成像原理对所述双目视觉单元采集的图像进行处理，生成深度图像；根据所述深度距离，从所述深度图像中提取深度值在预设范围内的图像进行手势分割，获得手势分割图；对所述手势分割图进行手势识别，并输出手势识别结果；通过测距单元辅助测量，根据获得的测距数据进行手部区域的分割，能够有效提高手势分割的精确性，进而提高手势识别的准确性。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于测距辅助的双目视觉手势识别方法和装置。
背景技术
手势识别在人机交互、游戏娱乐、车载应用等方面有着广泛的应用。手势识别装置以视觉、红外、雷达等方式感知手势环境，其中视觉感知方式的应用最为普遍。传统的视觉手势识别以双目摄像头为主，通过双目摄像头采集深度图像，然后进行手势特征提取和手势分类识别。
但是，现有基于双目摄像头的手势识别，存在两个方面的不足：1)部分双目摄像头设备，例如微软公司的3D体感设备kinect，虽然可以获取图像的深度信息用于手势识别，但不足在于需要特殊的视频采集设备(如深度摄像头)来获取手势图像和深度信息，设备成本较高；2)在对双目摄像头拍摄的深度图进行手部分割时，一般采用经验值进行深度阈值手势分割，将深度信息获取范围限定在距离摄像头d1和d2之间(d1和d2根据经验值设置)，这样导致得到的手势分割结果出现手部不完整或手部带有过多手腕等其他分割物的情况，从而影响后续的手势识别准确度。
发明内容
本发明的目的在于针对上述现有技术中的采用的经验值进行手势分割带来的手势识别准确度低的问题，提出一种基于测距辅助的双目视觉手势识别方法和装置，能够有效提高手势识别的准确性。
一种基于测距辅助的双目视觉手势识别方法，包括：
通过双目视觉单元采集图像，同时通过测距单元获取测距数据；
根据所述测距数据计算双目视觉单元到手部的深度距离；
根据立体成像原理对所述双目视觉单元采集的图像进行处理，生成深度图像；
根据所述深度距离，从所述深度图像中提取深度值在预设范围内的图像进行手势分割，获得手势分割图；
对所述手势分割图进行手势识别，并输出手势识别结果。
进一步地，所述测距单元为红外测距装置，所述测距数据为红外测距装置接收到反射红外光线的偏移值；
所述双目视觉单元到手部的深度距离通过以下公式进行计算：
D＝X*f/(L+f*tan a)；
其中，D为深度距离，L为偏移值，X为中心距，a为红外测距装置的发射角度，f为滤镜的焦距。
进一步地，从所述深度图像中提取深度值在D-h＜d＜D+2*h内的图像进行手势分割；
其中，D为深度距离，d为待提取图像的深度值，h为预设阈值。
进一步地，所述手势识别包括静态手势分类识别，采用支持向量机分类器，或者神经网络分类器，或者集成分类器进行静态手势分类识别。
进一步地，所述手势识别包括动态手势分类识别，采用隐马尔科夫分类器或者神经网络分配器进行动态手势分类识别。
一种基于测距辅助的双目视觉手势识别装置，包括双目视觉单元、测距单元以及控制装置；
所述双目视觉单元用于采集图像并发送至控制装置；
所述测距单元用于当双目视觉单元采集图像的同时获取测距数据；
所述控制装置用于根据所述测距数据计算双目视觉单元到手部的深度距离，根据立体成像原理对所述双目视觉单元采集的图像进行处理，生成深度图像，根据所述深度距离，从所述深度图像中提取深度值在预设范围内的图像进行手势分割，获得手势分割图，对所述手势分割图进行手势识别，并输出手势识别结果。
进一步地，所述双目视觉单元包括相距预设距离的第一摄像头和第二摄像头。
进一步地，所述测距单元为红外测距装置，包括红外发射装置和红外接收装置，所述红外发射装置和红外接收装置位于所述第一摄像头和第二摄像头之间。
进一步地，所述测距单元的测距范围为以所述红外发射装置的发射点为圆心，安全距离为半径的扇形区域。
进一步地，所述控制装置包括静态手势分类器和/或动态手势分类器，所述静态手势分类器用于进行静态手势分类识别，所述动态手势分类器用于进行动态手势分类识别。
本实施例提供的基于测距辅助的双目视觉手势识别方法和装置，至少包括如下有益效果：
(1)通过测距单元辅助测量，根据获得的测距数据进行手部区域的分割，能够有效提高手势分割的精确性，进而提高手势识别的准确性；
(2)提取深度值在预设范围内的深度图像，可以将整个手部包括进来，进而使得手势分割更加精确；
(3)装置结构简单，可靠性强。
附图说明
图1为本发明提供的基于测距辅助的双目视觉手势识别方法一种实施例的流程图。
图2为本发明提供的基于测距辅助的双目视觉手势识别方法中的测距原理示意图。
图3为本发明提供的基于测距辅助的双目视觉手势识别装置一种实施例的结构示意图。
图4为本发明提供的基于测距辅助的双目视觉手势识别装置另一种实施例的结构示意图。
图5为本发明提供的基于测距辅助的双目视觉手势识别装置中测距单元的测距范围示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例一
参考图1，本实施例提供一种基于测距辅助的双目视觉手势识别方法，包括：
步骤S101，通过双目视觉单元采集图像，同时通过测距单元获取测距数据；
步骤S102，根据所述测距数据计算双目视觉单元到手部的深度距离；
步骤S103，根据立体成像原理对所述双目视觉单元采集的图像进行处理，生成深度图像；
步骤S104，根据所述深度距离，从所述深度图像中提取深度值在预设范围内的图像进行手势分割，获得手势分割图；
步骤S105，对所述手势分割图进行手势识别，并输出手势识别结果。
本实施例提供的基于测距辅助的双目视觉手势识别方法，通过测距单元辅助测量，根据获得的测距数据进行手部区域的分割，能够有效提高手势分割的精确性，进而提高手势识别的准确性。
具体地，双目视觉单元采集图像的同时，通过测距单元获取测距数据，作为一种优选的实施方式，参考图2，采用红外测距装置获取测距数据,根据三角测距原理，红外测距装置按照一定的发射角度a发射红外光束，当遇到物体后，光束会反射回来，反射回来的光束被接收后，会得到一个偏移值L，所述测距数据为红外测距装置接收到反射红外光线的偏移值；
所述双目视觉单元到手部的深度距离通过以下公式进行计算：
D＝X*f/(L+f*tan a)；
其中，D为深度距离，L为偏移值，X为中心距，a为红外测距装置的发射角度，f为滤镜的焦距。
深度距离D为物体到双目视觉单元平面的距离。
测距单元的测距范围是扇形范围，以发射点为圆心，安全距离为半径。
进一步地，采用立体成像原理对所述双目视觉单元采集的图像进行处理，生成深度图像，通过立体成像原理生成深度图像为本领域公知技术，在此不再赘述。
进一步地，从所述深度图像中提取深度值在D-h＜d＜D+2*h内的图像进行手势分割；
其中，D为深度距离，d为待提取图像的深度值，h为预设阈值。
h根据经验值进行确定，优选范围为10mm≤h≤20mm。
提取上述范围内的深度图像，可以将整个手部包括进来，进而使得手势分割更加精确。
进一步地，所述手势识别包括静态手势分类识别，采用支持向量机分类器(SVM)，或者神经网络分类器，或者集成分类器进行静态手势分类识别。
进一步地，如果进行动态手势识别，采用动态手势分类器，定义每个动态手势动作用T帧表示，对T帧手势特征向量量化，输出T帧离散特征序列，以T帧离散特征序列为输入，采用动态手势分类器对T帧手势进行分类识别。
进一步地，动态手势分类器可采用隐马尔科夫分类器或者神经网络分配器。
本实施例提供的基于测距辅助的双目视觉手势识别方法，通过测距单元辅助测量，根据获得的测距数据进行手部区域的分割，可以将整个手部包括进来，使得手势分割更加精确，进而提高手势识别的准确性。
实施例二
参考图3，本实施例提供一种基于测距辅助的双目视觉手势识别装置，包括双目视觉单元201、测距单元202以及控制装置203；
双目视觉单元201用于采集图像并发送至控制装置203；
测距单元202用于当双目视觉单元201采集图像的同时获取测距数据；
控制装置203用于根据所述测距数据计算双目视觉单元到手部的深度距离，根据立体成像原理对所述双目视觉单元采集的图像进行处理，生成深度图像，根据所述深度距离，从所述深度图像中提取深度值在预设范围内的图像进行手势分割，获得手势分割图，对所述手势分割图进行手势识别，并输出手势识别结果。
进一步地，参考图4，所述双目视觉单201包括相距预设距离的第一摄像头2011和第二摄像头2012。
作为一种优选的实施方式，测距单元202为红外测距装置，包括红外发射装置2021和红外接收装置2022，红外发射装置2021和红外接收装置2022位于第一摄像头2011和第二摄像头2012之间。
参考图2，根据三角测距原理，红外发射装置按照一定的发射角度发射红外光束，当遇到物体后，红外光束反射回来，反射回来的红外光束被红外接收装置2022接收，会得到一个偏移值，所述测距数据为红外测距装置接收到反射红外光线的偏移值。
双目视觉单元到手部的深度距离的计算请参考实施例一，在此不再赘述。
进一步地，参考图5，测距单元202的测距范围为以所述红外发射装置的发射点为圆心，安全距离为半径的扇形区域。
作为一种优选的实施方式，控制装置203包括静态手势分类器，用于进行静态手势分类识别，静态手势分类器可以为支持向量机分类器(SVM)，或者神经网络分类器，或者集成分类器。
作为一种优选的实施方式，控制装置203还包括动态手势分类器用于进行动态手势分类识别，动态手势分类器可以采用隐马尔科夫分类器或者神经网络分配器。
本实施例提供的基于测距辅助的双目视觉手势识别装置，结构简单，可靠性强，通过测距单元辅助测量，根据获得的测距数据进行手部区域的分割，可以将整个手部包括进来，使得手势分割更加精确，进而提高手势识别的准确性。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于测距辅助的双目视觉手势识别方法，其特征在于，包括：
通过双目视觉单元采集图像，同时通过测距单元获取测距数据；
根据所述测距数据计算双目视觉单元到手部的深度距离；
根据立体成像原理对所述双目视觉单元采集的图像进行处理，生成深度图像；
根据所述深度距离，从所述深度图像中提取深度值在预设范围内的图像进行手势分割，获得手势分割图；
对所述手势分割图进行手势识别，并输出手势识别结果。
2.根据权利要求1所述的基于测距辅助的双目视觉手势识别方法，其特征在于，所述测距单元为红外测距装置，所述测距数据为红外测距装置接收到反射红外光线的偏移值；
所述双目视觉单元到手部的深度距离通过以下公式进行计算：
D＝X*f/(L+f*tan a)；
其中，D为深度距离，L为偏移值，X为中心距，a为红外测距装置的发射角度，f为滤镜的焦距。
3.根据权利要求1所述的基于测距辅助的双目视觉手势识别方法，其特征在于，从所述深度图像中提取深度值在D-h＜d＜D+2*h内的图像进行手势分割；
其中，D为深度距离，d为待提取图像的深度值，h为预设阈值。
4.根据权利要求1所述的基于测距辅助的双目视觉手势识别方法，其特征在于，所述手势识别包括静态手势分类识别，采用支持向量机分类器，或者神经网络分类器，或者集成分类器进行静态手势分类识别。
5.根据权利要求1所述的基于测距辅助的双目视觉手势识别方法，其特征在于，所述手势识别包括动态手势分类识别，采用隐马尔科夫分类器或者神经网络分配器进行动态手势分类识别。
6.一种基于测距辅助的双目视觉手势识别装置，其特征在于，包括双目视觉单元、测距单元以及控制装置；
所述双目视觉单元用于采集图像并发送至控制装置；
所述测距单元用于当双目视觉单元采集图像的同时获取测距数据；
所述控制装置用于根据所述测距数据计算双目视觉单元到手部的深度距离，根据立体成像原理对所述双目视觉单元采集的图像进行处理，生成深度图像，根据所述深度距离，从所述深度图像中提取深度值在预设范围内的图像进行手势分割，获得手势分割图，对所述手势分割图进行手势识别，并输出手势识别结果。
7.根据权利要求6所述的基于测距辅助的双目视觉手势识别装置，其特征在于，所述双目视觉单元包括相距预设距离的第一摄像头和第二摄像头。
8.根据权利要求7所述的基于测距辅助的双目视觉手势识别装置，其特征在于，所述测距单元为红外测距装置，包括红外发射装置和红外接收装置，所述红外发射装置和红外接收装置位于所述第一摄像头和第二摄像头之间。
9.根据权利要求8所述的基于测距辅助的双目视觉手势识别装置，其特征在于，所述测距单元的测距范围为以所述红外发射装置的发射点为圆心，安全距离为半径的扇形区域。
10.根据权利要求9所述的基于测距辅助的双目视觉手势识别装置，其特征在于，所述控制装置包括静态手势分类器和/或动态手势分类器，所述静态手势分类器用于进行静态手势分类识别，所述动态手势分类器用于进行动态手势分类识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710792820.2A CN107563333A (zh) | 2017-09-05 | 2017-09-05 | 一种基于测距辅助的双目视觉手势识别方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710792820.2A CN107563333A (zh) | 2017-09-05 | 2017-09-05 | 一种基于测距辅助的双目视觉手势识别方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107563333A true CN107563333A (zh) | 2018-01-09 |
Family
ID=60979465
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710792820.2A Pending CN107563333A (zh) | 2017-09-05 | 2017-09-05 | 一种基于测距辅助的双目视觉手势识别方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107563333A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108717524A (zh) * | 2018-04-28 | 2018-10-30 | 天津大学 | 一种基于双摄手机和人工智能系统的手势识别系统及方法 |
| CN110298814A (zh) * | 2018-03-23 | 2019-10-01 | 苏州启铭臻楠电子科技有限公司 | 一种基于智能深度视觉的舞台摇头灯运动协调性分析方法 |
| CN110442242A (zh) * | 2019-08-13 | 2019-11-12 | 哈尔滨拓博科技有限公司 | 一种基于双目空间手势交互的智能镜系统及控制方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598915A (zh) * | 2014-01-24 | 2015-05-06 | 深圳奥比中光科技有限公司 | 一种手势识别方法与装置 |
| CN105528082A (zh) * | 2016-01-08 | 2016-04-27 | 北京暴风魔镜科技有限公司 | 三维空间及手势识别追踪交互方法、装置和系统 |
| CN106372564A (zh) * | 2015-07-23 | 2017-02-01 | 株式会社理光 | 手势识别方法和装置 |
| CN206224383U (zh) * | 2016-10-12 | 2017-06-06 | 华南理工大学 | 一种基于双目视觉的手势识别采集系统 |
-
2017
- 2017-09-05 CN CN201710792820.2A patent/CN107563333A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598915A (zh) * | 2014-01-24 | 2015-05-06 | 深圳奥比中光科技有限公司 | 一种手势识别方法与装置 |
| CN106372564A (zh) * | 2015-07-23 | 2017-02-01 | 株式会社理光 | 手势识别方法和装置 |
| CN105528082A (zh) * | 2016-01-08 | 2016-04-27 | 北京暴风魔镜科技有限公司 | 三维空间及手势识别追踪交互方法、装置和系统 |
| CN206224383U (zh) * | 2016-10-12 | 2017-06-06 | 华南理工大学 | 一种基于双目视觉的手势识别采集系统 |
Non-Patent Citations (4)
| Title |
|---|
| 李伟: "基于Kinect深度信息的手势识别系统", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 许凯 等: "基于手轮廓的深度图像手势识别方法", 《计算机工程与科学》 * |
| 郭宝龙等: "《数字图像处理系统工程导论》", 31 July 2012, 《西安电子科技大学出版社》 * |
| 阚江明等: "《基于计算机视觉的活立木三维重建方法》", 30 November 2011, 《中国环境科学出版社》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110298814A (zh) * | 2018-03-23 | 2019-10-01 | 苏州启铭臻楠电子科技有限公司 | 一种基于智能深度视觉的舞台摇头灯运动协调性分析方法 |
| CN108717524A (zh) * | 2018-04-28 | 2018-10-30 | 天津大学 | 一种基于双摄手机和人工智能系统的手势识别系统及方法 |
| CN108717524B (zh) * | 2018-04-28 | 2022-05-06 | 天津大学 | 一种基于双摄手机和人工智能系统的手势识别系统 |
| CN110442242A (zh) * | 2019-08-13 | 2019-11-12 | 哈尔滨拓博科技有限公司 | 一种基于双目空间手势交互的智能镜系统及控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109271944B (zh) | 障碍物检测方法、装置、电子设备、车辆及存储介质 | |
| Koch et al. | Automated pothole distress assessment using asphalt pavement video data | |
| CN113362444B (zh) | 点云数据的生成方法、装置、电子设备及存储介质 | |
| EP2848002B1 (en) | Apparatus and method for processing 3d information | |
| CN110793544B (zh) | 路侧感知传感器参数标定方法、装置、设备及存储介质 | |
| JP5753218B2 (ja) | 客体の材質認識装置及びその方法 | |
| CN105043350A (zh) | 一种双目视觉测量方法 | |
| CN104317391A (zh) | 一种基于立体视觉的三维手掌姿态识别交互方法和系统 | |
| CN104677330A (zh) | 一种小型双目立体视觉测距系统 | |
| CN109118532B (zh) | 视觉景深估计方法、装置、设备及存储介质 | |
| CN109116374A (zh) | 确定障碍物距离的方法、装置、设备及存储介质 | |
| WO2021147905A1 (zh) | 三维空间内注视行为的识别方法、装置及存储介质 | |
| CN105517677A (zh) | 深度图/视差图的后处理方法和装置 | |
| CN108629231A (zh) | 障碍物检测方法、装置、设备及存储介质 | |
| KR102057531B1 (ko) | 제스처를 이용하여 데이터를 송수신하는 모바일 기기들 | |
| CN107636680A (zh) | 一种障碍物检测方法及装置 | |
| CN113378760A (zh) | 训练目标检测模型和检测目标的方法及装置 | |
| CN108876835A (zh) | 深度信息检测方法、装置和系统及存储介质 | |
| CN106780476A (zh) | 一种基于人眼立体视觉特性的立体图像显著性检测方法 | |
| CN107563333A (zh) | 一种基于测距辅助的双目视觉手势识别方法和装置 | |
| CN106327558A (zh) | 点云立面提取方法和装置 | |
| CN104864849A (zh) | 视觉导航方法和装置以及机器人 | |
| CN106295557A (zh) | 一种人群密度估计的方法及装置 | |
| Kim et al. | The effective acquisition and processing of 3D photogrammetric data from digital photogrammetry for construction progress measurement | |
| CN108399630B (zh) | 一种复杂场景下感兴趣区域内目标快速测距方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180109 |