CN108960109B - 一种基于两个单目摄像头的空间手势定位装置及定位方法 - Google Patents

Abstract

本发明提出了一种基于两个单目摄像头的空间手势定位装置及定位方法，包括图像信息获取装置和图像处理装置；所述图像信息获取装置包括大视场短焦单目摄像头、小视场长焦单目摄像头、红外补光器和双自由度云台。本发明解决了现有技术中视场角度过小的问题，彩色信息以及尺度信息的提取问题，造价上相对于深度视觉传感器有大幅度的降低。同时针对单目视觉传感器的方案中在较弱光照条件下，系统仍然可以保证较高的性能。

Description

一种基于两个单目摄像头的空间手势定位装置及定位方法

技术领域

本发明属于手势定位技术领域，特别是涉及一种基于两个单目摄像头的空间手势定位装置及定位方法。

背景技术

手势控制具备非接触、操作便捷的特点，是人机交互方式中重要的研究方向之一。目前，基于视觉的空间手势识别可分为基于二维图像及基于深度图像两类类方法。

基于二维图像的方式通过一个单目摄像头，获取实时的手势图像信息，根据信息的颜色，梯度，形态学特征以及统计学特征等对手势进行定位、检测以及识别。

基于深度图像的方式通过ToF（Time of Flight，飞行时间），Stereo（双目），Structured Light（结构光）等方案获取空间物体的深度信息，通过这个深度信息进行手势的定位以及提取。

针对手势的识别检测相关的图像处理，有一个很重要的步骤就是将目标手势的定位。通过将手势在空间中以及图像中进行定位并获取定位信息，这个信息对后续针对手势信息的进一步处理有着非常大的作用。

基于单目的手势定位技术：基于视觉的手势识别对于手势定位的需求很高，现有的技术主要通过特征分类识别匹配，深度神经网络等方式完成对于手势的定位需求。

基于深度图像的定位技术：由于深度视觉传感器可以获取目标的位置信息，对于手势的定位可以借助手势在空间上的位置信息，同样通过特征的分类识别匹配以及深度神经网络等技术完成对手势的定位。

基于单目以及深度图像结合的定位技术：由于深度视觉传感器不能获取图像的颜色信息，而单目传感器不能获取空间上的位置信息以及尺度信息，通过两种技术的结合可以一定程度上使两种方式互相结合，得到更精确的结果。

基于单目的手势定位方案中存在对于空间尺度信息的丢失；基于深度传感器存在图像彩色信息丢失，同时基于单目的方案对于光线十分敏感，在关照条件较弱的情况比如傍晚与夜间，对于图像信息的获取能力十分弱；基于深度传感器的方案造价很高，但从传感器上的造价就是基于单目的方案的几十倍。这两种方案，同这两种方式结合的方案一样，存在一个问题：视场大的情况会丢失手势细节的信息，视场小时覆盖的可识别区域受到了极大的限制。

发明内容

本发明为了解决现有的技术问题，提出一种基于两个单目摄像头的空间手势定位装置及定位方法。本发明解决了现有技术中视场角度过小的问题，彩色信息以及尺度信息的提取问题，造价上相对于深度视觉传感器有大幅度的降低。同时针对单目视觉传感器的方案中在较弱光照条件下，系统仍然可以保证较高的性能。本发明可以准确快速的定位手势在空间中以及在整个获取的图像中的位置，为进一步的手势识别检测做出有效的前置定位处理。

本发明的目的通过以下技术方案实现：一种基于两个单目摄像头的空间手势定位装置，包括图像信息获取装置和图像处理装置；

所述图像信息获取装置包括大视场短焦单目摄像头、小视场长焦单目摄像头、红外补光器和双自由度云台；所述大视场短焦单目摄像头用于对全景的捕捉，将整个场景捕捉到画面中，从而对整个画面进行分析来定位动作发起者；所述小视场长焦单目摄像头用于捕捉动作发起者的局部手势动作信息；所述红外补光器用于当自然光不充分的情况下，红外补光器自动打开，小视场长焦单目摄像头接收红外补光器在物体上的反射光线，捕捉手势动作的图像信息；所述小视场长焦单目摄像头由双自由度云台搭载，所述双自由度云台在水平与竖直两个自由度上分别进行180度与90度的旋转，从而能够捕捉到任意位置的手势动作信息；所述大视场短焦单目摄像头与小视场长焦单目摄像头分别通过独立的USB线与图像处理装置连接；所述双自由度云台通过USB与图像处理装置进行连接，并接收图像处理装置发出的控制信号，根据所述控制信号进行水平和竖直方向上的旋转；

所述图像处理装置为图形处理运算的平台，用于图像处理算法的运算以及控制双自由度云台的信号输出。

进一步地，所述平台为嵌入式平台以及PC机。

本发明还提出一种基于两个单目摄像头的空间手势定位装置的定位方法，

获取图像信息步骤：利用图像信息获取装置获取图像信息，并对图像进行预处理和初始化；

计算手势的位置信息步骤：图像处理装置根据预处理和初始化后的图像信息利用图像处理算法进行手势位置信息的计算；

控制云台运动并输出手势图像步骤：图像处理装置发出控制信号控制双自由度云台的运动并输出手势图像。

进一步地，所述获取图像信息步骤具体为：

A1.通过大视场短焦单目摄像头获取图像；

A2.通过畸变矫正算法，将大视场短焦单目摄像头获取的图像进行矫正，复原图像在水平和竖直方向上的失真信息；

A3.对畸变矫正后的图像进行降噪和增强处理；

A4.通过双自由度云台搭载的小视场长焦单目摄像头在云台的水平和竖直两个方向上进行旋转，然后与A3获得的大视场图像进行动态的标定，获取整张图上的位置和尺度信息地图并进入计算手势的位置信息步骤。

进一步地，所述计算手势的位置信息步骤具体为：

B1.使用人形检测算子检测大视场短焦单目摄像头获取的图像是否存在潜在的动作目标，若存在，标记出人形出现的区域，进入B2；若不存在，则继续检测；

B2.使用关节检测算子在人形出现的区域内进行关节检测，标记出人体的关键点；

B3.通过计算关节间的位置关系，找到特定的关节间存在特定的位置关系作为激活姿态，如果发现激活姿态，进入B4；如果未发现激活姿态，将人形区域标记为潜在的激活目标继续进行关机关系计算；所述激活姿态为左小臂或右小臂举起；

B4.如果发现左小臂或右小臂举起，寻找到对应的左腕或者右腕关节点信息，然后通过对比整个人形的尺度信息来确认手势区域的尺度信息，通过相应的腕关节与手势的位置关系确定手势在整幅图中的位置关系，从而将确定后的手势区域质心定义为手势的中心；

B5.通过比较手势的中心与A4中计算的图像的尺度与位置地图，得出手势在整个3D空间内的位置与尺度信息；

B6.将B5中计算出来的位置与尺度信息换算成双自由度云台需要转动的角度并进入B1状态；

进一步地，所述人体的关键点包括鼻子、两只眼睛、两只耳朵、左右肩膀、左右肩膀的中心、左右肘关节、左右腕关节、左右髋关节、左右膝盖以及左右脚踝。

进一步地，所述控制云台运动并输出手势图像步骤具体为：

C1.根据B6中计算出的角度通过控制信号输出到双自由度云台；

C2.双自由度云台根据角度转动到指定位置后，对小视场长焦单目摄像头获取的图像中进行手势的检测，所述检测是将小视场区域内的图像与大视场短焦单目摄像头中的手势区域进行匹配，如果匹配成功进入C3；

C3.将小视场长焦单目摄像头捕获的图像与B5中计算的出来的空间位置与尺度信息进行输出。

附图说明

图1为图像信息获取装置示意图；

图2为激活姿态为左小臂举起示意图；

图3为激活姿态为右小臂举起示意图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图1，本发明提出一种基于两个单目摄像头的空间手势定位装置，包括图像信息获取装置和图像处理装置；

所述图像信息获取装置包括大视场短焦单目摄像头、小视场长焦单目摄像头、红外补光器和双自由度云台；所述大视场短焦单目摄像头用于对全景的捕捉，将整个场景捕捉到画面中，从而对整个画面进行分析来定位动作发起者；所述小视场长焦单目摄像头用于捕捉动作发起者的局部手势动作信息；采用小视场长焦单目摄像头的优点为最大限度的提高手部在整个图像中的面积比例，从而可以更加精确的提取到手势的信息，达到一个高精度的识别、处理指标。红外补光器是一个独立的子系统，不与任何装置进行有线或者无线的连接，红外补光器有自己的供电装置以及处理装置；所述红外补光器用于当自然光不充分的情况下，例如阴天与夜晚时没有灯光的室内环境，红外补光器自动打开，小视场长焦单目摄像头接收红外补光器在物体上的反射光线，捕捉手势动作的图像信息；所述小视场长焦单目摄像头由双自由度云台搭载，所述双自由度云台在水平与竖直两个自由度上分别进行180度与90度的旋转，从而能使摄像头的中心对准范围内的任意一点，达到捕捉任意位置的手势信息的目的。所述大视场短焦单目摄像头与小视场长焦单目摄像头分别通过独立的USB线与图像处理装置连接；所述双自由度云台通过USB与图像处理装置进行连接，并接收图像处理装置发出的控制信号，根据所述控制信号进行水平和竖直方向上的旋转；

所述图像处理装置为图形处理运算的平台，用于图像处理算法的运算以及控制双自由度云台的信号输出。所述平台为嵌入式平台以及PC机。

本发明还提出一种基于两个单目摄像头的空间手势定位装置的定位方法，

获取图像信息步骤：利用图像信息获取装置获取图像信息，通过摄像头获取整个视场区域的图像，并对图像进行预处理和初始化；

计算手势的位置信息步骤：图像处理装置根据预处理和初始化后的图像信息利用图像处理算法进行手势位置信息的计算；

控制云台运动并输出手势图像步骤：图像处理装置发出控制信号控制双自由度云台的运动并输出手势图像。

所述获取图像信息步骤具体为：

A1.通过大视场短焦单目摄像头获取图像； 图像的特点为覆盖面积大，但是图像的四周存在一定程度的畸变。

A2.通过畸变矫正算法，将大视场短焦单目摄像头获取的图像进行矫正，复原图像在水平和竖直方向上的失真信息；

A3.对畸变矫正后的图像进行降噪和增强处理；

A4.通过双自由度云台搭载的小视场长焦单目摄像头在云台的水平和竖直两个方向上进行旋转，然后与A3获得的大视场图像进行动态的标定，获取整张图上的位置和尺度信息地图并进入计算手势的位置信息步骤。

所述计算手势的位置信息步骤具体为：

B1.使用人形检测算子检测大视场短焦单目摄像头获取的图像是否存在潜在的动作目标，若存在，标记出人形出现的区域，进入B2；若不存在，则继续检测；

B2.使用关节检测算子在人形出现的区域内进行关节检测，标记出人体的关键点；所述人体的关键点包括鼻子、两只眼睛、两只耳朵、左右肩膀、左右肩膀的中心、左右肘关节、左右腕关节、左右髋关节、左右膝盖以及左右脚踝。

B3.通过计算关节间的位置关系，找到特定的关节间存在特定的位置关系作为激活姿态，例如图2和图3中所示的关节位置关系，图2为激活姿态为左小臂举起，图3为激活姿态为右小臂举起；如果发现激活姿态，进入B4；如果未发现激活姿态，将人形区域标记为潜在的激活目标继续进行关机关系计算；所述激活姿态为左小臂、右小臂举起、抬起双臂或伸直一条手臂等等；

B4.如果发现左小臂或右小臂举起，寻找到对应的左腕或者右腕关节点信息，然后通过对比整个人形的尺度信息来确认手势区域的尺度信息，通过相应的腕关节与手势的位置关系确定手势在整幅图中的位置关系，从而将确定后的手势区域质心定义为手势的中心；

B5.通过比较手势的中心与A4中计算的图像的尺度与位置地图，得出手势在整个3D空间内的位置与尺度信息；

B6.将B5中计算出来的位置与尺度信息换算成双自由度云台需要转动的角度并进入B1状态；

所述控制云台运动并输出手势图像步骤具体为：

C1.根据B6中计算出的角度通过控制信号输出到双自由度云台；

C2.双自由度云台根据角度转动到指定位置后，对小视场长焦单目摄像头获取的图像中进行手势的检测，所述检测是将小视场区域内的图像与大视场短焦单目摄像头中的手势区域进行匹配，如果匹配成功进入C3；

C3.将小视场长焦单目摄像头捕获的图像与B5中计算的出来的空间位置与尺度信息进行输出。

本发明可以应用在基于手势识别、跟踪、检测的系统中，可以应用在游戏、智能家居、智能控制等领域中。本发明的作用是根据激活姿态初步检测人手是否出现在整个图像中，如果在图像中存在激活姿态，将手势存在的大概区域的位置信息以及尺度信息进行输出，同时输出手势占比大（70%以上）的图像，保留了大部分的细节信息。

以上对本发明所提供的一种基于两个单目摄像头的空间手势定位装置及定位方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种基于两个单目摄像头的空间手势定位装置的定位方法，其特征在于，所述定位装置包括图像信息获取装置和图像处理装置；

所述图像信息获取装置包括大视场短焦单目摄像头、小视场长焦单目摄像头、红外补光器和双自由度云台；所述大视场短焦单目摄像头用于对全景的捕捉，将整个场景捕捉到画面中，从而对整个画面进行分析来定位动作发起者；所述小视场长焦单目摄像头用于捕捉动作发起者的局部手势动作信息；所述红外补光器用于当自然光不充分的情况下，红外补光器自动打开，小视场长焦单目摄像头接收红外补光器在物体上的反射光线，捕捉手势动作的图像信息；所述小视场长焦单目摄像头由双自由度云台搭载，所述双自由度云台在水平与竖直两个自由度上分别进行180度与90度的旋转，从而能够捕捉到任意位置的手势动作信息；所述大视场短焦单目摄像头与小视场长焦单目摄像头分别通过独立的USB线与图像处理装置连接；所述双自由度云台通过USB与图像处理装置进行连接，并接收图像处理装置发出的控制信号，根据所述控制信号进行水平和竖直方向上的旋转；

所述图像处理装置为图形处理运算的平台，用于图像处理算法的运算以及控制双自由度云台的信号输出；

所述定位方法包括：

获取图像信息步骤：利用图像信息获取装置获取图像信息，并对图像进行预处理和初始化；

计算手势的位置信息步骤：图像处理装置根据预处理和初始化后的图像信息利用图像处理算法进行手势位置信息的计算；

控制云台运动并输出手势图像步骤：图像处理装置发出控制信号控制双自由度云台的运动并输出手势图像；

所述获取图像信息步骤具体为：

A1.通过大视场短焦单目摄像头获取图像；

A2.通过畸变矫正算法，将大视场短焦单目摄像头获取的图像进行矫正，复原图像在水平和竖直方向上的失真信息；

A3.对畸变矫正后的图像进行降噪和增强处理；

A4.通过双自由度云台搭载的小视场长焦单目摄像头在云台的水平和竖直两个方向上进行旋转，然后与A3获得的大视场图像进行动态的标定，获取整张图上的位置和尺度信息地图并进入计算手势的位置信息步骤；

所述计算手势的位置信息步骤具体为：

B1.使用人形检测算子检测大视场短焦单目摄像头获取的图像是否存在潜在的动作目标，若存在，标记出人形出现的区域，进入B2；若不存在，则继续检测；

B2.使用关节检测算子在人形出现的区域内进行关节检测，标记出人体的关键点；

B3.通过计算关节间的位置关系，找到特定的关节间存在特定的位置关系作为激活姿态，如果发现激活姿态，进入B4；如果未发现激活姿态，将人形区域标记为潜在的激活目标继续进行关机的关系计算；所述激活姿态为左小臂或右小臂举起；

B4.如果发现左小臂或右小臂举起，寻找到对应的左腕或者右腕关节点信息，然后通过对比整个人形的尺度信息来确认手势区域的尺度信息，通过相应的腕关节与手势的位置关系确定手势在整幅图中的位置关系，从而将确定后的手势区域质心定义为手势的中心；

B5.通过比较手势的中心与A4中计算的图像的尺度与位置地图，得出手势在整个3D空间内的位置与尺度信息；

B6.将B5中计算出来的位置与尺度信息换算成双自由度云台需要转动的角度并进入B1状态。

2.根据权利要求1所述的方法，其特征在于：所述平台为嵌入式平台以及PC机。

3.根据权利要求2所述的方法，其特征在于：所述人体的关键点包括鼻子、两只眼睛、两只耳朵、左右肩膀、左右肩膀的中心、左右肘关节、左右腕关节、左右髋关节、左右膝盖以及左右脚踝。

4.根据权利要求3所述的方法，其特征在于：所述控制云台运动并输出手势图像步骤具体为：

C1.根据B6中计算出的角度通过控制信号输出到双自由度云台；

C2.双自由度云台根据角度转动到指定位置后，对小视场长焦单目摄像头获取的图像中进行手势的检测，所述检测是将小视场区域内的图像与大视场短焦单目摄像头中的手势区域进行匹配，如果匹配成功进入C3；

C3.将小视场长焦单目摄像头捕获的图像与B5中计算的出来的空间位置与尺度信息进行输出。

Images