CN105426817A - 基于红外成像的手势位置识别装置及识别方法 - Google Patents

Abstract

本发明公开了一种基于红外成像的手势位置的识别装置，包括发出特定波长的红外散射光的红外光源、接收经反射的红外散射光并生成原始图像的红外成像传感器；过滤除经反射的红外散射光之外的其他光线的滤光片；以及处理单元。处理单元对原始图像进行幂次变换、时间差分、密度筛选等处理以形成以“1”和“0”表示的二值图像并根据二值图像识别手势的位置。本发明能够方便地识别手势的位置。

Description

基于红外成像的手势位置识别装置及识别方法

技术领域

本发明涉及人机交互技术领域，特别涉及一种基于红外成像的手势位置识别装置及识别方。

背景技术

手势控制是指用手势去控制计算机等电子设备，实现人机之间的交互。不同于日常工作生活中以鼠标、遥控器等设备为基础的控制方式，手势控制以人的手臂的移动作为控制要素，实现一种新型的人机交互方式。

自从计算机面世以来，人机交互最初始的方式是通过以键盘为主的命令行界面的方式实现的。后来，鼠标的面世使得图形界面作为第二代人机交互方式大行其道，并且在当今的人机交互领域，尤其是在个人计算机的控制上，仍然占据着大部分市场。随着移动互联网的爆发增长，以触控技术为基础的智能手机等设备广泛应用于社会的各个角落，因此，触控技术也发展成为第三代人机交互技术。由之前三代人机交互技术的发展历程可以看出，人机交互的发展趋势在于人机交互的方式越来越趋向于人与人之间交互的方式，因此，第四代人机交互方式正是以多媒体技术为基础，语音识别，图像识别为具体手段，手势控制正是第四代人机交互方式的实现手段之一。

手势控制的一个关键的技术在于获取人手掌的位置，以便利用位置信息实现相关的控制。在目前市场上主流的手势控制产品中，Kinect是采用如下方式获取手掌的位置的：每隔一段距离，取一个参考平面，把参考平面上的散斑图案记录下来，假设规定的用户空间是距离Kinect的1米到4米范围，每个10cm取一个参考平面，那么就保存了30幅散斑图像，需要进行测量的时候，拍摄一副待测量的散斑图像，将这幅图像和保存下来的30幅参考图依次做互相关运算，得到30幅相关度图像。而空间中的物体存在的位置，在相关图像上会显示出峰值，把这些峰值叠加在一起，再经过插值运算就会得到整个场景的三维形状了。

然而，Kinect采用的方法需要通过每幅图像的散斑信息来构建一个3D景深信息，进而识别出手掌的位置，较为复杂。

发明内容

本发明的主要目的在于克服现有技术的缺陷，提供一种能够方便获取手势位置的识别装置及识别方法。

为达成上述目的，本发明提供一种基于红外成像的手势位置识别装置，包括红外光源，发出特定波长的红外散射光；红外成像传感器，用于接收经反射的所述红外散射光并生成原始图像；滤光片，设于所述红外成像传感器之前，用于过滤除经反射的所述红外散射光之外的其他光线；以及处理单元。处理单元包括：图像预处理模块，用于对所述原始图像进行幂次变换；二值图像生成模块，其对经所述幂次变换的前后两帧图像的各像素点的灰度值分别作差并取其绝对值，当所述绝对值大于设定阈值时，将所述像素点的值设为1，否则，设为0；之后其以值为1的每一所述像素点为中心，判断其周围预设范围内值为1的像素点的数量，若数量超出预定比例，则保持该像素点的值为1，否则将该像素点的值重置为0，以生成用1和0表示的二值图像；以及识别模块，根据所述二值图像识别手势的位置。

优选的，所述识别模块包括第一判别子模块和/或第二判别子模块和/或第三判别子模块，其中，所述第一判别子模块判定所述二值图像中值为1的像素点的数量是否小于等于第一设定值，若是则判定值为1的各所述像素点所形成的区域内存在手势；否则，判定为异常；所述第二判别子模块对当前所述二值图像中值为1的像素点的数目和前一帧所述二值图像中值为1的像素点的数目进行比较，若比较结果小于等于第二设定值时，判定值为1的各所述像素点所形成的区域内存在手势；否则，判定为异常；所述第三判断子模块根据当前所述二值图像中手中心的坐标和前一帧所述二值图像中手中心的坐标得到所述手中心的运动方向，若所述运动方向符合预期时，判定值为1的各所述像素点所形成的区域内存在手势；否则，判定为异常。

优选的，所述识别模块还包括计算子模块，其计算出所述二值图像中值为1的各像素点的坐标的平均值作为所述手中心的坐标。

优选的，所述识别模块包括所述第一判别子模块、所述第二判别子模块、所述第三判别子模块和确定子模块；所述确定子模块在所述第一判别子模块、所述第二判别子模块、所述第三判别子模块中任一子模块判定为异常时，确定值为1的各所述像素点所形成的区域内不存在手势；否则输出当前所述二值图像中手中心的坐标作为所述手势的位置坐标。

优选的，所述第一设定值根据手与所述红外成像传感器的距离可调。

本发明还提供一种基于红外成像的手势位置识别方法，包括以下步骤：

S1：通过红外光源发出特定波长的红外散射光；

S2：通过红外成像传感器接收经反射的所述红外散射光并生成原始图像；其中通过滤光片过滤除经反射的所述红外散射光之外的其他光线以仅使经反射的所述红外散射光到达所述红外成像传感器；

S3：对原始图像进行幂次变换；

S4：对经所述幂次变换的前后两帧图像的各像素点的灰度值分别作差并取其绝对值，当所述绝对值大于设定阈值时，将所述像素点的值设为1，否则，设为0；

S5：以值为1的每一所述像素点为中心，判断其周围预设范围内值为1的像素点的数量，若数量超过预定比例，则保持该像素点的值为1，否则将该像素点的值重置为0，以生成用1和0表示的二值图像；以及

S6：根据所述二值图像识别手势的位置。

优选的，步骤S6包括步骤S61和/或步骤S62和/或步骤S63，其中，步骤S61包括：判定所述二值图像中值为1的像素点的数量是否小于等于第一设定值，若是则判定值为1的各所述像素点所形成的区域内存在手势；否则，判定为异常；步骤S62包括：对当前所述二值图像中值为1的像素点的数目和前一帧所述二值图像中值为1的像素点的数目进行比较，若比较结果小于等于第二设定值时，判定值为1的各所述像素点所形成的区域内存在手势；否则，判定为异常；步骤S63包括：根据当前所述二值图像中手中心的坐标和前一帧所述二值图像中手中心的坐标得到所述手中心的运动方向，若所述运动方向符合预期时，判定值为1的各所述像素点所形成的区域内存在手势；否则，判定为异常。

优选的，步骤S63中通过计算所述二值图像中值为1的各像素点的坐标的平均值作为所述手中心的坐标。

优选的，步骤S6包括所述步骤S61、步骤S62、步骤S63，以及步骤S64：当所述步骤S61、步骤S62、步骤S63中任一判定为异常时，确定值为1的各所述像素点所形成的区域内不存在手势；否则输出当前所述二值图像中手中心的坐标作为所述手势的位置坐标。

优选的，所述第一设定值根据手与所述红外成像传感器的距离可调。

相较于现有技术，本发明的有益效果在于利用红外线成像，配合处理单元对红外线成像的原始图像进行幂次变换、时间差分、密度筛选等处理以形成以“1”和“0”表示的二值图像，从而识别出手势位置，克服了现有技术中具有人机交互功能的设备在人机交互时判别被测物景深较为复杂的缺陷，更为方便也降低了成本。

附图说明

图1所示为本发明一实施例的基于红外成像的手势位置的识别装置的示意图；

图2所示为本发明一实施例的识别装置的处理单元的方块图；

图3所示为本发明一实施例的手势位置的识别方法的流程图。

具体实施方式

为使本发明的内容更加清楚易懂，以下结合说明书附图，对本发明的内容作进一步说明。当然本发明并不局限于该具体实施例，本领域内的技术人员所熟知的一般替换也涵盖在本发明的保护范围内。

如图1所示，基于红外成像的手势位置的识别装置包括红外光源10，红外成像传感器11，滤光片12和处理单元13。其中红外光源10发出特定功率大小的特定波长的红外散射光。该红外光源10可以直接发射出散射光，也可以先发射平行光，然后经过柔光罩等散射装置，使平行光变为散射光。其中，红外散射光的功率需保证红外线能够覆盖距离红外成像传感器一定距离，如2～3米，之内的空间，并且在该距离之外如3米之外的空间中，红外线衰减殆尽。红外线根据波长可以分为近红外(0.75～3.0um)，中红外(3.0～30um)和远红外(30um～1000um)。根据维恩定律，可以计算出常温物体辐射的红外线的波长为9.7um，所以，为保证红外成像不受环境中物体自发辐射出的红外线的影响，本实施例的红外散射光的红外波段为近红外波段。红外光源10发出的红外散射光经过空间内使用者反射后被红外成像传感器11接收并生成原始图像；滤光片12设于红外成像传感器11之前，用于过滤除经反射的红外散射光之外的其他光线，仅使红外散射光到达红外成像传感器11。

处理单元13与红外成像传感器11相连，用于根据传感器前后两帧撷取的图像判别使用者手势位置。

具体来说，请结合图1和图2，处理单元13包括图像预处理模块131、二值图像生成模块132和识别模块133。图像预处理模块131对红外成像传感器11生成的原始图像进行幂次变换(伽马变换)，使图像中亮暗区域的对比度加大。二值图像生成模块132首先对经幂次变换的前后两帧图像的各像素点的灰度值分别作差并取其绝对值，当绝对值大于设定阈值时，将该像素点的值设为1，否则，设为0。由于红外成像传感器在一秒内可以拍摄几十甚至几百帧的图像，远远大于手势位置变化的速度，因此对于前后两帧经幂次变换的图像来说，手势位置的变化非常小，手的大部分是重合的，仅手边缘区域或手的轮廓所对应的像素会出现灰度值的显著差异，因此二值图像生成模块132将手边缘区域的像素点的值由0变为1。之后，为避免将除手势以外的其他对象在前后两帧发生的位置变化误认为是手势的变化，二值图像生成模块132对图像中所有为1的像素点进行一次判别。具体来说，以值为1的每一个像素点为中心，判断其周围预设范围内(如周围10*10个像素范围内)值为1的像素点的数量，若数量超过预定比例，则保持该像素点的值为1，否则将该像素点的值重置为0，由此生成用1和0表示的二值图像，该二值图像中的值为1的像素点近似表现为手的轮廓。通过这种密度筛选的方法可以排除二值图像中值为1的区域出现手之外的其他个别像素点。识别模块133则根据二值图像识别当前手势的位置，一般来说可以将二值图像中像素值为1像素点识别为手的轮廓，那么值为1的像素点所形成或包围的区域内部识别为手，手轮廓以外的其它像素值为0的部分识别为背景区域，由此将手势位置提取出来。然而，当环境中使用者本身也在运动时，使用者身体的其他部分也可能被识别模块识别出，并对手势位置的识别造成干扰。

为解决该问题，本发明的识别模块133进一步的还可包括第一判别子模块，和/或第二判别子模块，和/或第三判别子模块。

其中，第一判别子模块是针对二值图像中手的面积大小进行判别。由于手的面积大小与其轮廓大小也是相对应的，而手的轮廓大小可以用二值图像中值为1的像素点的数量来表示，因此第一判别子模块判定二值图像中值为1的像素点的数量是否小于等于第一设定值，如果是则判定值为1的各像素点所形成的区域内存在手势；否则，判定为异常。另外，由于二值图像中手的面积和使用者的手与红外成像传感器之间的距离相关，该第一设定值设定为一个浮动的、根据手与红外成像传感器的距离可调的阈值，从而保证使用者离红外成像传感器不同距离时，第一判别子模块都能够相应进行判别。第一设定值可根据最近的N帧(如30帧)原始图像得到的二值图像中手轮廓的大小进行调整，上限可以是该N帧中值为1的像素点数量的平均值的1.8倍，下限为其0.3倍。这样既能够对手面积大小的突变进行限制，又能够满足尽可能宽的使用距离的要求。

第二判别子模块针对二值图像中手面积的变化幅度进行判别。通过实验分析二值图像中手面积的数据发现，当存在使用者身体的其他部分等干扰因素时，二值图像中值为1的像素点的数量会发生突变。所以此次判别之中，当二值图像的值为1的像素点的数量发生幅度较大的变化时，同样判定为异常。具体地，第二判别子模块对当前二值图像中值为1的像素点的数目和前一帧二值图像中值为1的像素点的数量进行比较，若比较结果小于等于第二设定值时，判定值为1的各像素点所形成的区域内存在手势；否则，判定为异常。

第三判别子模块是针对手势变化的方向进行判别，其分析手中心连续两次移动的方向，当方向的变化符合预期，例如与预先所存储的各手势对应的变化趋势一致，判定值为1的各像素点所形成的区域内存在手势；否则，判定为异常。其中，识别模块可包括计算子模块，用于计算出二值图像中值为1的各像素点的坐标的平均值作为手中心的坐标。

在一较佳实施例中，识别模块同时包括上述三个子模块，也即是要进行三次判定。此外，识别模块还包括确定子模块，当三个判别子模块中任一子模块判定为异常时，确定子模块确认值为1的各像素点所形成的区域内并不存在手势；只有当三个判别子模块均判定为正常的情况下，确定子模块输出当前二值图像中手中心的坐标作为当前手势的位置。

图3所示为本发明一实施例的基于红外成像的手势位置的识别方法的流程图，其包括以下步骤：

S1：通过红外光源发出特定波长的红外散射光；

S2：通过红外成像传感器接收经反射的红外散射光并生成原始图像；其中通过滤光片过滤除经反射的红外散射光之外的其他光线以仅使经反射的红外散射光到达红外成像传感器；

S3：对原始图像进行幂次变换；

S4：对经幂次变换的前后两帧图像的各像素点的灰度值分别作差并取其绝对值，当所述绝对值大于设定阈值时，将像素点的值设为1，否则，设为0；

S5：以值为1的每一像素点为中心，判断其周围预设范围内值为1的像素点的数量，若数量超过预定比例，则保持该像素点的值为1，否则将该像素点的值重置为0，以生成用1和0表示的二值图像；以及

S6：根据二值图像识别手势的位置。

其中步骤S6进一步可包括步骤S61和/或步骤S62和/或步骤S63。

步骤S61包括判定二值图像中值为1的像素点的数量是否小于等于第一设定值，若是则判定值为1的各像素点所形成的区域内存在手势；否则，判定为异常。其中，第一设定值设定为一个浮动的、根据手与红外成像传感器的距离可调的阈值，从而保证使用者离红外成像传感器不同距离时都能够相应进行判别。第一设定值可根据最近的N帧(如30帧)原始图像得到的二值图像中值为1的像素点数量进行调整，上限可以是值为1的像素点数量的平均值的1.8倍，下限为其0.3倍。

步骤S62包括：对当前二值图像中值为1的像素点的数目和前一帧二值图像中值为1的像素点的数目进行比较，若比较结果小于等于第二设定值时，判定值为1的各像素点所形成的区域内存在手势；否则，判定为异常。

步骤S63包括：根据当前二值图像中手中心的坐标和前一帧二值图像中手中心的坐标得到手中心的运动方向，若运动方向符合预期时，例如与预先所存储的各手势对应的变化趋势一致时，判定值为1的各像素点所形成的区域内存在手势；否则，判定为异常。其中，可将二值图像中值为1的各像素点的坐标的平均值作为手中心的坐标。

在一较佳实施例中，步骤S6包括上述步骤S61-S63，以及步骤S64，当步骤S61、步骤S62、步骤S63中任一判定为异常时，确定值为1的各像素点所形成的区域内不存在手势；否则输出当前二值图像中手中心的坐标作为手势的位置坐标。

综上所述，本发明利用利用红外线成像，配合处理单元对红外线成像的原始图像进行幂次变换、时间差分、密度筛选等处理以形成以“1”和“0”表示的二值图像，从而识别出手势位置，克服了现有技术中具有人机交互功能的设备在人机交互时判别被测物景深较为复杂的缺陷，更为方便也降低了成本。

虽然本发明已以较佳实施例揭示如上，然所述诸多实施例仅为了便于说明而举例而已，并非用以限定本发明，本领域的技术人员在不脱离本发明精神和范围的前提下可作若干的更动与润饰，本发明所主张的保护范围应以权利要求书所述为准。

Claims (10)

1.一种基于红外成像的手势位置的识别装置，其特征在于，包括：

红外光源，发出特定波长的红外散射光；

红外成像传感器，用于接收经反射的所述红外散射光并生成原始图像；

滤光片，设于所述红外成像传感器之前，用于过滤除经反射的所述红外散射光之外的其他光线；以及

处理单元，其包括：

图像预处理模块，用于对所述原始图像进行幂次变换；

二值图像生成模块，其对经所述幂次变换的前后两帧图像的各像素点的灰度值分别作差并取其绝对值，当所述绝对值大于设定阈值时，将所述像素点的值设为1，否则，设为0；之后其以值为1的每一所述像素点为中心，判断其周围预设范围内值为1的像素点的数量，若数量超出预定比例，则保持该像素点的值为1，否则将该像素点的值重置为0，以生成用1和0表示的二值图像；以及

识别模块，根据所述二值图像识别手势的位置。

2.根据权利要求1所述的识别装置，其特征在于，所述识别模块包括第一判别子模块和/或第二判别子模块和/或第三判别子模块，其中，

所述第一判别子模块判定所述二值图像中值为1的像素点的数量是否小于等于第一设定值，若是则判定值为1的各所述像素点所形成的区域内存在手势；否则，判定为异常；

所述第二判别子模块对当前所述二值图像中值为1的像素点的数目和前一帧所述二值图像中值为1的像素点的数目进行比较，若比较结果小于等于第二设定值时，判定值为1的各所述像素点所形成的区域内存在手势；否则，判定为异常；

所述第三判断子模块根据当前所述二值图像中手中心的坐标和前一帧所述二值图像中手中心的坐标得到当前所述手中心的运动方向，若所述运动方向符合预期，判定值为1的各所述像素点所形成的区域内存在手势；否则，判定为异常。

3.根据权利要求2所述的识别装置，其特征在于，所述识别模块还包括计算子模块，其计算出所述二值图像中值为1的各像素点的坐标的平均值作为所述手中心的坐标。

4.根据权利要求2所述的识别装置，其特征在于，所述识别模块包括所述第一判别子模块、所述第二判别子模块、所述第三判别子模块和确定子模块；所述确定子模块在所述第一判别子模块、所述第二判别子模块、所述第三判别子模块中任一子模块判定为异常时，确定值为1的各所述像素点所形成的区域内不存在手势；否则输出当前所述二值图像中手中心的坐标作为所述手势的位置坐标。

5.根据权利要求2所述的识别装置，其特征在于，所述第一设定值根据手与所述红外成像传感器的距离可调。

6.一种基于红外成像的手势位置的识别方法，其特征在于，包括以下步骤：

S1：通过红外光源发出特定波长的红外散射光；

S2：通过红外成像传感器接收经反射的所述红外散射光并生成原始图像；其中通过滤光片过滤除经反射的所述红外散射光之外的其他光线以仅使经反射的所述红外散射光到达所述红外成像传感器；

S3：对原始图像进行幂次变换；

S4：对经所述幂次变换的前后两帧图像的各像素点的灰度值分别作差并取其绝对值，当所述绝对值大于设定阈值时，将所述像素点的值设为1，否则，设为0；

S5：以值为1的每一所述像素点为中心，判断其周围预设范围内值为1的像素点的数量，若数量超过预定比例，则保持该像素点的值为1，否则将该像素点的值重置为0，以生成用1和0表示的二值图像；以及

S6：根据所述二值图像识别手势的位置。

7.根据权利要求6所述的识别方法，其特征在于，步骤S6包括步骤S61和/或步骤S62和/或步骤S63，其中，

步骤S61包括：判定所述二值图像中值为1的像素点的数量是否小于等于第一设定值，若是则判定值为1的各所述像素点所形成的区域内存在手势；否则，判定为异常；

步骤S62包括：对当前所述二值图像中值为1的像素点的数目和前一帧所述二值图像中值为1的像素点的数目进行比较，若比较结果小于等于第二设定值时，判定值为1的各所述像素点所形成的区域内存在手势；否则，判定为异常；

步骤S63包括：根据当前所述二值图像中手中心的坐标和前一帧所述二值图像中手中心的坐标得到所述手中心的运动方向，若所述运动方向符合预期时，判定值为1的各所述像素点所形成的区域内存在手势；否则，判定为异常。

8.根据权利要求7所述的识别方法，其特征在于，步骤S63中通过计算所述二值图像中值为1的各像素点的坐标的平均值作为所述手中心的坐标。

9.根据权利要求7所述的识别方法，其特征在于，步骤S6包括所述步骤S61、步骤S62、步骤S63，以及

步骤S64：当所述步骤S61、步骤S62、步骤S63中任一判定为异常时，确定值为1的各所述像素点所形成的区域内不存在手势；否则输出当前所述二值图像中手中心的坐标作为所述手势的位置坐标。

10.根据权利要求7所述的识别方法，其特征在于，所述第一设定值根据手与所述红外成像传感器的距离可调。