CN104503275A - 基于手势的非接触式控制方法及其设备 - Google Patents

Abstract

本发明涉及非接触式控制领域，公开了一种基于手势的非接触式控制方法及其设备，其中的方法包括以下步骤：S1：预先存储多个已经与不同的控制信号相关联的预存手势形状；S2：接收通过点云的方式感测到的手势上每个点在三维空间中的点云数据；S3：将所述点云数据处理成与之匹配的感测手势形状；S4：将所述感测手势形状与所述预存手势形状进行匹配，若所述感测手势形状与其中一个所述预存手势形状的匹配程度达到预设程度，则发出与该预存手势形状相关联的控制信号对待控对象进行控制。与现有技术相比，用户仅需通过简单的手势就能够隔空控制待控对象，不需要与待控对象直接接触，避免由于待控对象漏电而造成的触电危险。

Description

基于手势的非接触式控制方法及其设备

技术领域

本发明涉及非接触式控制领域，特别涉及一种基于手势的非接触式控制方法及其设备。

背景技术

目前对家用用电器的控制一般是直接按钮控制或遥控控制，遥控控制需要有个遥控器，而遥控器比较容易丢失，直接按钮控制又很容易遭受触电的危险，比如像热水器这类在潮湿环境中使用的用电器，直接按钮控制时，热水器的控制面板上带有的水汽很容易导致漏电，从而使用户遭受触电的危险。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种基于手势的非接触式控制方法及其设备，用户仅需通过简单的手势就能够隔空控制待控对象，不需要与待控对象直接接触，即能方便用户使用，也能避免在特殊环境（如潮湿空间）由于待控对象漏电而造成的触电危险。

技术方案：本发明提供了一种基于手势的非接触式控制方法，包括以下步骤：S1：预先存储多个已经与不同的控制信号相关联的预存手势形状；S2：接收通过点云的方式感测到的手势上每个点在三维空间中的点云数据；S3：将所述点云数据处理成与之匹配的感测手势形状；S4：将所述感测手势形状与所述预存手势形状进行匹配，若所述感测手势形状与其中一个所述预存手势形状的匹配程度达到预设程度，则发出与该预存手势形状相关联的控制信号对待控对象进行控制。

本发明还提供了一种基于手势的非接触式控制设备，包含深度传感器和具有控制信号输出端的控制主机；所述控制主机用于预先存储多个已经与不同的控制信号相关联的预存手势形状；所述深度传感器用于通过点云的方式感测到手势上每个点在三维空间中的点云数据，并将所述点云数据发送给所述控制主机；所述控制主机还用于接收所述点云数据并将所述点云数据处理成与之匹配的感测手势形状，然后将所述感测手势形状与所述预存手势形状进行匹配，若所述感测手势形状与其中一个所述预存手势形状的匹配程度达到预设程度，则通过所述控制信号输出端发出与该预存手势形状相关联的控制信号对待控对象进行控制。进一步地，所述S3包含以下子步骤：S3-1：去除所述点云数据中的噪点，得到无噪点点云数据；S3-2：过滤掉所述无噪点点云数据中预设识别范围以外的点云数据，得到预设识别范围内的点云数据；S3-3：将所述预设识别范围内的点云数据对应的点云处理成待测手势的点云；S3-4：将所述待测手势的点云投影在投影平面上；S3-5：对所述投影平面上的点云投影进行检测得到所述感测手势形状。

优选地，在所述S3-3中，通过以下方式将所述预设识别范围内的点云数据对应的点云处理成待测手势的点云：对所述预设识别范围内的点云数据对应的点云进行连通性检测，得到所述待测手势的点云。

优选地，在所述S3-5中，通过以下方式对所述投影平面上的点云投影进行检测得到所述感测手势形状：对所述投影平面上点云投影的二维形状进行检测，得到所述感测手势形状。

优选地，在所述S3-3中，通过以下方式将所述预设识别范围内的点云数据对应的点云处理成待测手势的点云：去除所述预设识别范围内的点云数据对应的点云中距离预设原点预设距离以外的点云，得到所述待测手势的点云。

优选地, 在所述S3-5中，通过以下方式对所述投影平面上的点云投影进行检测得到所述感测手势形状：对所述投影平面上点云投影的二维形状进行检测，得到所述感测手势形状。

优选地，在所述S3-5中，通过以下方式对所述投影平面上的点云投影进行检测得到所述感测手势形状：对所述投影平面上点云投影的二维形状的轮廓进行检测，得到所述感测手势形状。

优选地，在所述S3-3中，通过以下方式将所述预设识别范围内的点云数据对应的点云处理成待测手势的点云：使用聚类算法将所述预设识别范围内的点云数据对应的点云划分成多个团组，该多个团组分别对应多个所述待测手势的点云；其中，每个所述团组都有一个点云中心，且每个团组内点云中的所有点距离其所在团组的点云中心最近。

优选地，在所述S3-5中，通过以下方式对所述投影平面上的点云投影进行检测得到所述感测手势形状：对所述投影平面上点云投影的二维形状的轮廓进行检测，得到所述感测手势形状。

优选地，在所述使用聚类算法将所述预设识别范围内的点云数据对应的点云划分成多个团组的步骤中，包含以下子步骤：S3-3-1：输入所述预设识别范围内的点云数据；S3-3-2：任意产生k个第一假设团组，并确定所述k个第一假设团组的k个第一实际点云中心；其中，k为大于或等于1的自然数；S3-3-3：分别计算出所述k个第一假设团组内点云中的各个点对应的k个第一理论点云中心； S3-3-4：根据所述k个第一理论点云中心产生k个第二假设团组，并确定所述k个第二假设团组的k个第二实际点云中心；S3-3-5：分别计算出所述具有k个第二实际点云中心的k个第二假设团组内点云中的各个点对应的k个第二理论点云中心；S3-3-6：重复所述S3-3-4和S3-3-5，直至计算出的k个第N理论点云中心与k个第N实际点云中心相同为止，此时产生的k个第N假设团组分别对应k个所述待测手势的点云。

进一步地，可以用以下步骤代替所述的S3-4、S3-5以及S4：通过对所述预存手势形状的点云数据进行训练和学习形成所述预存手势形状的点云模型，所述点云模型构成具有多层神经网络模块的、用于识别所述感测手势形状的神经网络；将所述待测手势的点云输入到所述神经网络中与所述点云模型进行匹配，经过所述多层神经网络模块的计算，得到所述待测手势的点云与所述预存手势形状中最匹配的手势形状的匹配值；若所述匹配值在预设范围内，则将该最匹配的手势形状作为所述感测手势形状，并发出与该感测手势形状对应的预设手势形状相关联的控制信号对待控对象进行控制。

优选地，在所述发出与该预存手势形状相关联的控制信号对待控对象进行控制的同时，还将所述感测手势形状以及所述感测手势形状是否在识别区域内的信息显示给用户。

优选地，所述点云数据为三维坐标。

优选地，所述基于手势的非接触式控制设备还包含显示设备，所述控制主机还用于在发出控制信号对待控对象进行控制的同时，将所述感测手势形状以及所述感测手势形状是否在识别区域内的信息发送给所述显示设备。

优选地，所述基于手势的非接触式控制设备还包含防雾抗湿保护层，所述防雾抗湿保护层覆盖在所述深度传感器的镜头上。

有益效果：本发明可以通过简单的手势对待控对象进行控制，用户只需在待控对象的深度传感器的感应范围内做相应的手势，就可以对待控对象进行隔空控制，操作简单，无需与待控对象直接接触，避免了触电危险，更加智能，更加人性化，提升用户体验。

附图说明

图1为不同的预存手势形状示意图；

图2为去噪前后对比示意图；

图3为预设识别范围示意图；

图4为过滤后的效果示意图；

图5为形状检测示意图；

图6为轮廓的凸包、凸包端点和凸缺陷示意图；

图7为选取距离L与准确性S1之间的对应关系曲线图；

图8为p1、p0、p2在感测手势形状上的选取位置示意图；

图9为∠p1p0p2的大小α和准确度S2之间的对应关系曲线图；

图10为p1p2的长度pixel和准确度S3之间的对应关系曲线图；

图11为检测出的二维形状的轮廓示意图；

图12为使用聚类算法得到的多个团组示意图；

图13为聚类算法的聚类效果示意图；

图14为神经网络的结构示意图；

图15为基于手势的非接触式控制设备示意图。

具体实施方式

下面结合附图对本发明进行详细的介绍。

实施方式1：

本实施方式提供了一种基于手势的非接触式控制方法，包括以下步骤：

S1：预先存储多个已经与不同的控制信号相关联的预存手势形状。

如图1所示，预存手势形状可以为以下任意一种或其组合：（1）向上或向下握拳（即没有手指伸出），（2）向上或向下伸出一个手指，（3）向上或向下伸出两个手指，（4）向上或向下伸出三个手指，（5）向上或向下伸出四个手指，（6）向上或向下手掌完全张开（即伸出5个手指）；这些不同的预存手势形状既可以单独与一个控制信号关联，也可以组合起来与一个控制信号关联。例如：伸出一个手指向上，可以与提高音量、升温、加热、前进等控制信号关联；伸出一个手指向下，可以与降低音量、降温、冷却、后退等控制信号关联；手掌先完全张开，然后再握拳，这个两个动作的组合可以与开关控制信号关联。

S2：接收通过点云的方式感测到的手势上每个点在三维空间中的点云数据。

即接收物体表面的某些点在三维空间中的三维坐标，可以选择测量中心为原点，以该原点为基础建立x轴，y轴和z轴，位于该原点前方的物体以点云的形式进行描述，点云中的点的选取与物体相对原点的位置、物体的旋转方向、以及感测仪器的分辨率有关。

S3-1：去除点云数据中的噪点，得到无噪点点云数据。

上述噪点通常为距离感测仪器过近或过远的物体上的点，如图2所示。

S3-2：过滤掉无噪点点云数据中预设识别范围以外的点云数据，得到预设识别范围内的点云数据。

上述预设识别范围一般是在感测仪器前方的三维空间中的一个区域，如图3所示，在前剪裁视口位于感测仪器前方的500mm处，后剪裁视口位于感测仪器前方的800mm处，过滤后的效果如图4所示。

S3-3：对预设识别范围内的点云数据对应的点云进行连通性检测，得到待测手势的点云。

S3-4：将待测手势的点云投影在投影平面上；

上述的投影平面一般为平行于感测仪器的平面。

S3-5：对投影平面上点云投影的二维形状进行检测，得到感测手势形状。

把手势形状划分为手指、手掌和手臂三种元素，扫描点云，分割向外延伸的“手指”和“手臂”，那么剩下的就是“手掌”，得到感测手势形状，如图5所示。

S4：将感测手势形状与预存手势形状进行匹配，若感测手势形状与其中一个预存手势形状的匹配程度达到预设程度，则发出与该预存手势形状相关联的控制信号对待控对象进行控制。

通过识别感测手势形状中伸出的手指的数目以及这些手指相对于手掌的角度和方向与预存手势形状进行匹配。

作为优选，在发出控制信号对待控对象进行控制的同时，还可以将感测手势形状以及感测手势形状是否在识别区域内的信息显示给用户。

实施方式2：

本实施方式与实施方式1大致相同，不同之处仅在于步骤S3-3不同，在本实施方式中的S3-3为：去除预设识别范围内的点云数据对应的点云中距离预设原点预设距离以外的点云，得到一个新的较小的点云，即待测手势的点云。

本实施方式中的其它步骤均与实施方式1相同，此处不做赘述。

实施方式3：

本实施方式与实施方式2大致相同，不同之处仅在于步骤S3-5不同，在本实施方式中的S3-5为：对投影平面上点云投影的二维形状的轮廓进行检测，得到感测手势形状。

对上述二维形状的轮廓进行检测的具体步骤如下：

a）首先寻找轮廓的凸包（图6中的外接多边形）。

检测到二维平面上的点云，凸包就是将点云最外层的点连接起来构成的凸多边型，它能包含点云中所有的点。

b）寻找手掌位置。

寻找每两个相邻的凸包端点（图6中的实心三角形点）之间的一段轮廓上离该两个点距离最远的一点，这个点就是轮廓上凹下去最深的一点，称为凸缺陷（图6中的实心圆形点），通常凸缺陷的包络就是手掌的位置。

c）筛选合适的凸包端点，这些点也就是指尖点，而且通常是轮廓中最为凸出的地方。

如图7、8、9和10，对每一个凸包端点p0，分别从左右方向沿着轮廓取一段合适的距离L，得到点p1、p2（即图8中的p0p1或p0p2的长度为L），通过L与准确度S1之间的对应关系（见图7）得到准确度S1（数值越高越好，最高为1.0），计算∠p1p0p2的大小α，并通过α与准确度S2之间的对应关系（见图9）得到准确度S2（数值越高越好，最高为1.0）；同理，计算线段p1p2的长度pixel，并通过pixel与准确度S3之间的对应关系（见图10）得到准确度S3（数值越高越好，最高为1.0）。综合准确度S1、S2和S3的值决定哪个凸包端点需要保留，所有保留的凸包端点就是指尖点。

本实施方式中检测到的二维形状的轮廓如图11所示。

本实施方式中的其它步骤均与实施方式2中相同，此处不做赘述。

实施方式4：

本实施方式与实施方式3大致相同，不同之处仅在于步骤S3-3不同，在本实施方式中的S3-3为：使用聚类算法将预设识别范围内的点云数据对应的点云划分成多个团组，该多个团组分别对应多个待测手势的点云；其中，每个团组都有一个点云中心，且每个团组内点云中的所有点距离其所在团组的点云中心最近。

聚类算法是指将物理或抽象对象的集合分成由类似的对象组成的多个类的过程。聚类算法用在这里是将点云数据划分为多个团组，每个团组都有一个中心，并且团组中的点到其归入的团组的中心的距离最近（相比于到其他团组中心的距离，如图12）。

具体地说，上述聚类算法的具体过程如下

S3-3-1：输入预设识别范围内的点云数据；

S3-3-2：任意产生k个第一假设团组，并确定k个第一假设团组的k个第一实际点云中心；其中，k为大于或等于1的自然数；

S3-3-3：分别计算出k个第一假设团组内点云中的各个点对应的k个第一理论点云中心；

S3-3-4：根据k个第一理论点云中心产生k个第二假设团组，并确定k个第二假设团组的k个第二实际点云中心；

S3-3-5：分别计算出具有k个第二实际点云中心的k个第二假设团组内点云中的各个点对应的k个第二理论点云中心；

S3-3-6：重复上述S3-3-4和S3-3-5，直至计算出的k个第N理论点云中心与k个第N实际点云中心相同为止，此时产生的k个第N假设团组分别对应k个所述待测手势的点云。

本实施方式中一次性可以聚类得到多个团组，每一个团组对应一只“手”来处理，可以进行多手处理（如图13）。

本实施方式中的其它步骤均与实施方式3相同，此处不做赘述。

实施方式5：

本实施方式与实施方式3大致相同，不同之处仅在于步骤S4不同，在本实施方式中的S4具体如下：

通过对预存手势形状的点云数据进行训练和学习形成预存手势形状的点云模型，这个点云模型构成具有多层神经网络模块的、用于识别感测手势形状的神经网络，如图14所示为该神经网络的结构示意图。然后将通过实施方式3中所述的聚类法获取的待测手势的点云输入到神经网络中与点云模型进行匹配，经过多层神经网络模块的计算得到待测手势的点云与预存手势形状中最匹配的手势形状的匹配值；若该匹配值在预设范围内，则将该最匹配的手势形状作为最终感测到的感测手势形状，并发出与该感测手势形状对应的预设手势形状相关联的控制信号对待控对象进行控制。

值得一提的是，若聚类法获取到的多个待测手势的点云通过以上方式输入到神经网络中与点云模型进行匹配后，经过多层神经网络模块的计算得到的匹配值都在预设范围内，也就是说在预设识别范围内出现了多于一只手的情况，则此时就将距离深度传感器坐标原点最近的一个待测手势的点云对应的手势形状作为最终感测到的感测手势形状。

本实施方式中的其它步骤均与实施方式4相同，此处不做赘述。

实施方式6：

本实施方式提供了一种基于手势的非接触式控制设备，如图15所示，包含深度传感器、具有控制信号输出端的控制主机、显示设备以及覆盖在深度传感器镜头上的防雾抗湿保护层；深度传感器的输出端通过USB接口与控制主机的输入端连接，控制主机的输出端与显示设备连接，控制主机的控制信号输出端用于对待控对象输出控制信号，防雾抗湿保护层用于保证深度传感器的镜头在潮湿的环境下也能正常工作。

控制主机用于预先存储多个已经与不同的控制信号相关联的预存手势形状；深度传感器用于以其所支持的分辨率通过点云的方式感测到手势上每个点在三维空间中的点云数据，并将点云数据发送给控制主机；控制主机还用于接收点云数据并将点云数据处理成与之匹配的感测手势形状，然后将感测手势形状与预存手势形状进行匹配，若感测手势形状与其中一个预存手势形状的匹配程度达到预设程度，则通过控制信号输出端发出与该预存手势形状相关联的控制信号对待控对象进行控制，同时，控制主机还用于将感测手势形状以及感测手势形状是否在识别区域内的信息发送给显示设备显示给用户。

上述深度传感器可以为激光深度传感器、RGB彩色摄像头或者灰度摄像头等；显示设备可以为LCD/LED屏幕、信号灯、投影仪等。

上述实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (16)

1.一种基于手势的非接触式控制方法，其特征在于，包括以下步骤：

S1：预先存储多个已经与不同的控制信号相关联的预存手势形状；

S2：接收通过点云的方式感测到的手势上每个点在三维空间中的点云数据；

S3：将所述点云数据处理成与之匹配的感测手势形状；

S4：将所述感测手势形状与所述预存手势形状进行匹配，若所述感测手势形状与其中一个所述预存手势形状的匹配程度达到预设程度，则发出与该预存手势形状相关联的控制信号对待控对象进行控制。

2.根据权利要求1所述的基于手势的非接触式控制方法，其特征在于，所述S3包含以下子步骤：

S3-1：去除所述点云数据中的噪点，得到无噪点点云数据；

S3-2：过滤掉所述无噪点点云数据中预设识别范围以外的点云数据，得到预设识别范围内的点云数据；

S3-3：将所述预设识别范围内的点云数据对应的点云处理成待测手势的点云；

S3-4：将所述待测手势的点云投影在投影平面上；

S3-5：对所述投影平面上的点云投影进行检测得到所述感测手势形状。

3.根据权利要求2所述的基于手势的非接触式控制方法，其特征在于，在所述S3-3中，通过以下方式将所述预设识别范围内的点云数据对应的点云处理成待测手势的点云：

对所述预设识别范围内的点云数据对应的点云进行连通性检测，得到所述待测手势的点云。

4.根据权利要求3所述的基于手势的非接触式控制方法，其特征在于，在所述S3-5中，通过以下方式对所述投影平面上的点云投影进行检测得到所述感测手势形状：

对所述投影平面上点云投影的二维形状进行检测，得到所述感测手势形状。

5.根据权利要求2所述的基于手势的非接触式控制方法，其特征在于，在所述S3-3中，通过以下方式将所述预设识别范围内的点云数据对应的点云处理成待测手势的点云：

去除所述预设识别范围内的点云数据对应的点云中距离预设原点预设距离以外的点云，得到所述待测手势的点云。

6.根据权利要求5所述的基于手势的非接触式控制方法，其特征在于，在所述S3-5中，通过以下方式对所述投影平面上的点云投影进行检测得到所述感测手势形状：

对所述投影平面上点云投影的二维形状进行检测，得到所述感测手势形状。

7.根据权利要求5所述的基于手势的非接触式控制方法，其特征在于，在所述S3-5中，通过以下方式对所述投影平面上的点云投影进行检测得到所述感测手势形状：

对所述投影平面上点云投影的二维形状的轮廓进行检测，得到所述感测手势形状。

8.根据权利要求2所述的基于手势的非接触式控制方法，其特征在于，在所述S3-3中，通过以下方式将所述预设识别范围内的点云数据对应的点云处理成待测手势的点云：

使用聚类算法将所述预设识别范围内的点云数据对应的点云划分成多个团组，该多个团组分别对应多个所述待测手势的点云；

其中，每个所述团组都有一个点云中心，且每个团组内点云中的所有点距离其所在团组的点云中心最近。

9.根据权利要求8所述的基于手势的非接触式控制方法，其特征在于，在所述S3-5中，通过以下方式对所述投影平面上的点云投影进行检测得到所述感测手势形状：

对所述投影平面上点云投影的二维形状的轮廓进行检测，得到所述感测手势形状。

10.根据权利要求8所述的基于手势的非接触式控制方法，其特征在于，在所述使用聚类算法将所述预设识别范围内的点云数据对应的点云划分成多个团组的步骤中，包含以下子步骤：

S3-3-1：输入所述预设识别范围内的点云数据；

S3-3-2：任意产生k个第一假设团组，并确定所述k个第一假设团组的k个第一实际点云中心；其中，k为大于或等于1的自然数；

S3-3-3：分别计算出所述k个第一假设团组内点云中的各个点对应的k个第一理论点云中心；

S3-3-4：根据所述k个第一理论点云中心产生k个第二假设团组，并确定所述k个第二假设团组的k个第二实际点云中心；

S3-3-5：分别计算出所述具有k个第二实际点云中心的k个第二假设团组内点云中的各个点对应的k个第二理论点云中心；

S3-3-6：重复所述S3-3-4和S3-3-5，直至计算出的k个第N理论点云中心与k个第N实际点云中心相同为止，此时产生的k个第N假设团组分别对应k个所述待测手势的点云。

11.根据权利要求8所述的基于手势的非接触式控制方法，其特征在于，用以下步骤代替所述的S3-4、S3-5以及S4：

通过对所述预存手势形状的点云数据进行训练和学习形成所述预存手势形状的点云模型，所述点云模型构成具有多层神经网络模块的、用于识别所述感测手势形状的神经网络；

将所述待测手势的点云输入到所述神经网络中与所述点云模型进行匹配，经过所述多层神经网络模块的计算，得到所述待测手势的点云与所述预存手势形状中最匹配的手势形状的匹配值；

若所述匹配值在预设范围内，则将所述最匹配的手势形状作为所述感测手势形状，并发出与该感测手势形状对应的预设手势形状相关联的控制信号对待控对象进行控制。

12.根据权利要求1~11中任一项所述的基于手势的非接触式控制方法，其特征在于，在所述发出与该预存手势形状相关联的控制信号对待控对象进行控制的同时，还将所述感测手势形状以及所述感测手势形状是否在识别区域内的信息显示给用户。

13.根据权利要求1~11中任一项所述的基于手势的非接触式控制方法，其特征在于，所述点云数据为三维坐标。

14.一种基于手势的非接触式控制设备，其特征在于，包含深度传感器和具有控制信号输出端的控制主机；

所述控制主机用于预先存储多个已经与不同的控制信号相关联的预存手势形状；

所述深度传感器用于通过点云的方式感测到手势上每个点在三维空间中的点云数据，并将所述点云数据发送给所述控制主机；

所述控制主机还用于接收所述点云数据并将所述点云数据处理成与之匹配的感测手势形状，然后将所述感测手势形状与所述预存手势形状进行匹配，若所述感测手势形状与其中一个所述预存手势形状的匹配程度达到预设程度，则通过所述控制信号输出端发出与该预存手势形状相关联的控制信号对待控对象进行控制。

15.根据权利要求14所述的基于手势的非接触式控制设备，其特征在于，还包含显示设备，所述控制主机还用于在发出控制信号对待控对象进行控制的同时，将所述感测手势形状以及所述感测手势形状是否在识别区域内的信息发送给所述显示设备。

16.根据权利要求14所述的基于手势的非接触式控制设备，其特征在于，还包含防雾抗湿保护层，所述防雾抗湿保护层覆盖在所述深度传感器的镜头上。