CN109933203A - 一种基于计算机视觉手势的液压挖掘机控制方法及系统 - Google Patents

Abstract

本发明提供一种基于计算机视觉手势的液压挖掘机控制方法及系统，涉及液压挖掘机智能控制技术领域，该方法包括以下步骤：S1：建立计算平台；S2：数据采集单元实时获取驾驶员手势动作，发送至数据处理单元；S3：数据处理单元对手势动作进行识别，输入至数据分析单元；S4：数据分析单元判断检测结果与手势数据库中设定手势相识度是否高于预定阈值，若是则生成动作指令，将指令传输给执行器进行挖掘机控制；S5：挖掘机动作执行完毕。本发明一种基于计算机视觉手势的液压挖掘机控制方法控制方式可靠新颖，提高使用便捷性，降低使用难度及门槛，使普通人员也能迅速上手、简单操作挖掘机，实现自定义，具有较高的控制精度和工作效率，更加智能。

Description

一种基于计算机视觉手势的液压挖掘机控制方法及系统

技术领域

本发明涉及液压挖掘机智能控制技术领域，

尤其是，本发明涉及一种基于计算机视觉手势的液压挖掘机控制方法及系统。

背景技术

近些年，随着中国在道路交通、能源水利、城市建设等方面投入的加大，液压挖掘机在中国应用越来越普遍。绝大部分液压挖掘机都是通过驾驶室内驾驶人员操作完成。少数无线遥控挖掘机可以实现远程驾驶，人机分离。

手势识别是目前热门的人机交互方式，在控制领域也得到了较为广泛的应用，采用手势识别，可以大大简化用户的操作。更趋向于人的交流行为习惯和符合人体工程学。现有技术中已经有采用手势识别技术对电子游戏，家庭设备进行控制，在无人机领域也有远程控制的方法。

挖掘机控制通常由经过专业训练的操作者使用专业的遥控器或者在驾驶室来执行。操作者一般要经过大量的专业学习和训练才能操作控制挖掘机。例如，操作者使用遥控器，需要深入了解挖掘机的结构、油门延迟等专业知识，并实际驾驶操作训练，专业性很强。当前的挖掘机的控制比较专业、操作复杂、不直观，效率低。

所以，如何设计一种基于计算机视觉手势的液压挖掘机控制方法或者系统，成为我们当前亟需解决的问题。

发明内容

本发明的目的在于提供一种执行简单，控制方式可靠新颖，提高使用便捷性，降低使用难度及门槛，使普通人员也能迅速上手、简单操作挖掘机，并能针对不同手势习惯的用户做不同的识别，实现自定义，具有较高的控制精度和工作效率，降低误识别误操作，更加智能的基于视觉手势的液压挖掘机控制方法。

为达到上述目的，本发明采用如下技术方案得以实现的：

一种基于计算机视觉手势的液压挖掘机控制方法，包括以下步骤：

S1：建立计算平台，将数据采集单元和执行器分别与计算平台进行连接；

S2：数据采集单元实时获取驾驶员手势动作指令信息，发送至计算平台上的数据处理单元；

S3：数据处理单元对手势动作指令信息进行识别检测，将检测结果输入至计算平台上的数据分析单元；

S4：数据分析单元判断检测结果与手势数据库中设定手势相识度是否高于预定阈值，若是则生成动作指令，将指令传输给执行器进行挖掘机动作控制，否则执行步骤S3；

S5：挖掘机动作执行完毕，重复执行步骤S2。

作为本发明的优选，执行步骤S1时，数据采集单元为标清摄像机或者红外补光器搭配单目摄像头，且数据采集单元安装在指挥人员前上方。

作为本发明的优选，执行步骤S2时，数据处理单元为预先训练好的多任务级联卷积神经网络。

作为本发明的优选，执行步骤S3时，数据处理单元对手势动作指令信息进行识别检测之前，采用中值滤波单元对图像进行预处理。

作为本发明的优选，执行步骤S4之前，建立手势数据库，用以存储根据用户的手势习惯为其设定特定的手势；且根据用户的手势习惯为其设定特定的手势比对数据生成预定阈值数值。

作为本发明的优选，执行步骤S4时，手势数据库设置有手势数据库更新单元，为指定用户设定的特定手势比对数据更新至手势数据库中。

另一方面，本发明还提供一种基于计算机视觉手势的液压挖掘机控制系统，该系统包括：

数据采集单元；

数据处理单元；

数据分析单元；

执行器；

数据采集单元实时获取驾驶员手势动作指令信息，发送至的数据处理单元，数据处理单元对手势动作指令信息进行识别检测，将检测结果输入至数据分析单元，数据分析单元判断检测结果与手势数据库中设定手势相识度是否高于预定阈值，若是则生成动作指令，将指令传输给执行器进行挖掘机控制。

作为本发明的优选，该系统还包括：中值滤波单元，用于数据处理单元对手势动作指令信息进行识别检测之前，对图像进行预处理。

作为本发明的优选，该系统还包括：智能生成模块，根据用户的手势习惯为其设定特定的手势生成建立手势数据库进行存储，且根据用户的手势习惯为其设定特定的手势比对数据生成预定阈值数值。

作为本发明的优选，该系统还包括：手势数据库更新单元，用于将指定用户设定的特定手势比对数据更新至手势数据库中。

本发明一种基于计算机视觉手势的液压挖掘机控制方法及系统有益效果在于：执行简单，控制方式可靠新颖，提高使用便捷性，降低使用难度及门槛，使普通人员也能迅速上手、简单操作挖掘机，并能针对不同手势习惯的用户做不同的识别，实现自定义，具有较高的控制精度和工作效率，降低误识别误操作，更加智能。

附图说明

图1为本发明一种基于计算机视觉手势的液压挖掘机控制方法的流程示意图；

图2为本发明一种基于计算机视觉手势的液压挖掘机控制系统的连接示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步的说明。

近些年，随着中国在道路交通、能源水利、城市建设等方面投入的加大，液压挖掘机在中国应用越来越普遍。绝大部分液压挖掘机都是通过驾驶室内驾驶人员操作完成。少数无线遥控挖掘机可以实现远程驾驶，人机分离。

手势识别是目前热门的人机交互方式，在控制领域也得到了较为广泛的应用，采用手势识别，可以大大简化用户的操作。更趋向于人的交流行为习惯和符合人体工程学。现有技术中已经有采用手势识别技术对电子游戏，家庭设备进行控制，在无人机领域也有远程控制的方法。

实施例一：如图1所示，仅为本发明的其中一个实施例，一种基于计算机视觉手势的液压挖掘机控制方法，包括以下步骤：

S1：建立计算平台，将数据采集单元和执行器分别与计算平台进行连接；

在本发明中，计算平台上设置有数据处理单元、数据分析单元，且依次将数据采集单元、数据处理单元、数据分析单元以及执行器进行连接，保证信息有效交互。

S2：数据采集单元实时获取驾驶员手势动作指令信息，发送至计算平台上的数据处理单元；

在本发明的运用中，驾驶员无需花费长时间进行挖掘机的操作学习，仅仅只需要做出相应的控制手势即可，这样有效降低挖掘机的控制难度和门槛，且数据采集单元可以实时的获取驾驶员做出的手势动作，并将其转换为手势动作指令信息，发送至计算平台上的数据处理单元进行处理。

S3：数据处理单元对手势动作指令信息进行识别检测，将检测结果输入至计算平台上的数据分析单元；

数据采集单元实时的获取驾驶员做出的手势动作，仅仅是一幅或者多幅含有的图像信息，需要先采用数据处理单元进行识别检测，获取最能代表驾驶员操作想法的手势图像，以此为结果进行分析。

S4：数据分析单元判断检测结果与手势数据库中设定手势相识度是否高于预定阈值，若是则生成动作指令，将指令传输给执行器进行挖掘机控制，否则执行步骤S3；

数据处理单元进行识别检测之后的手势图像，经过数据分析单元进行分析和对比，与手势数据库中设定手势进行相识度对比，从而判断驾驶员手势的指令内容，将此指令传输给执行器，执行器驱动液压挖掘机工作执行部进行挖掘机的相应动作。

S5：挖掘机动作执行完毕，重复执行步骤S2。该次驾驶员手势指令已经执行完毕，继续步骤S2，获取驾驶员下一个手势指令，并完成相应的控制动作和挖掘机的操作。

而且，其中数据采集单元为标清摄像机或者红外补光器搭配单目摄像头，且数据采集单元安装在指挥人员前上方。数据采集单元可以是一个标清摄像机，安装于被监控指挥人员前上方5米内，可从前向拍摄面部。或者本发明数据采集单元采用红外补光器搭配单目摄像头，可于低照度条件下使用，更适合应用于野外，尤其夜间作业无日光照明时，仍可正常使用。

数据处理单元为预先训练好的多任务级联卷积神经网络，具体来说数据处理单元是一台配备较高性能GPU的主机，并部署有预先训练好的卷积神经网络，能同时实现手势识别检测。

数据分析单元与数据处理单元部署在同一计算平台上，以数据处理单元的输出作为输入，运行一个训练好的数据模型，通过一段时间内的输入，时序地分析指挥人员的指令。

本发明一种基于计算机视觉手势的液压挖掘机控制方法执行简单，控制方式可靠新颖，提高使用便捷性，降低使用难度及门槛，使普通人员也能迅速上手、简单操作挖掘机，并能针对不同手势习惯的用户做不同的识别，实现自定义，具有较高的控制精度和工作效率，降低误识别误操作，更加智能。

实施例二，仍如图1所示，依然为本发明的其中一个实施例，为了使得本发明一种基于计算机视觉手势的液压挖掘机控制方法更加的实用稳定，操作更安全稳定，本发明中还具有以下几个设计：

首先，执行步骤S3时，数据处理单元对手势动作指令信息进行识别检测之前，采用中值滤波单元对图像进行预处理。

对摄像头捕捉到的视频流信息中的每一帧图像，受限于摄像头工作情况和所处的环境，在图像传输过程中由于传输通道受到干扰会产生噪声污染，所以先采用了中值滤波对图像进行了预处理，去除噪声。

然后，执行步骤S4之前，建立手势数据库，用以存储根据用户的手势习惯为其设定特定的手势；且根据用户的手势习惯为其设定特定的手势比对数据生成预定阈值数值。

将手势指令数值化，也就是手势值序列中记录至少一个数据，该数据代表某手势数据与另一手势数据的手势值，该手势值达到设定阈值时，表示某手势数据与另一手势数据相近似，认为两者对应同一手势命令；根据成功匹配的模板判定用户

最后，执行步骤S4时，手势数据库设置有手势数据库更新单元，为指定用户设定的特定手势比对数据更新至手势数据库中，使得手势数据库中设定用户具有特定的手势比对数据库。

实施例三，如图2所示，本发明还提供一种基于计算机视觉手势的液压挖掘机控制系统，该系统包括：

数据采集单元；

数据处理单元；

数据分析单元；

执行器；

数据采集单元实时获取驾驶员手势动作指令信息，发送至的数据处理单元，数据处理单元对手势动作指令信息进行识别检测，将检测结果输入至数据分析单元，数据分析单元判断检测结果与手势数据库中设定手势相识度是否高于预定阈值，若是则生成动作指令，将指令传输给执行器进行挖掘机控制

而且，该系统还包括：中值滤波单元，用于数据处理单元对手势动作指令信息进行识别检测之前，对图像进行预处理。

另外，该系统还包括：智能生成模块，根据用户的手势习惯为其设定特定的手势生成建立手势数据库进行存储，且根据用户的手势习惯为其设定特定的手势比对数据生成预定阈值数值。

最后，该系统还包括：手势数据库更新单元，用于将指定用户设定的特定手势比对数据更新至手势数据库中。

本发明一种基于计算机视觉手势的液压挖掘机控制方法及系统有益效果在于：执行简单，控制方式可靠新颖，提高使用便捷性，降低使用难度及门槛，使普通人员也能迅速上手、简单操作挖掘机，并能针对不同手势习惯的用户做不同的识别，实现自定义，具有较高的控制精度和工作效率，降低误识别误操作，更加智能。

本发明不局限于上述具体的实施方式，本发明可以有各种更改和变化。凡是依据本发明的技术实质对以上实施方式所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围。

Claims (10)

1.一种基于计算机视觉手势的液压挖掘机控制方法，其特征在于，包括以下步骤：

S1：建立计算平台，将数据采集单元和执行器分别与计算平台进行连接；

S2：数据采集单元实时获取驾驶员手势动作指令信息，发送至计算平台上的数据处理单元；

S3：数据处理单元对手势动作指令信息进行识别检测，将检测结果输入至计算平台上的数据分析单元；

S4：数据分析单元判断检测结果与手势数据库中设定手势相识度是否高于预定阈值，若是则生成动作指令，将指令传输给执行器进行挖掘机控制；否则执行步骤S3；

S5：挖掘机动作执行完毕，重复执行步骤S2。

2.根据权利要求1所述的一种基于计算机视觉手势的液压挖掘机控制方法，其特征在于：

执行步骤S1时，数据采集单元为标清摄像机或者红外补光器搭配单目摄像头，且数据采集单元安装在指挥人员前上方。

3.根据权利要求1所述的一种基于计算机视觉手势的液压挖掘机控制方法，其特征在于：

执行步骤S2时，数据处理单元为预先训练好的多任务级联卷积神经网络。

4.根据权利要求1所述的一种基于计算机视觉手势的液压挖掘机控制方法，其特征在于：

执行步骤S3时，数据处理单元对手势动作指令信息进行识别检测之前，采用中值滤波单元对图像进行预处理。

5.根据权利要求1所述的一种基于计算机视觉手势的液压挖掘机控制方法，其特征在于：

执行步骤S4之前，建立手势数据库，用以存储根据用户的手势习惯为其设定特定的手势；且根据用户的手势习惯为其设定特定的手势比对数据生成预定阈值数值。

6.根据权利要求5所述的一种基于计算机视觉手势的液压挖掘机控制方法，其特征在于：

执行步骤S4时，手势数据库设置有手势数据库更新单元，为指定用户设定的特定手势比对数据更新至手势数据库中。

7.一种基于计算机视觉手势的液压挖掘机控制系统，其特征在于，包括：

数据采集单元；

数据处理单元；

数据分析单元；

执行器；

数据采集单元实时获取驾驶员手势动作指令信息，发送至的数据处理单元，数据处理单元对手势动作指令信息进行识别检测，将检测结果输入至数据分析单元，数据分析单元判断检测结果与手势数据库中设定手势相识度是否高于预定阈值，若是则生成动作指令，将指令传输给执行器进行挖掘机控制。

8.根据权利要求7所述的一种基于计算机视觉手势的液压挖掘机控制系统，其特征在于，该系统还包括：

中值滤波单元，用于在数据处理单元对手势动作指令信息进行识别检测之前，对图像进行预处理。

9.根据权利要求7所述的一种基于计算机视觉手势的液压挖掘机控制系统，其特征在于，该系统还包括：

智能生成模块，根据用户的手势习惯为其设定特定的手势生成建立手势数据库进行存储，且根据用户的手势习惯为其设定特定的手势比对数据生成预定阈值数值。

10.根据权利要求7所述的一种基于计算机视觉手势的液压挖掘机控制系统，其特征在于，该系统还包括：

手势数据库更新单元，用于将指定用户设定的特定手势比对数据更新至手势数据库中。