CN109972674A - 基于自然交互的复杂施工环境下的无人挖掘系统及方法 - Google Patents

Abstract

本发明公开了一种基于自然交互的复杂施工环境下的无人挖掘系统及方法，属于无人挖掘系统领域。该系统及方法根据双手手势控制单元发出的双手手势指令控制全息电子围墙、力反馈单元和无人挖掘机完成相应动作，无人挖掘机利用全息电子围墙单元所示的可视化电子围墙保持与周边环境的安全距离，并在铲斗遇到地下障碍物时利用力反馈单元，将所感知的力的信息通过力感知模块传递给远程操控者，远程操控者通过力模拟模块感知障碍物，并据此通过双手手势控制单元作出下一步挖掘指令。本发明基于手势识别控制，实现远程操控者与无人挖掘机的自然交互，且能对挖掘机动作进行反馈，还能与周边环境交互，提高挖掘工作的安全性，降低现场安全事故发生的概率。

Description

基于自然交互的复杂施工环境下的无人挖掘系统及方法

技术领域

本发明属于无人挖掘系统领域，更具体地，涉及一种基于自然交互的复杂施工环境下的无人挖掘系统及其工作方法。

背景技术

随着计算机技术的逐步发展，各式各样的自然交互方式应运而生，而随着工程机械朝着智能化、自动化的方向发展，机械的自主化水平逐渐提高。在普通的土方挖掘项目中，已有国外公司开发全自主无人挖掘机，通过对简单的土方场地进行挖土和运土，但是由于部分地下工程施工环境的复杂性，目前还难以实现无人挖掘机全自主开挖，因此采用自然交互方式控制无人挖掘机工作具有一定的可行性，实现远程操控者与无人挖掘机、无人挖掘机与环境的实时交互，达到安全、精准施工的目的。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于自然交互的复杂施工环境下的无人挖掘系统及方法，其目的在于，通过引入自然交互控制技术，在面向复杂施工环境中无人挖掘机无法自主作业的情况时，能够借助远程自然交互控制及反馈，实现远程遥控操作，由此解决现有技术难以实现复杂施工环境下的无人挖掘的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于自然交互的复杂施工环境的无人挖掘系统，用于无人挖掘机的自然交互控制，包括：双手手势控制单元、双手手势指令库、力反馈单元、全息电子围墙单元以及显示器；

所述双手手势控制单元用于控制所述无人挖掘机工作，包括双手手势识别模块和双手手势解析模块；所述双手手势识别模块用于识别操作者的手势图像并建立手势图像的三维模型并传输至所述双手手势解析模块，所述双手手势解析模块用于根据识别出的手势的三维模型在双手手势指令库中匹配相应的指令；

所述力反馈单元用于检测所述无人挖掘机工作时的受力情况并给远程操控者提供力反馈；

所述全息电子围墙单元用于安装至所述无人挖掘机上，投射可视化电子围墙划分所述无人挖掘机与周边环境的安全距离；

所述显示器用于显示双手手势解析模块建立的手势三维模型和/或所述力反馈单元检测的受力数据。

进一步地，所述复杂施工环境包括深基坑挖掘工程环境、地下挖掘工程环境、矿山挖掘工程环境。

进一步地，所述力反馈单元包括力感知模块、力计算模块、力传输模块和力模拟模块；

所述力感知模块安装于所述无人挖掘机上，用于检测所述无人挖掘机工作时的受力情况并传输至所述力计算模块；所述力计算模块将计算结果通过所述力传输模块传递至所述力模拟模块；所述力模拟模块位于远程操控端，用于模拟力计算结果，从而向远程操作者反馈无人挖掘机的受力情况。

进一步地，所述全息电子围墙单元包括投影模块和报警模块；所述投影模块用于按照设定的距离在无人挖掘机周围投影出全息电子围墙；所述报警模块用于挖掘点超出全息电子围墙范围和/或全息电子围墙范围内有风险产生时发出警报。

进一步地，所述全息电子围墙单元还包括定位模块，所述定位模块用于识别无人挖掘机的方位以及计算电子围墙的具体范围。

进一步地，所述报警模块通过改变全息电子围墙颜色和/或发出提示音的方式发出警报。

为了实现上述目的，本发明还提供了一种基于上述无人挖掘系统的无人挖掘方法，用于无人挖掘机的自然交互控制，其特征在于，包括如下步骤：

步骤1：获取远程操作者双手手势图像；

步骤2：根据获取的双手手势图像识别对应的手势样式，匹配对应的控制指令，然后向无人挖掘机、全息电子围墙单元及力反馈单元发送对应的控制指令，包括：

根据识别出的手势样式，在双手手势指令库中匹配相应的控制指令并将所得控制指令发送给所述无人挖掘机，从而控制所述无人挖掘机执行相应的动作；根据识别出的手势样式，在双手手势指令库中匹配相应的控制指令并将所得控制指令发送给所述全息电子围墙单元，实现对全息电子围墙的启动或停止的控制；所述双手手势指令库中预置有双手手势样式与控制指令之间的映射关系；

步骤3：无人挖掘机在得到指令后开始挖掘，并通过力反馈单元实时向远程操控者提供挖掘情况；远程操控者实时根据力反馈结果、全息电子围墙显示结果判断是否需要更换控制手势，改变无人挖掘机工作状态。

总体而言，本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明可实现通过双手手势识别的方式远程控制在复杂施工环境下施工的无人挖掘机的动作；

(2)本发明可实现远程操控者与无人挖掘机的自然交互，并通过力反馈单元和显示器向操作者提供反馈信息，具有良好的反馈机制，有利于远程操作者实时掌握无人挖掘机的工作状态，以及时调整指令；

(3)本发明通过全息投影显示单元及实现了与周边环境的交互，提高了挖掘工作的安全性，同时降低了现场安全事故发生的概率。

附图说明

图1是本发明的系统框架图；

图2和图3是全息电子围墙围护范围随无人挖掘机工作台和机械臂运动的两种不同位置示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明针对复杂施工环境下工人人身安全问题以及无人挖掘机的施工安全问题，提供了一种应用于复杂施工环境下，可有效增强无人挖掘机交互功能、保障施工安全的基于自然交互的复杂施工环境下的无人挖掘系统及其工作方法，能够适用于深基坑开挖、地下工程开挖、矿山开挖等复杂施工环境。

如图1～3所示，本发明优选实施例的一种基于自然交互的复杂施工环境的无人挖掘系统包括：用于控制无人挖掘机工作的双手手势控制单元、用于给远程操控者提供力反馈的力反馈单元、安装在无人挖掘机上的用于投射可视化电子围墙保持与周边环境的安全距离全息电子围墙单元，以及显示器；所述双手手势控制单元与无人挖掘机、力反馈单元、全息电子围墙单元连接，其中力反馈单元与无人挖掘机连接，与双手手势识别装置构成一个闭合的反馈回路；全息电子围墙与无人挖掘机相连，与双手手势识别装置构成一个闭合的反馈回路。

所述双手手势控制单元包括双手手势识别模块、双手手势解析模块。所述力反馈单元包括力感知模块、力计算模块、力传输模块、和力模拟模块。其中力模拟模块包括显示器和模拟器。所述全息电子围墙单元包括定位模块、投影模块和报警模块。所述双手手势解析模块将所识别的双手手势建立三维模型并解析，然后根据解析结果在已建立好的双手手势指令库中匹配相应的指令。所述报警模块通过改变全息电子围墙颜色和发出警报来实现。

本实施例的一种基于自然交互的复杂施工环境的无人挖掘系统，其执行机构包括双手手势控制单元、力反馈单元、全息电子围墙单元。

作为优选的方案，所述双手手势控制单元用于控制无人挖掘机的动作，由手势识别模块和手势解析模块构成。所述手势识别模块用于识别远程操控者的手势，结合远程操控者的手掌、手指及手掌球的运动信息建立手部的三维模型并传输给手势解析模块。所述手势解析模块用于根据手势的三维模型从已建好的双手手势指令库中调取对应的手势所要表达的控制指令。

所述双手手势指令库预设有不同手势对应的控制指令，作为进一步的优选，该双手手势指令库还可以支持操作者根据自己的使用习惯对手势与控制指令的对应关系进行自定义，例如通过一个手势定义挖掘机的多个动作连续进行。

所述力反馈单元用于给远程操控者提供力反馈，由力感知模块、力计算模块、力传输模块和力模拟模块构成。其中，力反馈单元中的力感知模块、力计算模块和力传输模块安装在无人挖掘机上，力模拟模块放置于远程端，其中模拟器安装在操作者的手上，显示器放置于平面上。全息电子围墙根据无人挖掘机工作装置的姿态投射电子围墙，此时全息电子围墙颜色为绿色。

所述力感知模块用于感知无人挖掘机工作时的受力情况，可以通过在铲斗、机械臂上布置力传感器、速度传感器、加速度传感器以及陀螺仪等进行受力检测，也可以通过ATI六维力传感器进行力的检测。在本发明中，由于采用的是力反馈技术，速度变化、加速度变化、角度变化均可以视为受力变化的结果，因此也可以视为力感知。

当铲斗开挖时与硬石块或其他阻碍铲斗工作的物体碰触时，力感知模块的各个传感器的检测信息会发生突然变化，力感知模块通过对应的传感器记录接触时铲斗的速度、铲斗与障碍物所成角度、碰触瞬间产生的加速度及障碍物形变信息并存储。

所述力计算模块用于将力感知模块存储的各项力反馈信息进行计算，得出碰触时具体产生的力的大小，将所得力大小与形变信息组成数据集进行存储。所述力传输模块用于将数据集传输给远程操控端的模拟器，数据集通过无线信号实现传输。

所述力模拟模块用于对力反馈的数据集进行模拟，由模拟器和显示器构成，数据集中的力的数据信息以远程操控端模拟器的振动幅度来模拟，数据集中的形变信息由显示器显示，在其他实施例中，也可以同时选择显示力的数据信息。在本实施例中，模拟器可以采用六轴力反馈装置、力反馈手套等。

所述全息电子围墙单元用于提示挖掘警戒线，由定位模块、投影显示模块和报警模块构成。所述定位模块用于对无人挖掘机工作装置进行追踪以及定位全息电子围墙范围。如图2、3所示，以挖掘机工作装置2(一般是机械臂和铲斗)和上部回转机构3所构成整体的外边缘线所能构成的矩形为基础，每一条边向外移动相同距离所构成的矩形为全息电子围墙1的范围。所述投影显示模块用于投射全息电子围墙，根据定位模块计算出的全息电子围墙范围，利用施工现场空气中的尘土作为介质，将电子围墙投射在尘土上。所述报警模块用于警示有人或异物进入围墙范围或挖掘超过围墙范围。在正常工作环境下，全息电子围墙应该是完整的，即，由于安全的工作环境是在无人挖掘的警戒范围内没有人员或障碍物，铲斗也不允许超范围工作，则正常工作环境下，全息电子围墙不会与铲斗、人员或障碍物相交，是完整的投影图像。以铲斗为例，报警模块通过判断铲斗与全息电子围墙是否存在交点(无人挖掘机一般自带动作实时模拟展示功能，可以直接在模拟模型周围植入全息电子围墙的模型，通过模型相交进行判断)，可以判断铲斗是否超出安全范围，若存在交点则说明铲斗超范围，发出报警声响同时改变投影颜色，使得全息电子围墙变为红色。

上述基于自然交互的复杂施工环境的无人挖掘系统的工作方法，即无人挖掘方法的一般操作方法如下：

首先，获取远程操作者双手手势图像；

然后，通过双手手势图像所对应的指令向挖掘机、全息电子围墙单元及力反馈单元发送预设控制指令，无人挖掘机在得到指令后开始挖掘，通过力反馈单元实时向远程操控者提供挖掘情况。

所述获取远程操作者双手手势图像包括：通过双手手势识别模块获取手势图像，建立手势模型并存储。

所述通过双手手势图像所对应的指令向挖掘机及全息电子围墙单元发送预设的控制指令包括：

利用双手手势解析模块根据手势样式与所述预设控制指令之间的映射关系，得出相应控制指令，并将所得指令发送给无人挖掘机，无人挖掘机执行相应的动作；所述全息电子围墙单元通过双手手势装置进行控制，利用双手手势解析模块根据手势样式与所述预设控制指令之间的映射关系，得出相应控制指令并发送给装载在无人挖掘机上的全息电子围墙单元，实现对全息电子围墙的启动或停止的控制。

所述手势样式与所述预设控制指令之间的映射关系示例如下：

表1手势样式与预设控制指令之间的映射关系

所述通过力反馈单元实时向远程操控者提供挖掘情况包括：

无人挖掘机在执行挖掘工作时，当铲斗遇到障碍物，利用力感知模块获取触碰时的相应力信息，并将该信息传递给力计算模块，将计算结果通过力传输模块传递到远程操控端的力模拟模块上，远程操控者通过力模拟模块感知该触碰力，并对下一步无人挖掘机的动作作出决策，再次通过双手手势控制模块实现对无人挖掘机动作的控制。

优选地，可以采用视觉捕捉装置作为手势识别模块，捕捉操作者的手势动作，例如kinect；也可以采用动作捕捉手套进行手势捕捉。按照表1的设定，除停止指令外，其余指令均为单手手势控制，而另一只手则通过模拟器感受力反馈结果，从而使操作者可以在手势操作的同时接受操作结果的反馈。

此外，还可以采用Dexmo系列的力反馈手部动作捕捉装置，该装置是在动作捕捉手套的基础上集成了力反馈功能，即将双手手势识别模块和力反馈单元的模拟器进行了硬件集成。采用这种手套可以在捕捉双手动作的同时进行力反馈，因此可以支持更多的手势操作，例如双手同时比1(双手各伸出一根手指)、双手相对比2(即两只剪刀手剪刀相对)，从而可以实现对更多控制指令进行相应的手势定义，进一步提高对复杂环境的应对能力。

所述利用全息电子围墙单元所示的可视化电子围墙保持与周边环境的安全距离包括所述全息电子围墙始终跟随挖掘机工作装置和上部转台所构成的整体位置的变化而变化，其范围是以该整体的外边缘线所能构成的矩形为基础，每一条边向外移动相同距离所构成的矩形范围。所述相同距离根据无人挖掘机的尺寸而定，一般选择范围在3-5米之间。

下面结合通过一个具体的操作案例对本发明的技术方案作进一步阐述：

步骤A：当整个系统通电之后，各模块均开始初始化。

步骤B：在初始化过程中，双手手势控制单元根据预设的程序配置双手手势识别模块和双手手势解析模块，双手手势识别模块尝试捕捉双手手势图像。本例中双手手势控制单元为Kinect，双手手势识别模块和双手手势解析模块集成于Kinect中。

步骤C：双手手势识别模块初始化完毕后，将双手手势控制单元放置于一定高度的平面，该高度应满足双手手势识别模块可捕捉操控者双手手势的要求。

步骤D：根据表1所示的双手手势指令库中双手手势样式与预设指令之间的映射关系，左手做出三指朝上的姿态，即左手比3状向上；双手手势控制单元通过手势识别模块识别操控者的手掌运动信息、手指运动信息和手掌球运动信息并建立该手势的三维模型，将该三维模型与双手手势指令库中的三维模型进行比对，通过预设的映射关系可得该手势对应的指令命令意思为开启挖掘机，此时该指令通过无线信号传输给装载在无人挖掘机上的信号接收装置，无人挖掘机启动。

步骤E：根据双手手势样式与预设指令之间的映射关系，左手做出一指朝上的姿态，即左手比1状向上；双手手势控制单元按照如步骤D所述的方式解析指令，通过无线信号向电子围墙发出指令，装载在全息电子围墙上的信号接收装置收到信号后，全息电子围墙启动，并根据预设的程序进行初始化，进行投射调试，初始状态及安全状态下的全息电子围墙的颜色为绿色。

步骤F：根据双手手势样式与预设指令之间的映射关系，左手做出二指朝上的姿态，即左手比2状向上(俗称剪刀手)；双手手势控制单元按照如步骤D所述的方式解析指令，通过无线信号向力反馈单元发出指令，装载在力反馈单元上的信号接收装置收到信号后，力反馈单元启动并开始初始化，其中力传输模块与力模拟模块通过无线通信装置建立连接。

步骤G：所有初始化过程结束之后，挖掘工作正式开始，装载在无人挖掘机上的摄像头实时向远程操控者传输施工现场图像，远程操控者做出相应手势，双手手势控制单元识别操控者的手掌运动信息、手指运动信息和手掌球运动信息并建立三维模型，并将该模型与双手手势指令库中的模型进行比对，根据映射关系得出工作指令，将指令通过无线通讯的方式传递给无人挖掘机；无人挖掘机得到工作指令后开始进行相应的挖掘工作。根据实际遇到的施工情形，具体的指令与手势映射关系见表1。

步骤H：无人挖掘机进行挖掘时，铲斗遇到障碍物，铲斗触碰信息由力反馈单元进行感知，通过力感知模块所包含的角速度传感器、线速度传感器、角度传感器及加速度传感器对触碰时铲斗的速度、铲斗与障碍物所成角度、碰触瞬间产生的加速度进行信息收集，并将计算结果通过无线信号传输到远程端，远程操控者根据模拟出力的情况和显示器显示出的形变信息判断是否继续开挖或是转变铲斗方向，根据所做判断再通过双手手势控制单元指示无人挖掘机的下一步动作。

步骤I：根据无人挖掘机工作时的所处位置，全息电子围墙时刻围绕无人挖掘机工作装置的转变而变化，当铲斗超过电子围墙显示范围，无人挖掘机上装载的报警模块发出警报，电子围墙由绿色变为红色，无人挖掘机制动紧急制动；当有现场施工人员闯入全息电子围墙之内，全息电子围墙单元所包含的报警模块发出警报，电子围墙由绿色变为红色，此时通过双手手势控制使得无人挖掘机紧急制动。排除危险后可以重新作出手势指示无人挖掘机启动。

步骤J：无人挖掘机完成挖掘动作之后，再次利用双手手势向无人挖掘机、全息电子围墙及力反馈单元发出停止指令，使其停止工作，最后断电，整个无人挖掘系统停止运转。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于自然交互的复杂施工环境的无人挖掘系统，用于无人挖掘机的自然交互控制，其特征在于，包括：双手手势控制单元、双手手势指令库、力反馈单元、全息电子围墙单元以及显示器；

所述双手手势控制单元用于控制所述无人挖掘机工作，包括双手手势识别模块和双手手势解析模块；所述双手手势识别模块用于识别操作者的手势图像并建立手势图像的三维模型并传输至所述双手手势解析模块，所述双手手势解析模块用于根据识别出的手势的三维模型在双手手势指令库中匹配相应的指令；

所述力反馈单元用于检测所述无人挖掘机工作时的受力情况并给远程操控者提供力反馈；

所述全息电子围墙单元用于安装至所述无人挖掘机上，投射可视化电子围墙划分所述无人挖掘机与周边环境的安全距离；

所述显示器用于显示双手手势解析模块建立的手势三维模型和/或所述力反馈单元检测的受力数据。

2.如权利要求1所述的一种基于自然交互的复杂施工环境的无人挖掘系统，其特征在于，所述复杂施工环境包括深基坑挖掘工程环境、地下挖掘工程环境、矿山挖掘工程环境。

3.如权利要求1所述的一种基于自然交互的复杂施工环境的无人挖掘系统，其特征在于，所述力反馈单元包括力感知模块、力计算模块、力传输模块和力模拟模块；

所述力感知模块安装于所述无人挖掘机上，用于检测所述无人挖掘机工作时的受力情况并传输至所述力计算模块；所述力计算模块将计算结果通过所述力传输模块传递至所述力模拟模块；所述力模拟模块位于远程操控端，用于模拟力计算结果，从而向远程操作者反馈无人挖掘机的受力情况。

4.如权利要求1～3任意一项所述的一种基于自然交互的复杂施工环境的无人挖掘系统，其特征在于，所述全息电子围墙单元包括投影模块和报警模块；所述投影模块用于按照设定的距离在无人挖掘机周围投影出全息电子围墙；所述报警模块用于挖掘点超出全息电子围墙范围和/或全息电子围墙范围内有风险产生时发出警报。

5.如权利要求4所述的一种基于自然交互的复杂施工环境的无人挖掘系统，其特征在于，所述全息电子围墙单元还包括定位模块，所述定位模块用于识别无人挖掘机的方位以及计算电子围墙的具体范围。

6.如权利要求4所述的一种基于自然交互的复杂施工环境的无人挖掘系统，其特征在于，所述报警模块通过改变全息电子围墙颜色和/或发出提示音的方式发出警报。

7.一种基于权利要求1～6任意一项所述的无人挖掘系统的无人挖掘方法，用于无人挖掘机的自然交互控制，其特征在于，包括如下步骤：

步骤1：获取远程操作者双手手势图像；

步骤2：根据获取的双手手势图像识别对应的手势样式，匹配对应的控制指令，然后向无人挖掘机、全息电子围墙单元及力反馈单元发送对应的控制指令，包括：

根据识别出的手势样式，在双手手势指令库中匹配相应的控制指令并将所得控制指令发送给所述无人挖掘机，从而控制所述无人挖掘机执行相应的动作；根据识别出的手势样式，在双手手势指令库中匹配相应的控制指令并将所得控制指令发送给所述全息电子围墙单元，实现对全息电子围墙的启动或停止的控制；所述双手手势指令库中预置有双手手势样式与控制指令之间的映射关系；

步骤3：无人挖掘机在得到指令后开始挖掘，并通过力反馈单元实时向远程操控者提供挖掘情况；远程操控者实时根据力反馈结果、全息电子围墙显示结果判断是否需要更换控制手势，改变无人挖掘机工作状态。