CN114428483B - 作业机械遥控端力反馈控制方法、装置及系统 - Google Patents

Abstract

本发明提供一种作业机械遥控端力反馈控制方法、装置及系统，首先获取作业机械所处环境的声音信息和/或作业机械的自身信息；然后通过声音信息和/或自身信息，确定出作业机械的受力信息；最后根据受力信息，控制作业机械遥控端的力反馈装置向用户提供与受力信息对应的反馈力。在作业机械的远程控制过程中，该方法能够向用户提供与作业机械的受力信息对应的反馈力，使用户可以感受作业机械的受力情况，降低用户对视觉图像的依赖程度，避免用户产生视觉疲劳。而且，由于反馈力直接提供给用户，可以避免因视觉图像存在偏差而导致用户误操作的情况发生，不仅可以提高用户的工作效率，还可以提高操作安全性，也使用户具有现场操作的体验感。

Description

作业机械遥控端力反馈控制方法、装置及系统

技术领域

本发明涉及作业机械远程控制技术领域，尤其涉及一种作业机械遥控端力反馈控制方法、装置及系统。

背景技术

为保证作业机械的安全作业，远程控制作业机械的作业过程逐步得到应用。以远程控制挖掘机为例，通过远程控制挖掘机实现挖掘机的安全作业。

目前，在远程控制挖掘机的过程中，仅能为控制端提供视觉图像，这将导致控制端操作手对视觉图像的过分依赖，容易产生视觉疲劳。而且，由于视觉图像存在偏差，可能会导致控制端操作手的误操作，不仅会降低操作手的工作效率，还可能引发事故。例如，控制端操作手根据视觉图像远程控制挖掘机进行挖掘作业，当挖掘机铲斗触地后若继续与地面摩擦，操作手则无法继续根据视觉图像对挖掘机进行控制，这将会造成铲斗齿间与地面的磨损，不仅会降低操作手的工作效率，还存在产生安全事故的隐患。

为此，现急需提供一种作业机械遥控端力反馈控制方法。

发明内容

本发明提供一种作业机械遥控端力反馈控制方法、装置及系统，用以解决现有技术中存在的缺陷。

本发明提供一种作业机械遥控端力反馈控制方法，包括：

获取作业机械所处环境的声音信息和/或所述作业机械的自身信息；

基于所述声音信息和/或所述自身信息，确定所述作业机械的受力信息；

基于所述受力信息，控制作业机械遥控端的力反馈装置向用户提供与所述受力信息对应的反馈力。

根据本发明提供的一种作业机械遥控端力反馈控制方法，所述自身信息包括位姿信息、动臂油缸腔内压力信息以及行驶轨迹信息中的至少一种；

基于所述自身信息，确定所述作业机械的受力信息，通过如下步骤中的至少一种实现：

基于所述位姿信息，确定所述受力信息中包含的外力的类型；

基于所述动臂油缸腔内压力信息，计算所述作业机械的动臂油缸推力信息，并基于所述油缸推力信息，确定所述受力信息中包含的负载力；

基于所述行驶轨迹信息，确定所述受力信息中包含的外力的类型。

根据本发明提供的一种作业机械遥控端力反馈控制方法，所述力反馈装置包括手柄，所述手柄包括操纵杆以及驱动装置；

所述基于所述受力信息，控制作业机械遥控端的力反馈装置向用户提供与所述受力信息对应的反馈力，包括：

基于CAN总线，确定所述手柄的操纵信息；

基于所述操纵信息，控制所述驱动装置带动所述操纵杆运动，以使所述操纵杆向所述用户提供与所述负载力对应的反馈力，与所述负载力对应的反馈力为阻尼力形式。

根据本发明提供的一种作业机械遥控端力反馈控制方法，所述力反馈装置包括手柄，所述手柄包括操纵杆以及驱动装置，所述外力的类型包括极限状态限制力；

所述基于所述受力信息，控制作业机械遥控端的力反馈装置向用户提供与所述受力信息对应的反馈力，还包括：

控制所述驱动装置带动所述操纵杆运动，以使所述操纵杆向所述用户提供与所述极限状态限制力对应的反馈力，与所述极限状态限制力对应的反馈力为碰撞力形式。

根据本发明提供的一种作业机械遥控端力反馈控制方法，基于所述位姿信息，确定所述受力信息中包含的外力的类型，包括：

基于所述位姿信息，判断所述作业机械是否处于极限状态；

若所述作业机械处于所述极限状态，则确定所述受力信息中包含有所述外力，且所述外力的类型为所述极限状态限制力。

根据本发明提供的一种作业机械遥控端力反馈控制方法，所述力反馈装置包括手柄，所述手柄包括操纵杆以及驱动装置，所述外力的类型还包括障碍物阻碍力；

所述基于所述受力信息，控制作业机械遥控端的力反馈装置向用户提供与所述受力信息对应的反馈力，还包括：

控制所述驱动装置带动所述操纵杆运动，以使所述操纵杆向所述用户提供与所述障碍物阻碍力对应的反馈力，所述障碍物阻碍力对应的反馈力为碰撞力形式，或者，所述障碍物阻碍力对应的反馈力为阻尼力与碰撞力结合的形式。

根据本发明提供的一种作业机械遥控端力反馈控制方法，所述行驶轨迹信息包括实际行驶轨迹信息以及理论行驶轨迹信息；

基于所述行驶轨迹信息，确定所述受力信息中包含的外力的类型，包括：

计算所述实际行驶轨迹信息以及所述理论行驶轨迹信息之间的差异；

若所述差异大于预设阈值，则确定所述受力信息中包含有所述外力，且所述外力的类型为所述障碍物阻碍力。

根据本发明提供的一种作业机械遥控端力反馈控制方法，基于所述声音信息，确定所述作业机械的受力信息，包括：

对所述声音信息进行噪音过滤处理，得到处理后的声音信息；

基于所述处理后的声音信息，判断所述受力信息中是否存在外力。

本发明还提供一种作业机械遥控端力反馈控制装置，包括：

信息获取模块，用于获取作业机械所处环境的声音信息和/或所述作业机械的自身信息；

信息确定模块，用于基于所述声音信息和/或所述自身信息，确定所述作业机械的受力信息；

反馈力提供模块，用于基于所述受力信息，控制作业机械遥控端的力反馈装置向用户提供与所述受力信息对应的反馈力。

本发明还提供一种作业机械遥控端力反馈控制系统，包括：作业机械遥控端的力反馈装置以及上述的作业机械遥控端力反馈控制装置；

所述力反馈装置与所述作业机械遥控端力反馈控制装置通过CAN总线连接；

所述力反馈装置包括手柄和/或多自由度座椅。

本发明还提供一种作业机械平台，包括：作业机械、作业机械遥控端以及如上述所述的作业机械遥控端力反馈控制系统；

所述作业机械遥控端用于对所述作业机械进行远程控制；

所述作业机械遥控端力反馈控制系统用于对所述作业机械遥控端进行力反馈控制。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述作业机械遥控端力反馈控制方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述作业机械遥控端力反馈控制方法的步骤。

本发明提供的作业机械遥控端力反馈控制方法、装置及系统，首先获取作业机械所处环境的声音信息和/或作业机械的自身信息；然后通过声音信息和/或自身信息，确定出作业机械的受力信息；最后根据受力信息，控制作业机械遥控端的力反馈装置向用户提供与受力信息对应的反馈力。在作业机械的远程控制过程中，该方法能够向用户提供与作业机械的受力信息对应的反馈力，使用户可以感受作业机械的受力情况，降低用户对视觉图像的依赖程度，避免用户产生视觉疲劳。而且，由于反馈力直接提供给用户，可以避免因视觉图像存在偏差而导致用户误操作的情况发生，不仅可以提高用户的工作效率，还可以提高操作安全性，也使用户具有现场操作的体验感。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的作业机械遥控端力反馈控制方法的流程示意图；

图2是本发明提供的作业机械遥控端力反馈控制方法中采用的手柄的结构示意图；

图3是本发明提供的作业机械遥控端力反馈控制装置的结构示意图；

图4是本发明提供的作业机械遥控端力反馈控制系统的结构示意图；

图5是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于现有技术中在远程控制挖掘机的过程中，仅能为控制端提供视觉图像，这将导致控制端操作手对视觉图像的过分依赖，容易产生视觉疲劳。而且，由于视觉图像存在偏差，可能会导致控制端操作手的误操作，不仅会降低操作手的工作效率，还可能引发事故。为此，本发明实施例中提供了一种作业机械遥控端力反馈控制方法。

图1为本发明实施例中提供的一种作业机械遥控端力反馈控制方法的流程示意图，如图1所示，该方法包括：

S1，获取作业机械所处环境的声音信息和/或所述作业机械的自身信息；

S2，基于所述声音信息和/或所述自身信息，确定所述作业机械的受力信息；

S3，基于所述受力信息，控制作业机械遥控端的力反馈装置向用户提供与所述受力信息对应的反馈力。

具体地，本发明实施例中提供的作业机械遥控端力反馈控制方法，其执行主体为作业机械遥控端力反馈控制装置，该装置为一种处理器，可以配置于服务器内，该服务器可以位于作业机械侧，也可以位于作业机械遥控端侧，还可以位于作业机械与作业机械遥控端之间的任何位置，此处不作具体限定。该服务器可以是本地服务器，也可以是云端服务器，本地服务器具体可以是计算机以及平板电脑等，本发明实施例中对此不作具体限定。

可以理解的是，本发明实施例中涉及的作业机械是支持远程控制的作业机械，也可以称为遥控作业机械，该作业机械可以通过作业机械遥控端进行远程控制，作业机械遥控端可以通过用户进行操作，并在操作过程中提供力反馈。作业机械遥控端力反馈控制装置可以与作业机械遥控端通信连接。

此处，作业机械可以包括作业机械可以包括：钻探机械、挖掘机械、装载机械、运载机械、市政机械、破碎机、以及驾驶员驾驶的车辆中的至少一种。挖掘机械是用于挖掘矿山的作业机械。装载机械是用于将货物装载到运载机械中的作业机械。装载机械包括液压挖掘机、电动挖掘机和轮式装载机中的至少一种。运载机械是用于运载货物的作业机械。市政机械是用于城市道路清扫美化的作业机械，例如清扫车、洒水车和吸尘车。破碎机是对从运载机械投入的土石进行破碎的作业机械。本发明实施例中，可以以挖掘机为例进行说明，但并不限定于挖掘机。

首先执行步骤S1，可以获取作业机械所处环境的声音信息以及作业机械的自身信息中的至少一种。作业机械所处环境为挖掘机的作业现场，声音信息是指作业机械所处环境中的声音，该声音信息可以通过拾音器获取得到，该拾音器可以安装在作业机械上的固定位置，该固定位置可以根据需要进行选取，此处不作具体限定。例如，拾音器可以安装在作业机械的驾驶室外顶部，也可以安装在作业机械车身上。

作业机械的自身信息是指作业机械本身不受外界影响的相关信息，例如可以包括作业机械的位姿信息、作业机械动臂油缸腔内压力信息以及作业机械的行驶轨迹信息等信息中的至少一种。以挖掘机为例，挖掘机可以包括多个工作装置，例如动臂、斗杆以及铲斗等，也可以包括车身。挖掘机的位姿信息可以包括各工作装置的相对位置和姿态信息。特别地，对于具有称重系统的作业机械而言，作业机械的自身信息还包括通过称重系统测量得到的负载重量。

各工作装置的相对位置可以通过各工作装置之间的连接臂长以及各工作装置的相对姿态信息进行确定。

各工作装置的绝对姿态信息可以包括各工作装置与水平面的夹角，可以通过各工作装置的数字油缸位移以及工作装置尺寸计算得到。各工作装置的相对姿态信息可以包括各工作装置的相对角度，可以通过传感器进行测量得到。例如，可以在斗杆和动臂的转轴上安装惯性测量单元(Inertial Measurement Unit，IMU)倾角传感器，在铲斗的侧面安装角度传感器。

作业机械动臂油缸腔内压力信息是指作业机械的动臂油缸的大小腔内的压力信息，可以分别通过安装于大小腔内的压力传感器测量得到。

作业机械的行驶轨迹信息是指作业机械在行驶过程中得到的轨迹信息，可以包括理论行驶轨迹信息以及实际行驶轨迹信息。理论行驶轨迹信息可以是根据挖掘机的运行状态参数预测得到的行驶轨迹信息，实际行驶轨迹信息可以是实时对挖掘机进行定位并追踪得到。

然后执行步骤S2，通过声音信息以及自身信息中的至少一种，确定出作业机械的受力信息。也就是说，本发明实施例中，既可以只通过声音信息确定出作业机械的受力信息，也可以只通过自身信息确定出作业机械的受力信息，还可以结合声音信息以及自身信息确定出作业机械的受力信息。其中，受力信息是指外界对作业机械施加的作用力，与作业机械的自身信息相对，例如作业机械所受的外力、作业机械在进行负载作业时的负载力等。

例如，可以通过判定作业机械所处环境的声音信息的有无以及强度大小判定作业机械是否受到外力撞击，此时可以判断出作业机械的受力信息中是否包含有外力。该方法可以适用于安静工况下有碰撞声音发生的情况，可以实现受力信息的快速判断。

除此之外，还可以通过作业机械的自身信息判断出作业机械是否进行负载挖掘作业、是否处于极限状态等，此时可以判断出作业机械的受力信息中是否包含有外力、负载力等。

最后执行步骤S3，根据作业机械的受力信息，控制作业机械遥控端的力反馈装置向用户提供与受力信息对应的反馈力。本发明实施例中，在作业机械遥控端，可以配置有遥控装置，该遥控装置可以是远程驾驶室内的手柄。该遥控装置用于接收用户输入，并响应于用户输入，得到用户控制指令，并将该用户控制指令发送至作业机械控制器，以实现对作业机械的远程控制。可以理解的是，此处用户输入为用户对手柄的操作信息。用户可以是作业机械的远程操作手。

除此之外，在作业机械遥控端，还可以配置有力反馈装置，该力反馈装置为实体装置，可以与遥控装置相同，即力反馈装置也可以是远程驾驶室内的手柄，还可以是多自由度座椅等，此处不作具体限定。

本发明实施例中，可以通过作业机械遥控端力反馈控制装置对力反馈装置进行控制，使力反馈装置可以向用户提供与受力信息对应的反馈力。该反馈力的形式可以是阻尼力形式，也可以是碰撞力形式，还可以是二者的混合，此处不作具体限定。

可以理解的是，阻尼力形式的反馈力是与受力信息方向相反的力，力的大小可以根据需要进行设置，对于不同的受力信息，其对应的阻尼力形式的反馈力可以相同，也可以不同。为便于用户准确感知作业机械的受力信息，可以将受力信息对应的阻尼力形式的反馈力的大小设置为与受力信息成比例。碰撞力形式的反馈力可以是一种波形为正弦波的力，该力的持续时间可以包括冲击时间、维持时间以及衰退时间三部分。碰撞力形式的反馈力通常以振动形式表现，其效果可以由冲击力幅度、冲击时间、衰退后幅度、衰退时间等因素决定。

特别地，当碰撞力形式的反馈力的维持时间足够小，则该反馈力的形式又可以称为脉冲力形式。即脉冲力形式的反馈力可以看做是一种特殊的碰撞力形式的反馈力。

本发明实施例中提供的作业机械遥控端力反馈控制方法，首先获取作业机械所处环境的声音信息和/或作业机械的自身信息；然后通过声音信息和/或自身信息，确定出作业机械的受力信息；最后根据受力信息，控制作业机械遥控端的力反馈装置向用户提供与受力信息对应的反馈力。在作业机械的远程控制过程中，该方法能够向用户提供与作业机械的受力信息对应的反馈力，使用户可以感受作业机械的受力情况，降低用户对视觉图像的依赖程度，避免用户产生视觉疲劳。而且，由于反馈力直接提供给用户，可以避免因视觉图像存在偏差而导致用户误操作的情况发生，不仅可以提高用户的工作效率，还可以提高操作安全性，也使用户具有现场操作的体验感。

在上述实施例的基础上，本发明实施例中提供的作业机械遥控端力反馈控制方法，所述自身信息包括位姿信息、动臂油缸腔内压力信息以及行驶轨迹信息中的至少一种；

基于所述自身信息，确定所述作业机械的受力信息，通过如下步骤中的至少一种实现：

基于所述位姿信息，确定所述受力信息中包含的外力的类型；

基于所述动臂油缸腔内压力信息，计算所述作业机械的动臂油缸推力信息，并基于所述油缸推力信息，确定所述受力信息中包含的负载力；

基于所述行驶轨迹信息，确定所述受力信息中包含的外力的类型。

具体地，本发明实施例中，由于作业机械的自身信息包括位姿信息、动臂油缸腔内压力信息以及行驶轨迹信息中的至少一种。

在此基础上，在根据作业机械的自身信息确定作业机械的受力信息时，第一方面，可以根据位姿信息，确定受力信息中包含的外力的类型。该过程可以理解为判断受力信息中是否包含有外力以及在包含有外力的情况下外力的具体类型。

例如，可以根据作业机械的各工作装置的位姿信息确定出受力信息中包含的外力的类型。该外力的类型可以是极限状态限制力。可以理解的是，极限状态限制力是指用户在作业机械达到极限状态后控制作业机械继续运行时作业机械所受的外力。

第二方面，可以先根据动臂油缸腔内压力信息，计算作业机械的动臂油缸推力信息。然后根据油缸推力信息，结合力矩关系可以确定受力信息中包含的负载力。该过程可以理解为判断受力信息中是否包含负载力以及在受力信息中包含有负载力的情况下负载力的具体取值。

此外，对于具有称重系统的作业机械而言，由于作业机械的自身信息还包括通过称重系统测量得到的负载重量。因此，通过负载重量可以直接换算得到负载力的具体取值。

第三方面，可以根据行驶轨迹信息，确定所述受力信息中包含的外力的类型。该外力的类型可以是障碍物阻碍力。可以理解的是，障碍物阻碍力是指用户在作业机械受到障碍物的阻碍后控制作业机械继续运行时作业机械所受的外力。

本发明实施例中，通过作业机械的自身信息，可以确定作业机械的多种受力信息，充分挖掘出作业机械的完整受力情况，便于为用户准确提供反馈力，使用户的现场操作体验感更加真实。

在上述实施例的基础上，本发明实施例中提供的作业机械遥控端力反馈控制方法，所述力反馈装置包括手柄，所述手柄包括操纵杆以及驱动装置；

所述基于所述受力信息，控制作业机械遥控端的力反馈装置向用户提供与所述受力信息对应的反馈力，包括：

基于CAN总线，确定所述手柄的操纵信息；

基于所述操纵信息，控制所述驱动装置带动所述操纵杆运动，以使所述操纵杆向所述用户提供与所述负载力对应的反馈力，与所述负载力对应的反馈力为阻尼力形式。

具体地，本发明实施例中，将手柄作为力反馈装置，手柄可以包括操纵杆以及驱动装置，操纵杆与驱动装置通过连杆机构进行连接。该连杆机构可以起到限制操纵杆位移的作用。

驱动装置用于驱动操纵杆可以在目标平面内进行转动，该目标平面可以是水平面。驱动装置可以包括一个或多个，当驱动装置为一个时，该驱动装置可以带动操纵杆在目标平面内进行全方位转动。当驱动装置为第一驱动装置、第二驱动装置这2个时，第一驱动装置可以控制操纵杆在目标平面内的第一方向上转动，第二驱动装置可以控制操纵杆在目标平面内的第二方向上转动。第一方向与第二方向可以垂直，例如第一方向为X轴方向，第二方向为Y轴方向。驱动装置可以包括电机、减速器以及连接轴，电机以及减速器可以通过连接轴连接。如图2所示，手柄包括操纵杆1、第一驱动装置2以及第二驱动装置3。

此时在控制力反馈装置向用户提供与受力信息对应的反馈力时，可以先基于CAN总线，确定出手柄的操纵信息。即手柄可以与作业机械遥控端力反馈控制装置通过CAN总线通信连接，作业机械遥控端力反馈控制通过CAN总线可以获取手柄的操纵信息。

CAN总线通信时采用的通讯协议中包含提供手柄的操作杆是否处于中间，左向，右向，前向或者后向位置，并且提供在各个方向上的相对开度。因此，CAN总线中传输的CAN信号表示操纵杆的位置信息，本发明实施例中，CAN信号的刷新时间是间隔10ms，因此根据在时间间隔Ti内的操纵杆的位置变化ΔDj，可以计算得到操纵杆的操纵速度Vj＝ΔDj/Ti和加速度Aj。此处，手柄的操纵信息可以包括操纵力、操纵方向、操纵行程、操纵速度以及操纵加速度等信息。可以理解的是，操纵方向即手柄的运动方向，操纵行程即为操纵杆的位置信息。

优选地，阻尼力形式的反馈力的大小可以与手柄的操纵速度成正比，具体可以由操纵速度、操纵行程、动臂油缸腔内压力信息以及油缸位移信息共同决定。为防止因操纵杆的阻尼力太大导致用户疲劳，阻尼力不应大于空载时操纵杆的操纵力的80％。另外，减速器限制操纵杆的位移不应大于操纵杆最大操纵行程。阻尼力形式的反馈力的方向可以与手柄的运动方向相反。

然后，通过手柄的操纵信息，可以控制手柄的驱动装置带动操纵杆运动，使操纵杆向用户提供与负载力对应的反馈力。该反馈力为阻尼力形式，该反馈力可以是通过驱动装置中的减速器对用户的操纵速度进行减速进行表征。

本发明实施例中，通过CAN总线，可以使作业机械遥控端力反馈控制装置可以快速的获取到手柄的操纵信息，可以简化获取手柄的操纵信息的结构，节约成本。而且，通过手柄的操纵信息控制手柄的驱动装置，达到操纵杆向用户提供与负载力对应的阻尼力形式的反馈力的效果，可以使用户更加了解当前作业机械的负载情况，使用户的现场操作体验感更加真实。

在上述实施例的基础上，本发明实施例中提供的作业机械遥控端力反馈控制方法，所述力反馈装置包括手柄，所述手柄包括操纵杆以及驱动装置，所述外力的类型包括极限状态限制力；

所述基于所述受力信息，控制作业机械遥控端的力反馈装置向用户提供与所述受力信息对应的反馈力，还包括：

控制所述驱动装置带动所述操纵杆运动，以使所述操纵杆向所述用户提供与所述极限状态限制力对应的反馈力，与所述极限状态限制力对应的反馈力为碰撞力形式。

具体地，本发明实施例中，挖掘机所受的外力的类型可以包括极限状态限制力。此时，在控制力反馈装置向用户提供与受力信息对应的反馈力时，可以直接控制驱动装置带动操纵杆运动，以使操纵杆向用户提供与极限状态限制力对应的反馈力。该反馈力为碰撞力形式，该反馈力可以是通过驱动装置中的电机产生的振动信号进行表征。

本发明实施例中，通过控制手柄的驱动装置，达到操纵杆向用户提供与极限状态限制力对应的碰撞力形式的反馈力的效果，可以使用户更加了解当前挖掘机所受的极限状态限制力情况，使用户的现场操作体验感更加真实。

在上述实施例的基础上，本发明实施例中提供的挖掘机遥控端力反馈控制方法，基于所述位姿信息，确定所述受力信息中包含的外力的类型，包括：

基于所述位姿信息，判断所述挖掘机是否处于极限状态；

若所述挖掘机处于所述极限状态，则确定所述受力信息中包含有所述外力，且所述外力的类型为所述极限状态限制力。

具体地，本发明实施例中，在根据挖掘机的位姿信息，确定挖掘机的受力信息中包含的外力的类型时，可以先根据挖掘机的位姿信息，判断挖掘机是否处于极限状态。此处，可以将挖掘机的位姿信息与极限状态时的位姿信息进行比较，若二者一致或者二者之间的差异在预设范围内，则可以确定挖掘机处于极限状态。

可以理解的是，极限状态可以是指挖掘机的某一工作装置处于极限位置的状态，例如动臂或斗杆抬到最高或降到最低、铲斗向远离挖掘机的方向开到最外或向挖掘机的方向收到最内等位置的状态。

此后，在挖掘机处于极限状态的情况下，可以确定出挖掘机的受力信息中包含的外力的类型包括极限状态限制力，以提醒用户停止继续朝当前方向操纵手柄。否则，则可以确定出挖掘机的受力信息中不包含极限状态限制力这一外力的类型。可以理解的是，挖掘机的受力信息中是否包含有其他类型的外力，此处不作具体限定。

本发明实施例中，通过挖掘机的位姿信息确定挖掘机的受力信息中是否包含有极限状态限制力，以便于为用户提供与之对应的碰撞力形式的反馈力，使用户的现场操作体验感更加真实。

在上述实施例的基础上，本发明实施例中提供的挖掘机遥控端力反馈控制方法，所述力反馈装置包括手柄，所述手柄包括操纵杆以及驱动装置，所述外力的类型还包括障碍物阻碍力；

所述基于所述受力信息，控制挖掘机遥控端的力反馈装置向用户提供与所述受力信息对应的反馈力，还包括：

控制所述驱动装置带动所述操纵杆运动，以使所述操纵杆向所述用户提供与所述障碍物阻碍力对应的反馈力，所述障碍物阻碍力对应的反馈力为碰撞力形式，或者，所述障碍物阻碍力对应的反馈力为阻尼力与碰撞力结合的形式。

具体地，本发明实施例中，挖掘机所受的外力的类型还包括障碍物阻碍力。此时，在控制力反馈装置向用户提供与受力信息对应的反馈力时，可以直接控制驱动装置带动操纵杆运动，以使操纵杆向用户提供与障碍物阻碍力对应的反馈力，提示用户挖掘机接触到障碍物。与障碍物阻碍力对应的反馈力的形式可以是碰撞力形式，也可以是阻尼力与碰撞力结合的形式，可以根据需要进行选取和设定，此处不作具体限定。该反馈力既可以是通过驱动装置中的电机产生的振动信号进行表征，也可以是通过驱动装置中的减速器对用户的操纵速度进行减速、通过驱动装置中的电机产生的振动信号共同进行表征。

本发明实施例中，通过控制手柄的驱动装置，达到操纵杆向用户提供与障碍物阻碍力对应的碰撞力形式或者碰撞力形式以及阻尼力形式的反馈力的效果，可以使用户更加了解当前挖掘机所受的障碍物阻碍力情况，使用户的现场操作体验感更加真实。

在上述实施例的基础上，本发明实施例中提供的挖掘机遥控端力反馈控制方法，所述行驶轨迹信息包括实际行驶轨迹信息以及理论行驶轨迹信息；

基于所述行驶轨迹信息，确定所述受力信息中包含的外力的类型，包括：

计算所述实际行驶轨迹信息以及所述理论行驶轨迹信息之间的差异；

若所述差异大于预设阈值，则确定所述受力信息中包含有所述外力，且所述外力的类型为所述障碍物阻碍力。

具体地，本发明实施例中，由于行驶轨迹信息包括实际行驶轨迹信息以及理论行驶轨迹信息，因此在根据作业机械的行驶轨迹信息，确定作业机械的受力信息中包含的外力的类型时，可以先计算实际行驶轨迹信息以及理论行驶轨迹信息之间的差异。然后将该差异与预设阈值进行对比，若该差异大于预设阈值，则可以确定作业机械的受力信息中包含有障碍物阻碍力，可以判断作业机械在行驶过程中受到障碍物的阻碍。否则，则可以确定出作业机械的受力信息中不包含障碍物阻碍力这一外力的类型。可以理解的是，作业机械的受力信息中是否包含有其他类型的外力，此处不作具体限定。

本发明实施例中，通过判断实际行驶轨迹信息以及理论行驶轨迹信息之间的差异与预设阈值之间的大小关系，确定作业机械的受力信息中是否包含有障碍物阻碍力，以便于为用户提供与之对应的碰撞力形式或者碰撞力形式以及阻尼力形式的反馈力，使用户的现场操作体验感更加真实。

在上述实施例的基础上，本发明实施例中提供的作业机械遥控端力反馈控制方法，基于所述声音信息，确定所述作业机械的受力信息，包括：

对所述声音信息进行噪音过滤处理，得到处理后的声音信息；

基于所述处理后的声音信息，判断所述受力信息中是否存在外力。

具体地，本发明实施例中，在通过作业机械所处环境的声音信息，确定作业机械的受力信息时，先对声音信息进行噪音过滤处理，得到处理后的声音信息，然后通过处理后的声音信息判断受力信息中是否存在外力。

在判断过程中，可以通过判断处理后的声音信息与预设声音信息之间的差异，若该差异较大，则可以确定受力信息中包含外力，否则可以确定受力信息中不包含外力。其中，预设声音信息可以根据需要进行设置，例如可以是作业机械所处环境在没有作业机械因受外力发出的声音时获取的声音信息。

本发明实施例中，通过作业机械所处环境的声音信息判断作业机械的受力信息中是否存在外力，可以使作业机械的受力信息的判断更加准确。

如图3所示，在上述实施例的基础上，本发明实施例中提供了一种作业机械遥控端力反馈控制装置，包括：

信息获取模块31，用于获取作业机械所处环境的声音信息和/或所述作业机械的自身信息；

信息确定模块32，用于基于所述声音信息和/或所述自身信息，确定所述作业机械的受力信息；

反馈力提供模块33，用于基于所述受力信息，控制作业机械遥控端的力反馈装置向用户提供与所述受力信息对应的反馈力。

在上述实施例的基础上，本发明实施例中提供的作业机械遥控端力反馈控制装置，所述自身信息包括位姿信息、动臂油缸腔内压力信息以及行驶轨迹信息中的至少一种；

信息确定模块用于实现如下步骤中的至少一种：

基于所述位姿信息，确定所述受力信息中包含的外力的类型；

基于所述动臂油缸腔内压力信息，计算所述作业机械的动臂油缸推力信息，并基于所述油缸推力信息，确定所述受力信息中包含的负载力；

基于所述行驶轨迹信息，确定所述受力信息中包含的外力的类型。

在上述实施例的基础上，本发明实施例中提供的作业机械遥控端力反馈控制装置，所述力反馈装置包括手柄，所述手柄包括操纵杆以及驱动装置；

所述反馈力提供模块，具体用于：

基于CAN总线，确定所述手柄的操纵信息；

基于所述操纵信息，控制所述驱动装置带动所述操纵杆运动，以使所述操纵杆向所述用户提供与所述负载力对应的反馈力，与所述负载力对应的反馈力为阻尼力形式。

在上述实施例的基础上，本发明实施例中提供的作业机械遥控端力反馈控制装置，所述力反馈装置包括手柄，所述手柄包括操纵杆以及驱动装置，所述外力的类型包括极限状态限制力；

所述反馈力提供模块，还具体用于：

控制所述驱动装置带动所述操纵杆运动，以使所述操纵杆向所述用户提供与所述极限状态限制力对应的反馈力，与所述极限状态限制力对应的反馈力为碰撞力形式。

在上述实施例的基础上，本发明实施例中提供的作业机械遥控端力反馈控制装置，所述信息确定模块，还具体用于：

基于所述位姿信息，判断所述作业机械是否处于极限状态；

若所述作业机械处于所述极限状态，则确定所述受力信息中包含有所述外力，且所述外力的类型为所述极限状态限制力。

在上述实施例的基础上，本发明实施例中提供的作业机械遥控端力反馈控制装置，所述力反馈装置包括手柄，所述手柄包括操纵杆以及驱动装置，所述外力的类型还包括障碍物阻碍力；

所述反馈力提供模块，还用于：

控制所述驱动装置带动所述操纵杆运动，以使所述操纵杆向所述用户提供与所述障碍物阻碍力对应的反馈力，所述障碍物阻碍力对应的反馈力为碰撞力形式，或者，所述障碍物阻碍力对应的反馈力为阻尼力与碰撞力结合的形式。

在上述实施例的基础上，本发明实施例中提供的作业机械遥控端力反馈控制装置，所述行驶轨迹信息包括实际行驶轨迹信息以及理论行驶轨迹信息；

所述信息确定模块，还用于：

计算所述实际行驶轨迹信息以及所述理论行驶轨迹信息之间的差异；

若所述差异大于预设阈值，则确定所述受力信息中包含有所述外力，且所述外力的类型为所述障碍物阻碍力。

在上述实施例的基础上，本发明实施例中提供的作业机械遥控端力反馈控制装置，所述信息确定模块，还用于：

对所述声音信息进行噪音过滤处理，得到处理后的声音信息；

基于所述处理后的声音信息，判断所述受力信息中是否存在外力。

具体地，本发明实施例中提供的作业机械遥控端力反馈控制装置中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再赘述。

如图4所示，在上述实施例的基础上，本发明实施例中提供了一种作业机械遥控端力反馈控制系统，包括：作业机械遥控端的力反馈装置41以及上述的作业机械遥控端力反馈控制装置42；

所述力反馈装置41与所述作业机械遥控端力反馈控制装置42通过CAN总线连接；

所述力反馈装置41包括手柄和/或多自由度座椅。

具体地，本发明实施例中，力反馈装置可以是手柄以及多自由度座椅中的至少一种。当力反馈装置为多自由度座椅时，可以根据传感器测得的作业机械的车身的位姿信息模拟负载作业时负载带来的影响，多自由度座椅的脉冲力反馈可以用于作业机械行走时的效果模拟。

本发明实施例中提供的作业机械遥控端力反馈控制系统，可以在对作业机械进行远程控制时的力反馈控制，使用户可以感受到作业机械的受力情况，提高远程控制的安全性和准确性。

在上述实施例的基础上，本发明实施例中提供了一种作业机械平台，包括：作业机械、作业机械遥控端以及上述各实施例中所述的作业机械遥控端力反馈控制系统；

所述作业机械遥控端用于对所述作业机械进行远程控制；

所述作业机械遥控端力反馈控制系统用于对所述作业机械遥控端进行力反馈控制。

具体地，本发明实施例中，该作业机械平台是指包含有作业机械、作业机械遥控端以及作业机械遥控端力反馈控制系统在内的、用于对作业机械进行远程控制的作业平台。

在该作业机械平台内，作业机械用于实现相应作业动作；作业机械遥控端用于对作业机械的作业动作进行远程控制；作业机械遥控端力反馈控制系统用于对作业机械遥控端进行力反馈控制，即在作业机械遥控端对作业机械的作业动作进行远程控制的过程中，实时进行力反馈控制，以使远程控制的人员可以及时感知作业机械在受控过程中以及作业过程中的相应信息。

图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行上述各实施例中提供的作业机械遥控端力反馈控制方法，该方法包括：获取作业机械所处环境的声音信息和/或所述作业机械的自身信息；基于所述声音信息和/或所述自身信息，确定所述作业机械的受力信息；基于所述受力信息，控制作业机械遥控端的力反馈装置向用户提供与所述受力信息对应的反馈力。

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各实施例中提供的作业机械遥控端力反馈控制方法，该方法包括：获取作业机械所处环境的声音信息和/或所述作业机械的自身信息；基于所述声音信息和/或所述自身信息，确定所述作业机械的受力信息；基于所述受力信息，控制作业机械遥控端的力反馈装置向用户提供与所述受力信息对应的反馈力。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例中提供的作业机械遥控端力反馈控制方法，该方法包括：获取作业机械所处环境的声音信息和/或所述作业机械的自身信息；基于所述声音信息和/或所述自身信息，确定所述作业机械的受力信息；基于所述受力信息，控制作业机械遥控端的力反馈装置向用户提供与所述受力信息对应的反馈力。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种作业机械遥控端力反馈控制方法，其特征在于，包括：

获取作业机械所处环境的声音信息和所述作业机械的自身信息；

基于所述声音信息和所述自身信息，确定所述作业机械的受力信息；

基于所述受力信息，控制作业机械遥控端的力反馈装置向用户提供与所述受力信息对应的反馈力；

所述自身信息包括位姿信息、动臂油缸腔内压力信息以及行驶轨迹信息中的至少一种；

基于所述自身信息，确定所述作业机械的受力信息，通过如下步骤中的至少一种实现：

基于所述位姿信息，确定所述受力信息中包含的外力的类型；

基于所述动臂油缸腔内压力信息，计算所述作业机械的动臂油缸推力信息，并基于所述油缸推力信息，确定所述受力信息中包含的负载力；

基于所述行驶轨迹信息，确定所述受力信息中包含的外力的类型；

基于所述声音信息，确定所述作业机械的受力信息，包括：

对所述声音信息进行噪音过滤处理，得到处理后的声音信息；

基于所述处理后的声音信息，判断所述受力信息中是否存在外力。

2.根据权利要求1所述的作业机械遥控端力反馈控制方法，其特征在于，所述力反馈装置包括手柄，所述手柄包括操纵杆以及驱动装置；

所述基于所述受力信息，控制作业机械遥控端的力反馈装置向用户提供与所述受力信息对应的反馈力，包括：

基于CAN总线，确定所述手柄的操纵信息；

基于所述操纵信息，控制所述驱动装置带动所述操纵杆运动，以使所述操纵杆向所述用户提供与所述负载力对应的反馈力，与所述负载力对应的反馈力为阻尼力形式。

3.根据权利要求1所述的作业机械遥控端力反馈控制方法，其特征在于，所述力反馈装置包括手柄，所述手柄包括操纵杆以及驱动装置，所述外力的类型包括极限状态限制力；

所述基于所述受力信息，控制作业机械遥控端的力反馈装置向用户提供与所述受力信息对应的反馈力，还包括：

控制所述驱动装置带动所述操纵杆运动，以使所述操纵杆向所述用户提供与所述极限状态限制力对应的反馈力，与所述极限状态限制力对应的反馈力为碰撞力形式。

4.根据权利要求3所述的作业机械遥控端力反馈控制方法，其特征在于，基于所述位姿信息，确定所述受力信息中包含的外力的类型，包括：

基于所述位姿信息，判断所述作业机械是否处于极限状态；

若所述作业机械处于所述极限状态，则确定所述受力信息中包含有所述外力，且所述外力的类型为所述极限状态限制力。

5.根据权利要求1所述的作业机械遥控端力反馈控制方法，其特征在于，所述力反馈装置包括手柄，所述手柄包括操纵杆以及驱动装置，所述外力的类型还包括障碍物阻碍力；

所述基于所述受力信息，控制作业机械遥控端的力反馈装置向用户提供与所述受力信息对应的反馈力，还包括：

控制所述驱动装置带动所述操纵杆运动，以使所述操纵杆向所述用户提供与所述障碍物阻碍力对应的反馈力，所述障碍物阻碍力对应的反馈力为碰撞力形式，或者，所述障碍物阻碍力对应的反馈力为阻尼力与碰撞力结合的形式。

6.根据权利要求5所述的作业机械遥控端力反馈控制方法，其特征在于，所述行驶轨迹信息包括实际行驶轨迹信息以及理论行驶轨迹信息；

基于所述行驶轨迹信息，确定所述受力信息中包含的外力的类型，包括：

计算所述实际行驶轨迹信息以及所述理论行驶轨迹信息之间的差异；

若所述差异大于预设阈值，则确定所述受力信息中包含有所述外力，且所述外力的类型为所述障碍物阻碍力。

7.一种作业机械遥控端力反馈控制装置，其特征在于，包括：

信息获取模块，用于获取作业机械所处环境的声音信息和所述作业机械的自身信息；

信息确定模块，用于基于所述声音信息和所述自身信息，确定所述作业机械的受力信息；

反馈力提供模块，用于基于所述受力信息，控制作业机械遥控端的力反馈装置向用户提供与所述受力信息对应的反馈力；

所述自身信息包括位姿信息、动臂油缸腔内压力信息以及行驶轨迹信息中的至少一种；

所述信息确定模块用于实现如下步骤中的至少一种：

基于所述位姿信息，确定所述受力信息中包含的外力的类型；

基于所述动臂油缸腔内压力信息，计算所述作业机械的动臂油缸推力信息，并基于所述油缸推力信息，确定所述受力信息中包含的负载力；

基于所述行驶轨迹信息，确定所述受力信息中包含的外力的类型；

所述信息确定模块，还用于：

对所述声音信息进行噪音过滤处理，得到处理后的声音信息；

基于所述处理后的声音信息，判断所述受力信息中是否存在外力。

8.一种作业机械遥控端力反馈控制系统，其特征在于，包括：作业机械遥控端的力反馈装置以及如权利要求7所述的作业机械遥控端力反馈控制装置；

所述力反馈装置与所述作业机械遥控端力反馈控制装置通过CAN总线连接；

所述力反馈装置包括手柄和/或多自由度座椅。

9.一种作业机械平台，其特征在于，包括：作业机械、作业机械遥控端以及如权利要求8所述的作业机械遥控端力反馈控制系统；

所述作业机械遥控端用于对所述作业机械进行远程控制；

所述作业机械遥控端力反馈控制系统用于对所述作业机械遥控端进行力反馈控制。