CN111505995A - 一种工程机械的远程控制方法、装置、设备及存储介质 - Google Patents

一种工程机械的远程控制方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111505995A
CN111505995A CN202010381235.5A CN202010381235A CN111505995A CN 111505995 A CN111505995 A CN 111505995A CN 202010381235 A CN202010381235 A CN 202010381235A CN 111505995 A CN111505995 A CN 111505995A
Authority
CN
China
Prior art keywords
engineering machinery
information
vibration
determining
remote control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010381235.5A
Other languages
English (en)
Other versions
CN111505995B (zh
Inventor
曹东辉
刘英豪
石向星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sany Heavy Machinery Ltd
Original Assignee
Sany Heavy Machinery Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sany Heavy Machinery Ltd filed Critical Sany Heavy Machinery Ltd
Priority to CN202010381235.5A priority Critical patent/CN111505995B/zh
Publication of CN111505995A publication Critical patent/CN111505995A/zh
Application granted granted Critical
Publication of CN111505995B publication Critical patent/CN111505995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423Input/output
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/23Pc programming
    • G05B2219/23051Remote control, enter program remote, detachable programmer

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

本申请涉及工程机械控制技术领域,尤其涉及一种工程机械的远程控制方法、装置、设备及存储介质。本申请通过采集工程机械工作时的视频信息、工程机械驾驶室受冲击时的振动信息和工程机械驾驶室与水平地面之间的倾斜夹角信息;根据所述振动信息和所述倾斜夹角信息,实时模拟出驾驶工程机械工作时的振动程度;根据所述视频信息和所述振动程度,确定所述工程机械的当前工作状态;根据所述工程机械的当前工作状态,对所述工程机械进行远程控制,通过上述方法可以在遥控侧真实地模拟工程机械的现场作业情况,以帮助作业人员更好地了解实地工况,更合理准确地远程控制机械工作,从而有效降低作业时间的消耗,有助于提高工作效率。

Description

一种工程机械的远程控制方法、装置、设备及存储介质
技术领域
本申请涉及工程机械控制技术领域,尤其涉及一种工程机械的远程控制方法、装置、设备及存储介质。
背景技术
目前,采矿挖掘主要还是通过驾驶员驾驶挖掘机进行实地挖掘采矿,然后采矿需要驾驶挖掘机进山开采,由于矿区地质状况复杂,随时会有塌方落石的危险,很容易发生事故,而且挖掘机驾驶员经常面对严寒酷暑,废物、毒气等垃圾,工作环境非常恶劣。
在现有技术中,由于互联网技术的快速发展,作业人员通过互联网技术就能实现远程控制挖掘机作业,但是现有的远程控制挖掘机作业的方式是通过驾驶员观察远程操控室内屏幕上显示的现场工况,以及听到现场反馈来的声音来判断现场的工况,这样,仅仅只是通过上述方式来判断挖掘现场工况有可能会出现偏差,在这种情况下,作业人员多数时间还需要凭经验去实施远程控制操作,很难合理准确的操控挖掘机进行挖掘工作,甚至需要花费大量的时间反复确认现场工况,严重影响挖掘机驾驶员的工作效率。
发明内容
有鉴于此,本申请实施例的目的在于提供一种工程机械的远程控制方法、装置、设备及存储介质,可以在遥控侧真实地模拟工程机械的现场作业情况,以帮助作业人员更好地了解实地工况,更合理准确地远程控制机械工作,从而有效降低作业时间的消耗,有助于提高工作效率。
主要包括以下几个方面:
第一方面,本申请实施例提供一种工程机械的远程控制方法,所述工程机械的远程控制方法包括:
采集工程机械工作时的视频信息、工程机械驾驶室受冲击时的振动信息和工程机械驾驶室与水平地面之间的倾斜夹角信息;
根据所述振动信息和所述倾斜夹角信息,实时模拟出驾驶工程机械工作时的振动程度;
根据所述视频信息和所述振动程度,确定所述工程机械的当前工作状态;
根据所述工程机械的当前工作状态,对所述工程机械进行远程控制。
在一种可能的实施方式中,根据所述视频信息和所述振动程度,确定所述工程机械的当前工作状态之前,所述工程机械的远程控制方法还包括:
根据所述视频信息中的图像信息,确定所述图像信息中工程机械工作部的位置;
所述根据所述视频信息和所述振动程度,确定所述工程机械的当前工作状态,包括:
根据所述图像信息中工程机械工作部的位置和所述振动程度,确定所述工程机械的当前工作状态。
在一种可能的实施方式中,所述根据所述视频信息中的图像信息,确定在所述图像信息中工程机械工作部的位置,包括:
将采集到的所述图像信息分割成预设等份的图像信息;
从所述预设等份的图像信息中筛选出带有所述工程机械工作部的位置的图像,确定在所述图像信息中所述工程机械工作部的位置。
在一种可能的实施方式中,根据所述振动信息和所述倾斜夹角信息,实时模拟出驾驶工程机械工作时的振动程度,包括:
根据所述振动信息和所述倾斜夹角信息,确定驾驶员座椅的振动强度和所述驾驶员座椅与水平地面之间的倾斜角度;
根据所述驾驶员座椅的振动强度和所述驾驶员座椅与水平地面之间的倾斜角度,实时模拟出驾驶工程机械工作时的振动程度。
第二方面,本申请实施例还提供一种工程机械的远程控制装置,所述工程机械的远程控制装置包括:
采集模块,用于采集工程机械工作时的视频信息、工程机械驾驶室受冲击时的振动信息和工程机械驾驶室与水平地面之间的倾斜夹角信息;
模拟模块,用于根据所述振动信息和所述倾斜夹角信息,实时模拟出驾驶工程机械工作时的振动程度;
第一确定模块,用于根据所述视频信息和所述振动程度,确定所述工程机械的当前工作状态;
控制模块,用于根据所述工程机械的当前工作状态,对所述工程机械进行远程控制。
在一种可能的实施方式中,所述工程机械的远程控制装置还包括:
第二确定模块,用于根据所述视频信息中的图像信息,确定所述图像信息中工程机械工作部的位置;
所述第一确定模块在用于根据所述视频信息和所述振动程度,确定所述工程机械的当前工作状态时,第一确定模块具体用于:
根据所述图像信息中工程机械工作部的位置和所述振动程度,确定所述工程机械的当前工作状态。
在一种可能的实施方式中,所述第二确定模块在用于根据所述视频信息中的图像信息,确定所述图像信息中工程机械工作部的位置时,所述第二确定模块具体用于:
将采集到的所述图像信息分割成预设等份的图像信息;
从所述预设等份的图像信息中筛选出带有所述工程机械工作部的位置的图像,确定在所述图像信息中所述工程机械工作部的位置。
在一种可能的实施方式中,所述模拟模块在用于根据所述振动信息和所述倾斜夹角信息,实时模拟出驾驶工程机械工作时的振动程度时,所述模拟模块具体用于:
根据所述振动信息和所述倾斜夹角信息,确定驾驶员座椅的振动强度和所述驾驶员座椅与水平地面之间的倾斜角度;
根据所述驾驶员座椅的振动强度和所述驾驶员座椅与水平地面之间的倾斜角度,实时模拟出驾驶工程机械工作时的振动程度。
第三方面,本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过所述总线进行通信,所述机器可读指令被所述处理器运行时执行上述的工程机械的远程控制方法的步骤。
第四方面,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述的工程机械的远程控制方法的步骤。
本申请实施例提供一种工程机械的远程控制方法、装置、设备及存储介质,通过采集工程机械工作时的视频信息、工程机械驾驶室受冲击时的振动信息和工程机械驾驶室与水平地面之间的倾斜夹角信息,然后根据所述振动信息和所述倾斜夹角信息,实时模拟出驾驶工程机械工作时的振动程度,这样,使挖掘机驾驶员不仅可以在显示器上看到现场的工况,也可以在远程体验到实地驾驶挖掘机的感觉,体验到挖掘机受冲击时的振动程度,然后根据所述视频信息和所述振动程度,确定所述工程机械的当前工作状态;根据所述工程机械的当前工作状态,对所述工程机械进行远程控制,通过上述方法可以在遥控侧真实地模拟工程机械的现场作业情况,以帮助作业人员更好地了解实地工况,更合理准确地远程控制机械工作,从而有效降低作业时间的消耗,有助于提高工作效率。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了一种可能的应用场景下的挖掘机远程控制系统架构图;
图2示出了本申请实施例所提供的一种工程机械的远程控制方法的流程图;
图3示出了本申请实施例所提供的另一种工程机械的远程控制方法的流程图;
图4示出了本申请实施例所提供的一种工程机械的远程控制装置的结构示意图之一;
图5示出了本申请实施例所提供的一种工程机械的远程控制装置的结构示意图之二;
图6示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中的附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应当理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例,都属于本申请保护的范围。
首先,对本申请可适用的应用场景进行介绍。本申请可以应用于工程机械控制技术领域中,不仅能让挖掘机驾驶员更好的了解实地工况,还能使挖掘机驾驶员更合理准确的远程控制挖掘机工作,从而减少挖掘机驾驶员与现场工作人员反复沟通确认现场工况的时间,有助于提高挖掘机驾驶员的工作效率。请参阅图1,图1为一种可能的应用场景下的挖掘机远程控制系统架构图。如图1中所示,挖掘机远程控制系统包括挖掘机机载设备、挖掘机端地面设备和远程地面并联机构操作设备。
所述挖掘机机载设备包括视频信息采集组件、振动信息采集组件、姿态信息采集组件、一号无线传输组件和一号协议转换组件,所述挖掘机端地面设备包括5G核心网、一号5G通信基站、一号5G通信组件和二号无线传输组件,所述远程地面并联机构操作设备包括视频显示组件、二号5G通信组件和二号协议转换组件。
所述采集模块通过挖掘机机载设备中的视频信息采集组件、振动信息采集组件和姿态信息采集组件采集挖掘机工作时的视频信息,通过振动信息采集组件、姿态信息采集组件采集挖掘机驾驶室受冲击时的振动信息和挖掘机驾驶室与水平地面之间的倾斜夹角信息,并通过一号协议转换组件将所述视频信息、振动信息和倾斜夹角信息转换为可以通过无线传输的信息,再通过一号无线传输组件通过挖掘机端地面设备中的一号5G通信基站中转再由二号无线传输组件传输至远程地面并联机构操作设备中的视频显示组件和并联机构驾驶组件中,所述模拟模块通过视频显示组件和并联机构驾驶组件实时模拟出驾驶工程机械工作时的振动程度,所述第一确定模块和第二确定模块通过视频显示组件显示的内容以及并联机构驾驶组件体验到的振动程度确定所述工程机械的当前工作状态,所述控制模块通过二号5G通信组件远程控制挖掘机工作。
经研究发现,目前,采矿挖掘主要还是通过驾驶员驾驶挖掘机进行实地挖掘采矿,然后采矿需要驾驶挖掘机进山开采,由于矿区地质状况复杂,随时会有塌方落石的危险,很容易发生事故,而且挖掘机驾驶员经常面对严寒酷暑,废物、毒气等垃圾,工作环境非常恶劣。
在现有技术中,由于互联网技术的快速发展,作业人员通过互联网技术就能实现远程控制挖掘机作业,但是现有的远程控制挖掘机作业的方式是通过驾驶员观察远程操控室内屏幕上显示的现场工况,以及听到现场反馈来的声音来判断现场的工况,这样,仅仅只是通过上述方式来判断挖掘现场工况有可能会出现偏差,在这种情况下,作业人员多数时间还需要凭经验去实施远程控制操作,很难合理准确的操控挖掘机进行挖掘工作,甚至需要花费大量的时间反复确认现场工况,严重影响挖掘机驾驶员的工作效率。
为便于对本申请进行理解,下面结合具体实施例对本申请提供的技术方案进行详细说明。
参见图2所述,图2为本申请实施例所提供的一种工程机械的远程控制方法的流程图,如图2中所示,本申请实施例提供的工程机械的远程控制方法,包括步骤S201~S204:
S201:采集工程机械工作时的视频信息、工程机械驾驶室受冲击时的振动信息和工程机械驾驶室与水平地面之间的倾斜夹角信息。
在具体实施中,通过挖掘机机载设备中的视频信息采集组件采集挖掘机工作时的视频信息,通过振动姿态信息采集组件采集挖掘机驾驶室受冲击时的振动信息和挖掘机驾驶室与水平地面之间的倾斜夹角信息。
S202:根据所述振动信息和所述倾斜夹角信息,实时模拟出驾驶工程机械工作时的振动程度。
在具体实施中,根据振动姿态信息采集组件采集到挖掘机驾驶室受冲击时的振动信息和挖掘机驾驶室与水平地面之间的倾斜夹角信息,实时模拟出驾驶挖掘机工作时的振动程度。
其中,所述振动程度是指根据上述振动信息和倾斜夹角信息,模拟出的一种在挖掘机受到冲击时的振动感觉,将振动感觉强烈的程度称为振动程度。
其中,将振动姿态信息采集组件采集到挖掘机驾驶室受冲击时的振动信息和挖掘机驾驶室与水平地面之间的倾斜夹角信息传输到远程地面并联机构操作设备中的并联机构驾驶组件上,通过并联机构驾驶组件实时模拟出驾驶挖掘机工作时的振动程度,所述并联机构是指一种含有力学传感器的驾驶平台,可以根据采集到挖掘机驾驶室受冲击时的振动信息和挖掘机驾驶室与水平地面之间的倾斜夹角信息来实时模拟出施工现场的真实驾驶感觉。
S203:根据所述视频信息和所述振动程度,确定所述工程机械的当前工作状态。
在具体实施中,根据视频信息采集组件采集挖掘机工作时的视频信息和振动姿态信息采集组件采集挖掘机驾驶室受冲击时的振动信息和挖掘机驾驶室与水平地面之间的倾斜夹角信息,确定挖掘机的当前工作状态。
其中,挖掘机的当前工作状态可能是挖掘状态、运输负载状态和卸载负载状态等,例如,挖掘状态是指挖掘机在挖土时的状态,运输负载状态是指挖掘机载运土时的状态,卸载负载是指挖掘机在卸土时的状态。将采集到的视频信息和挖掘机驾驶室受冲击时的振动信息和挖掘机驾驶室与水平地面之间的倾斜夹角信息,通过一号无线传输组件传输给一号5G通信基站中转,再由二号无线传输组件将信号发送给远程地面并联机构操作系统,来确定挖掘机的当前工作状态。
S204:根据所述工程机械的当前工作状态,对所述工程机械进行远程控制。
在具体实施中,根据所述工程机械的当前工作状态,对所述工程机械进行远程控制,在挖掘机驾驶员既能看到挖掘机的工作情况也是感触到实地驾驶情况时,并根据所述的视频信息和振动信息来远程控制挖掘机。
本申请实施例提供一种工程机械的远程控制方法,通过采集工程机械工作时的视频信息、工程机械驾驶室受冲击时的振动信息和工程机械驾驶室与水平地面之间的倾斜夹角信息;根据所述振动信息和所述倾斜夹角信息,实时模拟出驾驶工程机械工作时的振动程度;根据所述视频信息和所述振动程度,确定所述工程机械的当前工作状态;根据所述工程机械的当前工作状态,对所述工程机械进行远程控制,与现有技术相比,本申请根据所述振动信息和所述倾斜夹角信息,实时模拟出驾驶工程机械工作时的振动程度,这样,使挖掘机驾驶员不仅可以在显示器上看到现场的工况,也可以在远程体验到实地驾驶挖掘机的感觉,体验到挖掘机受冲击时的振动程度,然后根据所述视频信息和所述振动程度,确定所述工程机械的当前工作状态;根据所述工程机械的当前工作状态,对所述工程机械进行远程控制,通过上述方法可以在遥控侧真实地模拟工程机械的现场作业情况,以帮助作业人员更好地了解实地工况,更合理准确地远程控制机械工作,从而有效降低作业时间的消耗,有助于提高工作效率。
参见图3所述,图3为本申请实施例所提供的另一种工程机械的远程控制方法的流程图,如图3中所示,所述方法,包括步骤S301~S305:
S301:采集工程机械工作时的视频信息、工程机械驾驶室受冲击时的振动信息和工程机械驾驶室与水平地面之间的倾斜夹角信息。
S302:根据所述振动信息和所述倾斜夹角信息,确定驾驶员座椅的振动强度和所述驾驶员座椅与水平地面之间的倾斜角度。
在具体实施中,将采集到的振动信息和倾斜夹角信息在CAN总线上进行信号传输,通过一号协议转换组件将CAN总线上的信号转换为可以接入5G网络的TCP/IP协议的信号,以实现挖掘机与挖掘机端地面设备进行无线通信,然后再通过无线通信网络将振动信息和倾斜夹角信息传输至远程地面并联机构操作设备中,将现场的工况反馈给远程的挖掘机驾驶员。
其中,振动姿态采集组件包括振动信息采集组件和姿态信息采集组件,振动信息采集组件指布置在挖掘机动臂、斗杆、铲斗上的加速度传感器采集挖掘过程中的振动信息,姿态信息采集组件指布置在挖掘机驾驶室座椅处的倾角传感器,用来采集挖掘过程中的姿态信息。
S303:根据所述驾驶员座椅的振动强度和所述驾驶员座椅与水平地面之间的倾斜角度,实时模拟出驾驶工程机械工作时的振动程度。
在具体实施中,远程地面并联机构操作设备,根据接收到的姿态、振动数据实时模拟挖掘机驾驶室姿态。为了增加远程驾驶人员的操作舒适性又不遗失对挖掘机工况的感知,将振动冲击按相同的比例进行弱化模拟,视频信息采集组件将挖掘机挖掘画面通过5G网络传输至远程地面并联机构操作设备中的视频显示组件,在显示屏上显示实时挖掘情况,给远程驾驶员及时提供反馈。
S304:根据所述视频信息和所述振动程度,确定所述工程机械的当前工作状态。
S305:根据所述工程机械的当前工作状态,对所述工程机械进行远程控制。
其中,步骤301、步骤304和步骤305的描述可以参照步骤201、步骤203和步骤204的描述,并且能达到相同的技术效果,对此不做赘述。
在一种可能的实施方式中,根据所述视频信息和所述振动程度,确定所述工程机械的当前工作状态之前,所述工程机械的远程控制方法还包括:
根据所述视频信息中的图像信息,确定所述图像信息中工程机械工作部的位置。
在具体实施中,在视频信息采集组件采集到的图像中查找到含有挖掘机铲斗的图像,在实际挖掘中挖掘机的铲斗的位置是挖掘机驾驶员主要关注的位置。
所述根据所述视频信息和所述振动程度,确定所述工程机械的当前工作状态,包括:
根据所述图像信息中工程机械工作部的位置和所述振动程度,确定所述工程机械的当前工作状态。
在具体实施中,根据图像信息中挖掘机铲斗的位置和挖掘机的振动程度来判断此时挖掘机的工作状态,例如,通过观察显示器上显示的控制挖掘机的位置以及振动情况判断出挖掘机挖了多少土,或者卸了多少土。
在一种可能的实施方式中,所述根据所述视频信息中的图像信息,确定在所述图像信息中工程机械工作部的位置,包括:
步骤(A):将采集到的所述图像信息分割成预设等份的图像信息。
在具体实施中,将视频信息采集组件到的图像分割成n×m格图像,这样以便于优先传输有用的图像信息到远程地面并联机构操作设备的视频显示组件中,以便于挖掘机驾驶员实时获取到现场的挖掘情况。
步骤(B):从所述预设等份的图像信息中筛选出带有所述工程机械工作部的位置的图像,确定在所述图像信息中所述工程机械工作部的位置。
在具体实施中,在分割成的n×m格图像中,有一个或者几个格的图像中含有挖掘机铲斗的图像,将含有挖掘机铲斗的图像优先传输至远程地面并联机构操作设备的视频显示组件中,以确定现场挖掘机铲斗的位置。
本申请实施例提供一种工程机械的远程控制方法,通过采集工程机械工作时的视频信息、工程机械驾驶室受冲击时的振动信息和工程机械驾驶室与水平地面之间的倾斜夹角信息,然后根据所述振动信息和所述倾斜夹角信息,实时模拟出驾驶工程机械工作时的振动程度,这样,使挖掘机驾驶员不仅可以在显示器上看到现场的工况,也可以在远程体验到实地驾驶挖掘机的感觉,体验到挖掘机受冲击时的振动程度,然后根据所述视频信息和所述振动程度,确定所述工程机械的当前工作状态;根据所述工程机械的当前工作状态,对所述工程机械进行远程控制,通过上述方法可以在遥控侧真实地模拟工程机械的现场作业情况,以帮助作业人员更好地了解实地工况,更合理准确地远程控制机械工作,从而有效降低作业时间的消耗,有助于提高工作效率。
参见图4图5所示,图4为本申请实施例提供的一种工程机械的远程控制装置的结构示意图之一,图5为本申请实施例提供的一种工程机械的远程控制装置的结构示意图之二。如图4中所示,所述工程机械的远程控制装置400,包括:
采集模块410,用于采集工程机械工作时的视频信息、工程机械驾驶室受冲击时的振动信息和工程机械驾驶室与水平地面之间的倾斜夹角信息;
模拟模块420,用于根据所述振动信息和所述倾斜夹角信息,实时模拟出驾驶工程机械工作时的振动程度;
第一确定模块430,用于根据所述视频信息和所述振动程度,确定所述工程机械的当前工作状态;
控制模块440,用于根据所述工程机械的当前工作状态,对所述工程机械进行远程控制。
在一种可能的实施方式中,所述工程机械的远程控制装置400还包括:
第二确定模块450,用于根据所述视频信息中的图像信息,确定所述图像信息中工程机械工作部的位置;
所述第一确定模块430在用于根据所述视频信息和所述振动程度,确定所述工程机械的当前工作状态时,第一确定模块430具体用于:
根据所述图像信息中工程机械工作部的位置和所述振动程度,确定所述工程机械的当前工作状态。
在一种可能的实施方式中,所述第二确定模块450在用于根据所述视频信息中的图像信息,确定所述图像信息中工程机械工作部的位置时,所述第二确定模块450具体用于:
将采集到的所述图像信息分割成预设等份的图像信息;
从所述预设等份的图像信息中筛选出带有所述工程机械工作部的位置的图像,确定在所述图像信息中所述工程机械工作部的位置。
在一种可能的实施方式中,所述模拟模块420在用于根据所述振动信息和所述倾斜夹角信息,实时模拟出驾驶工程机械工作时的振动程度时,所述模拟模块420具体用于:
根据所述振动信息和所述倾斜夹角信息,确定驾驶员座椅的振动强度和所述驾驶员座椅与水平地面之间的倾斜角度;
根据所述驾驶员座椅的振动强度和所述驾驶员座椅与水平地面之间的倾斜角度,实时模拟出驾驶工程机械工作时的振动程度。
本申请实施例提供一种工程机械的远程控制装置,通过采集工程机械工作时的视频信息、工程机械驾驶室受冲击时的振动信息和工程机械驾驶室与水平地面之间的倾斜夹角信息,然后根据所述振动信息和所述倾斜夹角信息,实时模拟出驾驶工程机械工作时的振动程度,这样,使挖掘机驾驶员不仅可以在显示器上看到现场的工况,也可以在远程体验到实地驾驶挖掘机的感觉,体验到挖掘机受冲击时的振动程度,然后根据所述视频信息和所述振动程度,确定所述工程机械的当前工作状态;根据所述工程机械的当前工作状态,对所述工程机械进行远程控制,通过上述方法可以在遥控侧真实地模拟工程机械的现场作业情况,以帮助作业人员更好地了解实地工况,更合理准确地远程控制机械工作,从而有效降低作业时间的消耗,有助于提高工作效率。
基于同一申请构思,参见图6所示,为本申请实施例提供的一种电子设备600的结构示意图,包括:处理器610、存储器620和总线630,所述存储器620存储有所述处理器610可执行的机器可读指令,当电子设备600运行时,所述处理器610与所述存储器620之间通过所述总线630进行通信,所述机器可读指令被所述处理器610运行时执行上述图2和图3所示的一种工程机械的远程控制方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
基于同一构思,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述图2和图3所示的一种工程机械的远程控制方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应所述理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来,所述计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种工程机械的远程控制方法,其特征在于,所述工程机械的远程控制方法包括:
采集工程机械工作时的视频信息、工程机械驾驶室受冲击时的振动信息和工程机械驾驶室与水平地面之间的倾斜夹角信息;
根据所述振动信息和所述倾斜夹角信息,实时模拟出驾驶工程机械工作时的振动程度;
根据所述视频信息和所述振动程度,确定所述工程机械的当前工作状态;
根据所述工程机械的当前工作状态,对所述工程机械进行远程控制。
2.根据权利要求1所述的工程机械的远程控制方法,其特征在于,根据所述视频信息和所述振动程度,确定所述工程机械的当前工作状态之前,所述工程机械的远程控制方法还包括:
根据所述视频信息中的图像信息,确定所述图像信息中工程机械工作部的位置;
所述根据所述视频信息和所述振动程度,确定所述工程机械的当前工作状态,包括:
根据所述图像信息中工程机械工作部的位置和所述振动程度,确定所述工程机械的当前工作状态。
3.根据权利要求2所述的工程机械的远程控制方法,其特征在于,所述根据所述视频信息中的图像信息,确定在所述图像信息中工程机械工作部的位置,包括:
将采集到的所述图像信息分割成预设等份的图像信息;
从所述预设等份的图像信息中筛选出带有所述工程机械工作部的位置的图像,确定在所述图像信息中所述工程机械工作部的位置。
4.根据权利要求1所述的工程机械的远程控制方法,其特征在于,根据所述振动信息和所述倾斜夹角信息,实时模拟出驾驶工程机械工作时的振动程度,包括:
根据所述振动信息和所述倾斜夹角信息,确定驾驶员座椅的振动强度和所述驾驶员座椅与水平地面之间的倾斜角度;
根据所述驾驶员座椅的振动强度和所述驾驶员座椅与水平地面之间的倾斜角度,实时模拟出驾驶工程机械工作时的振动程度。
5.一种工程机械的远程控制装置,其特征在于,所述工程机械的远程控制装置包括:
采集模块,用于采集工程机械工作时的视频信息、工程机械驾驶室受冲击时的振动信息和工程机械驾驶室与水平地面之间的倾斜夹角信息;
模拟模块,用于根据所述振动信息和所述倾斜夹角信息,实时模拟出驾驶工程机械工作时的振动程度;
第一确定模块,用于根据所述视频信息和所述振动程度,确定所述工程机械的当前工作状态;
控制模块,用于根据所述工程机械的当前工作状态,对所述工程机械进行远程控制。
6.根据权利要求5所述的工程机械的远程控制装置,其特征在于,所述工程机械的远程控制装置还包括:
第二确定模块,用于根据所述视频信息中的图像信息,确定所述图像信息中工程机械工作部的位置;
所述第一确定模块在用于根据所述视频信息和所述振动程度,确定所述工程机械的当前工作状态时,所述第一确定模块具体用于:
根据所述图像信息中工程机械工作部的位置和所述振动程度,确定所述工程机械的当前工作状态。
7.根据权利要求6所述的工程机械的远程控制装置,其特征在于,所述第二确定模块在用于根据所述视频信息中的图像信息,确定所述图像信息中工程机械工作部的位置时,所述第二确定模块具体用于:
将采集到的所述图像信息分割成预设等份的图像信息;
从所述预设等份的图像信息中筛选出带有所述工程机械工作部的位置的图像,确定在所述图像信息中所述工程机械工作部的位置。
8.根据权利要求5所述的工程机械的远程控制装置,其特征在于,所述模拟模块在用于根据所述振动信息和所述倾斜夹角信息,实时模拟出驾驶工程机械工作时的振动程度时,所述模拟模块具体用于:
根据所述振动信息和所述倾斜夹角信息,确定驾驶员座椅的振动强度和所述驾驶员座椅与水平地面之间的倾斜角度;
根据所述驾驶员座椅的振动强度和所述驾驶员座椅与水平地面之间的倾斜角度,实时模拟出驾驶工程机械工作时的振动程度。
9.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至4任一所述的工程机械的远程控制方法的步骤。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至4任意一项所述的工程机械的远程控制方法的步骤。
CN202010381235.5A 2020-05-08 2020-05-08 一种工程机械的远程控制方法、装置、设备及存储介质 Active CN111505995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010381235.5A CN111505995B (zh) 2020-05-08 2020-05-08 一种工程机械的远程控制方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010381235.5A CN111505995B (zh) 2020-05-08 2020-05-08 一种工程机械的远程控制方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111505995A true CN111505995A (zh) 2020-08-07
CN111505995B CN111505995B (zh) 2021-08-17

Family

ID=71865011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010381235.5A Active CN111505995B (zh) 2020-05-08 2020-05-08 一种工程机械的远程控制方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111505995B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112614248A (zh) * 2020-12-21 2021-04-06 三一重机有限公司 一种工程机械远程控制系统
CN113110616A (zh) * 2021-04-30 2021-07-13 上海三一重机股份有限公司 作业机械的座椅调节方法、装置及作业机械
WO2023143138A1 (zh) * 2022-01-26 2023-08-03 上海三一重机股份有限公司 作业机械遥控端力反馈控制方法、装置及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1655076A (zh) * 2004-02-10 2005-08-17 株式会社小松制作所 建设机械的作业机的控制装置、建设机械的控制方法、以及在计算机中执行该方法的程序
JP2009298546A (ja) * 2008-06-13 2009-12-24 Mitsubishi Electric Corp エレベータの制御装置
CN102966137A (zh) * 2012-12-12 2013-03-13 潍柴动力股份有限公司 一种降低挖掘机振动的方法及装置
CN103809595A (zh) * 2014-01-26 2014-05-21 三一汽车制造有限公司 工程机械的操控方法、操控终端、控制装置及操控系统
CN203786933U (zh) * 2013-12-16 2014-08-20 上海三一重机有限公司 一种用于非公路矿山重卡的虚拟驾驶培训装置
CN107034942A (zh) * 2017-05-24 2017-08-11 成都跟驰科技有限公司 用于挖掘机远程控制的虚拟现实系统
CN208378227U (zh) * 2018-06-27 2019-01-15 谭杰文 一种远程集成控制工程机械
CN109612519A (zh) * 2018-07-30 2019-04-12 中铁七局集团西安铁路工程有限公司 一种基于4g网络云服务器机械监测装置
CN109890745A (zh) * 2016-09-20 2019-06-14 利勃海尔比伯拉赫股份有限公司 用于起重机、挖掘机等的控制台
CN110221610A (zh) * 2019-06-10 2019-09-10 吉林大学 无人驾驶工程机械的智能化作业系统及作业方法
CN110805079A (zh) * 2019-11-15 2020-02-18 徐州康博智能控制仪表有限公司 一种基于vr技术的挖掘机远程作业系统
CN110984281A (zh) * 2019-12-19 2020-04-10 三一重机有限公司 多目视觉系统及挖掘机远程操控方法
CN210454716U (zh) * 2019-08-19 2020-05-05 长沙智能驾驶研究院有限公司 5g远程驾驶系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1655076A (zh) * 2004-02-10 2005-08-17 株式会社小松制作所 建设机械的作业机的控制装置、建设机械的控制方法、以及在计算机中执行该方法的程序
JP2009298546A (ja) * 2008-06-13 2009-12-24 Mitsubishi Electric Corp エレベータの制御装置
CN102966137A (zh) * 2012-12-12 2013-03-13 潍柴动力股份有限公司 一种降低挖掘机振动的方法及装置
CN203786933U (zh) * 2013-12-16 2014-08-20 上海三一重机有限公司 一种用于非公路矿山重卡的虚拟驾驶培训装置
CN103809595A (zh) * 2014-01-26 2014-05-21 三一汽车制造有限公司 工程机械的操控方法、操控终端、控制装置及操控系统
CN109890745A (zh) * 2016-09-20 2019-06-14 利勃海尔比伯拉赫股份有限公司 用于起重机、挖掘机等的控制台
CN107034942A (zh) * 2017-05-24 2017-08-11 成都跟驰科技有限公司 用于挖掘机远程控制的虚拟现实系统
CN208378227U (zh) * 2018-06-27 2019-01-15 谭杰文 一种远程集成控制工程机械
CN109612519A (zh) * 2018-07-30 2019-04-12 中铁七局集团西安铁路工程有限公司 一种基于4g网络云服务器机械监测装置
CN110221610A (zh) * 2019-06-10 2019-09-10 吉林大学 无人驾驶工程机械的智能化作业系统及作业方法
CN210454716U (zh) * 2019-08-19 2020-05-05 长沙智能驾驶研究院有限公司 5g远程驾驶系统
CN110805079A (zh) * 2019-11-15 2020-02-18 徐州康博智能控制仪表有限公司 一种基于vr技术的挖掘机远程作业系统
CN110984281A (zh) * 2019-12-19 2020-04-10 三一重机有限公司 多目视觉系统及挖掘机远程操控方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112614248A (zh) * 2020-12-21 2021-04-06 三一重机有限公司 一种工程机械远程控制系统
CN113110616A (zh) * 2021-04-30 2021-07-13 上海三一重机股份有限公司 作业机械的座椅调节方法、装置及作业机械
WO2023143138A1 (zh) * 2022-01-26 2023-08-03 上海三一重机股份有限公司 作业机械遥控端力反馈控制方法、装置及系统

Also Published As

Publication number Publication date
CN111505995B (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN111505995B (zh) 一种工程机械的远程控制方法、装置、设备及存储介质
US9206589B2 (en) System and method for controlling machines remotely
WO2005088018A1 (ja) 施工作業領域の設定・管理システム
US11402823B2 (en) System for validating worksites
KR101090183B1 (ko) 무인 굴삭기의 전도 방지 시스템 및 방법
US20180088591A1 (en) Systems, methods, and apparatus for dynamically planning machine dumping operations
US20130101968A1 (en) Heavy equipment simulator and related methods
AU2022241486A1 (en) Display control system and display control method
JP2019173379A (ja) 遠隔操作システム及び主操作装置
US20230142088A1 (en) Remote operation assistance device and remote operation assistance method
US20160196769A1 (en) Systems and methods for coaching a machine operator
KR101144727B1 (ko) 스테레오 비전 기술을 이용한 굴삭작업 지원 시스템
CN113822227A (zh) 一种隧道工程施工风险监控方法、装置以及介质
Enji et al. GPS and Google Earth based 3D assisted driving system for trucks in surface mines
AU2022252761A1 (en) Display control system, display control method and remote operation system
CN108779985B (zh) 施工管理系统
US20140176709A1 (en) Video Overlays for RC/Autonomous Machine
EP4130403A1 (en) Image processing device and image processing method
CN115766817A (zh) 作业机械远程控制系统、方法、作业机械及电子设备
JP2879664B2 (ja) 締固め管理システム
AU2022350996A1 (en) Method and a control node for controlling a mining rig
CN114779696A (zh) 一种掘进机远程控制方法及系统
JP3198403B2 (ja) 法面仕上げ管理システム
CN114011859B (zh) 一种基于bim的污染土壤修复多机遥操作系统及工作方法
CN114215516A (zh) 悬臂式掘进机断面的轨迹示教系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant