CN112614248A - 一种工程机械远程控制系统 - Google Patents

一种工程机械远程控制系统 Download PDF

Info

Publication number
CN112614248A
CN112614248A CN202011519085.6A CN202011519085A CN112614248A CN 112614248 A CN112614248 A CN 112614248A CN 202011519085 A CN202011519085 A CN 202011519085A CN 112614248 A CN112614248 A CN 112614248A
Authority
CN
China
Prior art keywords
communication device
engineering machinery
remote control
platform
environment information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011519085.6A
Other languages
English (en)
Inventor
应欣
储海军
王威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sany Heavy Machinery Ltd
Original Assignee
Sany Heavy Machinery Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sany Heavy Machinery Ltd filed Critical Sany Heavy Machinery Ltd
Priority to CN202011519085.6A priority Critical patent/CN112614248A/zh
Publication of CN112614248A publication Critical patent/CN112614248A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/05—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明提供了一种工程机械远程控制系统，涉及工程机械控制技术领域。本发明所述的工程机械远程控制系统，包括VR模拟还原系统以及适于安装于工程机械处的车载端监控系统；所述车载端监控系统包括第一通信装置和数据采集处理装置，所述第一通信装置与所述数据采集处理装置连接，所述数据采集处理装置还适于与所述工程机械的主控制器连接；所述VR模拟还原系统包括第二通信装置、操控平台和VR设备，所述操控平台和所述VR设备分别与所述第二通信装置连接。本发明所述的技术方案，通过操控平台和VR设备，实现与工程机械的同步运作，有效提高了工程机械远程作业的安全性、高效性和精准性。

Description

一种工程机械远程控制系统
技术领域
本发明涉及工程机械控制技术领域，具体而言，涉及一种工程机械远程控制系统。
背景技术
近年来，我国矿山安全生产形势严峻，智能无人化开采成为矿山建设的重要发展方向，长期洞采挖空的矿场，目前进行露天开采已非常危险，急需推进少人化、无人化智能矿山项目；此外，在一些特殊环境下，例如塌方、地震、核事故、火灾等人类无法进入或不宜靠近的危险场所传统工程机械例如挖掘机已无法满足要求，市场上急需开发出无人驾驶的遥控工程机械，以满足上述问题的需求。
当前市场上遥控机按照通信距离分为：近程遥控和远程遥控。
1)近程遥控。对于作业环境要求很高，只能在人眼视野范围内工作，作业效率低，不适于长时间作业，不能满足于抗险救灾、悬崖开路、易燃易爆等特殊作业环境作业需求。
2)远程遥控。可长时间遥控作业，但操作体验差，操控难度大，作业效率低，对于网络环境要求较高，不能真正意义上实现远程遥控作业。
因此，如何通过使用工程机械远程遥控控制系统达到：解决远程遥控工程机械存在视野盲区的问题，解决任意地点对工程机械快速可靠响应遥控端操作指令，进行安全、高效、精准的施工作业，一直以来都是本领域技术人员关注的重点。
发明内容
本发明解决的问题是如何提升远程遥控作业效率，以实现远程遥控工程机械精准、高效和安全作业。
为解决上述问题，本发明提供一种工程机械远程控制系统，包括VR模拟还原系统以及适于安装于工程机械处的车载端监控系统；所述车载端监控系统包括第一通信装置和数据采集处理装置，所述第一通信装置与所述数据采集处理装置连接，所述数据采集处理装置还适于与所述工程机械的主控制器连接；所述VR模拟还原系统包括第二通信装置、操控平台和VR设备，所述操控平台和所述VR设备分别与所述第二通信装置连接；所述第一通信装置适于与所述第二通信装置通信连接；所述数据采集处理装置，用于将所述工程机械的作业环境信息通过所述第一通信装置发送，以及将通过所述第一通信装置接收到控制指令转发至所述工程机械的主控制器；所述VR设备，用于根据所述第二通信装置接收到的所述作业环境信息进行还原。
本发明所述的工程机械远程控制系统，通过操控平台和VR设备，实现与工程机械的同步运作，有效提高了工程机械远程作业的安全性、高效性和精准性。
优选地，所述操控平台用于生成所述控制指令，并通过所述第二通信装置进行发送，以及根据所述第二通信装置接收到的所述作业环境信息进行运行。
本发明所述的工程机械远程控制系统，通过操控平台和VR设备，实现与工程机械的同步运作，有效提高了工程机械远程作业的安全性、高效性和精准性。
优选地，所述操控平台为模拟操控平台，所述模拟操控平台包括模拟驾驶舱，所述模拟驾驶舱适于在所述控制指令下与所述工程机械的驾驶室同步运行。
本发明所述的工程机械远程控制系统，通过设置模拟驾驶舱在控制指令下与工程机械驾驶室同步运行，有效提高了工程机械远程作业的安全性、高效性和精准性。
优选地，所述模拟驾驶舱包括常规按键和特殊按键，所述常规按键与所述工程机械的驾驶室的操作面板对应，所述常规按键用于生成对应动臂、斗杆、铲斗、行走和回转动作的控制指令，所述特殊按键用于生成一键上电、一键启动和行走高低速的控制指令。
本发明所述的工程机械远程控制系统，通过设置常规按键和特殊按键，实现了远程遥控便携式作业，效提高了工程机械远程作业的安全性、高效性和精准性。
优选地，所述VR设备包括驾驶演示模块，所述驾驶演示模块用于根据所述作业环境信息生成所述工程机械的作业环境，并根据所述工程机械的作业环境进行驾驶演示。
本发明所述的工程机械远程控制系统，通过设置驾驶演示模块进行驾驶演示，以向驾驶员明确规范的操控方式，使缺乏经验的驾驶员尽快明确如何进行操控，进而提高工程机械远程作业的安全性、高效性和精准性。
优选地，所述车载端监控系统还包括用于采集所述作业环境信息的全景监视系统，所述作业环境信息包括图像信号。
本发明所述的工程机械远程控制系统，通过对图像信号的采集，实现对工程机械作业环境的有效监控，进而提升了远程遥控操作的作业效率，有效提高了工程机械远程作业的安全性、高效性和精准性。
优选地，所述作业环境信息还包括工程机械倾角信号，所述全景监视系统还包括平台倾角传感器；所述平台倾角传感器安装于所述工程机械的前、后、左及右方位处，所述平台倾角传感器用于采集所述工程机械倾角信号并传输至所述数据采集处理装置。
本发明所述的工程机械远程控制系统，通过平台倾角传感器采集工程机械的倾角信号，实现对工程机械作业环境的有效监控，防止坍塌、倾倒等突发事件，进而提升了远程遥控操作的作业效率，有效提高了工程机械远程作业的安全性、高效性和精准性。
优选地，所述全景监视系统包括全景摄像头；所述全景摄像头安装于所述工程机械的前、后、左及右方位处，所述全景摄像头用于采集所述图像信号并传输至所述数据采集处理装置。
本发明所述的工程机械远程控制系统，通过全景摄像头实现对图像信号的采集，实现对工程机械作业环境的有效监控，进而提升了远程遥控操作的作业效率，有效提高了工程机械远程作业的安全性、高效性和精准性。
优选地，所述VR设备包括作业模式和非作业模式，在所述作业模式下，所述VR设备根据所述作业环境信息显示3D视频数据，在所述非作业模式下，所述VR设备根据所述作业环境信息显示2D视频数据。
本发明所述的工程机械远程控制系统，通过深度摄像头和距离摄像头采集具有深度、距离信息的视频数据，使得通过VR设备能够看到工程机械作业现场的实时画面，实现对工程机械作业环境的有效监控，进而提升了远程遥控操作的作业效率，有效提高了工程机械远程作业的安全性、高效性和精准性；同时在非作业模式下，不显示3D画面能够优化信息传输，降低深度摄像头和距离摄像头的作业负担。
优选地，所述第二通信装置还用于IP地址和端口的识别，以使所述作业环境信息及所述控制指令以点对点的方式进行传输。
本发明所述的工程机械远程控制系统，通过第二通信装置，识别IP地址和端口，进行用户身份验证和通讯会话管理，以使作业环境信息及控制指令以点对点的方式进行传输，防止无关人员对工程机械的远程操控，提高了工程机械远程作业的安全性。
附图说明
图1为本发明实施例所述的工程机械远程控制系统的框架图；
图2为本发明实施例所述的工程机械远程控制系统的具体框架图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要理解的是，术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，“设置”、“连接”等术语应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合附图，对本发明的具体实施方式进行详细说明。
如图1所示，本发明实施例提供一种工程机械远程控制系统，包括VR模拟还原系统以及适于安装于工程机械处的车载端监控系统；所述车载端监控系统包括第一通信装置和数据采集处理装置，所述第一通信装置与所述数据采集处理装置连接，所述数据采集处理装置还适于与所述工程机械的主控制器连接；所述VR模拟还原系统包括第二通信装置、操控平台和VR设备，所述操控平台和所述VR设备分别与所述第二通信装置连接；所述第一通信装置适于与所述第二通信装置通信连接；所述数据采集处理装置，用于将所述工程机械的作业环境信息通过所述第一通信装置发送，以及将通过所述第一通信装置接收到控制指令转发至所述工程机械的主控制器；所述VR设备，用于根据所述第二通信装置接收到的所述作业环境信息进行还原；所述操控平台，用于生成所述控制指令，并通过所述第二通信装置进行发送，以及根据所述第二通信装置接收到的所述作业环境信息进行运行。
具体地，在本实施例中，工程机械远程控制系统包括VR模拟还原系统以及安装于工程机械处的车载端监控系统，车载端监控系统主要用于工程机械作业现场视频、声音、振动信号的实时采集，以及与VR模拟还原系统的信息交互，VR模拟还原系统主要通过对应的通信装置，给工程机械侧下达控制指令，并通过VR设备、操控平台模拟还原工程机械作业现场真实操作场景，给予操作手一种身临其境、浸入式操作体验，提升作业效率。
其中，车载端监控系统包括第一通信装置、全景监视系统和数据采集处理装置，第一通信装置和全景监视系统分别与数据采集处理装置连接，数据采集处理装置还适于与工程机械的主控制器连接。全景监视系统，用于采集工程机械作业的作业环境信息；数据采集处理器，用于处理全景监视系统采集的作业环境信息，并将处理后的作业环境信息传输至第一通信装置；工程机械的主控制器，用于从第一通信装置接收控制指令以控制工程机械；第一通信装置，用于将作业环境信息发送，以使包括第二通信装置在内的其它装置接收，以及接受第二通信装置发送的控制指令。
其中，VR模拟还原系统包括操控平台、VR设备和第二通信装置，操控平台和VR设备分别与第二通信装置连接。操控平台，用于生成控制指令，并将控制指令发送至第二通信装置；VR设备，用于根据作业环境信息显示工程机械作业全景视频画面，并播放现场作业声音，即实现对作业环境信息的还原；第二通信装置，用于接受第一通信装置传输的作业环境信息，以及发送控制指令，以使包括第一通信装置在内的其它装置接收。
当工程机械做回转动作时，操控平台的模拟驾驶舱和工程机械同步做回转运动，即操控平台根据第二通信装置接收到的作业环境信息进行运行，同时操作人员可以以子画面或子菜单的方式调出工程机械监控摄像头的实时3D画面、地图信息、以及车辆运行参数等信息数据，给操作手一种身临其境、沉浸式操作体验。通过操控平台和VR设备，实现与工程机械的同步运作，有效提高了工程机械远程作业的安全性、高效性和精准性。
另外，工程机械在接收远程控制端(即VR模拟还原系统)的控制时，自动检测与远程控制端的通信质量，通信间断或不稳定时，在VR设备及显示屏主界面通过跳出子菜单的方式提醒操作者通信不稳定，提示查看解决报警问题，并自动将工程机械作业模式切换至怠速状态(停止工作状态)。检测远程控制端与挖机侧通信传输的丢包率，当丢包率大于预设丢包率时，满足通信状态不稳定条件，且满足超出有效信号心跳保护时间条件时，工程机械自动进入怠速状态，避免远程控制端对工程机械不能及时控制导致的安全风险，可保证工程机械保持在当前的安全状态下，避免继续作业产生的危险，其中，心跳信号是为了确认互联的双方在长时间没有通讯的情况下是否都还在线，或者说存在于互联的双方之间的通讯链路是否已经断开，在有效信号心跳保护时间内，远程控制端和工程机械保持有效连接，超出心跳保护时间即长时间没有通讯时，远程控制端和工程机械之间的连接可能断开。增加心跳保护和通信质量保护监测功能，有效确保挖机安全作业的同时，避免当通信网路不稳定时，出现工程机械卡顿、作业流畅性、效率不佳的现象。因此极大提升了工程机械远程作业的安全性，降低了对于通信质量不稳定的带来的远程操作风险。
最后，操控平台包括远程一键上电、一键启动功能、行走高速、破碎锤等多种操作模式功能按键，实现了远程遥控便携式作业，极大提升了远程遥控操作的作业效率，真正实现了远程高效、精准作业。
在本实施例中，通过操控平台和VR设备，实现与工程机械的同步运作，有效提高了工程机械远程作业的安全性、高效性和精准性。
可选地，所述操控平台为模拟操控平台，所述模拟操控平台包括模拟驾驶舱，所述模拟驾驶舱适于在所述控制指令下与所述工程机械的驾驶室同步运行。
具体地，在本实施例中，操控平台为模拟操控平台，模拟操控平台包括模拟驾驶舱，在远程作业时，操作员进入操控平台的模拟驾驶舱，并佩戴VR设备进行相关操作，当工程机械做回转动作时，操控平台的模拟驾驶舱和工程机械同步做回转运动，有效提高了工程机械远程作业的安全性、高效性和精准性。
在本实施例中，通过设置模拟驾驶舱在控制指令下与工程机械驾驶室同步运行，有效提高了工程机械远程作业的安全性、高效性和精准性。
可选地，所述模拟驾驶舱包括常规按键和特殊按键，所述常规按键与所述工程机械的驾驶室的操作面板对应，所述常规按键用于生成对应动臂、斗杆、铲斗、行走和回转动作的控制指令，所述特殊按键用于生成一键上电、一键启动和行走高低速的控制指令。
具体地，在本实施例中，模拟驾驶舱包括常规按键和特殊按键，常规按键与工程机械的驾驶室的操作面板对应，常规按键用于生成对应动臂、斗杆、铲斗、行走和回转动作的控制指令，特殊按键用于生成一键上电、一键启动和行走高低速的控制指令，其中，常规按键指的是，例如在模拟驾驶舱的行走按键，在工程机械的驾驶室的操作面板上，也有对应的行走按键；特殊按键则是功能集成，在工程机械的驾驶室的操作面板上没有对应按键，例如点击模拟驾驶舱的行走高速，生成相应控制指令后，使得工程机械根据对应的控制指令进行作业。通过设置常规按键和特殊按键，实现了远程遥控便携式作业，效提高了工程机械远程作业的安全性、高效性和精准性。
在本实施例中，通过设置常规按键和特殊按键，实现了远程遥控便携式作业，效提高了工程机械远程作业的安全性、高效性和精准性。
可选地，所述VR设备包括驾驶演示模块，所述驾驶演示模块用于根据所述作业环境信息生成所述工程机械的作业环境，并根据所述工程机械的作业环境进行驾驶演示。
具体地，在本实施例中，VR设备包括驾驶演示模块，驾驶演示模块用于根据作业环境信息生成工程机械的作业环境，并根据工程机械的作业环境进行驾驶演示。针对不同的作业环境，驾驶员需要操控工程机械进行不同的作业方式，因此设置驾驶演示模块进行驾驶演示，以向驾驶员明确规范的操控方式，使缺乏经验的驾驶员尽快明确如何进行操控，进而提高工程机械远程作业的安全性、高效性和精准性。
在本实施例中，通过设置驾驶演示模块进行驾驶演示，以向驾驶员明确规范的操控方式，使缺乏经验的驾驶员尽快明确如何进行操控，进而提高工程机械远程作业的安全性、高效性和精准性。
可选地，所述车载端监控系统还包括用于采集所述作业环境信息的全景监视系统，所述作业环境信息包括图像信号，所述全景监视系统包括全景摄像头；所述全景摄像头安装于所述工程机械的前、后、左及右方位处，所述全景摄像头用于采集所述图像信号并传输至所述数据采集处理装置。
具体地，在本实施例中，结合图2所示，全景监视系统包括全景摄像头，即在工程机械前、后、左、右方位处安装布置高清广角摄像头，摄像头角度固定，广角摄像头为固定角，有效避免了现有云台随动系统中双目摄像头由于剧烈振动导致的视角偏移现象，摄像头分别对应配置探照灯，实现了工程机械周围360度无死角覆盖、全天候作业。通过全景摄像头实现对画面信号和声音信号的采集，实现对工程机械作业环境的有效监控，进而提升了远程遥控操作的作业效率，有效提高了工程机械远程作业的安全性、高效性和精准性。
其中，全景摄像头的工作原理为：景物通过镜(LENS)生成的光学图像投射到图像传感器表面上，然后转为电信号，经过A/(模数转换)转换后变为数字图像信号，再送到数字信号处理芯片(DSP)中加工处理，再通过USB接口传输到电脑中处理，通过显示器就可以看到图像了。主要原理是将安装在工程机械前后以及两侧的4个180度广角摄像机所提供的图像,合成为工程机械的俯视图显示在VR设备或显示器上。
另外，对于音频信号，可在工程机械周围设置相应拾音器，以收集音频信号并传输至数据采集处理装置。
在本实施例中，通过全景摄像头实现对图像信号的采集，实现对工程机械作业环境的有效监控，进而提升了远程遥控操作的作业效率，有效提高了工程机械远程作业的安全性、高效性和精准性。
可选地，所述作业环境信息还包括工程机械倾角信号，所述全景监视系统还包括平台倾角传感器；所述平台倾角传感器安装于所述工程机械的前、后、左及右方位处，所述平台倾角传感器用于采集所述工程机械倾角信号并传输至所述数据采集处理装置。
具体地，在本实施例中，结合图2所示，全景监视系统还包括平台倾角传感器；平台倾角传感器安装于工程机械的前、后、左及右方位处，平台倾角传感器用于采集工程机械的倾角信号。通过平台倾角传感器采集工程机械的倾角信号，实现对工程机械作业环境的有效监控，防止坍塌、倾倒等突发事件，进而提升了远程遥控操作的作业效率，有效提高了工程机械远程作业的安全性、高效性和精准性。
其中，倾角传感器又称作倾斜仪、测斜仪、水平仪、倾角计，经常用于系统的水平角度变化测量，水平仪从过去简单的水泡水平仪到现在的电子水平仪是自动化和电子测量技术发展的结果。作为一种检测工具,它已成为桥梁架设、铁路铺设、土木工程、石油钻井、航空航海、工业自动化、智能平台、机械加工等领域不可缺少的重要测量工具。电子水平仪是一种非常精确的测量小角度的检测工具，用它可测量被测平面相对于水平位置的倾斜度、两部件相互平行度和垂直度。倾角传感器的理论基础是牛顿第二定律：根据基本的物理原理，在一个系统内部，速度是无法测量的，但却可以测量其加速度。如果初速度已知，就可以通过积分算出线速度，进而可以计算出直线位移，所以它其实是运用惯性原理的一种加速度传感器。
另外，结合图2所示，全景监视系统还包括振动传感器，以将工程机械的实时振动情况及时反馈至操控平台，使得驾驶员能够及时感知工程机械的作业情况。
在本实施例中，通过平台倾角传感器采集工程机械的倾角信号，实现对工程机械作业环境的有效监控，防止坍塌、倾倒等突发事件，进而提升了远程遥控操作的作业效率，有效提高了工程机械远程作业的安全性、高效性和精准性。
可选地，所述数据采集处理器与所述工程机械主控制器之间通过CAN总线交互。
具体地，在本实施例中，数据采集处理器与所述工程机械主控制器之间通过CAN总线交互。数据采集处理器还用于采集工程机械的车辆状态参数，并监测车辆故障信息，统一封装所有信息数据后，通过第一通信装置传输至第二通信装置；同时，数据采集处理器还用于在接收到第一通信装置传输的控制指令后，将控制指令传输至工程机械主控制器，进而实现对工程机械的有效控制和监控，提升了远程遥控操作的作业效率，有效提高了工程机械远程作业的安全性、高效性和精准性。
在本实施例中，通过设置数据采集处理器与所述工程机械主控制器之间通过CAN总线交互，数据采集处理器用于采集工程机械的车辆状态参数，并监测车辆故障信息，通过第一通信装置传输至第二通信装置，以及将控制指令传输至工程机械主控制器，进而实现对工程机械的有效控制和监控，提升了远程遥控操作的作业效率，有效提高了工程机械远程作业的安全性、高效性和精准性。
可选地，所述VR设备包括作业模式和非作业模式，在所述作业模式下，所述VR设备根据所述作业环境信息显示3D视频数据，在所述非作业模式下，所述VR设备根据所述作业环境信息显示2D视频数据。
具体地，在本实施例中，VR设备的作用包括：显示工程机械作业全景视频画面和播放现场作业声音信息；全景摄像头包括二维摄像头、深度摄像头和距离摄像头等。VR设备包括作业模式和非作业模式，在作业模式下，VR设备显示3D视频数据，即通过VR设备能够看到工程机械作业现场的实时画面，在非作业模式下，VR设备显示2D视频数据，即非作业模式下，不再显示3D画面，由于数据传输需要占用相应带宽，因此不显示3D画面能够优化信息传输，同时降低深度摄像头和距离摄像头的作业负担，其中，3D视频数据为深度摄像头和距离摄像头采集的视频数据，2D视频数据为二维摄像头采集后经过拼接的全景视频数据。
在本实施例中，通过深度摄像头和距离摄像头采集具有深度、距离信息的视频数据，使得通过VR设备能够看到工程机械作业现场的3D实时画面，实现对工程机械作业环境的有效监控，进而提升了远程遥控操作的作业效率，有效提高了工程机械远程作业的安全性、高效性和精准性；同时在非作业模式下，不显示3D画面能够优化信息传输，降低深度摄像头和距离摄像头的作业负担。
可选地，所述VR模拟还原系统还包括显示屏，所述显示屏与所述第二通信装置连接，所述显示屏用于根据所述作业环境信息显示与所述VR设备同步的工程机械作业全景视频画面。
具体地，在本实施例中，VR模拟还原系统还包括显示屏，显示屏与第二通信装置连接，显示屏用于根据作业环境信息显示与VR设备同步的工程机械作业全景视频画面。
在远程作业时，操作员进入操控平台的模拟驾驶舱，并佩戴VR设备进行相关操作，其它人对于操作过程不清楚不了解，若是出现特殊情况很难作出应急处理，因此设置与VR设备同步的显示屏，在显示屏上显示与VR设备同步的工程机械作业全景视频画面，以提高工程机械远程作业的安全性、高效性和精准性。另外，若是VR出现异常损坏，操作员可临时将显示屏作为监控件对工程机械作业环境进行监控。显示屏可安装在操控平台的正前方，与偏光眼镜相配合,以实现3D显示。
在本实施例中，通过设置与VR设备同步的显示屏，在显示屏上显示与VR设备同步的工程机械作业全景视频画面，提高了工程机械远程作业的安全性、高效性和精准性。
可选地，所述VR模拟还原系统还包括CAN总线收发器，所述CAN总线收发器分别与所述操控平台及所述第二通信装置连接，所述CAN总线收发器用于所述操控平台和所述第二通信装置的交互。
具体地，在本实施例中，VR模拟还原系统还包括CAN总线收发器，CAN总线收发器分别与操控平台及第二通信装置连接，CAN总线收发器用于操控平台和第二通信装置的交互。CAN总线收发器用于将第一通信装置经由第二通信装置传输的作业环境信息传输至操控平台，以使操作员通过VR设备能够看到工程机械作业现场的实时画面，以及听到实时声音，同时CAN总线收发器还用于将操作员通过操控平台生成的控制指令传输至云端信令服务，以通过第一通信装置传输至工程机械主控制器。
其中，CAN是控制器局域网络(Controller Area Network,CAN)的简称，是由以研发和生产汽车电子产品著称的德国BOSCH公司开发的，并最终成为国际标准(ISO 11898)，是国际上应用最广泛的现场总线之一。在北美和西欧，CAN总线协议已经成为汽车计算机控制系统和嵌入式工业控制局域网的标准总线，并且拥有以CAN为底层协议专为大型货车和重工机械车辆设计的J1939协议。
在本实施例中，通过设置用于操控平台和第二通信装置的交互的CAN总线收发器，用于将第一通信装置经由第二通信装置传输的作业环境信息传输至操控平台，以使操作员通过VR设备能够看到工程机械作业现场的实时画面，以及听到实时声音，同时CAN总线收发器还用于将操作员通过操控平台生成的控制指令传输至云端信令服务，以通过第一通信装置传输至工程机械主控制器，进而提升了远程遥控操作的作业效率，有效提高了工程机械远程作业的安全性、高效性和精准性。
可选地，所述第二通信装置还用于IP地址和端口的识别，以使所述作业环境信息及所述控制指令以点对点的方式进行传输。
具体地，在本实施例中，第二通信装置还用于IP地址和端口的识别，以使作业环境信息及控制指令以点对点的方式进行传输。即通过第二通信装置，识别IP地址和端口，进行用户身份验证和通讯会话管理，以使作业环境信息及控制指令以点对点的方式进行传输，即实现工程机械与VR模拟还原系统的有效对应，防止无关人员对工程机械的远程操控，提高了工程机械远程作业的安全性。
在本实施例中，通过第二通信装置，识别IP地址和端口，进行用户身份验证和通讯会话管理，以使作业环境信息及控制指令以点对点的方式进行传输，防止无关人员对工程机械的远程操控，提高了工程机械远程作业的安全性。
可选地，所述第一通信装置和所述第二通信装置之间的通信连接方式为5G通信连接、LTE通信连接和工业专用WIFI通信连接中的任意一种。
具体地，在本实施例中，第一通信装置和第二通信装置之间的通信连接方式为5G通信连接、LTE通信连接和工业专用WIFI通信连接中的任意一种。
其中，对于5G通信连接，第五代移动通信技术(英语：5th generation mobilenetworks或5th generation wireless systems、5th-Generation，简称5G或5G技术)是最新一代蜂窝移动通信技术，也是继4G(LTE-A、WiMax)、3G(UMTS、LTE)和2G(GSM)系统之后的延伸。5G的性能目标是高数据速率、减少延迟、节省能源、降低成本、提高系统容量和大规模设备连接。
其中，对于LTE通信连接，LTE(Long Term Evolution，长期演进)是由3GPP(The3rd Generation Partnership Project，第三代合作伙伴计划)组织制定的UMTS(Universal Mobile Telecommunications System，通用移动通信系统)技术标准的长期演进。LTE系统引入了OFDM(Orthogonal Frequency Division Multiplexing，正交频分复用)和MIMO(Multi-Input&Multi-Output，多输入多输出)等关键技术，显著增加了频谱效率和数据传输速率(20M带宽2X2MIMO在64QAM情况下，理论下行最大传输速率为201Mbps，除去信令开销后大概为150Mbps，但根据实际组网以及终端能力限制，一般认为下行峰值速率为100Mbps，上行为50Mbps)，并支持多种带宽分配：1.4MHz，3MHz，5MHz，10MHz，15MHz和20MHz等，且支持全球主流2G/3G频段和一些新增频段，因而频谱分配更加灵活，系统容量和覆盖也显著提升。
其中，对于工业专用WIFI通信连接，工业路由器是一种利用公用无线网络为用户提供无线的数据传输功能。已广泛应用于物联网产业链中的M2M行业，如智能电网、智能交通、智能家居、金融物联网无线通信路由器、移动POS终端、供应链自动化、工业自动化、智能建筑、消防、公共安全、环境保护、气象、数字化医疗、遥感勘测、农业、林业、水务、煤矿、石化等领域。
本实施例中，优选第一通信装置和第二通信装置之间的通信连接方式为5G通信连接，5G网络的主要优势在于，数据传输速率远远高于以前的蜂窝网络，最高可达10Gbit/s，比当前的有线互联网要快，比先前的4G LTE蜂窝网络快100倍。另一个优点是较低的网络延迟(更快的响应时间)，低于1毫秒，而4G为30-70毫秒，因而5G通信连接能够实现有效远程遥控。
在本实施例中，通过设置第一通信装置和第二通信装置之间的通信连接方式为5G通信连接、LTE通信连接和工业专用WIFI通信连接中的一种，提升了远程遥控操作的作业效率，有效提高了工程机械远程作业的安全性、高效性和精准性。
虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (10)

1.一种工程机械远程控制系统，其特征在于，包括VR模拟还原系统以及适于安装于工程机械处的车载端监控系统；
所述车载端监控系统包括第一通信装置和数据采集处理装置，所述第一通信装置与所述数据采集处理装置连接，所述数据采集处理装置还适于与所述工程机械的主控制器连接；所述VR模拟还原系统包括第二通信装置、操控平台和VR设备，所述操控平台和所述VR设备分别与所述第二通信装置连接；所述第一通信装置适于与所述第二通信装置通信连接；
所述数据采集处理装置，用于将所述工程机械的作业环境信息通过所述第一通信装置发送，以及将通过所述第一通信装置接收到控制指令转发至所述工程机械的主控制器；
所述VR设备，用于根据所述第二通信装置接收到的所述作业环境信息进行还原。
2.根据权利要求1所述的工程机械远程控制系统，其特征在于，所述操控平台用于生成所述控制指令，并通过所述第二通信装置进行发送，以及根据所述第二通信装置接收到的所述作业环境信息进行运行。
3.根据权利要求2所述的工程机械远程控制系统，其特征在于，所述操控平台为模拟操控平台，所述模拟操控平台包括模拟驾驶舱，所述模拟驾驶舱适于在所述控制指令下与所述工程机械的驾驶室同步运行。
4.根据权利要求3所述的工程机械远程控制系统，其特征在于，所述模拟驾驶舱包括常规按键和特殊按键，所述常规按键与所述工程机械的驾驶室的操作面板对应，所述常规按键用于生成对应动臂、斗杆、铲斗、行走和回转动作的控制指令，所述特殊按键用于生成一键上电、一键启动和行走高低速的控制指令。
5.根据权利要求1所述的工程机械远程控制系统，其特征在于，所述VR设备包括驾驶演示模块，所述驾驶演示模块用于根据所述作业环境信息生成所述工程机械的作业环境，并根据所述工程机械的作业环境进行驾驶演示。
6.根据权利要求1所述的工程机械远程控制系统，其特征在于，所述车载端监控系统还包括用于采集所述作业环境信息的全景监视系统，所述作业环境信息包括图像信号。
7.根据权利要求6所述的工程机械远程控制系统，其特征在于，所述作业环境信息还包括平台倾角信号，所述全景监视系统还包括平台倾角传感器；
所述平台倾角传感器安装于所述工程机械的前、后、左及右方位处，所述平台倾角传感器用于采集所述平台倾角信号并传输至所述数据采集处理装置。
8.根据权利要求6所述的工程机械远程控制系统，其特征在于，所述全景监视系统包括全景摄像头；所述全景摄像头安装于所述工程机械的前、后、左及右方位处，所述全景摄像头用于采集所述图像信号并传输至所述数据采集处理装置。
9.根据权利要求1至8任一项所述的工程机械远程控制系统，其特征在于，所述VR设备包括作业模式和非作业模式，在所述作业模式下，所述VR设备根据所述作业环境信息显示3D视频数据，在所述非作业模式下，所述VR设备根据所述作业环境信息显示2D视频数据。
10.根据权利要求1至8任一项所述的工程机械远程控制系统，其特征在于，所述第二通信装置还用于IP地址和端口的识别，以使所述作业环境信息及所述控制指令以点对点的方式进行传输。
CN202011519085.6A 2020-12-21 2020-12-21 一种工程机械远程控制系统 Pending CN112614248A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011519085.6A CN112614248A (zh) 2020-12-21 2020-12-21 一种工程机械远程控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011519085.6A CN112614248A (zh) 2020-12-21 2020-12-21 一种工程机械远程控制系统

Publications (1)

Publication Number Publication Date
CN112614248A true CN112614248A (zh) 2021-04-06

Family

ID=75244360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011519085.6A Pending CN112614248A (zh) 2020-12-21 2020-12-21 一种工程机械远程控制系统

Country Status (1)

Country Link
CN (1) CN112614248A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113311751A (zh) * 2021-05-24 2021-08-27 中冶宝钢技术服务有限公司 炉下清渣机遥控系统及方法
CN113917878A (zh) * 2021-10-29 2022-01-11 三一重机有限公司 控制盒、远程遥控操作控制系统及作业机械
CN114545901A (zh) * 2022-02-21 2022-05-27 华侨大学 一种基于云平台的电动工程机械智能化装置及其系统
CN115564325A (zh) * 2022-10-13 2023-01-03 广东锰玛智行科技有限公司 一种工程机械车辆分时管控方法及管控系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100217406A1 (en) * 2009-02-25 2010-08-26 Berry Jr Robert Joseph Universal remote machinery controller and monitor
CN205485417U (zh) * 2016-04-05 2016-08-17 山推工程机械股份有限公司 一种工程机械远程控制系统
CN107888895A (zh) * 2017-10-17 2018-04-06 三重机有限公司 挖掘机远程控制系统、方法及挖掘机
CN109129523A (zh) * 2018-08-30 2019-01-04 燕山大学 基于人机交互的移动机器人实时远程控制系统
JP2019061412A (ja) * 2017-09-26 2019-04-18 三菱電機株式会社 プラント機器監視制御システム
CN110418215A (zh) * 2019-08-23 2019-11-05 山东临工工程机械有限公司 一种挖掘机远程控制系统及挖掘机
CN210454716U (zh) * 2019-08-19 2020-05-05 长沙智能驾驶研究院有限公司 5g远程驾驶系统
CN111505995A (zh) * 2020-05-08 2020-08-07 三一重机有限公司 一种工程机械的远程控制方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100217406A1 (en) * 2009-02-25 2010-08-26 Berry Jr Robert Joseph Universal remote machinery controller and monitor
CN205485417U (zh) * 2016-04-05 2016-08-17 山推工程机械股份有限公司 一种工程机械远程控制系统
JP2019061412A (ja) * 2017-09-26 2019-04-18 三菱電機株式会社 プラント機器監視制御システム
CN107888895A (zh) * 2017-10-17 2018-04-06 三重机有限公司 挖掘机远程控制系统、方法及挖掘机
CN109129523A (zh) * 2018-08-30 2019-01-04 燕山大学 基于人机交互的移动机器人实时远程控制系统
CN210454716U (zh) * 2019-08-19 2020-05-05 长沙智能驾驶研究院有限公司 5g远程驾驶系统
CN110418215A (zh) * 2019-08-23 2019-11-05 山东临工工程机械有限公司 一种挖掘机远程控制系统及挖掘机
CN111505995A (zh) * 2020-05-08 2020-08-07 三一重机有限公司 一种工程机械的远程控制方法、装置、设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113311751A (zh) * 2021-05-24 2021-08-27 中冶宝钢技术服务有限公司 炉下清渣机遥控系统及方法
CN113917878A (zh) * 2021-10-29 2022-01-11 三一重机有限公司 控制盒、远程遥控操作控制系统及作业机械
CN113917878B (zh) * 2021-10-29 2024-03-12 三一重机有限公司 控制盒、远程遥控操作控制系统及作业机械
CN114545901A (zh) * 2022-02-21 2022-05-27 华侨大学 一种基于云平台的电动工程机械智能化装置及其系统
CN115564325A (zh) * 2022-10-13 2023-01-03 广东锰玛智行科技有限公司 一种工程机械车辆分时管控方法及管控系统
CN115564325B (zh) * 2022-10-13 2023-09-22 广东锰玛智行科技有限公司 一种工程机械车辆分时管控方法及管控系统

Similar Documents

Publication Publication Date Title
CN112614248A (zh) 一种工程机械远程控制系统
CN103399577B (zh) 一种远程操作救援机器人的探测感知系统
CN103395694B (zh) 塔式起重机一体化监控系统
CN112794208B (zh) 吊装方法、吊装控制系统和工程机械
CN108109207B (zh) 一种可视化立体建模方法及系统
CN102830676A (zh) 基于无线网络与智能监控车的远程农业监管系统
CN110418215A (zh) 一种挖掘机远程控制系统及挖掘机
CN103438875A (zh) 基于图像与数据相结合的煤矿连采机控制系统
CN110493573A (zh) 一种挖掘机及挖掘机远程控制系统
CN113774984A (zh) 一种挖掘机沉浸式遥控系统及方法
CN110475163B (zh) 一种挖掘机远程控制系统及挖掘机
CN211207134U (zh) 一种基于5g的混合现实电机监控系统
CN202395907U (zh) 一种能够与电子地图联动的视频监控系统
CN205910801U (zh) 一种消防联动监控系统
Lee et al. Importance of a 5G network for construction sites: limitation of WLAN in 3D sensing applications
CN204591352U (zh) 液压支架远程监测系统
CN110555913A (zh) 一种基于工业人机界面的虚拟成像方法及装置
CN207274971U (zh) 一种多旋翼电动升降机及其系统
CN211554747U (zh) 一种智能车实训平台控制系统
CN105118255B (zh) 球状传感器及应用该传感器的数据采集方法及系统
CN205328472U (zh) 门座式起重机的吊钩偏斜监测系统
CN113223205A (zh) 基于集成控制器的操控系统及工程机械
CN211857249U (zh) 一种基于无人机的智能安全监工系统
CN115076561A (zh) 应用于工程机械的远程沉浸式双目云台随动系统及方法
CN208770714U (zh) 用于旋翼无人机灭火弹系统的瞄准装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination