CN115755918A - 工程机械的作业处理方法、系统、工程机械以及介质 - Google Patents

Abstract

本公开提供了一种工程机械的作业处理方法、系统、工程机械、作业安全管控系统以及存储介质，其中的方法包括：基于相机采集作业图像数据和激光雷达采集的点云数据对作业目标和障碍物体进行识别和定位处理，根据识别和定位处理结果确定在可行驶范围内的运行路径；基于作业图像数据和点云数据生成作业路径、根据点云数据以及识别和定位处理结果构建环境地图，并发送给远程控制系统；本公开能够实时监控作业过程，对作业过程进行指挥调度并对作业周围的危险信息进行预警，可以实现智能化工程机械的自主导航和自动作业，对于作业过程中出现的突发危险，能够快速反应并实时显示以及报警，降低人工成本以及解决对熟练操作人员的依赖问题。

Description

工程机械的作业处理方法、系统、工程机械以及介质

技术领域

本发明涉及工程机械技术领域，尤其涉及一种工程机械的作业处理方法、系统、工程机械、作业安全管控系统以及存储介质。

背景技术

随着自动化装备技术的发展以及工业智能化需求的不断提升，对于工程机械的自主作业安全保障成为需要解决的问题。工程机械可以为履带式起重机等，履带式起重机等工程机械的现有智能控制方法通过摄像头、传感器、限位开关以及操作人员对作业范围内的危险情况进行安全预警和安全作业，由于作业环境的复杂性，在作业过程中往往需要多人配合进行，存在对操作员专业技能要求高，操作强度高等要求，容易引发操作人员误操作、疲劳作业等问题；并且，通过摄像头等监控装置无法准确感知周围环境存在的安全隐患问题，无法自主识别危险，依赖于人工进行安全预警和安全作业，容易出现操作失误。

发明内容

有鉴于此，本发明要解决的一个技术问题是提供一种工程机械的作业处理方法、系统、工程机械、作业安全管控系统以及存储介质。

根据本公开的第一方面，提供一种工程机械的作业处理方法，包括：获取相机采集的与工程机械的作业环境和作业内容相对应的作业图像数据，并获取激光雷达采集的与所述作业环境和所述作业内容相对应的点云数据；基于所述作业图像数据和所述点云数据对作业环境内的作业目标和障碍物体进行识别和定位处理，并将识别和定位处理结果发送给远程控制系统；根据所述识别和定位处理结果确定所述工程机械的运行路径，以使所述工程机械的运行路径在可行驶范围内；基于所述作业图像数据和所述点云数据生成所述工程机械的作业路径，并将所述作业路径发送给所述远程控制系统；根据所述点云数据以及所述识别和定位处理结果，构建与作业环境相对应的环境地图，并将所述环境地图发送给所述远程控制系统。

可选地，所述基于所述作业图像数据和所述点云数据对作业环境内的作业目标和障碍物体进行识别和定位处理包括：对所述相机和所述激光雷达进行标定处理，并将所述点云数据的坐标转换为与所述作业图像数据相对应的像素坐标；基于所述像素坐标将所述作业图像数据中的像素与所述点云数据进行关联处理，生成作业环境图像信息；使用第一深度学习模型对所述作业环境图像信息进行处理，对所述作业目标和所述障碍物体进行识别和定位处理。

可选地，所述对所述相机和所述激光雷达进行标定处理，并将所述点云数据的坐标转换为与所述作业图像数据相对应的像素坐标包括：控制所述相机采集棋盘格图像并对所述相机进行标定处理，获得相机坐标系与图像像素坐标系的转换矩阵；根据所述转换矩阵将所述点云数据转换为所述图像像素坐标系下的点云数据，用以将所述点云数据的坐标转换为所述像素坐标。

可选地，所述识别和定位处理结果包括：作业环境图像以及所述作业环境图像中的作业目标和障碍物体的位置信息；所述方法还包括：所述远程控制系统基于所述作业环境图像以及所述作业环境图像中的作业目标和障碍物体的位置信息，确定所述作业目标和所述障碍物体之间的实时距离，基于所述实时距离进行相应的报警处理。

可选地，所述根据所述识别和定位处理结果确定所述工程机械的运行路径包括：根据所述作业环境图像以及所述作业环境图像中的作业目标和障碍物体的位置信息，使用导航路径规划算法生成对障碍物进行规避的所述运行路径。

可选地，所述基于所述作业图像数据和所述点云数据生成所述工程机械的作业路径包括：使用第二深度学习模型对所述作业环境图像信息进行处理，生成所述工程机械的作业路径。

可选地，所述远程控制系统显示所述作业路径，并基于所述作业环境图像以及所述作业环境图像中的作业目标和障碍物体的位置信息，确定工程机械的实时作业路径；所述远程控制系统判决所述实时作业路径是否脱离预设的作业轨迹，如果是，则进行相应的报警处理。

可选地，所述根据所述点云数据以及所述识别和定位处理结果，构建与作业环境相对应的环境地图包括：根据所述点云数据以及所述作业环境图像中的作业目标和障碍物体的位置信息，构建所述环境地图；其中，所述环境地图包括：八叉树地图。

可选地，在所述工程机械的驾驶舱上方和所述工程机械的尾部分别设置至少一台激光雷达；在一台激光雷达的上方设置所述相机。

根据本公开的第二方面，提供一种工程机械的作业处理系统，包括：数据获取模块，用于数据获取获取相机采集的与工程机械的作业环境和作业内容相对应的作业图像数据，并获取激光雷达采集的与所述作业环境和所述作业内容相对应的点云数据；识别定位模块，用于基于所述作业图像数据和所述点云数据对作业环境内的作业目标和障碍物体进行识别和定位处理，并将识别和定位处理结果发送给远程控制系统；导航路径确定模块，用于根据所述识别和定位处理结果确定所述工程机械的运行路径，以使所述工程机械的运行路径在可行驶范围内；作业路径确定模块，用于基于所述作业图像数据和所述点云数据生成所述工程机械的作业路径，并将所述作业路径发送给所述远程控制系统；环境地图构建模块，用于根据所述点云数据以及所述识别和定位处理结果，构建与作业环境相对应的环境地图，并将所述环境地图发送给所述远程控制系统。

可选地，所述识别定位模块，用于对所述相机和所述激光雷达进行标定处理，并将所述点云数据的坐标转换为与所述作业图像数据相对应的像素坐标；基于所述像素坐标将所述作业图像数据中的像素与所述点云数据进行关联处理，生成作业环境图像信息；使用第一深度学习模型对所述作业环境图像信息进行处理，对所述作业目标和所述障碍物体进行识别和定位处理。

可选地，所述识别定位模块，用于控制所述相机采集棋盘格图像并对所述相机进行标定处理，获得相机坐标系与图像像素坐标系的转换矩阵；根据所述转换矩阵将所述点云数据转换为所述图像像素坐标系下的点云数据，用以将所述点云数据的坐标转换为所述像素坐标。

可选地，所述识别和定位处理结果包括：作业环境图像以及所述作业环境图像中的作业目标和障碍物体的位置信息；所述远程控制系统基于所述作业环境图像以及所述作业环境图像中的作业目标和障碍物体的位置信息，确定所述作业目标和所述障碍物体之间的实时距离，基于所述实时距离进行相应的报警处理。

可选地，所述导航路径确定模块，用于根据所述作业环境图像以及所述作业环境图像中的作业目标和障碍物体的位置信息，使用导航路径规划算法生成对障碍物进行规避的所述运行路径。

可选地，所述作业路径确定模块，用于使用第二深度学习模型对所述作业环境图像信息进行处理，生成所述工程机械的作业路径。

可选地，所述远程控制系统显示所述作业路径，并基于所述作业环境图像以及所述作业环境图像中的作业目标和障碍物体的位置信息，确定工程机械的实时作业路径；所述远程控制系统判决所述实时作业路径是否脱离预设的作业轨迹，如果是，则进行相应的报警处理。

可选地，所述环境地图构建模块，用于根据所述点云数据以及所述作业环境图像中的作业目标和障碍物体的位置信息，构建所述环境地图；其中，所述环境地图包括：八叉树地图。

根据本公开的第三方面，提供一种工程机械的作业处理系统，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上所述的方法。

根据本公开的第四方面，提供一种工程机械，包括：如上所述的工程机械的作业处理系统。

可选地，所述工程机械包括：履带式起重机。

根据本公开的第五方面，提供一种作业安全管控系统，包括：远程控制系统和如上所述的工程机械的作业处理系统。

根据本公开的第六方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行如上所述的方法。

本公开的工程机械的作业处理方法、系统、工程机械、作业安全管控系统以及存储介质，能够实时监控作业过程，对作业过程进行指挥调度并对作业周围的危险信息进行预警，可以实现智能化工程机械的自主导航和自动作业，对于作业过程中出现的突发危险，能够快速反应并实时显示以及报警，降低人工成本以及解决对熟练操作人员的依赖问题。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为根据本公开的工程机械的作业处理方法的一个实施例的流程示意图；

图2为根据本公开的工程机械的作业处理方法的一个实施例中的激光雷达、相机等检测设备的安装示意图；

图3为根据本公开的工程机械的作业处理方法的一个实施例中的对实时环境感知并进行识别和定位的流程示意图；

图4为根据本公开的工程机械的作业处理方法的一个实施例中的自主作业安全保障的具体实现原理示意图；

图5为根据本公开的工程机械的作业处理系统的一个实施例的模块示意图；

图6为根据本公开的工程机械的作业处理系统的另一个实施例的模块示意图；

图7为根据本公开的作业安全管控系统的一个实施例的模块示意图。

具体实施方式

下面参照附图对本公开进行更全面的描述，其中说明本公开的示例性实施例。下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

下文中的“第一”、“第二”等仅用于描述上相区别，并没有其他特殊的含义。

在发明人所知晓的相关技术中，工程机械可以为履带式起重机等，履带式起重机是一种利用履带行走，可将重物起升到一定高度的移动式起重机。履带式起重机具有起重能力强、接地比压小、转弯半径小、爬坡能力大、不需支腿、带载形式、作业稳定性好以及桁架组合高度可自由更换等优点，在电力、市政、桥梁、石油化工、水利水电等建设行业应用广泛。

现有的履带式起重机等工程机械通过摄像头、传感器、限位开关以及操作人员对作业范围内的危险情况进行安全预警，依赖于整机安全限位保护装置、人工操作熟练程度以及人工主动识别危险源，存在对操作员专业技能要求高，操作强度高等要求，在人工操作情况下容易出现的人为误操作等问题；并且，摄像头等监控装置的覆盖范围较为单一，无法准确感知周围环境存在的安全隐患问题，无法自主识别危险信号，其仅用于代替人眼去查看周围作业环境，仍然完全依赖于人的视角和经验，依靠人工对多源信息进行判断容易出现失误。因此，需要对工程机械提供一种新的作业处理的技术方案。

图1为根据本公开的工程机械的作业处理方法的一个实施例的流程示意图，如图1所示：

步骤101，获取相机采集的与工程机械的作业环境和作业内容相对应的作业图像数据，并获取激光雷达采集的与作业环境和作业内容相对应的点云数据。

在一个实施例中，相机和激光雷达的设置位置可以为多处。例如，在工程机械的驾驶舱上方和工程机械的尾部分别设置至少一台激光雷达，在一台激光雷达的上方设置相机，相机可以为多种，例如为单目相机、双目相机等。获取激光雷达采集的点云数据，并对点云数据进行滤波、拼接处理，可以使用现有的多种滤波以及拼接方法进行相应的处理。

步骤102，基于作业图像数据和点云数据对作业环境内的作业目标和障碍物体进行识别和定位处理，并将识别和定位处理结果发送给远程控制系统。

在一个实施例中，工程机械进行的作业可以为吊装作业等，作业环境为工程机械进行吊装作业的吊装环境等；作业目标可以为吊装过程中的吊装物体等，障碍物可以为接近吊装物体的行人、处于吊装环境中的多种物体等。可以使用多种方法基于作业图像数据和点云数据对吊装物体、接近吊装物体的行人、吊装环境中的多种物体等进行识别，确定对应的类别以及坐标信息。

步骤103，根据识别和定位处理结果确定工程机械的运行路径，以使工程机械的运行路径在可行驶范围内。

步骤104，基于作业图像数据和点云数据生成工程机械的作业路径，并将作业路径发送给远程控制系统。工程机械的作业路径可以为进行吊装作业的吊装装置的运行路径等。

步骤105，根据点云数据以及识别和定位处理结果，构建与作业环境相对应的环境地图，并将环境地图发送给远程控制系统。

在一个实施例中，工程机械安装的自主识别装置包括相机和激光雷达等，工程机械可以与远程控制系统进行数据交互。下面以履带式起重机为例进行说明。

在履带式起重机的驾驶舱上方安装激光雷达和相机进行起重机前方的作业区域识别，激光雷达分别安装在驾驶舱上方的左、中、右三处，左右两处激光雷达向外倾斜30°且左边激光雷达向下倾斜。相机安装在中间激光雷达的正上方，与激光雷达形成视角融合。一台激光雷达安装在履带式起重机尾部下侧，用于对后方视野盲区进行补盲处理；另有两台激光雷达安装在两侧，用于对路面地区进行补盲处理，保障起重机的安全行驶能力。相机等通过交换机连接工控机，工控机用于在线实现本公开的作业处理方法，工控机将处理后生成的图像等信息通过5G信号传输至远程控制系统，监控室内的工作人员通过远程控制系统可以对作业环境进行监控，并可直接对履带式起重机进行远程操作。

如图2所示，激光雷达包括建图激光雷达和补盲激光雷达等，建图激光雷达首要考虑正前方水平视场角范围，由于履带式起重机的工作特性决定了作业过程中吊装物体的悬空状态，需对垂直方向上的视场范围进行补充。

建图激光雷达22、23、25、单目相机24安装在履带式起重机的驾驶舱上方，建图激光雷达22安装在左侧，向下偏转30度并向左偏转30°；建图激光雷达23安装在中间，水平视场；建图激光雷达25安装在左侧，向上偏转30度并向右偏转30°，三台建图激光雷达的组合形式完全能够对正前方作业环境实现全面覆盖，同时兼并考虑雷达的传输带宽限制和经济效益。

将单目相机24水平安装在建图激光雷达23的正上方并相对固定，确保吊装物的移动范围始终在建图激光雷达和单目相机的视角里，单目相机24的相机坐标系与建图激光雷达23的激光雷达坐标系基本相同。车尾处安装的检测激光雷达28用于补充视角；两台补盲激光雷达21为Livox Mid-70激光雷达，用于对路面地区进行补盲处理，保障起重机的安全行驶能力。

各个激光雷达和相机采集的数据通过交换机汇总传输到工控柜29中，经过标定内外参数后转换到统一坐标系下进行前方环境感知；网络摄像机20安装在机体右侧高处平台；RTK惯导装置27安装在履带吊中间平台；工控机、交换机和无线AP设备整合并安装在工控柜29中，用于数据处理及传输。监控室参数显示器、监控室网络、监控室主机、语音通话系统安装在远程监控室内，在监控室主机中运行远程控制系统，监控室主机作为控制室中的控制终端连接监控器参数显示器和语音通话系统。

图3为根据本公开的工程机械的作业处理方法的一个实施例中的对实时环境感知并进行识别和定位的流程示意图，如图3所示：

步骤301，对相机和激光雷达进行标定处理，并将点云数据的坐标转换为与作业图像数据相对应的像素坐标。

在一个实施例中，可以采用多种方法对相机和激光雷达进行标定处理，并将点云数据的坐标转换为与作业图像数据相对应的像素坐标。例如，控制相机采集棋盘格图像并对相机进行标定处理，获得相机坐标系与图像像素坐标系的转换矩阵；相机的相机坐标系与建图激光雷达的激光雷达坐标系基本相同，根据转换矩阵将点云数据转换为图像像素坐标系下的点云数据，用以将点云数据的坐标转换为像素坐标。

步骤302，基于像素坐标将作业图像数据中的像素与点云数据进行关联处理，生成作业环境图像信息。

在一个实施例中，在将点云数据的坐标转换为图像像素坐标系的像素坐标之后，基于像素坐标生成作业图像数据中的像素与点云数据的关联关系；作业环境图像信息包括作业图像数据(作业环境图像)、点云数据以及作业图像数据中的像素与点云数据的关联关系等信息。

步骤303，使用第一深度学习模型对作业环境图像信息进行处理，对作业目标和障碍物体进行识别和定位处理。

在一个实施例中，第一深度学习模型可以为训练好的卷积神经网络模型、双向长短记忆网络模型、深度强化学习模型等。将包括作业图像数据、点云数据以及作业图像数据中的像素与点云数据的关联关系的作业环境图像信息输入第一深度学习模型，第一深度学习模型输出对作业目标和障碍物体进行识别和定位处理的结果，识别和定位处理结果包括作业环境图像以及作业环境图像中的作业目标和障碍物体的位置信息。

也可以在远程控制系统内设置第一深度学习模型，远程控制系统使用第一深度学习模型对接收到的作业环境图像信息进行处理，对作业目标和障碍物体进行识别和定位处理。

步骤304，远程控制系统基于作业环境图像以及作业环境图像中的作业目标的位置信息，确定作业目标和障碍物体之间的实时距离，基于实时距离进行相应的报警处理。

在一个实施例中，远程控制系统基于作业环境图像以及作业环境图像中的吊装物体等作业目标和行人等障碍物体的位置信息，确定作业目标和障碍物体之间的实时距离；如果实时距离小于预设的距离阈值，则进行相应的报警处理，报警处理可以包括进行多种声光报警，以及对履带式起重机进行相应的远程控制等。

在一个实施例中，由于单一的视觉技术难以保障吊装等作业的距离精度，并且单一激光雷达对吊装物的识别能力弱，因此通过将雷达与机器视觉技术进行融合，用以进行识别和定位处理。将建图激光雷达22、23、25和单目相机24通过内外参数标定统一到相同的坐标系，可以采用现有的多种标定方法。

例如，在对建图激光雷达23和单目相机24进行标定时，首先使用单目相机24采集棋盘格的图像进行标定，获得相机坐标系到图像像素坐标系的转换矩阵；然后分别采集单目相机24和建图激光雷达23对应的图像和点云，利用小孔成像原理和RT变换进行调参，得到外参矩阵；最后将点云进行分步处理，根据转换矩阵将点云转换成像素坐标并将其相互关联、存储，实现点云的三维坐标和图像中的像素坐标的一一对应关系。可以使用现有的方法对建图激光雷达22、23、25进行外参匹配，均统一以建图激光雷达23为中心的坐标系中。

在远程显示界面显示相机采集的作业图像数据，即为作业环境图像等，通过手动框选吊装物/障碍物获取其在作业环境图像的图像坐标系中的坐标，将图像二维坐标通过已完成的外参矩阵转换到激光雷达坐标系下的三维坐标，生成3D候选区域。在对环境感知的过程中，对于接近作业区域的行人等(障碍物)能够进行有效识别，同时在远程监控室可显示接近作业机械的目标物体的实时距离，通过进行预警和警报触发，形成对车辆和人员安全的有效保障。

在一个实施例中，根据作业环境图像以及作业环境图像中的作业目标和障碍物体的位置信息，使用导航路径规划算法生成对障碍物进行规避的运行路径。如图4所示，建图激光雷达和单目相机在履带式起重机的行驶和作业过程中对正前方的场景进行建模，采用第一深度学习模型对作业场景中可能出现的障碍物进行识别、定位，同时根据车体两侧的补盲激光雷达采集的数据以及使用导航路径规划算法生成对障碍物进行规避的运行路径，导航路径规划算法可以为现有多种算法，例如为Dijkstra算法、A*算法和D*算法等；导航路径规划算法对障碍物进行规避，保障车辆自动驾驶路径规划在可行驶范围内，形成对车辆的动态安全保障。

在一个实施例中，使用第二深度学习模型对作业环境图像信息进行处理，生成工程机械的作业路径。例如，作业环境图像信息包括作业图像数据、点云数据以及作业图像数据中的像素与点云数据的关联关系等信息，将作业环境图像信息输入第二深度学习模型进行处理，生成工程机械的作业路径，作业路径可以为履带式起重机的吊装路径等；第二深度学习模型可以为训练好的卷积神经网络模型、双向长短记忆网络模型、深度强化学习模型等。

远程控制系统显示作业路径，并基于作业环境图像以及作业环境图像中的作业目标的位置信息，确定工程机械的实时作业路径；远程控制系统判决实时作业路径是否脱离预设的作业轨迹，如果是，则进行相应的报警处理。例如，远程控制系统显示履带式起重机的吊装路径等作业路径，基于作业环境图像(根据相机采集的作业图像数据生成作业环境数据)以及作业环境图像中的作业目标的位置信息确定实时作业路径；远程控制系统判决实时作业路径是否脱离预设的作业轨迹，如果实时作业路径脱离预设的作业轨迹，则进行相应的报警处理，报警处理可以包括进行声光报警，以及对履带式起重机进行相应的控制等。

如图4所示，在履带式起重机的机械底盘处于静止状态下，相机以及网络摄像机、建图激光雷达对吊装过程中的吊装物体进行全过程追踪，使用第二深度学习模型并基于深度强化学习算法，确定最佳的吊装移动路径(使用第二深度学习模型生成的作业路径)，该吊装路径通过网络传输至远程监控室，结合远程控制系统的履带式起重机的数字孪生模型能够预先将该吊装路径在模型中画出。通过激光雷达和相机的融合识别的吊装物体的位置信息，确定吊装物体的实际移动路径，可进行空间位置追踪，当吊装物体实际移动路径脱离预定轨道(即使用第二深度学习模型生成的工程机械的作业路径)时，可及时发现问题释放警报。

在一个实施例中，根据点云数据以及作业环境图像中的作业目标和障碍物体的位置信息，构建环境地图，环境地图包括八叉树地图等。八叉树地图(OctoMap)是一种灵活的、压缩的、又能随时更新的地图，能够在节省内存的前提下能实现对周围环境的动态更新。

例如，在履带式起重机的机械底盘处于静止状态下，采用八叉树建图的形式持续对作业环境进行建模更新，根据点云数据以及作业环境图像中的作业目标和障碍物体的位置信息，构建环境八叉树地图。

通过现有的八叉树建图算法将作业空间环境视为正方体网格，并能够对该母空间无限向下划分，在实际使用中最高分辨率可达到0.01m(即表示边长为0.01m的子正方体块，多个子正方体块将组合以用来描述物体轮廓、属性和位置)，对贴近作业机械的人员和移动物体可进行高精度(0.01m)的建模，最后将生成实时动态更新的点云地图(环境地图)。如图4所示，通过节点订阅将该环境地图传输至远程控制室，远程监控室实时显示八叉树地图建模场景，以此来达到对周围环境的实时观测，当地图内出现人形或其他移动物体时，值班人员可远程触发过程机械上的危险警告装置。

上述实施例中的工程机械的作业处理方法，基于相机采集作业图像数据和激光雷达采集的点云数据对作业目标和障碍物体进行识别和定位处理并将识别和定位处理结果发送给远程控制系统；根据识别和定位处理结果确定在可行驶范围内的运行路径；基于作业图像数据和点云数据生成作业路径、根据点云数据以及识别和定位处理结果构建环境地图，并发送给远程控制系统；能够实时监控作业过程，对作业过程进行指挥调度并对作业周围的危险信息进行预警；可以实现智能化工程机械的自主导航和自动作业，提高作业目标地的准确性，隔绝人工参与作业过程中的危险；对于作业过程中出现的突发危险，能够快速反应并实时显示以及报警；可以实现运行路径的自主避障规划，并可以降低人工成本以及解决对熟练操作人员的依赖问题。

在一个实施例中，如图5所示，本公开提供一种工程机械的作业处理系统50，包括数据获取模块51、识别定位模块52、导航路径确定模块53、作业路径确定模块54和环境地图构建模块55。数据获取模块51数据获取获取相机采集的与工程机械的作业环境和作业内容相对应的作业图像数据，并获取激光雷达采集的与作业环境和作业内容相对应的点云数据。

识别定位模块52基于作业图像数据和点云数据对作业环境内的作业目标和障碍物体进行识别和定位处理，并将识别和定位处理结果发送给远程控制系统。导航路径确定模块53根据识别和定位处理结果确定工程机械的运行路径，以使工程机械的运行路径在可行驶范围内。作业路径确定模块54基于作业图像数据和点云数据生成工程机械的作业路径，并将作业路径发送给远程控制系统。环境地图构建模块55根据点云数据以及识别和定位处理结果，构建与作业环境相对应的环境地图，并将环境地图发送给远程控制系统。

在一个实施例中，识别定位模块52对相机和激光雷达进行标定处理，并将点云数据的坐标转换为与作业图像数据相对应的像素坐标。识别定位模块52基于像素坐标将作业图像数据中的像素与点云数据进行关联处理，生成作业环境图像信息。识别定位模块52使用第一深度学习模型对作业环境图像信息进行处理，对作业目标和障碍物体进行识别和定位处理。

识别定位模块52控制相机采集棋盘格图像并对相机进行标定处理，获得相机坐标系与图像像素坐标系的转换矩阵。识别定位模块52根据转换矩阵将点云数据转换为图像像素坐标系下的点云数据，用以将点云数据的坐标转换为像素坐标。

识别和定位处理结果包括作业环境图像以及作业环境图像中的作业目标和障碍物体的位置信息等；远程控制系统基于作业环境图像以及作业环境图像中的作业目标的位置信息，确定作业目标和障碍物体之间的实时距离，基于实时距离进行相应的报警处理。

在一个实施例中，导航路径确定模块53根据作业环境图像以及作业环境图像中的作业目标和障碍物体的位置信息，使用导航路径规划算法生成对障碍物进行规避的运行路径。作业路径确定模块54使用第二深度学习模型对作业环境图像信息进行处理，生成工程机械的作业路径。

远程控制系统显示作业路径，并基于作业环境图像以及作业环境图像中的作业目标的位置信息，确定工程机械的实时作业路径；远程控制系统判决实时作业路径是否脱离预设的作业轨迹，如果是，则进行相应的报警处理。环境地图构建模块55根据点云数据以及作业环境图像中的作业目标和障碍物体的位置信息，构建环境地图；其中，环境地图包括：八叉树地图。

在一个实施例中，如图6所示，工程机械的作业处理系统可包括存储器62、处理器61、通信接口63以及总线64。存储器62用于存储指令，处理器61耦合到存储器62，处理器61被配置为基于存储器62存储的指令执行实现上述的工程机械的作业处理方法。

存储器62可以为高速RAM存储器、非易失性存储器(non-volatile memory)等，存储器62也可以是存储器阵列。存储器62还可能被分块，并且块可按一定的规则组合成虚拟卷。处理器61可以为中央处理器CPU，或专用集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本公开的工程机械的作业处理方法的一个或多个集成电路。

在一个实施例中，本公开提供一种工程机械，包括如上任一实施例的工程机械的作业处理系统。工程机械包括履带式起重机等。

在一个实施例中，如图7所示，本公开提供一种作业安全管控系统，包括远程控制系统71和如上任一实施例的工程机械的作业处理系统71。作业处理系统71可以与车载控制系统建立通讯连接。作业处理系统71将数据通过5G信号传给远程控制系统71。远程控制系统71安装在监控室主机中运行，监控室主机作为控制室中的控制终端连接监控器参数显示器和语音通话系统，监控室参数显示器、监控室网络、监控室主机、语音通话系统安装在远程监控室内。

在一个实施例中，本公开提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上任一个实施例中的方法。

上述实施例中的工程机械的作业处理方法、系统、工程机械、作业安全管控系统以及存储介质，能够实时监控作业过程，对作业过程进行指挥调度并对作业周围的危险信息进行预警；可以实现智能化工程机械的自主导航和自动作业，提高作业目标地的准确性，隔绝人工参与作业过程中的危险；对于作业过程中出现的突发危险，能够快速反应并实时显示以及报警；可以实现运行路径的自主避障规划，并可以降低人工成本以及解决对熟练操作人员的依赖问题。

可以使用许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (22)

1.一种工程机械的作业处理方法，包括：

获取相机采集的与工程机械的作业环境和作业内容相对应的作业图像数据，并获取激光雷达采集的与所述作业环境和所述作业内容相对应的点云数据；

基于所述作业图像数据和所述点云数据对作业环境内的作业目标和障碍物体进行识别和定位处理，并将识别和定位处理结果发送给远程控制系统；

根据所述识别和定位处理结果确定所述工程机械的运行路径，以使所述工程机械的运行路径在可行驶范围内；

基于所述作业图像数据和所述点云数据生成所述工程机械的作业路径，并将所述作业路径发送给所述远程控制系统；

根据所述点云数据以及所述识别和定位处理结果，构建与作业环境相对应的环境地图，并将所述环境地图发送给所述远程控制系统。

2.如权利要求1所述的方法，所述基于所述作业图像数据和所述点云数据对作业环境内的作业目标和障碍物体进行识别和定位处理包括：

对所述相机和所述激光雷达进行标定处理，并将所述点云数据的坐标转换为与所述作业图像数据相对应的像素坐标；

基于所述像素坐标将所述作业图像数据中的像素与所述点云数据进行关联处理，生成作业环境图像信息；

使用第一深度学习模型对所述作业环境图像信息进行处理，对所述作业目标和所述障碍物体进行识别和定位处理。

3.如权利要求1所述的方法，所述对所述相机和所述激光雷达进行标定处理，并将所述点云数据的坐标转换为与所述作业图像数据相对应的像素坐标包括：

控制所述相机采集棋盘格图像并对所述相机进行标定处理，获得相机坐标系与图像像素坐标系的转换矩阵；

根据所述转换矩阵将所述点云数据转换为所述图像像素坐标系下的点云数据，用以将所述点云数据的坐标转换为所述像素坐标。

4.如权利要求2所述的方法，其中，所述识别和定位处理结果包括：作业环境图像以及所述作业环境图像中的作业目标和障碍物体的位置信息；所述方法还包括：

所述远程控制系统基于所述作业环境图像以及所述作业环境图像中的作业目标和障碍物体的位置信息，确定所述作业目标和所述障碍物体之间的实时距离，基于所述实时距离进行相应的报警处理。

5.如权利要求4所述的方法，所述根据所述识别和定位处理结果确定所述工程机械的运行路径包括：

根据所述作业环境图像以及所述作业环境图像中的作业目标和障碍物体的位置信息，使用导航路径规划算法生成对障碍物进行规避的所述运行路径。

6.如权利要求4所述的方法，所述基于所述作业图像数据和所述点云数据生成所述工程机械的作业路径包括：

使用第二深度学习模型对所述作业环境图像信息进行处理，生成所述工程机械的作业路径。

7.如权利要求6所述的方法，还包括：

所述远程控制系统显示所述作业路径，并基于所述作业环境图像以及所述作业环境图像中的作业目标和障碍物体的位置信息，确定工程机械的实时作业路径；

所述远程控制系统判决所述实时作业路径是否脱离预设的作业轨迹，如果是，则进行相应的报警处理。

8.如权利要求4所述的方法，所述根据所述点云数据以及所述识别和定位处理结果，构建与作业环境相对应的环境地图包括：

根据所述点云数据以及所述作业环境图像中的作业目标和障碍物体的位置信息，构建所述环境地图；其中，所述环境地图包括：八叉树地图。

9.如权利要求1所述的方法，其中，

在所述工程机械的驾驶舱上方和所述工程机械的尾部分别设置至少一台激光雷达；在一台激光雷达的上方设置所述相机。

10.一种工程机械的作业处理系统，包括：

数据获取模块，用于数据获取获取相机采集的与工程机械的作业环境和作业内容相对应的作业图像数据，并获取激光雷达采集的与所述作业环境和所述作业内容相对应的点云数据；

识别定位模块，用于基于所述作业图像数据和所述点云数据对作业环境内的作业目标和障碍物体进行识别和定位处理，并将识别和定位处理结果发送给远程控制系统；

导航路径确定模块，用于根据所述识别和定位处理结果确定所述工程机械的运行路径，以使所述工程机械的运行路径在可行驶范围内；

作业路径确定模块，用于基于所述作业图像数据和所述点云数据生成所述工程机械的作业路径，并将所述作业路径发送给所述远程控制系统；

环境地图构建模块，用于根据所述点云数据以及所述识别和定位处理结果，构建与作业环境相对应的环境地图，并将所述环境地图发送给所述远程控制系统。

11.如权利要求10所述的系统，其中，

所述识别定位模块，用于对所述相机和所述激光雷达进行标定处理，并将所述点云数据的坐标转换为与所述作业图像数据相对应的像素坐标；基于所述像素坐标将所述作业图像数据中的像素与所述点云数据进行关联处理，生成作业环境图像信息；使用第一深度学习模型对所述作业环境图像信息进行处理，对所述作业目标和所述障碍物体进行识别和定位处理。

12.如权利要求11所述的系统，其中，

所述识别定位模块，用于控制所述相机采集棋盘格图像并对所述相机进行标定处理，获得相机坐标系与图像像素坐标系的转换矩阵；根据所述转换矩阵将所述点云数据转换为所述图像像素坐标系下的点云数据，用以将所述点云数据的坐标转换为所述像素坐标。

13.如权利要求11所述的系统，其中，所述识别和定位处理结果包括：作业环境图像以及所述作业环境图像中的作业目标和障碍物体的位置信息；

所述远程控制系统基于所述作业环境图像以及所述作业环境图像中的作业目标和障碍物体的位置信息，确定所述作业目标和所述障碍物体之间的实时距离，基于所述实时距离进行相应的报警处理。

14.如权利要求13所述的系统，其中，

所述导航路径确定模块，用于根据所述作业环境图像以及所述作业环境图像中的作业目标和障碍物体的位置信息，使用导航路径规划算法生成对障碍物进行规避的所述运行路径。

15.如权利要求13所述的系统，其中，

所述作业路径确定模块，用于使用第二深度学习模型对所述作业环境图像信息进行处理，生成所述工程机械的作业路径。

16.如权利要求14所述的系统，其中，

所述远程控制系统显示所述作业路径，并基于所述作业环境图像以及所述作业环境图像中的作业目标和障碍物体的位置信息，确定工程机械的实时作业路径；

所述远程控制系统判决所述实时作业路径是否脱离预设的作业轨迹，如果是，则进行相应的报警处理。

17.如权利要求13所述的系统，其中，

所述环境地图构建模块，用于根据所述点云数据以及所述作业环境图像中的作业目标和障碍物体的位置信息，构建所述环境地图；其中，所述环境地图包括：八叉树地图。

18.一种工程机械的作业处理系统，包括：

存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至9中任一项所述的方法。

19.一种工程机械，包括：

如权利要求10至18任一项所述的工程机械的作业处理系统。

20.如权利要求19所述的工程机械，其中，

所述工程机械包括：履带式起重机。

21.一种作业安全管控系统，包括：

远程控制系统和如权利要求10至18任一项所述的工程机械的作业处理系统。

22.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行如权利要求1至9中任一项所述的方法。

Images