CN108549771A - 一种挖掘机辅助施工系统及方法 - Google Patents

Abstract

本发明公开一种挖掘机辅助施工系统及方法，采用倾角传感器和GNSS定位相结合，根据挖掘机实际形状，建立三维模型，实时解算铲齿坐标，并以此为基础利用视觉与AR技术相结合实时显示三维地图进一步实现辅助施工功能。本发明利用挖掘机和GNSS卫星定位的优势，实时定位挖掘机的位置提高施工精度；利用视觉技术建立施工场景结合设计图纸实时显示，实时反映施工进度信息，同时根据施工要求在其施工作业的同时提供相应的施工提示，提高挖掘机施工的工作效率，实现挖掘机的施工智能化和操作人性化。

Description

一种挖掘机辅助施工系统及方法

技术领域

本发明涉及土木工程建设施工领域，具体涉及一种挖掘机辅助施工系统及方法。

背景技术

目前，随着现代施工建设作业任务和类型的日益繁多，挖掘机在各种工程领域中的应用日益广泛，同时各项工程对工程质量和施工工期的要求也越来越高。这对挖掘机的施工精度和用户的熟练程度提出了较高要求。然而在实际操作过程中，由于挖掘机装置和用户等原因，会出现一系列问题，导致了施工效率和精度降低。目前市场上大多数挖掘机都不带有辅助施工系统，在进行作业时，主要靠挖掘机手的技术和经验，一次施工后的作业面与标准作业面有较大的差距，需要反复修整，这种施工模式严重阻碍了工程建设的进度。

发明内容

为了解决挖掘机在施工现场精确施工与便捷作业的技术问题，本发明提供了一种挖掘机辅助施工系统及方法，通过多传感器融合及挖掘机铲斗的三维空间坐标实时解算铲齿坐标，依据铲齿坐标进行作业根据，实时提施工步骤；采用视觉技术将挖掘机施工场景实时重建，实时显示铲齿坐标和施工场景；将三维施工设计图与施工场景相结合，实时显示施工进度信息。

本发明所采用的技术方案是：

一种挖掘机辅助施工系统，包括挖掘机本体，挖掘机本体包括铲斗、动臂和斗杆铲斗、动臂和斗杆上分别设有单轴倾角传感器，用于获取动臂、斗杆和铲齿的姿态角度信息，挖掘机本体上设置有IMU测量单元和GNSS双天线定位定向装置，通过IMU测量单元获取挖掘机本体的姿态角度信息，通过GNSS双天线定位定向装置获取挖掘机本体的位置变化信息；挖掘机本体的驾驶室顶部安装有朝向挖掘机铲斗的施工方向的双目相机，用于获取挖掘机的三维地面坐标；挖掘机本体的操作室内设置有数据处理单元和三维用户交互界面，所述数据处理单元接收单轴倾角传感器、IMU测量单元、GNSS双天线定位定向装置和双目相机传送的信息，计算挖掘机铲斗齿的三维坐标，构建挖掘机施工场景，并在三维用户交互界面上显示。

进一步的，所述GNSS双天线定位定向装置包括GNSS主天线、GNSS从天线和GNSS接收机，所述GNSS主天线和GNSS从天线设置在挖掘机本体的后部，GNSS主天线和GNSS从天线的空间连线垂直于挖掘机的航向，当挖掘机车身水平时，GNSS主天线和GNSS从天线处于同一水平面上，用于定位挖掘机的空间位置坐标，计算挖掘机的航向角，发送至GNSS接收机；所述GNSS接收机安装在挖掘机本体的操作室内，用于计算GNSS主天线的空间位置坐标，并将GNSS主天线的空间位置坐标通过串口传输方式传输到数据处理单元。

进一步的，在挖掘机车身的顶部安装有双轴倾角传感器，用于测量挖掘机的俯仰角和横滚角，并传输至数据处理单元。

采用上述的挖掘机辅助施工系统进行辅助施工方法，该方法包括以下步骤：

(1)获取挖掘机本体的各部位姿态角度信息以及各部位的位置变化量，计算挖掘机铲斗齿的三维坐标；

(2)建立挖掘机三维模型，并进行挖掘机运动仿真；

(3)根据挖掘机本体的各部位姿态角度信息及双目相机参数，建立立体像对，基于立体像对和挖掘机的三维地理坐标，建立施工区域的三维地面模型；

(4)将预先导入的三维施工设计图与步骤(2)得到的挖掘机三维模型、步骤(3)得到的施工区域的三维地面模型进行融合，得到挖掘机施工场景，为挖掘机作业提供依据。

进一步的，所述步骤(1)中，计算挖掘机铲斗齿的三维坐标的步骤包括：

测量挖掘机本体的动臂、斗杆和铲齿的姿态角度信息以及GNSS主天线与挖掘机回转中心的坐标差值，建立数学模型；

将挖掘机各部位之间的长度和角度关系输入到数学模型中，改正双轴倾角传感器测量的俯仰角，计算车身姿态旋转矩阵，推算挖掘机工作装置坐标，基于挖掘机工作装置坐标增量再次改正俯仰角，并计算GNSS主天线与挖掘机铲斗齿之间的坐标增量；

测量GNSS主天线坐标值，结合GNSS主天线与挖掘机铲斗齿之间的坐标增量，计算挖掘机铲斗齿的三维坐标。

进一步的，所述步骤(2)中，建立挖掘机三维模型，并进行挖掘机运动仿真的步骤包括：

根据挖掘机机身参数，在3D Max中建立挖掘机三维模型，然后将挖掘机三维模型导入到OpenGL中，并根据挖掘机本体的各部位姿态角度信息控制挖掘机三维模型中挖掘机对应部位的运动，实现挖掘机运动的仿真。

进一步的，所述步骤(3)中，建立施工区域的三维地面模型的步骤包括：

根据挖掘机本体的各部位姿态角度信息以及双目相机的相机参数和安装参数，使用OpenCV库建立立体像对，利用SFM算法恢复双目相机的安装参数，构建以双目相机几何中心为原点的坐标系下的三维场景空间模型；

根据挖掘机的三维地面坐标和双目相机与回转中心之间的相对位置关系，建立坐标转换方程，将以双目相机为原点的坐标系下的三维场景空间模型坐标信息转换成以施工场地坐标系的地面空间坐标信息；

根据地面空间坐标信息，利用GDAL建立施工区域的三维地面模型，以GIS地图的方式显示给用户。

进一步的，所述三维场景空间模型的构建方法为：

将双目相机拍的同一场景不同视角的两张图片分别建立图片坐标系，以图片坐标系的原点为相机镜头感光片的几何中心，依据两图片所在各坐标系的位置信息，以及相机参数和安装参数，确定投影矩阵的值；

基于投影矩阵的值，得到以双目相机整体几何中心点为原点所建立的空间坐标系中所有空间点的三维坐标；

根据所有空间点的三维坐标信息建立三维场景空间模型。

进一步的，所建立坐标转换方程，将以双目相机几何中心为原点的坐标系下的三维场景空间模型坐标信息转换成以施工场地坐标系的地面空间坐标信息的步骤包括：

建立第一坐标转换方程，将以双目相机几何中心为原点的坐标系下的三维场景空间模型的坐标信息转换成以挖掘机回转中心为原点的坐标系下的空间坐标信息；

建立第二坐标转换方程，将以挖掘机回转中心为原点的坐标系下的空间坐标信息转换为施工场地坐标系下的地面空间坐标信息。

进一步的，所述步骤(4)，挖掘机施工场景的获取方法为：

根据导入的工程施工设计图上所标定的三维坐标信息生成三维施工模型；

根据三维施工模型中所具有的点位信息和施工区域的三维地面模型所具有的地面点位信息，进行模型位置匹配；

比较三维施工模型和三维地面模型的各点的地面信息和设计信息，得实际的施工进度信息，即施工场景，同时到将比对结果反映给施工人员，辅助作业。

与现有技术相比，本发明的有益效果是：

(1)本发明通过多传感器融合的方式，将挖掘机姿态与地面三维坐标结合，将工程机械坐标系统与地面施工设计坐标系统的无缝连接，实现了挖掘机的精确化施工；将双目视觉和AR引入传统挖掘机施工领域，将挖掘机作业现场与施工设计图的结合，提升了工程施工管理的效率；设计挖坑、钻孔和修坡等辅助功能，将挖掘机施工变得更加简单，减少了施工过程中的测量工作，节省了大量人力物力，并为下一步挖掘机的智能机器人自动化施工奠定基础；

(2)本发明提出的挖掘机辅助施工系统中，采用多传感器融合及挖掘机铲斗齿的三维空间坐标实时解算是通过在挖掘机动臂、斗杆和铲齿部位分别安装单轴倾角传感器，在机身安装高精度GNSS双天线定位定向装置和IMU设备，上述设备的位置相对于挖掘机回转中心固定且可测量；使用倾角传感器进行融合，获取挖掘机各部件的姿态信息，构建相应的挖掘机三维模型，通过传感器可以测得挖掘机各部位姿态和位置的变化量，计算挖掘机回转轴和铲齿实时的三维地理坐标。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是挖掘机辅助施工系统结构图；

图2是挖掘机辅助施工方法流程图；

图3是双轴传感器输出的横滚、俯仰角与构建姿态旋转矩阵所需的横滚、俯仰角的关系示意图；

图4是俯仰角改化图；

图5a和5b是依照本方法需求进行简化抽象所得的挖掘机工作装置示意图；

图6a、6b、6c和6d是工作装置的坐标增量做俯仰角改正图；

图7是双目相机观察空间点几何图；

图8是构建挖掘机现场施工场景流程图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

正如背景技术所介绍的，现有技术中存在依靠机手的技术和经验来进行辅助操作，导致挖掘机在施工现场不能精确施工，该施工模式严重阻碍了工程建设的进度的不足，为了解决如上的技术问题，本申请提出了一种挖掘机辅助施工系统及施工方法。

本申请的一种典型的实施方式中，如图1所示，提供了一种挖掘机辅助施工系统，包括挖掘机本体、三个单轴倾角传感器、IMU测量单元、GNSS双天线定位定向装置、数据处理单元和三维用户交互界面，单轴倾角传感器、IMU测量单元、GNSS双天线定位定向装置和三维用户交互界面分别与数据处理单元连接。

挖掘机本体包括铲斗、动臂和斗杆。

所述三个单轴倾角传感器分别设置在铲斗、动臂和斗杆上，用于获取动臂、斗杆和铲齿的姿态角度信息，并发送至位于挖掘机本体的驾驶室内的数据处理单元。

所述IMU测量单元设置在挖掘机本体上，用于获取挖掘机本体的姿态角度信息，并发送至位于挖掘机本体的驾驶室内的数据处理单元。

所述GNSS双天线定位定向装置设置在挖掘机本体上，用于获取挖掘机本体的位置变化量。所述GNSS双天线定位定向装置包括GNSS主天线、GNSS从天线和GNSS接收机，所述GNSS主天线和GNSS从天线设置在挖掘机本体的后部，GNSS主天线和GNSS从天线的空间连线垂直于挖掘机的航向，当挖掘机车身水平时，GNSS主天线和GNSS从天线处于同一水平面上，用于定位挖掘机的空间位置坐标，计算挖掘机的航向角，发送至GNSS接收机；所述GNSS接收机安装在挖掘机本体的操作室内，用于计算GNSS主天线的空间位置坐标，并将GNSS主天线的空间位置坐标通过串口传输方式传输到数据处理单元。

挖掘机本体的驾驶室顶部安装有双目相机，且双目相机朝向挖掘机铲斗的施工方向，用于获取挖掘机的三维地面坐标。在本实施例中，所述双目相机可为双目摄像头。

数据处理单元和三维用户交互界面分别设置在挖掘机本体的操作室内，所述数据处理单元接收单轴倾角传感器、IMU测量单元、GNSS双天线定位定向装置和双目相机传送的信息，根据，计算挖掘机回转中心和铲斗齿的三维坐标，构建挖掘机施工场景，并在三维用户交互界面上实时显示铲斗齿坐标和挖掘机施工场景；同时将三维施工设计图与施工场景相结合，实时显示施工进度信息。

在本实施例中，在在挖掘机车身的顶部安装有双轴倾角传感器，该双轴倾角传感器用于测量挖掘机的俯仰角和横滚角，并传输至数据处理单元。

本发明采用GNSS/INS组合导航技术，既解决了恶劣条件下GNSS信号质量差、高动态时环路易失锁的问题，同时也解决了INS导航误差随时间累计、初始对准时间长的问题，提高了定位精度与稳定性。

本实施例提出的挖掘机辅助施工系统中，采用多传感器融合及挖掘机铲斗齿的三维空间坐标实时解算是通过在挖掘机动臂、斗杆和铲齿部位分别安装单轴倾角传感器，在机身安装高精度GNSS双天线定位定向装置和IMU设备，上述设备的位置相对于挖掘机回转中心固定且可测量；使用倾角传感器进行融合，获取挖掘机各部件的姿态信息，构建相应的挖掘机三维模型，通过传感器可以测得挖掘机各部位姿态和位置的变化量，计算挖掘机回转轴和铲齿实时的三维地理坐标。

本发明的另一种典型实施方式，如图2所示，提供了一种采用上述的挖掘机辅助施工系统进行辅助施工方法，该方法包括以下步骤：

步骤1：获取挖掘机本体的各部位姿态角度信息以及各部位的位置变化量，计算挖掘机回转中心和铲斗齿的三维坐标。

本发明通过安装在挖掘机动臂、斗杆和铲齿部位的单轴倾角传感器，测量挖掘机的动臂、斗杆和铲齿姿态角度信息；通过安装在挖掘机本体上的GNSS双天线定位定向装置和IMU设备，测量GNSS主天线与挖掘机回转中心的坐标差值。

根据挖掘机本体的各部位姿态角度信息，建立数学模型，数学模型为：

Δ_coordinate＝F(α₁，α₂，α₃，γ_obs，θ_obs，ψ_obs)

其中，Δ_coordinate表示GNSS定位主天线到铲齿的坐标差量，α₁，α₂，α₃，γ_obs，θ_obs，ψ_obs分别为动臂上倾角传感器测量值，斗杆上倾角传感器测量值，摇杆上倾角传感器测量值，GNSS双天线所测定的航向角，车身顶部所安装的双轴倾角传感器测出的俯仰角测量值和横滚角测量值，其中函数关系F所包含的内容有：横滚、俯仰角改化，车身姿态旋转关系解算，挖掘机工作装置坐标推算，挖掘机工作装置坐标增量的俯仰角改化以及GNSS主天线到铲齿的坐标增量计算。

根据挖掘机各部位之间的长度和角度关系，作为数学模型的解算参数，输入到数学模型中参与解算，随即计算挖掘机GNSS主天线与挖掘机铲齿的坐标增量；根据GNSS双天线定位定向装置定位出的主天线坐标值，加上GNSS主天线与挖掘机铲齿之间的坐标增量；即可得到挖掘机铲斗齿的三维坐标。

具体地，该挖掘机铲斗齿的三维坐标的具体计算步骤如下所示：

(1)俯仰角改化

图3为双轴倾角传感器输出的横滚、俯仰角与构建姿态旋转矩阵所需的横滚、俯仰角的关系示意图。其中，X，Y，Z为进行横滚、俯仰角旋转前的车身坐标系，X轴向右，Y轴向前，Z轴向上；X′，Y′，Z′为进行横滚、俯仰角旋转后的车身坐标系。注意，为进行工作装置坐标增量的俯仰角改正，本文采用的从地理坐标系到导航坐标系的姿态角旋转次序为航向角ψ→横滚角γ→俯仰角θ；γ为双轴传感器输出的横滚角，也是进行姿态旋转时所用的横滚角。它即是X′与水平面的夹角或与X的夹角；θ_cal为进行姿态旋转时所用的俯仰角；Y _{p roj}为Y′在水平面上的投影，是双轴传感器输出的俯仰角的起始方向；θ_obs为双轴传感器输出的俯仰角。它即是Y′与水平面的夹角或与Y _proj的夹角。

由图可看出，双轴传感器输出的俯仰角不等于计算使用的俯仰角。下面结合图4讲解如何改化俯仰角。

如图4所示，令XYZ坐标系与X′，Y′，Z′坐标系的公共原点为点A；在Y′上任取一点B；过点B做BC⊥Y_proj交Y_proj于C；过C做CD⊥Y交Y于D；连接BD；过D做辅助轴OPZ，且(1)BC⊥CD；(2)BD⊥AD；(3)∠DBC＝γ。

在四面体中，由于四个面均为直角三角形，故由直角三角形边角关系可得：

则有：

(2)车身姿态旋转矩阵计算

由横滚角γ和改正后的俯仰角θ_cal计算车身姿态旋转矩阵公式为：

R_attitude＝R₂(γ)R₁(θ_cal) (3)

其中：R_attitude为车身姿态旋转矩阵；R_i(radian)表示绕笛卡尔坐标系第i轴旋转radian弧度的旋转矩阵。

(3)航向角改化

由于GNSS主天线基线方向受安装误差影响而不与载体坐标系横轴同向，故须将GNSS双天线定位定向装置所测得的方位角受车身姿态的影响考虑在内：

B_rot＝R_attitudeB (4)

ψ_cal＝ψ_obs-α_B (6)

其中，B_rot为进行姿态旋转后的基线向量；B为在车身坐标系下的基线向量；arctan(y，)为方位角计算函数，不同于反正切函数；α_B为旋转后基线向量的方位角；为B_rot的x、y分量；ψ_cal为计算用的航向角；ψ_obs为GNSS定位定向设备测得的航向角。

(4)工作装置坐标推算

如图5a和5b所示，在动臂、斗杆及摇杆上安装有倾角传感器。建立直角坐标系如下：设P₁为坐标系零点，X轴平行于水平面和动臂、斗杆组成的侧平面，Y轴平行于动臂、斗杆组成的侧平面且垂直于X轴。则可求得P₁、P₂、P₃坐标如下：

其中：为P₁与P₂点之间的距离，由挖掘机机械设计确定，为定值；为P₂与P₃点之间的距离，由挖掘机机械设计确定，为定值；α₁为动臂上倾角传感器所测得的角度值；α₂为斗杆上倾角传感器所测得的角度值；α₃为摇杆上倾角传感器所测得的角度值。随后推算P₁₀与P₉点坐标：

P₁₁至P₃与P₉距离为定值，故有：

用x_i与y_i表示P_i的x分量与y分量，可改写为：

方程组(13)为有x₁₁与y₁₁两个未知量的非线性方程组。使用牛顿迭代法进行求解。

其中：

式(14)为用于牛顿迭代的递推公式，其中与为上一步迭代的结果，x₁₁与y₁₁为本次迭代的结果。关于P₁₁初值的选取，可用P₁₀点坐标相对于P₃和P₉点的连线做对称来作为初值。

由P₃和P₁₁坐标计算两点的方向

计算P₃至P₁₂的方向

计算P₁₂坐标：

(5)对工作装置的坐标增量做俯仰角改正

由于倾角传感器所测角度包含俯仰角的影响，需要对上一步计算所得的坐标增量进行俯仰角改正，才可获得载体坐标系下的工作装置坐标增量。

如图6a、6b、6c、6d所示，首先以P₁为坐标系零点，车身坐标系的X轴为X轴，在水平面上与X轴垂直且指向工作装置朝向的方向为Y轴，Z轴与X轴、Y轴组成右手坐标系，建立三维工作装置坐标系。则已计算的P₁₂点坐标可如式(19)在该坐标系下表示为

三维工作装置坐标系与车身坐标系之间相差一个俯仰角的旋转。因此可按式(20)推算车身坐标系下的P₁₂坐标

(6)计算车身坐标系下主天线a1至挖掘机铲斗齿的坐标增量：

其中，为车身坐标系下主天线a1至动臂旋转轴P₁的坐标增量。

(7)计算挖掘机铲斗齿三维坐标：

其中，pos_a1为GNSS定位定向设备输出的主天线坐标；pos₁₂为最终计算的铲斗齿三维坐标。

通过实验测试表明，计算出的挖掘机铲斗齿三维坐标和实际采用全站仪测量出的坐标结果完全一致，空间坐标各方向误差均低于5cm，完全符合实际生产需要。

步骤2：重建挖掘机现场施工场景，如图8所示。

步骤201：建立挖掘机三维模型，并进行挖掘机运动仿真。

根据已知的挖掘机的机身参数，在3D Max中建立挖掘机三维模型，并根据挖掘机本体的各部位姿态角度信息，在OpenGL中控制挖掘机三维模型的各部位运动以实现挖掘机运动的仿真。其中，挖掘机的机身参数包括挖掘机履带宽度，履带长度，回转中心履带的距离，操作台长和宽，驾驶室高度，操作台高度，动臂长和宽，斗杆长和宽，摇杆长和宽，铲斗斗容及其宽度。

步骤202：建立施工区域的三维地面模型。

步骤2021：在挖掘机的驾驶室挡风玻璃顶部安装双目相机，使摄像头面向挖掘机铲斗施工方向，通过得到的挖掘机各部位姿态角度信息及双目相机的相机参数和安装参数，用OpenCV库建立立体像对，然后利用SFM(Structure from Motion)算法恢复摄像机的安装参数，进一步计算即可得到以双目相机几何中线为原点的坐标系下的三维场景模型，即三维重建。其中，双目相机的相机参数包括；双目相机的安装参数包括

所述以双目相机几何中线为原点的坐标系下的三维场景模型的构建方法为：

通过将双目相机拍的同一场景不同视角的两张相片分别建立相片坐标系，如图7所示，坐标系的原点为相机镜头感光片的几何中心，x轴为双目镜头连线方向，y轴垂直于x轴且为镜头照准方向，z轴垂直于x、y轴所在平面，依据两相片所在各坐标系的位置信息，即相点P₁，P₂的坐标信息，以及相机参数和安装参数，则投影矩阵M的值确定，将M展开，可写成如下形式，

其中(u₁，v₁，1)，(u₂，v₂，1)分别为P₁，P₂的相片齐次坐标，(X,Y,Z,1)为空间点P在世界坐标系的坐标，即以双目相机整体几何中心点为原点所建立的空间坐标系的坐标，分别为M_k的第i行第j列的元素，将上式化简消去Z_c1，Z_c2，可得到关于X，Y，Z的四个线性方程具体形式如下：

由几何原理可知，三维空间的平面方程是线性的，平面方程联立所解得的解为空间中的一条直线，即两平面的交线，式(25)与(26)的物理意义为O₁P₁与O₂P₂两条射线，联立(25)与(26)，解得空间点P的三维坐标(X,Y,Z)。同样对于相片上的其他物点，分别以这种方法求得对应空间点的三维坐标，然后根据空间点云所具有的三维坐标信息建立空间三维模型。

步骤2022：获取挖掘机的三维地理坐标，根据挖掘机的三维地理坐标和双目相机与挖掘机回转中心之间的相对位置关系，建立坐标转换方程，将以双目相机几何中线为原点的坐标系下的三维场景模型的坐标信息转换为以施工场地坐标系的地面空间坐标信息，通过GDAL建立施工区域的三维地面模型。

具体地，坐标转换过程为：

将以双目相机整体几何中心为坐标系的三维模型的坐标信息转换成以挖掘机回转中心为原点坐标系的坐标信息，第一坐标转换方程如下：

T_ijP_o1+k_o1＝P_o2 (27)

其中T_ij为双目相机坐标系与回转中心坐标系的坐标旋转矩阵，旋转矩阵是根据测量双目相机在挖掘机的安装位置信息所建立，具体包括双目相机几何中心到回转中心的垂直高度、水平距离以及GNSS双天线定位出的挖掘机的回转角度，k_o1为两坐标系的平移向量，P_o1，P_o2分别为双目相机坐标系下和回转中心坐标系下的坐标值；

然后将回转中心坐标系下的坐标信息转换成地面坐标系的坐标信息，即工程施工坐标信息，第二坐标转换方程如下：

N_ijP_o2+k_o2＝P_o3 (28)

其中N_ij为回转中心坐标系与地面坐标系的坐标旋转矩阵，旋转矩阵是根据GNSS定位信息所建立，具体包括挖掘机当前航向角、挖掘机回转中心距离大地水准面的高度以及挖掘机回转中心在地面坐标系下的坐标，k_o2为两坐标系的平移向量，P_o2，P_o3分别为回转中心坐标系下和地面坐标系下的坐标值；所有的坐标系转换总共包含6个参数，即三个坐标方向的旋转参数和坐标系在三个坐标方向的平移参数。

如上所述，当所有的像素点所对应的地面三维坐标信息求出以后，即可建立空间模型，通过将三维点云数据，导入辅助施工系统中的ArcGIS二次开发功能包中，利用ModelBuilder工具建立三维模型，然后以GIS地图的方式显示给用户。

步骤203：将预先导入的施工设计图，与生成的施工区域的三维地面模型、挖掘机三维模块进行融合，得到挖掘机现场施工场景，通过挖掘机现场施工场景辅助挖掘机手进行高效作业。

具体地，将施工人员导入辅助施工系统的工程施工设计图根据设计图纸所标定的三维坐标信息生成三维施工模型，根据施工模型中所具有的点位信息和施工区域的三维地面模型所具有的地面点位信息，进行模型位置匹配，然后比较两模型各点的地面信息和设计信息，进而得实际的施工进度信息，即施工场景，同时到将比对结果反映给施工人员，从而达到高效作业。

本实施例提出的挖掘机辅助施工方法，通过多传感器融合的方式，将挖掘机姿态与地面三维坐标结合，将工程机械坐标系统与地面施工设计坐标系统的无缝连接，实现了挖掘机的精确化施工；将双目视觉和AR引入传统挖掘机施工领域，将挖掘机作业现场与施工设计图的结合，提升了工程施工管理的效率；设计挖坑、钻孔和修坡等辅助功能，将挖掘机施工变得更加简单，减少了施工过程中的测量工作，节省了大量人力物力，并为下一步挖掘机的智能机器人自动化施工奠定基础。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种挖掘机辅助施工系统，包括挖掘机本体，挖掘机本体包括铲斗、动臂和斗杆，其特征在于，铲斗、动臂和斗杆上分别设有单轴倾角传感器，用于获取动臂、斗杆和铲齿的姿态角度信息，挖掘机本体上设置有IMU测量单元和GNSS双天线定位定向装置，通过IMU测量单元获取挖掘机本体的姿态角度信息，通过GNSS双天线定位定向装置获取挖掘机本体的位置变化信息；挖掘机本体的驾驶室顶部安装有朝向挖掘机铲斗的施工方向的双目相机，用于获取挖掘机的三维地面坐标；挖掘机本体的操作室内设置有数据处理单元和三维用户交互界面，所述数据处理单元接收单轴倾角传感器、IMU测量单元、GNSS双天线定位定向装置和双目相机传送的信息，计算挖掘机铲斗齿的三维坐标，构建挖掘机施工场景，并在三维用户交互界面上显示。

2.根据权利要求1所述的挖掘机辅助施工系统，其特征在于，所述GNSS双天线定位定向装置包括GNSS主天线、GNSS从天线和GNSS接收机，所述GNSS主天线和GNSS从天线设置在挖掘机本体的后部，GNSS主天线和GNSS从天线的空间连线垂直于挖掘机的航向，当挖掘机车身水平时，GNSS主天线和GNSS从天线处于同一水平面上，用于定位挖掘机的空间位置坐标，计算挖掘机的航向角，发送至GNSS接收机；所述GNSS接收机安装在挖掘机本体的操作室内，用于计算GNSS主天线的空间位置坐标，并将GNSS主天线的空间位置坐标通过串口传输方式传输到数据处理单元。

3.根据权利要求1所述的挖掘机辅助施工系统，其特征在于，在挖掘机车身的顶部安装有双轴倾角传感器，用于测量挖掘机的俯仰角和横滚角，并传输至数据处理单元。

4.采用权利要求1所述的挖掘机辅助施工系统进行辅助施工方法，其特征是，包括以下步骤：

(1)获取挖掘机本体的各部位姿态角度信息以及各部位的位置变化量，计算挖掘机铲斗齿的三维坐标；

(2)建立挖掘机三维模型，并进行挖掘机运动仿真；

(3)根据挖掘机本体的各部位姿态角度信息及双目相机参数，建立立体像对，基于立体像对和挖掘机的三维地理坐标，建立施工区域的三维地面模型；

(4)将预先导入的三维施工设计图与步骤(2)得到的挖掘机三维模型、步骤(3)得到的施工区域的三维地面模型进行融合，得到挖掘机施工场景，为挖掘机作业提供依据。

5.根据权利要求4所述的采用挖掘机辅助施工系统进行辅助施工方法，其特征是，所述步骤(1)中，计算挖掘机铲斗齿的三维坐标的步骤包括：

测量挖掘机本体的动臂、斗杆和铲齿的姿态角度信息以及GNSS主天线与挖掘机回转中心的坐标差值，建立数学模型；

将挖掘机各部位之间的长度和角度关系输入到数学模型中，改正双轴倾角传感器测量的俯仰角，计算车身姿态旋转矩阵，推算挖掘机工作装置坐标，基于挖掘机工作装置坐标增量再次改正俯仰角，计算GNSS主天线与挖掘机铲斗齿之间的坐标增量；

测量GNSS主天线坐标值，结合GNSS主天线与挖掘机铲斗齿之间的坐标增量，计算挖掘机铲斗齿的三维坐标。

6.根据权利要求4所述的采用挖掘机辅助施工系统进行辅助施工方法，其特征是，所述步骤(2)中，建立挖掘机三维模型，并进行挖掘机运动仿真的步骤包括：

根据挖掘机机身参数，在3D Max中建立挖掘机三维模型，然后将挖掘机三维模型导入到OpenGL中，并根据挖掘机本体的各部位姿态角度信息控制挖掘机三维模型中挖掘机对应部位的运动，实现挖掘机运动的仿真。

7.根据权利要求4所述的采用挖掘机辅助施工系统进行辅助施工方法，其特征是，所述步骤(3)中，建立施工区域的三维地面模型的步骤包括：

根据挖掘机本体的各部位姿态角度信息以及双目相机的相机参数和安装参数，使用OpenCV库建立立体像对，利用SFM算法恢复双目相机的安装参数，构建以双目相机几何中心为原点的坐标系下的三维场景空间模型；

根据挖掘机的三维地面坐标和双目相机与回转中心之间的相对位置关系，建立坐标转换方程，将以双目相机为原点的坐标系下的三维场景空间模型坐标信息转换成以施工场地坐标系的地面空间坐标信息；

根据地面空间坐标信息，利用GDAL建立施工区域的三维地面模型，以GIS地图的方式显示给用户。

8.根据权利要求4所述的采用挖掘机辅助施工系统进行辅助施工方法，其特征是，所述三维场景空间模型的构建方法为：

将双目相机拍的同一场景不同视角的两张图片分别建立图片坐标系，以图片坐标系的原点为相机镜头感光片的几何中心，依据两图片所在各坐标系的位置信息，以及相机参数和安装参数，确定投影矩阵的值；

基于投影矩阵的值，得到以双目相机整体几何中心点为原点所建立的空间坐标系中所有空间点的三维坐标；

根据所有空间点的三维坐标信息建立三维场景空间模型。

9.根据权利要求4所述的采用挖掘机辅助施工系统进行辅助施工方法，其特征是，所建立坐标转换方程，将以双目相机几何中心为原点的坐标系下的三维场景空间模型坐标信息转换成以施工场地坐标系的地面空间坐标信息的步骤包括：

建立第一坐标转换方程，将以双目相机几何中心为原点的坐标系下的三维场景空间模型的坐标信息转换成以挖掘机回转中心为原点的坐标系下的空间坐标信息；

建立第二坐标转换方程，将以挖掘机回转中心为原点的坐标系下的空间坐标信息转换为施工场地坐标系下的地面空间坐标信息。

10.根据权利要求4所述的采用挖掘机辅助施工系统进行辅助施工方法，其特征是，所述步骤(4)，挖掘机施工场景的获取方法为：

根据导入的工程施工设计图上所标定的三维坐标信息生成三维施工模型；

根据三维施工模型中所具有的点位信息和施工区域的三维地面模型所具有的地面点位信息，进行模型位置匹配；

比较三维施工模型和三维地面模型的各点的地面信息和设计信息，得实际的施工进度信息，即施工场景，同时到将比对结果反映给施工人员，辅助作业。