CN108427343A - 基于ar技术的压实作业施工质量智能监控系统及方法 - Google Patents

Abstract

本发明公开一种基于AR技术的压实作业施工质量智能监控系统，包括感知模块、数据传输存储模块以及数据分析和可视化模块；还公开一种基于上述系统的监控方法，主要步骤包括：先将GPS信号、惯性导航信号进行集成；其次接收并处理加速度传感器的加速度时间序列信号；再次将碾轮与压实土石料接触面的高精度GPS定位数据、碾压机惯性导航数据和碾轮TCV值进行数据集成；然后将传入监控系统客户端的数据流X,Y,Z,V,D,TCV,T，计算得到仓面任一点的压实度并生成仓面压实度云图；最后将施工信息附加在现场实景视频画面上呈现给现场管理人员指导施工作业。该方法考虑因素全面，对压实度的预测相较于传统的方法更为精确。

Description

基于AR技术的压实作业施工质量智能监控系统及方法

技术领域

本发明涉及水利水电工程中大坝施工质量控制领域，具体讲，涉及一种基于增强现实技术的高心墙堆石坝压实作业施工质量智能监控系统及方法。

背景技术

随着一批300m级高心墙堆石坝的研发和兴建，坝体体型的扩大对大坝的安全性带来了新的考验，施工质量的好坏直接关系到大坝运行期的坝体安全。因此对大坝施工质量进行全方位的把控具有重要的实际意义。其中碾压作业过程的施工质量是决定土石坝工程整体施工质量的关键。

压实作业的施工过程主要采用通过相应型号、碾轮类型的碾压机对土石料进行多次碾压的方法来实现对土石坝坝体的压实。目前对碾压施工作业过程的控制主要经历了传统压实控制、数字化压实控制和智能压实控制三个阶段。

传统压实控制方法：在土石坝碾压施工过程中，首先通过现场的碾压实验来确定碾压参数(如：铺料厚度，碾压遍数，行车速度和碾轮激振力等)，然后通过现场施工组织人员与碾压机驾驶员的配合来对指定碾压面进行施工作业，之后对施工后的碾压面的压实度进行抽样检验(方法主要有：试坑法，核子密度法等)。最后若检验所得压实度没有达到设计要求，现场施工组织人员组织驾驶员对碾压面采取补碾等补救措施。

传统压实控制方法存在的缺陷：1、碾压参数固定，无法应对压实材料在掺拌和铺料过程中导致的材料的异质性和铺料厚度的不均匀性。按照统一的碾压参数进行施工，容易导致对压实料的欠碾和过碾；2、传统压实控制方法属于“事后控制”方法，且抽样检验所得的检验结果对事后补救的指导性不强，补救的过程耗费大量人力物力的同时拖延了施工进度；3、所采用的抽样检验方法存在弊端。如：坑检法对压实体产生了一定程度的破坏，属于一种有损检验方法；核子密度法会在现场留下放射性物质。

数字化压实控制方法：随着计算机技术、GPS技术等的发展，数字化压实控制方法在土石坝的施工作业中发挥了重要作用。数字化控制方法首先通过现场的碾压实验来确定碾压参数(如：铺料厚度，碾压遍数，行车速度和碾轮激振力等)，然后通过在碾压机上架设GPS定位设备，RTK基站、卫星、总控中心等实现对碾压机运行参数的实时监控。之后通过多种数据处理方法对监控信息进行实时分析，一旦碾压机运行参数超标，系统自动报警，现场施工组织人员与碾压机驾驶员对碾压机运行状态进行实时纠偏。最后系统生成碾压面的碾压报告图，现场施工人员根据图形报告的指导针对问题区域采取事后补碾等补救措施。数字化压实控制方法克服了传统人工压实控制碾压参数(如：铺料厚度，行车速度，激振力等)的粗糙性，保证了碾压面施工过程中部分碾压机碾压参数的实时受控，通过对施工历史数据的分析可以指导碾压面问题区域的补救。

数字化压实控制方法存在的局限性：1、碾压参数固定，无法应对压实材料在掺拌和铺料过程中导致的材料的异质性和铺料厚度的不均匀性。按照统一的碾压参数进行施工，容易导致对压实料的欠碾和过碾。事后补救耗费大量人力物力的同时拖延了施工进度；2、数字化压实控制方法对现场碾压机的运行轨迹进行监控，并没有对其进行控制。通过分析碾压图形报告进行事后补救的过程耗费大量人力物力的同时拖延了施工进度；3、数字化压实控制方法只是对部分碾压参数进行实时监控，并没有实现对碾压面压实质量的评价，碾压面施工完工后仍需要通过传统抽样检验方法对施工质量进行验收。

智能压实控制方法：智能压实控制方法是目前压实控制领域研究的热点。当前智能压实控制的研究思路主要是在碾压机碾轮上安装加速度传感器、在碾压机上安装GPS等设备，通过对加速度信号的实时分析，得到碾压轨迹上的压实度值。之后将实时压实度值与GPS信息进行集成生成可视化的碾压面压实度云图来指导现场施工人员进行压实作业。该思路的核心是寻找可以满足一定置信水平的压实度指标来替代传统检测方法，实现实时的无损压实度检测，以指导施工。目前，国内外的很多学者通过研究提出了多种压实度指标，主要分为以下三类：1、统计回归法：通过对碾压机运行状况的监控获得碾压参数(碾压遍数、行车速度、激振力、铺料厚度等)和多源信息集成所获得的料源参数等与实验测得的压实度值进行回归分析得到压实度值的预测模型，当碾压机在碾压面施工时，根据实时碾压参数来获知碾压面的压实度值；2、信号分析法：在碾轮轴上安装加速度传感器，通过频谱分析拟定参数，选择与压实度相关性较大的参数作为压实度指标。目前常用的有CMV，RMV指标，他们根据所需压实的不同土料来进行选择；3、物理意义法：从探究碾轮压实土体过程的物理意义的角度，建立碾轮与土体相互作用的物理模型，通过对物理模型进行化简，得到反映土体刚度的指标，通过传感器获得指标的参数来实现对指标的计算，反映碾轮对土体的压实效果。通过有限元软件和现场试验对指标进行验证。然而由于影响压实度的因素繁多，单纯的统计回归法很难将影响因素考虑全面，制约了回归精度。由于土石坝土料粒径较大，仓面刚度分布不均，导致碾轮上加速度信号噪声太强。通过信号分析分析法评价压实度很难得到满意的精度。坝体材料力学性质复杂，物理意义法存在大量简化，压实度评价精度不高。因此目前还没有针对于土石坝施工压实质量预测的成熟智能压实控制方法。

增强现实(Augmented Reality，简称AR)，也被称为扩增现实。增强现实技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。AR系统具有三个突出的特点：1.真实世界和虚拟世界的信息集成；2.具有实时交互性；3.是在三维尺度空间中增添定位虚拟物体。AR技术被广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。

发明内容

本发明旨在克服目前压实质量控制技术的不足，提出一种基于增强现实技术的高心墙堆石坝压实作业施工质量智能监控系统和方法，该方法适用于心墙堆石坝的智能压实质量实时监测方法，并将实时监测信息通过虚拟现实技术可视化呈现给施工质量监测方便于施工质量监测方实时指导现场碾压作业，全面提高心墙堆石坝压实过程施工质量的控制水平。

本发明的第一个技术方案是：基于AR技术的压实作业施工质量智能监控系统，包括感知模块、数据传输存储模块以及数据分析和可视化模块；

所述感知模块置于碾压机上，用于精确感知碾压机实时位置、航向、速度及碾压机运行轨迹上任意位置的碾轮振动性态指标；

所述数据传输存储模块用于将感知模块的数据进行传输和存储；

所述数据分析和可视化模块用于对接收所述数据传输存储模块传输来的数据进行分析处理转化为施工信息，并将施工信息附加在现场实景视频画面上呈现给现场管理人员指导施工作业；

所述感知模块包括：RTK-GPS、惯性导航仪、加速度传感器、机载工控机；所述RTK-GPS：用于发送差分数据，实现对碾压机的高精度GPS定位；所述惯性导航仪：置于碾压机驾驶室内部，用于感知碾压机位姿并通过补偿修正碾压机碾轮的实时定位信号；所述加速度传感器：置于碾压机碾轮固定轴上，用于得到碾轮的振动加速度信号；所述机载工控机：置于碾压机驾驶室内，通过嵌入式程序，将RTK-GPS、惯性导航仪、加速度传感器所得到的数据进行处理和集成；

所述数据传输存储模块包括：DTU无线数传、应用服务器和数据库服务器；

所述DTU无线数传，其发送端置于碾压机上与机载工控机连接，其接收端置于基站中，通过DTU无线数传将碾压机机载工控机中集成好的数据流(X,Y,Z,V,D,TCV,T)实时无线发送至现场指挥中心的应用服务器；

所述应用服务器，置于机房，用于通过网络接收DTU无线数传传回的实时数据：其中一份发送至监控系统客户端，另一份发送至数据库服务器备存；所述应用服务器对碾压机的在线情况进行可视化显示；

所述数据库服务器，置于机房，用于存储应用服务器发送数据，并给监控系统客户端提供数据存取的功能；

所述数据分析和可视化模块包括高清摄像头、电子三轴仪和监控系统客户端；所述高清摄像头布置于坝肩视野较好的地方，高清摄像头将画面信息传递给监控系统客户端；所述电子陀螺仪安置于高清摄像头侧面，用于捕捉高清摄像头的实时位姿，并将位姿信息有线传入监控系统客户端；所述监控系统客户端：内含预测仓面任一点压实度的回归预测算法，将传入监控系统客户端的数据流X,Y,Z,V,D,TCV,T，计算得到仓面任一点的压实度并生成仓面压实度云图，其中X,Y,Z为碾轮处坐标；V为碾压机运行速度；D为碾压机运行航向角；TCV为碾轮振动性态指标值；T为该条数据对应的时间；将施工信息附加在现场实景视频画面上呈现给现场管理人员指导施工作业。

本发明的第二个技术方案是：基于AR技术的压实作业施工质量智能监控系统的监控方法，包括如下步骤：

1)将GPS信号、惯性导航信号进行集成，得到碾轮与压实土石料接触面的高精度GPS定位；

2)接收并处理加速度传感器的加速度时间序列信号，得到表征碾轮振动性态的指标TCV；

3)将碾轮与压实土石料接触面的高精度GPS定位数据、碾压机惯性导航数据和碾轮TCV值进行数据集成；

4)将传入监控系统客户端的数据流X,Y,Z,V,D,TCV,T，计算得到仓面任一点的压实度并生成仓面压实度云图；

5)将施工信息附加在现场实景视频画面上呈现给现场管理人员指导施工作业。

所述步骤1)具体为：RTK-GPS所测得的坐标是碾压机机顶的坐标，由于大坝上施工作业面凹凸不平，导致碾压机在运行过程中会发生倾斜，因此，通过机顶GPS坐标不能得到碾轮处的精确坐标，因此本发明采用惯性导航仪感知碾压机横向和纵向倾斜角度，通过已知碾压机尺寸和横向纵向倾斜角度，由三角函数计算得到GPS定位的横向和纵向补偿误差，通过GPS定位值减去补偿误差得到碾轮与压实土石料接触面的厘米级高精度定位坐标。

所述步骤2)具体为：

(1)对原始加速度时间序列信号以1S为时间窗进行快速傅里叶变换(FFT)，得到加速度时间序列的频谱分析图；

(2)取二阶幅值与基幅之比，作为新指标(TCV)；

(3)通过工控机内嵌算法的处理，由加速度时间序列得到TCV时间序列，时间间隔为1S。

所述步骤3)具体为：RTK-GPS、惯性导航和TCV值的取值时间间隔都为1S，以时间为标签，将GPS定位数据、TCV值、RTK-GPS设备读出碾压机运行速度参数V和惯性导航读出的碾压机航向角D数据进行集成，得到间隔为1S的数据流X,Y,Z,V,D,TCV,T；其中：X,Y,Z为碾轮处坐标；V为碾压机运行速度；D为碾压机运行航向角；TCV为碾轮振动性态指标值；T为该条数据对应的时间。

所述步骤4)具体为：

(1)通过碾压机(X,Y,Z)信息获得碾压机运行的历史轨迹，通过对轨迹按照碾轮宽度进行拓宽，得到整个仓面的碾压遍数云图；

(2)通过计算仓面任一点和下一层仓面的高程差，得到整个仓面的压实厚度TH；

(3)通过计算任一点实时被碾遍数，得到仓面任一点的碾压遍数N；

(4)通过仓面任一点位置的坐标，在数据库中查询该位置的料源信息，得到该位置对应的料源参数(料的类型TS、含水率W、级配S)；

(5)在仓面施工过程中质检人员在碾压作业仓面随机抽样质检点通过坑检法对该点的压实度P进行试验测量，通过把质检的(X,Y,Z)作为标签，将多源数据进行融合，得到质检点(X,Y,Z)的(TH，N,V,TS,W,S,TCV,P)数据；

(6)将该数据分为输入数据(TH，N,V,TS,W,S,TCV)和输出数据(P)，输入支持向量机模型进行训练，通过训练得到可以预测仓面任意一点压实度P的预测模型。

所述步骤5)具体为：

(1)在unity3D软件中根据当前施工碾压机型号及个数建立碾压机模型；

(2)将碾压机位姿数据通过脚本实时赋给碾压机，这样便可以显示碾压机的实时位姿；

(3)在unity3D中新建相机，将相机位姿及缩放实时赋给相机，以相机视角,观察到碾压机模型的实时运行状况；

(4)采用虚拟现实插件，将现实场景与碾压机模型进行画面融合，其关键在于将虚拟场景里的碾压机与现实碾压机相重合；

(5)在虚拟场景里通过实时接收碾压机信息与数据库读取历史数据以时间为节点相融合，得到一仓面实时的基于当前时刻的所有历史位姿、压实度数据；

(6)连接历史位姿点得到仓面的运行轨迹，通过仓面压实度及其对应位姿的历史数据得到全施工仓面的压实度云图，通过已有数据得到碾压机的运行信息包括位置、速度、航向、实时压实度；

(7)监控系统客户端通过采用虚拟现实技术，监管人员通过客户端界面看到叠加虚拟信息(运行轨迹、压实度云图、碾压机运行信息)的大坝施工实景画面。

有益效果

1.本发明方法中包含对智能压实度预测方法，该方法具体为：将料源参数(料的类型TS、含水率W、级配S)、施工作业参数(压实厚度TH，碾压遍数N,行车速度V)和碾轮振动信号(碾轮振动信号指标TCV)进行数据集成，通过智能预测算法(支持向量机、神经网络等算法或其改进算法都在此范围之内)对集成的数据进行处理，来预测压实度，该方法考虑因素全面，对压实度的预测相较于传统的方法更为精确。

2.本发明采用虚拟现实技术，监控人员可以通过客户端显示屏看到仓面作业实时画面，同时还可以看到仓面的施工信息，压实度情况，碾压机作业参数；视频包含的信息丰富，实时性强，施工信息附加在视频监控画面上给现场监控人员提供了一种更直观的高心墙堆石坝施工作业监控方式。

3、本发明提高了心墙堆石坝压实过程施工质量的控制水平：一旦发现压实度不满足要求的区域，现场监控人员可以通过客户端显示屏精确的指挥碾压机前进到压实度缺陷区域进行补碾操作；一旦发现碾压机作业参数(速度、位置、碾轮振动性态)不满足规定，现场监控人员通知碾压机驾驶员进行规范化作业。

附图说明

图1为基于增强现实技术的高心墙堆石坝压实作业施工质量智能监控系统构架图；

图2为监控系统客户端效果图。

附图标记：1-高清摄像机，2-电子陀螺仪，3-RTK-GPS，4-惯性导航仪，5-加速度传感器，6-机载工控机，7-DTU无线数传，8-监控系统客户端，9-应用服务器，10-数据库服务器，11-基站，12-GNSS卫星。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述，所描述的具体实施例仅对本发明进行解释说明，并不用以限制本发明。

如图1所示，基于AR技术的压实作业施工质量智能监控系统，包括感知模块、数据传输存储模块以及数据分析和可视化模块；所述感知模块置于碾压机上，用于精确感知碾压机实时位置、航向、速度及碾压机运行轨迹上任意位置的碾轮振动性态指标；所述数据传输存储模块用于将感知模块的数据进行传输和存储；所述数据分析和可视化模块用于对接收所述数据传输存储模块传输来的数据进行分析处理转化为施工信息，并将施工信息附加在现场实景视频画面上呈现给现场管理人员指导施工作业。

所述感知模块包括：RTK-GPS 3、惯性导航仪4、加速度传感器5、机载工控机6；

所述RTK-GPS 3：基站11用于发送差分数据，实现对碾压机的高精度GPS定位，GPS可以得到碾压机机顶的厘米级高精度位置信息；

所述惯性导航仪4：置于碾压机驾驶室内部，用于感知碾压机位姿并通过补偿修正碾压机碾轮的实时定位信号；

所述加速度传感器5：置于碾压机碾轮固定轴上，用于得到碾轮的振动加速度信号；

所述机载工控机6：置于碾压机驾驶室内，通过嵌入式程序，将RTK-GPS 3、惯性导航仪4、加速度传感器5所得到的数据进行处理和集成。

RTK-GPS 3布置于碾压机机顶，用于得到碾压机机顶实时定位及碾压机运行速度、航向，惯性导航仪4固定于碾压机驾驶舱内部得到碾压机位姿信息(航向、竖向倾斜角度)。

机载工控机6通过串口通信接收RTK-GPS数据和惯性导航数据，并通过嵌入式算法对数据进行处理，已知测量碾压机几何尺寸、GPS天线高度、碾压机竖向倾斜角度、碾压机机顶GPS定位坐标即可通过下式计算出碾压机碾轮处定位坐标。加速度传感器5置于碾压机碾轮上，用于感知碾轮的振动性态，该传感器可发出碾轮振动加速度时间序列信号。机载工控机6通过串口数据传输接收加速度时间序列信号，并通过内嵌程序对该信号进行处理。

所述数据传输存储模块包括：DTU无线数传7、应用服务器9、数据库服务器10；

所述DTU无线数传7：其发送端置于碾压机上与机载工控机6连接，接收端置于现场指挥中心，通过DTU无线数传7将碾压机机载工控机6中集成好的数据流(X,Y,Z,V,D,TCV,T)实时无线发送至现场指挥中心应用服务器9；

所述应用服务器9：置于机房，用于通过网络接收DTU无线数传7传回的实时数据，其中一份发送监控系统客户端8，另一份发送数据库服务器10备存；应用服务器9还可以对碾压机的在线情况进行可视化显示，方便现场维护人员查看碾压机上线情况；

所述数据库服务器10：置于机房，用于存储应用服务器9发送数据，并给监控系统客户端8提供数据存取的功能。

将DTU无线数传7与机载工控机6通过网口进行数据通信。机载工控机6将(X,Y,Z,V,D,TCV,T)数据流传送至DTU无线数传7，DTU无线数传7对数据流进行编码，并通过安装于碾压机顶部的数传天线进行发送。置于监控系统主机楼的数传设备接收数据，并对接收的数据进行解码，得到实时传回的(X,Y,Z,V,D,TCV,T)数据流。数传设备通过网络将数据流传送至应用服务器9后，由应用服务器9将数据一份发送监控系统主机另一份送至数据库服务器10进行存储。

所述数据分析和可视化模块包括：高清摄像头1、电子陀螺仪2和监控系统客户端8；

所述高清摄像头1：布置于坝肩视野较好的地方，高清摄像头1对摄像头方位及画面缩放进行自动控制；其作用是实时获得大坝任意碾压作业面的高清视频图像，用于将数据及图形叠加在视频图像上，完成大坝施工场景的虚拟现实展示；高清摄像头1将画面信息传递给监控系统客户端8，监控系统客户端8获得高清摄像头1的缩放比例信息，同时对高清摄像头1的转角进行遥控，对实时画面进行放大缩小；

所述电子陀螺仪2：安置于高清摄像头1侧面，用于捕捉高清摄像头1的实时位姿，并将位姿信息有线传入监控系统客户端8；

所述监控系统客户端8：内含预测仓面任一点压实度的回归预测算法，可将传入监控系统客户端8的数据流(X,Y,Z,V,D,TCV,T)计算得到仓面任一点的压实度并生成仓面压实度云图(X,Y,Z为碾轮处坐标；V为碾压机运行速度；D为碾压机运行航向角；TCV为碾轮振动性态指标值；T为该条数据对应的时间)；可将施工信息附加在现场实景视频画面上呈现给现场管理人员指导施工作业。

高清摄像头1布置于坝肩视野开阔处(以通过调节高清摄像机旋转可捕捉到大坝所有施工仓面作为位置选择标准)，电子陀螺仪2固定在高清摄像头1上，用于捕捉摄像头旋转角度。摄像头画面一份传回视频记录仪备存，一份与电子陀螺仪2数据实时发送监控系统客户端8。监控系统客户端8采用Unity3D平台开发，采用Vuforia插件实现虚拟信息和实景画面的融合。

将现场施工实时画面与施工信息进行叠加呈现给施工管理人员，管理人员可通过监控系统客户端8直观看到叠加了施工信息的视频监控画面，同时还可以生成碾压作业图形报告，作为评价仓面碾压质量的指标。具体实施方式为：高清摄像头1布置于坝肩视野开阔处(以通过调节高清摄像机旋转可捕捉到大坝所有施工仓面作为位置选择标准)，电子陀螺仪2固定在高清摄像头上，用于捕捉摄像头旋转角度。摄像头画面一份传回视频记录仪备存，一份与电子陀螺仪数据实时发送监控系统客户端8。监控系统客户端采用Unity3D平台开发，采用Vuforia插件实现虚拟信息和实景画面的融合。具体方式为：在Unity3D中导入碾压机模型，尺寸与真实尺寸相匹配。Unity3D场景中加入ARCamera和Camera组件，ARcamera用于接收高清摄像头传回实时画面。Camera用于显示碾压机模型及模型信息。在虚拟场景中，碾压机所包含属性为从数传传回的(X,Y,Z,V,D,TCV,T)数据流。即将X,Y,Z，D赋值给U3D中的碾压机模型，实现碾压机按照传感器感知的真实状态在虚拟场景中进行运动。通过碾压机(X,Y,Z)信息可获得碾压机运行的历史轨迹，通过对轨迹按照碾轮宽度进行拓宽，可得到整个仓面的碾压遍数云图。通过计算仓面任一点和下一层仓面的高程差，可以得到整个仓面的压实厚度TH，由此得到仓面的压实厚度云图，通过计算任一点实时被碾遍数，可到到仓面任一点的碾压遍数N。通过仓面任一点位置的坐标，在数据库中查询该位置的料源信息，可得到该位置对应的料源参数(料的类型TS、含水率W、级配S)。为了保障大坝建设质量，在仓面施工过程中质检人员会在碾压作业仓面随机抽样质检点通过坑检法对该点的压实度P进行试验测量，通过把质检的(X,Y,Z)作为标签，可以将多源数据进行融合，得到质检点(X,Y,Z)的(TH，N,V,TS,W,S,TCV,P)数据。将该数据分为输入数据(TH，N,V,TS,W,S,TCV)和输出数据(P)，输入支持向量机模型(取支持向量机为一个例子，回归预测类算法及其改进算法都可以进行替换)进行训练，通过训练就可以得到可以预测仓面任意一点压实度P的预测模型。需要注意的是，该模型的训练样本并不是一成不变的，随着大坝施工的进行，更多的质检点数据被定期加入训练集，模型通过定期更新训练集，来实现对压实度预测精度的提高。通过这样的方法，就可以获得仓面任意一点的压实度P值，因此就可已绘制施工仓面的实时压实度云图。将碾压遍数云图、压实厚度云图、历史轨迹和压实度云图附着在虚拟场景中的碾压机作业面上，并设置不同的图层。与此同时将碾压机的(X,Y,Z,TH，N,V,TS,W,S,TCV,P)作为数据标签附着在碾压机上，通过点击碾压机模型，即可显示该标签框。

将感知高清摄像头位姿的三轴数据和高清摄像头缩放参数(A,B,C,K)及高清摄像头的位置(X,Y,Z)赋给U3D中的Camera，使得Camera与现实高清摄像机的位置及运行参数同步。这样通过Camera所拍摄的虚拟场景和ARCamera所拍摄的现实场景画面叠加，就可以得到虚拟现实场景的可视化效果。改变Camera的渲染图层，就可以改变期望现实的虚拟信息，如(历史轨迹、碾压厚度云图、碾压遍数云图、压实度云图和碾压机信息标签)。图2所示即为附加虚拟信息的视频监控画面的监控系统客户端效果图。

本发明基于AR技术的压实作业施工质量智能监控系统的监控方法，包括如下步骤：

首先，将GPS信号、惯性导航信号进行集成，得到碾轮与压实土石料接触面的高精度GPS定位；

具体为：RTK-GPS所测得的坐标是碾压机机顶的坐标，由于大坝上施工作业面凹凸不平，导致碾压机在运行过程中会发生倾斜，因此，通过机顶GPS坐标不能得到碾轮处的精确坐标。本发明采用惯性导航仪感知碾压机横向和纵向倾斜角度，通过已知碾压机尺寸和横向纵向倾斜角度，由三角函数计算得到GPS定位的横向和纵向补偿误差，通过GPS定位值减去补偿误差得到碾轮与压实土石料接触面的厘米级高精度定位坐标。

其次，接收并处理加速度传感器的加速度时间序列信号，得到表征碾轮振动性态的指标TCV；具体为：首先对原始加速度时间序列信号以1S为时间窗进行快速傅里叶变换(FFT)，得到加速度时间序列的频谱分析图；其次，取二阶幅值与基幅之比，作为新指标(TCV)；然后，通过工控机内嵌算法的处理，由加速度时间序列得到TCV时间序列，时间间隔为1S。

再次，将碾轮与压实土石料接触面的高精度GPS定位数据、碾压机惯性导航数据和碾轮TCV值进行数据集成；具体为：RTK-GPS、惯性导航和TCV值的取值时间间隔都为1S，以时间为标签，将GPS定位数据、TCV值、RTK-GPS设备读出碾压机运行速度参数V和惯性导航读出的碾压机航向角D数据进行集成，得到间隔为1S的数据流(X,Y,Z,V,D,TCV,T)；其中：X,Y,Z为碾轮处坐标；V为碾压机运行速度；D为碾压机运行航向角；TCV为碾轮振动性态指标值；T为该条数据对应的时间。

然后，将传入监控系统客户端的数据流(X,Y,Z,V,D,TCV,T)计算得到仓面任一点的压实度并生成仓面压实度云图；具体：

(1)通过碾压机(X,Y,Z)信息获得碾压机运行的历史轨迹，通过对轨迹按照碾轮宽度进行拓宽，得到整个仓面的碾压遍数云图；

(2)通过计算仓面任一点和下一层仓面的高程差，得到整个仓面的压实厚度TH；

(3)通过计算任一点实时被碾遍数，得到仓面任一点的碾压遍数N；

(4)通过仓面任一点位置的坐标，在数据库中查询该位置的料源信息，得到该位置对应的料源参数(料的类型TS、含水率W、级配S)；

(5)在仓面施工过程中质检人员会在碾压作业仓面随机抽样质检点通过坑检法对该点的压实度P进行试验测量，通过把质检的(X,Y,Z)作为标签，可以将多源数据进行融合，得到质检点(X,Y,Z)的(TH，N,V,TS,W,S,TCV,P)数据；

(6)将该数据分为输入数据(TH，N,V,TS,W,S,TCV)和输出数据(P)，输入支持向量机模型(取支持向量机为一个例子，回归预测类算法及其改进算法都可以进行替换)进行训练，通过训练就可以得到可以预测仓面任意一点压实度P的预测模型。

需要注意的是，该模型的训练样本并不是一成不变的，随着大坝施工的进行，更多的质检点数据被定期加入训练集，模型通过定期更新训练集，来实现对压实度预测精度的提高。通过这样的方法，就可以获得仓面任意一点的压实度P值，因此就可已绘制施工仓面的实时压实度云图。

最后，将施工信息附加在现场实景视频画面上呈现给现场管理人员指导施工作业；

具体为：

(1)在unity3D软件中根据当前施工碾压机型号及个数建立碾压机模型；

(2)将碾压机位姿数据通过脚本实时赋给碾压机，这样便可以显示碾压机的实时位姿；

(3)在unity3D中新建相机，将相机位姿及缩放实时赋给相机，以相机视角,观察到碾压机模型的实时运行状况；

(4)采用虚拟现实插件(如：Vuforia、EasyAR等)，将现实场景与碾压机模型进行画面融合，其关键在于将虚拟场景里的碾压机与现实碾压机相重合；

(5)在虚拟场景里通过实时接收碾压机信息与数据库读取历史数据以时间为节点相融合，即可得到一仓面实时的基于当前时刻的所有历史位姿、压实度数据；

(6)连接历史位姿点得到仓面的运行轨迹，通过仓面压实度及其对应位姿的历史数据得到全施工仓面的压实度云图，通过已有数据得到碾压机的运行信息(位置、速度、航向、实时压实度)；

(7)监控系统客户端通过采用虚拟现实技术，使得监管人员通过客户端界面看到叠加虚拟信息(运行轨迹、压实度云图、碾压机运行信息)的大坝施工实景画面。

Claims (7)

1.基于AR技术的压实作业施工质量智能监控系统，其特征在于，包括感知模块、数据传输存储模块以及数据分析和可视化模块；

所述感知模块置于碾压机上，用于精确感知碾压机实时位置、航向、速度及碾压机运行轨迹上任意位置的碾轮振动性态指标；

所述数据传输存储模块用于将感知模块的数据进行传输和存储；

所述数据分析和可视化模块用于对接收所述数据传输存储模块传输来的数据进行分析处理转化为施工信息，并将施工信息附加在现场实景视频画面上呈现给现场管理人员指导施工作业；

所述感知模块包括：RTK-GPS、惯性导航仪、加速度传感器、机载工控机；

所述RTK-GPS：基站用于发送差分数据，实现对碾压机的高精度GPS定位；

所述惯性导航仪：置于碾压机驾驶室内部，用于感知碾压机位姿并通过补偿修正碾压机碾轮的实时定位信号；

所述加速度传感器：置于碾压机碾轮固定轴上，用于得到碾轮的振动加速度信号；

所述机载工控机：置于碾压机驾驶室内，通过嵌入式程序，将RTK-GPS、惯性导航仪、加速度传感器所得到的数据进行处理和集成；

所述数据传输存储模块包括：DTU无线数传、应用服务器和数据库服务器；

所述DTU无线数传，其发送端置于碾压机上与机载工控机连接，其接收端置于基站中，通过DTU无线数传将碾压机机载工控机中集成好的数据流(X,Y,Z,V,D,TCV,T)实时无线发送至现场指挥中心的应用服务器；

所述应用服务器置于机房，用于通过网络接收DTU无线数传(接收端)传回的实时数据：其中一份发送至监控系统客户端，另一份发送至数据库服务器备存；所述应用服务器对碾压机的在线情况进行可视化显示；

所述数据库服务器：置于机房，用于存储应用服务器发送数据，并给监控系统客户端提供数据存取；

所述数据分析和可视化模块包括高清摄像头、电子三轴仪和监控系统客户端；

所述高清摄像头：将画面信息传递给监控系统客户端；

所述电子陀螺仪安置于高清摄像头侧面，用于捕捉高清摄像头的实时位姿，并将位姿信息有线传入监控系统客户端；

所述监控系统客户端：内含预测仓面任一点压实度的回归预测算法，将传入监控系统客户端的数据流X,Y,Z,V,D,TCV,T，计算得到仓面任一点的压实度并生成仓面压实度云图，其中X,Y,Z为碾轮处坐标；其中V为碾压机运行速度；其中D为碾压机运行航向角；其中TCV为碾轮振动性态指标值；其中T为该条数据对应的时间；将施工信息附加在现场实景视频画面上呈现给现场管理人员指导施工作业。

2.采用权利要求1所述的基于AR技术的压实作业施工质量智能监控系统的监控方法，其特征在于，包括如下步骤：

1)将GPS信号、惯性导航信号进行集成，得到碾轮与压实土石料接触面的高精度GPS定位；

2)接收并处理加速度传感器的加速度时间序列信号，得到表征碾轮振动性态的指标TCV；

3)将碾轮与压实土石料接触面的高精度GPS定位数据、碾压机惯性导航数据和碾轮TCV值进行数据集成；

4)将传入监控系统客户端的数据流X,Y,Z,V,D,TCV,T，计算得到仓面任一点的压实度并生成仓面压实度云图；

5)将施工信息附加在现场实景视频画面上呈现给现场管理人员指导施工作业。

3.根据权利要求2所述的基于AR技术的压实作业施工质量智能监控系统的监控方法，其特征在于，所述步骤1)具体为：采用惯性导航仪感知碾压机横向和纵向倾斜角度，通过已知碾压机尺寸和横向纵向倾斜角度，由三角函数计算得到GPS定位的横向和纵向补偿误差，通过GPS定位值减去补偿误差得到碾轮与压实土石料接触面的厘米级高精度定位坐标。

4.根据权利要求2所述的基于AR技术的压实作业施工质量智能监控系统的监控方法，其特征在于，所述步骤2)具体为：

(1)对原始加速度时间序列信号以1S为时间窗进行快速傅里叶变换FFT，得到加速度时间序列的频谱分析图；

(2)取二阶幅值与基幅之比，作为新指标TCV；

(3)通过工控机内嵌算法的处理，由加速度时间序列得到TCV时间序列，时间间隔为1S。

5.根据权利要求2所述的基于AR技术的压实作业施工质量智能监控系统的监控方法，其特征在于，所述步骤3)具体为：RTK-GPS、惯性导航和TCV值的取值时间间隔都为1S，以时间为标签，将GPS定位数据、TCV值、RTK-GPS设备读出碾压机运行速度参数V和惯性导航读出的碾压机航向角D数据进行集成，得到间隔为1S的数据流X,Y,Z,V,D,TCV,T；

其中：X,Y,Z为碾轮处坐标；V为碾压机运行速度；D为碾压机运行航向角；TCV为碾轮振动性态指标值；T为该条数据对应的时间。

6.根据权利要求2所述的基于AR技术的压实作业施工质量智能监控系统的监控方法，其特征在于，所述步骤4)具体为：

(1)通过碾压机X,Y,Z信息获得碾压机运行的历史轨迹，通过对轨迹按照碾轮宽度进行拓宽，得到整个仓面的碾压遍数云图；

(2)通过计算仓面任一点和下一层仓面的高程差，得到整个仓面的压实厚度TH；

(3)通过计算任一点实时被碾遍数，得到仓面任一点的碾压遍数N；

(4)通过仓面任一点位置的坐标，在数据库中查询该位置的料源信息，得到该位置对应的料源参数：料的类型TS、含水率W、级配S；

(5)在仓面施工过程中质检人员在碾压作业仓面随机抽样质检点通过坑检法对该点的压实度P进行试验测量，通过把质检的X,Y,Z作为标签，将多源数据进行融合，得到质检点X,Y,Z的TH，N,V,TS,W,S,TCV,P数据；

(6)将该数据分为输入数据包括TH，N,V,TS,W,S,TCV和输出数据P，输入支持向量机模型进行训练，通过训练得到可以预测仓面任意一点压实度P的预测模型。

7.根据权利要求2所述的基于AR技术的压实作业施工质量智能监控系统的监控方法，其特征在于，所述步骤5)具体为：

(1)在unity3D软件中根据当前施工碾压机型号及个数建立碾压机模型；

(2)将碾压机位姿数据通过脚本实时赋给碾压机；

(3)在unity3D中新建相机，将相机位姿及缩放实时赋给相机，以相机视角,观察到碾压机模型的实时运行状况；

(4)采用虚拟现实插件，将现实场景与碾压机模型进行画面融合；

(5)在虚拟场景里通过实时接收碾压机信息与数据库读取历史数据以时间为节点相融合，得到一仓面实时的基于当前时刻的所有历史位姿、压实度数据；

(6)连接历史位姿点得到仓面的运行轨迹，通过仓面压实度及其对应位姿的历史数据得到全施工仓面的压实度云图，通过已有数据得到碾压机的运行信息包括位置、速度、航向、实时压实度；

(7)监控系统客户端通过采用虚拟现实技术，监管人员通过客户端界面看到叠加虚拟信息的大坝施工实景画面。