CN107943823B - 数字化施工实时大数据处理平台 - Google Patents

Abstract

本发明公开了一种数字化施工实时大数据处理平台，包括：工作端数据采集设备、数据传输系统、数据解析系统、数据处理系统、客户端和作业管理系统；工作端数据采集设备采集工程机械的工作数据后，将其通过数据传输系统发送至数据解析系统，由数据解析系统解析后发送给数据处理系统，数据处理系统根据作业管理系统对数据的处理要求对所接收的数据进行处理，并将处理结果发送至客户端进行显示，同时，数据处理系统还定期对作业管理系统所存储的数据进行处理。本发明提供的平台，能够减少数据量过大对平台性能的影响，能实时获取并分析、处理、展示工程施工中的海量生产数据信息，使工程施工的实时信息可视化，提高了施工效率、工程质量和信息化水平。

Description

数字化施工实时大数据处理平台

技术领域

本发明涉及工程施工自动化领域，特别涉及一种数字化施工实时大数据处理平台。

背景技术

在工程施工领域，传统的施工作业过程中，主要依赖操作人员的工作经验，容易出现施工遗漏或施工过量的情况，如压路机的漏压、过压等。通常，在完工后，还需要采用点抽检的方法，进行施工效果的检测。这样的工作流程存在检测周期长、检测结果不能真实反映全路段施工质量的等问题。对于单独一种工程机械的施工作业已经有了数字化施工系统，然而对于多种工程机械联合施工的情况，数字化管理还面临着由于多种工程机械产生海量数据的情况。例如，为了能将整个三维的施工面(包括路基、路床、路面)进行网格化，用于实时处理并以图形的方式显示，用量小的检测单元为0.04平方米施工过程中，一个长30公里宽30米的高速公路(路基5层、路床4层、路面3层)施工过程，包含的信息量超过3700GB，这样庞大的数据能够详尽的、立体式的对施工的整个生命周期进行全方位的呈现，给工程的建设、管理能带来很多好处，然而这些海量数据造成实时传输数据量过大，数据读写量很大，产生的文件多，文件体积大，数据统计、分析需要加载所有的数据，不仅对硬件的要求高，还容易造成数据传输拥堵，导致数据堆积，使服务器的数据出现延迟的情况，而大量的数据还导致了显示设备绘图缓慢，使拖动、缩放等操作出现卡顿的情况。这些情况严重影响了施工平台的使用性能。

为了解决以上问题，本发明提供了一个对工程施工过程中各工程机械(压路机、强夯机、摊铺机、平地机、挖掘机、铣刨机、钻机、打桩机等)实时的生产数据进行传输、分析、处理、展示的平台，本平台通过卫星定位系统、数据传输系统、及各种传感器实时获取工程施工中的海量生产数据(经度、纬度、高程、速度、温度、角度、加速度、厚度、工作能量等)信息，并对其进行分析、处理、展示。本发明通过多种技术手段对海量数据进行处理，减少数据量过大对平台性能的影响，从而实现工程施工的实时信息可视化，提高施工效率和工程质量，既能减少施工投入，又提高施工信息化管理水平。

发明内容

本发明的目的在于提供一种能对海量数据进行处理，减少数据量过大对平台性能的影响，实时获取并分析、处理、展示工程施工中的海量生产数据信息，使工程施工的实时信息可视化，提高施工效率和工程质量，减少施工投入，提高施工信息化管理水平的数字化施工实时大数据处理平台。

为了实现上述目的，本发明提供了一种数字化施工实时大数据处理平台，包括：

工作端数据采集设备，用于采集工程机械的工作数据，所述工作数据包括位置数据；

数据传输系统，用于将工作端数据采集设备采集的数据发送至数据解析系统，包括步骤：数据传输系统对工作端数据采集设备采集到的数据进行分块；数据传输系统对分块后的数据进行压缩；数据传输系统将压缩后的数据发送至数据解析系统；

数据解析系统，用于对数据传输系统发送来的数据进行解析，并将解析过的数据发送至数据处理系统；

数据处理系统，用于根据作业管理系统发送来的处理要求，对所述解析过的数据进行处理，并将处理结果发送至客户端；还用于对作业管理系统所存储的数据进行处理；

客户端，用于接收数据处理系统的处理结果并予以显示，所述显示为使用Canvas进行绘图，其中，动态数据和数据量小于预设值的数据以矢量绘图的形式绘制，数据量大于预设值的数据以图片的形式绘制；

和作业管理系统，包括：数据存取子系统、工地设计校准子系统、过程重显子系统、工作目标配置子系统、指令控制权限管理子系统、业务分析子系统；用于向数据处理系统发送处理要求并接收、存储数据处理系统的处理结果；

工作端数据采集设备采集工程机械的工作数据后，将其通过数据传输系统发送至数据解析系统，由数据解析系统解析后发送给数据处理系统，数据处理系统根据作业管理系统对数据的处理要求对所接收的数据进行处理，并将处理结果发送至客户端进行显示，同时，数据处理系统还定期对作业管理系统所存储的数据进行处理。

为了使平台可以同时适用于压路机、强夯机、摊铺机、平地机、挖掘机、铣刨机、钻机、打桩机等各工程机械，提高施工信息化管理水平，需要使存储的数据可以用于多种工程机械联合施工，优选的技术方案是，所述数据存取子系统，用于存储工程数据，所述工程数据以结构化方式存储，结构化存储的维度包括：三向经纬度高程、时间、工程机械类型、采集设备类型、项目名称和标段。

为了使平台可以同时适用于压路机、强夯机、摊铺机、平地机、挖掘机、铣刨机、钻机、打桩机等各工程机械，提高施工信息化管理水平，进一步优选的技术方案是，所述数据处理系统的处理结果，包括：

实时工作数据的视图，包括：水平波形图、平面视图、断面视图；

实时工作数据的数字仪表盘；

实时工作数据的文字参数。

为了能更快速的对工程施工过程中各工程机械实时的海量生产数据进行分析、处理，优选的技术方案是，所述对所述解析过的数据进行处理，包括：

数据处理系统按预设的规则选取解析过的数据，并将其写入实时内存数据库；

数据处理系统对实时内存数据库中的数据进行预处理，并将预处理结果写入实时内存数据库；

数据处理系统根据作业管理系统发送来的处理要求，对预处理结果和实时内存数据库中的数据进行处理。

为了使平台可以同时适用于压路机、强夯机、摊铺机、平地机、挖掘机、铣刨机、钻机、打桩机等各工程机械，提高施工信息化管理水平，需要统计多工程机械联合作业生产时的综合施工遍数，进一步优选的技术方案是，所述数据处理系统，还用于统计多工程机械联合作业生产时的综合施工遍数，包括：

数据处理系统读取数据存取子系统中存储的上一时间段的综合施工遍数；

数据处理系统从实时内存数据库中获取当前每个工程机械在当前与上一时间段这段时间之间的施工量；

数据处理系统将所述当前每个工程机械在当前与上一时间段这段时间之间的施工量转化为新增综合施工遍数，所述转化方法为，对每个工程机械，根据施工路段的长度，以预设的系数将工程机械的施工量转化为该工程机械的新增综合施工遍数，将当前所有工程机械的新增综合施工遍数进行叠加，得到当前的新增综合施工遍数；

数据处理系统将所述当前的新增综合施工遍数与上一时间段的综合施工遍数相加，得到当前多工程机械联合作业生产时的综合施工遍数，并将其写入数据存取子系统中。

为了使平台可以同时适用于压路机、强夯机、摊铺机、平地机、挖掘机、铣刨机、钻机、打桩机等各工程机械，提高施工信息化管理水平，需要对每个工程机械进行定位，进一步优选的技术方案还有，所述数据处理系统，还用于计算工程机械当前所在的桩号，包括：

数据处理系统从数据存取子系统中获取桩号的经纬度信息；

数据处理系统从实时内存数据库中获取当前工程机械的经纬度；

数据处理系统查找与当前工程机械的经纬度位置最接近的2个桩号，并选择位于工程机械的与施工方向相反的桩号作为工程机械当前所在的桩号。

为了提升图形的显示速度，优选的技术方案是，所述客户端，

还使用并行渲染技术和双缓存技术进行绘图显示。

为了使平台可以同时适用于压路机、强夯机、摊铺机、平地机、挖掘机、铣刨机、钻机、打桩机等各工程机械，提高施工信息化管理水平，需要分析多种工程机械联合施工的工程质量，进一步优选的技术方案还有，所述数据处理系统，还用于分析施工质量，包括：

数据处理系统从实时内存数据库获取预设区段的工作数据；

数据处理系统根据所述预设区段的工作数据，通过多变量线性回归模型确定施工质量。

为了使平台可以同时适用于压路机、强夯机、摊铺机、平地机、挖掘机、铣刨机、钻机、打桩机等各工程机械，提高施工信息化管理水平，需要分析多种工程机械联合施工的工程质量，进一步优选的技术方案还有，所述通过多变量线性回归模型确定施工质量，还包括：

将施工质量检测指标的标准差的倒数作为系数加入多变量线性回归模型，用以考虑不同施工质量检测指标的离散性，如第一公式所示，所述第一公式为：

其中，

其中，x，y为预设区段的施工质量的线性回归结果；x_i，y_i为预设区段的施工质量检测指标为i时施工质量数据；σ_i为施工质量检测指标为i时的标准差；n为施工质量检测指标的总数。

本发明的一些有益效果可以包括：

本发明提供的一种数字化施工实时大数据处理平台，通过多种技术手段对海量数据进行处理，减少数据量过大对平台性能的影响，能实时获取并分析、处理、展示工程施工中的海量生产数据信息，使工程施工的实时信息可视化，提高施工效率和工程质量，减少施工投入，提高施工信息化管理水平。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种数字化施工实时大数据处理平台的示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

为了提供一种能对海量数据进行处理，减少数据量过大对平台性能的影响，实时获取并分析、处理、展示工程施工中的海量生产数据信息，本发明实施例提供了一种数字化施工实时大数据处理平台。图1为本发明实施例中一种数字化施工实时大数据处理平台的示意图，如图1所示，包括：

工作端数据采集设备，用于采集工程机械的工作数据，所述工作数据包括位置数据；

数据传输系统，用于将工作端数据采集设备采集的数据发送至数据解析系统，包括步骤：数据传输系统对工作端数据采集设备采集到的数据进行分块；数据传输系统对分块后的数据进行压缩；数据传输系统将压缩后的数据发送至数据解析系统；

数据解析系统，用于对数据传输系统发送来的数据进行解析，并将解析过的数据发送至数据处理系统；

数据处理系统，用于根据作业管理系统发送来的处理要求，对所述解析过的数据进行处理，并将处理结果发送至客户端；还用于对作业管理系统所存储的数据进行处理；

客户端，用于接收数据处理系统的处理结果并予以显示，所述显示为使用Canvas进行绘图，其中，动态数据和数据量小于预设值的数据以矢量绘图的形式绘制，数据量大于预设值的数据以图片的形式绘制；

和作业管理系统，包括：数据存取子系统、工地设计校准子系统、过程重显子系统、工作目标配置子系统、指令控制权限管理子系统、业务分析子系统；用于向数据处理系统发送处理要求并接收、存储数据处理系统的处理结果；

工作端数据采集设备采集工程机械的工作数据后，将其通过数据传输系统发送至数据解析系统，由数据解析系统解析后发送给数据处理系统，数据处理系统根据作业管理系统对数据的处理要求对所接收的数据进行处理，并将处理结果发送至客户端进行显示，同时，数据处理系统还定期对作业管理系统所存储的数据进行处理。

为了使平台可以同时适用于压路机、强夯机、摊铺机、平地机、挖掘机、铣刨机、钻机、打桩机等各工程机械，提高施工信息化管理水平，需要使存储的数据可以用于多种工程机械联合施工，在本发明的一个优选实施例中，所述数据存取子系统，用于存储工程数据，所述工程数据以结构化方式存储，结构化存储的维度包括：三向经纬度高程、时间、工程机械类型、采集设备类型、项目名称和标段。

为了使平台可以同时适用于压路机、强夯机、摊铺机、平地机、挖掘机、铣刨机、钻机、打桩机等各工程机械，提高施工信息化管理水平，在本发明的一个进一步优选实施例中，所述数据处理系统的处理结果，包括：

实时工作数据的视图，包括：水平波形图、平面视图、断面视图；

实时工作数据的数字仪表盘；

实时工作数据的文字参数。

为了能更快速的对工程施工过程中各工程机械实时的海量生产数据进行分析、处理，在本发明的一个优选实施例中，所述对所述解析过的数据进行处理，包括：

数据处理系统按预设的规则选取解析过的数据，并将其写入实时内存数据库；

数据处理系统对实时内存数据库中的数据进行预处理，并将预处理结果写入实时内存数据库；

数据处理系统根据作业管理系统发送来的处理要求，对预处理结果和实时内存数据库中的数据进行处理。

为了使平台可以同时适用于压路机、强夯机、摊铺机、平地机、挖掘机、铣刨机、钻机、打桩机等各工程机械，提高施工信息化管理水平，需要统计多工程机械联合作业生产时的综合施工遍数，在本发明的一个进一步优选实施例中，所述数据处理系统，还用于统计多工程机械联合作业生产时的综合施工遍数，包括：

数据处理系统读取数据存取子系统中存储的上一时间段的综合施工遍数；

数据处理系统从实时内存数据库中获取当前每个工程机械在当前与上一时间段这段时间之间的施工量；

数据处理系统将所述当前每个工程机械在当前与上一时间段这段时间之间的施工量转化为新增综合施工遍数，所述转化方法为，对每个工程机械，根据施工路段的长度，以预设的系数将工程机械的施工量转化为该工程机械的新增综合施工遍数，将当前所有工程机械的新增综合施工遍数进行叠加，得到当前的新增综合施工遍数；

数据处理系统将所述当前的新增综合施工遍数与上一时间段的综合施工遍数相加，得到当前多工程机械联合作业生产时的综合施工遍数，并将其写入数据存取子系统中。

为了使平台可以同时适用于压路机、强夯机、摊铺机、平地机、挖掘机、铣刨机、钻机、打桩机等各工程机械，提高施工信息化管理水平，需要对每个工程机械进行定位，在本发明的一个进一步优选实施例中，所述数据处理系统，还用于计算工程机械当前所在的桩号，包括：

数据处理系统从数据存取子系统中获取桩号的经纬度信息；

数据处理系统从实时内存数据库中获取当前工程机械的经纬度；

数据处理系统查找与当前工程机械的经纬度位置最接近的2个桩号，并选择位于工程机械的与施工方向相反的桩号作为工程机械当前所在的桩号。

为了提升图形的显示速度，在本发明的一个优选实施例中，所述客户端，

还使用并行渲染技术和双缓存技术进行绘图显示。

为了使平台可以同时适用于压路机、强夯机、摊铺机、平地机、挖掘机、铣刨机、钻机、打桩机等各工程机械，提高施工信息化管理水平，需要分析多种工程机械联合施工的工程质量，在本发明的一个进一步优选实施例中，所述数据处理系统，还用于分析施工质量，包括：

数据处理系统从实时内存数据库获取预设区段的工作数据；

数据处理系统根据所述预设区段的工作数据，通过多变量线性回归模型确定施工质量。

为了使平台可以同时适用于压路机、强夯机、摊铺机、平地机、挖掘机、铣刨机、钻机、打桩机等各工程机械，提高施工信息化管理水平，需要分析多种工程机械联合施工的工程质量，在本发明的一个进一步优选实施例中，所述通过多变量线性回归模型确定施工质量，还包括：

将施工质量检测指标的标准差的倒数作为系数加入多变量线性回归模型，用以考虑不同施工质量检测指标的离散性，如第一公式所示，所述第一公式为：

其中，

其中，x，y为预设区段的施工质量的线性回归结果，x_i，y_i为预设区段的施工质量检测指标为i时施工质量数据，σ_i为施工质量检测指标为i时的标准差，n为施工质量检测指标的总数。

本发明提供的一种数字化施工实时大数据处理平台，通过多种技术手段对海量数据进行处理，减少数据量过大对平台性能的影响，能实时获取并分析、处理、展示工程施工中的海量生产数据信息，使工程施工的实时信息可视化，提高施工效率和工程质量，减少施工投入，提高施工信息化管理水平。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个工程机械，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种数字化施工实时大数据处理平台，其特征在于，包括：

工作端数据采集设备，用于采集工程机械的工作数据，所述工作数据包括位置数据；

数据传输系统，用于将工作端数据采集设备采集的数据发送至数据解析系统，包括步骤：数据传输系统对工作端数据采集设备采集到的数据进行分块；数据传输系统对分块后的数据进行压缩；数据传输系统将压缩后的数据发送至数据解析系统；

数据解析系统，用于对数据传输系统发送来的数据进行解析，并将解析过的数据发送至数据处理系统；

数据处理系统，用于根据作业管理系统发送来的处理要求，对所述解析过的数据进行处理，并将处理结果发送至客户端；还用于对作业管理系统所存储的数据进行处理；

客户端，用于接收数据处理系统的处理结果并予以显示，所述显示为使用Canvas进行绘图，其中，动态数据和数据量小于预设值的数据以矢量绘图的形式绘制，数据量大于预设值的数据以图片的形式绘制；

和作业管理系统，包括：数据存取子系统、工地设计校准子系统、过程重显子系统、工作目标配置子系统、指令控制权限管理子系统、业务分析子系统；用于向数据处理系统发送处理要求并接收、存储数据处理系统的处理结果；

工作端数据采集设备采集工程机械的工作数据后，将其通过数据传输系统发送至数据解析系统，由数据解析系统解析后发送给数据处理系统，数据处理系统根据作业管理系统对数据的处理要求对所接收的数据进行处理，并将处理结果发送至客户端进行显示，同时，数据处理系统还定期对作业管理系统所存储的数据进行处理；

所述对所述解析过的数据进行处理，包括：

数据处理系统按预设的规则选取解析过的数据，并将其写入实时内存数据库；

数据处理系统对实时内存数据库中的数据进行预处理，并将预处理结果写入实时内存数据库；

数据处理系统根据作业管理系统发送来的处理要求，对预处理结果和实时内存数据库中的数据进行处理；

所述数据处理系统，还用于分析施工质量，包括：

数据处理系统从实时内存数据库获取预设区段的工作数据；

数据处理系统根据所述预设区段的工作数据，通过多变量线性回归模型确定施工质量；

所述通过多变量线性回归模型确定施工质量，还包括：

将施工质量检测指标的标准差的倒数作为系数加入多变量线性回归模型，用以考虑不同施工质量检测指标的离散性，如第一公式所示，所述第一公式为：

其中，

其中，x，y为预设区段的施工质量的线性回归结果；x_i，y_i为预设区段的施工质量检测指标为i时施工质量数据；σ_i为施工质量检测指标为i时的标准差；n为施工质量检测指标的总数。

2.根据权利要求1所述的平台，其特征在于，所述数据存取子系统，用于存储工程数据，所述工程数据以结构化方式存储，结构化存储的维度包括：三向经纬度高程、时间、工程机械类型、采集设备类型、项目名称和标段。

3.根据权利要求1所述的平台，其特征在于，所述数据处理系统的处理结果，包括：

实时工作数据的视图，包括：水平波形图、平面视图、断面视图；

实时工作数据的数字仪表盘；

实时工作数据的文字参数。

4.根据权利要求1所述的平台，其特征在于，所述数据处理系统，还用于统计多工程机械联合作业生产时的综合施工遍数，包括：

数据处理系统读取数据存取子系统中存储的上一时间段的综合施工遍数；

数据处理系统从实时内存数据库中获取当前每个工程机械在当前与上一时间段这段时间之间的施工量；

数据处理系统将所述当前每个工程机械在当前与上一时间段这段时间之间的施工量转化为新增综合施工遍数，所述转化方法为，对每个工程机械，根据施工路段的长度，以预设的系数将工程机械的施工量转化为该工程机械的新增综合施工遍数，将当前所有工程机械的新增综合施工遍数进行叠加，得到当前的新增综合施工遍数；

数据处理系统将所述当前的新增综合施工遍数与上一时间段的综合施工遍数相加，得到当前多工程机械联合作业生产时的综合施工遍数，并将其写入数据存取子系统中。

5.根据权利要求1所述的平台，其特征在于，所述数据处理系统，还用于计算工程机械当前所在的桩号，包括：

数据处理系统从数据存取子系统中获取桩号的经纬度信息；

数据处理系统从实时内存数据库中获取当前工程机械的经纬度；

数据处理系统查找与当前工程机械的经纬度位置最接近的2个桩号，并选择位于工程机械的与施工方向相反的桩号作为工程机械当前所在的桩号。

6.根据权利要求1所述的平台，其特征在于，所述客户端，

还使用并行渲染技术和双缓存技术进行绘图显示。

Images