CN112765553B - 一种基于大数据的工程项目管理系统 - Google Patents

Abstract

本发明公开了一种基于大数据的工程项目管理系统，包括数据采集模块、实时校验模块、监督模块、数据预处理模块、数据分析模块、云存储模块、输出模块本，资料员通过数据采集模块的采集终端采集项目过程实时过程中产生的各类数据，并通过实时校验模块和监督模块数据进行实时检验，数据预处理模块对项目数据进行预处理得到预处理数据，提高了数据的准确性，数据分析模块接收数据预处理模块发送的预处理数据，并对预处理数据进行分析处理得到分析结果，并将分析结果发送至输出模块，通过数据分析结果提高了管理决策的时效性。

Description

一种基于大数据的工程项目管理系统

技术领域

本发明涉及大数据领域，特别是涉及一种基于大数据的工程项目管理系统。

背景技术

工程项目的规模大，管理周期长，这是现代工程项目的特点之一，工程项目进度目标能够按计划实现与多种因素有关，作为项目管理部，组织协调是实现有效进度控制的关键，项目管理中会设置专项资料员对项目工程资料进行管理，多数是纸质资料存储的方式，这样的传统做法会引发一系列的问题，如，大型项目的资料容易凌乱、丢失,持续时间长的项目，资料查询不易；尽管现在资料资料员可以将施工过程中的数据保存至数据库，管理人员变更也会带来的资料遗失隐患，信息管理人员和信息采集人员的数据分离导致决策的误差，因为工作人员技术薄弱、素质低和数据采集不及时，而使得数据采集过程中存数据缺失，这些都会影响到工程项目的顺利完成，因此保证每一部分数据的准确性对整体数据的分析有促进作用。

发明内容

本发明之目的在于提供一种基于大数据的工程项目管理系统，系统通过数据预处理模块对施工过程中的子项目的项目数据进行预处理，加强了对单个的子项目的数据的管理，从而提高了项目工程管理的时效性。

其解决的技术方案是，包括数据采集模块、实时校验模块、监督模块、数据预处理模块、数据分析模块、云存储模块、输出模块；

此系统的具体作用步骤如下：

(1)、资料员通过所述数据采集模块上传工程项目中各个子项目实施过程中采集到的项目数据，数据采集模块同时将采集到的项目数据发送给至实时校验模块和数据预处理模块，实时验证模块对数据采集模块发送的数据进行实时检验，当项目数据通过实时检验后，实时校验模块计算出μ_max和μ_min，并将μ_max、μ_min和验证结果发送至监督模块，μ_max代表是项目数据与标准范围的最大值的差值的绝对值，μ_min代表的是项目数据与标准范围的最小值的差值的绝对值；

(2)、所述监督模块接收到实时校验模块发送的验证结果后，监督模块对接收到的验证结果进行判断，判断结果为正常时，监督模块向数据预处理模块发送接收指令，数据预处理模块在接收到接收指令后对数据采集模块发送来的项目数据进行接收；

(3)、数据预处理模块接收到项目数据后，数据预处理模块对项目数据进行预处理得到预处理数据，对项目数据的预处理包括数据转换、数据筛选和数据清洗，数据预处理模块将得到的预处理数据发送至数据分析模块；

(4)、数据分析模块接收数据预处理模块发送的预处理数据，并对预处理数据进行分析处理得到分析结果，并将分析结果发送至输出模块，输出模块将分析结果发送至指定的移动终端和云存储模块。

一个项目工程的子项目施工完成后，数据预处理模块对子项目的所有项目数据进行数据转换、数据筛选和数据清洗，并对项目数据进行初级计算，分析的具体过程如下：

S1：数据预处理模块首先对不同格式的项目数据进行格式转换，并对数据进行数据清洗，筛选出预处理数据；

S2：预处理数据中的数据集样本为x₁，x₂，…x_n-1，x_n,数据集样本的值与y₁，y₂，…y_n-1，y_n对应，计算相邻数据集样本之间的平均数

相邻y_j(j＝1,2…n)之间的平均数

计算公式如下：

S3：预处理数据中的数据集样本x₁，x₂，…x_n-1，x_n与

交叉排列形成一个拟合数据集

利用最小二乘法方法对拟合数据集进行线性回归拟合，得到一个连续的随机函数y＝f(x)，计算公式如下：

其中a₀，a₁，…a_2n-2，a_2n-1通过待定系数法进行求解，ε为误差值，

S4：通过线性回归拟合找到使得拟合曲线最平滑的数据值，记录拟合数据值，计算出数据的均方差E和均方根R,以拟合数据值为真实数据值与预处理数据进行对比，当拟合数据值与预处理数据值之差的绝对值大于ε时，数据预处理模块将拟合数据值发送至监督模块，当小于ε时，数据预处理模块将项目数据发送至云存储模块，将预处理数据发送至数据分析模块。

所述实时校验模块接收到项目数据后，根据输入编号调取对应的标准范围，通过对比项目数据和标准范围来确定输入的异常数据，当项目数据中的数据超出了标准范围时，验证结果为数据异常，当项目数据中的数据没有超出了标准范围时，验证结果为数据正常，实时校验模块将μ_max、μ_min和验证结果发送至监督模块，当监督模块接收到验证结果为数据异常时，监督模块通过数据采集模块向管理员发送警报信息，当监督模块接收到验证结果为数据正常时，监督模块向数据预处理模块发送接收指令，数据预处理模块才会接收项目数据，同时监督模块将μ_max和μ_min发送至数据预处理模块。

由于以上技术方案的采用，本发明与现有技术相比具有如下优点；

1.本系统通过实时校验模块对数据采集模块采集的项目数据进行实时检验，当项目数据超出了实时校验模块中的范围时，数据预处理模块将不能接收项目数据，当项目数据在实时校验模块中的范围中时，计算误差，实时校验模块和监督模块对上传的项目数据起到了监督作用，保证了上传数据的准确性。

2.本系统中的数据预处理模块对单个子项目的项目数据进行预分析处理，但是对单个子项目中的项目数据进行拟合，由于数据值比较少导致存在拟合不准确的问题，现有技术中虽然有很多差值方法，如分段差值法、拉格朗日插值法、牛顿插值法等，但是插值难度相对较大，针对于子项目的数据计算起来比较繁琐，在本系统中通过插入平均值的方法增大数据拟合的数据量，从而提高了数据拟合的准确性，提高了项目工程中数据的利用率，通过数据挖掘来提高项目工程中管理决策的正确性。

附图说明

图1为本发明的模块图；

图2为本发明的流程图。

具体实施方式

有关本发明的前述及其他技术内容、特点与功效，在以下配合参考附图1至图2对实施例的详细说明中，将可清楚的呈现。

本系统包括数据采集模块、实时校验模块、监督模块、数据预处理模块、数据分析模块、云存储模块、输出模块；

此系统的具体作用步骤如下：

(1)、资料员通过所述数据采集模块上传工程项目中各个子项目实施过程中采集到的项目数据，项目数据的采集以一天为时间单位，资料员对每天中子项目的进度、用料、人数等数据进行统计，并将统计的数据上传，避免使用纸质的资料管理表来保存数据，降低了数据丢失的可能性，数据采集模块同时将采集到的项目数据发送给至实时校验模块和数据预处理模块，实时验证模块对数据采集模块发送的数据进行实时检验，当项目数据通过实时检验后，实时校验模块计算出μ_max和μ_min，并将μ_max、μ_min和验证结果发送至监督模块，实时校验模块是在上传数据时，对项目数据进行初步校验，实施校验模块中的标准范围时根据项目工程中的工程造价预算来确定的，实时校验模块检验上传的项目数据是针对于正常工作日的数据；

(2)、所述监督模块接收到实时校验模块发送的验证结果后，监督模块对接收到的验证结果进行判断，判断结果为正常时，监督模块向数据预处理模块发送接收指令，数据预处理模块在接收到接收指令后对数据采集模块发送来的项目数据进行接收，监督模块起到对系统的各个而环节的监督，实时校验模块对上传的数据没有校验通过时，监督模块会向资料员发送警报信号，用来提醒资料员对资料进行再次核查，保证数据上传准确无误；

(3)、数据预处理模块接收到项目数据后，数据预处理模块对项目数据进行预处理得到预处理数据，对项目数据的预处理包括数据转换、数据筛选和数据清洗，数据预处理模块将得到的预处理数据发送至数据分析模块；

(4)、数据分析模块接收数据预处理模块发送的预处理数据，并对预处理数据进行分析处理得到分析结果，并将分析结果发送至输出模块，输出模块将分析结果发送至指定的移动终端和云存储模块，数据分析模块主要时用于数据挖掘来帮助管理决策的，数据挖掘的对象是数量庞大的数据库。

当子项目没有施工完成时，采集的每日数据通过实施校验模块校验核对过后，由数据预处理模块接收，并将数据存储于云存储模块，当一个项目工程的子项目施工完成后，数据预处理模块对子项目的所有项目数据进行数据转换、数据筛选和数据清洗，一个子项目的项目数据量不大，会导致拟合程度上存在差异，对项目数据进行初级计算，数据筛选的目的是为了提高之前收集存储的相关数据的可用性，更利于后期数据分析，本系统的数据筛选时为了筛选出同种内容数据，数据清洗对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性，分析的具体过程如下：

S1：数据预处理模块首先对不同格式的项目数据进行格式转换，并对数据进行数据清洗，筛选出预处理数据；

S2：对数据进行拉个朗日插值和分段插值的过程计算难度比较大，所以为了简化计算过程，我们采集用计算平均值的方法，虽然计算过程和分段插值的方法类似，但是更适合于针对于工程项目的字项目的数据计算量，预处理数据中的数据集样本为x₁，x₂，…x_n-1，x_n,数据集样本的值与y₁，y₂，…y_n-1，y_n对应，计算相邻数据集样本之间的平均数

相邻y_j(j＝1,2…n)之间的平均数

计算公式如下：

S3：预处理数据中的数据集样本x₁，x₂，…x_n-1，x_n与

交叉排列形成一个拟合数据集

利用最小二乘法方法对拟合数据集进行线性回归拟合，得到一个连续的随机函数y＝f(x)，计算公式如下：

其中a₀，a₁，…a_2n-2，a_2n-1通过待定系数法进行求解，ε为误差值，

S4：通过线性回归拟合找到使得拟合曲线最平滑的数据值，记录拟合数据值，计算出数据的均方差E和均方根R,以拟合数据值为真实数据值与预处理数据进行对比，当拟合数据值与预处理数据值之差的绝对值大于ε时，数据预处理模块将拟合数据值发送至监督模块，当小于ε时，数据预处理模块将项目数据发送至云存储模块，将预处理数据发送至数据分析模块。

所述数据分析模块接收数据预处理模块发送的预处理数据后，对数据进行分析挖掘处理，当分析过程中需要整个工程项目的项目数据时，数据分析模块向数据预处理模块发送调用请求，数据预处理模块从云存储模块中调用项目数据，并对项目数据进行数据筛选得到调用请求对应的数据，对数据进行分析，数据分析模块主要是用到了数据挖掘方法，利用利用均方差E、均方根R、和决策树理论，通过对项目工程中的数据的数据挖掘提取出数据中的有用信息，有利于做成正确的管理决策。

所述数据采集模块采集数据的移动端可以是手机和电脑，项目数据包括是每一个子项目中每日施工过程中的施工进度、施工用料、施工人数、安全相关基础数据，管理员在输入项目数据时，生成对应的项目数据的输入编号，输入编号由项目编号和时间组成，通过输入编号可以调取对应的项目数据。

所述实时校验模块接收到项目数据后，根据输入编号调取对应的标准范围，通过对比项目数据和标准范围来确定输入的异常数据，当项目数据中的数据超出了标准范围时，验证结果为数据异常，当项目数据中的数据没有超出了标准范围时，验证结果为数据正常，实时校验模块将μ_max、μ_min和验证结果发送至监督模块，标准范围是通过对工程造价预算和实际采购物料的综合分析得出的，例如，当输入采购的总物料的量时，根据每日的施工进度可以预设材料使用的每日需求量，设定的每日需求量是一个范围值，范围值的涵盖范围包括所有正常的每日数据量，不在标准范围内的数据是误差极大的数据，可能存在数据上传错误和物料利用率低等问题，当监督模块接收到验证结果为数据异常时，监督模块通过数据采集模块向资料员发送警报信息，资料员根据警报信息对误差极大的数据进行再次核查，以确保数据的准确性，当监督模块接收到验证结果为数据正常时，监督模块向数据预处理模块发送接收指令，数据预处理模块才会接收项目数据，同时监督模块将μ_max和μ_min发送至数据预处理模块，μ_max是项目数据与标准范围的最大值的差值的绝对值，μ_min是项目数据与标准范围的最小值的差值的绝对值。

所述输出模块对数据分析模块的分析结果进行传输，输出模块除了向将分析结果保存至云存储模块外，还可以是向管理层指定的移动终端输出分析结果，指定的移动中端可以是项目经理、安全员、采购员等人的手机和电脑，通过分析局部子项目的数据来增加决策的可信度。

本发明具体使用时，资料员通过数据采集模块的采集终端采集项目过程实时过程中产生的各类数据，并同时发送至数据预处理模块和实时监控模块，实时验证模块对数据采集模块发送的数据进行实时检验，当项目数据通过实时检验后，实时校验模块计算出μ_max和μ_min，并将μ_max、μ_min和验证结果发送至监督模块，监督模块接收到实时校验模块发送的验证结果后，监督模块对接收到的验证结果进行判断，判断结果为正常时，监督模块向数据预处理模块发送接收指令，数据预处理模块在接收到接收指令后对数据采集模块发送来的项目数据进行接收，数据预处理模块接收到项目数据后，数据预处理模块对项目数据进行预处理得到预处理数据，对项目数据的预处理包括数据转换、数据筛选和数据清洗，数据预处理模块将得到的预处理数据发送至数据分析模块，数据分析模块接收数据预处理模块发送的预处理数据，并对预处理数据进行分析处理得到分析结果，并将分析结果发送至输出模块，输出模块将分析结果发送至指定的移动终端和云存储模块，对单个的子项目的项目数据起到了监控的作用，从而提高了数据分析模块对整个工程项目的数据进行分析时的准确性。

以上所述是结合具体实施方式对本发明所作的进一步详细说明，不能认定本发明具体实施仅局限于此；对于本发明所属及相关技术领域的技术人员来说，在基于本发明技术方案思路前提下，所作的拓展以及操作方法、数据的替换，都应当落在本发明保护范围之内。

Claims (4)

1.一种基于大数据的工程项目管理系统，其特征在于，包括数据采集模块、实时校验模块、监督模块、数据预处理模块、数据分析模块、云存储模块、输出模块；

此系统的具体作用步骤如下：

(1)、资料员通过所述数据采集模块上传工程项目中各个子项目实施过程中采集到的项目数据，数据采集模块同时将采集到的项目数据发送给至实时校验模块和数据预处理模块，实时验证模块对数据采集模块发送的数据进行实时检验，当项目数据通过实时检验后，实时校验模块计算出μ_max和μ_min，并将μ_max、μ_min和验证结果发送至监督模块，μ_max表示的是项目数据与标准范围的最大值的差值的绝对值，μ_min表示的是项目数据与标准范围的最小值的差值的绝对值；

(2)、所述监督模块接收到实时校验模块发送的验证结果后，监督模块对接收到的验证结果进行判断，判断结果为正常时，监督模块向数据预处理模块发送接收指令，数据预处理模块在接收到接收指令后对数据采集模块发送来的项目数据进行接收；

(3)、数据预处理模块接收到项目数据后，数据预处理模块对项目数据进行预处理得到预处理数据，对项目数据的预处理包括数据转换、数据筛选和数据清洗，数据预处理模块将得到的预处理数据发送至数据分析模块；

(4)、数据分析模块接收数据预处理模块发送的预处理数据，并对预处理数据进行分析处理得到分析结果，并将分析结果发送至输出模块，输出模块将分析结果发送至指定的移动终端和云存储模块；

一个项目工程的子项目施工完成后，数据预处理模块对子项目的所有项目数据进行数据转换、数据筛选和数据清洗，并对项目数据进行初级计算，分析的具体过程如下：

S1：数据预处理模块首先对不同格式的项目数据进行格式转换，并对数据进行数据清洗，筛选出预处理数据；

S2：预处理数据中的数据集样本为x₁，x₂，...x_n-1，x_n,数据集样本的值与y₁，y₂，...y_n-1，y_n对应，计算相邻数据集样本之间的平均数

相邻y_j(j＝1，2....n)之间的平均数

计算公式如下：

S3：预处理数据中的数据集样本x₁，x₂，...x_n-1，x_n与

交叉排列形成一个拟合数据集

利用最小二乘法方法对拟合数据集进行线性回归拟合，得到一个连续的随机函数y＝f(x)，计算公式如下：

其中a₀，a₁，...a_2n-2，a_2n-1通过待定系数法进行求解，ε为误差值，

S4：通过线性回归拟合找到使得拟合曲线最平滑的数据值，记录拟合数据值，计算出数据的均方差E和均方根R,以拟合数据值为真实数据值与预处理数据进行对比，当拟合数据值与预处理数据值之差的绝对值大于ε时，数据预处理模块将拟合数据值发送至监督模块，当小于ε时，数据预处理模块将项目数据发送至云存储模块，将预处理数据发送至数据分析模块；

所述实时校验模块接收到项目数据后，根据输入编号调取对应的标准范围，通过对比项目数据和标准范围来确定输入的异常数据，当项目数据中的数据超出了标准范围时，验证结果为数据异常，当项目数据中的数据没有超出了标准范围时，验证结果为数据正常，实时校验模块将μ_max、μ_min和验证结果发送至监督模块，当监督模块接收到验证结果为数据异常时，监督模块通过数据采集模块向资料员发送警报信息，当监督模块接收到验证结果为数据正常时，监督模块向数据预处理模块发送接收指令，数据预处理模块才会接收项目数据，同时监督模块将μ_max和μ_min发送至数据预处理模块。

2.根据权利要求1所述的一种基于大数据的工程项目管理系统，其特征在于，所述数据分析模块接收数据预处理模块发送的预处理数据后，对数据进行分析挖掘处理，当分析过程中需要整个工程项目的项目数据时，数据分析模块向数据预处理模块发送调用请求，数据预处理模块从云存储模块中调用项目数据，并对项目数据进行数据筛选得到调用请求对应的数据。

3.根据权利要求1所述的一种基于大数据的工程项目管理系统，其特征在于，所述数据采集模块采集数据的移动端可以是手机和电脑，项目数据包括是每一个子项目中每日施工过程中的施工进度、施工用料、施工人数、安全相关基础数据，资料员在输入项目数据时，生成对应的项目数据的输入编号，输入编号由项目编号和时间组成。

4.根据权利要求1所述的一种基于大数据的工程项目管理系统，其特征在于，所述输出模块对数据分析模块的分析结果进行传输，输出模块除了向将分析结果保存至云存储模块外，还可以是向管理层指定的移动终端输出分析结果。

Images