CN112800037B - 工程造价数据处理的优化方法及装置 - Google Patents
工程造价数据处理的优化方法及装置 Download PDFInfo
- Publication number
- CN112800037B CN112800037B CN202110013405.9A CN202110013405A CN112800037B CN 112800037 B CN112800037 B CN 112800037B CN 202110013405 A CN202110013405 A CN 202110013405A CN 112800037 B CN112800037 B CN 112800037B
- Authority
- CN
- China
- Prior art keywords
- training
- data
- resource data
- price
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000005457 optimization Methods 0.000 title claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 205
- 238000004140 cleaning Methods 0.000 claims abstract description 62
- 238000003062 neural network model Methods 0.000 claims abstract description 61
- 238000003064 k means clustering Methods 0.000 claims abstract description 29
- 238000010327 methods by industry Methods 0.000 claims abstract description 7
- 238000010276 construction Methods 0.000 claims description 38
- 238000004364 calculation method Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 17
- 229910000831 Steel Inorganic materials 0.000 claims description 16
- 239000010959 steel Substances 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 230000037221 weight management Effects 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims 1
- 230000010365 information processing Effects 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000013136 deep learning model Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- -1 budget indexes Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004138 cluster model Methods 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种工程造价数据处理的优化方法及装置，涉及数据处理技术领域，关键目的在于解决现有无法满足对工程造价信息处理的及时有效性需求，从而降低了工程造价信息的处理效率的问题。主要包括：当检测到工程造价数据的标记范围发生变化时，获取与所述标记范围匹配的资源数据的价格训练数据集；利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理；根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型；利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理，以便基于清洗处理后的资源数据进行工程造价数据的处理。
Description
技术领域
本发明涉及一种数据处理技术领域，特别是涉及一种工程造价数据处理的优化方法及装置。
背景技术
建筑领域中的工程造价是指构成项目在建设期预计或实际支出的建设费用，对工程造价进行预测、计划、控制、核算、次要分析和评价等工作过程已经成为建筑行业中不可或缺的流程、步骤。其中，对于各工作工程中不同材料资源价格的确定，可以通过技术人员人为进行市场调研录入计算机中，以便结合计算机中已写入的各种工程造价计算公式计算出选取的材料资源价格所对应的预算、结算等结果。
目前，现有在获取到不同资源数据进行处理得到工程造价数据的过程中，会进行数据清洗，即包括数据单位、数据格式等异常数据的删除，然后将清洗后的数据按照数据格式进行存储，清洗时，直接使用单一的深度学习模型，如神经网络，来次要类筛选大量资源数据，但是，仅仅基于如神经网络模型的单一模型来进行数据清洗，当出现资源数据更新而需要重新计算工程造价信息时无法及时更新模型而影响清洗效率，无法满足对工程造价信息处理的及时有效性需求，从而降低了工程造价信息的处理效率。
发明内容
有鉴于此，本发明提供一种工程造价数据处理的优化方法及装置，关键目的在于解决现有资源数据更新而需要重新计算工程造价数据时无法及时更新模型而影响清洗效率，无法满足对工程造价数据处理的及时有效性需求，从而降低了工程造价数据的处理效率的问题。
依据本发明一个方面，提供了一种工程造价数据处理的优化方法，包括：
当检测到工程造价数据的标记范围发生变化时，获取与所述标记范围匹配的资源数据的价格训练数据集，所述标记范围用于表征工程项目建设的不同资源数据的价格波动范围值；
利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理，所述k均值聚类模型为根据关键任务训练集、次要任务训练集进行训练得到的；
根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型；
利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理，以便基于清洗处理后的资源数据进行工程造价数据的处理。
依据本发明另一个方面，提供了一种工程造价数据处理的优化装置，包括：
获取模块，用于当检测到工程造价数据的标记范围发生变化时，获取与所述标记范围匹配的资源数据的价格训练数据集，所述标记范围用于表征工程项目建设的不同资源数据的价格波动范围值；
第一处理模块，用于利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理，所述k均值聚类模型为根据关键任务训练集、次要任务训练集进行训练得到的；
训练模块，用于根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型；
第二处理模块，用于利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理，以使基于清洗处理后的资源数据信息工程造价数据的处理。
根据本发明的又一方面，提供了一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述工程造价数据处理的优化方法对应的操作。
根据本发明的再一方面，提供了一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述工程造价数据处理的优化方法对应的操作。
借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：
本发明提供了一种工程造价数据处理的优化方法及装置，与现有技术在获取到不同资源数据进行处理得到工程造价数据的过程中，会进行数据清洗，即包括数据单位、数据格式等异常数据的删除，然后将清洗后的数据按照数据格式进行存储，清洗时，直接使用单一的深度学习模型，如神经网络，来次要类筛选大量资源数据相比，本发明实施例通过当检测到工程造价数据的标记范围发生变化时，获取与所述标记范围匹配的资源数据的价格训练数据集；利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理；根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型；利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理，以便基于清洗处理后的资源数据进行工程造价数据的处理。从而能够解决现有无法满足对工程造价信息处理的及时有效性需求，从而降低了工程造价信息的处理效率的问题。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种工程造价数据处理的优化方法流程图；
图2示出了本发明实施例提供的一种工程造价数据处理的优化装置组成框图；
图3示出了本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种工程造价数据处理的优化方法，如图1所示，该方法包括：
101、当检测到工程造价数据的标记范围发生变化时，获取与所述标记范围匹配的资源数据的价格训练数据集。
本发明实施例中，所述标记范围用于表征工程项目建设的不同资源数据的价格波动范围值。所述工程造价数据为在一项建筑项目中，所需要计算工程所花费费用的全部数据，即资源数据可以包括楼砼钢材用量、预算指标、钢材理重算法、施工功效、清包工价格等，本发明实施例不做具体限定。一般的，受不同的季节、工程阶段、人力价格等市场环境的影响，不同资源数据的价格会发生波动，例如，冬季的人力资源的价格比春秋的人力资源的加工高等，因此，对应于不同的影像因素，预先设定对工程造价数据的标记范围，即标记范围用于表征工程项目建设的不同资源数据的价格波动范围值，资源数据为一个建筑项目中所需不同材料、人力等数据。所述价格训练数据集为利用各资源数据的所有价格数据建立的价格训练数据集，其中包括价格数据以及所述价格数据对应的资源数据，所述价格训练数据集中的价格数据具体可以通过互联网进行查询并统一保存在预设的数据库中，以便于迅速调取进行计算。
102、利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理。
本发明实施例中，所述k均值聚类模型为根据关键任务训练集、次要任务训练集进行训练得到的，所述k均值聚类模型可以用于对所述价格训练数据集中的价格数据进行聚类处理，从而得到不同聚类特征，并存储在网络资源数据库中，例如，若价格训练数据集[100(楼砼钢材用量)，150(楼砼钢材用量)，200(楼砼钢材用量)，78(人力价格)，88(人力价格)]，则通过k均值聚类模型对上述价格训练数据集进行聚类处理可以得到{[100，150，200(楼砼钢材用量)]，[78，88(人力价格)]}，即通过k均值聚类模型能够将原本资源数据的价格训练数据集中的价格数据基于对应的资源数据进行聚类，便于得到同一种资源数据对应的价格数据。
103、根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型。
其中，所述三层神经网络模型引入了非线性激活函数，以便于解决非线性问题，同时，引入激活函数之后，不再会有损失的情况，损失函数采用对数损失，这也使得三层神经网络更像是三层多元逻辑回归的复合。所述三层神经网络模型还包括前向传播和反向传播，通过利用完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，从而能够得到用于进行数据清洗的三层神经网络模型。具体地，所述非线性激活函数可以包括sigmoid、tanh或relu中的一种，对于以上几个非线性激活函数都可以看作是
的一个近似。采用近似的一个重要原因是为了求导，常采用平滑的sigmoid和tanh函数，然而，这两个函数在两端都存在导数极小的情况，这使得多层神经网络在训练时梯度消失，难以训练，Relu函数则很好的解决两端导数极小的问题，也是解决神经网络梯度消失问题的一种方法。本发明实施例通过利用完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型，从而能够利用三层神经网络模型进行资源数据的清洗，筛除无关的资源数据，从而提高工程造价数据处理的准确性。
104、利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理，以便基于清洗处理后的资源数据进行工程造价数据的处理。
本发明实施例中，得到所述三层神经网络模型后，可以利用所述三层神经网络模型对于所述标记范围匹配的资源数据进行清洗处理，得到筛除无关数据的资源数据，从而能够利用清洗后的资源数据进行工程造价数据的处理，提高工程造价数据处理的效率和准确率。
另一个实施例中，为了对k均值聚类模型进行预先训练，且为了提高对不同资源数据进行聚类的准确性，所述利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理之前，所述方法还包括：获取与所述资源数据的价格训练数据集具有从属关系的两个关键任务训练集、以及与所述两个关键任务训练集对应的至少4个次要任务训练集；基于所述关键任务训练集、所述次要任务训练集对k均值聚类模型执行关键任务训练、次要任务训练交替执行的训练处理，其中，所述交替执行用于表征执行所述关键任务训练时的模型精准度未达到预设阈值时，替换执行次要任务训练的训练执行方式。
本发明实施例中，所述关键任务训练集可以用于进行必须对k均值聚类模型执行的训练，而次要任务训练集可以用于进行可选对k均值聚类模型执行的训练，所述关键任务训练集与所述次要任务训练集相匹配。具体地，可以获取与所述资源数据的价格训练数据集具有从属关系的两个关键任务训练集、以及与所述两个关键任务训练集对应的至少4个次要任务训练集。例如，价格训练数据集中包括资源数据[楼砼钢材用量、预算指标、钢材理重算法、施工功效、清包工价格、人工价格]，则可以将楼砼钢材用量、和预算指标确定为两个关键任务训练集，将钢材理重算法、施工功效、清包工价格、人工价格确定为4个次要任务训练集，对于本发明实施例，如何确定关键任务训练集和次要任务训练集可以根据具体业务需求进行设置，本发明实施例不做具体限定。
另外，对于本发明实施例，可以基于所述关键任务训练集、所述次要任务训练集对k均值聚类模型执行关键任务训练、次要任务训练交替执行的训练处理，首先通过关键任务训练集对k均值聚类模型执行训练处理，然后当模型处于局部最优、和/或鞍点状态下切换为通过次要任务训练集对k均值聚类模型执行训练处理，以使根据模型精度、损失值确定所述预设深度学习模型处于非局部最优、和/或非鞍点状态下完成训练处理。具体的，当基于次要任务训练的k均值聚类模型跳出局部最优、和/或鞍点状态，则重新执行关键任务训练，以完成k均值聚类模型的完整训练过程。
另一个实施例中，为了筛除价格训练数据集中的无关数据，提高工程造价数据处理的准确性。所述根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型之前，所述方法还包括：初始化预置三层神经网络模型，所述预置三层神经网络模型中为利用Sigmoid函数执行去线性化；从所述价格训练数据集中获取第一部分的价格训练样本数据，并通过前向传播确定第一预测值；通过反向传播更新变量，并判断训练目标是否达到预设训练阈值；若未达到，则累计训练次数，并获取第二部分的价格训练样本数据，重新执行通过前向传播获得第二预测值、并判断训练目标是否达到预设训练阈值的步骤，直至通过迭代循环确定的训练目标达到预设训练阈值，得到完成训练的三层神经网络模型。
本发明实施例中，所述预置三层神经网络模型中利用Sigmoid函数执行去线性化，即将资源数据输入至基于Sigmoid函数的预置三层神经网络模型，基于Sigmoid函数的预置三层神经网络模型中将Sigmoid函数作为损失函数，Sigmoid函数是0～1分布的非饱和光滑曲线，使得基于Sigmoid函数的预置三层神经网络分类模型的输出概率更加平滑、均匀，避免出现互斥的现象。所述前向传播是一个复合函数不断传播的过程，最终视目标而定损失函数，由于神经网络是一个多层的复合函数，前向传播就是在计算复合函数，所以反向传播就是一个链式求导过程，确定所有参数的负梯度方向，采用梯度下降的方法来更新每一层网络的参数。本发明实施例通过从所述价格训练数据集中获取第一部分的价格训练样本数据，通过前向传播确定第一预测值，然后通过反向传播获得第二预测值，当通过迭代循环确定的训练目标达到预设的训练阈值时，可以得到完成训练的三层神经网络模型。需要说明的是，本发明实施例中的预设训练阈值可以根据待清洗的资源数据进行设置，本发明实施例在此不做具体规定。
另一个实施例中，为了进一步对清洗后的资源数据进行处理，得到工程造价数据，所述利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理之后，所述方法还包括：提取工程造价计算模型，并基于清洗后的资源数据执行所述工程造价计算模型，得到工程造价数据，所述工程造价计算模型用于表征基于不同价格值计算工程造价数据的计算公式。
本发明实施例中，所述工程造价计算模型用于表征基于不同价格值计算工程造价数据的计算公式；和/或，提取与所述调整数据匹配的工程造价计算模型所对应的单位特征，并基于所述调整数据对所述单位特征进行换算调整，得到调整后的工程造价数据。
本发明实施例中，本地存储位置中预先存储有用于计算工程造价数据全部计算公式，例如、地砖用量公式、顶棚用量公式，并结合地砖单价、顶棚单价计算出工程造价数据中的预算值。因此，在确定出价格值后，提取匹配的工程造价计算模型，重新执行工程造价数据的计算，当然的，工程造价计算模型不仅仅可以为数学计算公式，还可以为可以进行人工智能计算的深度学习模型等，本发明实施例不做具体限定。由于调整数据至少包括时间单位、价格单位、用量单位中之一，在确定出调整数据后，提取匹配的工程造价计算模型对应的单位特征，即确定时间单位、价格单位亦或是用量单位，基于调整数据中的单位特征进行对原有的工程造价数据进行单位换算，得到调整后的工程造价数据。其中，单位换算为基于现有的计量单位进行换算，通过调用单位换算程序直接进行换算，本发明实施例不做具体限定。
另一个实施例中，为了对获取的资源数据进行单位标准化，得到统一单位的资源数据，所述利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理之后，所述方法还包括：依据价格单位特征对清洗处理后的资源数据进行单位转换处理；判断单位转换处理后的资源数据是否超过所述标记范围；若超过所述标记范围，则删除超过所述标记范围的资源数据；若未超过所述标记范围，则确定所述资源数据完成清洗处理。
具体的，利用调整后的工程造价数据与标记范围进行判断对比，若超过标记范围，则直接将标记范围中的极大值、极小值作为价格值或调整数据，进行更新，其中，对于调整数据中的单位，则按照标记范围中的最大单位以及最小单位进行更新，本发明实施例不做具体限定。然后将更新后的价格值、调整数据发送至用户端，以使进行验证，若用户确认后，接收到反馈的验证结果，包括对更新的价格值、调整数据信息确定，或者重新录入价格值、调整数据，依据验证结果重新执行工程造价数据的调整步骤，从而提高工程造价数据的处理准确性。
另一个实施例中，为了在数据清洗后针对资源数据数量过少的情况进行报警，以便于及时处理，所述方法还包括：判断清洗处理后的资源数据的数据个数是否大于预置数值量；若大于或等于预置数值量，则绘制所述资源数据的趋势状态图，并进行输出；若小于预置数值量，则发送资源数据清洗异常告警信息，以使对所述资源数据进行校验。
其中，预置数值量具体可以根据当前的计算需求设置，如可以设置为5，即判断当清洗处理后，资源数据的数据个数是否大于5，若大于或等于5，则可以绘制资源数据的趋势状态图，并进行输出，所述资源状态图具体可以是以清洗处理后价格训练数据集中剩余的各资源数据绘制的折线图或者柱形图。若资源数据的数据个数小于5，则可以向终端发送资源数据清洗异常告警信息，用户可以通过终端的屏幕查看资源数据清洗异常告警信息，并且通过终端的命令输入设备输出后续处理命令。本发明实施例通过判断清洗后资源数据的数据个数是否大于预置数值量，从而能够提高数据清洗的安全性，防止由于清洗处理后由于资源数据的数据个数过少导致工程造价数据计算误差过大。
所述资源数据包括楼砼钢材用量、预算指标、钢材理重算法、施工功效、清包工价格。
本发明提供了一种工程造价数据处理的优化方法，与现有技术在获取到不同资源数据进行处理得到工程造价数据的过程中，会进行数据清洗，即包括数据单位、数据格式等异常数据的删除，然后将清洗后的数据按照数据格式进行存储，清洗时，直接使用单一的深度学习模型，如神经网络，来次要类筛选大量资源数据相比，本发明实施例通过当检测到工程造价数据的标记范围发生变化时，获取与所述标记范围匹配的资源数据的价格训练数据集；利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理；根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型；利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理，以便基于清洗处理后的资源数据进行工程造价数据的处理。从而能够解决现有无法满足对工程造价信息处理的及时有效性需求，从而降低了工程造价信息的处理效率的问题。
进一步的，作为对上述图1所示方法的实现，本发明实施例提供了一种工程造价数据处理的优化装置，如图2所示，该装置包括：
获取模块21，可以用于当检测到工程造价数据的标记范围发生变化时，获取与所述标记范围匹配的资源数据的价格训练数据集，所述标记范围用于表征工程项目建设的不同资源数据的价格波动范围值；
第一处理模块22，可以用于利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理，所述k均值聚类模型为根据关键任务训练集、次要任务训练集进行训练得到的；
训练模块23，可以用于根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型；
第二处理模块24，可以用于利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理，以便基于清洗处理后的资源数据进行工程造价数据的处理。
进一步地，所述获取模块21，还可以用于获取与所述资源数据的加载训练数据集具有从属关系的两个关键任务训练集、以及次要别与所述两个关键任务训练集对应的至少4个次要任务训练集；
所述训练模块23，还可以用于基于所述关键任务训练集、所述次要任务训练集对k均值聚类模型执行关键任务训练、次要任务训练交替执行的训练处理，其中，所述交替执行用于表征执行所述关键任务训练是的模型精准度未达到预设阈值时，替换执行次要任务训练的训练执行方式。
进一步地，所述装置还包括：
初始化模块25，可以用于初始化预置三层神经网络模型，所述预置三层神经网络模型中为利用Sigmoid函数执行去线性化；
第一确定模块26，可以用于从所述价格训练数据集中获取第一部分的价格训练样本数据，并通过前向传播确定第一预测值；
第一判断模块27，可以用于通过反向传播更新变量，并判断训练目标是否达到预设训练阈值；
执行模块28，可以用于若未达到，则累计训练次数，并获取第二部分的价格训练样本数据，重新执行通过前向传播获得第二预测值、并判断训练目标是否达到预设训练阈值的步骤，直至通过迭代循环确定的训练目标达到预设训练阈值，得到完成训练的三层神经网络模型。
进一步地，所述装置还包括：
提取模块29，可以用于提取工程造价计算模型，并基于清洗后的资源数据执行所述工程造价计算模型，得到工程造价数据，所述工程造价计算模型用于表征基于不同价格值计算工程造价数据的计算公式。
进一步地，所述装置还包括：
第三处理模块210，可以用于依据价格单位特征对清洗处理后的资源数据进行单位转换处理；
第二判断模块211，可以用于判断单位转换处理后的资源数据是否超过所述标记范围；
删除模块212，可以用于若超过所述标记范围，则删除超过所述标记范围的资源数据；
第二确定模块213，可以用于若未超过所述标记范围，则确定所述资源数据完成清洗处理。
进一步地，所述装置还包括：
第三判断模块214，可以用于判断清洗处理后的资源数据的数据个数是否大于预置数值量；
输出模块215，可以用于若大于或等于预置数值量，则绘制所述资源数据的趋势状态图，并进行输出；
发送模块216，可以用于若小于预置数值量，则发送资源数据清洗异常告警信息，以使对所述资源数据进行校验。
进一步地，所述资源数据可以包括楼砼钢材用量、预算指标、钢材理重算法、施工功效、清包工价格。
根据本发明一个实施例提供了一种存储介质，所述存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的工程造价数据处理的优化方法。
图3示出了根据本发明一个实施例提供的一种计算机设备的结构示意图，本发明具体实施例并不对计算机设备的具体实现做限定。
如图3所示，该计算机设备可以包括：处理器(processor)302、通信接口(Communications Interface)304、存储器(memory)306、以及通信总线308。
其中：处理器302、通信接口304、以及存储器306通过通信总线308完成相互间的通信。
通信接口304，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器302，用于执行程序310，具体可以执行上述工程造价数据处理的优化方法实施例中的相关步骤。
具体地，程序310可以包括程序代码，该程序代码包括计算机操作指令。
处理器302可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算机设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器306，用于存放程序310。存储器306可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序310具体可以用于使得处理器302执行以下操作：
当检测到工程造价数据的标记范围发生变化时，获取与所述标记范围匹配的资源数据的价格训练数据集，所述标记范围用于表征工程项目建设的不同资源数据的价格波动范围值；
利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理，所述k均值聚类模型为根据关键任务训练集、次要任务训练集进行训练得到的；
根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型；
利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理，以使基于清洗处理后的资源数据信息工程造价数据的处理。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者次要布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们次要别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (8)
1.一种工程造价数据处理的优化方法，其特征在于，包括：
当检测到工程造价数据的标记范围发生变化时，获取与所述标记范围匹配的资源数据的价格训练数据集，所述标记范围用于表征工程项目建设的不同资源数据的价格波动范围值；
利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理，所述k均值聚类模型为根据关键任务训练集、次要任务训练集进行训练得到的；
根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型；
利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理，以便基于清洗处理后的资源数据进行工程造价数据的处理；
其中，所述利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理之前，所述方法还包括：
获取与所述资源数据的价格训练数据集具有从属关系的两个关键任务训练集、以及与所述两个关键任务训练集对应的至少4个次要任务训练集；
基于所述关键任务训练集、所述次要任务训练集对k均值聚类模型执行关键任务训练、次要任务训练交替执行的训练处理，其中，所述交替执行用于表征执行所述关键任务训练时的模型精准度未达到预设阈值时，替换执行次要任务训练的训练执行方式；
所述利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理之后，所述方法还包括：
依据价格单位特征对清洗处理后的资源数据进行单位转换处理；
判断单位转换处理后的资源数据是否超过所述标记范围；
若超过所述标记范围，则删除超过所述标记范围的资源数据；
若未超过所述标记范围，则确定所述资源数据完成清洗处理。
2.根据权利要求1所述的方法，其特征在于，所述根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型之前，所述方法还包括：
初始化预置三层神经网络模型，所述预置三层神经网络模型中为利用Sigmoid函数执行去线性化；
从所述价格训练数据集中获取第一部分的价格训练样本数据，并通过前向传播确定第一预测值；
通过反向传播更新变量，并判断训练目标是否达到预设训练阈值；
若未达到，则累计训练次数，并获取第二部分的价格训练样本数据，重新执行通过前向传播获得第二预测值、并判断训练目标是否达到预设训练阈值的步骤，直至通过迭代循环确定的训练目标达到预设训练阈值，得到完成训练的三层神经网络模型。
3.根据权利要求1所述的方法，其特征在于，所述利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理之后，所述方法还包括：
提取工程造价计算模型，并基于清洗后的资源数据执行所述工程造价计算模型，得到工程造价数据，所述工程造价计算模型用于表征基于不同价格值计算工程造价数据的计算公式。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
判断清洗处理后的资源数据的数据个数是否大于预置数值量；
若大于或等于预置数值量，则绘制所述资源数据的趋势状态图，并进行输出；
若小于预置数值量，则发送资源数据清洗异常告警信息，以使对所述资源数据进行校验。
5.根据权利要求1所述的方法，其特征在于，所述资源数据包括楼砼钢材用量、预算指标、钢材理重算法、施工功效、清包工价格。
6.一种工程造价数据处理的优化装置，其特征在于，包括：
获取模块，用于当检测到工程造价数据的标记范围发生变化时，获取与所述标记范围匹配的资源数据的价格训练数据集，所述标记范围用于表征工程项目建设的不同资源数据的价格波动范围值；
第一处理模块，用于利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理，所述k均值聚类模型为根据关键任务训练集、次要任务训练集进行训练得到的；
训练模块，用于根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型；
第二处理模块，用于利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理，以使基于清洗处理后的资源数据信息工程造价数据的处理；
其中，所述获取模块，还可以用于获取与所述资源数据的加载训练数据集具有从属关系的两个关键任务训练集、以及次要别与所述两个关键任务训练集对应的至少4个次要任务训练集；
所述训练模块，还可以用于基于所述关键任务训练集、所述次要任务训练集对k均值聚类模型执行关键任务训练、次要任务训练交替执行的训练处理，其中，所述交替执行用于表征执行所述关键任务训练是的模型精准度未达到预设阈值时，替换执行次要任务训练的训练执行方式；
所述装置还包括：
第三处理模块，可以用于依据价格单位特征对清洗处理后的资源数据进行单位转换处理；
第二判断模块，可以用于判断单位转换处理后的资源数据是否超过所述标记范围；
删除模块，可以用于若超过所述标记范围，则删除超过所述标记范围的资源数据；
第二确定模块，可以用于若未超过所述标记范围，则确定所述资源数据完成清洗处理。
7.一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-5中任一项所述的工程造价数据处理的优化方法对应的操作。
8.一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-5中任一项所述的工程造价数据处理的优化方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110013405.9A CN112800037B (zh) | 2021-01-06 | 2021-01-06 | 工程造价数据处理的优化方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110013405.9A CN112800037B (zh) | 2021-01-06 | 2021-01-06 | 工程造价数据处理的优化方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112800037A CN112800037A (zh) | 2021-05-14 |
| CN112800037B true CN112800037B (zh) | 2024-02-02 |
Family
ID=75808632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110013405.9A Active CN112800037B (zh) | 2021-01-06 | 2021-01-06 | 工程造价数据处理的优化方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112800037B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537899A (zh) * | 2021-07-26 | 2021-10-22 | 拉扎斯网络科技（上海）有限公司 | 询价数据的监控方法及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012071543A2 (en) * | 2010-11-24 | 2012-05-31 | Decide, Inc. | Price and model prediction system and method |
| CN105956788A (zh) * | 2016-05-24 | 2016-09-21 | 国家电网公司 | 一种输变电工程造价的动态管理控制方法 |
| WO2019233297A1 (zh) * | 2018-06-08 | 2019-12-12 | Oppo广东移动通信有限公司 | 数据集的构建方法、移动终端、可读存储介质 |
| CN111753959A (zh) * | 2020-06-24 | 2020-10-09 | 南方科技大学 | 一种神经网络模型优化方法、装置、设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105825351A (zh) * | 2016-04-22 | 2016-08-03 | 国网浙江省电力公司经济技术研究院 | 一种输电工程造价的后评估和风险管控方法 |
-
2021
- 2021-01-06 CN CN202110013405.9A patent/CN112800037B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012071543A2 (en) * | 2010-11-24 | 2012-05-31 | Decide, Inc. | Price and model prediction system and method |
| CN105956788A (zh) * | 2016-05-24 | 2016-09-21 | 国家电网公司 | 一种输变电工程造价的动态管理控制方法 |
| WO2019233297A1 (zh) * | 2018-06-08 | 2019-12-12 | Oppo广东移动通信有限公司 | 数据集的构建方法、移动终端、可读存储介质 |
| CN111753959A (zh) * | 2020-06-24 | 2020-10-09 | 南方科技大学 | 一种神经网络模型优化方法、装置、设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于模糊神经网络的公路造价估算模型探究;马永军;杨志远;;公路工程(第06期);全文 * |
| 水利工程造价估算方法研究;王鑫;;黑龙江水利科技(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112800037A (zh) | 2021-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3540652B1 (en) | Method, device, chip and system for training neural network model | |
| CN110806954B (zh) | 评估云主机资源的方法、装置、设备及存储介质 | |
| CN111553759A (zh) | 一种产品信息推送方法、装置、设备及存储介质 | |
| US11650968B2 (en) | Systems and methods for predictive early stopping in neural network training | |
| CN111145076B (zh) | 数据并行化处理方法、系统、设备及存储介质 | |
| CN112270545A (zh) | 基于迁移样本筛选的金融风险预测方法、装置和电子设备 | |
| CN110852881B (zh) | 风险账户识别方法、装置、电子设备及介质 | |
| CN109345133B (zh) | 基于大数据和深度学习的评审方法和机器人系统 | |
| WO2017071369A1 (zh) | 一种预测用户离网的方法和设备 | |
| CN112800037B (zh) | 工程造价数据处理的优化方法及装置 | |
| CN116166967B (zh) | 基于元学习与残差网络的数据处理方法、设备和存储介质 | |
| CN110348005B (zh) | 配网设备状态数据处理方法、装置、计算机设备及介质 | |
| CN109446229B (zh) | 基于大数据和深度学习的认定方法和机器人系统 | |
| CN116909910A (zh) | 一种基于机器学习的研发效能度量方法和系统 | |
| CN114565196B (zh) | 基于政务热线的多事件趋势预判方法、装置、设备及介质 | |
| CN115700632A (zh) | 一种船舶电子信息系统维修保障措施决策方法及装置 | |
| CN115565115A (zh) | 一种舾装件智能识别方法、计算机设备 | |
| CN109300025B (zh) | 基于大数据和深度学习的审计方法和机器人系统 | |
| CN115169426A (zh) | 一种基于相似性学习融合模型的异常检测方法及系统 | |
| CN110087230B (zh) | 数据处理方法、装置、存储介质及电子设备 | |
| CN113609445A (zh) | 多源异构监测数据处理方法、终端设备及可读存储介质 | |
| Ge et al. | Hybrid degradation equipment remaining useful life prediction oriented parallel simulation considering model soft switch | |
| CN110555576A (zh) | 工作饱和度分析方法和装置 | |
| CN109409717B (zh) | 基于大数据和深度学习的主动审计方法和机器人系统 | |
| CN111815442B (zh) | 一种链接预测的方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |