CN112800037A - 工程造价数据处理的优化方法及装置 - Google Patents

工程造价数据处理的优化方法及装置 Download PDF

Info

Publication number
CN112800037A
CN112800037A CN202110013405.9A CN202110013405A CN112800037A CN 112800037 A CN112800037 A CN 112800037A CN 202110013405 A CN202110013405 A CN 202110013405A CN 112800037 A CN112800037 A CN 112800037A
Authority
CN
China
Prior art keywords
data
training
resource data
price
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110013405.9A
Other languages
English (en)
Other versions
CN112800037B (zh
Inventor
赵志宇
王军华
焦红甫
宋强
许晨龙
朱智慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yinyuan Engineering Consulting Co ltd
Original Assignee
Yinyuan Engineering Consulting Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yinyuan Engineering Consulting Co ltd filed Critical Yinyuan Engineering Consulting Co ltd
Priority to CN202110013405.9A priority Critical patent/CN112800037B/zh
Publication of CN112800037A publication Critical patent/CN112800037A/zh
Application granted granted Critical
Publication of CN112800037B publication Critical patent/CN112800037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种工程造价数据处理的优化方法及装置，涉及数据处理技术领域，关键目的在于解决现有无法满足对工程造价信息处理的及时有效性需求，从而降低了工程造价信息的处理效率的问题。主要包括：当检测到工程造价数据的标记范围发生变化时，获取与所述标记范围匹配的资源数据的价格训练数据集；利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理；根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型；利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理，以便基于清洗处理后的资源数据进行工程造价数据的处理。

Description

工程造价数据处理的优化方法及装置
技术领域
本发明涉及一种数据处理技术领域，特别是涉及一种工程造价数据处理的优化方法及装置。
背景技术
建筑领域中的工程造价是指构成项目在建设期预计或实际支出的建设费用，对工程造价进行预测、计划、控制、核算、次要分析和评价等工作过程已经成为建筑行业中不可或缺的流程、步骤。其中，对于各工作工程中不同材料资源价格的确定，可以通过技术人员人为进行市场调研录入计算机中，以便结合计算机中已写入的各种工程造价计算公式计算出选取的材料资源价格所对应的预算、结算等结果。
目前，现有在获取到不同资源数据进行处理得到工程造价数据的过程中，会进行数据清洗，即包括数据单位、数据格式等异常数据的删除，然后将清洗后的数据按照数据格式进行存储，清洗时，直接使用单一的深度学习模型，如神经网络，来次要类筛选大量资源数据，但是，仅仅基于如神经网络模型的单一模型来进行数据清洗，当出现资源数据更新而需要重新计算工程造价信息时无法及时更新模型而影响清洗效率，无法满足对工程造价信息处理的及时有效性需求，从而降低了工程造价信息的处理效率。
发明内容
有鉴于此，本发明提供一种工程造价数据处理的优化方法及装置，关键目的在于解决现有资源数据更新而需要重新计算工程造价数据时无法及时更新模型而影响清洗效率，无法满足对工程造价数据处理的及时有效性需求，从而降低了工程造价数据的处理效率的问题。
依据本发明一个方面，提供了一种工程造价数据处理的优化方法，包括：
当检测到工程造价数据的标记范围发生变化时，获取与所述标记范围匹配的资源数据的价格训练数据集，所述标记范围用于表征工程项目建设的不同资源数据的价格波动范围值；
利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理，所述k均值聚类模型为根据关键任务训练集、次要任务训练集进行训练得到的；
根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型；
利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理，以便基于清洗处理后的资源数据进行工程造价数据的处理。
依据本发明另一个方面，提供了一种工程造价数据处理的优化装置，包括：
获取模块，用于当检测到工程造价数据的标记范围发生变化时，获取与所述标记范围匹配的资源数据的价格训练数据集，所述标记范围用于表征工程项目建设的不同资源数据的价格波动范围值；
第一处理模块，用于利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理，所述k均值聚类模型为根据关键任务训练集、次要任务训练集进行训练得到的；
训练模块，用于根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型；
第二处理模块，用于利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理，以使基于清洗处理后的资源数据信息工程造价数据的处理。
根据本发明的又一方面，提供了一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述工程造价数据处理的优化方法对应的操作。
根据本发明的再一方面，提供了一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述工程造价数据处理的优化方法对应的操作。
借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：
本发明提供了一种工程造价数据处理的优化方法及装置，与现有技术在获取到不同资源数据进行处理得到工程造价数据的过程中，会进行数据清洗，即包括数据单位、数据格式等异常数据的删除，然后将清洗后的数据按照数据格式进行存储，清洗时，直接使用单一的深度学习模型，如神经网络，来次要类筛选大量资源数据相比，本发明实施例通过当检测到工程造价数据的标记范围发生变化时，获取与所述标记范围匹配的资源数据的价格训练数据集；利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理；根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型；利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理，以便基于清洗处理后的资源数据进行工程造价数据的处理。从而能够解决现有无法满足对工程造价信息处理的及时有效性需求，从而降低了工程造价信息的处理效率的问题。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种工程造价数据处理的优化方法流程图；
图2示出了本发明实施例提供的一种工程造价数据处理的优化装置组成框图；
图3示出了本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种工程造价数据处理的优化方法，如图1所示，该方法包括：
101、当检测到工程造价数据的标记范围发生变化时，获取与所述标记范围匹配的资源数据的价格训练数据集。
本发明实施例中，所述标记范围用于表征工程项目建设的不同资源数据的价格波动范围值。所述工程造价数据为在一项建筑项目中，所需要计算工程所花费费用的全部数据，即资源数据可以包括楼砼钢材用量、预算指标、钢材理重算法、施工功效、清包工价格等，本发明实施例不做具体限定。一般的，受不同的季节、工程阶段、人力价格等市场环境的影响，不同资源数据的价格会发生波动，例如，冬季的人力资源的价格比春秋的人力资源的加工高等，因此，对应于不同的影像因素，预先设定对工程造价数据的标记范围，即标记范围用于表征工程项目建设的不同资源数据的价格波动范围值，资源数据为一个建筑项目中所需不同材料、人力等数据。所述价格训练数据集为利用各资源数据的所有价格数据建立的价格训练数据集，其中包括价格数据以及所述价格数据对应的资源数据，所述价格训练数据集中的价格数据具体可以通过互联网进行查询并统一保存在预设的数据库中，以便于迅速调取进行计算。
102、利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理。
本发明实施例中，所述k均值聚类模型为根据关键任务训练集、次要任务训练集进行训练得到的，所述k均值聚类模型可以用于对所述价格训练数据集中的价格数据进行聚类处理，从而得到不同聚类特征，并存储在网络资源数据库中，例如，若价格训练数据集[100(楼砼钢材用量)，150(楼砼钢材用量)，200(楼砼钢材用量)，78(人力价格)，88(人力价格)]，则通过k均值聚类模型对上述价格训练数据集进行聚类处理可以得到{[100，150，200(楼砼钢材用量)]，[78，88(人力价格)]}，即通过k均值聚类模型能够将原本资源数据的价格训练数据集中的价格数据基于对应的资源数据进行聚类，便于得到同一种资源数据对应的价格数据。
103、根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型。
其中，所述三层神经网络模型引入了非线性激活函数，以便于解决非线性问题，同时，引入激活函数之后，不再会有损失的情况，损失函数采用对数损失，这也使得三层神经网络更像是三层多元逻辑回归的复合。所述三层神经网络模型还包括前向传播和反向传播，通过利用完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，从而能够得到用于进行数据清洗的三层神经网络模型。具体地，所述非线性激活函数可以包括sigmoid、tanh或relu中的一种，对于以上几个非线性激活函数都可以看作是
Figure BDA0002886037490000051
的一个近似。采用近似的一个重要原因是为了求导，常采用平滑的sigmoid和tanh函数，然而，这两个函数在两端都存在导数极小的情况，这使得多层神经网络在训练时梯度消失，难以训练，Relu函数则很好的解决两端导数极小的问题，也是解决神经网络梯度消失问题的一种方法。本发明实施例通过利用完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型，从而能够利用三层神经网络模型进行资源数据的清洗，筛除无关的资源数据，从而提高工程造价数据处理的准确性。
104、利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理，以便基于清洗处理后的资源数据进行工程造价数据的处理。
本发明实施例中，得到所述三层神经网络模型后，可以利用所述三层神经网络模型对于所述标记范围匹配的资源数据进行清洗处理，得到筛除无关数据的资源数据，从而能够利用清洗后的资源数据进行工程造价数据的处理，提高工程造价数据处理的效率和准确率。
另一个实施例中，为了对k均值聚类模型进行预先训练，且为了提高对不同资源数据进行聚类的准确性，所述利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理之前，所述方法还包括：获取与所述资源数据的价格训练数据集具有从属关系的两个关键任务训练集、以及与所述两个关键任务训练集对应的至少4个次要任务训练集；基于所述关键任务训练集、所述次要任务训练集对k均值聚类模型执行关键任务训练、次要任务训练交替执行的训练处理，其中，所述交替执行用于表征执行所述关键任务训练时的模型精准度未达到预设阈值时，替换执行次要任务训练的训练执行方式。
本发明实施例中，所述关键任务训练集可以用于进行必须对k均值聚类模型执行的训练，而次要任务训练集可以用于进行可选对k均值聚类模型执行的训练，所述关键任务训练集与所述次要任务训练集相匹配。具体地，可以获取与所述资源数据的价格训练数据集具有从属关系的两个关键任务训练集、以及与所述两个关键任务训练集对应的至少4个次要任务训练集。例如，价格训练数据集中包括资源数据[楼砼钢材用量、预算指标、钢材理重算法、施工功效、清包工价格、人工价格]，则可以将楼砼钢材用量、和预算指标确定为两个关键任务训练集，将钢材理重算法、施工功效、清包工价格、人工价格确定为4个次要任务训练集，对于本发明实施例，如何确定关键任务训练集和次要任务训练集可以根据具体业务需求进行设置，本发明实施例不做具体限定。
另外，对于本发明实施例，可以基于所述关键任务训练集、所述次要任务训练集对k均值聚类模型执行关键任务训练、次要任务训练交替执行的训练处理，首先通过关键任务训练集对k均值聚类模型执行训练处理，然后当模型处于局部最优、和/或鞍点状态下切换为通过次要任务训练集对k均值聚类模型执行训练处理，以使根据模型精度、损失值确定所述预设深度学习模型处于非局部最优、和/或非鞍点状态下完成训练处理。具体的，当基于次要任务训练的k均值聚类模型跳出局部最优、和/或鞍点状态，则重新执行关键任务训练，以完成k均值聚类模型的完整训练过程。
另一个实施例中，为了筛除价格训练数据集中的无关数据，提高工程造价数据处理的准确性。所述根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型之前，所述方法还包括：初始化预置三层神经网络模型，所述预置三层神经网络模型中为利用Sigmoid函数执行去线性化；从所述价格训练数据集中获取第一部分的价格训练样本数据，并通过前向传播确定第一预测值；通过反向传播更新变量，并判断训练目标是否达到预设训练阈值；若未达到，则累计训练次数，并获取第二部分的价格训练样本数据，重新执行通过前向传播获得第二预测值、并判断训练目标是否达到预设训练阈值的步骤，直至通过迭代循环确定的训练目标达到预设训练阈值，得到完成训练的三层神经网络模型。
本发明实施例中，所述预置三层神经网络模型中利用Sigmoid函数执行去线性化，即将资源数据输入至基于Sigmoid函数的预置三层神经网络模型，基于Sigmoid函数的预置三层神经网络模型中将Sigmoid函数作为损失函数，Sigmoid函数是0～1分布的非饱和光滑曲线，使得基于Sigmoid函数的预置三层神经网络分类模型的输出概率更加平滑、均匀，避免出现互斥的现象。所述前向传播是一个复合函数不断传播的过程，最终视目标而定损失函数，由于神经网络是一个多层的复合函数，前向传播就是在计算复合函数，所以反向传播就是一个链式求导过程，确定所有参数的负梯度方向，采用梯度下降的方法来更新每一层网络的参数。本发明实施例通过从所述价格训练数据集中获取第一部分的价格训练样本数据，通过前向传播确定第一预测值，然后通过反向传播获得第二预测值，当通过迭代循环确定的训练目标达到预设的训练阈值时，可以得到完成训练的三层神经网络模型。需要说明的是，本发明实施例中的预设训练阈值可以根据待清洗的资源数据进行设置，本发明实施例在此不做具体规定。
另一个实施例中，为了进一步对清洗后的资源数据进行处理，得到工程造价数据，所述利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理之后，所述方法还包括：提取工程造价计算模型，并基于清洗后的资源数据执行所述工程造价计算模型，得到工程造价数据，所述工程造价计算模型用于表征基于不同价格值计算工程造价数据的计算公式。
本发明实施例中，所述工程造价计算模型用于表征基于不同价格值计算工程造价数据的计算公式；和/或，提取与所述调整数据匹配的工程造价计算模型所对应的单位特征，并基于所述调整数据对所述单位特征进行换算调整，得到调整后的工程造价数据。
本发明实施例中，本地存储位置中预先存储有用于计算工程造价数据全部计算公式，例如、地砖用量公式、顶棚用量公式，并结合地砖单价、顶棚单价计算出工程造价数据中的预算值。因此，在确定出价格值后，提取匹配的工程造价计算模型，重新执行工程造价数据的计算，当然的，工程造价计算模型不仅仅可以为数学计算公式，还可以为可以进行人工智能计算的深度学习模型等，本发明实施例不做具体限定。由于调整数据至少包括时间单位、价格单位、用量单位中之一，在确定出调整数据后，提取匹配的工程造价计算模型对应的单位特征，即确定时间单位、价格单位亦或是用量单位，基于调整数据中的单位特征进行对原有的工程造价数据进行单位换算，得到调整后的工程造价数据。其中，单位换算为基于现有的计量单位进行换算，通过调用单位换算程序直接进行换算，本发明实施例不做具体限定。
另一个实施例中，为了对获取的资源数据进行单位标准化，得到统一单位的资源数据，所述利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理之后，所述方法还包括：依据价格单位特征对清洗处理后的资源数据进行单位转换处理；判断单位转换处理后的资源数据是否超过所述标记范围；若超过所述标记范围，则删除超过所述标记范围的资源数据；若未超过所述标记范围，则确定所述资源数据完成清洗处理。
具体的，利用调整后的工程造价数据与标记范围进行判断对比，若超过标记范围，则直接将标记范围中的极大值、极小值作为价格值或调整数据，进行更新，其中，对于调整数据中的单位，则按照标记范围中的最大单位以及最小单位进行更新，本发明实施例不做具体限定。然后将更新后的价格值、调整数据发送至用户端，以使进行验证，若用户确认后，接收到反馈的验证结果，包括对更新的价格值、调整数据信息确定，或者重新录入价格值、调整数据，依据验证结果重新执行工程造价数据的调整步骤，从而提高工程造价数据的处理准确性。
另一个实施例中，为了在数据清洗后针对资源数据数量过少的情况进行报警，以便于及时处理，所述方法还包括：判断清洗处理后的资源数据的数据个数是否大于预置数值量；若大于或等于预置数值量，则绘制所述资源数据的趋势状态图，并进行输出；若小于预置数值量，则发送资源数据清洗异常告警信息，以使对所述资源数据进行校验。
其中，预置数值量具体可以根据当前的计算需求设置，如可以设置为5，即判断当清洗处理后，资源数据的数据个数是否大于5，若大于或等于5，则可以绘制资源数据的趋势状态图，并进行输出，所述资源状态图具体可以是以清洗处理后价格训练数据集中剩余的各资源数据绘制的折线图或者柱形图。若资源数据的数据个数小于5，则可以向终端发送资源数据清洗异常告警信息，用户可以通过终端的屏幕查看资源数据清洗异常告警信息，并且通过终端的命令输入设备输出后续处理命令。本发明实施例通过判断清洗后资源数据的数据个数是否大于预置数值量，从而能够提高数据清洗的安全性，防止由于清洗处理后由于资源数据的数据个数过少导致工程造价数据计算误差过大。
所述资源数据包括楼砼钢材用量、预算指标、钢材理重算法、施工功效、清包工价格。
本发明提供了一种工程造价数据处理的优化方法，与现有技术在获取到不同资源数据进行处理得到工程造价数据的过程中，会进行数据清洗，即包括数据单位、数据格式等异常数据的删除，然后将清洗后的数据按照数据格式进行存储，清洗时，直接使用单一的深度学习模型，如神经网络，来次要类筛选大量资源数据相比，本发明实施例通过当检测到工程造价数据的标记范围发生变化时，获取与所述标记范围匹配的资源数据的价格训练数据集；利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理；根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型；利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理，以便基于清洗处理后的资源数据进行工程造价数据的处理。从而能够解决现有无法满足对工程造价信息处理的及时有效性需求，从而降低了工程造价信息的处理效率的问题。
进一步的，作为对上述图1所示方法的实现，本发明实施例提供了一种工程造价数据处理的优化装置，如图2所示，该装置包括：
获取模块21，可以用于当检测到工程造价数据的标记范围发生变化时，获取与所述标记范围匹配的资源数据的价格训练数据集，所述标记范围用于表征工程项目建设的不同资源数据的价格波动范围值；
第一处理模块22，可以用于利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理，所述k均值聚类模型为根据关键任务训练集、次要任务训练集进行训练得到的；
训练模块23，可以用于根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型；
第二处理模块24，可以用于利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理，以便基于清洗处理后的资源数据进行工程造价数据的处理。
进一步地，所述获取模块21，还可以用于获取与所述资源数据的加载训练数据集具有从属关系的两个关键任务训练集、以及次要别与所述两个关键任务训练集对应的至少4个次要任务训练集；
所述训练模块23，还可以用于基于所述关键任务训练集、所述次要任务训练集对k均值聚类模型执行关键任务训练、次要任务训练交替执行的训练处理，其中，所述交替执行用于表征执行所述关键任务训练是的模型精准度未达到预设阈值时，替换执行次要任务训练的训练执行方式。
进一步地，所述装置还包括：
初始化模块25，可以用于初始化预置三层神经网络模型，所述预置三层神经网络模型中为利用Sigmoid函数执行去线性化；
第一确定模块26，可以用于从所述价格训练数据集中获取第一部分的价格训练样本数据，并通过前向传播确定第一预测值；
第一判断模块27，可以用于通过反向传播更新变量，并判断训练目标是否达到预设训练阈值；
执行模块28，可以用于若未达到，则累计训练次数，并获取第二部分的价格训练样本数据，重新执行通过前向传播获得第二预测值、并判断训练目标是否达到预设训练阈值的步骤，直至通过迭代循环确定的训练目标达到预设训练阈值，得到完成训练的三层神经网络模型。
进一步地，所述装置还包括：
提取模块29，可以用于提取工程造价计算模型，并基于清洗后的资源数据执行所述工程造价计算模型，得到工程造价数据，所述工程造价计算模型用于表征基于不同价格值计算工程造价数据的计算公式。
进一步地，所述装置还包括：
第三处理模块210，可以用于依据价格单位特征对清洗处理后的资源数据进行单位转换处理；
第二判断模块211，可以用于判断单位转换处理后的资源数据是否超过所述标记范围；
删除模块212，可以用于若超过所述标记范围，则删除超过所述标记范围的资源数据；
第二确定模块213，可以用于若未超过所述标记范围，则确定所述资源数据完成清洗处理。
进一步地，所述装置还包括：
第三判断模块214，可以用于判断清洗处理后的资源数据的数据个数是否大于预置数值量；
输出模块215，可以用于若大于或等于预置数值量，则绘制所述资源数据的趋势状态图，并进行输出；
发送模块216，可以用于若小于预置数值量，则发送资源数据清洗异常告警信息，以使对所述资源数据进行校验。
进一步地，所述资源数据可以包括楼砼钢材用量、预算指标、钢材理重算法、施工功效、清包工价格。
根据本发明一个实施例提供了一种存储介质，所述存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的工程造价数据处理的优化方法。
图3示出了根据本发明一个实施例提供的一种计算机设备的结构示意图，本发明具体实施例并不对计算机设备的具体实现做限定。
如图3所示，该计算机设备可以包括：处理器(processor)302、通信接口(Communications Interface)304、存储器(memory)306、以及通信总线308。
其中：处理器302、通信接口304、以及存储器306通过通信总线308完成相互间的通信。
通信接口304，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器302，用于执行程序310，具体可以执行上述工程造价数据处理的优化方法实施例中的相关步骤。
具体地，程序310可以包括程序代码，该程序代码包括计算机操作指令。
处理器302可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算机设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器306，用于存放程序310。存储器306可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序310具体可以用于使得处理器302执行以下操作：
当检测到工程造价数据的标记范围发生变化时，获取与所述标记范围匹配的资源数据的价格训练数据集，所述标记范围用于表征工程项目建设的不同资源数据的价格波动范围值；
利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理，所述k均值聚类模型为根据关键任务训练集、次要任务训练集进行训练得到的；
根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型；
利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理，以使基于清洗处理后的资源数据信息工程造价数据的处理。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者次要布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们次要别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种工程造价数据处理的优化方法，其特征在于，包括：
当检测到工程造价数据的标记范围发生变化时，获取与所述标记范围匹配的资源数据的价格训练数据集，所述标记范围用于表征工程项目建设的不同资源数据的价格波动范围值；
利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理，所述k均值聚类模型为根据关键任务训练集、次要任务训练集进行训练得到的；
根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型；
利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理，以便基于清洗处理后的资源数据进行工程造价数据的处理。
2.根据权利要求1所述的方法，其特征在于，所述利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理之前，所述方法还包括：
获取与所述资源数据的价格训练数据集具有从属关系的两个关键任务训练集、以及与所述两个关键任务训练集对应的至少4个次要任务训练集；
基于所述关键任务训练集、所述次要任务训练集对k均值聚类模型执行关键任务训练、次要任务训练交替执行的训练处理，其中，所述交替执行用于表征执行所述关键任务训练时的模型精准度未达到预设阈值时，替换执行次要任务训练的训练执行方式。
3.根据权利要求1所述的方法，其特征在于，所述根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型之前，所述方法还包括：
初始化预置三层神经网络模型，所述预置三层神经网络模型中为利用Sigmoid函数执行去线性化；
从所述价格训练数据集中获取第一部分的价格训练样本数据，并通过前向传播确定第一预测值；
通过反向传播更新变量，并判断训练目标是否达到预设训练阈值；
若未达到，则累计训练次数，并获取第二部分的价格训练样本数据，重新执行通过前向传播获得第二预测值、并判断训练目标是否达到预设训练阈值的步骤，直至通过迭代循环确定的训练目标达到预设训练阈值，得到完成训练的三层神经网络模型。
4.根据权利要求1所述的方法，其特征在于，所述利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理之后，所述方法还包括：
提取工程造价计算模型，并基于清洗后的资源数据执行所述工程造价计算模型，得到工程造价数据，所述工程造价计算模型用于表征基于不同价格值计算工程造价数据的计算公式。
5.根据权利要求1所述的方法，其特征在于，所述利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理之后，所述方法还包括：
依据价格单位特征对清洗处理后的资源数据进行单位转换处理；
判断单位转换处理后的资源数据是否超过所述标记范围；
若超过所述标记范围，则删除超过所述标记范围的资源数据；
若未超过所述标记范围，则确定所述资源数据完成清洗处理。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
判断清洗处理后的资源数据的数据个数是否大于预置数值量；
若大于或等于预置数值量，则绘制所述资源数据的趋势状态图，并进行输出；
若小于预置数值量，则发送资源数据清洗异常告警信息，以使对所述资源数据进行校验。
7.根据权利要求1所述的方法，其特征在于，所述资源数据包括楼砼钢材用量、预算指标、钢材理重算法、施工功效、清包工价格。
8.一种工程造价数据处理的优化装置，其特征在于，包括：
获取模块，用于当检测到工程造价数据的标记范围发生变化时，获取与所述标记范围匹配的资源数据的价格训练数据集，所述标记范围用于表征工程项目建设的不同资源数据的价格波动范围值；
第一处理模块，用于利用已完成训练的k均值聚类模型对所述资源数据的价格训练数据集进行聚类处理，所述k均值聚类模型为根据关键任务训练集、次要任务训练集进行训练得到的；
训练模块，用于根据完成聚类处理的资源数据的价格训练数据集对预置三层神经网络模型进行训练，得到用于进行数据清洗的三层神经网络模型；
第二处理模块，用于利用所述三层神经网络模型对与所述标记范围匹配的资源数据进行清洗处理，以使基于清洗处理后的资源数据信息工程造价数据的处理。
9.一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的工程造价数据处理的优化方法对应的操作。
10.一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的工程造价数据处理的优化方法对应的操作。
CN202110013405.9A 2021-01-06 2021-01-06 工程造价数据处理的优化方法及装置 Active CN112800037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110013405.9A CN112800037B (zh) 2021-01-06 2021-01-06 工程造价数据处理的优化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110013405.9A CN112800037B (zh) 2021-01-06 2021-01-06 工程造价数据处理的优化方法及装置

Publications (2)

Publication Number Publication Date
CN112800037A true CN112800037A (zh) 2021-05-14
CN112800037B CN112800037B (zh) 2024-02-02

Family

ID=75808632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110013405.9A Active CN112800037B (zh) 2021-01-06 2021-01-06 工程造价数据处理的优化方法及装置

Country Status (1)

Country Link
CN (1) CN112800037B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537899A (zh) * 2021-07-26 2021-10-22 拉扎斯网络科技（上海）有限公司 询价数据的监控方法及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012071543A2 (en) * 2010-11-24 2012-05-31 Decide, Inc. Price and model prediction system and method
CN105956788A (zh) * 2016-05-24 2016-09-21 国家电网公司 一种输变电工程造价的动态管理控制方法
US20170308966A1 (en) * 2016-04-22 2017-10-26 Economy Research Institute of State Grid Zhejiang Electric Power Post-evaluation and risk management and control method of power transmission engineering cost
WO2019233297A1 (zh) * 2018-06-08 2019-12-12 Oppo广东移动通信有限公司 数据集的构建方法、移动终端、可读存储介质
CN111753959A (zh) * 2020-06-24 2020-10-09 南方科技大学 一种神经网络模型优化方法、装置、设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012071543A2 (en) * 2010-11-24 2012-05-31 Decide, Inc. Price and model prediction system and method
US20170308966A1 (en) * 2016-04-22 2017-10-26 Economy Research Institute of State Grid Zhejiang Electric Power Post-evaluation and risk management and control method of power transmission engineering cost
CN105956788A (zh) * 2016-05-24 2016-09-21 国家电网公司 一种输变电工程造价的动态管理控制方法
WO2019233297A1 (zh) * 2018-06-08 2019-12-12 Oppo广东移动通信有限公司 数据集的构建方法、移动终端、可读存储介质
CN111753959A (zh) * 2020-06-24 2020-10-09 南方科技大学 一种神经网络模型优化方法、装置、设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王鑫;: "水利工程造价估算方法研究", 黑龙江水利科技, no. 06 *
马永军;杨志远;: "基于模糊神经网络的公路造价估算模型探究", 公路工程, no. 06 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537899A (zh) * 2021-07-26 2021-10-22 拉扎斯网络科技（上海）有限公司 询价数据的监控方法及设备

Also Published As

Publication number Publication date
CN112800037B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN110806954B (zh) 评估云主机资源的方法、装置、设备及存储介质
US20120066166A1 (en) Predictive Analytics for Semi-Structured Case Oriented Processes
CN111898739B (zh) 基于元学习的数据筛选模型构建方法、数据筛选方法、装置、计算机设备及存储介质
CN110413786B (zh) 基于网页文本分类的数据处理方法、智能终端及存储介质
CN110874744B (zh) 一种数据异常检测方法及装置
CN112070615A (zh) 基于知识图谱的理财产品推荐方法及装置
CN110263824A (zh) 模型的训练方法、装置、计算设备及计算机可读存储介质
CN109345133B (zh) 基于大数据和深度学习的评审方法和机器人系统
CN111652282B (zh) 基于大数据的用户偏好分析方法、装置及电子设备
WO2024087428A1 (zh) 一种存储产品参数配置推荐方法、装置、设备及介质
CN110658905A (zh) 设备运行状态的预警方法、预警系统及预警装置
CN111159241B (zh) 一种点击转化预估方法及装置
CN112652351A (zh) 硬件状态检测方法、装置、计算机设备及存储介质
CN112784905A (zh) 数据样本扩充的方法、装置和电子设备
CN115757075A (zh) 任务异常检测方法、装置、计算机设备及存储介质
CN112800037A (zh) 工程造价数据处理的优化方法及装置
CN106445788A (zh) 一种信息系统运行状态预测方法和装置
CN113554483A (zh) 一种订单全生命周期管理方法及系统
CN111461329B (zh) 一种模型的训练方法、装置、设备及可读存储介质
CN110796381B (zh) 风控模型的建模方法、装置、终端设备及介质
CN111008038B (zh) 一种基于逻辑回归模型的pull request被合并概率的计算方法
CN112365156A (zh) 一种数据处理方法、数据处理装置、终端及存储介质
CN116166967A (zh) 基于元学习与残差网络的数据处理方法、设备和存储介质
CN114493317A (zh) 一种基于企业环境的智能采集评估方法及系统
CN111815442B (zh) 一种链接预测的方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant