CN115757390A - 一种智慧工地对不完整数据的修补方法、装置及存储介质 - Google Patents
一种智慧工地对不完整数据的修补方法、装置及存储介质 Download PDFInfo
- Publication number
- CN115757390A CN115757390A CN202211199806.9A CN202211199806A CN115757390A CN 115757390 A CN115757390 A CN 115757390A CN 202211199806 A CN202211199806 A CN 202211199806A CN 115757390 A CN115757390 A CN 115757390A
- Authority
- CN
- China
- Prior art keywords
- value
- data
- interpolation
- values
- missing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000010276 construction Methods 0.000 title claims abstract description 13
- 238000007619 statistical method Methods 0.000 claims abstract description 16
- 238000004590 computer program Methods 0.000 claims description 3
- 238000003780 insertion Methods 0.000 claims description 3
- 230000037431 insertion Effects 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 abstract description 2
- 238000012935 Averaging Methods 0.000 abstract 1
- 238000012217 deletion Methods 0.000 description 5
- 230000037430 deletion Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000013479 data entry Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Landscapes
- Complex Calculations (AREA)
Abstract
本发明公开了一种智慧工地对不完整数据的修补方法、装置及存储介质，所述方法包括获取智慧智能设备的数据，将数据插入到预先创建的数据表中；对所述数据表中的数据进行循环遍历，查找缺失值所在位置并标记为空值；采用平均值法或者多重插补方法为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补，本发明通过采用平均值法或者多重插补方法，为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补，用于修补智慧工地智能设备数据传输时的数据不完整问题。
Description
技术领域
本发明涉及一种智慧工地对不完整数据的修补方法、装置及存储介质，属于数据修补技术领域。
背景技术
硬件设备传输数据产生缺失，主要分为机械原因和人员原因。机械原因是由于机械出现故障导致的数据收集或保存的失败造成的数据缺失，比如数据存储的失败，存储器损坏，机械故障导致某段时间数据未能收集(对于定时数据采集而言)。人为原因是由于人的主观失误、历史局限造成的数据缺失，比如，数据录入人员失误漏录了数据。针对以上的问题，设计了一种数据缺失修补方法，用于修补智慧工地智能设备数据传输时的数据不完整问题。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种智慧工地对不完整数据的修补方法、装置及存储介质，用于修补智慧工地智能设备数据传输时的数据不完整问题。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种智慧工地对不完整数据的修补方法，包括：
获取智慧智能设备的数据，将数据插入到预先创建的数据表中；
对所述数据表中的数据进行循环遍历，查找缺失值所在位置并标记为空值；
为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补。
进一步的，所述为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补，包括:
采用平均值算法计算数据表中每一行或者每一列数据的平均值作为初始插补值；
查看缺失值附件值的数值大小，并与平均值做对比，确定最终的插补值并进行插补。
进一步的，所述查看缺失值附件值的数值大小，并与平均值做对比，确定最终的插补值并进行插补包括：
当采用每一行数据计算平均值时，若缺失值的左右两侧都有数据值，则使用平均值进行插补，若缺失值的左侧有数据值，右侧没有，则使用数值左侧的值进行插补，若缺失值的右侧有数据值，左侧没有，则使用数值右侧的值进行插补。
进一步的，所述查看缺失值附件值的数值大小，并与平均值做对比，确定最终的插补值并进行插补包括：
当采用每一列数据计算平均值时，若缺失值的上下两侧都有数据值，则使用平均值进行插补，若缺失值的上侧有数据值，下侧没有，则使用数值上侧的值进行插补，若缺失值的下侧有数据值，上侧没有，则使用数值下侧的值进行插补。
进一步的，数据插补完以后，若数据行中没有任何的数据，这种数据将复制上一条或者下一条数据行的值来进行插补。
进一步的，数据插补完以后，若数据列中没有任何的数据，这种数据将复制左一侧或者右一侧数据列的值来进行插补。
进一步的，所述为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补，包括:
采用多重插补方法为每个空值产生一套初始插补值，组成若干个插补数据集合；
对每个插补数据集合都采用针对完整数据集的统计方法进行统计分析；
对来自各个插补数据集的结果，根据评分函数进行选择，产生最终的插补值并进行插补。
第二方面，本发明提供一种智慧工地对不完整数据的修补装置，包括：
获取及插入单元，用于获取智慧智能设备的数据，将数据插入到预先创建的数据表中；
缺失值查找单元，用于对所述数据表中的数据进行循环遍历，查找缺失值所在位置并标记为空值；
分析单元，用于为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补。
第三方面，本发明提供一种智慧工地对不完整数据的修补装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据前述任一项所述方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项所述方法的步骤。
与现有技术相比，本发明所达到的有益效果：
本发明提供一种智慧工地对不完整数据的修补方法、装置及存储介质，通过采用平均值法或者多重插补方法，为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补，用于修补智慧工地智能设备数据传输时的数据不完整问题。
附图说明
图1是本发明实施例提供的一种智慧工地对不完整数据的修补方法的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
如图1所示，本实施例介绍一种智慧工地对不完整数据的修补方法，包括：
获取智慧智能设备的数据，将数据插入到预先创建的数据表中；
对所述数据表中的数据进行循环遍历，查找缺失值所在位置并标记为空值；
为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补。
本实施例提供的智慧工地对不完整数据的修补方法，其应用过程具体涉及如下步骤：
一、采用平均值算法进行修补，包括：
第一步，创建数据表，假设数据表的行数为6，列数为7，第一行数据填满以后，再填写第二行的数据。如表1所示；
表1创建的数据表
第二步，获取数据并插入到数据表中，假设数据类型为数字的形式表示。
如表2所示；
表2插入数据的数据表
| 11 | 12 | 13 | 14 | 15 | 16 | |
| 10 | 11 | 12 | 14 | 15 | 16 | |
| 10 | 11 | 15 | 16 | |||
| 10 | 12 | 14 | 16 | |||
| 10 | 11 | 12 | 13 | |||
第三步，通过循环遍历，查找缺失值所在位置并进行标记，如表3所示。
表3标记缺失值后的数据表
缺失值从缺失的分布来看可以分为完全随机缺失，随机缺失和完全非随机缺失。
步骤一：为每个空值产生套可能的插补值，一般情况下是数据全部的值加起来取平均值。获取平均值的两个公式。
(n1+n2+n3+n4+n5+n6+n7)/7
步骤二：查看缺失值附近值的数值大小，与平均值做对比。若缺失值的左右两侧都有数据值，则使用平均值进行插补，若缺失值的左侧有数据值，右侧没有，则使用数值左侧的值进行插补，若缺失值的右侧有数据值，左侧没有，则使用数值右侧的值进行插补。
步骤三：数据插补完以后，若数据行中没有任何的数据，这种数据将复制上一条数据行的值来进行插补。
插补完后的数据表将如表4所示。
表4插补完后的数据表
| 11 | 11 | 12 | 13 | 14 | 15 | 16 |
| 10 | 11 | 12 | 13 | 14 | 15 | 16 |
| 10 | 11 | 11 | 13 | 15 | 15 | 16 |
| 10 | 11 | 12 | 13 | 14 | 15 | 16 |
| 10 | 11 | 12 | 13 | 13 | 13 | 13 |
| 10 | 11 | 12 | 13 | 13 | 13 | 13 |
二、采用多重插补方法进行修补，包括：
步骤一：为每个空值产生一套可能的插补值，这些值反映了无响应模型的不确定性；每个值都可以被用来插补数据集中的缺失值，产生若干个完整数据集合。
步骤二：每个插补数据集合都用针对完整数据集的统计方法进行统计分析。
步骤三：对来自各个插补数据集的结果，根据评分函数进行选择，产生最终的插补值。
假设一组数据，包括三个变量Y1，Y2，Y3，它们的联合分布为正态分布，将这组数据处理成三组，A组保持原始数据，B组仅缺失Y3，C组缺失Y1和Y2。在多值插补时，对A组将不进行任何处理，对B组产生Y3的一组估计值(作Y3关于Y1，Y2的回归)，对C组作产生Y1和Y2的一组成对估计值(作Y1，Y2关于Y3的回归)。当用多值插补时，对A组将不进行处理，对B、C组将完整的样本随机抽取形成为m组(m为可选择的m组插补值)，每组个案数只要能够有效估计参数就可以了。对存在缺失值的属性的分布作出估计，然后基于这m组观测值，对于这m组样本分别产生关于参数的m组估计值，给出相应的预测即，这时采用的估计方法为极大似然法，在计算机中具体的实现算法为期望最大化法(EM)。对B组估计出一组Y3的值，对C将利用Y1,Y2,Y3它们的联合分布为正态分布这一前提，估计出一组(Y1，Y2)。
上例中假定了Y1,Y2,Y3的联合分布为正态分布。这个假设是人为的，但是已经通过验证(Graham和Schafer于1999)，非正态联合分布的变量，在这个假定下仍然可以估计到很接近真实值的结果。多重插补和贝叶斯估计的思想是议致的，但是多重插补弥补了贝叶斯估计的这个不足。
实施例2
本实施例提供一种智慧工地对不完整数据的修补装置，包括：
获取及插入单元，用于获取智慧智能设备的数据，将数据插入到预先创建的数据表中；
缺失值查找单元，用于对所述数据表中的数据进行循环遍历，查找缺失值所在位置并标记为空值；
分析单元，用于为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补。
实施例3
本实施例提供一种智慧工地对不完整数据的修补装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据实施例1中任一项所述方法的步骤。
实施例4
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例1中任一项所述方法的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种智慧工地对不完整数据的修补方法，其特征在于，包括：
获取智慧智能设备的数据，将数据插入到预先创建的数据表中；
对所述数据表中的数据进行循环遍历，查找缺失值所在位置并标记为空值；
为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补。
2.根据权利要求1所述的智慧工地对不完整数据的修补方法，其特征在于，所述为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补，包括:
采用平均值算法计算数据表中每一行或者每一列数据的平均值作为初始插补值；
查看缺失值附件值的数值大小，并与平均值做对比，确定最终的插补值并进行插补。
3.根据权利要求2所述的智慧工地对不完整数据的修补方法，其特征在于，所述查看缺失值附件值的数值大小，并与平均值做对比，确定最终的插补值并进行插补包括：
当采用每一行数据计算平均值时，若缺失值的左右两侧都有数据值，则使用平均值进行插补，若缺失值的左侧有数据值，右侧没有，则使用数值左侧的值进行插补，若缺失值的右侧有数据值，左侧没有，则使用数值右侧的值进行插补。
4.根据权利要求2所述的智慧工地对不完整数据的修补方法，其特征在于，所述查看缺失值附件值的数值大小，并与平均值做对比，确定最终的插补值并进行插补包括：
当采用每一列数据计算平均值时，若缺失值的上下两侧都有数据值，则使用平均值进行插补，若缺失值的上侧有数据值，下侧没有，则使用数值上侧的值进行插补，若缺失值的下侧有数据值，上侧没有，则使用数值下侧的值进行插补。
5.根据权利要求2所述的智慧工地对不完整数据的修补方法，其特征在于：数据插补完以后，若数据行中没有任何的数据，这种数据将复制上一条或者下一条数据行的值来进行插补。
6.根据权利要求2所述的智慧工地对不完整数据的修补方法，其特征在于：数据插补完以后，若数据列中没有任何的数据，这种数据将复制左一侧或者右一侧数据列的值来进行插补。
7.根据权利要求1所述的智慧工地对不完整数据的修补方法，其特征在于，所述为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补，包括:
采用多重插补方法为每个空值产生一套初始插补值，组成若干个插补数据集合；
对每个插补数据集合都采用针对完整数据集的统计方法进行统计分析；
对来自各个插补数据集的结果，根据评分函数进行选择，产生最终的插补值并进行插补。
8.一种智慧工地对不完整数据的修补装置，其特征在于，包括：
获取及插入单元，用于获取智慧智能设备的数据，将数据插入到预先创建的数据表中；
缺失值查找单元，用于对所述数据表中的数据进行循环遍历，查找缺失值所在位置并标记为空值；
分析单元，用于为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补。
9.一种智慧工地对不完整数据的修补装置，其特征在于：包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1～7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现权利要求1～7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211199806.9A CN115757390A (zh) | 2022-09-29 | 2022-09-29 | 一种智慧工地对不完整数据的修补方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211199806.9A CN115757390A (zh) | 2022-09-29 | 2022-09-29 | 一种智慧工地对不完整数据的修补方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115757390A true CN115757390A (zh) | 2023-03-07 |
Family
ID=85350637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211199806.9A Pending CN115757390A (zh) | 2022-09-29 | 2022-09-29 | 一种智慧工地对不完整数据的修补方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115757390A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116432871A (zh) * | 2023-06-13 | 2023-07-14 | 北京化工大学 | 一种基于AdaBoost算法的公交调度优化方法 |
-
2022
- 2022-09-29 CN CN202211199806.9A patent/CN115757390A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116432871A (zh) * | 2023-06-13 | 2023-07-14 | 北京化工大学 | 一种基于AdaBoost算法的公交调度优化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106250905B (zh) | 一种结合高校建筑结构特征的实时能耗异常检测方法 | |
| CN113780668B (zh) | 一种基于历史数据的城市积水内涝预测方法及系统 | |
| CN102521080B (zh) | 一种电力用户用电信息采集系统的计算机数据修复方法 | |
| CN112686971B (zh) | 建筑系统关系拓扑无向图有向化方法和系统 | |
| CN115757390A (zh) | 一种智慧工地对不完整数据的修补方法、装置及存储介质 | |
| CN115098482A (zh) | 一种不完整数据的修正补录方法 | |
| CN106844290A (zh) | 一种基于曲线拟合的时序数据处理方法 | |
| CN114255187A (zh) | 基于大数据平台的多层次多级图像优化方法及系统 | |
| WO2021147487A1 (zh) | 一种数据处理方法及装置 | |
| CN118263849A (zh) | 电力系统惯量确定方法、设备、存储介质及产品 | |
| CN107947199B (zh) | 基于优化模型的电力系统热稳定安全域边界的搜索方法 | |
| CN114765574A (zh) | 一种网络异常定界定位方法及装置 | |
| US10345482B2 (en) | Global grid building unfaulting sequence for complex fault-network topologies | |
| EP1630635A2 (en) | Method and apparatus for improved fault detection in power generation equipment | |
| CN112597662B (zh) | 一种建筑模型正误校验方法和系统 | |
| CN114386510A (zh) | 一种电力系统量测错误辨识方法及系统 | |
| CN106251238B (zh) | 风电场建模序列离散化步长的选取及模型误差分析方法 | |
| CN117009774B (zh) | 一种多元数据快速验证方法 | |
| CN113094899A (zh) | 一种随机潮流计算方法、装置、电子设备及存储介质 | |
| CN118314370A (zh) | 一种基于网格共视的分层式运动恢复结构方法 | |
| CN114580044A (zh) | 建筑物外表面数据获取方法、装置、计算机设备和介质 | |
| Nielsen et al. | Risk-based decision making for deterioration processes using POMDP | |
| CN115238559B (zh) | 一种三维轧件拉伸建模过程边界组元自动提取方法及系统 | |
| CN110688700B (zh) | 基于住宅平面生成立面图的方法、装置及终端设备 | |
| CN109376334B (zh) | 一种正态型单元的寿命分布参数估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |