CN115757390A - 一种智慧工地对不完整数据的修补方法、装置及存储介质 - Google Patents

一种智慧工地对不完整数据的修补方法、装置及存储介质 Download PDF

Info

Publication number
CN115757390A
CN115757390A CN202211199806.9A CN202211199806A CN115757390A CN 115757390 A CN115757390 A CN 115757390A CN 202211199806 A CN202211199806 A CN 202211199806A CN 115757390 A CN115757390 A CN 115757390A
Authority
CN
China
Prior art keywords
value
data
interpolation
values
missing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211199806.9A
Other languages
English (en)
Inventor
胡明
邵宇
李想
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Yuanyu Technology Co ltd
Original Assignee
Nanjing Yuanyu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Yuanyu Technology Co ltd filed Critical Nanjing Yuanyu Technology Co ltd
Priority to CN202211199806.9A priority Critical patent/CN115757390A/zh
Publication of CN115757390A publication Critical patent/CN115757390A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Complex Calculations (AREA)

Abstract

本发明公开了一种智慧工地对不完整数据的修补方法、装置及存储介质，所述方法包括获取智慧智能设备的数据，将数据插入到预先创建的数据表中；对所述数据表中的数据进行循环遍历，查找缺失值所在位置并标记为空值；采用平均值法或者多重插补方法为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补，本发明通过采用平均值法或者多重插补方法，为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补，用于修补智慧工地智能设备数据传输时的数据不完整问题。

Description

一种智慧工地对不完整数据的修补方法、装置及存储介质
技术领域
本发明涉及一种智慧工地对不完整数据的修补方法、装置及存储介质，属于数据修补技术领域。
背景技术
硬件设备传输数据产生缺失，主要分为机械原因和人员原因。机械原因是由于机械出现故障导致的数据收集或保存的失败造成的数据缺失，比如数据存储的失败，存储器损坏，机械故障导致某段时间数据未能收集(对于定时数据采集而言)。人为原因是由于人的主观失误、历史局限造成的数据缺失，比如，数据录入人员失误漏录了数据。针对以上的问题，设计了一种数据缺失修补方法，用于修补智慧工地智能设备数据传输时的数据不完整问题。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种智慧工地对不完整数据的修补方法、装置及存储介质，用于修补智慧工地智能设备数据传输时的数据不完整问题。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种智慧工地对不完整数据的修补方法，包括：
获取智慧智能设备的数据，将数据插入到预先创建的数据表中；
对所述数据表中的数据进行循环遍历，查找缺失值所在位置并标记为空值；
为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补。
进一步的，所述为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补，包括:
采用平均值算法计算数据表中每一行或者每一列数据的平均值作为初始插补值；
查看缺失值附件值的数值大小，并与平均值做对比，确定最终的插补值并进行插补。
进一步的，所述查看缺失值附件值的数值大小，并与平均值做对比，确定最终的插补值并进行插补包括：
当采用每一行数据计算平均值时，若缺失值的左右两侧都有数据值，则使用平均值进行插补，若缺失值的左侧有数据值，右侧没有，则使用数值左侧的值进行插补，若缺失值的右侧有数据值，左侧没有，则使用数值右侧的值进行插补。
进一步的，所述查看缺失值附件值的数值大小，并与平均值做对比，确定最终的插补值并进行插补包括：
当采用每一列数据计算平均值时，若缺失值的上下两侧都有数据值，则使用平均值进行插补，若缺失值的上侧有数据值，下侧没有，则使用数值上侧的值进行插补，若缺失值的下侧有数据值，上侧没有，则使用数值下侧的值进行插补。
进一步的，数据插补完以后，若数据行中没有任何的数据，这种数据将复制上一条或者下一条数据行的值来进行插补。
进一步的，数据插补完以后，若数据列中没有任何的数据，这种数据将复制左一侧或者右一侧数据列的值来进行插补。
进一步的，所述为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补，包括:
采用多重插补方法为每个空值产生一套初始插补值，组成若干个插补数据集合；
对每个插补数据集合都采用针对完整数据集的统计方法进行统计分析；
对来自各个插补数据集的结果，根据评分函数进行选择，产生最终的插补值并进行插补。
第二方面，本发明提供一种智慧工地对不完整数据的修补装置，包括：
获取及插入单元，用于获取智慧智能设备的数据，将数据插入到预先创建的数据表中；
缺失值查找单元，用于对所述数据表中的数据进行循环遍历，查找缺失值所在位置并标记为空值；
分析单元，用于为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补。
第三方面，本发明提供一种智慧工地对不完整数据的修补装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据前述任一项所述方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项所述方法的步骤。
与现有技术相比，本发明所达到的有益效果：
本发明提供一种智慧工地对不完整数据的修补方法、装置及存储介质，通过采用平均值法或者多重插补方法，为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补，用于修补智慧工地智能设备数据传输时的数据不完整问题。
附图说明
图1是本发明实施例提供的一种智慧工地对不完整数据的修补方法的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
如图1所示，本实施例介绍一种智慧工地对不完整数据的修补方法，包括：
获取智慧智能设备的数据，将数据插入到预先创建的数据表中；
对所述数据表中的数据进行循环遍历，查找缺失值所在位置并标记为空值；
为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补。
本实施例提供的智慧工地对不完整数据的修补方法，其应用过程具体涉及如下步骤：
一、采用平均值算法进行修补，包括：
第一步，创建数据表，假设数据表的行数为6，列数为7，第一行数据填满以后，再填写第二行的数据。如表1所示；
表1创建的数据表
第二步，获取数据并插入到数据表中，假设数据类型为数字的形式表示。
如表2所示；
表2插入数据的数据表
11 12 13 14 15 16
10 11 12 14 15 16
10 11 15 16
10 12 14 16
10 11 12 13
第三步，通过循环遍历，查找缺失值所在位置并进行标记，如表3所示。
表3标记缺失值后的数据表
Figure BDA0003872019000000051
Figure BDA0003872019000000061
缺失值从缺失的分布来看可以分为完全随机缺失，随机缺失和完全非随机缺失。
步骤一：为每个空值产生套可能的插补值，一般情况下是数据全部的值加起来取平均值。获取平均值的两个公式。
(n1+n2+n3+n4+n5+n6+n7)/7
步骤二：查看缺失值附近值的数值大小，与平均值做对比。若缺失值的左右两侧都有数据值，则使用平均值进行插补，若缺失值的左侧有数据值，右侧没有，则使用数值左侧的值进行插补，若缺失值的右侧有数据值，左侧没有，则使用数值右侧的值进行插补。
步骤三：数据插补完以后，若数据行中没有任何的数据，这种数据将复制上一条数据行的值来进行插补。
插补完后的数据表将如表4所示。
表4插补完后的数据表
11 11 12 13 14 15 16
10 11 12 13 14 15 16
10 11 11 13 15 15 16
10 11 12 13 14 15 16
10 11 12 13 13 13 13
10 11 12 13 13 13 13
二、采用多重插补方法进行修补，包括：
步骤一：为每个空值产生一套可能的插补值，这些值反映了无响应模型的不确定性；每个值都可以被用来插补数据集中的缺失值，产生若干个完整数据集合。
步骤二：每个插补数据集合都用针对完整数据集的统计方法进行统计分析。
步骤三：对来自各个插补数据集的结果，根据评分函数进行选择，产生最终的插补值。
假设一组数据，包括三个变量Y1，Y2，Y3，它们的联合分布为正态分布，将这组数据处理成三组，A组保持原始数据，B组仅缺失Y3，C组缺失Y1和Y2。在多值插补时，对A组将不进行任何处理，对B组产生Y3的一组估计值(作Y3关于Y1，Y2的回归)，对C组作产生Y1和Y2的一组成对估计值(作Y1，Y2关于Y3的回归)。当用多值插补时，对A组将不进行处理，对B、C组将完整的样本随机抽取形成为m组(m为可选择的m组插补值)，每组个案数只要能够有效估计参数就可以了。对存在缺失值的属性的分布作出估计，然后基于这m组观测值，对于这m组样本分别产生关于参数的m组估计值，给出相应的预测即，这时采用的估计方法为极大似然法，在计算机中具体的实现算法为期望最大化法(EM)。对B组估计出一组Y3的值，对C将利用Y1,Y2,Y3它们的联合分布为正态分布这一前提，估计出一组(Y1，Y2)。
上例中假定了Y1,Y2,Y3的联合分布为正态分布。这个假设是人为的，但是已经通过验证(Graham和Schafer于1999)，非正态联合分布的变量，在这个假定下仍然可以估计到很接近真实值的结果。多重插补和贝叶斯估计的思想是议致的，但是多重插补弥补了贝叶斯估计的这个不足。
实施例2
本实施例提供一种智慧工地对不完整数据的修补装置，包括：
获取及插入单元，用于获取智慧智能设备的数据，将数据插入到预先创建的数据表中；
缺失值查找单元，用于对所述数据表中的数据进行循环遍历，查找缺失值所在位置并标记为空值；
分析单元，用于为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补。
实施例3
本实施例提供一种智慧工地对不完整数据的修补装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据实施例1中任一项所述方法的步骤。
实施例4
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例1中任一项所述方法的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种智慧工地对不完整数据的修补方法，其特征在于，包括：
获取智慧智能设备的数据，将数据插入到预先创建的数据表中；
对所述数据表中的数据进行循环遍历，查找缺失值所在位置并标记为空值；
为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补。
2.根据权利要求1所述的智慧工地对不完整数据的修补方法，其特征在于，所述为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补，包括:
采用平均值算法计算数据表中每一行或者每一列数据的平均值作为初始插补值；
查看缺失值附件值的数值大小，并与平均值做对比，确定最终的插补值并进行插补。
3.根据权利要求2所述的智慧工地对不完整数据的修补方法，其特征在于，所述查看缺失值附件值的数值大小，并与平均值做对比，确定最终的插补值并进行插补包括：
当采用每一行数据计算平均值时，若缺失值的左右两侧都有数据值，则使用平均值进行插补，若缺失值的左侧有数据值，右侧没有，则使用数值左侧的值进行插补，若缺失值的右侧有数据值，左侧没有，则使用数值右侧的值进行插补。
4.根据权利要求2所述的智慧工地对不完整数据的修补方法，其特征在于，所述查看缺失值附件值的数值大小，并与平均值做对比，确定最终的插补值并进行插补包括：
当采用每一列数据计算平均值时，若缺失值的上下两侧都有数据值，则使用平均值进行插补，若缺失值的上侧有数据值，下侧没有，则使用数值上侧的值进行插补，若缺失值的下侧有数据值，上侧没有，则使用数值下侧的值进行插补。
5.根据权利要求2所述的智慧工地对不完整数据的修补方法，其特征在于：数据插补完以后，若数据行中没有任何的数据，这种数据将复制上一条或者下一条数据行的值来进行插补。
6.根据权利要求2所述的智慧工地对不完整数据的修补方法，其特征在于：数据插补完以后，若数据列中没有任何的数据，这种数据将复制左一侧或者右一侧数据列的值来进行插补。
7.根据权利要求1所述的智慧工地对不完整数据的修补方法，其特征在于，所述为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补，包括:
采用多重插补方法为每个空值产生一套初始插补值，组成若干个插补数据集合；
对每个插补数据集合都采用针对完整数据集的统计方法进行统计分析；
对来自各个插补数据集的结果，根据评分函数进行选择，产生最终的插补值并进行插补。
8.一种智慧工地对不完整数据的修补装置，其特征在于，包括：
获取及插入单元，用于获取智慧智能设备的数据，将数据插入到预先创建的数据表中；
缺失值查找单元，用于对所述数据表中的数据进行循环遍历，查找缺失值所在位置并标记为空值；
分析单元，用于为每个空值产生一套初始插补值，对所述初始插补值进行统计分析，确定最终的插补值并进行插补。
9.一种智慧工地对不完整数据的修补装置，其特征在于：包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1～7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现权利要求1～7任一项所述方法的步骤。
CN202211199806.9A 2022-09-29 2022-09-29 一种智慧工地对不完整数据的修补方法、装置及存储介质 Pending CN115757390A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211199806.9A CN115757390A (zh) 2022-09-29 2022-09-29 一种智慧工地对不完整数据的修补方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211199806.9A CN115757390A (zh) 2022-09-29 2022-09-29 一种智慧工地对不完整数据的修补方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN115757390A true CN115757390A (zh) 2023-03-07

Family

ID=85350637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211199806.9A Pending CN115757390A (zh) 2022-09-29 2022-09-29 一种智慧工地对不完整数据的修补方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115757390A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116432871A (zh) * 2023-06-13 2023-07-14 北京化工大学 一种基于AdaBoost算法的公交调度优化方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116432871A (zh) * 2023-06-13 2023-07-14 北京化工大学 一种基于AdaBoost算法的公交调度优化方法

Similar Documents

Publication Publication Date Title
CN106250905B (zh) 一种结合高校建筑结构特征的实时能耗异常检测方法
CN113780668B (zh) 一种基于历史数据的城市积水内涝预测方法及系统
Lin et al. A new framework for detection and identification of network parameter errors
EP1630635A2 (en) Method and apparatus for improved fault detection in power generation equipment
CN115757390A (zh) 一种智慧工地对不完整数据的修补方法、装置及存储介质
CN109066687A (zh) 一种电力系统潮流计算方法、系统及电子设备
US20160179889A1 (en) Caching methods and a system for entropy-based cardinality estimation
CN112686971A (zh) 建筑系统关系拓扑无向图有向化方法和系统
CN106155985A (zh) 一种基于相邻数据特征的数据缺失填充方法
CN115098482A (zh) 一种不完整数据的修正补录方法
CN114765574A (zh) 一种网络异常定界定位方法及装置
CN117370744A (zh) 一种电力用户用电异常数据动态清洗方法及系统
WO2020093718A1 (zh) 训练数据重采样方法、装置、存储介质及电子设备
US10345482B2 (en) Global grid building unfaulting sequence for complex fault-network topologies
WO2014178843A1 (en) Database table column annotation
CN112597662B (zh) 一种建筑模型正误校验方法和系统
CN105678844A (zh) 一种基于地物散乱点逐点增加的轮廓构建算法
CN112988892A (zh) 一种分布式系统热点数据的管理方法
Nielsen et al. Risk-based decision making for deterioration processes using POMDP
WO2021147487A1 (zh) 一种数据处理方法及装置
CN108427742A (zh) 一种基于低秩矩阵的配电网可靠性数据修复方法及系统
CN106651776B (zh) 图像修补方法和图像修补装置
CN108595753B (zh) 一种风机电磁暂态恢复特性曲线优化方法和装置
CN112287562A (zh) 一种电力设备退役数据补全方法及系统
CN109145502B (zh) 一种威布尔型单元寿命分布参数估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination