CN112347094B - 工业通用设备物联数据清洗方法、装置和存储介质 - Google Patents
工业通用设备物联数据清洗方法、装置和存储介质 Download PDFInfo
- Publication number
- CN112347094B CN112347094B CN202011232709.6A CN202011232709A CN112347094B CN 112347094 B CN112347094 B CN 112347094B CN 202011232709 A CN202011232709 A CN 202011232709A CN 112347094 B CN112347094 B CN 112347094B
- Authority
- CN
- China
- Prior art keywords
- data
- preset
- repaired
- time
- filled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004140 cleaning Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims description 13
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 12
- 230000005611 electricity Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000001052 transient effect Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 description 8
- 230000006854 communication Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002939 deleterious effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/20—Analytics; Diagnosis
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种工业通用设备物联数据清洗方法，该方法包括：获取通用IoT设备上报的状态数据，存入时序数据库；抽取时序数据库中的状态数据通过预设实体识别算法进行类型识别，得到待修复数据的实体数据信息及其数据类型；若待修复数据的数据类型属于预设区间量，使用预设的区间量特定数据不一致错误检测与修复算法对待修复数据进行数据清洗，得到第一待填充数据；若数据类型属于预设瞬时量，使用预设的瞬时量特定数据不一致错误检测与修复算法对待修复数据进行数据清洗，得到第二待填充数据；若数据类型无法识别，将其归入第三待填充数据；使用不完整数据算法对第一待填充数据、第二待填充数据以及第三待填充数据进行实时检测，填充缺失值并存入预设数据库。
Description
技术领域
本发明涉及数据清洗技术领域，尤其涉及一种工业通用设备物联数据清洗方法、装置和存储介质。
背景技术
工业空压机运行状态数据通过物联模组以工业物联网的方式远程上报到云服务套件，实现海量工业空压机设备状态数据实时收集，集中处理发掘数据的潜在价值，建立相应的决策模型，辅助管理者有效地制定决策，观察反馈，调整优化，提高生产效率或降低生产成本，最终提高工业企业效益。这些数据存在以下特点：
规模性：大量的空压机设备实时高频上报数据，数据规模大，达PB级别高速性：数据增长讯速，空压机设备秒级上报数据，亟须实时处理多样性：数据来源广泛，设备遍布全国各地，数量庞大，工作环境复杂
由于数据的以上特点，加上部分工业设备工作环境复杂、物联模组数据异常，通讯网络抖动等等各种因素，数据在上报存储过程中产生各种错误，产生数据质量问题，这是由于工业物联大数据的性质决定的，如果完全依懒人工清洗，则会导致成本巨大至于难以有效实施，清洗效率低。如果不进行数据清洗，这些错误的数据会使工业设备对决策产生误导，甚至产生有害的结果。鉴于上述原因，需要一种高效的清洗方法对大数据中的错误数据进行清洗，确保基于大数据的各种应用、决策有效实施。
发明内容
本发明实施例的目的在于提出一种工业通用设备物联数据清洗方法、装置和存储介质，旨在克服现有技术所存在的缺陷。
为了解决上述技术问题，本发明实施例提供一种工业通用设备物联数据清洗方法，采用了如下所述的技术方案：
获取通过预设协议解释并实时接收的通用IoT设备上报的状态数据，并存入时序数据库；
抽取所述时序数据库中的状态数据通过预设实体识别算法进行类型识别，得到待修复数据的实体数据信息及其数据类型；
若所述待修复数据的数据类型属于预设区间量，使用预设的区间量特定数据不一致错误检测与修复算法对所述待修复数据进行数据清洗，得到第一待填充数据；若所述数据类型属于预设瞬时量，使用预设的瞬时量特定数据不一致错误检测与修复算法对所述待修复数据进行数据清洗，得到第二待填充数据；若所述数据类型无法识别，将其归入第三待填充数据；
使用不完整数据算法对所述第一待填充数据、所述第二待填充数据以及所述第三待填充数据进行实时检测，填充缺失值并存入预设数据库。
进一步地，所述预设区间量，包括：
用电量读数、流量计读数、设备使用时间、设备运行时间；
所述预设瞬时量，包括：
电流读数、温度读数、电压读数、输出功率读数、输出频率读数、设备加载时间、设备卸载时间、压力读数。
进一步地，所述抽取所述时序数据库中的状态数据通过预设实体识别算法进行类型识别，得到待修复数据的实体数据信息及其数据类型的步骤，具体包括：
通过通用数据处理平台基于滑动时间窗口提取所述状态数据，得到所述待修复数据，并对所述待修复数据进行类型判断；
若所述待修复数据为设备在运行过程中随时间递增呈现为单调递增的数据，则判定该数据的数据类型为预设区间量；若所述待修复数据为设备在运行过程中随时间递增呈现为随机的瞬时数据，则判定该数据的数据类型为预设瞬时量。
进一步地，所述通过通用数据处理平台基于滑动时间窗口提取所述状态数据，得到所述待修复数据的步骤，具体包括：
当所述滑动时间窗口中提取的所述状态数据的时间长度达到预设时间长度时，将所述预设时间长度的所述状态数据作为样本数据，从所述预设时间长度的所述状态数据按时间顺序抽取预设比例的所述状态数据作为待修复数据，未抽取的部分放入下一滑动时间窗口，重复本步骤。
进一步地，所述预设的区间量特定数据不一致错误检测与修复算法，包括步骤：
剔除所述待修复数据中的毛刺数据；
根据所述待修复数据的样本数据及其实体数据信息识别所述待修复数据中的错误数据Xn，
将所述错误数据Xn修改为Xn-1+ΔX；
其中，Xn-1为该错误数据对应的实体上一时刻的状态数值，ΔX为待修复数据中样本数据的平均增量。
进一步地，所述预设的瞬时量特定数据不一致错误检测与修复算法，包括步骤：
剔除所述待修复数据中的毛刺数据；
根据所述待修复数据的样本数据及其实体数据信息识别所述待修复数据中的错误数据Xn，
将所述错误数据Xn修改为(Xn-1+Xn+1)/2；
其中，Xn-1为该错误数据对应的实体上一时刻的状态数值，Xn+1为该错误数据对应的实体下一时刻的状态数值。
为了解决上述技术问题，本发明实施例同时提供一种工业通用设备物联数据清洗装置，采用了如下所述的技术方案：
所述工业通用设备物联数据清洗装置，包括：
获取模块，用于获取通过预设协议解释并实时接收的通用IoT设备上报的状态数据，并存入时序数据库；
抽取模块，用于抽取所述时序数据库中的状态数据通过预设实体识别算法进行类型识别，得到待修复数据的实体数据信息及其数据类型；
清洗模块，用于若所述待修复数据的数据类型属于预设区间量，使用预设的区间量特定数据不一致错误检测与修复算法对所述待修复数据进行数据清洗，得到第一待填充数据；若所述数据类型属于预设瞬时量，使用预设的瞬时量特定数据不一致错误检测与修复算法对所述待修复数据进行数据清洗，得到第二待填充数据；若所述数据类型无法识别，将其归入第三待填充数据；
填充模块，用于使用不完整数据算法对所述第一待填充数据、所述第二待填充数据以及所述第三待填充数据进行实时检测，填充缺失值并存入预设数据库。
进一步地，所述抽取模块，包括：
提取单元，用于通过通用数据处理平台基于滑动时间窗口提取所述状态数据，得到所述待修复数据，并对所述待修复数据进行类型判断；
判断单元，用于若所述待修复数据为设备在运行过程中随时间递增呈现为单调递增的数据，则判定该数据的数据类型为预设区间量；若所述待修复数据为设备在运行过程中随时间递增呈现为随机的瞬时数据，则判定该数据的数据类型为预设瞬时量。
进一步地，所述提取单元，还用于：
当所述滑动时间窗口中提取的所述状态数据的时间长度达到预设时间长度时，将所述预设时间长度的所述状态数据作为样本数据，从所述预设时间长度的所述状态数据按时间顺序抽取预设比例的所述状态数据作为待修复数据，未抽取的部分放入下一滑动时间窗口，重复本步骤。
为了解决上述技术问题，本发明实施例同时提供一种计算机可读存储介质，采用了如下所述的技术方案：
所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的工业通用设备物联数据清洗方法的步骤。
与现有技术相比，本发明实施例提供的工业通用设备物联数据清洗方法、装置和存储介质主要有以下有益效果：
本发明方案利用云平台的高效计算能力来工业通用IoT设备的数据清洗问题，大幅度提升数据清洗效率的同时也大大减少人力消耗，从而极大地减低了企业对工业通用IoT设备的数据清洗的成本，为企业提供准确的工业通用IoT设备上报数据，保障后续针对该数据的各项应用的准确性。
附图说明
为了更清楚地说明本发明中的方案，下面将对本发明实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例中工业通用设备物联数据清洗方法的流程示意图；
图2是本发明一个实施例中预设区间量中的用电量读数示意图；
图3是本发明一个实施例中预设瞬时量中的压力读数示意图；
图4是本发明一个实施例中工业通用设备物联数据清洗装置的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明；本发明的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本发明的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本发明方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。
参照图1，本发明实施例提供一种工业通用设备物联数据清洗方法，包括步骤：
S1、获取通过预设协议解释并实时接收的通用IoT设备上报的状态数据，并存入时序数据库；
S2、抽取所述时序数据库中的状态数据通过预设实体识别算法进行类型识别，得到待修复数据的实体数据信息及其数据类型；
S3、若所述待修复数据的数据类型属于预设区间量，使用预设的区间量特定数据不一致错误检测与修复算法对所述待修复数据进行数据清洗，得到第一待填充数据；若所述数据类型属于预设瞬时量，使用预设的瞬时量特定数据不一致错误检测与修复算法对所述待修复数据进行数据清洗，得到第二待填充数据；若所述数据类型无法识别，将其归入第三待填充数据；
S4、使用不完整数据算法对所述第一待填充数据、所述第二待填充数据以及所述第三待填充数据进行实时检测，填充缺失值并存入预设数据库。
在步骤S1中，上述预设协议指的是，MQTT(消息队列遥测传输)，通过该协议传输通用IoT设备的状态数据至云计算平台。MQTT可以同时维护上百万个并发连接，每条消息的标题可以短至2个字节，极大的减少了建立连接的消息开销，同时，MQTT能够从断开的网络中自动恢复。上述通用IoT设备上报的状态数据具有产生频率快(每一个监测点一秒钟内可产生多条数据)、严重依赖于采集时间(每一条数据均要求对应唯一的时间)、测点多信息量大(常规的实时监测系统均有成千上万的监测点，监测点每秒钟都产生数据)的特点。上述时序数据库针对带时间标签的数据具有特殊的存储方式，使得时序大数据可以高效存储和快速处理海量时序大数据，可以解决海量数据处理的存取问题。
在步骤S2中，上述预设实体识别算法指的是可以解析数据的所属实体和数据的类型的算法，例如，可以通过数据的上报地址解析数据的所属实体。抽取所述时序数据库中的状态数据，指的是通用IoT设备上报的状态数据会先存入时序数据库，再从时序数据库中提取数据，而不直接对上报的数据进行处理，如此的好处是即使数据处理过程中，出现网络波动、断电等情况，也不会导致数据丢失。
在步骤S3中，待修复数据的数据类型分为区间量和瞬时量，不同的数据类型，具有不同的数据特点，针对不同的数据特点，采用不同的处理手段，能够更高效、快捷地清洗数据。若所述数据类型无法识别，通常是由于上报错误导致该数据为空。
在步骤S4中，上述不完整数据算法，指的是从样本数据中获取经验数值的算法，对于要填充的区间量数据，从样本数据中获取经验增量，以待填充数据前一时刻的数值加上经验增量进行填充；对于要填充的瞬时量数据，提取其前后包含待填充数据在内的固定长度的数据，在样本数据中找到与该固定长度的数据最接近的一组数据，以该组数据中与待填充数据位置相同的数据作为经验数值，对该待填充数据进行填充。若检测发现数据集合中的连续缺失值，比如在待填充数据中识别出特定设备的开关机时间，如果这段时间内设备没有上报数据，因通讯异常或物联模组故障漏上报部分数据，使得一段时间内缺失生产数据应答业务查询，通过修复补充完整这部分数据，修补方式可以是由熟悉业务的领域专家介入人工修复。
参照图2-图3，针对上述工业通用设备物联数据清洗方法，本申请还提出了第二实施例其中，所述预设区间量，包括：
用电量读数、流量计读数、设备使用时间、设备运行时间；
所述预设瞬时量，包括：
电流读数、温度读数、电压读数、输出功率读数、输出频率读数、设备加载时间、设备卸载时间、压力读数。
在本实施例中，图2为实施中通用IoT设备为空压机，上报状态数据时间间隔为3分钟时预设区间量中的用电量读数示意图，图3为预设瞬时量中的压力读数示意图。
针对上述工业通用设备物联数据清洗方法，本申请还提出了第三实施例其中，所述抽取所述时序数据库中的状态数据通过预设实体识别算法进行类型识别，得到待修复数据的实体数据信息及其数据类型的步骤，具体包括：
通过通用数据处理平台基于滑动时间窗口提取所述状态数据，得到所述待修复数据，并对所述待修复数据进行类型判断；
若所述待修复数据为设备在运行过程中随时间递增呈现为单调递增的数据，则判定该数据的数据类型为预设区间量；若所述待修复数据为设备在运行过程中随时间递增呈现为随机的瞬时数据，则判定该数据的数据类型为预设瞬时量。
在本实施例中，上述通用数据处理平台可以是Apache Flink流计算平台，由于通用IoT设备上报的状态数据为实时上传，Apache Flink流计算平台可以实时地处理上述实时上报的状态数据，并可以根据需要是否实时地产生数据的结果。上述的待修复数据，指的是通用IoT设备中所有实体上报的状态数据中需要修复的数据，并以实体区分，例如待修复数据可以仅包含用电量读数、流量计读数、设备使用时间、设备运行时间、电流读数、温度读数、电压读数、输出功率读数、输出频率读数、设备加载时间、设备卸载时间、压力读数中的其中一种，也可以包含其中多种。
针对上述工业通用设备物联数据清洗方法，本申请还提出了第四实施例其中，所述通过通用数据处理平台基于滑动时间窗口提取所述状态数据，得到所述待修复数据的步骤，具体包括：
当所述滑动时间窗口中提取的所述状态数据的时间长度达到预设时间长度时，将所述预设时间长度的所述状态数据作为样本数据，从所述预设时间长度的所述状态数据按时间顺序抽取预设比例的所述状态数据作为待修复数据，未抽取的部分放入下一滑动时间窗口，重复本步骤。
在本实施例中，由于通用IoT设备的状态数据为实时上报，状态数据由上报存入时序数据库，再提取到滑动时间窗口，是一个低延时的过程，直接在滑动时间窗口对状态数据进行实时清洗的话，会因为样本数据不够而产生误清洗的情况，因此，本实施例方案将提取的状态数据的时间长度达到预设时间长度时，有足够的样本数据才进行清洗。上述滑动时间窗口的预设时间长度基于实际使用场情配置。例如，通用IoT设备为空压机时，滑动时间窗口的预设时间长度设为2小时，抽取预设比例为时间长度等于1小时的状态数据，以2小时的数据流作为样本数据，每次清洗1个小时的数据流，完成清洗后，时间窗口向后滑动1小时，这使得前后两个时间窗口总是有1个小时的数据交集，为了避免因数据不够而误清洗，所以不清洗这部分数据，留到下一个时间窗口清洗这部分数据。
针对上述工业通用设备物联数据清洗方法，本申请还提出了第五实施例其中，所述预设的区间量特定数据不一致错误检测与修复算法，包括步骤：
剔除所述待修复数据中的毛刺数据；
根据所述待修复数据的样本数据及其实体数据信息识别所述待修复数据中的错误数据Xn，
将所述错误数据Xn修改为Xn-1+ΔX；
其中，Xn-1为该错误数据对应的实体上一时刻的状态数值，ΔX为待修复数据中样本数据的平均增量。
针对上述工业通用设备物联数据清洗方法，本申请还提出了第六实施例，其中，所述预设的瞬时量特定数据不一致错误检测与修复算法，包括步骤：
剔除所述待修复数据中的毛刺数据；
根据所述待修复数据的样本数据及其实体数据信息识别所述待修复数据中的错误数据Xn，
将所述错误数据Xn修改为(Xn-1+Xn+1)/2；
其中，Xn-1为该错误数据对应的实体上一时刻的状态数值，Xn+1为该错误数据对应的实体下一时刻的状态数值。
在第五以及第六实施例中，对于区间值与瞬时值均相关的错误数据包括：数据在通讯过程中出错产生的毛刺数据，这种数据值总时大幅度偏离正常值的取值范围或者出现负数、设备故障重置产生的错误、物联模组寄存器益出、通读协议配置错误、程序BUG产生的错误；仅对于区间值相关错误数据包括：工业设备更换物联模组后数据重置的数据或人工重置物联模组数据。
待修复数据的取值区间，与其所属实体数据信息相关，通过实体数据信息确定的区间最大值和最小值可以识别出取值区间之外的错误数据；通过样本数据则可以识别出取值区间内的错误数据。例如所属实体数据信息为标定380V的电能表，5分钟内递增的读数区间量不可能超过100度；5分钟内递增的读数区间量不可能小于0度。实体数据信息相关的取值区间，由相关工作人员事先根据实际的实体数据信息设定。
参照图4，本发明第七实施例还提供一种工业通用设备物联数据清洗装置，包括：
获取模块1，用于获取通过预设协议解释并实时接收的通用IoT设备上报的状态数据，并存入时序数据库；
抽取模块2，用于抽取所述时序数据库中的状态数据通过预设实体识别算法进行类型识别，得到待修复数据的实体数据信息及其数据类型；
清洗模块3，用于若所述待修复数据的数据类型属于预设区间量，使用预设的区间量特定数据不一致错误检测与修复算法对所述待修复数据进行数据清洗，得到第一待填充数据；若所述数据类型属于预设瞬时量，使用预设的瞬时量特定数据不一致错误检测与修复算法对所述待修复数据进行数据清洗，得到第二待填充数据；若所述数据类型无法识别，将其归入第三待填充数据；
填充模块4，用于使用不完整数据算法对所述第一待填充数据、所述第二待填充数据以及所述第三待填充数据进行实时检测，填充缺失值并存入预设数据库。
在获取模块1中，上述预设协议指的是，MQTT(消息队列遥测传输)，通过该协议传输通用IoT设备的状态数据至云计算平台。MQTT可以同时维护上百万个并发连接，每条消息的标题可以短至2个字节，极大的减少了建立连接的消息开销，同时，MQTT能够从断开的网络中自动恢复。上述通用IoT设备上报的状态数据具有产生频率快(每一个监测点一秒钟内可产生多条数据)、严重依赖于采集时间(每一条数据均要求对应唯一的时间)、测点多信息量大(常规的实时监测系统均有成千上万的监测点，监测点每秒钟都产生数据)的特点。上述时序数据库针对带时间标签的数据具有特殊的存储方式，使得时序大数据可以高效存储和快速处理海量时序大数据，可以解决海量数据处理的存取问题。
在抽取模块2中，上述预设实体识别算法指的是可以解析数据的所属实体和数据的类型的算法，例如，可以通过数据的上报地址解析数据的所属实体。抽取所述时序数据库中的状态数据，指的是通用IoT设备上报的状态数据会先存入时序数据库，再从时序数据库中提取数据，而不直接对上报的数据进行处理，如此的好处是即使数据处理过程中，出现网络波动、断电等情况，也不会导致数据丢失。
在清洗模块3中，待修复数据的数据类型分为区间量和瞬时量，不同的数据类型，具有不同的数据特点，针对不同的数据特点，采用不同的处理手段，能够更高效、快捷地清洗数据。若所述数据类型无法识别，通常是由于上报错误导致该数据为空。
在填充模块4中，上述不完整数据算法，指的是从样本数据中获取经验数值的算法，对于要填充的区间量数据，从样本数据中获取经验增量，以待填充数据前一时刻的数值加上经验增量进行填充；对于要填充的瞬时量数据，提取其前后包含待填充数据在内的固定长度的数据，在样本数据中找到与该固定长度的数据最接近的一组数据，以该组数据中与待填充数据位置相同的数据作为经验数值，对该待填充数据进行填充。若检测发现数据集合中的连续缺失值，比如在待填充数据中识别出特定设备的开关机时间，如果这段时间内设备没有上报数据，因通讯异常或物联模组故障漏上报部分数据，使得一段时间内缺失生产数据应答业务查询，通过修复补充完整这部分数据，修补方式可以是由熟悉业务的领域专家介入人工修复。
针对上述工业通用设备物联数据清洗装置，本申请还提出了第八实施例其中，所述抽取模块2，包括：
提取单元，用于通过通用数据处理平台基于滑动时间窗口提取所述状态数据，得到所述待修复数据，并对所述待修复数据进行类型判断；
判断单元，用于若所述待修复数据为设备在运行过程中随时间递增呈现为单调递增的数据，则判定该数据的数据类型为预设区间量；若所述待修复数据为设备在运行过程中随时间递增呈现为随机的瞬时数据，则判定该数据的数据类型为预设瞬时量。
在本实施例中，上述通用数据处理平台可以是Apache Flink流计算平台，由于通用IoT设备上报的状态数据为实时上传，Apache Flink流计算平台可以实时地处理上述实时上报的状态数据，并可以根据需要是否实时地产生数据的结果。上述的待修复数据，指的是通用IoT设备中所有实体上报的状态数据中需要修复的数据，并以实体区分，例如待修复数据可以仅包含用电量读数、流量计读数、设备使用时间、设备运行时间、电流读数、温度读数、电压读数、输出功率读数、输出频率读数、设备加载时间、设备卸载时间、压力读数中的其中一种，也可以包含其中多种。
针对上述工业通用设备物联数据清洗装置，本申请还提出了第九实施例其中，所述提取单元，还用于：
当所述滑动时间窗口中提取的所述状态数据的时间长度达到预设时间长度时，将所述预设时间长度的所述状态数据作为样本数据，从所述预设时间长度的所述状态数据按时间顺序抽取预设比例的所述状态数据作为待修复数据，未抽取的部分放入下一滑动时间窗口，重复本步骤。
在本实施例中，由于通用IoT设备的状态数据为实时上报，状态数据由上报存入时序数据库，再提取到滑动时间窗口，是一个低延时的过程，直接在滑动时间窗口对状态数据进行实时清洗的话，会因为样本数据不够而产生误清洗的情况，因此，本实施例方案将提取的状态数据的时间长度达到预设时间长度时，有足够的样本数据才进行清洗。上述滑动时间窗口的预设时间长度基于实际使用场情配置。例如，通用IoT设备为空压机时，滑动时间窗口的预设时间长度设为2小时，抽取预设比例为时间长度等于1小时的状态数据，以2小时的数据流作为样本数据，每次清洗1个小时的数据流，完成清洗后，时间窗口向后滑动1小时，这使得前后两个时间窗口总是有1个小时的数据交集，为了避免因数据不够而误清洗，所以不清洗这部分数据，留到下一个时间窗口清洗这部分数据。
针对上述工业通用设备物联数据清洗方法和装置，本申请第十实施例还提出了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法中任一项所述的工业通用设备物联数据清洗方法的步骤。
显然，以上所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，附图中给出了本发明的较佳实施例，但并不限制本发明的专利范围。本发明可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。
Claims (6)
1.一种工业通用设备物联数据清洗方法，其特征在于，包括步骤：
获取通过预设协议解释并实时接收的通用IoT设备上报的状态数据，并存入时序数据库；
抽取所述时序数据库中的状态数据通过预设实体识别算法进行类型识别，得到待修复数据的实体数据信息及其数据类型；
若所述待修复数据的数据类型属于预设区间量，使用预设的区间量特定数据不一致错误检测与修复算法对所述待修复数据进行数据清洗，得到第一待填充数据；若所述数据类型属于预设瞬时量，使用预设的瞬时量特定数据不一致错误检测与修复算法对所述待修复数据进行数据清洗，得到第二待填充数据；若所述数据类型无法识别，将其归入第三待填充数据；
使用不完整数据算法对所述第一待填充数据、所述第二待填充数据以及所述第三待填充数据进行实时检测，填充缺失值并存入预设数据库；
其中，所述抽取所述时序数据库中的状态数据通过预设实体识别算法进行类型识别，得到待修复数据的实体数据信息及其数据类型的步骤，具体包括：
通过通用数据处理平台基于滑动时间窗口提取所述状态数据，得到所述待修复数据，并对所述待修复数据进行类型判断；
若所述待修复数据为设备在运行过程中随时间递增呈现为单调递增的数据，则判定该数据的数据类型为预设区间量；若所述待修复数据为设备在运行过程中随时间递增呈现为随机的瞬时数据，则判定该数据的数据类型为预设瞬时量；
其中，所述通过通用数据处理平台基于滑动时间窗口提取所述状态数据，得到所述待修复数据的步骤，具体包括：
当所述滑动时间窗口中提取的所述状态数据的时间长度达到预设时间长度时，将所述预设时间长度的所述状态数据作为样本数据，从所述预设时间长度的所述状态数据按时间顺序抽取预设比例的所述状态数据作为待修复数据，未抽取的部分放入下一滑动时间窗口，重复本步骤。
2.根据权利要求1所述的工业通用设备物联数据清洗方法，其特征在于，所述预设区间量，包括：
用电量读数、流量计读数、设备使用时间、设备运行时间；
所述预设瞬时量，包括：
电流读数、温度读数、电压读数、输出功率读数、输出频率读数、设备加载时间、设备卸载时间、压力读数。
3.根据权利要求1所述的工业通用设备物联数据清洗方法，其特征在于，所述预设的区间量特定数据不一致错误检测与修复算法，包括步骤：
剔除所述待修复数据中的毛刺数据；
根据所述待修复数据的样本数据及其实体数据信息识别所述待修复数据中的错误数据Xn，
将所述错误数据Xn修改为Xn-1+ΔX；
其中，Xn-1为该错误数据对应的实体上一时刻的状态数值，ΔX为待修复数据中样本数据的平均增量。
4.根据权利要求1所述的工业通用设备物联数据清洗方法，其特征在于，所述预设的瞬时量特定数据不一致错误检测与修复算法，包括步骤：
剔除所述待修复数据中的毛刺数据；
根据所述待修复数据的样本数据及其实体数据信息识别所述待修复数据中的错误数据Xn，
将所述错误数据Xn修改为(Xn-1+Xn+1)/2；
其中，Xn-1为该错误数据对应的实体上一时刻的状态数值，Xn+1为该错误数据对应的实体下一时刻的状态数值。
5.一种工业通用设备物联数据清洗装置，其特征在于，包括：
获取模块，用于获取通过预设协议解释并实时接收的通用IoT设备上报的状态数据，并存入时序数据库；
抽取模块，用于抽取所述时序数据库中的状态数据通过预设实体识别算法进行类型识别，得到待修复数据的实体数据信息及其数据类型；
清洗模块，用于若所述待修复数据的数据类型属于预设区间量，使用预设的区间量特定数据不一致错误检测与修复算法对所述待修复数据进行数据清洗，得到第一待填充数据；若所述数据类型属于预设瞬时量，使用预设的瞬时量特定数据不一致错误检测与修复算法对所述待修复数据进行数据清洗，得到第二待填充数据；若所述数据类型无法识别，将其归入第三待填充数据；
填充模块，用于使用不完整数据算法对所述第一待填充数据、所述第二待填充数据以及所述第三待填充数据进行实时检测，填充缺失值并存入预设数据库；
其中，所述抽取模块，包括：
提取单元，用于通过通用数据处理平台基于滑动时间窗口提取所述状态数据，得到所述待修复数据，并对所述待修复数据进行类型判断；
判断单元，用于若所述待修复数据为设备在运行过程中随时间递增呈现为单调递增的数据，则判定该数据的数据类型为预设区间量；若所述待修复数据为设备在运行过程中随时间递增呈现为随机的瞬时数据，则判定该数据的数据类型为预设瞬时量；
其中，所述提取单元，还用于：
当所述滑动时间窗口中提取的所述状态数据的时间长度达到预设时间长度时，将所述预设时间长度的所述状态数据作为样本数据，从所述预设时间长度的所述状态数据按时间顺序抽取预设比例的所述状态数据作为待修复数据，未抽取的部分放入下一滑动时间窗口，重复本步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的工业通用设备物联数据清洗方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011232709.6A CN112347094B (zh) | 2020-11-06 | 2020-11-06 | 工业通用设备物联数据清洗方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011232709.6A CN112347094B (zh) | 2020-11-06 | 2020-11-06 | 工业通用设备物联数据清洗方法、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112347094A CN112347094A (zh) | 2021-02-09 |
| CN112347094B true CN112347094B (zh) | 2024-03-15 |
Family
ID=74428993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011232709.6A Active CN112347094B (zh) | 2020-11-06 | 2020-11-06 | 工业通用设备物联数据清洗方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112347094B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114595214B (zh) * | 2022-03-03 | 2023-05-02 | 江苏鼎驰电子科技有限公司 | 一种大数据治理系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109783552A (zh) * | 2018-11-28 | 2019-05-21 | 中国电力科学研究院有限公司 | 一种数据清洗修复方法 |
| CN111241079A (zh) * | 2020-01-08 | 2020-06-05 | 哈尔滨工业大学 | 一种数据清洗方法、装置及计算机可读存储介质 |
| CN111651440A (zh) * | 2020-04-30 | 2020-09-11 | 深圳壹账通智能科技有限公司 | 用户信息判别方法、装置及计算机可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11113614B2 (en) * | 2015-07-29 | 2021-09-07 | Parsons Corporation | Enterprise hypothesis orchestration |
-
2020
- 2020-11-06 CN CN202011232709.6A patent/CN112347094B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109783552A (zh) * | 2018-11-28 | 2019-05-21 | 中国电力科学研究院有限公司 | 一种数据清洗修复方法 |
| CN111241079A (zh) * | 2020-01-08 | 2020-06-05 | 哈尔滨工业大学 | 一种数据清洗方法、装置及计算机可读存储介质 |
| CN111651440A (zh) * | 2020-04-30 | 2020-09-11 | 深圳壹账通智能科技有限公司 | 用户信息判别方法、装置及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 大规模配电网负荷数据在线清洗与修复方法研究;刁赢龙;盛万兴;刘科研;何开元;孟晓丽;;电网技术;20151105(11);第3134-3140页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112347094A (zh) | 2021-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103310051B (zh) | 一种全寿命周期内的车载信息终端故障率预测方法 | |
| CN106093838A (zh) | 关口电能表远程在线校验方法及系统 | |
| CN110825798A (zh) | 一种电力应用数据维护方法及装置 | |
| CN109634944B (zh) | 一种基于多维度时空分析的网损数据清洗方法 | |
| CN112347094B (zh) | 工业通用设备物联数据清洗方法、装置和存储介质 | |
| CN116992391B (zh) | 一种硬碳工艺环保监测数据采集处理方法 | |
| CN111198979A (zh) | 一种用于对输变电可靠性评估大数据进行清洗的方法及系统 | |
| CN113084388A (zh) | 焊接质量的检测方法、系统、装置及存储介质 | |
| CN112580858A (zh) | 设备参数预测分析方法及系统 | |
| CN117993895B (zh) | 电网设备全生命周期管理系统 | |
| CN116972910A (zh) | 一种火电厂电气设备的监测方法及系统 | |
| CN117493498B (zh) | 基于工业互联网的电力数据挖掘与分析系统 | |
| CN117130851B (zh) | 一种高性能计算集群运行效率评价方法及系统 | |
| CN110703183A (zh) | 一种智能电能表故障数据分析方法及系统 | |
| CN118093336A (zh) | 一种面向硬件的风险分析方法及系统 | |
| CN114021338A (zh) | 一种基于多源数据融合的可靠性评估方法 | |
| CN116708514B (zh) | 一种基于物联网的电能表数据采集方法及系统 | |
| CN117607784A (zh) | 一种电表运行误差实时监测系统 | |
| CN117195451A (zh) | 一种基于图论的桥梁监测数据修复方法 | |
| CN112380206A (zh) | 一种交通时序数据的诊断和修复方法 | |
| CN112561333A (zh) | 一种考核数据处理方法、装置、电子设备及存储介质 | |
| CN111737067A (zh) | 一种硬盘故障预测模型解释方法及装置 | |
| CN115511374A (zh) | 一种工艺指标相关性计算方法、装置、设备及存储介质 | |
| CN110455503B (zh) | 一种紫外线管寿命监测方法及装置 | |
| CN113407520A (zh) | 一种基于机器学习的电力网络安全数据清洗系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: No. 118, Building C1, No.1 Qingsheng Avenue, Nansha District, Guangzhou City, Guangdong Province, 511455 Patentee after: Guangdong Mushroom IoT Technology Co.,Ltd. Country or region after: China Address before: 518000 building 1505 (Block C), building 9, Baoneng Science Park, Qinghu village, Qinghu community, Longhua street, Longhua District, Shenzhen City, Guangdong Province Patentee before: MOGULINKER TECHNOLOGY (SHENZHEN) CO.,LTD. Country or region before: China |