CN111221809B - 基于实时数据库存储的数据清洗方法和系统及存储介质 - Google Patents
基于实时数据库存储的数据清洗方法和系统及存储介质 Download PDFInfo
- Publication number
- CN111221809B CN111221809B CN202010019334.9A CN202010019334A CN111221809B CN 111221809 B CN111221809 B CN 111221809B CN 202010019334 A CN202010019334 A CN 202010019334A CN 111221809 B CN111221809 B CN 111221809B
- Authority
- CN
- China
- Prior art keywords
- data
- real
- value
- error
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004140 cleaning Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003860 storage Methods 0.000 title claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000001502 supplementing effect Effects 0.000 claims abstract description 9
- 238000012937 correction Methods 0.000 claims abstract description 6
- 238000007405 data analysis Methods 0.000 claims abstract description 6
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000007726 management method Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 3
- 230000005611 electricity Effects 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 2
- 230000037430 deletion Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 abstract description 3
- 238000010248 power generation Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000007488 abnormal function Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于实时数据库存储的数据清洗方法，包括：将实时运行数据包数据解析，按照列式存储方式落盘至实时数据库；检查数据是否存在非法字符、数据缺失、数字量错误、模拟量超限和逻辑错误，并针对检查出的错误数据分别进行清洗和补齐。还公开了一种基于实时数据库存储的数据清洗系统和一种存储介质。本发明通过对实时数据的非法字符、数据缺失、数字量错误、模拟量超限和逻辑错误进行检查，清洗和补齐，保证数据库落盘的数据准确性和有效性，保证业务系统数据分析、指标评价结果准确性。还可实现用户依据实际情况灵活配置阈值或校正值，更好的解决错误数据清洗工作，能满足数据处理的适应性，满足数据处理规则由用户灵活配置的要求。
Description
技术领域
本发明涉及数据清洗领域，特别是涉及一种基于实时数据库存储的数据清洗方法和系统及存储介质。
背景技术
大数据时代，数据是企业最具价值的资产之一，作为风力发电设备制造企业，风电场运行数据是评价企业研发、质量管控、现场运维等能力的重要基础。数据清洗的作用主要包括以下几方面内容：(1)纠正采集数据中可以识别的错误数据，主要包括数据不一致、无效数据、缺失数据、超限数据等错误数据的处理。(2)为了满足数据处理的适应性以及实际风电场数据处理业务需求，要求数据处理规则可以由用户灵活配置。
目前数据中心需要从多个风电场采集大量的秒级运行数据存储到实时数据库中，这些数据可能由于网络质量不佳、设备异常、操作人员误操作等情况造成错误数据传回至数据中心。目前数据中心实时数据库会将采集到的原始数据直接落盘，因此数据中心采集到的错误数据未经过清洗操作。数据中心展示系统根据业务需求对实时数据库数据进行相关的查询统计等计算，由于错误数据未被清洗参与了业务计算从而导致关系数据库数据存储、界面显示、趋势图等功能显示出现异常。因此处理错误数据异常存储的问题亟待解决。
本申请就是在此基础上，创设的一种新的基于实时数据库存储的数据清洗方法和系统及存储介质，使其既能对错误数据进行及时清洗、补齐，还能满足用户灵活配置的处理规则，保证实时数据库落盘的数据准确性和有效性，成为当前业界极需改进的目标。
发明内容
本发明要解决的技术问题是提供一种基于实时数据库存储的数据清洗方法，使其既能对错误数据进行及时清洗、补齐，还能满足用户灵活配置的处理规则，保证实时数据库落盘的数据准确性和有效性，从而克服现有的数据清洗方法的不足。
为解决上述技术问题，本发明提供一种基于实时数据库存储的数据清洗方法，包括如下步骤：
(1)将从现场采集的实时运行数据包进行数据解析，按照列式存储的方式将采集数据落盘至实时数据库；
(2)检查所述实时数据库中数据是否存在非法字符、数据缺失、数字量错误、模拟量超限和逻辑错误，并针对检查出的错误数据分别进行清洗和补齐。
进一步改进，所述步骤(2)中非法字符包括字母、符号和汉字，所述非法字符的错误数据清洗方法为做空值处理。
进一步改进，所述步骤(2)中数据缺失和做空值处理的数据补齐方法为：按照所述实时数据库中数据头标签值分组，将分组筛选出的同类数据求平均值，将所述平均值赋值给对应的缺失数据或做空值处理的空缺数据，完成数据补齐。
进一步改进，所述步骤(2)中数字量错误是指不符合布尔型数字量数值的数据，所述数字量错误的数据补齐方法为：采用统一标签字段的最近时刻有效数据为清洗后的错误数字量进行赋值。
进一步改进，所述步骤(2)中模拟量超限是指，所述实时数据库中落盘的模拟量数据超出其对应的阈值；所述模拟量超限的数据补齐方法为：首先将所述模拟量数据按照时间标签值进行分类，查找并清洗超出对应阈值的数据，然后存储对应错误数据的时间标签，再检索错误数据出现前一刻的数据，将其赋值给所述错误数据，完成补齐。
进一步改进，所述实时数据库中模拟量数据的阈值由用户根据实际需求进行灵活配置。
进一步改进，所述步骤(2)中逻辑错误的数据补齐方法为：检索发现所述实时数据库中存在逻辑错误的数据时，系统自动记录逻辑错误的第一个值的时间标签，清洗所述数据并读取预先指定配置文件中的变量数据，做相应数据的校正补齐。
本发明还提供一种基于实时数据库存储的数据清洗系统，包括：
非法字符清洗模块，用于检索所述实时数据库中的非法字符，并对其进行空值处理，所述非法字符包括字母、符号和汉字；
缺失数据清洗模块，用于检索所述实时数据库中的缺失数据和做空值处理的数据，并按照所述实时数据库中数据头标签值分组，将分组筛选出的同类数据求平均值，再将所述平均值赋值给对应的缺失数据或做空值处理的空缺数据；
错误数字量清洗模块，用于检索出不符合布尔型数字量数值的错误数字量，然后对其进行清洗，并采用统一标签字段的最近时刻有效数据赋值给所述错误数字量；
超限模拟量清洗模块，用于将所述实时数据库中的模拟量数据按照时间标签值进行分类，查找并清洗超出对应阈值的模拟量数据，然后存储对应错误数据的时间标签，再检索错误数据出现前一刻的数据，将其赋值给错误的模拟量数据；
逻辑错误清洗模块，用于检索所述实时数据库中存在逻辑错误的数据，并自动记录逻辑错误的第一个值的时间标签，清洗错误数据再读取预先指定的配置文件中的变量数据，做相应错误数据的校正补齐；
用户配置管理模块，用于设置所述实时数据库中所有模拟量数据的对应阈值，以及设置逻辑错误时指定配置文件的变量数据。
进一步改进，所述用户配置管理模块中所述实时数据库中所有模拟量数据的对应阈值由用户根据实际需求进行灵活配置。
此外，本发明还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
采用这样的设计后，本发明至少具有以下优点：
1.本发明通过对实时数据中的非法字符、数据缺失、数字量错误、模拟量超限和逻辑错误进行检查，然后清洗和补齐，能保证数据库落盘的数据准确性和有效性，保证业务系统数据分析、指标评价结果的准确性，为公司的生产经营，设备研发等工作提供准确有效的运行数据。
2.本发明通过设置用户配置管理模块，可实现用户依据实际情况灵活配置阈值或校正值的方式，更好的解决错误数据清洗工作，能满足数据处理的适应性以及实际风电场数据处理业务需求，满足数据处理规则由用户灵活配置的要求。
附图说明
上述仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，以下结合附图与具体实施方式对本发明作进一步的详细说明。
图1是本发明基于实时数据库存储的数据清洗系统的结构示意图。
图2是本发明数据清洗方法中超限模拟量清洗的处理流程图。
具体实施方式
本实施例以针对风电场运行数据清洗为例，对本申请数据清洗方法进行详细说明，不应理解为是对本申请的任何限制。本实施例基于实时数据库存储的风电场运行数据清洗方法具体实施例如下。
本实施例基于实时数据库存储的风电场运行数据清洗方法，包括如下步骤：
(1)将从风电机组现场采集的实时运行数据包进行数据解析，按照列式存储的方式将采集数据落盘至实时数据库。
其中，数据列式存储的格式为：时间标签+省id+风场id+风机kks码+数据tag值+实时数据，具体程序为以时间标签做排序规则，按照“省id+风场id+风机kks码+数据tag值”进行分类筛选，将采集数据分块存储。
(2)检查实时数据库中数据是否存在非法字符、数据缺失、数字量错误、模拟量超限和逻辑错误，并针对检查出的错误数据分别进行清洗和补齐。
其中，非法字符包括字母、符号和汉字。
本实施例中针对非法字符的错误数据清洗方法为做空值处理。
然后，针对数据缺失和做空值处理的数据补齐方法为：按照实时数据库中数据头标签值，即时间标签分组，将分组筛选出的同类数据求平均值，将该平均值赋值给对应的缺失数据或做空值处理的空缺数据，则完成数据补齐步骤。
本实施例中数字量错误是指不符合布尔型数字量数值的数据。根据风电场运行数据的规则，所有类型为布尔型的数字量数值只能为0或者1，根据该规则检索实时数据库中存储的数字量数据是否有不符合业务规则的数据，即不为0或1的数据。将不符合业务规则的数据检索出来、清洗并进行赋值。
针对该数字量错误的数据补齐方法为：采用统一标签字段的最近时刻有效数据为清洗后的错误数字量进行赋值。
模拟量超限是指该实时数据库中落盘的模拟量数据超出其对应的阈值。该实时数据库中模拟量数据的阈值由用户根据实际需求进行灵活配置。如用户会根据风电场地形、机型、实际应用需求调整对应的最大最小阈值。
实际风机运行时，由于传感器误差、失效、人员误操作、风机调试等原因会造成风场的模拟量超出对应的阈值。在清洗该超限模拟量数据时，首先按照时间标签值进行分类，查找到超出指定阈值的数据串，存储对应错误数据的时间标签，检索错误数据出现前一刻的数据赋值给该错误数据，完成补齐。
具体的，参照附图2所示，本实施例针对超限模拟量清洗方法包括以下步骤：
A1.查询指定Tag的数据阈值：根据在实时数据库分类的“省id+风场id+风机kks码+数据tag值”数据标签，查找用户配置信息文件，读取对应的数据标签阈值，将其存储到一个临时变量中。
A2.定位超限数据：根据从配置信息文件中查找的指定数据测点的阈值，到对应测点分类筛选的数据块中进行依次检索判断。
A3.处理超限数据：在检索中如果发现实时数据库存储的数据超出阈值，将该数据修改为上一条对应测点数据，继续向后检索完成超限数据清洗和补齐。
还有，逻辑错误是指不符合风电场业务逻辑的错误数据。如本实施例中不符合业务逻辑的实时数据是在实时数据库中动态判断发电量指标是否一直处于递增的状态，如果检索发现发电量出现变小的情况，系统自动记录逻辑错误的第一个值的时间标签，清洗错误数据并读取预先指定配置文件中的变量数据，做相应数据的校正补齐。
具体的，本实施例针对逻辑错误数据自动清洗方法包括以下步骤：
B1.读取用户配置的初始发电量补写值，默认用户初始配置发电量补写值为0。
B2.给实时发电量赋值：实时数据库落盘存储的发电量是实时采集发电量与用户配置的发电量补写值的合计值，如果用户未配置发电量补写值的初始值，系统默认该值为0。
B3.发电量异常提示：实时数据库按时间数据列式存储数据，轮询检查发电量数据是否按照逻辑递增的方式存储，如果出现非逻辑递增或突然减小的方式存储，系统自动记录趋势异常变化第一个值的时间标签。实时数据库iot数据流报错，提示发电量数据存储出现异常。
B4.发电量补写：用户根据实时数据库后台提醒，调取对应的数据，将修正值通过用户配置界面写到发电量补写值中。
B5：错误数据修正：系统自动判断到发电量补写值发生变化，记录变化时间。系统根据记录的第一个异常数据时间标签开始检索，将当前错误数据逐一用存储值加发电量补写值的合计数据进行回写修正，直到发电量补写值发生变化的时间点结束。
根据上述基于实时数据库存储的数据清洗方法，能实现及时快速的检索出错误数据，然后分别进行清洗和补齐，保证落盘的实时数据库中数据准确性高，使最终业务系统数据分析、指标评价结果准确可靠。
基于上述数据清洗方法，该基于实时数据库存储的数据清洗系统，参照附图1所示，包括：
非法字符清洗模块，用于检索实时数据库中的非法字符，并对其进行空值处理，该非法字符包括字母、符号和汉字。
缺失数据清洗模块，用于检索实时数据库中的缺失数据和做空值处理的数据，并按照实时数据库中数据头标签值分组，将分组筛选出的同类数据求平均值，再将平均值赋值给对应的缺失数据或做空值处理的空缺数据。
错误数字量清洗模块，用于检索出不符合布尔型数字量数值的错误数字量，然后对其进行清洗，并采用统一标签字段的最近时刻有效数据赋值给错误数字量。
超限模拟量清洗模块，用于将实时数据库中的模拟量数据按照时间标签值进行分类，查找并清洗超出对应阈值的模拟量数据，然后存储对应错误数据的时间标签，再检索错误数据出现前一刻的数据，将其赋值给错误的模拟量数据。
逻辑错误清洗模块，用于检索实时数据库中存在逻辑错误的数据，并自动记录逻辑错误的第一个值的时间标签，清洗错误数据再读取预先指定的配置文件中的变量数据，做相应错误数据的校正补齐。
用户配置管理模块，用于设置实时数据库中所有模拟量数据的对应阈值，以及设置逻辑错误时指定配置文件的变量数据。其中，实时数据库中所有模拟量数据的对应阈值由用户根据实际需求进行灵活设置，实现满足用户灵活配置的处理规则。
此外，本实施例中还包括一种存储介质。该存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述数据清洗方法的步骤。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，本领域技术人员利用上述揭示的技术内容做出些许简单修改、等同变化或修饰，均落在本发明的保护范围内。
Claims (3)
1.一种基于实时数据库存储的数据清洗方法，其特征在于，包括如下步骤：
(1)将从现场采集的实时运行数据包进行数据解析，按照列式存储的方式将采集数据落盘至实时数据库；
其中，数据列式存储的格式为：时间标签+省id+风场id+风机kks码+数据tag值+实时数据，具体程序为以时间标签做排序规则，按照“省id+风场id+风机kks码+数据tag值”进行分类筛选，将采集数据分块存储；
(2)检查所述实时数据库中数据是否存在非法字符、数据缺失、数字量错误、模拟量超限和逻辑错误，并针对检查出的错误数据分别进行清洗和补齐；
其中，非法字符包括字母、符号和汉字，所述非法字符的错误数据清洗方法为做空值处理，数据缺失和做空值处理的数据补齐方法为：按照所述实时数据库中数据头标签值分组，将分组筛选出的同类数据求平均值，将所述平均值赋值给对应的缺失数据或做空值处理的空缺数据，完成数据补齐；
数字量错误是指不符合布尔型数字量数值的数据，所述数字量错误的数据补齐方法为：采用统一标签字段的最近时刻有效数据为清洗后的错误数字量进行赋值；
模拟量超限是指，所述实时数据库中落盘的模拟量数据超出其对应的阈值；所述模拟量超限的数据补齐方法为：首先将所述模拟量数据按照时间标签值进行分类，查找并清洗超出对应阈值的数据，然后存储对应错误数据的时间标签，再检索错误数据出现前一刻的数据，将其赋值给所述错误数据，完成补齐；所述实时数据库中模拟量数据的阈值由用户根据实际需求进行灵活配置；
逻辑错误的数据补齐方法为：检索发现所述实时数据库中存在逻辑错误的数据时，系统自动记录逻辑错误的第一个值的时间标签，清洗所述数据并读取预先指定配置文件中的变量数据，做相应数据的校正补齐；
针对超限模拟量清洗方法包括以下步骤：
A1.查询指定Tag的数据阈值：根据在实时数据库分类的“省id+风场id+风机kks码+数据tag值”数据标签，查找用户配置信息文件，读取对应的数据标签阈值，将其存储到一个临时变量中；
A2.定位超限数据：根据从配置信息文件中查找的指定数据测点的阈值，到对应测点分类筛选的数据块中进行依次检索判断；
A3.处理超限数据：在检索中如果发现实时数据库存储的数据超出阈值，将该数据修改为上一条对应测点数据，继续向后检索完成超限数据清洗和补齐；
针对逻辑错误数据自动清洗方法包括以下步骤：
B1.读取用户配置的初始发电量补写值，默认用户初始配置发电量补写值为0；
B2.给实时发电量赋值：实时数据库落盘存储的发电量是实时采集发电量与用户配置的发电量补写值的合计值，如果用户未配置发电量补写值的初始值，系统默认该值为0；
B3.发电量异常提示：实时数据库按时间数据列式存储数据，轮询检查发电量数据是否按照逻辑递增的方式存储，如果出现非逻辑递增或突然减小的方式存储，系统自动记录趋势异常变化第一个值的时间标签；实时数据库iot数据流报错，提示发电量数据存储出现异常；
B4.发电量补写：用户根据实时数据库后台提醒，调取对应的数据，将修正值通过用户配置界面写到发电量补写值中；
B5.错误数据修正：系统自动判断到发电量补写值发生变化，记录变化时间，系统根据记录的第一个异常数据时间标签开始检索，将当前错误数据逐一用存储值加发电量补写值的合计数据进行回写修正，直到发电量补写值发生变化的时间点结束。
2.一种根据权利要求1所述的基于实时数据库存储的数据清洗方法的数据清洗系统，其特征在于，包括：
非法字符清洗模块，用于检索所述实时数据库中的非法字符，并对其进行空值处理，所述非法字符包括字母、符号和汉字；
缺失数据清洗模块，用于检索所述实时数据库中的缺失数据和做空值处理的数据，并按照所述实时数据库中数据头标签值分组，将分组筛选出的同类数据求平均值，再将所述平均值赋值给对应的缺失数据或做空值处理的空缺数据；
错误数字量清洗模块，用于检索出不符合布尔型数字量数值的错误数字量，然后对其进行清洗，并采用统一标签字段的最近时刻有效数据赋值给所述错误数字量；
超限模拟量清洗模块，用于将所述实时数据库中的模拟量数据按照时间标签值进行分类，查找并清洗超出对应阈值的模拟量数据，然后存储对应错误数据的时间标签，再检索错误数据出现前一刻的数据，将其赋值给错误的模拟量数据；
逻辑错误清洗模块，用于检索所述实时数据库中存在逻辑错误的数据，并自动记录逻辑错误的第一个值的时间标签，清洗错误数据再读取预先指定的配置文件中的变量数据，做相应错误数据的校正补齐；
用户配置管理模块，用于设置所述实时数据库中所有模拟量数据的对应阈值，以及设置逻辑错误时指定配置文件的变量数据，其中所述实时数据库中所有模拟量数据的对应阈值由用户根据实际需求进行灵活配置。
3.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010019334.9A CN111221809B (zh) | 2020-01-08 | 2020-01-08 | 基于实时数据库存储的数据清洗方法和系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010019334.9A CN111221809B (zh) | 2020-01-08 | 2020-01-08 | 基于实时数据库存储的数据清洗方法和系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111221809A CN111221809A (zh) | 2020-06-02 |
| CN111221809B true CN111221809B (zh) | 2024-05-24 |
Family
ID=70831076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010019334.9A Active CN111221809B (zh) | 2020-01-08 | 2020-01-08 | 基于实时数据库存储的数据清洗方法和系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111221809B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111858570B (zh) * | 2020-07-06 | 2024-08-09 | 中国科学院上海有机化学研究所 | 一种ccs数据的标准化方法、数据库构建方法以及数据库系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040047439A (ko) * | 2002-11-30 | 2004-06-05 | 이원재 | 데이터 무결성 관리장치와 관리방법 그리고 그 방법을컴퓨터 상에서 실행하는 프로그램을 기록한 기록매체 |
| US7281166B1 (en) * | 2003-05-29 | 2007-10-09 | Sun Microsystems, Inc. | User-customizable input error handling |
| CN104113872A (zh) * | 2013-04-22 | 2014-10-22 | 中国移动通信集团湖北有限公司 | 一种数据业务监控方法及系统 |
| CN104268216A (zh) * | 2014-09-24 | 2015-01-07 | 江苏名通信息科技有限公司 | 一种基于互联网信息的数据清洗系统 |
| CN104679834A (zh) * | 2015-02-06 | 2015-06-03 | 北京工商大学 | 一种时序数据清洗方法及系统 |
| CN106354772A (zh) * | 2016-08-23 | 2017-01-25 | 成都卡莱博尔信息技术股份有限公司 | 具有数据清洗的海量数据系统 |
| CN106789292A (zh) * | 2016-12-29 | 2017-05-31 | 东方网力科技股份有限公司 | 一种异常行为监控方法和装置 |
| CN106776703A (zh) * | 2016-11-15 | 2017-05-31 | 上海汉邦京泰数码技术有限公司 | 一种虚拟化环境下的多元数据清洗技术 |
| CN107910085A (zh) * | 2017-10-30 | 2018-04-13 | 福建福清核电有限公司 | 一种dcs组态数据智能化分析调试方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6728855B2 (en) * | 2001-09-27 | 2004-04-27 | Seagate Technology Llc | Method and system for data path verification |
| WO2003065217A2 (en) * | 2002-01-29 | 2003-08-07 | Koninklijke Philips Electronics N.V. | Method for handling data, data storage system, file system and computer program product |
| US9477728B2 (en) * | 2013-08-09 | 2016-10-25 | Oracle International Corporation | Handling of errors in data transferred from a source application to a target application of an enterprise resource planning (ERP) system |
-
2020
- 2020-01-08 CN CN202010019334.9A patent/CN111221809B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040047439A (ko) * | 2002-11-30 | 2004-06-05 | 이원재 | 데이터 무결성 관리장치와 관리방법 그리고 그 방법을컴퓨터 상에서 실행하는 프로그램을 기록한 기록매체 |
| US7281166B1 (en) * | 2003-05-29 | 2007-10-09 | Sun Microsystems, Inc. | User-customizable input error handling |
| CN104113872A (zh) * | 2013-04-22 | 2014-10-22 | 中国移动通信集团湖北有限公司 | 一种数据业务监控方法及系统 |
| CN104268216A (zh) * | 2014-09-24 | 2015-01-07 | 江苏名通信息科技有限公司 | 一种基于互联网信息的数据清洗系统 |
| CN104679834A (zh) * | 2015-02-06 | 2015-06-03 | 北京工商大学 | 一种时序数据清洗方法及系统 |
| CN106354772A (zh) * | 2016-08-23 | 2017-01-25 | 成都卡莱博尔信息技术股份有限公司 | 具有数据清洗的海量数据系统 |
| CN106776703A (zh) * | 2016-11-15 | 2017-05-31 | 上海汉邦京泰数码技术有限公司 | 一种虚拟化环境下的多元数据清洗技术 |
| CN106789292A (zh) * | 2016-12-29 | 2017-05-31 | 东方网力科技股份有限公司 | 一种异常行为监控方法和装置 |
| CN107910085A (zh) * | 2017-10-30 | 2018-04-13 | 福建福清核电有限公司 | 一种dcs组态数据智能化分析调试方法 |
Non-Patent Citations (3)
| Title |
|---|
| Web数据清洗及其系统框架研究;王琛;计算机时代;20141215(第12期);全文 * |
| 基于MAPGIS数据入库的质量控制;吕悦;测绘;20170215(第01期);全文 * |
| 基于模型驱动的数据清洗组件研究;杨政;云南电力技术;20171215(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111221809A (zh) | 2020-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111027615B (zh) | 基于机器学习的中间件故障预警方法和系统 | |
| US9135280B2 (en) | Grouping interdependent fields | |
| CN110659173A (zh) | 一种运维系统及方法 | |
| CN106095639A (zh) | 一种集群亚健康预警方法及系统 | |
| CN114048870A (zh) | 一种基于日志特征智能挖掘的电力系统异常监测方法 | |
| CN112949874B (zh) | 一种配电终端缺陷特征自诊断方法及系统 | |
| CN110716539B (zh) | 一种故障诊断分析方法和装置 | |
| US11954945B2 (en) | Systems and methods for analyzing machine performance | |
| CN113360722B (zh) | 一种基于多维数据图谱的故障根因定位方法及系统 | |
| CN113778766B (zh) | 基于多维特征的硬盘故障预测模型建立方法及其应用 | |
| CN111813585A (zh) | 慢盘的预测和处理 | |
| CN111221809B (zh) | 基于实时数据库存储的数据清洗方法和系统及存储介质 | |
| CN111626548A (zh) | 一种基于mes系统的质量管理方法和设备 | |
| CN115719283A (zh) | 一种智能化会计管理系统 | |
| CN117591351A (zh) | 磁盘故障检测模型的训练方法以及磁盘故障检测方法 | |
| CN116450734B (zh) | 一种产业园区开发建设数字孪生数据分布式存储方法 | |
| CN116775405A (zh) | 一种数据库自动化巡检系统及巡检方法 | |
| CN114528314B (zh) | 一种工程建设项目监管系统及方法 | |
| CN113434088B (zh) | 一种磁盘识别方法及装置 | |
| CN116061189B (zh) | 一种机器人作业数据处理系统、方法、装置、设备及介质 | |
| CN117289914B (zh) | 基于SpringBoot框架的数据转换系统及方法 | |
| CN112100161B (zh) | 数据处理方法及系统、电子设备及存储介质 | |
| CN117971452A (zh) | 基于服务器硬盘健康度实现Kubernetes节点智能调度和隔离的方法 | |
| CN117893019A (zh) | 投放企业信息化管控系统及操作风险管控方法 | |
| CN114661727A (zh) | 一种针对风机设备故障与告警数据采集的通用方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |