CN110727665B - 物联网设备上报数据质量分析方法及系统 - Google Patents
物联网设备上报数据质量分析方法及系统 Download PDFInfo
- Publication number
- CN110727665B CN110727665B CN201910897341.6A CN201910897341A CN110727665B CN 110727665 B CN110727665 B CN 110727665B CN 201910897341 A CN201910897341 A CN 201910897341A CN 110727665 B CN110727665 B CN 110727665B
- Authority
- CN
- China
- Prior art keywords
- data
- machine learning
- learning model
- sample
- internet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 39
- 238000010801 machine learning Methods 0.000 claims abstract description 143
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000002372 labelling Methods 0.000 claims abstract description 39
- 230000006870 function Effects 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims 2
- 230000006855 networking Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 21
- 230000002159 abnormal effect Effects 0.000 abstract description 12
- 238000013479 data entry Methods 0.000 abstract description 5
- 238000004590 computer program Methods 0.000 description 15
- 238000003860 storage Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 5
- 238000004140 cleaning Methods 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013499 data model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009469 supplementation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供的物联网设备上报数据质量分析方法及系统,通过将物联网数据质量分析结合机器学习,对物联网设备上报数据进行,把合格数据录入到数据库,在数据库数据越来越准确和完善后,等到样本数据库成熟,分析物联网设备采集数据的准确性、数据缺失比率、异常数据占比,对数据的完整性、一致性、准确性做出评估,作为数据质量分析参考。通过模型处理异常值、补录缺失值后,统计分析数据周期性规律、离散型分析,可有效做出预警及统计处理,对物联网设备上报数据与样本数据库数据进行数据标注排序,可以对数据录入进行把关。
Description
技术领域
本申请涉及物联网设备数据质量分析领域,更具体的,涉及一种物联网设备上报数据质量分析方法及系统。
背景技术
物联网的终端为嵌入式计算机系统及其配套的传感器,可以算是互联网的一个延伸,有效实现了物与物、人与物、人与人之间的链接。人工智能像是人的大脑,物联网则更像人的神经网络。人工智能通过大量数据进行分析,作出对未来趋势性的推断。而物联网则肩负着资料收集的重任,通过嵌入在产品中的传感器不断将数据上传至云端,以被人工智能处理和分析。只有当各个部分都赋予了不同层级的智能,才能构成一个完整的生命体。
现有物联网设备主要靠采集和定时发送报文来实现。这种方法存在以下问题:
1.数据采集准确性主要依靠传感器质量好坏,数据质量得不到保证。
2.传统的物联网设备,只能单一的采集和发送报文,性能单一。
发明内容
为了解决上述问题的至少一个,本申请提供一种物联网设备上报数据质量分析方法,包括:
获取当前地区设定时间范围内物联网设备的所有上报数据;所述上报数据包括采集时间和采集值;
确定所述每个上报数据所处的时间区间,所述时间区间通过将全年时长按照设定时间间隔进行划分形成;
将每个上报数据的数据类型以及所处的所述时间区间输入至预设的机器学习模型;其中,所述机器学习模型通过所述物联网设备的历史上报数据训练形成;
根据所述机器学习模型的输出结果对所述上报数据进行质量分析。
在某些实施例中,还包括:
建立所述机器学习模型;
利用所述物联网设备的历史上报数据训练所述机器学习模型。
在某些实施例中,所述建立所述机器学习模型,包括:
建立机器学习模型表达式:f(x)=y=a*x+b;其中,x为采集时间,y为采集值,b是偏差,a是系数;
定义代价函数:J(a,b)=∑f(f(xi)-yi)2,其中所述代价函数的最优解为:
min∑(a*xi+b-yi)2;
通过偏导数计算得出a=∑(xi-xk)(yi-yk)/∑(xi-xk)2,b=yk-a*xk,进而将所述机器学习模型表达式转化为已知a和b的所述机器学习模型;其中xk、yk为实测平均值,xi、yi为样本i的实测值。
在某些实施例中,所述获取所述历史上报数据,包括:
从所述物联网设备的所有历史上报数据中,按照所需置信度计算历史上报数据的选取数量。
在某些实施例中,训练所述机器学习模型,包括:
对所述历史上报数据进行数据分类;
将每个历史上报数据对应的类型及所处的时间区间输入至所述机器学习模型,以使所述机器学习模型输出对应的预测值数据;
将每个历史上报数据的实测值数据与预测值数据组成一个样本,对所述样本进行置信度标注,生成每个样本的置信度;
剔除置信度低于设定阈值的样本,并将未剔除的样本所对应的实测值数据标定为所述机器学习模型的输出数据,对应所述输出数据的时间区间和数据类型作为输入数据,训练所述机器学习模型。
在某些实施例中,还包括:
将所述机器学习模型输出的预测值数据和对应所述上报数据的实测值数据作为一个新样本,对所述新样本进行置信度标注,生成所述新样本的置信度;
对所述机器学习模型的数据库中所有样本重新进行置信度标注,生成对应每个样本的置信度;
剔除置信度低于设定阈值的样本,进而更新所述数据库。
在某些实施例中,还包括:
对所述机器学习模型的数据库中的所有样本进行置信度排序;
根据预设的调整公式和所述置信度排序,动态删除所述置信度排序靠后的样本,以保证所述机器学习模型的样本数量;其中,
所述调整公式为n'=(n×N)/(N+n),n′表示修改后的样本量;n表示原样本量;N表示总量。
在某些实施例中,所述根据所述机器学习模型的输出结果对所述上报数据进行质量分析,包括:
将每个上报数据的实测值和所述机器学习模型输出的对应每个上报数据的预测值组成一个样本,对所述样本进行置信度标注,生成每个样本的置信度;
对所述置信度按照从大到小的顺序进行排序形成置信度序列;
将所述置信度序列中位置处于设定位置之后的样本的实测值删除,用所述机器学习模型对应输出的预测值替代删除的实测值,得到新的样本;
将所有样本存储在所述机器学习模型的数据库中。
在某些实施例中,还包括:
设定所述机器学习模型的学习速率,根据所述学习速率执行迭代操作,每次执行迭代操作中,根据代价函数对a和b进行偏导数求解,得到新的a和b,用新的a和b各自替代原a和b,得到更新的机器学习模型。
本申请还提供一种物联网设备上报数据质量分析系统,包括:
上报数据获取模块,获取当前地区设定时间范围内物联网设备的所有上报数据;所述上报数据包括采集时间和采集值;
时间区间确定模块,确定所述每个上报数据所处的时间区间,所述时间区间通过将全年时长按照设定时间间隔进行划分形成;
模型输入模块,将每个上报数据的数据类型以及所处的所述时间区间输入至预设的机器学习模型;其中,所述机器学习模型通过所述物联网设备的历史上报数据训练形成;
质量分析模块,根据所述机器学习模型的输出结果对所述上报数据进行质量分析。
在某些实施例中,还包括:
模型建立模块,建立所述机器学习模型;
模型训练模块,利用所述物联网设备的历史上报数据训练所述机器学习模型。
在某些实施例中,所述模型建立模块,包括:
表达式建立单元,建立机器学习模型表达式:f(x)=y=a*x+b;其中,x为采集时间,y为采集值,b是偏差,a是系数;
代价函数定义单元,定义代价函数:J(a,b)=∑f(f(xi)-yi)2,其中所述代价函数的最优解为:
min∑(a*xi+b-yi)2;
偏导计算单元,通过偏导数计算得出a=∑(xi-xk)(yi-yk)/∑(xi-xk)2,b=yk-a*xk,进而将所述机器学习模型表达式转化为已知a和b的所述机器学习模型;其中xk、yk为实测平均值,xi、yi为样本i的实测值。
在某些实施例中,所述历史上报数据获取单元从所述物联网设备的所有历史上报数据中,按照所需置信度计算历史上报数据的选取数量。
在某些实施例中,所述训练模块包括:
数据分类单元,对所述历史上报数据进行数据分类;
模型输入单元,将每个历史上报数据对应的类型及所处的时间区间输入至所述机器学习模型,以使所述机器学习模型输出对应的预测值数据;
置信度标注单元,将每个历史上报数据的实测值数据与预测值数据组成一个样本,对所述样本进行置信度标注,生成每个样本的置信度;
样本剔除单元,剔除置信度低于设定阈值的样本,并将未剔除的样本所对应的实测值数据标定为所述机器学习模型的输出数据,对应所述输出数据的时间区间和数据类型作为输入数据,训练所述机器学习模型。
在某些实施例中,还包括:
新样本标注模块,将所述机器学习模型输出的预测值数据和对应所述上报数据的实测值数据作为一个新样本,对所述新样本进行置信度标注,生成所述新样本的置信度;
历史样本标注模块,对所述机器学习模型的数据库中所有样本重新进行置信度标注,生成对应每个样本的置信度;
数据库更新模块,剔除置信度低于设定阈值的样本,进而更新所述数据库。
在某些实施例中,还包括:
置信度排序模块,对所述机器学习模型的数据库中的所有样本进行置信度排序;
样本删除模块,根据预设的调整公式和所述置信度排序,动态删除所述置信度排序靠后的样本,以保证所述机器学习模型的样本数量;其中,
所述调整公式为n'=(n×N)/(N+n),n′表示修改后的样本量;n表示原样本量;N表示总量。
在某些实施例中,所述质量分析模块包括:
上报数据置信度标注单元,将每个上报数据的实测值和所述机器学习模型输出的对应每个上报数据的预测值组成一个样本,对所述样本进行置信度标注,生成每个样本的置信度;
置信度排序单元,对所述置信度按照从大到小的顺序进行排序形成置信度序列;
缺失替代单元,将所述置信度序列中位置处于设定位置之后的样本的实测值删除,用所述机器学习模型对应输出的预测值替代删除的实测值,得到新的样本;
存储单元,将所有样本存储在所述机器学习模型的数据库中。
在某些实施例中,还包括:
学习速率设定模块,设定所述机器学习模型的学习速率,根据所述学习速率执行迭代操作,每次执行迭代操作中,根据代价函数对a和b进行偏导数求解,得到新的a和b,用新的a和b各自替代原a和b,得到更新的机器学习模型。
本申请还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上所述的方法。
本申请还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上所述的方法。
本申请的有益效果如下:
本申请提供的物联网设备上报数据质量分析方法及系统,通过将物联网数据质量分析结合机器学习,对物联网设备上报数据进行,分析对比,排除掉脏数据,把合格数据录入到数据库。在数据库数据越来越准确和完善后,根据设定学习速率β和迭代次数,通过梯度下降计算、样本量调整计算更新样本库,这样不断重复,计算后的模型准确度越来越高。等到样本数据库成熟,分析物联网设备采集数据的准确性、数据缺失比率、异常数据占比,对数据的完整性、一致性、准确性做出评估,作为数据质量分析参考。通过模型处理异常值、补录缺失值后,统计分析数据周期性规律、离散型分析,可有效做出预警及统计处理,对物联网设备上报数据与样本数据库数据进行数据标注排序,可以对数据录入进行把关。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本申请实施例中物联网设备上报数据质量分析方法的流程示意图。
图2示出了本申请实施例中物联网设备上报数据质量分析系统的结构示意图。
图3示出适于用来实现本申请实施例的计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前物联网数据上报主要靠采集和定时发送报文来实现,存在诸多不足,本申请基于此,结合人工智能的特性实际作用于物联网设备为出发点,推动人工智能在物联网领域的应用。
图1示出了本申请实施例中一种物联网设备上报数据质量分析方法的流程示意图,包括:
S1:获取当前地区设定时间范围内物联网设备的所有上报数据;所述上报数据包括采集时间和采集值;
S2:确定所述每个上报数据所处的时间区间,所述时间区间通过将全年时长按照设定时间间隔进行划分形成;
S3:将每个上报数据的数据类型以及所处的所述时间区间输入至预设的机器学习模型;其中,所述机器学习模型通过所述物联网设备的历史上报数据训练形成;
S4:根据所述机器学习模型的输出结果对所述上报数据进行质量分析。
本方面提供的物联网设备上报数据质量分析方法,通过将物联网数据质量分析结合机器学习,对物联网设备上报数据进行,分析对比,排除掉脏数据,把合格数据录入到数据库。在数据库数据越来越准确和完善后,根据设定学习速率β和迭代次数,通过梯度下降计算、样本量调整计算更新样本库,这样不断重复,计算后的模型准确度越来越高。等到样本数据库成熟,分析物联网设备采集数据的准确性、数据缺失比率、异常数据占比,对数据的完整性、一致性、准确性做出评估,作为数据质量分析参考。通过模型处理异常值、补录缺失值后,统计分析数据周期性规律、离散型分析,可有效做出预警及统计处理,对物联网设备上报数据与样本数据库数据进行数据标注排序,可以对数据录入进行把关。
机器学习模型可以通过离线建立或者在线建立,即本申请既可以预先建立并训练好机器学习模型,本申请仅仅对已成熟的机器学习模型进行使用,也可以通过在线建立机器学习模型然后训练得到成熟的机器学习模型,本申请不限于此。
具体的,在一在线建立所述机器学习模型的实施例中,本方法还包括:
S01:建立所述机器学习模型;
S02:利用所述物联网设备的历史上报数据训练所述机器学习模型。
由于上报数据包括采集时间和采集值,因此在某些实施例中,建立机器学习模型的步骤包括:
S011:建立机器学习模型表达式:f(x)=y=a*x+b;其中,x为采集时间,y为采集值,b是偏差,a是系数;
S012:定义代价函数:J(a,b)=∑f(f(xi)-yi)2,其中所述代价函数的最优解为:
min∑(a*xi+b-yi)2;
通过偏导数计算得出a=∑(xi-xk)(yi-yk)/∑(xi-xk)2,b=yk-a*xk,进而将所述机器学习模型表达式转化为已知a和b的所述机器学习模型;其中xk、yk为实测平均值,xi、yi为样本i的实测值。
通过上述机器学习的建立步骤,建立出适用于针对(采集时间,采集值)等类似数值型的物联网上报数据的机器学习模型。
该实施例中,训练所述机器学习模型,包括:
S021:对所述历史上报数据进行数据分类;
S022:将每个历史上报数据对应的类型及所处的时间区间输入至所述机器学习模型,以使所述机器学习模型输出对应的预测值数据;
S023:将每个历史上报数据的实测值数据与预测值数据组成一个样本,对所述样本进行置信度标注,生成每个样本的置信度;
S024:剔除置信度低于设定阈值的样本,并将未剔除的样本所对应的实测值数据标定为所述机器学习模型的输出数据,对应所述输出数据的时间区间和数据类型作为输入数据,训练所述机器学习模型。
在具体实施时,机器学习模型为时间、数据类型、设备组成的要素模型。
用人工截取设备的采集数据作为建立机器学习模型表达式的基础数据,截取数量取决于样本变化程度、方差及精度,抽样方式采用整群抽样的方式,保证数据的连续性和完整性,以探索数据规律。
截取数量方式根据所需置信度来计算,通过公式计算N=Z2×(P×(1-P))/E2,其中:N:代表所需要样本量。Z:置信水平的Z统计量,计算统计量Z值 是检验样本的平均数;p是已知总体的平均数;S是样本的标准差;n是样本容量。P:概率值,一般取0.5。E:误差值,在实际应用中就是容许误差,或者调查误差。根据实际情况设置。
机器学习模型表达式是为了从f(x)=y=a*x+b中推导得出a和b的最小值,其中x为采集时间,y为采集值,b是偏差,a是系数。
定义代价函数J(a,b)=∑f(f(xi)-yi)2,要求代价函数平方差值和最小时为最优解,即min∑(a*xi+b-yi)2,通过偏导数计算得出a=∑(xi-xk)(yi-yk)/∑(xi-xk)2,b=yk-a*xk其中xk、yk为实测平均值,xi、yi为样本i的实测值。
此外,本申请可以不断更新机器学习模型,具体的,上述方法还包括:
设定所述机器学习模型的学习速率,根据所述学习速率执行迭代操作,每次执行迭代操作中,根据代价函数对a和b进行偏导数求解,得到新的a和b,用新的a和b各自替代原a和b,得到更新的机器学习模型。
具体的,根据得到的a、b,在数据量大时,还可以更进一步得到局部最优解,设定学习速率β和迭代次数和条件,根据代价函数对a、b进行偏导数求解:
得到学习后的最优解a、b。
本申请中,随着机器学习的不断迭代学习,后续的数据库同样也是不断更新,在后续的使用过程中,上述方法还包括:
S5:将所述机器学习模型输出的预测值数据和对应所述上报数据的实测值数据作为一个新样本,对所述新样本进行置信度标注,生成所述新样本的置信度;
S6:对所述机器学习模型的数据库中所有样本重新进行置信度标注,生成对应每个样本的置信度;
S7:剔除置信度低于设定阈值的样本,进而更新所述数据库。
该实施例中,随着输入数据的不断增多,数据库本身也在不断更新,淘汰不合格的数据,使得数据库中存储的数据总是最贴合与当前的数据。
进一步的,该实施例中,所述的质量分析具体缺失值补充,即所述的质量分析步骤包括:
S41:将每个上报数据的实测值和所述机器学习模型输出的对应每个上报数据的预测值组成一个样本,对所述样本进行置信度标注,生成每个样本的置信度;
S42:对所述置信度按照从大到小的顺序进行排序形成置信度序列;
S43:将所述置信度序列中位置处于设定位置之后的样本的实测值删除,用所述机器学习模型对应输出的预测值替代删除的实测值,得到新的样本;
S44:将所有样本存储在所述机器学习模型的数据库中。
在某些实施例中,为了避免数据库过于庞大,上述实施例中,本申请的方法还包括:
S8:对所述机器学习模型的数据库中的所有样本进行置信度排序;
S9:根据预设的调整公式和所述置信度排序,动态删除所述置信度排序靠后的样本,以保证所述机器学习模型的样本数量;其中,
所述调整公式为n'=(n×N)/(N+n),n′表示修改后的样本量;n表示原样本量;N表示总量。
在具体实施时,数据分类标注计算采用Sigmoid函数S(x)=1/(1+e-x)的求导结果f'(x)=f(x)(1-f(x))来作为依据预测,对数据进行垃圾分类及标注,对所有数据进行置信度的标注,制定脏数据阈值,超出阈值部分数据进行隔离处理,再危险阈值范围内,可进行预警处理,做到对数据的清洗干预,预测数据、对噪音数据进行清除。
f(x)=y=a*x+b中推导得出a和b的最小值,其中x为采集时间,y为采集值,b是偏差,a是系数。根据公式进行数据预测,可对预警预防工作进行预测准备。
新接入设备时,需要人工截取样本库,根据样本库重新生成函数,控制机器学习模型的生成。
进一步的,在具体的数据处理,即机器学习模型对输入数据进行处理得到输出数据过程中,其具体过程如下所示:
该实施例中,在建立机器学习模型的基础上,对数据进行数据预处理与清洗:
通过机器学习模型计算得出的公式f(x)=y=a*x+b,预测计算采集时间对应的采集值;预测计算数据可作为接收数据的依据,与实际值的偏差,通过置信区间进行数据清洗排除;针对已有数据进行计算置信度f'(x)=f(x)(1-f(x)),设定数据噪音分类区间,样本实测值与预测值的差值阈值、最大最小预测峰值作为判断噪音数据的依据方式,根据置信度进行排序,标记噪音数据进行噪音数据处理,对噪音区间的噪音数据进行删除,计算预测值进行替代。
计算对缺失值进行补充,使数据更平滑准确;随着数据不断的接入,通过不断的数据建模影响接入数据的有效性;对所有数据进行置信度的标注,可进行数据的清洗干预;对于需要新接入设备时,可通过提供初始数据和已有模型进行融合计算,模拟采集数据过程线,随着实测值的增多,进行梯度下降计算,模型计算置信度会越来越高;通过标注的数据越来越多,可通过数据置信度、缺失数据的数量、异常值的数量、样本总数来验证数据的有效性和正确性。
数据清理方式:通过填写缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来“清理”数据。主要是达到如下目标:格式标准化,异常数据清除,错误纠正,重复数据的清除。
处理缺失值可通过采集时间间隔来确定缺失值,通过机器学习模型计算采集值y值。
数据光滑处理:噪音数据的标注清除,缺失值的补充,使数据更具连贯性。
下面以水位雨量数据作为上报数据的示例,对本申请进行详细描述。
通过整群抽样的方式,由于水位雨量等数据受气候环境变化影响,筛选截取每一个季度的数据作为基础样本,录入到样本数据库中,将数据进行数据类型分类,雨量数据、水位数据及其他数据类型,整理各类型采集时间、采集值作为f(x)=y=a*x+b公式的基础元素x、y值生成计算数据模型。
对数据库数据进行置信度标记,通过数据模型预测计算时间对应的采集值。
时间作为x值,计算x时间间隔缺失,通过模型补充预测计算缺失值进行补充。
设定数据噪音分类区间,样本实测值与预测值的差值阈值、最大最小预测峰值作为判断噪音数据的依据方式,根据置信度进行排序,标记噪音数据进行噪音数据处理,对噪音区间的噪音数据进行删除,计算预测值进行替代。
对物联网设备上报数据进行,分析对比,排除掉脏数据,把合格数据录入到数据库。在数据库数据越来越准确和完善后,根据设定学习速率β和迭代次数,通过梯度下降计算、样本量调整计算更新样本库,这样不断重复,计算后的模型准确度越来越高。
等到样本数据库成熟,分析物联网设备采集数据的准确性、数据缺失比率、异常数据占比,对数据的完整性、一致性、准确性做出评估,作为数据质量分析参考。通过模型处理异常值、补录缺失值后,统计分析数据周期性规律、离散型分析,可有效做出预警及统计处理,对物联网设备上报数据与样本数据库数据进行数据标注排序,可以对数据录入进行把关。
可以理解,本申请通过将物联网数据质量分析结合机器学习,对物联网设备上报数据进行,分析对比,排除掉脏数据,把合格数据录入到数据库。在数据库数据越来越准确和完善后,根据设定学习速率β和迭代次数,通过梯度下降计算、样本量调整计算更新样本库,这样不断重复,计算后的模型准确度越来越高。等到样本数据库成熟,分析物联网设备采集数据的准确性、数据缺失比率、异常数据占比,对数据的完整性、一致性、准确性做出评估,作为数据质量分析参考。通过模型处理异常值、补录缺失值后,统计分析数据周期性规律、离散型分析,可有效做出预警及统计处理,对物联网设备上报数据与样本数据库数据进行数据标注排序,可以对数据录入进行把关。
基于相同的发明构思,在虚拟装置层面,本申请还提供一种物联网设备上报数据质量分析系统,如图2所示,包括:
上报数据获取模块1,获取当前地区设定时间范围内物联网设备的所有上报数据;所述上报数据包括采集时间和采集值;
时间区间确定模块2,确定所述每个上报数据所处的时间区间,所述时间区间通过将全年时长按照设定时间间隔进行划分形成;
模型输入模块3,将每个上报数据的数据类型以及所处的所述时间区间输入至预设的机器学习模型;其中,所述机器学习模型通过所述物联网设备的历史上报数据训练形成;
质量分析模块4,根据所述机器学习模型的输出结果对所述上报数据进行质量分析。
基于相同的发明构思,在某些实施例中,还包括:
模型建立模块,建立所述机器学习模型;
模型训练模块,利用所述物联网设备的历史上报数据训练所述机器学习模型。
基于相同的发明构思,在某些实施例中,所述模型建立模块,包括:
表达式建立单元,建立机器学习模型表达式:f(x)=y=a*x+b;其中,x为采集时间,y为采集值,b是偏差,a是系数;
代价函数定义单元,定义代价函数:J(a,b)=∑f(f(xi)-yi)2,其中所述代价函数的最优解为:
min∑(a*xi+b-yi)2;
偏导计算单元,通过偏导数计算得出a=∑(xi-xk)(yi-yk)/∑(xi-xk)2,b=yk-a*xk,进而将所述机器学习模型表达式转化为已知a和b的所述机器学习模型;其中xk、yk为实测平均值,xi、yi为样本i的实测值。
基于相同的发明构思,在某些实施例中,所述历史上报数据获取单元从所述物联网设备的所有历史上报数据中,按照所需置信度计算历史上报数据的选取数量。
基于相同的发明构思,在某些实施例中,所述训练模块包括:
数据分类单元,对所述历史上报数据进行数据分类;
模型输入单元,将每个历史上报数据对应的类型及所处的时间区间输入至所述机器学习模型,以使所述机器学习模型输出对应的预测值数据;
置信度标注单元,将每个历史上报数据的实测值数据与预测值数据组成一个样本,对所述样本进行置信度标注,生成每个样本的置信度;
样本剔除单元,剔除置信度低于设定阈值的样本,并将未剔除的样本所对应的实测值数据标定为所述机器学习模型的输出数据,对应所述输出数据的时间区间和数据类型作为输入数据,训练所述机器学习模型。
基于相同的发明构思,在某些实施例中,还包括:
新样本标注模块,将所述机器学习模型输出的预测值数据和对应所述上报数据的实测值数据作为一个新样本,对所述新样本进行置信度标注,生成所述新样本的置信度;
历史样本标注模块,对所述机器学习模型的数据库中所有样本重新进行置信度标注,生成对应每个样本的置信度;
数据库更新模块,剔除置信度低于设定阈值的样本,进而更新所述数据库。
基于相同的发明构思,在某些实施例中,还包括:
置信度排序模块,对所述机器学习模型的数据库中的所有样本进行置信度排序;
样本删除模块,根据预设的调整公式和所述置信度排序,动态删除所述置信度排序靠后的样本,以保证所述机器学习模型的样本数量;其中,
所述调整公式为n'=(n×N)/(N+n),n′表示修改后的样本量;n表示原样本量;N表示总量。
基于相同的发明构思,在某些实施例中,所述质量分析模块包括:
上报数据置信度标注单元,将每个上报数据的实测值和所述机器学习模型输出的对应每个上报数据的预测值组成一个样本,对所述样本进行置信度标注,生成每个样本的置信度;
置信度排序单元,对所述置信度按照从大到小的顺序进行排序形成置信度序列;
缺失替代单元,将所述置信度序列中位置处于设定位置之后的样本的实测值删除,用所述机器学习模型对应输出的预测值替代删除的实测值,得到新的样本;
存储单元,将所有样本存储在所述机器学习模型的数据库中。
基于相同的发明构思,在某些实施例中,还包括:
学习速率设定模块,设定所述机器学习模型的学习速率,根据所述学习速率执行迭代操作,每次执行迭代操作中,根据代价函数对a和b进行偏导数求解,得到新的a和b,用新的a和b各自替代原a和b,得到更新的机器学习模型。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机设备,具体的,计算机设备例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
在一个典型的实例中计算机设备具体包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上所述的由客户端执行的方法,或者,所述处理器执行所述程序时实现如上所述的由服务器执行的方法。
下面参考图3,其示出了适于用来实现本申请实施例的计算机设备的结构示意图。
如图3所示,计算机设备600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM))603中的程序而执行各种适当的工作和处理。在RAM603中,还存储有系统600操作所需的各种程序和数据。CPU601、ROM602、以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡,调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口606。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装如存储部分608。
特别地,根据本发明的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包括用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (9)
1.一种物联网设备上报数据质量分析方法,其特征在于,包括:
获取当前地区设定时间范围内物联网设备的所有上报数据;所述上报数据包括采集时间和采集值;所述上报数据受气候环境变化影响;
确定每个上报数据所处的时间区间,所述时间区间通过将全年时长按照设定时间间隔进行划分形成;
将每个上报数据的数据类型以及所处的所述时间区间输入至预设的机器学习模型;其中,所述机器学习模型通过所述物联网设备的历史上报数据训练形成;
根据所述机器学习模型的输出结果对所述上报数据进行质量分析;
在所述通过所述物联网设备的历史上报数据训练形成所述机器学习模型之前,所述方法还包括:
用人工截取设备的采集数据作为建立机器学习模型表达式的基础数据,截取数量取决于样本变化程度、方差及精度,抽样方式采用整群抽样的方式,保证数据的连续性和完整性,以探索数据规律;
筛选截取每一个季度的数据作为基础样本,录入到样本数据库中,将数据进行数据类型分类;所述数据类型至少包括雨量数据和水位数据;
对物联网设备的历史上报数据与样本数据库中的数据进行数据标注排序;
所述物联网设备上报数据质量分析方法还包括:
将所述机器学习模型输出的预测值数据和对应所述上报数据的实测值数据作为一个新样本,对所述新样本进行置信度标注,生成所述新样本的置信度;
对所述机器学习模型的数据库中所有样本重新进行置信度标注,生成对应每个样本的置信度;
剔除置信度低于设定阈值的样本,进而更新所述数据库。
2.根据权利要求1所述的物联网设备上报数据质量分析方法,其特征在于,还包括:
建立所述机器学习模型;
利用所述物联网设备的历史上报数据训练所述机器学习模型。
3.根据权利要求2所述的物联网设备上报数据质量分析方法,其特征在于,所述建立所述机器学习模型,包括:
建立机器学习模型表达式:f(x)=y=a*x+b;其中,x为采集时间,y为采集值,b是偏差,a是系数;
定义代价函数:J(a,b)=∑f(f(xi)-yi)2,其中所述代价函数的最优解为:
min∑(a*xi+b-yi)2;
通过偏导数计算得出a=∑(xi-xk)(yi-yk)/∑(xi-xk)2,b=yk-a*xk,进而将所述机器学习模型表达式转化为已知a和b的所述机器学习模型;其中xk、yk为实测平均值,xi、yi为样本i的实测值。
4.根据权利要求3所述的物联网设备上报数据质量分析方法,其特征在于,获取所述历史上报数据,包括:
从所述物联网设备的所有历史上报数据中,按照所需置信度计算历史上报数据的选取数量。
5.根据权利要求2所述的物联网设备上报数据质量分析方法,其特征在于,训练所述机器学习模型,包括:
对所述历史上报数据进行数据分类;
将每个历史上报数据对应的类型及所处的时间区间输入至所述机器学习模型,以使所述机器学习模型输出对应的预测值数据;
将每个历史上报数据的实测值数据与预测值数据组成一个样本,对所述样本进行置信度标注,生成每个样本的置信度;
剔除置信度低于设定阈值的样本,并将未剔除的样本所对应的实测值数据标定为所述机器学习模型的输出数据,对应所述输出数据的时间区间和数据类型作为输入数据,训练所述机器学习模型。
6.根据权利要求1所述的物联网设备上报数据质量分析方法,其特征在于,还包括:
对所述机器学习模型的数据库中的所有样本进行置信度排序;
根据预设的调整公式和所述置信度排序,动态删除所述置信度排序靠后的样本,以保证所述机器学习模型的样本数量;其中,
所述调整公式为n'=(n×N)/(N+n),n′表示修改后的样本量;n表示原样本量;N表示总量。
7.根据权利要求1所述的物联网设备上报数据质量分析方法,其特征在于,所述根据所述机器学习模型的输出结果对所述上报数据进行质量分析,包括:
将每个上报数据的实测值和所述机器学习模型输出的对应每个上报数据的预测值组成一个样本,对所述样本进行置信度标注,生成每个样本的置信度;
对所述置信度按照从大到小的顺序进行排序形成置信度序列;
将所述置信度序列中位置处于设定位置之后的样本的实测值删除,用所述机器学习模型对应输出的预测值替代删除的实测值,得到新的样本;
将所有样本存储在所述机器学习模型的数据库中。
8.根据权利要求1所述的物联网设备上报数据质量分析方法,其特征在于,还包括:
设定所述机器学习模型的学习速率,根据所述学习速率执行迭代操作,每次执行迭代操作中,根据代价函数对a和b进行偏导数求解,得到新的a和b,用新的a和b各自替代原a和b,得到更新的机器学习模型。
9.一种物联网设备上报数据质量分析系统,其特征在于,包括:
上报数据获取模块,获取当前地区设定时间范围内物联网设备的所有上报数据;所述上报数据包括采集时间和采集值;所述上报数据受气候环境变化影响;
时间区间确定模块,确定每个上报数据所处的时间区间,所述时间区间通过将全年时长按照设定时间间隔进行划分形成;
模型输入模块,将每个上报数据的数据类型以及所处的所述时间区间输入至预设的机器学习模型;其中,所述机器学习模型通过所述物联网设备的历史上报数据训练形成;
质量分析模块,根据所述机器学习模型的输出结果对所述上报数据进行质量分析;
在所述通过所述物联网设备的历史上报数据训练形成所述机器学习模型之前,所述物联网设备上报数据质量分析系统还用于:
用人工截取设备的采集数据作为建立机器学习模型表达式的基础数据,截取数量取决于样本变化程度、方差及精度,抽样方式采用整群抽样的方式,保证数据的连续性和完整性,以探索数据规律;
筛选截取每一个季度的数据作为基础样本,录入到样本数据库中,将数据进行数据类型分类;所述数据类型至少包括雨量数据和水位数据;
对物联网设备的历史上报数据与样本数据库中的数据进行数据标注排序;
所述物联网设备上报数据质量分析系统还用于:
将所述机器学习模型输出的预测值数据和对应所述上报数据的实测值数据作为一个新样本,对所述新样本进行置信度标注,生成所述新样本的置信度;
对所述机器学习模型的数据库中所有样本重新进行置信度标注,生成对应每个样本的置信度;
剔除置信度低于设定阈值的样本,进而更新所述数据库。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910897341.6A CN110727665B (zh) | 2019-09-23 | 2019-09-23 | 物联网设备上报数据质量分析方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910897341.6A CN110727665B (zh) | 2019-09-23 | 2019-09-23 | 物联网设备上报数据质量分析方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110727665A CN110727665A (zh) | 2020-01-24 |
CN110727665B true CN110727665B (zh) | 2022-11-08 |
Family
ID=69218205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910897341.6A Active CN110727665B (zh) | 2019-09-23 | 2019-09-23 | 物联网设备上报数据质量分析方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110727665B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111404777B (zh) * | 2020-03-12 | 2021-08-24 | 深圳市全智软创科技有限公司 | 一种物联网设备性能检测方法、装置及系统 |
JP7205514B2 (ja) * | 2020-03-31 | 2023-01-17 | 横河電機株式会社 | 学習データ処理装置、学習データ処理方法、学習データ処理プログラム、及び非一時的なコンピュータ読み取り可能な媒体 |
CN111767275B (zh) * | 2020-06-28 | 2024-04-19 | 北京林克富华技术开发有限公司 | 数据的处理方法及装置、数据处理系统 |
CN113392096A (zh) * | 2021-06-03 | 2021-09-14 | 重庆锐云科技有限公司 | 一种房地产数据质量分析方法、装置、设备及存储介质 |
CN113592002A (zh) * | 2021-08-04 | 2021-11-02 | 江苏网进科技股份有限公司 | 垃圾实时监测方法与系统 |
CN113759758B (zh) * | 2021-09-13 | 2023-05-26 | 河南工业职业技术学院 | 一种基于物联网的智能控制系统 |
CN114936207B (zh) * | 2022-07-25 | 2022-11-25 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种物联网传感设备感知数据质量评估方法 |
CN117059179B (zh) * | 2023-08-30 | 2024-08-13 | 北京星云医学检验实验室有限公司 | 一种生物信息数据库注释方法及系统 |
CN117273552B (zh) * | 2023-11-22 | 2024-02-13 | 山东顺国电子科技有限公司 | 一种基于机器学习的大数据智能治理决策方法及系统 |
CN117762912A (zh) * | 2023-12-07 | 2024-03-26 | 成都市汇众天智科技有限责任公司 | 一种数据标注质量评估与改进系统及方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8484511B2 (en) * | 2010-07-01 | 2013-07-09 | Time Warner Cable Enterprises Llc | Apparatus and methods for data collection, analysis and validation including error correction in a content delivery network |
EP3687392A4 (en) * | 2017-10-17 | 2021-07-07 | Whoop, Inc. | APPLIED DATA QUALITY METRICS FOR PHYSIOLOGICAL MEASUREMENTS |
CN109754604B (zh) * | 2018-12-03 | 2021-01-26 | 江苏智运科技发展有限公司 | 一种基于交通线圈检测数据质量控制的拥堵区域识别方法 |
-
2019
- 2019-09-23 CN CN201910897341.6A patent/CN110727665B/zh active Active
Non-Patent Citations (1)
Title |
---|
海上安全信息船舶收听率统计方法研究;郑洪江等;《交通信息与安全》;20111220;第29卷(第06期);77-80 * |
Also Published As
Publication number | Publication date |
---|---|
CN110727665A (zh) | 2020-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110727665B (zh) | 物联网设备上报数据质量分析方法及系统 | |
CN106127363B (zh) | 一种用户信用评估方法和装置 | |
CN112285807B (zh) | 一种气象信息预测方法及装置 | |
CN111723929A (zh) | 一种基于神经网络的数值预报产品订正方法、装置和系统 | |
CN111831704B (zh) | 异常数据的确定方法、装置、存储介质和电子设备 | |
CN110533239B (zh) | 一种智慧城市空气品质高精度测量方法 | |
CN112183906B (zh) | 一种基于多模型组合模型的机房环境预测方法及系统 | |
CN111178585A (zh) | 基于多算法模型融合的故障接报量预测方法 | |
CN112651534A (zh) | 一种预测资源供应链需求量的方法、装置及存储介质 | |
CN114841412A (zh) | 一种海参生长水质中酸碱度的预测方法 | |
CN114648060A (zh) | 基于机器学习的故障信号规范化处理及分类方法 | |
CN117829322A (zh) | 基于周期性时间序列与多维度的关联型数据预测方法 | |
Vaishali et al. | Weather prediction model using Savitzky-Golay and Kalman Filters | |
CN110793896B (zh) | 一种尾气中粉尘浓度短期预测方法 | |
CN115713044B (zh) | 一种多工况切换下的机电设备剩余寿命分析方法和装置 | |
CN113095608A (zh) | 指标分析方法、装置、设备及存储介质 | |
CN115904916A (zh) | 一种硬盘故障预测的方法、装置、电子设备以及存储介质 | |
CN115660140A (zh) | 一种基于人工智能订正的多模式集合气候预测方法 | |
CN115345343A (zh) | 一种供水管网浊度的预测方法及预测装置 | |
CN111105148B (zh) | 离职概率评估方法、装置及计算机可读存储介质 | |
CN110751335B (zh) | 一种区域生态质量年景预测评价方法及装置 | |
CN117893216B (zh) | 基于大数据的用户行为分析方法及系统 | |
CN116524374B (zh) | 卫星影像实时处理与分发方法与系统 | |
CN117151344B (zh) | 一种数字孪生城市人口管理方法 | |
CN117725488B (zh) | 基于机器学习的建筑工程项目安全性能预测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: 100097 room 10e, unit 2 (block B), 9 / F, building 2, yard 2, lantianchang East Road, Haidian District, Beijing (Building 2, Jinyuan times business center) Patentee after: Kunyu (Beijing) Technology Co.,Ltd. Address before: 100097 room 10e, unit 2 (block B), 9 / F, building 2, yard 2, lantianchang East Road, Haidian District, Beijing (Building 2, Jinyuan times business center) Patentee before: RICHWAY (BEIJING) TECHNOLOGY Co.,Ltd. |