CN117553864B - 一种基于大数据的传感器采集方法及系统 - Google Patents

一种基于大数据的传感器采集方法及系统 Download PDF

Info

Publication number
CN117553864B
CN117553864B CN202410046629.3A CN202410046629A CN117553864B CN 117553864 B CN117553864 B CN 117553864B CN 202410046629 A CN202410046629 A CN 202410046629A CN 117553864 B CN117553864 B CN 117553864B
Authority
CN
China
Prior art keywords
data
sensor
correction
value
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410046629.3A
Other languages
English (en)
Other versions
CN117553864A (zh
Inventor
徐柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hongshu Technology Co ltd
Original Assignee
Beijing Hongshu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hongshu Technology Co ltd filed Critical Beijing Hongshu Technology Co ltd
Priority to CN202410046629.3A priority Critical patent/CN117553864B/zh
Publication of CN117553864A publication Critical patent/CN117553864A/zh
Application granted granted Critical
Publication of CN117553864B publication Critical patent/CN117553864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass

Abstract

本发明公开了一种基于大数据的传感器采集方法及系统，涉及大数据处理技术领域。所述方法包括：创建模拟数组，基于传感器历史数据训练预测模型，模拟传感器预测数据；采集当前传感器真实数据及其当前环境要素，将当前环境要素输入校正模型中，输出校正值；使用校正值对采集的当前传感器数据进行校正，输出传感器真实数据；比对传感器预测数据和传感器真实数据，若在预设范围内，则认为当前传感器数据有效，否则认为当前传感器真实数据异常。采用本发明技术方案，能够精确确定传感器的真实测量值，提高测量精确度，与传感器预测数据作比，能够精确发现传感器采集到的异常值，提高使用传感器的安全性。

Description

一种基于大数据的传感器采集方法及系统
技术领域
本发明涉及大数据处理技术领域，特别是涉及一种基于大数据的传感器采集方法及系统。
背景技术
传感器（英文名称：transducer/sensor）是能感受到被测量的信息，并能将感受到的信息，按一定规律变换成为电信号或其他所需形式的信息输出，以满足信息的传输、处理、存储、显示、记录和控制等要求的检测装置。
现有的传感器安装在某一待测区域（如厂房等）时，都是直接将传感器感应到的数据传递给后台系统，后台系统直接根据传感器数据进行后续分析操作。然而随着待测区域环境的变化以及传感器使用时长的增加，传感器测试精度并不像显示的数据那么精确，容易出现因测量不准确而导致的不能精准发现传感器异常的情况，安全性不高。
发明内容
本发明提供一种基于大数据的传感器采集方法，包括：
创建模拟数组，基于传感器历史数据训练预测模型，模拟传感器预测数据；
采集当前传感器真实数据及其当前环境要素，将当前环境要素输入校正模型中，输出校正值；
使用校正值对采集的当前传感器数据进行校正，输出传感器真实数据；
比对传感器预测数据和传感器真实数据，若在预设范围内，则认为当前传感器数据有效，否则认为当前传感器真实数据异常。
如上所述的一种基于大数据的传感器采集方法，其中，已知某传感器过去的一段时间内采集的数据为d1,d2,d3,......,dm，预测t时刻的数据值，即将一维的时间序列数据重构为如下m+1列的形式：d(1)、d(2 )、…、d(m)、d(m+1)、…、d(t)。
如上所述的一种基于大数据的传感器采集方法，其中，预测t时刻的数据值，具体包括如下子步骤：
将d(t-1)之前的数据作为训练集，d(t-1)作为测试集；
对训练集数据进行平滑处理，即把每个点与上一点的变化值作为一个新的序列，剔除掉异常值或异常序列，用该异常值或异常序列前后数据的均值填充序列；
使用新的训练集序列输入预测模型，并使用测试集进行预测模型测试，预测得到d(t)的数据值。
如上所述的一种基于大数据的传感器采集方法，其中，所述校正模型的训练方法具体包括如下子步骤：
采集多个传感器组在不同条件下对同一事物的反馈数据及对应的环境要素；
从每个传感器组反馈数据中提取特征，形成特征集；
将提取的特征集输入校正模型中，输出每组传感器的校正值，并计算每组传感器数据的校正权重；
根据每组传感器的校正值和每组传感器的校正权重，计算最终校正值。
如上所述的一种基于大数据的传感器采集方法，其中，使用校正值对采集的当前传感器数据进行校正，具体是直接将传感器屏显数据与校正值进行求和运算，得出校正数据；或者对校正值进行变形后再与屏显数据求和，得出校正数据。
本发明还提供一种基于大数据的传感器采集系统，包括：
传感器预测数据计算模块，用于创建模拟数组，基于传感器历史数据训练预测模型，模拟传感器预测数据；
校正值计算模块，用于采集当前传感器真实数据及其当前环境要素，将当前环境要素输入校正模型中，输出校正值；
传感器真实数据计算模块，用于使用校正值对采集的当前传感器数据进行校正，输出传感器真实数据；
比对模块，用于比对传感器预测数据和传感器真实数据，若在预设范围内，则认为当前传感器数据有效，否则认为当前传感器真实数据异常。
如上所述的一种基于大数据的传感器采集系统，其中，已知某传感器过去的一段时间内采集的数据为d1,d2,d3,......,dm，预测t时刻的数据值，即将一维的时间序列数据重构为如下m+1列的形式：d(1)、d(2 )、…、d(m)、d(m+1)、…、d(t)。
如上所述的一种基于大数据的传感器采集系统，其中，预测t时刻的数据值，具体包括如下子步骤：
将d(t-1)之前的数据作为训练集，d(t-1)作为测试集；
对训练集数据进行平滑处理，即把每个点与上一点的变化值作为一个新的序列，剔除掉异常值或异常序列，用该异常值或异常序列前后数据的均值填充序列；
使用新的训练集序列输入预测模型，并使用测试集进行预测模型测试，预测得到d(t)的数据值。
如上所述的一种基于大数据的传感器采集系统，其中，所述校正模型的训练方法具体包括如下子步骤：
采集多个传感器组在不同条件下对同一事物的反馈数据及对应的环境要素；
从每个传感器组反馈数据中提取特征，形成特征集；
将提取的特征集输入校正模型中，输出每组传感器的校正值，并计算每组传感器数据的校正权重；
根据每组传感器的校正值和每组传感器的校正权重，计算最终校正值。
如上所述的一种基于大数据的传感器采集系统，其中，使用校正值对采集的当前传感器数据进行校正，具体是直接将传感器屏显数据与校正值进行求和运算，得出校正数据；或者对校正值进行变形后再与屏显数据求和，得出校正数据。
本发明的有益效果是：采用本发明技术方案，能够精确确定传感器的真实测量值，提高测量精确度，与传感器预测数据作比，能够精确发现传感器采集到的异常值，提高使用传感器的安全性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下， 还可以根据这些附图获得其它的附图，其中：
图 1 是本发明实施例一提供的一种基于大数据的传感器采集方法流程图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
需要说明的是，本申请提供多种数据类型，先对各种数据类型进行具体含义描述：
传感器预测数据：预测数据是系统根据传感器当前时刻之前采集的数据序列进行分析预测得到的数据，这个数据是根据传感器采集数据的走势所得，虽然不能作为传感器真实数据使用，但是对于传感器数据是否出现离谱数据具有指导作用。
传感器屏显数据：这个数据指的就是传感器屏幕上显示出现的具体数值，也就是传感器的测量数据。
传感器校正数据：校正数据是随着传感器使用时长或者环境要素变化所导致的传感器精确度问题所出现的误差补偿，该校正数据由大量数据训练机器模型所得，能够应用于各种传感器中。
传感器真实数据：真实数据是根据传感器测量数据和传感器校正数据所得，是系统认为传感器应该采集到的真正数据。
实施例一
如图1所示，本申请实施例一提供一种基于大数据的传感器采集方法，在介绍本发明技术方案之前，先对本发明所用到传感器类型数据进行具体含义描述：
传感器预测数据：预测数据是系统根据传感器当前时刻之前采集的数据序列进行分析预测得到的数据，这个数据是根据传感器采集数据的走势所得，虽然不能作为传感器真实数据使用，但是对于传感器数据是否出现离谱数据具有指导作用。
传感器屏显数据：这个数据指的就是传感器屏幕上显示出现的具体数值，也就是传感器 的测量数据。
传感器校正数据：校正数据是随着传感器使用时长或者环境要素变化所导致的传感器精确度问题所出现的误差补偿，该校正数据由大量数据训练机器模型所得，能够应用于各种传感器中。
传感器真实数据：真实数据是根据传感器测量数据和传感器校正数据所得，是系统认为传感器应该采集到的真正数据。
所述基于大数据的传感器采集方法，包括：
步骤110、创建模拟数组，基于传感器历史数据训练预测模型，模拟传感器预测数据；
已知某传感器过去的一段时间内采集的数据为d1,d2,d3,......,dm，预测t时刻的数据值，即将一维的时间序列数据重构为如下m+1列的形式：
d(1)、d(2 )、…、d(m)、d(m+1)、…、d(t)
其中，预测t时刻的数据值，具体包括如下子步骤：
步骤111、将d(t-1)之前的数据作为训练集，d(t-1)作为测试集；
步骤112、对训练集数据进行平滑处理，即把每个点与上一点的变化值作为一个新的序列，剔除掉变化比较离谱的异常值或异常序列，用该异常值或异常序列前后数据的均值填充序列；
步骤113、使用新的训练集序列输入预测模型，并使用测试集进行预测模型测试，预测得到d(t)的数据值。
预测模型具体为：，其中，/>为预测得到的传感器在时间点t的时间序列值；/>表示模型的常数项；/>表示第t-i时刻的时间序列值；是第i个时间序列值的系数，代表了第i个时间序列值对当前时间点的相对影响力；为阶乘计算；/>表示误差项，表示在时间点t的误差项，该误差项随着时间点的递增而变化，一般考虑到传感器使用时长会导致误差增大，因此为保证数据准确性，误差项呈递减态势。
步骤120、采集当前传感器真实数据及其当前环境要素，将当前环境要素输入校正模型中，输出校正值。
具体地，所述校正模型的训练方法具体包括如下子步骤：
步骤121、采集多个传感器组在不同条件下对同一事物的反馈数据及对应的环境要素；
由于要进行校正模型的训练，本申请需要获取不同类别（如不同厂商）所组成的传感器组在不同条件下的多种数据来训练校正模型，提高模型的精确度。
具体地，采集传感器组A、B、C、D…，每个传感器组设置有N个传感器，N个传感器分别采集数据，如传感器组A包括传感器A1、A2…AN，传感器组B包括传感器B1、B2…BN，……。传感器A1采集的数据包括传感器反馈数据和对应的环境要素，即传感器A1采集的数据为A11、A12…A1M，M为传感器采集数据的类型数，包括传感器屏显数据和环境要素，环境要素包括但不限于使用时长、当前温度、当前湿度、干扰值等。
步骤122、从每个传感器组反馈数据中提取特征，形成特征集；
其中，从传感器组A的数据中提取特征集为A={(A11、A12…A1M)、(A21、A22…A2M)、……、(AN1、AN2…ANM)}，其中，A11、A21、…AN1为传感器屏显数据，(A12、A22、…AN2)、(A13、A23、…AN3)、…、(A1M、A2M、…ANM)为对应屏显数据的环境要素。传感器组B的数据中提取特征集为B={(B11、B12…B1M)、(B21、B22…B2M)、……、(BN1、BN2…BNM)}，……，其中，B11、B21、…BN1为传感器屏显数据，(B12、B22、…BN2)、(B13、B23、…BN3)、…、(B1M、B2M、…BNM)为对应屏显数据的环境要素，提取得到所有传感器组的特征集之后，将特征集输入训练好的校正模型中。
步骤123、将提取的特征集输入校正模型中，输出每组传感器的校正值，并计算每组传感器数据的校正权重；
具体地，将提取出的每组传感器特征集分别输入子校正模型，利用每组特征集训练子校正模型，其中子校正模型可以选用同一数据模型进行多次训练，也可以采用多种数据模型进行训练，将特征集输入子校正模型之后，输出每组传感器的校正值，然后采用公式/>估计每组传感器校正模型的权重集合，其中，/>表示每组传感器的校正值。
步骤125、根据每组传感器的校正值和每组传感器的校正权重，计算最终校正值；
具体地，计算，得到最终校正值Y。
本申请通过机器模型的方式对大量的传感器数据进行综合训练分析，由此能够得到精确的校正模型，该校正模型考虑到各种环境因素对传感器屏显数据的影响，在当前环境要素有变化时，输入校正模型之后能够输出该环境要素下精确的传感器校正值，根据校正值和当前的屏显数据能够得到准确的测量数据。
返回参见图1，步骤130、使用校正值对采集的当前传感器数据进行校正，输出传感器真实数据；
具体地，使用校正值对采集的当前传感器数据进行校正，具体可以是直接将传感器屏显数据与校正值进行求和运算，得出校正数据；或者也可以对校正值进行变形后再与屏显数据求和，得出校正数据。
步骤140、比对传感器预测数据和传感器真实数据，若在预设范围内，则认为当前传感器数据有效，否则认为当前传感器真实数据异常。
本申请实施例中，传感器采集的数据存在两方面误差，一方面是与预测的数据存在差异，另一方面是与真实的数据存在差异，随着误差的增大，传感器真实数据与预测数据之间的偏差也越来越大，而为了从传感器数据中精确认定异常数据，本申请将传感器预测数据和校正后的数据进行比对，如果超过预设范围，则认为出现严重偏差，可能是当前环境出现较大变动，或者可能是传感器出现故障等，此时请求管理员进一步检查情况。
实施例二
本发明实施例二提供一种基于大数据的传感器采集系统，包括：
传感器预测数据计算模块，用于创建模拟数组，基于传感器历史数据训练预测模型，模拟传感器预测数据；
校正值计算模块，用于采集当前传感器真实数据及其当前环境要素，将当前环境要素输入校正模型中，输出校正值；
传感器真实数据计算模块，用于使用校正值对采集的当前传感器数据进行校正，输出传感器真实数据；
比对模块，用于比对传感器预测数据和传感器真实数据，若在预设范围内，则认为当前传感器数据有效，否则认为当前传感器真实数据异常。
已知某传感器过去的一段时间内采集的数据为d1,d2,d3,......,dm，预测t时刻的数据值，即将一维的时间序列数据重构为如下m+1列的形式：d(1)、d(2 )、…、d(m)、d(m+1)、…、d(t)。
其中，预测t时刻的数据值，具体包括如下子步骤：
将d(t-1)之前的数据作为训练集，d(t-1)作为测试集；
对训练集数据进行平滑处理，即把每个点与上一点的变化值作为一个新的序列，剔除掉异常值或异常序列，用该异常值或异常序列前后数据的均值填充序列；
使用新的训练集序列输入预测模型，并使用测试集进行预测模型测试，预测得到d(t)的数据值。
所述校正模型的训练方法具体包括如下子步骤：
采集多个传感器组在不同条件下对同一事物的反馈数据及对应的环境要素；
从每个传感器组反馈数据中提取特征，形成特征集；
将提取的特征集输入校正模型中，输出每组传感器的校正值，并计算每组传感器数据的校正权重；
根据每组传感器的校正值和每组传感器的校正权重，计算最终校正值。
使用校正值对采集的当前传感器数据进行校正，具体是直接将传感器屏显数据与校正值进行求和运算，得出校正数据；或者对校正值进行变形后再与屏显数据求和，得出校正数据。
与上述实施例对应的，本发明实施例提供一种基于大数据的传感器采集装置，包括：至少一个存储器和至少一个处理器；
存储器用于存储一个或多个程序指令；
处理器，用于运行一个或多个程序指令，用以执行一种基于大数据的传感器采集方法。
与上述实施例对应的，本发明实施例提供一种计算机可读存储介质，计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于被处理器执行一种基于大数据的传感器采集方法。
本发明所公开的实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行上述的一种基于大数据的传感器采集方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific工ntegrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (4)

1.一种基于大数据的传感器采集方法，其特征在于，包括：
创建模拟数组，基于传感器历史数据训练预测模型，模拟传感器预测数据；
采集当前传感器真实数据及其当前环境要素，将当前环境要素输入校正模型中，输出校正值；
使用校正值对采集的当前传感器数据进行校正，输出传感器真实数据；
比对传感器预测数据和传感器真实数据，若在预设范围内，则认为当前传感器数据有效，否则认为当前传感器真实数据异常；
所述创建模拟数组，基于传感器历史数据训练预测模型，模拟传感器预测数据，具体包括：
已知某传感器过去的一段时间内采集的数据为d1,d2,d3,......,dm，预测t时刻的数据值，即将一维的时间序列数据重构为：d(1)、d(2)、…、d(m)、d(m+1)、…、d(t)；
其中，预测t时刻的数据值，进一步包括如下子步骤：
步骤111、将d(t-1)之前的数据作为训练集，d(t-1)作为测试集；
步骤112、对训练集数据进行平滑处理，即把每个点与上一点的变化值作为一个新的序列，剔除掉变化比较离谱的异常值或异常序列，用该异常值或异常序列前后数据的均值填充序列；
步骤113、使用新的训练集序列输入预测模型，并使用测试集进行预测模型测试，预测得到d(t)的数据值；
预测模型具体为：，其中，/>为预测得到的传感器在时间点t的时间序列值；/>表示模型的常数项；/>表示第t-i时刻的时间序列值；是第i个时间序列值的系数，代表了第i个时间序列值对当前时间点的相对影响力；为阶乘计算；/>表示误差项，表示在时间点t的误差项；
所述校正模型的训练方法具体包括如下子步骤：
步骤121、采集多个传感器组在不同条件下对同一事物的反馈数据及对应的环境要素；
具体地，传感器组A、B、C、D…，每个传感器组设置有N个传感器，N个传感器分别采集数据，如传感器组A包括传感器A1、A2…AN，传感器组B包括传感器B1、B2…BN，传感器A1采集的数据包括传感器反馈数据和对应的环境要素，即传感器A1采集的数据为A11、A12…A1M，M为传感器采集数据的类型数，包括传感器屏显数据和环境要素，环境要素包括使用时长、当前温度、当前湿度、干扰值；
步骤122、从每个传感器组反馈数据中提取特征，形成特征集；
其中，从传感器组A的数据中提取特征集为A={(A11、A12…A1M)、(A21、A22…A2M)、……、(AN1、AN2…ANM)}，其中，A11、A21、…AN1为传感器屏显数据，(A12、A22、…AN2)、(A13、A23、…AN3)、…、(A1M、A2M、…ANM)为对应屏显数据的环境要素；传感器组B的数据中提取特征集为B={(B11、B12…B1M)、(B21、B22…B2M)、……、(BN1、BN2…BNM)}，……，其中，B11、B21、…BN1为传感器屏显数据，(B12、B22、…BN2)、(B13、B23、…BN3)、…、(B1M、B2M、…BNM)为对应屏显数据的环境要素，提取得到所有传感器组的特征集之后，将特征集输入训练好的校正模型中；
步骤123、将提取的特征集输入校正模型中，输出每组传感器的校正值，并计算每组传感器数据的校正权重；
具体地，将提取出的每组传感器特征集分别输入子校正模型，利用每组特征集训练子校正模型，其中子校正模型选用同一数据模型进行多次训练，或采用多种数据模型进行训练，将特征集输入子校正模型之后，输出每组传感器的校正值，然后采用公式估计每组传感器校正模型的权重集合，其中，/>表示每组传感器的校正值；
步骤125、根据每组传感器的校正值和每组传感器的校正权重，计算最终校正值；
具体地，计算，得到最终校正值Y。
2.如权利要求1所述的一种基于大数据的传感器采集方法，其特征在于，使用校正值对采集的当前传感器数据进行校正，具体是直接将传感器屏显数据与校正值进行求和运算，得出校正数据；或者对校正值进行变形后再与屏显数据求和，得出校正数据。
3.一种基于大数据的传感器采集系统，其特征在于，包括：
传感器预测数据计算模块，用于创建模拟数组，基于传感器历史数据训练预测模型，模拟传感器预测数据；
校正值计算模块，用于采集当前传感器真实数据及其当前环境要素，将当前环境要素输入校正模型中，输出校正值；
传感器真实数据计算模块，用于使用校正值对采集的当前传感器数据进行校正，输出传感器真实数据；
比对模块，用于比对传感器预测数据和传感器真实数据，若在预设范围内，则认为当前传感器数据有效，否则认为当前传感器真实数据异常；
所述创建模拟数组，基于传感器历史数据训练预测模型，模拟传感器预测数据，具体包括：
已知某传感器过去的一段时间内采集的数据为d1,d2,d3,......,dm，预测t时刻的数据值，即将一维的时间序列数据重构为：d(1)、d(2)、…、d(m)、d(m+1)、…、d(t)；
其中，预测t时刻的数据值，进一步包括如下子步骤：
步骤111、将d(t-1)之前的数据作为训练集，d(t-1)作为测试集；
步骤112、对训练集数据进行平滑处理，即把每个点与上一点的变化值作为一个新的序列，剔除掉变化比较离谱的异常值或异常序列，用该异常值或异常序列前后数据的均值填充序列；
步骤113、使用新的训练集序列输入预测模型，并使用测试集进行预测模型测试，预测得到d(t)的数据值；
预测模型具体为：，其中，/>为预测得到的传感器在时间点t的时间序列值；/>表示模型的常数项；/>表示第t-i时刻的时间序列值；是第i个时间序列值的系数，代表了第i个时间序列值对当前时间点的相对影响力；为阶乘计算；/>表示误差项，表示在时间点t的误差项；
所述校正模型的训练方法具体包括如下子步骤：
步骤121、采集多个传感器组在不同条件下对同一事物的反馈数据及对应的环境要素；
具体地，传感器组A、B、C、D…，每个传感器组设置有N个传感器，N个传感器分别采集数据，如传感器组A包括传感器A1、A2…AN，传感器组B包括传感器B1、B2…BN，传感器A1采集的数据包括传感器反馈数据和对应的环境要素，即传感器A1采集的数据为A11、A12…A1M，M为传感器采集数据的类型数，包括传感器屏显数据和环境要素，环境要素包括使用时长、当前温度、当前湿度、干扰值；
步骤122、从每个传感器组反馈数据中提取特征，形成特征集；
其中，从传感器组A的数据中提取特征集为A={(A11、A12…A1M)、(A21、A22…A2M)、……、(AN1、AN2…ANM)}，其中，A11、A21、…AN1为传感器屏显数据，(A12、A22、…AN2)、(A13、A23、…AN3)、…、(A1M、A2M、…ANM)为对应屏显数据的环境要素；传感器组B的数据中提取特征集为B={(B11、B12…B1M)、(B21、B22…B2M)、……、(BN1、BN2…BNM)}，……，其中，B11、B21、…BN1为传感器屏显数据，(B12、B22、…BN2)、(B13、B23、…BN3)、…、(B1M、B2M、…BNM)为对应屏显数据的环境要素，提取得到所有传感器组的特征集之后，将特征集输入训练好的校正模型中；
步骤123、将提取的特征集输入校正模型中，输出每组传感器的校正值，并计算每组传感器数据的校正权重；
具体地，将提取出的每组传感器特征集分别输入子校正模型，利用每组特征集训练子校正模型，其中子校正模型选用同一数据模型进行多次训练，或采用多种数据模型进行训练，将特征集输入子校正模型之后，输出每组传感器的校正值，然后采用公式估计每组传感器校正模型的权重集合，其中，/>表示每组传感器的校正值；
步骤125、根据每组传感器的校正值和每组传感器的校正权重，计算最终校正值；
具体地，计算，得到最终校正值Y。
4.如权利要求3所述的一种基于大数据的传感器采集系统，其特征在于，使用校正值对采集的当前传感器数据进行校正，具体是直接将传感器屏显数据与校正值进行求和运算，得出校正数据；或者对校正值进行变形后再与屏显数据求和，得出校正数据。
CN202410046629.3A 2024-01-12 2024-01-12 一种基于大数据的传感器采集方法及系统 Active CN117553864B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410046629.3A CN117553864B (zh) 2024-01-12 2024-01-12 一种基于大数据的传感器采集方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410046629.3A CN117553864B (zh) 2024-01-12 2024-01-12 一种基于大数据的传感器采集方法及系统

Publications (2)

Publication Number Publication Date
CN117553864A CN117553864A (zh) 2024-02-13
CN117553864B true CN117553864B (zh) 2024-04-19

Family

ID=89823748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410046629.3A Active CN117553864B (zh) 2024-01-12 2024-01-12 一种基于大数据的传感器采集方法及系统

Country Status (1)

Country Link
CN (1) CN117553864B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101907714A (zh) * 2010-06-25 2010-12-08 陶洋 基于多传感器数据融合的gps辅助定位系统及其定位方法
CN102252677A (zh) * 2011-04-18 2011-11-23 哈尔滨工程大学 一种基于时间序列分析的变比例自适应联邦滤波方法
CN102324034A (zh) * 2011-05-25 2012-01-18 北京理工大学 基于最小二乘支持向量机在线预测的传感器故障诊断方法
CN103336906A (zh) * 2013-07-15 2013-10-02 哈尔滨工业大学 环境传感器的采集数据流中连续异常检测的抽样gpr方法
CN103632064A (zh) * 2013-12-17 2014-03-12 扬州大学 一种污水生物处理活性污泥模型自适应参数校准方法
JP2020155100A (ja) * 2019-03-18 2020-09-24 台達電子工業股▲ふん▼有限公司Ｄｅｌｔａ Ｅｌｅｃｔｒｏｎｉｃｓ，Ｉｎｃ． 遠隔較正システム及びそのセンサの遠隔較正方法
CN112129893A (zh) * 2020-09-23 2020-12-25 烟台创为新能源科技股份有限公司 一种电池热失控监测系统的co传感器在线校准方法
CN113051795A (zh) * 2021-03-15 2021-06-29 哈尔滨工程大学 一种面向海上平台保障的三维温盐场分析预报方法
CN114184876A (zh) * 2022-02-16 2022-03-15 国网江西省电力有限公司电力科学研究院 一种直流偏磁监测、评价及大地模型校正平台
CN115843041A (zh) * 2021-09-16 2023-03-24 中移系统集成有限公司 一种传感器网络多维数据漂移盲校准方法及装置
CN116720078A (zh) * 2023-05-16 2023-09-08 上海交通大学 一种智能传感器的连续采集和数据模型构建系统及方法
CN116796633A (zh) * 2023-05-26 2023-09-22 南京航空航天大学 一种基于数字孪生技术的电网监测模型校正方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9316513B2 (en) * 2012-01-08 2016-04-19 Sensor Platforms, Inc. System and method for calibrating sensors for different operating environments

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101907714A (zh) * 2010-06-25 2010-12-08 陶洋 基于多传感器数据融合的gps辅助定位系统及其定位方法
CN102252677A (zh) * 2011-04-18 2011-11-23 哈尔滨工程大学 一种基于时间序列分析的变比例自适应联邦滤波方法
CN102324034A (zh) * 2011-05-25 2012-01-18 北京理工大学 基于最小二乘支持向量机在线预测的传感器故障诊断方法
CN103336906A (zh) * 2013-07-15 2013-10-02 哈尔滨工业大学 环境传感器的采集数据流中连续异常检测的抽样gpr方法
CN103632064A (zh) * 2013-12-17 2014-03-12 扬州大学 一种污水生物处理活性污泥模型自适应参数校准方法
JP2020155100A (ja) * 2019-03-18 2020-09-24 台達電子工業股▲ふん▼有限公司Ｄｅｌｔａ Ｅｌｅｃｔｒｏｎｉｃｓ，Ｉｎｃ． 遠隔較正システム及びそのセンサの遠隔較正方法
CN112129893A (zh) * 2020-09-23 2020-12-25 烟台创为新能源科技股份有限公司 一种电池热失控监测系统的co传感器在线校准方法
CN113051795A (zh) * 2021-03-15 2021-06-29 哈尔滨工程大学 一种面向海上平台保障的三维温盐场分析预报方法
CN115843041A (zh) * 2021-09-16 2023-03-24 中移系统集成有限公司 一种传感器网络多维数据漂移盲校准方法及装置
CN114184876A (zh) * 2022-02-16 2022-03-15 国网江西省电力有限公司电力科学研究院 一种直流偏磁监测、评价及大地模型校正平台
CN116720078A (zh) * 2023-05-16 2023-09-08 上海交通大学 一种智能传感器的连续采集和数据模型构建系统及方法
CN116796633A (zh) * 2023-05-26 2023-09-22 南京航空航天大学 一种基于数字孪生技术的电网监测模型校正方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
热导传感器温度特性的CPSO-SVM数据融合校正;黄为勇;童敏明;任子晖;;计算机应用;20091201;第29卷(第12期);3259-3262页 *

Also Published As

Publication number Publication date
CN117553864A (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN113409167B (zh) 一种水质异常分析方法及装置
CN111754042A (zh) 基于高斯回归的大气污染物浓度的预测方法及装置
CN112257755A (zh) 航天器运行状态的分析方法和装置
Dette et al. Relevant change points in high dimensional time series
CN111784160A (zh) 一种河流水文情势变化的评估方法及系统
CN110866682B (zh) 基于历史数据的地下电缆预警方法和装置
CN117553864B (zh) 一种基于大数据的传感器采集方法及系统
CN112990372B (zh) 一种数据处理方法、模型训练方法、装置及电子设备
CN113624694A (zh) 一种大气甲烷浓度的反演方法和装置
CN109214447B (zh) 磁盘寿命预测方法及装置
Gorjão et al. jumpdiff: A Python library for statistical inference of jump-diffusion processes in observational or experimental data sets
CN117312769A (zh) 一种基于BiLSTM的物联网时序数据异常检测方法
Willink An accurate and consistent procedure for the evaluation of measurement uncertainty
CN111259338A (zh) 元器件失效率修正方法、装置、计算机设备及存储介质
CN116051880A (zh) 一种标签噪声下基于不确定性评估的结果预测方法
Enright et al. The reliability/cost trade-off for a class of ODE solvers
CN114942233A (zh) 近红外光谱特征波长选择方法、装置、设备和存储介质
CN113994276A (zh) 用于验证能量系统的系统参数的方法、用于运行能量系统的方法以及用于能量系统的能量管理系统
CN114020905A (zh) 一种文本分类外分布样本检测方法、装置、介质及设备
CN113962495A (zh) 一种风电场功率预测方法、装置及电子设备
CN114138634A (zh) 测试用例的选取方法、装置、计算机设备和存储介质
CN117350176B (zh) 一种基于万能试验机的自动过流保护方法及装置
CN118010204A (zh) 压力传感器调理芯片信号输出方法、装置、设备以及介质
CN113009888B (zh) 一种产线设备状态预测识别装置
CN116128882B (zh) 基于不平衡数据集的电机轴承故障诊断方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant