CN117951508A - 一种基于物联网的数据质量检测方法及系统 - Google Patents
一种基于物联网的数据质量检测方法及系统 Download PDFInfo
- Publication number
- CN117951508A CN117951508A CN202410063533.8A CN202410063533A CN117951508A CN 117951508 A CN117951508 A CN 117951508A CN 202410063533 A CN202410063533 A CN 202410063533A CN 117951508 A CN117951508 A CN 117951508A
- Authority
- CN
- China
- Prior art keywords
- signal
- internet
- parameter
- baseline
- things
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000001914 filtration Methods 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 20
- 230000011218 segmentation Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 14
- 230000008569 process Effects 0.000 abstract description 13
- 238000012880 independent component analysis Methods 0.000 abstract description 5
- 238000007405 data analysis Methods 0.000 abstract description 4
- 238000012795 verification Methods 0.000 abstract description 4
- 238000013441 quality evaluation Methods 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000035939 shock Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002826 coolant Substances 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Landscapes
- Indication And Recording Devices For Special Purposes And Tariff Metering Devices (AREA)
Abstract
本发明涉及物联网设备数据处理技术领域，具体涉及一种基于物联网的数据质量检测方法及系统。该方法首先获取最优尺寸滤波窗口的所在尺寸范围；进一步获取评判信号分解效果的第二目标参数；进一步根据尺寸范围内所有尺寸窗口的第二目标参数获得最优分解结果；最后对物联网传感器信号数据进行质量检测。本发明通过构建分解成分之间关联性的方式，使独立成分的判定过程为互相验证过程，避免噪声成分和波动成分无法利用独立成分分析算法进行分解的问题，大幅提高了传感器数据分解精度，进而可在消除信号本身波动影响的前提下对信号质量进行客观、有效评价，提高物联网传感器信号数据的质量评估可信度，保证数据分析的可靠性。
Description
技术领域
本发明涉及物联网设备数据处理技术领域，具体涉及一种基于物联网的数据质量检测方法及系统。
背景技术
物联网数据质量检测是指对从各种物联网设备和传感器中收集的数据进行评估和验证，以确保数据的准确性、完整性和可靠性。由于物联网系统涉及大量的设备和传感器，可能存在多种因素导致数据质量问题，如传感器故障、噪声、数据丢失等。因此，进行数据质量检测对于保证物联网系统的正常运行和提高数据分析的可靠性至关重要。
现有物联网传感器数据中，干扰源复杂的信号数据本身具有较大的波动性，无法直接对实际信号质量进行有效评估，通过对传感器信号数据进行成分分解，根据分量信号质量来评估完整信号的数据质量是常用的技术方案，但是传统的独立成分分析算法无法直接假设信号数据中各信号成分相互独立，因此对物联网传感器设备的噪声分解效果不理想，无法对实际信号质量进行有效评估，进而无法判断物联网设备信号数据的质量。
发明内容
为了解决现有方法对物联网传感器设备的噪声分解效果不理想，导致判断物联网设备信号数据的质量不准确的技术问题，本发明提供一种基于物联网的数据质量检测方法及系统，所采用的技术方案具体如下：
一种基于物联网的数据质量检测方法，所述方法包括：
获取物联网传感器的混合信号；
根据预设尺寸滤波窗口的窗口滤波算法对所述混合信号进行处理，获得基线信号；分析所述基线信号变化特征，获取基线信号参数；增大所述预设尺寸滤波窗口，根据所述基线信号参数变化获取最大尺寸滤波窗口；
选取所述最大尺寸滤波窗口到所述预设尺寸滤波窗口之间任一尺寸滤波窗口为目标滤波窗口；在所述目标滤波窗口下，获取目标基线信号；根据所述目标基线信号和所述混合信号获得去基线混合信号；分析所述去基线混合信号的包络变化特征，获得包络特征参数；将所述去基线混合信号的幅值采用预设分割方式进行分割，获得噪声幅值分量集合和无噪声幅值分量集合；根据所述噪声幅值分量集合与所述无噪声幅值分量集合的幅值变化特征，并结合所述包络特征参数获取第一目标参数；调整所述去基线混合信号的分割方式，根据所述第一目标参数的变化获得最优无噪声幅值分量集合；将所述最优无噪声幅值分量集合与预设拟合函数进行拟合，根据拟合结果获取第二目标参数；
遍历从所述最大尺寸滤波窗口到所述预设尺寸滤波窗口之间所有目标滤波窗口，获得每个尺寸滤波窗口对应的第二目标参数；根据所有所述第二目标参数筛选最优滤波窗口并获得最优分解结果；
根据所述最优分解结果对物联网传感器信号数据进行质量检测。
进一步地，所述基线信号参数的获取方法包括：
获取所述基线信号在每个采样点处的斜率；根据所有采样点的斜率获取的斜率方差，获取所述基线信号的幅值极差并负相关映射归一化，将归一化结果作为分母，斜率方差作为分子，分式作为基线信号参数。
进一步地，所述最大尺寸滤波窗口的获取方法包括：
增大所述预设尺寸滤波窗口的尺寸，当获得所述基线信号参数最小值时，对应尺寸的滤波窗口为最大尺寸滤波窗口。
进一步地，所述包络特征参数的获取方法包括：
获取所述去基线混合信号的极大值包络线，将极大值包络线上包络值的标准差作为包络特征参数。
进一步地，所述第一目标参数的获取方法包括：
根据所述噪声幅值分量集合和无噪声幅值分量集合的幅值统计特征，获得各自集合对应的均值和标准差；根据所述无噪声幅值分量集合幅值的均值和标准差获取峰度参数；将噪声幅值分量集合的标准差与所述包络特征参数的差值绝对值作为惩罚参数；将所述峰度参数与所述惩罚参数的和作为第一目标参数。
进一步地，所述最优无噪声幅值分量集合的获取方法包括：
当所述第一目标参数达到最小时，对应的无噪声幅值分量集合为最优无噪声幅值分量集合。
进一步地，所述第二目标参数的获取方法包括：
获取所述拟合结果中的残差；获取非零残差在时序上的相邻间距，根据相邻间距获得相邻间距标准差；将残差的标准差与相邻间距标准差的欧氏范数作为第一参数，将残差的均值与预设除零参数的和作为第二参数，获取所述第一参数与所述第二参数的商，将商作为第二目标参数。
进一步地，所述最优分解结果的获取方法包括：
将所有所述第二目标参数中最大的第二目标参数作为最优第二目标参数；将最优第二目标参数对应的分解结果作为最优分解结果；所述最优分解结果包括：基线信号对应的基线成分、噪声幅值分量集合对应的噪声成分、拟合结果中残差对应的波动成分以及正常信号成分。
进一步地，所述根据所述最优分解结果对物联网传感器信号数据进行质量检测的方法包括：
获取物联网传感器的混合信号的信噪比，当信噪比低于预设信噪比阈值时，认定该物联网传感器的数据存在质量问题。
本发明还提出了一种基于物联网的数据质量检测系统，所述系统包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现任意一项所述一种基于物联网的数据质量检测方法的步骤。
本发明具有如下有益效果：
本发明通过调整滤波窗口尺寸，分析不同尺寸滤波窗口下对应的基线信号的变化，获得基线信号最稳定、去除基线信号后的混合信号平滑程度最高的最大尺寸滤波窗口，为后续调整滤波窗口尺寸获取不同的分解结果提供调整范围；进一步选取任一尺寸滤波窗口为目标滤波窗口，以目标滤波窗口为例，分析去基线混合信号的包络变化特征，获得包络特征参数，为分割去基线混合信号获得的分割结果提供评价参数；进一步分割去基线混合信号，根据分割获得的两个幅值分量集合本身的特征以及包络特征参数获得第一目标参数，根据不同分割方式下第一目标参数的变化获得最优分割方式对应的最优无噪声分量集合，从而将噪声成分从去基线混合信号中分离；进一步地将最优无噪声幅值分量集合与预设拟合函数进行拟合，根据拟合结果获得第二目标参数对噪声分离效果进行判别，使独立成分的判定过程为互相验证过程，大幅提高了传感器数据分解精度；进一步地筛选出最优分解结果并对物联网传感器信号数据进行质量检测，可在消除信号本身波动影响的前提下对信号质量进行客观、有效评价，提高物联网传感器信号数据的质量评估可信度，保证数据分析的可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于物联网的数据质量检测方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于物联网的数据质量检测方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于物联网的数据质量检测方法及系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于物联网的数据质量检测方法的流程图，具体包括：
步骤S1：获取物联网传感器的混合信号。
为分析判断物联网传感器的数据质量，首先需要获取物联网传感器的混合信号。
不同传感器获取的信号不同，例如振动信号，通过分析振动信号的频谱、幅度和波形，可以检测到机械故障、不平衡、轴承损伤等问题；温度信号，通过分析温度信号可以指示设备过热、冷却问题或冷却液流量不足，在工业炉、电子设备和发动机监测中广泛使用。常见的传感器信号还有压力信号、湿度信号、气体浓度信号等，在本发明一个实施例中，以振动信号为例，对物联网传感器的数据质量进行检测；在本发明其他实施例中，实施者可自行选取混合信号类型。
步骤S2：根据预设尺寸滤波窗口的窗口滤波算法对混合信号进行处理，获得基线信号；分析基线信号变化特征，获取基线信号参数；增大预设尺寸滤波窗口，根据基线信号参数变化获取最大尺寸滤波窗口。
为了获取最准确的质量检测结果，就需要获取的最准确的信号分解结果，需要设置最合适的滤波窗口尺寸；而去除信号中的基线成分可以使信号变得更加平滑，分析结果更准确，不同尺寸滤波窗口获得的基线信号不同，所以获取基线信号的基线信号参数来获取滤波窗口的尺寸上限，便于后续在最大尺寸滤波窗口到预设尺寸滤波窗口之间筛选最优分解结果。
因为基线信号表示原始混合信号的长期趋势、背景成分或基准水平，因此基线信号上的变化能够表征原始混合信号中的长期动态特性和背景环境的变化，即可通过分析基线信号变化特征获取基线信号参数，基线信号参数能够用于评价基线信号的稳定性，进而可依据基线信号参数控制预设尺寸滤波窗口的增大尺寸，获得准确的滤波窗口的尺寸上限。
当混合信号去除基线信号后达到最大程度平滑时，基线信号的波动最稳定，而基线信号中幅值的极差可以反映出基线信号局部激凸，幅值斜率的波动可以反映出基线信号的波动；所以可以通过基线信号幅值的波动变化特征，获取基线信号参数。在本发明一个优选实施例中：获取基线信号在每个采样点处的斜率；根据所有采样点的斜率获取的斜率方差，获取基线信号的幅值极差并负相关映射归一化，将归一化结果作为分母，斜率方差作为分子，分式作为基线信号参数，基线信号参数的计算公式包括：
其中，Q表示基线信号参数；P表示基线信号数据点总数；i表示数据点序号；ki表示第i个数据点处的斜率值；表示所有斜率值的平均值；wmax表示基线信号幅值最大值；wmin表示基线信号幅值最小值；e为自然常数。
基线信号参数的计算公式中，斜率方差越大，说明基线信号的波动越大，基线信号参数就越大；幅值极差越大，说明基线信号仍存在较大的局部激凸，分母就越小，基线信号参数就大。
在本发明一个实施例中，预设尺寸为3，即窗口尺寸为3×3，窗口滤波算法选用均值滤波算法；滤波窗口尺寸为奇数，由小到大调整滤波窗口尺寸，当获得基线信号参数最小值时，对应尺寸的滤波窗口为最大尺寸滤波窗口。需要说明的是，最大尺寸滤波窗口所得的基线信号并非真实的基线成分，仅是通过基线信号参数寻找滤波窗口尺寸的上限；均值滤波已是本领域技术人员所熟知的技术手段，在此不再进行赘述；在本发明其他实施例中，实施者可根据实际情况设定其他预设尺寸，并可选用局部多项式拟合、加权移动平均滤波等其他合适的滤波方法。
步骤S3：选取最大尺寸滤波窗口到预设尺寸滤波窗口之间任一尺寸滤波窗口为目标滤波窗口；在目标滤波窗口下，获取目标基线信号；根据目标基线信号和混合信号获得去基线混合信号；分析去基线混合信号的包络变化特征，获得包络特征参数；将去基线混合信号的幅值采用预设分割方式进行分割，获得噪声幅值分量集合和无噪声幅值分量集合；根据噪声幅值分量集合与无噪声幅值分量集合的幅值变化特征，并结合包络特征参数获取第一目标参数；调整去基线混合信号的分割方式，根据第一目标参数的变化获得最优无噪声幅值分量集合；将最优无噪声幅值分量集合与预设拟合函数进行拟合，根据拟合结果获取第二目标参数。
获得滤波窗口尺寸分析范围之后，就可以获取任意尺寸滤波窗口的分解结果，以任一目标滤波窗口为例，所有尺寸的滤波窗口对应的滤波结果获取过程一致，不再逐个赘述；将混合信号通过目标滤波窗口的均值滤波器后，就可以获得目标基线信号，利用简单的减法操作就可以获得去基线混合信号，使得后续信号处理分析更准确；因为信号的包络提供了关于信号动态特性和重要特征的有用信息，所以获取包络特征参数，为分割去基线混合信号的分割结果提供评价依据；进一步通过分割获得的两类幅值分量集合的自身特征，结合包络特征参数获取第一目标参数，以便确立最优的噪声与无噪声信号的分割方式并获得最优无噪声幅值分量集合；进一步对最优无噪声幅值分量集合进行拟合，将信号做进一步分解，并通过获取第二目标参数为后续选取最优分解结果做准备。
优选地，在本发明一个实施例中，考虑到包络线能描述突出特征的幅值部分，理论上包络线为直线时这些突出特征的幅值集合具有最大非高斯性，因此计算包络线的幅值离散度，获得包络特征参数，可以粗糙的估测噪声部分叠加在原始信号上的干扰程度，并且包络通常是通过提取信号在窗口内的振幅最大值来计算的，所以对极大值包络线进行分析。因此通过可以反映出包络波动特征的包络值标准差来获取包络特征参数，用于代表包络的波动特征。
包络特征参数的具体获取方法包括：获取去基线混合信号的极大值包络线，将极大值包络线上包络值的标准差作为包络特征参数。包络特征参数的计算公式包括：
其中，γ表示包络特征参数；M表示极大值包络线上包络值的总数；i表示极大值包络线上包络值的序号；gi表示极大值包络线序号上为i的包络值；表示极大值包络线上所有包络值的均值。
包络特征参数的计算公式中，包络值的标准差越大，说明去基线混合信号的包络波动越大，噪声的干扰程度越大，包络特征参数就越大。
将代表干扰程度的包络特征参数作为去基线混合信号幅值集合分解过程中的引导参数，即进行最优化分解时，被分解的噪声成分集合的噪声强度需要尽可能趋近于包络特征参数；由信息熵理论可知，峰度越低的数据集信息熵最大，数据结构越稳定，越可能为独立成分，所以获取无噪声幅值分量集合的峰度，结合无噪声幅值分量集合的峰度、噪声幅值分量集合与包络特征参数趋近程度综合获取第一目标参数，用于获取最优分割方式。
优选地，在本发明一个实施例中，第一目标参数的获取方法包括：根据噪声幅值分量集合和无噪声幅值分量集合的幅值统计特征，获得各自集合对应的均值和标准差；根据无噪声幅值分量集合幅值的均值和标准差获取峰度参数；将噪声幅值分量集合的标准差与包络特征参数的差值绝对值作为惩罚参数；将峰度参数与惩罚参数的和作为第一目标参数。第一目标参数的计算公式包括：
其中，E1表示第一目标参数；R表示无噪声幅值分量集合的幅值总数；r表示无噪声幅值分量集合的幅值数据的序号；ρr表示无噪声幅值分量集合中序号为r的幅值；μ和σ为无噪声幅值分量集合的幅值的均值和标准差；σ′表示噪声幅值分量集合的幅值的标准差；γ表示包络特征参数；|σ′-γ|表示惩罚参数。
第一目标参数的计算公式中，无噪声幅值分量集合的幅值的峰度越小，数据结构越稳定，越可能为独立成分，第一目标参数越小；噪声幅值分量集合的标准差与包络特征参数的差值绝对值越小，惩罚参数越小，说明噪声幅值分量集合与包络特征参数波动特征越接近，第一目标参数越小。
由第一目标参数的获取过程可知，当第一目标参数最小时，噪声幅值与无噪声幅值的分割效果最好，所以在本发明一个优选实施例中，当第一目标参数达到最小时，对应的无噪声幅值分量集合为最优无噪声幅值分量集合。
在本发明一个实施例中，预设分割方式为穷举分割，以便寻找最准确的最小的第一目标参数；在本发明其他实施例中，实施者可根据实际情况，选取迭代二分法等其他分割方法。
分离混合信号中的基线成分和噪声成分之后，最优无噪声幅值分量集合中就剩下正常振动信号成分和随机异常的波动振动信号成分。为了最大程度描述无噪信号中的正常振动信号成分，在本发明一个实施例中，将正弦信号作为正常振动信号，利用正弦信号作为预设拟合函数拟合最优无噪声幅值分量集合，拟合所得残差为波动振动信号成分。当满足残差成分最小且具有最大离散性这一条件时，即可验证正弦信号为正常振动信号，进而还可以验证被分解的噪声成分的可信度。
优选地，在本发明一个实施例中，第二目标参数的获取方法包括：获取拟合结果中的残差；获取非零残差在时序上的相邻间距，根据相邻间距获得相邻间距标准差；将残差的标准差与相邻间距标准差的欧氏范数作为第一参数，将残差的均值与预设除零参数的和作为第二参数，获取第一参数与第二参数的商，将商作为第二目标参数。第二目标参数的计算公式包括：
其中，E2表示第二目标参数；σB和μB分别表示残差的标准差和均值；D表示非零残差在时序上的相邻间距，σD表示非零残差在时序上的相邻间距的相邻间距标准差；f表示预设除零参数，表示第一参数。在本发明一个实施例中，f＝1。
第二目标参数的计算公式中，第一参数越大，说明残差的离散程度越大，说明残差越能代表设备随机发生不同程度的故障、卡顿导致的离散异常信号，第二目标参数越大；残差的均值越小，说明离散异常信号出现的越少，越符合实际情况，第二目标参数越大。
步骤S4：遍历从最大尺寸滤波窗口到预设尺寸滤波窗口之间所有目标滤波窗口，获得每个尺寸滤波窗口对应的第二目标参数；根据所有第二目标参数筛选最优滤波窗口并获得最优分解结果。
第二目标参数为滤波窗口尺寸以及信号分解效果提供了评判依据，第二目标参数越大，分解效果越好，滤波窗口尺寸越合适，为了获取最优滤波窗口尺寸下的最优分解结果，遍历最大尺寸滤波窗口到预设尺寸滤波窗口之间所有目标滤波窗口，以便筛选最优滤波窗口并获得最优分解结果。
优选地，在本发明一个实施例中，将所有第二目标参数中最大的第二目标参数作为最优第二目标参数；将最优第二目标参数对应的目标滤波窗口作为最优滤波窗口；将最优第二目标参数对应的分解结果作为最优分解结果；最优分解结果包括：基线信号对应的基线成分、噪声幅值分量集合对应的噪声成分、拟合结果中残差对应的波动成分以及正常信号成分。
步骤S5：根据所述最优分解结果对物联网传感器信号数据进行质量检测。
信噪比是衡量信号与噪声之间相对强度或清晰度的度量，通过获取信号的信噪比可以判别物联网传感器传输的数据是否存在质量问题，在本发明一个优选实施例中，将混合信号的幅值方差与去除噪声成分后混合信号其余成分的幅值方差的比值进行对数转化，将转化结果乘以10即可获得物联网传感器的混合信号的信噪比，当信噪比低于预设信噪比阈值40dB时，认定该物联网传感器的数据存在质量问题。
综上所述，本发明面对现有方法对物联网传感器设备的噪声分解效果不理想，导致判断物联网设备信号数据的质量不准确的技术问题，首先根据不同尺寸滤波窗口下基线信号参数不断变化的特点，获取最大尺寸滤波窗口，确定最优分解效果对应的最优尺寸滤波窗口所在的尺寸范围；进一步以任一尺寸滤波窗口为例，分析去基线信号的包络变化特征，并结合分割去基线混合信号获得的两个分量集合本身的幅值特征，获取最优无噪声幅值分量集合；进一步利用预设拟合函数结合最优无噪声幅值分量集合获取可以评判分解结果的第二目标参数，根据所有尺寸窗口的第二目标参数筛选出最优分解结果并对物联网传感器数据进行质量检测。本发明通过构建分解成分之间关联性的方式，使独立成分的判定过程为互相验证过程，避免噪声成分和波动成分无法利用独立成分分析算法进行分解的问题，以及噪声成分和波动成分混淆的问题，大幅提高了传感器数据分解精度，进而可在消除信号本身波动影响的前提下对信号质量进行客观、有效评价，提高物联网传感器信号数据的质量评估可信度，保证数据分析的可靠性。
本发明一个实施例提供了一种基于物联网的数据质量检测系统，该系统包括存储器、处理器和计算机程序，其中存储器用于存储相应的计算机程序，处理器用于运行相应的计算机程序，计算机程序在处理器中运行时能够实现步骤S1到S5所描述的一种基于物联网的数据质量检测方法。
一种基于物联网的数据分解方法实施例：
现有物联网传感器数据中，干扰源复杂的信号数据本身具有较大的波动性，传统的独立成分分析算法无法直接假设信号数据中各信号成分相互独立，因此对物联网传感器设备的噪声分解效果不理想。
为了解决现有方法对物联网传感器设备的噪声分解效果不理想的技术问题，提出了一种基于物联网的数据分解方法，具体包括：
步骤S1：获取物联网传感器的混合信号。
步骤S2：根据预设尺寸滤波窗口的窗口滤波算法对混合信号进行处理，获得基线信号；分析基线信号变化特征，获取基线信号参数；增大预设尺寸滤波窗口，根据基线信号参数变化获取最大尺寸滤波窗口。
步骤S3：选取最大尺寸滤波窗口到预设尺寸滤波窗口之间任一尺寸滤波窗口为目标滤波窗口；在目标滤波窗口下，获取目标基线信号；根据目标基线信号和混合信号获得去基线混合信号；分析去基线混合信号的包络变化特征，获得包络特征参数；将去基线混合信号的幅值采用预设分割方式进行分割，获得噪声幅值分量集合和无噪声幅值分量集合；根据噪声幅值分量集合与无噪声幅值分量集合的幅值变化特征，并结合包络特征参数获取第一目标参数；调整去基线混合信号的分割方式，根据第一目标参数的变化获得最优无噪声幅值分量集合；将最优无噪声幅值分量集合与预设拟合函数进行拟合，根据拟合结果获取第二目标参数。
步骤S4：遍历从最大尺寸滤波窗口到预设尺寸滤波窗口之间所有目标滤波窗口，获得每个尺寸滤波窗口对应的第二目标参数；根据所有第二目标参数筛选最优滤波窗口并获得最优分解结果。
由于一种基于物联网的数据分解方法的具体实现过程在上述一种基于物联网的数据质量检测方法及系统中已给出详细说明，不再赘述。
综上所述，本发明面对现有方法对物联网传感器设备的噪声分解效果不理想的技术问题，首先根据不同尺寸滤波窗口下基线信号参数不断变化的特点，获取最大尺寸滤波窗口，确定最优分解效果对应的最优尺寸滤波窗口所在的尺寸范围；进一步以任一尺寸滤波窗口为例，分析去基线信号的包络变化特征，并结合分割去基线混合信号获得的两个分量集合本身的幅值特征，获取最优无噪声幅值分量集合；进一步利用预设拟合函数结合最优无噪声幅值分量集合获取可以评判分解结果的第二目标参数，根据所有尺寸窗口的第二目标参数筛选出最优分解结果。本发明通过构建分解成分之间关联性的方式，使独立成分的判定过程为互相验证过程，避免噪声成分和波动成分无法利用独立成分分析算法进行分解的问题，以及噪声成分和波动成分混淆的问题，大幅提高了传感器数据分解精度。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
Claims (10)
1.一种基于物联网的数据质量检测方法，其特征在于，所述方法包括：
获取物联网传感器的混合信号；
根据预设尺寸滤波窗口的窗口滤波算法对所述混合信号进行处理，获得基线信号；分析所述基线信号变化特征，获取基线信号参数；增大所述预设尺寸滤波窗口，根据所述基线信号参数变化获取最大尺寸滤波窗口；
选取所述最大尺寸滤波窗口到所述预设尺寸滤波窗口之间任一尺寸滤波窗口为目标滤波窗口；在所述目标滤波窗口下，获取目标基线信号；根据所述目标基线信号和所述混合信号获得去基线混合信号；分析所述去基线混合信号的包络变化特征，获得包络特征参数；将所述去基线混合信号的幅值采用预设分割方式进行分割，获得噪声幅值分量集合和无噪声幅值分量集合；根据所述噪声幅值分量集合与所述无噪声幅值分量集合的幅值变化特征，并结合所述包络特征参数获取第一目标参数；调整所述去基线混合信号的分割方式，根据所述第一目标参数的变化获得最优无噪声幅值分量集合；将所述最优无噪声幅值分量集合与预设拟合函数进行拟合，根据拟合结果获取第二目标参数；
遍历从所述最大尺寸滤波窗口到所述预设尺寸滤波窗口之间所有目标滤波窗口，获得每个尺寸滤波窗口对应的第二目标参数；根据所有所述第二目标参数筛选最优滤波窗口并获得最优分解结果；
根据所述最优分解结果对物联网传感器信号数据进行质量检测。
2.根据权利要求1中所述的一种基于物联网的数据质量检测方法，其特征在于，所述基线信号参数的获取方法包括：
获取所述基线信号在每个采样点处的斜率；根据所有采样点的斜率获取的斜率方差，获取所述基线信号的幅值极差并负相关映射归一化，将归一化结果作为分母，斜率方差作为分子，分式作为基线信号参数。
3.根据权利要求1中所述的一种基于物联网的数据质量检测方法，其特征在于，所述最大尺寸滤波窗口的获取方法包括：
增大所述预设尺寸滤波窗口的尺寸，当获得所述基线信号参数最小值时，对应尺寸的滤波窗口为最大尺寸滤波窗口。
4.根据权利要求1中所述的一种基于物联网的数据质量检测方法，其特征在于，所述包络特征参数的获取方法包括：
获取所述去基线混合信号的极大值包络线，将极大值包络线上包络值的标准差作为包络特征参数。
5.根据权利要求1中所述的一种基于物联网的数据质量检测方法，其特征在于，所述第一目标参数的获取方法包括：
根据所述噪声幅值分量集合和无噪声幅值分量集合的幅值统计特征，获得各自集合对应的均值和标准差；根据所述无噪声幅值分量集合幅值的均值和标准差获取峰度参数；将噪声幅值分量集合的标准差与所述包络特征参数的差值绝对值作为惩罚参数；将所述峰度参数与所述惩罚参数的和作为第一目标参数。
6.根据权利要求1中所述的一种基于物联网的数据质量检测方法，其特征在于，所述最优无噪声幅值分量集合的获取方法包括：
当所述第一目标参数达到最小时，对应的无噪声幅值分量集合为最优无噪声幅值分量集合。
7.根据权利要求1中所述的一种基于物联网的数据质量检测方法，其特征在于，所述第二目标参数的获取方法包括：
获取所述拟合结果中的残差；获取非零残差在时序上的相邻间距，根据相邻间距获得相邻间距标准差；将残差的标准差与相邻间距标准差的欧氏范数作为第一参数，将残差的均值与预设除零参数的和作为第二参数，获取所述第一参数与所述第二参数的商，将商作为第二目标参数。
8.根据权利要求1中所述的一种基于物联网的数据质量检测方法，其特征在于，所述最优分解结果的获取方法包括：
将所有所述第二目标参数中最大的第二目标参数作为最优第二目标参数；将最优第二目标参数对应的分解结果作为最优分解结果；所述最优分解结果包括：基线信号对应的基线成分、噪声幅值分量集合对应的噪声成分、拟合结果中残差对应的波动成分以及正常信号成分。
9.根据权利要求1中所述的一种基于物联网的数据质量检测方法，其特征在于，所述根据所述最优分解结果对物联网传感器信号数据进行质量检测的方法包括：
获取物联网传感器的混合信号的信噪比，当信噪比低于预设信噪比阈值时，认定该物联网传感器的数据存在质量问题。
10.一种基于物联网的数据质量检测系统，所述系统包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1～9任意一项所述一种基于物联网的数据质量检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410063533.8A CN117951508A (zh) | 2024-01-16 | 2024-01-16 | 一种基于物联网的数据质量检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410063533.8A CN117951508A (zh) | 2024-01-16 | 2024-01-16 | 一种基于物联网的数据质量检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117951508A true CN117951508A (zh) | 2024-04-30 |
Family
ID=90791541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410063533.8A Pending CN117951508A (zh) | 2024-01-16 | 2024-01-16 | 一种基于物联网的数据质量检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117951508A (zh) |
-
2024
- 2024-01-16 CN CN202410063533.8A patent/CN117951508A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | High-dimensional process monitoring and fault isolation via variable selection | |
| CN110717472B (zh) | 基于改进的小波阈值去噪的故障诊断方法及系统 | |
| KR20130100266A (ko) | 납땜 이음의 품질을 검사하는 방법 | |
| CN113567603A (zh) | 色谱谱图的检测分析方法及电子设备 | |
| CN117112514B (zh) | 基于对氯甲基苯乙烯生产数据的记录存储方法 | |
| CN117272210A (zh) | 一种建筑施工异常隐患数据检测方法及系统 | |
| CN112149296B (zh) | 一种判定水文时间序列平稳性类型的方法 | |
| CN110599425A (zh) | 一种适用于acfm信号小波去噪的小波参数选择方法 | |
| CN115840104B (zh) | 一种基于电磁兼容实验的干扰信号识别方法 | |
| CN113836704A (zh) | 一种基于改进奇异谱分析的时间序列降噪方法及装置 | |
| Zheng-Feng et al. | Outlier detection for multivariate calibration in near infrared spectroscopic analysis by model diagnostics | |
| CN114611582A (zh) | 一种基于近红外光谱技术分析物质浓度的方法及系统 | |
| TWI428581B (zh) | 辨識光譜的方法 | |
| CN117949800A (zh) | 一种场效晶体管智能测试方法及系统 | |
| CN113837591A (zh) | 一种面向多工况运行条件的装备健康评估方法 | |
| CN111881929B (zh) | 基于混沌图像像素识别的Duffing系统大周期状态检测方法及装置 | |
| CN117630800A (zh) | 一种电能表自动检定装置故障诊断方法及系统 | |
| CN117951508A (zh) | 一种基于物联网的数据质量检测方法及系统 | |
| CN109840386B (zh) | 基于因子分析的损伤识别方法 | |
| CN112033656A (zh) | 一种基于宽带谱处理的机械系统故障检测方法 | |
| CN115266583B (zh) | 环境光滤除方法、系统、计算机设备及计算机可读存储介质 | |
| CN116484184A (zh) | 一种电力设备局部放电缺陷样本增强方法及装置 | |
| CN110990383A (zh) | 一种基于工业大数据集的相似度计算方法 | |
| CN111898314B (zh) | 湖泊水体参数检验方法、装置、电子设备及存储介质 | |
| CN109324017B (zh) | 一种提高近红外光谱分析技术建模光谱质量的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |