CN116718218B - 一种光电集成式传感芯片测试数据处理方法 - Google Patents

一种光电集成式传感芯片测试数据处理方法 Download PDF

Info

Publication number
CN116718218B
CN116718218B CN202310631971.5A CN202310631971A CN116718218B CN 116718218 B CN116718218 B CN 116718218B CN 202310631971 A CN202310631971 A CN 202310631971A CN 116718218 B CN116718218 B CN 116718218B
Authority
CN
China
Prior art keywords
data
time period
preset
amplitude
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310631971.5A
Other languages
English (en)
Other versions
CN116718218A (zh
Inventor
张会军
董子任
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Enmai Intelligent Digital Medical Jiaxing Co ltd
Original Assignee
Enmai Intelligent Digital Medical Jiaxing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Enmai Intelligent Digital Medical Jiaxing Co ltd filed Critical Enmai Intelligent Digital Medical Jiaxing Co ltd
Priority to CN202310631971.5A priority Critical patent/CN116718218B/zh
Publication of CN116718218A publication Critical patent/CN116718218A/zh
Application granted granted Critical
Publication of CN116718218B publication Critical patent/CN116718218B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D5/00Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable
    • G01D5/26Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/10Pre-processing; Data cleansing
    • G06F18/15Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2433Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00Data types
    • G06F2123/02Data types in the time domain, e.g. time-series data
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00Energy generation through renewable energy sources
    • Y02E10/50Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Indication And Recording Devices For Special Purposes And Tariff Metering Devices (AREA)

Abstract

本发明涉及传感芯片测试数据处理技术领域,具体涉及一种光电集成式传感芯片测试数据处理方法。方法包括:获取光电集成式传感芯片采集设备运行过程中幅值数据,将设备运行过程划分为不少于两个时间段,根据各时间段中各时刻的幅值数据和各时间段的时长,得到对应的噪声概率;基于时长相同的时间段中各时刻的振幅数据获得目标矩阵;对目标矩阵中的数据进行分类获得各行对应的各类数据;根据目标矩阵中各行数据中每类数据的数值分布、每类数据中的数据数量和噪声概率,得到各时间段的噪声影响程度,进而确定各时间段对应的窗口长度;基于窗口长度采用滑动平均法对幅值数据进行去噪获得去噪后的数据。本发明提高了幅值数据的平滑去噪效果。

Description

一种光电集成式传感芯片测试数据处理方法
技术领域
本发明涉及传感芯片测试数据处理技术领域,具体涉及一种光电集成式传感芯片测试数据处理方法。
背景技术
光电集成式传感芯片是一种将光学和电子技术相结合的传感器,利用光电转换原理将外部物理量转换为电信号,实现对目标物理量的测量和检测。随着传感技术和芯片制造技术的不断发展,光电集成式传感芯片越来越广泛地应用于各种场合。然而光电集成式传感芯片采集的数字信号受传感芯片本身和外界电磁场、射频辐射,以及信号采样误差、传输损耗的影响,会产生大量的噪声,导致后续的光电集成式传感芯片测试数据的特征提取和分析不准确。滑动平均法是一种常用的信号平滑去噪的方法,其窗口长度为该方法中的一个重要的参数,窗口长度会直接影响到滑动平均法的平滑效果,窗口长度越大,平滑效果越显著,因为更多的数据被考虑在内,可以过滤掉更多的随机噪声,但是会损失一定的细节信息;相反,窗口长度越小,平滑效果越差,但对于周期性或快速变化的数据可以更好地反映其特征。因此,如何根据数据特征自适应地确定滑动平均法平滑去噪过程中的窗口长度,以提高平滑效果是个重要的问题。
发明内容
为了解决现有方法无法自适应地确定滑动平均法平滑去噪过程中的窗口长度,导致数据的平滑效果较差的问题,本发明的目的在于提供一种光电集成式传感芯片测试数据处理方法,所采用的技术方案具体如下:
本发明提供了一种光电集成式传感芯片测试数据处理方法,该方法包括以下步骤:
获取光电集成式传感芯片采集设备运行过程中各时刻的幅值数据;
基于所述幅值数据之间的差异将设备运行过程划分为不少于两个时间段;根据各时间段中各时刻的幅值数据和各时间段的时长,得到各时间段对应的噪声概率;基于时长相同的时间段中各时刻的振幅数据构建各初始矩阵,所述初始矩阵中每行数据是由一个时间段内所有时刻的振幅数据构成的;
对于任一初始矩阵:根据初始矩阵中每列数据的数值分布,对初始矩阵中的数据进行修正获得目标矩阵;对目标矩阵中的数据进行分类获得各行对应的各类数据;根据目标矩阵中各行数据中每类数据的数值分布、每类数据中的数据数量和各行数据对应的噪声概率,得到目标矩阵中各行数据对应的时间段的噪声影响程度;
基于设备运行过程中各时间段的噪声影响程度,确定各时间段对应的窗口长度;基于所述窗口长度采用滑动平均法对设备运行过程中的幅值数据进行去噪,获得去噪后的幅值数据。
优选的,所述根据各时间段中各时刻的幅值数据和各时间段的时长,得到各时间段对应的噪声概率,包括:
对于任一时间段:
若设备运行过程中不存在与该时间段时长相同的时间段,则令该时间段对应的噪声概率为1;
若设备运行过程中存在与该时间段时长相同的时间段,则将设备运行过程中与该时间段时长相同的时间段记为该时间段对应的参考时间段,根据该时间段与其对应的各参考时间段中的幅值数据之间的差异,得到该时间段与其对应的各参考时间段的数据相似性;根据所述数据相似性和该时间段的时长,采用如下公式计算该时间段对应的噪声概率:
其中,C为该时间段对应的噪声概率,B'为设备运行过程中该时间段的时长对应的时间段的数量,Bi为设备运行过程中第i种时长对应的时间段的数量,m为设备运行过程中时长的种类数,B'-1为该时间段对应的参考时间段的数量,Ft为该时间段与其对应的第t个参考时间段的数据相似性。
优选的,根据该时间段与其对应的各参考时间段中的幅值数据之间的差异,得到该时间段与其对应的各参考时间段的数据相似性,包括:
根据该时间段中各时刻的幅值数据构建该时间段对应的子序列;
对于该时间段对应的第t个参考时间段:根据第t个参考时间段中各时刻的幅值数据构建第t个参考时间段对应的子序列;分别将该时间段对应的子序列中各数据与第t个参考时间段对应的子序列中对应位置的数据的差值的绝对值,确定为第t个参考时间段中各时刻的差异指标;将第t个参考时间段中所有时刻的差异指标的均值的归一化结果,确定为该时间段与其对应的第t个参考时间段的数据相似性。
优选的,所述基于时长相同的时间段中各时刻的振幅数据构建各初始矩阵,包括:
对于任意一种时长对应的时间段:基于该种时长对应的各时间段中所有时刻的振幅数据,构建该种时长对应的各时间段的子序列;基于该种时长对应的所有时间段的子序列获得对应的初始矩阵。
优选的,所述根据初始矩阵中每列数据的数值分布,对初始矩阵中的数据进行修正获得目标矩阵,包括:
根据初始矩阵中每列数据的均值构建标准行数据;对所述标准行数据进行正态分布拟合获得拟合函数;
对于初始矩阵中的任一数据:将该数据所在的列中所有数据的均值代入拟合函数获得该数据对应的拟合函数值;获取初始矩阵中所有数据以及该数据对应的拟合函数值中的最小值,计算所述最小值的绝对值与预设第一参数的和值;将该数据与所述和值之和作为该数据的特征值,将所述拟合函数值与所述和值之和作为第一指标;将所述特征值与所述第一指标的比值作为该数据的修正值;
利用初始矩阵中各数据的修正值替换对应的原数据值获得目标矩阵。
优选的,所述根据目标矩阵中各行数据中每类数据的数值分布、每类数据中的数据数量和各行数据对应的噪声概率,得到目标矩阵中各行数据对应的时间段的噪声影响程度,包括:
对于目标矩阵中的任意一行数据,采用如下公式计算该行数据对应的时间段的噪声影响程度:
其中,P为该行数据对应的时间段的噪声影响程度,C为该行数据对应的时间段对应的噪声概率,J为该行数据中数据的种类数,y为该行数据的个数,Sj为该行数据中第j类数据的个数,Qj为该行数据中第j类数据的平均值,norm()为归一化函数,||为取绝对值符号。
优选的,所述基于设备运行过程中各时间段的噪声影响程度,确定各时间段对应的窗口长度,包括:
对于任一时间段:
将该时间段的噪声影响程度的归一化结果作为该时间段的噪声影响指标;
若该时间段的噪声影响指标小于预设第一阈值,则将该时间段对应的窗口长度设置为预设第一长度;若该时间段的噪声影响指标大于或等于预设第一阈值且小于预设第二阈值,则将该时间段对应的窗口长度设置为预设第二长度;若该时间段的噪声影响指标大于或等于预设第二阈值且小于预设第三阈值,则将该时间段对应的窗口长度设置为预设第三长度;若该时间段的噪声影响指标大于或等于预设第三阈值,则将该时间段对应的窗口长度设置为预设第四长度;
所述预设第一阈值小于所述预设第二阈值,所述预设第二阈值小于所述预设第三阈值;所述预设第一长度小于所述预设第二长度,所述预设第二长度小于所述预设第三长度,所述预设第三长度小于所述预设第四长度。
优选的,所述基于所述幅值数据之间的差异将设备运行过程划分为不少于两个时间段,包括:
对设备运行过程中所有时刻的幅值数据进行曲线拟合获得幅值曲线,将幅值曲线的波谷点对应的时刻作为划分点,基于所述划分点对设备运行过程进行划分获得各时间段。
优选的,所述对目标矩阵中的数据进行分类获得各行对应的各类数据,包括:
采用DBSCAN密度聚类算法对目标矩阵中的数据进行聚类,获得各行对应的各类数据。
本发明至少具有如下有益效果:
本发明考虑到光电集成式传感芯片采集的数字信号受传感芯片本身和外界电磁场、射频辐射,以及信号采样误差、传输损耗的影响,会产生大量的噪声,导致后续的光电集成式传感芯片测试数据的特征提取和分析不准确,为了提高后续特征提取和分析结果的准确性,本发明利用滑动平均法对采集到的幅值数据进行去噪处理,又由于滑动平均法中窗口长度的大小会直接影响到平滑效果,设备运行时的轴承振动信号为一种周期性信号,因此采集到的幅值数据呈现周期性变化特征,本发明首先基于幅值数据之间的差异将设备运行过程划分成了多个时间段,接下来分别对每个时间段中的幅值数据进行分析,根据每个时间段中每个时刻的幅值数据和每个时间段的时长,得到了每个时间段对应的噪声概率,噪声概率只能够表征对应的时间段内采集到的幅值数据是否存在噪声,不能表征采集的幅值数据受噪声影响的程度,因此本发明根据初始矩阵中每列数据的数值分布,对初始矩阵中的数据进行了修正获得了目标矩阵,根据目标矩阵中各行数据中每类数据的数值分布、每类数据中的数据数量和噪声概率,得到了每个时间段的噪声影响程度,由此自适应窗口长度,以提高平滑去噪效果,使该周期性数据可以更好地反映其特征,提高了平滑去噪后数据的准确性和可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明实施例所提供的一种光电集成式传感芯片测试数据处理方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种光电集成式传感芯片测试数据处理方法进行详细说明如下。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种光电集成式传感芯片测试数据处理方法的具体方案。
一种光电集成式传感芯片测试数据处理方法实施例:
本实施例所针对的具体场景为:设备运行过程中,利用光电集成式传感芯片采集设备运行过程中产生的测试数据,光电集成式传感芯片采集的数字信号受传感芯片本身和外界电磁场、射频辐射,以及信号采样误差、传输损耗的影响,会产生大量的噪声,导致后续的光电集成式传感芯片测试数据的特征提取和分析不准确,为了提高后续特征提取及分析结果的准确性,本实施例自适应地确定滑动平均法平滑过程中窗口的长度,利用滑动平均法实现测试数据的精准去噪,进而对高质量数据进行特征提取和分析,实现光电集成式传感芯片测试数据处理。
本实施例提出了一种光电集成式传感芯片测试数据处理方法,如图1所示,本实施例的一种光电集成式传感芯片测试数据处理方法包括以下步骤:
步骤S1,获取光电集成式传感芯片采集设备运行过程中各时刻的幅值数据。
光电集成式传感芯片被应用到机械制造、环境监测、医疗诊断、物流等多个领域,其在机械制造行业中,通常被用于测量和控制机械设备的运行状态,本实施例利用光电集成式传感芯片采集设备运行时的轴承振动信号,对其数据进行特征提取和分析,实现光电集成式传感芯片测试数据处理。
本实施例利用光电集成式传感芯片采集设备运行时的轴承幅值数据,根据幅值数据的周期性,对数据进行分段处理,再根据各时间段的时长特征和同时长的时间段内数据的相似性特征,计算各时间段对应的噪声概率,然后结合正态分布特征,识别各时间段内的噪声分布情况,计算各时间段内的噪声影响程度,进而自适应窗口长度,利用滑动平均法实现数据的精准去噪。最后对高质量数据进行特征提取和分析,实现光电集成式传感芯片测试数据处理。
本实施例首先利用光电集成式传感芯片采集设备运行过程中每个时刻的幅值数据,本实施例中幅值数据每秒采集一次,在具体应用中,实施者可根据具体情况进行设置。
至此,获得了设备运行过程中每个时刻的幅值数据。
步骤S2,基于所述幅值数据之间的差异将设备运行过程划分为不少于两个时间段;根据各时间段中各时刻的幅值数据和各时间段的时长,得到各时间段对应的噪声概率;基于时长相同的时间段中各时刻的振幅数据构建各初始矩阵,所述初始矩阵中每行数据是由一个时间段内所有时刻的振幅数据构成的。
本实施例已经采集到了设备运行过程中的幅值数据,由于数据在采集过程中会受到各种因素的影响,导致采集到的数据存在大量的噪声,因此需要对其进行去噪处理,保证数据的准确性和可靠性。
根据设备运行过程中每个时刻的幅值数据,按照时间先后顺序构建幅值时序数据序列A={A1,A2,…,An},其中,n表示设备运行过程中时刻的总数量,也即采集到的幅值数据的总个数;A表示幅值时序数据序列;A1表示设备运行过程中第1个时刻的幅值数据;A2表示设备运行过程中第2个时刻的幅值数据;An表示设备运行过程中第n个时刻的幅值数据。利用最小二乘法对幅值时序数据序列进行曲线拟合,将获得的曲线记为幅值曲线,由于设备运行时的轴承振动信号为一种周期性信号,因此采集到的幅值数据呈现周期性变化特征,获取幅值曲线内的波谷点,将幅值曲线的波谷点对应的时刻作为划分点,基于划分点对设备运行过程进行划分获得多个时间段,每个时间段内的数据变化呈单波峰状,且其时长为单周期时长。而设备运行过程中的第一个时间段和最后一个时间段内的数据变化可能不是完整的单波峰状,其数据量较小,对后续的数据分析影响较小,因此本实施例不对这两个时间段进行分析,需要说明的是,本实施例中后续提到的时间段均为除这两个时间段外的其他时间段。
由于振动信号为周期性数据,因此每个时间段的时长应相同,而时序数据内的噪声通常呈现出随机性,即在一段时间内突然出现,并在短时间内消失。故当噪声出现时刻处于振动信号某一波谷处时,会导致最小二乘法拟合曲线的该波谷点位置存在误差,使得划分后对应的时间段的时长不定,因此与某一时间段同时长的时间段的数量越少,说明该时间段内含有噪声的概率越大;如果与某一时间段同时长的时间段的数量较多,需要进一步分析同时长的时间段之间的关系,由于噪声出现时间随机,若该时间段中存在噪声,则该时间段中数据与其同时长时间段中对应数据之间的差异越大。基于此,本实施例将首先获取与每个时间段同时长的时间段,作为每个时间段对应的参考时间段,然后根据每个时间段与其对应的各参考时间段中的幅值数据之间的差异,得到每个时间段与其对应的各参考时间段的数据相似性,进而结合数据相似性确定每个时间段对应的噪声概率。
具体的,获取每个时间段的时长,统计同一时长的时间段的数量,根据每种时长的时间段的数量,构建时间段数量集合B={B1,B2,…,Bm},其中,B为时间段数量集合,m为设备运行过程中时长的种类数,B1为设备运行过程中第1种时长对应的时间段的数量,B2为设备运行过程中第2种时长对应的时间段的数量,Bm为设备运行过程中第m种时长对应的时间段的数量。
对于任一时间段:
若设备运行过程中不存在与该时间段时长相同的时间段,则令该时间段对应的噪声概率为1。若设备运行过程中存在与该时间段时长相同的时间段,则将设备运行过程中与该时间段时长相同的时间段记为该时间段对应的参考时间段,根据该时间段中各时刻的幅值数据构建该时间段对应的子序列,即D1={D1,D2,...,DX},其中,D1为该时间段对应的子序列,X为该时间段中采集到的幅值数据的个数,也即该时间段对应的子序列中幅值数据的数量,D1为该时间段中第1个时刻的幅值数据,D2为该时间段中第2个时刻的幅值数据,Dx为该时间段中第X个时刻的幅值数据;对于该时间段对应的第t个参考时间段:根据第t个参考时间段中各时刻的幅值数据构建第t个参考时间段对应的子序列,即其中,D1t为第t个参考时间段对应的子序列,/>为第t个参考时间段中第1个时刻的幅值数据,/>为第t个参考时间段中第2个时刻的幅值数据,/>为第t个参考时间段中第X个时刻的幅值数据;分别将该时间段对应的子序列中各数据与第t个参考时间段对应的子序列中对应位置的数据的差值的绝对值,确定为第t个参考时间段中各时刻的差异指标;将第t个参考时间段中所有时刻的差异指标的均值的归一化结果,确定为该时间段与其对应的第t个参考时间段的数据相似性;根据所述数据相似性和该时间段的时长,计算该时间段对应的噪声概率;该时间段对应的噪声概率的具体计算公式为:
其中,C为该时间段对应的噪声概率,B′为设备运行过程中该时间段的时长对应的时间段的数量,Bi为设备运行过程中第i种时长对应的时间段的数量,m为设备运行过程中时长的种类数,B′-1为该时间段对应的参考时间段的数量,Ft为该时间段与其对应的第t个参考时间段的数据相似性,norm()为归一化函数,X为该时间段中采集到的幅值数据的个数,Dx为该时间段对应的子序列中第x个幅值数据,为该时间段对应的第t个参考时间段对应的子序列中第x个幅值数据。
表示时间段数量集合中所有数据的和值,/>表示该时间段对应的单周期时长在幅值时序数据序列中出现的概率。/>表示该时间段对应的子序列中第x个幅值数据与该时间段对应的第t个参考时间段对应的子序列中第x个幅值数据的差异,表示该时间段对应的子序列中所有幅值数据与该时间段对应的第t个参考时间段对应的子序列中对应位置的幅值数据之间的平均差异。
当设备运行过程中该时间段的时长对应的时间段的数量为1、也即设备运行过程中不存在与该时间段时长相同的时间段时,说明该时间段中存在噪声,令该时间段对应的噪声概率为1;当设备运行过程中该时间段的时长对应的时间段的数量大于1、也即设备运行过程中存在与该时间段时长相同的时间段时,该时间段中数据与其同时长时间段中对应数据的平均差异较大,若该时间段中不存在噪声,则当与其同时长时间段存在噪声时,对应的数据相似性较大,当与其同时长时间段不存在噪声时,对应的数据相似性较小,本实施例将作为Ft的权重,加权求和获取参考时间段中数据之间的相似性特征,其值越小,该时间段内含有噪声的概率越小,将/>作为/>的调整值,两者的乘积表示该时间段内含有噪声的概率。
采用上述方法,能够获得每个子时间段对应的噪声概率,基于噪声概率只能判断每个时间段是否存在噪声,噪声概率相似的不同时间段内受噪声影响大小可能不同,由于不同的噪声影响大小需要不同的窗口尺寸进行平滑去噪,以达到较好的去噪效果,因此本实施例将进一步分析每个时间段内噪声的分布和大小,获取每个时间段的噪声影响程度。
对于任意一种时长对应的时间段:基于该种时长对应的各时间段中所有时刻的振幅数据,按照时间先后顺序构建该种时长对应的各时间段的子序列,一个时间段对应一个子序列,基于该种时长对应的所有时间段的子序列获得对应的初始矩阵,初始矩阵序列中的每行数据为一个时间段对应的子序列,初始矩阵是由该种时长的所有时间段对应的子序列按照时间先后顺序组合而成的。例如:某一种时长对应的时间段的数量为B′,该种时长的每个时间段对应的子序列中的数据个数均为y个,按照时间先后顺序,依次将这些时间段对应的子序列逐行排列获取一个横向长度为y,纵向长度为B′的数据矩阵,将该数据矩阵记为初始矩阵,因此该初始矩阵的行数为B′,列数为y。每种时长的所有时间段对应的子序列构成一个初始矩阵,采用上述方法,能够获得多个初始矩阵。
步骤S3,对于任一初始矩阵:根据初始矩阵中每列数据的数值分布,对初始矩阵中的数据进行修正获得目标矩阵;对目标矩阵中的数据进行分类获得各行对应的各类数据;根据目标矩阵中各行数据中每类数据的数值分布、每类数据中的数据数量和各行数据对应的噪声概率,得到目标矩阵中各行数据对应的时间段的噪声影响程度。
幅值时序数据序列为周期性数据,且分割的各时间段内的数据变化呈单波峰状,即初始矩阵中同一行数据值变化符合正态分布,而同一列数据值相似。
本实施例接下来以一个初始矩阵为例进行说明,对于其他初始矩阵均可采用本实施例提供的方法进行处理。对于任一初始矩阵:计算初始矩阵中每列数据的均值,初始矩阵中每一列数据均对应一个均值,根据初始矩阵中每列数据的均值构建标准行数据,也即将每列数据对应的数据组合到一起获得了一个序列,将该序列记为标准行数据;对所述标准行数据进行正态分布拟合获得拟合函数。对于该初始矩阵中的第d个数据:将该数据所在的列中所有数据的均值代入到拟合函数中,将获得的函数值作为该数据对应的拟合函数值,也即初始矩阵中每列的所有数据对应的拟合函数值相同;获取初始矩阵中所有数据以及该数据对应的拟合函数值中的最小值,计算所述最小值的绝对值与预设第一参数的和值;将该数据与所述和值之和作为该数据的特征值,将所述拟合函数值与所述和值之和作为第一指标;将所述特征值与所述第一指标的比值作为该数据的修正值;该数据的修正值的具体表达式为:
其中,U'd为该初始矩阵中的第d个数据的修正值,Ud为该初始矩阵中的第d个数据,Hd为该初始矩阵中的第d个数据对应的拟合函数值,W为预设第一参数,Rmin为该初始矩阵中所有数据以及该数据对应的拟合函数值中的最小值。
由于采集的振幅数据存在负数,因此对分子和分母同时加上W+|Rmin|,防止分母为0,本实施例中的预设第一参数为1,在具体应用中,实施者可根据具体情况进行设置。
采用上述方法,能够获得该初始矩阵中每个数据的修正值,利用初始矩阵中各数据的修正值替换对应的原数据值,将替换完成后获得的矩阵记为目标矩阵。
由于幅值时序数据序列为周期性数据,且分割的各时间段内的数据变化呈单波峰状,因此构建的初始矩阵中同一行数据值变化符合正态分布,同一列数据值较相似,故非噪声的正常数据值在目标矩阵中应接近于1,即某一时间段在目标矩阵所处行内各类数据越接近于1,说明该类数据为非噪声的正常数据的概率越大。时序数据内的噪声通常持续时间较短,只占据整个时间序列的一小部分,故当目标矩阵中某行数据中数据的种类数越少,说明该行数据对应的时间段中存在噪声的概率越大。而时序数据内的噪声大小是不确定的,采集到的幅值可以非常大也可以非常小,即噪声数据值在目标矩阵中大小随机,因此当某一时间段在目标矩阵所处行内数据的种类数越多,说明该行中分布的噪声越多。基于此,本实施例首先采用DBSCAN密度聚类算法对目标矩阵中的数据进行聚类,也即对目标矩阵中的数据进行了分类,相当于对目标矩阵中每行的数据均进行了分类,获得每行对应的各类数据,DBSCAN密度聚类算法为现有技术,此处不再过多赘述;然后结合目标矩阵中每行数据中数据的种类数、每行数据中每类数据的数值大小以及每行数据对应的时间段对应的噪声概率,确定每行数据对应的时间段的噪声影响程度。对于目标矩阵中的任意一行数据,该行数据对应的时间段的噪声影响程度的具体表达式为:
其中,P为该行数据对应的时间段的噪声影响程度,C为该行数据对应的时间段对应的噪声概率,J为该行数据中数据的种类数,y为该行数据的个数,Sj为该行数据中第j类数据的个数,Qj为该行数据中第j类数据的平均值,norm()为归一化函数,||为取绝对值符号。
目标矩阵中该行数据中数据的种类数越少,说明该行数据对应的时间段中存在噪声的概率越大,因此用作为|Qj-1|的权重,加权求和表示该时间段内的噪声大小。该时间段在目标矩阵所处行内数据的种类数越多,说明该行中分布的噪声越多,用归一化的/>作为/>的调整值,用两者乘积的归一化值表示噪声概率的校正系数,由此获取该时间段内的噪声影响程度。当该行数据中数据的种类数越多、该行数据中第j类数据的平均值与1的差异越大、该行数据对应的时间段对应的噪声概率越大时,说明该行数据对应的时间段中幅值数据在采集时受到噪声的影响越大,即该行数据对应的时间段的噪声影响程度越大。当该行数据中数据的种类数越少、该行数据中第j类数据的平均值与1的差异越小、该行数据对应的时间段对应的噪声概率越小时,说明该行数据对应的时间段中幅值数据在采集时受到噪声的影响越小,即该行数据对应的时间段的噪声影响程度越小。
采用上述方法能够获得每一行数据对应的时间段的噪声影响程度,也即获得了每个时间段的噪声影响程度。
步骤S4,基于设备运行过程中各时间段的噪声影响程度,确定各时间段对应的窗口长度;基于所述窗口长度采用滑动平均法对设备运行过程中的幅值数据进行去噪,获得去噪后的幅值数据。
本实施例在步骤S3中获得了每个时间段的噪声影响程度,获取最大的噪声影响程度,分别将每个时间段的噪声影响程度与最大的噪声影响程度的比值,作为每个时间段的噪声干扰指标,也即分别对每个时间段的噪声干扰程度进行归一化处理,将归一化结果作为了每个时间段的噪声影响指标。
考虑到滑动平均法中窗口长度的大小会直接影响到滑动平均法的平滑效果,窗口长度越大,平滑效果越显著,因为更多的数据被考虑在内,可以过滤掉更多的随机噪声,同时也可能会损失一定的数据细节信息;相反,窗口长度越小,则平滑效果越差,但对于周期性或快速变化的数据可以更好地反映其特征。因此,对于任一时间段:若该时间段的噪声影响指标小于预设第一阈值,则将该时间段对应的窗口长度设置为预设第一长度;若该时间段的噪声影响指标大于或等于预设第一阈值且小于预设第二阈值,则将该时间段对应的窗口长度设置为预设第二长度;若该时间段的噪声影响指标大于或等于预设第二阈值且小于预设第三阈值,则将该时间段对应的窗口长度设置为预设第三长度;若该时间段的噪声影响指标大于或等于预设第三阈值,则将该时间段对应的窗口长度设置为预设第四长度;所述预设第一阈值小于所述预设第二阈值,所述预设第二阈值小于所述预设第三阈值;所述预设第一长度小于所述预设第二长度,所述预设第二长度小于所述预设第三长度,所述预设第三长度小于所述预设第四长度。本实施例中的预设第一阈值为0.25,预设第二阈值为0.5,预设第三阈值为0.75,预设第一长度为3,预设第二长度为5,预设第三长度为7,预设第四长度为9,在具体应用中,实时者可根据具体情况进行设置。因此,本实施例对噪声影响指标处于区间[0,0.25)内的时间段赋予窗口长度为3,对噪声影响指标处于区间[0.25,0.5)内的时间段赋予窗口长度为5,对噪声影响指标处于区间[0.5,0.75)内的时间段赋予窗口长度为7,对噪声影响指标处于区间[0.75,1]内的时间段赋予窗口长度为9。
采用上述方法,获得了设备运行过程中每个时间段随意的窗口长度,基于每个时间段对应的窗口长度采用滑动平均法对每个时间段的幅值数据进行去噪,获得设备运行过程中去噪后的幅值数据。本实施例先根据采集数据的周期性特征,对数据进行分段处理,识别含有噪声的时间段,进而根据各时间段内的噪声分布数量和大小,计算各时间段的噪声影响程度,由此自适应窗口长度,对噪声影响程度较大的时间段赋予较大的窗口长度,提高平滑去噪效果,对噪声影响程度较小的时间段赋予较小的窗口长度,保护数据细节信息,使周期性数据可以更好地反映其特征,保障平滑去噪后数据的准确性和可靠性。
本实施例考虑到光电集成式传感芯片采集的数字信号受传感芯片本身和外界电磁场、射频辐射,以及信号采样误差、传输损耗的影响,会产生大量的噪声,导致后续的光电集成式传感芯片测试数据的特征提取和分析不准确,为了提高后续特征提取和分析结果的准确性,本实施例利用滑动平均法对采集到的幅值数据进行去噪处理,又由于滑动平均法中窗口长度的大小会直接影响到平滑效果,设备运行时的轴承振动信号为一种周期性信号,因此采集到的幅值数据呈现周期性变化特征,本实施例首先基于幅值数据之间的差异将设备运行过程划分成了多个时间段,接下来分别对每个时间段中的幅值数据进行分析,根据每个时间段中每个时刻的幅值数据和每个时间段的时长,得到了每个时间段对应的噪声概率,噪声概率只能够表征对应的时间段内采集到的幅值数据是否存在噪声,不能表征采集的幅值数据受噪声影响的程度,因此本实施例根据初始矩阵中每列数据的数值分布,对初始矩阵中的数据进行了修正获得了目标矩阵,根据目标矩阵中各行数据中每类数据的数值分布、每类数据中的数据数量和噪声概率,得到了每个时间段的噪声影响程度,由此自适应窗口长度,以提高平滑去噪效果,使该周期性数据可以更好地反映其特征,提高了平滑去噪后数据的准确性和可靠性。

Claims (4)

1.一种光电集成式传感芯片测试数据处理方法,其特征在于,该方法包括以下步骤:
获取光电集成式传感芯片采集设备运行过程中各时刻的幅值数据;
基于所述幅值数据之间的差异将设备运行过程划分为不少于两个时间段;根据各时间段中各时刻的幅值数据和各时间段的时长,得到各时间段对应的噪声概率;基于时长相同的时间段中各时刻的振幅数据构建各初始矩阵,所述初始矩阵中每行数据是由一个时间段内所有时刻的振幅数据构成的;
对于任一初始矩阵:根据初始矩阵中每列数据的数值分布,对初始矩阵中的数据进行修正获得目标矩阵;对目标矩阵中的数据进行分类获得各行对应的各类数据;根据目标矩阵中各行数据中每类数据的数值分布、每类数据中的数据数量和各行数据对应的噪声概率,得到目标矩阵中各行数据对应的时间段的噪声影响程度;
基于设备运行过程中各时间段的噪声影响程度,确定各时间段对应的窗口长度;基于所述窗口长度采用滑动平均法对设备运行过程中的幅值数据进行去噪,获得去噪后的幅值数据;
所述根据各时间段中各时刻的幅值数据和各时间段的时长,得到各时间段对应的噪声概率,包括:
对于任一时间段:
若设备运行过程中不存在与该时间段时长相同的时间段,则令该时间段对应的噪声概率为1;
若设备运行过程中存在与该时间段时长相同的时间段,则将设备运行过程中与该时间段时长相同的时间段记为该时间段对应的参考时间段,根据该时间段与其对应的各参考时间段中的幅值数据之间的差异,得到该时间段与其对应的各参考时间段的数据相似性;根据所述数据相似性和该时间段的时长,采用如下公式计算该时间段对应的噪声概率:
其中,C为该时间段对应的噪声概率,为设备运行过程中该时间段的时长对应的时间段的数量,/>为设备运行过程中第i种时长对应的时间段的数量,m为设备运行过程中时长的种类数,/>为该时间段对应的参考时间段的数量,/>为该时间段与其对应的第t个参考时间段的数据相似性;
根据该时间段与其对应的各参考时间段中的幅值数据之间的差异,得到该时间段与其对应的各参考时间段的数据相似性,包括:
根据该时间段中各时刻的幅值数据构建该时间段对应的子序列;
对于该时间段对应的第t个参考时间段:根据第t个参考时间段中各时刻的幅值数据构建第t个参考时间段对应的子序列;分别将该时间段对应的子序列中各数据与第t个参考时间段对应的子序列中对应位置的数据的差值的绝对值,确定为第t个参考时间段中各时刻的差异指标;将第t个参考时间段中所有时刻的差异指标的均值的归一化结果,确定为该时间段与其对应的第t个参考时间段的数据相似性;
所述基于时长相同的时间段中各时刻的振幅数据构建各初始矩阵,包括:
对于任意一种时长对应的时间段:基于该种时长对应的各时间段中所有时刻的振幅数据,构建该种时长对应的各时间段的子序列;基于该种时长对应的所有时间段的子序列获得对应的初始矩阵;
所述根据初始矩阵中每列数据的数值分布,对初始矩阵中的数据进行修正获得目标矩阵,包括:
根据初始矩阵中每列数据的均值构建标准行数据;对所述标准行数据进行正态分布拟合获得拟合函数;
对于初始矩阵中的任一数据:将该数据所在的列中所有数据的均值代入拟合函数获得该数据对应的拟合函数值;获取初始矩阵中所有数据以及该数据对应的拟合函数值中的最小值,计算所述最小值的绝对值与预设第一参数的和值;将该数据与所述和值之和作为该数据的特征值,将所述拟合函数值与所述和值之和作为第一指标;将所述特征值与所述第一指标的比值作为该数据的修正值;
利用初始矩阵中各数据的修正值替换对应的原数据值获得目标矩阵;
所述根据目标矩阵中各行数据中每类数据的数值分布、每类数据中的数据数量和各行数据对应的噪声概率,得到目标矩阵中各行数据对应的时间段的噪声影响程度,包括:
对于目标矩阵中的任意一行数据,采用如下公式计算该行数据对应的时间段的噪声影响程度:
其中,P为该行数据对应的时间段的噪声影响程度,C为该行数据对应的时间段对应的噪声概率,J为该行数据中数据的种类数,y为该行数据的个数,为该行数据中第j类数据的个数,/>为该行数据中第j类数据的平均值,norm( )为归一化函数,| |为取绝对值符号。
2.根据权利要求1所述的一种光电集成式传感芯片测试数据处理方法,其特征在于,所述基于设备运行过程中各时间段的噪声影响程度,确定各时间段对应的窗口长度,包括:
对于任一时间段:
将该时间段的噪声影响程度的归一化结果作为该时间段的噪声影响指标;
若该时间段的噪声影响指标小于预设第一阈值,则将该时间段对应的窗口长度设置为预设第一长度;若该时间段的噪声影响指标大于或等于预设第一阈值且小于预设第二阈值,则将该时间段对应的窗口长度设置为预设第二长度;若该时间段的噪声影响指标大于或等于预设第二阈值且小于预设第三阈值,则将该时间段对应的窗口长度设置为预设第三长度;若该时间段的噪声影响指标大于或等于预设第三阈值,则将该时间段对应的窗口长度设置为预设第四长度;
所述预设第一阈值小于所述预设第二阈值,所述预设第二阈值小于所述预设第三阈值;所述预设第一长度小于所述预设第二长度,所述预设第二长度小于所述预设第三长度,所述预设第三长度小于所述预设第四长度。
3.根据权利要求1所述的一种光电集成式传感芯片测试数据处理方法,其特征在于,所述基于所述幅值数据之间的差异将设备运行过程划分为不少于两个时间段,包括:
对设备运行过程中所有时刻的幅值数据进行曲线拟合获得幅值曲线,将幅值曲线的波谷点对应的时刻作为划分点,基于所述划分点对设备运行过程进行划分获得各时间段。
4.根据权利要求1所述的一种光电集成式传感芯片测试数据处理方法,其特征在于,所述对目标矩阵中的数据进行分类获得各行对应的各类数据,包括:
采用DBSCAN密度聚类算法对目标矩阵中的数据进行聚类,获得各行对应的各类数据。
CN202310631971.5A 2023-05-30 2023-05-30 一种光电集成式传感芯片测试数据处理方法 Active CN116718218B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310631971.5A CN116718218B (zh) 2023-05-30 2023-05-30 一种光电集成式传感芯片测试数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310631971.5A CN116718218B (zh) 2023-05-30 2023-05-30 一种光电集成式传感芯片测试数据处理方法

Publications (2)

Publication Number Publication Date
CN116718218A CN116718218A (zh) 2023-09-08
CN116718218B true CN116718218B (zh) 2023-12-22

Family

ID=87867161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310631971.5A Active CN116718218B (zh) 2023-05-30 2023-05-30 一种光电集成式传感芯片测试数据处理方法

Country Status (1)

Country Link
CN (1) CN116718218B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117828282A (zh) * 2024-03-06 2024-04-05 山东泰霖信息工程有限公司 一种基于自适应滤波的数据高效处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2454682C1 (ru) * 2011-06-27 2012-06-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Новосибирский национальный исследовательский государственный университет" (НГУ) Способ построения сейсмического динамического глубинного и/или тотального временного разреза
CN112633225A (zh) * 2020-12-31 2021-04-09 矿冶科技集团有限公司 矿用微震信号滤波方法
CN112735468A (zh) * 2020-12-31 2021-04-30 东风汽车集团有限公司 一种基于mfcc的汽车座椅电机异常噪声检测方法
CN115169409A (zh) * 2022-07-18 2022-10-11 四川省公路规划勘察设计研究院有限公司 基于滑窗的桥梁结构自振频率识别、预警方法及设备
CN115392284A (zh) * 2022-07-14 2022-11-25 天津大学 一种基于机器学习的场地微振动振源识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2930954B1 (en) * 2014-04-07 2020-07-22 Harman Becker Automotive Systems GmbH Adaptive filtering

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2454682C1 (ru) * 2011-06-27 2012-06-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Новосибирский национальный исследовательский государственный университет" (НГУ) Способ построения сейсмического динамического глубинного и/или тотального временного разреза
CN112633225A (zh) * 2020-12-31 2021-04-09 矿冶科技集团有限公司 矿用微震信号滤波方法
CN112735468A (zh) * 2020-12-31 2021-04-30 东风汽车集团有限公司 一种基于mfcc的汽车座椅电机异常噪声检测方法
CN115392284A (zh) * 2022-07-14 2022-11-25 天津大学 一种基于机器学习的场地微振动振源识别方法
CN115169409A (zh) * 2022-07-18 2022-10-11 四川省公路规划勘察设计研究院有限公司 基于滑窗的桥梁结构自振频率识别、预警方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
自适应多尺度窗口平均光谱平滑;季江;高鹏飞;贾南南;杨蕊;郭汉明;瑚琦;庄松林;;光谱学与光谱分析;35(05);第1445-1449页 *

Also Published As

Publication number Publication date
CN116718218A (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
CN116718218B (zh) 一种光电集成式传感芯片测试数据处理方法
US20140149325A1 (en) System monitor and method of system monitoring
CN116108008A (zh) 一种装饰材料甲醛检测数据处理方法
US20070223839A1 (en) Signal noise estimation
CN108828548A (zh) 一种基于fmcw雷达的三参数融合数据集构建方法
CN110889843B (zh) 基于最大稳定极值区域的sar图像舰船目标检测方法
CN116308963B (zh) 一种政务数据分析方法及系统
CN113670616A (zh) 一种轴承性能退化状态检测方法及系统
CN117454096B (zh) 一种电机生产质量检测方法及系统
CN117349220B (zh) 一种基于pci总线的数据处理方法及系统
CN111353208A (zh) 一种基于深度学习的物体往复运动距离评估方法
CN116385446B (zh) 一种用于勃姆石生产的晶体杂质检测方法
CN110702786B (zh) 基于多尺度奇异吸引子预测误差的梁结构损伤识别方法
CN117041972A (zh) 基于信道-时空注意自编码的车联网传感器异常检测方法
CN115474108B (zh) 一种基于边缘计算的事件监控系统及监控方法
CN115080909B (zh) 影响物联感知设备数据的分析方法、电子设备及存储介质
CN107067034B (zh) 一种快速识别红外光谱数据分类的方法及系统
CN116383645A (zh) 一种基于异常检测的系统健康度智能监测评估方法
CN111104985A (zh) 一种异步航迹关联的加权滑窗方法
CN116448062B (zh) 一种桥梁沉降变形检测方法、装置、计算机及存储介质
CN117669394B (zh) 一种山区峡谷桥梁长期性能综合评估方法及系统
CN117473351B (zh) 基于物联网的电源信息远程传输系统
CN117437271B (zh) 基于人工智能的三维目标测量方法
CN115237739B (zh) 板卡运行环境的分析方法、装置、设备及可读存储介质
CN116955119B (zh) 一种基于数据分析的系统性能测试方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant