CN116894037A - 一种基于时空数据字典库的多维特征更新方法 - Google Patents

一种基于时空数据字典库的多维特征更新方法 Download PDF

Info

Publication number
CN116894037A
CN116894037A CN202310865579.7A CN202310865579A CN116894037A CN 116894037 A CN116894037 A CN 116894037A CN 202310865579 A CN202310865579 A CN 202310865579A CN 116894037 A CN116894037 A CN 116894037A
Authority
CN
China
Prior art keywords
data
multidimensional
model
abnormal
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310865579.7A
Other languages
English (en)
Inventor
张冬茵
柳杨
雷师
谭静
叶先权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Real Estate And Urban Construction Development Research Center
Original Assignee
Shenzhen Real Estate And Urban Construction Development Research Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Real Estate And Urban Construction Development Research Center filed Critical Shenzhen Real Estate And Urban Construction Development Research Center
Priority to CN202310865579.7A priority Critical patent/CN116894037A/zh
Publication of CN116894037A publication Critical patent/CN116894037A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2291—User-Defined Types; Storage management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于时空数据字典库的多维特征更新方法包括：获取研究目标的正常多维传感数据，以建立正常样本数据库；对正常样本数据库中的多维数据进行预处理，得到预处理数据；根据预处理数据和预设的时空数据字典库建立多维数据相关性特征模型；将实时运行数据预处理后输入至多维数据相关性特征模型，并对实时运行数据进行分析，判断实时运行数据是否异常，若否，则结束当前检测流程；若是，则将异常数据与预设的异常事件库进行比较判断，若异常数据属于异常事件，则输出判定的异常事件类型，若不属于异常事件，则更新多维数据相关性特征模型。本发明能够精准地确定研究目标的异常状态，并且通过时空数据字典库对多维特征进行精准地更新。

Description

一种基于时空数据字典库的多维特征更新方法
技术领域
本发明涉及数据处理技术领域，特别是涉及一种基于时空数据字典库的多维特征更新方法。
背景技术
现有技术中为了提高研究目标的应用效果，会进行大规模的实验测试，例如为提升自动驾驶的安全性和舒适性，会对目标车辆进行大规模的自动驾驶测试，进而基于自动驾驶测试结果数据对自动驾驶算法进行优化指导。但是现有的测试覆盖面比较单一，对研究目标的特征的更新无法提供准确且高效的指导。
发明内容
为了克服现有技术的不足，本发明的目的是提供一种基于时空数据字典库的多维特征更新方法。
为实现上述目的，本发明提供了如下方案：
一种基于时空数据字典库的多维特征更新方法，包括：
获取研究目标的正常多维传感数据，以建立正常样本数据库；
对所述正常样本数据库中的多维数据进行预处理，得到预处理数据；
根据所述预处理数据和预设的时空数据字典库建立多维数据相关性特征模型；
将所述研究目标的实时运行数据预处理后输入至所述多维数据相关性特征模型，并对实时运行数据进行分析，判断实时运行数据是否异常，若否，则结束当前检测流程，进行下一时刻数据的检测；若是，则将异常数据与预设的异常事件库进行比较判断，若异常数据属于异常事件，则输出判定的异常事件类型，若异常数据不属于异常事件，则更新多维数据相关性特征模型。
优选地，对所述正常样本数据库中的多维数据进行预处理，得到预处理数据，包括：
根据各个正常多维传感数据之间的空间距离构建联系度模型；
利用所述联系度模型构建多维数据去噪函数；
利用所述多维数据去噪函数去除各个监测点位中多维数据的异常值，生成所述预处理数据。
优选地，根据各个正常多维传感数据之间的空间距离构建联系度模型，包括：
采用公式：
构建联系度模型；其中，σ表示历史时间段内在m点的多维数据传感器与在n点的多维数据传感器之间数据值差的平均值，dis(m,n)表示在m点的多维数据传感器与在n点的多维数据传感器之间的空间距离，R表示预设参数。
优选地，利用所述联系度模型构建多维数据去噪函数，包括：
利用每个监测点位多维数据的加权值构建去噪阈值；其中，所述去噪阈值为：
其中，Yi表示多维数据传感器采集的第i个水量值，Wi表示Yi的加权值；
基于去噪阈值和联系度模型构建多维数据去噪函数。
优选地，所述水量信息去噪函数为：
其中，表示t时刻相应监测点位去噪后的多维数据，x(m,t)表示t时刻在m点多维数据传感器的测量值，x(n,t)表示t时刻在n点多维数据传感器的测量值，ρ表示可调阈值，|Nm|表示在同一个监测点位中多维数据传感器的个数，/>
优选地，所述的多维数据相关性特征模型的构建过程为：
将所述预处理数据划定固定时间窗口长度L，计算每个时间窗口长度L内多维变量间的相关性系数；
利用计算得到的相关性系数建立相关系数矩阵，并确定正常数据时各相关系数阈值；
根据相关系数矩阵和所述相关系数阈值建立初始特征模型；
利用所述时空数据字典库对所述初始特征模型进行修正，得到所述多维数据相关性特征模型。
优选地，利用所述时空数据字典库对所述初始特征模型进行修正，得到所述多维数据相关性特征模型，包括：
通过非局部相似性加权对所述时空数据字典库进行优化，得到优化复原模型；
对所述优化复原模型进行求解，并根据求解结果对所述初始特征模型进行边缘修正，得到所述多维数据相关性特征模型。
优选地，所述相关系数为pearson相关系数。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种基于时空数据字典库的多维特征更新方法，包括：获取研究目标的正常多维传感数据，以建立正常样本数据库；对所述正常样本数据库中的多维数据进行预处理，得到预处理数据；根据所述预处理数据和预设的时空数据字典库建立多维数据相关性特征模型；将所述研究目标的实时运行数据预处理后输入至所述多维数据相关性特征模型，并对实时运行数据进行分析，判断实时运行数据是否异常，若否，则结束当前检测流程，进行下一时刻数据的检测；若是，则将异常数据与预设的异常事件库进行比较判断，若异常数据属于异常事件，则输出判定的异常事件类型，若异常数据不属于异常事件，则更新多维数据相关性特征模型。本发明能够精准地确定研究目标的异常状态，并且通过时空数据字典库对多维特征进行精准地更新。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于时空数据字典库的多维特征更新方法，能够精准地确定研究目标的异常状态，并且通过时空数据字典库对多维特征进行精准地更新。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例提供的方法流程图，如图1所示，本发明提供了一种基于时空数据字典库的多维特征更新方法，包括：
步骤100：获取研究目标的正常多维传感数据，以建立正常样本数据库；
步骤200：对所述正常样本数据库中的多维数据进行预处理，得到预处理数据；
步骤300：根据所述预处理数据和预设的时空数据字典库建立多维数据相关性特征模型；
步骤400：将所述研究目标的实时运行数据预处理后输入至所述多维数据相关性特征模型，并对实时运行数据进行分析，判断实时运行数据是否异常，若否，则结束当前检测流程，进行下一时刻数据的检测；若是，则将异常数据与预设的异常事件库进行比较判断，若异常数据属于异常事件，则输出判定的异常事件类型，若异常数据不属于异常事件，则更新多维数据相关性特征模型。
优选地，对所述正常样本数据库中的多维数据进行预处理，得到预处理数据，包括：
根据各个正常多维传感数据之间的空间距离构建联系度模型；
利用所述联系度模型构建多维数据去噪函数；
利用所述多维数据去噪函数去除各个监测点位中多维数据的异常值，生成所述预处理数据。
具体的，本实施例中通过多维数据传感器，能够获取研究目标各个监测点位的温度信息；其中，每个监测点位至少具有两个多维数据传感器。
优选地，根据各个正常多维传感数据之间的空间距离构建联系度模型，包括：
采用公式：
构建联系度模型；其中，σ表示历史时间段内在m点的多维数据传感器与在n点的多维数据传感器之间数据值差的平均值，dis(m,n)表示在m点的多维数据传感器与在n点的多维数据传感器之间的空间距离，R表示预设参数。
具体的，本发明中，在m点和n点的多维数据传感器为近邻传感器。两传感器的位置越接近，那么两传感器的相关性也越大。因此，本发明根据两传感器间的空间距离来度量它们之间的联系度。在实际应用中，由于传感器会因为自身参数或者环境因素的影响，会使传感器在某一时刻采集的测量值与实际值出现较大的偏差，因此本发明引入了R，来修正传感器因自身参数或者环境因素的影响导致传感器相关性有偏差的问题。在一般情况下，R的取值为1。
优选地，利用所述联系度模型构建多维数据去噪函数，包括：
利用每个监测点位多维数据的加权值构建去噪阈值；其中，所述去噪阈值为：
其中，Yi表示多维数据传感器采集的第i个水量值，Wi表示Yi的加权值；
基于去噪阈值和联系度模型构建多维数据去噪函数。
具体的，需要说明的是，在本发明中，可参考各个多维数据传感器的型号或者位置来设定Wi的值，如果各个多维数据传感器的型号均相同可将Wi设为1
优选地，所述水量信息去噪函数为：
其中，表示t时刻相应监测点位去噪后的多维数据，x(m,t)表示t时刻在m点多维数据传感器的测量值，x(n,t)表示t时刻在n点多维数据传感器的测量值，ρ表示可调阈值，|Nm|表示在同一个监测点位中多维数据传感器的个数，/>
可选地，本实施例中，对正常样本数据库中的多维数据进行预处理和实时运行数据预处理，上述预处理均包括以下流程：分类、清洗、转换、时间序列对齐、标准化。具体处理过程如下：
分类：按照来自不同传感器终端的数据，将数据归类并进行编号。如噪声数据1为A1、噪声数据2为A2、噪声数据3为A3、温度1为A4、温度2为A5、温度3为A6等。
清洗：对传感器确缺失、重复数据进行清洗。对缺失值认为暂时异常，若连续缺失一定时间，认定为事件异常；对重复数据进行删除。
转换：将传感器数据转换为相同格式。时间标签转换为相同格式，如01/01/202111:59:00。
时间序列对齐：将格式统一后的数据根据时间标签对齐。
标准化：不同传感器量程不同，对所有数据进行标准化处理。标准化方法为min-max标准化。
优选地，所述的多维数据相关性特征模型的构建过程为：
将所述预处理数据划定固定时间窗口长度L，计算每个时间窗口长度L内多维变量间的相关性系数；
利用计算得到的相关性系数建立相关系数矩阵，并确定正常数据时各相关系数阈值；
根据相关系数矩阵和所述相关系数阈值建立初始特征模型；
利用所述时空数据字典库对所述初始特征模型进行修正，得到所述多维数据相关性特征模型。
优选地，利用所述时空数据字典库对所述初始特征模型进行修正，得到所述多维数据相关性特征模型，包括：
通过非局部相似性加权对所述时空数据字典库进行优化，得到优化复原模型；
对所述优化复原模型进行求解，并根据求解结果对所述初始特征模型进行边缘修正，得到所述多维数据相关性特征模型。
具体的，本实施例引入时空数据字典库进行边缘修正，并利用非局部相似性正则项有效提高稀疏分解的稳定性，建立基于字典的超分辨率复原模型。实验结果表明，本方法能够有效提高重建精度，保持良好的边缘信息，无论在主观视觉效果还是在客观评价指标上，较前人工作有一定程度的提高。
优选地，所述相关系数为pearson相关系数。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于时空数据字典库的多维特征更新方法，其特征在于，包括：
获取研究目标的正常多维传感数据，以建立正常样本数据库；
对所述正常样本数据库中的多维数据进行预处理，得到预处理数据；
根据所述预处理数据和预设的时空数据字典库建立多维数据相关性特征模型；
将所述研究目标的实时运行数据预处理后输入至所述多维数据相关性特征模型，并对实时运行数据进行分析，判断实时运行数据是否异常，若否，则结束当前检测流程，进行下一时刻数据的检测；若是，则将异常数据与预设的异常事件库进行比较判断，若异常数据属于异常事件，则输出判定的异常事件类型，若异常数据不属于异常事件，则更新多维数据相关性特征模型。
2.根据权利要求1所述的基于时空数据字典库的多维特征更新方法，其特征在于，对所述正常样本数据库中的多维数据进行预处理，得到预处理数据，包括：
根据各个正常多维传感数据之间的空间距离构建联系度模型；
利用所述联系度模型构建多维数据去噪函数；
利用所述多维数据去噪函数去除各个监测点位中多维数据的异常值，生成所述预处理数据。
3.根据权利要求2所述的基于时空数据字典库的多维特征更新方法，其特征在于，根据各个正常多维传感数据之间的空间距离构建联系度模型，包括：
采用公式：
构建联系度模型；其中，σ表示历史时间段内在m点的多维数据传感器与在n点的多维数据传感器之间数据值差的平均值，dis(m,n)表示在m点的多维数据传感器与在n点的多维数据传感器之间的空间距离，R表示预设参数。
4.根据权利要求2所述的基于时空数据字典库的多维特征更新方法，其特征在于，利用所述联系度模型构建多维数据去噪函数，包括：
利用每个监测点位多维数据的加权值构建去噪阈值；其中，所述去噪阈值为：
其中，Yi表示多维数据传感器采集的第i个水量值，Wi表示Yi的加权值；
基于去噪阈值和联系度模型构建多维数据去噪函数。
5.根据权利要求4所述的基于时空数据字典库的多维特征更新方法，其特征在于，所述水量信息去噪函数为：
其中，表示t时刻相应监测点位去噪后的多维数据，x(m,t)表示t时刻在m点多维数据传感器的测量值，x(n,t)表示t时刻在n点多维数据传感器的测量值，ρ表示可调阈值，|Nm|表示在同一个监测点位中多维数据传感器的个数，/>
6.根据权利要求1所述的基于时空数据字典库的多维特征更新方法，其特征在于，所述的多维数据相关性特征模型的构建过程为：
将所述预处理数据划定固定时间窗口长度L，计算每个时间窗口长度L内多维变量间的相关性系数；
利用计算得到的相关性系数建立相关系数矩阵，并确定正常数据时各相关系数阈值；
根据相关系数矩阵和所述相关系数阈值建立初始特征模型；
利用所述时空数据字典库对所述初始特征模型进行修正，得到所述多维数据相关性特征模型。
7.根据权利要求6所述的基于时空数据字典库的多维特征更新方法，其特征在于，利用所述时空数据字典库对所述初始特征模型进行修正，得到所述多维数据相关性特征模型，包括：
通过非局部相似性加权对所述时空数据字典库进行优化，得到优化复原模型；
对所述优化复原模型进行求解，并根据求解结果对所述初始特征模型进行边缘修正，得到所述多维数据相关性特征模型。
8.根据权利要求6所述的基于时空数据字典库的多维特征更新方法，其特征在于，所述相关系数为pearson相关系数。
CN202310865579.7A 2023-07-14 2023-07-14 一种基于时空数据字典库的多维特征更新方法 Pending CN116894037A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310865579.7A CN116894037A (zh) 2023-07-14 2023-07-14 一种基于时空数据字典库的多维特征更新方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310865579.7A CN116894037A (zh) 2023-07-14 2023-07-14 一种基于时空数据字典库的多维特征更新方法

Publications (1)

Publication Number Publication Date
CN116894037A true CN116894037A (zh) 2023-10-17

Family

ID=88311776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310865579.7A Pending CN116894037A (zh) 2023-07-14 2023-07-14 一种基于时空数据字典库的多维特征更新方法

Country Status (1)

Country Link
CN (1) CN116894037A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105590296A (zh) * 2015-12-07 2016-05-18 天津大学 一种基于双字典学习的单帧图像超分辨率复原方法
CN109636722A (zh) * 2018-12-05 2019-04-16 中国矿业大学 一种基于稀疏表示的在线字典学习超分辨率重建的方法
CN114328075A (zh) * 2021-09-09 2022-04-12 广东电网有限责任公司广州供电局 一种智能配电房传感器多维数据融合异常事件检测方法、系统及计算机可读存储介质
CN114866975A (zh) * 2022-04-02 2022-08-05 北京市政建设集团有限责任公司 一种安全监测传感器的无盲区布设方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105590296A (zh) * 2015-12-07 2016-05-18 天津大学 一种基于双字典学习的单帧图像超分辨率复原方法
CN109636722A (zh) * 2018-12-05 2019-04-16 中国矿业大学 一种基于稀疏表示的在线字典学习超分辨率重建的方法
CN114328075A (zh) * 2021-09-09 2022-04-12 广东电网有限责任公司广州供电局 一种智能配电房传感器多维数据融合异常事件检测方法、系统及计算机可读存储介质
CN114866975A (zh) * 2022-04-02 2022-08-05 北京市政建设集团有限责任公司 一种安全监测传感器的无盲区布设方法

Similar Documents

Publication Publication Date Title
CN111222290B (zh) 一种基于多参数特征融合的大型设备剩余使用寿命预测方法
CN111562108A (zh) 一种基于cnn和fcmc的滚动轴承智能故障诊断方法
CN112284440B (zh) 一种传感器数据偏差自适应修正方法
CN106055918A (zh) 一种电力系统负荷数据辨识及修复方法
CN109085805B (zh) 一种基于多采样率因子分析模型的工业过程故障检测方法
CN116975771B (zh) 一种用于电机生产的异常自动识别方法及系统
CN111553003B (zh) 基于数据驱动的可视化大跨斜拉桥拉索评估方法
CN116308305B (zh) 一种桥梁健康监测数据管理系统
CN111811567B (zh) 一种基于曲线拐点比对的设备检测方法及相关装置
CN114328075A (zh) 一种智能配电房传感器多维数据融合异常事件检测方法、系统及计算机可读存储介质
CN117932501B (zh) 一种电能表运行状态管理方法和系统
CN112766301B (zh) 一种采油机示功图相似性判断方法
CN115409131A (zh) 基于spc过程管控系统的生产线异常检测方法
CN112380992B (zh) 一种加工过程监控数据准确性评估与优化方法及装置
CN118260723B (zh) 电缆通道结构沉降监测系统
CN112906738A (zh) 一种水质检测及处理方法
CN114139624A (zh) 一种基于集成模型挖掘时间序列数据相似性信息的方法
WO2020166236A1 (ja) 作業効率評価方法、作業効率評価装置、及びプログラム
CN113487223B (zh) 一种基于信息融合的风险评估方法和评估系统
CN117589697A (zh) 一种植物土壤pH值的检测方法
CN116894037A (zh) 一种基于时空数据字典库的多维特征更新方法
CN117251788A (zh) 状态评估方法、装置、终端设备及存储介质
CN113362597A (zh) 一种基于非参数建模的交通序列数据异常检测方法及系统
CN113378956B (zh) 一种基于二级松弛聚类的设备退化数据便捷标注方法
CN118585917B (zh) 一种基于时频域特性分析的电磁阀故障在线诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination