CN117373556B - 一种基于多维数据的溯源仪器及系统 - Google Patents

一种基于多维数据的溯源仪器及系统 Download PDF

Info

Publication number
CN117373556B
CN117373556B CN202311639910.XA CN202311639910A CN117373556B CN 117373556 B CN117373556 B CN 117373556B CN 202311639910 A CN202311639910 A CN 202311639910A CN 117373556 B CN117373556 B CN 117373556B
Authority
CN
China
Prior art keywords
monitoring
time window
data
sequence
water quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311639910.XA
Other languages
English (en)
Other versions
CN117373556A (zh
Inventor
冯素娟
田珂鸣
田小蒙
田冬迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Qingkong Ecological Environment Industry Development Co ltd
Original Assignee
Shandong Qingkong Ecological Environment Industry Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Qingkong Ecological Environment Industry Development Co ltd filed Critical Shandong Qingkong Ecological Environment Industry Development Co ltd
Priority to CN202311639910.XA priority Critical patent/CN117373556B/zh
Publication of CN117373556A publication Critical patent/CN117373556A/zh
Application granted granted Critical
Publication of CN117373556B publication Critical patent/CN117373556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/20—Identification of molecular entities, parts thereof or of chemical compositions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/70—Machine learning, data mining or chemometrics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/90—Programming languages; Computing architectures; Database systems; Data warehousing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Medical Informatics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

本发明涉及数据分析技术领域，提出了一种基于多维数据的溯源仪器及系统，该仪器包括：获取各采样时刻的水质监测数据，根据各采样时刻的水质监测数据得到各监测子序列的状态响应变迁矩阵及各采样时刻的噪声干扰向量，获取各监测子序列的状态变迁差异系数及数据受扰系数，根据状态变迁差异系数及数据受扰系数得到各监测子序列的变迁受扰因子，从而得到各监测子序列的递变扰动因子，获取各时间窗口的噪声紊乱系数及分辨率系数，结合灰色关联度分析算法完成多维数据的溯源。本发明旨在提高利用水质监测数据进行污染溯源的准确性及效率，实现基于多维数据的溯源。

Description

一种基于多维数据的溯源仪器及系统
技术领域
本发明涉及数据分析处理技术领域，具体涉及一种基于多维数据的溯源仪器及系统。
背景技术
水质波动是指水体在发生异常时，通过仪器快速测量分析，形成波动曲线以突出异常水体数据。在实现水质检测时往往通过多维数据多方面分析，并与数据库中的存储数据进行对比快速筛选出水质污染的原因，并且根据河流沿途水质变化快速锁定污染源头，实现对水质污染原因进行溯源，实现从源头快速解决污染。
传统方式进行水质污染溯源时，常常采用比较水质数据与数据库中污染数据的余弦相似性和皮尔逊相似性进行污染溯源，但是水质数据是不断获取的动态数据并且采样时刻由于数据的噪声较大容易对溯源结果造成干扰。虽然灰色关联度分析算法针对动态数据处理具备一定的优势，但是其分辨系数通常采用固定的值，容易造成灰色关联度相近但区分度不足。针对上述问题，本发明结合监测得到的水质数据，改进灰色关联度分析算法的分辨率系数，使其能够更好实现对水质的污染溯源。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于多维数据的溯源仪器及系统，所采用的技术方案具体如下：
第一方面，本发明实施例提供了一种基于多维数据的溯源仪器，包括：
水质数据获取模块，利用光谱仪采集各采样时刻水质的光谱信号作为水质监测数据；
水质数据库模块，通过对海量污染源进行排查获取水质监测区域的行业污染类别数据库和区域污染路径污染源数据库；
污染溯源模块，针对各采样时刻的水质监测数据划分时间窗口；将时间窗口内各采样时刻的水质监测数据均匀划分为各个监测子序列；根据前后相邻采样时刻的水质监测数据得到各监测子序列的状态响应变迁矩阵及监测子序列内各采样时刻的噪声干扰向量；获取时间窗口内各监测子序列的状态变迁差异系数；获取时间窗口内各监测子序列的数据受扰系数；结合各监测子序列的状态变迁差异系数及数据受扰系数得到各监测子序列的变迁受扰因子；结合各监测子序列的状态响应变迁矩阵及变迁受扰因子得到各监测子序列的递变扰动因子；根据各监测子序列的递变扰动因子得到监测子序列所在时间窗口的噪声紊乱系数；根据监测子序列所在时间窗口的噪声紊乱系数得到各时间窗口的分辨率系数；
水质处理模块，结合各时间窗口的分辨率系数、灰色关联度分析算法、水质监测区域的行业污染类别数据库和区域污染路径污染源数据库完成基于多维数据的溯源。
优选的，所述根据前后相邻采样时刻的水质监测数据得到各监测子序列的状态响应变迁矩阵及监测子序列内各采样时刻的噪声干扰向量，包括：
将各采样时刻的水质监测数据作为监测向量，各采样时刻的噪声干扰向量表达式为：
式中，和/>分别表示时间窗口内第m个监测子序列中第i个和i+1个采样时刻得到的监测向量，/>表示时间窗口内第m个监测子序列的状态响应变迁矩阵，/>表示时间窗口内第m个监测子序列中第i个采样时刻的噪声干扰向量。
优选的，所述获取时间窗口内各监测子序列的状态变迁差异系数，包括：
针对各监测子序列，计算状态响应变迁矩阵与单位矩阵的差值，将所述差值的L1范数作为各监测子序列的状态变迁差异系数。
优选的，所述获取时间窗口内各监测子序列的数据受扰系数，表达式为：
式中，表示第m个监测子序列的数据受扰系数，/>表示第m个监测子序列中采样时刻的数量，/>和/>分别表示时间窗口内第m个监测子序列中第i个和第i+1个采样时刻的监测向量，/>表示在时间窗口内第m个监测子序列中第i个采样时刻的噪声干扰向量，/>表示计算向量的余弦相似性。
优选的，所述结合各监测子序列的状态变迁差异系数及数据受扰系数得到各监测子序列的变迁受扰因子，包括：
计算各监测子序列的状态变迁差异系数与预设第一权重调节因子的乘积，记为第一乘积，计算各监测子序列的数据受扰系数与预设第二权重调节因子的乘积，记为第二乘积，将第一乘积与第二乘积的和值作为各监测子序列的变迁受扰因子。
优选的，所述结合各监测子序列的状态响应变迁矩阵及变迁受扰因子得到各监测子序列的递变扰动因子，包括：
针对各监测子序列，分别计算与时间窗口内剩余其他监测子序列的状态响应变迁矩阵的差值的F范数，计算所有所述F范数的均值，将所述均值与变迁受扰因子的乘积作为各监测子序列的递变扰动因子。
优选的，所述根据各监测子序列的递变扰动因子得到监测子序列所在时间窗口的噪声紊乱系数，包括：
将各监测子序列的所有噪声干扰向量按采样时刻顺序依次排列构成噪声干扰矩阵，监测子序列所在时间窗口的噪声紊乱系数的表达式为：
式中，表示第/>个时间窗口的噪声紊乱系数，/>表示对第/>个时间窗口内的监测子序列两两组合的排列组合数，/>和/>分别表示在时间窗口内第m和第n个监测子序列的噪声干扰矩阵，/>表示计算矩阵的F范数，/>表示时间窗口内划分监测子序列的个数。
优选的，所述根据监测子序列所在时间窗口的噪声紊乱系数得到各时间窗口的分辨率系数，包括：
针对各时间窗口，计算所有监测子序列的递变扰动因子的和值，将噪声紊乱系数与所述和值的比值作为各时间窗口的分辨率系数。
优选的，所述结合各时间窗口的分辨率系数、灰色关联度分析算法、水质监测区域的行业污染类别数据库和区域污染路径污染源数据库完成基于多维数据的溯源，包括：
将各时间窗口的分辨率系数作为灰色关联度分析算法的分辨率系数，灰色关联度分析算法的输入为时间窗口内各采样时刻的监测向量及行业污染类别数据库中的特征向量，灰色关联度分析算法的输出为各采样时刻的监测向量与所述特征向量的匹配度得分，确定时间窗口的污染类别，根据各时间窗口的污染类别在区域污染路径污染源数据库进行匹配，将匹配到的行业工厂位置作为水质污染源位置。
第二方面，本发明实施例还提供了一种基于多维数据的溯源系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述一种基于多维数据的溯源仪器。
本发明至少具有如下有益效果：
本发明通过水质数据获取模块获取水质监测数据，水质数据库模块存储水质监测区域内的污染数据类型，污染溯源模块实现对水质监测数据进行特征提取，具体为：通过状态响应变迁矩阵和噪声干扰向量分析得到变迁受扰因子，通过与时间窗口内剩余其他监测子序列的关系分析得到监测子序列的递变扰动因子，最终结合噪声干扰矩阵得到灰色关联度分析算法的分辨率系数。最后在水质处理模块实现的水质污染溯源；
与传统方式相比，本发明根据水质监测数据得到状态响应变迁矩阵和噪声干扰向量，两者能够充分反应水质监测数据的线性和非线性变化，由此通过对二者分析动态调整分辨率系数，使其根据水质的波动变化动态调整分辨率系数大小，提高对水质监测数据分析关联情况的区分度，提高水质污染源的检测效率及准确率，解决了水质监测多维数据关系分析困难，难以充分挖掘多维数据有利信息的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例提供的一种基于多维数据的溯源仪器流程图；
图2为水质污染溯源指标获取流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于多维数据的溯源仪器及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于多维数据的溯源仪器及系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于多维数据的溯源仪器流程图，该仪器包括：水质数据获取模块101、水质数据库模块102、污染溯源模块103、水质处理模块104。
水质数据获取模块101，获取各采样时刻的水质监测数据。
水质数据获取模块主要为获取待检测水体的水质情况，具体有通过将监测水体接入第一流通池中，通过搅拌让水体均匀，并且通过蠕动泵实现将监测水体固定采样检测送到光谱仪中获取光谱信号，作为水质监测数据。
水质监测数据主要反映水质中各个成分根据不同波段的反射情况，针对单个采样时刻的水质监测数据，用表示，其中/>，/>表示水质检测仪针对第k个波段的反射值，/>表示波段的数量。由此用/>表示水质监测数据时序序列，由每个水质采样时刻组成。为了更加准确的获取水质的监测数据，因此本实施例设置采样间隔为5ms，实施者可根据实际情况自行设定，本实施例对此不做限制。由于获取的水质监测数据的数值较大，为了方便分析水质监测数据，利用Z-Score算法进行归一化，其中Z-Score算法为现有公知技术，本实施例在此不做详细赘述。
水质数据库模块102，获取水质监测区域的行业污染类别数据库、区域污染路径污染源数据库。
水质数据库模块存储采样位置区域内水质污染的真实数据情况，通过对水质监测区域内的海量污染源进行普查，获取水质监测区域的行业污染类别数据库、区域污染路径污染源数据库，行业污染类别数据库为包含水质监测区域上游所包含的行业类别，例如化工业、农业、养殖业等，数据库中为各种行业类别对应的特征向量；区域污染路径污染源数据库为包含各个行业工厂所处的位置编码及对应的行业类别，便于对监测的水质污染进行溯源。
本实施例根据水质采样区域内的污染情况，抽取三类水质污染的类型，分别为：工业污染、农业污染/>和城市污水污染/>，由于此三类污染类型最为普遍，实施者可根据实际情况自行选取，本实施例对此不做限制，其中，/>、/>与/>均为行业污染类别数据库中对应的特征向量。
污染溯源模块103，通过状态响应变迁矩阵和噪声干扰向量分析得到变迁受扰因子，通过与时间窗口内剩余其他监测子序列的关系分析得到监测子序列的递变扰动因子，最终结合噪声干扰矩阵得到灰色关联度分析算法的分辨率系数。
具体的，本实施例将根据各采样时刻的水质监测数据得到各监测子序列的状态响应变迁矩阵及各采样时刻的噪声干扰向量，获取各监测子序列的状态变迁差异系数及数据受扰系数，根据状态变迁差异系数及数据受扰系数得到各监测子序列的变迁受扰因子，从而得到各监测子序列的递变扰动因子，获取各时间窗口的噪声紊乱系数及分辨率系数，结合灰色关联度分析算法完成多维数据的溯源，水质污染溯源指标获取流程图如图2所示。各时间窗口内的分辨率系数的构建过程具体为：
在数据处理模块中主要实现水质监测数据的分析，实时不断调整数据匹配参数，能够实现与水质数据库中的数据快速准确匹配。
由于监测得到的水质数据是动态变化的，因此本实施例采用针对动态数据适应度更好的灰色关联度分析算法比较水质监测数据和数据库污染数据的关联情况。但是在灰色关联度分析算法中，分辨系数通常采用固定值0.5，这种取值的随机性较强，导致评价结果说服力的降低；另外恒定的分辨系数还可能降低关联系数的有效性，造成灰色关联度十分相近，区分度不足。同时固定取值的方式并不完全适用水质监测的问题，可能会使得各个水质污染关联度平均化，由此增加水质污染溯源难度。
为了针对不同的水质变化能够更加准确的实现水质污染数据溯源，需要对检测得到的水质数据进行分析，从而实现动态调整灰色关联度分析算法的分辨系数。由于采样间隔较短并且不间断获取水质监测数据，尤其当采集足够时间得到的数据量趋近于无限大不利于进行水质溯源分析，本实施例针对水质监测数据时序序列划分时间窗口，设置时间窗口为，实施者可根据实际情况自行设定，本实施例对此不做限制，针对单个时间窗口均匀划分/>个监测子序列。
针对单个采样时刻的水质监测数据内部包含/>个波段数量，能反映当前采样时刻水质的真实状态。由此将单个采样时刻的水质监测数据/>向量化，作为各采样时刻的监测向量，用/>表示时间窗口内第m个监测子序列中第i个采样时刻的监测向量。由于相邻采样时刻的水质监测数据之间的具有一定的相关性，但受到噪声的干扰会存在一定的差异。相邻两个采样时刻的监测向量是通过状态响应变迁矩阵和噪声干扰向量共同作用得到的，即用下述公式表示：
式中，和/>分别表示时间窗口内第m个监测子序列中第i个和i+1个采样时刻得到的监测向量，/>表示时间窗口内第m个监测子序列的状态响应变迁矩阵，/>表示时间窗口内第m个监测子序列中第i个采样时刻的噪声干扰向量。
由于监测子序列的整体时间间隔较短，因此在监测子序列内的状态响应变迁矩阵是相同的。矩阵和向量乘法仅能表示线性系统，在时间间隔中可能由于噪声的干扰导致系统存在非线性，因此添加相邻两个时刻的噪声干扰向量用于表示非线性分量。
获取相邻两个采样时刻的监测向量，即和/>，由此通过最小二乘法和伪逆矩阵计算能够得到监测子序列中的状态响应变迁矩阵/>和相邻两个采样时刻监测向量的噪声干扰向量/>，最小二乘法和伪逆矩阵均为现有公知技术，本实施例在此不做详细赘述。在理想情况下水质数据保持稳定时，得到的状态响应变迁矩阵/>为单位矩阵，并且噪声干扰向量/>为零向量。但是当水质变化波动越大，得到的状态响应变迁矩阵/>和噪声干扰向量/>内的元素值越大。
通过状态响应变迁矩阵和噪声干扰向量能够反映监测子序列中水质的波动变化情况，为了进一步分析在监测子序列中水质监测数据的变化情况，根据状态响应变迁矩阵和噪声干扰向量，计算各监测子序列的变迁受扰因子，具体表达式为：
式中，表示时间窗口内第m个监测子序列的变迁受扰因子，/>和/>分别表示时间窗口内第m个监测子序列的状态变迁差异系数和数据受扰系数，/>和/>分别表示权重调节因子，本实施例中/>，/>，实施者可根据实际情况自行设定，本实施例对此不做限制，表示在时间窗口内第m个监测子序列的状态响应变迁矩阵，/>表示单位矩阵，/>表示矩阵的L1范数，/>表示第m个监测子序列中采样时刻的数量，/>和/>分别表示时间窗口内第m个监测子序列中第i个和第i+1个采样时刻的监测向量，/>表示在时间窗口内第m个监测子序列中第i个采样时刻的噪声干扰向量，/>表示计算向量的余弦相似性。
在理想情况下，水质波动稳定时得到的为单位矩阵，/>为零向量，由此得到状态变迁差异系数/>为零矩阵，数据受扰系数/>的分子为零，因此得到的变迁受扰因子/>为零。但是实际检测中受水质变化和噪声干扰的影响会存在一定的变化差异，当水质波动越明显，/>中元素值越大，得到/>与单位矩阵差异的L1范数越大，并且相邻时间间隔监测向量的差异越大，/>的分母越小，而受噪声的影响使得/>的分子越大，最终使得变迁受扰因子的值越大。
变迁受扰因子能够反映时间窗口内监测子序列的波动变化情况，/>的值越大表明水质监测数据变化越剧烈。在时间窗口内各个监测子序列的波动变化情况可能存在一定的差异，并且隐含水质的变化波动规律，因此结合时间窗口内监测子序列的波动变化情况进一步分析。
由此结合监测子序列内的状态响应变迁矩阵和变迁受扰因子/>，能够得到时间窗口内监测子序列的递变扰动因子，具体表达式为：
式中，表示时间窗口内第m个监测子序列的递变扰动因子，/>表示时间窗口内第m个监测子序列的变迁受扰因子，/>表示时间窗口内划分监测子序列的个数，/>和/>分别表示时间窗口内第m和第n个监测子序列的状态响应变迁矩阵，/>表示计算矩阵的F范数。
在时间窗口内水质波动越剧烈，得到监测子序列的状态响应变迁矩阵的元素值越大，并且不同监测子序列间的变化差异越大，导致/>的值越大，同时得到监测子序列的变迁受扰因子越大，最终使得监测子序列的递变扰动因子/>的值越大。相反当水质维持稳定时，/>的值越小。
监测子序列的非线性噪声同样能够反映水质监测数据的紊乱情况，针对各监测子序列能够得到个噪声干扰向量，对应按行排列能够得到对应监测子序列的噪声干扰矩阵/>，维度为/>。由此结合时间窗口内的监测子序列的递变扰动因子/>和噪声干扰矩阵/>，确定时间窗口内灰色关联度的分辨率系数，具体表达式为：
式中，表示第/>个时间窗口内的分辨率系数，/>表示第/>个时间窗口的噪声紊乱系数，/>表示时间窗口内第m个监测子序列的递变扰动因子，/>表示对第/>个时间窗口内的监测子序列两两组合的排列组合数，/>和/>分别表示在时间窗口内第m和第n个监测子序列的噪声干扰矩阵，/>表示计算矩阵的F范数，/>表示时间窗口内划分监测子序列的个数。
当时间窗口内水质波动越剧烈时，得到每个监测子序列的递变扰动因子越大，导致的值越大，对应每两个监测子序列之间的噪声关联性越小，即得到的/>的值越小，最终使得分辨率系数/>的值变小。相反，当时间窗口内水质变化保持稳定时，得到分辨率系数/>的值变大。
在水质波动越剧烈时，表明监测数据越离散，此时应当调小分辨率系数，以削弱序列过于离散对关联度造成的不合理分配；当水质变化稳定时，表明水质监测数据分布越集中，此时应当调大分辨率系数，以便使得关联度充分反映信息的整体性和差异性。
水质处理模块104，结合灰色关联度分析算法完成基于多维数据的溯源。
得到各时间窗口的灰色关联度分析算法的分辨率系数后，结合灰色关联度分析算法进行水质污染溯源，其中灰色关联度分析算法的输入为时间窗口内各采样时刻的监测向量及工业污染、农业污染/>和城市污水污染/>的特征向量，灰色关联度分析算法的输出为时间窗口内各采样时刻的监测向量在工业污染/>、农业污染/>和城市污水污染/>三个类别下的得分，然后统计工业污染/>、农业污染/>和城市污水污染/>三个类别下监测向量的个数，取拥有最多监测向量的污染类别作为对应时间窗口下的水质污染类别，若有多个污染类别均具有最多监测向量，则多个污染类别均作为对应时间窗口下的水质污染类别；设定污染阈值，需要说明的是在统计工业污染/>、农业污染/>和城市污水污染/>三个类别下的得分时，若采样时刻在三类别下的得分均小于污染阈值，则该采样时刻的得分不做统计，反之，则需要统计。本实施例中污染阈值为0.6，实施者可根据实际情况自行设定，本实施例对此不做限制。
将各时间窗口的水质污染类别对应的特征向量利用NGT向量检索算法在区域污染路径污染源数据库中进行匹配，确定行业工厂的位置，从而快速锁定污染源，完成多维数据的溯源。其中NGT向量检索算法为现有公知技术，本实施例在此不做赘述。
基于与上述仪器相同的发明构思，本发明实施例还提供了一种基于多维数据的溯源系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于多维数据的溯源仪器中任意一项所述一种基于多维数据的溯源仪器。
综上所述，本发明实施例解决了水质监测多维数据关系分析困难，难以充分挖掘多维数据有利信息的问题，结合灰色关联度分析算法分析水质监测数据间的关系，提高了水质污染溯源的准确性及效率。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于多维数据的溯源仪器，其特征在于，该仪器包括：
水质数据获取模块，利用光谱仪采集各采样时刻水质的光谱信号作为水质监测数据；
水质数据库模块，通过对海量污染源进行排查获取水质监测区域的行业污染类别数据库和区域污染路径污染源数据库；
污染溯源模块，针对各采样时刻的水质监测数据划分时间窗口；将时间窗口内各采样时刻的水质监测数据均匀划分为各个监测子序列；根据前后相邻采样时刻的水质监测数据得到各监测子序列的状态响应变迁矩阵及监测子序列内各采样时刻的噪声干扰向量；获取时间窗口内各监测子序列的状态变迁差异系数；获取时间窗口内各监测子序列的数据受扰系数；结合各监测子序列的状态变迁差异系数及数据受扰系数得到各监测子序列的变迁受扰因子；结合各监测子序列的状态响应变迁矩阵及变迁受扰因子得到各监测子序列的递变扰动因子；根据各监测子序列的噪声干扰向量得到监测子序列所在时间窗口的噪声紊乱系数；根据监测子序列所在时间窗口的噪声紊乱系数得到各时间窗口的分辨率系数；
水质处理模块，结合各时间窗口的分辨率系数、灰色关联度分析算法、水质监测区域的行业污染类别数据库和区域污染路径污染源数据库完成基于多维数据的溯源；
所述根据前后相邻采样时刻的水质监测数据得到各监测子序列的状态响应变迁矩阵及监测子序列内各采样时刻的噪声干扰向量，包括：
将各采样时刻的水质监测数据作为监测向量，各采样时刻的噪声干扰向量表达式为：
式中，和/>分别表示时间窗口内第m个监测子序列中第i个和i+1个采样时刻得到的监测向量，/>表示时间窗口内第m个监测子序列的状态响应变迁矩阵，/>表示时间窗口内第m个监测子序列中第i个采样时刻的噪声干扰向量；
所述获取时间窗口内各监测子序列的状态变迁差异系数，包括：针对各监测子序列，计算状态响应变迁矩阵与单位矩阵的差值，将所述差值的L1范数作为各监测子序列的状态变迁差异系数；
所述获取时间窗口内各监测子序列的数据受扰系数，表达式为：
式中，表示第m个监测子序列的数据受扰系数，/>表示第m个监测子序列中采样时刻的数量，/>和/>分别表示时间窗口内第m个监测子序列中第i个和第i+1个采样时刻的监测向量，/>表示在时间窗口内第m个监测子序列中第i个采样时刻的噪声干扰向量，/>表示计算向量的余弦相似性；
所述结合各监测子序列的状态响应变迁矩阵及变迁受扰因子得到各监测子序列的递变扰动因子，包括：针对各监测子序列，分别计算与时间窗口内剩余其他监测子序列的状态响应变迁矩阵的差值的F范数，计算所有所述F范数的均值，将所述均值与变迁受扰因子的乘积作为各监测子序列的递变扰动因子；
所述根据监测子序列所在时间窗口的噪声紊乱系数得到各时间窗口的分辨率系数，包括：针对各时间窗口，计算所有监测子序列的递变扰动因子的和值，将噪声紊乱系数与所述和值的比值作为各时间窗口的分辨率系数；
所述结合各时间窗口的分辨率系数、灰色关联度分析算法、水质监测区域的行业污染类别数据库和区域污染路径污染源数据库完成基于多维数据的溯源，包括：将各时间窗口的分辨率系数作为灰色关联度分析算法的分辨率系数，灰色关联度分析算法的输入为时间窗口内各采样时刻的监测向量及行业污染类别数据库中的特征向量，灰色关联度分析算法的输出为各采样时刻的监测向量与所述特征向量的匹配度得分，确定时间窗口的污染类别，根据各时间窗口的污染类别在区域污染路径污染源数据库进行匹配，将匹配到的行业工厂位置作为水质污染源位置。
2.根据权利要求1所述的一种基于多维数据的溯源仪器，其特征在于，所述结合各监测子序列的状态变迁差异系数及数据受扰系数得到各监测子序列的变迁受扰因子，包括：
计算各监测子序列的状态变迁差异系数与预设第一权重调节因子的乘积，记为第一乘积，计算各监测子序列的数据受扰系数与预设第二权重调节因子的乘积，记为第二乘积，将第一乘积与第二乘积的和值作为各监测子序列的变迁受扰因子。
3.根据权利要求1所述的一种基于多维数据的溯源仪器，其特征在于，所述根据各监测子序列的噪声干扰向量得到监测子序列所在时间窗口的噪声紊乱系数，包括：
将各监测子序列的所有噪声干扰向量按采样时刻顺序依次排列构成噪声干扰矩阵，监测子序列所在时间窗口的噪声紊乱系数的表达式为：
式中，表示第/>个时间窗口的噪声紊乱系数，/>表示对第/>个时间窗口内的监测子序列两两组合的排列组合数，/>和/>分别表示在时间窗口内第m和第n个监测子序列的噪声干扰矩阵，/>表示计算矩阵的F范数，/>表示时间窗口内划分监测子序列的个数。
4.一种基于多维数据的溯源系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-3任意一项所述一种基于多维数据的溯源仪器。
CN202311639910.XA 2023-12-04 2023-12-04 一种基于多维数据的溯源仪器及系统 Active CN117373556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311639910.XA CN117373556B (zh) 2023-12-04 2023-12-04 一种基于多维数据的溯源仪器及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311639910.XA CN117373556B (zh) 2023-12-04 2023-12-04 一种基于多维数据的溯源仪器及系统

Publications (2)

Publication Number Publication Date
CN117373556A CN117373556A (zh) 2024-01-09
CN117373556B true CN117373556B (zh) 2024-02-13

Family

ID=89396876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311639910.XA Active CN117373556B (zh) 2023-12-04 2023-12-04 一种基于多维数据的溯源仪器及系统

Country Status (1)

Country Link
CN (1) CN117373556B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105653788A (zh) * 2015-12-29 2016-06-08 中国神华能源股份有限公司 一种矿区水源识别方法、装置和系统
CN106203756A (zh) * 2015-05-05 2016-12-07 中国船舶重工集团公司第七六○研究所 一种基于特征数据库的工业污水污染物溯源分析方法
CN111598484A (zh) * 2020-05-26 2020-08-28 国网江苏电力设计咨询有限公司 一种风光储系统电能质量综合评估方法
CN111812292A (zh) * 2020-09-03 2020-10-23 中兴仪器（深圳）有限公司 水质污染类型溯源方法、装置、设备及可读存储介质
CN113159162A (zh) * 2021-04-19 2021-07-23 南京理工大学紫金学院 一种基于信息融合与灰色关联度的故障诊断方法及系统
CN113702609A (zh) * 2021-08-27 2021-11-26 武汉虹信技术服务有限责任公司 一种水质检测方法及系统
WO2022027943A1 (zh) * 2020-08-03 2022-02-10 生态环境部南京环境科学研究所 一种基于污染要素源解析的水污染溯源系统及方法
CN114386735A (zh) * 2020-11-10 2022-04-22 南京环宝信息技术有限公司 一种基于大数据分析实现的快速大气污染溯源方法
CN114444259A (zh) * 2021-12-20 2022-05-06 浙江仁欣环科院有限责任公司 一种雨污管网溯源追踪系统及方法
WO2022160682A1 (zh) * 2021-01-27 2022-08-04 力合科技（湖南）股份有限公司 水质监测数据分析方法及装置、设备、存储介质
CN115169702A (zh) * 2022-07-12 2022-10-11 淮阴工学院 一种基于EEMD-LSTNet的水质参数预测方法及系统
CN115424143A (zh) * 2022-08-29 2022-12-02 南方海洋科学与工程广东省实验室(广州) 水源污染溯源方法、装置、存储介质和计算机设备
CN115952888A (zh) * 2022-12-05 2023-04-11 国网湖南省电力有限公司 基于多变量灰色模型的能源碳排放预测方法及系统
CN116881671A (zh) * 2023-09-04 2023-10-13 山东智明环保工程有限公司 基于神经网络的大气污染溯源方法及系统
CN117009828A (zh) * 2023-09-28 2023-11-07 中国长江电力股份有限公司 基于故障匹配算法的水电设备故障诊断方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10885292B2 (en) * 2016-09-21 2021-01-05 International Business Machines Corporation System, method and computer program product for pollution source attribution
CN114356880B (zh) * 2021-12-15 2023-04-11 浙江工业大学 基于数据驱动的小尺度区域大气污染物快速溯源方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203756A (zh) * 2015-05-05 2016-12-07 中国船舶重工集团公司第七六○研究所 一种基于特征数据库的工业污水污染物溯源分析方法
CN105653788A (zh) * 2015-12-29 2016-06-08 中国神华能源股份有限公司 一种矿区水源识别方法、装置和系统
CN111598484A (zh) * 2020-05-26 2020-08-28 国网江苏电力设计咨询有限公司 一种风光储系统电能质量综合评估方法
WO2022027943A1 (zh) * 2020-08-03 2022-02-10 生态环境部南京环境科学研究所 一种基于污染要素源解析的水污染溯源系统及方法
CN111812292A (zh) * 2020-09-03 2020-10-23 中兴仪器（深圳）有限公司 水质污染类型溯源方法、装置、设备及可读存储介质
CN114386735A (zh) * 2020-11-10 2022-04-22 南京环宝信息技术有限公司 一种基于大数据分析实现的快速大气污染溯源方法
WO2022160682A1 (zh) * 2021-01-27 2022-08-04 力合科技（湖南）股份有限公司 水质监测数据分析方法及装置、设备、存储介质
CN113159162A (zh) * 2021-04-19 2021-07-23 南京理工大学紫金学院 一种基于信息融合与灰色关联度的故障诊断方法及系统
CN113702609A (zh) * 2021-08-27 2021-11-26 武汉虹信技术服务有限责任公司 一种水质检测方法及系统
CN114444259A (zh) * 2021-12-20 2022-05-06 浙江仁欣环科院有限责任公司 一种雨污管网溯源追踪系统及方法
CN115169702A (zh) * 2022-07-12 2022-10-11 淮阴工学院 一种基于EEMD-LSTNet的水质参数预测方法及系统
CN115424143A (zh) * 2022-08-29 2022-12-02 南方海洋科学与工程广东省实验室(广州) 水源污染溯源方法、装置、存储介质和计算机设备
CN115952888A (zh) * 2022-12-05 2023-04-11 国网湖南省电力有限公司 基于多变量灰色模型的能源碳排放预测方法及系统
CN116881671A (zh) * 2023-09-04 2023-10-13 山东智明环保工程有限公司 基于神经网络的大气污染溯源方法及系统
CN117009828A (zh) * 2023-09-28 2023-11-07 中国长江电力股份有限公司 基于故障匹配算法的水电设备故障诊断方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Water Quality Predictions Based on Grey Relation Analysis Enhanced LSTM Algorithms;Xiaoqing Tian 等;Water;第14卷(第23期);1-10 *
基于GRA-TSA联合分析的山岭隧道涌水来源识别研究;李海港 等;科技创新导报;第15卷(第26期);84-89 *
基于决策树的煤化工污染物定量化溯源研究;郏奎奎 等;环境工程;第34卷(第S1期);1169-1175 *
椭球灰靶决策和灰色关联分析的土壤重金属污染评价与溯源分析;盘丽珍;当代化工研究(第3期);91-94 *
灰色关联分析中分辨系数取值的定量研究;钱隼驰 等;统计与决策;第35卷(第10期);10-14 *

Also Published As

Publication number Publication date
CN117373556A (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
US20020035449A1 (en) Model for spectral and chromatographic data
CN111562108A (zh) 一种基于cnn和fcmc的滚动轴承智能故障诊断方法
CN110650058B (zh) 一种网络流量分析方法、装置、存储介质及设备
KR102124985B1 (ko) 트렌딩 및 패턴 인식을 위한 신호 관련 측정치의 정량적 분석
CN111738309B (zh) 多尺度分析和集成学习的气敏传感器故障模式识别方法
Kryger Interpretation of analytical chemical information by pattern recognition methods—a survey
CN116155426B (zh) 基于历史数据的调音台运行异常监测方法
CN117171604A (zh) 基于传感器的保温板生产线异常监测系统
Grivel et al. Kullback-Leibler and Rényi divergence rate for Gaussian stationary ARMA processes comparison
Ma et al. Underdetermined blind source separation based on source number estimation and improved sparse component analysis
CN117373556B (zh) 一种基于多维数据的溯源仪器及系统
CN106599391B (zh) 基于三角形角度值动态加权的关联向量机软测量建模方法
CN108955855A (zh) 面向旋转机械的振动信号特征提取方法、监测方法及装置
Chen et al. Application of EMD-AR and MTS for hydraulic pump fault diagnosis
CN116380869A (zh) 一种基于自适应稀疏分解的拉曼光谱去噪方法
CN115355166A (zh) 一种基于短时傅里叶变换的空压机故障诊断方法和系统
Iqbal et al. Comparison of different techniques for detection of outliers in case of multivariate data.
Lee Temporal correlation analysis of programming language popularity
CN112801173A (zh) 一种qr模糊鉴别分析的生菜近红外光谱分类方法
CN113066544A (zh) 基于CAA-Net与LightGBM的FVEP特征点检测方法
Ryzhikov et al. Latent neural stochastic differential equations for change point detection
Ayyala High-dimensional statistical inference: Theoretical development to data analytics
Long et al. An Outlier Fault Diagnosis Method Based on Principal Component of Entropy Weight
Zhu et al. Exploration to Identification of Chinese Medicinal Materials Based on Infrared Spectrum
Jälmby et al. Computationally efficient estimation of multi-dimensional damped modes using sparse wideband dictionaries

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant