CN109060023B - 一种微型环境监测的数据质控方法及系统 - Google Patents

一种微型环境监测的数据质控方法及系统 Download PDF

Info

Publication number
CN109060023B
CN109060023B CN201810896560.8A CN201810896560A CN109060023B CN 109060023 B CN109060023 B CN 109060023B CN 201810896560 A CN201810896560 A CN 201810896560A CN 109060023 B CN109060023 B CN 109060023B
Authority
CN
China
Prior art keywords
data
quality control
monitoring
detection
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810896560.8A
Other languages
English (en)
Other versions
CN109060023A (zh
Inventor
李玉金
戈燕红
谢广群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Yingfeng Technology Co.,Ltd.
Original Assignee
Guangdong Yingfeng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Yingfeng Technology Co ltd filed Critical Guangdong Yingfeng Technology Co ltd
Priority to CN201810896560.8A priority Critical patent/CN109060023B/zh
Publication of CN109060023A publication Critical patent/CN109060023A/zh
Application granted granted Critical
Publication of CN109060023B publication Critical patent/CN109060023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G06F30/36—Circuit design at the analogue level
    • G06F30/367—Design verification, e.g. using simulation, simulation program with integrated circuit emphasis [SPICE], direct methods or relaxation methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00—Water conservation; Efficient water supply; Efficient water use
    • Y02A20/152—Water filtration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
    • Y02A50/20—Air quality improvement or preservation, e.g. vehicle emission control or emission reduction by using catalytic converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Food Science & Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Computing Systems (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Algebra (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开了一种微型环境监测的数据质控方法及系统，其中方法包括：获取微型环境中各个检测单元的实时检测数据以及监督学习对象的检测结果；对实时检测数据以及检测结果数据进行处理；将处理后的数据通过模型公式计算得到数据质控模型。本发明一种微型环境监测的数据质控方法及系统保证了监测数据的有效性和准确性。

Description

一种微型环境监测的数据质控方法及系统
技术领域
本发明涉及微型环境监测，更具体地说是一种微型环境监测的数据质控方法及系统。
背景技术
目前微型环境监测，通常采用传感器作为检测单元，如气体监测传感器(SO2、NO2、CO、O3、TVOC、NH3、H2S等)、颗粒物监测传感器(PM2.5、PM10)、水质监测传感器(COD、pH、浊度、电导率、藻类等)，设备在连续实时监测过程中易受环境温度、湿度变化产生的漂移、检测因子间的交叉干扰以及传感器老化产生的信号衰减等，从而引起设备零点漂移和检测限下降，进而导致监测数据无效。
因此为了保护监测数据的有效性和准确性，亟待提出一种数据质控的方法及系统。
发明内容
本发明的目的在于克服现有技术的不足，提供一种微型环境监测的数据质控方法及系统。
为实现上述目的，本发明采用以下技术方案：一种微型环境监测的数据质控方法，所述方法包括：
获取微型环境中各个检测单元的实时检测数据以及监督学习对象的检测结果；
对实时检测数据以及检测结果数据进行处理；
将处理后的数据通过模型公式计算得到数据质控模型。
其进一步技术方案为：所述获取微型环境中各个检测单元的实时检测数据以及监督学习对象的检测结果的步骤中，所述检测单元包括气体传感器、颗粒物传感器、气象监测传感器、水质监测传感器以及水文监测传感器。
其进一步技术方案为：所述对实时检测数据以及检测结果数据进行处理的步骤，具体包括以下步骤：
对数据进行清洗，以得到数据流；
去除数据流中的无效数据，以得到特征数据；
对特征数据进行归一化处理。
其进一步技术方案为：所述将处理后的数据通过模型公式计算得到数据质控模型的步骤中，所述模型公式为：
Figure GDA0002564086830000021
其中，xk、xj为各个检测单元的实时检测数据，yi为监督学习对象的检测结果；wkj、ki为权重因子和常数因子；ε为控制因子；j、k、N为项数目；q为数值项”。
其进一步技术方案为：所述将处理后的数据通过模型公式计算得到数据质控模型的步骤，具体包括以下步骤：
提取数据特征；
对数据特征进行维度压缩，形成二维特征；
将二维特征转化为一维的向量。
一种微型环境监测的数据质控系统，包括获取单元、处理单元以及质控模型单元；
所述获取单元，用于获取微型环境中各个检测单元的实时检测数据以及监督学习对象的检测结果；
所述处理单元，用于对实时检测数据以及检测结果数据进行处理；
所述质控模型单元，用于将处理后的数据通过模型公式计算得到数据质控模型。
其进一步技术方案为：所述检测单元包括气体传感器、颗粒物传感器、气象监测传感器、水质监测传感器以及水文监测传感器。
其进一步技术方案为：所述处理单元包括清洗模块、去除模块以及归一化处理模块；
所述清洗模块，用于对数据进行清洗，以得到数据流；
所述去除模块，用于去除数据流中的无效数据，以得到特征数据；
所述归一化处理模块，用于对特征数据进行归一化处理。
其进一步技术方案为：所述模型公式为：
Figure GDA0002564086830000031
其中，xk、xj为各个检测单元的实时检测数据，yi为监督学习对象的检测结果；wkj、ki为权重因子和常数因子；ε为控制因子；j、k、N为项数目；q为数值项”。
其进一步技术方案为：所述质控模型单元包括提取模块、维度压缩模块以及转化模块；
所述提取模块，用于提取数据特征；
所述维度压缩模块，用于对数据特征进行维度压缩，形成二维特征；
所述转化模块，用于将二维特征转化为一维的向量。
本发明与现有技术相比的有益效果是：本发明一种微型环境监测的数据质控方法通过获取微型环境中各个检测单元的实时检测数据以及监督学习对象的检测结果，然后对实时检测数据以及检测结果数据进行处理，接着将处理后的数据通过模型公式计算得到数据质控模型，保证了监测数据的有效性和准确性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明技术手段，可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征及优点能够更明显易懂，以下特举较佳实施例，详细说明如下。
附图说明
图1为本发明一种微型环境监测的数据质控方法具体实施例的流程图一；
图2为本发明一种微型环境监测的数据质控方法具体实施例的流程图二；
图3为本发明一种微型环境监测的数据质控方法具体实施例的流程图三；
图4为本发明一种微型环境监测的数据质控系统具体实施例的结构图一；
图5为本发明一种微型环境监测的数据质控系统具体实施例的结构图二；
图6为本发明一种微型环境监测的数据质控系统具体实施例的结构图三。
具体实施方式
为了更充分理解本发明的技术内容，下面结合具体实施例对本发明的技术方案进一步介绍和说明，但不局限于此。
应当理解，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来，而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序。
还应当理解，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
如图1-3所示，本发明提供了一种微型环境监测的数据质控方法，该方法包括：
S10、获取微型环境中各个检测单元的实时检测数据以及监督学习对象的检测结果；
S20、对实时检测数据以及检测结果数据进行处理；
S30、将处理后的数据通过模型公式计算得到数据质控模型。
具体的，检测单元包括气体传感器(可以获取空气质量参数、恶臭、有毒有害气体参数等)、颗粒物传感器、气象监测传感器、水质监测传感器(可以监测COD、氨氮、总氮、总磷等)以及水文监测传感器。监督学习对象的检测结果是指国家环保局监控环境质量的高精度国标设备或手工实验得到的数据，数据可通过官方平台获得，或相关部门提供。
在某些实施例中，步骤S20具体包括以下步骤：
S201、对数据进行清洗，以得到数据流；
S202、去除数据流中的无效数据，以得到特征数据；
S203、对特征数据进行归一化处理。
对于步骤S201，数据清洗主要包括了不同数据源的数据协议的调整对齐，错误数据的初步判断，补足残缺(空白)数据，如获取的不同厂家的控制质量参数检测设备的监测数据，在获取的数据流上，同一个检测因子所在位置是不一样的，同样也存在因仪器故障或环境因素而产生的错误数据及残缺数据，数据清洗即为此为设置的。
对于步骤S202，经清洗后的数据流，在数据格式、数据长度、数据位置、数据有效标志位和数据所代表的意义均已明确，针对不同的监督对象，抽取不同的数据段后，结合不同字段上的数据有效标志位，去除无效数据，即获得用于数据质控模型计算的特征数据。
对于步骤S203，在获得特征数据后，不同的特征有不同的取值范围，如空气质量参数CO因子和水质质量参数CODcr取值范围不一样，为了降低取值范围对数据质控模型的影响，对特征数据进行归一化处理，通过函数归一化将特征取值映射到[0，1]区间，保证了特征数据变化范围的稳定性。
具体的，将经过归一化处理的数据输入模型公式中，即可进行数据质控模型的计算，模型公式为：
Figure GDA0002564086830000051
其中，xk、xj为各个检测单元的实时检测数据，yi为监督学习对象的检测结果；wkj、ki为权重因子和常数因子；ε为控制因子；j、k、N为项数目；q为数值项”。
另外，质控模型针对微型环境监测不同使用环境和不同监测参数，形成的数据质控模型分为传统机器学习数据质控模型、深度学习数据质控模型、强化学习数据质控模型和迁移学习数据质控模型；
其中，传统机器学习的数据质控模型，采用的数据为传统仪器仪表类的校准数据，如利用标准气体动态发生器和零气发生器，配置不同浓度的气体或混合气体，确定微型环境中每个传感器的线性影响参数，如利用配置不同浓度化学试剂，通过手工对比实现，确定微型环境中的水环境质量中每个传感器的线性参数。传统机器学习的数据质控模型，一般采用线性或多项式模型，旨在获取单影响因素时，每个传感器的线性响应。
建立深度学习数据质控模型，在实际使用过程中每个传感都会存在温度、湿度产生的漂移，监测因子间的交叉干扰以及传感器老化产生的信号衰减，深度学习数据质控模型将该现象特征作为未知结构，通过有监督式学习方法，来挖掘好的表现特征结构，如温度漂移特征结构、监测因子间的交叉干扰特征结构，这些特征结构具有多个抽象级别，体现为卷积神经网络的隐含层及层次，该数据质控模型在抽象的多个特征结构层次上自主学习可将输入的数据直接映射(输出)高稳定性和高检测限的监测结果，而不必完全依赖人工制定，具有很强的鲁棒性和适应性。
建立强化学习数据质控模型，当微型环境监测系统为客户使用时，其监测环境已有出厂环境变为客户使用环境，此时需要该监测系统需要进行强化学习，消除环境变更带来的模型差异，首先更改监督学习对象为当前环境下的数据来源，采用边获得有交互及反馈的序列样例边学习的方式，在获得样例之后更新已有的模型，利用当前的模型来指导下一步的行动，下一步的行动获得反馈之后再更新模型，反复过程中采用的评估网络使用时序差分预测方法TD和反向传播BP算法进行学习，而对行动网络进行遗传操作，使用内部强化信号作为行动网络的适应度函数，通过不断迭代重复直到模型收敛。
建立迁移学习数据质控模型，当微型环境监测系统在客户使用过程中客户的环境产生局部变化时，强化学习数据质控模型采用了大量的用来训练模型的数据集，该过程是泛化特征的过程，故迁移学习可在迁移学习的基础数据集和基础任务上训练一个基础网络，即微调一下学到的特征，迁移到第二个目标网络中，用目标数据集和目标任务训练网络。所采用的质控方法为基于特征的有监督迁移学习来解决环境产生局部变化问题，所采用的目标数据为便携式标准设备或者其他标准监测设备，在该过程中重新定义一个统一形式化公式，转化成对目标函数的最优化问题。
在某些实施例中，步骤S30具体包括以下步骤：
S301、提取数据特征；
S302、对数据特征进行维度压缩，形成二维特征；
S303、将二维特征转化为一维的向量。
具体的，各个检测单元的测量数据，表现为检测时间、设备编号和测量数据的三维区域数据块，卷积层用来进行数据特征提取，池化层对输入的数据特征进行尺度压缩，使特征数据量变小，简化网络计算复杂度，同时提取主要特征，卷积层和池化层均利用了数据的不变性，进行平移、旋转、尺度缩放和降维等操作，保留主要的特征同时减少参数和计算量，实现模型泛化，防止过拟合；全连接层在整个数据质控模型中起到分类的作用，将从监督学习对象训化到的特征模型映射到特定的质控数据库，把卷积输出的二维特征转化成一维的向量，弱化模型影响小的参数，实现质控模型的简化快速计算；模型输出即针对不同的质控因子(如SO2、TP等)，输出不同的质控模型。
如图4-6所示，本发明还提供了一种微型环境监测的数据质控系统，该系统与上述方法是一一对应的，该系统包括获取单元1、处理单元2以及质控模型单元3；
获取单元1，用于获取微型环境中各个检测单元的实时检测数据以及监督学习对象的检测结果；
处理单元2，用于对实时检测数据以及检测结果数据进行处理；
质控模型单元3，用于将处理后的数据通过模型公式计算得到数据质控模型。
具体的，检测单元包括气体传感器(可以获取空气质量参数、恶臭、有毒有害气体参数等)、颗粒物传感器、气象监测传感器、水质监测传感器(可以监测COD、氨氮、总氮、总磷等)以及水文监测传感器。监督学习对象的检测结果是指国家环保局监控环境质量的高精度国标设备或手工实验得到的数据，数据可通过官方平台获得，或相关部门提供。
在某些实施例中，处理单元2包括清洗模块21、去除模块22以及归一化处理模块23；
清洗模块，用于对数据进行清洗，以得到数据流；
去除模块，用于去除数据流中的无效数据，以得到特征数据；
归一化处理模块，用于对特征数据进行归一化处理。
数据清洗主要包括了不同数据源的数据协议的调整对齐，错误数据的初步判断，补足残缺(空白)数据，如获取的不同厂家的控制质量参数检测设备的监测数据，在获取的数据流上，同一个检测因子所在位置是不一样的，同样也存在因仪器故障或环境因素而产生的错误数据及残缺数据，数据清洗即为此为设置的。
经清洗后的数据流，在数据格式、数据长度、数据位置、数据有效标志位和数据所代表的意义均已明确，针对不同的监督对象，抽取不同的数据段后，结合不同字段上的数据有效标志位，去除无效数据，即获得用于数据质控模型计算的特征数据。
在获得特征数据后，不同的特征有不同的取值范围，如空气质量参数CO因子和水质质量参数CODcr取值范围不一样，为了降低取值范围对数据质控模型的影响，对特征数据进行归一化处理，通过函数归一化将特征取值映射到[0，1]区间，保证了特征数据变化范围的稳定性。
具体的，将经过归一化处理的数据输入模型公式中，即可进行数据质控模型的计算，模型公式为：
模型公式为：
Figure GDA0002564086830000081
其中，xk、xj为各个检测单元的实时检测数据，yi为监督学习对象的检测结果；wkj、ki为权重因子和常数因子；ε为控制因子；j、k、N为项数目；q为数值项”。
另外，质控模型针对微型环境监测不同使用环境和不同监测参数，形成的数据质控模型分为传统机器学习数据质控模型、深度学习数据质控模型、强化学习数据质控模型和迁移学习数据质控模型；
其中，传统机器学习的数据质控模型，采用的数据为传统仪器仪表类的校准数据，如利用标准气体动态发生器和零气发生器，配置不同浓度的气体或混合气体，确定微型环境中每个传感器的线性影响参数，如利用配置不同浓度化学试剂，通过手工对比实现，确定微型环境中的水环境质量中每个传感器的线性参数。传统机器学习的数据质控模型，一般采用线性或多项式模型，旨在获取单影响因素时，每个传感器的线性响应。
建立深度学习数据质控模型，在实际使用过程中每个传感都会存在温度、湿度产生的漂移，监测因子间的交叉干扰以及传感器老化产生的信号衰减，深度学习数据质控模型将该现象特征作为未知结构，通过有监督式学习方法，来挖掘好的表现特征结构，如温度漂移特征结构、监测因子间的交叉干扰特征结构，这些特征结构具有多个抽象级别，体现为卷积神经网络的隐含层及层次，该数据质控模型在抽象的多个特征结构层次上自主学习可将输入的数据直接映射(输出)高稳定性和高检测限的监测结果，而不必完全依赖人工制定，具有很强的鲁棒性和适应性。
建立强化学习数据质控模型，当微型环境监测系统为客户使用时，其监测环境已有出厂环境变为客户使用环境，此时需要该监测系统需要进行强化学习，消除环境变更带来的模型差异，首先更改监督学习对象为当前环境下的数据来源，采用边获得有交互及反馈的序列样例边学习的方式，在获得样例之后更新已有的模型，利用当前的模型来指导下一步的行动，下一步的行动获得反馈之后再更新模型，反复过程中采用的评估网络使用时序差分预测方法TD和反向传播BP算法进行学习，而对行动网络进行遗传操作，使用内部强化信号作为行动网络的适应度函数，通过不断迭代重复直到模型收敛。
建立迁移学习数据质控模型，当微型环境监测系统在客户使用过程中客户的环境产生局部变化时，强化学习数据质控模型采用了大量的用来训练模型的数据集，该过程是泛化特征的过程，故迁移学习可在迁移学习的基础数据集和基础任务上训练一个基础网络，即微调一下学到的特征，迁移到第二个目标网络中，用目标数据集和目标任务训练网络。所采用的质控方法为基于特征的有监督迁移学习来解决环境产生局部变化问题，所采用的目标数据为便携式标准设备或者其他标准监测设备，在该过程中重新定义一个统一形式化公式，转化成对目标函数的最优化问题。
在某些实施例中，质控模型单元3包括提取模块31、维度压缩模块32以及转化模块33；
提取模块31，用于提取数据特征；
维度压缩模块32，用于对数据特征进行维度压缩，形成二维特征；
转化模块33，用于将二维特征转化为一维的向量。
具体的，各个检测单元的测量数据，表现为检测时间、设备编号和测量数据的三维区域数据块，卷积层用来进行数据特征提取，池化层对输入的数据特征进行尺度压缩，使特征数据量变小，简化网络计算复杂度，同时提取主要特征，卷积层和池化层均利用了数据的不变性，进行平移、旋转、尺度缩放和降维等操作，保留主要的特征同时减少参数和计算量，实现模型泛化，防止过拟合；全连接层在整个数据质控模型中起到分类的作用，将从监督学习对象训化到的特征模型映射到特定的质控数据库，把卷积输出的二维特征转化成一维的向量，弱化模型影响小的参数，实现质控模型的简化快速计算；模型输出即针对不同的质控因子(如SO2、TP等)，输出不同的质控模型。
上述仅以实施例来进一步说明本发明的技术内容，以便于读者更容易理解，但不代表本发明的实施方式仅限于此，任何依本发明所做的技术延伸或再创造，均受本发明的保护。本发明的保护范围以权利要求书为准。

Claims (6)

1.一种微型环境监测的数据质控方法，其特征在于，所述方法包括：
获取微型环境中各个检测单元的实时检测数据以及监督学习对象的检测结果；
对实时检测数据以及检测结果数据进行处理；
将处理后的数据通过模型公式计算得到数据质控模型；
所述将处理后的数据通过模型公式计算得到数据质控模型的步骤中，所述模型公式为：
Figure FDA0002720906470000011
其中，xk、xj为各个检测单元的实时检测数据，yi为监督学习对象的检测结果；wkj、ki为权重因子和常数因子；ε为控制因子；j、k、N为项数目；q为数值项；
所述对实时检测数据以及检测结果数据进行处理的步骤，具体包括以下步骤：
对数据进行清洗，以得到数据流；
去除数据流中的无效数据，以得到特征数据；
对特征数据进行归一化处理。
2.根据权利要求1所述的一种微型环境监测的数据质控方法，其特征在于，所述获取微型环境中各个检测单元的实时检测数据以及监督学习对象的检测结果的步骤中，所述检测单元包括气体传感器、颗粒物传感器、气象监测传感器、水质监测传感器以及水文监测传感器。
3.根据权利要求1所述的一种微型环境监测的数据质控方法，其特征在于，所述将处理后的数据通过模型公式计算得到数据质控模型的步骤，具体包括以下步骤：
提取数据特征；
对数据特征进行维度压缩，形成二维特征；
将二维特征转化为一维的向量。
4.一种微型环境监测的数据质控系统，其特征在于，包括获取单元、处理单元以及质控模型单元；
所述获取单元，用于获取微型环境中各个检测单元的实时检测数据以及监督学习对象的检测结果；
所述处理单元，用于对实时检测数据以及检测结果数据进行处理；
所述质控模型单元，用于将处理后的数据通过模型公式计算得到数据质控模型；
所述模型公式为：
Figure FDA0002720906470000021
其中，xk、xj为各个检测单元的实时检测数据，yi为监督学习对象的检测结果；wkj、ki为权重因子和常数因子；ε为控制因子；j、k、N为项数目；q为数值项；
所述处理单元包括清洗模块、去除模块以及归一化处理模块；
所述清洗模块，用于对数据进行清洗，以得到数据流；
所述去除模块，用于去除数据流中的无效数据，以得到特征数据；
所述归一化处理模块，用于对特征数据进行归一化处理。
5.根据权利要求4所述的一种微型环境监测的数据质控系统，其特征在于，所述检测单元包括气体传感器、颗粒物传感器、气象监测传感器、水质监测传感器以及水文监测传感器。
6.根据权利要求4所述的一种微型环境监测的数据质控系统，其特征在于，所述质控模型单元包括提取模块、维度压缩模块以及转化模块；
所述提取模块，用于提取数据特征；
所述维度压缩模块，用于对数据特征进行维度压缩，形成二维特征；
所述转化模块，用于将二维特征转化为一维的向量。
CN201810896560.8A 2018-08-08 2018-08-08 一种微型环境监测的数据质控方法及系统 Active CN109060023B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810896560.8A CN109060023B (zh) 2018-08-08 2018-08-08 一种微型环境监测的数据质控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810896560.8A CN109060023B (zh) 2018-08-08 2018-08-08 一种微型环境监测的数据质控方法及系统

Publications (2)

Publication Number Publication Date
CN109060023A CN109060023A (zh) 2018-12-21
CN109060023B true CN109060023B (zh) 2021-02-05

Family

ID=64678686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810896560.8A Active CN109060023B (zh) 2018-08-08 2018-08-08 一种微型环境监测的数据质控方法及系统

Country Status (1)

Country Link
CN (1) CN109060023B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109297534B (zh) * 2018-09-21 2020-12-29 苏州数言信息技术有限公司 用于评价室内环境质量的环境参数权重确定方法及系统
CN110722556A (zh) * 2019-10-17 2020-01-24 苏州恒辉科技有限公司 一种基于强化学习的可移动机械臂控制系统及方法
CN111340095A (zh) * 2020-02-21 2020-06-26 谢国宇 基于深度学习的环境监测数据质量控制方法
CN114459529A (zh) * 2020-11-09 2022-05-10 特变电工京津冀智能科技有限公司 充油套管的智能维护装置、变压器以及变电系统
CN113095389B (zh) * 2021-04-02 2023-04-07 河北先河环保科技股份有限公司 网格化传感器监控网络校准方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081764A (zh) * 2011-01-11 2011-06-01 上海海洋大学 一种基于uldb的海洋环境监测数据管理系统
CN103020642B (zh) * 2012-10-08 2016-07-13 江苏省环境监测中心 水环境监测质控数据分析方法
CN106196423B (zh) * 2016-06-30 2018-08-24 西安建筑科技大学 一种基于模型预测的室内环境品质控制优化方法
CN106897957B (zh) * 2017-02-22 2020-08-04 南京信息工程大学 一种基于pca和pso-elm的自动气象站实时数据质量控制方法
CN107944213B (zh) * 2017-11-24 2021-09-28 天津聚研环保科技有限公司 Pmf在线源解析方法、系统、终端设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN109060023A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN109060023B (zh) 一种微型环境监测的数据质控方法及系统
CN106950276B (zh) 一种基于卷积神经网络的管道缺陷深度的反演方法
CN106706852A (zh) 一种气体浓度传感器的标定方法和系统
CN109374532B (zh) 基于传递熵和自适应融合的污染排放遥测误差补偿方法
CN112529240A (zh) 一种大气环境数据的预测方法、系统、装置及存储介质
CN109492265A (zh) 基于高斯过程回归的动态非线性pls软测量建模方法
CN114021436A (zh) 一种基于近地面紫外辐射的近地面臭氧反演方法
CN109030566B (zh) 一种实验室气体泄漏诊断装置及方法
CN108595892A (zh) 基于时间差分模型的软测量建模方法
CN112364940A (zh) 基于多源数据的大气污染物源解析方法、存储介质及设备
CN115795401A (zh) 海洋牧场全要素监测传感器多数据融合系统
CN111365624A (zh) 一种输卤管道泄漏检测的智能终端与方法
Zammit-Mangion et al. Spatio-temporal bivariate statistical models for atmospheric trace-gas inversion
Devagopal et al. Prediction of water quality parameters of River Periyar using regression models
CN112986497B (zh) 基于气体传感器阵列指纹识别的污染气体溯源方法
CN107656905B (zh) 一种利用误差传递的空气质量数据实时校准方法
CN104063609A (zh) 一种利用神经网络辅助判定污染源监测数据有效性的方法
Xia et al. A computationally efficient self-starting scheme to monitor general linear profiles with abrupt changes
CN116933084A (zh) 一种污染物排放的预测方法和装置
CN117057221A (zh) 一种基于机器学习的滨海非均质含水层刻画实现方法及装置
Kpidi et al. Monitoring and Modeling of Chlorophyll-a Dynamics in a Eutrophic Lake: M'koa Lake (Jacqueville, Ivory Coast)
CN114693493B (zh) 一种基于IoT的污染河流水生态修复系统
Jakubiec et al. Error model application in neural reconstruction of nonlinear sensor input signal
Shi et al. Process modeling based on nonlinear PLS models using a prior knowledge-driven time difference method
Guo et al. Low-Cost Multisensor Gas Detection System with Fuzzy Algorithm.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210107

Address after: 528000 No.8, Huishang Road, Jiangcun village, Leliu street, Shunde District, Foshan City, Guangdong Province

Applicant after: Guangdong Yingfeng Technology Co.,Ltd.

Address before: 518000 No. 301, block B, R & D building, Tsinghua hi tech Industrial Park, Nanshan District, Guangdong, Shenzhen

Applicant before: UNIVERSTAR SCIENCE & TECHNOLOGY (SHENZHEN) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant