CN114610799A - 基于环境监测的数据处理方法、设备及存储介质 - Google Patents

基于环境监测的数据处理方法、设备及存储介质 Download PDF

Info

Publication number
CN114610799A
CN114610799A CN202210509647.1A CN202210509647A CN114610799A CN 114610799 A CN114610799 A CN 114610799A CN 202210509647 A CN202210509647 A CN 202210509647A CN 114610799 A CN114610799 A CN 114610799A
Authority
CN
China
Prior art keywords
environmental
quality inspection
event
hazard
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210509647.1A
Other languages
English (en)
Other versions
CN114610799B (zh
Inventor
张瑜
周波
张巍
秦骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wm Environmental Molecular Diagnosis Co ltd
Original Assignee
Wm Environmental Molecular Diagnosis Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wm Environmental Molecular Diagnosis Co ltd filed Critical Wm Environmental Molecular Diagnosis Co ltd
Priority to CN202210509647.1A priority Critical patent/CN114610799B/zh
Publication of CN114610799A publication Critical patent/CN114610799A/zh
Application granted granted Critical
Publication of CN114610799B publication Critical patent/CN114610799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Abstract

本发明提供了基于环境监测的数据处理方法、设备及存储介质，可以利用环境质检知识关系网，从待进行监测的生态环境系统中确定存在环境危害趋势事件的初筛环境监测数据集，保障了初筛环境监测数据集的确定思路是基于环境危害趋势事件的联动影响范围和危害属性实现的，可以提高初筛环境监测数据集的精度和可信度，这样能够基于每个初筛环境监测数据集对环境危害趋势事件进行准确有效的跟踪分析，以此可以保障获得的跟踪分析报告的精度和完整性，还可以利用类似的跟踪分析思路而非机械式的处理思路来实现对这些环境危害趋势事件的跟踪分析，提升了环境危害趋势事件的跟踪分析的智能化程度和灵活性，也可以保障环境危害趋势事件的跟踪分析的效率。

Description

基于环境监测的数据处理方法、设备及存储介质
技术领域
本发明涉及环境监测技术领域，特别涉及基于环境监测的数据处理方法、设备及存储介质。
背景技术
环境监测是为了特定目的，按照预先设计的时间和空间，用可以比较的环境信息和资料收集的方法，对一种或多种环境要素或指标进行间断或连续地观察、测定、分析其变化及对环境影响的过程。现目前，环境监测的各项要求越来越严格，这也给相关的监测技术带来了不小的挑战，比如，准确可靠的环境灾害事件分析一直是当下难以攻克的其中一个难点。
发明内容
为改善相关技术中存在的技术问题，本发明提供了基于环境监测的数据处理方法、设备及存储介质。
本发明提供了一种基于环境监测的数据处理方法，应用于数据处理设备，所述方法至少包括：
对待进行监测的生态环境系统的可视化监测指标日志进行环境质检知识挖掘，获得环境质检知识关系网；
通过所述环境质检知识关系网，对所述可视化监测指标日志进行环境危害趋势事件的危害标签识别以及事件影响分布识别，确定所述待进行监测的生态环境系统中的环境危害趋势事件的不少于一个初筛环境监测数据集；
针对每个所述初筛环境监测数据集，对所述环境危害趋势事件进行跟踪分析，获得所述环境危害趋势事件的跟踪分析报告。
对于一种可示性实施例而言，所述对待进行监测的生态环境系统的可视化监测指标日志进行环境质检知识挖掘，获得环境质检知识关系网，包括：
对所述可视化监测指标日志进行知识抽取，获得不少于一个第一质检细节知识单元；
在所述可视化监测指标日志中确定不少于一个以所述第一质检细节知识单元为基准的知识抽取指示框；
对每个所述知识抽取指示框进行环境质检知识挖掘，获得不少于一个所述知识抽取指示框的环境质检要素字段；
利用每个所述知识抽取指示框的环境质检要素字段，分别确定所述可视化监测指标日志包含的每个生态监测项目的环境质检要素字段，作为所述环境质检知识关系网。
对于一种可示性实施例而言，所述通过所述环境质检知识关系网，对所述可视化监测指标日志进行环境危害趋势事件的危害标签识别以及事件影响分布识别，确定所述待进行监测的生态环境系统中的环境危害趋势事件的不少于一个初筛环境监测数据集，包括：
通过所述环境质检知识关系网，对所述可视化监测指标日志进行环境危害趋势事件的危害标签识别，获得危害标签识别信息，其中，所述危害标签识别信息旨在反映所述可视化监测指标日志包含的生态监测项目所对应的环境危害趋势事件的危害属性；
通过所述环境质检知识关系网，对所述可视化监测指标日志进行环境危害趋势事件的事件影响分布识别，获得事件影响分布识别信息，其中，所述事件影响分布识别信息旨在反映所述可视化监测指标日志中环境危害趋势事件所对应的生态监测项目的联动影响范围；
通过所述危害标签识别信息和所述事件影响分布识别信息，确定所述待进行监测的生态环境系统中包括所述环境危害趋势事件的不少于一个初筛环境监测数据集。
对于一种可示性实施例而言，所述通过所述环境质检知识关系网，对所述可视化监测指标日志进行危害标签识别，获得危害标签识别信息，包括：
将所述环境质检知识关系网通过危害标签识别模型进行处理，获得所述可视化监测指标日志包含的每个生态监测项目所对应的环境危害趋势事件的危害属性。
对于一种可示性实施例而言，所述通过所述环境质检知识关系网，对所述可视化监测指标日志进行事件影响分布识别，获得事件影响分布识别信息，包括：
将所述环境质检知识关系网通过事件影响分布识别模型进行处理，获得所述可视化监测指标日志包含的每个生态监测项目与每个设定跟踪分析线程之间的关联评价值，其中，所述设定跟踪分析线程的数目为一个或一个以上；
通过所述关联评价值，获得每个所述生态监测项目指向的跟踪分析线程，作为所述事件影响分布识别信息。
对于一种可示性实施例而言，所述事件影响分布识别模型通过模型配置集调试，所述模型配置集包括可视化监测指标日志范例、环境危害趋势事件在所述可视化监测指标日志范例中的第一联动影响范围以及与所述环境危害趋势事件的危害属性对应的不少于一个第一环境质检要素字段，所述调试包括：
基于所述可视化监测指标日志范例和原始事件影响分布识别模型，获得第一事件影响分布识别信息；
通过所述第一事件影响分布识别信息与所述第一联动影响范围之间的比较结果，获得第一模型代价函数；
通过所述可视化监测指标日志范例包含的每个生态监测项目的环境质检要素字段，与每个所述第一环境质检要素字段之间的余弦相似度，获得第二模型代价函数；
通过所述第一模型代价函数和/或第二模型代价函数，对所述原始事件影响分布识别模型进行调试。
对于一种可示性实施例而言，所述通过所述危害标签识别信息和所述事件影响分布识别信息，确定所述待进行监测的生态环境系统中包括所述环境危害趋势事件的不少于一个初筛环境监测数据集，包括：
获得所述事件影响分布识别信息包含的每个跟踪分析线程；
利用每个所述跟踪分析线程包含的生态监测项目的危害标签识别信息，获得每个所述跟踪分析线程的识别置信度；
根据所述识别置信度高于置信度限值的跟踪分析线程，确定所述环境危害趋势事件的不少于一个初筛环境监测数据集。
对于一种可示性实施例而言，在所述针对每个所述初筛环境监测数据集，对所述环境危害趋势事件进行跟踪分析，获得所述环境危害趋势事件的跟踪分析报告之前，还包括：
确定每个所述初筛环境监测数据集包含的生态监测项目对应的局部监测指标记录；
获得每个所述局部监测指标记录包含的每个生态监测项目的定位标识，作为所述局部监测指标记录的相对分布标签；
获得每个所述局部监测指标记录包含的每个生态监测项目的环境质检要素字段，作为所述局部监测指标记录的环境质检要素字段；
利用每个所述局部监测指标记录的相对分布标签和每个所述局部监测指标记录的环境质检要素字段，获得每个所述局部监测指标记录的环境质检要素列表。
对于一种可示性实施例而言，所述针对每个所述初筛环境监测数据集，对所述环境危害趋势事件进行跟踪分析，获得所述环境危害趋势事件的跟踪分析报告，包括：
对第一初筛环境监测数据集包含的局部监测指标记录进行知识抽取，获得所述第一初筛环境监测数据集包含的不少于一个第二质检细节知识单元，其中，所述第一初筛环境监测数据集为所述不少于一个初筛环境监测数据集中的其中一个初筛环境监测数据集；
通过所述第一初筛环境监测数据集包含的局部监测指标记录的环境质检要素列表，获得所述第一初筛环境监测数据集包含的第二质检细节知识单元的衍生环境质检要素字段；
通过要素字段整理模型，将所述第一初筛环境监测数据集包含的第二质检细节知识单元的衍生环境质检要素字段进行整理，获得所述第一初筛环境监测数据集的衍生环境质检要素集；
将所述第一初筛环境监测数据集的衍生环境质检要素集作为所述第一初筛环境监测数据集的所述环境危害趋势事件的跟踪分析报告。
对于一种可示性实施例而言，通过所述第一初筛环境监测数据集包含的局部监测指标记录的环境质检要素列表，获得所述第一初筛环境监测数据集包含的第二质检细节知识单元的衍生环境质检要素字段，包括：
通过所述第一初筛环境监测数据集包含的局部监测指标记录的环境质检要素列表，对所述第二质检细节知识单元进行环境质检知识挖掘，获得每个所述第二质检细节知识单元的原始环境质检要素字段；
将每个所述第二质检细节知识单元的原始环境质检要素字段进行字段抽取，获得所述第一初筛环境监测数据集的目标环境质检要素字段；
分别将每个所述第二质检细节知识单元的原始环境质检要素字段与所述目标环境质检要素字段进行组合，获得每个所述第二质检细节知识单元的预测型环境质检要素字段；
利用每个所述第二质检细节知识单元的预测型环境质检要素字段，获得每个所述第二质检细节知识单元的环境危害模拟权重；
分别将每个所述第二质检细节知识单元的环境危害模拟权重与所述第二质检细节知识单元的原始环境质检要素字段进行加权，获得每个所述第二质检细节知识单元的衍生环境质检要素字段。
本发明还提供了一种数据处理设备，包括处理器和存储器；所述处理器和所述存储器通信连接，所述处理器用于从所述存储器中读取计算机程序并执行，以实现上述方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在运行时实现上述的方法。
本发明的实施例提供的技术方案可以包括以下有益效果。
对于本发明实施例而言，通过对待进行监测的生态环境系统的可视化监测指标日志进行环境质检知识挖掘来获得环境质检知识关系网，从而利用环境质检知识关系网，通过对可视化监测指标日志进行环境危害趋势事件的危害标签识别以及事件影响分布识别，从而确定环境危害趋势事件的不少于一个初筛环境监测数据集，并在每个初筛环境监测数据集中对环境危害趋势事件进行跟踪分析获得所述环境危害趋势事件的跟踪分析报告。
基于以上技术方案，可以利用环境质检知识关系网，通过危害标签识别结合事件影响分布识别从待进行监测的生态环境系统中确定不少于一个存在环境危害趋势事件的初筛环境监测数据集，保障了初筛环境监测数据集的确定思路是基于环境危害趋势事件的联动影响范围和危害属性实现的，可以提高初筛环境监测数据集的精度和可信度，这样能够基于每个初筛环境监测数据集对环境危害趋势事件进行准确有效的跟踪分析，以此获得所述环境危害趋势事件的跟踪分析报告，不仅可以保障所述环境危害趋势事件的跟踪分析报告的精度和完整性，还可以在生态环境系统中存在不同的环境危害趋势事件的前提下，利用类似的跟踪分析思路而非机械式的处理思路来实现对这些环境危害趋势事件的跟踪分析，提升了环境危害趋势事件的跟踪分析的智能化程度和灵活性，也可以保障环境危害趋势事件的跟踪分析的效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。
图1是本发明实施例提供的一种数据处理设备的硬件结构示意图。
图2是本发明实施例提供的一种基于环境监测的数据处理方法的流程示意图。
图3是本发明实施例提供的一种基于环境监测的数据处理装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本发明实施例所提供的方法实施例可以在数据处理设备、计算机设备或者类似的运算装置中执行。以运行在数据处理设备上为例，图1是本发明实施例的实施基于环境监测的数据处理方法的数据处理设备的硬件结构框图。如图1所示，数据处理设备10可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，可选地，上述数据处理设备10还可以包括用于通信功能的传输装置106。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述数据处理设备10的结构造成限定。例如，数据处理设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的基于环境监测的数据处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至数据处理设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括数据处理设备10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
为解决背景技术存在的技术问题，请结合图2，图2是本发明实施例所提供的一种基于环境监测的数据处理方法的流程示意图，应用于数据处理设备，该方法具体可以包括如下步骤所描述的技术方案。
Step101，对待进行监测的生态环境系统的可视化监测指标日志进行环境质检知识挖掘，获得环境质检知识关系网。
在本发明实施例中，待进行监测的生态环境系统可以是事先选定的一个地区，比如XXX山区、XXX河流区、XXX峡谷、XXX平原等，在此不做限定。可视化监测指标日志用于记录生态环境系统的各类监测指标（包括但不限于物理环境指标和化学环境指标等），进一步地，可视化监测指标日志可以是图文结合形式或者图文声结合形式，在此也不作限定。
在上述内容的基础上，环境质检知识可以理解为可视化监测指标日志对应的环境数据质量检测特征，因而环境质检知识挖掘可以理解为特征提取或者特征挖掘，而环境质检知识关系网则可以作特征图、特征集或者特征库理解。
对于一种可能的技术方案而言，Step101所记录的对待进行监测的生态环境系统的可视化监测指标日志进行环境质检知识挖掘，获得环境质检知识关系网，可以通过以下Step1011-Step1014实现。
Step1011，对所述可视化监测指标日志进行知识抽取，获得不少于一个第一质检细节知识单元。
举例而言，质检细节知识单元可以理解为一个特征单元或者特征向量。
Step1012，在所述可视化监测指标日志中确定不少于一个以所述第一质检细节知识单元为基准的知识抽取指示框。
在上述内容的基础上，知识抽取指示框可以理解为知识抽取范围或者知识抽取区间，在该知识抽取指示框内的质检细节知识单元可以作为目标单元被挖掘出来。
Step1013，对每个所述知识抽取指示框进行环境质检知识挖掘，获得不少于一个所述知识抽取指示框的环境质检要素字段。
在本发明实施例中，环境质检要素字段可以理解为知识抽取指示框中的质检细节知识单元的集合，其表现形式也可以是特征向量。
Step1014，利用每个所述知识抽取指示框的环境质检要素字段，分别确定所述可视化监测指标日志包含的每个生态监测项目的环境质检要素字段，作为所述环境质检知识关系网。
在本发明实施例中，生态监测项目可以基于不同的监测需求或者监测指标指定，比如地质沉降项目、降雨量项目、空气湿度项目等。
应用Step1011-Step1014时，可以基于质检细节知识单元的集合思路进行局部范围的知识挖掘，从而保障得到的环境质检要素字段的类内关联性和类间部分独立性，这样能够得到完整准确的环境质检知识关系网。
Step102，通过所述环境质检知识关系网，对所述可视化监测指标日志进行环境危害趋势事件的危害标签识别以及事件影响分布识别，确定所述待进行监测的生态环境系统中的环境危害趋势事件的不少于一个初筛环境监测数据集。
在本发明实施例中，环境危害趋势事件可以包括不同类型的灾害事件，危害标签对应于事件类别，事件影响分布对应于环境危害趋势事件的影响范围或者影响区间，还可以理解为环境危害趋势事件在可视化监测指标日志中的数据层面的映射位置（比如那些日志内容对应于该事件），基于此，初筛环境监测数据集可以用于对环境危害趋势事件进行数据信息层面的记录，因此不同的事件可以对应不同的初筛环境监测数据集，便于后续进行针对性的事件跟踪分析。
可选的，Step102通过所述环境质检知识关系网，对所述可视化监测指标日志进行环境危害趋势事件的危害标签识别以及事件影响分布识别，确定所述待进行监测的生态环境系统中的环境危害趋势事件的不少于一个初筛环境监测数据集，可以通过以下Step1021-Step1023所记录的内容实现。
Step1021，通过所述环境质检知识关系网，对所述可视化监测指标日志进行环境危害趋势事件的危害标签识别，获得危害标签识别信息。
在本发明实施例中，所述危害标签识别信息旨在反映所述可视化监测指标日志包含的生态监测项目所对应的环境危害趋势事件的危害属性/类别。
Step1022，通过所述环境质检知识关系网，对所述可视化监测指标日志进行环境危害趋势事件的事件影响分布识别，获得事件影响分布识别信息。
在本发明实施例中，所述事件影响分布识别信息旨在反映所述可视化监测指标日志中环境危害趋势事件所对应的生态监测项目的联动影响范围（比如次生灾害影响等）。
Step1023，通过所述危害标签识别信息和所述事件影响分布识别信息，确定所述待进行监测的生态环境系统中包括所述环境危害趋势事件的不少于一个初筛环境监测数据集。
应用以上Step1021-Step1023时，可以从危害类型和危害影响属性层面综合定位环境危害趋势事件的初筛环境监测数据集，从而确保初筛环境监测数据集的完整性和可信度。
对于一种可能的技术方案而言，Step1021所记录的通过所述环境质检知识关系网，对所述可视化监测指标日志进行危害标签识别，获得危害标签识别信息，可以包括如下内容：将所述环境质检知识关系网通过危害标签识别模型进行处理，获得所述可视化监测指标日志包含的每个生态监测项目所对应的环境危害趋势事件的危害属性。
在本发明实施例中，危害标签识别模型可以是AI模型，比如CNN、RNN等模型。如此一来，可以利用人工智能技术准确快速地获得环境危害趋势事件的危害属性。
对于一种可能的技术方案而言，Step1022所记录的所述通过所述环境质检知识关系网，对所述可视化监测指标日志进行事件影响分布识别，获得事件影响分布识别信息，可以包括以下Step10221和Step10222。
Step10221，将所述环境质检知识关系网通过事件影响分布识别模型进行处理，获得所述可视化监测指标日志包含的每个生态监测项目与每个设定跟踪分析线程之间的关联评价值，其中，所述设定跟踪分析线程的数目为一个或一个以上。
在本发明实施例中，设定跟踪分析线程可以是针对不同生态监测项目配置的跟踪窗口，用于对每个生态监测项目的相关数据信息进行持续性跟踪分析，而该关联评价值可以理解为匹配度或者相关性系数。
Step10222，通过所述关联评价值，获得每个所述生态监测项目指向的跟踪分析线程，作为所述事件影响分布识别信息。
可以理解，实施以上Step10221和Step10222时，能够基于关联评价值进行跟踪分析线程的确定，从而依据跟踪分析线程对应的数据集的持续性分析结果准确完整地得到事件影响分布识别信息。
对于一种可能的技术方案而言，所述事件影响分布识别模型通过模型配置集调试，所述模型配置集包括可视化监测指标日志范例、环境危害趋势事件在所述可视化监测指标日志范例中的第一联动影响范围以及与所述环境危害趋势事件的危害属性对应的不少于一个第一环境质检要素字段，所述调试可以包括以下Step201-Step204所记录的方案。
Step201，基于所述可视化监测指标日志范例和原始事件影响分布识别模型，获得第一事件影响分布识别信息。
Step202，通过所述第一事件影响分布识别信息与所述第一联动影响范围之间的比较结果，获得第一模型代价函数。
Step203，通过所述可视化监测指标日志范例包含的每个生态监测项目的环境质检要素字段，与每个所述第一环境质检要素字段之间的余弦相似度，获得第二模型代价函数。
Step204，通过所述第一模型代价函数和/或第二模型代价函数，对所述原始事件影响分布识别模型进行调试。
在本发明实施例中，模型代价函数可以理解为网络损失。
实施Step201-Step204所记录的方案，通过不同的模型代价函数对事件影响分布识别模型进行联合训练，能够保障事件影响分布识别模型的模型质量，提高事件影响分布识别模型的鲁棒性。
对于一种可能的技术方案而言，Step1023所述通过所述危害标签识别信息和所述事件影响分布识别信息，确定所述待进行监测的生态环境系统中包括所述环境危害趋势事件的不少于一个初筛环境监测数据集，可以包括以下Step10231-Step10233。
Step10231，获得所述事件影响分布识别信息包含的每个跟踪分析线程。
Step10232，利用每个所述跟踪分析线程包含的生态监测项目的危害标签识别信息，获得每个所述跟踪分析线程的识别置信度。
Step10233，根据所述识别置信度高于置信度限值的跟踪分析线程，确定所述环境危害趋势事件的不少于一个初筛环境监测数据集。
在本发明实施例中，识别置信度可以理解为识别评分或者识别分数，从而可以基于置信度进行述职层面的分析，以准确定位环境危害趋势事件的不少于一个初筛环境监测数据集。
Step103，针对每个所述初筛环境监测数据集，对所述环境危害趋势事件进行跟踪分析，获得所述环境危害趋势事件的跟踪分析报告。
在本发明实施例中，跟踪分析可以理解为对环境危害趋势事件进行预测处理，比如预测可能出现的灾害形式、影响情况以及后续的救援方案定制信息等。
对于一种可能的技术方案而言，在所述针对每个所述初筛环境监测数据集，对所述环境危害趋势事件进行跟踪分析，获得所述环境危害趋势事件的跟踪分析报告之前，该方法还可以包括Step301-Step304所记录的技术方案。
Step301，确定每个所述初筛环境监测数据集包含的生态监测项目对应的局部监测指标记录。
举例而言，局部监测指标记录可以是日志中的一部分或者初筛环境监测数据集中的一部分。
Step302，获得每个所述局部监测指标记录包含的每个生态监测项目的定位标识，作为所述局部监测指标记录的相对分布标签。
举例而言，定位标识可以理解为生态监测项目对应的信息的位置标签，相对分布标签也可作类似理解。
Step303，获得每个所述局部监测指标记录包含的每个生态监测项目的环境质检要素字段，作为所述局部监测指标记录的环境质检要素字段。
Step304，利用每个所述局部监测指标记录的相对分布标签和每个所述局部监测指标记录的环境质检要素字段，获得每个所述局部监测指标记录的环境质检要素列表。
实施Step301-Step304所记录的方案，通过结合定位标识进行环境质检要素列表的确定，能够保障环境质检要素列表的准确性，避免环境质检要素列表中的环境质检要素字段由于定位偏差而出现混乱。
进一步地，对于一种可能的技术方案而言，Step103所记录的针对每个所述初筛环境监测数据集，对所述环境危害趋势事件进行跟踪分析，获得所述环境危害趋势事件的跟踪分析报告，可以包括以下Step1031-Step1034。
Step1031，对第一初筛环境监测数据集包含的局部监测指标记录进行知识抽取，获得所述第一初筛环境监测数据集包含的不少于一个第二质检细节知识单元，其中，所述第一初筛环境监测数据集为所述不少于一个初筛环境监测数据集中的其中一个初筛环境监测数据集。
Step1032，通过所述第一初筛环境监测数据集包含的局部监测指标记录的环境质检要素列表，获得所述第一初筛环境监测数据集包含的第二质检细节知识单元的衍生环境质检要素字段。
举例而言，衍生环境质检要素字段可以理解为不同关注层面的环境质检要素字段，也可以理解为潜在的、关联的环境质检要素字段。
Step1033，通过要素字段整理模型，将所述第一初筛环境监测数据集包含的第二质检细节知识单元的衍生环境质检要素字段进行整理，获得所述第一初筛环境监测数据集的衍生环境质检要素集。
可以理解的是，通过要素字段整理模型（比如特征融合模型）对衍生环境质检要素字段进行整理，能够确保衍生环境质检要素集的完整性，避免部分要素细节的丢失。
Step1034，将所述第一初筛环境监测数据集的衍生环境质检要素集作为所述第一初筛环境监测数据集的所述环境危害趋势事件的跟踪分析报告。
应用以上Step1031-Step1034时，可以对环境质检要素进行衍生分析并整合，由于衍生分析包括对潜在要素的挖掘和前瞻性要素的预测处理，因而能够保障环境危害趋势事件的跟踪分析报告的准确性和可信度。
对于一种可能的技术方案而言，Step1032所记录的通过所述第一初筛环境监测数据集包含的局部监测指标记录的环境质检要素列表，获得所述第一初筛环境监测数据集包含的第二质检细节知识单元的衍生环境质检要素字段，可以包括以下Step10321-Step10325所记录的内容。
Step10321，通过所述第一初筛环境监测数据集包含的局部监测指标记录的环境质检要素列表，对所述第二质检细节知识单元进行环境质检知识挖掘，获得每个所述第二质检细节知识单元的原始环境质检要素字段。
Step10322，将每个所述第二质检细节知识单元的原始环境质检要素字段进行字段抽取，获得所述第一初筛环境监测数据集的目标环境质检要素字段。
Step10323，分别将每个所述第二质检细节知识单元的原始环境质检要素字段与所述目标环境质检要素字段进行组合，获得每个所述第二质检细节知识单元的预测型环境质检要素字段。
举例而言，预测型环境质检要素字段可以是基于相关环境质检要素字段扩展或者预测得到的，用于进行后续的要素字段衍生分析。
Step10324，利用每个所述第二质检细节知识单元的预测型环境质检要素字段，获得每个所述第二质检细节知识单元的环境危害模拟权重。
举例而言，环境危害模拟权重可以理解为预测系数或者危害等级指数，用于评估不同质检细节知识单元对应的灾害事件的环境数据指标的重要性。
Step10325，分别将每个所述第二质检细节知识单元的环境危害模拟权重与所述第二质检细节知识单元的原始环境质检要素字段进行加权，获得每个所述第二质检细节知识单元的衍生环境质检要素字段。
应用以上Step10321-Step10325时，通过考虑环境危害模拟权重，能够在对原始环境质检要素字段加权时充分关注灾害事件对应的环境数据指标的重要性，从而保障衍生环境质检要素字段的可信度以及与实际预测情况的适配性。
可以理解的是，基于以上技术方案，可以利用环境质检知识关系网，通过危害标签识别结合事件影响分布识别从待进行监测的生态环境系统中确定不少于一个存在环境危害趋势事件的初筛环境监测数据集，保障了初筛环境监测数据集的确定思路是基于环境危害趋势事件的联动影响范围和危害属性实现的，可以提高初筛环境监测数据集的精度和可信度，这样能够基于每个初筛环境监测数据集对环境危害趋势事件进行准确有效的跟踪分析，以此获得所述环境危害趋势事件的跟踪分析报告，不仅可以保障所述环境危害趋势事件的跟踪分析报告的精度和完整性，还可以在生态环境系统中存在不同的环境危害趋势事件的前提下，利用类似的跟踪分析思路而非机械式的处理思路来实现对这些环境危害趋势事件的跟踪分析，提升了环境危害趋势事件的跟踪分析的智能化程度和灵活性，也可以保障环境危害趋势事件的跟踪分析的效率。
在上述基础上，请结合图3，本发明还提供了一种基于环境监测的数据处理装置30框图，所述装置包括以下功能模块。
指标日志挖掘模块31，用于对待进行监测的生态环境系统的可视化监测指标日志进行环境质检知识挖掘，获得环境质检知识关系网。
趋势事件识别模块32，用于通过所述环境质检知识关系网，对所述可视化监测指标日志进行环境危害趋势事件的危害标签识别以及事件影响分布识别，确定所述待进行监测的生态环境系统中的环境危害趋势事件的不少于一个初筛环境监测数据集。
环境危害跟踪模块33，用于针对每个所述初筛环境监测数据集，对所述环境危害趋势事件进行跟踪分析，获得所述环境危害趋势事件的跟踪分析报告。
进一步地，还提供了一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种基于环境监测的数据处理方法，其特征在于，应用于数据处理设备，所述方法至少包括：
对待进行监测的生态环境系统的可视化监测指标日志进行环境质检知识挖掘，获得环境质检知识关系网；
通过所述环境质检知识关系网，对所述可视化监测指标日志进行环境危害趋势事件的危害标签识别以及事件影响分布识别，确定所述待进行监测的生态环境系统中的环境危害趋势事件的不少于一个初筛环境监测数据集；
针对每个所述初筛环境监测数据集，对所述环境危害趋势事件进行跟踪分析，获得所述环境危害趋势事件的跟踪分析报告。
2.如权利要求1所述的方法，其特征在于，所述对待进行监测的生态环境系统的可视化监测指标日志进行环境质检知识挖掘，获得环境质检知识关系网，包括：
对所述可视化监测指标日志进行知识抽取，获得不少于一个第一质检细节知识单元；
在所述可视化监测指标日志中确定不少于一个以所述第一质检细节知识单元为基准的知识抽取指示框；
对每个所述知识抽取指示框进行环境质检知识挖掘，获得不少于一个所述知识抽取指示框的环境质检要素字段；
利用每个所述知识抽取指示框的环境质检要素字段，分别确定所述可视化监测指标日志包含的每个生态监测项目的环境质检要素字段，作为所述环境质检知识关系网。
3.如权利要求1所述的方法，其特征在于，所述通过所述环境质检知识关系网，对所述可视化监测指标日志进行环境危害趋势事件的危害标签识别以及事件影响分布识别，确定所述待进行监测的生态环境系统中的环境危害趋势事件的不少于一个初筛环境监测数据集，包括：
通过所述环境质检知识关系网，对所述可视化监测指标日志进行环境危害趋势事件的危害标签识别，获得危害标签识别信息，其中，所述危害标签识别信息旨在反映所述可视化监测指标日志包含的生态监测项目所对应的环境危害趋势事件的危害属性；
通过所述环境质检知识关系网，对所述可视化监测指标日志进行环境危害趋势事件的事件影响分布识别，获得事件影响分布识别信息，其中，所述事件影响分布识别信息旨在反映所述可视化监测指标日志中环境危害趋势事件所对应的生态监测项目的联动影响范围；
通过所述危害标签识别信息和所述事件影响分布识别信息，确定所述待进行监测的生态环境系统中包括所述环境危害趋势事件的不少于一个初筛环境监测数据集；
其中，所述通过所述环境质检知识关系网，对所述可视化监测指标日志进行危害标签识别，获得危害标签识别信息，包括：将所述环境质检知识关系网通过危害标签识别模型进行处理，获得所述可视化监测指标日志包含的每个生态监测项目所对应的环境危害趋势事件的危害属性。
4.如权利要求3所述的方法，其特征在于，所述通过所述环境质检知识关系网，对所述可视化监测指标日志进行事件影响分布识别，获得事件影响分布识别信息，包括：
将所述环境质检知识关系网通过事件影响分布识别模型进行处理，获得所述可视化监测指标日志包含的每个生态监测项目与每个设定跟踪分析线程之间的关联评价值，其中，所述设定跟踪分析线程的数目为一个或一个以上；
通过所述关联评价值，获得每个所述生态监测项目指向的跟踪分析线程，作为所述事件影响分布识别信息。
5.如权利要求4中所述的方法，其特征在于，所述事件影响分布识别模型通过模型配置集调试，所述模型配置集包括可视化监测指标日志范例、环境危害趋势事件在所述可视化监测指标日志范例中的第一联动影响范围以及与所述环境危害趋势事件的危害属性对应的不少于一个第一环境质检要素字段，所述调试包括：
基于所述可视化监测指标日志范例和原始事件影响分布识别模型，获得第一事件影响分布识别信息；
通过所述第一事件影响分布识别信息与所述第一联动影响范围之间的比较结果，获得第一模型代价函数；
通过所述可视化监测指标日志范例包含的每个生态监测项目的环境质检要素字段，与每个所述第一环境质检要素字段之间的余弦相似度，获得第二模型代价函数；
通过所述第一模型代价函数和/或第二模型代价函数，对所述原始事件影响分布识别模型进行调试；
其中，所述通过所述危害标签识别信息和所述事件影响分布识别信息，确定所述待进行监测的生态环境系统中包括所述环境危害趋势事件的不少于一个初筛环境监测数据集，包括：
获得所述事件影响分布识别信息包含的每个跟踪分析线程；
利用每个所述跟踪分析线程包含的生态监测项目的危害标签识别信息，获得每个所述跟踪分析线程的识别置信度；
根据所述识别置信度高于置信度限值的跟踪分析线程，确定所述环境危害趋势事件的不少于一个初筛环境监测数据集。
6.如权利要求5所述的方法，其特征在于，在所述针对每个所述初筛环境监测数据集，对所述环境危害趋势事件进行跟踪分析，获得所述环境危害趋势事件的跟踪分析报告之前，还包括：
确定每个所述初筛环境监测数据集包含的生态监测项目对应的局部监测指标记录；
获得每个所述局部监测指标记录包含的每个生态监测项目的定位标识，作为所述局部监测指标记录的相对分布标签；
获得每个所述局部监测指标记录包含的每个生态监测项目的环境质检要素字段，作为所述局部监测指标记录的环境质检要素字段；
利用每个所述局部监测指标记录的相对分布标签和每个所述局部监测指标记录的环境质检要素字段，获得每个所述局部监测指标记录的环境质检要素列表。
7.如权利要求1所述的方法，其特征在于，所述针对每个所述初筛环境监测数据集，对所述环境危害趋势事件进行跟踪分析，获得所述环境危害趋势事件的跟踪分析报告，包括：
对第一初筛环境监测数据集包含的局部监测指标记录进行知识抽取，获得所述第一初筛环境监测数据集包含的不少于一个第二质检细节知识单元，其中，所述第一初筛环境监测数据集为所述不少于一个初筛环境监测数据集中的其中一个初筛环境监测数据集；
通过所述第一初筛环境监测数据集包含的局部监测指标记录的环境质检要素列表，获得所述第一初筛环境监测数据集包含的第二质检细节知识单元的衍生环境质检要素字段；
通过要素字段整理模型，将所述第一初筛环境监测数据集包含的第二质检细节知识单元的衍生环境质检要素字段进行整理，获得所述第一初筛环境监测数据集的衍生环境质检要素集；
将所述第一初筛环境监测数据集的衍生环境质检要素集作为所述第一初筛环境监测数据集的所述环境危害趋势事件的跟踪分析报告。
8.如权利要求7所述的方法，其特征在于，通过所述第一初筛环境监测数据集包含的局部监测指标记录的环境质检要素列表，获得所述第一初筛环境监测数据集包含的第二质检细节知识单元的衍生环境质检要素字段，包括：
通过所述第一初筛环境监测数据集包含的局部监测指标记录的环境质检要素列表，对所述第二质检细节知识单元进行环境质检知识挖掘，获得每个所述第二质检细节知识单元的原始环境质检要素字段；
将每个所述第二质检细节知识单元的原始环境质检要素字段进行字段抽取，获得所述第一初筛环境监测数据集的目标环境质检要素字段；
分别将每个所述第二质检细节知识单元的原始环境质检要素字段与所述目标环境质检要素字段进行组合，获得每个所述第二质检细节知识单元的预测型环境质检要素字段；
利用每个所述第二质检细节知识单元的预测型环境质检要素字段，获得每个所述第二质检细节知识单元的环境危害模拟权重；
分别将每个所述第二质检细节知识单元的环境危害模拟权重与所述第二质检细节知识单元的原始环境质检要素字段进行加权，获得每个所述第二质检细节知识单元的衍生环境质检要素字段。
9.一种数据处理设备，其特征在于，包括处理器和存储器；所述处理器和所述存储器通信连接，所述处理器用于从所述存储器中读取计算机程序并执行，以实现上述权利要求1-8任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序在运行时实现上述权利要求1-8任一项所述的方法。
CN202210509647.1A 2022-05-11 2022-05-11 基于环境监测的数据处理方法、设备及存储介质 Active CN114610799B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210509647.1A CN114610799B (zh) 2022-05-11 2022-05-11 基于环境监测的数据处理方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210509647.1A CN114610799B (zh) 2022-05-11 2022-05-11 基于环境监测的数据处理方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114610799A true CN114610799A (zh) 2022-06-10
CN114610799B CN114610799B (zh) 2022-07-22

Family

ID=81870398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210509647.1A Active CN114610799B (zh) 2022-05-11 2022-05-11 基于环境监测的数据处理方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114610799B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115130926A (zh) * 2022-08-26 2022-09-30 未名环境分子诊断（常熟）有限公司 应用人工智能的环境监测大数据分析方法及电子设备
CN115168895A (zh) * 2022-07-08 2022-10-11 哈尔滨汇谷科技有限公司 结合人工智能的用户信息威胁分析方法及服务器

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958322A (zh) * 2017-10-09 2018-04-24 中国电子科技集团公司第二十八研究所 一种城市网络空间综合治理系统
US10237294B1 (en) * 2017-01-30 2019-03-19 Splunk Inc. Fingerprinting entities based on activity in an information technology environment
CN110188979A (zh) * 2019-04-15 2019-08-30 广州智联研究院有限公司 水行业应急决策生成方法及装置
CN111275333A (zh) * 2020-01-20 2020-06-12 江苏神彩科技股份有限公司 污染数据处理方法和装置
CN111340095A (zh) * 2020-02-21 2020-06-26 谢国宇 基于深度学习的环境监测数据质量控制方法
CN112215438A (zh) * 2020-11-09 2021-01-12 广东新禾道信息科技有限公司 一种应急灾害预警分析数据处理方法及系统
US20210278564A1 (en) * 2020-03-05 2021-09-09 International Business Machines Corporation Dynamic flood risk data management
CN113450545A (zh) * 2021-08-31 2021-09-28 广东新禾道信息科技有限公司 自然灾害预警系统、方法、云平台及可储存介质
CN113641831A (zh) * 2021-08-16 2021-11-12 中国科学院空天信息创新研究院 基于知识图谱面向多源离散数据的林火蔓延趋势预测方法
CN114385611A (zh) * 2021-12-28 2022-04-22 北京慧辰资道资讯股份有限公司 一种基于人工智能算法和知识图谱的降水预测方法和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10237294B1 (en) * 2017-01-30 2019-03-19 Splunk Inc. Fingerprinting entities based on activity in an information technology environment
CN107958322A (zh) * 2017-10-09 2018-04-24 中国电子科技集团公司第二十八研究所 一种城市网络空间综合治理系统
CN110188979A (zh) * 2019-04-15 2019-08-30 广州智联研究院有限公司 水行业应急决策生成方法及装置
CN111275333A (zh) * 2020-01-20 2020-06-12 江苏神彩科技股份有限公司 污染数据处理方法和装置
CN111340095A (zh) * 2020-02-21 2020-06-26 谢国宇 基于深度学习的环境监测数据质量控制方法
US20210278564A1 (en) * 2020-03-05 2021-09-09 International Business Machines Corporation Dynamic flood risk data management
CN112215438A (zh) * 2020-11-09 2021-01-12 广东新禾道信息科技有限公司 一种应急灾害预警分析数据处理方法及系统
CN113641831A (zh) * 2021-08-16 2021-11-12 中国科学院空天信息创新研究院 基于知识图谱面向多源离散数据的林火蔓延趋势预测方法
CN113450545A (zh) * 2021-08-31 2021-09-28 广东新禾道信息科技有限公司 自然灾害预警系统、方法、云平台及可储存介质
CN114385611A (zh) * 2021-12-28 2022-04-22 北京慧辰资道资讯股份有限公司 一种基于人工智能算法和知识图谱的降水预测方法和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115168895A (zh) * 2022-07-08 2022-10-11 哈尔滨汇谷科技有限公司 结合人工智能的用户信息威胁分析方法及服务器
CN115168895B (zh) * 2022-07-08 2023-12-12 深圳市芒果松科技有限公司 结合人工智能的用户信息威胁分析方法及服务器
CN115130926A (zh) * 2022-08-26 2022-09-30 未名环境分子诊断（常熟）有限公司 应用人工智能的环境监测大数据分析方法及电子设备
CN115130926B (zh) * 2022-08-26 2022-11-15 未名环境分子诊断（常熟）有限公司 应用人工智能的环境监测大数据分析方法及电子设备

Also Published As

Publication number Publication date
CN114610799B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN114610799B (zh) 基于环境监测的数据处理方法、设备及存储介质
CN105553769B (zh) 一种数据采集分析系统和方法
CN105283866B (zh) 包括使用相似频率的优化分析的应用跟踪方法和系统
CN105283851B (zh) 用于选择跟踪目标的成本分析
CN105283848B (zh) 用分布式目标来进行应用跟踪
CN108763928A (zh) 一种开源软件漏洞分析方法、装置和存储介质
CN111343161B (zh) 异常信息处理节点分析方法、装置、介质及电子设备
CN105122212A (zh) 自动化跟踪系统中的周期性优化
Bento et al. Automated analysis of distributed tracing: Challenges and research directions
CN114139210B (zh) 一种基于智慧业务的大数据安全威胁处理方法及系统
US10241891B2 (en) Dynamic ranking of performance issues for applications
Heydarian et al. Automated visual recognition of construction equipment actions using spatio-temporal features and multiple binary support vector machines
CN111949535B (zh) 基于开源社区知识的软件缺陷预测装置及方法
CN104715190A (zh) 一种基于深度学习的程序执行路径的监控方法及系统
CN116578980A (zh) 基于神经网络的代码分析方法及其装置、电子设备
CN115168868A (zh) 一种应用于人工智能的业务漏洞分析方法及服务器
CN110990575A (zh) 测试用例失败原因分析方法、装置及电子设备
CN112163019B (zh) 基于区块链的可信电子批记录处理方法及区块链服务平台
CN111290953B (zh) 分析测试日志的方法与装置
CN114331224B (zh) 一种基于规则引擎的实时业务风控处理方法及系统
CN105391602B (zh) 一种数据采集测试方法和装置
CN115795021A (zh) 一种大数据风险监测识别预警装置及系统
CN114416422A (zh) 问题定位方法、装置、设备、介质和程序产品
Izrailov et al. Identifying characteristics of software vulnerabilities by their textual description using machine learning
CN112653683A (zh) 基于大数据和云计算的数据流式处理方法及云服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant