CN114969018A - 一种数据监控方法及系统 - Google Patents

一种数据监控方法及系统 Download PDF

Info

Publication number
CN114969018A
CN114969018A CN202210913441.5A CN202210913441A CN114969018A CN 114969018 A CN114969018 A CN 114969018A CN 202210913441 A CN202210913441 A CN 202210913441A CN 114969018 A CN114969018 A CN 114969018A
Authority
CN
China
Prior art keywords
data
classification
fusion
model
grading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210913441.5A
Other languages
English (en)
Other versions
CN114969018B (zh
Inventor
李庆
韩国权
肖益
黄海峰
吕灏
陈轮
曹扬
支婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiji Computer Corp Ltd
CETC Big Data Research Institute Co Ltd
Original Assignee
Taiji Computer Corp Ltd
CETC Big Data Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiji Computer Corp Ltd, CETC Big Data Research Institute Co Ltd filed Critical Taiji Computer Corp Ltd
Priority to CN202210913441.5A priority Critical patent/CN114969018B/zh
Publication of CN114969018A publication Critical patent/CN114969018A/zh
Application granted granted Critical
Publication of CN114969018B publication Critical patent/CN114969018B/zh
Priority to PCT/CN2022/138505 priority patent/WO2024027071A1/zh
Priority to LU505740A priority patent/LU505740A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Abstract

本发明实施例提供一种数据监控方法及系统，其中方法包括：确定待监控的当前数据治理平台的融合数据；将所述待监控的当前数据治理平台的融合数据输入至数据监控模型中，得到所述数据监控模型输出的数据监控结果；其中，所述数据监控模型是基于对当前数据治理平台的样本融合数据进行分类分级后生成知识图谱和质量知识库后得到的。本发明有效解决了目前数据治理平台存在的数据分类分级及质量管控工作中数据难以治理的问题。

Description

一种数据监控方法及系统
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据监控方法及系统。
背景技术
随着计算机技术的发展，政务数据纷繁复杂、种类繁多，且为了能有效、合规地进行数据共享交换，在政务数据治理工作中需要大量的数据分类分级工作。传统的数据治理平台提供的数据分类分级及数据质量管理功能需要大量的专家知识，使用门槛较高，造成在数据治理项目后期转入常态化运营阶段后，普通的维护人员难以胜任，最终导致数据治理项目难以收尾甚至停摆。因此，亟需提供一种数据监控方法及系统以解决目前数据治理平台存在的数据分类分级及质量管控工作中数据难以治理的问题。
发明内容
本发明实施例提供一种数据监控方法及系统，以解决目前数据治理平台存在的数据分类分级及质量管控工作中数据难以治理的问题。
第一方面，本发明实施例提供一种数据监控方法，包括：
确定待监控的当前数据治理平台的融合数据；
将所述待监控的当前数据治理平台的融合数据输入至数据监控模型中，得到所述数据监控模型输出的数据监控结果；
其中，所述数据监控模型是基于对当前数据治理平台的样本融合数据进行分类分级后生成知识图谱和质量知识库后得到的。
优选地，所述数据监控模型包括数据分析模型和质量稽核模型；
所述将所述待监控的当前数据治理平台的融合数据输入至数据监控模型中，得到所述数据监控模型输出的数据监控结果，包括：
将所述待监控的当前数据治理平台的融合数据输入至所述数据分析模型，基于所述知识图谱输出所述融合数据的分类分级数据；
将所述融合数据的分类分级数据输入至所述质量稽核模型，基于所述质量知识库输出所述数据监控结果。
优选地，所述数据分析模型包括数据特征提取模型、数据分类模型和数据分级模型；所述知识图谱包括分类图谱和分级图谱；
将所述待监控的当前数据治理平台的融合数据输入至所述数据分析模型，基于所述知识图谱输出所述融合数据的分类分级数据，包括：
将所述待监控的当前数据治理平台的融合数据输入至所述数据特征提取模型，输出所述融合数据对应的数据特征值；
将所述融合数据和对应的数据特征值输入至所述数据分类模型，基于所述分类图谱输出分类数据；
将所述分类数据输入至所述数据分级模型，基于所述分级图谱输出所述融合数据的分类分级数据。
优选地，将所述融合数据和对应的数据特征值输入至所述数据分类模型，基于所述分类图谱输出分类数据，包括：
将融合数据对应的数据特征值作为权重对所述融合数据进行加权处理，得到加权处理后的融合数据；
基于所述分类图谱将所述加权处理后的融合数据进行权重值索引聚类，得到分类数据。
优选地，将所述分类数据输入至所述数据分级模型，基于所述分级图谱输出所述融合数据的分类分级数据，包括：
将所述分类数据对应的权重值乘以预设的分级系数得到所述分类数据对应的分级值；
基于所述分级图谱对所述分类数据对应的分级值进行数据划分，得到所述融合数据的分类分级数据。
优先地，将所述融合数据的分类分级数据输入至所述质量稽核模型，基于所述质量知识库输出所述数据监控结果，包括：
基于所述质量知识库对所述融合数据的分类分级数据进行检索、筛查、删除或保留操作，得到数据监控结果。
优先地，所述数据监控模型是基于对当前数据治理平台的样本融合数据进行分类分级后生成知识图谱和质量知识库后得到的，包括：
获取当前数据治理平台的样本融合数据；
通过知识计算引擎对所述样本融合数据进行图计算Nebula、离线计算Spark或实时计算Flink，生成知识图谱和质量知识库。
第二方面，本发明实施例提供一种数据监控系统，包括：
数据确定单元，用于确定待监控的当前数据治理平台的融合数据；
数据监控单元，用于将所述待监控的当前数据治理平台的融合数据输入至数据监控模型中，得到所述数据监控模型输出的数据监控结果；
其中，所述数据监控模型是基于对当前数据治理平台的样本融合数据进行分类分级后生成知识图谱和质量知识库后得到的。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所提供的任一项所述数据监控方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所提供的任一项所述数据监控方法的步骤。
本发明实施例提供的一种数据监控方法及系统，该方法通过将待监控的当前数据治理平台的融合数据输入至数据监控模型中，得到所述数据监控模型输出的数据监控结果；其中，所述数据监控模型是基于对当前数据治理平台的样本融合数据进行分类分级后生成知识图谱和质量知识库后得到的。本发明有效解决了目前数据治理平台存在的数据分类分级及质量管控工作中数据难以治理的问题。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种数据监控方法的流程示意图；
图2是本发明提供的数据监控模型框图；
图3是本发明提供的数据分析模型框图；
图4是本发明提供的知识图谱的结构示意图；
图5是本发明提供的一种数据监控系统的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图6描述本发明提供的一种数据监控方法及系统。
本发明实施例提供了一种数据监控方法。图1为本发明实施例提供的数据监控方法的流程示意图，如图1所示，该方法包括：
步骤110，确定待监控的当前数据治理平台的融合数据；
步骤120，将所述待监控的当前数据治理平台的融合数据输入至数据监控模型中，得到所述数据监控模型输出的数据监控结果；
其中，所述数据监控模型是基于对当前数据治理平台的样本融合数据进行分类分级后生成知识图谱和质量知识库后得到的。
具体地，本发明首先通过样本融合数据进行分类分级处理后得到数据监控模型，再将当前数据治理平台的融合数据输入至所述数据监控模型，得到当前数据治理平台的数据监控结果。
需要说明的是，目前按照知识图谱的用途，知识图谱可分为通用知识图谱和行业知识图谱。通用知识图谱侧重构建常识性的知识，并用于搜索引擎和推荐系统等。行业知识图谱（也可称企业知识图谱）主要面向企业业务，通过构建不同行业、企业的知识图谱，对企业内部提供知识化服务。知识图谱构建主要分为自顶向下(top-down)与自底向上(bottom-up)两种构建方式。自顶向下构建方式需要先定义好本体（Ontology或称为Schema），再基于输入数据完成信息抽取到图谱构建的过程。该方法更适用于专业知识方面图谱的构建，比如企业知识图谱，面向领域专业用户使用。自底向上构建方式则是从开放的Open LinkedData中抽取置信度高的知识，或从非结构化文本中抽取知识，完成知识图谱的构建。该方式更适用于常识性的知识，比如人名、机构名等通用知识图谱的构建。质量知识库包括知识图谱的梳理，用来界定知识边界，知识资产盘点及内容初始化，专家体系知识盘点，专家的界定、级别、互动指标等，从而使得技术体系与内容体系知识管理的框架基本成型。
与现有技术相比，本发明实施例提供的方法，通过将当前数据治理平台的融合数据输入经过分类分级处理后得到的数据监控模型，实现了当前数据治理平台的数据治理水平的有效提升。
基于上述任一实施例，如图2所示，所述数据监控模型200包括数据分析模型210和质量稽核模型220；
所述将所述待监控的当前数据治理平台的融合数据输入至数据监控模型中，得到所述数据监控模型输出的数据监控结果，包括：
将所述待监控的当前数据治理平台的融合数据输入至所述数据分析模型，基于所述知识图谱输出所述融合数据的分类分级数据；
将所述融合数据的分类分级数据输入至所述质量稽核模型，基于所述质量知识库输出所述数据监控结果。
具体地，数据监控模型是通过数据分析模型和质量稽核模型来实现的，其中，数据分析模型是基于包括分类图谱和分级图谱的知识图谱对待监控的融合数据依次进行分类和分级，质量稽核模型则是基于质量知识库对分类和分级后的融合数据进行质量监控得到监控结果。
基于上述任一实施例，如图3所示，所述数据分析模型300包括数据特征提取模型310、数据分类模型320和数据分级模型330；
如图4所示，所述知识图谱400包括分类图谱410和分级图谱420；
将所述待监控的当前数据治理平台的融合数据输入至所述数据分析模型300，基于所述知识图谱400输出所述融合数据的分类分级数据，包括：
将所述待监控的当前数据治理平台的融合数据输入至所述数据特征提取模型310，输出所述融合数据对应的数据特征值；
将所述融合数据和对应的数据特征值输入至所述数据分类模型320，基于所述分类图谱410输出分类数据；
将所述分类数据输入至所述数据分级模型330，基于所述分级图谱420输出所述融合数据的分类分级数据。
具体地，数据分析模型是通过数据特征提取模型、数据分类模型和数据分级模型来实现的，其中，数据特征提取模型是对待监控的融合数据进行数据特征值计算，并将对应的数据特征值作为融合数据的权重值，同时输入至基于分类图谱的数据分类模型，在分类图谱中根据权重值索引以及加权处理后的融合数据的聚类后输出分类数据；数据分级模型基于分级图谱对分类数据的各个类别分别进行等级划分，从而得到融合数据的分类分级数据。
基于上述任一实施例，结合图3和图4，将所述融合数据和对应的数据特征值输入至所述数据分类模型320，基于所述分类图谱410输出分类数据，包括：
将融合数据对应的数据特征值作为权重对所述融合数据进行加权处理，得到加权处理后的融合数据；
基于所述分类图谱将所述加权处理后的融合数据进行权重值索引聚类，得到分类数据。
具体地，数据分类模型基于分类图谱对融合数据进行分类处理，即，采用融合数据对应的数据特征值作为融合数据的权重值，对融合数据进行加权处理，进一步基于分类图谱的权重值索引，从而得到分类数据。
基于上述任一实施例，结合图3和图4，将所述分类数据输入至所述数据分级模型330，基于所述分级图谱420输出所述融合数据的分类分级数据，包括：
将所述分类数据对应的权重值乘以预设的分级系数得到所述分类数据对应的分级值；
基于所述分级图谱对所述分类数据对应的分级值进行数据划分，得到所述融合数据的分类分级数据。
具体地，数据分级模型基于分级图谱的分级制并根据分类数据对应的分级值对分类数据完成分级处理，其中所述分类数据对应的分级值是根据分类数据对应的权重值与预设的分级系数相乘得到的。
基于上述任一实施例，将所述融合数据的分类分级数据输入至所述质量稽核模型，基于所述质量知识库输出所述数据监控结果，包括：
基于所述质量知识库对所述融合数据的分类分级数据进行检索、筛查、删除或保留操作，得到数据监控结果。
具体地，所述质量稽核模型是基于质量知识库对融合数据的分类分级数据进行检索、筛查、删除或保留，其中，所述质量知识库可以根据质量经验迭代更新。
基于上述任一实施例，所述数据监控模型是基于对当前数据治理平台的样本融合数据进行分类分级后生成知识图谱和质量知识库后得到的，包括：
获取当前数据治理平台的样本融合数据；
通过知识计算引擎对所述样本融合数据进行图计算Nebula、离线计算Spark或实时计算Flink，生成知识图谱和质量知识库。
具体地，数据监控模型中的知识图谱和质量知识库均是通过现有知识计算引擎的Nebula、Spark或Flink方式对样本融合数据进行计算后得到的。需要说明的是，现有的知识计算引擎包括图存储、图计算一体的架构设计，不仅可以提供高效的查询性能，同时也可以提供多种预置的图深度学习算法。
下面对本发明提供的一种数据监控系统进行描述，下文描述的与上文描述的一种数据监控方法可相互对应参照。
图5为本发明实施例提供的数据监控系统的结构示意图，如图5所示，该系统包括数据确定单元510和数据监控单元520；
所述数据确定单元510，用于确定待监控的当前数据治理平台的融合数据；
所述数据监控单元520，用于将所述待监控的当前数据治理平台的融合数据输入至数据监控模型中，得到所述数据监控模型输出的数据监控结果；
其中，所述数据监控模型是基于对当前数据治理平台的样本融合数据进行分类分级后生成知识图谱和质量知识库后得到的。
与现有技术相比，本发明实施例提供的系统，通过将当前数据治理平台的融合数据输入经过分类分级处理后得到的数据监控模型，实现了当前数据治理平台的数据治理水平的有效提升。
基于上述任一实施例，所述数据监控单元包括数据分析模块和质量稽核模块；
所述数据监控模型包括数据分析模型和质量稽核模型；
所述数据分析模块，用于输入所述待监控的当前数据治理平台的融合数据至所述数据分析模型，基于所述知识图谱输出所述融合数据的分类分级数据；
所述质量稽核模块，用于输入所述融合数据的分类分级数据至所述质量稽核模型，基于所述质量知识库输出所述数据监控结果。
基于上述任一实施例，所述数据分析模块包括特征提取模块、数据分类模块和数据分级模块；
所述数据分析模型包括数据特征提取模型、数据分类模型和数据分级模型；
所述特征提取模块，用于输入所述待监控的当前数据治理平台的融合数据至所述数据特征提取模型，输出所述融合数据对应的数据特征值；
所述数据分类模块，用于输入所述融合数据和对应的数据特征值至所述数据分类模型，基于所述分类图谱输出分类数据；
所述数据分级模块，用于输入所述分类数据至所述数据分级模型，基于所述分级图谱输出所述融合数据的分类分级数据。
基于上述任一实施例，所述数据分类模块，具体用于：
将融合数据对应的数据特征值作为权重对所述融合数据进行加权处理，得到加权处理后的融合数据；
基于所述分类图谱将所述加权处理后的融合数据进行权重值索引聚类，得到分类数据。
基于上述任一实施例，所述数据分级模块，具体用于：
将所述分类数据对应的权重值乘以预设的分级系数得到所述分类数据对应的分级值；
基于所述分级图谱对所述分类数据对应的分级值进行数据划分，得到所述融合数据的分类分级数据。
基于上述任一实施例，所述质量稽核模块，具体用于：
基于所述质量知识库对所述融合数据的分类分级数据进行检索、筛查、删除或保留操作，得到数据监控结果。
基于上述任一实施例，所述数据监控模型是基于对当前数据治理平台的样本融合数据进行分类分级后生成知识图谱和质量知识库后得到的，包括：
获取当前数据治理平台的样本融合数据；
通过知识计算引擎对所述样本融合数据进行图计算Nebula、离线计算Spark或实时计算Flink，生成知识图谱和质量知识库。
综上，本发明实施例通过将当前数据治理平台的融合数据输入至数据监控模型中，得到所述数据监控模型输出的数据监控结果；其中，所述数据监控模型是基于对当前数据治理平台的样本融合数据进行分类分级后生成知识图谱和质量知识库后得到的。本发明有效解决了目前数据治理平台存在的数据分类分级及质量管控工作中数据难以治理的问题。
图6为本发明实施例提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(CommunicationsInterface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行数据监控方法，该方法包括：确定待监控的当前数据治理平台的融合数据；将所述待监控的当前数据治理平台的融合数据输入至数据监控模型中，得到所述数据监控模型输出的数据监控结果；其中，所述数据监控模型是基于对当前数据治理平台的样本融合数据进行分类分级后生成知识图谱和质量知识库后得到的。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的数据监控方法，该方法包括：确定待监控的当前数据治理平台的融合数据；将所述待监控的当前数据治理平台的融合数据输入至数据监控模型中，得到所述数据监控模型输出的数据监控结果；其中，所述数据监控模型是基于对当前数据治理平台的样本融合数据进行分类分级后生成知识图谱和质量知识库后得到的。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的数据监控方法，该方法包括：确定待监控的当前数据治理平台的融合数据；将所述待监控的当前数据治理平台的融合数据输入至数据监控模型中，得到所述数据监控模型输出的数据监控结果；其中，所述数据监控模型是基于对当前数据治理平台的样本融合数据进行分类分级后生成知识图谱和质量知识库后得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据监控方法，其特征在于，该方法包括：
确定待监控的当前数据治理平台的融合数据；
将所述待监控的当前数据治理平台的融合数据输入至数据监控模型中，得到所述数据监控模型输出的数据监控结果；
其中，所述数据监控模型是基于对当前数据治理平台的样本融合数据进行分类分级后生成知识图谱和质量知识库后得到的。
2.根据权利要求1所述的数据监控方法，其特征在于，所述数据监控模型包括数据分析模型和质量稽核模型；
所述将所述待监控的当前数据治理平台的融合数据输入至数据监控模型中，得到所述数据监控模型输出的数据监控结果，包括：
将所述待监控的当前数据治理平台的融合数据输入至所述数据分析模型，基于所述知识图谱输出所述融合数据的分类分级数据；
将所述融合数据的分类分级数据输入至所述质量稽核模型，基于所述质量知识库输出所述数据监控结果。
3.根据权利要求2所述的数据监控方法，其特征在于，所述数据分析模型包括数据特征提取模型、数据分类模型和数据分级模型；所述知识图谱包括分类图谱和分级图谱；
将所述待监控的当前数据治理平台的融合数据输入至所述数据分析模型，基于所述知识图谱输出所述融合数据的分类分级数据，包括：
将所述待监控的当前数据治理平台的融合数据输入至所述数据特征提取模型，输出所述融合数据对应的数据特征值；
将所述融合数据和对应的数据特征值输入至所述数据分类模型，基于所述分类图谱输出分类数据；
将所述分类数据输入至所述数据分级模型，基于所述分级图谱输出所述融合数据的分类分级数据。
4.根据权利要求3所述的数据监控方法，其特征在于，
将所述融合数据和对应的数据特征值输入至所述数据分类模型，基于所述分类图谱输出分类数据，包括：
将融合数据对应的数据特征值作为权重对所述融合数据进行加权处理，得到加权处理后的融合数据；
基于所述分类图谱将所述加权处理后的融合数据进行权重值索引聚类，得到分类数据。
5.根据权利要求3所述的数据监控方法，其特征在于，
将所述分类数据输入至所述数据分级模型，基于所述分级图谱输出所述融合数据的分类分级数据，包括：
将所述分类数据对应的权重值乘以预设的分级系数得到所述分类数据对应的分级值；
基于所述分级图谱对所述分类数据对应的分级值进行数据划分，得到所述融合数据的分类分级数据。
6.根据权利要求2所述的数据监控方法，其特征在于，
将所述融合数据的分类分级数据输入至所述质量稽核模型，基于所述质量知识库输出所述数据监控结果，包括：
基于所述质量知识库对所述融合数据的分类分级数据进行检索、筛查、删除或保留操作，得到数据监控结果。
7.根据权利要求1所述的数据监控方法，其特征在于，所述数据监控模型是基于对当前数据治理平台的样本融合数据进行分类分级后生成知识图谱和质量知识库后得到的，包括：
获取当前数据治理平台的样本融合数据；
通过知识计算引擎对所述样本融合数据进行图计算Nebula、离线计算Spark或实时计算Flink，生成知识图谱和质量知识库。
8.一种数据监控系统，其特征在于，包括：
数据确定单元，用于确定待监控的当前数据治理平台的融合数据；
数据监控单元，用于将所述待监控的当前数据治理平台的融合数据输入至数据监控模型中，得到所述数据监控模型输出的数据监控结果；
其中，所述数据监控模型是基于对当前数据治理平台的样本融合数据进行分类分级后生成知识图谱和质量知识库后得到的。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述数据监控方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述数据监控方法的步骤。
CN202210913441.5A 2022-08-01 2022-08-01 一种数据监控方法及系统 Active CN114969018B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210913441.5A CN114969018B (zh) 2022-08-01 2022-08-01 一种数据监控方法及系统
PCT/CN2022/138505 WO2024027071A1 (zh) 2022-08-01 2022-12-13 一种数据监控方法及系统
LU505740A LU505740A1 (en) 2022-08-01 2022-12-13 Data monitoring method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210913441.5A CN114969018B (zh) 2022-08-01 2022-08-01 一种数据监控方法及系统

Publications (2)

Publication Number Publication Date
CN114969018A true CN114969018A (zh) 2022-08-30
CN114969018B CN114969018B (zh) 2022-11-08

Family

ID=82969442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210913441.5A Active CN114969018B (zh) 2022-08-01 2022-08-01 一种数据监控方法及系统

Country Status (3)

Country Link
CN (1) CN114969018B (zh)
LU (1) LU505740A1 (zh)
WO (1) WO2024027071A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024027071A1 (zh) * 2022-08-01 2024-02-08 中电科大数据研究院有限公司 一种数据监控方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086458A (zh) * 2018-09-12 2018-12-25 杭州格原信息技术有限公司 一种应用于勘察设计行业的搜索引擎系统
CN112182234A (zh) * 2020-07-29 2021-01-05 长江勘测规划设计研究有限责任公司 流域防洪规划数据知识图谱构建方法
CN112256887A (zh) * 2020-10-28 2021-01-22 福建亿榕信息技术有限公司 基于知识图谱的智能供应链管理方法
CN112990656A (zh) * 2021-02-05 2021-06-18 南方电网调峰调频发电有限公司信息通信分公司 一种it设备监测数据的健康评价系统及健康评价方法
WO2021184630A1 (zh) * 2020-03-19 2021-09-23 平安国际智慧城市科技股份有限公司 基于知识图谱定位排污对象的方法及相关设备
CN113505241A (zh) * 2021-07-15 2021-10-15 润建股份有限公司 一种基于知识图谱的用电安全隐患智能诊断方法
CN114818707A (zh) * 2022-03-02 2022-07-29 北京航空航天大学 一种基于知识图谱的自动驾驶决策方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111858236B (zh) * 2020-06-23 2022-12-16 深圳精匠云创科技有限公司 知识图谱监控方法、装置、计算机设备及存储介质
CN112801164B (zh) * 2021-01-22 2024-02-13 北京百度网讯科技有限公司 目标检测模型的训练方法、装置、设备及存储介质
CN114706994A (zh) * 2022-03-21 2022-07-05 华迪计算机集团有限公司 一种基于知识库的运维管理系统和方法
CN114969018B (zh) * 2022-08-01 2022-11-08 太极计算机股份有限公司 一种数据监控方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086458A (zh) * 2018-09-12 2018-12-25 杭州格原信息技术有限公司 一种应用于勘察设计行业的搜索引擎系统
WO2021184630A1 (zh) * 2020-03-19 2021-09-23 平安国际智慧城市科技股份有限公司 基于知识图谱定位排污对象的方法及相关设备
CN112182234A (zh) * 2020-07-29 2021-01-05 长江勘测规划设计研究有限责任公司 流域防洪规划数据知识图谱构建方法
CN112256887A (zh) * 2020-10-28 2021-01-22 福建亿榕信息技术有限公司 基于知识图谱的智能供应链管理方法
CN112990656A (zh) * 2021-02-05 2021-06-18 南方电网调峰调频发电有限公司信息通信分公司 一种it设备监测数据的健康评价系统及健康评价方法
CN113505241A (zh) * 2021-07-15 2021-10-15 润建股份有限公司 一种基于知识图谱的用电安全隐患智能诊断方法
CN114818707A (zh) * 2022-03-02 2022-07-29 北京航空航天大学 一种基于知识图谱的自动驾驶决策方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
姚春江等: "机械设备摩擦磨损标准铁谱图谱分析技术研究", 《机械》 *
李胜广等: "基于大数据的省级公安智慧监管架构设计", 《物联网技术》 *
马铁军: "基于云计算技术的医保监控管理系统", 《河北省科学院学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024027071A1 (zh) * 2022-08-01 2024-02-08 中电科大数据研究院有限公司 一种数据监控方法及系统

Also Published As

Publication number Publication date
CN114969018B (zh) 2022-11-08
WO2024027071A1 (zh) 2024-02-08
LU505740A1 (en) 2024-02-19

Similar Documents

Publication Publication Date Title
CN107871166B (zh) 针对机器学习的特征处理方法及特征处理系统
JP2021504789A (ja) Ｅｓｇ基盤の企業評価遂行装置及びその作動方法
CN105912645B (zh) 一种智能问答方法及装置
CN109710766B (zh) 一种工单数据的投诉倾向分析预警方法及装置
US11354345B2 (en) Clustering topics for data visualization
US20160217200A1 (en) Dynamic creation of domain specific corpora
CA3195853A1 (en) Artificial intelligence driven document analysis, including searching, indexing, comparing or associating datasets based on learned representations
CN114969018B (zh) 一种数据监控方法及系统
Tao et al. Research on marketing management system based on independent ERP and business BI using fuzzy TOPSIS
CN116049379A (zh) 知识推荐方法、装置、电子设备和存储介质
CN113011156A (zh) 审核文本的质检方法、装置、介质以及电子设备
CN112163098A (zh) 一种知识图谱的创建方法、装置、存储介质和服务器
CN111882224A (zh) 对消费场景进行分类的方法和装置
CN111930944A (zh) 文件标签分类方法及装置
CN116049376A (zh) 一种信创知识检索回复的方法、装置和系统
CN109062551A (zh) 基于大数据开发命令集的开发框架
CN115470361A (zh) 数据检测方法以及装置
CN115329078A (zh) 文本数据处理方法、装置、设备以及存储介质
CN105786929A (zh) 一种信息监测方法及装置
CN112750047B (zh) 行为关系信息提取方法及装置、存储介质、电子设备
CN112597500A (zh) 汽车信息安全风险评估方法、装置、电子设备及存储介质
CN115080732A (zh) 投诉工单处理方法、装置、电子设备和存储介质
CN112182218A (zh) 文本数据的分类方法及装置
Bergner et al. Supporting business process improvement with natural language processing: A model-based approach
Shanmugarajah et al. WoKnack–A Professional Social Media Platform for Women Using Machine Learning Approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant