CN117573956A - 元数据管理方法、装置、设备及存储介质 - Google Patents

元数据管理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117573956A
CN117573956A CN202410061483.XA CN202410061483A CN117573956A CN 117573956 A CN117573956 A CN 117573956A CN 202410061483 A CN202410061483 A CN 202410061483A CN 117573956 A CN117573956 A CN 117573956A
Authority
CN
China
Prior art keywords
metadata
target
keywords
main body
caliber
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410061483.XA
Other languages
English (en)
Other versions
CN117573956B (zh
Inventor
孙志
马刚均
罗菊婷
黄锡雄
李宁惠
孟建忠
任晨丽
范仕诚
王永琼
梁昌
刘展鸿
李岳洋
郑永坤
熊勇辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd Shenzhen Branch
Original Assignee
China Telecom Corp Ltd Shenzhen Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd Shenzhen Branch filed Critical China Telecom Corp Ltd Shenzhen Branch
Priority to CN202410061483.XA priority Critical patent/CN117573956B/zh
Publication of CN117573956A publication Critical patent/CN117573956A/zh
Application granted granted Critical
Publication of CN117573956B publication Critical patent/CN117573956B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本申请适用于计算机技术领域，提供了一种元数据管理方法、装置、设备及存储介质，元数据管理方法包括：对目标元数据进行分析，得到目标元数据包括的元数据主体和各元数据主体对应的对象值；对各元数据主体和各元数据主体对应的对象值进行统计，建立目标元数据的分布模型；基于目标元数据的分布模型，确定目标元数据的元数据口径更新策略；根据元数据口径更新策略，对目标元数据进行元数据口径更新。通过上述技术方案，有助于提高元数据的管理和利用效能，保证元数据的准确性和一致性。在实际应用中，可以根据具体场景和需求进行调整和扩展。

Description

元数据管理方法、装置、设备及存储介质
技术领域
本申请属于计算机技术领域，尤其涉及一种元数据管理方法、装置、设备及存储介质。
背景技术
近年来，随着数据管理和数字化转型的快速发展，元数据的重要性愈发凸显。元数据作为描述数据的数据，对于解决企业在数据管理过程中所面临的一系列问题起着关键作用，包括“数据的含义是什么”、“有哪些数据”、“数据存储有多少”、“数据流中的血缘关系”等方面。
现有技术中，常见的元数据维护方式是在开发或修改元数据时添加注释，以记录元数据的来源、口径定义、时间等信息，以便于开发人员进行维护。然而，这些注释需要二次人工维护，不仅增加了维护的负担，且很难保证元数据的准确性和一致性。
发明内容
本申请实施例提供了一种元数据管理方法、装置及设备，可以解决上述问题。
第一方面，本申请实施例提供了一种元数据管理方法，包括：
对目标元数据进行分析，得到目标元数据包括的元数据主体和各元数据主体对应的对象值；
对各元数据主体和各元数据主体对应的对象值进行统计，建立目标元数据的分布模型；
基于目标元数据的分布模型，确定目标元数据的元数据口径更新策略；
根据元数据口径更新策略，对目标元数据进行元数据口径更新。
进一步地，对目标元数据进行分析，得到目标元数据包括的元数据主体和各元数据主体对应的对象值，包括：
利用预先训练完成的分类器模型对目标元数据进行分析，得到目标元数据包括的元数据主体和各元数据主体对应的对象值。
进一步地，预先训练完成的分类器模型的训练过程，包括：
获取预设数量的元数据，对预设数量的元数据进行预处理，得到包括原始形式词汇的训练样本；
对训练样本中由原始词汇组成的文本进行语法分析，并进行关键词提取；
基于语法分析结果，识别各关键词之间的关系；
根据各关键词之间的关系，标记文本中包括的元数据主体以及各元数据主体的对象值，得到目标训练样本；
基于目标训练样本对预先构建的分类器网络进行训练，得到分类器模型。
进一步地，语法分析结果，包括：句子的结构、各词语的词性以及各词语之间的依存关系；
基于语法分析结果，识别各关键词之间的关系，包括：
基于句子的结构、各词语的词性以及各词语之间的依存关系，识别各关键词的词性标签以及与各关键词相关的修饰词；
基于各关键词的词性标签以及与各关键词相关的修饰词，得到各关键词之间的关系。
进一步地，根据各关键词之间的关系，标记文本中包括的元数据主体以及各元数据主体的对象值，得到目标训练样本，包括：
根据各关键词之间的关系，在文本中查找包含有任意关键词的主谓宾结构的句子；
对主谓宾结构的句子进行元数据主体以及各元数据主体的对象值标记，得到目标训练样本。
进一步地，对各元数据主体和各元数据主体对应的对象值进行统计，建立目标元数据的分布模型，包括：
分别计算各元数据主体出现的频率，以及各元数据主体对应的对象值出现的平均值、中位数和标准差；
分析频率、平均值、中位数和标准差的分布形态；
根据频率、平均值和分布形态，建立目标元数据的分布模型。
进一步地，基于目标元数据的分布模型，确定目标元数据的元数据口径更新策略，包括：
基于目标元数据的分布模型，确定目标元数据中元数据主体的整体特征以及各元数据主体对应的对象值的分布情况；
根据元数据主体的整体特征，识别出异常主体；
根据各元数据主体对应的对象值的分布情况，识别出异常对象值；
根据异常主体和异常对象值，确定目标元数据的元数据口径更新策略。
第二方面，本申请实施例提供了一种元数据管理装置，包括：
分析模块，用于对目标元数据进行分析，得到目标元数据包括的元数据主体和各元数据主体对应的对象值；
统计模块，用于对各元数据主体和各元数据主体对应的对象值进行统计，建立目标元数据的分布模型；
确定模块，用于基于目标元数据的分布模型，确定目标元数据的元数据口径更新策略；
更新模块，用于根据元数据口径更新策略，对目标元数据进行元数据口径更新。
进一步地，分析模块，具体用于：
利用预先训练完成的分类器模型对目标元数据进行分析，得到目标元数据包括的元数据主体和各元数据主体对应的对象值。
进一步地，预先训练完成的分类器模型的训练过程，包括：
获取预设数量的元数据，对预设数量的元数据进行预处理，得到包括原始形式词汇的训练样本；
对训练样本中由原始词汇组成的文本进行语法分析，并进行关键词提取；
基于语法分析结果，识别各关键词之间的关系；
根据各关键词之间的关系，标记文本中包括的元数据主体以及各元数据主体的对象值，得到目标训练样本；
基于目标训练样本对预先构建的分类器网络进行训练，得到分类器模型。
进一步地，语法分析结果，包括：句子的结构、各词语的词性以及各词语之间的依存关系；
基于语法分析结果，识别各关键词之间的关系，包括：
基于句子的结构、各词语的词性以及各词语之间的依存关系，识别各关键词的词性标签以及与各关键词相关的修饰词；
基于各关键词的词性标签以及与各关键词相关的修饰词，得到各关键词之间的关系。
进一步地，根据各关键词之间的关系，标记文本中包括的元数据主体以及各元数据主体的对象值，得到目标训练样本，包括：
根据各关键词之间的关系，在文本中查找包含有任意关键词的主谓宾结构的句子；
对主谓宾结构的句子进行元数据主体以及各元数据主体的对象值标记，得到目标训练样本。
进一步地，统计模块，包括：
计算单元，用于别计算各元数据主体出现的频率，以及各元数据主体对应的对象值出现的平均值、中位数和标准差；
分析单元，用于分析频率、平均值、中位数和标准差的分布形态；
建立单元，用于根据分布形态，建立目标元数据的分布模型。
进一步地，确定模块，包括：
第一确定单元，用于基于目标元数据的分布模型，确定目标元数据中元数据主体的整体特征以及各元数据主体对应的对象值的分布情况；
第一识别单元，用于根据元数据主体的整体特征，识别出异常主体；
第二识别单元，用于根据各元数据主体对应的对象值的分布情况，识别出异常对象值；
第二确定单元，用于根据异常主体和异常对象值，确定目标元数据的元数据口径更新策略。
第三方面，本申请实施例提供了一种设备，该设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的方法。
本申请实施例提供了一种元数据管理方法、装置、设备及存储介质，其中，元数据管理方法，包括：对目标元数据进行分析，得到目标元数据包括的元数据主体和各元数据主体对应的对象值；对各元数据主体和各元数据主体对应的对象值进行统计，建立目标元数据的分布模型；基于目标元数据的分布模型，确定目标元数据的元数据口径更新策略；根据元数据口径更新策略，对目标元数据进行元数据口径更新。上述方案，通过对目标元数据进行分析，得到目标元数据包括的元数据主体和各元数据主体对应的对象值后，对各元数据主体和各元数据主体对应的对象值进行统计，建立目标元数据的分布模型。有助于深入了解元数据的分布情况，同时基于目标元数据的分布模型，确定元数据口径更新策略，能够有效制定针对特定元数据的优化和更新方案。通过上述技术方案，有助于提高元数据的管理和利用效能，保证元数据的准确性和一致性。在实际应用中，可以根据具体场景和需求进行调整和扩展。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的元数据管理方法的示意流程图；
图2为本申请实施例提供的分类器模型的训练流程示意图；
图3为图1中S103的具体实现流程示意图；
图4为本申请实施例提供的元数据管理装置的示意图；
图5为本申请实施例提供的元数据管理设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
请参见图1，图1为本申请实施例提供的元数据管理方法的示意流程图。本实施例中元数据管理方法的执行主体为具有处理功能的设备，该设备可以为个人计算机、服务器等。如图1所示的元数据管理方法可以包括：
S101：对目标元数据进行分析，得到目标元数据包括的元数据主体和各元数据主体对应的对象值。
其中，元数据是指描述数据的数据，它提供了关于数据的各种信息，以便更好地管理和使用这些数据。
元数据主体是指元数据所描述的对象或实体，是元数据所关联的主要主题，可以是一个文档、数据库表、文件或者软件应用程序等。元数据主体描述了元数据所针对的实际数据或资源。
元数据主体对应的对象值是指与元数据主体相关联的具体内容或属性值。它提供了有关元数据主体的详细信息。例如，对于一张照片，元数据主体是照片本身，而元数据对象值包括照片的拍摄日期、相机型号、地理位置等详细信息。在数据库中，元数据主体可以是数据库表，而元数据对象值可能包括表的字段、数据类型、索引信息等。总体而言，元数据的目的是提供关于数据的附加信息，使得数据更容易被理解、管理和利用。元数据主体和元数据对象值是帮助组织和解释这些信息的关键概念。
在本申请的一实施例中，对目标元数据进行分析，得到目标元数据包括的元数据主体和各元数据主体对应的对象值，包括：利用预先训练完成的分类器模型对目标元数据进行分析，得到目标元数据包括的元数据主体和各元数据主体对应的对象值。
其中，预先训练完成的分类器模型为机器学习模型，用于识别元数据主体和各元数据主体对应的对象值。对应的训练集可以包括已标注好元数据主体和元数据主体对应的对象值的文本。
示例性地，如图2所示，图2为本申请实施例提供的分类器模型的训练流程示意图。
由图2可知，在本实施例中，分类器模型的训练过程包括S201至S205。详述如下：
S201：获取预设数量的元数据，对预设数量的元数据进行预处理，得到包括原始形式词汇的训练样本。
预设数量的元数据可以从开源数据库中获取，包括：文档、数据库表、文件或者软件应用程序等。对预设数量的元数据进行预处理，包括分词、去除停用词如“and”、“the”，再对分词以及去除停用词的元数据进行去词干化，得到包括原始形式词汇的训练样本。其中，去词干化的目标是将词汇的各种形式转换为它们的基本或原始形式，也称为词根形式或词元。有助于减少词汇的复杂性，将相关形式的词语归一化为同一形式，以便于容易进行文本分析和处理。
举例来说，对于动词 "running"，去词干化会将其还原为基本形式 "run"。同样，对于名词 "mice"，去词干化会将其还原为基本形式 "mouse"。这样可以减少词汇的变体，使文本处理更为简便。又如对于描述动作正在进行的词语“正在跑步”，去词干化会将其还原为基本形式“跑步”。同样，对于描述多个小鼠的词语，可以去词干化为“小鼠”。
S202：对训练样本中由原始词汇组成的文本进行语法分析，并进行关键词提取。
具体地，将训练样本中由原始词汇组成的文本拆分为句子，再将各句子拆分为词语；最后分析各词语之间的语法结构，得到语法分析结果。
关键词提取的过程可以采用词频统计算法、TF-IDF算法或者自然语言处理工具等。在此对关键词提取过程不做任何限定。
S203：基于语法分析结果，识别各关键词之间的关系。
其中，语法分析结果，包括：句子的结构、各词语的词性以及各词语之间的依存关系。
在一实施例中，基于语法分析结果，识别各关键词之间的关系，包括：基于句子的结构、各词语的词性以及各词语之间的依存关系；识别各关键词的词性标签以及与各关键词相关的修饰词；基于各关键词的词性标签以及与各关键词相关的修饰词，得到各关键词之间的关系。其中，关键词的词性标签包括但不限于名词、动词或者形容词等。通过对文本进行语法分析，以识别关键词之间的关系，找出可能表示主体和对象值的词汇组合。
具体地，根据各关键词之间的关系，标记文本中包括的元数据主体以及各元数据主体的对象值，得到目标训练样本，包括：根据各关键词之间的关系，在文本中查找包含有任意关键词的主谓宾结构的句子；对主谓宾结构的句子进行元数据主体以及各元数据主体的对象值标记，得到目标训练样本。
S204：根据各关键词之间的关系，标记文本中包括的元数据主体以及各元数据主体的对象值，得到目标训练样本。
根据各关键词之间的语法结构和语义关系，识别代表元数据主体的关键词以及各元数据主体的对应的对象值。其中，各关键词之间的语法结构可以标识各关键词之间的依赖关系，语义关系可以标识各关键词之间的修饰关系。
代表元数据主体的关键词为具有特殊含义或者具有重要性地位中的词汇。如代表文档主题相关的关键词、具有实体含义的关键词或者具有特定信息的关键词。元数据主体对应的对象值是元数据主体所描述的实际内容，可以是具体数值、文本片段或者其他信息。
S205：基于目标训练样本对预先构建的分类器网络进行训练，得到分类器模型。
预先构建的分类器网络包括但不限于：多层感知器网络、卷积神经网络、循环神经网络、长短时记忆网络、门控循环单元网络、支持向量机网络、决策树网络、随机森林网络、K最近邻算法网络或者深度信念网络中的至少之一。
在实际应用中，可以根据具体元数据的性质和数据特征选择合适的分类器网络。选择合适的分类器网络通常依赖于问题的复杂性、数据的性质以及可用的计算资源。在此不再做限定。
S102：对各元数据主体和各元数据主体对应的对象值进行统计，建立目标元数据的分布模型。
示例性地，对各元数据主体和各元数据主体对应的对象值进行统计，建立目标元数据的分布模型，包括：分别计算各元数据主体出现的频率，以及各元数据主体对应的对象值出现的平均值、中位数和标准差；分析各元数据主体出现的频率、各元数据主体对应的对象值出现的平均值、中位数和标准差的分布形态；根据各元数据主体出现的频率、各元数据主体对应的对象值出现的平均值、中位数和标准差的分布形态，建立所述目标元数据的分布模型。
具体地，对于文本数据，可以使用计数方法来计算每个元数据主体的出现频率。例如，假设有一组文本数据，其中包含元数据主体为“价格”、“销售量”和“日期”，计算它们在数据集中出现的频率分别对应为每个元数据主体的出现频率。而对于文本数据其对应的对象值通常为数值型的对象值，可以使用统计方法计算平均值、中位数和标准差。例如，以元数据主体为“价格”为例，计算其对应的平均值、中位数和标准差的过程，包括：提取价格信息，将价格信息转换为数值类型，计算数值类型的平均值、中位数和标准差。在得到上述数据后，可以使用统计图表或图像来可视化各元数据主体的频率以及对象值的分布情况，例如，使用直方图、箱线图等。最后根据频率和对象值的分布形态，选择适当的数学模型来描述数据的分布。可以使用概率分布模型，例如正态分布、泊松分布等。
需要说明的是，上述步骤虽然已文本数据为例进行示例性说明，但是对应可以应用于其他元数据主体，在此不再赘述。
S103：基于目标元数据的分布模型，确定目标元数据的元数据口径更新策略。
元数据口径是一种数据管理的概念，用于指导元数据管理的调整和改进。在本申请中，首先，通过对元数据主体和对象值的分布模型进行分析，了解元数据主体的整体特征和对象值的分别情况；然后，利用建立的分布模型，识别出异常主体和对象值；再根据异常主体和对象值，定义元数据口径更新策略。其中，异常主体是指与分布模型偏离较大的数据点，该数据点对应的对象值为异常对象值，定义的元数据口径更新策略包括对异常主体对应的异常对象值进行修正、删除，或者修改元数据的描述、数据类型、取值范围等。以提高元数据的准确性和一致性。
示例性地，如图3所示，图3为图1中S103的具体实现流程示意图。由图3可知，S103包括：
S1031：基于目标元数据的分布模型，确定目标元数据中元数据主体的整体特征以及各元数据主体对应的对象值的分布情况。
S1032：根据元数据主体的整体特征，识别出异常主体。
S1033：根据各元数据主体对应的对象值的分布情况，识别出异常对象值。
S1034：根据异常主体和异常对象值，确定目标元数据的元数据口径更新策略。
通过识别和处理异常主体和对象值，可以提高元数据的直流，减少潜在的错误和不一致性，使数据更加可信。
S104：根据元数据口径更新策略，对目标元数据进行元数据口径更新。
元数据口径更新的目的是为了确保元数据的定义和管理与实际业务需求和数据质量要求相一致。在本申请实施例中，通过针对发现的异常主体和异常对象值，对异常主体对应的异常对象值进行修正、删除，或者修改元数据的描述、数据类型、取值范围等，确保元数据的准确性和一致性，从而增强元数据在业务决策和分析中的可信度。
通过上述分析可知，本申请实施例提供的元数据管理方法，包括：对目标元数据进行分析，得到目标元数据包括的元数据主体和各元数据主体对应的对象值；对各元数据主体和各元数据主体对应的对象值进行统计，建立目标元数据的分布模型；基于目标元数据的分布模型，确定目标元数据的元数据口径更新策略；根据元数据口径更新策略，对目标元数据进行元数据口径更新。上述方案，通过对目标元数据进行分析，得到目标元数据包括的元数据主体和各元数据主体对应的对象值后，对各元数据主体和各元数据主体对应的对象值进行统计，建立目标元数据的分布模型。有助于深入了解元数据的分布情况，同时基于目标元数据的分布模型，确定元数据口径更新策略，能够有效制定针对特定元数据的优化和更新方案。通过上述技术方案，有助于提高元数据的管理和利用效能，保证元数据的准确性和一致性。在实际应用中，可以根据具体场景和需求进行调整和扩展。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
请参见图4，图4为本申请实施例提供的元数据管理装置的示意图。包括的各模块或单元用于执行图1对应的实施例中的各步骤。具体请参阅图1对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图4，元数据管理装置4包括：
分析模块41，用于对目标元数据进行分析，得到目标元数据包括的元数据主体和各元数据主体对应的对象值；
统计模块42，用于对各元数据主体和各元数据主体对应的对象值进行统计，建立目标元数据的分布模型；
确定模块43，用于基于目标元数据的分布模型，确定目标元数据的元数据口径更新策略；
更新模块44，用于根据元数据口径更新策略，对目标元数据进行元数据口径更新。
进一步地，分析模块41，具体用于：
利用预先训练完成的分类器模型对目标元数据进行分析，得到目标元数据包括的元数据主体和各元数据主体对应的对象值。
进一步地，预先训练完成的分类器模型的训练过程，包括：
获取预设数量的元数据，对预设数量的元数据进行预处理，得到包括原始形式词汇的训练样本；
对训练样本中由原始词汇组成的文本进行语法分析，并进行关键词提取；
基于语法分析结果，识别各关键词之间的关系；
根据各关键词之间的关系，标记文本中包括的元数据主体以及各元数据主体的对象值，得到目标训练样本；
基于目标训练样本对预先构建的分类器网络进行训练，得到分类器模型。
进一步地，语法分析结果，包括：句子的结构、各词语的词性以及各词语之间的依存关系；
基于语法分析结果，识别各关键词之间的关系，包括：
基于句子的结构、各词语的词性以及各词语之间的依存关系，识别各关键词的词性标签以及与各关键词相关的修饰词；
基于各关键词的词性标签以及与各关键词相关的修饰词，得到各关键词之间的关系。
进一步地，根据各关键词之间的关系，标记文本中包括的元数据主体以及各元数据主体的对象值，得到目标训练样本，包括：
根据各关键词之间的关系，在文本中查找包含有任意关键词的主谓宾结构的句子；
对主谓宾结构的句子进行元数据主体以及各元数据主体的对象值标记，得到目标训练样本。
进一步地，统计模块42，包括：
计算单元，用于别计算各元数据主体出现的频率，以及各元数据主体对应的对象值出现的平均值、中位数和标准差；
分析单元，用于分析频率、平均值、中位数和标准差的分布形态；
建立单元，用于根据分布形态，建立目标元数据的分布模型。
进一步地，确定模块43，包括：
第一确定单元，用于基于目标元数据的分布模型，确定目标元数据中元数据主体的整体特征以及各元数据主体对应的对象值的分布情况；
第一识别单元，用于根据元数据主体的整体特征，识别出异常主体；
第二识别单元，用于根据各元数据主体对应的对象值的分布情况，识别出异常对象值；
第二确定单元，用于根据异常主体和异常对象值，确定目标元数据的元数据口径更新策略。
请参见图5，图5为本申请实施例提供的元数据管理设备的示意图。
如图5所示，元数据管理设备5包括：处理器50、存储器51以及存储在存储器51中并可在处理器50上运行的计算机程序52，例如元数据管理程序。处理器50执行计算机程序52时实现上述各个元数据管理方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，处理器50执行计算机程序52时实现上述各装置实施例中各模块/单元的功能，例如图4所示分析模块41至更新模块44的功能。
示例性的，计算机程序52可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器51中，并由处理器50执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序52在元数据管理设备5中的执行过程。例如，计算机程序52可以被分割成分析模块、统计模块、确定模块以及更新模块，各模块具体功能如下：
分析模块，用于对目标元数据进行分析，得到目标元数据包括的元数据主体和各元数据主体的对象值；
统计模块，用于对各元数据主体和各元数据主体的对象值进行统计，建立目标元数据的分布模型；
确定模块，用于基于目标元数据的分布模型，确定目标元数据的元数据口径更新策略；
更新模块，用于根据元数据口径更新策略，对目标元数据进行元数据口径更新。
应理解，元数据管理设备可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是元数据管理设备5的示例，并不构成对元数据管理设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如元数据管理设备5还可以包括输入输出设备、网络接入设备、总线等。
所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器51可以是元数据管理设备5的内部存储单元，例如元数据管理设备5的硬盘或内存。存储器51也可以是元数据管理设备5的外部存储设备，例如元数据管理设备5上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，元数据管理设备5还可以既包括元数据管理设备5的内部存储单元也包括外部存储设备。存储器51用于存储计算机程序以及元数据管理设备5所需的其他程序和数据。存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
本申请实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在存储器中并可在所述至少一个处理器上运行的计算机程序，处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象值代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种元数据管理方法，其特征在于，包括：
对目标元数据进行分析，得到所述目标元数据包括的元数据主体和各所述元数据主体对应的对象值；
对各所述元数据主体和各所述元数据主体对应的对象值进行统计，建立所述目标元数据的分布模型；
基于所述目标元数据的分布模型，确定所述目标元数据的元数据口径更新策略；
根据所述元数据口径更新策略，对所述目标元数据进行元数据口径更新。
2.如权利要求1所述的元数据管理方法，其特征在于，所述对目标元数据进行分析，得到所述目标元数据包括的元数据主体和各所述元数据主体对应的对象值，包括：
利用预先训练完成的分类器模型对所述目标元数据进行分析，得到所述目标元数据包括的元数据主体和各所述元数据主体对应的对象值。
3.如权利要求2所述的元数据管理方法，其特征在于，所述预先训练完成的分类器模型的训练过程，包括：
获取预设数量的元数据，对所述预设数量的元数据进行预处理，得到包括原始形式词汇的训练样本；
对所述训练样本中由原始词汇组成的文本进行语法分析，并进行关键词提取；
基于所述语法分析结果，识别各关键词之间的关系；
根据所述各关键词之间的关系，标记所述文本中包括的元数据主体以及各元数据主体的对象值，得到目标训练样本；
基于所述目标训练样本对预先构建的分类器网络进行训练，得到所述分类器模型。
4.如权利要求3所述的元数据管理方法，其特征在于，所述语法分析结果，包括：句子的结构、各词语的词性以及各词语之间的依存关系；
所述基于所述语法分析结果，识别各关键词之间的关系，包括：
基于所述句子的结构、所述各词语的词性以及所述各词语之间的依存关系；
识别所述各关键词的词性标签以及与所述各关键词相关的修饰词；
基于所述各关键词的词性标签以及与所述各关键词相关的修饰词，得到所述各关键词之间的关系。
5.如权利要求4所述的元数据管理方法，其特征在于，所述根据所述各关键词之间的关系，标记所述文本中包括的元数据主体以及各元数据主体的对象值，得到目标训练样本，包括：
根据所述各关键词之间的关系，在所述文本中查找包含有任意所述关键词的主谓宾结构的句子；
对所述主谓宾结构的句子进行元数据主体以及各元数据主体的对象值标记，得到目标训练样本。
6.如权利要求1所述的元数据管理方法，其特征在于，所述对各所述元数据主体和各所述元数据主体对应的对象值进行统计，建立所述目标元数据的分布模型，包括：
分别计算各所述元数据主体出现的频率，以及各所述元数据主体对应的对象值出现的平均值、中位数和标准差；
分析所述频率、所述平均值、所述中位数和所述标准差的分布形态；
根据所述频率、所述平均值和所述分布形态，建立所述目标元数据的分布模型。
7.如权利要求6所述的元数据管理方法，其特征在于，所述基于所述目标元数据的分布模型，确定所述目标元数据的元数据口径更新策略，包括：
基于所述目标元数据的分布模型，确定所述目标元数据中所述元数据主体的整体特征以及各所述元数据主体对应的对象值的分布情况；
根据所述元数据主体的整体特征，识别出异常主体；
根据各所述元数据主体对应的对象值的分布情况，识别出异常对象值；
根据所述异常主体和所述异常对象值，确定所述目标元数据的元数据口径更新策略。
8.一种元数据管理装置，其特征在于，包括：
分析模块，用于对目标元数据进行分析，得到所述目标元数据包括的元数据主体和各所述元数据主体的对象值；
统计模块，用于对各所述元数据主体和各所述元数据主体的对象值进行统计，建立所述目标元数据的分布模型；
确定模块，用于基于所述目标元数据的分布模型，确定所述目标元数据的元数据口径更新策略；
更新模块，用于根据所述元数据口径更新策略，对所述目标元数据进行元数据口径更新。
9.一种设备，所述设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN202410061483.XA 2024-01-16 2024-01-16 元数据管理方法、装置、设备及存储介质 Active CN117573956B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410061483.XA CN117573956B (zh) 2024-01-16 2024-01-16 元数据管理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410061483.XA CN117573956B (zh) 2024-01-16 2024-01-16 元数据管理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117573956A true CN117573956A (zh) 2024-02-20
CN117573956B CN117573956B (zh) 2024-05-07

Family

ID=89862901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410061483.XA Active CN117573956B (zh) 2024-01-16 2024-01-16 元数据管理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117573956B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140052697A1 (en) * 2012-08-20 2014-02-20 Bank Of America Corporation Correction of check processing defects
US20150237341A1 (en) * 2014-02-17 2015-08-20 Snell Limited Method and apparatus for managing audio visual, audio or visual content
CN111339372A (zh) * 2019-12-27 2020-06-26 中思博安科技（北京）有限公司 元数据的管理方法和装置
CN113869633A (zh) * 2021-08-23 2021-12-31 国网安徽省电力有限公司信息通信分公司 一种配电网多源数据质量管控方法
CN114781343A (zh) * 2022-06-21 2022-07-22 南京信息工程大学 元数据表格信息批量填写方法和装置
CN114911917A (zh) * 2022-07-13 2022-08-16 树根互联股份有限公司 资产元信息搜索方法、装置、计算机设备及可读存储介质
CN116431825A (zh) * 2023-03-31 2023-07-14 西安电子科技大学 一种面向全域全场景按需服务的6g知识体系的构建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140052697A1 (en) * 2012-08-20 2014-02-20 Bank Of America Corporation Correction of check processing defects
US20150237341A1 (en) * 2014-02-17 2015-08-20 Snell Limited Method and apparatus for managing audio visual, audio or visual content
CN111339372A (zh) * 2019-12-27 2020-06-26 中思博安科技（北京）有限公司 元数据的管理方法和装置
CN113869633A (zh) * 2021-08-23 2021-12-31 国网安徽省电力有限公司信息通信分公司 一种配电网多源数据质量管控方法
CN114781343A (zh) * 2022-06-21 2022-07-22 南京信息工程大学 元数据表格信息批量填写方法和装置
CN114911917A (zh) * 2022-07-13 2022-08-16 树根互联股份有限公司 资产元信息搜索方法、装置、计算机设备及可读存储介质
CN116431825A (zh) * 2023-03-31 2023-07-14 西安电子科技大学 一种面向全域全场景按需服务的6g知识体系的构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
于千城;: "商务智能系统中的元数据管理策略研究", 电脑知识与技术, no. 28, 5 October 2008 (2008-10-05), pages 178 - 190 *

Also Published As

Publication number Publication date
CN117573956B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
CN113011533B (zh) 文本分类方法、装置、计算机设备和存储介质
CN111898366B (zh) 文献主题词聚合方法、装置、计算机设备及可读存储介质
CN109299280B (zh) 短文本聚类分析方法、装置和终端设备
WO2020259280A1 (zh) 日志管理方法、装置、网络设备和可读存储介质
CN112016313B (zh) 口语化要素识别方法及装置、警情分析系统
CN111177375B (zh) 一种电子文档分类方法及装置
CN110083832B (zh) 文章转载关系的识别方法、装置、设备及可读存储介质
US20220358379A1 (en) System, apparatus and method of managing knowledge generated from technical data
US11594054B2 (en) Document lineage management system
CN113127607A (zh) 文本数据标注方法、装置、电子设备及可读存储介质
CN114398968B (zh) 基于文件相似度对同类获客文件进行标注的方法和装置
CN108763202A (zh) 识别敏感文本的方法、装置、设备及可读存储介质
CN115062621A (zh) 标签提取方法、装置、电子设备和存储介质
CN114676346A (zh) 新闻事件处理方法、装置、计算机设备和存储介质
CN113590811A (zh) 文本摘要生成方法、装置、电子设备及存储介质
CN112613293A (zh) 摘要生成方法、装置、电子设备及存储介质
CN115858776B (zh) 一种变体文本分类识别方法、系统、存储介质和电子设备
CN111831624A (zh) 数据表创建方法、装置、计算机设备及存储介质
CN116578700A (zh) 日志分类方法、日志分类装置、设备及介质
CN117573956B (zh) 元数据管理方法、装置、设备及存储介质
CN116090450A (zh) 一种文本处理方法及计算设备
CN115840808A (zh) 科技项目咨询方法、装置、服务器及计算机可读存储介质
CN116822491A (zh) 日志解析方法及装置、设备、存储介质
AU2019290658B2 (en) Systems and methods for identifying and linking events in structured proceedings
CN112597208A (zh) 企业名称检索方法、企业名称检索装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant