CN116737520A - 一种日志数据的数据编织方法、装置、设备及存储介质 - Google Patents

一种日志数据的数据编织方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116737520A
CN116737520A CN202310693099.7A CN202310693099A CN116737520A CN 116737520 A CN116737520 A CN 116737520A CN 202310693099 A CN202310693099 A CN 202310693099A CN 116737520 A CN116737520 A CN 116737520A
Authority
CN
China
Prior art keywords
entity
identified
noun
log data
word vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310693099.7A
Other languages
English (en)
Other versions
CN116737520B (zh
Inventor
饶琛琳
梁玫娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youtejie Information Technology Co ltd
Original Assignee
Beijing Youtejie Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youtejie Information Technology Co ltd filed Critical Beijing Youtejie Information Technology Co ltd
Priority to CN202310693099.7A priority Critical patent/CN116737520B/zh
Publication of CN116737520A publication Critical patent/CN116737520A/zh
Application granted granted Critical
Publication of CN116737520B publication Critical patent/CN116737520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Machine Translation (AREA)

Abstract

本发明实施例公开了一种日志数据的数据编织方法、装置、设备及存储介质。该方法包括：采集至少一个数据源的日志数据，并通过预设词典以及预设筛选条件进行数据匹配，确定日志数据中的动词，以及疑似实体名词；对各数据源对应的疑似实体名词进行聚合，得到待识别实体名词；对待识别实体名词进行识别，得到与待识别实体名词对应的概念实例对；根据日志数据中预设距离内的动词与概念实例对中实体的关联关系，以及概念实例对，得到日志数据编织形成的元数据图谱。该方法可以实现日志数据的编织，避免由于日志数据的多义性、词汇外、定制化等因素，导致的数据编织性能差的问题，从而提高日志数据编织性能。

Description

一种日志数据的数据编织方法、装置、设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种日志数据的数据编织方法、装置、设备及存储介质。
背景技术
数据编织是数据治理的进阶概念，主要特点是主动式、智能化的元数据管理和分散的主数据虚拟化。一般来说，运维数据的元数据主要依赖配置管理数据库(Configuration Management Database，CMDB)、结构化的监控指标、网络流向包做实体关系。
在数据编织中通常是根据数据特征设计转换规则，需要繁琐的人工处理，在系统迁移时容易受到影响。并且，由于转换规则不可能穷尽所有可能性，数据编织存在局限性。日志数据具有多义性，采用正则表达式进行转换规则设定时，无法区分参数的多义性。即便是采用文本挖掘方法，也无法理解日志数据中具有特定含义的变量。此外，日志数据存在严重的词汇外(OOV)问题，且存在大量的定制化词汇，均会导致数据编织性能下降。
发明内容
本发明提供了一种日志数据的数据编织方法、装置、设备及存储介质，以提高日志数据编织性能。
根据本发明的一方面，提供了一种日志数据的数据编织方法，该方法包括：
采集至少一个数据源的日志数据，并通过预设词典以及预设筛选条件进行数据匹配，确定所述日志数据中的动词，以及疑似实体名词；
对各数据源对应的所述疑似实体名词进行聚合，得到待识别实体名词；
对所述待识别实体名词进行识别，得到与所述待识别实体名词对应的概念实例对；
根据日志数据中预设距离内的动词与所述概念实例对中实体的关联关系，以及所述概念实例对，得到日志数据编织形成的元数据图谱。
根据本发明的另一方面，提供了一种日志数据的数据编织装置，该装置包括：
疑似实体名词确定模块，用于采集至少一个数据源的日志数据，并通过预设词典以及预设筛选条件进行数据匹配，确定所述日志数据中的动词，以及疑似实体名词；
待识别实体名词确定模块，用于对各数据源对应的所述疑似实体名词进行聚合，得到待识别实体名词；
概念实例对确定模块，用于对所述待识别实体名词进行识别，得到与所述待识别实体名词对应的概念实例对；
元数据图谱确定模块，用于根据日志数据中预设距离内的动词与所述概念实例对中实体的关联关系，以及所述概念实例对，得到日志数据编织形成的元数据图谱。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的日志数据的数据编织方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的日志数据的数据编织方法。
本发明实施例的技术方案，通过采集至少一个数据源的日志数据，并通过预设词典以及预设筛选条件进行数据匹配，确定日志数据中的动词，以及疑似实体名词；对各数据源对应的疑似实体名词进行聚合，得到待识别实体名词；对待识别实体名词进行识别，得到与待识别实体名词对应的概念实例对；根据日志数据中预设距离内的动词与概念实例对中实体的关联关系，以及概念实例对，得到日志数据编织形成的元数据图谱，解决了日志数据的编织问题，可以避免由于日志数据的多义性、词汇外、定制化等因素，导致的数据编织性能差的问题，从而提高日志数据编织性能。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种日志数据的数据编织方法的流程图；
图2是根据本发明实施例二提供的一种日志数据的数据编织方法的流程图；
图3是根据本发明实施例三提供的一种日志数据的数据编织装置的结构示意图；
图4是实现本发明实施例的日志数据的数据编织方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1是根据本发明实施例一提供的一种日志数据的数据编织方法的流程图，本实施例可适用于对多个数据源的日志数据进行整合，形成一个完整数据集的情况，该方法可以由日志数据的数据编织装置来执行，该日志数据的数据编织装置可以采用硬件和/或软件的形式实现，该日志数据的数据编织装置可配置于电子设备如计算机中。如图1所示，该方法包括：
步骤110、采集至少一个数据源的日志数据，并通过预设词典以及预设筛选条件进行数据匹配，确定日志数据中的动词，以及疑似实体名词。
其中，数据源可以是各种类型的数据库、文件、web服务以及API等。日志数据可以是非结构化的数据。预设词典可以是日志数据处理者对日志数据中常出现的动词进行总结形成的。或者，预设词典可以是根据语义分析形成的。该动词可以表示数据之间的关联关系。例如，“is”是动词，预设字典中可以存在“is”。
预设筛选条件可以是针对实体名词的确定设定的。例如，预设筛选条件包括：词不在预设词典中、词的字符长度或字长度超过一定阈值、以及词具有某种参数属性等。满足预设筛选条件的词可以被确定为疑似实体名词。实体名词可以是概念、实例或者均不是。例如，“cell”是概念，“949e1227”是与“cell”对应的实例，“cell”与“949e1227”构成概念实例对(CI对)。
步骤120、对各数据源对应的疑似实体名词进行聚合，得到待识别实体名词。
其中，聚合可以采用聚合算法实现。例如，聚合算法是分布式全文检索(Elasticsearch，ES)的categorize_text算法。
步骤130、对待识别实体名词进行识别，得到与待识别实体名词对应的概念实例对。
其中，对待识别名词进行识别可以是确定其实概念、实例、或者两者均不是，并在确定其为概念、实例的基础上，进一步识别与其对应的实例或概念，构成概念实例对。
具体的，待识别实体名词识别方式可以有多种。例如，可以是根据预先设置的概念实例知识库进行匹配识别。或者，可以是根据深度学习模型进行识别。又或者，可以是二者相结合的方式。
在本发明实施例的一个可选实施方式中，对待识别实体名词进行识别，得到与待识别实体名词对应的概念实例对，包括：对日志数据进行语料训练，确定日志数据中各词对应的词向量；根据与待识别实体名词对应的词向量，确定包含上下文信息的待识别实体词向量；根据与待识别实体名词前的前一实体名词对应的词向量，确定包含上下文信息的前一实体词向量；根据待识别实体名词与前一实体名词之间的各词所对应的词向量，确定区间词向量；根据待识别实体词向量、前一实体词向量以及区间词向量，对待识别实体名词进行识别，得到与待识别实体名词对应的概念实例对。
其中，语料训练可以是云计算管理平台(OpenStack)领域的语料库训练。通过语料训练，可以得到领域特定的词向量。具体的，可以设置10个周期的普遍skip-gram模型，并将词嵌入维度设置为100进行语料训练，得到词向量。在此基础上，为了进一步提高概念实例对的配对准确率，还可以在语料训练得到的结果上嵌入字符级特征和/或属性特征。
待识别实体词向量和前一实体词向量均可以是通过捕捉日志数据中词前后的上下文信息确定的。例如，可以是将与待识别实体名词和前一实体名词对应的词向量分别输入至深度学习模型，进行上下文语义信息捕捉，得到待识别实体词向量和前一实体词向量。
在本发明实施例中，确定与待识别实体名词对应的概念实例对，可以是确定待识别实体名词与在待识别实体名词前面的名词即前一实体名词之间是否存在概念实例对关系。因此，区间词向量可以是由位于待识别实体名词与前一实体名词之间的各词所对应的词向量所确定的。
具体的，在本发明实施例的一个可选实施方式中，根据待识别实体名词与前一实体名词之间的各词所对应的词向量，确定区间词向量，包括：将待识别实体名词与前一实体名词之间的各词分别对应的词向量的平均值，作为区间词向量。
例如，待识别实体名词记为wx，前一实体名词记为wy，区间词向量表示为contxx,y，则contxx,y＝(emb(wx+1)+...+emb(wy-1))/(y-x-1)。其中，emb(·)表示词的嵌入表示，即词向量。
在本发明实施例中，可以通过将待识别实体词向量、前一实体词向量以及区间词向量输入至前馈神经网络，得到待识别实体名词与前一实体名词配对成概念实例对的评分，进而可以确定与待识别实体名词对应的概念实例对。
在本发明实施例的一个可选实施方式中，对待识别实体名词进行识别，得到与待识别实体名词对应的概念实例对，包括：获取概念实例知识库，在确定待识别实体名词不存在于概念实例知识库时，对待识别实体名词进行识别，得到与待识别实体名词对应的概念实例对；在对待识别实体名词进行识别，得到与待识别实体名词对应的概念实例对之后，还包括：将待识别实体名词的识别结果，添加至概念实例知识库。
其中，概念实例知识库可以是由历史识别的概念实例对构成的。概念实例库可以随着识别得到的概念实例对进行不断更新。此外，在概念实例知识库中还可以包括人工标注的概念实例对。
具体的，可以在公开的日志数据集中随机抽样部分日志进行人工标注，标注日志数据中的词是概念、实例或其他，并标注日志中的显式概念实例对，存储至概念实例知识库中。在采集的日志数据中，可以根据概念实例知识库进行匹配，如果待识别实体名词存在于概念实例知识库中，则可以进一步确定前一实体名词是否在概念实例知识库中，且与待识别实体名词构成概念实例对。如果否，则对待识别实体名词进行识别，得到与待识别实体名词对应的概念实例对。
通过概念实例知识库可以减少待识别实体名词的识别工作量，提高概念实例对确定效率，节省识别成本，并提高识别准确率。
步骤140、根据日志数据中预设距离内的动词与概念实例对中实体的关联关系，以及概念实例对，得到日志数据编织形成的元数据图谱。
其中，预设距离内的日志数据可以是指一行以内的日志数据，或者可以是指多行且具有ID关联的序列内的日志数据。概念实例对中的概念以及实例均是实体。如果概念实例对中的实体与其他的实体通过动词存在关联关系，则可以依据该关联关系，构建元数据图谱。通过上述方式进行日志数据编织，可以提高数据编织性能。
本实施例的技术方案，通过采集至少一个数据源的日志数据，并通过预设词典以及预设筛选条件进行数据匹配，确定日志数据中的动词，以及疑似实体名词；对各数据源对应的疑似实体名词进行聚合，得到待识别实体名词；对待识别实体名词进行识别，得到与待识别实体名词对应的概念实例对；根据日志数据中预设距离内的动词与概念实例对中实体的关联关系，以及概念实例对，得到日志数据编织形成的元数据图谱，解决了日志数据的编织问题，避免由于日志数据的多义性、词汇外、定制化等因素，导致的数据编织性能差的问题，从而提高日志数据编织性能。
实施例二
图2是根据本发明实施例二提供的一种日志数据的数据编织方法的流程图，本实施例是对上述技术方案的进一步细化，本实施例中的技术方案可以与上述一个或者多个实施例中的各个可选方案结合。如图2所示，该方法包括：
步骤210、采集至少一个数据源的日志数据，并通过预设词典以及预设筛选条件进行数据匹配，确定日志数据中的动词，以及疑似实体名词。
步骤220、对各数据源对应的疑似实体名词进行聚合，得到待识别实体名词。
步骤230、对日志数据进行语料训练，确定日志数据中各词对应的词向量。
在本发明实施例的一个可选实施方式中，对日志数据进行语料训练，确定日志数据中各词对应的词向量，包括：对日志数据中的各词进行语料库训练，得到词级嵌入的第一词向量；采用卷积神经网络对日志数据中的各词进行特征提取，得到字符级嵌入的第二词向量；根据日志数据中各词所具有的属性特征，得到第三词向量；将第一词向量、第二词向量以及第三词向量进行拼接，生成日志数据中各词的词向量。
其中，通过OpenStack领域的语料训练，得到词级嵌入的第一词向量，记为wordi。进一步的，可以通过卷积神经网络对日志数据中的各词进行特征提取，得到字符级嵌入的第二词向量，记为chari。第三词向量可以记为fi local。第三词向量可以表征词所具有的属性特征，例如，词是否全部大写、是否全部小写、是否首字母大写、词的长度、词是否包含数字、是否包含特殊字符等。第三词向量可以是深度学习模型识别得到的，也可以是人工设定的。词向量可以记为[wordi；chari；fi local]。
步骤240、根据与待识别实体名词对应的词向量，确定包含上下文信息的待识别实体词向量。
在本发明实施例的一个可选实施方式中，根据与待识别实体名词对应的词向量，确定包含上下文信息的待识别实体词向量，包括：将待识别实体名词对应的词向量输入至深度双向LSTM语义解析器，得到包含上下文信息的待识别实体词向量。
其中，深度双向LSTM语义解析器中第一层可以是将词wi对应的词向量，如[wordi；chari；fi local]作为输入，得到hi，表示wi的上下文语义信息；第二层可以是将第一层的hi作为输入，得到mi表示wi考虑上下文后更丰富的语义信息。通过两层的深度双向LSTM语义解析器，可以有效捕捉日志数据中每个词前后的上下文信息。
双向可以理解为由两个方向的LSTM组成，一个从左到右处理序列，另一个从右到左处理序列。这样，每个位置的输出都包含了该位置的过去和未来的上下文信息。
具体的，第一层的前向LSTM可以对句子从左到右进行处理,得到每个词wi的前向隐状态表示→hi，后向LSTM可以对句子从右到左进行处理,得到每个词wi的后向隐状态表示←hi。将前向和后向的隐状态拼接，得到[→hi；←hi]记为wi的第一层隐状态hi。第二层将hi作为输入，进行前向LSTM从左到右处理，得到→mi；将hi作为输入，进行后向LSTM从右到左处理，得到←mi。拼接→mi和←mi，得到wi的第一层隐状态mi。
步骤250、根据与待识别实体名词前的前一实体名词对应的词向量，确定包含上下文信息的前一实体词向量。
在本发明实施例的一个可选实施方式中，根据与待识别实体名词前的前一实体名词对应的词向量，确定包含上下文信息的前一实体词向量，包括：将前一实体名词对应的词向量输入至深度双向LSTM语义解析器，得到包含上下文信息的前一实体词向量。
其中，深度双向LSTM语义解析器可以是双层深度双向LSTM语义解析器。通过双层深度双向LSTM语义解析器确定上下文信息，可以使待识别实体名词的识别包含更多的信息，避免日志消息的词外汇问题、定制化问题、以及多义性问题，提高数据编织能力。
步骤260、根据待识别实体名词与前一实体名词之间的各词所对应的词向量，确定区间词向量。
在本发明实施例的一个可选实施方式中，根据待识别实体名词与前一实体名词之间的各词所对应的词向量，确定区间词向量，包括：将待识别实体名词与前一实体名词之间的各词分别对应的词向量的平均值，作为区间词向量。
通过区间词向量可以使待识别实体名词的识别包含更多的信息，避免日志消息的词外汇问题、定制化问题、以及多义性问题，提高数据编织能力。
步骤270、根据待识别实体词向量、前一实体词向量以及区间词向量，对待识别实体名词进行识别，得到与待识别实体名词对应的概念实例对。
在本发明实施例的一个可选实施方式中，根据待识别实体词向量、前一实体词向量以及区间词向量，对待识别实体名词进行识别，得到与待识别实体名词对应的概念实例对，包括：将待识别实体词向量、前一实体词向量以及区间词向量，进行拼接形成词对特征向量；将词对特征向量输入至第一前馈神经网络，得到待识别实体名词与前一实体名词构成概念实例对的配对评分；将待识别实体词向量输入至第二前馈神经网络，得到待识别实体名词归属为概念或实例的归属评分；根据第一前馈神经网络与第二前馈神经网络，确定交叉熵损失函数；根据配对评分、归属评分、以及交叉熵损失函数，确定待识别实体名词的识别结果。
其中，词对特征向量可以表示为具体的，可以将词对特征向量通过第一前馈神经网络进行得分，在该网络上方可以使用损失函数(softmax)进行归一化，用于损失计算。将词对特征向量输入至第一前馈神经网络，可以输出待识别实体名词与前一实体名词构成概念实例对的配对评分。根据该配对评分，可以确定待识别实体名词与前一实体名词是否构成概念实例对。
第一前馈神经网络与第二前馈神经网络可以具有相同的网络结构，区别仅在于具体的参数不同。参数可以是根据实际训练调整确定的。将待识别实体词向量输入至第二前馈神经网络，可以输出待识别实体名词归属为概念或实例的归属评分。根据该归属评分，可以确定待识别实体名词是概念、实例或者两者都不是。这三个类别的可能性将通过softmax层进行归一化，然后计算损失。通过最小化交叉熵损失函数，对每个词将其配对的最高概率和其类型得分视为最终的识别结果。
通过前馈神经网络可以避免数据编织中转换规则的人工定义，以及穷举，也无需通过正则表达式区分参数的多义性，可以提高数据编织性能。
步骤280、根据日志数据中预设距离内的动词与概念实例对中实体的关联关系，以及概念实例对，得到日志数据编织形成的元数据图谱。
本发明实施例的技术方案，通过采集至少一个数据源的日志数据，并通过预设词典以及预设筛选条件进行数据匹配，确定日志数据中的动词，以及疑似实体名词；对各数据源对应的疑似实体名词进行聚合，得到待识别实体名词；对日志数据进行语料训练，确定日志数据中各词对应的词向量；根据与待识别实体名词对应的词向量，确定包含上下文信息的待识别实体词向量；根据与待识别实体名词前的前一实体名词对应的词向量，确定包含上下文信息的前一实体词向量；根据待识别实体名词与前一实体名词之间的各词所对应的词向量，确定区间词向量；根据待识别实体词向量、前一实体词向量以及区间词向量，对待识别实体名词进行识别，得到与待识别实体名词对应的概念实例对；根据日志数据中预设距离内的动词与概念实例对中实体的关联关系，以及概念实例对，得到日志数据编织形成的元数据图谱，解决了日志数据的编织问题，可以对非结构化的日志数据中的实体信息进行有效识别，并利用词典中的动词完成三元组构建，从而进行数据编织工作，提高数据编织性能。
本发明实施例的技术方案中，所涉及日志数据的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
实施例三
图3是根据本发明实施例三提供的一种日志数据的数据编织装置的结构示意图。如图3所示，该装置包括：疑似实体名词确定模块310，待识别实体名词确定模块320，概念实例对确定模块330和元数据图谱确定模块340。其中：
疑似实体名词确定模块310，用于采集至少一个数据源的日志数据，并通过预设词典以及预设筛选条件进行数据匹配，确定日志数据中的动词，以及疑似实体名词；
待识别实体名词确定模块320，用于对各数据源对应的疑似实体名词进行聚合，得到待识别实体名词；
概念实例对确定模块330，用于对待识别实体名词进行识别，得到与待识别实体名词对应的概念实例对；
元数据图谱确定模块340，用于根据日志数据中预设距离内的动词与概念实例对中实体的关联关系，以及概念实例对，得到日志数据编织形成的元数据图谱。
可选的，概念实例对确定模块330，包括：
词向量确定单元，用于对日志数据进行语料训练，确定日志数据中各词对应的词向量；
待识别实体词向量确定单元，用于根据与待识别实体名词对应的词向量，确定包含上下文信息的待识别实体词向量；
前一实体词向量确定单元，用于根据与待识别实体名词前的前一实体名词对应的词向量，确定包含上下文信息的前一实体词向量；
区间词向量确定单元，用于根据待识别实体名词与前一实体名词之间的各词所对应的词向量，确定区间词向量；
概念实例对确定单元，用于根据待识别实体词向量、前一实体词向量以及区间词向量，对待识别实体名词进行识别，得到与待识别实体名词对应的概念实例对。
可选的，词向量确定单元，具体用于：
对日志数据中的各词进行语料库训练，得到词级嵌入的第一词向量；
采用卷积神经网络对日志数据中的各词进行特征提取，得到字符级嵌入的第二词向量；
根据日志数据中各词所具有的属性特征，得到第三词向量；
将第一词向量、第二词向量以及第三词向量进行拼接，生成日志数据中各词的词向量。
可选的，待识别实体词向量确定单元，具体用于：
将待识别实体名词对应的词向量输入至深度双向LSTM语义解析器，得到包含上下文信息的待识别实体词向量；
可选的，前一实体词向量确定单元，具体用于：
将前一实体名词对应的词向量输入至深度双向LSTM语义解析器，得到包含上下文信息的前一实体词向量。
可选的，概念实例对确定单元，具体用于：
将待识别实体词向量、前一实体词向量以及区间词向量，进行拼接形成词对特征向量；
将词对特征向量输入至第一前馈神经网络，得到待识别实体名词与前一实体名词构成概念实例对的配对评分；
将待识别实体词向量输入至第二前馈神经网络，得到待识别实体名词归属为概念或实例的归属评分；
根据第一前馈神经网络与第二前馈神经网络，确定交叉熵损失函数；
根据配对评分、归属评分、以及交叉熵损失函数，确定待识别实体名词的识别结果。
可选的，区间词向量确定单元，具体用于：
将待识别实体名词与前一实体名词之间的各词分别对应的词向量的平均值，作为区间词向量。
可选的，概念实例对确定模块330，包括：
又一概念实例对确定单元，用于获取概念实例知识库，在确定待识别实体名词不存在于概念实例知识库时，对待识别实体名词进行识别，得到与待识别实体名词对应的概念实例对；
该装置，还包括：
概念实例知识库更新模块，用于在对待识别实体名词进行识别，得到与待识别实体名词对应的概念实例对之后，将待识别实体名词的识别结果，添加至概念实例知识库。
本发明实施例所提供的日志数据的数据编织装置可执行本发明任意实施例所提供的日志数据的数据编织方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如日志数据的数据编织方法。
在一些实施例中，日志数据的数据编织方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的日志数据的数据编织方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行日志数据的数据编织方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种日志数据的数据编织方法，其特征在于，包括：
采集至少一个数据源的日志数据，并通过预设词典以及预设筛选条件进行数据匹配，确定所述日志数据中的动词，以及疑似实体名词；
对各数据源对应的所述疑似实体名词进行聚合，得到待识别实体名词；
对所述待识别实体名词进行识别，得到与所述待识别实体名词对应的概念实例对；
根据日志数据中预设距离内的动词与所述概念实例对中实体的关联关系，以及所述概念实例对，得到日志数据编织形成的元数据图谱。
2.根据权利要求1所述的方法，其特征在于，对所述待识别实体名词进行识别，得到与所述待识别实体名词对应的概念实例对，包括：
对所述日志数据进行语料训练，确定所述日志数据中各词对应的词向量；
根据与所述待识别实体名词对应的词向量，确定包含上下文信息的待识别实体词向量；
根据与所述待识别实体名词前的前一实体名词对应的词向量，确定包含上下文信息的前一实体词向量；
根据所述待识别实体名词与所述前一实体名词之间的各词所对应的词向量，确定区间词向量；
根据所述待识别实体词向量、所述前一实体词向量以及所述区间词向量，对所述待识别实体名词进行识别，得到与所述待识别实体名词对应的概念实例对。
3.根据权利要求2所述的方法，其特征在于，对所述日志数据进行语料训练，确定所述日志数据中各词对应的词向量，包括：
对所述日志数据中的各词进行语料库训练，得到词级嵌入的第一词向量；
采用卷积神经网络对所述日志数据中的各词进行特征提取，得到字符级嵌入的第二词向量；
根据所述日志数据中各词所具有的属性特征，得到第三词向量；
将所述第一词向量、第二词向量以及第三词向量进行拼接，生成所述日志数据中各词的词向量。
4.根据权利要求3所述的方法，其特征在于，根据与所述待识别实体名词对应的词向量，确定包含上下文信息的待识别实体词向量，包括：
将所述待识别实体名词对应的词向量输入至深度双向LSTM语义解析器，得到包含上下文信息的待识别实体词向量；
根据与所述待识别实体名词前的前一实体名词对应的词向量，确定包含上下文信息的前一实体词向量，包括：
将所述前一实体名词对应的词向量输入至深度双向LSTM语义解析器，得到包含上下文信息的前一实体词向量。
5.根据权利要求3所述的方法，其特征在于，根据所述待识别实体词向量、所述前一实体词向量以及所述区间词向量，对所述待识别实体名词进行识别，得到与所述待识别实体名词对应的概念实例对，包括：
将所述待识别实体词向量、所述前一实体词向量以及所述区间词向量，进行拼接形成词对特征向量；
将所述词对特征向量输入至第一前馈神经网络，得到所述待识别实体名词与所述前一实体名词构成概念实例对的配对评分；
将所述待识别实体词向量输入至第二前馈神经网络，得到所述待识别实体名词归属为概念或实例的归属评分；
根据所述第一前馈神经网络与所述第二前馈神经网络，确定交叉熵损失函数；
根据所述配对评分、归属评分、以及所述交叉熵损失函数，确定所述待识别实体名词的识别结果。
6.根据权利要求2所述的方法，其特征在于，根据所述待识别实体名词与所述前一实体名词之间的各词所对应的词向量，确定区间词向量，包括：
将所述待识别实体名词与所述前一实体名词之间的各词分别对应的词向量的平均值，作为区间词向量。
7.根据权利要求1所述的方法，其特征在于，对所述待识别实体名词进行识别，得到与所述待识别实体名词对应的概念实例对，包括：
获取概念实例知识库，在确定所述待识别实体名词不存在于所述概念实例知识库时，对所述待识别实体名词进行识别，得到与所述待识别实体名词对应的概念实例对；
在对所述待识别实体名词进行识别，得到与所述待识别实体名词对应的概念实例对之后，还包括：
将所述待识别实体名词的识别结果，添加至所述概念实例知识库。
8.一种日志数据的数据编织装置，其特征在于，包括：
疑似实体名词确定模块，用于采集至少一个数据源的日志数据，并通过预设词典以及预设筛选条件进行数据匹配，确定所述日志数据中的动词，以及疑似实体名词；
待识别实体名词确定模块，用于对各数据源对应的所述疑似实体名词进行聚合，得到待识别实体名词；
概念实例对确定模块，用于对所述待识别实体名词进行识别，得到与所述待识别实体名词对应的概念实例对；
元数据图谱确定模块，用于根据日志数据中预设距离内的动词与所述概念实例对中实体的关联关系，以及所述概念实例对，得到日志数据编织形成的元数据图谱。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的日志数据的数据编织方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的日志数据的数据编织方法。
CN202310693099.7A 2023-06-12 2023-06-12 一种日志数据的数据编织方法、装置、设备及存储介质 Active CN116737520B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310693099.7A CN116737520B (zh) 2023-06-12 2023-06-12 一种日志数据的数据编织方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310693099.7A CN116737520B (zh) 2023-06-12 2023-06-12 一种日志数据的数据编织方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116737520A true CN116737520A (zh) 2023-09-12
CN116737520B CN116737520B (zh) 2024-05-03

Family

ID=87907496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310693099.7A Active CN116737520B (zh) 2023-06-12 2023-06-12 一种日志数据的数据编织方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116737520B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598204A (zh) * 2019-07-31 2019-12-20 平安科技（深圳）有限公司 基于知识图谱的实体识别数据增强方法及系统
CN112148886A (zh) * 2020-09-04 2020-12-29 上海晏鼠计算机技术股份有限公司 一种内容知识图谱的构建方法及系统
CN112527977A (zh) * 2020-11-09 2021-03-19 清华大学 概念抽取方法、装置、电子设备及存储介质
CN112579707A (zh) * 2020-12-08 2021-03-30 西安邮电大学 一种日志数据的知识图谱构建方法
CN112784054A (zh) * 2019-11-01 2021-05-11 富士施乐株式会社 概念图处理装置、概念图处理方法和计算机可读介质
CN113792123A (zh) * 2021-11-17 2021-12-14 广州极天信息技术股份有限公司 一种基于数据驱动的领域知识图谱构建方法及系统
CN115033661A (zh) * 2022-06-07 2022-09-09 海信视像科技股份有限公司 一种基于垂直领域知识图谱的自然语言语义理解方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598204A (zh) * 2019-07-31 2019-12-20 平安科技（深圳）有限公司 基于知识图谱的实体识别数据增强方法及系统
CN112784054A (zh) * 2019-11-01 2021-05-11 富士施乐株式会社 概念图处理装置、概念图处理方法和计算机可读介质
CN112148886A (zh) * 2020-09-04 2020-12-29 上海晏鼠计算机技术股份有限公司 一种内容知识图谱的构建方法及系统
CN112527977A (zh) * 2020-11-09 2021-03-19 清华大学 概念抽取方法、装置、电子设备及存储介质
CN112579707A (zh) * 2020-12-08 2021-03-30 西安邮电大学 一种日志数据的知识图谱构建方法
CN113792123A (zh) * 2021-11-17 2021-12-14 广州极天信息技术股份有限公司 一种基于数据驱动的领域知识图谱构建方法及系统
CN115033661A (zh) * 2022-06-07 2022-09-09 海信视像科技股份有限公司 一种基于垂直领域知识图谱的自然语言语义理解方法和装置

Also Published As

Publication number Publication date
CN116737520B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
CN116167352B (zh) 数据处理方法、装置、电子设备及存储介质
US20230114673A1 (en) Method for recognizing token, electronic device and storage medium
CN116307672A (zh) 一种故障诊断方法、装置、电子设备及介质
CN112528641A (zh) 建立信息抽取模型的方法、装置、电子设备和可读存储介质
CN115130581A (zh) 样本生成方法、训练方法、数据处理方法以及电子设备
CN115454706A (zh) 一种系统异常确定方法、装置、电子设备及存储介质
CN113963197A (zh) 图像识别方法、装置、电子设备和可读存储介质
CN117632654A (zh) 一种运维风险等级评估方法、装置、电子设备及存储介质
CN113157877A (zh) 多语义识别方法、装置、设备和介质
CN116955075A (zh) 一种基于日志的解析语句生成方法、装置、设备及介质
CN115603955B (zh) 异常访问对象识别方法、装置、设备和介质
CN116467461A (zh) 应用于配电网的数据处理方法、装置、设备及介质
CN116737520B (zh) 一种日志数据的数据编织方法、装置、设备及存储介质
CN115952258A (zh) 政务标签库的生成方法、政务文本的标签确定方法和装置
CN116166814A (zh) 事件检测方法、装置、设备以及存储介质
CN115600592A (zh) 文本内容的关键信息提取方法、装置、设备及介质
CN114647727A (zh) 应用于实体信息识别的模型训练方法、装置和设备
CN113590774A (zh) 事件查询方法、装置以及存储介质
CN115186738A (zh) 模型训练方法、装置和存储介质
CN114722162A (zh) 特征类别确定方法、装置、电子设备及存储介质
CN114528378A (zh) 文本分类方法、装置、电子设备及存储介质
CN114119972A (zh) 模型获取及对象处理方法、装置、电子设备及存储介质
CN114187448A (zh) 文档图像识别方法和装置、电子设备、计算机可读介质
CN113051896A (zh) 对文本进行纠错的方法、装置、电子设备和存储介质
CN113656592B (zh) 基于知识图谱的数据处理方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant