CN112069833A - 日志分析方法、日志分析装置及电子设备 - Google Patents

日志分析方法、日志分析装置及电子设备 Download PDF

Info

Publication number
CN112069833A
CN112069833A CN202010903676.7A CN202010903676A CN112069833A CN 112069833 A CN112069833 A CN 112069833A CN 202010903676 A CN202010903676 A CN 202010903676A CN 112069833 A CN112069833 A CN 112069833A
Authority
CN
China
Prior art keywords
text
log analysis
recognition result
semantic understanding
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010903676.7A
Other languages
English (en)
Other versions
CN112069833B (zh
Inventor
高丛
陈孝良
苏少炜
常乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing SoundAI Technology Co Ltd
Original Assignee
Beijing SoundAI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing SoundAI Technology Co Ltd filed Critical Beijing SoundAI Technology Co Ltd
Priority to CN202010903676.7A priority Critical patent/CN112069833B/zh
Publication of CN112069833A publication Critical patent/CN112069833A/zh
Application granted granted Critical
Publication of CN112069833B publication Critical patent/CN112069833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供一种日志分析方法、日志分析装置及电子设备。日志分析方法包括：根据语义理解系统的日志中记录的N个文本，确定M个目标相似文本对，其中，每个所述目标相似文本对的第一文本的第一识别结果与标注结果相同，第二文本的第一识别结果与标注结果不同，所述第一识别结果为所述语义理解系统输出的识别结果，N为大于1的整数，M为正整数；根据每个所述目标相似文本对的第二文本的第一识别结果，确定所述语义理解系统存在的第一问题；生成日志分析报告，所述日志分析报告包括所述第一问题及所述M个目标相似文本对。本公开可以减轻人工分析日志的工作负担，提高日志分析的自动化程度，进而提高语义理解系统的分析效率。

Description

日志分析方法、日志分析装置及电子设备
技术领域
本公开实施例涉及自然语言处理技术领域，尤其涉及一种日志分析方法、日志分析装置及电子设备。
背景技术
系统的运行一殷都会遇到一些问题。为解决系统的运行问题，常规的处理方法是技术人员查看系统的日志解决问题，即技术人员通过对日志信息进行分析，找到相应的故障信息，解决出现的故障问题。然而，通过人工查看日志以解决系统问题的方式，自动化程度低，造成系统分析的效率较低。
发明内容
本公开实施例提供一种日志分析方法、日志分析装置及电子设备，以解决通过人工查看日志以解决系统问题的方式，自动化程度低，造成系统分析的效率较低的问题。
为解决上述问题，本公开是这样实现的：
根据本公开实施例的第一方面，提供一种日志分析方法，包括：
根据语义理解系统的日志中记录的N个文本，确定M个目标相似文本对，其中，每个所述目标相似文本对的第一文本的第一识别结果与标注结果相同，第二文本的第一识别结果与标注结果不同，所述第一识别结果为所述语义理解系统输出的识别结果，N为大于1的整数，M为正整数；
根据每个所述目标相似文本对的第二文本的第一识别结果，确定所述语义理解系统存在的第一问题；
生成日志分析报告，所述日志分析报告包括所述第一问题及所述M个目标相似文本对。
根据本公开实施例的第二方面，提供一种日志分析装置，包括：
第一确定模块，用于根据语义理解系统的日志中记录的N个文本，确定M个目标相似文本对，其中，每个所述目标相似文本对的第一文本的第一识别结果与标注结果相同，第二文本的第一识别结果与标注结果不同，所述第一识别结果为所述语义理解系统输出的识别结果，N为大于1的整数，M为正整数；
第二确定模块，用于根据每个所述目标相似文本对的第二文本的第一识别结果，确定所述语义理解系统存在的第一问题；
生成模块，用于生成日志分析报告，所述日志分析报告包括所述第一问题及所述M个目标相似文本对。
根据本公开实施例的第三方面，提供一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如上所述的日志分析方法的步骤。
根据本公开实施例的第四方面，提供一种可读存储介质，该可读存储介质上存储有程序，所述程序被处理器执行时实现如上所述的应用于电子设备的日志分析方法的步骤。
在本公开实施例中，在确定M个目标相似文本对后，可以根据所述M个目标相似文本对中每个目标相似文本对的第二文本的第一识别结果，确定所述语义理解系统存在的第一问题；生成日志分析报告，所述日志分析报告包括所述第一问题及所述M个目标相似文本对。可见，本公开实施例的日志分析装置可以通过分析每个目标相似文本对中第二文本的第一识别结果，确定语义理解系统存在的问题，从而可以减轻人工分析日志的工作负担，提高日志分析的自动化程度，进而提高语义理解系统的分析效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
图1是根据一示例性实施例示出的一种日志分析方法的流程图；
图2a是根据一示例性实施例示出的日志分析报告的示意图之一；
图2b是根据一示例性实施例示出的日志分析报告的示意图之二；
图2c是根据一示例性实施例示出的日志分析报告的示意图之三；
图3是根据一示例性实施例示出的日志分析装置的结构图之一；
图4是根据一示例性实施例示出的第一确定模块的结构图；
图5是根据一示例性实施例示出的日志分析装置的结构图之二；
图6是根据一示例性实施例示出的日志分析装置的结构图之三；
图7是根据一示例性实施例示出的日志分析装置的结构图之四；
图8是根据一示例性实施例示出的电子设备的结构图。
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开实施例中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下对本公开实施例的日志分析方法进行说明。
参见图1，图1是根据一示例性实施例示出的一种日志分析方法的流程图。本公开实施例的日志分析方法可应用于日志分析装置。在实际应用中，日志分析装置可以为手机、电脑、电视、可穿戴式设备或车载设备等，但不仅限于此。
如图1所示，日志分析方法可以包括以下步骤：
在步骤101中，根据语义理解系统的日志中记录的N个文本，确定M个目标相似文本对，其中，每个所述目标相似文本对的第一文本的第一识别结果与标注结果相同，第二文本的第一识别结果与标注结果不同，所述第一识别结果为所述语义理解系统输出的识别结果，N为大于1的整数，M为正整数。
在实施时，日志分析装置首先获取语义理解系统的日志，并可以以文本、数据库等任何形式存储获取到的日志，然后可以通过代码脚本等方式从日志中提取确定所述M个目标相似文本对所需的信息。
在本公开实施例中，所述M个目标相似文本对中的每个目标相似文本对包括两个文本，分别记为第一文本和第二文本，且每个目标相似文本对的第一文本的第一识别结果与标注结果相同，第二文本的第一识别结果与标注结果不同。可见，在本公开实施例中，为确定所述M个目标相似文本对，日志分析装置至少需要获取以下信息：所述N个文本、所述N个文本的N个第一识别结果、所述N个文本的N个标注结果。应理解的是，每个文本对应一个第一识别结果和一个标注结果。
在本公开实施例中，文本的第一识别结果为所述语义理解系统对该文本进行识别输出的识别结果，记录在语义理解系统的日志中。另外，语义理解系统的日志还可以包括所述N个文本。文本的标注结果为人工或非人工对该文本标注的标注结果，如：用户可以通过日志分析装置对文本进行标注，但不仅限于此。这样，日志分析装置可以从日志中提取所述N个文本及所述N个文本的N个第一识别结果，并结合接收到人工对所述N个文本的N个标注结果，确定所述M个目标相似文本对。
语义理解系统可以用于识别文本所描述的意图、文本中意图涉及的槽位、文本中槽位的槽值，如：假设文本为“查询北京今天的天气”，则语义理解系统可以识别该文本所描述的意图为“查天气”，该意图可能涉及“地点”和“时间”槽位，此句子给出的相应槽值分别为“北京”和“今天”。
因此，文本的第一识别结果可包括以下至少一项：文本所描述的意图、文本中意图涉及的槽位、文本中槽位的槽值。相应地，文本的标注结果可包括以下至少一项：文本所描述的意图、文本中意图涉及的槽位、文本中槽位的槽值。在实际应用中，每种意图关联的槽位可以预先定义好，但不仅限于此。
需要说明的是，由于目标相似文本对的确定与文本的第一识别结果和标注结果相关，为提高日志分析的准确度，文本的第一识别结果和标注结果的具体表现形式应当相同，如：文本的第一识别结果包括文本所描述的意图，则文本的标注结果同样包括文本所描述的意图。
另外，在文本的第一识别结果和标注结果包括的项数大于1的情况下，若文本的第一识别结果和标注结果中的一项不同，则可以视文本的第一识别结果和标注结果不同，也就是说，只有在文本的第一识别结果和标注结果的全部项均相同的情况下，才可以视文本的第一识别结果和标注结果相同。
在本公开实施例中，所述N个文本可以为语义理解系统的日志中记录的全部文本或部分文本，也就是说，语义理解系统的日志中可以包括L个文本，L为大于或等于N的整数。可选的，所述N个文本可以为预设时长内日志中记录的N个文本，预设时长可以根据实际情况决定，本公开实施例对此不做限定。
在步骤102中，根据每个所述目标相似文本对的第二文本的第一识别结果，确定所述语义理解系统存在的第一问题。
由前述内容可知，每个所述目标相似文本对的第一文本的第一识别结果与标注结果相同，第二文本的第一识别结果与标注结果不同，也就是说，每个所述相似文本对的第一文本被语义理解系统识别正确，第二文本被语义理解系统识别错误。
在实际应用中，目标相似文本对的第二文本被语义理解系统识别错误可能但不仅限于存在以下情况：情况一、语义理解系统未识别出目标相似文本对的第二文本的特征信息；情况二、语义理解系统识别出目标相似文本对的第二文本的特征信息，但识别出的第二文本的特征信息与第二文本的标注结果中的特征信息不同，其中，第二文本的特征信息包括以下至少一项：文本所描述的意图、文本中意图涉及的槽位、文本中槽位的槽值。
为方便理解，以下以文本的第一识别结果和标注结果均表现为文本所描述的意图为例进行说明：
若相似文本对的第一文本“查询今天的天气”的第一识别结果为：“天气”意图，第二文本“查询一下今天的天气”的第一识别结果为：无意图，则该相似文本对的第二文本被语义理解系统识别错误存在上述情况一。
若相似文本对的第一文本“明天适宜婚嫁吗”的第一识别结果为：“黄历”意图，第二文本“明天适合出行吗”的第一识别结果为：“天气”意图，则相似文本对的第二文本被语义理解系统识别错误存在上述情况二。
在实际应用中，日志分析装置可以预先存储上述两种情况分别对应的问题，这样，日志分析装置可以先根据每个所述目标相似文本对的第二文本的第一识别结果，确定每个目标相似文本对的第二文本被语义理解系统识别错误所对应的情况，之后，根据该情况确定所述语义理解系统存在的第一问题，以方便技术人员根据所述第一问题对语义理解系统进行改进，进而提高语义理解系统识别的准确度。
可选的，上述情况一对应的问题可以为：语义理解系统识别的泛化能力不足；上述情况二对应的问题可以为：语义理解系统识别的边界不清晰。
进一步地，语义理解系统识别的泛化能力不足可以包括：语义理解系统识别前缀词的泛化能力不足、语义理解系统识别同义词的泛化能力不足。
在语义理解系统识别前缀词的泛化能力不足的情况下，针对具有不同前缀词的不同文本，语义理解系统识别的文本的目标信息不同，如：对于文本“查询今天的天气”，语义理解系统输出的识别结果为“天气”意图；对于文本“帮我查询今天的天气”，语义理解系统输出的识别结果为无意图。
在语义理解系统识别同义词的泛化能力不足的情况下，针对具有同义词的不同文本，语义理解系统识别的文本的目标信息不同，如：对于文本“今天适宜开工吗”，语义理解系统输出的识别结果为“黄历”意图；对于文本“今天适合开工吗”，语义理解系统输出的识别结果为无意图。
在实施时，日志分析装置可以进一步结合目标相似文本对的第一文本和第二文本的内容，以进一步识别语义理解系统识别的泛化能力不足的具体对象是前缀词还是同义词等。
在步骤103中，生成日志分析报告，所述日志分析报告包括所述第一问题及所述M个目标相似文本对。
在本公开实施例中，日志分析装置通过分析日志，生成日志分析报告，以展示给技术人员，方便技术人员根据所述日志分析报告对语义理解系统进行针对性地改进，进而提高语义理解系统识别的准确度。
因此，日志分析装置在根据所述M个目标相似文本对确定所述第一问题后，可将所述第一问题及所述M个目标相似文本对录入所述日志分析报告中。
在实施时，针对所述第一问题中的每个问题，可以记录该问题所对应的全部相似文本对，及该问题对应的每个目标相似文本对中第一文本和第二文本的第一识别结果。如：所述第一问题包括问题1“语义理解系统识别前缀词的泛化能力不足”和问题2“语义理解系统识别同义词的泛化能力不足”。其中，问题1对应相似文本对1；相似文本对1的第一文本为“查询今天的天气”，第一文本的意图识别结果为“天气”意图；相似文本对1的第二文本为“帮我查询今天的天气”，第二文本的意图识别结果为无意图。问题2对应似文本对2；相似文本对2的第一文本为“今天适宜开工吗”，第一文本的意图识别结果为“黄历”意图；相似文本对2的第二文本为“今天适合开工吗”，第二文本的意图识别结果为无意图。
本公开实施例的日志分析方法，在确定M个目标相似文本对后，可以根据所述M个目标相似文本对中每个目标相似文本对的第二文本的第一识别结果，确定所述语义理解系统存在的第一问题；生成日志分析报告，所述日志分析报告包括所述第一问题及所述M个目标相似文本对。可见，本公开实施例的日志分析装置可以通过分析每个目标相似文本对的第二文本的第一识别结果，确定语义理解系统存在的问题，从而可以减轻人工分析日志的工作负担，提高日志分析的自动化程度，进而提高语义理解系统的分析效率。
以下对本公开实施例中所述M个目标相似文本对的确定进行说明。
可选的，所述根据语义理解系统的日志中记录的N个文本，确定M个目标相似文本对，包括：
将第一文本集合中的文本两两分组得到K个文本对，所述第一文本集合通过对语义理解系统的日志中记录的N个文本去重后得到，K为大于或等于M的整数；
计算所述K个文本对中文本对的第一文本和第二文本的相似度值；
获取语义理解系统的日志中记录的所述K个文本对中文本的第一识别结果，及基于文本的目标识别结果输入的文本的标注结果，所述目标识别结果为所述第一识别结果或第二识别结果，所述第二识别结果为识别模型输出的识别结果；
根据所述K个文本对中每个文本对的所述相似度值、所述第一识别结果及所述标注结果，得到M个目标相似文本对；
其中，每个所述目标相似文本对的所述相似度值大于第一阈值，且每个所述目标相似文本对的第一文本的第一识别结果与标注结果相同，第二文本的第一识别结果与标注结果不同。
具体实现时，日志分析装置可以在确定所述N个文本后，可以先对语义理解系统的日志中记录的N个文本去重后得到第一文本集合，再利用所述第一文本集合中的文本确定所述M个目标相似文本对，从而相比于直接利用所述N个文本确定所述M个目标相似文本对，可降低日志分析装置的运行负担。
如：假设所述N个文本包括1个文本a、3个文本b、2个文本c和4个文本d，则对语义理解系统的日志中记录的N个文本去重后得到的第一文本集合包括文本a、文本b、文本c和文本d，且包括的文本a、文本b、文本c和文本d的数量均为1。
日志分析装置在得到所述第一文本集合后，可以将所述第一文本集合中的文本两两分组得到K个文本对，如：假设第一文本集合包括文本a、文本b、文本c和文本d，那么，日志分析装置根据该第一文本集合可以得到如下6个文本对：包括文本a和文本b的文本对1，包括文本a和文本c的文本对2，包括文本a和文本d的文本对3，包括文本b和文本c的文本对4，包括文本b和文本d的文本对5，包括文本c和文本d的文本对6。
日志分析装置在得到所述K个文本对后，可以计算所述K个文本对中文本对的第一文本和第二文本的相似度值，并获取所述K个文本对中文本的第一识别结果和标注结果，之后，根据所述K个文本对中文本对的所述相似度值、所述第一识别结果及所述标注结果，得到M个目标相似文本对。
需要说明的是，本公开实施例并不限定文本对的相似度值的计算、文本的第一识别结果和标注结果的获取的先后顺序。
在第一实施方式中，日志分析装置可依次执行如下步骤：计算所述K个文本对中文本对的第一文本和第二文本的相似度值；将所述K个文本对中所述相似度值大于第一阈值的文本对确定为相似文本对，得到G个相似文本对，G为大于或等于M，且小于或等于K的正整数；从所述G个相似文本对中筛选出所述M个目标相似文本对，每个所述目标相似文本对的第一文本的第一识别结果与标注结果相同，第二文本的第一识别结果与标注结果不同。
在第二实施方式中，日志分析装置可依次执行如下步骤：将所述K个文本对中第一文本的第一识别结果与标注结果相同，第二文本的第一识别结果与标注结果不同的文本对确定为目标相似文本对，得到F个目标相似文本对，F为大于或等于M，小于或等于K的正整数；计算所述F个目标相似文本对中每个目标相似文本对的第一文本和第二文本的相似度值；从所述F个目标相似文本对中筛选出所述M个目标相似文本对，每个所述目标相似文本对的所述相似度值大于第一阈值。
以下对文本对的相似度值的计算、文本的标注结果的获取进行具体说明。
1)文本对的相似度值得计算。
日志分析装置可以通过字面和语义层面中的至少一项计算方式计算文本对的相似度值，但不仅限于此。在实施时，字面计算方式可以是基于文本对中两个文本的编辑距离等计算文本对的相似度值，语义层面计算方式可以是基于文本对中两个文本的词向量、句向量等计算文本对的相似度值。
在日志分析装置通过字面计算方式计算文本对的相似度值时，文本对的相似度值可以基于文本对的字面得分确定；在日志分析装置通过语义层面计算方式计算文本对的相似度值时，文本对的相似度值可以基于文本对的语义得分确定；在日志分析装置通过两种或两种以上计算方式计算文本对的相似度值，如通过字面计算方式和语义层面计算方式计算文本对的相似度值时，文本对的相似度值可以基于字面得分和语义得分中的至少一项确定，如：将字面得分和语义得分的加权平均值确定为相似度值，或，将字面得分和语义得分的调和平均值确定为相似度值。
2)文本的标注结果的获取。
具体实现时，可以以文本的目标识别结果为参考值进行标注得到文本的标注结果，从而可减轻学习意图、槽位和槽值的判别规则的负担，加快标注速度。
一种实现方式中，文本的标注结果可以是人工标注结果，如用户基于文本的目标识别结果标注得到。另一种实现方式和中，文本的标注结果可以是非人工标注结果，如标注模型基于文本的目标识别结果标注得到。具体可根据实际情况决定，本公开实施例对此不做限定。
在实施时，所述目标识别结果可以为文本的第一识别结果或文本的第二识别结果，其中，文本的第一识别结果可以直接从获取的日志中提取，文本的第二识别结果可以由日志分析装置的识别模型对文本进行识别输出。
在所述目标识别结果为所述第二识别结果时，日志分析装置可以使用获取到的文本的第一识别结果作为训练数据，训练识别模型，之后，通过识别模型对所述N个文本重新进行识别，输出所述N个文本的N个第二识别结果。
需要说明的是，在实际应用中，文本所描述的意图、文本中意图涉及的槽位和文本中槽位的槽值的识别可以通过同一个识别模型实现，也可以通过不同的识别模型实现，如：所述识别模型可以同时用于识别文本所描述的意图、文本中意图涉及的槽位和文本中槽位的槽值；或，所述识别模型包括第一识别模型、第二识别模型和第三识别模型，所述第一识别模型用于识别文本所描述的意图，所述第二识别买模型用于识别文本中意图涉及的槽位，所述第三识别买模型用于识别文本中槽位的槽值。另外，识别模型可以是分类模型或序列标注模型，具体可根据实际情况限定，本公开实施例对此不做限定。
在本公开实施例中，有前述内容可知，所述N个文本可以仅是语义理解系统的日志中记录的部分文本。在此情况下，可选的，所述第一识别结果和所述标注结果均包括文本的意图；所述根据日志记录中的N个文本，确定M个目标相似文本对之前，所述方法还包括：
确定目标意图，所述目标意图为用户输入的第一意图，或，所述语义理解系统识别得到的Q个意图中数量最多的第二意图，Q为大于1的整数；
根据所述目标意图，从所述日志中记录的文本中筛选出所述N个文本，所述N个文本中每个文本的标注结果的意图均为所述目标意图。
在本可选实施方式中，日志分析装置可以从语义理解系统的日志记录的文本中筛选出标注结果为所述目标意图的文本，得到所述N个文本。
所述目标意图可以通过以下任一种方式确定：
方式一、所述目标为用户输入的第一意图。
在方式一中，所述目标意图由用户确定，如由客户指定，因此，所述目标意图可以视为重点关注的意图。在此方式中，日志分析装置可以针对性地对用户关注的意图所对应的第二文本集合进行分析，以发现语义理解系统在识别第二文本集合时可能存在的问题，从而可以提高语义理解系统识别第二文本集合的准确度，进而使得语义理解系统更好的为客户服务。
方式二、所述目标意图为所述语义理解系统识别得到的Q个意图中数量最多的第二意图。
在方式二中，所述第二意图为所述Q个意图中数量最多的意图，说明用户更倾向于向语义理解系统输入所述第二意图对应的第三文本集合。因此，日志分析装置可以针对性地对所述第三文本集合进行分析，以发现语义理解系统在识别第三文本集合时可能存在的问题，从而可以提高语义理解系统识别第三文本集合的准确度，进而使得语义理解系统更好的为用户服务。
需要说明的是，在实际应用中，日志分析装置可以既对语义理解系统识别的全部文本进行分析，还可以针对性地对语义理解系统识别的部分文本进行分析，从而既可以对语义理解系统的整体性能进行分析，还可以对语义理解系统的局部性能进行针对性分析，以使语义理解系统更好的为用户服务。
在本公开实施例中，可选的，所述生成日志分析报告之前，所述方法还可以包括：
获取所述日志中记录的所述语义理解系统识别所述N个文本的过程中出现的第一错误信息；
根据所述第一错误信息，确定目标信息；
其中，所述目标信息包括以下至少一项：所述第一错误信息对应的修复信息、所述语义理解系统存在的与所述第一错误信息对应的潜在问题、所述N个文本中出现所述第一错误信息的文本的数量与N的比值；
所述生成日志分析报告，包括：
根据所述第一错误信息、所述目标信息、所述第一问题及所述M个目标相似文本对，生成日志分析报告，所述日志分析报告包括所述第一错误信息、所述目标信息、所述第一问题及所述M个目标相似文本对。
在本可选实施方式中，语义理解系统的日志中还记录有语义理解系统识别所述N个文本的过程中出现的错误信息，记为所述第一错误信息。在实际应用中，错误信息可以单不仅限于包括：错误类型(如超时、空指针等)、错误位置、错误时间、发生错误时系统正在处理的文本内容等信息。
日志分析装置在获取到所述第一错误信息后，可以根据所述第一错误信息，确定目标信息，之后，将所述第一错误信息和所述目标信息录入日志分析报告中，以方便技术人员基于所述目标信息更新所述语义理解系统。
在本可选实施方式中，所述目标信息可以但不仅限于包括以下至少一项：所述第一错误信息对应的修复信息、所述N个文本中出现所述第一错误信息的文本的数量与N的比值：
其中，对于所述第一错误信息对应的修复信息，日志分析装置和可以根据存储的错误信息与修复信息的关系确定。在此情况下，日志分析装置可以预先获取并存储有错误信息与修复信息的关系。
具体实现时，日志分析装置可以记录每次日志分析发现的系统错误日志和后续问题修复的相关信息，并统计这些信息间的关系。下一次日志分析时根据以往学到的错误信息与修复信息的关系以及当前日志里提取出的系统错误信息推测可能发生的故障和修复提示记入分析报告。修复信息可以包括但不限于：错误原因(可以视为所述语义理解系统存在的与所述第一错误信息对应的潜在问题，如系统瘫痪、机房停电或断网等)、修改内容(如代码、配置文件等)、修改位置等。
在实际应用中，错误信息与修复信息的关系建模可以通过机器学习算法构建分类模型、基于统计信息进行关联规则挖掘、构建错误和修复手段的关系图并进行图挖掘等手段完成，但不仅限于此。
在本可选实施方式中，所述日志分析报告中包括所述第一错误信息和所述目标信息，因此，技术人员可以基于上述信息更新语义理解系统，以提高语义理解系统的性能。
在本公开实施例中，可选的，所述生成日志分析报告之前，所述方法还可以包括：
根据获取到的所述语义理解系统的P个系统性能特征值，计算所述语义理解系统的评价指标值；
其中，所述P个系统性能特征值包括以下至少一项：M与N的比值、所述第一问题包括的问题种类、问题数量；P为大于1的整数；
所述生成日志分析报告，包括：
根据所述评价指标值、所述第一问题及所述M个目标相似文本对，生成日志分析报告，所述日志分析报告包括所述评价指标值、所述第一问题及所述M个目标相似文本对。
在本可选实施方式中，所述P个系统性能特征值的每个系统性能特征值可以用于评估语义理解系统的性能。其中，M与N的比值可以用于反映：语义理解系统在识别所述N个文本时，识别错误的文本占N的比例。
进一步地，所述根据确定的所述语义理解系统的P个系统性能特征值，确定所述语义理解系统的评价指标值，包括以下至少一项：
a)根据所述P个系统性能特征值、每个系统性能特征值对应的标准值及每个系统性能特征值对应的权重，计算所述语义理解系统的评价指标值；
b)将所述P个系统性能特征值输入打分模型，所述打分模型的输出为所述语义理解系统的评价指标值。
在a)中，每个系统性能特征值对应有一个标准值和一个权重。针对每个系统性能特征值，日志分析装置可以计算其与其对应的标准值的差值，之后，根据该差值得到一个分数。具体实现时，差值的大小与分数的高比负相关，即差值越大，分数越低，反之分数越高。
日志分析装置在获取每个系统性能特征值对应的分数后，可以将每个系统性能特征值对应的分数与其对应的权重相乘，之后，将P个乘积值相加得到语义理解系统的评价指标值。
在b)中，日志分析装置安装有打分模型，并预先训练好打分模型，使得打分模型可以模拟公众评分，公众评分可以为系统在软件平台上的用户打分，也可以面向用户做问卷调查为系统打分。这样，日志分析装置在获取到所述P个系统性能特征值后，可以将所述P个系统性能特征值输入打分模型，将所述打分模型的输出作为所述语义理解系统的评价指标值。
在本公开实施例中，可选的，所述方法还可以包括：
获取所述N个文本中每个文本的第一识别结果和标注结果，计算与所述N个文本对应的目标值；
其中，所述日志分析报告包括所述目标值，所述目标值包括以下至少一项：正确率、准确率(accuracy)、召回率(recall)、F1值。
正确率指被系统正确分类的数据占所有数据的比例。准确率指被系统判定为某一类别的数据中真正属于该类别的数据占比。召回率指真正属于某一类别的数据中被系统判定为该类别的数据占比。F1值是准确率与召回率的调和平均数。
在实际应用中，日志分析报告包括的信息可以通过图表、文字等形式呈现，具体可根据实际情况决定，本公开实施例对此不做限定。
在本公开实施例中，可选的，所述生成日志分析报告，包括：
在第一条件满足的情况下，生成日志分析报告；
其中，所述第一条件满足包括以下任一项：
ⅰ)接收到第一指令，所述第一指令用于指示生成日志分析报告；
ⅱ)到达第一时间点；
ⅲ)获取到第一信息，所述第一信息至少包括所述第一问题及所述M个目标相似文本对。
具体说明如下：
在所述第一条件满足包括ⅰ)的情况下，电子设备在接收到所述第一指令的情况下，即可生成日志分析报告。具体实现时，一种实现方式中，所述第一指令可以直接指示生成日志分析报告，此情况下，所述第一指令可以表现为日志分析报告的生成指令。另一种实现方式中，所述第一指令可以间接指示生成日志分析报告，如，所述第一指令可以为日志分析报告的输出指令，直接指示输出日志分析报告，此情况下，电子设备可以先响应于所述第一指令，执行日志分析报告的生成和输出操作，具体地，电子设备先生成日志分析报告，之后，输出生成的日志分析报告。在实际应用中，所述第一指令可以由用户输入，也可以由其他设备发送，具体可根据实际情况决定，本公开实施例对此不做限定。
在所述第一条件满足包括ⅱ)的情况下，电子设备在到达第一时间点的情况下，即可生成日志分析报告。具体实现时，所述第一时间点可以为预设的生成日志分析报告的时间点，也可以为预设的生成日志分析报告的周期的起始时间点，具体可根据实际情况决定，本公开实施例对此不做限定。
在所述第一条件满足包括ⅲ)的情况下，电子设备在生获取到第一信息后，即可输出所述日志分析报告。具体实现时，所述第一信息至少包括所述第一问题及所述M个目标相似文本对。进一步地，所述第一信息还可以包括前述第一错误信息、前述目标信息、前述评价指标值中的至少一项，具体可根据实际情况决定，本公开实施例对此不做限定。
在本公开实施例中，可选的，所述生成日志分析报告之后，所述方法还包括：
在第二条件满足的情况下，输出所述日志分析报告；
其中，所述第二条件满足包括以下任一项：
a)接收到第二指令，所述第二指令用于指示输出日志分析报告；
b)到达第二时间点；
c)所述日志分析报告生成完成。
在本公开实施例中，电子设备可以主动输出所述日志分析报告，也可以在条件触发下输出所述日志分析报告，具体可根据实际情况决定，本公开实施例对此不做限定。这样，可以方便技术人员根据所述日志分析报告对语义理解系统进行针对性地改进，进而提高语义理解系统识别的准确度。
在所述第二条件满足包括a)的情况下，电子设备在接收到所述第二指令，即日志分析报告的输出指令的情况下，即可输出所述日志分析报告。具体实现时，所述第二指令可以由用户输入，也可以由其他设备发送，具体可根据实际情况决定，本公开实施例对此不做限定。
在所述第二条件满足包括b)的情况下，电子设备在到达第二时间点的情况下，即可输出所述日志分析报告。具体实现时，所述第二时间点可以为预设的输出日志分析报告的时间点，也可以为预设输出日志分析报告的周期的起始时间点，具体可根据实际情况决定，本公开实施例对此不做限定。
在所述第二条件满足包括c)的情况下，电子设备在生成日志分析报告后，即可输出所述日志分析报告。
另外，在本公开实施例中，输出所述日志分析报告的方式可以包括以下至少一项：语音输出所述日志分析报告；显示所述日志分析报告；向其他设备发送所述日志分析报告等，具体可根据实际情况决定，本公开实施例并不限制所述日志分析报告输出的具体表现形式。
需要说明的是，本公开实施例中介绍的多种可选的实施方式，在彼此不冲突的情况下可以相互结合实现，也可以单独实现，对此本公开实施例不作限定。
为方便理解，示例说明如下：
在一示例中，日志分析方法可以包括以下步骤：
步骤一、获取语义理解系统的日志。
日志分析装置可以通过日志获取模块获取原始日志，原始日志可以文本、数据库等任何形式存储。然后通过代码脚本从原始日志中提取日志分析所需的信息，如每个句子的内容、解析结果、请求时间、响应时间、系统报错等。
步骤二、计算计算语义理解系统的正确率、准确率、召回率、F1值等多种评估指标。
语义理解系统通过意图和槽位对文本的语义进行建模，如文本“我要听周杰伦的稻香”意图为“听歌”，槽位“歌手”对应的值位“周杰伦”，槽位“歌名”对应的值为“稻香”。意图和槽位的识别可以通过规则、模型等多种方式。
日志分析装置可以分析系统对文本的意图和槽位识别是否正确，以降低分析成本。
日志分析装置可以通过预分类模块使用系统识别的结果作为训练数据，训练意图和槽位识别模型，通过该模型重新预测所有文本的意图和槽位。以预分类模块的结果作为参考值进行人工标注，可以减轻人工学习意图和槽位判别规则的负担，加快人工标注速度。通过人工标注后即可得到所有文本的真实意图和真实槽值。结合日志里给出的系统识别结果和人工标注的真实结果即可计算语义理解系统的正确率、准确率、召回率、F1值等多种评估指标的得分，记入分析报告。
步骤三、问题分析。
日志分析装置可以通过相似问题分析模块找出语义或字面相似的文本对其中一条被系统识别正确，而另一条识别错误的情况，以此分析系统的泛化能力和哪些意图的话术之间可能存在交叉即边界不清，如“查询今天的天气”系统识别为“天气”意图，而“查询一下今天的天气”系统未识别出任何一种意图，属于系统泛化能力问题，又如“明天适宜婚嫁吗”系统识别为“黄历”意图，而“明天适合出行吗”系统识别为“天气”意图，属于意图边界不清问题。发现这些问题可以对系统进行有针对性的改进。
相似问题分析模块对所有的文本去重后两两分组计算相似度，相似度的计算方式可以是字面的，如编辑距离等，也可以是语义层面的，如词向量、句向量等。相似度的最终得分可以只使用字面得分或语义得分，也可以综合两者，如计算加权平均、调和平均数等。将相似度得分高于阈值的文本对视作相似文本，根据日志里给出的系统识别结果和人工标注的真实结果，从相似文本对中找出所有其中一条被系统识别正确而另一条识别错误的例子，人工分析这些例子反映出的系统问题并记入分析报告。
步骤四、潜在故障推测。
日志分析装置可以通过潜在故障推测模块记录每次日志分析发现的系统错误日志和后续问题修复的相关信息，并统计这些信息间的关系。下一次日志分析时根据以往学到的错误信息与修复信息的关系以及当前日志里提取出的系统错误信息推测可能发生的故障和修复提示记入分析报告。
潜在故障推测模块记录的错误信息可以包括但不限于：错误类型(如超时、空指针等)、错误位置、错误时间、发生错误时系统正在处理的文本内容等信息；记录的修复信息可以包括但不限于：错误原因、修改内容(如代码、配置文件等)、修改位置等。
错误信息与修复信息的关系建模可以通过机器学习算法构建分类模型、基于统计信息进行关联规则挖掘、构建错误和修复手段的关系图并进行图挖掘等手段完成。
步骤五、生成日志分析报告。
日志分析装置可以通过报告生成模块综合上述所有模块的数据，生成一份包含多个角度的日志分析报告，可供研发人员参考。一种可能的报告格式如附图2a至图2c所示。如图2a至图2c所示的日志分析报告分为6部分：
一、基础评估指标，包括系统对所有文本进行语义理解总体和各个意图的正确率、准确率、召回率等。
二、图表数据，以图表的形式展示系统的响应时长。
在2.1中，横坐标X％表示的是文本响应时间最短的X％文本。如：假设总文本数为100，横坐标50％表示的是该100个文本中文本响应时间最短的前50个文本，其纵坐标标识的是该50个文本的总响应时长。
三、相似问题分析。
展示相似文本分析模块最终由人工分析出的重点问题，并提供相应的相似问题对作为例子。
四、潜在系统故障。
展示潜在故障推测模块推测出的本次分析出现系统错误和与其关联的潜在故障。
五、客户定制分析。
当系统中具有客户定制意图时，该类意图属于重点关注部分，在报告中对客户定制意图的数据分析结果单独统计展示，可以展示的内容可选但不限于：命中客户定制意图的文本在所有文本中的数量占比、精准率、召回率、命中客户定制意图的文本的响应时长统计图、相似问题分析、系统错误类型和出现概率。
刘、系统综合得分，该得分由预分类模块、相似文本分析模块、潜在故障推测模块和客户定制分析的结果综合计算得到，可选的模块特征包括单不限于：预分类模块的精确率、预分类模块的召回率、预分类模块的错误文本占比、预分类模块的文本错误种类、相似文本分析模块的系统错误数量、相似文本分析模块的系统错误类型、客户定制意图精准率、召回率、错误种类数、错误出现概率等。
综合得分的计算方法可选但不限于：a)根据对系统不同性能的重视程度人工给每个特征指定权重与标准值，根据每个特征与其标准值的差值计算得分后加权得到综合得分；b)训练打分模型，将模块特征作为模型输入模拟公众评分，公众评分可以为系统在软件平台上的用户打分，也可以面向用户做问卷调查为系统打分。
需要说明的是，预分类模块中的预分类模型，可以对意图识别和槽位识别分别训练不同的模型，也可以同时训练联合模型，具体的模型可以根据实际情况选择任何合适的分类模型或序列标注模型。相似文本分析模块可以采用任何现有的文本相似度计算方式。
另外，如图2a至图2c所示的日志分析报告仅为示例，在实际应用中，日志分析报告可以仅包括如图2a至图2c所示的日志分析报告中的部分，或，还包括如图2a至图2c所示的日志分析报告之外的其他信息，具体可根据实际情况确定，本发明实施例对此不做限定。
本公开实施例可以利用算法技术减轻人工对语义理解系统日志分析的工作负担，并辅助人工进行系统错误分析，提高自动化水平，生成的报告可以从多个角度分析语义理解系统的性能，并提醒潜在的系统故障。
参见图3，图3是根据一示例性实施例示出的日志分析装置的结构图。如图3所示，日志分析装置300包括：
第一确定模块301，用于根据语义理解系统的日志中记录的N个文本，确定M个目标相似文本对，其中，每个所述目标相似文本对的第一文本的第一识别结果与标注结果相同，第二文本的第一识别结果与标注结果不同，所述第一识别结果为所述语义理解系统输出的识别结果，N为大于1的整数，M为正整数；
第二确定模块302，用于根据每个所述目标相似文本对的第二文本的第一识别结果，确定所述语义理解系统存在的第一问题；
生成模块303，用于生成日志分析报告，所述日志分析报告包括所述第一问题及所述M个目标相似文本对。
可选的，如图4所示，所述第一确定模块301，包括：
分组单元3011，用于将第一文本集合中的文本两两分组得到K个文本对，所述第一文本集合通过对语义理解系统的日志中记录的N个文本去重后得到，K为大于或等于M的整数；
计算单元3012，用于计算所述K个文本对中文本对的第一文本和第二文本的相似度值；
获取单元3013，用于获取语义理解系统的日志中记录的所述K个文本对中文本的第一识别结果，及基于文本的目标识别结果输入的文本的标注结果，所述目标识别结果为所述第一识别结果或第二识别结果，所述第二识别结果为识别模型输出的识别结果；
确定单元3014，用于根据所述K个文本对中每个文本对的所述相似度值、所述第一识别结果及所述标注结果，得到M个目标相似文本对；
其中，每个所述目标相似文本对的所述相似度值大于第一阈值，且每个所述目标相似文本对的第一文本的第一识别结果与标注结果相同，第二文本的第一识别结果与标注结果不同。
可选的，如图5所示，所述第一识别结果和所述标注结果均包括文本的意图；所述日志分析装置300还包括：
第三确定模块304，用于确定目标意图，所述目标意图为用户输入的第一意图，或，所述语义理解系统识别得到的Q个意图中数量最多的第二意图，Q为大于1的整数；
筛选模块305，用于根据所述目标意图，从所述日志中记录的文本中筛选出所述N个文本，所述N个文本中每个文本的标注结果的意图均为所述目标意图。
可选的，如图6所示，所述日志分析装置300还包括：
获取模块306，用于获取所述日志中记录的所述语义理解系统识别所述N个文本的过程中出现的第一错误信息；
第四确定模块307，用于根据所述第一错误信息，确定目标信息；
其中，所述目标信息包括以下至少一项：所述第一错误信息对应的修复信息、所述语义理解系统存在的与所述第一错误信息对应的潜在问题、所述N个文本中出现所述第一错误信息的文本的数量与N的比值；
生成模块303，用于根据所述第一错误信息、所述目标信息、所述第一问题及所述M个目标相似文本对，生成日志分析报告，所述日志分析报告包括所述第一错误信息、所述目标信息、所述第一问题及所述M个目标相似文本对。
可选的，如图7所示，所述日志分析装置300还包括：
计算模块308，用于根据获取到的所述语义理解系统的P个系统性能特征值，计算所述语义理解系统的评价指标值；
其中，所述P个系统性能特征值包括以下至少一项：M与N的比值、所述第一问题包括的问题种类、问题数量；P为大于1的整数；
生成模块303，用于根据所述评价指标值、所述第一问题及所述M个目标相似文本对，生成日志分析报告，所述日志分析报告包括所述评价指标值、所述第一问题及所述M个目标相似文本对。
可选的，所述计算模块308用于以下至少一项：
根据所述P个系统性能特征值、每个系统性能特征值对应的标准值及每个系统性能特征值对应的权重，计算所述语义理解系统的评价指标值；
将所述P个系统性能特征值输入打分模型，所述打分模型的输出为所述语义理解系统的评价指标值。
可选的，所述生成模块303包括：
在第一条件满足的情况下，生成日志分析报告；
其中，所述第一条件满足包括以下任一项：
接收到第一指令，所述第一指令用于指示生成日志分析报告；
到达第一时间点；
获取到第一信息，所述第一信息至少包括所述第一问题及所述M个目标相似文本对。
日志分析装置300能够实现本公开方法实施例中的各个过程，以及达到相同的有益效果，为避免重复，这里不再赘述。
参见图8，图8是根据一示例性实施例示出的电子设备的结构图。如图8所示，电子设备800包括：处理器801、存储器802、用户接口803、收发机804和总线接口。
其中，在本公开实施例中，电子设备800还包括：存储在存储器802上并可在处理器801上运行的程序，程序被处理器801执行时实现如下步骤：
根据语义理解系统的日志中记录的N个文本，确定M个目标相似文本对，其中，每个所述目标相似文本对的第一文本的第一识别结果与标注结果相同，第二文本的第一识别结果与标注结果不同，所述第一识别结果为所述语义理解系统输出的识别结果，N为大于1的整数，M为正整数；
根据每个所述目标相似文本对的第二文本的第一识别结果，确定所述语义理解系统存在的第一问题；
生成日志分析报告，所述日志分析报告包括所述第一问题及所述M个目标相似文本对。
可选的，程序被处理器801执行时还可实现如下步骤：
将第一文本集合中的文本两两分组得到K个文本对，所述第一文本集合通过对语义理解系统的日志中记录的N个文本去重后得到，K为大于或等于M的整数；
计算所述K个文本对中文本对的第一文本和第二文本的相似度值；
获取语义理解系统的日志中记录的所述K个文本对中文本的第一识别结果，及基于文本的目标识别结果输入的文本的标注结果，所述目标识别结果为所述第一识别结果或第二识别结果，所述第二识别结果为识别模型输出的识别结果；
根据所述K个文本对中每个文本对的所述相似度值、所述第一识别结果及所述标注结果，得到M个目标相似文本对；
其中，每个所述目标相似文本对的所述相似度值大于第一阈值，且每个所述目标相似文本对的第一文本的第一识别结果与标注结果相同，第二文本的第一识别结果与标注结果不同。
可选的，所述第一识别结果和所述标注结果均包括文本的意图；程序被处理器801执行时还可实现如下步骤：
确定目标意图，所述目标意图为用户输入的第一意图，或，所述语义理解系统识别得到的Q个意图中数量最多的第二意图，Q为大于1的整数；
根据所述目标意图，从所述日志中记录的文本中筛选出所述N个文本，所述N个文本中每个文本的标注结果的意图均为所述目标意图。
可选的，程序被处理器801执行时还可实现如下步骤：
获取所述日志中记录的所述语义理解系统识别所述N个文本的过程中出现的第一错误信息；
根据所述第一错误信息，确定目标信息；
其中，所述目标信息包括以下至少一项：所述第一错误信息对应的修复信息、所述语义理解系统存在的与所述第一错误信息对应的潜在问题、所述N个文本中出现所述第一错误信息的文本的数量与N的比值；
根据所述第一错误信息、所述目标信息、所述第一问题及所述M个目标相似文本对，生成日志分析报告，所述日志分析报告包括所述第一错误信息、所述目标信息、所述第一问题及所述M个目标相似文本对。
可选的，程序被处理器801执行时还可实现如下步骤：
根据获取到的所述语义理解系统的P个系统性能特征值，计算所述语义理解系统的评价指标值；
其中，所述P个系统性能特征值包括以下至少一项：M与N的比值、所述第一问题包括的问题种类、问题数量；P为大于1的整数；
根据所述评价指标值、所述第一问题及所述M个目标相似文本对，生成日志分析报告，所述日志分析报告包括所述评价指标值、所述第一问题及所述M个目标相似文本对。
可选的，程序被处理器801执行时还可实现如下至少一项：
根据所述P个系统性能特征值、每个系统性能特征值对应的标准值及每个系统性能特征值对应的权重，计算所述语义理解系统的评价指标值；
将所述P个系统性能特征值输入打分模型，所述打分模型的输出为所述语义理解系统的评价指标值。
可选的，程序被处理器801执行时还可实现：
在第一条件满足的情况下，生成日志分析报告；
其中，所述第一条件满足包括以下任一项：
接收到第一指令，所述第一指令用于指示生成日志分析报告；
到达第一时间点；
获取到第一信息，所述第一信息至少包括所述第一问题及所述M个目标相似文本对。
电子设备800能够实现上述方法实施例中的各个过程，为避免重复，这里不再赘述。在实际应用中，电子设备800可以是手机、电脑、电视、可穿戴式设备或车载设备等，但不仅限于此。
在图8中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器801代表的一个或多个处理器和存储器802代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机804可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。针对不同的用户设备，用户接口803还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。
处理器801负责管理总线架构和通常的处理，存储器802可以存储处理器2601在执行操作时所使用的数据。
本公开实施例还提供一种可读存储介质，可读存储介质上存储有程序，该程序被处理器执行时实现上述日志分析方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
上面结合附图对本公开的实施例进行了描述，但是本公开并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本公开的启示下，在不脱离本公开宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本公开的保护之内。

Claims (10)

1.一种日志分析方法，其特征在于，所述方法包括：
根据语义理解系统的日志中记录的N个文本，确定M个目标相似文本对，其中，每个所述目标相似文本对的第一文本的第一识别结果与标注结果相同，第二文本的第一识别结果与标注结果不同，所述第一识别结果为所述语义理解系统输出的识别结果，N为大于1的整数，M为正整数；
根据每个所述目标相似文本对的第二文本的第一识别结果，确定所述语义理解系统存在的第一问题；
生成日志分析报告，所述日志分析报告包括所述第一问题及所述M个目标相似文本对。
2.根据权利要求1所述的方法，其特征在于，所述根据语义理解系统的日志中记录的N个文本，确定M个目标相似文本对，包括：
将第一文本集合中的文本两两分组得到K个文本对，所述第一文本集合通过对语义理解系统的日志中记录的N个文本去重后得到，K为大于或等于M的整数；
计算所述K个文本对中文本对的第一文本和第二文本的相似度值；
获取语义理解系统的日志中记录的所述K个文本对中文本的第一识别结果，及基于文本的目标识别结果输入的文本的标注结果，所述目标识别结果为所述第一识别结果或第二识别结果，所述第二识别结果为识别模型输出的识别结果；
根据所述K个文本对中每个文本对的所述相似度值、所述第一识别结果及所述标注结果，得到M个目标相似文本对；
其中，每个所述目标相似文本对的所述相似度值大于第一阈值，且每个所述目标相似文本对的第一文本的第一识别结果与标注结果相同，第二文本的第一识别结果与标注结果不同。
3.根据权利要求1所述的方法，其特征在于，所述第一识别结果和所述标注结果均包括文本的意图；所述根据日志记录中的N个文本，确定M个目标相似文本对之前，所述方法还包括：
确定目标意图，所述目标意图为用户输入的第一意图，或，所述语义理解系统识别得到的Q个意图中数量最多的第二意图，Q为大于1的整数；
根据所述目标意图，从所述日志中记录的文本中筛选出所述N个文本，所述N个文本中每个文本的标注结果的意图均为所述目标意图。
4.根据权利要求1所述的方法，其特征在于，所述生成日志分析报告之前，所述方法还包括：
获取所述日志中记录的所述语义理解系统识别所述N个文本的过程中出现的第一错误信息；
根据所述第一错误信息，确定目标信息；
其中，所述目标信息包括以下至少一项：所述第一错误信息对应的修复信息、所述语义理解系统存在的与所述第一错误信息对应的潜在问题、所述N个文本中出现所述第一错误信息的文本的数量与N的比值；
所述生成日志分析报告，包括：
根据所述第一错误信息、所述目标信息、所述第一问题及所述M个目标相似文本对，生成日志分析报告，所述日志分析报告包括所述第一错误信息、所述目标信息、所述第一问题及所述M个目标相似文本对。
5.根据权利要求1所述的方法，其特征在于，所述生成日志分析报告之前，所述方法还包括：
根据获取到的所述语义理解系统的P个系统性能特征值，计算所述语义理解系统的评价指标值；
其中，所述P个系统性能特征值包括以下至少一项：M与N的比值、所述第一问题包括的问题种类、问题数量；P为大于1的整数；
所述生成日志分析报告，包括：
根据所述评价指标值、所述第一问题及所述M个目标相似文本对，生成日志分析报告，所述日志分析报告包括所述评价指标值、所述第一问题及所述M个目标相似文本对。
6.根据权利要求5所述的方法，其特征在于，所述根据确定的所述语义理解系统的P个系统性能特征值，确定所述语义理解系统的评价指标值，包括以下至少一项：
根据所述P个系统性能特征值、每个系统性能特征值对应的标准值及每个系统性能特征值对应的权重，计算所述语义理解系统的评价指标值；
将所述P个系统性能特征值输入打分模型，所述打分模型的输出为所述语义理解系统的评价指标值。
7.根据权利要求1所述的方法，其特征在于，所述生成日志分析报告，包括：
在第一条件满足的情况下，生成日志分析报告；
其中，所述第一条件满足包括以下任一项：
接收到第一指令，所述第一指令用于指示生成日志分析报告；
到达第一时间点；
获取到第一信息，所述第一信息至少包括所述第一问题及所述M个目标相似文本对。
8.一种日志分析装置，其特征在于，所述日志分析装置包括：
第一确定模块，用于根据语义理解系统的日志中记录的N个文本，确定M个目标相似文本对，其中，每个所述目标相似文本对的第一文本的第一识别结果与标注结果相同，第二文本的第一识别结果与标注结果不同，所述第一识别结果为所述语义理解系统输出的识别结果，N为大于1的整数，M为正整数；
第二确定模块，用于根据每个所述目标相似文本对的第二文本的第一识别结果，确定所述语义理解系统存在的第一问题；
生成模块，用于生成日志分析报告，所述日志分析报告包括所述第一问题及所述M个目标相似文本对。
9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如权利要求1至7中任一项所述的日志分析方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有程序，所述程序被处理器执行时实现如权利要求1至7中任一项所述的日志分析方法的步骤。
CN202010903676.7A 2020-09-01 2020-09-01 日志分析方法、日志分析装置及电子设备 Active CN112069833B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010903676.7A CN112069833B (zh) 2020-09-01 2020-09-01 日志分析方法、日志分析装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010903676.7A CN112069833B (zh) 2020-09-01 2020-09-01 日志分析方法、日志分析装置及电子设备

Publications (2)

Publication Number Publication Date
CN112069833A true CN112069833A (zh) 2020-12-11
CN112069833B CN112069833B (zh) 2024-04-30

Family

ID=73666306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010903676.7A Active CN112069833B (zh) 2020-09-01 2020-09-01 日志分析方法、日志分析装置及电子设备

Country Status (1)

Country Link
CN (1) CN112069833B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115270797A (zh) * 2022-09-23 2022-11-01 山东省计算中心（国家超级计算济南中心） 一种基于自训练半监督学习的文本实体抽取方法及系统
CN116796075A (zh) * 2023-08-24 2023-09-22 四维世景科技(北京)有限公司 一种问题数据的分析方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8510308B1 (en) * 2009-06-16 2013-08-13 Google Inc. Extracting semantic classes and instances from text
CN109033356A (zh) * 2018-07-25 2018-12-18 深圳追科技有限公司 为客服系统日志打标签的方法及客服系统
CN109359026A (zh) * 2018-08-15 2019-02-19 中国平安人寿保险股份有限公司 日志上报方法、装置、电子设备及计算机可读存储介质
WO2019210820A1 (zh) * 2018-05-03 2019-11-07 华为技术有限公司 一种信息输出方法及装置
CN111368024A (zh) * 2020-02-14 2020-07-03 深圳壹账通智能科技有限公司 文本语义相似度的分析方法、装置及计算机设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8510308B1 (en) * 2009-06-16 2013-08-13 Google Inc. Extracting semantic classes and instances from text
WO2019210820A1 (zh) * 2018-05-03 2019-11-07 华为技术有限公司 一种信息输出方法及装置
CN109033356A (zh) * 2018-07-25 2018-12-18 深圳追科技有限公司 为客服系统日志打标签的方法及客服系统
CN109359026A (zh) * 2018-08-15 2019-02-19 中国平安人寿保险股份有限公司 日志上报方法、装置、电子设备及计算机可读存储介质
CN111368024A (zh) * 2020-02-14 2020-07-03 深圳壹账通智能科技有限公司 文本语义相似度的分析方法、装置及计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张军;王芬芬;: "基于正则表达式的日志解析系统构建研究", 无线互联科技, no. 03 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115270797A (zh) * 2022-09-23 2022-11-01 山东省计算中心（国家超级计算济南中心） 一种基于自训练半监督学习的文本实体抽取方法及系统
CN116796075A (zh) * 2023-08-24 2023-09-22 四维世景科技(北京)有限公司 一种问题数据的分析方法和装置
CN116796075B (zh) * 2023-08-24 2023-10-31 四维世景科技(北京)有限公司 一种问题数据的分析方法和装置

Also Published As

Publication number Publication date
CN112069833B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
CN107818781B (zh) 智能交互方法、设备及存储介质
CN109360550B (zh) 语音交互系统的测试方法、装置、设备和存储介质
CN112346567B (zh) 基于ai的虚拟交互模型生成方法、装置及计算机设备
US9672490B2 (en) Procurement system
CN111292751B (zh) 语义解析方法及装置、语音交互方法及装置、电子设备
CN109145301B (zh) 信息分类方法及装置、计算机可读存储介质
CN111179935A (zh) 一种语音质检的方法和设备
CN117235238B (zh) 问答方法、装置、存储介质及计算机设备
CN111159987A (zh) 数据图表绘制方法、装置、设备和计算机可读存储介质
CN111177307A (zh) 一种基于语义理解相似度阀值配置的测试方案及系统
CN112069833B (zh) 日志分析方法、日志分析装置及电子设备
CN112288584A (zh) 保险报案处理方法、装置、计算机可读介质及电子设备
CN114090463B (zh) 基于自然语言处理技术的可定制软件测试分析评价系统
CN115509485A (zh) 一种业务表单的填写方法、装置、电子设备和存储介质
KR102017229B1 (ko) 발화 패턴의 무한성 개선을 위한 딥러닝 기반의 텍스트 문장 자동 생성시스템
CN111369294A (zh) 软件造价估算方法及装置
CN114242047A (zh) 一种语音处理方法、装置、电子设备及存储介质
CN114186040A (zh) 一种智能机器人客服的运作方法
CN113590772A (zh) 异常评分的检测方法、装置、设备及计算机可读存储介质
CN114417010A (zh) 面向实时工作流的知识图谱构建方法、装置和存储介质
CN113468306A (zh) 语音对话方法、装置、电子设备及存储介质
CN113763929A (zh) 一种语音评测方法、装置、电子设备和存储介质
CN117829819B (zh) 故障处理方法、设备及计算机可读存储介质
CN115168577B (zh) 模型更新方法、装置、电子设备及存储介质
CN114154513B (zh) 一种领域语义网自动构建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant