CN111931488A - 用于验证判断结果准确性的方法、装置、电子设备及介质 - Google Patents

用于验证判断结果准确性的方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN111931488A
CN111931488A CN202011016753.3A CN202011016753A CN111931488A CN 111931488 A CN111931488 A CN 111931488A CN 202011016753 A CN202011016753 A CN 202011016753A CN 111931488 A CN111931488 A CN 111931488A
Authority
CN
China
Prior art keywords
elements
accuracy
knowledge
description
judgment result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011016753.3A
Other languages
English (en)
Other versions
CN111931488B (zh
Inventor
邢智慧
陈俊
陆超
黄海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202011016753.3A priority Critical patent/CN111931488B/zh
Publication of CN111931488A publication Critical patent/CN111931488A/zh
Priority to US17/208,485 priority patent/US20210209482A1/en
Application granted granted Critical
Publication of CN111931488B publication Critical patent/CN111931488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/226—Validation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了用于验证判断结果准确性的方法、装置、电子设备及计算机可读存储介质，涉及知识图谱、自然语言处理等人工智能领域，可用于辅助诊断决策。该方法的一实施方式包括：获取用户描述信息和与用户描述信息对应的判断结果；从用户描述信息中提取出至少一个描述要素；利用预设的验证模型分别确定每一个描述要素与判断结果之间的匹配程度，得到各实际匹配值，该验证模型基于描述要素与判断结果之间的词频与逆文本频率指数关系训练得到；将实际匹配值超过预设匹配值的描述要素确定为第一要素，并基于第一要素的数量确定判断结果的准确性。应用该实施方式可对判断结果的准确性进行验证，得以基于准确性验证结果明确判断结果是否可信。

Description

用于验证判断结果准确性的方法、装置、电子设备及介质
技术领域
本申请涉及数据处理技术领域，具体涉及知识图谱、自然语言处理等人工智能领域，尤其涉及用于验证判断结果准确性的方法、装置、电子设备及计算机可读存储介质。
背景技术
随着电子信息化程度的不断提升、大数据技术的不断发展，诞生了许多用于对用户描述信息进行初步整理、分析、得到初步结论的方案，诸如是否属于某一类数据、是否属于有效数据、是否匹配与某预设信息等，以通过这些通过自动分析得到的信息提升处理效率。
发明内容
本申请实施例提出了一种用于验证判断结果准确性的方法、装置、电子设备及计算机可读存储介质。
第一方面，本申请实施例提出了一种用于验证判断结果准确性的方法，包括：获取用户描述信息和与用户描述信息对应的判断结果；从用户描述信息中提取出包括至少一个描述要素；利用预设的验证模型分别确定每一个描述要素与判断结果之间的匹配程度，得到各实际匹配值；其中，验证模型基于描述要素与判断结果之间的词频与逆文本频率指数TF-IDF关系训练得到；将实际匹配值超过预设匹配值的描述要素确定为第一要素，并基于第一要素的数量确定判断结果的准确性。
第二方面，本申请实施例提出了一种用于验证判断结果准确性的装置，包括：用户描述信息及判断结果获取单元，被配置成获取用户描述信息和与用户描述信息对应的判断结果；描述要素提取单元，被配置成从用户描述信息中提取出包括至少一个描述要素；匹配程度验证单元，被配置成利用预设的验证模型分别确定每一个描述要素与判断结果之间的匹配程度，得到各实际匹配值；其中，验证模型基于描述要素与判断结果之间的词频与逆文本频率指数TF-IDF关系训练得到；第一要素及判断准确性确定单元，被配置成将实际匹配值超过预设匹配值的描述要素确定为第一要素，并基于第一要素的数量确定判断结果的准确性。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的用于验证判断结果准确性的方法。
第四方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的用于验证判断结果准确性的方法。
本申请实施例提供的用于验证判断结果准确性的方法、装置、电子设备及计算机可读存储介质，首先，获取用户描述信息和与用户描述信息对应的判断结果；然后，从用户描述信息中提取出包括至少一个描述要素；接着，利用预设的基于描述要素与判断结果之间的词频与逆文本频率指数TF-IDF关系训练得到的验证模型，分别确定每一个描述要素与判断结果之间的匹配程度，得到各实际匹配值；最后，将实际匹配值超过预设匹配值的描述要素确定为第一要素，并基于第一要素的数量确定判断结果的准确性。
为确定判断结果对用户描述信息的判断是否准确性，本申请利用预先训练出的表征描述要素与判断结果之间TF-IDF关系的验证模型，来对从用户描述信息中提取出的实际的描述要素与实际的判断结果之间是否匹配进行验证，得到每个描述要素分别与判断结果之间的匹配程度，最终通过匹配的描述要素的数量来反映该判断结果的准确性，从而提升判断结果的可信度。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构；
图2为本申请实施例提供的一种用于验证判断结果准确性的方法的流程图；
图3为本申请实施例提供的另一种用于验证判断结果准确性的方法的流程图；
图4为本申请实施例提供的在恶意网页识别场景下的用于验证是否属于恶意网页的判断结果的准确性的方法的流程示意图；
图5为本申请实施例提供的在疾病诊断场景下的用于验证疑似疾病的诊断结果的准确性的方法的流程示意图；
图6为本申请实施例提供的与图5对应的一种得到诊断理由的流程示意图；
图7为本申请实施例提供的与图5对应的一种基于TF-IDF关系进行验证的流程示意图；
图8为本申请实施例提供的一种用于验证判断结果准确性的装置的结构框图；
图9为本申请实施例提供的一种适用于执行用于验证判断结果准确性的方法的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于验证判断结果准确性的方法、装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103和服务器105上可以安装有各种用于实现两者之间进行信息通讯的应用，例如信息收发类应用、描述信息分析类应用、判断结果分析类应用等。
终端设备101、102、103和服务器105可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等；当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器；服务器为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。
服务器105通过内置的各种应用可以提供各种服务，以可以提供验证与用户描述信息对应的判断结果是否准确的服务的判断结果分析类应用为例，服务器105在运行该判断结果分析类应用时可实现如下效果：首先，通过网络104接收用户通过其使用的终端设备101、102、103输入的用户描述信息，和终端设备101、102、103对输入的用户描述信息给出的判断结果；然后，从用户描述信息中提取出包括至少一个描述要素；接着，利用预设的基于描述要素与判断结果之间的词频与逆文本频率指数TF-IDF关系训练得到的验证模型，分别确定每一个描述要素与判断结果之间的匹配程度，得到各实际匹配值；最后，将实际匹配值超过预设匹配值的描述要素确定为第一要素，并基于第一要素的数量确定判断结果的准确性。进一步的，服务器105还可以根据预设的路径输出该表征判断结果的准确性的参数。该预设的路径包括且不限于返回终端设备101、102、103的路径、另外的数据服务器的存储路径。
需要指出的是，用户描述信息和判断结果除可以从终端设备101、102、103通过网络104实时获取到之外，也可以通过各种方式预先存储在服务器105本地。因此，当服务器105检测到本地已经存储有这些数据时(例如开始处理之前留存的待处理准确性计算任务)，可选择直接从本地获取这些数据，在此种情况下，示例性系统架构100也可以不包括终端设备101、102、103和网络104。
由于准确性的计算涉及大量运算，需要占用较多的运算资源和较强的运算能力，因此本申请后续各实施例所提供的用于验证判断结果准确性的方法一般由拥有较强运算能力、较多运算资源的服务器105来执行，相应地，用于验证判断结果准确性的装置一般也设置于服务器105中。但同时也需要指出的是，在终端设备101、102、103也具有满足要求的运算能力和运算资源时，终端设备101、102、103也可以通过其上安装的判断结果分析类应用完成上述本交由服务器105做的各项运算，进而输出与服务器105同样的结果。尤其是在同时存在多种具有不同运算能力的终端设备的情况下，但判断结果分析类应用判断所在的终端设备拥有较强的运算能力和剩余较多的运算资源时，可以让终端设备来执行上述运算，从而适当减轻服务器105的运算压力，相应的，用于验证判断结果准确性的装置也可以设置于终端设备101、102、103中。在此种情况下，示例性系统架构100也可以不包括服务器105和网络104。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
请参考图2，图2为本申请实施例提供的一种用于验证判断结果准确性的方法的流程图，其中流程200包括以下步骤：
步骤201：获取用户描述信息和与用户描述信息对应的判断结果；
本步骤旨在由用于验证判断结果准确性的方法的执行主体(例如图1所示的服务器105)获取(例如由图1所示的终端设备101、102、103通过网络104发来的)用户描述信息和与用户描述信息对应的判断结果。
其中，用户描述信息是指由用户自己对自身某一方面或自己了解到的内容进行描述后得到的信息，例如自己书写的会议日志、编写的网页内容、文章内容、对自身近期身体健康状况的描述等等；与用户描述信息对应的判断结果则是指某些可实现判断功能的功能模块(例如第三方提供的SDK，即第三方应用程序工具包)输出的根据用户描述信息中的内容给出的分析结果，例如当用户描述信息为其自行书写的会议日志时，该功能模块可以得出该会议日志是否按照预设的格式书写的判断结果，又例如当用户描述信息为其自行编写的网页文章内容时，该功能模块可以得出该网页文章内容是否包含有预设禁止出现的敏感词的判断结果，还例如当用户描述信息为其对自身近期身体健康状态进行描述的病历信息时，该功能模块可以得出该用户可能患有某种疾病的疑似疾病，等等。
具体该功能模块是如何给出针对用户描述信息的内容的判断结果的，并非本申请所要研究的重点，本步骤仅阐述可获取到用户描述信息和与该用户描述信息对应的判断结果的情况，即针对这种情况如何通过后续步骤来对该功能模块给出的判断结果的准确性进行验证，从而让用户或其它人员能够更加清晰的得知该判断结果是如何得出的，用于支撑用户对该判断结果的认可度，同时也能够筛选不准确的判断结果，指导提升功能模块得出判断结果的准确度。
步骤202：从用户描述信息中提取出至少一个描述要素；
在步骤201的基础上，本步骤旨在由上述执行主体从该用户描述信息中提取出至少一个描述要素。进一步的，至少一个描述要素还可以表现为描述要素集，以更好的作为一个整体便于后续步骤的使用。
其中，从用户描述信息中提取描述要素的操作为特征提取或关键信息提取操作，可通过诸如分词、关键词提取、同义词处理等方式从既包含非描述要素和描述要素的用户描述信息中，提取出关键的描述要素，以避免非描述要素参与后续步骤造成的干扰。
在步骤201中已经阐明了用户描述信息可根据实际情况的不同表现为不同类型的信息，而针对不同类型的用户描述信息，在进行描述要素的提取出不仅应当结合其类型，也应当结合该功能模块得出判断结果的切入点，从而提取出于功能模块得出的判断结果更匹配的描述要素，仅有在此情况下，后续进行的验证描述要素是否与判断结果之间是否匹配、匹配程度，以及根据匹配程度确定判断结果是否准确的操作才有意义、才能起到作用。具体的，当用户描述信息为会议日志、判断结果为格式是否为预设格式的结果时，所提取出的描述要素则应侧重于针对会议日志中表征其书写格式的一些要素，例如首/尾段的字符串、第二段是否空格等等；当用户描述信息为网页文章内容、判断结果为是否包含敏感词时，所提取出的描述要素则应侧重于关于敏感内容的相关关键词；当用户描述信息为电子病历、判断结果为与疑似疾病时，所提取出的描述要素则应侧重于关于疾病症状相关的医学实体、疾病要素，等。
步骤203：利用预设的验证模型分别确定每一个描述要素与判断结果之间的匹配程度，得到各实际匹配值；
其中，该验证模型基于描述要素与判断结果之间的TF-IDF(Term Frequency-Inverse Document Frequency，词频-逆文本频率指数)关系训练得到。
TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。因此一个词语在一篇文章中出现次数越多,同时在所有文档中出现次数越少,越能够代表该文章。基于该特性，本申请实际上是借助TF-IDF统计方法来尽可能的帮助机器来从语义层面理解某些字词与所在的用户描述之间的关联程度。
需要说明的是，之所以要通过基于TF-IDF关系训练出的验证模型来确定描述要素与判断结果之间的匹配程度，是因为通常得出判断结果的方式是看支持得出该判断结果的方式为描述要素是否命中构成该判断结果的支持要素，而命中的方式则是通过“硬”匹配的方式进行的，即是否存在一模一样的字符，而不同用户对相同内容的描述往往不尽相同，因此就很容易出现无法全部命中的问题，从而使得支撑得出判断结果的理由不足、可信度不高。因此，为了尽可能得到全面、正确的支撑依据，还需要使用其它方式来尽可能的使得描述要素命中，本步骤就是使用TF-IDF关系来从语义层面来解决这一问题，同时还可以发现新的支撑要素，从而还可以通过增加支撑要素(可通过知识图谱记载的与判断结果相关的知识得到)总数的方式来提升命中的要素数量、提升可信度。
在步骤202的基础上，本步骤旨在由上述执行主体利用表征描述要素与判断结果在语义层面的关联关系的验证模型，确定每一个描述要素与判断结果之间的匹配程度，并得到可量化描述的实际匹配值。
步骤204：将实际匹配值超过预设匹配值的描述要素确定为第一要素，并基于第一要素的数量确定判断结果的准确性。
在步骤203的基础上，本步骤旨在由上述执行主体将实际匹配值超过预设匹配值的描述要素确定为第一要素，并基于第一要素的数量确定判断结果的准确性。即第一要素的数量越多可认为可用于支撑该判断结果的证据越多，从而得出判断结果越准确的验证结论。具体的，用于表征判断结果的准确性的参数可以仅为第一要素的数量，也可以为第一要素的数量与所有支撑要素的总数间的比值，或者其它可随第一要素的数量增多而使得出的准确性越高的运算方式，此处不做具体限定。
进一步的，确定出的准确性可采用多种方式进行表示，例如可简单的分为低、中、高三挡，也可以将其换算为百分制下的具体数值等，具体采用哪种还可以结合后续准确性处于哪种程度还做出针对性处理的方式进行，例如后续执行措施仅分为两种，分别对应准确和不准确应执行何种操作，那么本步骤确定出的准确性就可以仅分为两档，例如将百分制中超过80分的划分为准确，剩余的划分为不准确。
为确定判断结果对用户描述信息的判断是否准确性，本申请提供的用于验证判断结果准确性的方法利用预先训练出的表征描述要素与判断结果之间TF-IDF关系的验证模型，来对从用户描述信息中提取出的实际的描述要素与实际的判断结果之间是否匹配进行验证，得到每个描述要素分别与判断结果之间的匹配程度，最终通过匹配的描述要素的数量来反映该判断结果的准确性，从而提升判断结果的可信度。
请参考图3，图3为本申请实施例提供的另一种用于验证判断结果准确性的方法的流程图，其中流程300包括以下步骤：
步骤301：获取用户描述信息和与用户描述信息对应的判断结果；
步骤302：从用户描述信息中提取出至少一个描述要素；
步骤303：利用预设的验证模型分别确定每一个描述要素与判断结果之间的匹配程度，得到各实际匹配值；
步骤304：将实际匹配值超过预设匹配值的描述要素确定为第一要素；
以上步骤301-304与如图2所示的步骤201-203以及步骤204的前一部分一致，相同部分内容请参见上一实施例的相应部分，此处不再进行赘述。
步骤305：利用预设的知识图谱确定与判断结果相关的多个知识要素；
步骤306：将与任意知识要素一致的描述要素确定为第二要素；
区别于步骤304-步骤304提供的基于TF-IDF关系从语义层面确定出的第一要素的方式，步骤305则是通过预设的知识图谱确定出于判断结果相关的多个知识要素，然后再通过步骤306将与任意知识要素一致的描述要素确定为第二要素，即结合知识图谱记载的“硬”知识同样进行命中要素的确定。
在本实施例的一些其它实施例中，针对如何确定第二要素，还提供了一种如下的实现方式：
获取每个知识要素的置信度；
分别计算得到每个描述要素与每个知识要素之间的相似度；
根据相似度和置信度确定具有一致性的知识要素和描述要素，并将与任意知识要素具有一致性的描述要素确定为第二要素。
根据相似度和置信度确定具有一致性的知识要素和描述要素可表现为公式：Score＝sim(finding,spo_item)*confi(spo_item)，其中，sim表示相似度计算、finding表示提取出的描述要素、spo_item表示要素与判断结果之间的关系对、confi表示置信度。
其中，相似度衡量了描述要素与知识要素之间的相似程度，用于取代常规的硬匹配方式，采用模型结合规则判定的方式计算：规则判定：上下位关系、父子字符串；无监督学习：离线对大量相关的历史数据进行预训练，获取预训练向量，基于词向量、字向量计算相似度。相似度模型：训练数据：在知识图谱大图中挖掘要素上下位关系，存在上下位关系的要素有较高相似度，作为基础训练数据，经过模型迭代挖掘更多相似对；模型结构：LSTM(Long Short-Term Memory，长短期记忆网络)+attention(注意力机制)，该模型结构可以充分提取要素之间相似、相同的词、字，反映要素间相似度，同时增加mask和随机扰动，增加模型鲁棒性和迁移能力。
其中，知识要素的置信度表示每个知识要素的可信程度，之所以会存在这个参数，是因为在构成知识图谱时的数据可能存在错误，即知识图谱挖掘要素时就存在准确率问题，因此可通过评估知识要素来源的方式来给出不同知识要素的置信度，例如来自专业书籍、教科书、权威认证机构发布的信息的，将其中提取出的知识要素的置信度标记为1，其它则可以以此为标准适当下调，综合上述两方面来提升一致性确定的准确性。
步骤307：根据第一要素和第二要素的数量确定判断结果的准确性。
区别于如流程200所示的实施例，本实施例由于增加了步骤305-步骤306提供的通过知识图谱从另一角度确定出第二要素的方案，因此在判断准确性时也适应性调整为根据第一要素和第二要素的数量确定判断结果的准确性。
具体的，考虑到第一要素和第二要素中可能存在重复项，因此还可以对第一要素和第二要素进行去重处理，得到要素集合，然后将要素集合中的要素数量与知识要素的总数的比值，作为判别结果的准确程度，以利用相同元素仅在集合中存在一项的特性，得到尽可能准确的准确性结论。
区别于如流程200所示的上一实施例，本实施例通过步骤305-步骤306提供了基于知识图谱的另一种尝试命中与判断结果相关的、可用于支撑该判断结果是准确的要素的方案，与步骤303-步骤304提供的通过基于TF-IDF关系训练得到的从语义层面验证描述要素与判断结果之间匹配程度的方案相结合，使得最终同时根据第一要素和第二要素的数量确定出的准确性更加准确。
在如图3所示流程300的实施例的基础上，响应于存在与任意知识要素均不同的第一要素，说明通过TF-IDF关系训练出的验证模型还发现了知识图谱构建时未挖掘到的新知识要素，因此还可以将与任意知识要素均不同的第一要素作为补充要素添加进知识图谱，以提升知识图谱中记录的与该判断结果相关的知识要素的全面性。
进一步的，由于在同时结合验证模型得出的第一要素和知识图谱得出的第二要素，而两种方式下计算出的数量可能对最终确定出的准确性大小的影响不同，因此还可以结合加权的思想来提升准确性。
一种包括但不限于的实现方式可以为：
获取预先分别为第一要素和第二要素设置的第一数量权重和第二数量权重；
将第一要素的数量和第一数量权重、第二要素的数量和第二数量权重，按照加权计算法计算得到加权后要素数量；
根据加权后要素数量确定判断结果的准确性。
为加深理解，本申请还结合一具体的应用场景：用户描述信息具体为用户编写的一篇网页文章、判断结果为该网页文章内容是否因存在较多敏感词被禁止显示的结果，给出了一种最终能够验证所给出的判断结果是否准确的具体实现方案，请参见如图4所示的流程400：
步骤401：获取输入的网页文章内容和被禁止显示的判断结果；
步骤402：从网页文章内容中提取出至少一个疑似敏感词；
具体的，提取出的此疑似敏感词应为与表征该词是否属于敏感词的特征，例如是否包含“弯弯”、“湾湾”、“暴露”、“放荡”等直接敏感词或对上述直接敏感词进行略微改造得到的非直接敏感词，例如“暴|露”、“放0荡”等。
步骤403：利用预设的验证模型分别确定每一个疑似敏感词与判断结果之间的匹配程度，得到各实际匹配值；
假定共提取得到60个疑似敏感词，分别计算得到其实际匹配值，其中48个的实际匹配值超过85分(满分100分)、6个实际匹配值超过75分不超过85分、6个实际匹配值不超过75分。
步骤404：将实际匹配值超过预设匹配值的疑似敏感词确定为第一敏感词；
假定预设匹配值为85分，那么第一敏感词有48个。
步骤405：利用预设的知识图谱确定与网页敏感词相关的多个实际敏感词；
假定知识图谱中记录有100个实际敏感词。
步骤406：将与任意实际敏感词一致的疑似敏感词确定为第二敏感词；
假定通过本步骤共确定出45个第二敏感词。
步骤407：将实际敏感词中的第一敏感词和第二敏感词进行高亮显示，并根据包含非高亮显示和高亮显示的要素，生成得出该网页文章内容被禁止显示的理由。
结合步骤404确定出的48个第一敏感词、步骤406确定出的45个第二敏感词，经去重发现，第二敏感词有43个属于第一敏感词，因此一共存在50个敏感词。因此将在100个实际敏感词作为备选敏感词，并将其中与上述存在的50个敏感词进行高亮显示，以通过高亮显示呈现出该网页文章内容具体存在哪些敏感词，并作为该网页文章内容被禁止显示的具体理由(敏感词超过30个)呈现给编写者和后台管理者。
为进一步加深理解，本实施例还结合了区别于流程400的另一应用场景：用户描述信息为用户的电子病历，判断结果为疑似疾病，提供的一种具体的实现方式，请参见如图5所示的流程500：
步骤501：获取患者的电子病历和与电子病历的内容对应的疑似疾病；
假定电子病历内容为：咳嗽两天，有白色痰，伴头痛。疑似疾病为：急性上呼吸道感染。
AB集合的交集是咳嗽、白色痰(咳嗽是硬匹配的，白色痰和咳痰是通过上面的相似度模型获得的相关性)，同时根据我们挖掘的tfidf关系和疾病要素模型，我们判断头痛和上呼吸道感染也是有关系的，因此我们高亮咳嗽、白色痰和头痛，非高亮展示知识图谱中剩余的要素发热、打喷嚏、流鼻涕、畏寒等等。以此来区分高亮和非高亮，两者都是和该疾病相关的，只是出现在病历中的会高亮，没有出现的就不高亮
步骤502：从电子病历中提取出至少一个疾病要素；
提取出的疾病要素为咳嗽、咳痰、头痛。
步骤503：利用预设的医学知识图谱确定疑似疾病下的多个知识要素；
知识图谱中提供了上呼吸道感染相关的要素有：咳嗽、咳痰、发热、打喷嚏、流鼻涕、畏寒等等。
步骤504：将与任意知识要素一致的疾病要素确定为第一要素；
基于知识图谱记载的疾病要素与实际得到的疾病要素之间的“硬”匹配，可以将“咳嗽”、“咳痰”确定为第一要素。
步骤505：利用预设的验证模型分别确定每一个疾病要素与疑似疾病之间的匹配程度，得到各实际匹配值；
本步骤通过提供的验证模型则分别得到：“咳嗽”的实际匹配值为97分、“咳痰”的实际匹配值为93分、“头痛”的实际匹配值为86分。
步骤506：将实际匹配值超过预设匹配值的疾病要素确定为第二要素；
在预设匹配值为85分的情况下，“咳嗽”、“咳痰”和“头痛”均属于第二要素。
步骤507：将知识要素中的第一要素和第二要素进行高亮显示，并根据包含非高亮显示和高亮显示的要素，生成得出该疑似疾病的诊断理由。
因此，通过第一要素和第二要素，将“头痛”这一疾病要素也补入上呼吸道感染这一疾病的疾病要素构成中，并将该疾病的所有疾病要素中的“咳嗽”、“咳痰”和“头痛”三项进行高亮显示，并以三项高亮的疾病要素生成判断出该患者患急性上呼吸道干扰的诊断理由。
上述过程还可以参见如图6提供的得到诊断理由的流程示意图，其中，注意力权重指每个疾病要素与疑似疾病之间的关联程度，权重越高代表该疾病要素与得到该疑似疾病的判断的支撑力度越高；高亮要素的得分是指根据该注意力权重结合两部分计算出的得分，超过一定分值将进行高亮显示；知识图谱挖掘出的疾病、疾病要素、类型的关系对。图6所示的流程可简述为：将电子病历中提取出的每个疾病要素与每个疑似疾病看做疾病与疾病要素之间的关系对，并召回合理的关系对并高亮展示，根据高亮结果、非高亮结果展示诊断理由。召回部分又包括基于知识图谱的召回和基于疾病-疾病要素语义关联的召回，两方案的结合兼顾了知识循证和对病历内容的自然语言理解，提升了准确性。
而上述的基于疾病-疾病要素之间的TF-IDF关系训练出的验证模型，则可以具体表现为如图7所示的流程示意图，即根据病况大图离线挖掘疾病与疾病要素之间的TF-IDF关系，训练疾病要素匹配模型(即上述的验证模型)，使用疾病与疾病要素之间的TF-IDF关系对、知识图谱挖掘出的疾病、疾病要素、类型的关系对作为初始训练集，模型结合则可以具体选用文本类型的神经网络加余弦匹配计算机制。图7所示流程可简述为：疾病与疾病要素匹配得分通过TF-IDF和模型计算后高于设定阈值时，加入高亮集合，当低于设定阈值时，引入AI诊断过程中产出的权重进行额外加权，较高的重代表在给出该疑似疾病的诊断时该要素重要性较高，结合上述两种策略综合评估后，给出要素最终分值，判定是否加入高亮集合。
进一步参考图8，作为对上述各图所示方法的实现，本申请提供了一种用于验证判断结果准确性的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图8所示，本实施例的用于验证判断结果准确性的装置600可以包括：用户描述信息及判断结果获取单元601、描述要素提取单元602、匹配程度验证单元603和第一要素及判断准确性确定单元604。其中，用户描述信息及判断结果获取单元601，被配置成获取用户描述信息和与用户描述信息对应的判断结果；描述要素提取单元602，被配置成从用户描述信息中提取出至少一个描述要素；匹配程度验证单元603，被配置成利用预设的验证模型分别确定每一个描述要素与判断结果之间的匹配程度，得到各实际匹配值；其中，验证模型基于描述要素与判断结果之间的词频与逆文本频率指数TF-IDF关系训练得到；第一要素及判断准确性确定单元604，被配置成将实际匹配值超过预设匹配值的描述要素确定为第一要素，并基于第一要素的数量确定判断结果的准确性。
在本实施例中，用于验证判断结果准确性的装置600中：用户描述信息及判断结果获取单元601、描述要素提取单元602、匹配程度验证单元603和第一要素及判断准确性确定单元604的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-204的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，用于验证判断结果准确性的装置600还可以包括：
知识要素确定单元，被配置成利用预设的知识图谱确定与判断结果相关的多个知识要素；
第二要素确定单元，被配置成将与任意知识要素一致的描述要素确定为第二要素；以及第一要素及判断准确性确定单元包括：
双要素判别结果准确性确定子单元，被配置成根据第一要素和第二要素的数量确定判断结果的准确性。
在本实施例的一些可选的实现方式中，该第二要素确定单元可以进一步被配置成：
获取每个知识要素的置信度；
分别计算得到每个描述要素与每个知识要素之间的相似度；
根据相似度和置信度确定具有一致性的知识要素和描述要素，并将与任意知识要素具有一致性的描述要素确定为第二要素。
在本实施例的一些可选的实现方式中，该双要素判别结果准确性确定子单元可以进一步被配置成：
对第一要素和第二要素进行去重处理，得到要素集合；
将要素集合中的要素数量与知识要素的总数的比值，作为判别结果的准确程度。
在本实施例的一些可选的实现方式中，用于验证判断结果准确性的装置600还可以包括：
知识要素补充单元，被配置成响应于存在与任意知识要素均不同的第一要素，将与任意知识要素均不同的第一要素作为补充要素添加进知识图谱。
在本实施例的一些可选的实现方式中，该双要素判别结果准确性确定子单元可以进一步被配置成：
获取预先分别为第一要素和第二要素设置的第一数量权重和第二数量权重；
将第一要素的数量和第一数量权重、第二要素的数量和第二数量权重，按照加权计算法计算得到加权后要素数量；
根据加权后要素数量确定判断结果的准确性。
本实施例作为对应于上述方法实施例的装置实施例存在，为确定判断结果对用户描述信息的判断是否准确性，本申请提供的用于验证判断结果准确性的装置利用预先训练出的表征描述要素与判断结果之间TF-IDF关系的验证模型，来对从用户描述信息中提取出的实际的描述要素与实际的判断结果之间是否匹配进行验证，得到每个描述要素分别与判断结果之间的匹配程度，最终通过匹配的描述要素的数量来反映该判断结果的准确性，从而提升判断结果的可信度。
根据本申请的实施例，本申请还提供了一种电子设备和一种计算机可读存储介质。
图9示出了一种适于用来实现本申请实施例的用于验证判断结果准确性的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的用于验证判断结果准确性的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的用于验证判断结果准确性的方法。
存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的用于验证判断结果准确性的方法对应的程序指令/模块(例如，附图6所示的用户描述信息及判断结果获取单元601、描述要素提取单元602、匹配程度验证单元603和第一要素及判断准确性确定单元604)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的用于验证判断结果准确性的方法。
存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储该电子设备在执行用于验证判断结果准确性的方法所创建的各类数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至适用于执行用于验证判断结果准确性的方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
适用于执行用于验证判断结果准确性的方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图9中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息，以及产生适用于执行用于验证判断结果准确性的方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
为确定判断结果对用户描述信息的判断是否准确性，本实施例利用预先训练出的表征描述要素与判断结果之间TF-IDF关系的验证模型，来对从用户描述信息中提取出的实际的描述要素与实际的判断结果之间是否匹配进行验证，得到每个描述要素分别与判断结果之间的匹配程度，最终通过匹配的描述要素的数量来反映该判断结果的准确性，从而提升判断结果的可信度。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (14)

1.一种用于验证判断结果准确性的方法，包括：
获取用户描述信息和与所述用户描述信息对应的判断结果；
从所述用户描述信息中提取出至少一个描述要素；
利用预设的验证模型分别确定每一个所述描述要素与所述判断结果之间的匹配程度，得到各实际匹配值；其中，所述验证模型基于描述要素与判断结果之间的词频与逆文本频率指数TF-IDF关系训练得到；
将所述实际匹配值超过预设匹配值的描述要素确定为第一要素，并基于所述第一要素的数量确定所述判断结果的准确性。
2.根据权利要求1所述的方法，还包括：
利用预设的知识图谱确定与所述判断结果相关的多个知识要素；
将与任意所述知识要素一致的描述要素确定为第二要素；以及
所述基于所述第一要素的数量确定所述判断结果的准确性，包括：
根据所述第一要素和所述第二要素的数量确定所述判断结果的准确性。
3.根据权利要求2所述的方法，其中，所述将与任意所述知识要素一致的描述要素确定为第二要素，包括：
获取每个所述知识要素的置信度；
分别计算得到每个所述描述要素与每个所述知识要素之间的相似度；
根据所述相似度和所述置信度确定具有一致性的知识要素和描述要素，并将与任意所述知识要素具有一致性的描述要素确定为所述第二要素。
4.根据权利要求2所述的方法，其中，所述根据所述第一要素和所述第二要素的数量确定所述判断结果的准确性，包括：
对所述第一要素和所述第二要素进行去重处理，得到要素集合；
将所述要素集合中的要素数量与所述知识要素的总数的比值，作为所述判别结果的准确程度。
5.根据权利要求2所述的方法，还包括：
响应于存在与任意所述知识要素均不同的第一要素，将与任意所述知识要素均不同的第一要素作为补充要素添加进所述知识图谱。
6.根据权利要求2至5任一项所述的方法，其中，所述根据所述第一要素和所述第二要素的数量确定所述判断结果的准确性，包括：
获取预先分别为所述第一要素和所述第二要素设置的第一数量权重和第二数量权重；
将所述第一要素的数量和第一数量权重、所述第二要素的数量和第二数量权重，按照加权计算法计算得到加权后要素数量；
根据所述加权后要素数量确定所述判断结果的准确性。
7.一种用于验证判断结果准确性的装置，包括：
用户描述信息及判断结果获取单元，被配置成获取用户描述信息和与所述用户描述信息对应的判断结果；
描述要素提取单元，被配置成从所述用户描述信息中提取出至少一个描述要素；
匹配程度验证单元，被配置成利用预设的验证模型分别确定每一个所述描述要素与所述判断结果之间的匹配程度，得到各实际匹配值；其中，所述验证模型基于描述要素与判断结果之间的词频与逆文本频率指数TF-IDF关系训练得到；
第一要素及判断准确性确定单元，被配置成将所述实际匹配值超过预设匹配值的描述要素确定为第一要素，并基于所述第一要素的数量确定所述判断结果的准确性。
8.根据权利要求7所述的装置，还包括：
知识要素确定单元，被配置成利用预设的知识图谱确定与所述判断结果相关的多个知识要素；
第二要素确定单元，被配置成将与任意所述知识要素一致的描述要素确定为第二要素；以及
所述第一要素及判断准确性确定单元包括：
双要素判别结果准确性确定子单元，被配置成根据所述第一要素和所述第二要素的数量确定所述判断结果的准确性。
9.根据权利要求8所述的装置，其中，所述第二要素确定单元进一步被配置成：
获取每个所述知识要素的置信度；
分别计算得到每个所述描述要素与每个所述知识要素之间的相似度；
根据所述相似度和所述置信度确定具有一致性的知识要素和描述要素，并将与任意所述知识要素具有一致性的描述要素确定为所述第二要素。
10.根据权利要求8所述的装置，其中，所述双要素判别结果准确性确定子单元进一步被配置成：
对所述第一要素和所述第二要素进行去重处理，得到要素集合；
将所述要素集合中的要素数量与所述知识要素的总数的比值，作为所述判别结果的准确程度。
11.根据权利要求8所述的装置，还包括：
知识要素补充单元，被配置成响应于存在与任意所述知识要素均不同的第一要素，将与任意所述知识要素均不同的第一要素作为补充要素添加进所述知识图谱。
12.根据权利要求8至11任一项所述的装置，其中，所述双要素判别结果准确性确定子单元被配置成：
获取预先分别为所述第一要素和所述第二要素设置的第一数量权重和第二数量权重；
将所述第一要素的数量和第一数量权重、所述第二要素的数量和第二数量权重，按照加权计算法计算得到加权后要素数量；
根据所述加权后要素数量确定所述判断结果的准确性。
13.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的用于验证判断结果准确性的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的用于验证判断结果准确性的方法。
CN202011016753.3A 2020-09-24 2020-09-24 用于验证判断结果准确性的方法、装置、电子设备及介质 Active CN111931488B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011016753.3A CN111931488B (zh) 2020-09-24 2020-09-24 用于验证判断结果准确性的方法、装置、电子设备及介质
US17/208,485 US20210209482A1 (en) 2020-09-24 2021-03-22 Method and apparatus for verifying accuracy of judgment result, electronic device and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011016753.3A CN111931488B (zh) 2020-09-24 2020-09-24 用于验证判断结果准确性的方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN111931488A true CN111931488A (zh) 2020-11-13
CN111931488B CN111931488B (zh) 2024-04-05

Family

ID=73334174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011016753.3A Active CN111931488B (zh) 2020-09-24 2020-09-24 用于验证判断结果准确性的方法、装置、电子设备及介质

Country Status (2)

Country Link
US (1) US20210209482A1 (zh)
CN (1) CN111931488B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240101A (zh) * 2021-12-02 2022-03-25 支付宝(杭州)信息技术有限公司 一种风险识别模型的验证方法、装置以及设备
CN117294526A (zh) * 2023-11-22 2023-12-26 深圳大智软件技术有限公司 一种通信信息共享方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023044938A (ja) * 2021-09-21 2023-04-03 株式会社日立製作所 データ分析要件定義支援装置およびデータ分析要件定義支援方法
CN114153949B (zh) * 2021-12-11 2022-12-13 北京信立方科技发展股份有限公司 一种分词检索方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013228780A (ja) * 2012-04-24 2013-11-07 Mitsubishi Electric Corp 情報処理装置及び情報処理方法及びプログラム
US9077538B1 (en) * 2011-12-15 2015-07-07 Symantec Corporation Systems and methods for verifying user identities
CN110634088A (zh) * 2018-06-25 2019-12-31 阿里巴巴集团控股有限公司 案件裁判方法、装置和系统
CN110797101A (zh) * 2019-10-28 2020-02-14 腾讯医疗健康(深圳)有限公司 医学数据处理方法、装置、可读存储介质和计算机设备
CN110825879A (zh) * 2019-09-18 2020-02-21 平安科技（深圳）有限公司 判案结果确定方法、装置、设备及计算机可读存储介质
CN111259112A (zh) * 2020-01-14 2020-06-09 北京百度网讯科技有限公司 医疗事实的验证方法和装置
CN111552880A (zh) * 2020-04-30 2020-08-18 杭州网易再顾科技有限公司 基于知识图谱的数据处理方法、装置、介质及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9077538B1 (en) * 2011-12-15 2015-07-07 Symantec Corporation Systems and methods for verifying user identities
JP2013228780A (ja) * 2012-04-24 2013-11-07 Mitsubishi Electric Corp 情報処理装置及び情報処理方法及びプログラム
CN110634088A (zh) * 2018-06-25 2019-12-31 阿里巴巴集团控股有限公司 案件裁判方法、装置和系统
CN110825879A (zh) * 2019-09-18 2020-02-21 平安科技（深圳）有限公司 判案结果确定方法、装置、设备及计算机可读存储介质
CN110797101A (zh) * 2019-10-28 2020-02-14 腾讯医疗健康(深圳)有限公司 医学数据处理方法、装置、可读存储介质和计算机设备
CN111259112A (zh) * 2020-01-14 2020-06-09 北京百度网讯科技有限公司 医疗事实的验证方法和装置
CN111552880A (zh) * 2020-04-30 2020-08-18 杭州网易再顾科技有限公司 基于知识图谱的数据处理方法、装置、介质及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DONATO IMPEDOVO等: "Automatic Signature Verification: The State of the Art", 《IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS, PART C (APPLICATIONS AND REVIEWS)》, vol. 38, no. 5 *
宋子辉;: "自然语言理解的中文地址匹配算法", 遥感学报, no. 04 *
胡桐;仇志金;漆随平;邹靖;王东明;: "基于边缘计算的海洋观测要素自匹配方法", 海洋技术学报, no. 04 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240101A (zh) * 2021-12-02 2022-03-25 支付宝(杭州)信息技术有限公司 一种风险识别模型的验证方法、装置以及设备
CN117294526A (zh) * 2023-11-22 2023-12-26 深圳大智软件技术有限公司 一种通信信息共享方法及系统
CN117294526B (zh) * 2023-11-22 2024-03-12 深圳大智软件技术有限公司 一种通信信息共享方法及系统

Also Published As

Publication number Publication date
US20210209482A1 (en) 2021-07-08
CN111931488B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
AU2018383346B2 (en) Domain-specific natural language understanding of customer intent in self-help
CN111563208B (zh) 一种意图识别的方法、装置及计算机可读存储介质
US10169706B2 (en) Corpus quality analysis
WO2020232861A1 (zh) 命名实体识别方法、电子装置及存储介质
US10713571B2 (en) Displaying quality of question being asked a question answering system
EP3913499A1 (en) Method and apparatus for processing dataset, electronic device and storage medium
CN111931488B (zh) 用于验证判断结果准确性的方法、装置、电子设备及介质
WO2020108063A1 (zh) 特征词的确定方法、装置和服务器
US11429405B2 (en) Method and apparatus for providing personalized self-help experience
CN111428507A (zh) 实体链指方法、装置、设备以及存储介质
US20200110842A1 (en) Techniques to process search queries and perform contextual searches
CN112507715A (zh) 确定实体之间关联关系的方法、装置、设备和存储介质
CN111931500B (zh) 搜索信息的处理方法、装置
CN110276023B (zh) Poi变迁事件发现方法、装置、计算设备和介质
CN112509690B (zh) 用于控制质量的方法、装置、设备和存储介质
CN112507090B (zh) 用于输出信息的方法、装置、设备和存储介质
CN112925883B (zh) 搜索请求处理方法、装置、电子设备及可读存储介质
CN112287121A (zh) 推送信息的生成方法、装置
CN111858880A (zh) 获取查询结果的方法、装置、电子设备和可读存储介质
CN111783427B (zh) 用于训练模型与输出信息的方法、装置、设备及存储介质
US20210271637A1 (en) Creating descriptors for business analytics applications
US20230070966A1 (en) Method for processing question, electronic device and storage medium
CN114461085A (zh) 医疗输入推荐方法、装置、设备及存储介质
CN112328710A (zh) 实体信息处理方法、装置、电子设备和存储介质
US20240070188A1 (en) System and method for searching media or data based on contextual weighted keywords

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant