CN109947651B - 人工智能引擎优化方法和装置 - Google Patents

Abstract

本申请实施例提供了一种人工智能引擎优化方法和装置，解决了现有人工智能引擎优化方式效率低和准确性低的问题。该人工智能引擎优化方法包括：将待测智能引擎的日志文件中的输入状态量输入测试智能引擎，其中，所述测试智能引擎基于标准样例数据建立；将所述日志文件中的与所述输入状态量对应的输出结果与所述测试智能引擎输出的测试结果进行比对；当比对结果不一致时，获取第三方审核机制对于所述输出结果是否正确的判断结果；当所述第三方审核机制的判断结果为所述输出结果不正确时，获取所述第三方审核机制确定的与所述输入状态量对应的正确结果；以及将所述输入状态量以及所述正确结果输入至所述待测智能引擎进行训练。

Description

人工智能引擎优化方法和装置

技术领域

本申请涉及人工智能技术领域，具体涉及一种人工智能引擎优化方法和装置。

背景技术

人工智能引擎由于具备基于自然语言进行智能交互的特性被广泛应用在智能客服领域。由于人工智能引擎在进行交互工作时仍有可能出现匹配错误(例如，对于已识别问题回复了错误的答案，或者将问题识别错误从而给出了错误的答案等)，因此有必要对人工智能引擎的日志文件进行审核，以优化人工智能引擎智能交互的准确性。

随着智能客服领域的应用案例越来越多，人工智能引擎的日志文件数量迅速增加，出现匹配错误的绝对数量也随之增加。现有技术中依靠人工阅读日志文件来挑选错误，难以跟上日志文件数量的增长。同时，随着人工智能引擎的质量不断优化，出现匹配错误的概率也在逐渐降低，因此对日志文件进行人工审核时，阅读“正确”日志文件的无用功比例越来越高。因此急需一种自动处理机制来降低人工审核中无用功的比例，并提高测试和优化的准确性。

发明内容

有鉴于此，本申请实施例提供了一种人工智能引擎优化方法、装置、电子设备和计算机可读存储介质，解决了现有人工智能引擎优化方式效率低和准确性低的问题。

根据本申请的一个方面，本申请一实施例提供的一种人工智能引擎优化方法包括：将待测智能引擎的日志文件中的输入状态量输入测试智能引擎，其中，所述测试智能引擎基于标准样例数据建立；将所述日志文件中的与所述输入状态量对应的输出结果与所述测试智能引擎输出的测试结果进行比对；当比对结果不一致时，获取第三方审核机制对于所述输出结果是否正确的判断结果；当所述第三方审核机制的判断结果为所述输出结果不正确时，获取所述第三方审核机制确定的与所述输入状态量对应的正确结果；以及将所述输入状态量以及所述正确结果输入至所述待测智能引擎进行训练。

在一实施例中，所述待测智能引擎基于预设的人工编写模板建立，所述人工编写模板由人工基于所述标准样例数据建立。

在一实施例中，所述标准样例数据包括标准问、与所述标准问对应的标准答案以及以下几种数据中的一种或多种：与所述标准问对应的扩展问和与所述标准问对应的样例问；其中，所述人工编写模板为所述标准问的抽象语义表达式和所述扩展问的抽象语义表达式的集合。

在一实施例中，所述人工智能引擎优化方法进一步包括：当所述第三方审核机制的判断结果为所述输出结果正确时，将所述输入状态量以及所述输出结果输入所述测试智能引擎进行训练。

在一实施例中，在获取所述第三方审核机制确定的与所述输入状态量对应的正确结果之后，所述人工智能引擎优化方法进一步包括：判断所述正确结果与所述测试智能引擎输出的所述测试结果是否一致；当判断为所述正确结果与所述测试结果不一致时，将所述输入状态量以及所述正确结果输入至所述测试智能引擎进行训练。

在一实施例中，所述将待测智能引擎的日志文件中的输入状态量输入测试智能引擎包括：将所述输入状态量输入多个测试智能引擎；其中，所述将所述日志文件中的所述输入状态量对应的输出结果与所述测试智能引擎输出的测试结果进行比对包括：将所述输出结果与所述多个测试智能引擎各自输出的测试结果进行比对。

在一实施例中，所述第三方审核机制包括多个第三方审核小组，其中，所述获取第三方审核机制对于所述输出结果是否正确的判断结果包括：获取多个第三方审核小组对于所述输出结果是否正确的判断结果；以及判断所述多个第三方审核小组的审核结果是否一致；其中，所述当所述第三方审核机制的判断结果为所述输出结果不正确时，获取所述第三方审核机制确定的与所述输入状态量对应的正确结果包括：当所述多个第三方审核小组的审核结果一致认为所述输出结果不正确时，获取所述第三方审核机制确定的与所述输入状态量对应的正确结果。

在一实施例中，所述获取第三方审核机制对于所述输出结果是否正确的判断结果进一步包括：当判断所述多个第三方审核小组的审核结果不一致时，获取另一种第三方审核机制对于所述输出结果是否正确的判断结果。

在一实施例中，所述将待测智能引擎的日志文件中的输入状态量输入测试智能引擎包括：将所述输入状态量输入多个测试智能引擎；其中，所述将所述日志文件中的所述输入状态量对应的输出结果与所述测试智能引擎输出的测试结果进行比对包括：将所述输出结果与所述多个测试智能引擎各自输出的测试结果进行比对；其中，所述将所述输入状态量和所述输出结果发送至所述多个第三方审核小组进行审核包括：向所述第三方审核小组隐藏所述测试结果与所述测试智能引擎之间的对应关系。

在一实施例中，所述人工智能引擎优化方法进一步包括：所述待测智能引擎为实际生产环境使用的人工智能引擎的克隆引擎。

在一实施例中，所述人工智能引擎优化方法进一步包括：当所述测试智能引擎的输出准确率达到预设条件时，将所述测试智能引擎用作实际生产环境使用的人工智能引擎，将所述待测智能引擎用作测试智能引擎。

根据本申请的另一个方面，本申请一实施例提供的一种人工智能引擎优化装置包括：第一输入模块，配置为将待测智能引擎的日志文件中的输入状态量输入测试智能引擎，其中，所述测试智能引擎基于标准样例数据建立；第一比对模块，配置为将所述日志文件中的与所述输入状态量对应的输出结果与所述测试智能引擎输出的测试结果进行比对；第一获取模块，配置为当比对结果不一致时，获取第三方审核机制对于所述输出结果是否正确的判断结果；第二获取模块，配置为当所述第三方审核机制的判断结果为所述输出结果不正确时，获取所述第三方审核机制确定的与所述输入状态量对应的正确结果；以及训练模块，配置为将所述输入状态量以及所述正确结果输入至所述待测智能引擎进行训练。

在一实施例中，所述待测智能引擎基于预设的人工编写模板建立，所述人工编写模板由人工基于所述标准样例数据建立。

在一实施例中，所述标准样例数据包括标准问、与所述标准问对应的标准答案以及以下几种数据中的一种或多种：与所述标准问对应的扩展问和与所述标准问对应的样例问；其中，所述人工编写模板为所述标准问的抽象语义表达式和所述扩展问的抽象语义表达式的集合。

在一实施例中，所述人工智能引擎优化装置进一步包括：第二训练模块，配置为当所述第三方审核机制的判断结果为所述输出结果正确时，将所述输入状态量以及所述输出结果输入所述测试智能引擎进行训练。

在一实施例中，所述人工智能引擎优化装置进一步包括：第一判断模块，配置为在获取所述第三方审核机制确定的与所述输入状态量对应的正确结果之后，判断所述正确结果与所述测试智能引擎输出的所述测试结果是否一致；以及第三训练模块，当判断为所述正确结果与所述测试结果不一致时，将所述输入状态量以及所述正确结果输入至所述测试智能引擎进行训练。

在一实施例中，所述第一输入模块配置为：将所述输入状态量输入多个测试智能引擎；其中，所述第一比对模块进一步配置为：将所述输出结果与所述多个测试智能引擎各自输出的测试结果进行比对。

在一实施例中，所述第三方审核机制包括多个第三方审核小组，其中，所述第一获取模块进一步配置为：当比对结果不一致时，获取多个第三方审核小组对于所述输出结果是否正确的判断结果，以及判断所述多个第三方审核小组的审核结果是否一致；其中，所述第二获取模块进一步配置为：当所述多个第三方审核小组的审核结果一致认为所述输出结果不正确时，获取所述第三方审核机制确定的与所述输入状态量对应的正确结果。

在一实施例中，所述第一获取模块进一步配置为：当判断所述多个第三方审核小组的审核结果不一致时，获取另一种第三方审核机制对于所述输出结果是否正确的判断结果。

在一实施例中，所述第一输入模块配置为：将所述输入状态量输入多个测试智能引擎；其中，所述第一比对模块进一步配置为：将所述输出结果与所述多个测试智能引擎各自输出的测试结果进行比对；其中，所述人工智能引擎优化装置进一步包括：隐藏处理模块，配置为向所述第三方审核小组隐藏所述测试结果与所述测试智能引擎之间的对应关系。

在一实施例中，所述人工智能引擎优化装置进一步包括：克隆模块，配置为将实际生产环境使用的人工智能引擎的克隆引擎作为所述待测智能引擎。

在一实施例中，所述人工智能引擎优化装置进一步包括：调整模块，配置为当所述测试智能引擎的输出准确率达到预设条件时，将所述测试智能引擎用作实际生产环境使用的人工智能引擎，将所述待测智能引擎用作测试智能引擎。

根据本申请的另一个方面，本申请一实施例提供的一种电子设备包括：处理器；以及存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如前任一所述的人工智能引擎优化方法。

根据本申请的另一个方面，本申请一实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如前任一所述的人工智能引擎优化方法。

本申请实施例提供的一种人工智能引擎优化方法、装置、电子设备和计算机可读存储介质，先利用测试智能引擎以对待测智能引擎的日志文件进行测试，当对比结果不一致时再引入第三方审核机制对输出结果进行判断，提高了对于待测智能引擎的测试效率；同时，由于测试智能引擎是基于标准样例数据建立的，可有效避免测试过程中人为因素的干扰，从而大大提高了对于待测智能引擎的测试准确性。

附图说明

图1所示为本申请一实施例提供的一种人工智能引擎优化方法的流程示意图。

图2所示为本申请另一实施例提供的一种人工智能引擎优化方法的流程示意图。

图3所示为本申请另一实施例提供的一种人工智能引擎优化方法的原理示意图。

图4所示为本申请另一实施例提供的一种人工智能引擎优化方法的原理示意图。

图5所示为本申请一实施例提供的一种人工智能引擎优化装置的结构示意图。

图6所示为本申请另一实施例提供的一种人工智能引擎优化装置的结构示意图。

图7所示为本申请一实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1所示为本申请一实施例提供的一种人工智能引擎优化方法的流程示意图。如图1所示，该方法包括如下步骤：

步骤101：将待测智能引擎的日志文件中的输入状态量输入测试智能引擎，其中，测试智能引擎基于标准样例数据建立。

待测智能引擎的日志文件是指待测智能引擎在工作过程中的记录文件，该日志文件中应包括待测智能引擎在工作过程中的所有输入和输出数据。输入状态量即为待测智能引擎在工作或训练过程中的输入数据，基于该输入状态量待测智能引擎给出对应的输出数据。例如，当待测智能引擎为应用于智能交互场景下的人工智能引擎时，该日志文件就包括每次交互时人工智能引擎所接收到的问题以及所回复的答案，此时该接收到的问题即为输入状态量，所回复的答案即为与输入状态量对应的输出结果。应当理解，虽然上面以智能交互场景的例子对待测智能引擎进行了解释，但该待测智能引擎并不限定于用于智能交互的人工智能引擎，例如待测智能引擎还可以是用于语音识别或图像识别等其他应用领域的人工智能引擎，根据所适用的应用领域不同，该待测智能引擎的输入状态量和输出结果也有不同的表现形式，本申请对待测智能引擎的具体种类并不做限定。

测试智能引擎是用于测试待测智能引擎的日志文件的人工智能引擎，但该测试智能引擎是基于标准样例数据建立的。标准样例数据可以是预先建立的经过充分论证的输入状态量和输出结果的组合，标准样例数据的正确性是可被完全信任的。因此，利用这些标准样例数据建立的测试智能引擎可避免人为因素的干扰。

步骤102：将日志文件中的与输入状态量对应的输出结果与测试智能引擎输出的测试结果进行比对。

具体而言，可将日志文件中的输入状态量也输入测试智能引擎，并获取测试智能引擎输出的测试结果。由于测试智能引擎是基于标准样例数据建立的，可避免人为因素的干扰，因此测试智能引擎输出的测试结果具有较强的参考性，可用于衡量待测试智能引擎的输出结果的准确性。

步骤103：当比对结果不一致时，获取第三方审核机制对于输出结果是否正确的判断结果。

具体而言，由于测试智能引擎的训练过程也是有限的，当对应于同一个输入状态量的输出结果和测试结果不一致时，则说明待测智能引擎的输出结果可能存在问题，此时可进一步引入第三方审核机制来判断输出结果是否真的存在问题。第三方审核机制可以是除待测智能引擎和测试智能引擎之外的任何形式的审核机制，例如可以是拥有更高计算能力的人工智能引擎或具有更专业鉴别能力的人工审核小组等，本申请对第三方审核机制的具体实现形式并不做限定。

在本申请一实施例中，当输出结果和测试结果的比对结果为一致时，则认为待测试智能引擎的输出结果是没有问题的，此时则说明针对该输入状态量的测试通过。

步骤104：当第三方审核机制的判断结果为输出结果不正确时，获取第三方审核机制确定的与输入状态量对应的正确结果。

步骤105：将输入状态量以及正确结果输入至待测智能引擎进行训练。

当第三方审核机制的判断结果也认为日志文件中的与输入状态量对应的输出结果不正确时，则说明待测试智能引擎的该输出结果真的有问题。此时可先通过第三方审核机制获取与该输入状态量对应的正确结果，并将该输入状态量和该正确结果输入待测智能引擎进行训练，以实现对待测智能引擎的优化，以避免待测智能引擎在后续的工作中出现同样的问题。

由此可见，本申请实施例提供的一种人工智能引擎优化方法，先利用测试智能引擎以对待测智能引擎的日志文件进行测试，当对比结果不一致时再引入第三方审核机制对输出结果进行判断，提高了对于待测智能引擎的测试效率；同时，由于测试智能引擎是基于标准样例数据建立的，可有效避免测试过程中人为因素的干扰，从而大大提高了对于待测智能引擎的测试准确性。

在本申请一实施例中，待测智能引擎是基于预设的人工编写模板建立的，人工编写模板由人工基于标准样例数据建立。由于待测智能引擎是基于人工编写模板建立的，这也就意味着待测智能引擎的建立过程中会引入人为因素，而一旦人工编写模板本身出现错误，是很难被测试出来的。

具体而言，在本申请一实施例中，标准样例数据可包括标准问、与标准问对应的标准答案以及以下几种数据中的一种或多种：与标准问对应的扩展问和与标准问对应的样例问。人工编写模板为标准问的抽象语义表达式和扩展问的抽象语义表达式的集合，以智能交互应用场景为例，通过一个人工编写模板就可描述所对应语义内容的多种不同表达方式的语句，以对应同一标准表达方式的多个扩展表达方式。因此在计算接收到的问题与预设的人工编写模板之间的文本相似度时，需要计算接收到的问题与多个预设的人工编写模板各自展开的至少一个扩展问之间的文本相似度，然后将文本相似度最高的扩展问所对应的人工编写模板作为匹配的人工编写模板。这些展开的扩展问可根据人工编写模板所包括的语义成分词和/或语义规则词和/或语义符号而获得。例如，“请提供借款人信息？”、“借款人是谁？”就可以是同一个人工编写模板“[请提供？][借款人|贷款人][信息|身份？][是|为？][谁？]”展开的两个不同扩展问，其中的“[]、|、？”分别为用于标识语音成分词、表示可替换和表示可扩展的语义符号。当待测智能引擎接收到的问题为“借款人：”时，通过文本相似度计算则可确定文本相似度最高的扩展问为“借款人是谁？”，此时即可确定匹配的人工编写模板，并由此确定对应的标准答案。虽然通过利用人工编写模板可避免了识别接收到的问题时的局限性，但一旦人工编写模板出现错误，待测智能引擎可能会基于错误的人工编写模板以较高的文本相似度“误触发”，因此若仅凭设置更严格的相似度判断阈值很难将这种人工编写模板错误测试出来。而采用本申请实施例所提供的人工智能引擎优化方法，由于是利用了一个基于标准样例数据建立的测试智能引擎进行测试，而这些标准样例数据本身并非人工编写模板，因此可有效的测试出待测智能引擎中的人工编写模板错误。同时，由于标准样例数据也是人工编写模板建立的参考数据之一，这也使得测试智能引擎的测试准确性更可靠。

图2所示为本申请另一实施例提供的一种人工智能引擎优化方法的流程示意图。如图2所示，相比于图1所示的实施例，该方法进一步包括如下步骤：

步骤106：当第三方审核机制的判断结果为输出结果正确时，将输入状态量以及输出结果输入测试智能引擎进行训练。

如前所述，由于测试智能引擎的训练过程也是有限的，这意味着当对应于同一个输入状态量的输出结果和测试结果不一致时，并不能说明待测智能引擎的输出结果存在问题，因此测试智能引擎也是有必要进行进一步训练以提高测试的准确性的，因为当输出结果和测试结果不一致时，并不一定是日志文件中的输出结果不正确，而有可能是测试智能引擎的训练不够彻底所致。因此，为了可以进一步提高测试优化效率，减低后续第三方审核机制的负担，可在第三方审核机制判断输出结果正确时，将输入状态量以及输出结果输入测试智能引擎进行训练。

在一进一步实施例中，如图2所示，在获取第三方审核机制确定的与输入状态量对应的正确结果之后，该方法还可进一步包括：

步骤107：判断正确结果与测试智能引擎输出的测试结果是否一致。

步骤108：当判断为正确结果与测试结果不一致时，将输入状态量以及正确结果输入至测试智能引擎进行训练。

由于经过第三方审核机确定的正确结果具有更高的可靠性，当该正确结果与测试智能引擎输出的测试结果不一致时，可利用日志文件中对应的输入状态量与该正确结果对测试智能引擎进行进一步训练，以提高测试智能引擎的输出准确性，从而提高后续利用测试智能引擎对待测智能引擎进行测试时的准确性，进一步减轻后续第三方审核机制的负担。

图3所示为本申请另一实施例提供的一种人工智能引擎优化方法的原理示意图。如图3所示，可将待测智能引擎的日志文件中的输入状态量输入多个测试智能引擎，并将日志文件中与该输入状态量对应的输出结果与多个测试智能引擎各自输出的测试结果进行比对，筛选出输出结果和测试结果的比对结果为不一致的输入状态量和输出结果。然后将比对结果为不一致的输入状态量和输出结果整合为可疑内容数据，并将该可疑内容数据发送至第三方审核机制进行进一步审核。在一进一步实施例中，当第三方审核机制判断为输出结果不正确并获取了第三方审核机制确认的正确结果时，再将该输入状态量和正确结果整合为优化语料，并根据该优化语料生成比对结果为不一致的测试智能引擎各自的优化语料分组，将这些优化语料分组分别发送给这些比对结果为不一致测试智能引擎进行进一步训练。

图4所示为本申请另一实施例提供的一种人工智能引擎优化方法的原理示意图。如图4所示，相比于图3所示的实施方式，第三方审核机制可包括多个第三方审核小组，此时即可获取多个第三方审核小组对于输出结果是否正确的判断结果，以及判断多个第三方审核小组的审核结果是否一致。

当多个第三方审核小组的审核结果一致认为输出结果不正确时，则获取第三方审核机制确定的与输入状态量对应的正确结果，并根据输入状态量以及正确结果生成优化语料输入待测智能引擎进行训练。在一实施例中，当有多个测试智能引擎参与测试时，则可根据该优化语料生成比对结果为不一致测试智能引擎各自的优化语料分组，将这些优化语料分组分别发送给这些比对结果为不一致测试智能引擎进行进一步训练。

当多个第三方审核小组的审核结果一致认为输出结果正确时，则根据输入状态量以及输出结果生成优化语料输入测试智能引擎进行训练。在一实施例中，当有多个测试智能引擎参与测试时，同样可根据该优化语料生成比对结果为不一致测试智能引擎各自的优化语料分组，将这些优化语料分组分别发送给这些比对结果为不一致测试智能引擎进行进一步训练。

在一实施例中，如图4所示，当判断多个第三方审核小组的审核结果不一致时，可筛选出第三方审核小组的审核结果不一致的输入状态量和输出结果，进一步获取另一种第三方审核机制对于之前的第三方审核小组的审核结果不一致的输出结果是否正确的判断结果。一般而言，该另一种第三方审核机制的审核能力和可靠性应当高于之前的第三方审核机制。例如，当第三方审核机制通过人工实现时，该另一种第三审核机制则可由更专业的语料专家组成。

当该另一种第三方审核小组的审核结果认为输出结果不正确时，则获取该另一种第三方审核机制确定的与输入状态量对应的正确结果，并根据输入状态量以及正确结果生成优化语料输入待测智能引擎进行训练。在一实施例中，当有多个测试智能引擎参与测试时，则可根据该优化语料生成比对结果为不一致测试智能引擎各自的优化语料分组，将这些优化语料分组分别发送给这些比对结果为不一致测试智能引擎进行进一步训练。

当该另一种第三方审核小组的审核结果一致认为输出结果正确时，则根据输入状态量以及输出结果生成优化语料输入测试智能引擎进行训练。在一实施例中，当有多个测试智能引擎参与测试时，同样可根据该优化语料生成比对结果为不一致测试智能引擎各自的优化语料分组，将这些优化语料分组分别发送给这些比对结果为不一致测试智能引擎进行进一步训练。

在一实施例中，考虑到将输入状态量输入多个测试智能引擎进行测试，且第三方审核机制包括多个第三方审核小组时，为避免第三方审核小组对于测试智能引擎的倾向性影响，可向第三方审核小组隐藏测试结果与测试智能引擎之间的对应关系。例如在向该多个第三方审核小组发送输入状态量和输出结果时，打乱与测试智能引擎的对应顺序。

在一实施例中，如图4所示，为了避免测试过程影响到正常生产使用，可将实际生产环境使用的人工智能引擎的克隆引擎作为待测智能引擎。

在一实施例中，考虑到在测试过程的初期，测试智能引擎因训练语料较少，准确率较低，误判为比对不一致的比例较高，但因测试过程也是对测试智能引擎的优化过程，测试智能引擎的准确率有可能逐步赶超待测智能引擎。因此当测试智能引擎的输出准确率达到预设条件时，将测试智能引擎用作实际生产环境使用的人工智能引擎，将待测智能引擎用作测试智能引擎。在一进一步实施例中，当有多个测试智能引擎参与测试时，测试的过程也是对该多个测试智能引擎的优化和筛选过程，通过一段时间的测试后，可将最优的测试智能引擎作为实际生产环境使用的人工智能引擎。应当理解，该用于评估测试智能引擎的输出准确率的预设条件的具体内容可根据人工智能引擎所应用的具体场景而调整，本申请对该预设条件的具体内容并不做限定。

图5所示为本申请另一实施例提供的一种人工智能引擎优化装置的结构示意图。如图5所示，该人工智能引擎优化装置50包括：

第一输入模块501，配置为将待测智能引擎的日志文件中的输入状态量输入测试智能引擎，其中，测试智能引擎基于标准样例数据建立；

第一比对模块502，配置为将日志文件中的与输入状态量对应的输出结果与测试智能引擎输出的测试结果进行比对；

第一获取模块503，配置为当比对结果不一致时，获取第三方审核机制对于输出结果是否正确的判断结果；

第二获取模块504，配置为当第三方审核机制的判断结果为输出结果不正确时，获取第三方审核机制确定的与输入状态量对应的正确结果；以及

第一训练模块505，配置为将输入状态量以及正确结果输入至待测智能引擎进行训练。

在一实施例中，待测智能引擎基于预设的人工编写模板建立，人工编写模板由人工基于标准样例数据建立。

在一实施例中，标准样例数据包括标准问、与标准问对应的标准答案以及以下几种数据中的一种或多种：与标准问对应的扩展问和与标准问对应的样例问；其中，人工编写模板为标准问的抽象语义表达式和扩展问的抽象语义表达式的集合。

在一实施例中，如图6所示，人工智能引擎优化装置50进一步包括：第二训练模块506，配置为当第三方审核机制的判断结果为输出结果正确时，将输入状态量以及输出结果输入测试智能引擎进行训练。

在一实施例中，如图6所示，人工智能引擎优化装置50进一步包括：第一判断模块507，配置为在获取第三方审核机制确定的与输入状态量对应的正确结果之后，判断正确结果与测试智能引擎输出的测试结果是否一致；以及第三训练模块508，当判断为正确结果与测试结果不一致时，将输入状态量以及正确结果输入至测试智能引擎进行训练。

在一实施例中，第一输入模块501配置为：将输入状态量输入多个测试智能引擎；其中，第一比对模块502进一步配置为：将输出结果与多个测试智能引擎各自输出的测试结果进行比对。

在一实施例中，第三方审核机制包括多个第三方审核小组，其中，第一获取模块503进一步配置为：当比对结果不一致时，获取多个第三方审核小组对于输出结果是否正确的判断结果，以及判断多个第三方审核小组的审核结果是否一致；其中，第二获取模块504进一步配置为：当多个第三方审核小组的审核结果一致认为输出结果不正确时，获取第三方审核机制确定的与输入状态量对应的正确结果。

在一实施例中，第一获取模块503进一步配置为：当判断多个第三方审核小组的审核结果不一致时，获取另一种第三方审核机制对于输出结果是否正确的判断结果。

在一实施例中，第一输入模块501配置为：将输入状态量输入多个测试智能引擎；其中，第一比对模块502进一步配置为：将输出结果与多个测试智能引擎各自输出的测试结果进行比对；其中，人工智能引擎优化装置50进一步包括：隐藏处理模块(图6中未示出)，配置为向第三方审核小组隐藏测试结果与测试智能引擎之间的对应关系。

在一实施例中，人工智能引擎优化装置50进一步包括：克隆模块(图6中未示出)，配置为将实际生产环境使用的人工智能引擎的克隆引擎作为待测智能引擎。

在一实施例中，如图6所示，人工智能引擎优化装置50进一步包括：调整模块(图6中未示出)，配置为当测试智能引擎的输出准确率达到预设条件时，将测试智能引擎用作实际生产环境使用的人工智能引擎，将待测智能引擎用作测试智能引擎。

上述人工智能引擎优化装置50中的各个模块的具体功能和操作已经在上面参考图1到图4描述的机械机构控制方法中进行了详细介绍，因此，这里将省略其重复描述。

需要说明的是，根据本申请实施例的人工智能引擎优化装置50可以作为一个软件模块和/或硬件模块而集成到电子设备70中，换言之，该电子设备70可以包括该人工智能引擎优化装置50。例如，该人工智能引擎优化装置50可以是该电子设备70的操作系统中的一个软件模块，或者可以是针对于其所开发的一个应用程序；当然，该人工智能引擎优化装置50同样可以是该电子设备70的众多硬件模块之一。

在本申请另一实施例中，该人工智能引擎优化装置50与该电子设备70也可以是分立的设备(例如，服务器)，并且该人工智能引擎优化装置50可以通过有线和/或无线网络连接到该电子设备70，并且按照约定的数据格式来传输交互信息。

图7所示为本申请一实施例提供的电子设备的结构示意图。如图7所示，该电子设备70包括：一个或多个处理器701和存储器702；以及存储在存储器702中的计算机程序指令，计算机程序指令在被处理器701运行时使得处理器701执行如上述任一实施例的人工智能引擎优化方法。

处理器701可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器702可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器701可以运行程序指令，以实现上文的本申请的各个实施例的人工智能引擎优化方法中的步骤以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如光线强度、补偿光强度、滤光片的位置等信息。

在一个示例中，电子设备70还可以包括：输入装置703和输出装置704，这些组件通过总线系统和/或其他形式的连接机构(图7中未示出)互连。

例如，在该电子设备是单机设备时，该输入装置703可以是通信网络连接器，用于从外部的可移动设备接收所采集的输入信号。此外，该输入设备703还可以包括例如键盘、鼠标、麦克风等等。

该输出装置704可以向外部输出各种信息，例如可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图7中仅示出了该电子设备70中与本申请有关的组件中的一些，省略了诸如总线、输入装置/输出接口等组件。除此之外，根据具体应用情况，电子设备70还可以包括任何其他适当的组件。

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一实施例的人工智能引擎优化方法中的步骤。

计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本申请各种实施例的人工智能引擎优化方法中的步骤。

计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器((RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种人工智能引擎优化方法，其特征在于，包括：

将待测智能引擎的日志文件中的输入状态量输入测试智能引擎，其中，所述测试智能引擎是用于测试待测智能引擎的日志文件的人工智能引擎，所述测试智能引擎基于标准样例数据建立；所述待测智能引擎基于预设的人工编写模板建立，所述人工编写模板由人工基于所述标准样例数据建立；所述标准样例数据包括标准问、与所述标准问对应的标准答案以及与所述标准问对应的扩展问；其中，所述人工编写模板为所述标准问的抽象语义表达式和所述扩展问的抽象语义表达式的集合；所述待测智能引擎的日志文件是指所述待测智能引擎在工作过程中的记录文件，日志文件中应包括待测智能引擎在工作过程中的所有输入和输出数据；

将所述日志文件中的与所述输入状态量对应的输出结果与所述测试智能引擎输出的测试结果进行比对；

当比对结果不一致时，获取第三方审核机制对于所述输出结果是否正确的判断结果；

当所述第三方审核机制的判断结果为所述输出结果不正确时，获取所述第三方审核机制确定的与所述输入状态量对应的正确结果；以及

将所述输入状态量以及所述正确结果输入至所述待测智能引擎进行训练。

2.根据权利要求1所述的方法，其特征在于，进一步包括：

当所述第三方审核机制的判断结果为所述输出结果正确时，将所述输入状态量以及所述输出结果输入所述测试智能引擎进行训练。

3.根据权利要求1所述的方法，其特征在于，在获取所述第三方审核机制确定的与所述输入状态量对应的正确结果之后，所述方法进一步包括：

判断所述正确结果与所述测试智能引擎输出的所述测试结果是否一致；

当判断为所述正确结果与所述测试结果不一致时，将所述输入状态量以及所述正确结果输入至所述测试智能引擎进行训练。

4.根据权利要求1所述的方法，其特征在于，所述将待测智能引擎的日志文件中的输入状态量输入测试智能引擎包括：

将所述输入状态量输入多个测试智能引擎；

其中，所述将所述日志文件中的所述输入状态量对应的输出结果与所述测试智能引擎输出的测试结果进行比对包括：

将所述输出结果与所述多个测试智能引擎各自输出的测试结果进行比对。

5.根据权利要求1所述的方法，其特征在于，所述第三方审核机制包括多个第三方审核小组，其中，所述获取第三方审核机制对于所述输出结果是否正确的判断结果包括：

获取多个第三方审核小组对于所述输出结果是否正确的判断结果；以及

判断所述多个第三方审核小组的审核结果是否一致；

其中，所述当所述第三方审核机制的判断结果为所述输出结果不正确时，获取所述第三方审核机制确定的与所述输入状态量对应的正确结果包括：

当所述多个第三方审核小组的审核结果一致认为所述输出结果不正确时，获取所述第三方审核机制确定的与所述输入状态量对应的正确结果。

6.根据权利要求5述的方法，其特征在于，所述获取第三方审核机制对于所述输出结果是否正确的判断结果进一步包括：

当判断所述多个第三方审核小组的审核结果不一致时，获取另一种第三方审核机制对于所述输出结果是否正确的判断结果。

7.根据权利要求5述的方法，其特征在于，所述将待测智能引擎的日志文件中的输入状态量输入测试智能引擎包括：

将所述输入状态量输入多个测试智能引擎；

其中，所述将所述日志文件中的所述输入状态量对应的输出结果与所述测试智能引擎输出的测试结果进行比对包括：

将所述输出结果与所述多个测试智能引擎各自输出的测试结果进行比对；

其中，所述方法进一步包括：

向所述第三方审核小组隐藏所述测试结果与所述测试智能引擎之间的对应关系。

8.根据权利要求1所述的方法，其特征在于，进一步包括：

所述待测智能引擎为实际生产环境使用的人工智能引擎的克隆引擎。

9.根据权利要求1所述的方法，其特征在于，进一步包括：

当所述测试智能引擎的输出准确率达到预设条件时，将所述测试智能引擎用作实际生产环境使用的人工智能引擎，将所述待测智能引擎用作测试智能引擎。

10.一种人工智能引擎优化装置，其特征在于，包括：

第一输入模块，配置为将待测智能引擎的日志文件中的输入状态量输入测试智能引擎，其中，所述测试智能引擎是用于测试待测智能引擎的日志文件的人工智能引擎，所述测试智能引擎基于标准样例数据建立；所述待测智能引擎基于预设的人工编写模板建立，所述人工编写模板由人工基于所述标准样例数据建立；所述标准样例数据包括标准问、与所述标准问对应的标准答案以及与所述标准问对应的扩展问；其中，所述人工编写模板为所述标准问的抽象语义表达式和所述扩展问的抽象语义表达式的集合；所述待测智能引擎的日志文件是指所述待测智能引擎在工作过程中的记录文件，日志文件中应包括待测智能引擎在工作过程中的所有输入和输出数据；

第一比对模块，配置为将所述日志文件中的与所述输入状态量对应的输出结果与所述测试智能引擎输出的测试结果进行比对；

第一获取模块，配置为当比对结果不一致时，获取第三方审核机制对于所述输出结果是否正确的判断结果；

第二获取模块，配置为当所述第三方审核机制的判断结果为所述输出结果不正确时，获取所述第三方审核机制确定的与所述输入状态量对应的正确结果；以及

第一训练模块，配置为将所述输入状态量以及所述正确结果输入至所述待测智能引擎进行训练。

11.一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1至9中任一所述的人工智能引擎优化方法。

12.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1至9中任一所述的人工智能引擎优化方法。

Images