CN113779263B

CN113779263B - 决策引擎的检测方法、装置及设备

Info

Publication number: CN113779263B
Application number: CN202110976744.7A
Authority: CN
Inventors: 高岩; 徐欣; 李希宇
Original assignee: China Electronic Product Reliability and Environmental Testing Research Institute
Current assignee: China Electronic Product Reliability and Environmental Testing Research Institute
Priority date: 2021-08-24
Filing date: 2021-08-24
Publication date: 2024-01-05
Anticipated expiration: 2041-08-24
Also published as: CN113779263A

Abstract

本公开涉及一种决策引擎的检测方法、装置及设备，方法包括：确定所述决策引擎的评价模型，所述决策引擎基于知识图谱构建获得，所述评价模型包括用于表征所述决策引擎在指定维度上的评价指标；根据所述知识图谱的数据信息和所述决策引擎的特征信息，对所述评价指标进行计算，获得评价指标值；根据所述评价指标的权重以及所述评价指标值，按照预设算法计算得到所述评价模型的总评价值；根据所述总评价值确定所述决策引擎的检测结果；所述装置、设备用于实现上述方法。本公开通过评价模型对基于知识图谱的决策引擎进行评价，提高了检测决策引擎的准确度，有助于后续对决策引擎进行深入研究和优化。

Description

决策引擎的检测方法、装置及设备

技术领域

本申请涉及数据处理领域，特别是涉及一种决策引擎的检测方法、装置及设备。

背景技术

决策引擎通常是指一种根据很多的规则、决策条件帮助用户以多种方式中的一种做出决策的工具。随着大数据时代的到来，决策引擎被广泛应用于金融风控、线上购物、企业服务以及军事作战中。尤其在军事领域，随着军事信息化建设的不断发展，信息化战争时代已经到来，智能化军事辅助决策成为信息化联合作战中必不可少的一环。通常情况下，决策引擎不仅需要存储和检索孤立的事实，还需要进行互相关联与合理推断。

然而，由于战场信息来源广泛、容量巨大且格式多样，这些数据缺乏有效的组织结构，难以进行深层次的挖掘与应用。基于此，如何基于知识图谱技术挖掘海量数据中的潜在关联信息实现对战场态势的智能决策，成为近年研究的热点问题。然而针对基于知识图谱的决策引擎目前仍缺少完善的智能化评价体系，难以针对性的优化决策引擎，限制了基于知识图谱的决策引擎的发展。

发明内容

基于此，有必要针对上述技术问题，提供一种决策引擎的检测方法、装置及设备。其中，一种决策引擎的检测方法，包括步骤：

确定所述决策引擎的评价模型，所述决策引擎基于知识图谱构建获得，所述评价模型包括用于表征所述决策引擎在指定维度上的评价指标；

根据所述知识图谱的数据信息和所述决策引擎的特征信息，对所述评价指标进行计算，获得评价指标值；

根据所述评价指标的权重以及所述评价指标值，按照预设算法计算得到所述评价模型的总评价值；

根据所述总评价值确定所述决策引擎的检测结果。

在一个实施例中，所述确定所述决策引擎的评价模型包括：

确定所述评价模型的第一级评价指标，所述第一级评价指标用于表征所述决策引擎的智能化程度；

确定所述第一级评价指标的第二级指标，所述第二级指标用于表征对应的所述第一级评价指标的智能化程度。

在一个实施例中，所述第一级评价指标的表征维度包括知识图谱构建基础维度、决策引擎决策过程维度和决策引擎应用验证维度。

在一个实施例中，所述第一级评价指标包括：

用于表征所述知识图谱构建基础维度的所述第一级评价指标，包括知识图谱构建指标；

用于表征所述决策引擎决策过程维度的第一级评价指标，包括语义搜索指标、知识问答指标和、知识推理指标；

用于表征所述决策引擎应用验证维度的第一级评价指标，包括智能决策应用指标。

在一个实施例中，所述知识图谱构建指标对应的第二级指标包括知识图谱覆盖指标、知识抽取指标、知识融合指标、知识图谱管理指标；

所述语义搜索指标对应的第二级指标包括多维度跨媒体数据语义搜索指标；

所述知识问答指标对应的第二级指标包括复杂问题分解和求解指标、多源答案抽取与融合指标；

所述知识推理指标对应的第二级指标包括潜在关系挖掘指标、图挖掘指标；

所述智能决策应用指标对应的第二级指标包括态势研判应用指标、威胁分析应用指标、方案优化应用指标。

在一个实施例中，所述根据所述知识图谱的数据信息和所述决策引擎的特征信息，对所述评价指标进行计算，获得评价指标值包括：

根据所述第二级指标、所述知识图谱的数据信息和所述决策引擎的特征信息计算获得所述第二级指标值；

根据所述第二级指标值计算获得所述第一级评价指标值。

在一个实施例中，所述根据所述评价指标的权重以及所述评价指标值，按照预设算法计算得到所述评价模型的总评价值包括：

根据所述第一级评价指标的表征维度，确定所述第一级评价指标的权重；

根据所述第一级评价指标和所述第一级评价指标对应的权重，计算获得所述总评价值。

在一个实施例中，所述根据所述总评价值确定所述决策引擎的检测结果包括：

判断所述总评价值与预设阈值的大小，根据所述总评价值落入的所述预设阈值划分的阈值区间，输出所述检测结果，所述检测结果包括所述决策引擎的智能化程度等级。

本公开还提供了一种决策引擎的检测装置，包括：

模型确定模块，用于确定所述决策引擎的评价模型，所述决策引擎基于知识图谱构建获得，所述评价模型包括用于表征所述决策引擎在指定维度上的评价指标；

指标计算模块，用于根据所述知识图谱的数据信息和所述决策引擎的特征信息，对所述评价指标进行计算，获得评价指标值；

总评价值计算模块，用于根据所述评价指标的权重以及所述评价指标值，按照预设算法计算得到所述评价模型的总评价值；

检测结果模块，用于根据所述总评价值确定所述决策引擎的检测结果。

本公开还提供了一种决策引擎的检测设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的决策引擎的检测方法的步骤。

上述的决策引擎的检测方法、装置及设备至少包括以下有益效果：

本公开通过评价模型对基于知识图谱的决策引擎进行评价，从多维度对决策引擎的特征进行评价，评价模型的评价指标包括了决策引擎自身特征以及知识图谱的多维度数据信息，提高了检测决策引擎的准确度；同时结合评价指标值和权重获得决策引擎的总指标值，通过对决策引擎智能化程度进行量化进而获得决策引擎的检测结果，为决策引擎的智能化评价提供了参考，有助于后续对决策引擎进行深入研究和优化。

附图说明

为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一实施例中提供的决策引擎的检测方法的流程示意图；

图2为一实施例中提供的确定决策引擎的评价模型步骤的流程示意图；

图3为一实施例中提供的获得评价指标值步骤的流程示意图；

图4为一实施例中提供的计算总评价值的流程示意图；

图5为一实施例中提供的决策引擎的检测装置的框图；

图6为一实施例中提供的决策引擎的检测设备的框图。

具体实施方式

为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使本申请的公开内容更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。例如若使用到第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

本公开所提供的一种决策引擎的检测方法，可以应用在对基于知识图谱技术构建的决策引擎进行智能化评价的场合。知识图谱，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。基于知识图谱技术构建的决策引擎可以是指应用知识图谱技术把复杂的知识领域通过数据挖掘、信息处理、知识计量和图形绘制而显示出来，揭示知识领域的动态发展规律，根据知识图谱展示的信息构建决策引擎。

利用本方法可以对基于知识图谱的决策引擎的智能化进行评估，获得决策引擎的智能化程度等级，判断决策引擎智能化程度的优劣，有助于后续对决策引擎的改进以及提高决策引擎的智能化。其中，决策引擎可以应用于金融风控、线上购物、企业服务以及军事作战中。现以评价军事作战应用范畴的决策引擎为例，对本公开进行说明。

请参阅图1，本实施例提供了一种决策引擎的检测方法，包括步骤：

步骤S100：确定决策引擎的评价模型，决策引擎基于知识图谱构建获得，评价模型包括用于表征决策引擎在指定维度上的评价指标。

本实施例中的决策引擎可以是基于知识图谱构建获得的，评价模型可以围绕被评价的决策引擎确定评价的标准、因素、评价指标等，评价模型中的评价指标用于表征决策引擎在指定维度上的特征。在检测决策引擎时，可以从多个指定维度对决策引擎进行评价。

步骤S200：根据知识图谱的数据信息和决策引擎的特征信息，对评价指标进行计算，获得评价指标值。

本实施例中的决策引擎可以是通过知识图谱构建的，可以通过获取被检测的决策引擎基于的知识图谱的数据信息，以及决策引擎的特征信息，结合评价指标按照预设的算法进行量化计算，得出每个评价指标的评价指标值。知识图谱的数据信息可以包括构建知识图谱的本体数量、实体节点数量等，决策引擎的特征信息可以包括决策引擎的语义搜索特征、知识问答特征、知识推理等。

步骤S300：根据评价指标的权重以及评价指标值，按照预设算法计算得到评价模型的总评价值。

根据确定的评价模型，获得评价模型中针对评价指标的权重分配，根据上述步骤S200的评价指标值和其对应的权重系数，按照预设算法计算得到评价模型的总评价值。总评价值可以用来表征被检测的决策引擎整体的智能化程度，决策引擎的智能化程度可以直观的判断决策引擎的优劣。本实施例中预设算法可以采用权重计算算法，即将各数值乘以相应的权数，然后加总求和得到总体值，再除以总的单位数，还可以选用其他算法以及自定义的计算总评价值的算法。

步骤S400：根据总评价值确定决策引擎的检测结果。

在获得上述步骤S300的总评价值后，根据总评价值的具体数值可以输出决策引擎的检测结果，检测结果可以包括被检测的决策引擎的智能化程度优劣的结论。

本实施例提供的一种决策引擎的检测方法通过建立评价模型，从多维度对决策引擎的特征进行评价。评价模型的评价指标包括了决策引擎自身特征以及知识图谱的多维度数据信息，提高了检测决策引擎的准确度；同时结合评价指标值和权重获得决策引擎的总指标值，通过对决策引擎智能化程度进行量化进而获得决策引擎的检测结果，为决策引擎的智能化评价提供了参考，有助于后续对决策引擎进行深入研究和优化。

本公开的一些实施例中，请参阅图2，确定决策引擎的评价模型包括以下步骤：

步骤S102：确定评价模型的第一级评价指标，第一级评价指标用于表征决策引擎的智能化程度。

评价模型中的评价指标可以分级，级数可以为一级、两级或两级以上，有助于对决策引擎进行多层次的评价。在本实施例中，评价模型包括了两级评价指标，其中，第一级评价指标用于表征决策引擎的智能化程度，即第一级评价指标可以用来直接评价决策引擎的特征。

步骤S104：确定第一级评价指标的第二级指标，第二级指标用于表征对应的第一级评价指标的智能化程度。

第二级评价指标是针对第一级评价指标设定的评价指标，第一级评价指标可以包括一个或多个第二级评价指标。可以理解为第二级评价指标是通过第一级评价指标评价决策引擎。

本实施例的评价模型采用两级评价指标，第一级评价指标直接评价决策引擎，第二级评价指标通过评价第一级评价指标间接评价决策引擎，使得评价决策引擎的逻辑层次分明，有助于提高评价指标的量化准确性，提高了决策引擎检测精确度。

在本公开的一些实施例中，第一级评价指标的表征维度包括知识图谱构建基础维度、决策引擎决策过程维度和决策引擎应用验证维度。

知识图谱构建基础维度可以是指针对知识图谱的基础性数据信息，表征维度为知识图谱构建基础维度的第一级评价指标用来表征构建的知识图谱的智能化程度。知识图谱的智能化程度可以理解为包括根据军事战场上海量的信息构建成的知识图谱对信息的覆盖程度和信息间的关联关系的准确程度。

决策引擎决策过程维度可以是指针对决策引擎在决策过程中的表现的各项特征，例如语义搜索特征、知识问答特征、知识推理特征等以及其他可以表征决策引擎过程性的特征的维度。表征维度为决策引擎决策过程维度的第一级评价指标可以用来表征决策引擎自身的特征。

决策引擎应用验证维度可以是指针对决策引擎在多个应用场景下的应用验证维度，例如战场态势研判场景、战场威胁分析场景、战场方案优化场景等。表征维度为决策引擎应用验证维度的第一级评价指标可以用来表征决策引擎在某个应用场景下验证成功或失败的相关特征。

本实施例中的评价模型在确定第一级评价指标时，第一级评价指标包括了用于构建决策引擎的知识图谱维度、决策引擎自身性能特征维度和决策引擎应用验证维度多个维度，形成了“基础-过程-结果”层面完善的评价体系，提高了检测决策引擎的准确度，并在后续优化决策引擎时有助于精准定位优化方向。例如可以根据第一级评价指标可以获得决策引擎在不同维度上的优劣，进而获得需要优化知识图谱、需要优化根据知识图谱构建决策引擎的过程或者需要优化决策引擎在不同场景下的应用方向。

在本公开的一些实施例中，第一级评价指标包括：

用于表征知识图谱构建基础维度的第一级评价指标包括知识图谱构建指标，知识图谱构建指标用于表征被检测的决策引擎所依据的知识图谱的特征，例如可以是知识图谱的知识覆盖特征、知识抽取指标特征等。

用于表征决策引擎决策过程维度的第一级评价指标包括语义搜索指标、知识问答指标、知识推理指标。在表征决策引擎过程性的特征时，本实施例通过大量的数据分析选取了三个可以表征决策引擎核心特征的三个指标，语义搜索指标、知识问答指标和知识推理指标。

用于表征决策引擎应用验证维度的第一级评价指标包括智能决策应用指标。在表征决策引擎在验证维度上的特征时，本实施例从不用的应用场景角度出发，选取了智能决策应用指标。

需要理解的是，每个表征维度的指标选取并不唯一，还可以选取可以表征对应维度的其他指标，指标数量可以选取一个或多个。

在本公开的一些实施例中，结合下表1，

表1

知识图谱构建指标对应的第二级指标，包括知识图谱覆盖指标、知识抽取指标、知识融合指标、知识图谱管理指标。知识图谱覆盖指标用于评价构建的知识图谱是否覆盖所需的领域知识。知识抽取指标用于评价知识图谱自动抽取知识是否足够准确。知识融合指标用于评价知识图谱使用算法融合多源获取的知识是否足够准确。知识图谱管理指标用于评价知识图谱的维护更新特征。通过上述的四个第二级评价指标可以综合评价对应的知识图谱构建指标。

语义搜索指标对应的第二级指标，包括多维度跨媒体数据语义搜索指标，多维度跨媒体数据语义搜索指标用于评价决策引擎基于知识图谱的多维度跨媒体语义搜索是否准确。

知识问答指标对应的第二级指标，包括复杂问题分解和求解指标、多源答案抽取与融合指标。复杂问题分解和求解指标用于评价决策引擎使用算法抽取复杂问题中包含的多个问题是否准确。多源答案抽取与融合指标用于评价决策引擎使用算法从文本、图像、表格三种格式的跨媒体数据中自动提取答案并进行融合是否准确。

知识推理指标对应的第二级指标包括，潜在关系挖掘指标、图挖掘指标。潜在关系挖掘指标用于评价决策引擎使用算法基于已有显式路径对潜在的关系进行推理和预测是否准确。图挖掘指标用于评价决策引擎提供的最短路径计算、图划分聚类、关键节点挖掘、异常对象检测等图挖掘算法服务是否准确。

智能决策应用指标对应的第二级指标，包括态势研判应用指标、威胁分析应用指标、方案优化应用指标。态势研判应用指标用于评价通用决策引擎在战场态势研判场景下是否能够进行应用验证。威胁分析应用指标用于评价通用决策引擎在战场威胁分析场景下是否能够进行应用验证。方案优化应用指标用于评价通用决策引擎在战场方案优化场景下是否能够进行应用验证。

在本公开的一些实施例中，请参阅图3，上述步骤S200包括以下步骤：

步骤S202：根据第二级指标、知识图谱的数据信息、决策引擎的特征信息计算获得第二级指标值。

(1)计算知识图谱构建指标下的第二级指标值：

1.1、知识图谱覆盖指标值S_cover

其中，OC为本体覆盖率，O代表已覆盖的相关本体数量，W表示需要覆盖的相关本体数量；OR为实体节点数量达标率，N为统计单个方面的实体节点数量，M为应达到的数量。上述公式中的O、W、N和M均由知识图谱的数据信息获得。

1.2、知识抽取指标值S_extrac

依次对相同数量M的军事领域文本数据、图像数据、表格数据进行知识自动抽取能力评价，计算相应的平均F₁值作为评价指标，分别记作E_T，E_I，E_f，计算公式如下：

构建相应数据格式的测试集，记录决策引擎通过自动抽取获得的实体节点集合S_e＝{se₁,se₂,se₃…se_m}、实测关系集合S_r＝{sr₁,sr₂,sr₃…sr_n}。记录数据中人工标注的正确节点集合G_e＝{ge₁,ge₂,ge₃…ge_p}、正确的关系集合G_r＝{gr₁,gr₂,gr₃…gr_q}。定义se_t∈S_e与ge_f∈G_e等价，当且仅当两个实体的属性与属性值一致。定义对每条数据的知识自动抽取能力的准确率计算公式为：

召回率的计算公式为：

1.3、知识融合指标值S_fusion

S_fusion＝min(E_link,E_merge,E_corr)

a、E_link可以用来表征知识图谱的实体链接特征，E_link计算公式如下：

使用自建的军事知识图谱执行实体链接任务，其中人工标注的标准实体链接的总条数为U，在知识图谱进行实体链接融合结果的实体链接总条数为M，其中链接正确的数量为m，可计算实体链接准确率P、召回率R、F1得分，从而计算公式如下：

单次的目标响应时间为t₀，记录每次实体链接任务的响应时间为T，则执行单次实体链接的平均时间为通过K次更换不同的军事知识图谱进行实体链接评价，计算平均响应时间/>综上可以计算出E_link。

b、E_merge可以用来表征知识图谱的实体属性整合特征，E_merge计算公式如下：

当实体属性名称和实体属性值整合结果均正确时，认为整合正确，类似地，设定单次的目标响应时间为t₀，通过公式计算k次评价的平均单次响应时间和k次评价的平均/>

c、E_corr可以用来表征知识图谱的时空关联特征，E_corr计算公式如下：

当同一地点发生的事件以及它们所属图谱，事件名，发生区域，发生时间和时间的先后进行关联时，认为关联正确。类似地，设定单次的目标响应时间为t₀，通过公式计算k次评价的平均单次响应时间和k次评价的平均/>

综合上述获得的E_link、E_merge、E_corr可以计算出S_fusion。

1.4、知识图谱管理指标值S_mana

不仅支持以人工的形式对知识图谱进行增加、删除、修改和查询，同时可以对不同知识的自动更新频率进行设定，其中设定知识图谱G_i的自动更新频率为f(G_i)，应当更新的频率为f_i。

(2)计算语义搜索指标下的第二级指标值：

2.1、多维度跨媒体数据语义搜索指标值S_search

从不同维度进行军事战场知识的汇聚和关联，支持基于时间、空间、作战目标、作战任务、关键事件等多维度的跨媒体战场信息汇聚与推荐，计算支持检索维度的比例：

支持文本、视频、图像、数据库多种格式作战数据的检索，支持搜索结果的可视化展现，计算支持检索结果格式的比例：

准备覆盖时间、空间、作战目标、作战任务、关键事件各个维度的人工标注测试数据，随机组合各个维度的关键词进行多维度语义搜索，人工标注的结果总条数为U，通过知识图谱搜索到的结果总条数为V，其中正确的数量为Y，计算搜索的召回率R＝Y/U，计算搜索的准确度P＝Y/V，F1得分为通过k次搜索得到平均F1得分为/>

(3)计算知识问答指标下的第二级指标值：

3.1、复杂问题分解和求解指标值S_decom

其中aq代表测试集中所有进行问题分解的复杂问题总数，tq代表其中被正确分解的问题总数。

3.2、多源答案抽取与融合指标值S_ap

进行N次问答，获得的答案文本与标准文本一致则认为文本回答正确，记录文本回答正确的数量n_T，则文本准确率p_T为：

获得的答案图像与标准图像一致则认为图像回答正确，记录图像回答正确的数量n_I，则图像准确率p_I为：

获得的答案表格与标准表格一致则认为表格回答正确，记录表格回答正确的数量n_F，则文本准确率p_F为：

(4)计算知识推理指标下的第二级指标值：

4.1、潜在关系挖掘指标值S_mr

其中ar代表决策引擎在当前知识图谱中挖掘的潜在关系数量，tr代表其中被验证为正确的关系数量。

4.2、图挖掘指标值S_mg

其中P_i为各项服务的准确率。

(5)计算智能决策应用指标下的第二级指标值：

5.1、态势研判应用指标值S_situation

5.2、威胁分析应用指标值S_threat

5.3、方案优化应用指标值S_plan

步骤S204：根据第二级指标值计算获得第一级评价指标值。

(1)计算知识图谱构建指标值S₁

S₁＝(S_cover+S_extrac+S_fusion+S_mana)/4

(2)计算语义搜索指标值S₂

(3)计算语义搜索指标值S₃

(4)计算语义搜索指标值S₄

(5)计算语义搜索指标值S₅

S₅＝(S_situation+S_threat+S_plan)/3

在本公开的一些实施例中，请参阅图4，上述步骤S300包括以下步骤：

步骤S302：根据第一级评价指标的表征维度，确定第一级评价指标的权重。在确定第一级评价指标的权重ω时，可以根据第一级评价指标的表征维度已经第一评价指标的重要度来分配权重。

步骤S304：根据第一级评价指标和第一级评价指标对应的权重，计算获得总评价值。总评价值S的计算公式如下：

在本公开的一些实施例中，上述步骤S400包括以下步骤：

判断总评价值与预设阈值的大小，根据总评价值落入的预设阈值划分的阈值区间，输出检测结果，检测结果包括决策引擎的智能化程度等级。

在获得总评价值S后，将总评价值S与预设阈值进行对比，可以判断出总评价值落入的预设阈值划分的阈值区间，可以将划分的阈值区间对应决策引擎的智能化程度等级。例如，结合下表2，可以根据总评价值S获得决策引擎的智能化程度等级。

等级	说明
		第一等级	0.9＜S，智能化程度很高，评级等级为第一等级
第二等级	0.75＜S≤0.9，智能化程度较高，评级等级为第二等级
		第三等级	0.5＜S≤0.75，智能化程度较低，评级等级为第三等级
第四等级	0＜S≤0.5，智能化程度很低，评级等级为第四等级

当总评价值大于第一阈值时，检测结果输出决策引擎的智能化程度为第一等级，第一阈值可以取值为0.9。

当总评价值大于第二阈值且小于等于第一阈值时，检测结果输出决策引擎的智能化程度为第二等级，第二阈值可以取值为0.75。

当总评价值大于第三阈值且小于等于第二阈值时，检测结果输出决策引擎的智能化程度为第三等级，第三阈值可以取值为0.5。

当总评价值大于第四阈值且小于等于第三阈值时，检测结果输出决策引擎的智能化程度为第四等级，第四阈值可以取值为0。

本实施例的决策引擎的检测方法可以直接输出被检测决策引擎的智能化程度等级，更为便捷直观的评价决策引擎的智能化程度，便于根据不同应用需求选择不同等级的决策引擎。

可以理解的是，本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同/相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。相关之处参见其他方法实施例的描述说明即可。

应该理解的是，虽然图1-图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-图4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于上述的决策引擎的检测方法实施例的描述，本公开还提供决策引擎的检测装置。所述装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本公开实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参见前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

请参阅图5，本公开提供了一种决策引擎的检测装置Z00，包括：

模型确定模块Z10，用于确定决策引擎的评价模型，决策引擎基于知识图谱构建获得，评价模型包括用于表征决策引擎在指定维度上的评价指标；

指标计算模块Z20，用于根据知识图谱的数据信息和决策引擎的特征信息，对评价指标进行计算，获得评价指标值；

总评价值计算模块Z30，用于根据评价指标的权重以及评价指标值，按照预设算法计算得到评价模型的总评价值；

检测结果模块Z40，用于根据总评价值确定决策引擎的检测结果。

需要说明的，上述的装置Z00根据方法实施例的描述还可以包括其它的实施方式，具体的实现方式可以参照前述决策引擎的检测方法的实施例的描述，在此不作一一赘述。上述决策引擎的检测装置Z00的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

基于前述方法实施例描述，本公开提供的装置的另一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述实施例中决策引擎的检测方法的步骤。

图6是根据一示例性实施例示出的一种决策引擎的检测设备S00的框图。例如，设备S00可以为一服务器。参照图6，设备S00包括处理组件S20，其进一步包括一个或多个处理器，以及由存储器S22所代表的存储器资源，用于存储可由处理组件S20的执行的指令，例如应用程序。存储器S22中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件S20被配置为执行指令，以执行上述决策引擎的检测方法的步骤。

设备S00还可以包括一个电源组件S24被配置为执行设备S00的电源管理，一个有线或无线网络接口S26被配置为将设备S00连接到网络，和一个输入输出(I/O)接口S28。设备S00可以操作基于存储在存储器622的操作系统，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD或类似。

基于前述方法实施例描述，本公开提供的装置的另一个实施例中，提供了一种计算机程序产品，计算机程序产品中包括指令，指令被执行时，能够执行上述实施例中决策引擎的检测方法的步骤。

基于前述方法实施例描述，本公开提供的装置的另一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中决策引擎的检测方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

在本说明书的描述中，参考术语“有些实施例”、“其他实施例”、“理想实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性描述不一定指的是相同的实施例或示例。

上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种决策引擎的检测方法，其特征在于，包括步骤：

根据所述总评价值确定所述决策引擎的检测结果；

所述确定所述决策引擎的评价模型包括：

确定所述评价模型的第一级评价指标，所述第一级评价指标用于表征所述决策引擎的智能化程度；其中，所述第一级评价指标的表征维度包括知识图谱构建基础维度、决策引擎决策过程维度和决策引擎应用验证维度；

2.如权利要求1所述的方法，其特征在于，所述第一级评价指标包括：

用于表征所述决策引擎决策过程维度的第一级评价指标，包括语义搜索指标、知识问答指标、知识推理指标；

3.如权利要求2所述的方法，其特征在于，所述知识图谱构建指标对应的第二级指标包括知识图谱覆盖指标、知识抽取指标、知识融合指标、知识图谱管理指标；

4.如权利要求1所述的方法，其特征在于，所述根据所述知识图谱的数据信息和所述决策引擎的特征信息，对所述评价指标进行计算，获得评价指标值包括：

根据所述第二级指标、所述知识图谱的数据信息、所述决策引擎的特征信息计算获得所述第二级指标值；

根据所述第二级指标值计算获得所述第一级评价指标值。

5.如权利要求1所述的方法，其特征在于，所述根据所述评价指标的权重以及所述评价指标值，按照预设算法计算得到所述评价模型的总评价值包括：

6.如权利要求1所述的方法，其特征在于，所述根据所述总评价值确定所述决策引擎的检测结果包括：

7.一种决策引擎的检测装置，其特征在于，包括：

模型确定模块，用于确定所述决策引擎的评价模型，所述决策引擎基于知识图谱构建获得，所述评价模型包括用于表征所述决策引擎在指定维度上的评价指标；所述模型确定模块还用于确定所述评价模型的第一级评价指标，所述第一级评价指标用于表征所述决策引擎的智能化程度；其中，所述第一级评价指标的表征维度包括知识图谱构建基础维度、决策引擎决策过程维度和决策引擎应用验证维度；确定所述第一级评价指标的第二级指标，所述第二级指标用于表征对应的所述第一级评价指标的智能化程度；

8.一种决策引擎的检测设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。