CN116089196A

CN116089196A - 智能性水平分析评估方法及装置、计算机可读存储介质

Info

Publication number: CN116089196A
Application number: CN202310148827.6A
Authority: CN
Inventors: 张毅; 史宇辰; 葛经纬; 姚丹亚; 张佐; 裴华鑫
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2023-02-14
Filing date: 2023-02-14
Publication date: 2023-05-09

Abstract

一种智能性水平分析评估方法及装置、计算机可读存储介质，包括：确定评价指标的级数以及每级评价指标包含的下一级评价指标；根据最末级评价指标生成参考数列与比较数列，根据参考数列与比较数列生成倒数第二级评价指标的评分矩阵；从倒数第二级评价指标开始，依次用每一级评价指标的权重向量与同一级评价指标的评分矩阵相乘，得到每一级评价指标的综合评价，将同一级评价指标的综合评价进行拼接，形成同一级评价指标的上一级评价指标的评分矩阵，直到得到第一级评价指标的评分矩阵；用第一级评价指标的权重向量与第一级评价指标的评分矩阵相乘，得到第一级评价指标的综合评价，根据第一级评价指标的综合评价确定参评智能体的智能性水平。

Description

智能性水平分析评估方法及装置、计算机可读存储介质

技术领域

本公开涉及但不限于智能性测试技术领域，尤指一种智能性水平分析评估方法及装置、计算机可读存储介质。

背景技术

传统的系统测试一般侧重于软件与硬件。例如，无人机硬件测试中的可靠性试验，包含按键测试、跌落测试、高低温测试、GPS搜星测试、振动测试和路线弯折测试等；无人机软件测试常使用基于场景的仿真测试。

与传统的系统软硬件测试不同，智能系统智能性测评强调测评系统的智能性程度。智能性是指智能系统在完成任务中所展示的与人类智能相似或同类的能力。而智能系统指可以运用相似于人类智能解决问题、完成任务、实现目标的系统。智能系统智能性测评对于研究与应用智能系统具有重要的意义。用于与特定目标物体交互的无人机的智能性体现在，其需要自主感知周围环境信息并根据收集到的信息做出判断和决策，进而依据决策结果自主完成任务。

现有一些针对无人机群的群体智能性研究，包括协同的一致性等指标。群体智能性的指标只能体现其智能的一部分，相比之下，单体的智能性较为复杂，也更为重要，目前技术较少涉及。

发明内容

本公开实施例提供了一种智能性水平分析评估方法及装置、计算机可读存储介质，可以从智能性角度对参评智能体的能力进行划分，并由此确定待测指标，不局限于软硬件测试，以适应参评智能体智能执行任务的需求。

本公开实施例提供了一种智能性水平分析评估方法，包括：

确定评价指标的级数以及每级评价指标包含的下一级评价指标；

根据最末级评价指标生成一个参考数列与n个比较数列，所述参考数列为最末级评价指标的最优值组成的数列，n≥1，每个所述比较数列为一个参评智能体的最末级评价指标的测试值组成的数列；根据所述参考数列与所述比较数列生成倒数第二级评价指标的评分矩阵；

从倒数第二级评价指标开始，依次用每一级评价指标的权重向量与同一级评价指标的评分矩阵相乘，得到每一级评价指标的综合评价，将同一级评价指标的综合评价进行拼接，形成同一级评价指标的上一级评价指标的评分矩阵，直到得到第一级评价指标的评分矩阵；

用所述第一级评价指标的权重向量与所述第一级评价指标的评分矩阵相乘，得到所述第一级评价指标的综合评价，根据所述第一级评价指标的综合评价确定n个参评智能体的智能性水平。

可选的，所述根据所述参考数列与所述比较数列生成倒数第二级评价指标的评分矩阵，包括：

对所述参考数列与所述比较数列进行无量纲化处理；

计算所述参考数列与所述比较数列在每个最末级评价指标处的灰色关联系数，用同一倒数第二级指标下的多个不同最末级评价指标的灰色关联系数组成所述同一倒数第二级指标的评分矩阵。

可选的，所述参评智能体为无人机。

可选的，确定的所述评价指标的级数为四级。

可选的，第一级指标为总体智能性评价，第二级指标包括智能性感知指标、智能性决策指标和智能性执行指标，其中，所述智能性感知指标包括三个第三级指标：目标感知指标、状态感知指标和态势感知指标，所述智能性决策指标包括三个第三级指标：基于规则决策、自主决策和自适应决策，所述智能性执行指标包括三个第三级指标：确定式执行、跟随式执行和启发式执行，每个所述第三级指标下包括各自对应的一个或多个第四级指标。

可选的，所述从倒数第二级评价指标开始，依次用每一级评价指标的权重向量与同一级评价指标的评分矩阵相乘，得到每一级评价指标的综合评价，将同一级评价指标的综合评价进行拼接，形成同一级评价指标的上一级评价指标的评分矩阵，直到得到第一级评价指标的评分矩阵，包括：

使用层次分析法，计算得到每一第三级指标的权重向量；

用每一第三级指标的权重向量与每一第三级指标的评分矩阵相乘，得到每一第三级指标的综合评价，将每一第二级指标的多个第三级指标的综合评价进行拼接，得到每一第二级指标的评分矩阵；

使用层次分析法，计算得到每一第二级指标的权重向量；

用每一第二级指标的权重向量与每一第二级指标的评分矩阵相乘，得到每一第二级指标的综合评价，将多个第二级指标的综合评价进行拼接，得到第一级指标的评分矩阵。

可选的，每一评价指标的权重向量通过如下方法计算得到：

确定当前评价指标的比对矩阵，所述比对矩阵的第a行第b列的元素A(a,b)表示当前评价指标的第a个下一级评价指标相对于第b个下一级评价指标的重要性，A(a,b)＝1/A(b,a)；

将所述比对矩阵的最大特征根对应的特征向量，作为当前评价指标的权重向量。

本公开实施例还提供了一种智能性水平分析评估装置，包括存储器；和连接至所述存储器的处理器，所述存储器用于存储指令，所述处理器被配置为基于存储在所述存储器中的指令，执行本公开任一实施例所述的智能性水平分析评估方法的步骤。

本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开任一实施例所述的智能性水平分析评估方法。

本公开实施例还提供了一种智能性水平分析评估装置，包括指标确定模块、第一评分模块、第二评分模块和水平确定模块，其中：

所述指标确定模块，配置为确定评价指标的级数以及每级评价指标包含的下一级评价指标；

所述第一评分模块，配置为根据最末级评价指标生成一个参考数列与n个比较数列，所述参考数列为最末级评价指标的最优值组成的数列，n≥1，每个所述比较数列为一个参评智能体的最末级评价指标的测试值组成的数列；根据所述参考数列与所述比较数列生成倒数第二级评价指标的评分矩阵；

所述第二评分模块，配置为从倒数第二级评价指标开始，依次用每一级评价指标的权重向量与同一级评价指标的评分矩阵相乘，得到每一级评价指标的综合评价，将同一级评价指标的综合评价进行拼接，形成同一级评价指标的上一级评价指标的评分矩阵，直到得到第一级评价指标的评分矩阵；

所述水平确定模块，配置为用所述第一级评价指标的权重向量与所述第一级评价指标的评分矩阵相乘，得到所述第一级评价指标的综合评价，根据所述第一级评价指标的综合评价确定n个参评智能体的智能性水平。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。

附图说明

附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1为本公开示例性实施例提供的一种智能性水平分析评估方法的流程示意图；

图2为本公开示例性实施例提供的一种智能性水平分析评估装置的结构示意图；

图3为本公开示例性实施例提供的另一种智能性水平分析评估装置的结构示意图。

具体实施方式

本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。

本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。

此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。

如图1所示，本公开实施例提供了一种智能性水平分析评估方法，包括如下步骤：

步骤101、确定评价指标的级数以及每级评价指标包含的下一级评价指标；

步骤102、根据最末级评价指标生成一个参考数列与n个比较数列，参考数列为最末级评价指标的最优值组成的数列，n≥1，每个比较数列为一个参评智能体的最末级评价指标的测试值组成的数列；根据参考数列与比较数列生成倒数第二级评价指标的评分矩阵；

步骤103、从倒数第二级评价指标开始，依次用每一级评价指标的权重向量与同一级评价指标的评分矩阵相乘，得到每一级评价指标的综合评价，将同一级评价指标的综合评价进行拼接，形成同一级评价指标的上一级评价指标的评分矩阵，直到得到第一级评价指标的评分矩阵；

步骤104、用第一级评价指标的权重向量与第一级评价指标的评分矩阵相乘，得到第一级评价指标的综合评价，根据第一级评价指标的综合评价确定n个参评智能体的智能性水平。

本公开实施例的智能性水平分析评估方法，通过从倒数第二级评价指标开始，依次用每一级评价指标的权重向量与同一级评价指标的评分矩阵相乘，得到每一级评价指标的综合评价，将同一级评价指标的综合评价进行拼接，形成同一级评价指标的上一级评价指标的评分矩阵，直到得到第一级评价指标的评分矩阵，再用第一级评价指标的权重向量与第一级评价指标的评分矩阵相乘，得到第一级评价指标的综合评价，根据第一级评价指标的综合评价，确定n个参评智能体的智能性水平，可以从智能性角度对参评智能体的能力进行划分，并由此确定待测指标，不局限于软硬件测试，以适应参评智能体智能执行任务的需求；以开发者的角度，利用已知系统各部分功能\结构\代码的优势，对各部分进行独立测试；根据设定的评价指标体系，进行整体性评估的同时，可以了解参评智能体的优点和缺点，发现瓶颈问题。

在一些示例性实施方式中，参评智能体可以为无人机。然而，本公开实施例对此不作限制，参评智能体以及评价指标体系可以根据需要进行设置。

本公开实施例涉及无人机智能性测试的指标设定和评估分析方法。本公开实施例的指标设定和评估分析方法主要面向一类已知内部结构的、用于与特定目标物体交互的无人机。本公开实施例提出将智能性能力分为不同类别，并使用树状分析的方式分层次划分智能性能力，设定智能性指标。完成指标设定并逐一测试得出无人机各指标的数值后，结合使用层次分析法与灰度关联法，按照指标体系进行综合评估分析，得到无人机智能性评价结果。

在一些示例性实施方式中，如表1所示，评价指标的级数为四级，第一级指标为总体智能性评价，第二级指标包括智能性感知指标、智能性决策指标和智能性执行指标，其中，第二级指标智能性感知指标包括三个第三级指标：目标感知指标、状态感知指标和态势感知指标，第二级指标智能性决策指标包括三个第三级指标：基于规则决策、自主决策和自适应决策，第二级指标智能性执行指标包括三个第三级指标：确定式执行、跟随式执行和启发式执行，每个第三级指标下包括各自对应的一个或多个第四级指标。

表1评价指标体系

如表1所示，本公开将无人机的智能性分为感知、决策、执行三类智能，每类智能指标下分为多种智能指标。不同类的智能指标之间具有耦合关系，例如感知的准确与否会影响决策的正确性，如果错误识别了目标，则决策也会发生错误。因此，为了准确评估某智能指标，需要保证其他能力对其不会产生不利影响。例如，在测试决策指标时，应给无人机输入正确的感知结果，以便单独测试决策能力。由于假定无人机是已知内部的，因此可以进行分模块的测试。

感知指标设定

无人机在一项任务中可以进行多种类型的感知。

(1)目标感知指标：由于无人机的任务为与特定物体进行交互，因此最关键的便是感知目标物体。无人机运行目标检测算法，在感知画面中的目标处画出方框。以下指标可用于评价目标感知算法。

·交并比：检测结果与标注结果交集面积除以并集面积。

·准确率：被分对的样本数除以所有的样本数。

·精准度：所检测出的目标中，正确检测出的比例。

·召回率：在应该检测出的目标中，正确检测出的比例。

(2)状态感知指标：状态感知指标用来评估智能体感知所处环境的状态信息。其主要包括对自然环境状态与相关物体状态的感知。自然环境状态方面，无人机需要感知风向风速等；相关物体状态等方面，无人机需要感知自身与目标所处位置、速度、加速度等。可以根据任务需要拓展指标，例如，若任务对隐蔽性有要求，可添加音量感知指标。感知内容均可以使用数值定量表示，因此可以使用偏差率作为指标。例如，无人机对自身速度的感知为v_s，实际速度为v_g，则偏差率：

(3)态势感知指标：态势感知指标用来评估智能体感知控制对象变动趋势的能力。无人机可能需要对环境中移动的物体移动的意图、趋势做判断，包括人、动物、车辆等。可以使用无人机的判断准确率作为指标。

决策指标设定

无人机在一项任务中可以进行多种类型的决策。

(1)基于规则决策：让系统按照人所设定的规则进行决策，而人的设计原则对应的是现有的知识和逻辑。规则往往采用“If-Then/Else”的形式。典型的基于规则的决策是专家系统。

(2)自主决策：自主决策是指系统在特定环境下不依赖具体的知识和规则进行决策，拥有自主性决策的系统在一定程度上具备了发现和学习规则的能力，但这个阶段的系统受环境制约很大，对由环境变化而产生的响应不足。典型的自主决策是使用了深度学习、强化学习的系统。

(3)自适应决策：自适应决策系统在自主决策的基础上增加了适应环境、学习、更新等适应环境的能力，即系统对环境的约束具备了一些自适应能力。典型的自适应决策在自主决策的基础上至少增加了在线学习能力。

无人机决策正确与否是一个二元变量，因此可以给定正确感知结果，使用任务难度和决策准确率进行评估。

基于规则决策、自主决策以及自适应决策这三种决策具有递进关系。在无人机执行任务的决策过程中，若未使用相对低级的决策方法，可将该方法的任务难度和准确率指标置为高一级决策方法的相应指标的数值，避免其因决策方法少而影响评分。

执行指标设定

无人机在一项任务中可以进行多种类型的执行。

(1)确定式执行：执行的目标是固定不变的。

(2)随动式执行：执行的目标是变化的。

(3)启发式执行：执行目标不断变化，系统可调节执行的方式从而更好地应对环境的变化或者目标复杂性。

每一种执行方法都可以使用执行时的稳定性、准确性、快速性作为评估指标。

·稳定性：是否可以由初始状态趋向一个稳定平衡状态或在受到干扰后恢复原有平衡状态，二元变量。

·准确性：最大动态偏差，即系统达到执行目标前超出目标的程度。

·快速性：过渡时间，即系统受到阶跃外作用后，从原有稳定值达到新的稳定值所需要的时间。

确定式执行、随动式执行和启发式执行这三种执行具有递进关系。在无人机执行任务的决策过程中，若未使用相对低级的执行方法，可将该方法的各项指标置为高一级执行方法的相应指标的数值，避免其因执行方法少而影响评分。

根据层次分析法原理，本公开中的评价指标体系分为4层，其中：

第一级指标对应第一层，为目标层：ω；

第二级指标对应第二层，为准则层1：Z_i,i＝1,2,3；

第三级指标对应第三层，为准则层2：Y_ij,i＝1,2,3；j＝1,2,…,m_i；

第四级指标对应第四层，为指标层：X_ijk,i＝1,2,3；j＝1,2,…,m_i；k＝1,2,…,n_ij。

在一些示例性实施方式中，根据参考数列与比较数列生成倒数第二级评价指标的评分矩阵，包括：

对参考数列与比较数列进行无量纲化处理；

计算参考数列与比较数列在每个最末级评价指标处的灰色关联系数，用同一倒数第二级指标下的多个不同最末级评价指标的灰色关联系数组成同一倒数第二级指标的评分矩阵。

以表1的评价指标体系为例，第四级指标的最优值组成的数列为参考数列。每个参评智能体的指标测试值组成的数列为比较数列，比较数列的个数为参评无人机的数量n。若只有单个无人机参评，可以增加指标全为优秀数值的一个比较数列，以方便后续计算评分。

按照灰色关联分析法中的步骤，进行变量无量纲化，计算参考数列与比较数列在每个最末级评价指标处的灰色关联系数，将计算出的同一倒数第二级指标下的多个不同最末级评价指标的灰色关联系数作为每一个倒数第二级指标的评分矩阵E_ij，其中，

即评分矩阵E_ij为n_ij行n列的矩阵。

示例性的，参考数列记为T₀′＝(t′₀(k),k＝1,2,…,n_ij)，比较数列记为T_l′＝(t′_l(k),k＝1,2,…,n_ij),l＝1,2,…,n，其中，n_ij表示某一个倒数第二级指标下的最末级指标的个数(即某一个第三级指标下的第四级指标的个数)，n表示参评无人机个数。为避免不同指标因量纲不易比较，要对其进行无量纲化处理，无量纲化处理公式为：

t_l(k)∈[0,1]；

关联系数的计算实际上就是关联程度的求取。可以用曲线间几何形状的差别程度作为关联程度的衡量尺度，第l个参评方案的第k个指标的灰色关联系数公式为：

式中，ρ为分辨系数，ρ∈[0,1]，l＝1,2,…,n；k＝1,2,…,n_ij。

E_ij的第k行，第l列即为ξ_l(k)。

在一些示例性实施方式中，每一级评价指标的权重向量通过如下方法计算得到：

确定当前评价指标的比对矩阵，该比对矩阵中的第a行第b列的元素A(a,b)表示当前评价指标的第a个下一级评价指标相对于第b个下一级评价指标的重要性，且A(a,b)＝1/A(b,a)；

将比对矩阵的最大特征根对应的特征向量，作为当前评价指标的权重向量。

示例性的，以表1的评价指标体系为例，步骤103包括如下步骤：

使用层次分析法，计算得到每一第三级指标的权重向量；

使用层次分析法，计算得到每一第二级指标的权重向量；

在一些示例性实施方式中，使用层次分析法，计算得到每一第三级指标的权重向量ω_ij，包括：

确定每个第三级指标的比对矩阵A_ij,i＝1,2,3；j＝1,2,…,m_i(可以通过经验给出)，其中，

即每个第三级指标的比对矩阵为行数和列数均为n_ij的方阵；

将每个第三级指标的比对矩阵的最大特征根对应的特征向量ω_ij作为每一第三级指标的权重向量，ω_ij表示每一第三级指标下不同第四级指标的重要性权重，

即ω_ij为n_ij维行向量；A_ijω_ij＝λω_ij。

其中，矩阵A_ij表示第i个第二级指标的第j个第三级指标的第四级指标之间的比对矩阵，该第三级指标对应的第四级指标个数为n_ij，故比对矩阵为维度为n_ij的方阵。第a行、第b列的元素A_ij(a,b)表示第a个第四级指标相对于第b个第四级指标的重要性，重要性越高数值越大，A_ij(a,b)＝1表示重要性相同，A_ij(a,b)＝1/A_ij(b,a)。重要性根据任务对于无人机的要求确定。

在一些示例性实施方式中，用每一第三级指标的权重向量与每一第三级指标的评分矩阵相乘，得到每一第三级指标的综合评价，将每一第二级指标的多个第三级指标的综合评价进行拼接，得到每一第二级指标的评分矩阵，包括：

用每一第三级指标的权重向量ω_ij与每一个第三级指标的评分矩阵E_ij相乘，得到每一个第三级指标的综合评价，并根据指标数量进行归一化操作：

其中，B_ij∈Rⁿ，即B_ij为n维行向量，向量B_ij表示n个参评无人机的第i个第二级指标的第j个第三级指标的评分；

再将属于同一第二级指标的不同第三级指标的评价进行综合，即将行向量

纵向拼接，形成第二级指标的评分矩阵E_i，其中，

即E_i为m_i行n列的矩阵，矩阵E_i表示n个参评无人机的第i个第二级指标的m_i个第三级指标的评分。

在一些示例性实施方式中，使用层次分析法，计算得到每一第二级指标的权重向量，包括：

确定每个第二级指标的比对矩阵A_i,i＝1,2,3(可以通过经验给出)，其中，

即每个第二级指标的比对矩阵为行数和列数均为m_i的方阵，矩阵A_i表示第i个第二级指标下的第三级指标之间的比对矩阵；

将每个第二级指标的比对矩阵的最大特征根对应的特征向量ω_i作为每一第二级指标的权重向量ω_i，ω_i表示同一第二级指标下不同第三级指标的重要性权重，

即ω_i为m_i维行向量；A_iω_i＝λω_i。

在一些示例性实施方式中，用每一第二级指标的权重向量与每一第二级指标的评分矩阵相乘，得到每一第二级指标的综合评价，将多个第二级指标的综合评价进行拼接，得到第一级指标的评分矩阵，包括：

用每一第二级指标的权重向量ω_i与每一第二级指标的评分矩阵E_i相乘，得到每一第二级指标的综合评价，并进行归一化操作：

其中，B_i∈Rⁿ，即B_i为n维行向量，向量B_i表示n个参评无人机的第i个第二级指标的评分；

将属于同一第一级指标的不同第二级指标的评价进行综合，即将行向量B_i纵向拼接，形成第一级指标的评分矩阵E，其中，E∈R^3×n，即E为3行n列的矩阵，矩阵E表示n个参评无人机的3个第二级指标感知、决策、执行指标的评分。

在一些示例性实施方式中，所述方法还包括：使用层次分析法，计算得到第一级指标的权重向量。

在一些示例性实施方式中，使用层次分析法，计算得到第一级指标的权重向量，包括：

确定第一级指标的比对矩阵A(可以通过经验给出)，其中，A∈R^3×3，即第一级指标的比对矩阵A为行数和列数均为3的方阵，矩阵A表示第一级指标下的3个第二级指标之间的比对矩阵；

将第一级指标的比对矩阵的最大特征根对应的特征向量ω作为第一级指标的权重向量，ω表示不同第二级指标的重要性权重，ω∈R³，即ω为3维行向量，Aω＝λω。

在一些示例性实施方式中，用第一级评价指标的权重向量与第一级评价指标的评分矩阵相乘，得到第一级评价指标的综合评价，包括：

用第一级评价指标的权重向量ω与第一级指标的评分矩阵E相乘，得到第一级指标的综合评价，并进行归一化操作：

其中，B∈Rⁿ，即B为n维行向量，B中每个值表示对应智能体的智能性评分，可用于进行对比选优，或者直接考察某个智能体的智能性水平。

下面通过一个具体的实施例对本公开实施例的智能性水平分析评估方法进行详细说明。以3架侦查室外目标人员无人机为例，根据本公开提供的智能性水平分析评估方法进行智能性水平分析评估，包括如下步骤：

(1)确定比较数列和参考数列

经过若干次测试得到智能性评价指标数值如表2所示。

表2

(2)确定指标层到准则层2的权重

假设确定的目标感知指标的比对矩阵为：

由于对错检的容忍度较低，所以召回率重要性较高。

A₁₁最大特征值为3，对应特征向量ω₁₁为[0.408,0.817,0.408]^T假设确定的状态感知指标的比对矩阵为：

目标感知测试对无人机自我状态感知要求较高。

A₁₂最大特征值为3，对应特征向量ω₁₁为[0.333,0.667,0.667]^T假设确定的每个3级决策指标的比对矩阵为：

可见测试对决策的准确性要求更高。

A_2j最大特征值为2，对应特征向量ω_2j为[0.555,0.832]^T。

假设确定的每个3级执行指标的比对矩阵为：

可见测试对执行的稳定性要求最高，准确性次之，最后是快速性。A₃₂最大特征值为3.02，对应特征向量ω₃₂为[0.915,0.349,0.200]^T。

(3)计算关联度

对表2中的智能性评价指标数值无量纲化，得到如下表3：

表3

取ρ＝0.5，得到的关联系数如表4所示：

表4

即得到如下关联度矩阵：

E₁₃＝[1,0.33,0.5]；

(4)计算准则层2的综合评价

B₁₃＝E₁₃＝[1 0.33 0.5]；

(5)确定准则层2到准则层1的权重

确定每个2级指标的比对矩阵为：

即不同2级指标重要性接近，不做区分。

A_i最大特征值为3，对应特征向量ω_i为[0.577,0.577,0.577]^T。

(6)计算准则层1的综合评价

(7)确定准则层1到目标层的权重

即不同3级指标重要性接近，不做区分。

A最大特征值为3，对应特征向量ω为[0.577,0.577,0.577]^T。

(8)计算综合评价结果

B＝ω^TE＝[0.49 0.49 0.44]。

综合分析，无人机1和无人机2评分相同，无人机3评分较低。通过分析评分构成，可以了解到无人机1在感知层面表现更好，而无人机2在决策和执行层面表现更好。

在实际使用该方法时，参评无人机越多，指标内容越充分，可以使得评价结果越具有参考价值，且可以根据不同无人机特点进行针对性的改进。

本公开实施例还提供了一种智能性水平分析评估装置，包括存储器；和连接至所述存储器的处理器，所述存储器用于存储指令，所述处理器被配置为基于存储在所述存储器中的指令，执行如本公开任一实施例所述的智能性水平分析评估方法的步骤。

如图2所示，在一个示例中，智能性水平分析评估装置可包括：处理器210、存储器220和总线系统230，其中，处理器210和存储器220通过总线系统230相连，存储器220用于存储指令，处理器210用于执行存储器220存储的指令。具体地，处理器210确定评价指标的级数以及每级评价指标包含的下一级评价指标；根据最末级评价指标生成一个参考数列与n个比较数列，参考数列为最末级评价指标的最优值组成的数列，n≥1，每个比较数列为一个参评智能体的最末级评价指标的测试值组成的数列；根据参考数列与比较数列生成倒数第二级评价指标的评分矩阵；从倒数第二级评价指标开始，依次用每一级评价指标的权重向量与同一级评价指标的评分矩阵相乘，得到每一级评价指标的综合评价，将同一级评价指标的综合评价进行拼接，形成同一级评价指标的上一级评价指标的评分矩阵，直到得到第一级评价指标的评分矩阵；用第一级评价指标的权重向量与第一级评价指标的评分矩阵相乘，得到第一级评价指标的综合评价，根据第一级评价指标的综合评价确定n个参评智能体的智能性水平。

应理解，处理器210可以是中央处理单元(Central Processing Unit，CPU)，处理器210还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器220可以包括只读存储器和随机存取存储器，并向处理器210提供指令和数据。存储器220的一部分还可以包括非易失性随机存取存储器。例如，存储器220还可以存储设备类型的信息。

总线系统230除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图2中将各种总线都标为总线系统230。

在实现过程中，处理设备所执行的处理可以通过处理器210中的硬件的集成逻辑电路或者软件形式的指令完成。即本公开实施例的方法步骤可以体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等存储介质中。该存储介质位于存储器220，处理器210读取存储器220中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

如图3所示，本公开实施例还提供了一种智能性水平分析评估装置，包括指标确定模块301、第一评分模块302、第二评分模块303和水平确定模块304，其中：

指标确定模块301，配置为确定评价指标的级数以及每级评价指标包含的下一级评价指标；

第一评分模块302，配置为根据最末级评价指标生成一个参考数列与n个比较数列，所述参考数列为最末级评价指标的最优值组成的数列，n≥1，每个所述比较数列为一个参评智能体的最末级评价指标的测试值组成的数列；根据所述参考数列与所述比较数列生成倒数第二级评价指标的评分矩阵；

第二评分模块303，配置为从倒数第二级评价指标开始，依次用每一级评价指标的权重向量与同一级评价指标的评分矩阵相乘，得到每一级评价指标的综合评价，将同一级评价指标的综合评价进行拼接，形成同一级评价指标的上一级评价指标的评分矩阵，直到得到第一级评价指标的评分矩阵；

水平确定模块304，配置为用所述第一级评价指标的权重向量与所述第一级评价指标的评分矩阵相乘，得到所述第一级评价指标的综合评价，根据所述第一级评价指标的综合评价确定n个参评智能体的智能性水平。

在一些示例性实施方式中，第一评分模块302根据所述参考数列与所述比较数列生成倒数第二级评价指标的评分矩阵，包括：

对所述参考数列与所述比较数列进行无量纲化处理；

在一些示例性实施方式中，所述参评智能体为无人机。

在一些示例性实施方式中，指标确定模块301确定的所述评价指标的级数为四级。

在一些示例性实施方式中，第一级指标为总体智能性评价，第二级指标包括智能性感知指标、智能性决策指标和智能性执行指标，其中，所述智能性感知指标包括三个第三级指标：目标感知指标、状态感知指标和态势感知指标，所述智能性决策指标包括三个第三级指标：基于规则决策、自主决策和自适应决策，所述智能性执行指标包括三个第三级指标：确定式执行、跟随式执行和启发式执行，每个所述第三级指标下包括各自对应的一个或多个第四级指标。

在一些示例性实施方式中，第二评分模块303，具体被配置为：

使用层次分析法，计算得到每一第三级指标的权重向量；

使用层次分析法，计算得到每一第二级指标的权重向量；

在一些示例性实施方式中，每一评价指标的权重向量通过如下方法计算得到：

本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开任一实施例所述的智能性水平分析评估方法。通过执行可执行指令驱动智能性水平分析评估的方法与本公开上述实施例提供的智能性水平分析评估方法基本相同，在此不做赘述。

在一些可能的实施方式中，本申请提供的智能性水平分析评估方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的智能性水平分析评估方法中的步骤，例如，所述计算机设备可以执行本申请实施例所记载的智能性水平分析评估方法。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

虽然本公开所揭露的实施方式如上，但所述的内容仅为便于理解本公开而采用的实施方式，并非用以限定本发明。任何所属领域内的技术人员，在不脱离本公开所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims

1.一种智能性水平分析评估方法，其特征在于，包括：

2.根据权利要求1所述的智能性水平分析评估方法，其特征在于，所述根据所述参考数列与所述比较数列生成倒数第二级评价指标的评分矩阵，包括：

对所述参考数列与所述比较数列进行无量纲化处理；

3.根据权利要求1所述的智能性水平分析评估方法，其特征在于，所述参评智能体为无人机。

4.根据权利要求1所述的智能性水平分析评估方法，其特征在于，确定的所述评价指标的级数为四级。

5.根据权利要求4所述的智能性水平分析评估方法，其特征在于，第一级指标为总体智能性评价，第二级指标包括智能性感知指标、智能性决策指标和智能性执行指标，其中，所述智能性感知指标包括三个第三级指标：目标感知指标、状态感知指标和态势感知指标，所述智能性决策指标包括三个第三级指标：基于规则决策、自主决策和自适应决策，所述智能性执行指标包括三个第三级指标：确定式执行、跟随式执行和启发式执行，每个所述第三级指标下包括各自对应的一个或多个第四级指标。

6.根据权利要求1所述的智能性水平分析评估方法，其特征在于，所述从倒数第二级评价指标开始，依次用每一级评价指标的权重向量与同一级评价指标的评分矩阵相乘，得到每一级评价指标的综合评价，将同一级评价指标的综合评价进行拼接，形成同一级评价指标的上一级评价指标的评分矩阵，直到得到第一级评价指标的评分矩阵，包括：

使用层次分析法，计算得到每一第三级指标的权重向量；

使用层次分析法，计算得到每一第二级指标的权重向量；

7.根据权利要求6所述的智能性水平分析评估方法，其特征在于，每一评价指标的权重向量通过如下方法计算得到：

8.一种智能性水平分析评估装置，其特征在于，包括存储器；和连接至所述存储器的处理器，所述存储器用于存储指令，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至7中任一项所述的智能性水平分析评估方法的步骤。

9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1至7中任一项所述的智能性水平分析评估方法。

10.一种智能性水平分析评估装置，其特征在于，包括指标确定模块、第一评分模块、第二评分模块和水平确定模块，其中：