CN108229685A - 一种空地一体的无人智能决策方法 - Google Patents

Abstract

本发明公开了一种空地一体的无人智能决策方法，该方法通过空地协同的工作模式，解决了的无人智能决策技术由于对计算资源和实时性的要求而难以在嵌入式计算环境中实现的问题，通过对知识在线学习和离线学习的支持完成知识的更新演进，通过规则推理和模型推理的协同推理模式融合了两种推理模式的优点，解决了复杂环境下推理结果的不确定性问题。它为无人智能决策技术的实现提供了一个新思路，可应用于无人机、无人车、无人船等无人系统自主任务，也可用于有人系统中的辅助决策系统。

Description

一种空地一体的无人智能决策方法

技术领域

本发明涉及智能决策方法，特别涉及一种空地一体的无人智能决策方法。

背景技术

面向机器学习的智能系统越来越多地应用于航空领域，其典型表现是：能够自主完成任务，具备事先学习、事后学习和在线学习能力。智能无人系统中最为关键的是无人智能决策，其主要目的是在动态、复杂任务环境下能够更好的完成态势感知与行为决策。

传统的智能决策方法是在有人参与的任务环境下开展工作的，它所解决的决策问题有着明确的输入，只能简单地执行某项预编程的计划，其决策结果是确定的,该方法主要是为人的最终决策提供支持。在态势感知方面，基于深度学习的方法多运行于桌面服务器、工作站、巨型机或云计算环境，在嵌入式计算环境中往往由于资源受限而无法运行；在行为决策方面，传统的方法更多的是一种事先决策和静态规划，很少考虑时间和空间的变化以及不确定因素带来的影响；在学习训练方面，传统方法大都建立在大样本数据的基础上，且多为概念性研究或个例性设计。

然而，随着网络环境的迅速发展，对智能决策提出了新的要求，智能决策需要具有一定的自主任务能力，才能在不确定的任务环境下做出合乎任务场景的确定的决策，具有高度的确定性将是智能决策的首要特征。

空地一体的无人智能决策方法有效地克服了传统智能决策方法存在的一些缺陷，该方法更加关注规则知识和模型知识的建立与使用，运用机器学习的方法有助于智能系统自行制定策略，并按照策略自行选择行为，实现自主引导，自主完成任务。在态势感知方面，从统一的端到端处理框架入手，进行深度学习(深度神经网络)的轻量化设计，从专用的智能计算IP和芯片入手，开展低功耗、小型化的轻量级实现；在行为决策方面，从路线规划、任务分配等方面，研究在线决策与动态规划；在学习训练方面，基于在线学习和自主学习，开展知识演进研究。该方法将智能自主决策成功应用到嵌入式环境中去，为实现嵌入式系统的智能化提供了新的思路。

发明内容

本发明的目的：

本发明针对无人系统在动态、复杂环境下的自主任务需求，重点考虑无人智能决策方法中的感知与决策，结合嵌入式计算资源与地面计算资源的特点，利用机器学习的方法，研究满足任务需求的智能自主决策技术。通过深度学习、在线学习和自主学习，实现知识中心规则知识和模型知识的构建、优化及持续演进；通过静态配置和动态重构，实现推理引擎对不同任务及其不确定因素的通用化支持，为实现嵌入式系统的智能化提供了一种新的方法和技术支持。

本发明的技术方案：本发明的系统框架及实现示意如图1所示。它由两部分组成。(1)地面智能系统，包括：数据预处理、地面知识中心和知识管理调度三个部分。数据预处理部分完成对历史数据、经验数据、实时获取数据的预处理，利用数据符号化、标准化、采样、滤波等方法，实现数据的形式化描述和规范化处理。预处理后的数据作为地面知识中心的输入，发送给地面知识中心进行数据的统一存储、管理和调度。地面知识中心利用各种知识库分类存储各类数据，包括地形库、目标库、载荷库、威胁库、规则库、模型库等，在其上构建知识管理、规则调度和模型调度模块，对各类知识库进行统一组织、管理和调度。知识管理调度负责对地面智能系统的知识中心进行管理调度和更新，包括知识输出、规则训练和模型训练部分。知识输出部分根据机载智能系统的需求，将地面知识中心中的知识直接输出；规则训练部分利用规则生成、规则合并、规则简化等方法,实现对地面知识系统中的规则库的训练和更新；模型训练部分利用迁移学习、监督学习、非监督学习等方法，实现对地面知识中心中的模型库的训练和更新。(2)机载智能系统，包括：实时信息采集、机载知识库、机载推理引擎配置、机载推理引擎和实时任务调度。实时信息采集部分利用机载传感器，完成对无人机位置、姿态、载荷、传感器参数等信息的获取和收集，发送给机载知识库，同时按照计划发送回地面智能系统。机载知识库与地面知识中心中的各类数据库类似，包括地形库、威胁库、载荷库、目标库、规则库、模型库等，存储与当前自主任务相关的知识，这些知识通过地面知识中心的知识输出部分提供。机载推理引擎包括规则推理、模型推理和混合推理部分，分别实现规则推理、模型推理，以及规则和模型协同的混合推理。机载推理引擎配置部分包括静态配置、动态地层重构和动态软重构部分，静态配置完成机载推理引擎的预先配置，动态底层重构和动态软重构配合完成机载推理引擎的实时动态配置。实时任务调度部分利用任务分解、任务抽象建模、优化目标描述等方法，实现对无人机实时自主任务的形式化处理，以能够直接利用机载知识库和机载推理引擎进行智能推理。

所谓空地一体的无人智能决策方法有三个主要特征，第一是空地协同的工作模式，第二是基于知识中心的知识构建、演进和使用，第三是规则推理与模型推理的协同推理引擎。

空地协同的工作模式由地面智能系统和机载智能系统配合实现。地面智能系统以地面高性能计算环境为基础，在其上构建无人飞机自主任务的地面知识中心，依托地面知识中心，地面智能系统将完成规则和模型的学习训练，完成知识的更新演进。机载智能系统以机载嵌入式计算环境为基础，在其上构建机载知识库与推理引擎。在实时任务中，无人机实时采集数据，作为推理引擎的输入，推理引擎根据机载知识库进行推理决策，由于实时任务的复杂性和不可预测性，而机载知识库中的知识有限，无人机在遇到新情况时无法做出决策或者不能在有效地时间内做出决策，此时就需要将实时数据通过无线数据链传输到地面，由地面知识中心进行处理并对相关的推理模型进行优化训练，再将优化后的模型参数反馈给机载推理引擎,机载智能系统再进行推理决策并更新自己的知识库。

知识中心的构建和使用如图2所示。知识中心作为智能系统的核心，为无人自主决策提供数据、知识、算法、模型等的支持。知识中心存储与无人自主决策相关的任务数据、地形数据、历史经验知识、任务规则知识、模型知识等，完成多源异构数据知识的统一存储、组织、管理与调度。针对时变空间中高度动态变化的战场环境，知识中心通过在线学习和自主学习完成知识的更新与演进，包括数据的更新、知识的演化、模型的优化与更新等。

规则推理与模型推理的协同推理引擎框架如图3所示。针对不同的自主任务所用到的推理算法，通过抽取核心推理算法的共性要素，形成基础的通用的推理引擎核心模块，利用软硬件协同的静态配置和动态重构技术，实现推理引擎对不同任务的通用化支持。同时，考虑知识系统中规则知识和模型知识共存的情况，根据二者的使用条件和各自的推理优势，研究规则推理与模型推理的协同技术，实现复杂任务环境下的混合推理。

空地一体的无人智能决策方法，有如下步骤：

步骤1接收决策问题及约束，即：机载智能系统从智能体决策者问题处理系统获得要解决的决策问题及约束要求，并将其缓存到工作存储器，同时从地面智能系统的知识中心中获取与本次任务相关的知识存储在机载知识库中。

步骤2数据采集和预处理，即：机载智能系统实时采集数据，对自主任务环境进行识别与感知，对场景中的任务目标和标志性目标进行检测与识别，对自身状态进行感知与监控，并对这些数据进行知识化表示和规范化处理后作为机载推理引擎的输入，必要时将这些数据通过无线数据链传输到地面，由地面知识中心进行处理并对相关的推理模型进行优化训练，再将优化后的模型参数反馈给机载推理引擎。

步骤3推理机模型及资源配置，即：根据任务规划和环境，推理引擎实现静态配置和动态配置的自由进行切换，根据自主任务目标、场景特性以及平台自身的状态特点，通过对决策问题的分析归类，选择合适的推理机模型，确定其所需的资源。

步骤4推理决策，即：机载智能系统根据推理引擎的输入，智能选择推理过程，在约束的时间范围内，当自主决策结果确定有效时，根据自主决策的结果调动自身的载荷等资源，实现自主行为,当无法得到有效推理结果时给出结论或建议。

步骤5知识中心的更新与演化，包括在线学习和自主学习过程，其中，在线学习模型包括发展型神经网络增强学习模型、知识迁移学习SVM模型、基于神经网络的知识规则抽取模型和集成神经网络模型等，自主学习模型包括基于发展型神经网络学习实现知识库的演化发展模型、基于有色Petr i网CPN的知识库自动验证模型、基于测试案例集的知识库异常自动消解模型、知识库的测试与评价模型等。

更进一步的：

步骤1中所述的知识中心指地面智能系统的地面知识中心,其处理的知识除了包含场景地形数据、历史任务数据、专家经验等常规知识外，还包括规则库、模型库、方法库等推理决策算法知识，是多种类型的知识的结合体。

步骤1中所述的机载知识库指机载智能系统中的机载知识库，与地面知识中心类似，机载知识库同样包含地形库、威胁库、目标库、载荷库、规则库、模型库等，机载知识库的知识由地面知识中心提供，只存储和管理与本次任务相关的知识，它的每个知识库都是地面知识中心的一个子集。

步骤2中所述的数据采集主要指对环境场景的理解(即图像分类)、对场景中各类目标的检测与识别、以及对目标的跟踪与意图理解等等,其本质是对无人机实时获取的可视信息进行视觉处理，利用深度学习技术，采用统一的端到端卷积神经网络，实现无人环境感知与建模优化。

步骤3中所述的推理引擎的静态配置指机载智能系统根据事先的任务规划结果，结合不同机器学习算法对计算资源和计算实时性的不同要求，对推理引擎进行配置。

步骤3中所述的动态配置指机载智能系统面对高动态的复杂任务环境，推理引擎通过动态重构实现智能推理算法的在线变换。

步骤4中所述的推理过程包括规则推理和模型推理，规则推理以专家系统规则推理为核心架构，依据知识库和规则库进行推理，模型推理包括概率模型、模糊集模型、神经网络模型等，依据各模型进行推理，当推理引擎的输入条件明确，推理规则明晰时，使用规则推理模型进行推理，当推理条件不明晰，或规则推理模型没有足够的规则对所提出的问题进行推理时，推理引擎对推理条件或规则进行样本转化，作为模型推理的输入，启动模型推理。

本发明具有的优点效果：

本发明提出的空地一体的无人自主决策方法与国内外的已有报道相比较，具有如下优势：

第一，智能系统具备良好的通用化支持能力，能够针对特定的问题实施特定的支持，满足不同任务对感知与决策的需求差异，同时满足算法模型的优化差异。

第二，规则推理与模型推理协同工作，能充分发挥它们各自的优势，可以满足多种应用场合的推理任务要求。

第三，空地协同的工作模式，支持深度学习、在线学习和自主学习，既克服了嵌入式计算环境下机器学习对数据和计算资源的需求，又能够满足其自主任务高度复杂、动态变化的需求。

附图说明

图1为本发明的空地一体的智能决策方法系统框架；

图2为本发明的知识中心构建和使用方案；

图3为本发明的规则推理与模型推理的协同推理引擎框架。

具体实施方式

以多机协同无人自主航路规划任务为例：

多机协同无人自主航路规划任务智能决策系统包括：地面智能系统、机载智能系统。地面智能系统包括数据预处理、地面知识中心和知识管理调度部分。数据预处理部分利用数据符号化、标准化实现航路规划任务的形式化描述和规范化处理。经处理后的航路规划任务形成规则库、模型库、目标库、地形库、载荷库和威胁库中的元素，存储在地面知识中心中。针对航路规划过程中对地形、载荷、目标、威胁的需求，知识管理模块管理和调度对应的元素提供支持。规则调度和模型调度模块利用规则和模型，规划出航路，利用知识管理调度部分中的知识输出模块，将对应规则、模型和航路提供给机载智能系统。知识管理调度部分中的规则训练和模型训练部分针对实时航路规划中新出现的地形、目标、威胁等信息，利用规则生成、规则合并和规则简化实现规则库的更新，利用迁移学习、监督学习和非监督学习实现模型库的更新。机载智能系统包括实时信息采集、机载知识库、机载推理引擎、机载推理引擎配置和实时任务调度部分。实时信息采集部分利用机载传感器，获取航路规划所需要的无人机位置、姿态、载荷、传感器参数信息，发送给机载知识库进行存储、管理和调度。机载知识库分别将上述信息存储在地形库、载荷库、目标库和威胁库中，并将这些信息发送回地面知识中心进行知识的更新与演化。经地面智能系统中知识管理调度部分训练后的新规则和新模型，更新到机载知识库中的规则库和模型库中。机载推理引擎，根据航路规划中对规则推理和模型推理的需求，分别提供规则推理和模型推理，并在应对航路规划特殊情况时，将规则推理和模型推理协同使用，提供混合推理。机载推理引擎配置首先根据航路预先规划的结果，进行静态配置，并在无人机航路规划过程中，利用动态底层重构实现模型的动态配置，利用动态软重构实现规则的动态配置。实时任务调度部分则对航路规划过程中的航路规划指令和任务目标指令进行任务抽象建模和优化目标描述，形成抽象模型和优化目标，提供给机载知识库和机载推理引擎。

具体实现多机协同无人自主航路规划任务的步骤如下：

步骤1接收决策问题及约束:机载智能系统获取航路规划的任务及约束，缓存到存储器中，并将所需知识存储在机载知识库中，然后根据任务目标规划出初始航路。

步骤2数据采集和预处理：无人机在按照预先规划的航路进行飞行时，会实时进行数据采集和预处理。当无人机需要转弯或在既定航路上突发障碍物时，无人机实时采集相关数据并进行知识化表示和规范化处理后作为推理引擎的输入，并将这些数据通过无线数据链传输到地面智能系统，由地面知识中心进行处理并对相关的推理模型进行优化训练后将模型参数反馈给机载推理引擎。

步骤3推理机模型及资源配置：根据任务规划和任务环境对推理引擎进行配置，根据自主任务目标、场景特性以及平台自身的状态特点，对场景进行综合评估，对决策问题进行分析归类，结合从地面智能系统反馈回来的结果，选择合适的推理机模型，确定其所需的资源。

步骤4推理决策：根据推理引擎的输入和所选推理机模型，根据多机编队飞行的特性，首先规划出长机航路，获得长机航路后，再规划僚机航路；在编队航路基础上，针对转弯处的情况，应用时间协同机制，保证机群在转弯处保持编队队形；对需要编队解散的特殊情况，对需要离开编队的僚机单独构建单机航路规划模型，保证其在安全状态下能够重新回到编队中。

步骤5知识中心的更新与演化：面对实时自主任务，知识系统对场景实时感知的环境信息和任务数据进行在线输入和处理，形成知识，并与知识中心中的已有知识进行融合，实现知识的更新、演化、去冗余,完成知识的在线学习过程；知识中心对实施自主任务提供直接的知识输出、规则支持、模型支持等，并针对知识的更新和演化，进行规则的推演和模型的优化，完成知识的自主学习过程。

Claims (7)

1.一种空地一体的无人智能决策方法，其特征在于：包括空地协同的工作模式，基于知识中心的知识构建、演进和使用，规则推理与模型推理的协同推理引擎；

具体有如下步骤：

步骤1：接收决策问题及约束，即：机载智能系统从智能体决策者问题处理系统获得要解决的决策问题及约束要求，并将其缓存到工作存储器，同时从地面智能系统的知识中心中获取与本次任务相关的知识存储在机载知识库中；

步骤2：数据采集和预处理，即：机载智能系统实时采集数据，对自主任务环境进行识别与感知，对场景中的任务目标和标志性目标进行检测与识别，对自身状态进行感知与监控，并对这些数据进行知识化表示和规范化处理后作为机载推理引擎的输入，必要时将这些数据通过无线数据链传输到地面，由地面知识中心进行处理并对相关的推理模型进行优化训练，再将优化后的模型参数反馈给机载推理引擎；

步骤3：推理机模型及资源配置，即：根据任务规划和环境，推理引擎实现静态配置和动态配置的自由进行切换，根据自主任务目标、场景特性以及平台自身的状态特点，通过对决策问题的分析归类，选择合适的推理机模型，确定其所需的资源；

步骤4：推理决策，即：机载智能系统根据推理引擎的输入，智能选择推理过程，在约束的时间范围内，当自主决策结果确定有效时，根据自主决策的结果调动自身的载荷等资源，实现自主行为,当无法得到有效推理结果时给出结论或建议；

步骤5：知识中心的更新与演化，包括在线学习和自主学习过程，其中，在线学习模型包括发展型神经网络增强学习模型、知识迁移学习SVM模型、基于神经网络的知识规则抽取模型和集成神经网络模型等，自主学习模型包括基于发展型神经网络学习实现知识库的演化发展模型、基于有色Petri网CPN的知识库自动验证模型、基于测试案例集的知识库异常自动消解模型、知识库的测试与评价模型等。

2.根据权利要求1所述的空地一体的无人智能决策方法，其特征在于,步骤1中所述的知识中心指地面智能系统中的地面知识中心,其处理的知识除了包含场景地形数据、历史任务数据、专家经验等常规知识外，还包括规则库、模型库、方法库等推理决策算法知识，是多种类型的知识的结合体。

3.根据权利要求1所述的空地一体的无人智能决策方法，其特征在于,步骤1中所述的机载知识库指机载智能系统中的机载知识库，与地面知识中心类似，机载知识库同样包含地形库、威胁库、目标库、载荷库、规则库、模型库等，机载知识库的知识由地面知识中心提供，只存储和管理与本次任务相关的知识，它的每个知识库都是地面知识中心对应知识库的一个子集。

4.根据权利要求1所述的空地一体的无人智能决策方法，其特征在于,步骤2中所述的数据采集主要指对环境场景的理解、对战场中各类目标的检测与识别、以及对目标的跟踪与意图理解等等,其本质是对无人机实时获取的可视信息进行视觉处理，利用深度学习技术，采用统一的端到端卷积神经网络，实现无人环境感知与建模优化。

5.根据权利要求1所述的空地一体的无人智能决策方法，其特征在于,步骤3中所述的推理引擎的静态配置指机载智能系统根据事先的任务规划结果，结合不同机器学习算法对计算资源和计算实时性的不同要求，对推理引擎进行配置。

6.根据权利要求1所述的空地一体的无人智能决策方法，其特征在于,步骤3中所述的动态配置指机载智能系统面对高动态的复杂任务环境，推理引擎通过动态重构实现智能推理算法的在线变换。

7.根据权利要求1所述的空地一体的无人智能决策方法，其特征在于,步骤4中所述的推理过程包括规则推理和模型推理，规则推理以专家系统规则推理为核心架构，依据知识库和规则库进行推理，模型推理包括概率模型、模糊集模型、神经网络模型等，依据各模型进行推理，当推理引擎的输入条件明确，推理规则明晰时，使用规则推理模型进行推理，当推理条件不明晰，或规则推理模型没有足够的规则对所提出的问题进行推理时，推理引擎对推理条件或规则进行样本转化，作为模型推理的输入，启动模型推理。