CN108983636A - 人机智能共生平台系统 - Google Patents

Abstract

本发明公开了一种人机智能共生平台系统，包括多模态交互系统、数据处理中枢平台、人工智能算法平台和仿真系统，多模态交互系统包括KATVR模块、语音模块、眼动模块、手势模块和脑电模块，数据处理中枢平台包括交互对接模块、AI对接模块、指令融合模块和仿真环境对接模块。本发明提供的人机智能共生平台系统利用相对高度的人工智能系统自主执行任务的同时，由人类选择交由机器自主控制还是由人类进行控制，从而对双方的决策结果进行融合，以达成机器学习人，人学习机器的人机智能共生目的。

Description

人机智能共生平台系统

技术领域

本发明属于人工智能及智能博弈对抗的技术领域，特别涉及一种人机智能共生平台系统。

背景技术

人机交互技术领域热点技术的应用潜力已经开始展现，比如智能手机配备的地理空间跟踪技术，应用于可穿戴式计算机、隐身技术、浸入式游戏等的动作识别技术，应用于虚拟现实、遥控机器人及远程医疗等的触觉交互技术，应用于呼叫路由、家庭自动化及语音拨号等场合的语音识别技术，对于有语言障碍的人士的无声语音识别，应用于广告、网站、产品目录、杂志效用测试的眼动跟踪技术，针对有语言和行动障碍人开发的“意念轮椅”采用的基于脑电波的人机界面技术等。

随着人工智能领域的发展，机器学习的应用领域越来越广泛，能够针对相关情景和领域进行学习并为人类提供辅助决策功能；各种传感器的精度和实用性也不断提升，能够从包括眼动，语音，手势，脑电等方面获取信息。但是现有的一些人工智能和传感器相结合的平台所处理的情景都相对简单，且其系统都对应用的环境有着一定程度的针对性，当前缺少一个能够综合多模态交互技术、人工智能技术的包括了多种环境在内的综合性平台。

除此之外，在多种任务执行情境中，人类控制机器人，由机器人执行任务的模式也开始被逐渐地应用，但是此类机器人多只具备最低程度的智能甚至不具备智能，因此决策全权交由人类执行，但是随着机器人的数量增多、任务变得更为复杂，少量人类控制多个机器人执行复杂任务的精度、效率都会下降，将会无法满足在多种类复杂任务下应用机器人，解放人类生产力的需求。

发明内容

本发明的目的在于提供一种人机智能共生平台系统，利用相对高度的人工智能系统自主执行任务的同时，由人类选择交由机器自主控制还是由人类进行控制，从而对双方的决策结果进行融合，以达成机器学习人，人学习机器的人机智能共生目的。

本发明采用如下技术方案：

一种人机智能共生平台系统，包括：

多模态交互系统，通过异构的交互硬件设备采集数据，对数据进行分析处理，得到交互信号，输出多模态交互信息并发送至数据处理中枢平台；

数据处理中枢平台，接收来自多模态交互系统的多模态交互信息并翻译后生成指挥命令；接收人工智能算法平台输出的AI实体控制指令与分配结果；将AI实体控制指令与分配结果分别和指挥命令进行筛选、综合与融合，形成对仿真系统内实体的控制指令，并发送至仿真系统；同时以一定频率接收仿真系统回传的仿真环境数据，并发送至人工智能算法平台；

人工智能算法平台，接收数据处理中枢回传的仿真系统环境数据进行AI模型训练；接收数据处理中枢回传的仿真系统环境数据，用训练完成后的AI模型输出AI实体控制指令与分配结果并发送至数据处理中枢；

仿真系统，接收来自数据处理中枢平台的控制指令，并作出相应的控制，并进行虚拟现实形式的可视化显示人机交互的结果；输出仿真环境数据并发送至数据处理中枢。仿真系统可以模拟人类在实际场景中的身临其境感和任务的参与感，便于观察与决策。

进一步的，人工智能算法平台相对独立，集成了多种算法用以对不同算法的效果进行实验等，其中算法包括对抗算法，博弈算法，态势感知算法及仿人学习算法；上述算法以不同的方式和目的进行训练，实现不同的功能。数据处理中枢平台，用于人工智能算法平台和仿真系统的对接；不同的算法通过数据处理中枢平台链接到仿真系统中不同的仿真环境。

进一步的，所述多模态交互系统包括：

KATVR模块，包括KATVR设备和KATVR数据处理软件，采集人物朝向、移动速度并处理，用于输出KATVR交互信号；

语音模块，包括语音信号采集设备和语音识别软件，采集语音数据并处理，用于输出语音交互信号；

眼动模块，包括眼动追踪设备和眼动识别软件，采集眼动数据并处理，用于输出眼动交互信号；

手势模块，包括Myo臂带设备和手势识别软件，采集手臂肌肉电信号数据并处理，用于输出手势交互信号；

脑电模块，包括脑电数据采集设备和脑电识别软件，采集脑电数据并处理，用于输出脑电交互信号。

所述多模态交互系统输出的，多模态交互信息包括KATVR交互信号；所述多模态交互系统同时还包括语音交互信号、眼动交互信号或手势交互信号中的一种或至少两种的组合，或同时还包括脑电交互信号。

所述的多模态交互系统，可以从人类用户的手势、眼睛、语言、自然状态等信息中采集多模态的交互数据，并通过对应的软件解析、识别获得人类用户的交互意图及指令数据，输出多模态交互信息，并发送至数据处理中枢平台。

进一步的，所述脑电数据，用于检测咬肌的运动，作为指令确认的用途；手臂肌肉电信号数据，用于检测手部动作，形成不同的控制指令；语音数据，用于形成含有语义不可简单分类的控制指令；眼动数据，用于形成包括选中在内的选择指令；人物朝向、移动速度，用于控制代表用户的仿真环境中的虚拟实体。

进一步的，所述数据处理中枢平台包括：

交互对接模块，对接收到的多模态交互信息进行筛选、整合，翻译后生成指挥命令，并发送至指令融合模块；

AI对接模块，用以对接人工智能算法平台，接收人工智能算法平台输出的AI实体控制指令与分配结果，发送至指令融合模块；接收仿真环境对接模块传递上来的仿真环境数据，并发送至人工智能算法平台中；

指令融合模块，将实体控制指令和分配结果分别与指挥命令进行筛选、综合与融合，形成对仿真系统内实体的控制指令，并发送至仿真环境模块；

仿真环境对接模块，作为下层模块与仿真系统对接，将控制指令发送至仿真环境当中；以一定的频率接收仿真系统的仿真环境数据，并发送至AI对接模块中。

所述指挥指令包括用户实体控制指令，还包括决策确认指令或实体控制指令。所述控制命令选自队形选择指令、目标选择指令或语言命令指令中的一种或至少两种的组合。

所述用户实体控制指令，是指对仿真环境内代表用户虚拟实体的控制命令；所述决策确认指令是指对人工智能算法平台输出的AI指令(实体控制指令或分配结果)的确认指令，实现人工智能算法平台控制仿真系统内的虚拟实体；所述实体控制指令是指不确认并覆盖AI指令(AI实体控制指令或分配结果)的人类用户的控制指令，实现人类用户控制仿真系统内的除用户虚拟实体外的其他虚拟实体。

所述用户实体控制指令是交互对接模块对多模态交互信息中的人物朝向、移动速度(KATVR信号)翻译后生成的控制代表用户实体的仿真环境内虚拟实体的命令，并与VR环境进行交互。

所述决策确认指令是交互对接模块对多模态交互信息中的脑电信号的命令识别结果的确认工作，确认即翻译后生成决策确认命令。

所述队形选择指令是交互对接模块对多模态交互信息中的手势交互信号翻译后生成的对仿真环境内虚拟实体的不同队形命令，其中，不同的手势代表不同的队形。

所述目标选择指令是交互对接模块对多模态交互信息中的眼动交互信号翻译后生成的对仿真环境内虚拟实体进行选择的命令。

所述语音命令指令是交互对接模块对多模态交互信息中的语音交互信号翻译后生成的对不同的仿真环境内实体进行移动控制的命令。

所述目标选择指令是交互对接模块对多模态交互信息中的眼动交互信号翻译后生成对仿真环境内虚拟实体进行选择的命令。

进一步的，在AI对接模块中，将接收的AI实体控制指令发送至指令融合模块；将分配结果应用分配算法计算仿真系统内各虚拟实体的目的地，并翻译生成移动控制指令，并发送至指令融合模块。所述AI实体控制指令和移动控制指令是指对除用户虚拟实体之外的其他虚拟实体的控制指令。

对于人工智能算法平台，数据处理中枢中的AI对接模块提供了人工智能算法平台的运行环境，确保采用多种人工智能算法的人工智能算法平台能够在该数据处理中枢上正确无误地运行。

进一步的，在指令融合模块中，对接收到的用户实体控制指令直接发送至仿真环境对接模块；对接收到的决策确认指令或实体控制指令分别与接收到的AI实体控制指令和移动控制指令融合，融合后的指令与用户实体控制指令组成控制指令并发送至仿真环境对接模块。

其中，融合的规则为：决策确认指令与AI实体控制指令融合后输出AI实体控制指令；决策确认指令和移动控制指令融合后输出移动控制指令；实体控制指令与AI实体控制指令融合后输出实体控制指令；实体控制指令与移动控制指令融合后输出实体控制指令。则，所述指令融合模块输出的控制指令为用户控制指令和实体控制指令组成的控制指令、或用户控制指令和AI实体控制指令组成的控制指令、或用户控制指令和实体控制指令组成的控制指令。

进一步的，在仿真环境对接模块中，接收来自于指令融合模块输出的控制指令，并发送至仿真系统对用户虚拟实体及其他虚拟实体进行控制；仿真环境对接模块对接收的仿真环境数据进行解码，分解成包括仿真环境内各虚拟实体位置、状态的数据后发送至AI对接模块。其中，控制指令包括用户实体控制指令，同时还包括AI实体控制指令或移动控制指令或实体控制指令。

进一步的，所述仿真系统为可视化可交互的虚拟现实仿真系统，包含若干个可选择的三维虚拟环境，以虚拟现实的方式对仿真环境进行可视化显示；其中，用户通过VR设备与仿真环境中代表用户的虚拟实体进行交互，或通过数据处理中枢对仿真环境中的其他虚拟实体进行控制。

从细节上来说，该仿真系统包含了以下几个主要特征：①多个仿真场景，且可以通过配置文件进行选择；②场景内的虚拟实体分为2个类别，不同类别的虚拟实体之间会发生战斗，如代表用户的虚拟实体、除用户外的虚拟实体；③双方各有且只有1个用户通过VR设备介入场景当中。

进一步的，所述仿真系统包括2个仿真场景。

进一步的，所述仿真系统包括视景呈现模块、物理引擎应用、场景机制运算模块。

进一步的，所述仿真系统包括若干个仿真环境，可以对人工智能算法平台中的不同算法进行训练。

进一步的，所述可视化可交互的虚拟现实仿真系统是能以虚拟现实方式呈现不同的仿真环境，为了体现人机智能之间共生的理念，用户会在仿真环境中进行漫游，同时能够对人工智能算法平台的决策进行干涉，以达到互相帮助、成长的共生目的。

人机智能共生，其含义为人类智能与机器智能的融合，在决策混合的过程中，机器与人互相学习，共同进步。

与现有技术相比，本发明的有益效果在于：

本发明提供的人机智能共生平台可应用于人和机器协同执行的任务系统，当前主要执行双方对抗的任务，其中对于任意一方，机器为任务执行主体，并提供给人行动的策略；而人作为任务决策主体，结合机器的策略建议进行决策。

本发明提供的人机智能共生平台融合了多模态交互技术、人工智能技术、人机智能共生技术，人工智能通过对任务执行环境的实时感知分析，提供人类相应的决策建议，人类则根据建议选择采用与否以对机器进行控制，控制指令会通过眼动追踪、手势检测、语音识别等自然交互方式进行翻译与传递。即利用相对高度的人工智能系统自主执行任务的同时，由人类选择交由机器自主控制还是由人类进行控制，从而对双方的决策结果进行融合，以达成机器学习人，人学习机器的人机智能共生目的。

附图说明

图1为本发明提供的人机智能共生平台的架构图与数据流图；

图2为多模态交互系统的工作流程图；

图3为数据处理中枢平台中交互对接模块的工作流程图；

图4为数据处理中枢平台的工作流程图；

图5为数据处理中枢中算法根据环境数据输出动作的工作流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图1所示，一种人机智能共生平台系统，包括：

(1)多模态交互系统，通过异构的交互硬件设备采集数据，对数据进行分析处理，得到交互信号，输出多模态交互信息并发送至数据处理中枢平台；其中，多模态交互系统包括：

(1-1)KATVR模块，包括KATVR设备和KATVR数据处理软件，采集人物朝向、移动速度并处理，用于输出KATVR交互信号；

(1-2)语音模块，包括语音信号采集设备和语音识别软件，采集语音数据并处理，用于输出语音交互信号；

(1-3)眼动模块，包括眼动追踪设备和眼动识别软件，采集眼动数据并处理，用于输出眼动交互信号；

(1-4)手势模块，包括Myo臂带设备和手势识别软件，采集手臂肌肉电信号数据并处理，用于输出手势交互信号；

(1-5)脑电模块，包括脑电数据采集设备和脑电识别软件，采集脑电数据并处理，用于输出脑电交互信号。

所述多模态交互系统输出的多模态交互信息包括KATVR交互信号；同时还包括语音交互信号、眼动交互信号或手势交互信号中的一种或至少两种的组合，或同时还包括脑电交互信号。

所述的多模态交互系统，可以从人类用户的手势、眼睛、语言、自然状态等信息中采集多模态的交互数据，并通过对应的软件解析、识别获得人类用户的交互意图及指令数据，输出多模态交互信息，并发送至数据处理中枢平台。

所述脑电数据，用于检测咬肌的运动，作为指令确认的用途；手臂肌肉电信号数据，用于检测手部动作，形成不同的控制指令；语音数据，用于形成含有语义不可简单分类的控制指令；眼动数据，用于形成包括选中在内的选择指令；人物朝向、移动速度，用于控制代表用户的仿真环境中的虚拟实体。

如图2所示，多模态交互系统的工作流程为：采集数据、数据处理和将多模态交互信息发送至数据处理中枢。

语音模块的工作流程：首先通过语音信号采集设备的传感器进行数据获取，然后语音识别程序执行，去识别是否发现关键词等信息，然后将识别后的结果发送出去判断其识别的结果是否准确，如果准确的话就确认指令，不准确的话就再进行下一轮数据获取。确认指令后，输出语言命令指令，语音模块的该进程结束。

眼动模块的工作流程：首先通过眼动追踪设备的传感器进行数据获取，接下来先会去判断一下该眼动操作是否为有效操作，如果不是的话继续进行数据获取，如果是有效操作的话接下来眼动识别程序执行，然后将识别后的结果发送出去判断其识别的结果是否准确，如果准确的话就确认指令，不准确的话就再回去进行数据获取。确认指令后，输出目标选择指令，眼动模块的该进程结束。

手势模块的工作流程：首先通过Myo臂带设备的传感器进行数据获取，接下来先会去判断一下该手势操作是否为有效操作，如果不是的话继续进行数据获取，如果是有效操作的话接下来手势识别程序执行，然后将识别后的结果发送出去判断其识别的结果是否准确，如果准确的话就确认指令，不准确的话就再回去进行数据获取。确认指令后，输出队形选择指令，手势模块的该进程结束。

脑电模块的工作流程：首先通过脑电数据采集设备的传感器进行数据获取，然后系统将通过筛选，过滤干扰性，接下来语音识别程序执行，然后将识别后的结果发送出去判断其识别的结果是否准确，如果准确的话就确认指令，不准确的话就再进行下一轮数据获取。确认指令后，输出决策确认指令，脑电模块的该进程结束。

KATVR模块的工作流程：首先通过KATVR室内移动设备的传感器进行数据获取，经数据处理软件处理后输出用户实体控制指令。

其中，在多模态交互系统中，同时工作的模块包括KATVR模块，同时工作的模块还包括脑电模块，或同时工作的模块还包括语音模块、眼动模块或手势模块中的一种或至少两种的组合。

(2)数据处理中枢平台，接收来自多模态交互系统的多模态交互信息并翻译后生成指挥命令；接收人工智能算法平台输出的AI实体控制指令与分配结果；将AI实体控制指令与分配结果分别和指挥命令进行筛选、综合与融合，形成对仿真系统内虚拟实体的控制指令，发送至仿真系统；同时以一定频率接收仿真系统回传的仿真环境数据，并发送至人工智能算法平台；

所述数据处理中枢平台包括：

(2-1)交互对接模块，对接收到的多模态交互信息进行筛选、整合，翻译后生成指挥命令，并发送至指令融合模块，其工作流程如图3所示；

所述指挥指令包括用户实体控制指令，还包括决策确认指令或实体控制指令。所述控制命令选自队形选择指令、目标选择指令或语言命令指令中的一种或至少两种的组合。

所述用户实体控制指令，是指对仿真环境内虚拟中用户实体的控制命令；所述决策确认指令是指对人工智能算法平台输出的AI指令(实体控制指令或分配结果)的确认指令，实现人工智能算法平台对仿真环境内虚拟实体的控制；所述实体控制指令是指不确认并覆盖AI指令(AI实体控制指令或分配结果)的人类用户的控制指令，实现人类用户对仿真环境内虚拟实体的控制。

所述用户实体控制指令是交互对接模块对多模态交互信息中的人物朝向、移动速度(KATVR信号)翻译后生成的控制代表用户实体的仿真环境内虚拟实体的命令，并与VR环境进行交互。

所述决策确认指令是交互对接模块对多模态交互信息中的脑电信号的命令识别结果的确认工作，确认即翻译后生成决策确认命令。

所述队形选择指令是交互对接模块对多模态交互信息中的手势交互信号翻译后生成的对仿真环境内虚拟实体的不同队形命令，其中，不同的手势代表不同的队形；所述目标选择指令是交互对接模块对多模态交互信息中的眼动交互信号翻译后生成的对仿真环境内虚拟实体进行选择的命令；所述语音命令指令是交互对接模块对多模态交互信息中的语音交互信号翻译后生成的对不同的仿真环境内虚拟实体进行移动控制的命令；所述目标选择指令是交互对接模块对多模态交互信息中的眼动交互信号翻译后生成对仿真环境内虚拟实体进行选择的命令。

(2-2)AI对接模块，用以对接人工智能算法平台，接收人工智能算法平台的实体控制指令与分配结果，并发送至指令融合模块；接收仿真环境对接模块传递上来的仿真环境数据，发送至人工智能算法平台中；

在AI对接模块中，将接收的AI实体控制指令直接发送至指令融合模块；将分配结果应用分配算法计算仿真系统内各虚拟实体的目的地，并翻译生成移动控制指令，并发送至指令融合模块。所述AI实体控制指令和移动控制指令是指对除用户实体之外的其他虚拟实体的控制指令。

数据处理中枢中的AI对接模块提供了人工智能算法平台的运行环境，确保采用多种人工智能算法的人工智能算法平台能够在该数据处理中枢上正确无误地运行。

(2-3)指令融合模块，将实体控制指令和分配结果分别与指挥命令进行筛选、综合与融合，形成对仿真系统内虚拟实体的控制指令，发送至仿真环境模块；

在指令融合模块中，将接收到的用户实体控制指令直接发送至仿真环境对接模块；对接收到的决策确认指令或实体控制指令与接收到的AI实体控制指令和移动控制指令分别融合，融合后的指令与用户实体控制指令组成控制指令并发送至仿真环境对接模块。

其中，融合的规则为：决策确认指令与AI实体控制指令融合后输出AI实体控制指令；决策确认指令和移动控制指令融合后输出移动控制指令；实体控制指令与AI实体控制指令融合后输出实体控制指令；实体控制指令与AI实体控制指令融合后输出实体控制指令。则，所述指令融合模块输出的控制指令为用户控制指令和实体控制指令组成的控制指令、或用户控制指令和AI实体控制指令组成的控制指令、或用户控制指令和实体控制指令组成的控制指令。

(2-4)仿真环境对接模块，作为下层模块与仿真系统对接，将控制指令发送至仿真环境当中；以一定的频率接收仿真系统的仿真环境数据，并发送至AI对接模块中。

在仿真环境对接模块中，接收来自于指令融合模块输出的用户实体控制指令，同时接收来自于指令融合模块输出的AI实体控制指令或移动控制指令或实体控制指令，并发送至仿真系统对用户虚拟实体及其他虚拟实体进行控制；仿真环境对接模块对接收的仿真环境数据进行解码，分解成包括仿真环境内各虚拟实体位置、状态的数据后发送至AI对接模块。

如图4所示，数据处理中枢平台的工作流程为：

首先新的一轮工作开始时，要进行环境的初始化，之后建立通信线程，AI对接模块和交互对接模块分别实时获取仿真环境数据和交互硬件设备采集的数据，并且对仿真环境数据进行保存；在拿到仿真环境数据后，AI对接模块中的算法根据仿真环境数据计算出来输出动作，之后把算法输出出来的动作转化为可执行的AI指令，即，AI实体控制指令和分配结果；交互对接模块将多模态交互信息翻译成指挥命令，包括决策确认指令(和实体控制指令，在这一步，因为人类的优先级更高，决策确认指令对AI指令进行确认或不确认后直接输出实体控制指令，将AI指令或实体控制指令转为可执行的AI指令，根据可执行的AI指令命令机器人去执行动作；然后如果本局未结束，算法继续根据获取的仿真环境数据输出动作，并继续流程；如果本局结束，则初始化环境。

(3)人工智能算法平台，接收数据处理中枢回传的仿真系统环境数据进行AI模型训练；接收数据处理中枢回传的仿真系统环境数据，用训练完成后的AI模型输出实体控制指令与分配结果发送至数据处理中枢。

如图5所示，人工智能算法平台的工作流程为：

在新的一场仿真开始后，先进行环境的初始化(此处工作在仿真系统中进行)，后算法通过对环境中其他虚拟实体位置、血量(即仿真环境数据)的分析，对地图上各可部署点进行优先级计算，根据计算出来的优先级和环境中其他虚拟实体位置、血量计算各可部署点的其他虚拟实体调拨方案(即，分配结果)，最后对调拨后的各虚拟实体位置、血量进行分析，计算出是否进攻，若不进攻，重新进行优先级计算等步骤；若进攻，则切换到微操控制模式，生成AI实体控制命令。等该局结束后，判断该系统是否结束，若不结束，重新对仿真环境进行初始化；若结束，关闭系统。

(4)仿真系统，接收来自数据处理中枢平台的控制指令，并作出相应的控制，并进行虚拟现实形式的可视化显示人机交互的结果；输出仿真环境数据并发送至到数据处理中枢。

所述仿真系统为可视化可交互的虚拟现实仿真系统，包含若干个可选择的三维虚拟环境，以虚拟现实的方式对仿真环境进行可视化显示；其中，用户通过VR设备与仿真环境中代表用户的虚拟实体进行交互，或通过数据处理中枢对仿真环境中的其他虚拟实体进行控制。

实施例1

人机智能共生平台系统的具体实施方案为：使用运行Windows操作系统的计算机，通过仿真系统实现情境呈现。另一台或者本地的电脑(操作系统不限，需安装python)通过局域网络实现联机控制；仿真系统以虚拟现实方式呈现系统内的仿真环境，界面中包括了环境中各人工智能虚拟实体的状态信息与用户虚拟实体自身信息，界面会以VR的交互方式进行显示与关闭。

多模态交互系统的具体实施方案为：使用脑电采集设备采集与处理咬肌的松弛状态，用脑电数据处理软件处理脑电数据，输出脑电交互信号；使用Myo臂带获取用户的肌肉电信号数据，用Myo臂带手势识别软件处理肌肉电信号数据输出手势交互信号；使用青研眼动追踪设备采集眼动数据，用眼动识别软件处理眼动数据输出眼动交互信号；使用科大讯飞软件结合麦克风收集与处理语音数据，输出语音交互信号；使用KATVR设备采集用户的包括朝向、运动状态在内的数据(使用多种专用传感器)，及KATVR设备识别软件处理KATVR输出KATVR交互信号。在采集数据后，所述多模态交互系统构建通信系统，与下层的数据处理中枢进行通信。

人工智能算法平台的具体实施方案为：python向算法端提供gym格式的接口，当算法调用step方法时，平台根据算法输出的动作值进行分析，并将其翻译成调拨方式(即，分配结果)或者AI实体控制指令，发送至数据处理中枢的AI对接模块；

数据处理中枢平台包括交互对接模块、AI对接模块、指令融合模块和仿真环境对接模块，各模块的具体实施方案如下：

交互对接模块的具体实施方案为：使用python作为交互对接模块编程语言，在python端建立socket协议server端，通过5个端口分别接收眼动、脑电、手势、语音或KATVR在相应设备上处理后转化成的bytes格式字符串数据，并对各字符串数据按照其内容建立和控制指令之间的映射，形成用户实体控制指令，同时还形成决策确认指令或实体控制指令；

仿真环境对接模块的具体实施方案为：在仿真平台建立socket协议server端，python代码中的_get_game_variable线程以每秒10次的频率去向仿真平台请求获得仍存活的人员列表units，并根据units向仿真平台请求获得相应人员的所有信息。然后整理成包含所有人信息的states和按照队伍划分的team_member。对于发送指令方面，将从指令融合模块得到的用户实体控制命令和虚拟实体控制指令通过socket发送至仿真系统；

AI对接模块的具体实施方案为：接收人工智能算法平台发送的调拨方式或AI实体控制指令，若是调拨方式，则根据调拨的情况和仿真环境数据计算各实体的移动方位，形成移动控制指令；若是AI实体控制指令，则不作处理。将形成的移动控制指令或AI实体控制指令发送至指令融合模块；

指令融合模块的具体实施方案为：从AI对接模块处接收移动控制指令或AI实体控制指令，从交互对接模块接收用户实体控制指令和决策确认指令或实体控制指令，首先直接将用户实体控制指令发送至仿真对接模块，后根据前述指令融合规则对AI对接模块指令和交互对接模块指令进行融合，将融合后的实体控制指令发送至仿真对接模块。

所述仿真系统为可视化可交互的虚拟现实仿真系统，其实施方案为：使用运行Windows操作系统的计算机，通过Unity3D软件对仿真环境进行视景构建，仿真环境物理引擎构建，环境内实体控制系统构建，人机交互界面构建，环境信息通信模块构建等主要工作，应用HTC Vive设备和软件包进行场景VR化工作，最后运行构建出的仿真系统软件，以虚拟现实的方式呈现不同视景的仿真环境，并与上层的数据处理中枢进行对接。

Claims (9)

1.一种人机智能共生平台系统，包括：

多模态交互系统，通过异构的交互硬件设备采集数据，对数据进行分析处理，得到交互信号，输出多模态交互信息并发送至数据处理中枢平台；

数据处理中枢平台，接收来自多模态交互系统的多模态交互信息并翻译后生成指挥命令；接收人工智能算法平台输出的AI实体控制指令与分配结果；将AI实体控制指令与分配结果分别和指挥命令进行筛选、综合与融合，形成对仿真系统内实体的控制指令，并发送至仿真系统；同时以一定频率接收仿真系统回传的仿真环境数据，并发送至人工智能算法平台；

人工智能算法平台，接收数据处理中枢回传的仿真系统环境数据进行AI模型训练；接收数据处理中枢回传的仿真系统环境数据，用训练完成后的AI模型输出AI实体控制指令与分配结果并发送至数据处理中枢；

仿真系统，接收来自数据处理中枢平台的控制指令，并作出相应的控制，并进行虚拟现实形式的可视化显示人机交互的结果；输出仿真环境数据到并发送至数据处理中枢。

2.根据权利要求1所述的人机智能共生平台系统，其特征在于，所述多模态交互系统包括：

KATVR模块，包括KATVR设备和KATVR数据处理软件，采集人物朝向、移动速度并处理，用于输出KATVR交互信号；

语音模块，包括语音信号采集设备和语音识别软件，采集语音数据并处理，用于输出语音交互信号；

眼动模块，包括眼动追踪设备和眼动识别软件，采集眼动数据并处理，用于输出眼动交互信号；

手势模块，包括Myo臂带设备和手势识别软件，采集手臂肌肉电信号数据并处理，用于输出手势交互信号；

脑电模块，包括脑电数据采集设备和脑电识别软件，采集脑电数据并处理，用于输出脑电交互信号。

3.根据权利要求1所述的人机智能共生平台系统，其特征在于，所述多模态交互系统输出的多模态交互信息包括KATVR交互信号；还包括语音交互信号、眼动交互信号或手势交互信号中的一种或至少两种的组合，或还包括脑电交互信号。

4.根据权利要求1所述的人机智能共生平台系统，其特征在于，所述数据处理中枢平台包括：

交互对接模块，对接收到的多模态交互信息进行筛选、整合，翻译后生成指挥命令，并发送至指令融合模块；

AI对接模块，用以对接人工智能算法平台，接收人工智能算法平台输出的AI实体控制指令与分配结果，并发送至指令融合模块；接收仿真环境对接模块传递上来的仿真环境数据，并发送至人工智能算法平台中；

指令融合模块，将AI实体控制指令和分配结果分别与指挥命令进行筛选、综合与融合，形成对仿真系统内实体的控制指令，并发送至仿真环境模块；

仿真环境对接模块，作为下层模块与仿真系统对接，将控制指令发送至仿真环境当中；以一定的频率接收仿真系统的仿真环境数据，并发送至AI对接模块中。

5.根据权利要求4所述的人机智能共生平台系统，其特征在于，所述指挥指令包括用户实体控制指令，还包括决策确认指令或实体控制指令；所述实体控制命令选自队形选择指令、目标选择指令或语言命令指令中的一种或至少两种的组合。

6.根据权利要求4所述的人机智能共生平台系统，其特征在于，在AI对接模块中，将接收的AI实体控制指令发送至指令融合模块；将分配结果应用分配算法计算仿真系统内虚拟实体的目的地，并翻译生成移动控制指令，发送至指令融合模块。

7.根据权利要求4所述的人机智能共生平台系统，其特征在于，在指令融合模块中，对接收到的用户实体控制指令直接发送至仿真环境对接模块；对接收到的决策确认指令或实体控制指令与接收到的AI实体控制指令和移动控制指令分别融合，融合后的指令与用户实体控制指令组成控制指令并发送至仿真环境对接模块。

8.根据权利要求4所述的人机智能共生平台系统，其特征在于，在仿真环境对接模块中，接收来自于指令融合模块输出的控制指令，并发送至仿真系统对用户虚拟实体及其他虚拟实体进行控制；仿真环境对接模块对接收的仿真环境数据进行解码，分解成包括仿真环境内各实体位置、状态的数据后发送至AI对接模块。

9.根据权利要求1所述的人机智能共生平台系统，其特征在于，所述仿真系统为可视化可交互的虚拟现实仿真系统，包含若干个可选择的三维虚拟环境，以虚拟现实的方式对仿真环境进行可视化显示；其中，用户通过VR设备与仿真环境中代表用户的虚拟实体进行交互，或通过数据处理中枢对仿真环境中的其他虚拟实体进行控制。