CN113009931A - 一种有人机与无人机混合编队协同控制装置及方法 - Google Patents

Abstract

本发明涉及一种有人机与无人机混合编队协同控制装置及方法。装置包括：AR刺激器、脑电信号采集模块和处理模块；AR刺激器佩戴于指挥者的眼部；AR刺激器用于刺激指挥者生成第一脑电信号或第二脑电信号；脑电信号采集模块用于采集第一脑电信号和第二脑电信号；处理模块用于接收并根据第一脑电信号确定目标的位置，并将目标的位置传输至AR刺激器；处理模块用于在指挥者得到目标的位置后获取更新后的第二脑电信号；处理模块还用于接收并根据更新后的第二脑电信号识别并发送指挥者发出的指令至无人机。采用本发明的装置及方法能够对不确定性和突发性的监测环境进行高动态的协同航路规划。

Description

一种有人机与无人机混合编队协同控制装置及方法

技术领域

本发明涉及有人机与无人机混合编队技术领域，特别是涉及一种有人机与无人机混合编队协同控制装置及方法。

背景技术

有人机与无人机协同控制综合先进的无人机控制技术、传感器技术、通信技术、定位技术以及目标检测技术等，能够大范围获取国土和环境等相关信息并进行实时处理，在环境侦察、目标识别与跟踪、灾害告警、灾情评估方面发挥重要作用。有人机与无人机混合编队协同控制使二者优势互补，是未来环境侦察和监测的重要形式。混合编队可以看成在空间上分离而逻辑上一体的巨型虚拟侦察机，无人机群在有人机外圈飞行，进行环境态势感知、目标识别、目标跟踪和定位等，与有人机通过数据链通信实现信息共享，根据有人机飞行员的指挥控制开展任务，既提高了有人机的生存能力又延伸了无人机的探测距离和作用距离，二者优势互补，能够充分发挥最大综合效能。

但是，在具有高度不确定性和突发性的监测环境下，搜索和跟踪目标也在时刻机动，因此混合编队的协同航路规划具有高动态性，要求飞行员能根据感知结果随机应变迅速决策，所以高动态协同航路规划是协同编队控制的关键。对于有收敛时间限制和拓扑变化情况下的协同编队飞行控制与一致跟踪的方法，虽然有学者在此领域中开展了一些研究工作，取得了一些成果，但距离实际应用相差甚远。

发明内容

本发明的目的是提供一种有人机与无人机混合编队协同控制装置及方法，能够对不确定性和突发性的监测环境进行高动态的协同航路规划。

为实现上述目的，本发明提供了如下方案：

一种有人机与无人机混合编队协同控制装置，包括：

AR刺激器、脑电信号采集模块和处理模块；

所述AR刺激器佩戴于指挥者的眼部；所述AR刺激器用于接收多个无人机拍摄的视频，并将多个所述视频截成图片播放；所述AR刺激器用于当图片中存在目标时刺激所述指挥者生成第一脑电信号；

所述脑电信号采集模块佩戴于指挥者的头部；所述脑电信号采集模块与所述处理模块连接；所述脑电信号采集模块用于采集所述第一脑电信号；

所述处理模块与所述AR刺激器连接；所述处理模块用于接收并根据所述第一脑电信号确定所述目标的位置，并将所述目标的位置传输至所述AR刺激器；

所述AR刺激器上设置有多个信号灯；多个所述信号灯的闪烁频率不同；所述信号灯与控制无人机飞行操作的指令一一对应；所述AR刺激器用于在所述指挥者根据所述目标的位置注视一个所述指令对应的信号灯时刺激所述指挥者生成第二脑电信号；

所述脑电信号采集模块用于采集所述第二脑电信号；

所述处理模块还用于接收并根据所述第二脑电信号识别所述指挥者发出的指令并发送所述指挥者发出的指令至所述无人机。

可选的，所述第一脑电信号为所述指挥者受目标刺激后产生快速序列视觉呈现响应生成的；所述第二脑电信号为所述指挥者受所述信号灯刺激后产生稳态视觉诱发电位响应生成的。

一种有人机与无人机混合编队协同控制方法，所述方法应用于上述的有人机与无人机混合编队协同控制装置，所述方法，包括：

处理模块获取脑电信号采集模块采集的第一脑电信号；所述第一脑电信号是在AR刺激器播放的图片中存在目标时刺激指挥者生成的；

所述处理模块根据所述第一脑电信号确定所述目标的位置，并将所述目标的位置传输至所述AR刺激器；

所述处理模块获取所述脑电信号采集模块采集的第二脑电信号；所述第二脑电信号是所述指挥者根据所述目标的位置确定控制无人机飞行操作的指令后，注视所述指令对应的信号灯生成的；

所述处理模块根据所述第二脑电信号识别并发送所述指挥者发出的指令至所述无人机。

可选的，所述第一脑电信号为所述指挥者受目标刺激后产生快速序列视觉呈现响应生成的；所述第二脑电信号为所述指挥者受所述信号灯刺激后产生稳态视觉诱发电位响应生成的。

可选的，所述处理模块根据所述第一脑电信号确定所述目标的位置，具体包括：

获取参考模板；

将所述第一脑电信号和所述参考模板均输入自适应空时均衡器，得到均衡后的第一脑电信号和均衡后的参考模板；

计算所述均衡后的第一脑电信号和所述均衡后的参考模板的相关统计量；

根据所述相关统计量确定所述第一脑电信号对应的图片是否存在目标；

根据所述第一脑电信号对应的图片确定目标的位置；

其中，

采用如下公式计算所述相关统计量：

式中，

表示相关统计量，

表示均衡后的第一脑电信号，

表示均衡后的参考模板。

可选的，所述根据所述相关统计量确定所述第一脑电信号对应的图片是否存在目标，具体包括：

判断所述相关统计量是否大于第一阈值，得到第一判断结果；

若所述第一判断结果为是，则所述第一脑电信号对应的图片存在目标；

若所述第一判断结果为否，则所述第一脑电信号对应的图片不存在目标。

可选的，所述处理模块根据所述第二脑电信号识别并发送所述指挥者发出的指令，具体包括：

将当前时刻前获取的所述第二脑电信号分割为多个数据窗；

计算所述数据窗中每个所述指令对应的概率统计量，并确定每个所述数据窗中多个所述概率统计量的最小值；所述概率统计量是1减去指令概率生成的；所述指令概率为多个所述指令中的一个指令与所述数据窗对应的指令相同的概率；

根据所述最小值和所述最小值对应的指令，识别所述指挥者发出的指令；发送所述指挥者发出的指令，

其中，

所述最小值的计算公式为：

式中，γ为1个数据窗中多个概率统计量的最小值，X为数据窗内的脑电信号矩阵，

为指令，

为指令概率，Q为指令的数量，q为变量，q＝1,2,...,Q。

可选的，所述根据所述最小值和所述最小值对应的指令，识别所述指挥者发出的指令，具体包括：

获取当前数据窗的最小值；

判断所述当前数据窗的最小值是否大于第二阈值；得到第二判断结果；

若所述第二判断结果为是，则返回步骤“获取第二脑电信号”；

若所述第二判断结果为否，则获取前一数据窗的最小值；

判断所述前一数据窗的最小值是否大于第三阈值；得到第三判断结果；

若所述第三判断结果为是，则返回步骤“获取第二脑电信号”；

若所述第三判断结果为否，则确定第一指令和第二指令，并判断所述第一指令和所述第二指令是否相同，得到第四判断结果；所述第一指令为与所述当前数据窗的最小值对应的指令；所述第二指令为与所述前一数据窗的最小值对应的指令；

若所述第四判断结果为否，则返回步骤“获取第二脑电信号”；

若所述第四判断结果为是，则判断步骤“获取前一数据窗的最小值”的执行次数是否大于或者等于第四阈值，得到第五判断结果；

若第五判断结果为否，则将前一数据窗作为当前数据窗并返回步骤“获取前一数据窗的最小值”；

若第五判断结果为是；则将所述第一指令确定为所述指挥者发出的指令。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供了一种有人机与无人机混合编队协同控制装置及方法，装置包括AR刺激器、脑电信号采集模块和处理模块。本发明通过佩戴于指挥者的眼部的AR刺激器刺激指挥者生成第一脑电信号和第二脑电信号；处理模块用于根据第一脑电信号确定目标的位置，并根据第二脑电信号识别并发送指挥者发出的指令至无人机。本发明提供的有人机与无人机混合编队协同控制装置及方法，通过收集处理指挥者的脑电信号(第一脑电信号和第二脑电信号)，进行目标识别和无人机控制，解放了指挥者的双手，缩短了指挥者脑电信号产生到执行操作的时间，提高了指令下达的准确性，能够对不确定性和突发性的监测环境进行高动态的协同航路规划。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所提供的有人机与无人机混合编队协同控制装置的第一结构示意图；

图2为本发明实施例所提供的有人机与无人机混合编队协同控制装置的第二结构示意图；

图3为本发明实施例所提供的有人机与无人机混合编队协同控制装置的第三结构示意图；

图4为本发明实施例所提供的AR刺激器的结构示意图；图4(a)为本发明实施例所提供的AR刺激器的左视图；图4(b)为本发明实施例所提供的AR刺激器的指令界面显示图；图4(c)为本发明实施例所提供的AR刺激器的主视图；图4(d)为本发明实施例所提供的AR刺激器的目标搜索界面显示图；

图5为本发明实施例所提供的有人机与无人机混合编队协同控制方法的流程图；

图6为本发明实施例所提供的有人机与无人机混合编队协同控制装置的训练流程图；

图7为本发明实施例所提供的RSVP检测算法流程图；

图8为本发明实施例所提供的STE-DW算法流程图。

符号说明：1-AR刺激器；2-脑电信号采集模块；3-处理模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种有人机与无人机混合编队协同控制装置及方法，能够对不确定性和突发性的监测环境进行高动态的协同航路规划。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例所提供的有人机与无人机混合编队协同控制装置的第一结构示意图；图2为本发明实施例所提供的有人机与无人机混合编队协同控制装置的第二结构示意图；图3为本发明实施例所提供的有人机与无人机混合编队协同控制装置的第三结构示意图，图中，目标刺激器为AR(增强现实,AugmentedReality)刺激器。

本发明提供了一种有人机与无人机混合编队协同控制装置，包括AR刺激器1、脑电信号采集模块2和处理模块3。

图4为本发明实施例所提供的AR刺激器的结构示意图；图4(a)为本发明实施例所提供的AR刺激器的左视图；图4(b)为本发明实施例所提供的AR刺激器的指令界面显示图；图4(c)为本发明实施例所提供的AR刺激器的主视图；图4(d)为本发明实施例所提供的AR刺激器的目标搜索界面显示图，如图4所示，AR刺激器1佩戴于指挥者的眼部；AR刺激器1用于接收多个无人机拍摄的视频，并将多个视频截成图片播放；AR刺激器1用于当图片中存在目标时刺激指挥者生成第一脑电信号。

脑电信号采集模块2佩戴于指挥者的头部；脑电信号采集模块2与处理模块3连接；脑电信号采集模块2用于采集第一脑电信号。

处理模块3与AR刺激器1连接；处理模块3用于接收并根据第一脑电信号确定目标的位置，并将目标的位置传输至AR刺激器1。

AR刺激器1上设置有多个信号灯；多个信号灯的闪烁频率不同；信号灯与控制无人机飞行操作的指令一一对应；AR刺激器1用于在指挥者根据目标的位置注视一个指令对应的信号灯时刺激指挥者生成第二脑电信号。

脑电信号采集模块2用于采集第二脑电信号。

处理模块3还用于接收并根据第二脑电信号识别指挥者发出的指令并发送指挥者发出的指令至无人机。

具体的，第一脑电信号为指挥者受目标刺激后产生快速序列视觉呈现响应生成的；第二脑电信号为指挥者受信号灯刺激后产生稳态视觉诱发电位响应生成的。

图5为本发明实施例所提供的有人机与无人机混合编队协同控制方法的流程图，如图5所示，本发明提供了一种有人机与无人机混合编队协同控制方法，该方法应用于上述有人机与无人机混合编队协同控制装置，方法包括：

步骤101：处理模块获取脑电信号采集模块采集的第一脑电信号；第一脑电信号是在AR刺激器播放的图片中存在目标时刺激指挥者生成的。

步骤102：处理模块根据第一脑电信号确定目标的位置，并将目标的位置传输至AR刺激器。

步骤102，具体包括：

获取参考模板。

将第一脑电信号和参考模板均输入自适应空时均衡器，得到均衡后的第一脑电信号和均衡后的参考模板。

计算均衡后的第一脑电信号和均衡后的参考模板的相关统计量。

根据相关统计量确定第一脑电信号对应的图片是否存在目标。

步骤“根据相关统计量确定第一脑电信号对应的图片是否存在目标”具体包括判断相关统计量是否大于第一阈值，得到第一判断结果；若第一判断结果为是，则第一脑电信号对应的图片存在目标；若第一判断结果为否，则第一脑电信号对应的图片不存在目标。

根据第一脑电信号对应的图片确定目标的位置。

其中，

采用如下公式计算相关统计量：

式中，

表示相关统计量，

表示均衡后的第一脑电信号，

表示均衡后的参考模板。

步骤103：处理模块获取脑电信号采集模块采集的第二脑电信号；第二脑电信号是指挥者根据目标的位置确定控制无人机飞行操作的指令后，注视指令对应的信号灯生成的。

步骤104：根据第二脑电信号识别并发送指挥者发出的指令至无人机。

步骤104，具体包括：

将当前时刻前获取的第二脑电信号分割为多个数据窗。

计算数据窗中每个指令对应的概率统计量，并确定每个数据窗中多个概率统计量的最小值；概率统计量是1减去指令概率生成的；指令概率为多个指令中的一个指令与数据窗对应的指令相同的概率。

根据最小值和最小值对应的指令，识别指挥者发出的指令。

发送指挥者发出的指令。

其中，

最小值的计算公式为：

式中，γ为1个数据窗中多个概率统计量的最小值，X为数据窗内的脑电信号矩阵，

为指令，

为指令概率，Q为指令的数量，q为变量，q＝1,2,...,Q。

具体的，步骤“根据最小值和最小值对应的指令，识别指挥者发出的指令”，具体包括：

获取当前数据窗的最小值。

判断当前数据窗的最小值是否大于第二阈值；得到第二判断结果。

若第二判断结果为是，则返回步骤“获取第二脑电信号”。

若第二判断结果为否，则获取前一数据窗的最小值。

判断前一数据窗的最小值是否大于第三阈值；得到第三判断结果。

若第三判断结果为是，则返回步骤“获取第二脑电信号”。

若第三判断结果为否，则确定第一指令和第二指令，并判断第一指令和第二指令是否相同，得到第四判断结果；第一指令为与当前数据窗的最小值对应的指令；第二指令为与前一数据窗的最小值对应的指令。

若第四判断结果为否，则返回步骤“获取第二脑电信号”。

若第四判断结果为是，则判断步骤“获取前一数据窗的最小值”的执行次数是否大于或者等于第四阈值，得到第五判断结果。

若第五判断结果为否，则将前一数据窗作为当前数据窗并返回步骤“获取前一数据窗的最小值。

若第五判断结果为是；则将第一指令确定为指挥者发出的指令。

具体的，第一脑电信号为指挥者受目标刺激后产生快速序列视觉呈现响应生成的；第二脑电信号为指挥者受信号灯刺激后产生稳态视觉诱发电位响应生成的。

进一步地，本发明中处理模块将无人机群设置为自动巡航模式，自动拍摄监测环境画面，快速呈现无人机的拍摄图片，并结合RSVP(快速序列视觉呈现，Rapid SerialVisual Presentation)响应生成第一脑电信号，当检测到目标图像后，迅速将目标位置反馈给指挥者，界面切换到指令控制模式，指挥者进一步发出搜索和跟踪指令，扩大作用范围。充分发挥“脑机接口”技术结合人类认知、视觉、感知觉等信息处理方面的优势，实现“人工智能+人”既优于“人工智能”，又优于“人”的效果。

AR刺激器与脑电数据采集模块之间需要进行严格的时钟同步，采用并口连接的方式。时钟同步靠的是脑电信号接收设备TriggerBox将trigger同步记录到脑电信号中以保证脑电信号与数据采集模块之间的时序精度，trigger信号即标记信号，相当于直接在脑电采集器采到的脑电信号中打上标记，比如我们需要把刺激的开始时刻标记到脑电信号中，才能将刺激和脑电信号对应起来，得知该刺激对应脑电信号，trigger信号由刺激器产生由TriggerBox发送，发送方式可以采用有线和无线两种，优先选择485有线传输方式，以保证精度和稳定性。选定用于数据采集参考的参考电极，参考电极的电位在使用过程中保持不变；各数据采集电极的阻抗位于参考电机阻抗阈值以下，AR刺激器实时显示无人机的回传视频和/或图像信息以及无人机的位置信息和飞行姿态信息。数据采集装置与处理设备(处理模块)之间采用数据堆栈池进行异步隔离，保证数据处理模块加灵活地读取以及处理数据，AR刺激器与处理设备之间通过消息队列栈进行异步隔离，AR刺激器和处理模块无需保持时间上地同步，能够运行各自程序，由此构成异步“脑机接口”。这两种异步隔离方式能够屏蔽数据接收过程、处理过程以及反馈过程之间的速率差异，保证实时检测的有序进行。

其中，目标刺激器(AR刺激器)是指在AR眼镜上呈现图片，对指挥者进行视觉刺激，从而使其大脑产生相应的脑电信号。在自动巡航阶段，AR刺激器显示目标检测界面，如图4(d)所示，由无人机拍摄的视野图像传到AR刺激器，指挥者看到目标产生的大脑RSVP响应生成第一脑电信号，脑电信号采集模块采集脑电数据，并通过TCP协议(传输控制协议，Transmission Control Protocol)将脑电信号传输至处理模块，处理模块中检测到目标后将识别结果传给AR刺激器，AR刺激器显示界面切换至指令界面，如图4(b)所示。指挥者根据目标位置下达无人机控制指令，对目标进行搜索、打击、捕捉或者跟踪任务，实现对无人机群的飞行路径控制。

AR刺激器的指令界面同时呈现多个控制指令，每个指令对应的信号灯以不同频率或者不同相位闪烁。指挥者将目光注意力集中需发出的指令对应的信号灯上时，指挥者的大脑皮层产生对应SSVEP(稳态视觉诱发电位，Steady-State Visual Evoked Potentials)响应信号(即第二脑电信号)。脑电采集器(脑电信号采集模块)通过导电膏直接接触指挥者头部皮层，采集脑电数据，将实时脑电数据和trigger通过TCP发送并保存到处理模块中的循环数据池中，处理模块通过trigger在数据池中找到需要的数据段进行处理，并将检测结果反馈给刺激设备，处理模块中的脑电识别算法对目标进行实时检测并识别指令，识别出指令后实时发送给无人机进而控制无人机的飞行参数。

此外，处理设备在数据采集过程中需对脑电信号进行实时分析，即该脑电信号对应目标图片还是非目标图片，实时反馈给刺激设备，因此采用了并行架构设计。同时为平衡刺激数据接收过程与检测过程的速率差异，以及检测过程与反馈过程的速率差异，将识别的目标图像以及该图像的位置反馈给指挥者，从而使指挥者进行下一步操作。另外，指挥者通过脑电或者按钮控制处理设备(处理模块)开启或关闭。

具体的，基于广域目标监测的无人机目标监测(即目标搜索)过程如下：

在有人机与无人机协同控制方案中，在一般情况下，有人机指挥者主要进行广域目标监测，指挥者监视无人机回传的环境图像。此时，指挥者未将注意力集中到任何一个目标上，则该系统会保持空闲状态，而不发出任何指令，但是，指挥者眼睛扫描无人机拍摄并传回来的图像数据。处理设备基于脑电信号采集设备接收的脑电数据，对目标进行实时检测识别，并将检测结果实时发送给AR刺激器，进而实现目标搜索或跟踪。

步骤1：启动广域目标监测模式，无人机群采用传统的编队飞行模式。在飞行过程中，无人机群按照传统编队模式执行任务，飞行姿态将由计算机自动控制。

步骤2：在有人机的人-机交互界面(AR刺激器显示界面)上提供各无人机处的地图，在有人机中的指挥者扫描无人机传回的图像流或者视频流，将视频流切割成图片，依次快速呈现在指挥者眼前，例如1秒钟呈现10张图片，要求指挥者在快速呈现地图片序列中寻找目标图片，只需在大脑中寻找目标，而不需其它的动作。

步骤3：广域目标监测训练。

采用行为学实验结合脑电识别结果作为指挥者筛选指标。图6为本发明实施例所提供的有人机与无人机混合编队协同控制装置的训练流程图，对所有候选者(即指挥者)进行行为学实验。按照RSVP刺激，以200ms、120ms、100ms、83.3ms、66.7ms、50ms等不同间隔呈现图片，每20-50张图片为一组，并利用采用动态规划算法、贪心算法将图片分集，检测RSVP信号的强度，让受试者通过按键验证每组中是否存在目标，按键结果作为目标识别的损失补偿对处理模块进行验证，以按键延迟及正确率作为受试者主观响应的评价指标。

对于第一脑电信号，处理模块使用RSVP检测算法进行目标识别。RSVP检测算法以自适应空时均衡器为基础，对均衡滤波后的数据与训练模板进行相关检测，进而确定脑电数据中是否存在目标所诱发的脑电成分。RSVP检测算法的流程图，如图7所示。图中B表示自适应空时均衡器，x(n)表示输入信号，s(n)表示参考模板，f表示第一阈值，E1表示检测到目标，E2表示没有发现目标；

(即x’(n))表示相关统计量

表示均衡后的第一脑电信号，

(即s’(n))表示均衡后的参考模板，

训练数据，指诱发事件相关性电位的多次叠加平均，

对于不同的受试者具有有显著差异，甚至同一受试者不同时间岁赢得

也是不同的。

将相关统计量与第一阈值比较，当

>第一阈值f时，表示检测到目标，反之则表示没有发现目标。

在训练阶段，为候选者指定一类待搜索目标(如卡车、人脸等)，让候选者在刺激序列图片中寻找该类目标。根据目标出现位置时刻提取一段候选者脑电信号，计算诱发响应信噪比作为候选者ERP响应(Enterprise Resource Planning，企业资源计划)强度评价指标，并采用交叉验证法计算候选者的AUC(Area Under Curve，ROC曲线下的面积；其中，ROC曲线(受试者工作特征曲线，Receiver Operating Characteristic curve))。最后，采用测试集图片，以训练中提取出的脑电信号作为参考模板，对候选者进行模拟广域目标搜索测试。实时对候选者脑电信号进行识别，以漏检率、虚警率及AUC等作为受试者脑电信号的评价指标。

步骤4：有人机指挥者广域目标监测。目标呈现刺激策略是RSVP-BCI(RapidSerial Visual Presentation-Brain Computer Interface，快速序列视觉呈现-脑机接口)技术的研究重点。当目标出现时，在指挥者EEG(脑电图)中将会诱发一个典型的ERP成分，通过步骤3的检测算法，检测ERP成分出现时间播放的图片对应的无人机，进而根据无人机确定出的目标的位置。为了能使目标诱发足够强的ERP响应，目标的出现位置必须满足稀疏化约束。由于相邻呈现的图像，被误判的概率较大，本发明采用动态规划算法、贪心算法以对目标呈现次序进行优化，确保在给定时间内相邻出现的目标图像不会再次相邻。

步骤5：通过以上步骤，当发现目标时，处理模块将识别结果传给AR刺激器，AR刺激器显示界面切换至指令界面。

具体的，指令识别过程中，处理模块每次获取40ms的数据。如果不需要新数据，也就是数据长度达到要求时进行指令识别处理，否则继续读取和判断是否需要新数据。处理模块采用空时均衡动态窗(spatio-temporal equalization–dynamic window,STE-DW)算法对第二脑电信号进行判决与识别。通过将第二脑电信号分割成多个数据窗对脑电信号进行实时处理。如果当前时刻处理的数据窗中，脑电信号达到识别要求，且当前时刻前连续第四阈值个数据窗中，脑电信号识别结果与当前数据窗完全一致，则识别接结果为指挥者发出的指令；反之则继续获取脑电信号。STE-DW算法流程图如图8所示，指令识别过程的具体步骤如下：

步骤a：稳态均衡器对背景脑电信道中稳态信道进行均衡，使得第二脑电信号在一定时间内保持相对稳定，相邻多个试次数据被用于稳态均衡器估计。

脑电背景噪声估计可表示为：

X＝S^{q}+W

其中，W表示噪声矩阵，

表示W的估计值，

表示识别结果对应的复正弦模板，S^q表示第q种指令刺激指挥者产生的SSVEP响应信号；稳态时空均衡器可以近似为一个零阶稳态空域均衡器及一个高阶稳态时域均衡器的乘积，即

其中，

P通过cholesky分解得到和

可表示为

式中，

表示稳态时空均衡器，

零阶稳态空域均衡器；z表示z变换；t_i(p)表示第i个均衡器信道多项式的系数；p为第一变量；P为L×L维下三角实数矩阵。

表示噪声矩阵通过稳态时空均衡器后的结果；

表示在

的第n个元素，

表示在

的第n-k个元素，t_i(k)表示第i个均衡器信道多项式的系数，k为第二变量；e(n)表示随机误差，在规定的范围内，选择AIC(Akaike information criterion，赤池信息量准则)的最小阶数ρ_i，且max(ρ_i)＝ρ；ρ表示系统阶数。

步骤b：非稳态均衡器估计。

任意满足约束条件的矩阵都可以作为非稳态空域滤波器，非稳态空域均衡器C用于均衡非平稳信道，信道与背景噪声非平稳特性相关。记V为当前Trial(采集周期)EEG(脑电)数据通过非稳态均衡器输出后的输出结果：

C＝cholesky[VV^T]^-1

式中，X表示脑电数据矩阵。

步骤c：统计决策。

在脑电信号经过稳态均衡器和非稳态空域滤波器的处理后，从当前时刻起，向前截取M个数据窗Win1…WinM。当某一时刻，我们同时计算每个数据窗中多个概率统计量的最小值，

式中，X表示脑电数据矩阵，

表示指令，q表示变量，q＝1,2,...,Q，Q表示指令的数量，如果当前数据窗(第K个数据窗)对应的最小值γ大于第二阈值ε，则继续采集数据，反之，则表明某种假设有可能成立，进行结果判决。此过程是为了减少处理模块在指挥者走神，或者无指令时出现误判的情况。

步骤d：结果判决。

当前时刻前的连续多个数据窗的γ均小于第二阈值ε，且多个数据窗的γ对应的指令q相同，则认为指挥者发出的指令为指令q，并向无人机发送此指令。本发明判断连续多个(第四阈值个)数据窗均结果一致才判定识别接结果是为了减少指挥者的视线边缘或者视觉残影所造成的误判情况。第四阈值越大，判断结果越准确。

判决后，处理模块将设置一定时间长度的“不应期”，以避免由于存在视觉残留而引起的连续误判。在该不应期时间内，处理模块不再进行任何判决。第K～M个数据窗都可能被作为判决截至数据窗，判决时长并不确定，因此该系统是一个动态窗系统，由此达到脑电信号识别的目的。

综上，本发明提供的有人机与无人机混合编队协同控制装置在有人机对无人机飞行姿态控制模式下，AR刺激器会呈现无人机飞行姿态控制指令。每个指令对应的信号灯以不同频率闪烁，操作者根据视野目标判断，只需要将注意力集中到上升、下降、前进、后退、加速、转弯等指令对应的信号灯上，装置就会自动识别指挥者的操作意图，向无人机下达相应的控制指令。操作者通过本发明提供的装置能够直接控制无人机的飞行姿态。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种有人机与无人机混合编队协同控制装置，其特征在于，所述装置包括：

AR刺激器、脑电信号采集模块和处理模块；

所述AR刺激器佩戴于指挥者的眼部；所述AR刺激器用于接收多个无人机拍摄的视频，并将多个所述视频截成图片播放；所述AR刺激器用于当图片中存在目标时刺激所述指挥者生成第一脑电信号；

所述脑电信号采集模块佩戴于指挥者的头部；所述脑电信号采集模块与所述处理模块连接；所述脑电信号采集模块用于采集所述第一脑电信号；

所述处理模块与所述AR刺激器连接；所述处理模块用于接收并根据所述第一脑电信号确定所述目标的位置，并将所述目标的位置传输至所述AR刺激器；

所述AR刺激器上设置有多个信号灯；多个所述信号灯的闪烁频率不同；所述信号灯与控制无人机飞行操作的指令一一对应；所述AR刺激器用于在所述指挥者根据所述目标的位置注视一个所述指令对应的信号灯时刺激所述指挥者生成第二脑电信号；

所述脑电信号采集模块用于采集所述第二脑电信号；

所述处理模块还用于接收并根据所述第二脑电信号识别所述指挥者发出的指令并发送所述指挥者发出的指令至所述无人机。

2.根据权利要求1所述的有人机与无人机混合编队协同控制装置，其特征在于，所述第一脑电信号为所述指挥者受目标刺激后产生快速序列视觉呈现响应生成的；所述第二脑电信号为所述指挥者受所述信号灯刺激后产生稳态视觉诱发电位响应生成的。

3.一种有人机与无人机混合编队协同控制方法，其特征在于，所述方法应用于权利要求1-2任一项所述的有人机与无人机混合编队协同控制装置，所述方法，包括：

处理模块获取脑电信号采集模块采集的第一脑电信号；所述第一脑电信号是在AR刺激器播放的图片中存在目标时刺激指挥者生成的；

所述处理模块根据所述第一脑电信号确定所述目标的位置，并将所述目标的位置传输至所述AR刺激器；

所述处理模块获取所述脑电信号采集模块采集的第二脑电信号；所述第二脑电信号是所述指挥者根据所述目标的位置确定控制无人机飞行操作的指令后，注视所述指令对应的信号灯生成的；

所述处理模块根据所述第二脑电信号识别并发送所述指挥者发出的指令至所述无人机。

4.根据权利要求3所述的有人机与无人机混合编队协同控制方法，其特征在于，所述第一脑电信号为所述指挥者受目标刺激后产生快速序列视觉呈现响应生成的；所述第二脑电信号为所述指挥者受所述信号灯刺激后产生稳态视觉诱发电位响应生成的。

5.根据权利要求3所述的有人机与无人机混合编队协同控制方法，其特征在于，所述处理模块根据所述第一脑电信号确定所述目标的位置，具体包括：

获取参考模板；

将所述第一脑电信号和所述参考模板均输入自适应空时均衡器，得到均衡后的第一脑电信号和均衡后的参考模板；

计算所述均衡后的第一脑电信号和所述均衡后的参考模板的相关统计量；

根据所述相关统计量确定所述第一脑电信号对应的图片是否存在目标；

根据所述第一脑电信号对应的图片确定目标的位置；

其中，

采用如下公式计算所述相关统计量：

式中，

表示相关统计量，

表示均衡后的第一脑电信号，

表示均衡后的参考模板。

6.根据权利要求5所述的有人机与无人机混合编队协同控制方法，其特征在于，所述根据所述相关统计量确定所述第一脑电信号对应的图片是否存在目标，具体包括：

判断所述相关统计量是否大于第一阈值，得到第一判断结果；

若所述第一判断结果为是，则所述第一脑电信号对应的图片存在目标；

若所述第一判断结果为否，则所述第一脑电信号对应的图片不存在目标。

7.根据权利要求3所述的有人机与无人机混合编队协同控制方法，其特征在于，所述处理模块根据所述第二脑电信号识别并发送所述指挥者发出的指令，具体包括：

将当前时刻前获取的所述第二脑电信号分割为多个数据窗；

计算所述数据窗中每个所述指令对应的概率统计量，并确定每个所述数据窗中多个所述概率统计量的最小值；所述概率统计量是1减去指令概率生成的；所述指令概率为多个所述指令中的一个指令与所述数据窗对应的指令相同的概率；

根据所述最小值和所述最小值对应的指令，识别所述指挥者发出的指令；发送所述指挥者发出的指令，

其中，

所述最小值的计算公式为：

式中，γ为1个数据窗中多个概率统计量的最小值，X为数据窗内的脑电信号矩阵，

为指令，

为指令概率，Q为指令的数量，q为变量，q＝1,2,...,Q。

8.根据权利要求7所述的有人机与无人机混合编队协同控制方法，其特征在于，所述根据所述最小值和所述最小值对应的指令，识别所述指挥者发出的指令，具体包括：

获取当前数据窗的最小值；

判断所述当前数据窗的最小值是否大于第二阈值；得到第二判断结果；

若所述第二判断结果为是，则返回步骤“获取第二脑电信号”；

若所述第二判断结果为否，则获取前一数据窗的最小值；

判断所述前一数据窗的最小值是否大于第三阈值；得到第三判断结果；

若所述第三判断结果为是，则返回步骤“获取第二脑电信号”；

若所述第三判断结果为否，则确定第一指令和第二指令，并判断所述第一指令和所述第二指令是否相同，得到第四判断结果；所述第一指令为与所述当前数据窗的最小值对应的指令；所述第二指令为与所述前一数据窗的最小值对应的指令；

若所述第四判断结果为否，则返回步骤“获取第二脑电信号”；

若所述第四判断结果为是，则判断步骤“获取前一数据窗的最小值”的执行次数是否大于或者等于第四阈值，得到第五判断结果；

若第五判断结果为否，则将前一数据窗作为当前数据窗并返回步骤“获取前一数据窗的最小值”；

若第五判断结果为是；则将所述第一指令确定为所述指挥者发出的指令。

Images