CN108257145A - 一种基于ar技术的无人机智能侦察处理系统及方法 - Google Patents

Abstract

本发明涉及一种基于AR技术的无人机智能侦察处理系统及方法，所述无人机智能侦察处理系统包括无人机侦察设备、地面采集控制设备和AR显控设备。本发明通过无人机搭载云台和光电探测器进行远距离的实时图像采集，加大的了单兵侦察的范围；在采用AR显控设备对实时传输的图像进行显示的同时，通过操作人员的头部转动，手势截获实现对无人机、云台的控制以及对目标的截获和跟踪，增强了单兵侦查的可视化与智能化能力；使用的设备体积小易于携带，使用时人机交互感强、操作便捷，增强了单兵侦查的便携性与灵活性。

Description

一种基于AR技术的无人机智能侦察处理系统及方法

技术领域

本发明属于安防技术领域，具体涉及一种基于AR技术的无人机智能侦察处理系统及方法。

背景技术

前的无人机载平台搭载传感器进行侦察处理的系统，通常是将获取远程信息数据存储在计算机上，只能通过计算机进行显示浏览或加以处理，用户体验差，不能实现沉浸式体验和友好的人机交互；对于无人机的控制采用手柄控制或提前加载飞行路径方式，无法解放双手或自由侦察关注区域。

采用AR技术在穿戴式眼镜，能够解放双手，但目前多用于游戏、摄像头图像回传显示，在信息获取半径、显控能力、信息融合与处理能力等方面还存在较大限制，无法实现对于恶劣、危险环境的有效显控和实时信息处理。

发明内容

鉴于上述的分析，发明提出了一种基于AR技术的无人机智能侦察处理系统及方法，解决无人机侦察处理系统中采用手柄控制或提前加载飞行路径方式控制无人机的问题，解放双手实现自由侦察关注区域。

本发明的目的是通过以下技术方案实现的：

一种基于AR技术的无人机智能侦察处理系统，包括无人机侦察设

备、地面采集控制设备和AR显控设备；

所述无人机侦察设备能够在所述地面采集控制设备的控制下，飞抵指定侦察区域，对目标进行侦察，并将侦察结果发送到所述地面采集控制设备；

所述地面采集控制设备一方面根据AR显控设备发送的控制指令控制所述无人机侦察设备对目标的侦察；另一方面将所述无人机侦察设备的侦察结果传送到AR显控设备进行显示；

所述AR显控设备将所述侦察结果显示在虚拟屏幕上，并通过佩戴人员的头部转动控制所述无人机侦察设备搜索目标；通过手势识别、悬浮触控和语音识别实现对运动目标的截获；通过与所述地面采集控制设备配合实现对运动目标的跟踪；所述AR显控设备还具有地图加载和无人机侦察设备运动轨迹显示功能。

进一步地，所述无人机侦察设备包括无人机、云台、光电探测器、无线图传板卡和无线数传板卡；

所述光电探测器通过所述云台连接在无人机的前方；无线图传板卡和无线数传板卡固定于所述无人机内部；

所述光电探测器用于采集目标图像，并将采集的目标图像数据传输至无线图传板卡；

所述无线图传板卡将接收到的所述采集的目标图像数据，通过无线信号发送至所述地面采集控制设备；

所述无线数传板卡将所述无人机侦察设备状态信息，通过无线信号发送至所述地面采集控制设备；并通过无线信号接收所述地面采集控制设备发送的控制信息；

所述云台连接所述光电探测器和所述无人机，根据所述数传板卡输出的控制指令在俯仰方向运动，改变所述光电探测器在俯仰方向的观测角度；

所述无人机为小型折叠四旋翼无人机，通过所述无线数传板卡接收的地面采集控制设备发送的控制信息，携带所述光电探测器到达指定侦察位置，在侦察的过程中，根据所述无线数传板卡接收的地面采集控制设备发送航向控制指令，改变所述光电探测器在航向方向的观测角度。

进一步地，所述无线图传板卡使用3.5GHz频段，带宽固定为5MHz对1080P h.264视频流以30帧/s的速度与所述地面采集控制设备进行图传；

所述无线数传板卡使用2.4GHz频段，波特率设置为57600，以20ms为周期与所述地面采集控制设备进行数传。

进一步地，所述地面采集控制设备，包括图像接收处理模块、无线数传模块和无线Wifi；

所述图像接收处理模块接收所述无线图传板卡发送的目标图像数据，采用标准UDP协议打包发送，通过无线Wifi以1400个字节为一包，分包发给AR显控设备进行目标图像显示，同时对接收到的图像进行跟踪处理，将跟踪控制偏差结果通过所述无线数传模块发送给无人机，通过所述无线Wifi发送给AR显控设备将目标在图像中的位置进行标记；

所述无线数传模块接收所述无线数传板卡发送的无人机侦察设备状态信息，经过所述图像接收处理模块中转后，通过无线Wifi以20ms为周期发送给AR显控设备，同时将AR显控设备的控制信息和所述图像接收处理模块跟踪控制偏差发送给所述无人机侦察设备；

所述无线Wifi作为所述图像接收处理模块与AR显控设备进行通讯途径，将所述图像接收处理模块图像数据和所述无线数传模块接收的所述无人机侦察设备状态信息发送给AR显控设备，同时接收AR显控设备对所述无人机侦察设备控制指令和对所述图像接收处理模块跟踪启动指令。

进一步地，所述AR显控设备包含AR穿戴设备和无线Wifi；所述无线Wifi接收所述地面采集控制设备的图像数据和无人机状态信息，同时将所述AR穿戴设备控制信息发送给所述地面采集控制设备。

进一步地，所述AR穿戴设备为微软HoloLens眼镜。

一种AR无人机智能侦察处理方法，包括以下步骤：

步骤1、侦察前对AR穿戴设备进行地图加载，对AR无人机智能侦察处理系统进行通电检查；

步骤2、无人机起飞，自动按照设置的路线飞至指定侦察位置，悬停等待，光电探测器将采集的图像传至AR显控设备，AR眼镜实时接收图像并显示于虚拟屏幕上；

步骤3、AR头部搜索，AR显控设备获取AR佩戴人员头部运动姿态，控制无人机和云台进行目标搜索；

步骤4、AR目标截获；搜索到目标之后，采用手势识别、悬浮触控和语音识别实现目标截获功能；

步骤5、运动目标跟踪；目标截获之后采用在线学习技术实现对复杂背景下运动目标稳定跟踪，并将跟踪结果实时传输并显示在AR眼镜投屏上，同时控制无人机进行目标跟随。

进一步地，所述AR头部搜索，包括以下步骤：

a.在AR显控设备虚拟界面选择“头部搜索”功能，AR显控设备发送头部搜索指令至无人机，使无人机处于“悬停”状态；

b.AR佩戴人员转动头部，由AR显控设备记录AR佩戴人员的头部运动信息，并将该角度信息发送至所述无人机侦察设备，控制无人机在航向方向转动，控制云台在俯仰方向转动，进行目标搜索；

c.重复a、b步骤操作，将搜索到的目标置于视场中心，即完成目标搜索。

进一步地，所述AR目标截获包括以下步骤：

a.AR佩戴人员通过手势选取搜索框并框定目标；

b.AR显控设备识别该手势后将目标框的大小和位置信息，通过WiFi信号发送至所述地面采集控制设备，所述地面采集控制设备接收并记录该目标框的位置信息，并由它通过连接的无线数传将信号传输出去，无人机处于目标截获悬停状态；

c.所述地面采集控制设备接收到截获目标在图像中的位置和目标框大小，作为跟踪初始条件，准备下一帧开始进行跟踪处理。

进一步地，所述运动目标跟踪包括以下步骤：

a.所述地面采集控制设备运动目标跟踪算法并显示计算出的跟踪框新位置以及相对于上一位置的偏移量，即目标脱靶量；

b.所述地面采集控制设备一方面将更新的信息通过WiFi信号发送至AR显控设备，由其更新显示在实时图像上；同时另一方面将计算出的脱靶量通过连接的无线数传将信号传输至无人机，无人机根据航向和俯仰偏差量进行相应调节；

c.循环a、b直至AR显控设备发出“取消跟踪”指令，并通过无线数传发送到无人机端，无人机接受指令信号后，并进入“悬停”状态，此时目标跟踪完成。

本发明有益效果如下：

1)通过无人机搭载云台和光电探测器进行远距离的实时图像采集，加大的了单兵侦查的范围；

2)在采用AR显控设备对实时传输的图像进行显示的同时，通过操作人员的头部转动，手势截获实现对无人机、云台的控制以及对目标的截获和跟踪，增强了单兵侦查的可视化与智能化能力；

3)使用的设备体积小易于携带，使用时人机交互感强、操作便捷，增强了单兵侦查的便携性与灵活性。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为基于AR技术的无人机智能侦察处理系统框图；

图2为基于AR技术的无人机智能侦察处理方法流程图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。

本发明的一个具体实施例，公开一种基于AR技术的无人机智能侦察处理系统，如图1所示，包括无人机侦察设备、地面采集控制设备和AR显控设备；

所述无人机侦察设备包括无人机、云台、光电探测器、无线图传板卡和无线数传板卡；

所述光电探测器通过所述云台连接在无人机的前方；无线图传板卡和无线数传板卡固定于所述无人机内部；

所述光电探测器用于采集目标图像，并将采集的目标图像数据传输至无线图传板卡；

所述无线图传板卡将接收到的所述采集的目标图像数据，通过无线信号发送至所述地面采集控制设备；

所述无线图传板卡使用3.5GHz频段，带宽固定为5M对1080P h.264视频流以30帧/s的速度与所述地面采集控制设备进行图传；

所述无线数传板卡将所述无人机侦察设备状态信息，通过无线信号发送至所述地面采集控制设备；并通过无线信号接收所述地面采集控制设备发送的控制信息；

所述无线数传板卡使用2.4GHz频段，波特率设置为57600，以20ms为周期与所述地面采集控制设备进行数传；

所述云台连接所述光电探测器和所述无人机，根据所述数传板卡输出的控制指令在俯仰方向运动，改变所述光电探测器在俯仰方向的观测角度；

所述无人机为小型折叠四旋翼无人机，通过所述无线数传板卡接收的地面采集控制设备发送的控制信息，携带所述光电探测器到达指定侦察位置，在侦察的过程中，根据所述无线数传板卡接收的地面采集控制设备发送航向控制指令，改变所述光电探测器在航向方向的观测角度。

所述地面采集控制设备，包括图像接收处理模块、无线数传模块和无线Wifi；

所述图像接收处理模块接收所述无线图传板卡发送的目标图像数据，采用标准UDP协议打包发送，通过无线Wifi以1400个字节为一包，分包发给AR显控设备进行目标图像显示，同时对接收到的图像进行跟踪处理，将跟踪控制偏差结果通过所述无线数传模块发送给无人机，通过所述无线Wifi发送给AR显控设备将目标在图像中的位置进行标记；

所述无线数传模块接收所述无线数传板卡发送的无人机侦察设备状态信息，经过所述图像接收处理模块中转后，通过无线Wifi以20ms为周期发送给AR显控设备，同时将AR显控设备的控制信息和所述图像接收处理模块跟踪控制偏差发送给所述无人机侦察设备；

所述无线Wifi作为所述图像接收处理模块与AR显控设备进行通讯途径，将所述图像接收处理模块图像数据和所述无线数传模块接收的所述无人机侦察设备状态信息发送给AR显控设备，同时接收AR显控设备对所述无人机侦察设备控制指令和对所述图像接收处理模块跟踪启动指令。

所述AR显控设备包含AR穿戴设备和无线Wifi；

AR穿戴设备通过无线Wifi与所述地面采集控制设备进行通信连接，

通过AR佩戴人员的头部转动控制无人机和云台的运动，实现对目标的头部搜索功能；将头部搜索的航向信息发送至所述图像接收处理模块控制所述人机侦察设备控制无人机航向方向的运动，将头部搜索的俯仰信息发送至所述图像接收处理模块控制所述人机侦察设备探测器云台俯仰方向的运动；

通过手势识别、悬浮触控和语音识别实现对运动目标的截获；

将截获目标的信息发送到所述地面采集控制设备对目标进行跟踪，并将跟踪结果实时显示在AR穿戴设备的虚拟屏幕上；

所述AR穿戴设备还具有地图加载功能，通过设定侦察区域，离线装订侦察区域地图，上电后，根据无人机的实时位置，自动加载并在虚拟屏幕上显示地图，并在地图上标记无人机的实时位置和飞行路径。

所述AR穿戴设备采用微软HoloLens眼镜，以HoloLens系统平台设计投屏图像显示、地图显示和控制指令界面，以无线Wifi接收所述地面采集控制设备数据，采用标准UDP协议打包接收，以1400个字节为一包接收所述图像接收处理模块图像数据，接收到一帧图像数据后进行实时显示，以20ms为周期接收所无线数传模块发送的所述无人机侦察设备状态信息并实时显示。

所述无线Wifi接收所述地面采集控制设备的图像数据和无人机状态信息，同时将所述AR穿戴设备控制信息发送给所述地面采集控制设备。

一种AR无人机智能侦察处理方法，如图2所示，具体工作实施步骤如下：

步骤1、侦察前准备；包括AR穿戴设备的地图加载、通电检查；

所述地图离线加载是根据无人机飞行任务区域的地图进行装订的；

通电检查自动测试无人机侦察设备到AR显控设备的链路数据通讯和图像显示是否正常，是，则AR穿戴准备，无人机飞行准备。

步骤2、无人机起飞，自动按照设置的路线飞至指定侦察位置，悬停等待，光电探测器将采集的图像传至AR显控设备，AR眼镜实时接收图像并显示于虚拟屏幕上；

飞行过程中，AR显控设备实时接收无人机位置，在虚拟屏幕上显示的地图上描绘出“红点”并持续连线，由此实现了地图加载与无人机飞行路径实时显示。

步骤3、AR头部搜索，AR显控设备获取头部运动姿态，控制无人机和云台进行目标搜索；解放使用人员双手，实现头部搜索效果。具体流程如下：

a.在AR显控设备虚拟界面选择“头部搜索”功能，AR显控设备将该指令通过WiFi信号发送至地面采集控制设备，由它通过连接的无线数传将信号传输至无人机，无人机接收到“头部搜索”指令后处于“悬停”状态；

b.AR佩戴人员转动头部，由AR显控设备记录AR佩戴人员的头部运动信息(上下左右的转动角度，其中上正下负、左正右负，且其范围均为-100度～+100度)，并通过a)步骤将该角度信息发送至无人机，无人机作出相应的反应，即左右旋转角控制无人机航向转动、上下旋转角控制无人机上云台的俯仰，由于头部运动过于灵活，在无人机控制端要进行安全方面软件保护；

c.通过a、b步骤重复操作，将搜索到的目标置于视场中心，即完成目标搜索。

步骤4、AR目标截获；搜索到目标之后，采用手势识别、悬浮触控和语音识别实现目标截获功能。具体流程如下：

a.AR佩戴人员通过手势选取搜索框并框定目标；

b.AR显控设备识别该手势后将目标框的大小和位置信息，通过WiFi信号发送至地面采集控制设备，地面设备接收并记录该目标框的位置信息，并由它通过连接的无线数传将信号传输出去，无人机处于目标截获悬停状态；

c.地面采集控制设备接收到截获目标在图像中的位置和目标框大小，作为跟踪初始条件，准备下一帧开始进行跟踪处理。

步骤5、运动目标跟踪；目标截获之后采用在线学习技术实现对复杂背景下运动目标稳定跟踪，并将跟踪结果实时传输并显示在AR眼镜投屏上，同时控制无人机进行目标跟随。具体流程如下：

a.地面采集控制设备运行跟踪算法并显示计算出的跟踪框新位置以及相对于上一位置的偏移量，即目标脱靶量(转换为角度，与搜索时类似)；

b.地面采集控制设备一方面将更新的信息通过WiFi信号发送至AR显控设备，由其更新显示在实时图像上；同时另一方面将计算出的脱靶量通过连接的无线数传将信号传输至无人机，无人机根据航向和俯仰偏差量进行相应调节；

c.a、b循环直至AR显控设备发出“取消跟踪”指令，并通过无线数传发送到无人机端，无人机接受指令信号后，并进入“悬停”状态，此时目标跟踪完成。

综上所述，本发明设计的AR无人机智能侦察处理系统及方法，通过无人机搭载云台和光电探测器进行远距离的实时图像采集，加大的了单兵侦查的范围；在采用AR显控设备对实时传输的图像进行显示的同时，通过操作人员的头部转动，手势截获实现对无人机、云台的控制以及对目标的截获和跟踪，增强了单兵侦查的可视化与智能化能力；使用的设备体积小易于携带，使用时人机交互感强、操作便捷，增强了单兵侦察的便携性与灵活性。

上述具体实施方式仅用于解释和说明本发明的技术方案，但并不能构成对权利要求的保护范围的限定。本领域技术人员应当清楚，在本发明的技术方案的基础上做任何简单的变形或替换而得到的新的技术方案，均将落入本发明的保护范围之内。

Claims (10)

1.一种基于AR技术的无人机智能侦察处理系统，其特征在于，包括

无人机侦察设备、地面采集控制设备和AR显控设备；

所述无人机侦察设备能够在所述地面采集控制设备的控制下，飞抵指定侦察区域，对目标进行侦察，并将侦察结果发送到所述地面采集控制设备；

所述地面采集控制设备一方面根据AR显控设备发送的控制指令控制所述无人机侦察设备对目标的侦察；另一方面将所述无人机侦察设备的侦察结果传送到AR显控设备进行显示；

所述AR显控设备将所述侦察结果显示在虚拟屏幕上，并通过佩戴人员的头部转动控制所述无人机侦察设备搜索目标；通过手势识别、悬浮触控和语音识别实现对运动目标的截获；通过与所述地面采集控制设备配合实现对运动目标的跟踪；所述AR显控设备还具有地图加载和无人机侦察设备运动轨迹显示功能。

2.根据权利要求1所述的侦察处理系统，其特征在于，所述无人机侦察设备包括无人机、云台、光电探测器、无线图传板卡和无线数传板卡；

所述光电探测器通过所述云台连接在无人机的前方；无线图传板卡和无线数传板卡固定于所述无人机内部；

所述光电探测器用于采集目标图像，并将采集的目标图像数据传输至无线图传板卡；

所述无线图传板卡将接收到的所述采集的目标图像数据，通过无线信号发送至所述地面采集控制设备；

所述无线数传板卡将所述无人机侦察设备状态信息，通过无线信号发送至所述地面采集控制设备；并通过无线信号接收所述地面采集控制设备发送的控制信息；

所述云台连接所述光电探测器和所述无人机，根据所述数传板卡输出的控制指令在俯仰方向运动，改变所述光电探测器在俯仰方向的观测角度；

所述无人机为小型折叠四旋翼无人机，通过所述无线数传板卡接收的地面采集控制设备发送的控制信息，携带所述光电探测器到达指定侦察位置，在侦察的过程中，根据所述无线数传板卡接收的地面采集控制设备发送的航向控制指令，改变所述光电探测器在航向方向的观测角度。

3.根据权利要求2所述的侦察处理系统，其特征在于，

所述无线图传板卡使用3.5GHz频段，带宽固定为5MHz对1080P h.264视频流以30帧/s的速度与所述地面采集控制设备进行图传；

所述无线数传板卡使用2.4GHz频段，波特率设置为57600，以20ms为周期与所述地面采集控制设备进行数传。

4.根据权利要求1所述的侦察处理系统，其特征在于，所述地面采集控制设备，包括图像接收处理模块、无线数传模块和无线Wifi；

所述图像接收处理模块接收所述无线图传板卡发送的目标图像数据，采用标准UDP协议打包发送，通过无线Wifi以1400个字节为一包，分包发给AR显控设备进行目标图像显示，同时对接收到的图像进行跟踪处理，将跟踪控制偏差结果通过所述无线数传模块发送给无人机，通过所述无线Wifi发送给AR显控设备将目标在图像中的位置进行标记；

所述无线数传模块接收所述无线数传板卡发送的无人机侦察设备状态信息，经过所述图像接收处理模块中转后，通过无线Wifi以20ms为周期发送给AR显控设备，同时将AR显控设备的控制信息和所述图像接收处理模块跟踪控制偏差发送给所述无人机侦察设备；

所述无线Wifi作为所述图像接收处理模块与AR显控设备进行通讯途径，将所述图像接收处理模块图像数据和所述无线数传模块接收的所述无人机侦察设备状态信息发送给AR显控设备，同时接收AR显控设备对所述无人机侦察设备控制指令和对所述图像接收处理模块跟踪启动指令。

5.根据权利要求1所述的侦察处理系统，其特征在于，所述AR显控设备包含AR穿戴设备和无线Wifi；所述无线Wifi接收所述地面采集控制设备的图像数据和无人机状态信息，同时将所述AR穿戴设备控制信息发送给所述地面采集控制设备。

6.根据权利要求5所述的侦察处理系统，其特征在于，所述AR穿戴设备为微软HoloLens眼镜。

7.一种AR无人机智能侦察处理方法，其特征在于，包括以下步骤：

步骤1、侦察前对AR穿戴设备进行地图加载，对AR无人机智能侦察处理系统进行通电检查；

步骤2、无人机起飞，自动按照设置的路线飞至指定侦察位置，悬停等待，光电探测器将采集的图像传至AR显控设备，AR眼镜实时接收图像并显示于虚拟屏幕上；

步骤3、AR头部搜索，AR显控设备获取AR佩戴人员头部运动姿态，控制无人机和云台进行目标搜索；

步骤4、AR目标截获；搜索到目标之后，采用手势识别、悬浮触控和语音识别实现目标截获功能；

步骤5、运动目标跟踪；目标截获之后采用在线学习技术实现对复杂背景下运动目标稳定跟踪，并将跟踪结果实时传输并显示在AR眼镜投屏上，同时控制无人机进行目标跟随。

8.根据权利要求7所述的侦察处理方法，其特征在于，所述AR头部搜索，包括以下步骤：

a.在AR显控设备虚拟界面选择“头部搜索”功能，AR显控设备发送头部搜索指令至无人机，使无人机处于“悬停”状态；

b.AR佩戴人员转动头部，由AR显控设备记录AR佩戴人员的头部运动信息，并将该角度信息发送至所述无人机侦察设备，控制无人机在航向方向转动，控制云台在俯仰方向转动，进行目标搜索；

c.重复a、b步骤操作，将搜索到的目标置于视场中心，即完成目标搜索。

9.根据权利要求7所述的侦察处理方法，其特征在于，所述AR目标截获包括以下步骤：

a.AR佩戴人员通过手势选取搜索框并框定目标；

b.AR显控设备识别该手势后将目标框的大小和位置信息，通过WiFi信号发送至所述地面采集控制设备，所述地面采集控制设备接收并记录该目标框的位置信息，并由它通过连接的无线数传将信号传输出去，无人机处于目标截获悬停状态；

c.所述地面采集控制设备接收到截获目标在图像中的位置和目标框大小，作为跟踪初始条件，准备下一帧开始进行跟踪处理。

10.根据权利要求7所述的侦察处理方法，其特征在于，所述运动目标跟踪包括以下步骤：

a.所述地面采集控制设备运动目标跟踪算法并显示计算出的跟踪框新位置以及相对于上一位置的偏移量，即目标脱靶量；

b.所述地面采集控制设备一方面将更新的信息通过WiFi信号发送至AR显控设备，由其更新显示在实时图像上；同时另一方面将计算出的脱靶量通过连接的无线数传将信号传输至无人机，无人机根据航向和俯仰偏差量进行相应调节；

c.循环a、b直至AR显控设备发出“取消跟踪”指令，并通过无线数传发送到无人机端，无人机接受指令信号后，并进入“悬停”状态，此时目标跟踪完成。