CN113778132B - 一种面向海空协同异构无人系统的一体化平行控制平台 - Google Patents

Abstract

本发明公开了一种面向海空协同异构无人系统的一体化平行控制平台，包括：信息采集单元、平行控制单元、信息处理单元、信息融合单元、综合控制单元和通信单元；在本技术方案中将无人船、无人机以及无人水下航行器等统一概括成无人运行机构；针对海上无线通信环境，在无人船上部署无线自组网节点，可快速组建高可靠性、强抗毁抗干扰性、超视距传输的无线网络；确保无人船和指挥车之间、无人船无人机之间、多跳传输。确保无人船在任何方向都能将船上的视频信号和控制信号传输到指挥车的接收端，指挥车的接收端配置大角度天线，接收无人船上传输过来的信号通过指挥车把所有的视频信号显示出来，并反馈各种底层设备的实时状态信息。

Description

一种面向海空协同异构无人系统的一体化平行控制平台

技术领域

本发明涉及海空信息监控领域，尤其涉及一种面向海空协同异构无人系统的一体化平行控制平台。

背景技术

无人机、无人船、无人水下航行器系统具备高出航率和高工作效率的优势能友好地应用于环保、巡逻、军事执勤和海事实验等领域，常规远程控制系统配置方案为远程陆基控制平台或便携式控制平台，其中陆基控制平台不仅建设成本高且位置固定，当无人机和无人船、无人水下航行器执行远距离巡逻任务时，通讯距离过远会出现图传效果差的现象；便携式控制平台一般屏幕较少，显示信息少、阳光下显示效果差、天线架设较低、功能拓展难，无法满足无人机和无人船、无人水下航行器复杂任务控制需求。现有技术中，无人系统的一体化控制需要大量的实验数据作为支撑，然而物理实验的代价较高，且有些实验具有破坏性和不可重复性，测试成本较高，还存在较大的安全隐患，使系统、全面的物理实验难以实现。

发明内容

根据现有技术存在的问题，本发明公开了一种面向海空协同异构无人系统的一体化平行控制平台，具体包括：

信息采集单元，采集无人运行机构的航行状态信息、所处环境的音视频信息、指挥车内外的环境状况的实时音视频信息，其中无人运行机构为无人机、无人船和无人水下航行器；

平行控制单元，接收信息采集单元传送的数据信息、并将接收到的信息传送至虚拟场景下的无人运行机构中、控制虚实状态下无人机、无人船、无人水下航行器的运行状态同步；

信息处理单元，接收所述信息采集单元传送的数据信息、对音视频信息进行处理分析，通过视频拼接器连接到组合监控屏幕，将音视频信息在组合监控屏幕上显示，所述信息处理单元还通过车载收发机向无人运行机构的操控装置发送控制指令、从而控制无人运行机构的行驶状态；

信息融合单元，对信息采集单元获取的多种信息资源进行综合整理、并消除多源信息之间存在的冗余和矛盾，所述信息融合单元采用有线通信方式将视频会议终端、集群终端、移动通信设备进行互联互通并建立融合通信平台，同时采用多种网络融合的通信调度策略对应急事件进行统一指挥调度和应急决策信息的实时发送；

综合控制单元，在控制界面上对无人运行机构进行航线规划、航行控制、航行监视以及控制过程的信息存储，所述航线规划通过在线加载电子地图模块，输入路线规划后的路线节点对应的经纬度信息，从而对无人机、无人船、以及无人水下航行器按照规划好的地点进行自动巡航；所述航行控制方式为通过设定航行参数、从而在控制界面上操控无人机、无人船、以及无人水下航行器的速度和航向；所述航行监视为对实时航行数据以及监控画面进行可视化显示；同时所述综合控制单元对无人运行机构的航行数据以及自动模式下无人机、无人船、无人水下航行器路线规划后的路线节点对应的经纬度信息进行实时存储；

通信单元，采用海事卫星通信、无线通信、北斗通信和4G/5G通信方式将无人船、无人机以及无人水下航行器与综合控制单元建立图像、数据和语音的远程通信方式。

进一步的，所述综合控制单元对无人船和无人水下航行器进行手动控制和自动控制，当选择手动模式时，所有的控制命令直接由综合控制单元发出，当选择自动模式时，综合控制单元将设定好的运动轨迹点传送至主航行控制系统。

进一步的，所述综合控制单元对无人机进行控制时采用三种控制方式，分别为：采用指挥车内摇杆设备对无人机进行实时调控，通过指挥车的显示界面对无人机进行远程调控，采用飞行VR眼镜对无人机进行远程调控，根据任务需求及使用环境对控制方式进行切换和选择。

进一步的，所述综合控制单元对无人运行机构进行调控时采用组合监控屏幕分别控制无人机、无人船、以及无人水下航行器的运动过程，其中组合监控屏幕由多块子屏幕组成，各子屏幕独立显示监控画面或通过视频拼接器任意组合显示监控画面。

由于采用了上述技术方案，本发明提供的一种面向海空协同异构无人系统的一体化平行控制平台，该平台针对海上无线通信环境，在无人船上部署无线自组网节点，可快速组建高可靠性、强抗毁抗干扰性、超视距传输的无线网络。确保无人船和指挥车之间、无人船无人机之间、多跳传输。确保无人船在任何方向都能将船上的视频信号和控制信号传输到指挥车的接收端，指挥车的接收端配置大角度天线，接收无人船上传输过来的信号通过指挥车把所有的视频信号显示出来，并反馈各种底层设备的实时状态信息以及远程控制船只。无人船指挥协调无人水下航行器的运行和工作，无人水下航行器以无人船为中继节点将各种信息及时汇报传输给指挥车。同时，通过无人机搭载图像采集和机载型自组网节点设备升空，机动高效，即可进一步扩大无线覆盖范围，减少覆盖盲区，提升视频回传质量，又能将空中移动监控与海上移动监控有机结合、优势互补，形成海空一体化移动指挥监控网络。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明平行控制平台的结构框图；

图2为本发明平行控制平台的监控程序流程图；

图3为本发明中综合控制单元的控制说明图；

图4为本发明中综合控制单元采用的组合监控屏幕示意图；

图5为本发明中综合控制单元控制过程中地图显示程序流程图。

具体实施方式

为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1所示的一种面向海空协同异构无人系统的一体化平行控制平台，具体包括：信息采集单元、平行控制单元、信息处理单元、信息融合单元、综合控制单元和通信单元，在本技术方案中将无人船、无人机以及无人水下航行器等统一概括成无人运行机构。针对海上无线通信环境，在无人船上部署无线自组网节点，可快速组建高可靠性、强抗毁抗干扰性、超视距传输的无线网络。确保无人船和指挥车之间、无人船无人机之间、多跳传输。确保无人船在任何方向都能将船上的视频信号和控制信号传输到指挥车的接收端，指挥车的接收端配置大角度天线，接收无人船上传输过来的信号通过指挥车把所有的视频信号显示出来，并反馈各种底层设备的实时状态信息以及远程控制船只。无人船指挥协调无人水下航行器的运行和工作，无人水下航行器以无人船为中继节点将各种信息及时汇报传输给指挥车。同时，通过无人机搭载图像采集和机载型自组网节点设备升空，机动高效，即可进一步扩大无线覆盖范围，减少覆盖盲区，提升视频回传质量，又能将空中移动监控与海上移动监控有机结合、优势互补，形成海空一体化移动指挥监控网络。有效增大监控区域可视范围，减少监控死角

进一步的，所述信息采集单元负责采集无人船、无人机以及无人水下航行器的运动状态信息、所处环境的音视频信息、指挥车内外的环境状况的实时音视频信息等等。实际应用中，采用音视频采集装置采集无人机、无人船、无人水下航行器所处环境的音视频信息以及指挥车内和车外环境状况的实时音视频信息，并且音视频传输装置通过以太网或无线串口向指挥车的车载收发机发送音视频信息。

其中平行控制单元负责接收信息采集单元传送的数据信息、并将接收到的信息传送至虚拟场景下的无人运行机构中、控制虚实状态下无人机、无人船、无人水下航行器的运行状态同步。其中信息处理单元负责接收所述信息采集单元传送的数据信息、对音视频信息进行处理分析，通过视频拼接器连接到组合监控屏幕，将音视频信息在组合监控屏幕上显示，所述信息处理单元还通过车载收发机向无人运行机构的操控装置发送控制指令、从而控制无人运行机构的行驶状态。

进一步的，信息融合单元对信息采集单元获取的多种信息资源进行综合整理、并消除多源信息之间存在的冗余和矛盾，所述信息融合单元采用有线通信方式将视频会议终端、集群终端、移动通信设备进行互联互通并建立融合通信平台，同时采用多种网络融合的通信调度策略对应急事件进行统一指挥调度和应急决策信息的实时发送。其中信息的融合分为两种，一种是针对目前使用的有线通信系统、视频会议系统、集群终端、移动通信应用等不同通信设备之间的互联互通，建立融合通信平台，通过多种网络融合的通信调度，实现对应急事件处置的统一指挥调度和应急决策信息的快速传达。另一种是多源传感器信息融合，可以概括为把分布在无人船、无人机、无人水下航行器等不同位置的多个同类或不同类传感器所采集的信息资源加以综合，消除多源信息之间可能存在的冗余和矛盾并加以互补，降低其不确实性，获取被测对象的一致性解释与描述，从而提高控制与管理系统决策、控制、反应的快速性和正确性。

进一步的，综合控制单元的作用是：在控制界面上实现对无人机、无人船、以及无人水下航行器的航线规划，航行控制，航行监视，数据存储等功能。航线规划主要是通过在线加载电子地图模块，输入路线规划后的路线节点对应的经纬度信息，从而实现无人机、无人船、以及无人水下航行器按照规划好的地点进行自动巡航。航行控制主要通过航行参数的设定实现，航行参数的设定主要是在界面上对无人机、无人船、以及无人水下航行器的速度以及航向的设定。航行监视主要是对实时航行数据以及监控画面进行可视化显示。实际应用下：在指挥车上搭建综合控制单元，进行综合界面的显示和控制过程；综合控制单元的界面中姿态信息主要实时显示设备的航向、经度、纬度等信息。状态信息主要实时显示设备速度、加速度等信息。虚拟遥控可以向无人机、无人船、以及无人水下航行器发送指令和数据，进行无人机、无人船、以及无人水下航行器一些重要航行参数的设定，实现对无人机、无人船、以及无人水下航行器的控制。界面上显示无人机、无人船、无人水下航行器航行实时数据。实时监控无人机、无人船、无人水下航行器的航行信息并进行可视化显示。监控画面和雷达画面可实现用户实时监控无人机、无人船、无人水下航行器的航向情况及其他，而且监控画面可融合到海上管理局的视频监控系统中，作为视频监控的一环与指挥车内、车顶摄像头等其他监控设备配合使用一起共同执行任务，通过在指挥车上即可实现无人机、无人船、无人水下航行器的实时监控。在无人机、无人船、无人水下航行器作业过程中，监控人员也可随时获取设备作业状态的信息，了解无人机、无人船、无人水下航行器运行过程中的实时状态信息。综合控制系统可获取串口设备发送过来的航行信息，解析之后的经纬度以及航速等信息都会在界面进行展示。在界面打开时，Qt首先启动自身的入口程序，并对webenginewidgets进行初始化操作，其次地图模块进行启动检测，如果成功则继续加载页面当中Javascript程序否则将继续初始化地图。地图实时显示当前航行区域的地形图。地图还实时显示无人机、无人船、无人水下航行器的当前位置及航迹，同时地面操作人员可以在电子地图上规划航迹。地图显示区还包括一些地图的基本操作，如地图缩放、平移、自动确定中心点、自动跟随中心点移动、显示航点等，如图5所示。

进一步的，通信单元采用的通信技术主要涉及海事卫星通信、无线通信、北斗通信和4G/5G通信4个方面，确保无人船、无人机以及无人水下航行器与指挥车之间的图像、数据和语音的远程通信，通信对象主要有指挥车与无人机之间、无人机与无人船之间、指挥车与无人船之间、无人船与无人潜航器之间、指挥车与无人水下航行器之间，通信的内容主要有指挥车对无人船和无人机以及无人水下航行器的指令信息，无人船和无人机以及无人水下航行器实时回传的运动状态信息以及视频信息等，通信媒介在近距离可依靠无线通信，远距离可依靠卫星通信。指挥车的4G/5G通信主要依靠中央指挥大厅的4G/5G无线路由器通过无线网桥对指挥车进行通信。该通信单元可实现海事卫星通信、无线通信，北斗通信和4G/5G通信等多种通信链路的自动切换，实现异构通信链路的协同传输，以保障现场监控信息和控制调度信息能够稳定可靠的在海陆空之间进行交互。

进一步的，该平台选用MySQL作为指挥车的数据库，数据库用于存储无人船、无人机、无人水下航行器的基本信息。无人机的飞行姿态是无人机的基本信息，包括经纬度，高度和速度等信息，无人船的基本信息包括经纬度，船速，船向，舵角等信息。无人水下航行器的基本信息包括经纬度，速度等信息。将这些信息进行存储，并可以根据存储的数据进行后期分析。依据不同的使用目标设计两类数据表结构：(1)用于直接存储无人船和无人机以及无人水下航行器运动信息的数据表；(2)用于无人船和无人机以及无人水下航行器路线规划后的路线绘制数据表，路线规划程序会在计算完毕后，将规划好的所有路线节点对应的经纬度位置信息保存在该数据表中，这些数据将被前端地图脚本读取，并连接成完整的路线。

进一步的，所述综合控制单元对无人船和无人水下航行器进行手动控制和自动控制，当选择手动模式时，所有的控制命令直接由综合控制单元发出，当选择自动模式时，综合控制单元将设定好的运动轨迹点传送至主航行控制系统。在指挥车综合控制系统的界面中可对无人船和无人水下航行器的控制进行手动和自动两种模式选择。当选择手动模式时，所有的控制命令直接由指挥车综合控制系统发出。当选择自动模式时，指挥车综合控制系统发送的是设定好的运动轨迹点，信息综合处理系统将设定的轨迹点传送给自主航行控制系统，对无人船和无人水下航行器的控制命令将由自主航行系统控制。两种模式之间可通过按钮进行快速切换，在自动模式出现紧急情况时可快速切换到手动模式，避免危险发生。

进一步的，所述综合控制单元对无人机进行控制时采用三种控制方式，一种是通过指挥车内摇杆设备控制，另一种是通过指挥车综合控制系统的界面控制，最后一种是使用飞行VR眼镜进行控制。可根据任务需求及使用环境进行选择和切换。

手动操作模式为：摇杆操作方式适用于应对突发事件，可随时根据任务情况调整飞行器的飞行方向、线路和相机拍摄角度。自动巡航模式可对目标区域进行热点巡逻，如发现可疑情况可立即回传情况，并向操作员发出手动控制请求，操作员完成情况判定后，开启手动操控，对疑点区域进行侦查，配合其他行动。

自动巡航模式为：可根据情况按时段、空间进行巡航区域设定，当到达设定时间时无人机可从停机点自动起飞，对指定区域进行日常巡航，完成巡航后自动返回停机点，巡航过程由卫星导航、云服务器和无人机内置巡航程序完成控制，通过无线网络完成云服务器数据控制下达和数据采集回传。

所述综合控制单元对无人运行机构进行调控时采用组合监控屏幕分别控制无人机、无人船、以及无人水下航行器的运动过程，其中组合监控屏幕由多块子屏幕组成，各子屏幕独立显示监控画面或通过视频拼接器任意组合显示监控画面。如图4所示，其中左右侧组合监控屏幕由六块子屏幕组成，拼接组合以后用来显示无人机和无人水下航行器综合控制系统界面。中间组合监控屏幕由九块子屏幕组成，九块屏幕具体显示内容如下图所示，其中1号屏幕主要用来实时显示指挥车内以及指挥车外各摄像头监控的画面；2号屏幕主要用来实时显示位于无人船上前、后、左、右四个方位的摄像头监控画面；3号屏幕主要用来实时显示无人船在电子海图中的位置；4、5、7、8号屏幕主要用来显示一体化平行无人系统中构建的人工系统画面，其中4号屏幕用来显示虚拟无人船视角下监控的虚拟画面，5号屏幕用来显示虚拟无人机视角下监控的航拍虚拟画面，7号屏幕用来显示虚拟无人水下航行器视角下监控的水下虚拟画面，8号屏幕用来显示人工系统中虚拟无人机、虚拟无人船、虚拟无人水下航行器的完整上帝视角；6号屏幕用来显示无人船综合控制系统界面；9号屏幕用来实时显示数据库内数据。

本发明公开的一种面向海空协同异构无人系统的一体化平行控制平台，该平台能够弥补陆基控制平台以及便携式控制平台的不足，友好地实现无人船、无人机、无人水下航行器远程控制，满足现代化无人船、无人机、无人水下航行器复杂任务控制需求，可实现应急指挥监控。将空中移动监控与海上移动监控有机结合、优势互补，形成海空协同一体化移动指挥监控网络，实现多无人航行器一体化监控。另外本发明以指挥车上的综合控制系统为核心，作为可移动式控制系统，可实现对无人机、无人船、无人水下航行器一体化控制。采用等价与实际系统的一体化平行无人系统对人工系统进行优化，实现虚实融合，可以减轻无人机、无人船、无人水下航行器本地的计算负担，解决无人机、无人船、无人水下航行器测试中成本较高、安全隐患的问题，且实验具有重复性，提供物理实验无法提供的实验条件。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种面向海空协同异构无人系统的一体化平行控制平台，其特征在于包括：

信息采集单元，采集无人运行机构的航行状态信息、所处环境的音视频信息、指挥车内外的环境状况的实时音视频信息，其中无人运行机构为无人机、无人船和无人水下航行器；

平行控制单元，接收信息采集单元传送的数据信息、并将接收到的信息传送至虚拟场景下的无人运行机构中、控制虚实状态下无人机、无人船、无人水下航行器的运行状态同步；

信息处理单元，接收所述信息采集单元传送的数据信息、对音视频信息进行处理分析，通过视频拼接器连接到组合监控屏幕，将音视频信息在组合监控屏幕上显示，所述信息处理单元还通过车载收发机向无人运行机构的操控装置发送控制指令、从而控制无人运行机构的行驶状态；

信息融合单元，对信息采集单元获取的多种信息资源进行综合整理、并消除多源信息之间存在的冗余和矛盾，所述信息融合单元采用有线通信方式将视频会议终端、集群终端、移动通信设备进行互联互通并建立融合通信平台，同时采用多种网络融合的通信调度策略对应急事件进行统一指挥调度和应急决策信息的实时发送；

综合控制单元，在控制界面上对无人运行机构进行航线规划、航行控制、航行监视以及控制过程的信息存储，所述航线规划通过在线加载电子地图模块，输入路线规划后的路线节点对应的经纬度信息，从而对无人机、无人船、以及无人水下航行器按照规划好的地点进行自动巡航；所述航行控制方式为通过设定航行参数、从而在控制界面上操控无人机、无人船、以及无人水下航行器的速度和航向；所述航行监视为对实时航行数据以及监控画面进行可视化显示；同时所述综合控制单元对无人运行机构的航行数据以及自动模式下无人机、无人船、无人水下航行器路线规划后的路线节点对应的经纬度信息进行实时存储；

通信单元，采用海事卫星通信、无线通信、北斗通信和4G/5G通信方式将无人船、无人机以及无人水下航行器与综合控制单元建立图像、数据和语音的远程通信方式。

2.根据权利要求1所述的面向海空协同异构无人系统的一体化平行控制平台，其特征在于：所述综合控制单元对无人船和无人水下航行器进行手动控制和自动控制，当选择手动模式时，所有的控制命令直接由综合控制单元发出，当选择自动模式时，综合控制单元将设定好的运动轨迹点传送至主航行控制系统。

3.根据权利要求1所述的面向海空协同异构无人系统的一体化平行控制平台，其特征在于：所述综合控制单元对无人机进行控制时采用三种控制方式，分别为：采用指挥车内摇杆设备对无人机进行实时调控，通过指挥车的显示界面对无人机进行远程调控，采用飞行VR眼镜对无人机进行远程调控，根据任务需求及使用环境对控制方式进行切换和选择。

4.根据权利要求3所述的面向海空协同异构无人系统的一体化平行控制平台，其特征在于：所述综合控制单元对无人运行机构进行调控时采用组合监控屏幕分别控制无人机、无人船、以及无人水下航行器的运动过程，其中组合监控屏幕由多块子屏幕组成，各子屏幕独立显示监控画面或通过视频拼接器任意组合显示监控画面。