CN112255956B - 一种无人机多模态通讯控制系统和方法 - Google Patents

Abstract

本发明公布了无人机多模态通讯控制系统和方法，该控制系统包括无人机端、控制端、中心服务器及后方控制中心，具备私有微波COFDM和公共运营商网络两种数据传输模式，亦具备前方控制站和后方远程控制中心两种控制源，由此能够组合出多种不同的通讯与控制模式，可在不进行任何硬件和软件适配改动的情况下实现多个模式的通讯，达成现有无人机通讯技术无法全部适配的应用模式，不需要用户进行任何手动转换即可适配多种应用场景，实现无缝切换，有助于提高无人机在远距离飞行时操控的便捷性和实时性，拓展控制距离和应用场景。当微波链路和4G链路同时可工作时，两者处于互为备份的状态，由系统自动根据通讯质量选择，提升通讯性能和可靠性。

Description

一种无人机多模态通讯控制系统和方法

技术领域

本发明涉及一种控制系统，具体涉及一种无人机多模态通讯控制系统和方法；属于无人机飞控技术领域。

背景技术

通讯功能无人机的一项必备技术，现有技术包括单微波数据链、Wifi/蓝牙等短距离数据链和4G/5G等公网数据链。其中，wifi/蓝牙数据链的作用距离极短，只能应用在玩具无人机上，无法应用在远距离飞行的无人机上；微波数据链具有较长的通讯距离（通常为公里级），但是在山地、城市环境下容易受到地形遮挡，导致通讯中断；4G/5G数据链要求无人机飞行的环境必须有完整成熟的运营商网络覆盖，在城市使用效果较好，而无人机在野外作业时信号质量常常较差，导致其控制实时性效果不好、时延长、稳定性较差。

鉴于上述原因，有必要开发一种适用于远距离飞行的无人机通讯与控制技术，实现无人机在远距离飞行时操控的便捷性和实时性。

发明内容

为解决现有技术的不足，本发明的目的在于提供一种同时支持微波数据链和运营商数据链的无人机及控制站硬件及其控制方式，可实现多个模式的通讯，不需要用户进行任何手动转换即可适配多种应用场景，实现无缝切换。

为了实现上述目标，本发明采用如下的技术方案：

本发明首先公布了一种无人机多模态通讯控制系统，包括：

无人机端：包括微波数据链天空端、4G/5G接入模块、主控模块天空端、飞控模块和执行器模块，微波数据链天空端和4G/5G接入模块均与主控模块天空端连接，主控模块天空端接收微波数据链与4G/5G模块天空端两种输入，根据消息的发送和到达时间判别后再传输给飞控模块；飞控模块接收指令，控制执行器模块按照指令进行动作；

控制端：包括摇杆模块、显示屏模块、主控模块地面端、微波数据链地面端和4G/5G接入模块；所述微波数据链地面端与微波数据链天空端通过私有的微波信号保持连接，并通过以太网连接至主控模块地面端；4G/5G接入模块与主控模块地面端相连接；所述摇杆模块和显示屏模块均与所述主控模块地面端连接，用于接收用户的指令，并显示无人机拍摄的画面和飞行数据；

中心服务器：协调各个节点进行通讯；

后方控制中心：与所述无人机端或控制端进行通讯，发送控制指令和显示数据。

优选地，前述中心服务器通过运营商网络与无人机端和控制端进行通讯，通讯节点均通过NTP协议与中心服务器进行对时。

更优选地，前述后方控制中心为一台PC，通过以太网接入公共网络。

再优选地，前述控制端为一遥控器。

本发明还公布了利用前述的通讯控制系统实现多模态通讯控制的方法，该方法包括：

S1.系统通电，启动底层硬件、设备驱动；

S2.读取设备/人员标识符，凭借标识符和安全校验码向中心服务器进行上线注册；

S3.发送数据；

S4.接收数据。

优选地，前述步骤S3包括以下子步骤：

S3.1 根据用户操作生成发送指令数据包，标明发送方/接收方和发送时间；

S3.2 判断节点自身是否有正常工作的微波数据链，如有则通过微波数据链向匹配端发送该数据包；

S3.3 判断节点自身是否有正常工作的运营商链路，如有则通过运营商链路向中心服务器发送该数据包。

进一步优选地，前述步骤S4包括以下子步骤：

S4.1 维护一个时间变量，存储判定有效的最新一条指令的发送时间；

S4.2 扫描微波数据链和运营商数据链接口，从微波数据链匹配端和运营商链路服务器端按照时间顺序顺序取出指令，从数据包中解析出其数据发送时间；

S4.3 如其数据发送时间后于S4.1中维护的最新指令发送时间，则认为该指令有效，以其发送时间更新S4.1中的时间，并执行指令；若其数据发送时间先于S4.1中维护的最新指令发送时间，则忽略该指令。

再进一步优选地，前述中心服务器的运行流程如下：

（1）监听指定端口，如有设备试图连接，则要求其发送自身标识符和安全校验码：

（2）如其标识符和安全检验码匹配，则为其启动两个服务线程，分别处理本设备的接收和发送事务；

（3）发送事务：从线程池中读取发送请求，若有目标地址为本设备的发送请求，则将其数据包转发至本线程对应的设备；

（4）接收事务：从连接中读取数据包，若有数据包，则解析其中的接收方标识符，并将其作为目标地址，通知线程池中对应的发送事务线程；若连接中断，则销毁自身和该目标的发送事务线程。

更进一步优选地，为了提高系统整体性和统一性，所有通讯和控制数据包均通过如下格式打包传输：首部两个字节为固定的包头，其后两个字节表示整个数据包的长度，再其后通过一段数据表示发送方的标识符，再其后通过一段数据表示接收方的标识符，再其后使用八个字节表示数据包发送的UTC时间，最后为跟随的实际数据包内容和校验码。

再进一步优选地，发送方和接收方标识符按照无人机端、地面端和后方控制中心三大类进行编码，每台设备具有唯一的标识符，无人机端采用机身序列号进行标识，地面端采用设备序列号进行标识，后方控制中心采用操作员账号编码进行标识。

本发明适用于远距离飞行的无人机通讯与控制领域，其具备私有微波COFDM和公共运营商网络两种数据传输模式，亦具备前方控制站和后方远程控制中心两种控制源，由此能够组合出多种不同的通讯与控制模式，可以在不进行任何硬件和软件适配改动的情况下实现以下多个模式的通讯，达成现有无人机通讯技术无法全部适配的应用模式，不需要用户进行任何手动转换即可适配以下多种应用场景，实现无缝切换，有助于提高无人机在远距离飞行时操控的便捷性和实时性，拓展控制距离和应用场景。

本发明的有益之处在于：

（1）无人机由前方控制站经微波数据链直接控制，具备最好的操控性和实时性，同时数据可经运营商网络传输至后方远程控制中心，这是现有技术中的单运营商数据链所无法实现的；

（2）当微波链受阻时，无人机由前方控制站经运营商网络控制，可以实现非通视环境下的通讯和控制，这是现有技术中的单微波链无法实现的；

（3）后方控制中心经运营商网络控制前方控制站，前方控制站经过微波数据链转发到无人机，实现非运营商网络覆盖环境下的后方超控，这是现有技术中的机载微波/运营商网络均无法实现的；

（4）后方控制中心可经运营商网络直接控制无人机，这是现有技术中的单微波链无法实现的。

（5）当微波链路和4G链路同时可工作时，两者处于互为备份的状态，由系统自动按照链路上消息发送和到达的时间进行判别，于消息级的尺度上在两条数据链路之间选优，可以更好地应对单个链路出现波动，导致短时丢包、延时跳动的情况，降低通讯延时，提高通讯稳定性。

（6）搭建了一台中心服务器，设计了服务器上运行的节点接入和数据传输方法，从运营商网络接入的节点需要凭借设备ID/操作员ID进行鉴权，并且可为系统内其他节点提供高精度的时间基准，能够提供安全可靠高性能的数据传输服务，节点上线、下线、数据转发服务均无需用户手动操作。

附图说明

图1是本发明的无人机多模态通讯与控制系统的总体框图；

图2是本发明的无人机多模态通讯与控制系统取指令流程图；

图3是本发明的无人机多模态通讯与控制系统中微波数据链阻断情况下的系统工作模式图；

图4是本发明的无人机多模态通讯与控制系统拟合平面示意图；

图5是本发明的无人机多模态通讯与控制系统服务器端软件流程示意图。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍。

本发明的通讯控制系统适用于远距离飞行的无人机，能够实现多模态通讯与控制模式，整体结构如图1所示，包括无人机端（也叫天空端）、控制端、中心服务器和后方控制中心。

其中，无人机端包括：微波数据链天空端、4G/5G接入模块、主控模块天空端、飞控模块和执行器模块，微波数据链天空端通过以太网与主控模块连接，4G/5G接入模块通过PCIE接口与主控模块天空端连接，应用层也体现为以太网接口；主控模块天空端接收微波数据链与4G/5G接入模块两种输入，经过汇总判别后再传输给飞控模块；飞控模块接收指令，再控制执行器模块按照指令进行动作。

控制端即为前方控制站，一般体现为遥控器，主要包括摇杆模块、显示屏模块、主控模块地面端、微波数据链地面端和4G/5G接入模块。微波数据链地面端安装在前方控制站（遥控器上），与微波数据链天空端通过私有的微波信号保持连接，并通过以太网连接至主控模块地面端。4G/5G接入模块通过PCIE接口与主控模块地面端连接，应用层同样体现为以太网。主控模块地面端还连接有摇杆模块和显示屏模块，用于接收用户的指令，并显示无人机拍摄的画面和飞行数据。

中心服务器为架设在公网上的一台服务器或服务器集群，具有固定的域名和公网IP，用于协调各个节点进行通讯。为便于对控制信号的时效性进行判别，所有的通讯节点均通过NTP协议与中心服务器进行对时，保证各节点之间的时间误差低于10ms。

后方控制中心为一台PC，通过以太网接入公共网络。PC上安装有本系统的通讯和显示软件，可以与前方控制站或无人机通过公共网络进行通讯，并发送控制指令、显示数据等。

为提高通讯控制系统的整体性和统一性，所有通讯和控制数据包均通过统一的格式打包传输，其典型帧结构如下表1所示。其首部两个字节为固定的包头，其后两个字节表示整个数据包的长度，再其后通过一段数据表示发送方的标识符，再其后通过一段数据表示接收方的标识符，再其后使用八个字节表示数据包发送的UTC时间，最后为跟随的实际数据包内容和校验码。发送方和接收方标识符按照无人机端、地面端和后方控制中心三大类进行编码，每台设备具有唯一的标识符，无人机端采用机身序列号进行标识，地面端采用设备序列号进行标识，后方控制中心采用操作员账号编码进行标识。

表1 通用消息结构列表

系统中的每个节点在上线后均按照图2所示的流程运行取指令操作，具体步骤如下：

S1.系统通电，启动底层硬件、设备驱动；

S2.读取设备/人员标识符，凭借标识符和安全校验码向中心服务器进行上线注册；

S3.数据发送流程，包括以下子步骤：

S3.1 根据用户操作生成发送指令数据包，标明发送方/接收方和发送时间；

S3.2 判断节点自身是否有正常工作的微波数据链，如有，则通过微波数据链向匹配端发送该数据包；

S3.3 判断节点自身是否有正常工作的运营商链路，如有，则通过运营商链路向中心服务器发送该数据包；

S4.数据接收流程，包括以下子步骤：

S4.1 维护一个时间变量，存储判定有效的最新一条指令的发送时间（系统刚启动时置为零）；

S4.2 扫描微波数据链和运营商数据链接口，从微波数据链匹配端和运营商链路服务器端按照时间顺序顺序取出指令，从数据包中解析出其数据发送时间；

S4.3 如其数据发送时间后于S4.1中维护的最新指令发送时间，则认为该指令有效，以其发送时间更新S4.1中的时间，并执行指令；若其数据发送时间先于S4.1中维护的最新指令发送时间，则忽略该指令。

中心服务器则按照图5所示的流程运行，包括以下步骤：

（1）监听指定端口，如有设备试图连接，则要求其发送自身标识符和安全校验码：

（2）如其标识符和安全检验码匹配，则为其启动两个服务线程，分别处理本设备的接收和发送事务；

（3）发送事务：从线程池中读取发送请求，若有目标地址为本设备的发送请求，则将其数据包转发至本线程对应的设备；

（4）接收事务：从连接中读取数据包，若有数据包，则解析其中的接收方标识符，并将其作为目标地址，通知线程池中对应的发送事务线程；若连接中断，则销毁自身和该目标的发送事务线程。

为了更好地理解和实施本发明，下面对该通讯控制系统的工作过程进行简要说明：在前方控制站与无人机间距处于微波数据链覆盖范围内、两者通视无遮挡、且两者均有4G/5G信号覆盖时，此时微波数据链与运营商网络数据链均可正常工作，通讯和控制指令处于双备份、两者选优的状态。考虑到微波数据链在近距离处带宽高、延迟低，远距离处带宽低、延迟高、通讯不稳定，而运营商数据链在不同距离处延迟基本均处于中等水平，因此通过该机制能够对两种来源的数据进行自动适配和判别。前方控制站在接收到摇杆操纵指令后，将操纵指令按照表1所示的协议打包，带上指令发送时间，经微波数据链和运营商数据链同时发出。无人机端则不停扫描两个数据链接口，一旦任一接口接收到控制指令，则按照图2所示的算法流程进行判断。

工作过程中，无人机需要首先维护一个最新接受的控制指令发出时间，对于每条到达的指令，分别比较其发送时间与无人机记录的最新一条控制指令时间，如刚到达的指令更新，则以其发送时间更新最新时间，并响应其指令；否则认为该指令所传输的通道时延更长，另一条数据通道上已有同样的消息甚至更新的消息到达，则该信息将被舍弃。由此可以实现消息级的数据链热备份，针对每条消息自动选择延迟更低、通讯质量更可靠的链路，且两条链路同时处于工作状态，不存在链路切换时间，不需要操作员指令主动切换数据链，比双数据链切换的工作模式更优。

如图3所示，当无人机飞出微波数据链通讯范围，或通讯受到地形遮挡被阻断时，以上算法工作不受影响，其直接响应前方控制站经运营商网络发送的控制信号，前方控制站可继续对无人机实施控制，达成视距外的远程遥控。

如图4所示，当无人机在野外或者高空作业，无人机所处的位置网络覆盖较差时，通过图2所示的算法过程，无人机可继续响应前方控制站经微波链路发送的控制信息，并且后方控制中心可通过公共网络操控前方控制站，实现无人机在没有运营商网络覆盖下的后台远程指挥。

综上，本发明的通讯控制系统尤其适用于远距离飞行的无人机，具备私有微波COFDM和公共运营商网络两种数据传输模式，前方控制站和后方远程控制中心两种控制源，由此组合出多种不同的通讯与控制模式，可以在不进行任何硬件和软件适配改动的情况下实现以下多个模式的通讯，达成现有无人机通讯技术无法全部适配的应用模式，且不需要用户进行任何手动转换即可适配以下多种应用场景，实现无缝切换。在微波链路和4G链路同时可工作时，两者处于互为备份的状态，由系统自动根据通讯质量选择，提升通讯性能和可靠性。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (8)

1.一种无人机多模态通讯控制系统，其特征在于，包括：

无人机端：包括微波数据链天空端、4G/5G接入模块、主控模块天空端、飞控模块和执行器模块，微波数据链天空端和4G/5G接入模块均与主控模块天空端连接，主控模块天空端接收微波数据链与4G/5G模块天空端两种输入，根据消息指令发送和到达的时间进行判别后再传输给飞控模块；飞控模块接收指令，控制执行器模块按照指令进行动作；控制端：包括摇杆模块、显示屏模块、主控模块地面端、微波数据链地面端和4G/5G接入模块；所述微波数据链地面端与微波数据链天空端通过私有的微波信号保持连接，并通过以太网连接至主控模块地面端；4G/5G接入模块与主控模块地面端相连接；所述摇杆模块和显示屏模块均与所述主控模块地面端连接，用于接收用户的指令，并显示无人机拍摄的画面和飞行数据；

中心服务器：协调各个节点进行通讯；

后方控制中心：与所述无人机端或控制端进行通讯，发送控制指令和显示数据；

其中，在数据发送过程中，采用如下控制逻辑：

（1）根据用户操作生成发送指令数据包，标明发送方/接收方和发送时间；

（2）判断节点自身是否有正常工作的微波数据链，如有则通过微波数据链向匹配端发送该数据包；

（3）判断节点自身是否有正常工作的运营商链路，如有则通过运营商链路向中心服务器发送该数据包。

2.根据权利要求1所述的一种无人机多模态通讯控制系统，其特征在于，所述中心服务器通过运营商网络与无人机端和控制端进行通讯，通讯节点均通过NTP协议与中心服务器进行对时。

3.根据权利要求1所述的一种无人机多模态通讯控制系统，其特征在于，所述后方控制中心为一台PC，通过以太网接入公共网络。

4.根据权利要求1所述的一种无人机多模态通讯控制系统，其特征在于，所述控制端为一遥控器。

5.利用权利要求1-4任一项所述的通讯控制系统实现多模态通讯控制的方法，其特征在于，包括：

S1.系统通电，启动底层硬件、设备驱动；

S2.读取设备/人员标识符，凭借标识符和安全校验码向中心服务器进行上线注册；

S3.发送数据；

包括以下子步骤：

S3.1 根据用户操作生成发送指令数据包，标明发送方/接收方和发送时间；

S3.2 判断节点自身是否有正常工作的微波数据链，如有则通过微波数据链向匹配端发送该数据包；

S3.3 判断节点自身是否有正常工作的运营商链路，如有则通过运营商链路向中心服务器发送该数据包；

S4.接收数据；

包括以下子步骤：

S4.1 维护一个时间变量，存储判定有效的最新一条指令的发送时间；

S4.2 扫描微波数据链和运营商数据链接口，从微波数据链匹配端和运营商链路服务器端按照时间顺序顺序取出指令，从数据包中解析出其数据发送时间；

S4.3 如其数据发送时间后于S4.1中维护的最新指令发送时间，则认为该指令有效，以其发送时间更新S4.1中的时间，并执行指令；若其数据发送时间先于S4.1中维护的最新指令发送时间，则忽略该指令。

6.根据权利要求5所述的多模态通讯控制的方法，其特征在于，所述中心服务器的运行流程如下：

（1）监听指定端口，如有设备试图连接，则要求其发送自身标识符和安全校验码：

（2）如其标识符和安全检验码匹配，则为其启动两个服务线程，分别处理本设备的接收和发送事务；

（3）发送事务：从线程池中读取发送请求，若有目标地址为本设备的发送请求，则将其数据包转发至本线程对应的设备；

（4）接收事务：从连接中读取数据包，若有数据包，则解析其中的接收方标识符，并将其作为目标地址，通知线程池中对应的发送事务线程；若连接中断，则销毁自身和该目标的发送事务线程。

7.根据权利要求5所述的多模态通讯控制的方法，其特征在于，所有通讯和控制数据包均通过如下格式打包传输：首部两个字节为固定的包头，其后两个字节表示整个数据包的长度，再其后通过一段数据表示发送方的标识符，再其后通过一段数据表示接收方的标识符，再其后使用八个字节表示数据包发送的UTC时间，最后为跟随的实际数据包内容和校验码。

8.根据权利要求5所述的多模态通讯控制的方法，其特征在于，发送方和接收方标识符按照无人机端、地面端和后方控制中心三大类进行编码，每台设备具有唯一的标识符，无人机端采用机身序列号进行标识，地面端采用设备序列号进行标识，后方控制中心采用操作员账号编码进行标识。

Images