CN108965303B - 一种基于Redis的多型无人机统一数据接入与处理系统 - Google Patents

一种基于Redis的多型无人机统一数据接入与处理系统 Download PDF

Info

Publication number
CN108965303B
CN108965303B CN201810823137.5A CN201810823137A CN108965303B CN 108965303 B CN108965303 B CN 108965303B CN 201810823137 A CN201810823137 A CN 201810823137A CN 108965303 B CN108965303 B CN 108965303B
Authority
CN
China
Prior art keywords
video
data
server
unmanned aerial
redis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810823137.5A
Other languages
English (en)
Other versions
CN108965303A (zh
Inventor
梁中岩
郭乔进
许建
胡杰
罗毅
时高山
宫世杰
陈文明
孟剑萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 28 Research Institute
Original Assignee
CETC 28 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 28 Research Institute filed Critical CETC 28 Research Institute
Priority to CN201810823137.5A priority Critical patent/CN108965303B/zh
Publication of CN108965303A publication Critical patent/CN108965303A/zh
Application granted granted Critical
Publication of CN108965303B publication Critical patent/CN108965303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于Redis的多型无人机数据统一接入与处理系统，包括数据接入服务器、数据转发服务器、Redis服务器、视频处理服务器群、NTP服务器、数据库服务器和客户端。数据接入服务器根据不同无人机类型接收来自不同无人机的数据，并添加本地服务器时间戳和视频元数据，而后将无人机数据发送到数据转发服务器。数据转发服务器根据协议规则解析出数据，并将数据信息存储至Redis服务器。视频处理服务器群通过从Redis服务器获取数据信息，并通过UDP进行数据广播，对视频数据进行录制、可疑目标自动检测及跟踪。客户端通过UDP广播接收无人机数据信息。客户端读取具有标准格式的视频帧和飞行载荷数据，而不需要根据不同的无人机类型进行视频和飞行数据格式适配。

Description

一种基于Redis的多型无人机统一数据接入与处理系统
技术领域
本发明属于无人机数据处理领域，尤其涉及一种基于Redis的多型无人机统一数据接入与处理系统。
背景技术
随着无人机技术的发展，越来越多类型的无人机需要被接入到指挥中心系统，多无人机协同指挥调度正在成为主要研究方向，无人机控制正由“一站一机”向“一站多机”发展。而不同的无人机使用不同的视频数据和传输协议，无法与其它无人机互联互通。为了提高不同无人机的组网能力，提高无人机编队的综合指挥作战能力，就需要将不同无人机视频和飞行数据统一转换为标准格式后再接入指控系统，由指控系统负责对各种无人机数据进行解译，并可下达操作指令给不同的地面站系统。而无人机与地面站之间的系统耦合度较高，各厂家为了自身无人机系统的安全性和稳定性，协调各厂家使用统一的地面站系统难度较大，亟需一种能在现有地面站系统上接入不同无人机数据的指挥中心。为了保证各无人机系统的稳定运行，指挥中心并不直接对无人机进行控制，而是将指令下达到地面控制站，再由地面控制站决定是否执行指令。无人机实时视频对系统时延有非常高的要求，适合使用Redis缓存服务来处理。Redis是一个基于内存的高性能的Key‐value数据库，并且所有操作都是原子性的。
发明内容
发明目的：针对以上现有技术存在的问题，本发明提供一种简单、高效、易于部署的多型无人机统一数据接入与处理系统。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于Redis的多型无人机统一数据接入与处理系统，其特征在于，该系统包括数据接入服务器、数据转发服务器、Redis服务器、视频处理服务器群、NTP服务器、数据库服务器和客户端；
所述数据接入服务器，用于解析多型无人机通过不同信道传输的视频数据和飞行载荷数据，将其转换为预设标准数据格式；具体的，将视频数据转换为H.264或H.265格式，飞行载荷数据转换为预设标准格式数据。
并从飞行载荷数据中提取与视频有关的信息形成视频元数据，将附加服务器本地时间信息和视频元数据的H.264或H.265格式的视频和标准化的飞行载荷数据分别通过两个信道转发到数据转发服务器；对于每次发送的视频帧数据报，时间数据和视频元数据加在视频帧数据报的末尾，在接收端先将时间数据和视频元数据从报文末尾拆分出来，再对视频帧部分进行解码。
所述数据转发服务器，用于解析接收到的附加时间信息和视频元数据的视频流和标准格式的飞行载荷数据流，将视频流数据拆分为标准视频帧、对应的时间信息和视频元数据，而后将标准视频帧、时间信息、视频元数据和标准的飞行载荷数据存储到Redis服务器中；
所述Redis服务器，用于存储数据转发服务器发送的视频帧数据、时间信息、飞行载荷数；
所述视频处理服务器群，从Redis服务器上获取视频帧和各种飞行载荷数据，将视频数据和飞行载荷数据广播到客户端，并录制视频帧为标准视频格式，从Redis服务器上读取视频处理指令用于视频的后台处理，记录相关信息到数据库服务器中；
所述NTP服务器，用来同步所有网络设备的时间；
所述数据库服务器，用来保存视频存储路径、视频存储时间、视频元数据、多语言界面数据和目标检测结果数据信息；
所述客户端，用来显示接收视频处理服务器群发送的数据以及调取存储的标准格式的历史视频显示。
其中，所述视频处理服务器群功能如下：
视频接收功能，从Redis服务器中提取视频帧，并将视频帧编码为预设格式的视频流，而后通过广播方式发送到客户端；
视频录制功能，将视频录制为标准格式并存储在磁盘上，以供调用；
目标检测功能，对可疑目标进行检测，并将检测结果存入数据库，发生告警事件时，将告警信息存入数据库服务器；
目标跟踪功能，根据用户存储在Redis服务器中标记的视频区域进行视频跟踪，并将跟踪结果写回Redis服务器中的字段；
飞行载荷数据接收功能，实时读取Redis服务器中的飞行载荷数据，并将其封装为标准格式数据，发送到客户端。
其中，所述视频处理服务器群后台处理包括：视频存储、视频目标检测和视频目标跟踪。
其中，目标检测功能使用基于深度学习技术对目标进行检测。
其中，客户端还包括如下功能：
(1)客户端通过向Redis服务器目标检测控制参数表中写入控制参数表，即发送目标检测控制指令；
(2)Redis服务器存储客户端发送的指令等待视频处理服务器群读取；
(3)视频处理服务器群通过轮询Redis服务器中的视频帧数据表和目标检测控制参数表，分别获取实时视频帧和控制指令，并调用目标检测服务执行目标检测任务，控制指令需要与视频帧配合，控制指令是告诉服务器要做什么，视频帧是告诉服务器要在哪做，服务器才能知道对哪个视频帧的进行哪种目标检测。
(4)视频处理服务器群向数据库服务器中写入目标检测结果；
(5)客户端通过查询目标检测结果数据库获取目标检测结果。
其中，所述客户端还包括如下功能：
(1)客户端通过人工框选视频目标区域，获得无人机视频目标跟踪区域的左上角坐标和目标在视频中的宽高(x,y,w,h)，
(2)将(x,y,w,h)写入到Redis服务器中的目标跟踪控制参数表，即发送目标跟踪控制指令；
(3)视频处理服务器群轮询目标跟踪控制参数表，在表内容发生变更后，执行相应的目标跟踪任务，并将跟踪结果写入目标跟踪结果参数表；
(4)客户端通过轮询目标结果参数表获取目标跟踪结果，并将视频目标跟踪结果实时显示在界面上。
其中，所述数据接入服务器功能如下：将不同类型的无人机视频和飞行载荷数据在前端解码后再编码成标准视频流和标准数据格式，在需要接入新型无人机时，只需要对无人机地面站发送的视频和飞行载荷数据接入进行适配并转换为标准格式。
其中，在接入新型无人机时，所述数据接入服务器对视频和飞行载荷数据接入进行适配转换为标准格式功能如下：
(1)数据接入服务器中的视频接入和飞行载荷数据接入转换为标准格式均以单独模块提供，各模块支持扩展支持新机型的视频接入插件和飞行载荷数据接入插件；
(2)添加新的视频接入模块插件，根据新型无人机的视频格式接入要求，将新型无人机的视频在视频接入模块解码，并编码为标准格式视频流，附加数据接入服务器时间信息和视频元数据，并发送到数据转发服务器；
(3)添加新的飞行载荷数据接入模块插件，根据新型无人机的飞行载荷数据格式要求，将新型无人机的飞行数据和载荷数据解码后，重新编码为标准飞行载荷数据结构，并发送到数据转发服务器。
有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：
本发明通过使用高效的Redis服务器实现对视频数据和飞行数据的集中管理与实时分发与获取。通过使用NTP服务器统一授时服务，来同步所有网络设备的时间。通过将不同类型无人机的数据转换为标准数据，降低了客户端的开发难度，通过插件的形式即可扩充无人机数据接入服务器支持的无人机类型，减少了适配工作量，提高了工作效率。
附图说明
图1为本发明实施例的系统架构示意图；
图2为本发明实施例的目标跟踪任务客户端、Redis服务器与视频处理服务器群的交互关系图；
图3为本发明实施例的数据统一接入与处理流程图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
本发明实施例公开了一种基于Redis的多型无人机数据统一接入与处理系统。
图1为本发明一个具体应用的系统架构示意图，如图所示，本发明采用Redis服务器进行实时数据的集中管理与分发获取，主要包括以下部分：数据接入服务器、数据转发服务器、Redis服务器、视频处理服务器群、NTP服务器、数据库服务器和客户端。
数据接入服务器通过网络连接无人机地面站系统接入无人机原始回传数据，根据不同无人机的协议，解析出回传数据中的视频数据、飞行数据、载荷数据等，并将这些数据转换为标准数据格式(标准飞行载荷数据格式如表1所示)，视频数据(标准视频数据为H.264或H.265视频流)在末尾添加时间戳信息和视频元数据，而后通过RTSP或UDP方式发送到数据转发服务器。其中，飞行数据是无人机自身相关的数据，包括无人机的位置、无人机的姿态等；载荷数据是无人机挂载的设备产生的数据(不含视频)，包含光电载荷、SAR雷达等；飞行载荷数据是飞行数据和载荷数据的统称；视频元数据是与视频处理有关的飞行载荷数据，包含无人机的位置信息、无人机的姿态信息、光电传感器的载荷工作模式、多合一光电传感器当前工作传感器类型(可见光或红外)、载荷横向视场角、载荷纵向视场角、载荷焦距、载荷相对飞机的方位角、载荷相对飞机的俯仰角和激光计算的目标纬度、激光计算的目标经度、激光计算的目标距离、激光计算点的目标解算高度；飞行载荷数据除了包含视频元数据外还包含合成孔径(SAR)雷达、无人机的续航能力等其它飞行载荷数据。由于视频数据与飞行载荷数据采用不同信道传输，数据接入服务器将视频元数据从飞行载荷数据中剥离出来附加到视频数据中，与视频数据一同传输，可在最靠近前端的位置进行数据同步，避免网络延迟带来的数据同步问题。
数据转发服务器，接收来自数据接入服务器的数据，将视频解码为视频帧，飞行数据和载荷数据解码为Redis关键字，并将其存储到Redis服务器上，视频帧数据表结构如表2所示。
以目标跟踪过程为例的客户端、Redis服务器、视频处理服务器群的交互关系如图2所示，图中目标跟踪控制/结果参数表如
表3所示。
客户端，用于用户浏览实时视频、分配及变更实时视频处理任务。客户端通过Redis服务器向视频处理服务器群发送控制指令，客户端可以通过人工操作发布新指令或改写Redis服务器中的现有指令来分配或变更实时视频处理任务，具体指令格式如
表3、表4和表5所示。
Redis服务器是一种高效的内存数据库服务器，将数据存储在内存中可以进行高效的读写操作。以目标跟踪过程为例，Redis服务器为视频目标跟踪任务维护1张目标跟踪控制参数表和1张目标跟踪结果参数表，这两种表格具有相同的数据结构，如
表3所示，目标跟踪过程中的客户端、Redis服务器、视频处理服务器群的交互关系如图2所示，步骤如下：
(1)客户端通过人工框选视频目标区域向Redis服务器目标跟踪控制参数表(
表3)中写入控制参数，即需跟踪区域在视频帧中的坐标和宽高，即发送目标跟踪控制指令；
(2)Redis服务器维护目标跟踪控制参数表并等待视频处理服务器群读取；
(3)视频处理服务器群通过轮询Redis服务器中的视频帧数据表(表2)和目标跟踪控制参数表，分别获取实时视频帧和待跟踪目标在视频帧中的坐标和宽高来执行目标跟踪任务，目标跟踪区域参数表如
表3所示；
(4)视频处理服务器群向Redis服务器目标跟踪结果参数表中实时写入视频处理结果(跟踪目标在跟踪后的视频帧中的坐标和宽高)；
(5)Redis服务器存储视频处理服务器群处理得到的目标跟踪结果参数表，等待客户端读取；
(6)客户端通过轮询读取视频处理服务器群存储在Redis服务器中的目标跟踪结果参数表获取目标跟踪结果，并根据跟踪后目标的位置坐标和宽高，将目标区域实时显示在界面上。客户端读取Redis服务器中的目标跟踪结果字段，并将视频目标跟踪结果实时显示在界面上。
视频处理服务器群负责对实时视频进行录制、目标跟踪、可疑目标检测和告警信息发送。视频处理服务器群一方面通过轮询方式从Redis服务器中获取视频帧和飞行载荷数据，其中视频帧编码为H.264或H.265格式，将编码后的H.264或H.265视频流和飞行载荷数据通过UDP广播发送到接收客户端，视频流和飞行载荷数据分别使用不同端口，同时将视频帧录制存储为标准MP4格式，存储格式为<无人机编号>_<地面站编号>_<任务号>_<毫秒数>.mp4，如3002_01_1001_1530176357000.mp4；另一方面视频处理服务器群通过轮询方式从Redis服务器中获取客户端存储在Redis服务器中的视频处理指令，对视频进行目标跟踪、可疑目标检测等视频处理操作，并将处理结果写回Redis服务器中的相应键值中。
Redis服务器是内存数据库服务器，不会主动发出报文，文中所有交互都需要视频处理服务器通过轮询方式从Redis服务器中获取信息，同理，客户端也需要通过轮询方式从Redis服务器中获取目标跟踪处理结果。
视频流和飞行载荷数据广播数据所使用的地址定义如下：
(1)视频流使用224.0.0.1:24000+<编号>广播地址，例如，第0路视频使用224.0.0.1:24000，第2路视频使用224.0.0.1:24002；
(2)飞行载荷数据使用224.0.0.1:35000+<编号>广播地址，例如，第1路飞行载荷数据使用224.0.0.1:35001；
数据库服务器，用于存储多语言界面数据、历史视频数据、目标检测结果数据(表6)等用于长期存放的数据。将相关信息数据包括库存储的存储多语言界面数据、历史视频数据、目标检测结果数据(表6)等用于长期存放的数据存放在数据库服务器中。
图3为本发明的多型无人机数据统一接入与处理流程图。数据接入服务器负责从多种无人机上接收并解码原始飞行、载荷及视频数据，并将视频数据转换为H.264或H.265标准格式，飞行载荷数据转换为如表1所示的标准格式，而后通过UDP单播方式将标准格式数据发送给数据转发服务器。数据转发服务器接收来自数据接入服务器单播过来的带时间戳信息的标准格式的视频和飞行载荷数据，并将视频帧和飞行载荷数据分别存储到Redis服务器视频帧数据表(表2)中。视频处理服务器群包含视频接收、视频广播、视频录制、目标检测、目标跟踪、飞行及载荷数据接收等功能。视频接收功能负责以30帧每秒的速度从Redis服务器视频帧数据表中提取视频帧，并将视频帧编码为H.264或H.265视频流，而后通过UDP广播方式发送到客户端；视频录制功能负责将视频录制为标准MP4格式并存储在磁盘上，供日后调用；目标检测功能基于深度学习技术对可疑目标进行检测，并将检测结果存入数据库，发生告警事件时，将告警信息存入数据库服务器；目标跟踪功能根据用户存储在Redis服务器中标记的视频区域进行视频跟踪，并将跟踪结果写回Redis服务器中相关字段；飞行及载荷数据接收功能负责实时读取Redis服务器中的飞行及载荷数据，并将其封装为标准格式通过UDP广播方式发送到客户端。客户端接收来自UDP广播的视频和飞行载荷数据，并根据用户在界面上的操作改写Redis服务器中的视频目标跟踪控制参数(
表3)或视频目标检测控制参数(表4)，这些控制参数都由视频处理服务器群轮询读取，其中目标跟踪任务将处理结果写入Redis服务器目标跟踪结果参数表，目标检测任务将处理结果写入数据库服务器；客户端实时解析Redis服务器中的视频目标跟踪结果参数表，并将原始视频画面、视频处理结果和飞行载荷数据同步显示在客户端界面上。
标准飞行载荷数据结构如表1所示，该表可根据实际接入的无人机数据进行扩充，为保证兼容性，该结构只可在原结构基础上进行扩展，不可修改已定字段：
表1标准飞行载荷数据结构描述
Figure BDA0001741821950000071
Figure BDA0001741821950000081
Figure BDA0001741821950000091
Figure BDA0001741821950000101
Figure BDA0001741821950000111
在图3中，Redis服务器中存储的视频帧数据存储结构如表2所示，数据转发服务器将H.264或H.265视频解码后重新编码并存储在Redis服务器中的视频帧数据表中：
表2 Redis服务器中视频帧数据存储结构
Figure BDA0001741821950000112
在图2和图3中，Redis服务器中存储的视频处理目标跟踪控制/结果参数组成如
表3所示：
表3视频处理目标跟踪控制/结果参数组成
Figure BDA0001741821950000113
在表3中，Redis服务器为目标跟踪任务维护2张数据表：目标跟踪控制表和目标跟踪结果表，这两种表具有相同的数据格式。由于Redis中没有数据表的概念，为了区分不同的数据，本发明使用预先定义的关键字命名格式来区分不同的数据表。目标跟踪输入控制参数关键字由小写字母uav+<无人机编号>+_trackingInput组成，即每架无人机有一条目标跟踪控制参数。例如，uav0_trackingInput为编号为0的无人机的视频处理目标跟踪输入区域控制参数关键字，其值(x,y,w,h)为0号无人机视频目标跟踪区域的左上角坐标和目标在视频中的宽高。所有符合目标控制参数关键字命名规则的数据组成目标跟踪控制参数表，客户端通过向目标跟踪控制参数表中写入或修改数据，来确定需要跟踪的区域。目标跟踪结果参数关键字由小写字母uav+<无人机编号>+_trackingOutput组成，所有符合该关键字命名规则的数据组成目标跟踪结果参数表。例如，uav0_trackingOutput为编号为0的无人机的视频处理目标跟踪结果参数关键字，即每架无人机有一条目标跟踪结果参数。视频处理服务器群通过检索Redis服务器中符合“小写字母uav+<无人机编号>+_trackingInput”命名规则的关键字组成的目标跟踪控制参数表以获取每架无人机视频需要跟踪的区域，并进行目标跟踪，而后将跟踪结果写入目标跟踪结果参数表中；客户端通过轮询Redis数据库中符合“小写字母uav+<无人机编号>+_trackingOutput”命名规则的关键字组成的目标跟踪结果参数表来获取跟踪结果，并绘制在画面上。
在图3中，Redis服务器中存储的视频处理目标检测控制参数组成如表4所示：
表4视频处理目标检测控制参数
类型 名称 说明 是否关键字
string(字符串) key 关键字 是
int(整数) type 处理类型 否
在表4中，关键字由小写字母uav+<无人机编号>+detection组成，即每架无人机有一条目标检测控制参数。处理类型使用16进制标记，标记方式如表5所示。客户端根据关键字改写目标检测控制参数中的处理类型字段，Redis服务器为每架无人机维护一条目标检测控制参数，所有无人机的目标检测参数数据组成目标检测控制参数表，视频处理服务器轮询Redis服务器中的目标检测控制参数，根据关键字及处理类型对相应的无人机视频执行目标检测任务。
对于目标检测任务，步骤如下：
(1)客户端通过向Redis服务器目标检测控制参数表中写入控制参数，即发送目标检测控制指令；
(2)Redis服务器存储客户端发送的指令等待视频处理服务器群读取；
(3)视频处理服务器群通过轮询Redis服务器中的视频帧数据表(表2)和目标检测控制参数表，分别获取实时视频帧和控制指令，并调用相应的Tensorflow目标检测服务执行目标检测任务；
(4)视频处理服务器群向数据库服务器中写入视频处理结果；
(5)客户端通过查询目标检测结果数据库获取目标检测结果。
表5视频处理目标检测处理类型16进制标记
Figure BDA0001741821950000121
Figure BDA0001741821950000131
目标检测结果存入数据库服务器上，供事后和实时查看。目标检测结果数据表设计如表6所示。
表6视频处理目标检测结果数据表
Figure BDA0001741821950000132
目标检测功能使用基于Tensorflow目标检测技术配合常用深度模型对无人机侦察俯视目标进行检测。常用深度模型包括FasterRCNN(Faster Regions withConvolutional Neural Network，更快速的区域卷积神经网络)、RFCN(Region‐basedFully Convolutional Networks，基于区域的完全卷积网络)、SSD(Single Slot MultiBoxDetector，单槽多目标检测器)等常用深度模型；俯视目标包括飞机、油罐、车辆或其它感兴趣的目标。
在需要接入新型无人机时，只需要对实时视频和飞行载荷数据接入进行适配并转换为标准格式，客户端即可接收查看。对于无同步时间戳的视频数据，通过在UDP或RTSP标准视频流上加载时间戳，使其尽量接近真实视频时间。
实时视频及飞行载荷数据接入适配主要包括以下步骤：
(1)数据接入服务器中的视频接入转发为标准格式和飞行载荷数据接入均以单独模块提供，各模块支持扩展支持新机型的视频接入插件和飞行载荷数据接入插件，方便适配；
(2)添加新的视频接入模块插件，根据新型无人机的视频格式接入要求，将新型无人机的视频在视频接入模块解码，并编码为标准的H.264或H.265格式视频流，附加数据接入服务器时间信息和视频元数据，并通过UDP单播方式发送到数据转发服务器；
(3)添加新的飞行载荷数据接入模块插件，根据新型无人机的飞行及载荷数据格式要求，将新型无人机的飞行数据和载荷数据解码后，重新编码为标准飞行载荷数据结构，并通过UDP单播方式发送到数据转发服务器；
(4)除数据接入服务器中的视频接入模块和飞行载荷数据接入模块需要进行根据新机型进行插件适配外，本发明中的其他服务器及客户端在适配新机型时不需修改，大大降低了新机型适配的工作量，避免了大量修改给系统稳定性带来的影响。
综上，本发明实施例公开的一种基于Redis的多型无人机数据统一接入与处理系统，包括数据接入服务器、数据转发服务器、Redis服务器、视频处理服务器群、NTP服务器、数据库服务器和客户端。本发明数据接入服务器根据不同无人机类型接收来自不同无人机的视频与飞行载荷数据，并在UDP或RTSP视频流信息中添加服务器时间戳，而后将视频与飞行载荷数据发送到数据转发服务器。数据转发服务器根据协议规则解析出UDP或RTSP中带有的时间戳信息，并将时间信息、视频信息和飞行载荷数据信息存储至Redis内存服务器。视频处理服务器群通过从Redis内存数据库服务器获取视频帧、时间和飞行载荷数据信息，并通过UDP进行数据广播，对视频数据进行录制、可疑目标自动检测及跟踪。
客户端通过UDP广播接收视频、时间和飞行载荷数据信息，并根据用户在界面上的操作改写Redis服务器中的视频目标跟踪控制参数(
表3)或视频目标检测控制参数(表4)，这些控制参数表都由视频处理服务器群轮询读取，其中目标跟踪任务将处理结果写入Redis服务器目标跟踪结果参数表(
表3)，目标检测任务将处理结果写入数据库服务器；
客户端可以解析Redis服务器中的视频目标跟踪结果参数表，并将原始视频画面、视频处理结果和飞行载荷数据同步显示在客户端界面上。使用NTP服务器对所有网络设备进行对时管理。客户端软件只需要从UDP广播数据中读取具有标准格式的视频帧和飞行载荷数据，而不需要根据不同的无人机类型进行视频和飞行数据格式适配。

Claims (8)

1.一种基于Redis的多型无人机统一数据接入与处理系统，其特征在于，该系统包括数据接入服务器、数据转发服务器、Redis服务器、视频处理服务器群、NTP服务器、数据库服务器和客户端；
所述数据接入服务器，用于解析多型无人机通过不同信道传输的视频数据和飞行载荷数据，将上述数据转换为预设标准数据格式；并从飞行载荷数据中提取与视频有关的信息形成视频元数据，将附加数据接入服务器本地时间信息和视频元数据的标准格式视频流和标准格式的飞行载荷数据分别通过两个信道转发到数据转发服务器；
所述数据转发服务器，用于解析接收到的附加时间信息和视频元数据的视频流和标准格式的飞行载荷数据，将视频流数据拆分为标准视频帧、时间信息和视频元数据，将标准视频帧、时间信息、视频元数据和标准格式的飞行载荷数据存储到Redis服务器中；
所述Redis服务器，用于存储数据转发服务器发送的标准视频帧、视频元数据、时间信息、标准格式的飞行载荷数据；
所述视频处理服务器群，从Redis服务器上获取标准视频帧和标准格式的飞行载荷数据，将其广播到客户端，并录制标准视频帧为标准视频格式，从Redis服务器上读取视频处理指令用于标准视频帧的后台处理，并记录到数据库服务器中；
所述NTP服务器，用来同步所有网络设备的时间；
所述数据库服务器，用来保存视频存储路径、视频存储时间、视频元数据、多语言界面数据和目标检测结果数据信息；
所述客户端，用来显示接收视频处理服务器群发送的数据以及调取存储的标准视频帧。
2.根据权利要求1所述的一种基于Redis的多型无人机统一数据接入与处理系统，其特征在于，所述视频处理服务器群功能如下：
视频接收功能，从Redis服务器中提取标准视频帧，并将视频帧编码为预设格式的视频流，而后通过广播方式发送到客户端；
视频录制功能，将视频录制为标准视频格式并存储在磁盘上；
目标检测功能，对可疑目标进行检测，并将检测结果存入数据库服务器，发生告警事件时，将告警信息存入数据库服务器；
目标跟踪功能，根据用户存储在Redis服务器中标记的视频区域进行视频跟踪，并将跟踪结果写回Redis服务器中的字段；
飞行载荷数据接收功能，实时读取Redis服务器中的飞行载荷数据，并将其封装为标准格式数据，发送到客户端。
3.根据权利要求1所述的一种基于Redis的多型无人机统一数据接入与处理系统，其特征在于，所述视频处理服务器群后台处理包括：视频存储、视频目标检测和视频目标跟踪。
4.根据权利要求2所述的一种基于Redis的多型无人机统一数据接入与处理系统，其特征在于，目标检测功能使用基于深度学习技术对目标进行检测。
5.根据权利要求4所述的一种基于Redis的多型无人机统一数据接入与处理系统，其特征在于，所述客户端还包括目标检测功能，实现过程如下：：
（1）客户端通过向Redis服务器目标检测控制参数表中写入控制参数表，即发送目标检测控制指令；
（2）Redis服务器存储客户端发送的指令等待视频处理服务器群读取；
（3）视频处理服务器群通过轮询Redis服务器中的视频帧数据表和目标检测控制参数表，分别获取控制指令以及对应的实时视频帧，并调用目标检测服务执行目标检测任务；
（4）视频处理服务器群向数据库服务器中写入目标检测结果；
（5）客户端通过查询数据库服务器获取目标检测结果。
6.根据权利要求1所述的一种基于Redis的多型无人机统一数据接入与处理系统，其特征在于，所述客户端还包括目标跟踪功能，实现过程如下：：
（1）客户端通过人工框选视频目标区域，获得无人机视频目标跟踪区域的左上角坐标和目标在视频中的宽高（x, y, w, h），
（2）将（x, y, w, h）写入到Redis服务器中的目标跟踪控制参数表，即发送目标跟踪控制指令；
（3）视频处理服务器群轮询目标跟踪控制参数表，在表内容发生变更后，执行相应的目标跟踪任务，并将跟踪结果写入目标跟踪结果参数表；
（4）客户端通过轮询目标结果参数表获取目标跟踪结果，并将视频目标跟踪结果实时显示在界面上。
7.根据权利要求1所述的一种基于Redis的多型无人机统一数据接入与处理系统，其特征在于，所述数据接入服务器功能如下：将不同类型的无人机视频和飞行载荷数据在前端解码后再编码成标准视频流和标准数据格式，在接入新型无人机时，对无人机地面站发送的视频和飞行载荷数据接入进行适配并转换为标准格式。
8.根据权利要求7所述的一种基于Redis的多型无人机统一数据接入与处理系统，其特征在于，在接入新型无人机时，所述数据接入服务器对视频数据和飞行载荷数据接入进行适配转换为预设标准数据格式功能如下：
（1）数据接入服务器中的视频接入和飞行载荷数据接入转换为标准格式均以单独模块提供，各模块支持扩展支持新机型的视频接入插件和飞行载荷数据接入插件；
（2）添加新的视频接入模块插件，根据新型无人机的视频格式接入要求，将新型无人机的视频在视频接入模块解码，并编码为标准格式视频流，附加数据接入服务器时间信息和视频元数据，并发送到数据转发服务器；
（3）添加新的飞行载荷数据接入模块插件，根据新型无人机的飞行载荷数据格式要求，将新型无人机的飞行数据和载荷数据解码后，重新编码为标准格式的飞行载荷数据，并发送到数据转发服务器。
CN201810823137.5A 2018-07-25 2018-07-25 一种基于Redis的多型无人机统一数据接入与处理系统 Active CN108965303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810823137.5A CN108965303B (zh) 2018-07-25 2018-07-25 一种基于Redis的多型无人机统一数据接入与处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810823137.5A CN108965303B (zh) 2018-07-25 2018-07-25 一种基于Redis的多型无人机统一数据接入与处理系统

Publications (2)

Publication Number Publication Date
CN108965303A CN108965303A (zh) 2018-12-07
CN108965303B true CN108965303B (zh) 2021-01-26

Family

ID=64464625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810823137.5A Active CN108965303B (zh) 2018-07-25 2018-07-25 一种基于Redis的多型无人机统一数据接入与处理系统

Country Status (1)

Country Link
CN (1) CN108965303B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460062A (zh) * 2018-12-21 2019-03-12 祺步智能科技（上海）有限公司 一种多无人机控制台
CN111628899B (zh) * 2019-02-27 2022-07-05 北京京东尚科信息技术有限公司 服务器之间网络互联互通情况的绘制方法、装置及其系统
CN112218051A (zh) * 2020-10-09 2021-01-12 天津大学 一种基于gis的无人机海域监测方法
CN114554250B (zh) * 2022-01-17 2023-06-27 北京理工大学重庆创新中心 一种无人机或无人车的视频和位置同步方法
CN115617079B (zh) * 2022-12-14 2023-02-28 四川轻化工大学 一种可交互无人机系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685467A (zh) * 2012-04-27 2012-09-19 中国科学院空间科学与应用研究中心 一种用于无人机上的无线图传通信系统及其方法
CN202896375U (zh) * 2012-11-30 2013-04-24 山东电力集团公司电力科学研究院 一种无人机综合地面站系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685467A (zh) * 2012-04-27 2012-09-19 中国科学院空间科学与应用研究中心 一种用于无人机上的无线图传通信系统及其方法
CN202896375U (zh) * 2012-11-30 2013-04-24 山东电力集团公司电力科学研究院 一种无人机综合地面站系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A UAV Image and Geographic Data Integration Processing Method and Its Applications;Zhongyan Liang 等;《ICCIS 2017》;20171109;全文 *
无人机体系化作战运用研究;张华阳等;《信息化研究》;20160630;全文 *

Also Published As

Publication number Publication date
CN108965303A (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
CN108965303B (zh) 一种基于Redis的多型无人机统一数据接入与处理系统
US7460148B1 (en) Near real-time dissemination of surveillance video
US9881029B2 (en) Method and system for providing a federated wide area motion imagery collection service
WO2016119528A1 (zh) 视频数据的智能处理方法及系统
US20150302633A1 (en) Selecting time-distributed panoramic images for display
US7925980B2 (en) N-way multimedia collaboration systems
US10515117B2 (en) Generating and reviewing motion metadata
CN103914485A (zh) 一种远程收集和检索展示应用系统日志的系统及方法
CN108683877A (zh) 基于Spark的分布式海量视频解析系统
CN105138561B (zh) 一种暗网空间数据采集方法及装置
US20170132267A1 (en) Pushing system and method based on natural information recognition, and a client end
WO2019028386A1 (en) METHOD AND SYSTEM FOR AGGREGATING CONTENT STREAMS BASED ON SENSOR DATA
CN117788302B (zh) 一种测绘图形处理系统
Lv et al. Massive AIS data storage and query based on Hadoop platform
CN117294903B (zh) 一种多路视频流关键帧标记及推流方法
CN110262529A (zh) 一种基于卷积神经网络的无人机监控方法及系统
CN113625936B (zh) 数据处理方法、装置、存储介质及设备
CN110377776B (zh) 生成点云数据的方法和装置
KR100817026B1 (ko) 공간 슬라이딩 윈도우를 이용한 공간 데이터 스트림 처리시스템 및 방법
EP4208852A1 (en) Three-dimensional modeling
CN114500687B (zh) 反无人机系统的设计方法、装置、计算设备及存储介质
CN111046228B (zh) 一种基于流计算的视频处理方法
RU2808849C1 (ru) Морская геоинформационная интегрирующая платформа реального времени
Muronga et al. Naturalistic driving data: managing and working with large databases for road and traffic management research
CN116828090B (zh) 无人机远程身份识别信息处理方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant