CN111708916A - 一种无人机集群视频智能化处理系统及方法 - Google Patents

一种无人机集群视频智能化处理系统及方法 Download PDF

Info

Publication number
CN111708916A
CN111708916A CN202010569984.0A CN202010569984A CN111708916A CN 111708916 A CN111708916 A CN 111708916A CN 202010569984 A CN202010569984 A CN 202010569984A CN 111708916 A CN111708916 A CN 111708916A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
video
data
ground station
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010569984.0A
Other languages
English (en)
Inventor
张神力
段立新
何宜兵
宋博然
蔡忠鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tianhai Chenguang Technology Co ltd
Original Assignee
Shenzhen Tianhai Chenguang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tianhai Chenguang Technology Co ltd filed Critical Shenzhen Tianhai Chenguang Technology Co ltd
Priority to CN202010569984.0A priority Critical patent/CN111708916A/zh
Publication of CN111708916A publication Critical patent/CN111708916A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/732Query formulation
    • G06F16/7328Query by example, e.g. a complete video frame or video sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • G06F16/743Browsing; Visualisation therefor a collection of video files or sequences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/02Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/04Large scale networks; Deep hierarchical networks
    • H04W84/08Trunked mobile radio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种无人机集群视频智能化处理系统及方法,所述系统包括:无人机集群、地面站、算法服务器;所述方法包括:所述无人机集群中的子机对吊舱视频进行抽帧处理,获取图片组,并将所述图片组和所述无人机集群中的主机吊舱视频一起通过下行通信链路发送给地面站;所述地面站的链路接收模块接收图片组和视频并转发;所述算法服务器对接收到的所述图片组和视频做智能化分析处理,并给出结构化分析结果。本发明提出的无人机集群视频智能化处理系统及方法,在不更改无人机现有硬件的情况下,就能实现无人机集群的视频智能化分析处理,大大降低了无人机集群视频智能化的开发周期和成本。

Description

一种无人机集群视频智能化处理系统及方法
技术领域
本发明涉及机器视觉应用领域,尤其涉及一种无人机集群视频智能化处理系统及方法。
背景技术
在战场上以及应急救援领域,无人机集群航拍已经得到了广泛的应用。而机器视觉的发展,给无人机集群航拍视频的智能化的纵深应用提供了增长的动力。
当前无人机集群航拍视频的智能化处理存在以下问题:无人机通信链路最多传输3路1080P视频,如果在地面端做视频智能化处理,不能处理足够多的无人机航拍视频数据;如果在无人机端进行智能化处理,那么需要在无人机端增加智能化处理的视觉算法模块,涉及硬件的改动,整个产品的开发周期和成本太高。
发明内容
为了解决现有技术下,无人机集群航拍视频数据智能化处理存在的长开发周期和高成本的问题,本发明提出一种无人机集群视频智能化处理系统及方法,在不更改无人机现有硬件的情况下,就能实现无人机集群的视频智能化分析处理,大大降低了无人机集群视频智能化的开发周期和成本。
本发明提出的技术实现方案如下:
一种无人机集群视频智能化处理系统,其中,系统包括:
无人机集群,用于对地面进行航拍,并对子机视频做抽帧处理。
地面站,用于接收所述无人机集群航拍的视频和图片组并转发。
算法服务器,用于将所述接收到的视频和图片做智能化分析,并给出分析结果。
所述一种无人机集群视频智能化处理系统,其中,所述无人机集群,具体包括:
无人机主机,使用其吊舱执行单元对地面进行航拍,并将所述航拍的视频通过通信链路传送给地面站。
无人机子机,使用其吊舱执行单元对地面进行航拍,并对航拍的视频进行抽帧处理,然后将所述抽帧的图片通过通信链路传送给地面站。
所述一种无人机集群视频智能化处理系统,其中,所述无人机,具体包括:
动力系统,用于为无人机的飞行和稳定提供动力。
主控制器,用于负责维持无人机的稳定和导航,并将接收到的控制指令转换成动力系统指令。
通信链路,用于接收遥控信号指令,并给地面站传送视频、图片等媒体数据。
传感器,包括惯性测量单元、磁力计、陀螺仪、GPS模块、压力传感器、视觉传感器等。
吊舱执行单元,用于航拍视频;对于无人机子机而言,还用于将航拍的视频进行抽帧,得到图片数据。
所述一种无人机集群视频智能化处理系统,其中,所述地面站,具体包括:
通信链路,用于给无人机传送遥控指令,并接收无人机下发的图片和视频数据。
遥控器,用于给无人机发送遥控指令。
智能终端,用于无人机航拍的视频界面显示及视频结构化数据显示。
数据转发与接收模块,用于将接收到的图片组和视频转发给算法服务器,并接收算法服务器的识别结果数据。
所述一种无人机集群视频智能化处理系统,其中,所述算法服务器,具体包括:
数据接收与发送模块,用于接收地面站转发的图片和视频数据,并发送识别结果数据。
视频抽帧模块,用于将接收到的视频数据抽帧处理,得到图片数据。
目标检测与识别模型,用于对接收的图片组数据和抽帧得到的图片数据进行目标检测与分割,获取目标标的物。
运动物体追踪模型,用于追踪目标标的物的运动信息,具体包括位置信息和速度信息。
所述目标检测与识别模型以及所述运动物体追踪模型的机器视觉识别算法基于深度卷积神经网络。
识别结果模块,用于对所述目标检测与识别模型以及所述运动物体追踪模型的识别结果数据做封装,并由所述数据接收与发送模块将所述封装的识别结果数据发送给所述地面站的所述智能终端做结构化数据显示。
一种无人机集群视频智能化处理方法,其中,所述方法包括步骤:
A、所述无人机集群中的子机对吊舱视频进行抽帧处理,获取图片组,并将所述图片组和所述无人机集群中的主机吊舱视频一起通过下行通信链路发送给地面站。
B、所述地面站的通信链路接收图片组和视频并由数据转发与接收模块转发所述图片组和视频。
C、所述算法服务器对接收到的所述图片组和视频做智能化分析处理,并给出结构化分析结果。
所述一种无人机集群视频智能化处理方法,其中,所述步骤A,具体包括:
A1、所述无人机集群中的主机和子机的所述吊舱执行单元执行航拍任务,得到航拍视频。
A2、所述无人机集群中的子机的所述吊舱执行单元对所述航拍视频进行抽帧处理,获取图片组。
A3、所述无人机集群中的主机的航拍视频和子机的图片组通过下行通信链路发送给所述地面站。
所述一种无人机集群视频智能化处理方法,其中,所述步骤B,具体包括:
B1、所述地面站的通信链路接收所述无人机集群下行通信链路发送下来的所述主机的航拍视频和所述子机的图片组。
B2、所述地面站的数据转发与接收模块将接收到的图片组和视频转发给算法服务器。
所述一种无人机集群视频智能化处理方法,其中,所述步骤C,具体包括:
C1、所述算法服务器的数据接收与发送模块接收来自地面站数据转发与接收模块发送的图片组和视频数据。
C2、所述算法服务器的视频抽帧模块对所述接收到的视频数据做抽帧处理,得到图片数据。
C3、所述算法服务器的目标检测与识别模型对所述接收到图片组数据和抽帧得到的视频数据进行目标检测与分割,得到目标标的物。
C4、所述算法服务器的运动物体追踪模型最终所述目标标的物的运动信息,具体包括位置信息和速度信息。
C5、所述算法服务器的识别结果模块对所述目标检测与识别模型和所述运动物体追踪模型的识别结果数据做封装,并由所述数据接收与发送模块将所述封装的识别结果数据发送给所述地面站的所述智能终端做结构化数据显示。
基于本发明提出的无人机集群视频智能化处理系统及方法,在不改变无人机现有硬件的情况下,就能实现无人机集群的视频智能化分析处理,大大降低了无人机集群视频智能化的开发周期和成本。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图是本发明实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的一种无人机集群视频智能化处理系统的系统架构框图。
图2为本发明的一种无人机集群视频智能化处理系统的系统架构中无人机集群的的系统架构框图。
图3为本发明的一种无人机集群视频智能化处理系统的系统架构中无人机集群中的无人机的功能结构框图。
图4为本发明的一种无人机集群视频智能化处理系统的系统架构中地面站的功能结构框图。
图5为本发明的一种无人机集群视频智能化处理系统的系统架构中算法服务器的功能结构框图。
图6为本发明的一种无人机集群视频智能化处理方法的最佳实施例的流程图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确,以下对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提出一种无人机集群视频智能化处理系统的较佳实现的系统架构框图,如图1所示。具体包括:
无人机集群100、地面站200、算法服务器300。
所述无人机集群100,用于对地面进行航拍,并对子机视频做抽帧处理;所述无人机集群100包含一个无人机主机和不少于一个无人机子机;所述航拍是针对地面特定的场景化应用,比如战场应用、森林防火应用、海上救援应用等应用领域;所述航拍由所述无人机的吊舱执行单元具体执行;所述抽帧处理也是由所述吊舱执行单元进行的抽帧处理。
所述地面站200,用于接收所述无人机集群航拍的视频和图片组并转发;所述地面站200还用于控制无人机集群的飞行;所述地面站200还用于对接收的视频、图片组以及识别结果数据做智能化显示。
所述算法服务器300,用于将所述接收到的视频和图片做智能化分析,并给出分析结果;所述算法服务器300用于针对不同的垂直应用场景训练不同的算法识别模型,用于识别不同的物体以及其运动状态信息;并将所述识别结果信息发送给所述地面站做智能化显示处理。
本发明提出一种无人机集群视频智能化处理系统的较佳实现的系统架构中无人机集群的系统架构框图,如图2所示。具体包括:
无人机主机101、无人机子机102/103/104。
所述无人机主机101,使用其吊舱执行单元对地面进行航拍,并将所述航拍的视频通过通信链路传送给地面站;所述无人机主机由一个设备ID唯一标识。
所述无人机子机102/103/104一般具有多个,具体数量由具体应用场景来确定;所述的每一架无人机子机由一个设备ID唯一标识。
所述无人机子机使用其吊舱执行单元对地面进行航拍;所述无人机子机的吊舱执行单元还用于对所述航拍的视频进行抽帧处理,得到图片组;所述无人机子机将所述抽帧的图片组通过通信链路传送给地面站。
本发明提出一种无人机集群视频智能化处理系统的较佳实现的系统架构中无人机集群中的无人机的功能结构框图,如图3所示。具体包括:
动力系统1001、主控制器1002、通信链路1003、传感器1004、吊舱执行单元1005。
所述动力系统1001,用于为无人机的飞行和稳定提供动力;所述动力系统1001是无人机通用的系统,在此,不再赘述。
所述主控制器1002,用于负责维持无人机的稳定和导航,并将接收到的控制指令转换成动力系统指令;所述主控制器1002是无人机通用的主控,在此,不再赘述。
所述通信链路1003,用于接收遥控信号指令,并给地面站传送视频、图片等媒体数据;所述通信链路1003接收所述地面站的所述遥控器发送的遥控控制指令;所述遥控控制指令用于控制无人机的飞行;所述通信链路1003还用于将所述无人机航拍的视频和图片组等媒体数据发送给所述地面站。
所述传感器1004,包括惯性测量单元、磁力计、陀螺仪、GPS模块、压力传感器、视觉传感器等;所述传感器1004是无人机通用的技术,在此,不再赘述。
所述吊舱执行单元1005,用于航拍视频;所述吊舱执行单元由唯一的吊舱ID唯一标识;所述吊舱ID和无人机的设备ID唯一对应;所述航拍的视频根据所述无人机集群具体执行的任务而定,具体包括但不限于:战场场景、森林防火场景、海上救援场景等;所述航拍的视频带有地理位置信息;所述航拍的视频还包括无人机设备ID、吊舱ID、视频ID等标识信息;所述无人机子机102的所述吊舱执行单元1005还用于将所述航拍的视频进行抽帧处理,得到图片数据;所述图片为图片组;所述图片组的时间间隔可以配置设定;所述图片组中所述图片的时间间隔信息也需要传送给所述地面站;所述图片组由图片组ID唯一标识;所述图片数据包含无人机设备ID、吊舱ID、图片组ID、图片ID等标识信息;所述图片数据还包含图片编码类型、图片文件大小等描述信息;所述图片数据还包含航拍的地面地理位置信息;所述图片还包含具体的图片编码数据信息。
本发明提出一种无人机集群视频智能化处理系统的较佳实现的系统架构中地面站的功能结构框图,如图4所示。具体包括:
通信链路201、遥控器202、智能终端203、数据转发与接收模块204。
所述通信链路201,用于给无人机传送遥控指令;所述遥控指令用于控制无人机的飞行;所述通信链路201还用于接收所述无人机下发的图片组和视频数据;所述图片组由一系列图片组成;所述图片由无人机设备ID、吊舱ID、图片组ID、图片ID唯一确定标识;所述接收的图片信息还包含图片编码类型、图片文件大小等描述信息;所述图片信息还包含航拍的地面地理位置信息;所述图片信息还包括图片组中,相邻图片间的时间间隔信息;所述图片还包含具体的图片编码数据信息;所述通信链路201接收的所述视频数据由无人机设备ID、吊舱ID、视频ID等标识信息唯一标识。
所述遥控器202,用于给无人机发送遥控指令;所述遥控器202通过所述通信链路202将遥控指令发送给所述无人机的主控制器1002;所述主控制器1002接收到所述遥控器202发送的控制指令,将所述控制指令转换成动力系统指令控制无人机飞行。
所述智能终端203,用于无人机航拍的视频界面显示及视频结构化数据显示;所述智能终端203可以是一台电脑,也可以是具备视频、图片和数据解码显示能力的其他终端设备;所述智能终端203用于显示视频界面和结构化数据的显示;所述结构化数据是指对所述图片或视频中的物体进行识别后,得到的关于物体的描述性信息。
所述数据转发与接收模块204用于将所述接收到的图片组和视频数据转发给算法服务器;所述转发是指将接收到的原始数据不经过任何处理的发送;所述数据转发与接收模块204还用于接收所述算法服务器的识别结果数据,并将接收到的识别结果数据提供给所述智能终端203做结构化数据显示。
本发明提出一种无人机集群视频智能化处理系统的较佳实现的系统架构中算法服务器的功能结构框图,如图5所示。具体包括:
数据接收与发送模块301、视频抽帧模块302、目标检测与识别模型303、运动物体追踪模型304、识别结果模块305。
所述数据接收与发送模块301包含数据接收子功能和数据发送子功能;所述数据接收与发送模块301的所述数据接收子功能用于接收所述地面站200的所述数据转发与接收模块204转发的图片组和视频数据;所述数据接收与发送模块301的所述数据发送子功能用于将所述算法服务器对所述接收到的图片组和视频的识别结果发送给所述地面站200的所述数据转发与接收模块204。
所述视频抽帧模块302用于对所述数据接收与发送模块301的所述数据接收子功能接收到的所述地面站200的所述数据转发与接收模块204转发视频数据进行抽帧处理,得到图片数据。
所述目标检测与识别模型303对所述接收的图片组数据和所述视频抽帧模块302抽帧得到的图片数据进行目标检测与分割,获取目标标的物;所述目标标的物的识别和所述目标检测与识别模型的具体算法训练数据有关;所述目标标的物和具体应用场景有关;所述应用场景包括但不限于:战场场景、森林防火场景、海上救援场景等;具体的,在所述战场场景中,所述目标检测与识别模型303识别场面的武装人员、车辆、武器等目标标的物;在所述森林防火场景中,所述目标检测与识别模型303识别场面的火场、消防车、车辆、人员等目标标的物;在所述海上救援场景中,所述目标检测与识别模型303识别场面的船只、人员等目标标的物。
所述运动物体追踪模型304用于追踪目标标的物的运动信息,具体包括位置信息和速度信息;所述位置信息由所述接收到的图片或所述视频抽帧模块302抽帧得到的图片提供具体的地理坐标信息;所述速度信息是根据连续的图片组中同样目标标的物的移动位置信息和图片之间的时间间隔信息计算得出。
所述目标检测与识别模型303以及所述运动物体追踪模型304的机器视觉识别算法基于深度卷积神经网络。
所述识别结果模块305用于对所述目标检测与识别模型304以及所述运动物体追踪模型305的识别结果数据做封装;所述识别结果数据包括但不限于场面中物体的类别、大小、名称、颜色、位置、移动方向、移动速度等信息;所述封装是指封装成数据报文的格式。
所述识别结果数据由所述数据接收与发送模块301的所述数据发送子功能发送到所述地面站200的所述数据转发与接收模块204;并由于所述地面站200的所述智能终端203做结构化数据显示。
本发明提出一种无人机集群视频智能化处理方法的最佳实施例的流程图,如图6所示。具体包括步骤:
步骤S100:所述无人机集群100中的子机对吊舱视频进行抽帧处理,获取图片组,并将所述图片组和所述无人机集群100中的主机吊舱视频一起通过下行通信链路发送给地面站。
所述无人机集群100包含一架无人机主机101和若干无人机子机102/103/104。
所述无人机主机101和所述每一个无人机子机分别由一个设备ID唯一标识。
所述无人机包括:动力系统1001、主控制器1002、通信链路1003、传感器1004、吊舱执行单元1005。
所述动力系统1001、主控制器1002、通信链路1003、传感器1004在无人机的功能结构框图部分已经有详细描述,在此,不在赘述。
所述吊舱执行单元1005,用于航拍视频;所述吊舱执行单元由唯一的吊舱ID唯一标识;所述吊舱ID和无人机的设备ID唯一对应;所述航拍的视频根据所述无人机集群具体执行的任务而定,具体包括但不限于:战场场景、森林防火场景、海上救援场景等;所述航拍的视频带有地理位置信息;所述航拍的视频还包括无人机设备ID、吊舱ID、视频ID等标识信息;所述无人机子机102的所述吊舱执行单元1005还用于将所述航拍的视频进行抽帧处理,得到图片数据;所述图片为图片组;所述图片组的时间间隔可以配置设定;所述图片组中所述图片的时间间隔信息也需要传送给所述地面站;所述图片组由图片组ID唯一标识;所述图片数据包含无人机设备ID、吊舱ID、图片组ID、图片ID等标识信息;所述图片数据还包含图片编码类型、图片文件大小等描述信息;所述图片数据还包含航拍的地面地理位置信息;所述图片还包含具体的图片编码数据信息。
步骤S200:所述地面站200的通信链路201接收图片组和视频并由数据转发与接收模块204转发所述图片组和视频。
所述地面站包括:通信链路201、遥控器202、智能终端203、数据转发与接收模块204。
所述通信链路201,用于给无人机传送遥控指令;所述遥控指令用于控制无人机的飞行;所述通信链路201还用于接收所述无人机下发的图片组和视频数据;所述图片组由一系列图片组成;所述图片由无人机设备ID、吊舱ID、图片组ID、图片ID唯一确定标识;所述接收的图片信息还包含图片编码类型、图片文件大小等描述信息;所述图片信息还包含航拍的地面地理位置信息;所述图片信息还包括图片组中,相邻图片间的时间间隔信息;所述图片还包含具体的图片编码数据信息;所述通信链路201接收的所述视频数据由无人机设备ID、吊舱ID、视频ID等标识信息唯一标识。
所述遥控器202,用于给无人机发送遥控指令;所述遥控器202通过所述通信链路202将遥控指令发送给所述无人机的主控制器1002;所述主控制器1002接收到所述遥控器202发送的控制指令,将所述控制指令转换成动力系统指令控制无人机飞行。
所述智能终端203,用于无人机航拍的视频界面显示及视频结构化数据显示;所述智能终端203可以是一台电脑,也可以是具备视频、图片和数据解码显示能力的其他终端设备;所述智能终端203用于显示视频界面和结构化数据的显示;所述结构化数据是指对所述图片或视频中的物体进行识别后,得到的关于物体的描述性信息。
所述数据转发与接收模块204用于将所述接收到的图片组和视频数据转发给算法服务器;所述转发是指将接收到的原始数据不经过任何处理的发送;所述数据转发与接收模块204还用于接收所述算法服务器的识别结果数据,并将接收到的识别结果数据提供给所述智能终端203做结构化数据显示。
步骤S300:所述算法服务器300对接收到的所述图片组和视频做智能化分析处理,并给出结构化分析结果。
所述算法服务器300包括:数据接收与发送模块301、视频抽帧模块302、目标检测与识别模型303、运动物体追踪模型304、识别结果模块305。
所述数据接收与发送模块301包含数据接收子功能和数据发送子功能;所述数据接收与发送模块301的所述数据接收子功能用于接收所述地面站200的所述数据转发与接收模块204转发的图片组和视频数据;所述数据接收与发送模块301的所述数据发送子功能用于将所述算法服务器对所述接收到的图片组和视频的识别结果发送给所述地面站200的所述数据转发与接收模块204。
所述视频抽帧模块302用于对所述数据接收与发送模块301的所述数据接收子功能接收到的所述地面站200的所述数据转发与接收模块204转发视频数据进行抽帧处理,得到图片数据。
所述目标检测与识别模型303对所述接收的图片组数据和所述视频抽帧模块302抽帧得到的图片数据进行目标检测与分割,获取目标标的物;所述目标标的物的识别和所述目标检测与识别模型的具体算法训练数据有关;所述目标标的物和具体应用场景有关;所述应用场景包括但不限于:战场场景、森林防火场景、海上救援场景等;具体的,在所述战场场景中,所述目标检测与识别模型303识别场面的武装人员、车辆、武器等目标标的物;在所述森林防火场景中,所述目标检测与识别模型303识别场面的火场、消防车、车辆、人员等目标标的物;在所述海上救援场景中,所述目标检测与识别模型303识别场面的船只、人员等目标标的物。
所述运动物体追踪模型304用于追踪目标标的物的运动信息,具体包括位置信息和速度信息;所述位置信息由所述接收到的图片或所述视频抽帧模块302抽帧得到的图片提供具体的地理坐标信息;所述速度信息是根据连续的图片组中同样目标标的物的移动位置信息和图片之间的时间间隔信息计算得出。
所述目标检测与识别模型303以及所述运动物体追踪模型304的机器视觉识别算法基于深度卷积神经网络。
所述识别结果模块305用于对所述目标检测与识别模型304以及所述运动物体追踪模型305的识别结果数据做封装;所述识别结果数据包括但不限于场面中物体的类别、大小、名称、颜色、位置、移动方向、移动速度等信息;所述封装是指封装成数据报文的格式。
所述识别结果数据由所述数据接收与发送模块301的所述数据发送子功能发送到所述地面站200的所述数据转发与接收模块204;并由于所述地面站200的所述智能终端203做结构化数据显示。
基于本发明提出的无人机集群视频智能化处理系统及方法,在不改变无人机现有硬件的情况下,就能实现无人机集群的视频智能化分析处理,大大降低了无人机集群视频智能化的开发周期和成本。
应当理解的是,本发明的应用不限于上述的实施例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1.一种无人机集群视频智能化处理系统,其特征在于,系统包括:
无人机集群,用于对地面进行航拍,并对子机视频做抽帧处理;
地面站,用于接收所述无人机集群航拍的视频和图片组并转发;
算法服务器,用于将所述接收到的视频和图片做智能化分析,并给出分析结果。
2.如权利要求1所述的一种无人机集群视频智能化处理系统,其特征在于,所述无人机集群,具体包括:
无人机主机,使用其吊舱执行单元对地面进行航拍,并将所述航拍的视频通过通信链路传送给地面站;
无人机子机,使用其吊舱执行单元对地面进行航拍,并对航拍的视频进行抽帧处理,然后将所述抽帧的图片通过通信链路传送给地面站。
3.如权利要求2所述的一种无人机集群视频智能化处理系统,其特征在于,所述无人机,具体包括:
动力系统,用于为无人机的飞行和稳定提供动力;
主控制器,用于负责维持无人机的稳定和导航,并将接收到的控制指令转换成动力系统指令;
通信链路,用于接收遥控信号指令,并给地面站传送视频、图片等媒体数据;
传感器,包括惯性测量单元、磁力计、陀螺仪、GPS模块、压力传感器、视觉传感器等;
吊舱执行单元,用于航拍视频;对于无人机子机而言,还用于将航拍的视频进行抽帧,得到图片数据。
4.如权利要求1所述的一种无人机集群视频智能化处理系统,其特征在于,所述地面站,具体包括:
通信链路,用于给无人机传送遥控指令,并接收无人机下发的图片和视频数据;
遥控器,用于给无人机发送遥控指令;
智能终端,用于无人机航拍的视频界面显示及视频结构化数据显示;
数据转发与接收模块,用于将接收到的图片组和视频转发给算法服务器,并接收算法服务器的识别结果数据。
5.如权利要求1所述的一种无人机集群视频智能化处理系统,其特征在于,所述算法服务器,具体包括:
数据接收与发送模块,用于接收地面站转发的图片和视频数据,并发送识别结果数据;
视频抽帧模块,用于将接收到的视频数据抽帧处理,得到图片数据;
目标检测与识别模型,用于对接收的图片组数据和抽帧得到的图片数据进行目标检测与分割,获取目标标的物;
运动物体追踪模型,用于追踪目标标的物的运动信息,具体包括位置信息和速度信息;
所述目标检测与识别模型以及所述运动物体追踪模型的机器视觉识别算法基于深度卷积神经网络;
识别结果模块,用于对所述目标检测与识别模型以及所述运动物体追踪模型的识别结果数据做封装,并由所述数据接收与发送模块将所述封装的识别结果数据发送给所述地面站的所述智能终端做结构化数据显示。
6.一种无人机集群视频智能化处理方法,其特征在于,所述方法包括步骤:
A、所述无人机集群中的子机对吊舱视频进行抽帧处理,获取图片组,并将所述图片组和所述无人机集群中的主机吊舱视频一起通过下行通信链路发送给地面站;
B、所述地面站的通信链路接收图片组和视频并由数据转发与接收模块转发所述图片组和视频;
C、所述算法服务器对接收到的所述图片组和视频做智能化分析处理,并给出结构化分析结果。
7.如权利要求6所述的一种无人机集群视频智能化处理方法,其特征在于,所述步骤A,具体包括:
A1、所述无人机集群中的主机和子机的所述吊舱执行单元执行航拍任务,得到航拍视频;
A2、所述无人机集群中的子机的所述吊舱执行单元对所述航拍视频进行抽帧处理,获取图片组;
A3、所述无人机集群中的主机的航拍视频和子机的图片组通过下行通信链路发送给所述地面站。
8.如权利要求6所述的一种无人机集群视频智能化处理方法,其特征在于,所述步骤B,具体包括:
B1、所述地面站的通信链路接收所述无人机集群下行通信链路发送下来的所述主机的航拍视频和所述子机的图片组;
B1、所述地面站的数据转发与接收模块将接收到的图片组和视频转发给算法服务器。
9.如权利要求6所述的一种无人机集群视频智能化处理方法,其特征在于,所述步骤C,具体包括:
C1、所述算法服务器的数据接收与发送模块接收来自地面站数据转发与接收模块发送的图片组和视频数据;
C2、所述算法服务器的视频抽帧模块对所述接收到的视频数据做抽帧处理,得到图片数据;
C3、所述算法服务器的目标检测与识别模型对所述接收到图片组数据和抽帧得到的视频数据进行目标检测与分割,得到目标标的物;
C4、所述算法服务器的运动物体追踪模型最终所述目标标的物的运动信息,具体包括位置信息和速度信息;
C5、所述算法服务器的识别结果模块对所述目标检测与识别模型和所述运动物体追踪模型的识别结果数据做封装,并由所述数据接收与发送模块将所述封装的识别结果数据发送给所述地面站的所述智能终端做结构化数据显示。
CN202010569984.0A 2020-06-21 2020-06-21 一种无人机集群视频智能化处理系统及方法 Pending CN111708916A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010569984.0A CN111708916A (zh) 2020-06-21 2020-06-21 一种无人机集群视频智能化处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010569984.0A CN111708916A (zh) 2020-06-21 2020-06-21 一种无人机集群视频智能化处理系统及方法

Publications (1)

Publication Number Publication Date
CN111708916A true CN111708916A (zh) 2020-09-25

Family

ID=72541282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010569984.0A Pending CN111708916A (zh) 2020-06-21 2020-06-21 一种无人机集群视频智能化处理系统及方法

Country Status (1)

Country Link
CN (1) CN111708916A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230401662A1 (en) * 2022-06-13 2023-12-14 Beihang University Method for planning collaborative search-and-rescue missions using a plurality of search-and-rescue equipment in medium to far sea areas

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201115A (zh) * 2011-04-07 2011-09-28 湖南天幕智能科技有限公司 无人机航拍视频实时全景图拼接方法
CN105049812A (zh) * 2015-08-07 2015-11-11 清华大学深圳研究生院 一种无人机便携式地面站处理方法及系统
CN105242686A (zh) * 2015-11-13 2016-01-13 南京衡创天伟无人机技术有限公司 一种无人机航拍系统和航拍方法
CN107703956A (zh) * 2017-09-28 2018-02-16 山东鲁能智能技术有限公司 一种基于惯性捕捉技术的虚拟交互系统及其工作方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201115A (zh) * 2011-04-07 2011-09-28 湖南天幕智能科技有限公司 无人机航拍视频实时全景图拼接方法
CN105049812A (zh) * 2015-08-07 2015-11-11 清华大学深圳研究生院 一种无人机便携式地面站处理方法及系统
WO2017024975A1 (zh) * 2015-08-07 2017-02-16 清华大学深圳研究生院 一种无人机便携式地面站处理方法及系统
CN105242686A (zh) * 2015-11-13 2016-01-13 南京衡创天伟无人机技术有限公司 一种无人机航拍系统和航拍方法
CN107703956A (zh) * 2017-09-28 2018-02-16 山东鲁能智能技术有限公司 一种基于惯性捕捉技术的虚拟交互系统及其工作方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230401662A1 (en) * 2022-06-13 2023-12-14 Beihang University Method for planning collaborative search-and-rescue missions using a plurality of search-and-rescue equipment in medium to far sea areas
US11908032B2 (en) * 2022-06-13 2024-02-20 Beihang University Method for planning collaborative search-and-rescue missions using a plurality of search-and-rescue equipment in medium to far sea areas

Similar Documents

Publication Publication Date Title
Geraldes et al. UAV-based situational awareness system using deep learning
US11670070B2 (en) Cloud-edge-end cooperative control method of 5G networked unmanned aerial vehicle for security rescue
CN108255198B (zh) 一种无人机飞行状态下的摄像云台控制系统和控制方法
CN111695541A (zh) 基于机器视觉的无人机森林防火系统及方法
US20210192175A1 (en) System and method for the early visual detection of forest fires using a deep convolutional neural network
CN111307291B (zh) 基于无人机的地表温度异常检测和定位方法、装置及系统
US10679369B2 (en) System and method for object recognition using depth mapping
CN113056904A (zh) 图像传输方法、可移动平台及计算机可读存储介质
CN113890977B (zh) 机载视频处理装置及具有其的无人机
CN109618134A (zh) 一种无人机动态视频三维地理信息实时融合系统及方法
CN109656319B (zh) 一种用于呈现地面行动辅助信息方法与设备
Fawzi et al. Embedded real-time video surveillance system based on multi-sensor and visual tracking
CN110580053A (zh) 一种目标追踪方法、飞行器及飞行系统
Bondi et al. Near Real-Time Detection of Poachers from Drones in AirSim.
CN115731100A (zh) 一种基于多无人机的图像拼接方法及其系统
CN111708916A (zh) 一种无人机集群视频智能化处理系统及方法
CN111656356B (zh) 利用分布式神经网络的对象识别系统
CN112016380B (zh) 野生动物监测方法及系统
KR102267764B1 (ko) 군집 드론 기반 광대역 정찰 감시 시스템 및 이를 이용한 광대역 정찰 감시 방법
CN112422895A (zh) 基于无人机的图像分析跟踪、定位系统及方法
JPWO2020039897A1 (ja) 駅監視システム及び駅監視方法
CN113139985B (zh) 消除无人机与地面站通信延迟影响的跟踪目标框选方法
CN110267087B (zh) 一种动态标签添加方法、设备及系统
GB2528246A (en) Region based image compression on a moving platform
CN114326764A (zh) 基于Rtmp传输的智慧林业无人机定点直播方法及无人机系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200925