CN109002059A - 一种多旋翼无人机目标实时跟踪拍摄系统及方法 - Google Patents
一种多旋翼无人机目标实时跟踪拍摄系统及方法 Download PDFInfo
- Publication number
- CN109002059A CN109002059A CN201710417880.6A CN201710417880A CN109002059A CN 109002059 A CN109002059 A CN 109002059A CN 201710417880 A CN201710417880 A CN 201710417880A CN 109002059 A CN109002059 A CN 109002059A
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- aerial vehicle
- unmanned aerial
- flight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 14
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical group C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims 1
- 238000005265 energy consumption Methods 0.000 abstract 1
- 238000013461 design Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
- H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供了一种多旋翼无人机目标实时跟踪拍摄系统及方法，其中硬件系统包括：多旋翼无人机机体、飞行控制单元、云台、手动和自动控制信号切换模块、图像数据处理单元以及单目相机。上述硬件装置均安装在无人机上，所述相机安装在无人机云台上，相机拍摄的图像传输至图像处理单元，通过本发明目标跟踪方法获取目标位置，再将位置信息转换为飞行控制信号传输到飞行控制单元实现目标的跟踪飞行。本发明具有成本低、功耗低、跟踪稳定、功能全，能对选定的目标进行实时准确的跟踪拍摄，可以应用于犯罪分子或车辆的跟踪，也可以用到旅游航拍中。
Description
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种无人机自动跟踪飞行方法。
背景技术
随着科技的进步，无处不在的摄像头正在逐步取代人类的双眼，结合有效的智能算法就可以完成对目标的搜索识别和跟踪，而如果将摄像头架设在无人机上就可以把人类的视野拓展到无人机可抵达的任意地点。对无人机的智能飞行拍摄功能也提出了更高的要求，例如需要无人机能够对地面或空中的指定目标进行跟踪拍摄。
一般来说，飞行器对目标实施跟踪是通过视觉传感器实现的，常见的对目标跟踪的方式例如有通过获取目标的定位信息来实现、通过地面引导方式实现、通过视频识别系统实现，然而随着视频处理技术的飞速发展，前两种方式在反应速度及准确度方面都显现出一定的缺陷，而现有的视频识别算法，在实时性和跟踪稳定性上较差。在手动控制和自动控制切换上设计考虑不够周全，导致目标跟踪状态开启和关闭的瞬间容易导致飞行器失控。
鉴于上述情况，本设计人凭借多年相关领域的技术经验以及丰富的专业知识，不断实验和改进，提出了本发明一种多旋翼无人机目标实时跟踪拍摄系统及方法。
发明内容
本发明为了提供了一种多旋翼无人机目标实时跟踪拍摄系统，能够高效跟踪目标，拍摄目标及其周围的场景。
本发明的另一目的在于提供一种多旋翼视觉目标跟踪方法，基于发明人的多旋翼系统，能够稳定且实时的跟踪目标飞行。
为了实现上述目的，本发明无人机目标跟踪系统包括：多旋翼无人机机体、飞行控制单元、云台、手动和自动控制信号切换模块、图像数据处理单元以及相机。其中，飞控单元由主控芯片、气压计定高模块、陀螺仪加速度计模块、LCD显示器以及指示灯连接组成。摄像头模块和图像处理单元连接，将最终计算的控制信号传输到信号切换模块中。信号切换模块接收手动控制信号和图像处理单元发送的控制信号，由当前控制状态决定发送手动或自动控制信号到飞控单元。
上述的多旋翼目标实时跟踪拍摄系统，其中信号切换模块高速捕获终端遥控控制信号和自动跟踪控制信号，控制信号包括油门、翻滚角、俯仰角以及航向角，通过计算无人机当前的姿态，结合手动信号和自动跟踪控制信号初始值，平滑切换控制信号，避免切换瞬间两路信号的产生冲击导致无人机失控。
上述的多旋翼目标实时跟踪拍摄系统，还包括地面终端，无线连接到图像处理单元，从所述的图像处理单元获得所拍摄的图像和无人机的姿态、电量和控制信号信息。通过终端屏幕框选目标来确定跟踪区域，再使用终端按钮来切换手动控制和自动跟踪飞行。
为了实现上述目的，本发明还提供了一种鲁棒的目标实时跟踪方法，该方法包括：对图像背景抑制，目标尺度变化计算，动态更新匹配模板。上述方法中，图像背景抑制策略可以降低目标移动过程中背景变化带来的干扰。上述方法中，通过目标尺度的准确计算可以更准确判断跟踪的距离。上述方法中，对匹配模板的动态更新可以不断学习目标在场景中的变化，而且减少学习到干扰因素，例如遮挡物，外部光照变化。使用该方法可以在复杂环境中稳定且实时跟踪目标。
本发明与现有的技术相比具有以下有益的效果：
1、本发明的多旋翼无人机目标实时跟踪拍摄系统及方法使用图像处理单元计算目标位置信息，再将位置信息转换到飞行控制信号，通过控制信号切换单元，结合当前无人机的速度、加速和姿态信息，平滑切换无人机的飞行模式到手动控制或自动目标跟踪飞行。
2、本发明设计了稳定且实时性较好的目标跟踪方法，采用了目标背景抑制、目标尺度变化计算、动态更新匹配模板三个策略，降低了目标跟丢的概率。
3、本发明的多旋翼无人机目标实时跟踪拍摄系统及方法由于组成简单及设计稳定，使得其运行快速可靠，各个模块简洁明了，使得整个系统运行稳定性较高，进而可提高无人机目标跟踪拍摄的鲁棒性。
4、本发明的多旋翼无人机目标实时跟踪拍摄系统及方法还包括地面终端软件，地面终端可以安装在Android 5.0和IOS 8.0以上版本的手机、Pad等移动设备上。终端软件界面设计友好、操作简单，本发明通过与移动终端结合可获得很好的用户体验。
附图说明
图1为本发明多旋翼无人机目标实时跟踪拍摄系统硬件单元的结构示意图；
图2为无人机目标跟踪操作流程图。
主要模块单元标号说明：
10无人机
11飞行控制单元
12控制信号切换模块
13图像数据处理单元
14云台
15相机
20地面终端设备
具体实施方式
为了使本发明实施例的目的、技术方案和优点更加清楚，下面结合附图对具体实施例进行详细描述。
请参考图1，为本发明多旋翼无人机目标实时跟踪拍摄系统硬件单元的结构示意图，如图所示，本发明多旋翼无人机目标实时跟踪拍摄系统包括：无人机10；飞行控制单元11设于无人机上，控制无人机基本飞行功能；控制信号切换模块12设于无人机上，切换终端控制信号和图像处理模块自动跟踪飞行控制信号；图像数据处理单元13，设于无人机上，用于处理相机采集的图像数据；云台14，设于无人机上，连接飞控单元；相机15，设于云台上；地面终端设备20。
请结合参考图2，为本发明无人机目标跟踪操作流程图，如图所示，本发明的无人机目标跟踪操作流程包括：步骤S1，多旋翼无人机电源开关打开上电，上电后无人机上所有模块都启动运行；步骤S2，终端上手动解锁无人机，无人机就处于待飞状态，旋翼会低速旋转；步骤S3，推动油门使无人机飞到一定高度后降油门悬停，优选于3至4米高空中，使用终端上油门微调旋钮使无人机空中稳定悬停；步骤S4，通过终端屏幕框选地面待跟踪目标，优选于，尽量减少框选区域中背景面积；步骤S5，滑动终端屏幕上控制信号切换按钮到跟踪状态，无人机将不再接收终端发送的飞行控制信号，直到跟踪飞行状态解除。
Claims (4)
1.一种多旋翼无人机目标实时跟踪拍摄系统及方法，其特征包括：硬件系统包括多旋翼无人机机体、飞行控制单元、云台、手动和自动控制信号切换模块、图像数据处理单元以及相机。所述硬件装置均安装在无人机上，所述相机安装在无人机云台上，相机拍摄的图像传输至图像处理单元，通过本发明的跟踪方法获取目标位置，再将位置信息转换为飞行控制信号传输到飞行控制单元实现目标的跟踪飞行。
2.根据权利要求1所述的一种多旋翼无人机目标实时跟踪拍摄系统及方法，其特征在于：所述的飞行控制单元用于实现多旋翼无人机的基本飞行功能，包括垂直垂直起降、空中悬停、俯仰方向飞行、翻滚方向飞行和航向角控制。
3.根据权利要求1所述的一种多旋翼无人机目标实时跟踪拍摄系统及方法，其特征在于：手动和自动控制信号切换模块可以实现手动控制无人机飞行方向和速度，也可以在选定目标后决定何时切换为自动目标跟踪拍摄模式。
4.根据权利要求1所述的一种多旋翼无人机目标实时跟踪拍摄系统及方法，目标跟踪方法特征在于：采用了目标背景抑制、目标尺度变化计算、动态更新匹配模板三个策略。上述策略中，图像背景抑制策略可以降低目标移动过程中背景变化带来的干扰，通过对目标尺度的准确计算可以更准确判断跟踪的距离。对匹配模板的动态更新可以不断学习目标在场景中的变化，而且减少学习到干扰因素。本发明的跟踪方法可以在复杂环境中稳定且实时跟踪目标，降低了目标跟丢的概率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710417880.6A CN109002059A (zh) | 2017-06-06 | 2017-06-06 | 一种多旋翼无人机目标实时跟踪拍摄系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710417880.6A CN109002059A (zh) | 2017-06-06 | 2017-06-06 | 一种多旋翼无人机目标实时跟踪拍摄系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109002059A true CN109002059A (zh) | 2018-12-14 |
Family
ID=64573384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710417880.6A Pending CN109002059A (zh) | 2017-06-06 | 2017-06-06 | 一种多旋翼无人机目标实时跟踪拍摄系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109002059A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110045750A (zh) * | 2019-05-13 | 2019-07-23 | 南京邮电大学 | 一种基于四旋翼无人机的室内场景构建系统及其实现方法 |
| CN110109482A (zh) * | 2019-06-14 | 2019-08-09 | 上海应用技术大学 | 基于ssd神经网络的目标跟踪系统 |
| CN111476116A (zh) * | 2020-03-24 | 2020-07-31 | 南京新一代人工智能研究院有限公司 | 一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法 |
| CN111930136A (zh) * | 2020-08-21 | 2020-11-13 | 中国工程物理研究院总体工程研究所 | 一种飞行调参的工程方法 |
| CN113091752A (zh) * | 2021-04-16 | 2021-07-09 | 中山大学 | 一种基于多无人机的目标位姿实时测量方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101667032A (zh) * | 2008-09-03 | 2010-03-10 | 中国科学院自动化研究所 | 基于视觉的无人直升机目标跟踪系统 |
| CN104992451A (zh) * | 2015-06-25 | 2015-10-21 | 河海大学 | 一种改进的目标跟踪方法 |
| CN105100728A (zh) * | 2015-08-18 | 2015-11-25 | 零度智控（北京）智能科技有限公司 | 无人机视频跟踪拍摄系统及方法 |
| CN106408592A (zh) * | 2016-09-09 | 2017-02-15 | 南京航空航天大学 | 一种基于目标模板更新的目标跟踪方法 |
-
2017
- 2017-06-06 CN CN201710417880.6A patent/CN109002059A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101667032A (zh) * | 2008-09-03 | 2010-03-10 | 中国科学院自动化研究所 | 基于视觉的无人直升机目标跟踪系统 |
| CN104992451A (zh) * | 2015-06-25 | 2015-10-21 | 河海大学 | 一种改进的目标跟踪方法 |
| CN105100728A (zh) * | 2015-08-18 | 2015-11-25 | 零度智控（北京）智能科技有限公司 | 无人机视频跟踪拍摄系统及方法 |
| CN106408592A (zh) * | 2016-09-09 | 2017-02-15 | 南京航空航天大学 | 一种基于目标模板更新的目标跟踪方法 |
Non-Patent Citations (1)
| Title |
|---|
| 董蓉 等: "基于局部不变特征点数据集的目标跟踪算法", 《仪器仪表学报》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110045750A (zh) * | 2019-05-13 | 2019-07-23 | 南京邮电大学 | 一种基于四旋翼无人机的室内场景构建系统及其实现方法 |
| CN110109482A (zh) * | 2019-06-14 | 2019-08-09 | 上海应用技术大学 | 基于ssd神经网络的目标跟踪系统 |
| CN111476116A (zh) * | 2020-03-24 | 2020-07-31 | 南京新一代人工智能研究院有限公司 | 一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法 |
| CN111930136A (zh) * | 2020-08-21 | 2020-11-13 | 中国工程物理研究院总体工程研究所 | 一种飞行调参的工程方法 |
| CN111930136B (zh) * | 2020-08-21 | 2022-07-12 | 中国工程物理研究院总体工程研究所 | 一种飞行调参的工程方法 |
| CN113091752A (zh) * | 2021-04-16 | 2021-07-09 | 中山大学 | 一种基于多无人机的目标位姿实时测量方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11914370B2 (en) | System and method for providing easy-to-use release and auto-positioning for drone applications | |
| US11797009B2 (en) | Unmanned aerial image capture platform | |
| CN109002059A (zh) | 一种多旋翼无人机目标实时跟踪拍摄系统及方法 | |
| US11649052B2 (en) | System and method for providing autonomous photography and videography | |
| US10409276B2 (en) | System and method for controller-free user drone interaction | |
| CN108700890A (zh) | 无人机返航控制方法、无人机和机器可读存储介质 | |
| CN105700543B (zh) | 一种飞行装置控制系统、控制方法及航拍无人机 | |
| US10365066B2 (en) | Photoelectric sighting system and calibration method thereof | |
| CN102156481A (zh) | 无人飞行器的智能追踪控制方法及系统 | |
| US10139198B2 (en) | Photoelectric sighting system and calibration method thereof | |
| US11611700B2 (en) | Unmanned aerial vehicle with virtual un-zoomed imaging | |
| WO2018014420A1 (zh) | 一种基于发光目标识别的无人机跟踪控制系统及方法 | |
| WO2021088684A1 (zh) | 全向避障方法及无人飞行器 | |
| CN110498039A (zh) | 一种基于仿生扑翼飞行器的智能监控系统 | |
| CN204287973U (zh) | 飞行相机 | |
| CN115933718A (zh) | 一种融合全景slam与目标识别的无人机自主飞行技术方法 | |
| WO2022188151A1 (zh) | 影像拍摄方法、控制装置、可移动平台和计算机存储介质 | |
| US20210011490A1 (en) | Flight control method, device, and machine-readable storage medium | |
| CN111031202A (zh) | 基于四旋翼的智能拍照无人机、智能拍照系统及其方法 | |
| CN111601037A (zh) | 一种跟拍系统、方法、装置及存储介质 | |
| CN110531775A (zh) | 一种无人装置控制方法、无人装置航行控制方法及其探测系统 | |
| US20220404841A1 (en) | Information processing system, information processing method, and information processing program | |
| CN111610799A (zh) | 一种四旋翼无人机的网络控制方法、计算机设备及存储介质 | |
| CN115830110A (zh) | 即时定位与地图构建方法、装置、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181214 |
|
| WD01 | Invention patent application deemed withdrawn after publication |