CN110687922A - 一种无人机的视觉跟踪方法及具有视觉跟踪功能的无人机 - Google Patents

一种无人机的视觉跟踪方法及具有视觉跟踪功能的无人机 Download PDF

Info

Publication number
CN110687922A
CN110687922A CN201911084487.5A CN201911084487A CN110687922A CN 110687922 A CN110687922 A CN 110687922A CN 201911084487 A CN201911084487 A CN 201911084487A CN 110687922 A CN110687922 A CN 110687922A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
image information
tracked target
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911084487.5A
Other languages
English (en)
Other versions
CN110687922B (zh
Inventor
唐建宇
叶雪军
田江峰
罗运帷
吴阳民
高刃
李红艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HUBEI UNIVERSITY OF ECONOMICS
Original Assignee
HUBEI UNIVERSITY OF ECONOMICS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HUBEI UNIVERSITY OF ECONOMICS filed Critical HUBEI UNIVERSITY OF ECONOMICS
Priority to CN201911084487.5A priority Critical patent/CN110687922B/zh
Publication of CN110687922A publication Critical patent/CN110687922A/zh
Application granted granted Critical
Publication of CN110687922B publication Critical patent/CN110687922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种无人机的视觉跟踪方法，包括如下步骤：S1、先通过无人机的摄像头获取多组被跟踪目标的图像信息，再利用这些图像信息训练得到被跟踪目标的跟踪模型；S2、利用当前的跟踪模型，使无人机的摄像头检测到被跟踪目标，并不断实时获取被跟踪目标的图像信息；S3、根据被跟踪目标的图像信息变化调整无人机的运动；S4，重复步骤S2和S3，以实现无人机对目标的视觉跟踪；其中，步骤S2中，将实时获取的每一帧的图像信息均储存入训练集中，并利用训练集中的图像信息训练新的跟踪模型，当训练集中储存的图像信息的帧数达到预设的阈值时，使用新的跟踪模型代替原有的跟踪模型以作为当前的跟踪模型，并清空训练集中的图像信息。

Description

一种无人机的视觉跟踪方法及具有视觉跟踪功能的无人机
技术领域
本发明涉及无人飞行器领域，具体涉及一种无人机的视觉跟踪方法及具有视觉跟踪功能的无人机。
背景技术
随着科学技术的发展进步，无人飞行器(无人机)在社会生产生活中得到了广泛的应用。民用无人机通常带有摄像头，以实现航拍的功能，其具有体积小、结构简单紧凑、可垂直起降、获取影像机动灵活等特点。
然而，传统的无人机只能通过手持遥控器来控制其运行，由于无人机飞行控制方式的复杂性，因此对无人机操作者的操作水平提出了较高的要求。目前也存在一些无人机能够实现对目标进行智能跟踪的功能，但其跟踪性能不够稳定，精度不高，容易丢失目标。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种无人机的视觉跟踪方法及具有视觉跟踪功能的无人机，以实现目标高精度的稳定跟踪。
为实现上述目的，本发明采取的技术方案为：一种无人机的视觉跟踪方法，所述无人机的机头处设置有摄像头，所述方法包括如下步骤：
S1、开始视觉跟踪前，先通过无人机的摄像头获取多组被跟踪目标的图像信息，再利用这些图像信息训练得到被跟踪目标的跟踪模型；
S2、开始视觉跟踪后，利用当前的跟踪模型，使无人机的摄像头检测到被跟踪目标，并不断实时获取被跟踪目标的图像信息；
S3、根据被跟踪目标的图像信息变化调整无人机的运动；
S4，重复步骤S2和S3，以实现无人机对目标的视觉跟踪；
其中，步骤S2中，将实时获取的每一帧的图像信息均储存入训练集中，并利用训练集中的图像信息训练新的跟踪模型，当训练集中储存的图像信息的帧数达到预设的阈值时，使用新的跟踪模型代替原有的跟踪模型以作为当前的跟踪模型，并清空训练集中的图像信息。
在一些实施例中，步骤S1中，通过SSD算法训练得到被跟踪目标的跟踪模型；步骤S2中，通过SSD算法使无人机的摄像头检测到被跟踪目标，且通过SSD算法训练得新的跟踪模型。
在一些实施例中，步骤S3中，若被跟踪目标的图像大小发生变化，则控制无人机相对于被跟踪目标向前或向后飞行；若被跟踪目标的图像位置发生变化，则控制无人机的机头朝向相应变化。
在一些实施例中，开始视觉跟踪后，若无人机的摄像头未能检测到被跟踪目标，或检测到被跟踪目标的图像信息发生异常变化时，无人机发出提示信号以提示用户进行处理。
本发明另一方面提供了一种具有视觉跟踪功能的无人机，包括机身、电源、摄像头、动力装置及控制模块，
所述摄像头设置于所述机身的机头处，用于采集图像信息；
所述电源设置于所述机身内，用于为所述无人机供电；
所述动力装置包括多个旋翼与对应的多个电机，多个旋翼及多个电机均匀设置在所述机身的不同位置；
所述控制模块设置在所述机身内，用于控制所述电机的运转；
所述无人机能够利用权利要求上述的方法实现视觉跟踪功能。
在一些实施例中，还包括无线模块，所述无线模块与所述摄像头及所述控制模块电连接，且与外部服务器通信连接；所述无线模块用于将所述摄像头采集的图像信息发送至外部服务器进行处理，并接收外部服务器发来的控制信号，再将所述控制信号发送至所述控制模块以控制所述电机的运转。
与现有技术相比，本发明的优点是：本发明提供的无人机的视觉跟踪方法，在开始视觉跟踪后，利用实时获取的图像信息，不断训练新的跟踪模型以代替原有的跟踪模型，能大大提高无人机跟踪性能的精度及稳定性；同时，使用新的跟踪模型替换了原有的跟踪模型后即清空训练集中的图像数据，使得训练集中的图像数据不会过多，训练跟踪模型时的计算量并不大，不会对算法的速度产生明显影响。
附图说明
通过下文中参照附图对本发明所作的描述，本发明的其它目的和优点将显而易见，并可帮助对本发明有全面的理解。
图1为本发明提供的无人机的视觉跟踪方法的流程图；
图2为本发明提供的具有视觉跟踪功能的无人机的模块连接示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
参照图1，为本发明提供的一种无人机的视觉跟踪方法，该无人机的机头处设置有摄像头，该方法包括如下步骤：S1、开始视觉跟踪前，先通过无人机的摄像头获取多组被跟踪目标的图像信息，再利用这些图像信息训练得到被跟踪目标的跟踪模型；S2、开始视觉跟踪后，利用当前的跟踪模型，使无人机的摄像头检测到被跟踪目标，并不断实时获取被跟踪目标的图像信息；S3、根据被跟踪目标的图像信息变化调整无人机的运动；S4，重复步骤S2和S3，以实现无人机对目标的视觉跟踪。
其中，步骤S2中，将实时获取的每一帧的图像信息均储存入训练集中，并利用训练集中的图像信息训练新的跟踪模型，当训练集中储存的图像信息的帧数达到预设的阈值时，使用新的跟踪模型代替原有的跟踪模型以作为当前的跟踪模型，并清空训练集中的图像信息。
步骤S3中，若被跟踪目标的图像大小发生变化，则控制无人机相对于被跟踪目标向前或向后飞行；若被跟踪目标的图像位置发生变化，则控制无人机的机头朝向相应变化。
进一步地，步骤S1中，通过单图多检测框探测器(Single Shot multiboxDetector，SSD)算法训练得到被跟踪目标的跟踪模型；步骤S2中，通过SSD算法使无人机的摄像头检测到被跟踪目标，且通过SSD算法训练得新的跟踪模型。SSD算法进行目标检测时，首先产生多个不同尺度、不同长宽比的矩形的假设目标框；然后，再将多个不同的卷积滤波器应用于各个卷积层上，从而得出各个假设目标框的分值和位置偏移，确定一系列候选目标框；然后再通过非极大值抑制策略来从候选目标框中确定最终的检测结果，即得到了最优的矩形目标框。
SSD算法可在外部服务器(如后台的计算机)中执行，该无人机可包括无线模块，如WIFI模块、5G模块，无线模块能将摄像头采集到的图像信息发送至外部服务器进行处理，且无线模块能接收外部服务器发来的控制信号，以控制无人机的运转。
具体地，步骤S1中，开始视觉跟踪前，在外部服务器中创建训练集，将多组图像信息储存入训练集中，然后通过SSD算法对训练集中的每一帧图像信息进行处理，并综合考虑后得到跟踪模型。步骤S2中，通过SSD算法对实时采集的图像信息进行处理，并与跟踪模型进行对比，使无人机的摄像头检测到被跟踪目标，同时，在外部服务器中创建新的训练集，将实时获取的每一帧的图像信息均储存入新的训练集中，并通过SSD算法，利用新的训练集中的图像信息训练新的跟踪模型，当新的训练集中储存的图像信息的帧数达到预设的阈值时，即使用新的跟踪模型代替原有的跟踪模型以作为当前的跟踪模型，并清空训练集中的图像信息。步骤S3中，通过SSD算法对最新一帧的图像信息进行处理，并与当前跟踪模型进行对比，若该帧图像对应的矩形目标框变小或变大，即说明目标距离无人机变远或变近，则发出控制信号，控制无人机对于被跟踪目标向前或向后飞行；若该帧图像对应的矩形目标框的位置向左或向右偏移，即说明被跟踪目标的位置发生变化，则发出控制信号，控制无人机的机头朝向相应变化。
另外，开始视觉跟踪后，若无人机的摄像头未能检测到被跟踪目标，或检测到被跟踪目标的图像信息发生异常变化时，无人机发出提示信号以提示用户进行处理。例如，该无人机可供老年人、儿童、残疾人等有出行安全隐患或出行障碍的人群使用，出行前将需要跟随的人定为目标，无人机跟随出行者飞行并不断拍摄图片，并通过无线模块将图片发送给出行者的亲属的电脑或智能手机；若图片发生异常变化，如图片中出行者的位置短时间内大幅度变化，可能是出行者发生了意外摔倒或其他意外情况，此时可通过无线模块向出行者的亲属发出提示信号，以提示其亲属进行救援。当然，无人机也可在用户主动发出的停止跟踪信号的控制下，停止目标跟踪。
本发明提供的无人机的视觉跟踪方法，在开始视觉跟踪后，利用实时获取的图像信息，不断训练新的跟踪模型以代替原有的跟踪模型，能大大提高无人机跟踪性能的精度及稳定性；同时，使用新的跟踪模型替换了原有的跟踪模型后即清空训练集中的图像数据，使得训练集中的图像数据不会过多，训练跟踪模型时的计算量并不大，不会对算法的速度产生明显影响。
参照图2，本发明另一方面提供了一种具有视觉跟踪功能的无人机，包括机身(图中未示出)、电源(图中未示出)、摄像头2、动力装置3及控制模块1。摄像头2设置于机身的机头处，用于采集图像信息；电源设置于机身内，用于为无人机供电；动力装置3包括多个旋翼(如四个旋翼)与对应的多个电机，多个旋翼及多个电机均匀设置在机身的不同位置；控制模块1设置在机身内，用于控制电机的运转；该无人机能够利用上述的方法实现视觉跟踪功能。
进一步地，该无人机还包括无线模块4，如WIFI模块、5G模块，无线模块4与摄像头2及控制模块1电连接，且与外部服务器通信连接；无线模块2用于将摄像头1采集的图像信息发送至外部服务器进行处理，并接收外部服务器发来的控制信号，再将控制信号发送至控制模块1以控制电机的运转。当然，在无人机不执行自动目标跟踪功能时，该无线模块4也可直接接受来自遥控器的控制信号，由用户通过遥控器控制无人机的运动。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (6)

1.一种无人机的视觉跟踪方法，所述无人机的机头处设置有摄像头，其特征在于，所述方法包括如下步骤：
S1、开始视觉跟踪前，先通过无人机的摄像头获取多组被跟踪目标的图像信息，再利用这些图像信息训练得到被跟踪目标的跟踪模型；
S2、开始视觉跟踪后，利用当前的跟踪模型，使无人机的摄像头检测到被跟踪目标，并不断实时获取被跟踪目标的图像信息；
S3、根据被跟踪目标的图像信息变化调整无人机的运动；
S4，重复步骤S2和S3，以实现无人机对目标的视觉跟踪；
其中，步骤S2中，将实时获取的每一帧的图像信息均储存入训练集中，并利用训练集中的图像信息训练新的跟踪模型，当训练集中储存的图像信息的帧数达到预设的阈值时，使用新的跟踪模型代替原有的跟踪模型以作为当前的跟踪模型，并清空训练集中的图像信息。
2.根据权利要求1所述的无人机的视觉跟踪方法，其特征在于，步骤S1中，通过SSD算法训练得到被跟踪目标的跟踪模型；步骤S2中，通过SSD算法使无人机的摄像头检测到被跟踪目标，且通过SSD算法训练得新的跟踪模型。
3.根据权利要求1所述的无人机的视觉跟踪方法，其特征在于，步骤S3中，若被跟踪目标的图像大小发生变化，则控制无人机相对于被跟踪目标向前或向后飞行；若被跟踪目标的图像位置发生变化，则控制无人机的机头朝向相应变化。
4.根据权利要求1所述的无人机的视觉跟踪方法，其特征在于，开始视觉跟踪后，若无人机的摄像头未能检测到被跟踪目标，或检测到被跟踪目标的图像信息发生异常变化时，无人机发出提示信号以提示用户进行处理。
5.一种具有视觉跟踪功能的无人机，其特征在于，包括机身、电源、摄像头、动力装置及控制模块，
所述摄像头设置于所述机身的机头处，用于采集图像信息；
所述电源设置于所述机身内，用于为所述无人机供电；
所述动力装置包括多个旋翼与对应的多个电机，多个旋翼及多个电机均匀设置在所述机身的不同位置；
所述控制模块设置在所述机身内，用于控制所述电机的运转；
所述无人机能够利用权利要求1-4任一项所述的方法实现视觉跟踪功能。
6.根据权利要求5所述的具有视觉跟踪功能的无人机，其特征在于，还包括无线模块，所述无线模块与所述摄像头及所述控制模块电连接，且与外部服务器通信连接；所述无线模块用于将所述摄像头采集的图像信息发送至外部服务器进行处理，并接收外部服务器发来的控制信号，再将所述控制信号发送至所述控制模块以控制所述电机的运转。
CN201911084487.5A 2019-11-08 2019-11-08 一种无人机的视觉跟踪方法及具有视觉跟踪功能的无人机 Active CN110687922B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911084487.5A CN110687922B (zh) 2019-11-08 2019-11-08 一种无人机的视觉跟踪方法及具有视觉跟踪功能的无人机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911084487.5A CN110687922B (zh) 2019-11-08 2019-11-08 一种无人机的视觉跟踪方法及具有视觉跟踪功能的无人机

Publications (2)

Publication Number Publication Date
CN110687922A true CN110687922A (zh) 2020-01-14
CN110687922B CN110687922B (zh) 2022-10-28

Family

ID=69115710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911084487.5A Active CN110687922B (zh) 2019-11-08 2019-11-08 一种无人机的视觉跟踪方法及具有视觉跟踪功能的无人机

Country Status (1)

Country Link
CN (1) CN110687922B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017210A (zh) * 2020-07-14 2020-12-01 创泽智能机器人集团股份有限公司 目标物体跟踪方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985193A (zh) * 2018-06-28 2018-12-11 电子科技大学 一种基于图像检测的无人机航拍人像对准方法
CN109598742A (zh) * 2018-11-27 2019-04-09 湖北经济学院 一种基于ssd算法的目标跟踪方法及系统
CN109753903A (zh) * 2019-02-27 2019-05-14 北航（四川）西部国际创新港科技有限公司 一种基于深度学习的无人机检测方法
CN109886082A (zh) * 2019-01-03 2019-06-14 南京理工大学 一种基于ssd的小目标增强预测模块检测方法
CN109978045A (zh) * 2019-03-20 2019-07-05 深圳市道通智能航空技术有限公司 一种目标跟踪方法、装置和无人机
CN110110702A (zh) * 2019-05-20 2019-08-09 哈尔滨理工大学 一种基于改进ssd目标检测网络的无人机规避算法
CN110109482A (zh) * 2019-06-14 2019-08-09 上海应用技术大学 基于ssd神经网络的目标跟踪系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985193A (zh) * 2018-06-28 2018-12-11 电子科技大学 一种基于图像检测的无人机航拍人像对准方法
CN109598742A (zh) * 2018-11-27 2019-04-09 湖北经济学院 一种基于ssd算法的目标跟踪方法及系统
CN109886082A (zh) * 2019-01-03 2019-06-14 南京理工大学 一种基于ssd的小目标增强预测模块检测方法
CN109753903A (zh) * 2019-02-27 2019-05-14 北航（四川）西部国际创新港科技有限公司 一种基于深度学习的无人机检测方法
CN109978045A (zh) * 2019-03-20 2019-07-05 深圳市道通智能航空技术有限公司 一种目标跟踪方法、装置和无人机
CN110110702A (zh) * 2019-05-20 2019-08-09 哈尔滨理工大学 一种基于改进ssd目标检测网络的无人机规避算法
CN110109482A (zh) * 2019-06-14 2019-08-09 上海应用技术大学 基于ssd神经网络的目标跟踪系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017210A (zh) * 2020-07-14 2020-12-01 创泽智能机器人集团股份有限公司 目标物体跟踪方法及装置

Also Published As

Publication number Publication date
CN110687922B (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
US10942529B2 (en) Aircraft information acquisition method, apparatus and device
US11649052B2 (en) System and method for providing autonomous photography and videography
WO2019113727A1 (zh) 无人飞行器返航方法、装置、存储介质和无人飞行器
US10399229B2 (en) Method of tracking target object
CN110806215B (zh) 车辆定位的方法、装置、设备及存储介质
US20210255644A1 (en) Determining control parameters for formation of multiple uavs
WO2020181719A1 (zh) 无人机控制方法、无人机及系统
CN110785993A (zh) 拍摄设备的控制方法、装置、设备及存储介质
JP2017226350A (ja) 撮像装置、撮像方法及びプログラム
JP2019011971A (ja) 推定システムおよび自動車
JP2016045874A (ja) 情報処理装置、情報処理方法、及びプログラム
CN103705352A (zh) 基于脑-机接口的智能轮椅及其控制系统和控制方法
WO2021081774A1 (zh) 一种参数优化方法、装置及控制设备、飞行器
CN103577789A (zh) 检测方法和装置
CN105739544B (zh) 云台航向跟随方法及装置
CN110687922B (zh) 一种无人机的视觉跟踪方法及具有视觉跟踪功能的无人机
CN109814588A (zh) 飞行器以及应用于飞行器的目标物追踪系统和方法
CN109002059A (zh) 一种多旋翼无人机目标实时跟踪拍摄系统及方法
CN110892731B (zh) 视频播放速度控制方法及系统、控制终端和可移动平台
CN112241718A (zh) 车辆信息的检测方法、检测模型的训练方法和装置
CN107205111A (zh) 摄像装置、移动装置、摄像系统、摄像方法和记录介质
CN111717390A (zh) 一种多功能无人机系统
Zheng et al. Binocular intelligent following robot based on YOLO-LITE
WO2021016875A1 (zh) 飞行器的降落方法、无人飞行器及计算机可读存储介质
US8606408B2 (en) Control system and method for fan

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant