CN106354156A - 一种跟踪目标对象的方法、装置及飞行器 - Google Patents
一种跟踪目标对象的方法、装置及飞行器 Download PDFInfo
- Publication number
- CN106354156A CN106354156A CN201610871172.5A CN201610871172A CN106354156A CN 106354156 A CN106354156 A CN 106354156A CN 201610871172 A CN201610871172 A CN 201610871172A CN 106354156 A CN106354156 A CN 106354156A
- Authority
- CN
- China
- Prior art keywords
- destination object
- aircraft
- line segment
- photographic head
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000000007 visual effect Effects 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 4
- 241000406668 Loxodonta cyclotis Species 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 241001494479 Pecora Species 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 244000144992 flock Species 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种跟踪目标对象的方法,包括:在飞行器飞行时,获取所述飞行器上的摄像头所采集的所述摄像头可视范围内的图像;检测所述图像中是否包含目标对象,所述目标对象为通过特征训练所得到的对象;若所述图像中包含所述目标对象,则确定所述目标对象的位置信息;根据所述目标对象的位置信息,确定飞行方向和飞行距离,以跟踪所述目标对象。本发明实施例提供的跟踪目标对象的方法,可以对摄像头采集的图像进行检测,然后跟踪图像中的目标对象,该目标对象为通过特征训练所得到的对象,不需要人工指定,从而保证了对目标对象检测的准确度,提高了目标对象跟踪的准确度。
Description
技术领域
本发明涉及飞行器技术领域,具体涉及一种跟踪目标对象的方法、装置及飞行器。
背景技术
无人驾驶的飞机简称为无人机,无人机在国民经济和军事上都有很多应用,目前无人机己被广泛应用于航拍摄影、电力巡检、环境监测、森林防火、灾情巡查、防恐救生、军事侦察和战场评估等领域,无人机在各领域的应用中经常需要跟踪目标对象。
目前,无人机对物体跟踪的方案是通过搭载在需要跟踪物体上面的全球定位系统(Global Positioning System,GPS)设备来获取需要跟踪物体的位置信息,无人机根据该位置调整飞行的方向和速度以实现自动跟踪。
除了通过GPS设备跟踪外,还可以通过机载雷达进行跟踪,机载雷达的方案是通过无人机上安装的雷达来扫描无人机周围的环境,从而识别物体以实现物体跟踪的。
虽然,通过GPS和机载雷达都可以实现无人机自动跟踪物体,但是GPS的信号误差很大,某些位置因为遮挡,例如室内,树下,大楼旁边等,会接收不到GPS信号,导致跟踪失败。机载雷达的方式在一些环境中也很容易受到外界电磁信号的影响,导致跟踪的效果很差。
发明内容
为解决现有技术中无人机对物体跟踪的效果不好的问题,本发明实施例提供一种跟踪目标对象的方法,可以对摄像头采集的图像进行检测,然后跟踪图像中的目标对象,该目标对象为通过特征训练所得到的对象,不需要人工指定,从而保证了对目标对象检测的准确度,提高了目标对象跟踪的准确度。本发明实施例还提供了相应的装置及飞行器。
本发明第一方面提供一种跟踪目标对象的方法,所述方法应用于飞行器,所述方法包括:
在飞行器飞行时,获取所述飞行器上的摄像头所采集的所述摄像头可视范围内的图像;
检测所述图像中是否包含目标对象,所述目标对象为通过特征训练所得到的对象;
若所述图像中包含所述目标对象,则确定所述目标对象的位置信息;
根据所述目标对象的位置信息,确定飞行方向和飞行距离,以跟踪所述目标对象。
本发明第二方面提供一种跟踪目标对象的装置,包括:
获取单元,用于在飞行器飞行时,获取所述飞行器上的摄像头所采集的所述摄像头可视范围内的图像;
检测单元,用于检测所述获取单元获取的所述图像中是否包含目标对象,所述目标对象为通过特征训练所得到的对象;
第一确定单元,用于若所述检测单元检测出所述图像中包含所述目标对象,则确定所述目标对象的位置信息;
第二确定单元,用于根据所述第一确定单元确定的所述目标对象的位置信息,确定飞行方向和飞行距离,以跟踪所述目标对象。
本发明第三方面提供一种飞行器,包括:摄像头和上述第二方面所述的跟踪目标对象的装置。
与现有技术中无人机对物体跟踪的效果不好相比,本发明实施例提供的跟踪目标对象的方法,可以对摄像头采集的图像进行检测,然后跟踪图像中的目标对象,该目标对象为通过特征训练所得到的对象,不需要人工指定,从而保证了对目标对象检测的准确度,提高了目标对象跟踪的准确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中跟踪目标对象的方法的一场景实例示意图;
图2是本发明实施例中水平距离位置建模图的一示例示意图;
图3是本发明实施例中竖直距离位置建模图的一示例示意图;
图4是本发明实施例中跟踪目标对象的方法的一实施例示意图;
图5是本发明实施例中跟踪目标对象的装置的一实施例示意图;
图6是本发明实施例中飞行器的一实施例示意图。
具体实施方式
本发明实施例提供一种跟踪目标对象的方法,可以对摄像头采集的图像进行检测,然后跟踪图像中的目标对象,该目标对象为通过特征训练所得到的对象,不需要人工指定,从而保证了对目标对象检测的准确度,提高了目标对象跟踪的准确度。本发明实施例还提供了相应的飞行器。以下分别进行详细说明。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中的飞行器通常指无人飞行器,包括无人机、遥控飞机、无人航空器、无人飞艇和无人气球等。
飞行器进行对象跟踪是飞行器的一项常见应用,当前常见的对象跟踪方案通常都是由用户根据跟踪需要临时指定需要跟踪的目标对象,然后由无人机记录该目标对象的特征进行跟踪的,这种跟踪方案虽然使用比较灵活,但是经常会出现无人机对特征记录不是很准确,会与相似的对象发生混淆的情况,导致跟踪失败。
鉴于此,本发明实施例提供一种跟踪目标对象的方法,如图1所示,本发明实施例提供的一种跟踪目标对象的方法的一实施例包括飞行器10和目标对象20,本场景中的目标对象为汽车,实际上目标对象可以有很多种,例如:羊群、自行车和人物等。本发明实施例中,飞行器可追踪的目标对象都是通过样本训练预先得到的,然后在用户跟踪具体的目标对象时,只需要选择相应目标对象的模式即可,无人机就可以根据该目标对象的特征进行跟踪。
飞行器上可以包括摄像头101和距离传感器102,摄像头101可以采集该摄像头可视范围内的图像。距离传感器102可以测量飞行器与地面的距离。当然,飞行器10还可以包括处理器、存储器,以及其他硬件模块,在本发明实施例中暂不做一一介绍。
本发明实施例中飞行器跟踪目标对象的过程可以包括:
在飞行时,获取所述飞行器上的摄像头所采集的所述摄像头可视范围内的图像;
检测所述图像中是否包含目标对象,所述目标对象为通过特征训练所得到的对象;
若所述图像中包含所述目标对象,则确定所述目标对象的位置信息;
根据所述目标对象的位置信息,确定飞行方向和飞行距离,以跟踪所述目标对象。
与现有技术中无人机对物体跟踪的效果不好相比,本发明实施例提供的跟踪目标对象的方法,可以对摄像头采集的图像进行检测,然后跟踪图像中的目标对象,该目标对象为通过特征训练所得到的对象,不需要人工指定,从而保证了对目标对象检测的准确度,提高了目标对象跟踪的准确度。
其中,所述确定所述目标对象的位置信息,可以包括:
从所述图像中,确定所述目标对象的界面坐标;
根据所述界面坐标,以及界面坐标与空间坐标的对应关系,确定所述目标对象的空间坐标;
根据所述目标对象的位置信息,确定飞行方向和飞行距离,包括:
根据所述目标对象的空间坐标、所述飞行器的当前位置和所述飞行器上摄像头的角度数据,确定所述飞行器需飞行的水平距离和竖直距离;
根据所述飞行器的当前位置、以及所述水平距离和所述竖直距离,确定所述飞行方向。
本发明实施例中,在目标对象跟踪的过程中,主要是需要确定跟踪该目标对象的飞行方向和飞行距离。飞行距离可以由水平距离和竖直距离两个分类来确定,也可以理解为是坐标轴的x轴方向的距离和y轴方向的距离,垂直距离可以通过距离传感器测定后,直接决定拉升还是下降。
下面结合图2介绍本发明实施例中的水平距离的确定过程。
该水平方向上的位置建模图可以参阅图2进行理解。
图2中,A点为摄像头的位置,AB和AC分别是摄像头横轴视线的极限,BMC为地面,则BC线段为摄像头在横轴方向上的视线范围,虚线AM为摄像头中心线;BC上的每个点均匀的落在摄像头采集图像的横轴坐标上,P点是地面上的目标对象在水平方向上的投影点,OA是飞行器离地面的垂直高度,∠OAM是摄像头中心线和垂直方向的角度,∠BAM是摄像头横轴方向视角的半角,MP为目标对象的横坐标的长度,也就是要求的水平距离,BC为图像对应的横向长度。
若设∠OAM为β,即为摄像头中心线和垂直线之间的夹角;∠BAM为ɑ,为摄像头水平视角的半角,则可以得出:
|AM|=|OA|/sinβ
|MC|=|AM|*tanα
再设x为所述目标对象的空间横坐标,空间坐标系的横轴长度为X,飞行器的当前位置与地面的垂直高度为H,则可以得到横轴方向上目标位置和飞行器当前位置的距离,也就是水平距离Sx的计算公式:
Sx=(2*x*H*tanα)/(X*sinβ)
总的来说,水平距离计算公式中的各参数的含义为:所述Sx为水平距离、所述x为所述目标对象的空间横坐标、所述H为所述飞行器的当前位置与地面的垂直高度、所述α为所述摄像头的水平视角的半角、所述X为空间坐标系的横轴长度,以及所述β为第一线段与第二线段之间的夹角,所述第一线段为所述飞行器的摄像头与地面垂直点所构成的线段,所述第二线段为所述飞行器的摄像头与所述摄像头在横轴方向上的视线范围线段中的中点所构成的线段,也就是图2中的AM。
下面结合图3介绍竖直距离的确定过程,竖直距离的确定过程可以是:
为所述目标对象的位置建立竖直方向上的位置建模图;
该竖直方向上的位置建模图可以参阅图3进行理解。
A点为摄像头的位置,AB和AC分别是摄像头纵轴视线的极限,OB为地面,则BC线段为摄像头在纵轴方向上的视线范围,虚线AD为摄像头中心线,在光学上CB上的每一个点成像的原理就是其反射光线穿过A点落在E'F’上。CB上的每一个点在照片纵轴上的位置可以理解为在EF线段上的位置。
根据以上描述可以得知,从摄像头得到的纵轴方向的坐标就等效于KM线段的长度;
EF线段的长度就是摄像头采集到的图像的高度,∠EAM为摄像头纵轴视角的半角,可以计算出AM线段的长度,KM线段为当前目标位置的纵轴坐标,故可以计算出∠KAM的大小,也就计算出了∠OAP的大小;
OA为飞行器当前位置与地面的垂直高度,根据以上角度可以算出线段PD的实际长度,PD也就是要求的竖直距离;
根据此图3可以得出如下关系:
|AM|=|EM|/tan(∠EAM)
∠KAM=arctan(|KM|/|AM|)
∠CAP=∠CAD-∠KAM
|PD|=|OD|-|OP|
|OD|=|OA|*tan(∠OAC+∠CAD)
|OP|=|OA|*tan(∠OAC+∠CAP)
若设目标对象的空间纵坐标为y,空间坐标系的纵轴高度为Y,飞行器的当前位置与地面的垂直高度为H,摄像头纵轴视角半角∠CAD为θ,∠OAC为δ,可以得出纵轴上竖直距离Sy的计算公式:
Sy=H*(tan(δ+θ)-tan(δ+θ-arctan(2*y*tanθ/Y)))
总的来说,竖直距离计算公式中的各参数的含义为:所述Sy为竖直距离、所述y为所述目标对象的空间纵坐标、所述H为所述飞行器的当前位置与地面的垂直高度、所述θ为所述摄像头的竖直视角的半角、所述Y为空间坐标系的纵轴高度,以及所述δ为第三线段与第四线段之间的夹角,所述第三线段为所述飞行器的摄像头与地面垂直点所构成的线段,所述第四线段为所述飞行器的摄像头与所述摄像头在纵轴方向上的视线范围线段中的一个端点所构成的线段,也就是图3中的OA,所述第四线段为所述飞行器的摄像头与所述摄像头在纵轴方向上的视线范围线段中的一个端点所构成的线段,也就是图3中的AC。
图2和图3中的字母都可以单独理解,不要将图2和图3进行结合理解,因为相同的字母可能标识了不同的位置。
本发明实施例中在无人机中预先存入目标对象的样本特征,在需要追踪目标对象时,只需要加载该目标对象的样本特征即可,在进行跟踪时,摄像头采集到图像后,检测该图像中是否包含目标对象,也就是确定图像中是否包含目标对象的haar特征,所述目标对象的haar特征为从所述目标对象的各个角度的图像样本中提取得到的。在本申请中,分类器指的是包含目标对象的haar特征的数据库,根据该分类器中所包含的haar特征,就可以检测出该图像中是否包含目标对象。
另外,本发明实施例中,对目标对象的跟踪过程可以使用跟踪器,跟踪器实际上可以是一个独立的跟踪模块,也可以是由处理器执行的相应跟踪功能的程序。若所述图像中包含所述目标对象,则初始化跟踪器,如果图像中不包含目标对象,则不需要启动跟踪器,而是继续获取摄像头所采集的图像,直到图像中检测到该目标对象。跟踪器用于确定所述目标对象的位置信息,然后进行跟踪。
本发明实施例中,在图像中检测到目标对象后再初始化跟踪器,可以节省能耗。
参阅图4,本发明实施例提供的跟踪目标对象的方法的另一实施例包括:
301、在飞行器飞行时,获取所述飞行器上的摄像头所采集的所述摄像头可视范围内的图像。
302、检测所述图像中是否包含目标对象,所述目标对象为通过特征训练所得到的对象。
303、若所述图像中包含所述目标对象,则确定所述目标对象的位置信息。
304、根据所述目标对象的位置信息,确定飞行方向和飞行距离,以跟踪所述目标对象。
与现有技术中无人机对物体跟踪的效果不好相比,本发明实施例提供的跟踪目标对象的方法,可以对摄像头采集的图像进行检测,然后跟踪图像中的目标对象,该目标对象为通过特征训练所得到的对象,不需要人工指定,从而保证了对目标对象检测的准确度,提高了目标对象跟踪的准确度。
可选地,所述确定所述目标对象的位置信息,可以包括:
从所述图像中,确定所述目标对象的界面坐标;
根据所述界面坐标,以及界面坐标与空间坐标的对应关系,确定所述目标对象的空间坐标;
根据所述目标对象的位置信息,确定飞行方向和飞行距离,包括:
根据所述目标对象的空间坐标、所述飞行器的当前位置和所述飞行器上摄像头的角度数据,确定所述飞行器需飞行的水平距离和竖直距离;
根据所述飞行器的当前位置、以及所述水平距离和所述竖直距离,确定所述飞行方向。
可选地,所述根据所述目标对象的空间坐标、所述飞行器的当前位置和所述飞行器上摄像头的角度数据,确定所述飞行器需飞行的水平距离,可以包括:
为所述目标对象的位置建立水平方向上的位置建模图;
根据所述水平方向上的位置建模图,确定如下所述水平距离计算公式:
Sx=(2*x*H*tanα)/(X*sinβ)
其中,所述Sx为水平距离、所述x为所述目标对象的空间横坐标、所述H为所述飞行器的当前位置与地面的垂直高度、所述α为所述摄像头的水平视角的半角、所述X为空间坐标系的横轴长度,以及所述β为第一线段与第二线段之间的夹角,所述第一线段为所述飞行器的摄像头与地面垂直点所构成的线段,所述第二线段为所述飞行器的摄像头与所述摄像头在横轴方向上的视线范围线段中的中点所构成的线段。
可选地,所述根据所述目标对象的空间坐标、所述飞行器的当前位置和所述飞行器上摄像头的角度数据,确定所述飞行器需飞行的竖直距离,可以包括:
为所述目标对象的位置建立竖直方向上的位置建模图;
根据所述竖直方向上的位置建模图,确定如下所述竖直距离计算公式:
Sy=H*(tan(δ+θ)-tan(δ+θ-arctan(2*y*tanθ/Y)))
其中,所述Sy为竖直距离、所述y为所述目标对象的空间纵坐标、所述H为所述飞行器的当前位置与地面的垂直高度、所述θ为所述摄像头的竖直视角的半角、所述Y为空间坐标系的纵轴高度,以及所述δ为第三线段与第四线段之间的夹角,所述第三线段为所述飞行器的摄像头与地面垂直点所构成的线段,所述第四线段为所述飞行器的摄像头与所述摄像头在纵轴方向上的视线范围线段中的一个端点所构成的线段。
可选地,所述检测所述图像中是否包含目标对象,可以包括:
通过分类器检测所述图像中是否包含目标对象的haar特征,所述分类器为根据所述目标对象的haar特征进行训练得到的,所述目标对象的haar特征为从所述目标对象的各个角度的图像样本中提取得到的。
可选地,所述若所述图像中包含所述目标对象,则确定所述目标对象的位置信息,可以包括:
若所述图像中包含所述目标对象,则初始化跟踪器,所述跟踪器用于确定所述目标对象的位置信息。
以上所描述的跟踪目标对象的方法可以参阅图1至图3部分的描述进行理解,本处不再重复赘述。
以上是对跟踪目标对象的方法的描述,下面结合附图介绍本发明实施例中的跟踪目标对象的装置。
参阅图5,本发明实施例提供跟踪目标对象的装置40的一实施例包括:
获取单元401,用于在飞行器飞行时,获取所述飞行器上的摄像头所采集的所述摄像头可视范围内的图像;
检测单元402,用于检测所述获取单元401获取的所述图像中是否包含目标对象,所述目标对象为通过特征训练所得到的对象;
第一确定单元403,用于若所述检测单元402检测出所述图像中包含所述目标对象,则确定所述目标对象的位置信息;
第二确定单元404,用于根据所述第一确定单元403确定的所述目标对象的位置信息,确定飞行方向和飞行距离,以跟踪所述目标对象。
本发明实施例中,获取单元401在飞行器飞行时,获取所述飞行器上的摄像头所采集的所述摄像头可视范围内的图像;检测单元402检测所述获取单元401获取的所述图像中是否包含目标对象,所述目标对象为通过特征训练所得到的对象;第一确定单元403若所述检测单元402检测出所述图像中包含所述目标对象,则确定所述目标对象的位置信息;第二确定单元404根据所述第一确定单元403确定的所述目标对象的位置信息,确定飞行方向和飞行距离,以跟踪所述目标对象。与现有技术中无人机对物体跟踪的效果不好相比,本发明实施例提供的跟踪目标对象的装置,可以对摄像头采集的图像进行检测,然后跟踪图像中的目标对象,该目标对象为通过特征训练所得到的对象,不需要人工指定,从而保证了对目标对象检测的准确度,提高了目标对象跟踪的准确度。
可选地,所述第一确定单元403,用于从所述图像中,确定所述目标对象的界面坐标,根据所述界面坐标,以及界面坐标与空间坐标的对应关系,确定所述目标对象的空间坐标;
所述第二确定单元404,用于根据所述目标对象的空间坐标、所述飞行器的当前位置和所述飞行器上摄像头的角度数据,确定所述飞行器需飞行的水平距离和竖直距离;根据所述飞行器的当前位置、以及所述水平距离和所述竖直距离,确定所述飞行方向。
可选地,所述第二确定单元404用于:
为所述目标对象的位置建立水平方向上的位置建模图;
根据所述水平方向上的位置建模图,确定如下所述水平距离计算公式:
Sx=(2*x*H*tanα)/(X*sinβ)
其中,所述Sx为水平距离、所述x为所述目标对象的空间横坐标、所述H为所述飞行器的当前位置与地面的垂直高度、所述α为所述摄像头的水平视角的半角、所述X为空间坐标系的横轴长度,以及所述β为第一线段与第二线段之间的夹角,所述第一线段为所述飞行器的摄像头与地面垂直点所构成的线段,所述第二线段为所述飞行器的摄像头与所述摄像头在横轴方向上的视线范围线段中的中点所构成的线段。
可选地,所述第二确定单元404用于:
为所述目标对象的位置建立竖直方向上的位置建模图;
根据所述竖直方向上的位置建模图,确定如下所述竖直距离计算公式:
Sy=H*(tan(δ+θ)-tan(δ+θ-arctan(2*y*tanθ/Y)))
其中,所述Sy为竖直距离、所述y为所述目标对象的空间纵坐标、所述H为所述飞行器的当前位置与地面的垂直高度、所述θ为所述摄像头的竖直视角的半角、所述Y为空间坐标系的纵轴高度,以及所述δ为第三线段与第四线段之间的夹角,所述第三线段为所述飞行器的摄像头与地面垂直点所构成的线段,所述第四线段为所述飞行器的摄像头与所述摄像头在纵轴方向上的视线范围线段中的一个端点所构成的线段。
可选地,所述检测单元402,用于通过分类器检测所述图像中是否包含目标对象的haar特征,所述分类器为根据所述目标对象的haar特征进行训练得到的,所述目标对象的haar特征为从所述目标对象的各个角度的图像样本中提取得到的。
可选地,所述第一确定单元403,用于若所述图像中包含所述目标对象,则初始化跟踪器,所述跟踪器用于确定所述目标对象的位置信息。
以上所描述的跟踪目标对象的装置40可以参阅图1至图4部分的相关描述进行理解,本处不再重复赘述。
图6是本发明实施例提供的飞行器90的结构示意图。所述飞行器90包括处理器910、存储器950、收发器930、无线通信模块940、摄像头960和距离传感器970,无线通信模块940用于与移动终端无线通信,摄像头用于在飞行器处于飞行状态时拍摄所处环境的视频内容,距离传感器970用于测量飞行器当前位置与地面的垂直高度。存储器950可以包括只读存储器和随机存取存储器,并向处理器910提供操作指令和数据。存储器950的一部分还可以包括非易失性随机存取存储器(NVRAM)。
在一些实施方式中,存储器950存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:
在本发明实施例中,通过调用存储器950存储的操作指令(该操作指令可存储在操作系统中),
在飞行器飞行时,获取所述飞行器上的摄像头所采集的所述摄像头可视范围内的图像;
检测所述图像中是否包含目标对象,所述目标对象为通过特征训练所得到的对象;
若所述图像中包含所述目标对象,则确定所述目标对象的位置信息;
根据所述目标对象的位置信息,确定飞行方向和飞行距离,以跟踪所述目标对象。
与现有技术中无人机对物体跟踪的效果不好相比,本发明实施例提供的飞行器,可以对摄像头采集的图像进行检测,然后跟踪图像中的目标对象,该目标对象为通过特征训练所得到的对象,不需要人工指定,从而保证了对目标对象检测的准确度,提高了目标对象跟踪的准确度。
处理器910控制飞行器90的操作,处理器910还可以称为CPU(Central ProcessingUnit,中央处理单元)。存储器950可以包括只读存储器和随机存取存储器,并向处理器910提供指令和数据。存储器950的一部分还可以包括非易失性随机存取存储器(NVRAM)。的应用中飞行器90的各个组件通过总线系统920耦合在一起,其中总线系统920除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线系统920。
上述本发明实施例揭示的方法可以应用于处理器910中,或者由处理器910实现。处理器910可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器910中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器910可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器950,处理器910读取存储器950中的信息,结合其硬件完成上述方法的步骤。
可选地,处理器910用于:
从所述图像中,确定所述目标对象的界面坐标;
根据所述界面坐标,以及界面坐标与空间坐标的对应关系,确定所述目标对象的空间坐标;
根据所述目标对象的空间坐标、所述飞行器的当前位置和所述飞行器上摄像头的角度数据,确定所述飞行器需飞行的水平距离和竖直距离;
根据所述飞行器的当前位置、以及所述水平距离和所述竖直距离,确定所述飞行方向。
可选地,处理器910用于:
为所述目标对象的位置建立水平方向上的位置建模图;
根据所述水平方向上的位置建模图,确定如下所述水平距离计算公式:
Sx=(2*x*H*tanα)/(X*sinβ)
其中,所述Sx为水平距离、所述x为所述目标对象的空间横坐标、所述H为所述飞行器的当前位置与地面的垂直高度、所述α为所述摄像头的水平视角的半角、所述X为空间坐标系的横轴长度,以及所述β为第一线段与第二线段之间的夹角,所述第一线段为所述飞行器的摄像头与地面垂直点所构成的线段,所述第二线段为所述飞行器的摄像头与所述摄像头在横轴方向上的视线范围线段中的中点所构成的线段。
可选地,处理器910用于:
为所述目标对象的位置建立竖直方向上的位置建模图;
根据所述竖直方向上的位置建模图,确定如下所述竖直距离计算公式:
Sy=H*(tan(δ+θ)-tan(δ+θ-arctan(2*y*tanθ/Y)))
其中,所述Sy为竖直距离、所述y为所述目标对象的空间纵坐标、所述H为所述飞行器的当前位置与地面的垂直高度、所述θ为所述摄像头的竖直视角的半角、所述Y为空间坐标系的纵轴高度,以及所述δ为第三线段与第四线段之间的夹角,所述第三线段为所述飞行器的摄像头与地面垂直点所构成的线段,所述第四线段为所述飞行器的摄像头与所述摄像头在纵轴方向上的视线范围线段中的一个端点所构成的线段。
可选地,处理器910用于:
通过分类器检测所述图像中是否包含目标对象的haar特征,所述分类器为根据所述目标对象的haar特征进行训练得到的,所述目标对象的haar特征为从所述目标对象的各个角度的图像样本中提取得到的。
可选地,处理器910用于:若所述图像中包含所述目标对象,则初始化跟踪器,所述跟踪器用于确定所述目标对象的位置信息。
本发明实施例提供的飞行器可以参阅上述图1至图5部分的相应描述进行理解,本处不做过多赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。
以上对本发明实施例所提供的跟踪目标对象的方法、装置以及飞行器进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (13)
1.一种跟踪目标对象的方法,其特征在于,包括:
在飞行器飞行时,获取所述飞行器上的摄像头所采集的所述摄像头可视范围内的图像;
检测所述图像中是否包含目标对象,所述目标对象为通过特征训练所得到的对象;
若所述图像中包含所述目标对象,则确定所述目标对象的位置信息;
根据所述目标对象的位置信息,确定飞行方向和飞行距离,以跟踪所述目标对象。
2.根据权利要求1所述的方法,其特征在于,所述确定所述目标对象的位置信息,包括:
从所述图像中,确定所述目标对象的界面坐标;
根据所述界面坐标,以及界面坐标与空间坐标的对应关系,确定所述目标对象的空间坐标;
根据所述目标对象的位置信息,确定飞行方向和飞行距离,包括:
根据所述目标对象的空间坐标、所述飞行器的当前位置和所述飞行器上摄像头的角度数据,确定所述飞行器需飞行的水平距离和竖直距离;
根据所述飞行器的当前位置、以及所述水平距离和所述竖直距离,确定所述飞行方向。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标对象的空间坐标、所述飞行器的当前位置和所述飞行器上摄像头的角度数据,确定所述飞行器需飞行的水平距离,包括:
为所述目标对象的位置建立水平方向上的位置建模图;
根据所述水平方向上的位置建模图,确定如下所述水平距离计算公式:
Sx=(2*x*H*tanα)/(X*sinβ)
其中,所述Sx为水平距离、所述x为所述目标对象的空间横坐标、所述H为所述飞行器的当前位置与地面的垂直高度、所述α为所述摄像头的水平视角的半角、所述X为空间坐标系的横轴长度,以及所述β为第一线段与第二线段之间的夹角,所述第一线段为所述飞行器的摄像头与地面垂直点所构成的线段,所述第二线段为所述飞行器的摄像头与所述摄像头在横轴方向上的视线范围线段中的中点所构成的线段。
4.根据权利要求2所述的方法,其特征在于,所述根据所述目标对象的空间坐标、所述飞行器的当前位置和所述飞行器上摄像头的角度数据,确定所述飞行器需飞行的竖直距离,包括:
为所述目标对象的位置建立竖直方向上的位置建模图;
根据所述竖直方向上的位置建模图,确定如下所述竖直距离计算公式:
Sy=H*(tan(δ+θ)-tan(δ+θ-arctan(2*y*tanθ/Y)))
其中,所述Sy为竖直距离、所述y为所述目标对象的空间纵坐标、所述H为所述飞行器的当前位置与地面的垂直高度、所述θ为所述摄像头的竖直视角的半角、所述Y为空间坐标系的纵轴高度,以及所述δ为第三线段与第四线段之间的夹角,所述第三线段为所述飞行器的摄像头与地面垂直点所构成的线段,所述第四线段为所述飞行器的摄像头与所述摄像头在纵轴方向上的视线范围线段中的一个端点所构成的线段。
5.根据权利要求1-4任一所述的方法,其特征在于,所述检测所述图像中是否包含目标对象,包括:
通过分类器检测所述图像中是否包含目标对象的haar特征,所述分类器为根据所述目标对象的haar特征进行训练得到的,所述目标对象的haar特征为从所述目标对象的各个角度的图像样本中提取得到的。
6.根据权利要求1-4任一所述的方法,其特征在于,所述若所述图像中包含所述目标对象,则确定所述目标对象的位置信息,包括:
若所述图像中包含所述目标对象,则初始化跟踪器,所述跟踪器用于确定所述目标对象的位置信息。
7.一种跟踪目标对象的装置,其特征在于,包括:
获取单元,用于在飞行器飞行时,获取所述飞行器上的摄像头所采集的所述摄像头可视范围内的图像;
检测单元,用于检测所述获取单元获取的所述图像中是否包含目标对象,所述目标对象为通过特征训练所得到的对象;
第一确定单元,用于若所述检测单元检测出所述图像中包含所述目标对象,则确定所述目标对象的位置信息;
第二确定单元,用于根据所述第一确定单元确定的所述目标对象的位置信息,确定飞行方向和飞行距离,以跟踪所述目标对象。
8.根据权利要求7所述的装置,其特征在于,
所述第一确定单元,用于从所述图像中,确定所述目标对象的界面坐标,根据所述界面坐标,以及界面坐标与空间坐标的对应关系,确定所述目标对象的空间坐标;
所述第二确定单元,用于根据所述目标对象的空间坐标、所述飞行器的当前位置和所述飞行器上摄像头的角度数据,确定所述飞行器需飞行的水平距离和竖直距离;根据所述飞行器的当前位置、以及所述水平距离和所述竖直距离,确定所述飞行方向。
9.根据权利要求8所述的装置,其特征在于,
所述第二确定单元用于:
为所述目标对象的位置建立水平方向上的位置建模图;
根据所述水平方向上的位置建模图,确定如下所述水平距离计算公式:
Sx=(2*x*H*tanα)/(X*sinβ)
其中,所述Sx为水平距离、所述x为所述目标对象的空间横坐标、所述H为所述飞行器的当前位置与地面的垂直高度、所述α为所述摄像头的水平视角的半角、所述X为空间坐标系的横轴长度,以及所述β为第一线段与第二线段之间的夹角,所述第一线段为所述飞行器的摄像头与地面垂直点所构成的线段,所述第二线段为所述飞行器的摄像头与所述摄像头在横轴方向上的视线范围线段中的中点所构成的线段。
10.根据权利要求8所述的装置,其特征在于,
所述第二确定单元用于:
为所述目标对象的位置建立竖直方向上的位置建模图;
根据所述竖直方向上的位置建模图,确定如下所述竖直距离计算公式:
Sy=H*(tan(δ+θ)-tan(δ+θ-arctan(2*y*tanθ/Y)))
其中,所述Sy为竖直距离、所述y为所述目标对象的空间纵坐标、所述H为所述飞行器的当前位置与地面的垂直高度、所述θ为所述摄像头的竖直视角的半角、所述Y为空间坐标系的纵轴高度,以及所述δ为第三线段与第四线段之间的夹角,所述第三线段为所述飞行器的摄像头与地面垂直点所构成的线段,所述第四线段为所述飞行器的摄像头与所述摄像头在纵轴方向上的视线范围线段中的一个端点所构成的线段。
11.根据权利要求7-10任一所述的装置,其特征在于,
所述检测单元,用于通过分类器检测所述图像中是否包含目标对象的haar特征,所述分类器为根据所述目标对象的haar特征进行训练得到的,所述目标对象的haar特征为从所述目标对象的各个角度的图像样本中提取得到的。
12.根据权利要求7-10任一所述的装置,其特征在于,
所述第一确定单元,用于若所述图像中包含所述目标对象,则初始化跟踪器,所述跟踪器用于确定所述目标对象的位置信息。
13.一种飞行器,其特征在于,包括:摄像头和上述权利要求7-12任一所述的跟踪目标对象的装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610871172.5A CN106354156A (zh) | 2016-09-29 | 2016-09-29 | 一种跟踪目标对象的方法、装置及飞行器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610871172.5A CN106354156A (zh) | 2016-09-29 | 2016-09-29 | 一种跟踪目标对象的方法、装置及飞行器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106354156A true CN106354156A (zh) | 2017-01-25 |
Family
ID=57866163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610871172.5A Pending CN106354156A (zh) | 2016-09-29 | 2016-09-29 | 一种跟踪目标对象的方法、装置及飞行器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106354156A (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106683097A (zh) * | 2017-03-03 | 2017-05-17 | 广东工业大学 | 一种无人机定位的方法以及系统 |
CN106908823A (zh) * | 2017-04-18 | 2017-06-30 | 深圳城际快机科技有限公司 | 基于gps信息对无人机进行跟踪的方法和系统 |
CN106950980A (zh) * | 2017-04-18 | 2017-07-14 | 南京航空航天大学 | 一种小型固定翼无人机制导计算机及制导方法 |
CN107272743A (zh) * | 2017-08-07 | 2017-10-20 | 深圳市华琥技术有限公司 | 一种无人机群的快递投送方法 |
CN107289953A (zh) * | 2017-08-07 | 2017-10-24 | 深圳市华琥技术有限公司 | 一种无人机群的导航控制方法 |
CN107343177A (zh) * | 2017-08-07 | 2017-11-10 | 深圳市华琥技术有限公司 | 一种无人机全景视频的拍摄控制方法 |
CN107479573A (zh) * | 2017-08-07 | 2017-12-15 | 深圳市华琥技术有限公司 | 一种无人机的飞行充电方法 |
CN107908195A (zh) * | 2017-11-06 | 2018-04-13 | 深圳市道通智能航空技术有限公司 | 目标追踪方法、装置、追踪器及计算机可读存储介质 |
CN107995435A (zh) * | 2017-12-11 | 2018-05-04 | 深圳市北航旭飞科技有限公司 | 无人机图像采集方法、装置、计算机设备及可读存储介质 |
CN108045567A (zh) * | 2017-12-13 | 2018-05-18 | 王俊梅 | 一种多旋翼无人机及其低空隐匿飞行方法 |
CN108683840A (zh) * | 2018-03-28 | 2018-10-19 | 深圳臻迪信息技术有限公司 | 拍摄控制方法、拍摄方法以及无人设备端 |
CN110312978A (zh) * | 2018-01-23 | 2019-10-08 | 深圳市大疆创新科技有限公司 | 飞行控制方法、装置和机器可读存储介质 |
WO2021217311A1 (zh) * | 2020-04-26 | 2021-11-04 | 深圳市大疆创新科技有限公司 | 可移动平台及其控制方法、存储介质 |
CN113791641A (zh) * | 2017-04-28 | 2021-12-14 | 深圳市大疆创新科技有限公司 | 一种基于飞行器的设施检测方法及控制设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100298977A1 (en) * | 2009-05-20 | 2010-11-25 | National Taiwan University Of Science And Technology | Mobile robot and path planning method thereof for manipulating target objects |
CN103838244A (zh) * | 2014-03-20 | 2014-06-04 | 湖南大学 | 基于四轴飞行器的便携式目标跟踪方法及系统 |
CN105068542A (zh) * | 2015-07-15 | 2015-11-18 | 北京理工大学 | 一种基于视觉的旋翼无人机引导飞行控制系统 |
CN105353772A (zh) * | 2015-11-16 | 2016-02-24 | 中国航天时代电子公司 | 一种无人机机动目标定位跟踪中的视觉伺服控制方法 |
CN105955308A (zh) * | 2016-05-20 | 2016-09-21 | 腾讯科技(深圳)有限公司 | 一种飞行器的控制方法和装置 |
-
2016
- 2016-09-29 CN CN201610871172.5A patent/CN106354156A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100298977A1 (en) * | 2009-05-20 | 2010-11-25 | National Taiwan University Of Science And Technology | Mobile robot and path planning method thereof for manipulating target objects |
CN103838244A (zh) * | 2014-03-20 | 2014-06-04 | 湖南大学 | 基于四轴飞行器的便携式目标跟踪方法及系统 |
CN105068542A (zh) * | 2015-07-15 | 2015-11-18 | 北京理工大学 | 一种基于视觉的旋翼无人机引导飞行控制系统 |
CN105353772A (zh) * | 2015-11-16 | 2016-02-24 | 中国航天时代电子公司 | 一种无人机机动目标定位跟踪中的视觉伺服控制方法 |
CN105955308A (zh) * | 2016-05-20 | 2016-09-21 | 腾讯科技(深圳)有限公司 | 一种飞行器的控制方法和装置 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106683097A (zh) * | 2017-03-03 | 2017-05-17 | 广东工业大学 | 一种无人机定位的方法以及系统 |
CN106950980B (zh) * | 2017-04-18 | 2019-08-13 | 南京航空航天大学 | 一种小型固定翼无人机制导计算机及制导方法 |
CN106908823A (zh) * | 2017-04-18 | 2017-06-30 | 深圳城际快机科技有限公司 | 基于gps信息对无人机进行跟踪的方法和系统 |
CN106950980A (zh) * | 2017-04-18 | 2017-07-14 | 南京航空航天大学 | 一种小型固定翼无人机制导计算机及制导方法 |
CN113791641A (zh) * | 2017-04-28 | 2021-12-14 | 深圳市大疆创新科技有限公司 | 一种基于飞行器的设施检测方法及控制设备 |
CN107272743A (zh) * | 2017-08-07 | 2017-10-20 | 深圳市华琥技术有限公司 | 一种无人机群的快递投送方法 |
CN107289953A (zh) * | 2017-08-07 | 2017-10-24 | 深圳市华琥技术有限公司 | 一种无人机群的导航控制方法 |
CN107343177A (zh) * | 2017-08-07 | 2017-11-10 | 深圳市华琥技术有限公司 | 一种无人机全景视频的拍摄控制方法 |
CN107479573A (zh) * | 2017-08-07 | 2017-12-15 | 深圳市华琥技术有限公司 | 一种无人机的飞行充电方法 |
CN107908195A (zh) * | 2017-11-06 | 2018-04-13 | 深圳市道通智能航空技术有限公司 | 目标追踪方法、装置、追踪器及计算机可读存储介质 |
CN107995435A (zh) * | 2017-12-11 | 2018-05-04 | 深圳市北航旭飞科技有限公司 | 无人机图像采集方法、装置、计算机设备及可读存储介质 |
CN108045567B (zh) * | 2017-12-13 | 2020-11-27 | 王俊梅 | 一种多旋翼无人机及其低空隐匿飞行方法 |
CN108045567A (zh) * | 2017-12-13 | 2018-05-18 | 王俊梅 | 一种多旋翼无人机及其低空隐匿飞行方法 |
CN110312978A (zh) * | 2018-01-23 | 2019-10-08 | 深圳市大疆创新科技有限公司 | 飞行控制方法、装置和机器可读存储介质 |
CN110312978B (zh) * | 2018-01-23 | 2022-06-24 | 深圳市大疆创新科技有限公司 | 飞行控制方法、装置和机器可读存储介质 |
CN108683840A (zh) * | 2018-03-28 | 2018-10-19 | 深圳臻迪信息技术有限公司 | 拍摄控制方法、拍摄方法以及无人设备端 |
WO2021217311A1 (zh) * | 2020-04-26 | 2021-11-04 | 深圳市大疆创新科技有限公司 | 可移动平台及其控制方法、存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106354156A (zh) | 一种跟踪目标对象的方法、装置及飞行器 | |
CA3027921C (en) | Integrated sensor calibration in natural scenes | |
Khattak et al. | Keyframe-based direct thermal–inertial odometry | |
CN110308457B (zh) | 一种基于无人机的输电线路巡检系统 | |
EP3008489B1 (en) | Mobile imaging platform calibration | |
CN106560728B (zh) | 用于目标速度估算的雷达视觉融合 | |
WO2019225817A1 (ko) | 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체 | |
CN111670419A (zh) | 用于自主导航的主动补充曝光设置 | |
CN105989612A (zh) | 用于干扰无人机的隐私保护装置 | |
JP2019528501A (ja) | マルチカメラシステムにおけるカメラ位置合わせ | |
US20170221241A1 (en) | System, method and apparatus for generating building maps | |
CN104103030A (zh) | 图像分析方法、照相机装置、控制装置及控制方法 | |
WO2022179207A1 (zh) | 视窗遮挡检测方法及装置 | |
CN112666963A (zh) | 基于四轴无人机的公路路面裂缝检测系统及其检测方法 | |
CN107783555B (zh) | 一种基于无人机的目标定位方法、装置及系统 | |
CN111553956A (zh) | 拍摄装置的标定方法、装置、电子设备和存储介质 | |
CN114034296A (zh) | 一种导航信号干扰源检测与识别方法及系统 | |
CN107065027A (zh) | 泄漏源的探测系统、方法、装置及设备 | |
CN111024067B (zh) | 一种信息处理方法、装置、设备及计算机存储介质 | |
CN114689046B (zh) | 一种无人机巡检隧道的方法与系统 | |
CN115291219A (zh) | 利用单目摄像头实现无人机动态避障方法、装置及无人机 | |
CN109708659A (zh) | 一种分布式智能光电低空防护系统 | |
CN105116908B (zh) | 无人机视觉编队协同的通信方法 | |
CN110287957B (zh) | 一种低慢小目标的定位方法及定位装置 | |
González et al. | Vision-based UAV detection for air-to-air neutralization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170125 |
|
RJ01 | Rejection of invention patent application after publication |