CN106295695A - 一种飞机起降过程自动追踪拍摄方法及装置 - Google Patents

一种飞机起降过程自动追踪拍摄方法及装置 Download PDF

Info

Publication number
CN106295695A
CN106295695A CN201610644474.9A CN201610644474A CN106295695A CN 106295695 A CN106295695 A CN 106295695A CN 201610644474 A CN201610644474 A CN 201610644474A CN 106295695 A CN106295695 A CN 106295695A
Authority
CN
China
Prior art keywords
aircraft
computer
sample
target aircraft
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610644474.9A
Other languages
English (en)
Other versions
CN106295695B (zh
Inventor
隋运峰
钟琦
杨晓嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Research Institute of CAAC
Original Assignee
Second Research Institute of CAAC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Research Institute of CAAC filed Critical Second Research Institute of CAAC
Priority to CN201610644474.9A priority Critical patent/CN106295695B/zh
Publication of CN106295695A publication Critical patent/CN106295695A/zh
Application granted granted Critical
Publication of CN106295695B publication Critical patent/CN106295695B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及物体跟踪探测领域,尤其是一种飞机起降过程自动追踪拍摄方法及装置。本发明针对现有技术存在的问题,提供一种自动追踪拍摄方法及装置。对飞机运行的4D轨迹进行估算,从而实现自动追踪拍摄的目的。飞机起降过程自动追踪追踪拍摄装置由两部分组成。一部分是拍摄设备,包含视频模式工作的相机、变焦镜头和可以水平及俯仰转动的转台;一部分是远程控制设备及信号处理设备,即计算机。两部分设备由网络进行连接,相互传输信号,对飞机运行的4D轨迹进行估算,从而实现自动追踪拍摄的目的。

Description

一种飞机起降过程自动追踪拍摄方法及装置
技术领域
本发明涉及物体跟踪探测领域,尤其是一种飞机起降过程自动追踪拍摄方法及装置。
背景技术
飞机的起飞和降落是整个飞行阶段中危险系数最高的环节,也是事故发生率最高的环节。对飞机起飞和降落过程进行跟踪拍摄,可以实现更有效的地面监视,及时发现错误的飞行姿态(起落架未放下、高度/速度异常等),预防事故的发生。同时,拍摄保存的视频资料,也是事后问题调查的最可靠分析数据之一。
对飞机自动进行跟踪拍摄,可以极大减少人工劳动负担。同时,自动装置工作效率更高,拍摄画面也更平稳。而自动跟踪拍摄的技术基础是飞机探测与跟踪技术。在整个起降过程中,飞机速度快,空间跨度大,观察视角变化大,因此成像信号变化大。普通的图像探测与追踪技术难以解决这些困难,容易出现跟丢或者跟错的问题。
发明内容
本发明所要解决的技术问题是:针对现有技术存在的问题,提供一种飞机起降过程自动追踪拍摄方法及装置。本方法和装置从图像探测入手,融合多个设备信息,对飞机运行的4D轨迹(3D空间加时间)进行估算,从而实现自动追踪拍摄的目的。飞机起降过程自动追踪追踪拍摄装置由两部分组成。一部分是拍摄设备,包含视频模式工作的相机、变焦镜头和可以水平及俯仰转动的转台;一部分是远程控制设备及信号处理设备,即计算机。两部分设备由网络进行连接,相互传输信号,对飞机运行的4D轨迹(3D空间加时间)进行估算,从而实现自动追踪拍摄的目的。
本发明采用的技术方案如下:
一种飞机起降过程自动追踪拍摄方法包括:
步骤1:拍摄设备,包含变焦镜头、能工作在视频模式的相机和可以水平及俯仰转动的转台;远程控制设备及信号处理的计算机;计算机与拍摄设备通过网络进行连接,相互传输信号;计算机控制转台和变焦镜头,让相机视野对准飞机进入监视区域的方向;相机开始拍摄视频数据,并传输给计算机;计算机收到相机视频数据后,通过相应阶段级联式探测器根据视频数据中每一帧图像对目标飞机进行探测,在探测到目标飞机进入相应监视区域后,开始记录视频数据;其中相机和变焦镜头放置于转台上;转台放置于机场跑道一侧,距离机场跑道近距离一侧距离范围是200米到3千米;其中探测目标飞机降落时,通过第一阶段探测器根据视频数据中每一帧图像对目标飞机进行探测,当探测目标飞机起飞时,通过第三阶段探测器根据视频数据中每一帧图像对目标飞机进行探测;
步骤2:根据探测到的目标飞机在视频数据中每一帧图像中的位置和实时读取的转台水平角度、俯仰角度、镜头缩放倍数信息计算飞机三维空间位置;
步骤3:根据连续拍摄计算出的目标飞机三维空间位置计算飞机运动轨迹,再结合拍摄时间计算转台追踪飞机应使用的水平旋转角速度和俯仰旋转角速度;
步骤4:计算机根据步骤调整转台和镜头,让相机视野对准目标飞机将出现的位置,实现对目标飞机进行跟踪拍摄;计算机对转台调整过程中,如果目标飞机在当前视野中超前,则实际使用角速度为步骤3中得到的水平和俯仰旋转角速度值的0.9~1倍;如果目标飞机在当前视野中落后,则实际使用角速度为步骤3中得到的水平和俯仰旋转角速度值的1~1.1倍;计算机对镜头调整过程中,如果目标飞机占据区域超过视频数据中一帧图像整个画面的80%,则计算机将镜头焦距值变为当前的0.9~1倍;如果目标飞机占据区域小于视频数据中一帧图像整个画面的50%,则计算机将镜头焦距值变为当前的1~1.1倍;
步骤5:跟踪拍摄过程持续到目标飞机离开监视区域后结束;如果跟踪过程中出现意外丢失目标飞机,计算机控制拍摄设备按照预测的目标飞机运动轨迹保持探测1秒到5秒;在此期间内若发现目标飞机则恢复正常跟踪状态;否则计算机控制拍摄设备结束跟踪。
进一步的,所述步骤1、2中使用级联式探测器对目标飞机进行探测具体过程是:
级联式探测器采取滑动窗口采样结合逐级识别的方式对目标进行探测;对滑动窗口采样的局部图像区域使用逐级识别的方法对该区域是否为探测目标进行判定;级联式探测器的整体参数包括特征描述方法、分类器方法、探测器的级数,每一级的参数包括该级的局部特征区域ω、分类器参数C和判定阈值;在一幅图像中使用级联式探测器获得飞机所在区域的具体过程如下:
步骤21:设定滑动窗口的长度、宽度、长度方向移动步长以及宽度方向移动步长;其中滑动窗口的长度像素值范围是60到180;滑动窗口的宽度像素值范围是20到60;滑动窗口的长度方向移动步长像素值范围是10到90;滑动窗口的宽度方向移动步长像素值范围是5到30;
步骤22:按照滑动窗口的长度、宽度设定子区域范围,从图像中抓取子区域,称为识别子区域Ω,将识别子区域Ω代入级联式探测器进行处理,初始滑动窗口的位置在图像的左上角;
步骤23:级联式探测器中的每一级,在识别子区域Ω内选取局部特征区域ω,使用特征描述方法将ω转换成特征向量F,然后使用分类器参数C点乘F得到一个决策值;如果决策值小于判定阈值则拒绝,认定识别区域Ω不是飞机;否则,通过该级,交由级联式探测器的下一级继续进行判定;当所有级均通过后,认定识别区域Ω是飞机,输出该识别区域位置信息;
步骤24:按照长度方向移动步长以及宽度方向移动步长设定,逐步移动滑动窗口,然后重复步骤22到23,直到完成对整个图像的覆盖;
步骤25:按照比例值缩小图像,然后重复步骤22到24,直到图像小于滑动窗口尺寸,实现对图像中多种缩放尺度飞机的探测;其中比例值范围是0.5到0.9;
步骤26:汇总所有输出的区域信息,合并重叠区域,得到级联式探测器认为飞机所在的区域,所述飞机所在的区域包括所有重叠区域的最小矩形区域;
进一步的,所述级联式探测器的特征描述方法,分类器方法,探测器的级数是人工设定的;级联式探测器每一级的参数是通过训练得到的,每一级的参数包括该级的局部特征区域ω、分类器参数C和判定阈值;级联式探测器训练得到参数的过程如下:
步骤11:对五个飞行阶段分别拍摄的飞机照片,对每张照片手动标注照片中飞机所在区域,将照片该区域缩小到标准样本尺寸,生成正样本库;拍摄不含飞机的机场照片以及其它不含飞机的任意照片,并在其照片中随机选取与标准样本长宽比例相同、且不小于标准样本尺寸的子区域图像,将该区域缩小到标准样本尺寸,生成负样本;负样本数量为正样本数量10倍以上;所述标准样本尺寸的长在60到300像素之间,宽在20到100像素之间;
步骤12:设定级联式探测器的训练参数,即每一级需达到的检测率和错误率;检测率的定义为本身是正样本且被识别为正样本的数量除以总正样本的数量,错误率的定义为本身是负样本但被识别为正样本的数量除以所有被识别为正样本的数量;检测率范围是90%到100%;错误率是20%到80%;
步骤13:在探测器的每一级训练过程中,取样本库中10%的正样本和10%的负样本,对每个样本将某特定局部特征区域ω使用特征描述方法转换成特征向量F;根据所有特征向量F的分布情况,使用分类器方法计算出最佳分类参数C和判定阈值;
步骤14:统计所使用样本分类结果的检测率和错误率,如果检测率低于设定值或者错误率高于设定值,则随机另选一个局部特征区域ω的值,然后重复步骤13;
步骤15:对所有样本选取局部特征区域ω,使用设定特征描述方法将ω转换成特征向量F,然后使用分类器参数C点乘F得到一个决策值;如果决策值小于判定阈值则认为是正样本,否则认为是负样本;验证识别结果的检测率和错误率;如果检测率低于设定值或者错误率高于设定值,则改变局部特征区域ω的值,然后对当前抽取样本重复步骤13;否则,将识别为负样本的样本从样本库中删除,完成当前级的探测器参数训练;
步骤16:重复步骤13到15,直到完成设定级数的探测器训练。
进一步的,所述步骤2中具体处理过程包括:建立三维空间坐标体系,X轴与跑道方向平行,Y轴与跑道平面垂直,原点设置在跑道尽头,且使得XZ平面为跑道平面,跑道中轴线在XY平面内;将目标飞机中心点设为A(Ax,Ay,Az),则A的运动轨迹在XY平面内,Az为0;转台安装在点P处,P坐标值(Px,Py,Pz)在设备安装时测量获得;Ax和Ay的计算方法为:
步骤31:计算机读取所有级联式探测器回传的目标飞机通过检测区域时的位置信息,即目标飞机所在子区域,令飞机所在子区域中心像素坐标为(Ix,Iy),计算机读取目标飞机所在子区域对应视频数据图像的拍摄时间t;
步骤32:计算机读取目标飞机所在子区域对应视频数据图像拍摄时转台的俯仰角θV、水平角θH以及相机镜头焦距f;
步骤33:计算机得到修正俯仰角度修正水平角度其中H和W分别为飞机所在子区域对应视频数据图像的高和宽的像素数,Δ为相机单个感光单元的尺寸;atan表示反正切函数;
步骤34:计算机计算从转台指向飞机的角度θV"=θVV',θH"=θHH';
步骤35:计算机按照公式Ax=Px+|Pz|tan(θH")、计算得到Ax和Ay,且Az为0,从而获取飞机中心点在对应视频数据图像中三维空间坐标。
进一步的,所述步骤3中具体处理过程包括:
步骤41:连续提取N帧图像,使用步骤31到步骤35的方法计算每帧图像中飞机所在空间位置A(Ax,Ay,Az),每个位置分别记为{A1(Ax1,Ay1,0),A2(Ax2,Ay2,0),...AN(AxN,AyN,0)};N的值在3到100之间;
步骤42:令按照计算a、b的值,得到飞机运行近似轨迹参数a、b;
步骤43:按照公式集合的中每个点An分别计算一个Dn值,删除集合中Dn值大于门限对应的An点,得到轨迹集合,其中门限值取5米到100米之间;
步骤44:在轨迹集合点中取第一个点(x1,y1,0)和最后一个点(x2,y2,0),计算机分别对应提取轨迹集合中第一个点和最后一个点对应的拍摄时间t1和t2,计算出追踪飞机的转台当前该使用的水平转动角速度为:
a t a n ( ( x 2 - P x ) / | P z | ) - a t a n ( ( x 1 - P x ) / | P z | ) t 2 - t 1
俯仰转动角速度为:
a t a n ( y 2 - P y ( x 2 - P x ) 2 + Pz 2 ) - a t a n ( y 1 - P y ( x 1 - P x ) 2 + Pz 2 ) t 2 - t 1 .
一种飞机起降过程自动追踪拍摄装置包括:
拍摄设备,包含变焦镜头、能工作在视频模式的相机和可以水平及俯仰转动的转台;远程控制设备及信号处理的计算机;计算机与拍摄设备通过网络进行连接,相互传输信号;
计算机控制转台和镜头,让相机视野对准飞机进入监视区域的方向;相机开始拍摄视频数据,并传输给计算机;计算机收到相机视频数据后,通过相应阶段级联式探测器根据视频数据中每一帧图像对目标飞机进行探测,在探测到目标飞机进入相应监视区域后,开始记录视频数据,并保持跟踪拍摄,直到目标飞机离开监视区域;其中相机放置于转台上;转台放置于机场跑道一侧,距离机场跑道近距离一侧距离范围是200米到3千米;其中探测目标飞机降落时,通过第一阶段探测器根据视频数据中每一帧图像对目标飞机进行探测,当探测目标飞机起飞时,通过第三阶段探测器根据视频数据中每一帧图像对目标飞机进行探测;
计算机根据探测到的目标飞机在视频数据中每一帧图像中的位置和实时读取的转台水平角度、俯仰角度、镜头缩放倍数信息计算飞机三维空间位置;
计算机根据连续拍摄计算出的目标飞机三维空间位置计算飞机运动轨迹,再结合拍摄时间计算转台追踪飞机应使用水平旋转角速度和俯仰旋转角速度;
计算机根据步骤调整转台和镜头,让相机视野对准目标飞机将出现的位置,实现对目标飞机进行跟踪拍摄;计算机对转台调整过程中,如果目标飞机在当前视野中超前,则使用水平旋转角速度值和俯仰旋转角速度值的0.9~1倍;如果目标飞机在当前视野中落后,则使用水平旋转角速度值和俯仰旋转角速度值的1~1.1倍;计算机对变焦镜头调整过程中,如果目标飞机占据区域超过视频数据中一帧图像整个画面的80%,则计算机将镜头焦距值变为当前的0.9~1倍;如果目标飞机占据区域小于视频数据中一帧图像整个画面的50%,则计算机将镜头焦距值变为当前的1~1.1倍;
跟踪拍摄过程持续到目标飞机离开监视区域后结束;如果跟踪过程中出现意外丢失目标飞机,计算机控制相机按照预测的目标飞机运动轨迹保持探测1秒到5秒;在此期间内若发现目标飞机则恢复正常跟踪状态;否则计算机控制相机结束跟踪。
进一步的,所述级联式探测器对目标飞机进行探测具体过程是:
级联式探测器采取滑动窗口采样结合逐级识别的方式对目标进行探测;对滑动窗口采样的局部图像区域使用逐级识别的方法对该区域是否为探测目标进行判定;级联式探测器的整体参数包括特征描述方法、分类器方法、探测器的级数,每一级的参数包括该级的局部特征区域ω、分类器参数C和判定阈值;在一幅图像中使用级联式探测器获得飞机所在区域的具体过程如下:
步骤21:设定滑动窗口的长度、宽度、长度方向移动步长以及宽度方向移动步长;其中滑动窗口的长度像素值范围是60到180;滑动窗口的宽度像素值范围是20到60;滑动窗口的长度方向移动步长像素值范围是10到90;滑动窗口的宽度方向移动步长像素值范围是5到30;
步骤22:按照滑动窗口的长度、宽度设定子区域范围,从图像中抓取子区域,称为识别子区域Ω,将识别子区域Ω代入级联式探测器进行处理,初始滑动窗口的位置在图像的左上角;
步骤23:级联式探测器中的每一级,在识别子区域Ω内选取局部特征区域ω,使用特征描述方法将ω转换成特征向量F,然后使用分类器参数C点乘F得到一个决策值;如果决策值小于判定阈值则拒绝,认定识别区域Ω不是飞机;否则,通过该级,交由级联式探测器的下一级继续进行判定;当所有级均通过后,认定识别区域Ω是飞机,输出该识别区域位置信息;
步骤24:按照长度方向移动步长以及宽度方向移动步长设定,逐步移动滑动窗口,然后重复步骤22到23,直到完成对整个图像的覆盖;
步骤25:按照比例值缩小图像,然后重复步骤22到24,直到图像小于滑动窗口尺寸,实现对图像中多种缩放尺度飞机的探测;其中比例值范围是0.5到0.9;
步骤26:汇总所有输出的区域信息,合并重叠区域,得到级联式探测器认为飞机所在的区域,所述飞机所在的区域包括所有重叠区域的最小矩形区域。
进一步的,所述级联式探测器包括特征描述方法、分类器方法以及探测器的级数;每一级的参数是通过训练得到的,包括该级的局部特征区域ω、分类器参数C和判定阈值;级联式探测器训练得到参数的过程如下:
步骤11:分别拍摄的n个监测区域的飞机运行照片,对每张照片手动标注照片中飞机所在区域,将照片该区域缩小到标准样本尺寸,生成正样本库;拍摄不含飞机的机场照片以及其它不含飞机的任意照片,并在其照片中随机选取与标准样本长宽比例相同、且不小于标准样本尺寸的子区域图像,将该区域缩小到标准样本尺寸,生成负样本;负样本数量为正样本数量10倍以上;所述标准样本尺寸的长在60到300像素之间,宽在20到100像素之间;
步骤12:设定级联式探测器的训练参数,即每一级需达到的检测率和错误率;检测率的定义为本身是正样本且被识别为正样本的数量除以总正样本的数量,错误率的定义为本身是负样本但被识别为正样本的数量除以所有被识别为正样本的数量;检测率范围是90%到100%;错误率是20%到80%;
步骤13:在探测器的每一级训练过程中,取样本库中10%的正样本和10%的负样本,对每个样本将某特定局部特征区域ω使用特征描述方法转换成特征向量F;根据所有特征向量F的分布情况,使用分类器方法计算出最佳分类参数C和判定阈值;
步骤14:统计所使用样本分类结果的检测率和错误率,如果检测率低于设定值或者错误率高于设定值,则随机另选一个局部特征区域ω的值,然后重复步骤13;
步骤15:对所有样本选取局部特征区域ω,使用设定特征描述方法将ω转换成特征向量F,然后使用分类器参数C点乘F得到一个决策值;如果决策值小于判定阈值则认为是正样本,否则认为是负样本;验证识别结果的检测率和错误率;如果检测率低于设定值或者错误率高于设定值,则改变局部特征区域ω的值,然后对当前抽取样本重复步骤13;否则,将识别为负样本的样本从样本库中删除,完成当前级的探测器参数训练;
步骤16:重复步骤13到15,直到完成设定级数的探测器训练。
进一步的,所述计算机根据探测到的目标飞机在视频数据中每一帧图像中的位置和实时读取的转台水平角度、俯仰角度、镜头缩放倍数信息计算飞机三维空间位置具体过程是:建立三维空间坐标体系,将目标飞机中心点设为A(Ax,Ay,Az),则A的运动轨迹在XY平面内,Az为0;转台安装在点P处,P坐标值(Px,Py,Pz)在设备安装时测量获得;Ax和Ay的计算方法为:
步骤31:计算机读取所有级联式探测器回传的目标飞机通过检测区域时的位置信息,即目标飞机所在子区域,令飞机所在子区域对应视频数据图像区域中心像素坐标为(Ix,Iy),计算机读取目标飞机所在子区域对应视频数据图像的拍摄时间t;
步骤32:计算机读取目标飞机所在子区域对应视频数据图像拍摄时转台的俯仰角θV、水平角θH以及相机镜头焦距f;
步骤33:计算机得到修正俯仰角度修正水平角度其中H和W分别为飞机所在子区域对应视频数据图像的高和宽的像素数,Δ为相机单个感光单元的尺寸;atan表示反正切函数;
步骤34:计算机计算从转台指向飞机的角度θV"=θVV',θH"=θHH';步骤35:计算机按照公式Ax=Px+|Pz|tan(θH")、计算得到Ax和Ay,且Az为0,因而获取飞机中心点在对应视频数据图像中三维空间坐标。
进一步的,所述根据连续拍摄计算出的飞机三维空间位置计算飞机运动轨迹,再结合拍摄时间计算转台追踪飞机应使用的水平和俯仰旋转角速度中具体处理过程包括:
步骤41:连续提取N帧图像,使用步骤31到步骤35的方法计算每帧图像中飞机所在空间位置A(Ax,Ay,Az),每个位置分别记为{A1(Ax1,Ay1,0),A2(Ax2,Ay2,0),...AN(AxN,AyN,0)};N的值在3到100之间;
步骤42:令按照计算a、b的值,得到飞机运行近似轨迹参数a、b;
步骤43:按照公式集合的n个A点分别计算一个Dn值,删除集合中Dn值大于门限对应的A点,得到轨迹集合,其中门限值取5米到100米之间;
步骤44:在轨迹集合点中取第一个点(x1,y1,0)和最后一个点(x2,y2,0),计算机分别对应提取轨迹集合中第一个点和最后一个点对应的拍摄时间t1和t2,计算出追踪飞机的转台当前该使用的水平转动角速度为:
a t a n ( ( x 2 - P x ) / | P z | ) - a t a n ( ( x 1 - P x ) / | P z | ) t 2 - t 1
俯仰转动角速度为:
a t a n ( y 2 - P y ( x 2 - P x ) 2 + Pz 2 ) - a t a n ( y 1 - P y ( x 1 - P x ) 2 + Pz 2 ) t 2 - t 1 .
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1、通过本发明提出的装置及方法可以对飞机起飞和降落过程实现自动探测及追踪监视,性能稳定可靠,大幅降低了跟错或者跟丢的常见问题。
2、通过本发明提出的装置及方法可以自动记录飞机起飞和降落的完整过程,有助于后期分析调查。
附图说明
本发明将通过例子并参照附图的方式说明,其中:
图1是本发明示意图(图中A点代表目标飞机)。
具体实施方式
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
本说明书中公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。
本发明相关说明:
1.特征描述方法是HoG、LBP、SIFT、SURF等。分类器是SVM、贝叶斯、决策树等。
2.监视区域指飞机起飞和降落过程的活动空间,对于起飞过程是从跑道尽头待起飞位置开始到飞机离开跑道3千米全过程飞行程序设定的活动空间,对于降落过程是从距离跑道3千米到降落后离开跑道全过程飞行程序设定的活动空间。
3.探测器指的是通过物体探测算法实现对图像中某一个特定物体进行探测的方法;其中探测器的输入是图像,输出是包含特定物体的最小矩形图像区域;
4.探测器使用级联式探测方法,但不限于此方法,也可以是基于模板匹配、主要成分相似度等物体探测方法。
5.将起降过程划分为5个阶段。5个阶段分别是高空接近(距离跑道3千米到距离跑道500米)、低空接近(距离跑道1000米到着陆后500米)、地面滑行(飞机在跑道上运动且不离开地面)、低空离开(离开地面前500米到离地后1000米)、高空离开(离地后500米到离开地面后3千米);一个降落过程由前三个阶段构成,一个起飞过程由后三个阶段构成。每个探测器针对一个阶段中的飞机进行探测。
6.使用5个探测器,对应5个阶段,可以并行工作。根据转台的俯仰和水平角度,判断飞机所处的阶段,使用该阶段的探测器对飞机进行探测。若处于两个阶段的交替阶段,则同时使用两个阶段的探测器。
7.飞机起降过程自动追踪追踪拍摄装置由两部分组成。一部分是拍摄设备,包含视频模式工作的相机和可以水平及俯仰转动的转台;一部分是远程控制设备及信号处理设备,即计算机。两部分设备由网络进行连接,相互传输信号。相机上设置变焦镜头。
8.飞机在当前视野中超前或落后指的是以图像中心位置为参考点,进行区分的。
9.意外指的是飞机事故、视野遮挡、算法失误。
10.建立三维空间坐标系,X轴与跑道方向平行,Y轴与跑道平面垂直,Z轴位于跑到平面上与跑道方向垂直,原点设置在第一个检测区域的初始位置,且使得XZ平面为跑道平面,跑道中轴线在XY平面内;
11.θV与θH单位为弧度。
具体工作过程是:
步骤1:拍摄设备,包含变焦镜头、能工作在视频模式的相机和可以水平及俯仰转动的转台;远程控制设备及信号处理的计算机;计算机与拍摄设备通过网络进行连接,相互传输信号;计算机控制转台和变焦镜头,让相机视野对准飞机进入监视区域的方向;相机开始拍摄视频数据,并传输给计算机;计算机收到相机视频数据后,通过相应阶段级联式探测器根据视频数据中每一帧图像对目标飞机进行探测,在探测到目标飞机进入相应监视区域后,开始记录视频数据;其中相机和变焦镜头放置于转台上;转台放置于机场跑道一侧,距离机场跑道近距离一侧距离范围是200米到3千米;其中探测目标飞机降落时,通过第一阶段探测器根据视频数据中每一帧图像对目标飞机进行探测,当探测目标飞机起飞时,通过第三阶段探测器根据视频数据中每一帧图像对目标飞机进行探测;
步骤2:根据探测到的目标飞机在视频数据中每一帧图像中的位置和实时读取的转台水平角度、俯仰角度、镜头缩放倍数信息计算飞机三维空间位置;
步骤3:根据连续拍摄计算出的目标飞机三维空间位置计算飞机运动轨迹,再结合拍摄时间计算转台追踪飞机应使用的水平旋转角速度和俯仰旋转角速度;
步骤4:计算机根据步骤调整转台和镜头,让相机视野对准目标飞机将出现的位置,实现对目标飞机进行跟踪拍摄;计算机对转台调整过程中,如果目标飞机在当前视野中超前,则实际使用角速度为步骤3中得到的水平和俯仰旋转角速度值的0.9~1倍;如果目标飞机在当前视野中落后,则实际使用角速度为步骤3中得到的水平和俯仰旋转角速度值的1~1.1倍;计算机对镜头调整过程中,如果目标飞机占据区域超过视频数据中一帧图像整个画面的80%,则计算机将镜头焦距值变为当前的0.9~1倍;如果目标飞机占据区域小于视频数据中一帧图像整个画面的50%,则计算机将镜头焦距值变为当前的1~1.1倍。
步骤5:跟踪拍摄过程持续到目标飞机离开监视区域后结束;如果跟踪过程中出现意外丢失目标飞机,计算机控制拍摄设备按照预测的目标飞机运动轨迹保持探测1秒到5秒;在此期间内若发现目标飞机则恢复正常跟踪状态;否则计算机控制拍摄设备结束跟踪。
步骤1、2中使用级联式探测器对飞机进行探测。级联式探测器采取滑动窗口采样结合逐级识别的方式对目标进行探测。对滑动窗口采样的局部图像区域使用逐级识别的方法对该区域是否为探测目标进行判定。级联式探测器的整体参数包括特征描述方法、分类器方法、探测器的级数,每一级的参数包括该级的局部特征区域ω、分类器参数C和判定阈值。在一幅图像中使用级联式探测器获得飞机所在区域的具体过程如下:
步骤21:设定滑动窗口的长度、宽度、长度方向移动步长以及宽度方向移动步长;其中滑动窗口的长度像素值范围是60到180;滑动窗口的宽度像素值范围是20到60;滑动窗口的长度方向移动步长像素值范围是10到90;滑动窗口的宽度方向移动步长像素值范围是5到30。
步骤22:按照滑动窗口的长度、宽度设定子区域范围,从图像中抓取子区域,称为识别子区域Ω,将识别子区域Ω代入级联式探测器进行处理,初始滑动窗口的位置在图像的左上角;
步骤23:级联式探测器中的每一级,在识别子区域Ω内选取局部特征区域ω,使用特征描述方法将ω转换成特征向量F,然后使用分类器参数C点乘F得到一个决策值;如果决策值小于判定阈值则拒绝,认定识别区域Ω不是飞机;否则,通过该级,交由级联式探测器的下一级继续进行判定;当所有级均通过后,认定识别区域Ω是飞机,输出该识别区域位置信息;
步骤24:按照长度方向移动步长以及宽度方向移动步长设定,逐步移动滑动窗口,然后重复步骤22到23,直到完成对整个图像的覆盖;
步骤25:按照比例值缩小图像,然后重复步骤22到24,直到图像小于滑动窗口尺寸,实现对图像中多种缩放尺度飞机的探测;其中比例值范围是0.5到0.9;
步骤26:汇总所有输出的区域信息,合并重叠区域,得到级联式探测器认为飞机所在的区域,所述飞机所在的区域包括所有重叠区域的最小矩形区域。
对每个级联式探测器,整体参数是人为设定的,包括特征描述方法(可以是HoG、LBP、SIFT、SURF等),分类器方法(可以是SVM、贝叶斯、决策树等),探测器的级数。每一级的参数是通过训练得到的,包括该级的局部特征区域ω、分类器参数C和判定阈值。训练得到参数的过程如下:
步骤11:对五个飞行阶段分别拍摄的飞机照片,对每张照片手动标注照片中飞机所在区域,将该区域缩小到标准样本尺寸,生成正样本库。拍摄不含飞机的机场照片以及其它不含飞机的任意照片,并在照片中随机选取与标准样本长宽比例相同、且不小于标准样本尺寸的子区域图像,将该区域缩小到标准样本尺寸,生成负样本库(五个阶段可以使用同样的负样本库)。负样本数量为正样本数量10倍以上。所述标准样本尺寸的长在60到300像素之间,宽在20到100像素之间。
步骤12:设定级联式探测器的训练参数,即每一级需达到的检测率(90%到100%)和错误率(20%到80%)。检测率的定义为本身是正样本且被识别为正样本的数量除以总正样本的数量,错误率的定义为本身是负样本但被识别为正样本的数量除以所有被识别为正样本的数量。
步骤13:在探测器的每一级训练过程中,取样本库中10%的正样本和10%的负样本,对每个样本将某特定局部特征区域ω使用特征描述方法转换成特征向量F。根据所有特征向量F的分布情况,使用分类器方法计算出最佳分类参数C和判定阈值。
步骤14:统计所使用样本分类结果的检测率和错误率,如果检测率低于设定值或者错误率高于设定值,则改变局部特征区域ω的值,然后重复步骤13。
步骤15:对所有样本选取局部特征区域ω,使用设定特征描述方法将ω转换成特征向量F,然后使用分类器参数C点乘F得到一个决策值。如果决策值小于判定阈值则认为是正样本,否则认为是负样本。验证识别结果的检测率和错误率。如果检测率低于设定值或者错误率高于设定值,则改变局部特征区域ω的值,然后对当前抽取样本重复步骤13;否则,将识别为负样本的样本从样本库中删除,完成当前级的探测器参数训练。
步骤16:重复步骤13到15,直到完成设定级数的探测器训练。
步骤1中判断飞机是否进入监视区域,对于降落过程是通过第一阶段探测器对计算机接收到的图像信息进行飞机探测,对于起飞过程是通过第三阶段探测器对计算机接收到的图像信息进行飞机探测;
步骤2中“根据探测到的飞机在图像中的位置和实时读取的转台水平角度、俯仰角度、镜头缩放倍数信息计算飞机三维空间位置”具体过程如下。首先建立三维空间坐标体系。X轴与跑道方向平行,Y轴与跑道平面垂直,原点设置在跑道尽头,且使得XZ平面为跑道平面,跑道中轴线在XY平面内。将飞机中心点设为A(Ax,Ay,Az),则A的运动轨迹可以近似认为在XY平面内,Az近似于0。设备安装在点P处,P坐标值(Px,Py,Pz)在设备安装时测量获得。Ax和Ay的具体计算方法如下:
步骤31:计算机读取所有级联式探测器回传的目标飞机通过检测区域时的位置信息,即目标飞机所在子区域,令飞机所在子区域中心像素坐标为(Ix,Iy),计算机读取目标飞机所在子区域对应视频数据图像的拍摄时间t。
步骤32:计算机读取目标飞机所在子区域对应视频数据图像拍摄时转台的俯仰角θV、水平角θH以及相机镜头焦距f。
步骤33:计算机得到修正俯仰角度修正水平角度其中H和W分别为飞机所在子区域对应视频数据图像的高和宽的像素数,Δ为相机单个感光单元的尺寸;atan表示反正切函数。
步骤34:计算从设备指向飞机的角度θV"=θVV',θH"=θHH'。
步骤35:计算机按照公式Ax=Px+|Pz|tan(θH")、计算得到Ax和Ay,且Az为0,从而获取飞机中心点在对应视频数据图像中三维空间坐标。
步骤3“根据连续拍摄计算出的飞机三维空间位置计算飞机运动轨迹,再结合拍摄时间计算转台追踪飞机应使用的水平和俯仰旋转角速度”具体过程如下:
步骤41:连续提取N帧图像,使用步骤31到步骤35的方法计算每帧图像中飞机所在空间位置A(Ax,Ay,Az),每个位置分别记为{A1(Ax1,Ay1,0),A2(Ax2,Ay2,0),...AN(AxN,AyN,0)}。N的值在3到100之间。
步骤42:令按照计算a、b的值,得到飞机运行近似轨迹参数。
步骤43:按照公式每个A点计算一个D值,删除D值大于门限的A点,实现排除错误探测结果。其中门限值取5米到100米之间。
步骤44:在集合剩下的点中取第一个点和最后一个点,其坐标记为(x1,y1,0)和(x2,y2,0),拍摄时间分别记为t1和t2,计算出追踪飞机转台当前该使用的水平转动角速度为
a t a n ( ( x 2 - P x ) / | P z | ) - a t a n ( ( x 1 - P x ) / | P z | ) t 2 - t 1
俯仰转动角速度为
a t a n ( y 2 - P y ( x 2 - P x ) 2 + Pz 2 ) - a t a n ( y 1 - P y ( x 1 - P x ) 2 + Pz 2 ) t 2 - t 1 .
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.一种飞机起降过程自动追踪拍摄方法,其特征在于包括:
步骤1:拍摄设备,包含变焦镜头、能工作在视频模式的相机和可以水平及俯仰转动的转台;远程控制设备及信号处理的计算机;计算机与拍摄设备通过网络进行连接,相互传输信号;计算机控制转台和变焦镜头,让相机视野对准飞机进入监视区域的方向;相机开始拍摄视频数据,并传输给计算机;计算机收到相机视频数据后,通过相应阶段级联式探测器根据视频数据中每一帧图像对目标飞机进行探测,在探测到目标飞机进入相应监视区域后,开始记录视频数据;其中相机和变焦镜头放置于转台上;转台放置于机场跑道一侧,距离机场跑道近距离一侧距离范围是200米到3千米;其中探测目标飞机降落时,通过第一阶段探测器根据视频数据中每一帧图像对目标飞机进行探测,当探测目标飞机起飞时,通过第三阶段探测器根据视频数据中每一帧图像对目标飞机进行探测;
步骤2:根据探测到的目标飞机在视频数据中每一帧图像中的位置和实时读取的转台水平角度、俯仰角度、镜头缩放倍数信息计算飞机三维空间位置;
步骤3:根据连续拍摄计算出的目标飞机三维空间位置计算飞机运动轨迹,再结合拍摄时间计算转台追踪飞机应使用的水平旋转角速度和俯仰旋转角速度;
步骤4:计算机根据步骤调整转台和镜头,让相机视野对准目标飞机将出现的位置,实现对目标飞机进行跟踪拍摄;计算机对转台调整过程中,如果目标飞机在当前视野中超前,则实际使用角速度为步骤3中得到的水平和俯仰旋转角速度值的0.9~1倍;如果目标飞机在当前视野中落后,则实际使用角速度为步骤3中得到的水平和俯仰旋转角速度值的1~1.1倍;计算机对镜头调整过程中,如果目标飞机占据区域超过视频数据中一帧图像整个画面的80%, 则计算机将镜头焦距值变为当前的0.9~1倍;如果目标飞机占据区域小于视频数据中一帧图像整个画面的50%,则计算机将镜头焦距值变为当前的1~1.1倍;
步骤5:跟踪拍摄过程持续到目标飞机离开监视区域后结束;如果跟踪过程中出现意外丢失目标飞机,计算机控制拍摄设备按照预测的目标飞机运动轨迹保持探测1秒到5秒;在此期间内若发现目标飞机则恢复正常跟踪状态;否则计算机控制拍摄设备结束跟踪。
2.根据权利要求1所述的一种飞机起降过程自动追踪拍摄方法,其特征在于所述步骤1、2中使用级联式探测器对目标飞机进行探测具体过程是:
级联式探测器采取滑动窗口采样结合逐级识别的方式对目标进行探测;对滑动窗口采样的局部图像区域使用逐级识别的方法对该区域是否为探测目标进行判定;级联式探测器的整体参数包括特征描述方法、分类器方法、探测器的级数,每一级的参数包括该级的局部特征区域ω、分类器参数C和判定阈值;在一幅图像中使用级联式探测器获得飞机所在区域的具体过程如下:
步骤21:设定滑动窗口的长度、宽度、长度方向移动步长以及宽度方向移动步长;其中滑动窗口的长度像素值范围是60到180;滑动窗口的宽度像素值范围是20到60;滑动窗口的长度方向移动步长像素值范围是10到90;滑动窗口的宽度方向移动步长像素值范围是5到30;
步骤22:按照滑动窗口的长度、宽度设定子区域范围,从图像中抓取子区域,称为识别子区域Ω,将识别子区域Ω代入级联式探测器进行处理,初始滑动窗口的位置在图像的左上角;
步骤23:级联式探测器中的每一级,在识别子区域Ω内选取局部特征区域ω,使用特征描述方法将ω转换成特征向量F,然后使用分类器参数C点乘F得到一个决策值;如果决策值小于判定阈值则拒绝,认定识别区域Ω不是飞机; 否则,通过该级,交由级联式探测器的下一级继续进行判定;当所有级均通过后,认定识别区域Ω是飞机,输出该识别区域位置信息;
步骤24:按照长度方向移动步长以及宽度方向移动步长设定,逐步移动滑动窗口,然后重复步骤22到23,直到完成对整个图像的覆盖;
步骤25:按照比例值缩小图像,然后重复步骤22到24,直到图像小于滑动窗口尺寸,实现对图像中多种缩放尺度飞机的探测;其中比例值范围是0.5到0.9;
步骤26:汇总所有输出的区域信息,合并重叠区域,得到级联式探测器认为飞机所在的区域,所述飞机所在的区域包括所有重叠区域的最小矩形区域。
3.根据权利要求1所述的一种飞机起降过程自动追踪拍摄方法,其特征在于所述级联式探测器的特征描述方法,分类器方法,探测器的级数是人工设定的;级联式探测器每一级的参数是通过训练得到的,每一级的参数包括该级的局部特征区域ω、分类器参数C和判定阈值;级联式探测器训练得到参数的过程如下:
步骤11:对五个飞行阶段分别拍摄的飞机照片,对每张照片手动标注照片中飞机所在区域,将照片该区域缩小到标准样本尺寸,生成正样本库;拍摄不含飞机的机场照片以及其它不含飞机的任意照片,并在其照片中随机选取与标准样本长宽比例相同、且不小于标准样本尺寸的子区域图像,将该区域缩小到标准样本尺寸,生成负样本;负样本数量为正样本数量10倍以上;所述标准样本尺寸的长在60到300像素之间,宽在20到100像素之间;
步骤12:设定级联式探测器的训练参数,即每一级需达到的检测率和错误率;检测率的定义为本身是正样本且被识别为正样本的数量除以总正样本的数量,错误率的定义为本身是负样本但被识别为正样本的数量除以所有被识别为正样本的数量;检测率范围是90%到100%;错误率是20%到80%;
步骤13:在探测器的每一级训练过程中,取样本库中10%的正样本和10%的负样本,对每个样本将某特定局部特征区域ω使用特征描述方法转换成特征向量F;根据所有特征向量F的分布情况,使用分类器方法计算出最佳分类参数C和判定阈值;
步骤14:统计所使用样本分类结果的检测率和错误率,如果检测率低于设定值或者错误率高于设定值,则随机另选一个局部特征区域ω的值,然后重复步骤13;
步骤15:对所有样本选取局部特征区域ω,使用设定特征描述方法将ω转换成特征向量F,然后使用分类器参数C点乘F得到一个决策值;如果决策值小于判定阈值则认为是正样本,否则认为是负样本;验证识别结果的检测率和错误率;如果检测率低于设定值或者错误率高于设定值,则改变局部特征区域ω的值,然后对当前抽取样本重复步骤13;否则,将识别为负样本的样本从样本库中删除,完成当前级的探测器参数训练;
步骤16:重复步骤13到15,直到完成设定级数的探测器训练。
4.根据权利要求1所述的一种飞机起降过程自动追踪拍摄方法,其特征在于所述步骤2中具体处理过程包括:建立三维空间坐标体系,X轴与跑道方向平行,Y轴与跑道平面垂直,原点设置在跑道尽头,且使得XZ平面为跑道平面,跑道中轴线在XY平面内;将目标飞机中心点设为A(Ax,Ay,Az),则A的运动轨迹在XY平面内,Az为0;转台安装在点P处,P坐标值(Px,Py,Pz)在设备安装时测量获得;Ax和Ay的计算方法为:
步骤31:计算机读取所有级联式探测器回传的目标飞机通过检测区域时的位置信息,即目标飞机所在子区域,令飞机所在子区域中心像素坐标为(Ix,Iy),计算机读取目标飞机所在子区域对应视频数据图像的拍摄时间t;
步骤32:计算机读取目标飞机所在子区域对应视频数据图像拍摄时转台的 俯仰角θV、水平角θH以及相机镜头焦距f;
步骤33:计算机得到修正俯仰角度修正水平角度其中H和W分别为飞机所在子区域对应视频数据图像的高和宽的像素数,Δ为相机单个感光单元的尺寸;atan表示反正切函数;
步骤34:计算机计算从转台指向飞机的角度θV"=θVV',θH"=θHH';
步骤35:计算机按照公式Ax=Px+|Pz|tan(θH")、计算得到Ax和Ay,且Az为0,从而获取飞机中心点在对应视频数据图像中三维空间坐标。
5.根据权利要求3所述的一种飞机起降过程自动追踪拍摄方法,其特征在于所述步骤3中具体处理过程包括:
步骤41:连续提取N帧图像,使用步骤31到步骤35的方法计算每帧图像中飞机所在空间位置A(Ax,Ay,Az),每个位置分别记为{A1(Ax1,Ay1,0),A2(Ax2,Ay2,0),...AN(AxN,AyN,0)};N的值在3到100之间;
步骤42:令按照计算a、b的值,得到飞机运行近似轨迹参数a、b;
步骤43:按照公式集合的中每个点An分别计算一个Dn值,删除集合中Dn值大于门限对应的An点,得到轨迹集合,其中门限值取5米到100米之间;
步骤44:在轨迹集合点中取第一个点(x1,y1,0)和最后一个点(x2,y2,0),计算机分别对应提取轨迹集合中第一个点和最后一个点对应的拍摄时间t1和t2, 计算出追踪飞机的转台当前该使用的水平转动角速度为:
俯仰转动角速度为:
6.一种飞机起降过程自动追踪拍摄装置,其特征在于包括:
拍摄设备,包含变焦镜头、能工作在视频模式的相机和可以水平及俯仰转动的转台;远程控制设备及信号处理的计算机;计算机与拍摄设备通过网络进行连接,相互传输信号;
计算机控制转台和镜头,让相机视野对准飞机进入监视区域的方向;相机开始拍摄视频数据,并传输给计算机;计算机收到相机视频数据后,通过相应阶段级联式探测器根据视频数据中每一帧图像对目标飞机进行探测,在探测到目标飞机进入相应监视区域后,开始记录视频数据,并保持跟踪拍摄,直到目标飞机离开监视区域;其中相机放置于转台上;转台放置于机场跑道一侧,距离机场跑道近距离一侧距离范围是200米到3千米;其中探测目标飞机降落时,通过第一阶段探测器根据视频数据中每一帧图像对目标飞机进行探测,当探测目标飞机起飞时,通过第三阶段探测器根据视频数据中每一帧图像对目标飞机进行探测;
计算机根据探测到的目标飞机在视频数据中每一帧图像中的位置和实时读取的转台水平角度、俯仰角度、镜头缩放倍数信息计算飞机三维空间位置;
计算机根据连续拍摄计算出的目标飞机三维空间位置计算飞机运动轨迹,再结合拍摄时间计算转台追踪飞机应使用水平旋转角速度和俯仰旋转角速度;
计算机根据步骤调整转台和镜头,让相机视野对准目标飞机将出现的位置, 实现对目标飞机进行跟踪拍摄;计算机对转台调整过程中,如果目标飞机在当前视野中超前,则使用水平旋转角速度值和俯仰旋转角速度值的0.9~1倍;如果目标飞机在当前视野中落后,则使用水平旋转角速度值和俯仰旋转角速度值的1~1.1倍;计算机对变焦镜头调整过程中,如果目标飞机占据区域超过视频数据中一帧图像整个画面的80%,则计算机将镜头焦距值变为当前的0.9~1倍;如果目标飞机占据区域小于视频数据中一帧图像整个画面的50%,则计算机将镜头焦距值变为当前的1~1.1倍;
跟踪拍摄过程持续到目标飞机离开监视区域后结束;如果跟踪过程中出现意外丢失目标飞机,计算机控制相机按照预测的目标飞机运动轨迹保持探测1秒到5秒;在此期间内若发现目标飞机则恢复正常跟踪状态;否则计算机控制相机结束跟踪。
7.根据权利要求6所述的一种飞机起降过程自动追踪拍摄装置,其特征在于所述级联式探测器对目标飞机进行探测具体过程是:
级联式探测器采取滑动窗口采样结合逐级识别的方式对目标进行探测;对滑动窗口采样的局部图像区域使用逐级识别的方法对该区域是否为探测目标进行判定;级联式探测器的整体参数包括特征描述方法、分类器方法、探测器的级数,每一级的参数包括该级的局部特征区域ω、分类器参数C和判定阈值;在一幅图像中使用级联式探测器获得飞机所在区域的具体过程如下:
步骤21:设定滑动窗口的长度、宽度、长度方向移动步长以及宽度方向移动步长;其中滑动窗口的长度像素值范围是60到180;滑动窗口的宽度像素值范围是20到60;滑动窗口的长度方向移动步长像素值范围是10到90;滑动窗口的宽度方向移动步长像素值范围是5到30;
步骤22:按照滑动窗口的长度、宽度设定子区域范围,从图像中抓取子区域,称为识别子区域Ω,将识别子区域Ω代入级联式探测器进行处理,初始滑 动窗口的位置在图像的左上角;
步骤23:级联式探测器中的每一级,在识别子区域Ω内选取局部特征区域ω,使用特征描述方法将ω转换成特征向量F,然后使用分类器参数C点乘F得到一个决策值;如果决策值小于判定阈值则拒绝,认定识别区域Ω不是飞机;否则,通过该级,交由级联式探测器的下一级继续进行判定;当所有级均通过后,认定识别区域Ω是飞机,输出该识别区域位置信息;
步骤24:按照长度方向移动步长以及宽度方向移动步长设定,逐步移动滑动窗口,然后重复步骤22到23,直到完成对整个图像的覆盖;
步骤25:按照比例值缩小图像,然后重复步骤22到24,直到图像小于滑动窗口尺寸,实现对图像中多种缩放尺度飞机的探测;其中比例值范围是0.5到0.9;
步骤26:汇总所有输出的区域信息,合并重叠区域,得到级联式探测器认为飞机所在的区域,所述飞机所在的区域包括所有重叠区域的最小矩形区域。
8.根据权利要求6所述的一种飞机起降过程自动追踪拍摄装置,其特征在于所述级联式探测器包括特征描述方法、分类器方法以及探测器的级数;每一级的参数是通过训练得到的,包括该级的局部特征区域ω、分类器参数C和判定阈值;级联式探测器训练得到参数的过程如下:
步骤11:分别拍摄的n个监测区域的飞机运行照片,对每张照片手动标注照片中飞机所在区域,将照片该区域缩小到标准样本尺寸,生成正样本库;拍摄不含飞机的机场照片以及其它不含飞机的任意照片,并在其照片中随机选取与标准样本长宽比例相同、且不小于标准样本尺寸的子区域图像,将该区域缩小到标准样本尺寸,生成负样本;负样本数量为正样本数量10倍以上;所述标准样本尺寸的长在60到300像素之间,宽在20到100像素之间;
步骤12:设定级联式探测器的训练参数,即每一级需达到的检测率和错误 率;检测率的定义为本身是正样本且被识别为正样本的数量除以总正样本的数量,错误率的定义为本身是负样本但被识别为正样本的数量除以所有被识别为正样本的数量;检测率范围是90%到100%;错误率是20%到80%;
步骤13:在探测器的每一级训练过程中,取样本库中10%的正样本和10%的负样本,对每个样本将某特定局部特征区域ω使用特征描述方法转换成特征向量F;根据所有特征向量F的分布情况,使用分类器方法计算出最佳分类参数C和判定阈值;
步骤14:统计所使用样本分类结果的检测率和错误率,如果检测率低于设定值或者错误率高于设定值,则随机另选一个局部特征区域ω的值,然后重复步骤13;
步骤15:对所有样本选取局部特征区域ω,使用设定特征描述方法将ω转换成特征向量F,然后使用分类器参数C点乘F得到一个决策值;如果决策值小于判定阈值则认为是正样本,否则认为是负样本;验证识别结果的检测率和错误率;如果检测率低于设定值或者错误率高于设定值,则改变局部特征区域ω的值,然后对当前抽取样本重复步骤13;否则,将识别为负样本的样本从样本库中删除,完成当前级的探测器参数训练;
步骤16:重复步骤13到15,直到完成设定级数的探测器训练。
9.根据权利要求6所述的一种飞机起降过程自动追踪拍摄装置,其特征在于所述计算机根据探测到的目标飞机在视频数据中每一帧图像中的位置和实时读取的转台水平角度、俯仰角度、镜头缩放倍数信息计算飞机三维空间位置具体过程是:建立三维空间坐标体系,将目标飞机中心点设为A(Ax,Ay,Az),则A的运动轨迹在XY平面内,Az为0;转台安装在点P处,P坐标值(Px,Py,Pz)在设备安装时测量获得;Ax和Ay的计算方法为:
步骤31:计算机读取所有级联式探测器回传的目标飞机通过检测区域时的 位置信息,即目标飞机所在子区域,令飞机所在子区域对应视频数据图像区域中心像素坐标为(Ix,Iy),计算机读取目标飞机所在子区域对应视频数据图像的拍摄时间t;
步骤32:计算机读取目标飞机所在子区域对应视频数据图像拍摄时转台的俯仰角θV、水平角θH以及相机镜头焦距f;
步骤33:计算机得到修正俯仰角度修正水平角度其中H和W分别为飞机所在子区域对应视频数据图像的高和宽的像素数,Δ为相机单个感光单元的尺寸;atan表示反正切函数;
步骤34:计算机计算从转台指向飞机的角度θV"=θVV',θH"=θHH';
步骤35:计算机按照公式Ax=Px+|Pz|tan(θH")、计算得到Ax和Ay,且Az为0,因而获取飞机中心点在对应视频数据图像中三维空间坐标。
10.根据权利要求9所述的一种飞机起降过程自动追踪拍摄装置,其特征在于所述根据连续拍摄计算出的飞机三维空间位置计算飞机运动轨迹,再结合拍摄时间计算转台追踪飞机应使用的水平和俯仰旋转角速度中具体处理过程包括:
步骤41:连续提取N帧图像,使用步骤31到步骤35的方法计算每帧图像中飞机所在空间位置A(Ax,Ay,Az),每个位置分别记为{A1(Ax1,Ay1,0),A2(Ax2,Ay2,0),...AN(AxN,AyN,0)};N的值在3到100之间;
步骤42:令按照计算a、b的值,得到飞机运行近似轨迹参数a、b;
步骤43:按照公式集合的n个A点分别计算一个Dn值,删除集合中Dn值大于门限对应的A点,得到轨迹集合,其中门限值取5米到100米之间;
步骤44:在轨迹集合点中取第一个点(x1,y1,0)和最后一个点(x2,y2,0),计算机分别对应提取轨迹集合中第一个点和最后一个点对应的拍摄时间t1和t2,计算出追踪飞机的转台当前该使用的水平转动角速度为:
俯仰转动角速度为:
CN201610644474.9A 2016-08-08 2016-08-08 一种飞机起降过程自动追踪拍摄方法及装置 Active CN106295695B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610644474.9A CN106295695B (zh) 2016-08-08 2016-08-08 一种飞机起降过程自动追踪拍摄方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610644474.9A CN106295695B (zh) 2016-08-08 2016-08-08 一种飞机起降过程自动追踪拍摄方法及装置

Publications (2)

Publication Number Publication Date
CN106295695A true CN106295695A (zh) 2017-01-04
CN106295695B CN106295695B (zh) 2019-08-16

Family

ID=57666829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610644474.9A Active CN106295695B (zh) 2016-08-08 2016-08-08 一种飞机起降过程自动追踪拍摄方法及装置

Country Status (1)

Country Link
CN (1) CN106295695B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107507198A (zh) * 2017-08-22 2017-12-22 中国民用航空总局第二研究所 飞机图像探测及追踪方法
CN107633215A (zh) * 2017-09-06 2018-01-26 南京小网科技有限责任公司 一种高空视频监控中小微模糊目标的甄别方法
CN107704681A (zh) * 2017-09-30 2018-02-16 江西洪都航空工业集团有限责任公司 一种飞机地面视野范围的计算方法
CN109302562A (zh) * 2018-10-12 2019-02-01 中国民用航空总局第二研究所 基于视频的目标探测追踪方法、系统、介质及设备
WO2021007792A1 (zh) * 2019-07-16 2021-01-21 深圳市大疆创新科技有限公司 拍摄方法、设备、系统及计算机可读存储介质
CN114155490A (zh) * 2021-12-08 2022-03-08 北京立思辰智汇科技有限公司 一种机场飞机泊位警示灯安全管控系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050163341A1 (en) * 2000-12-19 2005-07-28 Ruey-Yuan Han Fast fourier transform correlation tracking algorithm with background correction
CN103786893A (zh) * 2014-01-24 2014-05-14 中国民用航空总局第二研究所 一种基于激光测距技术的飞机泊位自动引导方法及装置
CN104828256A (zh) * 2015-04-21 2015-08-12 杨珊珊 一种智能多模式飞行拍摄设备及其飞行控制方法
CN105120146A (zh) * 2015-08-05 2015-12-02 普宙飞行器科技(深圳)有限公司 一种利用无人机进行运动物体自动锁定拍摄装置及拍摄方法
CN105169717A (zh) * 2015-07-22 2015-12-23 深圳市富微科创电子有限公司 一种采用目标追踪技术的玩具飞机遥控系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050163341A1 (en) * 2000-12-19 2005-07-28 Ruey-Yuan Han Fast fourier transform correlation tracking algorithm with background correction
CN103786893A (zh) * 2014-01-24 2014-05-14 中国民用航空总局第二研究所 一种基于激光测距技术的飞机泊位自动引导方法及装置
CN104828256A (zh) * 2015-04-21 2015-08-12 杨珊珊 一种智能多模式飞行拍摄设备及其飞行控制方法
CN105169717A (zh) * 2015-07-22 2015-12-23 深圳市富微科创电子有限公司 一种采用目标追踪技术的玩具飞机遥控系统及方法
CN105120146A (zh) * 2015-08-05 2015-12-02 普宙飞行器科技(深圳)有限公司 一种利用无人机进行运动物体自动锁定拍摄装置及拍摄方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107507198A (zh) * 2017-08-22 2017-12-22 中国民用航空总局第二研究所 飞机图像探测及追踪方法
CN107507198B (zh) * 2017-08-22 2019-11-19 中国民用航空总局第二研究所 飞机图像探测及追踪方法
CN107633215A (zh) * 2017-09-06 2018-01-26 南京小网科技有限责任公司 一种高空视频监控中小微模糊目标的甄别方法
CN107633215B (zh) * 2017-09-06 2021-03-02 南京小网科技有限责任公司 一种高空视频监控中小微模糊目标的甄别方法
CN107704681A (zh) * 2017-09-30 2018-02-16 江西洪都航空工业集团有限责任公司 一种飞机地面视野范围的计算方法
CN107704681B (zh) * 2017-09-30 2021-06-04 江西洪都航空工业集团有限责任公司 一种飞机地面视野范围的计算方法
CN109302562A (zh) * 2018-10-12 2019-02-01 中国民用航空总局第二研究所 基于视频的目标探测追踪方法、系统、介质及设备
CN109302562B (zh) * 2018-10-12 2020-09-29 中国民用航空总局第二研究所 基于视频的目标探测追踪方法、系统、介质及设备
WO2021007792A1 (zh) * 2019-07-16 2021-01-21 深圳市大疆创新科技有限公司 拍摄方法、设备、系统及计算机可读存储介质
CN114155490A (zh) * 2021-12-08 2022-03-08 北京立思辰智汇科技有限公司 一种机场飞机泊位警示灯安全管控系统及方法
CN114155490B (zh) * 2021-12-08 2024-02-27 北京航易智汇科技有限公司 一种机场飞机泊位警示灯安全管控系统及方法

Also Published As

Publication number Publication date
CN106295695B (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN106295695B (zh) 一种飞机起降过程自动追踪拍摄方法及装置
CN111145545B (zh) 基于深度学习的道路交通行为无人机监测系统及方法
Yang et al. Deep concrete inspection using unmanned aerial vehicle towards cssc database
Zhao et al. Detection, tracking, and geolocation of moving vehicle from uav using monocular camera
US11367219B2 (en) Video analysis apparatus, person retrieval system, and person retrieval method
CN106874854B (zh) 基于嵌入式平台的无人机车辆跟踪方法
CN103149939B (zh) 一种基于视觉的无人机动态目标跟踪与定位方法
Rudol et al. Human body detection and geolocalization for UAV search and rescue missions using color and thermal imagery
CN105373135B (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统
WO2018028103A1 (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
Taylor et al. A real-time approach to stereopsis and lane-finding
CN110163904A (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
Azevedo et al. Automatic vehicle trajectory extraction by aerial remote sensing
JP6510247B2 (ja) 測量データ処理装置、測量データ処理方法およびプログラム
US8005257B2 (en) Gesture recognition apparatus and method
CN111326023A (zh) 一种无人机航线预警方法、装置、设备及存储介质
CN106447680A (zh) 动态背景环境下雷达与视觉融合的目标检测与跟踪方法
CN111679695B (zh) 一种基于深度学习技术的无人机巡航及追踪系统和方法
Najiya et al. UAV video processing for traffic surveillence with enhanced vehicle detection
CN108037543B (zh) 一种监测低空无人飞行器的多谱红外成像检测跟踪方法
Yang et al. A robotic system towards concrete structure spalling and crack database
CN106447697A (zh) 一种基于动平台的特定动目标快速跟踪方法
CN110008919A (zh) 基于视觉的四旋翼无人机人脸识别系统
CN112037252A (zh) 基于鹰眼视觉的目标跟踪方法及系统
WO2013054132A1 (en) Height measurement apparatus and method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant