CN108037543B - 一种监测低空无人飞行器的多谱红外成像检测跟踪方法 - Google Patents
一种监测低空无人飞行器的多谱红外成像检测跟踪方法 Download PDFInfo
- Publication number
- CN108037543B CN108037543B CN201711320463.6A CN201711320463A CN108037543B CN 108037543 B CN108037543 B CN 108037543B CN 201711320463 A CN201711320463 A CN 201711320463A CN 108037543 B CN108037543 B CN 108037543B
- Authority
- CN
- China
- Prior art keywords
- unmanned vehicle
- detection device
- image
- control system
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
Landscapes
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Geophysics (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种监测低空无人飞行器的多谱红外成像检测跟踪方法,包括以下步骤:A:利用主探测装置采集红外图像;B:运算控制判断是否存在疑似无人飞行器目标;C:运算控制系统对目标的初步识别;D:运算控制系统判断无人飞行器目标是否在红外图像中心区域;E:运算控制系统利用主探测装置采集红外图像;F:运算控制系统进行光照条件判断;G:运算控制系统采用长波红外图像和短波红外图像组合方式进行检测跟踪;H:运算控制系统采用长波红外图像和可见光图像组合方式进行检测跟踪。本发明的能够满足不同情况下对不同传感器成像的需求差别,达到低空无人飞行器的高精度探测。
Description
技术领域
本发明涉及无人飞行器技术领域,尤其涉及一种监测低空无人飞行器的多谱红外成像检测跟踪方法。
背景技术
随着消费级无人飞行器概念的兴起,无人飞行器技术蓬勃发展,现已从军事领域拓展到民用领域。从物流快递、航拍摄影到高速互联网接入服务都有无人飞行器的身影。这类无人飞行器在拥有合法用途的同时,也存在滥用的可能性。它们可携带相机、炸药、有毒化学物质等,既可能对航班、重要民用设施等构成威胁,也可能用于恐怖袭击、间谍行为和走私活动。和军方无人飞行器相比,民用无人飞行器正朝着小型化、轻型化的方向演变,使得它们很难被侦测,特别是在低照度环境下更是难以探测。目前,常用的无人飞行器检测系统主要有雷达系统、单谱段红外系统和可见光系统。对于低速弱小目标而言,雷达系统受地物杂波干扰大,探测难度大,识别率低,难以配备于机器人本体上;可见光成像系统检测能力则严重受限于天气、光照等,不能满足“黑飞”检测需求;单波段红外传感器难以获取目标的细节、纹理、结构等多种特征信息,导致目标极易被噪声所淹没,检测率和识别率低,且在跟踪过程中难以准确地检测出实时的位置、轨迹、速度等状态。
发明内容
本发明的目的是提供一种监测低空无人飞行器的多谱红外成像检测跟踪方法,能够满足不同情况下对不同传感器成像的需求差别,能够通过对细节图像进行降噪滤波,采用多特征筛选方法,再增强处理和融合,达到低空无人飞行器的高精度探测;还能利用多谱目标融合图像和目标自动跟踪系统,通过坐标计算,获取低空无人飞行器的飞行状态参数以及实时跟踪。
本发明采用下述技术方案:
一种监测低空无人飞行器的多谱红外成像检测跟踪方法,包括以下步骤:
A:利用双目自动跟踪系统中多谱段图像采集装置的主探测装置,全天侯连续对指定范围进行扫描和探测,并将采集到的红外图像发送至运算控制系统;
B:运算控制系统接收主探测装置发送的红外图像,并判断接收到的红外图像是否存在疑似无人飞行器目标,若存在疑似无人飞行器目标,则进入步骤C;若不存在疑似无人飞行器目标,则继续接收主探测装置发送的红外图像并判断是否存在疑似无人飞行器目标;
C:运算控制系统对目标的初步识别以判定是否为无人飞行器目标;若运算控制系统判断主探测装置发送的红外图像中出现无人飞行器目标,则进入步骤D;若运算控制系统判断主探测装置发送的红外图像中未出现无人飞行器目标,则返回步骤B;
D:运算控制系统判断无人飞行器目标是否在红外图像中心区域,若无人飞行器目标不在红外图像中心区域,进入步骤E;若无人飞行器目标在红外图像中心区域,运算控制系统利用主探测装置下方的二维转台装置中的角度编码器获取主探测装置转动的方位角度和俯仰角度,进入步骤F;
E:运算控制系统根据预设的主探测装置的方位角度转动增量值和俯仰角度转动增量值,逐步控制主探测装置下方的二维转台装置转动并利用主探测装置采集红外图像,再将采集到的红外图像发送至运算控制系统,然后返回步骤D;
F:运算控制系统利用光照传感器发送的信息进行光照条件判断;当光照条件小于设定的光照阈值时,进入步骤G;当光照条件大于等于设定的光照阈值时,进入步骤H;
G:运算控制系统采用长波红外图像和短波红外图像组合方式进行检测跟踪,即运算控制系统控制主探测装置和副探测装置中的短波红外成像探测装置实现对无人飞行器目标的跟踪及图像采集,并将无人飞行器目标识别结果发送至低空无人飞行器融合图像显示装置,直至主探测装置和短波红外成像探测装置所采集到的图像中均未出现无人飞行器目标;同时,运算控制系统还通过主探测装置和短波红外成像探测装置的姿态信息,计算出无人飞行器目标在空间中的实时位置信息,并将实时位置信息发送至低空无人飞行器飞行状态显示装置;
H:运算控制系统采用长波红外图像和可见光图像组合方式进行检测跟踪,即运算控制系统控制主探测装置和副探测装置中的可见光成像探测装置实现对无人飞行器目标的跟踪及图像采集,并将无人飞行器目标识别结果发送至低空无人飞行器融合图像显示装置,直至主探测装置和可见光成像探测装置所采集到的图像中均未出现无人飞行器目标;同时,运算控制系统还通过主探测装置和可见光成像探测装置的姿态信息,计算出无人飞行器目标在空间中的实时位置信息,并将实时位置信息发送至低空无人飞行器飞行状态显示装置;
其中,双目自动跟踪系统包括多谱段图像采集装置、二维转台装置、角度编码器和驱动系统;
多谱段图像采集装置包括主探测装置和副探测装置,主探测装置包括长波红外成像探测装置;副探测装置包括短波红外成像探测装置和可见光成像探测装置;二维转台装置用于在驱动系统控制下实现主探测装置和副探测装置在垂直方向与水平方向上的转动;长波红外成像探测装置、短波红外成像探测装置和可见光成像探测装置分别设置在独立的二维转台装置上,三个二维转台装置均设置在机载平台上,且三个二维转台装置之间中心距离固定;二维转台装置包括相互垂直设置的俯仰转轴和方位转轴两个转动机构,分别用于主探测装置和副探测装置在垂直方向与水平方向上的转动;角度编码器用于采集二维转台装置中俯仰转轴和方位转轴的转动角度信号,并将采集到的角度信号发送至运算控制系统;每个二维转台装置中的俯仰转轴和方位转轴上均设置有角度编码器;驱动系统用于在运算控制系统的控制下,驱动俯仰转轴和方位转轴转动;
图像数据显示系统包括低空无人飞行器融合图像显示装置和低空无人飞行器飞行状态显示装置。
所述的步骤B中,运算控制系统将多谱段图像采集装置中主探测装置所采集到的当前帧红外图像与前一帧无任何飞行目标的背景参考图像进行差分比较,如果比较结果大于设定的目标显著阈值,则判断所接收到的红外图像中存在疑似无人飞行器目标。
所述的步骤C中,运算控制系统采用频域分析与空域滤波相结合的方法进行显著性检测,提取感兴趣的显著性区域;再利用基于局部连通性限制的方法消除在边缘的误检,得到最终候选检测结果,并与预置的无人飞行器特征库进行匹配,实现对目标的初步识别以判定是否为无人飞行器目标;若运算控制系统判断主探测装置发送的红外图像中出现无人飞行器目标,则进入步骤D;若运算控制系统判断主探测装置发送的红外图像中未出现无人飞行器目标,则返回步骤B。
所述的步骤D中,运算控制系统判断无人飞行器目标是否在红外图像中心区域,即无人飞行器目标在红外图像中的能量中心与红外图像中心(u0,v0)是否重合,若(u,v)-(u0,v0)>Tr即为不重合,无人飞行器目标不在红外图像中心区域,进入步骤E;若(u,v)-(u0,v0)≤Tr即为重合,无人飞行器目标在红外图像中心区域,运算控制系统利用主探测装置下方的二维转台装置中的角度编码器获取主探测装置转动的方位角度α和俯仰角度β,进入步骤F;
其中,(u,v)为无人飞行器目标在红外图像中的能量中心坐标,Qi为红外目标图像区域内第i像素处的能量,(xi,yi)为飞行器目标在红外图像区域内像素坐标,M为红外目标图像区域内像素点个数,Tr为所设定的无人机红外图像中心偏差阈值。
所述的步骤G包括以下具体步骤:
G1:运算控制系统根据主探测装置采集到的包含无人飞行器目标的红外图像,依据主探测装置的姿态信息,计算出短波红外成像探测装置下方二维转台装置粗略的转动角度,并根据计算出来的二维转台装置转动角度控制短波红外成像探测装置探测并跟踪无人飞行器目标,进行无人飞行器目标图像采集,然后进入步骤G2;同时,主探测装置实时同步采集无人飞行器目标的图像并发送至运算控制系统;
短波红外成像探测装置下方二维转台装置粗略的转动角度计算方法如下:
短波红外成像探测装置下方二维转台装置转动角度包括短波红外成像探测装置方位角度θ0和俯仰角度
|γ|<δtr;
其中,α为主探测装置转动的方位角度,β为主探测装置转动的俯仰角度,δtr为设定的角度阈值,γ为小于δtr的一个角度增量值;
G2:短波红外成像探测装置将采集到的无人飞行器目标图像发送至运算控制系统;然后进入步骤G3;
G3:运算控制系统根据短波红外成像探测装置采集到的无人飞行器目标图像,判断无人飞行器目标图像中是否存在无人飞行器目标,并将无人飞行器目标识别结果发送至低空无人飞行器融合图像显示装置,若存在,则进入步骤G4;如不存在,则进入步骤G5:
G4:运算控制系统根据短波红外成像探测装置采集到的无人飞行器目标图像,判断无人飞行器目标是否在红外图像中心区域,即无人飞行器目标在红外图像中的能量中心与红外图像中心(u0,v0)是否重合,若(u,v)-(u0,v0)>Tr即为不重合,无人飞行器目标不在红外图像中心区域,返回步骤G1;若(u,v)-(u0,v0)≤Tr即为重合,无人飞行器目标在红外图像中心区域,运算控制系统利用短波红外成像探测装置下方的二维转台装置中的角度编码器,获取短波红外成像探测装置的方位角度θ1和俯仰角度然后再依据步骤D中获得的主探测装置转动的方位角度α和俯仰角度β,计算出无人飞行器的位置信息即在空间的位置坐标,并将实时位置信息发送至低空无人飞行器飞行状态显示装置,然后进入步骤G5:
步骤G4中,无人飞行器在空间的位置坐标的计算方法如下:
其中,(x、y、z)为无人飞行器在所构建坐标框架下的空间三维坐标;坐标原点为主探测装置旋转中心,X轴为主探测装置与短波红外成像探测装置的中心连线在水平面的投影且指向短波红外成像探测装置,Z轴为通过坐标原点向上的垂直轴,Y轴由右手准则得到,D1为主探测装置的方位转轴到短波红外成像探测装置的方位转轴的距离;ΔH1为短波红外成像探测装置的俯仰转轴与主探测装置的俯仰转轴的高度差,α为主探测装置转动的方位角度,β为主探测装置转动的俯仰角度,θ1为短波红外成像探测装置的方位角度,为短波红外成像探测装置的俯仰角度;
G5:运算控制系统对短波红外成像探测装置采集到的无人飞行器目标图像序列进行采集,然后返回步骤G1。
所述的步骤G3中,运算控制系统根据短波红外成像探测装置采集到的无人飞行器目标图像,提取目标图像特征,用预先构建的无人飞行器目标分类器,进行目标特征分类;依据特征分类结果、待识别目标特性和先验知识,采用模板匹配法和神经网络方法,与预先建立的无人飞行器目标特征库进行比较,完成识别;并将识别搜索结果进行决策融合,判断无人飞行器目标图像中是否存在无人飞行器目标。
所述的步骤G5中,运算控制系统对短波红外成像探测装置采集到的无人飞行器目标图像序列进行采集后,在返回步骤G1的同时进入步骤G6;
G6:运算控制系统对采集到的由短波红外成像探测装置采集的无人飞行器目标图像序列进行多变换域多尺度图像降噪处理,然后进入步骤G9;
G7:运算控制系统对长波红外成像探测装置采集到的无人飞行器目标图像序列进行采集,然后进入步骤G8;
G8:运算控制系统对采集到的由长波红外成像探测装置采集的无人飞行器目标图像序列进行多变换域多尺度图像降噪处理,然后进入步骤G9;
G9:运算控制系统对G6和G8中经处理的图像进行多变换域多尺度图像分解,重新提取无人飞行器目标多个局部几何形状特征、轮廓特征以及灰度梯度特征,计算出无人飞行器目标图像的灰度值、梯度模值以及梯度方向三种特征,更新无人飞行器目标图像的多特征模型。
所述的步骤H包括以下具体步骤:
H1:运算控制系统根据主探测装置采集到的包含无人飞行器目标的红外图像,依据主探测装置的姿态信息,计算出可见光成像探测装置下方二维转台装置粗略的转动角度,并根据计算出来的二维转台装置转动角度控制可见光成像探测装置探测并跟踪无人飞行器目标,进行无人飞行器目标图像采集,然后进入步骤H2;同时,主探测装置实时同步采集无人飞行器目标的图像并发送至运算控制系统;
可见光成像探测装置下方二维转台装置粗略的转动角度计算方法如下:
可见光成像探测装置下方二维转台装置转动角度包括可见光成像探测装置方位角度θ0′和俯仰角度
|γ|<δtr;
其中,α为主探测装置转动的方位角度,β为主探测装置转动的俯仰角度,δtr为设定的角度极限值,γ为小于δtr的一个角度增量值;
H2:可见光成像探测装置将采集到的无人飞行器目标图像发送至运算控制系统;然后进入步骤H3;
H3:运算控制系统根据可见光成像探测装置采集到的无人飞行器目标图像,判断无人飞行器目标图像中是否存在无人飞行器目标,并将无人飞行器目标识别结果发送至低空无人飞行器融合图像显示装置,若存在,则进入步骤H4;如不存在,则进入步骤H5:
H4:运算控制系统根据可见光成像探测装置采集到的无人飞行器目标图像,判断无人飞行器目标是否在可见光图像中心区域,即无人飞行器目标在可见光图像中的能量中心与可见光图像中心(u0,v0)是否重合,若(u,v)-(u0,v0)>Tr即为不重合,无人飞行器目标不在可见光图像中心区域,返回步骤H1;若(u,v)-(u0,v0)≤Tr即为重合,无人飞行器目标在可见光图像中心区域,运算控制系统利用可见光成像探测装置下方的二维转台装置中的角度编码器,获取可见光成像探测装置的方位角度θ2和俯仰角度然后再依据步骤D中获得的主探测装置转动的方位角度α和俯仰角度β,计算出无人飞行器的位置信息即在空间的位置坐标,并将实时位置信息发送至低空无人飞行器飞行状态显示装置,然后进入步骤H5:
步骤H4中,无人飞行器在空间的位置坐标的计算方法如下:
其中,(x、y、z)为无人飞行器在所构建坐标框架下的空间三维坐标;坐标原点为主探测装置旋转中心,X轴为主探测装置与可见光成像探测装置的中心连线在水平面的投影且指向可见光成像探测装置,Z轴为通过坐标原点向上的垂直轴,Y轴由右手准则得到,D2为主探测装置的方位转轴到可见光成像探测装置的方位转轴的距离;ΔH2为可见光成像探测装置的俯仰转轴与主探测装置的俯仰转轴的高度差,α为主探测装置转动的方位角度,β为主探测装置转动的俯仰角度,θ2为可见光成像探测装置的方位角度,为可见光成像探测装置的俯仰角度;
H5:运算控制系统对可见光成像探测装置采集到的无人飞行器目标图像序列进行采集,然后返回步骤H1。
所述的步骤H3中,运算控制系统根据可见光成像探测装置采集到的无人飞行器目标图像,提取目标图像特征,用预先构建的无人飞行器目标分类器,进行目标特征分类;依据特征分类结果、待识别目标特性和先验知识,采用模板匹配法和神经网络方法,与预先建立的无人飞行器目标特征库进行比较,完成识别;并将识别搜索结果进行决策融合,判断无人飞行器目标图像中是否存在无人飞行器目标。
所述的步骤H5中,运算控制系统对可见光成像探测装置采集到的无人飞行器目标图像序列进行采集后,在返回步骤H1的同时进入步骤H6;
H6:运算控制系统对采集到的由可见光成像探测装置采集的无人飞行器目标图像序列进行多变换域多尺度图像降噪处理,然后进入步骤H9;
H7:运算控制系统对长波红外成像探测装置采集到的无人飞行器目标图像序列进行采集,然后进入步骤H8;
H8:运算控制系统对采集到的由长波红外成像探测装置采集的无人飞行器目标图像序列进行多变换域多尺度图像降噪处理,然后进入步骤H9;
H9:运算控制系统对H6和H8中经处理的图像进行多变换域多尺度图像分解,重新提取无人飞行器目标多个局部几何形状特征、轮廓特征以及灰度梯度特征,计算出无人飞行器目标图像的灰度值、梯度模值以及梯度方向三种特征,更新无人飞行器目标图像的多特征模型。
本发明能够充分利用不同谱段成像传感器的优势,在各种光照条件下实现对低空无人飞行器的检测与实时跟踪,并获取低空无人飞行器的飞行状态参数。本发明依次通过基于主探测装置采集图像进行差分比较的疑似无人飞行器目标确认、基于主探测装置采集图像进行无人飞行器特征库匹配的无人飞行器目标初步识别与基于副探测装置采集图像进行无人飞行器特征库匹配的无人飞行器目标识别,实现无人飞行器目标图像中是否存在无人飞行器目标的确定,并生产包含光谱特征、纹理特征、形状特征和空间关系特征的无人飞行器目标融合图像。本发明还能基于当前时刻无人飞行器目标多个局部几何形状特征、轮廓特征以及灰度梯度特征,更新无人飞行器目标图像的多特征模型,以进一步无人飞行器目标识别准确率。
附图说明
图1为本发明中监测低空无人飞行器的多谱红外成像检测跟踪系统的流的原理示意图。
具体实施方式
以下结合附图和实施例对本发明作以详细的描述:
如图1所示,本发明所述的监测低空无人飞行器的多谱红外成像检测跟踪方法,通过监测低空无人飞行器的多谱红外成像检测跟踪系统实现。监测低空无人飞行器的多谱红外成像检测跟踪系统包括双目自动跟踪系统、运算控制系统和图像数据显示系统,其中:
所述的双目自动跟踪系统,包括多谱段图像采集装置、二维转台装置、角度编码器7和驱动系统,其中:
多谱段图像采集装置包括主探测装置1和副探测装置2,主探测装置1用于全天侯连续对指定范围进行扫描和探测,将采集到红外图像发送至运算控制系统;副探测装置2用于在运算控制系统的控制下对准并跟踪无人飞行器目标3进行连续的图像采集;
为了充分利用不同谱段成像传感器的优势,主探测装置1包括长波红外成像探测装置,副探测装置2包括短波红外成像探测装置和可见光成像探测装置。在光照条件充足的情况下,采用长波红外成像和可见光成像的组合探测模式;在低照度或恶劣天气的情况下,采用长波红外成像和短波红外成像的组合探测模式。
二维转台装置用于在驱动系统控制下实现主探测装置1和副探测装置2在垂直方向与水平方向上的转动,实现对主探测装置1和副探测装置2的姿态调整;
本发明中,长波红外成像探测装置、短波红外成像探测装置和可见光成像探测装置分别设置在独立的二维转台装置上,三个二维转台装置均设置在机载平台4上,且三个二维转台装置之间中心距离固定。二维转台装置包括相互垂直设置的俯仰转轴5和方位转轴6两个转动机构,分别用于主探测装置1和副探测装置2在垂直方向与水平方向上的转动;
角度编码器7用于采集二维转台装置中俯仰转轴5和方位转轴6的转动角度信号,并将采集到的角度信号发送至运算控制系统;每个二维转台装置中的俯仰转轴5和方位转轴6上均设置有角度编码器7;
驱动系统用于在运算控制系统的控制下,驱动俯仰转轴5和方位转轴6转动。驱动系统可采用驱动电机。
所述的运算控制系统,用于接收多谱段图像采集装置中主探测装置1所采集到的红外图像,并判断接收到的红外图像是否存在疑似无人飞行器目标3,若判断接收到的红外图像存在疑似无人飞行器目标3,则从红外图像中提取出无人飞行器目标3的图像特征进行初步识别,然后根据无人飞行器目标3在红外图像中的坐标及主探测装置1的姿态信息计算出无人飞行器目标3位置,并计算出副探测装置2转动角度,然后依据计算出副探测装置2转动角度控制副探测装置2对准并跟踪无人飞行器进行目标图像采集,获得当前时刻无人飞行器目标3的多谱段图像,从多谱段图像中提取出无人飞行器目标3的图像特征进行识别,然后将无人飞行器目标3识别结果发送图像数据显示系统;若识别结果为无人飞行器目标3,则继续跟踪无人飞行器并进行目标图像采集;同时,运算控制系统还将无人飞行器目标3在空间中的实时位置、速度以及加速度信息发送至图像数据显示系统。本发明中,运算控制系统采用具有数据计算处理能力的处理系统。
本发明中,疑似无人飞行器目标3的判断方法可采用如下方法:
运算控制系统将多谱段图像采集装置中主探测装置1所采集到的当前帧红外图像与前一帧无任何飞行目标的背景参考图像进行差分比较,如果比较结果大于设定的目标显著阈值,则判断所接收到的红外图像中存在疑似无人飞行器目标3。
无人飞行器目标3的图像特征进行初步识别的方法如下:
运算控制系统采用频域分析与空域滤波相结合的方法进行显著性检测,提取感兴趣的显著性区域;再利用基于局部连通性限制的方法消除在边缘的误检,得到最终候选检测结果,并与预置的无人飞行器特征库进行匹配,实现对目标的初步识别以判定是否为无人飞行器目标3。
副探测装置2所采集的多谱段无人飞行器目标图像中疑似无人飞行器目标3是否为无人飞行器的判断方法如下:
运算控制系统根据副探测装置2采集到的无人飞行器目标图像,提取目标图像特征,用预先构建的无人飞行器目标分类器,进行目标特征分类;依据特征分类结果、待识别目标特性和先验知识,采用模板匹配法和神经网络方法,与预先建立的无人飞行器数据库进行比较,完成识别;并将识别搜索结果进行决策融合,判断无人飞行器目标图像中是否存在无人飞行器目标3。
本发明中,运算控制系统还根据采集到的不同谱段的无人飞行器图像,找到无人飞行器目标区域,提取目标多个局部几何形状特征、轮廓特征以及灰度梯度特征,将无人飞行器目标图像的灰度值、梯度模值以及梯度方向三种特征归一化并且放置于三个通道内,由此将单通道的灰度图像转化为三通道的多特征图像,并将此特征添加到无人飞行器目标特征库,以此建立无人飞行器目标特征库。
运算控制系统还采用基于多特征和无人飞行器目标3模型的图像配准算法,将不同谱段内相应的多特征目标图像通过多尺度多分辨率分析和几何拓扑方法进行图像融合,构建目标的多谱红外图像融合算法生成包含光谱特征、纹理特征、形状特征和空间关系特征的无人飞行器目标3融合图像,并发送至低空无人飞行器融合图像显示装置,以实现飞行器目标识别结果的显示。
为了进一步提高无人飞行器目标3识别准确率,本发明中,运算控制系统还结合目标光谱不变特征与时空显著性,依据无人飞行器先验知识,建立基于光照强度的自动权重调整机制,从辅助训练数据库中找出重要的测试实例,并将这些实例迁移到源训练数据的学习中,构建目标分类器;运算控制系统通过提取当前时刻无人飞行器目标3多个局部几何形状特征、轮廓特征以及灰度梯度特征,计算出无人飞行器目标图像的灰度值、梯度模值以及梯度方向三种特征,更新无人飞行器目标图像的多特征模型。
所述图像数据显示系统包括低空无人飞行器融合图像显示装置和低空无人飞行器飞行状态显示装置。图像数据显示系统可选用显示器。
低空无人飞行器融合图像显示装置,用于显示无人飞行器融合图像即无人飞行器目标3识别结果,便于人工对低空无人飞行器进行分析和判断;
低空无人飞行器飞行状态显示装置,用于显示无人飞行器的飞行状态参数,飞行状态参数包括飞行坐标、速度以及加速度;
本发明中,红外图像采集装置和可见光图像采集装置输出的视频图像帧同步输出,并根据分辨率对视场角范围内低空无人飞行器目标图像进行去噪、多特征提取、配准和融合,使低空无人飞行器图像场景区域相同。配准图像区域选择以无人飞行器图像为中心的区域,并依据图像融合方法进行图像融合,以保证并提高无人飞行器目标3识别准确率。
本发明所述的监测低空无人飞行器的多谱红外成像检测跟踪方法,其特征在于,包括以下步骤:
A:利用双目自动跟踪系统中多谱段图像采集装置的主探测装置1,全天侯连续对指定范围进行扫描和探测,并将采集到的红外图像发送至运算控制系统;
B:运算控制系统接收主探测装置1发送的红外图像,并判断接收到的红外图像是否存在疑似无人飞行器目标3,若存在疑似无人飞行器目标3,则进入步骤C;若不存在疑似无人飞行器目标3,则继续接收主探测装置1发送的红外图像并判断是否存在疑似无人飞行器目标3;
本实施例中,运算控制系统将多谱段图像采集装置中主探测装置1所采集到的当前帧红外图像与前一帧无任何飞行目标的背景参考图像进行差分比较,如果比较结果大于设定的目标显著阈值,则判断所接收到的红外图像中存在疑似无人飞行器目标3。
C:运算控制系统采用频域分析与空域滤波相结合的方法进行显著性检测,提取感兴趣的显著性区域;再利用基于局部连通性限制的方法消除在边缘的误检,得到最终候选检测结果,并与预置的无人飞行器特征库进行匹配,实现对目标的初步识别以判定是否为无人飞行器目标3;若运算控制系统判断主探测装置1发送的红外图像中出现无人飞行器目标3,则进入步骤D;若运算控制系统判断主探测装置1发送的红外图像中未出现无人飞行器目标3,则返回步骤B;
D:运算控制系统判断无人飞行器目标3是否在红外图像中心区域,即无人飞行器目标3在红外图像中的能量中心与红外图像中心(u0,v0)是否重合,若(u,v)-(u0,v0)>Tr即为不重合,无人飞行器目标3不在红外图像中心区域,进入步骤E;若(u,v)-(u0,v0)≤Tr即为重合,无人飞行器目标3在红外图像中心区域,运算控制系统利用主探测装置1下方的二维转台装置中的角度编码器7获取主探测装置1转动的方位角度α和俯仰角度β,进入步骤F;
其中,(u,v)为无人飞行器目标3在红外图像中的能量中心坐标,Qi为红外目标图像区域内第i像素处的能量(灰度),(xi,yi)为飞行器目标在红外图像区域内像素坐标,M为红外目标图像区域内像素点个数,Tr为所设定的无人机红外图像中心偏差阈值;
E:运算控制系统根据预设的主探测装置1的方位角度转动增量值和俯仰角度转动增量值,驱动安装在俯仰转轴5和方位转轴6上的电机转动,逐步控制主探测装置1下方的二维转台装置转动并利用主探测装置1采集红外图像,再将采集到的红外图像发送至运算控制系统,然后返回步骤D;
F:运算控制系统利用光照传感器发送的信息进行光照条件判断;当光照条件小于设定的光照阈值时,进入步骤G;当光照条件大于等于设定的光照阈值时,进入步骤H;
G:运算控制系统采用长波红外图像和短波红外图像组合方式进行检测跟踪,即运算控制系统控制主探测装置1和副探测装置2中的短波红外成像探测装置实现对无人飞行器目标3的跟踪及图像采集,并将无人飞行器目标3识别结果发送至低空无人飞行器融合图像显示装置,直至主探测装置1和短波红外成像探测装置所采集到的图像中均未出现无人飞行器目标3;同时,运算控制系统还通过主探测装置1和短波红外成像探测装置的姿态信息,计算出无人飞行器目标3在空间中的实时位置信息,并将实时位置信息发送至低空无人飞行器飞行状态显示装置;
G1:运算控制系统根据主探测装置1采集到的包含无人飞行器目标3的红外图像,依据主探测装置1的姿态信息,计算出短波红外成像探测装置下方二维转台装置粗略的转动角度,并根据计算出来的二维转台装置转动角度控制短波红外成像探测装置探测并跟踪无人飞行器目标3,进行无人飞行器目标图像采集,然后进入步骤G2;同时,主探测装置1实时同步采集无人飞行器目标3的图像并发送至运算控制系统;
步骤G1中,短波红外成像探测装置下方二维转台装置粗略的转动角度计算方法如下:
短波红外成像探测装置下方二维转台装置转动角度包括短波红外成像探测装置方位角度θ0和俯仰角度
|γ|<δtr;
其中,α为主探测装置1转动的方位角度,β为主探测装置1转动的俯仰角度,δtr为设定的角度阈值,γ为小于δtr的一个角度增量值;本发明在实施过程中,主探测装置1的方位转轴6到短波红外成像探测装置的方位转轴6的距离远小于无人机的飞行高度;
G2:短波红外成像探测装置将采集到的无人飞行器目标图像发送至运算控制系统;然后进入步骤G3;
G3:运算控制系统根据短波红外成像探测装置采集到的无人飞行器目标图像,判断无人飞行器目标图像中是否存在无人飞行器目标3,并将无人飞行器目标3识别结果发送至低空无人飞行器融合图像显示装置,若存在,则进入步骤G4;如不存在,则进入步骤G5:
步骤G3中,运算控制系统根据短波红外成像探测装置采集到的无人飞行器目标图像,提取目标图像特征,用预先构建的无人飞行器目标分类器,进行目标特征分类;依据特征分类结果、待识别目标特性和先验知识,采用模板匹配法和神经网络方法,与预先建立的无人飞行器数据库进行比较,完成识别;并将识别搜索结果进行决策融合,判断无人飞行器目标图像中是否存在无人飞行器目标3。
运算控制系统根据采集到的无人飞行器图像,找到无人飞行器目标区域,提取无人飞行器目标3多个局部几何形状特征、轮廓特征以及灰度梯度特征,将无人飞行器目标图像的灰度值、梯度模值以及梯度方向三种特征归一化并且放置于三个通道内,将单通道的灰度图像转化为三通道的多特征图像,并将此特征添加到无人飞行器目标特征库;
运算控制系统再采用基于多特征和无人飞行器目标3模型的图像配准算法,将不同谱段内相应的多特征目标图像通过多尺度多分辨率分析和几何拓扑方法进行图像融合,构建目标的多谱红外图像融合算法生成包含光谱特征、纹理特征、形状特征和空间关系特征的无人飞行器目标3融合图像;
G4:运算控制系统根据短波红外成像探测装置采集到的无人飞行器目标图像,判断无人飞行器目标3是否在红外图像中心区域,即无人飞行器目标3在红外图像中的能量中心与红外图像中心(u0,v0)是否重合,若(u,v)-(u0,v0)>Tr即为不重合,无人飞行器目标3不在红外图像中心区域,返回步骤G1;若(u,v)-(u0,v0)≤Tr即为重合,无人飞行器目标3在红外图像中心区域,运算控制系统利用短波红外成像探测装置下方的二维转台装置中的角度编码器7,获取短波红外成像探测装置的方位角度θ1和俯仰角度然后再依据步骤D中获得的主探测装置1转动的方位角度α和俯仰角度β,计算出无人飞行器的位置信息即在空间的位置坐标,并将实时位置信息发送至低空无人飞行器飞行状态显示装置,然后进入步骤G5:
步骤G4中,无人飞行器在空间的位置坐标的计算方法如下:
其中,(x、y、z)为无人飞行器在所构建坐标框架下的空间三维坐标;坐标原点为主探测装置1旋转中心,X轴为主探测装置1与短波红外成像探测装置的中心连线在水平面的投影且指向短波红外成像探测装置,Z轴为通过坐标原点向上的垂直轴,Y轴由右手准则得到,D1为主探测装置1的方位转轴6到短波红外成像探测装置的方位转轴6的距离;ΔH1为短波红外成像探测装置的俯仰转轴5与主探测装置1的俯仰转轴5的高度差,α为主探测装置1转动的方位角度,β为主探测装置1转动的俯仰角度,θ1为短波红外成像探测装置的方位角度,为短波红外成像探测装置的俯仰角度;
G5:运算控制系统对短波红外成像探测装置采集到的无人飞行器目标图像序列进行采集,然后返回步骤G1;
本发明中,为了进一步提高无人飞行器目标3识别准确率,还特殊设计了目标分类器的特征更新方法;
步骤G5中,运算控制系统对短波红外成像探测装置采集到的无人飞行器目标图像序列进行采集后,在返回步骤G1的同时进入步骤G6;
G6:运算控制系统对采集到的由短波红外成像探测装置采集的无人飞行器目标图像序列进行多变换域多尺度图像降噪处理,然后进入步骤G9;
G7:运算控制系统对长波红外成像探测装置采集到的无人飞行器目标图像序列进行采集,然后进入步骤G8;
G8:运算控制系统对采集到的由长波红外成像探测装置采集的无人飞行器目标图像序列进行多变换域多尺度图像降噪处理,然后进入步骤G9;
G9:运算控制系统对G6和G8中经处理的图像进行多变换域多尺度图像分解,重新提取无人飞行器目标3多个局部几何形状特征、轮廓特征以及灰度梯度特征,计算出无人飞行器目标图像的灰度值、梯度模值以及梯度方向三种特征,更新无人飞行器目标图像的多特征模型;
步骤G9中,运算控制系统通过提取当前时刻无人飞行器目标3多个局部几何形状特征、轮廓特征以及灰度梯度特征,计算出无人飞行器目标图像的灰度值、梯度模值以及梯度方向三种特征,更新无人飞行器目标图像的多特征模型。同时,运算控制系统还结合目标光谱不变特征与时空显著性,依据无人飞行器先验知识,建立基于光照强度的自动权重调整机制,从辅助训练数据库中找出重要的测试实例,并将这些实例迁移到源训练数据的学习中,构建目标分类器;
H:运算控制系统采用长波红外图像和可见光图像组合方式进行检测跟踪,即运算控制系统控制主探测装置1和副探测装置2中的可见光成像探测装置实现对无人飞行器目标3的跟踪及图像采集,并将无人飞行器目标3识别结果发送至低空无人飞行器融合图像显示装置,直至主探测装置1和可见光成像探测装置所采集到的图像中均未出现无人飞行器目标3;同时,运算控制系统还通过主探测装置1和可见光成像探测装置的姿态信息,计算出无人飞行器目标3在空间中的实时位置信息,并将实时位置信息发送至低空无人飞行器飞行状态显示装置;
H1:运算控制系统根据主探测装置1采集到的包含无人飞行器目标3的红外图像,依据主探测装置1的姿态信息,计算出可见光成像探测装置下方二维转台装置粗略的转动角度,并根据计算出来的二维转台装置转动角度控制可见光成像探测装置探测并跟踪无人飞行器目标3,进行无人飞行器目标图像采集,然后进入步骤H2;同时,主探测装置1实时同步采集无人飞行器目标3的图像并发送至运算控制系统;
步骤H1中,可见光成像探测装置下方二维转台装置粗略的转动角度计算方法如下:
可见光成像探测装置下方二维转台装置转动角度包括可见光成像探测装置方位角度θ0′和俯仰角度
|γ|<δtr;
其中,α为主探测装置1转动的方位角度,β为主探测装置1转动的俯仰角度,δtr为设定的角度极限值,γ为小于δtr的一个角度增量值;本发明在实施过程中,主探测装置1的方位转轴6到可见光成像探测装置的方位转轴6的距离远小于无人机的飞行高度;
H2:可见光成像探测装置将采集到的无人飞行器目标图像发送至运算控制系统;然后进入步骤H3;
H3:运算控制系统根据可见光成像探测装置采集到的无人飞行器目标图像,判断无人飞行器目标图像中是否存在无人飞行器目标3,并将无人飞行器目标3识别结果发送至低空无人飞行器融合图像显示装置,若存在,则进入步骤H4;如不存在,则进入步骤H5:
步骤H3中,运算控制系统根据短波红外成像探测装置采集到的无人飞行器目标图像,提取目标图像特征,用预先构建的无人飞行器目标分类器,进行目标特征分类;依据特征分类结果、待识别目标特性和先验知识,采用模板匹配法和神经网络方法,与预先建立的无人飞行器数据库进行比较,完成识别;并将识别搜索结果进行决策融合,判断无人飞行器目标图像中是否存在无人飞行器目标3。
运算控制系统根据采集到无人飞行器图像,找到无人飞行器目标区域,提取无人飞行器目标3多个局部几何形状特征、轮廓特征以及灰度梯度特征,将无人飞行器目标图像的灰度值、梯度模值以及梯度方向三种特征归一化并且放置于三个通道内,将单通道的灰度图像转化为三通道的多特征图像,并将此特征添加到无人飞行器目标特征库;
运算控制系统再采用基于多特征和无人飞行器目标3模型的图像配准算法,将不同谱段内相应的多特征目标图像通过多尺度多分辨率分析和几何拓扑方法进行图像融合,构建目标的多谱红外图像融合算法生成包含光谱特征、纹理特征、形状特征和空间关系特征的无人飞行器目标3融合图像;
H4:运算控制系统根据可见光成像探测装置采集到的无人飞行器目标图像,判断无人飞行器目标是否在可见光图像中心区域,即无人飞行器目标在可见光图像中的能量中心与可见光图像中心(u0,v0)是否重合,若(u,v)-(u0,v0)>Tr即为不重合,无人飞行器目标不在可见光图像中心区域,返回步骤H1;若(u,v)-(u0,v0)≤Tr即为重合,无人飞行器目标在可见光图像中心区域,运算控制系统利用可见光成像探测装置下方的二维转台装置中的角度编码器,获取可见光成像探测装置的方位角度θ2和俯仰角度然后再依据步骤D中获得的主探测装置转动的方位角度α和俯仰角度β,计算出无人飞行器的位置信息即在空间的位置坐标,并将实时位置信息发送至低空无人飞行器飞行状态显示装置,然后进入步骤H5:
步骤H4中,无人飞行器在空间的位置坐标的计算方法如下:
其中,(x、y、z)为无人飞行器在所构建坐标框架下的空间三维坐标;坐标原点为主探测装置1旋转中心,X轴为主探测装置1与可见光成像探测装置的中心连线在水平面的投影且指向可见光成像探测装置,Z轴为通过坐标原点向上的垂直轴,Y轴由右手准则得到,D2为主探测装置1的方位转轴6到可见光成像探测装置的方位转轴6的距离;ΔH2为可见光成像探测装置的俯仰转轴5与主探测装置1的俯仰转轴5的高度差,α为主探测装置1转动的方位角度,β为主探测装置1转动的俯仰角度,θ2为可见光成像探测装置的方位角度,为可见光成像探测装置的俯仰角度;
H5:运算控制系统对可见光成像探测装置采集到的无人飞行器目标图像序列进行采集,然后返回步骤H1;
本发明中,为了进一步提高无人飞行器目标3识别准确率,还特殊设计了目标分类器的特征更新方法;
步骤H5中,运算控制系统对可见光成像探测装置采集到的无人飞行器目标图像序列进行采集后,在返回步骤H1的同时进入步骤H6;
H6:运算控制系统对采集到的由可见光成像探测装置采集的无人飞行器目标图像序列进行多变换域多尺度图像降噪处理,然后进入步骤H9;
H7:运算控制系统对长波红外成像探测装置采集到的无人飞行器目标图像序列进行采集,然后进入步骤H8;
H8:运算控制系统对采集到的由长波红外成像探测装置采集的无人飞行器目标图像序列进行多变换域多尺度图像降噪处理,然后进入步骤H9;
H9:运算控制系统对H6和H8中经处理的图像进行多变换域多尺度图像分解,重新提取无人飞行器目标3多个局部几何形状特征、轮廓特征以及灰度梯度特征,计算出无人飞行器目标图像的灰度值、梯度模值以及梯度方向三种特征,更新无人飞行器目标图像的多特征模型。
步骤H9中,运算控制系统通过提取当前时刻无人飞行器目标3多个局部几何形状特征、轮廓特征以及灰度梯度特征,计算出无人飞行器目标图像的灰度值、梯度模值以及梯度方向三种特征,更新无人飞行器目标图像的多特征模型。同时,运算控制系统还结合目标光谱不变特征与时空显著性,依据无人飞行器先验知识,建立基于光照强度的自动权重调整机制,从辅助训练数据库中找出重要的测试实例,并将这些实例迁移到源训练数据的学习中,构建目标分类器。
Claims (10)
1.一种监测低空无人飞行器的多谱红外成像检测跟踪方法,其特征在于,包括以下步骤:
A:利用双目自动跟踪系统中多谱段图像采集装置的主探测装置,全天侯连续对指定范围进行扫描和探测,并将采集到的红外图像发送至运算控制系统;
B:运算控制系统接收主探测装置发送的红外图像,并判断接收到的红外图像是否存在疑似无人飞行器目标,若存在疑似无人飞行器目标,则进入步骤C;若不存在疑似无人飞行器目标,则继续接收主探测装置发送的红外图像并判断是否存在疑似无人飞行器目标;
C:运算控制系统对目标的初步识别以判定是否为无人飞行器目标;若运算控制系统判断主探测装置发送的红外图像中出现无人飞行器目标,则进入步骤D;若运算控制系统判断主探测装置发送的红外图像中未出现无人飞行器目标,则返回步骤B;
D:运算控制系统判断无人飞行器目标是否在红外图像中心区域,若无人飞行器目标不在红外图像中心区域,进入步骤E;若无人飞行器目标在红外图像中心区域,运算控制系统利用主探测装置下方的二维转台装置中的角度编码器获取主探测装置转动的方位角度和俯仰角度,进入步骤F;
E:运算控制系统根据预设的主探测装置的方位角度转动增量值和俯仰角度转动增量值,逐步控制主探测装置下方的二维转台装置转动并利用主探测装置采集红外图像,再将采集到的红外图像发送至运算控制系统,然后返回步骤D;
F:运算控制系统利用光照传感器发送的信息进行光照条件判断;当光照条件小于设定的光照阈值时,进入步骤G;当光照条件大于等于设定的光照阈值时,进入步骤H;
G:运算控制系统采用长波红外图像和短波红外图像组合方式进行检测跟踪,即运算控制系统控制主探测装置和副探测装置中的短波红外成像探测装置实现对无人飞行器目标的跟踪及图像采集,并将无人飞行器目标识别结果发送至低空无人飞行器融合图像显示装置,直至主探测装置和短波红外成像探测装置所采集到的图像中均未出现无人飞行器目标;同时,运算控制系统还通过主探测装置和短波红外成像探测装置的姿态信息,计算出无人飞行器目标在空间中的实时位置信息,并将实时位置信息发送至低空无人飞行器飞行状态显示装置;
H:运算控制系统采用长波红外图像和可见光图像组合方式进行检测跟踪,即运算控制系统控制主探测装置和副探测装置中的可见光成像探测装置实现对无人飞行器目标的跟踪及图像采集,并将无人飞行器目标识别结果发送至低空无人飞行器融合图像显示装置,直至主探测装置和可见光成像探测装置所采集到的图像中均未出现无人飞行器目标;同时,运算控制系统还通过主探测装置和可见光成像探测装置的姿态信息,计算出无人飞行器目标在空间中的实时位置信息,并将实时位置信息发送至低空无人飞行器飞行状态显示装置;
其中,双目自动跟踪系统包括多谱段图像采集装置、二维转台装置、角度编码器和驱动系统;
多谱段图像采集装置包括主探测装置和副探测装置,主探测装置包括长波红外成像探测装置;副探测装置包括短波红外成像探测装置和可见光成像探测装置;二维转台装置用于在驱动系统控制下实现主探测装置和副探测装置在垂直方向与水平方向上的转动;长波红外成像探测装置、短波红外成像探测装置和可见光成像探测装置分别设置在独立的二维转台装置上,三个二维转台装置均设置在机载平台上,且三个二维转台装置之间中心距离固定;二维转台装置包括相互垂直设置的俯仰转轴和方位转轴两个转动机构,分别用于主探测装置和副探测装置在垂直方向与水平方向上的转动;角度编码器用于采集二维转台装置中俯仰转轴和方位转轴的转动角度信号,并将采集到的角度信号发送至运算控制系统;每个二维转台装置中的俯仰转轴和方位转轴上均设置有角度编码器;驱动系统用于在运算控制系统的控制下,驱动俯仰转轴和方位转轴转动;
图像数据显示系统包括低空无人飞行器融合图像显示装置和低空无人飞行器飞行状态显示装置。
2.根据权利要求1所述的监测低空无人飞行器的多谱红外成像检测跟踪方法,其特征在于:所述的步骤B中,运算控制系统将多谱段图像采集装置中主探测装置所采集到的当前帧红外图像与前一帧无任何飞行目标的背景参考图像进行差分比较,如果比较结果大于设定的目标显著阈值,则判断所接收到的红外图像中存在疑似无人飞行器目标。
3.根据权利要求1所述的监测低空无人飞行器的多谱红外成像检测跟踪方法,其特征在于:所述的步骤C中,运算控制系统采用频域分析与空域滤波相结合的方法进行显著性检测,提取感兴趣的显著性区域;再利用基于局部连通性限制的方法消除在边缘的误检,得到最终候选检测结果,并与预置的无人飞行器特征库进行匹配,实现对目标的初步识别以判定是否为无人飞行器目标;若运算控制系统判断主探测装置发送的红外图像中出现无人飞行器目标,则进入步骤D;若运算控制系统判断主探测装置发送的红外图像中未出现无人飞行器目标,则返回步骤B。
4.根据权利要求1所述的监测低空无人飞行器的多谱红外成像检测跟踪方法,其特征在于:所述的步骤D中,运算控制系统判断无人飞行器目标是否在红外图像中心区域,即无人飞行器目标在红外图像中的能量中心 与红外图像中心(u0,v0)是否重合,若(u,v)-(u0,v0)>Tr即为不重合,无人飞行器目标不在红外图像中心区域,进入步骤E;若(u,v)-(u0,v0)≤Tr即为重合,无人飞行器目标在红外图像中心区域,运算控制系统利用主探测装置下方的二维转台装置中的角度编码器获取主探测装置转动的方位角度α和俯仰角度β,进入步骤F;
其中,(u,v)为无人飞行器目标在红外图像中的能量中心坐标,Qi为红外目标图像区域内第i像素处的能量,(xi,yi)为飞行器目标在红外图像区域内像素坐标,M为红外目标图像区域内像素点个数,Tr为所设定的无人机红外图像中心偏差阈值。
5.根据权利要求4所述的监测低空无人飞行器的多谱红外成像检测跟踪方法,其特征在于,所述的步骤G包括以下具体步骤:
G1:运算控制系统根据主探测装置采集到的包含无人飞行器目标的红外图像,依据主探测装置的姿态信息,计算出短波红外成像探测装置下方二维转台装置粗略的转动角度,并根据计算出来的二维转台装置转动角度控制短波红外成像探测装置探测并跟踪无人飞行器目标,进行无人飞行器目标图像采集,然后进入步骤G2;同时,主探测装置实时同步采集无人飞行器目标的图像并发送至运算控制系统;
短波红外成像探测装置下方二维转台装置粗略的转动角度计算方法如下:
短波红外成像探测装置下方二维转台装置转动角度包括短波红外成像探测装置方位角度θ0和俯仰角度
其中,α为主探测装置转动的方位角度,β为主探测装置转动的俯仰角度,δtr为设定的角度阈值,γ为小于δtr的一个角度增量值;
G2:短波红外成像探测装置将采集到的无人飞行器目标图像发送至运算控制系统;然后进入步骤G3;
G3:运算控制系统根据短波红外成像探测装置采集到的无人飞行器目标图像,判断无人飞行器目标图像中是否存在无人飞行器目标,并将无人飞行器目标识别结果发送至低空无人飞行器融合图像显示装置,若存在,则进入步骤G4;如不存在,则进入步骤G5:
G4:运算控制系统根据短波红外成像探测装置采集到的无人飞行器目标图像,判断无人飞行器目标是否在红外图像中心区域,即无人飞行器目标在红外图像中的能量中心与红外图像中心(u0,v0)是否重合,若(u,v)-(u0,v0)>Tr即为不重合,无人飞行器目标不在红外图像中心区域,返回步骤G1;若(u,v)-(u0,v0)≤Tr即为重合,无人飞行器目标在红外图像中心区域,运算控制系统利用短波红外成像探测装置下方的二维转台装置中的角度编码器,获取短波红外成像探测装置的方位角度θ1和俯仰角度然后再依据步骤D中获得的主探测装置转动的方位角度α和俯仰角度β,计算出无人飞行器的位置信息即在空间的位置坐标,并将实时位置信息发送至低空无人飞行器飞行状态显示装置,然后进入步骤G5:
步骤G4中,无人飞行器在空间的位置坐标的计算方法如下:
其中,(x、y、z)为无人飞行器在所构建坐标框架下的空间三维坐标;坐标原点为主探测装置旋转中心,X轴为主探测装置与短波红外成像探测装置的中心连线在水平面的投影且指向短波红外成像探测装置,Z轴为通过坐标原点向上的垂直轴,Y轴由右手准则得到,D1为主探测装置的方位转轴到短波红外成像探测装置的方位转轴的距离;ΔH1为短波红外成像探测装置的俯仰转轴与主探测装置的俯仰转轴的高度差,α为主探测装置转动的方位角度,β为主探测装置转动的俯仰角度,θ1为短波红外成像探测装置的方位角度,为短波红外成像探测装置的俯仰角度;
G5:运算控制系统对短波红外成像探测装置采集到的无人飞行器目标图像序列进行采集,然后返回步骤G1。
6.根据权利要求5所述的监测低空无人飞行器的多谱红外成像检测跟踪方法,其特征在于:所述的步骤G3中,运算控制系统根据短波红外成像探测装置采集到的无人飞行器目标图像,提取目标图像特征,用预先构建的无人飞行器目标分类器,进行目标特征分类;依据特征分类结果、待识别目标特性和先验知识,采用模板匹配法和神经网络方法,与预先建立的无人飞行器目标特征库进行比较,完成识别;并将识别搜索结果进行决策融合,判断无人飞行器目标图像中是否存在无人飞行器目标。
7.根据权利要求5所述的监测低空无人飞行器的多谱红外成像检测跟踪方法,其特征在于:所述的步骤G5中,运算控制系统对短波红外成像探测装置采集到的无人飞行器目标图像序列进行采集后,在返回步骤G1的同时进入步骤G6;
G6:运算控制系统对采集到的由短波红外成像探测装置采集的无人飞行器目标图像序列进行多变换域多尺度图像降噪处理,然后进入步骤G9;
G7:运算控制系统对长波红外成像探测装置采集到的无人飞行器目标图像序列进行采集,然后进入步骤G8;
G8:运算控制系统对采集到的由长波红外成像探测装置采集的无人飞行器目标图像序列进行多变换域多尺度图像降噪处理,然后进入步骤G9;
G9:运算控制系统对G6和G8中经处理的图像进行多变换域多尺度图像分解,重新提取无人飞行器目标多个局部几何形状特征、轮廓特征以及灰度梯度特征,计算出无人飞行器目标图像的灰度值、梯度模值以及梯度方向三种特征,更新无人飞行器目标图像的多特征模型。
8.根据权利要求4所述的监测低空无人飞行器的多谱红外成像检测跟踪方法,其特征在于,所述的步骤H包括以下具体步骤:
H1:运算控制系统根据主探测装置采集到的包含无人飞行器目标的红外图像,依据主探测装置的姿态信息,计算出可见光成像探测装置下方二维转台装置粗略的转动角度,并根据计算出来的二维转台装置转动角度控制可见光成像探测装置探测并跟踪无人飞行器目标,进行无人飞行器目标图像采集,然后进入步骤H2;同时,主探测装置实时同步采集无人飞行器目标的图像并发送至运算控制系统;
可见光成像探测装置下方二维转台装置粗略的转动角度计算方法如下:
可见光成像探测装置下方二维转台装置转动角度包括可见光成像探测装置方位角度θ0′和俯仰角度
其中,α为主探测装置转动的方位角度,β为主探测装置转动的俯仰角度,δtr为设定的角度极限值,γ为小于δtr的一个角度增量值;
H2:可见光成像探测装置将采集到的无人飞行器目标图像发送至运算控制系统;然后进入步骤H3;
H3:运算控制系统根据可见光成像探测装置采集到的无人飞行器目标图像,判断无人飞行器目标图像中是否存在无人飞行器目标,并将无人飞行器目标识别结果发送至低空无人飞行器融合图像显示装置,若存在,则进入步骤H4;如不存在,则进入步骤H5:
H4:运算控制系统根据可见光成像探测装置采集到的无人飞行器目标图像,判断无人飞行器目标是否在可见光图像中心区域,即无人飞行器目标在可见光图像中的能量中心与可见光图像中心(u0,v0)是否重合,若(u,v)-(u0,v0)>Tr即为不重合,无人飞行器目标不在可见光图像中心区域,返回步骤H1;若(u,v)-(u0,v0)≤Tr即为重合,无人飞行器目标在可见光图像中心区域,运算控制系统利用可见光成像探测装置下方的二维转台装置中的角度编码器,获取可见光成像探测装置的方位角度θ2和俯仰角度然后再依据步骤D中获得的主探测装置转动的方位角度α和俯仰角度β,计算出无人飞行器的位置信息即在空间的位置坐标,并将实时位置信息发送至低空无人飞行器飞行状态显示装置,然后进入步骤H5:
步骤H4中,无人飞行器在空间的位置坐标的计算方法如下:
其中,(x、y、z)为无人飞行器在所构建坐标框架下的空间三维坐标;坐标原点为主探测装置旋转中心,X轴为主探测装置与可见光成像探测装置的中心连线在水平面的投影且指向可见光成像探测装置,Z轴为通过坐标原点向上的垂直轴,Y轴由右手准则得到,D2为主探测装置的方位转轴到可见光成像探测装置的方位转轴的距离;ΔH2为可见光成像探测装置的俯仰转轴与主探测装置的俯仰转轴的高度差,α为主探测装置转动的方位角度,β为主探测装置转动的俯仰角度,θ2为可见光成像探测装置的方位角度,为可见光成像探测装置的俯仰角度;
H5:运算控制系统对可见光成像探测装置采集到的无人飞行器目标图像序列进行采集,然后返回步骤H1。
9.根据权利要求8所述的监测低空无人飞行器的多谱红外成像检测跟踪方法,其特征在于:所述的步骤H3中,运算控制系统根据可见光成像探测装置采集到的无人飞行器目标图像,提取目标图像特征,用预先构建的无人飞行器目标分类器,进行目标特征分类;依据特征分类结果、待识别目标特性和先验知识,采用模板匹配法和神经网络方法,与预先建立的无人飞行器目标特征库进行比较,完成识别;并将识别搜索结果进行决策融合,判断无人飞行器目标图像中是否存在无人飞行器目标。
10.根据权利要求8所述的监测低空无人飞行器的多谱红外成像检测跟踪方法,其特征在于:所述的步骤H5中,运算控制系统对可见光成像探测装置采集到的无人飞行器目标图像序列进行采集后,在返回步骤H1的同时进入步骤H6;
H6:运算控制系统对采集到的由可见光成像探测装置采集的无人飞行器目标图像序列进行多变换域多尺度图像降噪处理,然后进入步骤H9;
H7:运算控制系统对长波红外成像探测装置采集到的无人飞行器目标图像序列进行采集,然后进入步骤H8;
H8:运算控制系统对采集到的由长波红外成像探测装置采集的无人飞行器目标图像序列进行多变换域多尺度图像降噪处理,然后进入步骤H9;
H9:运算控制系统对H6和H8中经处理的图像进行多变换域多尺度图像分解,重新提取无人飞行器目标多个局部几何形状特征、轮廓特征以及灰度梯度特征,计算出无人飞行器目标图像的灰度值、梯度模值以及梯度方向三种特征,更新无人飞行器目标图像的多特征模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711320463.6A CN108037543B (zh) | 2017-12-12 | 2017-12-12 | 一种监测低空无人飞行器的多谱红外成像检测跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711320463.6A CN108037543B (zh) | 2017-12-12 | 2017-12-12 | 一种监测低空无人飞行器的多谱红外成像检测跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108037543A CN108037543A (zh) | 2018-05-15 |
CN108037543B true CN108037543B (zh) | 2019-07-26 |
Family
ID=62102057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711320463.6A Active CN108037543B (zh) | 2017-12-12 | 2017-12-12 | 一种监测低空无人飞行器的多谱红外成像检测跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108037543B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109684429B (zh) * | 2018-12-18 | 2022-06-21 | 南京云灿信息科技有限公司 | 一种基于三维数字地球的低空飞行目标识别系统及算法 |
CN109708659B (zh) * | 2018-12-25 | 2021-02-09 | 四川九洲空管科技有限责任公司 | 一种分布式智能光电低空防护系统 |
CN110245566B (zh) * | 2019-05-16 | 2021-07-13 | 西安交通大学 | 一种基于背景特征的红外目标远距离追踪方法 |
RU2746394C1 (ru) * | 2020-07-28 | 2021-04-13 | Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" (АО НПЦ "ЭЛВИС") | Система и способ детектирования беспилотных летальных аппаратов (бпла) |
RU201367U1 (ru) * | 2020-07-28 | 2020-12-11 | Акционерное общество Научно-производственный центр «Электронные вычислительно-информационные системы» (АО НПЦ «ЭЛВИС») | Система детектирования беспилотных летальных аппаратов (бпла) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101252677A (zh) * | 2007-10-19 | 2008-08-27 | 西安交通大学 | 一种基于多光谱图像传感器的目标跟踪方法 |
GB2537122A (en) * | 2015-04-07 | 2016-10-12 | James Tansley John | Automated drone package receiver module |
CN107219520A (zh) * | 2017-05-31 | 2017-09-29 | 成都新越科技有限公司 | 一种反无人机分布式组网探测方法及其装置 |
CN107392173A (zh) * | 2017-08-04 | 2017-11-24 | 成都云擎科技有限公司 | 一种基于光电搜索的反无人机系统 |
-
2017
- 2017-12-12 CN CN201711320463.6A patent/CN108037543B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101252677A (zh) * | 2007-10-19 | 2008-08-27 | 西安交通大学 | 一种基于多光谱图像传感器的目标跟踪方法 |
GB2537122A (en) * | 2015-04-07 | 2016-10-12 | James Tansley John | Automated drone package receiver module |
CN107219520A (zh) * | 2017-05-31 | 2017-09-29 | 成都新越科技有限公司 | 一种反无人机分布式组网探测方法及其装置 |
CN107392173A (zh) * | 2017-08-04 | 2017-11-24 | 成都云擎科技有限公司 | 一种基于光电搜索的反无人机系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108037543A (zh) | 2018-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108168706B (zh) | 一种监测低空无人飞行器的多谱红外成像检测跟踪系统 | |
CN108037543B (zh) | 一种监测低空无人飞行器的多谱红外成像检测跟踪方法 | |
Rudol et al. | Human body detection and geolocalization for UAV search and rescue missions using color and thermal imagery | |
CN105373135B (zh) | 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统 | |
CN105302151B (zh) | 一种飞机入坞引导和机型识别的系统及方法 | |
CN109949361A (zh) | 一种基于单目视觉定位的旋翼无人机姿态估计方法 | |
EP3347789B1 (en) | Systems and methods for detecting and tracking movable objects | |
CN115439424B (zh) | 一种无人机航拍视频图像智能检测方法 | |
CN109472831A (zh) | 面向压路机施工过程的障碍物识别测距系统及方法 | |
Sommer et al. | Flying object detection for automatic UAV recognition | |
CN106529538A (zh) | 一种飞行器的定位方法和装置 | |
CN104125372B (zh) | 一种目标光电搜索探测方法 | |
EP2659668A1 (en) | Calibration device and method for use in a surveillance system for event detection | |
Freitas et al. | Hyperspectral imaging for real-time unmanned aerial vehicle maritime target detection | |
KR20060013640A (ko) | 항공 화상의 자동 처리 | |
CN106295695B (zh) | 一种飞机起降过程自动追踪拍摄方法及装置 | |
CN113066050B (zh) | 一种基于视觉的空投货台航向姿态解算方法 | |
CN110443247A (zh) | 一种无人机地面运动小目标实时检测系统及方法 | |
Beauvisage et al. | Multi-spectral visual odometry for unmanned air vehicles | |
CN105447431B (zh) | 一种基于机器视觉的入坞飞机跟踪定位方法及系统 | |
Mundy et al. | The evolution and testing of a model-based object recognition system | |
CN112613568B (zh) | 基于可见光及红外多光谱图像序列的目标识别方法和装置 | |
CN110211159A (zh) | 一种基于图像视频处理技术的飞机位置检测系统及方法 | |
CN110287957B (zh) | 一种低慢小目标的定位方法及定位装置 | |
CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |