CN108168706A - 一种监测低空无人飞行器的多谱红外成像检测跟踪系统 - Google Patents

一种监测低空无人飞行器的多谱红外成像检测跟踪系统 Download PDF

Info

Publication number
CN108168706A
CN108168706A CN201711322084.0A CN201711322084A CN108168706A CN 108168706 A CN108168706 A CN 108168706A CN 201711322084 A CN201711322084 A CN 201711322084A CN 108168706 A CN108168706 A CN 108168706A
Authority
CN
China
Prior art keywords
unmanned vehicle
image
detection device
control system
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711322084.0A
Other languages
English (en)
Other versions
CN108168706B (zh
Inventor
闫勇刚
张登攀
代军
王耿
黄俊杰
绳飘
邓小玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN201711322084.0A priority Critical patent/CN108168706B/zh
Publication of CN108168706A publication Critical patent/CN108168706A/zh
Application granted granted Critical
Publication of CN108168706B publication Critical patent/CN108168706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种监测低空无人飞行器的多谱红外成像检测跟踪系统,包括双目自动跟踪系统、运算控制系统和图像数据显示系统,双目自动跟踪系统包括多谱段图像采集装置、二维转台装置、角度编码器和驱动系统;多谱段图像采集装置包括主探测装置和副探测装置,二维转台装置包括相互垂直设置的俯仰转轴和方位转轴两个转动机构;运算控制系统用跟踪无人飞行器并进行目标图像采集;图像数据显示系统包括低空无人飞行器融合图像显示装置和低空无人飞行器飞行状态显示装置。本发明能够满足不同情况下对不同传感器成像的需求差别,实现对低空无人飞行器的高精度探测,并通过坐标计算,获取低空无人飞行器的飞行状态参数以及实时跟踪。

Description

一种监测低空无人飞行器的多谱红外成像检测跟踪系统
技术领域
本发明涉及无人飞行器技术领域,尤其涉及一种监测低空无人飞行器的多谱红外成像 检测跟踪系统。
背景技术
随着消费级无人飞行器概念的兴起,无人飞行器技术蓬勃发展,现已从军事领域拓展 到民用领域。从物流快递、航拍摄影到高速互联网接入服务都有无人飞行器的身影。这类 无人飞行器在拥有合法用途的同时,也存在滥用的可能性。它们可携带相机、炸药、有毒 化学物质等,既可能对航班、重要民用设施等构成威胁,也可能用于恐怖袭击、间谍行为和走私活动。和军方无人飞行器相比,民用无人飞行器正朝着小型化、轻型化的方向演变,使得它们很难被侦测,特别是在低照度环境下更是难以探测。目前,常用的无人飞行器检测系统主要有雷达系统、单谱段红外系统和可见光系统。对于低速弱小目标而言,雷达系统受地物杂波干扰大,探测难度大,识别率低,难以配备于机器人本体上;可见光成像系 统检测能力则严重受限于天气、光照等,不能满足“黑飞”检测需求;单波段红外传感器 难以获取目标的细节、纹理、结构等多种特征信息,导致目标极易被噪声所淹没,检测率 和识别率低,且在跟踪过程中难以准确地检测出实时的位置、轨迹、速度等状态。
发明内容
本发明的目的是提供一种监测低空无人飞行器的多谱红外成像检测跟踪系统,能够满 足不同情况下对不同传感器成像的需求差别,能够实现对低空无人飞行器的高精度探测, 并通过坐标计算,获取低空无人飞行器的飞行状态参数以及实时跟踪。
本发明采用下述技术方案:
一种监测低空无人飞行器的多谱红外成像检测跟踪系统,包括双目自动跟踪系统、运 算控制系统和图像数据显示系统,其中,
所述的双目自动跟踪系统,包括多谱段图像采集装置、二维转台装置、角度编码器和 驱动系统;
多谱段图像采集装置包括主探测装置和副探测装置,主探测装置用于全天侯连续对指 定范围进行扫描和探测,将采集到红外图像发送至运算控制系统;副探测装置用于在运算 控制系统的控制下对准并跟踪无人飞行器目标进行连续的图像采集;
二维转台装置用于在驱动系统控制下实现主探测装置和副探测装置在垂直方向与水平 方向上的转动,实现对主探测装置和副探测装置的姿态调整;二维转台装置包括相互垂直 设置的俯仰转轴和方位转轴两个转动机构;
角度编码器用于采集二维转台装置中俯仰转轴和方位转轴的转动角度信号,并将采集 到的角度信号发送至运算控制系统;每个二维转台装置中的俯仰转轴和方位转轴上均设置 有角度编码器;
驱动系统用于在运算控制系统的控制下,驱动俯仰转轴和方位转轴转动;
所述的运算控制系统,用于接收多谱段图像采集装置中主探测装置所采集到的红外图 像,并判断接收到的红外图像是否存在疑似无人飞行器目标,若判断接收到的红外图像存 在疑似无人飞行器目标,则从红外图像中提取出无人飞行器目标的图像特征进行初步识别, 然后根据无人飞行器目标在红外图像中的坐标及主探测装置的姿态信息计算出无人飞行 器目标位置,并计算出副探测装置转动角度,然后依据计算出副探测装置转动角度控制副 探测装置对准并跟踪无人飞行器进行目标图像采集,获得当前时刻无人飞行器目标的多谱 段图像,并从多谱段图像中提取出无人飞行器目标的图像特征进行识别,然后将无人飞行 器目标识别结果发送图像数据显示系统;若识别结果为无人飞行器目标,则继续跟踪无人 飞行器并进行目标图像采集;同时,运算控制系统还将无人飞行器目标在空间中的实时位 置、速度以及加速度信息发送至图像数据显示系统;
所述的图像数据显示系统包括低空无人飞行器融合图像显示装置和低空无人飞行器 飞行状态显示装置;
低空无人飞行器融合图像显示装置,用于显示无人飞行器融合图像;
低空无人飞行器飞行状态显示装置,用于显示无人飞行器的飞行状态参数。
所述的运算控制系统在进行疑似无人飞行器目标的判断时,将多谱段图像采集装置中 主探测装置所采集到的当前帧红外图像与前一帧无任何飞行目标的背景参考图像进行差 分比较,如果比较结果大于设定的目标显著阈值,则判断所接收到的红外图像中存在疑似 无人飞行器目标。
所述的运算控制系统在进行无人飞行器目标的图像特征初步识别时,采用频域分析与 空域滤波相结合的方法进行显著性检测,提取感兴趣的显著性区域;再利用基于局部连通 性限制的方法消除在边缘的误检,得到最终候选检测结果,并与预置的无人飞行器特征库 进行匹配,实现对目标的初步识别以判定是否为无人飞行器目标。
所述的运算控制系统在进行多谱段无人飞行器目标图像中疑似无人飞行器目标是否 为无人飞行器的判断时,根据副探测装置采集到的无人飞行器目标图像,提取目标图像特 征,用预先构建的无人飞行器目标分类器,进行目标特征分类;依据特征分类结果、待识 别目标特性和先验知识,采用模板匹配法和神经网络方法,与预先建立的无人飞行器数据 库进行比较,完成识别;并将识别搜索结果进行决策融合,判断无人飞行器目标图像中是 否存在无人飞行器目标。
所述的主探测装置包括长波红外成像探测装置,副探测装置包括短波红外成像探测装 置和可见光成像探测装置;长波红外成像探测装置、短波红外成像探测装置和可见光成像 探测装置分别设置在独立的二维转台装置上,三个二维转台装置均设置在机载平台上,且 三个二维转台装置之间中心距离固定。
所述的运算控制系统在进行低空无人飞行器检测跟踪时,按照以下步骤进行监测:
A:运算控制系统控制双目自动跟踪系统中多谱段图像采集装置的主探测装置,全天 侯连续对指定范围进行扫描和探测,并将采集到的红外图像发送至运算控制系统;
B:运算控制系统接收主探测装置发送的红外图像,并判断接收到的红外图像是否存 在疑似无人飞行器目标,若存在疑似无人飞行器目标,则进入步骤C;若不存在疑似无人飞行器目标,则继续接收主探测装置发送的红外图像并判断是否存在疑似无人飞行器目标;
C:运算控制系统对目标的初步识别以判定是否为无人飞行器目标;若运算控制系统 判断主探测装置发送的红外图像中出现无人飞行器目标,则进入步骤D;若运算控制系统 判断主探测装置发送的红外图像中未出现无人飞行器目标,则返回步骤B;
D:运算控制系统判断无人飞行器目标是否在红外图像中心区域,若无人飞行器目标 不在红外图像中心区域,进入步骤E;若无人飞行器目标在红外图像中心区域,运算控制系统利用主探测装置下方的二维转台装置中的角度编码器获取主探测装置转动的方位角度和俯仰角度,进入步骤F;
E:运算控制系统根据预设的主探测装置的方位角度转动增量值和俯仰角度转动增量 值,逐步控制主探测装置下方的二维转台装置转动并利用主探测装置采集红外图像,再将 采集到的红外图像发送至运算控制系统,然后返回步骤D;
F:运算控制系统利用光照传感器发送的信息进行光照条件判断;当光照条件小于设 定的光照阈值时,进入步骤G;当光照条件大于等于设定的光照阈值时,进入步骤H;
G:运算控制系统采用长波红外图像和短波红外图像组合方式进行检测跟踪,即运算 控制系统控制主探测装置和副探测装置中的短波红外成像探测装置实现对无人飞行器目 标的跟踪及图像采集,并将无人飞行器目标识别结果发送至低空无人飞行器融合图像显示 装置,直至主探测装置和短波红外成像探测装置所采集到的图像中均未出现无人飞行器目 标;同时,运算控制系统还通过主探测装置和短波红外成像探测装置的姿态信息,计算出 无人飞行器目标在空间中的实时位置信息,并将实时位置信息发送至低空无人飞行器飞行 状态显示装置;
H:运算控制系统采用长波红外图像和可见光图像组合方式进行检测跟踪,即运算控 制系统控制主探测装置和副探测装置中的可见光成像探测装置实现对无人飞行器目标的 跟踪及图像采集,并将无人飞行器目标识别结果发送至低空无人飞行器融合图像显示装置, 直至主探测装置和可见光成像探测装置所采集到的图像中均未出现无人飞行器目标;同时, 运算控制系统还通过主探测装置和可见光成像探测装置的姿态信息,计算出无人飞行器目 标在空间中的实时位置信息,并将实时位置信息发送至低空无人飞行器飞行状态显示装置。
所述的运算控制系统在步骤C中,运算控制系统采用频域分析与空域滤波相结合的方 法进行显著性检测,提取感兴趣的显著性区域;再利用基于局部连通性限制的方法消除在 边缘的误检,得到最终候选检测结果,并与预置的无人飞行器特征库进行匹配,实现对目 标的初步识别以判定是否为无人飞行器目标;若运算控制系统判断主探测装置发送的红外 图像中出现无人飞行器目标,则进入步骤D;若运算控制系统判断主探测装置发送的红外 图像中未出现无人飞行器目标,则返回步骤B。
所述的运算控制系统在步骤D中,运算控制系统判断无人飞行器目标是否在红外图像 中心区域,即无人飞行器目标在红外图像中的能量中心与红外图像中 心(u0,v0)是否重合,若(u,v)-(u0,v0)>Tr即为不重合,无人飞行器目标不在红外图像中 心区域,进入步骤E;若(u,v)-(u0,v0)≤Tr即为重合,无人飞行器目标在红外图像中心区 域,运算控制系统利用主探测装置下方的二维转台装置中的角度编码器获取主探测装置转 动的方位角度α和俯仰角度β,进入步骤F;
其中,(u,v)为无人飞行器目标在红外图像中的能量中心坐标,Qi为红外目标图像区 域内第i像素处的能量,(xi,yi)为飞行器目标在红外图像区域内像素坐标,M为红外目标图像区域内像素点个数,Tr为所设定的无人机红外图像中心偏差阈值。
所述的运算控制系统在步骤G中执行以下步骤:
G1:运算控制系统根据主探测装置采集到的包含无人飞行器目标的红外图像,依据主 探测装置的姿态信息,计算出短波红外成像探测装置下方二维转台装置粗略的转动角度, 并根据计算出来的二维转台装置转动角度控制短波红外成像探测装置探测并跟踪无人飞 行器目标,进行无人飞行器目标图像采集,然后进入步骤G2;同时,运算控制系统主探测 装置实时同步采集无人飞行器目标的图像并发送至运算控制系统;
短波红外成像探测装置下方二维转台装置粗略的转动角度计算方法如下:
短波红外成像探测装置下方二维转台装置转动角度包括短波红外成像探测装置方位 角度θ0和俯仰角度
|γ|<δtr
其中,α为主探测装置转动的方位角度,β为主探测装置转动的俯仰角度,δtr为设定的角度阈值,γ为小于δtr的一个角度增量值;
G2:短波红外成像探测装置将采集到的无人飞行器目标图像发送至运算控制系统;然 后进入步骤G3;
G3:运算控制系统根据短波红外成像探测装置采集到的无人飞行器目标图像,判断无 人飞行器目标图像中是否存在无人飞行器目标,并将无人飞行器目标识别结果发送至低空 无人飞行器融合图像显示装置,若存在,则进入步骤G4;如不存在,则进入步骤G5:
G4:运算控制系统根据短波红外成像探测装置采集到的无人飞行器目标图像,判断无 人飞行器目标是否在红外图像中心区域,即无人飞行器目标在红外图像中的能量中心 与红外图像中心(u0,v0)是否重合,若(u,v)-(u0,v0)>Tr即为不重合, 无人飞行器目标不在红外图像中心区域,返回步骤G1;若(u,v)-(u0,v0)≤Tr即为重合,无 人飞行器目标在红外图像中心区域,运算控制系统利用短波红外成像探测装置下方的二维 转台装置中的角度编码器,获取短波红外成像探测装置的方位角度θ1和俯仰角度然后 再依据步骤D中获得的主探测装置转动的方位角度α和俯仰角度β,计算出无人飞行器的位置信息即在空间的位置坐标,并将实时位置信息发送至低空无人飞行器飞行状态显示装置,然后进入步骤G5:
步骤G4中,无人飞行器在空间的位置坐标的计算方法如下:
其中,(x、y、z)为无人飞行器在所构建坐标框架下的空间三维坐标;坐标原点为主探测装置旋转中心,X轴为主探测装置与短波红外成像探测装置的中心连线在水平面的投影且指向短波红外成像探测装置,Z轴为通过坐标原点向上的垂直轴,Y轴由右手准则得到,D1为主探测装置的方位转轴到短波红外成像探测装置的方位转轴的距离;ΔH1为短波红外成像探测装置的俯仰转轴与主探测装置的俯仰转轴的高度差,α为主探测装置转动的方位角度,β为主探测装置转动的俯仰角度,θ1为短波红外成像探测装置的方位角度,为短波红外成像探测装置的俯仰角度;
G5:运算控制系统对短波红外成像探测装置采集到的无人飞行器目标图像序列进行采 集,然后返回步骤G1,同时进入步骤G6;
G6:运算控制系统对采集到的由短波红外成像探测装置采集的无人飞行器目标图像序 列进行多变换域多尺度图像降噪处理,然后进入步骤G9;
G7:运算控制系统对长波红外成像探测装置采集到的无人飞行器目标图像序列进行采 集,然后进入步骤G8;
G8:运算控制系统对采集到的由长波红外成像探测装置采集的无人飞行器目标图像序 列进行多变换域多尺度图像降噪处理,然后进入步骤G9;
G9:运算控制系统对G6和G8中经处理的图像进行多变换域多尺度图像分解,重新提 取无人飞行器目标多个局部几何形状特征、轮廓特征以及灰度梯度特征,计算出无人飞行 器目标图像的灰度值、梯度模值以及梯度方向三种特征,更新无人飞行器目标图像的多特 征模型。
所述的运算控制系统在步骤H中执行以下步骤:
H1:运算控制系统根据主探测装置采集到的包含无人飞行器目标的红外图像,依据主 探测装置的姿态信息,计算出可见光成像探测装置下方二维转台装置粗略的转动角度,并 根据计算出来的二维转台装置转动角度控制可见光成像探测装置探测并跟踪无人飞行器 目标,进行无人飞行器目标图像采集,然后进入步骤G2;同时,运算控制系统主探测装置 实时同步采集无人飞行器目标的图像并发送至运算控制系统;
可见光成像探测装置下方二维转台装置粗略的转动角度计算方法如下:
可见光成像探测装置下方二维转台装置转动角度包括可见光成像探测装置方位角度 θ0′和俯仰角度
其中,α为主探测装置转动的方位角度,β为主探测装置转动的俯仰角度,δtr为设定的角度极限值,γ为小于δtr的一个角度增量值;
H2:可见光成像探测装置将采集到的无人飞行器目标图像发送至运算控制系统;然后 进入步骤H3;
H3:运算控制系统根据可见光成像探测装置采集到的无人飞行器目标图像,判断无人 飞行器目标图像中是否存在无人飞行器目标,并将无人飞行器目标识别结果发送至低空无 人飞行器融合图像显示装置,若存在,则进入步骤H4;如不存在,则进入步骤H5:
H4:运算控制系统根据可见光成像探测装置采集到的无人飞行器目标图像,判断无人 飞行器目标是否在红外图像中心区域,即无人飞行器目标在红外图像中的能量中心与红外图像中心(u0,v0)是否重合,若(u,v)-(u0,v0)>Tr即为不重合,无人飞行器目标不在红外图像中心区域,返回步骤H1;若(u,v)-(u0,v0)≤Tr即为重合,无人飞行器目标在红外图像中心区域,运算控制系统利用可见光成像探测装置下方的二维转台装置中的角度编码器,获取可见光成像探测装置的方位角度θ2和俯仰角度然后再依据步骤D中获得的主探测装置转动的方位角度α和俯仰角度β,计算出无人飞行器的位 置信息即在空间的位置坐标,并将实时位置信息发送至低空无人飞行器飞行状态显示装置, 然后进入步骤H5:
步骤H4中,无人飞行器在空间的位置坐标的计算方法如下:
其中,(x、y、z)为无人飞行器在所构建坐标框架下的空间三维坐标;坐标原点为主探测装置旋转中心,X轴为主探测装置与可见光成像探测装置的中心连线在水平面的投影且指向可见光成像探测装置,Z轴为通过坐标原点向上的垂直轴,Y轴由右手准则得到, D2为主探测装置的方位转轴到可见光成像探测装置的方位转轴的距离;ΔH2为可见光成像探测装置的俯仰转轴与主探测装置的俯仰转轴的高度差,α为主探测装置转动的方位角度,β为主探测装置转动的俯仰角度,θ2为可见光成像探测装置的方位角度,为可见光成 像探测装置的俯仰角度;
H5:运算控制系统对可见光成像探测装置采集到的无人飞行器目标图像序列进行采集, 然后返回步骤H1,同时进入步骤H6;
H6:运算控制系统对采集到的由可见光成像探测装置采集的无人飞行器目标图像序列 进行多变换域多尺度图像降噪处理,然后进入步骤H9;
H7:运算控制系统对长波红外成像探测装置采集到的无人飞行器目标图像序列进行采 集,然后进入步骤H8;
H8:运算控制系统对采集到的由长波红外成像探测装置采集的无人飞行器目标图像序 列进行多变换域多尺度图像降噪处理,然后进入步骤H9;
H9:运算控制系统对H6和H8中经处理的图像进行多变换域多尺度图像分解,重新提 取无人飞行器目标多个局部几何形状特征、轮廓特征以及灰度梯度特征,计算出无人飞行 器目标图像的灰度值、梯度模值以及梯度方向三种特征,更新无人飞行器目标图像的多特 征模型。
本发明能够充分利用不同谱段成像传感器的优势,在各种光照条件下实现对低空无人 飞行器的检测与实时跟踪,并获取低空无人飞行器的飞行状态参数。本发明依次通过基于 主探测装置采集图像进行差分比较的疑似无人飞行器目标确认、基于主探测装置采集图像 进行无人飞行器特征库匹配的无人飞行器目标初步识别与基于副探测装置采集图像进行 无人飞行器特征库匹配的无人飞行器目标识别,实现无人飞行器目标图像中是否存在无人 飞行器目标的确定,并生产包含光谱特征、纹理特征、形状特征和空间关系特征的无人飞 行器目标融合图像。本发明还能基于当前时刻无人飞行器目标多个局部几何形状特征、轮 廓特征以及灰度梯度特征,更新无人飞行器目标图像的多特征模型,以进一步无人飞行器 目标识别准确率。
附图说明
图1为本发明中的监测低空无人飞行器的多谱红外成像检测跟踪系统的原理示意图。
具体实施方式
以下结合附图和实施例对本发明作以详细的描述:
如图1所示,本发明所述的监测低空无人飞行器的多谱红外成像检测跟踪系统,包括 双目自动跟踪系统、运算控制系统和图像数据显示系统,其中:
所述的双目自动跟踪系统,包括多谱段图像采集装置、二维转台装置、角度编码器7 和驱动系统,其中:
多谱段图像采集装置包括主探测装置1和副探测装置2,主探测装置1用于全天侯连 续对指定范围进行扫描和探测,将采集到红外图像发送至运算控制系统;副探测装置2用 于在运算控制系统的控制下对准并跟踪无人飞行器目标3进行连续的图像采集;
本发明中,为了充分利用不同谱段成像传感器的优势,主探测装置1包括长波红外成 像探测装置,副探测装置2包括短波红外成像探测装置和可见光成像探测装置。在光照条 件充足的情况下,采用长波红外成像和可见光成像的组合探测模式;在低照度或恶劣天气 的情况下,采用长波红外成像和短波红外成像的组合探测模式。
如图1所示,二维转台装置用于在驱动系统控制下实现主探测装置1和副探测装置2 在垂直方向与水平方向上的转动,实现对主探测装置1和副探测装置2的姿态调整;
本发明中,长波红外成像探测装置、短波红外成像探测装置和可见光成像探测装置分 别设置在独立的二维转台装置上,三个二维转台装置均设置在机载平台4上,且三个二维 转台装置之间中心距离固定。二维转台装置包括相互垂直设置的俯仰转轴5和方位转轴6 两个转动机构,分别用于主探测装置1和副探测装置2在垂直方向与水平方向上的转动;
角度编码器7用于采集二维转台装置中俯仰转轴5和方位转轴6的转动角度信号,并 将采集到的角度信号发送至运算控制系统;每个二维转台装置中的俯仰转轴5和方位转轴 6上均设置有角度编码器7;
驱动系统用于在运算控制系统的控制下,驱动俯仰转轴5和方位转轴6转动,驱动装 置采用电机。
所述的运算控制系统,用于接收多谱段图像采集装置中主探测装置1所采集到的红外 图像,并判断接收到的红外图像是否存在疑似无人飞行器目标3,若判断接收到的红外图 像存在疑似无人飞行器目标3,则从红外图像中提取出无人飞行器目标3的图像特征进行 初步识别,然后根据无人飞行器目标3在红外图像中的坐标及主探测装置1的姿态信息计 算出无人飞行器目标3位置,并计算出副探测装置2转动角度,然后依据计算出副探测装 置2转动角度控制副探测装置2对准并跟踪无人飞行器进行目标图像采集,获得当前时刻 无人飞行器目标3的多谱段图像,并从多谱段图像中提取出无人飞行器目标3的图像特征 进行识别,然后将无人飞行器目标3识别结果发送图像数据显示系统;若识别结果为无人 飞行器目标3,则继续跟踪无人飞行器并进行目标图像采集;同时,运算控制系统还将无人飞行器目标3在空间中的实时位置、速度以及加速度信息发送至图像数据显示系统。本发明中,运算控制系统采用具有数据计算处理能力的处理系统。
本发明中,疑似无人飞行器目标3的判断方法可采用如下方法:
运算控制系统将多谱段图像采集装置中主探测装置1所采集到的当前帧红外图像与前 一帧无任何飞行目标的背景参考图像进行差分比较,如果比较结果大于设定的目标显著阈 值,则判断所接收到的红外图像中存在疑似无人飞行器目标3。
无人飞行器目标3的图像特征进行初步识别的方法如下:
运算控制系统采用频域分析与空域滤波相结合的方法进行显著性检测,提取感兴趣的 显著性区域;再利用基于局部连通性限制的方法消除在边缘的误检,得到最终候选检测结 果,并与预置的无人飞行器特征库进行匹配,实现对目标的初步识别以判定是否为无人飞 行器目标3。
副探测装置2所采集的多谱段无人飞行器目标图像中疑似无人飞行器目标3是否为无 人飞行器的判断方法如下:
运算控制系统根据副探测装置2采集到的无人飞行器目标图像,提取目标图像特征, 用预先构建的无人飞行器目标分类器,进行目标特征分类;依据特征分类结果、待识别目 标特性和先验知识,采用模板匹配法和神经网络方法,与预先建立的无人飞行器数据库进 行比较,完成识别;并将识别搜索结果进行决策融合,判断无人飞行器目标图像中是否存 在无人飞行器目标3。
本发明中,运算控制系统还根据采集到的不同谱段的无人飞行器图像,找到无人飞行 器目标区域,提取目标多个局部几何形状特征、轮廓特征以及灰度梯度特征,将无人飞行 器目标图像的灰度值、梯度模值以及梯度方向三种特征归一化并且放置于三个通道内,由 此将单通道的灰度图像转化为三通道的多特征图像,并将此特征添加到无人飞行器目标特 征库,以此建立无人飞行器目标特征库。
运算控制系统还采用基于多特征和无人飞行器目标3模型的图像配准算法,将不同谱 段内相应的多特征目标图像通过多尺度多分辨率分析和几何拓扑方法进行图像融合,构建 目标的多谱红外图像融合算法生成包含光谱特征、纹理特征、形状特征和空间关系特征的 无人飞行器目标3融合图像,并发送至低空无人飞行器融合图像显示装置,以实现飞行器 目标识别结果的显示。
为了进一步提高无人飞行器目标3识别准确率,本发明中,运算控制系统还结合目标 光谱不变特征与时空显著性,依据无人飞行器先验知识,建立基于光照强度的自动权重调 整机制,从辅助训练数据库中找出重要的测试实例,并将这些实例迁移到源训练数据的学 习中,构建目标分类器;运算控制系统通过提取当前时刻无人飞行器目标3多个局部几何 形状特征、轮廓特征以及灰度梯度特征,计算出无人飞行器目标图像的灰度值、梯度模值 以及梯度方向三种特征,更新无人飞行器目标图像的多特征模型。
所述图像数据显示系统包括低空无人飞行器融合图像显示装置和低空无人飞行器飞 行状态显示装置。图像数据显示系统可选用显示器。
低空无人飞行器融合图像显示装置,用于显示无人飞行器融合图像即无人飞行器目标 3识别结果,便于人工对低空无人飞行器进行分析和判断;
低空无人飞行器飞行状态显示装置,用于显示无人飞行器的飞行状态参数,飞行状态 参数包括飞行坐标、速度以及加速度;
本发明中,红外图像采集装置和可见光图像采集装置输出的视频图像帧同步输出,并 根据分辨率对视场角范围内低空无人飞行器目标图像进行去噪、多特征提取、配准和融合, 使低空无人飞行器图像场景区域相同。配准图像区域选择以无人飞行器图像为中心的区域, 并依据图像融合方法进行图像融合,以保证并提高无人飞行器目标3识别准确率。
本发明所述的监测低空无人飞行器的多谱红外成像检测跟踪系统,在执行对低空无人 飞行器的多谱红外成像检测跟踪时,运算控制系统按照以下步骤及判断处理方法进行:
A:利用双目自动跟踪系统中多谱段图像采集装置的主探测装置1,全天侯连续对指定 范围进行扫描和探测,并将采集到的红外图像发送至运算控制系统;
B:运算控制系统接收主探测装置1发送的红外图像,并判断接收到的红外图像是否 存在疑似无人飞行器目标3,若存在疑似无人飞行器目标3,则进入步骤C;若不存在疑似无人飞行器目标3,则继续接收主探测装置1发送的红外图像并判断是否存在疑似无人飞行器目标3;
本实施例中,运算控制系统将多谱段图像采集装置中主探测装置1所采集到的当前帧 红外图像与前一帧无任何飞行目标的背景参考图像进行差分比较,如果比较结果大于设定 的目标显著阈值,则判断所接收到的红外图像中存在疑似无人飞行器目标3。
C:运算控制系统采用频域分析与空域滤波相结合的方法进行显著性检测,提取感兴 趣的显著性区域;再利用基于局部连通性限制的方法消除在边缘的误检,得到最终候选检 测结果,并与预置的无人飞行器特征库进行匹配,实现对目标的初步识别以判定是否为无 人飞行器目标3;若运算控制系统判断主探测装置1发送的红外图像中出现无人飞行器目 标3,则进入步骤D;若运算控制系统判断主探测装置1发送的红外图像中未出现无人飞行器目标3,则返回步骤B;
D:运算控制系统判断无人飞行器目标3是否在红外图像中心区域,即无人飞行器目 标3在红外图像中的能量中心与红外图像中心(u0,v0)是否重合,若(u,v)-(u0,v0)>Tr即为不重合,无人飞行器目标3不在红外图像中心区域,进入步骤E; 若(u,v)-(u0,v0)≤Tr即为重合,无人飞行器目标3在红外图像中心区域,运算控制系统利 用主探测装置1下方的二维转台装置中的角度编码器7获取主探测装置1转动的方位角度 α和俯仰角度β,进入步骤F;
其中,(u,v)为无人飞行器目标3在红外图像中的能量中心坐标,Qi为红外目标图像 区域内第i像素处的能量(灰度),(xi,yi)为飞行器目标在红外图像区域内像素坐标,M为红外目标图像区域内像素点个数,Tr为所设定的无人机红外图像中心偏差阈值;
E:运算控制系统根据预设的主探测装置1的方位角度转动增量值和俯仰角度转动增 量值,驱动安装在俯仰转轴5和方位转轴6上的电机转动,逐步控制主探测装置1下方的二维转台装置转动并利用主探测装置1采集红外图像,再将采集到的红外图像发送至运算控制系统,然后返回步骤D;
F:运算控制系统利用光照传感器发送的信息进行光照条件判断;当光照条件小于设 定的光照阈值时,进入步骤G;当光照条件大于等于设定的光照阈值时,进入步骤H;
G:运算控制系统采用长波红外图像和短波红外图像组合方式进行检测跟踪,即运算 控制系统控制主探测装置1和副探测装置2中的短波红外成像探测装置实现对无人飞行器 目标3的跟踪及图像采集,并将无人飞行器目标3识别结果发送至低空无人飞行器融合图 像显示装置,直至主探测装置1和短波红外成像探测装置所采集到的图像中均未出现无人 飞行器目标3;同时,运算控制系统还通过主探测装置1和短波红外成像探测装置的姿态信息,计算出无人飞行器目标3在空间中的实时位置信息,并将实时位置信息发送至低空无人飞行器飞行状态显示装置;
G1:运算控制系统根据主探测装置1采集到的包含无人飞行器目标3的红外图像,依 据主探测装置1的姿态信息,计算出短波红外成像探测装置下方二维转台装置粗略的转动 角度,并根据计算出来的二维转台装置转动角度控制短波红外成像探测装置探测并跟踪无 人飞行器目标3,进行无人飞行器目标图像采集,然后进入步骤G2;同时,运算控制系统 主探测装置1实时同步采集无人飞行器目标3的图像并发送至运算控制系统;
步骤G1中,短波红外成像探测装置下方二维转台装置粗略的转动角度计算方法如下:
短波红外成像探测装置下方二维转台装置转动角度包括短波红外成像探测装置方位 角度θ0和俯仰角度
|γ|<δtr
其中,α为主探测装置1转动的方位角度,β为主探测装置1转动的俯仰角度,δtr为设定的角度阈值,γ为小于δtr的一个角度增量值;本发明在实施过程中,主探测装置1的 方位转轴6到短波红外成像探测装置的方位转轴6的距离远小于无人机的飞行高度;
G2:短波红外成像探测装置将采集到的无人飞行器目标图像发送至运算控制系统;然 后进入步骤G3;
G3:运算控制系统根据短波红外成像探测装置采集到的无人飞行器目标图像,判断无 人飞行器目标图像中是否存在无人飞行器目标3,并将无人飞行器目标3识别结果发送至 低空无人飞行器融合图像显示装置,若存在,则进入步骤G4;如不存在,则进入步骤G5:
步骤G3中,运算控制系统根据短波红外成像探测装置采集到的无人飞行器目标图像, 提取目标图像特征,用预先构建的无人飞行器目标分类器,进行目标特征分类;依据特征 分类结果、待识别目标特性和先验知识,采用模板匹配法和神经网络方法,与预先建立的 无人飞行器数据库进行比较,完成识别;并将识别搜索结果进行决策融合,判断无人飞行 器目标图像中是否存在无人飞行器目标3。
运算控制系统根据采集到的无人飞行器图像,找到无人飞行器目标区域,提取无人飞 行器目标3多个局部几何形状特征、轮廓特征以及灰度梯度特征,将无人飞行器目标图像 的灰度值、梯度模值以及梯度方向三种特征归一化并且放置于三个通道内,将单通道的灰 度图像转化为三通道的多特征图像,并将此特征添加到无人飞行器目标特征库;
运算控制系统再采用基于多特征和无人飞行器目标3模型的图像配准算法,将不同谱 段内相应的多特征目标图像通过多尺度多分辨率分析和几何拓扑方法进行图像融合,构建 目标的多谱红外图像融合算法生成包含光谱特征、纹理特征、形状特征和空间关系特征的 无人飞行器目标3融合图像;
G4:运算控制系统根据短波红外成像探测装置采集到的无人飞行器目标图像,判断无 人飞行器目标3是否在红外图像中心区域,即无人飞行器目标3在红外图像中的能量中心 与红外图像中心(u0,v0)是否重合,若(u,v)-(u0,v0)>Tr即为不重合, 无人飞行器目标3不在红外图像中心区域,返回步骤G1;若(u,v)-(u0,v0)≤Tr即为重合, 无人飞行器目标3在红外图像中心区域,运算控制系统利用短波红外成像探测装置下方的 二维转台装置中的角度编码器7,获取短波红外成像探测装置的方位角度θ1和俯仰角度然后再依据步骤D中获得的主探测装置1转动的方位角度α和俯仰角度β,计算出无人飞行器的位置信息即在空间的位置坐标,并将实时位置信息发送至低空无人飞行器飞行状态显示装置,然后进入步骤G5:
步骤G4中,无人飞行器在空间的位置坐标的计算方法如下:
其中,(x、y、z)为无人飞行器在所构建坐标框架下的空间三维坐标;坐标原点为主探测装置1旋转中心,X轴为主探测装置1与短波红外成像探测装置的中心连线在水平面 的投影且指向短波红外成像探测装置,Z轴为通过坐标原点向上的垂直轴,Y轴由右手准 则得到,D1为主探测装置1的方位转轴6到短波红外成像探测装置的方位转轴6的距离; ΔH1为短波红外成像探测装置的俯仰转轴5与主探测装置1的俯仰转轴5的高度差,α为 主探测装置1转动的方位角度,β为主探测装置1转动的俯仰角度,θ1为短波红外成像探 测装置的方位角度,为短波红外成像探测装置的俯仰角度;
G5:运算控制系统对短波红外成像探测装置采集到的无人飞行器目标图像序列进行采 集,然后返回步骤G1;
本发明中,为了进一步提高无人飞行器目标3识别准确率,还特殊设计了目标分类器 的特征更新方法;
步骤G5中,运算控制系统对短波红外成像探测装置采集到的无人飞行器目标图像序 列进行采集后,在返回步骤G1的同时进入步骤G6;
G6:运算控制系统对采集到的由短波红外成像探测装置采集的无人飞行器目标图像序 列进行多变换域多尺度图像降噪处理,然后进入步骤G9;
G7:运算控制系统对长波红外成像探测装置采集到的无人飞行器目标图像序列进行采 集,然后进入步骤G8;
G8:运算控制系统对采集到的由长波红外成像探测装置采集的无人飞行器目标图像序 列进行多变换域多尺度图像降噪处理,然后进入步骤G9;
G9:运算控制系统对G6和G8中经处理的图像进行多变换域多尺度图像分解,重新提 取无人飞行器目标3多个局部几何形状特征、轮廓特征以及灰度梯度特征,计算出无人飞 行器目标图像的灰度值、梯度模值以及梯度方向三种特征,更新无人飞行器目标图像的多 特征模型;
步骤G9中,运算控制系统通过提取当前时刻无人飞行器目标3多个局部几何形状特 征、轮廓特征以及灰度梯度特征,计算出无人飞行器目标图像的灰度值、梯度模值以及梯 度方向三种特征,更新无人飞行器目标图像的多特征模型。同时,运算控制系统还结合目 标光谱不变特征与时空显著性,依据无人飞行器先验知识,建立基于光照强度的自动权重 调整机制,从辅助训练数据库中找出重要的测试实例,并将这些实例迁移到源训练数据的 学习中,构建目标分类器;
H:运算控制系统采用长波红外图像和可见光图像组合方式进行检测跟踪,即运算控 制系统控制主探测装置1和副探测装置2中的可见光成像探测装置实现对无人飞行器目标 3的跟踪及图像采集,并将无人飞行器目标3识别结果发送至低空无人飞行器融合图像显 示装置,直至主探测装置1和可见光成像探测装置所采集到的图像中均未出现无人飞行器 目标3;同时,运算控制系统还通过主探测装置1和可见光成像探测装置的姿态信息,计算出无人飞行器目标3在空间中的实时位置信息,并将实时位置信息发送至低空无人飞行器飞行状态显示装置;
H1:运算控制系统根据主探测装置1采集到的包含无人飞行器目标3的红外图像,依 据主探测装置1的姿态信息,计算出可见光成像探测装置下方二维转台装置粗略的转动角 度,并根据计算出来的二维转台装置转动角度控制可见光成像探测装置探测并跟踪无人飞 行器目标3,进行无人飞行器目标图像采集,然后进入步骤G2;同时,运算控制系统主探 测装置1实时同步采集无人飞行器目标3的图像并发送至运算控制系统;
步骤H1中,可见光成像探测装置下方二维转台装置粗略的转动角度计算方法如下:
可见光成像探测装置下方二维转台装置转动角度包括可见光成像探测装置方位角度 θ0′和俯仰角度
其中,α为主探测装置1转动的方位角度,β为主探测装置1转动的俯仰角度,δtr为设定的角度极限值,γ为小于δtr的一个角度增量值;本发明在实施过程中,主探测装置 1的方位转轴6到可见光成像探测装置的方位转轴6的距离远小于无人机的飞行高度;
H2:可见光成像探测装置将采集到的无人飞行器目标图像发送至运算控制系统;然后 进入步骤H3;
H3:运算控制系统根据可见光成像探测装置采集到的无人飞行器目标图像,判断无人 飞行器目标图像中是否存在无人飞行器目标3,并将无人飞行器目标3识别结果发送至低 空无人飞行器融合图像显示装置,若存在,则进入步骤H4;如不存在,则进入步骤H5:
步骤H3中,运算控制系统根据短波红外成像探测装置采集到的无人飞行器目标图像, 提取目标图像特征,用预先构建的无人飞行器目标分类器,进行目标特征分类;依据特征 分类结果、待识别目标特性和先验知识,采用模板匹配法和神经网络方法,与预先建立的 无人飞行器数据库进行比较,完成识别;并将识别搜索结果进行决策融合,判断无人飞行 器目标图像中是否存在无人飞行器目标3。
运算控制系统根据采集到无人飞行器图像,找到无人飞行器目标区域,提取无人飞行 器目标3多个局部几何形状特征、轮廓特征以及灰度梯度特征,将无人飞行器目标图像的 灰度值、梯度模值以及梯度方向三种特征归一化并且放置于三个通道内,将单通道的灰度 图像转化为三通道的多特征图像,并将此特征添加到无人飞行器目标特征库;
运算控制系统再采用基于多特征和无人飞行器目标3模型的图像配准算法,将不同谱 段内相应的多特征目标图像通过多尺度多分辨率分析和几何拓扑方法进行图像融合,构建 目标的多谱红外图像融合算法生成包含光谱特征、纹理特征、形状特征和空间关系特征的 无人飞行器目标3融合图像;
H4:运算控制系统根据可见光成像探测装置采集到的无人飞行器目标图像,判断无人 飞行器目标3是否在红外图像中心区域,即无人飞行器目标3在红外图像中的能量中心 与红外图像中心(u0,v0)是否重合,若(u,v)-(u0,v0)>Tr即为不重合, 无人飞行器目标3不在红外图像中心区域,返回步骤H1;若(u,v)-(u0,v0)≤Tr即为重合, 无人飞行器目标3在红外图像中心区域,运算控制系统利用可见光成像探测装置下方的二 维转台装置中的角度编码器7,获取可见光成像探测装置的方位角度θ2和俯仰角度然 后再依据步骤D中获得的主探测装置1转动的方位角度α和俯仰角度β,计算出无人飞行器的位置信息即在空间的位置坐标,并将实时位置信息发送至低空无人飞行器飞行状态显示装置,然后进入步骤H5:
步骤H4中,无人飞行器在空间的位置坐标的计算方法如下:
其中,(x、y、z)为无人飞行器在所构建坐标框架下的空间三维坐标;坐标原点为主探测装置1旋转中心,X轴为主探测装置1与可见光成像探测装置的中心连线在水平面的 投影且指向可见光成像探测装置,Z轴为通过坐标原点向上的垂直轴,Y轴由右手准则得 到,D2为主探测装置1的方位转轴6到可见光成像探测装置的方位转轴6的距离;ΔH2为 可见光成像探测装置的俯仰转轴5与主探测装置1的俯仰转轴5的高度差,α为主探测装 置1转动的方位角度,β为主探测装置1转动的俯仰角度,θ2为可见光成像探测装置的方 位角度,为可见光成像探测装置的俯仰角度;
H5:运算控制系统对可见光成像探测装置采集到的无人飞行器目标图像序列进行采集, 然后返回步骤H1;
本发明中,为了进一步提高无人飞行器目标3识别准确率,还特殊设计了目标分类器 的特征更新方法;
步骤H5中,运算控制系统对可见光成像探测装置采集到的无人飞行器目标图像序列 进行采集后,在返回步骤H1的同时进入步骤H6;
H6:运算控制系统对采集到的由可见光成像探测装置采集的无人飞行器目标图像序列 进行多变换域多尺度图像降噪处理,然后进入步骤H9;
H7:运算控制系统对长波红外成像探测装置采集到的无人飞行器目标图像序列进行采 集,然后进入步骤H8;
H8:运算控制系统对采集到的由长波红外成像探测装置采集的无人飞行器目标图像序 列进行多变换域多尺度图像降噪处理,然后进入步骤H9;
H9:运算控制系统对H6和H8中经处理的图像进行多变换域多尺度图像分解,重新提 取无人飞行器目标3多个局部几何形状特征、轮廓特征以及灰度梯度特征,计算出无人飞 行器目标图像的灰度值、梯度模值以及梯度方向三种特征,更新无人飞行器目标图像的多 特征模型。
步骤H9中,运算控制系统通过提取当前时刻无人飞行器目标3多个局部几何形状特征、 轮廓特征以及灰度梯度特征,计算出无人飞行器目标图像的灰度值、梯度模值以及梯度方 向三种特征,更新无人飞行器目标图像的多特征模型。同时,运算控制系统还结合目标光 谱不变特征与时空显著性,依据无人飞行器先验知识,建立基于光照强度的自动权重调整 机制,从辅助训练数据库中找出重要的测试实例,并将这些实例迁移到源训练数据的学习 中,构建目标分类器。

Claims (10)

1.一种监测低空无人飞行器的多谱红外成像检测跟踪系统,其特征在于:包括双目自动跟踪系统、运算控制系统和图像数据显示系统,其中,
所述的双目自动跟踪系统,包括多谱段图像采集装置、二维转台装置、角度编码器和驱动系统;
多谱段图像采集装置包括主探测装置和副探测装置,主探测装置用于全天侯连续对指定范围进行扫描和探测,将采集到红外图像发送至运算控制系统;副探测装置用于在运算控制系统的控制下对准并跟踪无人飞行器目标进行连续的图像采集;
二维转台装置用于在驱动系统控制下实现主探测装置和副探测装置在垂直方向与水平方向上的转动,实现对主探测装置和副探测装置的姿态调整;二维转台装置包括相互垂直设置的俯仰转轴和方位转轴两个转动机构;
角度编码器用于采集二维转台装置中俯仰转轴和方位转轴的转动角度信号,并将采集到的角度信号发送至运算控制系统;每个二维转台装置中的俯仰转轴和方位转轴上均设置有角度编码器;
驱动系统用于在运算控制系统的控制下,驱动俯仰转轴和方位转轴转动;
所述的运算控制系统,用于接收多谱段图像采集装置中主探测装置所采集到的红外图像,并判断接收到的红外图像是否存在疑似无人飞行器目标,若判断接收到的红外图像存在疑似无人飞行器目标,则从红外图像中提取出无人飞行器目标的图像特征进行初步识别,然后根据无人飞行器目标在红外图像中的坐标及主探测装置的姿态信息计算出无人飞行器目标位置,并计算出副探测装置转动角度,然后依据计算出副探测装置转动角度控制副探测装置对准并跟踪无人飞行器进行目标图像采集,获得当前时刻无人飞行器目标的多谱段图像,并从多谱段图像中提取出无人飞行器目标的图像特征进行识别,然后将无人飞行器目标识别结果发送图像数据显示系统;若识别结果为无人飞行器目标,则继续跟踪无人飞行器并进行目标图像采集;同时,运算控制系统还将无人飞行器目标在空间中的实时位置、速度以及加速度信息发送至图像数据显示系统;
所述的图像数据显示系统包括低空无人飞行器融合图像显示装置和低空无人飞行器飞行状态显示装置;
低空无人飞行器融合图像显示装置,用于显示无人飞行器融合图像;
低空无人飞行器飞行状态显示装置,用于显示无人飞行器的飞行状态参数。
2.根据权利要求1所述的监测低空无人飞行器的多谱红外成像检测跟踪系统,其特征在于:所述的运算控制系统在进行疑似无人飞行器目标的判断时,将多谱段图像采集装置中主探测装置所采集到的当前帧红外图像与前一帧无任何飞行目标的背景参考图像进行差分比较,如果比较结果大于设定的目标显著阈值,则判断所接收到的红外图像中存在疑似无人飞行器目标。
3.根据权利要求1所述的监测低空无人飞行器的多谱红外成像检测跟踪系统,其特征在于:所述的运算控制系统在进行无人飞行器目标的图像特征初步识别时,采用频域分析与空域滤波相结合的方法进行显著性检测,提取感兴趣的显著性区域;再利用基于局部连通性限制的方法消除在边缘的误检,得到最终候选检测结果,并与预置的无人飞行器特征库进行匹配,实现对目标的初步识别以判定是否为无人飞行器目标。
4.根据权利要求1所述的监测低空无人飞行器的多谱红外成像检测跟踪系统,其特征在于:所述的运算控制系统在进行多谱段无人飞行器目标图像中疑似无人飞行器目标是否为无人飞行器的判断时,根据副探测装置采集到的无人飞行器目标图像,提取目标图像特征,用预先构建的无人飞行器目标分类器,进行目标特征分类;依据特征分类结果、待识别目标特性和先验知识,采用模板匹配法和神经网络方法,与预先建立的无人飞行器数据库进行比较,完成识别;并将识别搜索结果进行决策融合,判断无人飞行器目标图像中是否存在无人飞行器目标。
5.根据权利要求1所述的监测低空无人飞行器的多谱红外成像检测跟踪系统,其特征在于:所述的主探测装置包括长波红外成像探测装置,副探测装置包括短波红外成像探测装置和可见光成像探测装置;长波红外成像探测装置、短波红外成像探测装置和可见光成像探测装置分别设置在独立的二维转台装置上,三个二维转台装置均设置在机载平台上,且三个二维转台装置之间中心距离固定。
6.根据权利要求5所述的监测低空无人飞行器的多谱红外成像检测跟踪系统,其特征在于,所述的运算控制系统在进行低空无人飞行器检测跟踪时,按照以下步骤进行监测:
A:运算控制系统控制双目自动跟踪系统中多谱段图像采集装置的主探测装置,全天侯连续对指定范围进行扫描和探测,并将采集到的红外图像发送至运算控制系统;
B:运算控制系统接收主探测装置发送的红外图像,并判断接收到的红外图像是否存在疑似无人飞行器目标,若存在疑似无人飞行器目标,则进入步骤C;若不存在疑似无人飞行器目标,则继续接收主探测装置发送的红外图像并判断是否存在疑似无人飞行器目标;
C:运算控制系统对目标的初步识别以判定是否为无人飞行器目标;若运算控制系统判断主探测装置发送的红外图像中出现无人飞行器目标,则进入步骤D;若运算控制系统判断主探测装置发送的红外图像中未出现无人飞行器目标,则返回步骤B;
D:运算控制系统判断无人飞行器目标是否在红外图像中心区域,若无人飞行器目标不在红外图像中心区域,进入步骤E;若无人飞行器目标在红外图像中心区域,运算控制系统利用主探测装置下方的二维转台装置中的角度编码器获取主探测装置转动的方位角度和俯仰角度,进入步骤F;
E:运算控制系统根据预设的主探测装置的方位角度转动增量值和俯仰角度转动增量值,逐步控制主探测装置下方的二维转台装置转动并利用主探测装置采集红外图像,再将采集到的红外图像发送至运算控制系统,然后返回步骤D;
F:运算控制系统利用光照传感器发送的信息进行光照条件判断;当光照条件小于设定的光照阈值时,进入步骤G;当光照条件大于等于设定的光照阈值时,进入步骤H;
G:运算控制系统采用长波红外图像和短波红外图像组合方式进行检测跟踪,即运算控制系统控制主探测装置和副探测装置中的短波红外成像探测装置实现对无人飞行器目标的跟踪及图像采集,并将无人飞行器目标识别结果发送至低空无人飞行器融合图像显示装置,直至主探测装置和短波红外成像探测装置所采集到的图像中均未出现无人飞行器目标;同时,运算控制系统还通过主探测装置和短波红外成像探测装置的姿态信息,计算出无人飞行器目标在空间中的实时位置信息,并将实时位置信息发送至低空无人飞行器飞行状态显示装置;
H:运算控制系统采用长波红外图像和可见光图像组合方式进行检测跟踪,即运算控制系统控制主探测装置和副探测装置中的可见光成像探测装置实现对无人飞行器目标的跟踪及图像采集,并将无人飞行器目标识别结果发送至低空无人飞行器融合图像显示装置,直至主探测装置和可见光成像探测装置所采集到的图像中均未出现无人飞行器目标;同时,运算控制系统还通过主探测装置和可见光成像探测装置的姿态信息,计算出无人飞行器目标在空间中的实时位置信息,并将实时位置信息发送至低空无人飞行器飞行状态显示装置。
7.根据权利要求6所述的监测低空无人飞行器的多谱红外成像检测跟踪系统,其特征在于,所述的运算控制系统在步骤C中,运算控制系统采用频域分析与空域滤波相结合的方法进行显著性检测,提取感兴趣的显著性区域;再利用基于局部连通性限制的方法消除在边缘的误检,得到最终候选检测结果,并与预置的无人飞行器特征库进行匹配,实现对目标的初步识别以判定是否为无人飞行器目标;若运算控制系统判断主探测装置发送的红外图像中出现无人飞行器目标,则进入步骤D;若运算控制系统判断主探测装置发送的红外图像中未出现无人飞行器目标,则返回步骤B。
8.根据权利要求6所述的监测低空无人飞行器的多谱红外成像检测跟踪系统,其特征在于,所述的运算控制系统在步骤D中,运算控制系统判断无人飞行器目标是否在红外图像中心区域,即无人飞行器目标在红外图像中的能量中心与红外图像中心(u0,v0)是否重合,若(u,v)-(u0,v0)>Tr即为不重合,无人飞行器目标不在红外图像中心区域,进入步骤E;若(u,v)-(u0,v0)≤Tr即为重合,无人飞行器目标在红外图像中心区域,运算控制系统利用主探测装置下方的二维转台装置中的角度编码器获取主探测装置转动的方位角度α和俯仰角度β,进入步骤F;
其中,(u,v)为无人飞行器目标在红外图像中的能量中心坐标,Qi为红外目标图像区域内第i像素处的能量,(xi,yi)为飞行器目标在红外图像区域内像素坐标,M为红外目标图像区域内像素点个数,Tr为所设定的无人机红外图像中心偏差阈值。
9.根据权利要求6所述的监测低空无人飞行器的多谱红外成像检测跟踪系统,其特征在于,所述的运算控制系统在步骤G中执行以下步骤:
G1:运算控制系统根据主探测装置采集到的包含无人飞行器目标的红外图像,依据主探测装置的姿态信息,计算出短波红外成像探测装置下方二维转台装置粗略的转动角度,并根据计算出来的二维转台装置转动角度控制短波红外成像探测装置探测并跟踪无人飞行器目标,进行无人飞行器目标图像采集,然后进入步骤G2;同时,运算控制系统主探测装置实时同步采集无人飞行器目标的图像并发送至运算控制系统;
短波红外成像探测装置下方二维转台装置粗略的转动角度计算方法如下:
短波红外成像探测装置下方二维转台装置转动角度包括短波红外成像探测装置方位角度θ0和俯仰角度
其中,α为主探测装置转动的方位角度,β为主探测装置转动的俯仰角度,δtr为设定的角度阈值,γ为小于δtr的一个角度增量值;
G2:短波红外成像探测装置将采集到的无人飞行器目标图像发送至运算控制系统;然后进入步骤G3;
G3:运算控制系统根据短波红外成像探测装置采集到的无人飞行器目标图像,判断无人飞行器目标图像中是否存在无人飞行器目标,并将无人飞行器目标识别结果发送至低空无人飞行器融合图像显示装置,若存在,则进入步骤G4;如不存在,则进入步骤G5:
G4:运算控制系统根据短波红外成像探测装置采集到的无人飞行器目标图像,判断无人飞行器目标是否在红外图像中心区域,即无人飞行器目标在红外图像中的能量中心与红外图像中心(u0,v0)是否重合,若(u,v)-(u0,v0)>Tr即为不重合,无人飞行器目标不在红外图像中心区域,返回步骤G1;若(u,v)-(u0,v0)≤Tr即为重合,无人飞行器目标在红外图像中心区域,运算控制系统利用短波红外成像探测装置下方的二维转台装置中的角度编码器,获取短波红外成像探测装置的方位角度θ1和俯仰角度然后再依据步骤D中获得的主探测装置转动的方位角度α和俯仰角度β,计算出无人飞行器的位置信息即在空间的位置坐标,并将实时位置信息发送至低空无人飞行器飞行状态显示装置,然后进入步骤G5:
步骤G4中,无人飞行器在空间的位置坐标的计算方法如下:
其中,(x、y、z)为无人飞行器在所构建坐标框架下的空间三维坐标;坐标原点为主探测装置旋转中心,X轴为主探测装置与短波红外成像探测装置的中心连线在水平面的投影且指向短波红外成像探测装置,Z轴为通过坐标原点向上的垂直轴,Y轴由右手准则得到,D1为主探测装置的方位转轴到短波红外成像探测装置的方位转轴的距离;ΔH1为短波红外成像探测装置的俯仰转轴与主探测装置的俯仰转轴的高度差,α为主探测装置转动的方位角度,β为主探测装置转动的俯仰角度,θ1为短波红外成像探测装置的方位角度,为短波红外成像探测装置的俯仰角度;
G5:运算控制系统对短波红外成像探测装置采集到的无人飞行器目标图像序列进行采集,然后返回步骤G1,同时进入步骤G6;
G6:运算控制系统对采集到的由短波红外成像探测装置采集的无人飞行器目标图像序列进行多变换域多尺度图像降噪处理,然后进入步骤G9;
G7:运算控制系统对长波红外成像探测装置采集到的无人飞行器目标图像序列进行采集,然后进入步骤G8;
G8:运算控制系统对采集到的由长波红外成像探测装置采集的无人飞行器目标图像序列进行多变换域多尺度图像降噪处理,然后进入步骤G9;
G9:运算控制系统对G6和G8中经处理的图像进行多变换域多尺度图像分解,重新提取无人飞行器目标多个局部几何形状特征、轮廓特征以及灰度梯度特征,计算出无人飞行器目标图像的灰度值、梯度模值以及梯度方向三种特征,更新无人飞行器目标图像的多特征模型。
10.根据权利要求6所述的监测低空无人飞行器的多谱红外成像检测跟踪系统,其特征在于,所述的运算控制系统在步骤H中执行以下步骤:
H1:运算控制系统根据主探测装置采集到的包含无人飞行器目标的红外图像,依据主探测装置的姿态信息,计算出可见光成像探测装置下方二维转台装置粗略的转动角度,并根据计算出来的二维转台装置转动角度控制可见光成像探测装置探测并跟踪无人飞行器目标,进行无人飞行器目标图像采集,然后进入步骤G2;同时,运算控制系统主探测装置实时同步采集无人飞行器目标的图像并发送至运算控制系统;
可见光成像探测装置下方二维转台装置粗略的转动角度计算方法如下:
可见光成像探测装置下方二维转台装置转动角度包括可见光成像探测装置方位角度θ0′和俯仰角度
|γ|<δtr
其中,α为主探测装置转动的方位角度,β为主探测装置转动的俯仰角度,δtr为设定的角度极限值,γ为小于δtr的一个角度增量值;
H2:可见光成像探测装置将采集到的无人飞行器目标图像发送至运算控制系统;然后进入步骤H3;
H3:运算控制系统根据可见光成像探测装置采集到的无人飞行器目标图像,判断无人飞行器目标图像中是否存在无人飞行器目标,并将无人飞行器目标识别结果发送至低空无人飞行器融合图像显示装置,若存在,则进入步骤H4;如不存在,则进入步骤H5:
H4:运算控制系统根据可见光成像探测装置采集到的无人飞行器目标图像,判断无人飞行器目标是否在红外图像中心区域,即无人飞行器目标在红外图像中的能量中心与红外图像中心(u0,v0)是否重合,若(u,v)-(u0,v0)>Tr即为不重合,无人飞行器目标不在红外图像中心区域,返回步骤H1;若(u,v)-(u0,v0)≤Tr即为重合,无人飞行器目标在红外图像中心区域,运算控制系统利用可见光成像探测装置下方的二维转台装置中的角度编码器,获取可见光成像探测装置的方位角度θ2和俯仰角度然后再依据步骤D中获得的主探测装置转动的方位角度α和俯仰角度β,计算出无人飞行器的位置信息即在空间的位置坐标,并将实时位置信息发送至低空无人飞行器飞行状态显示装置,然后进入步骤H5:
步骤H4中,无人飞行器在空间的位置坐标的计算方法如下:
其中,(x、y、z)为无人飞行器在所构建坐标框架下的空间三维坐标;坐标原点为主探测装置旋转中心,X轴为主探测装置与可见光成像探测装置的中心连线在水平面的投影且指向可见光成像探测装置,Z轴为通过坐标原点向上的垂直轴,Y轴由右手准则得到,D2为主探测装置的方位转轴到可见光成像探测装置的方位转轴的距离;ΔH2为可见光成像探测装置的俯仰转轴与主探测装置的俯仰转轴的高度差,α为主探测装置转动的方位角度,β为主探测装置转动的俯仰角度,θ2为可见光成像探测装置的方位角度,为可见光成像探测装置的俯仰角度;
H5:运算控制系统对可见光成像探测装置采集到的无人飞行器目标图像序列进行采集,然后返回步骤H1,同时进入步骤H6;
H6:运算控制系统对采集到的由可见光成像探测装置采集的无人飞行器目标图像序列进行多变换域多尺度图像降噪处理,然后进入步骤H9;
H7:运算控制系统对长波红外成像探测装置采集到的无人飞行器目标图像序列进行采集,然后进入步骤H8;
H8:运算控制系统对采集到的由长波红外成像探测装置采集的无人飞行器目标图像序列进行多变换域多尺度图像降噪处理,然后进入步骤H9;
H9:运算控制系统对H6和H8中经处理的图像进行多变换域多尺度图像分解,重新提取无人飞行器目标多个局部几何形状特征、轮廓特征以及灰度梯度特征,计算出无人飞行器目标图像的灰度值、梯度模值以及梯度方向三种特征,更新无人飞行器目标图像的多特征模型。
CN201711322084.0A 2017-12-12 2017-12-12 一种监测低空无人飞行器的多谱红外成像检测跟踪系统 Active CN108168706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711322084.0A CN108168706B (zh) 2017-12-12 2017-12-12 一种监测低空无人飞行器的多谱红外成像检测跟踪系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711322084.0A CN108168706B (zh) 2017-12-12 2017-12-12 一种监测低空无人飞行器的多谱红外成像检测跟踪系统

Publications (2)

Publication Number Publication Date
CN108168706A true CN108168706A (zh) 2018-06-15
CN108168706B CN108168706B (zh) 2019-07-26

Family

ID=62525711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711322084.0A Active CN108168706B (zh) 2017-12-12 2017-12-12 一种监测低空无人飞行器的多谱红外成像检测跟踪系统

Country Status (1)

Country Link
CN (1) CN108168706B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108981928A (zh) * 2018-10-19 2018-12-11 深圳聚瑞华实业有限公司 一种红外线体温计
CN110031802A (zh) * 2019-04-04 2019-07-19 中国科学院数学与系统科学研究院 具有未知量测零偏的双红外传感器的融合定位方法
CN110244756A (zh) * 2019-04-29 2019-09-17 福州大学 无人机快速追踪协同避障方法
RU201367U1 (ru) * 2020-07-28 2020-12-11 Акционерное общество Научно-производственный центр «Электронные вычислительно-информационные системы» (АО НПЦ «ЭЛВИС») Система детектирования беспилотных летальных аппаратов (бпла)
RU2746394C1 (ru) * 2020-07-28 2021-04-13 Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" (АО НПЦ "ЭЛВИС") Система и способ детектирования беспилотных летальных аппаратов (бпла)
WO2021078663A1 (en) * 2019-10-23 2021-04-29 Airbus Operations Limited Aerial vehicle detection
CN113489945A (zh) * 2020-12-18 2021-10-08 深圳市卫飞科技有限公司 一种目标定位方法、装置、系统及计算机可读存储介质
RU2758881C1 (ru) * 2020-12-30 2021-11-02 Федеральное казённое учреждение "войсковая часть 36360" Тепловизионный способ обнаружения беспилотного летательного аппарата типа "мультикоптер"

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101252677A (zh) * 2007-10-19 2008-08-27 西安交通大学 一种基于多光谱图像传感器的目标跟踪方法
GB2537122A (en) * 2015-04-07 2016-10-12 James Tansley John Automated drone package receiver module
CN107219520A (zh) * 2017-05-31 2017-09-29 成都新越科技有限公司 一种反无人机分布式组网探测方法及其装置
CN107392173A (zh) * 2017-08-04 2017-11-24 成都云擎科技有限公司 一种基于光电搜索的反无人机系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101252677A (zh) * 2007-10-19 2008-08-27 西安交通大学 一种基于多光谱图像传感器的目标跟踪方法
GB2537122A (en) * 2015-04-07 2016-10-12 James Tansley John Automated drone package receiver module
CN107219520A (zh) * 2017-05-31 2017-09-29 成都新越科技有限公司 一种反无人机分布式组网探测方法及其装置
CN107392173A (zh) * 2017-08-04 2017-11-24 成都云擎科技有限公司 一种基于光电搜索的反无人机系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108981928A (zh) * 2018-10-19 2018-12-11 深圳聚瑞华实业有限公司 一种红外线体温计
CN110031802A (zh) * 2019-04-04 2019-07-19 中国科学院数学与系统科学研究院 具有未知量测零偏的双红外传感器的融合定位方法
CN110031802B (zh) * 2019-04-04 2020-10-09 中国科学院数学与系统科学研究院 具有未知量测零偏的双红外传感器的融合定位方法
CN110244756A (zh) * 2019-04-29 2019-09-17 福州大学 无人机快速追踪协同避障方法
CN110244756B (zh) * 2019-04-29 2021-09-24 福州大学 无人机快速追踪协同避障方法
WO2021078663A1 (en) * 2019-10-23 2021-04-29 Airbus Operations Limited Aerial vehicle detection
GB2588893A (en) * 2019-10-23 2021-05-19 Airbus Operations Ltd Aerial vehicle detection
RU201367U1 (ru) * 2020-07-28 2020-12-11 Акционерное общество Научно-производственный центр «Электронные вычислительно-информационные системы» (АО НПЦ «ЭЛВИС») Система детектирования беспилотных летальных аппаратов (бпла)
RU2746394C1 (ru) * 2020-07-28 2021-04-13 Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" (АО НПЦ "ЭЛВИС") Система и способ детектирования беспилотных летальных аппаратов (бпла)
CN113489945A (zh) * 2020-12-18 2021-10-08 深圳市卫飞科技有限公司 一种目标定位方法、装置、系统及计算机可读存储介质
RU2758881C1 (ru) * 2020-12-30 2021-11-02 Федеральное казённое учреждение "войсковая часть 36360" Тепловизионный способ обнаружения беспилотного летательного аппарата типа "мультикоптер"

Also Published As

Publication number Publication date
CN108168706B (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
CN108168706B (zh) 一种监测低空无人飞行器的多谱红外成像检测跟踪系统
CN108037543B (zh) 一种监测低空无人飞行器的多谱红外成像检测跟踪方法
Rudol et al. Human body detection and geolocalization for UAV search and rescue missions using color and thermal imagery
CN106356757B (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
Li et al. Automatic bridge crack detection using Unmanned aerial vehicle and Faster R-CNN
CN109949361A (zh) 一种基于单目视觉定位的旋翼无人机姿态估计方法
CN105302151B (zh) 一种飞机入坞引导和机型识别的系统及方法
KR101105795B1 (ko) 항공 화상의 자동 처리
CN109472831A (zh) 面向压路机施工过程的障碍物识别测距系统及方法
CN106275410B (zh) 一种防风扰无人机
CN115439424A (zh) 一种无人机航拍视频图像智能检测方法
CN109325476B (zh) 一种基于三维视觉的人体异常姿态检测系统及方法
CN106529538A (zh) 一种飞行器的定位方法和装置
WO2012090200A1 (en) Calibration device and method for use in a surveillance system for event detection
Freitas et al. Hyperspectral imaging for real-time unmanned aerial vehicle maritime target detection
CN103149939A (zh) 一种基于视觉的无人机动态目标跟踪与定位方法
CN111080679A (zh) 一种对大型场所室内人员动态跟踪定位的方法
WO2004042673A2 (en) Automatic, real time and complete identification of vehicles
CN106295695B (zh) 一种飞机起降过程自动追踪拍摄方法及装置
Zhang et al. Background filtering and vehicle detection with roadside lidar based on point association
EP2941735A1 (en) Image processing
CN107221006A (zh) 一种基于无人机成像平台的通信单管塔倾斜检测方法
CN110998241A (zh) 用于校准可移动对象的光学系统的系统和方法
CN105810023B (zh) 机场起落架收放自动监测方法
CN105447431B (zh) 一种基于机器视觉的入坞飞机跟踪定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant