CN110197231A - 基于可见光和红外光图像融合的鸟情探测设备及识别方法 - Google Patents

基于可见光和红外光图像融合的鸟情探测设备及识别方法 Download PDF

Info

Publication number
CN110197231A
CN110197231A CN201910479788.1A CN201910479788A CN110197231A CN 110197231 A CN110197231 A CN 110197231A CN 201910479788 A CN201910479788 A CN 201910479788A CN 110197231 A CN110197231 A CN 110197231A
Authority
CN
China
Prior art keywords
image
bird
target
infrared
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910479788.1A
Other languages
English (en)
Other versions
CN110197231B (zh
Inventor
刘建平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Huage Information Technology Co Ltd
Original Assignee
Nanjing Huage Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Huage Information Technology Co Ltd filed Critical Nanjing Huage Information Technology Co Ltd
Priority to CN201910479788.1A priority Critical patent/CN110197231B/zh
Publication of CN110197231A publication Critical patent/CN110197231A/zh
Application granted granted Critical
Publication of CN110197231B publication Critical patent/CN110197231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M29/00—Scaring or repelling devices, e.g. bird-scaring apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Birds (AREA)
  • Insects & Arthropods (AREA)
  • Pest Control & Pesticides (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Environmental Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于可见光和红外光图像融合的鸟情探测设备及识别方法，该设备包括包括可见光探鸟仪、红外探鸟仪、云台和信息融合处理机，信息融合处理机包括图像融合、目标特征提取、目标识别模块。该方法为设备自检成功后对配置参数进行人工设定或默认参数加载。启动云台按设定的速度和路径对周边空域进行巡航，并同时启动可见光和红外探鸟仪进行视频采集。对采集的两路视频进行图像融合。针对融合后的图像进行特征提取，提取的特征与特征数据库中的目标特征进行比对，输出目标分类识别结果。根据结果判定目标类型，若为鸟类目标，则驱赶，否则，返回继续重新探测，本发明全天候智能探取识别的鸟情，进行全自动无人值守鸟害防治。

Description

基于可见光和红外光图像融合的鸟情探测设备及识别方法
技术领域
本发明涉及一种基于可见光和红外光图像融合的鸟情探测设备及识别方法， 属于智能探测技术领域。
背景技术
自2006年以来，机场鸟击事件每年保持增长100起左右的态势，2010年较 2009年更是增长近250起，鸟击事件数量达到971起，鸟击已成为是第一大航 空器事故征候类型。鸟击还给民航业带来了较大的经济损失，据不完全估计，1990 －2010年中国民航因鸟击造成的直接经济损失约为8.5亿元。近年来机场通过 环境治理减少吸引鸟类的因素，通过采用多种驱鸟手段驱赶鸟类，能一定程度上 减少鸟撞，但多数情况下，驱鸟员无法及时发现危险鸟群，鸟撞飞机时有发生， 尤其在鸟类迁徙季节，鸟撞问题最为突出，主要原因一是鸟情探测手段缺乏。目 前主要是通过在机场设定固定哨和流动哨，人眼或配合望远镜来巡视鸟情，劳动 强度大，观测范围小，且受天气、光线等因素影响较大。二是驱鸟工作比较被动，由于缺乏探测手段，目前机场驱鸟工作比较被动，不能做到及时发现，特别是夜 间，给飞行安全带来严重威胁。
发明内容
为了解决上述存在的问题，针对机场鸟害防治缺乏有效探测手段的现状和难 题，本发明公开了一种基于可见光和红外光图像融合的鸟情探测设备及识别方法， 解决了机场的鸟情探测，特别是夜间的鸟情预警难题，可用于军民用机场、变电 站等鸟害多发区域全自动无人值守鸟情智能探测，其具体技术方案如下：
基于可见光和红外光图像融合的鸟情探测设备，包括鸟情探测装置和信息融 合处理机，所述鸟情探测装置实现机场周边区域的鸟情的昼夜探测；所述信息融 合处理机实现对目标的智能探测、信息处理、识别以及任务调度；
所述探测装置包括可见光探鸟仪、红外探鸟仪和云台，所述可见光探鸟仪和 红外探鸟仪均安装在云台上，可见光探鸟仪实现白天或高照度情况对机场周边区 域的鸟情探测，红外探鸟仪实现夜晚或低照度情况对机场周边区域的鸟情探测， 云台实现对可见光探鸟仪和红外探鸟仪的水平和俯仰旋转；
所述信息融合处理机包括图像融合、目标特征提取、目标识别模块。
基于可见光和红外双光图像融合的鸟情探测识别方法，包括以下步骤：
步骤1：开机自检，对电路、云台等各个模块进行自检；
步骤2：对配置参数进行人工设定或默认参数加载；
步骤3：启动云台按一定速度和路径进行巡航；
步骤4：启动可见光和红外探鸟仪进行视频采集；
步骤5：对采集的两路视频进行图像融合；
步骤6：针对融合后的图像进行特征提取；
步骤7：提取的特征与特征数据库中的目标特征进行比对，输出目标分类识别结果；
步骤8：根据结果判定目标类型，若为鸟类目标，进行步骤8，若为非鸟类目标， 进行步骤4；
步骤9：将上述判定结果上报信息处理机决策系统；
步骤10：根据当前目标所处场景和步骤8的上报结果，进行联动驱鸟；
步骤11：驱赶不成功，返回步骤10；否则，返回步骤3。
进一步的，所述图像融合包括三个步骤：图像预处理、图像配准和图像融合，
图像预处理包括图像去噪和图像增强，具体为：
(1)图像去噪：图像去噪采用空域滤波方法和频率滤波方法，红外图像去 噪采用空域滤波方法中的α均值滤波方法，可见光图像去噪采用非线性滤波空域 滤波方法；
(2)图像增强：图像增强的主要目的是消除图像噪声，改变图像灰度等级， 改善图像的视觉效果，提高图像对比度和清晰度；通过图像锐化，突出图像边缘 细节信息，以便使图像特征更利于提取，对于红外图像，采用图像直方图均衡化 方法，可见光图像的增强处理采用LOG滤波器空域滤波增强方法。
进一步的，所述图像配准采用基于特征的配准方法，具体包括三部分：
(1)在基准图像和待配准图像间，寻找共性特征；
(2)根据基准图像和待配准图像，确定图像间的几何变换方法；
(3)对待配准图像进行几何校正；
以上三部分由信息处理机根据机场周边环境特征，人为选定场景具有明细特 征的目标图像作为图像配准的基准图像，用于做图像配准，图像配准过程为：
采用图像插值与重采样方法，图像插值与重采样目的是为了补全被插值位置 的像素值，使整个图像平滑，利于进一步的处理；
所述图像插值采用双线性插值法，双线性插值法的具体方法如下：
双线性插值法是一阶插值方法，采样点像素值取它周围四邻域像元的加权值 得到，四邻域像素的权值是用一个分段线性函数表示的，该分段函数表示为：
设内插点为f(x,y)，该点周围4个最近邻像素点像素之间的间隔为1，记f(x,y)到第一 个像素点x、y方向的投影分别为Δx,Δy，先在Y方向(或X方向)内插一次，再在X方向(Y方 向)内插一次，最后得到内插点f(x,y)的像素值；
对内插点f(x,y)进一步图像双线性内插方法处理，具体过程如下：
上式中，w11，w12，w21，w21分别为内插点f(x,y)周围像素I11，I12，I21，I21对应 的权值，双线性插值效果优于最近邻插值效果，避免了插值后图像像素值不连续 现象，双线性插值具有低通滤波器的性质，对图像高频分量有削弱作用，具有平 滑滤波效果，使图像边缘模糊，双线性方法虽然破坏了原图像像素值，但内插精 度和运算量适中，适合信息处理机嵌入式程序执行。
进一步的，所述步骤5中图像融合采用基于小波变换的双树复小波变换法(DTCWT)，双树复小波变换具有多方向选择性，近似平移不变性，冗余数据有限 的优点，运算效率高，对图像的重构效果好，变换的多分辨率分解过程是通过两 组Q-shift滤波器来实现，因此会得到两个平行的分解树Tree A和Tree B, 分别表示小波的实部和虚部，变换函数定义为：
ψ(x)＝ψh(x)+jψg(x)
其中ψh(χ)和ψg(χ)均为实数小波，二维变换是通过一维变换拓展得来的，经 过二维变换后，图像的每一次分解可以得到两个低频系数L(j+1，1)，L(j+1，2)和6 个方向的高频系数H(j+1，m),m＝1,6，相对于离散小波3个方向的高频系数，DTCWT 变换具有更好的方向选择性，从而能够更完整的保留源图像的细节，DTCWT变换 在分解过程中采用的Q-shift滤波器是两组正交滤波器，且存在不同的延时， 这样的设计能够消除平移带来的混叠现象，保证了图像在变换过程中的近似平移 不变性，高运算效率；
选用DTCWT对红外与可见光图像进行多分辨率分解，分解层数为四层，得到 相应的低频系数及高频系数，然后结合区域图像分割结果对于低频系数和高频系 数分别采用不同的融合规则进行处理；
经过多分辨率分解后，图像的低频部分表示图像的基本信息，高频部分表示 图像的细节信息，根据红外与可见光图像低频部分融合所要达到的目的，在疑似 目标区域尽可能多的保留红外图像中的热目标信息的亮度；在背景区域则更多的 保留可见光图像的细节及场景信息，因此，在疑似目标区域，低频融合采用为“模 值取大法”，公式为：
其中，为融合图像的低频系数，i＝1,2，为第l层的红外图像低频系数， 为第l层的可见光图像的低频系数，
图像经过多分辨率分解后，高频分量表示图像中的边缘、轮廓细节信息，为 了在融合图像中尽可能保留源图像的细节、纹理信息，进一步采用基于区域加权 的高频融合方法处理，通过所述的基于疑似目标区域的图像分割方法将红外与可 见光图像分割为n个区域，用 R＝{r1,r2…rn}来表示，定义一个区域权值Q，表示为：
区域权值Q与图像中的每个小区域ri相对应(i＝1,2…n)，
为了保证融合图像中每个小区域内的纹理细节信息更丰富，融合规则f规定 选择红外与可见光图像中Qri值更大的对应区域来计算融合图像区域ri的融合系 数，将该区域高频系数的均值作为融合图像的对应区域的高频系数，为了保证融 合图像中每个小区域的边缘细节更显著更清晰,将二值边缘矩阵Sl，θ,作为权值加 入融合图像高频系数的计算，融合图像的高频系数公式为：
根据上述融合规则得到的融合图像低频及高频系数进行DTCWT逆变换，最终获得融合图像。
进一步的，步骤6中特征提取的过程为：
结构特征提取方法的基本思想是把图像分割简化为若干基元，如目标轮廓、 拓扑点、结构突变点，与模板比较，检查必要的鸟类目标特征是否存在，从而判 断所属的类别，
由于机场目标种类较少，特征比较固定，考虑到航空安全要求鸟情探测的实 时性，对鸟类目标识别采用基于鸟情特征数据库的模板匹配法，对机场目标用二 维的数字点阵来描述建立模板，并存入特征数据库，然后逐个匹配未知样本与模 板中的对应点，根据匹配结果的结果输出未知样本类别，供后续驱鸟手段选择决 策使用。
进一步的，所述步骤7的具体过程为：
根据特征提取阶段提取的图像特征，用预先训练的鸟情特征数据库对待识别 图像的类别做出判断，多数情况下，单一分类器往往难以获得好的分类结果，因 此，采用多级匹配分类器融合的方法进行目标识别，为了提高分类识别的工作速 度，分类过程设计二级，先进行目标像素点粗分类，再对目标轮廓特征进行细分 类，分类判决函数为目标分类识别的关键，
对于一个待识别样本，假设必定属于类子空间中的一类，定义分类函数：
gs(x，L′)＝||x-Mi||2-||Pi(x-Mi)||2
其中第i类子空间的投影矩阵Pi按下式计算:
gs(x，Li)表示待识别样本在相应子空间Li的投影差值，差值越小待识别样本x 越接近i子空间，即目标与模板越匹配，根据经验值，当差值小于0.1时，认为 目标与模板匹配，即输出目标识别结果。
本发明的有益效果是：
本发明提供一种鸟情智能探测方法，为及时发现鸟情、及时处置，降低鸟击 发生风险，提供决策支撑。
本发明基于可见光红外双光图像融合、目标分类识别的智能鸟类探测方法， 为机场提供一种全天候、全天时无人值守实时智能鸟情探测手段，使机场的鸟击 防治工作变被动防治为主动防治，在大大降低鸟击事故征候，保证航空安全的同 时，极大地降低了人力成本。本发明可用于军民用机场、变电站等鸟害多发区域 全自动无人值守鸟害防治，具有广泛的应用前景。
附图说明
图1是本发明方法的工作原理示意图，
图2是本发明中所采用的图像融合的工作原理图，
图3是本发明图像双线性内插方法原理图，
图4是本发明双线性插值示意图，其中的标出的中心点表示待输出的内插点，其四周的四个点表示原来图像中的像素点，
图5是本发明二维DTCWT变换的结构图，
图6所示的是本发明的工作流程图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。应理解下述具体实施方 式仅用于说明本发明而不用于限制本发明的范围。
本发明提供了一种智能鸟情探测识别的实现方法，下面结合附图具体说明：
图1是本发明方法的工作原理示意图，本发明采用的装置由鸟情探测装置、 驱鸟装置和信息处理机三大部分组成。探鸟装置实现机场周边区域的鸟情的昼夜 探测；信息处理机实现对探测信息进行信息处理、识别以及任务调度等。云台以 一定的速度工作在巡航状态，对周边一定范围内的鸟情进行实时昼夜观测，并通 过SDI视频接口或以太网实时返回视频图像，送入信息处理机中图像融合模块进 行双光图像融合，对后续的目标识别做准备。特征提取模块对融合后的图像采用 边缘检测进行特征提取获取关键目标的特征信息，并送入目标分类识别模块，与 预先建立的特征数据库内鸟类等目标光学特征进行特征比对，判定是否为鸟类目 标。若确定为鸟类目标，启动后响应的驱鸟装置对发现的鸟类目标进行及时驱赶， 直至其远离探测区域。
图2是本发明中所采用的图像融合的工作原理图。图像融合模块主要对探测 装置采集的图像进行预处理、图像配准和图像融合，为后续特征提取和目标识别 做数据准备，图像融合模块充分利用可见光和红外的不同工作特性，互为补充、 协同工作。图像预处理工作包括抑制噪声、消除畸变、增强边缘，经过预处理的 数据进行图像配准，对配准完成的图像融合为一张图，用于后续处理。
红外图像为灰度热成像图像，没有色彩信息、对比度和分辨率较低，且缺乏 层次感，外部环境因素也会给红外图像带来不利于后续融合处理和目标识别的高 斯噪声。可见光图像为彩色图像、对比度和分辨率较高，且图像具有较好的边缘 纹理和细节信息，但可见光相机易收外部天气和光线影响，夜晚和低照度情况下， 不能工作，不具备机场全天候工作要求。两种传感器图像的特性差别和各自适用 环境，决定了需要对两种图像进行融合处理。
图像融合的工作原理说明：
图像融合需要三大步骤：图像预处理、图像配准和图像融合。
图像预处理主要分为图像去噪、图像增强两部分。
①图像去噪：图像去噪时图像预处理的重要步骤之一，图像去噪的采用常见 的空域滤波方法和频率滤波方法。本发明中红外图像去噪采用空域滤波方法中的 α均值滤波方法，可见光图像去噪采用常用的非线性滤波空域滤波方法。
②图像增强：图像增强的主要目的是消除图像噪声，改变图像灰度等级，改 善图像的视觉效果，提高图像对比度和清晰度；通过图像锐化，突出图像边缘细 节信息，以便使图像特征更利于提取。对于红外图像，采用常用的图像直方图均 衡化方法，可见光图像的增强处理采用LOG滤波器空域滤波增强方法。
由于不同图像成像条件的不同，同一目标在不同图像中表现出的光学特性 (如灰度、颜色值等)、几何特性(形状、大小等)等不同，加之受噪声等因素影
图像插值与重采样目的是为了补全被插值位置的像素值，使整个图像平滑， 利于进一步的处理。插值方法双线性插值法，具体方法如下：
双线性插值是一阶插值方法，采样点像素值取它周围四邻域像元的加权值得 到。四邻域像素的权值是用一个分段线性函数表示的。该分段函数表示为：
设内插点为f(x,y)，该点周围4个最近邻像素点位置关系如图4所示，像素之间的间隔 为1，记f(x,y)到第一个像素点x、y方向的投影分别为Δx,Δy。先在Y方向(或X方向)内插 一次，再在X方向(Y方向)内插一次，最后得到内插点f(x,y)的像素值。图像双线性内插方 法如图3所示：
上式中，w11，w12，w21，w21分别为内插点f(x,y)周围像素I11，I12，I21，I21对应的权值。双线性插值效果优于最近邻插值效果，避免了插值后图像像素值不连续现象。 双线性插值具有低通滤波器的性质，对图像高频分量有一定的削弱作用，具有平 滑滤波效果，使图像边缘存在一定的模糊。双线性方法虽然一定程度上破坏了原 图像像素值，但内插精度和运算量适中，适合信息处理机嵌入式程序执行。图上 标出的中心点表示待输出的内插点，该点的四周四个点表示原来图像中的像素点， 则双线性插值示意图如图4所示。
红外与可见光图像融合方法研究的重点是尽可能多的保留两幅图像中的互 补信息。本方法采用基于小波变换的双树复小波变换法(DTCWT)实现图像融合。 双树复小波变换具有多方向选择性，近似平移不变性，冗余数据有限等优点，运 算效率高，对图像的重构效果好。变换的多分辨率分解过程是通过两组Q-shift 滤波器来实现，因此会得到两个平行的分解树(Tree A和Tree B),分别表示小 波的实部和虚部。变换函数定义为：
ψ(x)＝ψh(x)+jψg(x)
其中ψh(χ)和ψg(χ)均为实数小波。二维变换是通过一维变换拓展得来的，图5所示为二 维DTCWT变换的结构。通过图中5可以看出，经过二维变换后，图像的每一次分解可以得到 两个低频系数L(j+1，1)，L(j+1，2)和6个方向的高频系数H(j+1，m),m＝1,6。相对于离散小波3个方 向的高频系数，DTCWT变换具有更好的方向选择性，从而能够更完整的保留源图像的细节。 DTCWT变换在分解过程中采用的Q-shift滤波器是两组正交滤波器，且存在不同的延时。这 样的设计能够消除平移带来的混叠现象，保证了图像在变换过程中的近似平移不变性，高运 算效率。
基于上述分析，选用DTCWT对红外与可见光图像进行多分辨率分解，分解层 数为四层，得到相应的低频系数及高频系数，然后结合区域图像分割结果对于低 频系数和高频系数分别采用不同的融合规则进行处理。
经过多分辨率分解后，图像的低频部分表示图像的基本信息，高频部分表示 图像的细节信息。多数基于的红外与可见光图像融合方法，都把研究重点放在如 何设计高频分量的融合规则，对于图像的低频分量，多采用简单的加权平均或算 数平均的方法进行融合。对于鸟类目标红外与可见光图像融合而言，重要的是获 取两幅图像的互补信息，即红外图像中的热目标及可见光图像中清晰的边缘、背 景等细节信息。因此，低频信息的融合效果更能影响图像获取互补信息的能力。
根据红外与可见光图像低频部分融合所要达到的目的，在疑似目标区域尽可 能多的保留红外图像中的热目标信息的亮度；在背景区域则更多的保留可见光图 像的细节及场景信息。因此，在疑似目标区域，低频融合采用为“模值取大法”。 公式为：
其中，为融合图像的低频系数，i＝1,2，为第l层的红外图像低频系数， 为第l层的可见光图像的低频系数。
图像经过多分辨率分解后，高频分量表示图像中的边缘、轮廓等细节信息。 为了在融合图像中尽可能保留源图像的细节、纹理信息，本方法提出了一种新的 基于区域加权的高频融合方法。通过上文提出的基于疑似目标区域的图像分割方 法将红外与可见光图像分割为n个区域，用 R＝{r1,r2…rn}来表示。定义一个区域权值Q，表示为：
区域权值Q与图像中的每个小区域ri相对应(i＝1,2…n)。
为了保证融合图像中每个小区域内的纹理细节信息更丰富，融合规则f规定 选择红外与可见光图像中Qri值更大的对应区域来计算融合图像区域ri的融合系 数，将该区域高频系数的均值作为融合图像的对应区域的高频系数。为了保证融 合图像中每个小区域的边缘细节更显著更清晰,将二值边缘矩阵Sl，θ,作为权值加 入融合图像高频系数的计算。融合图像的高频系数公式为：
根据上述融合规则得到的融合图像低频及高频系数进行DTCWT逆变换，最终 获得融合图像。
特征提取是为了去除图像信息中对分类没有帮助的部分,将图像信息集中到 有代表性的几个特征上来的过程。选择稳定的、有代表性的特征往往是一个识别 系统成功的关键。而在实际应用中,寻找满足要求的特征提取方法是一项富有挑 战性的工作。由于图像本身所包含的信息有限,对于该类目标的特征提取更是一 项艰巨任务。本发明采用基于结构特征的提取方法。结构特征提取方法的基本思 想是把图像分割简化为若干基元,如目标轮廓、拓扑点、结构突变点等,与模板比 较,检查必要的鸟类目标特征是否存在,从而判断所属的类别(如人、车辆、飞机、 航站楼等)。
由于机场目标种类较少，特征比较固定，考虑到航空安全要求鸟情探测的实 时性，本方法中对鸟类目标识别采用基于鸟情特征数据库的模板匹配法，对机场 目标用二维的数字点阵来描述建立模板，并存入特征数据库,然后逐个匹配未知 样本与模板中的对应点,根据匹配结果的结果输出未知样本类别，供后续驱鸟手 段选择决策使用。
根据特征提取阶段提取的图像特征,用预先训练的鸟情特征数据库对待识别 图像的类别做出判断。多数情况下,单一分类器往往难以获得好的分类结果,因此, 采用多级匹配分类器融合的方法进行目标识别。为了提高分类识别的工作速度, 分类过程设计二级,先进行目标像素点粗分类,再对目标轮廓特征进行细分类。分 类判决函数的设计为目标分类识别的关键。
对于一个待识别样本,假设必定属于类子空间中的一类,定义分类函数：
gs(x，Li)＝||x-Mi||2-||Pi(x-Mi)||2
其中第i类子空间的投影矩阵Pi按下式计算:
gs(x，Li)表示待识别样本在相应子空间Li的投影差值，差值越小待识别样本x 越接近i子空间，即目标与模板越匹配，根据经验值，当差值小于0.1时，认为 目标与模板匹配，即输出目标识别结果。
图6是本发明的工作流程图，具体步骤如下：
步骤301：开机自检，对电路、云台等各个模块进行自检，并返回自检结果；
步骤302：自检成功后对配置参数进行人工设定或默认参数加载；
步骤303：启动云台按一定速度和路径进行巡航；
步骤304：启动可见光和红外探鸟仪进行视频采集；
步骤305：对采集的两路视频进行图像融合；
步骤306：针对融合后的图像进行特征提取；
步骤307：提取的特征与特征数据库中的目标特征进行比对，输出目标分类识别结果；
步骤308：根据结果判定目标类型，若为鸟类目标，进行步骤309，进行后续驱 赶处置工作，若为非鸟类目标，进行步骤304，继续重新探测；
步骤309：将上述判定结果上报信息处理机决策系统；
步骤310：根据当前目标所处场景和步骤308的上报结果，进行联动驱鸟；
步骤311：驱赶不成功，返回步骤310；驱赶成功，返回步骤303。
综上所述，本发明提供了一种智能探取识别的鸟情全天候探测实现新思路， 此方法可应用于军民用机场、变电站等鸟害多发区域进行全自动无人值守鸟害防 治。例如，可在机场跑道和滑行道之间以300米～500米为间隔部署多套智能探 测设备与驱鸟设备联动，实现对跑道的全覆盖，保障了机场航空安全，特别是夜 间低空航空飞行安全。
本发明方案所公开的技术手段不仅限于上述技术手段所公开的技术手段，还 包括由以上技术特征任意组合所组成的技术方案。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发 明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其 技术性范围。

Claims (7)

1.基于可见光和红外光图像融合的鸟情探测设备，其特征在于包括鸟情探测装置和信息融合处理机，所述鸟情探测装置实现机场周边区域的鸟情的昼夜探测；所述信息融合处理机实现对目标的智能探测、信息处理、识别以及任务调度；
所述探测装置包括可见光探鸟仪、红外探鸟仪和云台，所述可见光探鸟仪和红外探鸟仪均安装在云台上，可见光探鸟仪实现白天或高照度情况对机场周边区域的鸟情探测，红外探鸟仪实现夜晚或低照度情况对机场周边区域的鸟情探测，云台实现对可见光探鸟仪和红外探鸟仪的水平和俯仰旋转；
所述信息融合处理机包括图像融合、目标特征提取、目标识别模块。
2.基于可见光和红外光图像融合的鸟情探测识别方法，其特征在于包括以下步骤：
步骤1：开机自检，对电路、云台等各个模块进行自检；
步骤2：对配置参数进行人工设定或默认参数加载；
步骤3：启动云台按一定速度和路径进行巡航；
步骤4：启动可见光和红外探鸟仪进行视频采集；
步骤5：对采集的两路视频进行图像融合；
步骤6：针对融合后的图像进行特征提取；
步骤7：提取的特征与特征数据库中的目标特征进行比对，输出目标分类识别结果；
步骤8：根据结果判定目标类型，若为鸟类目标，进行步骤8，若为非鸟类目标，进行步骤4；
步骤9：将上述判定结果上报信息处理机决策系统；
步骤10：根据当前目标所处场景和步骤8的上报结果，进行联动驱鸟；
步骤11：驱赶不成功，返回步骤10；否则，返回步骤3。
3.根据权利要求2所述的基于可见光和红外光图像融合的鸟情探测识别方法，其特征在于所述图像融合包括三个步骤：图像预处理、图像配准和图像融合，
图像预处理包括图像去噪和图像增强，具体为：
(1)图像去噪：图像去噪采用空域滤波方法和频率滤波方法，红外图像去噪采用空域滤波方法中的α均值滤波方法，可见光图像去噪采用非线性滤波空域滤波方法；
(2)图像增强：图像增强的主要目的是消除图像噪声，改变图像灰度等级，改善图像的视觉效果，提高图像对比度和清晰度；通过图像锐化，突出图像边缘细节信息，以便使图像特征更利于提取，对于红外图像，采用图像直方图均衡化方法，可见光图像的增强处理采用LOG滤波器空域滤波增强方法。
4.根据权利要求3所述的基于可见光和红外光图像融合的鸟情探测识别方法，其特征在于所述图像配准采用基于特征的配准方法，具体包括三部分：
(1)在基准图像和待配准图像间，寻找共性特征；
(2)根据基准图像和待配准图像，确定图像间的几何变换方法；
(3)对待配准图像进行几何校正；
以上三部分由信息处理机根据机场周边环境特征，人为选定场景具有明细特征的目标图像作为图像配准的基准图像，用于做图像配准，图像配准过程为：
采用图像插值与重采样方法，图像插值与重采样目的是为了补全被插值位置的像素值，使整个图像平滑，利于进一步的处理；
所述图像插值采用双线性插值法，双线性插值法的具体方法如下：
双线性插值法是一阶插值方法，采样点像素值取它周围四邻域像元的加权值得到，四邻域像素的权值是用一个分段线性函数表示的，该分段函数表示为：
设内插点为f(x,y)，该点周围4个最近邻像素点像素之间的间隔为1，记f(x,y)到第一个像素点x、y方向的投影分别为Δx,Δy，先在Y方向(或X方向)内插一次，再在X方向(Y方向)内插一次，最后得到内插点f(x,y)的像素值；
对内插点f(x,y)进一步图像双线性内插方法处理，具体过程如下：
上式中，w11，w12，w21，w21分别为内插点f(x,y)周围像素I11，I12，I21，I21对应的权值，双线性插值效果优于最近邻插值效果，避免了插值后图像像素值不连续现象，双线性插值具有低通滤波器的性质，对图像高频分量有削弱作用，具有平滑滤波效果，使图像边缘模糊，双线性方法虽然破坏了原图像像素值，但内插精度和运算量适中，适合信息处理机嵌入式程序执行。
5.根据权利要求4所述的基于可见光和红外光图像融合的鸟情探测识别方法，其特征在于所述步骤5中图像融合采用基于小波变换的双树复小波变换法(DTCWT)，双树复小波变换具有多方向选择性，近似平移不变性，冗余数据有限的优点，运算效率高，对图像的重构效果好，变换的多分辨率分解过程是通过两组Q-shift滤波器来实现，因此会得到两个平行的分解树Tree A和Tree B,分别表示小波的实部和虚部，变换函数定义为：
ψ(x)＝ψh(x)+jψg(x)
其中ψh(χ)和ψg(χ)均为实数小波，二维变换是通过一维变换拓展得来的，经过二维变换后，图像的每一次分解可以得到两个低频系数L(j+1，1)，L(j+1，2)和6个方向的高频系数H(j+1，m),m＝1,6，相对于离散小波3个方向的高频系数，DTCWT变换具有更好的方向选择性，从而能够更完整的保留源图像的细节，DTCWT变换在分解过程中采用的Q-shift滤波器是两组正交滤波器，且存在不同的延时，这样的设计能够消除平移带来的混叠现象，保证了图像在变换过程中的近似平移不变性，高运算效率；
选用DTCWT对红外与可见光图像进行多分辨率分解，分解层数为四层，得到相应的低频系数及高频系数，然后结合区域图像分割结果对于低频系数和高频系数分别采用不同的融合规则进行处理；
经过多分辨率分解后，图像的低频部分表示图像的基本信息，高频部分表示图像的细节信息，根据红外与可见光图像低频部分融合所要达到的目的，在疑似目标区域尽可能多的保留红外图像中的热目标信息的亮度；在背景区域则更多的保留可见光图像的细节及场景信息，因此，在疑似目标区域，低频融合采用为“模值取大法”，公式为：
其中，为融合图像的低频系数，i＝1,2，为第l层的红外图像低频系数，为第l层的可见光图像的低频系数，
图像经过多分辨率分解后，高频分量表示图像中的边缘、轮廓细节信息，为了在融合图像中尽可能保留源图像的细节、纹理信息，进一步采用基于区域加权的高频融合方法处理，通过所述的基于疑似目标区域的图像分割方法将红外与可见光图像分割为n个区域，用R＝{r1,r2…rn}来表示，定义一个区域权值Q，表示为：
区域权值Q与图像中的每个小区域ri相对应(i＝1,2…n)，
为了保证融合图像中每个小区域内的纹理细节信息更丰富，融合规则f规定选择红外与可见光图像中Qri值更大的对应区域来计算融合图像区域ri的融合系数，将该区域高频系数的均值作为融合图像的对应区域的高频系数，为了保证融合图像中每个小区域的边缘细节更显著更清晰,将二值边缘矩阵Sl，θ,作为权值加入融合图像高频系数的计算，融合图像的高频系数公式为：
根据上述融合规则得到的融合图像低频及高频系数进行DTCWT逆变换，最终获得融合图像。
6.根据权利要求1所述的基于可见光和红外光图像融合的鸟情探测识别方法，其特征在于所述步骤6中特征提取的过程为：
结构特征提取方法的基本思想是把图像分割简化为若干基元，如目标轮廓、拓扑点、结构突变点，与模板比较，检查必要的鸟类目标特征是否存在，从而判断所属的类别，
由于机场目标种类较少，特征比较固定，考虑到航空安全要求鸟情探测的实时性，对鸟类目标识别采用基于鸟情特征数据库的模板匹配法，对机场目标用二维的数字点阵来描述建立模板，并存入特征数据库，然后逐个匹配未知样本与模板中的对应点，根据匹配结果的结果输出未知样本类别，供后续驱鸟手段选择决策使用。
7.根据权利要求1所述的基于可见光和红外光图像融合的鸟情探测识别方法，其特征在于所述步骤7的具体过程为：
根据特征提取阶段提取的图像特征，用预先训练的鸟情特征数据库对待识别图像的类别做出判断，多数情况下，单一分类器往往难以获得好的分类结果，因此，采用多级匹配分类器融合的方法进行目标识别，为了提高分类识别的工作速度，分类过程设计二级，先进行目标像素点粗分类，再对目标轮廓特征进行细分类，分类判决函数为目标分类识别的关键，
对于一个待识别样本，假设必定属于类子空间中的一类，定义分类函数：
gs(x，Li)＝||x-Mi||2-||Pi(x-Mj)||2
其中第i类子空间的投影矩阵Pi按下式计算：
gs(x，Li)表示待识别样本在相应子空间Li的投影差值，差值越小待识别样本x越接近i子空间，即目标与模板越匹配，根据经验值，当差值小于0.1时，认为目标与模板匹配，即输出目标识别结果。
CN201910479788.1A 2019-06-04 2019-06-04 基于可见光和红外光图像融合的鸟情探测设备及识别方法 Active CN110197231B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910479788.1A CN110197231B (zh) 2019-06-04 2019-06-04 基于可见光和红外光图像融合的鸟情探测设备及识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910479788.1A CN110197231B (zh) 2019-06-04 2019-06-04 基于可见光和红外光图像融合的鸟情探测设备及识别方法

Publications (2)

Publication Number Publication Date
CN110197231A true CN110197231A (zh) 2019-09-03
CN110197231B CN110197231B (zh) 2023-06-27

Family

ID=67753856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910479788.1A Active CN110197231B (zh) 2019-06-04 2019-06-04 基于可见光和红外光图像融合的鸟情探测设备及识别方法

Country Status (1)

Country Link
CN (1) CN110197231B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111988551A (zh) * 2020-06-07 2020-11-24 常俊杰 生物存在方向无线通知系统
CN112115871A (zh) * 2020-09-21 2020-12-22 大连民族大学 适用于行人目标检测的高低频交织边缘特征增强方法及构建增强网络的方法
CN112487947A (zh) * 2020-11-26 2021-03-12 西北工业大学 基于图像融合与目标检测网络的低照度图像目标检测方法
CN112749592A (zh) * 2019-10-31 2021-05-04 王志效 自动化无线信号数据干扰系统及方法
CN113452967A (zh) * 2020-03-24 2021-09-28 合肥君正科技有限公司 一种去除块效应的镜头阴影校正的方法
CN113486866A (zh) * 2021-09-06 2021-10-08 南京天朗防务科技有限公司 一种用于机场鸟类识别的视觉分析方法及系统
CN113657275A (zh) * 2021-08-16 2021-11-16 中国科学院空天信息创新研究院 一种林草火点自动检测方法
CN113706432A (zh) * 2021-09-23 2021-11-26 北京化工大学 保留输入图像纹理细节的多源图像融合方法和系统
CN116403057A (zh) * 2023-06-09 2023-07-07 山东瑞盈智能科技有限公司 一种基于多源图像融合的输电线路巡检方法及系统
CN117502422A (zh) * 2024-01-06 2024-02-06 河北恒益分析仪器有限公司 一种智能驱鸟器控制方法、装置、设备及介质
CN117690164A (zh) * 2024-01-30 2024-03-12 成都欣纳科技有限公司 基于边缘计算的机场飞鸟识别驱赶方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205301579U (zh) * 2015-12-31 2016-06-08 徐兆东 机场探、驱鸟联动系统
CN105744229A (zh) * 2016-02-25 2016-07-06 江苏科技大学 基于红外全景环视融合的无人艇自动锚泊系统及其工作方法
CN105739335A (zh) * 2015-12-29 2016-07-06 中国民航科学技术研究院 一种机场鸟类探测预警与驱赶联动系统
CN108710126A (zh) * 2018-03-14 2018-10-26 上海鹰觉科技有限公司 自动化探测驱逐目标方法及其系统
US20190121115A1 (en) * 2017-10-25 2019-04-25 RAVR Incorporation Ltd. Infrared and Night Vision Pixel By Pixel Optical Fusion System

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105739335A (zh) * 2015-12-29 2016-07-06 中国民航科学技术研究院 一种机场鸟类探测预警与驱赶联动系统
CN205301579U (zh) * 2015-12-31 2016-06-08 徐兆东 机场探、驱鸟联动系统
CN105744229A (zh) * 2016-02-25 2016-07-06 江苏科技大学 基于红外全景环视融合的无人艇自动锚泊系统及其工作方法
US20190121115A1 (en) * 2017-10-25 2019-04-25 RAVR Incorporation Ltd. Infrared and Night Vision Pixel By Pixel Optical Fusion System
CN108710126A (zh) * 2018-03-14 2018-10-26 上海鹰觉科技有限公司 自动化探测驱逐目标方法及其系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUJIA ZUO等: "Airborne Infrared and Visible Image Fusion Combined with Region Segmentation", 《SENSORS 2017》 *
陈唯实等: "基于支持向量机的机场智能驱鸟决策", 《北京航空航天大学学报》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112749592A (zh) * 2019-10-31 2021-05-04 王志效 自动化无线信号数据干扰系统及方法
CN113452967A (zh) * 2020-03-24 2021-09-28 合肥君正科技有限公司 一种去除块效应的镜头阴影校正的方法
CN111988551A (zh) * 2020-06-07 2020-11-24 常俊杰 生物存在方向无线通知系统
CN112115871B (zh) * 2020-09-21 2024-04-19 大连民族大学 适用于行人目标检测的高低频交织边缘特征增强方法
CN112115871A (zh) * 2020-09-21 2020-12-22 大连民族大学 适用于行人目标检测的高低频交织边缘特征增强方法及构建增强网络的方法
CN112487947A (zh) * 2020-11-26 2021-03-12 西北工业大学 基于图像融合与目标检测网络的低照度图像目标检测方法
CN113657275A (zh) * 2021-08-16 2021-11-16 中国科学院空天信息创新研究院 一种林草火点自动检测方法
CN113486866A (zh) * 2021-09-06 2021-10-08 南京天朗防务科技有限公司 一种用于机场鸟类识别的视觉分析方法及系统
CN113706432A (zh) * 2021-09-23 2021-11-26 北京化工大学 保留输入图像纹理细节的多源图像融合方法和系统
CN113706432B (zh) * 2021-09-23 2024-04-30 北京化工大学 保留输入图像纹理细节的多源图像融合方法和系统
CN116403057A (zh) * 2023-06-09 2023-07-07 山东瑞盈智能科技有限公司 一种基于多源图像融合的输电线路巡检方法及系统
CN116403057B (zh) * 2023-06-09 2023-08-18 山东瑞盈智能科技有限公司 一种基于多源图像融合的输电线路巡检方法及系统
CN117502422B (zh) * 2024-01-06 2024-04-02 河北恒益分析仪器有限公司 一种智能驱鸟器控制方法、装置、设备及介质
CN117502422A (zh) * 2024-01-06 2024-02-06 河北恒益分析仪器有限公司 一种智能驱鸟器控制方法、装置、设备及介质
CN117690164A (zh) * 2024-01-30 2024-03-12 成都欣纳科技有限公司 基于边缘计算的机场飞鸟识别驱赶方法及系统
CN117690164B (zh) * 2024-01-30 2024-04-30 成都欣纳科技有限公司 基于边缘计算的机场飞鸟识别驱赶方法及系统

Also Published As

Publication number Publication date
CN110197231B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN110197231A (zh) 基于可见光和红外光图像融合的鸟情探测设备及识别方法
CN109117858B (zh) 监测风力发电机叶片结冰的方法及装置
CN106384344B (zh) 一种光学遥感图像海面舰船目标检测与提取方法
Chaudhuri et al. Automatic building detection from high-resolution satellite images based on morphology and internal gray variance
CN111046880B (zh) 一种红外目标图像分割方法、系统、电子设备及存储介质
CN110070530B (zh) 一种基于深度神经网络的输电线路覆冰检测方法
US20190354772A1 (en) A method for foreign object debris detection
CN102867196B (zh) 基于Gist特征学习的复杂海面遥感影像舰船检测方法
Salehi et al. Automatic moving vehicles information extraction from single-pass WorldView-2 imagery
CN103886285A (zh) 先验地理信息辅助下的光学遥感影像舰船检测方法
Hassaan et al. Precision forestry: trees counting in urban areas using visible imagery based on an unmanned aerial vehicle
CN103218831A (zh) 一种基于轮廓约束的视频运动目标分类识别方法
CN109726669B (zh) 基于对抗网络的不同光照条件下行人再识别数据生成方法
CN107481233A (zh) 一种应用于fod异物检测雷达中的图像识别方法
Ruban et al. Method for determining elements of urban infrastructure objects based on the results from air monitoring
CN106339657A (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN109949229A (zh) 一种多平台多视角下的目标协同检测方法
CN114119586A (zh) 一种基于机器视觉的飞机蒙皮缺陷智能检测方法
Zhang et al. Aerial image analysis based on improved adaptive clustering for photovoltaic module inspection
CN110288623A (zh) 无人机海上网箱养殖巡检图像的数据压缩方法
CN109684914A (zh) 基于无人机影像智能识别方法
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
Huang et al. Chinese license plate detection based on deep neural network
CN109493371A (zh) 一种基于视觉的四旋翼无人机行人跟踪方法
CN114943984A (zh) 一种基于雷达点云与视觉图像的智能探鸟驱鸟方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant