CN112464933B - 一种地基凝视红外成像弱小目标智能识别方法 - Google Patents

一种地基凝视红外成像弱小目标智能识别方法 Download PDF

Info

Publication number
CN112464933B
CN112464933B CN202011376400.4A CN202011376400A CN112464933B CN 112464933 B CN112464933 B CN 112464933B CN 202011376400 A CN202011376400 A CN 202011376400A CN 112464933 B CN112464933 B CN 112464933B
Authority
CN
China
Prior art keywords
rect
target
point
image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011376400.4A
Other languages
English (en)
Other versions
CN112464933A (zh
Inventor
刘�文
白俊奇
徐勇
石林
王幸鹏
郝晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Laisi Electronic Equipment Co ltd
Original Assignee
Nanjing Laisi Electronic Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Laisi Electronic Equipment Co ltd filed Critical Nanjing Laisi Electronic Equipment Co ltd
Priority to CN202011376400.4A priority Critical patent/CN112464933B/zh
Publication of CN112464933A publication Critical patent/CN112464933A/zh
Application granted granted Critical
Publication of CN112464933B publication Critical patent/CN112464933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种地基凝视红外成像弱小目标智能识别方法，主要针对变焦距红外热像仪对远距离弱小目标的自动发现与识别难的问题，提供一套完整的目标检测、识别处理流程，能够实现弱小目标的全自动检测与识别。技术流程首先基于边缘特征与点特征融合，对潜在目标初步筛选，再利用多帧图像筛选关联性进行潜在目标分析，最后通过ROI区域的自动分配，确定识别区域并进行深度学习目标识别。本发明适用于变焦距的红外跟踪设备自动探测发现并识别出目标，针对红外视频进行处理，能够使得红外跟踪设备获得智能化、自动化的探测能力。由于其融合流程的设计，使得目标识别消耗的计算量、以及针对小目标的识别效果均有显著提升。

Description

一种地基凝视红外成像弱小目标智能识别方法
技术领域
本发明涉及一种地基凝视红外成像弱小目标智能识别方法。
背景技术
当前的军、民用目标预警、探测手段中，红外热像仪以其目标观测距离远，受太阳光照强度以及空气能见度等外界条件影响小，具备全天候值守的能力等优势而被广泛采用。但目前的红外热像仪成像后视频信息处理的技术方面还存在较多的问题，当前主流的红外跟踪设备主要工作模式还是以人工目视观测视频发现潜在目标，在发现目标后，再手动点选目标，通过自动跟踪算法实现锁定监视，整个环节只有最后的跟踪算法可以实现自动运行，而目标发现、识别方面均需要人工参与，自动化、智能化水平还相对较低。目前很多厂家、研究机构也开展对红外热像仪，的自动化目标检测、识别技术研究，但主要局限于目标较远时成像尺寸小，难以有效检测识别目标，同时红外探测系统往往是长焦变焦聚设计，存在目标尺度变化等一系列问题，在这种技术条件下采用传统的人工基于数学概念设计目标特征进行检测与识别的方法已经难以获得可实用、高性能的目标检测、识别效果。当前面对这样的问题主要解决途径是通过设计深度卷积网络，构建大数据量的目标样本图像库，通过监督学习，使得卷积网络自动获特征提取能力，从而完成复杂光照、背景等条件下高性能的目标检测与识别。但是，深度学习类方法虽然本身具有在不同尺度条件下识别目标能力，往往对小目标探测、识别效果欠佳需要针对性提升效果。此外，深度学习类方法计算开销巨大，实用过程中存在计算资源不足、计算速度慢等致命问题。
综上所述，需要有一种通用的高自动化、智能化的红外目标自动发现、识别手段，来取代人工观察作业，提升红外探测系统预警效能，降低人员工作负荷。而实现该手段，则需要解决以下关键问题：(1)如何解决红外变焦聚系统目标成像大小尺度不一条件下的目标检测问题。(2)如何解决红外图像目标识别问题，给出目标类型。(3)如何引入深度学习方法实现弱小目标的检测、识别，同时保证较少的计算资源消耗，以及较好的识别效果。
发明内容
发明目的：本发明针对现有技术手段的不足，提供地基凝视红外成像弱小目标智能识别技术。可提升红外预警探测系统自动化，智能化水平，实现目标自动发现与识别，达到及时预警与告警的效果。
技术方案：
本发明设计了一种地基凝视红外成像弱小目标智能识别方法。能够基于变焦红外跟踪设备，自动检测、识别红外图像中感兴趣目标，替代人眼观察寻找搜索目标。
本发明技术方案的实施步骤如下：
步骤1，利用红外跟踪设备采集视频，获取图像Ik，Ik为视频中第k帧图像，k为视频帧数编号；
步骤2，对第k帧图像进行当前帧潜在目标分析，分别进行点特征提取、边缘特征提取并进行融合得到第k帧图像的潜在目标检测结果集合；
步骤3，基于连续m帧图像收集到的潜在目标检测结果集合为{Pk-m,Pk-m+1,…,Pk}其中Pk为第k帧图像检测结果的集合，即Pk＝{Rect1，Rect2，…Rectn}，Rectn为第n个检测结果，通过在图像中的一个矩形表述，即Rect＝{X,Y,Width,Height}，X、Y分别表示矩形在图像中横坐标位置、纵坐标位置，Width、Height分别代表矩形宽、高；下标m＜k-1，对潜在目标进行多帧数据分析，以位置及形状相关度进行数据稳定性判定，最终获取第k帧图像中潜在候选目标Tk；并基于Tk中的目标平均尺寸信息，将Tk区分为点目标与面目标其中/>代表一个点目标多帧累计形成的潜在目标运动轨迹，下标s1代表第k帧共有s1个点目标，/>代表一个面目标多帧累计形成的潜在目标运动轨迹，下标s2代表第k帧共有s2个面目标；
步骤4，确定感兴趣识别区域；
步骤5，将感兴趣识别区域中图像分为点目标、面目标，进行卷积网络目标识别。步骤1中，使用红外热像仪采集视频，可以以指定的焦距正对某一探测方向，或者按既定扫描路线周期巡航，也可以与雷达等指引设备联动，本发明针对以上情形，均可对红外跟踪设备采集到的目图像进行实时接收，并基于图像进行数据分析与处理。
步骤2中，边缘特征提取方法为：对于第k帧图像Ik进行算子大小为5的高斯滤波得到图像I′k，对图像I′k进行边缘检测，采用Canny边缘检测算法进行边缘提取，其中Canny边缘检测算法两个参数高阈值参数HighParam与低阈值参数LowParam确定方法如下：对图像I′k分别利用Sobel算子求取其x方向和y方向倒数图像，并求取每个像素点的一阶范数梯度强度值得到梯度强图像I″k，获取I″k中最大像素点值MaxV，然后对梯度强图像I″k建立直方图Histk，直方图组数为HistSize，设定阈值参数ThresholdEdge，像素点总数为TotalPix＝Width*Height，其中Width和Height分别为图像I″k的宽度和高度；计算直方图Histk中每个灰度分隔区间Bin中的像素个数为binj,j＝1,2,...,HistSize，累计像素点数之和求取一个j的值，使得SumPix≥ThresholdEdge·TotalPix刚好成立，则Canny边缘检测高阈值参数HighParam＝(j+1)·HistSize/MaxV，低阈值参数lowParam＝0.4·HighParam，得到边缘特征二值图/>对边缘特征二值图/>以半径为5像素的圆形算子进行膨胀滤波，再以半径为3的圆形算子进行腐蚀，得到形态学滤波后的二值图对二值图/>进行连通域分析，对所有非0的联通域进行提取得到连通域轮廓集合{Contour1,Contour2,…,Contourn}k，以及轮廓对应的外接矩形集合{CRect1,CRect2,…,CRectn}k，Contour为一个连通域的外围轮廓，其定义为一组坐标点的集合，即Contourk＝{Pnt1,Pnt2,…Pntm}，Pntm表示第m个图像坐标点，(下标k代表轮廓Contour由第k帧图像所提取获得，与n无关)，由X，Y分别表征其在图像中横、纵坐标位置，下标n代表共有n个外围轮廓，CRect是能包裹住Contour中所有点的最小矩形，CRect＝{X,Y,Width,Height}，X，Y表示该矩形在图像中横、纵坐标位置，Width,Height分别代表矩形宽、高，下标n代表共有n个这样的轮廓，其中每个轮廓都有一个外接矩形与其对应，所以都是n个。
步骤2中，点特征提取方法为：对于第k帧图像Ik进行算子大小为3的高斯滤波得到图像I″k，对图像I″k进行ORB(Oriented FAST and Rotated BRIEF快速特征点提取和描述的算法)点特征提取，得到第k帧图像目标点特征集{Pnt1,Pnt2,…,Pntm}k，对于每一个{Contour1,Contour2,…,Contourn}k中的轮廓，从{Pnt1,Pnt2,…,Pntm}k选择包含于轮廓内的特征点，并构成新点迹集合{CPnt1,CPnt2,…,CPntn}k，CPntn表示第n个新点迹，其中每个CPntn可能会包含有两个以上从{Pnt1,Pnt2,…,Pntm}k选择出的点，最后求{CPnt1,CPnt2,…,CPntn}k的外接矩形得到集合{PRect1,PRect2,…,PRecto}k，PRect是能包裹住{CPnt1,CPnt2,…,CPntn}k中所有点的最小矩形，CRect＝{X,Y,Width,Height}，X，Y表示该矩形在图像中横、纵坐标位置，Width,Height分别代表矩形宽、高，下标o代表共有o个这样的矩形。
步骤2中，得到边缘特征和点特征后，对两种特征进行融合合并，具体步骤为：选择{CRect1,CRect2,…,CRectn}k，{PRect1,PRect2,…,PRecto}k中外接矩形的并集，即如果CRectn矩形区域大于PRecto矩形区域，且PRecto在CRectn内部，则选取PRecto并输出，舍弃CRectn，从而得到集合{Rect1,Rect2,…,Rectp}'k，{Rect1,Rect2,…,Rectp}'k为CRect与PRect融合后的外接矩形区域的集合，下标p代表共有p个这样的矩形区域,对{Rect1,Rect2,…,Rectp}'k中的矩形区域计算其宽高比WH_RATIO＝imWidth/imHeight，即矩形宽度imWidth除以高度imHeight，对超过宽高比阈值范围的Rectp进行舍弃，得到最终第k帧潜在目标位置分析结果{Rect1,Rect2,…,Rectr}k，{Rect1,Rect2,…,Rectr}k为在{Rect1,Rect2,…,Rectp}'k基础上过滤后的矩形集合，下标r代表共有r个这样的矩形区域，r≤p。
步骤3包括：第k帧时，已积累了连续m帧潜在目标位置分析结果，即：{{Rect1,Rect2,…,Rectr}k-m+1,{Rect1,Rect2,…,Rectr}k-m+2，…，{Rect1,Rect2,…,Rectr}k}，从{Rect1,Rect2,…,Rectr}k-m+1开始，计算后续帧间位置的相关性，用{Rect1,Rect2,…,Rectr}k-m+1中的每一个Rectr构建一个候选的潜在目标，得到{CandiT1,CandiT2,…,CandiTr}k-m+1，对于每一个CandiTr，CandiTr即候选目标轨迹，它初始是由{Rect1,Rect2,…,Rectr}k-m+1建立，第二帧之后，为与现有轨迹关联的Rect会初始化为新的候选轨迹，下标r代表共有r个这样的目标轨迹，从第k-m+1帧开始往后追溯，直到第k帧，追溯方法是对比{CandiT1,CandiT2,…,CandiTr}k-m+1中目标的位置，与{Rect1,Rect2,…,Rectr}k-m+2中的位置，直线像素距离是否小于门限Disgate,Disgate，如果存在小于门限的外接矩形，则在CandiTr中加入新周期关联点，否则该周期记为空点，如果{Rect1,Rect2,…,Rectr}k-m+2有一个Rectr不与{CandiT1,CandiT2,…,CandiTr}k-m+1中任意一个CandiTr关联，则该Rectr产生一个新的CandiTr，并加入候选的潜在目标集合中，得到{CandiT1,CandiT2,…,CandiTr2}k-m+2，依次类推得到{CandiT1,CandiT2,…,CandiTrm}k,检查{CandiT1,CandiT2,…,CandiTrm}k中的目标各个CandiTrm，CandiTrm即第k帧时应有的候选潜在目标轨迹，下标rm代表共有rm个候选潜在目标轨迹，用空点数除以周期数m得到空点率，对于空点率大于关联门限ASSOGATE的候选潜在目标进行剔除，剩下的候选潜在目标构成潜在目标集合{T1,T2,…,Ts}k，最后根据Ts(Ts代表一个潜在目标轨迹，下标s代表共有s个这样的潜在目标轨迹)中每一帧关联的Rectr的大小取得的区域宽度与区域高度，确定Ts的尺寸参数，尺寸基于面积进行度量，如果Ts面积小于门限AreaGate则将T归类为点目标，大于门限AreaGate则将Ts归类为面目标，得到点目标与面目标/>潜在区域。
步骤4包括：对于包含第k帧潜在目标位置信息的集合与对于每一个Ts中包含各目标出现总帧数参数p，Ts目标每存在一帧p的计数值加1，当第k帧时，p满足为指定识别周期Period固定周期的整数倍时，以Ts位置中对应目标为中心，成比例截取图像Ik中的一小部分图像Rk，对于点目标，Rk图像宽度高度/>其中分别为Ts对应的点目标最新帧检测结果矩形的宽度和高度；对于面目标，Rk图像宽度/>高度/>其中分别为Ts对应的面目标最新帧检测结果矩形的宽度和高度，从而得到感兴趣识别区域{ROIRect1,ROIRect2,…,ROIRectt}k，ROIRectt为第K帧的第t个感兴趣区域结果，其结构与Rect类似，表征一个矩形区域，下标t表示有t个这样的区域。
步骤5包括：
对于点目标，构建样本集S点，样本集S点包括点目标图像，标注框Groundtruth位置作为训练标签，构建YOLOV3卷积网络，设置一个识别类别，即点目标类别，标注N1(一般取值为1000)张以上红外点目标样本，进行训练，直到网络收敛，形成点目标识别分类器；设置点目标识别分类器输入图像尺寸固定为64×64，形成识别网络对{ROIRect1,ROIRect2,…,ROIRectt}k区域中点目标进行识别确认，给出标签：点目标，并将结果记录于上；
对于面目标，构建样本集S面，样本集S面包括点两个以上类别感兴趣目标图像，标注框Groundtruth位置作为训练标签，构建YOLOV3卷积网络，设置N个识别类别，N为感兴趣类别总数，人标注每个类别N1张以上红外点目标样本，进行训练，直到网络收敛，形成面目标识别分类器；设置面目标识别分类器输入图像尺寸固定为128×128，形成识别网络对{ROIRect1,ROIRect2,…,ROIRectt}k区域中面目标进行识别确认，给出标签：无人机、飞机、气球，并将结果记录于/>上。
本发明还包括步骤6，重复步骤1至步骤5，将步骤5识别结果记录于目标Tk上，对于点目标识别结果为点目标则输出目标类别为“点目标”，对于面目标识别结果为具体类别，基于训练模型中类别而定例如“无人机”、“飞机”、“气球”等等。
有益效果：本发明显著优点是：
1、全天候、全自动处理红外图像中弱小目标，无人干预。
2、通过图像点面特征的提取融合以及多帧累计分析能够确定潜在目标大致位置，从而确定识别区域ROI，定期进行图像区域识别，有效降低了深度学习检测器对于无目标区域的多余计算，避免了构建全图大尺寸卷积网络，节省了计算资源，大大提高计算效率。
3、对点目标和面目标进行了划分，分别针对点目标、面目标构建小尺寸级别的深度学习卷积神经网络规定了不同的识别粒度，点目标由于面积小特征很少只确定是否为“点目标”，面目标可进行具体类型的识别，使处理结果更加合理。同时利用/>对目标周边小范围ROI区域进行识别，网络卷积网络处理尺寸小，计算速度快，且极大提高了有效目标在输入卷及网络时的图像占比，达到增强弱小目标检测、识别准确度的效果。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
图1a是本发明针对点目标组织训练样本的示意图。
图1b是本发明针对面目标组织训练样本的示意图。
图2a是本发明针对点目标识别效果图。
图2b是本发明针对面目标识别效果图。
具体实施方式
本发明提供了一种地基凝视红外成像弱小目标智能识别方法，具体包括：
(1)利用红外跟踪设备采集视频，获取图像Ik，Ik为视频中第k帧图像，k为视频帧数编号。
红外跟踪设备可以以指定的焦距正对某一探测方向，或者按既定扫描路线周期巡航，也可以与雷达等指引设备联动，本发明针对以上情形，均可对红外跟踪设备采集到的目图像进行实时接收，并基于图像进行数据分析与处理。
(2)对Ik进行当前帧潜在目标分析，分别进行点特征提取、边缘特征提取并进行融合得到Ik帧的潜在目标检测结果集合{Rect1,Rect2,…,Rectr}k。
边缘特征提取方法为：对于原始图像Ik进行算子大小为5的高斯滤波得到图像I′k，对I′k进行边缘检测，采用Canny边缘检测算法进行边缘提取，其中Canny边缘检测算法两个参数HighParam与LowParam确定方法如下，对图像I′k分别利用Sobel算子求取其x方向和y方向倒数图像，并求取每个像素点的一阶范数梯度强度值得到梯度强图像I″k，获取I″k中最大像素点值MaxV，然后对I″k建立直方图Histk，直方图组数为HistSize，设定阈值参数ThresholdEdge(预设0.98)，像素点总数为TotalPix＝Width*Height,(其中Width和Height分别为图像I″k的宽度和高度)计算Histk中每个Bin中的像素个数为binj,j＝1,2,…,HistSize，累计像素点数之和求取一个j的值，使得SumPix≥ThresholdEdge·TotalPix刚好成立，则Canny边缘检测高阈值参数HighParam＝(j+1)·HistSize/MaxV，低阈值参数lowParam＝0.4·HighParam。此后，得到边缘特征二值图对/>以半径为5像素的圆形算子进行膨胀滤波，再以半径为3的圆形算子进行腐蚀，形态学滤波后的二值图/>对/>进行连通域分析，对所有非“0”的联通域进行提取得到连通域轮廓集合{Contour1,Contour2,…,Contourn}k以及轮廓对应的外接矩形集合{CRect1,CRect2,…,CRectn}k。
点特征提取方法为：对于原始图像Ik进行算子大小为3的高斯滤波得到图像I'k'，对I'k'进行ORB点特征提取，得到第k帧图像目标点特征集{Pnt1,Pnt2,…,Pntm}k，对于每一个{Contour1,Contour2,…,Contourn}k中的轮廓，从{Pnt1,Pnt2,…,Pntm}k选择包含于轮廓内的特征点，并构成新点迹集合{CPnt1,CPnt2,…,CPntn}k，其中每个CPnt可能会包含有多个从{Pnt1,Pnt2,…,Pntm}k选择出的Pnt点，最后求{CPnt1,CPnt2,…,CPntn}k的外接矩形得到{PRect1,PRect2,…,PRecto}k。
得到边缘特征和点特征后，对两种特征进行融合合并，具体步骤为，选择{CRect1,CRect2,…,CRectn}k，{PRect1,PRect2,…,PRecto}k中外接矩形的并集，即若CRect矩形区域大于PRect矩形区域,且PRect在CRect内部，则选取PRect，输出而舍弃CRect。得到{Rect1,Rect2,…,Rectp}'k,对{Rect1,Rect2,…,Rectp}'k中的矩形区域计算其宽高比WH_RATIO＝imWidth/imHeight，即矩形宽度除以高度,宽高比一般限定在0.2～5之间，对超过这个范围的Rect进行舍弃，得到最终第k帧潜在目标位置分析结果{Rect1,Rect2,…,Rectr}k
(3)基于连续m帧图像收集到的潜在目标检测结果集合为{Pk-m,Pk-m+1,…,Pk},，(其中m＜k-1)周期的量测，对潜在目标进行多帧数据分析，以位置及形状相关度进行数据稳定性判定，最终获取第k帧图像中潜在候选目标Tk。并基于Tk中的目标平均尺寸信息，将Tk区分为点目标与面目标/>
第k帧时，已积累了连续m帧潜在目标位置分析结果，即：{{Rect1,Rect2,…,Rectr}k-m+1,{Rect1,Rect2,…,Rectr}k-m+2，…，{Rect1,Rect2,…,Rectr}k}，从{Rect1,Rect2,…,Rectr}k-m+1开始，计算后续帧间位置的相关性，用{Rect1,Rect2,…,Rectr}k-m+1中的每一个Rect构建一个候选的潜在目标，得到{CandiT1,CandiT2,…,CandiTr}k-m+1，对于每一个CandiT，从第k-m+1帧开始往后追溯，直到第k帧,追溯方法是对比{CandiT1,CandiT2,…,CandiTr}k-m+1中目标的位置，与{Rect1,Rect2,…,Rectr}k-m+2中的位置，直线像素距离是否小于门限Disgate,Disgate取10～50个像素值。如果存在小于门限的外接矩形，则在CandiT中加入新周期关联点，否则该周期记为空点，如果{Rect1,Rect2,…,Rectr}k-m+2有某个Rect不与{CandiT1,CandiT2,…,CandiTr}k-m+1中任意一个CandiT关联，则该Rect产生一个新的CandiT，并加入候选的潜在目标集合中，得到{CandiT1,CandiT2,…,CandiTr2}k-m+2，依次类推得到{CandiT1,CandiT2,…,CandiTrm}k,检查{CandiT1,CandiT2,…,CandiTrm}k中的目标各个CandiT，对于空点率即空点数除以周期数m，大于ASSOGATE的候选潜在目标进行剔除。剩下的候选潜在目标构成潜在目标集合{T1,T2,…,Ts}k。最后根据T中每一帧关联的Rect的大小取得的区域宽度与区域高度，确定T的尺寸参数，尺寸基于面积进行度量，若尺寸参数小于面积门限AreaGate(一般取5×5)则将T归类为点目标，大于AreaGate则将T归类为面目标。得到点目标与面目标/>潜在区域。
(4)确定感兴趣识别区域{ROIRect1,ROIRect2,…,ROIRectt}k。
对于包含第k帧潜在目标位置信息的集合与/>对于每一个T中包含各目标出现总帧数参数p，T目标每存在一帧p的计数值加1。，当第k帧时，p满足为指定识别周期Period(取50～70)固定周期的整数倍时，以T位置中对应目标为中心，成比例截取图像Ik中的一小部分图像Rk。Rk图像大小对于点目标其宽度高度/>Rk图像大小对于面目标其宽度/>高度/>从而得到ROI区域{ROIRect1,ROIRect2,…,ROIRectt}k
(5)将{ROIRect1,ROIRect2,…,ROIRectt}k区域中图像分为点目标、面目标进行卷积网络目标识别。
对于点目标，构建样本集S点，S点主要包括点目标图像(目标尺寸不超过5×5)，标注框Groundtruth位置作为训练标签，构建YOLOV3卷积网络，设置一个识别类别，即点目标类别，人工标注1000张以上红外点目标样本，包含简单背景、与有云等复杂背景条件下点目标图像，进行训练，直到网络收敛，形成点目标识别分类器。设置分类器输入图像尺寸固定为64×64，形成识别网络可对{ROIRect1,ROIRect2,…,ROIRectt}k区域中点目标进行识别确认，给出标签“点目标”，并将结果记录于/>上。对于过小的目标组织点目标训练样本，对多种点目标人工标注出其位置，示例如子图1a，对于大目标，同样人工标注标注出其位置作为真值，进行监督训练，示例如子图1b。
对于面目标，构建样本集S面，S面主要包括点多个类别感兴趣目标图像(如无人机、飞机、气球等红外成像图)，标注框Groundtruth位置作为训练标签，构建YOLOV3卷积网络，设置N个识别类别,N为感兴趣类别总数，人工标注每个类别1000张以上红外点目标样本，包含简单背景、与有云等复杂背景条件下目标图像，进行训练，直到网络收敛，形成面目标识别分类器。设置分类器输入图像尺寸固定为128×128，形成识别网络可对{ROIRect1,ROIRect2,…,ROIRectt}k区域中面目标进行识别确认，给出标签“无人机”、“飞机”、“气球”等类别标签，并将结果记录于/>上。
对于过小的目标特征不足以识别，但可以识别确认是否为“点目标”,加上“点目标”标签如子图2a，对于具备一定尺寸的目标，面目标识别结果会给出具体类别的标签，并标注上去如子图2b。
本发明提供了一种地基凝视红外成像弱小目标智能识别方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (5)

1.一种地基凝视红外成像弱小目标智能识别方法，其特征在于，包括如下步骤：
步骤1，利用红外跟踪设备采集视频，获取图像Ik，Ik为视频中第k帧图像，k为视频帧数编号；
步骤2，对第k帧图像进行当前帧潜在目标分析，分别进行点特征提取、边缘特征提取并进行融合得到第k帧图像的潜在目标检测结果集合；
步骤3，基于连续m帧图像收集到的潜在目标检测结果集合为{Pk-m,Pk-m+1,…,Pk}，其中Pk为第k帧图像检测结果的集合，即Pk＝{Rect1，Rect2，…Rectn}，Rectn为第n个检测结果，通过在图像中的一个矩形表述，即Rect＝{X,Y,Width,Height}，X、Y分别表示矩形在图像中横坐标位置、纵坐标位置，Width、Height分别代表矩形宽、高；下标m<k-1，对潜在目标进行多帧数据分析，以位置及形状相关度进行数据稳定性判定，最终获取第k帧图像中潜在候选目标Tk；并基于Tk中的目标平均尺寸信息，将Tk区分为点目标与面目标其中/>代表一个点目标多帧累计形成的潜在目标运动轨迹，下标s1代表第k帧共有s1个点目标，/>代表一个面目标多帧累计形成的潜在目标运动轨迹，下标s2代表第k帧共有s2个面目标；
步骤4，确定感兴趣识别区域；
步骤5，将感兴趣识别区域中图像分为点目标、面目标，进行卷积网络目标识别；
步骤3包括：第k帧时，已积累了连续m帧潜在目标位置分析结果，即：{{Rect1,Rect2,…,Rectr}k-m+1,{Rect1,Rect2,…,Rectr}k-m+2，…，{Rect1,Rect2,…,Rectr}k}，从{Rect1,Rect2,…,Rectr}k-m+1开始，计算后续帧间位置的相关性，用{Rect1,Rect2,…,Rectr}k-m+1中的每一个Rectr构建一个候选的潜在目标，得到{CandiT1,CandiT2,…,CandiTr}k-m+1，对于每一个CandiTr，CandiT即候选目标轨迹r，它初始是由{Rect1,Rect2,…,Rectr}k-m+1建立，第二帧之后，为与现有轨迹关联的Rect会初始化为新的候选轨迹，下标r代表了共有r个这样的候选目标轨迹，从第k-m+1帧开始往后追溯，直到第k帧，追溯方法是对比{CandiT1,CandiT2,…,CandiTr}k-m+1中目标的位置，与{Rect1,Rect2,…,Rectr}k-m+2中的位置，直线像素距离是否小于门限Disgate,Disgate，如果存在小于门限的外接矩形，则在CandiTr中加入新周期关联点，否则该周期记为空点，如果{Rect1,Rect2,…,Rectr}k-m+2有一个Rectr不与{CandiT1,CandiT2,…,CandiTr}k-m+1中任意一个CandiTr关联，则该Rectr产生一个新的CandiTr，并加入候选的潜在目标集合中，得到{CandiT1,CandiT2,…,CandiTr2}k-m+2，依次类推得到{CandiT1,CandiT2,…,CandiTrm}k,检查{CandiT1,CandiT2,…,CandiTrm}k中的目标各个CandiTrm，CandiTrm即第k帧时应有的候选潜在目标轨迹，下标rm代表共有rm个候选潜在目标轨迹，用空点数除以周期数m得到空点率，对于空点率大于关联门限ASSOGATE的候选潜在目标进行剔除，剩下的候选潜在目标构成潜在目标集合{T1,T2,…,Ts}k，最后根据Ts中每一帧关联的Rectr的大小取得的区域宽度与区域高度，确定Ts的尺寸参数，尺寸基于面积进行度量，Ts代表一个潜在目标轨迹，下标s代表共有s个这样的潜在目标轨迹，如果Ts面积小于门限AreaGate则将T归类为点目标，大于门限AreaGate则将Ts归类为面目标，得到点目标与面目标/>潜在区域；
步骤4包括：对于包含第k帧潜在目标位置信息的集合与对于每一个Ts中包含各目标出现总帧数参数p，Ts目标每存在一帧p的计数值加1，当第k帧时，p满足为指定识别周期Period固定周期的整数倍时，以Ts位置中对应目标为中心，成比例截取图像Ik中的一小部分图像Rk，对于点目标，Rk图像宽度高度/>其中/>HeightT点分别为Ts对应的点目标最新帧检测结果矩形的宽度和高度；对于面目标，Rk图像宽度/>高度/>其中/>HeightT面分别为Ts对应的面目标最新帧检测结果矩形的宽度和高度，从而得到感兴趣识别区域{ROIRect1,ROIRect2,…,ROIRectt}k，ROIRectt为第K帧的第t个感兴趣区域结果，其结构表征一个矩形区域，下标t代表共有t个这样的感兴趣区域。
2.根据权利要求1所述的方法，其特征在于，步骤2中，边缘特征提取方法为：对于第k帧图像Ik进行算子大小为5的高斯滤波得到图像I′k，对图像I′k进行边缘检测，采用Canny边缘检测算法进行边缘提取，其中Canny边缘检测算法两个参数高阈值参数HighParam与低阈值参数LowParam确定方法如下：对图像I′k分别利用Sobel算子求取其x方向和y方向倒数图像，并求取每个像素点的一阶范数梯度强度值得到梯度强图像I″k，获取I″k中最大像素点值MaxV，然后对梯度强图像I″k建立直方图Histk，直方图组数为HistSize，设定阈值参数ThresholdEdge，像素点总数为TotalPix＝Width*Height，其中Width和Height分别为图像I″k的宽度和高度；计算直方图Histk中每个灰度分隔区间Bin中的像素个数为binj,j＝1,2,…,HistSize，累计像素点数之和求取一个j的值，使得SumPix≥ThresholdEdge·TotalPix刚好成立，则Canny边缘检测高阈值参数HighParam＝(j+1)·HistSize/MaxV，低阈值参数lowParam＝0.4·HighParam，得到边缘特征二值图/>对边缘特征二值图/>以半径为5像素的圆形算子进行膨胀滤波，再以半径为3的圆形算子进行腐蚀，得到形态学滤波后的二值图/>对二值图/>进行连通域分析，对所有非0的联通域进行提取得到连通域轮廓集合{Contour1,Contour2,…,Contourn}k，以及轮廓对应的外接矩形集合{CRect1,CRect2,…,CRectn}k，Contour为一个连通域的外围轮廓，其定义为一组坐标点的集合，即Contourk＝{Pnt1,Pnt2,…Pntm}，Pntm表示第m个图像坐标点，下标k代表轮廓Contour由第k帧图像所提取获得，由X，Y分别表征其在图像中横、纵坐标位置，下标n代表共有n个外围轮廓，CRect是能包裹住Contour中所有点的最小矩形，CRect＝{X,Y,Width,Height}，X，Y表示该矩形在图像中横、纵坐标位置，Width,Height分别代表矩形宽、高。
3.根据权利要求2所述的方法，其特征在于，步骤2中，点特征提取方法为：对于第k帧图像Ik进行算子大小为3的高斯滤波得到图像I″k，对图像I″k进行ORB点特征提取，得到第k帧图像目标点特征集{Pnt1,Pnt2,…,Pntm}k，对于每一个{Contour1,Contour2,…,Contourn}k中的轮廓，从{Pnt1,Pnt2,…,Pntm}k选择包含于轮廓内的特征点，并构成新点迹集合{CPnt1,CPnt2,…,CPntn}k，CPntn表示第n个新点迹，其中每个CPntn可能会包含有两个以上从{Pnt1,Pnt2,…,Pntm}k选择出的点，最后求{CPnt1,CPnt2,…,CPntn}k的外接矩形得到集合{PRect1,PRect2,…,PRecto}k，PRect是能包裹住{CPnt1,CPnt2,…,CPntn}k中所有点的最小矩形，CRect＝{X,Y,Width,Height}，X，Y表示该矩形在图像中横、纵坐标位置，Width,Height分别代表矩形宽、高，下标o代表共有o个这样的矩形。
4.根据权利要求3所述的方法，其特征在于，步骤2中，得到边缘特征和点特征后，对两种特征进行融合合并，具体步骤为：选择{CRect1,CRect2,…,CRectn}k，{PRect1,PRect2,…,PRecto}k中外接矩形的并集，即如果CRectn矩形区域大于PRecto矩形区域，且PRecto在CRectn内部，则选取PRecto并输出，舍弃CRectn，从而得到集合{Rect1,Rect2,…,Rectp}'k，{Rect1,Rect2,…,Rectp}'k为CRect与PRect融合后的外接矩形区域的集合，下标p代表共有p个这样的矩形区域,对{Rect1,Rect2,…,Rectp}'k中的矩形区域计算其宽高比WH_RATIO＝imWidth/imHeight，即矩形宽度imWidth除以高度imHeight，对超过宽高比阈值范围的Rectp进行舍弃，得到最终第k帧潜在目标位置分析结果{Rect1,Rect2,…,Rectr}k，{Rect1,Rect2,…,Rectr}k为在{Rect1,Rect2,…,Rectp}'k基础上过滤后的矩形集合，下标r代表共有r个这样的矩形区域，r≤p。
5.根据权利要求4所述的方法，其特征在于，步骤5包括：
对于点目标，构建样本集S点，样本集S点包括点目标图像，标注框Groundtruth位置作为训练标签，构建YOLOV3卷积网络，设置一个识别类别，即点目标类别，标注N1张以上红外点目标样本，进行训练，直到网络收敛，形成点目标识别分类器；设置点目标识别分类器输入图像尺寸固定为64×64，形成识别网络 对{ROIRect1,ROIRect2,…,ROIRectt}k区域中点目标进行识别确认，给出标签：点目标，并将结果记录于上；
对于面目标，构建样本集S面，样本集S面包括点两个以上类别感兴趣目标图像，标注框Groundtruth位置作为训练标签，构建YOLOV3卷积网络，设置N个识别类别，N为感兴趣类别总数，人标注每个类别N1张以上红外点目标样本，进行训练，直到网络收敛，形成面目标识别分类器；设置面目标识别分类器输入图像尺寸固定为128×128，形成识别网络 对{ROIRect1,ROIRect2,…,ROIRectt}k区域中面目标进行识别确认，给出标签：无人机、飞机、气球，并将结果记录于/>上。
CN202011376400.4A 2020-11-30 2020-11-30 一种地基凝视红外成像弱小目标智能识别方法 Active CN112464933B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011376400.4A CN112464933B (zh) 2020-11-30 2020-11-30 一种地基凝视红外成像弱小目标智能识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011376400.4A CN112464933B (zh) 2020-11-30 2020-11-30 一种地基凝视红外成像弱小目标智能识别方法

Publications (2)

Publication Number Publication Date
CN112464933A CN112464933A (zh) 2021-03-09
CN112464933B true CN112464933B (zh) 2023-08-01

Family

ID=74805040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011376400.4A Active CN112464933B (zh) 2020-11-30 2020-11-30 一种地基凝视红外成像弱小目标智能识别方法

Country Status (1)

Country Link
CN (1) CN112464933B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294478B (zh) * 2022-07-28 2024-04-05 北京航空航天大学 一种应用于现代光电平台的空中无人机目标检测方法
CN116859380B (zh) * 2023-09-05 2023-11-21 长沙隼眼软件科技有限公司 目标航迹的测量方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003277A (zh) * 2017-06-07 2018-12-14 中国航空工业集团公司洛阳电光设备研究所 一种复杂背景下红外弱小目标检测方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8116527B2 (en) * 2009-10-07 2012-02-14 The United States Of America As Represented By The Secretary Of The Army Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003277A (zh) * 2017-06-07 2018-12-14 中国航空工业集团公司洛阳电光设备研究所 一种复杂背景下红外弱小目标检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于粗糙集的红外弱小目标检测方法;杨福刚;孙同景;庞清乐;;红外与激光工程(第05期);全文 *

Also Published As

Publication number Publication date
CN112464933A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN111209810B (zh) 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构
CN103839065B (zh) 人群动态聚集特征提取方法
CN107123131B (zh) 一种基于深度学习的运动目标检测方法
Alidoost et al. A CNN-based approach for automatic building detection and recognition of roof types using a single aerial image
CN111680655A (zh) 一种面向无人机航拍影像的视频目标检测方法
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN111046880A (zh) 一种红外目标图像分割方法、系统、电子设备及存储介质
Zhang et al. Application of deep learning and unmanned aerial vehicle technology in traffic flow monitoring
CN103810717B (zh) 一种人体行为检测方法及装置
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN109948553A (zh) 一种多尺度密集人群计数方法
CN109918971B (zh) 监控视频中人数检测方法及装置
CN112464933B (zh) 一种地基凝视红外成像弱小目标智能识别方法
CN106203237A (zh) 集装箱拖车编号的识别方法和装置
CN109919223B (zh) 基于深度神经网络的目标检测方法及装置
Naufal et al. Preprocessed mask RCNN for parking space detection in smart parking systems
Xing et al. Traffic sign recognition using guided image filtering
Su et al. A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification
CN112037252A (zh) 基于鹰眼视觉的目标跟踪方法及系统
Wu et al. Automatic railroad track components inspection using hybrid deep learning framework
CN113223044A (zh) 一种结合特征聚合和注意力机制的红外视频目标检测方法
CN112465854A (zh) 基于无锚点检测算法的无人机跟踪方法
CN111881984A (zh) 一种基于深度学习的目标检测方法和装置
CN102063726B (zh) 一种运动目标分类方法和系统
CN106548195A (zh) 一种基于改进型hog‑ulbp特征算子的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant