CN111222511A - 一种红外无人机目标检测方法及系统 - Google Patents

一种红外无人机目标检测方法及系统 Download PDF

Info

Publication number
CN111222511A
CN111222511A CN202010283687.XA CN202010283687A CN111222511A CN 111222511 A CN111222511 A CN 111222511A CN 202010283687 A CN202010283687 A CN 202010283687A CN 111222511 A CN111222511 A CN 111222511A
Authority
CN
China
Prior art keywords
image
infrared
target
aerial vehicle
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010283687.XA
Other languages
English (en)
Other versions
CN111222511B (zh
Inventor
李勇
王鲁平
张志勇
梁建雄
丘昌镇
王亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
National Sun Yat Sen University
Original Assignee
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Sun Yat Sen University filed Critical National Sun Yat Sen University
Priority to CN202010283687.XA priority Critical patent/CN111222511B/zh
Publication of CN111222511A publication Critical patent/CN111222511A/zh
Application granted granted Critical
Publication of CN111222511B publication Critical patent/CN111222511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/48—Analysis of texture based on statistical description of texture using fractals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种红外无人机目标检测方法，包括：对采集的红外图像进行预处理获得预处理图像，对预处理图像进行目标聚类获得红外图像中疑似目标的外形及位置；采用差分盒维数法对采集的红外图像进行处理，在图像中包含天空和地面背景时获得分形特征图；利用分形特征图提取出天空与地面的分界线，即天地线；去掉处于天地线以下的全部疑似目标，将天地线以上的天空区域内的疑似目标作为无人机待判目标；根据疑似目标的外形及预处理图像的局部灰度与预设参考特征的相似度判断，在待判目标中识别出无人机目标。并在此基础上，提供一种用于红外无人机目标检测系统，用于解决现有技术中虚警率高、漏检、难以做到实时处理等问题，提高检测能力。

Description

一种红外无人机目标检测方法及系统
技术领域
本发明涉及红外图像目标检测技术领域，具体是一种红外无人机目标检测方法及系统，尤其是针对天地混合背景下的检测。
背景技术
随着无人机技术的不断成熟，无人机在军事、民用上的应用越来越广泛。针对无人机目标的实时探测越来越受到重视。红外成像因不受白天黑夜影响，且探测距离较可见光成像远等优点，成为无人机目标探测的主要选择。但在天地混合背景下，对红外无人机目标的探测存在着地面背景，如山地、建筑等的干扰，天空中存在着云等干扰物的影响，导致这种环境下的无人机红外探测存在虚警率高，漏检等问题。随着对探测能力要求不断提升，高帧频红外视频的处理，使得红外无人机目标的实时处理也成为一个难题。
发明内容
本发明提供一种红外无人机目标检测方法及系统，用于克服现有技术中虚警率高、漏检、做不到实时检测等缺陷，实现降低漏检和虚警率，提高探测能力。
为实现上述目的，本发明提供一种红外无人机目标检测方法，包括：
步骤S1，对采集的红外图像进行预处理获得预处理图像，对预处理图像分割、连通域标记获得红外图像中疑似目标的外形及位置；
步骤S2，对采集的所述红外图像采用差分盒维数法进行处理，在红外图像中包含天空和地面背景时获得分形特征图；利用分形特征图提取出天空与地面的分界线，即天地线；所述步骤S2包括：
步骤S21，将红外图像分成多个
Figure 221741DEST_PATH_IMAGE001
大小的子图像，将每个
Figure 993388DEST_PATH_IMAGE002
的子图像又分成多个
Figure 740764DEST_PATH_IMAGE003
大小的子区域，令尺度系数为：w=s/M，然后计算每个子图像的分形维数D；M、s分别为方形子图像和方形子区域的边长，单位均为像素；
步骤S22，对每个子图像的分形维数用阈值进行二值化处理获得分形特征图；
步骤S23，在分形特征图中，若当前行灰度值为255的白点个数比下一行白点的个数明显小时，则认为当前行为天地交界线；步骤S3，去掉处于天地线以下的全部疑似目标，将天地线以上的天空区域内的疑似目标作为无人机待判目标；
步骤S4，根据疑似目标的外形及预处理图像的局部灰度与预设参考特征的相似度判断，在待判目标中识别出无人机目标。
这里对步骤S4中的外形及局部灰度进行说明。外形特征是指目标面积、长宽比特征，由无人机目标的红外成像外形设定参考取值范围。局部灰度特征是指在以目标自身为中心的局部图像区域中，仅会有一个目标存在，且目标灰度较背景灰度大，目标中灰度值较大的像素点在局部图像中占比较小的特征。
为实现上述目的，本发明还提供一种红外无人机目标实时检测系统，包括DDR存储器，Flash存储器，处理器；所述DDR存储器存储图像数据及处理过程中的图像数据，Flash存储器存储有红外无人机目标检测程序，所述处理器包括以FPGA和多核DSP为核心处理单元的处理电路，在处理器运行所述红外无人机目标检测程序时，执行上述方法的步骤。所述处理器在运行上述程序时充分调动FPGA及多核DSP内部多个处理内核，使之协同工作，确保红外视频流中每帧图像均能实时处理。
本发明提供的红外无人机目标检测方法及系统，通过现有的滤波、阈值二值化等算法对采集的红外图像进行预处理，获得疑似目标的大致外形及位置；通过差分盒维数法对上述图像中的天地线进行提取，并剔除非空域内的疑似目标；最后通过将空域内的疑似目标的外形及局部灰度特征与标准的预设参考特征相比较，将满足预设参考特征的疑似目标保留，其余剔除；上述方法通过天地线的提取，排除了如山地、建筑等的干扰，通过外形、局部灰度特征的比对，降低了天空中云等干扰物的影响，从而解决这种环境下的无人机红外探测虚警率高，漏检等问题，提高探测能力。此外，本发明提供的红外无人机目标检测系统有效利用了FPGA与多核DSP的多个处理内核资源，可满足高帧频红外视频中目标实时检测的需要。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例一提供的红外无人机目标检测方法的流程图；
图2为采集的红外图像；
图3为Top-Hat滤波后的图像；
图4为对Top-Hat滤波后的图像进行二值化后得到的图像；
图5为红外图像的分形特征图；
图6为检测到的目标图像及目标在红外图像中的局部图像；
图7为红外无人机实时检测系统框图；
图8为多核DSP处理流程图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是物理连接或无线通信连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
实施例一
如图1所示，本发明提供一种红外无人机目标检测方法，包括：
步骤S1，对采集的红外图像进行预处理获得预处理图像，对预处理图像进行分割、连通域标记获得红外图像中疑似目标的外形及位置；
对图2所示采集的大小为640×512（方形图像的尺寸，纵向长度为640个像素，横向尺寸为512个像素）的红外图像进行滤波等预处理获得预处理图像，然后再通过目标聚类算法对预处理图像进行目标聚类分析计算，获得红外图像中疑似目标的外形及位置；在本发明一实施例中，通过对红外图像采用Top-Hat滤波算法进行预处理后的图像进行阈值分割获得包含目标的二值图像。对二值图像进行连通域标记，然后通过目标聚类确定所有疑似目标的外形和形心的坐标。
需要说明的是，Top-Hat滤波算法的过程是求原图与对原图进行开运算的结果之差。这里的原图指的是采集的红外图像，滤波算法运算的对象为红外图像像素灰度值，开运算是数学形态学中具有确切含义的计算，开运算定义为先腐蚀后膨胀。腐蚀就是求局部图像像素灰度值的最小值，膨胀就是求局部图像像素灰度值的最大值。开运算可以去掉图像中细微的连接，可将细微粘连在一起的目标分开。所以Top-Hat滤波算法具有高通滤波特性，能突出图像中比周围亮，且尺寸小的目标，对云等平缓背景有很好的抑制效果。红外图像中红无人机目标具有尺寸小，像素灰度值较周围局部区域高的特点。所以Top-Hat滤波算法适合于红外图像中无人机目标的检测。相比高斯差分、Gabor算法、中值滤波等其他目标检测滤波算法，Top-Hat滤波效果较好，且运算简单，容易使用FPGA实现，尤其适用于对算法实时性要求高的系统。
所述步骤S1包括：
步骤S11，采用Top-Hat滤波算法对图2所示红外图像进行滤波处理，获得Top-Hat滤波图像，如图3所示；
所述步骤S11包括：
使用3×3的方形结构算子
Figure 154428DEST_PATH_IMAGE004
遍历整个红外图像进行一次开运算，然后用采集的原图像素灰度值与进行一次开运算后的图像像素灰度值相减得到Top-Hat滤波图像，如图3所示；图3是经过Top-hat滤波后的图像，由于经过Top-hat滤波后的图像是原图像素灰度与开运算结果之差，导致所得图像像素大部分区域灰度值较小，呈现出“漆黑”状，难以分辨。在本例中由于无人机离红外相机较远。红外图像中无人机目标尺寸小，灰度不高，但目标在图像中灰度值比周围区域仍要高一些，所以从图3中依然能分辨出目标及地表的轮廓。
步骤S12，对滤波处理后的图像进行阈值分割获得包含目标的二值图像，如图4所示；
所述步骤S12包括：
将滤波图像分割成若干个128×128（指方形图像尺寸大小，纵向和横向长度均为128个像素）大小的区域，计算每个区域内预处理图像像素灰度值的均值
Figure 772491DEST_PATH_IMAGE005
和均方差
Figure 246198DEST_PATH_IMAGE006
，根据公式：
Figure 215291DEST_PATH_IMAGE007
获得阈值；其中
Figure 167066DEST_PATH_IMAGE008
根据实际场景进行调整，这里取1.2。对大于阈值
Figure 675189DEST_PATH_IMAGE009
的Top-Hat结果，灰度值赋值255；对小于或等于阈值
Figure 788638DEST_PATH_IMAGE009
的Top-Hat结果，灰度值赋值0；得到阈值分割后的二值图像如图4所示；分割成的区域的形状为方形，边长为128像素；k 1 为设定的常数；目的在于除去与目标灰度值相差较大的部分；留下与目标灰度值相近的像素点或区域；疑似目标灰度都是255，便于连通域分析；所以经过阈值分割后将图3中大部分与疑似目标灰度值相差较大的图像过滤掉了，留下的是与疑似目标灰度值相差不多的区域，图4中呈现零散的点状分布，并将其灰度值均赋值为255，便于下面的连通域分析；
步骤S13，对二值图像进行连通域标记，确定所有疑似目标的外形和形心坐标。
步骤S13包括：对二值图像中灰度值为255的所有疑似目标，标记疑似目标所在每一行的行数、起始列数；通过分析连通域的每一行的行数、起始列数，得到疑似目标的长度、宽度、面积、形心坐标。
步骤S2，对采集的所述红外图像采用差分盒维数法进行处理，在红外图像中包含天空和地面背景时获得分形特征图；利用分形特征图提取出天空与地面的分界线，即天地线；
所述步骤S2包括：
步骤S21，将图像分成多个
Figure 979448DEST_PATH_IMAGE010
大小的子图像，将每个
Figure 734915DEST_PATH_IMAGE011
大小的子图像又分成多个
Figure 327570DEST_PATH_IMAGE012
大小的子区域，令尺度系数为w=s/M，然后计算每个子图像的分形维数，M、s分别为方形子图像和方形子区域的边长，这里
Figure 877500DEST_PATH_IMAGE013
取9，
Figure 555606DEST_PATH_IMAGE014
取3；单位均为像素；
所述步骤S21中计算子图像分形维数的步骤包括：
步骤S211，将子图像看成三维空间上的曲面，
Figure 849184DEST_PATH_IMAGE015
为曲面在水平面上的投影平面坐标，
Figure 561925DEST_PATH_IMAGE016
为灰度值，将子图像投影平面划分成若干个大小为
Figure 282757DEST_PATH_IMAGE017
的小方格；
步骤S212，在每个小方格上堆积若干个大小为
Figure 448159DEST_PATH_IMAGE018
的小立方体以覆盖图像曲面；
步骤S213，在底为
Figure 279849DEST_PATH_IMAGE019
一个小方格的空间区域里，图像最大灰度值和最小灰度值分别落在第
Figure 82982DEST_PATH_IMAGE020
个立方体和第
Figure 240294DEST_PATH_IMAGE021
个立方体中，L等于灰度最大值除以s，K等于灰度最大值除以s，子图像中
Figure 892992DEST_PATH_IMAGE022
子区域最大灰度值和最小灰度值通过对采集的图像进行计算获得，则覆盖该方格
Figure 528373DEST_PATH_IMAGE023
图像曲面需要的立方体数定义为：
Figure 215706DEST_PATH_IMAGE024
，其中i,j表示s×s大小的小方格在M×M大小的子图像中的位置索引，r代表M×M子图像中的第r个s×s小方格，r为1~R的自然数，R为M×M子图像中划分的
Figure 278340DEST_PATH_IMAGE025
子区域的数量；整个
Figure 418334DEST_PATH_IMAGE026
子图像曲面需要的立方体个数为
Figure 122985DEST_PATH_IMAGE027
，
Figure 664825DEST_PATH_IMAGE028
子图像的分形维数为：
Figure 928053DEST_PATH_IMAGE029
；M、s分别为方形子图像和小方格的边长，单位均为像素。
步骤S22，对每个子图像的分形维数用阈值进行二值化处理获得二值化的分形特征图，如图5所示；所述步骤S22包括：
步骤S221，求完所有子图像的分形维数后，求得所有分形维数的均值
Figure 289765DEST_PATH_IMAGE030
为3.219，均方差
Figure 1369DEST_PATH_IMAGE031
为0.2645，利用公式
Figure 663294DEST_PATH_IMAGE032
求得阈值
Figure 67731DEST_PATH_IMAGE033
为3.5628，k 2 为设定的常数；这里
Figure 182317DEST_PATH_IMAGE034
取1.3；
步骤S222，对每个子图像的分形维数用阈值
Figure 697612DEST_PATH_IMAGE035
进行二值化处理，分形维数大于
Figure 214044DEST_PATH_IMAGE035
，则该子图像赋值255，否则，赋值0，得到分形处理后的分形特征图
Figure 789382DEST_PATH_IMAGE036
，如图5所示；
步骤23，在分形特征图中，若当前行灰度值为255的白点个数比下一行白点的个数明显小时，则认为当前行为天地交界线。
所述步骤23包括：
步骤S231，统计分形特征图每一行中灰度值为255的像素点的个数
Figure 391265DEST_PATH_IMAGE037
,其中
Figure 710251DEST_PATH_IMAGE038
为分形特征图的行数，最大为640；
步骤S232，对分形特征图从上至下，判断当前行的
Figure 582654DEST_PATH_IMAGE039
与下一行的
Figure 328893DEST_PATH_IMAGE040
，如果
Figure 152493DEST_PATH_IMAGE041
较
Figure 540749DEST_PATH_IMAGE042
出现较大增长，即
Figure 500614DEST_PATH_IMAGE043
，
Figure 417755DEST_PATH_IMAGE044
取50（也可根据具体图像场景选择）。则认为当前行
Figure 994230DEST_PATH_IMAGE045
为天地交界线的位置，本例中，
Figure 655018DEST_PATH_IMAGE046
,
Figure 469390DEST_PATH_IMAGE047
,
Figure 823011DEST_PATH_IMAGE048
，并最终将
Figure 621203DEST_PATH_IMAGE049
作为所求的天地线，其中
Figure 312779DEST_PATH_IMAGE050
取常量30，作为设定的余量以抵消通过分形特征图求出的天地线的误差。
步骤S3，去掉处于天地线以下的全部疑似目标，将天地线以上的天空区域内的疑似目标作为待判目标；在图4中，按照从图5中提取的天地线位置将其上方的区域作为疑似目标判断区域，将其下方的区域的疑似目标直接去掉，从图4中可以看出，底部的若干白点均可以通过天地线作为界限被去掉，剩下一个较大的白点和三个较小的白点为疑似目标；
步骤S4，根据疑似目标的外形及预处理图像的局部灰度与预设参考特征的相似度判断，在待判目标中识别出无人机目标。所述步骤4包括：
步骤S41，将步骤1中得到的疑似目标面积
Figure 247237DEST_PATH_IMAGE051
满足
Figure 37338DEST_PATH_IMAGE052
，且长宽比
Figure 791668DEST_PATH_IMAGE053
满足
Figure 59838DEST_PATH_IMAGE054
的作为目标保留，其余去掉；三个较小的白点的面积不在设定的面积范围内，因此可以去掉；
步骤S42，对执行完S41步骤后剩下的目标逐一判断，判断以目标为中心的32×32（32的单位为像素）正方形邻域内是否还存在多个目标，如果有，只选择其中一个目标作为本正方形邻域内的候选目标，此判断的依据是在一个小范围内只会存在一个目标，不会密集出现多个目标；
步骤S43，对执行完步骤S42后，剩下的候选目标做最后一次确认，在本例中，如图6所示的红框中目标为最终剩下的候选目标。通常认为目标在以自身为中心的局部图像里属于灰度值较背景图像大的部分，且目标灰度值较大的像素点在局部图像中占比相对较小。这也是做本次判断的依据。所述步骤43包括：
步骤S431，计算以目标坐标（162,76）为中心的
Figure 114382DEST_PATH_IMAGE055
(方形图像尺寸，A为图像的纵向和横向长度，这里取32个像素，记为32×32)大小的局部图像
Figure 544226DEST_PATH_IMAGE056
，如图6中框内的放大图所示，中像素灰度最大值
Figure 51431DEST_PATH_IMAGE057
为117、均值
Figure 857713DEST_PATH_IMAGE058
为58；
步骤S432，依据公式
Figure 766763DEST_PATH_IMAGE059
，得到
Figure 633088DEST_PATH_IMAGE060
为87.5，统计
Figure 362009DEST_PATH_IMAGE061
中像素灰度值大于
Figure 739026DEST_PATH_IMAGE062
的像素点的个数为
Figure 502583DEST_PATH_IMAGE063
为10，依据
Figure 274230DEST_PATH_IMAGE064
得到
Figure 21606DEST_PATH_IMAGE065
为0.0098；T为像素灰度阈值，
Figure 435270DEST_PATH_IMAGE066
是指局部图像
Figure 53333DEST_PATH_IMAGE067
中像素灰度值大于T 的像素数量在
Figure 995881DEST_PATH_IMAGE068
中的占比；
步骤S433，这里设定
Figure 699395DEST_PATH_IMAGE069
为0.15，则
Figure 651170DEST_PATH_IMAGE070
，判断该候选目标为无人机目标。这里主要考虑到对于无人机目标在局部图像中属于灰度值较大的部分，但所占像素较少。图像中云层边缘部分易判断为虚警，在局部图像中属于灰度值较大的部分但所占像素较多。通过设置
Figure 389319DEST_PATH_IMAGE071
得较小，可以有效将无人机目标和云层边缘虚假区分开。图4中只剩下左上角一个较大白点符合阈值判断结果，作为无人机目标，输出其坐标，并映射到原图中相应位置，具体参见图6中的方框。
为统一参考坐标系，所述步骤S1和步骤S2中的处理对象为同一时刻采集的红外图像，且像素大小相同，均以同一时刻采集的相同像素的红外图像的成像坐标系作为参考坐标系，以准确剔除非空域内的疑似目标。
实施例二
如图7所示，在实施例一的基础上，本发明实施例提供一种红外无人机目标实时检测系统，在该系统中，稳压电源1为处理器4提供稳定的工作电源，时钟模块2为处理器4提供工作时钟，DDR存储器3存储图像数据，Flash存储器7存储无人机目标检测程序。处理器4包括FPGA 5和多核DSP 6，其中FPGA 5负责图像的采集与传输，图像的预处理、通信指令的收发。多核DSP 6负责目标的判断、目标位置的解算。图像输入输出接口8与FPGA 5相连，图像经过图像输入输出接口8从相机被FPGA 5采集处理，同时通信也由FPGA 5输出送至外部设备，如显示器等。通信输入输出接口9与FPGA 5相连，外部通信命令通过通信输入输出接口9与被FPGA 5 接收，然后转发给多核DSP 6，多核DSP 6完成目标检测任务后将目标信息通过FPGA5再经过通信输入输出接口9送至外部设备。
FPGA采用采用Xilinx公司的XC7K325T，多核DSP6采用TI公司的TMS320C6678。通过合理分配FPGA5与多核DSP6之间的任务可实现对红外目标的实时检测。具体是，FPGA5在收到图像后，对图像进行预处理，包括对图像进行Top-Hat滤波处理，对Top-Hat滤波后的图像进行阈值分割形成二值图，二值图的连通域标记也由FPGA5完成。FPGA5将标记好的连通域信息通过多核DSP6与FPGA5之间的EMIF接口送至多核DSP6。由于FPGA5具有高速并行处理的特点，FPGA5在进行上述预处理的同时，也进行差分盒维数法求图像的分形维数的计算，对分形维数进行阈值分割得到二值化的分形维特征图，统计分形特征图中每一行的灰度值为255的像素点的个数，并通过EMIF接口送至多核DSP6。多核DSP6在收到FPGA5送来的连通域信息的同时也收到FPGA5送来的分形特征图中每一行的灰度值为255的像素的个数数据。然后多核DSP6依次解算天地线的位置，分析连通域信息，获得目标坐标、面积、长宽比等参数，利用目标外形、局部灰度特征与预设的参考特征比对进行筛选并结合天地线的位置判断，最终得到所需目标。
多核DSP6具有8个计算性能相同的处理内核，分别是核0，核1，核2，核3，核4，核5，核6，核7，核0依次将接到的相邻帧图像及待处理数据指派给不同的处理内核处理。实现对数帧图像的并行检测。这里同一时刻并行处理的图像帧的数量为3。可根据实际情况调整最多至同时处理8帧图像。如图8所示，为多核DSP6处理流程图，具体步骤为：
步骤S101：FPGA对每帧图像赋予一个唯一的帧号
Figure 768348DEST_PATH_IMAGE072
，
Figure 959158DEST_PATH_IMAGE073
为从1开始随着每帧图像的到来依次累加1的正整数，此帧号也和该帧图像的连通域信息及分形特征图中每一行的灰度值为255的像素的个数数据唯一对应，这里把这些信息称为待DSP处理数据。
步骤S102：DSP核0接收FPGA发送来的图像、待DSP处理数据及图像帧号。
步骤S103：核0求图像帧号除以3的余数的值。
步骤S104：核0判断接收到的图像帧号是否为
Figure 449045DEST_PATH_IMAGE074
，这里
Figure 805815DEST_PATH_IMAGE075
为正整数。
步骤S105：若核0接收到的图像帧号为
Figure 355745DEST_PATH_IMAGE076
，则核0将接收的图像及待DSP处理数据分配给自己处理，否则执行步骤S107。
步骤S106：核0完成目标检测任务并将检测到的目标输出。
步骤S107：核0判断接收到的图像帧号是否为
Figure 768272DEST_PATH_IMAGE077
。
步骤S108：若核0接收到的图像帧号为
Figure 61850DEST_PATH_IMAGE077
，则核0将接收的图像及待DSP处理数据分配给核1处理，否则执行步骤S110。
步骤S109：核1完成目标检测任务并将检测到的目标输出。
步骤S110：核0判断接收到的图像帧号为
Figure 509012DEST_PATH_IMAGE078
。
步骤S111：若核0将帧号为
Figure 495422DEST_PATH_IMAGE078
，则核0将接收的图像及待DSP处理数据分配给核2处理，否则执行S102。
步骤S112：核2完成目标检测任务并将检测到的目标输出。
DSP通过执行上述流水线式数据处理流程，可使每帧图像DSP可用处理时间达到
Figure 660824DEST_PATH_IMAGE079
，其中
Figure 758093DEST_PATH_IMAGE080
为图像帧频。从而达到复杂背景下高帧频红外图像中无人机目标实时检测，减少漏检的目的。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (9)

1.一种红外无人机目标检测方法，其特征在于，包括：
步骤S1，对采集的红外图像进行预处理获得预处理图像，对预处理图像分割、连通域标记获得红外图像中疑似目标的外形及位置；
步骤S2，对采集的所述红外图像采用差分盒维数法进行处理，在所述红外图像中包含天空和地面背景时获得分形特征图；利用分形特征图提取出天空与地面的分界线，即天地线；所述步骤S2包括：
步骤S21，将红外图像分成多个
Figure 631905DEST_PATH_IMAGE001
大小的子图像，将每个
Figure 789217DEST_PATH_IMAGE001
的子图像又分成多个
Figure 176336DEST_PATH_IMAGE002
大小的子区域，令尺度系数为：w=s/M，然后计算每个子图像的分形维数D；M、s分别为方形子图像和方形子区域的边长，单位均为像素；
步骤S22，对每个子图像的分形维数用阈值进行二值化处理获得分形特征图；
步骤S23，在分形特征图中，若当前行灰度值为255的白点个数比下一行白点的个数明显小时，则认为当前行为天地交界线；
步骤S3，去掉处于天地线以下的全部疑似目标，将天地线以上的天空区域内的疑似目标作为待判目标；
步骤S4，根据疑似目标的外形及预处理图像的局部灰度与预设参考特征的相似度判断，在待判目标中识别出无人机目标。
2.如权利要求1所述的红外无人机目标检测方法，其特征在于，所述步骤S1包括：
步骤S11，采用Top-Hat滤波算法对红外图像进行滤波处理，获得Top-Hat滤波图像即预处理图像；
步骤S12，对Top-Hat滤波图像进行阈值分割获得二值图像；
步骤S13，对二值图像进行连通域标记，确定所有疑似目标的外形和形心坐标。
3.如权利要求2所述的红外无人机目标检测方法，其特征在于，所述步骤S11包括：
使用3×3的方形算子遍历整个原图像进行一次开运算，然后用原图像素的灰度值与一次开运算后的图像像素灰度值相减得到Top-Hat滤波图像；
所述步骤S12包括：
将Top-Hat滤波图像分割成若干个128×128大小的区域，计算每个区域内图像像素灰度值的均值
Figure 77296DEST_PATH_IMAGE003
和均方差
Figure 499050DEST_PATH_IMAGE004
，根据公式：
Figure 561684DEST_PATH_IMAGE005
获得阈值；对大于阈值
Figure 701678DEST_PATH_IMAGE006
的Top-Hat结果，灰度值赋值255；对小于或等于阈值
Figure 140750DEST_PATH_IMAGE007
的Top-Hat结果，灰度值赋值0；得到阈值分割后的二值图像；分割成的区域的形状为方形，边长为128像素；k 1 为设定的常数；
步骤S13包括：对二值图像中灰度值为255的所有疑似目标，标记疑似目标所在每一行的行数、起始列数；通过分析连通域的每一行的行数、起始列数，得到疑似目标的长度、宽度、面积、形心坐标。
4.如权利要求1所述的红外无人机目标检测方法，其特征在于，所述步骤S21中对子图像的分形维数的计算步骤包括：
步骤S211，将子图像看成三维空间上的曲面，
Figure 417010DEST_PATH_IMAGE008
为曲面在水平面上的投影平面坐标，
Figure 417590DEST_PATH_IMAGE009
为灰度值，将子图像投影平面划分成若干个大小为
Figure 779301DEST_PATH_IMAGE010
的小方格；
步骤S212，在每个小方格上堆积若干个大小为
Figure 756484DEST_PATH_IMAGE011
的小立方体以覆盖图像曲面；
步骤S213，在底为
Figure 418410DEST_PATH_IMAGE012
一个小方格的空间区域里，图像最大灰度值和最小灰度值分别落在第
Figure 822846DEST_PATH_IMAGE013
个立方体和第
Figure 671854DEST_PATH_IMAGE014
个立方体中，则覆盖该方格
Figure 452728DEST_PATH_IMAGE015
图像曲面需要的立方体数为：
Figure 703581DEST_PATH_IMAGE016
，整个子图像曲面需要的立方体个数为：
Figure 544498DEST_PATH_IMAGE017
，子图像的分形维数为：
Figure 615222DEST_PATH_IMAGE018
；
L等于灰度最大值除以s，K等于灰度最大值除以s，子图像中
Figure 934208DEST_PATH_IMAGE019
子区域的最大灰度值和最小灰度值通过对采集的图像进行计算获得；i,j表示s×s大小的小方格在M×M大小的子图像中的位置索引，r代表M×M子图像中的第r个s×s小方格，r为1~R的自然数，R为M×M子图像中划分的
Figure 803681DEST_PATH_IMAGE020
子区域的数量，w=s/M；M、s分别为方形子图像和小方格的边长，单位均为像素。
5.如权利要求4所述的红外无人机目标检测方法，其特征在于，所述步骤S22包括：
步骤S221，求完所有子图像的分形维数后，求得所有分形维数的均值
Figure 549920DEST_PATH_IMAGE021
和均方差
Figure 373520DEST_PATH_IMAGE022
，利用公式
Figure 496197DEST_PATH_IMAGE023
求得阈值
Figure 721642DEST_PATH_IMAGE024
；k 2 为设定的常数；
步骤S222，对每个子图像的分形维数用阈值
Figure 638782DEST_PATH_IMAGE025
进行二值化处理，分形维数大于
Figure 684099DEST_PATH_IMAGE025
，则该子图像赋值255，否则，赋值0，得到分形处理后的结果图
Figure 610466DEST_PATH_IMAGE026
；
所述步骤S23包括：
步骤S231，统计结果图
Figure 690418DEST_PATH_IMAGE026
的每一行中灰度值为255的像素点的个数
Figure 44039DEST_PATH_IMAGE027
，其中
Figure 576651DEST_PATH_IMAGE028
为分形特征图的行数；
步骤232，对结果图
Figure 41131DEST_PATH_IMAGE026
从上至下，判断当前行的
Figure 975589DEST_PATH_IMAGE027
与下一行的
Figure 1576DEST_PATH_IMAGE029
，如果
Figure 21484DEST_PATH_IMAGE030
较
Figure 289654DEST_PATH_IMAGE031
出现较大增长，即
Figure 78619DEST_PATH_IMAGE032
则认为当前行
Figure 774042DEST_PATH_IMAGE033
为天地交界线，并最终将
Figure 281247DEST_PATH_IMAGE034
作为所求的天地线，其中
Figure 87529DEST_PATH_IMAGE035
为大于0的常量，
Figure 731000DEST_PATH_IMAGE036
为设定的阈值。
6.如权利要求3所述的红外无人机目标检测方法，其特征在于，所述步骤S4包括：
步骤S41，由步骤1获得每个疑似目标的面积
Figure 597325DEST_PATH_IMAGE037
、长宽比
Figure 591826DEST_PATH_IMAGE038
，对面积满足
Figure 201799DEST_PATH_IMAGE039
，且长宽比满足
Figure 699776DEST_PATH_IMAGE040
的疑似目标保留，其余疑似目标去掉，其中
Figure 737002DEST_PATH_IMAGE041
,
Figure 723194DEST_PATH_IMAGE042
,
Figure 871278DEST_PATH_IMAGE043
均为结合无人机在红外图像中的实际形状设定的大于0的常量；
步骤S42，对执行完步骤41后剩下的目标逐一判断，若该目标邻域存在多个目标时，只选一个目标作为候选目标保留，其余均不作为候选目标；
步骤S43，在保留的候选目标所在局部图像里灰度值较大的像素点数量在局部图像总像素个数的占比小于或等于阈值时确认为无人机目标，否则认为是虚警并从候选目标中去掉。
7.如权利要求6所述的红外无人机目标检测方法，其特征在于，所述步骤S43包括：
步骤S431，计算以候选目标坐标为中心的
Figure 754921DEST_PATH_IMAGE044
的局部图像
Figure 963048DEST_PATH_IMAGE045
中像素灰度值的最大值
Figure 666562DEST_PATH_IMAGE046
、均值
Figure 618337DEST_PATH_IMAGE047
；A为方形的局部图像
Figure 356486DEST_PATH_IMAGE048
的长度，单位为像素；
步骤S432，依据公式
Figure 735515DEST_PATH_IMAGE049
，统计局部图像
Figure 926325DEST_PATH_IMAGE050
中像素灰度值大于
Figure 416212DEST_PATH_IMAGE051
的像素点的个数为
Figure 274447DEST_PATH_IMAGE052
，计算大于
Figure 558797DEST_PATH_IMAGE053
的像素数量在
Figure 3948DEST_PATH_IMAGE054
中的占比，得到
Figure 297526DEST_PATH_IMAGE055
； T为像素灰度阈值，
Figure 744687DEST_PATH_IMAGE056
是指局部图像
Figure 465519DEST_PATH_IMAGE057
中像素灰度值大于T 的像素数量在
Figure 630921DEST_PATH_IMAGE058
中的占比；
步骤S433，若
Figure 728190DEST_PATH_IMAGE059
，判断该疑似目标为无人机目标，否则为虚警,
Figure 295438DEST_PATH_IMAGE060
为设定的阈值。
8.如权利要求1所述的红外无人机目标检测方法，其特征在于，所述步骤S1和步骤S2中的处理对象为同一时刻采集的红外图像，且像素大小相同。
9.一种红外无人机目标检测系统，包括DDR存储器，Flash存储器，处理器；所述DDR存储器存储图像数据及处理过程中的图像数据，Flash存储器存储有红外无人机目标检测程序，所述处理器包括以FPGA和多核DSP为核心处理单元的处理电路，在处理器运行所述红外无人机目标检测程序时，执行权利要求1~8任一项所述方法的步骤。
CN202010283687.XA 2020-04-13 2020-04-13 一种红外无人机目标检测方法及系统 Active CN111222511B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010283687.XA CN111222511B (zh) 2020-04-13 2020-04-13 一种红外无人机目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010283687.XA CN111222511B (zh) 2020-04-13 2020-04-13 一种红外无人机目标检测方法及系统

Publications (2)

Publication Number Publication Date
CN111222511A true CN111222511A (zh) 2020-06-02
CN111222511B CN111222511B (zh) 2020-07-24

Family

ID=70827299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010283687.XA Active CN111222511B (zh) 2020-04-13 2020-04-13 一种红外无人机目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN111222511B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597905A (zh) * 2020-12-25 2021-04-02 北京环境特性研究所 一种基于天际线分割的无人机检测方法
US20220121850A1 (en) * 2020-10-19 2022-04-21 Aurora Flight Sciences Corporation, a subsidiary of The Boeing Company Above-horizon target tracking
CN116503407A (zh) * 2023-06-28 2023-07-28 无锡日联科技股份有限公司 图像中异物区域的检测方法、装置及电子设备
CN116912178A (zh) * 2023-06-26 2023-10-20 成都理工大学 导线表面痕迹识别方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02191086A (ja) * 1989-01-20 1990-07-26 Ricoh Co Ltd 最適２値化方法
CN103679128A (zh) * 2012-09-24 2014-03-26 中国航天科工集团第二研究院二O七所 一种抗云层干扰的飞机目标检测方法
US20160093034A1 (en) * 2014-04-07 2016-03-31 Steven D. BECK Contrast Based Image Fusion
CN105931235A (zh) * 2016-04-18 2016-09-07 电子科技大学 一种基于复数Scharr滤波器的海空红外图像弱小目标检测方法
CN108288030A (zh) * 2017-12-29 2018-07-17 华中科技大学 一种机载红外小目标检测识别实时处理系统和方法
US20180218513A1 (en) * 2017-02-02 2018-08-02 Intel Corporation Method and system of automatic object dimension measurement by using image processing
CN108520255A (zh) * 2018-04-20 2018-09-11 北京环境特性研究所 一种红外弱小目标检测方法及装置
US20180286059A1 (en) * 2017-04-04 2018-10-04 Rolls-Royce Plc Determining surface roughness
CN109658429A (zh) * 2018-12-21 2019-04-19 电子科技大学 一种基于边界分维数的红外图像卷云检测方法
CN109740445A (zh) * 2018-12-13 2019-05-10 天津津航技术物理研究所 一种变尺寸的红外弱小目标检测方法
CN109961065A (zh) * 2017-12-25 2019-07-02 中国科学院沈阳自动化研究所 一种海面舰船目标检测方法
CN110020607A (zh) * 2019-03-13 2019-07-16 河海大学 一种基于空间分维理论寻找相似流域的方法
CN110059640A (zh) * 2019-04-22 2019-07-26 长光卫星技术有限公司 基于光学遥感卫星近红外谱段的海面船舶在轨识别方法
CN110929574A (zh) * 2019-10-21 2020-03-27 中国电子科技集团公司第二十八研究所 一种红外弱小目标快速检测方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02191086A (ja) * 1989-01-20 1990-07-26 Ricoh Co Ltd 最適２値化方法
CN103679128A (zh) * 2012-09-24 2014-03-26 中国航天科工集团第二研究院二O七所 一种抗云层干扰的飞机目标检测方法
US20160093034A1 (en) * 2014-04-07 2016-03-31 Steven D. BECK Contrast Based Image Fusion
CN105931235A (zh) * 2016-04-18 2016-09-07 电子科技大学 一种基于复数Scharr滤波器的海空红外图像弱小目标检测方法
US20180218513A1 (en) * 2017-02-02 2018-08-02 Intel Corporation Method and system of automatic object dimension measurement by using image processing
US20180286059A1 (en) * 2017-04-04 2018-10-04 Rolls-Royce Plc Determining surface roughness
CN109961065A (zh) * 2017-12-25 2019-07-02 中国科学院沈阳自动化研究所 一种海面舰船目标检测方法
CN108288030A (zh) * 2017-12-29 2018-07-17 华中科技大学 一种机载红外小目标检测识别实时处理系统和方法
CN108520255A (zh) * 2018-04-20 2018-09-11 北京环境特性研究所 一种红外弱小目标检测方法及装置
CN109740445A (zh) * 2018-12-13 2019-05-10 天津津航技术物理研究所 一种变尺寸的红外弱小目标检测方法
CN109658429A (zh) * 2018-12-21 2019-04-19 电子科技大学 一种基于边界分维数的红外图像卷云检测方法
CN110020607A (zh) * 2019-03-13 2019-07-16 河海大学 一种基于空间分维理论寻找相似流域的方法
CN110059640A (zh) * 2019-04-22 2019-07-26 长光卫星技术有限公司 基于光学遥感卫星近红外谱段的海面船舶在轨识别方法
CN110929574A (zh) * 2019-10-21 2020-03-27 中国电子科技集团公司第二十八研究所 一种红外弱小目标快速检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张福俊等: "改进分形法结合局部熵的红外小目标检测方法", 《中国体视学与图像分析》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220121850A1 (en) * 2020-10-19 2022-04-21 Aurora Flight Sciences Corporation, a subsidiary of The Boeing Company Above-horizon target tracking
CN112597905A (zh) * 2020-12-25 2021-04-02 北京环境特性研究所 一种基于天际线分割的无人机检测方法
CN116912178A (zh) * 2023-06-26 2023-10-20 成都理工大学 导线表面痕迹识别方法
CN116912178B (zh) * 2023-06-26 2024-05-24 成都理工大学 导线表面痕迹识别方法
CN116503407A (zh) * 2023-06-28 2023-07-28 无锡日联科技股份有限公司 图像中异物区域的检测方法、装置及电子设备
CN116503407B (zh) * 2023-06-28 2023-10-20 无锡日联科技股份有限公司 图像中异物区域的检测方法、装置及电子设备

Also Published As

Publication number Publication date
CN111222511B (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN111222511B (zh) 一种红外无人机目标检测方法及系统
CN106650640B (zh) 一种基于激光雷达点云局部结构特征的负障碍物检测方法
Qin et al. A hierarchical building detection method for very high resolution remotely sensed images combined with DSM using graph cut optimization
US8472699B2 (en) Arrangement and method for three-dimensional depth image construction
CN107563413B (zh) 无人机航拍影像农田块对象精准提取方法
CN110415208B (zh) 一种自适应目标检测方法及其装置、设备、存储介质
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
WO2010034065A1 (en) Detection of vehicles in an image
CN110175556B (zh) 基于Sobel算子的遥感图像云检测方法
CN113537049B (zh) 地面点云数据处理方法、装置、终端设备及存储介质
US11804025B2 (en) Methods and systems for identifying topographic features
CN114842262A (zh) 融合线路通道正射影像的激光点云地物自动识别方法
Ngo et al. Automatic rectangular building detection from VHR aerial imagery using shadow and image segmentation
CN115311623A (zh) 一种基于红外热成像的设备漏油检测方法及系统
CN111881801A (zh) 基于不变检测策略的新增建设用地遥感监测方法及设备
Raikar et al. Automatic building detection from satellite images using internal gray variance and digital surface model
CN104036295A (zh) 多光谱遥感影像道路中心线自动检测方法
CN116128916B (zh) 一种基于空间能流对比度的红外弱小目标增强方法
CN110765875B (zh) 交通目标的边界检测方法、设备及装置
CN111695374B (zh) 监控视角中斑马线区域的分割方法、系统、介质及设备
CN109784229B (zh) 一种地面建筑物数据融合的复合识别方法
CN107169533B (zh) 一种超像素的概率因子tmf的sar图像海岸线检测算法
CN116092035A (zh) 车道线检测方法、装置、计算机设备和存储介质
CN114022753B (zh) 基于显著性和边缘分析的对空小目标检测算法
CN115063698A (zh) 斜坡地表变形裂缝自动识别与信息提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant