CN110321888B - 一种基于fpga的星载红外小目标检测方法 - Google Patents

一种基于fpga的星载红外小目标检测方法 Download PDF

Info

Publication number
CN110321888B
CN110321888B CN201910200937.6A CN201910200937A CN110321888B CN 110321888 B CN110321888 B CN 110321888B CN 201910200937 A CN201910200937 A CN 201910200937A CN 110321888 B CN110321888 B CN 110321888B
Authority
CN
China
Prior art keywords
frame
image
target
data stream
fpga
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910200937.6A
Other languages
English (en)
Other versions
CN110321888A (zh
Inventor
王岳环
张清顺
张磊
张天序
胡科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201910200937.6A priority Critical patent/CN110321888B/zh
Publication of CN110321888A publication Critical patent/CN110321888A/zh
Application granted granted Critical
Publication of CN110321888B publication Critical patent/CN110321888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于FPGA的星载红外小目标检测方法及系统,包括:红外图像数据采用高速串行数据接口传输至系统,经过接口芯片转换,输出并行数据至FPGA;FPGA先接收图像数据,并将原始图像数据缓存至外部存储器中。然后,对红外图像进行单帧检测得到单帧疑似目标点。然后根据目标帧间关联,确定真实目标点。再对多帧检测后的图像进行八连通域标记,确定目标区域及其位置信息,根据位置信息读出存储器中部分原始图像数据,输出包含目标位置信息和目标部分图像信息的数据。本发明采取全局流水线设计,处理速度快,适合星载红外小目标实时检测。

Description

一种基于FPGA的星载红外小目标检测方法
技术领域
本发明涉及红外目标检测技术领域,特别是涉及一种基于FPGA 的星载红外小目标检测方法及系统。
背景技术
随着现代航天技术的不断发展,星载条件下的红外小目标实时检 测技术一直是重要的研究方向。由于星上图像分辨率越来越高,算法 复杂度越来越大,系统实时性的难度增大。因此研究星载红外小目标 检测实时处理系统和方法具有重要意义。
由于星载相机与目标间距离远,目标成像面积小、对比度低、无 纹理特征、形状变化不定,尤其是在复杂背景条件下,使得小目标检 测工作变得更加困难。在单帧图像中检测小目标,漏警率和虚警率都 很高,一般都要通过多帧红外图像,利用序列的时间和空间信息,依 据序列图像中目标运动的连续性和轨迹的一致性来实施目标检测任 务。根据所利用的空间信息和时间信息的先后顺序,红外小目标检测 方法可分为先检测后跟踪(Detect-Before-Track,DBT)算法和先跟踪 后检测(Track-Before-Dectect,TBD)算法两大类。
发明内容
本发明提供一种基于FPGA的星载红外小目标检测方法,用以解 决现有技术存在的目标检测实时性差的技术问题。
本发明解决上述技术问题的技术方案如下:一种基于FPGA的 星载红外小目标检测方法,采用FPGA同步并依次执行以下步骤,包 括:
步骤1、实时接收红外图像的数据流,对所述数据流进行保存;
步骤2、对所述数据流进行二值化处理,得到二值图像并保存, 并确定每帧所述二值图像中的疑似目标点;
步骤3、判断数据库是否存有该帧二值图像的相邻前两帧二值图 像,若无,执行步骤1,若有,获取并基于所述前两帧二值图像,从 该帧二值图像中的所述疑似目标点中识别真实目标点;
步骤4、将该帧二值图像中的所有所述真实目标点进行八连通域 标记分区,得到该帧二值图像中的目标区域,完成目标检测。
本发明的有益效果是:本发明针对星载图像红外小目标的检测, 基于FPGA采取数据流存储和二值化处理并行执行、二值化图像保存 和疑似目标点确定并行执行、各个步骤同步执行等,实现全局流水线、 局部并行化的处理方式,显著提高了处理速度,可达到实时性要求。 另外,本发明方法利用目标帧间运动轨迹特征进行综合分析,减弱了 场景中复杂虚警源的干扰,有效地减少了目标虚检和漏检情况,增强 了检测算法的鲁棒性。
在上述技术方案的基础上,本发明还可以做以下改进。
进一步,所述采用FPGA同步并依次执行以下步骤之前,所述方 法还包括:
步骤0、接收通过串行传输方式输入的每一帧红外图像的数据流, 并对所述数据流进行并行转换,以通过并行传输方式传输所述数据流 至所述FPGA;
则步骤1中,所述实时接收红外图像的数据流,包括:
实时接收通过所述并行传输方式输入的所述红外图像的所述数 据流。
本发明的进一步有益效果是:数据远距离传输采用串行传输方式 可以节约通信成本,接收到串行传输的数据后转为并行传输,可以降 低数据的伴随时钟频率,提升系统的稳定性。
进一步,所述步骤2中,所述对所述数据流进行二值化处理,包 括:
步骤2.1、采用预设尺寸的滤波器窗口,对所述数据流在多个方 向同步进行去中值滤波处理,得到滤波图像;
步骤2.2、基于所述滤波图像的像素,计算该帧二值图像的阈值, 并同步基于前一帧所述二值图像的阈值,对所述滤波图像进行自适应 阈值分割,得到该滤波图像对应的二值图像。
本发明的进一步有益效果是:在进行去中值滤波处理时,对八个 方向同步执行去中值滤波处理,局部并行化,提高处理速度,同时有 效对目标进行背景抑制,减弱了场景中复杂虚警源的干扰,有效地减 少了目标虚检和漏检情况,增强了算法的鲁棒性。另外,由于实际情 况中,图像帧间差异较小,使用上一帧图像计算出的阈值对当前帧进 行自适应阈值分割,从而使当前帧阈值分割与当前帧的阈值计算并行 执行,实现局部并行化,提高系统的处理速度。
进一步,所述步骤2.2中,所述基于所述滤波图像的像素,计算 该帧二值图像的阈值,包括:
基于阈值计算公式和所述滤波图像的像素,进行阈值计算,其中, 当在后执行的除法运算对应的第一算法的位宽W1小于在前执行的 乘法运算对应的第二算法的位宽W2时,则所述第一算法对所述第二 算法输入的计算结果根据W1和W2进行多次迭代计算。
本发明的进一步有益效果是:在具体数学运算上采取资源复用的 策略进行替代和简化,合理地使用了FPGA资源,计算简单且高效。 达到了性能与资源利用的最优化。
进一步,所述数据库包括:
所述第一DDR存储器,用于存储所述数据流;
所述第二DDR存储器,分为三个存储区域,分别用于存储每相 邻三帧所述二值图像中的一帧;
所述第三DDR存储器,用于存储所述八连通域标记分区得到的 所述目标区域的位置信息。
本发明的进一步有益效果是:存储器分区对相邻的三帧二值图像 进行存储,当进行目标多帧检测时,从两个存储器中分别获取相邻两 帧二值图像,提高处理速度。
进一步,所述方法还包括:
步骤5、从所述数据库存储的该帧二值图像对应的红外图像中获 取每个所述目标区域对应的图像切片,并输出每个所述目标区域的位 置信息及其对应的所述图像切片。
本发明的进一步有益效果是:本发明方法最终仅输出目标的位置 信息和以目标为中心的部分图像信息,有效减小了下传数据量。
本发明还提供一种基于FPGA的星载红外小目标检测系统,包括: 并向转换芯片,FPGA处理器,以及存储器;
所述并向转换芯片,用于接收通过串行传输方式输入的每一帧红 外图像的数据流,并对所述数据流进行并行转换,以通过并行传输方 式将所述数据流输入至所述FPGA处理器;
所述FPGA处理器,用于将所述数据流保存至所述存储器;对所 述数据流进行二值化处理,得到二值图像并保存至所述存储器,同时 确定每帧所述二值图像中的疑似目标点;判断所述存储器中是否存有 该帧二值图像的相邻前两帧二值图像,若无,继续接收所述数据流, 若有,获取并基于所述前两帧二值图像,从该帧二值图像中的所述疑 似目标点中识别真实目标点;将该帧二值图像中的所有所述真实目标 点进行八连通域标记分区,得到该帧二值图像中的目标区域。
本发明的有益效果是:本发明针对星载图像红外小目标的检测系 统,基于FPGA处理器采取数据流存储和二值化处理并行执行、二值 化图像保存和疑似目标点确定并行执行、各个步骤同步执行等,实现 全局流水线、局部并行化的处理方式,显著提高了处理速度,可达到 实时性要求。另外,本发明FPGA处理器利用目标帧间运动轨迹特征 进行综合分析,减弱了场景中复杂虚警源的干扰,有效地减少了目标 虚检和漏检情况,增强了检测算法的鲁棒性。
进一步,所述FPGA处理器在对所述数据流进行二值化处理时, 具体为:
采用预设尺寸的滤波器窗口,对所述数据流在多个方向同步进行 去中值滤波处理,得到滤波图像;
基于阈值计算公式和所述滤波图像的像素,进行阈值计算,其中, 当在后执行的除法器对应的计算位宽W1小于在前执行的乘法器对 应的计算位宽W2时,则所述除法器对所述乘法器输入的计算结果根 据W1和W2进行多次迭代计算;并同步基于前一帧所述二值图像的 阈值,对所述滤波图像进行自适应阈值分割,得到该滤波图像对应的 二值图像。
本发明的进一步有益效果是:FPGA处理器在进行去中值滤波处 理时,对八个方向同步执行去中值滤波处理,局部并行化,提高处理 速度,同时有效对目标进行背景抑制,减弱了场景中复杂虚警源的干 扰,有效地减少了目标虚检和漏检情况,增强了算法的鲁棒性。其次, 由于实际情况中,图像帧间差异较小,使用上一帧图像计算出的阈值 对当前帧进行自适应阈值分割,从而使当前帧阈值分割与当前帧的阈 值计算并行执行,实现局部并行化,提高系统的处理速度。另外,在 具体数学运算上采取资源复用的策略进行替代和简化,合理地使用了 FPGA资源,计算简单且高效。达到了性能与资源利用的最优化。
进一步,所述存储器包括:
所述第一DDR存储器,用于存储所述数据流;
所述第二DDR存储器,分为三个存储区域,分别用于存储每相 邻三帧所述二值图像中的一帧;
所述第三DDR存储器,用于存储所述八连通域标记分区得到的 所述目标区域的位置信息。
本发明的进一步有益效果是:采用存储器分区对相邻的三帧二值 图像进行存储,当进行目标多帧检测时,从两个存储器中分别获取相 邻两帧二值图像,提高处理速度。
进一步,所述FPGA处理器还用于从所述存储器存储的该帧二值 图像对应的红外图像中获取每个所述目标区域对应的图像切片,并输 出每个所述目标区域的位置信息及其对应的所述图像切片。
本发明的进一步有益效果是:本发明方法最终仅输出目标的位置 信息和以目标为中心的部分图像信息,有效减小了下传数据量。
附图说明
图1为本发明一个实施例提供的一种基于FPGA的星载红外小 目标检测方法的流程框图;
图2为本发明另一个实施例提供的目标多帧检测中目标搜索范 围的示意图;
图3为本发明另一个实施例提供的八连通域标记的流程示意图;
图4为本发明另一个实施例提供的去最大中值滤波示意图;
图5为本发明另一个实施例提供的基于FPGA的星载红外小目标 检测算法的工作流程图;
图6为本发明一个实施例提供的一种基于FPGA的星载红外小 目标检测系统的结构框图;
图7为本发明另一个实施例提供的一种基于FPGA的星载红外 小目标检测系统中FPGA的内部模块框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于 解释本发明,并非用于限定本发明的范围。
实施例一
一种基于FPGA的星载红外小目标检测方法,采用FPGA同步 并依次执行以下步骤100,如图1所示,包括:
步骤110、实时接收红外图像的数据流,对数据流进行保存;
步骤120、对数据流进行二值化处理,得到二值图像并保存,并 确定每帧二值图像中的疑似目标点;
步骤130、判断数据库是否存有该帧二值图像的相邻前两帧二值 图像,若无,执行步骤110,若有,获取并基于前两帧二值图像,从 该帧二值图像中的疑似目标点中识别真实目标点;
步骤140、将该帧二值图像中的所有所述真实目标点进行八连通 域标记分区,得到该帧二值图像中的目标区域,完成目标检测。
需要说明的是,FPGA具有可编程的特点,设计灵活性高,可以 根据系统所需,进行可编程配置重构。FPGA因其并行执行的特点, 对视频图像处理的方式通常为流水线处理,数据处理速度极高,具有 很高的实时性。但由于FPGA内部资源有限,且并没有如同其它嵌入 式平台的指令集和操作系统,采用FPGA实现复杂算法时,需要对算 法进行特殊的并行化、流水化改进,在具体数学运算上需要采取合适 的策略进行替代和简化,从而达到性能与资源利用的最优化。
其中,步骤110为FPGA图像接收步骤,FPGA需要对输入图像 数据先进行时钟隔离,得到有效数据流,之后再将原始图像数据缓存 至数据库中。
其次,本实施例中待检测识别的小目标,其尺寸约小于9个像素。
另外,步骤130为FPGA进行目标多帧检测步骤。从数据库中读 出第N-1帧检测结果,生成21*21检测窗口;再从数据库中读出第 N-2帧检测结果,生成41*41检测窗口。其中,N为当前帧,N-1为 前一帧,以此类推。判断当前帧中疑似目标点和前两帧中对应检测窗 口中的疑似目标点是否共线或近似共线。若三点共线或者近似共线, 则该点为疑似目标点(一个二值图像中可能有多个疑似目标点,分别 对多个疑似目标进行同样的处理)。当两帧间目标运动少于1像素或 者无运动时,认为其不是真实目标点并排除。该步骤中,采用连续三 帧判断目标轨迹,可以减少图像边界上的目标漏检。
具体的,如图2所示,在FPGA实现该算法时,则可以根据目 标点在第N帧(设为点1)和第N-1帧的(设为点2)位置关系,确 定第N-2帧的搜索区域,并判断在该区域中是否有目标点,这样可以 减少判断的点数,从而可减少处理时间。具体的,确定第N-2帧的搜 索区域,由于每相邻两帧的时间间隔较小,当点1和点2的位置距离 近时,说明可能目标运动较慢,目标的运动轨迹更不接近直线,则如 图2的左图,从第N-2帧二值图像中点2对应的坐标位置处确定搜索 点3的搜索范围,且该搜索范围较大;当点1和点2的位置距离远时, 说明可能目标运动较快,目标的运动轨迹更接近直线,则如图2的右 图,在第N-2帧二值图像中点2对应的坐标位置处确定搜索点3的搜 索范围,且该搜索范围较小。
若在第N-2帧中有可疑点(设为点3),则进一步判断点1、点 2、点3是否共线或者近似共线,若三点共线或近似共线,则该点为 目标点。当两帧间目标运动较少或无运动时,认为其不是真实目标点, 这样可以有效去除虚警点,并且能去除图像盲元对目标检测的影响。
采用连续三帧判断目标轨迹,可以减少图像边界上的目标漏检, 同时当两帧间目标运动较少或无运动时,认为其不是真实目标点,这 可以有效去除虚警点,并且能去除图像盲元对目标检测的影响。
步骤140为FPGA进行八连通域标记步骤。图像初步标记过程, 通过逐像素扫描,为每一个像素赋予一个临时标记,并找出临时标记 的等价对,对初标记后的等价表进行分类整理,生成最终等价表。根 据连通域标记结果,计算出每个目标的质心坐标。根据质心坐标,输 出目标坐标和原图像中包含目标的图像切片。
具体的,先对多帧检测后输出的二值图像进行八临域标记,将标 记出来的区域按连通域分块,并输出各个分块对应的位置信息和图像 切片。流程如图3所示。标记算法的FPGA实现分为四个步骤,分 别为:
(1)图像初标记过程。通过对图像逐像素扫描,为每个像素赋 予一个标记值,记录每个标记值的等价对,生成等价表,记录等价表 中每个等价系列的数量及其对应的每个像素发坐标点坐标。
(2)等价表整理过程。将等价表中各个等价系列按照自然数顺 序用自然数标记,并对每个等价系列中的所有标记用该等价系列对应 的自然数替换,生产每个像素的最终标记结果。
(3)初标记统计过程。统计等价表中同一连通区域的标记范围。
(4)标记块输出过程。根据最终标记结果,按自然数顺序,依 次输出每个连通区域所包含的全部像素坐标。
基于每个连通区域所包含的全部像素坐标,计算该连通区域的目 标质心坐标,根据目标质心坐标读取DDR缓存的部分原始图像块, 最后输出该目标质心坐标及其对应的图像切片数据。
本实施例针对星载图像红外小目标的检测,基于FPGA采取数据 流存储和二值化处理并行执行、二值化图像保存和疑似目标点确定并 行执行、各个步骤同步执行等,实现全局流水线、局部并行化的处理 方式,显著提高了处理速度,可达到实时性要求。另外,本发明方法 利用目标帧间运动轨迹特征进行综合分析,减弱了场景中复杂虚警源 的干扰,有效地减少了目标虚检和漏检情况,增强了检测算法的鲁棒 性。
优选的,采用FPGA同步并依次执行以下步骤之前,方法100 还包括:
步骤000、接收通过串行传输方式输入的每一帧红外图像的数据 流,并对数据流进行并行转换,以通过并行传输方式传输数据流至 FPGA;
则步骤110中,实时接收红外图像的数据流,包括:
实时接收通过并行传输方式输入的红外图像的数据流。
优选的,如图4所示,步骤120中,对数据流进行二值化处理, 包括:
步骤121、采用预设尺寸的滤波器窗口,对数据流在多个方向同 步进行去中值滤波处理,得到滤波图像;
步骤122、基于滤波图像的像素,计算该帧二值图像的阈值,并 同步基于前一帧二值图像的阈值,对滤波图像进行自适应阈值分割, 得到该滤波图像对应的二值图像。
需要说明的是,根据待检测的小目标尺寸,可将能滤波器窗口大 小设置为5*5。去最大中值滤波窗口如图5所示,图中每个方格数字 代表行列数据。去最大中值滤波背景抑制过程可表示为:
f(x,y)=f(x,y)-max{med1,med2,…,med8}
(x,y)为当前像素在图像中的行列坐标(f表示像素),式中 med1~med8为各个方向上的中值,例如:
med1=med(f(x,y-2),…,f(x,y),…,f(x,y+2))
以此类推。
计算滤波器8个方向的中值,并找出其中的最大值。然后将当前 像素减去该最大中值,即去最大中值处理。对边界范围(顶底各两行, 左右各两列),输出结果置零。
在进行去中值滤波处理时,对八个方向同步执行去中值滤波处理, 局部并行化,提高处理速度,同时有效对目标进行背景抑制,减弱了 场景中复杂虚警源的干扰,有效地减少了目标虚检和漏检情况,增强 了算法的鲁棒性。另外,由于实际情况中,图像帧间差异较小,使用 上一帧图像计算出的阈值对当前帧进行自适应阈值分割,从而使当前 帧阈值分割与当前帧的阈值计算并行执行,实现局部并行化,提高系 统的处理速度。
优选的,步骤122中,基于滤波图像的像素,计算该帧二值图像 的阈值,包括:
基于阈值计算公式和滤波图像的像素,进行阈值计算,其中,当 在后执行的除法运算对应的第一算法的位宽W1小于在前执行的乘 法运算对应的第二算法的位宽W2时,则第一算法对第二算法输入的 计算结果根据W1和W2进行多次迭代计算。
需要说明的是,目标单帧检测过程中,阈值分割采用上一帧计算 的阈值,当前帧阈值分割与当前帧的阈值计算并行执行。阈值计算公 式为:th=k*σ+μ,其中,标准差
Figure BDA0001997418800000131
R为 图像行数,C为图像列数,μ为均值。
在FPGA实现过程中,由于μ近似为0,可以简化计算过程。模 块可细化为乘法器1(计算像素p(i,j)的平方)、累加器(计算
Figure BDA0001997418800000141
)、乘法器2(计算
Figure BDA0001997418800000142
)、除法器(计算
Figure BDA0001997418800000143
)、开平方计算模块(对
Figure BDA0001997418800000144
开平方,至 此,计算结果为k*σ。当除法器IP核位宽最大只有32bit,乘法器2 的结果超过32bit时,设计中仅使用1个除法器进行多次除法迭代运 算,有效减小了FPGA中计算资源的使用。
具体的,对于32bits的除法器,设被除数为S(位宽为Mbit,M>32), 除数为D(R*C为定值,位宽为Nbit),商为Q,余数为L,则有:
S=Q*D+L
可采用如下的方式实现除法迭代:
第一步:对S的高32bits做除法。取S的高32bits,设为H0,剩余 低(M-N)bits,设为L0,则S0=H0*2(M-N)+L0。对H0做除法H0/D,设 商为Q0,余数为R0,则有:
H0=Q0*D+R0
S0=(Q0*D+R0)*2(M-N)+L0=Q0*D*2(M-N)+(R0*2(M-N)+L0)
=Q0*D*2(M-N)+S1
其中S1的位宽为(M+N-32)bits。
第二步:判断取S1的位宽(M+N-32)是否高于32bits。若小于32bit, 则直接对S1做除法。否则,重复第一步步骤内容,对S1的高32bit做 除法。
重复l次上述步骤,直到Sl的位宽小于32bit,整个除法实现公式 则为:
Figure BDA0001997418800000151
其中,Q为商,R为余数。
Figure BDA0001997418800000152
R=Rl/D,l=1,2,...
Q0~Ql-1的求解可以通过进行迭代l次除法运算来实现,在FPGA实现 过程中减少了除法器的使用。
计算后,将结果图像(即二值图像)传至后级进行目标多帧检测, 同时将二值图像存至存储器中,用于下一帧目标多帧检测。
在具体数学运算上采取资源复用的策略进行替代和简化,合理地 使用了FPGA资源,计算简单且高效。达到了性能与资源利用的最优 化。
优选的,数据库包括:第一DDR存储器,用于存储数据流;第 二DDR存储器,分为三个存储区域,分别用于存储每相邻三帧二值 图像中的一帧;第三DDR存储器,用于存储八连通域标记分区得到 的目标区域的位置信息。
在FPGA实现过程中,前级单帧检测结果都缓存于同一片DDR 中,处理时将DDR分为3个地址片区,处理第N帧时,将第N帧的 结果缓存入DDR中原N-3帧结果存储区域中,并读出另外两个地址 片区所缓存的第N-1帧和第N-2帧结果。
进一步,方法100还包括:
步骤150、从数据库存储的该帧二值图像对应的红外图像中获取 每个目标区域对应的图像切片,并输出每个目标区域的位置信息及其 对应的图像切片。
本实施例最终仅输出目标的位置信息和以目标为中心的部分图 像信息,有效减小了下传数据量。
实施例二
一种基于FPGA的星载红外小目标检测系统,包括:并向转换芯 片,FPGA处理器,以及存储器;
并向转换芯片,用于接收通过串行传输方式输入的每一帧红外图 像的数据流,并对数据流进行并行转换,以通过并行传输方式将数据 流输入至FPGA处理器;FPGA处理器,用于将数据流保存至存储器; 对数据流进行二值化处理,得到二值图像并保存至存储器,同时确定 每帧二值图像中的疑似目标点;判断存储器中是否存有该帧二值图像 的相邻前两帧二值图像,若无,继续接收数据流,若有,获取并基于 前两帧二值图像,从该帧二值图像中的疑似目标点中识别真实目标点; 将该帧二值图像中的所有所述真实目标点进行八连通域标记分区,得 到该帧二值图像中的目标区域。
如图6所示,硬件系统包括一块Xilinx Virtex5FPGA处理芯片 和3片DDR存储芯片。图像数据通过高速串行数据接口传输至板上, 经TLK2711转换后传输至FPGA。目标结果数据通过高速串行接口 传输至接收机。
如图7所示,FPGA处理器接收TLK2711输入图像数据。 TLK2711接口模块被动地接收图像数据,采用异步FIFO进行时钟隔 离,分离出有效数据传至后级模块,进行滤波器生成和二值化处理程 序。同时,将原始图像数据缓存至外部存储器中。
优选的,FPGA处理器在对数据流进行二值化处理时,具体为:
采用预设尺寸的滤波器窗口,对数据流在多个方向同步进行去中 值滤波处理,得到滤波图像;
基于阈值计算公式和滤波图像的像素,进行阈值计算,其中,当 在后执行的除法器对应的计算位宽W1小于在前执行的乘法器对应 的计算位宽W2时,则除法器对乘法器输入的计算结果根据W1和 W2进行多次迭代计算;并同步基于前一帧所述二值图像的阈值,对滤波图像进行自适应阈值分割,得到该滤波图像对应的二值图像。
具体的,图像输入后,可使用FPGA中的FIFO和D触发器分别 对输入像素进行行缓存操作和列缓存操作,生成5*5大小的滤波器窗 口,输出5*5窗口内的25个像素,进行后续去中值滤波处理,具体 去中值滤波处理的方式可同实施例一,在此不再赘述。
优选的,存储器包括:第一DDR存储器,用于存储数据流;第二 DDR存储器,分为三个存储区域,分别用于存储每相邻三帧二值图 像中的一帧;第三DDR存储器,用于存储八连通域标记分区得到的 目标区域的位置信息。
优选的,FPGA处理器还用于从存储器存储的该帧二值图像对 应的红外图像中获取每个目标区域对应的图像切片,并输出每个目标 区域的位置信息及其对应的图像切片。
需要说明的是,该实施例的相关技术细节和带来的有益效果同实 施例一,在此不再赘述。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在 本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均 应包含在本发明的保护范围之内。

Claims (10)

1.一种基于FPGA的星载红外小目标检测方法,其特征在于,采用FPGA同步并依次执行以下步骤,包括:
步骤1、实时接收红外图像的数据流,对所述数据流进行保存;
步骤2、对所述数据流进行二值化处理,得到二值图像并保存,并确定每帧所述二值图像中的疑似目标点,其中,在所述二值化处理的过程中,采用滤波器对数据流进行滑窗,计算滤波器八个方向的中值,并找出其中的最大值,然后将当前像素减去该最大中值,即去最大中值处理,实现对数据流从八个方向同步进行去中值滤波处理;
步骤3、判断数据库是否存有该帧二值图像的相邻前两帧二值图像,若无,执行步骤1,若有,获取并基于所述前两帧二值图像,从该帧二值图像中的所述疑似目标点中识别真实目标点,具体为:
根据该帧二值图像中每个疑似目标点的位置确定前两帧二值图像中该疑似目标点对应的检测窗口,判断该帧二值图像中该疑似目标点和前两帧二值图像中对应检测窗口中的疑似目标点是否共线或近似共线,若三点共线或者近似共线,则该帧二值图像中该疑似目标点为真实目标点;
步骤4、将该帧二值图像中的所有所述真实目标点进行八连通域标记分区,得到该帧二值图像中的目标区域,完成目标检测。
2.根据权利要求1所述的一种基于FPGA的星载红外小目标检测方法,其特征在于,所述采用FPGA同步并依次执行以下步骤之前,所述方法还包括:
步骤0、接收通过串行传输方式输入的每一帧红外图像的数据流,并对所述数据流进行并行转换,以通过并行传输方式传输所述数据流至所述FPGA;
则所述步骤1中,所述实时接收红外图像的数据流,包括:
实时接收通过所述并行传输方式输入的所述红外图像的所述数据流。
3.根据权利要求1所述的一种基于FPGA的星载红外小目标检测方法,其特征在于,所述步骤2中,所述对所述数据流进行二值化处理,包括:
步骤2.1、采用预设尺寸的滤波器窗口,对所述数据流在多个方向同步进行去中值滤波处理,得到滤波图像;
步骤2.2、基于所述滤波图像的像素,计算该帧二值图像的阈值,并同步基于前一帧所述二值图像的阈值,对所述滤波图像进行自适应阈值分割,得到该滤波图像对应的二值图像。
4.根据权利要求3所述的一种基于FPGA的星载红外小目标检测方法,其特征在于,所述步骤2.2中,所述基于所述滤波图像的像素,计算该帧二值图像的阈值,包括:
基于阈值计算公式和所述滤波图像的像素,进行阈值计算,其中,当在后执行的除法运算对应的第一算法的位宽W1小于在前执行的乘法运算对应的第二算法的位宽W2时,则所述第一算法对所述第二算法输入的计算结果根据W1和W2进行多次迭代计算。
5.根据权利要求1所述的一种基于FPGA的星载红外小目标检测方法,其特征在于,所述数据库包括:
第一DDR存储器,用于存储所述数据流;
第二DDR存储器,分为三个存储区域,分别用于存储每相邻三帧所述二值图像中的一帧;
第三DDR存储器,用于存储所述八连通域标记分区得到的所述目标区域的位置信息。
6.根据权利要求1至5任一项所述的一种基于FPGA的星载红外小目标检测方法,其特征在于,所述方法还包括:
步骤5、从所述数据库存储的该帧二值图像对应的红外图像中获取每个所述目标区域对应的图像切片,并输出每个所述目标区域的位置信息及其对应的所述图像切片。
7.一种基于FPGA的星载红外小目标检测系统,其特征在于,包括:并向转换芯片,FPGA处理器,以及存储器;
所述并向转换芯片,用于接收通过串行传输方式输入的每一帧红外图像的数据流,并对所述数据流进行并行转换,以通过并行传输方式将所述数据流输入至所述FPGA处理器;
所述FPGA处理器,用于将所述数据流保存至所述存储器;对所述数据流进行二值化处理,得到二值图像并保存至所述存储器,同时确定每帧所述二值图像中的疑似目标点;判断所述存储器中是否存有该帧二值图像的相邻前两帧二值图像,若无,继续接收所述数据流,若有,获取并基于所述前两帧二值图像,从该帧二值图像中的所述疑似目标点中识别真实目标点;将该帧二值图像中的所有所述真实目标点进行八连通域标记分区,得到该帧二值图像中的目标区域;
其中,在所述二值化处理的过程中,采用滤波器对数据流进行滑窗,计算滤波器八个方向的中值,并找出其中的最大值,然后将当前像素减去该最大中值,即去最大中值处理,实现对数据流从八个方向同步进行去中值滤波处理;
所述从该帧二值图像中的所述疑似目标点中识别真实目标点,具体为:
根据该帧二值图像中每个疑似目标点的位置确定前两帧二值图像中该疑似目标点对应的检测窗口,判断该帧二值图像中该疑似目标点和前两帧二值图像中对应检测窗口中的疑似目标点是否共线或近似共线,若三点共线或者近似共线,则该帧二值图像中该疑似目标点为真实目标点。
8.根据权利要求7所述的一种基于FPGA的星载红外小目标检测系统,其特征在于,所述FPGA处理器在对所述数据流进行二值化处理时,具体为:
采用预设尺寸的滤波器窗口,对所述数据流在多个方向同步进行去中值滤波处理,得到滤波图像;
基于阈值计算公式和所述滤波图像的像素,进行阈值计算,其中,当在后执行的除法器对应的计算位宽W1小于在前执行的乘法器对应的计算位宽W2时,则所述除法器对所述乘法器输入的计算结果根据W1和W2进行多次迭代计算;并同步基于前一帧所述二值图像的阈值,对所述滤波图像进行自适应阈值分割,得到该滤波图像对应的二值图像。
9.根据权利要求7所述的一种基于FPGA的星载红外小目标检测系统,其特征在于,所述存储器包括:
第一DDR存储器,用于存储所述数据流;
第二DDR存储器,分为三个存储区域,分别用于存储每相邻三帧所述二值图像中的一帧;
第三DDR存储器,用于存储所述八连通域标记分区得到的所述目标区域的位置信息。
10.根据权利要求7至9任一项所述的一种基于FPGA的星载红外小目标检测系统,其特征在于,所述FPGA处理器还用于从所述存储器存储的该帧二值图像对应的红外图像中获取每个所述目标区域对应的图像切片,并输出每个所述目标区域的位置信息及其对应的所述图像切片。
CN201910200937.6A 2019-03-18 2019-03-18 一种基于fpga的星载红外小目标检测方法 Active CN110321888B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910200937.6A CN110321888B (zh) 2019-03-18 2019-03-18 一种基于fpga的星载红外小目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910200937.6A CN110321888B (zh) 2019-03-18 2019-03-18 一种基于fpga的星载红外小目标检测方法

Publications (2)

Publication Number Publication Date
CN110321888A CN110321888A (zh) 2019-10-11
CN110321888B true CN110321888B (zh) 2021-11-19

Family

ID=68112775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910200937.6A Active CN110321888B (zh) 2019-03-18 2019-03-18 一种基于fpga的星载红外小目标检测方法

Country Status (1)

Country Link
CN (1) CN110321888B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112188033B (zh) * 2020-09-14 2023-01-06 北京环境特性研究所 一种数字红外图像实时标记装置
CN113411509B (zh) * 2021-06-15 2023-09-26 西安微电子技术研究所 一种星载自主视觉处理系统
CN114419342A (zh) * 2022-01-29 2022-04-29 中国科学院国家空间科学中心 一种基于fpga的高分辨率图像多目标多特征实时提取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012057389A1 (ko) * 2010-10-27 2012-05-03 건국대학교 산학협력단 복수개의 카메라를 이용한 관심영역 추출 시스템 및 그 방법
CN103617633A (zh) * 2013-11-26 2014-03-05 北京航空航天大学 一种空间红外目标的级联识别方法
CN104778723A (zh) * 2015-04-09 2015-07-15 海视英科光电(苏州)有限公司 红外图像中利用三帧差法进行移动侦测的方法
CN109118498A (zh) * 2018-08-22 2019-01-01 科大讯飞股份有限公司 一种摄像头污点检测方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104359464A (zh) * 2014-11-02 2015-02-18 天津理工大学 基于立体视觉的移动机器人定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012057389A1 (ko) * 2010-10-27 2012-05-03 건국대학교 산학협력단 복수개의 카메라를 이용한 관심영역 추출 시스템 및 그 방법
CN103617633A (zh) * 2013-11-26 2014-03-05 北京航空航天大学 一种空间红外目标的级联识别方法
CN104778723A (zh) * 2015-04-09 2015-07-15 海视英科光电(苏州)有限公司 红外图像中利用三帧差法进行移动侦测的方法
CN109118498A (zh) * 2018-08-22 2019-01-01 科大讯飞股份有限公司 一种摄像头污点检测方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《一种适合硬件实现的多值图像连通域标记算法》;桑红石;《华中科技大学学报(自然科学版)》;20050930;第33卷(第9期);第5-8页 *
《星上红外运动点目标检测技术研究》;盖芳钦;《CNKI硕士论文数据库》;20101231;第1-67页 *

Also Published As

Publication number Publication date
CN110321888A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN110321888B (zh) 一种基于fpga的星载红外小目标检测方法
US20210073569A1 (en) Pooling device and pooling method
CN109272509B (zh) 一种连续图像的目标检测方法、装置、设备及存储介质
CN110766724B (zh) 目标跟踪网络训练、跟踪方法及装置、电子设备及介质
US9756312B2 (en) Hardware-oriented dynamically adaptive disparity estimation algorithm and its real-time hardware
US20170132803A1 (en) Apparatus and method for processing a depth image
CN106331723B (zh) 一种基于运动区域分割的视频帧率上变换方法及系统
Ttofis et al. High-quality real-time hardware stereo matching based on guided image filtering
Ttofis et al. Towards accurate hardware stereo correspondence: A real-time fpga implementation of a segmentation-based adaptive support weight algorithm
CN106686278A (zh) 一种面向实时目标识别的异构处理机并行协调处理方法
CN114584785B (zh) 视频图像的实时稳像方法及装置
CN111507340B (zh) 一种基于三维点云数据的目标点云数据提取方法
CN111739071B (zh) 基于初始值的快速迭代配准方法、介质、终端和装置
JPH06148324A (ja) 3次元の最大後天的追跡方法および装置
CN113052162B (zh) 一种文本识别方法、装置、可读存储介质及计算设备
Shrivastava et al. FPGA accelerator for stereo vision using semi-global matching through dependency relaxation
Akin et al. Dynamically adaptive real-time disparity estimation hardware using iterative refinement
CN112163612B (zh) 基于fpga的大模板卷积图像匹配方法、装置及系统
CN103426159B (zh) 多维直方图统计电路和图像处理系统
CN109544574B (zh) 基于全固态vts雷达的目标提取方法
Li et al. Grid Sample Based Temporal Iteration for Fully Pipelined 1-ms SLIC Superpixel Segmentation System
CN112419407B (zh) 基于云团边缘识别的云团位移矢量计算方法及装置
CN110264488B (zh) 一种二值图像边缘提取装置
KR100971148B1 (ko) 밝기 조절을 통한 영상 정합을 위한 병렬 구조의 영상 처리장치 및 방법
Motten et al. Low-cost real-time stereo vision hardware with binary confidence metric and disparity refinement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant