CN101694385A - 基于傅立叶光学的微小目标检测仪及检测方法 - Google Patents

基于傅立叶光学的微小目标检测仪及检测方法 Download PDF

Info

Publication number
CN101694385A
CN101694385A CN200910232959A CN200910232959A CN101694385A CN 101694385 A CN101694385 A CN 101694385A CN 200910232959 A CN200910232959 A CN 200910232959A CN 200910232959 A CN200910232959 A CN 200910232959A CN 101694385 A CN101694385 A CN 101694385A
Authority
CN
China
Prior art keywords
image
small objects
piece
small
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910232959A
Other languages
English (en)
Other versions
CN101694385B (zh
Inventor
李敏
凌静
徐立中
王慧斌
樊棠怀
石爱业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN2009102329597A priority Critical patent/CN101694385B/zh
Publication of CN101694385A publication Critical patent/CN101694385A/zh
Application granted granted Critical
Publication of CN101694385B publication Critical patent/CN101694385B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公布了一种基于傅立叶光学的微小目标检测仪及检测方法,所述检测仪包括图像获取预处理模块、图像配准模块和微小目标检测和输出模块。所述检测方法采用CCD摄像头获取小眼图像,将所述小眼图像经过可编程视频信号处理器预处理后输出至FPGA芯片依次完成配准参数的估计和拼接处理、仿生物视觉的非线性压缩处理得到压缩后的图像,采用DSP芯片将所述压缩后的图像经过微小目标存在性分析和识别提取处理后输出微小目标图像。本发明成本低,计算复杂性低,原理简单灵活,不受目标运动速度的限制,对于静止在场景中或者具有和场景相同运动速度的微小目标同样可以检测到它的存在,抗噪声干扰性强,对复杂背景具有一定的鲁棒性。

Description

基于傅立叶光学的微小目标检测仪及检测方法
技术领域
发明涉及一种基于傅立叶光学的微小目标检测仪及检测方法,属于图像信号获取与处理领域。
背景技术
在视频目标跟踪、工业产品检测等应用中,常常需要对运动目标进行跟踪和识别。当目标距离成像系统较远时,目标的像只占据场景图像中单个或者几个像素,这类微小尺寸目标的形态特征就近似与一个点目标。由于成像过程中往往会受到噪声和外界环境干扰等的影响,使得微小目标接近图像中的随机噪声,从而增加了识别和提取的难度。
目前在微小目标的提取和识别的方法上,首先在成像传感器上采用高空间分辨率的摄像头来减少微小目标成像过程中的干扰和噪声。通过详细的记录场景中的细节信息来提高后续微小目标的识别处理的准确度。而高分辨率摄像头造价都比较高,在实际应用中难以得到推广。
其次在提取识别算法上,该类算法建立在两大假设上:一是目标与背景存在相对运动,通过运动的差异来区分微小目标和背景;通常采用的方法有光流场法,滤波器法等。光流场法的计算量巨大,在实时监测中难以满足速度的要求,同时该方法很难识别出微小目标的存在。当目标在相邻帧之间的运动距离小于一个像素时,光流场法将检测不出目标的移动,从而无法识别出目标;滤波法是依据运动目标速度高于背景运动速度的思想,将微小目标作为时域高频成份,而背景是低频成份,因此采用时域高通滤波器提取微小目标。这样的方法简单易行但是需要背景和目标之间存在相对大的运动速度差异,而对于相对与背景静止的微小目标该方法则不能取得理想的检测效果。二是背景的可预测性,通过预测背景模型和去除背景提取小目标。常用的方法有相关预测法,该方法是通过前后帧的相关性来预测出背景模型,采用当前场景图像减去预测的背景图像获得目标的精确位置从而识别微小目标的存在。该方法适用范围较广,但是该方法会对背景的变化速度有所限制,只有缓慢变换或者基本不变的背景才是有效的,而且需要相关场景的配准才能准确的去除背景。以上的方法的共同缺点是:当微小目标和背景之间相对静止,或者运动差异较小时提取微小目标的能力较差。
在昆虫视觉系统的启发下,首先是模拟昆虫复眼结构的成像装置层出不穷,大视场是该类成像装置的主要优点。其次是利用昆虫对运动的敏感性,模拟复眼内部神经处理机制实现目标的运动检测。随着生物分析手段的不断提高,人们发现昆虫视觉系统在微小目标的提取和识别上具有独特的敏锐性。同时这样的敏锐性在准确度和简易性上大大超越了目前现有的信号处理算法,本发明利用复眼这种特性来识别微小目标的算法还未见报道。
分析复眼的结构可以知道:复眼是由成千上万只小孔径眼组成,小眼之间由于受到衍射和干涉的影响,获取的场景图像分辨率都较低。2006年Nordstrom K等人发现了在雌性蚜蝇的视觉系统中存在一种微小目标探测神经元,它可以在目标和背景之间无相对运动的情况下探测到微小目标的存在,而这类目标的尺寸一般都小于或等于一个光感受器的视野范围。随后Steven D.等人构建出了该神经细胞的物理模型。他指出不论目标与背景之间是否存在相对运动,微小目标是否可以被检测的关键在于它的空间统计特性是否足够突出,以至于可以通过高度非线性滤波器检测出来。综上所述可知昆虫复眼中的神经元对图像的对比度具有极高的敏感性,目标可否被发现完全取决于目标所在范围内的局部对比度。同时复眼在微小目标的选取过程中有效的结合了局部空间抑制机理,当目标的尺寸稍大时小眼对目标的选择性将大大降低。
复眼针对微小目标提取和识别的独特性在于:1.复眼视网膜图像的低分辨率特性很好的降低了背景噪声的干扰。2.小眼图像的局部性,在较小的小眼视网膜图像中背景的灰度值近似相同,而微小目标的尺寸只占据一个或者几个像素,小眼的单独处理可以避免人工处理时需要考虑到的复杂空间交互影响等问题。3.复眼视网膜具有快速恢复的特点,快速变换的背景在复眼看来都是缓慢的,甚至可以忽略认为是静止的。这样大大简化了对快速运动的复杂背景的预测和抑制处理。4小眼神经细胞的自适应机制可以对反复出现的纹理信息起到抑制的作用,减少了背景纹理对微小目标提取的干扰。5.复眼检测微小目标较传统的数字信号处理方法具有简单,快速等特点,是信号处理算法无法比拟的。
发明内容
本发明目的是针对现有技术存在的缺陷提供一种基于傅立叶光学的微小目标检测仪及检测方法。
本发明为实现上述目的,采用如下技术方案:
本发明基于傅立叶光学的微小目标检测仪,其特征在于包括图像获取预处理模块、图像配准模块和微小目标检测和输出模块,其中图像获取预处理模块由n个图像获取预处理子模块组成,每个图像获取预处理子模块都由CCD摄像头串接可编程视频信号处理器构成;图像配准模块由两个SRAM存储芯片和FPGA芯片组成;微小目标检测和输出模块由两个FLASH芯片和DSP芯片组成;n个可编程视频信号处理器的输出端分别接FPGA芯片的输入端,两个SRAM存储芯片和FPGA芯片双向通信连接,FPGA芯片和两个FLASH芯片分别与DSP芯片双向通信连接,其中n为自然数。
所述的基于傅立叶光学的微小目标检测仪的检测方法,其特征在于:采用CCD摄像头获取小眼图像,将所述小眼图像经过可编程视频信号处理器预处理后输出至FPGA芯片依次完成配准参数的估计和拼接处理、仿生物视觉的非线性压缩处理得到压缩后的图像,采用DSP芯片将所述压缩后的图像经过微小目标存在性分析和识别提取处理后输出微小目标图像。
本发明采用的多个普通CCD摄像头、DSP芯片、FPGA芯片及存储芯片和相关的仿生处理算法,实现复杂场景下的微小目标检测。充分利用生物视觉机理,避免了普通信号处理方法复杂性的缺点。同时该方法可以对复杂背景下的微小目标进行探测,不论该目标与背景之间是否存在相对运动。该目标检测装置大大降低了成本,避免了普通计算方法的复杂性,同时可以通过改进CCD的排列方式增加场景面积。
本发明构建了一种基于傅里叶光学的微小目标检测装仪。该装置模拟昆虫复眼获取和处理信息过程中基于对比度的微小目标识别方法,采用多部普通的CCD照摄像机在DSP芯片与FPGA芯片的辅助下模拟复眼神经处理信息的方式,实现复杂场景下微小目标的高准确率检测和识别。昆虫的视觉神经细胞在功能上基本可以近似为不同类型的滤波器,这些滤波器组成了针对特定尺寸目标的最佳匹配滤波器。
本发明首先具有成本低,计算复杂性低,原理简单灵活等特点。其次本发明不受目标运动速度的限制,对于静止在场景中或者具有和场景相同运动速度的微小目标同样可以检测到它的存在。最后本发明抗噪声干扰性强,对复杂背景具有一定的鲁棒性。
附图说明
附图1:本发明的硬件逻辑图;
附图2:本发明算法流程方框图;
附图3:配准流程图;
附图4:仿复眼微小目标检测流程图;
附图5:SAA7111电路图;
附图6:CCD摄像机与视频信号转换芯片连接图;
附图7:DSP与FLASH的连接图。
具体实施方式
下面结合附图对发明的技术方案进行详细说明:
图1显示了硬件逻辑图,主要有三个模块组成,由可编程视频信号处理器SAA7113与三个MV-VS078 FM/FC型号的CCD摄像头组成的图像获取预处理模块,此处以三个CCD摄像头为例;Apex系列的EP20K600EBC652的FPGA芯片与两个SRAM芯片组成的图像配准模块;32位浮点DSP TMS320C6711B芯片与两片FLASH芯片组成的微小目标检测和输出模块。
本发明采用型号为MV-VS078 FM/FC的黑白高速工业CCD相机摄像头,分辨率为1024×768,帧速率为30帧每秒,采用标准的镜头接口。具有信号稳定,CPU资源占用少,多台相机可同时连接到一个CPU上等特点,适合智能交通,机器视觉等应用领域。可编程视频信号处理器SAA7111采用的CMOS工艺,该芯片内部包括了两路模拟信号处理通道,可以选择视频源,同时可以实现数模变换、多制式变换和抗混叠滤波等,另外对亮度、对比度和饱和度进行控制。DSP芯片TMS320C6711B的主频为150MHz,内部集成硬件乘法器和累加器,适用于计算量大、实时性高的数字图像处理领域。FPGA芯片采用的是Apex系列的EP20K600EBC652。该款芯片具有高速度(622MHz的数据速率)、高密度(有效逻辑60万门)、低噪声和低功耗的特点。具有4个PLL、480个I/O口,工作电压为2.5V和1.8V。
图2是算法的流程图。配合图4的详细流程图可以看到在CCD摄像头获取了三幅小眼图像之后首先由可编程视频信号处理器完成基本的图像读取,同步,放大,抗混叠等预处理。其次是FPGA芯片和两个存储芯片配合完成配准参数的估计和拼接处理、仿生物视觉的非线性压缩处理两项任务。最后是DSP芯片上实现微小目标存在性分析和识别提取处理。
本专利中采用的配准方法是一种基于傅里叶光学的配准方法,配准后进行仿射变换和拼接得到全景图像。如图3所示的配准与拼接详细流程图。该配准方法是建立在傅里叶光学理论上,假设图像中每个像素的亮度值是周围相邻像素的加权和,其中加权系数和像素间的距离成反比例,同时每个像素的像素值分布服从高斯分布。由于采用相同类型的CCD成像装置因此参数基本相同,那么可以认为三个CCD服从相同方差的高斯分布。反映在图像中就是某个像素点上的亮度值受到了一定范围内光流量的影响,同时也影响了一定范围内像素的亮度值。假设σA=σB=σC分别是CCD摄像头A,B,C的标准差。假设摄像头A获得的图像为图像A,图像A中一个点(xA,yA)出的亮度值为I(xA,yA)。按照高斯分布的假设该点亮度可以表示为:
I ( x A , y A ) = L ( x A , y A ) × A ( x A , y A ) × 1 2 π σ A e - x A 2 + y A 2 2 × σ A 2
其中L(xA,yA)是该点处的光流量,A(xA,yA)是该点处的光敏感性。对于捆绑在一个水平面上的三个时间同步的摄像头,在两两重叠的区域的光的流量和敏感性应该是一致的。因为对于生物来讲,光的敏感性会随光照条件的改变而改变,而光的流通量是视网膜透镜在外界条件相同的条件下受到孔径控制的。为了便于衔接三副图像形成同一幅场景图,图像B的坐标紧接着图像A的标记。那么在A中的点与B中的对应点出的亮度值应该相等。但是坐标之间相差了Δy个像素的位置,而在水平方向上由于固定在一个面上,因此不涉及到平移问题。于是可以获得:yB-Δy=yA,将上面的高斯亮度分布带入该等式就有:
A ( x A , y A ) × 1 2 π σ A e - x A 2 + y A 2 2 × σ A 2 = A ( x B , y B ) × 1 2 π σ B e - x B 2 + y B 2 2 × σ B 2
A(xA,yA)和A(xB,yB)可以通过该点处周围的像素灰度值计算得到。通过前面的分析和假设该公式可以推导出:
ln A ( x A , y A ) A ( x B , y B ) = - Δ y 2 + 2 × Δy × y A 2 × π × σ A 2
由于局部的亮度敏感性和标准差σA等可以通过计算获得因此都为常数。选择一个坐标点(xA,yA),那么上面的等式可以变成:
Δy2+c1Δy=c2
这样就可以获得水平方向上的重叠部分的像素个数Δy。通过Δy来拼接两幅图像。
结合图4中仿生复眼微小目标检测流程:
第一步,视觉非线性压缩处理对拼接得到的场景图像做非线性压缩,这样的处理可以压缩图像的亮度变化范围,增大亮度变换的时间范围。这里用到的非线性压缩变换公式是:
I c ( x , y ) = I 0.7 ( x , y ) I 0.7 ( x , y ) + ( 1 9 × Σ i , j = 1 3 I ( x - i , y - j ) ) 0.7
该公式中Ic(x,y)是压缩后的亮度值。该公式分母部分中第二项是采用的移动平均的方法,这样求出来的中点值具有自适应性。
第二步,微小目标区域选取。目标是否可以被探测出来的关键是目标出现的局部场景中的对比度是否突出。通过计算局部对比度Clocal(x,y)来选择可能存在微小目标的图像块来进行处理。局部对比度Clocal(x,y)可以衡量该场景中是否存在可以被识别的微小目标。对比度较大的位置出现微小目标的可能性较大,选择该位置为被检测图像块的中心位置。这里假设微小目标的尺寸在4个像素左右。因此局部对比度为一个2×2大小图像块的局部对比度,而不是单个像素。局部对比度计算公式如下:
C local ( x , y ) = I meanc ( x , y ) - I min I max - I min + ϵ
Imeanc(x,y)是图像中一个以(x,y)为左上角像素的2×2的图像块的亮度值的平均。Imax是以该图像块为中心的6×6大小图像块亮度的最大值,Imin是该图像块的最小值。ε是一个很小的正数,这里选择0.1,来保证分母不为零。因为这样的对比度是建立在空间分辨率较低的场景图像上的,因此噪声在图像获取过程中被视觉滤波处理平滑掉了。同时随机噪声通常是以单个像素出现的,这样的2×2像素块的对比度消除了噪声对对比度的影响,保证了微小目标的识别和检测的正确率。图像中局部对比度较高的部分被认为是有可能出现微小目标的部位,默认对比度的平均值作为阈值,当局部对比度小于这个阈值时该位置上的图像块不进行目标检测。
第三步,对选为被分析的图像区域求平均,采用需要进行目标检测的局部图像块为中心的6×6区域图像块亮度F的平均亮度Ithred作为阈值分别在水平方向上和垂直方向上分出on图和off图,其中p=1∶6;q=1∶6。这样做对于暗目标来说,不论在水平方向还是垂直方向上都会落入off图中,亮目标则相反。而在on图中低于阈值的区域被设为阈值。所以两个通道的亮度变化极性是不同的。on图中亮度的范围是[thred,1],而在off图中亮度的变化范围是[0,thred]。为了方便后面的计算,将off图的极性变为正。仿照生物视觉的特性,求该像素块的周围亮度梯度:
Ithred=mean(F),
Fon=F-Ithred,
Foff=-F-Ithred,
ΔFhon=2×Fon(p,q)-Fon(p,q+1)-Fon(p,q+2),
ΔFvon=2×Fon(p,q)-Fon(p+1,q)-Fon(p+2,q),
ΔFhoff=2×Fon(p,q)-Fon(p,q+1)-Fon(p,q+2),
ΔFvoff=2×Fon(p,q)-Fon(p+1,q)-Fon(p+2,q),
其中:ΔFvon,ΔFvoff分别是on图和off图上垂直方向的梯度,同理ΔFhon,ΔFhoff是水平方向上的梯度。由于复眼的孔径小,视网膜图像的高频成份会丢失,造成边缘不清晰。因此在求取图像块亮度梯度时不仅在边缘外侧最邻近处求梯度,同时还考虑次相邻的位置。τ随着梯度的极性变换是按照生物神经元的机理:在亮度增加时神经元可以快速的上电,而对亮度降低时神经元则需要慢慢放电,这样的机制产生响应只对对比度极性发生改变时才出现,而对重复的纹理信息的有一定的平滑作用。
第四步,融合处理将水平方向和垂直方向上的两个通道信号分别通过池细胞融合在一起,然后将融合的结果再次融合就可以得到最后目标的输出。这里假设先考虑暗目标,分析水平方向图像中从左到右先是亮度的降低然后是亮度的增加,中间相隔若干个像素的距离。所以融合的公式可以写作:
F h = F on × e Δ F hon τ × S h p ( F off × e Δ F hoff τ )
F v = F on × e Δ F von τ × S v q ( F off × e Δ F voff τ )
其中,τ是自适应参数,当梯度为正时,τ=1;当梯度为负时,τ=100。Sh p,Sv q代表平移变换,下标h,v分别代表的是水平方向和垂直方向,而上标p和q是水平平移量和垂直平移量。Fh代表水平方向上将off图平移,再与on图相乘后的结果。同理Fv代表垂直方向上的结果。如果该图像块中没有存在微小目标,那么水平方向上off图像或者on图像中就会缺乏一个边缘而不能构成闭合区域,相乘后结果为零。如果水平方向上的融合输出不为零,说明该方向上存在一对边缘。垂直方向上同理。因此将两个正交方向采用逻辑与的方式融合得到第(i,j)位置上的输出out(i,j),若out(i,j)不为零,说明存在微小目标。
out(i,j)=Fv×Fh
附图5描述的是一路可编程视频信号处理器SAA7111的电路图,以CCD1为例,图像信号通过CVBS1电容C98接入到SAA7111芯片的图像信号的输入口“4”脚,“5”脚和“6”脚通过电容C99,C100接地。“37”脚和“8”脚直接接地;第“40”脚是该芯片的复位信号输入端,连接SAA7113H RST。第“18”脚VDDE1,“34”脚VDDE2,“29”脚VDDD1和“33”脚VDDDA接3.3V的电源位芯片供电;“10”脚到“42“脚对应的CDDA0~VDDA2通过电容组C101~C103,CT104~106与电感FERRITE-BEAK2组成的滤波器接地,XTAL和XTAL1脚分别接在晶振Y1的两端,它们为芯片提供时钟频率信号。芯片上的VPO0~VPO7,RTS0,RTS1,TRCO,SCL,SDA等管脚是要连接到FPGA的信号输入端口上作为信号传输使用的。VSSA0~VSSA2管脚,VSS1~5等管脚直接接地。其余两路数据信号连接方式同上。该芯片为FPGA提供YUV格式的数字图像信号。
附图6是CCD摄像头与视频信号处理芯片的连接图。每个CCD将数据通过D+和D-输入到电路板上,同时输入相应的控制信号和正负电压。电路板上的三个接口分别是CZ1、CZ2、CZ3。三个CCD的端口分别标记为Port1、Port2、Port3。Port1对应CZ1;Port2对应CZ2;Port3对应CZ3。
附图7中DSP芯片TMS320C6711B的CE0连接到FLASHROM的CS端,选择存储空间。输出使能端AOE连接到闪存的OE端,写使能端AWE端连接到闪存的WE端,EA2~EA21的地址信号连接到A0~A19上,作为闪存的读入地址,ED0~ED15的数据与FLASHROM的数据端D0~D15连接。闪存上的CS端和RY/BY端经过一个逻辑或门连接到DSP的ARDY端。
本发明是基于傅立叶光学理论设计,并采用多个普通的CCD摄像头、可编程视频信号处理器、FPGA+DSP芯片组成具有微小目标检测的成像装置。其中CCD采用的是MV-VS078 FM/FC型号的黑白CCD摄像头,将他们排列在一个水平面上以便获得较宽范围的场景图像。通过FPGA和DSP芯片上的仿生算法来实现对微小目标识别和探测的处理过程。在FPGA中将来自多个CCD同时刻获取的图像进行拼接,获得比单CCD视野更大的场景图像。在DSP芯片上的模拟复眼神经处理算法中,采用分割图像块来虚拟若干个小眼面,每个小眼对应于一个由少量光感受器组成的阵列。该感光器阵列可以检测出它所观察的小区域内是否存在微小目标。其中每个光感受器对应一个像素。
由于小眼的入射孔径很小,一般为2度,所以小眼获得图像的分辨率较低。而在探测微小目标的时候,目标被识别的关键不在于图像分辨率的高低,而是目标所在周围的对比度决定的,因此分辨率的好坏对探测效果影响并不大。本专利采用了分辨率较低的普通CCD摄像头,在获得的场景图像质量上近似于复眼的低分辨率图像。实现了低成本、高准确率的提取和识别微小目标的图像传感器装置。
考虑到生物在视觉上表现出来的特点有:
生物视觉对于光极性的变化非常敏感的。在目标边缘区域在响应程度比其他区域强烈,如果场景中存在微小目标,那么目标的边缘相对于周围场景的亮度值之间是存在较大差异的。对于一个亮度低的目标,仅从水平方向考虑,从左到右的亮度改变应该是:亮——暗——亮。那么在微小目标通过时,目标的边缘构成了一个闭合的区域,因此视网膜的响应也会成对的出现两个较为强烈的响应。
生物视觉是具有快速的自适应机制,即对亮度的增加视觉神经会快速的记录下来,也就是所谓的快速上电;而对亮度的降低视觉神经则不会立刻衰减到低亮度水平,而是以较慢的速度降低,即亮度的降低比亮度的增加需要更长的时间来适应,也叫做慢速放电。因此对于场景中出现的微小目标可以快速记录,慢速的忘记,针对纹理信息,视觉响应强度会随着纹理的不断重复而逐渐减弱,起到了平滑的作用。
依据以上生物视觉的特性,本发明将包含了微小尺寸目标的小眼视网膜图像通过阈值分割成极性相反on图和off图,通过两幅图的融合来判断是否存在微小目标。大于阈值的叫做on图,小于阈值的叫做off图。可见这样的分割使得沿微小目标边缘形成了一个闭合区域出现在off图(暗目标)或on图(亮目标)中。目标出现的地方存在两个跳变信号:亮度的增加和降低。通过符号的变换,可以将本来为负的off图转为正以方便后面的计算。这两个跳变信号通过中心侧抑制处理,将边缘处的跳变信号转化为脉冲信号,同时增加了其他相邻信号之间差异。为后续的融合计算的准确性提供了保证。
融合处理时将平移的off图与on图进行乘法运算,获得微小目标的输出信号。如果同时存在两个脉冲就代表微小目标的存在;若只有一个存在,那么相乘之后就为零。在这个过程中,不仅可以获得微小目标是否存在的信息,微小目标的尺寸在off图平移量上也可以反映出来。
本发明采用的普通CCD摄像头、DSP芯片、FPGA芯片及存储芯片和相关的仿生处理算法,实现复杂场景下的微小目标检测。充分利用生物视觉机理,避免了普通信号处理方法复杂性的缺点。同时该方法可以对复杂背景下的微小目标进行探测,不论该目标与背景之间是否存在相对运动。该目标检测装置大大降低了成本,避免了普通计算方法的复杂性,同时可以通过改进CCD的排列方式增加场景面积。
本发明仿照复眼识别和检测微小目标的原理通过传统成像装置和FPGA+DSP芯片的辅助实现复杂场景下微小目标的快速探测。本发明采用三个固定在同一水平平面上的普通的工业CCD摄像头获取部分场景图像,通过电视信号转换芯片SAA7113H和FPGA做预处理,得到完整的场景图像。采用DSP芯片将处理全景图像进行微小目标存在分析。最终得到目标位置的输出。本发明的优点:该发明设计避免了传统目标检测中滤波器组的不灵活性和复杂性,充分利用生物视觉简单快速的分析原理获得微小目标存在位置信息。同时依靠DSP和FPGA芯片组合来快速,灵巧的代替PC机实现了微小目标探测任务,可以达到实时性要求,且具有易于扩展等优点。

Claims (4)

1.一种基于傅立叶光学的微小目标检测仪,其特征在于包括图像获取预处理模块、图像配准模块和微小目标检测和输出模块,其中图像获取预处理模块由n个图像获取预处理子模块组成,每个图像获取预处理子模块都由CCD摄像头串接可编程视频信号处理器构成;图像配准模块由两个SRAM存储芯片和FPGA芯片组成;微小目标检测和输出模块由两个FLASH芯片和DSP芯片组成;n个可编程视频信号处理器的输出端分别接FPGA芯片的输入端,两个SRAM存储芯片和FPGA芯片双向通信连接,FPGA芯片和两个FLASH芯片分别与DSP芯片双向通信连接,其中n为自然数。
2.一种如权利要求1所述的基于傅立叶光学的微小目标检测仪的检测方法,其特征在于:采用CCD摄像头获取小眼图像,将所述小眼图像经过可编程视频信号处理器预处理后输出至FPGA芯片依次完成配准参数的估计和拼接处理、仿生物视觉的非线性压缩处理得到压缩后的图像,采用DSP芯片将所述压缩后的图像经过微小目标存在性分析和识别提取处理后输出微小目标图像。
3.根据权利要求2所述的基于傅立叶光学的微小目标检测仪的检测方法,其特征在于所述仿生物视觉的非线性压缩处理方法如下:
将配准参数的估计和拼接处理得到的场景图像I经过仿生物视觉的非线性压缩得到压缩后的图像:
Figure F2009102329597C0000011
其中Imean是采用移动平均的方法求得的场景图像I的中点值。
4.根据权利要求2所述的基于傅立叶光学的微小目标检测仪的检测方法,其特征在于所述微小目标存在性分析和识别提取处理方法包括如下步骤:
第一步,微小目标区域选取:选取与微小目标的尺寸相对应的局部图像块,以所述局部图像块为中心选取区域图像块,并计算所述局部图像块对比度:
Figure F2009102329597C0000012
将所述压缩后的图像的对比度平均值作为阈值,遍历所述压缩后的图像,当局部图像块对比度Clocal(x,y)大于所述阈值,则局部图像块所在区域进行目标检测,否则不进行目标检测;其中Imax是所述区域图像块亮度的最大值,Imin是所述区域图像块亮度的最小值,Imeanc(x,y)是所述压缩后的图像中以(x,y)为左上角像素的与微小目标的尺寸相对应的图像块的平均亮度值,ε是一个很小的正数保证分母不为零,x,y分别表示所述压缩后的图像的行和列,x,y都为自然数,下同;
第二步,对需要进行目标检测的局部图像块求平均:采用需要进行目标检测的局部图像块为中心的区域图像块的平均亮度Ithred作为阈值分别在水平方向上和垂直方向上将需要进行目标检测的局部图像块为中心的区域图像块分出on图和off图,将on图和off图分别经过快速的自适应方法处理分别得到水平和垂直方向上的两个通道信号:
F h = F on × e Δ f hon τ × S h p ( F off × e Δ F hoff τ ) ,
F v = F on × e Δ f von τ × S v q ( F off × e Δ F voff τ ) ,
其中,Sh p,Sv q代表平移变换,下标h,v分别代表的是水平平移和垂直平移,上标p,和q分别代表水平方向和垂直方向的平移量,ΔFvon,ΔFvoff分别是on图和off图上垂直方向的梯度,ΔFhon,ΔFhoff分别是on图和off图上水平方向的梯度,Fon、Foff分别表示on图和off图的亮度,e表示自然对数。τ是自适应参数,随着梯度的正负取不同的值:当梯度为正时,τ=1;当梯度为负时,τ=100。
第三步,融合处理:将第二步所述的两个通道信号分别通过池细胞融合在一起,然后将融合的结果再次融合输出微小目标图像:
out(i,j)=Fv×Fh
CN2009102329597A 2009-10-19 2009-10-19 基于傅立叶光学的微小目标检测仪及检测方法 Expired - Fee Related CN101694385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009102329597A CN101694385B (zh) 2009-10-19 2009-10-19 基于傅立叶光学的微小目标检测仪及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009102329597A CN101694385B (zh) 2009-10-19 2009-10-19 基于傅立叶光学的微小目标检测仪及检测方法

Publications (2)

Publication Number Publication Date
CN101694385A true CN101694385A (zh) 2010-04-14
CN101694385B CN101694385B (zh) 2012-05-09

Family

ID=42093371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009102329597A Expired - Fee Related CN101694385B (zh) 2009-10-19 2009-10-19 基于傅立叶光学的微小目标检测仪及检测方法

Country Status (1)

Country Link
CN (1) CN101694385B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102510436A (zh) * 2011-10-17 2012-06-20 河海大学常州校区 高速微小目标仿蝇视觉在线实时检测装置及检测方法
CN103996204A (zh) * 2013-02-14 2014-08-20 索尼公司 分析系统、分析程序和分析方法
CN105892501A (zh) * 2013-09-10 2016-08-24 充梦霞 一种自适应图像信息采集系统的工作方法
CN109557944A (zh) * 2018-11-30 2019-04-02 南通大学 一种运动目标位置检测系统及方法
CN110991485A (zh) * 2019-11-07 2020-04-10 成都傅立叶电子科技有限公司 一种目标检测算法的性能评估方法及系统
CN116342660A (zh) * 2022-09-08 2023-06-27 中北大学 一种多尺度分析融合加权滤波的仿生复眼光流场估计方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102510436B (zh) * 2011-10-17 2014-06-25 河海大学常州校区 高速微小目标仿蝇视觉在线实时检测装置及检测方法
CN102510436A (zh) * 2011-10-17 2012-06-20 河海大学常州校区 高速微小目标仿蝇视觉在线实时检测装置及检测方法
CN103996204B (zh) * 2013-02-14 2017-10-31 索尼公司 分析系统和分析方法
CN103996204A (zh) * 2013-02-14 2014-08-20 索尼公司 分析系统、分析程序和分析方法
CN105892501A (zh) * 2013-09-10 2016-08-24 充梦霞 一种自适应图像信息采集系统的工作方法
CN105912034A (zh) * 2013-09-10 2016-08-31 充梦霞 一种自适应图像信息采集系统
CN105955320A (zh) * 2013-09-10 2016-09-21 充梦霞 一种仿螳螂虾的复眼自适应图像信息采集系统
CN106054945A (zh) * 2013-09-10 2016-10-26 充梦霞 自适应图像信息采集系统
CN106094892A (zh) * 2013-09-10 2016-11-09 充梦霞 仿螳螂虾的复眼自适应图像信息采集系统
CN105912033A (zh) * 2013-09-10 2016-08-31 充梦霞 自适应图像信息采集系统的工作方法
CN109557944A (zh) * 2018-11-30 2019-04-02 南通大学 一种运动目标位置检测系统及方法
CN110991485A (zh) * 2019-11-07 2020-04-10 成都傅立叶电子科技有限公司 一种目标检测算法的性能评估方法及系统
CN110991485B (zh) * 2019-11-07 2023-04-14 成都傅立叶电子科技有限公司 一种目标检测算法的性能评估方法及系统
CN116342660A (zh) * 2022-09-08 2023-06-27 中北大学 一种多尺度分析融合加权滤波的仿生复眼光流场估计方法
CN116342660B (zh) * 2022-09-08 2023-12-08 中北大学 一种多尺度分析融合加权滤波的仿生复眼光流场估计方法

Also Published As

Publication number Publication date
CN101694385B (zh) 2012-05-09

Similar Documents

Publication Publication Date Title
Jiao et al. New generation deep learning for video object detection: A survey
CN111209810B (zh) 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构
Gallego et al. Event-based vision: A survey
Wang et al. Event-based high dynamic range image and very high frame rate video generation using conditional generative adversarial networks
CN107154022B (zh) 一种适用于拖车的动态全景拼接方法
CN101694385B (zh) 基于傅立叶光学的微小目标检测仪及检测方法
Koch et al. Neuromorphic vision chips
CN110929593B (zh) 一种基于细节辨别区别的实时显著性行人检测方法
Loh et al. Low-light image enhancement using Gaussian Process for features retrieval
CN106128121B (zh) 基于局部特征分析的车辆排队长度快速检测算法
CN112686928B (zh) 一种基于多源信息融合的运动目标视觉跟踪方法
CN102289672A (zh) 红外步态双信道特征融合识别方法
CN103295016A (zh) 基于深度与rgb信息和多尺度多方向等级层次特征的行为识别方法
CN110008793A (zh) 人脸识别方法、装置及设备
CN104143102B (zh) 在线图像数据处理方法
Lakshmi et al. Neuromorphic vision: From sensors to event‐based algorithms
CN111582095A (zh) 一种轻量级行人异常行为快速检测方法
Hu et al. Gabor-CNN for object detection based on small samples
CN114332911A (zh) 一种头部姿态检测方法、装置及计算机设备
CN113688741A (zh) 一种基于事件相机和视觉相机协同的运动训练评估系统及方法
CN107194946A (zh) 一种基于fpga的红外显著物体检测方法
KR100755800B1 (ko) 얼굴색과 에이다부스트를 이용한 얼굴 검출기 및 검출방법
Baisware et al. Review on recent advances in human action recognition in video data
CN201503590U (zh) 复杂场景下图像目标提取与识别装置
Cygert et al. Style transfer for detecting vehicles with thermal camera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120509

Termination date: 20151019

EXPY Termination of patent right or utility model