CN103310419A - 一种小目标图像处理装置 - Google Patents

Abstract

本发明适用于图像处理技术领域，提供了一种小目标图像处理装置，包括：双模板形态学滤波电路模块，用于对原图像背景进行抑制，除去占有大部分像素的背景和噪声，使得背景抑制后的图像大部分像素集中在低灰度区域的双模板结构；阈值分割模块，与所述双模板形态学滤波电路模块相连，用于把背景抑制后的图像处理成仅包含有目标的二值图像。采用所述的小目标图像处理装置不仅大大提高了目标检测的处理速度和实时性，同时也提高了目标检测的效果。

Description

一种小目标图像处理装置

技术领域

本发明属于图像处理技术领域，尤其涉及一种小目标图像处理装置。

背景技术

目标检测系统一般由目标检测、目标识别、目标捕获、目标高精度跟踪和攻击点选择等功能模块组成。而目标检测作为系统中最前端的处理环节，只有及时检测出场景中存在的目标，才能保证后续工作的顺利开展。由于小目标一般出现在杂波干扰强的环境和噪声中，目标与背景的亮度差异不明显，使得图像信噪比低，使后续的目标检测带来了很大的困难。另外，小目标的像素大小一般在5×5个像素内，缺少必要的、便于识别的纹理特征，难以使用常规的识别方法进行检测。因此，为了提高图像的信噪比和对比度，以便很好地从目标图像中检测到目标，有必要对单帧图像进行背景抑制处理，抑制掉占有大部分像素的背景和噪声。经过背景抑制后的图像大部分像素集中在低灰度区域，只有目标和少量噪声分布在高亮度区域。再经过门限化处理，进一步滤除噪声，同时增强小目标的亮度。

目前有如下几种常用的基于单帧图像背景抑制的小目标检测方法：(1)高通滤波是采用高通滤波器抑制掉低频分量，只让高频分量通过，能进行大面积的背景抑制，同时保留目标和部分高亮度的噪声，缺点在于无法滤除孤立的高频噪声点，同时还会削弱目标中心的灰度。(2)中值滤波是一种基于排序统计理论的能有效抑制脉冲噪声的非线性信号处理技术。主要优点是滤除奇异点的同时能保护背景的边缘。缺点在于对一些细节丰富或者背景杂波多的图像，其处理效果不佳，领域窗口大小与形状对滤波结果也有比较大的影响。(3)经典数学形态学top-hat变换以图像的形态结构为研究对象，包括一整套概念、变换和算法，用来描述图像的基本特征和基本结构。经典top-hat变换中参与运算的结构单元均为同一结构元素，没有考虑结构元素区域及周围区域之间的差异，因而不能区分图像中的起伏背景和真实目标区域。在检测目标时，图像中的噪声会导致真实目标丢失或增大虚假目标的数量。

另一方面，现有算法在实现时主要有三种方式：基于通用CPU的方式、基于DSP的方式和基于FPGA的方式。在这三种方式中，基于通用CPU的方式和基于DSP的方式通过软件编程来实现对目标的检测，由于受CPU或DSP硬件体系结构的限制，其处理基本上是串行的，实时性往往难以满足。基于FPGA的方式通过硬件设计来实现对目标的检测，其处理是并行的，实时性更容易满足。但是，现有基于FPGA的目标检测方法仅实现了单模板的top-hat变换部分，性能上还达不到目标检测的要求。

因此，现有技术存在缺陷，需要改进。

发明内容

本发明所要解决的技术问题在于提供一种小目标图像处理装置，旨在解决检测处理的实时性并提高图像的信噪比和对比度，以便很好地从目标图像上检测到目标。

本发明是这样实现的，一种小目标图像处理装置，包括：

双模板形态学滤波电路模块，用于对原图像进行背景抑制，除去占有大部分像素的背景和噪声，使得背景抑制后的图像大部分像素集中在低灰度区域；

阈值分割模块，与所述双模板形态学滤波电路模块相连，用于把背景抑制后的图像处理成仅包含有目标的二值图像。

进一步地，所述双模板形态学滤波电路模块包括：腐蚀处理单元、膨胀处理单元、背景差分处理单元和数据延时单元；

所述腐蚀处理单元将输入的原图像数据进行最小像素值比较后输出最小像素值；

所述膨胀处理单元与所述腐蚀处理单元相连，将经过腐蚀处理后的数据进行最大像素值比较后输出最大像素值；

所述背景差分处理单元与所述膨胀处理单元相连，对所述膨胀处理单元输出的图像数据与所述经数据延时单元输出的图像数据进行作差，并进行绝对值处理；

所述数据延时单元的输入端与原图像数据连接，输出端与所述背景差分处理单元相连，所述输出端控制所述背景差分处理单元，计算所述腐蚀处理单元和所述膨胀处理单元的延时，以控制所述背景差分处理单元两路输入像素位置对齐。

进一步地，所述阈值分割模块能快速计算出图像的最佳分割阈值，并对图像进行快速分割二值化，包括：同步FIFO单元、均值计算单元、均方差计算单元、最佳阈值计算单元、延时控制单元和比较器；

所述同步FIFO单元的输入端与所述双模板形态学滤波电路模块的输出端相连，输出端与所述比较器的第一输入端相连，用于存储所述双模板形态学滤波电路模块输出的完整图像数据，并在延时控制单元的控制下逐像素读出；

所述均值计算单元包括第一累加器和第一除法器，用于计算出一幅图像的像素均值；所述第一累加器的输入端与双模板形态学滤波电路模块的输出端相连，输出端与所述第一除法器的输入端相连；

所述均方差计算单元包括第一乘法器、第二累加器、第二除法器、第二乘法器、第一减法器和第一开根号器，用于计算图像的均方差；所述第一乘法器的第一输入端、第二输入端均与双模板形态学滤波电路模块的输出端相连，输出端接所述第二累加器的输入端；所述第二除法器的输入端接所述第二累加器的输出端，输出端接所述第一减法器的第一输入端；所述第二乘法器的输入端接所述均值计算单元的输出端，输出端接所述第一减法器的第二输入端；所述第一开根号器的输入端接所述第一减法器的输出端，输出端接第三乘法器的第一输入端；

所述最佳阈值计算单元包括第三乘法器、寄存器和第一加法器，用于计算图像的最佳阈值；所述第一加法器的第一输入端与所述第一除法器的输出端相连，第二输入端与所述第三乘法器的输出端相连，输出端接所述比较器的第二输入端相连，所述第三乘法器的第二输入端与所述寄存器的输出端相连；

所述比较器将所述同步FIFO单元的图像数据和所述最佳阈值计算单元计算出的最佳阈值T进行比较，若原图像像素值大于T则输出像素值为255，若小于等于T则输出像素值为0；

所述延时控制单元从第一个数据输入开始计数，所述延时控制单元的四个输出端分别产生四路控制信号；第一输出端与所述第一除法器相连，产生一个时钟周期高电平脉冲，控制第一累加器输出端到第一除法器输入端的数据加载；第二输出端与第二除法器相连，产生一个时钟周期高电平脉冲，控制第二累加器输出端到第二除法器输入端的数据加载；第三输出端与第一开根号器相连，产生一个时钟周期高电平脉冲，控制第一减法器输出端到第一开根号器输入端的数据加载；第四输出端连接同步FIFO单元读使能输入端，读使能信号从最佳阈值计算完成的下一个时钟周期开始产生，直到读完同步FIFO单元所存的整幅图像数据。

进一步地，所述腐蚀处理单元包括第一Z形行缓冲移位寄存器、至少一最小值比较器和5×5环形寄存器阵列；

所述第一Z形行缓冲移位寄存器与所述5×5环形寄存器阵列相连，通过所述第一Z形行缓冲移位寄存器把图像的像素值输入到所述5×5环形寄存器阵列中；所述最小值比较器与所述5×5环形寄存器阵列相连，用于比较像素点的最小值。

进一步地，所述第一Z形行缓冲移位寄存器包括第一行缓冲移位寄存器、第二行缓冲移位寄存器、第三行缓冲移位寄存器和第四行缓冲移位寄存器；所述5×5环形寄存器阵列包括若干单像素移位寄存器；

第一行缓冲移位寄存器的输入端与原图像串行输出端相连，输出端分别与第二行缓冲移位寄存器的输入端和单像素移位寄存器R21的输入端相连；

第二行缓冲移位寄存器的输出端分别与第三行缓冲移位寄存器的输入端和单像素移位寄存器R31的输入端相连；

第三行缓冲移位寄存器的输出端分别与第四行缓冲移位寄存器的输入端和单像素移位寄存器R41的输入端相连；

第四行缓冲移位寄存器的输出端与单像素移位寄存器R51的输入端相连；

单像素移位寄存器R11的输入端与原图像串行输出端相连；单像素移位寄存器R11、单像素移位寄存器R12、单像素移位寄存器R13、单像素移位寄存器R14和单像素移位寄存器R15依次串联构成一个5像素移位寄存器，且其各输出端均连接到第一最小值比较器的输入端；

单像素移位寄存器R21、单像素移位寄存器R22、单像素移位寄存器R23、单像素移位寄存器R24和单像素移位寄存器R25依次串联构成一个5像素移位寄存器；

单像素移位寄存器R31、单像素移位寄存器R32、单像素移位寄存器R33、单像素移位寄存器R34和单像素移位寄存器R35依次串联构成一个5像素移位寄存器；

单像素移位寄存器R41、单像素移位寄存器R42、单像素移位寄存器R43、单像素移位寄存器R44和单像素移位寄存器R45依次串联构成一个5像素移位寄存器；

单像素移位寄存器R51、单像素移位寄存器R52、单像素移位寄存器R53、单像素移位寄存器R54和单像素移位寄存器R55依次串联构成一个5像素移位寄存器，且其各输出端均连接到第二最小值比较器的输入端；

单像素移位寄存器R21、单像素移位寄存器R31和单像素移位寄存器R41的输出端均连接到第三最小值比较器的输入端；

单像素移位寄存器R25、单像素移位寄存器R35和单像素移位寄存器R45的输出端均连接到第四最小值比较器的输入端；

第五最小值比较器的输入端分别与第一最小值比较器、第二最小值比较器、第三最小值比较器和第四最小值比较器的输出端相连，输出端与膨胀处理单元的输入端相连，把比较得出的最小值像素进行输出。

进一步地，所述膨胀处理单元包括第二Z形行缓冲移位寄存器、至少一最大值比较器和3×3方形寄存器阵列；

所述第二Z形行缓冲移位寄存器与所述3×3方形寄存器阵列相连，把腐蚀处理后的图像像素值输入到所述3×3方形寄存器阵列；所述最大值比较器与所述3×3方形寄存器阵列相连，用于比较并输出最大像素值。

进一步地，所述第二Z形行缓冲移位寄存器包括第五行缓冲移位寄存器和第六行缓冲移位寄存器，所述3×3方形寄存器阵列包括若干单像素移位寄存器；第五行缓冲移位寄存器的输入端与腐蚀处理单元的输出端相连，输出端分别与单像素移位寄存器R021和第六行缓冲移位寄存器的输入端相连；第六缓冲移位寄存器的输出端与单像素移位寄存器R031的输入端相连；

单像素移位寄存器R011的输入端与腐蚀处理单元的输出端相连；单像素移位寄存器R011、单像素移位寄存器R012和单像素移位寄存器R013依次相连构成一个3像素移位寄存器，且其各输出端均与第一最大值比较器的输入端相连；

单像素移位寄存器R021、单像素移位寄存器R022和单像素移位寄存器R023依次相连构成一个3像素移位寄存器，且其各输出端均与第二最大值比较器的输入端相连；

单像素移位寄存器R031、单像素移位寄存器R032和单像素移位寄存器R033依次相连构成一个3像素移位寄存器，且其各输出端均与第三最大值比较器的输入端相连；

第四最大值比较器的输入端分别与第一最大值比较器、第二最大值比较器和第三最大值比较器的输出端相连，输出端与背景差分处理单元的输入端相连。

进一步地，所述背景差分处理单元包括移位寄存器和绝对值差分器；

所述移位寄存器的输入端与原图像数据端相连，输出端与所述绝对值差分器的第一输入端相连，用于延时串行图像数据；

所述绝对值差分器的第二输入端与所述第四最大值比较器的输出端相连，输出端用于输出处理后的图像数据，所述绝对值差分器用于对原图像和腐蚀及膨胀后的图像进行作差并进行绝对值处理。

与现有技术相比，本发明所采用的双模板形态学滤波电路模块采用了两个不同但互相关联的结构元素，利用其边缘区域体现了目标区域与周围边缘区域的不同，不仅减少了参与运算的像素数目，同时也降低了噪声的影响，有利于目标的检测。另外，所有的处理均采用硬件实现，并行化程度高，处理的实时性强。

附图说明

图1是本发明实施例提供的小目标图像处理装置的连接关系图；

图2是本发明实施例提供的双模板形态学滤波电路模块内部连接关系图；

图3是本发明实施例提供的阈值分割模块内部连接关系图；

图4是本发明实施例提供的腐蚀处理单元内部连接关系图；

图5是本发明实施例提供的膨胀处理单元内部连接关系图；

图6是本发明实施例提供的背景差分处理单元内部连接关系图；

图7是本发明实施例提供的双模板形态学滤波电路模块的结构元素图；

图8是本发明实施例提供的陆空背景图像；

图9是本发明实施例提供的陆空背景图像采用双模板形态学滤波电路模块处理后的效果图；

图10是本发明实施例提供的陆空背景图像采用阈值分割模块处理后的效果图；

图11是本发明实施例提供的多云多目标背景图像；

图12是本发明实施例提供的多云多目标背景图像采用双模板形态学滤波电路模块处理后的效果图；

图13是本发明实施例提供的多云多目标背景图像采用阈值分割模块处理后的效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

随着半导体工艺的不断进步，FPGA（Field－Programmable Gate Array，现场可编程门阵列）不仅告别了传统观念的价格昂贵，而且性能也显著提升，同时不断集成一些新的硬件资源，比如内嵌DSP块、内嵌RAM块、锁相环(PLL)、高速外部存储器接口(DDR)等，作为一个平台，用FPGA来做实时图像处理，由于可编程逻辑的大容量、灵活性，可以实现视频图像极大的并行处理能力，速度比PC机和数字信号处理芯片更快。

本发明所有电路均在FPGA内部设计实现，所采用和命名的模块和单元均为数字电路基本运算单元及免费IP核功能单元。彼此之间的连接显示了图像数据在各个数字电路功能单元的运算流向。

如图1所示，一种小目标图像处理装置，包括：对原图像背景进行抑制，除去占有大部分像素的背景和噪声，使得背景抑制后的图像大部分像素集中在低灰度区域的双模板结构的双模板形态学滤波电路模块101；与所述双模板形态学滤波电路模块101相连的把图像处理成仅包含有目标的二值图像的阈值分割模块102。

如图7所示为双模板形态学滤波电路模块101的结构元素图，显示出了B_o、B_i和ΔB三者之间的关系，阴影区域为边缘结构元素ΔB，白色区域为内部结构元素B_i，而外部结构元素B_o是B_i和ΔB的并集。设B_o大小为m×m和B_i大小为n×n的同心的扁平结构元素，不妨设m＞n，称B_o为外部结构元素，B_i为内部结构元素，有

，那么，定义边缘结构元素ΔB为ΔB=B_o-B_i。定义一种运算fοB_oi为，其中，B_oi为参与运算的结构元素，它包含边缘结构元素ΔB和内部结构元素B_i两个部分。在此基础上定义修正的top-hat变换为

为了避免top-hat出现负值，将

作修改后得到

本发明中的双模板形态学滤波电路模块采用了两个不同但相互关联的结构元素，利用边缘结构元素和内部结构元素体现目标区域与其周围区域的不同，这不仅减少了参与运算的像素个数进而减小算法的运算量，而且大大降低了噪声影响概率，十分有利于后续的目标检测工作。

与上述实施例相结合，双模板形态学滤波电路模块101电路原理为：视频图像串行输入，经过膨胀处理电路，腐蚀处理电路输出，同时，由于原始图像经过膨胀处理和腐蚀处理后有相应的延时，因此数据延时电路需要对原始的视频图像数据做移位寄存器缓存延迟，以确保做背景差分处理。到达背景差分处理单元的数据分别是一幅图像中同一位置的原始图像像素值和其经过膨胀和腐蚀处理后输出的像素值。在背景差分单元中判断其像素值大小，并用较大值减去较小值，同时产生输出数据有效信号。如图2所示，所述双模板形态学滤波电路模块101包括：将输入的原图像数据进行最小像素值比较后输出最小像素值的腐蚀处理单元201；与所述腐蚀处理单元201相连，将经过腐蚀处理后的数据进行最大像素值比较后输出最大像素值的膨胀处理单元202；与所述膨胀处理单元202相连，对膨胀处理单元输出的图像数据与经数据延时单元输出的图像数据进行作差，并进行绝对值处理的背景差分处理单元203；以及输入端与原图像数据连接，输出端与所述背景差分处理单元203相连，计算经过腐蚀处理和膨胀处理后的时间差的数据延时单元204，所述数据延时单元204的所述输出端控制所述背景差分处理单元203，计算所述腐蚀处理单元202和所述膨胀处理单元201的延时，以控制所述背景差分处理单元203两路输入像素位置对齐。

在数据延时单元204中进行数据延迟T的计算，从数据输入到腐蚀及膨胀处理完成这段数字电路延时可用以下公式进行计算：T_DLY=[(K_COR-1)*N+K_COR-1+t_COR]+[(K_EXP-1)*N+K_EXP-1+t_EXP]，其中，式中K_COR和K_EXP为腐蚀和膨胀运算所选取的结构元素的列数，t_COR和t_EXP分别为腐蚀和膨胀处理电路中组合逻辑单元计算取得最小值和最大值所需要的处理时间，其中N为行缓冲像素寄存器的长度。

由于经过腐蚀和膨胀处理的输出需要与原图像同一位置的像素值对应后再做背景差分元素，因此通过计算延时T使得经过处理后的图像数据与原始图像数据在空间位置上一致，才能保证整个双模板形态学滤波算法得到正确的处理结果。膨胀处理后输出的像素值与原始图像对应位置的时差可以表示为：T=T_DLY-T_f，其中T_f为首个膨胀运算输出所对应的原始图像像素位置与原始图像第一个像素位置之间的时钟周期间隔。计算公式为：T_f=[(K_COR-1)*N/2+(K_COR-1)/2]+[(K_EXP-1)*N/2+(K_EXP-1)/2]，从而可得到经过腐蚀处理和膨胀处理后与原图像中原始像素位置对齐所需延时T，T=[(K_COR-1)*N/2+(K_COR-1)/2+t_COR]+[(K_EXP-1)*N/2+(K_EXP-1)/2+t_EXP]，经过膨胀处理后输出的数据与经过延时后的原始图像数据再相减，并取其正值，同时产生有效数据输出信号。

与上述实施例相结合，另一实施例，所述数据延时单元204为移位寄存器，所述移位寄存器置于所述腐蚀处理单元201内。把所述数据延时单元204置于所述腐蚀处理单元201内在资源利用和器件使用上都可以有很大程度的优化。

与上述各实施例相结合，如图3所示，所述阈值分割模块102能快速计算出图像的最佳分割阈值，并对图像进行快速分割二值化，包括：同步FIFO单元35、均值计算单元31、均方差计算单元32、最佳阈值计算单元33、延时控制单元36和比较器34。所述同步FIFO单元35的输入端与所述双模板形态学滤波电路模块101的输出端相连，输出端与所述比较器34的输入端相连，用于存储所述双模板形态学滤波电路模块101输出的完整图像数据，并在延时控制单元36的控制下逐像素读出。所述均值计算单元31包括第一累加器311和第一除法器312，用于计算出一幅图像的像素均值；所述第一累加器311的输入端与双模板形态学滤波电路模块101的输出端相连，输出端与所述第一除法器312的输入端相连。所述均方差计算单元32包括第一乘法器321、第二累加器322、第二除法器323、第二乘法器324、第一减法器325和第一开根号器326，用于计算图像的均方差。所述第一乘法器321的第一、第二输入端均与双模板形态学滤波电路模块101的输出端相连，输出端接所述第二累加器322的输入端；所述第二除法器323的输入端接所述第二累加器322的输出端，输出端接所述第一减法器325的第一输入端；所述第二乘法器324的输入端接所述均值计算单元31的输出端，输出端接所述第一减法器325的第二输入端；所述第一开根号器326的输入端接所述第一减法器325的输出端，输出端接第三乘法器331的第一输入端。所述最佳阈值计算单元33包括第三乘法器331、寄存器333和第一加法器332，用于计算图像的最佳阈值。所述第一加法器332的输入端分别与所述均值单元31的输出端、所述第三乘法器331的输出端相连，输出端接所述比较器34的第二输入端相连，所述第三乘法器的第二输入端与所述寄存器的输出端相连。所述比较器34将所述同步FIFO单元35的图像数据和所述最佳阈值单元33计算出的最佳阈值T进行比较，若原图像像素值大于T则输出像素值为255，若小于T则输出像素值为0。所述延时控制单元36从第一个数据输入开始计数，所述延时控制单元36的四个输出端分别产生四路控制信号；第一输出端与所述第一除法器312相连，产生一个时钟周期高电平脉冲，控制第一累加器311输出端到第一除法器312输入端的数据加载；第二输出端与第二除法器323相连，产生一个时钟周期高电平脉冲，控制第二累加器322输出端到第二除法器323输入端的数据加载；第三输出端与第一开根号器326相连，产生一个时钟周期高电平脉冲，控制第一减法器325输出端到第一开根号器326输入端的数据加载；第四输出端连接同步FIFO单元35读使能输入端，读使能信号从最佳阈值计算完成的下一个时钟周期开始产生，直到读完同步FIFO单元35所存的整幅图像数据。

top-hat变换后的红外图像很大程度地抑制了背景和噪声。经背景抑制后的图像需经过门限处理以完成目标分割任务。这时利用图像分割方法进一步滤除部分噪声。经过top-hat变换后的图像E(m，n)中目标的亮度明显要比背景和大部分噪声高一些，通过选择一个门限值T将目标从背景和噪声中提取出来，使E(m，n)>T的点(m,n)称为候选目标点，将这些点的灰度值置为255。将E(m，n)≤T的点组成的区域称为目标区域，置其灰度值为0，则 $\mathrm{ET}(m,n)=\left\{\begin{array}{cc}255& E(m,n)<T\\ 0& S(m,n)\&le;T^{\&prime;}\end{array}\right.$ 其中，ET(m,n)为经过门限处理后的输出图像，它是仅含有目标和少量高频噪声的二值图像。门限处理的关键是确定门限值，经过top-hat变换后的图像的灰度分布近似符合高斯分布，由此得到最佳阈值T为： $T=\mathrm{mean}+\mathrm{kx\&sigma;},\mathrm{\&sigma;}=\sqrt{\underset{k=0}{\overset{\mathrm{mxn}}{\mathrm{\&Sigma;}}}E{(m,n)}^2-{\left[\underset{k=0}{\overset{\mathrm{mxn}}{\mathrm{\&Sigma;}}}E(m,n)\right]}^2}$ 其中，mean为图像的均值，σ为图像的标准差，k为常系数（通过实验得到一般为5≤k≤40），k值的选取对于最终目标个数的判断尤为重要，通过对红外视频图像的背景进行分类，合理选取k值。

与上述各实施例相结合，如图4所示，所述腐蚀处理单元201包括第一Z形行缓冲移位寄存器40、至少一最小值比较器和5×5环形寄存器阵列41。所述第一Z形行缓冲移位寄存器40与所述5×5环形寄存器阵列41相连，通过所述第一Z形行缓冲移位寄存器40把图像的像素值输入到所述5×5环形寄存器阵列41中；所述最小值比较器与所述5×5环形寄存器阵列41相连，用于比较像素点的最小值。所述腐蚀处理单元201数字电路的工作原理为：原始视频图像数据串行输入到第一行缓冲移位寄存器401、第二行缓冲移位寄存器402、第三行缓冲移位寄存器403和第四行缓冲移位寄存器404，这4个行缓冲移位寄存器中，其中行缓冲移位寄存器长度为一行图像像素个数，同时，所述4个行缓冲移位寄存器端以及输入端分别依次连接5个单像素移位寄存器。因此，如图4中构成了一个5位寄大小的环形寄存器阵列。对移位进入5对移环形寄存器阵列41的像素，按腐蚀算法的原理取结构单元的边缘部分的所有像素进行比较，获得最小值。因此，将边缘寄存器单元分为四组，上下边缘各取5个寄存器作为一组，左右边缘各取中间3个寄存器作为一组，将这四组寄存器的像素值分别输入到5像素的第一最小值比较器405、5像素的第二最小值比较器406、3像素的第三最小值比较器407和3像素的第四最小值比较器408中，分别取得最小值，最后再通过一个4像素第五最小值比较器409，输出为腐蚀处理后的数据。整个电路结构完成了对原始图像数据腐蚀处理的功能。

如图5所示，所述膨胀处理单元202包括第二Z形行缓冲移位寄存器50、至少一最大值比较器和3×3方形寄存器阵列51。所述第二Z形行缓冲移位寄存器50与所述3×3方形寄存器阵列51相连，把腐蚀处理后的图像像素值输入到所述3×3方形寄存器阵列51；所述最大值比较器与所述3×3方形寄存器阵列51相连，用于比较并输出最大像素值。所述膨胀处理单元202数字电路的工作原理为：经过腐蚀处理输出的数据串行输入到第五行缓冲移位寄存器501和第六行缓冲移位寄存器502这2个行缓冲移位寄存器中，其中行缓冲寄存器长度为一行图像像素个数，同时，所述的2个行像素移位寄存器端以及输入端依次连接3个单像素移位寄存器。因此，如图5中构成了一个3个行大小的方形寄存器阵列。对移位进入3对移方形寄存器阵列51的像素，按双模板形态学滤波电路模块101中膨胀算法的原理取3×3方形寄存器阵列51的所有像素进行比较，获得最大值。因此，将3×3方形寄存器阵列51分为上中下3组，将这3组寄存器的像素值分别输入到3像素的第一最大值比较器503、3像素的第二最大值比较器504和3像素的第三最大值比较器505中，分别取得最大值，最后再通过一个3像素的第四最大值比较器506，输出为膨胀处理后的数据。整个电路结构完成了对输入的腐蚀处理过后的数据，进行膨胀处理的功能。

如图6所示，所述背景差分处理单元203的电路工作原理为：首个有效运算结果对应原始图像空间的位置可以依据所采用图像的行宽及结构元素的大小来确定，假定行宽为N=320，腐蚀和膨胀中所选取的两个不同结构元素的列数分别为K_COR=5和K_EXP=3，则这段延时计算可得：T_f=320*(5-1)/2+(5-1)/2+320*(3-1)+(3-1)/2=963，然后再经过组合逻辑电路获得最小值及最大值所需要的时间t_COR和t_EXP，则总延时T=T_f+t_COR+t_EXP=963+5=968。因此，整个数据延迟电路需要延迟968个周期左右。经过膨胀处理后输出的数据与经过延时后的原始图像数据再相减，并取其正值，同时产生有效数据输出信号。

所述阈值分割模块102电路的工作原理为：以视频图像大小为m×n为例，经双模板形态学滤波电路模块处理后的视频数据，分为三个通道进行并行处理；第一，一幅图像数据逐行逐像素写入深度为m×n的同步FIFO单元35中，通过延时控制单元36控制，等待另外三个子单元：均值计算单元31、均方差计算单元32和最佳阈值计算单元33分别求出一幅图像的均值mean、均方差σ以及最佳阈值T后，此时在延时控制单元36的控制下从同步FIFO单元35中开始读出已存入的一幅完整的图像数据，并与计算出的最佳阈值T值进行比较，若原视频图像像素值大于T，则输出像素值为255；若小于T，则输出像素值为0。第二，一幅图像的所有像素值经过第一累加器311累加，得到整幅图像像素值之和

再经过第一除法器312除以整幅图像像素个数m×n获得均值mean，并将mean进行寄存。其中，第一除法器312输入端的被除数为第一累加器311输出的像素和，除数为一幅图像的像素个数m×n。第三，一幅图像逐个像素值经过第一乘法器321进行平方运算，平方输出再经过第二累加器322进行累加，输出获得一幅图像像素值平方的累加和；然后再经过第二除法器323除以一幅图像的像素个数m×n，输出得到像素值平方的和的均值X-mean；然后用该均值X-mean减去第二乘法器324中输出的均值mean的平方，得到图像的方差σ²，再经第一开根号器326进行开根号运算，得到图像的标准差σ；标准差σ再与寄存在寄存器333中的常数K（K为常系数）相乘，相乘结果再与寄存的均值mean在第一加法器332中相加，最终得到最佳阈值T。

上述整个像素值处理的流程中，涉及到数值的处理，通过估计除法运算输出整数部分的范围，进而确定整数部分的位数。通过使得k×σ个像,其中k一般取(5<k<40)，可得σ所取范围为(0.025<σ<0.2)，从而σ小数点后有效位需精确到0.001，以二进制表示至少需要10bit。以8bit像素值为例，其中除法器输出均值mean的整数部分为8bit，小数部分取10bit，除法器输出均值X-mean的整数部分为16bit，小数部分取10bit。

与上述各实施例相结合，进一步列举实施例进行说明，例如，选择图像为320×256大小的图像，双模板中腐蚀处理模板为5×5环形结构，膨胀模板为3×3方形结构，根据延时T的计算公式可以得到，从第一个图像数据输入到第一个处理结果输出需要968个时钟周期。由于图像边缘4层像素值没有进行处理，因此图像输入前后端不能处理的像素个数为963个，同时对应地输出结果的前后各963个像素值都置为0，每一行前后三个像素位置对应的处理结果也为0。。整个处理需要968+81920个时钟周期。如果FPGA处理速度为100MHZ，则处理完一帧图像双模板形态学滤波处理仅需要828.88us，延时仅为9.68us。

当输入图像数据为8比特，σ精确到小数位第3位时，均方差计算单元的延时T₁可通过计算得到，t₁的延时为图像像素值个数即81920个时钟周期，整个t₂的延时为54个时钟周期(通过对IP核仿真得到)。则按所述阈值分割延时控制模块延时计算原理，整个均方差计算单元32产生的延时T₁为81974个时钟周期，最佳阈值计算模块33的延时T₂主要是第三乘法器331产生，当第三乘法器331输入都取16比特宽时，其延时仅有2个时钟周期(乘法器IP仿真得到)。则本实施例所实现的阈值分割电路模块，其总的延时T为81976个时钟周期。如果FPGA处理速度为100MHZ，则完成一幅图像阈值分割处理仅需要819.76us。

因此本发明小目标图像处理装置在对256×320大小图像，在FPGA上以100M速度进行处理，则完成一幅图像的目标检测总共需要不到1.7ms。

相比于在PC和DSP上进行运算具有更快的处理速度，在该算法实现结构基础上，进行少量修改，就可以改为针对不同图像尺寸和不同模板处理的逻辑结构，具有很好的移植性。如图8至图13为一系列处理前和处理后的结果对照图。

本发明可以应用在各种视频小目标检测领域，只要根据目标大小，更改双模版的大小，即可以有效地检测目标，同时根据图像大小，调整个别参数，即可以检测任意大小图像中的小目标，然后根据结果开展后续的目标跟踪等。应用方式：在视频图像处理系统上，以FPGA硬件实现方式采用本发明的检测方法和电路实现原理，处理结果通过PCI等其他数据接口传送到后续处理单元（如跟踪单元）进行处理。

本发明也可以应用在计算机显微图像分析上，比如，如定量金相分析，颗粒分析，由于颗粒粒径大小和形貌对产品的质量和功能起着极为关键的作用，因此本发明可用于直接测量二位平面上的颗粒图像并用来进行颗粒粒径和形状分析。其应用方式主要包括某类型颗粒图像处理仪，一般该处理仪主要实现对图像的一系列形态学处理，以把颗粒从数字图像中的颗粒从背景中提取出来，以便进行颗粒粒径和形状分析。其一系列形态学处理会用到本发明所采用的算法原理和硬件实现结构。

本发明也可以应用在医学图像处理，例如，细胞检测、病变部位检测、脊椎、骨架、骨折部位等图像处理，医学影像上对病变部位的确定及骨骼是否断裂，骨形是否弯曲变形的检测，器官组织的图像分割等，都要事先对CT图像进行预处理和分割，本算法良好的检测效果，能直接被应用在医学检测仪器上，特别是对处理速度有严格要求的医学检测仪器上，将会以FPGA实现或者IC芯片的形式，将本发明所采用的硬件结构直接固化成硬件，实现本发明所采用的算法结构。

本发明同样可以应用在工业检测(如印刷电路线路检测)，材料科学等。由于印刷电路板在生产的过程中会有连线和焊盘破损等缺陷，解决该类问题一般采用机器视觉检测技术，在检测过程中会对采集的图像进行预处理，以提取与识别电路板缺陷。本发明所采用的算法目标提取与分割方面所采用的双模板结构，能够实现印刷电路板图像与模板图像（好板）之间的快速对准和比较参考，通过本算法硬件结构中的背景差分处理，能够精确得到出现断裂的连线和破损的焊盘。本发明实现的硬件结构处理速度快，能很好的满足印刷电路板的快速检测。另外在其他材料缺陷图像检测（如内部断裂、肉眼观测不到的穿孔）方面，也会以检测仪器或者PC机处理上进行应用，其中在快速的检测仪器上会以本算法采用的硬件结构原理进行相关硬件设计。

本发明还可以应用在其他对小目标检测有需求的图像处理仪器或者图像处理芯片上，也会将本发明的硬件结构作为具体的硬件电路模块或者特殊芯片应用在图像处理的预处理部分。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种小目标图像处理装置，其特征在于，包括：

双模板形态学滤波电路模块，用于对原图像进行背景抑制，除去占有大部分像素的背景和噪声，使得背景抑制后的图像大部分像素集中在低灰度区域；

阈值分割模块，与所述双模板形态学滤波电路模块相连，用于把背景抑制后的图像处理成仅包含有目标的二值图像。

2.根据权利要求1所述的小目标图像处理装置，其特征在于，所述双模板形态学滤波电路模块包括：腐蚀处理单元、膨胀处理单元、背景差分处理单元和数据延时单元；

所述腐蚀处理单元将输入的原图像数据进行最小像素值比较后输出最小像素值；

所述膨胀处理单元与所述腐蚀处理单元相连，将经过腐蚀处理后的数据进行最大像素值比较后输出最大像素值；

所述背景差分处理单元与所述膨胀处理单元相连，对所述膨胀处理单元输出的图像数据与所述经数据延时单元输出的图像数据进行作差，并进行绝对值处理；

所述数据延时单元的输入端与原图像数据连接，输出端与所述背景差分处理单元相连，所述输出端控制所述背景差分处理单元，计算所述腐蚀处理单元和所述膨胀处理单元的延时，以控制所述背景差分处理单元两路输入像素位置对齐。

3.根据权利要求1所述的小目标图像处理装置，其特征在于，所述阈值分割模块能快速计算出图像的最佳分割阈值，并对图像进行快速分割二值化，包括：同步FIFO单元、均值计算单元、均方差计算单元、最佳阈值计算单元、延时控制单元和比较器；

所述同步FIFO单元的输入端与所述双模板形态学滤波电路模块的输出端相连，输出端与所述比较器的第一输入端相连，用于存储所述双模板形态学滤波电路模块输出的完整图像数据，并在延时控制单元的控制下逐像素读出；

所述均值计算单元包括第一累加器和第一除法器，用于计算出一幅图像的像素均值；所述第一累加器的输入端与双模板形态学滤波电路模块的输出端相连，输出端与所述第一除法器的输入端相连；

所述均方差计算单元包括第一乘法器、第二累加器、第二除法器、第二乘法器、第一减法器和第一开根号器，用于计算图像的均方差；所述第一乘法器的第一输入端、第二输入端均与双模板形态学滤波电路模块的输出端相连，输出端接所述第二累加器的输入端；所述第二除法器的输入端接所述第二累加器的输出端，输出端接所述第一减法器的第一输入端；所述第二乘法器的输入端接所述均值计算单元的输出端，输出端接所述第一减法器的第二输入端；所述第一开根号器的输入端接所述第一减法器的输出端，输出端接第三乘法器的第一输入端；

所述最佳阈值计算单元包括第三乘法器、寄存器和第一加法器，用于计算图像的最佳阈值；所述第一加法器的第一输入端与所述第一除法器的输出端相连，第二输入端与所述第三乘法器的输出端相连，输出端接所述比较器的第二输入端相连，所述第三乘法器的第二输入端与所述寄存器的输出端相连；

所述比较器将所述同步FIFO单元的图像数据和所述最佳阈值计算单元计算出的最佳阈值T进行比较，若原图像像素值大于T则输出像素值为255，若小于等于T则输出像素值为0；

所述延时控制单元从第一个数据输入开始计数，所述延时控制单元的四个输出端分别产生四路控制信号；第一输出端与所述第一除法器相连，产生一个时钟周期高电平脉冲，控制第一累加器输出端到第一除法器输入端的数据加载；第二输出端与第二除法器相连，产生一个时钟周期高电平脉冲，控制第二累加器输出端到第二除法器输入端的数据加载；第三输出端与第一开根号器相连，产生一个时钟周期高电平脉冲，控制第一减法器输出端到第一开根号器输入端的数据加载；第四输出端连接同步FIFO单元读使能输入端，读使能信号从最佳阈值计算完成的下一个时钟周期开始产生，直到读完同步FIFO单元所存的整幅图像数据。

4.根据权利要求2所述的小目标图像处理装置，其特征在于，所述腐蚀处理单元包括第一Z形行缓冲移位寄存器、至少一最小值比较器和5×5环形寄存器阵列；

所述第一Z形行缓冲移位寄存器与所述5×5环形寄存器阵列相连，通过所述第一Z形行缓冲移位寄存器把图像的像素值输入到所述5×5环形寄存器阵列中；所述最小值比较器与所述5×5环形寄存器阵列相连，用于比较像素点的最小值。

5.根据权利要求4所述的小目标图像处理装置，其特征在于，所述第一Z形行缓冲移位寄存器包括第一行缓冲移位寄存器、第二行缓冲移位寄存器、第三行缓冲移位寄存器和第四行缓冲移位寄存器；所述5×5环形寄存器阵列包括若干单像素移位寄存器；

第一行缓冲移位寄存器的输入端与原图像串行输出端相连，输出端分别与第二行缓冲移位寄存器的输入端和单像素移位寄存器R21的输入端相连；

第二行缓冲移位寄存器的输出端分别与第三行缓冲移位寄存器的输入端和单像素移位寄存器R31的输入端相连；

第三行缓冲移位寄存器的输出端分别与第四行缓冲移位寄存器的输入端和单像素移位寄存器R41的输入端相连；

第四行缓冲移位寄存器的输出端与单像素移位寄存器R51的输入端相连；

单像素移位寄存器R11的输入端与原图像串行输出端相连；单像素移位寄存器R11、单像素移位寄存器R12、单像素移位寄存器R13、单像素移位寄存器R14和单像素移位寄存器R15依次串联构成一个5像素移位寄存器，且其各输出端均连接到第一最小值比较器的输入端；

单像素移位寄存器R21、单像素移位寄存器R22、单像素移位寄存器R23、单像素移位寄存器R24和单像素移位寄存器R25依次串联构成一个5像素移位寄存器；

单像素移位寄存器R31、单像素移位寄存器R32、单像素移位寄存器R33、单像素移位寄存器R34和单像素移位寄存器R35依次串联构成一个5像素移位寄存器；

单像素移位寄存器R41、单像素移位寄存器R42、单像素移位寄存器R43、单像素移位寄存器R44和单像素移位寄存器R45依次串联构成一个5像素移位寄存器；

单像素移位寄存器R51、单像素移位寄存器R52、单像素移位寄存器R53、单像素移位寄存器R54和单像素移位寄存器R55依次串联构成一个5像素移位寄存器，且其各输出端均连接到第二最小值比较器的输入端；

单像素移位寄存器R21、单像素移位寄存器R31和单像素移位寄存器R41的输出端均连接到第三最小值比较器的输入端；

单像素移位寄存器R25、单像素移位寄存器R35和单像素移位寄存器R45的输出端均连接到第四最小值比较器的输入端；

第五最小值比较器的输入端分别与第一最小值比较器、第二最小值比较器、第三最小值比较器和第四最小值比较器的输出端相连，输出端与膨胀处理单元的输入端相连，把比较得出的最小值像素进行输出。

6.根据权利要求2所述的小目标图像处理装置，其特征在于，所述膨胀处理单元包括第二Z形行缓冲移位寄存器、至少一最大值比较器和3×3方形寄存器阵列；

所述第二Z形行缓冲移位寄存器与所述3×3方形寄存器阵列相连，把腐蚀处理后的图像像素值输入到所述3×3方形寄存器阵列；所述最大值比较器与所述3×3方形寄存器阵列相连，用于比较并输出最大像素值。

7.根据权利要求6所述的小目标图像处理装置，其特征在于，所述第二Z形行缓冲移位寄存器包括第五行缓冲移位寄存器和第六行缓冲移位寄存器，所述3×3方形寄存器阵列包括若干单像素移位寄存器；第五行缓冲移位寄存器的输入端与腐蚀处理单元的输出端相连，输出端分别与单像素移位寄存器R021和第六行缓冲移位寄存器的输入端相连；第六缓冲移位寄存器的输出端与单像素移位寄存器R031的输入端相连；

单像素移位寄存器R011的输入端与腐蚀处理单元的输出端相连；单像素移位寄存器R011、单像素移位寄存器R012和单像素移位寄存器R013依次相连构成一个3像素移位寄存器，且其各输出端均与第一最大值比较器的输入端相连；

单像素移位寄存器R021、单像素移位寄存器R022和单像素移位寄存器R023依次相连构成一个3像素移位寄存器，且其各输出端均与第二最大值比较器的输入端相连；

单像素移位寄存器R031、单像素移位寄存器R032和单像素移位寄存器R033依次相连构成一个3像素移位寄存器，且其各输出端均与第三最大值比较器的输入端相连；

第四最大值比较器的输入端分别与第一最大值比较器、第二最大值比较器和第三最大值比较器的输出端相连，输出端与背景差分处理单元的输入端相连。

8.根据权利要求7所述的小目标图像处理装置，其特征在于，所述背景差分处理单元包括移位寄存器和绝对值差分器；

所述移位寄存器的输入端与原图像数据端相连，输出端与所述绝对值差分器的第一输入端相连，用于延时串行图像数据；

所述绝对值差分器的第二输入端与所述第四最大值比较器的输出端相连，输出端用于输出处理后的图像数据，所述绝对值差分器用于对原图像和腐蚀及膨胀后的图像进行作差并进行绝对值处理。

Images