CN108875733A - 一种红外小目标快速提取系统 - Google Patents

Abstract

本发明公开了一种红外小目标快速提取系统，包括：图像采集模块，用于采集待检测目标图像；至少一个图像缩放模块，连接所述图像采集模块，用于对所述待检测目标图像进行缩小；目标提取模块，连接所述图像缩放模块，用于对缩小后的待检测目标图像进行目标点提取，提取所述目标点的特征值；目标判断模块，连接所述目标提取模块，用于根据所述特征值判断所述目标点是否为待提取目标，若是，则记录所述待提取目标的位置；数据缓存模块，连接所述图像采集模块，用于存储所述待检测目标图像。本发明通过采用图像缩放模块对待检测目标图像进行缩小处理，使其能够适配预先设定的模板，从而提高计算效率，能够实现对红外小目标快速提取，满足实时性要求。

Description

一种红外小目标快速提取系统

技术领域

本发明属于红外图像处理领域，具体涉及一种红外小目标快速提取系 统。

背景技术

由于多方向环形梯度法的红外小目标快速提取算法在PC上进行仿真 处理一帧需要很大的计算量，处理速度较慢，达不到实时处理的要求，使 得应用范围有限。而FPGA可以进行接口扩展和高速并行运算，可采集捕 获各类接口的信号，实现海量数据存储，同时进行高并行度低逻辑复杂度 的大数据量的运算，实现硬件加速。在多方向环形梯度法的红外小目标快 速提取算法的基础上，利用FPGA可并行执行的优点实现红外小目标快速 提取算法的加速，实现小目标提取的实时性。

将红外小目标快速提取算法直接向FPGA硬件平台移植的过程中，其运 算逻辑较为复杂，不能很好的实现整个运算，其资源占用率以及硬件成本 较高，不能实现数据的快速处理，因此急需设计一种能够检测效率高，实 时性好的图像提取系统。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种红外小目标 快速提取系统。本发明要解决的技术问题通过以下技术方案实现：

本发明实施例提供了一种红外小目标快速提取系统，包括：

图像采集模块，用于采集待检测目标图像；

至少一个图像缩放模块，连接所述图像采集模块，用于对所述待检测 目标图像进行缩小；

目标提取模块，连接所述图像缩放模块，用于对缩小后的待检测目标 图像进行目标点提取，提取所述目标点的特征值；

目标判断模块，连接所述目标提取模块，用于根据所述特征值判断所 述目标点是否为待提取目标，若是，则记录所述待提取目标的位置；

数据缓存模块，连接所述图像采集模块，用于存储所述待检测目标图 像。

在一个具体实施例中，所述目标提取模块还用于根据预先设定的模板， 对所述待检测目标图像进行缩小。

在一个具体实施例中，还包括显示模块，连接所述目标判断模块和所 述数据缓存模块，用于根据所述待提取目标的位置，在所述待检测目标图 像上的待提取目标的位置处添加标记，并将带有标记的待检测目标图像进 行显示。

在一个具体实施例中，所述图像缩放模块包括：第一平均值计算单元、 第一RAM单元、第二RAM单元、第二平均值计算单元；

所述第一平均值计算单元连接所述图像采集模块，用于对所述待检测 目标图像中每一行的每两个子像素取平均值，得到行缩放图像；

所述第一RAM单元连接所述第一平均值计算单元，用于存储所述行缩 放图像中的奇数行数据；

所述第二RAM单元连接所述第一平均值计算单元，用于存储所述行缩 放图像中的偶数行数据；

所述第二平均值计算单元连接所述目标提取模块，用于依次对所述奇 数行数据和所述偶数行数据中的每两个子像素取平均值，得到缩小后的待 检测目标图像。

在一个具体实施例中，所述目标判断模块包括：寄存器阵列、第一加 法器、第二加法器、减法器、乘法器、比较器、第三加法器；所述寄存器 阵列连接所述第一加法器和所述第二加法器，所述第一加法器和所述第二 加法器均连接所述减法器和所述乘法器，所述减法器和所述乘法器连接所 述比较器，所述比较器连接所述第三加法器。

在一个具体实施例中，所述第一加法器和所述第二加法器同时进行运 算，所述减法器和所述乘法器同时进行运算。

与现有技术相比，本发明的有益效果：

1、本发明的红外小目标快速提取系统通过采用图像缩放模块对待检测 目标图像进行缩小处理，使其能够适配预先设定的模板，从而提高计算效 率，能够实现对红外小目标快速提取，可以满足实时性要求。

2、本发明的红外小目标快速提取系统通过采用针对性设计的加法器和 乘法器的组合，避免了除法运算，进一步提高了计算效率。

附图说明

图1为本发明实施例提供了一种红外小目标快速提取系统模块框图；

图2为本发明实施例提供的一种红外小目标快速提取系统的图像缩放 模块功能框图；

图3为本发明实施例提供的一种红外小目标快速提取系统的目标判断 模块功能框图。

图4为本发明实施例提供的7*7模板的分块示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施 方式不限于此。

实施例一

请参见图1，图1为本发明实施例提供了一种红外小目标快速提取系统 模块框图，包括：

图像采集模块，用于采集待检测目标图像；

至少一个图像缩放模块，连接所述图像采集模块，用于对所述待检测 目标图像进行缩小；

目标提取模块，连接所述图像缩放模块，用于对缩小后的待检测目标 图像进行目标点提取，提取所述目标点的特征值；

目标判断模块，连接所述目标提取模块，用于根据所述特征值判断所 述目标点是否为待提取目标，若是，则记录所述待提取目标的位置；

数据缓存模块，连接所述图像采集模块，用于存储所述待检测目标图 像。

在一个具体实施例中，所述目标提取模块还用于根据预先设定的模板， 对所述待检测目标图像进行缩小。

在一个具体实施例中，还包括显示模块，连接所述目标判断模块和所 述数据缓存模块，用于根据所述待提取目标的位置，在所述待检测目标图 像上的待提取目标的位置处添加标记，并将带有标记的待检测目标图像进 行显示。

预先设定的模板大小一般为M*M像素的窗口，其中M≤20。

对于图像采集模块，可以通过Cameralink接口对相机数据进行采集输 入到FPGA中，数据缓存模块为DDR2架构的存储器，由于最后需要显示 图像，所以需要把图像缓存两帧(写当前帧，读上一帧)，如果采用FPGA内 部的缓存资源对于缓存两帧图像来说是相当困难的，所以需要借助外部的 DDR2来实现缓存，DDR2数据缓存模块就是把相机进来的数据转换成为 DDR2的写时序，把相机数据写到DDR2中，并且DDR2具有良好的扩展 性且价格便宜。

在一个具体实施例中，请参见图2，图2为本发明实施例提供的一种红 外小目标快速提取系统的图像缩放模块功能框图，所述图像缩放模块包括： 第一平均值计算单元、第一RAM单元、第二RAM单元、第二平均值计算 单元；

所述第一平均值计算单元连接所述图像采集模块，用于对所述待检测 目标图像中每一行的每两个子像素取平均值，得到行缩放图像；

所述第一RAM单元连接所述第一平均值计算单元，用于存储所述行缩 放图像中的奇数行数据；

所述第二RAM单元连接所述第一平均值计算单元，用于存储所述行缩 放图像中的偶数行数据；

所述第二平均值计算单元连接所述目标提取模块，用于分别对所述奇 数行数据和所述偶数行数据每两个子像素取平均值，得到缩小后的待检测 目标图像。

在该过程中，首先对待检测目标图像进行行压缩，即对每一行中相邻 的两个子像素求平均值，接下来对每一列中相邻的两个子像素求平均值， 进行列压缩，对所述待检测目标图像中每一行的每两个子像素取平均值， 即为行压缩，分别对所述奇数行数据和所述偶数行数据每两个子像素取平 均值，即为列压缩，最终行列均压缩1/2，得到1/2压缩图像。如果需要再 次压缩，则在该压缩基础上继续执行图像缩放模块，进行1/4压缩。

在一个具体实施例中，请参见图3，图3为本发明实施例提供的一种红 外小目标快速提取系统的目标判断模块功能框图，所述目标判断模块包括： 寄存器阵列、第一加法器、第二加法器、减法器、乘法器、比较器、第三 加法器；所述寄存器阵列连接所述第一加法器和所述第二加法器，所述第 一加法器和所述第二加法器均连接所述减法器和所述乘法器，所述减法器 和所述乘法器连接所述比较器，所述比较器连接所述第三加法器。

在一个具体实施例中，所述第一加法器和所述第二加法器同时进行运 算，所述减法器和所述乘法器同时进行运算。

其中，每一个图像缩放模块可以实现对图像的1/2缩小，如果需要进行 1/4，甚至1/8缩小，则需要对应串联一个或两个图像缩放模块进行对应比 例的缩小，具体的，图像的1/2缩放是直接对像素取平均然后把两行数据分 别存储到两个RAM块中去，当缓存完之后把数据读出来再取平均就得到了 1/2缩放后的图像，如果要得到1/4缩放图像，将1/2缩放后的图像例化进 相同的模块就可以得到1/4的缩放图像。

最终，数据缓存模块将存储的原始的待检测目标图像，以及1/2或1/4 缩放图缓存到FPGA内部的RAM块中，每一个尺度都需要等一帧图像开始 缓存够模板大小7行之后，在每一行的下降沿处把图像数据读出来送到下 一个模块数据修正模块进行数据行的重新排列。

本发明的红外小目标快速提取系统通过采用图像缩放模块对待检测目 标图像进行缩小处理，使其能够适配预先设定的模板，从而提高计算效率， 能够实现对红外小目标快速提取，可以满足实时性要求。

实施例二

本实施例以一个具体的实例来说明本系统如何进行对应提取算法的硬 件处理，首先对应用于本发明系统的算法进行说明。其中该方法包括以下 步骤：

S1、选取待检测目标图像，根据所述待检测目标图像中的目标单元大 小确定模板，将所述模板对应到待检测目标图像的检测窗口，其中所述模 板为大小为M*M像素的窗口，其中M≤20；

S2、将所述模板由内向外依次划分为第一环形区域、第二环形区域、 第三环形区域，并且使得所述第二环形区域至少包含8个子像素；

S3、将所述第二环形区域分割为8块连续的第一子区域，对应的，将 所述第三环形区域分割为8块连续的第二子区域；

S4、分别计算并对比所述第一环形区域、所述第一子区域、所述第二 子区域内子像素的平均亮度值，判断所述模板对应的检测窗口是否存在目 标单元；

S5、根据所述模板循环遍历所述待检测目标图像，并对应执行所述步 骤S2-S4，确定所述待检测目标图像中的所有目标单元。

具体的，步骤S4包括：

S401、计算第一环形区域的平均亮度值m₀、第一子区域中第i块区域 的平均亮度值m_i；

S402、对比所述第一环形区域的平均亮度值m₀和所述第一子区域中第 i块区域的平均亮度值m_i，得到第一亮度变化比值rate_0i；

S403、记录所述第一亮度变化比值rate_0i大于第一预定亮度阈值R_0i的 数量个数n₀₁；

S404、当判断n₀₁大于第一预定个数阈值N₀₁时，判断该检测窗口存在 目标单元，其中1≤i≤8。

所述第一亮度变化比值rate_0i的计算公式为：

其中，m₀为第一环形区域的平均亮度值，m_i为第一子区域中第i块区 域的平均亮度值。依次计算8次。

在一个具体实施例中，所述步骤S4包括：

S411、计算第一环形区域的平均亮度值m₀、第二子区域中第j块区域 的平均亮度值m_j；

S412、对比所述第一环形区域的平均亮度值m₀和所述第二子区域中第 j块区域的平均亮度值m_j，得到第二亮度变化比值rate_0j；

S413、记录所述第二亮度变化比值rate_0j大于第二预定亮度阈值R_0j的 数量个数n₀₂；

S414、当判断n₀₂大于第二预定个数阈值N₀₂时，判断该检测窗口存在 目标单元，其中1≤j≤8。

在一个具体实施例中，所述第二亮度变化比值rate_0j的计算公式为：

其中，m₀为第一环形区域的平均亮度值，m_j为第二子区域中第j块区 域的平均亮度值。依次计算8次。

在一个具体实施例中，所述步骤S4包括：

S421、计算第一子区域中第i块区域的平均亮度值m_i、第二子区域中 第j块区域的平均亮度值m_j；

S422、对比所述第一子区域中第i块区域的平均亮度值m_i和所述第二 子区域中第j块区域的平均亮度值m_j，得到第三亮度变化比值rate_ij；

S423、记录所述第三亮度变化比值rate_ij大于第三预定亮度阈值R_ij的数 量个数n₁₂；

S424、当判断n₁₂大于第三预定个数阈值N₁₂时，判断该检测窗口存在 目标单元，其中1≤i≤8，1≤j≤8。

在一个具体实施例中，所述第三亮度变化比值rate_ij的计算公式为：

其中，m_i为第一子区域中第i块区域的平均亮度值，m_j为第二子区域 中第j块区域的平均亮度值。依次计算8次。

在优选的实施方式中，同时满足上述条件认为检测窗口存在目标单元，

即，同时满足n₀₁＞N₀₁，n₀₂＞N₀₂，n₁₂＞N₁₂。

其中，待检测目标图像即为需要寻找目标的原始图像，目标单元即为 待寻找的目标，一般的待检测目标图像的像素大小一般较大，例如是一幅 天空图片，目标单元的像素较小，例如是天空中的飞机，比如，待检测目 标图像为200*200，目标单元可能只是10*10，当然，一幅图像中可能不止 一个目标单元，本实施例就是去寻找待检测目标图像中的所有目标单元。

模板即为本实施例中计算的依据，只有模板的大小大于目标单元的大 小时，模板才能至少覆盖该目标单元，才能使目标单元的边界都处于模板 内，从而获取准确的数据，检测窗口为模板对应的待检测区域，例如模板 大小为7*7，那么检测窗口的大小也为7*7，模板覆盖该检测窗口对该窗口 内的子像素进行检测。

由于模板过大可能导致计算效率大大降低，因此本实施例模板的大小 最大为20*20。

在一个实例中，以一幅200*200像素的图片为例，目标单元大小为6*6， 选取7*7的模板进行计算。

将该7*7模板进行环形分割，如图4所示，第一环形区域0中的包含9 个子像素，第二环形区域包含16个子像素，第三环形区域包含24个子像 素，其中对第二环形区域进行分割，得到8块连续的第一子区域(参见图4 中标号1-8)，对第三环形区域进行分割，得到8块连续的第二子区域(参见 图4中标号9-16)，每个子区域的像素数量根据该环形区域的像素总数确定， 子区域均分分配或非均匀分配。

在一个具体实施例中，根据所述模板循环遍历所述待检测目标图像为： 以1像素为步长，横向或纵向移动所述模板，遍历每个所述检测窗口。

由于检测目标图像较大，为了遍历到每一块区域，因此需要进行循环 遍历，例如如果第一次计算中，模板设置在图像的左上角，每计算一次结 果，则将模板依次右移或下移一个像素的步长，再次进行计算，直到使模 板覆盖计算完所有的图像区域。

在一个具体实施例中，所述步骤S1还包括：

当判断所述目标单元大小大于M*M时，通过降采样算法对所述待检测 目标图像进行等比例缩小，使得缩小后的待检测目标图像中的目标单元大 小小于或等于M*M。

由于目标单元可能比较大，因此进行降采样算法进行处理就能够满足 本方案的模板需要，克服现有技术中模板过渡依赖目标单元大小的缺点， 使目标单元去适配模板，例如，在一幅图像中，目标单元尺寸为68*68，远 远大于本发明的17*17的模板，因此，通过降采样，压缩图像的长宽为原 始的1/4，即缩小原图像16倍，最终得到的目标尺寸也对应的等比例缩小 为17*17像素，满足计算要求。

以7*7为例，上述算法应用于本实施例系统中时，对亮度变化比值的 计算公式进行变换为：

m₀-m_i＞m₀×R

由于m₀和m_i求得是平均数，需要用到除法所以将第1层环的亮度和乘以4.5， 第二层环的亮度和乘以3，当然也可以是其他数值，只要满足对应的层环之 间的比例关系即可。用M₀和M_i代替，就得到了亮度像素块一样多的情况， 避免了做除法耗费资源的情况，如下式

M₀-M_i＞M₀×R

对于计算模块，先把数据先缓存进7*7的寄存器中，然后开始遍历图 像计算M₀-M_i以及M₀×R，然后分别统计几个环之间大于阈值的个数，根据 个数再与阈值比较判断出结果。

按照本实施的目标判断模块的架构进行上述公式的判断，7*7寄存器填 满之后，得到M₀和M_i需要两个时钟，计算像素之和需要一个时钟，再做乘 法需要一个时钟，共需要两个时钟；得到M₀-M_i以及M₀×R再需要一个时钟； 统计中心大于外圈的个数，统计需要一个时钟，得到个数需要一个时钟， 共两个时钟；得到个数与阈值比较得到结果再需要一个时钟。

最后，显示模块在得到坐标点以后，用FPGA进行画框并且把框和字符叠加到 图像上进行显示，目前可支持HDMI格式的显示。主要做法是先生成相应的HDMI 显示时序，提前一行从DDR2中读出数据，把相应的像素填充进去，当叠加字符和 画框时把相应的像素值改变即可，参见图4所示，图中白色的点即为目标单元，对 其加框后及进行数字标注后，进行输出。

本发明的红外小目标快速提取系统通过采用针对性设计的加法器和乘 法器的组合，避免了除法运算，进一步提高了计算效率。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说 明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术 领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若 干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (6)

1.一种红外小目标快速提取系统，其特征在于，包括：

图像采集模块，用于采集待检测目标图像；

至少一个图像缩放模块，连接所述图像采集模块，用于对所述待检测目标图像进行缩小；

目标提取模块，连接所述图像缩放模块，用于对缩小后的待检测目标图像进行目标点提取，提取所述目标点的特征值；

目标判断模块，连接所述目标提取模块，用于根据所述特征值判断所述目标点是否为待提取目标，若是，则记录所述待提取目标的位置；

数据缓存模块，连接所述图像采集模块，用于存储所述待检测目标图像。

2.根据权利要求1所述的红外小目标快速提取系统，其特征在于，所述目标提取模块还用于根据预先设定的模板，对所述待检测目标图像进行缩小。

3.根据权利要求1所述的红外小目标快速提取系统，其特征在于，还包括显示模块，连接所述目标判断模块和所述数据缓存模块，用于根据所述待提取目标的位置，在所述待检测目标图像上的待提取目标的位置处添加标记，并将带有标记的待检测目标图像进行显示。

4.根据权利要求1所述的红外小目标快速提取系统，其特征在于，所述图像缩放模块包括：第一平均值计算单元、第一RAM单元、第二RAM单元、第二平均值计算单元；

所述第一平均值计算单元连接所述图像采集模块，用于对所述待检测目标图像中每一行的每两个子像素取平均值，得到行缩放图像；

所述第一RAM单元连接所述第一平均值计算单元，用于存储所述行缩放图像中的奇数行数据；

所述第二RAM单元连接所述第一平均值计算单元，用于存储所述行缩放图像中的偶数行数据；

所述第二平均值计算单元连接所述目标提取模块，用于依次对所述奇数行数据和所述偶数行数据中的每两个子像素取平均值，得到缩小后的待检测目标图像。

5.根据权利要求1所述的红外小目标快速提取系统，其特征在于，所述目标判断模块包括：寄存器阵列、第一加法器、第二加法器、减法器、乘法器、比较器、第三加法器；所述寄存器阵列连接所述第一加法器和所述第二加法器，所述第一加法器和所述第二加法器均连接所述减法器和所述乘法器，所述减法器和所述乘法器连接所述比较器，所述比较器连接所述第三加法器。

6.根据权利要求5所述的红外小目标快速提取系统，其特征在于，所述第一加法器和所述第二加法器同时进行运算，所述减法器和所述乘法器同时进行运算。