CN111784736A - 基于单像元并行计算的运动小目标实时检测系统及方法 - Google Patents

Abstract

本发明公开了基于单像元并行计算的运动小目标实时检测系统及方法，该系统包括中央处理器、内存、存储器、图形处理器和显存，还包括：光学图像获取模块、由中央处理器运行的控制模块和由图形处理器运行的单像元目标检测并行计算模块；光学图像获取模块用于获得连续帧的图像序列；控制模块用于将图像序列划分为若干个数据立方体，将每个数据立方体从内存拷贝至显存；还用于将显存的目标检测结果拷贝至内存中，进行目标轨迹的绘制；单像元目标检测并行计算模块用于为图像的每个像元分配一个图形处理器线程，对这个像元对应的时序信号进行处理，由此判断该像元上是否出现目标，将每一个像元的目标检测结果存储在全局显存中。

Description

基于单像元并行计算的运动小目标实时检测系统及方法

技术领域

本发明涉及运动小目标检测与并行计算领域，具体涉及基于单像元并行计算的运动小目标实时检测系统及方法。

背景技术

运动小目标检测是计算机视觉领域的基本问题，也是各种预警防御系统的关键环节。运动目标检测主要有两种信息可以利用：一是视觉特征，主要包括颜色、纹理和形状信息；二是目标的运动信息。由于运动小目标不具有形状和纹理信息，因此主要依靠其运动所引起的像元变化进行检测。运动小目标检测有两种基本的检测方法：一是基于空域信息的，通过处理单帧图像对目标进行检测，对高信噪比目标有很好的检测效果；二是基于时空联合信息的，其实仍然是以空域信息为主，引入时域信息进行检测增强。在基于空域信息的检测中，背景建模和帧间差分是有效的检测方式，其他的方法包括光流法、局部对比度分析以及形态学滤波等。对于时域滤波来说，主要包括检测前跟踪和跟踪前检测两大类方法，这些方法在一定程度上能够满足运动小目标检测的需求，但是无法实现低信噪比运动小目标检测。主要原因在于现有的方法主要利用空间域信息，然后引入时间域作为辅助，进行轨迹关联，没有充分挖掘每一个像元强度值的时域分布信息。与此同时，现有的基于时域信息的运动小目标检测通过串行地处理每一个像元实现目标检测，效率低，不能满足目标检测的实时性要求。

发明内容

本发明的目的是解决低信噪比运动小目标检测难和效率低的问题，提出了基于单像元并行计算的运动小目标实时检测系统，该系统通过中央处理器与图形处理器协同工作的方式，实现基于单像元并行计算的低信噪比运动小目标的检测。

为实现上述目的，本发明的实施例1提供了一种基于单像元并行计算的运动小目标实时检测系统，所述系统包括中央处理器、内存、存储器、图形处理器和显存，所述系统还包括：光学图像获取模块、控制模块和单像元目标检测并行计算模块；所述控制模块由中央处理器运行；所述单像元目标检测并行计算模块由图形处理器运行；

所述光学图像获取模块，用于获得连续帧的图像序列；

所述控制模块，用于读取光学图像获取模块的数据，将图像序列划分为若干个数据立方体，将每个数据立方体从内存拷贝至显存；还用于将显存的目标检测结果拷贝至内存中，进行目标轨迹的绘制；

所述单像元目标检测并行计算模块，用于为图像的每个像元分配一个图形处理器线程，对这个像元对应的时序信号进行处理，由此检测时序信号中是否含有瞬态扰动，判断该像元上是否出现目标，将每一个像元的目标检测结果存储在图形处理器的全局显存中。

作为上述系统的一种改进，所述光学图像获取模块通过可见光相机或红外相机获取图像序列。

作为上述系统的一种改进，所述控制模块包括：数据读取单元、数据输出单元、计算结果读取单元和处理单元；

所述数据读取单元，用于从光学图像获取模块中读取图像序列数据；

所述数据输出单元，用于设定每次处理的图像帧数N，将N帧图像数据定义为一个数据立方体，每次将一个数据立方体的数据读入内存中，计算所占用的内存空间；根据N帧图像所占用的内存空间，申请开辟图形处理器的全局显存空间，将内存中的数据拷贝到全局显存中；

所述计算结果读取单元，用于将目标检测结果从显存中拷贝到内存中，释放图形处理器的显存；

所述处理单元，用于通过形态学滤波对图像空间域上的目标检测结果进行处理，根据处理后的目标检测结果绘制运动小目标的运动轨迹并进行显示。

作为上述系统的一种改进，所述单像元目标检测并行计算模块包括：线程分配单元和目标检测单元；

所述线程分配单元，用于根据图形处理器每个块中所含有的线程数目thread_num，将数据立方体根据像元个数pixe_num进行空域上的分块处理，分块个数block_num等于像元总数除以每个块的线程数目：

block_num＝pixe_num/thread_num

给每个像元分配一个图形处理器线程，每个线程均运行目标检测单元；

所述目标检测单元，用于对像元的时序信号进行处理，由此检测时序信号中是否含有瞬态扰动；若存在扰动，则该像元上出现目标；否则，该像元上未出现目标；然后将该像元的目标检测结果存储在图形处理器的全局显存中。

作为上述系统的一种改进，所述目标检测单元的具体检测过程为：

像元的强度值在时间域上形成一维时序信号f(k)，k表示帧数；

像元是否有目标经过视为在H₀和H_a之间的选择假设问题：

H₀:f(k)＝n(k)无目标

H_a:f(k)＝t(k)+n(k)有目标

其中，t(k)表示点目标信号，n(k)为噪声和背景的叠加分布；

对一维时序信号f(k)进行处理，所使用的处理方法函数记为M，所使用的处理方法包括：时频分析、能量累积、匹配滤波和统计分析；

则处理后的输出为判断值V，数学表达为：

V＝M{f(k)}

设λ为所选取的检测阈值；如果V＜λ，则为选择假设H₀，即没有检测到瞬态扰动，表示没有目标经过，该像元的目标检测结果为0；如果V≥λ，则为选择假设H_a，即检测到瞬态扰动，表示有目标经过，该像元的目标检测结果为1。

本发明的实施例2提供了一种基于单像元并行计算的运动小目标实时检测方法，基于上述系统实现，所述方法包括：

所述光学图像获取模块获得连续帧的图像序列；

所述中央处理器运行控制模块，读取光学图像获取模块的数据，将图像序列划分为若干个数据立方体，将每个数据立方体的数据从内存拷贝至显存；

所述图像处理器运行单像元目标检测并行计算模块，为每个像元分配一个图形处理器线程，该线程对这个像元对应的时序信号进行处理，由此检测时序信号中是否含有瞬态扰动，判断该像元上是否出现目标，将每一个像元的目标检测结果存储在图形处理器的全局显存中；

所述中央处理器运行控制模块，将目标检测结果从全局显存中拷贝到内存中，释放图形处理器的显存；通过形态学滤波的方法对目标检测结果进行处理，根据处理后的目标检测结果绘制运动小目标的运动轨迹。

作为上述方法的一种改进，所述图像处理器运行单像元目标检测并行计算模块，为每个像元分配一个图形处理器线程，该线程对这个像元对应的时序信号进行处理，由此检测时序信号中是否含有瞬态扰动，判断该像元上是否出现目标，将每一个像元的目标检测结果存储在图形处理器的全局显存中；具体包括：

所述线程分配单元根据图形处理器每个块中所含有的线程数目thread_num，将数据立方体根据像元个数pixe_num进行空域上的分块处理，分块个数block_num等于像元总数除以每个块的线程数目：

block_num＝pixe_num/thread_num

给每个像元分配一个图形处理器线程，每个线程均运行目标检测单元；

所述目标检测单元对像元的时序信号进行处理，检测时序信号中是否含有瞬态扰动；若存在扰动，则该像元上出现目标；否则，该像元上未出现目标；然后将该像元的目标检测结果存储在图形处理器的全局显存中。

作为上述方法的一种改进，所述目标检测单元的具体检测过程为：

像元的强度值在时间域上形成一维时序信号f(k)，k表示帧数；

像元是否有目标经过视为在H₀和H_a之间的选择假设问题：

H₀:f(k)＝n(k)无目标

H_a:f(k)＝t(k)+n(k)有目标

其中，t(k)表示点目标信号，n(k)为噪声和背景的叠加分布；

对一维时序信号f(k)进行处理，所使用的处理方法函数记为M，所使用的处理方法包括：时频分析、能量累积、匹配滤波和统计分析；

则处理后的输出为判断值V，数学表达为：

V＝M{f(k)}

设λ为所选取的检测阈值；如果V＜λ，则为选择假设H₀，即没有检测到瞬态扰动，表示没有目标经过，该像元的目标检测结果为0；如果V≥λ，则为选择假设H_a，即检测到瞬态扰动，表示有目标经过，该像元的目标检测结果为1。

本发明的优势在于：

1、本发明的系统利用图形处理器并行处理每一个像元对应的时序信号，能够对运动小目标进行有效检测，并且能够极大提升检测效率；

2、本发明的系统通过中央处理器与图形处理器协同工作的方式进行运动小目标检测，充分利用中央处理器的逻辑控制能力以及图形处理器具有大量计算单元的特点，将每一个像元对应的时序信号通过图形处理器进行并行处理，实现有目标经过和无目标经过像元的区分，能够对低信噪比运动点目标进行有效检测，中央处理器+图形处理器协同工作的方式极大提升了检测效率。

附图说明

图1为本发明的实施例1的基于单像元并行计算的运动小目标实时检测系统的结构图；

图2为本发明的实施例2的基于单像元并行计算的运动小目标实时检测方法的流程图。

具体实施方式

本发明的技术方案为：

通过中央处理器与图形处理器协同工作的方式实现低信噪比运动小目标的实时检测。通过光学相机获取连续的图像序列，然后从单个像元的角度去考虑进行目标检测：每一个像元的强度值在时间上会形成一个一维时序信号，当有目标经过时，该时序信号产生一个瞬态扰动，因此可以对每一个像元对应的时序信号进行瞬态扰动进行检测，判断该像元是否有目标经过。为了提升计算效率，在进行方法实现时，充分利用中央处理器的逻辑控制能力与图形处理器的并行计算能力，使用中央处理器与图形处理器协同计算的方式：通过中央处理器实现整个计算逻辑的控制，在每一个像元的时序信号处理时，使用图形处理器的大量计算单元进行实现。

下面结合附图和实施例对本发明的技术方案进行详细说明。

实施例1

如图1所示，本发明的实施例1提供了基于单像元并行计算的运动小目标实时检测系统，包括中央处理器、内存、存储器、图形处理器和内存；其中内存是与中央处理器配合使用的存储器，中央处理器能够将图像序列读取到内存中进行使用。显存是与图形处理器配合使用的存储器，中央处理器能够将数据在内存与显存之间进行拷贝，图形处理器能从显存中读取数据并将数据存储在显存中。系统还包括：光学图像获取模块、控制模块和单像元目标检测并行计算模块；

光学图像获取模块，用于获得连续帧的图像序列，既可以通过可见光相机获取也可以通过红外相机获取；

控制模块，用于读取光学图像获取模块的数据，将图像序列划分为若干个数据立方体，控制每个数据立方体在内存和显存之间的数据交换，控制图形处理器实现并行计算，最终实现目标轨迹的关联；控制模块主要使用中央处理器进行实现；

控制模块包括：数据读取单元、数据输出单元、计算结果读取单元和处理单元；

数据读取单元，用于从光学图像获取模块中读取图像序列数据；

数据输出单元，用于设定每次处理的图像帧数N，将N帧图像数据定义为一个数据立方体，每次将一个数据立方体的数据读入内存中，计算所占用的内存空间；根据N帧图像所占用的内存空间，申请开辟图形处理器的全局显存空间，将内存中的数据拷贝到全局显存中；

计算结果读取单元，用于将目标检测结果从显存中拷贝到内存中，释放图形处理器的显存；

处理单元，用于通过形态学滤波等空间域滤波方法对图像空间域上的目标检测结果进行处理，根据处理后的目标检测结果绘制运动小目标的运动轨迹并进行显示。

单像元目标检测并行计算模块，使用图形处理器进行计算，图形处理器的每一个计算单元用于处理每一个像元对的时序信号，检测像元是否受到瞬态扰动，进而区分有目标和无目标出现的像元。

单像元目标检测并行计算模块包括：线程分配单元和目标检测单元；

线程分配单元，用于根据图形处理器每个块中所含有的线程数目thread_num，将数据立方体根据像元个数pixe_num进行空域上的分块处理，分块个数block_num等于像元总数除以每个块的线程数目：

block_num＝pixe_num/thread_num

给每个像元分配一个图形处理器线程，每个线程均运行目标检测单元；

目标检测单元，用于对这个像元对应的时序信号进行处理，用来检测时序信号中是否含有瞬态扰动；若存在扰动，则该像元上出现目标；否则，该像元上未出现目标；然后将该像元的目标检测结果存储在图形处理器的全局显存中。

标检测单元的具体检测过程为：

每个像元的强度值在时间域上形成一维时序信号f(k)，k表示帧数；

每一个像元是否有目标经过视为在H₀和H_a之间的选择假设问题：

H₀:f(k)＝n(k)无目标

H_a:f(k)＝t(k)+n(k)有目标

其中，t(k)表示点目标信号，n(k)为噪声和背景的叠加分布；

对一维时序信号f(k)进行处理，所使用的处理方法函数记为M，所使用的处理方法包括：时频分析、能量累积、匹配滤波和统计分析；

则处理后的输出为判断值V，数学表达为：

V＝M{f(k)}

设λ为所选取的检测阈值；如果V＜λ，则为选择假设H₀，即没有检测到瞬态扰动，表示没有目标经过，该像元的目标检测结果为0；如果V≥λ，则为选择假设H_a，即检测到瞬态扰动，表示有目标经过，该像元的目标检测结果为1。

实施例2

如图2所示，本发明的实施例2提供了基于单像元并行计算的运动小目标实时检测方法，其步骤如下：

步骤1：获得光学相机(可见光相机或者红外相机)拍摄的图像序列，每个像元的强度值在时间域上形成一维时序信号f(k)，k表示帧数。

每一个像元是否有目标经过可以看做在H₀和H_a之间的选择假设问题：

H₀:f(k)＝n(k)无目标

H_a:f(k)＝t(k)+n(k)有目标

其中，t(k)表示点目标信号，n(k)为噪声和背景的叠加分布。

步骤2：设定每次处理的图像帧数N，定义为一个数据立方体，将其读入内存中，计算所占用的内存空间；

步骤3：根据N帧图像所占用的内存大小申请开辟图形处理器的全局显存空间，将内存中的数据拷贝到全局显存中；

其中步骤2和步骤3使用中央处理器进行实现。

步骤4：根据图形处理器每个块(block)中所含有的线程数目thread_num，将数据立方体根据像元个数pixe_num进行空域上的分块处理，分块个数block_num等于像元总数除以每个块的线程数目；

block_num＝pixe_num/thread_num

步骤5：给每一个像元分配1个图形处理器线程(thread)，对这个像元对应的时序信号进行处理，用来检测时序信号中是否含有瞬态扰动，所使用的处理方法包括但不限于：时频分析、能量累积、匹配滤波、统计分析等方法。

设所使用的方法函数为M，输入为以为时间序列f(k)，输出为判断值V，数学表达为

V＝M{f(k)}

如果V＜λ，则为选择假设H₀，没有检测到瞬态扰动，表示没有目标经过，线程的计算输出为0；如果V≥λ，则为选择假设H_a，检测到瞬态扰动，表示有目标经过，线程的计算输出为1。每一个像元的计算结果存储在图形处理器的全局显存中。

其中步骤4和步骤5在图形处理器上进行实现。

步骤6：将计算结果从显存中拷贝到内存中，释放图形处理器的显存。

步骤7：对检测结果通过形态学滤波的方法进行处理，降低虚警率，将结果添加到总体轨迹中，绘制运动小目标的完整轨迹。

其中步骤6和步骤7在中央处理器上进行实现。

步骤8：获取下一个基本处理单元，重复步骤3-步骤7。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于单像元并行计算的运动小目标实时检测系统，所述系统包括中央处理器、内存、存储器、图形处理器和显存，其特征在于，所述系统还包括：光学图像获取模块、控制模块和单像元目标检测并行计算模块；所述控制模块由中央处理器运行；所述单像元目标检测并行计算模块由图形处理器运行；

所述光学图像获取模块，用于获得连续帧的图像序列；

所述控制模块，用于读取光学图像获取模块的数据，将图像序列划分为若干个数据立方体，将每个数据立方体从内存拷贝至显存；还用于将显存的目标检测结果拷贝至内存中，进行目标轨迹的绘制；

所述单像元目标检测并行计算模块，用于为图像的每个像元分配一个图形处理器线程，对这个像元对应的时序信号进行处理，由此检测时序信号中是否含有瞬态扰动，判断该像元上是否出现目标，将每一个像元的目标检测结果存储在图形处理器的全局显存中。

2.根据权利要求1所述的基于单像元并行计算的运动小目标实时检测系统，其特征在于，所述光学图像获取模块通过可见光相机或红外相机获取图像序列。

3.根据权利要求1所述的基于单像元并行计算的运动小目标实时检测系统，其特征在于，所述控制模块包括：数据读取单元、数据输出单元、计算结果读取单元和处理单元；

所述数据读取单元，用于从光学图像获取模块中读取图像序列数据；

所述数据输出单元，用于设定每次处理的图像帧数N，将N帧图像数据定义为一个数据立方体，每次将一个数据立方体的数据读入内存中，计算所占用的内存空间；根据N帧图像所占用的内存空间，申请开辟图形处理器的全局显存空间，将内存中的数据拷贝到全局显存中；

所述计算结果读取单元，用于将目标检测结果从显存中拷贝到内存中，释放图形处理器的显存；

所述处理单元，用于通过形态学滤波对图像空间域上的目标检测结果进行处理，根据处理后的目标检测结果绘制运动小目标的运动轨迹并进行显示。

4.根据权利要求3所述的基于单像元并行计算的运动小目标实时检测系统，其特征在于，所述单像元目标检测并行计算模块包括：线程分配单元和目标检测单元；

所述线程分配单元，用于根据图形处理器每个块中所含有的线程数目thread_num，将数据立方体根据像元个数pixe_num进行空域上的分块处理，分块个数block_num等于像元总数除以每个块的线程数目：

block_num＝pixe_num/thread_num

给每个像元分配一个图形处理器线程，每个线程均运行目标检测单元；

所述目标检测单元，用于对像元的时序信号进行处理，由此检测时序信号中是否含有瞬态扰动；若存在扰动，则该像元上出现目标；否则，该像元上未出现目标；然后将该像元的目标检测结果存储在图形处理器的全局显存中。

5.根据权利要求4所述的基于单像元并行计算的运动小目标实时检测系统，其特征在于，所述目标检测单元的具体检测过程为：

像元的强度值在时间域上形成一维时序信号f(k)，k表示帧数；

像元是否有目标经过视为在H₀和H_a之间的选择假设问题：

H₀:f(k)＝n(k)无目标

H_a:f(k)＝t(k)+n(k)有目标

其中，t(k)表示点目标信号，n(k)为噪声和背景的叠加分布；

对一维时序信号f(k)进行处理，所使用的处理方法函数记为M，所使用的处理方法包括：时频分析、能量累积、匹配滤波和统计分析；

则处理后的输出为判断值V，数学表达为：

V＝M{f(k)}

设λ为所选取的检测阈值；如果V＜λ，则为选择假设H₀，即没有检测到瞬态扰动，表示没有目标经过，该像元的目标检测结果为0；如果V≥λ，则为选择假设H_a，即检测到瞬态扰动，表示有目标经过，该像元的目标检测结果为1。

6.一种基于单像元并行计算的运动小目标实时检测方法，基于权利要求4-5之一所述的系统实现，所述方法包括：

所述光学图像获取模块获得连续帧的图像序列；

所述中央处理器运行控制模块，读取光学图像获取模块的数据，将图像序列划分为若干个数据立方体，将每个数据立方体的数据从内存拷贝至显存；

所述图像处理器运行单像元目标检测并行计算模块，为每个像元分配一个图形处理器线程，该线程对这个像元对应的时序信号进行处理，由此检测时序信号中是否含有瞬态扰动，判断该像元上是否出现目标，将每一个像元的目标检测结果存储在图形处理器的全局显存中；

所述中央处理器运行控制模块，将目标检测结果从全局显存中拷贝到内存中，释放图形处理器的显存；通过形态学滤波的方法对目标检测结果进行处理，根据处理后的目标检测结果绘制运动小目标的运动轨迹。

7.根据权利要求6所述的基于单像元并行计算的运动小目标实时检测方法，其特征在于，所述图像处理器运行单像元目标检测并行计算模块，为每个像元分配一个图形处理器线程，该线程对这个像元对应的时序信号进行处理，由此检测时序信号中是否含有瞬态扰动，判断该像元上是否出现目标，将每一个像元的目标检测结果存储在图形处理器的全局显存中；具体包括：

所述线程分配单元根据图形处理器每个块中所含有的线程数目thread_num，将数据立方体根据像元个数pixe_num进行空域上的分块处理，分块个数block_num等于像元总数除以每个块的线程数目：

block_num＝pixe_num/thread_num

给每个像元分配一个图形处理器线程，每个线程均运行目标检测单元；

所述目标检测单元对像元的时序信号进行处理，检测时序信号中是否含有瞬态扰动；若存在扰动，则该像元上出现目标；否则，该像元上未出现目标；然后将该像元的目标检测结果存储在图形处理器的全局显存中。

8.根据权利要求7所述的基于单像元并行计算的运动小目标实时检测方法，其特征在于，所述目标检测单元的具体检测过程为：

像元的强度值在时间域上形成一维时序信号f(k)，k表示帧数；

像元是否有目标经过视为在H₀和H_a之间的选择假设问题：

H₀:f(k)＝n(k)无目标

H_a:f(k)＝t(k)+n(k)有目标

其中，t(k)表示点目标信号，n(k)为噪声和背景的叠加分布；

对一维时序信号f(k)进行处理，所使用的处理方法函数记为M，所使用的处理方法包括：时频分析、能量累积、匹配滤波和统计分析；

则处理后的输出为判断值V，数学表达为：

V＝M{f(k)}

设λ为所选取的检测阈值；如果V＜λ，则为选择假设H₀，即没有检测到瞬态扰动，表示没有目标经过，该像元的目标检测结果为0；如果V≥λ，则为选择假设H_a，即检测到瞬态扰动，表示有目标经过，该像元的目标检测结果为1。

Images