CN108596946A - 一种运动目标实时检测方法及系统 - Google Patents

Abstract

本发明涉及一种运动目标实时检测方法及系统，属于图像处理技术领域。本发明首先将待检测的图像与其前一帧图像相邻的局部区域进行互相关块匹配，确定匹配坐标点；然后对确定的匹配坐标点进行帧间运动信息估计，得到图像透视变换矩阵；再对得到的变换矩阵进行帧间差分，确定候选运动目标；最后根据面积大小以及长宽比对候选运动目标进行融合，确定运动目标。本发明采用多帧差分以及抗光照变化的互相关块匹配得到运动目标相机透视变换矩阵以及运动目标初始轮廓，通过小目标融合方法得到最终的检测结果，检测结果准确、可靠，克服了光照变化较大导致检测结果不准确的问题。

Description

一种运动目标实时检测方法及系统

技术领域

本发明涉及一种运动目标实时检测方法及系统，属于图像处理技术领域。

背景技术

光电吊舱运动目标检测是指飞行器在飞行过程中对所拍摄的地面场景中的运动目标进行检测与跟踪。航拍视频中运动目标的检测与跟踪技术在军事上和民用上已经得到了广泛的应用，起到了较大的使用价值，其检测与跟踪方法只要包括三个部分，准确地检测出目标、有效地提取目标以及准确实时地跟踪目标。目标检测与跟踪方法比较经典的算法包括：基于背景运动补偿的运动目标检测方法、帧差法、光流法等。

例如申请号为201710073834.9的专利申请文件，该文件公开了一种基于红外图像的动平台运动目标检测方法及系统，该方法通过提取红外序列图像的SURF特征点，对特征点进行匹配，计算放射矩阵，获得配准图像；之后采用线性回归修正配准图像的像素灰度值，进行帧间差分，获得可疑运动目标二值图像；再进行形态学滤波，对可疑目标边缘像素利用区域提速统计直方图校正，得到当前帧检测结果。上述目标检测与跟踪方法，检测出的运动目标可能存在背景噪声的干扰，尤其在背景光照变化较大，运动目标速度较慢，航拍相机姿态变化较大的情况下，检测的结果不是很理想，而且算法在嵌入式上的实现往往达不到实时处理的要求，从而限制了很多算法在光电吊舱这一类设备中的应用。

发明内容

本发明的目的是提供一种运动目标实时检测方法，以解决目前运动目标实时检测过程存在背景干扰大，检测结果不准确的问题；本发明还提供了一种运动目标实时检测系统。

本发明为解决上述技术问题而提供一种运动目标实时检测方法，包括以下方案，方法方案一：该方法包括以下步骤：

1)将待检测的图像与其前一帧图像相邻的局部区域进行互相关块匹配，确定匹配坐标点；

2)对确定的匹配坐标点进行帧间运动信息估计，得到图像透视变换矩阵；

3)通过得到的变换矩阵对待检测的图像配准后进行帧间差分，确定候选运动目标；

4)根据面积大小以及长宽比对候选运动目标进行融合，确定运动目标。

本发明采用多帧差分以及抗光照变化的归一化互相关块匹配方法得到光电吊舱相机透视变换矩阵以及运动目标初始轮廓，通过小目标融合方法得到最终的检测结果。本发明克服了在背景光照变化较大，运动目标速度较慢，航拍相机姿态变化较大的情况下，检测结果不理想的问题，能够快速准确的实现对运动目标的检测。

方法方案二：在方法方案一的基础上，所述步骤1)的匹配采用归一化互相关测度实现，所述的归一化互相关测度为：

其中，∑∑表示 表示模板图像的均值，表示在当前搜索位置实时图像与目标模板图像重叠部分的均值。

方法方案三：在方法方案二的基础上，所述步骤2)采用RANSAC方法进行帧间运动信息估计以得到图像透视变换矩阵。

方法方案四、五、六：分别在方法方案一、二、三的基础上，所述步骤4)的融合过程为：

判断两个候选目标之间距离是否小于设定阈值T_distance、速度差是否小于设定速度、且运动方向一致；

若均满足，将上述两个候选目标进行融合；

判断融合后的目标大小是否在设定的目标最大值和目标最小值之间，且融合后的目标长宽比在设定的范围之内，若均满足，则融合成功，并将融合的目标与其它候选目标进行融合，未能融合的目标即为寻找的运动目标。

方法方案七、八、九：分别在方法方案四、五、六的基础上，融合后的目标框为两个目标的外接矩形。

方法方案十、十一、十二：分别在方法方案四、五、六的基础上，当融合失败后，两个候选目标均保持原始状态。

本发明还提供了一种运动目标实时检测系统，包括以下方案，系统方案一：该检测系统包括存储器和处理器，以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器与所述存储器相耦合，所述处理器执行所述计算机程序时实现以下步骤：

1)将待检测的图像与其前一帧图像相邻的局部区域进行互相关块匹配，确定匹配坐标点；

2)对确定的匹配坐标点进行帧间运动信息估计，得到图像透视变换矩阵；

3)通过得到的变换矩阵对待检测的图像配准后进行帧间差分，确定候选运动目标；

4)根据面积大小以及长宽比对候选运动目标进行融合，确定运动目标。

系统方案二：在系统方案一的基础上，所述步骤1)的匹配采用归一化互相关测度实现，所述的归一化互相关测度为：

其中，∑∑表示 表示模板图像的均值，表示在当前搜索位置实时图像与目标模板图像重叠部分的均值。

系统方案三：在系统方案一的基础上，所述步骤2)采用RANSAC方法进行帧间运动信息估计以得到图像透视变换矩阵。

系统方案四、五、六：在系统方案一、二、三的基础上，所述步骤4)的融合过程为：

判断两个候选目标之间距离是否小于设定阈值T_distance、速度差是否小于设定速度、且运动方向一致；

若均满足，将上述两个候选目标进行融合；

判断融合后的目标大小是否在设定的目标最大值和目标最小值之间，且融合后的目标长宽比在设定的范围之内，若均满足，则融合成功，并将融合的目标与其它候选目标进行融合，未能融合的目标即为寻找的运动目标。

系统方案七、八、九：分别在系统方案四、五、六的基础上，融合后的目标框为两个目标的外接矩形。

系统方案十、十一、十二：分别在系统方案四、五、六的基础上，当融合失败后，两个候选目标均保持原始状态。

系统方案十三、十四、十五：在系统方案四、五、六的基础上，所述的处理器为FPGA。

本发明采用FPGA实现对块匹配以及RANSAC方法中可以并行加速的部分采用逻辑加速模块进行加速，从而提高运动目标的检测效率。

附图说明

图1是本发明运动目标检测方法的流程图；

图2是本发明所采用的小目标融合流程图；

图3是本发明所采用的图像配准流程图；

图4是本发明运动目标检测系统架构图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步的说明。

本发明针对现有检测方法在背景光照变化较大、运动目标速度较慢、航拍相机姿态变化较大的情况下，检测结果不够准确的问题提出了一种运动目标实时检测方法，该方法通过采用多帧差分以及抗光照变化的归一化互相关块匹配得到相机透视变换矩阵和运动目标初始轮廓，通过小目标融合方法得到最终的检测结果。下面以光电吊舱运动目标为例对本发明检测方法的具体实现过程进行详细说明，该方法的流程如图1所示，具体步骤如下。

1.对输入图像采用归一化互相关块匹配方法计算匹配点坐标。

由于光电吊舱自身的位置以及姿态变化，导致帧间图像出现透视变换以及光照变化，因此采用归一化互相关块匹配方法对前后多帧图像进行块匹配，得到匹配的坐标点对。具体而言，将输入的图像与前一帧图像相邻的局部区域做归一化互相关块匹配，匹配模板的大小可以根据系统的实际情况进行调试，增大搜索区域有利于吊舱在位置和姿态变化剧烈时保持好的匹配效果。本发明采用31×31匹配模板，局部搜索区域为21×21如图3所示，最终得到匹配坐标点对，归一化互相关测度可以定义如下形式：

其中，∑∑表示 表示模板图像的均值，表示在当前搜索位置实时图像与目标模板图像重叠部分的均值，常用的滤波方式还有SAD(Sum of absolutondifferences)方法等。

2.确定图像透视变换矩阵。

采用RANSAC方法对块匹配得到的坐标点进行帧间运动信息估计，确定图像透视变换矩阵，同时可采用软硬件结合的方式进行加速。

3.确定运动目标轮廓信息。

根据步骤2得到的图像透视变换矩阵对光电吊舱图像进行透视变换，通过帧间差分方法得到运动目标的轮廓信息。其中帧间差分方法可采用两帧图像的帧差进行差分，也可采用多帧(两帧以上)图像的帧差进行差分，通过对帧差图像设定的相应的阈值得到运动目标的二值图像，从而确定候选运动目标；多帧图像的帧差采用FPGA的并行流水同时进行，降低处理时间。

4.对候选运动目标进行小目标融合。

由于配准误差以及光照变化使得帧差后的二值图像存在噪声，使用小目标块融合方法进一步去除噪声并得到完成的运动目标轮廓。本发明的小目标融合采用目标局部区域的相关性判定的方法进行，通过小目标的面积大小以及长宽比两个参数进行判定，目标面积和长宽比在设定的范围内则合并目标，如不在范围内则建立新的目标标签，直到所有候选区域判定完成，得到最终的运动目标。

假设目标A需要与其它小目标块进行融合，则需要经过如下步骤：

⑴当A与小目标块B之间距离小于阈值T_distance且运动方向一致，速度差别较小时，认为A和B可能属于同一个目标；

⑵A尝试融合B，如果融合后的目标大小大于设定的目标最大值或小于目标最小值，或者融合后的目标长宽比在设定的范围之外时，则融合失败，A和B保持原始状态；否则将B融合到A中，融合后的目标框为A和B的外接矩形，并将B删除；

⑶按照⑴和⑵的步骤，A继续融合其它小目标。未能成功与其它目标融合的目标块则认为是有效目标，并按照步骤1)-3)融合其余未被融合的小目标块。

上述方法可以作为一种计算机程序，存储在运动目标实时检测系统中的存储器中并可在运动目标实时检测系统中的处理器上运行。

其中处理器可采用FPGA嵌入式芯片，对块匹配以及RANSAC方法中可以并行加速的部分采用逻辑加速模块进行加速，包括但不局限于使用verilog语言进行逻辑加速模块实现。如图4所示，该系统以FPGA为硬件，包括ARM处理器、相机接口(Camera interface)、HDMI接口(HDMI interface)、存储器控制器(SDMA controller)、运动目标检测模块(Movingtarget detector)和逻辑加速模块(Logic accelerator)，运动目标检测模块、逻辑加速模块和ARM处理器通过系统总线(System bus)进行连接，包括但不局限于使用AXI4总线相互交换数据，逻辑加速模块采用流水线以及SRAM缓存结构进行并行加速，通过相机接口(Camera interface)和HDMI接口(HDMI interface)采集和显示图像。

本发明采用软硬件结合以及对算法中的模块进行合理的分配，让并行加速的块匹配、帧间差分以及RANSAC中的矩阵运算模块采用硬件语言设计逻辑加速模块，大大提高运动目标检测的处理速度，满足光电吊舱实时检测任务的要求。

Claims (10)

1.一种运动目标实时检测方法，其特征在于，该检测方法包括以下步骤：

1)将待检测的图像与其前一帧图像相邻的局部区域进行互相关块匹配，确定匹配坐标点；

2)对确定的匹配坐标点进行帧间运动信息估计，得到图像透视变换矩阵；

3)通过得到的变换矩阵对待检测的图像配准后进行帧间差分，确定候选运动目标；

4)根据面积大小以及长宽比对候选运动目标进行融合，确定运动目标。

2.根据权利要求1所述的运动目标实时检测方法，其特征在于，所述步骤1)的匹配采用归一化互相关测度实现，所述的归一化互相关测度为：

其中，∑∑表示 表示模板图像的均值，表示在当前搜索位置实时图像与目标模板图像重叠部分的均值。

3.根据权利要求1所述的运动目标实时检测方法，其特征在于，所述步骤2)采用RANSAC方法进行帧间运动信息估计以得到图像透视变换矩阵。

4.根据权利要求1-3中任一项所述的运动目标实时检测方法，其特征在于，所述步骤4)的融合过程为：

判断两个候选目标之间距离是否小于设定阈值T_distance、速度差是否小于设定速度、且运动方向一致；

若均满足，将上述两个候选目标进行融合；

判断融合后的目标大小是否在设定的目标最大值和目标最小值之间，且融合后的目标长宽比在设定的范围之内，若均满足，则融合成功，并将融合的目标与其它候选目标进行融合，未能融合的目标即为寻找的运动目标。

5.根据权利要求4所述的运动目标实时检测方法，其特征在于，当融合失败后，两个候选目标均保持原始状态。

6.一种运动目标实时检测系统，其特征在于，该检测系统包括存储器和处理器，以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器与所述存储器相耦合，所述处理器执行所述计算机程序时实现以下步骤：

1)将待检测的图像与其前一帧图像相邻的局部区域进行互相关块匹配，确定匹配坐标点；

2)对确定的匹配坐标点进行帧间运动信息估计，得到图像透视变换矩阵；

3)通过得到的变换矩阵对待检测的图像配准后进行帧间差分，确定候选运动目标；

4)根据面积大小以及长宽比对候选运动目标进行融合，确定运动目标。

7.根据权利要求6所述的运动目标实时检测系统，其特征在于，所述步骤1)的匹配采用归一化互相关测度实现，所述的归一化互相关测度为：

其中，∑∑表示 表示模板图像的均值，表示在当前搜索位置实时图像与目标模板图像重叠部分的均值。

8.根据权利要求6所述的运动目标实时检测系统，其特征在于，所述步骤2)采用RANSAC方法进行帧间运动信息估计以得到图像透视变换矩阵。

9.根据权利要求6-8中任一项所述的运动目标实时检测系统，其特征在于，所述步骤4)的融合过程为：

判断两个候选目标之间距离是否小于设定阈值T_distance、速度差是否小于设定速度、且运动方向一致；

若均满足，将上述两个候选目标进行融合；

判断融合后的目标大小是否在设定的目标最大值和目标最小值之间，且融合后的目标长宽比在设定的范围之内，若均满足，则融合成功，并将融合的目标与其它候选目标进行融合，未能融合的目标即为寻找的运动目标。

10.根据权利要求9所述的运动目标实时检测系统，其特征在于，所述的处理器为FPGA。