CN103996187B - 对地运动目标光电检测系统及其数据处理方法和图像处理方法 - Google Patents

Abstract

本发明提供了对地运动目标光电检测系统及其数据处理方法和图像处理方法，该系统包括依次连接的摄像机、图像采集卡、工控机和主控计算机，其中工控机和主控计算机分别开有控制与数据信号端口和视频信号端口，工控机和主控计算机两端口之间通过交换机连接。本发明能实现对地光电检测图像的实时采集，能利用图像处理的方法实时检测出图像中的运动目标，计算量较小，能将目标检测结果通过局域网从工控机传输至主控计算机，并实时显示结果图像，实现了运动背景条件下的运动目标检测，并且支持多运动目标检测。

Description

对地运动目标光电检测系统及其数据处理方法和图像处理 方法

技术领域

本发明涉及图像处理技术领域，具体是一种对地运动目标光电检测系统及其图像处理方法。

背景技术

地面运动目标(如火车、汽车、装甲目标等)具有重要的军事价值，对地面运动目标的侦查以及精确打击是空军的主要任务之一，需要尽早发现、重点侦查，以便后续完成跟踪、瞄准及打击等任务。

通过对地光电检测图像可以获取丰富的地面目标与环境情报的图像信息，对地运动目标光电检测系统对图像信息进行处理，从地面背景中分离并标记出运动目标。其中需要解决的问题主要有两个：一是由于载机的运动，光电检测图像中的地面背景会呈现出持续的逆向运动，因而图像处理中需要实现从运动背景中检测出相对背景运动的目标；另一为出于对地侦查任务的要求，全部图像处理流程需要达到实时处理条件。

目前基于图像处理的运动目标检测方法一般有四种：(1)为根据两帧连续图像相同位置上像素点之间的灰度差来确定发生运动的像素点集合，以此描述检测结果；(2)为先预设场景图像背景，通过对检测图像与预设背景作差，获得目标图像区域；(3)为先计算图像光流场，再通过对图像光流场信息的处理检测运动目标；(4)为先通过大量的样本对识别滤波器进行训练，再由识别滤波器从图像中滤出训练类的目标。其中方法(1)(2)难以运用于运动背景条件下的运动目标检测，方法(3)计算量大，需要改进算法以达到实时性要求，方法(4)由于识别有效性的限制，一般仅适用于特定角度的特定类目标的检测，距离机载光电检测系统的对地运动目标检测应用还有较大差距。

发明内容

本发明为了解决现有对地运动目标光电检测的缺陷，提供了一种对地运动目标光电检测系统及其数据处理方法和图像处理方法，实现了运动背景条件下的运动目标检测，与传统图像光流场算法相比，计算量大大减小，实时性高，可扩展性好，并且支持多运动目标检测。

一种对地运动目标光电检测系统，包括依次连接的摄像机、图像采集卡、工控机和主控计算机，其中工控机和主控计算机分别开有控制与数据信号端口和视频信号端口，工控机和主控计算机两端口之间通过交换机连接。

本发明还提供了一种对地运动目标光电检测系统的数据处理方法，包括以下步骤：

1)主控计算机向工控机发送控制命令，开始对地运动目标检测程序；

2)工控机每隔一定时间，向主控计算机回报工控机本地状态数据，并在主控计算机上显示；

3)摄像机拍摄对地检测图像，视频图像信号经过图像采集卡实时采集，输入到工控机中；

4)当工控机对每一帧输入图像处理完成后，通过交换机向主控计算机传输图像处理状态数据与检测结果图像并进行显示；

5)主控计算机向工控机发送控制命令，终止对地运动目标检测程序。

所述步骤4)中，工控机将一帧图像分为若干数据包后通过交换机向主控计算机传输数据包，主控计算机对属于同一帧图像的分包图像像素数据进行拼接，获得完整的图像数据并进行显示。

所述的若干数据包包括以整型数据记录的当前图像采集帧号、图像宽度、图像高度、本数据包校验号和以字符型数组数据记录的分包图像像素点像素值。

步骤1)和步骤5)中所述的控制命令包括以BOOL型数据记录的工控机工作/非工作状态，采集卡工作/非工作状态和检测程序工作/非工作状态；步骤2)所述的工控机本地状态数据，包括以BOOL型数据记录的工控机工作/非工作状态、采集卡工作/非工作状态、检测程序工作/非工作状态和以整型数据记录的当前图像采集帧号、当前图像检测处理帧号、图像宽度、图像高度、载机高度、摄像机视场角；步骤3)中所述的视频图像信号包括以整型数据记录的当前图像采集帧号，图像宽度，图像高度和以字符型数组数据记录的图像各像素点像素值。

本发明还提供了一种对地运动目标光电检测系统的图像处理方法，包括以下步骤：

1)将当前输入图像数据复制至输出图像数据，初始化检测结果图像；

2)在当前输入图像上提取图像Harris特征点，在每个特征点处，基于当前输入图像与前一帧输入图像，使用金字塔Lucas-Kanade光流算法计算图像的特征点稀疏光流场；

3)根据步骤2)中得到的特征点稀疏光流场，估计背景中心运动矢量，逐一将特征点光流矢量与背景中心运动矢量进行比较，筛选出运动目标特征点；

4)对输出图像进行分块，统计步骤3)中筛选出运动目标特征点在各个图像分块中的分布数量，在输出图像上将高于运动目标特征点分布数量阈值的图像分块标记为运动目标所在分块。

其中，步骤2)具体包括以下步骤：

2.1)定义特征点数据结构，包括以整型数据记录的特征点数量和以双精度型二维数组数据记录的点坐标值数据，使用Shi-Tomasi方法提取当前输入图像的Harris特征点，将特征点提取结果记入点数据结构1；

2.2)定义一个BOOL型数组，其长度为特征点数量，作为光流计算状态数据空间，在点数据结构1中的每个特征点处，基于当前输入图像与前一帧输入图像像素数据，使用金字塔Lucas光流算法计算该点光流在前一帧输入图像上的对应点坐标，将对应点坐标记入点数据结构2中相应位置，若对应点坐标未溢出图像区域，对应光流计算状态数据置1，否则对应光流计算状态数据置0；

2.3)根据点数据结构1与点数据结构2计算图像的特征点稀疏光流场，特征点光流矢量数据记入点数据结构3，特征点光流矢量具体计算公式为：

其中，P(n,k,x)，P(n,k,y)分别表示点数据结构n中第k个点的x，y参数。

步骤3)具体包括以下步骤：

3.1)在连续两帧的时间间隔内，图像中背景的旋转运动可以近似用一个二维运动矢量V_background＝[V_x,background,V_y,background]^T表示，对步骤2.3)的点数据结构3中全体特征点光流矢量求平均，以此作为背景中心运动矢量，

其中，k为特征点序号，N为特征点总个数，表示第k个特征点处的光流矢量。

3.2)定义一个BOOL型数组，其长度为特征点数量，作为特征点筛选状态数据空间，逐一将步骤2.3)的点数据结构3中各个特征点光流矢量与背景中心运动矢量比较，二者的误差高于阈值的特征点认为是备选目标特征点，特征点筛选状态置1，低于阈值的认为属于背景点，特征点筛选状态置0。

步骤4)具体包括以下步骤：

4.1)根据图像宽度，载机高度，摄像机水平视场角计算分块图像边长，对输出图像进行分块，定义一个整型数组，其长度为图像分块数量，作为图像分块目标特征点统计表单；

4.2)根据步骤2.1)的点数据结构1与步骤3.2)的特征点筛选状态数据，计算目标特征点所属图像分块坐标，并在步骤4.1)定义的图像分块备选目标特征点统计表单中记录各图像分块备选目标特征点数量；

4.3)将步骤4.2)统计得到的各图像分块备选目标特征点数量与运动目标特征点分布数量阈值相比较，将高于运动目标特征点分布数量阈值的图像分块集合的外边缘绘制在输出图像上，作为运动目标检测结果。

步骤2.1)所述的Shi-Tomasi方法包括以下步骤：

1)分别计算图像像素点I(x,y)在水平和垂直方向上的梯度I_x与I_y，并且计算和I_xI_y＝I_x·I_y；

2)使用高斯函数ω对和I_xI_y进行高斯加权，生成矩阵M，

3)计算对应像素点矩阵M行列式值det M与矩阵M的迹trace M，detM＝AC-B²，trace M＝A+C。

4)将det M与trace M中较小的那一个值与特征点判断阈值相比较，若大于特征点判断阈值，则图像像素点I(x,y)为图像中的一个特征点。

本发明有益效果在于：

(1)本发明使用的图像处理方法通过图像特征点稀疏光流场获取图像运动信息，根据运动目标与背景的相对运动差异，实现了运动背景条件下的运动目标检测，并且支持多运动目标检测，与传统图像光流场算法相比，计算量大大减小；

(2)本发明提供的系统及其数据处理方法对采集所得对地检测图像进行即时处理，即时传输，即时显示，实时性高；

(3)本发明提供的系统工作处理端与工作控制端分离，支持在工作控制端下增加其他工作处理子端，具有良好的可扩展性。

附图说明

图1是本发明系统结构框图；

图2是本发明数据通信流程图；

图3是本发明图像运动目标检测算法流程图；

图4是本发明图像特征点稀疏光流场计算流程图。

具体实施方式

下面结合附图对本发明作进一步说明。

本发明的对地运动目标光电检测系统，如图1所示，包括一台摄像机、一块图像采集卡、一台工控机、一台交换机及一台主控计算机，其中工控机和主控计算机分别开有控制与数据信号端口和视频信号端口，工控机和主控计算机两端口之间通过交换机连接。摄像机拍摄得到视频图像信号，经过图像采集卡输入工控机中并存储为数字图像数据，运行运动目标光电检测图像处理程序，对每一帧图像检测运动目标。主控计算机发送命令控制运动目标检测系统工作，并且接收图像处理状态数据与检测结果图像，监控运动目标检测系统工作状态。

其中，所述摄像机为输出视频信号的红外摄像机或可见光CCD摄像机；

所述图像采集卡为视频信号图像采集卡，输出视频图像制式为PAL或NTSC制式。

本发明的对地运动目标光电检测系统的数据通信流程如图2所示，具体实现方式如下：

主控计算机根据命令参数赋值生成控制命令数据包，通过发送命令按钮发送控制命令数据包。

工控机程序接收到一个控制命令数据包时，接收线程将自动复制其首地址，并发送数据接收消息及控制命令数据包首地址给工控机程序对话框。工控机程序对话框接收到数据接收消息与控制命令数据包首地址后，调用控制命令数据包处理函数，根据控制命令数据包中的信息调整本地工控机图像处理程序的控制状态，这些状态将控制图像处理程序的工作流程。

工控机程序每隔20ms，就从工控机本地状态中读取当前的各种状态、参数，并通过计算赋值给返回参数数据包，然后将返回参数数据包发送回主控计算机。

主控计算机程序接收线程收到返回参数数据包时，接收线程将自动复制其首地址，并发送数据接收消息及返回参数数据包首地址给主控计算机程序对话框。主控计算机程序对话框接收到数据接收消息与返回参数数据包首地址后，调用返回参数数据包处理函数，根据返回参数数据包中的信息，更新图像处理状态数据并显示于参数接收区对应的位置。

每当工控机程序完成一帧图像处理后，将检测结果图像分包发送回主控计算机。NTSC制式下图像分辨率为640×480＝307200，对于灰度图像只需传输单通道像素数据，将一帧图像分为10个图像数据包，每个图像数据包包含30720B图像数据，以及当前图像采集帧号，图像宽度，图像高度，数据包校验号。对于一帧图像中非最后一块图像数据包，其数据包校验号为1；最后一块图像数据包的数据包校验号为2。

在主控计算机程序接收图像时，每当接收到一个图像数据包就将数据包校验号累加，并且在图像接收缓冲区中拼接图像数据。在接收到数据包校验号为2的数据包时，判断数据包校验号累加和是否为11：若数据包校验号累加和为11，则认为没有发生丢包，将拼接好的图像显示于主控计算机检测结果图像显示区域；否则认为发生了丢包，清空图像接收缓冲区中的图像数据，进行下一帧图像接收工作。

本发明的对地运动目标光电检测系统的图像处理方法流程如图3所示，具体实现方式如下：

(1)读入待处理图像数据；

(2)检测图像特征点；

(3)计算图像特征点稀疏光流场；

(4)估计图像背景运动；

(5)分类图像特征点；

(6)分块待检测图像并建立图像分块表单；

(7)统计图像分块备选目标特征点密度并分类图像分块；

(8)标识目标分块。

1、步骤(2)检测图像特征点采用Shi-Tomasi Harris特征点检测方法，表述如下：

A.分别计算图像像素点I(x,y)在水平和垂直方向上的梯度I_x与I_y，并且计算 和I_xI_y＝I_x·I_y。

B.使用高斯函数ω对和I_xI_y进行高斯加权，生成矩阵M。

C.计算对应像素点矩阵M行列式值det M与矩阵M的迹trace M。detM＝AC-B²，trace M＝A+C。

D.将det M与trace M中较小的那一个值与特征点判断阈值相比较，若大于特征点判断阈值，则图像像素点I(x,y)为图像中的一个特征点。

2、步骤(3)计算图像特征点稀疏光流场采用金字塔Lucas-Kanade光流算法，总体流程如图4所示，表述如下：

A.分别计算当前输入图像与前一帧输入图像的图像金字塔(共N层)，图像金字塔上下层图像间的对应像素计算关系为：

其中，I_n(x,y)表示第n层金字塔图像坐标(x,y)位置处的像素值。

B.计算图像特征点在各层金字塔图像上的坐标，计算公式为：

其中，x_n,y_n表示特征点在第n层金字塔图像上的坐标，x₁,y₁表示特征点在最底层金字塔图像上的坐标，floor(·)表示向下取整函数。

C.从顶层金字塔图像开始，逐层计算特征点在当前层金字塔图像上的光流矢量，光流计算方法采用Lucas-Kanade算法，迭代公式为：

其中，I_x，I_y分别代表像素点灰度在空间x轴、y轴方向上的梯度；I_t代表像素点灰度在时间上的梯度；ω为像素点I(x,y)附近的一小块邻域；v_x，v_y表示像素点在x轴和y轴方向上的速度，(v_x,v_y)即认为是该位置上的光流矢量，上标(k)表示迭代次数。

D.以金字塔上层图像的最终光流计算结果换算为下层图像计算的起始光流值，重复步骤C计算光流矢量直到最底层金字塔图像，通过对高层金字塔图像中的“小”运动的处理保证对底层图像中的“大”运动的正确解算。若图像金字塔共计N层，上层图像中的最终光流计算结果是经过K_Final次迭代的结果，则相邻两层金字塔图像间的起始光流矢量转换公式如下：

最底层金字塔图像中解得的光流矢量即为当前图像特征点处的光流矢量。

E.对全体图像特征点重复步骤B、C、D，得到图像特征点稀疏光流场。

3、步骤(4)估计图像背景运动，实现方法如下：

对图像背景的平缓旋转运动状态进行估计时，属于背景像素点的运动矢量落在某一二维运动矢量的一个较小的邻域范围内，属于目标像素点的运动矢量与之有较大差异，不在该邻域范围内。在连续两帧的时间间隔内，图像中背景的旋转运动可以近似用一个二维运动矢量V_background＝[V_x,background,V_y,background]^T表示，目标的运动与背景的运动有着明显的差异。在被检测图像中，尤其是较复杂地面背景情况下，提取出的图像特征点中大多数属于背景，只有少量特征点属于运动目标，因此对全体特征点的光流矢量求平均，以此作为背景中心运动矢量：

其中，k为特征点序号，N为特征点总个数，表示第k个特征点处的光流矢量。

4、步骤(5)分类图像特征点，实现方法如下：

为了从全体图像分块中检测出特定目标图像分块，先要对图像特征点进行分类，筛选出属于运动目标的特征点，这些被筛选出的点称为备选目标特征点。因为属于背景的像素点运动矢量会落在背景中心运动矢量的一个小邻域范围内，所以逐一将背景中心运动矢量与各个特征点处的光流矢量比较，二者的误差高于阈值T_v＝[T_x,T_y]^T的特征点认为是备选目标特征点，低于阈值的认为属于背景点。

记P_k,(i,_j)表示第k个特征点的类别归属值，其在图像上的位置为(i,j)，令P_k,(i,_j)＝1表示该点被归类为备选目标特征点，P_k,(i,j)＝0表示该点被归类为背景点，同时标记对应于该点处的光流矢量为则：

5、步骤(6)分块待检测图像并建立图像分块表单，实现方法如下：

A.分块待检测图像，从全体图像分块中检测出特定目标图像分块，这样做可以克服单纯依靠特征点无法完整描述目标图像区域的不足。根据车辆目标的实际尺寸L、载机飞行高度H、摄像机视场角A₀、屏幕分辨率N₀估计机载光电探测视频图像目标成像尺寸T的方法如下：

B.在对图像分块时，为保证每个目标至少占据一个分块区域，图像分块尺寸T_D为目标成像尺寸T的向下取整值。同时，为了使分块不至于过小，设定分块最小边长为5像素，则有：

T_D＝max(5,floor(T))

其中，max(·)取最大值函数。

C.确定图像分块边长尺寸后，建立一个二维表单B_m×n用于统计图像分块备选目标特征点密度，表单中的每个数据对应一个图像分块的备选目标特征点密度，表单宽度m与高度n的计算公式为：

其中w，h分别表示原图像的宽度与高度，ceil(·)表示向上取整函数。

6、步骤(7)统计图像分块备选目标特征点密度并分类图像分块，实现方法如下：

A.根据每个特征点分类情况Pk,(i,j)及其位置参数，统计出表单中各相应分块的备选目标特征点密度b_p,q,程序伪代码如下：

其中，N为特征点总个数，p＝1,2,…,m-1，q＝1,2,…,n-1。

B.逐一比较各分块备选目标特征点密度b_p,q与目标特征点分布密度阈值T_b完成对图像分块的分类：当b_p,q>T_b时，当前分块(p,q)归类为目标分块；当b_p,q≤T_b时，当前分块(p,q)归类为背景分块。

C.建立一个新的二维表单F_m×n用于记录图像分块分类结果，其长度与步骤(6)中B_m×n等长，各相应分块表单数据f_p,q意义如下：

7、步骤(8)标识目标分块，实现方法如下：

A.根据步骤(7)中图像分块分类结果表单，绘制目标分块上边缘：逐一搜索图像分块分类结果表单数据，若f_p,q＝1且f_p,q-1＝0，则当前分块(p,q)为目标上边缘分块，在输出图像中将该分块最上行像素点全体标红。

B.根据步骤(7)中图像分块分类结果表单，绘制目标分块下边缘：逐一搜索图像分块分类结果表单数据，若f_p,q＝1且f_p,q+1＝0，则当前分块(p,q)为目标下边缘分块，在输出图像中将该分块最下行像素点全体标红。

C.根据步骤(7)中图像分块分类结果表单，绘制目标分块左边缘：逐一搜索图像分块分类结果表单数据，若f_p,q＝1且f_p-1,q＝0，则当前分块(p,q)为目标左边缘分块，在输出图像中将该分块最左列像素点全体标红。

D.根据步骤(7)中图像分块分类结果表单，绘制目标分块右边缘：逐一搜索图像分块分类结果表单数据，若f_p,q＝1且f_p+1,q＝0，则当前分块(p,q)为目标右边缘分块，在输出图像中将该分块最右列像素点全体标红。

本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (5)

1.一种对地运动目标光电检测系统的图像处理方法，其特征在于包括以下步骤：

1)将当前输入图像数据复制至输出图像数据，初始化检测结果图像；

2)在当前输入图像上提取图像Harris特征点，在每个特征点处，基于当前输入图像与前一帧输入图像，使用金字塔Lucas-Kanade光流算法计算图像的特征点稀疏光流场；

3)根据步骤2)中得到的特征点稀疏光流场，估计背景中心运动矢量，逐一将特征点光流矢量与背景中心运动矢量进行比较，筛选出运动目标特征点；

4)对输出图像进行分块，统计步骤3)中筛选出运动目标特征点在各个图像分块中的分布数量，在输出图像上将高于运动目标特征点分布数量阈值的图像分块标记为运动目标所在分块。

2.根据权利要求1所述的对地运动目标光电检测系统的图像处理方法，其特征在于步骤2)具体包括以下步骤：

2.1)定义特征点数据结构，包括以整型数据记录的特征点数量和以双精度型二维数组数据记录的点坐标值数据，使用Shi-Tomasi方法提取当前输入图像的Harris特征点，将特征点提取结果记入点数据结构1；

2.2)定义一个BOOL型数组，其长度为特征点数量，作为光流计算状态数据空间，在点数据结构1中的每个特征点处，基于当前输入图像与前一帧输入图像像素数据，使用金字塔Lucas光流算法计算该点光流在前一帧输入图像上的对应点坐标，将对应点坐标记入点数据结构2中相应位置，若对应点坐标未溢出图像区域，对应光流计算状态数据置1，否则对应光流计算状态数据置0；

2.3)根据点数据结构1与点数据结构2计算图像的特征点稀疏光流场，特征点光流矢量数据记入点数据结构3，特征点光流矢量具体计算公式为：

$\left\{\begin{array}{c}P(3,k,x)=P(1,k,x)-P(2,k,x)\\ P(3,k,y)=P(1,k,y)-P(2,k,y)\end{array}\right.$

其中，P(n,k,x)，P(n,k,y)分别表示点数据结构n中第k个点的x，y参数。

3.根据权利要求2所述的对地运动目标光电检测系统的图像处理方法，其特征在于步骤3)具体包括以下步骤：

3.1)在连续两帧的时间间隔内，图像中背景的旋转运动可以近似用一个二维运动矢量V_background＝[V_x,background,V_y,background]^T表示，对步骤2.3)的点数据结构3中全体特征点光流矢量求平均，以此作为背景中心运动矢量，

$\left\{\begin{array}{c}{V}_{x,background}=\frac{1}{N}\underset{0\≤k\≤N-1}{\Σ}{\hat{v}}_{x,k}\\ V_{y,background}=\frac{1}{N}\underset{0\≤k\≤N-1}{\Σ}{\hat{v}}_{y,k}\end{array}\right.$

其中，k为特征点序号，N为特征点总个数，表示第k个特征点处的光流矢量；

3.2)定义一个BOOL型数组，其长度为特征点数量，作为特征点筛选状态数据空间，逐一将步骤2.3)的点数据结构3中各个特征点光流矢量与背景中心运动矢量比较，二者的误差高于阈值的特征点认为是备选目标特征点，特征点筛选状态置1，低于阈值的认为属于背景点，特征点筛选状态置0。

4.根据权利要求3所述的对地运动目标光电检测系统的图像处理方法，其特征在于步骤4)具体包括以下步骤：

4.1)根据图像宽度，载机高度，摄像机水平视场角计算分块图像边长，对输出图像进行分块，定义一个整型数组，其长度为图像分块数量，作为图像分块目标特征点统计表单；

4.2)根据步骤2.1)的点数据结构1与步骤3.2)的特征点筛选状态数据，计算目标特征点所属图像分块坐标，并在步骤4.1)定义的图像分块备选目标特征点统计表单中记录各图像分块备选目标特征点数量；

4.3)将步骤4.2)统计得到的各图像分块备选目标特征点数量与运动目标特征点分布数量阈值相比较，将高于运动目标特征点分布数量阈值的图像分块集合的外边缘绘制在输出图像上，作为运动目标检测结果。

5.根据权利要求2所述的对地运动目标光电检测系统的图像处理方法，其特征在于步骤2.1)所述的Shi-Tomasi方法包括以下步骤：

1)分别计算图像像素点I(x,y)在水平和垂直方向上的梯度I_x与I_y，并且计算和I_xI_y＝I_x·I_y；

2)使用高斯函数ω对和I_xI_y进行高斯加权，生成矩阵M，

3)计算对应像素点矩阵M行列式值det M与矩阵M的迹trace M，det M＝AC-B²，trace M＝A+C；

4)将det M与trace M中较小的那一个值与特征点判断阈值相比较，若大于特征点判断阈值，则图像像素点I(x,y)为图像中的一个特征点。