CN115690190A - 基于光流图像和小孔成像的运动目标检测与定位方法 - Google Patents

Abstract

本发明公开了一种基于光流图像和小孔成像的运动目标检测与定位方法。本发明提出的策略，对单目视觉传感器采集得到的前后两帧图像经过增强去噪、改进光流法计算、分割提取以后来捕获运动目标；并构建简单的定位数学模型，对现有图像数据结合相机参数进行分析与转化，及时准确地获得当前运动目标的世界坐标以及相对于相机的方位与距离。本发明提出的运动目标检测提取方法以及定位模型，在低成本、低信息量的情况下可以有效改善运动目标检测与定位系统中运算手段复杂，成本高昂，鲁棒性及准确性较差，过于依赖人工图标，耗时且容易出错等问题。

Description

基于光流图像和小孔成像的运动目标检测与定位方法

技术领域

本发明涉及技运动目标检测与定位技术领域，尤其涉及一种基于光流图像和小孔成像的运动目标检测与定位方法。

背景技术

运动目标检测与定位根据原理的不同可以分为雷达式、声呐式、红外式、可见光图像式等，其中基于雷达、声呐、红外原理实现需要高昂的硬件和施工成本，且手段繁琐复杂。在此背景下，可见光图像正逐渐展现出巨大的优势。相较于雷达与声学等信息传递方式，可见光图像凭借其低成本、高信噪比、传输便捷、运算速度快等优点备受青睐。通过可见光图像对运动目标进行检测与定位被广泛应用于视频监控、工业检测、交通运输、智能安防等领域中。

电荷耦合(CCD)和互补金属氧化物半导体(CMOS)是进行光电转换时被普遍采用的两种图像传感器，二者都是通过感光二极管进行光电转换，将光学图像转换为数字信号。CMOS传感器结构简单、集成度高、成本低，同时读出速度快，功耗低，随着CMOS传感器整体架构的不断改进，CMOS传感器被认为将逐渐在一些高性能成像应用中取代CCD传感器。

光流是指三维空间中的运动物体在二维成像平面上的像素运动的瞬时速度，在时间间隔很小(比如连续前后两帧视频图像之间)时，也等同于目标点的位移，各像素点光流矢量的集合形成了光流场。光流法就是利用图像序列中像素在时间域上的变化以及两帧图像之间的关系得到目标的运动信息，光流法最大的优势是可以在不预先知道场景任何信息的情况下进行运动目标检测。

基于光学图像借助光流法和图像处理的运动目标检测以及定位已经有了一些算法和模型。一方面，目前的实现方式复杂，另一方面，运算时占用了过多资源。如何能利用图像处理手段，结合简单数学模型，在低成本、低信息量的情况下建立快速准确的运动目标检测与定位系统，便显得至关重要。

发明内容

本发明的目的是提供一种基于光流图像和小孔成像的运动目标检测与定位方法，针对需要及时避免异常事件(如异物违规侵入、障碍物检测、人员搜救等)发生的场景，基于单目视觉图像，对传统光流法加以改进并结合提出的粗精结合两阶段提取方法实现运动目标的可靠检测，同时建立简单的定位系统数学模型，对现有图像数据结合相机参数进行分析与转化，及时准确定位当前目标相对于相机的方位与距离，并获取目标的世界坐标。

为实现本发明的目的，本发明提供了一种基于光流图像和小孔成像的运动目标检测与定位方法，包括如下步骤：

步骤1：视频图像预处理；

步骤2：利用改进Lucas-Kanade光流法计算光流；

步骤3：前景目标粗分隔；

步骤4：前景目标精分隔；

步骤5：捕获运动目标；

步骤6：基于小孔成像的目标定位。

其中，在步骤1中，所述视频图像预处理是指对视频图像进行图像灰度化预处理。

其中，在步骤2中，针对大位移速度快的运动目标，采用基于图像金字塔的改进策略，包括如下步骤：

步骤21：建立金字塔图像；

步骤22：从图像金字塔顶层开始逐层通过Lucas-Kanade光流法计算光流；

然后将上一层图像计算得到的光流估计作为下一层层图像光流估计的初始值，不断重复这个过程直到计算出图像金字塔底层的光流信息；

此外，在计算图像金字塔每一层图像的光流时多次迭代。

其中，在步骤3中，前景目标粗分隔为基于中值滤波与双向动态阈值分割的粗分割；

所述中值滤波是指在光流垂直和水平分量上对数据进行滤波运算以初步降噪，选定待处理像素并以此像素为中心建立小窗口，将窗口内所有像素灰度值按从小到大的顺序排列，以此排列顺序中的中间值作为选定像素的灰度值重新赋值；

所述双向动态阈值分割包括如下步骤：

首先，得到运动场景的光流信息后，在将光流分量进行合并之前，对光流在水平和竖直两个方向上分别进行一次阈值分割，这样就避免了对光流矢量直接分割而丢失一些有效光流的情况；

其次，在水平和竖直方向分别进行分割时，根据不同运动场景的光流动态选择分割阈值；

最后，将绝对值小于分割阈值的光流视为背景所产生的并予以剔除，其余光流进行保留。

其中，所述前景目标精分隔为基于最大类间方差法与形态学处理的精分割；

其中，最大类间方差法核心思想是寻求一个灰度分割阈值T，在此阈值下根据图像灰度值大小将像素点分为前景与背景两类，记图像前景点数占图像总点数比例为p₁，前景平均灰度值为I₁，图像背景点数占图像总点数比例为p₂，背景平均灰度值为I₂，则图像整体平均灰度为，

I＝p₁I₁+p₂I₂ (8)

前景与背景灰度方差g为，

g＝p₁(I₁-I)²+p₂(I₂-I)² (9)

综合式(8)和(9)可得，

g＝p₁p₂(I₁-I₂)² (10)

使得前景与背景灰度方差g最大时的阈值T即为图像分割最佳阈值；

另外，借助形态学处理剔除某些边界点或填补边界间断点得到较为完整的运动目标区域。

其中，在步骤6中，对被测目标采用小孔成像模型进行分析，将成像平面对称到光心前方以建立坐标系，使得成像平面与被测目标一起放在摄像机坐标系的同一侧，O_cX_cY_cZ_c为相机坐标系，o_ix_iy_i为图像坐标系，其中O_c为光心，Z_c轴与相机光轴重合，P(X_c,Y_c,Z_c)为被测目标在摄相机坐标系下的三维坐标， p(x_i,y_i)为被测目标成像在图像坐标系上的二维坐标；

结合高斯成像公式可得，物点在相机坐标系下的三维坐标P(X_c,Y_c,Z_c)与物点在像平面图像坐标系上的坐标p(x_i,y_i)存在如下几何关系，

定义物点在相机坐标系下的方位角α及俯仰角β，方位角为光心-物点矢量在相机坐标系x_co_cz_c平面上的投影与相机光轴的夹角，俯仰角为光心-物点矢量在相机坐标系y_co_cz_c平面上的投影与相机光轴的夹角，可得：

将式(15)带入式(16)及式(17)，

因此，可根据物点在图像平面内的位置信息以及相机信息在不需要物点深度信息的情况下求得物点在三维空间中相对于相机的方位信息。

其中，在步骤6中，假设相机安装在距离地面h高度处，相机倾斜放置，其光轴与水平方向夹角为θ，为方便计算，同时建立世界坐标系，并使两坐标系原点重合，Y_cO_cZ_c平面与Y_wO_wZ_w平面重合，被测目标在地面运动，并且忽略被测目标质心距离地面的高度；

由式(15)可知，在确定目标质心二维图像坐标，也即(x_i,y_i)后，并且在相机焦距f已知的情况下，只需知道目标质心在相机坐标系下Y_c的大小就可以获得目标质心在相机坐标系下的坐标(X_c,Y_c,Z_c)，进而得到目标与相机的距离，

由于相机倾斜角度θ已知，目标质心俯仰角β可由式(19)求得，因此根据几何关系可以看出，

AB＝O_cAsin|β| (22)

AB即为目标质心在相机坐标系下Y_c的大小，当目标质心位于相机坐标系Y_c轴上半部分时，Y_c＝AB,当目标质心位于相机坐标系Y_c轴下半部分时，Y_c＝-AB，特别的，当β＝0时，即当y_i＝0时，容易得到Y_c＝0，同时

此时由式(15) 可知

最终，目标的世界坐标可以由下式得到：

。

与现有技术相比，本发明的有益效果为，首先，本专利适用性更广，对于高速运动目标也有较好的检测效果。其次，通过简单的图像处理即可有效剔除图像采集过程中产生的噪声干扰，完整地提取感兴趣区域。最后，通过简单的数学模型即可在低计算量的情况下用数学几何关系表征运动目标的位置信息。因此，在不失性能的基础上，大大减少了运算资源，提高了运算效率，降低了定位过程中的成本开支，另一方面也可以作为现有定位方法的重要补充。因此本专利实用价值巨大，具有很广阔的发展空间与市场前景，对提升相似系统的智能化、简单化，对社会生产生活的安全性以及经济性具有重要意义。

附图说明

图1为本申请的方法流程示意图；

图2为本申请中图像坐标系与像素坐标系示意图；

图3为本申请中视觉坐标系示意图；

图4为本申请中距离信息测量投影示意图；

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

对于本领域技术人员而言，可根据具体情况理解上述术语在本申请中的具体含义。

本发明首先对由单目相机拍摄的连续两帧视频图像进行基于增强和去噪的预处理，然后利用改进的Lucas-Kanade光流法迭代计算代表运动信息的光流。针对复杂背景下视频存在较多噪声导致运动目标检测结果不准确的情况，提出一种包括中值滤波、双向动态阈值分割、最大类间方差法和形态学处理在内的粗精结合两级图像分割策略以精确提取感兴趣区域。为了在低成本以及低计算量的情况下实现运动目标的准确定位，提出一种基于小孔成像的位置估计模型，利用图像信息以及相机参数获取运动目标在三维世界中的位置信息。利用所提出的方法可以有效排除噪声干扰，准确实现运动目标检测、提取以及定位。

如图1所示，本发明提供了一种基于光流图像和小孔成像的运动目标检测与定位方法，包括如下步骤：

步骤1：视频图像预处理；

步骤2：利用改进Lucas-Kanade光流法计算光流；

步骤3：前景目标粗分隔；

步骤4：前景目标精分隔；

步骤5：捕获运动目标；

步骤6：基于小孔成像的目标定位。

针对上述流程，下面分为运动目标检测、运动目标提取及位置信息计算三个部分进行详细介绍。

1、运动目标检测

本专利在进行运动目标检测之前首先对视频图像进行图像灰度化预处理以增强图像细节，减弱噪声影响。灰度化时根据彩色图像R、G、B三基色的不同重要性分别分配其不同的权重，然后加权平均三基色的亮度值作为图像灰度值。本文灰度化处理公式为，

f(i,j)＝0.3R(i,j)+0.59G(i,j)+0.11B(i,j)。 (1)

Lucas-Kanade光流法需要同时满足三个基本假设，首先是设定空间中同一点随时间在不同帧之间运动时其灰度恒定；其次便是相邻帧之间运动目标的位置不会发生较大变化；最后便是空间中近邻点投影到图像中也是近邻点,同时各点光流矢量一致。考虑空间中一点在一帧图像上的位置为(x,y)，其灰度值为 I(x,y,t)，经过时间dt后，该点移动到位置(x+d_x,y+d_y)处，灰度值相应为 I(x+d_x,y+d_y,t+d_t)。基于第一条假设所述亮度恒定有如下等式成立，

I(x,y,t)＝I(x+d_x,y+d_y,t+d_t)。 (2)

基于第二条假设可以将上式右端泰勒展开，

其中σ为二阶及高阶无穷小项，由于d_t→0，σ忽略不计，因此有，

设

分别是光流沿着x轴方向和y轴方向的分量，同时

分别为图像像素点灰度值沿x,y,t方向的偏导数，于是可以得到如下光流基本约束方程，

I_xu+I_yv+I_t＝0。 (5)

为得到唯一的u,v值，根据第三条假设引入一个与点(x,y)具有相同光流的邻域，因此求解点(x,y)处的光流可以转换为求如下函数最小值的最优化问题，

w_x与w_y表示邻域窗口的大小，ε(d)表示空间中一点移动前后对应像素点的灰度差。对上式求导以及一阶泰勒展开求得d＝[d_x,d_y]^T＝G^-1b，其中可以记为

Lucas-Kanade光流法需要同时满足3个假设，实际运动较难满足。针对大位移速度快的运动目标，本专利采用基于图像金字塔的改进策略。第一步需要建立金字塔图像。金字塔图像的建立主要包括高斯滤波平滑图像以及降采样两个步骤，每次采样使得每一层图像分辨率降为原来的二分之一。第二步从图像金字塔顶层开始逐层通过经典Lucas-Kanade光流法计算光流，然后将上一层图像计算得到的光流估计作为下一层层图像光流估计的初始值，不断重复这个过程直到计算出图像金字塔底层的光流信息。假设原本Lucas-Kanade光流法可以处理的像素运动的最大位移为d_max，则通过金字塔Lucas-Kanade光流法可以处理的像素运动的最大位移变为d_maxfinal＝(2^L+1-1)d_max。

此外，在计算图像金字塔每一层图像的光流时多次迭代。对于金字塔图像某一层相邻两帧图像I和J，设迭代次数为K(K≥1)，第k-1(2≤k≤K)次迭代结束后得到光流

在进行第k次迭代时将其作为图像J的移动向量得到图像 J_k且

第k次迭代的目标就是计算优化向量η^k以最小化如下目标函数，

求解得到η^k＝G^-1b_k，最终得到k次迭代后的光流d^k＝d^k-1+η^k，当达到迭代次数K或者优化变量η^k小于设定阈值时迭代结束，开始计算金字塔图像下一层光流。

2、运动目标提取

由于室内日光灯照明频闪现象以及图像传感器传输解压原因会造成视频序列前后两帧的亮度发生变化。因此虽然图像前期进行了预处理，但是在得到运动目标光流矢量的同时也混杂了大量背景边缘的光流矢量，对运动目标检测产生了干扰。基于此，在通过光流矢量筛选信息时，本专利提出了基于粗精结合的两级图像分割方法，剔除无用的背景光流，精确提取运动目标区域。

2.1基于中值滤波与双向动态阈值分割的粗分割

由于照明条件不佳在光流计算过程中一般会引入干扰噪声，为此本专利分别在光流垂直和水平分量上对数据进行滤波运算以初步降噪，选定待处理像素并以此像素为中心建立小窗口，将窗口内所有像素灰度值按从小到大的顺序排列，以此排列顺序中的中间值作为选定像素的灰度值重新赋值。

滤波后需要选择适当的方法来对运动目标的光流进行判别，运动过程中背景光流是趋于一致的，其方向近乎相同，大小近乎相同，并且光流大小远小于运动目标，基于这个不同点，可以选择适当的阈值来剔除背景光流保留运动目标光流。不过在分割过程中也会面临一些问题。首先，运动目标区域中有时会有像素点出现某一方向分量很小而另一方向分量正常的情况，如此一来便会使得运动目标区域像素点光流大小不均匀，如果直接对光流设置阈值进行分割，有可能会剔除一部分有效光流而造成运动目标区域出现很多空洞，无法完整提取目标；其次，不同运动目标甚至是同一运动目标在运动过程中运动状态都是不相同的，在进行阈值选择时固定阈值非但有可能不会有效剔除背景光流，还有可能对运动目标的光流误操作，因此针对不同运动目标或者同一运动目标的不同运动状态需要灵活选取阈值进行分割。

针对上述光流图像分割中两个常见问题，本专利提出一种双向动态阈值分割方法。首先，得到运动场景的光流信息后，在将光流分量进行合并之前，对光流在水平和竖直两个方向上分别进行一次阈值分割，这样就避免了对光流矢量直接分割而丢失一些有效光流的情况。其次，在水平和竖直方向分别进行分割时，根据不同运动场景的光流动态选择分割阈值。具体来说，需要找到光流分量绝对值中的最大值f_max，将阈值选定为0.6f_max，如此一来当运动目标运动状态发生变化时分割阈值将根据实际光流动态调整，最后将绝对值小于分割阈值的光流视为背景所产生的并予以剔除，其余光流进行保留。

2.2基于最大类间方差法与形态学处理的精分割

尽管通过光流图粗分割剔除了大量光流噪声，不过由于可能存在极少数背景光流矢量异常的情况，在对光流图像进行粗分割后有必要进行一次精分割，进一步剔除无关背景光流，提取更为准确的运动目标区域，本文在光流图像精分割阶段提出一种基于最大类间方差法与形态学处理的感兴趣区域提取方法。

最大类间方差法核心思想是寻求一个灰度分割阈值T，在此阈值下根据图像灰度值大小将像素点分为前景与背景两类，记图像前景点数占图像总点数比例为p₁，前景平均灰度值为I₁，图像背景点数占图像总点数比例为p₂，背景平均灰度值为I₂，则图像整体平均灰度为，

I＝p₁I₁+p₂I₂。 (8)

前景与背景灰度方差g为，

g＝p₁(I₁-I)²+p₂(I₂-I)²。 (9)

综合上述两式可得，

g＝p₁p₂(I₁-I₂)²。 (10)

使得前景与背景灰度方差g最大时的阈值T即为图像分割最佳阈值。

利用最大类间方差法处理图像时，图像中检测到的运动目标边界可能会变宽或在某些点处发生间断，此时可以借助形态学处理剔除某些边界点或填补边界间断点得到较为完整的运动目标区域。数学形态学处理主要分为膨胀、腐蚀、开操作、闭操作。膨胀处理用结构元素与其覆盖的图像区域做“或”运算，用结构元素B(x)对A进行形态学膨胀处理可以表示为如下形式，

腐蚀处理则用结构元素与其覆盖的图像区域做“与”运算，用结构元素B(y)对A进行形态学腐蚀处理可以表示为如下形式，

开运算是先对图像进行腐蚀处理而后对图像继续进行膨胀处理，可以表示为

闭运算是先对图像进行膨胀处理而后对图像继续进行腐蚀处理，可以表示为

开运算可以消除图像中的细毛刺，闭运算可以填补狭窄的间断以及小孔洞，膨胀运算可以扩大目标区域的边界，填补目标之间存在的小间隙或者填补分割物体中产生的空洞，将不同目标连通，而腐蚀运算恰好可以消除图像中小于结构元素的区域，销蚀目标区域的边界或者将存在细小连通的目标分割开。

最终通过本文所提出的基于粗精结合的两级目标分割方法可以很好地把背景光流和运动目标光流分割开来，获得较为完整的运动目标区域。

3、位置信息计算

在图像信息采集过程中，由于物距远远大于像距，根据高斯成像公式，可以近似认为成像平面与焦平面重合。

在相机的成像过程中，通常涉及到四个坐标系：相机坐标系、世界坐标系、图像坐标系以及像素坐标系。图像坐标系与像素坐标系示意图如图2所示。

图中，图像坐标系原点o_i在像素坐标系中的坐标为(u₀,v₀)，在图像中每个像素均为边长为d的方形的假设下，由图2可以得到如下图像坐标系与像素坐标系坐标之间的转换关系，

x_i＝(u-u₀)d， (13)

y_i＝(v-v₀)d。 (14)

在相机实际成像时，光线经凸透镜折射以后在感光器件上成缩小倒立的实像。为简化模型便于计算分析，对被测目标采用小孔成像模型进行分析，将成像平面对称到光心前方以建立坐标系，使得成像平面与被测目标一起放在摄像机坐标系的同一侧，如图3所示,O_cX_cY_cZ_c为相机坐标系，o_ix_iy_i为图像坐标系，其中O_c为光心，Z_c轴与相机光轴重合。P(X_c,Y_c,Z_c)为被测目标在摄相机坐标系下的三维坐标，p(x_i,y_i)为被测目标成像在图像坐标系上的二维坐标。

3.1方位信息测量

由图3结合高斯成像公式可得，物点在相机坐标系下的三维坐标P(X_c,Y_c,Z_c) 与物点在像平面图像坐标系上的坐标p(x_i,y_i)存在如下几何关系，

为准确表示三维空间中物点相对于相机的方位关系，定义物点在相机坐标系下的方位角α及俯仰角β。方位角为光心-物点矢量在相机坐标系x_co_cz_c平面上的投影与相机光轴的夹角，俯仰角为光心-物点矢量在相机坐标系y_co_cz_c平面上的投影与相机光轴的夹角。由图3可得，

将式(15)带入式(16)及式(17)，

因此，可根据物点在图像平面内的位置信息以及相机信息在不需要物点深度信息的情况下求得物点在三维空间中相对于相机的方位信息。

5.3.2距离信息测量

如图4所示。假设相机安装在距离地面h高度处，相机倾斜放置，其光轴与水平方向夹角为θ，为方便计算，同时建立世界坐标系，并使两坐标系原点重合，Y_cO_cZ_c平面与Y_wO_wZ_w平面重合。被测目标在地面运动，并且忽略被测目标质心距离地面的高度。

由式(15)可知，在确定目标质心二维图像坐标，也即(x_i,y_i)后，并且在相机焦距f已知的情况下，只需知道目标质心在相机坐标系下Y_c的大小就可以获得目标质心在相机坐标系下的坐标(X_c,Y_c,Z_c)，进而得到目标与相机的距离，

由于相机倾斜角度θ已知，目标质心俯仰角β可由式(19)求得，因此由图 4根据几何关系可以看出，

AB＝O_cAsin|β|。 (22)

AB即为目标质心在相机坐标系下Y_c的大小。当目标质心位于相机坐标系Y_c轴上半部分时，Y_c＝AB,当目标质心位于相机坐标系Y_c轴下半部分时，Y_c＝-AB。特别的，当β＝0时，即当y_i＝0时，由图4容易得到Y_c＝0，同时

此时由式 (15)可知

最终，目标的世界坐标可以由下式得到,

本申请的技术方案经过了Matlab实验验证，有效证明了该方法的可行性与准确性。

以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于光流图像和小孔成像的运动目标检测与定位方法，其特征在于，包括如下步骤：

步骤1：视频图像预处理；

步骤2：利用改进Lucas-Kanade光流法计算光流；

步骤3：前景目标粗分隔；

步骤4：前景目标精分隔；

步骤5：捕获运动目标；

步骤6：基于小孔成像的目标定位。

2.根据权利要求1所述的一种基于光流图像和小孔成像的运动目标检测与定位方法，其特征在于，在步骤1中，所述视频图像预处理是指对视频图像进行图像灰度化预处理。

3.根据权利要求1所述的一种基于光流图像和小孔成像的运动目标检测与定位方法，其特征在于，在步骤2中，针对大位移速度快的运动目标，采用基于图像金字塔的改进策略，包括如下步骤：

步骤21：建立金字塔图像；

步骤22：从图像金字塔顶层开始逐层通过Lucas-Kanade光流法计算光流；

然后将上一层图像计算得到的光流估计作为下一层层图像光流估计的初始值，不断重复这个过程直到计算出图像金字塔底层的光流信息；

此外，在计算图像金字塔每一层图像的光流时多次迭代。

4.根据权利要求1所述的一种基于光流图像和小孔成像的运动目标检测与定位方法，其特征在于，在步骤3中，前景目标粗分隔为基于中值滤波与双向动态阈值分割的粗分割；

所述中值滤波是指在光流垂直和水平分量上对数据进行滤波运算以初步降噪，选定待处理像素并以此像素为中心建立小窗口，将窗口内所有像素灰度值按从小到大的顺序排列，以此排列顺序中的中间值作为选定像素的灰度值重新赋值；

所述双向动态阈值分割包括如下步骤：

首先，得到运动场景的光流信息后，在将光流分量进行合并之前，对光流在水平和竖直两个方向上分别进行一次阈值分割，这样就避免了对光流矢量直接分割而丢失一些有效光流的情况；

其次，在水平和竖直方向分别进行分割时，根据不同运动场景的光流动态选择分割阈值；

最后，将绝对值小于分割阈值的光流视为背景所产生的并予以剔除，其余光流进行保留。

5.根据权利要求1所述的一种基于光流图像和小孔成像的运动目标检测与定位方法，其特征在于，所述前景目标精分隔为基于最大类间方差法与形态学处理的精分割；

其中，最大类间方差法核心思想是寻求一个灰度分割阈值T，在此阈值下根据图像灰度值大小将像素点分为前景与背景两类，记图像前景点数占图像总点数比例为p₁，前景平均灰度值为I₁，图像背景点数占图像总点数比例为p₂，背景平均灰度值为I₂，则图像整体平均灰度为，

I＝p₁I₁+p₂I₂ (8)

前景与背景灰度方差g为，

g＝p₁(I₁-I)²+p₂(I₂-I)² (9)

综合式(8)和(9)可得，

g＝p₁p₂(I₁-I₂)² (10)

使得前景与背景灰度方差g最大时的阈值T即为图像分割最佳阈值；

另外，借助形态学处理剔除某些边界点或填补边界间断点得到较为完整的运动目标区域。

6.根据权利要求1所述的一种基于光流图像和小孔成像的运动目标检测与定位方法，其特征在于，在步骤6中，对被测目标采用小孔成像模型进行分析，将成像平面对称到光心前方以建立坐标系，使得成像平面与被测目标一起放在摄像机坐标系的同一侧，O_cX_cY_cZ_c为相机坐标系，o_ix_iy_i为图像坐标系，其中O_c为光心，Z_c轴与相机光轴重合，P(X_c,Y_c,Z_c)为被测目标在摄相机坐标系下的三维坐标，p(x_i,y_i)为被测目标成像在图像坐标系上的二维坐标；

结合高斯成像公式可得，物点在相机坐标系下的三维坐标P(X_c,Y_c,Z_c)与物点在像平面图像坐标系上的坐标p(x_i,y_i)存在如下几何关系，

定义物点在相机坐标系下的方位角α及俯仰角β，方位角为光心-物点矢量在相机坐标系x_co_cz_c平面上的投影与相机光轴的夹角，俯仰角为光心-物点矢量在相机坐标系y_co_cz_c平面上的投影与相机光轴的夹角，可得：

将式(15)带入式(16)及式(17)，

因此，可根据物点在图像平面内的位置信息以及相机信息在不需要物点深度信息的情况下求得物点在三维空间中相对于相机的方位信息。

7.根据权利要求6所述的一种基于光流图像和小孔成像的运动目标检测与定位方法，其特征在于，在步骤6中，假设相机安装在距离地面h高度处，相机倾斜放置，其光轴与水平方向夹角为θ，为方便计算，同时建立世界坐标系，并使两坐标系原点重合，Y_cO_cZ_c平面与Y_wO_wZ_w平面重合，被测目标在地面运动，并且忽略被测目标质心距离地面的高度；

由式(15)可知，在确定目标质心二维图像坐标，也即(x_i，y_i)后，并且在相机焦距f已知的情况下，只需知道目标质心在相机坐标系下Y_c的大小就可以获得目标质心在相机坐标系下的坐标(X_c，Y_c，Z_c)，进而得到目标与相机的距离，

由于相机倾斜角度θ已知，目标质心俯仰角β可由式(19)求得，因此根据几何关系可以看出，

AB＝O_cAsin|β| (22)

AB即为目标质心在相机坐标系下Y_c的大小，当目标质心位于相机坐标系Y_c轴上半部分时，Y_c＝AB,当目标质心位于相机坐标系Y_c轴下半部分时，Y_c＝-AB，特别的，当β＝0时，即当y_i＝0时，容易得到Y_c＝0，同时

此时由式(15)可知

最终，目标的世界坐标可以由下式得到：

Images