CN104809720B - 基于小交叉视场的两相机目标关联方法 - Google Patents

Abstract

本发明公开了一种基于小交叉视场的两相机目标关联方法，包括以下步骤：步骤1、对相机C₁和相机C₂进行标定；步骤2、用相机C₁和相机C₂对运动目标进行图像序列获取，并对图像序列进行校正；步骤3、用混合高斯模型从校正后图像序列中分割出运动目标图像；步骤4、采用相似度计算方法将模板与源图像匹配，分别得到目标在源图像中匹配的区域，对比两匹配区域即可得到两目标为同一目标，完成目标关联。利用两相机间的小交叉视场，即在目标通过两相机视场时，有一个或者多个采样时刻的两图像序列中同时有目标的全部或者部分信息，保证两相机间的数据传递和较大的探测视场，有效解决目标丢失、突然出现、大机动变化、噪声干扰等情况下的目标跟踪问题。

Description

基于小交叉视场的两相机目标关联方法

技术领域

本发明属于光学探测技术领域，涉及一种基于小交叉视场的两相机目标关联方法。

背景技术

在多相机阵列光学探测系统中，相机间的数据关联是整个光学系统目标连续检测跟踪的核心，研究高精度、鲁棒目标关联方法是提高光学阵列探测系统目标跟踪效果的重要手段。在现有的方法中都会加入真实路况信息或者目标形状等几何相关性约束，采用连续标签的方式记录目标，有一定的应用局限性。一般情况下，多相机间目标关联是通过相机间覆盖较大重叠区域，在重叠区域进行模板匹配进行目标关联，会导致探测区域变小，系统利用率降低，计算复杂度高。

发明内容

本发明的目的是提供一种基于小交叉视场的两相机目标关联方法，以解决现有技术中存在的目标丢失、突然出现、大机动变化、噪声干扰等情况下的目标错误关联问题。

本发明所采用的技术方案是，基于小交叉视场的两相机目标关联方法，包括以下步骤：

步骤1、对相机C₁和相机C₂进行标定；

步骤2、用相机C₁和相机C₂对运动目标进行图像序列获取，并对图像序列进行校正；

步骤3、利用混合高斯模型从校正后图像序列中分割出运动目标图像序列；

步骤4、设运动目标出现在交叉视场时为t时刻，将t时刻相机C₁获取的图像J_1t作为源图像，再将相机C₁和相机C₂在t时刻的运动目标图像O_1t和O_2t分别作为模板，采用相似度计算方法将模板与源图像匹配，分别得到目标O_1t和O_2t在源图像J_1t中匹配的区域，对比两匹配区域即可得到两目标O_1t和O_2t为同一目标，完成目标关联。

进一步的，步骤1的具体方法为：将相机C₁和相机C₂分别固定在万向节上，同时保证相机C₁和相机C₂的交叉视场分别达到各自全视场的10%～20%，再将标定板以平移或旋转的方式运动，以便获得标定板各个位姿下的图像，通过以检测标定板的角点坐标作为空间点真值，并将其重投影到成像平面进行优化标定得到相机C₁和相机C₂的内外参数。

进一步的，步骤2中图像序列获取的具体方法为：将相机C₁和相机C₂均采用10帧以上的帧速率分别拍摄移动目标，并分别获得该移动目标的两组图像序列J₁和J₂以及目标移出后的两组背景图序列B₁和B₂。

进一步的，步骤2中图像序列校正的具体方法为：利用opencv自带函数对获得的图像序列J₁和J₂以及背景图序列B₁和B₂分别进行水平校正，然后得到水平校正后两相机的投影矩阵为：

通过分别对图像序列和背景序列中二维坐标点齐次化后左乘投影矩阵P₁和P₂，得到两相机校正后的图像序列J₁＇和J₂＇和校正后的背景图序列B₁＇和B₂＇；其中，f为两个相机的焦距，x₁，x₂分别为相机C₁和相机C₂的平移向量的垂直 分量，y为两相机平移向量的水平分量，T_x为两相机间的水平偏移，c为常量。

进一步的，步骤3的具体方法为：分别从背景图序列B₁＇和B₂＇中各选取5帧图像进行训练，然后利用混合高斯模型，从校正后的图像序列J₁＇和J₂＇中分割出前景图，前景图即运动目标，再利用形态学图像处理中的开运算、消除噪声和误差、避免噪声干扰的方法得到运动目标区域，将运动目标区域以为的其他区域的像素值全部置为0，并将运动区域使用矩形切割方式，最终从图像序列J₁＇和J₂＇中分割出运动目标序列O₁和O₂。

进一步的，步骤4中相似度计算方法为将模板和图像相乘，

即:

其中，R(x,y)表示模板与整幅图像相乘后的结果，值越大匹配越好，T(x′,y′)表示模板在(x′,y′)处的像素值，I(x+x′,y+y′)表示源图像在(x+x′,y+y′)处的像素值。

本发明的有益效果是，利用两相机间的小交叉视场，在目标通过两相机视场时，有一个或者多个采样时刻的两图像序列中同时有目标的全部或者部分信息，既保证两相机间的数据传递，又能保证较大的探测视场，可以有效解决目标丢失、突然出现、大机动变化、噪声干扰等情况下的目标跟踪问题。

附图说明

图1为本发明基于小交叉视场的两相机目标关联方法的两相机安装和成像视场示意图；

图2为本发明基于小交叉视场的两相机目标关联方法中分割出的目标O₁的示意图；

图3为本发明基于小交叉视场的两相机目标关联方法的分割出的目标O₂的示意图；

图4为本发明基于小交叉视场的两相机目标关联方法中以目标O_1t为模板在源图像J_1t中的匹配结果图；

图5为本发明基于小交叉视场的两相机目标关联方法中以目标O_2t为模板在源图像J_1t中的匹配结果图。

具体实施方式

下面结合具体实施方式对本发明进行详细说明。

本发明提供了一种基于小交叉视场的两相机目标关联方法，小交叉视场，即同时保证相机C₁和相机C₂的交叉视场分别达到各自全视场的10%～20%，具体按照以下步骤实施：

1、两相机标定：

针对小交叉视场两相机目标关联的问题，首先建立两相机图像序列采集系统，预期相机布置和成像视场如图1所示，将相机C₁和相机C₂分别固定在万向节上，再将标定板以平移或旋转的方式运动，以便获得标定板在各个位姿下的图像，以检测标定板的角点坐标作为空间点真值，并将其重投影到成像平面进行优化标定得到相机C₁和相机C₂的内外参数，为第二步的图像校正和第三步的目标分割提供必要的相机参数。

2、图像校正：

2.1图像序列获取：

保证步骤1中两相机位姿不变，将相机C₁和相机C₂均采用10帧以上的帧速率同时拍摄移动目标，并分别获得该移动目标的两组图像序列J₁和J₂以及目标移出后的两组背景图序列B₁和B₂。

2.2图像序列校正：

对手动安装的相机，不可避免地带来不同相机间视场的变形，所以必须通过图像序列校正。利用opencv自带函数对步骤2.1中获得的图像序列J₁和J₂以及 背景图序列B₁和B₂分别进行水平校正，然后得到水平校正后两相机的投影矩阵为：

通过分别对图像序列和背景序列中二维坐标点齐次化后左乘投影矩阵P₁和P₂，得到两相机校正后的图像序列J₁＇和J₂＇和校正后的背景图序列B₁＇和B₂＇。其中，f为两个相机的焦距，x₁，x₂分别为相机C₁,C₂的平移向量的垂直分量，y为两相机平移向量的水平分量，T_x为两相机间的水平偏移，c为常量。

3、利用混合高斯模型分割运动目标：

分别从背景图序列B₁＇和B₂＇中各选取5帧图像进行训练，然后利用混合高斯模型，从校正后的图像序列J₁＇和J₂＇中分割出前景图，前景图即运动目标，再利用形态学图像处理中的开运算、消除噪声和误差、避免噪声干扰的方法得到运动目标区域，将运动目标区域以为的其他区域的像素值全部置为0，并将运动区域使用矩形切割方式，最终从图像序列J₁＇和J₂＇中分割出运动目标O₁和O₂，运动目标O₁和O₂分别如图2和图3所示。

混合高斯模型中，场景的每个像素的值可以建立由K个高斯模型组成的高斯混合模型，K一般来说是由内存和计算能力决定，一般来说3-5都是可以的，

其中ω_i,t是第i个高斯分布在时刻t的权值，μ_i,t是指第i个高斯分布在时刻t的平均值，Σ_i，t指的是协方差，η是高斯概率密度函数，

另外，为了计算考虑，协方差被近似于

对于某一像素的新的像素值X_t，与当前已存在K个高斯分布作比对，直到配对成功。而配对成功的定义是：一个像素值在该分布的2.5倍标准差范围内。这就决定了对于每个像素、每个分布都有自己特定的阈值。如果没有任何一个分布能够与当前像素值X_t配对，则新建一个以X_t为均值，初始方差足够大的高斯分布，替代掉当前K个分布中可能性最小的。之后，K个分布在时刻t的权值用以下公式进行更新：ω_k,t＝(1-α)ω_k,t-1+α(M_k,t)

α就是学习参数，它定义了分布权值变化的速度。M_k,t对于配对成功的分布取值为1，其它则为0。在这次更新之后，对全部K个分布的权值做归一化处理。除此之外，对于配对成功的分布，我们还必须更新它们的均值与方差，更新公式如下：

μ_t＝(1-ρ)μ_t-1+ρX_t

其中ρ定义为：ρ=αη(X_t|μ_k,σ_k)，对于那些没有匹配成功的分布，均值和方差不作任何处理。

在新建和更新每个像素的混合高斯模型后，我们进行背景的评估，前B个分布就被选择成为背景模型，B的定义如下：

T指的是背景模型所占用的最小比例，可见，当T较小的时候，实际上近似于单一高斯模型，而T较大时每个像素都可以接受多个区间的像素值。

4、模板匹配：

模板匹配是一种用于在源图像S中寻找定位给定目标图像T（即模板图像）的技术。通过某些相似度准则来衡量两个图像块之间的相似度。如果源图像S与模板图像T大小（高和宽）一致，则直接使用相似度计算公式对这两个图像进行相似度计算。如果源图像S的大小大于模板图像T，则在S中匹配T时，需要滑动匹配窗口（即模板图像的大小），计算模板图像与该窗口对应的图像区域之间的相似度。对整张S图像滑动完后，得到多个匹配结果。这里，有两种方式获取匹配结果。一种是返回所有匹配结果中的最佳匹配结果（最小值或最大值，依相似度计算方式而定）。另一种，是设定一个阈值，大于或小于该阈值的匹配结果都认为是有效的匹配。

本发明中设运动目标出现在交叉视场时为t时刻，将t时刻相机C₁获取的图像J_1t作为源图像，再将相机C₁和相机C₂在t时刻的运动目标图像O_1t和O_2t分别作为模板，采用模板和图像间的相乘操作作为相似度计算方法，结果越大表示匹配程度越高。

即:

其中，R(x,y)表示模板与整幅图像相乘后的结果，值越大匹配越好，T(x′,y′)表示模板在(x′,y′)处的像素值，I(x+x′,y+y′)表示源图像在(x+x′,y+y′)处的像素值。 对t时刻运动目标图像O_1t和O_2t在同一幅源图像J_1t中做匹配，分别得到目标O_1t和O_2t在源图像J_1t中匹配的区域，匹配的区域分别如图4和图5所示，对比两匹配区域即可得到两目标为同一目标，完成目标关联。

一般情况下，多相机间目标关联是通过相机间覆盖较大重叠区域，在重叠区域进行模板匹配进行目标关联，会导致探测区域变小，系统利用率降低，计算复杂度高。本发明的方法中，两相机视场仅具有10%～20%交叉视场，设置该较小的交叉视场，可以扩大相机的探测范围，间接的提高相机的利用率和计算效率，通过模板匹配保证目标在两相机视场交接过程中的连续性，避免目标丢失，大机动变化以及突然出现，使得匹配结果更直观，准确消除评估方法带来的误差。

Claims (5)

1.基于小交叉视场的两相机目标关联方法，其特征在于，包括以下步骤：

步骤1、对相机C₁和相机C₂进行标定；

步骤2、用相机C₁和相机C₂对运动目标进行图像序列获取，并对图像序列进行校正；

其中，步骤1的具体方法为：将相机C₁和相机C₂分别固定在万向节上，同时保证相机C₁和相机C₂的交叉视场分别达到各自全视场的10％～20％，再将标定板以平移或旋转的方式运动，以便获得标定板各个位姿下的图像，通过以检测标定板的角点坐标作为空间点真值，并将其重投影到成像平面进行优化标定得到相机C₁和相机C₂的内外参数；

步骤3、利用混合高斯模型从校正后图像序列中分割出运动目标图像序列；

步骤4、设运动目标出现在交叉视场时为t时刻，将t时刻相机C₁获取的图像J_1t作为源图像，再将相机C₁和相机C₂在t时刻的运动目标图像O_1t和O_2t分别作为模板，采用相似度计算方法将模板与源图像匹配，分别得到目标O_1t和O_2t在源图像J_1t中匹配的区域，对比两匹配区域即可得到两目标O_1t和O_2t为同一目标，完成目标关联。

2.如权利要求1所述的基于小交叉视场的两相机目标关联方法，其特征在于，所述的步骤2中图像序列获取的具体方法为：将相机C₁和相机C₂均采用10帧以上的帧速率分别拍摄移动目标，并分别获得该移动目标的两组图像序列J₁和J₂以及目标移出后的两组背景图序列B₁和B₂。

3.如权利要求2所述的基于小交叉视场的两相机目标关联方法，其特征在于，所述的步骤2中图像序列校正的具体方法为：利用opencv自带函数对获得的图像序列J₁和J₂以及背景图序列B₁和B₂分别进行水平校正，然后得到水平校正后两相机的投影矩阵为：

$P_1=\left[\begin{array}{cccc}f& 0& {\mathrm{cx}}_1& 0\\ 0& f& cy& 0\\ 0& 0& 1& 0\end{array}\right]---\left(1\right),$

$P_2=\left[\begin{array}{cccc}f& 0& {\mathrm{cx}}_2& T_x*f\\ 0& f& cy& 0\\ 0& 0& 1& 0\end{array}\right]---\left(2\right);$

通过分别对图像序列和背景序列中二维坐标点齐次化后左乘投影矩阵P₁和P₂，得到两相机校正后的图像序列J₁＇和J₂＇和校正后的背景图序列B₁＇和B₂＇；其中，f为两个相机的焦距，x₁，x₂分别为相机C₁和相机C₂的平移向量的垂直分量，y为两相机平移向量的水平分量，T_x为两相机间的水平偏移，c为常量。

4.如权利要求3所述的基于小交叉视场的两相机目标关联方法，其特征在于，所述的步骤3的具体方法为：分别从背景图序列B₁＇和B₂＇中各选取5帧图像进行训练，然后利用混合高斯模型，从校正后的图像序列J₁＇和J₂＇中分割出前景图，前景图即运动目标，再利用形态学图像处理中的开运算、消除噪声和误差、避免噪声干扰的方法得到运动目标区域，将运动目标区域以为的其他区域的像素值全部置为0，并将运动区域使用矩形切割方式，最终从图像序列J₁＇和J₂＇中分割出运动目标序列O₁和O₂。

5.如权利要求4所述的基于小交叉视场的两相机目标关联方法，其特征在于，所述的步骤4中相似度计算方法为将模板和图像相乘，

即:

其中，R(x,y)表示模板与整幅图像相乘后的结果，值越大匹配越好，T(x′,y′)表示模板在(x′,y′)处的像素值，I(x+x′,y+y′)表示源图像在(x+x′,y+y′)处的像素值。