CN104182968A - 宽基线多阵列光学探测系统模糊动目标分割方法 - Google Patents

Abstract

本发明公开了宽基线多阵列光学探测系统模糊动目标分割方法，包括以下步骤：用宽基线分布式布置两组高速相机阵列和一组低速相机阵列，并采集动目标得到高速无模糊图像和低速模糊图像；对低速模糊图像进行预分割得到模糊动目标多特征融合分割图；用混合高斯模型分割高速无模糊图像得到其前景分割图；对高速无模糊图像进行校正匹配和三维重构得到其场景深度图；用前景分割图对场景深度图进行标记得到前景深度图；再把前景深度图投影到低速模糊图像中得到模糊动目标多视角分割图；融合模糊动目标多特征融合分割模型和模糊动目标多视角分割图得到多特征多视角融合联合标记图，再对特征多视角融合联合标记图抠图，满足了对模糊动目标高精度分割的要求。

Description

宽基线多阵列光学探测系统模糊动目标分割方法

技术领域

本发明属于光学探测技术领域，具体涉及宽基线多阵列光学探测系统模糊动目标分割方法。

背景技术

图像恢复是机器视觉领域的重要研究课题，目标运动模糊是常见的图像退化原因，涉及众多民用、军事和科研等领域。动目标通常在图像中表现出模糊效应，由于目标与背景的一致性，常用的分割方法如高斯混合模型分割法、图像差值法等效果不佳。

发明内容

本发明的目的是提供宽基线多阵列光学探测系统模糊动目标分割方法，可满足高精度的模糊动目标分割要求，为模糊动目标重建、跟踪和识别提供技术支持。

本发明所采用的技术方案是，宽基线多阵列光学探测系统模糊动目标分割方法，包括以下步骤：

采用宽基线分布式布置两组高速相机阵列和一组低速相机阵列，并采集动目标得到高速无模糊图像和低速模糊图像；

对低速模糊图像进行预分割，得到模糊动目标多特征融合分割图；

利用混合高斯模型分割高速无模糊图像，得到其前景分割图；对高速无模糊图像进行校正匹配和三维重构，得到其场景深度图；用前景分割图对场景深度图进行标记，得到前景深度图；再把前景深度图投影到低速模糊图像中，得到模糊动目标多视角分割图；

融合模糊动目标多特征融合分割模型和模糊动目标多视角分割图，得到多特征多视角融合联合标记图，再对特征多视角融合联合标记图抠图，即分割出完整的目标前景图。

本发明的特点还在于，

具体按照以下步骤实施：

步骤1、相机标定：

采用远距离布置三个相机阵列，其中相机阵列HS-L和相机阵列HS-R均为高速相机，另一个相机阵列LS-M为低速相机，

采用opencv标定工具箱对每个相机进行标定，并得到每个相机的内参矩阵K、位姿R、T和Distortion畸变参数，其中K包括焦距和成像原点，R为旋转矩阵，T为平移向量；

步骤2、图像采集：

用步骤1中标定好的相机阵列LS-M、相机阵列HS-L和相机阵列HS-R对运动目标进行图像采集，对应得到低速模糊图组M、高速无模糊图组L和高速无模糊图组R；

步骤3、对图组M的模糊动目标进行多特征融合分割：

根据最终模糊系数对图组M进行标记，得到图组M的多特征融合分割图；

步骤4、对步骤2中采集的图组L和图组R的图像进行校正和匹配：

在对步骤2得到的图组L和图组R中，依次对相同时刻拍摄的一组对应视图进行校正；

再对图组L和图组R进行立体匹配，即通过找出每组图像间的对应关系，根据三角测量原理，计算得到图组L和图组R的视差d；

步骤5、场景三维重构：

利用步骤4计算出的视差d，构建图组L的场景深度图；

步骤6、前景分割：

利用混合高斯模型对步骤2中的得到的图组L的前景点均进行检测，分割得到图组L的无模糊前景分割图；

步骤7、前景三维重构和模糊动目标多视角分割：

用步骤6中得到的图组L的无模糊前景分割图，对步骤5中得到的图组L的场景深度图进行标记，得到图组L的前景深度图，利用步骤1得到的内外参数，把图组L的前景深度图投影到步骤2中得到的图组M的原始模糊图像中，即得到图组M的多视角分割图；

步骤8、模糊动目标多视角分割：

将步骤7中得到的图组M的多视角分割图与步骤3中得到图组M的多特征融合分割图，即得到图组M的多特征多视角融合联合标记图；

步骤9、对多特征多视角融合联合标记图进行抠图：

对步骤8中得到的图组M的多特征、多视角融合联合标记图进行抠图，即分割出完整的目标前景图。

步骤3中最终模糊系数的计算方法为：用梯度直方图、局部均方误差图和色彩饱和度对步骤2得到的图组M进行标记，依次得到图组M的第一模糊系数q₁、第二模糊系数q₂和第三模糊系数q₃，则图组M的最终模糊系数F＝q₁q₂q₃。

步骤3中根据最终模糊系数对图组M进行标记的具体方法为：

将图组M的模糊图像预分割为20×20的子区域，再为待检测的模糊区域设定不同的阈值T_b、T_d，阈值范围根据不同的实验场景可调；

如果某一子区域的模糊系数F₁小于T_b，则将该区域标记为模糊区域，填充为白色；如果某一子区域的模糊系数F₂大于T_d，则标记为不模糊并填充为黑色；最后将RGB值为[0 0 0]和[255 255 255]的像素点从图组M的模糊图像中移除。

步骤4中视差d的具体计算方法为：

已知相机HS-L和相机HS-R与世界坐标系相对位置的外部参数分别为旋转矩阵R₁、旋转矩阵R₂、平移向量T₁和平移向量T₂，采用半全局立体匹配(SGBM)算法，计算得到图组L和图组R的视差d；

其具体代码表示如下：

dptr[y*dstep]＝(short)(((ndisp-mind-1+mindisp)*256+(d！＝0？(p-n)*128/d:0)+15)＞＞4)。

步骤5中场景三维重构的具体方法为：将步骤4中计算出的视差d代入下式，

$Q\left[\begin{array}{c}x\\ y\\ d\\ 1\end{array}\right]=\left[\begin{array}{c}x-c_x\\ x-c_y\\ f\\ \frac{-d+c_x-c_x^{\′}}{T_x}\end{array}\right]=\left[\begin{array}{c}X\\ Y\\ Z\\ W\end{array}\right]\⇒Z=\frac{-f{T}_x}{d-(c_x-c_x^{\′})},$

利用cv.reprojectImageTo3D函数变换一个单通道代表三维表面的三通道图像的视差图，计算得到Z，Z为点(X,Y)的深度，根据Z得到图组L和图组R相对于相机HS-L的场景三维重构，即得到图组L的场景深度图。

步骤6中分割前景的具体方法为：

首先设某一像素在一段时间区间内的值{x₀,y₀}是“pixel process”，并描述为：{X₁,...,X_T}＝{I(x₀,y₀,i):1≤i≤t}；

高斯混合模型中，场景的每个像素的值可以建立由K个高斯模型组成的高斯混合模型，K的值取3-5；

$P\left(X_t\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{i,t}*\mathrm{\η}(X_t,{\mathrm{\μ}}_{i,t}{\mathrm{\Σ}}_{i,t}),$

其中ω_i,t是第i个高斯分布在时刻t的权值，μ_i,t是指第i个高斯分布在时刻t的平均值，Σ_i,t指的是协方差，η是高斯概率密度函数；

且

另外，为了计算考虑，协方差被近似于

对于某一像素的新的像素值X_t，与当前已存在K个高斯分布作比对，直到配对成功；而配对成功的定义是：一个像素值在该分布的2.5倍标准差范围内，这就决定了对于每个像素、每个分布都有自己特定的阈值，如果没有任何一个分布能够与当前像素值X_t配对，则新建一个以X_t为均值，初始方差足够大的高斯分布，替代掉当前K个分布中可能性最小的；之后，K个分布在时刻t的权值用以下公式进行更新：

ω_k,t＝(1-α)ω_k,t-1+α(M_k,t)，

α为学习参数，它定义了分布权值变化的速度，M_k,t对于配对成功的分布取值为1，其它则为0；

在这次更新之后，对全部K个分布的权值做归一化处理，除此之外，对于配对成功的分布，再更新其均值与方差，更新公式如下：

μ_t＝(1-ρ)μ_t-1+ρX_t

${\mathrm{\σ}}_t^2=(1-\mathrm{\ρ}){\mathrm{\σ}}_{t-1}^2+\mathrm{\ρ}{(X_t-{\mathrm{\μ}}_t)}^T(X_t-{\mathrm{\μ}}_t),$

其中ρ定义为：ρ＝αη(X_t|μ_k,σ_k)，

对于没有匹配成功的分布，均值和方差不作任何处理，

在新建和更新每个像素的混合高斯模型后，再进行背景的评估，前B个分布就被选择成为背景模型，B的定义如下：

$B=\arg {\min }_b(\underset{k=1}{\overset{b}{\mathrm{\Σ}}}{\mathrm{\ω}}_k>T),$

T指的是背景模型所占用的最小比例，可见，当T较小的时候，实际上近似于单一高斯模型，而T较大时每个像素都可以接受多个区间的像素值。

步骤9中采用鲁棒抠图法。

鲁棒抠图法的具体方法为：

步骤9.1、稀疏采集前景区域F中的样本点与背景区域B中的样本点，由前景样本点集合和背景样本点集合形成所有的前景、背景样本对；“在颜色空间中,如果像素点P与直线之间的距离越近,则点Fⁱ和B^j越有可能是较优的前景、背景样本对”；距离比率定义如下：

$R_d(F^i,B^j)=\frac{\left|\right|C-(\widehat{\mathrm{\α}}{F}^i+(1-\widehat{\mathrm{\α}})B^j)\left|\right|}{\left|\right|F^i-B^j\left|\right|}$

Fⁱ表示第i个前景样本点的颜色值，B^j表示第j个背景样本点的颜色值，C表示某个未知像素的颜色值，表示未知像素的颜色值与该像素的颜色估计值之间的欧氏距离，||Fⁱ-B^j||表示两个样本点之间的欧氏距离；

未知像素的掩膜估计值为：

$\widehat{\mathrm{\α}}=\frac{(C-B^j)(F^i-B^j)}{{\left|\right|F^i-B^j\left|\right|}^2},$

为了更好的进行抠图，定义前景样本点的颜色值的权重ω(Fⁱ)和背景样本点的颜色值权重ω(B^j)：

$\mathrm{\ω}\left(F^i\right)=\exp \{-{\left|\right|F}^i-c||/D_F^2\}---\left(\mathrm{3.4.3}\right),$

$\mathrm{\ω}\left(B^j\right)=\exp \{-{\left|\right|B}^j-c||/D_B^2\}---\left(\mathrm{3.4.3}\right),$

其中D_F＝min_i(||Fⁱ-C||)为采集到的前景样本点与当前未知像素点之间的最短欧氏距离，D_B＝min_j(||Bⁱ-C||)为釆集到的背景样本点与当前未知像素点之间的最短欧氏距离；结合距离比率和权重，我们给每个样本对计算一个可信度值f(Fⁱ,B^j)，即

$f(F^i,B^j)=\mathrm{esp}\left\{\frac{R_d(F^i,B^j)\·\mathrm{\ω}\left(F^I\right)\·\mathrm{\ω}\left(B^J\right)}{{\mathrm{\σ}}^2}\right\},{\mathrm{\σ}}^2=0.1;$

步骤9.2、计算出一个未知像素的掩膜估计值后，计算其对应的样本对的可信度，然后从中选择出可信度排名前五的样本对，进一步计算得出这几个样本对的掩膜估计值和信度的平均值，利用得到的平均信度和掩膜估计值来最优化掩膜值；

首先，假设期望的掩膜值局部光滑，并且划分得到的前景区域F和背景区域B中的像素数量要远远多于待计算区域中的像素数量；这样，我们对它设置一个数据约束与领域约束，将掩膜值优化过程转化为求解一个图标记的问题；

即对于末知区域中的像素i，为它与纯前景Ω_F之间的连接赋予数据权重W(i,F)，为它与纯背景Ω_B之间的连接赋予数据权重W(i,B)；

$\left\{\begin{array}{c}W(i,F)=\mathrm{\γ}\·[{\hat{f}}_i{\widehat{\mathrm{\α}}}_i+(1-{\hat{f}}_i)\mathrm{\δ}({\widehat{\mathrm{\α}}}_i>0.5)]\\ W(i,B)=\mathrm{\γ}\·[{\hat{f}}_i(1-{\widehat{\mathrm{\α}}}_i)+(1-{\hat{f}}_i)\mathrm{\δ}({\widehat{\mathrm{\α}}}_i>0.5)]\end{array}\right.,$

是初始掩膜估计值，是初信度，γ是一个用来平衡数据权重值的参数，如果γ过低，会产生过分平滑的掩膜值，γ过高，掩膜值易被噪声干扰，此处设置γ＝0.1，

为了满足邻域约束，给相邻的节点(i,j)之间定义边权重W_i,j，它使掩膜具有局部平滑性，所以W_i,j的计算公式为：

$W_{i,j}=\underset{K|\left(\mathrm{inj}\right)\∈w_k}{\mathrm{\Σ}}\frac{1}{9}(1+{(C_i-{\mathrm{\μ}}_k)}^T{(\mathrm{\Σ}+\frac{\mathrm{\ϵ}}{9}I)}^{-1}(C_j-{\mathrm{\μ}}_k)),$

W_k是一个包含节点i和j的3*3矩阵，μ_k是每个窗口的均值，Σ是每个窗口的协方差，ε＝10^-5是用来提高数值计算鲁棒性的系数；

因为α值是连续的，所以通过随机漫步优化来求解图标记问题，即可得到优化后的掩膜图；

具体计算步骤如下：

首先，构造一个拉普拉斯算子矩阵：

其中，W_ii＝Σ_jW_ij，L是稀疏对称的N×N正定矩阵，N是图像中所有结点的数量；将L划分两块，一是与己知像素点所对应的已知像素块L_k，二是与未知像素点所对应的未知像素块L_u，即：

$L=\left[\begin{array}{c}{L}_{k}R\\ R^T{L}_u\end{array}\right],$

给定一个边界条件向量m，则a值可求解得到：

L_uα＝-Rm；

步骤9.3、使用RandomWalker算法求解出图像的掩膜值以后，重建前景对象F，并将它与新的背景图像进行合成；

对于未知像素z，首先根据下面的公式计算前景色估计值场合背景色估计值

$F_z^{*},B_z^{*}=\arg \underset{F_z,B_z}{\min }{(C_z-{\mathrm{\α}}_z{F}_z-(1-{\mathrm{\α}}_z)B_z)}^2,$

其中C_z为像素点z的颜色值，α_z为像素点z的掩膜值；使用图像中存在的真实的前景和背景颜色值作为未知像素的前景颜色估计值和背景颜色估计值；它能够避免“颜色混合”(ColorBleeding)的出现；如果前景色估计值是图像中真实的前景色和真实的背景色混合得到，它在一定程度上会导致视觉失真(VisualArtifact)。

相机阵列中包括一个或一个以上的相机。

本发明的有益效果是，

1.构建了宽基线多视角模糊动目标分割系统，相机阵列中可以包括一个或多个相机，使得系统的可扩展性强；

2.提出了基于多视角、多曝光、多特征的模糊动目标分割方法，相比于传统基于多特征的单视角分割结果，多视角分割准确度可达94.92％，虚警率8.03％，漏检率3.79％，分割效果明显提升，实现了高精度的模糊动目标分割要求。

附图说明

图1.1.1至图1.1.6为本发明宽基线多阵列光学探测系统模糊动目标分割方法实施例中图组L的六幅视图；

图1.2是本发明宽基线多阵列光学探测系统模糊动目标分割方法实施例中图组M的视图；

图1.3.1至图1.3.6是本发明宽基线多阵列光学探测系统模糊动目标分割方法实施例中图组R的六幅视图；

图2是本发明宽基线多阵列光学探测系统模糊动目标分割方法实施例的步骤3得到的图组M的多特征融合分割图；

图3.1和图3.2分别是本发明宽基线多阵列光学探测系统模糊动目标分割方法实施例中步骤4.1得到的图组L和图组R矫正后的视图；

图4是本发明宽基线多阵列光学探测系统模糊动目标分割方法实施例中图组M的场景深度图；

图5.1至图5.6是本发明宽基线多阵列光学探测系统模糊动目标分割方法实施例的步骤7中得到的图组L的前景深度图；

图5.7至图5.12是本发明宽基线多阵列光学探测系统模糊动目标分割方法实施例的步骤6中得到的图组L的无模糊前景分割图；

图6是本发明宽基线多阵列光学探测系统模糊动目标分割方法实施例的步骤7中得到的图组M的多视角分割图；

图7是本发明宽基线多阵列光学探测系统模糊动目标分割方法实施例的步骤8中得到的图组M的多特征多视角融合联合标记图；

图8是本发明宽基线多阵列光学探测系统模糊动目标分割方法实施例的步骤9中分割出的模糊目标区域图；

图9是本发明宽基线多阵列光学探测系统模糊动目标分割方法的流程图。

具体实施方式

下面结合附图和实施例对本发明进行详细说明。

实施例

本发明提供了一种宽基线多阵列光学探测系统模糊动目标分割方法，具体按照以下步骤实施：

步骤1、相机标定：

采用远距离布置三个相机，依次为相机HS-L、相机LS-M和相机HS-R，其中位于两侧的相机HS-L和相机HS-R为高速相机，位于中间的相机LS-M为低速高分辨率相机；

采用opencv标定工具箱对每个相机进行标定，并得到每个相机的内参矩阵K、位姿R、T和Distortion畸变参数。其中K包括焦距和成像原点，R为旋转矩阵，T为平移向量。

对相机HS-LD标定后的参数为：

$K=\left[\begin{array}{ccc}5375.592& 0& 616.826\\ 0& 5386.608& 307.312\\ 0& 0& 1\end{array}\right],R=\left[\begin{array}{ccc}0.941& -0.055& -0.333\\ -0.006& 0.983& -0.183\\ 0.337& 0.174& 0.925\end{array}\right],$

Distortion＝[-0.136 12.045 -0.009 0.008]，T＝[4.102 8.863 279.054]，

相机HS-R标定后的参数为：

$K=\left[\begin{array}{ccc}5419.027& 0& 595.248\\ 0& 542.169& 370.201\\ 0& 0& 1\end{array}\right],R=\left[\begin{array}{ccc}0.998& 0.035& -0.034\\ -0.040& 0.985& -0.162\\ 0.027& 0.163& 0.986\end{array}\right],$

Distortion＝[-0.294 22.729 -0.003 0.011]，T＝[2.160 6.072 281.926]，

相机LS-M标定后的参数为：

$K=\left[\begin{array}{ccc}5422.501& 0& 700.095\\ 0& 5429.259& 384.324\\ 0& 0& 1\end{array}\right],R=\left[\begin{array}{ccc}0.966& 0.023& -0.255\\ -0.089& 0.963& -0.251\\ 0.240& 0.266& 0.933\end{array}\right],$

Distortion＝[0.388 -52.736 -0.010 0.012]，T＝[-6.331 5.783 276.582]。

步骤2、图像采集：

将步骤1中标定后的相机LS-M、相机HS-L和相机HS-R的帧速率比值设为1：6：6，然后采集同一运动目标的信息；

相机LS-M对运动目标一次曝光，相应的相机HS-L和相机HS-R对运动目标六次曝光，对应得到图组M(见图1.2)、图组L(见图1.1.1至图1.1.6)和图组R(见图1.3.1至图1.3.6)；

步骤3、对图组M的模糊动目标进行多特征融合分割：

步骤3.1、用梯度直方图标记：

引入两个高斯模型组成的混合模型G_p来描述图像梯度，

即 $G_P=a_1{e}^{\frac{-(x-{\mathrm{\μ}}_1)}{{\mathrm{\σ}}_1}}+a_2{e}^{\frac{-(x-{\mathrm{\μ}}_2)}{{\mathrm{\σ}}_2}},$

其中，均值μ₁＝μ₂＝0，方差σ₂＞σ₁，a₁,a₂为加权系数。

变量σ₂较大的高斯分量是造成拖尾效应的主要原因，因此，将σ₂作为第一模糊系数q₁：q₁＝σ₂；

步骤3.2、用局部均方误差图标记

定义LMSE是每块子区域所有像素点的均方误差，

表示为： $V_p=\frac{1}{n}\sqrt{\underset{n}{\mathrm{\Σ}}{(x-\mathrm{mean})}^2},$

V_p可以表征每个像素点和均值之间的差异，mean是每块子区域像素点均值，引入相关的局部到全局的差异作为第二模糊系数q₂：

其中，V_o是整个图像均方误差；

步骤3.3、用色彩饱和度标记

引入饱和度公式， $S_q=1-\frac{3}{R+G+B}\left[\min (R,G,B)\right],$

计算子区域中每个像素的饱和度，将其中饱和度的最大值，与整幅图像的饱和度S₀的最大值比较，得到第三模糊系数q₃：

步骤3.4、将步骤3.1至步骤3.3中得到的第一模糊系数q₁、第二模糊系数q₂和第三模糊系数q₃代入下式：

F＝q₁q₂q₃，

即得到图组M的最终模糊系数F。

步骤3.5、将图组M的模糊图像预分割为20×20的子区域，再为待检测的模糊区域设定不同的阈值T_b、T_d，阈值范围根据不同的实验场景可调。

如果某一子区域的模糊系数F₁小于T_b，则将该区域标记为模糊区域，填充为白色；如果某一子区域的模糊系数F₂大于T_d，则标记为不模糊并填充为黑色；最后将RGB值为[0 0 0]和[255 255 255]的像素点从图组M的模糊图像中移除。

按照上述规则填充或删除处理完成后，即得到了图组M的多特征融合分割图，如图2所示。

步骤4、对步骤2中采集的图组L和图组R的图像进行校正和匹配：

步骤4.1、在图组L和图组R中选择同一时刻拍摄的一组对应视图进行校正，再依次对另外五个不同时刻拍摄的五组对应视图进行校正。

具体校正方法为：根据步骤1中对相机HS-L和相机HS-R标定的单目内参数据K和双目相对位置关系R、T，分别对图组L和图组R中一一对应的图像进行消除畸变和行对准，使得图组L和图组R中一一对应的图像的成像原点坐标一致，相机HS-L和相机HS-R的摄像头光轴平行，图组L和图组R成像平面共面以及对极线行对齐；

然后得到校正后的HS-L相机和HS-R相机的旋转矩阵R′矩阵和校正后的投影矩阵P′矩阵，以及变换矩阵Q′，Q′为相机HS-L和相机HS-R输出深度视差映射矩阵；

$Q^{\′}=\left[\begin{array}{cccc}1& 0& 0& -c_x\\ 0& 1& 0& -c_y\\ 0& 0& 0& f\\ 0& 0& \frac{-1}{T}& \frac{c_x-c_x^{\′}}{T}\end{array}\right]$

从该校正后的变换矩阵Q′中可以看出Q'(1，4)，Q'(2，4)是相机HS-L校正后的原点坐标c_x和c_y，Q'(3，4)是焦距f；

根据得到的内、外参数，用cv.initUndistortRectifyMap命令对图组L和图组R的图像进行预处理，消除畸变，分别得到图组L和图组R的图像的校准参数；得出校准参数之后用cv.Remap来校准输入的图组L和图组R；

最后，得到图组L和图组R校正后的图像，其中一组校正后的图像分别如图3.1和图3.2所示。

步骤4.2、校正之后，进行立体匹配，

立体匹配主要是通过找出每对图像间的对应关系，根据三角测量原理，得到视差图；在获得了视差信息后，根据投影模型很容易地可以得到原始图像的深度信息和三维信息。

已知相机HS-L和相机HS-R与世界坐标系相对位置的外部参数分别为旋转矩阵R₁、旋转矩阵R₂、平移向量T₁和平移向量T₂，我们采用了半全局立体匹配(Semi-Global Block Matching，SGBM)算法，计算得到图组L和图组R的视差d。

SGBM函数得出的结果是以16位符号数的形式的存储的，出于精度需要，所有的视差在输出时都扩大了16倍(2⁴)。

其具体代码表示如下：

dptr[y*dstep]＝(short)(((ndisp-mind-1+mindisp)*256+(d！＝0？(p-n)*128/d:0)+15)＞＞4)可以看到，原始视差在左移8位(256)加上一个修正值之后，又右移了4位，最终的结果就是左移4位。因此，在实际求距离时，cvReprojectTo3D出来的X/W,Y/W,Z/W都要乘以16(也就是W除以16)，才能得到正确的三维坐标信息。

步骤5、场景三维重构：

将视差d代入下式，利用cv.reprojectImageTo3D函数变换一个单通道代表三维表面的三通道图像的视差图，

$Q\left[\begin{array}{c}x\\ y\\ d\\ 1\end{array}\right]=\left[\begin{array}{c}x-c_x\\ x-c_y\\ f\\ \frac{-d+c_x-c_x^{\′}}{T_x}\end{array}\right]=\left[\begin{array}{c}X\\ Y\\ Z\\ W\end{array}\right]\⇒Z=\frac{-f{T}_x}{d-(c_x-c_x^{\′})},$

计算得到Z，Z为点(X,Y)的深度，根据Z得到图组L和图组R相对于相机HS-L的场景三维重构。

步骤6、前景分割：

利用混合高斯模型对图组L的前景点均进行检测，分割得到图组L的无模糊前景分割图，见图5.7至图5.12。

具体的分割前景的方法为：

首先认为某一像素在一段时间区间内的值{x₀,y₀}是“pixel process”，可描述为：{X₁,...,X_T}＝{I(x₀,y₀,i):1≤i≤t}。

高斯混合模型中，场景的每个像素的值可以建立由K个高斯模型组成的高斯混合模型，K一般来说是由内存和计算能力决定，一般来说3-5都是可以的，

$P\left(X_t\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{i,t}*\mathrm{\η}(X_t,{\mathrm{\μ}}_{i,t}{\mathrm{\Σ}}_{i,t}),$

其中ω_i,t是第i个高斯分布在时刻t的权值，μ_i,t是指第i个高斯分布在时刻t的平均值，Σ_i,t指的是协方差，η是高斯概率密度函数，

$\mathrm{\η}(X_t,\mathrm{\μ},\mathrm{\Σ})=\frac{1}{{\left(2\mathrm{\π}\right)}^{n/2}{\left|\mathrm{\Σ}\right|}^{1/2}}{e}^{\frac{1}{2}{(X_t-{\mathrm{\μ}}_t)}^T{\mathrm{\Σ}}^{-1}(X_t-{\mathrm{\μ}}_t)},$

另外，为了计算考虑，协方差被近似于

对于某一像素的新的像素值X_t，与当前已存在K个高斯分布作比对，直到配对成功。而配对成功的定义是：一个像素值在该分布的2.5倍标准差范围内。这就决定了对于每个像素、每个分布都有自己特定的阈值。如果没有任何一个分布能够与当前像素值X_t配对，则新建一个以X_t为均值，初始方差足够大的高斯分布，替代掉当前K个分布中可能性最小的。之后，K个分布在时刻t的权值用以下公式进行更新：

ω_k,t＝(1-α)ω_k,t-₁+α(M_k,t)

α就是学习参数，它定义了分布权值变化的速度。M_k,t对于配对成功的分布取值为1，其它则为0。在这次更新之后，对全部K个分布的权值做归一化处理。除此之外，对于配对成功的分布，我们还必须更新它们的均值与方差，更新公式如下：

μ_t＝(1-ρ)μ_t-1+ρX_t

${\mathrm{\σ}}_t^2=(1-\mathrm{\ρ}){\mathrm{\σ}}_{t-1}^2+\mathrm{\ρ}{(X_t-{\mathrm{\μ}}_t)}^T(X_t-{\mathrm{\μ}}_t),$

其中ρ定义为：ρ＝αη(X_t|μ_k,σ_k)，

对于那些没有匹配成功的分布，均值和方差不作任何处理。

在新建和更新每个像素的混合高斯模型后，我们进行背景的评估，前B个分布就被选择成为背景模型，B的定义如下：

$B=\arg {\min }_b(\underset{k=1}{\overset{b}{\mathrm{\Σ}}}{\mathrm{\ω}}_k>T),$

T指的是背景模型所占用的最小比例，可见，当T较小的时候，实际上近似于单一高斯模型，而T较大时每个像素都可以接受多个区间的像素值。

步骤7、前景三维重构和模糊动目标多视角分割：

用步骤6中得到的图组L的无模糊前景分割图，对步骤5中得到的图组L的场景深度图进行标记，得到图组L的前景深度图，(见图5.1-5.6)；

利用步骤1得到的内外参数，把图组L的前景深度图投影到步骤2中得到的图组M的原始模糊图像中，即得到图组M的多视角分割图(见图6)。

步骤8、模糊动目标多视角分割：

将步骤7中得到的多视角融合标记图与步骤3中的多特征标记图相融合，即得到图组M的多特征多视角融合联合标记图(见图7)。

步骤9、对多特征多视角融合联合标记图进行抠图：

对步骤8中得到的融合多视角多特征的联合标记图进行抠图，即得到分割出的模糊目标区域图(见图8)。

通常采用鲁棒抠图算法抠图，具体方法为：

步骤9.1、稀疏采集前景区域F中的样本点与背景区域B中的样本点，由前景样本点集合和背景样本点集合形成所有的前景、背景样本对。“在颜色空间中,如果像素点P与直线之间的距离越近,则点Fⁱ和B^j越有可能是较优的前景、背景样本对”；距离比率定义如下：

$R_d(F^i,B^j)=\frac{\left|\right|C-(\widehat{\mathrm{\α}}{F}^i+(1-\widehat{\mathrm{\α}})B^j)\left|\right|}{\left|\right|F^i-B^j\left|\right|},$

Fⁱ表示第i个前景样本点的颜色值，B^j表示第j个背景样本点的颜色值，C表示某个未知像素的颜色值，表示未知像素的颜色值与该像素的颜色估计值之间的欧氏距离，||Fⁱ-B^j||表示两个样本点之间的欧氏距离。

未知像素的掩膜估计值为：

$\widehat{\mathrm{\α}}=\frac{(C-B^j)(F^i-B^j)}{{\left|\right|F^i-B^j\left|\right|}^2},$

为了更好的进行抠图，“我们给每一个单独的取样定义权重值”，即前景样本点的颜色值的权重ω(Fⁱ)和背景样本点的颜色值权重ω(B^j)：

$\mathrm{\ω}\left(F^i\right)=\exp \{-{\left|\right|F}^i-c||/D_F^2\}---\left(\mathrm{3.4.3}\right)$

$\mathrm{\ω}\left(B^j\right)=\exp \{-{\left|\right|B}^j-c||/D_B^2\}---\left(\mathrm{3.4.3}\right),$

其中D_F＝min_i(||Fⁱ-C||)为采集到的前景样本点与当前未知像素点之间的最短欧氏距离，D_B＝min_j(||Bⁱ-C||)为釆集到的背景样本点与当前未知像素点之间的最短欧氏距离。结合距离比率和权重，我们给每个样本对计算一个可信度值f(Fⁱ,B^j)，即：

$f(F^i,B^j)=\mathrm{esp}\left\{\frac{R_d(F^i,B^j)\·\mathrm{\ω}\left(F^I\right)\·\mathrm{\ω}\left(B^J\right)}{{\mathrm{\σ}}^2}\right\},{\mathrm{\σ}}^2=0.1;$

步骤9.2、计算出一个未知像素的掩膜估计值后，计算其对应的样本对的可信度，然后从中选择出可信度排名前五的样本对，进一步计算得出这几个样本对的掩膜估计值和信度的平均值。利用得到的平均信度和掩膜估计值来最优化掩膜值。

首先，假设期望的掩膜值局部光滑，并且划分得到的前景区域F和背景区域B中的像素数量要远远多于待计算区域中的像素数量。这样，我们对它设置一个数据约束与领域约束，将掩膜值优化过程转化为求解一个图标记的问题。

即对于末知区域中的像素i，为它与纯前景Ω_F之间的连接赋予数据权重W(i,F)，为它与纯背景Ω_B之间的连接赋予数据权重W(i,B)。

$\left\{\begin{array}{c}W(i,F)=\mathrm{\γ}\·[{\hat{f}}_i{\widehat{\mathrm{\α}}}_i+(1-{\hat{f}}_i)\mathrm{\δ}({\widehat{\mathrm{\α}}}_i>0.5)]\\ W(i,B)=\mathrm{\γ}\·[{\hat{f}}_i(1-{\widehat{\mathrm{\α}}}_i)+(1-{\hat{f}}_i)\mathrm{\δ}({\widehat{\mathrm{\α}}}_i>0.5)]\end{array}\right.,$

是初始掩膜估计值，是初信度，γ是一个用来平衡数据权重值的参数，如果γ过低，会产生过分平滑的掩膜值，γ过高，掩膜值易被噪声干扰，此处我们设置γ＝0.1。

为了满足邻域约束，我们给相邻的节点(i,j)之间定义边权重W_i,j，它使掩膜具有局部平滑性，所以W_i,j的计算公式为：

$W_{i,j}=\underset{K|\left(\mathrm{inj}\right)\∈w_k}{\mathrm{\Σ}}\frac{1}{9}(1+{(C_i-{\mathrm{\μ}}_k)}^T{(\mathrm{\Σ}+\frac{\mathrm{\ϵ}}{9}I)}^{-1}(C_j-{\mathrm{\μ}}_k)),$

W_k是一个包含节点i和j的3*3矩阵，μ_k是每个窗口的均值，Σ是每个窗口的协方差，ε＝10^-5是用来提高数值计算鲁棒性的系数。

因为α值是连续的，所以我们通过随机漫步优化来求解图标记问题，即可得到优化后的掩膜图。具体计算步骤如下：

首先,我们构造一个拉普拉斯算子矩阵：

其中，W_ii＝Σ_jW_ij，L是稀疏对称的N×N正定矩阵，N是图像中所有结点的数量。将L划分两块，一是与己知像素点所对应的已知像素块L_k，二是与未知像素点所对应的未知像素块L_u，即：

$L=\left[\begin{array}{c}{L}_{k}R\\ R^T{L}_u\end{array}\right],$

给定一个边界条件向量m，则a值可求解得到：

L_uα＝-Rm；

步骤9.3、使用RandomWalker算法求解出图像的掩膜值以后，重建前景对象F，并将它与新的背景图像进行合成。

对于未知像素z，首先根据下面的公式计算前景色估计值厂和背景色估计值

$F_z^{*},B_z^{*}=\arg \underset{F_z,B_z}{\min }{(C_z-{\mathrm{\α}}_z{F}_z-(1-{\mathrm{\α}}_z)B_z)}^2,$

其中C_z为像素点z的颜色值，α_z为像素点z的掩膜值。使用图像中存在的真实的前景和背景颜色值作为未知像素的前景颜色估计值和背景颜色估计值。它能够避免“颜色混合”(ColorBleeding)的出现。如果前景色估计值是图像中真实的前景色和真实的背景色混合得到，它在一定程度上会导致视觉失真(VisualArtifact)。

本发明的宽基线多阵列光学探测系统模糊动目标分割方法，首先构造融合梯度直方图、局部均方误差图和色彩饱和度等特征的模糊区域分割模型对单幅长曝光图像预分割，得到模糊动目标预分割前景区域。在多特征融合模糊动目标分割后，引入多视角分割方法，利用左右视角重构场景三维信息，结合高斯混合模型(Guassian Mixture Model,GMM)对无模糊的高帧频图像序列进行分割结果，变换至低帧速相机得到在模糊图像中投影的稀疏前景点。融合基于多特征融合的高分辨模糊图像预分割图像，构造联合分割图，结合鲁棒抠图算法，优化模糊动目标前景区域。

表1是不同分割方法的分割效果的对比图：

表1

模糊系数	Rugna and Konik[1]	Liu et al.[2]	Zhao et al.[3]	本发明
					准确率	76.98％	80.70％	85.34％	94.92％
虚警率	/	/	23.56％	8.03％
					漏检率	/	/	1.08％	3.79％

[1]Liu,R,Li,Z,Jia,J.:Image partial blur detection and classification.IEEEConference on Computer Vision and Pattern Recognition,Anchorage,Alaska,USA,Jun.23–28,pp.954–961(2008)

[2]Rugna,J,Konik,H.:Automatic blur detection for metadata extraction incontent-based retrieval context.Proc.SPIE 5304,285–294(2003)

[3]Zhao J,Feng H,Xu Z,et al.Automatic blur region segmentation approachusing image matting[J].Signal,Image and Video Processing,2013,7(6):1173-1181.

根据表1可以看出，本发明采用基于宽基线分布式相机阵列，引入混合相机模型，在高/低帧频相机时空配准的基础上，得到单幅长曝光图像和两组短曝光图像序列；同时提出了基于多视角、多曝光、多特征的模糊动目标分割方法，相比于传统基于多特征的单视角分割结果，多视角分割准确度可达94.92％，虚警率8.03％，漏检率3.79％，分割效果明显提升，实现了高精度的模糊动目标分割要求。

在实验室内，相机阵列之间的距离达80cm，在实验室外，相机阵列之间的距离最长可达100m，由于相机阵列中可以包括一个或多个相机，使得系统的可扩展性强。

Claims (10)

1.宽基线多阵列光学探测系统模糊动目标分割方法，其特征在于，包括以下步骤：

采用宽基线分布式布置两组高速相机阵列和一组低速相机阵列，并采集动目标得到高速无模糊图像和低速模糊图像；

对所述的低速模糊图像进行预分割，得到模糊动目标多特征融合分割图；

利用混合高斯模型分割所述的高速无模糊图像，得到其前景分割图；对所述的高速无模糊图像进行校正匹配和三维重构，得到其场景深度图；用所述的前景分割图对所述的场景深度图进行标记，得到前景深度图；再把所述的前景深度图投影到所述的低速模糊图像中，得到模糊动目标多视角分割图；

融合所述的模糊动目标多特征融合分割模型和所述的模糊动目标多视角分割图，得到多特征多视角融合联合标记图，再对特征多视角融合联合标记图抠图，即分割出完整的目标前景图。

2.如权利要求1所述的宽基线多阵列光学探测系统模糊动目标分割方法，其特征在于，具体按照以下步骤实施：

步骤1、相机标定：

采用远距离布置三个相机阵列，其中相机阵列HS-L和相机阵列HS-R均为高速相机，另一个相机阵列LS-M为低速相机，

采用opencv标定工具箱对每个相机进行标定，并得到每个相机的内参矩阵K、位姿R、T和Distortion畸变参数，其中K包括焦距和成像原点，R为旋转矩阵，T为平移向量；

步骤2、图像采集：

用步骤1中标定好的相机阵列LS-M、相机阵列HS-L和相机阵列HS-R对运动目标进行图像采集，对应得到低速模糊图组M、高速无模糊图组L和高速无模糊图组R；

步骤3、对图组M的模糊动目标进行多特征融合分割：

根据最终模糊系数对图组M进行标记，得到图组M的多特征融合分割图；

步骤4、对步骤2中采集的图组L和图组R的图像进行校正和匹配：

在对步骤2得到的图组L和图组R中，依次对相同时刻拍摄的一组对应视图进行校正；

再对图组L和图组R进行立体匹配，即通过找出每组图像间的对应关系，根据三角测量原理，计算得到图组L和图组R的视差d；

步骤5、场景三维重构：

利用步骤4计算出的视差d，构建图组L的场景深度图；

步骤6、前景分割：

利用混合高斯模型对步骤2中的得到的图组L的前景点均进行检测，分割得到图组L的无模糊前景分割图；

步骤7、前景三维重构和模糊动目标多视角分割：

用步骤6中得到的图组L的无模糊前景分割图，对步骤5中得到的图组L的场景深度图进行标记，得到图组L的前景深度图，利用步骤1得到的内外参数，把图组L的前景深度图投影到步骤2中得到的图组M的原始模糊图像中，即得到图组M的多视角分割图；

步骤8、模糊动目标多视角分割：

将步骤7中得到的图组M的多视角分割图与步骤3中得到图组M的多特征融合分割图，即得到图组M的多特征多视角融合联合标记图；

步骤9、对多特征多视角融合联合标记图进行抠图：

对步骤8中得到的图组M的多特征多视角融合联合标记图进行抠图，即分割出完整的目标前景图。

3.如权利要求2所述的宽基线多阵列光学探测系统模糊动目标分割方法，其特征在于，所述的步骤3中最终模糊系数的计算方法为：用梯度直方图、局部均方误差图和色彩饱和度对步骤2得到的图组M进行标记，依次得到图组M的第一模糊系数q₁、第二模糊系数q₂和第三模糊系数q₃，则图组M的最终模糊系数F＝q₁q₂q₃。

4.如权利要求2所述的宽基线多阵列光学探测系统模糊动目标分割方法，其特征在于，所述的步骤3中根据最终模糊系数对图组M进行标记的具体方法为：

将图组M的模糊图像预分割为20×20的子区域，再为待检测的模糊区域设定不同的阈值T_b、T_d，阈值范围根据不同的实验场景可调；

如果某一子区域的模糊系数F₁小于T_b，则将该区域标记为模糊区域，填充为白色；如果某一子区域的模糊系数F₂大于T_d，则标记为不模糊并填充为黑色；最后将RGB值为[0 0 0]和[255 255 255]的像素点从图组M的模糊图像中移除。

5.如权利要求2所述的宽基线多阵列光学探测系统模糊动目标分割方法，其特征在于，所述的步骤4中视差d的具体计算方法为：

已知相机HS-L和相机HS-R与世界坐标系相对位置的外部参数分别为旋转矩阵R₁、旋转矩阵R₂、平移向量T₁和平移向量T₂，采用半全局立体匹配(SGBM)算法，计算得到图组L和图组R的视差d；

其具体代码表示如下：

dptr[y*dstep]＝(short)(((ndisp-mind-1+mindisp)*256+(d！＝0？(p-n)*128/d:0)+15)＞＞4)。

6.如权利要求2所述的宽基线多阵列光学探测系统模糊动目标分割方法，其特征在于，所述的步骤5中场景三维重构的具体方法为：将步骤4中计算出的视差d代入下式，

$Q\left[\begin{array}{c}x\\ y\\ d\\ 1\end{array}\right]=\left[\begin{array}{c}x-c_x\\ x-c_y\\ f\\ \frac{-d+c_x-c_x^{\′}}{T_x}\end{array}\right]=\left[\begin{array}{c}X\\ Y\\ Z\\ W\end{array}\right]\⇒Z=\frac{-f{T}_x}{d-(c_x-c_x^{\′})},$

利用cv.reprojectImageTo3D函数变换一个单通道代表三维表面的三通道图像的视差图，计算得到Z，Z为点(X,Y)的深度，根据Z得到图组L和图组R相对于相机HS-L的场景三维重构，即得到图组L的场景深度图。

7.如权利要求2所述的宽基线多阵列光学探测系统模糊动目标分割方法，其特征在于，所述的步骤6中分割前景的具体方法为：

首先设某一像素在一段时间区间内的值{x₀,y₀}是“pixel process”，并描述为：{X₁,...,X_T}＝{I(x₀,y₀,i):1≤i≤t}；

高斯混合模型中，场景的每个像素的值可以建立由K个高斯模型组成的高斯混合模型，K的值取3-5；

$P\left(X_t\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{i,t}*\mathrm{\η}(X_t,{\mathrm{\μ}}_{i,t}{\mathrm{\Σ}}_{i,t}),$

其中ω_i,t是第i个高斯分布在时刻t的权值，μ_i,t是指第i个高斯分布在时刻t的平均值，Σ_i,t指的是协方差，η是高斯概率密度函数；

且

另外，为了计算考虑，协方差被近似于

对于某一像素的新的像素值X_t，与当前已存在K个高斯分布作比对，直到配对成功；而配对成功的定义是：一个像素值在该分布的2.5倍标准差范围内，这就决定了对于每个像素、每个分布都有自己特定的阈值，如果没有任何一个分布能够与当前像素值X_t配对，则新建一个以X_t为均值，初始方差足够大的高斯分布，替代掉当前K个分布中可能性最小的；之后，K个分布在时刻t的权值用以下公式进行更新：

ω_k,t＝(1-α)ω_k,t-1+α(M_k,t)，

α为学习参数，它定义了分布权值变化的速度，M_k,t对于配对成功的分布取值为1，其它则为0；

在这次更新之后，对全部K个分布的权值做归一化处理，除此之外，

对于配对成功的分布，再更新其均值与方差，更新公式如下：

μ_t＝(1-ρ)μ_t-1+ρX_t

${\mathrm{\σ}}_t^2=(1-\mathrm{\ρ}){\mathrm{\σ}}_{t-1}^2+\mathrm{\ρ}{(X_t-{\mathrm{\μ}}_t)}^T(X_t-{\mathrm{\μ}}_t),$

其中ρ定义为：ρ＝αη(X_t|μ_k,σ_k)，

对于没有匹配成功的分布，均值和方差不作任何处理，

在新建和更新每个像素的混合高斯模型后，再进行背景的评估，前B个分布就被选择成为背景模型，B的定义如下：

$B=\arg {\min }_b(\underset{k=1}{\overset{b}{\mathrm{\Σ}}}{\mathrm{\ω}}_k>T),$

T指的是背景模型所占用的最小比例，可见，当T较小的时候，实际上近似于单一高斯模型，而T较大时每个像素都可以接受多个区间的像素值。

8.如权利要求2所述的宽基线多阵列光学探测系统模糊动目标分割方法，其特征在于，所述的步骤9中采用鲁棒抠图法。

9.如权利要求8所述的宽基线多阵列光学探测系统模糊动目标分割方法，其特征在于，所述的鲁棒抠图法的具体方法为：

步骤9.1、稀疏采集前景区域F中的样本点与背景区域B中的样本点，由前景样本点集合和背景样本点集合形成所有的前景、背景样本对；“在颜色空间中,如果像素点P与直线之间的距离越近,则点Fⁱ和B^j越有可能是较优的前景、背景样本对”；距离比率定义如下：

$R_d(F^i,B^j)=\frac{\left|\right|C-(\widehat{\mathrm{\α}}{F}^i+(1-\widehat{\mathrm{\α}})B^j)\left|\right|}{\left|\right|F^i-B^j\left|\right|}$

Fⁱ表示第i个前景样本点的颜色值，B^j表示第j个背景样本点的颜色值，C表示某个未知像素的颜色值，表示未知像素的颜色值与该像素的颜色估计值之间的欧氏距离，||Fⁱ-B^j||表示两个样本点之间的欧氏距离；

未知像素的掩膜估计值为：

$\widehat{\mathrm{\α}}=\frac{(C-B^j)(F^i-B^j)}{{\left|\right|F^i-B^j\left|\right|}^2},$

为了更好的进行抠图，定义前景样本点的颜色值的权重ω(Fⁱ)和背景样本点的颜色值权重ω(B^j)：

$\mathrm{\ω}\left(F^i\right)=\exp \{-{\left|\right|F}^i-c||/D_F^2\}---\left(\mathrm{3.4.3}\right),$

$\mathrm{\ω}\left(B^j\right)=\exp \{-{\left|\right|B}^j-c||/D_B^2\}---\left(\mathrm{3.4.3}\right),$

其中D_F＝min_i(||Fⁱ-C||)为采集到的前景样本点与当前未知像素点之间的最短欧氏距离，D_B＝min_j(||Bⁱ-C||)为釆集到的背景样本点与当前未知像素点之间的最短欧氏距离；结合距离比率和权重，我们给每个样本对计算一个可信度值f(Fⁱ,B^j)，即

$f(F^i,B^j)=\mathrm{esp}\left\{\frac{R_d(F^i,B^j)\·\mathrm{\ω}\left(F^I\right)\·\mathrm{\ω}\left(B^J\right)}{{\mathrm{\σ}}^2}\right\},{\mathrm{\σ}}^2=0.1;$

步骤9.2、计算出一个未知像素的掩膜估计值后，计算其对应的样本对的可信度，然后从中选择出可信度排名前五的样本对，进一步计算得出这几个样本对的掩膜估计值和信度的平均值，利用得到的平均信度和掩膜估计值来最优化掩膜值；

首先，假设期望的掩膜值局部光滑，并且划分得到的前景区域F和背景区域B中的像素数量要远远多于待计算区域中的像素数量；这样，我们对它设置一个数据约束与领域约束，将掩膜值优化过程转化为求解一个图标记的问题；

即对于末知区域中的像素i，为它与纯前景Ω_F之间的连接赋予数据权重W(i,F)，为它与纯背景Ω_B之间的连接赋予数据权重W(i,B)；

$\left\{\begin{array}{c}W(i,F)=\mathrm{\γ}\·[{\hat{f}}_i{\widehat{\mathrm{\α}}}_i+(1-{\hat{f}}_i)\mathrm{\δ}({\widehat{\mathrm{\α}}}_i>0.5)]\\ W(i,B)=\mathrm{\γ}\·[{\hat{f}}_i(1-{\widehat{\mathrm{\α}}}_i)+(1-{\hat{f}}_i)\mathrm{\δ}({\widehat{\mathrm{\α}}}_i>0.5)]\end{array}\right.,$

是初始掩膜估计值，是初信度，γ是一个用来平衡数据权重值的参数，如果γ过低，会产生过分平滑的掩膜值，γ过高，掩膜值易被噪声干扰，此处设置γ＝0.1，

为了满足邻域约束，相邻的节点(i,j)之间定义边权重W_i,j，它使掩膜具有局部平滑性，所以W_i,j的计算公式为：

$W_{i,j}=\underset{K|\left(\mathrm{inj}\right)\∈w_k}{\mathrm{\Σ}}\frac{1}{9}(1+{(C_i-{\mathrm{\μ}}_k)}^T{(\mathrm{\Σ}+\frac{\mathrm{\ϵ}}{9}I)}^{-1}(C_j-{\mathrm{\μ}}_k)),$

W_k是一个包含节点i和j的3*3矩阵，μ_k是每个窗口的均值，Σ是每个窗口的协方差，ε＝10^-5是用来提高数值计算鲁棒性的系数；

因为α值是连续的，所以通过随机漫步优化来求解图标记问题，即可得到优化后的掩膜图；

具体计算步骤如下：

首先，构造一个拉普拉斯算子矩阵：

其中，W_ii＝Σ_jW_ij，L是稀疏对称的N×N正定矩阵，N是图像中所有结点的数量；将L划分两块，一是与己知像素点所对应的已知像素块L_k，二是与未知像素点所对应的未知像素块L_u，即：

$L=\left[\begin{array}{c}{L}_{k}R\\ R^T{L}_u\end{array}\right],$

给定一个边界条件向量m，则a值可求解得到：

L_uα＝-Rm；

步骤9.3、使用RandomWalker算法求解出图像的掩膜值以后，重建前景对象F，并将它与新的背景图像进行合成；

对于未知像素z，首先根据下面的公式计算前景色估计值场合背景色估计值

$F_z^{*},B_z^{*}=\arg \underset{F_z,B_z}{\min }{(C_z-{\mathrm{\α}}_z{F}_z-(1-{\mathrm{\α}}_z)B_z)}^2,$

其中C_z为像素点z的颜色值，α_z为像素点z的掩膜值；使用图像中存在的真实的前景和背景颜色值作为未知像素的前景颜色估计值和背景颜色估计值；它能够避免“颜色混合”(ColorBleeding)的出现；如果前景色估计值是图像中真实的前景色和真实的背景色混合得到，它在一定程度上会导致视觉失真(VisualArtifact)。

10.如权利要求1或2所述的宽基线多阵列光学探测系统模糊动目标分割方法，其特征在于，所述的相机阵列中包括一个或一个以上的相机。