CN111814654B - 基于马尔可夫随机场的远程塔台视频目标挂标牌方法 - Google Patents

Abstract

本发明公开了一种基于马尔可夫随机场的远程塔台视频目标挂标牌方法，步骤如下：建立模型：使用贪婪算法求解连续视频帧序列的稀疏表示，获得对背景的初步估计；利用递归神经网络求解图像分割问题，得到前景目标跟踪结果和背景估计；采用最近邻方法建立上述世界坐标系下的目标坐标点位置与广播式自动相关监视数据的对应关系，从而把广播式自动相关监视中的标牌信息关联到视频上，实现自动挂标牌。本发明利用稀疏采样方式，减少计算操作的数据集，降低背景解算的复杂度；将背景作为输入，利用Hopfield网络自主优化特性，自动形成对前景目标的优化估计。

Description

基于马尔可夫随机场的远程塔台视频目标挂标牌方法

技术领域

本发明属于远程塔台技术领域，具体指代一种基于马尔可夫(Markov)随机场的远程塔台视频目标挂标牌方法。

背景技术

目前，随着人们生活节奏的加快，航空出行已成为一种重要的出行方式，随之通用机场的建设也在一步步加快，预计2030年国内通用机场总量将超过2000个；但局限于通航机场航班量小，日常收益有限，依照传统机场建设和管制建设规划塔台，其建设成本、运营成本不能在常规的运营周期内实现冲抵、获取收益。且支线机场和通航机场爆发式增长势必会带动管制员人才需求，管制人才培养不能完全跟上机场建设需求。此外，机坪管制移交和跑道扩建需求进一步推动远程塔台技术发展。

远程塔台视频监视能有效帮助管制人员进行场面交通管理，但视频监视只能提供图像信息，管制员还需通过中小显、电子进程单等系统确定航空器标牌信息。视频目标自动挂标牌功能能够在视频中直观、准确的显示航班号、速度、机型等标牌信息，有效降低管制员管制负荷，提高管制效率，确保管制安全。

现有的视频与监视数据融合自动挂标方法主要采用背景差分法和KLT算法等实现飞机的检测与跟踪，选择单帧图像中目标中心点作为视频位置坐标，对监视数据中飞机经纬度进行坐标转换与视频位置坐标进行映射，但是单帧图像坐标映射方法存在标牌时延和丢失问题。

采用混合高斯模型建立背景模型，通过背景差分方法获取飞机图像坐标，随后在机场地图和视频图像上分别选取特征点建立映射关系，实现图像跟踪数据和广播式自动相关监视(ADS-B,Automatic Dependent Surveillance Broadcast)数据的融合，此方法采用协方差矩阵和单应映射修正测量误差，侧重降低图像检测结果与雷达跟踪结果的关联误差，忽略了视频跟踪结果误差。同时忽视了硬件成本带来的影响，如采用单帧匹配关联的方式，对每一个视频帧，均需处理图像目标检测、坐标映射、误差修正、查库关联监视数据的工作流，受系统性能的影响，在处理连续多帧目标时，可能出现时延或者目标丢失的情况。

运动检测模型类方法中，运动分割法将像素按照运动模式分类，常见的如KLT方法，根据运动目标在像素面上的矢量速度场，依据不同的运动参数将图像分解到不同的运动层级，此方法无需先验信息，但计算复杂，硬件成本较高。

发明内容

针对于上述现有技术的不足，本发明的目的在于提供一种基于马尔可夫随机场的远程塔台视频目标挂标牌方法，本发明利用稀疏采样方式，减少计算操作的数据集，降低背景解算的复杂度；将背景作为输入，利用Hopfield网络自主优化特性，自动形成对前景目标的优化估计。

为达到上述目的，本发明采用的技术方案如下：

本发明的一种基于马尔可夫随机场的远程塔台视频目标挂标牌方法，步骤如下：

1)建立模型：假定连续视频帧中背景图像线性相关，运动目标则视为在视频序列线性分解过程中无法纳入背景矩阵中的像素，通过求解背景估计和前景标号集，对视频帧图像中的像素进行背景和前景的分类标记；

2)使用贪婪算法求解连续视频帧序列的稀疏表示，获得对背景的初步估计；

3)利用递归(Hopfield)神经网络求解图像分割问题，获得对前景标号集的估计；利用该前景标号集，对步骤2)求得的背景的初步估计进行修正，得到前景目标跟踪结果和背景估计；

4)采用针孔透视模型建立从视频图像坐标系到世界坐标系的转换矩阵，求解视频帧中的前景目标跟踪结果在世界坐标系下的坐标位置；采用最近邻方法建立上述世界坐标系下的目标坐标点位置与广播式自动相关监视数据的对应关系，从而把广播式自动相关监视中的标牌信息关联到视频上，实现自动挂标牌。

进一步地，所述步骤1)具体包括：采用I_t∈R^m表示由视频序列中第t帧的图像按列堆叠形成的向量，该帧包括m个像素；D＝[I₁,…,I_t]∈R^m×t为由表示帧的向量I组成的矩阵，代表了包括t帧组成的视频图像序列；B∈R^m×t是与D同维的矩阵，表示视频帧中的背景，由t帧向量组成，每帧m个像素；第t帧第k个像素记为kt；用图像灰度来度量背景的强度，则在考察周期内照明条件基本不变的情况下，认为连续视频帧序列中背景强度基本不变，故对于一段连续视频序列D，其各组成帧中背景图像认为是线性相关的，运动目标则视为在视频序列线性分解过程中无法纳入背景矩阵B中的像素，记为前景E，将当前帧t中的目标看成其之前t-1帧向量张成的子空间中的一个线性表示，记前t-1帧组成的矩阵为D_t-1＝[I₁,…,I_t-1]，则第t帧的图像记为：

y_t＝B+E＝D_t-1x+E (1)

由各帧中背景组成的矩阵B＝D_t-1x是一个低秩矩阵，即背景矩阵B满足rank(B)≤K，K为预定义常数，且系数x为稀疏向量；考虑场景中噪声的影响，并假定噪声服从均值为0，方差为σ²的高斯白噪声，式(1)视频帧信号表示为：

其中，I为单位矩阵，x_eI代表高斯白噪声，在噪声影响下，第t帧的视频图像像素灰度值的大小记为y_kt＝B_kt+e_kt＝ψ_ktx+e_kt；定义二值标号支撑集S∈{0,1}^m×n作为图像像素标号，其元素规定为：

则背景建模问题归结为求解下式(4)所示的优化问题：

当S_kt＝1即像素kt属于前景时，背景被前景覆盖，视频帧信号的灰度与前景相同，故对目标的检测实际就是对前景标号集的估计；由于图像中相邻像素标号间存在相互作用，导致图像标号场不分段光滑，定义E_smooth记录标号场不分段光滑的程度，E_data记录标号与实测数据的误差，将对前景标号集的估计问题转化为对标号场能量优化问题，即令：

E(S)＝E_smooth(S)+E_data(S) (5)

取得最小值；

在支撑集S的线性矩阵空间中定义矩阵X的正交投影：

是Γ_S(X)的补，有

对视频帧中动态航空器目标y的检测就是对下式能量函数的最小化；

其中，参数α>0是与系数向量x稀疏度相关的常数，控制着背景的复杂度。

进一步地，所述步骤2)具体包括：假设已得到优化支撑集估计S，则式(7)简化为下列最优化问题：

使用高斯(Gaussian)随机矩阵Φ作为RIP矩阵，对观测值y进行压缩采样：

z＝Φy＝ΦΨx＝Θx (9)

则式(8)所示问题转化为式(10)所示L1范式最小化问题：

min||x||₁s.t.||Φy-Θx||₂≤ε (10)

初始化时，将视频起始一段短视频作为训练帧，背景复杂度已知，忽略参数α的影响，令α＝1，使用贪婪算法求解(10)获得初始的背景估计，在此基础上，通过前景标号集的优化求解，进一步优化背景估计，并在后续迭代中，使用当前帧y替换D_t-1中对应稀疏表示系数x最小的模板。

进一步地，所述步骤3)具体包括：当给定了稀疏系数x时，式(7)所示能量函数转化为：

其中，

给定x，常数C也随之确定；为得到对式(11)中对支撑S的估计，从而得到各帧中的前景图像，采用基于马尔可夫随机场(Markov random fields,MRFs)的图像分割方法；

用G＝{(i,j)|0≤i≤h,0≤j≤w}表示当前帧h×w图像中所有像素点的集合，g＝(i,j)∈G表示二维图像中第i行，第j列的像素点，定义该像素的邻域为N_g＝{f∈G|[dist(f,g)]²≤r,f≠g}，其中，dist(f,g)表示像素位置之间的欧式距离；对于图像G中的子集c，其中每对不同的元素总是相邻时，构成一个集簇，C为所有集簇c的集合；

对于图像上每一个像素位置g，均对应了一个标号支撑集S∈{0,1}^m×n中的随机取值，假定前景像素标号取值的局部条件概率仅随着其邻域状态的变化而变化，与邻域外的变化无关，则包含了位置关系的像素标号取值集合S是关于邻域系统N的一个马尔可夫随机场，依据观测图像数据Y，对各像素点标号的取值可由贝叶斯(Bayes)准则得出：

其中，P(Y)是观测数据的先验分布，给定视频帧图像，可视为一个常数；P(S)为标号场的先验分布，根据Hammersley-Cliford定理，给定集簇的势函数V_c(l_c)，采用

拟合标号场的先验分布，l_c表示集簇c上的点的标号，

为各集簇上势函数能量的和；Ising模型中势函数的定义为：

其中，

为第t帧中图像像素g点处的标号，q为g邻域上的点，

k是玻尔兹曼常数，当温度T一定时，β是一个常数；此时，标号场先验分布为：

P(Y|S)是似然概率，通常假定各像素点之间独立且同高斯分布，该似然概率看成各像素点处似然概率的乘积：P(Y|S)＝Π_g∈GP(y_g|s_g)，对其取对数后得：

其中，

和

分别为各标签所服从的高斯分布的均值和方差；选取最大后验概率(Maximum A Posteriori，MAP)准则作为图像分割最优判别准则，则目标函数最优解即是式(12)取得最大化后验概率的解，两边取对数得下述目标函数：

利用递归神经神经网络自主优化特性求解式(16)所示目标函数的最优解。

进一步地，所述步骤3)具体还包括：令u_k,v_k分别为递归神经网络中第k个神经元的输入和输出电压，R_k,C_k分别为其输入电阻和输入电容，I_k为偏置电流，g_k(u_k)为神经元的传递函数，ω_jk为神经元j与神经元k之间的连接电阻，即连接权，则网络的总体能量函数通常具有如下形式：

将上述能量函数对时间求导数，有：

由于C_k＞0，选取Sigmoid函数

作为传递函数时，g^-1是单调非减函数，且

衰减，此时式(17)所示能量函数随时间推移整体呈现下降衰减趋势，并简化为：

当网络达到稳定时，该能量函数收敛于极小值，故递归神经网络实现对输入信号的自主迭代优化；

根据递归神经网络的自主优化特性，将图像标号

作为递归神经网络的输入，同时设置网络的偏置电流

依据式(19)，网络的能量函数为：

对图像进行二值化处理，此时图像上的像素值

等价于标号

采用8邻域二阶系统模型建模图像标号场，选取式(13)所示的Ising函数作为势函数，得到对前景标号的估计：

其中，

为常数项，对比式(20)和式(21)发现，对前景标号的估计视为对(20)所示递归神经网络能量函数最小值的自主优化求解。

进一步地，所述步骤4)具体包括：由上述背景和前景的估计，得到视频图像坐标系中对航空器目标的跟踪监测，建立图像像素坐标到世界坐标的映射关系，在雷达跟踪结果中找到相关航空器标牌信息；

假定目标点在像素平面坐标系中的坐标为(u,v)^T，在世界坐标系下的坐标为(x,y,z)^T，采用针孔透视模型，得目标点像素平面坐标到世界坐标的转换关系：

其中，f_x,f_y均为表示焦距的参数，(u₀,v₀)^T为主点相对于图像平面(投影面)的位置，即主光轴与图像平面的交点；z_c为像素平面原点相对于摄像机坐标系原点的偏移量，为一个常数；R为摄像机的旋转矩阵，T为平移矩阵，记：

则(22)化简为：

p_i＝KCp_w (23)

采用Markov随机场和稀疏背景求解，得到连续视频帧中的前景目标，采用批处理的方式，记P_i＝[p_i1,p_i2,…,p_it]连续t帧中的目标像素坐标向量组成的矩阵，其对应的世界坐标系下的矩阵为P_w＝[p_w1,p_w2,…p_wt]，则(23)变为：

P_i＝KCP_w (24)

根据式(24)得到前景目标跟踪结果在世界坐标系下的坐标，采用最近邻方法建立该视频跟踪坐标与广播式自动相关监视数据的对应关系，实现数据关联，从而把广播式自动相关监视中的航班号的标牌信息关联到视频上，实现自动挂标牌。

本发明的有益效果：

1、将背景建模为连续视频帧序列的稀疏表示，通过使用贪婪算法求解稀疏信号的恢复问题，可降低背景解算的复杂度。

2、将前景解算定义为基于Markov随机场的图像分割问题，在获得背景图层的基础上，利用Hopfield网络自主优化特性，建立网络输入与前景建模的Markov随机场能量函数的对应关系，自动优化图像标号集合，求得平滑前景目标。前景目标可反馈到背景解算过程，迭代次数控制了整体前背景估计的计算复杂程度。

3、在连续帧视频图像中自动捕捉到运动目标后，通过坐标转换建立图像坐标与广播式自动相关监视数据的对应关系，将单帧查表映射方式转变为通过变换矩阵的批处理方式，批量将连续帧中的目标图像坐标转换为世界坐标，再依据最近邻原则查库关联广播式自动相关监视数据，在一定程度上降低了处理性能限制导致的标牌时延和目标丢失问题。

附图说明

图1为本发明方法的原理图。

图2为递归神经网络神经元模型图。

具体实施方式

术语说明：

稀疏(sparse)：如果一个实值、有限长的一维离散信号y∈R^N的线性表示只包含K个基，则称此信号y是K-稀疏的，K称为信号y的稀疏度。

压缩采样(Compressed sampling)：也称压缩感知(Compressive sensing)或稀疏采样(Sparse sampling)，它通过开发信号的稀疏特性，在远小于Nyquist采样率的条件下，使用随机采样获取信号的离散样本，然后通过非线性重构算法完美重建信号。

图像分割：把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程，是根据图像内容对指定区域进行标记的计算机视觉任务。

Markov随机场：具备马尔可夫性质的随机场。当给每一个位置中按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场；而马尔可夫性质指一个随机变量序列按时间先后关系依次排开时，第N+1时刻的分布特性，与N时刻以前的随机变量的取值无关。

为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

参照图1所示，本发明的一种基于马尔可夫随机场的远程塔台视频目标挂标牌方法，步骤如下：

1)建立模型：假定连续视频帧中背景图像线性相关，运动目标则视为在视频序列线性分解过程中无法纳入背景矩阵中的像素，通过求解背景估计和前景标号集，对视频帧图像中的像素进行背景和前景的分类标记；

所述步骤1)具体包括：采用I_t∈R^m表示由视频序列中第t帧的图像按列堆叠形成的向量，该帧包括m个像素；D＝[I₁,…,I_t]∈R^m×t为由表示帧的向量I组成的矩阵，代表了包括t帧组成的视频图像序列；B∈R^m×t是与D同维的矩阵，表示视频帧中的背景，由t帧向量组成，每帧m个像素；第t帧第k个像素记为kt；用图像灰度来度量背景的强度，则在考察周期内照明条件基本不变的情况下，认为连续视频帧序列中背景强度基本不变，故对于一段连续视频序列D，其各组成帧中背景图像认为是线性相关的，运动目标则视为在视频序列线性分解过程中无法纳入背景矩阵B中的像素，记为前景E，将当前帧t中的目标看成其之前t-1帧向量张成的子空间中的一个线性表示，记前t-1帧组成的矩阵为D_t-1＝[I₁,…,I_t-1]，则第t帧的图像记为：

y_t＝B+E＝D_t-1x+E (1)

由各帧中背景组成的矩阵B＝D_t-1x是一个低秩矩阵，即背景矩阵B满足rank(B)≤K，K为预定义常数，且系数x为稀疏向量；考虑场景中噪声的影响，并假定噪声服从均值为0，方差为σ²的高斯白噪声，式(1)视频帧信号表示为：

其中，I为单位矩阵，x_eI代表高斯白噪声，在噪声影响下，第t帧的视频图像像素灰度值的大小记为y_kt＝B_kt+e_kt＝ψ_ktx+e_kt；定义二值标号支撑集S∈{0,1}^m×n作为图像像素标号，其元素规定为：

则背景建模问题归结为求解下式(4)所示的优化问题：

当S_kt＝1即像素kt属于前景时，背景被前景覆盖，视频帧信号的灰度与前景相同，故对目标的检测实际就是对前景标号集的估计；由于图像中相邻像素标号间存在相互作用，导致图像标号场不分段光滑，定义E_smooth记录标号场不分段光滑的程度，E_data记录标号与实测数据的误差，将对前景标号集的估计问题转化为对标号场能量优化问题，即令：

E(S)＝E_smooth(S)+E_data(S) (5)

取得最小值；

在支撑集S的线性矩阵空间中定义矩阵X的正交投影：

是Γ_S(X)的补，有

对视频帧中动态航空器目标y的检测就是对下式能量函数的最小化；

其中，参数α>0是与系数向量x稀疏度相关的常数，控制着背景的复杂度。

2)使用贪婪算法求解连续视频帧序列的稀疏表示，获得对背景的初步估计；

假设已得到优化支撑集估计S，则式(7)简化为下列最优化问题：

使用高斯(Gaussian)随机矩阵Φ作为RIP矩阵，对观测值y进行压缩采样：

z＝Φy＝ΦΨx＝Θx (9)

则式(8)所示问题转化为式(10)所示L1范式最小化问题：

min||x₁|| s.t.||Φy-Θx||₂≤ε (10)

初始化时，将视频起始一段短视频作为训练帧，背景复杂度已知，忽略参数α的影响，令α＝1，使用贪婪算法求解(10)获得初始的背景估计，在此基础上，通过前景标号集的优化求解，进一步优化背景估计，并在后续迭代中，使用当前帧y替换D_t-1中对应稀疏表示系数x最小的模板。

3)利用递归(Hopfield)神经网络求解图像分割问题，获得对前景标号集的估计；利用该前景标号集，对步骤2)求得的背景的初步估计进行修正，得到前景目标跟踪结果和背景估计；

当给定了稀疏系数x时，式(7)所示能量函数转化为：

其中，

给定x，常数C也随之确定；为得到对式(11)中对支撑S的估计，从而得到各帧中的前景图像，采用基于马尔可夫随机场(Markov random fields,MRFs)的图像分割方法；

用G＝{(i,j)|0≤i≤h,0≤j≤w}表示当前帧h×w图像中所有像素点的集合，g＝(i,j)∈G表示二维图像中第i行，第j列的像素点，定义该像素的邻域为N_g＝{f∈G|[dist(f,g)]²≤r,f≠g}，其中，dist(f,g)表示像素位置之间的欧式距离；对于图像G中的子集c，其中每对不同的元素总是相邻时，构成一个集簇，C为所有集簇c的集合；

对于图像上每一个像素位置g，均对应了一个标号支撑集S∈{0,1}^m×n中的随机取值，假定前景像素标号取值的局部条件概率仅随着其邻域状态的变化而变化，与邻域外的变化无关，则包含了位置关系的像素标号取值集合S是关于邻域系统N的一个马尔可夫随机场，依据观测图像数据Y，对各像素点标号的取值可由贝叶斯(Bayes)准则得出：

其中，P(Y)是观测数据的先验分布，给定视频帧图像，可视为一个常数；P(S)为标号场的先验分布，根据Hammersley-Cliford定理，给定集簇的势函数V_c(l_c)，标号场的先验分布近似为

l_c表示集簇c上的点的标号，

为各集簇上势函数能量的和；Ising模型中势函数的定义为：

其中，

为第t帧中图像像素g点处的标号，q为g邻域上的点，

k是玻尔兹曼常数，当温度T一定时，β是一个常数；此时，标号场先验分布为：

P(Y|S)是似然概率，通常假定各像素点之间独立且同高斯分布，该似然概率看成各像素点处似然概率的乘积：P(Y|S)＝Π_g∈GP(y_g|s_g)，对其取对数后得：

其中，

和

分别为各标签所服从的高斯分布的均值和方差；选取最大后验概率(Maximum A Posteriori，MAP)准则作为图像分割最优判别准则，则目标函数最优解即是式(12)取得最大化后验概率的解，两边取对数得下述目标函数：

利用递归神经神经网络自主优化特性求解式(16)所示目标函数的最优解。

所述步骤3)具体还包括：参照图2所示，令u_k,v_k分别为递归神经网络中第k个神经元的输入和输出电压，R_k,C_k分别为其输入电阻和输入电容，I_k为偏置电流，g_k(u_k)为神经元的传递函数，ω_jk为神经元j与神经元k之间的连接电阻，即连接权，则网络的总体能量函数通常具有如下形式：

将上述能量函数对时间求导数，有：

由于C_k＞0，选取Sigmoid函数

作为传递函数时，g^-1是单调非减函数，且

衰减，此时式(17)所示能量函数随时间推移整体呈现下降衰减趋势，并简化为：

当网络达到稳定时，该能量函数收敛于极小值，故递归神经网络实现对输入信号的自主迭代优化；

根据递归神经网络的自主优化特性，将图像标号

作为递归神经网络的输入，同时设置网络的偏置电流

依据式(19)，网络的能量函数为：

对图像进行二值化处理，此时图像上的像素值

等价于标号

采用8邻域二阶系统模型建模图像标号场，选取式(13)所示的Ising函数作为势函数，得到对前景标号的估计：

其中，

为常数项，对比式(20)和式(21)发现，对前景标号的估计视为对(20)所示递归神经网络能量函数最小值的自主优化求解。

4)采用针孔透视模型建立从视频图像坐标系到世界坐标系的转换矩阵，求解前景目标跟踪结果在世界坐标系下的坐标位置；采用最近邻方法建立上述世界坐标系下的目标坐标点位置与广播式自动相关监视数据的对应关系，从而把广播式自动相关监视中的标牌信息关联到视频上，实现自动挂标牌；

由上述背景和前景的估计，得到视频图像坐标系中对航空器目标的跟踪监测，建立图像像素坐标到世界坐标的映射关系，在雷达跟踪结果中找到相关航空器标牌信息；

假定目标点在像素平面坐标系中的坐标为(u,v)^T，在世界坐标系下的坐标为(x,y,z)^T，采用针孔透视模型，得目标点像素平面坐标到世界坐标的转换关系：

其中，f_x,f_y均为表示焦距的参数，(u₀,v₀)^T为主点相对于图像平面(投影面)的位置，即主光轴与图像平面的交点；z_c为像素平面原点相对于摄像机坐标系原点的偏移量，为一个常数；R为摄像机的旋转矩阵，T为平移矩阵，记：

则(22)化简为：

p_i＝KCp_w (23)

采用Markov随机场和稀疏背景求解，得到连续视频帧中的前景目标，采用批处理的方式，记P_i＝[p_i1,p_i2,…,p_it]连续t帧中的目标像素坐标向量组成的矩阵，其对应的世界坐标系下的矩阵为P_w＝[p_w1,p_w2,…p_wt]，则(23)变为：

P_i＝KCP_w (24)

根据式(24)得到前景目标跟踪结果在世界坐标系下的坐标，采用最近邻方法建立该视频跟踪坐标与广播式自动相关监视数据的对应关系，实现数据关联，从而把广播式自动相关监视中的航班号的标牌信息关联到视频上，实现自动挂标牌。

本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (5)

1.一种基于马尔可夫随机场的远程塔台视频目标挂标牌方法，其特征在于，步骤如下：

1)建立模型：假定连续视频帧中背景图像线性相关，运动目标则视为在视频序列线性分解过程中无法纳入背景矩阵中的像素，通过求解背景估计和前景标号集，对视频帧图像中的像素进行背景和前景的分类标记；

2)使用贪婪算法求解连续视频帧序列的稀疏表示，获得对背景的初步估计；

3)利用递归神经网络求解图像分割问题，获得对前景标号集的估计；利用该前景标号集，对步骤2)求得的背景的初步估计进行修正，得到前景目标跟踪结果和背景估计；

4)采用针孔透视模型建立从视频图像坐标系到世界坐标系的转换矩阵，求解视频帧中的前景目标跟踪结果在世界坐标系下的坐标位置；采用最近邻方法建立上述世界坐标系下的目标坐标点位置与广播式自动相关监视数据的对应关系，从而把广播式自动相关监视中的标牌信息关联到视频上，实现自动挂标牌；

所述步骤1)具体包括：采用I_t∈R^m表示由视频序列中第t帧的图像按列堆叠形成的向量，该帧包括m个像素；D＝[I₁,…,I_t]∈R^m×t为由表示帧的向量I组成的矩阵，代表了包括t帧组成的视频图像序列；B∈R^m×t是与D同维的矩阵，表示视频帧中的背景，由t帧向量组成，每帧m个像素；第t帧第k个像素记为kt；用图像灰度来度量背景的强度，则在考察周期内照明条件基本不变的情况下，认为连续视频帧序列中背景强度基本不变，故对于一段连续视频序列D，其各组成帧中背景图像认为是线性相关的，运动目标则视为在视频序列线性分解过程中无法纳入背景矩阵B中的像素，记为前景E，将当前帧t中的目标看成其之前t-1帧向量张成的子空间中的一个线性表示，记前t-1帧组成的矩阵为D_t-1＝[I₁,…,I_t-1]，则第t帧的图像记为：

y_t＝B+E＝D_t-1x+E (1)

由各帧中背景组成的矩阵B＝D_t-1x是一个低秩矩阵，即背景矩阵B满足rank(B)≤K，K为预定义常数，且系数x为稀疏向量；考虑场景中噪声的影响，并假定噪声服从均值为0，方差为σ²的高斯白噪声，式(1)视频帧信号表示为：

其中，I为单位矩阵，x_eI代表高斯白噪声，在噪声影响下，第t帧的视频图像像素灰度值的大小记为y_kt＝B_kt+e_kt＝ψ_ktx+e_kt；定义二值标号支撑集S∈{0,1}^m×n作为图像像素标号，其元素规定为：

则背景建模问题归结为求解下式(4)所示的优化问题：

当S_kt＝1即像素kt属于前景时，背景被前景覆盖，视频帧信号的灰度与前景相同，故对目标的检测实际就是对前景标号集的估计；由于图像中相邻像素标号间存在相互作用，导致图像标号场不分段光滑，定义E_smooth记录标号场不分段光滑的程度，E_data记录标号与实测数据的误差，将对前景标号集的估计问题转化为对标号场能量优化问题，即令：

E(S)＝E_smooth(S)+E_data(S) (5)

取得最小值；

在支撑集S的线性矩阵空间中定义矩阵X的正交投影：

是Γ_S(X)的补，有

对视频帧中动态航空器目标y的检测就是对下式能量函数的最小化；

其中，参数α>0是与系数向量x稀疏度相关的常数，控制着背景的复杂度。

2.根据权利要求1所述的基于马尔可夫随机场的远程塔台视频目标挂标牌方法，其特征在于，所述步骤2)具体包括：假设已得到优化支撑集估计S，则式(7)简化为下列最优化问题：

使用高斯随机矩阵Φ作为RIP矩阵，对观测值y进行压缩采样：

z＝Φy＝ΦΨx＝Θx (9)

则式(8)所示问题转化为式(10)所示L1范式最小化问题：

min||x||₁s.t.||Φy-Θx||₂≤ε (10)

初始化时，将视频起始一段短视频作为训练帧，背景复杂度已知，忽略参数α的影响，令α＝1，使用贪婪算法求解式(10)获得初始的背景估计，在此基础上，通过前景标号集的优化求解，进一步优化背景估计，并在后续迭代中，使用当前帧y替换D_t-1中对应稀疏表示系数x最小的模板。

3.根据权利要求2所述的基于马尔可夫随机场的远程塔台视频目标挂标牌方法，其特征在于，所述步骤3)具体包括：当给定了稀疏系数x时，式(7)所示能量函数转化为：

其中，

给定x，常数C也随之确定；为得到对式(11)中对支撑S的估计，从而得到各帧中的前景图像，采用基于马尔可夫随机场的图像分割方法；

用G＝{(i,j)|0≤i≤h,0≤j≤w}表示当前帧h×w图像中所有像素点的集合，g＝(i,j)∈G表示二维图像中第i行，第j列的像素点，定义该像素的邻域为N_g＝{f∈G|[dist(f,g)]²≤r,f≠g}，其中，dist(f,g)表示像素位置之间的欧式距离；对于图像G中的子集c，其中每对不同的元素总是相邻时，构成一个集簇，C为所有集簇c的集合；

对于图像上每一个像素位置g，均对应了一个标号支撑集S∈{0,1}^m×n中的随机取值，假定前景像素标号取值的局部条件概率仅随着其邻域状态的变化而变化，与邻域外的变化无关，则包含了位置关系的像素标号取值集合S是关于邻域系统N的一个马尔可夫随机场，依据观测图像数据Y，对各像素点标号的取值可由贝叶斯准则得出：

其中，P(Y)是观测数据的先验分布，给定视频帧图像，可视为一个常数；P(S)为标号场的先验分布，根据Hammersley-Cliford定理，给定集簇的势函数V_c(l_c)，采用

拟合标号场的先验分布，l_c表示集簇c上的点的标号，

为各集簇上势函数能量的和；Ising模型中势函数的定义为：

其中，

为第t帧中图像像素g点处的标号，q为g邻域上的点，

k是玻尔兹曼常数，当温度T一定时，β是一个常数；此时，标号场先验分布为：

P(Y|S)是似然概率，通常假定各像素点之间独立且同高斯分布，该似然概率看成各像素点处似然概率的乘积：P(Y|S)＝Π_g∈GP(y_g|s_g)，对其取对数后得：

其中，

和

分别为各标签所服从的高斯分布的均值和方差；选取最大后验概率准则作为图像分割最优判别准则，则目标函数最优解即是式(12)取得最大化后验概率的解，两边取对数得下述目标函数：

利用递归神经神经网络自主优化特性求解式(16)所示目标函数的最优解。

4.根据权利要求3所述的基于马尔可夫随机场的远程塔台视频目标挂标牌方法，其特征在于，所述步骤3)具体还包括：令u_k,v_k分别为递归神经网络中第k个神经元的输入和输出电压，R_k,C_k分别为其输入电阻和输入电容，I_k为偏置电流，g_k(u_k)为神经元的传递函数，ω_jk为神经元j与神经元k之间的连接电阻，即连接权，则网络的总体能量函数通常具有如下形式：

将上述能量函数对时间求导数，有：

由于C_k＞0，选取Sigmoid函数

作为传递函数时，g^-1是单调非减函数，且

衰减，此时式(17)所示能量函数随时间推移整体呈现下降衰减趋势，并简化为：

当网络达到稳定时，该能量函数收敛于极小值，故递归神经网络实现对输入信号的自主迭代优化；

根据递归神经网络的自主优化特性，将图像标号

作为递归神经网络的输入，同时设置网络的偏置电流

依据式(19)，网络的能量函数为：

对图像进行二值化处理，此时图像上的像素值

等价于标号

采用8邻域二阶系统模型建模图像标号场，选取式(13)所示的Ising函数作为势函数，得到对前景标号的估计：

其中，

为常数项，对比式(20)和式(21)发现，对前景标号的估计视为对式(20)所示递归神经网络能量函数最小值的自主优化求解。

5.根据权利要求4所述的基于马尔可夫随机场的远程塔台视频目标挂标牌方法，其特征在于，所述步骤4)具体包括：由上述背景和前景的估计，得到视频图像坐标系中对航空器目标的跟踪监测，建立图像像素坐标到世界坐标的映射关系，在雷达跟踪结果中找到相关航空器标牌信息；

假定目标点在像素平面坐标系中的坐标为(u,v)^T，在世界坐标系下的坐标为(x,y,z)^T，采用针孔透视模型，得目标点像素平面坐标到世界坐标的转换关系：

其中，f_x,f_y均为表示焦距的参数，(u₀,v₀)^T为主点相对于图像平面的位置，即主光轴与图像平面的交点；z_c为像素平面原点相对于摄像机坐标系原点的偏移量，为一个常数；R为摄像机的旋转矩阵，T为平移矩阵，记：

则式(22)化简为：

p_i＝KCp_w (23)

采用Markov随机场和稀疏背景求解，得到连续视频帧中的前景目标，采用批处理的方式，记P_i＝[p_i1,p_i2,…,p_it]连续t帧中的目标像素坐标向量组成的矩阵，其对应的世界坐标系下的矩阵为P_w＝[p_w1,p_w2,…p_wt]，则式(23)变为：

P_i＝KCP_w (24)

根据式(24)得到前景目标跟踪结果在世界坐标系下的坐标，采用最近邻方法建立该视频跟踪坐标与广播式自动相关监视数据的对应关系，实现数据关联，从而把广播式自动相关监视中的航班号的标牌信息关联到视频上，实现自动挂标牌。

Images