CN101937565B - 基于运动目标轨迹的动态图像配准方法 - Google Patents

Abstract

一种图像处理技术领域的基于运动目标轨迹的动态图像配准方法。包括如下步骤：步骤1、帧频变换预处理；步骤2、运动目标提取；步骤3、轨迹生成；步骤4、轨迹描述；步骤5、轨迹匹配；步骤6、匹配参数获取；步骤7、对应帧间配准精度检测和微调整处理。本发明可同时获取时间和空间的配准参数，避免采用穷举搜索法获取时间域的对应关系，运算量小且配准精度较高。

Description

基于运动目标轨迹的动态图像配准方法

技术领域

本发明涉及的是一种图像处理技术领域的配准方法，具体是一种基于运动目标轨迹的动态图像配准方法。

背景技术

图像配准，即对在不同时间、用不同探测器、从不同视角获得的同一个场景的单幅图象或多帧图像，利用图像中公有的景物进行匹配的过程。对单幅图像的匹配称为静态图像配准，对连续多帧图像的匹配，称为动态图像配准。

静态图像配准需要解决的问题是两幅图像在空间域上的对应关系，主要有基于灰度的配准方法（如基于互相关、互信息的图像配准方法）、基于频域的配准方法（如基于快速傅立叶变换、小波变换、金字塔变换的图像配准方法）、基于特征（这里的特征指边缘、角点、轮廓或者面目标等）的配准方法。然而在实际应用中,有时需要同时考虑两幅图像在时间域上的对应关系,这反映为动态图像配准问题。与静态图像配准相比,动态图像配准不但需要求解两个或多个图像序列之间的空间变换关系,还要求解不同序列的两帧图像在时间上的对应关系。研究动态图像配准方法可解决单幅图像配准中出现的空间歧义问题，处理许多单幅图像配准不能或不易处理的情况。动态图像配准增加了图像序列间动态方面的有效信息，消除传感器类型不同带来的影响，可以实现有效的配准。

经过现有技术文献的检索发现，专利申请号：200810059124.1，名称：“基于快速图像配准的视角变化条件下视频前景提取方法”采用流形学习的方法建立背景模型，是动态图像配准的预处理部分，未涉及动态图像目标描述和匹配。专利申请号：200910052453.8，名称：“一种基于特征点的图像配准方法”，采用链码描述特征点进行静态图像的配准，未涉及动态图像配准。动态图像配准是对二维序列图像配准，专利申请号：200710119046.5，名称：“自动的深度图像配准方法”是对三维图像采用ICP方法进行点配准。专利申请号：200780010175.9，名称：“图像配准方法”属动态图像配准范畴，采用基于灰度的配准方法对对应帧进行匹配，未考虑时间域的配准。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于运动目标轨迹的动态图像配准方法。本发明采用运动目标检测、特征点提取、轨迹描述和轨迹匹配策略等方法，对具有运动目标的动态图像实现时间和空间配准，避免了采用穷举搜索法获取时间域的对应关系，运算量小且配准精度较高。

本发明是通过以下技术方案实现的：

本发明包括如下步骤：

1、帧频变换预处理。NTSC视频是以30fps运行,PAL视频以25fps运行。如果待配准的图像序列具有不同的帧频时，图像序列必须首先进行帧频变换预处理，使两图象序列具有同样的帧频。帧频变换可采用线性插值法或重取样法。

2、运动目标提取。针对背景固定的情况，先采用累加平均图像作为初始背景，根据灰度均值和方差进行背景更新，获得每帧对应的背景图像，使用背景剪除得到每帧图像上的运动目标。针对背景变化的情况，采用图像差分法获得每帧的运动目标。由于有噪声的影响，对运动目标进行腐蚀和膨胀运算，去掉孤立噪声点，获得目标的连通区域。

3、轨迹生成。提取目标区域的质心作为特征点，特征点采用三维坐标表征（空间两维和时间维）。通过质心位置相邻性和目标区域大小的联合限制条件，进行前后帧间的目标质心关联，生成运动目标的轨迹。当目标被遮挡时，会出现目标区域不能提取、目标区域大小异常变化或者质心位置异常变化的情况，当目标再次出现时，认为是新的目标，并生成新的轨迹。当多个目标重叠后分开时，被重叠的目标认为是被遮挡，作为新的目标生成新的轨迹，重叠目标根据质心位置相邻性和目标区域大小的联合限制条件继续进行目标关联，生成运动目标的轨迹。

4、轨迹描述和匹配。为了对轨迹进行匹配，需要对轨迹进行描述。对每条轨迹采用改进的八邻域链码表示方法，并对链码进行加权滤波操作，平滑后的链码用来描述轨迹。定义链码相似度度量，获得匹配的轨迹段。匹配轨迹段上的对应点即为时间和空间上的同名特征点。

5、匹配参数获取。针对同名特征点，建立时间和空间域的变换，通过最小二乘法计算时间维的偏差参数和空间维的尺度、旋转、平移变量。

6、对应帧间配准精度检测和微调整处理。由于平台和相机的运动、以及目标检测时存在的误差，获得的整体空域配准参数对某些帧的配准精度不理想。在对应帧上手工选取对应点，采用均方误差估计配准精度。配准精度应优于1个像元。如果某对应帧图像精度高于1个像元，对旋转和平移变量在小范围内均匀调整，使配准精度优于1个像元的旋转、平移变量为该对应帧调整后的配准参数。

本发明对待配准的动态图像序列根据获取的帧频进行线性插值，使两序列有相同的帧频。针对背景固定和变化两种情况进行背景检测和运动目标提取。由于有噪声的影响，对提取的目标区域需要进行分析，去掉噪声点，获得目标的连通区域。对目标区域进行特征点提取和前后帧间关联，生成运动目标的轨迹。针对目标被遮挡后再次出现时，认为是新的目标，针对目标重叠后再次分开时，根据运动方向进行目标关联。采用链码描述目标轨迹并进行匹配，可得到匹配的轨迹对。根据轨迹对上的对应匹配点，计算待配准的动态序列在时间和空间上的匹配参数。对对应帧的配准精度进行检测，以及微调整获得最终的配准参数。

本发明利用图像序列中运动目标的轨迹实现动态图像时间和空间上的配准，即得到时间域上对应帧间的偏差，还得到空间域上对应帧间的尺度、旋转和平移变化量。本发明可同时获取时间和空间的配准参数，避免采用穷举搜索法获取时间域的对应关系，运算量小且配准精度较高。

附图说明

图1为基于轨迹的动态图像配准流程图。

图2为本发明实施例中采用的部分图像序列；

其中：图2（a）为基准图像序列，图2（b）为待配准的图像序列。

图3为运动目标轨迹图；

其中：图3（a）为基准图像序列的运动目标轨迹图，图3（b）为待配准的图像序列运动目标轨迹图。

图4为轨迹匹配图；

其中：图4（a）为基准图像序列的匹配轨迹图，图4（b）为待配准的图像序列匹配轨迹图。

图5为动态图像配准结果。

具体实施方式

以下结合附图对本发明的实施例作详细说明：以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

实施例

如图1所示，实施例首先输入基准的动态图像和待配图像，通过帧频变换实现时间维具有相同的分辨率，采用背景剪除法或者图像差分法进行运动目标提取，通过位置相邻性和面积门限生成运动目标的轨迹，采用改进的链码方法进行轨迹描述，定义相似性度量进行轨迹匹配获得匹配参数，最后采用均方误差检测对应帧间配准精度，进行微调整处理后获得最终的匹配参数。

本实施例包括如下步骤：

1、帧频变换预处理

输入基准动态图像和待配动态图像，因为是NTSC或PAL制式的动态图像数据，先将视频数据分解为帧图像序列。NTSC制式的序列是以30fps获取,PAL制式的序列以25fps获取，如果输入数据制式不一样，即待配准的图像序列具有不同的帧频时，需对待配准的图像序列进行帧频变换预处理，对低频的图像序列，使用线性插值法，获得新的图像序列，使两图象序列具有相同的帧频，即基准动态图像和待配动态图像在时间维上具有相同的分辨率。

2、运动目标提取

设基准图像序列和待配图像序列分别为f₁(x,y,t)和f₂(x,y，t)。对f₁(x,y，t)和f₂(x,y，t)分别进行运动目标提取。针对背景固定的情况，先采用累加平均图像B(x,y)作为初始背景，根据Y.Yang(1992)最小中值二乘法（Least Median of Squares）[Yang Y,Levine M.“The background primalsketch:an approach for tracking moving objects”.Machine Vision andApplications,5:17-34,1992.]进行背景更新，获得每帧对应的背景图像B_t(x,y)，Bf(x，y，t)定义为差分二值图像：

$\mathrm{Bf}(x,y,t)=\left\{\begin{array}{cc}1& \mathrm{if}|f(x,y,t)-B_t(x,y)|>k\\ 0& \mathrm{others}\end{array}\right.---\left(1\right)$

对Bf(x，y，t)进行腐蚀和膨胀运算，去掉孤立噪声点，像素值为1的具有连通区域的为运动目标区域。针对背景变化的情况，采用图像差分法获得每帧的运动目标。对Bf(x，y，t)进行腐蚀和膨胀运算，去掉孤立噪声点，像素值为1的具有连通区域的为运动目标区域。计算t时刻第k个运动目标区域包含的像素数记为区域面积S_k,t，计算t时刻第k个运动目标区域的质心记为C_k(x,y,t)，对所有时刻的运动目标区域计算其面积和质心，采用质心作为运动目标的特征点，面积作为运动目标的属性。

3、轨迹生成

假设C_k1(x,y,t)、C_k2(x,y,t+1)分别是t时刻和t+1时刻提取到的运动目标质心，其面积分别是S_k1，tS_k2,t+1，质心坐标分别是(x_k1,y_k1)和(x_k2,y_k2)，时间坐标分别是t和t+1。如果满足：

$\left\{\begin{array}{c}{(x_{k1}-x_{k2})}^2+{(y_{k1}-y_{k2})}^2<T\\ |S_{k1,t}-S_{2k,t+1}|<R\end{array}\right.---\left(2\right)$

T、R分别是预定的位置相邻性门限和面积门限，则判断

C_k1(x,y，t)、C_k2(x,y，t+1)是同一目标相邻时刻的质心。如果满足：

(x_k1-x_k2)²+(y_k1-y_k2)²>T，               （3）

判断C_k1(x,y,t)、C_k2(x,y,t+1)不是同一目标相邻时刻的质心。如果连续几帧满足：

$\left\{\begin{array}{c}{(x_{k1}-x_{k2})}^2+{(y_{k1}-y_{k2})}^2<T\\ |S_{k1,t}-S_{k2,t+1}|>R\end{array}\right.,---\left(4\right)$

则认为目标被遮挡，遮挡后再次出现的目标认为是新目标。对所有时刻的质心进行关联，可以得到运动目标的轨迹。长度为n的第k个运动目标轨迹标记为：

Traj^k={C_k(x，y,t),C_k(x，y,t+1),…,C_k(x，y,t+n-1)}。（5）

4、轨迹描述

对于轨迹的描述采用H.Li(1995)提出的改进8邻域链码表示的方法。假定一条长度为n的轨迹Traj的8邻域链码表示为{a₁,a₂,a₃,…,a_n}，改进后的链码表示先对原8邻点链码{a₁,a₂,a₃,…,a_n}进行如下变换(其中mod表示求模操作)得到{b₁,b₂,b₃,…,b_n}：

然后在{b₁,b₂,b₃,…,b_n}的基础上对其采用高斯平滑从而得到最终的链码表示{c₁,c₂,c₃,…,c_n}。

5、轨迹匹配

假设轨迹Traj_A和Traj_B分别是从基准序列和待配序列选取的待配轨迹，其改进链码表示分别为

和

从两个轨迹上分别任取长度均为n(3≤n≤min(N_A,N_B))的轨迹段α和β，其中α起始于轨迹Traj_A的第k个点，β起始于轨迹Traj_B的第l个点，则α和β之间的匹配度定义为：

$D_{\mathrm{kl}}^n=\frac{\underset{j=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{a}_{k+j}^{\&prime;}*b_{l+j}^{\&prime;}}{\sqrt{\underset{j=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{\left(a_{k+j}^{\&prime;}\right)}^2}*\sqrt{\underset{j=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{\left(b_{l+j}^{\&prime;}\right)}^2}},---\left(7\right)$

式中 $a_{k+i}^{\&prime;}=a_{(k+i)\mathrm{mod}{N}_A}-\frac{1}{n}\underset{j=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{a}_{(k+j)\mathrm{mod}{N}_A},$ $b_{l+i}^{\&prime;}=b_{(l+i)\mathrm{mod}{N}_B}-\frac{1}{n}\underset{j=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{b}_{(l+j)\mathrm{mod}{N}_B},$ 0≤i<n。寻找轨迹段长度为n时的最佳匹配对

其匹配度表示为

对不同的n有对应的匹配度

给定匹配度阈值为D，计算

如果N为空集，则说明轨迹Traj_A和Tra_j是不匹配的，否则轨迹Traj_A和Traj_B上长度为N、起始点分别为K_N和L_N的轨迹段

是匹配轨迹对，轨迹上对应点

是同名特征点对。

6、匹配参数获取

假定同名特征点 $\{(p_n,q_n){|}_{n-1}^N:p_n=(x_{1n},y_{1n},t_{1n}),q_n=(x_{2n},y_{2n},t_{2n})\&Element;\},$ 建立时间和空间域的变换：

$q_n=\left[\begin{array}{ccc}s\cos \mathrm{\&theta;}& s\sin \mathrm{\&theta;}& 0\\ -s\sin \mathrm{\&theta;}& s\cos \mathrm{\&theta;}& 0\\ 0& 0& 1\end{array}\right]p_n+\left[\begin{array}{c}\mathrm{dx}\\ \mathrm{dy}\\ \mathrm{dt}\end{array}\right].---\left(8\right)$

通过最小二乘法计算时间维的偏差参数dt和空间维的尺度s、旋转θ、平移变量(dx,dy)。G＝(s，θ,dx,dy,dt)为获得的动态图像配准参数。

7、对应帧间配准精度检测和微调整处理

假定f₁(x,y,t₁)和f₂(x,y，t₂)是配准的对应帧图像，其配准参数是G＝(s，θ,dx,dy，dt)。先从对应帧上手工选取N对若干同名点对（选取N大于6，点对图像上分布较均匀），设为 $\{(p_n,q_n):p_n=(x_{1n},y_{1n})\&Element;f_1,q_n=(x_{2n},y_{2n})\&Element;f_2{\}}_{n=1}^N.$ 采用均方误差RMS检测配准精度，RMS定义为：

$\mathrm{RMS}=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}\left|\right|q_n-G\left(p_n\right)\left|\right|.---\left(9\right)$

如果RMS<1，G是对应帧间的配准参数。如果RMS≥1，θ在±10%的范围内以θ/100为步长进行调整、dx在dx±10范围内、dy在dy±10范围内步长为0.5进行调整，计算RMS，使RMS低于1个像元的旋转、平移变量为该对应帧调整后的配准参数。

在本实施例中，采用两动态图像序列作为基准图像序列和待配图像序列。图2a是从基准图像序列中抽取的四帧图像，图2b是从待配图像序列中抽取的四帧图像。图3a是基准图像序列经帧频预处理、目标提取、轨迹生成后得到运动目标轨迹图，图3b是待配图像序列中运动目标轨迹图。图4a是进行轨迹描述和匹配后得到基准图像序列的匹配轨迹，图4b是进行轨迹描述和匹配后得到待配图像序列的匹配轨迹。根据对应轨迹上的同名点求取配准参数，配准参数G＝(0.993,4.746,10.772,46.113,4)。图5是根据配准参数将图2a和图2b对应帧拼接在一起的效果图，为了显示拼接效果，将图2a只取中间三分之一的图像和图2b的对应帧叠加在一起。经计算，图5的匹配精度均优于1个像元，配准参数不需调整。

Claims (3)

1.一种基于运动目标轨迹的动态图像配准方法，其特征在于，包括如下步骤：

步骤l、帧频变换预处理：输入基准动态图像和待配动态图像，先将视频数据分解为帧图像序列，即待配准的图像序列具有小同的帧频时，需对待配准的图像序列进行帧频变换预处理，对低频的图像序列，使用线性插值法，获得新的图像序列，使两图象序列具有相同的帧频，即基准动态图像和待配动态图像在时间维上具有相同的分辨率；

步骤2、运动目标提取：设基准图像序列和待配图像序列分别为f₁(x,y,t）和f₂(x,y,t)：对f₁(x,y,t）和f₂(x,y,t）分别进行运动目标提取；针对背景固定的情况，先采用累加平均图像B(x,y）作为初始背景，然后进行背景更新，获得每帧对应的背景图像B_t,(x,y),Bf(x,y,t）定义为差分二值图像：

$\mathrm{Bf}(x,y,t)=\left\{\begin{array}{cc}1& \mathrm{if}|f(x,y,t)-B_t(x,y)|>k\\ 0& \mathrm{others}\end{array}\right.$

对Bf(x,y,t）进行腐蚀和膨胀运算，去掉孤立噪声点，像素值为1的具有连通区域的为运动目标区域，针对背景变化的情况，采用图像差分法获得每帧的运动目标；

步骤3、轨迹生成；假设C_k1(x,y,t）、C_k2(x,y,t+l）分别是t时刻和t+l时刻提取到的运动目标质心，其面积分别是S_k1，tS_k2，t+1，质心坐标分别是（x_k1，y_k1）和（x_k2，y_k2)，时间坐标分别是t和t+l,

对所有时刻的质心进行关联，得到运动目标的轨迹，长度为n的第k个运动目标轨迹标记为：

Traj^k={C_k(x,y,t),C_k(x,y,t+1)，…，C_k(x,y,t+n-1)｝；

步骤4、轨迹描述：假定一条长度为n的轨迹Traj的8邻域链码表示为｛a_l,a₂,a₃，…，a_n}，改进后的链码表示先对原8邻点链码｛a_l,a₂,a₃，…，a_n}进行如下变换得到｛b₁，b₂,b₃，…，b_n}：

其中mod表示求模操作；

然后在｛b_l,b₂,b₃，…，b_n}的基础上对其采用高斯平滑从而得到最终的链码表示｛c₁,c₂,c₃，…，cn｝；

步骤5、轨迹匹配：假设轨迹Traj_A和Traj_B分别是从基准序列和待配序列选取的待配轨迹，其改进链码表示分别为

和从两个轨迹上分别任取长度均为n(3≤n≤min(N_A,N_B))的轨迹段α和β，其中α起始于轨迹Traj_A的第k个点，β起始于轨迹Traj_B的第1个点，则α和β之间的匹配度定义为：

$D_{\mathrm{kl}}^n=\frac{\underset{j=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{a}_{k+j}^{\&prime;}*b_{l+j}^{\&prime;}}{\sqrt{\underset{j=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{\left(a_{k+j}^{\&prime;}\right)}^2}*\sqrt{\underset{j=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{\left(b_{l+j}^{\&prime;}\right)}^2}}$ 式中 $a_{k+i}^{\&prime;}=a_{(k+i)\mathrm{mod}{N}_A}-\frac{1}{n}\underset{j=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{a}_{(k+j)\mathrm{mod}{N}_A},$ $b_{l+i}^{\&prime;}=b_{(l+i)\mathrm{mod}{N}_B}-\frac{1}{n}\underset{j=0}{\overset{n-1}{\mathrm{\&Sigma;}}}{b}_{(l+j)\mathrm{mod}{N}_B},$ 0≤i<n；寻找轨迹段长度为n时的最佳匹配对

其匹配度表示为

对不同的n有对应的匹配度

给定匹配度阈值为D，计算

如果N为空集，则说明轨迹Traj_A和Traj_B是不匹配的，否则轨迹Traj_A和Traj_B上长度为N、起始点分别为K_N和L_N的轨迹段

是匹配轨迹对，轨迹上对应点

是同名特征点对；

步骤6、匹配参数获取：假定同名特征点

$\{(p_n,q_n){|}_{n-1}^N:p_n=(x_{1n},y_{1n},t_{1n}),q_n=(x_{2n},y_{2n},t_{2n})\},$ 建立时间和空间域的变换：

$q_n=\left[\begin{array}{ccc}s\cos \mathrm{\&theta;}& s\sin \mathrm{\&theta;}& 0\\ -s\sin \mathrm{\&theta;}& s\cos & 0\\ 0& 0& 1\end{array}\right]p_n+\left[\begin{array}{c}\mathrm{dx}\\ \mathrm{dy}\\ \mathrm{dt}\end{array}\right]$

通过最小二乘法计算时间维的偏差参数dt和空间维的尺度s、旋转θ、平移变量（dx,dy),G=(s,θ,dx,dy,dt）为获得的动态图像配准参数；

步骤7、对应帧间配准精度检测和微调整处理：假定f₁(x,y，t₁）和f₂（x,y，t₂）是配准的对应帧图像，其配准参数是G=(s,θ,dx,dy,dt）；

先从对应帧上手工选取N对若干同名点对，选取N大于6，点对图像上分布较均匀；

设为 $\{(p_n,q_n):p_n=(x_{1n},y_{1n})\&Element;f_1,q_n=(x_{2n},y_{2n})\&Element;f_2{\}}_{n=1}^N,$ 采用均方误差RMS检测配准精度，RMS定义为：

$\mathrm{RMS}=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}\left|\right|q_n-G\left(p_n\right)\left|\right|$

如果RMS<1,G是对应帧间的配准参数；

如果RMS≥1,θ在±10％的范围内以θ/100为步长进行调整、dx在dx±10范围内、dy在dy±10范围内步长为0.5进行调整，计算RMS，使RMS低于1个像元的旋转、平移变量为该对应帧调整后的配准参数。

2.根据权利要求1所述的基于运动目标轨迹的动态图像配准方法，其特征是，所述的图像差分法获为对Bf(x,y,t）进行腐蚀和膨胀运算，去掉孤立噪声点，像素值为1的具有连通区域的为运动目标区域，计算t时刻第k个运动目标区域包含的像素数记为区域面积S_k，t，计算t时刻第k个运动目标区域的质心记为C_k(x,y,t)，对所有时刻的运动目标区域计算其面积和质心，采用质心作为运动目标的特征点，面积作为运动目标的属性。

3.根据权利要求1所述的基于运动目标轨迹的动态图像配准力一法，其特征是，所述的运动目标轨迹标记，其新目标的判断方法如下：

假设C_k1(x,y，t)、C_k2(x,y,t+1)分别是t时刻和t+1时刻提取到的运动目标质心，其面积分别是S_k，tS_k2，t+1，质心坐标分别是(x_k1,y_k1)和(x_k2,y_k2)，如果满足：

$\left\{\begin{array}{c}{(x_{k1}-x_{k2})}^2+{(y_{k1}-y_{k2})}^2<T\\ |S_{k1,t}-S_{k2,t+1}|<R\end{array}\right.$

T、R分别是预定的位置相邻性门限和面积门限，则判断C_k1(x,y,t)、C_k2(x,y,t+1)是同一目标相邻时刻的质心；

如果满足：

(x_k1-x_k2)²+(y_k1-y_k2)²>T，

判断C_k1(x,y,t)、C_k2(x,y,t+1)不是同一目标相邻时刻的质心；

如果连续几帧满足：

$\left\{\begin{array}{c}{(x_{k1}-x_{k2})}^2+{(y_{k1}-y_{k2})}^2<T\\ |S_{k1,t}-S_{k2,t+1}|<R\end{array}\right.$

则认为目标被遮挡，遮挡后再次出现的目标认为是新目标。

Images