CN108447022B - 基于单个固定摄像头图像序列的运动目标拼接方法 - Google Patents

Abstract

本发明涉及一种基于单个固定摄像头图像序列的运动目标拼接方法，包括下列步骤：对源自单个固定摄像头的输入图像序列，检测出前景区域和/或背景区域；识别出图像中的前景区域是否为运动目标形成的前景区域或含运动目标的前景区域；以含有运动目标区域的输入图像帧为目标图像帧，用作拼接输入图像；矫正和/或消除运动目标区域的畸变；提取运动目标区域的图像特征并进行特征匹配；根据匹配结果和相应的匹配关系，计算图像变换参数，进行运动目标区域的图像拼接，由此形成完整的运动目标图像。本发明能够进行运动目标的拼接，依据单个摄像头在不同时刻拍摄到的包含运动目标局部的图像，拼接出运动目标的完整图像，适应于卡口视频监控等场合。

Description

基于单个固定摄像头图像序列的运动目标拼接方法

技术领域

本发明涉及一种基于单个固定摄像头图像序列的运动目标拼接方法，适应于卡口视频监控等场合。

背景技术

图像拼接是将若干有重叠部分的局部图像拼成一幅大的无缝全景图像，其基本技术路线通常是将多幅图像经过配准后重投影到一个共同表面上,再对图像进行融合,最终生成一幅全景图像，其核心技术是图像配准与变换。

目前较为成熟的图像拼接技术是对多个固定摄像头采集到的多幅图像进行拼接，处理过程如下：(1)提取并匹配图像特征，计算相邻图像对二维图像坐标间的变换矩阵，也称单应矩阵。(2)利用迭代算法，从各图像对的单应矩阵分解出各个图像所对应的摄像头的内参和外参矩阵，从而建立起各个摄像头中三维空间点到二维图像坐标的投影关系。(3)以其中一幅图像作为参考，对各个摄像头的外参矩阵进行变换(乘以参考图像对应的外参矩阵的逆矩阵)，将各个摄像头坐标都统一到一个三维世界坐标系下。(4)利用经过变换后的各个摄像头的内参、外参矩阵，将各图像的二维图像坐标反投影到统一的三维世界坐标系下，再经平面、柱面或球面投影返回到二维平面，从而得到拼接图像。

上述图像拼接方式基于以下两点假设：(1)目标场景位于同一平面，没有景深变化；(2)所有摄像头置于同一位置，没有位移。综合起来，即是无穷远假设：摄像头到目标场景的距离应远大于摄像头之间的间距。

另外还有一种较为常见的图像拼接方式，这种拼接方式如同手机应用中的全景拼接，以手持者为轴，缓慢旋转手机摄像头扫描目标场景，得到拼接结果。在此方式中，虽然只用到一个摄像头，但扫描得到的图像序列可视为由多个只具有旋转关系的摄像头采集得到，因此本质与前述方式相同，可用相同技术处理。

上述图像拼接技术不能满足所有图像拼接需要。例如，在道路或集装箱港区卡口拼接过往货车，由于货车(特别是集装箱货车)通常较长，在卡口摄像头的一帧图像中一般不能包含其全貌，但货车通过卡口的过程中，不同时刻的多帧图像将包含整个卡车各部分的图像，因此，从这种图像序列所包含的图像内容上看，将不同图像中的卡车局部图像拼接起来，能够形成完整的卡车图像。

但是，现有适应于多摄像头图像拼接的方式不适于上述单固定摄像头在不同时刻拍摄的运动物体局部图像的拼接，主要原因是：(1)由于需要拼接的是运动图像，不能将图像序列都作为拼接输入；(2)图像匹配时，不能对整幅图像进行匹配，应只能考虑其中的运动区域。(3)摄像头不满足无穷远假设，由于单个固定摄像头得到的运动目标图像序列，可近似等效认为是通过运动摄像头拍摄静止目标而得到，且摄像头到目标的距离较近(否则就能直接看到目标整体而无需拼接了)，所以图像采集过程中的摄像头平移不可忽略。

发明内容

为解决上述技术问题，本发明提供了一种基于单个固定摄像头图像序列的运动目标拼接方法，这种方法能够进行运动目标的拼接，依据单个摄像头在不同时刻拍摄到的包含运动目标局部的图像，拼接出运动目标的完整图像。

本发明的技术方案是：一种基于单个固定摄像头图像序列的运动目标拼接方法，其包括下列步骤：

对源自单个固定摄像头的输入图像序列，检测出前景区域和/或背景区域；

识别出图像中的前景区域是否为运动目标形成的前景区域或含运动目标的前景区域，即运动目标区域；

以含有运动目标区域的输入图像帧为目标图像帧，用作拼接输入图像；

矫正和/或消除运动目标区域的畸变；

提取运动目标区域的图像特征并进行特征匹配；

根据匹配结果和相应的匹配关系，计算图像变换参数，进行运动目标区域的图像拼接，由此形成完整的运动目标图像。

优选地，采用预先确定的背景图像，采用两步差分方式识别出输入图像中的前景区域。

差分运算公式可以为：

其中，I(x,y)、BackImg(x,y)和ForeImg(x,y)分别代表输入图像、背景图像和前景图像在像素点(x,y)的值(例如灰度值或像素值)，像素点(x,y)是指坐标为(x,y)的像素点，Thr为差分运算所用的阈值。

第一步差分为粗背景差分，采用较小的阈值Thr1进行差分运算(设定Thr＝Thr1)，使被检测为背景的像素点确为背景像素点，允许被检测为前景的部分像素点并非真正的前景像素点；

第二步差分为细背景差分，采用较大的阈值Thr2(设定Thr＝Thr2)和光照补偿后的背景图像，获得光照补偿后的前景检测结果。

优选采用下列方式对背景图像进行光照补偿：计算粗差分中被检测为背景的全部像素点(x_i,y_i)的输入图像的值I(x_i,y_i)与背景图像的值BackImg(x_i,y_i)之比k_i，获得分布{k_i}，

k_i＝I(x_i,y_i)/BackImg(x_i,y_i)

其中，i是粗差分中被检测为背景的全部像素点的编号。

可以以下列公式对背景图像的所有像素点(x,y)进行光照补偿运算：

其中BackImg(x,y)、BackImg’(x,y)分别为光照补偿前、后的背景图像在像素点(x,y)的值，为能够体现光照导致图像变化总体状况的分布{k_i}的一个统计量用为光照补偿系数。

可以为分布{k_i}的均值，例如算术平均值。

也可以采用下列方式进行mean-shift迭代算法，取分布{k_i}的峰值点作为

其中，t(包括t+1)为迭代次数，

h为高斯核函数半径，可设为1或其他适宜值，

k_t的初始值取{k_i}的均值，

当时，上式收敛，依此得到{k_i}分布的峰值点，其中，ε为收敛阈值，可设为0.01或其他适宜值。

可以依据前景区域相对于图像的大小比例判断前景区域是否为运动目标区域。

优选以前景区域的面积相对于图像的面积的比例作为两者大小比例的具体指标。

对于以水平方向运动为主的运动目标，可以利用前景图像的水平与竖直投影，进行图像是否含有运动目标的判断。

具体计算方式可以为：

对前景图像做水平方向投影，依据下列公式计算获得水平投影直方图hist(x)：

再做竖直方向投影，依据下列公司计算获得图像中前景区域的面积占比proj_ratio：

其中，sign(λ)是符号函数，当λ大于等于0时，函数值为1，当λ小于0时，函数值为-1，

width和height是分别为图像的宽和高，

Thr3和Thr4为设定的相关阈值，可以根据经验或通过验证等方式获得适宜的Thr3和Thr4。

若proj_ratio大于或者大于等于设定的阈值Thr4，判断该图像中的前景区域是运动目标区域，即该图像含有运动目标区域，否则认为该图像不含运动目标区域。

可以依据现有技术进行畸变矫正运算，获得畸变矫正系数。

例如，可以依据下列畸变模型进行畸变矫正：

I′(x+δx,y+δy)＝I(x,y)

δx＝x(ar²+br⁴)+2cxy+d(r²+2x²)

δy＝y(ar²+br⁴)+c(r²+2y²)+2dxy

r²＝x²+y²

其中，I、I′分别是畸变矫正前、后的图像，δx为径向畸变项，δy为切向畸变项，a、b、c、d为相应的畸变矫正系数。

畸变矫正可以在任意适宜的步骤中进行。例如，可以在检测出前景区域和/或背景区域，对含有前景区域的输入图像进行畸变矫正；可以在识别出图像中的前景区域是否运动目标区域后，对含有运动区域的输入图像进行畸变矫正；可以从含有运动区域的输入图像中提取运动区域图像，对所提取的运动区域图像进行畸变矫正。

考虑到是本发明涉及的是固定摄像头，一种优选的方式为：通过交互方式预先离线设定畸变矫正参数，对源自单个固定摄像头的输入图像序列进行畸变矫正，以畸变矫正后的输入图像进行后续的处理，由此可以使后续各种相关运算和判断不受畸变的影响，避免因畸变产生的误差及后续复杂的数据修正和/或图像矫正过程。

优选地，可以基于ORB算法提取运动目标区域的图像特征并进行匹配，提取运动目标区域的图像特征并进行特征匹配。

在进行运动目标区域的图像特征提取前，应先提取运动拼接图像中的运动目标区域。

一种优选的具体方式为以差分运算获得的前景区域二值图像为掩膜，提取相应拼接输入图像的运动目标区域，拼接输入图像和用做掩膜的前景区域二值图像均为经过畸变矫正的图像。

可以通过图像间的二维坐标变换直接进行运动目标区域的图像拼接，选定其中的一帧拼接输入图像作为拼接的参考图像，依次通过相邻图像间的单元矩阵，将其余各图像统一变换到参考图像的坐标系下，由此实现各图像的拼接。

对于以平移运动为主的运动目标，采用下列公式进行相邻运动目标区域I_i(x,y)、I_j(x,y)的图像坐标转换：

其中，x_i、y_i为图像I_i(x,y)相应像素点(x_i，y_i)的坐标值，x_j、y_j为图像I_j(x,y)对应像素点(x_j，y_j)的坐标值，t_x、t_y分别为图像I_i(x,y)和图像I_j(x,y)上对应像素点相应坐标的平移量，依此构成平移变换矩阵。

由于本发明的拼接方法区分了图像序列中的静止帧与运动帧，区分了图像中的静止区域与运动区域，考虑了由于摄像头较近导致的图像畸变，避免了在不满足无穷远假设情况下存在的拼接困难及采用仿射变换模型导致的图像变形，可以得到较为理想的运动目标拼接图像和拼接效果。

附图说明

图1是单个固定摄像头图像序列中的运动目标拼接举例前后的图像对照，其中上图是实际拍摄的图像序列中多个包含运动目标局部的图像，下图采用本方明方法依据上图拼接获得的运动目标完整图像；

图2是本发明总体流程框图；

图3是本发明运动前景检测流程图；

图4是畸变矫正实例，其中左图是通过单一固定摄像头获得的实际图像，右图是依据本发明的方法对左图进行畸变矫正后的图像；

图5是本发明图像特征提取及匹配流程图；

图6是本发明涉及的角点检测圆形模板。

具体实施方式

下面结合附图对本发明做进一步说明。

参见附图1-6，本发明考虑的是运动目标的拼接，拼接对象是图像序列中的运动物体(如图1示)，且所以图像采集过程中的摄像头平移不可忽略，不满足无穷远假设。

由于上述原因，本发明需要解决的关键问题是：(1)区分图像序列中运动帧与静止帧，将包含运动目标的运动帧作为拼接输入。(2)区分图像中的运动区域与静止区域，在图像匹配时，只处理图像中的运动区域。(3)考虑到摄像头距离目标较近会导致图像畸变，需对图像做畸变矫正。(4)选择适当的图像变换模型，实现在不满足无穷远假设情况下对多幅图像的拼接。

本发明包括四个基本步骤：(1)在输入的图像序列中检测包含运动目标的图像帧。(2)对检测到的图像帧做畸变矫正，消除目标变形。考虑到是固定摄像头，畸变矫正参数可通过交互方式预先离线设定。(3)对畸变矫正后图像中的运动区域进行特征提取与匹配。(4)利用匹配结果，计算图像变换参数，完成图像拼接，输出拼接结果。

具体可以分为：

一、运动目标帧检测

从输入的图像序列中，选择用于含有运动目标区域的拼接输入图像，其中用于检测前景区域/运动目标的背景图像是预先给定，这种方式适于本发明的使用场合。

1、运动前景检测

基本的背景差分方法如下式：

其中，I(x,y)、BackImg(x,y)和ForeImg(x,y)分别代表输入图像、背景图像和前景图像，Thr是给定阈值。

由于输入图像和背景图像之间可能存在较大光照差异，直接利用上式通常不能得到理想结果，因此采用两步差分、光照补偿的方法实现更为鲁棒的前景检测。

其流程如附图2，包括：

(1)在粗背景差分步骤。使用较小的阈值Thr1完成式1定义的前景检测。因为阈值较小，被检测为前景的像素可能并非真正前景，但被检测为背景的像素通常是真正背景。

(2)在光照补偿阶段。对前一步骤被检测为背景的所有像素点(x_i,y_i)，计算背景图像与输入图像间的像素值之比看k_i：

k_i＝I(x_i,y_i)/BackImg(x_i,y_i)

取分布{k_i}的统计量对背景图像的所有像素进行补偿 可以直接取{k_i}的均值，或通过式2所示mean-shift迭代算法，取{k_i}分布的峰值点。

其中，t为迭代次数，高斯核函数半径h可设为1，初始值可取{k_i}的均值，当时上式收敛(例如，ε可设为0.01)，即得到{k_i}分布的峰值点，依此峰值作为式2中的

(3)在细背景差分步骤，给定较大的阈值Thr2，对输入图像和补偿后的背景图像再次进行差分，得到最终的前景图像。

这样，可以得到更为准确的运动前景检测结果。阈值Thr1和Thr2通过经验设定，例如Thr1＝25，Thr2＝1.6*Thr1，如此通常可得到较好结果。

2、目标帧选择

得到前景检测结果后，可通过前景区域大小判断图像中是否包含运动目标，从而选取拼接输入图像。

一种简单方法是查看前景区域面积占整个图像的比例，若比例较大则表明包含运动目标。

对于附图1所示的卡口货车拼接应用，目标以水平方向运动为主，可利用前景图像的水平与竖直投影，得到更为可靠的结果：

其中，sign(λ)是符号函数(当λ大于等于0时函数值为1，小于0时为-1)，width、height是图像的宽、高。

上式中，首先对前景图像做水平方向投影，得到hist(x)，然后再做竖直方向投影，得到目标投影占比proj_ratio。若proj_ratio大于Thr4，则认为图像包含运动目标。

对于通过卡口的货车的拼接，可设Thr3＝0.3，Thr4＝0.5。

则当货车进入卡口视野，并且目标投影占比超过50％时(proj_ratio>0.5)，可以将该帧作为拼接起始帧；而当货车驶离卡口视野，目标投影占比开始小于50％时作为拼接结束帧，中间以采样间隔frame_interval得到其它拼接输入帧，对于每秒25帧、正常速度行驶的过卡货车视频，可设frame_interval＝5，这种拼接输入图像的选择方式更为简单。

3、畸变矫正

畸变矫正的目的在于消除由于摄像头距离目标较近而导致的变形，可采用如下畸变模型：

I′(x+δx,y+δy)＝I(x,y)

δx＝x(ar²+br⁴)+2cxy+d(r²+2x²)

δy＝y(ar²+br⁴)+c(r²+2y²)+2dxy

r²＝x²+y² 式4

其中，I、I′分别是畸变矫正前、后的图像，δx、δy中的前面一项称为径向畸变项，后面的项称为切向畸变项，a、b、c、d是相应的系数，根据经验或参照理论计算获得。

通常情况下，模型可简化为只包含径向畸变项中的二次项，即只考虑参数a(-1＜a＜1)。

当图像沿径向负向畸变，导致四周区域较中心呈压缩效果时，称为桶形畸变；反之称为枕形畸变。

摄像头距离目标较近时，一般表现为桶形畸变，因此矫正时，需设a>0以消除图像沿径向负向导致的变形。

具体可通过交互方式(如拖动滑动条)选定合适的a，以得到满意的矫正效果。

如附图4，经过矫正，图像中的目标边缘由曲线恢复为直线。

对于固定摄像头，畸变参数只需离线设置一次即可。

4、特征提取与匹配

基于ORB(oriented FAST and rotated BRIEF)算法提取图像特征并进行匹配。

考虑到运动目标拼接的特殊性，首先定位图像中的运动区域，然后检测运动区域中的角点，确定角点主方向，得到具有旋转不变性的特征描述子，最后匹配图像特征。

如图5给出了一种处理流程具体，包括：

(1)运动区域定位

在前面的运动前景检测步骤中，可以得到运动前景二值图像，同样对该二值图像做畸变矫正，可以得到矫正后的运动前景二值图像，以之为掩模，进行下面的特征提取操作。

(2)角点检测

角点检测采用快速FAST算子，利用一个固定大小的圆形模板，如图6所示。设模板的中心像素点为P，其灰度值为I_p，比较圆形模板圆周上16个像素点的灰度值与I_p的大小关系，如果这16个像素点中，有M个连续点，其像素值均大于I_p+t或均小于I_p-t(t为给定的阈值)，那么就认为，中心点P是一个角点，也即特征点。通常情况，t＝40，M＝9。

(3)确定主方向

然后采用灰度质心法计算特征点主方向，将特征点与其邻域质心之间的偏移向量作为该特征点的主方向。

首先计算特征点邻域灰度矩的质心位置，特征点邻域矩定义如下：

θ＝arctan(m₀₁,m₁₀) 式5

其中，x,y是特征点邻域内以特征点为原点的像素位置坐标，I(x,y)为点(x,y)处的灰度值，r为圆形邻域半径，m_pq称为p+q阶矩(p,q为非负整数)，m₀₀是0阶矩，m₁₀,m₀₁是1阶矩，C为质心，θ即是特征点到质心偏移向量的角度，以此作为特征点的主方向，以便下一步得到具有供旋转不变性的特征描述子。

(4)特征点描述

ORB算法以改进的BRIEF(Binary robust independent elementary features)描述子作为特征描述方法，主要改进是对BRIEF添加了方向信息。在特征点邻域内随机选取n个点对(X_k,Y_k)，做如下二值测试，并将n个测试结果构成二值字串。

其中，I表示图像灰度，f_n(I)即是BRIEF描述子，n一般取256，构成一个256bit的二值特征描述子。

以下为BRIEF描述子添加方向信息。对每个点对(X_k,Y_k)，如下定义2×2n维矩阵S，并根据特征点主方向角θ，构造旋转矩阵R_θ，对S进行矫正得到S_θ，进而得到具有旋转不变性的特征描述子g_n(I,θ)。

S＝[X₁,Y₁,X₂,Y₂,...,X_n,Y_n]

S_θ＝R_θS＝[X₁′,Y₁′,X₂′,Y₂′,...,X_n′,Y_n′]

(5)特征匹配

基于前面得到的ORB二值特征描述子，可通过汉明距离计算两个特征点间的特征距离。

其中，G₁和G₂分别表示两个特征点的描述子，表示它们的汉明距离，越小，表示这两个特征点的相似程度越高。通过计算图像对中所有ORB特征点间的特征距离，得到每个特征点的最近邻与次近邻特征点，计算到最近邻与次近邻特征点的特征距离比值，若比值比小于给定阈值时Thr5，则认为该特征点与其最近邻点相匹配。通常情况，Thr5可设为0.6。

5、图像拼接

通过运动目标检测，得到拼接输入图像序列，对序列中前后相邻的两帧图像依次做特征提取与匹配，便可计算出拼接变换参数。

对于本发明所考虑的运动目标拼接应用，由于不满足无穷远假设，通常不能采用前述方法(将各输入图像二维坐标反投影到统一的三维空间再投影到二维图像平面)。因此应直接通过图像间的二维坐标变换进行拼接。设输入图像序列为I_i,i＝1,2,...N，相邻图像I_i和I_i+1间的变换矩阵(即单应矩阵)为M_i,i+1。

不妨以第一幅图像I₁作为参考，则拼接过程为：用矩阵M_1,2，对I₂进行变换，用矩阵M_1,2*M_2,3对I₃进行变换(即I₃到I₂的变换与I₂到I₁的变换的复合)，依次类推，将各幅图像都统一到I₁的坐标系下。一般地，单应矩阵可定义为如下的仿射变换形式：

其中，参数(a_i,j,b_i,j,c_i,j,d_i,j,e_i,j,f_i,j,)可通过图像I_i、I_j间的匹配特征点坐标解出。但是，由于变换复合时矩阵乘法产生的误差累计，随着输入图像数量的增多，会导致在拼接结果中出现严重的图像变形。

考虑到图像序列中的运动目标以平移运动为主，且图像经过畸变矫正，故将上述单应矩阵简化为只包含位移向量，则图像间的坐标变换简化为下式所示的平移变换，变换复合时的矩阵乘法蜕化为向量加法，从而避免了随输入图像增多所产生的图像变形。

其中，参数T＝(t_x,t_y)可由图像I_i、I_j间的匹配特征点的坐标向量之差得到。

为避免特征错误匹配对平移变换参数计算造成的不利影响，同样可利用前述mean-shift迭代方法得到较为鲁棒的计算结果。设图像间有N对匹配特征点，由此可计算出N个平移变换参数{T_i|i＝1,2,...N}，与式2完全类似，以{T_i}的均值作为初值，可迭代计算出{T_i}的分布极值点将作为图像间的平移变换参数，对图像进行变换，再经羽化等融合处理就可得到最终的拼接结果。

综上，本发明针对单个固定摄像头图像序列中运动目标的拼接应用，提出一种自动方法：首先，从图像序列中检测出包含运动目标的图像帧；其次，消除图像畸变；然后，对于图像中的运动区域利用ORB算法实现图像特征提取与匹配；最后，采用平移变换模型完成图像拼接。该方法区分了图像序列中的静止帧与运动帧，以及图像中的静止区域与运动区域，考虑了由于摄像头较近导致的图像畸变，避免了在不满足无穷远假设情况下存在的拼接困难，以及采用仿射变换模型导致的图像变形，可以得到较为理想的拼接结果。

本发明公开的各优选和可选的技术手段，除特别说明外及一个优选或可选技术手段为另一技术手段的进一步限定外，均可以任意组合，形成若干不同的技术方案。

Claims (9)

1.一种基于单个固定摄像头图像序列的运动目标拼接方法，其特征在于包括下列步骤：

对源自单个固定摄像头的输入图像序列，检测出前景区域和/或背景区域；

识别出图像中的前景区域是否为运动目标形成的前景区域或含运动目标的前景区域，即运动目标区域；

以含有运动目标区域的输入图像帧为目标图像帧，用作拼接输入图像；

矫正和/或消除运动目标区域的畸变；

提取运动目标区域的图像特征并进行特征匹配；

根据匹配结果和相应的匹配关系，计算图像变换参数，进行运动目标区域的图像拼接，由此形成完整的运动目标图像，采用预先确定的背景图像，采用两步差分方式识别出输入图像中的前景区域，

差分运算公式为：

其中，I(x,y)、BackImg(x,y)和ForeImg(x,y)分别代表输入图像、背景图像和前景图像在像素点(x,y)的值，像素点(x,y)是指坐标为(x,y)的像素点，Thr为差分运算所用的阈值，

第一步差分为粗背景差分，采用较小的阈值Thr1进行差分运算，使被检测为背景的像素点确为背景像素点，允许被检测为前景的部分像素点并非真正的前景像素点；

第二步差分为细背景差分，采用较大的阈值Thr2和光照补偿后的背景图像，获得光照补偿后的前景检测结果，

采用下列方式对背景图像进行光照补偿：计算粗差分中被检测为背景的全部像素点(x_i,y_i)的输入图像的值与背景图像的值之比k_i，获得分布{k_i}，

k_i＝I(x_i,y_i)/BackImg(x_i,y_i)

其中，i是粗差分中被检测为背景的全部像素点的编号，

以下列公式对背景图像的所有像素点(x,y)进行光照补偿运算：

其中BackImg(x,y)、BackImg’(x,y)分别为光照补偿前、后背景图像在像素点(x,y)的值，为能够体现光照导致图像变化总体状况的分布{k_i}的一个统计量用为光照补偿系数。

2.如权利要求1所述的运动目标拼接方法，其特征在于为分布{k_i}的均值，或者采用下列方式进行mean-shift迭代算法，取分布{k_i}的峰值点：

其中，t为迭代次数，h为高斯核函数半径，k_t的初始值取{k_i}的均值，当时，上式收敛，依此得到{k_i}分布的峰值点，其中，ε为收敛阈值。

3.如权利要求1所述的运动目标拼接方法，其特征在于依据前景区域相对于图像的大小比例判断前景区域是否为运动目标区域。

4.如权利要求3所述的运动目标拼接方法，其特征在于对于以水平方向运动为主的运动目标，利用前景图像的水平与竖直投影，进行图像是否含有运动目标的判断，具体计算方式为：

对前景图像做水平方向投影，依据下列公式计算获得水平投影直方图hist(x)：

再做竖直方向投影，依据下列公司计算获得图像中前景区域的面积占比proj_ratio：

其中，sign(λ)是符号函数，当λ大于等于0时，函数值为1，当λ小于0时，函数值为-1，

width和height是分别为图像的宽和高，

Thr3和Thr4为设定的相关阈值，

若proj_ratio大于或者大于等于设定的阈值Thr4，判断该图像中的前景区域是运动目标区域，即该图像含有运动目标区域，否则认为该图像不含运动目标区域。

5.如权利要求1所述的运动目标拼接方法，其特征在于进行畸变矫正运算，获得畸变矫正系数。

6.如权利要求1-5任一所述的运动目标拼接方法，其特征在于基于ORB算法提取运动目标区域的图像特征并进行匹配，提取运动目标区域的图像特征并进行特征匹配。

7.如权利要求6所述的运动目标拼接方法，其特征在于在进行运动目标区域的图像特征提取前，先提取运动拼接图像中的运动目标区域，具体方式为以差分运算获得的前景区域二值图像为掩膜，提取相应拼接输入图像的运动目标区域，拼接输入图像和用做掩膜的前景区域二值图像均为经过畸变矫正的图像。

8.如权利要求7所述的运动目标拼接方法，其特征在于通过图像间的二维坐标变换直接进行运动目标区域的图像拼接，选定其中的一帧拼接输入图像作为拼接的参考图像，依次通过相邻图像间的单元矩阵，将其余各图像统一变换到参考图像的坐标系下，由此实现各图像的拼接。

9.如权利要求8所述的运动目标拼接方法，其特征在于对于以平移运动为主的运动目标，采用下列公式进行相邻运动目标区域的图像坐标转换：

其中，x_i、y_i为图像I_i(x,y)相应像素点(x_i，y_i)的坐标值，x_j、y_j为图像I_j(x,y)对应像素点(x_j，y_j)的坐标值，t_x、t_y分别为图像I_i(x,y)和图像I_j(x,y)上对应像素点相应坐标的平移量，依此构成平移变换矩阵。