CN105427347B - 一种图像序列全局运动估计方法及装置 - Google Patents

Abstract

本发明涉及一种图像序列全局运动估计方法及装置，属于计算机视觉技术领域。本发明采集连续两帧图像作为目标图像，并将上述两帧序列图像进行列方向和行方向的灰度投影；对行和列方向上的灰度投影进行均匀分块，对行或列方向上某一偏移位置下的各块的匹配误差进行计算，再根据图像中局部运动所占的比例，抛弃匹配较差的块，将剩余块的匹配误差和作为该位置下的匹配度量；计算最小匹配度量的偏移位置，该偏移位置即为全局运动的估计结果。本发明根据局部运动在图像中可能占的比例，抛弃灰度投影匹配较差的行或列，保证了方法对局部运动的鲁棒性，可以有效避免局部运动对全局运动估计的影响。

Description

一种图像序列全局运动估计方法及装置

技术领域

本发明涉及一种图像序列全局运动估计方法及装置，属于图像处理技术领域。

背景技术

图像运动估计在图像处理领域有相当广泛的应用，例如在视频编码、图像校正等发面。运动估计是指分析两幅或多幅图像的相关景象之间的位置差异，以得到摄像机或所拍摄物体的运动矢量。全局运动是指图像帧之间图像场景的运动，通常是由摄像机运动形成的，而图像帧间物体相对于场景的运动称之为局部运动。全局运动估计技术广泛应用于基于运动的图像分割、图像拼接和视频压缩等领域。

目前，常见的全局运动估计方法有块匹配、特征匹配和灰度投影等算法。其中，灰度投影算法，通过将二维图像压缩成行和列上两个独立的一维向量进行匹配，最大程度地压缩了参与运算的数据量，从而获得远优于块匹配和特征匹配等算法的实时性能，得到广泛应用。然而，由于灰度投影算法将局部运动像素同样进行了投影和匹配，所以，当局部运动像素超过一定程度时，该算法难以克服局部运动的干扰，无法获得精确的全局运动估计结果。

发明内容

本发明的目的是提供一种图像序列全局运动估计方法及装置，以解决灰度投影方法在在图像局部运动像素占较大比例时无法获取精确全局运动估计的问题。

本发明为解决上述技术问题提供了一种图像序列全局运动估计方法，该估计方法的步骤如下：

1)采集连续两帧图像作为目标图像，并将上述两帧序列图像进行列方向和行方向的灰度投影；

2)对行和列方向上的灰度投影进行均匀分块，计算行和列方向上某一偏移位置下的各块的匹配误差；

3)根据图像中局部运动所占的比例，抛弃匹配误差较大的块，将剩余块的匹配误差和作为该偏移位置下的匹配度量，计算最小匹配度量的偏移位置，该偏移位置即为全局运动的估计结果。

所述步骤2)中列方向上偏移位置k处的各块的匹配误差为：

其中：

DCol(j,k)＝|ColA_j-ColB_j+k|

dx(k,p)＝{DCol(j,k)|j∈[K₁+1+(p-1)*W,K₁+p*W]}

W＝floor((N-K₁-K₂)/P)

Sx(k,p)为块p在列方向上水平偏移为k的匹配误差，P为列方向上均匀分块的块数，ColA_j为图像A第j列的灰度投影，ColB_j+k为图像A第j列偏移k的灰度投影，N为图像A和图像B的水平方向的上的宽度，[K₁,K₂]为图像A和图像B之间在水平方向上的相对偏移范围，floor表示对浮点数用舍去法取整。

所述步骤2)中行方向上偏移位置l处的各块的匹配误差为：

其中：

DRow(i,l)＝|RowA_i-RowB_i+l|

dy(l,q)＝{DRow(i,l)|i∈[L₁+1+(q-1)*H,L₁+q*H]}

H＝floor((M-L₁-L₂)/Q)

Sy(l,q)为块q在行方向上垂直偏移为l的匹配误差，Q为行方向上均匀分块的块数，RowA_i为图像A第i行的灰度投影，RowB_i+l为图像B第i行偏移l处的灰度投影，M为图像A和图像B的垂直方向的上的高度，[L₁,L₂]为图像A和图像B之间在垂直方向上的相对偏移范围，floor表示对浮点数用舍去法取整。

所述步骤3)中匹配度量包括列方向上和行方向上，列方向上的匹配度量Mx(k)和行方向上的匹配度量My(l)分别为：

S＝(1-V/N)*P

T＝(1-U/M)*Q

其中Sx(k,s)为{Sx(k,p)|p∈[1,P]}由小到大排序得到有序集合，V为图像中局部运动所占的列数，Sy(l,t)为{Sy(l,q)|q∈[1,Q]}由小到大排序得到的有序集合，U为图像中局部运动所占的最大行数为U。

所述步骤2)中均匀分块的块数可根据精度要求和计算能力进行调整。

本发明还提供了一种图像序列全局运动估计装置，该估计装置包括灰度投影转换模块、匹配误差计算模块和偏移位置确定模块，

所述灰度投影转换模块用于将采集到连续两帧图像进行列方向和行方向的灰度投影；

所述匹配误差计算模块用于对行和列方向上的灰度投影进行均匀分块，计算行和列方向上某一偏移位置下的各块的匹配误差；

所述偏移位置确定模块用于根据图像中局部运动所占的比例，抛弃匹配误差较大的块，将剩余块的匹配误差和作为该偏移位置下的匹配度量，计算最小匹配度量的偏移位置，该偏移位置即为全局运动的估计结果。

所述匹配误差计算模块所计算的列方向上偏移位置k处的各块的匹配误差为：

其中：

DCol(j,k)＝|ColA_j-ColB_j+k|

dx(k,p)＝{DCol(j,k)|j∈[K₁+1+(p-1)*W,K₁+p*W]}

W＝floor((N-K₁-K₂)/P)

Sx(k,p)为块p在列方向上水平偏移为k的匹配误差，P为列方向上均匀分块的块数，ColA_j为图像A第j列的灰度投影，ColB_j+k为图像A第j列偏移k的灰度投影，N为图像A和图像B的水平方向的上的宽度，[K₁,K₂]为图像A和图像B之间在水平方向上的相对偏移范围，floor表示对浮点数用舍去法取整。

所述匹配误差计算模块所计算的行方向上偏移位置l处的各块的匹配误差为：

其中：

DRow(i,l)＝|RowA_i-RowB_i+l|

dy(l,q)＝{DRow(i,l)|i∈[L₁+1+(q-1)*H,L₁+q*H]}

H＝floor((M-L₁-L₂)/Q)

Sy(l,q)为块q在行方向上垂直偏移为l的匹配误差，Q为行方向上均匀分块的块数，RowA_i为图像A第i行的灰度投影，RowB_i+l为图像B第i行偏移l处的灰度投影，M为图像A和图像B的垂直方向的上的高度，[L₁,L₂]为图像A和图像B之间在垂直方向上的相对偏移范围，floor表示对浮点数用舍去法取整。

所述匹配度量包括列方向上和行方向上，列方向上的匹配度量Mx(k)和行方向上的匹配度量My(l)分别为：

S＝(1-V/N)*P

T＝(1-U/M)*Q

其中Sx(k,s)为{Sx(k,p)|p∈[1,P]}由小到大排序得到有序集合，V为图像中局部运动所占的列数，Sy(l,t)为{Sy(l,q)|q∈[1,Q]}由小到大排序得到的有序集合，U为图像中局部运动所占的最大行数为U。

所述匹配误差计算模块在对行和列方向上的灰度投影进行均匀分块的块数可根据精度要求和计算能力进行调整。

本发明的有益效果是:本发明首先采集连续两帧图像作为目标图像，并将上述两帧序列图像进行列方向和行方向的灰度投影；然后对行和列方向上的灰度投影进行均匀分块，对行或列方向上某一偏移位置下的各块的匹配误差进行计算，再根据图像中局部运动所占的比例，抛弃匹配较差的块，将剩余块的匹配误差和作为该位置下的匹配度量；最后计算最小匹配度量的偏移位置，该偏移位置即为全局运动的估计结果。本发明根据局部运动在图像中可能占的比例，抛弃灰度投影匹配较差的行或列，保证了方法对局部运动的鲁棒性，可以有效避免局部运动对全局运动估计的影响。而且本发明对灰度投影匹配进行分块累加和排序筛选，使方法鲁棒的同时依然保有较高的计算效率和实时性。

附图说明

图1是本发明图像序列全局运动估计方法的实施例用图A；

图2是本发明图像序列全局运动估计方法的实施例用图B。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步的说明。

本发明的一种图像序列全局运动估计方法的实施例

本发明的估计方法在灰度投影算法的基础上，对行和列方向上的灰度投影进行均匀分块，对行或列方向上某一偏移位置下的各块的匹配误差进行排序，然后根据图像中局部运动所占的比例，抛弃匹配较差的块，将剩余块的匹配误差和作为该位置下的匹配度量，计算最小匹配度量的偏移位置，该偏移位置即为全局运动的估计结果。下面以采集到的连续两帧图像A和B为例进行说明，图像A和B的尺寸均为M×N(高×宽)，图像A和图像B之间在水平方向上的相对偏移范围为，在垂直方向上的相对偏移范围为，图像中局部运动所占的最大行数为U，图像中局部运动所占的列数为V。该方法的具体实施例步骤如下：

1.分别对图像A和B进行列方向和行方向上的灰度投影：

其中，G_A(i,j)为图像A中坐标(i,j)处的像素灰度，G_B(i,j)为图像B中坐标(i,j)处的像素灰度，RowA_i为图像A第i行的灰度投影，ColA_j为图像A第j列的灰度投影，RowB_i为图像B第i行的灰度投影，ColB_j为图像B第j列的灰度投影。

2.计算列方向上偏移位置k下的各块的匹配误差

首先对列方向上的灰度投影进行均匀分块，对于有：

Dx(k)＝{DCol(j,k)|j∈[K₁+1,N-K₂]}，DCol(j,k)＝|ColA_j-ColB_j+k|；

将集合Dx(k)等分成P个相同大小的子集dx(k,p)，p＝1,2,...,P,每个子集含有W个元素：

dx(k,p)＝{DCol(j,k)|j∈[K₁+1+(p-1)*W,K₁+p*W]}；p＝1,2,...,P；

W＝floor((N-K₁-K₂)/P)；

floor表示对浮点数用舍去法取整。

其中，P的取值，理论上可以是[1,N-K₁-K₂]区间的任意整数。但是，P越小精度越差，计算越快；P越大精度越高，计算越慢。为达到精度和计算效率的平衡，建议P取20。实际应用中，可以根据精度要求和计算能力进行调整。对各子集dx(k,p)中的元素进行求和，得到Sx(k,p)即为偏移位置k块p的匹配误差。

3.对得到各块匹配误差Sx(k,p)进行由小到大的排序，得到有序集合{Sx(k,s)|s∈[1,P]}，对Sx(k,s)≤Sx(k,s+1)，取该有序集合前S个元素进行求和，得到偏移k处的匹配度量Mx(k)。

S＝(1-V/N)*P。

4.计算列方向上最小匹配度量的偏移位置

对于k∈[K₁,K₂]，取得最小Mx(k)匹配度量者，即为图像场景水平方向上的运动偏移：

5.计算行方向上偏移位置l下的各块的匹配误差

行方向上的偏移位置

Dy(l)＝{DRow(i,l)|l∈[L₁+1,M-L₂]}，DRow(i,l)＝|RowA_i-RowB_i+l|；

将集合Dy(l)等分成Q个相同大小的子集dy(l,q)，q＝1,2,...Q，每个子集含有H个元素：

dy(l,q)＝{DRow(i,l)|i∈[L₁+1+(q-1)*H,L₁+q*H]}；q＝1,2,...,Q；

H＝floor((M-L₁-L₂)/Q)；

其中，Q的取值，理论上可以是[1,M-L₁-L₂]区间的任意整数。但是，Q越小精度越差，计算越快；Q越大精度越高，计算越慢。为达到精度和计算效率的平衡，建议Q取20。实际应用中，可以根据精度要求和计算能力进行调整。对各子集dy(l,q)中的元素进行求和，得到Sy(l,q)即为偏移位置l块q的匹配误差。

6.对得到各块匹配误差{Sy(l,q)|q∈[1,Q]}进行由小到大的排序，得到有序集合{Sy(l,t)|t∈[1,Q]}，对Sy(l,t)≤Sy(l,t+1)，取该有序集合前T个元素进行求和，得到偏移l处的匹配度量My(l)。

T＝(1-U/M)*Q

7.计算行方向上最小匹配度量的偏移位置

对于l∈[L₁,L₂]，取得最小My(l)匹配度量者，即为图像场景垂直方向上的运动偏移：

8.矢量[xr,yr]即为图像B相对于A的全局运动估计结果。

本发明的一种图像序列全局运动估计装置的实施例

该估计装置包括灰度投影转换模块、匹配误差计算模块和偏移位置确定模块，灰度投影转换模块用于将采集到连续两帧图像进行列方向和行方向的灰度投影；匹配误差计算模块用于对行和列方向上的灰度投影进行均匀分块，计算行和列方向上某一偏移位置下的各块的匹配误差；偏移位置确定模块用于根据图像中局部运动所占的比例，抛弃匹配误差较大的块，将剩余块的匹配误差和作为该偏移位置下的匹配度量，计算最小匹配度量的偏移位置，该偏移位置即为全局运动的估计结果。各模块具体的实现方式已在方法的实施例中进行了详细说明，这里不再赘述。

采用本发明对附图1和附图2所示的A、B两幅图像进行全局运动估计，图像尺寸为640×480，图像水平和垂直方向上的运动范围均设为[-50,+50],图像中局部运动横竖方向所占比例均设为30％。全局运动估计矢量结果为[-35，-1]，与手动对准结果相同，可以看出本发明有效地排除了场景中运动目标的干扰。本发明根据局部运动在图像中可能占的比例，抛弃灰度投影匹配较差的行或列，保证了方法对局部运动的鲁棒性。而且，本发明对灰度投影匹配进行分块累加和排序筛选，使方法鲁棒的同时依然保有较高的计算效率和实时性。

Claims (8)

1.一种图像序列全局运动估计方法，其特征在于，该估计方法的步骤如下：

1)采集连续两帧图像作为目标图像，并将上述两帧序列图像进行列方向和行方向的灰度投影；

2)对行和列方向上的灰度投影进行均匀分块，计算行和列方向上某一偏移位置下的各块的匹配误差；

3)根据图像中局部运动所占的比例，抛弃匹配误差较大的块，将剩余块的匹配误差和作为该偏移位置下的匹配度量，计算最小匹配度量的偏移位置，该偏移位置即为全局运动的估计结果；

所述步骤2)中列方向上偏移位置k处的各块的匹配误差为：

其中：

DCol(j,k)＝|ColA_j-ColB_j+k|

dx(k,p)＝{DCol(j,k)|j∈[K₁+1+(p-1)*W,K₁+p*W]}

W＝floor((N-K₁-K₂)/P)

Sx(k,p)为块p在列方向上水平偏移为k的匹配误差，P为列方向上均匀分块的块数，ColA_j为图像A第j列的灰度投影，ColB_j+k为图像A第j列偏移k的灰度投影，N为图像A和图像B的水平方向的上的宽度，[K₁,K₂]为图像A和图像B之间在水平方向上的相对偏移范围，floor表示对浮点数用舍去法取整。

2.根据权利要求1所述的图像序列全局运动估计方法，其特征在于，所述步骤2)中行方向上偏移位置l处的各块的匹配误差为：

其中：

DRow(i,l)＝|RowA_i-RowB_i+l|

dy(l,q)＝{DRow(i,l)|i∈[L₁+1+(q-1)*H,L₁+q*H]}

H＝floor((M-L₁-L₂)/Q)

Sy(l,q)为块q在行方向上垂直偏移为l的匹配误差，Q为行方向上均匀分块的块数，RowA_i为图像A第i行的灰度投影，RowB_i+l为图像B第i行偏移l处的灰度投影，M为图像A和图像B的垂直方向的上的高度，[L₁,L₂]为图像A和图像B之间在垂直方向上的相对偏移范围，floor表示对浮点数用舍去法取整。

3.根据权利要求1所述的图像序列全局运动估计方法，其特征在于，所述步骤3)中匹配度量包括列方向上和行方向上，列方向上的匹配度量Mx(k)和行方向上的匹配度量My(l)分别为：

S＝(1-V/N)*P

T＝(1-U/M)*Q

其中Sx(k,s)为{Sx(k,p)|p∈[1,P]}由小到大排序得到有序集合，V为图像中局部运动所占的列数，Sy(l,t)为{Sy(l,q)|q∈[1,Q]}由小到大排序得到的有序集合，U为图像中局部运动所占的最大行数为U。

4.根据权利要求1所述的图像序列全局运动估计方法，其特征在于，所述步骤2)中均匀分块的块数可根据精度要求和计算能力进行调整。

5.一种图像序列全局运动估计装置，其特征在于，该估计装置包括灰度投影转换模块、匹配误差计算模块和偏移位置确定模块，

所述灰度投影转换模块用于将采集到连续两帧图像进行列方向和行方向的灰度投影；

所述匹配误差计算模块用于对行和列方向上的灰度投影进行均匀分块，计算行和列方向上某一偏移位置下的各块的匹配误差；

所述偏移位置确定模块用于根据图像中局部运动所占的比例，抛弃匹配误差较大的块，将剩余块的匹配误差和作为该偏移位置下的匹配度量，计算最小匹配度量的偏移位置，该偏移位置即为全局运动的估计结果；

所述匹配误差计算模块所计算的列方向上偏移位置k处的各块的匹配误差为：

其中：

DCol(j,k)＝|ColA_j-ColB_j+k|

dx(k,p)＝{DCol(j,k)|j∈[K₁+1+(p-1)*W,K₁+p*W]}

W＝floor((N-K₁-K₂)/P)

Sx(k,p)为块p在列方向上水平偏移为k的匹配误差，P为列方向上均匀分块的块数，ColA_j为图像A第j列的灰度投影，ColB_j+k为图像A第j列偏移k的灰度投影，N为图像A和图像B的水平方向的上的宽度，[K₁,K₂]为图像A和图像B之间在水平方向上的相对偏移范围，floor表示对浮点数用舍去法取整。

6.根据权利要求5所述的图像序列全局运动估计装置，其特征在于，所述匹配误差计算模块所计算的行方向上偏移位置l处的各块的匹配误差为：

其中：

DRow(i,l)＝|RowA_i-RowB_i+l|

dy(l,q)＝{DRow(i,l)|i∈[L₁+1+(q-1)*H,L₁+q*H]}

H＝floor((M-L₁-L₂)/Q)

Sy(l,q)为块q在行方向上垂直偏移为l的匹配误差，Q为行方向上均匀分块的块数，RowA_i为图像A第i行的灰度投影，RowB_i+l为图像B第i行偏移l处的灰度投影，M为图像A和图像B的垂直方向的上的高度，[L₁,L₂]为图像A和图像B之间在垂直方向上的相对偏移范围，floor表示对浮点数用舍去法取整。

7.根据权利要求6所述的图像序列全局运动估计装置，其特征在于，所述匹配度量包括列方向上和行方向上，列方向上的匹配度量Mx(k)和行方向上的匹配度量My(l)分别为：

S＝(1-V/N)*P

T＝(1-U/M)*Q

其中Sx(k,s)为{Sx(k,p)|p∈[1,P]}由小到大排序得到有序集合，V为图像中局部运动所占的列数，Sy(l,t)为{Sy(l,q)|q∈[1,Q]}由小到大排序得到的有序集合，U为图像中局部运动所占的最大行数为U。

8.根据权利要求5所述的图像序列全局运动估计装置，其特征在于，所述匹配误差计算模块在对行和列方向上的灰度投影进行均匀分块的块数可根据精度要求和计算能力进行调整。