CN1084471C - 估测光流量的局部张弛法 - Google Patents

Abstract

一种应用泊松方程估测光流量的局部张弛法。该分法包括以下步骤：a)根据时间变化以线性矩阵Gx＝Ex+b确定泊松方程；b)将泊松方程的确定的速度组合项解耦；c)将瞬时变化的偏移帧差值用于速度组合项被解耦的泊松方程。因而收敛速度比应用传统技术得到的快。在应用偏移帧差值的情况下，收敛值准确，并且每个象素中的运动可被估测以强化图像质量。在视频代码的情况下，可应用运动向量的一部分即低频带信号的运动向量求得压缩增益。

Description

估测光流量的局部张弛法

本发明涉及一种光流量估测的局部张弛(local relaxation)法(LR)，特别是涉及一种应用泊松(Poisson)方程(解耦)通过速度组合项对光流量估测的LR法。

最近光流量估测的局部张弛法(LR)的应用比高斯-塞德尔(Gauss-Seidel)法显示出更良好的性能。但是，因为运用了其中解决光流量估测问题的泊松方程，LR的直接应用会导致相对缓慢的收敛。

局部张弛算法(LR)很好地应用于估测光流量，在连续图像帧中，光流量是亮度帧面的表观速度场。LR甚至可以与新的正则法一起应用，这种新的正则法使用了对正则参数不敏感的一种多因子方法。LR是一种具有空间变化张弛参数的连续过张弛方法(SOR)，当用于光流量估测时，SOR比高斯-塞德尔张弛(GS)性能更好。然而，LR对光流量估测的直接应用也会降低它的性能。这是因为光流量场的两个速度分量是固有地耦合成一组耦合的泊松方程。这组泊松方程的解耦就能清楚地看到是如何以雅可比(Jacobi)张弛项来表达每一个解耦后的速度分量以帮助我们选择一个更好的局部张弛因子。

如果这类问题是表达成有边界值的问题，则LR能应用于光流量。这种表达式从亮度约束方程出发，亮度约束方程来自如下假设：在连续图像帧的时间间隔中，局部亮度帧面不变，如下式(1)所示：

    I(x+δx，y+δy，t+δt)＝I(x，y，t)                   (1)

这意味着一个围绕着一个图像点(x，y)的强化帧面在时间间隔δt内移动了(δx，δy)的量而不改变其帧面。把(1)式右边部分展开并略去其高次项，得出下式(2)。

    I(x+δx，y+δy，t+δt)＝I(x，y，t)+δxI_x+δyI_x+δxI_t    (2)

式中，I_x、I_y、I_t分别代表一个明暗度帧面在时间t和位置(x，y)上的水平、垂直和瞬时梯度。

将式(1)和(2)组合并除以δt，得出如下梯度和速度之间的线性关系式。

    I_xu+I_yv+I＝0                                            (3)

式中u和v分别是水平速度

和垂直速度

线性方程(3)可用来测量局部速度向量。然而，由于众所周知的隙缝问题，这样一组亮度约束方程对于通常图像序列来说是高度病态的。为了克服这个缺陷，豪恩(Horn)和逊克(Schunck)引入了平滑度约束，导出了如下最优化方程(4)。 $\∫\∫{(I_{x}u+I_{y}v+I_t)}^2+{\mathrm{\α}}^2\{{\left(\frac{\mathrm{\θu}}{\mathrm{\θx}}\right)}^2+{\left(\frac{\mathrm{\θu}}{\mathrm{\θy}}\right)}^2+{\left(\frac{\mathrm{\θv}}{\mathrm{\θx}}\right)}^2+{\left(\frac{\mathrm{\θv}}{\mathrm{\θy}}\right)}^2\}\mathrm{dxdy}----\left(4\right)$

上式(4)中的第2项使对速度场的平滑度的差值恶化，而常数α²是两种约束之间的折衷值。

从最优化方程(4)直接导出如下耦合的泊松方程组： ${\▿}^{2}u=\frac{1}{{\mathrm{\α}}^2}{I}_x(I_{x}u+I_{y}v+I_t)---\left(5\right)$ ${\▿}^{2}v=\frac{1}{{\mathrm{\α}}^2}{I}_y(I_{x}u+I_{y}v+I_t)$

式中α表示常数。每一个耦合的泊松方程都可以应用诸如雅可比张弛法(JR)、高斯-塞德尔张弛法(GS)、连续过张弛法(SOR)等。大线性系统的逆问题的迭代法来求解，由于方程式(5)右侧项中的空间梯度，方程式(5)就具有空间变化系数，因此，很难用SOR法确定最优张弛参数。在这种情况下，LR法就可以用来迭代地求解方程。

假设导出的方程组中的一个方程式具有恒定的张弛系数，在应用LR法得到良好性能之前，方程组(5)可以先用整体变换预以解耦。但当最优平滑度常数α很大时，因为方程组(5)的耦合项很小，所以这种方法显示的性能与没解耦的性能很相似。常数α通常很大，这是因为实际运动场对运动约束的差值大于其对平滑度约束的差值。但是，如果偏移帧之差是用以减小运动约束误差的话，所希望的最优平滑度约束就将很小，以致于解耦的效果不能忽略。

下面介绍一下局部张弛法。定义水平(垂直)前置(forward-shift)和后置(backward-shift)算子E_x和E_x ^-1(E_y和E_y ^-1)。

    E_xu(x，y)＝u(x+h，y)  E_x ^-1u(x，y)＝u(x-h，y)

    E_yu(x，y)＝u(x，y+h)  E_y ^-1u(x，y)＝u(x，y-h)            (6)式中h是分辨距离。并且，定义迭置算子(supprposed shift operator)E为： $E=\frac{1}{4}(E_x+E_x^{-1}+E_y+E_y^{-1})---\left(7\right)$ 被用平滑度常数归一化以简化方程组的各梯度表示如下： $r_x=\frac{I_x}{a},r_y=\frac{I_y}{a},r_t=\frac{I_t}{a}---\left(8\right)$ 然后，应用复合置换算子E和归一化的梯度，方程组(5)可以表示为：

Eu＝(1+r_x ²)u+r_xr_yv+r_xr_t

                                                           (9)

Ev＝r_yr_xu+(1+r_y ²)v+r_yr_t

如果每个方程式中的耦合项，例如，对“u”场方程式中的r_xr_yv被忽略，则可以求得下列雅可比张弛式并用以求解方程式(9)。 $u^{n+1}=\frac{1}{1+{r_x}^2}({\mathrm{Eu}}^n-r_x{r}_y{v}^n-r_x{r}_t)$ $v^{n+1}=\frac{1}{1+r_y^2}({\mathrm{Ev}}^n-r_y{r}_x{u}^{n+1}-r_y{r}_t)---\left(10\right)$ 在这种情况下，每个分量的雅可比算子，即J_u和J_v，可以表示如下： $J_u=\frac{1}{1+r_x^2}E,J_v=\frac{1}{1+r_y^2}E---\left(11\right)$ 它们的局部光谱半径是： ${\mathrm{\ρ}}_u=\frac{1}{1+r_x^2}{\mathrm{\ρ}}_E,{\mathrm{\ρ}}_v=\frac{1}{1+r_y^2}{\mathrm{\ρ}}_E---\left(12\right)$ 其中，如果图像尺寸是M×N，则ρ_E为 ${\mathrm{\ρ}}_E=\frac{1}{2}(\cos \frac{\mathrm{\π}}{M+1}+\cos \frac{\mathrm{\π}}{N+1})---\left(13\right)$

这里，当水平梯度大于垂直梯度时，则水平运动场“u”将比垂直运动场的收敛为快，反之亦然。当雅可比算子的光谱半径根据空间梯度随空间变化时，LR可用来求得下列方程(14)， $u^{n+1}=(1-w_u)u^n+\frac{w_n}{1+r_x^2}({\mathrm{Eu}}^n-r_x{r}_y{v}^n-r_x{r}_t)$ $v^{n+1}=(1-w_v)v^n+\frac{w_v}{1+r_y^2}({\mathrm{Ev}}^n-r_y{r}_x{u}^n-r_y{r}_t)---\left(14\right)$ 式中局部张弛参数由下式给出 $w_u=\frac{2}{1+\sqrt{1-{\mathrm{\ρ}}_u^2}},w_N=\frac{2}{1+\sqrt{1-{\mathrm{\ρ}}_v^2}}---\left(15\right)$

如上所述，由于方程(9)被耦合，LR对方程(9)的直接应用降低了收敛速度。

本发明的目的是提供一种局部张弛法，藉助它泊松方程可以解耦，该解耦值被用于局部张弛中以得到快速的收敛速度并估测光流量。

为了完成本发明的上述目的，提供了一种应用泊松方程来估测光流量的局部张弛法，其包括以下步骤：a)根据时间变化以线性矩阵Gx＝Ex+b确定泊松方程；b)把泊松方程的所确定的速度组合项解耦；和c)将瞬时变化的偏移帧差值应用于速度组合表达式解耦后的泊松方程。

在步骤b中最好应用整体变换函数。

进一步根据本发明的上述目的，还提出了一种视频数据编码设备，包括：输入装置用于接收两个或更多的表示图像序列的视频数据帧；以及光流量估测电路，它与输入装置连接，用于应用泊松方程估测在视频数据的帧内的光流量，该光流量估测电路包括：用于根据时间变化而以线性矩阵Gx＝Ex+b确定泊松方程的装置；用于把泊松方程的确定的速度组合项解耦的装置；和用于把瞬时变化的偏移帧差值应用于其中速度组合项被解耦的泊松方程的装置。

再进一步根据本发明的上述目的，提供了一种碰撞报警(collision alarm)系统，包括：输入装置，用于接收两个或更多的表示图像序列的视频数据帧；光流量估测电路，它与输入装置连接，并用于应用泊松方程估测在视频数据的帧内的光流量，该光流量估测电路包括：根据时间变化以线性矩阵Gx＝Ex+b确定泊松方程的装置；把泊松方程的确定的速度组合项解耦的装置；和用于把瞬时变化的偏移帧差值应用于其中速度组合项被解耦的泊松方程的装置；结构分析电路，它与光流量估测电路的一个输出端连接，用于获得图像序列内的一个或更多的移动目标的结构；运动分析电路，它与光流量估测电路的一个输出端连接，用于确定在图像序列内目标的相对运动；以及推理电路，它与结构分析电路和运动分析电路的输出端连接，用于确定至少在两个目标之间是否将发生碰撞，并相应输出一个碰撞报警信号。

通过参照附图对本发明的详细描述，本发明的上述目的与优点将变得更加清楚，附图中：

图1是表示根据本发明应用泊松方程估测光流量的局部张弛法的流程图；

图2是表示根据平滑度约束的迭代特性的图；

图3a表示第一个人造图像序列“Sinewave(正弦波)”；

图3b表示相应于图3a的Sinewave的运动场；

图4a表示一个实际纹理图像“Pebbles(卵石)”；

图4b表示从具有图3b所示的运动场的图像“Pebbles”插值的第二个帧；

图5a是根据平滑度常数的使用绝对误差的“Sinewave”序列的结果；

图5b是根据平滑度常数的使用绝对误差的“Pebbles”序列的结果；

图6a是人造的“Sinewave”序列的收敛速度结果；

图6b是人造的“Pebbles”序列的收敛速度结果；

图7a在一个汽车序列第311帧中围绕脸部64×64部分的结果；

图7b在一个汽车序列第312帧中围绕脸部64×64部分的结果；

图8a是表示偏移帧差值的MAE与运动向量梯度幅值的关系曲线，和对应于汽车序列的脸部的其曲线的相对幅值；

图8b是表示对应于汽车序列的脸部的向稳态被估测运动场收敛的图；

图9a是用于对脸部的稳态运动场的检验的帧311；

图9b是用于对脸部的稳态运动场的检验的迭加在帧312的运动场；

图9c表示应用用于对脸部的稳态运动场的检验的稳态运动场从帧311插值的帧；

图9d是用于对脸部的稳态运动场的检验的帧312；

图9e表示帧311与312之间的帧差值；

图9f表示帧312与插值的帧之间的帧差值；

图10a表示围绕汽车序列的帧311的窗部的64×64部分；

图10b表示围绕汽车序列的帧312的窗部的64×64部分；

图11a是表示了偏移帧差值的MAE与运动向量梯度幅值的关系曲线，和对应于汽车序列的窗部的其曲线的相对幅值；

图11b是表示对应于汽车序列的窗部的向稳态被估测运动场收敛的图；

图12a是用于对窗部的稳态运动场的检验的帧311；

图12b是用于对窗部的稳态运动场的检验的迭加在帧312的运动场；

图12c表示应用用对窗部的稳态运动场的检验的稳态运动场从帧311插值的帧；

图12d表示用于对窗部的稳态运动场的检验的帧312；

图12e表示帧311与312之间的帧差值；

图12f表示帧312与插值的帧之间的帧差值；

图13表示根据本发明的包含用于估测光流量的光流量估测电路的DPCM编码器；和

图14表示根据本发明的包含用于估测光流量的光流量估测电路的碰撞报警系统。

涉及估测光流量的局部张弛法的本发明例如可应用于许多诸如DPCM编码器或碰撞报警系统等与视频有关的应用的视频数据编码中。当需要进行多次迭代时，对于有效地处理大宗数据和提供高的计算能力而言，光流量的估测是非常关键的。正如这所公开的那样，快速收敛算法适用于这种应用。

例如，图13表示基本DPCM编码器，它应用于视频编码的光流量估测中。编码器接收一个输入量，诸如待编码的图像系列中的当前帧。该输入量送到减法器10中，它的输出端连接至空间编码器20的输入端。空间编码器20的输出被送到视频解码器(未示出)，同时也被送到空间解码器30的输入端。该输入也被输入到光流量估测电路90中，光流量估测电路90是根据本发明的要求设计与制作的，以后还要更详尽介绍。

光流量估测电路90的输出加到光流量编码器80中，它的输出被送到视频解码器(未示出)，并被送到光流量解码器70上。光流量解码器70的输出端与运动补偿电路60的输入端相连，通过减法器10将运动补偿电路60的输出从输入中减掉，并通过累加器40与空间解码器30的输出相加。累加器40的输出被送到帧存储器50中，它的输出端连接至运动补偿电路60和光流量估测电路90二者的输入端。

进一步参照图13，当前帧是由前一个重构帧来预测的，由诸如块运动算法(BMA)或光流量的任何运动信息可使前一个重构帧变形。运动补偿电路60把帧存储器50中的前一个重构帧变形以预测当前帧。预测的帧在减法器10中从输入的当前帧中减掉，减法器10产生一个预测误差信号，这个信号通常具有比原始输入帧小的熵。该预测误差信号由空间编码器20进一步压缩，这可以用现有技术中所周知的各种算法中任何一种来完成。例如，空间编码器20就可以基于诸如离散余弦变换(DCT)或小波变换(WT)等变换码来完成压缩算法。编码误差信号被解码，然后在累加器40与前一个变形的帧相加，以重构当前帧。

图14表示另一种与本发明有关的实际应用。具体地讲，图14表示一种碰撞报警系统，其中光流量在用于自动车的碰撞探测系统中被估测。视频数据序列被输入到光流量估测器11中，估测的光流量被加到结构分析电路21上，被用以获得移动目标(如车辆)的结构。每一个目标的运动行为在运动分析电路31中进行分析，运动分析电路31连接到光流量估测电路11和结构分析电路21二者的输出端。在对给定景象内的目标的结构和它们各自的运动进行分析的期间内，结构分析电路21和运动分析电路31二者彼此相互交流。分析的信息由推理电路41输出碰撞报警信号。

参照图1，在公式(9)表示的泊松方程的速度组合项以矩阵形式解耦(步骤10)。

通过将速度分量堆积成x＝(u，v)^t，方程(9)可以写成矩阵形式，如：

    Gx＝Ex+b                                              (16)式中2×2矩阵E、G和输入向量“b”为： $E=\left[\begin{array}{cc}E& 0\\ 0& E\end{array}\right],G=\left[\begin{array}{cc}1+r_x^2& r_x{r}_y\\ r_y{r}_x& 1+r_y^2\end{array}\right],b=\left[\begin{array}{c}-r_x{r}_t\\ -r_y{r}_t\end{array}\right]---\left(17\right)$

如果两个空间梯度都为零，也就是说，与α²相比较可以忽略，则每个分量的函数是确切的正弦函数，求得的雅可比张弛算子也将是平常的E。

应用整体变换函数将泊松方程解耦(步骤12)。假设两个空间梯度都不为零，可将矩阵G对角化的整体变换矩阵u可以写成下式： $U=\left[\begin{array}{cc}\frac{r_y}{r}& \frac{-r_x}{r}\\ \frac{r_x}{r}& \frac{r_y}{r}\end{array}\right],A={\mathrm{UGU}}^t=\left[\begin{array}{cc}1& 0\\ 0& 1+r^2\end{array}\right]---\left(18\right)$ 式中

同时，向量“x”和“b”也可以变换成 $U=\left[\begin{array}{c}\frac{r_y}{r}u-\frac{r_x}{r}v\\ \frac{r_x}{r}u+\frac{r_x}{r}v\end{array}\right]=\left[\begin{array}{c}{x}_P\\ x_N\end{array}\right],\mathrm{Ub}=\left[\begin{array}{c}0\\ -{\mathrm{rr}}_t\end{array}\right]---\left(19\right)$

在方程组(19)中，变换后的运动向量的每一个分量都具有物理意义，x_P表示与边沿方向平行的分量，而X_N则是与其垂直的分量。应用整体变换式U，解耦后的雅可比张弛方程式可以写成方程(20)。Ugx＝Uex-UbUGU^tUx＝UEU^tUx-Ub                                          (20) $A=\left[\begin{array}{c}{x}_P\\ x_N\end{array}\right]={\mathrm{UEU}}^t\left[\begin{array}{c}{x}_P\\ x_N\end{array}\right]-\left[\begin{array}{c}0\\ {\mathrm{rr}}_t\end{array}\right]$

现在，如果在局部区域内，速度场是足够地平滑以致近似于线性，则复杂的置换算子矩阵UEU^t可以近似为对角矩阵，并且其元素就是复合算子E。这是因为由于实际上是在邻近象素上的一个平均过程的复合置换算子的耦合效应远远小于由于直接速度分量的耦合效应。最终，每个分量满足下列方程式：

x_p＝Ex_p $x_N=\frac{1}{1+r^2}{\mathrm{Ex}}_N-\frac{{\mathrm{rr}}^t}{1+r^2}---\left(21\right)$

方程组(21)中，速度的平行分量满足齐次差分方程式，其雅可比张弛算子为E，并且对于垂直分量的雅可比算子为

因此，具有常数最优张弛因子的SOR可被应用于平行分量，LR则被应用于具有空间变化系数的垂直分量。 $x_P^{n+1}=(1-w_P)x_P^n+w_P{\mathrm{Ex}}_P$ $x_N^{n+1}=(1-w_N)x_N^n+\frac{w_N}{1+r^2}({\mathrm{Ex}}_N-{\mathrm{rr}}_t)---\left(22\right)$ 式中每一个局部张弛参数可以用下式表示： $w_P=\frac{2}{1+\sqrt{1-{\mathrm{\ρ}}_E^2}}---\left(23\right)$ $w_N=\frac{2}{1+\sqrt{1-{\mathrm{\ρ}}_N^2}},{\mathrm{\ρ}}_N=\frac{{\mathrm{\ρ}}_E}{1+r^2}$

由于因为各向量之间可以整体的彼此变换而使向量(u，v)^r的误差范数与向量Ux的相同，所以若把解耦后的向量Ux的误差最小化将使向量(u，v)^t的误差最小。因此，应用方程组(22)的迭代可以直接用于光流量的估测。每当需要水平和垂直分量u，v时，对于每一个象素所得的向量可用整体矩阵来变换。

然而，因为在普通应用中每一步迭代通常都需要(u，v)^t的表达式，所以方程组(22)需要再进一步改进。用向量表达式，方程组(22)可以改写成： $\left[\begin{array}{c}{x}_P^{n+1}\\ x_N^{n+1}\end{array}\right]=(1-W)\left[\begin{array}{c}{x}_P^n\\ x_N^n\end{array}\right]-{\mathrm{WA}}^{-1}{\mathrm{UEU}}^t(\left[\begin{array}{c}{x}_P^n\\ x_N^n\end{array}\right]+\mathrm{Ub})---\left(24\right)$

把向量Ux再变换成(u，v)^t，方程组(24)两侧都乘以U^t，用于向量场x＝(u，v)^t的新的LR法就可以表示成：

xⁿ⁺¹＝(I-UWU^t)xⁿ+UWU^tG^-1E(xⁿ+b)                             (25)式中局部张弛参数UWU^t可以近似地表示成如下对角矩阵： ${\mathrm{UWU}}^t=\left[\begin{array}{cc}\frac{w_P{r}_y^2+w_N{r}_x^2}{r^2}& \frac{r_x{r}_y(w_N-w_P)}{r^2}\\ \frac{r_y{r}_x(w_N-w_P)}{r^2}& \frac{w_P{r}_x^2+w_N{r}_y^2}{r^2}\end{array}\right]=\left[\begin{array}{cc}{w}_x& 0\\ 0& w_y\end{array}\right]---\left(26\right)$

局部张弛矩阵非对角项比其对角项相对较小，它们实际上不影响迭代的收敛性。

对于每一个速度分量，方程(25)可以改写成下式： $u^{n+1}=(1-w_x)u^n+w_x\{\stackrel{-}{u}-\frac{r_x(r_x\stackrel{-}{u}+r_y\stackrel{-}{v}+r_t)}{1+r_x^2+r_y^2}\}---\left(27\right)$ $v^{n+1}=(1-w_y)v^n+w_y\{\stackrel{-}{v}-\frac{r_y(r_y\stackrel{-}{u}+r_y\stackrel{-}{v}+r_t)}{1+r_x^2+r_y^2}\}$ 式中 u与 v分别是Eu和Ev的缩写。

有兴趣地注意到在提出的迭代方程组(27)的最后一个括号项与豪恩和逊克提出的完全一样。

提出的方程组(27)的形式也可以由按块的(block-wise)连续过张弛方法来获得。如果整个图像的速度向量的堆积向量构成为(u₁，v₁，u₂，v₂，...，u_N，v_N)^t，那末泊松方程组的集合就组成一个大的线性系统，其系统矩阵就具有块对角的分量。藉助这些2×2对角矩阵，就可以应用按块的SOR，于是除了最优化张弛参数外，也可以导出与方程组(27)相同的形式。

将偏移帧差值用于解耦后的泊松方程(步骤14)。理论上很难证明提出的方法，即方程组(27)比现有的方法即方程组(14)会有更好的收敛特性。但是，从稳态误差和收敛性出发，当平滑度常数非常大时，上述两种方法都能推出同样的性能，这是因为耦合项r_xr_y远远小于r_x ²和r_y ²，因此它的作用可以忽略不计。

但是，如果在约定的图像域内测量梯度，例如偏移帧差值被用作瞬时梯度，那么最优平滑度常数就趋于变得更小。由于平滑度常数和运动约束误差与所指的运动场的空间变化的比值高度相关，所以，梯度的高阶导数或运动场的突变可使常数的所需值变小。

下节中，将把偏移帧差值引入到已有的和现在的LR中，以形成两种迭代方法。

有关速度场的先验知识可以从很多方面取得。前面计算的值可以是任何迭代法中的值，高阶或低阶的速度可以是谱系(hierarchical)方法中的速度。用其它方法诸如移动边沿运动或基于任何特性的方法所估测得到的速度也可用作速度的先验知识。任何情况下，应用在使用LR前所需的估测速度，可根据下面方程式来计算亮度守恒条件：

I(x+x_p+(δx-x_p)，y+y_p+(δy-y_p)，t+δt)＝I(x，y，t)              (28)式中(x_p，y_p)是先验估测偏移。

用偏移点(x+x_p，y+y_p)附近的泰勒(Tayler)级数将上式近似，下列方程(29)满足：

I(x+x_p，y+y_p，t+δt)+(δx-x_p)I′_x+(δy-y_p)I′_y＝I(x，y，t)      (29)

并且，将方程(29)预以整理，可得到方程(30)：

{I(x+x_p，y+y_p，t+δt)-I(x，y，t)-x_pI′_x-y_pI′_y+δxI_x+δyI′_y＝0 (30)

这个方程可以被看成具有约定梯度的亮度约束方程式。方程式(30)括号内的前两项组成了偏移帧差值，括号内的各项可被看成为一种外插帧差值。空间梯度也在偏移位置上测得，也可用连续帧的运动补偿的平均值来求得。

通过用平滑度常数进行归一化，具有约定梯度的亮度约束式可以如下式所示地得到，

r_x′u+r_y′v+r_t′＝0                                            (31)式中r_t′＝dfd-r_x′u_p-r_y′v_p。

采用这些梯度，简单地用新的梯度来代替每一个梯度，就可以进行与第2和第3部分中同样过程。因此，可以采用新的梯度来使用已有的LR方程组(14)，以估测光流量。

通过把这些新的梯度应用于提出的方法(22)中，可改进另一种迭代方法。在这种情况下，如果前面计算的值的邻近平均值被用作常规速度，则可以导出一个更为紧凑的形式，即，(u_p，v_p)＝( u， v) $u^{n+1}=\left(1-w_x\right)u^n+w_x\{\stackrel{-}{u}-\frac{r_x^{\′}\mathrm{dfd}}{1+r_x^{\′2}+r_y^{\′2}}\}---\left(32\right)$ $v^{n+1}=(1-w_y)v^n+w_y\{\stackrel{-}{u}-\frac{r_y^{\′}\mathrm{dfd}}{1+r_x^{\′2}+r_y^{\′2}}\}$

注意到上述方程组中的最后括号项与由纳吉尔(Nagel)和恩克尔曼(Enkelmann)提出的形式完全一样，只不过他们考虑的是有方向的平滑度约束。

现在将描述根据本发明的一个实施例。

根据采用的是一般的梯度或是约定的梯度，最优平滑度常数应被调整。它也可以随图像和所指速度场而变化。换句话说，实际速度场和估测速度场之间的误差显示了从稳态和基于平滑度约束的收敛性来考虑的不同特性。

参照图2，为了采用由平滑度常数而引起的不明确度来比较不同的迭代方法，对由各种平滑度常数值产生的稳态误差进行分析，并从中选定给定最小稳态误差的常数。

比较对于两种人造图像序列的四种方法。首先考虑是具有人造运动场的人造图像序列。其次是应用一个实际的纹理图像来产生具有人造运动场的另一个帧。

图3a显示第一个人造图像序列，即“Sinewave”。图像尺寸是64×64象素，其明暗度可用下式算出 $I(x,y)=127\sin \left(\frac{2\mathrm{\πx}}{32}\right)\cos \left(\frac{2\mathrm{\πy}}{32}\right)---\left(33\right)$

“Sinewave”的另一帧是由(1，0)象素转换，旋转6°，放大1.1倍。图3b表示了相应的运动场。

图4a显示一个“Pebbles”的一个实际纹理图像，而图4b显示第二帧，它被插值到具有图3b所述的运动场的实际纹理“Pebbles”中。图4a中所示的实际纹理图像和具有图3b所示的运动场的实际纹理图像被测试以得到一个更为现实的状况。这个序列被称为“Pebbles”。图4b所示的第二帧有点模糊不清，这是因为它是由插值法从实际纹理图像中得到的。

对具有足够平滑度常数以求得平均绝对稳态误差和平滑度常数之间关系式的运动场的稳态误差被测试。并且用B样条插值找到最小位置。

图5a和图5b是相应于平滑度常数的绝对误差。参照图5a和5b，上曲线代表用一般梯度得到的结果，下曲线代表用约定梯度求得的结果。此外，在曲线上的点指出了由B样条插值而得到的最小位置。图5a表示的是对应于“Sinewave”序列图像的结果，图5b则表示的是对应于“Pebbles”序列图像的结果。本发明即后解耦(post-decoupling)法提出的稳态误差与现有的算法(而不是解耦方法)得到的稳态误差完全相同。最终两种算法的稳态误差相同而仅仅收敛特性不同。因此，尽管比较了四种方法，但对于每个图像序列只有两条曲线。

图6a和6b表示对于每种方法的人造序列的收敛速度。参照图6a和6b，上面一对曲线表示的是应用一般梯度的结果，下面一对曲线表示的是应用约定梯度的结果。每对曲线中的虚线曲线显示的是现有方法即非解耦方法的收敛速度，而实线曲线则代表所提出的方法即后解耦的方法。

这里，可以很清楚地理解，尽管后解耦方法的收敛速度比非解耦方法的稍微快些，但它比具有约定梯度的现有方法快得多。应注意的是，应用约定梯度的稳态误差远小于应用一般梯度得到的稳态误差。

由于实际运动场不能被鉴定，所以应该有一种用于选择实际图像序列的最优平滑度常数的准则。应该选择允许在运动约束和平滑度约束之间折衷而不是选择具有最小稳态误差的平滑常数。根据本发明，应用L曲线来选择最优平滑度常数。

首先，研究偏移帧差值的平均绝对误差与对平滑运动场表面即速度场梯度幅值的差值之间的关系。这时，它们是用各种平滑常数来计算的，每个平滑常数插值后求得平滑曲线。选择曲线具有最大曲率的位置，而相应的平滑度常数就用作最优常数。

图7a和图7b表示从所熟知的汽车序列中选出作为实际图像序列的第311和第312帧。选择这对帧是因为在这两帧之间的所指运动看上去非常大。图7a表示的是第311帧的结果，而图7b表示的是第312帧的结果。应用约定梯度对在图7a和图7b中表示的选定帧中的脸部进行测试，以比较非解耦和后解耦方法。这个人正在这两个帧之间向前弯着他的头。

图8a和图8b表示偏移帧差值的平均绝对误差(MAE)与运动向量梯度幅值之间的关系。实线曲线显示的是：增加平滑度常数使运动向量场更为平滑，同时使偏移帧差值加大，反之亦然。这与L曲线所指出的完全相同。然而，当平滑度常数非常小时，通过稍微增加平滑度常数就可以得到对应运动场的平滑度的大增益，同时，偏移帧差值保持几乎不变。与此同时，采用很大的平滑度常数，常数的稍加变化引起偏移帧差值的大的变化，同时运动场的平滑度保持不变。所以，在运动场的平滑度和偏移帧差值之间进行折衷。

图8a中的实线曲线上所标的小圈看上去就是上面讨论的折衷点。这个点通常能够通过计算曲线的曲率来找到。图8中的虚线代表曲率的相对幅值。该小圈就位于这个曲率的峰值上。

通过跟踪从稳态运动场在每一步中计算出的运动场有多少不同来计算收敛速度。这种方法可以用于比较两种方法，这是因为两种方法在稳态期间导致几乎相同的运动场。实际上，它们的欧几里得(Euclidean)距离小于0.05象素/帧。图8b表示两种方法向稳态运动场的收敛有多快。虚线对应于非解耦方法，实线则对应于后解耦方法。该图表示所提出的方法远比已有的方法快。对于相对于小于0.2象素/帧的稳态差值其快两倍。

具有应用图9a所示的方法而选择的平滑度常数的稳态运动场与图8所显示的结果一致。图9c是应用图9b的稳态运动场从图9a的第311帧插值得到的帧，其运动向量是迭加在图9d所示的第312帧上。由于第311帧与第312帧之间的亮度变化，除了插值得到的帧比第312帧稍为亮些外，插值得到的帧与第312帧非常相似。为了进一步验证，将第311帧与第312帧之间的帧差值描绘在图9e上。而图9f则表示第312帧与插值得到的帧之间的差值。为了显示需要，这两个不同的图像用系数3进行γ(gamma)校正。

为了测试用于具有运动边界的实际图像序列的方法，对第311帧和第312帧的窗部进行测试并示于图10。在这些部分中，车外的目标很快由车外通过而车帧的运动却是相对很小。对于脸部进行的相同过程也可适用于窗部。偏移帧差值与平滑度之间的关系用图11a中的实线表示，它的曲率则用虚线表示。最终，平滑度常数被确定为曲率的峰值。这里，与前面一样，用小圈标示曲率的峰值。尽管收敛速度由于运动边界在面部图像序列的情况下并不是很快，但在稳态附近仍快70％，以使相对于稳态运动场的差值小于0.5象素/帧。

为了确认所选的平滑度常数工作良好，图12表示稳态运动场、应用运动场从第311帧中插值所得的图像和差分图像。插值所得的帧除了其中有新的图像从图12c的右侧进入的图像的右侧外，很好地描述了第312帧。图12b中表示的运动场也清晰地表示运动边界。图12e和12f分别表示帧311和其插值后的帧之间的差值。不同的图像用系数2进行γ校正。

如上所述，根据本发明，在将泊松方程组解耦后，应用LR导出一种新的方法。在非解耦法和后解耦法二者都已引入了约定梯度。后解耦法在两个人造图像序列期间表现得比非解耦法为好，并且具有约定梯度的二倍速度。

应用L曲线法，通过选择平滑度常数，采用实际图像序列对具有约定梯度的两种方法进行比较。测试表明，从收敛性来看，后解耦法优于非解耦法。提出的总体建议能够用于任何迭代光流量估测法中。例如，如果在任何体系的运动估测中需要某一迭代，则可在将作为光流量估测问题的总体描述的泊松方程解耦后应用LR。当图像尺寸不是太小，例如4×4时，由于SOR和LR都比GS快，因此，其可以用来估测在一个小的图像片断内的光流量。

如上所述，收敛速度比由传统技术所得的快。此外，在应用偏移帧差值的情况下，收敛值是准确的，并且可以以每个象素估测运动以改善图像质量，而且在视频代码的情况下，通过应用运动向量的一部分，即低频带信号的运动向量，可以求得压缩增益。

Claims (7)

1.一种在视频数据编码设备中采用局部张弛法估测光流量的方法，包括如下步骤：

a)接收两个或多个视频数据帧；

b)根据时间变化来以其元素为速度组合项的线性矩阵确定泊松方程，采用所述泊松方程估测所述视频数据帧内的光流量；

c)解耦所述速度组合项；以及

d)将瞬时变化的偏移帧差值应用于其中所述速度组合项被解耦的所述泊松方程。

2.如权利要求1所述的估测光流量的方法，其中所述步骤c)中应用了整体变换函数。

3.一种视频数据编码设备，包括：

输入装置，用于接收两个或更多的代表图像序列的视频数据的帧；以及

光流量估测电路，与所述输入装置连接，用于应用泊松方程来估测在所述视频数据的帧内的光流量，所述光流量估测电路包括：

用于根据时间变化以其元素为速度组合项的线性矩阵确定所述泊松方程的装置；

用于解耦所述速度组合项的装置；以及

用于将瞬时变化的偏移帧差值应用于其中所述速度组合项被解耦的所述泊松方程的装置。

4.如权利要求3所述的设备，还包括：

运动估测装置，与所述输入装置和所述光流量估测电路的输出端连接，用于所述补偿视频数据的帧中的运动。

5.如权利要求4所述的设备，其中所述运动补偿装置包括：

一减法器，用于从视频数据的当前帧减去视频数据的先前帧，并输出它们之间的差值；

空间编码器，其与所述减法器的输出端连接，用于根据变换编码算法将所述差值编码，以产生一个编码的误差信号；

空间解码器，用于将所述编码的误差信号解码；一个加法器，用于把所述空间解码器的输出加到视频数据信号的第二先前帧，以重构所述当前帧；

一个帧存储器，用于存储所述重构的帧；以及

与所述帧存储器的一个输出端连接以向所述减法器产生和输出所述第一先前帧的装置。

6.如权利要求5所述的设备，其中所述变换算法是离散余弦变换和小波变换中的一个。

7.一种碰撞报警系统，包括：

输入装置，用于接收两个或更多的代表图像序列的视频数据的帧；

光流量估测电路，与所述输入装置连接，用于应用泊松方程估测在所述视频数据的帧内的光流量，所述光流量估测电路包括：

用于根据时间变化来以其元素为速度组合项的线性矩阵确定所述泊松方程的装置；

用于解耦所述速度组合项的装置；以及

用于将瞬时变化的偏移帧差值应用于其中所述速度组合项被解耦的所述泊松方程的装置；

结构分析电路，与所述光流量估测电路的一个输出端连接，用于获得在所述图像序列中的一个或多个运动目标的结构；

运动分析电路，与所述光流量估测电路的所述输出端连接，用于确定在所述图像序列中所述目标的相对运动；以及

推理电路，与所述结构分析电路和所述运动分析电路的一个输出端连接，用于确定在至少两个目标之间是否有可能发生碰撞，并相应地输出一个碰撞报警信号。

Images