CN101189878A - 计算用于图像处理的变换参数 - Google Patents

Abstract

本发明涉及用于获取变换参数的方法。可以通过如下步骤来对相机运动建模：提供描述被估计运动矢量的运动矢量的矢量场；将该矢量场投影到至少一个轴上；以及根据该矢量场的投影导出这些变换矢量参数。由于可以通过平移、尺度和旋转来建模相机运动，可以使用该矢量场到轴上的投影。

Description

计算用于图像处理的变换参数

本发明总体上涉及一种用于获取变换参数的方法。

本发明还涉及一种用于获取变换参数的计算机程序和计算机程序产品。此外，本发明涉及用于获取变换参数的设备，以及用于获取运动矢量变换参数的方法在视频压缩系统中的使用。

运动估计在许多图像处理领域中是重要的。例如，在视频压缩过程中，有必要预测连续视频帧中的像素值。这种预测允许在接收器中计算像素值而不必通过传输信道传输这些像素值。预测的目的在于最小化与实际像素值的总差值，以便允许接收器计算出最佳的可能图像。最小化被预测像素值的总差值后，需要对数量显著减少的数据进行编码和传输，以重构原始帧。

图像数据包括通过矢量场进行的预测值和误差或残差。残差的量取决于矢量场的精度。矢量场是对像素值运动模型的一种描述。

在de Haan，Biezen的文献“Sub-pixel motion estimation with3-D recursive search block-matching(用三维递归搜索块匹配进行子像素运动估计)”(Signal Processing：Image Communications6，1994，pp.229-239)中记载了如何获取矢量场。

但是，从矢量场获取变换参数的计算量是很大的。

因此，本发明的一个目的是提供以降低的计算量获取变换参数的方法。本发明的另一个目的是提供一种用于运动预测的优化运动模型。本发明的再一个目的是提供一种改进的图像压缩方法。

本发明的这些和其他目的是通过用于从矢量场获取变换参数的方法来实现的，所述方法将该矢量场投影到至少一个轴上，并根据该矢量场的投影导出变换参数。

例如，描述图像(尤其是视频图像)中被估计的运动矢量的矢量场可以通过使用普通的运动预测方法得到。例如平移、尺度和旋转的变换参数可以通过将矢量场投影到至少一个轴上来获取。该矢量场可以由矢量组成。这些矢量可以由至少两个分量(例如一个x分量和一个y分量)组成。x分量可以与y分量垂直。该矢量场可以在具有相应轴的坐标系统内加以描述。一个轴可以是x轴，另一个轴可以是y轴。也可以使用其他坐标系统。所述变换参数可以描述运动模型参数。这些变换参数可以用来生成矢量场。当矢量场投影到至少一个轴上时，可以轻易地获取这些变换参数，优选地，矢量场投影到两个轴上。特别情况下，当把矢量场中的矢量投影到坐标系统的每个轴上并且使用所有的导出函数时，可以轻易地得到这些变换参数。

所述矢量可以由至少两个分量组成，每个轴对应一个分量。每个分量可以与坐标系统的一个轴平行。然后，到这些轴的投影允许得到矢量场内矢量的各分量。

通过将矢量场投影到至少一个轴上，可以分开这些变换参数。例如，使用投影可以分开尺度参数、平移参数和旋转参数。在这些投影中，可以得到乘数值和平均值，其可以用来相应地计算增益(例如尺度参数或旋转参数)和/或偏移量(例如平移参数)。

例如，在一些应用中，更容易处理运动模型参数(例如在必须稳定自制的视频序列的情况下)。这可能需要关于平移和旋转参数的知识。计算完这些参数后，可以对整幅图像进行平移和旋转。这可以比单独处理这些矢量得到更好的结果。

此外，这样的运动矢量场可能并不总是精确的，因此依照实施例寻找运动模型参数可以平均掉例如偏差和/或异常值之类的误差。当运动矢量场精确时，序列中的目标可能具有与相机不同的运动，这会导致复杂的运动矢量场。如果目标的运动足够小，那么由于上述同样的原因，可以平均掉这些目标的运动。总的来说，依照实施例的运动模型参数可以表示全局运动。

根据所述投影，可以得到全部的变换参数。例如，依照实施例，利用矢量在所有轴上的所有投影可以计算位移方程。该变换方程的矩阵具有未知的元素，但是可以通过三角公式来获取这些元素。例如，矢量场投影的乘数和平均值可以根据曲线拟合方法来得到。例如，通过计算基于到某直线距离的最小二乘误差直线拟合、或者多项式拟合方法或者指数拟合方法。这可以允许计算增益和偏移量，即尺度/旋转和平移。这种实施例是对复杂度进行优化(即简单实现和快速执行)的例子。该实施例的输出可以是偏移量和增益。

依照其他的实施例，可以通过使用投影的原函数来获取这些值。依照实施例，这些原函数可以通过欧拉法得到。

借助原函数可以计算投影的面积，其与所述乘数有关。如果不考虑平均值或平移参数，那么投影的总面积与原函数的极值有关。原函数的极值可能位于其导数函数为零的点上。一旦找到了原函数的极值，就可以计算该乘数值。

由于通常用平移、尺度和旋转来对运动进行建模，并且该运动最常由相机运动而引入，因此依照实施例，这些平移参数代表了相机运动的整体模型。

依照实施例，也可以应用递归方法。基于矢量变换参数的矢量场可以被重构，并且反馈回初始的运动估计以便计算矢量场。

另一个实施例给出通过使用递归计算来计算变换参数。可以使用上述实施例来获取变换参数。然后，将这些参数用于重构矢量场。在这个被重构的矢量场内，可以标识出原始矢量场中的异常值。可以屏蔽这些异常值。利用矢量场中的这些被屏蔽的异常值，可以计算新的矢量变换参数得到更好的结果。

本发明的另一方面是计算机程序，该计算机程序可操作来使处理器在运行时通过如下步骤获取变换参数：获取描述图像中的被估计运动矢量的运动矢量的矢量场；将矢量场投影到至少一个轴上；根据矢量场的投影导出变换参数。

本发明的另一方面是具有计算机程序的计算机程序产品，该计算机程序可操作来使处理器在运行时通过如下步骤获取变换参数：获取矢量场；将矢量场投影到至少一个轴上；根据矢量场的投影导出变换参数。

本发明的另一方面是被配置用于获取变换参数的设备，该设备包括：被配置用于获取矢量场的估计装置；被配置用于将矢量场投影到至少一个轴上的投影装置；被配置用于根据矢量场的投影导出变换参数的计算装置。

本发明的另一方面是如权利要求1所述的方法在视频压缩中的使用。

本发明的这些和其他方面根据下述附图会显而易见，并且将参照下述附图进行阐述。

在附图中：

图1显示了依照实施例的发明方法的流程图；

图2显示了用于提供依照实施例的发明方法的设备；

图3显示了矢量x分量到x轴和y轴上的投影；

图4显示了矢量y分量到x轴和y轴上的投影；

图5显示了矢量场的尺度变换；

图6显示了矢量场的旋转变换；

图7显示了增益和投影函数的关系。

图1显示了用于从视频图像中获取变换参数的方法的流程图。

大部分像素运动是由相机运动造成的。因此，改善运动估计的一个途径是提供一种相机运动的整体模型。这个运动可以通过平移、尺度和旋转值来进行建模。平移、尺度和旋转可以通过数学模型来描述，下面将对此进行解释。下面列出了一些变量：

v_q(bx，by)：位置(bx，by)上矢量的q分量

pv_q(r)：作为r的函数的矢量的q分量的投影

bq：矢量场的矢量索引

N_bq：q方向上的矢量数

q和r：或者为x或者为y

x：矢量场的x轴分量

y：矢量场的y轴分量

x’：运动估计后矢量场的被变换的x分量

y’：运动估计后矢量场的被变换的y分量

Θ：旋转角度

s：尺度参数

t：平移参数

假设轴的原点位于图像帧的中心，那么可将平移描述为：

[x′y′]＝[xy]+[t_xt_y]＝[xy]+T

可将尺度变换描述为

$\left[x^{\′}{y}^{\′}\right]=\left[\mathrm{xy}\right]\left[\begin{array}{cc}{s}_x& 0\\ 0& s_y\end{array}\right]$

特别在视频处理领域，通常尺度参数可以由相机的光学性质限定，并且像素的高宽比等于1。在这种情况下，尺度参数s可以是单一的参数。那么，上述方程简化为

[x′y′]＝[xy]s

可将相机的旋转描述为

$\left[x^{\′}{y}^{\′}\right]=\left[\mathrm{xy}\right]\left[\begin{array}{cc}\cos \mathrm{\Θ}& \sin \mathrm{\Θ}\\ -\sin \mathrm{\Θ}& \cos \mathrm{\Θ}\end{array}\right]=\left[\mathrm{xy}\right]R\left(\mathrm{\Θ}\right).$

总的变换可以依照下式通过旋转、尺度和平移来描述。

[x′y′]＝[xy]sR(Θ)+T。

为了计算这些变换参数，需要运动估计矢量的矢量场。因此，依照常见的方法计算(100)这个矢量场。利用这个矢量场，执行矢量场的x分量在x轴上的投影(102)。可以将该投影描述为

${\mathrm{pv}}_x\left(\mathrm{bx}\right)=\frac{1}{N_{\mathrm{by}}}\underset{\mathrm{by}}{\overset{N_{\mathrm{by}}}{\mathrm{\Σ}}}{v}_x(\mathrm{bx},\mathrm{by}).$

可以进一步将矢量场的x分量投影到y轴上(104)，可以将该投影描述为

${\mathrm{pv}}_x\left(\mathrm{by}\right)=\frac{1}{N_{\mathrm{bx}}}\underset{\mathrm{bx}=1}{\overset{N_{\mathrm{bx}}}{\mathrm{\Σ}}}{v}_x(\mathrm{bx},\mathrm{by}).$

图3中示出了x分量在各轴上的投影。图中给出了含有被估计的运动矢量V(x，y)302的矢量场300。可以将每个矢量V(x，y)302分成x分量302a和y分量302b。可以将图像分割成各列304和各行306。

可以将每列304投影到x轴上。将每列304中所有矢量的矢量x分量的平均值视为投影pv_x(colum)。所有列的投影得到投影函数pv_x(x)308。

可以将每行306投影到y轴上。将每行306中所有矢量的矢量x分量的平均值视为投影pv_x(row)。所有行的投影得到投影函数pv_x(y)310。

得到的投影函数pv_x(x)308和pv_x(y)310表示运动估计矢量场300中矢量的x分量的平均值。

除了矢量场的x分量，也可以对矢量场的y分量进行投影。可以将x轴上的投影(106)描述为

${\mathrm{pv}}_y\left(\mathrm{bx}\right)=\frac{1}{N_{\mathrm{by}}}\underset{y=1}{\overset{N_{\mathrm{by}}}{\mathrm{\Σ}}}{v}_y(\mathrm{bx},\mathrm{by})$

并且将y轴上的投影(108)描述为

${\mathrm{pv}}_y\left(\mathrm{by}\right)=\frac{1}{N_{\mathrm{bx}}}\underset{x=1}{\overset{N_{\mathrm{bx}}}{\mathrm{\Σ}}}{v}_y(\mathrm{bx},\mathrm{by}).$

图4中示出了y分量在轴上的投影。相同的附图标记代表相同的元素，例如400指的是300等等。

图中给出了含有被估计的运动矢量V(x，y)402的矢量场400。可以将每个矢量V(x，y)402分成x分量402a和y分量402b。可以将图像分割成各列404和各行406。

可以将每列404投影到x轴上。将每列404中所有矢量的矢量y分量的平均值视为投影pv_y(colum)。所有列的投影得到投影函数pv_y(x)408。

可以将每行406投影到y轴上。将每行306中所有矢量的矢量y分量的平均值视为投影pv_y(row)。所有行的投影得到投影函数pv_y(y)410。

得到的投影函数pv_x(x)308和pv_y(x)310表示矢量场300中矢量的x分量的平均值。

当对矢量场施加尺度变换和平移时，可以将其重写为

v_xv_y＝[x′y′]-[xy]

[v_xv_y]＝[xy](s-1)+T

经过尺度变换和平移的x分量到x轴上的投影可以描述为

${\mathrm{pv}}_x\left(x\right)=\frac{1}{N_y}\underset{y=-\frac{N_y}{2}}{\overset{\frac{N_y}{2}}{\mathrm{\Σ}}}(x(s-1)+t_x)$

pv_x(x)＝x(s-1)+t_x

它是x的一阶函数，式中尺度参数s是个乘数，平移t_x等于平均值。

此外，矢量场的x分量到y轴上的投影可以揭示

${\mathrm{pv}}_x\left(y\right)=\frac{1}{N_x}\underset{x=-\frac{N_x}{2}}{\overset{\frac{N_x}{2}}{\mathrm{\Σ}}}(x(s-1)+t_x)$

pv_x(y)＝t_x

式中，平移t_x是个常量。另外，矢量场的y分量到x轴上的投影可以揭示

${\mathrm{pv}}_y\left(x\right)=\frac{1}{N_y}\underset{y=-\frac{N_y}{2}}{\overset{\frac{N_y}{2}}{\mathrm{\Σ}}}(y(s-1)+t_y)$

pv_y(x)＝t_y

式中，平移t_y是个常量。最后，矢量场的y分量到y轴上的投影可以揭示

${\mathrm{pv}}_y\left(y\right)=\frac{1}{N_x}\underset{x=-\frac{N_x}{2}}{\overset{\frac{N_x}{2}}{\mathrm{\Σ}}}(y(s-1)+t_y)$

pv_y(y)＝y(s-1)+t_y

它是y的一阶函数，式中尺度参数s是个乘数，平移t_y等于平均值。上述方程表明，可以根据矢量场到轴上的投影的性质来导出平移和尺度参数。增益/乘数(tan)与尺度参数或旋转参数有关，而投影函数的平均值可以表示平移。

除了平移和尺度变换，还可以描述相机的旋转。可以将由旋转引起的矢量场的位移描述为

v_xv_y＝[x′y′]-[xy]

[v_xv_y]＝[xy](R-I)+T

R涉及旋转矩阵，I是单位矩阵，T表示平移。

可以将矢量场的x分量到x轴上的投影描述为

${\mathrm{pv}}_x\left(x\right)=\frac{1}{N_y}\underset{y=-\frac{N_y}{2}}{\overset{\frac{N_y}{2}}{\mathrm{\Σ}}}(x(\cos \mathrm{\Θ}-1)-y\sin \mathrm{\Θ}+t_x)$

pv_x(x)＝x(cosΘ-1)+t_x

可以将矢量场的x分量到y轴上的投影描述为

${\mathrm{pv}}_x\left(y\right)=\frac{1}{N_x}\underset{x=-\frac{N_x}{2}}{\overset{\frac{N_x}{2}}{\mathrm{\Σ}}}(x(\cos \mathrm{\Θ}-1)-y\sin \mathrm{\Θ}+t_x)$

pv_x(y)＝y(cosΘ-1)+t_x

可以将矢量场的y分量到x轴上的投影描述为

${\mathrm{pv}}_y\left(x\right)=\frac{1}{N_y}\underset{y=-\frac{N_y}{2}}{\overset{\frac{N_y}{2}}{\mathrm{\Σ}}}(x\sin \mathrm{\Θ}+y(\cos \mathrm{\Θ}-1)+t_y)$

pv_y(x)＝xsinΘ+t_y

并且可以将矢量场的y分量到y轴上的投影描述为

${\mathrm{pv}}_y=\frac{1}{N_x}\underset{y=-\frac{\mathrm{Nx}}{2}}{\overset{\frac{N_x}{2}}{\mathrm{\Σ}}}(x\sin \mathrm{\Θ}+y(\cos \mathrm{\Θ}-1)+t_y)$

pv_y(y)＝y(cosΘ-1)+t_y

综上所述显然可知，可以通过矢量场的投影的性质来确定旋转。每个投影都由乘数和作为变换参数的旋转角度组成。

可以由下面的位移方程来描述总的变换

v_xv_y＝[xy](sR(Θ)-I)+T

$\left[v_x{v}_y\right]=\left[\mathrm{xy}\right]\left[\begin{array}{cc}s\cos \mathrm{\Θ}-1& s\sin \mathrm{\Θ}\\ -s\sin \mathrm{\Θ}& s\cos \mathrm{\Θ}-1\end{array}\right]+T$

可以认为变换矩阵的元素s和θ满足

$\left[\begin{array}{cc}s\cos \mathrm{\Θ}-1& s\sin \mathrm{\Θ}\\ -s\sin \mathrm{\Θ}& s\cos \mathrm{\Θ}-1\end{array}\right]=\left[\begin{array}{cc}{m}_1& m_2\\ -m_2& m_1\end{array}\right]$

其参数可以根据三角公式来确定

sin²Θ+cos²Θ＝1

m₂ ²+(m₁+1)²＝s²

在已经计算了矢量分量到各轴上的投影之后，可以计算(110)这些投影的乘数和平均值以便获取变换参数。

图5示出了尺度变换与投影函数的相关性。图中给出了矢量场500，其图像通过缩放进行尺度变换。根据x分量到x轴上的投影函数pv_x(x)和y分量到y轴上的投影函数pv_y(y)可知，尺度因子s与投影函数的角度有着密切的关系。这个关系是tan＝(s-1)。尺度变换对于y分量到x轴上的投影函数pv_y(x)和x分量到y轴上的投影函数pv_x(y)没有影响。

图6示出了旋转变换与投影函数的相关性。图中给出了矢量场600，其图像经过角度为θ的旋转变换。由图可知，旋转与x分量到x轴上的投影函数pv_x(x)的角度₁以及y分量到x轴上的投影函数pv_y(x)的角度₂有着密切的关系。此外，旋转与x分量到y轴上的投影函数pvx(y)的角度₂以及y分量到y轴上的投影函数pv_y(y)的角度₁有着密切的关系。这个关系是tan₁＝cosθ-1和tan₂＝sinθ。

可以通过使用这些投影的原函数来获取这些增益和乘数值。采用原函数可以确定与乘数有关的投影的面积。不考虑平均值或平移参数的结果是，投影的总面积与原函数的极值有关。

从投影函数中减去平均值之后，可以得到原函数的极值点，这允许计算出增益和乘数。例如，图7示出了投影函数与增益/乘数之间的关系。图中给出了x分量到x轴上的投影函数pv_x(x)700。首先，由于平均值t_x代表平移，可以将该值去除。得到的函数702可以仅仅表示增益。

投影函数702的面积可以与增益有关。使用带递归加法器的欧拉方法对函数702进行积分可以得到原函数704。函数704的最大值可以与增益有关。

在具体条件下，例如当仅考虑被投影到x轴上的矢量场的x分量时，得到

${\mathrm{Pv}}_x\left(\mathrm{bx}\right)=\underset{i=-\frac{N_{\mathrm{bx}}}{2}}{\overset{\mathrm{bx}}{\mathrm{\Σ}}}(({\mathrm{pv}}_x\left(i\right)-t_x)\·{\mathrm{bs}}_x)$

${\mathrm{Pv}}_x\left(\mathrm{bx}\right)=\underset{i=-\frac{N_{\mathrm{bx}}}{2}}{\overset{\mathrm{bx}}{\mathrm{\Σ}}}(m_{1}i\·{\mathrm{bs}}_x)$

式中bs_x矢量的关联块尺寸。原函数的极值位于其导数函数为零的点上。在这种情况下，它是零。在零点处，原函数为

${\mathrm{Pv}}_x\left(0\right)=\underset{i=-\frac{N_{\mathrm{bx}}}{2}}{\overset{0}{\mathrm{\Σ}}}(m_{1}i\·{\mathrm{bs}}_x)$

${\mathrm{Pv}}_x\left(0\right)=\frac{-\left(\frac{N_{\mathrm{bx}}}{2}(\frac{N_{\mathrm{bx}}}{2}+1)\right)}{2}{m}_1\·{\mathrm{bs}}_x$

其意味着一旦找到了原函数的极值，就可以通过上述方程计算乘数。可以使用到其他轴上的投影来得到所有其他的值。

图2示出了用于执行平移参数计算的设备。在终端200处输入一个输入视频信号。在运动估计电路202中估计运动矢量。可以在输入视频信号的连续帧上进行运动矢量的估计。例如，使用三幅连续的图像允许确定三幅连续帧上像素的运动矢量。利用被估计的运动矢量，运动估计器202输出描述像素的运动的矢量场。将这个输出馈送到投影电路204。投影电路204将运动矢量的分量投影到坐标系统的轴上。投影电路204的输出是运动矢量到各轴上的相应投影的值。在计算电路206中利用这个投影来获取平移参数。在计算电路206中，计算出矢量场的投影的乘数和平均值。这可以通过采用多项式拟合方法或者投影的原函数来完成。这也可以通过欧拉方法来完成。计算电路206的输出是用于描述相机运动的运动模型的变换参数。

所述变换模型的精度取决于矢量场的精度。它还取决于矢量场的一致性。当帧中的目标运动而不是相机运动时，该变换模型的精度有所降低。

所述参数在输出终端208处输出。

Claims (18)

1.用于从矢量场获取变换参数的方法，包括：

-将该矢量场投影到至少一个轴上；以及

-根据该矢量场的投影导出这些变换参数。

2.权利要求1的方法，其中通过描述图像中的运动的被估计运动矢量来描述该矢量场。

3.权利要求1的方法，其中该矢量场包括含有至少一个第一分量和至少一个第二分量的矢量，并且其中该第一分量与第一轴平行，其中该第二分量与第二轴平行。

4.权利要求3的方法，其中将至少一个分量投影到至少一个轴上至少分离出尺度参数。

5.权利要求4的方法，其中根据到至少一个轴上的投影的至少一个乘数来计算该尺度参数。

6.权利要求3的方法，其中将至少一个分量投影到至少一个轴上至少分离出平移参数。

7.权利要求6的方法，其中根据到一个轴上的投影的平均值来计算该平移参数。

8.权利要求3的方法，其中将至少一个分量投影到至少一个轴上至少分离出旋转参数。

9.权利要求78的方法，其中根据到至少一个轴上的投影的至少一个乘数来计算该旋转参数。

10.权利要求1的方法，其中通过施加到这些投影上的曲线拟合算法来获取这些变换参数。

11.权利要求1的方法，其中通过这些投影的原函数来获取这些变换参数。

12.权利要求11的方法，其中该原函数是欧拉函数。

13.权利要求11的方法，其中根据该原函数的极值计算至少一个参数。

14.权利要求1的方法，其中这些变换参数表示相机运动的整体模型。

15.一种计算机程序，可操作来使处理器在运行时通过以下步骤获取变换参数：

-获取矢量场；

-将该矢量场投影到至少一个轴上；以及

-根据该矢量场的投影导出这些变换参数。

16.一种含有计算机程序的计算机程序产品，该计算机程序可操作来使处理器在运行时通过以下步骤获取变换参数：

-获取矢量场；

-将该矢量场投影到至少一个轴上；以及

-根据该矢量场的投影导出这些变换参数。

17.被配置用于获取变换参数的设备，包括：

-被配置用于获取矢量场的估计装置；

-被配置用于将该矢量场投影到至少一个轴上的投影装置；以及

-被配置用于根据该矢量场的投影导出这些变换参数的计算装置。

18.依照权利要求1的方法在视频压缩中的使用。

Images