CN111652905B - 一种一维块匹配运动估计方法和装置 - Google Patents

Abstract

本发明为一种一维块匹配运动估计方法和装置，包括采集当前帧和前一帧连续两帧图像作为目标；提取当前帧的匹配宏块区域和前一帧的相同位置宏块的最大可能出现区域；使用权重系数矩阵提取当前帧的匹配宏块区域的行方向的特征矩阵、列方向的特征矩阵，及前一帧的相同位置宏块的最大可能出现区域的行方向和列方向的匹配特征矩阵，使用当前帧的特征矩阵与前一帧的相同位置宏块的最大可能出现区域的行方向和列方向的匹配特征矩阵做绝对误差和；使用一维三步搜索法找到最小绝对误差和，最小绝对误差和对应的偏移量为运动估计求出的运动矢量。本发明无需对图像进行二维宏块匹配，降低计算量，避免完整图像投影法的后续的裁剪，简化聚酸复杂度。

Description

一种一维块匹配运动估计方法和装置

技术领域

本发明属于图像处理技术领域，具体地而言为一种一维块匹配运动估计方法和装置。

背景技术

图像运动估计在图像处理领域有广泛的应用，是视频修复和视频压缩的关键技术，主要目的是利用帧间信息修复视频和消除帧间的时间冗余。

目前，常见的全局运动估计方法有块匹配、特征匹配和灰度投影等算法。在这些算法中，由于块匹配算法在计算处理和硬件实现上较为容易。这种二维匹配算法的运算量大，不适合嵌入式实时操作。比之先进的一种图像运动估计方法是基于投影原理，即将一个二维图像的匹配操作简化为两个一维向量的匹配操作，从而大大提高了搜索效率。但是此种图像运动估计方法误差较大，主要原因是两幅图像之间各存在部分内容在另一幅图像中没有出现。这些图像内容的投影影响了图像向量的形状，从而降低了投影向量匹配的精度。

发明内容

本发明所要解决的技术问题在于提供一种一维块匹配运动估计方法和装置，优化搜索模型的同时，提高搜索效率。

本发明是这样实现的，

一种一维块匹配运动估计方法，包括如下的步骤：

步骤1，采集当前帧和前一帧连续两帧图像作为目标；提取当前帧的匹配宏块区域P和前一帧的相同位置宏块的最大可能出现区域R；

步骤2，使用权重系数矩阵A和权重系数矩阵B分别提取当前帧的匹配宏块区域的行方向的特征矩阵、列方向的特征矩阵，以及前一帧的相同位置宏块的最大可能出现区域的行方向的匹配特征矩阵和列方向的匹配特征矩阵，使用当前帧的特征矩阵与前一帧的相同位置宏块的最大可能出现区域的行方向和列方向的匹配特征矩阵做绝对误差和；

步骤3，根据步骤2分别计算出行方向和列方向的绝对误差和使用一维三步搜索法找到最小绝对误差和，最小绝对误差和对应的偏移量为运动估计求出的运动矢量。

进一步地，当前帧的匹配宏块区域表示为：

其中：

当前帧的匹配宏块区域P选择当前帧图像的中心区域，当前帧图像的形状为S(N，M)，匹配宏块区域P的形状为(n，m)，其中N，M，n，m表示图像的像素尺寸。

进一步地，权重系数矩阵为：

A＝[λ]_1n

B＝[μ]_1m

其中：权重系数矩阵A为行方向的权重系数矩阵，其形状为(1，n)，λ为权重系数矩阵A的权重系数；权重系数矩阵B为列方向的权重系数矩阵，其形状为(1，m)，μ为权重系数矩阵B的权重系数。

进一步地，使用权重系数矩阵A和权重系数矩阵B分别提取前一帧的相同位置宏块的最大可能出现区域的行方向的匹配特征矩阵和列方向的匹配特征矩阵包括：

前一帧的相同位置宏块的最大可能出现区域R的特征矩阵为：

X_R＝[λ]_1(n+2J)R

Y_R＝[μ]_1(m+2I)R^T

其中：X_R为区域R的行方向特征矩阵，Y_R为区域R的列方向特征矩阵，R^T为区域R的转置矩阵，X_R形状为(1，m+2I)，Y_R形状为(1，n+2J)；n，m表示图像的像素尺寸；I为行方向的搜索半径，J为列方向的搜索半径；

行方向的匹配特征矩阵、列方向的匹配特征矩阵：

X_i＝X_R(I+i:m+I+i)

Y_j＝Y_R(J+j:n+J+j)

其中：X_i的形状为(1，m)，Y_j的形状为(1，n)，i为行方向的偏移量，j为列方向的偏移量。

进一步地，当前帧的匹配宏块区域P的特征矩阵为：

X＝[λ]_1nP

Y＝[μ]_1mP^T

其中：X为当前帧的匹配宏块区域P行方向的特征矩阵，Y为当前帧的匹配宏块区域P列方向的特征矩阵，P^T为当前帧的匹配宏块区域P的转置矩阵，X形状为(1，m)，Y形状为(1，n)。

进一步地，一维三步搜索法包括：每步搜索对搜索边界上的2个点以及正方形的中心点共3个搜索点进行比较，搜索步长从等于或者略大于最大搜索范围的一半开始，前一步比较后得到的最优匹配点，作为下一步新的搜索中心，直到搜索所有步数，并满足最小绝对误差和准则。

进一步地，最小绝对误差和准则为：

其中：SAD(i)表示行方向特征矩阵的绝对误差和，SAD(j)表示列方向特征矩阵的绝对误差和，X(x)表示当前帧的匹配宏块区域P的行方向的特征矩阵，Y(y)表示当前帧的匹配宏块区域P的列方向的特征矩阵，X_i(x+i)表示前一帧的相同位置宏块的最大可能出现区域R的行方向的匹配特征矩阵，Y_j(y+j)前一帧的相同位置宏块的最大可能出现区域R的列方向的匹配特征矩阵。

一维块匹配运动估计装置，该装置包括：

采集模块，用于采集当前帧和前一帧连续两帧图像作为目标；提取当前帧的匹配宏块区域P和前一帧的相同位置宏块的最大可能出现区域R；

行方向特征矩阵提取模块，使用行方向权重系数矩阵提取目标区域的行方向特征矩阵，目标区域的行方向特征矩阵包括：当前帧的匹配宏块区域的行方向的特征矩阵和前一帧的相同位置宏块的最大可能出现区域的行方向的匹配特征矩阵；

列方向特征矩阵提取模块，使用列方向权重系数矩阵提取目标区域的列方向特征矩阵，目标区域的列方向特征矩阵包括：当前帧的匹配宏块区域的列方向的特征矩阵，以及前一帧的相同位置宏块的最大可能出现区域的列方向的匹配特征矩阵；

行方向搜索匹配模块，包括行方向搜索策略模块和行方向匹配准则模块，其中行方向搜索策略模块规定搜索的规则，行方向匹配准则模块根据搜索的规则将行方向权重系数矩阵模块求取的行方向特征矩阵作搜索匹配操作，找到最佳匹配点，得出运动矢量行方向分量的最优值；

列方向搜索匹配模块，列方向搜索匹配模块包括列方向搜索策略模块和列方向匹配准则模块，其中列方向搜索策略模块规定搜索的规则，列方向匹配准则模块根据搜索的规则将列方向权重系数矩阵模块求取的列方向特征矩阵作搜索匹配操作，找到最佳匹配点，得出运动矢量列方向分量的最优值。

进一步地，行方向搜索匹配模块以及列方向搜索匹配模块中使用一维三步搜索法作为行特征矩阵的搜索策略。

进一步地，一维三步搜索法包括：每步搜索对搜索边界上的2个点以及正方形的中心点共3个搜索点进行比较，搜索步长从等于或者略大于最大搜索范围的一半开始，前一步比较后得到的最优匹配点，作为下一步新的搜索中心，直到搜索所有步数，并满足最小绝对误差和准则。

本发明与现有技术相比，有益效果在于：

本发明选择完整图像的部分中间区域代替完整图像，保证有效性的同时有利于后续的搜索匹配；使用一维三步搜索法，优化匹配策略，提高搜索效率。对比现有的运动估计方法，本发明无需对图像进行二维宏块匹配，降低计算量，避免完整图像投影法的后续的裁剪，简化计算复杂度，提出针对一维特征矩阵使用的一维三步搜索法，进一步提高搜索效率。

附图说明

图1是本发明一维块匹配法的流程图；

图2是本发明区域P与区域R示意图；

图3是本发明的一维块匹配运动估计装置的原理框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了本发明的图像全局运动估计方法的流程。请参见图1，下面是对该方法流程各步骤的详细描述。

步骤S1：采集当前帧和前一帧连续两帧图像作为目标；提取当前帧的匹配宏块区域P和前一帧的相同位置宏块的最大可能出现区域R；具体的，读取当前帧图像S(N，M)和前一帧图像S^-1(N，M)，运动估计求解的是当前帧S相对于前一帧S^-1的画面运动矢量MV(x，y)；对读取的当前帧图像S(N，M)提取当前帧的匹配宏块区域P和前一帧的相同位置宏块的最大可能出现区域R；如图2所示；对前一帧图像S^-1提取宏块的最大可能出现区域R，如图2所示。

当前帧的匹配宏块区域P公式表示为：

其中：

当前帧的匹配宏块P选择当前帧图像S中心区域，当前帧图像S的形状为(N，M)，当前帧的匹配宏块P的形状为(n，m)。

前一帧的相同位置宏块的最大可能出现区域R公式表示为：

其中：R为前一帧图像S^-1对应匹配宏块P^-1最大可能出现的区域，I为行方向的搜索半径，J为列方向的搜索半径。

其中，当前帧的匹配宏块区域是指用于代替整幅图像，提取该匹配宏块的特征矩阵进行搜索匹配的区域。

前一帧的相同位置宏块的最大可能出现区域是指当前帧的宏块的画面内容出现在前一帧图像的最大范围。

步骤S2：使用权重系数矩阵A、权重系数矩阵B计算宏块的最大可能出现区域P区域的行方向的特征矩阵X、列方向的特征矩阵Y，使用权重系数矩阵A、B计算前一帧的相同位置宏块的最大可能出现区域R的特征矩阵行方向的特征矩阵X_R、列方向的特征矩阵Y_R，行方向的特征矩阵X_R、列方向的特征矩阵Y_R计算前一帧的相同位置宏块的最大可能出现区域R的行方向的匹配特征矩阵X_i、Y_j。其中，权重系数矩阵是由权重系数组成的矩阵，用于提取特征矩阵。

权重系数矩阵为：

A＝[λ]_1n

B＝[μ]_1m

其中：

权重系数矩阵A为行方向的权重系数矩阵，其形状为(1，n)，λ为权重系数矩阵A的权重系数；权重系数矩阵B为列方向的权重系数矩阵，其形状为(1，m)，μ为权重系数矩阵B的权重系数。

所述步骤S3中当前帧的匹配宏块P的特征矩阵为：

X＝[λ]_1nP

Y＝[μ]_1mP^T

其中：

X为当前帧的匹配宏块P行方向的特征矩阵，Y为当前帧的匹配宏块P列方向的特征矩阵，P^T为当前帧的匹配宏块P的转置矩阵，X形状为(1，m)，Y形状为(1，n)。

前一帧的相同位置宏块的最大可能出现区域R的特征矩阵为：

X_R＝[λ]_1(n+2J)R

Y_R＝[μ]_1(m+2I)R^T

其中：

X_R为前一帧的相同位置宏块的最大可能出现区域R的行方向特征矩阵，Y_R为前一帧的相同位置宏块的最大可能出现区域R的列方向特征矩阵，R^T为前一帧的相同位置宏块的最大可能出现区域R的转置矩阵，X_R形状为(1，m+2I)，Y_R形状为(1，n+2J)。

前一帧的相同位置宏块的最大可能出现区域R中的匹配特征矩阵：

X_i＝X_R(I+i:m+I+i)

Y_j＝Y_R(J+j:n+J+j)

其中：X_i的形状为(1，m)，Y_j的形状为(1，n)，i为行方向的偏移量，j为列方向的偏移量。

使用当前帧的特征矩阵与前一帧的相同位置宏块的最大可能出现区域的行方向和列方向的匹配特征矩阵做绝对误差和；

步骤S3，根据步骤S2分别计算出行方向和列方向的绝对误差和使用一维三步搜索法找到最小绝对误差和，最小绝对误差和对应的偏移量为运动估计求出的运动矢量。搜索策略使用一维三步搜索法，匹配准则使用最小绝对误差和准则，搜索最优匹配点，搜索匹配行方向的最优值和列方向的最优匹配点。最小绝对误差和准则是指以绝对误差和的最小值作为搜索最优值的判断标准。

一维三步搜索法的搜索步骤包括，每步搜索对搜索边界上的2个点以及正方形的中心点共3个搜索点进行比较，搜索步长从等于或者略大于最大搜索范围的一半开始。前一步比较后得到的最优匹配点，作为下一步新的搜索中心，直到搜索所有步数。搜索范围大于7时，搜索步骤不止3步。

最小绝对误差和准则：

其中：

SAD(i)表示行方向特征矩阵的绝对误差和，SAD(j)表示列方向特征矩阵的绝对误差和，X(x)表示当前帧的匹配宏块区域P的行方向的特征矩阵，Y(y)表示当前帧的匹配宏块区域P的列方向的特征矩阵，X_i(x+i)表示前一帧的相同位置宏块的最大可能出现区域R的行方向的匹配特征矩阵，Y_j(y+j)前一帧的相同位置宏块的最大可能出现区域R的列方向的匹配特征矩阵。

步骤S4：步骤S3中行方向的最优匹配点即为运动矢量MV的行方向分量，列方向的最优匹配点即为运动矢量MV的列方向分量。将行方向分量和列方向分量组成最终运动矢量MV，运动矢量即为运动估计的结果。

基于上述的方法，本发明还提供了一种一维块匹配运动估计装置。请参见3图，该装置包括采集模块、行方向特征矩阵提取模块、列方向特征矩阵提取模块、行方向匹配搜索模块、列方向匹配搜索模块。行方向匹配搜索模块还包括行方向匹配策略模块和行方向搜索准则模块，列方向匹配搜索模块还包括列方向匹配策略模块和列方向搜索准则模块。

采集模块，用于采集当前帧和前一帧连续两帧图像作为目标；提取当前帧的匹配宏块区域P和前一帧的相同位置宏块的最大可能出现区域R；

行方向特征矩阵提取模块，使用行方向权重系数矩阵提取目标区域的行方向特征矩阵，目标区域的行方向特征矩阵包括：当前帧的匹配宏块区域的行方向的特征矩阵和前一帧的相同位置宏块的最大可能出现区域的行方向的匹配特征矩阵；

列方向特征矩阵提取模块，使用列方向权重系数矩阵提取目标区域的列方向特征矩阵，目标区域的列方向特征矩阵包括：当前帧的匹配宏块区域的列方向的特征矩阵，以及前一帧的相同位置宏块的最大可能出现区域的列方向的匹配特征矩阵；

行方向搜索匹配模块，包括行方向搜索策略模块和行方向匹配准则模块，其中行方向搜索策略模块规定搜索的规则，行方向匹配准则模块根据搜索的规则将行方向权重系数矩阵模块求取的行方向特征矩阵作搜索匹配操作，找到最佳匹配点，得出运动矢量行方向分量的最优值；

列方向搜索匹配模块，列方向搜索匹配模块包括列方向搜索策略模块和列方向匹配准则模块，其中列方向搜索策略模块规定搜索的规则，列方向匹配准则模块根据搜索的规则将列方向权重系数矩阵模块求取的列方向特征矩阵作搜索匹配操作，找到最佳匹配点，得出运动矢量列方向分量的最优值。

行方向特征矩阵提取模块输入区域P和区域R，输出行方向特征矩阵，列方向特征矩阵提取模块输入区域P和区域R，输出列方向特征矩阵。行方向匹配策略模块输入区域P和区域R的行方向特征矩阵进行搜索，行方向搜索准则模块用于判断区域P的行方向特征矩阵在区域R的行方向特征矩阵中的最优值，即为运动矢量的行方向分量。列方向匹配策略模块输入区域P和区域R的列方向特征矩阵进行搜索，列方向搜索准则模块用于判断区域P的列方向特征矩阵在区域R的列方向特征矩阵中的最优值，即为运动矢量的列方向分量。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种一维块匹配运动估计方法，其特征在于，包括如下的步骤：

步骤1，采集当前帧和前一帧连续两帧图像作为目标；提取当前帧的匹配宏块区域P和前一帧的相同位置宏块的最大可能出现区域R；

步骤2，使用权重系数矩阵A和权重系数矩阵B分别提取当前帧的匹配宏块区域的行方向的特征矩阵、列方向的特征矩阵，以及使用权重系数矩阵A和权重系数矩阵B分别提取前一帧的相同位置宏块的最大可能出现区域的行方向的匹配特征矩阵和列方向的匹配特征矩阵，使用当前帧的特征矩阵与前一帧的相同位置宏块的最大可能出现区域的行方向和列方向的匹配特征矩阵做绝对误差和；

步骤3，根据步骤2分别计算出行方向和列方向的绝对误差和使用一维三步搜索法找到最小绝对误差和，最小绝对误差和对应的偏移量为运动估计求出的运动矢量；

一维三步搜索法包括：每步搜索对搜索边界上的2个点以及正方形的中心点共3个搜索点进行比较，搜索步长从等于或者大于最大搜索范围的一半开始，前一步比较后得到的最优匹配点，作为下一步新的搜索中心，直到搜索所有步数，并满足最小绝对误差和准则。

2.根据权利要求1所述的一维块匹配运动估计方法，其特征在于，当前帧的匹配宏块区域表示为：

其中：

当前帧的匹配宏块区域P选择当前帧图像的中心区域，当前帧图像的形状为S(N，M)，匹配宏块区域P的形状为(n，m)，其中N，M，n，m表示图像的像素尺寸。

3.根据权利要求2所述的一维块匹配运动估计方法，其特征在于，权重系数矩阵为：

A＝[λ]_1n

B＝[μ]_1m

其中：权重系数矩阵A为行方向的权重系数矩阵，其形状为(1，n)，λ为权重系数矩阵A的权重系数；权重系数矩阵B为列方向的权重系数矩阵，其形状为(1，m)，μ为权重系数矩阵B的权重系数。

4.根据权利要求3所述的一维块匹配运动估计方法，其特征在于，

使用权重系数矩阵A和权重系数矩阵B分别提取前一帧的相同位置宏块的最大可能出现区域的行方向的匹配特征矩阵和列方向的匹配特征矩阵包括：

前一帧的相同位置宏块的最大可能出现区域R的特征矩阵为：

X_R＝[λ]_1(n+2J)R

Y_R＝[μ]_1(m+2I)R^T

其中：X_R为区域R的行方向特征矩阵，Y_R为区域R的列方向特征矩阵，R^T为区域R的转置矩阵，X_R形状为(1，m+2I)，Y_R形状为(1，n+2J)；n，m表示图像的像素尺寸；I为行方向的搜索半径，J为列方向的搜索半径；

行方向的匹配特征矩阵、列方向的匹配特征矩阵：

X_i＝X_R(I+i:m+I+i)

Y_j＝Y_R(J+j:n+J+j)

其中：X_i的形状为(1，m)，Y_j的形状为(1，n)，i为行方向的偏移量，j为列方向的偏移量。

5.根据权利要求3所述的一维块匹配运动估计方法，其特征在于，当前帧的匹配宏块区域P的特征矩阵为：

X＝[λ]_1nP

Y＝[μ]_1mP^T

其中：X为当前帧的匹配宏块区域P行方向的特征矩阵，Y为当前帧的匹配宏块区域P列方向的特征矩阵，P^T为当前帧的匹配宏块区域P的转置矩阵，X形状为(1，m)，Y形状为(1，n)。

6.根据权利要求1所述的一维块匹配运动估计方法，其特征在于，最小绝对误差和准则为：

其中：SAD(i)表示行方向特征矩阵的绝对误差和，SAD(j)表示列方向特征矩阵的绝对误差和，X(x)表示当前帧的匹配宏块区域P的行方向的特征矩阵，Y(y)表示当前帧的匹配宏块区域P的列方向的特征矩阵，X_i(x+i)表示前一帧的相同位置宏块的最大可能出现区域R的行方向的匹配特征矩阵，Y_j(y+j)前一帧的相同位置宏块的最大可能出现区域R的列方向的匹配特征矩阵，n，m表示图像的像素尺寸，i为行方向的偏移量，j为列方向的偏移量。

7.一维块匹配运动估计装置，其特征在于，该装置包括：

采集模块，用于采集当前帧和前一帧连续两帧图像作为目标；提取当前帧的匹配宏块区域P和前一帧的相同位置宏块的最大可能出现区域R；

行方向特征矩阵提取模块，使用行方向权重系数矩阵提取目标区域的行方向特征矩阵，目标区域的行方向特征矩阵包括：当前帧的匹配宏块区域的行方向的特征矩阵和前一帧的相同位置宏块的最大可能出现区域的行方向的匹配特征矩阵；

列方向特征矩阵提取模块，使用列方向权重系数矩阵提取目标区域的列方向特征矩阵，目标区域的列方向特征矩阵包括：当前帧的匹配宏块区域的列方向的特征矩阵，以及前一帧的相同位置宏块的最大可能出现区域的列方向的匹配特征矩阵；

行方向搜索匹配模块，包括行方向搜索策略模块和行方向匹配准则模块，其中行方向搜索策略模块规定搜索的规则，行方向匹配准则模块根据搜索的规则将行方向权重系数矩阵模块求取的行方向特征矩阵作搜索匹配操作，找到最佳匹配点，得出运动矢量行方向分量的最优值；

列方向搜索匹配模块，列方向搜索匹配模块包括列方向搜索策略模块和列方向匹配准则模块，其中列方向搜索策略模块规定搜索的规则，列方向匹配准则模块根据搜索的规则将列方向权重系数矩阵模块求取的列方向特征矩阵作搜索匹配操作，找到最佳匹配点，得出运动矢量列方向分量的最优值；

行方向搜索匹配模块以及列方向搜索匹配模块中使用一维三步搜索法作为行方向特征矩阵及列方向特征矩阵的搜索策略；

一维三步搜索法包括：每步搜索对搜索边界上的2个点以及正方形的中心点共3个搜索点进行比较，搜索步长从等于或者大于最大搜索范围的一半开始，前一步比较后得到的最优匹配点，作为下一步新的搜索中心，直到搜索所有步数，并满足最小绝对误差和准则。

Images