CN104811716B - 宏块搜索方法 - Google Patents

Abstract

本发明公开了一种宏块搜索方法。该方法包括如下步骤：建立宏块对应的搜索窗口，搜索窗口的中心以宏块的中心为参考点，搜索窗口是大小为(M+2q)×(N+2p)的数据块；数据块包括大小为(M/2+q)×(N+2p)的第一数据块和第二数据块；在搜索当前宏块时，在存储模块中存储当前宏块的第一数据块和第二数据块，同时，在存储模块中存储下一宏块的第一数据块和第二数据块；其中，当前宏块的第二数据块与下一宏块的第一数据块相同；重复前述步骤至完成所有宏块的搜索。该方法可在搜索过程中重复利用相邻宏块之间重复部分的数据块数据，以减小读取搜索窗口数据的等待时间，并有效减少读取搜索窗口的次数，从而提高对整帧图像所有宏块的搜索速度。

Description

宏块搜索方法

技术领域

本发明涉及视频图像处理领域，尤其涉及一种宏块搜索方法。

背景技术

随着现代通信技术以及网络传输的迅速发展，用户对视频编码性能的需求日益增强，不仅需要视频编码算法具有高性能的编码效率，同时对编码算法的实时性也有很高的要求。由于FPGA具有灵活性、时序能力强等特点，现阶段基于FPGA的视频编码设计发展迅速，且有很广泛的市场应用。目前基于FPGA实现的H.264，M-JPEG等编码标准设计非常多，但由于内部架构设计不同，实现的编码效率也同样有很大差异，其很大程度上取决于上述编码标准的设计重点——运动估计，运动估计作为视频编码的设计难点，其性能决定了整个编码系统的速率，所以对其进行必要的改善和优化对整个编码系统有着很大的意义。

目前对于视频编码中的运动估计设计存在许多不同的搜索算法，目的都是通过优化搜索算法以最少的运算量得到最准确的结果，目前常见的搜素算法有钻石搜索算法、六边形搜索算法和菱形搜索算法等，但现有的搜索算法对部分数据重复搜索，导致搜索速率低，使得搜索过程需花费较长时间，从而影响视频编码处理效率。

发明内容

本发明要解决的技术问题在于，针对现有技术的缺陷，提供一种宏块搜索方法。

本发明解决其技术问题所采用的技术方案是：一种宏块搜索方法，所述宏块尺寸为M×N,包括如下步骤：

S1：建立所述宏块对应的搜索窗口，所述搜索窗口的中心以所述宏块的中心为参考点，所述搜索窗口是大小为(M+2q)×(N+2p)的数据块；所述数据块包括大小为(M/2+q)×(N+2p)的第一数据块和第二数据块；

S2：在搜索当前宏块时，在存储模块中存储所述当前宏块的第一数据块和第二数据块，同时，在存储模块中存储下一宏块的第一数据块和第二数据块；其中，所述当前宏块的第二数据块与所述下一宏块的第一数据块相同；

S3：重复步骤S2至完成所有宏块的搜索。

优选地，在所述步骤S2中，包括以下步骤：

S2-1：将存储模块划分为至少三个存储位置，并依序编号s_a1,s_a2,s_a3；

S2-2：在搜索当前第n个宏块时，在所述s_a1存储位置中存储第n个宏块的第一数据块，在所述s_a3存储位置中存储第n+1个宏块的第二数据块，所述第n个宏块的第二数据块与所述第n+1个宏块的第一数据块相同，并存储在所述s_a2存储位置中；对第n个宏块对应的所述s_a1存储位置和s_a2存储位置进行搜索；

S2-3：在搜索第n+1个宏块时，对第n+1个宏块对应的所述s_a2存储位置和s_a3存储位置进行搜索，并将第n+2宏块对应的第二数据块替换所述s_a1存储位置中的数据块；在搜索第n+2宏块时，将第n+3宏块对应的第二数据块替换所述s_a2存储位置中的数据块；在搜索第n+3宏块时，将第n+4宏块对应的第二数据块替换所述s_a3存储位置中的数据块。

优选地，每一所述存储位置用于存储(M/2+q)个存储条单元，每一所述存储条单元存储(N+2p)个像素点，每一像素点存储8bit数据。

优选地，步骤S2和S3中采用蛇形扫描方式对搜索窗口进行搜索。

优选地，所述蛇形扫描方式包括：从所述宏块对应的搜索窗口左上角开始，以像素点为步长，按自上而下、自左往右、自下而上和自左往右的方向移动，每次提取M×N个数据块作为参考块，并将所述参考块与所述宏块进行匹配。

优选地，采用移位寄存器对所述参考块进行存储，在状态机中设置下移、右移和上移三种工作状态模式；每次上移或下移时将更新M个数据块并存储在所述移位寄存器中，每次右移时将更新N个数据块并存储在所述移位寄存器中。

优选地，在状态机中分别设置所述下移、右移和上移三种工作状态模式对应的移位寄存器的地址访问模式，以确定每次提取到的参考块的地址。

优选地，在下移工作状态模式下，使移位寄存器的地址按与下移工作状态模式对应的地址访问模式变化，读取所述参考块最下方一行M个数据块，通过crossbar接口转化成8Mbit数据推送至所述移位寄存器，以使所述移位寄存器中的内部数据全部上移8Mbit的位置；

在上移工作状态模式下，使移位寄存器的地址按与上移工作状态模式对应的地址访问模式变化，读取所述参考块最上方一行M个数据块，通过crossbar接口转化成8Mbit数据推送至所述移位寄存器,以使所述移位寄存器的内部数据全部下移8Mbit的位置；

在右移工作状态模式下，使移位寄存器的地址按与右移工作状态模式对应的地址访问模式变化，读取所述参考块最右方一列N个数据，通过shift接口转化成8Nbit数据推送至所述移位寄存器,以使所述移位寄存器的内部数据全部左移8Nbit的位置。

优选地，N＝2p，M＝2q。

本发明与现有技术相比具有如下优点：实现本发明，针对图像中相邻数据块的搜索，通过建立与宏块对应的搜索窗口，该搜索窗口是大小为(M+2q)×(N+2p)的数据块，包括大小相等的第一数据块和第二数据块，且当前宏块的第二数据块与下一宏块的第一数据块相同，在当前宏块搜索过程中，同时存储当前宏块和下一宏块对应的搜索窗口，以便于在搜索过程中能够重复利用相邻宏块之间重复部分的数据块数据，以减小读取搜索窗口数据的等待时间，并在实际系统应用中有效减少读取搜索窗口的次数，从而提高对整帧图像所有宏块的搜索速度。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明一实施例中宏块及其对应的搜索窗口的示意图。

图2是本发明一实施例中相邻宏块及其对应的搜索窗口的示意图。

图3是本发明一实施例中当前宏块的存储模块与存储条单元的示意图。

图4是本发明一实施例中存储模块接收数据输入的示意图。

图5是本发明一实施例中蛇形扫描方式的示意图。

图6是本发明一实施例中下移工作状态模式下数据读取及存储示意图。

图7是本发明一实施例中右移工作状态模式下移位寄存器存储数据的示意图。

图8是本发明一实施例中右移工作状态模式下数据更新的示意图。

图9是本发明一实施例中右移工作状态模式下数据更新并存储的示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

本发明旨在解决视频编码进行数据搜索时搜索速率低，搜索时间长的问题，基于全搜索算法(Full Search Algorithm),通过设计一种便于快速搜索的宏块搜索匹配硬件结构，即在一定的搜索范围内(即搜索窗口)快速找到宏块的最相似块，以达到快速搜索，节省搜索时间的目的。

本实施例中，该宏块尺寸为M×N,可以理解地，M和N可以相同也可以不同，为便于计算，本实施例中以16×16为例。该宏块搜索方法包括如下步骤：

S1：建立宏块对应的搜索窗口，搜索窗口的中心以宏块的中心为参考点，搜索窗口是大小为(M+2q)×(N+2p)的数据块；数据块包括大小为(M/2+q)×(N+2p)的第一数据块和第二数据块。可以理解地，为便于计算，使N＝2p,M＝2q,即本实施例中，使M和N均为16，相应地，q和p均为8，如图1所示，当前宏块的尺寸大小为16×16，其对应搜索窗口的尺寸大小为32×32，如图2所示，相邻两个宏块(如宏块n和n+1)所对应的搜索窗口有16×32重叠，若每一次对不同宏块搜索过程中都要读取其相应的全部搜索窗口数据，则对相邻搜索窗口重叠部分需重复读取，从而导致对一整帧图像中的所有宏块进行搜索的编码效率非常低，完成搜索所需时间较长。

S2：在搜索当前宏块时，在存储模块中存储当前宏块的第一数据块和第二数据块，同时，在存储模块中存储下一宏块的第一数据块和第二数据块；其中，当前宏块的第二数据块与下一宏块的第一数据块相同。可以理解地，在搜索当前宏块时，在存储模块中存储当前宏块对应的搜索窗口数据和下一宏块对应的搜索窗口数据，而且当前宏块的第二数据块与下一宏块的第一数据块相同，使得每次对当前宏块的搜索窗口进行搜索时，只需更新下一宏块的第二数据块数据，从而提高数据搜索效率，而且可有效节省数据更新等待时间，进而提高视频编码处理效率。具体地，步骤S2包括以下步骤：

S2-1：将存储模块划分为至少三个存储位置，并依序编号s_a1,s_a2,s_a3，如图2所示。

S2-2：在搜索当前第n个宏块时，在s_a1存储位置中存储第n个宏块的第一数据块，在s_a3存储位置中存储第n+1个宏块的第二数据块，第n个宏块的第二数据块与第n+1个宏块的第一数据块相同，并存储在s_a2存储位置中；对第n个宏块对应的s_a1存储位置和s_a2存储位置进行搜索。

S2-3：在搜索第n+1个宏块时，对第n+1个宏块对应的s_a2存储位置和s_a3存储位置进行搜索，并将第n+2宏块对应的第二数据块替换s_a1存储位置中的数据块；在搜索第n+2宏块时，将第n+3宏块对应的第二数据块替换s_a2存储位置中的数据块；在搜索第n+3宏块时，将第n+4宏块对应的第二数据块替换s_a3存储位置中的数据块。如图2所示，在对n+1宏块进行搜索的过程中，同时读取n+2宏块对应的第二数据块数据，替换s_a1存储位置中的数据块。可以理解地，采用该架构设计可以在对下一宏块匹配时，保证该宏块对应的搜索窗口数据已经更新准备好，从而节省搜索窗口数据的读取时间，并且每一宏块对应的搜索窗口的搜索均利用前一相邻宏块的重叠部分搜索窗口数据，从而达到数据复用目的。

S3：重复步骤S2至完成所有宏块的搜索。

可以理解地，针对图像中相邻数据块的搜索，通过建立与宏块对应的搜索窗口，该搜索窗口是大小为(M+2q)×(N+2p)的数据块，包括大小相等的第一数据块和第二数据块，且当前宏块的第二数据块与下一宏块的第一数据块相同，在当前宏块搜索过程中，同时存储当前宏块和下一宏块对应的搜索窗口，以便于在搜索过程中能够重复利用相邻宏块之间重复部分的数据块数据，以减小读取搜索窗口数据的等待时间，并在实际系统应用中有效减少读取搜索窗口的次数，从而提高对整帧图像所有宏块的搜索速度。

可以理解地，在对所有宏块的搜索窗口进行搜索过程中，将宏块对应的搜索窗口内容设计条状存储机制，并结合状态机生成访问地址，使得在具体搜索中能够连续对宏块进行匹配运算，节省搜索过程中的等待时间，从而减少搜索过程所花费的时间。

具体地，每一存储位置用于存储(M/2+q)个存储条单元，每一存储条单元存储(N+2p)个像素点，每一像素点存储8bit数据。可以理解地，采用存储条单元对搜索窗口数据进行存储，其目的是提供一个简单数据读取接口，在对宏块进行搜索过程中，可通过简单的地址访问机制，读取存储条单元内部数据。

如图3所示，每一宏块对应的搜索窗口的第一数据块和第二数据块分别存储16个存储条单元，故在当前宏块搜索时，在存储模块中同时存储当前宏块和下一宏块对应的搜索窗口的大小为32×48，编号分别为s_a1,s_a2,s_a3的存储位置分别存储32×16大小的数据，接收的输入数据的位宽为128bit(16×8bit),即128bit数据被分为16个像素点分别存储在16个存储条单元相应位置，如图4所示。

步骤S2和S3中采用蛇形扫描方式对搜索窗口进行搜索。该蛇形扫描方式包括：从宏块对应的搜索窗口左上角开始，以像素点为步长，按自上而下、自左往右、自下而上和自左往右的方向移动，每次提取M×N个数据块作为参考块，并将参考块与宏块进行匹配，如图5所示。同时，通过设计采用较大的移位寄存器对参考块的数据进行存储，该移位寄存器包含整个参考块(16×16)的数据，并设置移位寄存器位宽为2048bit,以存储该参考块数据(16×16×8bit)在状态机中设置下移、右移和上移三种工作状态模式；每次上移或下移时将更新M个数据块并存储在移位寄存器中，每次右移时将更新N个数据块并存储在移位寄存器中。本实施例中，N和M的数值均为16，则在搜索过程中每次需更新16×8bit大小的数据内容，在上移或下移时，该数据内容通过图4中的crossbar接口输出，在右移时，该数据内容通过图4的shift接口输出。可以理解地，crossbar和shift均为存储器，分别用于存储更新后的一行数据(即N个数据块)和一列数据(即M个数据块)。

更具体地，在状态机中分别设置下移、右移和上移三种工作状态模式对应的移位寄存器的地址访问模式，以确定每次提取到的参考块的地址，以使移位寄存器每次只需更新一行或一列数据内容，并通过相应的地址访问模式进行简单地址计算，读取更新的一行或一列数据内容并通过crossbar接口或shift接口转化成16×8bit数据。如图6所示，在下移时，在移位寄存器中每次只需更新最下方一行数据，可通过简单地址计算，即使移位寄存器的地址按与下移工作状态模式对应的地址访问模式变化(如地址加1)，并将读取到的一行数据转化成16×8bit的数据。相应地，在上移时，在移位寄存器中每次只需更新最上方一行数据，可通过简单地址计算，即使移位寄存器的地址按与上移工作状态模式对应的地址访问模式变化(如地址减1)，并将读取到的一行数据转化成16×8bit的数据。在右移时，只需更新参考块最右边一列的数据，填入新的一列数据成为新的参考块数据，并使移位寄存器的地址按与右移工作状态模式对应的地址访问模式变化。此时，需采用一个长度为128bit的移位寄存器，在上移/下移过程中每次从存储条单元内读取1个下一次右移的参考块新像素数据，并移位输入到移位寄存器中，在完成上移/下移操作刚好完成右移所需的新数据。

可以理解地，本实施例中采用状态机控制在上移、下移和右移三种工作状态模式下的生成读地址，在图3所示的搜索窗口的存储条单元中读取对应的数据输入至移位寄存器，该搜索窗口以条状方式进行存储，给三种工作状态模式的数据提取操作提供了非常方便的接口。

具体地，在下移工作状态模式下，使移位寄存器的地址增1，读取参考块最下方一行M个数据块，通过crossbar接口转化成8Mbit数据推送至移位寄存器，以使移位寄存器中的内部数据全部上移8Mbit的位置。如图6所示，本实施例中，与下移工作状态模式对应的地址访问模块是使其地址加1，即在下移工作状态模式下控制存储模块的读地址，读取条状存储单元内部的参考块数据，状态机每次控制读地址加1，并行在每条存储器中读取一个像素点数据，并经过corssbar接口将16个8bit的数据合并为一个128bit的数据，根据上述存储模块的存储方式可知(结合图4)，读出来的128bit即为参考块的一行数据，并推送到存储参考块的移位寄存器中，每次只需更新参考块的最后一行数据，而内部数据全部往上移动128bit的位置(图6)，到此完成参考块数据更新。

在上移工作状态模式下，与下移工作状态模式对应的地址访问模式是使移位寄存器的地址减1，读取参考块最上方一行M个数据块，通过crossbar接口转化成8Mbit数据推送至移位寄存器,以使移位寄存器的内部数据全部下移8Mbit的位置。可以理解地，与下移工作状态模式相似，在上移工作状态模式下，控制完成参考块上移所需数据的更新，与下移工作状态模式不同的是，该状态下主要读取参考最上方一行数据，状态机控制读地址减1，同样每次更新16×8bit数据，并且移位寄存器内部数据全部下移128bit位置。

在右移工作状态模式下，使移位寄存器的地址按与右移工作状态模式对应的地址访问模式变化，读取参考块最右方一列N个数据，通过shift接口转化成8Nbit数据推送至移位寄存器,以使移位寄存器的内部数据全部左移8Nbit的位置。可以理解地，根据搜索过程中的蛇形(即meander)扫描方式，在设计中会在上移或下移工作状态模式中提前准备了下一次右移所需要的数据。具体地，每次右移时，移位寄存器的地址根据其右移工作状态模式及内置的计数器映射的地址变化，如在下移至底部再右移时，可使移位寄存器的地址增加下移次数值，以使其上移过程中，保证移位寄存器的地址按预设的规则设置。本实施例中，主要通过在上移或下移的过程中对读地址进行适当变换，在存储条单元中读取出右移所需要更新的16×8bit的数据并存储(如图7)，待进行右移操作时，将包括该师尊的16×8bit的数据的参考块存储在移位寄存器中。以图8中的下移操作为例，每下移一次得到下一次右移的一个8bit数据，当完成16次下移后完整得到右移所需要更新的参考块右边一列数据：经过16次下移或上移操作后得到的右移更新数据，在右移的状态下将数据输入到移位寄存器(如图9所示)，作为一次右移的参考块。

可以理解地，本实施例中采用条状存储方式，使得宏块对应的搜索窗口搜索过程中获取的参考块数据提供一个简便的数据接口，无论是搜索状态中的上移、下移或右移，都能够快速地从存储条单元中读取相应的数据，从而提高搜索速度；而且灵活设计状态机生成访问地址机制，使得在具体搜索中能够连接对参考块进行匹配运算，从而有效节省搜索过程中的等待时间，从而减少整个搜索过程所花费的时间。

本发明是通过几个具体实施例进行说明的，本领域技术人员应当明白，在不脱离本发明范围的情况下，还可以对本发明进行各种变换和等同替代。另外，针对特定情形或具体情况，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于所公开的具体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。

Claims (9)

1.一种宏块搜索方法，所述宏块尺寸为M×N,其特征在于，包括如下步骤：

S1：建立所述宏块对应的搜索窗口，所述搜索窗口的中心以所述宏块的中心为参考点，所述搜索窗口是大小为(M+2q)×(N+2p)的数据块；所述数据块包括大小为(M/2+q)×(N+2p)的第一数据块和第二数据块；

S2：在搜索当前宏块时，在存储模块中存储所述当前宏块的第一数据块和第二数据块，同时，在存储模块中存储下一宏块的第一数据块和第二数据块；其中，所述当前宏块的第二数据块与所述下一宏块的第一数据块相同；

S3：重复步骤S2至完成所有宏块的搜索；

在所述步骤S2中，包括以下步骤：

S2-1：将存储模块划分为至少三个存储位置，并依序编号s_a1,s_a2,s_a3；

S2-2：在搜索当前第n个宏块时，在所述s_a1存储位置中存储第n个宏块的第一数据块，在所述s_a3存储位置中存储第n+1个宏块的第二数据块，所述第n个宏块的第二数据块与所述第n+1个宏块的第一数据块相同，并存储在所述s_a2存储位置中；对第n个宏块对应的所述s_a1存储位置和s_a2存储位置进行搜索。

2.根据权利要求1所述的宏块搜索方法，其特征在于，

在所述步骤S2中，还包括以下步骤：

S2-3：在搜索第n+1个宏块时，对第n+1个宏块对应的所述s_a2存储位置和s_a3存储位置进行搜索，并将第n+2宏块对应的第二数据块替换所述 s_a1存储位置中的数据块；在搜索第n+2宏块时，将第n+3宏块对应的第二数据块替换所述s_a2存储位置中的数据块；在搜索第n+3宏块时，将第n+4宏块对应的第二数据块替换所述s_a3存储位置中的数据块。

3.根据权利要求2所述的宏块搜索方法，其特征在于，每一所述存储位置用于存储(M/2+q)个存储条单元，每一所述存储条单元存储(N+2p)个像素点，每一像素点存储8bit数据。

4.根据权利要求3所述的宏块搜索方法，其特征在于，步骤S2和S3中采用蛇形扫描方式对搜索窗口进行搜索。

5.根据权利要求4所述的宏块搜索方法，其特征在于，所述蛇形扫描方式包括：从所述宏块对应的搜索窗口左上角开始，以像素点为步长，按自上而下、自左往右、自下而上和自左往右的方向移动，每次提取M×N个数据块作为参考块，并将所述参考块与所述宏块进行匹配。

6.根据权利要求5所述的宏块搜索方法，其特征在于，采用移位寄存器对所述参考块进行存储，在状态机中设置下移、右移和上移三种工作状态模式；每次上移或下移时将更新M个数据块并存储在所述移位寄存器中，每次右移时将更新N个数据块并存储在所述移位寄存器中。

7.根据权利要求6所述的宏块搜索方法，其特征在于，在状态机中分别设置所述下移、右移和上移三种工作状态模式对应的移位寄存器的地址访问模式，以确定每次提取到的参考块的地址。

8.根据权利要求7所述的宏块搜索方法，其特征在于，

在下移工作状态模式下，使移位寄存器的地址按与下移工作状态模式对应的地址访问模式变化，读取所述参考块最下方一行M个数据块，通过crossbar接口转化成8Mbit数据推送至所述移位寄存器，以使所述移位寄存器中的内部数据全部上移8Mbit的位置；

在上移工作状态模式下，使移位寄存器的地址按与上移工作状态模块对应的地址访问模式变化，读取所述参考块最上方一行M个数据块，通过crossbar接口转化成8Mbit数据推送至所述移位寄存器,以使所述移位寄存器的内部数据全部下移8Mbit的位置；

在右移工作状态模式下，使移位寄存器的地址按与右移工作状态模式对应的地址访问模式变化，读取所述参考块最右方一列N个数据，通过shift接口转化成8Nbit数据推送至所述移位寄存器,以使所述移位寄存器的内部数据全部左移8Nbit的位置。

9.根据权利要求1-8任一项所述宏块搜索方法，其特征在于，N＝2p，M＝2q。