CN103796028A

CN103796028A - 一种视频编码中基于图像信息的运动搜索方法和装置

Info

Publication number: CN103796028A
Application number: CN201410067035.7A
Authority: CN
Inventors: 田永鸿; 赵龙; 黄铁军
Original assignee: Peking University
Current assignee: Peking University
Priority date: 2014-02-26
Filing date: 2014-02-26
Publication date: 2014-05-14
Anticipated expiration: 2034-02-26
Also published as: CN103796028B

Abstract

本发明涉及一种视频编码中基于图像信息的运动搜索方法和装置，属于数字媒体处理技术领域中的视频编码技术，包括图像前背景性质划分模块、背景区域搜索模块、前景区域搜索模块；对当前待编码图像进行前、背景性质划分，得到该图像的前、背景信息；对于前景区域和背景区域，分别采用高复杂度搜索方法及低复杂度搜索方法；本发明的益处在于：利用背景建模所生成的背景，可以将编码图像中划分为前景区域和背景区域。对当前图像某区域进行编码时，可以利用其前背景信息设计运动搜索方法，在保证编码质量不显著下降的前提下减小运动搜索的复杂度。

Description

一种视频编码中基于图像信息的运动搜索方法和装置

技术领域

本发明涉及一种视频编码中基于图像信息的运动搜索方法和装置，属于数字媒体处理技术领域中的视频编码技术。

背景技术

视频编码中为在参考图像中找到同当前图像编码区域差异最小的区域，需要进行运动搜索。然而由于搜索范围大，导致运动搜索复杂度高，增加了视频编码中运动估计模块的复杂度。

运动搜索加速的目标是在编码性能不显著下降的前提下减少运动搜索的次数，以达到降低搜索复杂度的目的。在视频中，编码图像可划分为前景和背景，其中背景静态，同时前景运动幅度大。当前运动搜索方法中，对于编码图像所有区域采用相同的搜索方法，导致对视频中的背景区域进行了大量不必要的搜索，且在前景区域没有进行精细的搜索以达到提高编码性能的作用。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种视频编码中基于图像信息的运动搜索方法和装置。

为了实现上述发明目的，本发明提出了一种视频编码中基于图像信息的运动搜索方法，包括如下步骤：

步骤1）对当前待编码图像进行前景区域和背景区域性质划分，得到该图像的前景信息和背景信息；

步骤2）根据前景信息，对前景区域采用高复杂度搜索方法；根据背景信息，对背景区域采用低复杂度搜索方法。

所述步骤1）还包括：采用基于背景建模的划分方法，首先对视频进行背景建模，然后利用建模的背景图像同当前待编码图像的差异进行前景区域和背景区域性质划分；将当前待编码图像待划分区域同背景图像对应区域的绝对差值和与预设的阈值进行比较，小于这一阈值为背景区域，大于这一阀值为前景区域，同时，保留当前待编码图像的前景信息和背景信息；当前待编码图像作为后续图像运动搜索的参考图像时，当前待编码图像的前景信息和背景信息作为后续图像运动搜索的参考信息；或者采用基于图像分割的划分方法对前景区域和背景区域进行性质划分。

所述步骤2）还包括：

背景区域采用低复杂度的搜索方法，限制搜索范围并采用简单的搜索模式；

前景区域采用高复杂度的搜索方法，采用更大的搜索范围及复杂的搜索模式。

对于背景区域，搜索范围限定为只对运动矢量为零的点进行搜索，或减小搜索窗的大小，将搜索窗大小设置为1x1进行小范围搜索；所采用的搜索模式可选择四步搜索模式、单菱形搜索模式、非迭代的搜索模式。

四步搜索模式为：第一步，在5x5的搜索窗中搜索分布为正方形的9个点。如果最优匹配点在中心，则转到第四步。第二步，以该最优匹配点为中心，在5x5搜索窗上按第一步搜索模式搜索未被搜索的点。如果新的最优匹配点在中心，则转到第四步；否则，进行第三步。第三步，按照第二步的模式进行迭代搜索。第四步，以最优匹配点为中心，在3x3的搜索窗中搜索未被搜索的点，得到的最优匹配点为最终结果。

菱形搜索模式为，搜索点的分布为菱形分布。

非迭代的搜索模式为，所设计的搜索模式中，当最优匹配点不为中心点时，不以最优匹配点为新的中心进行迭代搜索，搜索只顺序进行。

对于前景区域高复杂度的搜索方法，采用多菱形搜索模式、矩形搜索模式、十字搜索模式，并可进行多模式组合搜索与迭代搜索。

多菱形搜索模式为，搜索点分布为多层菱形。矩形搜索模式为搜索点分布为矩形。十字搜索模式为搜索点分布为十字形。

多模式组合搜索为，将不同搜索点的分布模型结合起来而形成的搜索模式，以此模式进行搜索。

迭代搜索为在搜索模式中，当搜索得到的最优匹配点不是中心点时，将该最优匹配点作为新的中心点，迭代使用该搜索模式进行搜索，直到最优匹配点为中心点为止。

对于前景区域，采用多菱形搜索模式、矩形搜索模式、十字搜索模式，并可进行多模式组合搜索与迭代搜索；其中，多模式组合搜索是指将多菱形搜索模式，矩形搜索模式等搜索模式组合进行搜索的搜索模式；迭代搜索是指在搜索模式中，当搜索得到的最优匹配点不是中心点时，将该最优匹配点作为新的中心点，迭代使用该搜索模式进行搜索，直到最优匹配点为中心点为止。

利用被搜索区域和当前待编码区域对应的待匹配像素的前景信息和背景信息进行匹配；当前景信息和背景信息得到匹配的像素点数大于预设的阈值时，则对所述被搜索区域进行搜索。

一种视频编码中基于图像前、背景性质的运动搜索装置，包括：

图像前景和背景性质划分模块，对当前待编码图像所有区域进行前景和背景的性质划分，得到整幅图像的前景和背景的性质信息，然后根据待编码区域前景和背景的性质，进入不同的搜索模块。

背景区域搜索模块，在背景区域搜索中采用低复杂度的搜索方法进行搜索；

前景区域搜索模块，在前景区域搜索中，采用高复杂度的搜索方法进行搜索，当该区域同参考图像中的被搜索区域前背景信息不匹配时，终止搜索过程，跳过该被搜索区域，进行参考图像中后续被搜索区域的搜索。

图像前景和背景性质划分模块采用基于背景建模的划分方法，首先对视频进行背景建模，然后利用建模的背景图像同当前待编码图像的差异进行前景区域和背景区域性质划分；将当前待编码图像待划分区域同背景图像对应区域的绝对差值和与预设的阈值进行比较，小于这一阈值为背景区域，大于这一阀值为前景区域，同时，保留当前待编码图像的前景信息和背景信息；当前待编码图像作为后续图像运动搜索的参考图像时，当前待编码图像的前景信息和背景信息作为后续图像运动搜索的参考信息；或者采用基于图像分割的划分方法对前景区域和背景区域进行性质划分。

背景区域搜索模块的搜索范围限定为只对运动矢量为零的点进行搜索，或将搜索窗大小设置为1x1进行小范围搜索；所采用的搜索模式可选择四步搜索模式、单菱形搜索模式、非迭代的搜索模式；输出为该背景区域的运动矢量。

前景区域搜索模块采用多菱形搜索模式、矩形搜索模式、十字搜索模式，并可进行多模式组合搜索与迭代搜索；同时，利用被搜索区域和当前待编码区域对应的待匹配像素的前景信息和背景信息进行匹配；当前景信息和背景信息得到匹配的像素点数大于预设的阈值时，则对所述被搜索区域进行搜索。

本发明的益处在于：利用背景建模所生成的背景，可以将编码图像中划分为前景区域和背景区域。对当前图像某区域进行编码时，可以利用其前背景信息设计运动搜索方法，在保证编码质量不显著下降的前提下减小运动搜索的复杂度。

附图说明

图1为本发明搜索方法的流程图；

图2为本发明的前景区域运动搜索策略图；

图3为本发明搜索装置的模块示意图。

具体实施方式

当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1：如图1至图3所示，首先选取一定数量待编码视频图像进行背景建模，得到背景图像。对于当前编码图像，根据背景图像判断当前区域是否为背景区域。如果为背景区域，则采用背景区域搜索策略；如果是前景区域，则采用前景区域搜索策略。获得运动矢量后，进行运动补偿，图像压缩，图像重建等后续编码过程。其中可用作参考图像的重建图像用于后续图像的运动搜索的参考图像，对应的参考图像的前背景信息用作前景运动搜索策略的参考信息。

区域前背景性质划分准则为，以4x4块为小单元，同背景进行绝对差值和运算，当绝对差值和大于160时，判断该4x4块为前景小单元，否则为背景小单元。以8x8块为前背景划分的基本单位，包含4个4x4小单元，当4个小单元都为背景小单元时，该8x8块为背景块；否则为前景块。

对于当前块，根据其包含8x8前景块的数目确定其为前景区域或背景区域。当包含8x8前景块数目大于预设的阈值时，其为前景块；否则为背景块。

背景块运动矢量搜索策略为，将该区域的运动矢量设置为（0，0）。

前景块运动矢量搜索策略如图2所示，分为以下三步，

（1）多菱形搜索。以半径为1，2，4，8，16进行菱形搜索，得到最小块失真点。

（2）如果该最小块失真点为中心点，则终止多菱形搜索，进行第（3）步；否则以该最小块失真点为新的中心点，进行第（1）步。

（3）以（2）步所得最小块失真点为中心，进行11x11的中心对称矩形搜索得到的最小块失真点即为最优点。

对前景块按以上步骤进行搜索时，利用参考图像的前背景信息，对于每一次搜索，比较当前块的4个角点的前背景性质和参考帧中搜索块的4个角点的前背景性质，设置阈值T=1，如果相同角点对的个数小于T，则认为该搜索块与当前块在前背景性质上不匹配，则不进行搜索运算，跳过该搜索块。

该实例测试基于高性能视频编码（HEVC）平台，对比参考方法为HEVC参考软件HM12.0的快速搜索方法，编码性能用BD-rate表示，搜索复杂度由该方法的搜索点数与参考方法的搜索点数的比值表示。实验结果如表1和表2。

表1

序列	搜索点数百分比	节省百分比
			bank-sd	31.4％	68.52％
campus-sd	43.02％	56.98％
			classover-sd	21.18％	78.82％
crossroad-sd	60.56％	39.44％
			office-sd	69.82％	30.18％
overbridge-sd	41.12％	58.88％
			intersection-hd	51.43％	48.57％
mainroad-hd-15.Cut	19.55％	80.45％
			SD	44.53％	55.47％
HD	35.49％	64.51％
			AVERAGE	42.27％	57.73％

表2

由表2可以得出，平均编码性能保持不变，搜索点数平均有57.73%的节省，实现了在编码性能保持不变的前提下节省编码复杂度的目标。

按照以上描述，设计了一种基于图像前背景性质的运动搜索方法。

以上对本发明所提供的一种视频编码中基于图像信息的运动搜索方法和装置进行了详细介绍，以上参照附图对本申请的示例性的实施方案进行了描述。本领域技术人员应该理解，上述实施方案仅仅是为了说明的目的而所举的示例，而不是用来进行限制，凡在本申请的教导和权利要求保护范围下所作的任何修改、等同替换等，均应包含在本申请要求保护的范围内。

Claims

1.一种视频编码中基于图像信息的运动搜索方法，其特征在于包括如下步骤：

2.根据权利要求1所述的一种视频编码中基于图像信息的运动搜索方法，其特征在于所述步骤1）还包括：采用基于背景建模的划分方法，首先对视频进行背景建模，然后利用建模的背景图像同当前待编码图像的差异进行前景区域和背景区域性质划分；将当前待编码图像待划分区域同背景图像对应区域的绝对差值和与预设的阈值进行比较，小于这一阈值为背景区域，大于这一阀值为前景区域，同时，保留当前待编码图像的前景信息和背景信息；当前待编码图像的前景信息和背景信息作为后续图像运动搜索的参考信息；或者采用基于图像分割的划分方法对前景区域和背景区域进行性质划分。

3.根据权利要求1所述的一种视频编码中基于图像信息的运动搜索方法，其特征在于所述步骤2）还包括：

4.根据权利要求3所述的一种视频编码中基于图像信息的运动搜索方法，其特征在于：对于背景区域，搜索范围限定为只对运动矢量为零的点进行搜索，或减小搜索窗的大小，将搜索窗大小设置为1x1进行小范围搜索；所采用的搜索模式可选择四步搜索模式、单菱形搜索模式、非迭代的搜索模式。

5.根据权利要求3所述的一种视频编码中基于图像信息的运动搜索方法，其特征在于：对于前景区域，采用多菱形搜索模式、矩形搜索模式、十字搜索模式，并可进行多模式组合搜索与迭代搜索；其中，多模式组合搜索是指将多菱形搜索模式，矩形搜索模式等搜索模式组合进行搜索的搜索模式；迭代搜索是指在搜索模式中，当搜索得到的最优匹配点不是中心点时，将该最优匹配点作为新的中心点，迭代使用该搜索模式进行搜索，直到最优匹配点为中心点为止。

6.根据权利要求1所述的一种视频编码中基于图像信息的运动搜索方法，其特征在于还包括：利用被搜索区域和当前待编码区域对应的待匹配像素的前景信息和背景信息进行匹配；当前景信息和背景信息得到匹配的像素点数大于预设的阈值时，则对所述被搜索区域进行搜索。

7.根据权利要求1所述的一种视频编码中基于图像前、背景性质的运动搜索装置，其特征在于包括：

8.根据权利要求7所述的一种视频编码中基于图像前、背景性质的运动搜索装置，其特征在于：图像前景和背景性质划分模块采用基于背景建模的划分方法，首先对视频进行背景建模，然后利用建模的背景图像同当前待编码图像的差异进行前景区域和背景区域性质划分；将当前待编码图像待划分区域同背景图像对应区域的绝对差值和与预设的阈值进行比较，小于这一阈值为背景区域，大于这一阀值为前景区域，同时，保留当前待编码图像的前景信息和背景信息；当前待编码图像作为后续图像运动搜索的参考图像时，当前待编码图像的前景信息和背景信息作为后续图像运动搜索的参考信息；或者采用基于图像分割的划分方法对前景区域和背景区域进行性质划分。

9.根据权利要求7所述的一种视频编码中基于图像前、背景性质的运动搜索装置，其特征在于：背景区域搜索模块的搜索范围限定为只对运动矢量为零的点进行搜索，或将搜索窗大小设置为1x1进行小范围搜索；所采用的搜索模式可选择四步搜索模式、单菱形搜索模式、非迭代的搜索模式；输出为该背景区域的运动矢量。

10.根据权利要求7所述的一种视频编码中基于图像前、背景性质的运动搜索装置，其特征在于：前景区域搜索模块采用多菱形搜索模式、矩形搜索模式、十字搜索模式，并可进行多模式组合搜索与迭代搜索；同时，利用被搜索区域和当前待编码区域对应的待匹配像素的前景信息和背景信息进行匹配；当前景信息和背景信息得到匹配的像素点数大于预设的阈值时，则对所述被搜索区域进行搜索。