CN101610417B - 一种图像填充方法、装置及设备 - Google Patents

Abstract

本发明实施例提供了一种图像填充方法、装置和设备，该方法包括：为包含填充区域像素点的图像块选择预测模式；根据所述预测模式确定所述图像块内填充区域像素点的预测值；将所述预测值的解码恢复值作为后续图像帧中对应图像块内填充区域像素点的填充值。本发明实施例利用解码恢复值作为后续图像帧中对应图像块内填充区域像素点的填充值，从而使得填充区域内像素点的预测差都为零，因而降低了填充区域所占用的编码比特数，另外，本发明实施例对填充区域也运用了预测模式，充分利用了填充区域在帧间或帧内的相关性，从而提高了帧间或帧内预测的效率。

Description

一种图像填充方法、装置及设备

技术领域

本发明涉及视频技术领域，特别是涉及一种图像填充的方法、装置及设备。

背景技术

现有的视频编码标准大都是基于图像大小为Mx(NxN)设计的，其中NxN是宏块的大小(M、N均为整数值)。目前，最新的视频编码标准H.264视频编码标准/高级视频编码标准(H.264/AVC)以NxN(N的值为16)的宏块作为其基本语法语义单元。

图像填充技术是为了实现任意分辨率视频编码，所谓任意分辨率视频编码，就是指输入视频序列中的矩形图像的宽度和高度可以为任意值，即图像大小可以不是上述宏块的整数倍。因为当图像大小不是宏块的整数倍时，图像编码器就需要在图像的外侧(通常在右侧和底侧)填充一定数量的象素点，使得填充后的图像大小是宏块的整数倍，这样，使用H.264/AVC或其它编码标准的编码器就可以对填充后的图像进行编码和组织码流。

现有技术中的图像填充方法基本包括以下两种：

一.直接复制填充法：直接使用原始图像右侧的最后一列及底侧的最后一行像素点作为填充像素点的值，然后往右侧和底侧分别复制填充。

二.镜像复制填充法：将原始图像右侧和底侧的像素点对称地复制到填充区域。

发明人在实现本发明的过程中发现，现有技术存在着以下缺陷：

1.由于直接复制填充法或者镜像复制填充法仅考虑了图像垂直方向上的纹理信息的连续性，因此无论采用帧间预测还是帧内预测编码，填充区域都不可避免地有非零的预测差值存在，而非零的预测差值将会占用较多的编码比特数。

2.当摄像机位置的一系列变化时，如平动、绕物体转动、晃动(如fore等，会使得图像右侧和底侧处物体产生出、入的情况，现有的填充方法在确定图像填充值的过程中也没有考虑到这些运动信息，就必然会导致填充区域作为帧间预测或帧内预测时的效率较低。

发明内容

本发明实施例提供一种图像填充的方法和装置，以提高图像编码的效率。

本发明实施例提供了一种视频编码中的图像填充方法，该方法包括：为包含填充区域像素点的图像块选择预测模式；根据上述预测模式确定上述图像块内填充区域像素点的预测值；将上述预测值的解码恢复值作为后续图像帧中对应图像块内填充区域像素点的填充值。

本发明实施例还提供了一种图像填充装置，该装置包括：模式选择单元，用于为包含填充区域像素点的图像块选择预测模式；预测值确定单元，用于根据上述预测模式确定上述图像块内填充区域像素点的预测值；填充单元，用于将上述预测值的解码恢复值作为后续图像帧中对应图像块内填充区域像素点的的填充值。

本发明实施例还提供了一种电子设备，其包括上述的图像填充装置以及收发装置，所述收发装置用于接收或发送视频信息。

本发明实施例利用预测值的解码恢复值作为后续图像帧中对应图像块内填充区域像素点的填充值，从而使得填充区域内像素点的预测差都为零，因而降低了填充区域所占用的编码比特数，另外，本发明实施例对填充区域也运用了预测模式，充分利用了填充区域在帧间或帧内的相关性，从而提高了帧间或帧内预测的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种图像填充方法流程示意图；

图2为本发明实施例二提供的一种图像填充方法流程示意图；

图3为本发明实施例三提供的一种计算填充区域像素点最优值的方法流程图；

图4为本发明实施例四提供的一种图像填充装置的结构示意图；

图5为本发明实施例五提供的一种图像填充装置的结构示意图；

图6为本发明实施例六提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例对于图像的填充是以块为单位进行的，具体来说就是将图像分成若干个块，对其中包含填充区域像素点的块逐块进行填充，这里的图像块大小可以任意设定，在本实施例及以下各个实施例，我们将以宏块为例对本发明实施例的技术方案进行说明。

实施例一

如图1所示为本发明实施例一提供的一种图像填充方法流程示意图，需要指出的是，本实施例的描述是从图像编码的编码端进行描述的，该方法包括如下步骤：S101：为包含填充区域像素点的宏块选择预测模式。

在本发明实施例中，为包含填充区域像素点的宏块可以选择预测模式进行预测，以此来提高上述宏块预测编码的效率。

图像编码中有两种基本的预测模式：帧间预测模式和帧内预测模式，其中帧间预测模式是利用图像帧间的相关性，即时间相关性，来达到图像压缩的目的，活动图像是由时间上以帧周期为间隔的连续图像帧组成的时间图像序列，它在时间上比在空间上具有更大的相关性(因为连续两帧间的变化往往很小)，因此编码器采用帧间预测模式先得到一预测参考图像帧，然后和后续的输入帧相比较，对于预测误差较小的像素点可以不再进行传输或仅利用少量的编码比特数进行传输。在对包含填充区域像素点的宏块选择这种帧间预测模式，可以在填充过程中考虑到物体的整体运动特性，保证填充区域在时域上的运动连续性。因此采用了帧间预测模式的填充方式充分利用了填充区域在帧间或帧内的相关性，因此可以在很大程度上提高上述宏块作为帧间预测参考时的效率。

帧内预测模式是在空间域上进行的预测，如果前后帧之间的时域相关性较小，则需要采用帧内预测模式根据当前图像帧中的纹理特点来确定填充区域中像素点的值。对包含填充区域的宏块采用帧内预测模式，即根据本宏块中非填充区域(4×4或8×8大小的块)中的纹理特性，或者与当前宏块相邻的已编码宏块中的纹理特性来确定当前宏块中填充区域像素点的像素值，这样，可以保证宏块中填充区域与非填充区域之间的纹理连续性，从而提高了上述宏块作为帧内预测参考时的效率。

需要指出的是，不管是帧间预测模式还是帧内预测模式，它们都包含了若干种子模式，本发明实施例中预测模式的选择是具体到各种子模式的，这些子模式比如：帧内垂直预测模式，水平预测模式，DC模式等，帧间P16×16模式，P8×8模式等。

S102：根据所述预测模式确定上述宏块内填充区域像素点的预测值。

当步骤S101确定了某种预测模式后，就可以根据该种预测模式的特性来确定上述宏块内填充区域像素点的预测值了。比如对于选定的某种帧间预测模式，可以根据率失真准则使用下式来确定最优的运动矢量(Motion Vector，MV)、参考帧索引(refIdx)及上述宏块填充区域内各个像素点的像素值：

$\left\{{(\mathrm{mv},\mathrm{refIdx},X)}_{\mathrm{opt}}\right|\mathrm{InterMode}\}$

$=\underset{X\∈B^M}{\arg \min }\{\mathrm{DFD}\left(X\right)+{\mathrm{\λ}}_{\mathrm{MOTION}}\·R_{\mathrm{MOTION}}(\mathrm{mv},\mathrm{refIdx})\}$

其中，MV表示运动矢量；refIdx表示参考帧索引；X表示上述宏块内填充区域像素点的值，X＝(x₀，x₁，…，x_N-1)^T，M为所述填充区域像素点的数量；Inter Mode表示选定的某种帧间预测模式；DFD(X)表示使用X进行填充时，当前宏块的预测误差值；R_MOTION(mv，refIdx)表示该填充方式下当前块的运动矢量和参考帧索引的编码比特数；λ_MOTION为帧间预测过程中所使用的Lagrange因子；B表示X中各分量的容许取值范围。

再比如，对于选定的某种帧内预测模式，可以根据率失真准则使用下式来确定上述宏块填充区域内各个像素点的像素值：

$(m_{\mathrm{opt}},X_{\mathrm{opt}})=\underset{X\∈B^M}{\arg \min }\{D(m,X)+{\mathrm{\λ}}_{\mathrm{MODE}}\·R(m,X)\}$

其中，m表示帧内预测模式；X表示上述宏块内填充区域像素点的值，X＝(x₀，x₁，…，x_N-1)^T，M为所述填充区域像素点的数量；D(m，X)表示当前宏块使用索引序号为m的帧内预测模式进行编码时，使用X进行填充时的编码失真；R(m，X)表示该填充方式下宏块的编码比特数；λ_MODE为模式选择过程中的Lagrange因子；B表示X中各分量的容许取值范围。

利用上述率失真准则公式可以为确定的预测模式选择最优的预测值，当然，本发明实施例并不限定以上述方式率失准准则来确定预测值。

S103：将所述预测值的解码恢复值作为后续图像帧中对应宏块内填充区域像素点的填充值。

在图像编码中，无论是帧间预测还是帧内预测，都是以一参考图像帧作为模板，然后在后续帧的编码过程中用作帧间预测或帧内预测参考，即在图像编码的编码器端，会将当前帧的本地解码恢复图像放入一解码图像缓冲区(Decoded Picture Buffer，DPB)，然后用作帧间预测或帧内预测参考。

在本发明实施例中，可以将所述预测值的解码恢复值作为后续图像帧中对应宏块内填充区域像素点的填充值，即保证了该宏块填充区域内像素点的预测差值恒为零。

我们知道，填充区域在编码过程中会占用一定的编码比特数，其主要体现在以下两个方面：

1.宏块头信息开销中与填充区域有关的参数：填充区域的宏块划分的模式、运动矢量、参考帧索引、编码块模板(Coded Block Pattern，CBP)等信息的编码比特数；

2.宏块纹理信息开销中与填充区域有关的参数：包含填充区域的宏块划分的DCT系数的编码比特数。

而预测差值对于上述和填充区域有关的参数所占编码比特数的影响很大，总体而言，预测差值越大，为了保证图像传输的正确性，填充区域所占用的编码比特数越多；预测差值越小，填充区域所占用的编码比特数越少，但并不表示不占用。

本发明实施例方法可以根据实际需要对各个步骤顺序进行调整。

本发明实施例利用预测值的解码恢复值作为后续图像帧中对应宏块内填充区域像素点的填充值，从而使得填充区域内像素点的预测差都为零，因而降低了填充区域所占用的编码比特数，另外，本发明实施例对填充区域也运用了预测模式，充分利用了填充区域在帧间或帧内的相关性，从而提高了帧间或帧内预测的效率。

实施例二

如图2所示为本发明实施例二提供的一种图像填充方法流程示意图，该方法包括如下步骤：

S201：根据填充宏块标记找到所述包含填充区域像素点的宏块；以及根据填充像素位置标记找到所述宏块填充区域内各个像素点的位置。本发明实施例的图像填充方法是以宏块为单位进行操作的，因此，必须需要准确定位待填充宏块，以及该宏块内待填充像素点的位置。

本发明实施例采用填充宏块标记找到所述包含填充区域像素点的宏块，该填充宏块标记记录了“当前宏块中是否包含填充区域中的像素点”；而填充像素位置记录了“宏块中填充区域像素点位置标识”。本发明实施例以最少的标记来定位待填充宏块，以及该宏块内待填充像素点的位置，使得本发明实施例提供的图像填充方法所增加的计算复杂度很小，几乎可以忽略不计。

S202：根据率失真准则为包含填充区域像素点的宏块选择最优的帧间预测模式或帧内预测模式。

帧间预测模式和帧内预测模式中又各自包括了若干种模式，为了得到最优的模式，本发明实施例采用了迭代最优化的方法，该方法包括：

首先根据图像帧的特性，比如根据其时间域或者空间域相关性的大小来确定采用帧间预测模式或是帧内预测模式；

假设上述步骤中采用了帧间预测模式，则根据率失真准则迭代计算第k种帧间预测模式下X_k的代价函数J_k，X为为宏块内填充区域像素点的值，X＝(x₀，x₁，…，x_N-1)^T，M为所述填充区域像素点的数量；k为帧间预测模式的种类，其为大于零的整数。

如果J_k满足预设的条件，则选择第k种帧间预测模式。这里所指的预设条件可以包括多种，比如：

预先设定一固定值Q和阈值T，计算J_k和固定值Q差值的绝对值，如果计算结果小于阈值T，即|J_k-Q|＜T时，迭代终止，选择第k种帧间预测模式为最优的预测模式；或

当满足“代价函数的下降值小于给定阈值T”时，即|J_k-J_k-1|＜T时，迭代终止，选择第k种帧间预测模式为最优的预测模式，J_k-1为第k-1种帧间或帧内预测模式下填充区域像素点的最优代价函数，需要指出的是，这种情况下k的取值为大于等于2的整数。

上述迭代方法同样也适用于帧内预测模式。

S203：根据所述帧间预测模式或帧内预测模式确定上述宏块内填充区域像素点的预测值。该步骤其实已经包含在了步骤S202中，步骤S202中为了计算X_k和X_k-1的代价函数J_k和J_k-1，必须先得到X_k和X_k-1内各分量的值，在本实施例中，也可以使用率失真准则来计算X_k和X_k-1内各分量的最优值。这样，本步骤即为将X_k中各分量的最优值作为所述宏块内填充区域像素点的预测值。

S204：将所述预测值的解码恢复值作为后续图像帧中对应宏块内填充区域像素点的填充值。

该步骤同实施例一中步骤S103，通过该步骤可以使上述宏块内填充区域像素点的预测误差恒为零，从而可以使填充区域占用最少的编码比特数以提高编码效率。

本发明实施例方法可以根据实际需要对各个步骤顺序进行调整。

本发明实施例利用预测值的解码恢复值作为后续图像帧中对应宏块内填充区域像素点的填充值，从而使得填充区域内像素点的预测差都为零，因而降低了填充区域所占用的编码比特数，另外，本发明实施例对填充区域也运用了预测模式，充分利用了填充区域在帧间或帧内的相关性，从而提高了帧间或帧内预测的效率。

实施例三

如图3所示为本发明实施例三提供的一种计算填充区域像素点最优值的方法流程图。本实施例是对实施例二中步骤S202和步骤S203的详细阐述。

如图3所示，该种计算填充区域像素点最优值的方法包括如下步骤：

S301：初始化X_k中各分量的值，X为为宏块内填充区域像素点的值，X＝(x₀，x₁，…，x_N-1)^T，M为所述填充区域像素点的数量，此时，帧间预测模式或者帧内预测模式的编号k＝0。

该步骤中X中各分量的值，可以采用现有技术中的“直接复制填充法”或者“镜像复制填充法”来确定。

S302：通过下式计算X₀的代价函数值J₀：

J₀＝DFD(X)+λ_MOTION·R_MOTION(MV，Re fIdx)

S303：k:＝k+1，初始化i的值，使i＝0，i≤M-1，其为X中各分量的标号。

S304：判断i是否大于M：

如果是，进入步骤S306；

如果否，则进入步骤S305。

S305：固定X_k中除x_i外其它各分量的值，并计算x_i的最优值，同时i:＝i+1，然后返回步骤S304。

在本步骤中x_i最优值的计算是通过如下方式来实现的：

如果k表示帧间预测模式的编号，则通过下式来确定x_i的最优值

$\left\{{(\mathrm{mv},\mathrm{refIdx},X)}_{\mathrm{opt}}\right|\mathrm{InterMode}\}$

$=\underset{X\∈B^M}{\arg \min }\{\mathrm{DFD}\left(X\right)+{\mathrm{\λ}}_{\mathrm{MOTION}}\·R_{\mathrm{MOTION}}(\mathrm{mv},\mathrm{refIdx})\}$

其中，MV表示运动矢量；refIdx表示参考帧索引；X表示上述宏块内填充区域像素点的值，X＝(x₀，x₁，…，x_M-1)^T，M为所述填充区域像素点的数量；Inter Mode表示选定的某种帧间预测模式；DFD(X)表示使用X进行填充时，当前宏块的预测误差值；R_MOTION(mb，refIdx)表示该填充方式下当前块的运动矢量和参考帧索引的编码比特数；λ_MOTION为帧间预测过程中所使用的Lagrange因子；B表示X中各分量的容许取值范围。

如果k表示帧内预测模式的编号，则通过下式来确定x_i的最优值：

$(m_{\mathrm{opt}},X_{\mathrm{opt}})=\underset{X\∈B^M}{\arg \min }\{D(m,X)+{\mathrm{\λ}}_{\mathrm{MODE}}\·R(m,X)\}$

其中，m表示帧内预测模式；X表示上述宏块内填充区域像素点的值，X＝(x₀，x₁，…，x_N-1)^T，M为所述填充区域像素点的数量；D(m，X)表示当前宏块使用索引序号为m的帧内预测模式进行编码时，使用X进行填充时的编码失真；R(m，X)表示该填充方式下宏块的编码比特数；λ_MODE为模式选择过程中的Lagrange因子；B表示X中各分量的容许取值范围。

S306：计算X_k的代价函数值J_k，该计算过程同步骤S302。

S307：判断|J_k-1-J_k|是否小于T，T为一预设的阈值：

如果是，则输出X的最优值；

如果否，则返回步骤S303。

本实施中包括了两个最优化的过程：确定最优化的预测模式以及确定该模式下X分量的最优值。可以运用了循环迭代的方式使该两个过程得以同时实现，从而可以方便的得到最优的X值，即最优的宏块内填充区域像素点的值，该最优的X值可以最大限度地提高包含填充区域像素点的宏块作为帧间或帧内预测参考时的效率。

需要指出的是实施例一至实施例三都是从图像编码的编码器加以描述的，但实际上除了在编码器端需要进行图像填充外，在解码器端也有可能进行图像填充。

比如在解码过程中，在解码端需要将解码恢复视频中人为填充的像素点“裁剪”掉，然后再送给播放设备。因此编码器需要在SPS中设置的如下参数：是否需要对解码恢复图像进行裁剪；若需要则在图像顶侧、底侧、左侧、右侧四个边界处需要裁剪掉的像素点的宽度。然后，解码端在解码当前NxN宏块时，如果需要裁减，则可采用和编码端相同的如实施例一至实施例三所述的填充方法。

本发明实施例方法可以根据实际需要对各个步骤顺序进行调整。

实施例四

如图4所示为本发明实施例四提供的一种图像填充装置的结构示意图，该图像填充装置400包括模式选择单元410、预测值确定单元420和填充单元430，其中预测值确定单元420分别和模式选择单元410及填充单元430相连。

模式选择单元410用于为包含填充区域像素点的宏块选择预测模式。本发明实施例对于图像的填充是以宏块为单位进行的，具体来说可以是将图像分成若干个NxN的宏块，对其中包含填充区域像素点的宏块逐块进行填充。

对包含填充区域像素点的宏块选择预测模式，可以提高该宏块作为预测参考时的效率，这里所说的预测模式包括了帧间预测模式和帧内预测模式。

当前后图像帧之间时域相关性很高，即出现物体出、入图像的情况时，当前帧的边界位置上可能会包含有参考帧中没有的内容，或参考帧中包含有当前帧中没有的内容。这就需要在图像填充过程中，选择帧间预测来预测填充内容，以提高运动预测的效率。

当前后帧之间的时域相关性较小时，则选择帧内预测根据当前图像中的纹理特点确定填充区域中像素点的值，以使得填充区域能够保持原始图像区域中的纹理特性。

需要指出的是，不管是帧间预测模式还是帧内预测模式，它们都包含了若干种子模式，本发明实施例中预测模式的选择是具体到各种子模式的，如帧内垂直预测模式，水平预测模式，DC模式等，帧间P16×16模式，P8×8模式等。

预测值确定单元420用于根据所述预测模式确定所述宏块内填充区域像素点的预测值。

当模式选择单元410确定了某种预测模式后，预测值确定单元420就可以根据该种预测模式的特性来确定上述宏块内填充区域像素点的预测值了。比如对于选定的某种帧间预测模式，可以根据率失真准则使用下式来确定最优的运动矢量(MV)、参考帧索引(refIdx)及上述宏块填充区域内各个像素点的像素值：

$\left\{{(\mathrm{mv},\mathrm{refIdx},X)}_{\mathrm{opt}}\right|\mathrm{InterMode}\}$

$=\underset{X\∈B^M}{\arg \min }\{\mathrm{DFD}\left(X\right)+{\mathrm{\λ}}_{\mathrm{MOTION}}\·R_{\mathrm{MOTION}}(\mathrm{mv},\mathrm{refIdx})\}$

其中，MV表示运动矢量；refIdx表示参考帧索引；X表示上述宏块内填充区域像素点的值，X＝(x₀，x₁，…，x_M-1)^T，M为所述填充区域像素点的数量；Inter Mode表示选定的某种帧间预测模式；DFD(X)表示使用X进行填充时，当前宏块的预测误差值；R_MOTION(mv，refIdx)表示该填充方式下当前块的运动矢量和参考帧索引的编码比特数；λ_MOTION为帧间预测过程中所使用的Lagrange因子；B表示X中各分量的容许取值范围。

再比如，对于选定的某种帧内预测模式，可以根据率失真准则使用下式来确定上述宏块填充区域内各个像素点的像素值：

$(m_{\mathrm{opt}},X_{\mathrm{opt}})=\underset{X\∈B^M}{\arg \min }\{D(m,X)+{\mathrm{\λ}}_{\mathrm{MODE}}\·R(m,X)\}$

其中，m表示帧内预测模式；X表示上述宏块内填充区域像素点的值，X＝(x₀，x₁，…，x_M-1)^T，M为所述填充区域像素点的数量；D(m，X)表示当前宏块使用索引序号为m的帧内预测模式进行编码时，使用X进行填充时的编码失真；R(m，X)表示该填充方式下宏块的编码比特数；λ_MODE为模式选择过程中的Lagrange因子；B表示X中各分量的容许取值范围。

利用上述率失真准则公式可以为确定的预测模式选择最优的预测值，当然，本发明实施例并不限定以上述方式率失准准则来确定预测值。

填充单元430用于将所述预测值的解码恢复值作为后续图像帧中对应宏块内填充区域像素点的的填充值。这种填充方式保证了该宏块填充区域内像素点的预测差值恒为零。

预测差值对于填充区域所占编码比特数的影响很大，总体而言，预测差值越大，为了保证图像传输的正确性，填充区域所占用的编码比特数越多；预测差值越小，填充区域所占用的编码比特数越少，但并不表示不占用。

本发明实施例利用预测值的解码恢复值作为后续图像帧中对应宏块内填充区域像素点的填充值，从而使得填充区域内像素点的预测差都为零，因而降低了填充区域所占用的编码比特数，另外，本发明实施例对填充区域也运用了预测模式，充分利用了填充区域在帧间或帧内的相关性，从而提高了帧间或帧内预测的效率。

实施例五

如图5所示为本发明实施例五提供的一种图像填充装置的结构示意图，该图像填充装置500包括：位置查找单元510、模式选择单元520、预测值确定单元530和填充单元540，其中模式选择单元520又包括帧间预测模式选择模块521和帧内预测模式选择模块522。

位置查找单元510用于根据填充宏块标记找到所述包含填充区域像素点的宏块；以及根据填充像素位置标记找到所述宏块填充区域内各个像素点的位置。本发明实施例的图像填充方法是以宏块为单位进行操作的，因此，必须需要准确定位待填充宏块，以及该宏块内待填充像素点的位置。

本发明实施例采用填充宏块标记找到所述包含填充区域像素点的宏块，该填充宏块标记记录了“当前宏块中是否包含填充区域中的像素点”；而填充像素位置标记记录了“宏块中填充区域像素点位置标识”。上述填充宏块标记及填充像素位置标记可以位于宏块的开销部分，位置查找单元510通过读取该开销部分来确定该宏块内待填充像素点的位置。

本发明实施例以最少的标记来定位待填充宏块，以及该宏块内待填充像素点的位置，因此本发明实施例提供的图像填充方法所增加的计算复杂度很小，几乎可以忽略不计。

帧间预测模式选择模块521用于根据率失真准则为包含填充区域像素点的宏块选择最优的帧间预测模式。为了选择最优的帧间预测模式，本发明实施例的帧间预测模式选择模块521采用了迭代最优化的方法，该方法包括：

首先根据图像帧的特性，比如根据其时间域或者空间域相关性的大小来确定采用帧间预测模式或是帧内预测模式；

假设上述步骤中采用了帧间预测模式，则根据率失真准则迭代计算第k和k-1种帧间预测模式下X_k和X_k-1的代价函数J_k和J_k-1，X为为宏块内填充区域像素点的值，X＝(x₀，x₁，…，x_M-1)^T，M为所述填充区域像素点的数量；k为帧间预测模式的种类。

如果J_k和J_k-1满足预设的条件，则选择第k种帧间预测模式，比如当满足“代价函数的下降值小于给定阈值T”时，即|J_k-J_k-1|＜T时，迭代终止，选择第k种帧间预测模式为最优的预测模式。

帧内预测模式选择模块522用于根据率失真准则为包含填充区域像素点的宏块选择最优的帧内预测模式，其同样可以采用和帧间预测模式选择模块721相同的迭代算法来实现最优帧内预测模式的选择。

预测值确定单元530和填充单元540的作用和实施例四相类似，在此就不再对其加以赘述了。

本发明实施例的装置具体可以表现为电路、集成电路或芯片等。本发明实施例的各个单元可以集成于一体，也可以分离部署。上述单元可以合并为一个单元，也可以进一步拆分成多个子单元。

本发明实施例利用预测值的解码恢复值作为后续图像帧中对应宏块内填充区域像素点的填充值，从而使得填充区域内像素点的预测差都为零，因而降低了填充区域所占用的编码比特数，另外，本发明实施例对填充区域也运用了预测模式，充分利用了填充区域在帧间或帧内的相关性，从而提高了帧间或帧内预测的效率。

实施例六

如图6所示为本发明实施例六提供的一种电子设备的结构示意图，其包括图像填充装置601及收发装置602，其中，

图像填充装置601的技术方案可以结合参考实施例四或实施例五中的技术方案，在此就不再对其进行赘述了；

收发装置602用于接收或发送视频信息，该视频信息可以是通过图像填充装置601填充过后的视频信息。

本发明实施例的电子设备可以是手机、视频处理设备、计算机、服务器等。

本发明实施例提供的电子设备，利用预测值的解码恢复值作为后续图像帧中对应宏块内填充区域像素点的填充值，从而使得填充区域内像素点的预测差都为零，因而降低了填充区域所占用的编码比特数，另外，本发明实施例的电子设备对填充区域也运用了预测模式，充分利用了填充区域在帧间或帧内的相关性，从而提高了帧间或帧内预测的效率。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

另外本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像填充方法，其特征在于，所述方法包括：

根据率失真准则为包含填充区域像素点的图像块选择最优的帧间预测模式或帧内预测模式；

根据所述预测模式确定所述图像块内填充区域像素点的预测值；

将所述预测值的解码恢复值作为后续图像帧中对应图像块内填充区域像素点的填充值，使所述填充区域内像素点的预测差值恒为零。

2.如权利要求1所述的图像填充方法，其特征在于，还包括：根据填充块位置标记确定所述包含填充区域像素点的图像块的位置；以及

根据填充像素位置标记确定所述包含填充区域像素点的图像块填充区域内各个像素点的位置。

3.如权利要求1所述的图像填充方法，其特征在于，所述根据率失真准则为包含填充区域像素点的图像块选择最优的帧间预测模式包括：

根据率失真准则计算第k种帧间预测模式下X_k中各分量的最优值，其中X为所述图像块内填充区域像素点的值，X=(x₀，x₁，...，x_M-1)^T,M为所述填充区域像素点的数量，k为大于零的整数；

根据X_k内各分量的最优值计算X_k的最优代价函数J_k；

如果J_k满足预先设定的终止条件，则所述第k种帧间预测模式即为所述最优的帧间预测模式。

4.如权利要求3所述的图像填充方法，其特征在于，所述根据所述预测模式确定所述图像块内填充区域像素点的预测值包括：

将所述第k种帧间预测模式下X_k中各分量的最优值作为所述图像块内填充区域像素点的预测值。

5.如权利要求1所述的图像填充方法，其特征在于，所述根据率失真准则为包含填充区域像素点的图像块选择最优的帧内预测模式包括：

根据率失真准则计算第k种帧内预测模式下X_k中各分量的最优值，其中X为所述图像块内填充区域像素点的值，X=(x₀，x₁，...，x_M-1)^T,M为所述填充区域像素点的数量；

根据X_k内各分量的最优值计算X_k的最优代价函数J_k；

如果J_k满足预先设定的终止条件，则所述第k种帧内预测模式即为所述最优的帧内预测模式。

6.如权利要求5所述的图像填充方法，其特征在于，所述根据所述预测模式确定所述图像块内填充区域像素点的预测值包括：

将所述第k种帧内预测模式下X_k中各分量的最优值作为所述图像块内填充区域像素点的预测值。

7.如权利要求3或5所述的图像填充方法，其特征在于，所述预先设定的终止条件包括：

所述最优代价函数J_k和固定值Q差值的绝对值小于阈值T，所述固定值Q及阈值T为预先设定的值，或者，

所述最优代价函数J_k和J_k-1差值的绝对值小于阈值T，其中，J_k-1为第k-1种帧间或帧内预测模式下填充区域像素点的最优代价函数，阈值T为预先设定的值。

8.一种图像填充装置，其特征在于，所述装置包括：

模式选择单元，包括：帧间预测模式选择模块，用于根据率失真准则为包含填充区域像素点的块选择最优的帧间预测模式；或者

帧内预测模式选择模块，用于根据率失真准则为包含填充区域像素点的块选择最优的帧内预测模式；

预测值确定单元，用于根据所述预测模式确定所述图像块内填充区域像素点的预测值；

填充单元，用于将所述预测值的解码恢复值作为后续图像帧中对应图像块内填充区域像素点的填充值，使所述填充区域内像素点的预测差值恒为零。

9.如权利要求8所述的图像填充装置，其特征在于，还包括：

位置查找单元，用于根据填充图像块位置标记找到所述包含填充区域像素点的图像块的位置；以及

根据填充像素位置标记找到所述图像块填充区域内各个像素点的位置。

10.一种电子设备，其特征在于，其包括收发装置以及如权利要求8至9中任一项所述的图像填充装置，所述收发装置用于接收或发送视频信息。

Images