CN100463528C

CN100463528C - 无线图像通信系统的错误帧跳跃方法及装置

Info

Publication number: CN100463528C
Application number: CNB2004100517387A
Authority: CN
Inventors: 金庚浩
Original assignee: LG Electronics Huizhou Co Ltd
Current assignee: LG Electronics Huizhou Co Ltd
Priority date: 2004-09-28
Filing date: 2004-09-28
Publication date: 2009-02-18
Anticipated expiration: 2024-09-28
Also published as: CN1756370A

Abstract

本发明是在对所接收的图像执行解码的同时，对是否以宏块为单位感知错误进行判断；如果经判断发现感知到错误，则执行错误隐匿；在对进执行错误隐匿的错误隐匿区域进行提取之后，对占有关注区域的比率进行判断并对错误严重程度进行判断；对应于所判断的错误严重程度执行帧跳跃。其同时应用错误隐匿的程度和各步骤关注区域的重要性，因而可以事先杜绝因过度的错误隐匿而产生的错误累积效果，并且最大限度地保障关注区域的图像品质，藉此可以获得提高图像品质的效果。

Description

无线图像通信系统的错误帧跳跃方法及装置

【技术领域】

本发明是关于具有以下特征的无线图像通信系统的错误帧跳跃方法及装置的，即：以图像内的中央部分为中心，将一定的区域设定成用户的关注区域，利用关注区域中所产生的错误程度对错误的严重程度进行判断，并根据错误严重程度跳过相关图像。

【背景技术】

在无线图像通信中，用户最为不满的方面是因数据传输错误而产生的图像马赛克现象。为解决此种问题，与在网络端对错误进行检查修正的方法不同，实际上在播放图像的视频编解码器中也修正错误，以使其几乎与原图像相同地进行播放的方法正在不断被研究。

实际上，在图像数据中产生得最多的错误是为进行数据压缩而使用的VLC的错误。VLC存在以下缺点：在编码的特性上，因经压缩的数据的连续性，对之后的数据也能够产生错误影响。

因而，其作为由于无法对产生错误的精确位置进行判断，所以从产生错误的块开始到使错误局部化的标记—resync marker(再同步标记)为止一律执行错误隐匿的方法，可在与错误产生程度无关的状态下应用错误隐匿。因而，即使说是局限于当前的块而产生的错误，到测出下一个resync marker的块为止，也一律执行错误隐匿。

对于上述错误隐匿，参照图1予以说明。

图1是展示现有的用于改善图像数据的画质的图像隐匿方法的示意图。

参照图1，在所接收的图像数据中，如果感知产生了错误的错误块，视频编解码器则从错误块开始到使错误局部化的标记—resync marker被测出的块为止，一律执行错误隐匿。

但是，在上述现有的方法中存在以下问题：如果错误的产生程度很严重，那么即使使用了错误隐匿方法，也无法避免在之后的帧上累积错误，而且被过度执行错误隐匿的图像降低了用户对图像品质的信赖度。

而且，存在以下问题：由于经压缩的图像本身是通过VLC译码来传输的，所以在错误产生时，对错误的程度和错误的位置进行精确判断则很困难。

并且，存在以下问题：由于错误隐匿利用来自此前图像的动作矢量或者使用有关周围未产生错误的块的检测信息，所以如果说错误产生的程度很严重，甚至连产生错误的块的周围都产生了错误的话，进行精确的错误隐匿就更加困难，错误隐匿的效果也下降了。

再者，还存在以下问题：如果错误的程度很高，则由于经错误隐匿的图像本身中包括大量的错误，所以在之后要进行解码的图像上累积错误，而且无法提供经错误隐匿的图像或者向用户提供良好的图像品质。

【发明内容】

因而，本发明的目的在于提供具有以下特征的无线图像通信系统的错误帧跳跃方法及装置：同时应用错误隐匿的程度和各步骤关注区域的重要性，因而可以事先杜绝因过度的错误隐匿而产生的错误累积效果，并且最大限度地保障关注区域的图像品质，以获得提高图像品质的效果。

为实现上述目的，根据本发明的一个方面，提供以如下为特征的无线图像通信系统的错误帧跳跃方法：在对所接收的图像执行解码的同时，对是否以宏块为单位感知错误进行判断；如果经判断发现感知到错误，则执行错误隐匿；在对进执行错误隐匿的错误隐匿区域进行提取之后，对占有关注区域的比率进行判断并对错误严重程度进行判断；对应于所判断的错误严重程度执行帧跳跃。

上述关注区域是相对于所接收的图像，以中央宏块为中心、占有图像的70％的菱形区域。

在错误隐匿区域占有关注区域的比率很高的情况下，虽然错误隐匿区域占有关注区域的比率比较低，但是之后在相同区域连续地执行错误隐匿时，则对相关帧执行跳跃。

错误隐匿区域占有关注区域的比率很小，如果之后不在相同区域中连续性地执行错误隐匿，则不跳过该帧，而是将其用作之后解码的帧的参照帧。

根据本发明的另一个方面，提供以包括以下构成为特征的无线图像通信系统的错误帧跳跃装置：对于所接收的图像，提取以中央宏块为中心、占有事先确定好的一定比率的菱形并将其设定为关注区域的关注区域设定模块；在对所接收的图像执行解码的同时，对是否产生了错误进行判断的错误感知模块；如果经错误感知模块判断发现感知到错误，则对产生的错误的块执行错误隐匿的错误隐匿模块；在利用从错误隐匿模块中传输的错误隐匿信息对错误严重程度进行判断之后，根据错误严重程度对相关帧执行跳跃的错误严重程度判断模块。

根据如上所述的本发明，可以提供具有以下特征的无线图像通信系统中的错误帧跳跃方法及装置：由于对因过度的错误隐匿而导致错误累积效果的的图像，根据事先提出的方法进行跳跃，所以可以提高之后的图像的品质，同时能够使因图像品质降低而给用户带来的不便程度最小化。

而且，根据本发明，可以提供具有以下特征的无线图像通信系统中的错误帧跳跃方法及装置：能够使因错误隐匿方法的低效性而产生的错误累积最小化。

并且，根据本发明，可以提供具有以下特征的无线图像通信系统中的错误帧跳跃方法及装置：同时应用错误隐匿的程度和各步骤关注区域的重要性，因而可以事先杜绝因过度的错误隐匿而产生的错误累积效果，并且最大限度地保障关注区域的图像品质，藉此可以获得提高图像品质的效果。

再者，根据本发明，可以提供具有以下特征的无线图像通信系统中的错误帧跳跃方法及装置：能够通过较少的运算量应用实时图像通信系统。

【附图说明】

图2是简略展示本发明的一个理想实施例的无线图像通信系统中的错误帧跳跃装置的构成的结构图。

图3是展示本发明的一个理想实施例的用来进行错误识别的关注区域的示意图。

图4是展示在本发明的一个理想实施例的无线图像通信系统中，用于提高图像品质的错误帧跳跃方法的流程图。

图5是展示本发明的一个理想实施例的利用错误严重程度进行帧跳跃的方法的流程图。

【具体实施方式】

以下参照附图对本发明的理想实施例进行详细说明。

图2是简略展示本发明的一个理想实施例的无线图像通信系统中的错误帧跳跃装置的构成的结构图。图3是展示本发明的一个理想实施例的用来进行错误识别的关注区域的示意图。

参照图2，在无线图像通信系统中，错误帧跳跃装置包含关注区域设定模块200、错误感知模块210、错误隐匿模块220、错误严重程度判断模块230。

关注区域设定模块200对于从编解码器端接收的图像，提取以中央宏块为中心、占有图像的70％左右的菱形区域并将其设定为关注区域。如上被设定的关注区域是用户的视线最为集中的区域，而且是能够在进行图像通话时包括脸的大部分的区域。

例如，如果是176×144的图像，则如图3所示，中央块是以横向数第6个、纵向数第5个宏块为中心、包括左右4个宏块和上下3个宏块的菱形区域。

对于关注区域，参照图3予以说明。编解码器端所接收的图像分为第一关注区域、第二关注区域和边缘区域。第一关注区域在图像通话时，作为用户的视线集中的区域，其重要性比其它区域高。第二关注区域虽然比第一关注区域重要性低，但是比边缘区域重要性高。因而关注区域的重要性依次为第一关注区域、第二关注区域、边缘区域。

因而，因产生的错误而执行错误隐匿的区域被大部分包括在关注区域中的图像则立即跳过，以使错误累积效果最小化。因错误而造成的错误隐匿区域约50％～80％，如果其集中在了关注区域中，则依据各区域重要性，因错误累积的效果很严重而执行跳跃。如果错误隐匿的程度为30％～50％，连续2帧以上在第一关注区域中产生，则错误隐匿的程度虽然很低，但判断认为因连续性的错误而生产的错误累积效果很严重并执行跳跃。

错误感知模块210在对从编解码器端接收的图像执行解码的同时，对是否产生了错误进行判断。如果经判断发现感知到错误，错误感知模块210则向错误隐匿模块传输错误产生的信息。

错误隐匿模块220在对产生错误的块执行错误隐匿之后，向错误严重程度判断模块230传输错误隐匿信息。

错误严重程度判断模块230在利用从错误隐匿模块220中传输的错误隐匿信息对错误的严重程度进行判断之后，根据错误严重程度对相关帧执行跳跃。

即，错误严重程度判断模块230对因在图像中产生错误而执行错误隐匿过程的宏块处于何种程度进行判断，再对错误严重程度进行判断。其后，错误严重程度判断模块230利用所判断的错误严重程度，对是否对相关帧执行跳跃进行判断。

例如，错误严重程度判断模块230，如果在因图像中产生错误而在关注区域中执行错误隐匿过程的宏块在85％以上，则判断为错误的产生程度很严重，并立即对相关帧执行跳跃。

而且，错误严重程度判断模块230，如果在因图像中产生错误而执行错误隐匿的区域为50％～85％，包括从中心宏块向上下左右包含2个宏块的区域的90％以上的区域，则虽然错误的程度不严重，但是因其对图像的重要性产生影响，所以执行跳跃。

并且，错误严重程度判断模块230，如果在因图像中产生错误而执行错误隐匿的区域为30％～50％，包括从中心宏块向上下左右包含2个宏块的区域的70％以上的区域，之后在相同的区域中连续性地执行错误隐匿，则虽然错误的程度不严重，但是因其对图像的重要性和错误累积影响很大，所以执行跳跃。

参照图4，编解码器单元在对所接收的帧执行解码的同时(步骤S400)，感知上述帧是否产生了错误(步骤S402)。

如果通过执行步骤402在上述帧中感知到错误，编解码器单元则对上述帧执行错误隐匿(步骤S404)。

其后，编解码器单元对执行过错误隐匿的错误隐匿区域进行判断(步骤S406)，利用错误隐匿区域占有关注区域的比率对错误严重程度进行判断(步骤S408)。即，编解码器单元对事先所设定的关注区域中的错误隐匿区域处于何种程度进行判断并对错误严重程度进行判断。

其后，编解码器单元利用经判断的错误严重程度对相关帧执行跳跃(步骤S410)。即，如果错误隐匿区域几乎完全占有关注区域，编解码器单元则判断认为错误的产生程度很严重，立即对相关帧执行跳跃；如果错误隐匿执行区域几乎完全占有边缘区域，编解码器单元则判断认为错误的产生程度不严重，将该帧作为之后要执行解码的帧的参照帧。

参照图5对利用错误严重程度对相关帧执行跳跃的方法进行详细说明。

参照图5，编解码器单元在提取错误隐匿区域之后(步骤S500)，对所提取的错误隐匿区域是否占有关注区域的80％以上进行判断(步骤S502)。

如果经步骤502判断认为错误隐匿区域占有关注区域的80％以上，编解码器单元则判断成执行了过度的错误隐匿并跳过相关帧(步骤S504)。

如果经步骤502判断认为错误隐匿区域不占有关注区域的80％以上，编解码器单元则对错误隐匿区域是否占有关注区域的50％～80％进行判断(步骤S506)。

如果经步骤506判断认为错误隐匿区域占有关注区域的50％～80％，编解码器单元则对错误隐匿区域是否占有第一关注区域的90％以上进行判断(步骤S508)。

如果经步骤508判断认为错误隐匿区域占有第一关注区域的90％以上，编解码器单元则跳过上述帧(步骤S504)。

如果经步骤508判断认为错误隐匿区域不占有第一关注区域的90％以上，编解码器单元则将相关帧作为之后要解码的图像的参照图像。(步骤S510)。

如果经步骤506判断认为错误隐匿区域不占有关注区域的50％～80％，编解码器单元则对错误隐匿区域是否占有关注区域的30％～50％进行判断(步骤S512)。

如果经步骤512判断认为错误隐匿区域占有关注区域的30％～50％，编解码器单元则对错误隐匿区域是否占有第一关注区域的70％以上、是否连续性地执行错误隐匿进行判断(步骤S514)。

如果经步骤514判断认为错误隐匿区域占有第一关注区域的70％以上并且连续性地执行了错误隐匿，编解码器单元则跳过上述帧(步骤S504)。

如果经步骤512判断认为错误隐匿区域不占有关注区域的30％～50％，编解码器单元则将上述帧作为之后要解码的图像的参照帧(步骤S516)。

因此，本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利范围来确定其技术性范围。

Claims

1.无线图像通信系统中的错误帧跳跃方法，包括：

在对所接收的图像执行解码的同时，对是否产生错误进行判断；

如果经判断发现感知到错误，则执行错误隐匿；

在对执行错误隐匿的错误隐匿区域进行提取之后，对占有关注区域的比率进行判断并对错误严重程度进行判断；

对应于所判断的错误严重程度执行帧跳跃，包括：

对所提取的错误隐匿区域是否占有关注区域的80％以上进行判断，如果错误隐匿区域占有关注区域的80％以上，则判断成执行了过度的错误隐匿并跳过相关帧；

如果判断认为错误隐匿区域不占有关注区域的80％以上，则对错误隐匿区域是否占有关注区域的50％～80％进行判断；如果判断认为错误隐匿区域占有关注区域的50％～80％，则对错误隐匿区域是否占有第一关注区域的90％以上进行判断；如果判断认为错误隐匿区域占有第一关注区域的90％以上，则跳过上述帧；如果判断认为错误隐匿区域不占有第一关注区域的90％以上，将相关帧作为之后要解码的图像的参照图像；

如果判断认为错误隐匿区域不占有关注区域的50％～80％，则对错误隐匿区域是否占有关注区域的30％～50％进行判断，如果判断认为错误隐匿区域占有关注区域的30％～50％，则对错误隐匿区域是否占有第一关注区域的70％以上、是否连续性地执行错误隐匿进行判断；如果判断认为错误隐匿区域占有第一关注区域的70％以上并且连续性地执行了错误隐匿，跳过上述帧；

如果判断认为错误隐匿区域不占有关注区域的30％～50％，则将上述帧作为之后要解码的图像的参照帧。

2.如权利要求1所述的无线图像通信系统中的错误帧跳跃方法，其特征在于，

关注区域对于所接收的图像而言，是以中央宏块为中心、占有图像的70％左右的菱形区域。

3.无线图像通信系统中的错误帧跳跃装置，包括：

关注区域设定模块，对于所接收的图像，提取以中央宏块为中心、占有事先确定好的一定比率的菱形并将其设定为关注区域；

错误感知模块，在对所接收的图像执行解码的同时，对是否产生了错误进行判断；

错误隐匿模块，如果经错误感知模块判断发现感知到错误，则对产生的错误的块执行错误隐匿；

错误严重程度判断模块，在利用从错误隐匿模块中传输的错误隐匿信息对错误严重程度进行判断之后，根据错误严重程度对相关帧执行跳跃；其中该错误严重程度判断模块对所提取的错误隐匿区域是否占有关注区域的80％以上进行判断，如果错误隐匿区域占有关注区域的80％以上，则判断成执行了过度的错误隐匿并跳过相关帧；如果判断认为错误隐匿区域不占有关注区域的80％以上，则对错误隐匿区域是否占有关注区域的50％～80％进行判断；如果判断认为错误隐匿区域占有关注区域的50％～80％，则对错误隐匿区域是否占有第一关注区域的90％以上进行判断；如果判断认为错误隐匿区域占有第一关注区域的90％以上，则跳过上述帧；如果判断认为错误隐匿区域不占有第一关注区域的90％以上，将相关帧作为之后要解码的图像的参照图像；如果判断认为错误隐匿区域不占有关注区域的50％～80％，则对错误隐匿区域是否占有关注区域的30％～50％进行判断，如果判断认为错误隐匿区域占有关注区域的30％～50％，则对错误隐匿区域是否占有第一关注区域的70％以上、是否连续性地执行错误隐匿进行判断；如果判断认为错误隐匿区域占有第一关注区域的70％以上并且连续性地执行了错误隐匿，跳过上述帧；如果判断认为错误隐匿区域不占有关注区域的30％～50％，则将上述帧作为之后要解码的图像的参照帧。