CN101409847B - 视频解码设备和视频解码方法 - Google Patents

视频解码设备和视频解码方法 Download PDF

Info

Publication number
CN101409847B
CN101409847B CN2008101685725A CN200810168572A CN101409847B CN 101409847 B CN101409847 B CN 101409847B CN 2008101685725 A CN2008101685725 A CN 2008101685725A CN 200810168572 A CN200810168572 A CN 200810168572A CN 101409847 B CN101409847 B CN 101409847B
Authority
CN
China
Prior art keywords
macro block
picture
module
syntax values
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008101685725A
Other languages
English (en)
Other versions
CN101409847A (zh
Inventor
藤泽达朗
菊池义浩
米久保裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN101409847A publication Critical patent/CN101409847A/zh
Application granted granted Critical
Publication of CN101409847B publication Critical patent/CN101409847B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种视频解码设备，其中流信息处理模块(303B)改写已检测到错误的宏块和后续宏块的语法值以设置预测模式为“内4×4预测模式”，设置它的预测指令为DC(中间值)模式，设置它的全部DCT系数为0。本发明还提供了一种执行错误隐藏功能的视频解码方法。

Description

视频解码设备和视频解码方法
技术领域
本发明的一个实施例涉及一种视频解码设备和一种执行错误隐藏功能的视频解码方法。
背景技术
目前，便携式多媒体播放器或具有调谐器的移动电话越来越普及。这种装备能够为移动电话/移动终端接收单频段局部接收服务(以下称为“单频段广播(One-Segmentbroadcasting)”)。
观众经常在移动中欣赏单频段广播。但是，无线电波的状态随着观众的移动而时刻变化。特别是在弱电场区域，某些情况下已接收到并解码的数据中可能发生错误。在数据中发生错误的情况下，错误隐藏处理在视频解码时执行。
第2007-67664号日本专利申请特开公报公布了一种执行适用于已生成的图像的错误隐藏处理的技术，以致减少由于错误的发生而引起的图像质量退化。
单频段广播往往被移动设备接收。这种设备要求用尽可能低的负荷执行关于视频解码的处理以延长电池寿命。因此，错误隐藏处理要求用尽可能低的负荷来执行。
发明内容
本发明的目的在于提供可以减少处理相关错误隐藏处理负荷的视频解码设备和视频解码方法。
根据本发明的一个方面，提供了一种解码压缩编码视频流的视频解码设备，包括：解码模块，其配置为解码包含于视频流中将要被解码的图片中的各个宏块(macroblock)的语法值；错误检测模块，其配置为检测解码模块解码的语法值中的错误；错误隐藏处理模块，其配置为在已被错误检测模块检测出错误的将要解码的图片是执行动态补偿预测处理的帧间预测图片的情况下，执行改写已检测出错误的宏块和其后的宏块中的语法值的错误隐藏处理，以从帧间预测图片的信息或已解码的宏块数据中估计已检测出错误的宏块和其后的宏块中的数据；补偿预测模块，其配置为执行从一个或多个参考图片中生成帧间预测信号的动态补偿预测处理，该帧间预测信号与将依照解码模块解码的语法值或被错误隐藏处理模块改写的语法值而将被解码的图片相对应；帧内预测处理模块，其配置为执行从将依照解码模块解码的语法值或错误隐藏处理模块改写的语法值而将被解码的图片中生成帧内预测信号的帧内预测处理；信号加法模块，用于将帧间预测信号和帧内预测信号其中的一个和对应于将要解码的图片的预测错误信号相加，以解码将要解码的图片。
通过以上构造，可以减少与错误隐藏处理有关的负荷。
本发明的其他目的和优点将在下面的说明中给出，并且其中一部分将从说明中变得显而易见，或者可通过本发明的实施来了解。本发明的目的和优点可通过下文具体指出的手段和结合方式来实现和获得。
附图说明
图1是根据本发明的实施例的视频解码设备的外部视图；
图2是显示图1所示的视频解码设备的系统构造的框图；
图3是显示图1所示的视频解码设备中使用的单频段广播再现应用程序的视频解码模块的功能性构造的框图；
图4是显示图3所示的错误检测模块执行的错误检测处理过程的流程图；
图5是显示图3所示的错误隐藏处理模块的构造的框图；
图6是显示图3所示的错误检测模块执行的错误检测处理的详细过程的流程图；
图7是显示图3所示的错误检测模块执行的错误检测处理的详细过程的流程图；以及
图8是显示图3所示的错误隐藏模块执行的错误隐藏处理过程的流程图；
图9是显示图3所示的错误隐藏模块执行的错误隐藏处理的另一个过程的流程图；和
图10是显示图3所示的错误隐藏模块执行的错误隐藏处理的另一个过程的流程图。
具体实施方式
下文将参考附图说明根据本发明的各种实施例。
首先，参考图1，将说明根据本发明的实施例的视频解码设备的构造。
图1中的视频解码设备是诸如个人电脑、掌上电脑、或者音频/视频播放器的移动设备，并能够由内部电池驱动。以下假设视频解码设备被具体化为用于再现音频或视频数据的多媒体播放器11。
LCD12用作显示装置，各种操作键(后退键13，开始键14，确认键15，上/下/左/右键16，单频段键17)被设置在多媒体播放器11主体的正面。
参考图2，将说明多媒体播放器11的系统构造。
如图2所示，多媒体播放器11包含CPU101，存储器102，显示控制器103，硬盘驱动器(HDD)104，输入接口模块105，USB控制器106，音频控制器107，单频段调谐器108，供电电路110和电池111。
CPU101是用于控制多媒体播放器11操作的处理器，以及执行各种加载在存储器102中的程序(操作系统，应用程序等等)。应用程序是用于完成音频和视频数据再现和单频段广播再现的程序。
显示控制器103控制LCD12以在LCD12的显示屏上显示各种与被应用程序再现的视频数据相对应的操作菜单和图像。HDD14起到用于存储各种如音频和视频数据的数据的存储器的功能。USB控制器106与设置在多媒体播放器11的主体中的USB终端121相连接，并执行与连接到USB终端121的各种外部装置之间的通信。音频控制器107是音频源装置，它生成与被应用程序再现的音频数据一致的声音信号，并输出声音信号至耳机终端122。
单频段调谐器108被设置成为移动终端接收单频段广播。单频段调谐器108包含调谐电路，OFDM解调器和错误纠正模块。调谐电路从由天线输入其中的数字广播信号(高频信号)中提取出与期望接收的频道相对应的频率的信号成分，利用混频器将提取出的信号部分转换成中频信号，利用放大器将所获得的中频信号放大以达到适合于输入到各个OFDM解调器中的预定功率值。
OFDM解调器的各个A/D将从调谐电路输入其中的中频信号转换得到数字信号，用正交解调将所获得的数字信号解调为复合数字信号(complex digital signal)，执行FFT(快速傅立叶变换)将复合数字信号分离成频率轴上的副载波信号，最后输出用于单频段广播再现的已解调信号。
在单频段广播中，通过里德-所罗门(Reed-Solomon)码和卷积码来执行错误纠正的编码。
传输流是一种数据流，其中的压缩编码广播程序数据是多路的。在数字地面电视广播中，与各个频道的广播程序数据相对应的传输流(TS)包含压缩编码视频数据，压缩编码音频数据和图形数据。图形数据也已经被压缩编码。
在CPU101中执行的单频段广播再现应用程序将已解调的传输流(TS)分离成视频数据和音频数据。单频段广播再现应用程序的软件/视频解码模块将以H.264/AVC格式编码的视频流解码，并将已解码的视频流送到显示控制器103。显示控制器103生成与已解码数据相对应的视频信号。当视频信号被输入到LCD12中时，LCD12显示与单频段广播相对应的视频图像。
此外，单频段广播再现应用程序将以AAC格式编码的音频数据送到音频控制器107中。音频控制器107解码音频数据生成音频信号。生成的音频信号通过耳机终端122被输入到耳机中，然后单频段广播的音频从耳机输出。
供电电路110使用来自设置在多媒体播放器11的主体内的电池111的电源或来自外部AC适配器112的电源为各组件提供操作电源。
参考图3，将说明单频段广播再现应用程序所包含的视频解码模块的功能性构造。
单频段广播再现应用程序的视频解码模块符合H.264/AVC标准，包含如图3所示的平均信息量(entropy)解码模块301，错误检测模块302，错误隐藏处理模块303，逆量化模块304，如逆DCT的逆变换模块305，，加法模块306，解块滤波器307，帧存储器308，内预测模块309，间预测模块310，模式转换开关模块311。虽然逆变换模块305执行的H.264的正交变换以整数级精度实施，在这点上与传统DCT不同，在下文中为方便还是使用术语DCT。
各图的编码在如16×16像素的宏块单元中执行。任何一个帧内编码模式(内编码模式，intra-coding mode)和帧间预测编码模式(间编码模式，inter-coding mode)都是针对每个宏块而选择。
在帧间预测编码模式中，通过从已解码的图片中预测将要解码的图片的动态，以固定单元的形式(例如块)生成与将被编码的图片相对应的动态补偿帧间预测信号。通过从将要解码的图片中减去动态补偿帧间预测信号而生成的预测错误信号通过正交变换(DCT)、量化和平均信息量编码进行编码。在内部编码模式中，将被编码的图片的预测信号从将被编码的图片中生成，然后通过正交变换(DCT)、量化和平均信息量编码进行编码。
在MPEG-2或MPEG-4中，编码模式在图片的单元中确定。但是，在采用H.264/AVC标准的情况下，编码模式在构成一幅图片的片单元中确定，并且多种编码模式可以以混合方式在一幅图片中使用。
一些NAL单元集中在一个用于访问图片单元的称为“访问单元”的段中。访问单元包含SPS(Sequence Parameter Set，连续参数集)，PPS(Picture Parameter Set，图片参数集)和主图片信息。
SPS是包含如图像的轮廓或层次的信息的标头(header)，涉及整个序列的编码。PPS是指示整个图片编码模式的标头。主图片信息是包含在图片中的多个宏块数据的数据集。
可能会遇到不存在与整个图片的标头相对应的PPS的情况，以致PPS不能找到图片的开始位置。图片的段通过参考包含在各片中的帧编号来检测，从而确定例如帧编号的一些信息是否与前一个NAL单元不同。
各个宏块的数据含有在解码中使用的信息。在解码中使用的信息包含预测模式信息、预测块大小、预测指令信息、参考图片索引、动态矢量信息和DCT系数。
下面将说明图3中的视频解码模块(软件解码)的操作。
已经以H.264/AVC格式压缩编码的视频流首先被输入到平均信息量解码模块301中。被压缩编码的视频流除了包含与一幅图片相对应的编码图像信息外，还包含预测块大小信息、参考图片索引、在帧间预测编码(间预测编码，inter-prediction coding)中使用的动态矢量信息、在帧内预测编码(内预测编码，intra-prediction coding)中使用的帧内预测信息，以及指示预测模式(间预测编码/内预测编码)的模式信息。
解码处理在如16×16像素的宏块单元中执行。平均信息量解码模块301对视频流执行平均信息量解码处理，这与可变长度解码相似，以及分离如DCT系数、预测块大小、动态矢量信息(动态矢量微分信息)、帧内预测信息、参考图片索引和预测模式信息的视频流语法值，。例如在这种情况下，各个将要解码的图片中的宏块须经过在4×4像素(或8×8像素)的块单元里进行的平均信息量解码处理，并被转换为4×4(或8×8)量化DCT系数。在下面的说明中假设各个块由4×4像素组成。
动态矢量信息通过模式转换开关模块311被送到内部预测模块310。帧内预测信息通过模式转换开关模块311被送到内预测模块309。模式信息被送到模式转换开关模块311。
各个将要解码的块的4×4量化DCT系数通过逆量化模块304的逆量化处理被转换成4×4DCT系数(正交变换系数)。根据频率信息，4×4DCT系数通过逆变换模块305的逆整型DCT(逆正交变换)被转换成4×4像素值。4×4像素值是与将要解码的块相对应的预测错误信号。预测错误信号被送到加法模块306，将要解码的块相对应的预测信号(动态补偿帧间预测信号或帧内预测信号)和上述的预测错误信号在加法模块306中相加，从而完成与将要解码的块相对应的4×4像素值的解码。
在内预测模式中，模式转换开关模块311选择内预测模块309，其结果是内预测模块309获得的帧内预测信号与预测错误信号相加。在交互预测模式中，模式转换开关模块311选择交互预测模块310，其结果是动态补偿帧间预测信号与预测错误信号相加。
以这样的方式，预测信号(动态补偿帧间预测信号或帧内预测信号)和与将要解码的块相对应的预测错误信号相加，并在预定块的单元中实施对将要解码的图片的解码处理。
各个解码图片在经过去块滤波器模块307的去块滤波处理后被存储在帧存储器308中。更具体的，解块滤波器模块307执行解块滤波处理以减少在由例如4×4像素组成的块单元里的各解码图片上的块噪声。解块滤波处理防止块失真被包含在参考图片中，从而防止块失真被传播到另一个解码图片中。适当地实施解块滤波处理，以便对块失真容易发生的解码图片的部分执行强滤波，对块失真不容易发生的解码图片部分执行弱滤波。解块滤波处理由循环滤波器实施。
然后，经过解块滤波处理的各个图片作为输出图片帧(或输出图片字段(picturefiled))从帧存储器308中被读出。此外，各个将被用作动态补偿帧间预测的参考图片使用的图片在给定的时间段内被保存在帧存储器308中。在符合H.264/AVC标准的动态补偿帧间预测编码中，一些图片可以作为参考图片使用。因此，帧存储器308包含多个用于存储与多个图片相对应的图片数据帧的存储模块。
间预测模块310执行从将要解码的图片中生成动态补偿帧间预测信号的帧间预测处理。根据与将被编码的图片相对应的动态矢量信息，交互预测模块310对与将从已经过解块滤波处理的一幅参考图片中解码出的图片相对应的帧间预测信号执行动态补偿预测处理。动态补偿预测处理包含对根据参考图片索引所涉及的参考图片应用像素内插处理的处理，以及依据包含于视频流内的矢量信息从已经过像素内插处理的参考图片中生成与将要解码的图片相对应的交互预测信号的处理。也就是，间预测模块310对解码图片(参考图片)应用像素内插(interpolating)处理，以生成包含小数精度像素群的预测内插信号。然后，间预测模块310依据动态矢量信息执行动态补偿预测，以生成与将从通过像素内插处理获得的预测内插信号中解码出来的图片相对应的帧间预测信号。
内预测模块309执行从将要解码的图片中为图片中将要解码的块产生帧内预测信号的帧内预测处理。内预测模块309依据帧内预测信息执行帧内预测处理(也被称为“内预测处理”)，以从关于另一个已被解码的并在上述图片中位于接近将要解码的块的位置的块的像素值中产生帧内预测信号。至于将要解码的块的大小，存在4×4和16×16两种预测块大小。关于4×4预测块大小，有九种预测模式：垂直预测(预测模式0)，水平预测(预测模式1)，DC预测(预测模式2)，斜向左下预测(预测模式3)。斜向右下预测(预测模式4)，垂直向右预测(预测模式5)，水平向下预测(预测模式6)，垂直向左预测(预测模式7)以及水平向上预测(预测模式8)，其中之一依照预测指令信息在预测块的单元中被选出。此外，关于16×16预测块大小，有四种预测模式：垂直预测(预测模式0)，水平预测(预测模式1)，DC预测(预测模式2)和平面预测(预测模式2)，其中之一依照预测指令信息在预测块的单元中被选出。
在某些接收环境中，可能存在在将被输入到平均信息量解码模块301中的视频流(输入流)数据中含有错误的情况。因此，将与由于错误而丢失的数据相对应的区域的图像插值的错误隐藏功能是重要的。
错误检测模块302为各宏块确定输入流数据中是否含有错误。然后，错误检测模块302向错误隐藏处理模块303输出错误信息，错误信息包含指示错误有/无和已经作出确定的宏块的编号的错误标记(flag)。在错误标记有效的情况下，错误信息指示与包含于错误信息中的编号相对应的宏块中已经发生错误。在错误标记无效的情况下，错误信息指示与包含于错误信息中的编号相对应的宏块中没有发生错误。
如图4所示的流程图，错误检测模块302从流中获得语法值以检测错误(块S11)并确定每个语法值是否落入标准范围内(块S12)。当每个语法值落入标准范围内时，错误检测模块302确定流中不含有错误。另一方面，当图片的标头值或各个语法值落在标准范围外时，错误检测模块302确定流中含有错误并输出发生错误的当前宏块位置(块S13)。
如图5所示，错误隐藏处理模块303包含错误信息分析模块303A和流信息处理模块303B。错误信息分析模块303A分析从错误检测模块302中输出的错误信息以确定错误的有/无。对于其中没有错误发生的宏块，错误隐藏处理模块303不应用任何处理就输出输入的流信息。当从错误信息中检测到存在错误时，错误信息分析模块303A通知流信息处理模块303B发生错误的宏块的编号。流信息处理模块303B执行改写发生错误的宏块的语法值的处理，以从图片的标头信息中或已正常解码的宏块的信息中估计在错误数据之后的丢失的数据。
参考流程图6和图7，将说明错误检测模块302执行的错误检测的详细过程。
错误检测模块302获得图片的标头信息(块S21)，以确定标头信息的值是否落入标准范围内(块S22)。当标头信息的值落在标准范围外时(块S22中的否)，错误检测模块302确定错误已经发生并向错误隐藏处理模块303输出错误信息，此错误信息包含图片的起始宏块的编号和指示宏块中存在错误的错误标记(块37)。
一个从块S21中获得的图片标头信息的实例包含关于整个序列编码的信息，如图片的轮廓或层次。此信息与采用H.264/AVC标准的SPS(Sequence Parameter Set，序列参数集)相对应。另一个图片标头信息的实例包含指示整个图片解码模式的信息。此信息与采用H.264/AVC标准的PPS(Pictrue Parameter Set，图片参数集)相对应。
当标头信息值落入标准范围内时(块S22中的是)，错误检测模块302获得指示内预测模式或间预测模式的预测模式信息(块S23)，并确定预测模式信息是否落入标准范围内(块24)。值落在标准范围外的情况表明没有指定内预测模式和间预测模式其中之一。。
当预测模式信息值落在标准范围外时(块S24中的否)，错误检测模块302确定错误已经发生并向错误隐藏处理模块303输出错误信息，此错误信息包含有效的错误标记和已经完成错误检测的当前宏块的编号(块S37)。
当预测模式信息值落入标准范围内时(S24中的是)，错误检测模块302确定已完成错误检测的宏块是否是间预测模式(块S25)。当确定参考宏块不是交互预测模式(S25中的否)，也就是当确定参考宏块是内部预测模式时，错误检测模块302获得预测块大小(块S26)。
在H.264/AVC标准的情况中，间预测模式的预测块大小是16×16、16×8、8×16、8×8、8×4、4×8和4×4的其中之一。然后，错误检测模块302确定获得的预测块大小的值是否落入标准范围内(块S27)。当获得的预测块大小的值落在标准范围外时(块S27中的否)，错误检测模块302确定错误已经发生并向错误隐藏处理模块303输出错误信息，此错误信息包含有效的错误标记和已经完成错误检测的当前宏块的编号(块S37)。
当所获得的预测块大小的值落入标准范围内时(S27中的是)，错误检测模块302获得预测指令信息(块S28)。在采用H.264/AVC标准的间预测模式中块大小是4×4的情况下，预测指令是预测模式0到预测模式8的其中之一。在采用H.264/AVC标准的间预测模式中块大小是16×16的情况下，预测指令是预测模式0到预测模式3的其中之一。
当获得的预测信息值落在标准范围外时(块S29中的否)，错误检测模块302确定错误已经发生并向错误隐藏处理模块303输出错误信息，此错误信息包含有效的错误标记和已经完成错误检测的当前宏块的编号(块S37)。
当确定已完成错误检测的宏块是内预测模式时(块S25中的是)，错误检测模块302获得预测模块大小(块S31)，然后确定获得的预测块大小的值是否落入标准范围内。在采用H.264/AVC标准的情况下，间预测模式的预测块大小是16×16、16×8、8×16、8×8、8×4、4×8和4×4的其中之一。当获得的预测块大小的值落在标准范围外时(块S32中的否)，错误检测模块302确定错误已经发生并向错误隐藏处理模块303输出错误信息，此错误信息包含有效的错误标记和已经完成错误检测的当前宏块的编号(块S37)。
当获得的预测指令信息落入标准范围内时(S32中的是)，错误检测模块302获得参考图片索引(块S33)并确定参考图片索引的值是否落入标准范围内(块S34)。例如，如果涉及一幅将来的图片，参考图片索引落在标准范围外。
当参考图片索引值落在标准范围外时(块S34中的否)，错误检测模块302确定错误已经发生并向错误隐藏处理模块303输出错误信息，此错误信息包含有效的错误标记和已经完成错误检测的当前宏块的编号(块S37)。
当参考图片索引值落在标准范围内时(块S34中的是)，错误检测模块302获得动态矢量信息(块S35)并确定动态矢量信息的值是否落在标准范围内(块S36)。当动态矢量信息的值落在标准范围外时(块S36中的否)，错误检测模块302确定错误已经发生并向错误隐藏处理模块303输出错误信息，此错误信息包含有效的错误标记和已经完成错误检测的当前宏块的编号(块S37)。
当预测指令信息的值落入标准值内(块S29中的是)或当动态矢量信息的值落入预定值内(块S36中的是)，错误检测模块302获得DCT系数(块S41)并确定DCT系数的值是否落入标准范围内(块S42)。当DCT的值落在标准值外时(块S42中的否)，错误检测模块302确定错误已经发生并向错误隐藏处理模块303输出错误信息，此错误信息包含有效的错误标记和已经完成错误检测的当前宏块的编号(块S37)。
当DCT的值落入标准值内时(块S42中的是)，错误检测模块302向错误隐藏处理模块303输出包含有效错误标记和已发生错误的当前宏块的编号的错误信息(块S43)。
然后，错误检测模块302确定当前宏块是否是图片的最后的宏块(块S44)。当当前宏块不是图片的最后的宏块(块S44中的否)时，流程返回到块S23，错误检测模块302获得后续宏块的预测模式信息并重新执行块S24和后续块的处理。
当当前宏块是图片的最后的宏块时(块S44中的是)，错误检测模块S302确定当前图片是否是流的最后的图片(块S45)。当当前图片不是流的最后的图片时(块S45中的否)，流程返回到块S21，错误检测模块302获得后续图片的标头信息并重新执行块S22和后续块的处理。当当前图片是流的最后的图片时(块S45中的是)，错误检测模块302结束这个流程。
通过以上处理，错误检测模块302检测错误是否已在各宏块内发生中并输出错误信息。
下面将详细说明错误隐藏处理模块303执行的错误隐藏处理。错误隐藏处理模块303依靠从错误检测模块接收到的错误信息的内容改写语法值从而完成错误隐藏处理。对语法值的改写处理依据包含错误的图片是否是I图片(I-picture)还是P(P-picture)图片而不同。
就是说，在包含错误的图片是I图片的情况下，错误隐藏处理模块303设置已经检测到错误的宏块和后续宏块的宏块类型的预测模式为“内4×4预测模式”，由此设置预测指令为DC(中间值)模式，并设置所有的DCT系数为0，以致预测错误信号变为0。
在包含错误的图片是P图片的情况下，错误隐藏处理模块303设置以检测到错误的宏块的和后续宏块的宏块类型的预测模式为“跳过宏块(skipped macroblock)”。在跳过宏块模式中，宏块的信息不被发送，但位于空间中相同位置的参考图片的像素被直接用作编码图像。但是，在采用H.264/AVC标准的情况下，使用预测动态矢量来实施动态补偿预测。在跳过宏块形式中，已经过动态补偿预测的位于空间中相同位置的参考图片的像素直接用作编码图像，以致预测错误信号变为0。
参考流程图8将说明错误隐藏处理模块303的具体处理。
错误信息分析模块303A获得从错误检测模块302发送的错误信息(块S51)。然后错误信息分析模块303A参照错误信息中的错误标记以确定是否没有错误发生(块S52)。当确定错误已经发生(块S52中的否)，错误信息分析模块303A获得错误信息指示的宏块编号，并通知流信息处理模块303B已获得的宏块编号(块S53)。然后流信息处理模块303B确定正在处理的图片是否是I图片(块S54)。当确定正在处理的图片是I图片时(块S54中的是)，流信息处理模块303B改写已检测到的错误的宏块和直到最后的宏块的后续宏块的语法值(块S55到块S57)。
在块S56的改写处理中，流信息处理模块303B设置预测模式为“内4×4预测模式”，设置预测指令信息为DC(中间值)模式，设置全部DCT系数为0。
当块S54确定将处理的图片不是I图片时(块S54中的否)，也就是当确定将处理的图片是P图片时，流信息处理模块303B改写已检测到错误的宏块和直到最后的宏块的后续宏块的语法值(块S65到块S67)。在块S66的改写处理中，流信息处理模块303B设置已检测到错误的宏块和直到最后的宏块的后续模块的预测模式为“跳过宏块”。
通过以上处理，错误隐藏处理可成功应对发生在宏块中的错误。这个处理仅包含将语法值改写为符合规范的值，从而使CPU101使用的负荷很小。
语法值已经被流信息处理模块303B改写的宏块须经过与对语法值没有被逆量化模块304、逆变换模块305、加法模块306、解块滤波模块307、内预测模块309、间预测模块310和模式转换开关模块311写入的宏块进行的处理相同的处理。结果是，已发生错误的宏块和后续宏块的图像从已被正常解码的宏块的信息中显示出来。
在H.264/AVC标准中，P图片可以以混合方式包含P片(P-slice)和I片(I-slice)。一般P图片仅由P片组成。但是，广播含有由P片和I片组成的P图片的视频流在将来是可能的。
下面将参考图9和图10说明用于含有由P片和I片组成的P图片的视频流广播的处理。
错误信息分析模块303A获得错误信息(块S71)。错误信息分析模块303A参照错误信息，然后参照错误信息中的错误标记以确定是否没有错误发生(块S72)。当确定错误已经发生时，错误信息分析模块303A获得错误信息指示的宏块编号并通知流信息处理模块303B已获得的宏块编号(块S73)。然后流信息处理模块303B确定正在处理的图片是否是I图片(块S74)。当确定正在处理的图片是I图片时，流信息处理模块303B改写已检测到错误的宏块和直到最后的宏块的其后续宏块的语法值(块S75到块S77)。在块S76的改写处理中，流信息处理模块303B设置预测模式为“内部4×4预测模式”，设置预测指令为DC(中间值)模式，设置全部DCT系数为0。
当在块S74中确定将处理的图片不是I图片(块S74中的否)，也就是当确定将处理的图片是P图片时，流信息处理模块303B对P片和I片执行不同的语法值改写处理。
参考图10，将说明块S80的改写处理。
在此处理中，流信息处理模块303B依据目标宏块是否属于I片或P片，对已检测到错误的宏块和直到最后的宏块的其后续的语法值执行不同的改写处理(块S81到块S91)。在P片的情况下，流信息处理模块303B设置各宏块的预测模式为跳过宏块(块S89)。在I片的情况下，流信息处理模块S303B设置各宏块的预测模式为“内部4×4预测模式”，设置它的预测指令为DC(中间值)模式，设置它的全部DCT系数为0。
通过以上处理，即使P片和I片以混合方式含于P图片中，也可以依据片的类型实现适当的改写处理。
通过计算机程序执行整个解码控制处理。这样，与以上实施例相同的优点仅通过用计算机可读存储媒介在普通计算机中安装计算机程序就可以轻松获得。
此外，根据本发明的实施例的软件解码不仅可适用于多媒体播放器，也适用于PDA和蜂窝电话等。
这里说明的系统的各种模块可作为应用程序软件、硬件和/或软件模块、或者一个或多个如服务器的计算机上的组件来实现。当各种模块被分别说明时，他们可能共享部分或完全相同的基础逻辑或编码。
另外的优点和修改方案对于本领域技术人员来说会很容易。因此，本发明就较宽的方面来说不局限于文中给出并说明的具体细节和代表性实施例。因而，可在不背离如所附的权利要求及其等同方案所定义的总发明构思的实质或保护范围的情况下进行种种修改。

Claims (12)

1.一种对压缩编码的视频流进行解码的视频解码设备，其特征在于，包含：
解码模块(301)，其配置为对包含于在所述视频流中要解码的图片中的各宏块的语法值进行解码；
错误检测模块(302)，其配置为检测所述解码模块解码的所述语法值中的错误；
错误隐藏处理模块(303)，其配置为在已被所述错误检测模块检测出错误的将要解码的图片是要对其执行动态补偿预测处理的帧间预测图片的情况下，执行改写已检测出错误的宏块和其后续宏块中的所述语法值的错误隐藏处理，以从所述帧间预测图片的信息或已解码宏块的数据中估计所述已检测出错误的宏块和其后续宏块中的数据；
补偿预测模块(310)，其配置为执行从一个或多个参考图片生成与将依照所述解码模块解码的语法值或被所述错误隐藏处理模块改写的语法值而解码的所述图片相对应的帧间预测信号的动态补偿预测处理；
帧内预测处理模块(309)，其配置为执行从将依照所述解码模块解码的语法值或所述错误隐藏处理模块改写的语法值解码的所述图片中生成帧内预测信号的帧内预测处理；和
信号加法模块(306)，其配置为将所述帧间预测信号和所述帧内预测信号中的一个与对应于所述将要解码的图片的预测错误信号相加，以解码所述将要解码的图片。
2.如权利要求1所述的视频解码设备，其特征在于，所述错误隐藏处理模块改写所述已检测到错误的宏块和其后续宏块的语法值，以设置从与所述参考图片对应的宏块中生成所述帧间预测信号的模式。
3.如权利要求1所述的视频解码设备，其特征在于，所述错误隐藏处理模块改写所述已检测到错误的宏块和其后续宏块的语法值，以设置作为动态补偿结果生成的所述帧间预测信号的模式。
4.如权利要求1所述的视频解码设备，其特征在于，所述错误隐藏处理模块改写所述已检测到错误的宏块和其后续宏块的语法值，以设置通过从与所述参考图片相对应的宏块周围的已解码的宏块的动态矢量信息中生成动态矢量来生成所述帧间预测信号的模式。
5.如权利要求1所述的视频解码设备，其特征在于，所述错误隐藏处理模块改写所述已检测到错误的宏块和其后续宏块的语法值，以设置跳过宏块的模式。
6.如权利要求1所述的视频解码设备，其特征在于，所述错误隐藏处理模块改写所述已检测到错误的宏块和其后续宏块的语法值，以使所述预测错误信号变为0。
7.一种对压缩编码的视频流进行解码的视频解码方法，其特征在于，包含：
对视频流中包含于要解码的图片中的各宏块的语法值进行解码；
检测通过解码处理解码的所述语法值中的错误；
执行错误隐藏处理，在已被错误检测检测出错误的将要解码的图片是要对其执行动态补偿预测处理的帧间预测图片的情况下，改写已检测出错误的宏块和其后续宏块中的所述语法值以从所述帧间预测图片的信息或已解码宏块的数据中估计所述已检测出错误的宏块和其后续宏块中的数据；
执行动态补偿预测处理，从一个或多个参考图片生成对应于将依照已解码的语法值或被错误隐藏处理改写的语法值解码的所述图片的帧间预测信号；
执行帧内预测处理，从将依照所述已解码的语法值或被错误隐藏处理改写的语法值解码的所述图片中生成帧内预测信号；和
将所述帧间预测信号和所述帧内预测信号中的一个与对应于所述将要解码的图片的预测错误信号相加以解码所述将要解码的图片。
8.如权利要求7所述的视频解码方法，其特征在于，所述错误隐藏处理是改写所述已检测到错误的宏块和其后续宏块的语法值，以设置从与所述参考图片对应的宏块中生成所述帧间预测信号的模式的处理。
9.如权利要求7所述的视频解码方法，其特征在于，所述错误隐藏处理是改写所述已检测到错误的宏块和其后续宏块的语法值，以设置作为动态补偿结果生成的所述帧间预测信号的模式的处理。
10.如权利要求7所述的视频解码方法，其特征在于，所述错误隐藏处理是改写所述已检测到错误的宏块和其后续宏块的语法值，以设置通过从与所述参考图片相对应的宏块周围的已解码的宏块的动态矢量信息中生成动态矢量来生成所述帧间预测信号的模式的处理。
11.如权利要求7所述的视频解码方法，其特征在于，所述错误隐藏处理是改写所述已检测到错误的宏块和其后续宏块的语法值，以设置跳过宏块的模式的处理。
12.如权利要求7所述的视频解码方法，其特征在于，所述错误隐藏处理是改写所述已检测到错误的宏块和其后续宏块的语法值，以使所述预测错误信号变为0的处理。
CN2008101685725A 2007-09-25 2008-09-25 视频解码设备和视频解码方法 Expired - Fee Related CN101409847B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007-248027 2007-09-25
JP2007248027A JP2009081576A (ja) 2007-09-25 2007-09-25 動画像復号装置、および動画像復号方法
JP2007248027 2007-09-25

Publications (2)

Publication Number Publication Date
CN101409847A CN101409847A (zh) 2009-04-15
CN101409847B true CN101409847B (zh) 2010-12-01

Family

ID=40471549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101685725A Expired - Fee Related CN101409847B (zh) 2007-09-25 2008-09-25 视频解码设备和视频解码方法

Country Status (3)

Country Link
US (1) US20090080524A1 (zh)
JP (1) JP2009081576A (zh)
CN (1) CN101409847B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7749089B1 (en) 1999-02-26 2010-07-06 Creative Kingdoms, Llc Multi-media interactive play system
US6761637B2 (en) 2000-02-22 2004-07-13 Creative Kingdoms, Llc Method of game play using RFID tracking device
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US7066781B2 (en) 2000-10-20 2006-06-27 Denise Chapman Weston Children's toy with wireless tag/transponder
US20070066396A1 (en) 2002-04-05 2007-03-22 Denise Chapman Weston Retail methods for providing an interactive product to a consumer
US6967566B2 (en) 2002-04-05 2005-11-22 Creative Kingdoms, Llc Live-action interactive adventure game
US9446319B2 (en) 2003-03-25 2016-09-20 Mq Gaming, Llc Interactive gaming toy
CN102273207A (zh) * 2009-01-08 2011-12-07 日本电气株式会社 图像转换装置、方法以及程序
CN102148985B (zh) * 2010-02-05 2013-06-12 宏碁股份有限公司 视讯译码装置
US11284072B2 (en) 2010-08-17 2022-03-22 M&K Holdings Inc. Apparatus for decoding an image
EP3125559B1 (en) * 2010-08-17 2018-08-08 M&K Holdings Inc. Apparatus for decoding an intra prediction mode
JP5982734B2 (ja) * 2011-03-11 2016-08-31 ソニー株式会社 画像処理装置および方法
EP3866468A4 (en) * 2018-10-12 2022-07-27 Wilus Institute of Standards and Technology Inc. VIDEO SIGNAL PROCESSING METHOD AND APPARATUS USING MULTI-ASSUMPTION PREDICTION
CN109769120B (zh) * 2019-02-19 2022-03-22 北京微吼时代科技有限公司 基于视频内容跳过编码模式判决方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1295411A (zh) * 1999-09-30 2001-05-16 松下电器产业株式会社 活动图象解码方法、活动图象解码装置及程序记录媒体
CN1324155A (zh) * 2001-06-08 2001-11-28 清华大学 地面数字电视广播中的视频差错隐藏方法
CN1581972A (zh) * 2004-05-20 2005-02-16 复旦大学 一种隐藏错误的视频译码方法
CN1929618A (zh) * 2005-09-07 2007-03-14 上海乐金广电电子有限公司 对动态影像进行解码时的错误隐藏方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000032449A (ja) * 1998-07-09 2000-01-28 Sony Corp 画像情報処理装置および方法、並びに提供媒体
US6304295B1 (en) * 1998-09-18 2001-10-16 Sarnoff Corporation Region-based refresh strategy for video compression
JP3606306B2 (ja) * 1998-10-08 2005-01-05 沖電気工業株式会社 画像符号化装置、画像復号化装置及び画像伝送システム
US20060013320A1 (en) * 2004-07-15 2006-01-19 Oguz Seyfullah H Methods and apparatus for spatial error concealment
JP2006262406A (ja) * 2005-03-18 2006-09-28 Victor Co Of Japan Ltd 符号化データ生成装置
JP4485409B2 (ja) * 2005-05-20 2010-06-23 三菱電機株式会社 動画像復号装置
US9055298B2 (en) * 2005-07-15 2015-06-09 Qualcomm Incorporated Video encoding method enabling highly efficient partial decoding of H.264 and other transform coded information
US7916796B2 (en) * 2005-10-19 2011-03-29 Freescale Semiconductor, Inc. Region clustering based error concealment for video data
JP2007243784A (ja) * 2006-03-10 2007-09-20 Victor Co Of Japan Ltd 動画像復号装置および動画像復号方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1295411A (zh) * 1999-09-30 2001-05-16 松下电器产业株式会社 活动图象解码方法、活动图象解码装置及程序记录媒体
CN1324155A (zh) * 2001-06-08 2001-11-28 清华大学 地面数字电视广播中的视频差错隐藏方法
CN1581972A (zh) * 2004-05-20 2005-02-16 复旦大学 一种隐藏错误的视频译码方法
CN1929618A (zh) * 2005-09-07 2007-03-14 上海乐金广电电子有限公司 对动态影像进行解码时的错误隐藏方法

Also Published As

Publication number Publication date
JP2009081576A (ja) 2009-04-16
US20090080524A1 (en) 2009-03-26
CN101409847A (zh) 2009-04-15

Similar Documents

Publication Publication Date Title
CN101409847B (zh) 视频解码设备和视频解码方法
US11328452B2 (en) Image processing device and method
US10306224B2 (en) Apparatus and method of adaptive block filtering of target slice based on filter control information
JP4733241B1 (ja) 受信装置および受信方法
JP5485431B2 (ja) 画像符号化装置及び画像符号化方法
JP2007300667A (ja) 動画像符号化方法
US20130216150A1 (en) Image processing device, image processing method, and program
KR20050088918A (ko) 동화상 부호화 방법 및 동화상 복호화 방법
CN101399995B (zh) 视频解码设备和视频解码方法
WO2007136094A1 (ja) 動画像復号装置
WO2004066636A1 (ja) 画像符号化方法
CN102986226A (zh) 图像处理装置和方法
JP4949010B2 (ja) 画像復号化方法及び画像復号化装置
JP2004260236A (ja) 動画像の符号化方法および復号化方法
JP4481970B2 (ja) 画像符号化装置及びその方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101201

Termination date: 20120925