CN101637027A - 解码方法、解码器以及解码装置 - Google Patents
解码方法、解码器以及解码装置 Download PDFInfo
- Publication number
- CN101637027A CN101637027A CN200780052207A CN200780052207A CN101637027A CN 101637027 A CN101637027 A CN 101637027A CN 200780052207 A CN200780052207 A CN 200780052207A CN 200780052207 A CN200780052207 A CN 200780052207A CN 101637027 A CN101637027 A CN 101637027A
- Authority
- CN
- China
- Prior art keywords
- rectangle
- data
- predicted picture
- motion vector
- vector data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000015654 memory Effects 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000003860 storage Methods 0.000 claims abstract description 21
- 230000009471 action Effects 0.000 claims abstract description 17
- 238000006243 chemical reaction Methods 0.000 claims abstract description 16
- 238000013139 quantization Methods 0.000 claims abstract description 16
- 238000003709 image segmentation Methods 0.000 claims abstract description 7
- 230000004044 response Effects 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 50
- 238000013500 data storage Methods 0.000 claims description 34
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 230000006835 compression Effects 0.000 description 17
- 238000007906 compression Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000015556 catabolic process Effects 0.000 description 7
- 238000006731 degradation reaction Methods 0.000 description 7
- 238000011002 quantification Methods 0.000 description 4
- 241001269238 Data Species 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007334 memory performance Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Abstract
解码器将图像分割为矩形，对基于运动补偿的运动图像压缩数据进行解码而扩展为图像并存储在图像存储器中，所述解码器包括：编码数据解码部，对压缩数据进行解码并将系数数据和运动矢量数据存储在存储部中；系数数据处理部，基于从存储部读出的系数数据，进行逆量化处理和逆频率变换处理，生成矩形的残差图像；运动矢量数据处理部，基于从存储部读出的运动矢量数据，从图像存储器读出基准图像，生成矩形的预测图像；运动补偿部，对残差图像和预测图像进行加法运算而生成解码图像并存储在图像存储器中；以及控制部，控制解码器内的动作定时。运动矢量数据处理部具有预测图像缓冲器和预测图像生成通知部，所述预测图像缓冲器存储对于至少两个以上的矩形的预测图像，所述预测图像生成通知部通过预测图像延迟信号通知控制部生成了对于所述至少两个以上的矩形的预测图像的情况，控制部响应于预测图像延迟信号来控制动作定时。
Description
技术领域
本发明涉及解码方法、解码器以及解码装置，特别是涉及在接收数字广播时或重放DVD的视频数据时等对被压缩编码的运动图像数据进行解码的解码方法、解码器以及解码装置。
背景技术
通过数字广播或DVD录像等被收看的运动图像由每秒30张左右的数字图像构成，因此从受限的频带或存储介质的容量的观点出发，难以在对这些运动图像数据不进行任何加工的情况下以广播波为载波来传送或者存储在DVD等存储介质中，在现实的应用中对运动图像数据进行了某种压缩处理。一般来说，这些压缩处理考虑了应用的公共性和在市场中的普及程度，遵照由标准化团体规定的协议来执行。作为压缩方式，由ISO/IEC规定的被称为MPEG-2的压缩方式广泛普及，但是由于近年来被称为H.264/AVC的新的压缩方式实现了是MPEG-2的两倍以上的压缩率，因此作为在面向移动设备的地上数字广播、HD-DVD、蓝光播放器等重放装置中采用的下一代的压缩方式而受到了期待。
在MPEG-2或H.264/AVC的运动图像压缩处理中，在构成运动图像的图像之间检测出相关性强、即图案相似的区域并排除其冗余信息的观点成为了基本的观点。各图像被分割成作为压缩的处理单位的矩形区域(宏块)，对于各宏块，从被称为基准图像的在时间上接近的图像中搜索出图案相似的矩形区域，它们的空间上的位置的差作为运动矢量数据被压缩编码，或者这些图像的残差数据作为系数数据被压缩编码。在接收数字广播并显示运动图像或者重放DVD的视频数据的装置中安装有对被压缩编码的数据进行解码扩展的运动图像解码装置。在运动图像解码装置中，必须执行运动补偿处理，即基于运动矢量数据并参照图案相似的图像来生成预测图像并与残差图像进行加法运算。在为H.264/AVC的情况下，由于能够以比MPEG-2细小的矩形区域的处理单位来定义运动矢量数据，因此与此相伴运动图像解码装置的处理负担增大(参照非专利文献1)。
例如，在MPEG-2中，对于作为处理单位的16×16像素＝256像素的矩形区域(宏块)，作为基准图像，需要两次读出最大为17×9像素的亮度值，即需要读出306像素。另一方面，在H.264/AVC中，同样对于256像素的宏块，需要16次读出最大为9×9像素的亮度值，即需要读出1296像素。这意味着在最坏的情况下H.264/AVC需要读出是MPEG-2的四倍以上的数据。
图1是表示以往的解码器的一个例子的框图。图1所示的解码器具有编码数据解码部1、系数数据处理部4、运动矢量数据处理部5、运动补偿部6、控制部7、以及图像存储器8。编码数据解码部1针对每一宏块解析编码数据，分类为系数数据和运动矢量数据，将系数数据提供给系数数据处理部4并将运动矢量数据提供给运动矢量数据处理部5。
控制部7基于后述的同步信号SYNC来控制编码数据解码部1、系数数据处理部4、运动矢量数据处理部5、以及运动补偿部6的动作。
系数数据处理部4具有系数数据解释部41、逆量化部42、以及逆频率变换部43。系数数据解释部41将解释宏块内的系数数据的排列的、遵循等压缩标准的宏块属性转换为硬件所使用的数据形式并输出。从系数数据解释部41输出的系数数据由于在压缩时被进行了量化，因此被逆量化部42进行逆量化处理。另外，图像压缩数据由于按照压缩协议被进行了空间·频率变换，因此在逆量化处理之后被逆频率变换部43进行逆频率变换处理，从原图像减去了预测图像的残差图像被输出。另外，在残差图像中包括伴随着量化、空间·频率变换等的压缩处理而产生的误差成分，该误差成分作为解码图像的失真而显现出来。
另一方面，运动矢量数据处理部5具有运动矢量数据解释部51和预测图像生成部53。运动矢量数据解释部51按照压缩协议将运动矢量数据转换为指示基准图像的运动矢量，预测图像生成部53使用被转换了的运动矢量从图像存储部8读出基准图像，基于压缩协议生成预测图像并输出。
运动补偿部6对系数数据处理部4输出的残差图像和运动矢量数据处理部5输出的预测图像进行加法运算来生成解码图像并存储在图像存储器8中。
在以往的解码器中，在通过硬件来实现上述处理的情况下，作为每一宏块的管线(pipeline)处理而构成，从编码数据解码部1、系数数据处理部4、运动矢量数据处理部5、以及运动补偿部6的每一个向控制部7输出用于取得每一宏块处理的同步的同步信号SYNC。在这样的采用每一宏块的同步的解码器中，在如MPEG-2那样预测图像的参照方式简单的情况下，容易估计出基准图像的读出性能，可以在管线系统不延迟的情况下获得稳定的解码性能。但是，在如H.264/AVC那样根据宏块的分割数量等而有多种预测图像的读出方法的情况下，特别是在宏块的分割数量多的情况下，基准图像的读出性能显著地下降，管线系统延迟并导致解码器整体的性能变差。为了避免这样的管线系统的延迟，可以着眼于基准图像的读出的最差情况来估计所需要的存储器性能而构建解码器，但是需要是MPEG-2的数倍的高速存储器，因此会导致设计难度和成本上升。
参照图2和图3来说明在以往的运动图像解码器中发生性能劣化的定时的例子。图2是表示解码图像的宏块的结构的图。在图2中，各矩形内的编号表示为了方便而对宏块赋予的宏块编号。另外，白色的宏块是被称为帧内宏块的宏块，是可以在不进行运动补偿的情况下进行解码的宏块。另外，通过阴影表示的宏块是被称为帧间宏块的、需要运动补偿的宏块。图3是说明以往的解码器的动作的时序图。图3表示了编码数据解码部1的编码数据解码处理、运动矢量数据处理部5的运动矢量数据解释处理·预测图像生成处理(基准图像读出处理)、系数数据处理部4的系数数据解释·逆量化·逆频率变换处理、以及运动补偿部6的运动补偿处理的定时。在图3中，虚线的箭头表示矢量数据，实线的箭头表示系数数据，X表示在帧内宏块中基准图像读出处理由于无基准图像而以NOP立即结束了。
图1的解码器通过管线对宏块进行处理，在编码数据解码部1对宏块编号N进行处理时，系数数据处理部4和运动矢量数据处理部5对编码数据解码处理结束了的宏块编号N-1进行处理，运动补偿部6对逆频率变换部43的逆频率变换处理和预测图像生成部53的预测图像生成处理结束了的宏块编号N-2的残差图像和预测图像执行加法运算处理。因此，例如如果图2的需要运动补偿的宏块编号4、5、6的块分割复杂，如图3的宏块编号4、5、6那样基准图像的读出所需要的处理时间长，预测图像生成部53的预测图像生成处理产生了延迟，则运动补偿部6对宏块编号6的运动补偿处理的开始被等待，在各管线阶段向下一宏块处理的转换产生了延迟，解码器整体的性能变差。
专利文献1：日本专利文献特开平8-214307号公报；
非专利文献1：インプレス標準教科書シリ一ズ「H.264/AVC教科書」、株式会社インプレスネツトビジネスカンパニ一発行、第113頁～第115頁、2004年8月11日。
发明内容
以往的解码器存在以下问题：如果对宏块编号的基准图像的读出所需要的处理时间变长、预测图像生成处理产生了延迟，则对宏块的运动补偿处理的开始被等待，在各管线阶段向下一宏块处理的转换会产生延迟，解码器整体的性能变差。
因此，本发明的目的在于提供一种即使预测图像生成处理产生了延迟、也能够减少每一宏块处理可能产生的延迟并防止了解码器性能变差的解码方法、解码器以及解码装置。
用于解决问题的手段
通过以下的解码方法来解决上述问题，所述解码方法将图像分割为矩形，对基于运动补偿的运动图像压缩数据进行解码而扩展为图像并存储在图像存储器中，所述解码方法的特征在于，对所述压缩数据进行解码并输出系数数据和运动矢量数据；将所述系数数据存储在系数数据存储部中；将所述运动矢量数据存储在运动矢量数据存储部中；基于从所述系数数据存储部读出的系数数据，进行逆量化处理和逆频率变换处理，生成矩形的残差图像；基于从所述运动矢量数据存储部读出的运动矢量数据，从所述图像存储器读出基准图像，生成矩形的预测图像；对所述残差图像和所述预测图像进行加法运算而生成解码图像，并将该解码图像存储在所述图像存储器中；控制所述系数数据向所述系数数据存储部的存储和所述运动矢量数据向所述运动矢量数据存储部的存储的处理定时；在从所述图像存储器读出所述基准图像并生成矩形的所述预测图像时，将对于至少两个以上的矩形的预测图像存储在预测图像缓冲器中，并通过预测图像延迟信号通知生成了对于所述至少两个以上的矩形的预测图像的情况；响应于所述预测图像延迟信号来控制所述处理定时。
通过以下的解码器来解决上述问题，所述解码器将图像分割为矩形，对基于运动补偿的运动图像压缩数据进行解码而扩展为图像并存储在图像存储器中，所述解码器的特征在于，包括：编码数据解码部，对所述压缩数据进行解码并输出系数数据和运动矢量数据；系数数据存储部，存储所述系数数据；运动矢量数据存储部，存储所述运动矢量数据；系数数据处理部，基于从所述系数数据存储部读出的系数数据，进行逆量化处理和逆频率变换处理，生成矩形的残差图像；运动矢量数据处理部，基于从所述运动矢量数据存储部读出的运动矢量数据，从所述图像存储器读出基准图像，生成矩形的预测图像；运动补偿部，对由所述系数数据处理部生成的所述残差图像和由所述运动矢量数据处理部生成的所述预测图像进行加法运算而生成解码图像，并将该解码图像存储在所述图像存储器中；以及控制部，控制所述解码器内的动作定时；其中，所述运动矢量数据处理部具有预测图像缓冲器和预测图像生成通知部，所述预测图像缓冲器存储对于至少两个以上的矩形的预测图像，所述预测图像生成通知部通过预测图像延迟信号通知所述控制部生成了对于所述至少两个以上的矩形的预测图像的情况；所述控制部响应于来自所述预测图像生成通知部的所述预测图像延迟信号来控制所述动作定时。
通过以下的解码装置来解决上述问题，所述解码装置包括：上述结构的解码器；以及输入部，将被压缩的数字音频视频数据转换为适于解码的形式的编码视频数据和编码音频数据，并将所述编码视频数据作为所述运动图像压缩数据输入到所述解码器。
根据本发明，能够实现以下的编码方法、编码器以及编码装置：即使预测图像生成处理产生了延迟，也能够减少每一宏块处理可能产生的延迟，从而能够防止解码器性能变差。
附图说明
图1是表示以往的解码器的一个例子的框图；
图2是表示解码图像的宏块的结构的图；
图3是说明以往的解码器的动作的时序图；
图4是表示应用了本发明的解码装置的框图；
图5是表示本发明的第一实施例的框图；
图6是说明第一实施例的解码器的动作的时序图；
图7是表示本发明的第二实施例的框图；
图8是表示三个连续的宏块的图；
图9是说明在设置了运动矢量缓冲器的情况下的处理定时的图；
图10是表示运动矢量数据存储部所存储的宏块数据的格式的一个例子的图。
标号说明：
10解码装置
11前端处理部
12多路信号分离器部
13视频解码器
14音频解码器
15视频输出系统
16音频输出系统
61编码数据解码部
62系数数据存储部
63运动矢量数据存储部
64系数数据处理部
65运动矢量数据处理部
66运动补偿部
67控制部
68图像存储器
具体实施方式
在本发明中，将图像分割为矩形，对基于运动补偿的运动图像压缩数据进行解码，扩展为图像，并存储在图像存储器中。编码数据解码部对压缩数据进行解码并输出系数数据和运动矢量数据。系数数据存储部存储系数数据，运动矢量数据存储部存储运动矢量数据。系数数据处理部基于从系数数据存储部读出的系数数据执行逆量化处理和逆频率变换处理并生成矩形的残差图像，运动矢量数据处理部基于从运动矢量存储部读出的运动矢量数据从图像存储器读出基准图像并生成矩形的预测图像。运动补偿部对由系数数据处理部生成的残差图像和由运动矢量数据处理部生成的预测图像进行加法运算，生成解码图像，并存储在图像存储器中。控制部控制系数数据处理部和运动矢量处理部的动作定时。
运动矢量数据处理部具有：预测图像缓冲器，存储对至少两个以上的矩形的预测图像；以及预测图像生成通知部，将生成了对所述至少两个以上的矩形的预测图像的情况通过预测图像延迟信号通知给控制部。因此，控制部响应于预测图像延迟信号来控制所述动作定时。
以下，参照图4～图10来说明本发明的解码方法、解码器以及解码装置的各实施例。
实施例1
图4是表示应用了本发明的解码装置的框图。解码装置10具有如图4所示那样连接的前端处理部11、多路信号分离器部12、视频解码器13、音频解码器14、视频输出系统15、以及音频输出系统16。至少包括多路信号分离器部12、视频解码器13、音频解码器14、视频输出系统15、以及音频输出系统16的部分可以由单一的半导体芯片或MCM等模块构成。
被压缩了的数字音频视频(AV)数据被前端处理部11和多路信号分离器部12变换为适于解码器13、14的解码的形式的编码视频数据和编码音频数据。编码视频数据被视频解码器13解码并经由视频输出系统15显示在显示器17上。另一方面，解码音频数据被音频解码器14解码并经由音频输出系统16从扬声器18输出。
解码装置10例如安装在视频播放器/记录器或摄影机等具有视频重放功能的装置中。这样的解码装置10的基板结构本身是公知的，本发明的特征在于视频解码器13的结构。
解码器13对遵循以MPEG-2、MPEG-4、H.264等标准为代表的进行帧间预测的动画压缩方式的运动图像的视频流(编码视频数据)进行解码。
图5是表示本发明的第一实施例的框图。将图像分割为矩形并基于运动预测对运动图像压缩数据进行解码而扩展为图像的视频解码器13具有如图5所示那样连接的编码数据解码部61、系数数据存储部62、运动矢量存储部63、系数数据处理部64、运动矢量数据处理部65、运动补偿部66、控制部67、以及图像存储器68。另外，图像存储器68也可以由能够与解码器13连接的外部存储器构成，并不是解码器13的必需的构成要素。
编码数据解码部61与系数数据处理部64和运动矢量数据处理部65的宏块处理不同步地针对每一宏块解析编码数据，分类为系数数据和运动矢量数据，将系数数据存储在系数数据存储部62中并将运动矢量数据存储在运动矢量存储部63中。在本实施例中，运动矢量数据存储部63能够存储至少两个以上的运动矢量数据。系数数据存储部62和运动矢量存储部63既可以是相互独立的存储部，也可以是同一存储部的不同的存储区域。
控制部67控制编码数据解码部61、系数数据处理部64、运动矢量数据处理部65、以及运动补偿部66的动作定时。
系数数据处理部64具有系数数据解释部641、逆量化部642、以及逆频率变换部643。系数数据解释部641将从系数数据存储部62读出的、解释宏块内的系数数据的排列的、遵循等压缩标准的宏块属性转换为硬件所使用的数据形式并输出。从系数数据解释部641输出的系数数据由于在压缩时被进行了量化，因此被逆量化部642进行逆量化处理。另外，图像压缩数据由于按照压缩协议被进行了空间·频率变换，因此在逆量化处理之后被逆频率变换部43进行逆频率变换处理，从原图像减去了预测图像的残差图像被输出。另外，在残差图像中包括伴随着量化、空间·频率变换等的压缩处理而产生的误差成分，该误差成分作为解码图像的失真而显现出来。
另一方面，运动矢量数据处理部65具有运动矢量数据解释部651、预测图像生成部653、预测图像缓冲器654、以及预测图像生成通知部655。运动矢量数据处理部65从运动矢量存储部63读出运动矢量数据并进行解释，从图像存储器68读出解释后的运动矢量所指示的基准图像并生成预测图像，并且存储在能够存储至少两个宏块以上的预测图像的预测图像缓冲器654中。运动矢量数据处理部65不取得宏块单位的同步，如果在运动矢量存储部63中存在应处理的数据、并且在预测图像缓冲器654中存在空闲容量，则执行下一宏块的运动矢量数据处理，生成预测图像，并存储在预测图像缓冲器654中。
运动矢量数据处理部65每当将预测图像处理存储在预测图像缓冲器654中时通过预测图像生成通知部655将预测图像延迟信号输出给控制部67。控制部67对于需要运动补偿的宏块确认预测图像延迟信号的接收并控制运动补偿部66的与预测图像延迟信号相对应的宏块的运动补偿动作的开始。由此，运动矢量数据处理部65在不需要运动矢量补偿的宏块和宏块分割简单的宏块等能够高速处理的宏块与运动补偿复杂的宏块等低速处理的宏块之间使性能平均化，由此能够抑制由于基准图像的低速的读出而导致解码器13整体的性能劣化。
运动补偿部66对系数数据处理部64输出的残差图像和运动矢量数据处理部65输出的预测图像进行加法运算，生成解码图像，并存储在图像存储器68中。
图6是说明本实施例的解码器13的动作的时序图。图6表示了解码图像的宏块的结构如图2所示时的解码器13的宏块处理定时。图6表示了编码数据解码部61的编码数据解码处理的结果、运动矢量数据处理部65的运动矢量数据解释处理·预测图像生成处理(基准图像读出处理)、系数数据处理部64的系数数据解释·逆量化·逆频率变换处理、以及运动补偿部66的运动补偿处理的定时。
运动矢量数据处理部65与系数数据处理部64不取得每一宏块的定时同步。因此，如图6所示，对于不需要运动补偿的宏块编号0至3来说，一旦判断出不需要运动矢量数据处理，则立即转换到下一宏块处理。另外，对于需要运动补偿的宏块编号4来说，在读出了基准图像、生成了预测图像、存储在预测图像缓冲器654中、并输出了预测图像延迟信号之后，能够立即转换到下一宏块编号5的处理。在输出了运动图像延迟信号的时点，运动补偿部66尚不需要宏块编号4的预测图像，因此不会发生如图3所示那样的由于宏块编号4的预测图像生成而导致的延迟。对于作为下一个处理对象的、需要运动补偿的宏块编号5来说，也是相同的。在图6中表示了需要运动补偿的宏块编号6的基准图像读出和预测图像生成极度地延迟了的例子。在宏块编号6的预测图像生成处理时间中运动补偿部66结束宏块编号5的运动补偿处理，因此运动补偿部66等待了预测图像的生成。由控制部67响应于来自运动矢量数据处理部65的预测图像生成通知单元655的预测图象延迟信号来执行使运动补偿部66等待的控制。另外，也可以执行将预测图像延迟信号直接提供给运动补偿部66并使运动补偿部66等待的控制。
这样，如图6中的X1所示，帧内的处理在短时间内完成并转换到下一宏块的处理。另一方面，如图6中的X2所示，在如宏块编号6那样预测图像的生成极度地延迟了的情况下，控制部67执行基于预测图像延迟信号而使运动补偿部66等待的控制，因此会发生延迟，但是与图3的情况相比减少了在每一宏块处理中都有可能发生的延迟，因此对于防止解码器13的整体性能的下降来说是有效的。
实施例2
图7是表示本发明的第二实施例的框图。在图7中对与图5相同的部分标注相同的标号并省略相关的说明。在本实施例中，在系数数据处理部64内设置有残差图像缓冲器64和残差图像生成通知部645，在运动矢量数据处理部65内设置有运动矢量缓冲器652。
在上述第一实施例中，参照图6说明了由于块的分割而引起的基准图像的读出性能的平均化的效果，块的分割越复杂，运动矢量数据解释部651的处理速度越慢。在本实施例中，为了抑制由于运动矢量数据处理部65内的运动矢量数据解释部651的性能劣化而导致解码器13整体的性能下降，设置有运动矢量缓冲器652。参照图8和图9来说明该运动矢量缓冲器652的效果。
图8是表示三个连续的宏块的图，在本实施例中，对如图8所示的宏块编号N-1、N、N+1进行处理。如图8所示，宏块编号N-1被分割为16个小块，宏块编号N被分割为8个小块，宏块编号N+1被分割为4个小块。
图9是说明设置有运动矢量缓冲器652时的图8所示的宏块编号N-1、N、N+1的处理定时的图。图9的(a)表示了未设置运动矢量缓冲器652时的处理定时，表示了运动矢量数据解释部651对宏块编号N-1、N、N+1的运动矢量数据解释处理和预测图像生成部653对宏块编号N-1、N、N+1的预测图像生成处理被依次执行的情况。另一方面，图9的(b)表示了设置有运动矢量缓冲器652时的处理定时，表示了运动矢量数据解释部651对宏块编号N-1、N、N+1的运动矢量数据解释处理和预测图像生成部653对宏块编号N-1、N、N+1的预测图像生成处理被依次执行的情况。从图9的(b)也可以看出，通过设置运动矢量缓冲器652，在宏块编号N-1的运动矢量数据解释处理之后，即使处于宏块编号N-1的预测图像生成处理尚未完成的状态，也能够执行对宏块编号N和宏块编号N+1的运动矢量解释处理。由此，根据本实施例，通过图9的(a)和(b)的比较可知，宏块编号N-1、N、N+1的处理时间被缩短，从而提高了运动矢量数据处理部65的处理性能。
另外，在本实施例中，在系数数据处理部64内的逆频率变换部643的后级设置有残差图像缓冲器644，即使在如图6的宏块编号6那样的情况下，逆频率变换部643也能够在宏块编号6之后立即执行对宏块编号7处理。
图10是表示存储在运动矢量数据存储部63中的运动矢量数据的格式的一个例子的图。如图10所示，在运动矢量数据(宏块矢量数据)中，针对每一宏块附加了n比特固定长度的宏块头，设置了表示是否是需要运动补偿的宏块的帧内/帧间标记的区域。根据帧内/帧间标记的区域内的值表示的是帧内宏块还是帧间宏块而采用头内的信息不同的格式。在帧内/帧间标记表示不需要运动补偿的帧内宏块的情况下，在头内设定连续的帧内宏块数。另一方面，在帧内/帧间标记表示需要运动补偿的帧间宏块的情况下，在头内设定运动补偿所需要的控制信息，并在头后附加必要的量的运动矢量数据。即，头包括帧内/帧间标记和对应于是帧内宏块还是帧间宏块的控制信息。控制信息在为帧内宏块的情况下包括连续的帧内宏块的个数，在为帧间宏块的情况下包括块分割信息、基准图像信息等。运动矢量数据包括遵循头内的控制信息的矢量数据，在为帧内宏块的情况下无有效载荷数据。
基于上述的头的信息，在如图2所示的宏块编号0至3那样帧内宏块连续的情况下，运动矢量数据解释部651能够同时处理连续的四个帧内宏块，从而能够提高运动矢量数据解释部641的处理速度。即，在不需要运动补偿的情况下，在矢量数据处理部65中，能够跳过一个或多个矩形数据的处理而转换到下一个需要运动补偿的矩形数据处理。
另外，在本实施例中，设置有残差图像缓冲器644和残差图像生成通知单元645，残差图像缓冲器644存储一个以上的由系数数据处理部53内的逆频率变换部643通过逆频率变换处理生成的矩形单位的残差图像，残差图像生成通知单元645通过残差图像延迟信号来通知生成了残差图像的情况。因此，控制部67基于预测图像延迟信号和来自残差图像生成通知单元645的残差图像延迟信号来控制编码数据解码部61、系数数据处理部64、运动矢量数据处理部65、以及运动补偿部66的动作定时。
产业上的可利用性
根据本发明的运动图像解码装置，能够提供一种避免了蓄积在外部图像存储器中的基准图像的读出负担的偏差、解码处理性能稳定的运动图像解码处理装置，在该领域中有用。
以上通过实施例说明了本发明，但是本发明不限于上述实施例，不言而喻可以在本发明的范围内进行各种变形和改进。
Claims (14)
1.一种解码方法，将图像分割为矩形，对基于运动补偿的运动图像压缩数据进行解码而扩展为图像并存储在图像存储器中，所述解码方法的特征在于，
对所述压缩数据进行解码并输出系数数据和运动矢量数据；
将所述系数数据存储在系数数据存储部中；
将所述运动矢量数据存储在运动矢量数据存储部中；
基于从所述系数数据存储部读出的系数数据，进行逆量化处理和逆频率变换处理，生成矩形的残差图像；
基于从所述运动矢量数据存储部读出的运动矢量数据，从所述图像存储器读出基准图像，生成矩形的预测图像；
对所述残差图像和所述预测图像进行加法运算而生成解码图像，并将该解码图像存储在所述图像存储器中；
控制所述系数数据向所述系数数据存储部的存储和所述运动矢量数据向所述运动矢量数据存储部的存储的处理定时；
在从所述图像存储器读出所述基准图像并生成矩形的所述预测图像时，将对于至少两个以上的矩形的预测图像存储在预测图像缓冲器中，并通过预测图像延迟信号通知生成了对于所述至少两个以上的矩形的预测图像的情况；
响应于所述预测图像延迟信号来控制所述处理定时。
2.如权利要求1所述的解码方法，其特征在于，
在所述运动矢量数据的各矩形数据上附加有表示是否需要运动补偿的标记，
在从所述图像存储器读出所述基准图像并生成矩形的所述预测图像时，如果所述标记表示不需要运动补偿，则跳过对应的矩形数据的处理并转换到下一矩形数据的处理。
3.如权利要求1或2所述的解码方法，其特征在于，
在所述运动矢量数据上附加有控制信息，所述控制信息表示不需要运动补偿的矩形数据的连续的个数，
在从所述图像存储器读出所述基准图像并生成矩形的所述预测图像时，同时跳过所述控制信息所表示的个数的矩形数据的处理，并转换到下一需要运动补偿的矩形数据的处理。
4.如权利要求2或3所述的解码方法，其特征在于，
所述控制信息对于需要运动补偿的矩形数据包括矩形分割信息和所述基准图像的信息。
5.如权利要求1至4中的任一项所述的解码方法，其特征在于，
在从所述图像存储器读出所述基准图像并生成矩形的所述预测图像时，不取得矩形单位的同步，如果在所述运动矢量数据存储部中存在应处理的数据、并且在所述预测图像缓冲器中存在空闲容量，则执行下一矩形的运动矢量数据的处理，生成预测图像，并将基于所述下一矩形的运动矢量数据的预测图像存储在所述预测图像缓冲器中。
6.如权利要求1至5中的任一项所述的解码方法，其特征在于，
在生成矩形的所述残差图像时，将通过所述逆频率变换处理生成的矩形单位的所述残差图像存储在能够存储一个以上的残差图像的残差图像缓冲器中，并通过残差图像延迟信号通知生成了所述残差图像的情况，
所述处理定时基于所述预测图像延迟信号和所述残差图像延迟信号来确定。
7.一种解码器，将图像分割为矩形，对基于运动补偿的运动图像压缩数据进行解码而扩展为图像并存储在图像存储器中，所述解码器的特征在于，包括：
编码数据解码部，对所述压缩数据进行解码并输出系数数据和运动矢量数据；
系数数据存储部，存储所述系数数据；
运动矢量数据存储部，存储所述运动矢量数据；
系数数据处理部，基于从所述系数数据存储部读出的系数数据，进行逆量化处理和逆频率变换处理，生成矩形的残差图像；
运动矢量数据处理部，基于从所述运动矢量数据存储部读出的运动矢量数据，从所述图像存储器读出基准图像，生成矩形的预测图像；
运动补偿部，对由所述系数数据处理部生成的所述残差图像和由所述运动矢量数据处理部生成的所述预测图像进行加法运算而生成解码图像，并将该解码图像存储在所述图像存储器中；以及
控制部，控制所述解码器内的动作定时；
其中，所述运动矢量数据处理部具有预测图像缓冲器和预测图像生成通知部，所述预测图像缓冲器存储对于至少两个以上的矩形的预测图像，所述预测图像生成通知部通过预测图像延迟信号通知所述控制部生成了对于所述至少两个以上的矩形的预测图像的情况；
所述控制部响应于来自所述预测图像生成通知部的所述预测图像延迟信号来控制所述动作定时。
8.如权利要求7所述的解码器，其特征在于，
在所述运动矢量数据的各矩形数据上附加有表示是否需要运动补偿的标记，
如果所述标记表示不需要运动补偿，则所述矢量数据处理部跳过对应的矩形数据的处理并转换到下一矩形数据的处理。
9.如权利要求7或8所述的解码器，其特征在于，
在所述运动矢量数据上附加有控制信息，所述控制信息表示不需要运动补偿的矩形数据的连续的个数，
所述运动矢量数据处理部同时跳过所述控制信息所表示的个数的矩形数据的处理，并转换到下一需要运动补偿的矩形数据的处理。
10.如权利要求7至9中的任一项所述的解码器，其特征在于，
所述控制信息对于需要运动补偿的矩形数据包括矩形分割信息和所述基准图像的信息。
11.如权利要求7至10中的任一项所述的解码器，其特征在于，
所述运动矢量数据处理部不取得矩形单位的同步，如果在所述运动矢量数据存储部中存在应处理的数据、并且在所述预测图像缓冲器中存在空闲容量，则执行下一矩形的运动矢量数据的处理，生成预测图像，并将基于所述下一矩形的运动矢量数据的预测图像存储在所述预测图像缓冲器中。
12.如权利要求7至11中的任一项所述的解码器，其特征在于，
所述系数数据处理部具有残差图像缓冲器和残差图像生成通知部，所述残差图像缓冲器存储一个以上的通过所述逆频率变换处理生成的矩形单位的残差图像，所述残差图像生成通知部通过残差图像延迟信号通知所述控制部生成了所述残差图像的情况，
所述控制部基于所述预测图像延迟信号和所述残差图像延迟信号来控制所述动作定时。
13.如权利要求7至12中的任一项所述的解码器，其特征在于，
还包括所述图像存储器。
14.一种解码装置，其特征在于，包括：
权利要求7至13中的任一项所述的解码器；以及
输入部，将被压缩的数字音频视频数据转换为适于解码的形式的编码视频数据和编码音频数据，并将所述编码视频数据作为所述运动图像压缩数据输入到所述解码器。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2007/055621 WO2008114403A1 (ja) | 2007-03-20 | 2007-03-20 | デコード方法、デコーダ及びデコード装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101637027A true CN101637027A (zh) | 2010-01-27 |
| CN101637027B CN101637027B (zh) | 2011-11-23 |
Family
ID=39765525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2007800522071A Expired - Fee Related CN101637027B (zh) | 2007-03-20 | 2007-03-20 | 解码方法、解码器以及解码装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20100067575A1 (zh) |
| JP (1) | JP5115549B2 (zh) |
| KR (1) | KR101037642B1 (zh) |
| CN (1) | CN101637027B (zh) |
| WO (1) | WO2008114403A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8828225B2 (en) | 2004-08-06 | 2014-09-09 | Asahi Kasei Medical Co., Ltd. | Polysulfone hemodialyzer |
| JP2014078891A (ja) * | 2012-10-11 | 2014-05-01 | Canon Inc | 画像処理装置、画像処理方法 |
| JP6849880B2 (ja) * | 2016-06-28 | 2021-03-31 | キヤノン株式会社 | 画像伝送システム及びその制御方法及び撮像装置 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08214265A (ja) * | 1995-01-31 | 1996-08-20 | Sony Corp | 符号化データの再生方法および再生装置 |
| JP3732867B2 (ja) * | 1995-03-09 | 2006-01-11 | 株式会社ルネサステクノロジ | 画像伸張装置 |
| JPH09261641A (ja) * | 1996-03-26 | 1997-10-03 | Sanyo Electric Co Ltd | 圧縮画像データ処理方法及び装置 |
| JPH1013841A (ja) * | 1996-06-20 | 1998-01-16 | Oki Electric Ind Co Ltd | 画像復号方法および画像復号装置 |
| JP3123496B2 (ja) * | 1998-01-28 | 2001-01-09 | 日本電気株式会社 | 動き補償処理方法及びシステム並びにその処理プログラムを記録した記録媒体 |
| JP3604290B2 (ja) * | 1998-09-25 | 2004-12-22 | 沖電気工業株式会社 | 動画像復号方法及び装置 |
| JP2002197794A (ja) * | 2000-12-25 | 2002-07-12 | Toshiba Corp | 音声映像データ同期再生方法 |
| JP4015934B2 (ja) * | 2002-04-18 | 2007-11-28 | 株式会社東芝 | 動画像符号化方法及び装置 |
| ATE384404T1 (de) * | 2002-02-01 | 2008-02-15 | Matsushita Electric Ind Co Ltd | Kodierungsverfahren und dekodierungsverfahren für bewegliche bilder |
| JP2004221744A (ja) * | 2003-01-10 | 2004-08-05 | Nippon Hoso Kyokai <Nhk> | 動画像符号化装置、その方法及びそのプログラム、並びに、動画像復号装置、その方法及びそのプログラム |
| US20060062311A1 (en) * | 2004-09-20 | 2006-03-23 | Sharp Laboratories Of America, Inc. | Graceful degradation of loop filter for real-time video decoder |
| TWI266539B (en) * | 2005-01-13 | 2006-11-11 | Via Tech Inc | Decoding device with multi-buffers |
| JP4502203B2 (ja) * | 2005-03-17 | 2010-07-14 | ルネサスエレクトロニクス株式会社 | 画像符号化装置、及び画像復号化装置 |
-
2007
- 2007-03-20 CN CN2007800522071A patent/CN101637027B/zh not_active Expired - Fee Related
- 2007-03-20 JP JP2009505003A patent/JP5115549B2/ja active Active
- 2007-03-20 WO PCT/JP2007/055621 patent/WO2008114403A1/ja active Application Filing
- 2007-03-20 KR KR20097019432A patent/KR101037642B1/ko active IP Right Grant
-
2009
- 2009-09-17 US US12/561,670 patent/US20100067575A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| KR101037642B1 (ko) | 2011-05-30 |
| US20100067575A1 (en) | 2010-03-18 |
| WO2008114403A1 (ja) | 2008-09-25 |
| CN101637027B (zh) | 2011-11-23 |
| JPWO2008114403A1 (ja) | 2010-07-01 |
| KR20100005033A (ko) | 2010-01-13 |
| JP5115549B2 (ja) | 2013-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8982964B2 (en) | Image decoding device, image coding device, methods thereof, programs thereof, integrated circuits thereof, and transcoding device | |
| EP1775961B1 (en) | Video decoding device and method for motion compensation with sequential transfer of reference pictures | |
| US8184690B2 (en) | Image processing apparatus and image processing method | |
| US20060203918A1 (en) | Image processing apparatus implemented in IC chip | |
| CN1946182B (zh) | 代码转换器、记录装置和代码转换方法 | |
| US8184700B2 (en) | Image decoder | |
| US9153037B2 (en) | Image decoding device, image encoding device, image decoding method, and image encoding method | |
| US20060133512A1 (en) | Video decoder and associated methods of operation | |
| CN102067583B (zh) | 视频处理装置及视频处理方法 | |
| US9723308B2 (en) | Image processing apparatus and image processing method | |
| GB2321154A (en) | Reverse playback of MPEG video | |
| JP2001346165A (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
| CN101637027B (zh) | 解码方法、解码器以及解码装置 | |
| US20080063081A1 (en) | Apparatus, method and program for encoding and/or decoding moving picture | |
| JPH08130707A (ja) | 画像信号処理装置 | |
| JPH10327416A (ja) | 動画像符号化装置 | |
| JP4894793B2 (ja) | デコード方法、デコーダ及びデコード装置 | |
| CN114339249B (zh) | 视频解码方法、可读介质及其电子设备 | |
| KR100247977B1 (ko) | 확장 가능한 메모리를 구비한 비디오 디코더 | |
| JP5302753B2 (ja) | 映像走査変換装置 | |
| JP3374128B2 (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
| JP2001238167A (ja) | 画像再生方法とこの方法を利用可能な画像再生装置およびテレビジョン受像機 | |
| JP2013219611A (ja) | 符号化装置および符号化方法、ならびに、復号装置および復号方法 | |
| JP2006340238A (ja) | 符号化装置及びその制御方法及びプログラム及び記憶媒体 | |
| JP2001339726A (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111123 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |