CN105915900B - 图像处理设备和方法 - Google Patents

图像处理设备和方法 Download PDF

Info

Publication number
CN105915900B
CN105915900B CN201610344309.1A CN201610344309A CN105915900B CN 105915900 B CN105915900 B CN 105915900B CN 201610344309 A CN201610344309 A CN 201610344309A CN 105915900 B CN105915900 B CN 105915900B
Authority
CN
China
Prior art keywords
image
prediction
circuit
motion compensation
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610344309.1A
Other languages
English (en)
Other versions
CN105915900A (zh
Inventor
中神央二
矢崎阳一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105915900A publication Critical patent/CN105915900A/zh
Application granted granted Critical
Publication of CN105915900B publication Critical patent/CN105915900B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

提供了可以改进编码效率同时防止负荷增加的图像处理设备和方法。滤波预测电路(64)的提取电路(71)从低分辨率的基层中的基准帧提取运动补偿图像，所述运动补偿图像是用于在高分辨率的增强层中的预测图像产生的图像。使用时间方向分析和与上转换相关联的滤波预测电路(64)的滤波电路(72)关于由提取电路(71)提取的多个基层运动补偿图像进行滤波，并产生增强层中的预测图像。本发明例如可以应用于编码和解码设备。

Description

图像处理设备和方法
本申请是以下专利申请的分案申请：申请号：201080016310.2，申请日：2010年02月12日，发明名称：图像处理设备和方法。
技术领域
本发明涉及图像处理设备和方法，且更具体地涉及可以改善编码效率同时防止负荷增加的图像处理设备和方法。
背景技术
通常，使用运动补偿和比如离散余弦变换、Karhunen-Loève变换或者小波变换之类的正交变换的编码方案(包括MPEG(运动图像专家组)、H.26x等)通常已经用作在处理运动图像的情况下的编码方案。在这些运动图像编码方案中，通过利用要编码的输入图像信号的特性当中的空间方向和时间方向上的相关性来实现代码量的减少。
例如，在H.264中，当利用时间方向上的相关性产生作为要经历帧间预测(帧间预测)的帧的帧间时使用单向预测或者双向预测。设计帧间预测以产生基于在不同时间的帧的预测图像。
此外，在作为H.264的标准扩展的SVC(可缩放视频编码)中，已经建立考虑空间可缩放性的编码方案。SVC(H.264/AVC附录G)是在2007年11月由ITU-T(国际电信联盟电信标准化部门)和ISO/IEC(用于标准化的国际组织/国际电工委员会)标准化的最新的视频编码标准。
图1图示在SVC中考虑空间可缩放性的创建用于压缩的预测图像的参考关系。在SVC中，例如，如图1所示，以基层和增强层中的多个分辨率执行编码。在图1中的示例的情况下，作为基层，使用空间可缩放性编码具有n×m[像素(pix)](n和m是整数)的分辨率的图像。与此一起，使用空间可缩放性编码具有N×M[像素(pix)](N和M是整数)的分辨率的图像(其中N>n且M>m)作为增强层。
在基层的情况下，与基于H.264标准的编码的情况类似地，利用帧内预测或者帧间预测编码当前帧。在图1中的示例的情况下，当执行基层的编码时，使用两个基准面(Ref0，Ref1)。提取来自单独的基准面的运动补偿图像(MC0，MC1)，并执行帧间预测。
同样在增强层的情况下，与基本层的情况类似，可以利用帧内预测或者帧间预测编码当前帧。
在帧内预测的情况下，利用当前帧的增强层中的空间相关性执行预测。在时间方向上的相关性低时，比如当对象少量移动时，帧内预测在要编码的运动图像中是有效的。但是，通常，在一般的运动图像中，在多数情况下，时间方向上的相关性高于空间方向上的预测，且帧内预测不能被认为就编码效率而言是最适宜的。
在帧间预测的情况下，在时间上在前或在后的帧的增强层中的解码图像用作基准面。帧间预测使用时间方向上的相关性，因此使得高编码效率是可行的。但是，需要预先解码在用作基准面的增强层中的高分辨率帧图像。此外，还需要在存储器中保存高分辨率图像以利用它们作为参考。此外，需要从存储器读取具有大量数据的高分辨率图像。因此，帧间预测可以被认为是就处理量和实现成本而言施加大负荷的方案。
在这点上，在增强层的情况下，除上述两个方案之外，基于基层的空间上采样(上转换)的预测方法(以下称为上转换预测)可用于编码当前帧。
在基层中的图像是增强层中的图像的低分辨率版本，因此可以被认为包括与增强层中的图像的低频分量对应的信号。就是说，可以通过将高频分量加到基层中的图像来获得增强层中的图像。上转换预测是用于利用这种层之间的相关性执行预测的方法，且特别在帧内预测或者帧间预测不适用的情况下是对改善编码效率有用的预测方法。此外，该预测方法仅通过在基层中同时解码图像来解码当前帧的增强层中的图像，因此可以被认为是就处理量而言同样优秀的(施加小负荷)的预测方案。
同时，用于增大分辨率的处理包括用于执行运动补偿和像素值的FIR滤波以将时间方向上的相关性转换为用于使用的空间分辨率的技术。(例如，参见，NPL 1)。
在NPL 1中描述的方法中，时间方向上的相关性用于增加输入图像序列的分辨率的处理。具体地说，计算在当前图像和先前图像之间的有关已运动预测/补偿的图像的差别信息，且将其反馈到目标当前图像以恢复输入图像中包括的高频分量。
引文列表
非专利文献
NPL 1：“Improving Resolution by Image Registration”，MICHAL IRANI和SHMUEL PELEG，计算机科学系，耶路撒冷希伯来大学，耶路撒冷91904，以色列，由RamaChellapa传送，在1989年6月16日接收；1990年5月25日接受。
发明内容
技术问题
但是，上转换低分辨率图像使得由于线性内插滤波器的影响而产生具有少量高频分量的图像。因此，在上转换预测中，仅可以获得具有少量高频分量的预测图像。就是说，在上转换预测中，不能说已经发送的基层中的像素信息充分地用于执行预测。因此，在增强层中，可能需要大量代码来编码残差信号。
如上，在现有的编码和解码方法中，难以实现编码效率的改善以及防止负荷增加两者。
因此，可以设想通过应用如NPL 1描述的用于将运动图像的时间相关性转换为空间分辨率的图像处理技术来实现编码效率的改善的方法。但是，NPL1中描述的方法不能简单地应用于SVC。
例如，在帧间预测中，从基准面获得的运动补偿图像的分辨率与产生的预测图像的相同，且NPL 1中描述的方法不能应用于上转换预测。此外，在上转换预测中，因为仅从基层中当前帧的图像产生预测图像，所以其中使用三个图像增加分辨率的NPL 1中描述的方法不能应用于上转换预测。
已经考虑上述情况而提出本发明，且本发明意在通过更有效地利用运动图像的信号序列中包括的时间相关性来执行考虑空间可缩放性的编码，由此使得能够改善编码效率同时防止比如编码和解码的处理的负荷的增加。
技术方案
本发明的一个方面提供了图像处理设备，包括：解码装置，用于解码编码图像；产生装置，用于将由解码装置解码的图像和预测图像相加，并用于产生解码图像；提取装置，用于使用由产生装置产生的解码图像形成的帧作为基准帧并使用已经编码的图像中的运动矢量来执行运动补偿，并用于从与预测图像对应的基准帧提取具有比预测图像更低分辨率的运动补偿图像；和预测图像产生装置，用于通过利用运动补偿图像中包括的时间方向上的相关性，执行用于补偿由提取装置提取的运动补偿图像的高频分量的滤波处理，由此产生具有比运动补偿图像更高分辨率的预测图像。
编码图像已经分级地分解为具有不同分辨率的多个层中的图像且图像已经被编码；解码装置可以解码每一层中的编码图像；产生装置可以产生每一层中的解码图像；当要执行高分辨率层的解码时，提取装置可以使用具有比该层更低分辨率的层中的帧作为基准帧，并从在具有更低分辨率的层中的基准帧提取运动补偿图像；且预测图像产生装置可以通过关于从具有更低分辨率的层中的基准帧提取的运动补偿图像执行滤波处理，来产生高分辨率层中的预测图像。
预测图像产生装置可以包括：分辨率转换装置，用于转换由提取装置提取的多个运动补偿图像之间的差别图像的分辨率并增加分辨率；第一滤波器装置，用于将低通滤波器应用于其分辨率已经由分辨率转换装置增加的差别图像；第二滤波器装置，用于将高通滤波器应用于通过由第一滤波器装置应用低通滤波器而获得的图像；和相加装置，用于将通过由第一滤波器装置应用低通滤波器而获得的图像与由第二滤波器装置应用高通滤波器而获得的图像与由提取装置提取的多个运动补偿图像之一相加，并用于产生预测图像。
相加装置可以将通过由第一滤波器装置应用低通滤波器而获得的图像和通过由第二滤波器装置应用高通滤波器而获得的图像与从关于预测图像的时间的在前帧提取的运动补偿图像相加。
图像处理设备可以进一步包括：单向预测装置，用于使用多个运动补偿图像执行单向预测，并用于产生预测图像；双向预测装置，用于使用多个运动补偿图像执行双向预测，并用于产生预测图像；和判断装置，用于通过使用编码图像的报头中包括的标识标记，来判断是要由单向预测装置通过单向预测产生预测图像、要由双向预测装置通过双向预测产生预测图像还是要由预测图像产生装置通过滤波处理产生预测图像。
本发明的一个方面进一步提供图像处理方法，包括：解码编码图像；将解码图像和预测图像相加并产生解码图像；使用由产生的解码图像形成的帧作为基准帧并使用已经编码的图像中的运动矢量来执行运动补偿，和从与预测图像对应的基准帧提取具有比预测图像更低分辨率的运动补偿图像；和通过利用运动补偿图像中包括的时间方向上的相关性，执行用于补偿提取的运动补偿图像的高频分量的滤波处理，由此产生具有比运动补偿图像更高分辨率的预测图像。
本发明的另一方面提供了图像处理设备，包括：编码装置，用于编码作为要编码的图像的原始图像，并用于产生编码图像；检测装置，基于多个图像和原始图像检测运动矢量，该多个图像中的每一个是通过基于指示原始图像和预测图像之间的差别的残差信号执行本地解码而获得的；提取装置，用于使用由通过执行本地解码获得的图像形成的帧作为基准帧并使用由检测装置检测的运动矢量来执行运动补偿，和用于从与预测图像对应的基准帧提取具有比预测图像更低分辨率的运动补偿图像；和产生装置，用于通过利用运动补偿图像中包括的时间方向上的相关性，执行用于补偿由提取装置提取的运动补偿图像的高频分量的滤波处理，由此产生具有比运动补偿图像更高分辨率的预测图像。
编码装置可以产生具有不同分辨率的多个层中的编码图像；当要执行高分辨率层的解码时，提取装置可以使用具有比该层更低分辨率的层中的帧作为基准帧，并使用由检测装置在具有更低分辨率的层中检测到的运动矢量，从具有更低分辨率的层中的基准帧提取运动补偿图像；和产生装置，可以通过关于从具有更低分辨率的层中的基准帧提取的运动补偿图像执行滤波处理，来产生高分辨率层中的预测图像。
产生装置可以包括：分辨率转换装置，用于转换由提取装置提取的多个运动补偿图像之间的差别图像的分辨率并增加分辨率；第一滤波器装置，用于将低通滤波器应用于其分辨率已经由分辨率转换装置增加的差别图像；第二滤波器装置，用于将高通滤波器应用于通过由第一滤波器装置应用低通滤波器而获得的图像；和相加装置，用于将通过由第一滤波器装置应用低通滤波器而获得的图像与由第二滤波器装置应用高通滤波器而获得的图像与由提取装置提取的多个运动补偿图像之一相加，并产生预测图像。
相加装置可以将通过由第一滤波器装置应用低通滤波器而获得的图像和通过由第二滤波器装置应用高通滤波器而获得的图像与从关于预测图像的时间的在前帧提取的运动补偿图像相加。
编码装置可以使得报头包括标识标记，该标识标记标识是否要与由解码设备解码的图像相加的预测图像是通过单向预测产生、通过双向预测产生还是通过滤波处理产生。
本发明的另一方面进一步提供了图像处理方法，包括：编码作为要编码的图像的原始图像，并产生编码图像；基于多个图像和原始图像检测运动矢量，该多个图像中的每一个是通过基于指示原始图像和预测图像之间的差别的残差信号执行本地解码而获得的；使用由通过执行本地解码获得的图像形成的帧作为基准帧并使用所检测到的运动矢量来执行运动补偿，和从与预测图像对应的基准帧提取具有比预测图像更低分辨率的运动补偿图像；和通过利用运动补偿图像中包括的时间方向上的相关性，执行用于补偿所提取的运动补偿图像的高频分量的滤波处理，由此产生具有比运动补偿图像更高分辨率的预测图像。
在本发明的一个方面中，解码编码图像；将解码图像和预测图像相加并产生解码图像；使用由产生的解码图像形成的帧作为基准帧并使用已经编码的图像中的运动矢量来执行运动补偿，和从与预测图像对应的基准帧提取具有比预测图像更低分辨率的运动补偿图像；和通过利用运动补偿图像中包括的时间方向上的相关性，执行用于补偿提取的运动补偿图像的高频分量的滤波处理，由此产生具有比运动补偿图像更高分辨率的预测图像。
在本发明的另一方面中，编码作为要编码的图像的原始图像，并产生编码图像；基于多个图像和原始图像检测运动矢量，该多个图像中的每一个是通过基于指示原始图像和预测图像之间的差别的残差信号执行本地解码而获得的；使用由通过执行本地解码获得的图像形成的帧作为基准帧并使用所检测到的运动矢量来执行运动补偿，和从与预测图像对应的基准帧提取具有比预测图像更低分辨率的运动补偿图像；和通过利用运动补偿图像中包括的时间方向上的相关性，执行用于补偿所提取的运动补偿图像的高频分量的滤波处理，由此产生具有比运动补偿图像更高分辨率的预测图像。
技术效果
根据本发明，可以处理信息。具体来说，可以产生高精度的预测图像并可以改善编码效率而不增加多于必要的负荷。
附图说明
图1是解释考虑现有的空间可缩放性的编码方案的解码的图；
图2是解释应用本发明的预测图像的产生的概述的图；
图3是图示应用本发明的解码设备的主要部分的示例配置的框图；
图4是图示图3中的无损解码电路的主要部分的示例配置的框图；
图5是图示图3中的运动预测/补偿电路的主要部分的示例配置的框图；
图6是图示图5中的滤波预测电路的主要部分的示例配置的框图；
图7是解释解码处理的流程的示例的流程图；
图8是解释无损解码处理的流程的示例的流程图；
图9是解释当执行解码时滤波预测处理的流程的示例的流程图；
图10是图示应用本发明的编码设备的主要部分的示例配置的框图；
图11是图示图10中的模式确定电路的主要部分的示例配置的框图；
图12是图示运动预测/补偿电路的主要部分的示例配置的框图；
图13是解释编码处理的流程的示例的流程图；
图14是解释模式确定处理的流程的示例的流程图；
图15是解释当执行编码时滤波预测处理的流程的示例的流程图；
图16是解释应用本发明的解码处理的概述的另一示例的图；
图17是图示图6中的滤波电路的另一示例配置的框图；
图18是解释应用本发明的解码处理的概述的又一示例的图；
图19是解释当执行解码时的滤波预测处理的流程的另一示例的流程图；
图20是解释当执行编码时的滤波预测处理的另一示例的流程图；
图21是图示应用本发明的个人计算机的主要部分的示例配置的框图；
图22是图示应用本发明的电视接收机的主要部分的示例配置的框图；
图23是图示应用本发明的移动电话的主要部分的示例配置的框图；
图24是图示应用本发明的硬盘记录器的主要部分的示例配置的框图；
图25是图示应用本发明的相机的主要部分的示例配置的框图；
图26是图示宏块大小的示例的图。
具体实施方式
在下文中将解释本发明的具体实施方式(在下文中，实施例)。注意将以以下次序给出说明：
1.第一实施例(解码处理)
2.第二实施例(编码处理)
3.第三实施例(具有三个或更多运动补偿图像的解码处理)
4.第四实施例(使用相同层中的运动补偿图像的解码处理和编码处理)
<1.第一实施例>
[预测的概述]
图2是解释应用本发明的预测图像产生方法的概况的图。如图2所示，在这种情况下，关于基层中多个基准面的图像执行滤波以产生增强层中的当前块(在当时的处理目标块)的预测图像。
用这样的方式，使用时间方向上的分析使得可以比使用空间上采样滤波器更有效地利用图像序列中的信号分量。因此，由本发明的技术(以下称为滤波预测)产生的预测图像可以减少预测残差，同时具有比通过利用基层中当前帧(当时的处理目标帧)的图像的现有上转换预测产生的预测图像在空间上更高频的分量。也就是说，可以减少用于要在增强层中编码的画面的代码量，且可以有助于编码效率的改善。
此外，在该滤波预测中，不参考在时间上不同的帧的增强层中的解码图像。因此，可以减少编码所需的处理量、临时存储器容量、从存储器读出的信息量等，且可以减少实现所需的成本。此外，还可以减少功耗。
[解码设备的配置]
图3是图示根据本发明的实施例的解码设备1的示例配置的框图。
由如下所述的编码设备编码的图像信息经由线缆、网络或者可拆卸介质输入到解码设备1。压缩图像信息的示例包括根据H.264/SVC标准编码的图像信息。
在SVC中，压缩图像信息由多个分辨率的层组成。最低分辨率的层是基层，且比基层更高分辨率的层是增强层。注意，层的数目是任意的；但是，在下面的描述中，假定压缩图像信息由两个层组成。也就是说，输入到解码设备1的压缩图像信息具有基层和一个增强层。
每个帧的压缩图像信息被顺序地输入到解码设备1。在每个帧中，顺序地输入从低分辨率侧到高分辨率侧的各个层的位流。也就是说，基层中的位流被较早地输入到解码设备1。
以类似于在基于H.264/AVC标准的压缩图像信息的情况下的方式解码基层中的位流，因此这里省略其说明。在解码基层中的位流之后，将增强层中的位流输入到解码设备1。基本上，在下文中将解释关于在增强层中的位流的处理。
存储缓冲器11顺序地存储作为压缩图像信息输入的位流。在存储缓冲器11中存储的信息适当地由无损解码电路12以特定单元的图像(比如形成帧的宏块)为单位读取。在H.264标准中，还可以以将宏块进一步划分所得的块(比如8×8像素或者4×4像素的块)为单位而不是以16×16像素的宏块为单位执行处理。
无损解码电路12关于从存储缓冲器11读取的图像执行与编码方案对应的解码处理，比如可变长度解码处理或者算术解码处理。无损解码电路12将通过执行解码处理获得的已量化变换系数输出到反量化电路13。
此外，无损解码电路12基于要解码的图像的报头中包括的标识标记来识别预测方法。在判定要解码的图像是帧内编码图像的情况下，无损解码电路12将存储在图像的报头中的帧内预测模式信息输出到帧内预测电路22。帧内预测模式信息包括关于帧内预测的信息，比如用作所述处理单元的块的大小。
在判断要解码的图像是帧间编码信息的情况下，无损解码电路12将存储在图像的报头中的运动矢量和标识标记输出到运动预测/补偿电路21。使用标识标记识别其中通过帧间预测产生预测图像的预测模式。例如，以宏块或者帧为单位设置标识标记。
除单向预测模式、双向预测模式和上转换预测模式之外，准备的预测模式包括用于通过关于从基层中位于一个或者两个时间方向上的多个基准帧提取的运动补偿图像执行滤波来产生预测图像的滤波预测模式。
在下文中，其中从位于一个方向上的多个基准帧提取的运动补偿图像当中一个运动补偿图像中的像素值被设置为预测图像中的像素值的预测模式被简单地称为单向预测模式。此外，其中从位于两个方向上的多个基准帧单独地提取的运动补偿图像中的像素值的平均值被设置为预测图像中的像素值的预测模式被简单地称为双向预测模式。此外，其中将从基层中的当前帧提取的运动补偿图像上转换以确定预测图像中的像素值的预测模式被简单地称为上转换预测模式。
如图2所示的其中通过执行滤波确定预测图像中的像素值的预测的第四模式被称为滤波预测模式，该滤波包括关于从位于基层的一个或者两个方向上的多个基准帧提取的每一运动补偿图像的上转换。
反量化电路13使用与在编码侧使用的量化方案对应的方案关于从无损解码电路12提供的已量化变换系数执行反量化。反量化电路13输出通过执行反量化获得的变换系数到逆正交变换电路14。
例如，逆正交变换电路14使用与编码侧上的正交变换方案(比如离散余弦变换或者Karhunen-Loève变换)对应的方案，关于从反量化电路13提供的变换系数执行四阶逆正交变换，并输出所获得的图像到加法器电路15。
加法器电路15将从逆正交变换电路14提供的解码图像与从运动预测/补偿电路21或者从帧内预测电路22经由开关23提供的预测图像组合，并输出合成图像到解块滤波器16。
解块滤波器16除去从加法器电路15提供的图像中包括的块噪声，并输出已经除去块噪声的图像。从解块滤波器16输出的图像被提供到重排缓冲器17和帧存储器19。
重排缓冲器17临时存储从解块滤波器16提供的图像。重排缓冲器17例如从存储的每个宏块的图像产生单独的帧，并在将产生的帧输出到D/A(数字/模拟)转换器电路18之前以比如显示次序的某个次序重排产生的帧。
D/A转换器电路18关于从重排缓冲器17提供的每一帧执行D/A转换，并输出帧的信号到外部。
帧存储器19临时存储从解块滤波器16提供的图像。存储在帧存储器19中的信息被经由开关20提供到运动预测/补偿电路21或者帧内预测电路22。注意，帧存储器19还存储在增强层的解码之前已经解码的基层中的图像，且存储的图像用于增强层的解码，如下所述。
开关20在要通过帧间预测产生预测图像的情况下连接到端子a1，且在要通过帧内预测产生预测图像的情况下连接到端子b1。开关20的切换例如由控制电路31控制。
运动预测/补偿电路21根据从无损解码电路12提供的标识标记确定预测模式，并根据预测模式从存储在帧存储器19中的解码帧当中选择要用作基准帧的帧。运动预测/补偿电路21基于从无损解码电路12提供的运动矢量，从形成基准帧的宏块当中确定与目标预测图像对应的宏块，并提取所确定的宏块作为运动补偿图像。运动预测/补偿电路21根据预测模式从运动补偿图像中的像素值确定预测图像中的像素值，并将已经确定了像素值的预测图像经由开关23输出到加法器电路15。
帧内预测电路22根据从无损解码电路12提供的帧内预测模式信息执行帧内预测，并产生预测图像。帧内预测电路22将产生的预测图像经由开关23输出到加法器电路15。
开关23在已经由运动预测/补偿电路21产生预测图像的情况下连接到端子a2，并在已经由帧内预测电路22产生预测图像的情况下连接到端子b2。开关23的切换例如也由控制电路31控制。
控制电路31例如通过切换开关20和23的连接来控制解码设备1的整体操作。可以由控制电路31执行用于处理目标图像的预测方法的识别。
图4是图示图3中的无损解码电路12的主要部分的示例配置的框图。
如图4所示，无损解码电路12包括预测判定电路41和解码处理电路42。预测判定电路41判断用于从存储缓冲器11提供的图像的预测方法。预测判定电路41例如基于要解码的图像的报头中包括的标识标记来识别预测方法。注意，预测判定电路41当然可以通过分析位流来识别预测方法。在这种情况下，可以省略标识标记，且可以减少压缩图像信息的信息量。
在判断要解码的图像是帧内编码图像的情况下，预测判定电路41将存储在图像的报头中的帧内预测模式信息输出到帧内预测电路22。此外，在判断要解码的图像是帧间编码信息的情况下，预测判定电路41将存储在图像的报头中的运动矢量和标识标记输出到运动预测/补偿电路21。
预测判定电路41进一步将已经对其判断了预测方法的图像的位流提供到解码处理电路42。解码处理电路42关于图像执行与编码方案对应的解码处理，比如可变长度解码处理或者算术解码处理。预测判定电路41将通过执行解码处理获得的已量化变换系数输出到反量化电路13。
图5是图示图3中的运动预测/补偿电路的主要部分的示例配置的框图。
如图5所示，运动预测/补偿电路21包括预测选择电路51、单向预测电路61、双向预测电路62、上转换预测电路63和滤波预测电路64。将从无损解码电路12(预测判定电路41)提供的运动矢量和标识标记输入到预测选择电路51。
预测选择电路51根据从预测判定电路41提供的标识标记选择预测模式。在确定要通过单向预测产生预测图像的情况下，预测选择电路51输出运动矢量到单向预测电路61。此外，在确定要通过双向预测产生预测图像的情况下，预测选择电路51输出运动矢量到双向预测电路62。此外，在确定要通过上转换预测产生预测图像的情况下，预测选择电路51输出为此的指令到上转换预测电路63。
此外，在确定要通过滤波预测产生预测图像的情况下，预测选择电路51输出运动矢量到滤波预测电路64。
用这样的方式，为了允许滤波预测的标识，可以将与现有标准中定义的表示单向预测的值、表示双向预测的值和表示上转换预测的值不同的值设置为标识标记的值。
单向预测电路61设置位于增强层中一个时间方向上的多个帧作为基准帧，并基于运动矢量确定在与预测图像对应的基准帧中的宏块。此外，单向预测电路61通过从帧存储器19读取基准帧中每一确定的宏块作为运动补偿图像，并设置在运动补偿图像之一中的像素值作为预测图像中的像素值，来产生预测图像。单向预测电路61输出所产生的预测图像到加法器电路15。由单向预测电路61执行的单向预测的示例包括以H.264/SVC标准(或者H.264标准)定义的单向预测。
双向预测电路62设置位于增强层中两个时间方向上的多个帧作为基准帧，并基于运动矢量确定在与预测图像对应的基准帧中的宏块。此外，双向预测电路62通过从帧存储器19读取基准帧中每一确定的宏块作为运动补偿图像，并设置在读取运动补偿图像中的像素值的平均值作为预测图像中的像素值，来产生预测图像。双向预测电路62输出所产生的预测图像到加法器电路15。由双向预测电路62执行的双向预测的示例包括以H.264/SVC标准(或者H.264标准)定义的双向预测。
如图1所示，上转换预测电路63将基层中的当前帧设置为基准帧。上转换预测电路63从基层中的基准帧提取在与增强层中的当前帧中的处理目标宏块相同位置处的宏块。也就是说，上转换预测电路63从帧存储器19读取与处理目标宏块对应的基层中基准帧的宏块。所提取的宏块是基层中的宏块，因此具有比处理目标宏块更低的分辨率。上转换预测电路63上转换基层中提取的宏块以产生处理目标宏块的预测图像。
上转换预测电路63输出所产生的预测图像到加法器电路15。由上转换预测电路63执行的双向预测的示例包括以H.264/SVC标准定义的上转换预测。
如图2所示，滤波预测电路64确定位于基层中的一个或者两个时间方向上的多个帧作为基准帧。可以预先确定或者可以由与标识标记一起从编码侧发送的信息指定哪个帧用作基准帧。例如，关于当前帧的时间上在前的帧和进一步在前的帧(即，两个帧)可以被设置为基准帧。此外，例如，关于当前帧的时间上在前的帧和在后的帧(即，两个帧)可以被设置为基准帧。当然，其他帧可以用作基准帧。
滤波预测电路64基于从预测选择电路51提供的运动矢量，确定与预测图像对应的以上述方式确定的基层中的基准帧的宏块。滤波预测电路64从帧存储器19读取基准帧的每一确定的宏块作为运动补偿图像。注意，可以以宏块进一步划分所得的块为单位代替以16×16像素等的宏块为单位来确定运动矢量。
运动补偿图像是基层中的图像，因此具有比增强层中的处理目标宏块更低的分辨率。滤波预测电路64使用运动补偿图像作为输入执行涉及上转换的滤波，并输出通过执行滤波而获得的预测图像到加法器电路15。预测图像已经被上转换为增强层中的宏块的分辨率。
滤波预测电路64输出所产生的预测图像到加法器电路15。
图6是图示图5中的滤波预测电路64的主要部分的示例配置的框图。在具有图6中的配置的滤波预测电路64中，关于时域中的信号执行滤波。
如图6所示，滤波预测电路64包括提取电路71和滤波电路72。提取电路71基于从预测选择电路51提供的信息指定基层中的基准帧，并从基层中的基准帧提取运动补偿图像(例如，运动补偿图像MC0和运动补偿图像MC1)。
用于识别用于本发明的多个低分辨率图像的一个可想到的方式是利用基层中的流中的信号而不添加新的信号。
也就是说，该方法是两个图像用作随后的滤波处理的输入，其中第一输入是在当时的低分辨率图像中的空间上相同位置的解码图像，且第二输入是已经用于时间预测的时间上过去或未来的低分辨率图像。
就是说，在这种情况下，提取电路71提取在与增强层中的处理目标宏块相同的位置处的基层中当前帧的宏块作为一个运动补偿图像，并使用已经用于基层中宏块的解码的运动矢量来进一步提取另一运动补偿图像。该技术的优点是不向流添加新的信号，这对于编码效率是有益的。
此时，在低分辨率图像的情况下，关于多个基准帧的信息用于解码，具体地说，在正在执行双向预测等的情况下，全部预测图像可以用作第二和第三输入。
通常，使用具有高相关性的时间信息越多，则作为随后的滤波处理的结果可以产生的分辨率越高。因此，上述方法是有效的。
此外，为了通过滤波处理更精确地产生高分辨率图像，还可以使用新编码一个或者多个运动矢量的方法。
就是说，在这种情况下，对于增强层的解码，编码与用于基层的解码的运动矢量分离的新的运动矢量。在该方法中，新的信号被添加到流；但是，增加增强层的预测精度使得可以减少增强层中的残差信号。因此，该方法就编码效率而言是有效的。
提取电路71以上述方式指定运动补偿图像MC0和运动补偿图像MC1，并从帧存储器19获取关于它们的信息。提取电路71将提取的运动补偿图像MC0和运动补偿图像MC1提供到滤波电路72。
滤波电路72关于提供的运动补偿图像MC0和运动补偿图像MC1执行涉及上转换的滤波，并产生预测图像。就是说，滤波电路72利用运动补偿图像中包括的时间方向上的相关性对于高频分量执行用于补偿由提取电路71提取的多个运动补偿图像的滤波处理，以产生具有比运动补偿图像更高分辨率的预测图像。已经补偿了用这样的方式产生的预测图像的高频分量。因此，改善了预测精度。因此，改善了编码效率。
如图6所示，滤波电路72包括差别计算电路81、上转换电路82、低通滤波器电路83、增益调节电路84、高通滤波器电路85、增益调节电路86、加法器电路87、上转换电路88和加法器电路89。
将从提取电路71提供的运动补偿图像MC0输入到差别计算电路81和上转换电路88，且将运动补偿图像MC1输入到差别计算电路81。
在要通过单向预测产生预测图像的情况下，例如，从接近于当前帧的基准帧R0提取的图像可以被认为具有比预测图像更高的相关性，其用作运动补偿图像MC0，且从远离当前帧的基准帧R1提取的图像用作运动补偿图像MC1。从基准帧R0提取的图像可以被设计为用作运动补偿图像MC1，且从基准帧R1提取的图像可以被设计为用作运动补偿图像MC0。
此外，在要通过双向预测产生预测图像的情况下，例如，从在前的基准帧L0提取的图像用作运动补偿图像MC0，且从在后的基准帧L1提取的图像用作运动补偿图像MC1。从基准帧L0提取的图像可以被设计以用作运动补偿图像MC1，且从基准帧L1提取的图像可以被设计以用作运动补偿图像MC0。
差别计算电路81例如使用以下公式(1)计算运动补偿图像MC0和运动补偿图像MC1之间的差别，并输出差别图像D到上转换电路82。
D(i,j)＝A(i,j)-B(i,j)...(1)
在公式(1)中，(i,j)表示运动补偿图像中像素的相对位置。例如，在配置以16×16像素的宏块为单位执行处理的情况下，设置0≤i≤16和0≤j≤16。这类似地适用于以下描述。
上转换电路82关于由差别计算电路81计算的差别图像D执行分辨率转换。分辨率转换比率基于基层的空间分辨率与增强层的空间分辨率的比率。例如，在基层的分辨率是n×m[像素](n和m是整数)而增强层的分辨率是N×M[像素](N和M是整数，其中N>n且M>m)的情况下，水平方向上的放大倍率H_Scale和垂直方向上的放大倍率V_Scale由公式(2)和公式(3)给出。
H_Scale＝N/n...(2)
V_Scale＝M/m...(3)
上转换电路82将已经用这样的方式经历了分辨率转换(已经上变换)的差别图像D′输出到低通滤波器电路83。
低通滤波器电路83包括FIR滤波器电路。低通滤波器电路83将低通滤波器应用于从上转换电路82提供的差别图像D′，并输出所获得的图像到增益调节电路84和高通滤波器电路85。作为通过将应用低通滤波器而获得的图像的差别图像D"由如下公式(4)表示。
D″＝LPF(D′)...(4)
在公式(4)中，LPF(X)表示使用二维FIR滤波器的低通滤波器到输入图像X的应用。
增益调节电路84调节从低通滤波器电路83提供的差别图像D"的增益，并输出已调节增益的图像到加法器电路87。如果设置0≤i≤16×H_Scale并设置0≤j≤16×V_Scale，则增益调节电路84的输出图像X(I,J)由如下公式(5)表示。
X(I,J)＝αD″(I,J)...(5)
高通滤波器电路85包括FIR滤波器电路。高通滤波器电路85将高通滤波器应用于从低通滤波器电路83提供的差别图像D"，并将所获得的图像输出到增益调节电路86。作为通过应用高通滤波器获得的图像的差别图像D″′由如下公式(6)表示。
D″′＝HPF(D″)...(6)
在公式(6)中，HPF(X)表示使用二维FIR滤波器关于输入图像X执行高通滤波处理。
增益调节电路86调节从高通滤波器电路85提供的差别图像D″′的增益，并将已调节增益的图像输出到加法器电路87。增益调节电路86的输出图像Y(I,J)由如下公式(7)表示。
Y(I,J)＝βD″′(I,J)...(7)
作为公式(5)中的值α和公式(7)中的值β，例如，选择比如α＝0.8和β＝0.2的值。但是，可以使用其它值以增加预测像素的精度。此外，可以根据输入序列的性质等自适应地改变值。
加法器电路87将已调节增益图像X(I,J)和图像Y(I,J)相加，并输出通过相加获得的图像。加法器电路87的输出图像Z(I,J)由以下公式(8)表示。
Z(I,J)＝X(I,J)+Y(I,J)...(8)
输出图像Z(I,J)是可以从运动补偿图像MC0和运动补偿图像MC1之间的差别，即，相关性确定的图像的高频分量的表示。
上转换电路88关于运动补偿图像MC0执行分辨率转换。与上转换电路82的情况的类似，分辨率转换比率基于基层的空间分辨率与增强层的空间分辨率的比率。就是说，水平方向上的放大倍率H_Scale和垂直方向上的放大倍率V_Scale由以上公式(2)和公式(3)给出。上转换电路88输出作为以上述方式经历分辨率转换(上变换)的运动补偿图像MC0的图像A′到加法器电路89。
加法器电路89将从加法器电路87提供的输出图像Z(I,J)与从上转换电路88提供的图像A′相加，并输出所获得的图像到加法器电路15作为预测图像。最后从加法器电路89输出的预测图像S(I,J)由如下公式(9)表示。
S(I,J)＝A′(I,J)+Z(I,J)...(9)
用这样的方式，根据滤波预测模式，表示高频分量并通过上转换基层中的图像而产生的图像与通过上转换运动补偿图像MC0而获得的图像相加。由此，产生预测图像。
通过以如上的滤波预测模式产生预测图像，解码设备1可以获得包括比通过上转换基层中的当前帧的图像而获得的上转换预测中的预测图像更多高频分量的预测图像。此外，因为当从多个运动补偿图像产生预测图像时以如上所述的方式执行滤波，所以解码设备1可以获得包括比简单地将多个运动补偿图像的各个像素的平均值作为每一像素值的预测图像更多高频分量的预测图像。
此外，要参考的图像的分辨率小于用于其中通过参考增强层中的帧来产生预测图像的帧间预测的图像的分辨率。因此，不需要在帧存储器19中保存增强层中的高分辨率图像或者从帧存储器19读取它们。此外，例如，就像运动矢量，在增强层的解码时可以使用在基层的解码时的信息。因此，可以减少用于压缩图像信息的代码量。就是说，解码设备1可以改善压缩效率。
用这样的方式，解码设备1可以改善编码效率同时防止负荷增加。
[解码处理的流程的解释]
接下来，将解释具有上述配置的解码设备1的处理。首先，将参考图7中的流程图解释用于增强层的解码处理的流程的示例。与用于基层的解码处理的情况类似，基本上使用符合H.264标准的方法来执行用于增强层的解码。
在这点上，用于增强层的解码处理与用于基层的解码处理或者H.264标准的很大不同在于，存在其中基层中的图像同时用于产生预测图像的模式。此外，在应用本发明的用于增强层的解码处理的情况下，添加使用时间上与当前帧同时或者与当前帧不同时间的基层中的多个图像用于增强层的解码的功能。
例如，当由无损解码电路12从在存储缓冲器11中存储的信息读取比如16×16像素的宏块的某个大小的图像时开始图9中的处理。与另一步骤的处理并行地或通过重新安排步骤来适当地执行图9中每个步骤的处理。这类似地适用于如下所述的每个流程图中每个步骤的处理。
在步骤S1，无损解码电路12关于从存储缓冲器11读取的图像开始无损解码处理。无损解码处理的细节将如下所述。无损解码电路12将使用无损解码处理产生的已量化变换系数输出到反量化电路13。此外，无损解码电路12在要解码的图像是帧内编码图像的情况下输出帧内预测模式信息到帧内预测电路22，并在无损解码处理中图像是帧间编码图像的情况下输出运动矢量和标识标记到运动预测/补偿电路21。
在步骤S2，反量化电路13使用与在编码侧使用的量化方案对应的方案执行反量化，并输出变换系数到逆正交变换电路14。在步骤S3，逆正交变换电路14关于从反量化电路13提供的变换系数执行逆正交变换，并输出所获得的图像到加法器电路15。
在步骤S4，加法器电路15组合从逆正交变换电路14提供的解码图像和从运动预测/补偿电路21或者帧内预测电路22提供的预测图像，并输出合成图像到解块滤波器16。在步骤S5，解块滤波器16执行滤波以除去合成图像中包括的块噪声，并输出已经从其除去块噪声的图像。在步骤S6，帧存储器19临时地存储从解块滤波器16提供的图像。此外，此时，还在重排缓冲器17中保持图像。
在步骤S7，控制电路31判断是否已经关于一整个帧中的宏块执行了前述处理。在判断还没有执行处理的情况下，关注另一宏块，且重复地执行从步骤S1开始的处理。
此外，在步骤S7判断已经关于一整个帧中的宏块执行处理的情况下，处理进行到步骤S8。在步骤S8，重排缓冲器17根据控制电路31的控制输出产生的帧到D/A转换器电路18。
在步骤S9，D/A转换器电路18关于从重排缓冲器17提供的帧执行D/A转换，并输出模拟信号到外部。关于每个帧执行前述处理。
接下来，将参考图8中的流程图解释无损解码处理的流程的示例。
当开始无损解码处理时，在步骤S21，预测判定电路41参考从存储缓冲器11提供的压缩图像信息的报头。在步骤S22，预测判定电路41基于报头中包括的指示由编码设备指定的预测模式的信息来判断是否要执行帧内预测。在已经由编码设备指定帧内预测模式的情况下，处理进行到步骤S23。
在步骤S23，帧内预测电路22执行帧内预测以产生预测图像，并将预测图像提供到加法器电路15。预测图像与在图7中的步骤S4从逆正交变换电路14提供的解码图像组合。
当完成步骤S23的处理时，处理进行到步骤S29。此外，如果在步骤S22判断不执行帧内预测，则处理进行到步骤S24。
在步骤S24，预测判定电路41基于报头中包括的指示由编码设备指定的预测模式的信息来判断是否要执行上转换预测。在已经由编码设备指定上转换预测模式的情况下，处理进行到步骤S25。
在步骤S25，运动预测/补偿电路21的上转换预测电路63执行上转换预测以产生预测图像，并提供预测图像到加法器电路15。预测图像与在图7中的步骤S4从逆正交变换电路14提供的解码图像组合。
当完成步骤S25的处理时，处理进行到步骤S29。此外，在步骤S24判断不执行上转换预测的情况下，处理进行到步骤S26。
在步骤S26，预测判定电路41基于报头中包括的指示由编码设备指定的预测模式的信息来判断是否要执行帧间预测。在已经由编码设备指定帧间预测模式的情况下，处理进行到步骤S27。
在步骤S27，运动预测/补偿电路21的单向预测电路61或者双向预测电路62执行帧间预测(单向预测或者双向预测)以产生预测图像，并提供预测图像到加法器电路15。预测图像与在图7中的步骤S4从逆正交变换电路14提供的解码图像组合。
当完成步骤S27的处理时，处理进行到步骤S29。此外，在步骤S26判断已经由编码设备指定滤波预测模式且不执行帧间预测的情况下，处理进行到步骤S28。
在步骤S28，运动预测/补偿电路21的滤波预测电路64基于报头中包括的指示滤波预测模式的信息而执行滤波预测以产生预测图像，并提供预测图像到加法器电路15。预测图像与在图7中的步骤S4从逆正交变换电路14提供的解码图像组合。当完成步骤S28的处理时，处理进行到步骤S29。
在步骤S29，解码处理电路42解码压缩图像信息的残差信号，并输出已量化变换系数到反量化电路13。当完成步骤S29的处理时，无损解码处理结束。然后，处理返回到图7中的步骤S1，且执行步骤S2之后的处理。
注意，已经解释了基于要在步骤S21参考的压缩图像信息的报头中包括的信息选择预测模式。但是，这不是限制性的，且预测判定电路41可以配置为能够例如通过分析压缩图像信息的位流来选择适当的预测模式。在这种情况下，在步骤S21，代替参考报头，预测判定电路41分析压缩图像信息，并在步骤S22和后续步骤的处理中基于分析结果选择预测模式。
接下来，将参考图9中的流程图解释图8中的步骤S28的处理中执行的滤波预测处理的流程的示例。
当开始滤波预测处理时，在步骤S41，提取电路71从当前帧或者基层中的基准帧提取运动补偿图像。在步骤S42，差别计算电路81计算运动补偿图像之间的差别。在步骤S43，上转换电路82上变换在步骤S42计算的运动补偿图像之间的差别。在步骤S44，低通滤波器电路83将低通滤波器应用于在步骤S43上变换的差别。
在步骤S45，增益调节电路84将在步骤S44的处理中的低通滤波器的输出乘以系数α以执行增益调节。在步骤S46，高通滤波器电路85将高通滤波器应用于在步骤S44的处理中低通滤波器的输出。在步骤S47，增益调节电路86将在步骤S46的处理中高通滤波器的输出乘以系数β以执行增益调节。
在步骤S48，加法器电路87将在步骤S45的处理中低通滤波器的已调节增益的输出与在步骤S47的处理中高通滤波器的已调节增益的输出相加以确定高频分量。
在步骤S49，上转换电路88上变换从基层提取的运动补偿图像MC0。在步骤S50，加法器电路89将在步骤S48确定的高频分量与在步骤S49上变换的运动补偿图像相加以产生预测图像。加法器电路89提供所产生的预测图像到加法器电路15。
当完成步骤S50的处理时，滤波预测处理结束。然后，处理返回到图8中的步骤S28，且执行步骤S29之后的处理。
如上，使用通过滤波预测产生的预测图像执行解码，因此可以获得高清晰度的解码图像而不增加处理负荷。就是说，解码设备1可以改善编码效率同时防止负荷增加。
注意，已经解释了由同一解码设备1执行基层的解码和增强层的解码。但是，这不是限制性的，且可以由不同的解码设备1执行两个层的解码。在这点上，同样在这种情况下，帧存储器19对全部解码设备是公共的，且基层中的帧可以配置为在增强层的解码时读取。
<2.第二实施例>
[编码设备的配置]
图10是图示应用本发明的编码设备的主要部分的示例配置的框图。编码设备101是与图3中的解码设备1对应的编码设备。就是说，将通过由编码设备101执行编码而获得的压缩图像信息输入到图3中的解码设备1。
编码设备101包括A/D转换器电路111、重排缓冲器112、加法器电路113、正交变换电路114、量化电路115、无损编码电路116和存储缓冲器117。编码设备101进一步包括比率控制电路118、反量化电路119、逆正交变换电路120、解块滤波器121、帧存储器122和模式确定电路123。此外，编码设备101包括开关124、运动预测/补偿电路125、帧内预测电路126、开关127和控制电路131。
图像信息被分为两层(或者多于两层的多层)，即，低分辨率基层和高分辨率增强层，且低分辨率的基层中每帧的图像信息被较早地提供到编码设备101并编码。以与H.264标准的情况下的方式类似的方式执行基层的编码。当完成基层的编码时，由编码设备101编码增强层中的图像信息。将在下文中解释增强层的编码。
A/D转换器电路111关于输入信号执行A/D转换，并输出图像到重排缓冲器112。重排缓冲器112根据压缩图像信息的GOP(画面组)结构重排帧，并输出比如宏块之类的某个单元的图像。从重排缓冲器112输出的图像被提供到加法器电路113、模式确定电路123、运动预测/补偿电路125和帧内预测电路126。
加法器电路113确定从重排缓冲器112提供的图像和由运动预测/补偿电路125或者帧内预测电路126产生并经由开关127提供的预测图像之间的差别，并输出残差到正交变换电路114。预测图像越接近原始图像且这里确定的残差的数量越小，则要分配给残差的代码量越小，因此可以说编码效率越高。
正交变换电路114关于从加法器电路113提供的残差执行正交变换，比如离散余弦变换或者Karhunen-Loève变换，并将通过执行正交变换获得的变换系数输出到量化电路115。
量化电路115根据比率控制电路118的控制来量化从正交变换电路114提供的变换系数，并输出已量化变换系数。由量化电路115量化的变换系数被提供到无损编码电路116和反量化电路119。
无损编码电路116通过执行比如可变长度编码或者算术编码之类的无损编码，来压缩从量化电路115提供的变换系数，并输出信息到存储缓冲器117。
此外，无损编码电路116根据从模式确定电路123提供的信息设置标识标记的值，并在图像的报头中描述标识标记。如上所述，解码设备1基于由无损编码电路116描述的标识标记来确定预测模式。
无损编码电路116还在图像的报头中描述从运动预测/补偿电路125或者帧内预测电路126提供的信息。从运动预测/补偿电路125提供当执行帧间预测时检测的运动矢量等，且从帧内预测电路126提供关于应用的帧内预测模式的信息。
存储缓冲器117临时地存储从无损编码电路116提供的信息，并在某个定时将其作为压缩图像信息输出。存储缓冲器117输出关于产生的代码量的信息到比率控制电路118。
比率控制电路118基于从存储缓冲器117输出的代码量计算量化比例，并控制量化电路115以使得可以以计算的量化比例来执行量化。
反量化电路119关于由量化电路115量化的变换系数执行反量化，并输出变换系数到逆正交变换电路120。
逆正交变换电路120关于从反量化电路119提供的变换系数执行逆正交变换，并输出所获得的图像到解块滤波器121。
解块滤波器121除去在本地解码的图像中出现的块噪声，并将已经从其除去块噪声的图像输出该帧存储器122。
帧存储器122存储从解块滤波器121提供的图像。存储在帧存储器122中的图像由模式确定电路123适当地读取。
模式确定电路123基于存储在帧存储器122中的图像和从重排缓冲器112提供的原始图像，确定要执行帧内编码或者要执行帧间编码。此外，在判断要执行帧间编码的情况下，模式确定电路123确定单向预测模式、双向预测模式、上转换预测模式和滤波预测模式当中的一个模式。模式确定电路123将指示确定结果的信息作为模式信息输出到无损编码电路116。
在判断要执行帧间编码的情况下，模式确定电路123将存储在帧存储器122中并通过本地解码获得的帧经由开关124输出到运动预测/补偿电路125。
此外，在判断要执行帧内编码的情况下，模式确定电路123将存储在帧存储器122中并通过本地解码而获得的帧输出到帧内预测电路126。
开关124在要执行帧间编码的情况下连接到端子a11，并在要执行帧内编码的情况下连接到端子b11。开关124的切换例如由控制电路131控制。
运动预测/补偿电路125基于从重排缓冲器112提供的原始图像和从帧存储器122读取的基准帧来检测运动矢量，并输出检测到的运动矢量到无损编码电路116。此外，运动预测/补偿电路125通过使用检测到的运动矢量和基准帧执行运动补偿来产生预测图像，并经由开关127输出所产生的预测图像到加法器电路113。
帧内预测电路126基于从重排缓冲器112提供的原始图像和本地解码并存储在帧存储器122中的基准帧来执行帧内预测，并产生预测图像。帧内预测电路126经由开关127输出所产生的预测图像到加法器电路113，并输出帧内预测模式信息到无损编码电路116。
开关127连接到端子a12或者端子b12，并将由运动预测/补偿电路125或者帧内预测电路126产生的预测图像输出到加法器电路113。
控制电路131例如通过根据由模式确定电路123确定的模式切换开关124和127的连接来控制编码设备101的总体操作。
图11是图示图10中的模式确定电路123的主要部分的示例配置的框图。
如图11所示，模式确定电路123包括帧内预测电路141、单向预测电路142、双向预测电路143、上转换预测电路144、滤波预测电路145、预测误差计算电路146和确定电路147。
在模式确定电路123中，关于具有不同尺寸的块执行帧内预测和帧间预测中的每一个，并根据获得的结果确定要执行哪个预测模式预测。对于帧间预测，以每一预测模式(即，单向预测模式、双向预测模式、上转换预测模式和滤波预测模式)执行处理。
帧内预测电路141、单向预测电路142、双向预测电路143、上转换预测电路144和滤波预测电路145使用各个方法执行预测以基于原始图像和从帧存储器122读取的图像产生预测图像，并输出所产生的预测图像到预测误差计算电路146。
帧内预测电路141使用与解码设备1的帧内预测电路22的方法类似的方法来执行帧内预测。单向预测电路142检测运动矢量，基于所检测的运动矢量从基准帧提取运动补偿图像，并使用运动补偿图像执行单向预测以产生预测图像。就是说，单向预测电路142基于所检测的运动矢量，使用与解码设备1的单向预测电路61的方法类似的方法产生预测图像。
双向预测电路143检测运动矢量，基于所检测的运动矢量从基准帧提取运动补偿图像，并使用运动补偿图像执行双向预测以产生预测图像。就是说，双向预测电路143基于所检测的运动矢量，使用与解码设备1的双向预测电路62的方法类似的方法产生预测图像。
上转换预测电路144将在与增强层中当前帧的处理目标宏块相同位置的基层中当前帧的宏块设置为运动补偿图像，并上变换运动补偿图像以产生增强层中的预测图像。就是说，上转换预测电路144使用与解码设备1的上转换预测电路63的方法类似的方法来产生预测图像。
滤波预测电路145检测基层中的运动矢量，基于所检测的运动矢量从基准帧提取基层中的运动补偿图像，并使用基层中的运动补偿图像执行滤波预测以产生预测图像。就是说，滤波预测电路145基于所检测的运动矢量，使用与解码设备1的滤波预测电路145的方法类似的方法产生预测图像。
注意，帧内预测电路141到滤波预测电路145例如以4×4像素的块、8×8像素的块和16×16像素的块为单位检测运动矢量或者执行预测。用作处理单位的块的大小是任意的。此外，要关于其执行预测的块的类型的数目也是任意的。帧内预测电路141到滤波预测电路145对于每个块产生预测图像，并输出所产生的各个预测图像到预测误差计算电路146。
将从重排缓冲器112提供的原始图像输入到帧内预测电路141到滤波预测电路145并输入到预测误差计算电路146。
预测误差计算电路146确定从帧内预测电路141中的各个电路提供的每一预测图像和原始图像之间的差别，并输出表示所确定的差别的残差信号到确定电路147。类似地，预测误差计算电路146确定从单向预测电路142、双向预测电路143、上转换预测电路144和滤波预测电路145提供的每一预测图像和原始图像之间的差别，并输出表示所确定的差别的残差信号到确定电路147。
确定电路147测量从预测误差计算电路146提供的残差信号的强度，并将已经用于产生具有与原始图像小的差别的预测图像的预测方法确定为用于产生要用于编码的预测图像的预测方法。确定电路147输出表示确定结果的信息到无损编码电路116作为模式信息。模式信息还包括表示要用作处理单位的块的大小的信息，等等。
此外，在确定要通过帧间预测产生预测图像的情况下(在确定要执行帧间编码的情况下)，确定电路147与模式信息一起将从帧存储器122读取的基准帧输出到运动预测/补偿电路125。在确定要通过帧内预测产生预测图像的情况下(在确定要执行帧内编码的情况下)，确定电路147将从帧存储器122读取的用于帧内预测的图像与模式信息一起输出到帧内预测电路126。
图12是图示图10中的运动预测/补偿电路125的主要部分的示例配置的框图。
如图12所示，运动预测/补偿电路125包括运动矢量检测电路151、单向预测电路152、双向预测电路153、上转换预测电路154和滤波电路155。除了提供运动矢量检测电路151代替预测选择电路51之外，运动预测/补偿电路125具有与如图5所示的运动预测/补偿电路21类似的配置。
运动矢量检测电路151通过基于从重排缓冲器112提供的原始图像和从模式确定电路123提供的基准帧执行块匹配等来检测运动矢量。运动矢量检测电路151参考从模式确定电路123提供的模式信息，并输出基准帧到单向预测电路152到滤波预测电路155之一。此外，运动矢量检测电路151还适当地将运动矢量输出到基准帧要输出的目的地。
运动矢量检测电路151在已经选择单向预测的情况下，将运动矢量与基准帧一起输出到单向预测电路152，并在已经选择要执行双向预测的情况下将这些信息输出到双向预测电路153。此外，在已经选择上转换预测的情况下，运动矢量检测电路151将作为基准帧的基层中当前帧的图像输出到上转换预测电路154。此外，在已经选择滤波预测的情况下，运动矢量检测电路151将运动矢量与基层中的基准帧一起输出到滤波预测电路155。
单向预测电路152通过与图5中的单向预测电路61类似地执行单向预测来产生预测图像。单向预测电路152将所产生的预测图像输出到加法器电路113。双向预测电路153通过与图5中的双向预测电路62类似地执行双向预测来产生预测图像。双向预测电路153将所产生的预测图像输出到加法器电路113。上转换预测电路154通过与图5中的上转换预测电路63类似地执行上转换预测来产生预测图像。上转换预测电路154将所产生的预测图像输出到加法器电路113。
滤波预测电路155通过与图5中的滤波预测电路64类似地从基层中的多个基准帧中的每一个提取运动补偿图像，并关于多个提取的运动补偿图像执行涉及上转换的滤波预测来产生预测图像。滤波预测电路155将所产生的预测图像输出到加法器电路113。注意，滤波预测电路155具有与如图6所示的滤波预测电路64的配置类似的配置。在下文中，将适当地通过参考如图6所示的滤波预测电路64的配置来解释滤波预测电路155的配置。
通过滤波预测产生的预测图像可以是包括比通过单向预测、双向预测或者上转换预测产生的预测图像更多高频分量并具有与原始图像小的差别的图像。因此，滤波预测仅需要将少量代码分配给残差，由此使得可以增加编码效率。此外，在滤波预测中，基准帧的分辨率比其中参考增强层中的帧的单向预测或者双向预测的情况下的分辨率更低，造成比如在帧存储器122中保存基准帧和从帧存储器122读取基准帧之类的处理的小的负荷。就是说，通过使用滤波预测，编码设备101可以改善编码效率同时防止编码或者解码的负荷增加。
此外，可以使用至少两个基准帧执行滤波预测。因此，使得这种编码效率的增加是可行的而不增加处理的复杂性。例如，还可以通过增加要在帧间预测中使用的基准帧的数目以产生高精度预测图像并通过使用该预测图像，来减少与原始图像的残差并增加编码效率。但是，在这种情况下，使用的基准帧的数目增加，且处理的复杂性增加。
注意，当选择预测方法时，可以通过考虑用于预测所需的比如运动矢量的信息的代码量和编码方式，并通过将与代码量对应的权重加到残差信号的强度来选择最佳预测方法。这使得可以进一步改进编码效率。此外，对于简化的编码处理，可以利用在时间和空间方向上的输入原始图像的特征值来自适应地选择预测方法。
[编码处理的流程的说明]
接下来，将解释具有上述配置的编码设备101的处理。
将参考图13中的流程图解释由编码设备101执行的用于增强层的编码处理。当从重排缓冲器112输出比如宏块的某个单元的图像时开始该处理。注意，如上所述，用于基层的编码处理类似于基于H.264要求的方法且因此省略其说明。
在步骤S101，加法器电路113确定从重排缓冲器112提供的图像和由运动预测/补偿电路125或者帧内预测电路126产生的预测图像之间的差别，并输出残差到正交变换电路114。
在步骤S102，正交变换电路114关于从加法器电路113提供的残差执行正交变换，并输出变换系数到量化电路115。
在步骤S103，量化电路115量化从正交变换电路114提供的变换系数，并输出已量化变换系数。
在步骤S104，反量化电路119关于由量化电路115量化的变换系数执行反量化，并输出变换系数到逆正交变换电路120。
在步骤S105，逆正交变换电路120关于从反量化电路119提供的变换系数执行逆正交变换，并输出所获得的图像到解块滤波器121。
在步骤S106，解块滤波器121通过执行滤波除去块噪声，并输出已经从其除去块噪声的图像到帧存储器122。
在步骤S107，帧存储器122存储从解块滤波器121提供的图像。
在步骤S108，模式确定电路123执行模式确定处理。通过该模式确定处理，确定要以哪个预测模式产生预测图像。模式确定处理的细节将如下所述。
在步骤S109，运动预测/补偿电路125或者帧内预测电路126以在步骤S108确定的模式产生预测图像。在步骤S101的处理中使用该预测图像。
在步骤S110，无损编码电路116压缩从量化电路115提供的变换系数，并将压缩的变换系数输出到存储缓冲器117。此外，无损编码电路116根据从模式确定电路123提供的信息，在图像的报头中描述标识标记或者在图像的报头中描述从运动预测/补偿电路125提供的运动矢量。
在步骤S111，存储缓冲器117临时存储从无损编码电路116提供的信息。
在步骤S112，控制电路31判断是否已经关于一整个帧中的宏块执行了前述处理。在判断还没有执行处理的情况下，关注另一宏块，且重复地执行从步骤S101开始的处理。
相对地，在步骤S112判断已经关于一整个帧中的宏块执行了处理的情况下，然后在步骤S113，存储缓冲器117根据控制电路131的控制输出压缩图像信息。关于每个帧执行上述处理。
接下来，将参考图14的流程图解释在图13的步骤S108中执行的模式确定处理。
在步骤S131，帧内预测电路141到滤波预测电路145中的每一个关于具有不同尺寸的块执行帧内预测或者帧间预测，并产生预测图像。将所产生的预测图像提供到预测误差计算电路146。
在步骤S132，预测误差计算电路146确定原始图像和从帧内预测电路141到滤波预测电路145提供的每一预测图像之间的差别。预测误差计算电路146输出残差信号到确定电路147。
在步骤S133，确定电路147基于从预测误差计算电路146提供的残差信号的强度，确定用于产生要提供到加法器电路113的预测图像的预测方法。
在步骤S134，确定电路147输出作为关于确定的预测方法的模式信息到无损编码电路116。此后，处理返回到图13中的步骤S108，并执行后续处理。
接下来，将参考图15中的流程图解释用于通过执行滤波预测产生预测图像的滤波预测处理的流程的示例，作为在图13中的步骤S109执行的用于产生预测图像的处理的例子。
如上所述，在图13中的步骤S109，使用在步骤S108的模式确定处理中确定的模式产生预测图像。因此，在步骤S108确定滤波预测模式的情况下，在步骤S109，执行如图15所示的滤波预测处理。
当开始滤波预测处理时，在步骤S151，运动矢量检测电路151基于原始图像和基准帧来检测运动矢量。
当检测到运动矢量时，分别以类似于图9中的步骤S41到S50的处理的方式，使用所检测的运动矢量执行步骤S152到S161的处理。就是说，基于运动矢量以基层中的基准帧产生运动补偿图像，并关于运动补偿图像执行涉及上转换的滤波处理以产生增强层中的预测图像。
当完成步骤S161的处理时，滤波预测处理结束。然后，处理返回到图13中的步骤S109，且执行步骤S110之后的处理。
注意，在步骤S108的处理中选择不同模式的情况下，运动预测/补偿电路125或者帧内预测电路126使用所选的不同模式产生预测图像。根据H.264/SVC标准执行上述处理，并因此省略其说明。
如上所述，通过更有效地利用运动图像中的信号序列中包括的时间相关性来执行考虑空间可缩放性的编码，因此例如使得能够改善编码效率同时防止比如编码和解码之类的处理的负荷增加。
<3.第三实施例>
[解码处理的概述]
图16是解释应用本发明的解码处理的概述的另一示例的图。如图16所示，基准帧的数目可以是三个或更多。
在图16中的示例中，关于当前帧的时间上在前的帧、进一步在前的帧和更进一步在前的帧(即，三个帧(Ref0、Ref1、Ref2))被设置为基准帧。关于当前帧的在前帧被设置为基准帧Ref0，关于基准帧Ref0的在前帧被设置为基准帧Ref1，且关于基准帧Ref1的在前帧被设置为基准帧Ref2。
[滤波电路的配置]
图17是图示在这种参考三个帧的情况下图6中的滤波电路的示例配置的框图。
如图17所示，滤波电路211包括滤波电路221和滤波电路222。滤波电路221和滤波电路222中的每一个具有如图6所示的配置。也就是说，滤波电路211被配置以通过级联连接用于两输入和一输出设计的滤波电路72，而作为三输入和一输出电路工作。
注意，此时，提取电路71从三个基准帧(Ref0、Ref1、Ref2)中的每一个提取运动补偿图像。就是说，例如，提取电路71从基准帧Ref0提取运动补偿图像MC0。此外，例如，提取电路71从基准帧Ref1提取运动补偿图像MC1。此外，例如，提取电路71从基准帧Ref2提取运动补偿图像MC2。
运动补偿图像MC1和MC2输入到滤波电路221，且运动补偿图像MC0输入到滤波电路222。
滤波电路221在图6等中分别使用运动补偿图像MC1和MC2作为运动补偿图像MC0和MC1来执行滤波，并将作为滤波结果的中间输出X输出到滤波电路222。
滤波电路221在图6等中分别使用中间输出X和运动补偿图像MC0作为运动补偿图像MC0和MC1来执行滤波，并输出滤波结果作为预测图像。
代替滤波电路72，处理这三个基准帧的滤波电路211还可以在图3中的解码设备1或者图10中的编码设备101中提供。
注意，滤波电路221和滤波电路222可以不必具有相同配置，且可以具有不同配置。此外，还可以通过考虑在滤波之前和之后获得的输入/输出特性，而使得用于滤波器的参数(例如，α，β)彼此不同。
滤波电路211可以不关于从位于一个时间方向上的基准帧提取的运动补偿图像而是关于从位于前向和后向上的三个基准帧提取的运动补偿图像执行滤波。
注意，在关于当前帧的时间的在前和在后帧用作基准帧的情况下，比如滤波期间的抽头系数(tap coefficient)之类的参数可以根据时间方向或者基准帧的距离而动态地改变。
压缩图像信息被经由包括记录介质的各种介质(比如光盘、磁盘、和闪存、卫星广播、有线电视、因特网和移动电话网络)从编码设备101发送到解码设备1。
注意，已经解释了在增强层的编码和解码的情况下，从基层中的基准帧提取运动补偿图像。但是，可以从基层以外的任意层提取运动补偿图像。
例如，假定压缩图像信息形成具有第一层到第三层的三层结构，其中第一层是作为具有最低分辨率的层的基层，第二层是具有第二低的分辨率的层，且第三层是具有最高分辨率的层。在这种情况下，在第三层的滤波预测中，可以从不是基层的第二层中的基准帧提取运动补偿图像。当然，可以从作为基层的第一层中的基准帧提取运动补偿图像。
<4.第四实施例>
[解码处理的概述]
此外，也可以从与其中要产生预测图像的层相同的层中的基准帧提取运动补偿图像。例如，在如上所述的三层结构的情况下，在第三层的滤波预测中，可以从第三层中的基准帧提取低分辨率的运动补偿图像。
图18是解释在这种情况下的解码处理的概述的图。
在如图18所示的示例的情况下，基准帧Ref0和基准帧Ref1是与预测图像的帧相同的增强层中的帧。在这点上，从各个基准帧提取的运动补偿图像的分辨率低于预测图像的分辨率。
例如，与符合H.264标准的现有方法类似，与增强层中的基准帧中的处理目标宏块对应的位置(范围)由运动矢量指定，以特定数目抽取(decimate)该范围中的像素值，并提取运动补偿图像。此外，例如，与符合H.264标准的现有方法类似，与增强层中的基准帧中的处理目标宏块对应的位置由运动矢量指定，且提取以该位置为中心并小于处理目标宏块的大小的范围作为运动补偿图像。当然，可以使用任何其他方法。
就是说，要提取的运动补偿图像的分辨率可以低于预测图像的分辨率，且为此的提取方法是任意的。此外，可以从任何层提取运动补偿图像。
用这样的方式提取的低分辨率运动补偿图像以类似于如上所述的其他情况的方式经历包括上转换的滤波处理，且产生具有要求的分辨率的预测图像。
仅仅要从其产生运动补偿图像的层不同，且在这种情况下编码设备1的配置基本上类似于在参考图3到图6解释的情况中的配置。在这点上，帧存储器19保持在增强层中的帧，且提取电路71从帧存储器19读取增强层中的图像。
[解码处理的流程的解释]
因此，也以基本上与参考图7和图8的流程图解释的情况中的方式类似的方式执行解码处理和无损解码处理的流程。将参考图19中的流程图解释在这种情况下由滤波预测电路64执行的滤波预测处理的流程。该流程图对应于图9中的流程图。
当开始滤波预测处理时，在步骤S341，提取电路71从增强层中的基准帧提取在低分辨率的运动补偿图像。分别以与图9中步骤S42到S50的处理中的方式类似的方式执行步骤S342到S350的处理，且以与图9的情况下的方式类似的方式产生预测图像。
当完成步骤S350的处理时，滤波预测处理结束。然后，处理返回到图8中的步骤S28，且处理进行到步骤S29。
用这样的方式，即使在从增强层中的帧提取运动补偿图像的情况下，解码设备1可以通过更有效地利用运动图像中的信号序列中包括的时间相关性来产生高分辨率和高精度的预测图像，且可以改善编码效率。此外，因为可以使得运动补偿图像具有比预测图像更低的分辨率，例如，解码设备1可以减少要从帧存储器读取的图像信息量，且可以改善编码效率同时防止比如编码和解码之类的处理的负荷增加。
[编码处理的流程的说明]
注意，与在这种情况下的解码设备1对应的编码设备101的配置基本上类似于在参考图10到图12解释的情况下的配置。在这点上，帧存储器122保持增强层中的帧，且模式确定处理123从帧存储器19读取增强层中的图像。
即使在这种情况下，与图11和图12的情况类似，模式确定处理123的滤波预测电路145和运动预测/补偿电路125的滤波预测电路155的配置也与如图6所示的滤波预测电路64的配置类似。在这点上，与解码设备1的情况类似，提取电路71从增强层中的帧提取运动补偿图像。
因此，以基本上与参考图13和图14中的流程图解释的情况下的方式类似的方式执行编码处理或者模式确定处理的流程。将参考图20中的流程图解释在这种情况下由滤波预测电路155执行的滤波预测处理的流程。该流程图对应于图15中的流程图。
当开始滤波预测处理时，在步骤S451，与图15中的步骤S151的情况类似，运动矢量检测电路151检测运动矢量。在步骤S452，提取电路71从增强层中的基准帧提取在低分辨率的运动补偿图像。分别以与图15中的步骤S153到S161的处理类似的方式执行步骤S453到S461的处理，且以与图15中的方式类似的方式产生预测图像。
当完成步骤S461的处理时，滤波预测处理结束。然后，处理返回到图13中的步骤S109，且处理进行到步骤S110。
用这样的方式，即使在从增强层中的帧提取运动补偿图像的情况下，编码设备101可以通过更有效地利用运动图像中的信号序列中包括的时间相关性来产生高分辨率和高精度的预测图像，且可以改善编码效率。此外，因为可以使得运动补偿图像具有比预测图像更低的分辨率，例如，编码设备101可以减少要从帧存储器读取的图像信息量，且可以改善编码效率同时防止比如编码和解码之类的处理的负荷增加。
也就是说，上述方法还可以应用于使用不考虑空间可缩放性的单层结构来编码和解码图像信息的情况。就是说，上述方法还可以应用于以H.264/AVC标准的编码和解码。
注意，如上所述，当提取运动补偿图像时，可以将分辨率调节为低分辨率。因此，可以以多个层执行运动补偿图像的提取。在这点上，滤波预测处理需要确定运动补偿图像之间的差别。因此，到此时，需要使得各个运动补偿图像的分辨率彼此匹配。
可以通过硬件或者软件执行如上所述的一系列处理。在这种情况下，一系列处理可以实现为例如如图21所示的个人计算机。
在图21中，个人计算机500的CPU(中央处理单元)501根据存储在ROM(只读存储器)502中的程序或者根据从存储单元513载入RAM(随机存取存储器)503中的程序执行各种处理。RAM 503还适当地存储CPU 501执行各种处理所需的数据等。
CPU 501、ROM 502和RAM 503经由总线504彼此连接。输入/输出接口510还连接到总线504。
包括键盘、鼠标等的输入单元511、包括比如CRT(阴极射线管)显示器或者LCD(液晶显示器)之类的显示器、扬声器等的输出单元512、由硬盘等组成的存储单元513和由调制解调器等组成的通信单元514连接到输入/输出接口510。通信单元514经由包括因特网的网络执行通信处理。
驱动器515也根据需要连接到输入/输出接口510，且比如磁盘、光盘、磁光盘或者半导体存储器之类的可拆卸介质521适当地附于驱动器515。从可拆卸介质521读取的计算机程序根据需要安装到存储单元513中。
在通过软件执行如上所述的一系列处理的情况下，从网络或者记录介质安装构成软件的程序。
如图21所示，记录介质不仅由例如与设备主体分开地分布以传送程序给用户并具有在其上记录的程序的可拆卸介质521(比如磁盘(包括软盘)、光盘(包括CD-ROM(致密盘-只读存储器)和DVD(数字多用途盘))、磁光盘(包括MD(微型盘))或者半导体存储器)组成，而且可以由以预先并入设备主体的状态分发给用户并具有在其上记录的程序的ROM 502、存储单元513中包括的硬盘等组成。
注意，由计算机执行的程序可以是其中根据在这里描述的次序以时间序列方式执行处理的程序，或者可以是其中并行执行处理或者在比如调用时的所需定时执行处理的程序。
此外，如在这里使用的，描述记录在记录介质上的程序的步骤当然包括以在这里描述的次序以时间序列方式执行的处理，且还包括作为不必以时间序列方式而是并行或者单独地执行的处理。
此外，如在这里使用的，术语系统是指由多个装置(设备)构成的总体设备。
此外，上述作为单个设备(或者处理单元)的配置可以被划分以构造多个设备(或者处理单元)。相反地，上述作为多个设备(或者处理单元)的配置可以集中以构造单个设备(或者处理单元)。此外，当然，除了如上所述的之外的配置可以加到每个设备(或者每个处理单元)的配置。此外，如果作为整个系统的配置或操作实质上相同，则某个设备(或者处理单元)的配置的一部分可以包括在另一设备(或者另一处理单元)的配置中。就是说，本发明的实施例不限于如上所述的实施例，且可以在不脱离本发明的精神的情况下做出各种改变。
例如，如上所述的解码设备1或者编码设备101可以应用于任何电子设备。在下文中将解释其示例。
图22是图示使用应用本发明的解码设备1的电视接收机的主要部分的示例配置的框图。
如图22所示的电视接收机1000包括地面调谐器1013、视频解码器1015、视频信号处理电路1018、图形产生电路1019、面板驱动电路1020和显示面板1021。
地面调谐器1013经由天线接收地面模拟广播的广播波信号，将其解调，获得视频信号，并将视频信号提供到视频解码器1015。视频解码器1015关于从地面调谐器1013提供的视频信号执行解码处理，并将所获得的数字分量信号提供到视频信号处理电路1018。
视频信号处理电路1018关于从视频解码器1015提供的视频数据执行比如噪声去除的某个处理，并提供所获得的视频数据到图形产生电路1019。
图形产生电路1019产生要在显示面板1021上显示的节目的视频数据、通过基于经由网络等提供的应用程序的处理获得的图像数据等，并将所产生的视频数据或者图像数据提供到面板驱动电路1020。此外，图形产生电路1019还适当地执行以下处理，比如产生用于显示由用户使用以选择项目等的屏幕的视频数据(图形)，将其重叠到节目的视频数据上以获得视频数据，和将所获得的视频数据提供到面板驱动电路1020。
面板驱动电路1020基于从图形产生电路1019提供的数据来驱动显示面板1021，并使得如上所述的节目的视频或者各种屏幕显示在显示面板1021上。
显示面板1021由LCD(液晶显示器)等形成，并使得根据面板驱动电路1020的控制来显示节目等的视频。
此外，电视接收机1000还包括音频A/D(模拟/数字)转换器电路1014、音频信号处理电路1022、回波抵消/音频合成电路1023、音频放大器电路1024和扬声器1025。
地面调谐器1013解调所接收的广播波信号以获取视频信号以及音频信号。地面调谐器1013提供所获取的音频信号到音频A/D转换器电路1014。
音频A/D转换器电路1014关于从地面调谐器1013提供的音频信号执行A/D转换处理，并提供所获得的数字音频信号到音频信号处理电路1022。
音频信号处理电路1022关于从音频A/D转换器电路1014提供的音频数据执行比如噪声去除的某个处理，并提供所获得的音频数据到回波抵消/音频合成电路1023。
回波抵消/音频合成电路1023将从音频信号处理电路1022提供的音频数据提供到音频放大器电路1024。
音频放大器电路1024关于从回波抵消/音频合成电路1023提供的音频数据执行D/A转换处理和放大处理，并在从扬声器1025输出音频之前将其调节到某个音量。
另外，电视接收机1000还包括数字调谐器1016和MPEG解码器1017。
数字调谐器1016经由天线接收数字广播(地面数字广播、BS(广播卫星)/CS(通信卫星)数字广播)的广播波信号，将其解调，获取MPEG-TS(运动图像专家组-传输流)，并将其提供到MPEG解码器1017。
MPEG解码器1017解扰从数字调谐器1016提供的MPEG-TS，并提取包括要再现(要观看和收听)的节目的数据的流。MPEG解码器1017解码形成所提取的流的音频分组，并提供所获得的音频数据到音频信号处理电路1022。并且，MPEG解码器1017解码形成流的视频分组，并提供所获得的视频数据到视频信号处理电路1018。此外，MPEG解码器1017将从MPEG-TS提取的EPG(电子节目指南)数据经由在附图中未示出的路径提供到CPU1032。
电视接收机1000使用如上所述的解码设备1作为以上述方式解码视频分组的MPEG解码器1017。注意，已经由编码设备101编码从广播站等发送的MPEG-TS。
与解码设备1的情况类似，MPEG解码器1017关于基层中多个基准面的图像执行滤波以产生增强层中当前块的预测图像。因此，MPEG解码器1017可以比空间上采样滤波器更有效地利用图像序列中的信号分量。因此，预测图像可以比通过利用基层中的当前帧的图像的现有的上转换预测产生的预测图像具有空间上更高频的分量，同时可以减少预测残差。就是说，可以减少用于要在增强层中编码的画面的代码量，且可以有助于编码效率的改善。
此外，在该滤波预测中，不参考在时间上不同的帧的增强层中的解码图像。因此，可以减少编码所需的处理量、临时存储器容量、从存储器读出的信息量等，且可以减少实现所需的成本。此外，还可以减少功耗。
与从视频解码器1015提供的视频数据的情况类似，从MPEG解码器1017提供的视频数据经历视频信号处理电路1018的某个处理，且由图形产生电路1019将所产生的视频数据等叠加在其上。所产生的数据被经由面板驱动电路1020提供到显示面板1021，并显示其图像。
与从音频A/D转换器电路1014提供的音频数据的情况类似，从MPEG解码器1017提供的音频数据经历音频信号处理电路1022的确定处理，被经由回波抵消/音频合成电路1023提供到音频放大器电路1024，并经历D/A转换处理或者放大处理。因此，从扬声器1025输出其音量已经调节到某个值的音频。
此外，电视接收机1000还包括麦克风1026和A/D转换器电路1027。
A/D转换器电路1027接收由在电视接收机1000中提供的麦克风1026捕捉到的、用于音频会话的用户的音频的信号，关于接收的音频信号执行A/D转换处理，并将获得的数字音频数据提供给回波抵消/音频合成电路1023。
在已经从A/D转换器电路1027提供电视接收机1000的用户(用户A)的音频数据的情况下，回波抵消/音频合成电路1023关于用户A的音频数据执行回波抵消，并使得例如通过与其他音频数据组合而获得的音频的数据经由音频放大器电路1024从扬声器1025输出。
另外，电视接收机1000还包括音频编解码器1028、内部总线1029、SDRAM(同步动态随机存取存储器)1030、闪存1031、CPU 1032、USB(通用串行总线)I/F 1033和网络I/F1034。
A/D转换器电路1027接收由在电视接收机1000中提供的麦克风1026捕捉的、用于音频回话的用户的音频的信号，关于接收的音频信号执行A/D转换处理，并将获得的数字音频数据提供给音频编解码器1028。
音频编解码器1028将从A/D转换器电路1027提供的音频数据转换为用于通过网络发送的某个格式的数据，并经由内部总线1029将其提供到网络I/F 1034。
网络I/F 1034经由附于网路端子1035的线缆连接到网络。网络I/F 1034发送从音频编解码器1028提供的音频数据到例如连接到网络的另一设备。此外，例如，网络I/F 1034接收从经由网络端子1035在网络上连接的另一设备发送的音频数据，并将其经由内部总线1029提供到音频编解码器1028。
音频编解码器1028将从网络I/F 1034提供的音频数据转换为某个格式的数据，并将其提供到回波抵消/音频合成电路1023。
回波抵消/音频合成电路1023关于从音频编解码器1028提供的音频数据执行回波抵消，并使得通过例如与其他音频数据结合而获得的音频的数据经由音频放大器电路1024从扬声器1025输出。
SDRAM 1030存储CPU 1032执行处理所需的各种数据。
闪存1031存储由CPU 1032执行的程序。存储在闪存1031中的程序由CPU 1032在比如启动电视接收机1000时的某个定时读取。闪存1031还存储经由数字广播获取的EPG数据、经由网络从某个服务器获取的数据等。
例如，闪存1031在CPU 1032的控制下存储包括从在网络上的某个服务器获取的内容数据的MPEG-TS。闪存1031通过例如CPU 1032的控制经由内部总线1029将MPEG-TS提供到MPEG解码器1017。
MPEG解码器1017以与从数字调谐器1016提供的MPEG-TS的情况下的方式类似的方式处理MPEG-TS。用这样的方式，电视接收机1000可以接收由在网络上的视频、音频等构成的内容数据，使用MPEG解码器1017解码内容数据，显示内容数据的视频，并输出音频。
此外，电视接收机1000还包括接收从遥控器1051发送的红外信号的光的光接收单元1037。
光接收单元1037从遥控器1051接收红外光，并将指示通过解调获得的用户操作的内容的控制代码输出到CPU 1032。
CPU 1032执行存储在闪存1031中的程序，并根据从光接收单元1037等提供的控制代码控制电视接收机1000的总体操作。CPU 1032经由在附图中未示出的路径连接到电视接收机1000的每个单元。
USB I/F 1033发送数据到经由附加到USB端子1036的USB线缆连接的电视接收机1000的外部设备，并从其接收数据。网络I/F 1034经由附加到网络端子1035的线缆连接到网络，且还将除了音频数据之外的数据发送到连接到网络的各种设备，并从其接收数据。
通过使用解码设备1作为MPEG解码器1017，电视接收机1000能够在关于形成流的视频分组的解码期间获得高分辨率解码图像而不增加负荷。就是说，电视接收机1000可以改进编码效率同时防止负荷增加。
图23是图示使用应用本发明的解码设备1和编码设备101的移动电话的主要部分的示例配置的框图。
如图23所示的移动电话1100包括被配置以总体地控制各个单元的主控制单元1150、电源电路单元1151、操作输入控制单元1152、图像编码器1153、相机I/F单元1154、LCD控制单元1155、图像解码器1156、复用/解复用单元1157、记录/再现单元1162、调制/解调电路单元1158和音频编解码器1159。它们经由总线1160互连。
此外，移动电话1100包括操作按键1119、CCD(电荷耦合器件)相机1116、液晶显示器1118、存储单元1123、发送/接收电路单元1163、天线1114、麦克风(mic)1121和扬声器1117。
当呼叫结束且通过用户操作接通电源按键时，电源电路单元1151从电池组提供电能到每个单元，由此启动移动电话1100从而能够操作。
移动电话1100基于由CPU、ROM、RAM等构成的主控制单元1150的控制，以比如音频呼叫模式和数据通信模式之类的各种模式执行各种操作，比如发送和接收音频信号、发送和接收电子邮件和图像数据、捕捉图像和记录数据。
例如，在音频呼叫模式中，移动电话1100使用音频编解码器1159将由麦克风(mic)1121收集的音频信号转换为数字音频数据，使用调制/解调电路单元1158关于数字音频数据执行扩频处理，并使用发送/接收电路单元1163执行数字模拟转换处理和频率转换处理。移动电话1100将通过转换处理获得的传输信号经由天线1114发送到在附图中未示出的基站。被发送到基站的传输信号(音频信号)被经由公共电话线路网提供到在呼叫的另一端的移动电话。
此外，例如，在音频呼叫模式中，移动电话1100使用发送/接收电路单元1163放大已经由天线1114接收的接收信号，进一步执行频率转换处理和模拟数字转换处理，使用调制/解调电路单元1158执行逆扩频处理，并使用音频编解码器1159将产生的信号转换为模拟音频信号。移动电话1100从扬声器1117输出通过转换获得的模拟音频信号。
此外，例如，在以数据通信模式发送电子邮件的情况下，移动电话1100使用操作输入控制单元1152接受通过操作操作按键1119输入的电子邮件的文本数据。移动电话1100使用主控制单元1150处理文本数据，并经由LCD控制单元1155使得产生的数据作为图像显示在液晶显示器1118上。
此外，移动电话1100基于用户指令等使用主控制单元1150产生基于由操作输入控制单元1152接受的文本数据的电子邮件数据。移动电话1100使用调制/解调电路单元1158关于电子邮件数据执行扩频处理，并使用发送/接收电路单元1163执行数字模拟转换处理和频率转换处理。移动电话1100将通过转换处理获得的传输信号经由天线1114发送到在附图中未示出的基站。发送到基站的传输信号(电子邮件)被经由网络、邮件服务器等提供到某个目的地。
此外，例如，在以数据通信模式接收电子邮件的情况下，移动电话1100使用发送/接收电路单元1163接收经由天线1114从基站发送的信号，将其放大，并进一步执行频率转换处理和模拟数字转换处理。移动电话1100使用调制/解调电路单元1158关于接收的信号执行逆扩频处理以恢复初始的电子邮件数据。移动电话1100经由LCD控制单元1155在液晶显示器1118上显示恢复的电子邮件数据。
注意，移动电话1100还能够经由记录/再现单元1162在存储单元1123上记录(存储)接收的电子邮件数据。
存储单元1123是任何可重写存储介质。例如，存储单元1123可以是比如RAM或者内置闪存的半导体存储器，或者可以是硬盘，或者比如磁盘、磁光盘、光盘、USB存储器或者存储卡之类的可拆卸介质。当然，可以使用任何其他类型的介质。
另外，例如，在以数据通信模式发送图像数据的情况下，移动电话1100使用CCD相机1116通过捕捉图像产生图像数据。CCD相机1116包括比如镜头和光圈的光学器件和用作光电转换元件的CCD，捕捉对象的图像，将接收的光的强度转换为电信号，并产生对象的图像的图像数据。CCD相机1116经由相机I/F单元1154使用图像编码器1153编码图像数据，并将图像数据转换为编码图像数据。
移动电话1100使用如上所述的编码设备101作为执行上述处理的图像编码器1153。与编码设备101的情况类似地，图像编码器1153使用用于产生预测图像的滤波预测。通过此，可以获得包括比通过单向预测、双向预测或者上转换预测产生的预测图像更多高频分量并具有与原始图像小的差别的预测图像。因此，可以需要仅将少量代码分配给残差，且可以增加编码效率。因为基准帧的分辨率低于在其中参考增强层中的帧的单向预测或者双向预测的情况下的分辨率，所以比如在帧存储器122中保存基准帧和从帧存储器122读取基准帧之类的处理的负荷很小。此外，可以使用至少两个基准帧执行滤波预测。因此，使得这种编码效率的增加是可行的而不增加处理的复杂性。
注意，此时，移动电话1100在使用CCD相机1116的图像捕捉期间使用音频编解码器1159同时关于由麦克风(mic)1121收集的音频执行模拟数字转换，并进一步将其编码。
移动电话1100使用确定方案，使用复用/解复用单元1157复用从图像编码器1153提供的已编码图像数据和从音频编解码器1159提供的数字音频数据。移动电话1100使用调制/解调电路单元1158关于因此获得的复用的数据执行扩频处理，并使用发送/接收电路单元1163执行数字模拟转换处理和频率转换处理。移动电话1100将通过转换处理获得的传输信号经由天线1114发送到在附图中未示出的基站。发送到基站的传输信号(图像数据)被经由网络等提供到通信的另一端。
注意，在不发送图像数据的情况下，移动电话1100也可以使得使用CCD相机1116产生的图像数据经由LCD控制单元1155显示在液晶显示器1118上而没有图像编码器1153的介入。
此外，例如，在要以数据通信模式接收具有到简化的主页等的链接的运动图像文件的数据的情况下，移动电话1100经由天线1114使用发送/接收电路单元1163接收从基站发送的信号，将其放大，并进一步执行频率转换处理和模拟数字转换处理。移动电话1100使用调制/解调电路单元1158关于接收的信号执行逆扩频处理以恢复初始的复用数据。移动电话1100使用复用/解复用单元1157解复用该复用的数据以将其分离为已编码图像数据和音频数据。
移动电话1100使用图像解码器1156解码已编码图像数据以产生再现运动图像数据，并经由LCD控制单元1155在液晶显示器1118上显示再现运动图像数据。例如，这允许包括在链接到简化的主页的运动图像文件中的运动图像数据显示在液晶显示器1118上。
移动电话1100使用如上所述的解码设备1作为执行上述处理的图像解码器1156。就是说，与解码设备1的情况类似，图像解码器1156关于基层中多个基准面的图像执行滤波以产生增强层中当前块的预测图像。因此，图像解码器1156可以比空间上采样滤波器更有效地利用图像序列中的信号分量。因此，预测图像可以比通过利用基层中的当前帧的图像的现有的上转换预测产生的预测图像具有空间上更高频的分量，同时可以减少预测残差。就是说，可以减少用于要在增强层中编码的画面的代码量，且可以有助于编码效率的改善。
此外，在该滤波预测中，不参考在时间上不同的帧的增强层中的解码图像。因此，可以减少编码所需的处理量、临时存储器容量、从存储器读出的信息量等，且可以减少实现所需的成本。此外，还可以减少功耗。
此时，移动电话1100同时使用音频编解码器1159将数字音频数据转换为模拟音频信号，并使得其从扬声器1117输出。例如，这允许再现包括在链接到简化的主页的运动图像文件中的音频数据。
注意，与电子邮件的情况类似，移动电话1100也能够使得链接到简化的主页等的接收的数据经由记录/再现单元1162记录在(存储在)存储单元1123上。
此外，移动电话1100还可以使用主控制单元1150分析由CCD相机1116通过捕捉其图像而获得的二维码，并获取二维码中记录的信息。
此外，移动电话1100可以使用红外通信单元1181经由红外光与外部设备通信。
移动电话1100使用编码设备101作为图像编码器1153。因此，例如，通过更有效地利用运动图像中的信号序列中包括的时间相关性，实现当编码并发送由CCD相机1116产生图像数据时考虑空间可缩放性的编码。由此，例如，可以改进编码效率同时防止比如编码和解码之类的处理负荷的增加。
此外，移动电话1100使用解码设备1作为图像解码器1156，因此使得可以获得高清晰度的解码图像而不增加例如当接收链接到简化主页等的运动图像文件的数据(编码数据)时的解码期间的处理负荷。就是说，移动电话1100可以改善编码效率同时防止负荷增加。
注意，虽然已经解释了移动电话1100使用CCD相机1116。但是，移动电话1100可以使用采用CMOS(互补金属氧化物半导体)的图像传感器(CMOS图像传感器)代替CCD相机1116。同样在这种情况下，与使用CCD相机1116的情况类似，移动电话1100可以捕捉对象的图像并产生对象的图像的图像数据。
此外，虽然已经在移动电话1100的情况下给出了上述说明，但是与移动电话1100的情况类似，解码设备1和编码设备101可以应用于例如具有与移动电话1100的功能类似的图像捕捉功能或者通信功能的任何设备，比如PDA(个人数字助理)、智能电话、UMPC(超移动个人计算机)、网络本或者笔记本式个人计算机。
图24是图示使用应用本发明的解码设备1和编码设备101的硬盘记录器的主要部分的示例配置的框图。
如图24所示的硬盘记录器(HDD记录器)1200是在其内置硬盘中保存包括在从卫星、地面天线等发送的、已经由调谐器接收的广播波信号(电视信号)中的广播节目的音频数据和视频数据，并在根据用户指令的定时向用户提供保存的数据的设备。
硬盘记录器1200例如可以从广播波信号提取音频数据和视频数据，适当地解码它们，并将其存储在内置硬盘中。此外，硬盘记录器1200还可以例如经由网络从另一设备获取音频数据或者视频数据，适当地将其解码，并将解码的数据存储在内置硬盘中。
另外，硬盘记录器1200可以解码例如记录在内置硬盘上的音频数据和视频数据，将其提供到监视器1260，在监视器1260的屏幕上显示其图像，并从监视器1260的扬声器输出其音频。此外，硬盘记录器1200还可以例如解码从经由调谐器获取的广播波信号提取的音频数据和视频数据，或者经由网络从另一设备获取的音频数据和视频数据，将其提供到监视器1260，在监视器1260的屏幕上显示其图像，并从监视器1260的扬声器输出其音频。
当然，其他操作也是可能的。
如图24所示，硬盘记录器1200包括接收单元1221、解调单元1222、解复用器1223、音频解码器1224、视频解码器1225和记录器控制单元1226。硬盘记录器1200另外包括EPG数据存储器1227、程序存储器1228、工作存储器1229、显示转换器1230、OSD(在屏显示)控制单元1231、显示控制单元1232、记录/再现单元1233、D/A转换器1234和通信单元1235。
此外，显示转换器1230包括视频编码器1241。记录/再现单元1233包括编码器1251和解码器1252。
接收单元1221从遥控器(未示出)接收红外信号，将其转换为电信号，并输出到记录器控制单元1226。记录器控制单元1226由例如微处理器等组成，并根据存储在程序存储器1228中的程序执行各种处理。此时，记录器控制单元1226根据需要使用工作存储器1229。
通信单元1235连接到网络，并经由网络与另一设备执行通信处理。例如，通信单元1235由记录器控制单元1226控制以与调谐器(未示出)通信并主要输出信道选择控制信号到调谐器。
解调单元1222解调从调谐器提供的信号，并将其输出到解复用器1223。解复用器1223将从解调单元1222提供的数据解复用为音频数据、视频数据和EPG数据，并将其分别输出到音频解码器1224、视频解码器1225和记录器控制单元1226。
音频解码器1224解码输入音频数据并输出已解码的音频数据到记录/再现单元1233。视频解码器1225解码输入视频数据并将已解码的视频数据输出到显示转换器1230。记录器控制单元1226提供输入EPG数据到EPG数据存储器1227以存储EPG数据。
显示转换器1230使用视频编码器1241将从视频解码器1225或者记录器控制单元1226提供的视频数据编码为例如NTSC(国家电视制式委员会)方案的视频数据，并将其输出到记录/再现单元1233。此外，显示转换器1230将从视频解码器1225或者记录器控制单元1226提供的视频数据的屏幕大小转换为与监视器1260的大小对应的大小，使用视频编码器1241将视频数据转换为NTSC方案的视频数据，将其转换为模拟信号，并将其输出到显示控制单元1232。
在记录器控制单元1226的控制下，显示控制单元1232将从OSD(在屏显示)控制单元1231输出的OSD信号叠加到从显示转换器1230输入的视频信号上，并将其输出到监视器1260的显示器以显示它。
从音频解码器1224输出的音频数据已经由D/A转换器1234转换为模拟信号，其也被提供到监视器1260。监视器1260从其内置的扬声器输出音频信号。
记录/再现单元1233包括硬盘作为在其上记录视频数据、音频数据等的存储介质。
记录/再现单元1233使用编码器1251编码例如从音频解码器1224提供的音频数据。此外，记录/再现单元1233使用编码器1251编码从显示转换器1230的视频编码器1241提供的视频数据。记录/再现单元1233使用复用器组合音频数据的编码数据和视频数据的编码数据。记录/再现单元1233关于产生的合成数据执行信道编码，将其放大，并经由记录磁头将数据写到硬盘。
记录/再现单元1233经由再现磁头再现记录在硬盘上的数据，将其放大，并使用解复用器将其分离为音频数据和视频数据。记录/再现单元1233使用解码器1252解码音频数据和视频数据。记录/再现单元1233关于解码的音频数据执行D/A转换，并将其输出到监视器1260的扬声器。此外，记录/再现单元1233关于解码的视频数据执行D/A转换，并将其输出到监视器1260的显示器。
记录器控制单元1226基于由经由接收单元1221接收的来自遥控器的红外信号指示的用户指令，从EPG数据存储器1227读取最新的EPG数据，并提供EPG数据到OSD控制单元1231。OSD控制单元1231产生与输入EPG数据对应的图像数据，并将其输出到显示控制单元1232。显示控制单元1232将从OSD控制单元1231输入的视频数据输出到监视器1260的显示器以显示它。这允许在监视器1260的显示器上显示EPG(电子节目指南)。
此外，硬盘记录器1200还可以经由比如因特网的网络获取从另一设备提供的各种数据，比如视频数据、音频数据和EPG数据。
通信单元1235由记录器控制单元1226控制以获取经由网络从另一设备发送的比如视频数据、音频数据和EPG数据之类的编码数据，并将其提供到记录器控制单元1226。记录器控制单元1226例如将获取的视频数据和音频数据的编码数据提供到记录/再现单元1233以在硬盘中进行存储。此时，记录器控制单元1226和记录/再现单元1233可以根据需要执行比如重编码的处理。
此外，记录器控制单元1226解码获取的视频数据和音频数据的编码数据，并提供获得的视频数据到显示转换器1230。显示转换器1230以与从视频解码器1225提供的视频数据的方式类似的方式处理从记录器控制单元1226提供的视频数据，并将产生的视频数据经由显示控制单元1232提供到监视器1260以显示其图像。
此外，与图像的显示一起，记录器控制单元1226可以经由D/A转换器1234将解码的音频数据提供到监视器1260并从扬声器输出其音频。
另外，记录器控制单元1226解码获取的EPG数据的编码数据，并提供解码的EPG数据到EPG数据存储器1227。
如上的硬盘记录器1200使用解码设备1作为视频解码器1225、解码器1252和记录器控制单元1226的内置解码器中的每一个。就是说，与解码设备1的情况类似，视频解码器1225、解码器1252和记录器控制单元1226的内置解码器关于基层中多个基准面的图像执行滤波，以产生增强层中当前块的预测图像。
因此，视频解码器1225、解码器1252和记录器控制单元1226内置解码器可以比空间上采样滤波器更有效地利用图像序列中的信号分量。因此，预测图像可以比通过利用基层中的当前帧的图像的现有的上转换预测产生的预测图像具有空间上更高频的分量，同时可以减少预测残差。就是说，可以减少用于要在增强层中编码的画面的代码量，且可以有助于编码效率的改善。
此外，在该滤波预测中，不参考在时间上不同的帧的增强层中的解码图像。因此，可以减少编码所需的处理量、临时存储器容量、从存储器读出的信息量等，且可以减少实现所需的成本。此外，还可以减少功耗。
因此，硬盘记录器1200可以获得高清晰度的解码图像而不增加当例如调谐器或者通信单元1235接收视频数据(编码数据)时或者当记录/再现单元1233从硬盘再现视频数据(编码数据)时的解码期间的处理负荷。就是说，硬盘记录器1200可以改进编码效率同时防止负荷增加。
此外，硬盘记录器1200使用编码设备101作为编码器1251。因此，与编码设备101的情况类似，编码器1251获得比通过双向预测或者上转换预测产生的预测图像包括更多高频分量且具有与原始图像小的差别的预测图像。因此，可以减少要分配给残差的仅少量代码，且可以增加编码效率。因为基准帧的分辨率低于在其中参考增强层中的帧的单向预测或者双向预测的情况下的分辨率，所以比如在帧存储器122中保存基准帧和从帧存储器122读取基准帧之类的处理的负荷很小。此外，可以使用至少两个基准帧执行滤波预测。因此，使得这种编码效率的增加是可行的而不增加处理的复杂性。
因此，硬盘记录器1200通过更有效地利用运动图像中信号序列中包括的时间相关性，来执行当例如编码数据记录在硬盘上时考虑空间可缩放性的编码，且因此例如可以改进编码效率同时防止比如编码和解码之类的处理的负荷增加。
注意，虽然已经解释了在硬盘上记录视频数据和音频数据的硬盘记录器1200，但是当然可以使用任何类型的记录介质。例如，即使使用除了硬盘之外的记录介质(比如闪存、光盘或者录像带)的记录器也可以以与如上所述硬盘记录器1200的情况下的方式类似的方式使用解码设备1和编码设备101。
图25是图示使用应用本发明的解码设备1和编码设备101的相机的主要部分的示例配置的框图。
如图25所示的相机1300捕捉对象的图像，并使得对象的图像显示在LCD 1316上，或者将其作为图像数据记录在记录介质1333上。
镜头块1311使得光(也就是说，对象的视频)入射在CCD/CMOS 1312上。CCD/CMOS1312是使用CCD或者CMOS，将接收的光的强度转换为电信号，并将其提供到相机信号处理单元1313的图像传感器。
相机信号处理单元1313将从CCD/CMOS 1312提供的电信号转换为Y、Cr和Cb色差信号，并将其提供到图像信号处理单元1314。在控制器1321的控制下，图像信号处理单元1314关于从相机信号处理单元1313提供的图像信号执行某个图像处理，或者使用编码器1341编码图像信号。图像信号处理单元1314将通过编码图像信号产生的编码数据提供到解码器1315。另外，图像信号处理单元1314获取通过在屏显示(OSD)1320产生的显示数据，并将其提供到解码器1315。
在上述处理中，相机信号处理单元1313利用经由总线1317连接的DRAM(动态随机存取存储器)1318，并根据需要使得图像数据、通过编码图像数据获得的编码数据等保持在DRAM 1318中。
解码器1315解码从图像信号处理单元1314提供的编码数据，并提供获得的图像数据(解码图像数据)到LCD 1316。此外，解码器1315将从图像信号处理单元1314提供的显示数据提供到LCD 1316。LCD 1316适当地组合从解码器1315提供的解码的图像数据的图像和显示数据的图像，并显示产生的合成图像。
在控制器1321的控制下，在屏显示1320将比如由符号、字符或者图形形成的菜单屏幕和图标之类的显示数据经由总线1317输出到图像信号处理单元1314。
控制器1321基于指示由用户使用操作单元1322发布的命令的内容的信号执行各种处理，且还经由总线1317控制图像信号处理单元1314、DRAM 1318、外部接口1319、在屏显示1320、介质驱动器1323等。闪速ROM 1324存储控制器1321执行各种处理所需的程序、数据等。
例如，控制器1321可以代表图像信号处理单元1314或者解码器1315编码存储在DRAM 1318中的图像数据或者解码存储在DRAM 1318中的编码数据。此时，控制器1321可以使用与图像信号处理单元1314或者解码器1315的编码或者解码方案类似的方案执行编码或者解码处理，或者可以使用图像信号处理单元1314或者解码器1315不支持的方案来执行编码或者解码处理。
此外，例如，在已经从操作单元1322发布用于开始打印图像的指令的情况下，控制器1321从DRAM 1318读取图像数据，并将其提供到经由总线1317连接到外部接口1319的打印机1334以打印它。
另外，例如，在已经从操作单元1322发布了用于记录图像的指令的情况下，控制器1321从DRAM 1318读取编码数据，并经由总线1317将其提供到附于介质驱动器1323的记录介质1333以存储它。
例如，记录介质1333是比如磁盘、磁光盘、光盘或者半导体存储器之类的任何可读和可重写可拆卸介质。当然，记录介质1333也可以是任何类型的可拆卸介质，且可以是磁带装置、盘、或存储卡。当然，也可以使用无接触IC卡等。
此外，例如，介质驱动器1323和记录介质1333也可以整体地形成为非便携式存储介质，比如内置硬盘驱动器或者SSD(固态驱动器)。
例如，外部接口1319由USB输入输出端子等组成，且在要打印图像的情况下连接到打印机1334。此外，驱动器1331根据需要连接到外部接口1319，且适当地附加比如磁盘、光盘或者磁光盘之类的可拆卸介质1332，以使得根据需要将从其读取的计算机程序安装到闪速ROM 1324中。
另外，外部接口1319包括连接到比如LAN或者因特网的某个网络的网络接口。控制器1321可以根据例如来自操作单元1322的指令从DRAM 1318读取编码数据，并将其从外部接口1319提供到经由网络连接的另一设备。此外，控制器1321可以经由外部接口1319获取经由网络从另一设备提供的编码数据或者图像数据，并将其保持在DRAM 1318中或者将其提供到图像信号处理单元1314。
如上的相机1300使用解码设备1作为解码器1315。就是说，与解码设备1的情况类似，解码器1315关于基层中多个基准面的图像执行滤波以产生增强层中当前块的预测图像。因此，解码器1315可以比空间上采样滤波器更有效地利用图像序列中的信号分量。因此，预测图像可以比通过利用基层中的当前帧的图像的现有的上转换预测产生的预测图像具有空间上更高频的分量，同时可以减少预测残差。就是说，可以减少用于要在增强层中编码的画面的代码量，且可以有助于编码效率的改善。
因此，相机1300可以改进编码效率同时防止例如当从DRAM 1318或者记录介质1333读取视频数据的编码数据时，或者当经由网络获取视频数据的编码数据时由CCD/CMOS1312产生的图像数据的负荷增加。
此外，相机1300使用编码设备101作为编码器1341。与编码设备101的情况类似，编码器1341可以获得比通过双向预测或者上转换预测产生的预测图像包括更多高频分量且具有与原始图像小的差别的预测图像。因此，可以减少要分配给残差的仅少量代码，且可以增加编码效率。因为基准帧的分辨率低于在其中参考增强层中的帧的单向预测或者双向预测的情况下的分辨率，所以比如在帧存储器122中保存基准帧和从帧存储器122读取基准帧之类的处理的负荷很小。此外，可以使用至少两个基准帧执行滤波预测。因此，使得这种编码效率的增加是可行的而不增加处理的复杂性。
因此，相机1300通过更有效地利用运动图像中的信号序列中包括的时间相关性，执行例如当编码数据记录在DRAM 1318或者记录介质1333上时，或者当编码数据提供到另一设备时考虑空间可缩放性的编码，且因此例如可以改进编码效率同时防止比如编码和解码之类的处理的负荷增加。
注意，解码设备1的解码方法可以应用于由控制器1321执行的解码处理。类似地，编码设备101的编码方法可以应用于由控制器1321执行的编码处理。
此外，由相机1300捕捉的图像数据可以是运动图像或者静止图像的图像数据。
当然，解码设备1和编码设备101还可以应用于除了如上所述的设备之外的设备或者系统。
此外，宏块的尺寸是任意的。例如，本发明可以应用于如图26所示的具有任何尺寸的宏块。例如，本发明不仅可以应用于16×16像素的普通宏块，而且可以应用于比如32×32像素的宏块的扩展的宏块(扩展宏块)。
在图26中，在上部，从左侧开始依次图示由32×32像素、32×16像素、16×32像素和16×16像素的块(分区)划分的由32×32像素构成的宏块。此外，在中部，从左侧依次图示由16×16像素、16×8像素、8×16像素和8×8像素的块划分的由16×16像素构成的块。此外，在下部，从左侧依次图示由8×8像素、8×4像素、4×8像素和4×4像素的块划分的由8×8像素构成的块。
也就是说，32×32像素的宏块可以由上部中图示的32×32像素、32×16像素、16×32像素和16×16像素的块处理。
与H.264/AVC方案类似，在上部的右侧图示的16×16像素的块可以由在中部图示的16×16像素、16×8像素、8×16像素和8×8像素的块处理。
与H.264/AVC方案类似，在中部的右侧图示的8×8像素的块可以由在下部图示的8×8像素、8×4像素、4×8像素和4×4像素的块处理。
上述块可以分类为以下三个分级层。也就是说，图26中上部图示的32×32像素，32×16像素和16×32像素的块被称为的第一分级层中的块。上部的右侧图示的16×16像素的块和中部图示的16×16像素、16×8像素和8×16像素的块被称为第二分级层中的块。中部的右侧图示的8×8像素的块以及下部图示的8×8像素、8×4像素、4×8像素和4×4像素的块被称为第三分级层中的块。
通过采用上述分级层结构，关于等于或者低于16×16像素的块的块，更大的块可以被定义为其超集同时保持与H.264/AVC方案的兼容性。
例如，解码设备1和编码设备101可以被配置以产生每个分级层的预测图像。此外，例如，解码设备1和编码设备101可以被配置以对于第二分级层，也利用在具有比第二分级层更大的块大小的第一分级层中产生的预测图像。
要对于其使用相对大的块大小执行编码的宏块(比如第一分级层和第二分级层)不包括相对高频的分量。相反，要对于其使用相对小的块大小执行编码的宏块(比如第三分级层)被认为包括相对高频的分量。
由此，根据具有不同块大小的各个分级层分别产生预测图像，由此使得适于图像的局部特性的编码性能的改善是可以的。
附图标记列表
1 解码设备、12 无损解码电路、15 加法器电路、19 帧存储器、21 运动预测/补偿电路、41 预测判定电路、51 预测选择电路、64 滤波预测电路、71 提取电路、72 滤波电路、81 差别计算电路、82 上转换电路、83 低通滤波器电路、84 增益调节电路、85 高通滤波器电路、86 增益调节电路、87 加法器电路、88 上转换电路、89 加法器电路、101 编码设备、112 重排缓冲器、123 模式确定电路、125 运动预测/补偿电路、126 帧内预测电路、145 滤波预测电路、155 滤波预测电路、211 滤波电路。

Claims (18)

1.一种图像解码设备，包括：
提取装置，用于使用解码图像形成的帧作为基准帧并使用已经编码的图像中的运动矢量来执行运动补偿，并用于从与预测图像对应的基准帧提取比所述预测图像具有更低分辨率的运动补偿图像；
预测图像产生装置，用于通过利用第一运动补偿图像和第二运动补偿图像中包括的时间方向上的相关性，对于由所述提取装置提取的至少两个运动补偿图像执行滤波处理，以产生比通过上转换第一运动补偿图像而获得的图像具有更多的高频分量的预测图像，
其中所述第一运动补偿图像和所述第二运动补偿图像是从不同的基准帧提取的运动补偿图像。
2.根据权利要求1所述的图像解码设备，其中所述预测图像产生装置将表示高频分量并通过上转换基层中的图像而产生的图像与通过上转换第一运动补偿图像而获得的图像相加。
3.根据权利要求1所述的图像解码设备，
其中，所述已经编码的图像已经被分级地分解为具有不同分辨率的多个层中的图像且图像已经被编码，
其中，当要执行具有高分辨率层的解码时，所述提取装置使用比该层更低分辨率的层中的帧作为基准帧，并从具有更低分辨率的层中的基准帧提取运动补偿图像，和
其中，所述预测图像产生装置通过关于从具有更低分辨率的层中的基准帧提取的运动补偿图像执行滤波处理，来产生高分辨率层中的预测图像。
4.根据权利要求1所述的图像解码设备，
其中，所述预测图像产生装置包括
分辨率转换装置，用于转换由所述提取装置提取的多个运动补偿图像之间的差别图像的分辨率并增加分辨率，
低通滤波器装置，用于将低通滤波器应用于分辨率已经由所述分辨率转换装置增加的差别图像，
高通滤波器装置，用于将高通滤波器应用于通过由所述低通滤波器装置应用低通滤波器而获得的图像，和
相加装置，用于将通过由所述低通滤波器装置应用低通滤波器而获得的图像和通过由所述高通滤波器装置应用高通滤波器而获得的图像与由所述提取装置提取的多个运动补偿图像之一相加，并用于产生预测图像。
5.根据权利要求4所述的图像解码设备，
其中，所述相加装置将通过由所述低通滤波器装置应用低通滤波器而获得的图像和通过由所述高通滤波器装置应用高通滤波器而获得的图像与从关于预测图像的时间的在前帧提取的运动补偿图像相加。
6.根据权利要求1所述的图像解码设备，进一步包括：
接收装置，用于接收标识标记，所述标识标记标识要通过单向预测产生预测图像、要通过双向预测产生预测图像还是要通过由所述预测图像产生装置执行的滤波处理产生预测图像；
判断装置，通过参考由所述接收装置接收的标识标记，判断要通过单向预测产生预测图像、要通过双向预测产生预测图像还是要通过滤波处理产生预测图像。
7.根据权利要求6所述的图像解码设备，进一步包括：
单向预测装置，用于使用多个运动补偿图像执行单向预测，并用于产生预测图像；和
双向预测装置，用于使用多个运动补偿图像执行双向预测，并用于产生预测图像。
8.根据权利要求1所述的图像解码设备，进一步包括：
解码装置，用于解码编码图像；和
产生装置，用于将由所述解码装置解码的图像与预测图像相加并用于产生解码图像。
9.一种图像解码方法，包括：
使用由解码图像形成的帧作为基准帧并使用已经编码的图像中的运动矢量来执行运动补偿，并从与预测图像对应的基准帧提取比所述预测图像具有更低分辨率的运动补偿图像；
通过利用第一运动补偿图像和第二运动补偿图像中包括的时间方向上的相关性，对于所提取的至少两个运动补偿图像执行的滤波处理，以产生比通过上转换第一运动补偿图像而获得的图像具有更多的高频分量的预测图像，
其中所述第一运动补偿图像和所述第二运动补偿图像是从不同的基准帧提取的运动补偿图像。
10.一种图像解码设备，包括：
检测装置，用于基于图像和作为要解码的图像的原始图像检测运动矢量，所述图像中的每一个是通过基于指示原始图像和预测图像之间的差别的残差信号来执行本地解码而获得的；
提取装置，用于使用由本地解码的图像形成的帧作为基准帧并使用由所述检测装置检测的运动矢量来执行运动补偿，并用于从与预测图像对应的基准帧提取比所述预测图像具有更低分辨率的运动补偿图像；
产生装置，用于通过利用第一运动补偿图像和第二运动补偿图像中包括的时间方向上的相关性，对于由所述提取装置提取的至少两个运动补偿图像执行滤波处理，以产生比通过上转换第一运动补偿图像而获得的图像具有更多高频分量的预测图像，
其中所述第一运动补偿图像和所述第二运动补偿图像是从不同的基准帧提取的运动补偿图像。
11.根据权利要求10所述的图像解码设备，其中所述产生装置将表示高频分量并通过上转换基层中的图像而产生的图像与通过上转换第一运动补偿图像而获得的图像相加。
12.根据权利要求10所述的图像解码设备，
其中，当要执行高分辨率层的解码时，所述提取装置使用比该层更低分辨率的层中的帧作为基准帧，并使用由所述检测装置在具有更低分辨率的层中检测到的运动矢量从具有更低分辨率的层中的基准帧提取运动补偿图像，和
其中，所述产生装置通过关于从具有更低分辨率的层中的基准帧提取的运动补偿图像执行滤波处理，来产生高分辨率层层中的预测图像。
13.根据权利要求10所述的图像解码设备，
其中，所述产生装置包括
分辨率转换装置，用于转换由所述提取装置提取的多个运动补偿图像之间的差别图像的分辨率并增加分辨率，
低通滤波器装置，用于将低通滤波器应用于分辨率已经由所述分辨率转换装置增加的差别图像，
高通滤波器装置，用于将高通滤波器应用于通过由所述低通滤波器装置应用低通滤波器而获得的图像，和
相加装置，用于将通过由所述低通滤波器装置应用低通滤波器而获得的图像和通过由所述高通滤波器装置应用高通滤波器而获得的图像与由所述提取装置提取的多个运动补偿图像之一相加，并用于产生预测图像。
14.根据权利要求13所述的图像解码设备，
其中，所述相加装置将通过由所述低通滤波器装置应用低通滤波器而获得的图像和通过由所述高通滤波器装置应用高通滤波器而获得的图像与从关于预测图像的时间的在前帧提取的运动补偿图像相加。
15.根据权利要求10所述的图像解码设备，还包括：
编码装置，用于编码作为要编码的图像的原始图像，并用于产生编码图像。
16.根据权利要求15所述的图像解码设备，
其中，所述编码装置使得报头包括标识标记，所述标识标记标识要与由解码设备解码的图像相加的预测图像是通过单向预测产生、通过双向预测产生还是通过滤波处理产生。
17.一种图像解码方法，包括：
基于图像和作为要编码的图像的原始图像检测运动矢量，所述图像中的每一个是通过基于指示原始图像和预测图像之间的差别的残差信号来执行本地解码而获得的；
使用由本地解码的图像形成的帧作为基准帧并使用检测到的运动矢量来执行运动补偿，和从与预测图像对应的基准帧提取比所述预测图像具有更低分辨率的运动补偿图像；
通过利用第一运动补偿图像和第二运动补偿图像中包括的时间方向上的相关性，对于所提取的至少两个运动补偿图像执行滤波处理，以产生比通过上转换第一运动补偿图像而获得的图像具有更多的高频分量的预测图像，
其中所述第一运动补偿图像和所述第二运动补偿图像是从不同的基准帧提取的运动补偿图像。
18.一种用于增强层的图像解码方法，包括：
执行无损解码处理，输出使用无损解码处理产生的已量化变换系数，且进一步在要解码的图像是帧内编码图像的情况下输出帧内预测模式信息，或者在要解码的图像是帧间编码图像的情况下输出运动矢量和标识标记，以根据所述帧内预测模式信息或者所述运动矢量和标识标记来产生预测图像；
执行反量化，并且对已反量化的变换系数执行逆正交变换，以获得解码的图像；
将所述解码的图像与所述预测图像进行组合，以产生合成图像；
对所述合成图像进行滤波，并且存储所述合成图像；
重复执行前述处理，直到一整个帧中的宏块执行了前述处理。
CN201610344309.1A 2009-02-19 2010-02-12 图像处理设备和方法 Expired - Fee Related CN105915900B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009036497 2009-02-19
JP2009-036497 2009-02-19
CN201080016310.2A CN102396228B (zh) 2009-02-19 2010-02-12 图像处理设备和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201080016310.2A Division CN102396228B (zh) 2009-02-19 2010-02-12 图像处理设备和方法

Publications (2)

Publication Number Publication Date
CN105915900A CN105915900A (zh) 2016-08-31
CN105915900B true CN105915900B (zh) 2019-12-10

Family

ID=42633839

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610344309.1A Expired - Fee Related CN105915900B (zh) 2009-02-19 2010-02-12 图像处理设备和方法
CN201080016310.2A Expired - Fee Related CN102396228B (zh) 2009-02-19 2010-02-12 图像处理设备和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201080016310.2A Expired - Fee Related CN102396228B (zh) 2009-02-19 2010-02-12 图像处理设备和方法

Country Status (9)

Country Link
US (4) US8824542B2 (zh)
EP (1) EP2400760A4 (zh)
JP (2) JP5532345B2 (zh)
KR (1) KR20110126615A (zh)
CN (2) CN105915900B (zh)
BR (1) BRPI1008281A2 (zh)
RU (1) RU2541881C2 (zh)
TW (1) TWI468020B (zh)
WO (1) WO2010095556A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI468020B (zh) 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
TWI463878B (zh) * 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
WO2012044487A1 (en) * 2010-10-01 2012-04-05 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
US8705624B2 (en) * 2009-11-24 2014-04-22 STMicroelectronics International N. V. Parallel decoding for scalable video coding
JP2012249116A (ja) * 2011-05-30 2012-12-13 Canon Inc 画像符号化装置
EP2624577B1 (en) * 2012-02-01 2016-11-02 EchoStar UK Holdings Limited Remote viewing of media content using layered video encoding
WO2014000168A1 (en) * 2012-06-27 2014-01-03 Intel Corporation Cross-layer cross-channel residual prediction
KR101934261B1 (ko) * 2012-07-09 2019-01-03 삼성전자 주식회사 이미지 해상도 변화 방법과 장치, 및 상기 장치를 포함하는 전자 장치
KR20140016760A (ko) * 2012-07-31 2014-02-10 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법
CN108521574A (zh) * 2012-09-28 2018-09-11 索尼公司 编码设备、编码方法、解码设备和解码方法
SG11201500314WA (en) * 2012-09-28 2015-02-27 Intel Corp Inter-layer residual prediction
JP6763664B2 (ja) * 2012-10-01 2020-09-30 ジーイー ビデオ コンプレッション エルエルシー エンハンスメント層作動パラメータのためのベース層ヒントを使用するスケーラブルビデオ符号化
US9602841B2 (en) * 2012-10-30 2017-03-21 Texas Instruments Incorporated System and method for decoding scalable video coding
US20140192880A1 (en) * 2013-01-04 2014-07-10 Zhipin Deng Inter layer motion data inheritance
JP6352248B2 (ja) * 2013-04-04 2018-07-04 シャープ株式会社 画像復号装置、および画像符号化装置
CN105765979B (zh) * 2013-09-24 2019-08-09 Vid拓展公司 用于可缩放视频编码的层间预测
JP2015128205A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 復号装置および復号方法、並びに、符号化装置および符号化方法
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
US20180139469A1 (en) * 2015-06-19 2018-05-17 Nokia Technologies Oy An Apparatus, A Method and A Computer Program for Video Coding and Decoding
US10448013B2 (en) * 2016-12-22 2019-10-15 Google Llc Multi-layer-multi-reference prediction using adaptive temporal filtering
US11769042B2 (en) 2018-02-08 2023-09-26 Western Digital Technologies, Inc. Reconfigurable systolic neural network engine
US11741346B2 (en) 2018-02-08 2023-08-29 Western Digital Technologies, Inc. Systolic neural network engine with crossover connection optimization
US10929058B2 (en) 2019-03-25 2021-02-23 Western Digital Technologies, Inc. Enhanced memory device architecture for machine learning
US11783176B2 (en) 2019-03-25 2023-10-10 Western Digital Technologies, Inc. Enhanced storage device memory architecture for machine learning
GB2583087B (en) * 2019-04-11 2023-01-04 V Nova Int Ltd Decoding a video signal in a video decoder chipset
TWI774100B (zh) * 2020-10-26 2022-08-11 瑞昱半導體股份有限公司 影像處理晶片與影像處理方法
CN114449183B (zh) * 2020-11-02 2024-03-15 瑞昱半导体股份有限公司 影像处理芯片与影像处理方法
CN113126057B (zh) * 2021-04-20 2022-09-16 哈尔滨工业大学 一种基于调频率估计的sar运动补偿方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1801946A (zh) * 2005-01-07 2006-07-12 株式会社Ntt都科摩 运动图像编码及译码装置、方法、程序
CN101091394A (zh) * 2005-09-15 2007-12-19 索尼株式会社 编码装置、编码方法及其程序、以及解码装置、解码方法及其程序
CN101184240A (zh) * 2006-10-19 2008-05-21 汤姆森许可贸易公司 以可扩展格式编码的设备和方法及相应解码设备和方法
CN101228794A (zh) * 2005-07-21 2008-07-23 汤姆森许可贸易公司 针对加权预测的可分级视频编码方法及设备
CN101248674A (zh) * 2005-07-11 2008-08-20 汤姆森特许公司 宏块自适应层间内纹理预测的方法和设备
CN101288308A (zh) * 2005-10-14 2008-10-15 三星电子株式会社 满足单环解码条件的帧内基本层预测方法及使用该预测方法的视频编码方法和设备

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2947103B2 (ja) 1994-11-25 1999-09-13 日本ビクター株式会社 動画像符号化装置及び動画像符号化方法
AU717480B2 (en) * 1998-08-01 2000-03-30 Korea Advanced Institute Of Science And Technology Loop-filtering method for image data and apparatus therefor
KR20010072074A (ko) 1999-05-27 2001-07-31 요트.게.아. 롤페즈 비디오 신호의 인코딩
JP4120301B2 (ja) * 2002-04-25 2008-07-16 ソニー株式会社 画像処理装置およびその方法
CN100531396C (zh) 2003-07-24 2009-08-19 日本电信电话株式会社 图像编码装置和方法以及图像解码装置和方法
WO2005022919A1 (en) * 2003-08-26 2005-03-10 Thomson Licensing S.A. Method and apparatus for decoding hybrid intra-inter coded blocks
TWI255146B (en) * 2003-12-04 2006-05-11 Nec Corp Moving picture encoding method and device, and moving picture decoding method and device, and storage medium
JP2005217940A (ja) * 2004-01-30 2005-08-11 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2008507170A (ja) * 2004-07-13 2008-03-06 フランス テレコム エス アー ビデオ画像配列の符号化方法および装置
KR20060027779A (ko) * 2004-09-23 2006-03-28 엘지전자 주식회사 영상 블록의 시간상 및 공간상 상관관계를 이용한영상신호의 엔코딩 및 디코딩 방법과 장치
JP2006108811A (ja) * 2004-09-30 2006-04-20 Sanyo Electric Co Ltd 画像符号化方法
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
JP2006333436A (ja) * 2005-01-07 2006-12-07 Ntt Docomo Inc 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び、動画像復号プログラム
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
KR100703788B1 (ko) * 2005-06-10 2007-04-06 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
US7564652B2 (en) * 2005-07-06 2009-07-21 Sae Magnetics (H.K.) Ltd. Head gimbal assembly including a one-piece structural suspension and an accessory plate, and method of manufacturing the same
US7743912B2 (en) * 2005-08-05 2010-06-29 Finley Dana J Liquid seal bulk feeder for destructive distillation of lightweight materials
JP4594201B2 (ja) * 2005-09-28 2010-12-08 パナソニック株式会社 画像符号化方法、画像符号化装置、プログラムおよび集積回路
JP4334533B2 (ja) * 2005-11-24 2009-09-30 株式会社東芝 動画像符号化／復号化方法および装置
GB0600141D0 (en) * 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
EP1980109B1 (en) * 2006-01-31 2018-07-11 Thomson Licensing DTV Methods and apparatus for edge-based spatio-temporal filtering
KR100712550B1 (ko) 2006-02-03 2007-05-02 삼성전자주식회사 하드디스크 드라이브의 고밀도 기록 방법
JP2007221208A (ja) * 2006-02-14 2007-08-30 Toshiba Corp 動画像符号化方法および装置
EP2595381B1 (en) 2006-04-28 2016-05-18 NTT DoCoMo, Inc. Image predictive decoding device
JP2007300380A (ja) * 2006-04-28 2007-11-15 Ntt Docomo Inc 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
JP4844455B2 (ja) * 2006-06-15 2011-12-28 日本ビクター株式会社 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
US7864219B2 (en) 2006-06-15 2011-01-04 Victor Company Of Japan, Ltd. Video-signal layered coding and decoding methods, apparatuses, and programs with spatial-resolution enhancement
JP2008022405A (ja) * 2006-07-14 2008-01-31 Sony Corp 画像処理装置および方法、並びに、プログラム
KR101566557B1 (ko) * 2006-10-18 2015-11-05 톰슨 라이센싱 예측 데이터 리파인먼트를 이용한 비디오 코딩 방법 및 장치
KR101365575B1 (ko) * 2007-02-05 2014-02-25 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
KR101369224B1 (ko) * 2007-03-28 2014-03-05 삼성전자주식회사 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치
JP2010135864A (ja) * 2007-03-29 2010-06-17 Toshiba Corp 画像符号化方法及び装置並びに画像復号化方法及び装置
JP4877090B2 (ja) 2007-06-18 2012-02-15 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP4356777B2 (ja) 2007-06-18 2009-11-04 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP4826546B2 (ja) 2007-06-18 2011-11-30 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
WO2009003499A1 (en) * 2007-06-29 2009-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding supporting pixel value refinement scalability
US8352035B2 (en) 2007-10-31 2013-01-08 Boston Scientific Neuromodulation Corporation Connector assemblies for implantable stimulators
WO2010010942A1 (ja) 2008-07-25 2010-01-28 ソニー株式会社 画像処理装置および方法
RU2494568C2 (ru) 2008-07-25 2013-09-27 Сони Корпорейшн Способ и устройство обработки изображения
US20100177117A1 (en) 2009-01-14 2010-07-15 International Business Machines Corporation Contextual templates for modifying objects in a virtual universe
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
TWI468020B (zh) 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1801946A (zh) * 2005-01-07 2006-07-12 株式会社Ntt都科摩 运动图像编码及译码装置、方法、程序
CN101248674A (zh) * 2005-07-11 2008-08-20 汤姆森特许公司 宏块自适应层间内纹理预测的方法和设备
CN101228794A (zh) * 2005-07-21 2008-07-23 汤姆森许可贸易公司 针对加权预测的可分级视频编码方法及设备
CN101091394A (zh) * 2005-09-15 2007-12-19 索尼株式会社 编码装置、编码方法及其程序、以及解码装置、解码方法及其程序
CN101288308A (zh) * 2005-10-14 2008-10-15 三星电子株式会社 满足单环解码条件的帧内基本层预测方法及使用该预测方法的视频编码方法和设备
CN101184240A (zh) * 2006-10-19 2008-05-21 汤姆森许可贸易公司 以可扩展格式编码的设备和方法及相应解码设备和方法

Also Published As

Publication number Publication date
CN102396228A (zh) 2012-03-28
JP5831587B2 (ja) 2015-12-09
US8824542B2 (en) 2014-09-02
RU2011134044A (ru) 2013-02-20
US20140334549A1 (en) 2014-11-13
US9277235B2 (en) 2016-03-01
BRPI1008281A2 (pt) 2016-03-15
KR20110126615A (ko) 2011-11-23
RU2541881C2 (ru) 2015-02-20
US20180324455A1 (en) 2018-11-08
TW201032598A (en) 2010-09-01
US20160142731A1 (en) 2016-05-19
WO2010095556A1 (ja) 2010-08-26
JPWO2010095556A1 (ja) 2012-08-23
CN105915900A (zh) 2016-08-31
US10491919B2 (en) 2019-11-26
JP5532345B2 (ja) 2014-06-25
CN102396228B (zh) 2016-07-06
US20110286526A1 (en) 2011-11-24
EP2400760A1 (en) 2011-12-28
US10075732B2 (en) 2018-09-11
JP2014171240A (ja) 2014-09-18
TWI468020B (zh) 2015-01-01
EP2400760A4 (en) 2012-11-21

Similar Documents

Publication Publication Date Title
CN105915900B (zh) 图像处理设备和方法
US10721480B2 (en) Image processing apparatus and method
US10931944B2 (en) Decoding device and method to generate a prediction image
US8705627B2 (en) Image processing apparatus and method
US8483495B2 (en) Image processing device and method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191210

Termination date: 20220212

CF01 Termination of patent right due to non-payment of annual fee