CN102100071A - 图像处理设备和方法 - Google Patents

图像处理设备和方法 Download PDF

Info

Publication number
CN102100071A
CN102100071A CN2009801278774A CN200980127877A CN102100071A CN 102100071 A CN102100071 A CN 102100071A CN 2009801278774 A CN2009801278774 A CN 2009801278774A CN 200980127877 A CN200980127877 A CN 200980127877A CN 102100071 A CN102100071 A CN 102100071A
Authority
CN
China
Prior art keywords
image
circuit
filter
prediction
predicted picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801278774A
Other languages
English (en)
Other versions
CN102100071B (zh
Inventor
中神央二
田中润一
名云武文
矢崎阳一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102100071A publication Critical patent/CN102100071A/zh
Application granted granted Critical
Publication of CN102100071B publication Critical patent/CN102100071B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及允许产生高精度预测图像而不增加处理负荷的图像处理设备和方法。计算从不同的参考帧中提取的运动补偿图像MC0和MC1之间的差分图像。对该差分图像应用低通滤波，并且调整获得的图像的增益。对通过应用低通滤波获得的图像应用高通滤波，并且调整获得的图像的增益。通过将增益调整电路53的输出和增益调整电路55的输出相加而获得的图像被与运动补偿图像MC0相加，并且产生预测图像。本发明可被应用于执行预测编码的装置，对通过预测编码进行编码的信息进行解码的装置。

Description

图像处理设备和方法
技术领域
本发明涉及图像处理设备和方法，并且更具体地，涉及允许产生高精度预测图像，而不增加处理负荷的图像处理设备和方法。
背景技术
常规地，使用运动补偿(诸如MPEG(运动图像专家组)或H.26x)和正交变换(诸如离散余弦变换、Karhunen-Loève变换或小波变换)的编码方案一般被用作处理运动图像情况下的编码方案。在这些运动图像编码方案中，通过使用将要接受编码的输入图像信号的特性中在空间方向和时间方向上的相关性，实现编码数量的减少。
例如，在H.264中，当通过使用时间方向上的相关性产生作为接受帧间预测(中间预测)的帧的中间帧时，使用单向预测或双向预测。帧间预测被设计为基于不同的时间点的帧产生预测图像。
图1是示出了单向预测的例子的图。
如图1所示，在通过单向预测产生帧P0的情况下，使用在时间上相对于当前时间点的过去或未来时间点的已经编码的帧作为参考帧，执行运动补偿，其中帧P0是将要接受编码的、处于当前时间点的帧。通过利用时间方向上的相关性，对预测图像和实际图像之间的残差进行编码，因此使得可以减少代码数量。分别使用参考帧信息和运动矢量作为指定参考帧的信息以及指定参考帧中将要引用的位置的信息，并且这些信息被从编码侧传输到解码侧。
此处，参考帧的数目不限于一个。例如，在H.264中，可以使用多个帧作为参考帧。如图1所示，当在时间上靠近将要编码的帧P0的两个帧被以参考帧R0和R1的顺序表示的情况下，可以从参考帧R0或R1内的任意像素的像素值预测将要编码的帧P0内的任意宏块的像素值。
在图1中，每个帧内指示的方框表示宏块。如果以宏块MBP0表示将要编码的帧P0内的将要预测的宏块，则参考帧R0中的相应于宏块MBP0的宏块是由运动矢量MV0指定的宏块MBR0。另外，参考帧R1中的宏块是由运动矢量MV1指定的宏块MBR1。
如果由MC0(i，j)和MC1(i，j)表示宏块MBR0和MBR1的像素值(运动补偿图像的像素值)，则在单向预测中把这些运动补偿图像的像素值之一用作预测图像的像素值。因此，由下面的等式(1)表示预测图像Pred(i，j)。(i，j)表示宏块内的像素的相对位置，并且满足0≤i≤16和0≤j≤16。在等式(1)中，″||″表示取值为MC0(i，j)和MC1(i，j)中的一个。
[等式1]
Pred(i，j)＝MC0(i，j)||MC1(i，j)…(1)
注意，还可以将16×16像素的单个宏块划分为大小为16×8像素等的子块，并且通过参考不同的参考帧对每个子块执行运动补偿。取代具有整数精度的运动矢量，传输具有小数精度的运动矢量，并且使用标准中定义的FIR滤波器执行插值，因此使得还可以利用要引用的相应位置周围的像素的像素值来进行运动补偿。
图2是示出了双向预测的例子的图。
如图2所示，在以双向预测产生将要接受编码的作为当前时间点的帧的将要编码的帧B0的情况下，使用在时间上相对于当前时间点的过去或未来时间点的已经编码的帧作为参考帧，执行运动补偿。通过利用多个已经编码的帧作为参考帧，并且通过利用它们之间的相关性，对预测图像和实际图像之间的残差进行编码，因此使得可以减少代码数量。在H.264中，还可以使用多个过去帧和多个未来帧作为参考帧。
如图2所示，在使用相对于将要编码的帧B0的过去帧和未来帧作为参考帧L0和L1的情况下，可以从参考帧L0和L1内的任意像素的像素值来预测将要编码的帧B0内的任意宏块的像素值。
在图2的例子中，参考帧L0内相应于将要编码的帧B0内的宏块MBB0的宏块被设置为由运动矢量MV0指定的宏块MBL0。另外，参考帧L1内相应于将要编码的帧B0内的宏块MBB0的宏块被设置为由运动矢量MV1指定的宏块MBL1。
如果分别以MC0(i，j)和MC1(i，j)表示宏块MBL0和MBL1的像素值，则如下面在等式(2)中给出的，预测图像Pred(i，j)的像素值Pred(i，j)可以确定为这些像素值的平均值。
[等式2]
Pred(i，j)＝(MC0(i，j)+MC1(i，j))/2…(2)
在上面的使用单向预测的这种运动补偿中，通过增加运动矢量的精度或通过减小宏块的大小改进预测图像的精度，并且减小了相对于实际图像的残差，从而实现了编码效率的改进。
另外，在使用双向预测的运动补偿中，使用在时间上靠近的参考帧的像素的像素值的平均值作为预测图像的像素的像素值，因此使得可以实现预测残差的概率稳定的减小。
引用列表
专利文献
NPL 1：″Improving Resolution by Image Registration″，MICHAL IRANI AND SHMUEL PELEG，Department of ComputerScience，The Hebrew University of Jerusalem，91904 Jerusalem，Israel，Communicated by Rama Chellapa，Received June 16，1989；accepted May 25，1990
发明内容
技术问题
在常规的单向预测的情况下，即使当可以选择多个参考帧时，必须选择性地使用任意一个参考帧的像素值作为将要编码的帧的像素值。因此，未被选择的参考帧不被用于运动补偿。因此，参考帧和将要编码的帧之间的时间相关性未被充分利用，并且可能在改进编码效率方面存在改进空间。
另外，在常规的双向预测的情况下，两个参考帧的像素值的平均值被用作将要编码的帧的像素值。因此，执行时间低通滤波处理，并且预测图像中丢失了高频分量。结果，由于诸如包括高频分量的残差信号不能被编码，通过解码获得的图像是丢失了高频分量的图像，导致分辨率的退化。
鉴于这种情况做出本发明，并且本发明旨在允许产生高精度的预测图像，而不会增加处理负荷。
问题的解决
根据本发明的一个方面的一种图像处理设备包括运动补偿装置，用于使用由通过对编码图像解码所获得的图像形成的多个帧作为参考帧，并且使用包括在编码图像内的运动矢量，来执行运动补偿，以及用于从不同的参考帧产生与预测图像对应的多个运动补偿图像；第一滤波装置，用于对由运动补偿装置产生的多个运动补偿图像之间的差分图像应用低通滤波；第二滤波装置，用于对第一滤波装置通过应用低通滤波获得的图像应用高通滤波；和预测图像产生装置，用于通过将第一滤波装置通过应用低通滤波获得的图像和第二滤波装置通过应用高通滤波获得的图像添加到由运动补偿装置产生的多个运动补偿图像中的一个上，来产生预测图像。
该图像处理设备还可以包括解码装置，用于使用由该预测图像产生装置产生的预测图像，对编码图像进行解码。
运动补偿装置可以选择超前预测图像一个帧的帧，以及超前预测图像两个帧的帧作为参考帧。
预测图像产生装置可以将第一滤波装置通过应用低通滤波获得的图像和第二滤波装置通过应用高通滤波获得的图像添加到从超前预测图像一个帧的帧中提取的运动补偿图像上。
该图像处理设备还可以包括单向预测装置，用于使用多个运动补偿图像执行单向预测，并且用于产生预测图像；和双向预测装置，用于使用多个运动补偿图像执行双向预测，并且用于产生预测图像，并且预测图像产生装置可以参考包括在编码图像内的标识标签，以便选择：由单向预测装置通过单向预测产生预测图像；由双向预测装置通过双向预测产生预测图像；或通过对多个运动补偿图像之间的差分图像应用低通滤波，通过对通过应用低通滤波获得的图像应用高通滤波，并且通过将通过应用低通滤波获得的图像和通过应用高通滤波获得的图像添加到多个运动补偿图像中的一个上，来产生预测图像。
根据本发明的该方面的图像处理方法包括：运动补偿步骤，使用由通过对编码图像解码所获得的图像形成的多个帧作为参考帧，并且使用包括在编码图像内的运动矢量，执行运动补偿，以及从不同的参考帧产生与预测图像对应的多个运动补偿图像；第一滤波步骤，对在运动补偿步骤中产生的多个运动补偿图像之间的差分图像应用低通滤波；第二滤波步骤，对在第一滤波步骤中通过应用低通滤波获得的图像应用高通滤波；和预测图像产生步骤，通过将在第一滤波步骤中通过应用低通滤波获得的图像和在第二滤波步骤中通过应用高通滤波获得的图像添加到在运动补偿步骤中产生的多个运动补偿图像中的一个上，来产生预测图像。
根据本发明的另一个方面的图像处理设备包括：检测装置，用于基于通过局部解码而获得的图像以及原始图像，来检测运动矢量，其中基于指示将要接受编码的原始图像和预测图像之间的差的残差图像进行所述局部解码；运动补偿装置，用于使用由通过局部解码所获得的图像形成的多个帧作为参考帧，并且使用检测装置检测到的运动矢量，来执行运动补偿，并且用于从不同的参考帧中提取相应于预测图像的多个运动补偿图像；第一滤波装置，用于对由运动补偿装置提取的多个运动补偿图像之间的差分图像应用低通滤波；第二滤波装置，用于对第一滤波装置通过应用低通滤波获得的图像应用高通滤波；和预测图像产生装置，用于通过将第一滤波装置通过应用低通滤波获得的图像和第二滤波装置通过应用高通滤波获得的图像添加到由运动补偿装置提取的多个运动补偿图像中的一个上，来产生预测图像。
该图像处理设备还可以包括编码装置，用于使用由预测图像产生装置产生的预测图像对原始图像进行编码。
该图像处理设备还可以包括控制装置，用于在通过对原始图像编码获得的编码图像中，描述一种标签，该标签标识：通过使用单向预测，产生将被添加到将被解码的图像的预测图像；通过使用双向预测，产生将被添加到将要解码的图像的预测图像；或通过对多个运动补偿图像之间的差分图像应用低通滤波，通过对通过应用低通滤波获得的图像应用高通滤波，并且通过将通过应用低通滤波获得的图像和通过应用高通滤波获得的图像添加到多个运动补偿图像中的一个上，来产生将被添加到将要解码的图像的预测图像。
根据本发明的另一个方面的图像处理方法包括：检测步骤，基于通过局部解码而获得的图像以及原始图像，来检测运动矢量，其中基于指示将要接受编码的原始图像和预测图像之间的差的残差图像进行所述局部解码；运动补偿步骤，使用由通过局部解码获得的图像形成的多个帧作为参考帧，并且使用在检测步骤中检测到的运动矢量，来执行运动补偿，以及从不同的参考帧中提取与预测图像对应的多个运动补偿图像；第一滤波步骤，对在运动补偿步骤中提取的多个运动补偿图像之间的差分图像应用低通滤波；第二滤波步骤，对在第一滤波步骤中通过应用低通滤波获得的图像应用高通滤波；以及预测图像产生步骤，通过将在第一滤波步骤中通过应用低通滤波获得的图像和在第二滤波步骤中通过应用高通滤波获得的图像添加到在运动补偿步骤中提取的多个运动补偿图像中的一个上，来产生预测图像。
在本发明的一个方面，使用由通过对编码图像进行解码获得的图像所形成的多个帧作为参考帧，并且使用包括在编码图像内的运动矢量，来执行运动补偿；从不同的参考帧中产生与预测图像对应的多个运动补偿图像；对产生的多个运动补偿图像之间的差分图像应用低通滤波；对通过应用低通滤波获得的图像应用高通滤波；以及通过将通过应用低通滤波获得的图像和通过应用高通滤波获得的图像添加到多个产生的运动补偿图像中的一个上，来产生预测图像。
在本发明的另一个方面，基于通过局部解码而获得的图像和原始图像，来检测运动矢量，其中基于指示将要接受编码的原始图像和预测图像之间的差的残差图像进行所述局部解码；使用由通过局部解码获得的图像所形成的多个帧作为参考帧，并且使用检测到的运动矢量，来执行运动补偿；从不同的参考帧中提取与预测图像对应的多个运动补偿图像；对多个提取的运动补偿图像之间的差分图像应用低通滤波；对通过应用低通滤波获得的图像应用高通滤波；和通过将通过应用低通滤波获得的图像和通过应用高通滤波获得的图像添加到多个提取的运动补偿图像中的一个上，来产生预测图像。
本发明的有利效果
根据本发明，可以产生高精度的预测图像而不增加处理负荷。
附图说明
图1是示出了单向预测的例子的图；
图2是示出了双向预测的例子的图；
图3是示出了根据本发明的实施例的解码装置的示例配置的框图；
图4是示出了第三预测模式的概念的图；
图5是示出了图3的运动预测/补偿电路的示例配置的框图；
图6是示出了参考帧的例子的图；
图7是示出了参考帧的另一个例子的图；
图8是示出了图5中的滤波电路的示例配置的框图；
图9是描述解码装置的解码处理的流程图；
图10是描述在图9的步骤S9中执行的运动预测/补偿处理的流程图；
图11是示出了编码装置的示例配置的框图；
图12是示出了图11中的模式确定电路的示例配置的框图；
图13是示出了图11中的运动预测/补偿电路的示例配置的框图；
图14是描述编码装置的编码处理的流程图；
图15是描述在图14的步骤S58中执行的模式确定处理的流程图；
图16是描述在图14的步骤S61中执行的运动预测/补偿处理的流程图；
图17是示出了滤波电路的另一个示例配置的框图；
图18是示出了滤波电路的另一个示例配置的框图；
图19是示出了使用三个参考帧的情况的例子的图；
图20是示出了使用三个参考帧的情况的滤波电路的示例配置的框图；
图21是示出了使用以图8中的滤波电路产生的预测图像执行的编码的结果的图；
图22是示出了使用以图8中的滤波电路产生的预测图像执行的编码的另一个结果的图；
图23是示出了个人计算机的示例配置的框图；
图24是示出了应用本发明的电视接收机的主要部分的示例配置的框图；
图25是示出了应用本发明的移动电话的主要部分的示例配置的框图；
图26是示出了应用本发明的硬盘记录器的主要部分的示例配置的框图；和
图27是示出了应用本发明的照相机的主要部分的示例配置的框图。
附图标记
1  解码装置
21  运动预测/补偿电路
41  预测模式确定电路
42  单向预测电路
43  双向预测电路
44  预测电路
45  滤波预测电路
51  差分计算电路
52  低通滤波电路
53  增益调整电路
54  高通滤波电路
55  增益调整电路
56  加法器电路
57  加法器电路
具体实施方式
图3是示出了根据本发明的实施例的解码装置1的示例配置的框图。
以下面描述的编码装置压缩和编码的图像信息经由电缆、网络或可移动介质被输入解码装置1。压缩图像信息是根据例如H.264标准压缩和编码的图像信息。
存储缓冲器11顺序存储作为压缩图像信息输入的比特流。如果需要，存储在存储缓冲器11内的信息可被无损解码电路12以某些单位的图像为单位(诸如构成帧的宏块)来读取。在H.264标准中，取代以16×16像素的宏块为单位，还可以用进一步划分宏块形成的块为单位(诸如8×8像素或4×4像素)执行处理。
无损解码电路12对从存储缓冲器11中读取的图像执行相应于编码方案的解码处理，诸如可变长度解码处理或算术解码处理。无损解码电路12向去量化电路13输出通过进行解码处理获得的量化的变换系数。
另外，无损解码电路12基于包括在将要接受解码的图像的头部内的标识标签，识别该图像是帧内编码图像还是帧间编码图像。在判断将要接受解码的图像是帧内编码图像的情况下，无损解码电路12将存储在图像头部内的帧内预测模式信息输出到帧内预测电路22。帧内预测模式信息包括关于帧内预测的信息，诸如用作处理单位的块的大小。
在判断将要接受解码的图像是帧间编码信息的情况下，无损解码电路12将存储在图像头部内的运动矢量和标识标签输出到运动预测/补偿电路21。使用该标识标签来标识通过帧间预测产生预测图像的预测模式。以例如宏块或帧为单位设置标识标签。
除了图1中的单向预测模式和图2中的双向预测模式之外，提供第三预测模式作为预测模式，第三预测模式用于通过对从位于一个时间方向或双方向上的多个参考帧提取的运动补偿图像应用滤波来产生预测图像。
图4是示出了第三预测模式的概念的图。
在图4的例子中，在时间上超前当前帧(预测帧)一个时间点的帧被设置为参考帧R0，并且超前参考帧R0一个时间点的帧被设置为参考帧R1。在该情况下，根据第三预测模式，从参考帧R0和R1提取的运动补偿图像MC0和MC1被输入滤波电路，并且从滤波电路输出的图像的像素值被设置为所关注的宏块的预测图像的像素值。
此后，如参考图1所述，从位于一个方向上的多个参考帧中提取的运动补偿图像中的一个运动补偿图像的像素值被设置为预测图像的像素值的预测模式被简称为单向预测模式。此外，如参考图2所述，从位于两个方向上的多个参考帧中分别提取的运动补偿图像的像素值的平均值被设置为预测图像的像素值的预测模式被简称为双向预测模式。
通过对从位于一个方向或两个方向上的多个参考帧提取的每个运动补偿图像应用滤波，确定预测图像的像素值的图4所示的第三预测模式被称为滤波预测模式。下面将详细描述滤波预测模式。
退回参考图3，去量化电路13使用对应于在编码侧使用的量化方案的方案，对从无损解码电路12提供的量化的变换系数执行去量化。去量化电路13将通过执行去量化获得的变换系数输出到逆正交变换电路14。
逆正交变换电路14使用对应于在编码侧使用的正交变换方案的方案(诸如离散余弦变换或Karhunen-Loève变换)，对从去量化电路13提供的变换系数执行例如四阶逆正交变换，并且将获得的图像输出到加法器电路15。
加法器电路15组合从逆正交变换电路14提供的解码图像和通过开关23从运动预测/补偿电路21或从帧内预测电路22提供的预测图像，并且将合成图像输出到去块滤波器16。
去块滤波器16去除包括在从加法器电路15提供的图像内的块噪声，并且输出去除了块噪声的图像。从去块滤波器16输出的图像被提供给重排缓冲器17和帧存储器19。
重排缓冲器17临时存储从去块滤波器16提供的图像。重排缓冲器17根据例如所存储的每个宏块的图像产生单独的帧，并且在将它们输出到D/A(数字/模拟)转换器电路18之前以一定顺序(诸如显示顺序)重新排列产生的帧。
D/A转换器电路18对从重排缓冲器17提供的每个帧执行D/A转换，并且将这些帧的信号输出到外部。
帧存储器19临时存储从去块滤波器16提供的图像。存储在帧存储器19内的信息被通过开关20提供给运动预测/补偿电路21或帧内预测电路22。
开关20在通过帧间预测产生预测图像的情况下连接到端子a1，并且在通过帧内预测产生预测图像的情况下连接到端子b1。由例如控制电路31控制开关20的切换。
运动预测/补偿电路21根据从无损解码电路12提供的标识标签确定预测模式，并且根据该预测模式，从存储在帧存储器19内的已被解码的帧中选择将被用作参考帧的帧。运动预测/补偿电路21基于从无损解码电路12提供的运动矢量，从构成参考帧的宏块中确定对应于所关注的预测图像的宏块，并且提取所确定的宏块作为运动补偿图像。运动预测/补偿电路21根据预测模式从运动补偿图像的像素值确定预测图像的像素值，并且通过开关23将已经确定了像素值的预测图像输出到加法器电路15。
帧内预测电路22根据从无损解码电路12提供的帧内预测模式信息执行帧内预测，并且产生预测图像。帧内预测电路22通过开关23将产生的预测图像输出到加法器电路15。
开关23在由运动预测/补偿电路21产生预测图像的情况下被连接到端子a2，并且在由帧内预测电路22产生预测图像的情况下被连接到端子b2。由例如控制电路31控制开关23的切换。
控制电路31通过例如切换开关20和23的连接，控制解码装置1的整体操作。控制电路31可以识别将要接受处理的图像是帧内编码图像还是帧间编码图像。
图5是示出了图3中的运动预测/补偿电路21的示例配置的框图。
如图5所示，运动预测/补偿电路21由预测模式确定电路41、单向预测电路42、双向预测电路43、预测电路44和滤波电路45构成。从无损解码电路12提供的运动矢量和标识标签被输入预测模式确定电路41。
预测模式确定电路41根据从无损解码电路12提供的标识标签确定预测模式。预测模式确定电路41在确定将要通过单向预测产生预测图像的情况下，将运动矢量输出到单向预测电路42，并且在确定将要通过双向预测产生预测图像的情况下，将运动矢量输出到双向预测电路43。另外，在确定将要通过滤波预测产生预测图像的情况下，预测模式确定电路41将运动矢量输出到预测电路44。
以这种方式，使得可以将不同于常规H.264标准中定义的表示单向预测的值和表示双向预测的值的值设置为标识标签的值，以便允许标识滤波预测。注意，取代根据标识标签确定，可以使用事先确定的方法确定预测模式，以便减少信息数量。
如图1所示，单向预测电路42将位于一个时间方向上的多个帧设置为参考帧，并且基于运动矢量确定参考帧中对应于预测图像的宏块。另外，单向预测电路42通过从帧存储器19中读取参考帧中每个确定的宏块作为运动补偿图像，并且通过将运动补偿图像之一的像素值设置为预测图像的像素值，来产生预测图像。单向预测电路42将预测图像输出到加法器电路15。例如，使用H.264标准中定义的单向预测作为由单向预测电路42执行的单向预测。
如图2所示，双向预测电路43将位于两个时间方向上的多个帧设置为参考帧，并且基于运动矢量确定参考帧中对应于预测图像的宏块。另外，双向预测电路43通过从帧存储器19中读取参考帧中每个确定的宏块作为运动补偿图像，并且通过将读取的运动补偿图像的像素值的平均设置为预测图像的像素值，来产生预测图像。双向预测电路43将预测图像输出到加法器电路15。例如，使用H.264标准中定义的双向预测作为由双向预测电路43执行的双向预测。
预测电路44将位于一个时间方向或两个时间方向上的多个帧确定为参考帧。被用作参考帧的帧可被事先确定，或可被从编码侧传输的信息以及标识标签指定。
图6示出了参考帧的例子的图。
在图6的例子中，类似于参考图4的描述，分别超前预测帧一个时间点和两个时间点的两个帧被设置为参考帧。在这两个参考帧中，更靠近预测帧的超前一个时间点的帧被设置为参考帧R0，并且超前参考帧R0一个时间点的帧被设置为参考帧R1。
图7是示出了参考帧的另一个例子的图。
在图7的例子中，在时间上超前预测帧的时间点一个时间点和落后一个时间点的两个帧被设置为参考帧。在这两个参考帧中，超前预测帧一个时间点的帧被设置为参考帧L0，并且落后预测帧一个时间点的帧被设置为参考帧L1。
以这种方式，在滤波预测中，位于一个时间方向上的多个帧或位于两个时间方向上的多个帧被用作参考帧。
另外，预测电路44基于从预测模式确定电路41提供的运动矢量，确定以图6或7所示方式确定的参考帧中的已经解码的宏块中对应于预测图像的宏块。
预测电路44从帧存储器19中读取参考帧中每个确定的宏块作为运动补偿图像，并且将读取的运动补偿图像输出到滤波电路45。取代以诸如16×16像素的宏块为单位，可以用进一步划分宏块获得的块为单位执行运动矢量。例如，每个宏块的图像被输入滤波电路45。在图5中，从预测电路44指向滤波电路45的两个箭头的表示指示提供两个运动补偿图像。
滤波电路45接收从预测电路44提供的运动补偿图像作为输入，执行滤波，并且将通过执行滤波获得的预测图像输出到加法器电路15。
图8是示出了滤波电路45的示例配置的框图。在具有图8的配置的滤波电路45中，对时域中的信号执行滤波。
如图8所示，滤波电路45由差分计算电路51、低通滤波电路52、增益调整电路53、高通滤波电路54、增益调整电路55、加法器电路56和加法器电路57构成。从预测电路44提供的运动补偿图像MC0被输入差分计算电路51和加法器电路57，并且运动补偿图像MC1被输入差分计算电路51。
在如图6所示的情况下，通过单向预测产生预测图像，例如，从被认为与预测图像具有更高相关性的参考帧R0提取的图像被设置为运动补偿图像MC0，并且从参考帧R1提取的图像被设置为运动补偿图像MC1。从参考帧R0提取的图像可被设置为运动补偿图像MC1，并且从参考帧R1提取的图像可被设置为运动补偿图像MC0。
相反，在如图7所示的情况下，通过双向预测产生预测图像，例如，从超前一个时间点的参考帧L0提取的图像被设置为运动补偿图像MC0，并且从落后一个时间点的参考帧L1提取的图像被设置为运动补偿图像MC1。从参考帧L0提取的图像可被设置为运动补偿图像MC1，并且从参考帧L1提取的图像可被设置为运动补偿图像MC0。
差分计算电路51计算运动补偿图像MC0和运动补偿图像MC1之间的差分，并且将差分图像输出到低通滤波电路52。由下面的等式(3)表示差分图像D。
[等式3]
D(i，j)＝MC0(i，j)-MC1(i，j)…(3)
在等式(3)中，(i，j)表示运动补偿图像中的像素的相对位置，并且在以16×16像素的宏块为单位执行处理的情况下，满足0≤i≤16和0≤j≤16。假设相同情况适用于下面的描述。
低通滤波电路52具有FIR滤波电路。低通滤波电路52对从差分计算电路51提供的差分图像D应用低通滤波，并且将获得的图像输出到增益调整电路53和高通滤波电路54。通过应用低通滤波获得的差分图像D′被以下面的等式(4)表示。在等式(4)中，LPF(X)表示使用二维FIR滤波器对输入图像X应用低通滤波。
[等式4]
D′＝LPF(D)    …(4)
增益调整电路53调整从低通滤波电路52提供的差分图像D′的增益，并且将增益已被调整的图像输出到加法器电路56。增益调整电路53的输出图像X(i，j)被以下面的等式(5)表示。
[等式5]
X(i，j)＝αD′(i，j)    …(5)
高通滤波电路54具有FIR滤波电路。高通滤波电路54对从低通滤波电路52提供的差分图像D′应用高通滤波，并且将获得的图像输出到增益调整电路55。作为通过应用高通滤波获得的图像的差分图像D”被以下面的等式(6)表示。在等式(6)中，HPF(X)表示使用二维FIR滤波器对输入图像X应用高通滤波。
[等式6]
D″＝HPF(D′)    …(6)
增益调整电路55调整从高通滤波电路54提供的差分图像D”的增益，并且将增益已被调整的图像输出到加法器电路56。增益调整电路55的输出图像Y(i，j)被以下面的等式(7)表示。
[等式7]
Y(i，j)＝βD″(i，j)    …(7)
关于等式(5)中的α的值和等式(7)中的β的值，例如，选择诸如α＝0.8和β＝0.2的值。然而，可以使用其它值，以便增加预测像素的精度。另外，可以根据输入序列的属性等适应性地改变这些值。
加法器电路56对增益已被调整的图像X(i，j)和图像Y(i，j)进行相加，并且输出通过相加获得的图像。加法器电路56的输出图像Z(i，j)被以下面的等式(8)表示。
[等式8]
Z(i，j)＝X(i，j)+Y(i，j)        …(8)
输出图像Z(i，j)是图像的高频分量(能够通过差分确定)的表示，即运动补偿图像MC0和运动补偿图像MC1之间的相关性。
加法器电路57把加法器电路56提供的输出图像Z(i，j)与运动补偿图像MC0相加，并且把所获得的图像作为预测图像输出到加法器电路15。加法器电路57的最终输出(即预测图像S(i，j))由等式(9)表示如下。
[等式9]
S(i，j)＝MC0(i，j)+Z(i，j)    …(9)
以这种方式，根据滤波预测模式，产生通过将表示高频分量的图像添加到运动补偿图像MC0获得的图像作为预测图像。与在简单地执行双向预测的情况下获得的预测图像相比，这种预测图像包括更多高频分量。如上所述，由于将多个运动补偿图像的像素值的平均值确定为像素值，通过执行双向预测产生的预测图像可能是丢失了高频分量的图像。
另外，由于在加法器电路15中把包括大量高频分量的预测图像与解码图像相加，最终从解码装置1输出的图像也是包括大量高频分量的高清晰度图像。
另外，与简单地执行单向预测的情况相比，可以通过更有效地利用图像的时间相关性产生预测图像。如上所述，由于使用多个运动补偿图像中的一个运动补偿图像的像素值，所以不能说通过单向预测产生的预测图像是充分利用图像的时间相关性产生的预测图像。
此处，将描述具有上面配置的解码装置1的处理。
首先，将参考图9的流程图描述解码装置1的解码处理。
当例如无损解码电路12从存储在存储缓冲器11内的信息中读取一定大小的图像(诸如16×16像素的宏块)时，图9的处理开始。如果必要，图9的每个步骤的处理被与另一个步骤的处理并行执行，或通过重新排列这些步骤来执行图9的每个步骤的处理。这同样适用于下面描述的每个流程图中的每个步骤的处理。
在步骤S1，无损解码电路12对从存储缓冲器11读取的图像执行解码处理，并且将量化的变换系数输出到去量化电路13。另外，无损解码电路12在将要接受解码的图像是帧内编码图像的情况下，将帧内预测模式信息输出到帧内预测电路22，并且在该图像是帧间编码图像的情况下，将运动矢量和标识标签输出到运动预测/补偿电路21。
在步骤S2，去量化电路13使用与在编码侧使用的量化方案对应的方案执行去量化，并且将变换系数输出到逆正交变换电路14。
在步骤S3，逆正交变换电路14对从去量化电路13提供的变换系数执行逆正交变换，并且将获得的图像输出到加法器电路15。
在步骤S4，加法器电路15组合从逆正交变换电路14提供的解码图像和从运动预测/补偿电路21或帧内预测电路22提供的预测图像，并且将合成图像输出到去块滤波器16。
在步骤S5，去块滤波器16执行滤波，以便去除包括在合成图像内的块噪声，并且输出已经去除了块噪声的图像。
在步骤S6，帧存储器19临时存储从去块滤波器16提供的图像。
在步骤S7，控制电路31确定所关注的图像是否是帧内编码图像。
当在步骤S7确定该图像是帧内编码图像的情况下，则在步骤S8，帧内预测电路22通过执行帧内预测产生预测图像，并且将产生的预测图像输出到加法器电路15。
相反，当在步骤S7确定该图像不是帧内编码图像(即，是帧间编码图像)的情况下，则在步骤S9，运动预测/补偿电路21执行运动预测/补偿处理。通过执行运动预测/补偿处理产生的预测图像被输出到加法器电路15。下面将参考图10的流程图描述运动预测/补偿处理。
在步骤S10，控制电路31确定是否已对一个完整帧内的宏块执行了前面的处理。在确定该处理尚未被执行的情况下，对另一个宏块重复执行从步骤S1开始的处理。
相反，当在步骤S10确定已经对一个完整帧内的宏块都执行了该处理的情况下，则在步骤S11，重排缓冲器17根据控制电路31的控制将产生的帧输出到D/A转换器电路18。
在步骤S12，D/A转换器电路18对从重排缓冲器17提供的帧执行D/A转换，并且将模拟信号输出到外部。在各个帧上执行前述处理。
接着，将参考图10的流程图描述在图9的步骤S9中执行的运动预测/补偿处理。
在步骤S21，运动预测/补偿电路21的预测模式确定电路41确定从无损解码电路12提供的标识标签是否指示将在滤波预测模式中执行处理。
当在步骤S21中确定标识标签不指示在滤波预测模式中执行处理的情况下，则在步骤S22中，执行单向预测或双向预测，并且产生预测图像。
即，在标识标签指示将在单向预测模式中执行处理的情况下，运动矢量被从预测模式确定电路41提供到单向预测电路42，并且单向预测电路42执行单向预测。另外，在标识标签指示将在双向预测模式中执行处理的情况下，运动矢量被从预测模式确定电路41提供到双向预测电路43，并且双向预测电路43执行双向预测。在预测图像被输出到加法器电路15之后，处理返回图9的步骤S9，并且执行随后的处理。
相反，当在步骤S21确定标识标签指示将在滤波预测模式中执行处理的情况下，则在步骤S23，预测电路44从多个参考帧的每一个提取运动补偿图像，并且将运动补偿图像输出到滤波电路45。运动矢量被从预测模式确定电路41提供到预测电路44，并且使用该运动矢量提取运动补偿图像。
在步骤S24，滤波电路45的差分计算电路51计算运动补偿图像MC0和运动补偿图像MC1之间的差分，并且将差分图像输出到低通滤波电路52。
在步骤S25，低通滤波电路52对从差分计算电路51提供的差分图像应用低通滤波，并且将获得的图像输出到增益调整电路53和高通滤波电路54。
在步骤S26，增益调整电路53调整从低通滤波电路52提供的图像的增益，并且将增益已被调整的图像输出到加法器电路56。
在步骤S27，高通滤波电路54对从低通滤波电路52提供的差分图像应用高通滤波，并且将获得的图像输出到增益调整电路55。
在步骤S28，增益调整电路55调整从高通滤波电路54提供的差分图像的增益，并且将增益已被调整的图像输出到加法器电路56。
在步骤S29，加法器电路56将从增益调整电路53提供的图像和从增益调整电路55提供的图像相加，并且确定图像的高频分量。确定的高频分量被从加法器电路56提供给加法器电路57。
在步骤S30，加法器电路57将从加法器电路56提供的图像(高频分量)添加到运动补偿图像MC0，并且将获得的图像作为预测图像输出到加法器电路15。此后，处理返回图9的步骤S9，并且执行后续处理。
如上所述，使用通过滤波预测产生的预测图像执行解码，因此使得可以获得高清晰度的解码图像。
接着，将描述编码侧上的装置的配置和操作。
图11是示出了编码装置101的示例配置的框图。通过编码装置101进行编码而获得的压缩图像信息被输入图3中的解码装置1。
A/D转换器电路111对输入信号执行A/D转换并且将图像输出到重排缓冲器112。
重排缓冲器112根据压缩图像信息的GOP(图片组)结构重排帧，并且输出一定单位的图像(诸如宏块)。从重排缓冲器112输出的图像被提供给加法器电路113、模式确定电路123、运动预测/补偿电路125和帧内预测电路126。
加法器电路113确定从重排缓冲器112提供的图像和由运动预测/补偿电路125或帧内预测电路126产生并且通过开关127提供的预测图像之间的差，并且将残差输出到正交变换电路114。预测图像越接近原始图像，并且确定的残差越小，将要分配给残差的代码数量越小，并且因此编码效率可以越高。
正交变换电路114对从加法器电路113提供的残差执行正交变换，诸如离散余弦变换或Karhunen-Loève变换，并且将通过执行正交变换获得的变换系数输出到量化电路115。
量化电路115根据速率控制电路118的控制量化从正交变换电路114提供的变换系数，并且输出量化的变换系数。由量化电路115量化的变换系数被提供给无损编码电路116和去量化电路119。
无损编码电路116通过执行无损编码(诸如变长编码或算术编码)来压缩从量化电路115提供的变换系数，并且将信息输出到存储缓冲器117。
另外，无损编码电路116根据从模式确定电路123提供的信息设置标识标签的值，并且在图像的头部内描述该标识标签。如上所述，解码装置1基于由无损编码电路116描述的标识标签确定预测模式。
无损编码电路116还在图像的头部中描述从运动预测/补偿电路125或帧内预测电路126提供的信息。当执行帧间预测时检测到的运动矢量等被从运动预测/补偿电路125提供，并且关于应用的帧内预测模式的信息被从帧内预测电路126提供。
存储缓冲器117临时存储从无损编码电路116提供的信息，并且在某个定时将其作为压缩图像信息输出。存储缓冲器117将关于产生的代码数量的信息输出到速率控制电路118。
速率控制电路118基于从存储缓冲器117输出的代码数量计算量化比例，并且控制量化电路115，从而可以用计算的量化比例执行量化。
去量化电路119对以量化电路115量化的变换系数执行去量化，并且将该变换系数输出到逆正交变换电路120。
逆正交变换电路120对从去量化电路119提供的变换系数执行逆正交变换，并且将获得的图像输出到去块滤波器121。
去块滤波器121去除出现在局部解码图像内的块噪声，并且将去除了块噪声的图像输出到帧存储器122。
帧存储器122存储从去块滤波器121提供的图像。如果必要，由模式确定电路123读取存储在帧存储器122内的图像。
模式确定电路123基于存储在帧存储器122内的图像和从重排缓冲器112提供的原始图像，确定将要执行帧内编码还是帧间编码。另外，在确定将要执行帧间编码的情况下，模式确定电路123确定单向预测模式、双向预测模式和滤波预测模式中的一个模式。模式确定电路123将指示确定结果的信息作为模式信息输出到无损编码电路116。
在确定将要执行帧间编码的情况下，模式确定电路123通过开关124将存储在帧存储器122内并且通过局部解码获得的帧输出到运动预测/补偿电路125。
另外，在确定将要执行帧内编码的情况下，模式确定电路123将存储在帧存储器122内并且通过局部解码获得的帧输出到帧内预测电路126。
开关124在将要执行帧间编码的情况下连接到端子a11，并且在将要执行帧内编码的情况下连接到端子b11。由例如控制电路131控制开关124的切换。
运动预测/补偿电路125基于从重排缓冲器112提供的原始图像和从帧存储器122读取的参考帧检测运动矢量，并且将检测到的运动矢量输出到无损编码电路116。另外，运动预测/补偿电路125通过使用检测到的运动矢量和参考帧执行运动补偿来产生预测图像，并且通过开关127将产生的预测图像输出到加法器电路113。
帧内预测电路126基于从重排缓冲器112提供的原始图像和局部解码并且存储在帧存储器122内的参考帧执行帧内预测，并且产生预测图像。帧内预测电路126通过开关127将产生的预测图像输出到加法器电路113，并且将帧内预测模式信息输出到无损编码电路116。
开关127连接到端子a12或端子b12，并且将运动预测/补偿电路125或帧内预测电路126产生的预测图像输出到加法器电路113。
控制电路131通过例如根据模式确定电路123确定的模式切换开关124和127的连接，来控制编码装置101的整体操作。
图12是示出了图11中的模式确定电路123的示例配置的框图。
如图12所示，模式确定电路123由帧内预测电路141、帧间预测电路142、预测误差计算电路143和确定电路144构成。在模式确定电路123中，对各自具有不同大小的块执行帧内预测或帧间预测，并且根据获得的结果确定以哪种预测模式执行预测。对于帧间预测，以预测模式(即，单向预测模式、双向预测模式和滤波预测模式)的每一种执行处理。从重排缓冲器112提供的原始图像被输入帧内预测电路141、帧间预测电路142和预测误差计算电路143。
帧内预测电路141基于原始图像和从帧存储器122读取的图像，以具有不同大小的块为单位执行帧内预测，并且将产生的预测图像输出到预测误差计算电路143。4×4预测电路151-1以4×4像素块为单位执行帧内预测，并且8×8预测电路151-2以8×8像素块为单位执行帧内预测。16×16预测电路151-3以16×16像素块为单位执行帧内预测。
帧间预测电路142中的预测电路161基于原始图像和从帧存储器122读取的参考帧，以各自具有不同大小的块为单位检测运动矢量。另外，预测电路161基于检测到的运动矢量执行运动补偿，并且输出用于产生预测图像的运动补偿图像。
在16×16预测电路161-1中，对每个块为16×16像素的图像执行处理，并且在16×8预测电路161-2中，对每个块为16×8像素的图像执行处理。另外，在4×4预测电路161-(n-1)中，对每个块为4×4像素的图像执行处理。在跳跃/直接预测电路161-n中，以跳跃预测模式或直接预测模式检测运动矢量，并且使用检测到的运动矢量执行运动补偿。
从相对于当前帧单方向定位的多个参考帧中提取的运动补偿图像被从预测电路161中的相应电路提供给单向预测电路162。从相对于当前帧双方向定位的多个参考帧中提取的运动补偿图像被从预测电路161中的相应电路提供给双向预测电路163。
如上所述，在将要使用从单方向定位的多个参考帧中提取的运动补偿图像执行滤波预测的情况下，从单方向定位的参考帧中提取的运动补偿图像被从预测电路161中的相应电路提供给滤波电路164。在使用从双方向定位的多个参考帧中提取的运动补偿图像执行滤波预测的情况下，从双方向定位的参考帧中提取的运动补偿图像被从预测电路161中的相应电路提供给滤波电路164。
单向预测电路162通过使用从预测电路161中的相应电路提供的具有不同大小的运动补偿图像中的每一个执行单向预测，来产生预测图像，并且将产生的预测图像输出到预测误差计算电路143。例如，单向预测电路162通过使用从预测电路161-1提供的具有16×16像素的多个运动补偿图像中的一个图像的像素值作为预测图像的像素值，来产生预测图像。
双向预测电路163通过使用从预测电路161中的相应电路提供的具有不同大小的运动补偿图像中的每一个执行双向预测，来产生预测图像，并且将产生的预测图像输出到预测误差计算电路143。例如，双向预测电路163通过使用从预测电路161-1提供的具有16×16像素的多个运动补偿图像的像素值的平均值作为预测图像的像素值，来产生预测图像。
滤波电路164通过使用从预测电路161中的相应电路提供的具有不同大小的运动补偿图像中的每一个执行滤波预测，产生预测图像，并且将产生的预测图像输出到预测误差计算电路143。滤波电路164具有与图8所示的配置相同的配置，以便相应于解码装置1的滤波电路45。
例如，在为从预测电路161-1提供的各自具有16＊16像素的运动补偿图像MC0和MC1产生预测图像的情况下，滤波电路164确定运动补偿图像MC0和MC1之间的差分，并且对确定的差分图像应用低通滤波。另外，滤波电路164对低通滤波的输出应用高通滤波，并且把高通滤波的输出的增益已被调整的图像和低通滤波的输出的增益已被调整的图像相加。滤波电路164通过将表示高频分量的、作为相加结果获得的图像与运动补偿图像MC0相加产生预测图像，并且将产生的预测图像输出到预测误差计算电路143。
预测误差计算电路143确定从帧内预测电路141中的相应电路提供的每个预测图像和原始图像之间的差，并且将表示确定的差的残差信号输出到确定电路144。另外，预测误差计算电路143确定从帧间预测电路142中的单向预测电路162、双向预测电路163和滤波电路164提供的预测图像的每一个和原始图像之间的差，并且将表示确定的差的残差信号输出到确定电路144。
确定电路144测量从预测误差计算电路143提供的残差信号的强度，并且确定用于产生与原始图像具有小差异的预测图像的预测方法作为产生将要用于编码的预测图像的预测方法。确定电路144将表示确定结果的输出信息作为模式信息输出到无损编码电路116。该模式信息还包括表示将被用作处理单位的块的大小等信息。
另外，在确定将要通过帧间预测产生预测图像的情况下(在确定将要执行帧间编码的情况下)，确定电路144将从帧存储器122读取的参考帧连同模式信息一起输出到运动预测/补偿电路125。在确定将要通过帧内预测产生预测图像的情况下(在确定将要执行帧内编码的情况下)，确定电路144将从帧存储器122读取的、用于帧内预测的图像连同模式信息一起输出到帧内预测电路126。
图13是示出了图11中的运动预测/补偿电路125的示例配置的框图。
如图13所示，运动预测/补偿电路125由运动矢量检测电路181、单向预测电路182、双向预测电路183、预测电路184和滤波电路185构成。除了取代预测模式确定电路41而提供了运动矢量检测电路181之外，运动预测/补偿电路125具有类似于图5所示的运动预测/补偿电路21的配置。
运动矢量检测电路181通过基于从重排缓冲器112提供的原始图像和从模式确定电路123提供的参考帧执行块匹配等来检测运动矢量。运动矢量检测电路181参考从模式确定电路123提供的模式信息，并且将运动矢量连同参考帧一起输出到单向预测电路182、双向预测电路183和预测电路184中的一个。
在已经选择将要执行单向预测的情况下，运动矢量检测电路181将运动矢量连同参考帧一起输出到单向预测电路182，并且在已经选择将要执行双向预测的情况下，将这些信息输出到双向预测电路183。在已经选择将要执行滤波预测的情况下，运动矢量检测电路181将运动矢量连同参考帧一起输出到预测电路184。
类似于图5中的单向预测电路42，单向预测电路182通过执行单向预测产生预测图像。单向预测电路182将产生的预测图像输出到加法器电路113。
类似于图5中的双向预测电路43，双向预测电路183通过执行双向预测产生预测图像。双向预测电路183将产生的预测图像输出到加法器电路113。
类似于图5中的预测电路44，预测电路184从多个参考帧(诸如两个参考帧)中的每一个提取运动补偿图像，并且将多个提取的运动补偿图像输出到滤波电路185。
类似于图5中的滤波电路45，滤波电路185通过执行滤波预测产生预测图像。滤波电路185将产生的预测图像输出到加法器电路113。注意，滤波电路185具有与图8所示的滤波电路45的配置类似的配置。此后，如果必要，将参考滤波电路45的配置描述滤波电路185的配置。
通过滤波预测产生的预测图像可以是比通过单向预测和双向预测产生的预测图像包括更多高频分量、并且与原始图像具有小的差异的图像。因此，仅仅需要分配给残差少量代码，因此使得可以增加编码效率。
另外，由于可以使用至少两个参考帧执行滤波预测，使得可以获得编码效率的增加，而不会增加处理复杂性。通过例如增加用于帧间预测的参考帧的数目，以便产生高精度的预测图像，并且通过使用该预测图像，可以减小与原始图像之间的残差，并且可以增加编码效率。然而在该情况下，增加了使用的参考帧的数目，并且增加了处理的复杂性。
注意，在选择预测方法的场合，可以通过考虑信息(诸如预测所需的运动矢量)的代码数量以及编码模式，并且通过给残差信号的强度增加相应于代码数量的权重，来选择最优预测方法。这使得可以进一步改进编码效率。另外，为了简化编码处理，可以使用输入原始图像在时间和空间方向上的特征值，自适应地选择预测方法。
接着，将描述具有上述配置的编码装置101的处理。
将参考图14的流程图描述编码装置101的编码处理。当从重排缓冲器112输出一定单位的图像(诸如宏块)时，这个处理开始。
在步骤S51，加法器电路113确定从重排缓冲器112提供的图像和由运动预测/补偿电路125或帧内预测电路126产生的预测图像之间的差，并且将该残差输出到正交变换电路114。
在步骤S52，正交变换电路114对从加法器电路113提供的残差执行正交变换，并且将变换系数输出到量化电路115。
在步骤S53，量化电路115量化从正交变换电路114提供的变换系数，并且输出量化的变换系数。
在步骤S54，去量化电路119对由量化电路115量化的变换系数执行去量化，并且将变换系数输出到逆正交变换电路120。
在步骤S55，逆正交变换电路120对从去量化电路119提供的变换系数执行逆正交变换，并且将获得的图像输出到去块滤波器121。
在步骤S56，去块滤波器121通过执行滤波去除块噪声，并且将去除了块噪声的图像输出到帧存储器122。
在步骤S57，帧存储器122存储从去块滤波器121提供的图像。
在步骤S58，模式确定电路123执行模式确定处理。采用模式确定处理，确定用于产生预测图像的预测模式。下面参考图15的流程图描述模式确定处理。
在步骤S59，控制电路131基于模式确定电路123的确定，确定是否将要执行帧内预测。
当在步骤S59确定将要执行帧内预测的情况下，则在步骤S60，帧内预测电路126执行帧内预测，并且将预测图像输出到加法器电路113。
相反，当在步骤S59确定不执行帧内预测(即，将要执行帧间预测)的情况下，则在步骤S61，由运动预测/补偿电路125执行运动预测/补偿处理，并且预测图像被输出到加法器电路113。下面将参考图16的流程图描述运动预测/补偿处理。
在步骤S62，无损编码电路116压缩从量化电路115提供的变换系数，并且将其输出到存储缓冲器117。另外，无损编码电路116根据从模式确定电路123提供的信息，在图像头部中描述标识标签，或在图像头部中描述从运动预测/补偿电路125提供的运动矢量。
在步骤S63，存储缓冲器117临时存储从无损编码电路116提供的信息。
在步骤S64，控制电路31确定是否已经对一个完整帧内的宏块执行了上述处理。在确定该处理尚未被执行的情况下，对另一个宏块重复执行从步骤S51起的处理。
相反，当在步骤S64确定已经对一个完整帧内的宏块执行了该处理的情况下，则在步骤S65，存储缓冲器117根据控制电路131的控制输出压缩的图像信息。对每一帧执行上述处理。
接着，将参考图15的流程图描述在图14的步骤S58中执行的模式确定处理。
在步骤S81，帧内预测电路141和帧间预测电路142分别对具有不同尺寸的块执行帧内预测和帧间预测，并且产生预测图像。产生的预测图像被提供给预测误差计算电路143。
在步骤S82，预测误差计算电路143确定原始图像和从帧内预测电路141中的相应电路以及帧间预测电路142的单向预测电路162、双向预测电路163和滤波电路164提供的每个预测图像之间的差。预测误差计算电路143将残差信号输出到确定电路144。
在步骤S83，确定电路144基于从预测误差计算电路143提供的残差信号的强度，确定用于产生将要提供给加法器电路113的预测图像的预测方法。
在步骤S84，确定电路144将模式信息输出到无损编码电路116，所述模式信息是关于确定的预测方法的信息。此后，处理返回图14的步骤S58，并且执行后续处理。
接着，将参考图16的流程图描述在图14的步骤S61中执行的运动预测/补偿处理。
在步骤S91，运动矢量检测电路181基于原始图像和参考帧检测运动矢量。
在步骤S92，运动矢量检测电路181确定模式确定电路123是否已经确定将要在滤波预测模式中执行处理。
当在步骤S92中确定尚未确定将在滤波预测模式中执行处理的情况下，则在步骤S93，执行单向预测或双向预测，并且产生预测图像。
即，在已经确定将要在单向预测模式中执行处理的情况下，运动矢量被从运动矢量检测电路181提供给单向预测电路182，并且由单向预测电路182执行单向预测。另外，在已经确定将要在双向预测模式中执行这些处理的情况下，运动矢量被从运动矢量检测电路181提供给双向预测电路183，并且由双向预测电路183执行双向预测。在预测图像已被输出到加法器电路113之后，处理返回图14的步骤S61，并且执行后续处理。
相反，当在步骤S92确定已经确定将要在滤波预测模式中执行处理的情况下，则在步骤S94，预测电路184从多个参考帧中的每一个中提取运动补偿图像，并且将运动补偿图像输出到滤波电路185。运动矢量被从运动矢量检测电路181提供给预测电路184，并且使用这些运动矢量提取运动补偿图像。
在步骤S95，滤波电路185的差分计算电路51(图8)计算运动补偿图像MC0和运动补偿图像MC1之间的差分，并且将差分图像输出到低通滤波电路52。
在步骤S96，滤波电路185的低通滤波电路52对从差分计算电路51提供的差分图像应用低通滤波，并且将获得的图像输出到增益调整电路53和高通滤波电路54。
在步骤S97，滤波电路185的增益调整电路53调整从低通滤波电路52提供的差分图像的增益，并且将增益已被调整的图像输出到加法器电路56。
在步骤S98，滤波电路185的高通滤波电路54对从低通滤波电路52提供的差分图像应用高通滤波，并且将获得的图像输出到增益调整电路55。
在步骤S99，滤波电路185的增益调整电路55调整从高通滤波电路54提供的图像的增益，并且将增益已被调整的图像输出到加法器电路56。
在步骤S100，滤波电路185的加法器电路56把从增益调整电路53提供的图像和从增益调整电路55提供的图像相加，以便确定高频分量。确定的高频分量被从加法器电路56提供给加法器电路57。
在步骤S101，滤波电路185的加法器电路57将从加法器电路56提供的图像(高频分量)添加到运动补偿图像MC0上，并且将获得的图像作为预测图像输出到加法器电路113。此后，处理返回图14的步骤S61，并且执行后续处理。
如上所述，使用通过滤波预测产生的预测图像执行编码，从而使得可以增加编码效率。
在上文中，滤波电路45和185被配置为具有图8所示的配置。然而，如果需要，可以改变这种配置。
图17是示出了滤波电路45的另一种示例配置的框图。给相应于图8所示的配置元件的配置元件分配相同的数字。将适当忽略冗余描述。
图17中的差分计算电路51计算运动补偿图像MC0和运动补偿图像MC1之间的差分，并且将差分图像输出到低通滤波电路52。
低通滤波电路52对从差分计算电路51提供的差分图像应用低通滤波，并且将获得的图像输出到加法器电路57。
加法器电路57将从低通滤波电路52提供的图像添加到运动补偿图像MC0，并且输出获得的图像作为预测图像。
采用图17所示的配置，与使用图8的配置的情况相比，可减少处理量，并且可以实现高速操作。
图18是示出了滤波电路45的另一个示例配置的框图。给相应于图8所示的配置元件的配置元件分配相同的数字。将适当忽略冗余描述。
在图18的滤波电路45中，不是对时域中的信号而是对频域中的信号执行滤波。图8和图17所示的两个滤波电路45都被配置为对时域中的信号执行滤波。
图18中的差分计算电路51计算运动补偿图像MC0和运动补偿图像MC1之间的差分，并且将差分图像输出到正交变换电路201。
正交变换电路201对该差分图像执行以DCT(离散余弦变换)和Hadamard变换、KLT(Karhunen Loeve变换)为代表的正交变换，并且将正交变换之后获得的信号输出到带通滤波电路202。与对时域中的信号执行滤波的情况相比，对频域中的信号执行正交变换和执行滤波使得可以更灵活地执行高精度滤波处理。
在使用DCT作为正交变换的情况下，正交变换之后获得的输出DF被以下面的等式(10)表示。在等式(10)中，DCT(X)表示对信号X执行二维DCT处理。
[等式10]
DF＝DCT(D)            …(10)
带通滤波电路202对正交变换电路201的输出执行滤波，并且输出某个频带内的信号。
增益调整电路203通过将带通滤波电路202的输出乘以α来调整其增益，并且还执行频率分量调整。增益调整电路203的输出XF被以下面的等式(11)表示。在等式(11)，BPF(X)表示对信号X执行带通滤波处理。
[等式11]
XF＝α·BPF(DF)        …(11)
逆正交变换电路204使用与正交变换电路201执行的正交变换对应的方案执行逆正交变换，并且将从增益调整电路203提供的频域信号变换为时域信号。例如，在正交变换电路201使用DCT作为正交变换的情况下，逆正交变换电路204执行IDCT。逆正交变换电路204的输出X被以下面的等式(12)表示。在等式(12)中，IDCT(X)表示对信号X执行二维IDCT处理。
[等式12]
X＝IDCT(XF)            …(12)
加法器电路57将从逆正交变换电路204提供的信号X添加到时域中的运动补偿图像MC0，并且将获得的图像作为预测图像输出。加法器电路57的最终输出(即，预测图像S(i，j))被以下面的等式(13)表示。
[等式13]
S(i，j)＝MC0(i，j)+X(i，j)        …(13)
以这种方式，即使对频域中的信号执行滤波，也可以产生高精度的预测图像。
另外，在上文中，假设使用两个参考帧执行滤波预测。然而，可以使用更大数目的帧作为参考帧。
图19是示出了使用三个参考帧的情况的例子的图。
在图19的例子中，在时间上分别超前预测帧一个时间点、两个时间点和三个时间点的三个帧被设置为参考帧。更靠近预测帧的超前一个时间点的帧被设置为参考帧R0，超前参考帧R0一个时间点的帧被设置为参考帧R1，并且超前参考帧R1一个时间点的帧被设置为参考帧R2。
图20是示出了使用三个参考帧的情况的滤波电路的示例配置的框图。
如图20所示，滤波电路211由滤波电路221和滤波电路222构成。滤波电路221和滤波电路222中的每一个具有图8、图17或图18所示的配置。即，通过以级联方式连接用于两个输入和一个输出设计的滤波电路45，滤波电路211被配置为作为三个输入和一个输出的电路操作。
此处，将基于从参考帧R0提取的运动补偿图像是运动补偿图像MC0、从参考帧R1提取的运动补偿图像是运动补偿图像MC1、并且从参考帧R2提取的运动补偿图像是运动补偿图像MC2的假设给出描述。运动补偿图像MC1和MC2被输入到滤波电路221，并且运动补偿图像MC0被输入滤波电路222。
滤波电路221分别使用运动补偿图像MC1和MC2作为图8中的运动补偿图像MC0和MC1等执行滤波，并且作为滤波结果的中间输出X被输出到滤波电路222。
滤波电路222分别使用中间输出X和运动补偿图像MC0作为图8中的运动补偿图像MC0和MC1等执行滤波，并且滤波结果被作为预测图像输出。
还可以取代滤波电路45，给图3中的解码装置1或图11中的编码装置101提供处理这三个参考帧的滤波电路211。
注意，滤波电路221和滤波电路222可以不必具有相同配置，并且可以具有不同配置，从而它们中的一个具有图8所示的配置，并且另一个具有图17所示的配置。另外，还可以在考虑滤波前后所获得的输入/输出特性的同时，使得用于滤波器的参数彼此不同。
滤波电路211可以不对从位于一个时间方向上的参考帧中提取的运动补偿图像执行滤波，而是对从位于前后方向的三个参考帧中提取的运动补偿图像执行滤波。
注意，在使用在时间方面在预测值之前和之后的帧作为参考帧的情况下，包括参考图7所述的情况，可以根据参考帧的时间方向或它们之间的距离，动态改变用于滤波的参数，诸如抽头系数。
压缩图像信息被从编码装置101通过各种介质传输给解码装置1，所述介质包括记录介质，诸如光盘、磁盘、闪存、卫星广播、有线电视、因特网(Internet)和移动电话网络。
图21和22是示出了通过使用由图8中的滤波电路45产生的预测图像执行编码所获得的结果的图。
图21的图示出了产生的编码数据的数量。
在图21中，水平轴表示帧数目。例如，水平轴上的“1”表示将要接受处理的运动图像的第一个画面，并且“2”表示第二个画面。垂直轴表示每个画面的代码数量，其单位是比特。该图示出这个值越小，就可以用越高的压缩比压缩该帧。
线L1表示使用已有AVC执行编码的情况的代码数量，并且线L2表示使用滤波预测执行编码的情况的代码数量。在这个例子中，假设每15帧插入一帧帧内画面，并且除了帧内画面之外的其它14个帧是P画面。
如图21所示，对于帧内画面，由于采用AVC的情况和采用使用滤波预测的编码方案的情况之间没有差别，产生的代码数量的值相同。另外，由于使用滤波预测的编码方案需要两个参考帧，第二个P画面的代码数量与采用AVC的情况的代码数量具有相同的值，对于第二个P画面，仅有一个画面，即，第一个帧内画面可被用作参考帧。其它P画面的代码数量表现出使用滤波预测的编码方案的值(由线L2指示)小于由线L1指示的值。
当采用使用滤波预测的编码方案时，可以更多地减少产生的代码的数量，这是由于预测图像的精度更高，并且与采用AVC的情况相比，可以更多地减少残差的编码数据的数量。
图22的图示出了编码数据的图像质量。
在图22中，类似于图21的水平轴，水平轴表示帧数。垂直轴表示PSNR值。PSNR值是一个客观指标，该值越大，图像越接近原始图像(图像质量越高)，其单位是[dB]。
线L11表示使用已有AVC执行编码的情况的PSNR值，并且线L12表示使用滤波预测执行编码的情况的PSNR值。出于与图21的情况相同的原因，帧内画面和第二个P画面的PSNR值在采用AVC的情况和使用滤波预测执行编码的情况下也是相同的。
相反，对于其它P画面，在采用滤波预测的编码方案情况下的PSNR值(由线L12指示)大于采用AVC情况下的PSNR值(由线L11指示)。
由于可以增加预测图像的精度，所述采用使用滤波预测的编码方案提供PSNR值(即，图像质量)的更大改进。
上面描述的一系列处理可被以硬件或软件执行。在以软件执行该系列处理的情况下，构成该软件的程序被从程序记录介质安装到结合在专用硬件内的计算机中，或通过在其内安装各种程序，能够执行各种功能的通用个人计算机等内。
图23是示出了执行根据一个程序描述的处理序列的计算机硬件的示例配置的框图。
CPU(中央处理单元)251、ROM(只读存储器)252和RAM(随机访问存储器)253通过总线254互连。
输入/输出接口255也被连接到总线254。输入/输出接口255被连接到输入单元256(包括键盘、鼠标、麦克风等)、输出单元257(包括显示器、扬声器等)、存储单元258(包括硬盘、非易失存储器等)、通信单元259(包括网络接口等)以及驱动可移动介质261(诸如光盘或半导体存储器)的驱动器260。
在如上所述配置的计算机中，CPU251通过输入/输出接口255和总线254将存储在例如存储单元258内的程序加载到RAM253中，并且执行该程序，从而执行上述处理序列。
通过记录在例如可移动介质261上，或通过有线或无线传输介质诸如局域网、Internet或数字广播，提供由CPU251执行的程序，并且将其安装在存储单元258内。
注意，由计算机执行的程序可以是这样的程序，其中根据此处描述的顺序以时间串行方式执行处理，或可以是这样的程序，其中处理被并行执行，或在必要的定时诸如当被调用时执行。
本发明的实施例不限于上述实施例，并且可以做出各种改变而不脱离本发明的范围。
例如，上面描述的解码装置1或编码装置101可被用于任意电子设备。下面将描述其例子。
图24是示出了使用应用本发明的解码装置的电视接收机的主要部分的示例配置的框图。
图24所示的电视接收机300包括陆地调谐器313、视频解码器315、视频信号处理电路318、图形产生电路319、面板驱动电路320和显示面板321。
陆地调谐器313通过天线接收陆地模拟广播的广播波信号，对其解调，获得视频信号，并且将其提供给视频解码器315。视频解码器315对从陆地调谐器313提供的视频信号执行解码处理，并且将获得的数字分量信号提供给视频信号处理电路318。
视频信号处理电路318对从视频解码器315提供的视频数据执行一定处理(诸如噪声去除)，并且将获得的视频数据提供给图形产生电路319。
图形产生电路319通过基于通过网络提供的应用的处理，产生将要在显示面板321上显示的节目的视频数据、图像数据等，并且将产生的视频数据或图像数据提供给面板驱动电路320。另外，如果需要，图形产生电路319还执行处理，诸如产生用于显示用户用来选择项目等屏幕的视频数据(图形)，将其叠加到节目的视频数据上，以便获得视频数据，并且将获得的视频数据提供给面板驱动电路320。
面板驱动电路320基于从图形产生电路319提供的数据驱动显示面板321，并且使得在显示面板321上显示上述的节目视频或各种屏幕。
显示面板321由LCD(液晶显示器)等构成，并且可以使得根据面板驱动电路320的控制显示节目的视频等。
另外，电视接收机300还包括音频A/D(模拟/数字)转换器电路314、音频信号处理电路322、回声消除/音频合成电路323、音频放大器电路324和扬声器325。
陆地调谐器313对接收到的广播波信号解调，以便获得视频信号和音频信号。陆地调谐器313将获得的音频信号提供给音频A/D转换器电路314。
音频A/D转换器电路314对从陆地调谐器313提供的音频信号执行A/D转换处理，并且将获得的数字音频信号提供给音频信号处理电路322。
音频信号处理电路322对从音频A/D转换器电路314提供的音频数据执行一定处理(诸如噪声去除)，并且将获得的音频数据提供给回声消除/音频合成电路323。
回声消除/音频合成电路323将从音频信号处理电路322提供的音频数据提供给音频放大器电路324。
音频放大器电路324对从回声消除/音频合成电路323提供的音频数据执行D/A转换处理和放大处理，并且在从扬声器325输出音频之前将其调整到一定音量。
另外，电视接收机300还包括数字调谐器316和MPEG解码器317。
数字调谐器316通过天线接收数字广播(陆地数字广播、BS(广播卫星)/CS(通信卫星)数字广播)的广播波信号，对其解调，获得MPEG-TS(运动图像专家组-传输流)，并且将其提供给MPEG解码器317。
MPEG解码器317对从数字调谐器316提供的MPEG-TS解扰(descramble)，并且提取包括将被再现(将被观看和聆听)的节目的数据的流。MPEG解码器317对构成提取的流的音频包解码，并且将获得的音频数据提供给音频信号处理电路322。另外，MPEG解码器317对构成该流的视频包解码，并且将获得的视频数据提供给视频信号处理电路318。另外，MPEG解码器317将从MPEG-TS提取的EPG(电子节目指南)数据通过图中未示出的路径提供给CPU332。
电视接收机300使用上述解码装置1作为以上述方式对视频包解码的MPEG解码器317。因此，类似于解码装置1的情况，MPEG解码器317使用通过滤波预测产生的预测图像执行解码。因此，可以通过更有效地利用图像的时间相关性，获得高清晰度的解码图像。
类似于从视频解码器315提供的视频数据的情况，从MPEG解码器317提供的视频数据接受视频信号处理电路318的一定处理，并且图形产生电路319将产生的视频数据等叠加在其上。结果数据被通过面板驱动电路320提供给显示面板321，并且显示其图像。
类似于从音频A/D转换器电路314提供的音频数据的情况，从MPEG解码器317提供的音频数据接受音频信号处理电路322的一定处理，被通过回声消除/音频合成电路323提供给音频放大器电路324，并且接受D/A转换处理或放大处理。结果，从扬声器325输出音量已被调整到一定值的音频。
另外，电视接收机300还包括麦克风326和A/D转换器电路327。
A/D转换器电路327接收由提供在电视接收机300内的麦克风326捕捉的、用于音频转换的用户的音频信号，对接收的音频信号执行A/D转换处理，并且将获得的数字音频数据提供给回声消除/音频合成电路323。
在已从A/D转换器电路327提供了电视接收机300的用户(用户A)的音频数据的情况下，回声消除/音频合成电路323对用户A的音频数据执行回声消除，并且使得通过音频放大器电路324从扬声器325输出，例如，通过与其它音频数据组合而获得的音频数据。
另外，电视接收机300还包括音频编码解码器328、内部总线329、SDRAM(同步动态随机访问存储器)330、闪存331、CPU332、USB(通用串行总线)I/F333和网络I/F334。
A/D转换器电路327接收由提供在电视接收机300内的麦克风326捕捉的、用于音频转换的用户的音频信号，对接收的音频信号执行A/D转换处理，并且将获得的数字音频数据提供给音频编码解码器328。
音频编码解码器328将从A/D转换器电路327提供的音频数据转换为用于通过网络传输的某种格式，并且通过内部总线329将其提供给网络I/F334。
网络I/F334被通过附加到网络端子335的电缆连接到网络。网络I/F334将从音频编码解码器328提供的音频数据传输到例如连接到网络的另一个装置。另外，网络I/F334例如通过网络端子335接收从连接到网络上的另一个装置传输的音频数据，并且通过内部总线329将其提供给音频编码解码器328。
音频编码解码器328将从网络I/F334提供的音频数据转换为某种格式的数据，并且将其提供给回声消除/音频合成电路323。
回声消除/音频合成电路323对从音频编码解码器328提供的音频数据执行回声消除，并且使得通过音频放大器电路324从扬声器325输出例如通过与其它音频数据组合获得的音频数据。
SDRAM 330存储CPU332执行处理所必须的各种数据。
闪存331存储由CPU332执行的程序。由CPU332在某个定时，诸如当打开电视接收机300时读取存储在闪存331内的程序。闪存331还存储通过数字广播获得的EPG数据，通过网络从某个服务器获得的数据等。
例如，闪存331存储MPEG-TS，其包括在CPU332的控制下通过网络从某个服务器获得的内容数据。闪存331例如按照CPU332的控制通过内部总线329将MPEG-TS提供给MPEG解码器317。
MPEG解码器317以类似于从数字调谐器316提供的MPEG-TS的情况的方式处理该MPEG-TS。以这种方式，电视接收机300可以通过网络接收由视频、音频等构成的内容数据，使用MPEG解码器317对内容数据解码，显示视频，并且输出音频。
另外，电视接收机300还包括接收从遥控器351传输的红外线信号的光的光接收单元337。
光接收单元337从遥控器351接收红外光，并且将通过解调获得的指示用户操作内容的控制码输出到CPU332。
CPU332执行存储在闪存331内的程序，并且根据从光接收单元337提供的控制码等控制电视接收机300的整体操作。CPU332被通过该图中未示出的路径连接到电视接收机300的每个单元。
USB I/F333向电视接收机300的外部设备传输数据，并且从电视接收机300的外部设备接收数据，该外部设备通过附连到USB端子336的USB电缆连接。网络I/F334被通过附接到网络端子335的电缆连接到网络，并且还向连接到网络的各种装置传输和接收音频数据之外的数据。
使用解码装置1作为MPEG解码器317，电视接收机300能够产生高精度的预测图像，而不增加处理负荷。结果，电视接收机300能够从通过天线接收的广播波信号或通过网络获得的内容数据中获得更高清晰度的解码图像，并且显示该图像。
图25是示出了使用应用本发明的解码装置和编码装置的移动电话的主要部分的示例配置的框图。
图25所示的移动电话400包括配置为整体控制各个单元的主控制单元450、电源电路单元451、操作输入控制单元452、图像编码器453、照相机I/F单元454、LCD控制单元455、图像解码器456、多路复用/解多路复用单元457、记录/再现单元462、调制/解调电路单元458和音频编码解码器459。它们通过总线460互连。
另外，移动电话400包括操作按键419、CCD(电荷耦合器件)照相机416、液晶显示器418、存储单元423、传输/接收电路单元463、天线414、麦克风(mic)421和扬声器417。
当呼叫端和电源键被用户操作接通时，电源电路单元451从电池组给每个单元供电，从而启动移动电话400以便使得能够操作。
移动电话400基于由CPU、ROM、RAM等构成的主控制单元450的控制，执行诸如音频呼叫模式和数据通信模式的各种模式中的各种操作，诸如传输和接收音频信号，传输和接收电子邮件和图像数据，捕捉图像和记录数据。
例如，在音频呼叫模式中，移动电话400使用音频编码解码器459将由麦克风(mic)421收集的音频信号转换为数字音频数据，使用调制/解调电路单元458对数字音频数据执行展频处理，并且使用传输/接收电路单元463执行数字到模拟转换处理和频率转换处理。移动电话400通过天线414将通过转换处理获得的传输信号传输到图中未示出的基站。传输到基站的传输信号(音频信号)被通过公共电话线网络提供给呼叫的另一端的移动电话。
另外，例如，在音频呼叫模式中，移动电话400使用传输/接收电路单元463放大已经通过天线414接收的接收信号，进一步执行频率转换处理和模拟到数字转换处理，使用调制/解调电路单元458执行逆展频处理，并且使用音频编码解码器459将结果信号转换为模拟音频信号。移动电话400从扬声器417输出通过转换获得的模拟音频信号。
另外，例如，在以数据通信模式传输电子邮件的情况下，移动电话400使用操作输入控制单元452接受通过操作操作按键419输入的电子邮件的文本数据。移动电话400使用主控制单元450处理文本数据，并且通过LCD控制单元455使得结果数据在液晶显示器418上显示为图像。
另外，移动电话400使用主控制单元450基于由操作输入控制单元452接受的文本数据、基于用户指令等产生电子邮件数据。移动电话400使用调制/解调电路单元458对电子邮件数据执行展频处理，并且使用传输/接收电路单元463执行数字到模拟转换处理和频率转换处理。移动电话400通过天线414将通过转换处理获得的传输信号传输到图中未示出的基站。传输到基站的传输信号(电子邮件)被通过网络、邮件服务器等提供给某个地址。
另外，例如，在以数据通信模式接收电子邮件的情况下，移动电话400使用传输/接收电路单元463通过天线414接收从基站传输的信号，对其进行放大，并且进一步执行频率转换处理和模拟到数字转换处理。移动电话400使用调制/解调电路单元458对接收到的信号执行逆展频处理，以便恢复原始的电子邮件数据。移动电话400通过LCD控制单元455在液晶显示器418上显示恢复的电子邮件数据。
注意，移动电话400还能够通过记录/再现单元462在存储单元423上记录(存储)接收到的电子邮件数据。
存储单元423是任何可重写存储介质。存储单元423可以是，例如，半导体存储器(诸如RAM或内建的闪存存储器)，或可以是硬盘，或可移动介质，诸如磁盘、磁光盘、光盘、USB存储器或存储器卡。当然，可以使用任意其它类型的介质。
另外，例如，在以数据通信模式传输图像数据的情况下，移动电话400使用CCD照相机416通过捕捉图像产生图像数据。CCD照相机416包括光学设备诸如镜头和光圈，以及作为光电转换元件的CCD，其捕捉对象的图像，将接收到的光的强度转换为电信号，并且产生对象的图像的图像数据。图像编码器453通过照相机I/F单元454使用某种编码方案(例如，MPEG2、MPEG4等)对图像数据进行压缩和编码，以便转换为编码图像数据。
移动电话400使用上述的编码装置101作为执行这些处理的图像编码器453。因此，类似于编码装置101的情况，图像编码器453使用通过滤波预测产生的预测图像执行编码，该预测图像包括大量高频分量，并且与原始图像之间具有较小的差异。因此，可以减少分配给残差的代码数量，并且可以增加编码效率。
注意，此时，在使用CCD照相机416捕捉图像的过程中，移动电话400使用音频编码解码器459同时对麦克风(mic)421收集的音频执行模拟到数字转换，并且进一步对其编码。
移动电话400使用多路复用/解多路复用单元457并且利用某种方案多路复用从图像编码器453提供的编码图像数据，以及从音频编码解码器459提供的数字音频数据。移动电话400使用调制/解调电路单元458对作为结果获得的多路复用数据执行展频处理，并且使用传输/接收电路单元463执行数字到模拟转换处理和频率转换处理。移动电话400通过天线414将通过转换处理获得的传输信号传输到图中未示出的基站。传输到基站的传输信号(图像数据)被通过网络等提供给通信的另一端。
注意，在没有图像数据要被传输的情况下，移动电话400还可以使得通过LCD控制单元455在液晶显示器418上显示使用CCD照相机416产生的图像数据，而无需图像编码器453的介入。
另外，例如，在以数据通信模式接收具有到简化主页等的链接的运动图像文件的数据的情况下，移动电话400使用传输/接收电路单元463通过天线414接收从基站传输的信号，对其进行放大，并且进一步执行频率转换处理和模拟到数字转换处理。移动电话400使用调制/解调电路单元458对接收到的信号执行逆展频处理，以便恢复原始多路复用数据。移动电话400使用多路复用/解多路复用单元457对多路复用数据进行解多路复用，以便将其分离为编码图像数据和音频数据。
移动电话400使用图像解码器456并使用相应于某种编码方案(诸如MPEG2或MPEG4)的解码方案对编码图像数据进行解码，以便产生再现运动图像数据，并且使得通过LCD控制单元455在液晶显示器418上显示该数据。这允许例如在液晶显示器418上显示包括在链接到该简化主页的运动图像文件内的运动图像数据。
移动电话400使用上述的解码装置1作为执行这些处理的图像解码器456。因此，类似于解码装置1的情况，图像解码器456使用通过滤波预测产生的预测图像执行解码。因此，可以通过更高效地利用图像的时间相关性，获得高清晰度的解码图像。
此时，移动电话400同时使用音频编码解码器459将数字音频数据转换为模拟音频信号，并且使其从扬声器417输出。这允许，例如，再现包括在链接到简化主页的运动图像文件内的音频数据。
注意，类似于电子邮件的情况，移动电话400还能够使得通过记录/再现单元462在存储单元423上记录(存储)链接到简化主页的接收到的数据。
另外，移动电话400还可以使用主控制单元450分析CCD照相机416通过捕捉二维码图像获得的二维码，并且获取记录在二维码内的信息。
另外，移动电话400可以使用红外通信单元481通过红外光与外部设备通信。
使用编码装置101作为图像编码器453，移动电话400可以改进编码数据的编码效率，通过对例如由CCD照相机416产生的图像数据进行编码，产生该编码数据，而不需要增加处理的复杂性。结果，移动电话400可以向另一个装置提供具有高编码效率的编码数据(图像数据)。
另外，使用解码装置1作为图像解码器456，移动电话400可以产生高精度预测图像，而不增加处理负荷。结果，移动电话400可以例如从链接到简化主页的运动图像文件获得更高清晰度的解码图像，并且可以显示它。
注意虽然已经在被认为使用CCD照相机416的移动电话400的上下文中给出了前面的描述，取代CCD照相机416，移动电话400可以使用利用CMOS(互补金属氧化物半导体)的图像传感器(CMOS图像传感器)。在该情况下，类似于使用CCD照相机416的情况，移动电话400同样可以捕捉对象的图像，并且产生对象的图像的图像数据。
另外，虽然已经在移动电话400的上下文中给出了前面的描述，类似于移动电话400的情况，解码装置1和编码装置101可被应用于具有类似于移动电话400的图像捕捉功能或通信功能的任意装置，诸如例如，PDA(个人数字助理)、智能电话、UMPC(超便携个人计算机)、网络笔记本或笔记本个人计算机。
图26是示出了使用应用本发明的解码装置和编码装置的硬盘记录器的主要部分的示例配置的框图。
图26中示出的硬盘记录器(HDD记录器)500是在其内置硬盘中保存包括在从卫星、陆地天线等传输的广播波信号(电视信号)内的广播节目的音频数据和视频数据的装置，通过调谐器接收该信号，并且该装置根据用户的指示在一个定时为用户提供保存的数据。
硬盘记录器500可以例如从广播波信号中提取音频数据和视频数据，并且如果必要，对它们进行解码，并且将它们存储在内置的硬盘中。另外，硬盘记录器500还可以通过例如网络从另一个装置获取音频数据或视频数据，如果必要，对它们进行解码，并且将它们存储在内置的硬盘中。
另外，硬盘记录器500可以对记录在例如内置硬盘上的音频数据和视频数据解码，并且将它们提供给监视器560，在监视器560的屏幕上显示其图像，并且从监视器560的扬声器输出其音频。另外，硬盘记录器500还可以对例如从通过调谐器获得的广播波信号中提取的音频数据和视频数据，或对通过网络从另一个装置获取的音频数据和视频数据进行解码，并且将它们提供给监视器560，在监视器560的屏幕上显示其图像，并且从监视器560的扬声器输出其音频。
当然，还可以执行其它操作。
如图26所示，硬盘记录器500包括接收单元521、解调单元522、解多路复用器523、音频解码器524、视频解码器525和记录器控制单元526。硬盘记录器500还包括EPG数据存储器527、节目存储器528、工作存储器529、显示转换器530、OSD(屏幕显示)控制单元531、显示控制单元532、记录/再现单元533、D/A转换器534和通信单元535。
另外，显示转换器530包括视频编码器541。记录/再现单元533包括编码器551和解码器552。
接收单元521从遥控器(未示出)接收红外信号，将其转换为电信号，并且将其输出到记录器控制单元526。记录器控制单元526由例如微处理器等构成，并且根据存储在节目存储器528内的程序执行各种处理。此时，记录器控制单元526根据需要使用工作存储器529。
通信单元535连接到网络，并且通过网络与另一个装置执行通信处理。例如，记录器控制单元526控制通信单元535以便与调谐器(未示出)通信，并且主要向调谐器输出频道选择控制信号。
解调单元522对从调谐器提供的信号解调，并且将其输出到解多路复用器523。解多路复用器523将从解调单元522提供的数据解多路复用为音频数据、视频数据和EPG数据，并且将它们分别输出到音频解码器524、视频解码器525和记录器控制单元526。
音频解码器524使用例如MPEG方案对输入的音频数据解码，并且将其输出到记录/再现单元533。视频解码器525使用例如MPEG方案对输入的视频数据解码，并且将其输出到显示转换器530。记录器控制单元526将输入的EPG数据提供给EPG数据存储器527，以便将EPG数据存储在其中。
显示转换器530使用视频编码器541将从视频解码器525或记录器控制单元526提供的视频数据编码为例如NTSC(国家电视标准委员会)方案的视频数据，并且将其输出到记录/再现单元533。另外，显示转换器530将从视频解码器525或记录器控制单元526提供的视频数据的屏幕大小转换为相应于监视器560的大小的大小，使用视频编码器541将其转换为NTSC方案的视频数据，将其转换为模拟信号，并且将其输出到显示控制单元532。
在记录器控制单元526的控制下，显示控制单元532将从OSD(屏幕显示)控制单元531输出的OSD信号叠加在从显示转换器530输入的视频信号上，并且将其输出到监视器560的显示器以便显示它。
从音频解码器524输出的、已被D/A转换器534转换为模拟信号的音频数据也被提供给监视器560。监视器560从其内置的扬声器输出音频信号。
记录/再现单元533包括硬盘作为存储介质，视频数据、音频数据等被记录在该存储介质上。
记录/再现单元533使用编码器551并使用MPEG方案对例如从音频解码器524提供的音频数据进行编码。另外，记录/再现单元533使用编码器551并使用MPEG方案对从显示转换器530的视频编码器541提供的视频数据进行编码。记录/再现单元533使用多路复用器组合音频数据的编码数据和视频数据的编码数据。记录/再现单元533对得到的合成数据执行频道编码，对其进行放大，并且通过记录头将该数据写到硬盘上。
记录/再现单元533通过再现头再现记录在硬盘上的数据，对其进行放大，并且使用解多路复用器将其分离为音频数据和视频数据。记录/再现单元533使用解码器552并使用MPEG方案对音频数据和视频数据解码。记录/再现单元533对解码的音频数据执行D/A转换，并且将其输出到监视器560的扬声器。另外，记录/再现单元533对解码的视频数据执行D/A转换，并且将其输出到监视器560的显示器。
记录器控制单元526基于通过接收单元521接收的并且以来自遥控器的红外线信号指示的用户指令，从EPG数据存储器527读取最新的EPG数据，并且将EPG数据提供给OSD控制单元531。OSD控制单元531产生相应于输入EPG数据的图像数据，并且将其输出到显示控制单元532。显示控制单元532将从OSD控制单元531输入的视频数据输出到监视器560的显示器并且显示它。这允许在监视器560的显示器上显示EPG(电子节目指南)。
另外，硬盘记录器500还可以获取通过网络(诸如Internet)从另一个装置提供的各种数据(诸如视频数据、音频数据或EPG数据)。
记录器控制单元526控制通信单元535以便获取通过网络从另一个装置传输的编码数据，诸如视频数据、音频数据和EPG数据，并且将其提供给记录器控制单元526。记录器控制单元526例如将获取的视频数据和音频数据的编码数据提供给记录/再现单元533，以便将其存储在硬盘内。此时，记录器控制单元526和记录/再现单元533可以根据需要执行诸如再编码的处理。
另外，记录器控制单元526对获取的视频数据和音频数据的编码数据进行解码，并且将获得的视频数据提供给显示转换器530。显示转换器530以类似于从视频解码器525提供的视频数据的方式处理从记录器控制单元526提供的视频数据，并且通过显示控制单元532将其提供给监视器560，以便显示其图像。
另外，随同该图像的显示，记录器控制单元526可以通过D/A转换器534将解码的音频数据提供给监视器560，并且从扬声器输出其音频。
另外，记录器控制单元526对获取的EPG数据的编码数据进行解码，并且将解码的EPG数据提供给EPG数据存储器527。
如上所述的硬盘记录器500使用解码装置1作为内置在视频解码器525、解码器552以及记录器控制单元526内的解码器中的每一个。因此，类似于解码装置1的情况，内置于视频解码器525、解码器552以及记录器控制单元526内的解码器使用通过滤波预测产生的预测图像执行解码。因此，可以通过更有效地利用图像的时间相关性，获得高清晰度的解码图像。
因此，硬盘记录器500可以产生高精度的预测图像，而不会增加处理负荷。结果，硬盘记录器500可以从例如通过调谐器接收的视频数据的编码数据，从记录/再现单元533的硬盘读取的视频数据的编码数据，或通过网络获取的视频数据的编码数据，获得更高清晰度的解码图像，并且在监视器560上显示该图像。
另外，硬盘记录器500使用编码器101作为编码器551。因此，类似于编码器101的情况，编码器551使用通过滤波预测产生的预测图像执行编码，该预测图像包括大量高频分量，并且与原始图像之间具有较小的差异。因此，可以减少分配给残差的代码的数量，并且可以增加编码效率。
因此，硬盘记录器500可以改进，例如，将要记录在硬盘上的编码数据的编码效率，而不增加处理复杂性。结果，硬盘记录器500可以更有效地使用硬盘的存储区域。
注意，虽然已经在将视频数据和音频数据记录在硬盘上的硬盘记录器500的上下文中给出了前面的描述，当然，可以使用任意类型的记录介质。例如，即使记录器使用硬盘之外的记录介质，诸如闪存、光盘或视频带，可以用类似于上述硬盘记录器500的情况的方式使用解码装置1和编码装置101。
图27是示出了使用应用本发明的解码装置和编码装置的照相机的主要部分的示例配置的框图。
图27所示的照相机600捕捉对象的图像，并且使得对象的图像显示在LCD616上，或将其作为图像数据记录在记录介质633上。
镜头块611使得光(即，对象的视频)入射到CCD/CMOS612上。CCD/CMOS612是图像传感器，其使用CCD或CMOS将接收到的光的强度转换为电信号，并且将其提供给照相机信号处理单元613。
照相机信号处理单元613将从CCD/CMOS612提供的电信号转换为Y、Cr和Cb色差信号，并且将它们提供给图像信号处理单元614。在控制器621的控制下，图像信号处理单元614对从照相机信号处理单元613提供的图像信号执行某种图像处理，或使用编码器641并使用例如MPEG方案对图像信号进行编码。图像信号处理单元614将通过对图像信号编码产生的编码数据提供给解码器615。另外，图像信号处理单元614获取由屏幕上显示(OSD)620产生的显示数据，并且将其提供给解码器615。
在前面的处理中，照相机信号处理单元613利用通过总线617连接的DRAM(动态随机访问存储器)618，并且根据需要，使得图像数据、通过对图像数据编码获得的编码数据等被保持在DRAM618内。
解码器615对从图像信号处理单元614提供的编码数据进行解码，并且将获得的图像数据(解码的图像数据)提供给LCD616。另外，解码器615将从图像信号处理单元614提供的显示数据提供给LCD616。如果需要，LCD616组合从解码器615提供的解码图像数据的图像和该显示数据的图像，并且显示得到的合成图像。
在控制器621的控制下，屏幕上显示620通过总线617把显示数据(诸如由符号、字符或数字构成的菜单屏幕)以及图标输出到图像信号处理单元614。
控制器621基于指示使用操作单元622的用户发出的命令内容的信号，执行各种处理，还通过总线617控制图像信号处理单元614、DRAM618、外部接口619、屏幕上显示620、介质驱动器623等。闪存ROM624存储控制器621执行各种处理所需的程序、数据等。
例如，控制器621可以代替图像信号处理单元614或解码器615对存储在DRAM618内的图像数据进行编码，或对存储在DRAM618内的编码数据进行解码。此时，控制器621可以使用类似于图像信号处理单元614或解码器615的编码或解码方案的方案，执行编码或解码处理，或可以使用图像信号处理单元614或解码器615不支持的方案执行编码或解码处理。
另外，例如，在已经从操作单元622发出开始打印图像的指令的情况下，控制器621从DRAM618读取图像数据，并且将其提供给通过617连接到外部接口619的打印机634，以便打印该图像。
另外，例如，在已经从操作单元622发出记录图像的指令的情况下，控制器621从DRAM618读取编码数据，并且将其提供给通过总线617附接到介质驱动器623的记录介质633以便存储编码数据。
记录介质633例如是任意可读和可重写可移动介质，诸如磁盘、磁光盘、光盘或半导体存储器。当然，记录介质633还可以是任意类型的可移动介质，并且可以是带设备、盘或存储器卡。当然，还可以使用非接触IC卡等。
另外，介质驱动器623和记录介质633还可被集成地形成在例如非便携存储介质内，诸如内置硬盘驱动器或SSD(固态驱动器)。
外部接口619由例如USB输入/输出端子等构成，并且在打印图像的情况下连接到打印机634。另外，驱动器631根据需要连接到外部接口619，并且如果需要，附接可移动介质632，诸如磁盘、光盘或磁光盘，从而根据需要将从中读取的计算机程序安装在闪存ROM624中。
另外，外部接口619包括连接到某个网络(诸如LAN或Internet)的网络接口。控制器621可以根据来自例如操作单元622的指令，从DRAM618读取编码数据，并且将其提供给通过网络从外部接口619连接的另一个装置。另外，控制器621可以通过外部接口619获取通过网络从另一个装置提供的编码数据或图像数据，并且将其保持在DRAM618内，或将其提供给图像信号处理单元614。
如上所述的照相机600使用解码装置1作为解码器615。因此，类似于解码装置1的情况，解码器615使用通过滤波预测产生的预测图像执行解码。因此，可以通过更有效地利用图像的时间相关性，获得高清晰度的解码图像。
因此，照相机600可以产生高精度预测图像而不增加处理负荷。结果，照相机600可以从例如使用CCD/CMOS612产生的图像数据、从DRAM618或记录介质633读取的视频数据的编码数据、或通过网络获取的视频数据的编码数据获得更高清晰度的解码图像，并且在LCD616上显示解码图像。
另外，照相机600使用编码装置101作为编码器641。因此，类似于编码装置101的情况，编码器641使用通过滤波预测产生的预测图像执行编码，该预测图像包括大量高频分量，并且与原始图像之间具有较小的差异。因此，可以减少分配给残差的代码的数量，并且可以增加编码效率。
因此，照相机600可以改进，例如，将要记录在硬盘上的编码数据的编码效率，而不增加处理复杂性。结果，照相机600可以更有效地使用DRAM618或记录介质633的存储区域。
注意，解码装置1的解码方法可被应用于由控制器621执行的解码处理。类似地，编码装置101的编码方法可被应用于由控制器621执行的编码处理。
另外，由照相机600捕捉的图像数据可以是运动图像或静态图像。
当然，解码装置1和编码装置101还可被应用于上述装置之外的装置或系统。

Claims (10)

1.一种图像处理设备，包括：
运动补偿装置，用于使用由通过对编码图像解码获得的图像形成的多个帧作为参考帧，并且使用包括在编码图像内的运动矢量，来执行运动补偿，以及用于从不同的参考帧产生与预测图像对应的多个运动补偿图像；
第一滤波装置，用于对由运动补偿装置产生的多个运动补偿图像之间的差分图像应用低通滤波；
第二滤波装置，用于对第一滤波装置通过应用低通滤波获得的图像应用高通滤波；和
预测图像产生装置，用于通过将第一滤波装置通过应用低通滤波获得的图像和第二滤波装置通过应用高通滤波获得的图像添加到由运动补偿装置产生的多个运动补偿图像中的一个上，来产生预测图像。
2.如权利要求1所述的图像处理设备，还包括解码装置，用于使用由预测图像产生装置产生的预测图像来对编码图像进行解码。
3.如权利要求2所述的图像处理设备，其中运动补偿装置选择超前预测图像一个帧的帧以及超前预测图像两个帧的帧作为参考帧。
4.如权利要求3所述的图像处理设备，其中预测图像产生装置将第一滤波装置通过应用低通滤波获得的图像和第二滤波装置通过应用高通滤波获得的图像添加到从超前预测图像一个帧的帧中提取的运动补偿图像上。
5.如权利要求4所述的图像处理设备，还包括：
单向预测装置，用于使用多个运动补偿图像执行单向预测，并且用于产生预测图像；和
双向预测装置，用于使用多个运动补偿图像执行双向预测，并且用于产生预测图像，
其中所述预测图像产生装置参考包括在编码图像内的标识标签，以便选择以下操作：
由单向预测装置通过单向预测产生预测图像，
由双向预测装置通过双向预测产生预测图像，
或
通过对多个运动补偿图像之间的差分图像应用低通滤波，通过对通过应用低通滤波获得的图像应用高通滤波，以及通过将通过应用低通滤波获得的图像和通过应用高通滤波获得的图像添加到多个运动补偿图像中的一个上，来产生预测图像。
6.一种图像处理方法，包括：
运动补偿步骤，使用由通过对编码图像解码所获得的图像形成的多个帧作为参考帧，并且使用包括在编码图像内的运动矢量执行运动补偿，以及从不同的参考帧产生与预测图像对应的多个运动补偿图像；
第一滤波步骤，对在运动补偿步骤中产生的多个运动补偿图像之间的差分图像应用低通滤波；
第二滤波步骤，对在第一滤波步骤中通过应用低通滤波获得的图像应用高通滤波；以及
预测图像产生步骤，通过将在第一滤波步骤中通过应用低通滤波获得的图像和在第二滤波步骤中通过应用高通滤波获得的图像添加到在运动补偿步骤中产生的多个运动补偿图像中的一个上，来产生预测图像。
7.一种图像处理设备，包括：
检测装置，用于基于通过局部解码而获得的图像以及原始图像，来检测运动矢量，其中基于指示将要接受编码的原始图像和预测图像之间的差的残差图像进行所述局部解码；
运动补偿装置，用于使用由通过局部解码所获得的图像形成的多个帧作为参考帧，并且使用检测装置检测到的运动矢量，来执行运动补偿，以及用于从不同的参考帧中提取与预测图像对应的多个运动补偿图像；
第一滤波装置，用于对由运动补偿装置提取的多个运动补偿图像之间的差分图像应用低通滤波；
第二滤波装置，用于对第一滤波装置通过应用低通滤波获得的图像应用高通滤波；和
预测图像产生装置，用于通过将第一滤波装置通过应用低通滤波获得的图像和第二滤波装置通过应用高通滤波获得的图像添加到由运动补偿装置提取的多个运动补偿图像中的一个上，来产生预测图像。
8.如权利要求7所述的图像处理设备，还包括编码装置，用于使用由预测图像产生装置产生的预测图像对原始图像进行编码。
9.如权利要求8所述的图像处理设备，还包括控制装置，用于在通过对原始图像进行编码而获得的编码图像中描述这样的一种标签，该标签标识以下操作：
通过使用单向预测，产生将被添加到将被解码的图像上的预测图像，
通过使用双向预测，产生将被添加到将要解码的图像上的预测图像，
或
通过对多个运动补偿图像之间的差分图像应用低通滤波，通过对通过应用低通滤波获得的图像应用高通滤波，以及通过将通过应用低通滤波获得的图像和通过应用高通滤波获得的图像添加到多个运动补偿图像中的一个上，来产生要被添加到将要解码的图像上的预测图像。
10.一种图像处理方法，包括：
检测步骤，基于通过局部解码获得的图像以及原始图像，来检测运动矢量，其中基于指示将要接受编码的原始图像和预测图像之间的差的残差图像进行所述局部解码；
运动补偿步骤，使用由通过局部解码获得的图像形成的多个帧作为参考帧并且使用在检测步骤中检测到的运动矢量，来执行运动补偿，以及从不同的参考帧中提取与预测图像对应的多个运动补偿图像；
第一滤波步骤，对在运动补偿步骤中提取的多个运动补偿图像之间的差分图像应用低通滤波；
第二滤波步骤，对在第一滤波步骤中通过应用低通滤波获得的图像应用高通滤波；以及
预测图像产生步骤，通过将在第一滤波步骤中通过应用低通滤波获得的图像和在第二滤波步骤中通过应用高通滤波获得的图像添加到在运动补偿步骤中提取的多个运动补偿图像中的一个上，来产生预测图像。
CN2009801278774A 2008-07-25 2009-07-24 图像处理设备和方法 Expired - Fee Related CN102100071B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008192093 2008-07-25
JP2008-192093 2008-07-25
PCT/JP2009/063249 WO2010010942A1 (ja) 2008-07-25 2009-07-24 画像処理装置および方法

Publications (2)

Publication Number Publication Date
CN102100071A true CN102100071A (zh) 2011-06-15
CN102100071B CN102100071B (zh) 2013-01-02

Family

ID=41570402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801278774A Expired - Fee Related CN102100071B (zh) 2008-07-25 2009-07-24 图像处理设备和方法

Country Status (8)

Country Link
US (1) US8705627B2 (zh)
EP (1) EP2306733A4 (zh)
JP (2) JP5333449B2 (zh)
KR (1) KR101590663B1 (zh)
CN (1) CN102100071B (zh)
BR (1) BRPI0915971A2 (zh)
RU (1) RU2506711C2 (zh)
WO (1) WO2010010942A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102396226A (zh) * 2009-02-19 2012-03-28 索尼公司 图像处理设备和方法
CN112020859A (zh) * 2018-03-29 2020-12-01 日本放送协会 图像编码装置、图像解码装置以及程序

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI468020B (zh) 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
JP2011166266A (ja) * 2010-02-05 2011-08-25 Sony Corp 情報処理装置と情報処理方法およびプログラム
JP6880310B2 (ja) * 2018-03-29 2021-06-02 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP6808889B2 (ja) * 2018-03-29 2021-01-06 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
CN112055965A (zh) * 2018-04-04 2020-12-08 日本放送协会 预测图像校正装置、图像编码装置、图像解码装置以及程序
JP7249111B2 (ja) * 2018-08-15 2023-03-30 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
CN112150357B (zh) * 2019-06-28 2024-01-26 维沃移动通信有限公司 一种图像处理方法及移动终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08154250A (ja) * 1994-11-25 1996-06-11 Victor Co Of Japan Ltd 動画像符号化装置
CN1735208A (zh) * 2004-07-12 2006-02-15 微软公司 在运动补偿的时间滤波中的自适应更新
WO2006112272A1 (ja) * 2005-04-13 2006-10-26 Ntt Docomo, Inc. 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、および動画像復号プログラム
CN101002475A (zh) * 2004-05-19 2007-07-18 汤姆森许可贸易公司 图像序列的视频数据编码方法
CN101039419A (zh) * 2006-03-16 2007-09-19 汤姆森许可贸易公司 用于对图像序列的视频数据进行编码的方法

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4551753A (en) * 1981-12-17 1985-11-05 Nippon Hoso Kyokai Picture signal processing system including spatio-temporal filter
US4672445A (en) * 1985-05-29 1987-06-09 Rca Corporation Progressive scan processor employing interpolation in luminance channel controlled by a motion signal and a vertical detail representative signal
US4651211A (en) * 1986-01-17 1987-03-17 Rca Corporation Video signal motion detecting apparatus
WO1993018618A1 (en) * 1992-03-03 1993-09-16 Kabushiki Kaisha Toshiba Time-varying image encoder
JPH0775101A (ja) * 1993-06-29 1995-03-17 Canon Inc 画像符号化装置及びその方法
JP3036392B2 (ja) * 1995-02-28 2000-04-24 日本電気株式会社 サブバンド信号上の動き補正装置
US5777678A (en) * 1995-10-26 1998-07-07 Sony Corporation Predictive sub-band video coding and decoding using motion compensation
EP2288164B1 (en) * 1997-06-09 2013-09-11 Hitachi, Ltd. Image decoding method and image decoder
CN1166207C (zh) 1999-05-27 2004-09-08 皇家菲利浦电子有限公司 对视频信号进行编码的方法、装置及采用该装置的摄像机
EP2458865A3 (en) * 2001-06-29 2014-10-01 NTT DoCoMo, Inc. Apparatuses for image coding and decoding
KR100845067B1 (ko) * 2001-09-12 2008-07-09 마쯔시다덴기산교 가부시키가이샤 화상 부호화 방법 및 화상 복호화 방법
US7120195B2 (en) * 2002-10-28 2006-10-10 Hewlett-Packard Development Company, L.P. System and method for estimating motion between images
AU2003248858A1 (en) * 2003-01-10 2004-08-10 Thomson Licensing S.A. Decoder apparatus and method for smoothing artifacts created during error concealment
JP3997171B2 (ja) * 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
JP4373702B2 (ja) * 2003-05-07 2009-11-25 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
EP1650977B1 (en) * 2003-07-24 2019-06-26 Nippon Telegraph And Telephone Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, recording medium containing the image encoding program, and recording medium containing the image decoding program
DE10340407A1 (de) * 2003-09-02 2005-04-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Codieren einer Gruppe von aufeinanderfolgenden Bildern und Vorrichtung und Verfahren zum Decodieren eines codierten Bildsignals
US8094711B2 (en) * 2003-09-17 2012-01-10 Thomson Licensing Adaptive reference picture generation
KR20060076309A (ko) * 2003-09-23 2006-07-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 인밴드 모션 보상된 시간적 필터링을 사용하는 비디오디노이징 알고리즘
US7526025B2 (en) * 2003-10-24 2009-04-28 Sony Corporation Lifting-based implementations of orthonormal spatio-temporal transformations
MXPA06006107A (es) * 2003-12-01 2006-08-11 Samsung Electronics Co Ltd Metodo y aparato de codificacion y decodificacion escalables de video.
US20060002474A1 (en) * 2004-06-26 2006-01-05 Oscar Chi-Lim Au Efficient multi-block motion estimation for video compression
JP5018085B2 (ja) * 2004-06-29 2012-09-05 ソニー株式会社 動き予測補償方法及び動き予測補償装置
KR100679011B1 (ko) * 2004-07-15 2007-02-05 삼성전자주식회사 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
US7545988B2 (en) * 2004-08-09 2009-06-09 George William Meeker Image blocking artifact reduction via transform pair
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
JP4501676B2 (ja) * 2004-12-22 2010-07-14 日本電気株式会社 動画像圧縮符号化方法と動画像圧縮符号化装置並びにプログラム
JP2006203662A (ja) * 2005-01-21 2006-08-03 Toshiba Corp 動画像符号化装置・復号化装置及び符号化ストリーム生成方法
KR100703778B1 (ko) * 2005-04-29 2007-04-06 삼성전자주식회사 고속 ｆｇｓ를 지원하는 비디오 코딩 방법 및 장치
EP1727372A1 (en) * 2005-05-27 2006-11-29 Thomson Licensing Method and apparatus for encoding and decoding video data,
AU2006269728B2 (en) 2005-07-11 2011-11-03 Interdigital Madison Patent Holdings Method and apparatus for macroblock adaptive inter-layer intra texture prediction
AU2006277008B2 (en) * 2005-07-21 2011-11-10 Interdigital Vc Holdings, Inc. Method and apparatus for weighted prediction for scalable video coding
KR100727972B1 (ko) * 2005-09-06 2007-06-14 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
JP5017825B2 (ja) * 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
KR100813963B1 (ko) * 2005-09-16 2008-03-14 세종대학교산학협력단 동영상의 무손실 부호화, 복호화 방법 및 장치
JP4555207B2 (ja) * 2005-10-18 2010-09-29 Ｎｅｃディスプレイソリューションズ株式会社 画質改善装置および画質改善方法
JP4334533B2 (ja) * 2005-11-24 2009-09-30 株式会社東芝 動画像符号化／復号化方法および装置
KR100750145B1 (ko) * 2005-12-12 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100712550B1 (ko) 2006-02-03 2007-05-02 삼성전자주식회사 하드디스크 드라이브의 고밀도 기록 방법
EP2023639A4 (en) * 2006-04-28 2010-09-01 Ntt Docomo Inc IMAGE PREDICTIVE ENCODING DEVICE, IMAGE PREDICTIVE ENCODING METHOD, IMAGE PREDICTIVE ENCODING PROGRAM, IMAGE PREDICTIVE DECODING DEVICE, IMAGE PREDICTIVE DECODING METHOD, AND PREDICTIVE IMAGE DECODING PROGRAM
US7864219B2 (en) * 2006-06-15 2011-01-04 Victor Company Of Japan, Ltd. Video-signal layered coding and decoding methods, apparatuses, and programs with spatial-resolution enhancement
US9332274B2 (en) * 2006-07-07 2016-05-03 Microsoft Technology Licensing, Llc Spatially scalable video coding
EP2041981B1 (en) * 2006-07-18 2013-09-04 Thomson Licensing Methods and apparatus for adaptive reference filtering
BRPI0715952A2 (pt) * 2006-08-28 2013-07-30 Thomson Licensing mÉtodo e aparelho para determinar a distorÇço esperada em blocos de vÍdeo decodificados
JP4993676B2 (ja) * 2006-09-01 2012-08-08 キヤノン株式会社 画像符号化装置及び画像符号化方法
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
FR2907630A1 (fr) * 2006-10-19 2008-04-25 Thomson Licensing Sas Dispositif et procede de codage sous forme scalable d'une sequence d'images et dispositif et procede de decodage correspondants
WO2008078782A1 (ja) * 2006-12-27 2008-07-03 Ntt Docomo, Inc. 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラム
WO2008139489A1 (en) * 2007-05-10 2008-11-20 Allgo Embedded Systems Private Limited Dynamic motion vector analysis method
US9031129B2 (en) * 2007-06-15 2015-05-12 Microsoft Technology Licensing, Llc Joint spatio-temporal prediction for video coding
JP4877090B2 (ja) 2007-06-18 2012-02-15 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP4356777B2 (ja) 2007-06-18 2009-11-04 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP4826546B2 (ja) * 2007-06-18 2011-11-30 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
EP2051524A1 (en) * 2007-10-15 2009-04-22 Panasonic Corporation Image enhancement considering the prediction error
US8352035B2 (en) 2007-10-31 2013-01-08 Boston Scientific Neuromodulation Corporation Connector assemblies for implantable stimulators
KR20090095317A (ko) * 2008-03-05 2009-09-09 삼성전자주식회사 영상 부호화 및 복호화 방법 및 장치
KR101396754B1 (ko) * 2010-11-08 2014-05-28 한국전자통신연구원 템플릿 매칭 및 방향 예측을 사용한 비디오 압축 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08154250A (ja) * 1994-11-25 1996-06-11 Victor Co Of Japan Ltd 動画像符号化装置
CN101002475A (zh) * 2004-05-19 2007-07-18 汤姆森许可贸易公司 图像序列的视频数据编码方法
CN1735208A (zh) * 2004-07-12 2006-02-15 微软公司 在运动补偿的时间滤波中的自适应更新
WO2006112272A1 (ja) * 2005-04-13 2006-10-26 Ntt Docomo, Inc. 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、および動画像復号プログラム
CN101039419A (zh) * 2006-03-16 2007-09-19 汤姆森许可贸易公司 用于对图像序列的视频数据进行编码的方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102396226A (zh) * 2009-02-19 2012-03-28 索尼公司 图像处理设备和方法
CN102396226B (zh) * 2009-02-19 2014-07-23 索尼公司 图像处理设备和方法
CN104023240A (zh) * 2009-02-19 2014-09-03 索尼公司 图像处理设备和方法
CN104023239A (zh) * 2009-02-19 2014-09-03 索尼公司 图像处理设备和方法
US8995779B2 (en) 2009-02-19 2015-03-31 Sony Corporation Image processing device and method for generating a prediction image
US9462294B2 (en) 2009-02-19 2016-10-04 Sony Corporation Image processing device and method to enable generation of a prediction image
US9872020B2 (en) 2009-02-19 2018-01-16 Sony Corporation Image processing device and method for generating prediction image
CN104023240B (zh) * 2009-02-19 2018-08-31 索尼公司 图像处理设备和方法
CN104023239B (zh) * 2009-02-19 2019-05-31 索尼公司 图像处理设备和方法
US10334244B2 (en) 2009-02-19 2019-06-25 Sony Corporation Image processing device and method for generation of prediction image
US10931944B2 (en) 2009-02-19 2021-02-23 Sony Corporation Decoding device and method to generate a prediction image
CN112020859A (zh) * 2018-03-29 2020-12-01 日本放送协会 图像编码装置、图像解码装置以及程序

Also Published As

Publication number Publication date
KR20110046444A (ko) 2011-05-04
US20110122953A1 (en) 2011-05-26
JP5641377B2 (ja) 2014-12-17
US8705627B2 (en) 2014-04-22
KR101590663B1 (ko) 2016-02-18
JP5333449B2 (ja) 2013-11-06
EP2306733A1 (en) 2011-04-06
RU2506711C2 (ru) 2014-02-10
JPWO2010010942A1 (ja) 2012-01-05
CN102100071B (zh) 2013-01-02
JP2013243759A (ja) 2013-12-05
WO2010010942A1 (ja) 2010-01-28
RU2011101988A (ru) 2012-07-27
BRPI0915971A2 (pt) 2019-02-26
EP2306733A4 (en) 2017-03-15

Similar Documents

Publication Publication Date Title
CN102100071B (zh) 图像处理设备和方法
CN102396226B (zh) 图像处理设备和方法
CN109644269B (zh) 图像处理设备、图像处理方法和存储介质
CN102396227B (zh) 图像处理设备和方法
JP5590133B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
RU2619267C1 (ru) Способ и устройство для внутреннего предсказания видео
CN102318347B (zh) 图像处理设备和方法
CN102396228A (zh) 图像处理设备和方法
CN102474617A (zh) 图像处理装置和方法
CN102577390A (zh) 图像处理设备和方法
CN104539969A (zh) 图像处理装置和图像处理方法
CN102342108A (zh) 图像处理设备和方法
CN102714734A (zh) 图像处理设备和方法
CN102648630A (zh) 图像处理设备和方法
CN102100072B (zh) 图像处理装置和方法
CN102318346A (zh) 图像处理设备和方法
CN104956679A (zh) 图像处理装置和图像处理方法
CN102939759A (zh) 图像处理设备和方法
CN103748884A (zh) 图像处理装置和图像处理方法
CN102714735A (zh) 图像处理设备和方法
CN104620586A (zh) 图像处理装置和方法
CN102884791A (zh) 图像处理设备和方法
CN102696227A (zh) 图像处理设备和方法
US20130077886A1 (en) Image decoding apparatus, image coding apparatus, image decoding method, image coding method, and program
CN102342107A (zh) 图像处理设备和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130102

Termination date: 20200724