CN101222633A - 运动图像编码方法、运动图像解码方法及程序 - Google Patents

运动图像编码方法、运动图像解码方法及程序 Download PDF

Info

Publication number
CN101222633A
CN101222633A CNA2008100034591A CN200810003459A CN101222633A CN 101222633 A CN101222633 A CN 101222633A CN A2008100034591 A CNA2008100034591 A CN A2008100034591A CN 200810003459 A CN200810003459 A CN 200810003459A CN 101222633 A CN101222633 A CN 101222633A
Authority
CN
China
Prior art keywords
image
picture
memory
filtering
unfiltered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008100034591A
Other languages
English (en)
Other versions
CN101222633B (zh
Inventor
路久怀
柏木吉一郎
小塚雅之
角野真也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Godo Kaisha IP Bridge 1
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101222633A publication Critical patent/CN101222633A/zh
Application granted granted Critical
Publication of CN101222633B publication Critical patent/CN101222633B/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种图像编码方法，用于参照由被编码和解码的图像获得的图像预测性地编码图像，对解码的图像执行滤波处理；从滤波的图像和未滤波的图像这两个图像中将滤波的图像存入存储器中作为参考图像，所述滤波的图像是被滤波的解码图像，所述未滤波的图像是解码图像；及从这两个图像中将未滤波的图像存入存储器中作为用于输出的图像。

Description

运动图像编码方法、运动图像解码方法及程序
本申请是2005年8月19日提交的、申请号为“200480004597.1”的、题为“运动图像编码方法、运动图像解码方法及程序”的专利申请的分案申请。
技术领域
本发明涉及基于参照解码图像的预测对图像进行编码的编码和解码方法。尤其是，本发明涉及采用环路滤波器的运动图像编码和解码方法，以便减小在运动补偿中的压缩误差导致的失真。
背景技术
一般来说，压缩运动图像的编码通过消除时间上以及空间上的冗余来减小数据量。在用于减小时间冗余的中间图像编码中，通过在逐块基础上参照前向图像和后向图像执行运动估计和运动补偿，获得预测图像，从而编码获得的预测图像与将编码的当前块之间的差。利用与编码方法中几乎相反的过程来解码图像。
由于在逐块基础上执行的运动补偿导致的压缩产物，在解码图像中可能出现方形噪声，也称为“块噪声”。作为解决块噪声的一种方案，在现有技术中采用环路滤波器，例如ITU-T Rec.H.264|ISO/IEC14496-10 AVC Joint Final Committee Draft of Joint Video Specification(2002-8-10)。
图17示出常规图像编码装置的结构框图，该装置配置有如上所述的环路滤波器。如图所示，图像编码装置500包括存储器501、中间图像预测单元502、内图像预测单元503、开关504、减法器505、正交变换单元506、量化单元507、多路复用单元508、反量化单元509、反正交变换单元510、加法器511和滤波器512。
滤波器512是一个环路滤波器，用于减小已编码后通过减法器505、正交变换单元506、量化单元507、多路复用单元508、反量化单元509、反正交变换单元510、加法器511的解码图像中的块噪声。
存储器501临时存储被滤波器512滤波的图像。基于滤波图像重建的图像包括用于参考的图像和用于输出的图像(也称为用于显示的图像)。用于参考的图像由中间图像预测单元502以及内图像预测单元503参考，然后根据显示次序输出。另一方面，用于输出的图像是将根据显示次序输出的图像，且不作参考。这里的“输出”是指将显示在外部显示设备上的图像的输出，但是图像并不必由图像编码装置500显示，也不会向外输出。例如，在编码时，当图像同时被显示装置监视时被显示。然而在其它情况下，不显示图像。
以下描述示出用于预测的图像之间的参考关系的图像的对准以及在存储器501中存储图像的操作。
图18示出用于预测的图像对准的第一示例。图中示出的图像0～9是按显示次序示出的运动图像中包括的一帧或一场。在图中的I、B和P分别指示图像类型。I是内图像预测编码的内图像(I图像)。B是双向预测编码图像(B图像)，参考存储器501中存储的多个重建图像。P是预测编码图像，参考存储器501中存储的单个重建图像。阴影图像是可被称为中间图像预测编码中的参考图像，而没有阴影的图像是不用于参考的图像。在第一示例中采用的用于预测的图像对准是图的上部所示的IBBPBBPBBP的重复。
箭头指示在中间图像预测编码中采用的参考关系。例如，图像P3的参考图像是图像10，而图像P6的参考图像是图像I0和P3。
根据这样的参考关系，图像的显示次序不同于编码次序(即，流中的图像的次序)。图中的下部示出按显示次序排列的图像与按编码次序(流次序)排列的图像之间的相关性。如图所示，图像编码装置根据用于预测的图像对准，将按显示次序的图像重新排列为按编码次序的图像。
图19示出用于预测的图像对准的第二示例。图中所示第二示例中采用的用于预测的图像对准是IBBBPBBBP的重复。第一与第二示例之间的差别在于，B图像可被用作第二示例中的参考图像。这就是说，除了图像I0、P4和P8之外，图像B2和B6可以用作参考图像。图像B2和B6将被存储在存储器501中作为参考图像。
图20示出当图像编码装置500利用第一示例中采用的用于预测的图像对准对图像进行编码时、图像如何被存入存储器501。存储器501具有四个存储区，用于存储图中的四个图像。在这四个存储区中最多存入三个参考图像。当前存储参考图像的最多三个存储区被称为参考区，而当前存储用于输出的图像的存储区被称为显示区。在图中，fI0、fP3、fB1等是对应于图18中之图像的图像名，它们是已经被滤波的图像。非阴影区域指示被释放状态的存储区，具有图像名的阴影区域指示用于输出(显示)的图像，具有图像名的非阴影区域指示用于参考的图像。(1)～(8)对应于基于图18中示出的编码次序编码和解码(重建)的图像。当找不到空区域时，将一个新图像(如果有的话)存入保存已显示图像的区域中。当这样的区域找不到时，按显示次序显示尚未显示的图像，使得一个新图像被存入保存这样显示的图像之区域中。当在参考区中存储参考图像有最大数量的图像时，在参考区中最早存储的用于参考的图像被改变成用于显示的图像，以便该区域被分配用于存储新图像。
如图20中所示，(1)～(4)示出图像fI0、fP3、fB1和fB2分别被重建并存入存储器501。在(5)中，图像fP6被重建。为了分配一个区域用于存储图像fP6，从存储器501中顺序地输出图像fI0和fB1，以便在已被显示的图像fB1的存储区中存储图像fP6(盖写)。在(6)中，图像fB4被重建。然后从存储器50 1中输出图像fB2，以便在已被显示的图像fB2的存储区中存储图像fB4。在(7)中，图像fB5被重建。然后，从存储器501中顺序地输出图像fP3和fB4，以便在已被显示的图像fB4的存储区中存储图像fB5。在(8)中，图像fP9被重建。在已被显示的图像fI0的存储区中存储图像fP9。这是因为图像I0已被显示，因此从用于参考的图像改变成用于显示的图像。
按此方式，不仅参考图像可以存入存储器501中，输出图像也可以存入存储器501中。当存储的参考图像被输出且不再被参考时，保存该参考图像的存储区被用于存储一个新图像。当输出图像被输出时，保存该输出图像的存储区被用于存储一个新图像。
图21示出当图像编码装置500利用第二示例中采用的用于预测的图像对准对图像进行编码时、图像如何被存入存储器501。如图中所示，(1)～(4)示出图像fI0、fP4、fB1和fB2分别被重建。这些重建的图像被顺序地存入存储器501。在(5)中，图像fB3被重建。从存储器501中顺序地输出图像fI0和fB1，以便在当前存储已被显示的图像fB1的存储区中存储重建的图像fB3。在(6)中，图像fP8被重建。图像fP8被改变为用于显示的图像，并被存入在当前存储已被显示的图像fI0的存储区中。在(7)中，图像fB6被重建。参考图像fP4被改变成用于显示的图像，因为这些参考图像被最多地存储。然后，从存储器501中输出图像fB2和fB3，以便在图像fB3的位置中存储已变成用于显示之图像的图像fP4。图像fB6被存入参考区。在(8)中，图像fB5被重建。然后从存储器501输出图像fB5，以便在当前存储图像fB5的存储区中存储图像fB7并输出图像fB6。
图22是示出图像编码装置500所操作的、用于存储和输出存储器501中的图像的存储管理的流程图。
如图中所示，图像编码装置500判断是否一个重建图像(以下称为当前图像)是参考图像(S10)。
当判断当前图像是参考图像时，图像编码装置500判断是否参考区域具有空区域用于存储图像(S11)，当找不到空闲空间时，先前存入参考区域的图像被移动到显示区域(S12)。这个移动被解释为图21中的(7)中所示图像fP4的情况。这里的“移动”意味着将存储区的属性从“用于参考”改变为“用于显示”，而不是在存储区之间转移图像。图像编码装置500执行区域分配处理，以便分配存储区(S13)，并将当前图像存储在分配的存储区中作为参考图像(S14)。当在S11中判断找到空区域时，图像编码装置500将当前图像存储在该空区域中作为参考图像。
另一方面，当在S10中判断当前图像不是参考图像时，图像编码装置500判断是否存储器具有空区域(S15)。当判断未找到空区域时，图像编码装置500判断是否当前图像是首先将要输出(显示)的图像(S 16)。当判断当前图像是首先将要输出的图像时，图像编码装置500不存储当前图像，而是输出(显示)当前图像(S17)，当判断当前图像不是首先将要输出的图像时，图像编码装置500执行区域分配处理(S18)。在S18中分配区域之后、或在S15中判断找到空区域之后，图像编码装置500将当前图像存入该区域(S19)。
因此，图像编码装置500将滤波后重建的图像存入存储器501中，作为参考图像或作为用于输出、从而将其输出用于显示的图像。
图23是示出常规图像解码装置的结构的框图。图中的图像解码装置600包括存储器601、中间图像预测单元602、内图像预测单元603、开关604、反量化单元609、反正交变换单元610、加法器611、滤波器612和解多路复用单元613。解多路复用单元613将流解多路复用为运动信息、内图像预测模式信息、图像位流和其它信息。中间图像预测单元602利用基于运动信息的中间图像预测，产生预测图像。内图像预测单元603利用基于内图像预测模式信息的内图像预测，产生预测图像。开关604、反量化单元609、反正交变换单元610、加法器611、滤波器612分别具有与名称相同于图17中所示的相应部件相同的功能。图像解码装置600所执行的解码与图像编码装置500所执行的解码(即图像的重建)相同。
因此图像编码装置500和图像解码装置600被构成用于其中按编码次序的图像按显示次序重新排列的情况，如图18和19中所示的用于预测的图像对准中所示。对于采用图像对准用于预测而不是这种重新排列的情况，该常规图像编码装置的结构如图24所示，而该常规图像解码装置的结构如图25所示。图24中的图像编码装置500a和图25中的图像解码装置600a对比图17和图23，其不同之处在于，它们从滤波器512和612输出图像，而不是从存储器501和601输出图像。相应的存储器501和601只存储参考图像，而不是用于显示的图像，因为在这种情况下不需要图像的重新排列。
在现有技术中的这种图像编码装置和图像解码装置通过滤波降低了所有图像的块噪声。另外，它们改善了图像质量以及编码效率，因为对于参考图像也降低了块噪声。
然而，相关的技术已经包含一个问题，即，当图像的材料是胶片时，降低了对于按胶片颗粒制造的胶片是特定的质量。这是因为胶片颗粒作为在图像之间具有很小的空间时间相关性的特定信号分量出现在图像信号中，而胶片颗粒被环路滤波器除去。
当这种胶片颗粒出现在图像信号中时，没有环路滤波器的图像编码装置(如在MPEG-2中)降低了编码效率，即降低了压缩速率。
发明内容
本发明的目的是提供一种图像编码方法和一种图像解码方法，用于有效的编码，而不会在采用胶片的情况下降低图像的质量。
为实现上述目的，根据本发明的图像编码方法用于参照由被编码和解码的图像获得的图像预测性地编码图像，该方法包括：滤波步骤，对解码的图像进行滤波处理；第一确定步骤，从滤波的图像和未滤波的图像这两个图像中确定滤波的图像为参考图像，所述滤波的图像是被滤波的解码图像，所述未滤波的图像是所述解码图像；及第二确定步骤，从这两个图像中确定未滤波的图像作为输出图像。
该图像编码方法还可包括：第一存储步骤，将该滤波的图像作为参考图像存入存储器中；及第二存储步骤，将该未滤波的图像作为输出图像存入该存储器中。
利用上述结构，对于参考图像减少了胶片颗粒，从而改善了编码效率，同时对于输出图像保留胶片颗粒，所以不会降低胶片的质量。
该图像编码方法还可包括：释放步骤，释放存储不再用于参考的参考图像的存储区，所述参考图像是存储在该存储器中的参考图像之一。
在该释放步骤中，当参考图像变成不再用于参考的图像时，存储该参考图像的区域被释放，所述参考图像是存储在该存储器中的参考图像之一。
在该释放步骤中，当参考图像变成不再用于参考的图像时，存储该参考图像的区域在输出图像已被输出的情况下被释放，所述参考图像是存储在该存储器中的参考图像之一，所述参考图像和输出图像是由一个解码图像产生的。
该图像编码方法还可包括：编码步骤，对指示未滤波的图像和滤波的图像中的哪一个将被确定为输出图像的识别信息进行编码。
利用上述结构，图像解码装置通过依据例如是否图像的材料是胶片来编码识别信息，能够在滤波之前或滤波之后将图像切换成用于输出的图像。因此，能够根据材料以最佳质量显示图像。
本发明中采用的图像编码方法和图像解码方法具有的技术效果是，对例如胶片的图像进行有效地编码，而不会降低这种图像的质量。而且，能够根据材料以最佳质量显示图像。
关于根据本发明的图像编码装置、图像解码装置、程序和流，由于它们分别具有与上述方法相同的结构、操作和效果，对它们的描述被简化。为了详细地介绍本申请的技术背景，2003年2月21日递交的临时申请号60/449209、2003年11月26日递交的美国申请号10/724317和2003年11月28日递交的日本专利申请号2003-398981被加入在此作为参考。
附图简要说明
图1示出根据第一实施例的图像编码装置的结构框图；
图2示出使用第一示例中采用的用于预测的图像对准对图像编码时如何将图像存入存储器中的示意图；
图3示出使用第二示例中采用的用于预测的图像对准对图像编码时如何将图像存入存储器中的示意图；
图4示出使用第二示例中采用的用于预测的图像对准对图像编码时如何将图像存入存储器中的示意图；
图5是示出用于将图像存入存储器和从存储器输出图像的第一存储管理处理的流程图；
图6示出区域分配处理的流程图；
图7是示出用于将图像存入存储器和从存储器输出图像的第二存储管理处理的流程图；
图8示出根据第一实施例的图像解码装置的结构框图；
图9示出根据第二实施例的图像编码装置的结构框图；
图10示出根据第二实施例的图像解码装置的结构框图；
图11是示出滤波器应用信息的一个示例的表；
图12A～12C是示出用于存储程序的存储介质的示意图；
图13是内容提供系统的整体构成的框图；
图14是蜂窝电话的结构框图；
图15是蜂窝电话的外观图；
图16是数字广播系统的一个示例的示意图；
图17是配置有环路滤波器的常规图像编码装置的结构框图；
图18示出用于预测的图像对准的第一示例；
图19示出用于预测的图像对准的第二示例；
图20示出常规图像编码使用第一示例中采用的用于预测的图像对准对图像编码时如何将图像存入存储器中的示意图；
图21示出常规图像编码使用第二示例中采用的用于预测的图像对准对图像编码时如何将图像存入存储器中的示意图；
图22是在存储器中存储图像并输出的常规存储管理的流程图；
图23示出常规图像解码装置的结构框图；
图24示出不重新排列图像的常规图像编码装置的结构框图；
图25示出不重新排列图像的常规图像解码装置的结构框图。
实施本发明的最佳方式
(第一实施例)
(图像编码装置100的结构)
图1示出根据本发明第一实施例的图像编码装置的结构框图。如图所示，图像编码装置100由存储器101、中间图像预测单元102、内图像预测单元103、开关104、减法器105、正交变换单元106、量化单元107、多路复用单元108、反量化单元109、反正交变换单元110、加法器111、滤波器112和控制单元113组成。
存储器101存储未滤波的图像和由滤波器112滤波的图像。由滤波器112滤波的图像被用作参考图像，而未被滤波的图像被用作输出图像。对于参考图像减少了胶片颗粒，使得编码效率得以改善。对于输出图像则保留胶片颗粒，使得胶片的质量不会变差。
中间图像预测单元102基于中间图像预测产生预测图像。这就是说，在将被编码的当前图像中包括的单元块中，中间图像预测单元102参照存储器101中存储的参考图像来估算运动矢量，并根据运动矢量产生基于参考图像的预测图像。在此情况下，中间图像预测单元102在当前图像是P图像时采用单个参考图像，在当前图像是B图像时采用两个参考图像。
内图像预测单元103基于内图像预测来产生预测图像。这就是说，内图像预测单元103在当前图像中包括的单元块中产生预测图像，I图像。在此情况下，内图像预测单元103引用已被解码并存入存储器101中的I图像中的像素。
当该当前图像是P图像或B图像时，开关104连接至中间图像预测单元102的一侧或内图像预测单元103的一侧，不论哪一个具有较小的预测误差。当该当前图像是I图像时。开关104连接至该内图像预测单元103的一侧。
减法器105从经开关104由中间图像预测单元1 02或内图像预测单元103输入的预测图像中的每个像素值中减去将被编码的当前块中的每个像素值。由该减法所获得的结果被称为预测误差。
正交变换单元106对从减法器105输出的预测误差执行正交变换。由正交变换所获得的结果被称为系数块。
量化单元107量化从正交变换单元106输出的系数块。由量化所获得的结果被称为量化的系数块。
多路复用单元108对从量化单元107输出的量化的系数块进行可变长度编码，并对可变长度编码、指示该中间图像预测单元102所估算的运动矢量的运动矢量信息、由内图像预测单元103输出的内图像预测模式信息、指示该开关104所操作的切换的选择信息、涉及将存入存储器101的图像的滤波器应用信息及其它信息作为一个流进行进一步编码。
反量化单元109对由量化单元107输出的量化的系数块进行反量化，以获得系数块。
反正交变换单元110对从反量化单元109输出的系数块进行反正交变换，以获得预测误差。
加法器111将从反正交变换单元110输出的预测误差中的每一个像素值加到从中间图像预测单元102或内图像预测单元103经开关104输入的预测图像的每一个像素值上。相加的结果是为当前块产生的解码块。通过在存储器101中顺序地存储这样的解码块，重建没有采用滤波器的图像。
滤波器112执行滤波，以便减少从加法器111输出的解码块中的块噪声。例如，对于从加法器111输出的解码块的边界上的像素，利用已存入存储器101中的解码块中的像素值，滤波器112在水平和垂直方向执行滤波(例如，抽头数是几个，如9个，直到10以上)。这样重建采用滤波器的图像。
控制单元113在整体上控制图像编码装置100。控制单元113尤其控制将滤波和未滤波图像存入存储器101，和从存储器101输出这些图像。
(在存储器101中存入图像的第一示例)
图2示出当图像编码装置100利用在图18所示的第一示例中采用的用于预测的图像对准来编码图像时、如何将图像存入存储器101中的示意图。在图中，存储器101具有四个存储区，用于存储四个图像。这四个存储区用于存储最多三个参考图像。当前存储参考图像的最多三个存储区被称为参考区，而当前存储用于输出的图像的存储区被称为显示区。参考区和显示区在物理上不是固定的，并根据每一个存储区的属性分类。该属性指示是否存储的图像是用于参考或用于输出。在图中，fI0、fP3和fB1等指示应用滤波器的图像，I0、P3、B1等指示未应用滤波器的图像。非阴影的存储区指示参考区，而阴影存储区指示显示区。(1)～(8)分别对应于基于图18中所示的编码次序而编码/解码(即重建)的图像。
在图2的(1)中，基于加法器111和滤波器112的输出来分别重建滤波的图像fI0和未滤波的图像I0。未滤波的图像I0被存入显示区，而滤波的图像fI0被存入参考区。
在(2)中，分别重建滤波的图像fP3和未滤波的图像P3。未滤波的图像P3被存入显示区，而滤波的图像fP3被存入参考区。
在(3)中，重建未滤波的图像B1。该图像不是参考图像。因此不重建滤波的图像fB1。首先，输出存储在显示区中的未滤波的图像I0，以便释放该区域。然后将未滤波图像B1存入释放了图像I0的显示区中。
在(4)中，重建未滤波的图像B2。该图像不是参考图像，因此，不重建滤波的图像fB2。首先，从显示区输出未滤波的图像B1，以便释放该区域。然后将未滤波的图像B2存入释放了图像B1的显示区中。
在(5)中，分别重建滤波的图像fP6和未滤波的图像P6。首先，顺序地从显示区输出未滤波的图像B2和P3，以便释放这些区。然后将未滤波的图像P6存入释放的显示区，同时将滤波的图像fP6存入释放的参考区。即，在参考区中图像的最大数目是3，而在显示区中图像的数目是1。
在(6)中，重建未滤波的图像B4。该图像不是参考图像。因此不重建滤波的图像fB4。重建的图像(B4)不存入存储器101中，而是被输出。
在(7)中，重建未滤波的图像B5。该图像不是参考图像。因此不重建滤波的图像fB5。重建的图像(B5)不存入存储器101中，而是被输出。
在(8)中，分别重建滤波的图像fP9和未滤波的图像P9。首先，从显示区输出未滤波的图像P6，以便释放该区域。然后将未滤波的图像P9存入所释放的显示区，而将滤波的图像fP9存入参考区。
因此，图像编码装置100将滤波的图像存入参考区中作为参考图像，并将未滤波的图像存入显示区中作为用于输出的图像。而且，在第一示例中采用的用于预测的图像对准的情况下(参见图18)，对于包括参考区和显示区的存储区，能够存储四个图像的存储区是足够的。
(将图像存入存储器101的第二示例)
图3示出当图像编码装置100采用在图19中示出的第二示例中所用的用于预测的图像对准对图像进行编码时、图像是如何存入存储器101的。在图中，存储器101具有用于5个图像的5个存储区。这5个存储区用于存储最多3个参考图像。
在图3的(1)中，滤波的图像fI0和未滤波的图像I0分别基于加法器111和滤波器112的输出重建。未滤波的图像I0存入显示区，同时滤波的图像fI0存入参考区。
在(2)中，分别重建滤波的图像fP4和未滤波的图像P4。未滤波的图像P4存入显示区，同时滤波的图像fP4存入参考区。
在(3)中，分别重建滤波的图像fB2和未滤波的图像B2。首先输出未滤波的图像I0，以便释放该区域。然后未滤波的图像B2存入显示区，同时滤波的图像fB2存入参考区。
在(4)中，未滤波的图像B1被重建。该图像不是参考图像。因此不重建滤波的图像fB1。重建的图像B1不存入存储器101中，而是被输出。
在(5)中，重建未滤波的图像B3。该图像不是参考图像。因此不重建滤波的图像fB3。首先从显示区输出未滤波的图像B2。然后将未滤波的图像B3存入显示区中。
在(6)中，分别重建滤波的图像fP8和未滤波的图像P8。首先释放参考区中的图像fI0(因为已显示图像I0)，然后从显示区输出未滤波的图像B3，以便释放该区域。释放对应于两个图像的区域，以便将未滤波的图像P8存入显示区，同时滤波的图像fP8存入参考区。
在(7)中，分别重建滤波的图像fB6和未滤波的图像B6。首先释放参考区中的图像fP4(因为图像P4是在显示区中)，然后从显示区输出未滤波的图像P4，以便释放该区域。然后将未滤波的图像B6存入释放的显示区，同时滤波的图像fB6存入参考区。
在(8)中，重建未滤波的图像B5。该图像不是参考图像。因此不重建滤波的图像fB5。重建的图像B5不存入存储器101中，而是被输出。
在(9)中，重建未滤波的图像B7。该图像不是参考图像。因此不重建滤波的图像fB7。首先从显示区输出未滤波的图像B6，以便释放该区域。然后将未滤波的图像B7存入显示区中。
因此，图像编码装置100将滤波的图像存入参考区中作为参考图像，将未滤波的图像存入显示区作为用于输出的图像。而且，在利用图19中所示的第二示例中所用的用于预测的图像对准的情况下，对于包括参考区和显示区的存储区，能够存储5个图像的存储区足够了。
(将图像存入存储器101中的第三示例)
图4示出当图像编码装置100采用在图19中示出的第二示例中所用的用于预测的图像对准对图像进行编码时、图像是如何存入存储器101的。在图中，存储器101采用4个存储区而不是5个，这一点不同于上述的第二示例。相同性在于，参考区中的存储区的最大数目是3。在此情况下，可能出现缺少显示区的情况，因为存储器101具有更少的存储区。结果，有些解码的图像可能未输出。这是图像编码装置100的缺点，但是优点是可以利用更少的存储区适当编码所有图像。
在图4的(1)中，滤波的图像fI0和未滤波的图像I0分别基于加法器111和滤波器112的输出重建。未滤波的图像I0存入显示区，同时滤波的图像fI0存入参考区。
在(2)中，分别重建滤波的图像fP4和未滤波的图像P4。未滤波的图像P4存入显示区，同时滤波的图像fP4存入参考区。在第三示例的这一点上，空的存储区变得更少，这一点不同于第二示例。
在(3)中，分别重建滤波的图像fB2和未滤波的图像B2。滤波的图像fB2是参考图像，需要明确地被存储。为此，从用于释放的显示区输出未滤波的图像I0，以便将图像fB2存入被释放的区域。然而在这一点不能存储图像B2，因为没有被释放的区域，图像B1是将显示的下一个图像，它尚未被重建。然后，输出重建的图像B2，跳过以下将显示的图像B1。
在(4)中，未滤波的图像B1被重建。该图像不是参考图像。因此不重建滤波的图像fBI。由于在这一点上找不到释放的区域，已经输出在显示次序中的位置晚于B1的图像B2，不存储图像B1。
在(5)中，重建未滤波的图像B3。该图像不是参考图像。因此不重建滤波的图像fB3。已经显示以下将显示的图像B2。因此输出图像B3。
在(6)中，分别重建滤波的图像fP8和未滤波的图像P8。首先输出未滤波的图像P4，以便释放该区域。将未滤波的图像P8存入显示区，同时释放参考区中的图像I0(因为已经显示图像fI0)，以便将滤波的图像fP8存入参考区中的被释放区域。
在(7)中，分别重建滤波的图像fB6和未滤波的图像B6。滤波的图像fB6是参考图像，需要被明确地被存储。在显示次序中的位置晚于图像B6的图像P8被存入显示区，以便跳过图像B5，输出重建的图像B6，下一个图像将按显示次序显示。释放参考区中的图像fP4(由于图像P4已被显示)，使得图像fB6被存入所释放的区域。
在(8)中，重建未滤波的图像B5。该图像不是参考图像。因此不重建滤波的图像fB5。在显示次序中的位置晚于图像B5的图像B6已被输出，使得重建的图像B5不存入存储器101，也不被输出。
在(9)中，重建未滤波的图像B7。该图像不是参考图像。因此不重建滤波的图像fB7。未滤波的图像B7不存入存储器101中，而是被输出。
因此，图像编码装置100将滤波的图像存入参考区中作为参考图像，将未滤波的图像存入显示区作为用于输出的图像。与第二示例相比，缺乏显示区的情况可能会出现，因为存储器101具有更少的存储区。结果，该图像的一部分可能不被输出。这是图像编码装置100的缺点，但是优点是可以利用更少的存储区适当编码所有图像。
(第一存储管理处理)
图5是由控制单元113执行的第一存储管理处理的流程图，该处理用于将图像存入存储器101和从存储器101输出图像。应该注意，紧随在重建之后的滤波或未滤波的图像被称为当前图像。
如图中所示，控制单元113首先判断是否当前图像是参考图像(S50)。
当判断当前图像是参考图像时，控制单元113判断是否参考区具有用于存储该图像的空区域(S51)。当判断找不到空区域时，控制单元113释放首先保存在该参考区内的图像(S52)。在S51中判断找到空区域之后、或判断在S52中释放图像之后，控制单元113将滤波的当前图像作为参考图像，存入该空区域或存入释放的区域(S53)。
当在S50中判断当前图像不是参考图像时，控制单元113判断是否包括参考区和显示区的存储区具有空区域(S54)。当判断该存储器没有空区域时，控制单元113判断是否当前图像是将首先输出(显示)的图像(S55)。当判断当前图像将首先输出时，控制单元113不将未滤波的当前图像存入存储器101，而是输出它(S56)，当当前图像不是首先将输出的图像时，控制单元113执行分配区域的处理(S57)。在S57中分配区域后，或在S54中找到空区域后，控制单元113将未滤波的当前图像相应地保存在分配的区域中或空区域中(S58)。
图6是如S57和S58中所示的分配区域的处理的详细流程图。在图中，控制单元113判断是否存入显示区的图像已输出(显示)(S100)。当判断该图像已输出时，控制单元113释放该存储区(S101)。当判断该图像尚未输出时，控制单元113从存储器101中保存的图像和当前图像中选择将首先显示的图像，并输出(显示)它(S102)。控制单元113还判断是否当前图像在S102(S103)中已输出，并在当前图像已输出时终止该处理，而在当前图像尚未显示时返回S100。
因此，控制单元113在存储器101中分别将滤波后重建的图像作为参考图像保存，将未滤波而重建的图像作为用于输出的图像保存。
在图5和图6中所示的第一存储管理处理中，存储区对于参考图像(被滤波的重建图像)最多释放一次，存储区对于用于输出的图像(未滤波的重建图像)最多释放一次。
(第二存储管理处理)
图7是由控制单元113执行的第二存储管理处理的流程图，该处理用于将图像存入存储器101和从存储器101输出图像。
在第二存储管理处理中，存储区最多释放一次用于参考图像(被滤波的重建图像)，如在第一存储管理处理的情况。然而差别在于，存储区对于用于输出的图像(未滤波的重建图像)最多释放二次。即，在第一存储管理处理中释放处理的总数目最多是2，一次用于存储参考图像，另一次用于存储用于输出的图像。然而在第二存储管理处理中，执行释放处理只是用于存储用于输出的图像。因此，S67最多被启动二次，用于分配最多两个存储区，一次用于参考图像，另一次用于输出图像。尽管第二存储管理处理在这方面具有不同流程，可以获得与图2～4中所示相同的结果。
如图7中所示，控制单元113首先判断是否当前图像是参考图像(S60)。
当判断当前图像是参考图像时，控制单元113判断是否参考区具有空区域(S61)。当找不到空区域时，控制单元113移动首先存入参考区中的图像(S62)。这里的移动不是指在存储区之间转移图像，而是将存储区的属性从“用于参考”改为“用于显示”。
在S61中判断找到空区域之后，或是在S62中移动图像之后，控制单元113将滤波的当前图像作为参考图像存储到空区域中，或存入由该移动产生的空白空间中(S63)。
当在S60中判断当前图像不是参考图像时，控制单元113判断是否包含参考区和显示区的存储区具有空区域(S64)。当判断找不到空区域时，控制单元113判断是否当前图像是首先将输出(显示)的图像(S65)。当判断当前图像将首先被输出时，控制单元113将未滤波的当前图像存入存储器101中，并输出(显示)它(S66)。当判断当前图像不是首先输出时，控制单元113执行分配区域的处理(S67)，并返回到S64。当在S64中判断找到空区域时，控制单元113将未滤波的当前图像存入显示区(S68)。
在S67和S68中所示的区域分配处理与图6的流程图中所示的处理相同。
(图像解码装置的结构)
图8是根据本发明的第一实施例的图像解码装置的结构框图。图中所示的图像解码装置200由存储器201、中间图像预测单元202、内图像预测单元203、开关204、反量化单元209、反正交变换单元210、加法器211、滤波器212和解多路复用单元213组成。解多路复用单元213解多路复用运动信息、内图像预测模式信息、图像位流以及来自该流的其它信息。中间图像预测单元202利用基于运动信息的中间图像预测产生预测图像，而内图像预测单元203利用基于内图像预测模式信息的内图像预测产生预测图像。开关204、反量化单元209、反正交变换单元210、加法器211、滤波器212分别具有与图1中具有相同名称的相应部件相同的功能。由图像解码装置200执行的解码与图像编码装置500执行的解码(图像的重建)相同。
如上所述，利用根据本实施例的图像编码装置和图像解码装置，滤波的图像被用作参考图像，而未滤波的图像被用作输出图像。对于参考图像减小了块噪音和胶片颗粒，所以可以增强编码效率。而且，对于输出图像保持了胶片颗粒，所以不会使胶片的质量变差。
(第二实施例)
根据第一实施例的图像编码装置100和图像解码装置200的结构是用于重新排列图像用于显示的情况，如图18和图19中所示的用于预测的图像对准中所示。本实施例描述了采用用于预测的图像对准而不作这种重新排列之情况的图像编码装置和图像解码装置。
图9是根据本实施例的图像编码装置的结构框图。图中的图像编码装置100a只将滤波的图像存在存储器101中，而不是将滤波的图像和未滤波的图像都存储在存储器101中，并具有附加开关114，这些都不同于图1所示的图像编码装置100。以下着重描述这些不同之处，并在此简述相同点。
存储器101存储滤波的图像作为参考图像，但是不存储未滤波的图像。
开关114接收来自加法器111的重建图像(即，未滤波的图像)以及来自滤波器112的重建图像(即，滤波的图像)，并根据滤波器应用信息选择性输出这二者之一。
图10是根据本实施例的图像解码装置的结构框图。图中的图像解码装置200a不同于图8中所示的图像解码装置200之处在于以下方面：它在存储器201中只存储滤波的图像，而不是滤波的图像和未滤波的图像都存储；增加了开关214。图像解码装置200a执行的解码与图像解码装置100a执行的解码(重建)相同，所以在此省略其描述。
如上所述，利用根据本实施例的图像编码装置100a和图像解码装置200a，对于参考图像减小了块噪音和胶片颗粒，这是因为它们被滤波，所以提高了编码效率。此外，在图像材料是胶片的情况下，可以输出图像而不降低胶片质量，因为开关114和214选择未滤波的图像。当材料是不同于胶片的其它材料时，开关114和214选择滤波的图像，使得可以输出噪声较少的图像，并根据材料可以选择图像的最佳质量。
应该注意的是，上述每一个实施例都可以具有根据滤波器应用信息转换将输出图像的结构。图11中示出在此情况下的滤波器应用信息的一个示例。在图中，滤波器应用信息表现为一个数字，该数字指示哪一个图像将被输出，滤波的图像或未滤波的图像。例如，数字“0”是指输出流中所有图像中的未滤波的图像。数字“1”是指输出流中所有图像中的滤波的图像。数字“2”是指输出滤波器应用信息指定的图像中的未滤波的图像。数字“3”是指输出滤波器应用信息指定的图像中的滤波的图像。数字“4”是指输出由滤波器应用信息指定的图像之后的图像中的未滤波的图像。数字“5”是指输出由滤波器应用信息指定的图像之后的图像中的滤波的图像。滤波器应用信息设置用于流中的任意图像。例如，滤波器应用信息可以设置在SEI(补充增强信息)中，该补充增强信息在MPEG-4AVC标准中被认为是附加信息。
在上述每一个实施例中解释了被滤波的重建图像被用作参考图像、以及未滤波的重建图像被用作输出图像。它可以在这种方法和现有方法之间进行转换，在现有方法中是根据图像，使得未滤波的重建图像被用作参考图像、以及滤波的重建图像被用作输出图像。
即，基于逐个图像可以转换以下步骤(1)～(3)中的任一个。
(1)存储两个图像：被滤波的重建图像作为参考图像；未滤波的重建图像作为输出图像。
(2)存储一个未滤波的重建图像作为参考图像。
(3)存储一个滤波的重建图像作为输出图像。
在此情况下，可以采用图5和图7中所示的流程，而对存储管理处理不做任何改变。
而且，也可以向每一个图像分配对应于图像显示次序(如图像次序计数(POC))的代码，使得可以利用POC执行图5和图7中所示的流程。这就是说，相同的POC被分配给作为滤波的重建图像的参考图像以及作为未滤波的重建图像的输出图像，这两者都是由一个解码图像产生的。以此方式，当图像从参考区移动到显示区，以及移动图像的POC指示一个小于刚才输出的图像的POC的值时，在该参考区中的图像可以被判断为“已显示”。通过检测是否参考区和显示区具有POC相同的图像，也可以对在将图像从参考区移动到显示区时将释放的图像进行判断(即，是否参考图像需要被输出)。应该注意，通过向解码的图像分配特定的数字，可以实现检测参考区和显示区内具有相同POC的图像(然而，当滤波的重建图像被用作参考图像，以及未滤波的重建图像被用作输出图像时，将相同的数字分配给这些图像)。因此可以判断，当在将图像从参考区移动到显示区时找到相同数字的时候，不必输出参考图像。
(第三实施例)
此外，在独立的计算机系统中，通过将实现上述实施例所述的图像编码方法的程序记录在记录介质上，例如软盘或类似介质上，可以容易地实现上述实施例所述的处理。
图12A、12B和12C示出记录介质，其上记录用于在计算机系统中实现第一实施例和第二实施例中所述的图像编码方法的程序。
图12B示出软盘FD的全外观、其截面结构、以及磁盘本身FD作为记录介质主体的全外观，而图12A示出软盘FD的物理格式的示例。
磁盘FD被包含在外壳F中，在磁盘FD的表面上从外围到内部同心地形成多个轨迹Tr，每个轨迹沿角方向分为16个扇区Se。因此，图像编码方法作为如上所述的程序被记录在磁盘FD上为其分配的区域中。
图12C示出用于记录和读出在软盘FD上的程序的结构。
当程序记录在软盘FD上时，计算机系统Cs通过软盘驱动器FDD写入作为上述程序的图像编码方法。当使用软盘FD上的程序在计算机系统Cs中构成图像编码方法时，该程序被从软盘FD上读出，并通过软盘驱动器FDD传送到计算机系统Cs。
应该注意，在上述说明中，软盘FD用作记录介质的一个示例，但是使用光盘也可以实现相同的过程。另外，记录介质不限于这里所述的例子，可以采用能够记录程序的任何其它介质，例如IC卡和ROM盒。
(第四实施例)
以下说明上述实施例中所述的图像编码方法的应用及其使用系统。
图13是内容提供系统ex100的整体配置框图，该系统用于实现内容传送服务。提供通信服务的区域被分为期望尺寸的若干个小区，小区站ex107～ex110是固定的无线台，位于相应的小区中。
该内容提供系统ex100例如通过因特网ex101、因特网服务提供者ex102、电话网络ex104以及小区站ex107～ex110连接若干个装置，如计算机ex111、个人数字助理(PDA)ex112、摄像机ex113、蜂窝电话ex114和带有摄像机的蜂窝电话ex115。
然而，内容提供系统ex100不限于图13所示的配置，并可以连接这些装置的任意组合。同样，每个装置可以直接连接至电话网络ex104，而不通过小区站ex107～ex110。
摄像机ex113是可以拍摄影像的装置，如数字式摄像机。蜂窝电话ex114可以是以下任一系统的蜂窝电话：个人数字通信(PDC)系统、码分多址(CDMA)系统、宽带码分多址(W-CDMA)系统或全球移动通信(GSM)系统、个人手持电话系统(PHS)或类似系统。
流式服务器ex103通过电话网络ex104和小区站ex109连接摄像机ex113，小区站ex109基于用户发送的编码数据，使用摄像机ex113实现实时分发等。摄像机ex113、发送数据的服务器等中的任一个都可以对数据编码。摄像机ex116拍摄的运动图像数据可通过计算机ex111被发送到流式服务器ex103。在此情况下，摄像机ex115或计算机ex111都可以对运动图像数据进行编码。计算机ex111和摄像机ex116中包含的LSI ex117执行编码处理。用于编码和解码图像的软件被集成在任何类型的记录介质(如CD-ROM、软盘和硬盘)中，该记录介质是计算机ex111或类似装置可读的记录介质。而且，带有摄像机的蜂窝电话ex115可以发送运动图像数据。该运动图像数据是由蜂窝电话ex115中包括的LSI编码的数据。
内容提供系统ex100对用户使用摄像机ex113、摄像机ex116或类似装置拍摄的内容(如音乐实况录像)以与上述实施例所示相同的方式进行编码，并将编码的内容发送给流式服务器ex103，同时流式服务器ex103应客户机的请求向它们进行内容数据的流式传送。客户机包括计算机ex111、PDA ex112、摄像机ex113、蜂窝电话ex114等，它们都能够对上述编码数据进行解码。因此在内容提供系统ex100中，客户机可以接收和再现被编码的数据，可以进一步实时接收、解码和再现数据，从而实现个人广播。
当该系统中的每一个装置执行编码或解码时，可以采用上述实施例中所述的图像编码装置或图像解码装置。
以下将说明蜂窝电话作为这种装置的一个示例。
图14是蜂窝电话ex115使用上述实施例中所述的图像编码方法的示意图。蜂窝电话ex115包括：用于通过无线电波与小区站ex110通信的天线ex201；摄像机单元ex203，如能够摄取运动和静止图像的CCD摄像机；显示单元ex202(如液晶显示器)，用于显示数据，如由天线ex201接收或摄像机单元ex203摄取的解码图像等；主体单元，包括一组操作键ex204；用于输出音频的音频输出单元ex208，如扬声器；用于输入音频的音频输入单元ex205，如麦克风；记录介质ex207，用于记录编码的或解码的数据，如由摄像机摄取的运动或静止图像的数据、接收的电子邮件的数据以及运动或静止图像的数据；以及插槽单元ex206，用于将记录介质ex207固定在蜂窝电话ex115上。记录介质ex207在本身内保存闪速存储元件，闪速存储元件是一种电可擦除和可编程只读存储器(EEPROM)，属于可从塑料外壳上电擦除和可再写至塑料外壳的非易失性存储器，如SD卡。
接着，以下将参照图15描述蜂窝电话ex115。在蜂窝电话ex115中，主控单元ex311是为了对包含显示单元ex202以及操作键ex204的主体的每个单元进行整体控制而设计的，它与电源电路单元ex310、操作输入控制单元ex304、图像编码单元ex312、摄像机接口单元ex303、液晶显示(LCD)控制单元ex302、图像解码单元ex309、多路复用/解多路复用单元ex308、读写单元ex307、调制解调电路单元ex306和音频处理单元ex305通过同步总线ex313相互连接。
当通过用户操作使呼叫结束键或电源键为“开”(ON)时，电源电路单元ex310从电池组向相应的单元供电，以便启动带有摄像机的数字蜂窝电话ex115为准备状态。
在蜂窝电话ex115中，在包括CPU、ROM和RAM的主控单元ex311的控制下，音频处理单元ex305将音频输入单元ex205在对话模式中接收的音频信号转换为数字音频数据，调制解调电路单元ex306执行数字音频数据的扩频处理，通信电路单元ex301对数据执行数模转换和频率转换，以便通过天线ex201发射数据。同样，在蜂窝电话ex115中，通信电路单元ex301将天线ex201在对话模式中接收的数据放大，并对数据执行频率转换和模数转换，调制解调电路单元ex306执行数据的反扩频处理，音频处理单元ex305将其转换成模拟音频数据，以便使其通过音频输出单元ex208输出。
而且，当在数据通信模式中发送电子邮件时，通过操作主体的操作键ex204而输入的电子邮件的文字数据通过操作输入控制单元ex304而被发送出去，到达主控单元ex311。在主控单元ex311中，在调制解调电路单元ex306执行该文字数据的扩频处理以及通信电路单元ex301执行该文字数据的数模转换和频率转换之后，该数据通过天线ex201被发送到小区站ex110。
当在数据通信模式中传输图像数据时，由摄像机单元ex203拍摄的图像数据通过摄像机接口单元ex303被提供给图像编码单元ex312。当不传输图像数据时，通过摄像机接口单元ex303和LCD控制单元ex302，也可以直接在显示单元ex202上显示摄像机单元ex203拍摄的图像数据。
图像编码单元ex312包括本发明所述的图像编码装置，它压缩由摄像机单元ex203所提供的图像数据，并采用上述实施例中所示的图像编码装置所用的编码方法对图像数据进行编码，从而将其转换为编码的图像数据，并将其发送到多路复用/解多路复用单元ex308。此时，蜂窝电话ex115将音频输入单元ex205在用摄像机单元ex203拍摄期间所接收的声音通过音频处理单元ex305发送到多路复用/解多路复用单元ex308，作为数字音频数据。
多路复用/解多路复用单元ex308利用预定的方法，多路复用由图像编码单元ex312提供的编码图像数据和由音频处理单元ex305所提供的音频数据，然后调制解调电路单元ex306对作为多路复用之结果而获得的多路复用数据执行扩频处理，最后通信电路单元ex301执行该数据的数模转换和频率变换，以便通过天线ex201进行传输。
关于在数据通信模式中接收链接网页或类似对象的运动图像文件的数据，调制解调电路单元ex306对于从小区站ex110经天线ex201接收的数据执行反扩频处理，并将作为反扩频处理之结果而获得的多路复用数据发送出去。
为了对通过天线ex201接收的多路复用数据进行解码，多路复用/解多路复用单元ex308将多路复用数据解多路复用为图像数据的比特流和音频数据的比特流，并通过同步总线ex313分别将编码的图像数据提供给图像解码单元ex309，将音频数据提供给音频处理单元ex305。
接着，包括本发明所述图像解码装置的图像解码单元ex309利用对应于上述实施例中所示编码方法的解码方法，对图像数据的比特流进行解码，以产生再现的运动图像数据，并通过LCD控制单元ex302将该数据提供给显示单元ex202，因此例如链接网页运动图像文件中包括的图像数据被显示。与此同时，音频处理单元ex305将音频数据转换成模拟的音频数据，并将此数据提供给音频输出单元ex208，因此例如链接网页的运动图像文件中包括的音频数据被再现。
应该注意，本发明并不限于上述系统，因为基于底面的或卫星数据广播最近已出现在新闻中，至少可以将上述实施例中所述的图像编码装置或图像解码装置组合在图16中所示的数字广播系统中。更具体地说，视频信息的比特流通过无线电波从广播站ex409发送到广播卫星ex410，或者与通过无线电波与广播卫星ex410进行通信。在收到视频信息时，广播卫星ex410发射用于广播的无线电波。然后，具有卫星广播接收功能的家用天线ex406接收这些无线电波，电视机(接收机)ex410或机顶盒(STB)ex407解码用于再现的编码比特流。如上所述实施例中的图像解码装置可以被实现在再现装置ex403中，其用于读出和解码记录介质ex402(如CD和DVD)上记录的比特流。在此情况下，再现的运动图像信号被显示在监视器ex404上。可以想像的是，在连接有线电视的电缆ex405、或卫星和/或基于地面广播的天线ex406的STB ex407中实现该图像解码装置，以便将这些运动图像再现在电视机ex401的监视器ex408上。该图像解码装置可以被包含在电视机中，而不是在机顶盒中。同样，具有天线ex411的汽车ex412可以接收来自卫星ex410或小区站ex107的信号，用于在显示装置上重放运动图像，例如在汽车ex412中设置的汽车导航系统ex413。
此外，上述实施例中所示的图像编码装置可以编码图像信号，并将其记录在记录介质上。作为具体的示例，可以采用录制器ex420，例如用于在DVD光盘ex421上记录图像信号的DVD录制器、用于在硬盘上记录图像信号的盘录制器。它们可以被记录在SD卡ex422上。当录制器ex420包括上述实施例中所述的图像解码装置时，可以再现DVD光盘ex421或SD卡ex422上记录的图像信号，以便显示在监视器ex408上。
应该注意的是，对于汽车导航系统ex413的结构，可以设想的是没有图14中所示部件中的摄像机单元ex203、摄像机接口单元ex303、和图像编码单元ex312的结构。这也适用于计算机ex111、电视机(接收机)ex401和其它部件。
另外，可以设想三种类型的实施方案用于如蜂窝电话ex114的终端：以编码器和解码器实现的收发终端、仅以编码器实现的发射终端、仅以解码器实现的接收终端。
如上所述，可以使用上述实施例中所述的图像编码方法用于上述设备和系统中的任一种，并由此可以获得上述实施例中所述的效果。
因此从所述的本发明可以清楚地了解，本发明的实施例可以按很多方式变化。这些变化不应认为是背离了本发明的精神和范围，所有的修改对于本领域技术人员都应理解为是在以下权利要求书的范围内。
工业适用性
本发明可以实现为一种编码方法和一种解码方法，用于参照编码图像执行预测编码。这些方法可以由例如分发视频的web服务器、接收视频的网络终端、可记录和重放视频的数字摄像机、配置有摄像机的蜂窝电话、DVD录制机/播放机、PDA、个人计算机或类似设备使用。

Claims (4)

1.用于编码比特流的图像编码方法，所述方法包括：
输出通过编码所述比特流中的图像而得到的编码图像；
输出通过解码所述编码图像而得到的解码图像；
输出通过对所述解码图像执行滤波处理而得到的滤波图像；
在存储器中存储所述滤波处理之后的所述解码图像作为参考图像；
产生滤波应用信息，所述滤波应用信息以基于逐个图像的方式表示将滤波处理之前的所述解码图像和滤波处理之后的解码图像中的哪个输出用于显示处理；以及
将所述滤波应用信息与所述编码图像复用，
其中所述滤波应用信息指定所述滤波应用信息施加其上的图像。
2.根据权利要求1的图像编码方法，
其中，所述滤波应用信息还表示是否将所述滤波应用信息施加于所述指定图像之后的各图像。
3.根据权利要求1的图像编码方法，
其中，所述滤波应用信息还表示所述滤波应用信息是否施加于所述指定图像之后直到所述比特流末尾的各图像。
4.根据权利要求1的图像编码方法，还包括：
在所述解码图像是所述参考图像、且所述滤波应用信息表示所述滤波处理之前的解码图像是用于所述显示处理的图像的情况下，输出所述滤波处理之前的解码图像。
CN2008100034591A 2003-02-21 2004-02-18 图像编码方法 Expired - Lifetime CN101222633B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US44920903P 2003-02-21 2003-02-21
US60/449,209 2003-02-21
US10/724,317 2003-11-26
US10/724,317 US20040179610A1 (en) 2003-02-21 2003-11-26 Apparatus and method employing a configurable reference and loop filter for efficient video coding
JP2003398981 2003-11-28
JP2003398981A JP4439890B2 (ja) 2003-02-21 2003-11-28 画像復号化方法、装置およびプログラム
JP2003-398981 2003-11-28

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB2004800045971A Division CN100375519C (zh) 2003-02-21 2004-02-18 运动图像解码方法

Publications (2)

Publication Number Publication Date
CN101222633A true CN101222633A (zh) 2008-07-16
CN101222633B CN101222633B (zh) 2012-10-31

Family

ID=36606072

Family Applications (4)

Application Number Title Priority Date Filing Date
CN2008100034604A Expired - Lifetime CN101242533B (zh) 2003-02-21 2004-02-18 运动图像编码方法和运动图像解码方法
CNB2004800045971A Expired - Lifetime CN100375519C (zh) 2003-02-21 2004-02-18 运动图像解码方法
CN2008100034591A Expired - Lifetime CN101222633B (zh) 2003-02-21 2004-02-18 图像编码方法
CN2008100034587A Expired - Lifetime CN101222632B (zh) 2003-02-21 2004-02-18 运动图像编码方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN2008100034604A Expired - Lifetime CN101242533B (zh) 2003-02-21 2004-02-18 运动图像编码方法和运动图像解码方法
CNB2004800045971A Expired - Lifetime CN100375519C (zh) 2003-02-21 2004-02-18 运动图像解码方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2008100034587A Expired - Lifetime CN101222632B (zh) 2003-02-21 2004-02-18 运动图像编码方法

Country Status (6)

Country Link
US (2) US20040179610A1 (zh)
EP (2) EP2268017A3 (zh)
JP (2) JP4439890B2 (zh)
KR (3) KR101011868B1 (zh)
CN (4) CN101242533B (zh)
WO (1) WO2004077348A2 (zh)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100308016B1 (ko) 1998-08-31 2001-10-19 구자홍 압축 부호화된 영상에 나타나는 블럭현상 및 링현상 제거방법및 영상 복호화기
KR100525785B1 (ko) * 2001-06-15 2005-11-03 엘지전자 주식회사 이미지 화소 필터링 방법
NO318973B1 (no) * 2003-07-01 2005-05-30 Tandberg Telecom As Fremgangsmate for stoyreduksjon
KR100936034B1 (ko) * 2003-08-11 2010-01-11 삼성전자주식회사 블록 단위로 부호화된 디지털 영상의 블로킹 현상을제거하는 방법 및 그 영상재생장치
ATE381076T1 (de) * 2003-08-29 2007-12-15 Thomson Licensing Verfahren und vorrichtung zur modellierung von filmkorn-mustern im frequenzbereich
PL1673944T3 (pl) 2003-10-14 2020-03-31 Interdigital Vc Holdings, Inc. Technika do symulowania ziarna filmu o dokładności bitowej
JP2007520171A (ja) * 2004-01-29 2007-07-19 ヒルデブランド，ジョン，ジー． 信号提供方法及びシステム
US7512182B2 (en) * 2004-08-30 2009-03-31 General Instrument Corporation Method and apparatus for performing motion compensated temporal filtering in video encoding
KR101096916B1 (ko) * 2004-10-18 2011-12-22 톰슨 라이센싱 필름 그레인 시뮬레이션 방법
US7610196B2 (en) * 2004-10-26 2009-10-27 Qnx Software Systems (Wavemakers), Inc. Periodic signal enhancement system
US7680652B2 (en) * 2004-10-26 2010-03-16 Qnx Software Systems (Wavemakers), Inc. Periodic signal enhancement system
US7716046B2 (en) * 2004-10-26 2010-05-11 Qnx Software Systems (Wavemakers), Inc. Advanced periodic signal enhancement
US7949520B2 (en) * 2004-10-26 2011-05-24 QNX Software Sytems Co. Adaptive filter pitch extraction
US8170879B2 (en) * 2004-10-26 2012-05-01 Qnx Software Systems Limited Periodic signal enhancement system
US8543390B2 (en) 2004-10-26 2013-09-24 Qnx Software Systems Limited Multi-channel periodic signal enhancement system
US8306821B2 (en) 2004-10-26 2012-11-06 Qnx Software Systems Limited Sub-band periodic signal enhancement system
JP4960877B2 (ja) * 2004-11-12 2012-06-27 トムソン ライセンシング 映像再生システムの通常再生及びトリックモード再生に関するフィルムグレインシミュレーション
ATE553455T1 (de) 2004-11-16 2012-04-15 Thomson Licensing Verfahren zum simulieren von filmkörnigkeit auf der basis vorausberechneter transformationskoeffizienten
KR101229942B1 (ko) 2004-11-16 2013-02-06 톰슨 라이센싱 비디오 시스템에서 비트까지 정확한 시뮬레이션을 위한필름 그레인 ｓｅｉ 메시지 삽입
TR201911138T4 (tr) 2004-11-17 2019-08-21 Interdigital Vc Holdings Inc Ön-hesaplanmış dönüştürülmüş katsayılara dayanan bit bakımından hatasız film greni simülasyon yöntemi.
EP1817915A2 (en) * 2004-11-22 2007-08-15 THOMSON Licensing Methods, apparatus and system for film grain cache splitting for film grain simulation
KR100667808B1 (ko) * 2005-08-20 2007-01-11 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
JP4582648B2 (ja) * 2005-10-24 2010-11-17 キヤノン株式会社 撮像装置
WO2007069579A1 (ja) * 2005-12-12 2007-06-21 Nec Corporation 動画像復号方法、動画像復号装置、および情報処理装置のプログラム
EP2034483A1 (en) * 2006-06-26 2009-03-11 Panasonic Corporation Format converter, format converting method, and moving image decoding system
BRPI0714233A2 (pt) * 2006-07-18 2013-01-15 Thomson Licensing mÉtodos e aparelho para filtragem de referÊncia adaptativa
JP2008035439A (ja) * 2006-07-31 2008-02-14 Fujitsu Ltd ノイズ除去装置、ノイズ除去制御方法およびノイズ除去制御プログラム
CN101222641B (zh) * 2007-01-11 2011-08-24 华为技术有限公司 帧内预测编解码方法及其装置
US10715834B2 (en) 2007-05-10 2020-07-14 Interdigital Vc Holdings, Inc. Film grain simulation based on pre-computed transform coefficients
JP5217250B2 (ja) * 2007-05-28 2013-06-19 ソニー株式会社 学習装置および学習方法、情報加工装置および情報加工方法、並びにプログラム
US8904400B2 (en) 2007-09-11 2014-12-02 2236008 Ontario Inc. Processing system having a partitioning component for resource partitioning
US8850154B2 (en) 2007-09-11 2014-09-30 2236008 Ontario Inc. Processing system having memory partitioning
US8694310B2 (en) 2007-09-17 2014-04-08 Qnx Software Systems Limited Remote control server protocol system
KR101372418B1 (ko) * 2007-10-19 2014-03-12 (주)휴맥스 비트스트림 디코딩 장치 및 방법
US20090158820A1 (en) * 2007-12-20 2009-06-25 Schlumberger Technology Corporation Method and system for downhole analysis
US8209514B2 (en) 2008-02-04 2012-06-26 Qnx Software Systems Limited Media processing system having resource partitioning
JPWO2009133938A1 (ja) * 2008-04-30 2011-09-01 株式会社東芝 動画像符号化及び復号装置
JP5137687B2 (ja) * 2008-05-23 2013-02-06 キヤノン株式会社 復号装置及び復号方法、プログラム
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
US8326075B2 (en) * 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
BRPI0921986A2 (pt) * 2008-11-25 2018-06-05 Thomson Licensing métodos e aparelho para filtralçao por eliminação de artefatos à base de matrizes esparsas para codificação e decodificação de vídeo
TWI422228B (zh) * 2009-01-15 2014-01-01 Silicon Integrated Sys Corp 去方塊濾波方法及影像處理裝置
US8401370B2 (en) * 2010-03-09 2013-03-19 Dolby Laboratories Licensing Corporation Application tracks in audio/video containers
KR101387467B1 (ko) * 2010-06-07 2014-04-22 (주)휴맥스 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
WO2012077719A1 (ja) * 2010-12-09 2012-06-14 シャープ株式会社 画像復号装置、および画像符号化装置
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
CN106941608B (zh) * 2011-06-30 2021-01-15 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
WO2013006310A1 (en) * 2011-07-01 2013-01-10 Vidyo, Inc. Loop filter techniques for cross-layer prediction
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US11240515B2 (en) * 2012-09-10 2022-02-01 Apple Inc. Video display preference filtering
WO2015115644A1 (ja) * 2014-02-03 2015-08-06 三菱電機株式会社 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
WO2017063169A1 (zh) * 2015-10-15 2017-04-20 富士通株式会社 图像编码方法、装置以及图像处理设备
KR20180056313A (ko) * 2016-11-18 2018-05-28 삼성전자주식회사 텍스처를 처리하는 방법 및 장치

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63199589A (ja) * 1987-02-14 1988-08-18 Fujitsu Ltd フレ−ム間符号化方式
FR2703535A1 (fr) * 1993-03-31 1994-10-07 Philips Electronique Lab Procédé et dispositif pour décoder des images comprimées.
EP0915470A3 (en) * 1995-08-21 2004-03-24 Matsushita Electric Industrial Co., Ltd. Multimedia optical disk, reproduction apparatus and method for achieving variable scene development based on interactive control
KR100203262B1 (ko) * 1996-06-11 1999-06-15 윤종용 픽춰단위 동기화를 위한 비디오디코더의 인터페이스장치
JPH1070717A (ja) * 1996-06-19 1998-03-10 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
JPH1013791A (ja) * 1996-06-24 1998-01-16 Matsushita Electric Ind Co Ltd 映像信号復号化方法，及び映像信号復号化装置
WO1999021367A1 (fr) * 1997-10-20 1999-04-29 Mitsubishi Denki Kabushiki Kaisha Codeur et decodeur d'image
JPH11136671A (ja) * 1997-10-31 1999-05-21 Fujitsu Ltd 動画像復号方法及び装置並びに動画像再生装置
US6178205B1 (en) * 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
KR100601609B1 (ko) * 1999-06-04 2006-07-14 삼성전자주식회사 동화상 복호화 장치 및 그 방법
JP3406255B2 (ja) * 1999-09-29 2003-05-12 松下電器産業株式会社 画像復号装置および方法
EP1122940A3 (en) * 2000-01-31 2003-09-10 Canon Kabushiki Kaisha Image processing method and apparatus
JP2001275110A (ja) * 2000-03-24 2001-10-05 Matsushita Electric Ind Co Ltd 動的なループ及びポストフィルタリングのための方法及び装置
EP1160759A3 (en) * 2000-05-31 2008-11-26 Panasonic Corporation Image output device and image output control method
JP2003018600A (ja) * 2001-07-04 2003-01-17 Hitachi Ltd 画像復号装置

Also Published As

Publication number Publication date
JP4439890B2 (ja) 2010-03-24
CN1751512A (zh) 2006-03-22
WO2004077348A2 (en) 2004-09-10
KR20050099961A (ko) 2005-10-17
EP2268017A3 (en) 2011-03-02
KR101103184B1 (ko) 2012-01-05
KR101040872B1 (ko) 2011-06-14
KR20110038147A (ko) 2011-04-13
CN100375519C (zh) 2008-03-12
EP1597918A2 (en) 2005-11-23
US20040179610A1 (en) 2004-09-16
EP2268017A2 (en) 2010-12-29
KR20090032117A (ko) 2009-03-31
CN101222632A (zh) 2008-07-16
EP1597918A4 (en) 2006-06-14
CN101242533A (zh) 2008-08-13
JP2004336705A (ja) 2004-11-25
US20070002947A1 (en) 2007-01-04
CN101222633B (zh) 2012-10-31
CN101222632B (zh) 2012-09-05
KR101011868B1 (ko) 2011-01-31
JP2009044772A (ja) 2009-02-26
CN101242533B (zh) 2011-04-13
WO2004077348A3 (en) 2004-12-16

Similar Documents

Publication Publication Date Title
CN101242533B (zh) 运动图像编码方法和运动图像解码方法
JP5687787B2 (ja) 動画像復号化装置及びその方法
CN1968412B (zh) 图像解码方法
CN101389024B (zh) 动态图像的编码方法及编码装置
JP2004228617A (ja) 動画像符号化装置および動画像復号化装置
KR100943563B1 (ko) 동화상 부호화 장치 및 동화상 복호화 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141009

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20141009

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151112

Address after: Tokyo, Japan

Patentee after: Godo Kaisha IP Bridge 1

Address before: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

CX01 Expiry of patent term

Granted publication date: 20121031

CX01 Expiry of patent term