CN1516974A - 图像编码方法和图像解码方法 - Google Patents

图像编码方法和图像解码方法 Download PDF

Info

Publication number
CN1516974A
CN1516974A CNA038004488A CN03800448A CN1516974A CN 1516974 A CN1516974 A CN 1516974A CN A038004488 A CNA038004488 A CN A038004488A CN 03800448 A CN03800448 A CN 03800448A CN 1516974 A CN1516974 A CN 1516974A
Authority
CN
China
Prior art keywords
image
mentioned
picture
picture number
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA038004488A
Other languages
English (en)
Other versions
CN1516974B (zh
Inventor
Ұ����Ҳ
角野真也
־
近藤敏志
ʷ
羽饲诚
安倍清史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Godo Kaisha IP Bridge 1
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1516974A publication Critical patent/CN1516974A/zh
Application granted granted Critical
Publication of CN1516974B publication Critical patent/CN1516974B/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Television Signal Processing For Recording (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

一种图像编码方法，对多个图像信号进行编码，生成与各图像相对应的编码信号，其中，能够切换上述多个编码信号的切换图像和从切换图像以后能够参照的图像在上述编码信号中仅是相同时刻的图像群。更详细地说，在S图像的前后，当图像编号是不连续时，进行处理以便于不作为错误处理。

Description

图像编码方法和图像解码方法
技术领域
本发明涉及利用画面间的相关性而高效地压缩活动图像信号的图像编码方法和正确对其进行解码的图像解码方法以及记录用于以软件实施其的程序的记录媒体。
背景技术
近年来，迎来了统合地处理声音、图像和其他像素值的多媒体时代，能够把来自现有技术的信息媒体即把新闻、杂志、电视、收音机、电话等信息传递给人的装置作为多媒体的对象来进行处理。一般，所谓多媒体是指同时关联文字与图形、声音特别是图像等来进行表示的情况，但是，为了把上述现有的信息媒体作为多媒体的对象，把该信息用数字形式来表示是必要条件。
因此，当把上述各信息媒体具有的信息量作为数字信息量来进行估计时，在文字的情况下，每一个文字具有1～2字节，与此相对，在声音的情况下，每一秒需要64kbits(电话品质)以上的信息量，而且，对于活动图像，每一秒需要100Mbits(现行的电视接收品质)以上的信息量，在上述信息媒体中，以数字形式原样地处理这样巨大的信息是不现实的。例如，电视电话已经通过具有64kbps～1.5Mbps的传输速度的综合业务数字网(ISDN：Integrated Services Digital Network)而实用化了，但是，原样地由ISDN传送电视·摄像的图像是不可能的。
因此，信息的压缩技术是必要的，例如，在电视电话的情况下，使用被ITU-T(国际电联电气通信标准化部门)进行了国际标准化的H.261和H.263标准的活动图像压缩技术。而且，当使用MPEG-1标准的信息压缩技术时，能够在通常的音乐用CD(唱盘)中写入声音信息和图像信息。
其中，所谓MPEG(Moving Picture Experts Group)是活动图像信号的数字压缩的国际标准，MPEG-1是把活动图像信号压缩到1.5Mbps即把电视信号的信息压缩到约百分之一的标准。而且，在MPEG-1标准中，使成为对象的品质为传输速度主要能够以约1.5Mbps来实现的中等程度的品质，因此，在为了满足更高品质的要求的标准化的MPEG-2中，把活动图像信号压缩到2～15Mbps。
而且，在现状中，由在MPEG-1、MPEG-2基础上推进标准化的工作组(ISO/IEC JTC1/SC29/WG11)把压缩率更高的MPEG-4也实现了标准化。在MPEG-4中，首次导入了容错技术，不仅能够以低比特率进行效率高的编码，而且即使发生了传输路线错误也能减小主观上的画质变劣。而且，由ISO/IEC和ITU-T共同地推进JVT(Joint VideoTeam)的标准化活动来作为下一代图像编码方式，目前，所谓的接合模型2(JM2)是最新的。
把没有参照图像来进行画面内预测编码的方式称为I图像。而且，把仅参照一幅图像来进行画面内预测编码的方式称为P图像。而且，把同时参照两幅图像来进行画面内预测编码的方式称为B图像。
在此，所谓图像是表示一幅画面的术语，在逐行图像中代表帧，在隔行图像中代表帧或半帧。其中，所谓隔行图像是一个帧由时刻不同的两个半帧(field)所构成的图像。在隔行图像的编码和解码处理中，能够把一个帧进行帧的原样处理，或者，作为两个半帧来进行处理，或者，在帧内的每块中作为帧结构或者半帧结构来进行处理。
在JVT中，与现有的活动图像编码不同，能够从作为前方参照图像的多个图像中选择任意图像作为参照图像。而且，导入能够以特定的图像来切换编码的流的结构，导入S图像(被称为SI图像和SP图像，在S图像中分别与画面内预测编码、画面间预测编码相对应)。
S图像是保证能够从多个流中即使在S图像之前切换了流也能正确地对S图像以后的流进行解码的结构，能够通过活动图像发送服务器等来配合与接收终端间的通信容量和接收者的爱好，由服务器来切换流。
而且，在这样的现有图像编码方法和图像解码方法中，导入这样的S图像：(1)能够从作为前方参照图像的多个图像中选择任意的图像作为参照图像，(2)能够用特定的图像来切换流。但是，与这样的两个技术被导入无关，遗憾的是没有对在把两者进行组合的情况下发生的问题进行充分的考虑，由于以下记载的问题，实际上并用两者是困难的。
图1是说明对输入图像信号Vin进行编码时的图像与图像编号PN的对应关系的图。流1、流2、流3是用不同的图像速率(每一秒的图像数)来对相同的图像信号进行编码。图像编号PN是用于识别编码的图像的编号，在JM2中，作为参照图像，在后续的编码中被参照图像被分配给每次递增「1」的编号。为了简化说明，在图1的例子中，在各个流中，作为在后续的编码中参照全部图像的方案，仅记载了图像编号PN的值始终是每次递增「1」的情况。在后续的编码中不被参照的图像对图像编号PN的增减没有影响，就不保存在存储器中。因此，对于在后续的编码中不被参照的图像，由于对以后的动作的说明没有影响，而省略其说明。
而且，如图1所示的那样，在时刻t3中，各帧的由阴影线所示的图像作为S图像进行编码。图2是表示在对S图像进行编码和解码时存储到参照图像存储器Mem中的图像的图像编号PN的图。
图2表示在参照图像存储器Mem中所存储的图像及其位置。在参照图像存储器Mem内，左位置的图像比存储在右位置的图像，在时刻上更新。当进行预测编码时，必须在编码和解码中参照相同的图像，在象JM2那样从多个参照图像中选择参照图像时，就必须指明参照哪个图像。
为了指明参照图像，具有以下两个方法，在JM2中根据目的来对两者进行分类：
①指明距时刻新的图像前的第几个图像
②指明由图像编号PN来参照的图像
当用S图像来切换流时，为了能够正确地对S图像和S图像后的图像进行正确编码并且在解码时进行正确的解码，即使在通过S图像而从某个流切换到某个流的情况下，参照图像存储器Mem的内容必须一致。
但是，如从图2的参照图像存储器Mem中所存储的图像的图像编号PN的示意图所示的那样，由于在每个流中，在S图像编码·解码开始时刻，参照图像存储器Mem的内容不是一致的，因此，在现有的方法中，不能把从参照图像存储器Mem内选择参照图像的编码方法和切换流的S图像的结构进行组合来使用。
发明内容
因此，为了解决上述课题，本发明的目的是提供图像编码方法和图像解码方法，能够把S图像的结构与从参照图像存储器Mem内选择参照图像的编码方法进行组合来使用，即使在使用S图像的情况下，也能提高上述编码方法中的压缩率。
发明概述
为了解决上述课题，
1.第一发明是：一种图像编码方法，通过图像编号来确定并参照在存储器中存储的参照图像，并生成活动图像的编码流，其特征在于，包括：
图像编号编码步骤，对与编码对象图像相对应的图像编号进行编码；
编码步骤，对该编码对象图像进行编码；
全部图像不使用化步骤，在上述编码步骤执行后，使除上述编码对象图像之外的图像、且存储在存储器中的图像全部成为不使用；
图像编号初始化步骤，对存储器内的上述编码对象图像的图像编号进行初始化；
全部图像不使用化信息编码步骤，对全部图像不使用化信息进行编码，该全部图像不使用化信息向图像解码装置指示，使除上述编码对象图像之外的图像且存储在存储器中的图像全部成为不使用。
第二发明是：一种图像解码方法，通过图像编号来确定并参照在存储器中存储的参照图像，来对活动图像的编码流进行解码，其特征在于，包括：全部图像不使用化信息解码步骤，从编码流中检测出全部图像不使用信息并进行解码，该全部图像不使用信息表示：使解码对象图像之外的图像中的已经存储在存储器中的图像全部成为不使用的；解码步骤，从上述编码流中，对上述解码对象图像进行解码；全部图像不使用化步骤，在上述解码步骤执行后，根据所解码的上述全部图像不使用信息，使上述解码对象图像之外的图像中的已经存储在存储器中的图像全部成为不使用的；图像编号初始化步骤，给存储器内的上述解码对象图像，赋予初始化的新的图像编号。
第三发明是：一种图像编码方法，对多个图像信号进行编码，生成与各图像相对应的编码信号，其特征在于，能够切换上述多个编码信号的切换图像和从切换图像以后能够参照的图像仅是上述编码信号中相同时刻的图像群。
第四发明是：一种图像解码方法，对编码信号进行解码，其特征在于，对在能够切换的切换图像之前不使用的图像的信息进行解码，根据上述解码的结果，使从参照图像存储器中解码的图像成为不使用，在切换图像后，仅参照未成为不使用的参照图像，来对编码信号进行解码。
第五发明是：一种图像编码方法，对多个图像信号进行编码，生成与各图像相对应的编码信号，其特征在于，具有使上述多个能够切换编码信号的切换图像的图像编号在上述各个编码信号中变更为相同值的结构。
第六发明是：一种图像编码方法，对编码信号进行解码，其特征在于，具有在用能够切换上述编码信号的切换图像来进行切换时，把参照图像的图像编号在能够切换的编码信号中变更为相同值的结构。
如上述那样，根据本发明所涉及的图像编码方法和图像解码方法，能够把S图像的结构与从参照图像存储器Mem内选择参照图像的编码方法相组合来使用，而提供了即使在使用S图像的情况下也能提高上述编码方法中的压缩率的图像编码方法和图像解码方法，其使用价值较高。
而且，该说明书编入了以前的日本专利申请「专利申请2002-112787」、「专利申请2002-192533」、「专利申请2002-204718」、「专利申请2003-92490」和「美国专利申请60/377638」的内容。
附图的简要说明
图1是说明对输入图像信号Vin进行编码时的图像与图像编号PN的对应关系的图；
图2表示在对S图像进行编码和解码时在参照图像存储器Mem中所存储的图像的图像编号PN的图；
图3在参照图像存储器Mem中所存储的图像的图像编号PN的示意图；
图4(a)、图4(b)和图4(c)是与本发明的图像编码方法和图像解码方法的参照图像存储器Mem中所存储的图像控制相关的信息的编码方法和解码方法的流程图；
图5(a)和图5(b)是在参照图像存储器Mem中所存储的图像的图像编号PN的示意图；
图6(a)、图6(b)和图6(c)是与本发明的图像编码方法和图像解码方法的参照图像存储器Mem中所存储的图像控制相关的信息的编码方法和解码方法的流程图；
图7是本发明的对输入图像信号Vin进行编码时的图像与图像编号PN的对应关系示意图；
图8(a)和图8(b)是本发明的与图像解码方法的参照图像存储器Mem中所存储的图像控制相关的信息的解码方法的流程图；
图9是表示本发明的图像编码装置的构成的方框图；
图10(a)、图10(b)、图10(c)和图10(d)是表示本发明的编码信号Str的数据结构的一例的图；
图11是表示本发明的图像解码装置的构成的方框图；
图12是本发明的对输入图像信号Vin进行编码时的各图像与图像编号PN的对应关系示意图；
图13是表示本发明的给流的各图像赋予图像编号来进行编码的方法的流程图；
图14是表示实施例7中的解码方法的流程图；
图15是表示实施例7中存储器构造的图；
图16(a)和图16(b)是表示实施例7中的编码方法的流程图；
图17(a)和图16(b)是表示实施例7中的另一个编码方法的流程图；
图18是表示实施例7中的另一个编码方法的流程图；
图19是表示实施例8中的编码装置的构成的方框图；
图20是表示实施例8中的另一个编码装置的构成的方框图；
图21(a)和图21(b)是表示实施例10中的解码方法的流程图；
图22是表示实施例11中的解码装置的构成的方框图；
图23(a)和图23(b)是表示编码信号的制作程序和编码信号的解码程序的流程图；
图24是表示实现实施例12的编码方法的图像编码装置的构成的方框图；
图25是表示实现实施例12的解码方法的图像编码装置的构成的方框图；
图26是对存储用于通过计算机系统实现实施例1至实施例12的图像编码方法和图像解码方法的程序的存储媒体的说明图；
图27是表示实现本发明所涉及的内容发布服务的内容供给系统的全体构成的方框图；
图28是表示本发明所涉及的携带电话的一例的图；
图29是表示该携带电话的构成的方框图；
图30是表示本发明所涉及的数字广播系统的构成的图。
具体实施方式
以下使用图3至图30对本发明的实施例进行说明。
实施例1
图3是在参照图像存储器Mem中所存储的图像的图像编号PN的示意图。以下说明该图与图2的参照图像存储器Mem中所存储的图像的图像编号PN的示意图的不同之处进行说明。
对以下内容进行说明：在现有技术中，当对S图像(picture)进行编码·解码时，当切换流时，参照图像存储器Mem的内容不一致。因此，在本发明的编码·解码方法中，在对图1的输入图像信号Vin进行编码时的图像与图像编号PN的对应关系的示意图中，在全部的流中，仅把图像一致的时刻t0、t1、t2的图像存储到参照图像存储器Mem中，在S图像的编码·解码之前，从参照图像存储器Mem中删除除此之外的图像。表示其结果的是图3的参照图像存储器Mem中所存储的图像编号PN的示意图。
如从图3的参照图像存储器Mem中所存储的图像的图像编号PN的示意图所看到的那样，在通过编码·解码来明示参照图像的情况下，如果使用「明示距时刻为新的图像的几个图像前的信息」这样的方法，在流1、流2、流3的任一个的情况下，都参照相同的时刻的图像，因此，编码·解码能够正确进行。
图4是与本发明的图像编码方法和图像解码方法的参照图像存储器Mem中所存储的与图像控制相关的信息的编码方法和解码方法的流程图。
图4(a)的编码方法的流程图表示使用图3说明的动作的实现方法和为此所所需要的信息的编码·解码方法。
在Step0中，在多个编码信息(流)中选择时刻相同的图像。在Step1中，对表示删除在Step0中选择的图像之外的图像的删除信息进行编码。在Step2中，从参照图像存储器Mem中删除在Step0中选择的图像之外的图像。如上述那样，如图3所示的那样，即使切换编码信号，也能实现用于实现能够解码的流的参照图像存储器Mem的存储状态。
而且，Step1和Step2的顺序可互换，此时成为图4(b)所示的图像编码方法的流程图。
通过用在图4(c)的解码方法的流程图中所示的方法来对在图4(a)的编码方法的流程图中进行了编码的删除信息进行解码，如图3所示的那样，即使切换编码信号，也能实现用于实现能够解码的流的参照图像存储器Mem的存储状态。
通过在Step5中对删除信息进行解码，能够明示多个编码信息(流)中时刻不同的图像。这相当于在图4(a)的Step0中选择的时刻相同的图像之外的图像。接着，在Step6中，从参照图像存储器Mem中删除在Step5中选择的图像。具体地说，当删除(或者消去)在参照图像存储器Mem内所保存的图像时，在将要被删除的图像中，设定禁止作为参照图像来使用的「不使用」等识别信息。与此对应，图像解码单元PicDec和图像编码单元PicEnc，当参照参照图像存储器Mem内所保存的图像时，必须确认是否设定了「不使用」的识别信息，在此基础上，当「不使用」的识别信息被设定的情况下，不参照该图像，而仅参照没有设定「不使用」的识别信息的图像。在以下的实施例中，同样来删除(或消去)参照图像存储器Mem内的图像。当然，该删除方法仅是一例，可以通过从参照图像存储器Mem内实际上删除(或消去)上述图像的数据来进行删除。如上述那样，即使切换编码信号，也能实现用于实现能够解码的流的参照图像存储器Mem的存储状态。
实施例2
图5(a)是在参照图像存储器Mem中所存储的图像的图像编号PN的示意图。图5(a)与图3的参照图像存储器Mem中所存储的图像的图像编号PN的示意图不同之处是：参照图像存储器Mem内的图像编号PN是否相一致。
在参照图像存储器Mem内所保存的图像的时刻以及参照图像存储器Mem内的图像编号PN在全部的编码信号中相一致，由此，当通过编码·解码来明示参照图像时，就能利用「明示通过图像编号PN来参照的图像」的方法，在流1、流2、流3任一个情况下，参照相同的时刻的图像，因此，能够正确地进行编码·解码。
为了实现上述内容，可以在S图像的编码·解码之前，把在参照图像存储器Mem内所保存的图像的图像编号PN替换为相同值，对用于该替换的信息进行编码·解码。
而且，当接着保存S图像时，必须作为相同的图像编号PN来保存，因此，S图像的图像编号PN在哪个流的情况下都必须相一致。
图6是与本发明的图像编码方法和图像解码方法的参照图像存储器Mem中所存储的图像控制相关的信息的编码方法和解码方法的流程图，表示使用图5(a)来说明的动作的实现方法和为此所需要的信息的编码·解码方法。
在Step10中，用切换对象的编码信号来检测出在参照图像存储器Mem中包含的图像的图像编号PN的最大值(在图5(a)的例子中为8)。在Step12中，把图像编号PN的最大值作为基准，对用于重新分配在参照图像存储器Mem中所存储的各图像的图像编号PN的信息进行编码。而且，根据需要，对应当分配给下一个S图像的图像编号PN进行编码。而且，由于图5(a)的流3和图3的流3是相同的，因此，不需要对流3进行重新分配。这样，仅需要实施图像编号PN的重新分配，在Step11中仅对必要的重新分配的信息进行编码。最后，在Step12中实施用Step11中进行编码的信息而表示的图像编号PN的重新分配。如以上那样，如图5所示的那样，即使切换编码信号，也能实现用于实现可解码的流的参照图像存储器Mem的存储状态。
而且，由于S图像的图像编号PN是12，在S图像的编码·解码后，图像编号PN是连续的，因此，如图5(b)所示的那样，可以如图5(b)所示的那样使用作为S图像之前的图像编号PN(图1的流1的S图像之前)的11。在此情况下，由于S图像的图像编号PN是12，在编码·解码过程中，图像编号PN一直增加，就能更有效地实现把图像编号PN减少的情况作为错误的错误检测功能。
图7是本发明的对输入图像信号Vin进行编码时的图像与图像编号PN的对应关系示意图。图7是用图5(b)中使用的方法来进行图像编号PN的重新分配的例子。在S图像中，图像编号PN全都为12，在S图像编码·解码时，如果参照图像存储器Mem的图像与流无关而为一定的，即使在S图像中切换流，S图像以后的全部图像能够正确地解码。
而且，Step11和Step12的顺序可以互换，在此情况下，成为图6(b)所示的图像编码方法的流程图。
通过用图6(c)的解码方法的流程图中表示的方法来对图6(a)的编码方法的流程图来进行编码的删除信息进行解码，由此，如图5(a)所示的那样，即使切换编码信号，也能用图像解码方法来实现用于实现可解码的流的参照图像存储器Mem的存储状态。
通过在Step15中对图像编号PN的重新分配的信息进行解码，能够确定图像编号PN的重新分配需要的图像及其方法。接着，在Step16中，根据在Step15中解码的图像编号PN的重新分配需要的图像及其方法，来进行参照图像存储器Mem的图像编号PN的重新分配。如上述那样，即使切换编码信号，也能如图5所示的那样，实现用于实现可解码的流的参照图像存储器Mem的存储状态。
而且，在本实施例中，说明了与实施例1相组合的形态的有效性，但是，在「明示由图像编号PN进行参照的图像」的情况下，能够进行编码·解码的优点仅在实施例2中能够实现，在其效果足够的情况下，不与实施例1相组合也能利用。
实施例3
图8是用于实现图5的参照图像存储器Mem中所存储的图像的图像编号PN的示意图的另一个实施例。
图像的类型由图像类型PicType来识别。这样，如果图像类型PicType是可切换流的S图像，通过决定进行参照图像存储器Mem的图像编号PN的重新分配来配合S图像的图像编号PN，就能省略参照图像存储器Mem的图像编号的重新分配方法的信息的编码·解码。
以下，说明图8(a)的动作。在Step20中，对编码信号进行解码来取得图像的图像编号PN。在Step21中，取得已取得图像的图像类型PicType，如果该图像类型PicType是S图像，在Step22中，使用预定的方法来进行参照图像存储器Mem的图像编号PN的重新分配，以便于配合S图像的图像编号PN。如上述那样，如图5所示的那样，即使切换编码信号，也能实现用于实现可解码的流的参照图像存储器Mem的存储状态。
而且，Step21和Step22的顺序可以互换，在此情况下，成为图8(b)所示的图像编码方法的流程图。
而且，把图8和图6所示的图5的参照图像存储器Mem中所存储的图像的图像编号PN的示意图进行组合，就可以在图6的Step11和Step15中仅对图像编号PN的重新分配信息的一部分(在进行参照图像存储器Mem的图像编号PN的重新分配以便于配合S图像的图像编号PN的规则下，不能表现的部分)进行编码·解码。
实施例4
图9是表示本发明的图像编码装置的构成的方框图。图9的本发明的图像编码装置的方框图是实现实施例1和实施例2的图像编码方法的一例。
图像编号生成单元PNGen生成图像编号PN。图像编号PN是区别在参照图像存储器Mem中所存储的图像的识别符，给在参照图像存储器Mem中所存储的不同的图像赋予不同的图像编号PN。通常，每当向参照图像存储器Mem中保存图像时，就使图像编号PN递增1，当图像解码装置接收的图像编号PN增加2以上时，就能由图像解码装置检测出因传输路径错误而使应当保存的图像缺失的情况，来进行错误修正或者错误修整处理。
最大图像编号单元MaxPN把其他编码信号图像编号OtherPN与由图像编号生成单元PNGen所生成的图像编号PN进行比较，检测出图像编号PN的最大值，通知给可变长度编码单元VLC，同时，通知给图像编号生成单元PNGen，用上述图像编号PN的最大值来初始化由图像编号生成单元PNGen生成的图像编号PN。其他编码信号图像编号OtherPN是与相同的编码对象图像相对应的不同的流的图像的图像编号。其结果，图像编号生成单元PNGen以后输出比上述图像编号PN的最大值更大的图像编号PN。
编码图像时刻比较单元TimeCmp比较到此为止编码的输入图像信号Vin的各图像的时刻于作为其他编码信号(流)而编码的各图像的图像时刻FrameTime，把在全部编码信号中所编码的时刻的图像的信息通知给图像删除单元PicDel。
图像删除单元PicDel在图像类型PicType表示下一个图像是S图像的情况下，根据由编码图像时刻比较单元TimeCmp所通知的信息，向参照图像存储器Mem通知删除全部编码信号中所编码的时刻的图像之外的参照图像存储器Mem中所保存的图像的指令，同时，向可变长度编码单元VLC通知该信息。
图像编码单元PicEnc参照在参照图像存储器Mem中所保存的图像，伴随着变频·量化来对输入图像信号Vin进行编码，而作为由图像类型PicType所表示的图像类型，把其结果发送给图像解码单元PicDec和可变长度编码单元VLC。图像解码单元PicDec对由图像编码单元PicEnc编码的结果进行逆量化·逆变频，而作为由图像类型PicType所示的图像类型，为了在后续的图像的编码中进行参照，作为图像编号PN而保存在参照图像存储器Mem中。
可变长度编码单元VLC把由图像编码单元PicEnc进行编码的结果进行可变长度编码，而成为比特列，同时，对用于删除由图像删除单元PicDel所通知的在参照图像存储器Mem中所保存的图像的信息和上述图像编号PN的最大值及图像编号PN进行编码，作为编码信号Str而输出。而且，根据由图像删除单元PicDel所通知的信息和图像编号PN，按照实施例2所记载的方法，来对替换参照图像存储器Mem中所保存的图像的图像编号PN的信息进行编码。
在图10中表示了本发明的编码信号Str的构成例子。以下对图19(a)的各数据进行说明。
最初，图像编号PN被编码。接着，将要替换的最大PN、用于删除参照图像存储器Mem中所保存的图像的信息、替换参照图像存储器Mem中所保存的图像的图像编号PN的信息被编码。接着，配置作为图像类型PicType和图像编码单元PicEnc的输出的图像编码数据。
而且，图10(a)仅是数据配置的一例，也可以如图10(b)那样，变换数据的顺序来实现。
通过以上构成，能够实现实施例1和实施例2的图像编码方法的图像编码装置。
实施例5
图11是表示本发明的图像解码装置的构成的方框图。图11的本发明的图像解码装置的方框图是实现实施例1、实施例2和实施例3的图像解码装置的一例。以下说明其动作。
可变长度解码单元VLD对编码信号Str进行解码，输出各种信息(删除参照图像存储器Mem中所保存的图像的指令、图像类型PicType、图像编号PN、替换图像编号PN的信息和图像数据等)。
首先，删除由可变长度解码单元VLD所得到的参照图像存储器Mem中所保存的图像的指令被通知给图像删除单元PicDel，图像删除单元PicDel删除在参照图像存储器Mem中所保存的被指令的图像。
由可变长度解码单元VLD所得到的图像类型PicType被通知给图像解码单元PicDec，来指示解码方法。
由可变长度解码单元VLD所得到的图像编号PN被通知给参照图像存储器Mem，成为存储由图像解码单元PicDec所解码的图像时的图像编号PN。
替换由可变长度解码单元VLD所得到的在参照图像存储器Mem中所保存的图像的图像编号PN的信息被通知给图像编号变更单元PNchg，图像编号变更单元PNchg按照该指示来替换在参照图像存储器Mem内所保存的图像的图像编号PN。更具体地说，图像编号变更单元PNchg读出在参照图像存储器Mem中所保存的图像的图像编号PN，变更所读出的图像编号PN的值后，把该参照图像存储器Mem写入参照图像存储器Mem。
由可变长度解码单元VLD所得到的图像数据，在图像解码单元PicDec中，用与由图像类型PicType所表示的图像类型所对应的解码方法来进行解码。即，I图像不参照参照图像存储器Mem的图像被解码，P图像和B图像参照参照图像存储器Mem中所保存的图像来解码。这样得到的解码图像被保存在参照图像存储器Mem内，同时，作为解码图像信号Vout被输出。
如上述那样，实现实施例1、实施例2和实施例3的图像解码装置能够实现。
实施例6
在实施例1至实施例5所记载的图像编码装置中，当由S图像切换流时，切换能够切换的图像前的图像的图像编号，以便于与能够切换的图像的图像编号连续。在本实施例中，在能够切换的图像中，切换图像编号。
作为流的切换的例子，是这样的处理：使同一图像与具有不同的图像速率和不同的比特率、不同的图像构造的多个流的编码相关，从进行编码的图像属于的流，切换为属于其他流的图像，来进行编码。以下，为了便于使用，仅称为流的切换。
而且，在本实施例中，根据各流中在编码对象的图像的编码顺序(流顺序)上前面相邻的图像(以下称为前图像)的图像编号与编码对象的图像编号的变化的程度，来判断是否把编码对象的图像保存到参照存储器中。具体地说，如果编码对象的图像的图像编号相对于前图像的图像编号而增加「1」，就表明：编码对象的图像被保存在参照存储器中。另一方面，如果编码对象的图像的图像编号相对于前图像的图像编号而与前图像编号相同，就表明：编码对象的图像未被保存在参照存储器中。
以下参照附图来对在能够切换的图像中切换图像编号的处理进行具体说明。
图12是表示对输入图像信号Vin进行编码时的图像与图像编号PN的对应关系的一例的图。流1、流2、流3分别是用各自不同的图像速率来对同一图像信号进行编码的情况。在图12中，按进行编码的顺序，图像在每个流中进行排列。
在流1中，给各个图像分配图像编号PN，以便于在各个图像之间依次递增「1」。而且，在流2中，具有图像编号被分配成在图像之间递增「1」的图像和被分配了与前图像相同的图像编号的图像。而且，在流3中，与流1相同，给各个图像分配图像编号PN，以便于在各个图像之间依次递增「1」。
因此，在流1、3中，由于图像编号在各个图像之间依次递增「1」，编码对象的图像被保存在参照存储器中。在流2中，图像编号被分配成在图像之间递增「1」的图像被保存在参照存储器中，而被分配了与前图像相同的图像编号的图像未被保存。
而且，流1的图像编号「0」的图像、流2的图像编号「0」的图像和流3的图像编号「0」的图像在时刻t0相对应。以下相同，流1的图像F14、流2的图像F22和流3的图像F31在时刻t1相对应；流1的图像F18、流2的图像F24和流3的图像F32在时刻t2相对应；流1的图像F112、流2的图像F26和流3的图像F33在时刻t3相对应；流1的图像F117、流2的图像F215和流3的图像F34在时刻t4相对应。而且，图像F112、F26、F33相当于实施例1、2中的S图像。
在图12中，图像BP1、BP2是切换图像，该切换图像在切换流时经过，在切换前的图像与切换后的图像之间，在切换后的图像属于的流中，同与切换后的图像的前图像相同的时刻相对应，来进行编码。
例如，当从流2的图像F026(切换前的图像)向流1的图像F113(切换后的图像)来切换流时，在图像F24与图像F113之间，使用图像BP1作为时刻t3的图像。在此情况下，把作为切换图像的切换图像BP1的图像编号变更为「12」，以便于与切换后的图像F113的图像编号「13」相连续。
而且，同样，当从流3的图像F32(切换前的图像)向流2的图像F213(切换后的图像)来切换流时，在图像F32与图像F213之间，使用图像BP2作为时刻t3的图像。在此情况下，把作为切换图像的切换图像BP2的图像编号变更为与切换后的图像F213的图像编号「13」相连续。
这样，通过分配切换图像的图像编号以便于与切换后的图像的图像编号相连续，在每个流的流动中进行编码的情况下和切换流的情况下，切换后的图像的图像编号成为相同的值。
接着，对切换流时的图像编号的分配处理的流程进行说明。
图13是表示给图12的流的各图像赋予图像编号来进行编码的方法的流程图。
在步骤1401中，判定编码对象图像是否是S图像。如果编码对象图像是S图像，在步骤1402中，把编码对象图像的图像编号变更为初始值M。如果编码对象图像不是S图像，编码对象图像的图像编号就不变更。
在步骤1403中，判定编码对象图像是否是S图像的下一个图像。如果编码对象图像是S图像的下一个图像，就在步骤1404中进行S图像是否存储在存储器中的判断。如果编码对象图像不是S图像的下一个图像，就在步骤1405中判断编码对象图像是否被存储在存储器中。
当在步骤1404中判断为S图像被存储在存储器中时，在步骤1406中，使初始值M递增为M+1，所递增的图像编号成为新的图像编号。
当在步骤1404中判断为S图像未被存储在存储器中时，在步骤1407中使图像编号成为M自己(不变更图像编号)。在步骤1405中，判断编码对象图像是否被存储在存储器中。当判断为编码对象图像被存储在存储器中时，在步骤1408中，使图像编号PN递增为PN+1，所递增的图像编号成为新的图像编号。
当判断为编码对象图像未被存储在存储器中时，不进行图像编号的变更。
在步骤1409中，对象图像被编码。在步骤1410中，判断所有的编码对象图像是否被编码。当所有的编码对象图像未被编码时，返回步骤1401，当所有的编码对象图像被编码时，结束处理。
根据图13所示的处理，在切换图像以后的图像中，能够生成图像编号连续的编码数据流。
而且，这样生成的编码信号Str可以用实施例5中的图像解码装置中的解码装置来进行解码。这样，能够实现对本实施例中的编码信号进行解码的图像解码装置。
而且，上述实施例1至实施例6所示的编码方法·解码方法可以通过LSI等半导体来安装到携带电话和导航系统等移动通信设备和数字摄像机以及数字照相机等摄影设备中。而且，作为实施例，除了具有编码器·解码器两者的收发型终端之外，也可以是仅有编码器的发送终端、仅有解码器的接收终端。
实施例7
解码对象图像参照的图像由图像编号PN所明示。能够通过图像编号pN的增减来进行图像编号PN的错误的检测。图14表示在例如图10(b)所示的图像数据中以图像编号PN为基础来进行图像编号PN的错误检测·修正的程序。
首先，在Step20中，检测出图像编号PN。接着，在Step21中，检测出图像类型PicType。在StepA2中判断所检测出的图像编号PN是否是连续的。如果在StepA2中图像编号PN是连续中，就结束图像编号PN的错误检测·修正处理。另一方面，如果在StepA2中图像编号PN不是连续的，则在StepA3中进行错误修正。而且，图6所示的最大已保存PN检测和PN重新分配的处理可以在该错误检测·修正处理结束后实施，也可以与该错误检测·修正处理并行实施。
作为与StepA3中的错误修正的处理相关的第一方法，考虑这样的程序：要求与错误发生的图像编号PN相关的数据的重发，在接受重发后，再次进行图像编号PN的错误检测。但是，在S图像中图像编号PN的不连续不会在传送错误中发生。即，S图像中的图像编号PN的不连续具有这样的可能性：在每个流中，S图像之前被存储在存储器中的图像数是不同的，因此，即使呀与图像编号PN相关的数据的重发，也可能不存在对应的图像，则与不连续的图像相对应的图像不能重发的可能性很大。这样，由于连续要求重发没有被重发的图像，就有不能进行图像的重放的危险。因此，对图像的重放不能很好地进行的例子的解决措施，在以下的实施例10中进行详细说明。
在切换流的时刻上，如果与切换后的流相对应的存储器内的图像数不是同与未进行切换时的流相对应的存储器内的图像数完全一致，就存在不能正确地进行图像的重放的可能性。
首先，存储器具有：短时间保存存储器，为图15所示的作为先入先出存储器；长时间保存存储器，与上述短时间保存存储器相比，长时间保存图像，不是先入先出，而是直接进行存储位置的指定来进行记录。在短时间保存存储器能够保存7个图像，长时间保存存储器能够保存4个图像的情况下，进行参照的图像这样进行指定：在进入存储器中的图像中，从短时间保存存储器第几个进入的图像。例如，处于长时间保存存储器中的usedLT2能够称为进入第八个的图像(Idx＝7)。以这样相对应的位置关系来指定参照图像。
而且，如图7所示的那样，在具有3个流的情况下，用于按图2所示的那样指定同一图像(例如图7所示的S图像)的存储器中的位置随各自的流而不同。而且，当通过S图像而参照其他的流的图像时，用于指定参照图像的存储器中的位置岁每个流的存储器而不同。而且，所谓S图像是这样的图像：具有多个流，当从预定流移动到其他流时，参照移动前的流的S图像之前的图像来进行预测编码的图像与参照移动后的流的S图像之前的图像来进行预测编码的图像为同一图像(图12)。
而且，即使在不是S图像而是I图像的情况下，当参照存储器内在多个流中进行解码的图像完全一致时，能够切换流，因此，能够把I图像用于与S图像相同的用途(流切换)。
当施加这样的各种条件时，在存储器内的图像数不一致的情况下，难于正确地指定进行参照的图像，即使指定了进行参照的图像，发生错误的可能性也较大。
因此，在本实施例中，对于用于避免因图像编号PN的不连续和存储器内容的不一致等问题导致图像编号PN的错误检测处理不能完成的附加信息的编码方法和解码方法进行说明。该附加信息(全部图像删除信息)是表示以下内容的指令：从用于在编码或者解码中进行参照的存储器中全部删除编码对象的I图像和S图像之外的图像，以便于在对进行画面内编码的I图像和上述S图像进行编码后的图像的编码处理中不会发生错误。
由此，在从预定的流移动到其他的流之后，由于多个流各自的存储器状态为相同的，因此，即使在画面间预测编码等中需要参照图像的情况下，也能在存储器中正确地指定预定的图像。而且，当从预定的流移动到其他的流时，通过不把图像编号不连续的作为错误来进行修正，就能解决因要求实际不存在的图像的重发而不能解码的缺陷。
以下使用图16(a)来对编码方法进行说明。图16(a)表示本实施例中的编码信号的制作过程。
首先，在Step20中，检测出图像编号PN。接着，在Step21中，检测出图像类型PicType。接着，在StepA1中，判断所检测出的图像类型是否是I图像。如果所检测出的图像类型是I图像，在StepA10中，删除编码对象的I图像之外的处于存储器中的全部图像。接着，在StepA11中，对表示删除了存储器中全部的图像的全部图像删除信息进行编码，结束附加信息的编码过程。
而且，如图16(b)所示的那样，把图16(a)的StepA1作为判断图像类型是否是S图像的步骤，也能进行同样的编码处理。而且，把StepA1和StepA2进行组合，就可以在Step21中的图像类型的检测之后，进行是I图像还是S图像的判断。
而且，如图17(a)所示的那样，进行Step21中的图像类型的检测，在StepA1中，当编码对象图像是I图像时，如StepA3那样，判断图像编号PN是否是连续的，在图像编号PN不是连续的情况下，可以删除编码对象的I图像之外的处于存储器中的全部图像。另一方面，如果在StepA3中图像编号PN是连续的，就不删除存储器中的图像。在检测出S图像作为图像类型的情况下，与图17(a)相同的说明成立。而且，可以把StepA1和StepA2进行组合，在Step21中的图像类型的检测后进行是I图像还是S图像的判断。
而且，在图17(a)所示的StepA3的处理之后，如图17(b)所示的那样，进行判断在存储器中所存储的图像数是否相同的StepA30的处理，防止即使图像编号是连续的但在存储器中所存储的图像数不相同的错误发生。而且，可以在进行图17(b)中的StepA3的处理之前进行StepA30的处理，如果图像数在流之间不是相同的，进行StepA10的全部图像删除的处理，如果图像数在流之间是相同的并且图像编号不是连续的，就进行StepA10的全部图像删除的处理(图18)。
这样，通过图17所示的过程，能够使存在成为参照图像的可能性的图像尽可能留在存储器中，能够降低成为并且提高图像的再现性。而且，当I图像或者S图像中被存储在存储器中的图像数不同，或者，图像编号不连续时，就不需要进行错误修正处理，因此，能够简化编码装置中的存储器管理。
而且，可以通过表示是特别的I图像的图像类型来表示是I图像和删除存储器中的全部图像。
实施例8
图19是表示本发明的图像编码装置的构成的方框图。图19所示的本发明的图像编码装置的方框图是实现图16的图像编码方法的一例。
图像编号生成单元PNGen生成图像编号PN。图像编号PN是区别在参照图像存储器Mem中所存储的图像的识别符，给参照图像存储器Mem中所存储的不同的图像赋予不同的图像编号PN。通常，每当向参照图像存储器Mem中保存图像时，使图像编号PN递增「1」，当有解码装置接收的图像编号PN增加「2」以上时，能够由图像解码装置检测出因传输路径错误而使应当保存的图像丢失，来实施错误修整(使错误变得不显著)或者错误修正(通过重发而重放没有错误的图像)等的错误修复处理。
图像删除单元PicDel3在图像类型PicType表示是S图像的情况下(与图16的StepA2的处理相对应)，向参照图像存储器Mem通知删除编码对象图像之外的在参照图像存储器Mem中所保存的图像的指令，同时向可变长度编码单元VLC通知该信息。
或者，图像删除单元PicDel3在图像类型PicType表示是I图像的情况下(与图16的StepA1的处理相对应)，向参照图像存储器Mem通知删除编码对象图像之外的在参照图像存储器Mem中所保存的图像的指令，同时向可变长度编码单元VLC通知该信息。
图像编码单元PicEnc参照在参照图像存储器Mem中所保存的图像，作为由图像类型PicType所示的图像类型，伴随着变频·量化等来对输入图像信号Vin进行编码，把其结果发送给图像解码单元PicDec和可变长度编码单元VLC。
图像解码单元PicDec把由图像编码单元PicEnc编码的结果作为由图像类型PicType表示的图像类型，来进行逆量化·逆变频，为了在后续的图像的编码中进行参照，而作为图像编号PN保存在参照图像存储器Mem中。
可变长度编码单元VLC对由图像编码单元PicEnc编码的结果进行可变长度编码，成为比特列，同时对作为解码所需要的信息的用于删除由图像删除单元PicDel3所通知的参照图像存储器Mem中所保存的图像的信息、图像编号PN、图像类型PicType进行编码，作为编码信号Str进行输出。
图10(c)(d)中表示了本发明的编码信号Str的构成例子。以下对各数据进行说明。
最初，图像编号PN被编码。接着，配置用于删除参照图像存储器Mem中所保存的图像的信息以及图像类型PicType和再外图像编码单元PicEnc的输出的图像编码数据。
而且，图10(c)是数据配置的一例，能够如图10(d)那样互换数据的顺序来实现。
根据以上的构成，能够实现执行图16所示的图像编码方法的图像编码装置。而且，能够提供容错性高的编码装置。
实施例9
图20是表示本发明的图像编码装置的方框图。图20的本发明的图像编码装置的方框图表示实现图17的图像编码方法的一例。而且，在以下的说明中，省略了与图19相同的单元相关的说明。
图20与图19的不同点是图像删除单元PicDel4中的处理。具体地说，图像删除单元PicDel4是在图像类型PicType表示是S图像的情况下(与图17的StepA2的处理相对应)，在比较存储器内的图像数而不相同的情况下(与图17的StepA30的处理相对应)，向参照图像存储器Mem通知删除除编码对象图像之外的参照图像存储器Mem中所保存的图像，同时，向可变长度编码单元VLC通知该信息。而且，当图像类型PicType为I图像时，是相同的。而且，本发明的编码信号是与图10(c)(d)相同的构成。
通过以上的构成，能够实现执行图17所示的图像编码方法的图像编码装置。而且，能够提供容错性高的编码装置。
实施例10
在上述实施例7中，当在S图像中发生图像编号PN的不连续时，由于不断要求重发未被重发的图像，则就有不能进行图像重放的危险。以下对因此而不能进行图像的重放的例子相对应的解决方法进行说明。
图21(a)表示对编码信号进行解码的过程。
首先，在Step20中，检测出图像编号PN。接着，在Step21中检测出图像类型PicType。在StepA1中，判断所检测出的图像类型是否是I图像。如果所检测出的图像类型不是I图像，在StepA3中判断图像编号PN是否是连续的。另一方面，如果所检测出的图像类型是I图像，不进行错误检测·修正处理，结束一连串的处理。
如果在StepA3中图像编号PN不是连续的，在StepA4中进行错误修正。另一方面，如果在StepA3中图像编号PN是连续的，结束错误检测处理。
StepA4中的错误修正是例如上述实施例中所述的最大已保存的PN检测和PN重新分配的处理，也可以是这样的处理：接受表示删除存储器中全部的图像的全部图像删除信息，删除存储器中的全部的图像。
而且，如图21(b)所示的那样，即使把图21(a)的StepA1作为判断图像类型是否是S图像的步骤，也能进行同样的编码处理。而且，可以把StepA1与StepA2进行组合，在Step21中的图像类型的检测之后，进行是I图像还是S图像的判断。
如上述那样，当在I图像或S图像中图像编号不是连续的时，能够防止为了进行错误修正而反复发出重发要求导致不能解码的情况。而且，该I图像中的处理在能够切换流这样的特别I图像的情况下特别有效。
实施例11
图22是表示本发明的图像解码装置的构成的方框图。图22的本发明的图像解码装置的方框图表示实现图21的图像解码方法的一例。而且，在以下的说明中，与图11相同的单元所对应的说明被省略。
图22与图11不同点是PN连续判定单元PNchk和图像类型PicType所产生的错误检测单元ErrChk中的处理。具体地说，如果被输入PN连续判定单元PNchk的图像编号PN不是连续的，图像类型PicType不是I图像或S图像，则从错误检测单元ErrChk输出错误修正命令Err。如果存在错误修正命令Err，例如，就进行最大已保存PN检测和PN重新分配的处理，或者，进行这样的处理：接受表示删除存储器中全部的图像的全部图像删除信息，删除存储器中的全部的图像。
通过以上构成，能够实现执行图21所示的图像解码方法的图像解码装置。而且，能够提供容错性高的解码装置。
实施例12
在本实施例中，对于能够避免因图像编号PN的不连续和存储器内容的不一致等问题引起图像编号PN的错误检测处理不能完成的另一个方法进行说明。本实施例与实施例7的不同之处在于：在实施例7的编码处理中具有删除全部图像的步骤，而当删除全部图像时，还要从「0」重新分配图像编号。
由此，在从预定的流移动到另一个流之后，多个流各自的存储器状态成为相同的，而且，图像编号被初始化，因此，即使在画面间预测编码等中需要参照图像的情况下，也能在存储器中正确地指定预定的图像。而且，当把成为解码对象的编码流从预定的流移动(切换)到其他流时，不是把图像编号不连续作为错误来修正，因此，能够解决不能解码的缺陷。
如上述那样，在对活动图像进行编码而得到的编码流中，对于流中的各图像，赋予在显示时刻的顺序上连续的图像编号PN。图像编号PN按各图像的显示时刻的顺序而连续赋予的理由是：在图像解码装置经过传输路径而接收编码流的情况下，能够检测出编码流中的图像因传输错误而丢失的情况。这样的图像解码装置，在对接收的编码流进行解码的过程中，当按显示时刻的顺序所输入的图像之间的图像编号PN增加2以上时，检测出在接收前面的图像到接收后面的图像之间存在传输错误，能够向发送侧要求丢失的图像的重发。因此，图像解码装置继续对一个编码流进行解码，这样来有效地检测出传输错误，接受丢失的图像的重发，能够解码出完全的编码流。
但是，在把以不同的图像速率对同一活动图像进行编码而得到的多个编码流作为输入，来对一个编码流进行解码的过程中，切换到图像速率不同的其他编码流来继续进行以后的解码，在这样的图像解码装置中，错误检测反而成为图像编号PN的错误检测处理不能完成的缺陷发生的原因。这是因为：在各个编码流内，各图像的图像编号PN在显示时刻的顺序上是连续的，则在图像速率不同的编码流之间，即使是应当在同一时刻进行显示的图像，除了开头图像之外，图像编号PN是不一致的。因此，在图像解码装置中，在一个编码流的解码过程中，当把解码对象切换为另一个编码流时，即使是在同一时刻所显示的图像，图像编号PN也是不连续的。这样，为了避免由于图像编号PN的不连续和存储器内容的不一致等问题而导致图像编号PN的错误检测处理不能完成，而在实施例7中使用附加信息(全部图像删除信息)，对这样的编码方法已经进行了说明。该附加信息表示以下内容的命令：在进行画面内编码的I图像和对上述S图像进行编码后的图像的编码处理中，从用于在编码或者解码中进行参照的存储器中全部删除除编码对象之外的图像，以使流切换时的错误不会产生。
以下使用图23来对编码方法进行说明。图23(a)表示本实施例中的编码信号的制作过程。
首先，在Step01中检测出图像编号PN。接着，在Step02中，对在Step01中所检测出的图像编号PN进行编码。而且，在Step03中检测出图像类型PicType。在Step03中，判断所检测出的图像类型是否是S图像。
如果所检测出的图像类型是S图像，在Step05中，对表示删除处于存储器中的全部的图像的全部图像删除信息进行编码。接着，在Step06A中，对S图像进行编码。接着，在Step07中对图像编号进行初始化，接着，在Step08中，删除除编码对象的S图像之外的存储器中的全部图像。由此，结束附加信息的编码以及图像编号PN的初始化处理。
如果所检测出的图像类型不是S图像，由于图像编号是连续的，在Step06B中，对该图像进行编码，但是，不进行附加信息的编码和图像编号PN的初始化处理、全部图像的删除，而结束处理。
在Step07中的图像编号PN的初始化是例如给已经进行了编码处理的S图像赋予图像编号0。即，表示这样的意思：通过在S图像中对图像编号进行初始化，对于按显示时间的顺序编号的S图像的后续图像，赋予从S图像(PN＝0)开始的编号(例如PN＝1)。其结果，图像编号PN的初始化在对S图像进行编码(即对S图像的图像编号进行编码)之后进行。
而且，在Step04中，进行是否是S图像的判断，但是，也可以进行是否是I图像的判断。而且，在图23(a)中，可以在存在删除全部图像的步骤的情况下，同时对图像编号进行初始化，进行图像编号的初始化处理的判断并不仅限于是否是I图像或S图像。而且，Step02中的图像编号PN的编码的处理可以在以下任意时刻进行：在Step01的图像编号检测处理之后的处理中，如果是Step07中的图像编号PN的初始化处理之前。而且，可以在Step08中的删除编码对象的S图像之外的存储器中的全部图像的处理之后，进行Step07中的图像编号PN的初始化的处理。而且，在Step05中对表示删除处于存储器中的全部的图像的全部图像删除信息进行编码的处理也可以在此时进行：在Step04的是否是S图像的判断之后的处理中，如果处于图23(a)所示的处理结束之前。而且，可以使用特别的图像类型PicType，其在图像类型PicType中包含表示从用于在编码或者解码中进行参照的存储器中全部删除除编码对象之外的全部图像，由此，就能不对附加信息进行编码。而且，为了用S图像或I图像进行切换而附加图像编号PN，该方案是有效的，但是，并不意味着仅是S图像和I图像，如果能够切换流，如果教育在P图像等中删除全部图像的步骤，对于图像编号PN也能进行同样的处理。
图24是表示实现本实施例12的编码方法的图像编码装置的构成的方框图。
图像编号生成单元PNGen生成图像编号PN。图像编号PN是区别在参照图像存储器Mem中所存储的图像的识别符，给参照图像存储器Mem中所存储的不同的图像赋予不同的图像编号PN。通常，每当向参照图像存储器Mem中保存图像时，时图像编号PN增加「1」。而且，按照来自图像编码单元PicEnc的通知，在S图像的编码后，把该S图像的图像编号PN初始化为「0」。
图像删除单元PicDel5在图像类型PicType表示是S图像的情况下(与图23的Step03的处理相对应)，向参照图像存储器Mem通知删除除编码对象图像之外的在参照图像存储器Mem中保存的图像的指令(全部图像删除信息)，同时，向可变长度编码单元VLC通知该信息。
图像编码单元PicEnc参照参照图像存储器Mem中所保存的图像，作为由图像类型PicType所表示的图像类型，伴随着变频·量化等来对输入图像信号Vin进行编码，把其结果发送给图像解码单元PicDec和可变长度编码单元VLC。而且，图像编码单元PicEnc在对S图像进行编码之后，向图像编号生成单元PNGen2通知图像编号PN的初始化指示。
图像解码单元PicDec把由图像编码单元PicEnc进行编码的结果作为由图像类型PicType所示的图像类型来进行逆量化·逆变频，为了在后续的图像编码中进行参照，而与图像编号PN相对应而保存在参照图像存储器Mem中。
可变长度编码单元VLC对由图像编码单元PicEnc进行编码的结果进行可变长度编码而成为比特列，同时，对用于删除由图像删除单元PicDel5所通知的参照图像存储器Mem中所保存的图像的信息(全部图像删除信息)、图像编号PN、图像类型PicType进行编码，作为编码信号Str而输出。
接着，使用图23(b)来对解码方法进行说明。图23(b)表示编码信号的解码过程。
首先，在Step09中，对图像编号PN进行解码。接着，在Step010中判断全部图像删除信息是否被编码。
当在Step010中判断为全部图像删除信息被编码时，在Step011中对全部图像删除信息进行解码。接着，在Step012A中对图像进行解码。而且，在Step013中删除除解码对象的图像之外的存储器中的全部图像，接着，在Step014中，对图像编号PN进行初始化。由此，结束附加信息的解码和图像编号PN的初始化处理。
当在Step010中判断为全部图像删除信息未被编码时，在Step012B中对图像进行解码，结束附加信息的解码和图像编号PN的初始化处理。
Step014中的图像编号PN的初始化是给已经进行了解码处理的图像赋予图像编号「0」。即，当对以图23(a)所示的编码过程所编码的编码信号进行解码时，在S图像中，对图像编号进行初始化，由此，给按显示时间的顺序的S图像后续的图像，赋予从S图像开始的编号。
而且，当在图23(b)中教育删除全部图像的步骤的情况下，可以进行对图像编号进行初始化的处理，是否进行该处理的判断与解码的图像类型无关。而且，Step014中的图像编号PN的初始化的处理可以是Step013中的删除除编码对象的图像之外的存储器中的全部图像的处理之前的处理。而且，使用这样的特别图像类型PicType：在图像类型PicType中包含表示从用于在解码中进行参照的存储器中全部删除除解码对象的图像之外的图像的附加信息，由此，可以不对附加信息编码。
图25是表示实现本实施例12的解码方法的图像解码装置的构成的方框图。
可变长度解码单元VLD对编码信号Str进行解码，输出各种信息(删除参照图像存储器Mem中所保存的图像的指令、图像类型PicType、图像编号PN、替换图像编号PN的信息和图像数据等)。
首先，删除由可变长度解码单元VLD所得到的参照图像存储器Mem中所保存的图像的指令(全部图像删除信息)被通知给图像删除单元PicDel6，图像删除单元PicDel6删除在参照图像存储器Mem中所保存的被指令的图像。
由可变长度解码单元VLD所得到的图像类型信息PicType被通知给图像解码单元PicDec，指示解码方法。
由可变长度解码单元VLD所得到的图像编号PN被通知给参照图像存储器Mem，成为存储由图像解码单元PicDec所解码的图像时的图像编号PN。
由可变长度解码单元VLD所得到的全部图像删除信息被通知给图像编号变更单元PNchg2，图像编号变更单元PNchg2按照该指示替换参照图像存储器Mem内所保存的图像的图像编号PN(进行初始化)。更具体地说，图像编号变更单元PNchg2全部删除参照图像存储器Mem内的除解码对象图像(S图像)之外的图像后，读出参照图像存储器Mem中所保存的图像的图像编号PN，把所读出的图像编号PN的值变更为「0」，然后，把该图像编号PN写入参照图像存储器Mem。
由可变长度解码单元VLD所得到的图像数据在图像解码单元PicDec中用与由图像类型PicType所示的图像类型相对应的解码方法进行解码。即，I图像不参照参照图像存储器Mem的图像而被解码，P图像和B图像参照参照图像存储器Mem中所保存的图像来进行解码。这样得到的解码图像被保存在参照图像存储器Mem内，同时，作为解码图像信号Vout被输出。
通过以上构成，能够形成实现图23所示的图像解码方法的图像解码装置。而且，能够提供容错性高的解码装置。
这样，通过本实施例所示的编码方法、解码方法，在从预定的流移动到其他流之后，由于多个流各自的存储器状态为相同的，则即使在画面间预测编码中需要参照图像的情况下，也能在存储器中正确地指定预定的图像。
而且，在上述实施例中，说明了把附加信息(全部图像删除信息)与图像类型PicType集中起来进行编码，但是，通过在I图像中删除参照存储器的全部图像，由此，能够成为可以从该I图像重放流的特别图像。把其称为IDR(Instantaneous Decoder Refresh)图像。IDR图像成为随机存取的重放开始位置，因此，作为GOP(Group of Picture)的开头I图像是有效的。当对该IDR图像进行编码时，每次都删除存储器内的除该图像之外的图像，并且，在该图像的编码后，当对图像编号进行初始化时进行决定，即使在图像编码装置中删除存储器内的除该图像之外的全部图像的情况下，也可以不对附加信息进行编码。在此情况下，在图像解码装置中，从图像类型检测出编码流内的IDR图像，在对IDR图像进行解码的情况下，即使附加信息未被编码，，在删除了存储器内的除该IDR图像之外的图像，并且，对该图像进行编码·解码之后，对图像编号进行初始化。
实施例13
而且，通过把用于实现上述各个实施例所示的图像编码方法和图像解码方法的构成的程序记录到软盘等存储媒体上，能够在独立的计算机系统中简单地实施上述各个实施例所示的处理。
图26是对于用于存储由计算机系统实现上述实施例1至实施例12的图像编码方法和图像解码方法的程序的存储媒体的示意图。
图26(b)表示从软盘的正面看的外观、断面构造和软盘，图26(a)表示作为记录媒体本体的软盘的物理格式的例子。软盘FD内置在外壳F内，在该盘的表面上从外周向内周同心圆地形成多个记录道Tr，各道在角度方向上被分成16个扇区Se。这样，在存储上述程序的软盘中，在上述软盘FD中所分配的区域中记录作为上述程序的图像编码方法和图像解码方法。
而且，图26(c)表示用于在软盘FD中进行上述程序的记录重放的构成。当在软盘FD中记录上述程序时，通过软盘驱动器从计算机系统Cs写入作为上述程序的图像编码方法和图像解码方法。而且，当在计算机系统中通过软盘内的程序来构筑上述图像编码方法和图像解码方法时，通过软盘驱动器从软盘读出程序，转送给计算机系统。
而且，在上述说明中，使用软盘作为记录媒体来进行了说明，但是，使用光盘同样能够实现。而且，记录媒体并不仅限于此，如果是CD-ROM、存储器卡、ROM卡等能够记录程序的，同样能够实施。
在此，说明了上述实施例所示的图像编码方法和图像解码方法的应用例子和使用其的系统。
图27是表示实现内容发送服务的内容供给系统ex100的全体构成。把通信服务的提供区域分成所希望的大小，在各个单元内分别设置作为固定无线台的基站ex107～ex110。
该内容供给系统ex100例如经过因特网服务提供商ex102和电话网ex104以及基站ex107～ex110而把计算机ex111、PDA(personaldigital assistant)ex112、照相机ex113、携带电话ex114、带照相机的携带电话ex115等各个装置连接到因特网ex101上。
但是，内容供给系统ex100并不仅限于图27这样的组合，可以任意组合来连接。而且，也可以不经过作为固定无线台的基站ex107～ex110，各装置直接与电话网ex104相连接。
照相机ex113是数字摄像机等能够进行活动图像拍摄的设备。而且，携带电话可以是PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式或者GSM(GlobalSystem For Mobile Communications)方式的携带电话机，或者PHS(Personal Handyphone System)等。
而且，流服务器ex103从照相机ex113经过基站ex109、电话网ex104进行连接，能够实现根据用户使用照相机ex113发送的经编码处理的数据的实况发送等。拍摄的数据的编码处理可以由照相机ex113进行，也可以由进行数据的发送处理的服务器等进行。而且，由照相机ex116拍摄的活动图像数据经过计算机ex111而发送给流服务器ex103。照相机ex116是数字摄像机等能够拍摄静止图像、活动图像的设备。在此情况下，活动图像数据的编码可以由照相机ex116进行，也可以由计算机ex111进行。而且，编码处理在计算机ex111和照相机ex116具有的LSI ex117中进行处理。而且，可以把图像编码·解码用的软件装入作为可以由计算机ex111等读取的记录媒体的任何存储媒体(CD-ROM、软盘、硬盘等)。而且，可以由带照相机的携带电话ex115来发送活动图像数据。此时的活动图像数据是由携带电话ex115具有的LSI进行了编码处理的数据。
在该内容供给系统ex100中，与上述实施例相同，对用户用照相机ex113、照相机ex116等拍摄的内容(例如，拍摄音乐实况的图像等)进行编码处理，发送给流服务器ex103，另一方面，流服务器ex103向有要求的客户发送上述内容数据流。作为客户，具有能够对上述被编码处理的数据进行解码的计算机ex111、PDA ex112、照相机ex113、携带电话ex114等。由此，内容供给系统ex100在客户端接收并重放编码的数据，而且，在客户端，通过进行实时接收、解码、重放，能够成为可以实现个人广播的系统。
可以在构成该系统的各个设备的编码、解码中使用上述各个实施例所示的图像编码装置或者图像解码装置。
作为其一例，对携带电话进行说明。
图28是表示使用上述实施例中说明的图像编码方法和图像解码方法的携带电话ex115。携带电话ex115具有：用于在与基站ex110之间发送接收电波的天线ex201、CCD照相机等能够拍摄录象、静止画面的照相机ex203、显示由照相机ex203拍摄的图像以及由天线ex201接收的图像等被解码的数据的液晶显示器等的显示部ex202、由操作键ex204群所构成的本体部、用于进行声音输出的扬声器等声音输出部ex208、用于进行声音输入的话筒等声音输入部ex205、用于保存拍摄的活动图像或者静止图像的数据、接收的邮件的数据、活动图像的数据或者静止图像的数据等被编码或者被解码的数据的记录媒体ex207、用于使记录媒体ex207能够装入携带电话ex115中的插槽部ex206。记录媒体ex207是在SD卡等的塑料外壳内装入作为电可擦可写的非易失存储器的EEPROM(Electrically Erasable and Programmable Read OnlyMemory)的一种的高速存储器器件的部件。
而且，使用图29对携带电话ex115进行说明。携带电话ex115在设有显示部ex202和操作键ex204的统一控制本体部的各部分的主控制部ex311上，通过同步总线ex313来连接电源电路部ex310、操作输入控制部ex304、图像编码部ex312、照相机接口部ex303、LCD控制部ex302、图像解码部ex309、复用分离部ex308、记录重放部ex307、调制解调电路部ex306和声音处理部ex305。
电源电路部ex310在通过用户的操作而使结束通话和电源键成为接通状态时，通过从电池向各部分提供电力，来起动成为带照相机的携带电话ex115能够工作的状态。
携带电话ex115根据由CPU、ROM和RAM等构成的主控制部ex311的控制，在声音通话方式时，通过声音处理部ex305把由声音输入部ex205集音的声音信号变换为数字声音数据，由调制解调电路部ex306对其进行扩频处理，由发送接收电路部ex301进行数字模拟变换处理以及变频处理之后，经过天线ex201进行发送。而且，携带电话ex115在声音通话方式时，对由天线ex201接收的接收数据进行放大，进行变频处理和模拟数字变换处理，由调制解调电路部ex306进行逆扩频处理，通过声音处理部ex305变换为模拟声音数据后，把其通过声音输出部ex208而输出。
而且，在数据通信方式时，在发送电子邮件的情况下，通过本体部的操作键ex204的操作所输入的电子邮件的文本数据经过操作输入控制部ex304而被送给主控制部ex311。主控制部ex311由调制解调电路部ex306对文本数据进行扩频处理，由发送接收电路部ex301进行数字模拟变换处理以及变频处理，然后，经过天线ex201发送给基站ex110。
在数据通信方式时，在发送图像数据的情况下，把由照相机ex203所拍摄的图像数据经过照相机接口部ex303提供给图像编码部ex312。而且，在不发送图像数据时，把由照相机ex203拍摄的图像数据经过照相机接口部ex303和LCD控制部ex302而直接显示在显示部ex202上。
图像编码部ex312是设有本发明中说明的图像编码装置的构成，通过按照在上述实施例所示的图像编码装置中使用的编码方法来对从照相机ex203所提供的图像数据进行压缩编码，而变换为编码图像数据，把其发送给复用分离部ex308。而且，此时，携带电话ex115同时在由照相机ex203进行的拍摄过程中经过声音处理部ex305把由声音输入部ex205收集的声音作为数字的声音数据发送给复用分离部ex308。
复用分离部ex308以预定方式对从图像编码部ex312所提供的编码图像数据和由声音处理部ex305所提供的声音数据进行复用，由调制解调电路部ex306对所得到的复用数据进行扩频处理，由发送接收电路部ex301进行数字模拟变换处理和变频处理，然后，经过天线ex201进行发送。
在数据通信方式时，在接收链接到主页等上的活动图像文件的数据的情况下，由调制解调电路部ex306对经过天线ex201从基站ex110接收的接收数据进行逆扩频处理，把所得到的复用数据送给复用分离部ex308。
而且，为了对经过天线ex201所接收的复用数据进行解码，复用分离部ex308通过分离复用数据而分成为图像数据的比特流和声音数据的比特流，经过同步总线ex313而把该编码图像数据提供给图像解码部ex309，同时，把该声音数据提供给声音处理部ex305。
接着，图像解码部ex309是设有本发明中说明的图像解码装置的构成，通过用与上述实施例所示的编码方法相对应的解码方法来对图像数据的比特流进行解码，而生成重放活动图像数据，把其经过LCD控制部ex302而提供给显示部ex202，由此，显示出在与主页相链接的活动图像文件中包含的活动图像数据。此时，声音处理部ex305同时把声音数据变换为模拟声音数据，然后，把其提供给声音输出部ex208，由此，使与主页相链接的活动图像文件中包含的声音数据被重放。
而且，并不仅限于上述系统的例子，最近，由卫星、地面波所进行数字广播成为话题，如图30所示的那样，在数字广播用系统中，至少能够装入上述实施例的图像编码装置或者图像解码装置之一。具体地说，在电视台ex409中，图像信息的比特流经过电波而被传送给通信或广播卫星ex410。接收其的广播卫星ex410发射广播用电波，由设有卫星广播接收设备的家庭的天线ex406接收该电波，通过电视机(接收机)ex401或者机顶盒(STB)ex407等装置来对比特流进行解码，重放其。而且，可以在读取并解码在作为记录媒体的CD和DVD等存储媒体ex402中记录的比特流的重放装置ex403中安装上述实施例所示的图像解码装置。在此情况下，在监视器ex404上显示所重放的图像信号。而且，可以在与有线电视用的电缆ex405或者卫星/地面波广播的天线ex406上所连接的机顶盒ex407内安装图像解码装置，由电视的监视器ex408来重放。此时，可以没有机顶盒，在电视机内装入图像解码装置。而且，在具有天线ex411的车辆ex412中，从卫星ex410或者基站ex107来接收信号，能够在车辆ex412具有的导航设备ex413等的显示装置上重放活动图像。
而且，能够用上述实施例所示的图像编码装置来对图像信号进行编码，并记录到记录媒体上。作为具体例子，具有在DVD盘ex421中记录图像信号的DVD刻录机和在硬盘中记录图像信号的盘记录器等记录器ex420。而且，可以记录在SD卡ex422中。如果记录器ex420设有上述实施例所示的图像解码装置，就能重放DVD盘ex421和SD卡ex422中记录的图像信号，由监视器ex408进行显示。
而且，导航装置ex413的构成可以为：例如，在图29的构成中，除了照相机ex203和照相机接口部ex303、图像编码部ex312之外，同样具有计算机ex111和电视机(接收机)ex401。
而且，上述携带电话ex114等的终端除了具有编码器·解码器两者的发送接收型的终端之外，也可以考虑仅有编码器的发送终端、仅有解码器的接收终端这三种安装形式。
这样，能够在上述任一种设备·系统中使用上述实施例所示的活动图像编码方法或者活动图像解码方法，由此，能够得到上述实施例中说明的效果。
而且，本发明并不仅限于上述实施例，能够在不脱离本发明的范围的情况下，进行各种变形或者修正。
产业上的利用可能性
本发明所涉及的图像编码装置能够作为装在具有通信功能的个人接收机、PDA、数字广播的电视台和携带电话等中的图像编码装置而使用。
而且，本发明所涉及的图像解码装置能够作为装在具有通信功能的个人接收机、PDA、接收数字广播的STB和携带电话等中的图像解码装置而使用。

Claims (39)

1.一种图像编码方法，通过图像编号来确定并参照在存储器中存储的参照图像，并生成活动图像的编码流，其特征在于，包括：
图像编号编码步骤，对与编码对象图像相对应的图像编号进行编码；
编码步骤，对该编码对象图像进行编码；
全部图像不使用化步骤，在上述编码步骤执行后，使除上述编码对象图像之外的图像、且存储在存储器中的图像全部成为不使用；
图像编号初始化步骤，对存储器内的上述编码对象图像的图像编号进行初始化；
全部图像不使用化信息编码步骤，对全部图像不使用化信息进行编码，该全部图像不使用化信息向图像解码装置指示，使除上述编码对象图像之外的图像且存储在存储器中的图像全部成为不使用。
2.根据权利要求1所述的图像编码方法，其特征在于，在上述图像编号初始化步骤中，把上述编码对象图像的图像编号初始化为「0」。
3.根据权利要求1所述的图像编码方法，其特征在于，
在上述全部图像不使用化步骤中，在把画面内编码图像作为编码对象图像的上述编码步骤的执行后，使上述存储器中所存储的除上述画面内编码图像之外的图像全都成为不使用，
在上述图像编号初始化步骤中，对上述画面内编码图像的图像编号进行初始化，
在上述全部图像不使用化信息编码步骤中，对上述全部图像不使用信息进行编码，该全部图像不使用信息指示使上述存储器中所存储的除上述画面内编码图像之外的图像全都成为不使用。
4.一种图像编码方法，通过图像编号来确定并参照在存储器中存储的参照图像，并生成在图像解码装置中的图像解码时能够在多个编码流之间切换作为解码对象的编码流的编码流，其特征在于，包括：
图像编号初始化步骤，对于能够在多个编码流之间选择切换的图像，赋予被初始化的新的图像编号；
编码步骤，对上述图像进行编码，生成编码流；
全部图像不使用化步骤，在上述编码步骤执行后，使在对上述图像进行编码时已经存储在上述存储器内的全部参照图像为不使用。
5.一种图像编码方法，通过参照由在存储器中所存储图像编号所确定的参照图像，来生成编码流，其特征在于，包括：
编码步骤，对于在多个编码流之间能够选择切换的图像，以被该图像所属的流的连续编号赋予的图像编号来对上述图像进行编码，而生成上述编码流；
全部图像不使用化步骤，在上述编码步骤执行后，使在对上述图像进行编码时已经存储在上述存储器内的全部图像成为不使用；
图像编号初始化步骤，在上述编码步骤执行后，将上述图像的图像编号初始化。
6.一种图像编码方法，对多个图像信号进行编码，生成对各图像的编码信号，其特征在于，
能够切换上述多个编码信号的切换图像和从切换图像以后能够参照的图像仅是上述编码信号中相同时刻的图像群。
7.根据权利要求6所述的图像编码方法，其特征在于，使除上述切换图像之前能够参照的图像群之外的图像成为不使用，对成为该不使用的图像的信息进行编码。
8.一种图像编码方法，对多个图像信号进行编码，生成对各图像的编码信号，其特征在于，
具有使能够切换上述多个编码信号的切换图像的图像编号变更为在上述各个编码信号中为相同值的结构。
9.根据权利要求8所述的图像编码方法，其特征在于，在上述能够切换的图像之前的图像中，对上述能够切换的图像的图像编号进行编码。
10.根据权利要求9所述的图像编码方法，其特征在于，在上述能够切换的图像之前的图像中，对与图像编号的重新分配相关的信息进行编码，该重新分配使参照图像的图像编号成为与上述能够切换的图像的图像编号连续的值。
11.根据权利要求9所述的图像编码方法，其特征在于，在上述能够切换的图像中，重新分配图像编号，以使参照图像的图像编号成为与能够切换的图像的图像编号相连续的值。
12.一种图像编码方法，其特征在于，
在存储器中存储用不同图像速率来对相同图像进行编码的多个流，
根据上述多个流的一个流，进行直到切换源的图像的编码；
在上述所存储的流中，在属于另一个流的切换目标的图像与上述切换源的图像之间，与属于该另一个流的该切换目标的图像之前的图像相同的时刻相对应，对切换图像进行编码，
把上述编码的切换图像的图像编号变更为与上述切换目标的图像的图像编号相连续，
从上述切换目标的图像开始进行编码。
13.一种图像编码方法，其特征在于，包括以下步骤：
第一检测步骤，检测出编码对象图像的图像编号；
第二检测步骤，检测出上述编码对象图像的图像类型；
当在上述第二检测步骤中检测到进行画面内编码的I图像或者在解码装置中保证即使将多个流之间切换也能进行流的解码的S图像时，在对上述I图像或者上述S图像进行编码之后，使除上述I图像或者S图像之外的图像中的存储在存储器中的图像全都成为不使用的步骤；
在解码装置中对上述I图像或者上述S图像进行解码之后，对全部图像不使用化信息进行编码的步骤，该全部图像不使用化信息使除上述I图像或者S图像之外的图像中的存储在存储器中的图像全都成为不使用。
14.一种图像编码方法，其特征在于，包括以下步骤：
第一检测步骤，检测出编码对象图像的图像编号；
第二检测步骤，检测出上述编码对象图像的图像类型；
当在上述第二检测步骤中检测到进行画面内编码的I图像或者在解码装置中保证即使切换多个流之间也能进行流的解码的S图像时，判断在上述第一检测步骤中所检测出的上述图像编号是否是连续的步骤；
当上述图像编号不是连续的时，在对上述I图像或者上述S图像进行编码之后，使除上述I图像或者S图像之外的图像中的存储在存储器中的图像全都成为不使用的步骤；
在解码装置中对上述I图像或者上述S图像进行解码之后，对全部图像不使用化信息进行编码的步骤，该全部图像不使用化信息使除上述I图像或者S图像之外的图像中的存储在存储器中的图像全都成为不使用。
15.一种图像编码方法，其特征在于，包括下列步骤：
第一检测步骤，在多个流的各自存储在存储器中的编码对象图像中，检测出编码对象流的编码对象图像的图像编号；
第二检测步骤，检测出上述编码对象图像的图像类型；
第一判断步骤，当在上述第二检测步骤中检测到进行画面内编码的I图像或者在解码装置中保证即使切换多个流之间也能进行流的解码的S图像时，判断在上述第一检测步骤中所检测出的上述图像编号是否是连续的；
第二判断步骤，当上述图像编号是连续的时，判断在切换流的时刻上在上述多个流各自的存储器中是否存储着相同数量的图像；
当在上述第二判断步骤中判断为未存储着相同的图像数时，在对上述I图像或者上述S图像进行编码之后，使除上述I图像或者S图像之外的图像中的存储在存储器中的图像全都成为不使用的步骤；
在解码装置中对上述I图像或者上述S图像进行解码之后，对全部图像不使用化信息进行编码的步骤，该全部图像不使用化信息使除上述I图像或者S图像之外的图像中的存储在存储器中的图像全都成为不使用。
16.一种图像解码方法，通过图像编号来确定并参照在存储器中存储的参照图像，来对活动图像的编码流进行解码，其特征在于，包括：
全部图像不使用化信息解码步骤，从编码流中检测出全部图像不使用信息并进行解码，该全部图像不使用信息表示：使解码对象图像之外的图像中的已经存储在存储器中的图像全部成为不使用的；
解码步骤，从上述编码流中，对上述解码对象图像进行解码；
全部图像不使用化步骤，在上述解码步骤执行后，根据所解码的上述全部图像不使用信息，使上述解码对象图像之外的图像中的已经存储在存储器中的图像全部成为不使用的；
图像编号初始化步骤，给存储器内的上述解码对象图像，赋予初始化的新的图像编号。
17.根据权利要求16所述的图像解码方法，其特征在于，在上述图像编号初始化步骤中，给存储器内的上述解码对象图像赋予被初始化为「0」的新的图像编号。
18.根据权利要求16所述的图像解码方法，其特征在于，
在上述全部图像不使用化信息解码步骤中，检测出使画面内编码图像成为上述解码对象图像的上述全部图像不使用化信息，并进行解码，
在上述解码步骤中，把上述画面内编码图像作为解码对象图像来进行解码，
在上述全部图像不使用化步骤中，把上述画面内编码图像作为解码对象图像存储在存储器中的图像全部成为不使用，
在上述图像编号初始化步骤中，把上述画面内编码图像作为解码对象图像，而赋予新的图像编号。
19.一种图像解码方法，能够参照由存储器中所存储的图像编号而确定的参照图像，来进行解码，其特征在于，包括：
解码步骤，从编码流来对预定的图像进行解码；
全部图像不使用化步骤，使在对上述图像进行解码时已经存储在上述存储器内的全部图像，在上述图像的解码完成之后，成为不使用。
20.根据权利要求19所述的图像解码方法，其特征在于，进一步包括：
图像编号初始化步骤，在上述解码步骤执行前，对上述预定的图像初始化图像编号。
21.一种图像解码方法，参照由存储器中所存储的图像编号而确定的参照图像，来进行解码，其特征在于，包括：
图像编号解码步骤，对于解码对象图像，对图像编号进行解码；
解码步骤，从上述编码流来对上述解码对象图像进行解码；
错误检出步骤，根据所解码的图像编号的连续性，进行上述编码流的错误检出，
上述错误检出步骤，在解码对象图像是特别的图像的情况下，不进行上述错误检出。
22.根据权利要求21所述的图像解码方法，其特征在于，
上述特别的图像是画面内编码图像，
上述图像解码方法进一步包括：
全部图像不使用化步骤，在把上述特别的图像作为解码对象图像的上述解码步骤执行后，使除上述解码对象图像之外的图像中，已经存储在存储器中的图像全都成为不使用。
23.根据权利要求21所述的图像解码方法，其特征在于，
上述特别的图像是能够在多个编码流之间选择成为编码对象的编码流的切换的图像，
上述图像解码方法进一步包括：
全部图像不使用化步骤，在把上述特别的图像作为解码对象图像的上述解码步骤执行后，使除上述解码对象图像之外的图像中，已经存储在存储器中的图像全都成为不使用。
24.一种图像解码方法，对编码信号进行解码，其特征在于，
对在能够切换的切换图像之前成为不使用的图像的信息进行解码，根据上述解码的结果，使从参照图像存储器中解码的图像成为不使用，在切换图像后，仅参照未成为不使用的参照图像，来对编码信号进行解码。
25.一种图像解码方法，对编码信号进行解码，其特征在于，
具有这样的构成：当以能够切换的图像来切换上述编码信号时，使参照图像的图像编号变更为在能够切换的编码信号中为相同值。
26.根据权利要求25所述的图像解码方法，其特征在于，在上述能够切换的图像前的图像中，对能够切换的图像的图像编号进行解码。
27.根据权利要求26所述的图像解码方法，其特征在于，在上述能够切换的图像前的图像中，对与图像编号的重新分配相关的信息进行解码，以使参照图像的图像编号成为与能够切换的图像的图像编号相连续的值。
28.根据权利要求26所述的图像解码方法，其特征在于，在上述能够切换的图像中，重新分配图像编号，以使参照图像的图像编号成为与能够切换的图像的图像编号相连续的值。
29.一种图像解码方法，其特征在于，包括：
第一检测步骤，检测出解码对象图像的图像编号；
第二检测步骤，检测出上述解码对象图像的图像类型；
当在上述第二检测步骤中检测到进行画面内编码的I图像或者在解码装置中保证即使切换多个流之间也能进行流的解码的S图像时，在对上述I图像或者上述S图像进行解码之后，使除上述I图像或者S图像之外的图像中的存储在存储器中的图像全都成为不使用的步骤。
30.一种图像解码方法，其特征在于，包括：
第一检测步骤，检测出解码对象图像的图像编号；
第二检测步骤，检测出上述解码对象图像的图像类型；
当在上述第二检测步骤中检测到进行画面内编码的I图像或者在解码装置中保证即使切换多个流之间也能进行流的解码的S图像时，判断在上述第一检测步骤中所检测出的上述图像编号是否是连续的步骤；
当上述图像编号不是连续的时，修正因上述图像编号不连续引起的缺陷的步骤。
31.根据权利要求30所述的图像解码方法，其特征在于，在上述修正缺陷的步骤，要求与不连续部分的图像编号相对应的图像的重发，对重发的图像进行解码。
32.一种图像编码装置，其特征在于，包括：
不使用化装置，使除在切换图像之前能够参照的图像群之外的图像在参照图像存储器内成为不使用；
第一编码装置，对成为上述不使用的图像的信息进行编码；
第二编码装置，参照参照图像存储器的图像，对图像信号进行编码。
33.一种图像编码装置，其特征在于，包括：
图像编号变更装置，使能够将多个编码信号切换的切换图像的图像编号变更为在上述各个编码信号中为相同的值；
第一编码装置，对上述变更方法进行编码；
第二编码装置，对图像信号进行编码。
34.一种图像解码装置，其特征在于，包括：
第一解码装置，对编码信号进行解码，对在切换图像前成为不使用的图像的信息进行解码；
不使用化装置，根据上述第一解码装置的解码结果，使参照图像存储器内的图像成为不使用；
第二解码装置，参照上述参照图像存储器的图像，对上述编码信号进行解码。
35.一种图像解码装置，其特征在于，包括：
第一解码装置，对以下方法进行解码：对编码信号进行解码，将能够切换多个编码信号的切换图像的图像编号变更为上述各个编码信号中相同的值；
图像编号变更装置，根据上述第一解码装置的解码结果，把切换图像的图像编号变更为上述各个编码信号中相同的值；
第二解码装置，对上述编码信号进行解码。
36.一种用于在计算机中执行图像编码方法的程序，该图像编码方法对多个图像信号进行编码，来生成与各图像相对应的编码信号，其特征在于，
执行这样的图像编码方法：能够切换上述多个编码信号的切换图像和从切换图像以后能够参照的图像，是上述编码信号中仅是相同时刻的图像群。
37.一种用于在计算机中执行图像编码方法的程序，该图像编码方法对多个图像信号进行编码，来生成与各图像相对应的编码信号，其特征在于，
执行具有这样的构成的图像编码方法：把能够切换上述多个编码信号的切换图像的图像编号变更为上述编码信号中相同的值。
38.一种用于在计算机中执行对编码信号进行解码的图像解码方法的程序，其特征在于，
执行这样的图像解码方法：对在能够切换的切换图像之前成为不使用的图像的信息进行解码，根据上述解码的结果，使从参照图像存储器所解码的图像成为不使用，仅参照在切换图像之后未成为不使用的参照图像，来对编码信号进行解码。
39.一种用于在计算机中执行对编码信号进行解码的图像解码方法的程序，其特征在于，
执行具有这样的构成的图像解码方法：在用能够切换的切换图像来切换上述编码信号时，把参照图像的图像编号变更为在能够切换的编码信号中相同的值。
CN038004488A 2002-04-16 2003-04-10 图像编码方法和图像解码方法 Expired - Lifetime CN1516974B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
JP2002112787 2002-04-16
JP112787/2002 2002-04-16
US37763802P 2002-05-06 2002-05-06
US60/377,638 2002-05-06
JP2002192533 2002-07-01
JP192533/2002 2002-07-01
JP204718/2002 2002-07-12
JP2002204718 2002-07-12
JP2003092490A JP4355156B2 (ja) 2002-04-16 2003-03-28 画像復号化方法及び画像復号化装置
JP92490/2003 2003-03-28
PCT/JP2003/004539 WO2003088678A1 (en) 2002-04-16 2003-04-10 Image encoding method and image decoding method

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN2011103566934A Division CN102355585B (zh) 2002-04-16 2003-04-10 图像编码方法和图像编码装置
CN201110356819.8A Division CN102355586B (zh) 2002-04-16 2003-04-10 便携电话、机顶盒、电视机和汽车导航仪

Publications (2)

Publication Number Publication Date
CN1516974A true CN1516974A (zh) 2004-07-28
CN1516974B CN1516974B (zh) 2011-12-28

Family

ID=29255644

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201110356819.8A Expired - Lifetime CN102355586B (zh) 2002-04-16 2003-04-10 便携电话、机顶盒、电视机和汽车导航仪
CN038004488A Expired - Lifetime CN1516974B (zh) 2002-04-16 2003-04-10 图像编码方法和图像解码方法
CN2011103566934A Expired - Lifetime CN102355585B (zh) 2002-04-16 2003-04-10 图像编码方法和图像编码装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201110356819.8A Expired - Lifetime CN102355586B (zh) 2002-04-16 2003-04-10 便携电话、机顶盒、电视机和汽车导航仪

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2011103566934A Expired - Lifetime CN102355585B (zh) 2002-04-16 2003-04-10 图像编码方法和图像编码装置

Country Status (15)

Country Link
US (10) US7505518B2 (zh)
EP (4) EP2309755B1 (zh)
JP (1) JP4355156B2 (zh)
KR (2) KR100980964B1 (zh)
CN (3) CN102355586B (zh)
AT (2) ATE555607T1 (zh)
AU (2) AU2003236033B2 (zh)
BR (1) BR0304528A (zh)
CA (1) CA2448511C (zh)
DE (1) DE60318307T2 (zh)
ES (1) ES2297187T3 (zh)
MX (1) MXPA03011200A (zh)
MY (1) MY135697A (zh)
TW (1) TWI276359B (zh)
WO (1) WO2003088678A1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100754419B1 (ko) * 2002-07-16 2007-08-31 노키아 코포레이션 비디오 코딩시 랜덤 액세스 및 점진적 화상 리프레시를위한 방법
JP3513148B1 (ja) 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
US8824553B2 (en) 2003-05-12 2014-09-02 Google Inc. Video compression method
CN101686364B (zh) * 2004-04-28 2013-03-13 松下电器产业株式会社 流产生装置,流产生方法,编码装置,编码方法,记录介质及其程序
US7590059B2 (en) * 2004-05-21 2009-09-15 Broadcom Corp. Multistandard video decoder
WO2006112139A1 (ja) * 2005-04-13 2006-10-26 Sharp Kabushiki Kaisha 動画像再生装置
US8559510B2 (en) * 2006-08-10 2013-10-15 Canon Kabushiki Kaisha Image decoding apparatus
WO2008048605A2 (en) * 2006-10-16 2008-04-24 Thomson Licensing Method for using a network abstract layer unit to signal an instantaneous decoding refresh during a video operation
AU2007309634A1 (en) * 2006-10-24 2008-05-02 Thomson Licensing Picture management for multi-view video coding
US9648325B2 (en) 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
JP4561851B2 (ja) * 2008-03-18 2010-10-13 カシオ計算機株式会社 撮像装置、撮像方法および撮像プログラム
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
JP5207895B2 (ja) * 2008-09-17 2013-06-12 キヤノン株式会社 送信装置、受信装置、及び方法、プログラム
JP2011082683A (ja) * 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8731067B2 (en) * 2011-08-31 2014-05-20 Microsoft Corporation Memory management for video decoding
EP2586922B1 (de) 2011-10-31 2018-09-05 RANIT-Befestigungssysteme GmbH Vorrichtung zur mechanischen Befestigung von Dämmstoffen an einer Unterkonstruktion
US9819949B2 (en) 2011-12-16 2017-11-14 Microsoft Technology Licensing, Llc Hardware-accelerated decoding of scalable video bitstreams
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
WO2013162249A1 (ko) 2012-04-23 2013-10-31 엘지전자 주식회사 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
US9426459B2 (en) * 2012-04-23 2016-08-23 Google Inc. Managing multi-reference picture buffers and identifiers to facilitate video data coding
US9014266B1 (en) 2012-06-05 2015-04-21 Google Inc. Decimated sliding windows for multi-reference prediction in video coding
US9332309B2 (en) * 2012-06-08 2016-05-03 Apple Inc. Sync frame recovery in real time video transmission system
KR102077556B1 (ko) * 2012-06-28 2020-02-14 엑시스 에이비 가상 인트라-프레임을 사용하여 비디오 콘텐츠를 인코딩하기 위한 시스템 및 방법
US9491487B2 (en) 2012-09-25 2016-11-08 Apple Inc. Error resilient management of picture order count in predictive coding systems
US9264737B2 (en) 2012-10-01 2016-02-16 Apple Inc. Error resilient transmission of random access frames and global coding parameters
US9407915B2 (en) 2012-10-08 2016-08-02 Google Inc. Lossless video coding with sub-frame level optimal quantization values
JP2014192564A (ja) * 2013-03-26 2014-10-06 Sony Corp 映像処理装置、映像処理方法及びコンピュータプログラム
US9756331B1 (en) 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
TWM487509U (zh) 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
JP6365253B2 (ja) 2014-11-12 2018-08-01 富士通株式会社 映像データ処理装置、映像データ処理プログラムおよび映像データ処理方法
KR101868203B1 (ko) * 2015-01-28 2018-07-20 한국전자통신연구원 스트림 처리 방법 및 장치
US11095907B2 (en) 2017-03-27 2021-08-17 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
CN109450887B (zh) * 2018-11-01 2022-01-11 西安万像电子科技有限公司 数据传输方法、装置及系统
US11523115B2 (en) * 2020-04-02 2022-12-06 Electronics And Telecommunications Research Institute Method, apparatus and storage medium for image encoding/decoding
CN115428454A (zh) 2020-04-06 2022-12-02 字节跳动有限公司 使用参数集的视频编解码
WO2021211364A1 (en) * 2020-04-12 2021-10-21 Bytedance Inc. Coding of instantaneous decoding refresh subpictures

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3670096A (en) * 1970-06-15 1972-06-13 Bell Telephone Labor Inc Redundancy reduction video encoding with cropping of picture edges
EP1377111A1 (en) * 1993-12-24 2004-01-02 Sharp Kabushiki Kaisha Image-information storage regenerating device
JP3669523B2 (ja) * 1995-04-08 2005-07-06 ソニー株式会社 符号化装置及び方法
DE69608231T2 (de) 1995-07-19 2000-11-30 Koninkl Philips Electronics Nv Verfahren und vorrichtung zur dekodierung von digitalen videobitdaten und empfängervorrichtung dafür
JP3319678B2 (ja) * 1995-08-11 2002-09-03 ケイディーディーアイ株式会社 動画像の高速ブラウジング装置
US5883678A (en) * 1995-09-29 1999-03-16 Kabushiki Kaisha Toshiba Video coding and video decoding apparatus for reducing an alpha-map signal at a controlled reduction ratio
JP3784879B2 (ja) * 1996-03-14 2006-06-14 パイオニア株式会社 情報記録媒体、情報記録装置及び方法並びに情報再生装置及び方法
JPH09322167A (ja) * 1996-03-29 1997-12-12 Sony Corp 画像受信装置、画像受信方法、画像送信装置、画像送信方法、画像送受信装置、および画像送受信方法
TW351903B (en) * 1996-07-03 1999-02-01 Matsushita Electric Ind Co Ltd Encoding method, encoding apparatus, decoding and compositing method, decoding and composition appratus, and record medium recorded with the aforesaid methods for multiple images
US6480541B1 (en) * 1996-11-27 2002-11-12 Realnetworks, Inc. Method and apparatus for providing scalable pre-compressed digital video with reduced quantization based artifacts
JP3039624B2 (ja) * 1996-12-02 2000-05-08 日本電気株式会社 オーディオ・ビデオ同期再生装置
JPH10262259A (ja) * 1997-03-19 1998-09-29 Sony Corp 画像信号送出装置及び画像信号送出方法
JP3373130B2 (ja) * 1997-03-24 2003-02-04 沖電気工業株式会社 画像復号化装置
WO1999011063A1 (fr) * 1997-08-21 1999-03-04 Sony Corporation Procede et dispositif d'enregistrement sur disque, procede et dispositif de lecture de disque et support d'enregistrement
US6282240B1 (en) * 1997-09-03 2001-08-28 Oki Electric Industry Co., Ltd. Picture coder, picture decoder, and transmission system
US6249318B1 (en) 1997-09-12 2001-06-19 8×8, Inc. Video coding/decoding arrangement and method therefor
EP0940989A3 (en) * 1998-03-02 2003-10-29 Nippon Telegraph and Telephone Corporation Video communication system and method
JPH11275590A (ja) * 1998-03-26 1999-10-08 Sony Corp 画像間圧縮符号化装置および符号化方法
FR2782437B1 (fr) * 1998-08-14 2000-10-13 Thomson Multimedia Sa Procede de commutation de flux mpeg
US6310915B1 (en) * 1998-11-20 2001-10-30 Harmonic Inc. Video transcoder with bitstream look ahead for rate control and statistical multiplexing
JP3411234B2 (ja) 1999-04-26 2003-05-26 沖電気工業株式会社 符号化情報受信復号装置
GB2353653B (en) 1999-08-26 2003-12-31 Sony Uk Ltd Signal processor
JP2001258031A (ja) * 2000-03-08 2001-09-21 Sony Corp 信号処理方法、画像符号化装置及び画像復号装置
US6940911B2 (en) * 2000-03-14 2005-09-06 Victor Company Of Japan, Ltd. Variable picture rate coding/decoding method and apparatus
JP3561485B2 (ja) * 2000-08-18 2004-09-02 株式会社メディアグルー 符号化信号分離・合成装置、差分符号化信号生成装置、符号化信号分離・合成方法、差分符号化信号生成方法、符号化信号分離・合成プログラムを記録した媒体および差分符号化信号生成プログラムを記録した媒体
JP3859989B2 (ja) * 2000-10-30 2006-12-20 株式会社モノリス 画像マッチング方法およびその方法を利用可能な画像処理方法と装置
US6765963B2 (en) * 2001-01-03 2004-07-20 Nokia Corporation Video decoder architecture and method for using same
US20020122491A1 (en) * 2001-01-03 2002-09-05 Marta Karczewicz Video decoder architecture and method for using same
JP3931595B2 (ja) * 2001-07-10 2007-06-20 株式会社日立製作所 データ修正装置及びデータ修正方法
US7613727B2 (en) * 2002-02-25 2009-11-03 Sont Corporation Method and apparatus for supporting advanced coding formats in media files
US7403660B2 (en) * 2003-04-30 2008-07-22 Nokia Corporation Encoding picture arrangement parameter in picture bitstream

Also Published As

Publication number Publication date
US20080069218A1 (en) 2008-03-20
KR20040099096A (ko) 2004-11-26
CA2448511A1 (en) 2003-10-23
EP1496706B1 (en) 2007-12-26
ATE555607T1 (de) 2012-05-15
CN1516974B (zh) 2011-12-28
ATE382242T1 (de) 2008-01-15
AU2008243276B2 (en) 2009-03-05
TW200401566A (en) 2004-01-16
US9516307B2 (en) 2016-12-06
EP2276260A2 (en) 2011-01-19
WO2003088678A1 (en) 2003-10-23
AU2008243276A1 (en) 2008-12-04
EP2309755B1 (en) 2014-01-29
MXPA03011200A (es) 2004-02-26
KR100950388B1 (ko) 2010-03-29
EP2276260B1 (en) 2013-01-02
CA2448511C (en) 2012-07-10
KR100980964B1 (ko) 2010-09-07
US20050031030A1 (en) 2005-02-10
EP2309755A1 (en) 2011-04-13
US20180109787A1 (en) 2018-04-19
US10148951B2 (en) 2018-12-04
US10812792B2 (en) 2020-10-20
US20140286393A1 (en) 2014-09-25
US20200120337A1 (en) 2020-04-16
BR0304528A (pt) 2004-07-27
US20090135917A1 (en) 2009-05-28
EP1887805A3 (en) 2008-02-20
US10869034B2 (en) 2020-12-15
EP1496706A1 (en) 2005-01-12
KR20080023764A (ko) 2008-03-14
AU2003236033B2 (en) 2008-09-11
US10834388B2 (en) 2020-11-10
EP1496706A4 (en) 2005-05-25
JP4355156B2 (ja) 2009-10-28
EP1887805B1 (en) 2012-04-25
JP2004096706A (ja) 2004-03-25
US8675729B2 (en) 2014-03-18
US20170048521A1 (en) 2017-02-16
AU2003236033A1 (en) 2003-10-27
CN102355585A (zh) 2012-02-15
US7505518B2 (en) 2009-03-17
CN102355586A (zh) 2012-02-15
US10542252B2 (en) 2020-01-21
US8787448B2 (en) 2014-07-22
CN102355586B (zh) 2014-03-26
US10021389B2 (en) 2018-07-10
EP1887805A2 (en) 2008-02-13
DE60318307T2 (de) 2008-12-11
EP2276260A3 (en) 2011-03-02
DE60318307D1 (de) 2008-02-07
ES2297187T3 (es) 2008-05-01
US20190068964A1 (en) 2019-02-28
MY135697A (en) 2008-06-30
TWI276359B (en) 2007-03-11
US20200112719A1 (en) 2020-04-09
US20200112720A1 (en) 2020-04-09
CN102355585B (zh) 2013-12-18

Similar Documents

Publication Publication Date Title
CN1516974A (zh) 图像编码方法和图像解码方法
CN1295934C (zh) 移动向量编码方法和移动向量解码方法
CN100352287C (zh) 图像编码装置、图像解码装置及它们的方法
CN1271865C (zh) 动态矢量编码和译码的方法及装置
CN1685732A (zh) 动态图像编码方法和动态图像解码方法
CN1278562C (zh) 编码失真消除方法、视频编码方法、视频解码方法、装置及其程序
CN1739294A (zh) 图像编码方法
CN1910922A (zh) 运动图片编码方法和运动图片解码方法
CN1640148A (zh) 动态图像编码方法及动态图像解码方法
CN1518835A (zh) 动态图像编码方法及动态图像解码方法
CN1612614A (zh) 帧内预测编码方法
CN1968413A (zh) 图像解码方法
CN1976469A (zh) 图像编码方法、图像解码方法及设备
CN1478356A (zh) 动态图像编码方法及动态图像解码方法
CN101061725A (zh) 运动图像编码方法以及运动图像解码方法
CN1926882A (zh) 运动补偿装置
CN1685733A (zh) 动态画像的编码方法及解码方法
CN1522543A (zh) 可变长编码方法和可变长译码方法
CN1523892A (zh) 动态图像编码方法及动态图像解码方法
CN1692654A (zh) 动态图像编码方法和动态图像解码方法
CN1620144A (zh) 图像信号处理方法、处理装置、处理程序及集成电路装置
CN1509575A (zh) 图像编码方法及图像译码方法
CN1691783A (zh) 运动图像编码和解码方法,装置,程序及程序产品
CN1757239A (zh) 图像编码方法及图像解码方法
CN1767656A (zh) 编码失真消除方法、视频编码方法、视频解码方法、装置及其程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20140926

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140926

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151112

Address after: Tokyo, Japan

Patentee after: Godo Kaisha IP Bridge 1

Address before: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

CX01 Expiry of patent term

Granted publication date: 20111228

CX01 Expiry of patent term