JP2004096706A - 画像符号化方法および画像復号化方法 - Google Patents
画像符号化方法および画像復号化方法 Download PDFInfo
- Publication number
- JP2004096706A JP2004096706A JP2003092490A JP2003092490A JP2004096706A JP 2004096706 A JP2004096706 A JP 2004096706A JP 2003092490 A JP2003092490 A JP 2003092490A JP 2003092490 A JP2003092490 A JP 2003092490A JP 2004096706 A JP2004096706 A JP 2004096706A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- image
- decoding
- encoding
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Abstract
【課題】復号化途中でストリームを切替えても不具合を生じない画像符号化方法および画像復号化方法を提供する。
【解決手段】複数の画像信号を符号化して各画像に対する符号化信号を生成する画像符号化方法であって、前記複数の符号化信号を切換可能な切換ピクチャおよび切換ピクチャ以降から参照できるピクチャは前記符号化信号で同じ時刻のピクチャ群のみである画像符号化方法である。より詳細には、Ｓピクチャの前後でピクチャ番号が不連続な場合にエラー扱いとしないように処理する。
【選択図】 図２
【解決手段】複数の画像信号を符号化して各画像に対する符号化信号を生成する画像符号化方法であって、前記複数の符号化信号を切換可能な切換ピクチャおよび切換ピクチャ以降から参照できるピクチャは前記符号化信号で同じ時刻のピクチャ群のみである画像符号化方法である。より詳細には、Ｓピクチャの前後でピクチャ番号が不連続な場合にエラー扱いとしないように処理する。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像信号を画面間の相関を利用して効率良く圧縮する画像符号化方法とそれを正しく復号化する画像復号化方法、並びにそれをソフトウェアで実施するためのプログラムが記録された記録媒体に関する。
【０００２】
【従来の技術】
近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
【０００３】
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４ｋｂｐｓ〜１．５Ｍｂｐｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ：Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）で国際標準化されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
【０００５】
ここで、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とは、動画像信号のデジタル圧縮の国際規格であり、ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格では対象とする品質を伝送速度が主として約１．５Ｍｂｐｓで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号を２〜１５Ｍｂｐｓに圧縮する。
【０００６】
さらに現状では、ＭＰＥＧ−１、ＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１） によって、より圧縮率が高いＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートで効率の高い符号化が可能になるだけでなく、伝送路誤りが発生しても主観的な画質劣化を小さくできる強力な誤り耐性技術も導入されている。また、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔの共同で次世代画面符号化方式として、ＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）の標準化活動が進んでおり、現時点ではジョイント・モデル２（ＪＭ２）と呼ばれるものが最新である。
【０００７】
参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。
【０００８】
ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。
【０００９】
ＪＶＴでは、従来の動画像符号化と異なり、前方参照画像として複数の画像（ピクチャ）から任意の画像（ピクチャ）を参照画像として選択することが可能である。また、符号化したストリームを特定のピクチャで切換可能にするような仕組みを導入し、Ｓピクチャ（ＳＩピクチャおよびＳＰピクチャと呼ばれ、それぞれＳピクチャで画面内予測符号化、画面間予測符号化に対応する）が導入された。
【００１０】
Ｓピクチャは、複数のストリームから、Ｓピクチャの直前でストリームを切り換えてもＳピクチャ以降のストリームが正しく復号化できることを保証する仕組みであり、動画配信サーバなどで受信端末との間の通信容量や受信者の嗜好に合わせて、サーバでストリームを切換ることが可能になる。
【００１１】
さて、このような従来の画像符号化方法および画像復号化方法では、（１）前方参照画像として複数の画像（ピクチャ）から任意の画像（ピクチャ）を参照画像として選択することができるようにし、（２）特定のピクチャでストリームを切換ることができるようＳピクチャを導入した。しかしながら、このように２つの技術が導入されているにもかかわらず、残念ながらその両者を組合せた場合について発生する問題については十分に考慮されておらず、以下に記載する課題により、実際には両者を併用することが困難であった。
【００１２】
図２９は、入力画像信号Ｖｉｎを符号化した場合のピクチャとピクチャ番号ＰＮとの対応を説明する図である。ストリーム１、ストリーム２、ストリーム３は同じ画像信号を異なるピクチャレート（１秒あたりのピクチャ数）で符号化したものである。ピクチャ番号ＰＮは符号化したピクチャを識別するための番号であり、ＪＭ２では参照画像として後続の符号化で参照されるものは「１」ずつ増加する番号が割り当てられることになっている。説明を簡単にするため、図２９の例では各ストリームで全てのピクチャを後続の符号化で参照されるものとし、ピクチャ番号ＰＮの値が常に「１」ずつ増える場合のみ記載している。後続の符号化で参照されないピクチャはピクチャ番号ＰＮの増減に影響を与えず、メモリにも保存されない。したがって、後続の符号化で参照されないピクチャについては、今後の動作の説明には影響を与えないので、説明を省略する。
【００１３】
さて、図２９に示すように、時刻ｔ３において、各ストリームの斜線で示されるピクチャはＳピクチャとして符号化される。図３０は、Ｓピクチャを符号化および復号化する際に、参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮを示す図である。
【００１４】
図３０は参照画像メモリＭｅｍに記憶されている画像およびその位置を表している。参照画像メモリＭｅｍ内で左位置のピクチャは右位置に格納されているピクチャより時刻が新しい。予測符号化する際には、符号化および復号化で同じ画像を参照する必要があり、ＪＭ２のように複数の参照画像から参照画像を選択可能な場合にはどの画像を参照したかを明示する必要がある。
【００１５】
参照画像を明示するには、下記の２通りの方法があり、ＪＭ２では目的に応じて両者を使い分けている。
▲１▼時刻が新しいものから何ピクチャ前かの情報を明示する
▲２▼ピクチャ番号ＰＮによって参照するピクチャを明示する
Ｓピクチャでストリームを切り換えた際に、ＳピクチャおよびＳピクチャより後のピクチャを正しく符号化し、かつ、復号化の時点で正しく復号化できるためには、Ｓピクチャでどのストリームからどのストリームに切り換えた場合でも、参照画像メモリＭｅｍの内容が一致していなければならない。
【００１６】
【非特許文献１】
ＩＴＵ−Ｔ勧告 Ｈ．２６３ＡｎｎｅｘＵ（１１／００）
”Ｅｎｈａｎｃｅｄ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｍｏｄｅ”
【００１７】
【発明が解決しようとする課題】
しかしながら、図３０の参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮの説明図から明らかなように、ストリーム毎にＳピクチャ符号化・復号化開始時点で参照画像メモリＭｅｍの内容が一致していないため、従来の方法のままでは、参照画像メモリＭｅｍ内から参照ピクチャを選択する符号化方法と、ストリームを切り換えるＳピクチャの仕組みを組み合わせて使用することはできない。
【００１８】
そこで、本発明は以上の課題を解決し、Ｓピクチャの仕組みが参照画像メモリＭｅｍ内から参照ピクチャを選択する符号化方法と組み合わせて使用できるようにし、Ｓピクチャを用いた場合でも前記符号化手法における圧縮率を向上することができる画像符号化方法および画像復号化方法を提供することを目的とする。
【００１９】
【課題を解決するための手段】
この課題を解決するために、
第１の発明は、メモリに格納した参照ピクチャをピクチャ番号によって特定して参照し、動画の符号化ストリームを生成する画像符号化方法であって、符号化対象ピクチャに対応するピクチャ番号を符号化するピクチャ番号符号化ステップと、当該符号化対象ピクチャを符号化する符号化ステップと、前記符号化ステップの実行後、前記符号化対象ピクチャ以外のピクチャでメモリに記憶されているピクチャを全て不使用にする全ピクチャ不使用化ステップと、メモリ内の前記符号化対象ピクチャのピクチャ番号を初期化するピクチャ番号初期化ステップと、画像復号化装置に対し、前記符号化対象ピクチャ以外のピクチャですでにメモリに格納されているピクチャを全て不使用にすることを指示する全ピクチャ不使用化情報を符号化する全ピクチャ不使用化情報符号化ステップとを含むことを特徴とする画像符号化方法である。
【００２０】
第２の発明は、メモリに格納した参照ピクチャをピクチャ番号によって特定して参照し、動画の符号化ストリームを復号化する画像復号化方法であって、符号化ストリームから、復号化対象ピクチャ以外のピクチャで、すでにメモリに格納されているピクチャを全て不使用にすることを意味する全ピクチャ不使用化情報を検出して復号化する全ピクチャ不使用化情報復号化ステップと、前記符号化ストリームから前記復号化対象ピクチャを復号化する復号化ステップと、前記復号化ステップの実行後に、復号化された前記全ピクチャ不使用化情報に従って、前記復号化対象ピクチャ以外のピクチャで、すでにメモリに格納されているピクチャを全て不使用にする全ピクチャ不使用化ステップと、メモリ内の前記復号化対象ピクチャに対し、初期化された新たなピクチャ番号を付与するピクチャ番号初期化ステップとを含むことを特徴とする画像復号化方法である。
【００２１】
第３の発明は、複数の画像信号を符号化して各画像に対する符号化信号を生成する画像符号化方法であって、前記複数の符号化信号を切換可能な切換ピクチャおよび切換ピクチャ以降から参照できるピクチャは前記符号化信号で同じ時刻のピクチャ群のみである画像符号化方法である。
【００２２】
第４の発明は、符号化信号を復号化する画像復号化方法であって、切換可能な切換ピクチャの前で不使用にしたピクチャの情報を復号化し、前記復号化した結果に基づき参照画像メモリから復号化したピクチャを不使用にし、切換ピクチャ以後では不使用にされなかった参照ピクチャのみを参照して符号化信号を復号化する画像復号化方法である。
【００２３】
第５の発明は、複数の画像信号を符号化して各画像に対する符号化信号を生成する画像符号化方法であって、前記複数の符号化信号を切換可能な切換ピクチャのピクチャ番号を前記各符号化信号で同じ値に変更する仕組みを有する画像符号化方法である。
【００２４】
第６の発明は、符号化信号を復号化する画像符号化方法であって、前記符号化信号を切換可能な切換ピクチャで切り換える際に、参照ピクチャのピクチャ番号を切換可能な符号化信号で同じ値に変更する仕組みを有する画像復号化方法である。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態について、図１から図２８を用いて説明する。
【００２６】
（実施の形態１）
図１は、参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮの説明図である。同図と、図３０の参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮの説明図の違いを以下で説明する。
【００２７】
従来はＳピクチャを符号化・復号化する際に、符号化信号を切り換えると参照画像メモリＭｅｍの内容が一致しないことを説明した。そこで、本発明の符号化・復号化方法では、図２９の入力画像信号Ｖｉｎを符号化した場合のピクチャとピクチャ番号ＰＮの対応説明図で、全てのストリームでピクチャが一致する時刻ｔ０、ｔ１、ｔ２の画像のみを参照画像メモリＭｅｍに記憶し、それ以外の画像をＳピクチャの符号化・復号化前に参照画像メモリＭｅｍから削除する。その結果を示すのが図１の参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮの説明図である。
【００２８】
図１の参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮの説明図から明らかなように、符号化・復号化で参照画像を明示する場合に、「時刻が新しいものから何ピクチャ前かの情報を明示する」という方法を用いれば、ストリーム１、ストリーム２、ストリーム３のいずれの場合でも同じ時刻の画像を参照することになるため、符号化・復号化が正しく行えることになる。
【００２９】
図２は本発明の画像符号化方法および画像復号化方法の参照画像メモリＭｅｍに格納される画像制御に関する情報の符号化方法および復号化方法のフローチャートである。
【００３０】
図２（ａ）の符号化方法のフローチャートは、図１を用いて説明した動作の実現方法とそのために必要な情報の符号化・復号化方法を示す。
Ｓｔｅｐ０では複数の符号化情報（ストリーム）の中で時刻が同じピクチャを選択する。Ｓｔｅｐ１ではＳｔｅｐ０で選択した 以外のピクチャを削除することを示す削除情報を符号化する。Ｓｔｅｐ２ではＳｔｅｐ０で選択した以外のピクチャを参照画像メモリＭｅｍから削除する。以上のようにして、図１に示すように、符号化信号を切り換えても復号可能なストリームを実現するための参照画像メモリＭｅｍ格納状態を実現できる。
【００３１】
なお、Ｓｔｅｐ１とＳｔｅｐ２の順序は入れ替えてもよく、その場合は図２（ｂ）に示す画像符号化方法のフローチャートになる。
図２（ａ）の符号化方法のフローチャートで符号化した削除情報を図２（ｃ）の復号化方法のフローチャートで示す方法で復号化することで、図１に示すように、符号化信号を切り換えても復号可能なストリームを実現するための参照画像メモリＭｅｍ格納状態を画像復号化方法で実現できる。
【００３２】
Ｓｔｅｐ５で削除情報を復号化することで、複数の符号化情報（ストリーム）の中で時刻が同じでないピクチャを明示できる。これは図２（ａ）のＳｔｅｐ０で選択した時刻が同じピクチャ以外のものに相当する。次に、Ｓｔｅｐ６では、Ｓｔｅｐ５で選択したピクチャを参照画像メモリＭｅｍから削除する。具体的には、参照画像メモリＭｅｍ内に保存されているピクチャを削除（または消去）する場合、削除されるべきピクチャに、参照画像として使用することを禁止する「不使用」などの識別情報を設定することによって行う。これに対応して、画像復号化ユニットＰｉｃＤｅｃと画像符号化ユニットＰｉｃＥｎｃとは、参照画像メモリＭｅｍ内に保存されているピクチャを参照する際には必ず「不使用」の識別情報が設定されているか否かを確認した上、「不使用」の識別情報が設定されている場合にはそのピクチャを参照せず、「不使用」の識別情報が設定されていないピクチャのみを参照する。以下の実施の形態においても同様にして参照画像メモリＭｅｍ内のピクチャを削除（または消去）する。もちろん、この削除方法は一例であり、参照画像メモリＭｅｍ内から前記ピクチャのデータを実際に削除（または消去）してしまうことによって削除してもよいことはいうまでもない。以上のようにして、符号化信号を切り換えても、図１に示すように復号可能なストリームを実現するための参照画像メモリＭｅｍ格納状態を実現できる。
【００３３】
（実施の形態２）
図３（ａ）は参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮの説明図である。図３（ａ）と図１の参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮの説明図の違いは、参照画像メモリＭｅｍ内のピクチャ番号ＰＮが一致するか否かである。
【００３４】
参照画像メモリＭｅｍ内に保存されているピクチャの時刻だけでなく、参照画像メモリＭｅｍ内のピクチャ番号ＰＮも全ての符号化信号で一致されることで、符号化・復号化で参照画像を明示する場合に、「ピクチャ番号ＰＮによって参照するピクチャを明示する」という方法が利用可能になり、ストリーム１、ストリーム２、ストリーム３のいずれの場合でも同じ時刻の画像を参照することになるため、符号化・復号化が正しく行えることになる。
【００３５】
これを実現するためには、Ｓピクチャの符号化・復号化の前に、参照画像メモリＭｅｍ内に保存されているピクチャのピクチャ番号ＰＮを同じ値に付け替え、その付け替えのための情報を符号化・復号化すればよい。
【００３６】
更に、次にＳピクチャを保存する際も同じピクチャ番号ＰＮとして保存しなければならないので、Ｓピクチャのピクチャ番号ＰＮも、どのストリームの場合でも一致させる必要がある。
【００３７】
図４は本発明の画像符号化方法および画像復号化方法の参照画像メモリＭｅｍに格納される画像制御に関する情報の符号化方法および復号化方法のフローチャートであり、図３（ａ）を用いて説明した動作の実現方法とそのために必要な情報の符号化・復号化方法を示す。
【００３８】
Ｓｔｅｐ１０では切換対象の符号化信号で参照画像メモリＭｅｍに含まれているピクチャのピクチャ番号ＰＮの最大値（図３（ａ）の例では８）を検出する。Ｓｔｅｐ１２ではピクチャ番号ＰＮの最大値を基準とし、参照画像メモリＭｅｍに格納されている各ピクチャのピクチャ番号ＰＮを割り当てなおすための情報を符号化する。また、必要に応じて、次のＳピクチャに割り当てるべきピクチャ番号ＰＮも符号化する。なお、図３（ａ）のストリーム３と図１のストリーム３は同じであるから、ストリーム３については割り当てなおす必要は無い。従って、ピクチャ番号ＰＮの割り当てなおしは必要なもののみ実施し、必要な割り当てなおしの情報のみＳｔｅｐ１１で符号化すれば良い。最後にＳｔｅｐ１１で符号化した情報で示すピクチャ番号ＰＮの割り当てなおしをＳｔｅｐ１２で実施する。以上のようにして、図３に示すように、符号化信号を切り換えても復号可能なストリームを実現するための参照画像メモリＭｅｍ格納状態を実現できる。
【００３９】
また、Ｓピクチャのピクチャ番号ＰＮは１２であるから、Ｓピクチャの符号化・復号化後にピクチャ番号ＰＮが連続するようにするためには、図３（ｂ）に示すようにＳピクチャ直前のピクチャ番号ＰＮ（図２９のストリーム１のＳピクチャ直前）である１１を用いてもよい。この場合はＳピクチャのピクチャ番号ＰＮは１２であるから、符号化・復号化過程で常にピクチャ番号ＰＮが増加することになり、ピクチャ番号ＰＮが減少した場合をエラーとするエラー検出機能も実現することができてより効果的である。
【００４０】
図５は本発明の入力画像信号Ｖｉｎを符号化した場合のピクチャとピクチャ番号ＰＮの対応説明図である。図５は図３（ｂ）で説明した方法でピクチャ番号ＰＮの割り当てなおしをした例であり、Ｓピクチャでピクチャ番号ＰＮが全て１２になっており、Ｓピクチャ符号化・復号化する際に参照画像メモリＭｅｍの画像がストリームに依らず一定であれば、Ｓピクチャでストリームを切り換えても、Ｓピクチャ以降の全ての画像が正しく復号化できることは明らかである。
【００４１】
なお、Ｓｔｅｐ１１とＳｔｅｐ１２の順序は入れ替えてもよく、その場合は図４（ｂ）に示す画像符号化方法のフローチャートになる。
図４（ａ）の符号化方法のフローチャートで符号化した削除情報を図４（ｃ）の復号化方法のフローチャートで示す方法で復号化することで、図３（ａ）に示すように、符号化信号を切り換えても復号可能なストリームを実現するための参照画像メモリＭｅｍ格納状態を画像復号化方法で実現できる。
【００４２】
Ｓｔｅｐ１５でピクチャ番号ＰＮの割り当てなおしの情報を復号化することで、ピクチャ番号ＰＮの割り当てなおしが必要な画像とその方法を特定できる。次に、Ｓｔｅｐ１６では、Ｓｔｅｐ１５で復号化した、ピクチャ番号ＰＮの割り当てなおしが必要な画像とその方法に基づいて、参照画像メモリＭｅｍのピクチャ番号ＰＮの割り当てなおしを行う。以上のようにして、符号化信号を切り換えても、図３に示すように復号可能なストリームを実現するための参照画像メモリＭｅｍ格納状態を実現できる。
【００４３】
なお、本実施の形態では、実施の形態１と組合せた形での有効性を説明したが、「ピクチャ番号ＰＮによって参照するピクチャを明示する」場合に正しく符号化・復号化できるという長所は実施の形態２のみで実現できるものであり、この効果のみで十分な場合は実施の形態１と組合せないで利用することも可能である。
【００４４】
（実施の形態３）
図６は図３の参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮの説明図を実現するための別の実施の形態である。
【００４５】
ピクチャのタイプはピクチャタイプ情報ＰｉｃＴｙｐｅ で識別される。従って、ピクチャタイプ情報ＰｉｃＴｙｐｅ がストリームを切り換え可能なＳピクチャであれば、Ｓピクチャのピクチャ番号ＰＮに合わせるように参照画像メモリＭｅｍのピクチャ番号ＰＮの割り当てなおしを行う規則を決めることで、参照画像メモリＭｅｍの個々のピクチャ番号の割り当てなおし方法の情報の符号化・復号化を省略することができる。
【００４６】
以下、図６（ａ）の動作を説明する。Ｓｔｅｐ２０では符号化信号を復号化して画像のピクチャ番号ＰＮを取得する。Ｓｔｅｐ２１で取得した画像のピクチャタイプ情報ＰｉｃＴｙｐｅを取得し、そのピクチャタイプ情報ＰｉｃＴｙｐｅがＳピクチャであれば、Ｓｔｅｐ２２で所定の方法を用いてＳピクチャのピクチャ番号ＰＮに合わせるように参照画像メモリＭｅｍのピクチャ番号ＰＮの割り当てなおしを行う。以上のようにして、図３に示すように、符号化信号を切り換えても復号可能なストリームを実現するための参照画像メモリＭｅｍ格納状態を実現できる。
【００４７】
なお、Ｓｔｅｐ２１とＳｔｅｐ２２の順序は入れ替えてもよく、その場合は図６（ｂ）に示す画像符号化方法のフローチャートになる。
また、図６および図４に示す図３の参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮの説明図を組み合わせ、図４のＳｔｅｐ１１およびＳｔｅｐ１５でピクチャ番号ＰＮの割り当てなおし情報の一部（Ｓピクチャのピクチャ番号ＰＮに合わせるように参照画像メモリＭｅｍのピクチャ番号ＰＮの割り当てなおしを行う規則で表現できないもの）のみを符号化・復号化しても良い。
【００４８】
（実施の形態４）
図７は本発明の画像符号化装置の構成を示すブロック図である。図７の本発明の画像符号化装置のブロック図は、実施の形態１および実施の形態２の画像符号化方法を実現する一例である。
【００４９】
ピクチャ番号生成ユニットＰＮＧｅｎはピクチャ番号ＰＮを生成する。ピクチャ番号ＰＮは参照画像メモリＭｅｍに記憶されている画像を区別する識別子であり、参照画像メモリＭｅｍに記憶されている異なる画像には異なるピクチャ番号ＰＮが付与される。通常は、参照画像メモリＭｅｍに画像を保存する都度ピクチャ番号ＰＮを１増加し、画像復号化装置で受信したピクチャ番号ＰＮが２以上増加した場合には伝送路誤りで保存すべき画像が欠落したことを画像復号化装置で検出しエラー修正またはエラー修整処理を施すことが可能になっている。
【００５０】
最大ピクチャ番号検出ユニットＭａｘＰＮは他符号化信号ピクチャ番号ＯｔｈｅｒＰＮおよびピクチャ番号生成ユニットＰＮＧｅｎで生成されたピクチャ番号ＰＮを比較し、ピクチャ番号ＰＮの最大値を検出して可変長符号化ユニットＶＬＣに通知すると共に、ピクチャ番号生成ユニットＰＮＧｅｎに通知しピクチャ番号生成ユニットＰＮＧｅｎで生成するピクチャ番号ＰＮを前記ピクチャ番号ＰＮの最大値で初期化する。他符号化信号ピクチャ番号ＯｔｈｅｒＰＮは、同じ符号化対象ピクチャに対応する違うストリームのピクチャのピクチャ番号である。その結果、ピクチャ番号生成ユニットＰＮＧｅｎは以後、前記ピクチャ番号ＰＮの最大値より大きなピクチャ番号ＰＮを出力するようになる。
【００５１】
符号化ピクチャ時刻比較ユニットＴｉｍｅＣｍｐはこれまでに符号化した入力画像信号Ｖｉｎの各ピクチャの時刻と他の符号化信号（ストリーム）として符号化した各ピクチャのピクチャ時刻ＦｒａｍｅＴｉｍｅを比較し、全ての符号化信号で符号化されている時刻のピクチャの情報を画像除去ユニットＰｉｃＤｅｌに通知する。
【００５２】
画像除去ユニットＰｉｃＤｅｌは、ピクチャタイプ情報ＰｉｃＴｙｐｅが次のピクチャがＳピクチャであることを示す場合には、符号化ピクチャ時刻比較ユニットＴｉｍｅＣｍｐから通知された情報に基づき、全ての符号化信号で符号化されている時刻のピクチャ以外の参照画像メモリＭｅｍに保存されている画像を消去する指令を参照画像メモリＭｅｍに通知し、同時に可変長符号化ユニットＶＬＣにもその情報を通知する。
【００５３】
画像符号化ユニットＰｉｃＥｎｃは参照画像メモリＭｅｍに保存されている画像を参照してピクチャタイプ情報ＰｉｃＴｙｐｅで示すピクチャタイプとして入力画像信号Ｖｉｎを周波数変換・量子化等を伴う符号化し、その結果を画像復号化ユニットＰｉｃＤｅｃや可変長符号化ユニットＶＬＣに送信する。画像復号化ユニットＰｉｃＤｅｃは画像符号化ユニットＰｉｃＥｎｃで符号化した結果をピクチャタイプ情報ＰｉｃＴｙｐｅで示すピクチャタイプとして逆量子化・逆周波数変換し、後続の画像の符号化で参照するためにピクチャ番号ＰＮとして参照画像メモリＭｅｍに保存する。
【００５４】
可変長符号化ユニットＶＬＣは、画像符号化ユニットＰｉｃＥｎｃで符号化した結果を可変長符号化してビット列にすると共に、復号化で必要な情報である、画像除去ユニットＰｉｃＤｅｌから通知された参照画像メモリＭｅｍに保存されている画像を消去するための情報、および前記ピクチャ番号ＰＮの最大値やピクチャ番号ＰＮを符号化し、符号化信号Ｓｔｒとして出力する。また、画像除去ユニットＰｉｃＤｅｌから通知された情報や、ピクチャ番号ＰＮから、実施の形態２に記載した方法に基づき、参照画像メモリＭｅｍに保存されている画像のピクチャ番号ＰＮを付け替える情報も符号化する。
【００５５】
図８に本発明の符号化信号Ｓｔｒの構成例を示す。以下図８（ａ）の各データについて説明する。
最初にピクチャ番号ＰＮが符号化される。次に、付け替えるべき最大ＰＮや、参照画像メモリＭｅｍに保存されている画像を消去するための情報、参照画像メモリＭｅｍに保存されている画像のピクチャ番号ＰＮを付け替える情報が符号化される。それに引き続いてピクチャタイプ情報ＰｉｃＴｙｐｅや画像符号化ユニットＰｉｃＥｎｃの出力である画像符号化データが配置される。
【００５６】
なお、図８（ａ）は単にデータ配置の一例であり、図８（ｂ）のようにデータの順番を入れ替えて実現することも可能である。
以上の構成により、実施の形態１および実施の形態２の画像符号化方法を実現する画像符号化装置を実現できる。
【００５７】
（実施の形態５）
図９は本発明の画像復号化装置の構成を示すブロック図である。図９の本発明の画像復号化装置のブロック図は、実施の形態１、実施の形態２および実施の形態３を実現する画像復号化装置の一例である。以下その動作を説明する。
【００５８】
可変長復号化ユニットＶＬＤは符号化信号Ｓｔｒを復号化し、様々な情報（参照画像メモリＭｅｍに保存されている画像を消去する指令、ピクチャタイプ情報ＰｉｃＴｙｐｅ、ピクチャ番号ＰＮ、ピクチャ番号ＰＮを付け替える情報および画像データなど）を出力する。
【００５９】
まず、可変長復号化ユニットＶＬＤで得られた参照画像メモリＭｅｍに保存されている画像を消去する指令は、画像除去ユニットＰｉｃＤｅｌに通知され、画像除去ユニットＰｉｃＤｅｌは参照画像メモリＭｅｍに保存されている指令された画像を消去する。
【００６０】
可変長復号化ユニットＶＬＤで得られたピクチャタイプ情報ＰｉｃＴｙｐｅは、画像復号化ユニットＰｉｃＤｅｃに通知され復号化方法を指示する。
可変長復号化ユニットＶＬＤで得られたピクチャ番号ＰＮは、参照画像メモリＭｅｍに通知され、画像復号化ユニットＰｉｃＤｅｃで復号化された画像を格納する際のピクチャ番号ＰＮとする。
【００６１】
可変長復号化ユニットＶＬＤで得られた参照画像メモリＭｅｍに保存されている画像のピクチャ番号ＰＮを付け替える情報は、ピクチャ番号変更ユニットＰＮｃｈｇに通知され、ピクチャ番号変更ユニットＰＮｃｈｇはその指示に従い参照画像メモリＭｅｍ内に保存されている画像のピクチャ番号ＰＮを付け替える。より具体的には、ピクチャ番号変更ユニットＰＮｃｈｇは、参照画像メモリＭｅｍに保存されている画像のピクチャ番号ＰＮを読み出し、読み出されたピクチャ番号ＰＮの値を変更した後、そのピクチャ番号Ｍｅｍを参照画像メモリＭｅｍに書き込む。
【００６２】
可変長復号化ユニットＶＬＤで得られた画像データは、画像復号化ユニットＰｉｃＤｅｃにおいて、ピクチャタイプ情報ＰｉｃＴｙｐｅで示されるピクチャタイプに応じた復号化方法で復号化される。すなわち、Ｉピクチャは参照画像メモリＭｅｍの画像を参照しないで復号化され、ＰピクチャおよびＢピクチャは参照画像メモリＭｅｍに保存されている画像を参照して復号化される。このようにして得られた復号画像は参照画像メモリＭｅｍ内に保存されると共に、復号画像信号Ｖｏｕｔとして出力される。
【００６３】
以上のようにして、実施の形態１、実施の形態２および実施の形態３を実現する画像復号化装置が実現できる。
【００６４】
（実施の形態６）
実施の形態１から実施の形態５に記載した画像符号化装置では、Ｓピクチャでストリームを切換える際、切換可能なピクチャのピクチャ番号と連続するように、切換可能なピクチャの前のピクチャのピクチャ番号を切換えるようになっていた。本実施の形態では、切換可能なピクチャにおいてピクチャ番号を切換える。
【００６５】
ストリームの切換えの例としては、同一画像を異なるピクチャレートや異なるビットレート、異なるピクチャ構造を有する複数のストリームの符号化に関し、符号化を進めているピクチャが属するストリームから、その他のストリームに属するピクチャに切換えて符号化を進める処理である。以下は、説明の便宜上、単にストリームの切換えと言う。
【００６６】
また、更に、本実施の形態においては、符号化対象のピクチャを参照メモリに保存するか否かは、各ストリームにおいて符号化対象のピクチャの符号化順序（ストリーム順）で前に隣接するピクチャ（以下、前のピクチャ）のピクチャ番号と符号化対象のピクチャ番号との変化の度合いにしたがって判断される。具体的には、符号化対象のピクチャのピクチャ番号が前のピクチャのピクチャ番号に対して「１」増加していれば、符号化対象のピクチャが参照メモリに保存されることを表している。一方、符号化対象のピクチャのピクチャ番号が前のピクチャのピクチャ番号に対して前のピクチャ番号と同じであれば、符号化対象のピクチャは参照メモリに保存されないことを表している。
【００６７】
以下、切換可能なピクチャにおいてピクチャ番号を切換える処理について、図面を参照しながら具体的に説明する。
図１０は、入力画像信号Ｖｉｎを符号化した場合のピクチャとピクチャ番号ＰＮとの対応の一例を示す図である。ストリーム１、ストリーム２、ストリーム３それぞれは、同一の画像信号をそれぞれ異なるピクチャレートで符号化したものである。図１０では、符号化される順にしたがってピクチャが、ストリーム毎に並んでいる。
【００６８】
ストリーム１においては、各ピクチャ間で「１」ずつ増加するようにピクチャ番号ＰＮが各ピクチャに割り当てられている。また、ストリーム２においては、ピクチャ間で「１」ずつ増加するようにピクチャ番号が割り当てられたピクチャと、前のピクチャと同じピクチャ番号が割り当てられたピクチャとがある。更に、ストリーム３においては、ストリーム１と同様に、各ピクチャ間で「１」ずつ増加するようにピクチャ番号ＰＮが各ピクチャに割り当てられている。
【００６９】
したがって、ストリーム１、３においては、ピクチャ番号が各ピクチャ間で「１」ずつ増加するので、符号化対象のピクチャが参照メモリに保存される。ストリーム２においては、ピクチャ間で「１」ずつ増加するようにピクチャ番号が割り当てられたピクチャは参照メモリに保存され、前のピクチャと同じピクチャ番号が割り当てられたピクチャは保存されない。
【００７０】
また、ストリーム１のピクチャ番号「０」のピクチャ、ストリーム２のピクチャ番号「０」のピクチャ及びストリーム３のピクチャ番号「０」のピクチャは、時刻ｔ０において対応している。以下同様に、ストリーム１のピクチャＦ１４、ストリーム２のピクチャＦ２２及びストリーム３のピクチャＦ３１は時刻ｔ１で、ストリーム１のピクチャＦ１８、ストリーム２のピクチャＦ２４及びストリーム３のピクチャＦ３２は時刻ｔ２で、ストリーム１のピクチャＦ１１２、ストリーム２のピクチャＦ２６及びストリーム３のピクチャＦ３３は時刻ｔ３で、ストリーム１のピクチャＦ１１７、ストリーム２のピクチャＦ２１５及びストリーム３のピクチャＦ３４は時刻ｔ４で対応している。なお、ピクチャＦ１１２、Ｆ２６、Ｆ３３は、実施の形態１、２におけるＳピクチャに該当する。
【００７１】
図１０において、ピクチャＢＰ１、ＢＰ２は、ストリームを切換える際に経由され、切換え元のピクチャと切換え先のピクチャとの間で、切換え先のピクチャが属するストリームにおいて切換え先のピクチャの前のピクチャと同じ時刻に対応させて符号化されるスイッチピクチャである。
【００７２】
例えば、ストリーム２のピクチャＦＯ２６（切換え元のピクチャ）からストリーム１のピクチャＦ１１３（切換え先のピクチャ）にストリームを切換える場合、ピクチャＦ２４とピクチャＦ１１３との間で時刻ｔ３のピクチャとしてスイッチピクチャＢＰ１を使う。この場合、切換えピクチャであるスイッチピクチャＢＰ１のピクチャ番号を、切換え先のピクチャＦ１１３のピクチャ番号「１３」と連続するように「１２」に変更する。
【００７３】
また、同様に、ストリーム３のピクチャＦ３２（切換え元のピクチャ）からストリーム２のピクチャＦ２１３（切換え先のピクチャ）にストリームを切換える場合、ピクチャＦ３２とピクチャＦ２１３との間で時刻ｔ３のピクチャとしてスイッチピクチャＢＰ２を使う。この場合、切換えピクチャであるスイッチピクチャＢＰ２のピクチャ番号を、切換え先のピクチャＦ２１３のピクチャ番号「１３」と連続するように変更する。
【００７４】
このように、切換え先のピクチャのピクチャ番号と連続するようにスイッチピクチャのピクチャ番号を割り当てることによって、ストリーム毎の流れにしたがって符号化する場合とストリームを切換えた場合とで切換え先のピクチャのピクチャ番号は同じ値になる。
【００７５】
次に、ストリームを切換える場合における、ピクチャ番号の割り当て処理の流れについて説明する。
図１１は、図１０のストリームの各ピクチャにピクチャ番号を付与して符号化する方法を示すフローチャートである。
【００７６】
ステップ１４０１では、符号化対象ピクチャがＳピクチャかどうか判定される。もし、符号化対象ピクチャがＳピクチャであれば、ステップ１４０２において、符号化対象ピクチャのピクチャ番号を初期値Ｍに変更する。もし、符号化対象ピクチャがＳピクチャでなければ、符号化対象ピクチャのピクチャ番号は変更されない。
【００７７】
ステップ１４０３では、符号化対象ピクチャがＳピクチャの次のピクチャかどうかが判定される。もし、符号化対象ピクチャがＳピクチャの次のピクチャであればＳピクチャがメモリに記憶されるかどうかの判断がステップ１４０４で行われる。もし、符号化対象ピクチャがＳピクチャの次のピクチャでないならば、符号化対象ピクチャがメモリに記憶されるかどうかがステップ１４０５で判断される。
【００７８】
ステップ１４０４においてＳピクチャがメモリに記憶されると判断されたときはステップ１４０６でピクチャ番号ＭがＭ＋１にインクリメントされ、インクリメントされたピクチャ番号が新たなピクチャ番号になる。
【００７９】
ステップ１４０４においてＳピクチャがメモリに記憶されないと判断されたときは、ステップ１４０７でピクチャ番号をＭ自身とする。（ピクチャ番号を変更しない。）ステップ１４０５においては、符号化対象ピクチャがメモリに記憶されるかどうかが判断される。符号化対象ピクチャがメモリに記憶されると判断されたときはステップ１４０８でピクチャ番号ＰＮがＰＮ＋１にインクリメントされ、インクリメントされたピクチャ番号が新たなピクチャ番号になる。
【００８０】
符号化対象ピクチャがメモリに記憶されないと判断されたときはピクチャ番号の変更は行われない。
ステップ１４０９では対象ピクチャが符号化される。ステップ１４１０では、すべての符号化対象ピクチャが符号化されたかどうかが判断される。すべての符号化対象ピクチャが符号化されていないときはステップ１４０１に戻り、すべての符号化対象ピクチャが符号化されているときは処理を終了する。
【００８１】
図１１に示す処理によって、スイッチピクチャ以降のピクチャにおいてピクチャ番号が連続した符号化データストリームを生成することができる。
また、このようにして生成された符号化信号Ｓｔｒは、実施の形態５の画像復号化装置における復号化装置にしたがって復号化すればよい。このようにして、本実施の形態における符号化信号を復号化する画像復号化装置が実現できる。
【００８２】
また、上記実施の形態１から実施の形態６までに示した符号化方法・復号化方法は、携帯電話やカーナビゲーションシステム等の移動体通信機器やデジタルビデオカメラやデジタルスチールカメラ等の撮影機器にＬＳＩ等の半導体によって実装することが可能である。また、実装形式としては、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りが考えられる。
【００８３】
（実施の形態７）
復号化対象ピクチャが参照するピクチャは、ピクチャ番号ＰＮによって明示される。またピクチャ番号ＰＮの増減によりピクチャ番号ＰＮのエラーの検出をすることができる。図１２は、例えば図８（ｂ）に示すピクチャデータにおいて、ピクチャ番号ＰＮをもとにピクチャ番号ＰＮのエラー検出・修正をする手順について示す。
【００８４】
まずＳｔｅｐ２０においてピクチャ番号ＰＮを検出する。次に、Ｓｔｅｐ２１においてピクチャタイプＰｉｃＴｙｐｅを検出する。そして、ＳｔｅｐＡ２において検出されたピクチャ番号ＰＮが連続しているかどうかを判断する。ＳｔｅｐＡ２においてピクチャ番号ＰＮが連続していればピクチャ番号ＰＮのエラー検出・修正処理を終了する。一方、ＳｔｅｐＡ２においてピクチャ番号ＰＮが連続していなければＳｔｅｐＡ３においてエラー修正を行う。なお、図４に示す最大保存済ＰＮ検出や、ＰＮ再割当といった処理は、このエラー検出・修正処理が終了してから実施してもよく、このエラー検出・修正処理と並列に実施してもよい。
【００８５】
ＳｔｅｐＡ３におけるエラー修正の処理に関する第１の方法として、エラーが生じたピクチャ番号ＰＮに関するデータの再送を要求し、再送を受けた後に再度ピクチャ番号ＰＮのエラー検出をする手順に従った処理を行うことが考えられる。しかし、Ｓピクチャでピクチャ番号ＰＮの不連続は伝送エラーで生じた訳ではない。つまり、Ｓピクチャでのピクチャ番号ＰＮの不連続はストリーム毎にＳピクチャより前にメモリ上に記憶されるピクチャ数が異なる可能性を有しているため、ピクチャ番号ＰＮに関するデータの再送を要求しても対応するピクチャが存在しない可能性があり、不連続なピクチャに対応するピクチャは再送できない可能性が大いにある。従って、再送されないピクチャを再送されるまで要求しつづけるため、画像の再生ができなくなる恐れがある。この理由により画像の再生がうまくできない例に対する解決手段については、以下の実施の形態１０で詳しく説明する。
【００８６】
また、ストリームを切り替えた時点で、切り替え先のストリームに対応するメモリ内のピクチャ数が、切り替えを行わない場合のストリームに対応するメモリ内のピクチャ数と完全に一致していなければ画像の再生が正しく行えない可能性がある。
【００８７】
まずメモリは、図１３に示すように先入先出メモリである短時間保存メモリと前記短時間保存メモリよりもピクチャを長時間保存するために先入先出では無く直接記憶場所の指定をして記録する長時間保存メモリとを有する。短時間保存メモリが７ピクチャ分保存できる大きさで、長時間保存メモリが４ピクチャ分保存できる場合、参照するピクチャは、メモリに入っているピクチャのうち、短時間保存メモリの方から数えて何番目に入っているピクチャかどうかで指定する。例えば長時間保存メモリにあるｕｓｅｄＬＴ２は８番目に入っているピクチャ（Ｉｄｘ＝７）ということができる。このように相対的な位置関係で参照ピクチャは指定される。
【００８８】
また図５に示すようにストリームが３つある場合、図３０に示すように同一のピクチャ（例えば図５に示すＳピクチャ）を指定するためのメモリ上の位置はそれぞれのストリームによって異なる。そして、Ｓピクチャにより別のストリームのピクチャを参照することになると、参照ピクチャを指定するためのメモリ上の位置はストリーム毎のメモリによって異なる。なお、Ｓピクチャとは複数のストリームがあり、所定のストリームから別のストリームに移動するときに、移動前のストリームのＳピクチャより前にあるピクチャを参照して予測符号化されるピクチャと、移動先のストリームのＳピクチャより前にあるピクチャを参照して予測符号化されるピクチャとが同一の画像となるピクチャである。（図１０）。
【００８９】
なお、Ｓピクチャでなく、Ｉピクチャの場合でも参照メモリ内で複数のストリームで復号化した画像が完全に一致する場合は、ストリームを切り換えることができるため、ＩピクチャをＳピクチャと同じ用途（ストリーム切替）で用いることができる。
【００９０】
このように様々な条件を加味すると、メモリ内のピクチャ数が一致しない場合に、参照するピクチャを正確に指定することは難しく、参照するピクチャを指定したとしてもエラーが起きる可能性が大きい。
【００９１】
そこで、本実施の形態では、ピクチャ番号ＰＮの不連続や、メモリ内容の不一致等の問題によってピクチャ番号ＰＮのエラー検出処理が終わらなくなることを避けるために用いる付加情報の符号化方法と復号化方法について説明する。この付加情報（全ピクチャ削除情報）とは、画面内符号化を行うＩピクチャや上記Ｓピクチャを符号化した後のピクチャの符号化処理でエラーが生じないように、符号化対象のＩピクチャやＳピクチャ以外のピクチャを、符号化もしくは復号化で参照するためのメモリから全て削除することを示す命令のことである。
【００９２】
これにより、所定のストリームから別のストリームへ移動した後に、複数のストリームそれぞれのメモリ状態が同一になるため、画面間予測符号化等で参照ピクチャを必要とする場合でも、所定のピクチャをメモリ上で正確に指定することができる。また、所定のストリームから別のストリームへ移動するときに、ピクチャ番号が連続しないことをエラーとして修正しないようにすることにより、実際には存在しない画像の再送を要求することによって復号化できなくなる不都合も解消できる。
【００９３】
以下、符号化方法について図１４（ａ）を用いて説明する。図１４（ａ）は本実施の形態における符号化信号の作成手順を示す。
まずＳｔｅｐ２０においてピクチャ番号ＰＮを検出する。次に、Ｓｔｅｐ２１においてピクチャタイプＰｉｃＴｙｐｅを検出する。そしてＳｔｅｐＡ１において、検出されたピクチャタイプがＩピクチャであるかどうかを判断する。検出されたピクチャタイプがＩピクチャであれば、ＳｔｅｐＡ１０において符号化対象のＩピクチャ以外でメモリ上にある全てのピクチャを削除する。続いてＳｔｅｐＡ１１においてメモリ上にある全てのピクチャを削除することを意味する全ピクチャ削除情報を符号化し、付加情報の符号化手順を終了する。
【００９４】
なお、図１４（ｂ）に示すように、図１４（ａ）のＳｔｅｐＡ１をピクチャタイプがＳピクチャであるかどうかを判断するステップとしても同様の符号化処理が可能である。また、ＳｔｅｐＡ１とＳｔｅｐＡ２とを合わせて、ＩピクチャであるかまたはＳピクチャであるかの判断をＳｔｅｐ２１におけるピクチャタイプの検出の後に行ってもよい。
【００９５】
また、図１５（ａ）に示すように、Ｓｔｅｐ２１におけるピクチャタイプの検出をして、ＳｔｅｐＡ１で符号化対象ピクチャがＩピクチャである場合、ＳｔｅｐＡ３のようにピクチャ番号ＰＮが連続しているかどうかを判断して、ピクチャ番号ＰＮが連続していない場合に、符号化対象のＩピクチャ以外でメモリ上にある全てのピクチャを削除するようにしてもよい。一方、ＳｔｅｐＡ３においてピクチャ番号ＰＮが連続していれば、メモリ上のピクチャを削除しない。ピクチャタイプとしてＳピクチャを検出する場合も、図１５（ａ）と同様の説明が成り立つ。また、ＳｔｅｐＡ１とＳｔｅｐＡ２とを合わせて、ＩピクチャであるかまたはＳピクチャであるかの判断をＳｔｅｐ２１におけるピクチャタイプの検出の後に行ってもよい。
【００９６】
なお、図１５（ａ）に示すＳｔｅｐＡ３の処理の後に図１５（ｂ）に示すように、メモリ上に記憶されているピクチャ数が同じかどうかを判断するＳｔｅｐＡ３０の処理をし、ピクチャ番号が連続していてもメモリ上に記憶されているピクチャ数が異なりエラーが生じることを防ぐようにしてもよい。また、図１５（ｂ）におけるＳｔｅｐＡ３の処理をする前にＳｔｅｐＡ３０の処理をして、ピクチャ数がストリーム間で同数でなければＳｔｅｐＡ１０の全ピクチャ削除の処理をし、ピクチャ数がストリーム間で同数であり、かつ、ピクチャ番号が連続でなければＳｔｅｐＡ１０の全ピクチャ削除の処理をするようにしてもよい（図１６）。
・ このように、図１５に示すような手順により、参照画像になる可能性のあるピクチャを可能な限りメモリ上に残し、エラーを低減しつつ画像の再現性を高めることができる。また、ＩピクチャまたはＳピクチャにおいてメモリ上に記憶されているピクチャ数が異なったり、ピクチャ番号が連続していなかったりするときに、エラー修正処理を必要としないため、符号化装置におけるメモリ管理を簡略化できる。
【００９７】
更に、Ｉピクチャであることとメモリ上にある全てのピクチャを削除することは、特別なＩピクチャであることを示すピクチャタイプによって示してもよい。
【００９８】
（実施の形態８）
図１７は本発明の画像符号化装置の構成を示すブロック図である。図１７に示す本発明の画像符号化装置のブロック図は、図１４の画像符号化方法を実現する一例である。
【００９９】
ピクチャ番号生成ユニットＰＮＧｅｎはピクチャ番号ＰＮを生成する。ピクチャ番号ＰＮは参照画像メモリＭｅｍに記憶されている画像を区別する識別子であり、参照画像メモリＭｅｍに記憶されている異なる画像には異なるピクチャ番号ＰＮが付与される。通常は、参照画像メモリＭｅｍに画像を保存する都度ピクチャ番号ＰＮを「１」増加し、画像復号化装置で受信したピクチャ番号ＰＮが「２」以上増加した場合には伝送路誤りで保存すべき画像が欠落したことを画像復号化装置で検出しエラー修整（エラーを目立たなくすること）もしくはエラー修正（再送によりエラーの無いピクチャを再生すること）等のエラー修復処理を施すことが可能になっている。
【０１００】
画像除去ユニットＰｉｃＤｅｌ３は、ピクチャタイプ情報ＰｉｃＴｙｐｅがＳピクチャであることを示す場合（図１４のＳｔｅｐＡ２の処理に対応）には、符号化対象ピクチャ以外の参照画像メモリＭｅｍに保存されている画像を消去する指令を参照画像メモリＭｅｍに通知し、同時に可変長符号化ユニットＶＬＣにもその情報を通知する。
【０１０１】
または、画像除去ユニットＰｉｃＤｅｌ３は、ピクチャタイプ情報ＰｉｃＴｙｐｅがＩピクチャであることを示す場合（図１４のＳｔｅｐＡ１の処理に対応）には、符号化対象ピクチャ以外の参照画像メモリＭｅｍに保存されている画像を消去する指令を参照画像メモリＭｅｍに通知し、同時に可変長符号化ユニットＶＬＣにもその情報を通知する。
【０１０２】
画像符号化ユニットＰｉｃＥｎｃは参照画像メモリＭｅｍに保存されている画像を参照してピクチャタイプ情報ＰｉｃＴｙｐｅで示すピクチャタイプとして入力画像信号Ｖｉｎを周波数変換・量子化等を伴う符号化し、その結果を画像復号化ユニットＰｉｃＤｅｃや可変長符号化ユニットＶＬＣに送信する。
【０１０３】
画像復号化ユニットＰｉｃＤｅｃは画像符号化ユニットＰｉｃＥｎｃで符号化した結果をピクチャタイプ情報ＰｉｃＴｙｐｅで示すピクチャタイプとして逆量子化・逆周波数変換し、後続の画像の符号化で参照するためにピクチャ番号ＰＮとして参照画像メモリＭｅｍに保存する。
【０１０４】
可変長符号化ユニットＶＬＣは、画像符号化ユニットＰｉｃＥｎｃで符号化した結果を可変長符号化してビット列にすると共に、復号化で必要な情報である、画像除去ユニットＰｉｃＤｅｌ３から通知された参照画像メモリＭｅｍに保存されている画像を消去するための情報、ピクチャ番号ＰＮ、ピクチャタイプ情報ＰｉｃＴｙｐｅを符号化し、符号化信号Ｓｔｒとして出力する。
【０１０５】
図８（ｃ）（ｄ）に本発明の符号化信号Ｓｔｒの構成例を示す。以下各データについて説明する。
最初にピクチャ番号ＰＮが符号化される。次に、参照画像メモリＭｅｍに保存されている画像を消去するための情報、続いてピクチャタイプ情報ＰｉｃＴｙｐｅや画像符号化ユニットＰｉｃＥｎｃの出力である画像符号化データが配置される。
【０１０６】
なお、図８（ｃ）は単にデータ配置の一例であり、図８（ｄ）のようにデータの順番を入れ替えて実現することも可能である。
以上の構成により、図１４に示す画像符号化方法を実現する画像符号化装置を実現できる。また、エラー耐性の高い符号化装置を提供することができる。
【０１０７】
（実施の形態９）
図１８は本発明の画像符号化装置の構成を示すブロック図である。図１８の本発明の画像符号化装置のブロック図は、図１５の画像符号化方法を実現する一例を示す。なお、以下の説明において図１７と同一のユニットに関する説明は省略する。
【０１０８】
図１８が図１７と異なる点は画像除去ユニットＰｉｃＤｅｌ４における処理である。具体的には、画像除去ユニットＰｉｃＤｅｌ４は、ピクチャタイプ情報ＰｉｃＴｙｐｅがＳピクチャであることを示す場合（図１５のＳｔｅｐＡ２の処理に対応）で、メモリ内のピクチャ数を比較して同一でない場合（図１５のＳｔｅｐＡ３０の処理に対応）には、符号化対象ピクチャ以外の参照画像メモリＭｅｍに保存されている画像を消去する指令を参照画像メモリＭｅｍに通知し、同時に可変長符号化ユニットＶＬＣにもその情報を通知する。なお、ピクチャタイプ情報ＰｉｃＴｙｐｅがＩピクチャであるときも同様である。また、本発明の符号化信号は図８（ｃ）（ｄ）と同様の構成である。
【０１０９】
以上の構成により、図１５に示す画像符号化方法を実現する画像符号化装置を実現できる。また、エラー耐性の高い符号化装置を提供することができる。
【０１１０】
（実施の形態１０）
上記実施の形態７において、Ｓピクチャでピクチャ番号ＰＮの不連続が生じたとき、再送されないピクチャを再送されるまで要求しつづけるため、画像の再生ができなくなる恐れがあることを示した。以下、この理由により画像の再生がうまくできない例に対する解決方法について説明する。
【０１１１】
図１９（ａ）は符号化信号を復号化する手順を示す。
まずＳｔｅｐ２０においてピクチャ番号ＰＮを検出する。次に、Ｓｔｅｐ２１においてピクチャタイプＰｉｃＴｙｐｅを検出する。そしてＳｔｅｐＡ１において、検出されたピクチャタイプがＩピクチャであるかどうかを判断する。検出されたピクチャタイプがＩピクチャでなければ、ＳｔｅｐＡ３においてピクチャ番号ＰＮが連続しているかどうかを判断する。一方、検出されたピクチャタイプがＩピクチャであれば、エラー検出・修正処理をせずに、一連の処理を終了する。
【０１１２】
ＳｔｅｐＡ３においてピクチャ番号ＰＮが連続していなければ、ＳｔｅｐＡ４においてエラー修正がなされる。一方、ＳｔｅｐＡ３においてピクチャ番号ＰＮが連続していれば、エラー検出処理を終了する。
【０１１３】
ＳｔｅｐＡ４におけるエラー修正とは、例えば、上記実施例で述べた最大保存済ＰＮ検出や、ＰＮ再割当といった処理であっても、メモリ上にある全てのピクチャを削除することを意味する全ピクチャ削除情報を受けて、メモリ上にある全てのピクチャを削除する処理でもよい。
【０１１４】
なお、図１９（ｂ）に示すように、図１９（ａ）のＳｔｅｐＡ１をピクチャタイプがＳピクチャであるかどうかを判断するステップとしても同様の符号化処理が可能である。また、ＳｔｅｐＡ１とＳｔｅｐＡ２とを合わせて、ＩピクチャであるかまたはＳピクチャであるかの判断をＳｔｅｐ２１におけるピクチャタイプの検出の後に行ってもよい。
【０１１５】
以上のように、ＩピクチャまたはＳピクチャにおいてピクチャ番号が連続していないときに、エラー修正のために再送要求を繰り返して復号化できなくなることを防止することができる。なお、このＩピクチャにおける処理は、ストリームを切り替えることができるような特別なＩピクチャの場合に特に有効である。
【０１１６】
（実施の形態１１）
図２０は本発明の画像復号化装置の構成を示すブロック図である。図２０の本発明の画像復号化装置のブロック図は、図１９の画像復号化方法を実現する一例を示す。なお、以下の説明において図９と同一のユニットに関する説明は省略する。
【０１１７】
図２０が図９と異なる点はＰＮ連続判定ユニットＰＮｃｈｋとピクチャタイプＰｉｃＴｙｐｅとによるエラー検出ユニットＥｒｒＣｈｋにおける処理である。具体的には、ＰＮ連続判定ユニットＰＮｃｈｋに入力されるピクチャ番号ＰＮが連続していなく、ピクチャタイプＰｉｃＴｙｐｅがＩピクチャまたはＳピクチャでなければ、エラー検出ユニットＥｒｒＣｈｋからエラー修正命令Ｅｒｒが出力される。エラー修正命令Ｅｒｒがあれば、例えば、最大保存済ＰＮ検出や、ＰＮ再割当といった処理、あるいは、メモリ上にある全てのピクチャを削除することを意味する全ピクチャ削除情報を受けて、メモリ上にある全てのピクチャを削除する処理をする。
【０１１８】
以上の構成により、図１９に示す画像復号化方法を実現する画像復号化装置を実現できる。また、エラー耐性の高い復号化装置を提供することができる。
【０１１９】
（実施の形態１２）
本実施の形態では、ピクチャ番号ＰＮの不連続や、メモリ内容の不一致等の問題によってピクチャ番号ＰＮのエラー検出処理が終わらなくなることを避けることができる別の方法について説明する。本実施の形態が実施の形態７と異なる点は、実施の形態７における符号化の処理において全ピクチャを削除するステップがあったが、全ピクチャを削除するときにはさらにピクチャ番号を「０」から再割り当てすることである。
【０１２０】
これにより、所定のストリームから別のストリームへ移動した後に、複数のストリームそれぞれのメモリ状態が同一になり、さらにピクチャ番号が初期化されるため、画面間予測符号化等で参照ピクチャを必要とする場合でも、所定のピクチャをメモリ上で正確に指定することができる。また、復号化対象となる符号化ストリームを所定のストリームから別のストリームへ移動する（切替える）ときに、ピクチャ番号が連続しないことをエラーとして修正しないようにすることにより、復号化できなくなる不都合も解消することができる。
【０１２１】
すでに説明したように、動画像を符号化して得られる符号化ストリームにおいては、ストリーム内の各ピクチャに対し、表示時刻の順に連続するピクチャ番号ＰＮが付与される。ピクチャ番号ＰＮが、各ピクチャの表示時刻の順に連続するよう付与される理由は、画像復号化装置が伝送路を介して符号化ストリームを受信する場合などにおいて、符号化ストリーム中のピクチャが伝送エラーなどによって欠落したことを検出することができるからである。このような画像復号化装置は、受信した符号化ストリームを復号化中に、表示時刻の順に入力されるピクチャ間のピクチャ番号ＰＮが２以上増加した場合、先のピクチャを受信してから後のピクチャを受信するまでの間に伝送エラーがあったことを検出し、送信側に、欠落したピクチャの再送を要求することができる。したがって、画像復号化装置が１つの符号化ストリームを継続して復号化している限り、このようにして有効に伝送エラーを検出し、欠落したピクチャの再送を受けて、完全な符号化ストリームを復号化することができる。
【０１２２】
しかし、同一の動画像を異なるピクチャレートで符号化して得られる複数の符号化ストリームを入力とし、１つの符号化ストリームを復号化中に、ピクチャレートの異なる他の符号化ストリームに切り替えて以降の復号化を継続する画像復号化装置では、このようなエラー検出が逆に、ピクチャ番号ＰＮのエラー検出処理が終わらなくなるという不具合の原因となる。これは、個々の符号化ストリーム内で各ピクチャのピクチャ番号ＰＮが表示時刻の順に連続するだけで、ピクチャレートの異なる符号化ストリーム間では、同一時刻に表示されるべきピクチャであっても、先頭ピクチャ以外、ピクチャ番号ＰＮが一致しないことに起因する。したがって、画像復号化装置において、１つの符号化ストリームの復号化途中で、復号化対象を別の符号化ストリームに切替えるとき、同一時刻に表示されるピクチャであってもピクチャ番号ＰＮが不連続になる。このように、ピクチャ番号ＰＮの不連続や、メモリ内容の不一致等の問題によってピクチャ番号ＰＮのエラー検出処理が終わらなくなることを避けるために、実施の形態７において付加情報（全ピクチャ削除情報）を用いる符号化方法について説明した。この付加情報とは、画面内符号化を行うＩピクチャや上記Ｓピクチャを符号化した後のピクチャの符号化処理で、ストリーム切替え時のエラーが生じないように、符号化対象以外のピクチャを、符号化もしくは復号化で参照するためのメモリから全て削除することを示す命令のことである。
【０１２３】
以下、符号化方法について図２１を用いて説明する。図２１（ａ）は本実施の形態における符号化信号の作成手順を示す。
まずＳｔｅｐ０１においてピクチャ番号ＰＮを検出する。次に、Ｓｔｅｐ０２においてＳｔｅｐ０１で検出されたピクチャ番号ＰＮを符号化する。そして、Ｓｔｅｐ０３においてピクチャタイプＰｉｃＴｙｐｅを検出する。Ｓｔｅｐ０３において、検出されたピクチャタイプがＳピクチャであるかどうかを判断する。
【０１２４】
検出されたピクチャタイプがＳピクチャであれば、Ｓｔｅｐ０５においてメモリ上にある全てのピクチャを削除することを意味する全ピクチャ削除情報を符号化する。次にＳｔｅｐ０６ＡにおいてＳピクチャを符号化する。そしてＳｔｅｐ０７においてピクチャ番号を初期化し、続いてＳｔｅｐ０８において符号化対象のＳピクチャ以外でメモリ上にある全てのピクチャを削除する。以上で、付加情報の符号化およびピクチャ番号ＰＮの初期化処理を終了する。
【０１２５】
検出されたピクチャタイプがＳピクチャでなければ、ピクチャ番号は連続するため、Ｓｔｅｐ０６Ｂにおいてそのピクチャを符号化するが、付加情報の符号化およびピクチャ番号ＰＮの初期化処理、全ピクチャの削除を行わないで処理を終了する。
【０１２６】
Ｓｔｅｐ０７におけるピクチャ番号ＰＮの初期化とは、例えば、符号化処理が済んだＳピクチャにピクチャ番号０を付与することである。つまり、Ｓピクチャにおいてピクチャ番号を初期化することにより、表示時間の順番でＳピクチャに後続するピクチャに対して、Ｓピクチャ（ＰＮ＝０）から始まる番号（例えば、ＰＮ＝１）を付与することになることを意味する。その結果、ピクチャ番号ＰＮの初期化はＳピクチャを符号化（すなわちＳピクチャのピクチャ番号を符号化した後）した後に行われることになる。
【０１２７】
なお、Ｓｔｅｐ０４においてＳピクチャであるかどうかの判断を行ったが、Ｉピクチャであるかどうかの判断をしてもよい。また、図２１（ａ）では全ピクチャを削除するステップがある場合には併せてピクチャ番号を初期化するとよく、ピクチャ番号の初期化処理をする判断はＩピクチャまたはＳピクチャであるか否かに限られるものではない。また、Ｓｔｅｐ０２におけるピクチャ番号ＰＮの符号化の処理はＳｔｅｐ０１のピクチャ番号検出の処理より後の処理で、Ｓｔｅｐ０７におけるピクチャ番号ＰＮの初期化の処理より前であればいずれの時点において行ってもよい。また、Ｓｔｅｐ０８における符号化対象のＳピクチャ以外でメモリ上にある全てのピクチャを削除する処理の後にＳｔｅｐ０７におけるピクチャ番号ＰＮの初期化の処理をしてもよい。また、Ｓｔｅｐ０５におけるメモリ上にある全てのピクチャを削除することを意味する全ピクチャ削除情報を符号化する処理はＳｔｅｐ０４におけるＳピクチャであるかどうかの判断の後の処理で、図２１（ａ）に示す処理が終了する前であればいつでもよい。また、符号化対象のピクチャ以外を、符号化もしくは復号化で参照するためのメモリから全て削除することを意味する付加情報がピクチャタイプＰｉｃＴｙｐｅに含まれるような特別なピクチャタイプＰｉｃＴｙｐｅを用いることで、付加情報を符号化しないことも可能である。更に、ＳピクチャもしくはＩピクチャで切り替えるためにピクチャ番号ＰＮを付け替えることが効果的であるが、必ずしもＳピクチャやＩピクチャのみで有効な訳ではなく、ストリームを切替ることができればＰピクチャ等でも全ピクチャを削除するステップがあればピクチャ番号ＰＮに対して同様の処理をしてもよい。
【０１２８】
図２２は、本実施の形態１２の符号化方法を実現する画像符号化装置の構成を示すブロック図である。
ピクチャ番号生成ユニットＰＮＧｅｎはピクチャ番号ＰＮを生成する。ピクチャ番号ＰＮは参照画像メモリＭｅｍに記憶されている画像を区別する識別子であり、参照画像メモリＭｅｍに記憶されている異なる画像には異なるピクチャ番号ＰＮが付与される。通常は、参照画像メモリＭｅｍに画像を保存する都度ピクチャ番号ＰＮを「１」増加する。また、画像符号化ユニットＰｉｃＥｎｃからの通知に従って、Ｓピクチャの符号化後、当該Ｓピクチャのピクチャ番号ＰＮを「０」に初期化する。
【０１２９】
画像除去ユニットＰｉｃＤｅｌ５は、ピクチャタイプ情報ＰｉｃＴｙｐｅがＳピクチャであることを示す場合（図２１のＳｔｅｐ０３の処理に対応）には、符号化対象ピクチャ以外の参照画像メモリＭｅｍに保存されている画像を消去する指令（全ピクチャ削除情報）を参照画像メモリＭｅｍに通知し、同時に可変長符号化ユニットＶＬＣにもその情報を通知する。
【０１３０】
画像符号化ユニットＰｉｃＥｎｃは、参照画像メモリＭｅｍに保存されている画像を参照してピクチャタイプ情報ＰｉｃＴｙｐｅで示されるピクチャタイプとして入力画像信号Ｖｉｎを周波数変換・量子化等を伴う符号化し、その結果を画像復号化ユニットＰｉｃＤｅｃおよび可変長符号化ユニットＶＬＣに送信する。また、画像符号化ユニットＰｉｃＥｎｃは、Ｓピクチャを符号化した後、ピクチャ番号生成ユニットＰＮＧｅｎ２にピクチャ番号ＰＮの初期化指示を通知する。
【０１３１】
画像復号化ユニットＰｉｃＤｅｃは画像符号化ユニットＰｉｃＥｎｃで符号化した結果をピクチャタイプ情報ＰｉｃＴｙｐｅで示されるピクチャタイプとして逆量子化・逆周波数変換し、後続の画像の符号化で参照するためにピクチャ番号ＰＮに対応付けて参照画像メモリＭｅｍに保存する。
【０１３２】
可変長符号化ユニットＶＬＣは、画像符号化ユニットＰｉｃＥｎｃで符号化した結果を可変長符号化してビット列にすると共に、復号化で必要な情報である、画像除去ユニットＰｉｃＤｅｌ５から通知された参照画像メモリＭｅｍに保存されている画像を消去するための情報（全ピクチャ削除情報）、ピクチャ番号ＰＮ、ピクチャタイプ情報ＰｉｃＴｙｐｅを符号化し、符号化信号Ｓｔｒとして出力する。
【０１３３】
次に、復号化方法について図２１（ｂ）を用いて説明する。図２１（ｂ）は符号化信号の復号化手順を示す。
まずＳｔｅｐ０９においてピクチャ番号ＰＮを復号化する。次に、Ｓｔｅｐ０１０において全ピクチャ削除情報が符号化されているかどうかを判断する。
【０１３４】
Ｓｔｅｐ０１０において全ピクチャ削除情報が符号化されていると判断された場合、Ｓｔｅｐ０１１において全ピクチャ削除情報を復号化する。そしてＳｔｅｐ０１２Ａにおいてピクチャを復号化する。さらに、Ｓｔｅｐ０１３において復号化対象のピクチャ以外でメモリ上にある全てのピクチャを削除し、続いて、Ｓｔｅｐ０１４においてピクチャ番号ＰＮを初期化する。以上で、付加情報の復号化およびピクチャ番号ＰＮの初期化処理を終了する。
【０１３５】
Ｓｔｅｐ０１０において全ピクチャ削除情報が符号化されていないと判断された場合、Ｓｔｅｐ０１２Ｂにおいてピクチャを復号化し、付加情報の復号化およびピクチャ番号ＰＮの初期化処理を終了する。
【０１３６】
Ｓｔｅｐ０１４におけるピクチャ番号ＰＮの初期化とは、例えば、復号化処理が済んだピクチャにピクチャ番号「０」を付与することである。つまり、図２１（ａ）に示した符号化手順で符号化された符号化信号を復号化する場合は、Ｓピクチャにおいてピクチャ番号を初期化することにより、表示時間の順番でＳピクチャに後続するピクチャに対して、Ｓピクチャから始まる番号を付与することになることを意味する。
【０１３７】
なお、図２１（ｂ）では全ピクチャを削除するステップがある場合にはピクチャ番号を初期化する処理をすればよく、その処理をするかどうかの判断は、復号化するピクチャのタイプとは関係はない。また、Ｓｔｅｐ０１４におけるピクチャ番号ＰＮの初期化の処理はＳｔｅｐ０１３における符号化対象のピクチャ以外でメモリ上にある全てのピクチャを削除する処理の前の処理であってもよい。また、復号化対象のピクチャ以外を、復号化で参照するためのメモリから全て削除することを意味する付加情報がピクチャタイプＰｉｃＴｙｐｅに含まれるような特別なピクチャタイプＰｉｃＴｙｐｅを用いることで、付加情報を符号化しないことも可能である。
【０１３８】
図２３は、本実施の形態１２の復号化方法を実現する画像復号化装置の構成を示すブロック図である。
可変長復号化ユニットＶＬＤは符号化信号Ｓｔｒを復号化し、様々な情報（参照画像メモリＭｅｍに保存されている画像を消去する指令、ピクチャタイプ情報ＰｉｃＴｙｐｅ、ピクチャ番号ＰＮ、ピクチャ番号ＰＮを付け替える情報および画像データなど）を出力する。
【０１３９】
まず、可変長復号化ユニットＶＬＤで得られた参照画像メモリＭｅｍに保存されている画像を消去する指令（全ピクチャ削除情報）は、画像除去ユニットＰｉｃＤｅｌ６に通知され、画像除去ユニットＰｉｃＤｅｌ６は、参照画像メモリＭｅｍに保存されている指令された画像を消去する。
【０１４０】
可変長復号化ユニットＶＬＤで得られたピクチャタイプ情報ＰｉｃＴｙｐｅは、画像復号化ユニットＰｉｃＤｅｃに通知され復号化方法を指示する。
可変長復号化ユニットＶＬＤで得られたピクチャ番号ＰＮは、参照画像メモリＭｅｍに通知され、画像復号化ユニットＰｉｃＤｅｃで復号化された画像を格納する際のピクチャ番号ＰＮとする。
【０１４１】
可変長復号化ユニットＶＬＤで得られた全ピクチャ削除情報は、ピクチャ番号変更ユニットＰＮｃｈｇ２に通知され、ピクチャ番号変更ユニットＰＮｃｈｇ２はその指示に従い参照画像メモリＭｅｍ内に保存されている画像のピクチャ番号ＰＮを付け替える（初期化する）。より具体的には、ピクチャ番号変更ユニットＰＮｃｈｇ２は、参照画像メモリＭｅｍ内の復号化対象ピクチャ（Ｓピクチャ）以外の画像が全て削除された後、参照画像メモリＭｅｍに保存されている画像のピクチャ番号ＰＮを読み出し、読み出されたピクチャ番号ＰＮの値を「０」に変更した後、そのピクチャ番号Ｍｅｍを参照画像メモリＭｅｍに書き込む。
【０１４２】
可変長復号化ユニットＶＬＤで得られた画像データは、画像復号化ユニットＰｉｃＤｅｃにおいて、ピクチャタイプ情報ＰｉｃＴｙｐｅで示されるピクチャタイプに応じた復号化方法で復号化される。すなわち、Ｉピクチャは参照画像メモリＭｅｍの画像を参照しないで復号化され、ＰピクチャおよびＢピクチャは参照画像メモリＭｅｍに保存されている画像を参照して復号化される。このようにして得られた復号画像は参照画像メモリＭｅｍ内に保存されると共に、復号画像信号Ｖｏｕｔとして出力される。
【０１４３】
以上の構成により、図２１に示す画像復号化方法を実現する画像復号化装置を実現できる。また、エラー耐性の高い復号化装置を提供することができる。
このように本実施の形態に示す符号化方法、復号化方法によって、所定のストリームから別のストリームへ移動した後に、複数のストリームそれぞれのメモリ状態が同一になるため、画面間予測符号化等で参照ピクチャを必要とする場合でも、所定のピクチャをメモリ上で正確に指定することができる。
【０１４４】
なお、上記実施の形態においては、付加情報（全ピクチャ削除情報）をピクチャＰｉｃＴｙｐｅとまとめて符号化してもよいと説明したが、Ｉピクチャでは参照メモリの全ピクチャを削除することにより、そのＩピクチャからストリームを再生できる特別なピクチャにすることができる。これをＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）ピクチャと呼ぶ。ＩＤＲピクチャはランダム・アクセスの再生開始位置となることからＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）の先頭のＩピクチャとして有効である。このＩＤＲピクチャを符号化するときには毎回、メモリ内の当該ピクチャ以外のピクチャをすべて削除し、かつ、当該ピクチャの符号化後にピクチャ番号を初期化すると定めておけば、画像符号化装置においてメモリ内の当該ピクチャ以外の全ピクチャを削除した場合でも付加情報を符号化しなくてもよい。この場合、画像復号化装置においては、符号化ストリーム内のＩＤＲピクチャをピクチャタイプから検出し、ＩＤＲピクチャを復号化する場合には、付加情報が符号化されなくても、その都度、メモリ内の当該ＩＤＲピクチャ以外のピクチャをすべて削除し、かつ、当該ピクチャの符号化・復号化後にピクチャ番号を初期化する。
【０１４５】
（実施の形態１３）
さらに、上記各実施の形態で示した画像符号化方法および画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１４６】
図２４は、上記実施の形態１から実施の形態１２の画像符号化方法および画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図である。
【０１４７】
図２４（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図２４（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての画像符号化方法および画像復号化方法が記録されている。
【０１４８】
また、図２４（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての画像符号化方法および画像復号化方法をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記画像符号化方法および画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【０１４９】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＣＤ−ＲＯＭ、メモリカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１５０】
さらにここで、上記実施の形態で示した画像符号化方法や画像復号化方法の応用例とそれを用いたシステムを説明する。
図２５は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【０１５１】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【０１５２】
しかし、コンテンツ供給システムｅｘ１００は図２５のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
【０１５３】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【０１５４】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【０１５５】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【０１５６】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
【０１５７】
図２６は、上記実施の形態で説明した画像符号化方法と画像復号化方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【０１５８】
さらに、携帯電話ｅｘ１１５について図２７を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
【０１５９】
電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【０１６０】
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声データに変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【０１６１】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【０１６２】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【０１６３】
画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【０１６４】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【０１６５】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
【０１６６】
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【０１６７】
次に、画像復号化部ｅｘ３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０１６８】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２８に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報のビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録したビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【０１６９】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【０１７０】
なお、カーナビゲーションｅｘ４１３の構成は例えば図２７に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。
【０１７１】
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【０１７２】
このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【０１７３】
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
本発明に係る画像符号化装置は、通信機能を備えるパーソナルコンピュータ、ＰＤＡ、デジタル放送の放送局および携帯電話機などに備えられる画像符号化装置として有用である。
【０１７４】
また、本発明に係る画像復号化装置は、通信機能を備えるパーソナルコンピュータ、ＰＤＡ、デジタル放送を受信するＳＴＢおよび携帯電話機などに備えられる画像復号化装置として有用である。
【０１７５】
【発明の効果】
以上の様に、本発明にかかる画像符号化方法および画像復号化方法によれば、Ｓピクチャの仕組みと参照画像メモリＭｅｍ内から参照ピクチャを選択する符号化方法とを組み合わせて使用できるようにし、Ｓピクチャを用いた場合でも前記符号化方法における圧縮率を向上することができる画像符号化方法および画像復号化方法を提供することができ、その実用的価値は高い。
【図面の簡単な説明】
【図１】参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮの説明図である。
【図２】本発明の画像符号化方法および画像復号化方法の参照画像メモリＭｅｍに格納される画像制御に関する情報の符号化方法および復号化方法のフローチャートである。
【図３】参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮの説明図である。
【図４】本発明の画像符号化方法および画像復号化方法の参照画像メモリＭｅｍに格納される画像制御に関する情報の符号化方法および復号化方法のフローチャートである。
【図５】本発明の入力画像信号Ｖｉｎを符号化した場合のピクチャとピクチャ番号ＰＮとの対応説明図である。
【図６】本発明の画像復号化方法の参照画像メモリＭｅｍに格納される画像制御に関する情報の復号化方法のフローチャートである。
【図７】本発明の画像符号化装置の構成を示すブロック図である。
【図８】本発明の符号化信号Ｓｔｒのデータ構成の一例を示す図である。
【図９】本発明の画像復号化装置の構成を示すブロック図である。
【図１０】本発明の入力画像信号Ｖｉｎを符号化した場合の各ピクチャとピクチャ番号ＰＮとの対応説明図である。
【図１１】本発明のストリームの各ピクチャにピクチャ番号を付与して符号化する方法を示すフローチャートである。
【図１２】本実施の形態７における復号化方法を示すフローチャートである。
【図１３】本実施の形態７におけるメモリ構造を示す図である。
【図１４】本実施の形態７における符号化方法を示すフローチャートである。
【図１５】本実施の形態７における別の符号化方法を示すフローチャートである。
【図１６】本実施の形態７における別の符号化方法を示すフローチャートである。
【図１７】本実施の形態８における符号化装置の構成を示すブロック図である。
【図１８】本実施の形態８における別の符号化装置の構成を示すブロック図である。
【図１９】本実施の形態１０における復号化方法を示すフローチャートである。
【図２０】本実施の形態１１における復号化装置の構成を示すブロック図である。
【図２１】本実施の形態１２における符号化信号の作成手順および符号化信号の復号化手順を示すフローチャートである。
【図２２】本実施の形態１２の符号化方法を実現する画像符号化装置の構成を示すブロック図である。
【図２３】本実施の形態１２の復号化方法を実現する画像復号化装置の構成を示すブロック図である。
【図２４】実施の形態１から実施の形態１２の画像符号化方法および画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納する記憶媒体についての説明図である。
【図２５】本発明に係るコンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。
【図２６】本発明に係る携帯電話の一例を示す図である。
【図２７】同携帯電話の構成を示すブロック図である。
【図２８】本発明に係るディジタル放送用システムの構成を示す図である。
【図２９】入力画像信号Ｖｉｎを符号化した場合のピクチャとピクチャ番号ＰＮとの対応を説明する図である。
【図３０】Ｓピクチャを符号化および復号化する際に、参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮを示す図である。
【符号の説明】
ＰｉｃＴｙｐｅ ピクチャタイプ情報
Ｖｉｎ 入力画像信号
ＰＮｃｍｐ メモリ内ピクチャ数比較ユニット
Ｍｅｍ メモリ
ＰｉｃＥｎｃ 画像符号化ユニット
ＰＮＧｅｎ ＰＮ生成ユニット
ＶＬＣ 可変長符号化ユニット
ＰｉｃＤｅｃ 画像復号化ユニット
ＰｉｃＤｅｌ４ 画像除去ユニット
【発明の属する技術分野】
本発明は、動画像信号を画面間の相関を利用して効率良く圧縮する画像符号化方法とそれを正しく復号化する画像復号化方法、並びにそれをソフトウェアで実施するためのプログラムが記録された記録媒体に関する。
【０００２】
【従来の技術】
近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
【０００３】
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４ｋｂｐｓ〜１．５Ｍｂｐｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ：Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）で国際標準化されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
【０００５】
ここで、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とは、動画像信号のデジタル圧縮の国際規格であり、ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格では対象とする品質を伝送速度が主として約１．５Ｍｂｐｓで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号を２〜１５Ｍｂｐｓに圧縮する。
【０００６】
さらに現状では、ＭＰＥＧ−１、ＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１） によって、より圧縮率が高いＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートで効率の高い符号化が可能になるだけでなく、伝送路誤りが発生しても主観的な画質劣化を小さくできる強力な誤り耐性技術も導入されている。また、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔの共同で次世代画面符号化方式として、ＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）の標準化活動が進んでおり、現時点ではジョイント・モデル２（ＪＭ２）と呼ばれるものが最新である。
【０００７】
参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。
【０００８】
ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。
【０００９】
ＪＶＴでは、従来の動画像符号化と異なり、前方参照画像として複数の画像（ピクチャ）から任意の画像（ピクチャ）を参照画像として選択することが可能である。また、符号化したストリームを特定のピクチャで切換可能にするような仕組みを導入し、Ｓピクチャ（ＳＩピクチャおよびＳＰピクチャと呼ばれ、それぞれＳピクチャで画面内予測符号化、画面間予測符号化に対応する）が導入された。
【００１０】
Ｓピクチャは、複数のストリームから、Ｓピクチャの直前でストリームを切り換えてもＳピクチャ以降のストリームが正しく復号化できることを保証する仕組みであり、動画配信サーバなどで受信端末との間の通信容量や受信者の嗜好に合わせて、サーバでストリームを切換ることが可能になる。
【００１１】
さて、このような従来の画像符号化方法および画像復号化方法では、（１）前方参照画像として複数の画像（ピクチャ）から任意の画像（ピクチャ）を参照画像として選択することができるようにし、（２）特定のピクチャでストリームを切換ることができるようＳピクチャを導入した。しかしながら、このように２つの技術が導入されているにもかかわらず、残念ながらその両者を組合せた場合について発生する問題については十分に考慮されておらず、以下に記載する課題により、実際には両者を併用することが困難であった。
【００１２】
図２９は、入力画像信号Ｖｉｎを符号化した場合のピクチャとピクチャ番号ＰＮとの対応を説明する図である。ストリーム１、ストリーム２、ストリーム３は同じ画像信号を異なるピクチャレート（１秒あたりのピクチャ数）で符号化したものである。ピクチャ番号ＰＮは符号化したピクチャを識別するための番号であり、ＪＭ２では参照画像として後続の符号化で参照されるものは「１」ずつ増加する番号が割り当てられることになっている。説明を簡単にするため、図２９の例では各ストリームで全てのピクチャを後続の符号化で参照されるものとし、ピクチャ番号ＰＮの値が常に「１」ずつ増える場合のみ記載している。後続の符号化で参照されないピクチャはピクチャ番号ＰＮの増減に影響を与えず、メモリにも保存されない。したがって、後続の符号化で参照されないピクチャについては、今後の動作の説明には影響を与えないので、説明を省略する。
【００１３】
さて、図２９に示すように、時刻ｔ３において、各ストリームの斜線で示されるピクチャはＳピクチャとして符号化される。図３０は、Ｓピクチャを符号化および復号化する際に、参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮを示す図である。
【００１４】
図３０は参照画像メモリＭｅｍに記憶されている画像およびその位置を表している。参照画像メモリＭｅｍ内で左位置のピクチャは右位置に格納されているピクチャより時刻が新しい。予測符号化する際には、符号化および復号化で同じ画像を参照する必要があり、ＪＭ２のように複数の参照画像から参照画像を選択可能な場合にはどの画像を参照したかを明示する必要がある。
【００１５】
参照画像を明示するには、下記の２通りの方法があり、ＪＭ２では目的に応じて両者を使い分けている。
▲１▼時刻が新しいものから何ピクチャ前かの情報を明示する
▲２▼ピクチャ番号ＰＮによって参照するピクチャを明示する
Ｓピクチャでストリームを切り換えた際に、ＳピクチャおよびＳピクチャより後のピクチャを正しく符号化し、かつ、復号化の時点で正しく復号化できるためには、Ｓピクチャでどのストリームからどのストリームに切り換えた場合でも、参照画像メモリＭｅｍの内容が一致していなければならない。
【００１６】
【非特許文献１】
ＩＴＵ−Ｔ勧告 Ｈ．２６３ＡｎｎｅｘＵ（１１／００）
”Ｅｎｈａｎｃｅｄ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｍｏｄｅ”
【００１７】
【発明が解決しようとする課題】
しかしながら、図３０の参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮの説明図から明らかなように、ストリーム毎にＳピクチャ符号化・復号化開始時点で参照画像メモリＭｅｍの内容が一致していないため、従来の方法のままでは、参照画像メモリＭｅｍ内から参照ピクチャを選択する符号化方法と、ストリームを切り換えるＳピクチャの仕組みを組み合わせて使用することはできない。
【００１８】
そこで、本発明は以上の課題を解決し、Ｓピクチャの仕組みが参照画像メモリＭｅｍ内から参照ピクチャを選択する符号化方法と組み合わせて使用できるようにし、Ｓピクチャを用いた場合でも前記符号化手法における圧縮率を向上することができる画像符号化方法および画像復号化方法を提供することを目的とする。
【００１９】
【課題を解決するための手段】
この課題を解決するために、
第１の発明は、メモリに格納した参照ピクチャをピクチャ番号によって特定して参照し、動画の符号化ストリームを生成する画像符号化方法であって、符号化対象ピクチャに対応するピクチャ番号を符号化するピクチャ番号符号化ステップと、当該符号化対象ピクチャを符号化する符号化ステップと、前記符号化ステップの実行後、前記符号化対象ピクチャ以外のピクチャでメモリに記憶されているピクチャを全て不使用にする全ピクチャ不使用化ステップと、メモリ内の前記符号化対象ピクチャのピクチャ番号を初期化するピクチャ番号初期化ステップと、画像復号化装置に対し、前記符号化対象ピクチャ以外のピクチャですでにメモリに格納されているピクチャを全て不使用にすることを指示する全ピクチャ不使用化情報を符号化する全ピクチャ不使用化情報符号化ステップとを含むことを特徴とする画像符号化方法である。
【００２０】
第２の発明は、メモリに格納した参照ピクチャをピクチャ番号によって特定して参照し、動画の符号化ストリームを復号化する画像復号化方法であって、符号化ストリームから、復号化対象ピクチャ以外のピクチャで、すでにメモリに格納されているピクチャを全て不使用にすることを意味する全ピクチャ不使用化情報を検出して復号化する全ピクチャ不使用化情報復号化ステップと、前記符号化ストリームから前記復号化対象ピクチャを復号化する復号化ステップと、前記復号化ステップの実行後に、復号化された前記全ピクチャ不使用化情報に従って、前記復号化対象ピクチャ以外のピクチャで、すでにメモリに格納されているピクチャを全て不使用にする全ピクチャ不使用化ステップと、メモリ内の前記復号化対象ピクチャに対し、初期化された新たなピクチャ番号を付与するピクチャ番号初期化ステップとを含むことを特徴とする画像復号化方法である。
【００２１】
第３の発明は、複数の画像信号を符号化して各画像に対する符号化信号を生成する画像符号化方法であって、前記複数の符号化信号を切換可能な切換ピクチャおよび切換ピクチャ以降から参照できるピクチャは前記符号化信号で同じ時刻のピクチャ群のみである画像符号化方法である。
【００２２】
第４の発明は、符号化信号を復号化する画像復号化方法であって、切換可能な切換ピクチャの前で不使用にしたピクチャの情報を復号化し、前記復号化した結果に基づき参照画像メモリから復号化したピクチャを不使用にし、切換ピクチャ以後では不使用にされなかった参照ピクチャのみを参照して符号化信号を復号化する画像復号化方法である。
【００２３】
第５の発明は、複数の画像信号を符号化して各画像に対する符号化信号を生成する画像符号化方法であって、前記複数の符号化信号を切換可能な切換ピクチャのピクチャ番号を前記各符号化信号で同じ値に変更する仕組みを有する画像符号化方法である。
【００２４】
第６の発明は、符号化信号を復号化する画像符号化方法であって、前記符号化信号を切換可能な切換ピクチャで切り換える際に、参照ピクチャのピクチャ番号を切換可能な符号化信号で同じ値に変更する仕組みを有する画像復号化方法である。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態について、図１から図２８を用いて説明する。
【００２６】
（実施の形態１）
図１は、参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮの説明図である。同図と、図３０の参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮの説明図の違いを以下で説明する。
【００２７】
従来はＳピクチャを符号化・復号化する際に、符号化信号を切り換えると参照画像メモリＭｅｍの内容が一致しないことを説明した。そこで、本発明の符号化・復号化方法では、図２９の入力画像信号Ｖｉｎを符号化した場合のピクチャとピクチャ番号ＰＮの対応説明図で、全てのストリームでピクチャが一致する時刻ｔ０、ｔ１、ｔ２の画像のみを参照画像メモリＭｅｍに記憶し、それ以外の画像をＳピクチャの符号化・復号化前に参照画像メモリＭｅｍから削除する。その結果を示すのが図１の参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮの説明図である。
【００２８】
図１の参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮの説明図から明らかなように、符号化・復号化で参照画像を明示する場合に、「時刻が新しいものから何ピクチャ前かの情報を明示する」という方法を用いれば、ストリーム１、ストリーム２、ストリーム３のいずれの場合でも同じ時刻の画像を参照することになるため、符号化・復号化が正しく行えることになる。
【００２９】
図２は本発明の画像符号化方法および画像復号化方法の参照画像メモリＭｅｍに格納される画像制御に関する情報の符号化方法および復号化方法のフローチャートである。
【００３０】
図２（ａ）の符号化方法のフローチャートは、図１を用いて説明した動作の実現方法とそのために必要な情報の符号化・復号化方法を示す。
Ｓｔｅｐ０では複数の符号化情報（ストリーム）の中で時刻が同じピクチャを選択する。Ｓｔｅｐ１ではＳｔｅｐ０で選択した 以外のピクチャを削除することを示す削除情報を符号化する。Ｓｔｅｐ２ではＳｔｅｐ０で選択した以外のピクチャを参照画像メモリＭｅｍから削除する。以上のようにして、図１に示すように、符号化信号を切り換えても復号可能なストリームを実現するための参照画像メモリＭｅｍ格納状態を実現できる。
【００３１】
なお、Ｓｔｅｐ１とＳｔｅｐ２の順序は入れ替えてもよく、その場合は図２（ｂ）に示す画像符号化方法のフローチャートになる。
図２（ａ）の符号化方法のフローチャートで符号化した削除情報を図２（ｃ）の復号化方法のフローチャートで示す方法で復号化することで、図１に示すように、符号化信号を切り換えても復号可能なストリームを実現するための参照画像メモリＭｅｍ格納状態を画像復号化方法で実現できる。
【００３２】
Ｓｔｅｐ５で削除情報を復号化することで、複数の符号化情報（ストリーム）の中で時刻が同じでないピクチャを明示できる。これは図２（ａ）のＳｔｅｐ０で選択した時刻が同じピクチャ以外のものに相当する。次に、Ｓｔｅｐ６では、Ｓｔｅｐ５で選択したピクチャを参照画像メモリＭｅｍから削除する。具体的には、参照画像メモリＭｅｍ内に保存されているピクチャを削除（または消去）する場合、削除されるべきピクチャに、参照画像として使用することを禁止する「不使用」などの識別情報を設定することによって行う。これに対応して、画像復号化ユニットＰｉｃＤｅｃと画像符号化ユニットＰｉｃＥｎｃとは、参照画像メモリＭｅｍ内に保存されているピクチャを参照する際には必ず「不使用」の識別情報が設定されているか否かを確認した上、「不使用」の識別情報が設定されている場合にはそのピクチャを参照せず、「不使用」の識別情報が設定されていないピクチャのみを参照する。以下の実施の形態においても同様にして参照画像メモリＭｅｍ内のピクチャを削除（または消去）する。もちろん、この削除方法は一例であり、参照画像メモリＭｅｍ内から前記ピクチャのデータを実際に削除（または消去）してしまうことによって削除してもよいことはいうまでもない。以上のようにして、符号化信号を切り換えても、図１に示すように復号可能なストリームを実現するための参照画像メモリＭｅｍ格納状態を実現できる。
【００３３】
（実施の形態２）
図３（ａ）は参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮの説明図である。図３（ａ）と図１の参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮの説明図の違いは、参照画像メモリＭｅｍ内のピクチャ番号ＰＮが一致するか否かである。
【００３４】
参照画像メモリＭｅｍ内に保存されているピクチャの時刻だけでなく、参照画像メモリＭｅｍ内のピクチャ番号ＰＮも全ての符号化信号で一致されることで、符号化・復号化で参照画像を明示する場合に、「ピクチャ番号ＰＮによって参照するピクチャを明示する」という方法が利用可能になり、ストリーム１、ストリーム２、ストリーム３のいずれの場合でも同じ時刻の画像を参照することになるため、符号化・復号化が正しく行えることになる。
【００３５】
これを実現するためには、Ｓピクチャの符号化・復号化の前に、参照画像メモリＭｅｍ内に保存されているピクチャのピクチャ番号ＰＮを同じ値に付け替え、その付け替えのための情報を符号化・復号化すればよい。
【００３６】
更に、次にＳピクチャを保存する際も同じピクチャ番号ＰＮとして保存しなければならないので、Ｓピクチャのピクチャ番号ＰＮも、どのストリームの場合でも一致させる必要がある。
【００３７】
図４は本発明の画像符号化方法および画像復号化方法の参照画像メモリＭｅｍに格納される画像制御に関する情報の符号化方法および復号化方法のフローチャートであり、図３（ａ）を用いて説明した動作の実現方法とそのために必要な情報の符号化・復号化方法を示す。
【００３８】
Ｓｔｅｐ１０では切換対象の符号化信号で参照画像メモリＭｅｍに含まれているピクチャのピクチャ番号ＰＮの最大値（図３（ａ）の例では８）を検出する。Ｓｔｅｐ１２ではピクチャ番号ＰＮの最大値を基準とし、参照画像メモリＭｅｍに格納されている各ピクチャのピクチャ番号ＰＮを割り当てなおすための情報を符号化する。また、必要に応じて、次のＳピクチャに割り当てるべきピクチャ番号ＰＮも符号化する。なお、図３（ａ）のストリーム３と図１のストリーム３は同じであるから、ストリーム３については割り当てなおす必要は無い。従って、ピクチャ番号ＰＮの割り当てなおしは必要なもののみ実施し、必要な割り当てなおしの情報のみＳｔｅｐ１１で符号化すれば良い。最後にＳｔｅｐ１１で符号化した情報で示すピクチャ番号ＰＮの割り当てなおしをＳｔｅｐ１２で実施する。以上のようにして、図３に示すように、符号化信号を切り換えても復号可能なストリームを実現するための参照画像メモリＭｅｍ格納状態を実現できる。
【００３９】
また、Ｓピクチャのピクチャ番号ＰＮは１２であるから、Ｓピクチャの符号化・復号化後にピクチャ番号ＰＮが連続するようにするためには、図３（ｂ）に示すようにＳピクチャ直前のピクチャ番号ＰＮ（図２９のストリーム１のＳピクチャ直前）である１１を用いてもよい。この場合はＳピクチャのピクチャ番号ＰＮは１２であるから、符号化・復号化過程で常にピクチャ番号ＰＮが増加することになり、ピクチャ番号ＰＮが減少した場合をエラーとするエラー検出機能も実現することができてより効果的である。
【００４０】
図５は本発明の入力画像信号Ｖｉｎを符号化した場合のピクチャとピクチャ番号ＰＮの対応説明図である。図５は図３（ｂ）で説明した方法でピクチャ番号ＰＮの割り当てなおしをした例であり、Ｓピクチャでピクチャ番号ＰＮが全て１２になっており、Ｓピクチャ符号化・復号化する際に参照画像メモリＭｅｍの画像がストリームに依らず一定であれば、Ｓピクチャでストリームを切り換えても、Ｓピクチャ以降の全ての画像が正しく復号化できることは明らかである。
【００４１】
なお、Ｓｔｅｐ１１とＳｔｅｐ１２の順序は入れ替えてもよく、その場合は図４（ｂ）に示す画像符号化方法のフローチャートになる。
図４（ａ）の符号化方法のフローチャートで符号化した削除情報を図４（ｃ）の復号化方法のフローチャートで示す方法で復号化することで、図３（ａ）に示すように、符号化信号を切り換えても復号可能なストリームを実現するための参照画像メモリＭｅｍ格納状態を画像復号化方法で実現できる。
【００４２】
Ｓｔｅｐ１５でピクチャ番号ＰＮの割り当てなおしの情報を復号化することで、ピクチャ番号ＰＮの割り当てなおしが必要な画像とその方法を特定できる。次に、Ｓｔｅｐ１６では、Ｓｔｅｐ１５で復号化した、ピクチャ番号ＰＮの割り当てなおしが必要な画像とその方法に基づいて、参照画像メモリＭｅｍのピクチャ番号ＰＮの割り当てなおしを行う。以上のようにして、符号化信号を切り換えても、図３に示すように復号可能なストリームを実現するための参照画像メモリＭｅｍ格納状態を実現できる。
【００４３】
なお、本実施の形態では、実施の形態１と組合せた形での有効性を説明したが、「ピクチャ番号ＰＮによって参照するピクチャを明示する」場合に正しく符号化・復号化できるという長所は実施の形態２のみで実現できるものであり、この効果のみで十分な場合は実施の形態１と組合せないで利用することも可能である。
【００４４】
（実施の形態３）
図６は図３の参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮの説明図を実現するための別の実施の形態である。
【００４５】
ピクチャのタイプはピクチャタイプ情報ＰｉｃＴｙｐｅ で識別される。従って、ピクチャタイプ情報ＰｉｃＴｙｐｅ がストリームを切り換え可能なＳピクチャであれば、Ｓピクチャのピクチャ番号ＰＮに合わせるように参照画像メモリＭｅｍのピクチャ番号ＰＮの割り当てなおしを行う規則を決めることで、参照画像メモリＭｅｍの個々のピクチャ番号の割り当てなおし方法の情報の符号化・復号化を省略することができる。
【００４６】
以下、図６（ａ）の動作を説明する。Ｓｔｅｐ２０では符号化信号を復号化して画像のピクチャ番号ＰＮを取得する。Ｓｔｅｐ２１で取得した画像のピクチャタイプ情報ＰｉｃＴｙｐｅを取得し、そのピクチャタイプ情報ＰｉｃＴｙｐｅがＳピクチャであれば、Ｓｔｅｐ２２で所定の方法を用いてＳピクチャのピクチャ番号ＰＮに合わせるように参照画像メモリＭｅｍのピクチャ番号ＰＮの割り当てなおしを行う。以上のようにして、図３に示すように、符号化信号を切り換えても復号可能なストリームを実現するための参照画像メモリＭｅｍ格納状態を実現できる。
【００４７】
なお、Ｓｔｅｐ２１とＳｔｅｐ２２の順序は入れ替えてもよく、その場合は図６（ｂ）に示す画像符号化方法のフローチャートになる。
また、図６および図４に示す図３の参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮの説明図を組み合わせ、図４のＳｔｅｐ１１およびＳｔｅｐ１５でピクチャ番号ＰＮの割り当てなおし情報の一部（Ｓピクチャのピクチャ番号ＰＮに合わせるように参照画像メモリＭｅｍのピクチャ番号ＰＮの割り当てなおしを行う規則で表現できないもの）のみを符号化・復号化しても良い。
【００４８】
（実施の形態４）
図７は本発明の画像符号化装置の構成を示すブロック図である。図７の本発明の画像符号化装置のブロック図は、実施の形態１および実施の形態２の画像符号化方法を実現する一例である。
【００４９】
ピクチャ番号生成ユニットＰＮＧｅｎはピクチャ番号ＰＮを生成する。ピクチャ番号ＰＮは参照画像メモリＭｅｍに記憶されている画像を区別する識別子であり、参照画像メモリＭｅｍに記憶されている異なる画像には異なるピクチャ番号ＰＮが付与される。通常は、参照画像メモリＭｅｍに画像を保存する都度ピクチャ番号ＰＮを１増加し、画像復号化装置で受信したピクチャ番号ＰＮが２以上増加した場合には伝送路誤りで保存すべき画像が欠落したことを画像復号化装置で検出しエラー修正またはエラー修整処理を施すことが可能になっている。
【００５０】
最大ピクチャ番号検出ユニットＭａｘＰＮは他符号化信号ピクチャ番号ＯｔｈｅｒＰＮおよびピクチャ番号生成ユニットＰＮＧｅｎで生成されたピクチャ番号ＰＮを比較し、ピクチャ番号ＰＮの最大値を検出して可変長符号化ユニットＶＬＣに通知すると共に、ピクチャ番号生成ユニットＰＮＧｅｎに通知しピクチャ番号生成ユニットＰＮＧｅｎで生成するピクチャ番号ＰＮを前記ピクチャ番号ＰＮの最大値で初期化する。他符号化信号ピクチャ番号ＯｔｈｅｒＰＮは、同じ符号化対象ピクチャに対応する違うストリームのピクチャのピクチャ番号である。その結果、ピクチャ番号生成ユニットＰＮＧｅｎは以後、前記ピクチャ番号ＰＮの最大値より大きなピクチャ番号ＰＮを出力するようになる。
【００５１】
符号化ピクチャ時刻比較ユニットＴｉｍｅＣｍｐはこれまでに符号化した入力画像信号Ｖｉｎの各ピクチャの時刻と他の符号化信号（ストリーム）として符号化した各ピクチャのピクチャ時刻ＦｒａｍｅＴｉｍｅを比較し、全ての符号化信号で符号化されている時刻のピクチャの情報を画像除去ユニットＰｉｃＤｅｌに通知する。
【００５２】
画像除去ユニットＰｉｃＤｅｌは、ピクチャタイプ情報ＰｉｃＴｙｐｅが次のピクチャがＳピクチャであることを示す場合には、符号化ピクチャ時刻比較ユニットＴｉｍｅＣｍｐから通知された情報に基づき、全ての符号化信号で符号化されている時刻のピクチャ以外の参照画像メモリＭｅｍに保存されている画像を消去する指令を参照画像メモリＭｅｍに通知し、同時に可変長符号化ユニットＶＬＣにもその情報を通知する。
【００５３】
画像符号化ユニットＰｉｃＥｎｃは参照画像メモリＭｅｍに保存されている画像を参照してピクチャタイプ情報ＰｉｃＴｙｐｅで示すピクチャタイプとして入力画像信号Ｖｉｎを周波数変換・量子化等を伴う符号化し、その結果を画像復号化ユニットＰｉｃＤｅｃや可変長符号化ユニットＶＬＣに送信する。画像復号化ユニットＰｉｃＤｅｃは画像符号化ユニットＰｉｃＥｎｃで符号化した結果をピクチャタイプ情報ＰｉｃＴｙｐｅで示すピクチャタイプとして逆量子化・逆周波数変換し、後続の画像の符号化で参照するためにピクチャ番号ＰＮとして参照画像メモリＭｅｍに保存する。
【００５４】
可変長符号化ユニットＶＬＣは、画像符号化ユニットＰｉｃＥｎｃで符号化した結果を可変長符号化してビット列にすると共に、復号化で必要な情報である、画像除去ユニットＰｉｃＤｅｌから通知された参照画像メモリＭｅｍに保存されている画像を消去するための情報、および前記ピクチャ番号ＰＮの最大値やピクチャ番号ＰＮを符号化し、符号化信号Ｓｔｒとして出力する。また、画像除去ユニットＰｉｃＤｅｌから通知された情報や、ピクチャ番号ＰＮから、実施の形態２に記載した方法に基づき、参照画像メモリＭｅｍに保存されている画像のピクチャ番号ＰＮを付け替える情報も符号化する。
【００５５】
図８に本発明の符号化信号Ｓｔｒの構成例を示す。以下図８（ａ）の各データについて説明する。
最初にピクチャ番号ＰＮが符号化される。次に、付け替えるべき最大ＰＮや、参照画像メモリＭｅｍに保存されている画像を消去するための情報、参照画像メモリＭｅｍに保存されている画像のピクチャ番号ＰＮを付け替える情報が符号化される。それに引き続いてピクチャタイプ情報ＰｉｃＴｙｐｅや画像符号化ユニットＰｉｃＥｎｃの出力である画像符号化データが配置される。
【００５６】
なお、図８（ａ）は単にデータ配置の一例であり、図８（ｂ）のようにデータの順番を入れ替えて実現することも可能である。
以上の構成により、実施の形態１および実施の形態２の画像符号化方法を実現する画像符号化装置を実現できる。
【００５７】
（実施の形態５）
図９は本発明の画像復号化装置の構成を示すブロック図である。図９の本発明の画像復号化装置のブロック図は、実施の形態１、実施の形態２および実施の形態３を実現する画像復号化装置の一例である。以下その動作を説明する。
【００５８】
可変長復号化ユニットＶＬＤは符号化信号Ｓｔｒを復号化し、様々な情報（参照画像メモリＭｅｍに保存されている画像を消去する指令、ピクチャタイプ情報ＰｉｃＴｙｐｅ、ピクチャ番号ＰＮ、ピクチャ番号ＰＮを付け替える情報および画像データなど）を出力する。
【００５９】
まず、可変長復号化ユニットＶＬＤで得られた参照画像メモリＭｅｍに保存されている画像を消去する指令は、画像除去ユニットＰｉｃＤｅｌに通知され、画像除去ユニットＰｉｃＤｅｌは参照画像メモリＭｅｍに保存されている指令された画像を消去する。
【００６０】
可変長復号化ユニットＶＬＤで得られたピクチャタイプ情報ＰｉｃＴｙｐｅは、画像復号化ユニットＰｉｃＤｅｃに通知され復号化方法を指示する。
可変長復号化ユニットＶＬＤで得られたピクチャ番号ＰＮは、参照画像メモリＭｅｍに通知され、画像復号化ユニットＰｉｃＤｅｃで復号化された画像を格納する際のピクチャ番号ＰＮとする。
【００６１】
可変長復号化ユニットＶＬＤで得られた参照画像メモリＭｅｍに保存されている画像のピクチャ番号ＰＮを付け替える情報は、ピクチャ番号変更ユニットＰＮｃｈｇに通知され、ピクチャ番号変更ユニットＰＮｃｈｇはその指示に従い参照画像メモリＭｅｍ内に保存されている画像のピクチャ番号ＰＮを付け替える。より具体的には、ピクチャ番号変更ユニットＰＮｃｈｇは、参照画像メモリＭｅｍに保存されている画像のピクチャ番号ＰＮを読み出し、読み出されたピクチャ番号ＰＮの値を変更した後、そのピクチャ番号Ｍｅｍを参照画像メモリＭｅｍに書き込む。
【００６２】
可変長復号化ユニットＶＬＤで得られた画像データは、画像復号化ユニットＰｉｃＤｅｃにおいて、ピクチャタイプ情報ＰｉｃＴｙｐｅで示されるピクチャタイプに応じた復号化方法で復号化される。すなわち、Ｉピクチャは参照画像メモリＭｅｍの画像を参照しないで復号化され、ＰピクチャおよびＢピクチャは参照画像メモリＭｅｍに保存されている画像を参照して復号化される。このようにして得られた復号画像は参照画像メモリＭｅｍ内に保存されると共に、復号画像信号Ｖｏｕｔとして出力される。
【００６３】
以上のようにして、実施の形態１、実施の形態２および実施の形態３を実現する画像復号化装置が実現できる。
【００６４】
（実施の形態６）
実施の形態１から実施の形態５に記載した画像符号化装置では、Ｓピクチャでストリームを切換える際、切換可能なピクチャのピクチャ番号と連続するように、切換可能なピクチャの前のピクチャのピクチャ番号を切換えるようになっていた。本実施の形態では、切換可能なピクチャにおいてピクチャ番号を切換える。
【００６５】
ストリームの切換えの例としては、同一画像を異なるピクチャレートや異なるビットレート、異なるピクチャ構造を有する複数のストリームの符号化に関し、符号化を進めているピクチャが属するストリームから、その他のストリームに属するピクチャに切換えて符号化を進める処理である。以下は、説明の便宜上、単にストリームの切換えと言う。
【００６６】
また、更に、本実施の形態においては、符号化対象のピクチャを参照メモリに保存するか否かは、各ストリームにおいて符号化対象のピクチャの符号化順序（ストリーム順）で前に隣接するピクチャ（以下、前のピクチャ）のピクチャ番号と符号化対象のピクチャ番号との変化の度合いにしたがって判断される。具体的には、符号化対象のピクチャのピクチャ番号が前のピクチャのピクチャ番号に対して「１」増加していれば、符号化対象のピクチャが参照メモリに保存されることを表している。一方、符号化対象のピクチャのピクチャ番号が前のピクチャのピクチャ番号に対して前のピクチャ番号と同じであれば、符号化対象のピクチャは参照メモリに保存されないことを表している。
【００６７】
以下、切換可能なピクチャにおいてピクチャ番号を切換える処理について、図面を参照しながら具体的に説明する。
図１０は、入力画像信号Ｖｉｎを符号化した場合のピクチャとピクチャ番号ＰＮとの対応の一例を示す図である。ストリーム１、ストリーム２、ストリーム３それぞれは、同一の画像信号をそれぞれ異なるピクチャレートで符号化したものである。図１０では、符号化される順にしたがってピクチャが、ストリーム毎に並んでいる。
【００６８】
ストリーム１においては、各ピクチャ間で「１」ずつ増加するようにピクチャ番号ＰＮが各ピクチャに割り当てられている。また、ストリーム２においては、ピクチャ間で「１」ずつ増加するようにピクチャ番号が割り当てられたピクチャと、前のピクチャと同じピクチャ番号が割り当てられたピクチャとがある。更に、ストリーム３においては、ストリーム１と同様に、各ピクチャ間で「１」ずつ増加するようにピクチャ番号ＰＮが各ピクチャに割り当てられている。
【００６９】
したがって、ストリーム１、３においては、ピクチャ番号が各ピクチャ間で「１」ずつ増加するので、符号化対象のピクチャが参照メモリに保存される。ストリーム２においては、ピクチャ間で「１」ずつ増加するようにピクチャ番号が割り当てられたピクチャは参照メモリに保存され、前のピクチャと同じピクチャ番号が割り当てられたピクチャは保存されない。
【００７０】
また、ストリーム１のピクチャ番号「０」のピクチャ、ストリーム２のピクチャ番号「０」のピクチャ及びストリーム３のピクチャ番号「０」のピクチャは、時刻ｔ０において対応している。以下同様に、ストリーム１のピクチャＦ１４、ストリーム２のピクチャＦ２２及びストリーム３のピクチャＦ３１は時刻ｔ１で、ストリーム１のピクチャＦ１８、ストリーム２のピクチャＦ２４及びストリーム３のピクチャＦ３２は時刻ｔ２で、ストリーム１のピクチャＦ１１２、ストリーム２のピクチャＦ２６及びストリーム３のピクチャＦ３３は時刻ｔ３で、ストリーム１のピクチャＦ１１７、ストリーム２のピクチャＦ２１５及びストリーム３のピクチャＦ３４は時刻ｔ４で対応している。なお、ピクチャＦ１１２、Ｆ２６、Ｆ３３は、実施の形態１、２におけるＳピクチャに該当する。
【００７１】
図１０において、ピクチャＢＰ１、ＢＰ２は、ストリームを切換える際に経由され、切換え元のピクチャと切換え先のピクチャとの間で、切換え先のピクチャが属するストリームにおいて切換え先のピクチャの前のピクチャと同じ時刻に対応させて符号化されるスイッチピクチャである。
【００７２】
例えば、ストリーム２のピクチャＦＯ２６（切換え元のピクチャ）からストリーム１のピクチャＦ１１３（切換え先のピクチャ）にストリームを切換える場合、ピクチャＦ２４とピクチャＦ１１３との間で時刻ｔ３のピクチャとしてスイッチピクチャＢＰ１を使う。この場合、切換えピクチャであるスイッチピクチャＢＰ１のピクチャ番号を、切換え先のピクチャＦ１１３のピクチャ番号「１３」と連続するように「１２」に変更する。
【００７３】
また、同様に、ストリーム３のピクチャＦ３２（切換え元のピクチャ）からストリーム２のピクチャＦ２１３（切換え先のピクチャ）にストリームを切換える場合、ピクチャＦ３２とピクチャＦ２１３との間で時刻ｔ３のピクチャとしてスイッチピクチャＢＰ２を使う。この場合、切換えピクチャであるスイッチピクチャＢＰ２のピクチャ番号を、切換え先のピクチャＦ２１３のピクチャ番号「１３」と連続するように変更する。
【００７４】
このように、切換え先のピクチャのピクチャ番号と連続するようにスイッチピクチャのピクチャ番号を割り当てることによって、ストリーム毎の流れにしたがって符号化する場合とストリームを切換えた場合とで切換え先のピクチャのピクチャ番号は同じ値になる。
【００７５】
次に、ストリームを切換える場合における、ピクチャ番号の割り当て処理の流れについて説明する。
図１１は、図１０のストリームの各ピクチャにピクチャ番号を付与して符号化する方法を示すフローチャートである。
【００７６】
ステップ１４０１では、符号化対象ピクチャがＳピクチャかどうか判定される。もし、符号化対象ピクチャがＳピクチャであれば、ステップ１４０２において、符号化対象ピクチャのピクチャ番号を初期値Ｍに変更する。もし、符号化対象ピクチャがＳピクチャでなければ、符号化対象ピクチャのピクチャ番号は変更されない。
【００７７】
ステップ１４０３では、符号化対象ピクチャがＳピクチャの次のピクチャかどうかが判定される。もし、符号化対象ピクチャがＳピクチャの次のピクチャであればＳピクチャがメモリに記憶されるかどうかの判断がステップ１４０４で行われる。もし、符号化対象ピクチャがＳピクチャの次のピクチャでないならば、符号化対象ピクチャがメモリに記憶されるかどうかがステップ１４０５で判断される。
【００７８】
ステップ１４０４においてＳピクチャがメモリに記憶されると判断されたときはステップ１４０６でピクチャ番号ＭがＭ＋１にインクリメントされ、インクリメントされたピクチャ番号が新たなピクチャ番号になる。
【００７９】
ステップ１４０４においてＳピクチャがメモリに記憶されないと判断されたときは、ステップ１４０７でピクチャ番号をＭ自身とする。（ピクチャ番号を変更しない。）ステップ１４０５においては、符号化対象ピクチャがメモリに記憶されるかどうかが判断される。符号化対象ピクチャがメモリに記憶されると判断されたときはステップ１４０８でピクチャ番号ＰＮがＰＮ＋１にインクリメントされ、インクリメントされたピクチャ番号が新たなピクチャ番号になる。
【００８０】
符号化対象ピクチャがメモリに記憶されないと判断されたときはピクチャ番号の変更は行われない。
ステップ１４０９では対象ピクチャが符号化される。ステップ１４１０では、すべての符号化対象ピクチャが符号化されたかどうかが判断される。すべての符号化対象ピクチャが符号化されていないときはステップ１４０１に戻り、すべての符号化対象ピクチャが符号化されているときは処理を終了する。
【００８１】
図１１に示す処理によって、スイッチピクチャ以降のピクチャにおいてピクチャ番号が連続した符号化データストリームを生成することができる。
また、このようにして生成された符号化信号Ｓｔｒは、実施の形態５の画像復号化装置における復号化装置にしたがって復号化すればよい。このようにして、本実施の形態における符号化信号を復号化する画像復号化装置が実現できる。
【００８２】
また、上記実施の形態１から実施の形態６までに示した符号化方法・復号化方法は、携帯電話やカーナビゲーションシステム等の移動体通信機器やデジタルビデオカメラやデジタルスチールカメラ等の撮影機器にＬＳＩ等の半導体によって実装することが可能である。また、実装形式としては、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りが考えられる。
【００８３】
（実施の形態７）
復号化対象ピクチャが参照するピクチャは、ピクチャ番号ＰＮによって明示される。またピクチャ番号ＰＮの増減によりピクチャ番号ＰＮのエラーの検出をすることができる。図１２は、例えば図８（ｂ）に示すピクチャデータにおいて、ピクチャ番号ＰＮをもとにピクチャ番号ＰＮのエラー検出・修正をする手順について示す。
【００８４】
まずＳｔｅｐ２０においてピクチャ番号ＰＮを検出する。次に、Ｓｔｅｐ２１においてピクチャタイプＰｉｃＴｙｐｅを検出する。そして、ＳｔｅｐＡ２において検出されたピクチャ番号ＰＮが連続しているかどうかを判断する。ＳｔｅｐＡ２においてピクチャ番号ＰＮが連続していればピクチャ番号ＰＮのエラー検出・修正処理を終了する。一方、ＳｔｅｐＡ２においてピクチャ番号ＰＮが連続していなければＳｔｅｐＡ３においてエラー修正を行う。なお、図４に示す最大保存済ＰＮ検出や、ＰＮ再割当といった処理は、このエラー検出・修正処理が終了してから実施してもよく、このエラー検出・修正処理と並列に実施してもよい。
【００８５】
ＳｔｅｐＡ３におけるエラー修正の処理に関する第１の方法として、エラーが生じたピクチャ番号ＰＮに関するデータの再送を要求し、再送を受けた後に再度ピクチャ番号ＰＮのエラー検出をする手順に従った処理を行うことが考えられる。しかし、Ｓピクチャでピクチャ番号ＰＮの不連続は伝送エラーで生じた訳ではない。つまり、Ｓピクチャでのピクチャ番号ＰＮの不連続はストリーム毎にＳピクチャより前にメモリ上に記憶されるピクチャ数が異なる可能性を有しているため、ピクチャ番号ＰＮに関するデータの再送を要求しても対応するピクチャが存在しない可能性があり、不連続なピクチャに対応するピクチャは再送できない可能性が大いにある。従って、再送されないピクチャを再送されるまで要求しつづけるため、画像の再生ができなくなる恐れがある。この理由により画像の再生がうまくできない例に対する解決手段については、以下の実施の形態１０で詳しく説明する。
【００８６】
また、ストリームを切り替えた時点で、切り替え先のストリームに対応するメモリ内のピクチャ数が、切り替えを行わない場合のストリームに対応するメモリ内のピクチャ数と完全に一致していなければ画像の再生が正しく行えない可能性がある。
【００８７】
まずメモリは、図１３に示すように先入先出メモリである短時間保存メモリと前記短時間保存メモリよりもピクチャを長時間保存するために先入先出では無く直接記憶場所の指定をして記録する長時間保存メモリとを有する。短時間保存メモリが７ピクチャ分保存できる大きさで、長時間保存メモリが４ピクチャ分保存できる場合、参照するピクチャは、メモリに入っているピクチャのうち、短時間保存メモリの方から数えて何番目に入っているピクチャかどうかで指定する。例えば長時間保存メモリにあるｕｓｅｄＬＴ２は８番目に入っているピクチャ（Ｉｄｘ＝７）ということができる。このように相対的な位置関係で参照ピクチャは指定される。
【００８８】
また図５に示すようにストリームが３つある場合、図３０に示すように同一のピクチャ（例えば図５に示すＳピクチャ）を指定するためのメモリ上の位置はそれぞれのストリームによって異なる。そして、Ｓピクチャにより別のストリームのピクチャを参照することになると、参照ピクチャを指定するためのメモリ上の位置はストリーム毎のメモリによって異なる。なお、Ｓピクチャとは複数のストリームがあり、所定のストリームから別のストリームに移動するときに、移動前のストリームのＳピクチャより前にあるピクチャを参照して予測符号化されるピクチャと、移動先のストリームのＳピクチャより前にあるピクチャを参照して予測符号化されるピクチャとが同一の画像となるピクチャである。（図１０）。
【００８９】
なお、Ｓピクチャでなく、Ｉピクチャの場合でも参照メモリ内で複数のストリームで復号化した画像が完全に一致する場合は、ストリームを切り換えることができるため、ＩピクチャをＳピクチャと同じ用途（ストリーム切替）で用いることができる。
【００９０】
このように様々な条件を加味すると、メモリ内のピクチャ数が一致しない場合に、参照するピクチャを正確に指定することは難しく、参照するピクチャを指定したとしてもエラーが起きる可能性が大きい。
【００９１】
そこで、本実施の形態では、ピクチャ番号ＰＮの不連続や、メモリ内容の不一致等の問題によってピクチャ番号ＰＮのエラー検出処理が終わらなくなることを避けるために用いる付加情報の符号化方法と復号化方法について説明する。この付加情報（全ピクチャ削除情報）とは、画面内符号化を行うＩピクチャや上記Ｓピクチャを符号化した後のピクチャの符号化処理でエラーが生じないように、符号化対象のＩピクチャやＳピクチャ以外のピクチャを、符号化もしくは復号化で参照するためのメモリから全て削除することを示す命令のことである。
【００９２】
これにより、所定のストリームから別のストリームへ移動した後に、複数のストリームそれぞれのメモリ状態が同一になるため、画面間予測符号化等で参照ピクチャを必要とする場合でも、所定のピクチャをメモリ上で正確に指定することができる。また、所定のストリームから別のストリームへ移動するときに、ピクチャ番号が連続しないことをエラーとして修正しないようにすることにより、実際には存在しない画像の再送を要求することによって復号化できなくなる不都合も解消できる。
【００９３】
以下、符号化方法について図１４（ａ）を用いて説明する。図１４（ａ）は本実施の形態における符号化信号の作成手順を示す。
まずＳｔｅｐ２０においてピクチャ番号ＰＮを検出する。次に、Ｓｔｅｐ２１においてピクチャタイプＰｉｃＴｙｐｅを検出する。そしてＳｔｅｐＡ１において、検出されたピクチャタイプがＩピクチャであるかどうかを判断する。検出されたピクチャタイプがＩピクチャであれば、ＳｔｅｐＡ１０において符号化対象のＩピクチャ以外でメモリ上にある全てのピクチャを削除する。続いてＳｔｅｐＡ１１においてメモリ上にある全てのピクチャを削除することを意味する全ピクチャ削除情報を符号化し、付加情報の符号化手順を終了する。
【００９４】
なお、図１４（ｂ）に示すように、図１４（ａ）のＳｔｅｐＡ１をピクチャタイプがＳピクチャであるかどうかを判断するステップとしても同様の符号化処理が可能である。また、ＳｔｅｐＡ１とＳｔｅｐＡ２とを合わせて、ＩピクチャであるかまたはＳピクチャであるかの判断をＳｔｅｐ２１におけるピクチャタイプの検出の後に行ってもよい。
【００９５】
また、図１５（ａ）に示すように、Ｓｔｅｐ２１におけるピクチャタイプの検出をして、ＳｔｅｐＡ１で符号化対象ピクチャがＩピクチャである場合、ＳｔｅｐＡ３のようにピクチャ番号ＰＮが連続しているかどうかを判断して、ピクチャ番号ＰＮが連続していない場合に、符号化対象のＩピクチャ以外でメモリ上にある全てのピクチャを削除するようにしてもよい。一方、ＳｔｅｐＡ３においてピクチャ番号ＰＮが連続していれば、メモリ上のピクチャを削除しない。ピクチャタイプとしてＳピクチャを検出する場合も、図１５（ａ）と同様の説明が成り立つ。また、ＳｔｅｐＡ１とＳｔｅｐＡ２とを合わせて、ＩピクチャであるかまたはＳピクチャであるかの判断をＳｔｅｐ２１におけるピクチャタイプの検出の後に行ってもよい。
【００９６】
なお、図１５（ａ）に示すＳｔｅｐＡ３の処理の後に図１５（ｂ）に示すように、メモリ上に記憶されているピクチャ数が同じかどうかを判断するＳｔｅｐＡ３０の処理をし、ピクチャ番号が連続していてもメモリ上に記憶されているピクチャ数が異なりエラーが生じることを防ぐようにしてもよい。また、図１５（ｂ）におけるＳｔｅｐＡ３の処理をする前にＳｔｅｐＡ３０の処理をして、ピクチャ数がストリーム間で同数でなければＳｔｅｐＡ１０の全ピクチャ削除の処理をし、ピクチャ数がストリーム間で同数であり、かつ、ピクチャ番号が連続でなければＳｔｅｐＡ１０の全ピクチャ削除の処理をするようにしてもよい（図１６）。
・ このように、図１５に示すような手順により、参照画像になる可能性のあるピクチャを可能な限りメモリ上に残し、エラーを低減しつつ画像の再現性を高めることができる。また、ＩピクチャまたはＳピクチャにおいてメモリ上に記憶されているピクチャ数が異なったり、ピクチャ番号が連続していなかったりするときに、エラー修正処理を必要としないため、符号化装置におけるメモリ管理を簡略化できる。
【００９７】
更に、Ｉピクチャであることとメモリ上にある全てのピクチャを削除することは、特別なＩピクチャであることを示すピクチャタイプによって示してもよい。
【００９８】
（実施の形態８）
図１７は本発明の画像符号化装置の構成を示すブロック図である。図１７に示す本発明の画像符号化装置のブロック図は、図１４の画像符号化方法を実現する一例である。
【００９９】
ピクチャ番号生成ユニットＰＮＧｅｎはピクチャ番号ＰＮを生成する。ピクチャ番号ＰＮは参照画像メモリＭｅｍに記憶されている画像を区別する識別子であり、参照画像メモリＭｅｍに記憶されている異なる画像には異なるピクチャ番号ＰＮが付与される。通常は、参照画像メモリＭｅｍに画像を保存する都度ピクチャ番号ＰＮを「１」増加し、画像復号化装置で受信したピクチャ番号ＰＮが「２」以上増加した場合には伝送路誤りで保存すべき画像が欠落したことを画像復号化装置で検出しエラー修整（エラーを目立たなくすること）もしくはエラー修正（再送によりエラーの無いピクチャを再生すること）等のエラー修復処理を施すことが可能になっている。
【０１００】
画像除去ユニットＰｉｃＤｅｌ３は、ピクチャタイプ情報ＰｉｃＴｙｐｅがＳピクチャであることを示す場合（図１４のＳｔｅｐＡ２の処理に対応）には、符号化対象ピクチャ以外の参照画像メモリＭｅｍに保存されている画像を消去する指令を参照画像メモリＭｅｍに通知し、同時に可変長符号化ユニットＶＬＣにもその情報を通知する。
【０１０１】
または、画像除去ユニットＰｉｃＤｅｌ３は、ピクチャタイプ情報ＰｉｃＴｙｐｅがＩピクチャであることを示す場合（図１４のＳｔｅｐＡ１の処理に対応）には、符号化対象ピクチャ以外の参照画像メモリＭｅｍに保存されている画像を消去する指令を参照画像メモリＭｅｍに通知し、同時に可変長符号化ユニットＶＬＣにもその情報を通知する。
【０１０２】
画像符号化ユニットＰｉｃＥｎｃは参照画像メモリＭｅｍに保存されている画像を参照してピクチャタイプ情報ＰｉｃＴｙｐｅで示すピクチャタイプとして入力画像信号Ｖｉｎを周波数変換・量子化等を伴う符号化し、その結果を画像復号化ユニットＰｉｃＤｅｃや可変長符号化ユニットＶＬＣに送信する。
【０１０３】
画像復号化ユニットＰｉｃＤｅｃは画像符号化ユニットＰｉｃＥｎｃで符号化した結果をピクチャタイプ情報ＰｉｃＴｙｐｅで示すピクチャタイプとして逆量子化・逆周波数変換し、後続の画像の符号化で参照するためにピクチャ番号ＰＮとして参照画像メモリＭｅｍに保存する。
【０１０４】
可変長符号化ユニットＶＬＣは、画像符号化ユニットＰｉｃＥｎｃで符号化した結果を可変長符号化してビット列にすると共に、復号化で必要な情報である、画像除去ユニットＰｉｃＤｅｌ３から通知された参照画像メモリＭｅｍに保存されている画像を消去するための情報、ピクチャ番号ＰＮ、ピクチャタイプ情報ＰｉｃＴｙｐｅを符号化し、符号化信号Ｓｔｒとして出力する。
【０１０５】
図８（ｃ）（ｄ）に本発明の符号化信号Ｓｔｒの構成例を示す。以下各データについて説明する。
最初にピクチャ番号ＰＮが符号化される。次に、参照画像メモリＭｅｍに保存されている画像を消去するための情報、続いてピクチャタイプ情報ＰｉｃＴｙｐｅや画像符号化ユニットＰｉｃＥｎｃの出力である画像符号化データが配置される。
【０１０６】
なお、図８（ｃ）は単にデータ配置の一例であり、図８（ｄ）のようにデータの順番を入れ替えて実現することも可能である。
以上の構成により、図１４に示す画像符号化方法を実現する画像符号化装置を実現できる。また、エラー耐性の高い符号化装置を提供することができる。
【０１０７】
（実施の形態９）
図１８は本発明の画像符号化装置の構成を示すブロック図である。図１８の本発明の画像符号化装置のブロック図は、図１５の画像符号化方法を実現する一例を示す。なお、以下の説明において図１７と同一のユニットに関する説明は省略する。
【０１０８】
図１８が図１７と異なる点は画像除去ユニットＰｉｃＤｅｌ４における処理である。具体的には、画像除去ユニットＰｉｃＤｅｌ４は、ピクチャタイプ情報ＰｉｃＴｙｐｅがＳピクチャであることを示す場合（図１５のＳｔｅｐＡ２の処理に対応）で、メモリ内のピクチャ数を比較して同一でない場合（図１５のＳｔｅｐＡ３０の処理に対応）には、符号化対象ピクチャ以外の参照画像メモリＭｅｍに保存されている画像を消去する指令を参照画像メモリＭｅｍに通知し、同時に可変長符号化ユニットＶＬＣにもその情報を通知する。なお、ピクチャタイプ情報ＰｉｃＴｙｐｅがＩピクチャであるときも同様である。また、本発明の符号化信号は図８（ｃ）（ｄ）と同様の構成である。
【０１０９】
以上の構成により、図１５に示す画像符号化方法を実現する画像符号化装置を実現できる。また、エラー耐性の高い符号化装置を提供することができる。
【０１１０】
（実施の形態１０）
上記実施の形態７において、Ｓピクチャでピクチャ番号ＰＮの不連続が生じたとき、再送されないピクチャを再送されるまで要求しつづけるため、画像の再生ができなくなる恐れがあることを示した。以下、この理由により画像の再生がうまくできない例に対する解決方法について説明する。
【０１１１】
図１９（ａ）は符号化信号を復号化する手順を示す。
まずＳｔｅｐ２０においてピクチャ番号ＰＮを検出する。次に、Ｓｔｅｐ２１においてピクチャタイプＰｉｃＴｙｐｅを検出する。そしてＳｔｅｐＡ１において、検出されたピクチャタイプがＩピクチャであるかどうかを判断する。検出されたピクチャタイプがＩピクチャでなければ、ＳｔｅｐＡ３においてピクチャ番号ＰＮが連続しているかどうかを判断する。一方、検出されたピクチャタイプがＩピクチャであれば、エラー検出・修正処理をせずに、一連の処理を終了する。
【０１１２】
ＳｔｅｐＡ３においてピクチャ番号ＰＮが連続していなければ、ＳｔｅｐＡ４においてエラー修正がなされる。一方、ＳｔｅｐＡ３においてピクチャ番号ＰＮが連続していれば、エラー検出処理を終了する。
【０１１３】
ＳｔｅｐＡ４におけるエラー修正とは、例えば、上記実施例で述べた最大保存済ＰＮ検出や、ＰＮ再割当といった処理であっても、メモリ上にある全てのピクチャを削除することを意味する全ピクチャ削除情報を受けて、メモリ上にある全てのピクチャを削除する処理でもよい。
【０１１４】
なお、図１９（ｂ）に示すように、図１９（ａ）のＳｔｅｐＡ１をピクチャタイプがＳピクチャであるかどうかを判断するステップとしても同様の符号化処理が可能である。また、ＳｔｅｐＡ１とＳｔｅｐＡ２とを合わせて、ＩピクチャであるかまたはＳピクチャであるかの判断をＳｔｅｐ２１におけるピクチャタイプの検出の後に行ってもよい。
【０１１５】
以上のように、ＩピクチャまたはＳピクチャにおいてピクチャ番号が連続していないときに、エラー修正のために再送要求を繰り返して復号化できなくなることを防止することができる。なお、このＩピクチャにおける処理は、ストリームを切り替えることができるような特別なＩピクチャの場合に特に有効である。
【０１１６】
（実施の形態１１）
図２０は本発明の画像復号化装置の構成を示すブロック図である。図２０の本発明の画像復号化装置のブロック図は、図１９の画像復号化方法を実現する一例を示す。なお、以下の説明において図９と同一のユニットに関する説明は省略する。
【０１１７】
図２０が図９と異なる点はＰＮ連続判定ユニットＰＮｃｈｋとピクチャタイプＰｉｃＴｙｐｅとによるエラー検出ユニットＥｒｒＣｈｋにおける処理である。具体的には、ＰＮ連続判定ユニットＰＮｃｈｋに入力されるピクチャ番号ＰＮが連続していなく、ピクチャタイプＰｉｃＴｙｐｅがＩピクチャまたはＳピクチャでなければ、エラー検出ユニットＥｒｒＣｈｋからエラー修正命令Ｅｒｒが出力される。エラー修正命令Ｅｒｒがあれば、例えば、最大保存済ＰＮ検出や、ＰＮ再割当といった処理、あるいは、メモリ上にある全てのピクチャを削除することを意味する全ピクチャ削除情報を受けて、メモリ上にある全てのピクチャを削除する処理をする。
【０１１８】
以上の構成により、図１９に示す画像復号化方法を実現する画像復号化装置を実現できる。また、エラー耐性の高い復号化装置を提供することができる。
【０１１９】
（実施の形態１２）
本実施の形態では、ピクチャ番号ＰＮの不連続や、メモリ内容の不一致等の問題によってピクチャ番号ＰＮのエラー検出処理が終わらなくなることを避けることができる別の方法について説明する。本実施の形態が実施の形態７と異なる点は、実施の形態７における符号化の処理において全ピクチャを削除するステップがあったが、全ピクチャを削除するときにはさらにピクチャ番号を「０」から再割り当てすることである。
【０１２０】
これにより、所定のストリームから別のストリームへ移動した後に、複数のストリームそれぞれのメモリ状態が同一になり、さらにピクチャ番号が初期化されるため、画面間予測符号化等で参照ピクチャを必要とする場合でも、所定のピクチャをメモリ上で正確に指定することができる。また、復号化対象となる符号化ストリームを所定のストリームから別のストリームへ移動する（切替える）ときに、ピクチャ番号が連続しないことをエラーとして修正しないようにすることにより、復号化できなくなる不都合も解消することができる。
【０１２１】
すでに説明したように、動画像を符号化して得られる符号化ストリームにおいては、ストリーム内の各ピクチャに対し、表示時刻の順に連続するピクチャ番号ＰＮが付与される。ピクチャ番号ＰＮが、各ピクチャの表示時刻の順に連続するよう付与される理由は、画像復号化装置が伝送路を介して符号化ストリームを受信する場合などにおいて、符号化ストリーム中のピクチャが伝送エラーなどによって欠落したことを検出することができるからである。このような画像復号化装置は、受信した符号化ストリームを復号化中に、表示時刻の順に入力されるピクチャ間のピクチャ番号ＰＮが２以上増加した場合、先のピクチャを受信してから後のピクチャを受信するまでの間に伝送エラーがあったことを検出し、送信側に、欠落したピクチャの再送を要求することができる。したがって、画像復号化装置が１つの符号化ストリームを継続して復号化している限り、このようにして有効に伝送エラーを検出し、欠落したピクチャの再送を受けて、完全な符号化ストリームを復号化することができる。
【０１２２】
しかし、同一の動画像を異なるピクチャレートで符号化して得られる複数の符号化ストリームを入力とし、１つの符号化ストリームを復号化中に、ピクチャレートの異なる他の符号化ストリームに切り替えて以降の復号化を継続する画像復号化装置では、このようなエラー検出が逆に、ピクチャ番号ＰＮのエラー検出処理が終わらなくなるという不具合の原因となる。これは、個々の符号化ストリーム内で各ピクチャのピクチャ番号ＰＮが表示時刻の順に連続するだけで、ピクチャレートの異なる符号化ストリーム間では、同一時刻に表示されるべきピクチャであっても、先頭ピクチャ以外、ピクチャ番号ＰＮが一致しないことに起因する。したがって、画像復号化装置において、１つの符号化ストリームの復号化途中で、復号化対象を別の符号化ストリームに切替えるとき、同一時刻に表示されるピクチャであってもピクチャ番号ＰＮが不連続になる。このように、ピクチャ番号ＰＮの不連続や、メモリ内容の不一致等の問題によってピクチャ番号ＰＮのエラー検出処理が終わらなくなることを避けるために、実施の形態７において付加情報（全ピクチャ削除情報）を用いる符号化方法について説明した。この付加情報とは、画面内符号化を行うＩピクチャや上記Ｓピクチャを符号化した後のピクチャの符号化処理で、ストリーム切替え時のエラーが生じないように、符号化対象以外のピクチャを、符号化もしくは復号化で参照するためのメモリから全て削除することを示す命令のことである。
【０１２３】
以下、符号化方法について図２１を用いて説明する。図２１（ａ）は本実施の形態における符号化信号の作成手順を示す。
まずＳｔｅｐ０１においてピクチャ番号ＰＮを検出する。次に、Ｓｔｅｐ０２においてＳｔｅｐ０１で検出されたピクチャ番号ＰＮを符号化する。そして、Ｓｔｅｐ０３においてピクチャタイプＰｉｃＴｙｐｅを検出する。Ｓｔｅｐ０３において、検出されたピクチャタイプがＳピクチャであるかどうかを判断する。
【０１２４】
検出されたピクチャタイプがＳピクチャであれば、Ｓｔｅｐ０５においてメモリ上にある全てのピクチャを削除することを意味する全ピクチャ削除情報を符号化する。次にＳｔｅｐ０６ＡにおいてＳピクチャを符号化する。そしてＳｔｅｐ０７においてピクチャ番号を初期化し、続いてＳｔｅｐ０８において符号化対象のＳピクチャ以外でメモリ上にある全てのピクチャを削除する。以上で、付加情報の符号化およびピクチャ番号ＰＮの初期化処理を終了する。
【０１２５】
検出されたピクチャタイプがＳピクチャでなければ、ピクチャ番号は連続するため、Ｓｔｅｐ０６Ｂにおいてそのピクチャを符号化するが、付加情報の符号化およびピクチャ番号ＰＮの初期化処理、全ピクチャの削除を行わないで処理を終了する。
【０１２６】
Ｓｔｅｐ０７におけるピクチャ番号ＰＮの初期化とは、例えば、符号化処理が済んだＳピクチャにピクチャ番号０を付与することである。つまり、Ｓピクチャにおいてピクチャ番号を初期化することにより、表示時間の順番でＳピクチャに後続するピクチャに対して、Ｓピクチャ（ＰＮ＝０）から始まる番号（例えば、ＰＮ＝１）を付与することになることを意味する。その結果、ピクチャ番号ＰＮの初期化はＳピクチャを符号化（すなわちＳピクチャのピクチャ番号を符号化した後）した後に行われることになる。
【０１２７】
なお、Ｓｔｅｐ０４においてＳピクチャであるかどうかの判断を行ったが、Ｉピクチャであるかどうかの判断をしてもよい。また、図２１（ａ）では全ピクチャを削除するステップがある場合には併せてピクチャ番号を初期化するとよく、ピクチャ番号の初期化処理をする判断はＩピクチャまたはＳピクチャであるか否かに限られるものではない。また、Ｓｔｅｐ０２におけるピクチャ番号ＰＮの符号化の処理はＳｔｅｐ０１のピクチャ番号検出の処理より後の処理で、Ｓｔｅｐ０７におけるピクチャ番号ＰＮの初期化の処理より前であればいずれの時点において行ってもよい。また、Ｓｔｅｐ０８における符号化対象のＳピクチャ以外でメモリ上にある全てのピクチャを削除する処理の後にＳｔｅｐ０７におけるピクチャ番号ＰＮの初期化の処理をしてもよい。また、Ｓｔｅｐ０５におけるメモリ上にある全てのピクチャを削除することを意味する全ピクチャ削除情報を符号化する処理はＳｔｅｐ０４におけるＳピクチャであるかどうかの判断の後の処理で、図２１（ａ）に示す処理が終了する前であればいつでもよい。また、符号化対象のピクチャ以外を、符号化もしくは復号化で参照するためのメモリから全て削除することを意味する付加情報がピクチャタイプＰｉｃＴｙｐｅに含まれるような特別なピクチャタイプＰｉｃＴｙｐｅを用いることで、付加情報を符号化しないことも可能である。更に、ＳピクチャもしくはＩピクチャで切り替えるためにピクチャ番号ＰＮを付け替えることが効果的であるが、必ずしもＳピクチャやＩピクチャのみで有効な訳ではなく、ストリームを切替ることができればＰピクチャ等でも全ピクチャを削除するステップがあればピクチャ番号ＰＮに対して同様の処理をしてもよい。
【０１２８】
図２２は、本実施の形態１２の符号化方法を実現する画像符号化装置の構成を示すブロック図である。
ピクチャ番号生成ユニットＰＮＧｅｎはピクチャ番号ＰＮを生成する。ピクチャ番号ＰＮは参照画像メモリＭｅｍに記憶されている画像を区別する識別子であり、参照画像メモリＭｅｍに記憶されている異なる画像には異なるピクチャ番号ＰＮが付与される。通常は、参照画像メモリＭｅｍに画像を保存する都度ピクチャ番号ＰＮを「１」増加する。また、画像符号化ユニットＰｉｃＥｎｃからの通知に従って、Ｓピクチャの符号化後、当該Ｓピクチャのピクチャ番号ＰＮを「０」に初期化する。
【０１２９】
画像除去ユニットＰｉｃＤｅｌ５は、ピクチャタイプ情報ＰｉｃＴｙｐｅがＳピクチャであることを示す場合（図２１のＳｔｅｐ０３の処理に対応）には、符号化対象ピクチャ以外の参照画像メモリＭｅｍに保存されている画像を消去する指令（全ピクチャ削除情報）を参照画像メモリＭｅｍに通知し、同時に可変長符号化ユニットＶＬＣにもその情報を通知する。
【０１３０】
画像符号化ユニットＰｉｃＥｎｃは、参照画像メモリＭｅｍに保存されている画像を参照してピクチャタイプ情報ＰｉｃＴｙｐｅで示されるピクチャタイプとして入力画像信号Ｖｉｎを周波数変換・量子化等を伴う符号化し、その結果を画像復号化ユニットＰｉｃＤｅｃおよび可変長符号化ユニットＶＬＣに送信する。また、画像符号化ユニットＰｉｃＥｎｃは、Ｓピクチャを符号化した後、ピクチャ番号生成ユニットＰＮＧｅｎ２にピクチャ番号ＰＮの初期化指示を通知する。
【０１３１】
画像復号化ユニットＰｉｃＤｅｃは画像符号化ユニットＰｉｃＥｎｃで符号化した結果をピクチャタイプ情報ＰｉｃＴｙｐｅで示されるピクチャタイプとして逆量子化・逆周波数変換し、後続の画像の符号化で参照するためにピクチャ番号ＰＮに対応付けて参照画像メモリＭｅｍに保存する。
【０１３２】
可変長符号化ユニットＶＬＣは、画像符号化ユニットＰｉｃＥｎｃで符号化した結果を可変長符号化してビット列にすると共に、復号化で必要な情報である、画像除去ユニットＰｉｃＤｅｌ５から通知された参照画像メモリＭｅｍに保存されている画像を消去するための情報（全ピクチャ削除情報）、ピクチャ番号ＰＮ、ピクチャタイプ情報ＰｉｃＴｙｐｅを符号化し、符号化信号Ｓｔｒとして出力する。
【０１３３】
次に、復号化方法について図２１（ｂ）を用いて説明する。図２１（ｂ）は符号化信号の復号化手順を示す。
まずＳｔｅｐ０９においてピクチャ番号ＰＮを復号化する。次に、Ｓｔｅｐ０１０において全ピクチャ削除情報が符号化されているかどうかを判断する。
【０１３４】
Ｓｔｅｐ０１０において全ピクチャ削除情報が符号化されていると判断された場合、Ｓｔｅｐ０１１において全ピクチャ削除情報を復号化する。そしてＳｔｅｐ０１２Ａにおいてピクチャを復号化する。さらに、Ｓｔｅｐ０１３において復号化対象のピクチャ以外でメモリ上にある全てのピクチャを削除し、続いて、Ｓｔｅｐ０１４においてピクチャ番号ＰＮを初期化する。以上で、付加情報の復号化およびピクチャ番号ＰＮの初期化処理を終了する。
【０１３５】
Ｓｔｅｐ０１０において全ピクチャ削除情報が符号化されていないと判断された場合、Ｓｔｅｐ０１２Ｂにおいてピクチャを復号化し、付加情報の復号化およびピクチャ番号ＰＮの初期化処理を終了する。
【０１３６】
Ｓｔｅｐ０１４におけるピクチャ番号ＰＮの初期化とは、例えば、復号化処理が済んだピクチャにピクチャ番号「０」を付与することである。つまり、図２１（ａ）に示した符号化手順で符号化された符号化信号を復号化する場合は、Ｓピクチャにおいてピクチャ番号を初期化することにより、表示時間の順番でＳピクチャに後続するピクチャに対して、Ｓピクチャから始まる番号を付与することになることを意味する。
【０１３７】
なお、図２１（ｂ）では全ピクチャを削除するステップがある場合にはピクチャ番号を初期化する処理をすればよく、その処理をするかどうかの判断は、復号化するピクチャのタイプとは関係はない。また、Ｓｔｅｐ０１４におけるピクチャ番号ＰＮの初期化の処理はＳｔｅｐ０１３における符号化対象のピクチャ以外でメモリ上にある全てのピクチャを削除する処理の前の処理であってもよい。また、復号化対象のピクチャ以外を、復号化で参照するためのメモリから全て削除することを意味する付加情報がピクチャタイプＰｉｃＴｙｐｅに含まれるような特別なピクチャタイプＰｉｃＴｙｐｅを用いることで、付加情報を符号化しないことも可能である。
【０１３８】
図２３は、本実施の形態１２の復号化方法を実現する画像復号化装置の構成を示すブロック図である。
可変長復号化ユニットＶＬＤは符号化信号Ｓｔｒを復号化し、様々な情報（参照画像メモリＭｅｍに保存されている画像を消去する指令、ピクチャタイプ情報ＰｉｃＴｙｐｅ、ピクチャ番号ＰＮ、ピクチャ番号ＰＮを付け替える情報および画像データなど）を出力する。
【０１３９】
まず、可変長復号化ユニットＶＬＤで得られた参照画像メモリＭｅｍに保存されている画像を消去する指令（全ピクチャ削除情報）は、画像除去ユニットＰｉｃＤｅｌ６に通知され、画像除去ユニットＰｉｃＤｅｌ６は、参照画像メモリＭｅｍに保存されている指令された画像を消去する。
【０１４０】
可変長復号化ユニットＶＬＤで得られたピクチャタイプ情報ＰｉｃＴｙｐｅは、画像復号化ユニットＰｉｃＤｅｃに通知され復号化方法を指示する。
可変長復号化ユニットＶＬＤで得られたピクチャ番号ＰＮは、参照画像メモリＭｅｍに通知され、画像復号化ユニットＰｉｃＤｅｃで復号化された画像を格納する際のピクチャ番号ＰＮとする。
【０１４１】
可変長復号化ユニットＶＬＤで得られた全ピクチャ削除情報は、ピクチャ番号変更ユニットＰＮｃｈｇ２に通知され、ピクチャ番号変更ユニットＰＮｃｈｇ２はその指示に従い参照画像メモリＭｅｍ内に保存されている画像のピクチャ番号ＰＮを付け替える（初期化する）。より具体的には、ピクチャ番号変更ユニットＰＮｃｈｇ２は、参照画像メモリＭｅｍ内の復号化対象ピクチャ（Ｓピクチャ）以外の画像が全て削除された後、参照画像メモリＭｅｍに保存されている画像のピクチャ番号ＰＮを読み出し、読み出されたピクチャ番号ＰＮの値を「０」に変更した後、そのピクチャ番号Ｍｅｍを参照画像メモリＭｅｍに書き込む。
【０１４２】
可変長復号化ユニットＶＬＤで得られた画像データは、画像復号化ユニットＰｉｃＤｅｃにおいて、ピクチャタイプ情報ＰｉｃＴｙｐｅで示されるピクチャタイプに応じた復号化方法で復号化される。すなわち、Ｉピクチャは参照画像メモリＭｅｍの画像を参照しないで復号化され、ＰピクチャおよびＢピクチャは参照画像メモリＭｅｍに保存されている画像を参照して復号化される。このようにして得られた復号画像は参照画像メモリＭｅｍ内に保存されると共に、復号画像信号Ｖｏｕｔとして出力される。
【０１４３】
以上の構成により、図２１に示す画像復号化方法を実現する画像復号化装置を実現できる。また、エラー耐性の高い復号化装置を提供することができる。
このように本実施の形態に示す符号化方法、復号化方法によって、所定のストリームから別のストリームへ移動した後に、複数のストリームそれぞれのメモリ状態が同一になるため、画面間予測符号化等で参照ピクチャを必要とする場合でも、所定のピクチャをメモリ上で正確に指定することができる。
【０１４４】
なお、上記実施の形態においては、付加情報（全ピクチャ削除情報）をピクチャＰｉｃＴｙｐｅとまとめて符号化してもよいと説明したが、Ｉピクチャでは参照メモリの全ピクチャを削除することにより、そのＩピクチャからストリームを再生できる特別なピクチャにすることができる。これをＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）ピクチャと呼ぶ。ＩＤＲピクチャはランダム・アクセスの再生開始位置となることからＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）の先頭のＩピクチャとして有効である。このＩＤＲピクチャを符号化するときには毎回、メモリ内の当該ピクチャ以外のピクチャをすべて削除し、かつ、当該ピクチャの符号化後にピクチャ番号を初期化すると定めておけば、画像符号化装置においてメモリ内の当該ピクチャ以外の全ピクチャを削除した場合でも付加情報を符号化しなくてもよい。この場合、画像復号化装置においては、符号化ストリーム内のＩＤＲピクチャをピクチャタイプから検出し、ＩＤＲピクチャを復号化する場合には、付加情報が符号化されなくても、その都度、メモリ内の当該ＩＤＲピクチャ以外のピクチャをすべて削除し、かつ、当該ピクチャの符号化・復号化後にピクチャ番号を初期化する。
【０１４５】
（実施の形態１３）
さらに、上記各実施の形態で示した画像符号化方法および画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１４６】
図２４は、上記実施の形態１から実施の形態１２の画像符号化方法および画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図である。
【０１４７】
図２４（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図２４（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての画像符号化方法および画像復号化方法が記録されている。
【０１４８】
また、図２４（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての画像符号化方法および画像復号化方法をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記画像符号化方法および画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【０１４９】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＣＤ−ＲＯＭ、メモリカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１５０】
さらにここで、上記実施の形態で示した画像符号化方法や画像復号化方法の応用例とそれを用いたシステムを説明する。
図２５は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【０１５１】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【０１５２】
しかし、コンテンツ供給システムｅｘ１００は図２５のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
【０１５３】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【０１５４】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【０１５５】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【０１５６】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
【０１５７】
図２６は、上記実施の形態で説明した画像符号化方法と画像復号化方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【０１５８】
さらに、携帯電話ｅｘ１１５について図２７を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
【０１５９】
電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【０１６０】
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声データに変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【０１６１】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【０１６２】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【０１６３】
画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【０１６４】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【０１６５】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
【０１６６】
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【０１６７】
次に、画像復号化部ｅｘ３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０１６８】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２８に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報のビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録したビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【０１６９】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【０１７０】
なお、カーナビゲーションｅｘ４１３の構成は例えば図２７に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。
【０１７１】
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【０１７２】
このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【０１７３】
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
本発明に係る画像符号化装置は、通信機能を備えるパーソナルコンピュータ、ＰＤＡ、デジタル放送の放送局および携帯電話機などに備えられる画像符号化装置として有用である。
【０１７４】
また、本発明に係る画像復号化装置は、通信機能を備えるパーソナルコンピュータ、ＰＤＡ、デジタル放送を受信するＳＴＢおよび携帯電話機などに備えられる画像復号化装置として有用である。
【０１７５】
【発明の効果】
以上の様に、本発明にかかる画像符号化方法および画像復号化方法によれば、Ｓピクチャの仕組みと参照画像メモリＭｅｍ内から参照ピクチャを選択する符号化方法とを組み合わせて使用できるようにし、Ｓピクチャを用いた場合でも前記符号化方法における圧縮率を向上することができる画像符号化方法および画像復号化方法を提供することができ、その実用的価値は高い。
【図面の簡単な説明】
【図１】参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮの説明図である。
【図２】本発明の画像符号化方法および画像復号化方法の参照画像メモリＭｅｍに格納される画像制御に関する情報の符号化方法および復号化方法のフローチャートである。
【図３】参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮの説明図である。
【図４】本発明の画像符号化方法および画像復号化方法の参照画像メモリＭｅｍに格納される画像制御に関する情報の符号化方法および復号化方法のフローチャートである。
【図５】本発明の入力画像信号Ｖｉｎを符号化した場合のピクチャとピクチャ番号ＰＮとの対応説明図である。
【図６】本発明の画像復号化方法の参照画像メモリＭｅｍに格納される画像制御に関する情報の復号化方法のフローチャートである。
【図７】本発明の画像符号化装置の構成を示すブロック図である。
【図８】本発明の符号化信号Ｓｔｒのデータ構成の一例を示す図である。
【図９】本発明の画像復号化装置の構成を示すブロック図である。
【図１０】本発明の入力画像信号Ｖｉｎを符号化した場合の各ピクチャとピクチャ番号ＰＮとの対応説明図である。
【図１１】本発明のストリームの各ピクチャにピクチャ番号を付与して符号化する方法を示すフローチャートである。
【図１２】本実施の形態７における復号化方法を示すフローチャートである。
【図１３】本実施の形態７におけるメモリ構造を示す図である。
【図１４】本実施の形態７における符号化方法を示すフローチャートである。
【図１５】本実施の形態７における別の符号化方法を示すフローチャートである。
【図１６】本実施の形態７における別の符号化方法を示すフローチャートである。
【図１７】本実施の形態８における符号化装置の構成を示すブロック図である。
【図１８】本実施の形態８における別の符号化装置の構成を示すブロック図である。
【図１９】本実施の形態１０における復号化方法を示すフローチャートである。
【図２０】本実施の形態１１における復号化装置の構成を示すブロック図である。
【図２１】本実施の形態１２における符号化信号の作成手順および符号化信号の復号化手順を示すフローチャートである。
【図２２】本実施の形態１２の符号化方法を実現する画像符号化装置の構成を示すブロック図である。
【図２３】本実施の形態１２の復号化方法を実現する画像復号化装置の構成を示すブロック図である。
【図２４】実施の形態１から実施の形態１２の画像符号化方法および画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納する記憶媒体についての説明図である。
【図２５】本発明に係るコンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。
【図２６】本発明に係る携帯電話の一例を示す図である。
【図２７】同携帯電話の構成を示すブロック図である。
【図２８】本発明に係るディジタル放送用システムの構成を示す図である。
【図２９】入力画像信号Ｖｉｎを符号化した場合のピクチャとピクチャ番号ＰＮとの対応を説明する図である。
【図３０】Ｓピクチャを符号化および復号化する際に、参照画像メモリＭｅｍに格納される画像のピクチャ番号ＰＮを示す図である。
【符号の説明】
ＰｉｃＴｙｐｅ ピクチャタイプ情報
Ｖｉｎ 入力画像信号
ＰＮｃｍｐ メモリ内ピクチャ数比較ユニット
Ｍｅｍ メモリ
ＰｉｃＥｎｃ 画像符号化ユニット
ＰＮＧｅｎ ＰＮ生成ユニット
ＶＬＣ 可変長符号化ユニット
ＰｉｃＤｅｃ 画像復号化ユニット
ＰｉｃＤｅｌ４ 画像除去ユニット
Claims (39)
- メモリに格納した参照ピクチャをピクチャ番号によって特定して参照し、動画の符号化ストリームを生成する画像符号化方法であって、
符号化対象ピクチャに対応するピクチャ番号を符号化するピクチャ番号符号化ステップと、
当該符号化対象ピクチャを符号化する符号化ステップと、
前記符号化ステップの実行後、前記符号化対象ピクチャ以外のピクチャでメモリに記憶されているピクチャを全て不使用にする全ピクチャ不使用化ステップと、
メモリ内の前記符号化対象ピクチャのピクチャ番号を初期化するピクチャ番号初期化ステップと、
画像復号化装置に対し、前記符号化対象ピクチャ以外のピクチャですでにメモリに格納されているピクチャを全て不使用にすることを指示する全ピクチャ不使用化情報を符号化する全ピクチャ不使用化情報符号化ステップと
を含むことを特徴とする画像符号化方法。 - 前記ピクチャ番号初期化ステップでは、前記符号化対象ピクチャのピクチャ番号を「０」に初期化する
ことを特徴とする請求項１記載の画像符号化方法。 - 前記全ピクチャ不使用化ステップでは、画面内符号化ピクチャを符号化対象ピクチャとする前記符号化ステップの実行後、前記メモリに記憶されている前記画面内符号化ピクチャ以外のピクチャを全て不使用にし、
前記ピクチャ番号初期化ステップでは、前記画面内符号化ピクチャのピクチャ番号を初期化し、
前記全ピクチャ不使用化情報符号化ステップでは、メモリに格納されている前記画面内符号化ピクチャ以外のピクチャを全て不使用にすることを指示する前記全ピクチャ不使用化情報を符号化する
ことを特徴とする請求項１記載の画像符号化方法。 - メモリに格納した参照ピクチャをピクチャ番号によって特定して参照し、画像復号化装置における画像の復号化時に複数の符号化ストリーム間で復号化対象となる符号化ストリームを切り換えできる符号化ストリームを生成する画像符号化方法であって、
複数の符号化ストリーム間で切り換えを選択し得るピクチャに対し、初期化された新たなピクチャ番号を付与するピクチャ番号初期化ステップと、
前記ピクチャを符号化して符号化ストリームを生成する符号化ステップと、
前記ピクチャを符号化する際にすでに前記メモリ内に格納されている全参照ピクチャを、前記符号化ステップの実行後、不使用にする全ピクチャ不使用化ステップと
を含むことを特徴とする画像符号化方法。 - メモリに格納したピクチャ番号によって特定される参照ピクチャを参照して符号化ストリームを生成する画像符号化方法であって、
複数の符号化ストリーム間で切り換えを選択し得るピクチャに対し、当該ピクチャが属するストリームにおける連続番号で与えられるピクチャ番号で前記ピクチャを符号化して前記符号化ストリームを生成する符号化ステップと、
前記ピクチャを符号化する際にすでに前記メモリ内に格納されている全ピクチャを、前記符号化ステップの実行後、不使用にする全ピクチャ不使用化ステップと、
前記符号化ステップの実行後に前記ピクチャのピクチャ番号を初期化するピクチャ番号初期化ステップと
を含むことを特徴とする画像符号化方法。 - 複数の画像信号を符号化して各画像に対する符号化信号を生成する画像符号化方法であって、
前記複数の符号化信号を切換可能な切換ピクチャおよび切換ピクチャ以降から参照できるピクチャは前記符号化信号で同じ時刻のピクチャ群のみである
ことを特徴とする画像符号化方法。 - 前記切換ピクチャの直前で参照可能なピクチャ群以外を不使用にし、その不使用にしたピクチャの情報を符号化する
ことを特徴とする請求項６記載の画像符号化方法。 - 複数の画像信号を符号化して各画像に対する符号化信号を生成する画像符号化方法であって、
前記複数の符号化信号を切換可能な切換ピクチャのピクチャ番号を前記各符号化信号で同じ値に変更する仕組みを有する
ことを特徴とする画像符号化方法。 - 前記切換可能なピクチャの前のピクチャで、前記切換可能なピクチャのピクチャ番号を符号化する
ことを特徴とする請求項８記載の画像符号化方法。 - 前記切換可能なピクチャの前のピクチャで、参照ピクチャのピクチャ番号を前記切換可能なピクチャのピクチャ番号と連続する値となるようにピクチャ番号の再割当に関する情報を符号化する
ことを特徴とする請求項９記載の画像符号化方法。 - 前記切換可能なピクチャで、参照ピクチャのピクチャ番号を切換可能なピクチャのピクチャ番号と連続する値となるようにピクチャ番号を再割当する
ことを特徴とする請求項９記載の画像符号化方法。 - 同一画像を異なるピクチャレートで符号化した複数のストリームをメモリに格納し、
前記複数のストリームの一つのストリームにしたがって、切換え元のピクチャまで符号化を進め、
前記記憶されたストリームの中でその他のストリームに属する切換え先のピクチャと前記切換え元のピクチャとの間で、当該その他のストリームに属する当該切換え先のピクチャの前のピクチャと同じ時刻に対応させてスイッチピクチャを符号化し、
前記符号化されたスイッチピクチャのピクチャ番号を、前記切換え先のピクチャのピクチャ番号と連続するように変更し、
前記切換え先のピクチャから符号化を更に進める
ことを特徴とする画像符号化方法。 - 符号化対象ピクチャのピクチャ番号を検出する第１の検出ステップと、
前記符号化対象ピクチャのピクチャタイプを検出する第２の検出ステップと、
前記第２の検出ステップにおいて画面内符号化を行うＩピクチャまたは復号化装置において複数のストリーム間を切り替えてもストリームの復号化ができるように保証されているＳピクチャが検出されたとき、前記Ｉピクチャまたは前記Ｓピクチャを符号化した後に前記Ｉピクチャまたは前記Ｓピクチャ以外のピクチャでメモリに記憶されているピクチャを全て不使用にするステップと、
復号化装置において前記Ｉピクチャまたは前記Ｓピクチャを復号化した後に前記ＩピクチャまたはＳピクチャ以外のピクチャでメモリに記憶されているピクチャを全て不使用にする全ピクチャ不使用化情報を符号化するステップと
を有することを特徴とする画像符号化方法。 - 符号化対象ピクチャのピクチャ番号を検出する第１の検出ステップと、
前記符号化対象ピクチャのピクチャタイプを検出する第２の検出ステップと、
前記第２の検出ステップにおいて画面内符号化を行うＩピクチャまたは復号化装置において複数のストリーム間を切り替えてもストリームの復号化ができるように保証されているＳピクチャが検出されたとき、前記第１の検出ステップで検出された前記ピクチャ番号が連続しているかどうかを判断するステップと、
前記ピクチャ番号が連続していないとき、前記Ｉピクチャまたは前記Ｓピクチャを符号化した後に前記Ｉピクチャまたは前記Ｓピクチャ以外のピクチャでメモリに記憶されているピクチャを全て不使用にするステップと、
復号化装置において前記Ｉピクチャまたは前記Ｓピクチャを復号化した後に前記ＩピクチャまたはＳピクチャ以外のピクチャでメモリに記憶されているピクチャを全て不使用にする全ピクチャ不使用化情報を符号化するステップと
を有することを特徴とする画像符号化方法。 - 複数のストリームそれぞれのメモリに記憶されている符号化対象ピクチャで、符号化対象ストリームの符号化対象ピクチャのピクチャ番号を検出する第１の検出ステップと、
前記符号化対象ピクチャのピクチャタイプを検出する第２の検出ステップと、
前記第２の検出ステップにおいて画面内符号化を行うＩピクチャまたは復号化装置において複数のストリーム間を切り替えてもストリームの復号化ができるように保証されているＳピクチャが検出されたとき、前記第１の検出ステップで検出された前記ピクチャ番号が連続しているかどうかを判断する第１の判断ステップと、
前記ピクチャ番号が連続しているとき、ストリームを切替えた時点で前記複数のストリームそれぞれのメモリに同一数のピクチャが記憶されているかどうかを判断する第２の判断ステップと、
前記第２の判断ステップで同一のピクチャ数が記憶されていないと判断されたとき、前記Ｉピクチャまたは前記Ｓピクチャを符号化した後に前記Ｉピクチャまたは前記Ｓピクチャ以外のピクチャでメモリに記憶されているピクチャを全て不使用にするステップと、
復号化装置において前記Ｉピクチャまたは前記Ｓピクチャを復号化した後に前記ＩピクチャまたはＳピクチャ以外のピクチャでメモリに記憶されているピクチャを全て不使用にする全ピクチャ不使用化情報を符号化するステップと
を有することを特徴とする画像符号化方法。 - メモリに格納した参照ピクチャをピクチャ番号によって特定して参照し、動画の符号化ストリームを復号化する画像復号化方法であって、
符号化ストリームから、復号化対象ピクチャ以外のピクチャで、すでにメモリに格納されているピクチャを全て不使用にすることを意味する全ピクチャ不使用化情報を検出して復号化する全ピクチャ不使用化情報復号化ステップと、
前記符号化ストリームから前記復号化対象ピクチャを復号化する復号化ステップと、
前記復号化ステップの実行後に、復号化された前記全ピクチャ不使用化情報に従って、前記復号化対象ピクチャ以外のピクチャで、すでにメモリに格納されているピクチャを全て不使用にする全ピクチャ不使用化ステップと、
メモリ内の前記復号化対象ピクチャに対し、初期化された新たなピクチャ番号を付与するピクチャ番号初期化ステップと
を含むことを特徴とする画像復号化方法。 - 前記ピクチャ番号初期化ステップでは、メモリ内の前記復号化対象ピクチャに対し、「０」に初期化された新たなピクチャ番号を付与する
ことを特徴とする請求項１６記載の画像復号化方法。 - 前記全ピクチャ不使用化情報復号化ステップでは、画面内符号化ピクチャを前記復号化対象ピクチャとする前記全ピクチャ不使用化情報を検出して復号化し、
前記復号化ステップでは、前記画面内符号化ピクチャを復号化対象ピクチャとして復号化し、
前記全ピクチャ不使用化ステップでは、前記画面内符号化ピクチャを復号化対象ピクチャとしてメモリに格納されているピクチャを全て不使用にし、
前記ピクチャ番号初期化ステップでは、前記画面内符号化ピクチャを復号化対象ピクチャとして新たなピクチャ番号を付与する
ことを特徴とする請求項１６記載の画像復号化方法。 - メモリに格納したピクチャ番号によって特定される参照ピクチャを参照して復号化可能な画像復号化方法であって、
符号化ストリームから所定のピクチャを復号化する復号化ステップと、
前記ピクチャを復号化する際にすでに前記メモリ内に格納されている全ピクチャを、前記ピクチャの復号化完了後に不使用にする全ピクチャ不使用化ステップと
を含むことを特徴とする画像復号化方法。 - 前記画像復号化方法は、さらに、
前記復号化ステップの実行前に、前記所定のピクチャに対し、ピクチャ番号を初期化するピクチャ番号初期化ステップ
を含むことを特徴とする請求項１９記載の画像復号化方法。 - メモリに格納したピクチャ番号によって特定される参照ピクチャを参照して復号化する画像復号化方法であって、
復号化対象ピクチャに対し、ピクチャ番号を復号化するピクチャ番号復号化ステップと、
前記符号化ストリームから前記復号化対象ピクチャを復号化する復号化ステップと、
復号化されたピクチャ番号の連続性に基づいて、前記符号化ストリームの誤り検出を行う誤り検出ステップとを含み、
前記誤り検出ステップは、復号化対象ピクチャが、特別なピクチャの場合には前記誤り検出を行わない
ことを特徴とする画像復号化方法。 - 前記特別なピクチャは画面内符号化ピクチャであって、
前記画像復号化方法は、さらに、
前記特別なピクチャを復号化対象ピクチャとする前記復号化ステップの実行後に、前記復号化対象ピクチャ以外のピクチャで、すでにメモリに格納されているピクチャを全て不使用にする全ピクチャ不使用化ステップ
を含むことを特徴とする請求項２１記載の画像復号化方法。 - 前記特別なピクチャは、複数の符号化ストリームの間で復号化対象となる符号化ストリームの切り替えを選択できるピクチャであって、
前記画像復号化方法は、さらに、
前記特別なピクチャを復号化対象ピクチャとする前記復号化ステップの実行後に、前記復号化対象ピクチャ以外のピクチャで、すでにメモリに格納されているピクチャを全て不使用にする全ピクチャ不使用化ステップ
を含むことを特徴とする請求項２１記載の画像復号化方法。 - 符号化信号を復号化する画像復号化方法であって、
切換可能な切換ピクチャの前で不使用にしたピクチャの情報を復号化し、前記復号化した結果に基づき参照画像メモリから復号化したピクチャを不使用にし、切換ピクチャ以後では不使用にされなかった参照ピクチャのみを参照して符号化信号を復号化する
ことを特徴とする画像復号化方法。 - 符号化信号を復号化する画像復号化方法であって、
前記符号化信号を切換可能な切換ピクチャで切り換える際に、参照ピクチャのピクチャ番号を切換可能な符号化信号で同じ値に変更する仕組みを有する
ことを特徴とする画像復号化方法。 - 前記切換可能なピクチャの前のピクチャで、切換可能なピクチャのピクチャ番号を復号化する
ことを特徴とする請求項２５記載の画像復号化方法。 - 前記切換可能なピクチャの前のピクチャで、ピクチャ番号の再割当に関する情報を復号化し、参照ピクチャのピクチャ番号を切換可能なピクチャのピクチャ番号と連続する値となるようにする
ことを特徴とする請求項２６記載の画像復号化方法。 - 前記切換可能なピクチャで、参照ピクチャのピクチャ番号を切換可能なピクチャのピクチャ番号と連続する値となるようにピクチャ番号を再割当する
ことを特徴とする請求項２６記載の画像復号化方法。 - 復号化対象ピクチャのピクチャ番号を検出する第１の検出ステップと、
前記復号化対象ピクチャのピクチャタイプを検出する第２の検出ステップと、
前記第２の検出ステップにおいて画面内符号化されたＩピクチャまたは復号化装置において複数のストリーム間を切り替えてもストリームの復号化ができるように保証されているＳピクチャが検出されたとき、前記Ｉピクチャまたは前記Ｓピクチャを復号化した後に前記Ｉピクチャまたは前記Ｓピクチャ以外のピクチャでメモリに記憶されているピクチャを全て不使用にするステップと
を有することを特徴とする画像復号化方法。 - 復号化対象ピクチャのピクチャ番号を検出する第１の検出ステップと、
前記復号化対象ピクチャのピクチャタイプを検出する第２の検出ステップと、
前記第２の検出ステップにおいて画面内符号化されたＩピクチャまたは復号化装置において複数のストリーム間を切り替えてもストリームの復号化ができるように保証されているＳピクチャが検出されなかったとき、前記第１の検出ステップで検出された前記ピクチャ番号が連続しているかどうかを判断するステップと、
前記ピクチャ番号が連続していないとき、前記ピクチャ番号が連続していないことによる不具合を修正するステップと
を有することを特徴とする画像復号化方法。 - 前記不具合を修正するステップにおいて、連続していない部分のピクチャ番号に対応するピクチャの再送を要求し、再送されたピクチャを復号化する
ことを特徴とする請求項３０記載の画像復号化方法。 - 切換ピクチャの直前で参照可能なピクチャ群以外を参照画像メモリ内で不使用にする不使用化手段と、
前記不使用にしたピクチャの情報を符号化する第１の符号化手段と、
参照画像メモリの画像を参照して画像信号を符号化する第２の符号化手段と
を備えたことを特徴とする画像符号化装置。 - 複数の符号化信号を切換可能な切換ピクチャのピクチャ番号を前記各符号化信号で同じ値に変更するピクチャ番号変更手段と、
前記変更方法を符号化する第１の符号化手段と、
画像信号を符号化する第２の符号化手段と
を備えたことを特徴とする画像符号化装置。 - 符号化信号を復号化して切換ピクチャの前で不使用にしたピクチャの情報を復号化する第１の復号化手段と、
前記第１の復号化手段の復号化した結果に基づいて参照画像メモリ内の画像を不使用にする不使用化手段と、
前記参照画像メモリの画像を参照して前記符号化信号を復号化する第２の復号化手段と
を備えたことを特徴とする画像復号化装置。 - 符号化信号を復号化して複数の符号化信号を切換可能な切換ピクチャのピクチャ番号を前記各符号化信号で同じ値に変更する方法を復号化する第１の復号化手段と、
前記第１の復号化手段の復号化した結果に基づいて切換ピクチャのピクチャ番号を前記各符号化信号で同じ値に変更するピクチャ番号変更手段と、
前記符号化信号を復号化する第２の符号化手段と
を備えたことを特徴とする画像復号化装置。 - コンピュータに、複数の画像信号を符号化して各画像に対する符号化信号を生成する画像符号化方法に含まれる各ステップを実行させるためのプログラムであって、
前記複数の符号化信号を切換可能な切換ピクチャおよび切換ピクチャ以降から参照できるピクチャは前記符号化信号で同じ時刻のピクチャ群のみである画像符号化方法を実行させることを特徴とするプログラム。 - コンピュータに、複数の画像信号を符号化して各画像に対する符号化信号を生成する画像符号化方法に含まれる各ステップを実行させるためのプログラムであって、
前記複数の符号化信号を切換可能な切換ピクチャのピクチャ番号を前記各符号化信号で同じ値に変更する仕組みを有する画像符号化方法を実行させることを特徴とするプログラム。 - コンピュータに、符号化信号を復号化する画像復号化方法に含まれる各ステップを実行させるためのプログラムであって、
切換可能な切換ピクチャの前で不使用にしたピクチャの情報を復号化し、前記復号化した結果に基づき参照画像メモリから復号化したピクチャを不使用にし、切換ピクチャ以後では不使用にされなかった参照ピクチャのみを参照して符号化信号を復号化する画像復号化方法を実行させることを特徴とするプログラム。 - コンピュータに、符号化信号を復号化する画像復号化方法に含まれる各ステップを実行させるためのプログラムであって、
前記符号化信号を切換可能な切換ピクチャで切り換える際に、参照ピクチャのピクチャ番号を切換可能な符号化信号で同じ値に変更する仕組みを有する画像復号化方法を実行させることを特徴とするプログラム。
Priority Applications (32)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003092490A JP4355156B2 (ja) | 2002-04-16 | 2003-03-28 | 画像復号化方法及び画像復号化装置 |
| KR1020087004376A KR100980964B1 (ko) | 2002-04-16 | 2003-04-10 | 화상 부호화 방법 및 화상 복호화 방법 |
| CN2011103566934A CN102355585B (zh) | 2002-04-16 | 2003-04-10 | 图像编码方法和图像编码装置 |
| ES03746443T ES2297187T3 (es) | 2002-04-16 | 2003-04-10 | Procedimiento de decodificacion de imagenes s mediante reinicio de la memoria intermedia y reclasificacion de pn para continuidad. |
| EP20100180917 EP2276260B1 (en) | 2002-04-16 | 2003-04-10 | Multirate bitstream switching, multi reference image encoding apparatus. |
| AU2003236033A AU2003236033B2 (en) | 2002-04-16 | 2003-04-10 | Image encoding method and image decoding method |
| EP03746443A EP1496706B1 (en) | 2002-04-16 | 2003-04-10 | S-pictures decoding method by buffer reset and PN reordering for continuity. |
| EP20070116298 EP1887805B1 (en) | 2002-04-16 | 2003-04-10 | Multirate bitstream switching, multi reference image encoding method. |
| US10/478,010 US7505518B2 (en) | 2002-04-16 | 2003-04-10 | Picture encoding method and image decoding method |
| AT07116298T ATE555607T1 (de) | 2002-04-16 | 2003-04-10 | Verfahren zum schalten von multirate multireferenz bildrahmen zur bildkodierung . |
| KR1020037013810A KR100950388B1 (ko) | 2002-04-16 | 2003-04-10 | 화상 부호화 방법 및 화상 복호화 방법 |
| BR0304528A BR0304528A (pt) | 2002-04-16 | 2003-04-10 | Método de codificação de imagem e método de decodificação de imagem |
| MXPA03011200A MXPA03011200A (es) | 2002-04-16 | 2003-04-10 | Metodo de codificacion de imagen y metodo de descodificacion de imagen. |
| PCT/JP2003/004539 WO2003088678A1 (en) | 2002-04-16 | 2003-04-10 | Image encoding method and image decoding method |
| CN201110356819.8A CN102355586B (zh) | 2002-04-16 | 2003-04-10 | 便携电话、机顶盒、电视机和汽车导航仪 |
| AT03746443T ATE382242T1 (de) | 2002-04-16 | 2003-04-10 | Bilddecodierungsverfahren für s-pictures mit pufferrücksetzung und pn umstellung für kontinuität. |
| CA2448511A CA2448511C (en) | 2002-04-16 | 2003-04-10 | Picture coding method and picture decoding method |
| DE60318307T DE60318307T2 (de) | 2002-04-16 | 2003-04-10 | Bilddecodierungsverfahren für S-pictures mit Pufferrücksetzung und PN Umstellung für kontinuität. |
| EP20100180940 EP2309755B1 (en) | 2002-04-16 | 2003-04-10 | Multirate bitstream switching, multi reference image decoding apparatus using Picture Number PN renumbering. |
| CN038004488A CN1516974B (zh) | 2002-04-16 | 2003-04-10 | 图像编码方法和图像解码方法 |
| MYPI20031395 MY135697A (en) | 2002-04-16 | 2003-04-14 | Picture coding method and picture decoding method |
| TW92108714A TWI276359B (en) | 2002-04-16 | 2003-04-15 | Picture coding method and picture decoding method |
| US11/979,008 US8675729B2 (en) | 2002-04-16 | 2007-10-30 | Picture coding method and picture decoding method |
| AU2008243276A AU2008243276B2 (en) | 2002-04-16 | 2008-11-17 | Image encoding method and image decoding method |
| US12/361,193 US8787448B2 (en) | 2002-04-16 | 2009-01-28 | Picture coding method and picture decoding method |
| US14/297,941 US9516307B2 (en) | 2002-04-16 | 2014-06-06 | Picture coding method and picture decoding method |
| US15/338,726 US10021389B2 (en) | 2002-04-16 | 2016-10-31 | Picture coding method and picture decoding method |
| US15/846,578 US10148951B2 (en) | 2002-04-16 | 2017-12-19 | Picture coding method and picture decoding method |
| US16/176,391 US10542252B2 (en) | 2002-04-16 | 2018-10-31 | Picture coding method and picture decoding method |
| US16/707,473 US10812792B2 (en) | 2002-04-16 | 2019-12-09 | Picture coding method and picture decoding method |
| US16/708,734 US10834388B2 (en) | 2002-04-16 | 2019-12-10 | Picture coding method and picture decoding method |
| US16/710,275 US10869034B2 (en) | 2002-04-16 | 2019-12-11 | Picture coding method and picture decoding method |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002112787 | 2002-04-16 | ||
| US37763802P | 2002-05-06 | 2002-05-06 | |
| JP2002192533 | 2002-07-01 | ||
| JP2002204718 | 2002-07-12 | ||
| JP2003092490A JP4355156B2 (ja) | 2002-04-16 | 2003-03-28 | 画像復号化方法及び画像復号化装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009013682A Division JP5171662B2 (ja) | 2002-04-16 | 2009-01-23 | 画像符号化方法および画像符号化装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004096706A true JP2004096706A (ja) | 2004-03-25 |
| JP2004096706A5 JP2004096706A5 (ja) | 2006-04-06 |
| JP4355156B2 JP4355156B2 (ja) | 2009-10-28 |
Family
ID=29255644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003092490A Expired - Lifetime JP4355156B2 (ja) | 2002-04-16 | 2003-03-28 | 画像復号化方法及び画像復号化装置 |
Country Status (15)
| Country | Link |
|---|---|
| US (10) | US7505518B2 (ja) |
| EP (4) | EP1496706B1 (ja) |
| JP (1) | JP4355156B2 (ja) |
| KR (2) | KR100980964B1 (ja) |
| CN (3) | CN102355586B (ja) |
| AT (2) | ATE382242T1 (ja) |
| AU (2) | AU2003236033B2 (ja) |
| BR (1) | BR0304528A (ja) |
| CA (1) | CA2448511C (ja) |
| DE (1) | DE60318307T2 (ja) |
| ES (1) | ES2297187T3 (ja) |
| MX (1) | MXPA03011200A (ja) |
| MY (1) | MY135697A (ja) |
| TW (1) | TWI276359B (ja) |
| WO (1) | WO2003088678A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2006112139A1 (ja) * | 2005-04-13 | 2008-12-04 | シャープ株式会社 | 動画像再生装置 |
| JP2015521825A (ja) * | 2012-06-28 | 2015-07-30 | アクシス アーベー | 仮想イントラフレームを使用してビデオコンテンツを符号化するためのシステムおよび方法 |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BR0312657A (pt) * | 2002-07-16 | 2007-06-26 | Nokia Corp | método para executar uma restauração gradual do conteúdo de imagem com acesso randÈmico em uma seqüência de vìdeo codificada |
| JP3513148B1 (ja) | 2002-10-11 | 2004-03-31 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム |
| US8824553B2 (en) | 2003-05-12 | 2014-09-02 | Google Inc. | Video compression method |
| CN101686364B (zh) * | 2004-04-28 | 2013-03-13 | 松下电器产业株式会社 | 流产生装置,流产生方法,编码装置,编码方法,记录介质及其程序 |
| US7590059B2 (en) * | 2004-05-21 | 2009-09-15 | Broadcom Corp. | Multistandard video decoder |
| US8559510B2 (en) * | 2006-08-10 | 2013-10-15 | Canon Kabushiki Kaisha | Image decoding apparatus |
| JP5342445B2 (ja) * | 2006-10-16 | 2013-11-13 | トムソン ライセンシング | 映像動作中に瞬間復号化リフレッシュを信号で送るようにネットワーク抽象レイヤを用いる方法 |
| MX2009004352A (es) * | 2006-10-24 | 2009-05-05 | Thomson Licensing | Manejo de imagen para codigo de video de multiples vistas. |
| US9648325B2 (en) | 2007-06-30 | 2017-05-09 | Microsoft Technology Licensing, Llc | Video decoding implementations for a graphics processing unit |
| JP4561851B2 (ja) * | 2008-03-18 | 2010-10-13 | カシオ計算機株式会社 | 撮像装置、撮像方法および撮像プログラム |
| US8385404B2 (en) | 2008-09-11 | 2013-02-26 | Google Inc. | System and method for video encoding using constructed reference frame |
| JP5207895B2 (ja) * | 2008-09-17 | 2013-06-12 | キヤノン株式会社 | 送信装置、受信装置、及び方法、プログラム |
| JP2011082683A (ja) * | 2009-10-05 | 2011-04-21 | Sony Corp | 画像処理装置、画像処理方法、及び、プログラム |
| JP2011199396A (ja) | 2010-03-17 | 2011-10-06 | Ntt Docomo Inc | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム |
| US9154799B2 (en) | 2011-04-07 | 2015-10-06 | Google Inc. | Encoding and decoding motion via image segmentation |
| US8638854B1 (en) | 2011-04-07 | 2014-01-28 | Google Inc. | Apparatus and method for creating an alternate reference frame for video compression using maximal differences |
| US8731067B2 (en) * | 2011-08-31 | 2014-05-20 | Microsoft Corporation | Memory management for video decoding |
| EP2586922B1 (de) | 2011-10-31 | 2018-09-05 | RANIT-Befestigungssysteme GmbH | Vorrichtung zur mechanischen Befestigung von Dämmstoffen an einer Unterkonstruktion |
| US9819949B2 (en) | 2011-12-16 | 2017-11-14 | Microsoft Technology Licensing, Llc | Hardware-accelerated decoding of scalable video bitstreams |
| US9426459B2 (en) * | 2012-04-23 | 2016-08-23 | Google Inc. | Managing multi-reference picture buffers and identifiers to facilitate video data coding |
| US9609341B1 (en) | 2012-04-23 | 2017-03-28 | Google Inc. | Video data encoding and decoding using reference picture lists |
| US9565432B2 (en) | 2012-04-23 | 2017-02-07 | Lg Electronics Inc. | Video-encoding method, video-decoding method, and apparatus implementing same |
| US9014266B1 (en) | 2012-06-05 | 2015-04-21 | Google Inc. | Decimated sliding windows for multi-reference prediction in video coding |
| US9332309B2 (en) * | 2012-06-08 | 2016-05-03 | Apple Inc. | Sync frame recovery in real time video transmission system |
| US9491487B2 (en) | 2012-09-25 | 2016-11-08 | Apple Inc. | Error resilient management of picture order count in predictive coding systems |
| US9264737B2 (en) | 2012-10-01 | 2016-02-16 | Apple Inc. | Error resilient transmission of random access frames and global coding parameters |
| US9407915B2 (en) | 2012-10-08 | 2016-08-02 | Google Inc. | Lossless video coding with sub-frame level optimal quantization values |
| JP2014192564A (ja) * | 2013-03-26 | 2014-10-06 | Sony Corp | 映像処理装置、映像処理方法及びコンピュータプログラム |
| US9756331B1 (en) | 2013-06-17 | 2017-09-05 | Google Inc. | Advance coded reference prediction |
| TWM487509U (zh) | 2013-06-19 | 2014-10-01 | 杜比實驗室特許公司 | 音訊處理設備及電子裝置 |
| JP6365253B2 (ja) | 2014-11-12 | 2018-08-01 | 富士通株式会社 | 映像データ処理装置、映像データ処理プログラムおよび映像データ処理方法 |
| KR101868203B1 (ko) * | 2015-01-28 | 2018-07-20 | 한국전자통신연구원 | 스트림 처리 방법 및 장치 |
| US11095907B2 (en) | 2017-03-27 | 2021-08-17 | Nokia Technologies Oy | Apparatus, a method and a computer program for video coding and decoding |
| CN114363063A (zh) * | 2018-11-01 | 2022-04-15 | 西安万像电子科技有限公司 | 数据传输方法、装置及系统 |
| US11523115B2 (en) * | 2020-04-02 | 2022-12-06 | Electronics And Telecommunications Research Institute | Method, apparatus and storage medium for image encoding/decoding |
| CN115428454A (zh) | 2020-04-06 | 2022-12-02 | 字节跳动有限公司 | 使用参数集的视频编解码 |
| CN115398901A (zh) * | 2020-04-12 | 2022-11-25 | 字节跳动有限公司 | 瞬时解码刷新子图片的编解码 |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3670096A (en) * | 1970-06-15 | 1972-06-13 | Bell Telephone Labor Inc | Redundancy reduction video encoding with cropping of picture edges |
| DE69430710T2 (de) * | 1993-12-24 | 2003-01-30 | Nippon Telegraph & Telephone | Vorrichtung zum Wiedergewinn von Bilddaten |
| JP3669523B2 (ja) * | 1995-04-08 | 2005-07-06 | ソニー株式会社 | 符号化装置及び方法 |
| ES2148768T3 (es) * | 1995-07-19 | 2000-10-16 | Koninkl Philips Electronics Nv | Procedimiento y dispositivo para descodificar trenes numericos binarios de video y equipo receptor que incluye a dicho dispositivo. |
| JP3319678B2 (ja) * | 1995-08-11 | 2002-09-03 | ケイディーディーアイ株式会社 | 動画像の高速ブラウジング装置 |
| US5883678A (en) * | 1995-09-29 | 1999-03-16 | Kabushiki Kaisha Toshiba | Video coding and video decoding apparatus for reducing an alpha-map signal at a controlled reduction ratio |
| JP3784879B2 (ja) * | 1996-03-14 | 2006-06-14 | パイオニア株式会社 | 情報記録媒体、情報記録装置及び方法並びに情報再生装置及び方法 |
| JPH09322167A (ja) | 1996-03-29 | 1997-12-12 | Sony Corp | 画像受信装置、画像受信方法、画像送信装置、画像送信方法、画像送受信装置、および画像送受信方法 |
| TW351903B (en) * | 1996-07-03 | 1999-02-01 | Matsushita Electric Ind Co Ltd | Encoding method, encoding apparatus, decoding and compositing method, decoding and composition appratus, and record medium recorded with the aforesaid methods for multiple images |
| US6480541B1 (en) * | 1996-11-27 | 2002-11-12 | Realnetworks, Inc. | Method and apparatus for providing scalable pre-compressed digital video with reduced quantization based artifacts |
| JP3039624B2 (ja) * | 1996-12-02 | 2000-05-08 | 日本電気株式会社 | オーディオ・ビデオ同期再生装置 |
| JPH10262259A (ja) | 1997-03-19 | 1998-09-29 | Sony Corp | 画像信号送出装置及び画像信号送出方法 |
| JP3373130B2 (ja) * | 1997-03-24 | 2003-02-04 | 沖電気工業株式会社 | 画像復号化装置 |
| EP0940982A1 (en) | 1997-08-21 | 1999-09-08 | Sony Corporation | Disc recording method and device, disc reproducing method and device, and recording medium |
| US6282240B1 (en) * | 1997-09-03 | 2001-08-28 | Oki Electric Industry Co., Ltd. | Picture coder, picture decoder, and transmission system |
| US6249318B1 (en) * | 1997-09-12 | 2001-06-19 | 8×8, Inc. | Video coding/decoding arrangement and method therefor |
| EP0940989A3 (en) * | 1998-03-02 | 2003-10-29 | Nippon Telegraph and Telephone Corporation | Video communication system and method |
| JPH11275590A (ja) * | 1998-03-26 | 1999-10-08 | Sony Corp | 画像間圧縮符号化装置および符号化方法 |
| FR2782437B1 (fr) * | 1998-08-14 | 2000-10-13 | Thomson Multimedia Sa | Procede de commutation de flux mpeg |
| US6310915B1 (en) * | 1998-11-20 | 2001-10-30 | Harmonic Inc. | Video transcoder with bitstream look ahead for rate control and statistical multiplexing |
| JP3411234B2 (ja) * | 1999-04-26 | 2003-05-26 | 沖電気工業株式会社 | 符号化情報受信復号装置 |
| GB2353653B (en) | 1999-08-26 | 2003-12-31 | Sony Uk Ltd | Signal processor |
| JP2001258031A (ja) | 2000-03-08 | 2001-09-21 | Sony Corp | 信号処理方法、画像符号化装置及び画像復号装置 |
| US6940911B2 (en) | 2000-03-14 | 2005-09-06 | Victor Company Of Japan, Ltd. | Variable picture rate coding/decoding method and apparatus |
| JP3561485B2 (ja) * | 2000-08-18 | 2004-09-02 | 株式会社メディアグルー | 符号化信号分離・合成装置、差分符号化信号生成装置、符号化信号分離・合成方法、差分符号化信号生成方法、符号化信号分離・合成プログラムを記録した媒体および差分符号化信号生成プログラムを記録した媒体 |
| JP3859989B2 (ja) | 2000-10-30 | 2006-12-20 | 株式会社モノリス | 画像マッチング方法およびその方法を利用可能な画像処理方法と装置 |
| US6765963B2 (en) * | 2001-01-03 | 2004-07-20 | Nokia Corporation | Video decoder architecture and method for using same |
| US20020122491A1 (en) * | 2001-01-03 | 2002-09-05 | Marta Karczewicz | Video decoder architecture and method for using same |
| JP3931595B2 (ja) * | 2001-07-10 | 2007-06-20 | 株式会社日立製作所 | データ修正装置及びデータ修正方法 |
| US7613727B2 (en) * | 2002-02-25 | 2009-11-03 | Sont Corporation | Method and apparatus for supporting advanced coding formats in media files |
| US7403660B2 (en) * | 2003-04-30 | 2008-07-22 | Nokia Corporation | Encoding picture arrangement parameter in picture bitstream |
-
2003
- 2003-03-28 JP JP2003092490A patent/JP4355156B2/ja not_active Expired - Lifetime
- 2003-04-10 AT AT03746443T patent/ATE382242T1/de active
- 2003-04-10 AU AU2003236033A patent/AU2003236033B2/en not_active Expired
- 2003-04-10 CA CA2448511A patent/CA2448511C/en not_active Expired - Lifetime
- 2003-04-10 KR KR1020087004376A patent/KR100980964B1/ko active IP Right Grant
- 2003-04-10 EP EP03746443A patent/EP1496706B1/en not_active Expired - Lifetime
- 2003-04-10 KR KR1020037013810A patent/KR100950388B1/ko active IP Right Grant
- 2003-04-10 EP EP20100180940 patent/EP2309755B1/en not_active Expired - Lifetime
- 2003-04-10 US US10/478,010 patent/US7505518B2/en not_active Expired - Lifetime
- 2003-04-10 DE DE60318307T patent/DE60318307T2/de not_active Expired - Lifetime
- 2003-04-10 WO PCT/JP2003/004539 patent/WO2003088678A1/ja active Application Filing
- 2003-04-10 CN CN201110356819.8A patent/CN102355586B/zh not_active Expired - Lifetime
- 2003-04-10 AT AT07116298T patent/ATE555607T1/de active
- 2003-04-10 EP EP20070116298 patent/EP1887805B1/en not_active Expired - Lifetime
- 2003-04-10 MX MXPA03011200A patent/MXPA03011200A/es active IP Right Grant
- 2003-04-10 CN CN038004488A patent/CN1516974B/zh not_active Expired - Lifetime
- 2003-04-10 CN CN2011103566934A patent/CN102355585B/zh not_active Expired - Lifetime
- 2003-04-10 EP EP20100180917 patent/EP2276260B1/en not_active Expired - Lifetime
- 2003-04-10 BR BR0304528A patent/BR0304528A/pt active IP Right Grant
- 2003-04-10 ES ES03746443T patent/ES2297187T3/es not_active Expired - Lifetime
- 2003-04-14 MY MYPI20031395 patent/MY135697A/en unknown
- 2003-04-15 TW TW92108714A patent/TWI276359B/zh not_active IP Right Cessation
-
2007
- 2007-10-30 US US11/979,008 patent/US8675729B2/en active Active
-
2008
- 2008-11-17 AU AU2008243276A patent/AU2008243276B2/en not_active Expired
-
2009
- 2009-01-28 US US12/361,193 patent/US8787448B2/en active Active
-
2014
- 2014-06-06 US US14/297,941 patent/US9516307B2/en not_active Expired - Lifetime
-
2016
- 2016-10-31 US US15/338,726 patent/US10021389B2/en not_active Expired - Lifetime
-
2017
- 2017-12-19 US US15/846,578 patent/US10148951B2/en not_active Expired - Lifetime
-
2018
- 2018-10-31 US US16/176,391 patent/US10542252B2/en not_active Expired - Fee Related
-
2019
- 2019-12-09 US US16/707,473 patent/US10812792B2/en not_active Expired - Lifetime
- 2019-12-10 US US16/708,734 patent/US10834388B2/en not_active Expired - Lifetime
- 2019-12-11 US US16/710,275 patent/US10869034B2/en not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2006112139A1 (ja) * | 2005-04-13 | 2008-12-04 | シャープ株式会社 | 動画像再生装置 |
| JP4642075B2 (ja) * | 2005-04-13 | 2011-03-02 | シャープ株式会社 | 動画像再生装置 |
| JP2015521825A (ja) * | 2012-06-28 | 2015-07-30 | アクシス アーベー | 仮想イントラフレームを使用してビデオコンテンツを符号化するためのシステムおよび方法 |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4355156B2 (ja) | 画像復号化方法及び画像復号化装置 | |
| JP5355807B2 (ja) | 符号化データ配信方法および配信システム | |
| JP4405272B2 (ja) | 動画像復号化方法、動画像復号化装置及びプログラム | |
| JP5171662B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP2004260236A (ja) | 動画像の符号化方法および復号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060214 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090707 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090731 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4355156 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120807 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130807 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S131 | Request for trust registration of transfer of right |
Free format text: JAPANESE INTERMEDIATE CODE: R313135 |
|
| SZ02 | Written request for trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z02 |
|
| S131 | Request for trust registration of transfer of right |
Free format text: JAPANESE INTERMEDIATE CODE: R313135 |
|
| SZ02 | Written request for trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z02 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S131 | Request for trust registration of transfer of right |
Free format text: JAPANESE INTERMEDIATE CODE: R313135 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |