JP3852366B2 - 符号化装置および方法、復号装置および方法、並びにプログラム - Google Patents
符号化装置および方法、復号装置および方法、並びにプログラム Download PDFInfo
- Publication number
- JP3852366B2 JP3852366B2 JP2002125299A JP2002125299A JP3852366B2 JP 3852366 B2 JP3852366 B2 JP 3852366B2 JP 2002125299 A JP2002125299 A JP 2002125299A JP 2002125299 A JP2002125299 A JP 2002125299A JP 3852366 B2 JP3852366 B2 JP 3852366B2
- Authority
- JP
- Japan
- Prior art keywords
- random access
- access point
- encoding
- picture
- header
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は符号化装置および方法、復号装置および方法、並びにプログラムに関し、特に、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン放送、インターネットなどのネットワークメディアを介して送受信する際に、若しくは光ディスク、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いて好適な符号化装置および方法、復号装置および方法、並びにプログラムに関する。
【０００２】
【従来の技術】
近年、画像情報をデジタルとして取り扱い、その際、効率の良い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Expert Group）などの方式に準拠した装置が、放送局などの情報配信、および一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、MPEG２（ISO/IEC 13818-2）は、汎用画像圧縮方式として定義された規格であり、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、例えばDVD（Digital Versatile Disk）規格に代表されるように、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに広く用いられている。
【０００４】
このMPEG２圧縮方式を用いることにより、例えば、７２０×４８０画素を持つ標準解像度の飛び越し走査画像に対しては４乃至８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像に対しては１８乃至２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００５】
MPEG２は主として放送用に適合する高画質符号化を対象としていたが、より高い圧縮率の符号化方式には対応していなかったので、MPEG４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO/IEC 14496-2としてその規格が国際標準に承認された。
【０００６】
さらに、近年、テレビ会議用の画像符号化を当初の目的として、国際電気連合の電気通信標準化部門であるITU-T (International Telecommunication Union − Telecommunication Standardization Sector)によるＨ.２６Ｌ（ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。Ｈ．２６Ｌは、MPEG２やMPEG４といった符号化方式に比べ、その符号化、復号に、より多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
【０００７】
また、現在、MPEG４の活動の一環として、このＨ．２６Ｌに基づいた、Ｈ．２６Ｌではサポートされない機能をも取り入れた、より高い符号化効率を実現する符号化技術の標準化がITU-Tと共同でＪＶＴ（Joint Video Team）として行われている。
【０００８】
ここで、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償とによる画像圧縮について説明する。図１は、従来の画像情報符号化装置の一例の構成を示す図である。
【０００９】
図１に示した画像情報符号化装置１０において、入力端子１１より入力されたアナログ信号からなる画像情報は、Ａ／Ｄ変換部１２により、デジタル信号に変換される。そして、画面並べ替えバッファ１３は、Ａ／Ｄ変換部１２より供給された画像情報のＧＯＰ（Group of Pictures）構造に応じて、フレームの並べ替えを行う。
【００１０】
ここで、画面並べ替えバッファ１３は、イントラ（画像内）符号化が行われる画像に対しては、フレーム全体の画像情報を直交変換部１５に供給する。直交変換部１５は、画像情報に対して離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換を施し、変換係数を量子化部１６に供給する。量子化部１６は、直交変換部１５から供給された変換係数に対して量子化処理を施す。
【００１１】
可逆符号化部１７は、量子化部１６から供給された量子化された変換係数や量子化スケール等から符号化モードを決定し、この符号化モードに対して可変長符号化、又は算術符号化等の可逆符号化を施し、画像符号化単位のヘッダ部に挿入される情報を形成する。そして、可逆符号化部１７は、符号化された符号化モードを蓄積バッファ１８に供給して蓄積させる。この符号化された符号化モードは、画像圧縮情報として出力端子１９より出力される。
【００１２】
また、可逆符号化部１７は、量子化された変換係数に対して可変長符号化、若しくは算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ１８に供給して蓄積させる。この符号化された変換係数は、画像圧縮情報として出力端子１９より出力される。
【００１３】
量子化部１６の挙動は、蓄積バッファ１８に蓄積された変換係数のデータ量に基づいて、レート制御部２０によって制御される。また、量子化部２０は、量子化後の変換係数を逆量子化部２１に供給し、逆量子化部２１は、その量子化後の変換係数を逆量子化する。逆直交変換部２２は、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ２３に供給して蓄積させる。
【００１４】
また、画面並べ替えバッファ１３は、インター（画像間）符号化が行われる画像に関しては、画像情報を動き予測・補償部２４に供給する。動き予測・補償部２４は、同時に参照される画像情報をフレームメモリ２３より取り出し、動き予測・補償処理を施して参照画像情報を生成する。動き予測・補償部２４は、生成した参照画像情報を加算器１４に供給し、加算器１４は、参照画像情報を対応する画像情報との差分信号に変換する。また、動き予測・補償部２４は、同時に動きベクトル情報を可逆符号化部１７に供給する。
【００１５】
可逆符号化部１７は、量子化部１６から供給され量子化された変換係数および量子化スケール、並びに動き予測・補償部２４から供給された動きベクトル情報等から符号化モードを決定し、その決定した符号化モードに対して可変長符号化または算術符号化等の可逆符号化を施し、画像符号化単位のヘッダ部に挿入される情報を生成する。そして、可逆符号化部１７は、符号化された符号化モードを蓄積バッファ１８に供給して蓄積させる。この符号化された符号化モードは、画像圧縮情報として出力される。
【００１６】
また、可逆符号化部１７は、その動きベクトル情報に対して可変長符号化若しくは算術符号化等の可逆符号化処理を施し、画像符号化単位のヘッダ部に挿入される情報を生成する。
【００１７】
また、イントラ符号化と異なり、インター符号化の場合、直交変換部１５に入力される画像情報は、加算器１４より得られた差分信号である。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、その説明を省略する。
【００１８】
次に、上述した画像情報符号化装置１０に対応する画像情報復号装置の一例の構成を図２に示す。図２に示した画像情報復号装置４０において、入力端子４１より入力された画像圧縮情報は、蓄積バッファ４２において一時的に格納された後、可逆復号部４３に転送される。
【００１９】
可逆復号部４３は、定められた画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可変長復号若しくは算術復号等の処理を施し、ヘッダ部に格納された符号化モード情報を取得し逆量子化部４４等に供給する。また同様に、可逆復号部４３は、量子化された変換係数を取得し逆量子化部４４に供給する。さらに、可逆復号部４３は、復号するフレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測・補償部５１に供給する。
【００２０】
逆量子化部４４は、可逆復号部４３から供給された量子化後の変換係数を逆量子化し、変換係数を逆直交変換部４５に供給する。逆直交変換部４５は、定められた画像圧縮情報のフォーマットに基づき、変換係数に対して逆離散コサイン変換若しくは逆カルーネン・レーベ変換等の逆直交変換を施す。
【００２１】
ここで、対象となるフレームがイントラ符号化されたものである場合、逆直交変換処理が施された画像情報は、画面並べ替えバッファ４７に格納され、Ｄ／Ａ変換部４８におけるＤ／Ａ変換処理の後に出力端子４９から出力される。
【００２２】
また、対象となるフレームがインター符号化されたものである場合、動き予測・補償部５１は、可逆復号処理が施された動きベクトル情報とフレームメモリ５０に格納された画像情報とに基づいて参照画像を生成し、加算器４６に供給する。加算器４６は、この参照画像と逆直交変換部４５からの出力とを合成する。なお、その他の処理については、イントラ符号化されたフレームと同様であるため、説明を省略する。
【００２３】
ところで、先に述べた Joint Video Team は、ＭＰＥＧ２やＭＰＥＧ４と同様に動き補償と離散コサイン変換から構成されるハイブリッド符号化方式である。離散コサイン変換の変換方法が４×４ブロックサイズの整数係数変換であったり、動き補償の際のブロックサイズが可変であるなど、詳細な方式は異なるが、基本的な方式は、図１に示した画像情報符号化装置１０において行われる符号化方式と同様に行うことが可能であるようにされている。
【００２４】
また、Joint Video Teamで標準化が行われている符号化方式（以下JVT Codec）では、ＭＰＥＧ２やＭＰＥＧ４などの符号化効率を改善するため、様々な方式が検討されている。例えば、離散コサイン変換の変換方法は、４×４ブロックサイズの整数係数変換が用いられている。そして、動き補償の際のブロックサイズが可変であり、より最適な動き補償が行えるようになっている。しかしながら、基本的な方式は、図１に示した画像情報符号化装置１０において行われる符号化方式と同様に行うことが可能であるようにされている。
【００２５】
従って、図２に示した画像情報復号装置４０において行われる復号方式と、基本的に同じ方式により復号することが可能であるようにされている。
【００２６】
ＭＰＥＧ２，４では、フレームが１単位として符号化されるのに対して、JVT Codecでは、スライスが基本的な１単位として符号化される。復号に必要なピクチャヘッダなどの情報は、各スライスにヘッダ情報として付加され符号化される。これによりJVT Codecでは、各スライス単位で再同期をかけ、復号を開始することが可能とされている。
【００２７】
ＭＰＥＧ２，４は、イントラ符号化によるリフレッシュ（再同期）をＩピクチャによって行っている。すなわち、所定のタイミングでＩピクチャを挿入し、そのＩピクチャから再び復号を開始することが可能とされている。これに対し、JVT Codecは、Ｉスライス（イントラスライス）により再同期を行い、そのＩスライスから復号を開始することが可能とされている。もちろん、そのピクチャを全てＩスライスにより符号化し、Ｉピクチャとして再同期を行うことも可能である。
【００２８】
Ｉスライスにより再同期をかけるようにすると、エラーなどが発生した場合に、スライス単位で復号を再開することが可能となる。このようなエラー対策のためにＩスライスによる再同期は、JVT Codecにて採用されている。
【００２９】
ランダムアクセスを行おうとする場合、ＭＰＥＧ２，４ではＧＯＰ構造の先頭がランダムアクセスポイントになっており、各ＧＯＰの先頭には復号に必要なシーケンスヘッダが符号化されている。ＧＯＰの先頭はかならず、ピクチャの先頭である。
【００３０】
これに対してJVT Codecでは、スライス単位で復号再開が可能であるため、必ずしもランダムアクセスを行うためのポイントをピクチャの先頭にする必要は無い。従って、ランダムアクセスを行うためのポイント（以下、適宜、ＲＡＰ（ランダムアクセスポイント）と略記する）は、スライスの先頭であればよく、必ずしもピクチャの先頭である必要は無い。
【００３１】
図３Ａにランダムアクセスポイントがピクチャの先頭と一致している場合の一例を示す。この場合、Ｉピクチャの先頭に、ＲＡＰが存在している。図３Ｂにスライス単位でランダムアクセスポイントを設定した場合の一例を示す。この場合、Ｉピクチャ、Ｂピクチャ、またはＰピクチャの一部にＩスライスが設けられ、そのＩスライスがＲＡＰとして存在している。
【００３２】
ＭＰＥＧ２，４では、ＧＯＰに closed_gop, broken_link の二つのフラグが存在する。closed_gop は、そのＧＯＰ内の全てのピクチャが、他のＧＯＰのピクチャを参照することがなく独立であるか、または、他のＧＯＰのピクチャを参照して依存関係があるかを示すフラグである。
【００３３】
ディスプレイオーダ（Display order）でＧＯＰ内の最初のＩピクチャ以前のＢピクチャは、それ以前のＧＯＰ内のＩピクチャまたはＰピクチャを参照する可能性がある。ランダムアクセスにより、所定のＧＯＰの先頭から復号が開始される場合、closed_gop=0 のとき、Ｉピクチャより前のＢピクチャは正しく復号することが保証されていない。画像情報復号装置４０は、closed_gopを参照することにより、Ｉピクチャ以前のＢピクチャが正しく復号されるかどうか判定することが可能となる。
【００３４】
またbroken_linkは、編集などにより、そのＧＯＰの前後でビットストリームの置き換えが行われた場合、予測の参照画像が存在するかどうかを示すフラグである。closed_gop=0 であり、このＧＯＰの前のビットストリームを別のビットストリームに置き換えた場合、Ｉピクチャ以前のＢピクチャの参照画像は失われ、このようなときには、broken_link=1とされる。これにより、画像情報復号装置４０側は、ビットストリーム中で編集を行い、その編集で予測参照画像が存在しているかどうかを判定することが可能となる。
【００３５】
JVT Codecでは、ＭＰＥＧ２，４のような予測に加えて、Multiple Reference Frame予測が採用されている。Multiple Reference Frame予測では、以下に説明するように、参照するピクチャの位置関係に自由度を持たせた予測が行われる。そのため、画像情報復号装置４０側は、任意の数のフレームメモリを有し、そのどのフレームも予測参照フレームとすることが可能であるように構成される。
【００３６】
ＭＰＥＧ２，４を用いた復号では、画像情報復号装置４０側は、フレームメモリを２枚有していれば良かった。ＭＰＥＧ２，４では、Ｐピクチャを扱う場合、直前のＩピクチャまたはＰピクチャのみから予測を行い、Ｂピクチャを扱う場合、Display orderで、その前後のＩピクチャまたはＰピクチャからのみ予測を行うようにされていた。このとき、Ｂピクチャは、予測参照画像とすることは出来ないとされていた。
【００３７】
これに対して、JVT Codecに採用されているMultiple Reference Frame予測は、そのフレーム以前の任意のピクチャを参照することが可能であり、換言すれば、ピクチャタイプに関わらず、Ｂピクチャも含めて、予測参照画像として設定することができるようにされている。
【００３８】
このような予測を行う場合、ランダムアクセスや編集を行った際、予測画像を失うピクチャが必ずしもＩピクチャより前のＢピクチャだけとは限らなくなる。Ｐピクチャにおいても、予測参照画像が失われれる可能性がある。従って、画像情報復号装置４０は、ランダムアクセスの処理を実行した場合、どのフレームから正しく復号することが可能であるか、何らかの方法で検索する必要がある。
【００３９】
JVT CodecではＲＡＰとなるヘッダに、上記の問題を解決するための、pre_roll_count,initialization_delayという２つのフラグが含まれている。pre_roll_countは、ＲＡＰから何フレーム後に正しく復号することができるピクチャが存在するかを示すフラグである。例えばこの値が０である場合、ＲＡＰ以降の全てのピクチャが正しく復号できることを示す。
【００４０】
pre_roll_countは、ＭＰＥＧ２，４のclosed_gopを拡張したものであり、同様の考え方に基づくものであるが、上述したような違いがある。
【００４１】
initialization_delayは、何msだけビットストリームをバッファに取り込みパースする必要があるかを示すフラグである。pre_roll_countの単位はピクチャでinitialization_delay の単位は時間（ms）である。どちらも同一の情報を異なる単位で示したものである。
【００４２】
上述したようにJVT Codecは、ＲＡＰの先頭は必ずしもイントラ符号化スライスまたはピクチャである必要はない。
【００４３】
上述したことも含め図４を参照して、再度、JVT CodecのＲＡＰについて説明する。図４に示した例においては、pre_roll_count＝４の場合を示している。ＰピクチャであるピクチャＰ１に含まれるＩスライスの先頭が、ランダムアクセスポイント（ＲＡＰ）に設定されている。ピクチャＢ２，Ｂ３，Ｐ４は、ピクチャＰ１より以前のピクチャを参照しており、すなわち、ＲＡＰよりも以前のピクチャを参照しており、ランダムアクセスが実行されたとき、正しく復号されない。
【００４４】
これに対してピクチャＰ５以降は、ＲＡＰ以前を参照することはなく復号可能であるので、これ以後のピクチャはランダムアクセスを行った後も正しく復号することができる。よってこのような場合、pre_roll_count＝４と設定される。
【００４５】
【発明が解決しようとする課題】
しかしながら、このような拡張だけでは不十分であり、より効率よくランダムアクセスを実現する方法が必要でるといった問題があった。また、ビットストリームの編集などを行うための機能や特殊再生を行うことが困難であるといった問題があった。このような問題は、主に、以下に示すような原因に起因する。
【００４６】
上述したようにJVT Codecにおいて、ＲＡＰは、必ずしもピクチャの先頭に含まれるという規制はない。そのためJVT Codecは、ＭＰＥＧ２，４と比較して、より高い自由度を持っているといえる。しかしながら、こうした自由度の高さは、逆に、復号する側の処理の複雑さを増し、また、ビットストリームの編集（スプライシング）を行ったり、特殊再生を行う際の複雑さが増すといった問題を引き起こす可能性があった。
【００４７】
例えば、ビットストリームの編集を考えた場合、ＭＰＥＧ２では、コマーシャル（ＣＭ）などを、番組のビットストリームに挿入する際、ビットストリームレベルでの編集（スプライス）が行われる。ＭＰＥＧ２においては、スプライス開始ポイントは、必ずＧＯＰの先頭でなければならないという規制があるためである。
【００４８】
こうした編集ポイント（スプライスポイント）は、ピクチャの先頭と一致している必要がある。編集ポイントが、ピクチャの先頭と一致しているかどうか判定するためには、JVT Codecにいおては、ＲＡＰのヘッダに記述されている情報だけでなく、その後に続くビデオのビットストリームを復号して判定する必要があり、簡単な処理により行うことができなかった。
【００４９】
また、特殊再生においても、JVT Codecにおいては、ＲＡＰの先頭が必ずしもイントラでないため、その後に続くビットストリームを復号した後に、表示可能なピクチャまたはスライスを判定する必要があった。
【００５０】
本発明はこのような状況に鑑みてなされたものであり、より効率良くランダムアクセスを行えるようにし、また、ビットストリームの編集（スプライシング）や特殊再生などをより簡便な方法で可能にすることを目的とする。
【００５１】
【課題を解決するための手段】
本発明の第１の符号化装置は、ランダムアクセスが行われる際に参照されるランダムアクセスポイントヘッダを生成する生成手段と、生成手段により生成されたランダムアクセスポイントヘッダと、入力された画像信号をそれぞれ符号化する符号化手段と、符号化手段により符号化されたランダムアクセスポイントヘッダと画像信号を多重化し、ビットストリームを出力する出力手段とを含み、生成手段は、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータを少なくとも含むランダムアクセスポイントヘッダを生成することを特徴とする。
【００５２】
本発明の第１の符号化方法は、ランダムアクセスが行われる際に参照されるランダムアクセスポイントヘッダを生成する生成ステップと、生成ステップの処理で生成されたランダムアクセスポイントヘッダと、入力された画像信号をそれぞれ符号化する符号化ステップと、符号化ステップの処理で符号化されたランダムアクセスポイントヘッダと画像信号を多重化し、ビットストリームの出力を制御する出力制御ステップとを含み、生成ステップは、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータを少なくとも含むランダムアクセスポイントヘッダを生成することを特徴とする。
【００５４】
本発明の第１のプログラムは、ランダムアクセスが行われる際に参照されるランダムアクセスポイントヘッダを生成する生成ステップと、生成ステップの処理で生成されたランダムアクセスポイントヘッダと、入力された画像信号をそれぞれ符号化する符号化ステップと、符号化ステップの処理で符号化されたランダムアクセスポイントヘッダと画像信号を多重化し、ビットストリームの出力を制御する出力制御ステップとを含む処理をコンピュータに実行させ、生成ステップは、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータを少なくとも含むランダムアクセスポイントヘッダを生成することを特徴とする。
【００５５】
本発明の第１の復号装置は、ビットストリームを入力する入力手段と、ランダムアクセスが指示された場合、入力手段により入力されたビットストリームに含まれる、ランダムアクセスに関する情報が含まれているランダムアクセスポイントヘッダを検索する検索手段と、検索手段により検索されたランダムアクセスポイントヘッダに含まれる情報を参照してランダムアクセスを制御する制御手段とを含み、ランダムアクセスポイントヘッダは、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータを少なくとも含んでいることを特徴とする。
【００５６】
本発明の第１の復号方法は、ランダムアクセスが指示された場合、入力されたビットストリームに含まれる、ランダムアクセスに関する情報が含まれているランダムアクセスポイントヘッダを検索する検索ステップと、検索ステップの処理で検索されたランダムアクセスポイントヘッダに含まれる情報を参照してランダムアクセスを制御する制御ステップとを含み、ランダムアクセスポイントヘッダは、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータを少なくとも含んでいることを特徴とする。
【００５８】
本発明の第２のプログラムは、ランダムアクセスが指示された場合、入力されたビットストリームに含まれる、ランダムアクセスに関する情報が含まれているランダムアクセスポイントヘッダを検索する検索ステップと、検索ステップの処理で検索されたランダムアクセスポイントヘッダに含まれる情報を参照してランダムアクセスを制御する制御ステップとを含む処理をコンピュータに実行させ、ランダムアクセスポイントヘッダは、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータを少なくとも含んでいることを特徴とする。
【００５９】
本発明の第２の符号化装置は、ランダムアクセスが行われる際に参照されるランダムアクセスポイントヘッダを生成する生成手段と、生成手段により生成されたランダムアクセスポイントヘッダと、入力された画像信号をそれぞれ符号化する符号化手段と、符号化手段により符号化されたランダムアクセスポイントヘッダと画像信号を多重化し、ビットストリームを出力する出力手段とを含み、生成手段は、ランダムアクセスが開始されるポイントが、ピクチャの先頭と一致するか否かを示すフラグを少なくとも含むランダムアクセスポイントヘッダを生成することを特徴とする。
【００６０】
本発明の第２の符号化方法は、ランダムアクセスが行われる際に参照されるランダムアクセスポイントヘッダを生成する生成ステップと、生成ステップの処理で生成されたランダムアクセスポイントヘッダと、入力された画像信号をそれぞれ符号化する符号化ステップと、符号化ステップの処理で符号化されたランダムアクセスポイントヘッダと画像信号を多重化し、ビットストリームの出力を制御する出力制御ステップとを含み、生成ステップは、ランダムアクセスが開始されるポイントが、ピクチャの先頭と一致するか否かを示すフラグを少なくとも含むランダムアクセスポイントヘッダを生成することを特徴とする。
【００６２】
本発明の第３のプログラムは、ランダムアクセスが行われる際に参照されるランダムアクセスポイントヘッダを生成する生成ステップと、生成ステップの処理で生成されたランダムアクセスポイントヘッダと、入力された画像信号をそれぞれ符号化する符号化ステップと、符号化ステップの処理で符号化されたランダムアクセスポイントヘッダと画像信号を多重化し、ビットストリームの出力を制御する出力制御ステップとを含む処理をコンピュータに実行させ、生成ステップは、ランダムアクセスが開始されるポイントが、ピクチャの先頭と一致するか否かを示すフラグを少なくとも含むランダムアクセスポイントヘッダを生成することを特徴とする。
【００６３】
本発明の第２の復号装置は、ビットストリームを入力する入力手段と、ランダムアクセスが指示された場合、入力手段により入力されたビットストリームに含まれる、ランダムアクセスに関する情報が含まれているランダムアクセスポイントヘッダを検索する検索手段と、検索手段により検索されたランダムアクセスポイントヘッダに含まれる情報を参照してランダムアクセスを制御する制御手段とを含み、ランダムアクセスポイントヘッダは、ランダムアクセスが開始されるポイントが、ピクチャの先頭と一致するか否かを示すフラグを少なくとも含んでいることを特徴とする。
【００６４】
本発明の第２の復号方法は、ランダムアクセスが指示された場合、入力されたビットストリームに含まれる、ランダムアクセスに関する情報が含まれているランダムアクセスポイントヘッダを検索する検索ステップと、検索ステップの処理で検索されたランダムアクセスポイントヘッダに含まれる情報を参照してランダムアクセスを制御する制御ステップとを含み、ランダムアクセスポイントヘッダは、ランダムアクセスが開始されるポイントが、ピクチャの先頭と一致するか否かを示すフラグを少なくとも含んでいることを特徴とする。
【００６６】
本発明の第４のプログラムは、ランダムアクセスが指示された場合、入力されたビットストリームに含まれる、ランダムアクセスに関する情報が含まれているランダムアクセスポイントヘッダを検索する検索ステップと、検索ステップの処理で検索されたランダムアクセスポイントヘッダに含まれる情報を参照してランダムアクセスを制御する制御ステップとを含む処理をコンピュータに実行させ、ランダムアクセスポイントヘッダは、ランダムアクセスが開始されるポイントが、ピクチャの先頭と一致するか否かを示すフラグを少なくとも含んでいることを特徴とする。
【００６７】
本発明の第１の符号化装置及び方法、並びにプログラムにおいては、ランダムアクセスが指示されたときに参照されるランダムアクセスポイントヘッダに、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータが含まれる。
【００６８】
本発明の第１の復号装置及び方法、並びに第２のプログラムにおいては、ランダムアクセスが指示されたときに、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータが含まれたランダムアクセスポイントヘッダが検索される。
【００６９】
本発明の第２の符号化装置及び方法、並びに第３プログラムにおいては、ランダムアクセスが指示されたときに参照されるランダムアクセスポイントヘッダに、ランダムアクセスが開始されるポイントが、ピクチャの先頭であるか否かを示すフラグが含まれる。
【００７０】
本発明の第２の復号装置及び方法、並びに第４のプログラムにおいては、ランダムアクセスが指示されたときに、ランダムアクセスが開始されるポイントが、ピクチャの先頭であるか否かを示すフラグが含まれたランダムアクセスポイントヘッダが検索される。
【００７１】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照して説明する。図５は、本発明を適用した画像情報符号化装置の一実施の形態の構成を示す図である。図５に示した画像情報符号化装置１１０は、入力端子１１１より入力された画像情報を圧縮し、出力端子１１９より画像圧縮情報として出力する。画像情報符号化装置１１０のＡ／Ｄ変換部１１２は、入力端子１１１より入力された、アナログ信号で構成される画像情報をデジタル信号に変換し、画面並べ替えバッファ１１３に供給する。
【００７２】
画面並べ替えバッファ１１３は、Ａ／Ｄ変換部１１２より供給されたデジタル信号で構成される画像情報を出力端子１１９より出力される画像圧縮情報のＧＯＰ（Group of Pictures）構造に応じて、フレームの並べ替えを行う。なお、以下の説明においてＧＯＰとは、ランダムアクセスポイントを含むピクチャから、次のランダムアクセスポイントを含むピクチャの前までのピクチャの集まりとする。また、ＧＯＰの先頭のピクチャは、Ｉピクチャでなくても良く、ＢピクチャやＰピクチャの場合もある。
【００７３】
画面並べ替えバッファ１１３は、取得した画像情報がイントラ（画像内）符号化が行われる画像である場合、フレーム全体の画像情報を、加算器１１４を介して直交変換部１１５に供給する。
【００７４】
直交変換部１１５は、取得した画像情報に対して離散コサイン変換（DCT）、またはカルーネン・レーベ変換等に代表される直交変換処理を施し、算出された変換係数を量子化部１１６に供給する。量子化部１１６は、直交変換部１１５から供給された変換係数に対して量子化処理を施し、量子化された変換係数を可逆符号化部１１７に供給する。
【００７５】
可逆符号化部１１７は、量子化部１１６から供給された、量子化された変換係数や量子化スケール等から符号化モードを決定し、この符号化モードに対して可変長符号化、または算術符号化等の可逆符号化を施し、画像符号化単位のヘッダ部に挿入される情報を生成し、符号化された符号化モードを蓄積バッファ１１８に供給して蓄積させる。この符号化された符号化モードは、画像圧縮情報として出力端子１１９より出力される。
【００７６】
また、可逆符号化部１１７は、量子化された変換係数に対して可変長符号化、若しくは算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ１１８に供給して蓄積させる。
【００７７】
可逆符号化部１１７は、量子化部１１６から供給された量子化された変換係数および量子化スケール、並びに動き予測・補償・予測モード決定部１２４から供給された動きベクトル情報等から符号化モードを決定し、その決定した符号化モードに対して可変長符号化または算術符号化等の可逆符号化を施し、画像符号化単位のヘッダ部に挿入される情報を生成する。そして、可逆符号化部１１７は、符号化された符号化モードを蓄積バッファ１１８に供給して蓄積させる。この符号化された符号化モードは、画像圧縮情報として出力される。
【００７８】
また、可逆符号化部１１７は、その動きベクトル情報に対して可変長符号化若しくは算術符号化等の可逆符号化処理を施し、画像符号化単位のヘッダ部に挿入される情報を生成する。
【００７９】
レート制御部１２０は、蓄積バッファ１１８に蓄積されているデータ量を監視し、そのデータ残量が許容上限値まで増量すると、量子化制御信号を出力し、量子化部１１６の量子化スケールを大きくすることにより、量子化データのデータ量を低下させる。また、これとは逆に、蓄積バッファ１１８に蓄積されているデータ残量が許容下限値まで減少すると、レート制御部１２０は、量子化制御信号によって量子化部１１６の量子化スケールを小さくすることにより、量子化データのデータ量を増大させる。このようにして、レート制御部１２０は、蓄積バッファ１１８のオーバフローまたはアンダフローを防止する。
【００８０】
また、量子化部１１６は、量子化後の変換係数を逆量子化部１２１に供給し、逆量子化部１２１は、その変換係数を逆量子化し、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ１２３に供給して蓄積させる。
【００８１】
また、画面並べ替えバッファ１１３は、インター（画像間）符号化が行われる画像の場合、画像情報を動き予測・補償・予測モード決定部１２４に供給する。動き予測・補償・予測モード決定部１２４は、同時に参照される画像情報をフレームメモリ１２３より取り出し、動き予測・補償処理を施して参照画像情報を生成する。動き予測・補償・予測モード決定部１２４は、この参照画像情報を加算器１１４に供給し、加算器１１４は、参照画像情報を当該画像情報との差分信号に変換する。また、動き予測・補償・予測モード決定部１２４は、動きベクトル情報を可逆符号化部１１７に供給する。
【００８２】
可逆符号化部１１７は、その動きベクトル情報に対して可変長符号化または算術符号化等の可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を生成する。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、それらの説明は省略する。
【００８３】
このような画像情報符号化装置１１０の構成は、従来の装置と基本的に同様であるが、本実施の形態における画像情報符号化装置１１０は、さらに、ＲＡＰ（ランダムアクセスポイント）ヘッダ発生部１３１とピクチャタイプ決定部１３２を備えている。そこで、このＲＡＰヘッダ発生部１３１とピクチャタイプ決定部１３２を中心に以下に説明する。
【００８４】
画像情報符号化装置１１０に入力された画像情報は、Ａ／Ｄ変換部１１２においてデジタル信号に変換され、画面並べ替えバッファ１１３に入力される一方で、画面並べ替えバッファ１１３には、ピクチャタイプ決定部１３２からのデータも入力される。画面並べ替えバッファ１１３におけるフレームの並べ替えは、ピクチャタイプ決定部１３２において決定されるピクチャタイプに応じて行われる。
【００８５】
ピクチャタイプ決定部１３２は、各ピクチャの符号化ピクチャタイプを決定する。符号化ピクチャタイプには、イントラ符号化ピクチャ（Ｉピクチャ）と、インター符号化ピクチャ（Ｐピクチャ、Ｂピクチャ）がある。各ピクチャを、どの符号化ピクチャタイプで符号化するかは、予め定められた所定の周期毎に所定のピクチャタイプになるように決定されるか、外部からの制御により決定されるか、または、シーンチェンジの検出などが行われ、その結果に対応して決定される。または、その他の手法でピクチャタイプが決定されても良い。
【００８６】
ピクチャタイプ決定部１３２において決定された、符号化ピクチャタイプは、動き予測・補償・予測モード決定部１２４に供給される。動き予測・補償・予測モード決定部１２４は、供給された符号化ピクチャタイプに応じて、マクロブロック単位で、予測モードを決定し、動き予測および補償を行う。
【００８７】
ピクチャタイプ決定部１３２において決定された符号化ピクチャタイプは、可逆符号化部１１７に供給され、所定の手法により符号化され、ビットストリーム中に多重化される。ピクチャタイプ決定部１３２において決定された符号化ピクチャタイプは、ＲＡＰヘッダ発生部１３１にも供給される。
【００８８】
ＲＡＰヘッダ発生部１３１には、動き予測・補償・予測モード決定部１２４から、符号化するマクロブロックの動き補償予測モード（マクロブロックタイプ）も供給される。
【００８９】
ＲＡＰヘッダ発生部１３１には、可逆符号化部１１７から、符号化するマクロブロックのピクチャ内の位置を示すマクロブロックアドレス（MB_address）と、ピクチャ内のスライスの位置を示すスライスアドレス（Slice_adress）も供給される。
【００９０】
ＲＡＰヘッダ発生部１３１は、供給された符号化ピクチャタイプ、マクロブロックタイプ、マクロブロックアドレス、スライスアドレスに応じて所定のＲＡＰヘッダを発生する。発生されたＲＡＰヘッダは、可逆符号化部１１７に供給され、ビットストリーム中の所定の位置に符号化された後、多重化されて伝送される。
【００９１】
図６は、ＲＡＰヘッダ発生部１３１の構成例を示す図である。ＲＡＰヘッダ発生部１３１は、ランダムアクセスポイント決定部１４１、ランダムアクセスタイプ決定部１４２、アラインメントタイプ決定部１４３、および、ＲＡＰヘッダ生成部１４４から構成されている。
【００９２】
ピクチャタイプ決定部１３２からのピクチャタイプ、可逆符号化部１１７からのマクロブロックアドレスとスライスアドレス、および、動き予測・補償・予測モード決定部１２４からのマクロブロック予測モードは、ランダムアクセスポイント決定部１４１に入力される。
【００９３】
ランダムアクセスポイント決定部１４１は、入力されたピクチャタイプ、マクロブロックアドレス、スライスアドレス、および、マクロブロック予測モードに基づき、その時点で符号化するマクロブロックの位置が、ランダムアクセスポイントであるか否かを決定する。
【００９４】
ランダムアクセスポイント決定部１４１は、例えば、予め決められた所定のランダムアクセス位置情報に基づいてランダムアクセスポイントであるか否かを決定する。また、例えば、Ｉピクチャの先頭をランダムアクセスポイントとしてもよい。また、別の形態としては、Ｉスライスの先頭をランダムアクセスポイントとしても良い。また、別の形態としては、一定周期毎にランダムアクセスポイントが設定されるようにしても良い。
【００９５】
ランダムアクセスポイント決定部１４１は、ランダムアクセスポイントであると判断した場合、ＲＡＰヘッダを生成するための要求信号であるＲＡＰヘッダ要求信号（ＲＥＱ）を、ランダムアクセスタイプ決定部１４２、アラインメントタイプ決定部１４３、および、ＲＡＰヘッダ生成部１４４に出力する。
【００９６】
ランダムアクセスタイプ決定部１４２は、ＲＡＰヘッダ要求信号（ＲＥＱ）が入力されると、マクロブロックアドレスとピクチャタイプに基づいてランダムアクセスタイプ（ＲＡ＿ＴＹＰＥ）を決定し、その結果をＲＡＰヘッダ生成部１４４に出力する。JVT Codecにおいては、ランダムアクセスポイントが必ずしもイントラ符号化ピクチャやスライスでなくてもよいとされている。
【００９７】
ランダムアクセスタイプ決定部１４２は、ランダムアクセスポイントがイントラ符号化ピクチャである場合、ＲＡ＿ＴＹＰＥ＝１と設定し、イントラスライスである場合、ＲＡ＿ＴＹＰＥ＝２と設定し、その他の符号化モードの場合、ＲＡ＿ＴＹＰＥ＝０と設定する。以下に、ＲＡ＿ＴＹＰＥのセマンティクスの一例を示す。
【００９８】
【００９９】
ランダムアクセスタイプ（ＲＡ＿ＴＹＰＥ）により、画像情報符号化装置１１０に対応する画像情報復号装置側（例えば、図７に示したような構成を有する）では、復号時にビットストリームの可逆符号化を行うことなく、ランダムアクセスポイントが、イントラ符号化されているかを判定することが可能となる。
【０１００】
例えば、特殊再生時などにおいて、ピクチャ全体を復号して表示したい場合、または、スプライシングなどのようにランダムアクセスポイントでビットストリームを編集するような場合、イントラ符号化ピクチャまたはスライスであるランダムアクセスポイントを検索する必要がある。
【０１０１】
画像信号復号装置や編集装置では、ＲＡＰヘッダを検索することによりランダムアクセスポイントを検索し、かつ、ＲＡ＿ＴＹＰＥによりイントラ符号化されているランダムアクセスポイントを検索する。これにより、イントラ符号化されたランダムアクセスポイントを、効率よく検索することが可能になる。
【０１０２】
アラインメントタイプ決定部１４３は、ＲＡＰヘッダ要求信号（ＲＥＱ）が入力されると、マクロブロックアドレス、ピクチャタイプに応じてアラインメントタイプ（ＡＬ＿ＴＹＰＥ）を決定し、ＲＡＰヘッダ生成部１４４に出力する。アラインメントタイプは、ランダムアクセスポイントが、ピクチャの先頭と一致しているかどうかを示すフラグである。
【０１０３】
例えば、ランダムアクセスポイントが、ピクチャの先頭と一致する場合、ＡＬ＿ＴＹＰＥ＝１と設定され、それ以外の場合、換言すればピクチャの中間でスライスがランダムアクセスポイントになっている場合、ＡＬ＿ＴＹＰＥ＝０と設定される。以下にＡＬ＿ＴＹＰＥのセマンティクスの一例を示す。
【０１０４】
【０１０５】
画像情報符号化装置１１０に対応する画像信号復号装置側は、アラインメントタイプ（ＡＬ＿ＴＹＰＥ）を参照することにより、復号時にビットストリームの可逆符号化を復号することなく、ランダムアクセスポイントがピクチャ中のどの位置に設定されているかを判定することが可能となる。
【０１０６】
例えば、特殊再生などにおいてピクチャ全体を復号して表示させたい場合、または、スプライシングなどのようにランダムアクセスポイントでビットストリームが編集されるような場合、ピクチャの先頭とランダムアクセスポイントが一致しているランダムアクセスポイントを検索する必要がある。
【０１０７】
画像情報復号装置や編集装置は、ＲＡＰヘッダを検索することによりランダムアクセスポイントと検索し、かつ、ＡＬ＿ＴＹＰＥによりピクチャの先頭と一致しているランダムアクセスを検索する。これにより、ピクチャの先頭に一致したランダムアクセスポイントを、効率よく検索することが可能になる。
【０１０８】
ＲＡＰヘッダ生成部１４４は、ＲＡＰヘッダ要求信号（ＲＥＱ）が入力されると、ランダムアクセスタイプ（ＲＡ＿ＴＹＰＥ）、アラインメントタイプ（ＡＬ＿ＴＹＰＥ）などの情報を含むＲＡＰヘッダを生成し、可逆符号化部１１７（図５）に出力する。以下に、ＲＡＰヘッダ生成部１４４において生成されるにＲＡＰヘッダのシンタクスの一例を示す。
【０１０９】
【０１１０】
RAP_startcodeは、ＲＡＰヘッダが存在し、そのヘッダの開始を示すコードである。closed_GOPは、そのＧＯＰ内の全てのピクチャが他のＧＯＰのピクチャを参照することがなく独立であるか、または、他のＧＯＰのピクチャを参照するという依存関係があるかどうかを示すフラグである。
【０１１１】
broken_linkは、編集などにより、そのＧＯＰの前後でビットストリームの置き換えが行われた場合、予測の参照画像が存在するか否かを示すフラグである。pre_roll_countは、ＲＡＰの何フレーム後から正しく復号することが可能であるかを示すフラグである。initialization_delayは、何msだけビットストリームをバッファに取り込みパースする必要があるかどうかを示すフラグである。
【０１１２】
RA_TYPEとAL_TYPEは、それぞれ、上述したように、ランダムアクセスのタイプとアラインメントのタイプを表すフラグ（データ）である。
【０１１３】
図７に図５に示した画像情報符号化装置１１０に対応する復号装置の一実施の形態の構成を示す。図７に示した復号装置１５０は、内部に、従来の画像情報復号装置４０（図２）を含む構成とされている。従って、ここでは、画像情報復号装置４０以外の部分について主に説明する。
【０１１４】
画像情報符号化装置１１０により符号化され、図示されていないネットワークや蓄積メディアから供給される画像圧縮情報（ＢＳ：ビットストリーム）は、蓄積バッファ１５１に入力される。蓄積バッファ１５１に蓄えられたビットストリームは、読み出し制御部１５２により読み出され、画像情報復号装置４０に入力される。画像情報復号装置４０は、図２に示した構成とされており、入力された画像圧縮情報（ビットストリーム）を復号し、画像情報を出力する。
【０１１５】
また読み出し制御部１５２は、スタートコード検出部１５３に対して、入力されたビットストリームを供給する。スタートコード検出部１５３は、さらにビットストリームをＲＡＰヘッダ解析部１５４に出力したり、読み出し制御部１５２に対して、スタートコードの検出結果などを出力する。
【０１１６】
ランダムアクセスや特殊再生時の際には、ビットストリーム中のランダムアクセスポイントが検索され、その検索結果に基づきアクセスが行われる。この場合、ＲＡＰヘッダのスタートコードが検出され、そこからビットストリームの復号が開始される。以下、ランダムアクセスや特殊再生時を例に挙げ、図７に示した復号装置１５０の動作について説明する。
【０１１７】
外部より（例えばユーザの指示により）、特殊再生などの指示としてランダムアクセスを行えという制御信号が入力されると、復号装置１５０の読み出し制御部１５２は、スタートコード検出部１５３に、検出要求信号（ＲＥＱ＿Ｓ）およびビットストリーム（ＢＳ）を供給する。
【０１１８】
スタートコード検出部１５３は、検出要求信号を受信すると、入力されたビットストリーム中に存在するスタートコード（RAP_startcode）の検出を開始する。スタートコードは、ビットストリーム中の固有のバイトパターンであるため、スタートコードの検出は、ビットストリームを復号する必要は無く、予め定められた固有のバイトパターンを検出すればよい。
【０１１９】
スタートコード検出部１５３は、ランダムアクセスポイント（ＲＡＰ）のスタートコードを検出すると、検出信号（ＤＥＴ）を読み出し制御部１５２およびＲＡＰヘッダ解析部１５４に出力する。またこのとき、ビットストリームもＲＡＰヘッダ解析部１５４に供給される。
【０１２０】
ＲＡＰヘッダ解析部１５４は、ランダムアクセスポイントのＲＡＰヘッダの内容を解析し、ＲＡＰヘッダのスタートコードに続く内容を復号する。このＲＡＰヘッダの内容に応じて、ＲＡＰヘッダ解析部１５４は、読み出し制御信号（ＣＯＮＴ）を読み出し制御部１５２に出力する。
【０１２１】
高速再生時のＲＡＰヘッダ解析部１５４の動作の一例を説明する。高速再生が行われる場合、ランダムアクセスポイントは、イントラ符号化ピクチャまたはスライスである必要があるが、ランダムアクセスポイントのピクチャ以降のピクチャが、ランダムアクセスポイントを超えて予測を行っているようなことがあっても良い。
【０１２２】
このような場合、ランダムアクセスポイントは、イントラでそのまま復号可能であるが、それ以降のピクチャは pre_roll_count が示すピクチャまで復号することはできない。従って、 pre_roll_count の値はどのような値が設定されていても良いが、ＲＡ＿ＴＹＰＥは１または２と設定されているものでなければならない。
【０１２３】
ＲＡ＿ＴＹＰＥが１である場合、ランダムアクセスポイントの先頭は、イントラピクチャであり、そのランダムアクセスポイントは、高速再生に用いることができる。そのイントラピクチャの分のビットストリームが、画像情報復号装置４０に供給され、復号されるように指示する制御信号（ＣＯＮＴ）が、ＲＡＰヘッダ解析部１５４から読み出し制御部１５２に対して出力される。
【０１２４】
ＲＡ＿ＴＹＰＥが２である場合、ランダムアクセスポイントの先頭は、イントラスライスであり、そのランダムアクセスポイントは、高速再生に用いることができる。そのイントラスライスの分のビットストリームが画像情報復号装置４０に供給され、復号されるように指示する制御信号（ＣＯＮＴ）が、ＲＡＰヘッダ解析部１５４から読み出し制御部１５２に対して出力される。
【０１２５】
次に、スプライスなどのビットストリームの編集時におけるランダムアクセスが行われる際のＲＡＰヘッダ解析部１５４の動作の一例を説明する。スプライスが行なわれる場合、ランダムアクセスポイントは、ピクチャの先頭と一致している必要があるが、ランダムアクセスポイントが、イントラである必要は無く、ランダムアクセスポイントのピクチャ以降のピクチャの予測が、ランダムアクセスポイントを超えて行われるようなことがあっても良い。
【０１２６】
ランダムアクセスポイント以降のピクチャは pre_roll_count が示すピクチャまで復号することはできない。従って、pre_roll_count、ＲＡ＿ＴＹＰＥの値は何でもよいが（制限はないが）、ＡＬ＿ＴＹＰＥは１でなければならない。
【０１２７】
ＲＡＰヘッダ解析部１５４は、ＲＡＰヘッダを解析し、ＡＬ＿ＴＹＰＥの値が０である場合、そのランダムアクセスポイントは使用できない。そのため、ＡＬ＿ＴＹＰＥの値が０ではない、次のランダムアクセスポイントの検出が行われる。従って、ＲＡＰヘッダ解析部１５４は、ＡＬ＿ＴＹＰＥが０である場合、次のランダムアクセスポイントを検出するよう制御信号を読み出し制御部１５２に出力する。
【０１２８】
ＡＬ＿ＴＹＰＥが１である場合、ランダムアクセスポイントの先頭は、ピクチャの先頭と一致しており、そのランダムアクセスポイントは、スプライスに用いることができる。そこで、ビットストリームが画像情報復号装置４０に供給されるように指示する制御信号が、読み出し制御部１５２に出力される。
【０１２９】
このような指示が出されることにより、ランダムアクセスが実現される。画像情報復号装置４０は、このような指示のもと、読み出し制御部１５２から出力されたビットストリーム（画像圧縮情報）を復号し、画像情報を図示されていないテレビジョン受像機などの画像表示装置に対して出力する。
【０１３０】
このように、ＲＡ＿ＴＹＰＥとＡＬ＿ＴＹＰＥをＲＡＰヘッダに含ませることにより、復号側において、ランダムアクセスの処理にかかる処理量を低減させることができる。
【０１３１】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。記録媒体の説明の前に、記録媒体を扱うパーソナルコンピュータについて簡単に説明する。
【０１３２】
図８は、汎用のパーソナルコンピュータの内部構成例を示す図である。パーソナルコンピュータのＣＰＵ（Central Processing Unit）２１１は、ＲＯＭ（Read Only Memory）２１２に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）２１３には、ＣＰＵ２１１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。入出力インタフェース２１５は、キーボードやマウスから構成される入力部２１６が接続され、入力部２１６に入力された信号をＣＰＵ２１１に出力する。また、入出力インタフェース２１５には、ディスプレイやスピーカなどから構成される出力部７も接続されている。
【０１３３】
さらに、入出力インタフェース２１５には、ハードディスクなどから構成される記憶部２１８、および、インターネットなどのネットワークを介して他の装置とデータの授受を行う通信部２１９も接続されている。ドライブ２２０は、磁気ディスク２３１、光ディスク２３２、光磁気ディスク２３３、半導体メモリ２３４などの記録媒体からデータを読み出したり、データを書き込んだりするときに用いられる。
【０１３４】
記録媒体は、図８に示すように、パーソナルコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２３１（フレキシブルディスクを含む）、光ディスク２３２（CD-ROM（Compact Disc-Read Only Memory），DVD（Digital Versatile Disc）を含む）、光磁気ディスク２３３（MD（Mini-Disc）（登録商標）を含む）、若しくは半導体メモリ２３４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているＲＯＭ２１２や記憶部２１８が含まれるハードディスクなどで構成される。
【０１３５】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３６】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１３７】
【発明の効果】
以上の如く本発明の第１の符号化装置及び方法、並びにプログラムによれば、ランダムアクセスが指示されたときに参照されるランダムアクセスポイントヘッダに、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータを含ませるようにしたので、復号する側で、ランダムアクセスにかかる処理を簡便に行わせることが可能となる。
【０１３８】
また、本発明の第１の復号装置及び方法、並びに第２のプログラムによれば、ランダムアクセスが指示されたときに、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータが含まれたランダムアクセスポイントヘッダを検索するようにしたので、ランダムアクセスにかかる処理を簡便に行うことが可能となる。
【０１３９】
さらに、本発明の第２の符号化装置及び方法、並びに第３プログラムによれば、ランダムアクセスが指示されたときに参照されるランダムアクセスポイントヘッダに、ランダムアクセスが開始されるポイントが、ピクチャの先頭であるか否かを示すフラグを含ませるようにしたので、復号する側で、ランダムアクセスにかかる処理を簡便に行わせることが可能となる。
【０１４０】
さらに、本発明の第２の復号装置及び方法、並びに第４のプログラムによれば、ランダムアクセスが指示されたときに、ランダムアクセスが開始されるポイントが、ピクチャの先頭であるか否かを示すフラグが含まれたランダムアクセスポイントヘッダを検索するようにしたので、ランダムアクセスにかかる処理を簡便に行うことが可能となる。
【図面の簡単な説明】
【図１】従来の画像情報符号化装置の一例の構成を示す図である。
【図２】従来の画像情報復号装置の一例の構成を示す図である。
【図３】ランダムアクセスポイントについて説明する図である。
【図４】参照するピクチャについて説明する図である。
【図５】本発明を適用した画像情報符号化装置の一実施の形態の構成を示す図である。
【図６】ＲＡＰヘッダ発生部１３１の内部構成例を示す図である。
【図７】本発明を適用した復号装置の一実施の形態の構成を示す図である。
【図８】媒体を説明する図である。
【符号の説明】
１１０ 画像情報符号化装置， １１２ Ａ／Ｄ変換部， １１３ 画面並べ替えバッファ， １１４ 加算器， １１５ 直交変換部， １１６ 量子化部， １１７ 可逆符号化部， １１８ 蓄積バッファ， １２０ レート制御部， １２１ 逆量子化部， １２２ 逆直交変換部， １２３ フレームメモリ， １２４ 動き予測・補償・予測モード決定部， １３１ ＲＡＰヘッダ発生部， １３２ ピクチャタイプ決定部， １４１ ランダムアクセスポイント決定部， １４２ ランダムアクセスタイプ決定部， １４３ アラインメントタイプ決定部， １４４ ＲＡＰヘッダ生成部， １５０ 復号装置， １５１ 蓄積バッファ， １５２ 読み出し制御部， １５３ スタートコード検出部，１５４ ＲＡＰヘッダ解析部
【発明の属する技術分野】
本発明は符号化装置および方法、復号装置および方法、並びにプログラムに関し、特に、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン放送、インターネットなどのネットワークメディアを介して送受信する際に、若しくは光ディスク、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いて好適な符号化装置および方法、復号装置および方法、並びにプログラムに関する。
【０００２】
【従来の技術】
近年、画像情報をデジタルとして取り扱い、その際、効率の良い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Expert Group）などの方式に準拠した装置が、放送局などの情報配信、および一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、MPEG２（ISO/IEC 13818-2）は、汎用画像圧縮方式として定義された規格であり、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、例えばDVD（Digital Versatile Disk）規格に代表されるように、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに広く用いられている。
【０００４】
このMPEG２圧縮方式を用いることにより、例えば、７２０×４８０画素を持つ標準解像度の飛び越し走査画像に対しては４乃至８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像に対しては１８乃至２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００５】
MPEG２は主として放送用に適合する高画質符号化を対象としていたが、より高い圧縮率の符号化方式には対応していなかったので、MPEG４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO/IEC 14496-2としてその規格が国際標準に承認された。
【０００６】
さらに、近年、テレビ会議用の画像符号化を当初の目的として、国際電気連合の電気通信標準化部門であるITU-T (International Telecommunication Union − Telecommunication Standardization Sector)によるＨ.２６Ｌ（ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。Ｈ．２６Ｌは、MPEG２やMPEG４といった符号化方式に比べ、その符号化、復号に、より多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
【０００７】
また、現在、MPEG４の活動の一環として、このＨ．２６Ｌに基づいた、Ｈ．２６Ｌではサポートされない機能をも取り入れた、より高い符号化効率を実現する符号化技術の標準化がITU-Tと共同でＪＶＴ（Joint Video Team）として行われている。
【０００８】
ここで、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償とによる画像圧縮について説明する。図１は、従来の画像情報符号化装置の一例の構成を示す図である。
【０００９】
図１に示した画像情報符号化装置１０において、入力端子１１より入力されたアナログ信号からなる画像情報は、Ａ／Ｄ変換部１２により、デジタル信号に変換される。そして、画面並べ替えバッファ１３は、Ａ／Ｄ変換部１２より供給された画像情報のＧＯＰ（Group of Pictures）構造に応じて、フレームの並べ替えを行う。
【００１０】
ここで、画面並べ替えバッファ１３は、イントラ（画像内）符号化が行われる画像に対しては、フレーム全体の画像情報を直交変換部１５に供給する。直交変換部１５は、画像情報に対して離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換を施し、変換係数を量子化部１６に供給する。量子化部１６は、直交変換部１５から供給された変換係数に対して量子化処理を施す。
【００１１】
可逆符号化部１７は、量子化部１６から供給された量子化された変換係数や量子化スケール等から符号化モードを決定し、この符号化モードに対して可変長符号化、又は算術符号化等の可逆符号化を施し、画像符号化単位のヘッダ部に挿入される情報を形成する。そして、可逆符号化部１７は、符号化された符号化モードを蓄積バッファ１８に供給して蓄積させる。この符号化された符号化モードは、画像圧縮情報として出力端子１９より出力される。
【００１２】
また、可逆符号化部１７は、量子化された変換係数に対して可変長符号化、若しくは算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ１８に供給して蓄積させる。この符号化された変換係数は、画像圧縮情報として出力端子１９より出力される。
【００１３】
量子化部１６の挙動は、蓄積バッファ１８に蓄積された変換係数のデータ量に基づいて、レート制御部２０によって制御される。また、量子化部２０は、量子化後の変換係数を逆量子化部２１に供給し、逆量子化部２１は、その量子化後の変換係数を逆量子化する。逆直交変換部２２は、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ２３に供給して蓄積させる。
【００１４】
また、画面並べ替えバッファ１３は、インター（画像間）符号化が行われる画像に関しては、画像情報を動き予測・補償部２４に供給する。動き予測・補償部２４は、同時に参照される画像情報をフレームメモリ２３より取り出し、動き予測・補償処理を施して参照画像情報を生成する。動き予測・補償部２４は、生成した参照画像情報を加算器１４に供給し、加算器１４は、参照画像情報を対応する画像情報との差分信号に変換する。また、動き予測・補償部２４は、同時に動きベクトル情報を可逆符号化部１７に供給する。
【００１５】
可逆符号化部１７は、量子化部１６から供給され量子化された変換係数および量子化スケール、並びに動き予測・補償部２４から供給された動きベクトル情報等から符号化モードを決定し、その決定した符号化モードに対して可変長符号化または算術符号化等の可逆符号化を施し、画像符号化単位のヘッダ部に挿入される情報を生成する。そして、可逆符号化部１７は、符号化された符号化モードを蓄積バッファ１８に供給して蓄積させる。この符号化された符号化モードは、画像圧縮情報として出力される。
【００１６】
また、可逆符号化部１７は、その動きベクトル情報に対して可変長符号化若しくは算術符号化等の可逆符号化処理を施し、画像符号化単位のヘッダ部に挿入される情報を生成する。
【００１７】
また、イントラ符号化と異なり、インター符号化の場合、直交変換部１５に入力される画像情報は、加算器１４より得られた差分信号である。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、その説明を省略する。
【００１８】
次に、上述した画像情報符号化装置１０に対応する画像情報復号装置の一例の構成を図２に示す。図２に示した画像情報復号装置４０において、入力端子４１より入力された画像圧縮情報は、蓄積バッファ４２において一時的に格納された後、可逆復号部４３に転送される。
【００１９】
可逆復号部４３は、定められた画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可変長復号若しくは算術復号等の処理を施し、ヘッダ部に格納された符号化モード情報を取得し逆量子化部４４等に供給する。また同様に、可逆復号部４３は、量子化された変換係数を取得し逆量子化部４４に供給する。さらに、可逆復号部４３は、復号するフレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測・補償部５１に供給する。
【００２０】
逆量子化部４４は、可逆復号部４３から供給された量子化後の変換係数を逆量子化し、変換係数を逆直交変換部４５に供給する。逆直交変換部４５は、定められた画像圧縮情報のフォーマットに基づき、変換係数に対して逆離散コサイン変換若しくは逆カルーネン・レーベ変換等の逆直交変換を施す。
【００２１】
ここで、対象となるフレームがイントラ符号化されたものである場合、逆直交変換処理が施された画像情報は、画面並べ替えバッファ４７に格納され、Ｄ／Ａ変換部４８におけるＤ／Ａ変換処理の後に出力端子４９から出力される。
【００２２】
また、対象となるフレームがインター符号化されたものである場合、動き予測・補償部５１は、可逆復号処理が施された動きベクトル情報とフレームメモリ５０に格納された画像情報とに基づいて参照画像を生成し、加算器４６に供給する。加算器４６は、この参照画像と逆直交変換部４５からの出力とを合成する。なお、その他の処理については、イントラ符号化されたフレームと同様であるため、説明を省略する。
【００２３】
ところで、先に述べた Joint Video Team は、ＭＰＥＧ２やＭＰＥＧ４と同様に動き補償と離散コサイン変換から構成されるハイブリッド符号化方式である。離散コサイン変換の変換方法が４×４ブロックサイズの整数係数変換であったり、動き補償の際のブロックサイズが可変であるなど、詳細な方式は異なるが、基本的な方式は、図１に示した画像情報符号化装置１０において行われる符号化方式と同様に行うことが可能であるようにされている。
【００２４】
また、Joint Video Teamで標準化が行われている符号化方式（以下JVT Codec）では、ＭＰＥＧ２やＭＰＥＧ４などの符号化効率を改善するため、様々な方式が検討されている。例えば、離散コサイン変換の変換方法は、４×４ブロックサイズの整数係数変換が用いられている。そして、動き補償の際のブロックサイズが可変であり、より最適な動き補償が行えるようになっている。しかしながら、基本的な方式は、図１に示した画像情報符号化装置１０において行われる符号化方式と同様に行うことが可能であるようにされている。
【００２５】
従って、図２に示した画像情報復号装置４０において行われる復号方式と、基本的に同じ方式により復号することが可能であるようにされている。
【００２６】
ＭＰＥＧ２，４では、フレームが１単位として符号化されるのに対して、JVT Codecでは、スライスが基本的な１単位として符号化される。復号に必要なピクチャヘッダなどの情報は、各スライスにヘッダ情報として付加され符号化される。これによりJVT Codecでは、各スライス単位で再同期をかけ、復号を開始することが可能とされている。
【００２７】
ＭＰＥＧ２，４は、イントラ符号化によるリフレッシュ（再同期）をＩピクチャによって行っている。すなわち、所定のタイミングでＩピクチャを挿入し、そのＩピクチャから再び復号を開始することが可能とされている。これに対し、JVT Codecは、Ｉスライス（イントラスライス）により再同期を行い、そのＩスライスから復号を開始することが可能とされている。もちろん、そのピクチャを全てＩスライスにより符号化し、Ｉピクチャとして再同期を行うことも可能である。
【００２８】
Ｉスライスにより再同期をかけるようにすると、エラーなどが発生した場合に、スライス単位で復号を再開することが可能となる。このようなエラー対策のためにＩスライスによる再同期は、JVT Codecにて採用されている。
【００２９】
ランダムアクセスを行おうとする場合、ＭＰＥＧ２，４ではＧＯＰ構造の先頭がランダムアクセスポイントになっており、各ＧＯＰの先頭には復号に必要なシーケンスヘッダが符号化されている。ＧＯＰの先頭はかならず、ピクチャの先頭である。
【００３０】
これに対してJVT Codecでは、スライス単位で復号再開が可能であるため、必ずしもランダムアクセスを行うためのポイントをピクチャの先頭にする必要は無い。従って、ランダムアクセスを行うためのポイント（以下、適宜、ＲＡＰ（ランダムアクセスポイント）と略記する）は、スライスの先頭であればよく、必ずしもピクチャの先頭である必要は無い。
【００３１】
図３Ａにランダムアクセスポイントがピクチャの先頭と一致している場合の一例を示す。この場合、Ｉピクチャの先頭に、ＲＡＰが存在している。図３Ｂにスライス単位でランダムアクセスポイントを設定した場合の一例を示す。この場合、Ｉピクチャ、Ｂピクチャ、またはＰピクチャの一部にＩスライスが設けられ、そのＩスライスがＲＡＰとして存在している。
【００３２】
ＭＰＥＧ２，４では、ＧＯＰに closed_gop, broken_link の二つのフラグが存在する。closed_gop は、そのＧＯＰ内の全てのピクチャが、他のＧＯＰのピクチャを参照することがなく独立であるか、または、他のＧＯＰのピクチャを参照して依存関係があるかを示すフラグである。
【００３３】
ディスプレイオーダ（Display order）でＧＯＰ内の最初のＩピクチャ以前のＢピクチャは、それ以前のＧＯＰ内のＩピクチャまたはＰピクチャを参照する可能性がある。ランダムアクセスにより、所定のＧＯＰの先頭から復号が開始される場合、closed_gop=0 のとき、Ｉピクチャより前のＢピクチャは正しく復号することが保証されていない。画像情報復号装置４０は、closed_gopを参照することにより、Ｉピクチャ以前のＢピクチャが正しく復号されるかどうか判定することが可能となる。
【００３４】
またbroken_linkは、編集などにより、そのＧＯＰの前後でビットストリームの置き換えが行われた場合、予測の参照画像が存在するかどうかを示すフラグである。closed_gop=0 であり、このＧＯＰの前のビットストリームを別のビットストリームに置き換えた場合、Ｉピクチャ以前のＢピクチャの参照画像は失われ、このようなときには、broken_link=1とされる。これにより、画像情報復号装置４０側は、ビットストリーム中で編集を行い、その編集で予測参照画像が存在しているかどうかを判定することが可能となる。
【００３５】
JVT Codecでは、ＭＰＥＧ２，４のような予測に加えて、Multiple Reference Frame予測が採用されている。Multiple Reference Frame予測では、以下に説明するように、参照するピクチャの位置関係に自由度を持たせた予測が行われる。そのため、画像情報復号装置４０側は、任意の数のフレームメモリを有し、そのどのフレームも予測参照フレームとすることが可能であるように構成される。
【００３６】
ＭＰＥＧ２，４を用いた復号では、画像情報復号装置４０側は、フレームメモリを２枚有していれば良かった。ＭＰＥＧ２，４では、Ｐピクチャを扱う場合、直前のＩピクチャまたはＰピクチャのみから予測を行い、Ｂピクチャを扱う場合、Display orderで、その前後のＩピクチャまたはＰピクチャからのみ予測を行うようにされていた。このとき、Ｂピクチャは、予測参照画像とすることは出来ないとされていた。
【００３７】
これに対して、JVT Codecに採用されているMultiple Reference Frame予測は、そのフレーム以前の任意のピクチャを参照することが可能であり、換言すれば、ピクチャタイプに関わらず、Ｂピクチャも含めて、予測参照画像として設定することができるようにされている。
【００３８】
このような予測を行う場合、ランダムアクセスや編集を行った際、予測画像を失うピクチャが必ずしもＩピクチャより前のＢピクチャだけとは限らなくなる。Ｐピクチャにおいても、予測参照画像が失われれる可能性がある。従って、画像情報復号装置４０は、ランダムアクセスの処理を実行した場合、どのフレームから正しく復号することが可能であるか、何らかの方法で検索する必要がある。
【００３９】
JVT CodecではＲＡＰとなるヘッダに、上記の問題を解決するための、pre_roll_count,initialization_delayという２つのフラグが含まれている。pre_roll_countは、ＲＡＰから何フレーム後に正しく復号することができるピクチャが存在するかを示すフラグである。例えばこの値が０である場合、ＲＡＰ以降の全てのピクチャが正しく復号できることを示す。
【００４０】
pre_roll_countは、ＭＰＥＧ２，４のclosed_gopを拡張したものであり、同様の考え方に基づくものであるが、上述したような違いがある。
【００４１】
initialization_delayは、何msだけビットストリームをバッファに取り込みパースする必要があるかを示すフラグである。pre_roll_countの単位はピクチャでinitialization_delay の単位は時間（ms）である。どちらも同一の情報を異なる単位で示したものである。
【００４２】
上述したようにJVT Codecは、ＲＡＰの先頭は必ずしもイントラ符号化スライスまたはピクチャである必要はない。
【００４３】
上述したことも含め図４を参照して、再度、JVT CodecのＲＡＰについて説明する。図４に示した例においては、pre_roll_count＝４の場合を示している。ＰピクチャであるピクチャＰ１に含まれるＩスライスの先頭が、ランダムアクセスポイント（ＲＡＰ）に設定されている。ピクチャＢ２，Ｂ３，Ｐ４は、ピクチャＰ１より以前のピクチャを参照しており、すなわち、ＲＡＰよりも以前のピクチャを参照しており、ランダムアクセスが実行されたとき、正しく復号されない。
【００４４】
これに対してピクチャＰ５以降は、ＲＡＰ以前を参照することはなく復号可能であるので、これ以後のピクチャはランダムアクセスを行った後も正しく復号することができる。よってこのような場合、pre_roll_count＝４と設定される。
【００４５】
【発明が解決しようとする課題】
しかしながら、このような拡張だけでは不十分であり、より効率よくランダムアクセスを実現する方法が必要でるといった問題があった。また、ビットストリームの編集などを行うための機能や特殊再生を行うことが困難であるといった問題があった。このような問題は、主に、以下に示すような原因に起因する。
【００４６】
上述したようにJVT Codecにおいて、ＲＡＰは、必ずしもピクチャの先頭に含まれるという規制はない。そのためJVT Codecは、ＭＰＥＧ２，４と比較して、より高い自由度を持っているといえる。しかしながら、こうした自由度の高さは、逆に、復号する側の処理の複雑さを増し、また、ビットストリームの編集（スプライシング）を行ったり、特殊再生を行う際の複雑さが増すといった問題を引き起こす可能性があった。
【００４７】
例えば、ビットストリームの編集を考えた場合、ＭＰＥＧ２では、コマーシャル（ＣＭ）などを、番組のビットストリームに挿入する際、ビットストリームレベルでの編集（スプライス）が行われる。ＭＰＥＧ２においては、スプライス開始ポイントは、必ずＧＯＰの先頭でなければならないという規制があるためである。
【００４８】
こうした編集ポイント（スプライスポイント）は、ピクチャの先頭と一致している必要がある。編集ポイントが、ピクチャの先頭と一致しているかどうか判定するためには、JVT Codecにいおては、ＲＡＰのヘッダに記述されている情報だけでなく、その後に続くビデオのビットストリームを復号して判定する必要があり、簡単な処理により行うことができなかった。
【００４９】
また、特殊再生においても、JVT Codecにおいては、ＲＡＰの先頭が必ずしもイントラでないため、その後に続くビットストリームを復号した後に、表示可能なピクチャまたはスライスを判定する必要があった。
【００５０】
本発明はこのような状況に鑑みてなされたものであり、より効率良くランダムアクセスを行えるようにし、また、ビットストリームの編集（スプライシング）や特殊再生などをより簡便な方法で可能にすることを目的とする。
【００５１】
【課題を解決するための手段】
本発明の第１の符号化装置は、ランダムアクセスが行われる際に参照されるランダムアクセスポイントヘッダを生成する生成手段と、生成手段により生成されたランダムアクセスポイントヘッダと、入力された画像信号をそれぞれ符号化する符号化手段と、符号化手段により符号化されたランダムアクセスポイントヘッダと画像信号を多重化し、ビットストリームを出力する出力手段とを含み、生成手段は、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータを少なくとも含むランダムアクセスポイントヘッダを生成することを特徴とする。
【００５２】
本発明の第１の符号化方法は、ランダムアクセスが行われる際に参照されるランダムアクセスポイントヘッダを生成する生成ステップと、生成ステップの処理で生成されたランダムアクセスポイントヘッダと、入力された画像信号をそれぞれ符号化する符号化ステップと、符号化ステップの処理で符号化されたランダムアクセスポイントヘッダと画像信号を多重化し、ビットストリームの出力を制御する出力制御ステップとを含み、生成ステップは、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータを少なくとも含むランダムアクセスポイントヘッダを生成することを特徴とする。
【００５４】
本発明の第１のプログラムは、ランダムアクセスが行われる際に参照されるランダムアクセスポイントヘッダを生成する生成ステップと、生成ステップの処理で生成されたランダムアクセスポイントヘッダと、入力された画像信号をそれぞれ符号化する符号化ステップと、符号化ステップの処理で符号化されたランダムアクセスポイントヘッダと画像信号を多重化し、ビットストリームの出力を制御する出力制御ステップとを含む処理をコンピュータに実行させ、生成ステップは、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータを少なくとも含むランダムアクセスポイントヘッダを生成することを特徴とする。
【００５５】
本発明の第１の復号装置は、ビットストリームを入力する入力手段と、ランダムアクセスが指示された場合、入力手段により入力されたビットストリームに含まれる、ランダムアクセスに関する情報が含まれているランダムアクセスポイントヘッダを検索する検索手段と、検索手段により検索されたランダムアクセスポイントヘッダに含まれる情報を参照してランダムアクセスを制御する制御手段とを含み、ランダムアクセスポイントヘッダは、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータを少なくとも含んでいることを特徴とする。
【００５６】
本発明の第１の復号方法は、ランダムアクセスが指示された場合、入力されたビットストリームに含まれる、ランダムアクセスに関する情報が含まれているランダムアクセスポイントヘッダを検索する検索ステップと、検索ステップの処理で検索されたランダムアクセスポイントヘッダに含まれる情報を参照してランダムアクセスを制御する制御ステップとを含み、ランダムアクセスポイントヘッダは、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータを少なくとも含んでいることを特徴とする。
【００５８】
本発明の第２のプログラムは、ランダムアクセスが指示された場合、入力されたビットストリームに含まれる、ランダムアクセスに関する情報が含まれているランダムアクセスポイントヘッダを検索する検索ステップと、検索ステップの処理で検索されたランダムアクセスポイントヘッダに含まれる情報を参照してランダムアクセスを制御する制御ステップとを含む処理をコンピュータに実行させ、ランダムアクセスポイントヘッダは、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータを少なくとも含んでいることを特徴とする。
【００５９】
本発明の第２の符号化装置は、ランダムアクセスが行われる際に参照されるランダムアクセスポイントヘッダを生成する生成手段と、生成手段により生成されたランダムアクセスポイントヘッダと、入力された画像信号をそれぞれ符号化する符号化手段と、符号化手段により符号化されたランダムアクセスポイントヘッダと画像信号を多重化し、ビットストリームを出力する出力手段とを含み、生成手段は、ランダムアクセスが開始されるポイントが、ピクチャの先頭と一致するか否かを示すフラグを少なくとも含むランダムアクセスポイントヘッダを生成することを特徴とする。
【００６０】
本発明の第２の符号化方法は、ランダムアクセスが行われる際に参照されるランダムアクセスポイントヘッダを生成する生成ステップと、生成ステップの処理で生成されたランダムアクセスポイントヘッダと、入力された画像信号をそれぞれ符号化する符号化ステップと、符号化ステップの処理で符号化されたランダムアクセスポイントヘッダと画像信号を多重化し、ビットストリームの出力を制御する出力制御ステップとを含み、生成ステップは、ランダムアクセスが開始されるポイントが、ピクチャの先頭と一致するか否かを示すフラグを少なくとも含むランダムアクセスポイントヘッダを生成することを特徴とする。
【００６２】
本発明の第３のプログラムは、ランダムアクセスが行われる際に参照されるランダムアクセスポイントヘッダを生成する生成ステップと、生成ステップの処理で生成されたランダムアクセスポイントヘッダと、入力された画像信号をそれぞれ符号化する符号化ステップと、符号化ステップの処理で符号化されたランダムアクセスポイントヘッダと画像信号を多重化し、ビットストリームの出力を制御する出力制御ステップとを含む処理をコンピュータに実行させ、生成ステップは、ランダムアクセスが開始されるポイントが、ピクチャの先頭と一致するか否かを示すフラグを少なくとも含むランダムアクセスポイントヘッダを生成することを特徴とする。
【００６３】
本発明の第２の復号装置は、ビットストリームを入力する入力手段と、ランダムアクセスが指示された場合、入力手段により入力されたビットストリームに含まれる、ランダムアクセスに関する情報が含まれているランダムアクセスポイントヘッダを検索する検索手段と、検索手段により検索されたランダムアクセスポイントヘッダに含まれる情報を参照してランダムアクセスを制御する制御手段とを含み、ランダムアクセスポイントヘッダは、ランダムアクセスが開始されるポイントが、ピクチャの先頭と一致するか否かを示すフラグを少なくとも含んでいることを特徴とする。
【００６４】
本発明の第２の復号方法は、ランダムアクセスが指示された場合、入力されたビットストリームに含まれる、ランダムアクセスに関する情報が含まれているランダムアクセスポイントヘッダを検索する検索ステップと、検索ステップの処理で検索されたランダムアクセスポイントヘッダに含まれる情報を参照してランダムアクセスを制御する制御ステップとを含み、ランダムアクセスポイントヘッダは、ランダムアクセスが開始されるポイントが、ピクチャの先頭と一致するか否かを示すフラグを少なくとも含んでいることを特徴とする。
【００６６】
本発明の第４のプログラムは、ランダムアクセスが指示された場合、入力されたビットストリームに含まれる、ランダムアクセスに関する情報が含まれているランダムアクセスポイントヘッダを検索する検索ステップと、検索ステップの処理で検索されたランダムアクセスポイントヘッダに含まれる情報を参照してランダムアクセスを制御する制御ステップとを含む処理をコンピュータに実行させ、ランダムアクセスポイントヘッダは、ランダムアクセスが開始されるポイントが、ピクチャの先頭と一致するか否かを示すフラグを少なくとも含んでいることを特徴とする。
【００６７】
本発明の第１の符号化装置及び方法、並びにプログラムにおいては、ランダムアクセスが指示されたときに参照されるランダムアクセスポイントヘッダに、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータが含まれる。
【００６８】
本発明の第１の復号装置及び方法、並びに第２のプログラムにおいては、ランダムアクセスが指示されたときに、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータが含まれたランダムアクセスポイントヘッダが検索される。
【００６９】
本発明の第２の符号化装置及び方法、並びに第３プログラムにおいては、ランダムアクセスが指示されたときに参照されるランダムアクセスポイントヘッダに、ランダムアクセスが開始されるポイントが、ピクチャの先頭であるか否かを示すフラグが含まれる。
【００７０】
本発明の第２の復号装置及び方法、並びに第４のプログラムにおいては、ランダムアクセスが指示されたときに、ランダムアクセスが開始されるポイントが、ピクチャの先頭であるか否かを示すフラグが含まれたランダムアクセスポイントヘッダが検索される。
【００７１】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照して説明する。図５は、本発明を適用した画像情報符号化装置の一実施の形態の構成を示す図である。図５に示した画像情報符号化装置１１０は、入力端子１１１より入力された画像情報を圧縮し、出力端子１１９より画像圧縮情報として出力する。画像情報符号化装置１１０のＡ／Ｄ変換部１１２は、入力端子１１１より入力された、アナログ信号で構成される画像情報をデジタル信号に変換し、画面並べ替えバッファ１１３に供給する。
【００７２】
画面並べ替えバッファ１１３は、Ａ／Ｄ変換部１１２より供給されたデジタル信号で構成される画像情報を出力端子１１９より出力される画像圧縮情報のＧＯＰ（Group of Pictures）構造に応じて、フレームの並べ替えを行う。なお、以下の説明においてＧＯＰとは、ランダムアクセスポイントを含むピクチャから、次のランダムアクセスポイントを含むピクチャの前までのピクチャの集まりとする。また、ＧＯＰの先頭のピクチャは、Ｉピクチャでなくても良く、ＢピクチャやＰピクチャの場合もある。
【００７３】
画面並べ替えバッファ１１３は、取得した画像情報がイントラ（画像内）符号化が行われる画像である場合、フレーム全体の画像情報を、加算器１１４を介して直交変換部１１５に供給する。
【００７４】
直交変換部１１５は、取得した画像情報に対して離散コサイン変換（DCT）、またはカルーネン・レーベ変換等に代表される直交変換処理を施し、算出された変換係数を量子化部１１６に供給する。量子化部１１６は、直交変換部１１５から供給された変換係数に対して量子化処理を施し、量子化された変換係数を可逆符号化部１１７に供給する。
【００７５】
可逆符号化部１１７は、量子化部１１６から供給された、量子化された変換係数や量子化スケール等から符号化モードを決定し、この符号化モードに対して可変長符号化、または算術符号化等の可逆符号化を施し、画像符号化単位のヘッダ部に挿入される情報を生成し、符号化された符号化モードを蓄積バッファ１１８に供給して蓄積させる。この符号化された符号化モードは、画像圧縮情報として出力端子１１９より出力される。
【００７６】
また、可逆符号化部１１７は、量子化された変換係数に対して可変長符号化、若しくは算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ１１８に供給して蓄積させる。
【００７７】
可逆符号化部１１７は、量子化部１１６から供給された量子化された変換係数および量子化スケール、並びに動き予測・補償・予測モード決定部１２４から供給された動きベクトル情報等から符号化モードを決定し、その決定した符号化モードに対して可変長符号化または算術符号化等の可逆符号化を施し、画像符号化単位のヘッダ部に挿入される情報を生成する。そして、可逆符号化部１１７は、符号化された符号化モードを蓄積バッファ１１８に供給して蓄積させる。この符号化された符号化モードは、画像圧縮情報として出力される。
【００７８】
また、可逆符号化部１１７は、その動きベクトル情報に対して可変長符号化若しくは算術符号化等の可逆符号化処理を施し、画像符号化単位のヘッダ部に挿入される情報を生成する。
【００７９】
レート制御部１２０は、蓄積バッファ１１８に蓄積されているデータ量を監視し、そのデータ残量が許容上限値まで増量すると、量子化制御信号を出力し、量子化部１１６の量子化スケールを大きくすることにより、量子化データのデータ量を低下させる。また、これとは逆に、蓄積バッファ１１８に蓄積されているデータ残量が許容下限値まで減少すると、レート制御部１２０は、量子化制御信号によって量子化部１１６の量子化スケールを小さくすることにより、量子化データのデータ量を増大させる。このようにして、レート制御部１２０は、蓄積バッファ１１８のオーバフローまたはアンダフローを防止する。
【００８０】
また、量子化部１１６は、量子化後の変換係数を逆量子化部１２１に供給し、逆量子化部１２１は、その変換係数を逆量子化し、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ１２３に供給して蓄積させる。
【００８１】
また、画面並べ替えバッファ１１３は、インター（画像間）符号化が行われる画像の場合、画像情報を動き予測・補償・予測モード決定部１２４に供給する。動き予測・補償・予測モード決定部１２４は、同時に参照される画像情報をフレームメモリ１２３より取り出し、動き予測・補償処理を施して参照画像情報を生成する。動き予測・補償・予測モード決定部１２４は、この参照画像情報を加算器１１４に供給し、加算器１１４は、参照画像情報を当該画像情報との差分信号に変換する。また、動き予測・補償・予測モード決定部１２４は、動きベクトル情報を可逆符号化部１１７に供給する。
【００８２】
可逆符号化部１１７は、その動きベクトル情報に対して可変長符号化または算術符号化等の可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を生成する。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、それらの説明は省略する。
【００８３】
このような画像情報符号化装置１１０の構成は、従来の装置と基本的に同様であるが、本実施の形態における画像情報符号化装置１１０は、さらに、ＲＡＰ（ランダムアクセスポイント）ヘッダ発生部１３１とピクチャタイプ決定部１３２を備えている。そこで、このＲＡＰヘッダ発生部１３１とピクチャタイプ決定部１３２を中心に以下に説明する。
【００８４】
画像情報符号化装置１１０に入力された画像情報は、Ａ／Ｄ変換部１１２においてデジタル信号に変換され、画面並べ替えバッファ１１３に入力される一方で、画面並べ替えバッファ１１３には、ピクチャタイプ決定部１３２からのデータも入力される。画面並べ替えバッファ１１３におけるフレームの並べ替えは、ピクチャタイプ決定部１３２において決定されるピクチャタイプに応じて行われる。
【００８５】
ピクチャタイプ決定部１３２は、各ピクチャの符号化ピクチャタイプを決定する。符号化ピクチャタイプには、イントラ符号化ピクチャ（Ｉピクチャ）と、インター符号化ピクチャ（Ｐピクチャ、Ｂピクチャ）がある。各ピクチャを、どの符号化ピクチャタイプで符号化するかは、予め定められた所定の周期毎に所定のピクチャタイプになるように決定されるか、外部からの制御により決定されるか、または、シーンチェンジの検出などが行われ、その結果に対応して決定される。または、その他の手法でピクチャタイプが決定されても良い。
【００８６】
ピクチャタイプ決定部１３２において決定された、符号化ピクチャタイプは、動き予測・補償・予測モード決定部１２４に供給される。動き予測・補償・予測モード決定部１２４は、供給された符号化ピクチャタイプに応じて、マクロブロック単位で、予測モードを決定し、動き予測および補償を行う。
【００８７】
ピクチャタイプ決定部１３２において決定された符号化ピクチャタイプは、可逆符号化部１１７に供給され、所定の手法により符号化され、ビットストリーム中に多重化される。ピクチャタイプ決定部１３２において決定された符号化ピクチャタイプは、ＲＡＰヘッダ発生部１３１にも供給される。
【００８８】
ＲＡＰヘッダ発生部１３１には、動き予測・補償・予測モード決定部１２４から、符号化するマクロブロックの動き補償予測モード（マクロブロックタイプ）も供給される。
【００８９】
ＲＡＰヘッダ発生部１３１には、可逆符号化部１１７から、符号化するマクロブロックのピクチャ内の位置を示すマクロブロックアドレス（MB_address）と、ピクチャ内のスライスの位置を示すスライスアドレス（Slice_adress）も供給される。
【００９０】
ＲＡＰヘッダ発生部１３１は、供給された符号化ピクチャタイプ、マクロブロックタイプ、マクロブロックアドレス、スライスアドレスに応じて所定のＲＡＰヘッダを発生する。発生されたＲＡＰヘッダは、可逆符号化部１１７に供給され、ビットストリーム中の所定の位置に符号化された後、多重化されて伝送される。
【００９１】
図６は、ＲＡＰヘッダ発生部１３１の構成例を示す図である。ＲＡＰヘッダ発生部１３１は、ランダムアクセスポイント決定部１４１、ランダムアクセスタイプ決定部１４２、アラインメントタイプ決定部１４３、および、ＲＡＰヘッダ生成部１４４から構成されている。
【００９２】
ピクチャタイプ決定部１３２からのピクチャタイプ、可逆符号化部１１７からのマクロブロックアドレスとスライスアドレス、および、動き予測・補償・予測モード決定部１２４からのマクロブロック予測モードは、ランダムアクセスポイント決定部１４１に入力される。
【００９３】
ランダムアクセスポイント決定部１４１は、入力されたピクチャタイプ、マクロブロックアドレス、スライスアドレス、および、マクロブロック予測モードに基づき、その時点で符号化するマクロブロックの位置が、ランダムアクセスポイントであるか否かを決定する。
【００９４】
ランダムアクセスポイント決定部１４１は、例えば、予め決められた所定のランダムアクセス位置情報に基づいてランダムアクセスポイントであるか否かを決定する。また、例えば、Ｉピクチャの先頭をランダムアクセスポイントとしてもよい。また、別の形態としては、Ｉスライスの先頭をランダムアクセスポイントとしても良い。また、別の形態としては、一定周期毎にランダムアクセスポイントが設定されるようにしても良い。
【００９５】
ランダムアクセスポイント決定部１４１は、ランダムアクセスポイントであると判断した場合、ＲＡＰヘッダを生成するための要求信号であるＲＡＰヘッダ要求信号（ＲＥＱ）を、ランダムアクセスタイプ決定部１４２、アラインメントタイプ決定部１４３、および、ＲＡＰヘッダ生成部１４４に出力する。
【００９６】
ランダムアクセスタイプ決定部１４２は、ＲＡＰヘッダ要求信号（ＲＥＱ）が入力されると、マクロブロックアドレスとピクチャタイプに基づいてランダムアクセスタイプ（ＲＡ＿ＴＹＰＥ）を決定し、その結果をＲＡＰヘッダ生成部１４４に出力する。JVT Codecにおいては、ランダムアクセスポイントが必ずしもイントラ符号化ピクチャやスライスでなくてもよいとされている。
【００９７】
ランダムアクセスタイプ決定部１４２は、ランダムアクセスポイントがイントラ符号化ピクチャである場合、ＲＡ＿ＴＹＰＥ＝１と設定し、イントラスライスである場合、ＲＡ＿ＴＹＰＥ＝２と設定し、その他の符号化モードの場合、ＲＡ＿ＴＹＰＥ＝０と設定する。以下に、ＲＡ＿ＴＹＰＥのセマンティクスの一例を示す。
【００９８】
ランダムアクセスタイプ（ＲＡ＿ＴＹＰＥ）により、画像情報符号化装置１１０に対応する画像情報復号装置側（例えば、図７に示したような構成を有する）では、復号時にビットストリームの可逆符号化を行うことなく、ランダムアクセスポイントが、イントラ符号化されているかを判定することが可能となる。
【０１００】
例えば、特殊再生時などにおいて、ピクチャ全体を復号して表示したい場合、または、スプライシングなどのようにランダムアクセスポイントでビットストリームを編集するような場合、イントラ符号化ピクチャまたはスライスであるランダムアクセスポイントを検索する必要がある。
【０１０１】
画像信号復号装置や編集装置では、ＲＡＰヘッダを検索することによりランダムアクセスポイントを検索し、かつ、ＲＡ＿ＴＹＰＥによりイントラ符号化されているランダムアクセスポイントを検索する。これにより、イントラ符号化されたランダムアクセスポイントを、効率よく検索することが可能になる。
【０１０２】
アラインメントタイプ決定部１４３は、ＲＡＰヘッダ要求信号（ＲＥＱ）が入力されると、マクロブロックアドレス、ピクチャタイプに応じてアラインメントタイプ（ＡＬ＿ＴＹＰＥ）を決定し、ＲＡＰヘッダ生成部１４４に出力する。アラインメントタイプは、ランダムアクセスポイントが、ピクチャの先頭と一致しているかどうかを示すフラグである。
【０１０３】
例えば、ランダムアクセスポイントが、ピクチャの先頭と一致する場合、ＡＬ＿ＴＹＰＥ＝１と設定され、それ以外の場合、換言すればピクチャの中間でスライスがランダムアクセスポイントになっている場合、ＡＬ＿ＴＹＰＥ＝０と設定される。以下にＡＬ＿ＴＹＰＥのセマンティクスの一例を示す。
【０１０４】
画像情報符号化装置１１０に対応する画像信号復号装置側は、アラインメントタイプ（ＡＬ＿ＴＹＰＥ）を参照することにより、復号時にビットストリームの可逆符号化を復号することなく、ランダムアクセスポイントがピクチャ中のどの位置に設定されているかを判定することが可能となる。
【０１０６】
例えば、特殊再生などにおいてピクチャ全体を復号して表示させたい場合、または、スプライシングなどのようにランダムアクセスポイントでビットストリームが編集されるような場合、ピクチャの先頭とランダムアクセスポイントが一致しているランダムアクセスポイントを検索する必要がある。
【０１０７】
画像情報復号装置や編集装置は、ＲＡＰヘッダを検索することによりランダムアクセスポイントと検索し、かつ、ＡＬ＿ＴＹＰＥによりピクチャの先頭と一致しているランダムアクセスを検索する。これにより、ピクチャの先頭に一致したランダムアクセスポイントを、効率よく検索することが可能になる。
【０１０８】
ＲＡＰヘッダ生成部１４４は、ＲＡＰヘッダ要求信号（ＲＥＱ）が入力されると、ランダムアクセスタイプ（ＲＡ＿ＴＹＰＥ）、アラインメントタイプ（ＡＬ＿ＴＹＰＥ）などの情報を含むＲＡＰヘッダを生成し、可逆符号化部１１７（図５）に出力する。以下に、ＲＡＰヘッダ生成部１４４において生成されるにＲＡＰヘッダのシンタクスの一例を示す。
【０１０９】
RAP_startcodeは、ＲＡＰヘッダが存在し、そのヘッダの開始を示すコードである。closed_GOPは、そのＧＯＰ内の全てのピクチャが他のＧＯＰのピクチャを参照することがなく独立であるか、または、他のＧＯＰのピクチャを参照するという依存関係があるかどうかを示すフラグである。
【０１１１】
broken_linkは、編集などにより、そのＧＯＰの前後でビットストリームの置き換えが行われた場合、予測の参照画像が存在するか否かを示すフラグである。pre_roll_countは、ＲＡＰの何フレーム後から正しく復号することが可能であるかを示すフラグである。initialization_delayは、何msだけビットストリームをバッファに取り込みパースする必要があるかどうかを示すフラグである。
【０１１２】
RA_TYPEとAL_TYPEは、それぞれ、上述したように、ランダムアクセスのタイプとアラインメントのタイプを表すフラグ（データ）である。
【０１１３】
図７に図５に示した画像情報符号化装置１１０に対応する復号装置の一実施の形態の構成を示す。図７に示した復号装置１５０は、内部に、従来の画像情報復号装置４０（図２）を含む構成とされている。従って、ここでは、画像情報復号装置４０以外の部分について主に説明する。
【０１１４】
画像情報符号化装置１１０により符号化され、図示されていないネットワークや蓄積メディアから供給される画像圧縮情報（ＢＳ：ビットストリーム）は、蓄積バッファ１５１に入力される。蓄積バッファ１５１に蓄えられたビットストリームは、読み出し制御部１５２により読み出され、画像情報復号装置４０に入力される。画像情報復号装置４０は、図２に示した構成とされており、入力された画像圧縮情報（ビットストリーム）を復号し、画像情報を出力する。
【０１１５】
また読み出し制御部１５２は、スタートコード検出部１５３に対して、入力されたビットストリームを供給する。スタートコード検出部１５３は、さらにビットストリームをＲＡＰヘッダ解析部１５４に出力したり、読み出し制御部１５２に対して、スタートコードの検出結果などを出力する。
【０１１６】
ランダムアクセスや特殊再生時の際には、ビットストリーム中のランダムアクセスポイントが検索され、その検索結果に基づきアクセスが行われる。この場合、ＲＡＰヘッダのスタートコードが検出され、そこからビットストリームの復号が開始される。以下、ランダムアクセスや特殊再生時を例に挙げ、図７に示した復号装置１５０の動作について説明する。
【０１１７】
外部より（例えばユーザの指示により）、特殊再生などの指示としてランダムアクセスを行えという制御信号が入力されると、復号装置１５０の読み出し制御部１５２は、スタートコード検出部１５３に、検出要求信号（ＲＥＱ＿Ｓ）およびビットストリーム（ＢＳ）を供給する。
【０１１８】
スタートコード検出部１５３は、検出要求信号を受信すると、入力されたビットストリーム中に存在するスタートコード（RAP_startcode）の検出を開始する。スタートコードは、ビットストリーム中の固有のバイトパターンであるため、スタートコードの検出は、ビットストリームを復号する必要は無く、予め定められた固有のバイトパターンを検出すればよい。
【０１１９】
スタートコード検出部１５３は、ランダムアクセスポイント（ＲＡＰ）のスタートコードを検出すると、検出信号（ＤＥＴ）を読み出し制御部１５２およびＲＡＰヘッダ解析部１５４に出力する。またこのとき、ビットストリームもＲＡＰヘッダ解析部１５４に供給される。
【０１２０】
ＲＡＰヘッダ解析部１５４は、ランダムアクセスポイントのＲＡＰヘッダの内容を解析し、ＲＡＰヘッダのスタートコードに続く内容を復号する。このＲＡＰヘッダの内容に応じて、ＲＡＰヘッダ解析部１５４は、読み出し制御信号（ＣＯＮＴ）を読み出し制御部１５２に出力する。
【０１２１】
高速再生時のＲＡＰヘッダ解析部１５４の動作の一例を説明する。高速再生が行われる場合、ランダムアクセスポイントは、イントラ符号化ピクチャまたはスライスである必要があるが、ランダムアクセスポイントのピクチャ以降のピクチャが、ランダムアクセスポイントを超えて予測を行っているようなことがあっても良い。
【０１２２】
このような場合、ランダムアクセスポイントは、イントラでそのまま復号可能であるが、それ以降のピクチャは pre_roll_count が示すピクチャまで復号することはできない。従って、 pre_roll_count の値はどのような値が設定されていても良いが、ＲＡ＿ＴＹＰＥは１または２と設定されているものでなければならない。
【０１２３】
ＲＡ＿ＴＹＰＥが１である場合、ランダムアクセスポイントの先頭は、イントラピクチャであり、そのランダムアクセスポイントは、高速再生に用いることができる。そのイントラピクチャの分のビットストリームが、画像情報復号装置４０に供給され、復号されるように指示する制御信号（ＣＯＮＴ）が、ＲＡＰヘッダ解析部１５４から読み出し制御部１５２に対して出力される。
【０１２４】
ＲＡ＿ＴＹＰＥが２である場合、ランダムアクセスポイントの先頭は、イントラスライスであり、そのランダムアクセスポイントは、高速再生に用いることができる。そのイントラスライスの分のビットストリームが画像情報復号装置４０に供給され、復号されるように指示する制御信号（ＣＯＮＴ）が、ＲＡＰヘッダ解析部１５４から読み出し制御部１５２に対して出力される。
【０１２５】
次に、スプライスなどのビットストリームの編集時におけるランダムアクセスが行われる際のＲＡＰヘッダ解析部１５４の動作の一例を説明する。スプライスが行なわれる場合、ランダムアクセスポイントは、ピクチャの先頭と一致している必要があるが、ランダムアクセスポイントが、イントラである必要は無く、ランダムアクセスポイントのピクチャ以降のピクチャの予測が、ランダムアクセスポイントを超えて行われるようなことがあっても良い。
【０１２６】
ランダムアクセスポイント以降のピクチャは pre_roll_count が示すピクチャまで復号することはできない。従って、pre_roll_count、ＲＡ＿ＴＹＰＥの値は何でもよいが（制限はないが）、ＡＬ＿ＴＹＰＥは１でなければならない。
【０１２７】
ＲＡＰヘッダ解析部１５４は、ＲＡＰヘッダを解析し、ＡＬ＿ＴＹＰＥの値が０である場合、そのランダムアクセスポイントは使用できない。そのため、ＡＬ＿ＴＹＰＥの値が０ではない、次のランダムアクセスポイントの検出が行われる。従って、ＲＡＰヘッダ解析部１５４は、ＡＬ＿ＴＹＰＥが０である場合、次のランダムアクセスポイントを検出するよう制御信号を読み出し制御部１５２に出力する。
【０１２８】
ＡＬ＿ＴＹＰＥが１である場合、ランダムアクセスポイントの先頭は、ピクチャの先頭と一致しており、そのランダムアクセスポイントは、スプライスに用いることができる。そこで、ビットストリームが画像情報復号装置４０に供給されるように指示する制御信号が、読み出し制御部１５２に出力される。
【０１２９】
このような指示が出されることにより、ランダムアクセスが実現される。画像情報復号装置４０は、このような指示のもと、読み出し制御部１５２から出力されたビットストリーム（画像圧縮情報）を復号し、画像情報を図示されていないテレビジョン受像機などの画像表示装置に対して出力する。
【０１３０】
このように、ＲＡ＿ＴＹＰＥとＡＬ＿ＴＹＰＥをＲＡＰヘッダに含ませることにより、復号側において、ランダムアクセスの処理にかかる処理量を低減させることができる。
【０１３１】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。記録媒体の説明の前に、記録媒体を扱うパーソナルコンピュータについて簡単に説明する。
【０１３２】
図８は、汎用のパーソナルコンピュータの内部構成例を示す図である。パーソナルコンピュータのＣＰＵ（Central Processing Unit）２１１は、ＲＯＭ（Read Only Memory）２１２に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）２１３には、ＣＰＵ２１１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。入出力インタフェース２１５は、キーボードやマウスから構成される入力部２１６が接続され、入力部２１６に入力された信号をＣＰＵ２１１に出力する。また、入出力インタフェース２１５には、ディスプレイやスピーカなどから構成される出力部７も接続されている。
【０１３３】
さらに、入出力インタフェース２１５には、ハードディスクなどから構成される記憶部２１８、および、インターネットなどのネットワークを介して他の装置とデータの授受を行う通信部２１９も接続されている。ドライブ２２０は、磁気ディスク２３１、光ディスク２３２、光磁気ディスク２３３、半導体メモリ２３４などの記録媒体からデータを読み出したり、データを書き込んだりするときに用いられる。
【０１３４】
記録媒体は、図８に示すように、パーソナルコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２３１（フレキシブルディスクを含む）、光ディスク２３２（CD-ROM（Compact Disc-Read Only Memory），DVD（Digital Versatile Disc）を含む）、光磁気ディスク２３３（MD（Mini-Disc）（登録商標）を含む）、若しくは半導体メモリ２３４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているＲＯＭ２１２や記憶部２１８が含まれるハードディスクなどで構成される。
【０１３５】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３６】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１３７】
【発明の効果】
以上の如く本発明の第１の符号化装置及び方法、並びにプログラムによれば、ランダムアクセスが指示されたときに参照されるランダムアクセスポイントヘッダに、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータを含ませるようにしたので、復号する側で、ランダムアクセスにかかる処理を簡便に行わせることが可能となる。
【０１３８】
また、本発明の第１の復号装置及び方法、並びに第２のプログラムによれば、ランダムアクセスが指示されたときに、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータが含まれたランダムアクセスポイントヘッダを検索するようにしたので、ランダムアクセスにかかる処理を簡便に行うことが可能となる。
【０１３９】
さらに、本発明の第２の符号化装置及び方法、並びに第３プログラムによれば、ランダムアクセスが指示されたときに参照されるランダムアクセスポイントヘッダに、ランダムアクセスが開始されるポイントが、ピクチャの先頭であるか否かを示すフラグを含ませるようにしたので、復号する側で、ランダムアクセスにかかる処理を簡便に行わせることが可能となる。
【０１４０】
さらに、本発明の第２の復号装置及び方法、並びに第４のプログラムによれば、ランダムアクセスが指示されたときに、ランダムアクセスが開始されるポイントが、ピクチャの先頭であるか否かを示すフラグが含まれたランダムアクセスポイントヘッダを検索するようにしたので、ランダムアクセスにかかる処理を簡便に行うことが可能となる。
【図面の簡単な説明】
【図１】従来の画像情報符号化装置の一例の構成を示す図である。
【図２】従来の画像情報復号装置の一例の構成を示す図である。
【図３】ランダムアクセスポイントについて説明する図である。
【図４】参照するピクチャについて説明する図である。
【図５】本発明を適用した画像情報符号化装置の一実施の形態の構成を示す図である。
【図６】ＲＡＰヘッダ発生部１３１の内部構成例を示す図である。
【図７】本発明を適用した復号装置の一実施の形態の構成を示す図である。
【図８】媒体を説明する図である。
【符号の説明】
１１０ 画像情報符号化装置， １１２ Ａ／Ｄ変換部， １１３ 画面並べ替えバッファ， １１４ 加算器， １１５ 直交変換部， １１６ 量子化部， １１７ 可逆符号化部， １１８ 蓄積バッファ， １２０ レート制御部， １２１ 逆量子化部， １２２ 逆直交変換部， １２３ フレームメモリ， １２４ 動き予測・補償・予測モード決定部， １３１ ＲＡＰヘッダ発生部， １３２ ピクチャタイプ決定部， １４１ ランダムアクセスポイント決定部， １４２ ランダムアクセスタイプ決定部， １４３ アラインメントタイプ決定部， １４４ ＲＡＰヘッダ生成部， １５０ 復号装置， １５１ 蓄積バッファ， １５２ 読み出し制御部， １５３ スタートコード検出部，１５４ ＲＡＰヘッダ解析部
Claims (12)
- ランダムアクセスが行われる際に参照されるランダムアクセスポイントヘッダを生成する生成手段と、
前記生成手段により生成された前記ランダムアクセスポイントヘッダと、入力された画像信号をそれぞれ符号化する符号化手段と、
前記符号化手段により符号化された前記ランダムアクセスポイントヘッダと前記画像信号を多重化し、ビットストリームを出力する出力手段と
を含み、
前記生成手段は、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータを少なくとも含む前記ランダムアクセスポイントヘッダを生成する
ことを特徴とする符号化装置。 - ランダムアクセスが行われる際に参照されるランダムアクセスポイントヘッダを生成する生成ステップと、
前記生成ステップの処理で生成された前記ランダムアクセスポイントヘッダと、入力された画像信号をそれぞれ符号化する符号化ステップと、
前記符号化ステップの処理で符号化された前記ランダムアクセスポイントヘッダと前記画像信号を多重化し、ビットストリームの出力を制御する出力制御ステップと
を含み、
前記生成ステップは、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータを少なくとも含む前記ランダムアクセスポイントヘッダを生成する
ことを特徴とする符号化方法。 - ランダムアクセスが行われる際に参照されるランダムアクセスポイントヘッダを生成する生成ステップと、
前記生成ステップの処理で生成された前記ランダムアクセスポイントヘッダと、入力された画像信号をそれぞれ符号化する符号化ステップと、
前記符号化ステップの処理で符号化された前記ランダムアクセスポイントヘッダと前記画像信号を多重化し、ビットストリームの出力を制御する出力制御ステップと
を含む処理をコンピュータに実行させ、
前記生成ステップは、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータを少なくとも含む前記ランダムアクセスポイントヘッダを生成する
ことを特徴とするプログラム。 - ビットストリームを入力する入力手段と、
ランダムアクセスが指示された場合、前記入力手段により入力された前記ビットストリームに含まれる、ランダムアクセスに関する情報が含まれているランダムアクセスポイントヘッダを検索する検索手段と、
前記検索手段により検索された前記ランダムアクセスポイントヘッダに含まれる前記情報を参照してランダムアクセスを制御する制御手段と
を含み、
前記ランダムアクセスポイントヘッダは、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータを少なくとも含んでいる
ことを特徴とする復号装置。 - ランダムアクセスが指示された場合、入力されたビットストリームに含まれる、ランダムアクセスに関する情報が含まれているランダムアクセスポイントヘッダを検索する検索ステップと、
前記検索ステップの処理で検索された前記ランダムアクセスポイントヘッダに含まれる前記情報を参照してランダムアクセスを制御する制御ステップと
を含み、
前記ランダムアクセスポイントヘッダは、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータを少なくとも含んでいる
ことを特徴とする復号方法。 - ランダムアクセスが指示された場合、入力されたビットストリームに含まれる、ランダムアクセスに関する情報が含まれているランダムアクセスポイントヘッダを検索する検索ステップと、
前記検索ステップの処理で検索された前記ランダムアクセスポイントヘッダに含まれる前記情報を参照してランダムアクセスを制御する制御ステップと
を含む処理をコンピュータに実行させ、
前記ランダムアクセスポイントヘッダは、ランダムアクセスが開始されるポイントが、イントラピクチャであるか、イントラスライスであるか、または、その他であるかを示すデータを少なくとも含んでいる
ことを特徴とするプログラム。 - ランダムアクセスが行われる際に参照されるランダムアクセスポイントヘッダを生成する生成手段と、
前記生成手段により生成された前記ランダムアクセスポイントヘッダと、入力された画像信号をそれぞれ符号化する符号化手段と、
前記符号化手段により符号化された前記ランダムアクセスポイントヘッダと前記画像信号を多重化し、ビットストリームを出力する出力手段と
を含み、
前記生成手段は、ランダムアクセスが開始されるポイントが、ピクチャの先頭と一致するか否かを示すフラグを少なくとも含む前記ランダムアクセスポイントヘッダを生成する
ことを特徴とする符号化装置。 - ランダムアクセスが行われる際に参照されるランダムアクセスポイントヘッダを生成する生成ステップと、
前記生成ステップの処理で生成された前記ランダムアクセスポイントヘッダと、入力された画像信号をそれぞれ符号化する符号化ステップと、
前記符号化ステップの処理で符号化された前記ランダムアクセスポイントヘッダと前記画像信号を多重化し、ビットストリームの出力を制御する出力制御ステップと
を含み、
前記生成ステップは、ランダムアクセスが開始されるポイントが、ピクチャの先頭と一致するか否かを示すフラグを少なくとも含む前記ランダムアクセスポイントヘッダを生成する
ことを特徴とする符号化方法。 - ランダムアクセスが行われる際に参照されるランダムアクセスポイントヘッダを生成する生成ステップと、
前記生成ステップの処理で生成された前記ランダムアクセスポイントヘッダと、入力された画像信号をそれぞれ符号化する符号化ステップと、
前記符号化ステップの処理で符号化された前記ランダムアクセスポイントヘッダと前記画像信号を多重化し、ビットストリームの出力を制御する出力制御ステップと
を含む処理をコンピュータに実行させ、
前記生成ステップは、ランダムアクセスが開始されるポイントが、ピクチャの先頭と一致するか否かを示すフラグを少なくとも含む前記ランダムアクセスポイントヘッダを生成する
ことを特徴とするプログラム。 - ビットストリームを入力する入力手段と、
ランダムアクセスが指示された場合、前記入力手段により入力された前記ビットストリームに含まれる、ランダムアクセスに関する情報が含まれているランダムアクセスポイントヘッダを検索する検索手段と、
前記検索手段により検索された前記ランダムアクセスポイントヘッダに含まれる前記情報を参照してランダムアクセスを制御する制御手段と
を含み、
前記ランダムアクセスポイントヘッダは、ランダムアクセスが開始されるポイントが、ピクチャの先頭と一致するか否かを示すフラグを少なくとも含んでいる
ことを特徴とする復号装置。 - ランダムアクセスが指示された場合、入力されたビットストリームに含まれる、ランダムアクセスに関する情報が含まれているランダムアクセスポイントヘッダを検索する検索ステップと、
前記検索ステップの処理で検索された前記ランダムアクセスポイントヘッダに含まれる前記情報を参照してランダムアクセスを制御する制御ステップと
を含み、
前記ランダムアクセスポイントヘッダは、ランダムアクセスが開始されるポイントが、ピクチャの先頭と一致するか否かを示すフラグを少なくとも含んでいる
ことを特徴とする復号方法。 - ランダムアクセスが指示された場合、入力されたビットストリームに含まれる、ランダムアクセスに関する情報が含まれているランダムアクセスポイントヘッダを検索する検索ステップと、
前記検索ステップの処理で検索された前記ランダムアクセスポイントヘッダに含まれる前記情報を参照してランダムアクセスを制御する制御ステップと
を含む処理をコンピュータに実行させ、
前記ランダムアクセスポイントヘッダは、ランダムアクセスが開始されるポイントが、ピクチャの先頭と一致するか否かを示すフラグを少なくとも含んでいる
ことを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002125299A JP3852366B2 (ja) | 2002-04-26 | 2002-04-26 | 符号化装置および方法、復号装置および方法、並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002125299A JP3852366B2 (ja) | 2002-04-26 | 2002-04-26 | 符号化装置および方法、復号装置および方法、並びにプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003319340A JP2003319340A (ja) | 2003-11-07 |
| JP2003319340A5 JP2003319340A5 (ja) | 2005-09-08 |
| JP3852366B2 true JP3852366B2 (ja) | 2006-11-29 |
Family
ID=29540067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002125299A Expired - Fee Related JP3852366B2 (ja) | 2002-04-26 | 2002-04-26 | 符号化装置および方法、復号装置および方法、並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3852366B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI405466B (zh) * | 2004-04-16 | 2013-08-11 | Panasonic Corp | A regeneration device, a regeneration program, a regeneration method, and a regeneration system |
| WO2005101827A1 (ja) * | 2004-04-16 | 2005-10-27 | Matsushita Electric Industrial Co., Ltd. | 記録媒体、再生装置、プログラム |
| KR100833402B1 (ko) | 2004-07-01 | 2008-05-28 | 미쓰비시덴키 가부시키가이샤 | 랜덤 액세스 가능한 영상 정보 기록 매체, 기록 방법, 재생장치 및 재생 방법 |
| JP2008047962A (ja) * | 2006-08-10 | 2008-02-28 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| WO2009093647A1 (ja) | 2008-01-24 | 2009-07-30 | Nec Corporation | 動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置 |
| TWI637628B (zh) | 2011-07-02 | 2018-10-01 | 三星電子股份有限公司 | 視訊解碼裝置執行的解碼視訊的方法、視訊編碼裝置執行的編碼視訊的方法以及非暫態的電腦可讀取儲存媒體 |
| WO2014010894A1 (ko) | 2012-07-11 | 2014-01-16 | 한국전자통신연구원 | Mpeg 데이터의 랜덤 억세스를 지원하는 방법 및 시스템 |
| KR102185384B1 (ko) | 2012-07-11 | 2020-12-02 | 한국전자통신연구원 | Mpeg 데이터의 랜덤 억세스를 지원하는 방법 및 시스템 |
| US20150281724A1 (en) * | 2012-10-10 | 2015-10-01 | Zte Corporation | Method and apparatus for encapsulation of random access information for media transport and storage |
| US9596486B2 (en) * | 2013-04-05 | 2017-03-14 | Qualcomm Incorporated | IRAP access units and bitstream switching and splicing |
| US10003815B2 (en) | 2013-06-03 | 2018-06-19 | Qualcomm Incorporated | Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures |
| WO2015053525A1 (ko) * | 2013-10-11 | 2015-04-16 | 한국전자통신연구원 | 영상의 부호화/복호화 방법 및 이를 이용하는 장치 |
| US10142638B2 (en) | 2013-10-11 | 2018-11-27 | Electronics And Telecommunications Research Institute | Method for encoding/decoding image and device using same |
-
2002
- 2002-04-26 JP JP2002125299A patent/JP3852366B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003319340A (ja) | 2003-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10609445B2 (en) | Encoding device and method, decoding device and method, editing device and method, recording medium, and program | |
| JP3923898B2 (ja) | 画像符号化方法及び装置 | |
| JP2000278692A (ja) | 圧縮データ処理方法及び処理装置並びに記録再生システム | |
| JP3852366B2 (ja) | 符号化装置および方法、復号装置および方法、並びにプログラム | |
| JP3147792B2 (ja) | 高速再生のためのビデオデータの復号化方法及びその装置 | |
| JPH0818979A (ja) | 画像処理装置 | |
| JP4906197B2 (ja) | 復号装置および方法、並びに記録媒体 | |
| JP3897684B2 (ja) | 画像記録方式 | |
| JPH11289515A (ja) | 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体 | |
| JP4875285B2 (ja) | 編集装置および方法 | |
| JP2000156868A (ja) | 画像復号化方法及び装置 | |
| JPH06276482A (ja) | 画像信号符号化方法、装置、復号化方法及び装置 | |
| JP2001186528A (ja) | 画像信号のビットストリーム周波数変換装置及びその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050318 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050318 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060803 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060815 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060828 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130915 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |