JP2008219204A - 画像情報符号化装置及び符号化方法 - Google Patents

画像情報符号化装置及び符号化方法 Download PDF

Info

Publication number
JP2008219204A
JP2008219204A JP2007050778A JP2007050778A JP2008219204A JP 2008219204 A JP2008219204 A JP 2008219204A JP 2007050778 A JP2007050778 A JP 2007050778A JP 2007050778 A JP2007050778 A JP 2007050778A JP 2008219204 A JP2008219204 A JP 2008219204A
Authority
JP
Japan
Prior art keywords
picture
long
memory management
term
management control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007050778A
Other languages
English (en)
Other versions
JP2008219204A5 (ja
JP5023739B2 (ja
Inventor
Junichi Tanaka
潤一 田中
Kazufumi Sato
数史 佐藤
Yoichi Yagasaki
陽一 矢ケ崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2007050778A priority Critical patent/JP5023739B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP20080711977 priority patent/EP2117237B1/en
Priority to KR1020097017854A priority patent/KR101442291B1/ko
Priority to PCT/JP2008/053248 priority patent/WO2008105389A1/ja
Priority to US12/524,733 priority patent/US8711931B2/en
Priority to CN2011100524041A priority patent/CN102088609B/zh
Priority to CN2008800056921A priority patent/CN101637028B/zh
Priority to MYPI20093226A priority patent/MY153200A/en
Publication of JP2008219204A publication Critical patent/JP2008219204A/ja
Publication of JP2008219204A5 publication Critical patent/JP2008219204A5/ja
Application granted granted Critical
Publication of JP5023739B2 publication Critical patent/JP5023739B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】ＡＶＣ符号化方式に基づく画像圧縮情報を出力する画像情報符号化装置において、ＧＯＰ構造における最適な参照関係を実現し、ＩＤＲピクチャでないＩピクチャからのランダムアクセスを可能にする。
【解決手段】マルチプルフレーム予測を行う際に、復号画像バッファ内のピクチャを管理するメモリ管理制御コマンドを用いて、ＰピクチャもしくはＩピクチャの間にある参照Ｂピクチャを長期間参照ピクチャに登録し、ＰピクチャもしくはＩピクチャと参照Ｂピクチャの間にあるＢピクチャにおいて参照画像リスト順序コマンドを用いて参照Ｂピクチャを参照リストの最初に配置し、メモリ管理制御コマンドにより、ＰピクチャもしくはＩピクチャで長期間フレームインデックスの最大値を［０］に設定することにより、復号画像バッファ内の長期間参照ピクチャを非参照ピクチャに設定し、ＩＤＲピクチャでないＩピクチャからのランダムアクセスを行う。
【選択図】図１

Description

本発明は、ＭＰＥＧ、Ｈ.２６ｘ等のように、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる画像情報符号化装置及び符号化方法に関する。
近年、画像情報をデジタルデータとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧなどの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３８１８−２）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ １４４９６−２としてその規格が国際標準に承認された。
さらに、近年、当初テレビ会議用の画像符号化を目的として、Ｈ.２６Ｌ （ＩＴＵ−Ｔ Ｑ６／１６ ＶＣＥＧ）という標準の規格化が進んでいる。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、Ｈ．２６Ｌではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がＪｏｉｎｔ Ｍｏｄｅｌ ｏｆ Ｅｎｈａｎｃｅｄ−Ｃｏｍｐｒｅｓｓｉｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇとして行われている。標準化のスケジュールとしては、２００３年３月にはＨ．２６４及びＭＰＥＧ−４ Ｐａｒｔ１０（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）という名の元に国際標準となった。
ここで、このＡＶＣ規格に基づいた画像圧縮情報を出力とする画像情報符号化装置１００の概略構成を図１３のブロック図に示す。
この画像情報符号化装置１００は、Ａ／Ｄ変換部１０１、画面並べ替えバッファ１０２、加算器１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、蓄積バッファ１０７、逆量子化部１０８、逆直交変換部１０９、デブロックフィルタ１１０、フレームメモリ１１１、イントラ予測部１１２、動き予測・補償部１１３、レート制御部１１４などからなる。
この図１３に示す画像情報符号化装置１００において、Ａ／Ｄ変換部１０１は、入力された画像信号をデジタル信号に変換して画面並べ替えバッファ１０２に供給する。そして、画面並べ替えバッファ１０２は、当該画像情報符号化装置１００から出力する画像圧縮情報の画像群（GOP:Group of Pictures）構造に応じて、フレームの並べ替えを行う。
ここで、イントラ符号化、すなわち、単一のフレームを用いて符号化が行われる画像情報に関しては、入力画像情報と、イントラ予測部１１２により生成される画素値の差分情報が直交変換部１０４に入力され、直交変換部１０４において、離散コサイン変換、カルーネン・レーベ変換等の直交変換が施される。直交変換部１０４は、直交変換により得られる変換係数を量子化部１０５に供給する。
量子化部１０５は、直交変換部１０４から供給される変換係数に対して量子化処理を施し、量子化した変換係数を可逆符号化部１０６に供給する。
可逆符号化部１０６は、量子化部１０５から供給される量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。この可逆符号化部１０６により可逆符号化された変換係数は、蓄積バッファ１０７に蓄積され、画像圧縮情報として出力される。
量子化部１０５の挙動は、レート制御部１１３によって制御される。また、量子化部１０５は、量子化した変換係数を逆量子化部１０８に供給する。さらに、逆直交変換部１０９において逆直交変換処理が施されて、復号化画像情報となり、デブロックフィルタ１１０においてブロック歪の除去が施された後、その情報はフレームメモリ１１１に蓄積される。イントラ予測部１１２において、当該ブロック／マクロブロックに対して適用されたイントラ予測モードに関する情報は、可逆符号化部１０６に伝送され、画像圧縮情報におけるヘッダ情報の一部として符号化される。
一方、インター符号化、すなわち、複数のフレームを用いて符号化が行われる画像情報に関しては、画面並べ替えバッファ１０２からの画像情報は動き予測・補償部１１３に入力される。動き予測・補償部１１３は、同時に参照される画像情報をフレームメモリ１１１から読み出し、動き予測・補償処理を施して参照画像情報を生成し、この参照画像情報を加算器１０３に供給する。加算器１０３は、画面並べ替えバッファ１０２からの画像情報を参照画像情報との差分信号に変換する。動き補償・予測部１１３は、同時に動きベクトル情報を可逆符号化部１０６に供給する。可逆符号化部１０６は、その動きベクトル情報に対して可変長符号化、算術符号化といった可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。その他の処理はイントラ符号化を施される画像圧縮情報と同様である。
次に、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像情報復号化装置２００の概略構成を図１４のブロック図に示す。
この画像情報復号化装置２００は、蓄積バッファ２０１、可逆符号化部２０２、逆量子化部２０３、逆直交変換部２０４、加算器２０５、画面並べ替えバッファ２０６、Ｄ／Ａ変換部２０７、フレームメモリ２０８、動き補償・補償部２０９、イントラ予測部２１０、デブロックフィルタ２１１などからなる。
この図１４に示す画像情報復号化装置２００において、蓄積バッファ２０１は、入力された画像圧縮情報を一時的に格納して、可逆復号化部２０２に転送する。可逆復号化部２０２は、蓄積バッファ２０１から転送されてくる画像圧縮情報に対して、定められた画像圧縮情報のフォーマットに基づき、可変長復号化、算術復号化等の処理を施す。また、可逆復号化部２０２は、当該フレームがイントラ符号化されたものである場合、画像圧縮情報のヘッダ部に格納されたイントラ予測モード情報についても復号し、その情報をイントラ予測部２１０に供給する。さらに、可逆復号化部２０２は、当該フレームがインター符号化されたものである場合、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測・補償部２０９に供給する。
逆量子化部２０３は、可逆復号化部２０２から供給される量子化された変換係数を逆量子化し、変換係数として逆直交変換部２０４に供給する。逆直交変換部２０４は、逆量子化部２０３から供給される変換係数に対して、定められた方式に基づき、４次の逆直交変換を施す。
ここで、当該フレームがイントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は、加算器２０５に供給され、イントラ予測部２１０において生成された予測画像情報と合成され、更に、デブロックフィルタ２１１においてブロック歪の除去が施された後、画面並べ替えバッファ２０６に格納され、Ｄ／Ａ変換部２０７によりＤ／Ａ変換処理の後に出力される。
一方、当該フレームがインター符号化されたものである場合には、動き補償・補償部２０９は、可逆復号化部２０２により可逆復号化処理が施された動きベクトル情報、及び、フレームメモリ２０８に格納された画像情報を元に参照画像情報を生成し、加算器２０５に供給する。加算器２０５は、この参照画像情報と逆直交変換部２０４の出力とを合成する。その他の処理はイントラ符号化されたフレームと同様である。
特開２００３−２８９５４４号公報 特開２００４−２８９８０８号公報 特開２００４−２７４７３２号公報 特開２００４−１８７２６４号公報 特開２００４−２７４６９４号公報 特開２００６−１２９１７７号公報
ところで、ＡＶＣ符号化方式においては、複数のピクチャを参照することが可能である。これらのピクチャは予測に用いる復号画像を格納するための画像バッファメモリである復号画像バッファ（DPB:Decoded picture buffer）に保存される。復号画像バッファ（DPB）内では短期間に参照されるピクチャを短期間参照ピクチャ（used for short-term reference）、長期間にわたって参照されるピクチャを長期間参照ピクチャ（used for long-term reference）、参照されないピクチャを非参照ピクチャ（unused for reference）としてマーキングされる。デコードされたピクチャは一度この復号画像バッファ（DPB）に保存され、出力順を並び替えて指定された出力タイミングで出力される。
復号画像バッファ（DPB）のサイズはプロファイル（profile）およびレベル（level）により定義されており、ピクチャの枚数ではなく、ビット量として定義されている。つまり、同じプロファイル、レベルであってもピクチャの画枠に応じて枚数が変化する、例えばメイン（Main）プロファイル、レベル４の場合、予測に用いる復号画像を格納するための画像バッファの最大サイズ（MaxDPB:Maximum Decoded Picture Buffer Size）は１２２８８．０×１０２４ｂｙｔｅｓなので１４４０×１０８８ ４：２：０の場合、復号画像バッファ（DPB）に保存できるピクチャは５枚、１９２０×１０８８ ４：２：０の場合、復号画像バッファ（DPB）に保存できるピクチャは４枚となる。このＤＰＢサイズの中で出力順、参照関係に矛盾がないようにエンコードを行う必要がある。
復号画像バッファ（DPB）の管理法には２種類あり、一つが移動窓メモリ管理法（Sliding window process）、もう一方が適応メモリ管理法（Adaptive memory control process）である。移動窓メモリ管理法は復号画像バッファ（DPB）を先入れ先出し（FIFO：First In First Out）方式で管理し、フレーム番号（frame_num）の小さいものから順に開放される方式である。適応メモリ管理法では、復号画像バッファ（DPB）内のピクチャを任意に管理することができる。この管理コマンドはメモリ管理制御（MMCO:Memory management control operation）コマンドと呼ばれ、短期間参照ピクチャを非参照ピクチャに設定したり、長期間参照ピクチャを非参照ピクチャに設定したり、短期間参照ピクチャに長期間フレームインデックス（long-term frame index）を割り当てることで長期間参照ピクチャに設定したり、長期間フレームインデックスの最大値を設定したり、すべての参照ピクチャを非参照ピクチャに設定したりすることができる。
参照ピクチャは参照画像リスト（reference picture list）により管理される。参照画像リストは参照画像リスト順序（Reference picture list reordering）を用いることで任意の順番に入れ替えることができる。参照画像リスト順序を用いない場合、短期間参照ピクチャ、長期間参照ピクチャの順で参照リストが生成される。
近年の研究により階層Ｂピクチャ構造と呼ばれるＧＯＰ構造が符号化効率および画質の面で注目されている。代表的な階層Ｂピクチャ構造（ＧＯＰ−１）を図１５の（Ａ），（Ｂ）に示す。図１５の（Ａ）はピクチャの種類及び 表示順情報（POC:Picture Order Count）を表示順（Display order）に示すとともに各ピクチャの参照関係を矢印にて示しており、また、図１５の（Ｂ）は各ピクチャの復号順（Decode order）を示している。また、図１５の（Ａ），（Ｂ）において、Ｂｒは参照されるＢピクチャを表している。
しかし、この構造は多くの並び替えバッファが必要となることから、図１６に示すようなＧＯＰ構造（ＧＯＰ−２）を用いる場合がある。図１６の（Ａ）はピクチャの種類及び表示順情報（POC）を表示順（Display order）に示すとともに各ピクチャの参照関係を矢印にて示しており、また、図１６の（Ｂ）は復号順（Decode order）に示している。また、図１６の（Ａ），（Ｂ）において、Ｂｒは参照されるＢピクチャを表している。上述の如く、メインプロファイル、レベル４で画枠が１９２０×１０８８ ４：２：０の場合、復号画像バッファ（DPB）に保存できるピクチャは４枚となる。
ＧＯＰ−２の構造において復号画像バッファ（DPB）が４枚（max_dec_frame_buffering=4）、参照に使えるピクチャ枚数が３枚（num_ref_frames=3）の場合、図１７の（Ａ）〜（Ｄ）に示すような参照関係になる。
図１７の（Ａ）はピクチャの種類及び表示順情報を表示順に示すとともに各ピクチャの参照関係を矢印にて示しており、また、図１７の（Ｂ）は各ピクチャの復号順を示し、さらに、図１７の（Ｃ），（Ｄ）は各時刻Ｔ０，Ｔ１，・・・，Ｔ１５，・・・における復号画像バッファ（参照画像バッファ、非参照画像バッファ）及び表示バッファの内容を示している。この場合、図１７の（Ａ）に太線の矢印で示すように時間的に最も近い参照面が存在しない。また、Ｉピクチャを飛び越して参照しているため瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスが不可能である。
ここで、ＩＤＲピクチャは、画像シーケンスの先頭のピクチャである。瞬時復号器更新ピクチャは、Ｉスライス又はスイッチングＩスライスからなり、参照画像バッファの状態やフレーム番号、表示順情報など、ビットストリームを復号するために必要なすべての状態がリセットされる。Ｈ．２６４／ＡＶＣでは、Ｉピクチャの後ろにある、ＰピクチャからＩピクチャより前のピクチャを参照するフレーム間予測が許容されているので、状態を完全にリセットするには通常のＩピクチャでは不十分で、瞬時復号器更新ピクチャを用いる必要がある。
このように、従来の手法では、最も時間的に近く画像の相関が高いと考えられるピクチャを参照できない、また瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスができないという問題を有する。
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、ＡＶＣ符号化方式に基づく画像圧縮情報を出力する画像情報符号化装置において、階層Ｂピクチャで構成されるＧＯＰ構造における最適な参照関係および瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスを実現することにある。
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
本発明では、上述の課題を解決するために、メモリ管理制御コマンド及び参照画像リスト順序コマンドの処理により、最も効率的な参照関係、及び、瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスを可能にする。
すなわち、本発明は、動き予測を用いて画像情報の符号化処理を行い、画像圧縮情報を出力する画像情報符号化装置であって、復号画像バッファ内のピクチャを管理するメモリ管理制御コマンドを発生するメモリ管理制御コマンド発生手段を備え、マルチプルフレーム予測を行う際に、上記メモリ管理制御コマンド発生手段は、メモリ管理制御（MMCO）コマンドにより、ＰピクチャもしくはＩピクチャの間にある参照Ｂピクチャを長期間参照ピクチャに登録し、ＰピクチャもしくはＩピクチャと参照Ｂピクチャの間にあるＢピクチャにおいて参照画像リスト順序コマンドにより参照Ｂピクチャを参照リストの最初に配置し、メモリ管理制御コマンドにより、ＰピクチャもしくはＩピクチャで長期間フレームインデックスの最大値を［０］に設定することにより、復号画像バッファ内の長期間参照ピクチャを非参照ピクチャに設定し、瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスを行うことを特徴とする。
また、本発明は、動き予測を用いて画像情報の符号化処理を行い、画像圧縮情報を出力する画像情報符号化方法であって、マルチプルフレーム予測を行う際に、復号画像バッファ内のピクチャを管理するメモリ管理制御コマンドにより、ＰピクチャもしくはＩピクチャの間にある参照Ｂピクチャを長期間参照ピクチャに登録し、ＰピクチャもしくはＩピクチャと参照Ｂピクチャの間にあるＢピクチャにおいて参照画像リスト順序コマンドにより参照Ｂピクチャを参照リストの最初に配置し、メモリ管理制御コマンドにより、ＰピクチャもしくはＩピクチャで長期間フレームインデックスの最大値を［０］に設定することにより、復号画像バッファ内の長期間参照ピクチャを非参照ピクチャに設定し、瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスを行うことを特徴とする。
ここで、本発明の特徴となるメモリ管理制御コマンド発生手段の動作原理について述べる。
メモリ管理制御コマンド発生手段は、ＧＯＰ構造に応じて効率の良い参照関係を実現し、かつ瞬時復号器更新（IDR）ピクチャでないＩピクチャからのランダムアクセスが可能になるようなメモリ管理制御コマンドおよび参照画像リスト順序コマンドの発行を行うものである。ここでは、図１６で示すようなＧＯＰ構造で最大復号フレームバッファ数（max_dec_frame_buffering）＝４、参照フレーム数（num_ref_frames）＝３の場合を例にとって説明する。
この構造は多くの並び替えバッファが必要となることから、上述の如く図１６に示すようなＧＯＰ構造（ＧＯＰ−２）を用いる場合がある。上述の如く、メインプロファイル、レベル４で画枠が１９２０×１０８８ ４：２：０の場合、復号画像バッファ（DPB）に保存できるピクチャは４枚となる。そして、ＧＯＰ−２の構造において復号画像バッファ（DPB）が４枚（max_dec_frame_buffering=4）、参照に使えるピクチャ枚数が３枚（num_ref_frames=3）の場合、図１７の（Ａ）〜（Ｄ）に示すような参照関係になる。
メモリ管理制御コマンドを使用しない場合は、図１７に示すように、復号順（Decode order）でＰおよびＩピクチャ後のＢピクチャが時間的に直前のＰおよびＩピクチャを飛び越し、参照Ｂピクチャを参照している。これを回避するためには、メモリ管理制御コマンドで参照Ｂピクチャを非参照ピクチャに設定すれば良い。
参照Ｂピクチャのタイミングでメモリ管理制御コマンド（MMCO=1）を使用して、短期間参照ピクチャである、以前の参照Ｂピクチャを非参照ピクチャに設定すれば良いが、その際にコマンドを出力する現在のピクチャ番号との差分を表すピクチャ番号差分値をストリームに出力する必要がある。ピクチャ番号はスライスヘッダ上にあるフレーム番号（frame_num）により決定する。フレーム番号はピクチャを一意に決定するための値である。
瞬時復号器更新ピクチャ以外のＩピクチャからのランダムアクセスでは、フレーム番号はＩピクチャ以降の値しか存在しない。従って、メモリ管理制御コマンド（MMCO=1）を使用して非参照ピクチャに設定するにも指し示すピクチャが復号画像バッファに存在しない。
そこで、本発明では、ＭＭＣＯ＝４の長期フレームインデックスの最大値を変更するメモリ管理制御コマンドを使用する。このとき、長期フレームインデックス最大値を［０］とすると、以前に存在した長期参照ピクチャを復号画像バッファから開放することができる。この仕組みを利用して、参照Ｂピクチャを長期参照ピクチャに設定し、その後参照に不要となったタイミングで長期フレームインデックスの最大値を変更するコマンドにより長期参照ピクチャを開放する。これにより瞬時復号器更新ピクチャ以外のＩピクチャからのランダムアクセス時にも矛盾のないコマンドを発行することができる。
参照画像リストは、参照画像リスト順序コマンドを用いない場合、短期参照ピクチャ、長期参照ピクチャの順で生成される。このため参照Ｂピクチャを長期参照ピクチャに設定した場合は、リストの最後の参照番号を振られる。これは符号化効率の面で不利になるために、参照画像リスト順序コマンドを用いて、最も小さい参照番号を振る。
以上の処理を継続的に行うことにより図６の（Ａ）〜（Ｄ）に示すような参照関係が実現できる。
本発明では、マルチプルフレーム予測を行う際に、復号画像バッファ内のピクチャを管理するメモリ管理制御コマンドにより、ＰピクチャもしくはＩピクチャの間にある参照Ｂピクチャを長期間参照ピクチャに登録し、ＰピクチャもしくはＩピクチャと参照Ｂピクチャの間にあるＢピクチャにおいて参照画像リスト順序コマンドにより参照Ｂピクチャを参照リストの最初に配置し、メモリ管理制御コマンドにより、ＰピクチャもしくはＩピクチャで長期間フレームインデックスの最大値を［０］に設定することにより、復号画像バッファ内の長期間参照ピクチャを非参照ピクチャに設定し、瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスを行うので、長期間フレームインデックスの最大値を変更するメモリ管理制御コマンドを発行することで長期間フレームインデックスを指定することなく長期間参照ピクチャをメモリから開放することができ、瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセス時にＤＰＢに存在しない参照ピクチャを指し示すことがないため、全く矛盾のないストリームを実現することができる。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
本発明は、例えば図１に示すような構成の画像情報符号化装置１０に適用される。
この画像情報符号化装置１０は、Ａ／Ｄ変換部１１、画面並べ替えバッファ１２、メモリ管理制御（MMCO:Memory management control operation）コマンド発生部１３、加算器１４、直交変換部１５、量子化部１６、可逆符号化部１７、蓄積バッファ１８、逆量子化部１９、逆直交変換部２０、デブロックフィルタ２１、フレームメモリ２２、イントラ予測部２３、動き予測・補償部２４、レート制御部２５などからなる。
この図１に示す画像情報符号化装置１０において、Ａ／Ｄ変換部１１は、入力された動画像信号をデジタル信号に変換して画面並べ替えバッファ１２に供給する。
画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１によりデジタル信号に変換された入力画像情報について、当該画像情報符号化装置１０から出力する画像圧縮情報の画像群（GOP:Group of Pictures）構造に応じて、フレームの並べ替えを行い、並べ替え済みの入力画像情報をメモリ管理制御コマンド発生部１３を介して加算器１４、直交変換部１５、イントラ予測部２３及び動き予測・補償部２４に供給する。
ＭＭＣＯコマンド発生部１３は、画面並べ替えバッファ１２から供給される入力画像情報について、例えば、画像群（GOP:Group of Pictures）構造に応じて効率の良い参照関係を実現し、かつ瞬時復号器更新（IDR：Instantaneous Decoding Refresh）ピクチャでないＩピクチャからのランダムアクセスが可能になるようなＭＭＣＯコマンドおよび参照画像リスト順序（Reference picture list reordering）コマンドを可逆符号化部１７及びフレームメモリ２２に対して発行する。
加算器１４は、ＭＭＣＯコマンド発生部１３を介して供給される入力画像情報とイントラ若しくはインター予測画像情報との差分値をマクロブロック毎に生成する。
ここで、イントラ符号化、すなわち、単一のフレームを用いて符号化が行われる画像情報に関しては、入力画像情報と、イントラ予測部２３により生成されるイントラ予測画像情報の差分値が直交変換部１５に入力される。また、インター符号化、すなわち、複数のフレームを用いて符号化が行われる画像情報に関しては、入力画像情報と、動き補償・予測部２４により生成される参照画像情報の差分値が直交変換部１５に入力される。
直交変換部１５は、加算器１４から供給されるマクロブロック毎の差分値について、可変の変換サイズ単位で離散コサイン変換、カルーネン・レーベ変換等の直交変換、ここでは、離散コサイン変換（DCT:Discrete Cosine Transform）を行い、得られる直交変換（DCT）係数を量子化部１６に供給する。
量子化部１６は、直交変換部１５から供給される変換係数に対して量子化処理を施し、量子化した変換係数を可逆変換部１７及び逆量子化部１９に供給する。
量子化部１６の挙動は、レート制御部２５によって制御されている。
可逆変換部１７は、量子化部１６から供給される量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化、例えば、ＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）符号化を施す。この可逆変換部１７により可逆符号化された変換係数は、蓄積バッファ１８に蓄積され、画像圧縮情報として出力される。
また、逆量子化部１９は、量子化部１６から供給される量子化された直交変換係数の逆量子化処理を行い、直交変換係数を逆直交変換部２０に供給する。
逆直交変換部２０は、逆量子化部１９から供給される直交変換係数の逆直交変換処理を行い、得られる復号画像情報をデブロックフィルタ２１を介してフレームメモリ２２に供給する。
デブロックフィルタ２１は、復号画像情報に含まれるブロック歪を除去する。
フレームメモリ２２は、復号画像情報を蓄積する。
イントラ予測部２３は、フレームメモリ２２から、隣接する、既に符号化済の画像情報を取り出して、これを元に、直交変換サイズに適したイントラ予測処理のみを行う。
動き予測・補償部２４は、参照画像情報に対して動きベクトルの探索及びインター予測画像情報の生成を行う。
レート制御部２５は、フィードバック制御により量子化部１６の動作の制御を行い、出力となる画像圧縮情報の符号量制御を行う。
そして、この画像情報符号化装置１０では、瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスを図２のフローチャートに従って行う。
すなわち、この画像情報符号化装置１０では、ランダムアクセスを開始すると、先ず、ステップＳ１において、復号画像バッファを状態にする。
次のステップＳ２では、Ｉピクチャの復号処理を行う。
次のステップＳ３では、メモリ管理制御コマンド（MMCO=4）により長期間フレームインデックス（long-term frame index）の最大値を［−１］に設定する。
次のステップＳ４では、Ｉピクチャを復号画像バッファに保存する。
次のステップＳ５では、Ｂｓピクチャの復号処理を行う。
次のステップＳ６では、メモリ管理制御コマンド（MMCO=4）により長期間フレームインデックス（long-term frame index）の最大値を［０］に設定する。
次のステップＳ７では、メモリ管理制御コマンド（MMCO=6）により長期間フレームインデックス（long-term frame index）の値を［０］に設定する。
次のステップＳ８では、Ｂｓピクチャを復号画像バッファに保存する。
次のステップＳ９では、Ｂピクチャの復号処理を行う。
次のステップＳ１０では、参照画像リスト順序コマンドによりＬ１のref_idx0にＢｓピクチャを指定する。
次のステップＳ１１では、Ｂピクチャを復号画像バッファに保存する。
次のステップＳ１２では、Ｂピクチャの復号処理を行う。
次のステップＳ１３では、参照画像リスト順序コマンドによりＬ０のref_idx0にＢｓピクチャを指定する。
次のステップＳ１４では、Ｂピクチャを復号画像バッファに保存する。
次のステップＳ１５では、ＧＯＰの終わりであるか否かを判定する。
このステップＳ１５における判定結果がＮＯ、すなわち、ＧＯＰの終わりでない場合には次のステップＳ１６に進み、また、上記ステップＳ１５における判定結果がＹＥＳ、すなわち、ＧＯＰの終わりである場合には、上記ステップＳ２に戻る。
次のステップＳ１６では、Ｐピクチャの復号処理を行う。
次のステップＳ１７では、メモリ管理制御コマンド（MMCO=4）により長期間フレームインデックス（long-term frame index）の最大値を［−１］に設定する。
次のステップＳ１８では、Ｐピクチャを復号画像バッファに保存して、上記ステップＳ５に戻る。
そして、上記ステップＳ５から上記ステップＳ１８の処理を繰り返し行い、上記ステップＳ１５における判定結果がＹＥＳ、すなわち、ＧＯＰの終わりまで復号処理を行ったならば、上記ステップＳ２に戻って次のＧＯＰのＩピクチャを復号する。
すなわち、この画像情報符号化装置１０において、上記メモリ管理制御コマンド発生部１３は、例えば、ＧＯＰ構造が図３に示すようなフレーム構造で、Ｂ０ Ｂｒ１ Ｂ２ Ｉ３ Ｂ４ Ｂｒ５ Ｂ６ Ｐ７ Ｂ８ Ｂｒ９ Ｂ１０ Ｐ１１ Ｂ１２ Ｂｒ１３ Ｂ１４ Ｐ１５で、復号順序がＩ３ Ｂｒ１ Ｂ０ Ｂ２ Ｐ７ Ｂｒ５ Ｂ４ Ｂ６ Ｐ１１ Ｂｒ９ Ｂ８ Ｂ１０ Ｐ１５ Ｂｒ１３ Ｂ１２ Ｂ１４のような階層構造の場合に、図４及び図５に示すように、表示順情報（POC）を１６で割ったときの余りを表すＰＯＣ％１６の値に対応させて定義したメモリ管理制御コマンド（#COMMAND=0〜#COMMAND=6）及び参照画像リスト順序コマンド（#COMMAND=0〜#COMMAND=3を発生するようにして、Ｉ３で長期間フレームインデックスの最大値を［０］に設定し、Ｂｒ１でメモリ管理制御コマンド（MMCO=4）により長期間フレームインデックスの最大値を［１］に設定し、Ｂｒ１を長期参照ピクチャに設定し、Ｂ０で参照画像リスト順序コマンドによりＩ３およびＢｒ１を参照し、Ｂ１で参照画像リスト順序コマンドによりＩ３およびＢｒ１を参照する処理を続けることで、図６の（Ａ）〜（Ｄ）に示すように、シンタックスが矛盾することなく、瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスを行うことができる。
ここで、図６の（Ａ）はピクチャの種類及び 表示順情報を表示順序に示すとともに各ピクチャの参照関係を矢印にて示しており、また、図６の（Ｂ）は各ピクチャの復号順序を示し、さらに、図６の（Ｃ），（Ｄ）は各時刻Ｔ０，Ｔ１，・・・，Ｔ１５，・・・における復号画像バッファ（参照画像バッファ、非参照画像バッファ）及び表示バッファの内容を示している。
また、例えば図７に示すように、表示順序（Display Order）がＢ０ Ｂｓ１ Ｂ２ Ｉ３ Ｂ４ Ｂｓ５ Ｂ６ Ｐ７ Ｂ８ Ｂｓ９ Ｂ１０ Ｐ１１ ・・・で、復号順序がＩ３ Ｂｓ１ Ｂ０ Ｂ２ Ｐ７ Ｂｓ５ Ｂ４ Ｂ６ Ｐ１１ Ｂｓ９ Ｂ８ Ｂ１０ ・・・のような階層構造を有し、矢印で示すような参照関係にある場合、この画像情報符号化装置１０では、各ステップでの復号画像バッファの状態は図８に示すようになる。図８の（ｓ１）〜（ｓ１８）は、ステップＳ１〜ステップＳ１８の各ステップにおける復号画像バッファ（DPB）（短期間参照画像バッファ、長期間参照画像バッファ、非参照画像バッファ）の状態を示し、また、図８の（ｓ１９）〜（ｓ３２）は、繰り返し行われる上記ステップＳ５〜ステップＳ１８の各ステップにおける復号画像バッファ（短期間参照画像バッファ、長期間参照画像バッファ、非参照画像バッファ）の状態を示している。
このように、上記メモリ管理制御コマンド発生部１３は、ＧＯＰ構造がＢピクチャを参照するような階層構造の場合に、ＭＭＣＯコマンドを発行することで、限られた復号画像バッファでフレーム間時間が最も短く効率の良い参照関係を可能にしている。
また、上記メモリ管理制御コマンド発生部１３は、ＧＯＰ構造がＢピクチャを参照するような階層構造の場合に、参照画像リスト順序コマンドを用いることで、限られた復号画像バッファでフレーム間時間が最も短く効率の良い参照関係を可能にしている。
さらに、上記メモリ管理制御コマンド発生部１３は、ＭＭＣＯコマンドを利用して参照されるＢピクチャを長期参照ピクチャに設定し、且つＰピクチャおよびＩピクチャにおいて長期フレームインデックスの最大値を［０］に設定することで、長期ピクチャを開放することにより瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスをシンタックスが矛盾することなく可能にしている。
なお、以上の説明した本発明の実施の形態では、最大復号フレームバッファ数（max_dec_frame_buffering）＝４、参照フレーム数（num_ref_frames）＝３の場合を例にとって、ＧＯＰ構造がフレーム構造の場合について、参照ピクチャＢｓは長期間参照ピクチャに設定するものとして、長期ピクチャを開放することにより瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスをシンタックスが矛盾することなく可能にしたが、これらの値が異なる場合でもそれに相当するＭＭＣＯコマンドおよび参照画像リスト順序コマンドを生成することにより、瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセス時に復号画像バッファに存在しない参照ピクチャを指し示すことがないため、全く矛盾のないストリームを実現することができる。
また、本発明の実施の形態では、ＧＯＰ構造がフレーム構造の場合について説明したが、ＧＯＰ構造がフィールド構造であっても、最大復号フレームバッファ数（max_dec_frame_buffering）＝４、参照フレーム数（num_ref_frames）＝３の場合、Ｐピクチャの先頭で以前の長期間参照ピクチャを非参照ピクチャに設定し、参照ピクチャＢｓは長期間参照ピクチャに設定するものとして、長期ピクチャを開放することにより瞬時復号器更新（IDR）ピクチャでないＩピクチャからのランダムアクセスをシンタックスが矛盾することなくおこなうことができる。
すなわち、この画像情報符号化装置１０において、上記メモリ管理制御コマンド発生部１３は、例えば、ＧＯＰが図９に示すようなフィールド構造で、Ｂ−６ Ｂ−５ Ｂｒ−４ Ｂｒ−３ Ｂ−２ Ｂ−１ Ｉ０ Ｐ１ Ｂ２ Ｂ３ Ｂｒ４ Ｂｒ５ Ｂ６ Ｂ７ Ｐ８ Ｐ９ Ｂ１０ Ｂ１１ Ｂｒ９ Ｂ１２ Ｂｒ１３ Ｂ１４ Ｂ１５ Ｐ１６ Ｐ１７ Ｂ１８ Ｂ１９ Ｂｒ２０ Ｂｒ２１ Ｂ２２ Ｂ２３ Ｐ２４ Ｐ２５で、復号順序がＩ６ Ｐ７ Ｂ２ Ｂ３ Ｂ０ Ｂ１ Ｂ４ Ｂ５ Ｐ１４ Ｐ１５ Ｂ１０ Ｂ１１ Ｂ８ Ｂ９ Ｂ１２ Ｂ１３ Ｐ２２ Ｐ２３ Ｂ１８ Ｂ１９ Ｂ１６ Ｂ１７ Ｂ２０ Ｂ２１ Ｐ３０ Ｐ３１ Ｂ２ Ｂ２７ Ｂ２４ Ｂ２５ Ｂ２８ Ｂ２９ Ｐ３０ Ｐ３１ Ｂ３２・・・のような階層構造の場合に、図１０及び図１１に示すように、表示順情報（POC）を３２で割ったときの余りを表すＰＯＣ％３２の値に対応させて定義したメモリ管理制御コマンド（#COMMAND=0〜#COMMAND=6）及び参照画像リスト順序コマンド（#COMMAND=0〜#COMMAND=3を発生するようにして、Ｉ６で長期間フレームインデックス（long-term frame index）の最大値を［０］に設定し、Ｂｒ１でメモリ管理制御コマンド（MMCO=4）により長期間フレームインデックスの最大値を［１］に設定し、Ｂｒ１を長期参照ピクチャに設定し、Ｂ３で参照画像リスト順序コマンドによりＩ６およびＢｒ１を参照し、Ｂ３で参照画像リスト順序コマンドによりＩ６およびＢｒ１を参照する処理を続けることで、図１２に示すように、シンタックスが矛盾することなく、瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスを行うことができる。
本発明を適用したＡＶＣ符号化方式の画像情報符号化装置の構成例を示すブロック図である。 上記画像情報符号化装置において瞬時復号器更新（IDR）ピクチャでないＩピクチャからのランダムアクセスを行うための処理手順を示すフローチャートである。 上記画像情報符号化装置において上記ランダムアクセスを行う画像群（GOP:Group of Pictures）構造を示す模式図である。 上記画像情報符号化装置においてフレーム構造のＧＯＰについて上記ランダムアクセスを行うために用いるメモリ管理制御コマンドの詳細を示す図である。 上記画像情報符号化装置においてフレーム構造のＧＯＰについて上記ランダムアクセスを行うために用いる参照画像リスト順序コマンドの詳細を示す図である。 上記画像情報符号化装置においてフレーム構造のＧＯＰについて上記ランダムアクセスを行った場合の各情報の状態を模式的に示す図である。 上記画像情報符号化装置において上記ランダムアクセスが行われるフレーム構造のＧＯＰの構成例を模式的に示す図である。 上記画像情報符号化装置においてフレーム構造のＧＯＰについて上記ランダムアクセスを行った場合の復号画像バッファ（短期間参照画像バッファ、長期間参照画像バッファ、非参照画像バッファ）の状態を模式的に示す図である。 上記画像情報符号化装置において上記ランダムアクセスを行うフィールド構造の画像群（GOP:Group oｆ Pictures）を示す模式図である。 上記画像情報符号化装置においてフィールド構造のＧＯＰについて上記ランダムアクセスを行うために用いるメモリ管理制御コマンドの詳細を示す図である。 上記画像情報符号化装置においてフィールド構造のＧＯＰについて上記ランダムアクセスを行うために用いる参照画像リスト順序コマンドの詳細を示す図である。 上記画像情報符号化装置においてフィールド構造のＧＯＰについて上記ランダムアクセスを行った場合の各情報の状態を模式的に示す図である。 従来のＡＶＣ符号化方式に基づく画像圧縮情報を出力する画像情報符号化装置の構成例を示すブロック図である。 従来のＡＶＣ符号化方式に基づく画像圧縮情報を入力とする画像情報復号装置の構成例を示すブロック図である。 代表的な階層Ｂピクチャ構造を模式的に示す図である。 簡略化した階層Ｂピクチャ構造を模式的に示す図である。 階層Ｂピクチャ構造において、メモリ管理制御コマンドおよび参照画像リスト順序コマンドを使用しない場合の復号画像バッファおよび参照関係を模式的に示す図である。
符号の説明
１０ 画像情報符号化装置、１１ Ａ／Ｄ変換部、１２ 画面並べ替えバッファ、１３ メモリ管理制御コマンド発生部、１４ 加算器、１５ 直交変換部、１６ 量子化部、１７ 可逆符号化部、１８ 蓄積バッファ、１９ 逆量子化部、２０ 逆直交変換部、２１ デブロックフィルタ、２２ フレームメモリ、２３ イントラ予測部、２４ 動き予測・補償部、２５ レート制御部

Claims (7)

  1. 動き予測を用いて画像情報の符号化処理を行い、画像圧縮情報を出力する画像情報符号化装置であって、
    復号画像バッファ内のピクチャを管理するメモリ管理制御コマンドを発生するメモリ管理制御コマンド発生手段を備え、
    マルチプルフレーム予測を行う際に、上記メモリ管理制御コマンド発生手段は、メモリ管理制御コマンドにより、ＰピクチャもしくはＩピクチャの間にある参照Ｂピクチャを長期間参照ピクチャに登録し、ＰピクチャもしくはＩピクチャと参照Ｂピクチャの間にあるＢピクチャにおいて参照画像リスト順序コマンドにより参照Ｂピクチャを参照リストの最初に配置し、メモリ管理制御コマンドにより、ＰピクチャもしくはＩピクチャで長期間フレームインデックスの最大値を［０］に設定することにより、復号画像バッファ内の長期間参照ピクチャを非参照ピクチャに設定し、
    瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスを行うことを特徴とする画像情報符号化装置。
  2. 上記メモリ管理制御コマンド発生手段は、画像群構造がＢピクチャを参照する階層構造の場合に、メモリ管理制御コマンドを発行してＰピクチャもしくはＩピクチャの間にある参照Ｂピクチャを長期間参照ピクチャに登録し、さらに、メモリ管理制御コマンドにより、ＰピクチャもしくはＩピクチャで長期間フレームインデックスの最大値を［０］に設定することにより、復号画像バッファ内の長期間参照ピクチャを非参照ピクチャに設定することを特徴とする請求項１記載の画像情報符号化装置。
  3. 上記メモリ管理制御コマンド発生手段は、画像群構造がＢピクチャを参照する階層構造の場合に、ＰピクチャもしくはＩピクチャと参照Ｂピクチャの間にあるＢピクチャにおいて参照画像リスト順序コマンドにより参照Ｂピクチャを参照リストの最初に配置することを特徴とする請求項１記載の画像情報符号化装置。
  4. 上記メモリ管理制御コマンド発生手段は、画像群構造がＢ０ Ｂｒ１ Ｂ２ Ｉ３ Ｂ４ Ｂｒ５ Ｂ６ Ｐ７ Ｂ８ Ｂｒ９ Ｂ１０ Ｐ１１ Ｂ１２ Ｂｒ１３ Ｂ１４ Ｐ１５で、復号処理順序がＩ３ Ｂｒ１ Ｂ０ Ｂ２ Ｐ７ Ｂｒ５ Ｂ４ Ｂ６ Ｐ１１ Ｂｒ９ Ｂ８ Ｂ１０ Ｐ１５ Ｂｒ１３ Ｂ１２ Ｂ１４のような階層構造の場合に、Ｉ３で長期間フレームインデックスの最大値を［０］に設定し、Ｂｒ１でメモリ管理制御コマンドにより長期間フレームインデックスの最大値を［１］に設定し、Ｂｒ１を長期参照ピクチャに設定し、Ｂ０で参照画像リスト順序コマンドによりＩ３およびＢｒ１を参照し、Ｂ１で参照画像リスト順序コマンドによりＩ３およびＢｒ１を参照することで、瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスを行うことを特徴とする請求項１記載の画像情報符号化装置。
  5. 長期フレームインデックスの最大値を変更するコマンドを発行することで長期フレームインデックスを指定することなく復号画像バッファ内の長期間参照ピクチャを開放することを特徴とする請求項４記載の画像情報符号化装置。
  6. 画像群構造が２つのフィールドを独立した２つのピクチャとして扱うフィールド構造であって、上記メモリ管理制御コマンド発生手段は、長期フレームインデックスの最大値を変更するコマンドを発行することで長期フレームインデックスを指定することなく復号画像バッファ内の長期間参照ピクチャを開放することを特徴とする請求項１記載の画像情報符号化装置。
  7. 動き予測を用いて画像情報の符号化処理を行い、画像圧縮情報を出力する画像情報符号化方法であって、
    マルチプルフレーム予測を行う際に、復号画像バッファ内のピクチャを管理するメモリ管理制御コマンドにより、ＰピクチャもしくはＩピクチャの間にある参照Ｂピクチャを長期間参照ピクチャに登録し、
    ＰピクチャもしくはＩピクチャと参照Ｂピクチャの間にあるＢピクチャにおいて参照画像リスト順序コマンドにより参照Ｂピクチャを参照リストの最初に配置し、
    メモリ管理制御コマンドにより、ＰピクチャもしくはＩピクチャで長期間フレームインデックスの最大値を［０］に設定することにより、復号画像バッファ内の長期間参照ピクチャを非参照ピクチャに設定し、
    瞬時復号器更新ピクチャでないＩピクチャからのランダムアクセスを行うことを特徴とする画像情報符号化方法。
JP2007050778A 2007-02-28 2007-02-28 画像情報符号化装置及び符号化方法 Expired - Fee Related JP5023739B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2007050778A JP5023739B2 (ja) 2007-02-28 2007-02-28 画像情報符号化装置及び符号化方法
KR1020097017854A KR101442291B1 (ko) 2007-02-28 2008-02-26 화상 정보 부호화 장치 및 부호화 방법
PCT/JP2008/053248 WO2008105389A1 (ja) 2007-02-28 2008-02-26 画像情報符号化装置及び符号化方法
US12/524,733 US8711931B2 (en) 2007-02-28 2008-02-26 Picture information coding device and coding method
EP20080711977 EP2117237B1 (en) 2007-02-28 2008-02-26 Image information coding device and coding method for random access of coded image frames
CN2011100524041A CN102088609B (zh) 2007-02-28 2008-02-26 图像信息编码设备
CN2008800056921A CN101637028B (zh) 2007-02-28 2008-02-26 图像信息编码设备和编码方法
MYPI20093226A MY153200A (en) 2007-02-28 2008-02-26 Picture information coding device and coding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007050778A JP5023739B2 (ja) 2007-02-28 2007-02-28 画像情報符号化装置及び符号化方法

Publications (3)

Publication Number Publication Date
JP2008219204A true JP2008219204A (ja) 2008-09-18
JP2008219204A5 JP2008219204A5 (ja) 2010-01-28
JP5023739B2 JP5023739B2 (ja) 2012-09-12

Family

ID=39721220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007050778A Expired - Fee Related JP5023739B2 (ja) 2007-02-28 2007-02-28 画像情報符号化装置及び符号化方法

Country Status (7)

Country Link
US (1) US8711931B2 (ja)
EP (1) EP2117237B1 (ja)
JP (1) JP5023739B2 (ja)
KR (1) KR101442291B1 (ja)
CN (2) CN101637028B (ja)
MY (1) MY153200A (ja)
WO (1) WO2008105389A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008167449A (ja) * 2006-12-28 2008-07-17 Samsung Electronics Co Ltd 映像の符号化、復号化方法及び装置
JP2010219983A (ja) * 2009-03-18 2010-09-30 Sony Corp 画像処理装置および方法
JP2011055180A (ja) * 2009-09-01 2011-03-17 Nippon Telegr & Teleph Corp <Ntt> コンテクスト適応エントロピ符号化方法および装置，コンテクスト適応エントロピ復号方法および装置，並びにそれらのプログラム
WO2012050021A1 (ja) * 2010-10-14 2012-04-19 ソニー株式会社 画像処理装置および方法
JP2014508428A (ja) * 2011-01-12 2014-04-03 パナソニック株式会社 複数の参照ピクチャを用いた、動画像符号化方法、動画像復号方法、動画像符号化装置、及び、動画像復号装置
WO2014119005A1 (ja) * 2013-01-31 2014-08-07 株式会社 東芝 動画像符号化装置及び動画像符号化方法
WO2014119006A1 (ja) * 2013-01-31 2014-08-07 株式会社 東芝 動画像符号化装置及び動画像符号化方法
KR20140122190A (ko) * 2013-04-05 2014-10-17 삼성전자주식회사 멀티 레이어 비디오의 복호화 방법 및 장치, 멀티 레이어 비디오의 부호화 방법 및 장치
JP2014530571A (ja) * 2011-09-23 2014-11-17 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 参照ピクチャセットのサブセットを用いたビデオコーディング
JP2015188249A (ja) * 2015-06-03 2015-10-29 株式会社東芝 動画像符号化装置及び動画像符号化方法
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
JP2017069987A (ja) * 2017-01-18 2017-04-06 株式会社東芝 動画像符号化装置及び動画像符号化方法
US10148965B2 (en) 2015-03-04 2018-12-04 Panasonic Intellectual Property Management Co., Ltd. Moving image coding apparatus and moving image coding method
US10841573B2 (en) 2011-02-08 2020-11-17 Sun Patent Trust Methods and apparatuses for encoding and decoding video using multiple reference pictures

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011082683A (ja) * 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP2011199396A (ja) 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
JP5914962B2 (ja) * 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
US9706227B2 (en) 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
EP2685722A4 (en) * 2011-03-11 2014-09-03 Samsung Electronics Co Ltd METHOD AND DEVICE FOR ENCRYPTION OF IMAGES AND METHOD AND DEVICE FOR DECOMPOSING IMAGES
US9485517B2 (en) 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
JP5918354B2 (ja) * 2011-04-26 2016-05-18 エルジー エレクトロニクス インコーポレイティド 参照ピクチャリスト管理方法及びその方法を使用する装置
KR101631774B1 (ko) * 2011-06-30 2016-06-24 텔레폰악티에볼라겟엘엠에릭슨(펍) 절대 또는 명확한 레퍼러스 픽처 시그널링
ES2714756T3 (es) 2011-06-30 2019-05-29 Ericsson Telefon Ab L M Señalización de imágenes de referencia
KR101790401B1 (ko) 2011-08-25 2017-10-25 선 페이턴트 트러스트 주기적인 버퍼 기재를 사용하여 비디오를 부호화 및 복호하는 방법 및 장치
US10158850B2 (en) * 2011-08-25 2018-12-18 Telefonaktiebolaget Lm Ericsson (Publ) Depth map encoding and decoding
CN107257492B (zh) 2011-09-07 2020-04-28 太阳专利托管公司 图像编码方法以及图像编码装置
EP2760205B1 (en) 2011-09-19 2020-11-04 Sun Patent Trust Image decoding method, image decoding device
RU2625944C2 (ru) 2011-10-19 2017-07-19 Сан Пэтент Траст Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений, устройство декодирования изображений и устройство кодирования и декодирования изображений
US9648321B2 (en) 2011-12-02 2017-05-09 Qualcomm Incorporated Coding picture order count values identifying long-term reference frames
US8867852B2 (en) 2012-01-19 2014-10-21 Sharp Kabushiki Kaisha Decoding a picture based on a reference picture set on an electronic device
JP2013187905A (ja) * 2012-03-08 2013-09-19 Panasonic Corp 映像を符号化および復号する方法および装置
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
WO2013157814A1 (ko) * 2012-04-16 2013-10-24 삼성전자 주식회사 영상의 레퍼런스 픽쳐 세트를 결정하기 위한 방법 및 장치
KR20130116782A (ko) 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
JP6045222B2 (ja) * 2012-06-28 2016-12-14 株式会社Ｎｔｔドコモ 動画像予測復号装置、方法及びプログラム
WO2014002900A1 (ja) * 2012-06-29 2014-01-03 ソニー株式会社 画像処理装置および画像処理方法
CN103796021B (zh) * 2012-10-29 2018-03-16 浙江大学 视频编解码方法及装置
TWI669950B (zh) * 2012-12-21 2019-08-21 日商新力股份有限公司 影像處理裝置及方法
US20140211844A1 (en) * 2013-01-31 2014-07-31 Kabushiki Kaisha Toshiba Moving image encoding device and moving image encoding method
CN105075266A (zh) * 2013-04-05 2015-11-18 夏普株式会社 电子装置上的参考画面集信令和限制
WO2015115644A1 (ja) 2014-02-03 2015-08-06 三菱電機株式会社 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法
US10575013B2 (en) * 2015-10-19 2020-02-25 Mediatek Inc. Method and apparatus for decoded picture buffer management in video coding system using intra block copy
MX2020010474A (es) 2018-04-05 2021-01-08 Ericsson Telefon Ab L M Informacion de control de enlace lateral de varias etapas.
CN111327896B (zh) * 2018-12-13 2022-08-23 浙江宇视科技有限公司 视频传输方法、装置、电子设备及可读存储介质
WO2020220249A1 (zh) * 2019-04-30 2020-11-05 深圳市大疆创新科技有限公司 一种数据编码、数据解码方法、设备及存储介质
CN115842922A (zh) * 2021-11-06 2023-03-24 中兴通讯股份有限公司 视频比特流封装、解码、访问方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004187264A (ja) * 2002-10-11 2004-07-02 Ntt Docomo Inc 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
JP2004248265A (ja) * 2003-01-20 2004-09-02 Matsushita Electric Ind Co Ltd 画像符号化方法
WO2005107253A1 (en) * 2004-04-28 2005-11-10 Matsushita Electric Industrial Co. Ltd. Stream generation apparatus, stream generation method, coding apparatus, coding method, recording medium and program thereof

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003289544A (ja) 2002-03-27 2003-10-10 Sony Corp 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム
JP4562999B2 (ja) 2002-07-11 2010-10-13 パナソニック株式会社 画像復号化方法および画像復号化装置
JP4002878B2 (ja) 2003-01-17 2007-11-07 松下電器産業株式会社 画像符号化方法
JP4405272B2 (ja) 2003-02-19 2010-01-27 パナソニック株式会社 動画像復号化方法、動画像復号化装置及びプログラム
JP4544879B2 (ja) 2003-03-03 2010-09-15 パナソニック株式会社 画像符号化方法、画像符号化装置及びプログラム
JP2006129177A (ja) 2004-10-29 2006-05-18 Victor Co Of Japan Ltd 記録装置及び記録媒体
CN100551074C (zh) * 2005-01-17 2009-10-14 松下电器产业株式会社 图像解码方法、图像解码装置和集成电路
JP2007050778A (ja) 2005-08-18 2007-03-01 Isamu Nakamura ウイング式の車両荷室
US8170116B2 (en) * 2006-03-27 2012-05-01 Nokia Corporation Reference picture marking in scalable video encoding and decoding
WO2008023968A1 (en) * 2006-08-25 2008-02-28 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
KR101368493B1 (ko) * 2006-10-13 2014-02-28 톰슨 라이센싱 멀티뷰 비디오 코딩을 위한 참조 화상 목록 관리 구문
KR20090004658A (ko) * 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004187264A (ja) * 2002-10-11 2004-07-02 Ntt Docomo Inc 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
JP2004248265A (ja) * 2003-01-20 2004-09-02 Matsushita Electric Ind Co Ltd 画像符号化方法
WO2005107253A1 (en) * 2004-04-28 2005-11-10 Matsushita Electric Industrial Co. Ltd. Stream generation apparatus, stream generation method, coding apparatus, coding method, recording medium and program thereof

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008167449A (ja) * 2006-12-28 2008-07-17 Samsung Electronics Co Ltd 映像の符号化、復号化方法及び装置
JP2010219983A (ja) * 2009-03-18 2010-09-30 Sony Corp 画像処理装置および方法
US8699581B2 (en) 2009-03-18 2014-04-15 Sony Corporation Image processing device, image processing method, information processing device, and information processing method
JP2011055180A (ja) * 2009-09-01 2011-03-17 Nippon Telegr & Teleph Corp <Ntt> コンテクスト適応エントロピ符号化方法および装置，コンテクスト適応エントロピ復号方法および装置，並びにそれらのプログラム
WO2012050021A1 (ja) * 2010-10-14 2012-04-19 ソニー株式会社 画像処理装置および方法
CN103155564A (zh) * 2010-10-14 2013-06-12 索尼公司 图像处理装置和方法
JP2014508428A (ja) * 2011-01-12 2014-04-03 パナソニック株式会社 複数の参照ピクチャを用いた、動画像符号化方法、動画像復号方法、動画像符号化装置、及び、動画像復号装置
US10027957B2 (en) 2011-01-12 2018-07-17 Sun Patent Trust Methods and apparatuses for encoding and decoding video using multiple reference pictures
JP2017204884A (ja) * 2011-01-12 2017-11-16 サン パテント トラスト 復号装置
US10841573B2 (en) 2011-02-08 2020-11-17 Sun Patent Trust Methods and apparatuses for encoding and decoding video using multiple reference pictures
US9131245B2 (en) 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
US10856007B2 (en) 2011-09-23 2020-12-01 Velos Media, Llc Decoded picture buffer management
JP2014530571A (ja) * 2011-09-23 2014-11-17 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 参照ピクチャセットのサブセットを用いたビデオコーディング
JP2014530568A (ja) * 2011-09-23 2014-11-17 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビデオコーディングのための参照ピクチャリスト構成
JP2014530569A (ja) * 2011-09-23 2014-11-17 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 復号ピクチャバッファ管理
US9106927B2 (en) 2011-09-23 2015-08-11 Qualcomm Incorporated Video coding with subsets of a reference picture set
US11490119B2 (en) 2011-09-23 2022-11-01 Qualcomm Incorporated Decoded picture buffer management
US9998757B2 (en) 2011-09-23 2018-06-12 Velos Media, Llc Reference picture signaling and decoded picture buffer management
US9237356B2 (en) 2011-09-23 2016-01-12 Qualcomm Incorporated Reference picture list construction for video coding
US10034018B2 (en) 2011-09-23 2018-07-24 Velos Media, Llc Decoded picture buffer management
US9338474B2 (en) 2011-09-23 2016-05-10 Qualcomm Incorporated Reference picture list construction for video coding
US9420307B2 (en) 2011-09-23 2016-08-16 Qualcomm Incorporated Coding reference pictures for a reference picture set
JP2016213865A (ja) * 2011-09-23 2016-12-15 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 復号ピクチャバッファ管理
US10542285B2 (en) 2011-09-23 2020-01-21 Velos Media, Llc Decoded picture buffer management
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
JP2014150384A (ja) * 2013-01-31 2014-08-21 Toshiba Corp 動画像符号化装置及び動画像符号化方法
WO2014119006A1 (ja) * 2013-01-31 2014-08-07 株式会社 東芝 動画像符号化装置及び動画像符号化方法
JP2014150391A (ja) * 2013-01-31 2014-08-21 Toshiba Corp 動画像符号化装置及び動画像符号化方法
WO2014119005A1 (ja) * 2013-01-31 2014-08-07 株式会社 東芝 動画像符号化装置及び動画像符号化方法
KR102177831B1 (ko) 2013-04-05 2020-11-11 삼성전자주식회사 멀티 레이어 비디오의 복호화 방법 및 장치, 멀티 레이어 비디오의 부호화 방법 및 장치
KR20140122190A (ko) * 2013-04-05 2014-10-17 삼성전자주식회사 멀티 레이어 비디오의 복호화 방법 및 장치, 멀티 레이어 비디오의 부호화 방법 및 장치
US10148965B2 (en) 2015-03-04 2018-12-04 Panasonic Intellectual Property Management Co., Ltd. Moving image coding apparatus and moving image coding method
JP2015188249A (ja) * 2015-06-03 2015-10-29 株式会社東芝 動画像符号化装置及び動画像符号化方法
JP2017069987A (ja) * 2017-01-18 2017-04-06 株式会社東芝 動画像符号化装置及び動画像符号化方法

Also Published As

Publication number Publication date
CN101637028A (zh) 2010-01-27
KR101442291B1 (ko) 2014-09-23
EP2117237A4 (en) 2012-12-26
CN101637028B (zh) 2012-09-05
US8711931B2 (en) 2014-04-29
US20100118944A1 (en) 2010-05-13
JP5023739B2 (ja) 2012-09-12
KR20090123871A (ko) 2009-12-02
CN102088609A (zh) 2011-06-08
CN102088609B (zh) 2013-03-13
MY153200A (en) 2015-01-29
WO2008105389A1 (ja) 2008-09-04
EP2117237A1 (en) 2009-11-11
EP2117237B1 (en) 2014-08-13

Similar Documents

Publication Publication Date Title
JP5023739B2 (ja) 画像情報符号化装置及び符号化方法
US9380311B2 (en) Method and system for generating a transform size syntax element for video decoding
JP6530035B2 (ja) 復号方法及び復号装置
US9277228B2 (en) Adaptation parameter sets for video coding
EP1550081B1 (en) Video-information encoding method and video-information decoding method
EP1594320A1 (en) Method and system for dynamic selection of transform size in a video decoder based on signal content
TW201926991A (zh) 色度量化參數偏移
KR20170019365A (ko) 인트라-블록 복사를 위한 시스템들 및 방법들
US20140301451A1 (en) Nal unit type restrictions
JP2004328511A (ja) 画像復号化装置及び画像復号化方法
JP2011082683A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2004140473A (ja) 画像情報符号化装置、復号化装置並びに画像情報符号化方法、復号化方法
JP2008219205A (ja) 画像情報符号化装置及び画像情報符号化方法
CN116848841A (zh) 在视频编码中解码图片缓冲器的部分输出
CN116965022A (zh) 在视频编码中图片的部分的优先解码和输出
US20150117549A1 (en) Moving-picture decoding processing apparatus, moving-picture coding processing apparatus, and operating method of the same

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120522

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120604

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150629

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees