JP2001517906A - ビデオ復号器での基準フレーム格納に必要なメモリの縮小方法および装置 - Google Patents

ビデオ復号器での基準フレーム格納に必要なメモリの縮小方法および装置

Info

Publication number
JP2001517906A
JP2001517906A JP2000513414A JP2000513414A JP2001517906A JP 2001517906 A JP2001517906 A JP 2001517906A JP 2000513414 A JP2000513414 A JP 2000513414A JP 2000513414 A JP2000513414 A JP 2000513414A JP 2001517906 A JP2001517906 A JP 2001517906A
Authority
JP
Japan
Prior art keywords
reference frame
frame
compressed
frames
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000513414A
Other languages
English (en)
Other versions
JP2001517906A5 (ja
Inventor
ディネイ， アフォンソ， フェレイラ フローレンシオ，
Original Assignee
サーノフ コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サーノフ コーポレイション filed Critical サーノフ コーポレイション
Publication of JP2001517906A publication Critical patent/JP2001517906A/ja
Publication of JP2001517906A5 publication Critical patent/JP2001517906A5/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 基準フレーム情報(116)を圧縮し(114)、ビデオ復号器内のメモリを効率的に利用する方法および装置。具体的には、本発明は、一つ以上の基準フレームを圧縮フォーマットで格納し、次いで、ビデオ情報を含む受け取られたビットストリーム(124)内の予測フレームを復号する必要に応じて、フレームの一部をリコールして伸長する。

Description

【発明の詳細な説明】
【０００１】 この出願は、1997年9月26日に出願された米国暫定出願シリアルナンバー60/06
0,112の便益を主張し、それを参照でここに含む。
【０００２】 発明は、予測ビデオ復号器に関するものであり、特に、予測ビデオ復号器での
基準フレームを効率的に格納する方法および装置に関する。
【０００３】
【開示の背景】
民生用電子機器およびパーソナルコンピューターの双方において広く使われて
いるディジタルビデオ復号器の出現に伴い、これらの復号器は、安い方法で製造
される必要がある。MPEG（Moving Pictures Experts Group）対応復号器のよう な予測ビデオ復号器内で、ある種のフレームはビデオシーケンス内で他のフレー
ムを復号するのに用いられるので、このビデオシーケンス内のある種のフレーム
は、基準フレームとして格納される必要がある。前述の基準フレーム（MPEG技術
用語では、これらのフレームは、I 及び Pフレームとして知られている）を格納
するために、相当量のメモリが復号器機能を支えるのに必要とされる。現在、MP
EG復号器は、伸長され画素化された(pixelated)ビデオ情報の全体フレームを、 基準画像として単に格納するだけである。これらのフレームは、ビデオシーケン
ス内で、いわゆるBフレームといった他のフレームを伸長して、予測するのに、 その後用いられる、。前述の基準画像を格納するのに必要とされるメモリ量を縮
小することは、実質的にMPEG復号器の全費用を削減することになる。
【０００４】 したがって、基準フレームの記憶領域を効率的に達成するための方法および装
置に対する技術にニーズがある。
【０００５】
【発明の概要】
基準フレーム情報を圧縮し、ブロックベースのビデオ復号器内のメモリを効率
的に利用する本発明の方法および装置によって、先行技術に関連した不都合は克
服される。具体的には、本発明は、一つ以上の基準フレームを圧縮フォーマット
で格納し、次いで、受け取られたビットストリーム内の予測フレームを復号する
必要に応じて、フレームの一部をリコールして伸長する。どんな場合においても
、MPEG標準下では、2つの基準フレームがMPEG復号器用に格納される必要がある 。フレームのうちの一つ（基準A）は、例えば、IフレームがPフレームを予測す るのに用いられ、またPフレームが別のPフレームを作り出すのに用いられるとい
った、未来の基準フレームを作り出すのに用いられる。別の基準フレーム（基準
B）は、未来の基準フレームを作り出すのには用いられず、例えばBフレームとい
った、一つ以上の予測フレームを作り出すのに用いられるだけである。取るに足
らない量のひずみが、復号画像内で作り出されることを確実にするためには、基
準Ａフレームを圧縮する際に、損失のない即ち高品質の圧縮技術が用いられる必
要があり、一方、基準Ｂフレームは、損失のある圧縮技術か又は損失のない圧縮
技術のどちらかを用いて圧縮可能である。基準Ｂフレームは基準フレームを予測
するのに用いられておらず、そういうものとして、復号画像で生成されるいかな
るエラーも累算されないので、損失のある圧縮技術は基準Ｂフレームを圧縮する
のに使用可能である。以前に復号された基準フレームが予測フレームならびに次
の基準フレームを予測するのに用いられる、MPEGタイプのシステムでは、基準Ａ
フレームが別の基準フレームを復号するのに用いられるまで、本発明は基準Ａフ
レームを復号して、格納することに注目すべきである。一旦新しい基準フレーム
が復号されると、新しい基準フレームは基準Ａフレームとみなされ、前の基準Ａ
フレームは、基準Bフレームに改名される。加えて、基準Bフレームは基準フレー
ムを予測することにはもはや用いられないので、改名すると同時に基準Bフレー ムは（希望するのであれば、損失のある圧縮を用いて）さらに圧縮可能である。
新しい基準フレームが復号されるたびに、発明は基準Bフレームを復号して、置 換する。
【０００６】 発明を実施するために、更なる回路が、従来のブロックベースのビデオ復号器
に加えられる。従来のブロックベースのビデオ復号器は、可変長復号器と、逆量
子化器と、逆DCTユニットと、サマーと、ビデオ表示メモリと、基準フレームメ モリと、動き補償プロセッサとを含む。発明は、基準フレームメモリに結合した
入出力装置として、少なくとも1つのコンプレッサ/デコンプレッサを加える。2 つの基準フレームが異なる圧縮技術を用いて格納される場合、１つか２つのコン
プレッサ/デコンプレッサが用いられる。一般に、基準フレームが復号されると 、そのフレームが基準フレームメモリでの記憶に先立ちコンプレッサ内で圧縮さ
れることを除いて、従来の復号器コンポーネントは通常通り稼働する。その後は
、基準フレームの特定部分が別の画像を復号するのに必要とされるときはいつで
も、その部分は、破壊されずにメモリからリコールされ、伸長されて、画像を復
号するのに用いられる動き補償プロセッサに結合される。この発明を用いること
によって、メモリの相当量が、他のプロセスのために保存可能になるか、或いは
こぞって復号器から除去可能になる。
【０００７】 本発明の教示は、添付の図面に関連して以下の詳細な説明を考慮することによ
って容易に理解され得る。
【０００８】 理解を容易にするために、同一の参照数字が、図に共通する同一の構成要素を
示すのに可能な限り用いられている。
【０００９】
【詳細な説明】
図１は、MPEGのようなフォーマットでアレンジされたビデオデータを処理する
ようにアレンジされた典型的なビデオ復号器100の図解を表す。この復号器100は
、多種多様な既知の動き補償予測ビデオ復号器（ブロックベースのビデオ復号器
）に類似しているので、復号器の従来のコンポーネントに関する詳細な説明はこ
こでは提供しない。
【００１０】 ブロックベースで符号化されたビデオ信号（MPEG対応信号）は、パス124に沿 って可変長復号器102に供される。可変長復号器（VLD)102は、その主な機能とし
て、可変長復号を実行するが、また、ジグザクの逆処理といった補助的処理を供
し、ヘッダー情報および他の制御データをビデオストリームから取り除き、動き
補償プロセッサ112に結合する動きベクトル情報を抜き出す。VLD 102はまた、逆
量子化器104に加えられる量子化されたDCTデータの複数のブロックを作り出す。
逆量子化された情報は、次いで逆DCTユニット106に加えられる。IDCTユニット10
6は、逆量子化器によって作り出される係数ブロックに応答して、画素情報のマ トリックス（例えば8X8アレー）を生成する。アレーは、予め決められたオーダ で、加算器108に結合される。加算器108への第二の入力は、以下に述べるように
、動き補償された画像情報と共に供給される。加算器108からの出力データは、 伸長され、動き補償されたピクセル値に対応する。これらの値は、画像情報の全
体のフレームが組み立てられるまで画素が累算されるビデオディスプレイメモリ
（VRAM）110に入力される。その後、ビデオディスプレイRAM内で累算されるビデ
オ信号は、最終的にディスプレイデバイス（例えばテレビジョンスクリーン又は
コンピュータディスプレイ）に加えられる。
【００１１】 VLD 102からの出力信号もまた、加算器108の第二の入力に加えられる、ビデオ
の動き補償ブロックを作り出す動き補償プロセッサ112に加えられる。動き補償 を容易にするために、ビデオシーケンス内の基準フレーム（アンカーフレームと
しても知られている）は、格納されて、ビデオストリーム内で予測される様々な
フレームを動き補償するのに用いられる必要がある。MPEG対応ストリーム内で、
例えば、I及びPフレームがBフレームの間に点在するように、基準フレームには 、基準フレームから予測されるフレームが点在する。このように、I及びPフレー
ムは、Bフレームの復号を容易にするように、基準フレームとして格納される必 要がある。加えて、Iフレーム及びPフレームは、Pフレームの復号を容易にする のに用いられる。
【００１２】 本発明は、基準フレームメモリ120の入出力装置として、コンプレッサ/デコン
プレッサ114を利用する。このように、基準フレームは圧縮されて格納される必 要があり、また他のフレームを予測する動き補償プロセッサ112で用いられる場 合、圧縮基準フレームの一部は伸長される必要がある。一般に、MPEG対応復号器
は、一度に2つの基準フレームを格納する必要がある。したがって、本発明は、 コンプレッサ/デコンプレッサを用いて、一対の基準フレームを圧縮・伸長する 。
【００１３】 具体的には、復号器100は、基準フレーム118及び120を一時的に格納する2つの
フレームバッファー（フレームメモリ116）ならびにフレーム・コンプレッサ/デ
コンプレッサ114を含む。コンプレッサ/デコンプレッサ114は、加算器108の出力
に結合される。コンプレッサ/デコンプレッサ114は、動き補償プロセッサ112だ けでなく基準メモリ116にも結合される。
【００１４】 発明は、単一コンプレッサ/デコンプレッサ114を用いて、基準Ａフレームを処
理し、例えば、非常に正確な損失のない圧縮技術を用いて、非常に正確に全ての
フレーム情報を格納する。しかしながら、新しい基準フレームが復号され、基準
Aフレームが基準Bフレームに改名されると、例えば高周波画素データといった基
準フレーム内の画像の詳細情報122を格納するのに用いられるメモリスペースは 、それら詳細情報のメモリロケーションが他の情報を格納するのに用いられるよ
うに、無視されてもよい。これは、基準Bフレームに対して損失のある圧縮を事 実上作り出す。その結果として、小さい総メモリが、2つの基準画像のフレーム を格納するのに用いられ、詳細情報の損失は、MPEG対応ビットストリーム内のB フレームといった予測フレームの復号に実質的な影響を与えない。アドレスジェ
ネレーター128は、伸長に対して適切な圧縮フレームの一部をリコールするよう にアドレスを供する。このように、このジェネレーターは、必要なときに適切な
情報をリコールすることによって、基準フレームを実質的に改名する。図1は単 一基準メモリを表すが、一対のメモリが別々のフレームバッファーとして用いら
れてもよい。さらに、単一コンプレッサ/デコンプレッサが示されて説明される が、一対のコンプレッサ/デコンプレッサが、各基準画像の圧縮及び伸長処理に 別々に用いられてもよい。前述の個々のコンプレッサ/デコンプレッサは、復号 器が基準フレームの各タイプを圧縮する異なった圧縮技術を利用できるようにす
る。このように、基準フレームを改名して、基準Bに損失のある圧縮技術を用い るために、基準Aは、リコールされて、伸長され、次いで損失のある圧縮技術を 用いて再圧縮される。再圧縮された基準A（古い基準）は、基準Bとして格納され
る。図2は、図1の復号器100の効率的なメモリ・ユーティライゼーションを容易 にするために、基準画像を復号して圧縮する本発明のプロセスのフローチャート
200を表す。本発明のオペレーションを最もよく理解できるように、MPEGのよう なビットストリームのコンテンツの概要を提示する。一般に、MPEGのようなビッ
トストリームでは、画面のグループ(GOP)内の第一のアンカーフレームを表すデ ータがフレーム内で符号化され、残りのフレームを表すデータがフレーム間で符
号化される。フレーム内符号化フレームを表すデータは、画像フレームを表す画
素をそれぞれ8x8ブロックに区分化して、各ブロックの画素データ上で離散コサ イン変換（DCT）を実行することによって生成される。どの動きベクトルも第一 のフレーム内符号化フレームに対しては生成されず、すなわちフレーム内情報は
、Iフレームでは動き補償されない。
【００１５】 これに対して、フレーム間符号化フレームを表すデータは、先行フレームか、
後続フレームか、又は双方のフレームから画像フレームを予測し、予測フレーム
と実際のフレーム間の差分を求め、8x8ブロックの残留データ上でDCTを実行する
ことによって生成される。フレーム間DCT係数は、フレーム差分データを表す。 フレーム間符号化フレームの動きベクトルは、予測フレームが生成されるフレー
ムで8x8ブロック画素のグループを識別する符号語であり、この8x8ブロックは、
現在符号化されているフレームで現在処理されているブロックに厳密に一致しな
ければならない。
【００１６】 一般に、復号可能なGOPでの第一のフレームは、動き補償されていないフレー ム内符号化フレーム（Iフレーム）であり、そういうものなので、動き補償プロ セッサはゼロを図１の加算器108の第二の入力に加える。その結果、ステップ202
で、Iフレーム・データは、復号され、コンプレッサ/デコンプレッサ114の入力 に加えられる。このように、Iフレームは、圧縮され、基準A（すなわち最も新し
い基準フレーム）として、基準メモリ120に格納される。ステップ204で、次の基
準フレームである、Iフレームに続くフレーム間符号化フレーム（Pフレーム）は
、復号され、圧縮されて、第二の基準（現時点では基準B）を形成する。第二の 基準フレーム（Pフレーム）が現在最も新しい基準フレームであるので、ステッ プ206で、第一の基準フレームは基準Bに改名され、最も新しい基準フレームは基
準Aに改名される。このように、このルーチンを用いると、復号される最も新し い基準フレームが、常に基準Aである。さらに、付加メモリが保存されることに なっている場合、新しい基準フレームが復号される際に格納される詳細情報122 は、削除可能であるか、或いは基準フレームが改名されるときに他の情報を格納
するのに使用可能である。その詳細情報は他の予測フレームを復号するのに必要
ではなく、すなわち、前述の詳細情報はMPEG対応ビットストリームのBフレーム を復号するのに必要ではない。これに対して、2つの圧縮技術が用いられる場合 、改名ステップ206において、古い基準フレームは再圧縮可能であり、基準Bとし
て格納可能である。
【００１７】 ステップ208で、これら2つの基準フレームを用いて、フレーム内符号化フレー
ム間にあるビデオストリーム内に残っているデータが復号される。このようにし
て、フレーム間符号化フレーム（Bフレーム）の全てが、2つの基準フレームを用
いて復号される。復号を容易にするために、次いで復号されるフレーム間符号化
フレームに対して適切な基準フレームの一部が、フレームメモリから破壊されず
にリコールされて、動き補償用に伸長される。
【００１８】 次の基準フレームが到着すると、ルーチン200は、ステップ204に戻り、その基
準フレームを復号して、圧縮する。以前に復号されたフレームが基準Bとなり、 新しく復号された基準フレームが基準Aになるように、その基準フレームは新し い基準フレームになる。その後、全体のGOPが復号されるまで、これら2つのフレ
ームは予測フレームその他を復号するのに用いられる。それぞれの新しいIフレ ームが識別されると、ルーチン200はステップ202から始まる。
【００１９】 圧縮および伸長の様々なフォームが、本発明に関連して使用可能である。しか
しながら、技術は、基準フレーム領域のメモリの範囲内でのランダムアクセスに
適している必要がある点に留意すべきである。MPEG対応システムでは、16x16画 素ブロック（或いは半画素内挿(half-pel interpolation)が用いられる場合17x1
7画素ブロック）のランダムアクセスが可能である必要がある。前述の基準画像 領域のアクセス及び伸長を容易にするために、基準画像は、例えば16x16ブロッ クといった領域に分割可能であり、また領域ごとに独立して圧縮可能である。各
領域に対する圧縮技術は、固定長でも可変長でもありえる。可変長符号化技術は
、圧縮に関してより効果的であり、固定長符号化技術の使用は、領域のランダム
アクセスを容易にするポインター・システムにより適している。さらに圧縮を強
化するためには、領域圧縮が隣接する領域に左右される可能性があるけれども、
更なる圧縮効率は、増大する符号化の複雑さと交換される。
【００２０】 図3は、メモリ・データスペース320とポインター・データスペース310とを含 む、可変長符号化基準フレームの記憶構造300を表す。可変長符号化技術を用い るために、基準画像領域は、可変長に符号化され、例えば、ブロック0のデータ 、ブロック1のデータ、その他からブロックN-1までのデータといったデータのセ
グメントとして、メモリスペース320に格納された。これらのセグメントは、そ れらが表す基準フレームの一部のコンテンツに従って長さを変えるので、セグメ
ントは任意の固定されたメモリロケーションで開始したり、終了したりはしない
。そういったことで、伸長と動き補償の領域検索を容易にするために、各セグメ
ントの記憶場所を識別する多数のポインターが必要である。このように、特定の
領域が必要とされる場合、メモリ・アドレスジェネレーターは最初にポインター
・メモリスペース310をアドレス指定して、望ましい領域に対応する領域アドレ スを識別するポインターを検索する。このようにして、ポインター・メモリスペ
ースは、領域をメモリスペース320内の領域ロケーションにマップする。可変長 符号化技術は、ウェーブレット・ベース、DCTベース形態の符号器、JPEGといっ た標準シングルフレーム画像圧縮技術などを含む。ある種のメモリサイズ制限が
必要とされる場合、ビット・ユーティライゼーション制御装置（ビットレート・
コントローラ）は、圧縮技術によって用いられるビットの数がメモリによって範
囲を定められるビット配分(a bit budget)の範囲内であることを確実にするのに
使用可能である。
【００２１】 図4は、メモリ・データスペース420を含む固定長符号化基準フレームの記憶構
造400を表す。固定長符号化技術を用いるために、基準画像領域は、固定長に符 号化され、例えば、ブロック0のデータ、ブロック1のデータ、その他からブロッ
クN-1までのデータといったデータのセグメントとして、メモリスペース320に格
納された。これらのセグメントは長さを固定されるので、セグメントは第一のメ
モリロケーション（ADDR 1）に関連した固定メモリロケーションで開始し、終了
する。このように、伸長と動き補償の領域検索を容易にするために、メモリ・ア
ドレスジェネレーターは、ポインター・メモリを用いることなくデータの特定セ
グメントの既知のロケーションを単にアドレス指定できるだけである。特定のア
ドレスは、領域数（X）にADDR 1に加えられるセグメント（K）のバイト数を掛け
ることによって計算される。数値的には、望ましいアドレスはK*X+ADDR 1である
。このように、特定の領域が必要とされる場合、メモリ・アドレスジェネレータ
ーはアドレスを計算して、望ましい領域のセグメントを直接アドレス指定する。
【００２２】 図4の記憶構造は、符号化セグメントが固定長メモリロケーション内で適合す るように、符号化フレームの高次ビットを切り捨てることによって、可変長符号
化基準フレームを格納するのに使用可能である。新しい基準フレームを復号する
のに用いられて、基準フレームを基準Aから基準Bに変換する際に削除される、上
述の「詳細情報」として、切り捨てられた情報は別々に格納可能である。
【００２３】 基準フレームを圧縮するのに使用可能な固定長圧縮技術の単純な例として、一
群の復号サンプルがブロックX-1、X-2、X-3及びX-4として識別される2x2ブロッ クに配置される。ブロックX-1は、例えば8ビットといった完全な精度で符号化さ
れ、一方他の画像は差分として符号化される。このように、4ビットでの対数量 子化器を用いて、画像X-2引くX-1が符号化され、X-3引くX-1が符号化され、X-4 引くX-1が符号化される。この単純な圧縮方式を用いると、メモリセーブは、完 全精度のブロックを格納するメモリセーブよりも37%多い。この技術は、ほとん どひずみを導入せずに、一定長の符号語による定義済みアドレス指定技術を供す
る。
【００２４】 本発明の教示を含む様々な実施例がここで示され詳述されたが、当業者はこれ
らの教示を更に含む他の多くの様々な実施例を容易に案出できるであろう。
【図面の簡単な説明】
【図１】本発明を含むブロックベースのビデオ復号器を表す。
【図２】本発明のオペレーションを表すフローチャートを示す。
【図３】可変長符号化技術が基準画像を圧縮するのに用いられる場合の、発
明によって用いられる記憶構成を表す。
【図４】固定長符号化技術が基準画像を圧縮するのに用いられる場合の、発
明によって用いられる記憶構成を表す。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ) ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ， ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，Ｄ Ｋ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＧＭ，ＨＲ ，ＨＵ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ， ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，Ｌ Ｖ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ， ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，Ｕ Ｚ，ＶＮ，ＹＵ，ＺＷ

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 ビットストリームから第一の基準フレームを復号するステッ
    プと、 前記第一の基準フレームを圧縮された第一の基準フレームに圧縮するステップ
    と、 前記圧縮された第一の基準フレームを記憶媒体に格納するステップと、 前記ビットストリームを復号してビデオ情報を作り出す必要に応じて、前記圧
    縮された第一の基準フレームの少なくとも一部をリコールして伸長するステップ
    とを含む、ビデオ復号器でのビットストリーム内のビデオ情報復号方法。
  2. 【請求項２】 前記ビットストリームから第二の基準フレームを復号するス
    テップと、 第二の基準フレームを圧縮された第二の基準フレームに圧縮するステップと、 前記圧縮された第二の基準フレームを前記記憶媒体に格納するステップと、 前記ビットストリームを復号してビデオ情報を作り出す必要に応じて、前記圧
    縮された第二の基準フレームの少なくとも一部をリコールして伸長するステップ
    とを更に含む、請求項１記載の方法。
  3. 【請求項３】 前記圧縮された第一の基準フレームを前記圧縮された第二の
    基準フレームに置換するステップを更に含む、請求項１記載の方法。
  4. 【請求項４】 前記圧縮された第一の基準フレームを用いて、圧縮された第
    二の基準フレームを復号するステップと、 前記圧縮された第二の基準フレームを前記圧縮された第一の基準フレームに改
    名し、また前記圧縮された第二の基準フレームを前記圧縮された第一の基準フレ
    ームに改名するステップと、 前記圧縮された第一と第二の基準フレームの一部を伸長し、前記ビットストリ
    ームを復号するステップとを更に含む、請求項１記載の方法。
  5. 【請求項５】 （ａ）第一の基準フレームを復号して圧縮するステップと、 （ｂ）第二の基準フレームを復号して圧縮するステップと、 （ｃ）前記第一か第二の基準フレームのどちらかの一部を選択的に伸長して、
    前記ビットストリーム内の他のフレームを復号するステップと、 （ｄ）前記ビットストリームからそれぞれの新しい基準フレームを復号する際
    に、前記第一と第二の基準フレームの最も古い基準フレームを前記新しい基準フ
    レームに置換するステップと、 （ｅ）ステップ（ｃ）と（ｄ）を繰り返すステップとを含む、ブロックベース
    のビデオ復号器での符号化ビデオ情報のビットストリームに含まれる基準フレー
    ム利用方法。
  6. 【請求項６】 前記置換ステップが、前記最も古い基準フレームを置換する
    際に、残っている基準フレームの一部として格納されるいくらかの情報を削除す
    るステップを更に含む、請求項５記載の方法。
  7. 【請求項７】 前記圧縮ステップが、 基準画像を領域に分けるステップと、 各領域を別々に圧縮するステップと、 前記圧縮された領域を格納するステップとを更に含む、請求項６記載の方法。
  8. 【請求項８】 基準フレーム復号器と、 基準フレームを圧縮および伸長する、前記基準フレーム復号器に結合された第
    一のコンプレッサ/デコンプレッサと、 前記基準フレームの一部が他のフレームを復号するのに必要とされるまで、前
    記圧縮された基準フレームを格納する、前記コンプレッサ/デコンプレッサに結 合された第一のメモリとを含む、ビデオ情報を含むビットストリームを復号する
    ビデオ復号器。
  9. 【請求項９】 基準フレームを圧縮および伸長する、前記基準フレーム復号
    器に結合された第二のコンプレッサ/デコンプレッサと、 前記基準フレームが他のフレームを復号するのに必要とされるまで、前記圧縮
    された基準フレームを格納する、前記コンプレッサ/デコンプレッサに結合され た第二のメモリとを更に含む、請求項８記載の装置。
  10. 【請求項１０】 前記第一のコンプレッサ/デコンプレッサが損失のある圧 縮を実行し、前記第二のコンプレッサ/デコンプレッサが損失のない圧縮を実行 する、請求項９記載の装置。
JP2000513414A 1997-09-26 1998-09-28 ビデオ復号器での基準フレーム格納に必要なメモリの縮小方法および装置 Pending JP2001517906A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US6011297P 1997-09-26 1997-09-26
US60/060,112 1997-09-26
US09/001,201 1997-12-30
US09/001,201 US5933195A (en) 1997-09-26 1997-12-30 Method and apparatus memory requirements for storing reference frames in a video decoder
PCT/US1998/020314 WO1999016253A1 (en) 1997-09-26 1998-09-28 Method and apparatus for reducing memory requirements for storing reference frames in a video decoder

Publications (2)

Publication Number Publication Date
JP2001517906A true JP2001517906A (ja) 2001-10-09
JP2001517906A5 JP2001517906A5 (ja) 2006-01-12

Family

ID=26668707

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000513414A Pending JP2001517906A (ja) 1997-09-26 1998-09-28 ビデオ復号器での基準フレーム格納に必要なメモリの縮小方法および装置

Country Status (8)

Country Link
US (1) US5933195A (ja)
EP (1) EP1025709B1 (ja)
JP (1) JP2001517906A (ja)
KR (1) KR100635687B1 (ja)
CN (1) CN1147162C (ja)
AU (1) AU9588198A (ja)
DE (1) DE69838729T2 (ja)
WO (1) WO1999016253A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6594315B1 (en) * 1996-12-18 2003-07-15 Thomson Licensing S.A. Formatting of recompressed data in an MPEG decoder
JPH10276349A (ja) * 1997-03-27 1998-10-13 Asahi Optical Co Ltd 画像信号補正装置
US6081802A (en) * 1997-08-12 2000-06-27 Microsoft Corporation System and method for accessing compactly stored map element information from memory
US6295094B1 (en) * 1997-09-11 2001-09-25 U.S. Philips Corporation Instant replay of digital video optimized using non MPEG frame tags
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
JP3322233B2 (ja) * 1999-03-19 2002-09-09 日本電気株式会社 動画像伸長方法及びそれを実行するプログラムを記録した記録媒体
JP2003504913A (ja) * 1999-07-02 2003-02-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 情報の圧縮記憶
KR100335057B1 (ko) * 2000-03-08 2002-05-02 구자홍 동영상 수신 장치
EP1269761A1 (en) * 2000-03-31 2003-01-02 Koninklijke Philips Electronics N.V. Encoding of two correlated sequences of data
US6864896B2 (en) * 2001-05-15 2005-03-08 Rambus Inc. Scalable unified memory architecture
US6937652B2 (en) * 2002-04-19 2005-08-30 Seiko Epson Corporation Frame compression using radix approximation
US20040234143A1 (en) * 2002-07-02 2004-11-25 Makoto Hagai Image encoding method and picture decoding method
WO2005112465A1 (en) * 2004-05-03 2005-11-24 Thomson Research Funding Corporation Method and apparatus enabling fast channel change for dsl system
WO2006027846A1 (ja) * 2004-09-10 2006-03-16 Matsushita Electric Industrial Co., Ltd. ザッピングストリームの生成装置とその方法
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
US7965771B2 (en) 2006-02-27 2011-06-21 Cisco Technology, Inc. Method and apparatus for immediate display of multicast IPTV over a bandwidth constrained network
US8218654B2 (en) * 2006-03-08 2012-07-10 Cisco Technology, Inc. Method for reducing channel change startup delays for multicast digital video streams
US8031701B2 (en) 2006-09-11 2011-10-04 Cisco Technology, Inc. Retransmission-based stream repair and stream join
US7937531B2 (en) * 2007-02-01 2011-05-03 Cisco Technology, Inc. Regularly occurring write back scheme for cache soft error reduction
US8769591B2 (en) 2007-02-12 2014-07-01 Cisco Technology, Inc. Fast channel change on a bandwidth constrained network
US7940644B2 (en) * 2007-03-14 2011-05-10 Cisco Technology, Inc. Unified transmission scheme for media stream redundancy
US20080253369A1 (en) 2007-04-16 2008-10-16 Cisco Technology, Inc. Monitoring and correcting upstream packet loss
US8787153B2 (en) 2008-02-10 2014-07-22 Cisco Technology, Inc. Forward error correction based data recovery with path diversity
US20100098166A1 (en) * 2008-10-17 2010-04-22 Texas Instruments Incorporated Video coding with compressed reference frames
US9168946B2 (en) * 2010-03-19 2015-10-27 Javad Gnss, Inc. Method for generating offset paths for ground vehicles
KR101890203B1 (ko) * 2011-01-12 2018-08-21 지멘스 악티엔게젤샤프트 비디오 인코더 내에서 기준 이미지들의 압축 및 압축해제
US20130243100A1 (en) * 2012-03-15 2013-09-19 Mediatek Inc. System and Method for Adaptive Frame Re-compression in Video Processing System
US20140169467A1 (en) * 2012-12-14 2014-06-19 Ce Wang Video coding including shared motion estimation between multple independent coding streams
US11244476B2 (en) * 2020-04-06 2022-02-08 Samsung Display Co., Ltd. Systems and methods for low-complexity near lossless fixed-rate hybrid data compression codecs

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5262854A (en) * 1992-02-21 1993-11-16 Rca Thomson Licensing Corporation Lower resolution HDTV receivers
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
US5644361A (en) * 1994-11-30 1997-07-01 National Semiconductor Corporation Subsampled frame storage technique for reduced memory size
US6968003B1 (en) * 1996-01-29 2005-11-22 International Business Machines Corporation Speed-memory tradeoff for MPEG decoders
US5777677A (en) * 1996-02-09 1998-07-07 International Business Machines Corporation Approximate MPEG decoder with compressed reference frames

Also Published As

Publication number Publication date
DE69838729D1 (de) 2007-12-27
CN1299562A (zh) 2001-06-13
US5933195A (en) 1999-08-03
EP1025709A4 (en) 2001-05-02
CN1147162C (zh) 2004-04-21
KR20010030721A (ko) 2001-04-16
EP1025709B1 (en) 2007-11-14
EP1025709A1 (en) 2000-08-09
AU9588198A (en) 1999-04-12
DE69838729T2 (de) 2008-10-30
KR100635687B1 (ko) 2006-10-17
WO1999016253A1 (en) 1999-04-01

Similar Documents

Publication Publication Date Title
JP2001517906A (ja) ビデオ復号器での基準フレーム格納に必要なメモリの縮小方法および装置
JP3966524B2 (ja) 改善された効率のためにスキュードタイル記憶フォーマットを用いる動き補償を行うシステム及び方法
US6301304B1 (en) Architecture and method for inverse quantization of discrete cosine transform coefficients in MPEG decoders
US20100098169A1 (en) Method and apparatus for motion estimation using compressed reference frame
US20090323819A1 (en) Method and apparatus for temporal wavelet compression
JP3680845B2 (ja) 圧縮動画像の伸張装置及びそれを用いた画像表示装置
JP3680846B2 (ja) 動画像の圧縮装置及びそれを用いた撮像装置
US6163576A (en) Video encoder having reduced memory bandwidth requirements
US6298087B1 (en) System and method for decoding a variable length code digital signal
JPH08116539A (ja) 動画像符号化装置と動画像符号化方法
JP3918263B2 (ja) 圧縮符号化装置および符号化方法
JPH1098731A (ja) ディジタル画像復号装置及びディジタル画像復号方法
KR100598093B1 (ko) 낮은 메모리 대역폭을 갖는 동영상 압축 장치와 그 방법
JP2002112268A (ja) 圧縮画像データ復号装置
KR20020026189A (ko) 고정된 비율 압축을 이용하는 효율적인 비디오 데이터엑세스
US6574275B1 (en) Decoding apparatus and decoding method
JP2000175201A (ja) 画像処理装置及び方法、並びに提供媒体
JPH09247671A (ja) デジタル画像復号装置
JP2000165875A (ja) メモリ量の少ない動画像解像度変換符号化・復号装置
JP2000125295A (ja) 動画像符号化装置及び方法、動画像復号化装置及び方法並びに記憶媒体
EP1298937A1 (en) Video encoding or decoding using recompression of reference frames
JP2000032458A (ja) 画像圧縮法
US6553146B1 (en) Method and arrangement for encoding video images
JP2004215049A (ja) 符号化装置および方法、復号装置および方法、並びにプログラム
WO2000044176A1 (en) Method and arrangement for quantizing data

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20050622

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050622

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050704

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050927

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070605

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070905

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070912

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20071005

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20071015

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080108