JP2002526998A - ブロック動きビデオのコード化及びデコード化 - Google Patents

ブロック動きビデオのコード化及びデコード化

Info

Publication number
JP2002526998A
JP2002526998A JP2000573099A JP2000573099A JP2002526998A JP 2002526998 A JP2002526998 A JP 2002526998A JP 2000573099 A JP2000573099 A JP 2000573099A JP 2000573099 A JP2000573099 A JP 2000573099A JP 2002526998 A JP2002526998 A JP 2002526998A
Authority
JP
Japan
Prior art keywords
data
block
motion
video
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000573099A
Other languages
English (en)
Inventor
ロバート， エヌ． ハースト，
Original Assignee
サーノフ コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/388,701 external-priority patent/US6188728B1/en
Application filed by サーノフ コーポレイション filed Critical サーノフ コーポレイション
Publication of JP2002526998A publication Critical patent/JP2002526998A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 変換ベースのビデオ圧縮処理中、動き推定中識別されて動き補正されたインターフレーム差別化中に用いられる動きベクトルは、基準データにおけるブロック境界との一致に限定される。ブロックベースの動きベクトルはブロックディメンションの整数倍に対応する成分を持つ。例えば、(８×８)ブロックに対して、許容できる動きベクトル成分は、（．．．，−８，０，＋８，．．．）である。このような動きベクトルの制限は、逆方向及び順方向変換をすることなく変換領域において得られたコード化ビデオビットストリームをさらに処理することを可能にする。特に、存在する入力ビットストリームは、部分的にコード化され、動きベクトル及び予測される誤差を回復する。動きベクトルは対応基準データのブロック境界と一致するので、動き補正されたインターフレーム追加が、変換領域において実行されて引き続く処理のために変換データを発生させる。動き補正が変換領域において実行されるので、ビットストリームデータは、さらに、この変換領域において処理でき、コスト高で損失の大きな逆方向及び順方向の変換を回避することができる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、ビデオ圧縮及び伸長アルゴリズムに関する。
【０００２】
【優先権の主張】
この出願は、１９９８年９月２９日に出願された米国仮出願Ｎｏ．６０／１０
２，２１４及び１９９９年２月２５日のに出願された米国仮出願Ｎｏ．６０／１
２１，５３１の出願日に基づく利益を請求するものである。
【０００３】
【従来の技術】
Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）フ
ァミリのアルゴリズムに対応するような典型的な変換ベースのビデオ圧縮アルゴ
リズムにおいては、離散コサイン変換（ＤＣＴ）のようなブロックベースの変換
が、例えば、動き補正されたインターフレーム差別体系に基づいて発生された画
素値又は画素差のいずれかに対応した像データのブロックに施される。それぞれ
のブロックに対する得られた変換係数は、次いで、引き続くコード化（例えば、
可変長さコード化によってフォローされるラン長さコード化）のために一般的に
量子化されてコード化されたビデオビットストリームを発生させる。
【０００４】 特定のビデオ圧縮アルゴリズムに応じて、像は、圧縮処理のために以下のよう
な種々のフレームとして指定できる。
【０００５】 ・イントラフレーム圧縮技術のみを用いてコード化されるイントラ（Ｉ）フレ
ーム、 ・予測される（Ｐ）フレームであって、予めＩ又はＰフレームに対応する基準
フレームに基づいてイントラフレーム圧縮技術を用いてコード化されるとともに
それ自身一つ又はそれ以上のその他のフレームをコード化するための基準フレー
ムを発生するのに用いることができる予測される（Ｐ）フレーム、及び、 ・（i）予めのＩ又はＰフレーム、（ii）引き続くＩ又はＰフレーム、（iii）
両方の組み合わせのいずれかから（i）順方向、（ii）逆方向、又は、（iii）双
方向予測に基づいてインターフレーム圧縮技術を用いてコード化され、及び、そ
れ自身はその他のフレームのコード化には使えない双方向（Ｂ）フレーム。
【０００６】 Ｐ及びＢフレームにおいて、像データの一つ又はそれ以上のブロックは、イン
トラフレーム圧縮技術を用いてコード化できる。
【０００７】 いずれにしても、得られたコード化されたビデオビットストリームをデコード
化するために、特定の圧縮処理が、逆転又は反転されなければならない。例えば
、可変長さデコード化が、ラン長さデコード化に引き続いてビットストリームに
施すことができて、次いで、非量子化によって非量子化された変換係数のブロッ
クが発生する。反転変換が、次いで、非量子化された変換係数のブロックに施さ
れ、（１）デコード化された画素データ又は（２）画素差データのいずれかが発
生する（像データの対応するブロックが、当初に、それぞれ、（１）イントラフ
レーム又は（２）インターフレーム圧縮技術を用いてコード化されたかどうかに
応じて）。動き補正されたインターフレーム圧縮技術が使われるとき、次いで、
イントラフレーム追加が、動き補正された基準フレームデータを用いる画素差デ
ータに施されてデコード化された画素データを発生させ、ここで、動き補正の量
は、圧縮処理中にビットストリームにコード化される動きベクトルによって決定
される。動き補正された基準フレームデータは、デコード化された像データの予
測であると考えられ、画素差データは、その予測における誤差であると考えられ
る。このようにして、動き補正されたインターフレーム圧縮追加過程は、予測の
補正に対応する。
【０００８】 いくつかのアプリケーションにおいて、追加的な処理が、コード化されたビデ
オビットストリームが発生された後に施される。典型的に、コード化されたビデ
オビットストリームは、別の、多分離れて位置するプロセッサによって予め発生
されており、必要な追加の処理の目的で入力として取り扱われる。例えば、 「トランスコーディング（transcoding）」が実行できることが好ましく、こ
れは、一つのビデオ圧縮／伸長（コーデック）アルゴリズムに適合する存在する
コード化ビデオビットストリームが、異なるビデオコーデックアルゴリズムに適
合する対応するコード化されたビデオビットストリームに変換されることである
。このような 「トランスコーディング」操作が実行できる一つの「暴力的な(b
rute force)」アプローチは、入力ビットストリームを第１のビデオコーデック
アルゴリズムに基づいてデコード化された画素領域に完全にデコード化し、次い
で、得られたデコード化画素データを第２のビデオコーデックアルゴリズムに基
づいて出力ビットストリームに完全にコード化することである。
【０００９】 その他の可能なアプリケーションは、存在するコード化ビデオビットストリー
ムへのウォータマークの挿入である。ここで、またウォータマーク挿入への一つ
の暴力的なアプローチは、入力ビットストリームをデコード化される画素領域に
完全にデコード化し、画素領域内のデコード化される画素データを処理して必要
なウォータマークを挿入し、次いで、修正された画素データを完全に再コード化
し、必要な処理を受けた出力コード化ビデオビットストリームを発生することで
ある。
【００１０】 典型的な変換ベースのビデオコーデックアルゴリズムにおいて、進行方向及び
逆方向変換過程は、コード化の複雑さと処理時間の両方のために比較的コスト高
である。さらに、損失のある変換において、存在するコード化されたビデオビッ
トストリームの乱暴な強行な処理中における逆方向変換の適用と、次に順方向変
換の再適用は、入力ビットストリームに含まれる情報の損失を一般的に招き、処
理されたビットストリームにおけるデコード化された画質に劣化をもたらす。こ
のようにして、最初にビットストリームを完全にデコード化せずに入力ビットス
トリームにある処理操作（例えば、トランスコーディングやウォータマーク挿入
のような）を行なえることが望ましい。このような処理操作が情報の大きな損失
無しに変換領域において実行できるときは、コスト高で損失の大きな逆方向及び
順方向変換過程は、回避される。
【００１１】
【課題を解決するための手段】
この発明は、ビデオ圧縮及び伸長技術に関するものであって、入力ビットスト
リームを最初に完全にデコード化することなく存在するコード化ビデオビットス
トリームをさらに処理することを可能にする技術に関する。特に、この発明は、
入力ビットストリームに含まれている情報の大きな損失のない、又は、できれば
まったく損失のない変換領域における部分的にデコード化されたビデオデータを
処理することを可能にするものである。このようにして、この発明は、存在する
入力ビットストリームの処理中にコスト高で損失の大きな逆方向及び順方向変換
過程を施すことを回避する。
【００１２】 この発明によれば、コード化された入力ビデオビットストリームを発生させる
のに用いられる動き補正されたインターフレームビデオ圧縮技術は、ブロック境
界に一致する動きベクトルに基づくものに限定される。例えば、(８×８)ＤＣＴ
変換に基づいたＭＰＥＧビデオ圧縮アルゴリズムにおいて、動きベクトル成分は
、整数×８（整数は、正、負又は０であることができる）に限定される。その結
果、処理操作が、大きな情報の損失のない（又は、できればまったく損失のない
）変換領域において部分的にデコード化されたビデオデータに適用できる。典型
的なＭＰＥＧビデオコーデックアルゴリズムに対して、可変長さデコード化、ラ
ン長さデコード化が、コード化された入力ビデオビットストリームに施すことが
できて、次いで、非量子化によってＤＣＴ係数データが発生される。動きベクト
ルはブロック境界との一致に限定されるので、動き補正されたインターフレーム
追加が、次いで、逆方向ＤＣＴ変換を最初に適用することなくＤＣＴ変換領域に
おいて実行される。得られた動き補正された変換データは、次いで、変換領域に
おいて特別の必要な処理操作（例えば、トランスコーディング操作、ウォータマ
ークの挿入）を受けることができる。適用の仕方に対応して、得られた処理され
たＤＣＴ係数データは、次に動き推定、動き補正されたインターフレーム減算、
再量子化、ラン長さ再コード化、及び、可変長さ再コード化の少なくとも一部分
を受けることができて逆方向及び順方向ＤＣＴ変換過程を別々に展開することな
く必要な処理された出力コード化ビデオビットストリームを発生させる。
【００１３】 一つの実施例によれば、この発明は、ビデオデータを圧縮する方法であって、
（ａ）対応する基準データに基づいてビデオデータのフレームについて動き推定
を行なってそのフレームに対する動きベクトルの組を識別し、その際前記動き推
定が、前記基準データにおけるブロック境界と一致するブロックベースの動きベ
クトルのみの識別に制限され、及び、ブロックベースの動きベクトルの少なくと
も一つが、非ゼロ動きベクトルであり、 （ｂ）前記基準データ及び前記ブロックベースの動きベクトルに基づいた前記ビ
デオデータに対して動き補正されたインターフレーム差別を行なってインターフ
レーム差データを発生させ、及び、（ｃ）前記インターフレーム差データに一つ
又はそれ以上のビデオ圧縮過程を与えて前記ビデオデータに対応するコード化さ
れたビデオビットストリームに対してコード化されたデータを発生させる過程か
らなるものである。
【００１４】 この発明の他の実施例によれば、この発明は、存在する入力コード化ビデオビ
ットストリームを処理する方法であって、（ａ）一つ又はそれ以上のデコード化
過程を入力ビットストリームに施して変換領域内における変換係数データ及び対
応するブロックベースの動きベクトルを回復し、その際前記ブロックベースの動
きベクトルが、対応する基準データにおけるブロック境界との一致に制限され、
（ｂ）前記ブロックベースの動きベクトルと前記基準データに基づいて変換領域
内において動き補正されたインターフレーム追加を実行して予測エラー補正され
た（ＰＥＣ）変換係数データを発生させ、及び、（ｃ）変換領域内において前記
ＰＥＣ変換係数データの引き続いての処理を実行するようにした過程からなるも
のである。
【００１５】 この発明のさらに他の実施例によれば、この発明は、ビデオデータを圧縮する
方法であって、（ａ）対応する基準データに基づいてビデオデータのフレームに
ついて動き推定を行なってそのフレームに対する動きベクトルの組を識別し、そ
の際前記動き推定が、前記基準データにおけるブロック境界と一致するブロック
ベースの動きベクトルのみの識別に制限され、及び、ブロックベースの動きベク
トルのすべてが、０動きベクトルであり、（ｂ）前記基準データ及び前記ブロッ
クベースの動きベクトルに基づいた前記ビデオデータに対して動き補正されたイ
ンターフレーム差別を行なってインターフレーム差データを発生させ、及び、（
ｃ）前記インターフレーム差データに一つ又はそれ以上の追加のビデオ圧縮過程
を与えて前記ビデオデータに対応するコード化されたビデオビットストリームに
対してコード化されたデータを発生させ、その際前記コード化されたビデオビッ
トストリームが、ＭＰＥＧコーデックアルゴリズムに適合する過程からなるもの
である。
【００１６】
【発明の実施の形態】
図１は、この発明の一つの実施例における動き補正されたインターフレームビ
デオ圧縮処理のブロック図である。この実施例により、動きベクトルが、ブロッ
ク境界と一致するものに限定される。
【００１７】 特に、ブロックベースの動き推定１０２が、適切な基準データに対して入力像
データに施される。インターフレームビデオ圧縮処理が（i）順方向予測、（ii
）逆方向予測、又は、（iii）双方向予測に基づいているかどうかにより、基準
データが、それぞれ、（i）予めのフレーム、（iii）引き続くフレーム、（iii
）両方の組み合わせ（例えば、予めのフレームと引き続くフレームの平均）のい
ずれかに基づいて発生される。いずれにせよ、動き推定処理は、なんらかの適切
な同様の尺度（例えば、絶対的な画素差の和（ＳＡＤ））に基づいて像データの
その時点でのブロックに極めて密に一致する基準データのブロックを識別しよう
とするものである。この発明によれば、動き推定処理中に用いられる基準データ
のブロックの組は、ブロック境界に一致するものに限定される。従来周知の動き
推定処理においては、このような制限は存在せず、従って、動き推定処理に使う
ことができる基準データのブロックは、特定のサーチ範囲ないの画素（又はサブ
画素）位置に対応する。
【００１８】 図２及び図３は、従来周知の動き推定処理（図２）及び(８×８)ブロックの像
データに対するこの発明による動き推定処理（図３）の差を示している。図２及
び図３は、像データの特定の(８×８)ブロックに対する基準データのサーチ領域
を示しており、基準データにおけるその対応する位置は、ブロックの中央に対す
る（０，０）の動きベクトルを備えた太い(８×８)ブロックにより図において示
されている。図２及び図３におけるサーチ領域は、その成分が８画素の大きさに
それぞれ制限されている動きベクトルに基づいている（すなわち、動きベクトル
成分は、−８から＋８に独立に変動する）。
【００１９】 図２に示されているように、従来周知の整数画素ベースの動き推定処理では、
−８から＋８までの１７の異なる整数成分値の組み合わせに基づく２８９の異な
る整数ベースの動きベクトルに対応する基準データの２８９の異なる使用可能な
(８×８)ブロックが存在する。「フラクショナル画素」に基づいた動き推定体系
においては、それ以上の基準データのブロックを使うことができる。
【００２０】 他方、図３に示されるように、この発明によるブロックベースの動き推定処理
のこのような特定の実施例に対して、使用可能な基準データのブロックは、ブロ
ック境界に対応して９ブロックに限定される（すなわち、−８，０，＋８の３個
の異なる成分値の組み合わせに基づいた９個の動きベクトルの一つを備えた）。
このブロックベースの動き推定処理体系から得られた典型的な予測は、従来周知
の画素ベースの動き推定処理体系よりも精度が低いが、多くのアプリケーション
において、ブロックベースの動き推定処理予測の精度は、許容し得るものであろ
う。
【００２１】 使用可能な基準データのブロックの数は所定のサーチ範囲に対して非常に小さ
いので（例えば、図２及び図３の実施例において２８９から９に）、この発明に
よるブロックベースの動き推定処理は、より迅速に実行が可能である。その上、
サーチ範囲は、従来周知の画素ベースの動き推定処理体系よりも動き推定に対し
て必要な処理時間が少ないのにもかかわらず、非常に拡張されている。例えば、
±８の代わりに±２４にサーチ範囲を拡大しても処理されるべき基準データは４
９(８×８)ブロックを残すのみである。実際のところ、サーチ範囲は、同一の数
の基準ブロック（すなわち、２８９）が±８に制限されているサーチ範囲を備え
た画素ベースの動き推定に使えるようになる前に、±６４に拡大可能である。
【００２２】 特別なビデオ圧縮アルゴリズム及びフレームのタイプ（例えば、Ｐ又はＢ）に
対応して、ブロック１０２における動き推定処理は、像データのブロックのそれ
ぞれに対して３個の、順方向光予測、逆方向予測及び双方向予測からなる異なる
ブロックベースの動きベクトルを識別できる。モード制御処理１０４が、動き推
定後に実行され、イントラフレームコード化技術を用いてコード化する可能性を
含んで、その時点での像データにおけるブロックのコード化の仕方を決定する。
このコード化モード制御の結果に応じて、イントラフレーム差別化１０６が、次
いで、対応する動き補正された基準データを用いる像データに実行されてブロッ
ク動き補正されたインターフレーム画素差データを発生させる。
【００２３】 いずれにせよ、(８×８)ＤＣＴブロック変換のような変換１０８が、次いで、
画素領域データのブロックに適用され、１１０で量子化され、１１２でラン長さ
コード化され、１１４で可変長さコード化される変換係数のブロックを発生して
コード化されたビデオビットストリームの一部分を発生させる。図１には示され
ていないが、可能ならば、像データのブロックをコード化するために使われる動
きベクトルは、また、ビットストリーム内でコード化される。
【００２４】 ラン長さコード化１１２及び可変長さコード化１１４は典型的な損失の少ない
コード化過程であるので、図１における圧縮アルゴリズムの一部分（すなわち、
図１の上方部分）であるデコード化処理は、ビデオコーデックアルゴリズムに対
する信頼性を損なうことなく量子化ブロック１１０によって発生させられる量子
化係数とともにスタートできる。特に、ブロック１１０からの量子化された変換
係数は、１１６で非量子化され、１１８で逆方向に変換され、及び、もし可能な
らば、動き補正されたインターフレーム追加１２０が施されて、像データにおけ
るその他の組のコード化において使われる可能性のある基準データを発生させる
。
【００２５】 この発明によるブロックベースの動き推定に対するものを除いて、図１の処理
過程のその他が、ＭＰＥＧ標準に適合するような従来周知のビデオ圧縮技術に基
づいて展開できるものであることは、当該技術に通常の知識を有する者には明ら
かなことであろう。
【００２６】 図４は、この発明の他の実施例における動き補正されたインターフレームビデ
オ圧縮処理のブロック図である。図１の実施例と同じように、動きベクトルは、
ブロック境界に一致するものに限定される。しかしながら、図４において、変換
４０１が、動き推定４０２の前に未処理の像データに施される。このようにして
、ブロック限定の動き推定４０２、モード制御４０４、及び、動き補正されたイ
ンターフレーム差別化４０６が、図１の実施例におけるような画素領域において
ではなく、変換領域においてすべて実行される。動き推定及び補正が変換領域に
おいて実行されるので、コード化フィードバック路において生じる動き補正され
たインターフレーム追加４２０の過程は、また、変換領域において実行される。
その結果、逆方向変換は、コード化処理の間はまったく実行されない。量子化１
１０、ラン長さコード化４１２、可変長さコード化４１４、非量子化４１６は、
図１に示されている実施例における過程と類似した過程で実行される。
【００２７】 図５は、この発明の一つの実施例における部分的なデコード化処理のブロック
図である。図５の部分的なデコード化処理は、図１におけるブロックベースの動
き補正されたインターフレームビデオ圧縮アルゴリズムを用いて発生される存在
するコード化されたビデオビットストリームで動作するように設計されている。
特に、部分的なデコード化処理が、入力ビットストリームを受け入れて部分的に
デコード化して出力非量子化変換データを発生させる。追加の処理過程（例えば
、トランスコーディングやウォータ挿入に関連し、図５には示されていない）が
、次いで、変換領域内において非量子化された変換データに適用されて処理され
た変換データを発生し、次いで、さらにコード化されて、必要な処理をされたコ
ード化されたビデオビットストリームを発生させる。
【００２８】 特に、動きベクトルデコード化５０２、モードデコード化５０４、及び、可変
長さデコード化／ラン長さデコード化／非量子化５０６は、入力ビットストリー
ムに適用され、それぞれ、（１）ブロックベース動きベクトル、（２）モード制
御情報（すなわち、いずれのブロックが、順方向、逆方向又は双方向（すなわち
、内挿された）予測に基づいてイントラフレーム技術又はインターフレーム技術
を用いてコード化されたか）、及び、（３）変換領域における予測誤差に対応す
る非量子化された変換(例えば、ＤＣＴ)を回復する。
【００２９】 もし可能ならば、メモリＡ５０８は、引き続くフレームに対応する変換領域基
準データ（例えば、非量子化されたＤＣＴ係数）を保持し、他方で、メモリＢ５
１０は、先行するフレームに対応する変換領域基準データを保持している。メモ
リＡ及びＢからの基準データの対応するブロックは、デコード化ブロック５０２
によって回復されたブロックベースの動きベクトルによって識別されるように、
平均化ノード５１２によって平均化されて双方向予測のための内挿された基準デ
ータを形成する。
【００３０】 ４位置スイッチ５１４の状態は、ブロック５０４からのデコード化モード制御
データによって指令される。モード制御データが「後方予測」を指示していると
き、スイッチ５１４は、メモリＡから加算ノード５１６への適切な（すなわち、
動き補正された）引き続くフレーム基準データを送るように配置されている。モ
ード制御データが「前方予測」を指示しているとき、スイッチ５１４は、メモリ
Ｂから加算ノード５１６への適切な先行フレーム基準データを送るように配置さ
れている。モード制御データが「双方向予測」を指示しているとき、スイッチ５
１４は、平均化ノード５１２から加算ノード５１６への適切な内挿された基準デ
ータを送るように配置されている。最後に、モード制御データが「イントラコー
ド化」を指示しているとき、スイッチ５１４は、０を加算ノード５１６へ送る「
接地」に配置されている。
【００３１】 いずれにせよ、加算ノード５１６において、ブロック５０６からの非量子化さ
れたＤＣＴ係数が、スイッチ５１４から選択された変換領域基準データに加えら
れてすべて変換領域内にある予測誤差とともに予測を補正する。もし適切ならば
（すなわち、現時点でのフレームがＩ又はＰフレームであるとき）、加算ノード
５１６からの変換データは、一つ又はそれ以上のその他のビデオフレームをコー
ド化するために基準データとして使うためにメモリＡ又はＢにフィードバックさ
れる。
【００３２】 動きベクトルはブロック境界に一致するものに限定されるとともにＤＣＴのよ
うな変換が直線的であるために、加算ノード５１６における動き補正されたイン
ターフレーム追加は、変換領域において、逆方向変換を最初に行なわずに実行で
きる。このようにして、量子化損失などを除いて、加算ノード５１６において発
生された得られた動き補正された変換データは、原像データに直接変換を施した
ときに得られるであろう変換データに対応する。追加の処理（図５には示されて
いない）が、次いで、逆方向変換を施さずに得られた補正された変換データに対
して実行される。この追加の処理は、典型的に、必要な処理を受けた出力コード
化ビデオビットストリームを発生させるのに必要な過程を含んでいる。その場合
、追加の処理は、変換領域における動き推定及び動き補正、再量子化、ラン長さ
再コード化、及び、可変長さ再コード化過程を含むことができる。適当な状況に
おいて、変換領域における動き推定及び／又は動き補正過程は、省略することが
できる。例えば、入力ビットストリームからの動きベクトルが再使用されるとき
は、動き推定が省略できる。動き補正なしに出力ビットストリームが発生される
ときは、動き推定及び動き補正の両方が省略できる。
【００３３】 ＭＰＥＧビデオコーデックアルゴリズムに加えて、この発明は、その他の適切
なビデオコーデックアルゴリズムに展開することができ、それらには、(８×８)
ＤＣＴ変換以外の変換に基づいたアルゴリズム及び／又はラン長さコード化及び
可変長さコード化過程を含まず及び／又は追加のその他の量子化後コード化過程
を含むアルゴリズムが含まれる。
【００３４】 この発明は、単一の集積回路への適用可能性を含む回路ベースの処理として展
開できる。当該技術に通常の知識を備えた者には明らかなように、回路部材の種
々の機能が、ソフトウェアプログラムにおける処理過程としてデジタル領域にお
いて展開できる。このようなソフトウェアは、例えば、デジタル信号プロセッサ
、マイクロコントローラ、又は、汎用のコンピュータにおいて使える。
【００３５】 この発明は、方法の形で具体化され、さらに、それらの方法を実施する装置の
形で具体化できる。この発明は、また、フロッピー（登録商標）ディスク、ＣＤ −ＲＯＭ、ハードドライブ、又は、その他の機械読み取り可能な記憶媒体のよう な実体的な媒体において実現されるプログラムコードの形で具体化され、その際 プログラムコードがコンピュータのような機械によって装填されるとともに実行 されるとき、この機械は、この発明を具体化する装置となる。この発明は、また 、例えば、記憶媒体に記憶され、機械に装填され及び／又は機械によって実行さ れ、又は、光学繊維を介して、又は、電磁放射線を経由して電線又はケーブルの ようなものからなるいくつかの通信媒体又はキャリヤにまたがって搬送されるプ ログラムコードの形で具体化可能であり、その際プログラムコードがコンピュー タのような機械に装填され及び実行されるとき、この機械は、この発明を具体化 する装置となる。汎用のプロセッサのために実行されるとき、プログラムコード セグメントは、プロセッサに組み合わせられて特定の論理回路をアナログ的に作 動させるユニークな装置を構成する。
【００３６】 この発明の性質を説明するために記述され、図示された細部、材料、部品の配
置の様々な変化が、特許請求の範囲に表現されているような発明の原理及び範囲
を逸脱することなく当該技術に通常の知識を備えた者にとって容易に行ない得る
ことは明らかであろう。
【図面の簡単な説明】
この発明のその他の構成、特徴、及び、利点は、以下の詳細な説明、付属する
特許請求の範囲、及び、添付の図面から完全に明らかになろう。
【図1】 この発明の一つの実施例における動き補正されたインターフレームビデオ圧縮
処理のブロック図である。
【図2】 従来周知の動き推定処理（図２）を示している。
【図３】 (８×８)ブロックの像データに対するこの発明による動き推定処理（図３）の差
を示している。
【図4】 この発明の他の実施例における動き補正されたインターフレームビデオ圧縮処
理のブロック図である。
【図５】 この発明の一つの実施例における部分的なデコード化処理のブロック図である
。
───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号 ０９／３８８，７０１ (32)優先日 平成11年９月２日(1999．9．2) (33)優先権主張国 米国（ＵＳ） (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＣＮ，ＩＮ，Ｊ Ｐ，ＫＲ Ｆターム(参考） 5C059 KK41 KK43 MA00 MA05 MA14 MA23 MC11 MC38 ME05 NN03 NN21 NN28 PP05 PP06 PP07 RC35 SS20 TA17 TA65 TB08 TC03 TC04 TC12 UA02 UA05 UA33 5J064 AA02 BA01 BA09 BA16 BB03 BC01 BC08 BC16 BC21 BD01 【要約の続き】 る。

Claims (12)

    【特許請求の範囲】
  1. 【請求項１】 ビデオデータを圧縮する方法において、 （ａ）対応する基準データに基づいてビデオデータのフレームについて動き推定
    を行なってそのフレームに対する動きベクトルの組を識別し、その際前記動き推
    定が、前記基準データにおけるブロック境界と一致するブロックベースの動きベ
    クトルのみの識別に制限され、及び、ブロックベースの動きベクトルの少なくと
    も一つが、非ゼロ動きベクトルであり、 （ｂ）前記基準データ及び前記ブロックベースの動きベクトルに基づいた前記ビ
    デオデータに対して動き補正されたインターフレーム差別を行なってインターフ
    レーム差データを発生させ、及び、 （ｃ）前記インターフレーム差データに一つ又はそれ以上のビデオ圧縮過程を与
    えて前記ビデオデータに対応するコード化されたビデオビットストリームに対し
    てコード化されたデータを発生させるようにした方法。
  2. 【請求項２】 過程（ａ）及び（ｂ）が、画素領域において実行され、及び
    、過程（ｃ）が、 （１）前記インターフレーム差データに変換を加えて変換領域に変換係数データ
    を発生させ、及び、 （２）前記変換係数データを量子化して量子化された変換係数データを発生させ
    る過程からなるようにした特許請求の範囲第１項に記載の方法。
  3. 【請求項３】 前記コード化されたビデオビットストリームが、ＭＰＥＧコ
    ーデックアルゴリズムに適合し、及び、前記変換が、離散コサイン変換（ＤＣＴ
    ）であるようにした特許請求の範囲第２項に記載の方法。
  4. 【請求項４】 過程（ａ）が、さらに、画素データに変換を加えて変換領域
    において変換係数データを発生させ、その際前記動き推定が、変換領域において
    前記基準データに基づいて前記変換係数データに加えられるようにした過程を含
    むようにした特許請求の範囲第１項に記載の方法。
  5. 【請求項５】 コード化されたプログラムコードを含む機械読み取り可能な
    媒体であって、前記プログラムコードが機械によって実行されるとき、前記機械
    が、 （ａ）対応する基準データに基づいてビデオデータのフレームについて動き推定
    を行なってそのフレームに対する動きベクトルの組を識別し、その際前記動き推
    定が、前記基準データにおけるブロック境界と一致するブロックベースの動きベ
    クトルのみの識別に制限され、及び、ブロックベースの動きベクトルの少なくと
    も一つが、非ゼロ動きベクトルであり、 （ｂ）前記基準データ及び前記ブロックベースの動きベクトルに基づいた前記ビ
    デオデータに対して動き補正されたインターフレーム差別を行なってインターフ
    レーム差データを発生させ、及び、 （ｃ）前記インターフレーム差データに一つ又はそれ以上のビデオ圧縮過程を与
    えて前記ビデオデータに対応するコード化されたビデオビットストリームに対し
    てコード化されたデータを発生させることからなる過程を展開するようにした機
    械読み取り可能な媒体。
  6. 【請求項６】 存在する入力コード化ビデオビットストリームを処理する方
    法において、 （ａ）一つ又はそれ以上のデコード化過程を入力ビットストリームに施して変換
    領域内における変換係数データ及び対応するブロックベースの動きベクトルを回
    復し、その際前記ブロックベースの動きベクトルが、対応する基準データにおけ
    るブロック境界との一致に制限され、 （ｂ）前記ブロックベースの動きベクトルと前記基準データに基づいて変換領域
    内において動き補正されたインターフレーム追加を実行して予測エラー補正され
    た（ＰＥＣ）変換係数データを発生させ、及び、 （ｃ）変換領域内において前記ＰＥＣ変換係数データの引き続いての処理を実行
    するようにした方法。
  7. 【請求項７】 前記ブロックベースの動きベクトルの少なくとも一つが、非
    ゼロ動きベクトルであるようにした特許請求の範囲第６項に記載の方法。
  8. 【請求項８】 前記コード化されたビデオビットストリームが、ＭＰＥＧコ
    ーデックアルゴリズムに適合し、及び、前記変換領域が、ＤＣＴ変換領域に対応
    するようにした特許請求の範囲第６項に記載の方法。
  9. 【請求項９】 前記過程（ｃ）が、一つ又はそれ以上のビデオ圧縮過程を施
    して処理された出力コード化ビデオビットストリームを発生させる過程を含むよ
    うにした特許請求の範囲第６項に記載の方法。
  10. 【請求項１０】 前記一つ又はそれ以上のビデオ圧縮過程が、動き補正され
    たインターフレーム差別を変換領域において処理された変換係数に行なって変換
    係数差データを発生させるようにした特許請求の範囲第９項に記載の方法。
  11. 【請求項１１】 コード化されたプログラムコードを含む機械読み取り可能
    な媒体であって、前記プログラムコードが機械によって実行されるとき、前記機
    械が、 （ａ）一つ又はそれ以上のデコード化過程を存在する入力コード化ビデオビット
    ストリームに施して変換領域内における変換係数データ及び対応するブロックベ
    ースの動きベクトルを回復し、その際前記ブロックベースの動きベクトルが、対
    応する基準データにおけるブロック境界との一致に制限され、 （ｂ）前記ブロックベースの動きベクトルと前記基準データに基づいて変換領域
    内において動き補正されたインターフレーム追加を実行して予測エラー補正され
    た（ＰＥＣ）変換係数データを発生させ、及び、 （ｃ）変換領域内において前記ＰＥＣ変換係数データの引き続いての処理を実行
    するようにした機械読み取り可能な媒体。
  12. 【請求項１２】 ビデオデータを圧縮する方法において、 （ａ）対応する基準データに基づいてビデオデータのフレームについて動き推定
    を行なってそのフレームに対する動きベクトルの組を識別し、その際前記動き推
    定が、前記基準データにおけるブロック境界と一致するブロックベースの動きベ
    クトルのみの識別に制限され、及び、ブロックベースの動きベクトルのすべてが
    、０動きベクトルであり、 （ｂ）前記基準データ及び前記ブロックベースの動きベクトルに基づいた前記ビ
    デオデータに対して動き補正されたインターフレーム差別を行なってインターフ
    レーム差データを発生させ、及び、 （ｃ）前記インターフレーム差データに一つ又はそれ以上のビデオ圧縮過程を与
    えて前記ビデオデータに対応するコード化されたビデオビットストリームに対し
    てコード化されたデータを発生させ、その際前記コード化されたビデオビットス
    トリームが、ＭＰＥＧコーデックアルゴリズムに適合するようにした方法。
JP2000573099A 1998-09-29 1999-09-29 ブロック動きビデオのコード化及びデコード化 Withdrawn JP2002526998A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US10221498P 1998-09-29 1998-09-29
US60/102,214 1998-09-29
US12153199P 1999-02-25 1999-02-25
US60/121,531 1999-02-25
US09/388,701 1999-09-02
US09/388,701 US6188728B1 (en) 1998-09-29 1999-09-02 Block motion video coding and decoding
PCT/US1999/022635 WO2000019725A1 (en) 1998-09-29 1999-09-29 Block motion video coding and decoding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010160883A Division JP2010268505A (ja) 1998-09-29 2010-07-15 ブロック動きビデオのコード化及びデコード化

Publications (1)

Publication Number Publication Date
JP2002526998A true JP2002526998A (ja) 2002-08-20

Family

ID=27379311

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2000573099A Withdrawn JP2002526998A (ja) 1998-09-29 1999-09-29 ブロック動きビデオのコード化及びデコード化
JP2010160883A Pending JP2010268505A (ja) 1998-09-29 2010-07-15 ブロック動きビデオのコード化及びデコード化

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2010160883A Pending JP2010268505A (ja) 1998-09-29 2010-07-15 ブロック動きビデオのコード化及びデコード化

Country Status (3)

Country Link
EP (1) EP1118224A1 (ja)
JP (2) JP2002526998A (ja)
WO (1) WO2000019725A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2519289B (en) 2013-10-11 2016-10-12 Canon Kk Method and apparatus for displacement vector component transformation in video coding and decoding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01300781A (ja) * 1988-05-30 1989-12-05 Nec Corp 動画像信号の符号化・復号化方式
JPH02181586A (ja) * 1989-01-06 1990-07-16 Nec Corp 動き補償フレーム間予測符号化方式
JPH05501944A (ja) * 1989-11-14 1993-04-08 ドイチエ　トムソン―ブラント　ゲゼルシヤフト　ミツト　ベシユレンクテル　ハフツング 伝送系

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4245248A (en) * 1979-04-04 1981-01-13 Bell Telephone Laboratories, Incorporated Motion estimation and encoding of video signals in the transform domain
JP3089165B2 (ja) * 1994-11-10 2000-09-18 株式会社グラフィックス・コミュニケーション・ラボラトリーズ 動きベクトル探索装置
US5708732A (en) * 1996-03-06 1998-01-13 Hewlett-Packard Company Fast DCT domain downsampling and inverse motion compensation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01300781A (ja) * 1988-05-30 1989-12-05 Nec Corp 動画像信号の符号化・復号化方式
JPH02181586A (ja) * 1989-01-06 1990-07-16 Nec Corp 動き補償フレーム間予測符号化方式
JPH05501944A (ja) * 1989-11-14 1993-04-08 ドイチエ　トムソン―ブラント　ゲゼルシヤフト　ミツト　ベシユレンクテル　ハフツング 伝送系

Also Published As

Publication number Publication date
JP2010268505A (ja) 2010-11-25
EP1118224A1 (en) 2001-07-25
WO2000019725A1 (en) 2000-04-06

Similar Documents

Publication Publication Date Title
US6188728B1 (en) Block motion video coding and decoding
US6625215B1 (en) Methods and apparatus for context-based inter/intra coding mode selection
CA2109138C (en) Device for encoding digital signals representing images, and corresponding decoding device
US20050002458A1 (en) Spatial scalable compression
US8144782B2 (en) Adaptive motion estimation/compensation device for MB/based illumination change and method thereof
JP4226172B2 (ja) 適応的変換方法を用いる映像圧縮符号化装置および復号化装置ならびにその方法
JPH02308671A (ja) 変換符号化装置
JPH11275592A (ja) 動画像符号列変換装置及びその方法
JP3805734B2 (ja) 離散コサイン変換係数の予測方法
US20050265444A1 (en) Moving image encoding/decoding apparatus and method
EP1428393A1 (en) Method and apparatus for motion vector coding with global motion parameters
US6847684B1 (en) Zero-block encoding
JP2000102016A (ja) 動き補償予測回路
KR100928325B1 (ko) 영상의 부호화, 복호화 방법 및 장치
US7912124B2 (en) Motion compensation for fine-grain scalable video
JP5101818B2 (ja) 非標準化ビデオ量子化コーダを使用するビデオ規格に準拠した残差コーディング
JP2002526998A (ja) ブロック動きビデオのコード化及びデコード化
US6266448B1 (en) Method of and apparatus for compressing and encoding digitized moving picture signals
JP4253572B2 (ja) 画像符号化装置、画像符号化方法および画像符号化プログラム
JP2007517438A (ja) 参照フレームの数を固定する符号化方式で画像の参照ブロックを取得する方法
TW462184B (en) Block motion video coding and decoding
JP2005507620A (ja) 圧縮
KR0130167B1 (ko) 동영상 압축 부호화 장치
JP2639324B2 (ja) 動画像信号の符号化装置・復号化装置
JPH06169453A (ja) 画像データ符号化および復号化装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060814

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20070416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090508

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090806

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090813

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100316

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100715

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20100803