JP2001516186A - 適応的動き推定方法及びその装置 - Google Patents

適応的動き推定方法及びその装置

Info

Publication number
JP2001516186A
JP2001516186A JP2000510279A JP2000510279A JP2001516186A JP 2001516186 A JP2001516186 A JP 2001516186A JP 2000510279 A JP2000510279 A JP 2000510279A JP 2000510279 A JP2000510279 A JP 2000510279A JP 2001516186 A JP2001516186 A JP 2001516186A
Authority
JP
Japan
Prior art keywords
block
motion estimation
motion
blocks
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000510279A
Other languages
English (en)
Other versions
JP4127961B2 (ja
Inventor
チャング、ミン、カク
Original Assignee
デーウー・エレクトロニクス・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by デーウー・エレクトロニクス・カンパニー・リミテッド filed Critical デーウー・エレクトロニクス・カンパニー・リミテッド
Publication of JP2001516186A publication Critical patent/JP2001516186A/ja
Application granted granted Critical
Publication of JP4127961B2 publication Critical patent/JP4127961B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/533Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 予め定められた基準フレーム(PRF)に基づいて、現フレーム内のブロックに対して動き推定を行う本発明の動き推定装置は、該ブロックと対応する基準ブロック(CRB)との間の差分を示す差分ブロックを生成する差分ブロック生成部と、AVが差分ブロックのアクティビティ値であり、TH1、TH2及びTH3が各々所定の閾値であるとき、AV≦TH1の場合、ゼロ・ベクトルを供給し、TH1<AV≦TH2の場合は、該ブロックを第1ブロックとして供給し、AV>TH2の場合には、該ブロックを複数のサブブロックに分割し、TH2<AV≦TH3の場合は、各サブブロックを第2ブロックの組として供給し、AV>TH3の場合には、各サブブロックを第3ブロックの組として供給する動き推定経路決定部とを有する。また、本発明の動き推定装置において、第1動き推定部は、所定のフル探索技法を採用する第1ブロック整合法を用いて、サンプル基準フレーム(SRF)における予め定められた第1探索領域(PSR)内の第1ブロックをサブサンプリングして求められたサンプル・ブロックに対する動き推定を行って、第1動きベクトルを生成する。第2動き推定部は、所定の対数探索技法を採用する第2ブロック整合法を用いて、PRFにおける第2のPSR内の第2ブロック各々に対する動き推定を行って、第2ブロック各々に対応する第2動きベクトルの組を供給する。第3動き推定部は、所定のフル探索技法を採用する第3ブロック整合法を用いて,PRFにおける第3のPSR内の第3ブロック各々に対する動き推定を行って、第3ブロック各々に対応する第3動きベクトルの組を供給する。

Description

【発明の詳細な説明】
【0001】 (技術分野) 本発明は、動き推定方法及び装置に関し、特に、適応的動き推
定方法及び装置に関する。
【0002】 (背景技術) テレビ電話、電子会議及び高精細度テレビジョン(HDTV)
システムのようなディジタル・ビデオ・システムにおいて、映像フレーム信号の
映像ライン信号は画素と呼ばれる一連のディジタル・データからなるので、映像
フレーム信号を定義するためには、相当量のデータが必要である。
【0003】 しかし、従来の伝送チャネルで使用可能な周波数領域が制限されているので、
特に、テレビ電話、電子会議システムのような低ビットレートの映像信号符号化
器の場合、そのような相当量のディジタル・データを該当チャネルを通じて伝送
するためには、多様なデータ圧縮技法を用いて伝送すべきデータの量を圧縮また
は低減する必要がある。
【0004】 多様なビデオ圧縮技法のうち、動き補償フレーム間符号化技法は隣接する2つ
のビデオ・フレーム間で映像信号の時間的冗長性を用いるもので、最も効率性よ
い圧縮技法の1つとして知られている。
【0005】 この動き補償フレーム間符号化技法において、現フレーム・データは、現フレ
ーム及び前フレームにおける対応する画素データ間の動き推定値及び差分値に基
づいて、その前フレーム・データから予測される。
【0006】 従来提案されている動きベクトル推定技法のうち1つが、ブロック整合技法で
ある。このブロック整合技法で、現フレームは同一の大きさの複数の探索ブロッ
クに分けられ、前フレームは現フレーム内の探索ブロックと同数の大きい探索領
域に分割される。ここで、各探索ブロックは典型的に8×8個〜32×32個の
画素からなる大きさを有し、各探索領域は探索ブロックと同じ大きさの複数の候
補ブロックにも分割される。
【0007】 現フレーム内の探索ブロックに対する動きベクトルを決定するために、現フレ
ームの探索ブロックと、前フレーム内の対応する探索領域に含まれる複数の候補
ブロックの各々との間の類似度が計算される。
【0008】 現フレームの探索ブロックと対応する探索領域内の各候補ブロックとの間の類
似度は、平均二乗誤差(MSE)関数または平均絶対誤差(MAE)関数のよう
な誤差関数を用いて計算される。MSE及びMAE関数は、下記式のように示さ
れる。
【0009】
【数1】
【0010】 ここで、H×Vは探索ブロックの大きさ、I(i,j)は探索ブロックで座標
(i,j)に位置する画素の輝度レベル、P(i,j)は候補ブロックで座標(
i,j)に位置する対応画素の輝度レベルを各々表す。
【0011】 従来のブロック整合技法では、探索ブロックと、最適整合の候補ブロック、即
ち、誤差関数を最少化する候補ブロックとの間の変位ベクトルが動きベクトル(
以下、「動きベクトル」と称する)として選択される。このような動きベクトル
を求めるために用いられる技法は、通常、フル探索技法と呼ばれることに注意さ
れたい。
【0012】 その後、動きベクトルと、探索ブロックと最適整合の候補ブロックとの間の差
分を表す誤差信号とは符号化され受信端に伝送される。受信端では、受け取った
符号化動きベクトル及び符号化誤差信号を用いて、その前フレームに基づきブロ
ック単位で現フレームを復元する。
【0013】 一方、符号化データの量及びその処理時間をより減らすために、多様なサブサ
ンプリング技法のうちの1つを採用するブロック整合方法を用いてブロックに対
する動き推定(ME)を行う装置が知られている。
【0014】 例えば、図1を参照すると、所定のサブサンプリング技法を採用するブロック
整合法を用いて、ブロックに対する動き推定を行う従来の動き推定装置100の
ブロック図が示されている。この動き推定装置100は、本特許出願と出願人を
同じくする係属中の国際出願(国際出願日:1998年8月7日)に、「MOTION
ESTIMATION METHOD AND APPARATUS EMPLOYING SUBSAMPLING TECHNIQUE」なる名
称で開示されているものと同一である。
【0015】 この動き推定装置100は、ブロック・サブサンプリング部110、基準フレ
ーム(RF)サブサンプリング部115、最適整合候補ブロック検出部120、
動きベクトル生成部122を有する。ブロック・サブサンプリング部110は、
ブロック分割部102、第1決定部104、第2決定部106及びサンプル・ブ
ロック生成部108を有する。
【0016】 上記の動き推定装置100において、現フレーム内のN×M個の画素からなる
ブロックが現フレーム・メモリ(図示せず)からラインL11を介してブロック
分割部102へ入力される。ここで、N及びMは各々予め定められた正の整数で
ある。また、所定の基準フレーム(PRF)、例えば、前フレームが基準フレー
ム・メモリ(図示せず)からラインL13を介して基準フレーム・サブサンプリ
ング部115へ入力される。ブロック分割部102は、受け取ったブロックをK
×L個の画素からなる複数のサブブロック(SB)に分け、分けられたSBを、
同一群内の全てのSBは互いに対角線方向に隣接するという規則に基づいて、A
群のSBとB群のSBとに分類する。ここで、K及びLは各々予め定められた正
の整数であって、N及びMの約数である。
【0017】 その後、ブロック分割部102はA群のSB(即ち、ASB)及びB群のSB
(即ち、BSB)を、各々ラインL13及びL14を介して第1決定部104と
第2決定部106へ供給する。
【0018】 第1決定部104は、ASB内の画素のうちで、所定の第1条件を満たす画素
をASBに対するA群の代表画素として決定する。このようにして、第1決定部
104は、全てのASBに対応するA群の代表画素(ARP)を決定し、これら
のARPをラインL15を介してサンプル・ブロック生成部108へ供給する。
【0019】 第2決定部106は、BSB内の画素のうちで、所定の第2条件を満たす画素
をBSBに対するB群の代表画素として決定する。第1条件と第2条件は互いに
異なる条件である。通常、第1条件は該当画素がASB内の画素の中で最大の画
素値を有することを表し、第2条件は該当画素がBSB内の画素の中で最小の画
素値を有することを表す。
【0020】 こうして、第2決定部106は、全てのBSBに対応するB群の代表画素(B
RP)を決定した後、該当BRPをラインL16を介してサンプル・ブロック生
成部108へ供給する。サンプル・ブロック生成部108はARPとBRPとを
組合わせて、サンプル・ブロックを生成する。
【0021】 一方、RFサブサンプリング部115は、ブロック・サブサンプリング部がサ
ンプル・ブロックを生成するのと同じ手法にて、PRPに対するサブサンプリン
グを行って、サンプル基準フレーム(SRP)をラインL18を通して発生する
【0022】 その後、最適整合候補ブロック検出部120はサンプル・ブロック及びSRF
に基づき、フル探索技法を用いる所定のブロック整合技法を使用して、SRFの
所定探索領域内の各候補ブロックのうちで、サンプル・ブロックに対して最小の
誤差値をもたらす候補ブロックを最適整合候補ブロックとして検出する。その後
、最適整合候補ブロック検出部120は検出した最適整合の候補ブロックを動き
ベクトル生成部122へ供給する。
【0023】 この動きベクトル生成部122は、サンプル・ブロックと最適整合の候補ブロ
ックとの間の変位を計算して、サンプル・ブロックに対応する動きベクトル(M
V)として生成する。
【0024】 また、従来の動き推定方法の他の一つであって、対数探索技法を採用するブロ
ック整合法がある(MPEG、International Organization for Standardizati
on, Coding of Moving Pictures and Associated Audio, ISO/IEC/JTC1/SC29, M
arch 26, 1992, 2-Annex D, PP D-32 To D-33参照)。
【0025】 図2A及び図2Bは各々は、対数探索技法を採用する従来のブロック整合法を
説明するための図面である。以下、図2A及び図2Bを参照して、従来のブロッ
ク整合法を説明する。
【0026】 対数探索技法を採用する従来のブロック整合法において、図2Aの如く、まず
9個の第1グリッド(FG)、例えば、FG1〜FG9が検出される。各FGは
対応する第1候補ブロック(FCB)、例えば、FCB1〜FCB2を有する。
このFGの組は、PRFにおけるF×G個の画素からなる探索領域内の(F/3
)×(G/3)個の画素からなる四角形を表すことに注目されたい。ここで,F
及びGは各々予め定められた正の整数で、3の倍数である。図2Aは、各々が対
応するFCBを有する、9個のFGを有する探索領域の一例200を示す。
【0027】 9個のFGのうち、探索ブロックに対する最適整合のFCBを有するFGが第
1選択グリッドとして選択される。各FGの中心点は各々対応する各FCBの中
心点に一致することに注目されたい。
【0028】 その後、第1選択グリッドは各々がH×J個の画素からなる複数の第2グリッ
ド(SG)に分割される。H及びJは予め定められた正の整数であって、3の約
数である。図2Bは、SG1〜SG4を有する第1選択グリッドの例210を示
す。図2Bの如く、各SGは対応する第2候補ブロック(SCB)、例えば、S
CB1〜SCB4を有することに注目されたい。
【0029】 然る後、SGの組のうち、探索ブロックに対する最適整合のSCBを有するS
Gが第2選択グリッドとして選択される。各SGの中心点は対応する各SCBの
中心点に一致することに注目されたい。 同様に、多段対数探索手続きが行われるが、その中で3段階の対数探索法が広く
用いられる。
【0030】 3段階の対数探索法において、フル探索技法を用いて、第2選択グリッドの複
数の第3候補ブロック(TSB)のうち、探索ブロックに対して最小の誤差関数
をもたらすTSBが最後の最適整合候補ブロックとして決定される。結果として
、探索ブロックと最後の最適整合候補ブロックとの間の動きベクトルが求められ
る。各FCB、各SCB及び各TCBの大きさは探索ブロックの大きさに等しい
ことに注目されたい。
【0031】 フル探索技法のみ採用しているブロック整合技法は高精度の動き推定が可能で
あるものの、計算量が多く処理時間が長くなり、実時間処理が困難であるという
不都合がある。
【0032】 また、対数探索技法を採用するブロック整合法の場合は、計算時間は短縮され
るが、動き推定の精度が低下するという不都合がある。 また、サブサンプリング技法を採用するブロック整合法の場合は、上記両ブロッ
ク整合法に比べて、処理時間や動き推定の精度面で見る時、中間レベルの効果を
奏する。しかし、このブロック整合法は、フレームのブロックに対する動き推定
の処理時間短縮及び精度向上には限界を有するという不都合がある。
【0033】 従って、前述した従来の各ブロック整合法に比べて、処理時間をより一層短縮
させ、高精度の動き推定を行うためには、フル探索技法、サブサンプリング技法
及び対数探索技法を適応的に採用する、適応的、即ちハイブリッド・ブロック整
合技法を導入する必要がある。
【0034】 (発明の開示) 従って、本発明の主な目的は、現フレーム内のブロックと所定の基準フレーム
内の対応する基準ブロックとの間の差分を計算して、現フレームのブロックに対
する動き推定を適応的に行い得る適応的動き推定方法及び装置を提供することに
ある。
【0035】 上記目的を達成するために、本発明の好適実施例によれば、予め定められた基
準フレーム(PRF)に基づいて、現フレーム内のN×M(N及びMは各々予め
定められた正の整数)個の画素からなるブロックに対して動き推定を行う動き推
定装置であって、 前記現フレームのブロックと前記PRFとに基づいて、前記
現フレームのブロックと対応する基準ブロック(CRB)との間の差分を示す、
N×M個の画素からなる差分ブロックを生成する差分ブロック生成手段と、 A
Vが前記差分ブロックのアクティビティ値であり、K及びLが各々予め定められ
た正の整数でN及びMの約数であり、TH1、TH2及びTH3が各々予め定め
られた第1、第2及び第3閾値(PTV)でTH1<TH2<TH3の関係を有
するとき、AV≦TH1の場合、ゼロ・ベクトルを前記現フレームの前記ブロッ
クに対する動きベクトルとして供給し、TH1<AV≦TH2の場合は、前記ブ
ロックを第1ブロックとして供給し、AV>TH1の場合には、前記ブロックを
K×L個の画素からなる複数のサブブロックに分割する動き推定経路決定手段と
、 所定のフル探索技法を採用する第1ブロック整合法を用いて、サンプル基準フ
レーム(SRF)における予め定められた第1探索領域(PSR)内のサンプル
・ブロックに対する動き推定を行って、第1動きベクトルと第1補助信号とを生
成し、前記第1動きベクトルと前記第1補助信号とを組合わせて、前記ブロック
に対する第1動き推定データを生成する第1動き推定手段であって、前記サンプ
ル・ブロック及び前記SRFは各々、所定のサブサンプリング技法を用いて前記
第1ブロック及び前記PRFをサブサンプリングして求められ、前記第1補助信
号は前記サンプル・ブロックに対して動き推定が行われたことを表す、前記第1
動き推定手段と、 所定の対数探索技法を採用する第2ブロック整合法を用いて、前記PRFにお
ける第2のPSR内の前記第2ブロック各々に対する動き推定を行って、前記第
2ブロック各々に対応する第2動きベクトルの組と第2補助信号とを生成し、前
記第2動きベクトルの組と前記第2補助信号とを組合わせて、前記ブロックに対
する第2動き推定データを供給する第2動き推定手段であって、前記第2補助信
号は前記第2ブロックの各々に対して動き推定が行われたことを表す、前記第2
動き推定手段と、 所定のフル探索技法を採用する第3ブロック整合法を用いて、前記PRFにお
ける第3のPSR内の前記第3ブロック各々に対する動き推定を行って、前記第
3ブロック各々に対応する第3動きベクトルの組と第3補助信号を生成し、前記
第3動きベクトルの組と前記第3補助信号とを組合わせて、前記ブロックに対す
る第3動き推定データを供給する第3動き推定手段であって、前記第3補助信号
は前記第3ブロックの各々に対する動き推定が行ったことを表す、前記第3動き
推定手段とを含むことを特徴とする動き推定装置が提供される。
【0036】 (発明の実施の形態) 以下、本発明の好適な実施例について、図面を参照してより詳しく説明する。
図3を参照すると、本発明による適応的動き推定装置300のブロック図が示さ
れている。この動き推定装置300は差分ブロック形成部310、動き推定(M
E)経路決定部320、第1のME部350、第2のME部360、第3のME
部370及び多重化器(MUX)380を有する。
【0037】 差分ブロック形成部310は減算器314及び基準ブロック抽出部316を有
する。ME経路決定部320は第1のME経路決定部321、第2のME経路決
定部323、ブロック分割部324及び第3のME経路決定部325を有する。
【0038】 本発明の動き推定装置300において、まず、現フレーム内でN×M個の画素
からなるブロックが現フレーム・メモリ(図示せず)からラインL30を介して
減算器314及び第1のME経路決定部321へ入力される。ここで、N及びM
は各々予め定められた正の整数である。
【0039】 また、所定の基準フレーム(PRF)が基準フレーム・メモリ(図示せず)か
らラインL31を介して基準ブロック抽出部316、第1のME部350、第2
のME部360及び第3のME部370へ入力される。通常、PRFは所定の復
元方法により復元される前フレームであることに注目されたい。
【0040】 差分ブロック形成部310はN×M個の画素からなる差分ブロックを生成し、
この差分ブロックは受け取った現フレームのブロック及びPRFに基づいて、該
現フレームのブロックと対応する基準ブロック(CRB)との間の差分を示す。
【0041】 詳述すると、差分ブロック形成部310において、基準ブロック抽出部316
は先ず、現フレームのブロックと同じ位置にある、PRF内の基準ブロックをC
RBとして抽出し、該CRBを減算器314へ供給する。その後、減算器314
は現フレームのブロックからCRBを減算し、計算結果としての差分ブロックを
ラインL32を通して第1のME経路決定部321へ供給する。
【0042】 ME経路決定部320は、AVが差分ブロックのアクティビティ値であるとき
、AV≦TH1の場合、ゼロ・ベクトルを現フレームのブロックに対する動きベ
クトル(動きベクトル)としてラインL33を介してMUX380に供給し、T
H1<AV≦TH2の場合は、現フレームのブロックを第1ブロックとしてライ
ンL35を介して第1のME部350に供給し、AV>TH1の場合には、現フ
レームのブロックをK×L個の画素からなる複数のサブブロックに分割する。こ
こで、K及びLは各々予め定められた正の整数であって、N及びMの約数であり
、TH1、TH2及びTH3は各々予め定められた第1、第2及び第3閾値(P
TV)であって、TH1<TH2<TH3の関係を有する。
【0043】 本発明の好適実施例によれば、AVは差分ブロック内の各画素の値に対する平
均絶対誤差及び平均二乗誤差のうちのいずれかであることに注目されたい。
【0044】 次に、ME経路決定部320は、TH2<TH3の条件下で、TH2<AV≦
TH3の場合、各サブブロックをK×L個の画素からなる第2ブロックの組とし
てラインL38を介して第2のME部360に供給し、AV>TH3の場合は、
各サブブロックをK×L個の画素からなる第3ブロックの組としてラインL39
を介して第3のME部370に供給する。本発明の好適実施例によれば、N及び
Kは各々M及びLと等しい。普通、N及びKは例えば、各々16及び4である。
【0045】 詳述すると、ME経路決定部320において、第1のME経路決定部321は
先ずAVを計算し、AV≦TH1の場合、ゼロ・ベクトルを現フレームのブロッ
クに対する動きベクトルとしてラインL33を介してMUX380に供給し、A
V>TH1の場合は、AV及び該ブロックをラインL34を介して第2のME経
路決定部323に供給する。
【0046】 第2のME経路決定部323は、TH1<AV≦TH2の場合、第1のME経
路決定部321から入力されたブロックを第1ブロックとしてラインL35を介
して第1のME部350に供給し、AV>TH2の場合には、AV及び該ブロッ
クをラインL36を介して第3のME経路決定部325に供給すると共に、該ブ
ロックをラインL37を介してブロック分割部324にも供給する。 ブロック分割部324は、第2のME決定部323からラインL37を介して入
力されたブロックを、K×L個の画素からなる複数のサブブロックに分割して、
該サブブロックを第3のME経路決定部325に供給する。
【0047】 第3のME経路決定部325は、TH2<AV≦TH3の場合、ブロック分割
部324から入力されたサブブロックをK×L個の画素からなる第2サブブロッ
クの組としてラインL38を介して第2のME部360に供給し、AV>TH3
の場合は、該サブブロックをK×L個の画素からなる第3サブブロックの組とし
てラインL39を介して第3のME部370に供給する。
【0048】 第1のME部350は、所定のフル探索技法を採用する第1ブロック整合法を
用いて、サンプル基準フレーム(SRF)における予め定められた第1探索領域
(PSR)内のサンプル・ブロックに対する動き推定を行って、第1動きベクト
ルと第1補助信号とを生成する。ここで、サンプル・ブロック及びSRFは各々
、所定のサブサンプリング技法を用いて第1ブロック及びPRFをサブサンプリ
ングして得られ、第1補助信号は動き推定がサンプル・ブロックに対して行われ
たことを表す。
【0049】 本発明の好適実施例によれば、サンプル・ブロックの大きさはH×J個の画素
からなる大きさであり、第1のPSRの大きさはX×Y個の画素からなる大きさ
である。ここで、H、J、X及びYは全て予め定められた正の整数であって、H
及びJは X及びYより大きい。例えば、図4Aを参照すると、X×Y個の画素
からなる第1のPSR400とH×J個の画素からなるサンプル・ブロック41
0が示されている。 次に、第1のME部350は第1動きベクトルと第1の補助信号を組合わせて、
該ブロックに対する第1動き推定データを生成し、ラインL40を介してMUX
380を供給する。
【0050】 第2のME部360は、所定の対数探索技法を採用する第2ブロック整合法を
用いて、SRFにおける第2のPSR内の第2ブロック各々に対する動き推定を
行って、第2ブロック各々に対応する第2動きベクトルの組と第2補助信号とを
生成し、該第2動きベクトルの組と第2補助信号とを組合わせて、該ブロックに
対する第2動き推定データをラインL41を介してMUX380に供給する。こ
こで、第2補助信号は、第2ブロックの各々に対して動き推定が行われたことを
表す。
【0051】 本発明の好適実施例によれば、所定の対数探索技法は3段階対数探索技法であ
り、第2のPSRの大きさはP×Q個の画素からなる大きさであり、P及びQは
各々3の倍数である。また、本発明の好適実施例によれば、P及びQは各々予め
定められた正の整数であって、N及びMより大きい。例えば、図4Bを参照する
と、P×Q個の画素からなる第2のPSR430とK×L個の画素からなる第2
ブロック450が示されている。
【0052】 第3のME部370は、所定のフル探索技法を採用する第3ブロック整合法を
用いて、SRFにおける第3のPSR内の第3ブロック各々に対する動き推定を
行って、第3ブロック各々に対応する第3動きベクトルの組と第3補助信号を生
成し、該第3動きベクトルの組と第3補助信号とを組合わせて、該ブロックに対
する第3動き推定データをラインL42を介してMUX380に供給する。ここ
で、第3補助信号は、第3ブロックの各々に対する動き推定が行われたことを表
す。
【0053】 本発明の好適実施例によれば、第3のPSRの大きさはU×V個の画素からな
る大きさであり、U及びV各々予め定められた正の整数であって、K及びLより
大きい。例えば、図4Cを参照すると、U×V個の画素からなる第3のPSR4
60とK×L個の画素からなる第3ブロック470が示されている。
【0054】 MUX380は、ME経路決定部320からのブロックに対するゼロ・ベクト
ル、第1のME部350からの第1動き推定データ、第2のME部360からの
第2動き推定データ及び第3のME部370からの第3動き推定データを多重化
して、多重化データを動き推定データとして動き補償部(図示せず)及びエンコ
ーダ(図示せず)に供給し、動き補償部は該動き推定データを補償し、エンコー
ダは該補償データを符号化する。
【0055】 従って、本発明によれば、現フレーム内のブロックと所定の基準フレーム内の
対応する基準ブロックとの間の差分を計算することによって、現フレームのブロ
ックに対する動き推定を適応的に行うことができる。
【0056】 上記において、本発明の好適な実施の形態について説明したが、本発明の請求
範囲を逸脱することなく、当業者は種々の改変をなし得るであろう。
【図面の簡単な説明】
【図1】 所定のサブサンプリング技法を採用するブロック整合法を用いて、ブロックに
対する動き推定(ME)を行う従来の動き推定装置のブロック図である。
【図2A】 対数探索技法を採用する従来のブロック整合法を説明するため
のブロック図である。
【図2B】 対数探索技法を採用する従来のブロック整合法を説明するためのブロック図で
ある。
【図3】 本発明による適応的動き推定装置のブロック図である。
【図4A】 本発明の好適実施例による動き推定方法を説明するのに用いられる探索領域を
示す模式図である。
【図4B】 本発明の好適実施例による動き推定方法を説明するのに用いられる探索領域を
示す模式図である。
【図4C】 本発明の好適実施例による動き推定方法を説明するのに用いられる探索領域を
示す模式図である。
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C059 KK19 LB18 MA00 NN02 NN03 NN08 NN28 NN32 RC16 SS03 SS07 TA62 TA63 TB08 TC10 TC12 TD03 TD06 TD12 UA02 UA33 【要約の続き】 動きベクトルを生成する。第2動き推定部は、所定の対 数探索技法を採用する第2ブロック整合法を用いて、P RFにおける第2のPSR内の第2ブロック各々に対す る動き推定を行って、第2ブロック各々に対応する第2 動きベクトルの組を供給する。第3動き推定部は、所定 のフル探索技法を採用する第3ブロック整合法を用い て,PRFにおける第3のPSR内の第3ブロック各々 に対する動き推定を行って、第3ブロック各々に対応す る第3動きベクトルの組を供給する。

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】 予め定められた基準フレーム(PRF)に基づいて、現フ
    レーム内のN×M(N及びMは各々予め定められた正の整数)個の画素からなる
    ブロックに対して動き推定を行う動き推定装置であって、 前記現フレームのブ
    ロックと前記PRFとに基づいて、前記現フレームのブロックと対応する基準ブ
    ロック(CRB)との間の差分を示す、N×M個の画素からなる差分ブロックを
    生成する差分ブロック生成手段と、 AVが前記差分ブロックのアクティビティ
    値であり、K及びLが各々予め定められた正の整数でN及びMの約数であり、T
    H1、TH2及びTH3が各々予め定められた第1、第2及び第3閾値(PTV
    )でTH1<TH2<TH3の関係を有するとき、AV≦TH1の場合、ゼロ・
    ベクトルを前記現フレームの前記ブロックに対する動きベクトルとして供給し、
    TH1<AV≦TH2の場合は、前記ブロックを第1ブロックとして供給し、A
    V>TH1の場合には、前記ブロックをK×L個の画素からなる複数のサブブロ
    ックに分割する動き推定経路決定手段と、 所定のフル探索技法を採用する第1ブロック整合法を用いて、サンプル基準フ
    レーム(SRF)における予め定められた第1探索領域(PSR)内のサンプル
    ・ブロックに対する動き推定を行って、第1動きベクトルと第1補助信号とを生
    成し、前記第1動きベクトルと前記第1補助信号とを組合わせて、前記ブロック
    に対する第1動き推定データを生成する第1動き推定手段であって、前記サンプ
    ル・ブロック及び前記SRFは各々、所定のサブサンプリング技法を用いて前記
    第1ブロック及び前記PRFをサブサンプリングして求められ、前記第1補助信
    号は前記サンプル・ブロックに対して動き推定が行われたことを表す、前記第1
    動き推定手段と、 所定の対数探索技法を採用する第2ブロック整合法を用いて、前記PRFにお
    ける第2のPSR内の前記第2ブロック各々に対する動き推定を行って、前記第
    2ブロック各々に対応する第2動きベクトルの組と第2補助信号とを生成し、前
    記第2動きベクトルの組と前記第2補助信号とを組合わせて、前記ブロックに対
    する第2動き推定データを供給する第2動き推定手段であって、前記第2補助信
    号は前記第2ブロックの各々に対して動き推定が行われたことを表す、前記第2
    動き推定手段と、 所定のフル探索技法を採用する第3ブロック整合法を用いて、前記PRFにお
    ける第3のPSR内の前記第3ブロック各々に対する動き推定を行って、前記第
    3ブロック各々に対応する第3動きベクトルの組と第3補助信号を生成し、前記
    第3動きベクトルの組と前記第3補助信号とを組合わせて、前記ブロックに対す
    る第3動き推定データを供給する第3動き推定手段であって、前記第3補助信号
    は前記第3ブロックの各々に対する動き推定が行ったことを表す、前記第3動き
    推定手段とを含むことを特徴とする動き推定装置。
  2. 【請求項2】 前記差分ブロック生成手段が、 前記現フレーム内の前記ブロックと同一の所に位置する前記PRF内の基準ブ
    ロックを前記CRBとして抽出する基準ブロック抽出手段と、 前記ブロックから前記CRBを減算して前記差分ブロックを供給する減算手段
    とを有することを特徴とする請求項1に記載の動き推定装置。
  3. 【請求項3】 前記動き推定経路決定手段が、 前記AVを計算し、AV≦TH1の場合、前記ゼロ・ベクトルを前記ブロック
    に対する前記動きベクトルとして供給し、AV>TH1の場合は、前記AV及び
    前記ブロックを供給する第1動き推定経路決定手段と、 TH1<AV≦TH2の場合、前記ブロックを前記第1ブロックとして供給し
    、AV>TH2の場合には、前記AV及び前記ブロックを供給する第2動き推定
    経路決定手段と、 前記第2動き推定経路決定手段から入力された前記ブロックを、K×L個の画
    素からなる複数のサブブロックに分割するブロック分割手段と、 TH2<AV≦TH3の場合、前記サブブロックをK×L個の画素からなる第
    2サブブロックの組として供給し、AV>TH3の場合は、前記サブブロックを
    K×L個の画素からなる第3サブブロックの組として供給する第3動き推定経路
    決定手段とを含むことを特徴とする請求項2に記載の動き推定装置。
  4. 【請求項4】 前記N及びKが、各々、前記M及びLと等しいことを特徴
    とする請求項1に記載の動き推定装置。
  5. 【請求項5】 前記N及びKが、各々、16及び4であることを特徴とす
    る請求項4に記載の動き推定装置。
  6. 【請求項6】 前記AVが、前記差分ブロックの各画素の値に対する平均
    絶対誤差及び平均二乗誤差のうちのいずれかであることを特徴とする請求項1に
    記載の動き推定装置。
  7. 【請求項7】 前記サンプル・ブロックの大きさがH×J個の画素からな
    り、前記第1のPSRの大きさがX×Y個の画素からなり、前記X及びYが各々
    、予め定められた正の整数で前記H及びJより大きいことを特徴とする請求項1
    に記載の動き推定装置。
  8. 【請求項8】 前記所定の対数探索技法が3段階対数探索技法であり、前
    記第2のPSRの大きさがP×Q個の画素からなり、前記P及びQが各々3の倍
    数であることを特徴とする請求項1に記載の動き推定装置。
  9. 【請求項9】 前記P及びQが、各々、予め定められた正の整数で前記N
    及びMより大きいことを特徴とする請求項8に記載の動き推定装置。
  10. 【請求項10】 U及びVが各々予め定められた正の整数で前記K及びL
    より大きいとき、前記第3のPSRの大きさがU×V個の画素からなることを特
    徴とする請求項1に記載の適応的動き推定装置。
  11. 【請求項11】 予め定められた基準フレーム(PRF)に基づいて、現
    フレーム内のN×M(N及びMは各々予め定められた正の整数)個の画素からな
    るブロックに対して動き推定を行う動き推定方法であって、 前記現フレームのブロックと前記PRFとに基づいて、前記現フレームのブロ
    ックと対応する基準ブロック(CRB)との間の差分を示す、N×M個の画素か
    らなる差分ブロックを生成する第1段階と、 AVが前記差分ブロックのアクティビティ値であり、K及びLが各々予め定め
    られた正の整数でN及びMの約数であり、TH1、TH2及びTH3が各々予め
    定められた第1、第2及び第3閾値(PTV)でTH1<TH2<TH3の関係
    を有するとき、AV≦TH1の場合、ゼロ・ベクトルを前記現フレームの前記ブ
    ロックに対する動きベクトルとして供給し、TH1<AV≦TH2の場合は、前
    記ブロックを第1ブロックとして供給し、AV>TH1の場合には、前記ブロッ
    クをK×L個の画素からなる複数のサブブロックに分割する第2段階と、 所定のフル探索技法を採用する第1ブロック整合法を用いて、サンプル基準フ
    レーム(SRF)における予め定められた第1探索領域(PSR)内のサンプル
    ・ブロックに対する動き推定を行って、第1動きベクトルと第1補助信号とを生
    成し、前記第1動きベクトルと前記第1補助信号とを組合わせて、前記ブロック
    に対する第1動き推定データを生成する第3段階であって、前記サンプル・ブロ
    ック及び前記SRFは各々、所定のサブサンプリング技法を用いて前記第1ブロ
    ック及び前記PRFをサブサンプリングして求められ、前記第1補助信号は前記
    サンプル・ブロックに対して動き推定が行われたことを表す、前記第3段階と、 所定の対数探索技法を採用する第2ブロック整合法を用いて、前記PRFにお
    ける第2のPSR内の前記第2ブロック各々に対する動き推定を行って、前記第
    2ブロック各々に対応する第2動きベクトルの組と第2補助信号とを生成し、前
    記第2動きベクトルの組と前記第2補助信号とを組合わせて、前記ブロックに対
    する第2動き推定データを供給する第4段階であって、前記第2補助信号は前記
    第2ブロックの各々に対して動き推定が行われたことを表す、前記第4段階と、 所定のフル探索技法を採用する第3ブロック整合法を用いて、前記PRFにお
    ける第3のPSR内の前記第3ブロック各々に対する動き推定を行って、前記第
    3ブロック各々に対応する第3動きベクトルの組と第3補助信号を生成し、前記
    第3動きベクトルの組と前記第3補助信号とを組合わせて、前記ブロックに対す
    る第3動き推定データを供給する第5段階であって、前記第3補助信号は前記第
    3ブロックの各々に対する動き推定が行ったことを表す、前記第5段階とを含む
    ことを特徴とする動き推定方法。
  12. 【請求項12】 前記第1段階が、 前記現フレーム内の前記ブロックと同一の所に位置する前記PRF内の基準ブ
    ロックを前記CRBとして抽出する段階と、 前記ブロックから前記CRBを減算して前記差分ブロックを供給する段階 とを有することを特徴とする請求項11に記載の動き推定方法。
  13. 【請求項13】 前記第2段階が、 前記AVを計算し、AV≦TH1の場合、前記ゼロ・ベクトルを前記ブロック
    に対する前記動きベクトルとして供給し、AV>TH1の場合は、前記AV及び
    前記ブロックを供給する段階と、 TH1<AV≦TH2の場合、前記ブロックを前記第1ブロックとして供給し
    、AV>TH2の場合には、前記AV及び前記ブロックを供給する段階と、 前記ブロックをK×L個の画素からなる複数のサブブロックに分割する段階と
    、 TH2<AV≦TH3の場合、前記サブブロックをK×L個の画素からなる第
    2サブブロックの組として供給し、AV>TH3の場合は、前記サブブロックを
    K×L個の画素からなる第3サブブロックの組として供給する段階とを含むこと
    を特徴とする請求項12に記載の動き推定方法。
  14. 【請求項14】 前記N及びKが、各々、前記M及びLと等しいことを特
    徴とする請求項11に記載の動き推定方法。
  15. 【請求項15】 前記N及びKが、各々、16及び4であることを特徴と
    する請求項14に記載の動き推定方法。
  16. 【請求項16】 前記AVが、前記差分ブロックの各画素の値に対する平
    均絶対誤差及び平均二乗誤差のうちのいずれかであることを特徴とする請求項1
    1に記載の動き推定方法。
  17. 【請求項17】 前記サンプル・ブロックの大きさがH×J個の画素から
    なり、前記第1のPSRの大きさがX×Y個の画素からなり、前記X及びYが各
    々、予め定められた正の整数で前記H及びJより大きいことを特徴とする請求項
    11に記載の動き推定方法。
  18. 【請求項18】 前記所定の対数探索技法が3段階対数探索技法であり、
    前記第2のPSRの大きさがP×Q個の画素からなり、前記P及びQが各々3の
    倍数であることを特徴とする請求項17に記載の動き推定方法。
  19. 【請求項19】 前記P及びQが、各々、予め定められた正の整数で前記
    N及びMより大きいことを特徴とする請求項18に記載の動き推定方法。
  20. 【請求項20】 U及びVが各々予め定められた正の整数で前記K及びL
    より大きいとき、前記第3のPSRの大きさがU×V個の画素からなることを特
    徴とする請求項11に記載の適応的動き推定方法。
JP2000510279A 1997-08-13 1998-08-10 適応的動き推定方法及びその装置 Expired - Fee Related JP4127961B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1997/38533 1997-08-13
KR1019970038533A KR100235356B1 (ko) 1997-08-13 1997-08-13 개선된 움직임 추정 장치 및 그 추정 방법
PCT/KR1998/000248 WO1999009746A1 (en) 1997-08-13 1998-08-10 Adaptive motion estimation method and apparatus

Publications (2)

Publication Number Publication Date
JP2001516186A true JP2001516186A (ja) 2001-09-25
JP4127961B2 JP4127961B2 (ja) 2008-07-30

Family

ID=19517370

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000510279A Expired - Fee Related JP4127961B2 (ja) 1997-08-13 1998-08-10 適応的動き推定方法及びその装置

Country Status (6)

Country Link
US (1) US6269121B1 (ja)
JP (1) JP4127961B2 (ja)
KR (1) KR100235356B1 (ja)
CN (1) CN1129319C (ja)
GB (1) GB2344956B (ja)
WO (1) WO1999009746A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015122573A (ja) * 2013-12-20 2015-07-02 キヤノン株式会社 動き検出装置、動き検出方法及びプログラム

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100582856B1 (ko) * 1997-09-23 2006-05-24 코닌클리케 필립스 일렉트로닉스 엔.브이. 움직임 추정 및 움직임 보상된 보간법
JP4027513B2 (ja) * 1998-09-29 2007-12-26 株式会社ルネサステクノロジ 動き検出装置
KR100490395B1 (ko) 2001-10-29 2005-05-17 삼성전자주식회사 움직임 벡터 추정 방법 및 이에 적합한 장치
US7003035B2 (en) * 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
KR100492127B1 (ko) * 2002-02-23 2005-06-01 삼성전자주식회사 적응형 움직임 추정장치 및 추정 방법
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
KR20040022697A (ko) * 2002-09-09 2004-03-16 한국전자통신연구원 영상 데이터 압축을 위한 움직임 추정 장치
KR20040046892A (ko) * 2002-11-28 2004-06-05 엘지전자 주식회사 움직임 벡터 예측 부호화 및 복호화 방법
KR100565066B1 (ko) 2004-02-11 2006-03-30 삼성전자주식회사 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치
KR100618910B1 (ko) * 2004-04-03 2006-09-01 (주)씨앤에스 테크놀로지 최적화된 연산복잡도를 갖는 움직임 추정 장치 및 그 방법
US7609765B2 (en) 2004-12-02 2009-10-27 Intel Corporation Fast multi-frame motion estimation with adaptive search strategies
CN100471280C (zh) * 2005-01-07 2009-03-18 株式会社Ntt都科摩 运动图像编码及译码装置、方法
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US8363727B2 (en) * 2008-09-30 2013-01-29 Microsoft Corporation Techniques to perform fast motion estimation
JP2010124397A (ja) * 2008-11-21 2010-06-03 Toshiba Corp 高解像度化装置
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
KR101614767B1 (ko) * 2009-10-28 2016-04-22 에스케이텔레콤 주식회사 벡터 양자화 기반 2차 예측을 통한 동영상 부호화/복호화 장치, 방법 및 기록 매체
CN101990055B (zh) * 2010-11-13 2012-05-23 天津大学 新型运动估计方法
KR101227524B1 (ko) 2011-08-10 2013-01-31 엘지전자 주식회사 영상 처리방법 및 영상 처리장치
CN102572438B (zh) * 2012-02-21 2014-04-02 清华大学 一种基于图像纹理和运动特征的运动预测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
US5612746A (en) * 1995-04-10 1997-03-18 Tektronix, Inc. Block matching for picture motion estimation using offset quantized pixels
KR0181063B1 (ko) * 1995-04-29 1999-05-01 배순훈 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치
US5761398A (en) * 1995-12-26 1998-06-02 C-Cube Microsystems Inc. Three stage hierarchal motion vector determination
US5682204A (en) * 1995-12-26 1997-10-28 C Cube Microsystems, Inc. Video encoder which uses intra-coding when an activity level of a current macro-block is smaller than a threshold level
US5801778A (en) * 1996-05-23 1998-09-01 C-Cube Microsystems, Inc. Video encoding with multi-stage projection motion estimation
KR100235355B1 (ko) * 1997-08-13 1999-12-15 전주범 개선된 움직임 추정 장치 및 그 추정 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015122573A (ja) * 2013-12-20 2015-07-02 キヤノン株式会社 動き検出装置、動き検出方法及びプログラム

Also Published As

Publication number Publication date
JP4127961B2 (ja) 2008-07-30
CN1129319C (zh) 2003-11-26
KR100235356B1 (ko) 1999-12-15
GB2344956B (en) 2001-11-14
US6269121B1 (en) 2001-07-31
GB2344956A (en) 2000-06-21
CN1337123A (zh) 2002-02-20
GB0006025D0 (en) 2000-05-03
KR19990016084A (ko) 1999-03-05
WO1999009746A1 (en) 1999-02-25

Similar Documents

Publication Publication Date Title
JP2001516186A (ja) 適応的動き推定方法及びその装置
Nam et al. A fast hierarchical motion vector estimation algorithm using mean pyramid
Walker et al. Improved pel-recursive motion compensation
US6560284B1 (en) Video coder/decoder
KR100464995B1 (ko) 운동의존예측을이용하여비디오정보를압축하는방법및장치
US6825885B2 (en) Motion information coding and decoding method
US4689671A (en) Coding apparatus for moving object image
US5502492A (en) Motion vector detection apparatus
US7321626B2 (en) System and method for predictive motion estimation using a global motion predictor
EP1309199A2 (en) Motion compensation for interlaced digital video signals
US5508744A (en) Video signal compression with removal of non-correlated motion vectors
WO2005018217A2 (en) Semantics-based motion estimation for multi-view video coding
JP2970417B2 (ja) 動画像符号化方式
JPS62213392A (ja) フイ−ルド補間方法
JPH07193823A (ja) 映像データ・ブロック変換システム
US6317460B1 (en) Motion vector generation by temporal interpolation
US6563874B1 (en) Fast search method for motion estimation
US5689312A (en) Block matching motion estimation method
JP4034935B2 (ja) サブサンプリング技法を採用する動き推定方法及び装置
US20040105589A1 (en) Moving picture compression/coding apparatus and motion vector detection method
JP3823370B2 (ja) 動画像符号化方法、復号方法及びその装置
JP3950211B2 (ja) 動きベクトル符号化装置
JPH08242457A (ja) 動きベクトル検出方法
Chen et al. Backward adaptive pixel-based fast predictive motion estimation
JPH07274175A (ja) 動的動き評価による低伝送率の動映像符号化方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070605

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070905

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070912

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070920

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070928

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080415

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080513

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120523

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130523

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130523

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees