JP2002543687A - サブピクセル精度の動きベクトル推定及び動き補償された補間 - Google Patents

サブピクセル精度の動きベクトル推定及び動き補償された補間

Info

Publication number
JP2002543687A
JP2002543687A JP2000614654A JP2000614654A JP2002543687A JP 2002543687 A JP2002543687 A JP 2002543687A JP 2000614654 A JP2000614654 A JP 2000614654A JP 2000614654 A JP2000614654 A JP 2000614654A JP 2002543687 A JP2002543687 A JP 2002543687A
Authority
JP
Japan
Prior art keywords
vector
image
sub
component
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000614654A
Other languages
English (en)
Other versions
JP4398099B2 (ja
Inventor
ハーン，ヘラルト デ
ベー ベレルス，エルウィン
イェー スヒュッテン，ローベルト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=26153310&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2002543687(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JP2002543687A publication Critical patent/JP2002543687A/ja
Application granted granted Critical
Publication of JP4398099B2 publication Critical patent/JP4398099B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Picture Signal Circuits (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 ディジタルビデオからのサブピクセル精度の動き推定は、データの補間を必要とする。近傍の画像をベクトル（Ｄ）の相補的な分数（−Ｄ／２，Ｄ／２）によってシフトする対称的な動き推定器には、２つのかかる補間フィルタが所望である。ブロックマッチング動き推定アルゴリズムの場合、様々な候補ベクトルのマッチング誤差はサブピクセル補間フィルタの質に依存する。これらのフィルタはベクトルの分数の値によって異なるため、幾つかの分数ベクトル値を他のベクトル値よりも意図的でなく優先させることがある。候補ベクトル（Ｄ）を整数部（Ｒｎｄ（Ｄ／２）と一般的に非整数である部分（Ｄ−Ｒｎｄ（Ｄ／２））へ分割し、それにより候補ベクトル（Ｄ）をベクトルが有効とされる必要のある時間的な位置に正確に一致するよう分割するよりも、正確であり、費用が低くなる。

Description

【発明の詳細な説明】
【０００１】 本発明は、サブピクセル精度の動きベクトル推定及び動き補償された補間又は
予測のための方法及び装置に関連し、また、かかるサブピクセル動き補償された
補間装置に関連する。
【０００２】 動きベクトルは、符号化、雑音除去、及びスキャンレート変換といった、画像
処理適用の範囲で使用される。これらの適用のうちの幾つか、特にスキャンレー
ト変換適用は、対象の真の動きが推定されることを必要とする［１］、［２］。
他の適用、例えば符号化及び順次走査変換への飛び越し走査は、残る符号化誤差
即ちエイリアスの振幅が低くなるよう高い精度の動きベクトルを必要とする［３
］、［４］。最後に、例えば動き推定の消費者適用といった適用のカテゴリがあ
り、この場合、動き推定量の費用が非常に重要である［５］。真の動き推定を実
現するために幾つかのアルゴリズムが提案されている［１］、［２］、［５］、
［６］、［７］、及び、［８］。また、低い複雑性レベルで動き推定を実現する
ためのアルゴリズムが提案されており、例えば、［５］、［８］、［９］、［１
０］、及び、［１１］、通常はサブピクセル精度を可能とする画素反復アルゴリ
ズム、例えば［１２］又は［１３］のほかに、非常に精度な動きベクトルの推定
を可能とする多数のブロックマッチングアルゴリズム［１］、［１４］、及び、
［１５］が報告されている。
【０００３】 非対称的な動き推定器では、前の（又は次の）画像のシフトされた部分を現在
画像の固定の部分にマッチさせることが試みられる。推定器がブロックマッチン
グ器であれば、差の絶対値の和（ＳＡＤ）の規準を用いて、誤差尺度は、
【０００４】
【数１】 で表わされ、但し、Ｃは試験される候補ベクトルであり、ＸはブロックＢ（Ｘ）
の位置を示し、Ｆ（ｘ，ｎ）はルミナンス信号であり、ｎはピクチャ又は画像番
号である。得られる動きベクトルは、現在画像中のブロックの速度を表わる。
【０００５】 対称的な動き推定器では、２つの（通常は連続する）画像からの２つの部分が
、やはり最適なマッチが生ずるよう反対方向にシフトされる。マッチ誤差は、
【０００６】
【数２】 として生ずる。結果として得られる動きベクトル（２つのシフトのうち一方を反
転させた後の２つのシフトの和）は、２つのシフトされた画像間に配置される（
利用可能でない）画像中のブロックの速度を表わす。パラメータαは、０乃至１
の間にあり、時間的な位置を決定する。このタイプの動き推定器は、特にフレー
ムレート変換適用に関係がある。
【０００７】 本願は、２つの入力ピクチャ（又は画像）間の時点においてベクトルが有効で
ある必要のある場合に、サブピクセル精度で真の動き推定の問題を解決すること
を目的とする。これは、特に、スキャンレート変換器に適用される推定器に関係
がある。サブピクセル精度のためには、所与の画素値間の位置における画素の補
間が必要である。一般的に使用される方法は、いわゆる双１次補間であり、これ
は複雑性が低いために実施上の利点がある。
【０００８】 本発明は特に、改善された動きベクトル推定と動き補償された補間を提供する
ことを目的とする。このために、本発明は独立項に定義されるような動きベクト
ル推定及び動き補償された補間又は予測のための方法及び装置を提供する。有利
な実施例は従属項に定義される。
【０００９】 G.de Haanの論文"Motion Estimation and compensation; An integrated appr
oach to consumer display field rate conversion", Eindhoven 1992, section
8.1.1には、整数候補ベクトル（即ち整数ベクトル成分のみを有するもの）から
第１及び第２の整数ベクトル（即ち、やはり整数ベクトル成分のみを有するもの
）を得る方法が記載されている。奇数候補ベクトル、即ち奇数垂直成分を有する
ベクトル、について、０．５という分数で乗算することにより非整数ベクトル成
分が得られる。偶数垂直成分を有する候補ベクトルの場合には、その偶数垂直成
分を０．５という分数で乗算することによって非整数ベクトル成分が得られない
ため、問題が生ずる。この公知の方法では、分数ベクトル成分を得るために整数
候補ベクトルのベクトル成分を分数で乗算し、第１のベクトルから整数ベクトル
成分を得るために分数ベクトル成分を丸め、第２の整数ベクトルを得るために整
数候補ベクトルから第１の整数ベクトルを差し引き、それにより第２のベクトル
も整数ベクトル成分を有するようにする。
【００１０】 本願の記載及び請求の範囲では、「丸める」という用語は、それよりも小さい
最大の整数値（又はそれよりも大きい最小の整数値）に向かって切り捨てること
（又は切り上げること）、及び、最も近い整数値に向かって丸めることの両方を
意味するものとする。「画像」という用語は、フィールド及びフレームの両方を
意味するものとする。
【００１１】 本発明の上述及び他の面は、以下説明される実施例を参照して明らかとなろう
。
【００１２】 以下説明するように、上記の単純な双１次補間アルゴリズムを、両方の隣接す
る画像にそのまま使用することにより、幾つかの変位ベクトルが他のベクトルよ
りもかなり好まれ、これは一方の画像にのみサブピクセル補間を用い、ベクトル
画像が有効となるべき意図される時間的位置から小さいが無視できる逸脱を許容
することによって防止されうる。
【００１３】 本願において提供するアルゴリズムは、望ましいサブピクセル速度の上述の問
題が対称的な動き推定の場合に特に生ずることについての注目したことによって
得られたものである。試験される全ての動きベクトルが画素グリッド上での整数
シフトを生じさせるかぎり、ピクチャ内容に無関係に特定の動きベクトルが優先
されることはない。しかしながら、サブピクセル補間が所望である場合は異なる
。双１次補間を用いる対照的な推定器の場合、両方のシフトされた画像がマッチ
ングされ、補間フィルタからの同じ分光損を生ずる。所与の分数的な速度につい
ての補間フィルタの損失が高いほど、マッチング誤差は低くなり、即ちこの速度
が優先される。非対称動き推定器の場合、サブピクセルシフト動作によってただ
１つの画像のみが空間的にフィルタリングされ、従ってフィルタの損失が高いほ
ど、マッチング誤差は高くなり、この速度は優先されなくなる。いずれの場合も
、意図されずに優先される可能性を低くするためにより高価なフィルタが適用さ
れうる。
【００１４】 実験により、真の動きサブピクセル動き推定のサブピクセル精度は、最も簡単
な可能な補間フィルタ（線形補間）を用いた場合は、対称的な形態よりも非対称
的な形態のほうが良いことがわかった。いくらかの計算的な努力により、徐々に
変化する速度での周波数掃引のために全ての補間フィルタについてのマッチング
誤差を計算することによって予想されることが確かめられる。
【００１５】 この考察により、対称的な動き推定器の興味深い実施が得られる。これは対称
的な動き推定器中の非対称的な推定器のより高い精度及びより低い費用をもたら
すからである。本発明では、推定器の整数部についてのみ推定器を対称とし、ベ
クトルの分数部については非対称とされる。マッチング誤りは、
【００１６】
【数３】 となり、但し、元の候補ベクトルＣ（Ｘ，ｎ）及びＣ n（Ｘ，ｎ）の間の関係は
次の画像を指し、一方、前の画像を指すＣ p（Ｘ，ｎ）及びＣ n（Ｘ，ｎ）は、
【００１７】
【数４】 によって与えられ、Ｒｎｄ（Ａ）はＡに最も近い整数値を戻す。従って、Ｃ n（
Ｘ，ｎ）は分数部を含み、Ｃ n（Ｘ，ｎ）は整数ベクトルである。明らかに、Ｃ n を完全に整数とし、Ｃ pを非整数成分を有しうる残る部分とすることができる。
この変形例は、請求の範囲に含まれる。
【００１８】 厳密に言えば、得られる推定はもはや所定の時点（２つの連続する画像間）に
おける固定のブロックの速度を表わすのではないが、わずかに（最大でもベクト
ルのサブピクセル部の半分）シフトされたブロック、又は、時間的に僅かにシフ
トされた画像中の対応する位置に割り当てられるべきである。しかしながら、得
られる誤差は基本的に非常に小さく、従って無視できる。
【００１９】 本発明によるアルゴリズムの利点は、方法を適用する動き推定器についての改
善された精度だけでなく、より低い費用で実施が実現されうることである。従っ
て、動き推定器だけでなく、動き補償された画像補間器にも概念を適用すること
ができる。
【００２０】 一般的に、時間的に補間される画像は、
【００２１】
【数５】 但し、Ｄは画像ｎとｎ−１の間で計算される変位又は動きベクトルである。上述
に記載されるのと全く同様に、
【００２２】
【数６】 但し、
【００２３】
【数７】 に変更することができる。
【００２４】 利点はやはり費用の削減であり、これはサブピクセル補間が一方の画像のみか
らの画素について所望とされ（メモリへのアクセスも減少させうる）、一方画像
が補間される時間的なインスタンスにおける非常に小さい変更が生ずる。
【００２５】 動き補償された補間についての上述のアルゴリズムは、動き推定ベクトル場を
徐々に変化されるために次善のものとして示されている。２つの動きベクトルの
うちの１つを丸めることにより、２つの動きベクトルの組み合わせが有効である
時間的な位置には不連続性がある。この不連続性は、徐々に変化する動きベクト
ルフィールドの場合はアップコンバートされた画像中で明らかに可視である。元
の提案の適応されたバージョンは、この不連続性をより小さくする。式６はＤp
の式については上述のままとされるが、Ｄnについての式は、 Ｄ n（Ｘ，ｎ）＝（１−α）Ｄ（Ｘ，ｎ） （８） に変更される。ベクトルＤpとＤnの和は、もはやＤではない。
【００２６】 変更されたアルゴリズムは、元のアルゴリズムと同じ利点、即ち費用の削減、
を有するが、徐々に変化する動きベクトル場が適用されたときは不連続性（動き
ジャダー）を示さない（代わりに、ピクチャ毎に分解能が変化するが、これは実
験的には、ジャダーよりも本質的に優勢であることが分かっている）。この変更
されたアルゴリズムは、動き補償されたアップコンバージョンの場合にのみ適用
され、動き推定アルゴリズムは上述のままとされる。
【００２７】 図１は、本発明による時間（Ｔ）に対して位置（Ｐ）を示す図である。列ｎ−
１は、画像ｎ−１中のラインを表わし、列ｎは画像ｎ中のラインを表わし、列ｎ
−1/2中のドットは補間されるべきラインを表わす。破線は、一般的なサブピク
セル精度ベクトルＤにより２つの既存のライン間のある位置を夫々指す２つのハ
ーフベクトルＤ／２が得られ、それにより２つの非整数補間が必要であることを
示す。本発明によれば、これらのハーフベクトルのうちの１つは既存のラインを
指すベクトルを得るために丸められ（Ｒｎｄ（Ｄ／２））、他方のハーフベクト
ルは元のサブピクセル精度ベクトルＤからこの丸められた第１のベクトルＲｎｄ
（Ｄ／２）を差し引くことによって得られる。
【００２８】 図２は、本発明による動きベクトル推定装置の実施例を示す図である。画像メ
モリＦＭは、所望の時間遅延を確実とするものであり、その入力は画像ｎであり
、出力は画像ｎ−１である。図２の実施例は、一組の２つのラインメモリ部ＬＭ
１、ＬＭ２を更に含み、各ラインメモリ部は、例えば５つのラインメモリを有し
、各ラインメモリについて１６の画素メモリを有し、それにより所与の領域中の
各画素に達しうる、タップされた遅延ラインを含む。
【００２９】 図２は更に、スイッチマトリックスＳＭＸを通じてラインメモリ部ＬＭ１に接
続され、位置補間器ＩＮＴを通じてラインメモリ部ＬＭ２に接続される動きベク
トル推定器ＭＥを示す。このようにして、動きベクトル推定器ＭＥは、候補動き
ベクトルＣをラインメモリ部ＬＭ１，ＬＭ２に与え、ラインメモリ部ＬＭ１，Ｌ
Ｍ２は対応する画素値を動きベクトル推定器ＭＥへ与える。ＥＰ−Ａ−０，４１
５，４９１に記載されるように、動きベクトル推定器ＭＥは、動きベクトルメモ
リＶＭによって供給される先行画像に対して決定されるベクトルも使用すること
が望ましい。動き推定器は、出力ベクトルＤを与える。
【００３０】 本発明によれば、候補動きベクトルＣは、導出ユニットＤＵによって完全な整
数ベクトルＣ pと残るベクトルＣ nに分割され、Ｃ pとＣ nの間の分割は分数αに依
存する。候補動きベクトルＣは分数αで乗算され、その結果は丸め回路ＲＮＤに
与えられ、丸め回路ＲＮＤによってベクトルＣ pが供給され、ベクトルＣ pはスイ
ッチマトリックスＳＭＸに与えられる。ベクトルＣ pは減算回路Ｓによって候補
動きベクトルＣから差し引かれ、残りのベクトルＣ nが得られ、この残りのベク
トルＣ nは位置補間器ＩＮＴに与えられる。
【００３１】 図３は、本発明による動き補償された補間装置の実施例を示す図である。入力
動きベクトルＤは、導出ユニットＤＵによって式（６）に従って完全な整数ベク
トルＤ pと残るベクトルＤ nに分割され、Ｄpは式（７）によって示されるもので
あり、Ｄnは式（８）によって示されるものである。このように、図３の導出ユ
ニットＤＵ’は、乗算器Ｍ２がベクトルＤnを得るために入力動きベクトルＤを
係数１−αで乗算する点で、図２の導出ユニットＤＵとは異なる。位置補間器Ｉ
ＮＴ及びスイッチマトリックスＳＭＸから取り出される画素値は平均化回路ＡＶ
によって平均がとられ、出力画像ｎ−1/2が得られる。
【００３２】 図４は、本発明によるテレビジョン装置の実施例を示す図である。アンテナＡ
は、チューナＴＵＮにテレビジョン信号を与え、チューナＴＵＮはプロセッサＰ
ＲＯＣにビデオ信号を与え、プロセッサＰＲＯＣは処理されたビデオ信号を発生
する。処理されたビデオ信号中の画像の数は、図３に示される種類の動き補償さ
れた補間器ＭＣＩＮＴによって２倍とされる。動き補償された補間器ＭＣＩＮＴ
は、図２に示される種類の動きベクトル推定器から動きベクトルＤを受信してい
る。有利には、ＵＳ−Ａ−５，４９５，３００に記載されるように、動き推定器
と動き補償された補間器は結合され、単一の回路を形成する。
【００３３】 本発明の主な面は以下のように概説される。ディジタルビデオからのサブピク
セル精度の動き推定は、データの補間を必要とする。近傍の画像をベクトルの相
補的な分数によってシフトする対称的な動き推定器には、２つのかかる補間フィ
ルタが所望である。ブロックマッチング動き推定アルゴリズムの場合、様々な候
補ベクトルのマッチング誤差はサブピクセル補間フィルタの質に依存する。これ
らのフィルタはベクトルの分数の値によって異なるため、幾つかの分数ベクトル
値を他のベクトル値よりも意図的でなく優先させることがある。本発明では、候
補ベクトルを整数部と一般的に非整数である部分へ分割し、それにより候補ベク
トルをベクトルが有効とされる必要のある時間的な位置に正確に一致するよう分
割するよりも、正確であり、費用が低くなる。
【００３４】 画像対から動きベクトルを推定する、又は複数の画像を補間する方法及び装置
は、 入力ベクトルから第１及び第２のベクトルを発生させる手段と、 第１の画像からの画素を第１のベクトルに亘ってシフトさせる手段と、 第２の画像からの画素を第２のベクトルに亘ってシフトさせる手段とを含み、 第１のベクトルの成分と入力ベクトルの成分の比率はこれらの成分の値に依存
することを特徴とする。
【００３５】 望ましくは、第１のベクトルと第２のベクトルの差は入力ベクトルに一致する
。有利には、第１のベクトルが整数成分を有することのみが許されているとする
と、第１のベクトルの成分と入力ベクトルの成分の比率は出来る限り良く０と１
の間の固定の係数に近づき、第２のベクトルは１つ以上の非整数成分を有しうる
。
【００３６】 画像対から動きベクトルを推定する、又は１つの画像を補間する方法及び装置
は、 入力ベクトルから第１及び第２のベクトルを発生させる手段と、 第１の画像からの画素を第１のベクトルに亘ってシフトさせる手段と、 第２の画像からの画素を第２のベクトルに亘ってシフトさせる手段とを含み、 第１のベクトルが整数成分のみを有するのに対して、第２のベクトルは１つ以
上の非整数成分を有しうることを特徴とする。
【００３７】 上述の実施例は、本発明を例示するものであって、本発明を制限するものでは
なく、当業者によれば請求の範囲を逸脱することなく他の実施例を設計すること
ができることに注意すべきである。第１の優先権出願である１９９９年４月２６
日出願のＥＰ９９２０１２９８．９は、補間に関する請求の範囲に含まれる他の
動き補償された補間器を示す。請求の範囲において、括弧内に含まれる参照符号
は、請求項を制限するものと理解されるべきではない。「含む」という単語は、
請求項に記載される以外の要素又は段階の存在を排除するものではない。単数形
で示される要素は、かかる要素の複数形の存在を排除するものではない。本発明
は、幾つかの別個の要素を含むハードウエア、及び適当にプログラムされたコン
ピュータによって実施されうる。幾つかの手段を列挙した装置に関する請求項で
は、これらの手段のうちの幾つかはハードウエアの単一のアイテム上で具現化さ
れうる。
【００３８】 参考文献： ［１］ G.A.Thomas,"Television motion measurement for DATV and other ap
plications", BBC Research Report No.BBC RD 1987/11 ［２］ R.Thoma and M.Bierling, "Motion Compensating Interpolation Cons
idering Covered and Uncovered Background", Image Communications 1, Elsev
iers 1989, pp.191-212 ［３］ "Time Recursive Deinterlacing for IDTV and Pyramid Coding", F.M
.Wang and D.Anastassiou, Image Communication, Elseviers 1990, pp.365-374 ［４］ "A Motion Adaptive De-Interlacing Method", Kwon, Seo, Kim, and
Kim, IEEE Tr. On Consumer Electronics, Vol. 38, No. 3, 1992 ［５］ G.de Haan and H.Huijgen, "Motion Estimation for TV Picture Enha
ncement", Proc. 4th Int. Workshop on HDTV and beyond, Torino, 1991 ［６］ T. Reuter, "A modified blockmatching algorithm with vector reli
ability cheking and adaptive smoothing", 3h Int. Conf. On Image Processi
ng and its Applications, University of Warwick, England, 18-20 July 1989 ［７］ J.Konrad and E.Dubois "A comparison of stochastic and determini
stic solution methods in Bayesian estimation of 2-D motion", Proc. 1 "Eu
ropean Conf. on Computer Vision, Antibes, April 1990 ［８］ G. de Haan, P.W.A.C Biezen, H.Huijgen and O.A.Ojo, "True Motion
Estimation with 3-D Recursive Search Block-Matching", to be published i
n IEEE Tr. On Circuits & Systems for Video Technology ［９］ R.Srinivasan and K.R.Rao, "Predictive Coding Based on Efficient
Motion Estimation", IEEE Tr. On Communication, No. 8, 1985, pp.888-896 ［１０］ J.R.Jain and A.K.Jain, "Displacement Measurement and Its Appl
ication in Interframe Image Coding", IEEE Tr. On Communications, COM-29,
no.12, 1981 ［１１］ T.Koga, K.Ininuma, A.Hirano, Y.Iilima and T.Ishiguro, "Motion
-Compensated Interframe Coding for Video Conferencing", IEEE, Proc. Of t
he NTC 81, G5.3.1., New Orleans LA, 1981 ［１２］ H.G.Musmann, P.Pirsch and J.Grallert, "Advances in picture co
ding", Proc. of the IEEE, vol. 73, no.4, April 1985, pp.523-548 ［１３］ J.N.Driessen, L.Boroczki and J.Biemond, "Pel-Recursive Motion
Field Estimation from Image Sequences", J. on Visual Comm and Image Rep
resentation, 1991 ［１４］ K.Hildenbrand and J. Mayer, "Method to determine motion vecto
rs for blocks in an image source-sequence"(in German), Patent, no.DE 40
23 499 C1, 23-01-92 ［１５］ M.Ziegler, "Hierarchical motion estimation using the phase co
rrelation method in 140 Mbit/s HDTV-coding", Proc. 3th Int. Workshop on
HDTV and beyond, Torino, 1989
【図面の簡単な説明】
【図１】 本発明による時間に対して位置を示す図である。
【図２】 本発明による動きベクトル推定装置の実施例を示す図である。
【図３】 本発明による動き補償された補間装置の実施例を示す図である。
【図４】 本発明によるテレビジョン装置の実施例を示す図である。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＪＰ，ＫＲ (72)発明者 ベレルス，エルウィン ベー オランダ国，5656 アーアー アインドー フェン， プロフ・ホルストラーン ６ (72)発明者 スヒュッテン，ローベルト イェー オランダ国，5656 アーアー アインドー フェン， プロフ・ホルストラーン ６ Ｆターム(参考） 5C021 PA71 PA72 XB07 5C059 MA03 MA05 NN10 NN14 TA65 TB10 TC02 TC12 TD11 UA02 5C063 BA04 BA08 BA09 BA12 CA01 5J064 AA01 BB03 BB04 BC08 BC11 BD01 5L096 HA04

Claims (11)

    【特許請求の範囲】
  1. 【請求項１】 第１の画像（ｎ−１）と上記第１の画像から所与の時間的な
    距離だけ離れた第２の画像（ｎ）との間で、上記第１の画像（ｎ−１）から上記
    所与の距離を等分割したうちの何個分かを表わす分数（α）で表現される距離に
    ある画像（ｎ−1/2）の補間又は予測に使用されることが意図されるサブピクセ
    ル精度の動きベクトル（Ｄ）を推定する方法であって、 上記方法は、 非整数値をとりうるベクトル成分を有する候補ベクトル（Ｃ）を発生する（Ｍ
    Ｅ）段階と、 上記候補ベクトル（Ｃ）から第１のベクトル（Ｃ p）及び第２のベクトル（Ｃ n ）を導出する（ＤＵ）段階と、 上記第１のベクトル（Ｃ p）によってシフトされた（ＳＭＸ，ＬＭ１）上記第
    １の画像（ｎ−１）中の第１の位置と上記第２のベクトル（Ｃ n）によってシフ
    トされた（ＩＮＴ，ＬＭ２）上記第２の画像（ｎ）中の第２の位置とを比較する
    ことによって上記候補ベクトル（Ｃ）を評価する（ＭＥ）段階とを有し、 上記導出（ＤＵ）段階は、 上記候補ベクトル（Ｃ）の上記ベクトル成分に上記分数（α）を乗算して（Ｍ
    ）分数表現ベクトル成分を得る段階と、 上記分数表現ベクトル成分を丸めて（ＲＮＤ）整数ベクトル成分のみを有する
    上記第１のベクトル（Ｃ p）のベクトル成分を得る段階とを有し、上記第２のベ
    クトル（Ｃ n）は非整数値をとりうるベクトル成分を有することを特徴とする方
    法。
  2. 【請求項２】 上記導出段階（ＤＵ）は更に、 上記候補ベクトルから上記第１のベクトル（Ｃ p）を差し引いて（Ｓ）上記第
    ２のベクトル（Ｃ n）を得る段階を有する、請求項１記載の方法。
  3. 【請求項３】 第１の画像（ｎ−１）と上記第１の画像から所与の時間的な
    距離だけ離れた第２の画像（ｎ）とから、非整数値をとりうるベクトル成分を有
    するサブピクセル精度の動きベクトル（Ｄ）を用いて上記第１の画像（ｎ−１）
    から上記所与の距離を等分割したうちの何個分かを表わす分数（α）で表現され
    る距離にある画像（ｎ−1/2）を生成する方法であって、 上記方法は、 上記サブピクセル精度の動きベクトル（Ｄ）から第１のベクトル（Ｄ p）及び
    第２のベクトル（Ｄ n）を導出する段階（ＤＵ）と、 上記第１のベクトル（Ｄ p）によってシフトされた（ＳＭＸ，ＬＭ１）上記第
    １の画像（ｎ−１）中の第１の位置と上記第２のベクトルによってシフトされた
    （ＩＮＴ，ＬＭ２）上記第２の画像（ｎ）中の第２の位置とを組み合わせること
    によって上記中間画像（ｎ−1/2）を生成する段階とを有し、 上記導出段階（ＤＵ）は、 上記サブピクセル精度の動きベクトル（Ｄ）の上記ベクトル成分に上記分数（
    α）を乗算して（Ｍ）分数表現ベクトル成分を得る段階と、 上記分数的なベクトル成分を丸めて（ＲＮＤ）整数ベクトル成分のみを有する
    上記第１のベクトル（Ｄ p）のベクトル成分を得る段階とを有し、上記第２のベ
    クトル（Ｄ n）は非整数値をとりうるベクトル成分を有することを特徴とする方
    法。
  4. 【請求項４】 上記導出段階（ＤＵ）は更に、 上記サブピクセル精度の動きベクトル（Ｄ）から上記第１のベクトル（Ｄ p）
    を差し引いて（Ｓ）上記第２のベクトル（Ｄ n）を得る段階を有する、請求項３
    記載の方法。
  5. 【請求項５】 上記導出段階（ＤＵ）は更に、 上記サブピクセル精度の動きベクトル（Ｄ）に、１から上記分数（α）を差し
    引いた分数を乗算して（Ｍ２）上記第２のベクトル（Ｄ n）を得る段階を有する
    、請求項３記載の方法。
  6. 【請求項６】 第１の画像（ｎ−１）と上記第１の画像から所与の時間的な
    距離だけ離れた第２の画像（ｎ）との間で、上記第１の画像（ｎ−１）から上記
    所与の距離を等分割したうちの何個分かを表わす分数（α）で表現される距離に
    ある画像（ｎ−1/2）の補間又は予測に使用されることが意図されるサブピクセ
    ル精度の動きベクトル（Ｄ）を推定する装置であって、 上記装置は、 非整数値をとりうるベクトル成分を有する候補ベクトル（Ｃ）を発生する（Ｍ
    Ｅ）手段と、 上記候補ベクトル（Ｃ）から第１のベクトル（Ｃ p）及び第２のベクトル（Ｃ n ）を導出する（ＤＵ）手段と、 上記第１のベクトル（Ｃ p）によってシフトされた（ＳＭＸ，ＬＭ１）上記第
    １の画像（ｎ−１）中の第１の位置と上記第２のベクトル（Ｃ n）によってシフ
    トされた（ＩＮＴ，ＬＭ２）上記第２の画像（ｎ）中の第２の位置とを比較する
    ことによって上記候補ベクトル（Ｃ）を評価する（ＭＥ）手段とを有し、 上記導出（ＤＵ）手段は、 上記候補ベクトル（Ｃ）の上記ベクトル成分に上記分数（α）を乗算して（Ｍ
    ）分数表現ベクトル成分を得る手段と、 上記分数表現ベクトル成分を丸めて（ＲＮＤ）整数ベクトル成分のみを有する
    上記第１のベクトル（Ｃ p）のベクトル成分を得る手段とを有し、上記第２のベ
    クトル（Ｃ n）は非整数値をとりうるベクトル成分を有することを特徴とする装
    置。
  7. 【請求項７】 上記導出手段（ＤＵ）は更に、 上記候補ベクトルから上記第１のベクトル（Ｃ p）を差し引いて（Ｓ）上記第
    ２のベクトル（Ｃ n）を得る手段を有する、請求項６記載の装置。
  8. 【請求項８】 第１の画像（ｎ−１）と上記第１の画像から所与の時間的な
    距離だけ離れた第２の画像（ｎ）とから、非整数値をとりうるベクトル成分を有
    するサブピクセル精度の動きベクトル（Ｄ）を用いて上記第１の画像（ｎ−１）
    から上記所与の距離を等分割したうちの何個分かを表わす分数（α）で表現され
    る距離にある画像（ｎ−1/2）を生成する装置であって、 上記装置は、 上記サブピクセル精度の動きベクトル（Ｄ）から第１のベクトル（Ｄ p）及び
    第２のベクトル（Ｄ n）を導出する手段（ＤＵ）と、 上記第１のベクトル（Ｄ p）によってシフトされた（ＳＭＸ，ＬＭ１）上記第
    １の画像（ｎ−１）中の第１の位置と上記第２のベクトルによってシフトされた
    （ＩＮＴ，ＬＭ２）上記第２の画像（ｎ）中の第２の位置とを組み合わせること
    によって上記中間画像（ｎ−1/2）を生成する手段とを有し、 上記導出手段（ＤＵ）は、 上記サブピクセル精度の動きベクトル（Ｄ）の上記ベクトル成分に上記分数（
    α）を乗算して（Ｍ）分数表現ベクトル成分を得る手段と、 上記分数的なベクトル成分を丸めて（ＲＮＤ）整数ベクトル成分のみを有する
    上記第１のベクトル（Ｄ p）のベクトル成分を得る手段とを有し、上記第２のベ
    クトル（Ｄ n）は非整数値をとりうるベクトル成分を有することを特徴とする装
    置。
  9. 【請求項９】 上記導出手段（ＤＵ）は更に、 上記サブピクセル精度の動きベクトル（Ｄ）から上記第１のベクトル（Ｄ p）
    を差し引いて（Ｓ）上記第２のベクトル（Ｄ n）を得る手段を有する、請求項８
    記載の装置。
  10. 【請求項１０】 上記導出手段（ＤＵ）は更に、 上記サブピクセル精度の動きベクトル（Ｄ）に、１から上記分数（α）を差し
    引いた分数を乗算して（Ｍ２）上記第２のベクトル（Ｄ n）を得る手段を有する
    、請求項８記載の装置。
  11. 【請求項１１】 テレビジョン信号を受信する手段と、 表示信号を得るために上記受信手段に結合される請求項８記載の生成装置と、 上記表示信号を表示する手段とを有する、テレビジョン装置。
JP2000614654A 1999-04-26 2000-04-17 サブピクセル精度の動きベクトル推定及び動き補償された補間 Expired - Fee Related JP4398099B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP99201298 1999-04-26
EP99202479.4 1999-07-28
EP99202479 1999-07-28
EP99201298.9 1999-07-28
PCT/EP2000/003538 WO2000065829A1 (en) 1999-04-26 2000-04-17 Sub-pixel accurate motion vector estimation and motion-compensated interpolation

Publications (2)

Publication Number Publication Date
JP2002543687A true JP2002543687A (ja) 2002-12-17
JP4398099B2 JP4398099B2 (ja) 2010-01-13

Family

ID=26153310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000614654A Expired - Fee Related JP4398099B2 (ja) 1999-04-26 2000-04-17 サブピクセル精度の動きベクトル推定及び動き補償された補間

Country Status (6)

Country Link
US (1) US6639944B1 (ja)
EP (1) EP1090502B1 (ja)
JP (1) JP4398099B2 (ja)
KR (1) KR100624355B1 (ja)
DE (1) DE60024389T2 (ja)
WO (1) WO2000065829A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007048134A (ja) * 2005-08-11 2007-02-22 Tokyo Univ Of Science 動物体検出装置および動物体検出方法
JP2011182181A (ja) * 2010-03-01 2011-09-15 Nanao Corp ブロック別動きベクトル演算装置またはその方法
US8189104B2 (en) 2006-09-19 2012-05-29 Kabushiki Kaisha Toshiba Apparatus, method, and computer program product for detecting motion vector and for creating interpolation frame

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6987866B2 (en) * 2001-06-05 2006-01-17 Micron Technology, Inc. Multi-modal motion estimation for video sequences
US7630566B2 (en) * 2001-09-25 2009-12-08 Broadcom Corporation Method and apparatus for improved estimation and compensation in digital video compression and decompression
NO319629B1 (no) * 2003-11-28 2005-09-05 Tandberg Telecom As Fremgangsmate for korrigering av interpolerte pikselverdier
JP3935500B2 (ja) * 2005-01-14 2007-06-20 株式会社モルフォ 動きベクトル演算方法とこの方法を用いた手ぶれ補正装置、撮像装置、並びに動画生成装置
JP4736456B2 (ja) * 2005-02-15 2011-07-27 株式会社日立製作所 走査線補間装置、映像表示装置、映像信号処理装置
KR100772390B1 (ko) 2006-01-23 2007-11-01 삼성전자주식회사 방향 보간 방법 및 그 장치와, 그 보간 방법이 적용된부호화 및 복호화 방법과 그 장치 및 복호화 장치
US8411709B1 (en) 2006-11-27 2013-04-02 Marvell International Ltd. Use of previously buffered state information to decode in an hybrid automatic repeat request (H-ARQ) transmission mode
US8897393B1 (en) 2007-10-16 2014-11-25 Marvell International Ltd. Protected codebook selection at receiver for transmit beamforming
US8542725B1 (en) 2007-11-14 2013-09-24 Marvell International Ltd. Decision feedback equalization for signals having unequally distributed patterns
US8565325B1 (en) 2008-03-18 2013-10-22 Marvell International Ltd. Wireless device communication in the 60GHz band
US20090262249A1 (en) * 2008-04-22 2009-10-22 Himax Media Solutions, Inc. Interpolated frame generating method
US8213512B2 (en) * 2008-05-28 2012-07-03 Cyberlink Corp. Determining an intermediate image
US8761261B1 (en) * 2008-07-29 2014-06-24 Marvell International Ltd. Encoding using motion vectors
US8498342B1 (en) 2008-07-29 2013-07-30 Marvell International Ltd. Deblocking filtering
US8345533B1 (en) 2008-08-18 2013-01-01 Marvell International Ltd. Frame synchronization techniques
US8681893B1 (en) 2008-10-08 2014-03-25 Marvell International Ltd. Generating pulses using a look-up table
US8520771B1 (en) 2009-04-29 2013-08-27 Marvell International Ltd. WCDMA modulation
US8405769B2 (en) * 2009-12-22 2013-03-26 Intel Corporation Methods and systems for short range motion compensation de-interlacing
US8817771B1 (en) 2010-07-16 2014-08-26 Marvell International Ltd. Method and apparatus for detecting a boundary of a data frame in a communication network
US8736767B2 (en) 2010-09-29 2014-05-27 Sharp Laboratories Of America, Inc. Efficient motion vector field estimation
US10499078B1 (en) 2017-02-07 2019-12-03 Google Llc Implicit motion compensation filter selection
KR101959888B1 (ko) 2017-12-27 2019-03-19 인천대학교 산학협력단 모션 보상 프레임 속도 상향 변환을 위한 모션 벡터 이동 장치 및 방법
WO2019234609A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Interaction between ibc and bio
TWI739120B (zh) 2018-06-21 2021-09-11 大陸商北京字節跳動網絡技術有限公司 合併仿射模式與非合併仿射模式的統一拘束
EP3788782A1 (en) 2018-06-21 2021-03-10 Beijing Bytedance Network Technology Co. Ltd. Sub-block mv inheritance between color components
CN110944193B (zh) 2018-09-24 2023-08-11 北京字节跳动网络技术有限公司 视频编码和解码中的加权双向预测
KR20210089155A (ko) * 2018-11-10 2021-07-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 페어와이즈 평균 후보 계산에서 라운딩

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1987005770A1 (en) * 1986-03-19 1987-09-24 British Broadcasting Corporation Video signal processing for bandwidth reduction
US5072293A (en) 1989-08-29 1991-12-10 U.S. Philips Corporation Method of estimating motion in a picture signal
DE69323572T2 (de) 1992-06-11 1999-09-16 Koninklijke Philips Electronics N.V., Eindhoven Anordnung zum bewegungsausgeglichenen Interpolieren eines Bildsignals
WO1995007591A1 (en) * 1993-09-08 1995-03-16 Thomson Multimedia S.A. Method and apparatus for motion estimation using block matching
US5659364A (en) * 1993-12-24 1997-08-19 Matsushita Electric Industrial Co., Ltd. Motion vector detection circuit
TW283289B (ja) * 1994-04-11 1996-08-11 Gen Instrument Corp
US5886745A (en) * 1994-12-09 1999-03-23 Matsushita Electric Industrial Co., Ltd. Progressive scanning conversion apparatus
US6020926A (en) * 1994-12-30 2000-02-01 Intel Corporation Motion estimation block matching speedup
GB2301972B (en) * 1995-06-06 1999-10-20 Sony Uk Ltd Video compression
GB2301971B (en) * 1995-06-06 1999-10-06 Sony Uk Ltd Video compression
GB2305569B (en) * 1995-09-21 1999-07-21 Innovision Res Ltd Motion compensated interpolation
US5623313A (en) * 1995-09-22 1997-04-22 Tektronix, Inc. Fractional pixel motion estimation of video signals
US6005980A (en) * 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
EP2271116B1 (en) * 1997-06-09 2013-09-11 Hitachi, Ltd. Image decoding method and image decoder
US6141382A (en) * 1998-09-18 2000-10-31 Sarnoff Corporation Using estimated distortion values

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007048134A (ja) * 2005-08-11 2007-02-22 Tokyo Univ Of Science 動物体検出装置および動物体検出方法
US8189104B2 (en) 2006-09-19 2012-05-29 Kabushiki Kaisha Toshiba Apparatus, method, and computer program product for detecting motion vector and for creating interpolation frame
JP2011182181A (ja) * 2010-03-01 2011-09-15 Nanao Corp ブロック別動きベクトル演算装置またはその方法

Also Published As

Publication number Publication date
KR100624355B1 (ko) 2006-09-18
WO2000065829A1 (en) 2000-11-02
DE60024389T2 (de) 2006-08-03
DE60024389D1 (de) 2006-01-05
KR20010053215A (ko) 2001-06-25
EP1090502A1 (en) 2001-04-11
US6639944B1 (en) 2003-10-28
EP1090502B1 (en) 2005-11-30
JP4398099B2 (ja) 2010-01-13

Similar Documents

Publication Publication Date Title
JP4398099B2 (ja) サブピクセル精度の動きベクトル推定及び動き補償された補間
De Haan et al. True-motion estimation with 3-D recursive search block matching
JP4145351B2 (ja) ビデオ信号の走査変換方法、装置およびビデオ信号表示装置
JP4159606B2 (ja) 動き推定
US5784114A (en) Motion compensated video processing
US7720150B2 (en) Pixel data selection device for motion compensated interpolation and method thereof
EP1164792A2 (en) Format converter using bidirectional motion vector and method thereof
EP0909092A2 (en) Method and apparatus for video signal conversion
US5444493A (en) Method and apparatus for providing intra-field interpolation of video signals with adaptive weighting based on gradients of temporally adjacent fields
JP2000056743A (ja) 適応走査ラスタ変換方法及び装置
JP2001054075A (ja) 画像信号の動き補償走査変換回路
US20020001347A1 (en) Apparatus and method for converting to progressive scanning format
US5386248A (en) Method and apparatus for reducing motion estimator hardware and data transmission capacity requirements in video systems
WO1991020155A1 (en) Video signal processing
WO1999067952A1 (en) Method and device for converting number of frames of image signals
JPH11298861A (ja) 画像信号のフレーム数変換方法および装置
JP5464803B2 (ja) インターレースビデオ画像の動き推定
Bellers et al. Advanced motion estimation and motion compensated de-interlacing
JP4222090B2 (ja) 動画像時間軸補間方法及び動画像時間軸補間装置
Al-Mualla Motion field interpolation for frame rate conversion
Biswas et al. A novel de-interlacing technique based on phase plane correlation motion estimation
Chang et al. Four field local motion compensated de-interlacing
JP3314963B2 (ja) 画像信号の走査変換装置
JPH08307834A (ja) 画像情報変換装置および方法
EP0474272A1 (en) Method and apparatus for reducing motion estimator hardware and data transmission capacity requirements in video systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070413

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080227

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080305

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091020

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091022

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4398099

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131030

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131030

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees