JP2003163894A - 適応動き補償型フレーム及び／又はフィールドレート変換装置及びその方法 - Google Patents

適応動き補償型フレーム及び／又はフィールドレート変換装置及びその方法

Info

Publication number
JP2003163894A
JP2003163894A JP2002289037A JP2002289037A JP2003163894A JP 2003163894 A JP2003163894 A JP 2003163894A JP 2002289037 A JP2002289037 A JP 2002289037A JP 2002289037 A JP2002289037 A JP 2002289037A JP 2003163894 A JP2003163894 A JP 2003163894A
Authority
JP
Japan
Prior art keywords
motion
frame
motion vector
field
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002289037A
Other languages
English (en)
Other versions
JP4519396B2 (ja
Inventor
Sung-Hee Lee
聖▲ヒー▼ 李
Seung-Joon Yang
承▲ジュン▼ 梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2003163894A publication Critical patent/JP2003163894A/ja
Application granted granted Critical
Publication of JP4519396B2 publication Critical patent/JP4519396B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

(57)【要約】 【課題】 ブロック別に動き情報に基づきそれぞれ異な
る動き補償方式を適用するフレームレート変換装置及び
その方法を提供する。 【解決手段】 フレーム及び／又はフィールド間の動き
ベクトルを用いて補間されるフレーム及び／又はフィー
ルドに対する動きベクトルとその正確度を推定する過程
と、推定された動きベクトルを分析して動き情報を決定
すると共に、周辺ブロック動きベクトルとの相関度を計
算する過程と、推定された動きベクトルを用いて補間さ
れるフレーム及び／又はフィールドで動き補償を行って
補間される画素を生成する過程と、隣接したフレームで
補間される画素と隣接した画素とを用いて補間される画
素を生成する過程と、推定された動きベクトルの正確度
と推定された動き情報及び相関度に基づき異に補間され
る画素を補間値に出力する過程とを含む。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は映像信号のフォーマ
ット変換装置及びその方法に係り、特にブロック別に動
き情報に基づきそれぞれ異なる動き補償方式を適用する
フレーム及び／又はフィールドレート変換装置及びその
方法に関する。
【０００２】
【従来の技術】一般に、多様なＴＶ標準を従うプログラ
ムを相互交換するためにはこれらの間のフォーマット変
換が必要である。初期にはフレーム繰り返し、簡単な時
空間フィルター等を用いてフォーマット変換を具現した
が、これらは視覚的に障る動きジッタ（ｍｏｔｉｏｎ
ｊｉｔｔｅｒ）や映像の縁部における不鮮明（ｂｌｕｒ
ｒｉｎｇ）現象を招来する。特にＨＤＴＶのように画面
解像度が大きい場合こうした現象がさらに顕著に現れ
る。かかる現象を除去するために、最近には動き補償
（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）を用いる
フレーム変換方式が多く研究されている。
【０００３】図１は従来の動き補償型フレーム変換方法
を示す概念図である。図１を参照すれば、補間されるフ
レーム
【数１】 は３−タップメディアンフィルターリングを用いて式１
のように定義される。
【数２】
【０００４】ここで、隣接した二つのフレーム（ｎ−
１，ｎ）で動き軌跡を考慮して得られたデータはｍｃｌ
とｍｃｒである。又、動きを考慮せず二つのフレームの
間に線形的に補間したデータはａｖである。
【数３】 ここで、αは二つのフレームの間で補間されるフレーム
が存在する時間的位置に応じて決定され、
【数４】 は動きベクトルである。
【０００５】式２において、もし動きベクトルが正確に
推定されたならば、動き補償データはｍｃｌとｍｃｒの
値を有し、その値が補間される画素値として決定され
る。この際、動きベクトルが不正確であれば、動き補償
データは相異なって動きを考慮しないａｖデータが補間
される画素値として決定される可能性が高い。しかし、
従来の動き補償型補間手法はブロック単位より成るので
推定された動きベクトルが不正確であればブロッキング
アーティファクトが発生する問題点がある。
【０００６】
【発明が解決しようとする課題】本発明の目的はブロッ
ク別に分類された動き情報に基づき相異なる補償方式を
適用し、又現在のブロックの動きベクトルと周辺ブロッ
クの動きベクトルとの相関性を用いて動き補償による補
間値とリニア補間値でソフトスイッチングを行うことに
よりブロックアーティファクトを減らすことができるフ
レーム及び／又は変換方法を提供することにある。本発
明の他の目的は前記フレーム及び／又は変換方法を適用
したフレーム及び／又は変換装置を提供することにあ
る。
【０００７】
【課題を解決するための手段】前記目的を達成するため
に、本発明に係る入力される映像信号のレートを変換す
るフレーム及び／又はフィールドレート変換方法は、
（ａ）フレーム及び／又はフィールド間の動きベクトル
を用いて補間されるフレーム及び／又はフィールドに対
する動きベクトルと正確度を推定する過程と、（ｂ）前
記過程（ａ）で推定された動きベクトルを分析して動き
情報を決定すると共に、周辺ブロック動きベクトルとの
相関度を計算する過程と、（ｃ）前記過程（ａ）で推定
された動きベクトルを用いて補間されるフレーム及び／
又はフィールドで動き補償を行って補間される画素を生
成する過程と、（ｄ）隣接したフレームで補間される画
素と隣接した画素を用いて補間される画素とを生成する
過程と、（ｅ）前記過程（ａ）で推定された動きベクト
ルの正確度と前記過程（ｂ）で推定された動き情報及び
相関度に基づき前記過程（ｃ）及び前記過程（ｄ）で生
成された画素を補間値として出力する過程とを特徴とす
る。
【０００８】前記他の目的を達成するために、本発明に
係る映像信号をレートに変換するフレーム及び／又はフ
ィールドレート変換装置は、フレーム及び／又はフィー
ルド間の動きベクトルを用いて補間されるフレーム及び
／又はフィールドに対する動きベクトルを推定する動き
推定手段と、前記動き推定手段で推定された動きベクト
ルを分析して動き情報を決定し、周辺ブロック動きベク
トルとの相関度を計算する動き分析手段と、前記動き推
定手段で推定された動きベクトルを用いて補間されるフ
レーム及び／又はフィールドで動き補償を行って補間さ
れる画素を生成する動き補償補間手段と、補間されるフ
レーム及び／又はフィールドに隣接したフレーム及び／
又はフィールドで補間される画素と隣接した画素とし
て、補間される画素を生成する時空間補間手段と、前記
動き分析手段で推定された動き情報と相関度により動き
補償補間手段及び前記時空間補間手段で生成された画素
を補間される画素値に出力する適応動き補償手段とを含
むことを特徴とする。
【０００９】
【発明の実施の形態】以下、添付した図面を参照して本
発明の望ましい実施形態を詳細に説明する。図２は本発
明に係る適応動き補償型フレームレート変換装置を示し
たブロック図である。図２の適応動き補償型フレームレ
ート変換装置は動き推定部２１０と、動き分析部２３０
と、動き補償補間部２２０と、リニア補間部２４０と、
適応動き補償部２５０とを含む。
【００１０】先ず、動き推定部２１０はフレーム／フィ
ールド間の動きベクトルを用いて補間されるフレーム／
フィールドに対する動きベクトルとその正確度を推定す
る。即ち、ブロック基盤の動き推定は連続的に入力され
る二つのフレーム／フィールドの間で行われる。現在の
フレーム／フィールドでブロックのサイズを一定に割っ
て各ブロックを以前のフレーム／フィールドの一定した
探索領域内で誤差を計算し、誤差が一番少ないブロック
の位置を現在のブロックの動きベクトルとして推定す
る。補間されるフレーム（ｉｎｔｅｒｐｏｌａｔｅｄ
ｆｒａｍｅ）／フィールド（ｉｎｔｅｒｐｏｌａｔｅｄ
ｆｉｅｌｄ）は連続的に入力される二つのフレーム／
フィールドの中間位置で存在しなければならなく、補間
されるフレーム／フィールドを基準として推定された動
きベクトルが
【数５】 なら図３のように動き補償を行う。そして動きベクトル
の正確度はブロックの全ての画素の差を累積した値とし
て計算される。
【００１１】動き分析部２３０は、動き推定部２１０で
推定された動きベクトルを分析して動きタイプを決定す
ると共に、現在のブロック動きベクトルと周辺ブロック
動きベクトルとの相関値を計算する。この際、この相関
値はソフトスイッチング値ｋとして用いられる。ソフト
スイッチングは動き補償による平均値と時間的平均値と
を用いて動きベクトルの信頼度に基づき加重値を調節す
る。
【００１２】動き補償補間部２２０は、動き推定部２１
０で推定された動きベクトルを用いて補間されるフレー
ムで動き補償を行って補間される画素を生成する。一実
施形態として動き補償補間部２２０は、補間されるフレ
ーム及び／又はフィールドの画素が含まれたブロックの
動きベクトルを用いて隣接したフレーム及び／又はフィ
ールドの画素を動き補償するか、又は補間されるフレー
ム及び／又はフィールドの画素が含まれたブロックの隣
接したブロックの動きベクトルを用いて隣接したフレー
ム及び／又はフィールド画素を動き補償する。
【００１３】リニア補間部２４０は、補間されるフィー
ルドで補間される画素と隣接した画素と、補間される画
素の前後フィールドで補間される画素と隣接した画素と
を用いて、補間される画素を生成する。この際、補間さ
れるフレーム／フィールドの画素は、隣接したフレーム
／フィールドと同一な位置に存在する画素で補間する。
適応動き補償部２５０は、動き推定部２１０で推定され
た動きベクトルの正確度と動き分析部２３０で推定され
た動き情報及び相関値に基づき、動き補償補間部２２０
及びリニア補間部２４０で生成された画素を補間値とし
て出力する。
【００１４】図４は動き分析部の詳細図である。図４の
動き分析部は、グローバル動き推定（ｇｌｏｂａｌ ｍ
ｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）部４２０と動きタ
イプ決定部４３０、そして周辺動きベクトルとの相関関
係を参照して現在のブロックの動きベクトルの信頼度を
計算する信頼度計算部４１０から構成される。
【００１５】図４を参照すれば、グローバル動き推定部
４２０は入力される動きベクトルを用いてグローバル動
きを推定するが、図５を参照してより詳細に説明する。
先ず、動きベクトルを入力して各ブロックの動きベクト
ルのヒストグラムを求め（過程５１０）、次いで、ヒス
トグラムで主動きを決定して（過程５２０）これをグロ
ーバル動きベクトルとして決定する（過程５３０）。
【００１６】ここで、水平／垂直方向のヒストグラムを
ｈｘ，ｈｙとすれば、グローバル動きの存在有無は、式
３，式４のように定義することができる。
【数６】 動きタイプ決定部は、式４のようにグローバル動き推定
部４２０で推定されたグローバル動きベクトルとの相関
度を計算して、動きタイプを決定する。
【数７】
【００１７】信頼度計算部４１０は、現在のブロック動
きベクトルと周辺ブロックの動きベクトルとの相関度を
計算する。この相関度は、動き補償のための画素と動き
を考慮しない画素間のソフトスイッチ（ｓｏｆｔ ｓｗ
ｉｔｃｈ）値として用いられる。即ち、ソフトスイッチ
値は、式５のように定義される。
【数８】 図６は適応動き補償部の詳細図である。
【００１８】先ず、動きタイプ情報がグローバル動きで
あれば、選択部６２０は式６のように動き補償補間部２
２０で生成された画素値を出力する。
【数９】 ここで、Ｖは現在のブロックの動きベクトルであり、
【数１０】 はそれぞれ補間されるフレーム、連続的に入力される以
前のフレームと現在のフレームとを意味する。
【００１９】動きタイプ情報がゼロ動きであれば、選択
部６２０は、式７のようにリニア補間部２４０で生成さ
れた画素値を出力する。
【数１１】 もし動きタイプ情報がローカル動きであれば、選択部６
２０は、ローカル動き補償部６１０で生成された画素値
を出力する。ローカル動き補償部６１０は、相関値ｋに
基づき動き補償画素Ｐｍｃ（ｘ）とリニア補間画素Ｐ
ａｖｇ（ｘ）との比重を調節する。より詳しく説明すれ
ば、ローカル動き補償部６１０は、動き補償用画素及び
リニア補間用画素を入力して、式８，式９，式１０を通
じて動き補償画素値Ｐｍｃ（ｘ）とリニア補間画素値Ｐ
ａｖｇ（ｘ）とを求めた後、これら画素値を用いて、式
１１のように最終的に補間値ｆｉ（ｘ）を決定する。
【数１２】
【００２０】ここで、動きベクトルＶｉは図７のように
現在のブロックの動きベクトルＶ０と周辺ブロックの動
きベクトルＶ１−Ｖ８を意味する。そして周辺ブロック
の動きベクトルを用いて、以前のフレームと現在のフレ
ームとで動き補償に用いられる画素セットを構成し、各
々の画素セットで式９のようにメディアン値を取る。
【数１３】
【００２１】このメディアン値は、現在のブロックの動
きベクトルが不正確な場合、動きベクトルのスムーズネ
ス（ｓｍｏｏｔｈｎｅｓｓ）効果を得ることができる。
スムーズな効果を適用した動きベクトルは、ローカル動
きのソフトスイッチング（ｓｏｆｔ ｓｗｉｔｃｈｉｎ
ｇ）のための動き補償用画素に用いられる。
【数１４】
【００２２】ここで、図４の信頼度計算部４１０で求め
たソフトスイッチのための相関値ｋは、ＰｍｃとＰ
ａｖｇとの間の値を決定する。従って、選択部６２０で
選択された最終補間画素は、式１１として定義される。
【数１５】 又、選択部６２０は、動き推定部２１０で推定されたベ
クトル正確度パラメータと動きタイプにより補間される
画素値を決定する。もし動きタイプがグローバル動きと
して判定されれば、動き補償による補間値が出力され、
動きタイプがローカル動きである場合、図７のように多
重動き軌跡（ｍｕｌｔｉｐｌｅ ｍｏｔｉｏｎ ｔｒａ
ｊｅｃｔｏｒｉｅｓ）を用いてブロックアーティファク
トを減らすソフトスイッチング手法が適用される。ここ
で、動きタイプにより推定されたベクトル正確度の臨界
値が決定され、この推定されたベクトル正確度と与えら
れた臨界値とを比較して動きタイプが変わる場合があ
る。言い換えれば、動きタイプがグローバル動きとして
判定されたとしても、推定されたベクトル正確度が臨界
値より大きい場合、グローバル動きはローカル動きタイ
プに変えられる。
【００２３】
【発明の効果】前述したように、本発明によると、ブロ
ック別に動き情報に基づきそれぞれ異なる動き補償方式
を適用することによって、より優秀な画質を得ることが
でき、又推定された動きベクトルがブロックアーティフ
ァクトを発生させるおそれがある所では、周辺ブロック
の動きベクトルとの相関性を用いてソフトスイッチング
を行うことにより、ブロックアーティファクトを減らす
ことができる。そして動き補償に用いられる補間画素
は、周辺ブロックの動きベクトルによる候補ベクトルを
用いることにより、動きベクトルに対するスムーズネス
効果を同時に得ることができる。
【図面の簡単な説明】
【図１】 従来の動き補償を用いたフレームレート変換
方法を示す概念図である。
【図２】 本発明に係る適応動き補償型フレームレート
変換装置を示したブロック図である。
【図３】 図２の動き推定部で推定された動きベクトル
を用いて動き補償する過程を示す概念図である。
【図４】 図３の動き分析部の詳細図である。
【図５】 図４のグローバル動き推定部の詳細図であ
る。
【図６】 適応動き補償部の詳細図である。
【図７】 図６のローカル動き補償部で現在のブロック
と周辺ブロックとの動きベクトルを用いた動き補償を示
す概念図である。
【符号の説明】
２１０…動き推定部 ２２０…動き補償補間部 ２３０…動き分析部 ２４０…リニア補間部 ２５０…適応動き補償部

Claims (19)

    【特許請求の範囲】
  1. 【請求項１】 入力される映像信号のレートを変換する
    フレーム及び／又はフィールドレート変換方法におい
    て、 （ａ）フレーム及び／又はフィールド間の動きベクトル
    を用いて補間されるフレーム及び／又はフィールドに対
    する動きベクトルとその正確度を推定する過程と、 （ｂ）前記過程（ａ）で推定された動きベクトルを分析
    して動き情報を決定すると共に、現在のブロックの動き
    ベクトルと周辺ブロック動きベクトル間の相関度を計算
    する過程と、 （ｃ）前記過程（ａ）で推定された動きベクトルを用い
    て補間されるフレーム及び／又はフィールドで動き補償
    を行って補間される画素を生成する過程と、 （ｄ）補間されるフレーム及び／又はフィールドで補間
    される画素と隣接した画素と補間される画素の前後フレ
    ーム及び／又はフィールドで補間される画素と隣接した
    画素とを用いて、補間される画素を生成する過程と、 （ｅ）前記過程（ａ）で推定された動きベクトルの正確
    度と前記過程（ｂ）で推定された動き情報及び相関度に
    より、前記過程（ｃ）及び前記過程（ｄ）で生成された
    画素を補間値として出力する過程とを含むフレーム及び
    ／又はフィールドレート変換方法。
  2. 【請求項２】 前記過程（ａ）の動きベクトルの正確度
    はブロックの全ての画素の差を累積した値を用いて計算
    されることを特徴とする請求項１に記載のフレーム及び
    ／又はフィールドレート変換方法。
  3. 【請求項３】 前記過程（ｂ）の動き情報の決定は、 （ａ−１）前記過程で推定された動きベクトルの分布を
    参照して現在の場面でグローバル動きベクトルを推定す
    る過程と、 （ａ−２）補間されるフレーム及び／又はフィールドの
    画素が含まれたブロックの動きベクトルを前記過程（ａ
    −１）で生成されたグローバル動きベクトル値と比較し
    て補間されるフレーム及び／又はフィールドの画素が含
    まれたブロックの動き情報を決定する過程と、 （ａ−３）現在のブロックの動きベクトルと隣接した動
    きベクトルとの差を用いて相関値を計算する過程とを含
    むことを特徴とする請求項１に記載のフレーム及び／又
    はフィールドレート変換方法。
  4. 【請求項４】 前記動きベクトルの分布はヒストグラム
    を用いることを特徴とする請求項３に記載のフレーム及
    び／又はフィールドレート変換方法。
  5. 【請求項５】 前記グローバル動きベクトルは、動きベ
    クトルの水平／垂直方向へそれぞれヒストグラムの主値
    として推定されることを特徴とする請求項３に記載のフ
    レーム及び／又はフィールドレート変換方法。
  6. 【請求項６】 前記グローバル動きベクトルは、動きベ
    クトルのヒストグラム値を臨界値と比較して推定される
    ことを特徴とする請求項３に記載のフレーム及び／又は
    フィールドレート変換方法。
  7. 【請求項７】 前記動き情報決定過程は、 （ａ−１）前記ブロックの動きベクトルをグローバル動
    きベクトルと比較して二つベクトルの差が所定の臨界値
    より小さい場合、前記ブロックの動き情報をグローバル
    動きに設定する過程と、 （ａ−２）所定臨界値より大きい場合、前記ブロックの
    動き情報をローカル動きに設定する過程と、 （ａ−３）前記ブロックの動きベクトルがゼロベクトル
    である場合、前記ブロックの動き情報をゼロ動きとして
    設定する過程とを含むことを特徴とする請求項３に記載
    のフレーム及び／又はフィールドレート変換方法。
  8. 【請求項８】 前記過程（ａ−３）で現在のブロックの
    動きベクトルと隣接したブロックの動きベクトルの差値
    を動き補償でソフトスイッチング値として用いることを
    特徴とする請求項３に記載のフレーム及び／又はフィー
    ルドレート変換方法。
  9. 【請求項９】 前記過程（ｃ）の画素生成は、 前記補間されるフレーム及び／又はフィールドの画素が
    含まれたブロックの動きベクトルを用いて隣接したフレ
    ーム及び／又はフィールドの画素を動き補償することを
    特徴とする請求項１に記載のフレーム及び／又はフィー
    ルドレート変換方法。
  10. 【請求項１０】 前記過程（ｃ）の画素生成は、 前記補間されるフレーム及び／又はフィールドの画素が
    含まれたブロックに隣接したブロックの動きベクトルを
    用いて、隣接したフレーム及び／又はフィールドの画素
    を動き補償することを特徴とする請求項１に記載のフレ
    ーム及び／又はフィールドレート変換方法。
  11. 【請求項１１】 前記過程（ｄ）の画素生成は、 前記補間されるフレーム及び／又はフィールドの画素を
    隣接したフレーム／フィールドの同一な位置に存在する
    画素で補間することを特徴とする請求項１に記載のフレ
    ーム及び／又はフィールドレート変換方法。
  12. 【請求項１２】 前記過程（ｃ）の画素生成は、 前記補間されるフレーム及び／又はフィールドの画素が
    隣接したフレーム及び／又はフィールドの隣接した画素
    を用いて補間することを特徴とする請求項１に記載のフ
    レーム及び／又はフィールドレート変換方法。
  13. 【請求項１３】 前記過程（ｅ）の画素生成は、 前記補間されるフレーム及び／又はフィールドの画素が
    含まれたブロックの動きタイプがグローバル動きであ
    り、前記過程（ａ）で推定された正確度が与えられた臨
    界値より高い場合、前記過程（ｃ）で求められた画素を
    補間される画素として選択し、前記過程（ａ）で推定さ
    れた正確度が与えられた臨界値より低い場合、前記過程
    （ｄ）で求められた画素を補間される画素として選択す
    ることを特徴とする請求項１に記載のフレーム及び／又
    はフィールドレート変換方法。
  14. 【請求項１４】 前記過程（ｅ）の画素生成は、 前記補間されるフレーム及び／又はフィールドの画素が
    含まれたブロックの動きタイプがローカル動きであれ
    ば、前記過程（ｃ）で生成された画素と前記過程（ｄ）
    で求められた画素とから、現在のブロックの動きベクト
    ルと隣接したブロックの動きベクトルとの差値を用いた
    ソフトスイッチングにより補間がされることを特徴とす
    る請求項１に記載のフレーム及び／又はフィールドレー
    ト変換方法。
  15. 【請求項１５】 前記ソフトスイッチングによる補間
    は、現在のブロックの動きベクトルと隣接したブロック
    との動きベクトルの差値により、前記過程（ｃ）で生成
    された画素と前記過程（ｄ）で求められた画素とに、異
    なる加重値を与えて生成されることを特徴とする請求項
    １４に記載のフレーム及び／又はフィールドレート変換
    方法。
  16. 【請求項１６】 前記過程（ｅ）の画素生成は、 前記補間されるフレーム及び／又はフィールドの画素が
    含まれたブロックの動きベクトルと隣接したブロックの
    動きベクトルとに基づき、以前のフレーム及び／又はフ
    ィールドの画素のメディアン値と以後のフレーム及び／
    又はフィールドの画素のメディアン値とを用いて補間す
    ることを特徴とする請求項１に記載のフレーム及び／又
    はフィールドレート変換方法。
  17. 【請求項１７】 前記過程（ｃ）の画素生成は、 前記補間されるフレーム及び／又はフィールドの画素が
    含まれたブロックの動きベクトルと隣接したブロックの
    動きベクトルとを用いて、以前のフレーム及び／又はフ
    ィールドの画素の平均値と以後のフレーム及び／又はフ
    ィールドの画素の平均値とを用いて、補間される画素と
    して生成することを特徴とする請求項１に記載のフレー
    ム及び／又はフィールドレート変換方法。
  18. 【請求項１８】 映像信号をレートに変換するフレーム
    及び／又はフィールドレート変換装置において、 フレーム及び／又はフィールド間の動きベクトルを用い
    て補間されるフレーム及び／又はフィールドに対する動
    きベクトルを推定する動き推定手段と、 前記動き推定手段で推定された動きベクトルを分析して
    動き情報を決定し、現在のブロックの動きベクトルと周
    辺ブロック動きベクトルとの相関度を計算する動き分析
    手段と、 前記動き推定手段で推定された動きベクトルを用いて、
    補間されるフレーム及び／又はフィールドで動き補償を
    行って補間される画素を生成する動き補償補間手段と、 補間されるフレーム及び／又はフィールドに隣接したフ
    レーム及び／又はフィールドで補間される画素と隣接し
    た画素として、補間される画素を生成する時空間補間手
    段と、 前記動き分析手段で推定された動き情報と相関度によ
    り、前記動き補償補間手段及び前記時空間補間手段で生
    成された画素を、補間される画素値として出力する適応
    動き補償手段とを含むフレーム及び／又はフィールドレ
    ート変換装置。
  19. 【請求項１９】 前記動き分析手段は、 推定された動きベクトルの分布を参照してグローバル動
    きベクトルを推定するグローバル動き推定部と、 前記グローバル動き推定部で推定されたグローバル動き
    ベクトルと推定された動きベクトルとを比較してブロッ
    クの動き情報を決定する動きタイプ決定部と、 現在のブロックの動きベクトルと隣接したブロックの動
    きベクトルとの差値を計算して、動き補償平均値と時間
    的平均値との加重値を調節する信頼度計算部とを含むこ
    とを特徴とする請求項１８に記載のフレーム及び／又は
    フィールドレート変換装置。
JP2002289037A 2001-10-25 2002-10-01 適応動き補償型フレーム及び／又はフィールドレート変換装置及びその方法 Expired - Fee Related JP4519396B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR2001-066014 2001-10-25
KR10-2001-0066014A KR100396558B1 (ko) 2001-10-25 2001-10-25 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법

Publications (2)

Publication Number Publication Date
JP2003163894A true JP2003163894A (ja) 2003-06-06
JP4519396B2 JP4519396B2 (ja) 2010-08-04

Family

ID=19715388

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002289037A Expired - Fee Related JP4519396B2 (ja) 2001-10-25 2002-10-01 適応動き補償型フレーム及び／又はフィールドレート変換装置及びその方法

Country Status (5)

Country Link
US (1) US7075988B2 (ja)
JP (1) JP4519396B2 (ja)
KR (1) KR100396558B1 (ja)
CN (1) CN1270526C (ja)
NL (1) NL1021613C2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7336838B2 (en) 2003-06-16 2008-02-26 Samsung Electronics Co., Ltd. Pixel-data selection device to provide motion compensation, and a method thereof
WO2008139520A1 (ja) * 2007-04-27 2008-11-20 Pioneer Corporation 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体
WO2008152951A1 (en) * 2007-06-13 2008-12-18 Sharp Kabushiki Kaisha Method of and apparatus for frame rate conversion
WO2009119347A1 (ja) * 2008-03-28 2009-10-01 日本電気株式会社 画像処理システム、画像処理方法および画像処理用プログラムが格納された記録媒体
JP2009239726A (ja) * 2008-03-27 2009-10-15 Toshiba Corp 補間画像生成装置、方法およびプログラム
JP2010147985A (ja) * 2008-12-22 2010-07-01 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8189104B2 (en) 2006-09-19 2012-05-29 Kabushiki Kaisha Toshiba Apparatus, method, and computer program product for detecting motion vector and for creating interpolation frame
JPWO2011121731A1 (ja) * 2010-03-30 2013-07-04 富士通株式会社 画像処理装置および画像処理方法

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8517923B2 (en) 2000-04-03 2013-08-27 Intuitive Surgical Operations, Inc. Apparatus and methods for facilitating treatment of tissue via improved delivery of energy based and non-energy based modalities
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
JP4220284B2 (ja) * 2003-03-28 2009-02-04 株式会社東芝 フレーム補間方法、装置及びこれを用いた画像表示システム
EP1654881A1 (en) * 2003-08-06 2006-05-10 Koninklijke Philips Electronics N.V. Block artifacts detection
KR100846780B1 (ko) * 2003-11-10 2008-07-16 삼성전자주식회사 움직임 벡터 추정 방법 및 장치
CN1301015C (zh) * 2003-12-15 2007-02-14 财团法人资讯工业策进会 适应性降低画面速率视讯转换编码系统
US7346226B2 (en) * 2003-12-16 2008-03-18 Genesis Microchip Inc. Method and apparatus for MPEG artifacts reduction
US7457438B2 (en) * 2003-12-23 2008-11-25 Genesis Microchip Inc. Robust camera pan vector estimation using iterative center of mass
US7480334B2 (en) * 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
US7346109B2 (en) * 2003-12-23 2008-03-18 Genesis Microchip Inc. Motion vector computation for video sequences
US7499494B2 (en) * 2003-12-23 2009-03-03 Genesis Microchip Inc. Vector selection decision for pixel interpolation
KR20050081730A (ko) * 2004-02-16 2005-08-19 엘지전자 주식회사 움직임 보상 기반의 영상 신호 프레임율 변환 방법
KR100631777B1 (ko) 2004-03-31 2006-10-12 삼성전자주식회사 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치
KR100584597B1 (ko) * 2004-05-10 2006-05-30 삼성전자주식회사 적응적 가중치를 적용한 움직임 추정 방법 및 그를 적용한프레임 레이트 변환 장치
US7684628B2 (en) * 2004-08-12 2010-03-23 Industrial Technology Research Institute System and method for non-iterative global motion estimation
US7463753B2 (en) * 2004-09-15 2008-12-09 Raytheon Company FLIR-to-missile boresight correlation and non-uniformity compensation of the missile seeker
JP3935500B2 (ja) * 2005-01-14 2007-06-20 株式会社モルフォ 動きベクトル演算方法とこの方法を用いた手ぶれ補正装置、撮像装置、並びに動画生成装置
JP4398925B2 (ja) * 2005-03-31 2010-01-13 株式会社東芝 補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラム
EP1732329A1 (en) * 2005-06-06 2006-12-13 STMicroelectronics S.r.l. Method and apparatus for coding moving images
JP4722936B2 (ja) * 2005-09-30 2011-07-13 シャープ株式会社 画像表示装置及び方法
KR100843083B1 (ko) * 2005-12-14 2008-07-02 삼성전자주식회사 움직임 추정 기반 프레임 보간을 위한 장치 및 방법
EP1841205A1 (en) * 2006-03-29 2007-10-03 Sony Deutschland Gmbh Motion detection in an interlaced field sequence
EP1855474A1 (en) * 2006-05-12 2007-11-14 Sony Deutschland Gmbh Method for generating an interpolated image between two images of an input image sequence
JP2007324830A (ja) * 2006-05-31 2007-12-13 Toshiba Corp フレームレート変換装置及びフレームレート変換方法
JP4961850B2 (ja) * 2006-06-15 2012-06-27 ソニー株式会社 動き検出方法、動き検出方法のプログラム、動き検出方法のプログラムを記録した記録媒体及び動き検出装置
US8340185B2 (en) * 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
EP1876823A1 (en) * 2006-07-07 2008-01-09 Matsushita Electric Industrial Co., Ltd. Video processing device and method for processing videos
KR100748625B1 (ko) * 2006-09-06 2007-08-13 삼성전자주식회사 프레임 레이트 변환장치 및 프레임 레이트 변환방법
JP4799330B2 (ja) * 2006-09-08 2011-10-26 株式会社東芝 フレーム補間回路、フレーム補間方法、表示装置
KR100806858B1 (ko) * 2006-09-26 2008-02-22 삼성전자주식회사 고화질 영상표시장치 및 그 프레임레이트변환방법
KR100790178B1 (ko) * 2006-10-20 2008-01-02 삼성전자주식회사 동영상의 프레임 레이트 변환 방법
KR100810391B1 (ko) * 2006-10-31 2008-03-04 삼성전자주식회사 움직임 보간을 이용한 프레임 레이트 변환 방법
KR101365567B1 (ko) * 2007-01-04 2014-02-20 삼성전자주식회사 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR100803611B1 (ko) * 2006-11-28 2008-02-15 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR100809354B1 (ko) 2007-02-02 2008-03-05 삼성전자주식회사 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법
KR101107255B1 (ko) * 2007-02-16 2012-01-19 삼성전자주식회사 움직임이 보상된 보간 화소를 이용한 영상 보간 방법 및 그장치
JP4513819B2 (ja) * 2007-03-19 2010-07-28 株式会社日立製作所 映像変換装置、映像表示装置、映像変換方法
KR101107256B1 (ko) * 2007-03-27 2012-01-19 삼성전자주식회사 모션 벡터에 기반한 적응적 프레임율 변환 방법 및 장치 및적응적 프레임율 변환 기능을 가지는 디스플레이 장치
TWI342714B (en) * 2007-05-16 2011-05-21 Himax Tech Ltd Apparatus and method for frame rate up conversion
WO2009034488A2 (en) * 2007-09-10 2009-03-19 Nxp B.V. Method an apparatus for line based vertical motion estimation and compensation
KR101427115B1 (ko) * 2007-11-28 2014-08-08 삼성전자 주식회사 영상처리장치 및 영상처리방법
KR101386891B1 (ko) * 2007-12-13 2014-04-18 삼성전자주식회사 영상 보간 방법 및 장치
US20090207314A1 (en) * 2008-02-14 2009-08-20 Brian Heng Method and system for motion vector estimation using a pivotal pixel search
US9241094B2 (en) * 2008-03-18 2016-01-19 Intel Corporation Capturing event information using a digital video camera
US9256789B2 (en) 2008-03-21 2016-02-09 Intel Corporation Estimating motion of an event captured using a digital video camera
US9251423B2 (en) 2008-03-21 2016-02-02 Intel Corporation Estimating motion of an event captured using a digital video camera
JP4600530B2 (ja) * 2008-06-17 2010-12-15 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
TWI477142B (zh) * 2008-06-20 2015-03-11 Mstar Semiconductor Inc 影像處理電路及相關方法
KR101498124B1 (ko) 2008-10-23 2015-03-05 삼성전자주식회사 움직임 궤적을 이용한 프레임률 향상 장치 및 방법
US8718142B2 (en) 2009-03-04 2014-05-06 Entropic Communications, Inc. System and method for frame rate conversion that utilizes motion estimation and motion compensated temporal interpolation employing embedded video compression
JPWO2011067870A1 (ja) * 2009-12-01 2013-04-18 パナソニック株式会社 画像処理装置および画像処理方法
KR101630688B1 (ko) * 2010-02-17 2016-06-16 삼성전자주식회사 움직임 예측 장치 및 방법과 영상 처리 장치
US20110299597A1 (en) * 2010-06-07 2011-12-08 Sony Corporation Image processing method using motion estimation and image processing apparatus
KR101633377B1 (ko) * 2010-06-18 2016-07-08 삼성전자주식회사 다중 노출에 의한 프레임 처리 방법 및 장치
EP2410746A1 (en) * 2010-07-20 2012-01-25 Siemens Aktiengesellschaft Video coding with reference frames of high resolution
US8792549B2 (en) 2011-02-28 2014-07-29 Sony Corporation Decoder-derived geometric transformations for motion compensated inter prediction
JP5687553B2 (ja) * 2011-04-25 2015-03-18 オリンパス株式会社 画像合成装置、画像合成方法及び画像合成プログラム
JP6222514B2 (ja) * 2012-01-11 2017-11-01 パナソニックＩｐマネジメント株式会社 画像処理装置、撮像装置、およびコンピュータブログラム
US9288484B1 (en) 2012-08-30 2016-03-15 Google Inc. Sparse coding dictionary priming
TWI606418B (zh) * 2012-09-28 2017-11-21 輝達公司 圖形處理單元驅動程式產生內插的圖框之電腦系統及方法
US20140152848A1 (en) * 2012-12-04 2014-06-05 Nvidia Corporation Technique for configuring a digital camera
US9300906B2 (en) * 2013-03-29 2016-03-29 Google Inc. Pull frame interpolation
US9286653B2 (en) 2014-08-06 2016-03-15 Google Inc. System and method for increasing the bit depth of images
US9153017B1 (en) 2014-08-15 2015-10-06 Google Inc. System and method for optimized chroma subsampling
US10382718B2 (en) * 2017-12-27 2019-08-13 Anapass Inc. Frame rate detection method and frame rate conversion method
EP4304167A1 (en) 2021-06-14 2024-01-10 Samsung Electronics Co., Ltd. Electronic device carrying out video call by using frc, and operation method for electronic device

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0261137B1 (en) * 1986-03-19 1991-10-16 British Broadcasting Corporation Tv picture motion measurement
DE4007851A1 (de) * 1989-08-24 1991-02-28 Thomson Brandt Gmbh Verfahren zur bewegungskompensation in einem bewegtbildcoder oder -decoder
JP2762791B2 (ja) 1991-09-05 1998-06-04 松下電器産業株式会社 走査線補間装置
GB2268658B (en) 1992-07-06 1995-12-13 Sony Broadcast & Communication Video signal processing
GB2277002B (en) 1993-04-08 1997-04-09 Sony Uk Ltd Motion compensated video signal processing
KR100192784B1 (ko) * 1995-10-31 1999-06-15 전주범 영상 부호화기
FR2742901B1 (fr) * 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede de correction d'estimation de mouvement dans des images a structures periodiques
JPH1023374A (ja) 1996-07-09 1998-01-23 Oki Electric Ind Co Ltd 画像信号の方式変換装置およびフィールド数変換方法
JPH10112845A (ja) * 1996-10-07 1998-04-28 Hitachi Ltd 画像信号の飛び越し順次走査変換方法および回路
KR19990049348A (ko) * 1997-12-12 1999-07-05 구자홍 움직임 벡터를 이용한 프레임 율(frame rate) 변환장치와 방법.
KR100582856B1 (ko) * 1997-09-23 2006-05-24 코닌클리케 필립스 일렉트로닉스 엔.브이. 움직임 추정 및 움직임 보상된 보간법
US6252975B1 (en) * 1998-12-17 2001-06-26 Xerox Corporation Method and system for real time feature based motion analysis for key frame selection from a video
US6580812B1 (en) * 1998-12-21 2003-06-17 Xerox Corporation Methods and systems for automatically adding motion lines representing motion to a still image
KR100587263B1 (ko) * 1999-03-27 2006-06-08 엘지전자 주식회사 비디오 신호의 프레임 율 변환 방법
JP2001024988A (ja) 1999-07-09 2001-01-26 Hitachi Ltd 画像信号の動き補償フレーム数変換方式および装置
JP2001054075A (ja) 1999-08-06 2001-02-23 Hitachi Ltd 画像信号の動き補償走査変換回路
US6532264B1 (en) * 2000-03-27 2003-03-11 Teranex, Inc. Processing sequential video images to detect image motion among interlaced video fields or progressive video images
AU2001247574A1 (en) 2000-03-27 2001-10-08 Teranex, Inc. Temporal interpolation of interlaced or progressive video images
KR100708091B1 (ko) * 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
KR100479255B1 (ko) * 2001-08-16 2005-03-30 이상욱 동영상 부호화 시스템의 동영상 움직임 추정 장치

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7336838B2 (en) 2003-06-16 2008-02-26 Samsung Electronics Co., Ltd. Pixel-data selection device to provide motion compensation, and a method thereof
US8189104B2 (en) 2006-09-19 2012-05-29 Kabushiki Kaisha Toshiba Apparatus, method, and computer program product for detecting motion vector and for creating interpolation frame
JPWO2008139520A1 (ja) * 2007-04-27 2010-07-29 パイオニア株式会社 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体
WO2008139520A1 (ja) * 2007-04-27 2008-11-20 Pioneer Corporation 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体
WO2008152951A1 (en) * 2007-06-13 2008-12-18 Sharp Kabushiki Kaisha Method of and apparatus for frame rate conversion
US8130840B2 (en) 2008-03-27 2012-03-06 Kabushiki Kaisha Toshiba Apparatus, method, and computer program product for generating interpolated images
JP2009239726A (ja) * 2008-03-27 2009-10-15 Toshiba Corp 補間画像生成装置、方法およびプログラム
WO2009119347A1 (ja) * 2008-03-28 2009-10-01 日本電気株式会社 画像処理システム、画像処理方法および画像処理用プログラムが格納された記録媒体
JP5333440B2 (ja) * 2008-03-28 2013-11-06 日本電気株式会社 処理システム、画像処理方法および画像処理用プログラム
US8605787B2 (en) 2008-03-28 2013-12-10 Nec Corporation Image processing system, image processing method, and recording medium storing image processing program
JP2010147985A (ja) * 2008-12-22 2010-07-01 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP4645736B2 (ja) * 2008-12-22 2011-03-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8269843B2 (en) 2008-12-22 2012-09-18 Sony Corporation Motion-compensation image processing apparatus, image processing method, and program
JPWO2011121731A1 (ja) * 2010-03-30 2013-07-04 富士通株式会社 画像処理装置および画像処理方法
JP5522252B2 (ja) * 2010-03-30 2014-06-18 富士通株式会社 画像処理装置および画像処理方法
US9036918B2 (en) 2010-03-30 2015-05-19 Fujitsu Limited Image processing apparatus and image processing method

Also Published As

Publication number Publication date
KR20030033851A (ko) 2003-05-01
KR100396558B1 (ko) 2003-09-02
US20030086498A1 (en) 2003-05-08
CN1414787A (zh) 2003-04-30
CN1270526C (zh) 2006-08-16
JP4519396B2 (ja) 2010-08-04
NL1021613C2 (nl) 2004-09-09
US7075988B2 (en) 2006-07-11
NL1021613A1 (nl) 2003-04-28

Similar Documents

Publication Publication Date Title
JP4519396B2 (ja) 適応動き補償型フレーム及び／又はフィールドレート変換装置及びその方法
KR100579493B1 (ko) 움직임 벡터 생성 장치 및 방법
JP4162621B2 (ja) フレームレート変換時のフレーム補間方法およびその装置
US5784115A (en) System and method for motion compensated de-interlacing of video frames
JP5645699B2 (ja) 動き検出装置及び方法、映像信号処理装置及び方法、並びに映像表示装置
JP4083265B2 (ja) 画像信号の方式変換方法および装置
US6005639A (en) Vector assignment for video image motion compensation
JP2002027414A (ja) 両方向動きベクトルを用いたフォーマット変換装置及びその方法
JP2003174628A (ja) 動き補償補間のための画素値選択装置及び方法
JP2000069487A (ja) ビデオシ―ケンスのノイズレベルの推定方法
JPH08307820A (ja) インタレースされたビデオから高画質静止画像を生成するためのシステム及び方法
KR100657261B1 (ko) 적응적 움직임 보상 보간 방법 및 장치
KR20100114499A (ko) 후광현상이 줄어든 영상보간 장치 및 방법
KR101756842B1 (ko) 영상 프레임의 보간 방법 및 장치
JPH0884293A (ja) 変換アーチファクトの減少方法及び装置
JP2006504175A (ja) フォールバックを用いる画像処理装置
KR100565066B1 (ko) 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치
US8860880B2 (en) Offset interpolation of a sequence of images to obtain a new image
JPH11112940A (ja) 動きベクトルの生成方法および装置
US8761262B2 (en) Motion vector refining apparatus
KR101517233B1 (ko) 움직임 추정을 이용한 잡음 제거장치
JPH1098695A (ja) 画像情報変換装置および方法並びに積和演算装置
CN111294545A (zh) 图像数据插值方法及装置、存储介质、终端
US8805101B2 (en) Converting the frame rate of video streams
Csillag et al. Enhancement of video data using motion-compensated postprocessing techniques

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20021001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060822

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20061122

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20061128

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070219

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070403

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070801

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070822

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080221

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20080509

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100519

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130528

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees