JP2005026753A - 傾斜角度測定装置を有するプロジェクタ - Google Patents

傾斜角度測定装置を有するプロジェクタ Download PDF

Info

Publication number
JP2005026753A
JP2005026753A JP2003186909A JP2003186909A JP2005026753A JP 2005026753 A JP2005026753 A JP 2005026753A JP 2003186909 A JP2003186909 A JP 2003186909A JP 2003186909 A JP2003186909 A JP 2003186909A JP 2005026753 A JP2005026753 A JP 2005026753A
Authority
JP
Japan
Prior art keywords
projector
tilt angle
projection
image
test pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003186909A
Other languages
English (en)
Other versions
JP3742074B2 (ja
Inventor
Yoichi Tamura
陽一 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp NEC Display Solutions Ltd
Original Assignee
NEC Viewtechnology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Viewtechnology Ltd filed Critical NEC Viewtechnology Ltd
Priority to JP2003186909A priority Critical patent/JP3742074B2/ja
Publication of JP2005026753A publication Critical patent/JP2005026753A/ja
Application granted granted Critical
Publication of JP3742074B2 publication Critical patent/JP3742074B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

【課題】映像の歪補正のためにスクリーンのプロジェクタの投射光軸に対する傾斜角度を簡単な構成で正確に測定できる傾斜角度測定装置を有するプロジェクタを提供する。
【解決手段】テストパターン生成部54は、投影装置20から投射レンズ21を通して水平な直線状のテストパターンを投射面に投射し、投射面のテストパターンを投射レンズ21の上方垂直方向に離れて配置されたデジタルカメラ50の撮像素子52で撮像し、画像解析傾斜角度算定部53が、テストパターンの横方向の差分画素数情報を取得して投影装置20の投射光軸と投射面との水平方向傾斜角度を生成するとともに、垂直方向傾斜センサ40から投影装置20の垂直方向傾斜角度を取得して、取得した両傾斜角度から画像制御部23が画像表示部22の出力映像を制御することにより投射面の画像の歪を補正する。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明はプロジェクタに関し、特にプロジェクタの投影装置の投射光軸と投射面との傾斜角度を算定するための傾斜角度測定装置を有するプロジェクタに関する。
【0002】
【従来の技術】
液晶技術やDLP(デジタルライトプロセッシング)技術の急速な進展に伴うプロジェクタの小型化・高性能化により、画像投射を目的とするプロジェクタの用途も拡大し、家庭内でのディスプレイ型テレビに代わる大型の表示装置としても注目されている。
【0003】
【特許文献1】
特開平9−281597号公報
【特許文献2】
特開2001−169211号公報
【0004】
【発明が解決しようとする課題】
しかし、液晶プロジェクタやDLP方式プロジェクタはディスプレイ型テレビと違って映像面がスクリーンであったり壁であったりするためにプロジェクタの光軸と投射面との相対関係によって映像に歪を生ずるという問題点がある。特開平9−281597号公報には、液晶プロジェクタの据付角度の検出手段と液晶プロジェクタと投射対象と間の距離を検出する距離検出手段を有し、両検出結果から算出された角度によって液晶表示ユニットの角度を調整する方法が開示されている。この場合液晶表示ユニットの角度を機械的に調整する必要がある。また、特開2001−169211号公報には角度制御可能なレーザポインタの光点を曲面のスクリーンに投影し、一方、計測用点画像を生成してプロジェクタからスクリーンに投影し、カメラで撮影して光点と点画像との位置計測を行い点画像を移動しながら両点が一致したときに点画像のフレームメモリ上の画素座標を光点の入力画像上の座標に置換して座標変換パラメータメモリに設定する歪補正方法が開示されている。この場合レーザポインタの角度を制御する必要があり、構造が複雑となる。
【0005】
一方、スクリーンのプロジェクタの投射光軸に対する垂直方向および水平方向の傾斜がわかればプロジェクタのフレームメモリの座標を変換したりすることによって歪のない映像をスクリーンに投影する技術は実用化されている。
【0006】
このうち、垂直方向の傾斜については通常投射面が垂直となっているので、既に実用化されている加速度検出素子を用いた傾斜センサを用いて検出した投影装置の傾斜度を投射面に対する投影装置の傾斜と見なすことで、簡単な装置で検出できるが、水平方向の傾斜については簡単な検出の方法がないためプロジェクタに搭載されている歪補正機能を使用して手動で補正を行っている。
【0007】
本発明の目的は、映像の歪補正のためにスクリーンのプロジェクタの投射光軸に対する傾斜角度を簡単な構成で正確に測定できる傾斜角度測定装置を有するプロジェクタを提供することにある。
【0008】
【課題を解決するための手段】
本発明の傾斜角度測定装置を有するプロジェクタは、
プロジェクタの投影装置の投射光軸と投射面との傾斜角度を算定する傾斜角度測定装置を有し、算定した傾斜角度に従って画像表示部の出力映像を制御することにより投射面の映像の歪を補正するプロジェクタである。傾斜角度測定装置は、加速度検出素子を用いた垂直方向傾斜センサと、テストパターン生成部と、デジタルカメラと、画像解析傾斜角度算定部とを備え、テストパターン生成部は、投影装置から投射レンズを通して水平な直線状のテストパターンを投射面に投射し、その投射面のテストパターンを投射レンズの上方垂直方向に離れて配置されたデジタルカメラの撮像素子で撮像し、画像解析傾斜角度算定部が、撮像素子の撮像画面からテストパターンの横方向の差分画素数についての差分画素数情報を取得して投影装置の投射光軸と投射面との水平方向傾斜角度を生成するとともに、垂直方向傾斜センサから投影装置の垂直方向傾斜角度を取得して、取得した両傾斜角度に基づいて画像表示部の出力映像を制御することによって投射面の画像の歪を補正する。
【0009】
デジタルカメラで撮像されたテストパターンと水平基準線との間の傾斜角度の解析は、テストパターンと撮像画面の両端との交点に対応する画素の画素数の差を算出して、予め作成してある差分画素数と傾斜角度とを関連付けたテーブルによって傾斜角度を算定することによって行われ、算定された傾斜角度から所定の計算式によって投影装置の投射光軸と投射面との傾斜角度が算定されてもよく、プロジェクタの投影装置の投射光軸と投射面との傾斜角度に従った画像表示部の出力映像の制御は、傾斜角度に対応して予め算出されている画像表示部の入力映像の補正値によってLSI制御パラメータを作成し、プロジェクタ用画像処理LSIを制御することによって実行されてもよい。
【0010】
プロジェクタは液晶プロジェクタであっても、DLP(デジタルライトプロセッシング)プロジェクタであってもよい。
【0011】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。図1は本発明の実施の形態の傾斜角度測定装置を有するプロジェクタの模式的ブロック構成図であり、図2は本発明の実施の形態の傾斜角度測定装置を有するプロジェクタの模式的説明図であり、(a)はテストパターン投射状態を示す模式的上面図、(b)は投射面が水平方向に傾斜していない場合のテストパターン投射状態を示す模式的側面図、(c)は投射面が水平方向に傾斜している場合のテストパターン投射状態を示す模式的側面図、(d)はプロジェクタの模式的正面図、(e)は投射面が水平方向に傾斜していない場合のデジタルカメラの撮像画面の模式図、(f)は投射面が水平方向に傾斜している場合のデジタルカメラの撮像画面の模式図である。
【0012】
ここでは、液晶プロジェクタを例として説明するが液晶表示部22をDLP表示部と読み替えればDLP(デジタルライトプロセッシング)プロジェクタに対しても同様に適用できる。
【0013】
プロジェクタ10は投射レンズ21と液晶表示部22とを有する投影装置20と、液晶表示部22の画像を制御する画像制御部23と、傾斜角度測定装置30と、全体の動作を制御するCPU60とを備える。傾斜角度測定装置30は垂直方向傾斜センサ40、撮像レンズ51と撮像素子52とを有するデジタルカメラ50、撮像素子52が撮像した画像の画素を解析して投射面70に対する投影装置20の水平方向の傾斜を算出し、垂直方向傾斜センサ40の検出した垂直方向の傾斜値と併せて画像制御部23を制御する画像解析傾斜角度算定部53、およびテストパターン生成部54を備える。
【0014】
垂直方向傾斜センサ40は、機械の据付の心出しなどにも利用されている加速度検出素子を用いた傾斜センサ(Gセンサ)であり、重力の方向に対する傾斜角度を精密に測定し数値データとして出力する。一般に投射面70となる壁やスクリーンは上下方向が垂直となっているので垂直方向傾斜センサ40の検出値を投射光軸27と投射面70との垂直方向の傾斜角度と見なすことができる。投射面70の上下方向が垂直となっていない場合は投射光軸27と投射面70との垂直方向の傾斜角度の補正を手動で行えばよい。
【0015】
図2(a)〜(c)に示すようにスクリーンや壁などの投射面70に映像が投射されるように液晶プロジェクタ10は配置される。この場合液晶プロジェクタ10の投影装置20の投射光軸27と投射面70aとが直交する状態で投影が行われると液晶表示部22の画面がそのまま投射面70aに拡大して投影されるが、投影装置20の投射光軸27と投射面70bとが傾斜する場合は直交する場合と比較して位置によって投射レンズ21からの距離が変化し、例えば離れた位置では画面が拡大するので投影された画面に台形歪を生ずるという問題が生ずる。この問題を解決するために例えば上述の特許文献に記載されたような工夫がなされてきた。この場合投影装置20の投射光軸27と投射面70との傾斜角度が正確に把握できれば、画像制御部23によって液晶表示部22の画像の画素への配置を移動させることによって投射面70に投射された映像を正しい状態に修正することができ、その移動度は傾斜角度から数値的に求めることができる。
【0016】
本発明は投影装置20の投射光軸27と投射面70との傾斜角度を正確に把握することを目的としており、以下に説明する傾斜角度測定装置30によりその目的は達成される。
【0017】
傾斜角度測定装置30では、図2(d)に示すように、投影装置20の投射レンズ21から垂直方向上方に離れて撮像素子52を有するデジタルカメラ50の撮像レンズ51が配置されている。
【0018】
傾斜角度測定モードでは、傾斜角度測定装置30のテストパターン生成部54が画像制御部23を制御して液晶表示部22から投射レンズ21を経由して水平な直線状のテストパターン81を投射面70に投射する。図2(e)、(f)は投射面70上のテストパターン81をデジタルカメラ50の撮像素子52で撮像したときの撮像画面80であり、投射光軸26と投射面70aの水平線とが直交していれば、図2(e)に示すように垂直方向の傾斜に関わりなくテストパターン81aは水平に表示される。投射面70bの向かって右側が水平面で投射レンズ21から離れる方向に傾斜していると、投射レンズ21から垂直に離れた方向に配置された撮像レンズ51で撮像した撮像素子52の撮像画像80では、図2(f)に示すように右側が上に傾いた状態で表示される。図示されていないが、投射面70bの向かって左側が水平面で投射レンズ21から離れる方向に傾斜していると、左側が上に傾いた状態で表示される。
【0019】
画素解析傾斜角度算定部53では、テストパターン81bの画素を解析して傾斜角度を算定してもよいが、例えば撮像画面80の両端とテストパターン81bとの交点の画素の画素数の差を算出して予め作成してある差分画素数と傾斜角度を関連付けたテーブルによって傾斜角度を算定してもよい。
【0020】
図3は垂直方向傾斜センサ40で検出された垂直方向の傾斜度と画素解析傾斜角度算定部53で算出された差分画素数とから液晶表示部22の出力映像を修正する過程を示す模式的流れ図である。画像解析傾斜角度算定部53が、撮像素子52の撮像画面80からテストパターン81bの横方向の差分画素数87についての差分画素数情報を取得し(ステップS1)、これを基に投影装置20の投射光軸27と投射面70との水平方向傾斜角度を生成し(ステップS2)、垂直方向傾斜センサ40から垂直方向傾斜角度を取得し(ステップS3)、取得した両傾斜角度を受けて画像制御部23はLSI制御パラメータを生成し(ステップS4)、プロジェクタ用画像処理LSIを制御することにより(ステップS5)、入力映像24が修正されて液晶表示部22で出力映像25となる。この出力映像25は投射面に投射されると入力映像24と相似の映像となる。
【0021】
ここでは、投影装置20の投射光軸27と投射面70との水平方向傾斜角度を画素解析傾斜角度算定部53で取得し、垂直方向の傾斜角度は垂直方向傾斜センサ40で取得することとしているが、投射レンズ21の横方向に撮像レンズ51を配置し投射レンズ21から投射された垂直方向のテストパターンを撮像レンズ51を通じて撮像素子52で撮像することによって垂直方向の傾斜角度を取得することももちろん可能であり、テストパターンから得られた水平方向並びに垂直方向の傾斜角度を使用して入力映像24の修正を行ってもよい。
【0022】
【発明の効果】
以上説明したように本発明は、プロジェクタの映像の歪補正のために必要な投射面のプロジェクタの投射光軸に対する傾斜角度を簡単な構成で正確に測定できるという効果がある。
【0023】
これは、投影装置から投射レンズを通して水平な直線状のテストパターンを投射面に投射し、投射面のテストパターンを投射レンズの垂直方向上方に離れて配置されたデジタルカメラの撮像素子で撮像し、傾斜角度測定装置の画像解析傾斜角度算定部が、撮像素子の撮像画面から横方向の差分画素数についての差分画素数情報を取得して投影装置の投射光軸と投射面との水平方向傾斜角度を生成し、別に設けた垂直方向傾斜センサから垂直方向傾斜角度を取得し、取得した両傾斜角度を受けて画像制御部が入力映像を修正して傾斜に対応した出力映像を出力するからである。
【図面の簡単な説明】
【図1】本発明の実施の形態の傾斜角度測定装置を有するプロジェクタの模式的ブロック構成図である。
【図2】本発明の実施の形態の傾斜角度測定装置を有するプロジェクタの模式的説明図である。
(a)はテストパターン投射状態を示す模式的上面図である。
(b)は投射面が水平方向に傾斜していない場合のテストパターン投射状態を示す模式的側面図である。
(c)は投射面が水平方向に傾斜している場合のテストパターン投射状態を示す模式的側面図である。
(d)はプロジェクタの模式的正面図である。
(e)は投射面が水平方向に傾斜していない場合のデジタルカメラの撮像画面の模式図である。
(f)は投射面が水平方向に傾斜している場合のデジタルカメラの撮像画面の模式図である。
【図3】垂直方向傾斜センサで検出された垂直方向の傾斜度と画素解析傾斜角度算定部で算出された差分画素数から液晶表示部の出力映像を修正する過程を示す模式的流れ図である。
【符号の説明】
10 プロジェクタ
20 投影装置
21 投射レンズ
22 液晶表示部
23 画像制御部
24 入力映像
25 出力映像
27 投射光軸
30 傾斜角度測定装置
40 垂直方向傾斜センサ
50 デジタルカメラ
51 撮像レンズ
52 撮像素子
53 画像解析傾斜角度算定部
54 テストパターン生成装置
60 CPU
70、70a、70b 投射面
80 撮像画面
81a、81b テストパターン
82 画素ライン
87 横差分画素数
S1〜S5 ステップ

Claims (5)

  1. プロジェクタの投影装置の投射光軸と投射面との傾斜角度を算定する傾斜角度測定装置を有し、算定した傾斜角度に従って画像表示部の出力映像を制御することにより前記投射面の映像の歪を補正するプロジェクタであって、
    前記傾斜角度測定装置は、加速度検出素子を用いた垂直方向傾斜センサと、テストパターン生成部と、デジタルカメラと、画像解析傾斜角度算定部とを備え、
    前記テストパターン生成部は、前記投影装置から投射レンズを通して水平な直線状のテストパターンを前記投射面に投射し、該投射面のテストパターンを前記投射レンズの上方垂直方向に離れて配置された前記デジタルカメラの撮像素子で撮像し、前記画像解析傾斜角度算定部が、前記撮像素子の撮像画面からテストパターンの横方向の差分画素数についての差分画素数情報を取得して前記投影装置の投射光軸と前記投射面との水平方向傾斜角度を生成するとともに、前記垂直方向傾斜センサから前記投影装置の垂直方向傾斜角度を取得して、取得した両傾斜角度に基づいて前記画像表示部の出力映像を制御することによって前記投射面の画像の歪を補正する、傾斜角度測定装置を有するプロジェクタ。
  2. 前記デジタルカメラで撮像された前記テストパターンと水平基準線との間の傾斜角度の解析は、前記テストパターンと前記撮像画面の両端との交点に対応する画素の画素数の差を算出して、予め作成してある差分画素数と傾斜角度とを関連付けたテーブルによって傾斜角度を算定することによって行われ、算定された傾斜角度から所定の計算式によって前記投影装置の投射光軸と前記投射面との傾斜角度が算定される、請求項1に記載の傾斜角度測定装置を有するプロジェクタ。
  3. 前記プロジェクタの前記投影装置の投射光軸と前記投射面との傾斜角度に従った前記画像表示部の出力映像の制御は、前記傾斜角度に対応して予め算出されている前記画像表示部の入力映像の補正値によってLSI制御パラメータを作成し、プロジェクタ用画像処理LSIを制御することによって実行される、請求項1または請求項2に記載の傾斜角度測定装置を有するプロジェクタ。
  4. 前記プロジェクタは液晶プロジェクタである、請求項1から請求項3のいずれか1項に記載の傾斜角度測定装置を有するプロジェクタ。
  5. 前記プロジェクタはDLP(デジタルライトプロセッシング)プロジェクタである、請求項1から請求項3のいずれか1項に記載の傾斜角度測定装置を有するプロジェクタ。
JP2003186909A 2003-06-30 2003-06-30 傾斜角度測定装置を有するプロジェクタ Expired - Fee Related JP3742074B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003186909A JP3742074B2 (ja) 2003-06-30 2003-06-30 傾斜角度測定装置を有するプロジェクタ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003186909A JP3742074B2 (ja) 2003-06-30 2003-06-30 傾斜角度測定装置を有するプロジェクタ

Publications (2)

Publication Number Publication Date
JP2005026753A true JP2005026753A (ja) 2005-01-27
JP3742074B2 JP3742074B2 (ja) 2006-02-01

Family

ID=34185915

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003186909A Expired - Fee Related JP3742074B2 (ja) 2003-06-30 2003-06-30 傾斜角度測定装置を有するプロジェクタ

Country Status (1)

Country Link
JP (1) JP3742074B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006243201A (ja) * 2005-03-02 2006-09-14 Sanyo Electric Co Ltd 投写型映像表示装置
JP2010109659A (ja) * 2008-10-30 2010-05-13 Seiko Epson Corp 投写光学系に対する投写面の位置又は傾きの測定方法、その測定方法を用いる投写画像の補正方法及びその補正方法を実行するプロジェクタ

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006243201A (ja) * 2005-03-02 2006-09-14 Sanyo Electric Co Ltd 投写型映像表示装置
JP2010109659A (ja) * 2008-10-30 2010-05-13 Seiko Epson Corp 投写光学系に対する投写面の位置又は傾きの測定方法、その測定方法を用いる投写画像の補正方法及びその補正方法を実行するプロジェクタ

Also Published As

Publication number Publication date
JP3742074B2 (ja) 2006-02-01

Similar Documents

Publication Publication Date Title
EP1517550B1 (en) Projector with tilt angle measuring device
JP4454543B2 (ja) 歪み補正手段を備えたプロジェクタ
JP3960390B2 (ja) 台形歪み補正装置を備えたプロジェクタ
JP5401940B2 (ja) 投写光学系のズーム比測定方法、そのズーム比測定方法を用いた投写画像の補正方法及びその補正方法を実行するプロジェクタ
JP2000241874A (ja) プロジェクタの自動画面位置調整方法及び装置
JP2008533501A (ja) コンピュータ実施によるプロジェクタの姿勢を調整する方法、及び、プロジェクタの姿勢を調整する装置
JP2011176629A (ja) 制御装置および投写型映像表示装置
JP3742085B2 (ja) 傾斜角度測定装置を有するプロジェクタ
JP3926311B2 (ja) 傾斜角度測定装置を有するプロジェクタ
JP2005331585A (ja) 距離傾斜角度測定装置を有するプロジェクタ
JP4689948B2 (ja) プロジェクタ
JP2008211356A (ja) プロジェクタ、プログラムおよび情報記憶媒体
JP3730982B2 (ja) プロジェクタ
JP3742074B2 (ja) 傾斜角度測定装置を有するプロジェクタ
JP2005024618A (ja) 傾斜角度測定装置を有するプロジェクタ。
JP4266724B2 (ja) 傾斜角度測定装置を有するプロジェクタ
JP3742086B2 (ja) 傾斜角度測定装置を有するプロジェクタ
JP3730979B2 (ja) 傾斜角度測定装置を有するプロジェクタ
JP3757224B2 (ja) 傾斜角度測定装置を有するプロジェクタ
JP2004363856A (ja) 投映型表示装置
JP4535769B2 (ja) 傾斜角度測定装置を備えたプロジェクタ
JP2005159426A (ja) 自動台形歪補正手段を備えたプロジェクタ
JP3914938B2 (ja) プロジェクタの台形歪み補正装置と該台形歪み補正装置を備えたプロジェクタ
JP3709405B2 (ja) 傾斜角度測定装置を有するプロジェクタ
JP2004282129A (ja) 投映型表示装置

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050121

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050720

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051109

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081118

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091118

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091118

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101118

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111118

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111118

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121118

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121118

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121118

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121118

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131118

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees