JP2011035536A - 画像投射装置 - Google Patents

画像投射装置 Download PDF

Info

Publication number
JP2011035536A
JP2011035536A JP2009177941A JP2009177941A JP2011035536A JP 2011035536 A JP2011035536 A JP 2011035536A JP 2009177941 A JP2009177941 A JP 2009177941A JP 2009177941 A JP2009177941 A JP 2009177941A JP 2011035536 A JP2011035536 A JP 2011035536A
Authority
JP
Japan
Prior art keywords
correction
acceleration sensor
image projection
angle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009177941A
Other languages
English (en)
Other versions
JP5306100B2 (ja
Inventor
Shigeji Yoshikawa
繁治 吉川
Kazuaki Matoba
一彰 的場
Takeshi Yamada
武 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2009177941A priority Critical patent/JP5306100B2/ja
Publication of JP2011035536A publication Critical patent/JP2011035536A/ja
Application granted granted Critical
Publication of JP5306100B2 publication Critical patent/JP5306100B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

【課題】どのような向きに傾けて設置されていても、正確に温度ドリフトを補正し台形補正を行う事が可能な画像投射装置の提供を目的とする。
【解決手段】本発明の画像投射装置1は、互いに直交する3つの測定軸方向の加速度を測定する加速度センサ2と、加速度センサ2の測定結果から装置の設置角度を算出する補正角度算出部10と、補正角度算出部10が算出した設置角度に基づいて映像の台形補正を行う画像処理手段4と、台形補正された映像をスクリーンに表示する画像投射手段6と、を備える。
【選択図】図1

Description

本発明は、自動台形補正制御を備えた画像投射装置に関する。
入力された画像情報に応じて画像を光学的にスクリーンなどの投射面に投射する画像投射装置を使用する場合、スクリーンと画像投射装置の位置関係に応じて画像投射装置を傾けて設置する必要がある。例えば机の上に画像投射装置を設置し、上方のスクリーンへ向けて投射する場合、所定角度だけ装置を上向きに傾けなければならない。この装置の傾きによって光学軸がスクリーンに対して直交せず、投射画像に台形歪みが生じる。これに対して、加速度センサによって装置の傾きを検出し、自動的に台形補正制御を行う画像投射装置が特許文献1に提案されている。
このような画像投射装置に用いられる加速度センサは、温度ドリフトと呼ばれるセンサ周囲の温度変化による測定値の誤差を持つことが知られており、温度ドリフトを補正するために、互いに直交する2つの測定軸を有する加速度センサを用いて、装置の傾き(仰角方向)に依存しない測定軸の測定値を用いて、もう一方の測定軸の測定値を補正する方法が提案されている(特許文献2)。
特開2003−283963号公報 特開2008−241490号公報
特許文献2の装置は2つの測定軸を持つ加速度センサを用いており、加速度センサの複数の測定軸は、測定対象物の状態変化に応じて測定値が変化しない一つの静止測定軸と、測定対象物の状態変化に応じて測定値が変化する一つの運動測定軸から構成されている。
静止測定軸の測定値は、測定対象物の状態が変化することで測定値が変化しないため温度ドリフトにより生じる誤差を測定した静止測定値とみなすことができ、測定対象物の状態変化によって変化する運動測定軸の測定値に含まれる温度ドリフトを前述の静止測定値で補正する。
ところが、装置が運動測定軸だけでなく静止測定軸に対しても傾いていた場合、静止測定軸の測定値は温度ドリフトと装置の傾きによる値の両方を含むため、温度ドリフトに起因する測定値の変化量を知ることが出来ず、正しく補正を行う事が出来ない。
本発明は、上述のような課題を解消するためになされたもので、装置がどのような向きに傾いて設置されていても正確に温度ドリフトを補正し、台形補正を行う事が出来る画像投射装置の提供を目的とする。
本発明の画像投射装置は、互いに直交する3つの測定軸方向の加速度を測定する加速度センサと、加速度センサの測定結果から装置の設置角度を算出する補正角度算出部と、補正角度算出部が算出した設置角度に基づいて映像の台形補正を行う画像処理手段と、台形補正された映像をスクリーンに表示する画像投射手段と、を備える。
本発明の画像投射装置は、互いに直交する3つの測定軸方向の加速度を測定する加速度センサと、加速度センサの測定結果から装置の設置角度を算出する補正角度算出部と、補正角度算出部が算出した設置角度に基づいて映像の台形補正を行う画像処理手段と、台形補正された映像をスクリーンに表示する画像投射手段と、を備える。これにより、装置がどのような向きに傾いて設置されていても、正確に温度ドリフトを補正し台形補正を行う事が出来る。
前提技術に係る画像投射装置を説明する図である。 前提技術に係る画像投射装置を説明する図である。 本発明の画像投射装置の構成を示すブロック図である。 本発明の画像投射装置の設置例を示す図である。 本発明の画像投射装置の設置例を示す図である。 本発明の画像投射装置の設置例を示す図である。 加速度センサの座標軸を球座標系で表現した図である。 台形歪み補正を説明する図である。 補正角度の算出手順を示すフローチャートである。 補正角度の算出手順を示すフローチャートである。
(前提技術)
図1は、前提技術の画像投射装置1を示す図である。画像投射装置1に内蔵された加速度センサは、装置の光軸と平行なX軸、及び装置の側面方向のY軸、という直交する2つの測定軸を持つ。図において画像投射装置1は水平に設置され、投射光軸はスクリーン7に対して平行である。この場合、温度ドリフトを考慮しなければ、加速度センサの測定値はX軸方向もY軸方向も共に0である。
スクリーン7が画像投射装置1の上方にある場合、画像投射装置1は水平方向に対し一定の仰角を持って設置される。この場合、Y軸方向の加速度は変化しないが、X軸方向には重力加速度gの分解成分が加わる。このように、Y軸はその方向の測定値が画像投射装置の設置角度によらず変化しない静止測定軸であり、X軸はその方向の測定値が画像投射装置の設置角度によって変化する運動測定軸である。
そのため、Y軸方向の測定値から温度ドリフトに起因する誤差量を検出することができ、これに基づきX軸方向の測定値を補正すれば、温度ドリフトの誤差を除去した正確な装置の角度が算出され、台形歪み補正が行える。
ところが、画像投射装置は一方向のみに傾きを有して設置されるとは限らず、設置面の状態によっては光軸に鉛直な軸を傾けて設置される場合もある。図2は図1の光軸後方から前方を見た図であるが、図2に示すように静止測定軸(Y軸)が傾くように設置されると、Y軸には温度ドリフトによる値だけでなく重力加速度の分解成分も加わるため、温度ドリフトによる値を検出できず正しく装置の設置角度を知ることが出来ない。そこで、以下に詳述する本発明の画像投射装置では、上記の場合でも温度ドリフトによる誤差量を除去して装置の設置角度を知るために、直交する3方向の測定軸を持つ加速度センサを備える。
(実施の形態1)
<構成>
図3は、本実施の形態の画像投射装置1の構成図である。図に示すように画像投射装置1は、加速度センサ2、センサ出力補正手段3、画像処理手段4、映像入力部5、画像投射手段6を備える。加速度センサ2は互いに直交する3つの測定軸を有し、台形補正角度を算出するセンサ出力補正手段3に測定値を出力する。センサ出力補正手段3は加速度センサ2の測定値を取得するセンサ出力取得部8に加え、零点出力補正部9、補正角度算出部10を備える。零点出力補正部9では加速度センサ2の固有のばらつきが補正され、補正角度算出部10では、後述の方法により映像の台形歪み補正に必要な装置の傾き角度θ、すなわち補正角度θを算出する。
画像処理手段4はセンサ出力補正手段3から補正角度θを受けて映像入力部5からの映像信号入力に台形歪み補正を施し、画像投射手段6に出力する。画像処理手段4は、映像入力部5から受けた映像信号を記憶する画像記憶部13と、画像記憶部13から映像信号を受け、これにセンサ出力補正手段3からの補正角度θに応じた台形歪み補正を行う台形補正部12と、台形補正部12から台形歪み補正後の映像信号を受け、これに後段の画像投射手段6の画像サイズに応じた画像変換を行う画像変換部11と、を備えている。
画像処理手段6は、画像処理手段4から映像信号を受け、これに応じた光学像をスクリーン7に対して投射する。
<補正角度θの導出>
画像投射装置1に内蔵された加速度センサ2は、図4に示す画像投射装置1の光学軸と平行な方向X、装置の側面方向Y、装置の天方向Zに測定軸を有する。今、装置が図5に示すように水平方向に対してδ傾き、さらに図6に示すように鉛直に立てられたスクリーン7に対してθ傾けて投射している場合、内蔵する加速度センサ2には重力加速度gのX方向成分,Y方向成分,Z方向成分が各測定軸全てに加わる。
この状態で加速度センサの各測定軸に加わる本来の重力加速度成分をx,y,zとした場合、実際の加速度センサの測定データx’,y’,z’には温度ドリフトτが含まれており、(1)〜(3)式が成立する。
Figure 2011035536
一方、加速度センサ2の各測定軸に加わる重力加速度成分と画像投射装置1に加わる重力gとの関係は、図7のように球座標系を用いることによりXZ平面上の角度θとY軸からの偏角ψを使って表現することができる。この時XYZ軸の各成分は(4)〜(6)式で表される。
Figure 2011035536
ここで、θはスクリーンと画像投射装置の光学軸の角度であり、これが画像の台形歪み補正に必要な補正角度である。従って、実際の加速度センサ2の測定データは温度ドリフトを含んだ(7)〜(9)式で表される。
Figure 2011035536
以下、加速度センサ2の測定データから台形歪み補正に必要な補正角度θを求める式を導出する。(7)式と(9)式からτを消去して、
Figure 2011035536
を得る。これより、
Figure 2011035536
が得られる。
また(7)〜(9)式から
Figure 2011035536
が得られる。(11)式と(12)式を(13)式に代入して、
Figure 2011035536
となり、こうして加速度センサ2の出力と台形歪補正角度の関係式が得られる。
補正角度算出部12において、加速度センサ2の零点補正後の測定データx’,y’,z’を上記関係式に代入してθについて解くことで、台形歪み補正の為に必要な補正角度θを得ることができる。(14)式には温度ドリフトτと装置の偏角ψは含まれておらず、画像投射装置1の温度変化や水平方向の傾きに依存せずに補正角度θが得られることが分かる。
すなわち、本実施の形態の画像投射装置1は、互いに直交する3つの測定軸方向の加速度を測定する加速度センサ2と、加速度センサ2の測定結果から装置の設置角度を算出する補正角度算出部10と、補正角度算出部10が算出した設置角度に基づいて映像の台形補正を行う画像処理手段4と、台形補正された映像をスクリーンに表示する画像投射手段6と、を備える。加速度センサ2が3つの測定軸をもつため、画像投射装置1はどのような向きに傾いていても、例えば装置の側面方向の軸を傾けて設置されていても、温度ドリフトの影響を取り除いて正確に装置の設置角度を検出し台形補正を行う事ができる。
また、加速度センサ2の測定結果の零点補正を行う零点出力補正部9をさらに備え、補正角度算出部10は、零点補正された加速度センサ2の測定結果に基づき設置角度を算出する。零点補正を行うことによって、より正確に装置の設置角度を検出し、台形補正を行うことが出来る。
すなわち、補正角度算出部10は、加速度センサ2の測定結果と装置1の設置角度θとの関係式から、装置1の設置角度θを求める。これにより、画像投射装置1はどのような向きに傾いていても、例えば装置の側面方向の軸を傾けて設置されていても、温度ドリフトの影響を取り除いて正確に装置の設置角度を検出し台形補正を行う事ができる。
<フローチャート>
図9は、センサ出力補正手段3の補正角度θの算出手順のフローチャートである。まず、Step1においてセンサ出力取得部8が加速度センサの出力x1,y1,z1を取得する。次に、Step2において、基準設置状態におけるセンサ出力x0,y0,z0を予め測定・記録しておき、これらをセンサ出力x1,y1,z1から減ずることでx’,y’,z’を得る。この差分値x’,y’,z’が装置の基準設置状態からの傾きによって生ずる各測定軸に発生する加速度であり、前述のように温度ドリフトを含んだ測定値である。なお本実施形態における前述の基準設置状態とは、装置を水平に設置した状態である。
Step3で、前述の3次元加速度センサの出力と台形歪補正角度の関係式を使い、Step2で得られた差分値x’,y’,z’からθを計算して、補正角度θを決定する(Step4)。
ここで、Step3における3次元加速度センサの出力と台形歪補正角度の関係式を解く方法の一例として探索法を用いる場合のフローチャートを図10に示す。ステップS3以外は図9のフローチャートと同様であるため説明は省略する。
まず補正角度算出部10は、Step3aでx’,y’,z’から(14)式の左辺を算出する。そして、Step3bでθ=0を探索の初期値とし、Step3cでθとx’,z’から(14)式の右辺を算出する。
Step3dで、Step3aにおいて算出した(14)式の左辺の値Aと、Step3cにおいて算出した(14)式の右辺の値Bを比較する。|A−B|が十分に小さい場合、画像の補正を行うのに十分な精度で補正角度θが得られたことになり、Step4で補正角度θを決定する。
Step3dで|A−B|が十分大きい場合、Step3eに進んでθを微小な値Δθだけ増加させ、Step3cに戻る。|A−B|が十分に小さくなるまでStep3cから3eを繰り返すことにより、最終的に台形歪み補正角度θを決定することができる。仮にΔを0.001とした場合、θの精度は1°以下になり映像の台形補正に必要十分な精度でθが求められる。
すなわち、補正角度算出部10は、探索法によって、加速度センサ2の測定結果と装置の設置角度θとの関係式から、設置角度θを求める。これにより、画像投射装置1はどのような向きに傾いていても、例えば装置の側面方向の軸を傾けて設置されていても、温度ドリフトの影響を取り除いて、正確に装置の設置角度を検出し台形補正を行う事ができる。
前述したように、映像入力部5から画像記憶部13に映像信号が記録され、台形補正部12は補正角度算出部10が算出した補正角度θから台形歪み補正を行う。台形歪み補正は、図8に示すスクリーンと投射される光学像との関係を元に、スクリーンに投影される画像が正方となるための変換を幾何学的に求める。台形補正部12で求めた変換に従って、画像変換部11は図8のように投射映像を台形に変換する。この結果スクリーン7上には歪みのない正しい画像が表示される。
したがって本構成の画像投射装置は、装置が図3に示すように傾いた状態であってもスクリーンに対する投射角度θを算出することが可能であり、加えて加速度センサの温度ドリフトも補正することができる。
前述の特徴を備えることにより本構成の画像投射装置は、設置環境の悪い場所での自動台形補正の使用が可能になる。たとえば会議室の天井裏といった空調設備の無い場所で季節による温度変化が大きい場所でも再調整等のわずらわしい操作を必要としない。さらに不安定な台やわずかに傾いた台に設置する場合でも、装置の傾きを補正するので台の傾きの変化を無視して、スクリーン上に正確に映像を投射表示することができる。
<効果>
本実施の形態の画像投射装置によれば、既に述べた通り以下の効果を奏する。すなわち、本実施の形態の画像投射装置1は、互いに直交する3つの測定軸方向の加速度を測定する加速度センサ2と、加速度センサ2の測定結果から装置の設置角度を算出する補正角度算出部10と、補正角度算出部10が算出した設置角度に基づいて映像の台形補正を行う画像処理手段4と、台形補正された映像をスクリーンに表示する画像投射手段6と、を備える。加速度センサ2が3つの測定軸をもつため、画像投射装置1はどのような向きに傾いていても、例えば装置の側面方向の軸を傾けて設置されていても、温度ドリフトの影響を取り除いて正確に装置の設置角度を検出し台形補正を行う事ができる。
また、加速度センサ2の測定結果の零点補正を行う零点出力補正部9をさらに備え、補正角度算出部10は、零点補正された加速度センサ2の測定結果に基づき設置角度を算出する。零点補正を行うことによって、より正確に装置の設置角度を検出し、台形補正を行うことが出来る。
すなわち、補正角度算出部10は、加速度センサ2の測定結果と装置1の設置角度θとの関係式から、装置1の設置角度θを求める。これにより、画像投射装置1はどのような向きに傾いていても、例えば装置の側面方向の軸を傾けて設置されていても、温度ドリフトの影響を取り除いて正確に装置の設置角度を検出し台形補正を行う事ができる。
補正角度算出部10は、探索法によって、加速度センサ2の測定結果と装置の設置角度θとの関係式から、設置角度θを求める。これにより、画像投射装置1はどのような向きに傾いていても、例えば装置の側面方向の軸を傾けて設置されていても、温度ドリフトの影響を取り除いて、正確に装置の設置角度を検出し台形補正を行う事ができる。
本発明は、会議室や教室などのプレゼンテーションで用いられるプロジェクターなどの画像投射表示装置に適用できる。
1 画像投射装置、2 加速度センサ、3 センサ出力補正手段、4 画像処理手段、5 映像入力部、6 画像投射手段、7 スクリーン、8 センサ出力取得部、9 零点出力補正部9、10 補正角度算出部、11 画像変換部、12 台形補正部、13 画像記憶部。

Claims (4)

  1. 互いに直交する3つの測定軸方向の加速度を測定する加速度センサと、
    前記加速度センサの測定結果から装置の設置角度を算出する補正角度算出部と、
    前記補正角度算出部が算出した前記設置角度に基づいて映像の台形補正を行う画像処理手段と、
    前記台形補正された映像をスクリーンに表示する画像投射手段と、を備える画像投射装置。
  2. 前記加速度センサの測定結果の零点補正を行う零点出力補正部をさらに備え、
    前記補正角度算出部は、前記零点補正された前記加速度センサの測定結果に基づき前記設置角度を算出することを特徴とする、請求項1に記載の画像投射装置。
  3. 前記補正角度算出部は、前記加速度センサの測定結果と前記装置の設置角度との関係式から、前記設置角度を求めることを特徴とする、請求項1又は2に記載の画像投射装置。
  4. 前記補正角度算出部は、探索法によって、前記加速度センサの測定結果と前記装置の設置角度との関係式から、前記設置角度を求めることを特徴とする、請求項3に記載の画像投射装置。
JP2009177941A 2009-07-30 2009-07-30 画像投射装置 Expired - Fee Related JP5306100B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009177941A JP5306100B2 (ja) 2009-07-30 2009-07-30 画像投射装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009177941A JP5306100B2 (ja) 2009-07-30 2009-07-30 画像投射装置

Publications (2)

Publication Number Publication Date
JP2011035536A true JP2011035536A (ja) 2011-02-17
JP5306100B2 JP5306100B2 (ja) 2013-10-02

Family

ID=43764195

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009177941A Expired - Fee Related JP5306100B2 (ja) 2009-07-30 2009-07-30 画像投射装置

Country Status (1)

Country Link
JP (1) JP5306100B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015087692A (ja) * 2013-11-01 2015-05-07 Necディスプレイソリューションズ株式会社 姿勢検出装置とその制御方法、および、プロジェクタ

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0450613A (ja) * 1990-06-12 1992-02-19 Tokimec Inc 傾斜角測定装置
JPH1123241A (ja) * 1997-07-07 1999-01-29 Fujitsu Ltd 物体傾斜角計測方法及び装置並びに記憶媒体
JP2004148491A (ja) * 2002-10-10 2004-05-27 Sony Corp ロボット装置の動作制御装置及び動作制御方法、並びにコンピュータ・プログラム
JP2007006093A (ja) * 2005-06-23 2007-01-11 Casio Comput Co Ltd 投影装置、投影制御方法及びプログラム
JP2007243935A (ja) * 2006-02-08 2007-09-20 Canon Inc 投射型表示装置
JP2008241490A (ja) * 2007-03-28 2008-10-09 Seiko Epson Corp センサ用補正装置、プロジェクタ、測定値の補正方法、および補正プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0450613A (ja) * 1990-06-12 1992-02-19 Tokimec Inc 傾斜角測定装置
JPH1123241A (ja) * 1997-07-07 1999-01-29 Fujitsu Ltd 物体傾斜角計測方法及び装置並びに記憶媒体
JP2004148491A (ja) * 2002-10-10 2004-05-27 Sony Corp ロボット装置の動作制御装置及び動作制御方法、並びにコンピュータ・プログラム
JP2007006093A (ja) * 2005-06-23 2007-01-11 Casio Comput Co Ltd 投影装置、投影制御方法及びプログラム
JP2007243935A (ja) * 2006-02-08 2007-09-20 Canon Inc 投射型表示装置
JP2008241490A (ja) * 2007-03-28 2008-10-09 Seiko Epson Corp センサ用補正装置、プロジェクタ、測定値の補正方法、および補正プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015087692A (ja) * 2013-11-01 2015-05-07 Necディスプレイソリューションズ株式会社 姿勢検出装置とその制御方法、および、プロジェクタ

Also Published As

Publication number Publication date
JP5306100B2 (ja) 2013-10-02

Similar Documents

Publication Publication Date Title
US7661825B2 (en) Projector having horizontal displacement sensors for correcting distortion
US10290154B1 (en) Stereo-based calibration apparatus
US9858684B2 (en) Image processing method and apparatus for calibrating depth of depth sensor
JP6446329B2 (ja) カメラのキャリブレーション装置、カメラシステム及び、カメラのキャリブレーション方法
US11050983B2 (en) System and method for recalibrating a projector system
US20140340529A1 (en) Automatic Projection Image Correction System, Automatic Projection Image Correction Method, and Non-Transitory Storage Medium
WO2017054334A1 (zh) 一种投影方法、装置、终端及计算机存储介质
TWI406153B (zh) 游標控制方法及應用該游標控制方法之簡報系統及電腦可讀取儲存媒體
EP3306919B1 (en) Projection terminal keystone correction method and device, and projection terminal and storage medium
CN104660944A (zh) 图像投影装置及图像投影方法
JP6163942B2 (ja) 情報処理装置、制御方法、及びプログラム
CN110505468A (zh) 一种增强现实显示设备的测试标定及偏差修正方法
JP6304740B2 (ja) 姿勢検出装置とその制御方法、および、プロジェクタ
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
EP2706408B1 (en) Image stabilization system for handheld devices equipped with pico-projector
JP5306100B2 (ja) 画像投射装置
JP2004140845A (ja) プロジェクタ装置
WO2023241263A1 (zh) 定位装置及定位系统
JP2013009202A (ja) カメラ方向調整装置及びカメラ方向調整方法
KR101165340B1 (ko) 카메라를 이용한 프로젝터 교정 시스템 및 이를 이용한 교정 방법
JP4840258B2 (ja) X線検査装置
JP2016161445A (ja) 屋根勾配推定システム及び屋根勾配推定方法
KR101727165B1 (ko) 3차원 카메라 모듈 측정 장치, 3차원 카메라 모듈 보정 장치 및 보정 방법
JP3742074B2 (ja) 傾斜角度測定装置を有するプロジェクタ
JP2009216512A (ja) 大型車両用のフレーム穴間隔測定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120402

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130319

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130625

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees