JP2006246502A - 画像歪み補正機能を備えたプロジェクタ装置 - Google Patents
画像歪み補正機能を備えたプロジェクタ装置 Download PDFInfo
- Publication number
- JP2006246502A JP2006246502A JP2006093614A JP2006093614A JP2006246502A JP 2006246502 A JP2006246502 A JP 2006246502A JP 2006093614 A JP2006093614 A JP 2006093614A JP 2006093614 A JP2006093614 A JP 2006093614A JP 2006246502 A JP2006246502 A JP 2006246502A
- Authority
- JP
- Japan
- Prior art keywords
- image
- screen
- projector
- display
- distortion correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Projection Apparatus (AREA)
- Liquid Crystal Display Device Control (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
可能となるプロジェクタ装置を提供する。
【解決手段】画像の歪みを前記表示デバイスへの表示を変形させることで補正を実現す
る画像歪み補正回路と、投射表示された画像と投射画面近傍に設置されたスクリーンとを
撮像することが出来るイメージセンサとを備え、該イメージセンサにて撮像された画像よ
り、前記プロジェクタ装置の表示画面の複数点と前記プロジェクタ装置との距離を算出す
ることで、前記プロジェクタ装置と前記スクリーンの位置関係を検出し、検出した位置関
係情報より、前記画像歪み補正回路によって、前記スクリーンに目的の形状で画像を表示
する。
【選択図】図10
Description
像歪み補正機能を備えたプロジェクタ装置に関する。
ずる画像歪み補正については、その歪み補正手段は特願2002-018407の明細書などに記載
されている。
であり、プロジェクタの設置についても、スクリーンに対して、水平方向は正対させる位
置に設置していた。
補正が可能になってきた。
っており、垂直方向あるいは、水平方向のみの台形歪み補正だけなら容易に手動による補
正が可能であるが、斜め方向の歪み補正については、その補正操作が非常に難しいことと
なっていた。
ときの投射映像の歪みを補正する投射型の格子状表示装置がある(例えば特許文献1参照
。)。
補正を自動的に提供することが可能となるプロジェクタ装置がある(例えば特許文献2及
び3参照)。
し、歪み補正を自動的に提供することが可能となるプロジェクタ装置がある(例えば特許
文献4、5及び6参照)。
二値化の閾値を決定する方法があり、例えば、判別分析の手法により閾値を決定する方法
がある(例えば非特許文献1参照)。
投射映像を使うなどの方法を採っていない。また、複数の位置の距離を測定するためには
、複数の測距装置が必要になっている。
ついては、投射レンズの状態により、大きくその位置並びに画面の大きさが変化するため
、単にプロジェクタとスクリーンの位置関係だけを測定するだけでは、本当に映し出され
ている映像に適した補正がなされるか不明である。
スの機械的位置関係のばらつきなどにより、正確な位置を示すことができない。
クリーン自身が奥まっている場合など、測距装置の測定位置とスクリーン位置が必ずしも
一致するとは限らない。
非常に簡単に自動的に提供することが可能となるプロジェクタ装置を提供することにある
。
投影するプロジェクタに関して、スクリーンがプロジェクタに正対していない状態で投影
された時に、投射映像表示範囲に対するスクリーンの位置を検出して、スクリーンに投射
映像が合うように画像歪み補正を行う。
向)と対応するようにキャリブレーションしておく。
への表示をスクリーンの位置に納まるような画像歪み補正を施す。
までは、CPUの内部演算にて行うことが可能である。
供することで可能とするようなシステムについては、提案されていたが、本発明では、プ
ロジェクタの投射レンズと近接または、一体になるような位置関係にイメージセンサを置
くことで、イメージセンサをプロジェクタに内蔵することが可能となり、装置単体で本発
明の目的機能が達成できるようになる。
ーンに投影するプロジェクタに関して、スクリーンがプロジェクタに正対していない状態
で投影された時に、投射レンズから、表示画像の4隅の角までの距離を検出し、この距離
の差より、投影された画像のあおり角度を算出することで、画像の歪みを検出し、その逆
補正を行うことで、画像歪み補正を行う。
までの、長方形の4隅の角までの距離を知ることができれば、同様な手段で、補正が可能
となる。この手段についても、一例を挙げる。
近い部分までの距離を検出するために、投射レンズのフォーカス調整機構に回転位置検出
センサを装着しておく。回転位置検出センサと、フォーカスが合う投射レンズからの距離
を、あらかじめキャリブレーション作業により、検出・記憶しておく。光学的にフォーカ
スが合う位置では、画面の表示状態が表示デバイス上に表示された画像がボケ無く投射表
示される。逆にフォーカスが合っていない位置では、画像がボケて表示される。2次元イ
メージセンサにより、この表示画像を撮像すると、フォーカスが合う位置において、撮像
された画像のコントラストが最大となる。このコントラスト最大となる位置を検出するこ
とで、フォーカスが合う位置を検出できる。
サからの信号と、あらかじめ検出・記憶しておいた投射レンズからの距離のデータを用い
れば、投射レンズからスクリーンまでの距離を知ることができる。
をあらかじめ表示しておくことで、フォーカス調整動作を効果的に補助することができる
。
能で、例えば、フォーカス調整機構をその調整範囲全域にわたって回転させることで、画
面上の4隅におけるフォーカス位置を同時に知ることができる。
ジェクタとスクリーンの正対位置からどの程度の角度を持って傾いているかを検出可能と
なり、これにより算出される画像の歪みを逆補正することにより、自動的に画像歪み補正
を実現する。
プロジェクタの投射表示画面全体の位置を算出する手段を具備したプロジェクタ装置で、
スクリーン内にパターンを表示してその位置を検出し、その位置から投射表示画面全体の
位置を算出することにより、イメージセンサが投射レンズよりも離れたところに位置して
いても正確に投射表示画面全体の位置の検出を行うことができるものである。
を設けることによりイメージセンサの光学的歪みがあってもスクリーン内のパターンの位
置から投射表示画面全体の位置を正確に算出することができ、スクリーン位置と投射表示
画面全体位置の相対的位置も正確に求めることができるものである。
表示画面の位置を検出し、スクリーン位置と比較することによって画像歪み補正を更新し
て画像歪み補正を行った投射表示画面の位置とスクリーン位置が一致するように制御でき
る手段を備えたものである。
れており、画像歪み補正の自動化については、その歪み補正の自動化手段は、本発明の明
細書などに記載されているが、また、本発明は、プロジェクタ装置において、スクリーン
がプロジェクタ装置と正対していない場合に生ずる、画像歪みについて、その補正方法を
供するものである。
投写が行われた場合に、上記自動画像歪み補正に用いたテストパターンなどをそのまま流
用し、手動による補正を可能とするものである。
ーインタフェース上、遅滞なく歪み補正動作が行われる手段を提供する。
み補正を、手動による調整や、またはプロジェクタの傾きなどを検出して補正などを行っ
ていた。
ーンの表示面に合った形で表示されるため、スクリーンに正対してスクリーンを見る観察
者は、スクリーン全面に長方形の通常画像が表示されている様に見えるという効果がある
。
、表示される映像が、自動的にスクリーンの傾きに応じた形に補正されるため、画像の観
察者は、結果として投射された映像を、縦横比の合った歪みのない映像にて観察できると
いう効果がある。
、表示される映像が、自動的にスクリーンの傾きに応じた形に補正されるため、画像の観
察者は、結果として投射された映像を、縦横比の合った歪みのない映像にて観察できると
いう効果がある。
映像(装置の基本機能である映像を投射する機能を利用)と、フォーカスが合う点と投射
レンズにおけるフォーカス位置を用いることで検出できる。これから分かるとおり、測距
装置としての構成は、プロジェクタ装置本来の機能を利用する形で作られており、切り離
して利用できる従来技術とは異なる。測距装置としての追加機能は、レンズに付加するフ
ォーカス位置センサ(可変抵抗器を使用した位置センサ)、テストパターン生成回路、単
一のイメージセンサであり、測定点の数も縦横の角度変化を検出するために、3箇所以上
の測距が必要となるため、別々に測距装置を用いるのに比べ、大幅にコストダウンが可能
となるという効果がある。
を測定しているため、投射された映像そのものの位置は、正確に把握でき、また、スクリ
ーン上に映し出された映像のフォーカスが合っていることを検出するため、投射レンズか
らスクリーンに投射されている映像までの距離が、レンズなどの設定状態によらず、検出
できるという効果がある。レンズなどの状態とは、ズームレンズの場合、ワイド側か、テ
レ側かの違いなどを意味する。よって、従来技術に示された方法よりも、正確に、また、
省コストにて、機能が実現できるという効果がある。
本来の機能を利用したテストパターンの投影により、スクリーンの3次元的傾きを検出で
き、その補正が可能となるため、従来技術に示された方法よりも有効である。
出し、その位置からプロジェクタの投射表示画面全体の位置を算出する手段を具備するこ
とにより、スクリーン内にパターンを表示してその位置を検出し、その位置から投射表示
画面全体の位置を算出することにより、イメージセンサが投射レンズよりも離れたところ
に位置していても正確に投射表示画面全体の位置の検出を行うことができるという効果が
ある。
を設けることによりイメージセンサの光学的歪みがあってもスクリーン内のパターンの位
置から投射表示画面全体の位置を正確に算出することができ、スクリーン位置と投射表示
画面全体位置の相対的位置も正確に求めることができるという効果がある。
表示画面の位置を検出し、スクリーン位置と比較することによって画像歪み補正を更新し
て画像歪み補正を行った投射表示画面の位置とスクリーン位置が一致するように制御でき
る手段を備えることにより、スクリーン位置と投射表示画面全体位置の相対的位置も正確
に求めることができるという効果がある。
ンタにより指示することで、画像補正を手動で行うことにより、画像歪み補正の難点であ
った人間の目でしか検出できないスクリーンや、壁などについて、一連の操作の中で、最
終手段として、調整が可能となるという効果がある。
内側にスクリーンを設置することで、信号処理回路の限界値を暗に指示でき、これによっ
て補正が不可能という状況を無くすことが出来るという効果がある。
図1に本発明の第1の実施の形態を示す。
映像が、スクリーン4まで投射できるものとする。イメージセンサ5は、投射レンズ3に
隣接し、スクリーン4までの距離に比較して、無視できるほど近い所に位置する。イメー
ジセンサ5は、投射表示された映像並びに、スクリーン4の形を取り込めるものとして、
代表的には、ラスタスキャンタイプのカメラが使用可能である。
果を画像取込部6で1枚の絵として認識できるように取り込む。イメージセンサ5の取り
込める映像は、投射表示する画面全体よりも大きな範囲とする。まず、あらかじめ、投射
表示する画面全体をイメージセンサ5によって撮像し、イメージセンサ撮像画像21上の
投射表示する画面全体の位置を記憶する(図2)。
し、イメージセンサ撮像画像21から、スクリーン4の位置を検出する。通常のスクリー
ン4は、投射映像を表示する面が白色ないし、光を反射する表面色になっており、それよ
り外側の部分(枠)は、黒に代表される投射映像を表示する面とは異なる色となっている。
スクリーン4の検出は、スクリーン色と枠は、イメージセンサ5による撮像結果から明る
さ・色の違う境界点を認識し、境界線を算出する方法で可能となる。境界線の算出は、ス
クリーン4の縦・横の区切り位置に対してそれぞれ漸近線を描くことで、可能となる。縦
横の区切り位置から、その交点である画面の4角の検出も可能になる。
相対的位置が判別できる。相対的位置が分かることによって、表示デバイス2上への画像
の表示位置を知ることが出来、歪み補正の最終目的画像形状を知ることができる。
。上記歪み補正の手段を用いて、歪み補正を行い、上記検出されたスクリーン位置に合う
ように歪み補正を行えば、目的のスクリーン面にぴったり合わせる形でプロジェクタ映像
を投射できる。
イス2に全白または、クロスハッチ(格子柄)などの特定の表示を行い、イメージセンサ上
の投射表示画面全体の画像位置を検出する。
投射表示画面全体画像22全体を撮像できるように配置する。イメージセンサ5でプロジ
ェクタ投射表示画面全体画像22を取り込み、イメージセンサ5の撮像におけるプロジェ
クタ投射表示画面全体画像22の位置を検出する。
メージセンサ5の取り付け精度、レンズ歪み等により、通常台形または、若干湾曲した映
像として取り込まれる。
画像の4隅は容易に検出が可能であり、クロスハッチ信号などを表示しておけば、プロジ
ェクタ投射表示画面全体画像22の特定の位置をクロスハッチ信号のライン位置よりおお
むね判別でき、プロジェクタ投射表示画面全体画像22が、イメージセンサ5のどの位置
に取り込まれるかを細かく知ることが可能となる。
、プロジェクタ投射表示画面全体画像22の位置と、イメージセンサ撮像画像21の位置
の関係を定義付けることが可能となる。
またはクロスハッチ信号などを入力して、画像歪み補正回路11を歪み無しとして、表示
デバイス駆動回路12を通じて、表示デバイス2に画像を表示するか、表示デバイス駆動
回路12にテストパタン発生回路を設け、上記信号を発生することでプロジェクタ表示を
行う。
センサ撮像画像21全体がスクリーン内に収まるようにすると、キャリブレーションの際
に便利である。投射された表示画像は、イメージセンサ5により、撮像され、画像取込部
6によって、画像データとして装置に取り込まれる。
ジェクタ投射表示画面全体画像22は、スクリーン4に投影されたときには長方形である
が、イメージセンサ5によって撮像されたときは、若干の歪みを生じている。
を検出する。位置検出は、イメージセンサ撮像画像21上で、水平方向、垂直方向それぞ
れx,yの位置と、プロジェクタ投射表示画面全体画像22における水平方向、垂直方向の
それぞれの表示位置xp,ypの位置との関係を一対一で表す形で行われる。簡易的に、いく
つかの代表点のみで、上記位置関係を表現することも出来る。例えば、プロジェクタ投射
表示画面全体画像22の4隅の位置、あるいは、プロジェクタ投射表示画面全体画像22
の数点の代表的位置である。
前述の通り、工場での生産時に、または、使用する初期状態として行われる。
リーン全体に画像を表示する意味から、プロジェクタ投射表示画面全体画像22は、スク
リーン4を全体を覆いつくすように設置する。上記設置されたスクリーン4をイメージセ
ンサ5にて撮像した画像例が図3のスクリーン位置画像24である。
さ・色が異なることを利用し検出を行う。イメージセンサ5により、図3のように撮像さ
れた画像を画像取込部6によって、データとして取り込む。
る。
が二値化手段15に入力される。二値化手段15は、画像全体のヒストグラムから二値化
の閾値を決定する。例えば、判別分析の手法により閾値を決定する(非特許文献1参照)
。この手法は、画像中の各画素の明度を調べ、明るい部分と暗い部分の2つの領域に分類
する。スクリーン4は、通常白く、画面中のほかの部分より明るいため、明るい部分に分
類される。その結果、画像中のスクリーン部分は、図5に示すように切り出される。二値
化手段15の出力である二値画像データは、直線検出手段16に入力される。直線検出手
段16は、明るい部分と暗い部分の境界をトレースし、境界線を得、境界線を直線部分に
分割する。図5に、L1、L2、L3、L4の4本の直線が検出された様子を示す。更に、検出さ
れた直線に対し、交点検出手段17は、L1とL4の交点としてC1、L1とL2の交点としてC2、
L2とL3の交点としてC3、L3とL4の交点としてC4を検出する。以上のようにして、スクリー
ン4の4隅の位置が求まる。
4が、エッジ検出手段19に入力される。エッジ検出手段19では、各画素について隣接
する画素値との比較が行なわれ、画素値の差が予め設定された閾値より大きいときに、そ
の画素にエッジが存在すると判定する。すると、図7に示すようなエッジ画像が得られる
。閾値の設定によっては、ある程度の太さを持ったエッジが検出されるが、その場合には
、公知の細線化手法を施し、1画素程度の幅のエッジ画像を出力する。直線当てはめ手段
20は、得られたエッジ部分に対して、直線の当てはめを行なう。実際にはエッジ部分に
対して、直線の方程式を当てはめ、直線L1〜L4を決定する。交点検出手段17は第1の構
成と同様に、得られた直線に対して、隣り合うものの交点を求め、スクリーン4の4隅の
位置を求める。
み検出部9により、スクリーン位置と表示デバイス2の表示範囲との相対的位置関係を決
定する。画像歪み補正回路11は、スクリーン歪み検出部9によって決定された表示デバ
イス2上に表示すべき映像の形に画像を表示する。
、スクリーンの形状に合わせた形に変形され、表示デバイス駆動回路12を経由して、表
示デバイス2に表示され、スクリーン4に投射表示される。
本発明の第2の実施の形態として、スクリーン位置検出を行った後に、スクリーン位置
画像24がプロジェクタ投射表示画面全体画像22の範囲内に入らなかった場合が考えら
れる(図8)。
ように、この対処方法として、スクリーン位置を検出した後で、その形を相似的に拡大縮
小並びにスクリーン内での位置移動を行うことで、スクリーン4に対して投射された画像
は長方形を維持し、かつプロジェクタ投射表示画面全体画像22の範囲内であることを満
足する画像の大きさ、並びに位置を算出し、その位置に対応する表示デバイス2の当該位
置に画像を表示することにより、実用的に使用者を満足させ得る画像を提供できる。
となる。
イメージセンサの取り付けについても、投射レンズ3の近傍に位置させる第1の実施の
形態の方法と、図9に示すとおり、投射レンズ3を通した画像を、ハーフミラー13によ
ってイメージセンサ5に導くことで撮像する第3の実施の形態の方法がある。ハーフミラ
ー13は、イメージセンサ5の撮像時のみ表示デバイス2と投射レンズ3の間に割り込ま
せる様な可動式とすれば、通常使用時に、このハーフミラー13の影響を受けることはな
い。
図10に本発明の第4の実施の形態を示す。
、スクリーンの枠をとらえることが出来ない。この時に、以下の方法を使うことができる
。
映像が、スクリーン4まで投射できるものとする。イメージセンサ5は、投射レンズ3に
隣接し、スクリーン4までの距離に比較して、無視できるほど近い所に位置する。イメー
ジセンサ5は、投射表示された映像並びに、スクリーン4の形を取り込めるものとして、
代表的には、ラスタスキャンタイプのカメラが使用可能である。
果を画像取込部6で1枚の絵として認識できるように取り込む。イメージセンサ5の取り
込める映像は、投射表示する画面全体を取り込める範囲とする。
て、説明する。
での距離と投射された画像のフォーカスが合った位置に対応したレンズのフォーカス位置
の関係(以下フォーカスプロファイルという)を、あらかじめプロジェクタを製造する工
場において記憶させる。
フォーカス位置を検出し、上記フォーカスプロファイルと照らし合わせることで、プロジ
ェクタからフォーカスが合ったスクリーン4までの距離を知ることができる。
合った位置をレンズのフォーカス位置を変化させ、上記フォーカスプロファイルを照らし
合わせることで検出し、プロジェクタからスクリーン上に投射された表示画面の4隅まで
のそれぞれの距離を知ることができる。
パターンが代表例としてあげられる。外周は、表示デバイス2の表示エリアを示す。画面
十字型のテストパターンを画面4隅に位置するように投射し、十字型テストパターンの位
置でのフォーカス点を検出する。フォーカス点の位置と距離の関係(フォーカスプロファ
イル)は、予め図12の様に測定しておく。この測定は、通常、プロジェクタ製造時に行
われ、プロジェクタ本体内に記憶される。図12のフォーカスプロファイルにより、画面
4隅でフォーカスの合ったフォーカス位置を検出することで、それぞれの点でスクリーン
4との距離を検出することが可能となる。もしも、画面4隅でフォーカスプロファイルが
若干ずれているようならば、4つの点それぞれに上記フォーカスプロファイルを作成して
おけばよい。以上の測定により、投射レンズ3からスクリーン4上の4隅のテストパター
ン位置と投射レンズ3との距離が従来の技術よりも正確に把握できる。
クリーン4の位置関係が把握できる。
ロジェクタに対してxy軸の傾き角度で表現できる。スクリーン4が枠を持った四角い形
状の場合は、投射された画面とスクリーン平面との関係はさらに回転角が加わることにな
る。しかしながら、純粋に投射された画面の歪み方のみを考える時は、四角いスクリーン
枠と投射画面の関係は考える必要がなく、投射された画面が表示される平面とプロジェク
タの位置関係を考えるのみでよい。
を計算し、スクリーン4が平面であることを前提にすれば、補正すべき表示画面形状も知
ることができる。
変化する。プロジェクタと平面スクリーンが正対している場合を図13と図15に示す。
プロジェクタに対し平面スクリーンが傾いている場合を図14と図16に示す。
と2mの投射距離で投射表示した場合では、拡大率は2倍となる。
2,3,4点のそれぞれについて、距離を測定し、その比率を計算することによって、拡
大率の差が計算でき、この拡大率の変化を用いて、出願番号が特願2002-018407の明細書
などによって、記されている歪み補正の手段を動作させる係数を発生させる。
ス調整を動作させることで特定パターンのそれぞれのフォーカス最良点をフォーカス検出
部26にて検出する。
とで、フォーカス最良点の距離が算出される。
角度φをxy軸それぞれに求め、演算することで拡大率の変化が求められ、その係数を画
像歪み補正回路11に入力することで検出したスクリーン傾きに応じた画像歪み補正が可
能となる。
ではなく、3点で行うことが可能となる。スクリーンを平面と仮定すれば、図17に示す
a軸およびb軸での回転により、画像の投写状態が表せる。a軸およびb軸での回転を表
すには、b軸のa軸に対する傾き・位置を示す2点とb軸に対しての回転角度を示すため
の1点を確定すれば、その傾きが求まる。
スクリーンが曲面スクリーンの場合においても、距離検出する点をメッシュ状に増やし
検出点間の補完を直線補完ないし高次の曲線補完を行うことによって、画像歪みの補正係
数を算出することが可能となり、自動画像歪み補正が実現できる。
以上の本発明の第1の実施の形態から第6の実施の形態は、画像のあおり投射によって
生ずる台形歪み補正を自動的に補正する方法として、プロジェクタに内蔵されたイメージ
センサを用いプロジェクタの投射表示画面全体位置に対するスクリーン位置を検出し、ス
クリーンに投射映像が合うように画像歪み補正をする方法であるが、この方法ではイメー
ジセンサ上の投射表示画面全体をあらかじめキャリブレーションにより検出しておく必要
があり、この場合の投射表示画面全体位置は固定値である。
によって導いて撮像するように位置させる方法と投射レンズの近傍に投射方向に向けて位
置させる方法などがあるが、後者の場合のように投射レンズの位置とイメージセンサの撮
像位置が一致しない場合は、あおり投射によりイメージセンサ上の撮像される投射表示画
面全体位置は変化してしまい、この変化の度合いはあおり投射の度合いが大きいほど大き
くなるため、この投射表示画面全体位置をあらかじめキャリブレーションにより検出して
おく方法ではあおり投射時に実際のイメージセンサ上の投射表示画面全体位置と一致せず
、投射表示画面全体位置に対するスクリーン位置を検出し、スクリーンに投射映像が合う
ように画像歪み補正を行う際に誤差を生じてしまい、スクリーンと投射されたプロジェク
タ映像が合わなくなる。
良いことになるが、スクリーン位置検出を用いた自動画像歪み補正ではスクリーン位置検
出のためプロジェクタの全画面表示画像がスクリーンを覆いつくすように投射するため投
射表示画面全体の境界線はスクリーンの外側に位置してしまい、スクリーンの外側にはさ
まざまな物体があることが予想されるためイメージセンサで撮像した画像から直接検出す
ることは困難である。
、その位置から投射表示画面全体の位置を算出することにより投射表示画面全体の位置を
検出することができるものである。
投射表示画面全体の位置の検出を行うことができる。
プロジェクタ装置が示されている。
クタの投射レンズ、4は映像を投射するためのスクリーン、5はスクリーンおよび投射映
像を撮像するために投射方向に向けられたイメージセンサ、6はイメージセンサで撮像さ
れた画像を取り込む画像取込部、33はイメージセンサの光学的歪みを補正するためのイ
メージセンサ光学的歪み補正回路、7はイメージセンサで撮像された画像中の投射映像の
表示位置を検出する投射表示位置検出部、8はイメージセンサで撮像された画像中のスク
リーン位置を検出するスクリーン位置検出部、41は7の結果から投射表示画面全体の位
置を算出する投射表示画面全体位置算出部、9は41と8の相対的位置からスクリーン歪
みを検出するスクリーン歪み検出部、10はプロジェクタで投射する映像を入力する映像
入力部、11は9の結果を元に歪みを補正する画像歪み補正回路、12は11からの映像
を2の表示デバイスに表示する表示デバイス駆動回路、23は7での投射表示位置検出の
ためのパターンを生成する表示用パターン生成部である。
イメージセンサ5で撮像を行い画像取込部6でその撮像画像を取り込み、イメージセンサ
光学的歪み補正回路33でイメージセンサ5での光学的歪みを補正する。撮像した画像は
図19のスクリーン位置画像24のようになっており、スクリーン位置検出部8ではスク
リーン位置画像24の境界を検出することによりスクリーン4の位置を検出する。ここで
、イメージセンサ光学的歪み補正回路33でのイメージセンサ5での光学的歪みの補正は
計算で行ってもいいし、あらかじめ用意された光学的歪みの補正用データを用いて行って
も良い。
ンを表示してその位置を検出し、その結果から算出する方法で検出する。
表示画面全体の75%である全白のパターンを表示し、このパターンをイメージセンサ5
で撮像を行い画像取込部6でその撮像画像を取り込み、イメージセンサ光学的歪み補正回
路33でイメージセンサ5での光学的歪みを補正した後、投射表示位置検出部7でその位
置を検出し投射表示画面全体位置算出部41へ送る。次に、表示用パターン生成部23に
よりスクリーン4に縦横の長さがプロジェクタ投射表示画面全体の50%である全白のパ
ターンを表示し、このパターンをイメージセンサ5で撮像を行い画像取込部6でその撮像
画像を取り込み投射表示位置検出部7でその位置を検出し投射表示画面全体位置算出部4
1へ送る。
示画像34と50%全白表示画像35のようになっており、投射表示位置検出部7で75
%全白表示画像34と50%全白表示画像35の境界をそれぞれ検出することにより75
%全白表示画像34と50%全白表示画像35の位置を検出し、投射表示画面全体位置算
出部41で75%全白表示画像34と50%全白表示画像35の相対位置からプロジェク
タ投射表示画面全体画像22の位置を算出する。
置と投射表示画面全体位置算出部41で検出したプロジェクタ投射表示画面全体画像22
の位置の相対的位置関係から表示デバイス2上でのスクリーン4の位置を求める。これに
より歪み補正の最終目的画像形状がわかり、画像歪み補正回路11ではスクリーン歪み検
出部9で検出した歪み補正の最終目的画像形状になるように映像入力部10から映像信号
に歪み補正を施し投射する。
、上記歪み補正の手段を用いて歪み補正を行い、上記検出されたスクリーン位置に合うよ
うに歪み補正を行えば、目的のスクリーン面に合わせる形でプロジェクタ映像を投射でき
る。
なくてもかまわない。
プロジェクタ投射表示画面全体画像22の位置を算出したが、例えば、図21のように7
5%全白表示画像34のパターンと中心を示す中心表示画像36のパターンを表示して位
置を検出しその相対位置からプロジェクタ投射表示画面全体画像22の位置を算出しても
よい。
図22を参照すると本発明の第8の実施の形態としての自動画像歪み補正機能を備えた
プロジェクタ装置が示されている。
なく、前述の本発明の第7の実施の形態の方法で一旦画像歪み補正を行い、その後、画像
歪み補正後の投射表示位置とスクリーン位置を比較し、一致するようにフィードバック制
御で補正するものである。
表示画面全体位置算出部41で算出したプロジェクタ投射表示画面全体画像22の位置か
らその相対的位置関係が求まると、表示デバイス2上でのスクリーン4の位置がわかって
歪み補正の最終目的画像形状を知ることができ、画像歪み補正回路11でスクリーン位置
に合うように歪み補正を行い、目的のスクリーン面に合わせる形でプロジェクタ映像を投
射するが、イメージセンサ5に光学的歪みがありイメージセンサ光学的歪み補正回路33
で補正できないような場合はスクリーン4に投射された画像歪み補正を施した映像とスク
リーン4が一致しない。すなわち、光学的歪みが複雑で計算が困難である場合やあらかじ
め光学的歪み補正用データを用意するのが困難、例えば、生産するプロジェクタ装置ごと
に光学的歪み特性を測定してデータを作るのに時間を要し現実的でない場合は前述の第7
の実施の形態のような光学的歪み補正を行うことができない。
、投射表示画面位置−スクリーン位置比較部29、画像歪み補正データ部40が追加され
、表示用パターン生成部23が表示デバイス駆動回路12でなく、その生成パターン出力
に画像歪み補正が掛けられるように画像歪み補正回路11へ入力されている。
0からの映像信号がそのまま表示デバイス駆動回路12へ出力されるようにし、前述の第
7の実施の形態と同じ方法でスクリーン4の位置をスクリーン位置検出部8で検出し、プ
ロジェクタ投射表示画面全体の位置を投射表示画面全体位置算出部41で算出し、スクリ
ーン歪み検出部9でそれらの相対的位置関係から表示デバイス2上でのスクリーンの位置
を求めることにより歪み補正の最終目的画像形状を検出する。
、画像歪み補正回路11で画像歪み補正データ部40に格納されたデータを元に画像歪み
補正が施されるようにし、画像歪み補正が施された画像歪み補正回路11の出力信号が投
射されるようにする。このとき、画像歪み補正データ部40にはスクリーン歪み検出部9
の出力を縮小して格納しているため投射映像は図24のようにスクリーンの内側に表示さ
れる。ここで、上記縮小はイメージセンサ5の光学的歪みによる投射表示画面全体位置算
出部41でのプロジェクタ投射表示画面全体位置の算出の誤差32を考慮し、スクリーン
4の外側に表示されない範囲で行う。
画像サイズのパターンを表示し、このパターンをイメージセンサ5で撮像を行い画像取込
部6でその撮像画像を取り込み、投射表示位置検出部7で投射表示位置の検出を行う。こ
こで、前述の通りスクリーン歪み検出部9の出力を縮小処理しているので、この100%
全白パターンは図24の縮小した表示範囲31のようにスクリーン4の内側に表示される
。
囲38で画像歪み補正を施すと縮小しない表示範囲30の範囲となり、そのときのイメー
ジセンサ5の光学歪による誤差が光学的歪みによる誤差32の部分になる。
置検出部8で検出したスクリーン位置を投射表示画面位置−スクリーン位置比較部29で
比較し、投射表示画面位置がスクリーン位置に一致する方向に変化するように画像歪み補
正データ部40の画像歪み補正データを更新する。そして、上記の表示された100%全
白パターンの撮像、投射表示画面位置の検出、スクリーン位置との比較、画像歪みデータ
の更新を繰り返し行い最終的に投射表示位置検出部7で検出した投射表示画面の位置とス
クリーン位置検出部8で検出したスクリーン位置が一致するように制御する。このとき、
スクリーンの外に投射されたパターンの位置検出は正しく行えないため必ずスクリーンの
内側からスクリーンに一致するように画像歪み補正データを更新させる。
図25に第9の実施の形態を示す。第4の実施の形態のブロック図(図10)に加え、
画面上のポインタ制御・表示部42を加えてある。
、中央部映像43と外周部映像44を表示し、スクリーン4を中央部映像43を内包し、
外周部映像44をはみ出さない形で設置してもらう。この行為は、使用者に対して、暗に
画像歪み補正の動作範囲を指示することになり、自動補正を行う際にその回路限界以内で
の補正動作が行えることとなり、画像歪み補正の動作限界による補正実行が不可能となる
事はなくなる。
過型スクリーンの様な場合には、自動でスクリーン4を検出することが難しい。
献1に示されている。)。
43をそのまま用いて、その4隅をポインタにより指示することで、画像補正を手動で行
うことにより、淀みない操作の流れが構築でき、ユーザーは、最小の時間で画像歪み補正
操作を実施できる。
明する。
点を明示的に表示するなどして、その部分がポイント可能であることを示唆する。その後
、装置に備えられたポインタによって、中央部映像43の4隅をスクリーン4の4隅に合
致させることで、表示画面上の位置とスクリーンの4隅が関係付けられ、その後、図25
に示される画像歪み補正回路11にて、補正を行うことで補正が可能となる。
2 表示デバイス(液晶パネル)
3 投射レンズ
4 スクリーン
5 イメージセンサ
6 画像取込部
7 投射表示位置検出部
8、18 スクリーン位置検出部
9 スクリーン歪み検出部
10 映像入力部
11 画像歪み補正回路
12 表示デバイス駆動回路
13 ハーフミラー
14 画像明度データ
15 二値化手段
16 直線検出手段
17 交点検出手段
19 エッジ検出手段
20 直線当てはめ手段
21 イメージセンサ撮像画像
22 プロジェクタ投射表示画面全体画像
23 表示用パターン生成部
24 スクリーン位置画像
25 位置・大きさ補正された表示画像
26 フォーカス検出部
27 レンズフォーカス位置検出部
28 距離検出部補正係数算出部
29 投射表示画面位置−スクリーン位置比較部
30 縮小しない表示範囲
31 縮小した表示範囲
32 光学的歪みによる誤差
33 イメージセンサ光学的歪み補正回路
34 75%全白表示画像
35 50%全白表示画像
36 中心表示画像
37 表示デバイス上の画像
38 検出したプロジェクタ投射表示画面全体範囲
39 38を縮小した表示範囲
40 画像歪み補正データ部
41 投射表示画面全体位置算出部
42 画面上のポインタ制御・表示部
43 中央部映像
44 外周部映像
Claims (8)
- ドットマトリクス表示を行う表示デバイスに表示された画像を、拡大投影するプロジェク
タ装置であって、
画像の歪みを前記表示デバイスへの表示を変形させることで補正を実現する画像歪み補
正回路と、投射表示された画像と投射画面近傍に設置されたスクリーンとを撮像すること
が出来るイメージセンサとを備え、
該イメージセンサにて撮像された画像より、前記プロジェクタ装置の表示画面の複数点
と前記プロジェクタ装置との距離を算出することで、前記プロジェクタ装置と前記スクリ
ーンの位置関係を検出し、検出した位置関係情報より、前記画像歪み補正回路によって、
前記スクリーンに目的の形状で画像を表示できるプロジェクタ装置。 - 請求項1に記載のプロジェクタ装置であって、前記イメージセンサを、前記投射表示され
た画像を拡大投影する投射レンズの近傍に位置させた、プロジェクタ装置。 - 請求項1に記載のプロジェクタ装置であって、投射レンズを通した画像を前記イメージセ
ンサにて撮像できる構成のプロジェクタ装置。 - 請求項1に記載のプロジェクタ装置であって、前記投射表示された画像を用いて、前記画
像のフォーカスが合っている状態を検出することで、前記プロジェクタ装置から前記スク
リーンまでの距離を検出する構成のプロジェクタ装置。 - 請求項1に記載のプロジェクタ装置であって、前記プロジェクタ装置と前記スクリーンの
位置関係を識別する時に、画像上のいくつかの代表点を識別する構成のプロジェクタ装置
。 - 請求項1に記載のプロジェクタ装置であって、前記プロジェクタ装置と前記スクリーンの
位置関係を検出する際に、テストのための画像を投射表示するプロジェクタ装置。 - 請求項5に記載のプロジェクタ装置であって、前記画像上のいくつかの代表点を識別する
手段として、特定の代表点を点滅表示させ、点滅状態を前記イメージセンサにて識別させ
ることで画像上の特定の位置として認識させる構成のプロジェクタ装置。 - 請求項4に記載のプロジェクタ装置であって、自動調整が失敗に終わった後に、中央部映
像と外周部映像を表示し、前記中央部映像を内包し、かつ前記外周部映像よりも内側に前
記スクリーンを設置することで、画像歪み補正範囲の限界をユーザーに指示し、補正不可
能な状態を排除し、ポインタによって、前記中央部映像の4隅を前記スクリーンの4隅に
合致させることで、表示画面上の位置と前記スクリーンの4隅とを関係付け、前記画像歪
み補正回路にて補正を行う、プロジェクタ装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006093614A JP3996617B2 (ja) | 2002-07-23 | 2006-03-30 | 画像歪み補正機能を備えたプロジェクタ装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002213797 | 2002-07-23 | ||
JP2002363539 | 2002-12-16 | ||
JP2003025874 | 2003-02-03 | ||
JP2006093614A JP3996617B2 (ja) | 2002-07-23 | 2006-03-30 | 画像歪み補正機能を備えたプロジェクタ装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005165494A Division JP3996610B2 (ja) | 2002-07-23 | 2005-06-06 | プロジェクタ装置とその画像歪補正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006246502A true JP2006246502A (ja) | 2006-09-14 |
JP3996617B2 JP3996617B2 (ja) | 2007-10-24 |
Family
ID=37052332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006093614A Expired - Fee Related JP3996617B2 (ja) | 2002-07-23 | 2006-03-30 | 画像歪み補正機能を備えたプロジェクタ装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3996617B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005318652A (ja) * | 2002-07-23 | 2005-11-10 | Nec Viewtechnology Ltd | 画像歪み補正機能を備えたプロジェクタ装置 |
JP2008085481A (ja) * | 2006-09-26 | 2008-04-10 | Sharp Corp | 画像調整方法及びプロジェクタ |
JP2008216351A (ja) * | 2007-02-28 | 2008-09-18 | Casio Comput Co Ltd | 投影装置、投影方法及びプログラム |
JP2008257125A (ja) * | 2007-04-09 | 2008-10-23 | Seiko Epson Corp | プロジェクションシステム、形状測定装置、および光学特性評価装置 |
JP2010050799A (ja) * | 2008-08-22 | 2010-03-04 | Seiko Epson Corp | 投写型表示装置および画像の補正方法 |
JP2013083985A (ja) * | 2012-11-20 | 2013-05-09 | Casio Comput Co Ltd | 投影装置、投影方法及びプログラム |
WO2015170507A1 (ja) * | 2014-05-07 | 2015-11-12 | ソニー株式会社 | 表示処理装置及び投射型画像表示装置 |
JP2017072795A (ja) * | 2015-10-09 | 2017-04-13 | セイコーエプソン株式会社 | プロジェクター、及び、プロジェクターの制御方法。 |
KR20190092979A (ko) * | 2018-01-31 | 2019-08-08 | 엘지전자 주식회사 | 제어장치 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4089426B2 (ja) * | 2002-12-26 | 2008-05-28 | カシオ計算機株式会社 | プロジェクタ、撮像装置、台形補正用プログラム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH089309A (ja) * | 1994-06-23 | 1996-01-12 | Canon Inc | 表示方法及び装置 |
JPH10333088A (ja) * | 1997-05-28 | 1998-12-18 | Canon Inc | 投射画像の表示方法および投射型画像表示装置 |
JP2001083949A (ja) * | 1999-09-16 | 2001-03-30 | Japan Science & Technology Corp | 映像投影装置 |
JP2002006397A (ja) * | 2000-06-22 | 2002-01-09 | Sony Corp | 画像表示装置 |
JP2002062842A (ja) * | 2000-08-11 | 2002-02-28 | Nec Corp | 投射映像補正システム及びその方法 |
JP2002071315A (ja) * | 2000-09-05 | 2002-03-08 | Nec Corp | 投影平面計測システム |
JP2002247614A (ja) * | 2001-02-15 | 2002-08-30 | Ricoh Co Ltd | プロゼェクタ |
JP2005318652A (ja) * | 2002-07-23 | 2005-11-10 | Nec Viewtechnology Ltd | 画像歪み補正機能を備えたプロジェクタ装置 |
-
2006
- 2006-03-30 JP JP2006093614A patent/JP3996617B2/ja not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH089309A (ja) * | 1994-06-23 | 1996-01-12 | Canon Inc | 表示方法及び装置 |
JPH10333088A (ja) * | 1997-05-28 | 1998-12-18 | Canon Inc | 投射画像の表示方法および投射型画像表示装置 |
JP2001083949A (ja) * | 1999-09-16 | 2001-03-30 | Japan Science & Technology Corp | 映像投影装置 |
JP2002006397A (ja) * | 2000-06-22 | 2002-01-09 | Sony Corp | 画像表示装置 |
JP2002062842A (ja) * | 2000-08-11 | 2002-02-28 | Nec Corp | 投射映像補正システム及びその方法 |
JP2002071315A (ja) * | 2000-09-05 | 2002-03-08 | Nec Corp | 投影平面計測システム |
JP2002247614A (ja) * | 2001-02-15 | 2002-08-30 | Ricoh Co Ltd | プロゼェクタ |
JP2005318652A (ja) * | 2002-07-23 | 2005-11-10 | Nec Viewtechnology Ltd | 画像歪み補正機能を備えたプロジェクタ装置 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005318652A (ja) * | 2002-07-23 | 2005-11-10 | Nec Viewtechnology Ltd | 画像歪み補正機能を備えたプロジェクタ装置 |
JP2008085481A (ja) * | 2006-09-26 | 2008-04-10 | Sharp Corp | 画像調整方法及びプロジェクタ |
JP4688768B2 (ja) * | 2006-09-26 | 2011-05-25 | シャープ株式会社 | 画像調整方法及びプロジェクタ |
JP2008216351A (ja) * | 2007-02-28 | 2008-09-18 | Casio Comput Co Ltd | 投影装置、投影方法及びプログラム |
JP2008257125A (ja) * | 2007-04-09 | 2008-10-23 | Seiko Epson Corp | プロジェクションシステム、形状測定装置、および光学特性評価装置 |
JP2010050799A (ja) * | 2008-08-22 | 2010-03-04 | Seiko Epson Corp | 投写型表示装置および画像の補正方法 |
JP2013083985A (ja) * | 2012-11-20 | 2013-05-09 | Casio Comput Co Ltd | 投影装置、投影方法及びプログラム |
US10007173B2 (en) | 2014-05-07 | 2018-06-26 | Sony Corporation | Display processing device and projection type image display device |
WO2015170507A1 (ja) * | 2014-05-07 | 2015-11-12 | ソニー株式会社 | 表示処理装置及び投射型画像表示装置 |
JP2017072795A (ja) * | 2015-10-09 | 2017-04-13 | セイコーエプソン株式会社 | プロジェクター、及び、プロジェクターの制御方法。 |
CN106851234A (zh) * | 2015-10-09 | 2017-06-13 | 精工爱普生株式会社 | 投影仪以及投影仪的控制方法 |
US10431131B2 (en) | 2015-10-09 | 2019-10-01 | Seiko Epson Corporation | Projector and control method for projector |
CN106851234B (zh) * | 2015-10-09 | 2021-03-05 | 精工爱普生株式会社 | 投影仪以及投影仪的控制方法 |
KR20190092979A (ko) * | 2018-01-31 | 2019-08-08 | 엘지전자 주식회사 | 제어장치 |
EP3747003A4 (en) * | 2018-01-31 | 2021-12-01 | LG Electronics Inc. | CONTROL DEVICE |
KR102533385B1 (ko) * | 2018-01-31 | 2023-05-17 | 엘지전자 주식회사 | 제어장치 |
Also Published As
Publication number | Publication date |
---|---|
JP3996617B2 (ja) | 2007-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3996610B2 (ja) | プロジェクタ装置とその画像歪補正方法 | |
JP2004260785A (ja) | 画像歪み補正機能を備えたプロジェクタ装置 | |
JP3996617B2 (ja) | 画像歪み補正機能を備えたプロジェクタ装置 | |
EP1508876B1 (en) | Image projection method and device | |
US8272748B2 (en) | Projection-type display apparatus and method for performing projection adjustment | |
EP1385335B1 (en) | Image projector with image-feedback control | |
US7175285B2 (en) | Projection system that adjusts for keystoning | |
US6932480B2 (en) | Image processing system, projector, program, information storage medium and image processing method | |
EP1608160B1 (en) | Projector and image correction method | |
US7226173B2 (en) | Projector with a plurality of cameras | |
EP1638345A1 (en) | Method for calculating display characteristic correction data, program for calculating display characteristic correction data, and device for calculating display characteristic correction data | |
JP5069038B2 (ja) | 背面投射型表示装置 | |
US20130222776A1 (en) | Image projector, method of image projection, and computer-readable storage medium storing program for causing computer to execute image projection | |
CN112272292B (zh) | 投影校正方法、装置和存储介质 | |
KR101053506B1 (ko) | 어안 렌즈를 구비하는 카메라 모듈에 의해 획득된 영상의 왜곡 보정을 위한 파라미터 조정 방법 | |
WO2006025191A1 (ja) | マルチプロジェクションシステムにおける幾何補正方法 | |
TW200425736A (en) | Image processing system, projector and image processing method | |
KR20020066219A (ko) | 촬상 시스템, 상기 시스템에서 화상 데이터를 제어하도록사용되는 프로그램, 상기 시스템에서 촬상 화상의 왜곡을보정하기 위한 방법 및 상기 방법의 순서를 기억시키는기록 매체 | |
CN113395498A (zh) | 投影仪的控制方法以及投影仪 | |
US20220292652A1 (en) | Image generation method and information processing device | |
JP5267175B2 (ja) | 投写光学系のズーム比測定方法、そのズーム比測定方法を用いた投写画像の補正方法及びその補正方法を実行するプロジェクタ | |
JP3931130B2 (ja) | 測定システム、演算方法および演算プログラム | |
CN114339179A (zh) | 投影校正方法、装置、存储介质以及投影设备 | |
JP2003087689A (ja) | プロジェクタの画像補正装置 | |
JP2005024618A (ja) | 傾斜角度測定装置を有するプロジェクタ。 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070802 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110810 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110810 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120810 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120810 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120810 Year of fee payment: 5 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130810 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |