JP3846981B2

JP3846981B2 - Information display device with optical position detector

Info

Publication number: JP3846981B2
Application number: JP23753797A
Authority: JP
Inventors: 伸康山口; 聡佐野; 文彦中沢; 安津夫飯田; 文隆安部
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1997-09-02
Filing date: 1997-09-02
Publication date: 2006-11-15
Anticipated expiration: 2017-09-02
Also published as: JPH1185376A

Description

【０００１】
【発明の属する技術分野】
本発明は、コンピュータシステム等により情報が表示される表示装置と、その表示画面上での指示位置を指示物検出装置により光学的に検出すると共にその検出結果を表示装置の表示画面上に直接表示し、または表示装置の表示画面上に重ねられた表示画面に表示する光学式位置検出装置付き情報表示装置に関する。
【０００２】
【従来の技術】
主としてパーソナルコンピュータ等のコンピュータシステムの普及に伴って、コンピュータシステムにより情報が表示される表示装置の表示画面上を人の指または特定の指示物により指示することにより、新たな情報を入力したり、コンピュータシステムに対して種々の指示を与えたりする装置が利用される。
【０００３】
そのようなパーソナルコンピュータ等の表示装置の表示画面に表示された情報に対してタッチ方式にて入力操作を行なう場合には、その表示画面上での接触位置（指示位置）を高精度に検出する必要がある。このような座標面となる表示画面上の指示位置を検出する方法として、「キャロル方式」（米国特許４，２６７，４４３号）が知られている。この方法は、表示画面の前面の枠に発光素子と受光素子とを対向配置させることによって表示画面の前面に光のマトリックスを構成し、指またはペンの接触による光の遮断位置を検出している。この方法では、高いＳ／Ｎが得られて大型の表示装置に適用を拡張させることも可能であるが、発光素子及び受光素子の配置間隔に検出の分解能が比例するので、検出の分解能を高めるためにはその配置間隔を狭くする必要がある。従って、大画面に対してペン先等のような細い物で接触した場合にもその接触位置を精度良く検出するためには、配置すべき発光素子及び受光素子の数が増大し、構成が大嵩になると共に、信号処理も複雑になるという問題がある。
【０００４】
また、他の光学的な位置検出方法が、特開昭５７−２１１６３７号公報に開示されている。この方法は、レーザ光線のような絞った光を表示画面の外側から角的に走査し、反射手段を有する専用ペンからの反射光の２つのタイミングから専用ペンが存在する角度をそれぞれ求め、求めた角度を三角測量の原理にあてはめて位置座標を計算にて検出する。この方法では、部品点数を大幅に削減でき、また、高い分解能を有することも可能である。しかしながら、専用の反射ペンを利用しなければならない等、操作性に問題があり、また、指，任意のペン等の位置は検出することができない。
【０００５】
更に他の光学的な位置検出方法が、特開昭６２−５４２８号公報に提案されている。この方法は、表示画面の両側枠に光再帰性反射体を配置し、角的に走査した光線のこの光再帰性反射体からの戻り光を検知し、指またはペンによって光線が遮断されるタイミングから指またはペンの存在角度を求め、求めた角度から三角測量の原理にて位置座標を検出する。この方法では、部品点数が少なくて検出精度を維持でき、指，任意のペン等の位置も検出できる。
【０００６】
【発明が解決しようとする課題】
しかしながら、いずれの手法においても、表示装置の表示画面が基準とする座標系と、指示物検出装置がその検出の基準とする座標系とが一致していなければ実用に耐え得ないことは明白である。両座標系は、そもそも装置の製造時点において一致するように調整される必要があることは言うまでもないが、使用中においても常時調整する必要がある。
【０００７】
本発明はこのような事情に鑑みてなされたものであり、表示装置の表示画面が基準とする座標系と指示物検出装置がその検出の基準とする座標系との一致を容易に維持可能な光学式位置検出装置付き情報表示装置の提供を目的とする。
【０００８】
【課題を解決するための手段】
請求項１の光学式位置検出装置付き情報表示装置は、表示画面上に第１の座標系を基準として情報を表示する表示装置と、その表示画面周辺に配置され表示画面上の所定領域に指示物で指示された位置と指示物の大きさを第２の座標系を基準として光学的に検出する指示物検出装置とを備えた光学式位置検出装置付き情報表示装置であって、表示装置は表示画面上で第１の座標系の所定位置に指示基準位置を表示する指示基準位置表示手段を有し、指示物検出装置は、表示画面上に表示された指示基準位置に指示物が位置した場合に、第２の座標系を基準として検出された指示物の指示位置を、第１の座標系の所定位置と比較することにより、第１の座標系と第２の座標系とを一致させる補正手段を有し、補正手段は、指示物検出装置によって第２の座標系を基準として検出された指示位置から、表示装置の表示画面上の前記第１の座標系を基準とした表示位置を算出する際に、一次変換式を用いて補正し、指示物検出装置によって前記第２の座標系を基準として検出された指示物の大きさから表示装置の表示画面上の第１の座標系を基準とした表示物の表示領域を算出する際に用いる補正係数を、一次変換式の補正係数に基づいて決定すべくなしてあることを特徴とする。
【０００９】
請求項２の光学式位置検出装置付き情報表示装置は、請求項１において、指示物検出装置が、所定領域の外側に設けた光再帰性反射手段と、領域と実質的に平行である面内で光を角的に走査する光走査手段、及び光によって照射された部分の光再帰性反射手段による反射光を受光する受光手段を有する少なくとも２組の光送受手段と、光走査手段での走査角度及び受光手段での受光結果に基づいて、指示物にて形成される領域での走査光の遮断範囲を計測する計測手段と、この計測手段による計測結果に基づいて指示物の位置と大きさを算出する算出手段とを有することを特徴とする。
【００１１】
請求項３の光学式位置検出装置付き情報表示装置は、請求項１又は２において、指示基準位置表示手段は、指示基準位置を、表示画面上の所定領域内の相異なる少なくとも３点以上に設定すべくなしてあることを特徴とする。
【００１２】
請求項４の光学式位置検出装置付き情報表示装置は、請求項１乃至３のいずれかにおいて、指示物検出装置が、指示物の検出を複数回に渡って行なうべくなしてあることを特徴とする。
【００１３】
請求項５の光学式位置検出装置付き情報表示装置は、請求項１において、補正手段が、一次変換式の補正係数を決定する際に、統計的手法を用いるべくなしてあることを特徴とする。
【００１５】
請求項６の光学式位置検出装置付き情報表示装置は、請求項１又は５において、補正手段が、指示物検出装置によって第２の座標系を基準として検出された指示物の大きさから表示装置の表示画面上の第１の座標系を基準とした表示物の表示領域を算出する際に用いる補正係数を、一次変換式の補正係数の内の特定の複数の係数の最大値または最小値を用いるべくなしてあることを特徴とする。
【００１６】
請求項７の光学式位置検出装置付き情報表示装置は、請求項１又は５において、補正手段が、指示物検出装置によって第２の座標系を基準として検出された指示物の大きさから表示装置の表示画面上の第１の座標系を基準とした表示物の表示領域を算出する際に用いる補正係数を、一次変換式の補正係数の内の特定の複数の係数の平均値を用いるべくなしてあることを特徴とする。
【００１７】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
【００１８】
図１は、本発明の光学式位置検出装置付き情報表示装置（以下、本発明装置と言う）の基本構成を示す模式図である。
【００１９】
図１において参照符号１０は、パーソナルコンピュータ等の電子機器におけるＣＲＴまたはフラットディスプレイパネル（ＰＤＰ，ＬＣＤ，ＥＬ等），投射型映像表示装置等の表示画面であり、本実施の形態では横方向９２．０ｃｍ×縦方向５１．８ｃｍで対角１０５．６ｃｍの表示寸法を有するＰＤＰ（プラズマディスプレイ）の表示画面として構成されている。後述するように第１の座標面となるこの長方形の表示画面１０の一つの短辺（本実施の形態では右側の辺）の両隅の外側には、発光素子，受光素子，ポリゴンミラー等を含む光学系を内部に有する光送受ユニット１ａ，１ｂがそれぞれ設けられている。また、表示画面１０の右側の辺を除く３辺、つまり、上下両側の辺及び左側の辺の外側には再帰性反射シート７が設けられている。
【００２０】
なお、参照符号Ｓは遮断物（指示物）としての人の指の断面を示している。
【００２１】
両光送受ユニット１ａ，１ｂは、赤外線レーザを出射するレーザダイオードからなる発光素子１１ａ，１１ｂと、再帰性反射シート７からの反射光を受光する受光素子１３ａ，１３ｂと、発光素子１１ａ，１１ｂからのレーザ光を角的に走査するための本実施の形態では４角形のポリゴンミラー１６ａ，１６ｂと等を主要構成要素としている。なお、受光素子１３ａ，１３ｂは受光手段として機能し、発光素子１１ａ，１１ｂ及びポリゴンミラー１６ａ，１６ｂは光走査手段として機能する。そして、この２組の光送受ユニット１ａ，１ｂ及びそれらの信号処理系と、再帰性反射シート７と等が計測手段として機能する。
【００２２】
このような構成においては、発光素子１１ａ，１１ｂから出射されたレーザ光が、ポリゴンミラー１６ａ，１６ｂの回転によって表示画面１０と実質的に平行である面内を角的に走査されて再帰性反射シート７に投射される。そして、再帰性反射シート７からの反射光が、ポリゴンミラー１６ａ，１６ｂにて反射された後、受光素子１３ａ，１３ｂに入射される。但し、投射光の光路に遮断物（指示物）が存在する場合には投射光が遮断されるため、反射光は受光素子１３ａ，１３ｂに入射されることはない。なお、ポリゴンミラー１６ａ，１６ｂの回転により、９０度以上のレーザ光の角的走査が実現される。
【００２３】
また、参照符号５は指，ペン等の遮断物（指示物）Ｓの位置，大きさを計測演算すると共に、装置全体の動作を制御するＭＰＵであり、機能的には、計測手段による計測結果から指示物Ｓの位置と大きさとを算出する算出部５１と、この算出部５１による算出結果に基づいて表示装置６に表示すべき情報を制御する画像制御部５２とで構成される。なお、表示装置６は、図１では独立して示されているが、実際には表示画面１０が兼用される。
【００２４】
このような本発明装置においては、図１に示されているように、たとえば光送受ユニット１ｂに関して説明すると、光送受ユニット１ｂからの投射光は、図１上で反時計方向回りに走査され、まず再帰性反射シート７の先端部分で反射される位置（Ｐｓ）に至って走査開始位置になる。そして、遮断物Ｓの一端に至る位置（Ｐ１）にいたるまでは再帰性反射シート７により反射されるが、遮断物Ｓの他端に至る位置（Ｐ２）までの間は遮断物Ｓによって遮断され、その後の走査終了位置（Ｐｅ）に至るまでは再帰性反射シート７により反射される。
【００２５】
但し、光送受ユニット１ａでは、図１上で時計方向回りに光の走査が行なわれる。ここで、光送受ユニット１ａは図１上で時計回り方向に表示画面１０の下辺側を走査開始方向とし、逆に光送受ユニット１ｂは図１上で反時計回り方向に表示画面１０の上辺側を走査開始方向とする理由について説明する。
【００２６】
たとえば光送受ユニット１ｂの場合には、表示画面１０の上辺側または左辺側のいずれを走査開始方向としてもよいが、光送受ユニット１ｂから見た場合、表示画面１０の上辺の方が下辺よりも距離的に近いために反射光量が大であること、及び再帰性反射シート７の反射面が表示画面１０の上辺ではほぼ直角であるために反射光量が大であることにより、表示画面１０の上辺側を走査開始方向としている。換言すれば、光送受ユニット１ｂの場合に表示画面１０の下辺側を走査開始方向とすると、表示画面１０の下辺の方が上辺よりも距離的に遠いため、走査開始時点の反射光量が小さくなり、また再帰性反射シート７の反射面が湾曲しているために反射光量が小さくなる。但し、再帰性反射シート７の湾曲に関しては本質的な問題ではなく、湾曲させないような構成を採ることも勿論可能である。
【００２７】
ところで、図１に示されているように、再帰性反射シート７は両光送受ユニット１ａ，１ｂが配置されている辺を開口部とし、表示画面１０を囲むようにして”Ｕ”字状に配置されている。更に、参照符号７ａ，７ｂにて示されているように、両光送受ユニット１ａ，１ｂから再帰性反射シート７への光の投射角度が小さくなる部分、具体的には両光送受ユニット１ａ，１ｂが配置されている辺と直交する２辺（図１上では上側の辺と下側の辺）の両光送受ユニット１ａ，１ｂから遠い部分には鋸歯状に再帰性反射シートが設置されている。
【００２８】
このような再帰性反射シートの鋸歯状部分７ａ，７ｂにより、たとえば光送受ユニット１ｂからの投射光はＰｓの位置から再帰性反射シートの鋸歯状部分７ｂの一端の位置Ｐ３まで走査が進むに伴って再帰性反射シート７への入射角度が次第に小さくなるため反射光量もそれに伴って低下する。しかし、再帰性反射シートの鋸歯状部分７ｂの一端の位置Ｐ３から他端の位置Ｐ４までの間は再帰性反射シートの鋸歯状部分７ｂにほぼ直角に入射するので再帰性反射率のそれ以上の低下が回避される。
【００２９】
次に、本発明装置による座標面での位置検出動作について、その原理を示す図２の模式図を参照して説明する。但し、図２では光送受ユニット１ａ，１ｂ、再帰性反射シート７，表示画面１０以外の構成部材は図示を省略している。また、以下の説明では光送受ユニット１ｂ側をチャンネル１（Ｃｈ１）とし、光送受ユニット１ａ側をチャンネル２（Ｃｈ２）とする。
【００３０】
ＭＰＵ５はポリゴン制御回路を制御することにより、光送受ユニット１ａ，１ｂ内のポリゴンミラー１６ａ，１６ｂを回転させて、発光素子１１ａ，１１ｂからのレーザ光を角的に走査する。この結果、再帰性反射シート７からの反射光が受光素子１３ａ，１３ｂに入射する。このようにして受光素子１３ａ，１３ｂに入射した光の受光量は図示しない信号処理回路の出力である受光信号として得られる。この受光信号のレベルの変化を両光走査手段１２ａ，１２ｂでの走査角度として検出し、以下のような手法により処理する。
【００３１】
なお、ＭＰＵ５の算出部５１に与えられる情報は、主として図２に示されている下記の４種類の情報である。
【００３２】
θ_1-1：Ｃｈ１（光送受ユニット１ｂ）の走査開始から指示物Ｓ検出までの角度
θ_1-2：Ｃｈ１（光送受ユニット１ｂ）の指示物Ｓの検出幅角度
θ_2-1：Ｃｈ２（光送受ユニット１ａ）の走査開始から指示物Ｓ検出までの角度
θ_2-2：Ｃｈ２（光送受ユニット１ａ）の指示物Ｓの検出幅角度
【００３３】
求めるべき座標Ｐ（指示物Ｓの中心）の座標算出と、指示物Ｓの半径ｒの算出は以下の式（１）乃至（６）で行なわれる。但し、両光送受ユニット１ａ，１ｂが図１上において左側の短辺に沿って設置されている場合には、式（４）乃至（６）はそれぞれ式（４′），（５′），（６′）式のようになる。
【００３４】
θ₁= θ_1-1＋θ_1-2／2 ・・・（１）
θ₂= θ_2-1＋θ_2-2／2 ・・・（２）
ｙ= Ｌ× tanθ₁／(tanθ₁＋ tanθ₂) ・・・（３）
ｘ= Ｗ−ｙ× tanθ₂ ・・・（４）
ｒ１＝｛（Ｗ−ｘ）²＋ｙ²｝^1/2× sin（θ_2-2／２）・・・（５）
または
ｒ２＝｛（Ｗ−ｘ）²＋（Ｌ−ｙ）²｝^1/2× sin（θ_1-2／２）・・・（６）
ｘ= ｙ× tanθ₂ ・・・（４′）
ｒ１＝（ｘ²＋ｙ²）^1/2× sin（θ_2-2／２）・・・・（５′）
または
ｒ２＝（ｘ²＋（Ｌ−ｙ）²）^1/2× sin（θ_1-2／２）・・・（６′）
【００３５】
図３は指示物検出装置により検出基準とされる座標系（第２の座標系）と、表示画面１０の表示の基準となる座標系（第１の座標系）との重ね合わせの状態と両座標系の座標軸の関係を示す模式図である。
【００３６】
本発明装置では、表示画面１０の周辺部に指示物検出装置の再帰性反射シート７と光送受ユニット１ａ，１ｂとを設置する。それらの位置ずれ誤差等のため、指示物検出装置の第２の座標系（ｘ，ｙ）（単位：mm）の座標軸と、表示画面１０の第１の座標系（Ｘ，Ｙ）（単位：ドット）との座標軸とがずれている可能性ある。このため、両者を対応付けて補正しない場合には、指示物Ｓが指示した位置とは異なる位置に画像が表示される虞が生じる。また、指示物検出装置の座標単位は絶対長（mm）であるのに対し、表示画面１０の座標単位は画素（ドット) であるため、両者間の単位系の変換も行なう必要がある。
【００３７】
このような事情から本発明装置では、上述の座標変換を下記式（７）に示すような一次変換式を用いて行なうものとする。
【００３８】
【数１】

【００３９】
ここで、式（７）中の係数ｍ₀〜ｍ₅の決定は、表示画面１０上に座標が既知の指示基準位置を示すマーカを表示し、そのマーカを実際に指示物Ｓで指示した際の検出位置との関係から算出して決定している。
【００４０】
また、式（７）中の係数はｍ₀〜ｍ₅の６個であるため、これらを求めるためには、式（７）が３式分、即ち少なくとも異なる３位置において１度ずつ上述同様の指示操作と検出とを行なえばよいことになる。但し、より計算精度を高めるためには、より多くの指示基準位置を設定してマーカを表示し、各マーカでの検出操作もそれぞれについて複数回行なうことが望ましい。
【００４１】
なお、図３に示されている例では、マーカを下記の４位置に表示し、各１０回ずつ検出処理を行なうようにしている。
【００４２】
マ−ク１：（Ｘ１，Ｙ１）＝（１００，１００）
マ−ク２：（Ｘ２，Ｙ２）＝（５００，１００）
マ−ク３：（Ｘ３，Ｙ３）＝（５００，３００）
マ−ク４：（Ｘ４，Ｙ４）＝（３００，１００）
【００４３】
更に、式（７）中の係数ｍ₀〜ｍ₅をより精度良く決定するためには、マーカ数及び各マーカでの検出回数をより多くして最小二乗法等の統計処理を用いることが望ましい。
【００４４】
具体的には、マーカを指示した指示物Ｓの検出処理から得られた４０データ（ｘ_{n, i}，ｙ_{n, i}）（但し、ｎ＝１〜４，ｉ＝１〜１０）から、最小二乗法を用いて式（７）の係数ｍ₀ 〜ｍ₅ を求める。即ち、関数ｆを下記式（８）のように置いた時、これを求めるべき変数ｍ₀ 〜ｍ₅ で偏微分した式をすべて”０”と置くことで得られる下記式（９）に示す連立方程式を解くことによって、係数ｍ₀ 〜ｍ₅ を求める。
【００４５】
【数２】

【００４６】
【数３】

【００４７】
以後、指示物Ｓの位置検出の際には、式（７）に従って指示物検出装置の位置検出の基準となる第２の座標系の座標値から表示画面１０の表示の基準となる第１の座標系の座標値へと座標変換を行なう。
【００４８】
以上は、指示物Ｓの位置に関する座標値の変換方法であるが、指示物Ｓの大きさに関しても同様の変換をする必要がある通常、本発明装置で行なわれるような直交座標系同士の座標変換は、座標原点の平行移動，座標軸の回転及び座標の拡大の３手順に分けることができる。そこで、前述の式（７）は下記式（１０）のように書き直すことができる。
【００４９】
【数４】

【００５０】
指示物検出手段の座標系上の２点（ｘ１，ｙ１）−（ｘ２，ｙ２）の距離ｒ（mm) を対応する表示画面１０の座標系上の２点（Ｘ１，Ｙ１）−（Ｘ２，Ｙ２）の距離Ｒ（ドット）に変換すると、下記式（１１）のようになる。
【００５１】
【数５】

【００５２】
通常、指示物検出手段の第２の座標系も表示画面１０の第１の座標系も、ｘｙ軸のメモリ間隔の比率は１：１である場合が多い。そこで、通常はａ１＝ａ２とするため、上記式（１１）は下記式（１２）のように簡略化できる。
【００５３】

【００５４】
よって、上記式（１２）に従って、指示物検出手段の第２の座標系の指示物Ｓの大きさｒ（単位：mm）を表示画面１０の第１の座標系の指示物Ｓの大きさＲ（単位：ドット）に変換する。
【００５５】
また、指示物検出手段と表示画面１０との間の取り付け誤差が極めて小さく、座標軸の回転ずれの要素が極めて小さくて無視してもよいと考えられる場合は、ｍ０＞＞ｍ１，ｍ２＜＜ｍ３とみなすことができる。この場合、上記式（１２）は更に下記式（１３）のように簡略化できる。
【００５６】
【数６】

【００５７】
以上により、Ｒを算出する際には、ｍ０とｍ３とのいずれかを選択して使用すれば良いことになる。但し、いずれを選択するかは、ｍ０とｍ３との内の大きい方、または小さい方のいずれか一方を選択するか、両者の平均値を求めてそれを使用する方法も可能である。
【００５８】
【発明の効果】
以上に詳述したように本発明によれば、表示装置の表示画面が基準とする座標系と、指示物検出装置がその検出の基準とする座標系とを装置の製造時点においては勿論のこと、使用中においても必要に応じて一致するように調整することが容易に可能になる。
【図面の簡単な説明】
【図１】本発明装置の基本構成を示す模式図である。
【図２】本発明装置による座標面での位置検出動作の原理を示す模式図である。
【図３】第１の座標系と第２の座標系との重ね合わせの状態と両座標系の座標軸の関係を示す模式図である。
【符号の説明】
１ａ，１ｂ光送受ユニット
５ＭＰＵ
６表示装置
７再帰性反射シート
１０表示画面
１１ａ，１１ｂ発光素子
１３ａ，１３ｂ受光素子
１６ａ，１６ｂポリゴンミラー
５１算出部
５２画像制御部[0001]
BACKGROUND OF THE INVENTION
The present invention provides a display device for displaying information by a computer system or the like, and optically detects the indicated position on the display screen by an indicator detection device and directly displays the detection result on the display screen of the display device. In addition, the present invention relates to an information display device with an optical position detection device for displaying on a display screen superimposed on the display screen of the display device.
[0002]
[Prior art]
With the spread of computer systems such as personal computers mainly, new information can be input by instructing on the display screen of a display device on which information is displayed by the computer system with a human finger or a specific indicator, A device for giving various instructions to the computer system is used.
[0003]
When an input operation is performed on the information displayed on the display screen of such a display device such as a personal computer by a touch method, the contact position (indicated position) on the display screen is detected with high accuracy. There is a need. As a method for detecting the indicated position on the display screen serving as such a coordinate plane, a “carol method” (US Pat. No. 4,267,443) is known. In this method, a light matrix is formed on the front surface of the display screen by arranging a light emitting element and a light receiving element to face each other on the front frame of the display screen, and a light blocking position due to a finger or pen contact is detected. . In this method, it is possible to obtain a high S / N and to extend the application to a large display device. However, since the detection resolution is proportional to the arrangement interval of the light emitting element and the light receiving element, the detection resolution is increased. Therefore, it is necessary to narrow the arrangement interval. Therefore, in order to accurately detect the contact position even when a thin object such as a pen tip contacts the large screen, the number of light emitting elements and light receiving elements to be arranged increases, and the configuration is large. There is a problem that it becomes bulky and signal processing becomes complicated.
[0004]
Another optical position detection method is disclosed in JP-A-57-211637. In this method, a focused light such as a laser beam is angularly scanned from the outside of the display screen, and the angles at which the dedicated pen exists are obtained from two timings of the reflected light from the dedicated pen having the reflecting means, respectively. The position coordinates are detected by applying the calculated angle to the principle of triangulation. In this method, the number of parts can be greatly reduced, and high resolution can be achieved. However, there is a problem in operability such as the use of a dedicated reflective pen, and the position of a finger, an arbitrary pen, etc. cannot be detected.
[0005]
Still another optical position detection method is proposed in Japanese Patent Laid-Open No. 62-5428. In this method, a light retroreflector is disposed on both side frames of the display screen, a return light of the angularly scanned light beam is detected from the light retroreflector, and the light beam is blocked by a finger or a pen. The presence angle of the finger or pen is obtained from the position, and the position coordinates are detected from the obtained angle by the principle of triangulation. In this method, the number of parts is small and detection accuracy can be maintained, and the position of a finger, an arbitrary pen, or the like can be detected.
[0006]
[Problems to be solved by the invention]
However, in any of the methods, it is obvious that the coordinate system based on the display screen of the display device cannot be put into practical use unless the coordinate system used as a reference for detection by the indicator detection device matches. is there. It goes without saying that both coordinate systems need to be adjusted so as to coincide with each other at the time of manufacture of the device, but it is also necessary to adjust them constantly during use.
[0007]
The present invention has been made in view of such circumstances, and the coincidence between the coordinate system based on the display screen of the display device and the coordinate system based on which the indicator detection device is based on the detection can be easily maintained. An object is to provide an information display device with an optical position detection device.
[0008]
[Means for Solving the Problems]
An information display device with an optical position detection device according to claim 1 is a display device for displaying information on the display screen with reference to the first coordinate system, and a predetermined area on the display screen arranged around the display screen. An information display device with an optical position detection device, comprising: an indicator detection device for optically detecting a position indicated by an object and a size of the indication with reference to a second coordinate system, wherein the display device includes: has indicated reference position display means for displaying an indication reference position to a predetermined position of the first coordinate system on the display screen, the pointing object detecting device, the pointing object to the instruction reference position displayed on the display screen located In this case, the first coordinate system and the second coordinate system are matched by comparing the indication position of the indicator detected with reference to the second coordinate system with a predetermined position of the first coordinate system. have a correction means, correction means, depending on the indicator detection system When calculating the display position based on the first coordinate system on the display screen of the display device from the indicated position detected with the second coordinate system as a reference, the correction is performed using a primary conversion formula, Correction used when calculating the display area of the display object on the basis of the first coordinate system on the display screen of the display device from the size of the indicator detected by the object detection device on the basis of the second coordinate system The coefficient is determined based on the correction coefficient of the primary conversion equation .
[0009]
An information display device with an optical position detection device according to claim 2 is the information display device with optical position detection device according to claim 1, wherein the indicator detection device is an optical retroreflective means provided outside the predetermined region, and an in-plane substantially parallel to the region. At least two sets of light transmitting / receiving means having a light scanning means for angularly scanning light, and a light receiving means for receiving light reflected by a light retroreflecting means of a portion irradiated with light, and scanning by the light scanning means Measuring means for measuring the scanning light blocking range in the area formed by the indicator based on the angle and the light reception result by the light receiving means, and the position and size of the indicator based on the measurement result by the measuring means And calculating means for calculating.
[0011]
According to a third aspect of the present invention, there is provided the information display device with an optical position detection device according to the first or second aspect, wherein the indication reference position display means sets the indication reference position to at least three different points in a predetermined area on the display screen. It is characterized by being done.
[0012]
According to a fourth aspect of the present invention, there is provided the information display device with an optical position detecting device according to any one of the first to third aspects, wherein the indicator detection device is adapted to detect the indicator multiple times. To do.
[0013]
The information display device with an optical position detection device according to claim 5 is characterized in that, in claim 1 , the correction means uses a statistical method when determining the correction coefficient of the primary conversion equation. .
[0015]
An information display device with an optical position detection device according to a sixth aspect is the display device according to the first or fifth aspect, wherein the correction means is based on the size of the indicator detected by the indicator detection device with reference to the second coordinate system. The correction coefficient used when calculating the display area of the display object on the basis of the first coordinate system on the display screen is the maximum value or the minimum value of a plurality of specific coefficients among the correction coefficients of the primary conversion equation. It is designed to be used.
[0016]
An information display device with an optical position detection device according to a seventh aspect is the display device according to the first or fifth aspect, wherein the correction means is based on the size of the indicator detected by the indicator detection device with reference to the second coordinate system. The correction coefficient used when calculating the display area of the display object on the basis of the first coordinate system on the display screen should be an average value of a plurality of specific coefficients among the correction coefficients of the primary conversion equation It is characterized by being.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings illustrating embodiments thereof.
[0018]
FIG. 1 is a schematic diagram showing a basic configuration of an information display device with an optical position detection device of the present invention (hereinafter referred to as the device of the present invention).
[0019]
In FIG. 1, reference numeral 10 is a display screen of a CRT or flat display panel (PDP, LCD, EL, etc.), a projection type video display device, etc. in an electronic device such as a personal computer. It is configured as a display screen of a PDP (plasma display) having a display size of 05.6 × 51.8 cm in the vertical direction and a diagonal size of 105.6 cm. As will be described later, a light emitting element, a light receiving element, a polygon mirror, and the like are provided outside both corners of one short side (right side in the present embodiment) of the rectangular display screen 10 serving as a first coordinate plane. Optical transmission / reception units 1a and 1b each having an optical system including them are provided. Further, the retroreflective sheet 7 is provided on the three sides excluding the right side of the display screen 10, that is, outside the upper and lower sides and the left side.
[0020]
Reference symbol S indicates a cross section of a human finger as an obstruction (indicator).
[0021]
Both light transmission / reception units 1a and 1b include light emitting elements 11a and 11b made of laser diodes that emit infrared lasers, light receiving elements 13a and 13b that receive reflected light from the retroreflective sheet 7, and light emitting elements 11a and 11b. In this embodiment for angularly scanning the laser beam, quadrilateral polygon mirrors 16a and 16b and the like are the main components. The light receiving elements 13a and 13b function as light receiving means, and the light emitting elements 11a and 11b and the polygon mirrors 16a and 16b function as optical scanning means. The two sets of light transmission / reception units 1a and 1b and their signal processing systems, the retroreflective sheet 7, and the like function as measurement means.
[0022]
In such a configuration, the laser light emitted from the light emitting elements 11a and 11b is angularly scanned in a plane substantially parallel to the display screen 10 by the rotation of the polygon mirrors 16a and 16b, and is retroreflected. Projected onto the sheet 7. The reflected light from the retroreflective sheet 7 is reflected by the polygon mirrors 16a and 16b, and then enters the light receiving elements 13a and 13b. However, when there is an obstruction (indicator) in the optical path of the projection light, the projection light is blocked, so that the reflected light does not enter the light receiving elements 13a and 13b. The angular scanning of the laser beam of 90 degrees or more is realized by the rotation of the polygon mirrors 16a and 16b.
[0023]
Reference numeral 5 denotes an MPU that measures and calculates the position and size of an obstruction (indicator) S such as a finger or a pen, and controls the operation of the entire apparatus. The calculation unit 51 that calculates the position and size of the pointing object S from the calculation unit 51, and the image control unit 52 that controls information to be displayed on the display device 6 based on the calculation result by the calculation unit 51. The display device 6 is shown independently in FIG. 1, but actually the display screen 10 is also used.
[0024]
In such an apparatus of the present invention, as shown in FIG. 1, for example, the light transmission / reception unit 1b will be described. The projection light from the light transmission / reception unit 1b is scanned counterclockwise on FIG. First, it reaches the position (Ps) reflected by the tip portion of the retroreflective sheet 7 and becomes the scanning start position. And it is reflected by the retroreflective sheet 7 until it reaches the position (P1) reaching one end of the blocking object S, but is blocked by the blocking object S until it reaches the position (P2) reaching the other end of the blocking object S. The light is reflected by the retroreflective sheet 7 until the subsequent scanning end position (Pe).
[0025]
However, in the light transmission / reception unit 1a, light is scanned clockwise in FIG. Here, the optical transmission / reception unit 1a sets the lower side of the display screen 10 in the clockwise direction in FIG. 1 as the scanning start direction, and conversely, the optical transmission / reception unit 1b has the upper side of the display screen 10 in the counterclockwise direction in FIG. The reason why is set as the scanning start direction will be described.
[0026]
For example, in the case of the light transmission / reception unit 1b, either the upper side or the left side of the display screen 10 may be the scanning start direction. However, when viewed from the light transmission / reception unit 1b, the upper side of the display screen 10 is more than the lower side. Since the reflected light amount is large because the distance is close, and the reflective surface of the retroreflective sheet 7 is substantially perpendicular to the upper side of the display screen 10, the reflected light amount is large. The side is the scanning start direction. In other words, in the case of the light transmission / reception unit 1b, if the lower side of the display screen 10 is the scanning start direction, the lower side of the display screen 10 is farther away from the upper side, so the amount of reflected light at the start of scanning becomes smaller. Moreover, since the reflective surface of the retroreflective sheet 7 is curved, the amount of reflected light becomes small. However, the curve of the retroreflective sheet 7 is not an essential problem, and it is of course possible to adopt a configuration that does not allow the curve.
[0027]
By the way, as shown in FIG. 1, the retroreflective sheet 7 is arranged in a “U” shape so as to surround the display screen 10 with the side where the both light transmission / reception units 1 a and 1 b are arranged as an opening. ing. Furthermore, as indicated by reference numerals 7a and 7b, a portion where the projection angle of light from both the light transmitting and receiving units 1a and 1b to the retroreflective sheet 7 is reduced, specifically, both the light transmitting and receiving units 1a and 1b, A retroreflective sheet is installed in a sawtooth shape at a portion far from both the light transmitting / receiving units 1a and 1b on two sides (upper side and lower side in FIG. 1) orthogonal to the side where 1b is arranged. Yes.
[0028]
Due to the sawtooth portions 7a and 7b of the retroreflective sheet, for example, the projection light from the light transmitting / receiving unit 1b is scanned from the position Ps to the position P3 at one end of the sawtooth portion 7b of the retroreflective sheet. Since the incident angle to the retroreflective sheet 7 gradually decreases, the amount of reflected light also decreases accordingly. However, between the position P3 at one end of the sawtooth portion 7b of the retroreflective sheet and the position P4 at the other end, the light enters the sawtooth portion 7b of the retroreflective sheet at a substantially right angle. Reduction is avoided.
[0029]
Next, the position detection operation on the coordinate plane by the device of the present invention will be described with reference to the schematic diagram of FIG. However, in FIG. 2, components other than the light transmission / reception units 1a and 1b, the retroreflective sheet 7, and the display screen 10 are not shown. In the following description, the optical transmission / reception unit 1b side is referred to as channel 1 (Ch1), and the optical transmission / reception unit 1a side is referred to as channel 2 (Ch2).
[0030]
The MPU 5 rotates the polygon mirrors 16a and 16b in the light transmitting / receiving units 1a and 1b by controlling the polygon control circuit, and angularly scans the laser beams from the light emitting elements 11a and 11b. As a result, the reflected light from the retroreflective sheet 7 enters the light receiving elements 13a and 13b. In this way, the amount of received light incident on the light receiving elements 13a and 13b is obtained as a light receiving signal which is an output of a signal processing circuit (not shown). This change in the level of the received light signal is detected as the scanning angle of both the optical scanning means 12a and 12b, and is processed by the following method.
[0031]
The information given to the calculation unit 51 of the MPU 5 is mainly the following four types of information shown in FIG.
[0032]
θ _1-1 : Angle from the start of scanning of Ch 1 (light transmission / reception unit 1 b) to detection of the indicator S θ _1-2 : Detection width angle of indicator S of Ch ₁ (light transmission / reception unit 1 b) θ _2-1 : Ch 2 ( Angle θ _2-2 from the start of scanning of the light transmission / reception unit 1a) to detection of the indicator S: _2-2 : Detection width angle of the indicator S of Ch2 (light transmission / reception unit 1a)
The calculation of the coordinate P (the center of the indicator S) to be obtained and the calculation of the radius r of the indicator S are performed by the following equations (1) to (6). However, when both the optical transmission / reception units 1a and 1b are installed along the short left side in FIG. 1, the expressions (4) to (6) are expressed by the expressions (4 '), (5'), It becomes like (6 ') type | formula.
[0034]
θ ₁ = θ _1-1 + θ _1-2 / 2 (1)
θ ₂ = θ _2-1 + θ _2-2 / 2 (2)
y = L × tanθ ₁ / (tanθ ₁ + tanθ ₂ ) (3)
x = W−y × tan θ ₂ (4)
r1 = {(W−x) ² + y ² } ^1/2 × sin (θ _2-2 / 2) (5)
Or r2 = {(W−x) ² + (L−y) ² } ^1/2 × sin (θ _1-2 / 2) (6)
x = y × tan θ ₂ (4 ′)
r1 = (x ² + y ² ) ^1/2 × sin (θ _2-2 / 2) (5 ')
Or r2 = (x ² + (L−y) ² ) ^1/2 × sin (θ _1-2 / 2) (6 ′)
[0035]
FIG. 3 shows a state in which the coordinate system (second coordinate system) used as a detection reference by the pointing object detection apparatus and the coordinate system (first coordinate system) used as a display reference on the display screen 10 are overlapped. It is a schematic diagram which shows the relationship of the coordinate axis of a coordinate system.
[0036]
In the device of the present invention, the retroreflective sheet 7 and the light transmission / reception units 1 a and 1 b of the pointing object detection device are installed in the periphery of the display screen 10. Due to such misalignment errors and the like, the coordinate axes of the second coordinate system (x, y) (unit: mm) of the pointer detection apparatus and the first coordinate system (X, Y) (unit: mm) of the display screen 10 are displayed. There is a possibility that the coordinate axis is not aligned with the dot. For this reason, when both are not matched and corrected, an image may be displayed at a position different from the position indicated by the indicator S. Further, since the coordinate unit of the pointing object detection apparatus is an absolute length (mm), the coordinate unit of the display screen 10 is a pixel (dot), so it is necessary to convert the unit system between the two.
[0037]
In view of such circumstances, the apparatus of the present invention performs the above-described coordinate conversion using a primary conversion equation as shown in the following equation (7).
[0038]
[Expression 1]

[0039]
Here, the determination of the coefficients m _{0 to} m ₅ in the equation (7) is performed when a marker indicating the pointing reference position whose coordinates are known is displayed on the display screen 10 and the marker is actually indicated by the pointing object S. It is calculated and determined from the relationship with the detected position.
[0040]
In addition, since there are six coefficients m _{0 to} m _{5 in} the equation (7), in order to obtain these, the equation (7) is the same as the above one by three at least for three equations, that is, at least at three different positions. It is only necessary to perform an instruction operation and detection. However, in order to further increase the calculation accuracy, it is desirable to set more instruction reference positions and display the markers, and to perform the detection operation for each marker a plurality of times.
[0041]
In the example shown in FIG. 3, markers are displayed at the following four positions, and detection processing is performed 10 times each.
[0042]
Mark 1: (X1, Y1) = (100, 100)
Mark 2: (X2, Y2) = (500,100)
Mark 3: (X3, Y3) = (500,300)
Mark 4: (X4, Y4) = (300, 100)
[0043]
Furthermore, in order to determine the coefficients m _{0 to} m ₅ in Equation (7) with higher accuracy, it is desirable to use statistical processing such as the least squares method by increasing the number of markers and the number of detections at each marker. .
[0044]
Specifically, from the 40 data (x _{n, i} , y _{n, i} ) (where n = 1 to 4, i = 1 to 10) obtained from the detection process of the pointing object S that indicates the marker, the minimum The coefficients m _{0 to} m ₅ in Equation (7) are obtained using the square method. That is, when the function f is placed as shown in the following formula (8), it is shown in the following formula (9) which is obtained by putting all the expressions obtained by partial differentiation with the variables m _{0 to} m ₅ to be obtained as “0”. The coefficients m _{0 to} m ₅ are obtained by solving the simultaneous equations.
[0045]
[Expression 2]

[0046]
[Equation 3]

[0047]
Thereafter, when the position of the indicator S is detected, the first reference serving as the display reference of the display screen 10 is obtained from the coordinate values of the second coordinate system serving as the reference for detecting the position of the indicator detecting device according to the equation (7). Perform coordinate conversion to coordinate values in the coordinate system.
[0048]
The above is a method for converting the coordinate value relating to the position of the indicator S. However, it is necessary to carry out the same conversion with respect to the size of the indicator S. The conversion can be divided into three procedures: translation of the coordinate origin, rotation of the coordinate axis, and enlargement of the coordinate. Therefore, the above equation (7) can be rewritten as the following equation (10).
[0049]
[Expression 4]

[0050]
A distance r (mm) between two points (x1, y1)-(x2, y2) on the coordinate system of the pointing object detection means is represented as two points (X1, Y1)-(X2, on the coordinate system of the corresponding display screen 10. When converted into a distance R (dot) of Y2), the following equation (11) is obtained.
[0051]
[Equation 5]

[0052]
Usually, in both the second coordinate system of the pointing object detection means and the first coordinate system of the display screen 10, the ratio of the memory intervals of the xy axes is often 1: 1. Therefore, normally, since a1 = a2, the above formula (11) can be simplified as the following formula (12).
[0053]

[0054]
Therefore, according to the above equation (12), the size r (unit: mm) of the indicator S in the second coordinate system of the indicator detection means is set to the size R of the indicator S in the first coordinate system of the display screen 10. Convert to (unit: dot).
[0055]
Further, if the attachment error between the pointing object detection means and the display screen 10 is extremely small and the element of the rotational deviation of the coordinate axis is extremely small and can be ignored, m0 >> m1, m2 << m3 Can be considered. In this case, the above formula (12) can be further simplified as the following formula (13).
[0056]
[Formula 6]

[0057]
From the above, when calculating R, either m0 or m3 can be selected and used. However, it is possible to select either one of m0 and m3, whichever is larger or smaller, or obtain an average value of both and use it.
[0058]
【The invention's effect】
As described above in detail, according to the present invention, the coordinate system based on the display screen of the display device and the coordinate system based on which the indicator detection device refers to the detection are of course at the time of manufacture of the device. Even during use, it can be easily adjusted so as to coincide with each other as necessary.
[Brief description of the drawings]
FIG. 1 is a schematic diagram showing a basic configuration of a device of the present invention.
FIG. 2 is a schematic diagram showing the principle of position detection operation on a coordinate plane by the apparatus of the present invention.
FIG. 3 is a schematic diagram showing the relationship between the state of superposition of the first coordinate system and the second coordinate system and the coordinate axes of both coordinate systems.
[Explanation of symbols]
1a, 1b Optical transmission / reception unit 5 MPU
6 Display device 7 Retroreflective sheet 10 Display screens 11a and 11b Light emitting elements 13a and 13b Light receiving elements 16a and 16b Polygon mirror 51 Calculation unit 52 Image control unit

Claims

A display device that displays information on the display screen with reference to the first coordinate system, and a position and size of the indicator indicated by the indicator in a predetermined area on the display screen that is arranged around the display screen. In an information display device with an optical position detection device, comprising an indicator detection device for optical detection with reference to the coordinate system of 2;
The display device includes instruction reference position display means for displaying an instruction reference position at a predetermined position of the first coordinate system on a display screen,
The pointing object detection device detects the pointing position of the pointing object detected with reference to the second coordinate system when the pointing object is positioned at the pointing reference position displayed on the display screen. by comparing with a predetermined position of the first coordinate system, have a correcting means for matching the first coordinate system and said second coordinate system,
The correction means includes
When calculating the display position based on the first coordinate system on the display screen of the display device from the indicated position detected with the second coordinate system as a reference by the indicator detection device, a primary conversion is performed. Correct using the formula,
A display area of a display object on the basis of the first coordinate system on the display screen of the display device is calculated from the size of the indicator detected by the indicator detection apparatus with reference to the second coordinate system. An information display device with an optical position detection device , wherein a correction coefficient used at the time is determined based on the correction coefficient of the primary conversion equation .

The indicator detection device includes:
A light retroreflective means provided outside the predetermined region;
At least two sets having light scanning means for angularly scanning light in a plane substantially parallel to the region, and light receiving means for receiving light reflected by the light retroreflecting means in a portion irradiated with light Light transmission / reception means,
Measuring means for measuring a scanning light blocking range in the region formed by the indicator based on a scanning angle in the light scanning means and a light reception result in the light receiving means;
The information display device with an optical position detection device according to claim 1, further comprising a calculation unit that calculates a position and a size of the indicator based on a measurement result by the measurement unit.

3. The optical according to claim 1, wherein the indication reference position display means sets the indication reference position to at least three different points within a predetermined area on the display screen. Type information display device with position detector.

The information display device with an optical position detection device according to any one of claims 1 to 3 , wherein the indicator detection device is configured to detect the indicator multiple times.

2. The information display device with an optical position detection device according to claim 1 , wherein the correction means uses a statistical method when determining the correction coefficient of the primary conversion equation.

The correction means is configured to display a display object based on the first coordinate system on the display screen of the display device based on the size of the indicator detected by the indicator detection apparatus with reference to the second coordinate system. a correction coefficient used when calculating the display area, to claim 1 or 5, characterized in that are no to use of the maximum or minimum value of a plurality of specific coefficients of the correction coefficient of the linear transformation formula The information display apparatus with an optical position detection apparatus of description.

The correction means is configured to display a display object based on the first coordinate system on the display screen of the display device based on the size of the indicator detected by the indicator detection apparatus with reference to the second coordinate system. 6. The optical system according to claim 1 , wherein an average value of a plurality of specific coefficients among the correction coefficients of the primary conversion formula is used as a correction coefficient used when calculating the display area. Type information display device with position detector.