JP2012149986A - 位置検出システム、表示システム及び情報処理システム - Google Patents

位置検出システム、表示システム及び情報処理システム Download PDF

Info

Publication number
JP2012149986A
JP2012149986A JP2011008609A JP2011008609A JP2012149986A JP 2012149986 A JP2012149986 A JP 2012149986A JP 2011008609 A JP2011008609 A JP 2011008609A JP 2011008609 A JP2011008609 A JP 2011008609A JP 2012149986 A JP2012149986 A JP 2012149986A
Authority
JP
Japan
Prior art keywords
coordinate
information
unit
light
position detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011008609A
Other languages
English (en)
Other versions
JP5845581B2 (ja
Inventor
Katsuma Endo
甲午 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2011008609A priority Critical patent/JP5845581B2/ja
Publication of JP2012149986A publication Critical patent/JP2012149986A/ja
Application granted granted Critical
Publication of JP5845581B2 publication Critical patent/JP5845581B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】 撮像装置のレンズ及び撮像素子を対象面と平行な方向に沿う方向に配置するこ
とで、撮像画像における歪みを抑止し、位置検出の精度を向上させる位置検出システム、
表示システム及び情報処理システムを提供すること。
【解決手段】 位置検出システム400は、撮像画像を撮像する撮像部500と、撮像部
500からの撮像画像に基づいて、対象面20に設定された検出エリアでの対象物OBの
座標情報を求める座標演算部430と、を含み、撮像部500は、レンズ部LEを有する
光学系と、撮像素子IMとを含み、撮像部500から対象面20の中央部へと向かう方向
である第1の方向と、対象面20のなす角度α1とし、レンズ部LEの光軸方向である第
2の方向と対象面20のなす角度をα2とした場合に、角度α1及び角度α2は、α1<
α2を満たす。
【選択図】 図6

Description

本発明は、位置検出システム、表示システム及び情報処理システム等に関する。
赤外光を照射して、対象物からの反射を検知する近接センサではX、Y座標の特定が困
難である。また、CCDなどの撮像素子で検知するシステムは安価でない。特許文献1で
は、レンズ群を配置した光学系を工夫することでLED光を用いた座標入力、位置検出手
法を提案しているが、構成部品が多いためコスト面で優位性がなく、さらに位置検出精度
が低い。
特開2001−142643号公報
また、投写型表示装置(プロジェクター)に位置検出のための撮像装置を設けた場合に
は、対象面(スクリーン等)を斜め方向から撮像することがあり、その場合画像に歪みが
生じてしまう。そのため、画像の分解能が低下し、位置検出の精度が下がる要因になって
いる。
本発明の幾つかの態様によれば、撮像装置のレンズ及び撮像素子を対象面と平行な方向
に沿う方向に配置することで、撮像画像における歪みを抑止し、位置検出の精度を向上さ
せる位置検出システム、表示システム及び情報処理システム等を提供することができる。
本発明の一態様は、撮像画像を撮像する撮像部と、前記撮像部からの前記撮像画像に基
づいて、対象面に設定された検出エリアでの対象物の座標情報を求める座標演算部と、を
含み、前記撮像部は、レンズ部を有する光学系と、撮像素子とを含み、前記撮像部から前
記対象面の中央部へと向かう方向である第1の方向と、前記対象面のなす角度α1とし、
前記レンズ部の光軸方向である第2の方向と前記対象面のなす角度をα2とした場合に、
角度α1及び角度α2は、α1<α2を満たす位置検出システムに関係する。
本発明の一態様では、撮像部から対象面の中央部へと向かう方向(第1の方向)と対象
面のなす角度をα1とし、レンズ部の光軸方向(第2の方向)と対象面のなす角度をα2
とすると、角度α1及び角度α2はα1<α2を満たす。よって、レンズ面が対象面と平
行に近い角度で配置されることになるため、撮像画像における対象面の形状の歪みを抑止
することができ、位置検出の精度を向上させること等が可能になる。
また、本発明の一態様では、前記レンズ部の光軸方向をカメラ座標系のZ軸とし、前記
Z軸に直交する軸をカメラ座標系のY軸として、対象面が位置する方向を前記Y軸の正方
向とした場合に、前記撮像素子は、前記Y軸の負方向に位置してもよい。
これにより、レンズのイメージサークルのうち、対象物が結像する位置に適切に撮像素
子を配置すること等が可能になる。
また、本発明の一態様では、前記角度α2は、α1<α2≦90°を満たす角度であっ
てもよい。
これにより、レンズ面を対象面と平行に近い角度で配置することが可能になる。
また、本発明の一態様では、前記角度α2は、90°であってもよい。 これにより、
レンズ面を対象面と平行に近い角度で配置することが可能になる。
また、本発明の一態様では、前記座標演算部は、前記座標情報として、前記検出エリア
でのX座標情報及びY座標情報を求めてもよい。
これにより、検出エリアでの座標系におけるX座標情報及びY座標情報を求めることが
可能になる。
また、本発明の一態様では、前記座標演算部は、前記撮像画像の情報から得られるカメ
ラ座標系での奥行き特定情報に基づいて、前記対象物の前記検出エリアでのZ座標情報を
求めてもよい。
これにより、撮像画像から奥行き特定情報を取得し、取得した奥行き特定情報に基づい
て検出エリアでの座標系におけるZ座標情報を求めることができる。よって、対象物が対
象面に触れているか否かの判定を行うこと等が可能になる。
また、本発明の一態様では、前記撮像部は、複数のカメラを有し、前記座標演算部は、
前記複数のカメラから取得された複数の撮像画像情報の視差情報に基づいて得られた奥行
き特定情報により、前記検出エリアでの前記Z座標を求めてもよい。
これにより、複数のカメラにより複数の撮像画像を取得し、取得した複数の撮像画像の
視差情報に基づいて奥行き特定情報を取得すること等が可能になる。
また、本発明の一態様では、前記撮像部は、デプスカメラを有し、前記座標演算部は、
前記デプスカメラにより得られた前記奥行き特定情報に基づいて、前記検出エリアでの前
記Z座標を求めてもよい。
これにより、2眼等の複数のカメラを有する撮像装置を用いずに、奥行き特定情報を取
得すること等が可能になる。
また、本発明の一態様では、前記座標演算部は、前記カメラ座標系での前記奥行き特定
情報に基づいて、前記検出エリアでのX座標情報及びY座標情報の少なくとも一方の補正
処理を行ってもよい。
これにより、奥行き特定情報、或いは奥行き特定情報により求められる検出エリアでの
Z座標情報に基づいて、検出エリアでのX座標情報及びY座標情報の少なくとも一方の補
正処理を行うことが可能になる。よって、対象物が対象面に対して浮いている状況でのず
れを補正すること等ができる。
また、本発明の一態様では、前記レンズ部の光軸方向を可変に調節する調節部を含んで
もよい。
これにより、レンズ部の光軸方向を調整することができるため、撮像部の設置角度によ
らず、適切にレンズ部の角度を設定することが可能になる。
また、本発明の他の態様は、上述の位置検出システムを含む投写型表示装置である表示
システムに関係する。
また、本発明の他の態様では、前記第2の方向は、前記投写型表示装置の投影方向に対
して、角度β(β>0°)をなしてもよい。
これにより、投写型表示装置の投射角度とは異なる方向に、レンズの光軸方向を向ける
ことが可能になる。
また、本発明の他の態様は、上述の位置検出システムと、前記位置検出システムからの
検出情報に基づいて処理を行う情報処理装置と、前記情報処理装置からの画像データに基
づいて画像の表示を行う表示装置と、を含む情報処理システムに関係する。
本実施形態の位置検出システムの構成例。 投写型表示装置を用いた本実施形態の位置検出システムの具体例。 図3(A)、図3(B)は複数のカメラにより取得される視差情報を含む撮像画像の例。 レンズ部及び撮像素子が対象面に対して斜めに配置される例。 図5(A)は斜め方向からの撮像により画像が歪む例、図5(B)は座標変換により歪みを補正した例。 図6(A)はレンズ部及び撮像素子が対象面に対して平行に配置される例、図6(B)はレンズ部及び撮像素子が対象面に対して傾いて配置される例。 図7(A)は通常のレンズ構成で正面から撮像した例、図7(B)は本実施形態のレンズ構成で正面から撮像した例、図7(C)は、斜め方向から撮像した例。 画角、焦点距離及びスクリーンまでの距離の関係を説明する図。 レンズのイメージサークルと撮像素子の配置を説明する図。 歪曲収差等による画像の歪みを説明する図。 レンズの光軸方向とスクリーンの一端とが一致しない例。 光学式位置検出装置による画像処理の対象範囲の限定を説明する図。 図13(A)は対象物が対象面に対して浮いている例、図13(B)は対象物が対象面に接している例。 レンズ部及び撮像素子が対象面に対して平行な方向からずれる例。 撮像部に対して設定される座標系と対象面に対して設定される座標系を説明する図。 一般的な射影変換を説明する図。 本実施形態の情報処理システムの構成例。 本実施形態の光学式位置検出装置の構成例。 受光部の構成例。 図20(A)、図20(B)は受光ユニットの構成例。 照射部の構成例。 図22(A)、図22(B)は座標情報検出手法を説明する図。 図23(A)、図23(B)は発光制御信号の信号波形例 照射部の他の構成例。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の
範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明さ
れる構成の全てが、本発明の必須構成要件であるとは限らない。
1.本実施形態の手法
まず、本実施形態の手法について説明する。投写型表示装置(プロジェクター、図2の
PR)により画像を対象面(図2の20)に投射した上で、投射した画像とユーザーの用
いる対象物(オブジェクト、図2のOB)の連携によりユーザインターフェースを実現す
るシステムが考えられる。このようなシステムでは、例えば画像上の任意のマークをさわ
ることにより、表示が切り替わる等の操作を行うことが考えられるため、対象物OBの位
置検出手法が重要となってくる。
具体的な位置検出手法としては、撮像装置による撮像画像の画像処理を用いる手法等が
考えられる。例えば、検出対象となる対象物OBをテンプレートとして保持しておき、テ
ンプレートマッチング処理を行うことで画像上での対象物OBの位置(座標情報)を取得
する。そのため、撮像装置が実空間のどの範囲を撮像しているかということがわかってい
れば、実空間における位置情報を取得することができる。
しかしながら、撮像装置は必ずしも対象面20に正対する位置に設けられるとは限らな
い。例えば近年ではスクリーンのほぼ前上方から画像を照射する近接型の投写型表示装置
等が知られている。その場合、投写型表示装置PRに撮像装置も設けられるとするならば
、後述する図2に示すように、対象面20に対して斜め方向から画像を撮像することにな
る。よって、画像上での対象面20の形状は後述する図5(A)に示すように歪んでしま
うことになる。図5(A)の例で言えば下辺に相当する部分は狭い範囲に圧縮されてしま
うことになり、画像の分解能が下がり、位置検出の精度が落ちる要因になってしまう。
そこで、本出願人は以下の手法を提案する。後述する図6(A)に示すように、撮像装
置のレンズ部LEと撮像素子IMとを対象面20と平行になるように配置する。その上で
、レンズ部LEの光軸方向を境として、対象面20と撮像素子IMとが逆側に配置される
ようにする。このような配置をとることで、対象面20は撮像画像において図5(B)に
示すように歪みのない形状で撮像されることになる。そのため、画像の分解能が落ちるこ
とがなく、位置検出の精度も画像が歪んでしまう場合に比べて高くすることが可能になる
以下、具体的な実施形態について説明する。なお、本実施形態は撮像画像の画像処理に
よる位置検出に関するものであるが、ここでは画像処理による位置検出に加え、光学式位
置検出装置を併用する実施形態を例としてあげる。なぜなら、画像処理による位置検出は
処理負荷が重く、広い領域(例えば電子黒板の表示面等)をXGA程度の高精度で処理を
行うことはコスト或いは処理時間の観点から現実的でないからである。
具体的には、まず光学式位置検出装置を用いて、対象物OBの概略的な位置(初期座標
情報)を取得しておいて、その概略位置により特定される範囲に対して撮像装置による撮
像画像を用いて画像処理を行う。このようにすれば、撮像画像の演算処理量、演算処理時
間を抑えることが可能になり、コスト、応答速度ともに実用的なものにすることができる
。ただし、以下の説明はあくまで例示であり、光学式位置検出装置を用いずに位置検出処
理を行ってもよいことは言うまでもない。
以下、まず光学式位置検出装置と撮像装置を連動させた位置検出手法について説明する
。具体的には、システム構成例、撮像装置の構成、初期座標情報の取得と処理対象範囲の
設定手法、最終座標情報の取得手法の順に説明していく。撮像装置の構成のところで、本
実施形態の手法であるレンズ部LE及び撮像素子IMの配置手法について詳しく述べる。
その後で、本実施形態の具体例で用いることができる光学式位置検出装置の構成例につい
て説明する。
2.位置検出システムの具体例
2.1 システム構成例
図1に本実施形態の位置検出システムの構成例を示す。本実施形態の位置検出システム
400は、撮像部500と、調整部600と、光学式位置検出装置100からの初期座標
情報を取得する座標情報取得部410と、撮像部500からの撮像画像を取得する撮像画
像取得部420と、座標演算処理を行う座標演算部430と、を含む。
座標演算部430は、奥行き特定情報取得部431と、補正部433と、座標変換部4
35と、を含む。奥行き特定情報取得部431は、座標情報取得部410からの初期座標
情報に基づいて、画像処理を行う対象となる範囲を限定した上で、撮像画像から奥行き特
定情報を取得する。補正部433は、奥行き特定情報に基づいてX座標情報及びY座標情
報の少なくとも一方の補正処理を行う。座標変換部435は、座標変換を行うことで、歪
みが生じた撮像画像の変換処理を行う。なお、理想的には本実施形態の手法では撮像画像
に歪みは生じないため、座標変換部435は必要ない。しかし、歪曲収差等の影響による
歪みは避けられないため、それらの要因による歪みの補正のために座標変換部435を設
けている。
光学式位置検出装置100は座標情報取得部410に接続される。撮像部500は撮像
画像取得部420に接続される。座標情報取得部410と、撮像画像取得部420は、奥
行き特定情報取得部431に接続される。奥行き特定情報取得部431は、補正部に接続
される。補正部433は、座標変換部435に接続される。
2.2 撮像装置の構成例
本実施形態における撮像装置(撮像部500)の構成について説明する。図2に示した
ように、本実施形態においては例えば、対象面20(スクリーン)に対して表示画像を投
影する投写型表示装置PR(プロジェクター)に撮像装置が搭載される。ただし、撮像装
置の位置はこれに限定されるものではなく、投写型表示装置PRとは別の位置に設けられ
てもよい。また、本実施形態の画像表示手法は投写型表示装置PRによるものに限定され
るものではない。
また、本実施形態における撮像装置は、奥行き特定情報を取得可能な構成を取る必要が
ある。そのため、図2に示したように2つの撮像部(500−1及び500−2)が所定
の距離だけ離れた位置に設けられ、視差情報(或いはステレオ画像)を取得することが可
能な形態となる。それぞれの撮像部で取得される撮像画像の例を、図3(A)及び図3(
B)に示す。或いは2眼の撮像装置を用いずに、Time−of−flight方式等に
より奥行き情報を持った画像を取得可能な撮像装置を用いてもよい。
次に、撮像装置に含まれるレンズ部LEと撮像素子IMの構成例について説明する。上
述したように本実施形態の撮像装置は対象面20に対して斜め上の位置に設けられる。そ
のため、レンズ部LE及び撮像素子IMは通常は図4に示すような角度になる。しかし、
このようにした場合対象面20の上側はレンズ部LEに近いのに対し、対象面20の下側
はレンズ部LEから遠くなるため、撮像画像上での対象面20の形状は図5(A)に示し
たように歪んでしまうことになる。そのため、対象面20の上側に対して、対象面20の
下側は狭い範囲に画像情報が圧縮されてしまうため、分解能が下がってしまい、位置検出
の精度を下げる要因となる。
そこで、本実施形態では、図6(A)に示したようにレンズ部LE及び撮像素子IMを
対象面20に対して平行に配置する。それとともに、撮像素子IMの位置をレンズ部LE
の光軸方向を境に、対象面20と逆側に来るような配置とする。このようにすることで、
図5(B)に示したように歪みの少ない画像を取得することが可能になり、位置検出の精
度を図4の配置の場合に比べて高くすることができる。
この配置については、高層ビルを近い位置から撮像するケースを想定すると理解しやす
い。通常近い位置から正面にカメラを向けたとしても、図7(A)のようになってしまい
、高層ビル全体を撮像範囲に収めることができない。なお、図7(A)において、E1が
レンズのイメージサークルに相当し、E2が撮像素子IMを表す。だからといって、斜め
方向に見上げるように撮像したのでは、図4に示したような角度配置になってしまい、図
7(C)のように歪んだ画像が取得されてしまう。そこで、このような際には、レンズ部
LEの光軸方向は高層ビルに向けたまま、撮像素子IMの位置を下にシフトさせ、図7(
B)に示すような構成を取る。こうすることで、被写体の全景を、歪みを押さえた状態で
撮像することが可能になる。図7(A)と同様に、図7(B)のE3がレンズのイメージ
サークルに相当し、E4が撮像素子IMを表す。
さらに具体的に説明する。レンズ部LEの画角をγ、レンズ部LEからスクリーンまで
の距離をd、レンズ部LEから撮像装置IMまでの距離(焦点距離)をfとした場合、γ
、d、fは図8に示したようになる。γ、fの関係は下式(1)で表される。ただし、D
は撮像素子IMの対角寸法である。また、ここでは歪曲収差の影響が小さいものとしてい
る。
tan(γ/2)=D/2f (1)
ここで、画角γは、レンズ部LEにより結像が可能な角度範囲を表している。レンズ部
LEは、画角γの角度範囲に含まれる被写体の像を取得することができる。つまり、この
レンズ部LEは、図8でいれば、スクリーンサイズの2倍の領域を捉えて、レンズのイメ
ージサークルに相当する領域に対して結像させることが可能であると言える。しかしなが
ら、本実施形態では、スクリーンサイズは画角の半分の角度範囲に対応する大きさであり
、撮像素子IMもレンズのイメージサークルの半分の大きさしかない。これを図に表した
ものが図9である。レンズ部LEはイメージサークル全体に対して像を取得するものの、
現在被写体となっているスクリーンのサイズは上述したように画角γの半分である。よっ
て、必要な被写体像はイメージサークルの下半分にしか存在しないことになる。そのため
、図9に示したように、被写体像が結像するイメージサークルの下半分のみに撮像素子I
Mを設けておけばよい。
さらに具体的な例を図10に示す。図10のB1がレンズ部LEのイメージサークルを
表し、B2が撮像素子IMを表す。そしてB3が撮像素子上に結像されたスクリーンの形
状を表している。理想的には、本実施形態の手法でレンズ部LE及び撮像素子IMを配置
すれば、図5(B)に示したように、歪みのない画像が得られるはずであるが、実際には
レンズ部LEの歪曲収差等の影響により、多少の歪みは生じてしまう。そのため、後述す
るように歪みを解消するための補正処理等を行う。
以上の例は、高層ビルの例のように、レンズの光軸上に、スクリーン面の端が存在する
と見なせる場合である。この場合には、図8に示したように、撮像素子IMの一端はレン
ズ部LEの光軸上にある。しかしながら、本実施形態のシステムにおいては、図11に示
したように、レンズ部LEの光軸からSYだけ離れた位置にスクリーン面の一端があるこ
とが想定される。その場合には、図11に示したように、シフト量SYに相似した量S1
だけ、撮像素子IMをレンズ中心から離して配置すればよい。このときには、イメージサ
ークルの半分よりさらに狭い範囲に対して撮像素子IMを配置することになる。
2.3 初期座標情報の取得と処理対象範囲の設定
本実施形態の手法においては、まず、光学式位置検出装置を用いて、初期座標情報を取
得する。例えば本実施形態においては、上述したような光学式位置検出装置を用いて、対
象物OBのX座標情報及びY座標情報を取得する。ここで、光学式位置検出装置は、対象
面20(スクリーン)に対して取り付けられてもよいし、プロジェクターに取り付けられ
てもよい。
そして、取得したX座標情報及びY座標情報を対象物OBの初期座標情報とする。この
初期座標情報により特定される範囲を、撮像装置による位置検出を行う際の処理対象範囲
とする。このようにして、例えば図12に示すように、撮像装置により得られた撮像画像
に対する画像処理の対象範囲を、撮像画像全体(図12のC2に対応)よりも狭い範囲(
図12のC1に対応)に限定することが可能となる。そのため、光学式検出手法等に比べ
て処理負荷の重い画像処理による検出手法を、現実的な処理時間、コストで実現すること
が可能になる。
初期座標情報から、画像処理の処理対象範囲を特定する手法は種々考えられる。通常は
、初期座標情報を含む範囲を設定すればよい。その際には、光学式位置検出装置による座
標情報の誤差等が問題にならない程度に広く、かつ、処理負荷が重くなりすぎない程度に
狭い領域を指定する。
また、図13(A)のように対象物OBが対象面20に触れていないような状況では、
光学式位置検出装置による初期座標情報はA1に対応する座標となる。それに対して、撮
像画像においては、あたかもA2の位置に対象物OBがあるように見える。つまり、撮像
画像上では、初期座標情報に対してΔYだけY座標情報がずれることになる。よって、画
像処理の処理対象範囲は、ΔYのずれを考慮して中心又は大きさ等を決定する必要がある
点に留意する。
2.4 最終座標情報の取得
次に、初期座標情報に基づいて画像処理の処理対象範囲が適切に設定された後に、撮像
画像に対する画像処理により、対象物OBの最終座標情報を求める手法について説明する
。なお、撮像装置は対象面全面を撮影するものとする。つまり、ここでは処理対象範囲を
撮影するものではなく、全面を撮影した上で処理対象範囲のデータを取り込むことになる
が、手法はこれに限定されるものではない。
2.4.1 Z座標情報に基づく補正
まずは、撮像画像上での対象物OBの座標を求める。これは、公知の画像処理手法を用
いればよい。例えば、対象物OBをテンプレートとしてテンプレートマッチング処理等を
行う。これにより、撮像画像上でのX座標情報及びY座標情報を取得することができる。
それとともに、Z座標情報を取得する。ここではまず、撮像装置のキャリブレーション
を事前に行っておくものとする。ここでのキャリブレーションとは、図13(A)におけ
るΔZ=0(つまり図13(B)のように対象面20に接している)場合に、2つの撮像
部が取得する撮像画像において、対象物OBの位置が同一になるように設定しておく。つ
まり、図3(B)におけるδはΔZが0の時には0となり、ΔZが大きくなるほど大きく
なるように設定されることになる。
ここで、適切な係数A(Aは撮像装置の設計やキャリブレーション等により決定される
)を設定すれば、ΔZの値は下式(2)により表される。
ΔZ=A・δ (2)
よって、δ=0の場合には、ΔZ=0となり、対象物OBが対象面20に触れていると
判定することができる。この場合図13(B)のような状態であるため、撮像画像によっ
て得られたX座標情報及びY座標情報は、そのまま真のX座標情報及びY座標情報として
用いることができる。
それに対して、δ≠0の場合には、ΔZは上式(2)により求められる0でない値とな
る。その場合、図13(A)のような状態となっているため、Y座標情報は真のY座標情
報に比べてΔYだけずれていることになる。このとき、撮像装置(及び撮像装置を搭載し
たプロジェクター)の設置位置と方向から、対象面20と撮像装置の光軸方向D1(ここ
ではPRの投射方向とほぼ一致するものとするが、これに限定されるものではない)との
なす角度θは既知である。よって図よりΔYの値は下式(3)により求めることができる
ΔY=ΔZ/tanθ (3)
よって、撮像画像から得られたY座標情報を上式(3)のΔYだけ補正した値が、真の
Y座標情報となる。なお、この場合X座標情報についての補正は必要ない。今回の座標設
定においては、対象物OBが対象面20から浮いていようが触れていようが、X軸方向で
の位置に変化はないからである。もちろん座標系の設定によってはX座標情報について補
正の必要が生じる場合があることは言うまでもない。
2.4.2 座標変換
次に、撮像画像により得られたX座標情報、Y座標情報について、座標変換を行う。本
実施形態の手法を用いることで図5(A)に示したような大幅な歪みは生じないものの、
図10のB3に示したように歪曲収差等の影響による歪みは残りうる。また、必ずしもレ
ンズ部LE、撮像素子IMは対象面20に平行である必要はなく、図14のψに示した角
度が15°程度の大きさを持っていても十分実用に耐えうる。以上のような理由で生じる
歪みを座標変換により補正することを目的とする。なお、図14では図面の都合上ψは1
5°に比べて大きい角度となっているが、本実施形態で想定しているψの大きさは上述し
たように15°程度の大きさである。
上述してきた撮像部に対して設定される座標系でのX座標情報及びY座標情報は、あく
まで、撮像画像上での座標情報であって、画像の歪みの分、実空間における座標情報とは
一致しない。そのため、座標変換(射影変換)を行うことにより、歪みを解消し、実空間
における適切な座標情報を求める必要がある。なお、撮像部500に対して設定される座
標系及び対象面20に対して設定される座標系を図15に示す。
一般的な座標変換である射影変換の式を下式(4)に示す。下式(4)において、x’
、y’が変換後の座標を表し、x、yが変換前の座標を表すものとする。各hは任意の係
数である。
射影変換を施した例を図16に示す。射影変換を行うことで、任意の四角形を別の任意
の四角形に移すことが可能となる。つまり、図16に示したように、歪んだ撮像画像を歪
みのない状態に戻すことができる。この際、係数hについては、キャリブレーション等に
より求めてもよい。つまり、対象面上の任意の点と、撮像画像上における対応する点との
位置関係を求めることにより、射影変換の係数を設定することができる。
このようにして求めた、座標変換後のX座標情報、Y座標情報及び、上述したZ座標情
報(ΔZ)が本実施形態の手法により求められる最終座標情報となる。
以上の本実施形態では、図1に示したように、位置検出システム400は、撮像部50
0と、撮像部500からの撮像画像に基づいて、対象面20に設定された検出エリアでの
対象物OBの座標情報を求める座標演算部430とを含む。そして、撮像部500は、レ
ンズ部LEを有する光学系と、撮像素子IMとを含む。そして、撮像部500から対象面
20の中央部へ向かう方向を第1の方向(図6(A)のD1)とし、レンズ部LEの光軸
方向を第2の方向(図6(A)のD2)とする。その場合に、第1の方向D1と対象面2
0のなす角度をα1、第2の方向D2と対象面20のなす角度をα2とすると、α1とα
2は、α1<α2の関係を満たす。
ここで、角度α1及び角度α2は以下のように定義する。対象面20の中央部をCEと
したとき、CEから撮像部500へと向かうベクトルをV1とし、対象面20に沿った平
面に含まれ且つCEからレンズ部LEの位置する側へ向かうベクトルをV3としたときに
、V1とV3のなす角度がα1である。なお、V3は鉛直方向のベクトルであり、図6(
A)のように対象面20に対して撮像部500が上方にある場合には、重力方向を表すベ
クトルの逆ベクトルであるといってもよい。また、レンズ部LEの光軸方向D2の逆ベク
トル(対象面20或いはその延長線上からレンズ部LEへ向かう方向)をV2としたとき
に、V2とV3のなす角度がα2である。なお、図6(A)では、第2の方向D2と対象
面20とが直交しているがこれに限定されるものではない。図6(B)のように、第2の
方向D2と対象面20とは直交しなくてもよい。また、上述したV1、V2、V3を図示
したものが図6(B)である。
これにより、対象面20を斜め上方から撮像する場合において、図4のようにD1とD
2が一致する(或いは角度が小さい)場合に比べて、対象面20とレンズ部LEとが平行
に近い配置になる。そのため、撮像画像における対象面20の形状の歪みを図4のように
配置された場合に比べて小さくすることが可能になる。よって、画像情報が狭い範囲に圧
縮されてしまうという問題を抑止することができ、位置検出の精度を向上させることがで
きる。
また、レンズ部LEの光軸方向をZ軸とし、Z軸に直交する方向をY軸として、対象面
20が位置する方向をY軸の正方向とした場合に、撮像素子IMはY軸の負方向に位置す
る。
ここで、Z軸、Y軸(及びX軸)は図15に示すような座標系となる。対象面20がY
軸正方向に位置するとは、例えば、対象面20の中央部(例えば図6(A)のCE等)の
位置の当該座標系におけるY座標の値が、正の値をとるということである。同様に、撮像
素子IMがY軸負方向に位置するとは、例えば、撮像素子IMの中央部の位置の当該座標
系におけるY座標の値が、負の値をとると言うことである。或いは、対象面20、撮像素
子IMの端部の位置のY座標の値に基づいて正と負のどちらに位置するかを判定してもよ
い。
これにより、図6(A)に示したように、レンズ部LEの光軸方向を境に、対象面20
と撮像素子IMとが逆側に配置されることになる。よって、図9に示したように、レンズ
部LEのイメージサークルのうち、対象物OB(或いは対象面20)の像が結像される位
置に適切に撮像素子IMを配置することが可能になる。
また、角度α1と角度α2はα1<α2≦90°を満たす角度であってもよい。特にα
2は90°であってもよい。この場合、D2は対象面20に直交する方向となる。
これにより、対象面20に対するレンズ部LE及び撮像素子IMの角度を適切に設定す
ることが可能になる。上述してきたように、対象面20と、レンズ部LE及び撮像素子I
Mとは平行になることが望ましい。D2が対象面20に直交する場合が、レンズ部LE及
び撮像素子IMと対象面20とが平行になる場合に相当する。しかし、実際には図14に
示したように対象面20と、レンズ部LE及び撮像素子IMとがある程度の角度ψを持っ
ていても実用上問題がない。ψは例えば、0°<ψ<15°程度の値となる。
また、座標演算部430は、座標情報として、検出エリアに設定された座標系における
X座標情報及びY座標情報を求める。
ここで、X軸、Y軸(及びZ軸)は、対象面上の検出エリアに対して設定される座標系
の軸である。処理過程で用いる撮像部500に対して設定される座標系(カメラ座標系)
とは異なるため注意が必要である。X軸、Y軸は図15に示したような方向とする。つま
り、X軸及びY軸により規定されるXY平面は対象面20を含む平面であり、かつ、鉛直
方向の正方向(重力方向)がY軸正方向に対応する。また、Y軸に直交し、図15におい
て手前方向をX軸正方向とし、XY平面に垂直で、かつ、対象面20の裏側から表側の方
向をZ軸正方向とする。ただし、XYZ軸の方向はこれに限定されるものではない。
これにより、検出エリアに対して設定された座標系において、X座標情報及びY座標情
報を求めることが可能になる。よって、対象面20に表示された画像のどの部分をポイン
ティングしているのか等の情報を取得することができる。
また、座標演算部430は、撮像画像の情報から得られるカメラ座標系での奥行き特定
情報に基づいて、検出エリアでの座標系におけるZ座標情報を求める。
これにより、検出エリアに対して設定された座標系において、Z座標情報を求めること
が可能になる。よって、対象面20に表示された画像のどの部分をポインティングしてい
るかにとどまらず、図13(B)のように当該ポインティング対象に触れているのか(対
象面20に触れているか)、図13(A)のように浮いた状態なのか等の判定を行うこと
ができる。
また、図2に示したように撮像部500は複数のカメラ(撮像部500−1及び500
−2)を有し、座標演算部430は、複数のカメラから取得された複数の撮像画像の視差
情報に基づいて得られた奥行き特定情報により、検出エリアでのZ座標情報を求めてもよ
い。
ここで、視差とは、2観測地点での位置の違いにより対象点が見える方向が異なること
を意味する。つまり、異なる位置に設けられた2つのカメラにより得られる2つの撮像画
像においては、対象物OBの位置がずれることになり、ここでは視差情報とは当該画像の
ずれを表すものとする。
これにより、複数のカメラを用いて取得した複数の撮像画像の視差情報に基づいて、検
出エリアに設定された座標系でのZ座標情報を求めることが可能になる。具体的には図3
(A)、図3(B)及び式(2)を用いて上述したように、対象物OBの位置のずれδか
ら検出エリアでの座標系におけるZ座標(ΔZ)を求めることができる。なお、δから直
接求められるのは、カメラ座標系におけるZ座標であるが、カメラ座標系から検出エリア
での座標系へのZ座標の値の変換は容易であり、そのための値も上式(2)の係数Aに含
まれているものとする。
また、撮像部500はデプスカメラを有し、座標演算部430は、デプスカメラにより
得られた奥行き特定情報に基づいて検出エリアでの座標系におけるZ座標を求めてもよい
ここで、デプスカメラとは、例えばTime−of−flight方式等を用いたカメ
ラが考えられる。これは、赤外光のパスル波或いはサインカーブ波を被写体に照射し、反
射光の位相差を検出することで奥行き特定情報を取得するものである。
これにより、上述した複数のカメラを用いた場合と同様に、奥行き特定情報を取得でき
、検出エリアでの座標系におけるZ座標情報を求めることが可能になる。
また、座標演算部430は、カメラ座標系での奥行き特定情報に基づいて、検出エリア
での座標系におけるX座標情報及びY座標情報の少なくとも一方の補正処理を行ってもよ
い。
これにより、カメラ座標系での奥行き特定情報に基づいて、検出エリアでの座標系にお
けるX座標情報及びY座標情報の少なくとも一方の補正処理を行うことが可能になる。図
13(A)、図13(B)に示したように対象物OBが対象面20に接しているか浮いて
いるかにより、処理が異なる。図13(A)のように対象物OBが対象面20から浮いて
いる場合には、撮像画像から得られるXY座標(A1)に比べて、実際のXY座標(A2
)はΔYだけずれることになる。そのため、Z>0の場合には、このΔYだけY座標を補
正する必要が生じる。それに対し、Z=0の場合には、ずれが生じないため補正も必要な
い。なお、上述したカメラ座標系から検出エリア座標系への座標変換処理は補正処理後に
行われるものとするが、これに限定されるものではない。
また、図1に示したように、位置検出システム400は、レンズ部LEの光軸方向を可
変に調節する調節部600を含んでもよい。
これにより、レンズ部LEの光軸方向をユーザーが調節することが可能になる。上述し
たように投写型表示装置PR等に撮像装置が搭載される例では、投写型表示装置PRがス
クリーンに対してどのような位置、方向に設置されるかによって、レンズ部LEの光軸方
向を変更する必要が生じる。その際、調整部600を設けておけば、設置の状況に合わせ
て適切にレンズ部LEの光軸方向を設定することができ、柔軟にシステムを運用すること
が可能になる。
また、本実施形態は、上述してきた位置検出システム400を含む投写型表示装置PR
である表示システムに関係する。
これにより、上述してきたような投写型表示装置PRを表示装置として用いるような表
示システムを実現することが可能になる。
また、第2の方向D2は、投写型表示装置PRの投影方向に対して角度β(β>0°)
をなす。
これにより、図6(A)に示したように、投写型表示装置PRの投射方向からずれた角
度にレンズ部LEの光軸方向を設定することが可能になる。投写型表示装置PRの投射方
向とは、上述した第1の方向D1(撮像部500から対象面20の中央部CEへと向かう
方向)に対応する方向である。
また、本実施形態は、上述してきた位置検出システムと、位置検出システムからの検出
情報に基づいて処理を行う情報処理装置と、情報処理装置からの画像データに基づいて画
像の表示を行う表示装置とを含む情報処理システムに関係する。
図17に、本実施形態の情報処理システムの構成例を示す。図17の構成例は、光学式
位置検出装置100、情報処理装置30及び表示装置10を含む。情報処理装置30は、
例えばパーソナルコンピューター(PC)などであって、光学式位置検出装置100から
の検出情報に基づいて処理を行う。光学式位置検出装置100と情報処理装置30とは、
USBケーブルUSBCを介して電気的に接続される。表示装置10は、例えば投射型表
示装置(プロジェクター)などであって、情報処理装置30からの画像データに基づいて
、表示部(スクリーン)20に画像を表示する。ユーザーは、表示部20に表示された画
像を参照しながら、表示画像のアイコン等をポインティングすることで、情報処理装置3
0に対して必要な情報を入力することができる。
なお、図17では、光学式位置検出装置100が表示部20に取り付けられているが、
他の場所に取り付けることもできる。例えば、光学式位置検出装置100を表示装置10
に取り付けてもよいし、天井や壁などに取り付けてもよい。また、表示装置10としては
、投射型表示装置(プロジェクター)に限定されるものではなく、例えばデジタルサイネ
ージ用表示装置であってもよい。
これにより、投写型表示装置PR(プロジェクター)により画像を対象面20に投射し
た上で、投射した画像とユーザーの用いる対象物OB(オブジェクト)の連携によるユー
ザインターフェースを実現することが可能になる。その際、位置検出システムによる検出
情報の処理及び表示装置に表示する表示画像(画像データ)の処理や制御等を情報処理装
置により行うことができる。
3.光学式位置検出装置の構成例
図18に、本実施形態の光学式位置検出装置100を用いた光学式検出システムの基本
的な構成例を示す。図18の光学式位置検出装置100は、検出部200、処理部300
、照射部EU及び受光部RUを含む。なお、本実施形態の光学式検出システムは図18の
構成に限定されず、その構成要素の一部を省略したり、他の構成要素に置き換えたり、他
の構成要素を追加するなどの種々の変形実施が可能である。
なお、光学式検出システムは、上述したように検出部200や処理部300を含む光学
式位置検出装置100として実現される形態には限定されない。情報処理装置(例えばP
C等)により、検出部200や処理部300の機能が実現され、照射部EU及び受光部R
Uと、上記情報処理装置とが連動して動作することにより、光学式検出システムが実現さ
れてもよい。
検出部200は、照射光LTが対象物OBにより反射することによる反射光LRの受光
結果に基づいて、対象物OBの対象物情報(例えば、座標情報や反射率情報)を検出する
。具体的には例えば、検出部200は、対象物OBが検出されるエリアである検出エリア
RDETがX−Y平面に沿ったエリアである場合に、少なくとも検出エリアRDETに存
在する対象物OBのX座標情報及びY座標情報を検出する。なお、検出部200による座
標情報の検出手法については、後述する。また、具体的には対象物OBの反射率に関する
情報である反射率情報を検出する。
検出エリアRDETとは、対象物OBが検出されるエリア(領域)であって、具体的に
は、例えば照射光LTが対象物OBに反射されることによる反射光LRを、受光部RUが
受光して、対象物OBを検出することができるエリアである。より具体的には、受光部R
Uが反射光LRを受光して対象物OBを検出することが可能であって、かつ、その検出精
度について、許容できる範囲の精度が確保できるエリアである。
処理部300は、検出部200が検出した対象物情報に基づいて種々の処理を行う。
照射部EUは、検出エリアRDETに対して照射光LTを出射する。後述するように、
照射部EUは、LED(発光ダイオード)等の発光素子から成る光源部を含み、光源部が
発光することで、例えば赤外光(可視光領域に近い近赤外線)を出射する。
受光部RUは、照射光LTが対象物OBにより反射することによる反射光LRを受光す
る。受光部RUは、複数の受光ユニットPDを含んでもよい。受光ユニットPDは、例え
ばフォトダイオードやフォトトランジスターなどを用いることができる。
図19に、本実施形態の受光部RUの具体的な構成例を示す。図19の構成例では、受
光部RUは受光ユニットPDを含む。受光ユニットPDは、入射光が入射する角度(Y−
Z平面上の角度)を制限するためのスリット等(入射光制限部)が設けられ、検出エリア
RDETに存在する対象物OBからの反射光LRを受光する。検出部200は、受光ユニ
ットPDの受光結果に基づいて、X座標情報及びY座標情報を検出する。なお、照射部E
Uは、検出エリアRDETに対して照射光LTを出射する。また検出エリアRDETは、
X−Y平面に沿ったエリアである。なお、図19の構成例は1つの受光ユニットで構成さ
れるが、2つ以上の受光ユニットを含む構成としてもよい。
図20(A)、図20(B)に、スリットSLT(入射光制限部)を有する受光ユニッ
トPDの構成例を示す。図20(A)に示すように、受光素子PHDの前面にスリットS
LTを設けて、入射する入射光を制限する。スリットSLTはX−Y平面に沿って設けら
れ、入射光が入射するZ方向の角度を制限することができる。すなわち受光ユニットPD
は、スリットSLTのスリット幅で規定される所定の角度で入射する入射光を受光するこ
とができる。
図20(B)は、スリットSLTを有する受光ユニットの上から見た平面図である。例
えばアルミニウム等の筐体(ケース)内に配線基板PWBが設けられ、この配線基板PW
B上に受光素子PHDが実装される。
図21に、本実施形態の照射部EUの詳細な構成例を示す。図21の構成例の照射部E
Uは、光源部LS1、LS2と、ライトガイドLGと、照射方向設定部LEを含む。また
反射シートRSを含む。そして照射方向設定部LEは光学シートPS及びルーバーフィル
ムLFを含む。なお、本実施形態の照射部EUは、図21の構成に限定されず、その構成
要素の一部を省略したり、他の構成要素に置き換えたり、他の構成要素を追加するなどの
種々の変形実施が可能である。
光源部LS1、LS2は、光源光を出射するものであり、LED(発光ダイオード)等
の発光素子を有する。この光源部LS1、LS2は例えば赤外光(可視光領域に近い近赤
外線)の光源光を放出する。即ち、光源部LS1、LS2が発光する光源光は、ユーザー
の指やタッチペン等の対象物により効率的に反射される波長帯域の光や、外乱光となる環
境光にあまり含まれない波長帯域の光であることが望ましい。具体的には、人体の表面で
の反射率が高い波長帯域の光である850nm付近の波長の赤外光や、環境光にあまり含
まれない波長帯域の光である950nm付近の赤外光などである。
光源部LS1は、図21のF1に示すようライトガイドLGの一端側に設けられる。ま
た第2の光源部LS2は、F2に示すようにライトガイドLGの他端側に設けられる。そ
して光源部LS1が、ライトガイドLGの一端側(F1)の光入射面に対して光源光を出
射することで、照射光LT1を出射し、第1の照射光強度分布LID1を対象物の検出エ
リアに形成(設定)する。一方、光源部LS2が、ライトガイドLGの他端側(F2)の
光入射面に対して第2の光源光を出射することで、第2の照射光LT2を出射し、第1の
照射光強度分布LID1とは強度分布が異なる第2の照射光強度分布LID2を検出エリ
アに形成する。このように照射部EUは、検出エリアRDETでの位置に応じて強度分布
が異なる照射光を出射することができる。
ライトガイドLG(導光部材)は、光源部LS1、LS2が発光した光源光を導光する
ものである。例えばライトガイドLGは、光源部LS1、LS2からの光源光を曲線状の
導光経路に沿って導光し、その形状は曲線形状になっている。具体的には図21ではライ
トガイドLGは円弧形状になっている。なお図21ではライトガイドLGはその中心角が
180度の円弧形状になっているが、中心角が180度よりも小さい円弧形状であっても
よい。ライトガイドLGは、例えばアクリル樹脂やポリカーボネートなどの透明な樹脂部
材等により形成される。
ライトガイドLGの外周側及び内周側の少なくとも一方には、ライトガイドLGからの
光源光の出光効率を調整するための加工が施されている。加工手法としては、例えば反射
ドットを印刷するシルク印刷方式や、スタンパーやインジェクションで凹凸を付ける成型
方式や、溝加工方式などの種々の手法を採用できる。
プリズムシートPSとルーバーフィルムLFにより実現される照射方向設定部LEは、
ライトガイドLGの外周側に設けられ、ライトガイドLGの外周側(外周面)から出射さ
れる光源光を受ける。そして曲線形状(円弧形状)のライトガイドLGの内周側から外周
側へと向かう方向に照射方向が設定された照射光LT1、LT2を出射する。即ち、ライ
トガイドLGの外周側から出射される光源光の方向を、ライトガイドLGの例えば法線方
向(半径方向)に沿った照射方向に設定(規制)する。これにより、ライトガイドLGの
内周側から外周側に向かう方向に、照射光LT1、LT2が放射状に出射されるようにな
る。
このような照射光LT1、LT2の照射方向の設定は、照射方向設定部LEのプリズム
シートPSやルーバーフィルムLFなどにより実現される。例えばプリズムシートPSは
、ライトガイドLGの外周側から低視角で出射される光源光の方向を、法線方向側に立ち
上げて、出光特性のピークが法線方向になるように設定する。またルーバーフィルムLF
は、法線方向以外の方向の光(低視角光)を遮光(カット)する。
このように本実施形態の照射部EUによれば、ライトガイドLGの両端に光源部LS1
、LS2を設け、これらの光源部LS1、LS2を交互に点灯させることで、2つの照射
光強度分布を形成することができる。すなわちライトガイドLGの一端側の強度が高くな
る照射光強度分布LID1と、ライトガイドLGの他端側の強度が高くなる照射光強度分
布LID2を交互に形成することができる。
このような照射光強度分布LID1、LID2を形成し、これらの強度分布の照射光に
よる対象物の反射光を受光することで、環境光などの外乱光の影響を最小限に抑えた、よ
り精度の高い対象物の検出が可能になる。即ち、外乱光に含まれる赤外成分を相殺するこ
とが可能になり、この赤外成分が対象物の検出に及ぼす悪影響を最小限に抑えることが可
能になる。
4.光学式位置検出装置による座標検出手法
図22(A)、図22(B)は、本実施形態の光学式位置検出装置100による座標情
報検出の手法を説明する図である。
図22(A)のE1は、図21の照射光強度分布LID1において、照射光LT1の照
射方向の角度と、その角度での照射光LT1の強度との関係を示す図である。図22(A
)のE1では、照射方向が図22(B)のDD1の方向(左方向)である場合に強度が最
も高くなる。一方、DD3の方向(右方向)である場合に強度が最も低くなり、DD2の
方向ではその中間の強度になる。具体的には方向DD1から方向DD3への角度変化に対
して照射光の強度は単調減少しており、例えばリニア(直線的)に変化している。なお図
22(B)では、ライトガイドLGの円弧形状の中心位置が、照射部EUの配置位置PE
になっている。
また図22(A)のE2は、図21の照射光強度分布LID2において、照射光LT2
の照射方向の角度と、その角度での照射光LT2の強度との関係を示す図である。図22
(A)のE2では、照射方向が図22(B)のDD3の方向である場合に強度が最も高く
なる。一方、DD1の方向である場合に強度が最も低くなり、DD2の方向ではその中間
の強度になる。具体的には方向DD3から方向DD1への角度変化に対して照射光の強度
は単調減少しており、例えばリニアに変化している。なお図22(A)では照射方向の角
度と強度の関係はリニアな関係になっているが、本実施形態はこれに限定されず、例えば
双曲線の関係等であってもよい。
そして図22(B)に示すように、角度φの方向DDBに対象物OBが存在したとする
。すると、光源部LS1が発光することで照射光強度分布LID1を形成した場合(E1
の場合)には、図22(A)に示すように、DDB(角度φ)の方向に存在する対象物O
Bの位置での強度はINTaになる。一方、光源部LS2が発光することで照射光強度分
布LID2を形成した場合(E2の場合)には、DDBの方向に存在する対象物OBの位
置での強度はINTbになる。
従って、これらの強度INTa、INTbの関係を求めることで、対象物OBの位置す
る方向DDB(角度φ)を特定できる。そして例えば後述する図23(A)、図23(B
)の手法により光学式位置検出装置の配置位置PEからの対象物OBの距離を求めれば、
求められた距離と方向DDBとに基づいて対象物OBの位置を特定できる。或いは、後述
する図24に示すように、照射部EUとして2個の照射ユニットEU1、EU2を設け、
EU1、EU2の各照射ユニットに対する対象物OBの方向DDB1(φ1)、DDB2
(φ2)を求めれば、これらの方向DDB1、DDB2と照射ユニットEU1、EU2間
の距離DSとにより、対象物OBの位置を特定できる。
このような強度INTa、INTbの関係を求めるために、本実施形態では、受光部R
Uが、照射光強度分布LID1を形成した際の対象物OBの反射光(第1の反射光)を受
光する。この時の反射光の検出受光量をGaとした場合に、このGaが強度INTaに対
応するようになる。また受光部RUが、照射光強度分布LID2を形成した際の対象物O
Bの反射光(第2の反射光)を受光する。この時の反射光の検出受光量をGbとした場合
に、このGbが強度INTbに対応するようになる。従って、検出受光量GaとGbの関
係が求まれば、強度INTa、INTbの関係が求まり、対象物OBの位置する方向DD
Bを求めることができる。
例えば光源部LS1の制御量(例えば電流量)、変換係数、放出光量を、各々、Ia、
k、Eaとする。また光源部LS2の制御量(電流量)、変換係数、放出光量を、各々、
Ib、k、Ebとする。すると下式(5)、(6)が成立する。
Ea=k・Ia (5)
Eb=k・Ib (6)
また光源部LS1からの光源光(第1の光源光)の減衰係数をfaとし、この光源光に
対応する反射光(第1の反射光)の検出受光量をGaとする。また光源部LS2からの光
源光(第2の光源光)の減衰係数をfbとし、この光源光に対応する反射光(第2の反射
光)の検出受光量をGbとする。すると下式(7)、(8)が成立する。
Ga=fa・Ea=fa・k・Ia (7)
Gb=fb・Eb=fb・k・Ib (8)
従って、検出受光量Ga、Gbの比は下式(9)のように表せる。
Ga/Gb=(fa/fb)・(Ia/Ib) (9)
ここでGa/Gbは、受光部RUでの受光結果から特定することができ、Ia/Ibは
、照射部EUの制御量から特定することができる。そして図22(A)の強度INTa、
INTbと減衰係数fa、fbとは一意の関係にある。例えば減衰係数fa、fbが小さ
な値となり、減衰量が大きい場合は、強度INTa、INTbが小さいことを意味する。
一方、減衰係数fa、fbが大きな値となり、減衰量が小さい場合は、強度INTa、I
NTbが大きいことを意味する。従って、上式(9)から減衰率の比fa/fbを求める
ことで、対象物の方向、位置等を求めることが可能になる。
より具体的には、一方の制御量IaをImに固定し、検出受光量の比Ga/Gbが1に
なるように、他方の制御量Ibを制御する。例えば光源部LS1、LS2を逆相で交互に
点灯させる制御を行い、検出受光量の波形を解析し、検出波形が観測されなくなるように
(Ga/Gb=1になるように)、他方の制御量Ibを制御する。そして、この時の他方
の制御量Ib=Im・(fa/fb)から、減衰係数の比fa/fbを求めて、対象物の
方向、位置等を求める。
また下式(10)、(11)のように、Ga/Gb=1になると共に制御量IaとIb
の和が一定になるように制御してもよい。
Ga/Gb=1 (10)
Im=Ia+Ib (11)
上式(10)、(11)を上式(9)に代入すると下式(12)が成立する。
Ga/Gb=1=(fa/fb)・(Ia/Ib)
=(fa/fb)・{(Im−Ib)/Ib} (12)
上式(12)より、Ibは下式(13)のように表される。
Ib={fa/(fa+fb)}・Im (13)
ここでα=fa/(fa+fb)とおくと、上式(13)は下式(14)のように表さ
れ、減衰係数の比fa/fbは、αを用いて下式(15)のように表される。
Ib=α・Im (14)
fa/fb=α/(1−α) (15)
従って、Ga/Gb=1になると共にIaとIbの和が一定値Imになるように制御す
れば、そのときのIb、Imから上式(14)によりαを求め、求められたαを上式(1
5)に代入することで、減衰係数の比fa/fbを求めることができる。これにより、対
象物の方向、位置等を求めることが可能になる。そしてGa/Gb=1になると共にIa
とIbの和が一定になるように制御することで、外乱光の影響等を相殺することが可能に
なり、検出精度の向上を図れる。
次に本実施形態の光学式検出システムを用いて対象物の座標情報を検出する手法の一例
について説明する。図23(A)は、光源部LS1、LS2の発光制御についての信号波
形例である。信号SLS1は、光源部LS1の発光制御信号であり、信号SLS2は、光
源部LS2の発光制御信号であり、これらの信号SLS1、SLS2は逆相の信号になっ
ている。また信号SRCは受光信号である。
例えば光源部LS1は、信号SLS1がHレベルの場合に点灯(発光)し、Lレベルの
場合に消灯する。また光源部LS2は、信号SLS2がHレベルの場合に点灯(発光)し
、Lレベルの場合に消灯する。従って図23(A)の第1の期間T1では、光源部LS1
と光源部LS2が交互に点灯するようになる。即ち光源部LS1が点灯している期間では
、光源部LS2は消灯する。これにより図21に示すような照射光強度分布LID1が形
成される。一方、光源部LS2が点灯している期間では、光源部LS1は消灯する。これ
により図21に示すような照射光強度分布LID2が形成される。
このように検出部200は、第1の期間T1において、光源部LS1と光源部LS2を
交互に発光(点灯)させる制御を行う。そしてこの第1の期間T1において、光学式位置
検出装置(照射部)から見た対象物の位置する方向が検出される。具体的には、例えば上
述した式(10)、(11)のようにGa/Gb=1になると共に制御量IaとIbの和
が一定になるような発光制御を、第1の期間T1において行う。そして図22(B)に示
すように対象物OBの位置する方向DDBを求める。例えば上式(14)、(15)から
減衰係数の比fa/fbを求め、図22(A)、図22(B)で説明した手法により対象
物OBの位置する方向DDBを求める。
そして第1の期間T1に続く第2の期間T2では、受光部RUでの受光結果に基づいて
対象物OBまでの距離(方向DDBに沿った方向での距離)を検出する。そして、検出さ
れた距離と、対象物OBの方向DDBとに基づいて、対象物の位置を検出する。即ち図2
2(B)において、光学式位置検出装置の配置位置PEから対象物OBまでの距離と、対
象物OBの位置する方向DDBを求めれば、対象物OBのX、Y座標位置を特定できる。
このように、光源の点灯タイミングと受光タイミングの時間のずれから距離を求め、これ
と角度結果を併せることで、対象物OBの位置を特定できる。
具体的には図23(A)では、発光制御信号SLS1、SLS2による光源部LS1、
LS2の発光タイミングから、受光信号SRCがアクティブになるタイミング(反射光を
受光したタイミング)までの時間Δtを検出する。即ち、光源部LS1、LS2からの光
が対象物OBに反射されて受光部RUで受光されるまでの時間Δtを検出する。この時間
Δtを検出することで、光の速度は既知であるため、対象物OBまでの距離を検出できる
。即ち、光の到達時間のずれ幅(時間)を測定し、光の速度から距離を求める。
なお、光の速度はかなり速いため、電気信号だけでは単純な差分を求めて時間Δtを検
出することが難しいという問題もある。このような問題を解決するためには、図23(B
)に示すように発光制御信号の変調を行うことが望ましい。ここで図23(B)は、制御
信号SLS1、SLS2の振幅により光の強度(電流量)を模式的に表している模式的な
信号波形例である。
具体的には図23(B)では、例えば公知の連続波変調のTOF(Time Of Flight)方
式で距離を検出する。この連続波変調TOF方式では、一定周期の連続波で強度変調した
連続光を用いる。そして、強度変調された光を照射すると共に、反射光を、変調周期より
も短い時間間隔で複数回受光することで、反射光の波形を復調し、照射光と反射光との位
相差を求めることで、距離を検出する。なお図23(B)において制御信号SLS1、S
LS2のいずれか一方に対応する光のみを強度変調してもよい。また図23(B)のよう
なクロック波形ではなく、連続的な三角波やSin波で変調した波形であってもよい。ま
た、連続変調した光としてパルス光を用いるパルス変調のTOF方式で、距離を検出して
もよい。距離検出手法の詳細については例えば特開2009−8537号などに開示され
ている。
図24に、本実施形態の照射部EUの変形例を示す。図24では、照射部EUとして第
1、第2の照射ユニットEU1、EU2が設けられる。これらの第1、第2の照射ユニッ
トEU1、EU2は、対象物OBの検出エリアRDETの面に沿った方向において所与の
距離DSだけ離れて配置される。即ち図18のX軸方向に沿って距離DSだけ離れて配置
される。
第1の照射ユニットEU1は、照射方向に応じて強度が異なる第1の照射光を放射状に
出射する。第2の照射ユニットEU2は、照射方向に応じて強度が異なる第2の照射光を
放射状に出射する。受光部RUは、第1の照射ユニットEU1からの第1の照射光が対象
物OBに反射されることによる第1の反射光と、第2の照射ユニットEU2からの第2の
照射光が対象物OBに反射されることによる第2の反射光を受光する。そして検出部20
0は、受光部RUでの受光結果に基づいて、対象物OBの位置POBを検出する。
具体的には検出部200は、第1の反射光の受光結果に基づいて、第1の照射ユニット
EU1に対する対象物OBの方向を第1の方向DDB1(角度φ1)として検出する。ま
た第2の反射光の受光結果に基づいて、第2の照射ユニットEU2に対する対象物OBの
方向を第2の方向DDB2(角度φ2)として検出する。そして検出された第1の方向D
DB1(φ1)及び第2の方向DDB2(φ2)と、第1、第2の照射ユニットEU1、
EU2の間の距離DSとに基づいて、対象物OBの位置POBを求める。
図24の変形例によれば、図23(A)、図23(B)のように光学式位置検出装置と
対象物OBとの距離を求めなくても、対象物OBの位置POBを検出できるようになる。
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効
果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるで
あろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば
、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記
載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換え
ることができる。また撮像装置、光学式位置検出装置等の構成、動作も本実施形態で説明
したものに限定されず、種々の変形実施が可能である。
20 対象面、30 情報処理装置、100 光学式位置検出装置、200 検出部、
300 処理部、400 位置検出システム、410 座標情報取得部、
420 撮像画像取得部、430 座標演算部、431 奥行き特定情報取得部、
433 補正部、435 座標変換部、500 撮像部、600 調整部、
EU 照射部、LE 照射方向設定部、LF ルーバーフィルム、LG ライトガイド、
PD 受光ユニット、PS プリズムシート、PS 光学シート、RS 反射シート、
RU 受光部

Claims (13)

  1. 撮像画像を撮像する撮像部と、
    前記撮像部からの前記撮像画像に基づいて、対象面に設定された検出エリアでの対象物
    の座標情報を求める座標演算部と、
    を含み、
    前記撮像部は、
    レンズ部を有する光学系と、撮像素子とを含み、
    前記撮像部から前記対象面の中央部へと向かう方向である第1の方向と前記対象面のな
    す角度α1とし、前記レンズ部の光軸方向である第2の方向と前記対象面のなす角度をα
    2とした場合に、
    角度α1及び角度α2は、α1<α2を満たすことを特徴とする位置検出システム。
  2. 請求項1において、
    前記レンズ部の光軸方向をカメラ座標系のZ軸とし、前記Z軸に直交する軸をカメラ座
    標系のY軸として、対象面が位置する方向を前記Y軸の正方向とした場合に、
    前記撮像素子は、
    前記Y軸の負方向に位置することを特徴とする位置検出システム。
  3. 請求項1又は2において、
    前記角度α2は、
    α1<α2≦90°を満たす角度であることを特徴とする位置検出システム。
  4. 請求項3において、
    前記角度α2は、90°であることを特徴とする位置検出システム。
  5. 請求項1乃至4のいずれかにおいて、
    前記座標演算部は、
    前記座標情報として、前記検出エリアでのX座標情報及びY座標情報を求めることを特
    徴とする位置検出システム。
  6. 請求項1乃至5のいずれかにおいて、
    前記座標演算部は、
    前記撮像画像の情報から得られるカメラ座標系での奥行き特定情報に基づいて、前記対
    象物の前記検出エリアでのZ座標情報を求めることを特徴とする位置検出システム。
  7. 請求項6において、
    前記撮像部は、
    複数のカメラを有し、
    前記座標演算部は、
    前記複数のカメラから取得された複数の撮像画像情報の視差情報に基づいて得られた奥
    行き特定情報により、前記検出エリアでの前記Z座標を求めることを特徴とする位置検出
    システム。
  8. 請求項6において、
    前記撮像部は、
    デプスカメラを有し、
    前記座標演算部は、
    前記デプスカメラにより得られた前記奥行き特定情報に基づいて、前記検出エリアでの
    前記Z座標を求めることを特徴とする位置検出システム。
  9. 請求項6乃至8のいずれかにおいて、
    前記座標演算部は、
    前記カメラ座標系での前記奥行き特定情報に基づいて、前記検出エリアでのX座標情報
    及びY座標情報の少なくとも一方の補正処理を行うことを特徴とする位置検出システム。
  10. 請求項1乃至9のいずれかにおいて、
    前記レンズ部の光軸方向を可変に調節する調節部を含むことを特徴とする位置検出シス
    テム。
  11. 請求項1乃至10のいずれかに記載の位置検出システムを含む投写型表示装置であるこ
    とを特徴とする表示システム。
  12. 請求項11において、
    前記第2の方向は、
    前記投写型表示装置の投影方向に対して、角度β(β>0°)をなすことを特徴とする
    表示システム。
  13. 請求項1乃至10のいずれかに記載の位置検出システムと、
    前記位置検出システムからの検出情報に基づいて処理を行う情報処理装置と、
    前記情報処理装置からの画像データに基づいて画像の表示を行う表示装置と、
    を含むことを特徴する情報処理システム。
JP2011008609A 2011-01-19 2011-01-19 投写型表示装置 Expired - Fee Related JP5845581B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011008609A JP5845581B2 (ja) 2011-01-19 2011-01-19 投写型表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011008609A JP5845581B2 (ja) 2011-01-19 2011-01-19 投写型表示装置

Publications (2)

Publication Number Publication Date
JP2012149986A true JP2012149986A (ja) 2012-08-09
JP5845581B2 JP5845581B2 (ja) 2016-01-20

Family

ID=46792364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011008609A Expired - Fee Related JP5845581B2 (ja) 2011-01-19 2011-01-19 投写型表示装置

Country Status (1)

Country Link
JP (1) JP5845581B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109253694A (zh) * 2018-11-18 2019-01-22 大连四达高技术发展有限公司 支杆球心空间坐标测量结构及测量方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110045477B (zh) * 2019-04-16 2020-11-03 中国科学院光电技术研究所 一种基于相位解析的光学元件自动对心方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10126659A (ja) * 1996-10-21 1998-05-15 Nikon Corp 画像計測用カメラおよび画像計測装置
JP2006064695A (ja) * 2004-07-30 2006-03-09 Matsushita Electric Works Ltd 個体検出器及び共入り検出装置
JP2006324599A (ja) * 2005-05-20 2006-11-30 Canon Machinery Inc ダイボンダ用撮像装置
JP2007225403A (ja) * 2006-02-22 2007-09-06 Purex:Kk 距離計測装置の調整機構およびそれを備えた立体形状認識システム
JP2008134793A (ja) * 2006-11-28 2008-06-12 Fujifilm Corp 電子的手書入力装置
JP2009270915A (ja) * 2008-05-07 2009-11-19 Kagawa Univ 3次元形状の計測方法および装置
JP2010079458A (ja) * 2008-09-24 2010-04-08 Fuji Xerox Co Ltd 筆跡表示システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10126659A (ja) * 1996-10-21 1998-05-15 Nikon Corp 画像計測用カメラおよび画像計測装置
JP2006064695A (ja) * 2004-07-30 2006-03-09 Matsushita Electric Works Ltd 個体検出器及び共入り検出装置
JP2006324599A (ja) * 2005-05-20 2006-11-30 Canon Machinery Inc ダイボンダ用撮像装置
JP2007225403A (ja) * 2006-02-22 2007-09-06 Purex:Kk 距離計測装置の調整機構およびそれを備えた立体形状認識システム
JP2008134793A (ja) * 2006-11-28 2008-06-12 Fujifilm Corp 電子的手書入力装置
JP2009270915A (ja) * 2008-05-07 2009-11-19 Kagawa Univ 3次元形状の計測方法および装置
JP2010079458A (ja) * 2008-09-24 2010-04-08 Fuji Xerox Co Ltd 筆跡表示システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109253694A (zh) * 2018-11-18 2019-01-22 大连四达高技术发展有限公司 支杆球心空间坐标测量结构及测量方法

Also Published As

Publication number Publication date
JP5845581B2 (ja) 2016-01-20

Similar Documents

Publication Publication Date Title
JP2012150636A (ja) 投写型表示装置及び情報処理システム
US11693115B2 (en) Determining positional information of an object in space
US20120098746A1 (en) Optical Position Detection Apparatus
JP5703644B2 (ja) 光学式検出システム、電子機器
WO2012147496A1 (ja) 物体検出装置および情報取得装置
US20100207909A1 (en) Detection module and an optical detection device comprising the same
JP5888393B2 (ja) 位置検出システム、表示システム及び情報処理システム
JP2010191961A (ja) 検出モジュール及び検出モジュールを含む光学的検出システム
US20110074738A1 (en) Touch Detection Sensing Apparatus
JP2011070625A (ja) 光学式タッチ制御システム及びその方法
WO2013035553A1 (ja) ユーザインタフェース表示装置
JP2010204995A5 (ja)
US20120218225A1 (en) Optical scanning type touch apparatus and operation method thereof
JP5845582B2 (ja) 位置検出システム、表示システム及び情報処理システム
JP5672018B2 (ja) 位置検出システム、表示システム及び情報処理システム
JP5845581B2 (ja) 投写型表示装置
EP2728393A3 (en) Laser Scanning Unit and Image Forming Apparatus including the Same
JP5530809B2 (ja) 位置検出装置、及び画像処理システム
JP2013011551A (ja) 光学式位置検出装置および入力機能付き表示システム
CN102063228B (zh) 光学侦测系统及应用该光学侦测系统的触摸屏
CN204066012U (zh) 一种投影装置
US8912482B2 (en) Position determining device and method for objects on a touch device having a stripped L-shaped reflecting mirror and a stripped retroreflector
US20130241882A1 (en) Optical touch system and optical touch position detecting method
CN102854509A (zh) 光学式位置检测装置、受光单元及带输入功能的显示系统
CN102646003B (zh) 感测系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141113

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151109

R150 Certificate of patent or registration of utility model

Ref document number: 5845581

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees