JP2012150636A - 投写型表示装置及び情報処理システム - Google Patents

Abstract

【課題】 表示画像を投影するとともに、撮像画像を取得することで、対象物の位置情報を検出することが可能な投写型表示装置及び情報処理システム等を提供すること。
【解決手段】 投写型表示装置ＰＲは、対象面２０に対して画像を投影する画像投影部６００と、対象面２０を撮像する撮像部５００と、対象面２０に設定された検出エリアＲＤＥＴでの対象物ＯＢの座標情報を求める座標演算部４３０と、を含み、座標演算部４３０は、撮像部５００からの撮像画像から得られるカメラ座標系での奥行き特定情報に基づいて、対象物ＯＢの座標情報を求める。
【選択図】 図１

Description

本発明は、投写型表示装置及び情報処理システム等に関する。

赤外光を照射して、対象物からの反射を検知する近接センサではＸ、Ｙ座標の特定が困難である。また、ＣＣＤなどの撮像素子で検知するシステムは安価でない。特許文献１では、レンズ群を配置した光学系を工夫することでＬＥＤ光を用いた座標入力、位置検出手法を提案しているが、構成部品が多いためコスト面で優位性がなく、さらに位置検出精度が低い。

特開２００１−１４２６４３号公報

近年、表示画像を表示し、当該表示画像とオブジェクト（対象物）との連携によりユーザーインターフェースを形成するシステムの要求が高まっている。例えば表示画像上の任意のマークをさわることにより、表示画像が切り替わる等の処理が行われる。そのため、このようなシステムでは対象物の位置検出手法が重要となってくる。また、撮像装置により取得した撮像画像に対して画像処理を行う手法が、精度の高い位置検出手法として知られている。しかしながら、表示面が大きい場合の画像の表示手段として想定されうる投写型表示装置（プロジェクター）と、撮像画像を取得する撮像装置との関係については特に考慮されていない。

本発明の幾つかの態様によれば、表示画像を投影するとともに、撮像画像を取得することで、対象物の位置情報を検出することが可能な投写型表示装置及び情報処理システム等を提供することができる。

本発明の一態様は、対象面に対して画像を投影する画像投影部と、前記対象面を撮像する撮像部と、前記対象面に設定された検出エリアでの対象物の座標情報を求める座標演算部と、を含み、前記座標演算部は、前記撮像部からの撮像画像から得られるカメラ座標系での奥行き特定情報に基づいて、前記対象物の座標情報を求める投写型表示装置に関係する。

本発明の一態様では、対象面に対して画像を投影するとともに、対象面を撮像し、撮像画像から対象物の座標情報を求める。よって、画像の投影と対象物の位置情報の検出の両方の処理を行うことができるため、投影した表示画像と対象物とを連動させたユーザーインターフェースを形成すること等が可能になる。

また、本発明の一態様では、前記対象面に直交する座標軸をＺ座標軸とし、前記撮像部の撮像方向が前記対象面に対して斜め方向となる場合に、前記座標演算部は、前記奥行き特定情報に基づいて、前記対象物のＺ座標情報を求めてもよい。

これにより、奥行き特定情報に基づいて、対象物のＺ座標情報（例えば、対象面に対して直交する方向の軸における座標情報）を求めることが可能になる。

また、本発明の一態様では、前記Ｚ座標軸に直交する座標軸をＸ座標軸、Ｙ座標軸とした場合に、前記座標演算部は、前記奥行き特定情報に基づいて、前記対象物のＸ座標情報及びＹ座標情報の少なくとも一方の補正処理を行ってもよい。

これにより、奥行き特定情報に基づいて、対象物のＸ座標情報及びＹ座標情報の少なくとも一方の補正処理を行い、より適切な対象物の座標情報を求めること等が可能になる。

また、本発明の一態様では、前記座標演算部は、前記対象物の前記Ｚ座標情報により表される値Ｚが、Ｚ＞０の場合に前記補正処理を行ってもよい。

これにより、対象物が対象面に対して浮いている状況でのＸ座標情報又はＹ座標情報の真の値からのずれを補正することが可能になる。

また、本発明の一態様では、前記座標演算部は、前記対象物の前記Ｚ座標情報により表される値Ｚが０の場合に前記補正処理をスキップしてもよい。

これにより、対象物が対象面に触れている状況では、不要な補正処理をスキップし処理負荷の軽減を図ることが可能になる。

また、本発明の一態様では、前記対象面に直交する座標軸をＺ座標軸とし、前記Ｚ座標軸に直交する座標軸をＸ座標軸、Ｙ座標軸とし、前記撮像部の撮像方向が前記対象面に沿った方向となる場合に、前記座標演算部は、前記奥行き特定情報に基づいて、前記対象物のＹ座標情報を求めてもよい。

これにより、奥行き特定情報に基づいて、対象物のＹ座標情報（例えば、対象面に沿った方向の軸における座標情報）を求めることが可能になる。

また、本発明の一態様では、前記撮像部の光軸方向に沿った座標軸を前記カメラ座標系のＺ座標軸とし、前記カメラ座標系のＺ座標軸に直交する座標軸を前記カメラ座標系のＸ座標軸、Ｙ座標軸とした場合に、前記座標演算部は、前記カメラ座標系でのＸ座標情報に基づいて、前記検出エリアでのＸ座標情報を求め、前記カメラ座標系でのＹ座標情報に基づいて、前記検出エリアでのＺ座標情報を求めてもよい。

これにより、カメラ座標系でのＸ座標情報から、検出エリアでのＸ座標情報を求め、カメラ座標系でのＹ座標情報から、検出エリアでのＺ座標情報を求めることができる。よって、撮像部の撮像方向が対象面に対して斜めに設定される場合に比べて、座標変換処理を簡単化すること等が可能になる。

また、本発明の一態様では、前記撮像部は、複数のカメラを有し、前記座標演算部は、前記複数のカメラから取得された複数の撮像画像情報の視差情報に基づいて得られた前記奥行き特定情報により、前記対象物の前記座標情報を求めてもよい。

これにより、複数のカメラにより複数の撮像画像を取得し、取得した複数の撮像画像の視差情報に基づいて奥行き特定情報を取得すること等が可能になる。

また、本発明の一態様では、前記撮像部は、デプスカメラを有し、前記座標演算部は、前記デプスカメラにより得られた前記奥行き特定情報に基づいて、前記対象物の前記座標情報を求めてもよい。

これにより、２眼等の複数のカメラを有する撮像装置を用いずに、奥行き特定情報を取得すること等が可能になる。

また、本発明の他の態様は、上述の投写型表示装置と、前記投写型表示装置からの座標検出情報に基づいて処理を行う情報処理装置と、を含む情報処理システムに関係する。

第１の実施形態の投写型表示装置の構成例。 本実施形態の投写型表示装置の具体例。 図３（Ａ）、図３（Ｂ）は複数のカメラにより取得される視差情報を含む撮像画像の例。 第１の実施形態における投写型表示装置の位置と、撮像部に対して設定される座標系及び対象面に対して設定される座標系を説明する図。 図５（Ａ）は斜め方向からの撮像により画像が歪む例、図５（Ｂ）は座標変換により歪みを補正した例。 光学式位置検出装置による画像処理の対象範囲の限定を説明する図。 図７（Ａ）は対象物が対象面に対して浮いている例、図７（Ｂ）は対象物が対象面に接している例。 一般的な射影変換を説明する図。 本実施形態の情報処理システムの構成例。 第２の実施形態の投写型表示装置の構成例 第２の実施形態における投写型表示装置の位置と、撮像部に対して設定される座標系及び対象面に対して設定される座標系を説明する図。 撮像画像から取得されるステレオ画像の例。 本実施形態の光学式位置検出装置の構成例。 受光部の構成例。 図１５（Ａ）、図１５（Ｂ）は受光ユニットの構成例。 照射部の構成例。 図１７（Ａ）、図１７（Ｂ）は座標情報検出手法を説明する図。 図１８（Ａ）、図１８（Ｂ）は発光制御信号の信号波形例。 照射部の他の構成例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
まず、本実施形態の手法について説明する。表示画像を表示し、当該表示画像とオブジェクト（対象物）との連携によりユーザーインターフェースを形成するシステムが知られている。これは例えば、鉄道乗車券の券売機や、銀行のＡＴＭ等において用いられており、これらは液晶パネル等の表示装置と、タッチパネルによる対象物（ユーザの指等）の位置検出装置から構成される。しかしながら、電子黒板やデジタルサイネージ等においては、上述した例に比べて表示画像を表示する対象面が大きい。そのため、液晶パネル等の表示装置ではなく、投写型表示装置（プロジェクター）を用いることが想定される。

その場合、投写型表示装置と位置検出装置とを別々に設けるのではなく、位置検出装置を投写型表示装置に搭載することが考えられる。そのようにすることで、省スペース化が実現でき、また、システム全体の設置、運用等が容易になる。

ここでは、具体的な位置検出手法として、撮像装置による撮像画像の画像処理を用いる。例えば、検出対象となる対象物ＯＢをテンプレートとして保持しておき、テンプレートマッチング処理を行うことで画像上での対象物ＯＢの位置（座標情報）を取得する。そのため、撮像装置が実空間のどの範囲を撮像しているかということがわかっていれば、実空間における位置情報を取得することができる。

つまり、本出願人は以下の手法を提案する。本実施形態に係る投写型表示装置ＰＲは、後述する図１に示すように、表示画像を投影する画像投影部６００の他に、撮像画像を取得する撮像部５００と、撮像画像に基づいて対象物ＯＢの座標情報を取得する座標演算部４３０とを含む。これにより、表示画像を投影するとともに、撮像画像から対象物ＯＢの座標情報を取得することができる。そのため、例えば、表示画像と対象物ＯＢとを連携させたユーザーインターフェースを形成すること等が可能になる。

以下、具体的な実施形態について説明する。なお、本実施形態は撮像画像の画像処理による位置検出に関するものであるが、ここでは画像処理による位置検出に加え、光学式位置検出装置１００を併用する実施形態を例としてあげる。なぜなら、画像処理による位置検出は処理負荷が重く、広い領域（例えば電子黒板の表示面等）をＸＧＡ程度の高精度で処理を行うことはコスト或いは処理時間の観点から現実的でないからである。

具体的には、まず光学式位置検出装置１００を用いて、対象物ＯＢの概略的な位置（初期座標情報）を取得しておいて、その概略位置により特定される範囲に対して撮像装置による撮像画像を用いて画像処理を行う。このようにすれば、撮像画像の演算処理量、演算処理時間を抑えることが可能になり、コスト、応答速度ともに実用的なものにすることができる。ただし、以下の説明はあくまで例示であり、光学式位置検出装置１００を用いずに位置検出処理を行ってもよいことは言うまでもない。

以下、第１の実施形態と、第２の実施形態に分けて説明する。第１の実施形態では、投写型表示装置ＰＲに搭載される撮像装置（撮像部５００）の光軸方向が、対象面２０に対して斜めになる場合について説明する。また、第２の実施形態では、投写型表示装置ＰＲに搭載される撮像装置（撮像部５００）の光軸方向が、対象面２０に沿う方向になる場合について説明する。各実施形態においては、まず、光学式位置検出装置１００と投写型表示装置ＰＲを連動させた位置検出手法について説明する。具体的には、システム構成例、撮像装置の構成、初期座標情報の取得と処理対象範囲の設定手法、最終座標情報の取得手法の順に説明していく。撮像装置の構成のところで、各実施形態における撮像部５００の対象面２０に対する位置と方向について詳しく述べる。最後に、本実施形態の具体例で用いることができる光学式位置検出装置１００の構成例について説明する。

２．第１の実施形態
２．１ システム構成例
図１に本実施形態の投写型表示装置ＰＲの構成例を示す。本実施形態の投写型表示装置ＰＲは、撮像部５００と、光学式位置検出装置１００からの処理機座標情報を取得する座標情報取得部４１０と、撮像部５００からの撮像画像を取得する撮像画像取得部４２０と、座標演算処理を行う座標演算部４３０と、画像投影部６００と、を含む。

座標演算部４３０は、奥行き特定情報取得部４３１と、補正部４３３と、座標変換部４３５と、を含む。奥行き特定情報取得部４３１は、座標情報取得部４１０からの初期座標情報に基づいて、画像処理を行う対象となる範囲を限定した上で、撮像画像から奥行き特定情報を取得する。補正部４３３は、奥行き特定情報に基づいてＸ座標情報及びＹ座標情報の少なくとも一方の補正処理を行う。座標変換部４３５は、座標変換を行うことで、斜めからの撮像により歪みが生じた撮像画像の変換処理を行う。

光学式位置検出装置１００は座標情報取得部４１０に接続される。撮像部５００は撮像画像取得部４２０に接続される。座標情報取得部４１０と、撮像画像取得部４２０は、奥行き特定情報取得部４３１に接続される。奥行き特定情報取得部４３１は、補正部４３３に接続される。補正部４３３は、座標変換部４３５に接続される。

２．２ 撮像装置の構成
次に、本実施形態における撮像装置の構成について説明する。図２に示したように、本実施形態においては、対象面２０（スクリーン）に対して表示画像を投影する投写型表示装置ＰＲ（プロジェクター）に撮像装置が搭載される。

また、本実施形態における撮像装置は、奥行き特定情報を取得可能な構成を取る必要がある。そのため、図２に示したように２つの撮像部（５００−１及び５００−２）が所定の距離だけ離れた位置に設けられ、視差情報（或いはステレオ画像）を取得することが可能な形態となる。それぞれの撮像部で取得される撮像画像の例を、図３（Ａ）及び図３（Ｂ）に示す。或いは２眼の撮像装置を用いずに、Ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ方式等により奥行き情報を持った画像を取得可能な撮像装置を用いてもよい。

次に、撮像部５００の対象面２０に対する位置と方向、及び対象面２０に対して設定される座標系と撮像部５００に対して設定される座標系について図４に示す。図４に示したように、投写型表示装置ＰＲは、対象面２０に対して前上方に設けられる。それとともに、投写型表示装置ＰＲに搭載される撮像部５００も、対象面２０に対して前上方に設けられ、対象面に対して斜め方向に設置されることになる。これにより、撮像画像における対象面２０の画像は図５（Ａ）に示したように歪むことになり、後述するように座標変換による歪み解消処理が必要となる。

２．３ 初期座標情報の取得と処理対象範囲の設定
本実施形態の手法においては、まず、光学式位置検出装置１００を用いて、初期座標情報を取得する。例えば本実施形態においては、後述するような光学式位置検出装置１００を用いて、対象物ＯＢのＸ座標情報及びＹ座標情報を取得する。ここで、光学式位置検出装置１００は、対象面２０（スクリーン）に対して取り付けられてもよいし、投写型表示装置ＰＲに取り付けられてもよい。

そして、取得したＸ座標情報及びＹ座標情報を対象物ＯＢの初期座標情報とする。この初期座標情報により特定される範囲を、撮像装置による位置検出を行う際の処理対象範囲とする。このようにして、例えば図６に示すように、撮像装置により得られた撮像画像に対する画像処理の対象範囲を、撮像画像全体（図６のＣ２に対応）よりも狭い範囲（図６のＣ１に対応）に限定することが可能となる。そのため、光学式検出手法等に比べて処理負荷の重い画像処理による検出手法を、現実的な処理時間、コストで実現することが可能になる。

初期座標情報から、画像処理の処理対象範囲を特定する手法は種々考えられる。通常は、初期座標情報を含む範囲を設定すればよい。その際には、光学式位置検出装置による座標情報の誤差等が問題にならない程度に広く、かつ、処理負荷が重くなりすぎない程度に狭い領域を指定する。

また、図７（Ａ）のように対象物ＯＢが対象面２０に触れていないような状況では、光学式位置検出装置による初期座標情報はＡ１に対応する座標となる。それに対して、撮像画像においては、あたかもＡ２の位置に対象物ＯＢがあるように見える。つまり、撮像画像上では、初期座標情報に対してΔＹだけＹ座標情報がずれることになる。よって、画像処理の処理対象範囲は、ΔＹのずれを考慮して中心又は大きさ等を決定する必要がある点に留意する。

２．４ 最終座標情報の取得
次に、初期座標情報に基づいて画像処理の処理対象範囲が適切に設定された後に、撮像画像に対する画像処理により、対象物ＯＢの最終座標情報を求める手法について説明する。なお、撮像装置は対象面全面を撮影するものとする。つまり、ここでは処理対象範囲を撮影するものではなく、全面を撮影した上で処理対象範囲のデータを取り込むことになるが、手法はこれに限定されるものではない。

２．４．１ Ｚ座標情報に基づく補正
まずは、撮像画像上での対象物ＯＢの座標を求める。これは、公知の画像処理手法を用いればよい。例えば、対象物ＯＢをテンプレートとしてテンプレートマッチング処理等を行う。これにより、撮像画像上でのＸ座標情報及びＹ座標情報を取得することができる。

それとともに、Ｚ座標情報を取得する。ここではまず、撮像装置のキャリブレーションを事前に行っておくものとする。ここでのキャリブレーションとは、図７（Ａ）におけるΔＺ＝０（つまり図７（Ｂ）のように対象面２０に接している）場合に、２つの撮像部（図２の５００−１及び５００−２）が取得する撮像画像において、対象物ＯＢの位置が同一になるように設定しておく。つまり、図３（Ｂ）において、２つの撮像部の位置の違いに基づく視差（画像のずれ）を表すδはΔＺが０の時には０となり、ΔＺが大きくなるほど大きくなるように設定されることになる。

ここで、適切な係数Ａ（Ａは撮像装置の設計やキャリブレーション等により決定される）を設定すれば、ΔＺの値は下式（１）により表される。

ΔＺ＝Ａ・δ （１）
よって、δ＝０の場合には、ΔＺ＝０となり、対象物ＯＢが対象面２０に触れていると判定することができる。この場合図７（Ｂ）のような状態であるため、撮像画像によって得られたＸ座標情報及びＹ座標情報は、そのまま真のＸ座標情報及びＹ座標情報として用いることができる。

それに対して、δ≠０の場合には、ΔＺは上式（１）により求められる０でない値となる。その場合、図７（Ａ）のような状態となっているため、Ｙ座標情報は真のＹ座標情報に比べてΔＹだけずれていることになる。このとき、撮像装置（及び撮像装置を搭載した投写型表示装置ＰＲ）の設置位置と方向から、対象面２０と撮像装置の光軸方向Ｄ１（ここではＰＲの投射方向とほぼ一致するものとするが、これに限定されるものではない）とのなす角度θは既知である。よって図よりΔＹの値は下式（２）により求めることができる。

ΔＹ＝ΔＺ／ｔａｎθ （２）
よって、撮像画像から得られたＹ座標情報を上式（２）のΔＹだけ補正した値が、真のＹ座標情報となる。なお、この場合Ｘ座標情報についての補正は必要ない。今回の座標設定においては、対象物ＯＢが対象面２０から浮いていようが触れていようが、Ｘ軸方向での位置に変化はないからである。もちろん座標系の設定によってはＸ座標情報について補正の必要が生じる場合があることは言うまでもない。

２．４．２ 座標変換
次に、撮像画像により得られたＸ座標情報、Ｙ座標情報について、座標変換を行う。なぜなら、本実施形態における撮像画像は、図２のような位置から対象面２０を撮像した画像であるため、図５（Ａ）に示したように、画像が歪んでしまっているためである。上述してきた撮像部５００に対して設定されるＸ座標情報及びＹ座標情報は、あくまで、撮像画像上での座標情報であって、画像の歪みの分、実空間における座標情報とは一致しない。そのため、座標変換（射影変換）を行うことにより、歪みを解消し、実空間における適切な座標情報を求める必要がある。なお、撮像部５００に対して設定される座標系及び対象面２０に対して設定される座標系は図４に示した通りである。

一般的な座標変換である射影変換の式を下式（３）に示す。下式（３）において、ｘ’、ｙ’が変換後の座標を表し、ｘ、ｙが変換前の座標を表すものとする。各ｈは任意の係数である。

射影変換を施した例を図８に示す。射影変換を行うことで、任意の四角形を別の任意の四角形に移すことが可能となる。つまり、図８に示したように、歪んだ撮像画像を歪みのない状態に戻すことができる。この際、係数ｈについては、キャリブレーション等により求めてもよい。つまり、対象面上の任意の点と、撮像画像上における対応する点との位置関係を求めることにより、射影変換の係数を設定することができる。

このようにして求めた、座標変換後のＸ座標情報、Ｙ座標情報及び、上述したＺ座標情報（ΔＺ）が本実施形態の手法により求められる最終座標情報となる。

以上の本実施形態では、図１に示したように、投写型表示装置ＰＲは、対象面２０に対して画像を投影する画像投影部６００と、対象面２０を撮像する撮像部５００と、対象面２０に設定された検出エリアでの対象物ＯＢの座標情報を求める座標演算部４３０と、を含む。そして、座標演算部４３０は、撮像部５００で取得した撮像画像から得られるカメラ座標系での奥行き特定情報に基づいて、対象物ＯＢの座標情報を求める。

これにより、表示画像を投影する投写型表示装置ＰＲに撮像部５００を搭載することができるため、表示画像の投影と、対象物ＯＢの座標情報の取得の両方が可能になる。よって、表示画像と対象物ＯＢの座標情報とを連動させたインターフェースを実現すること等ができる。ここでは特に、撮像部５００はカメラ座標系における奥行き特定情報に基づいて対象物ＯＢの座標情報を求める。これにより、対象物ＯＢの３次元的な座標情報を求めることが可能になる。

また、撮像部５００の撮像方向（光軸方向）が、対象面２０に対して斜め方向になる場合に、座標演算部４３０は、奥行き特定情報に基づいて対象物ＯＢの検出エリア（或いは対象面２０）に対して設定される座標系のＺ座標情報を求めてもよい。検出エリアに対して設定される座標系のＺ座標軸は、対象面に直交する座標軸とする。

ここで、カメラ座標系とは、例えば図４に示したように撮像部５００に対して設定される座標系のことであり、撮像部５００の光軸方向をＺ軸正方向とする。また、Ｚ軸に垂直で、かつ、地面に対して水平な方向をＸ軸とし、Ｘ軸、Ｚ軸に垂直な方向をＹ軸としている。ただし、座標系の設定方法はこれに限定されるものではない。また、最終的に求める対象物ＯＢの座標情報とは、対象面２０に設定された座標系における座標情報のことである。対象面２０に設定された座標系は、例えば図４に示したように、対象面２０の裏側から表側に向かい、かつ、対象面２０に直交する方向をＺ軸正方向とし、Ｚ軸に直交し且つ地面に水平な軸をＸ軸とし、Ｚ軸及びＸ軸に直交する軸をＹ軸とした座標系である。

これにより、奥行き特定情報（例えばカメラ座標系におけるＺ座標情報等）に基づいて、対象面２０の座標系におけるＺ座標情報を求めることが可能になる。具体的には、上述したように、ΔＺを求める処理に相当する。

また、座標演算部４３０は、奥行き特定情報に基づいて対象物ＯＢのＸ座標情報及びＹ座標情報の少なくとも一方の補正処理を行ってもよい。具体的には、カメラ座標系での奥行き特定情報により求められた検出エリアでの座標系でのＺ座標の値が、Ｚ＞０の場合は補正処理を行い、Ｚ＝０の場合は補正処理をスキップしてもよい。

これにより、カメラ座標系での奥行き特定情報に基づいて、検出エリアでの座標系におけるＸ座標情報及びＹ座標情報の少なくとも一方の補正処理を行うことが可能になる。図７（Ａ）、図７（Ｂ）に示したように対象物ＯＢが対象面２０に接しているか浮いているかにより、処理が異なる。図７（Ａ）のように対象物ＯＢが対象面２０から浮いている場合には、撮像画像から得られるＸＹ座標（Ａ１）に比べて、実際のＸＹ座標（Ａ２）はΔＹだけずれることになる。そのため、Ｚ＞０の場合には、このΔＹだけＹ座標を補正する必要が生じる。それに対し、Ｚ＝０の場合には、ずれが生じないため補正も必要ない。なお、カメラ座標系から検出エリア座標系への座標変換処理は補正処理後に行われるものとするが、これに限定されるものではない。

また、図２に示したように撮像部５００は複数のカメラ（５００−１及び５００−２）を有し、座標演算部４３０は、複数のカメラから取得された複数の撮像画像の視差情報に基づいて得られた奥行き特定情報により、検出エリアでのＺ座標情報を求めてもよい。

ここで、視差とは、２観測地点での位置の違いにより対象点が見える方向が異なることを意味する。つまり、異なる位置に設けられた２つのカメラにより得られる２つの撮像画像においては、対象物ＯＢの位置がずれることになり、ここでは視差情報とは当該画像のずれを表すものとする。

これにより、複数のカメラを用いて取得した複数の撮像画像の視差情報に基づいて、検出エリアに設定された座標系でのＺ座標情報を求めることが可能になる。具体的には図３（Ａ）、図３（Ｂ）及び式（１）を用いて上述したように、対象物ＯＢの撮像画像上での位置のずれδから検出エリアでの座標系におけるＺ座標（ΔＺ）を求めることができる。なお、δから直接求められるのは、カメラ座標系におけるＺ座標であるが、カメラ座標系から検出エリアでの座標系へのＺ座標の値の変換は容易であり、そのための値も上式（１）の係数Ａに含まれているものとする。

また、撮像部５００はデプスカメラを有し、座標演算部４３０は、デプスカメラにより得られた奥行き特定情報に基づいて検出エリアでの座標系におけるＺ座標を求めてもよい。

ここで、デプスカメラとは、例えばＴｉｍｅ−ｏｆ−ｆｌｉｇｈｔ方式等を用いたカメラが考えられる。これは、赤外光のパルス波或いはサインカーブ波を被写体に照射し、反射光の位相差を検出することで奥行き特定情報を取得するものである。

これにより、上述した複数のカメラを用いた場合と同様に、奥行き特定情報を取得でき、検出エリアでの座標系におけるＺ座標情報を求めることが可能になる。

また、本実施形態は、上述してきた投写型表示装置ＰＲと、投写型表示装置ＰＲからの検出情報に基づいて処理を行う情報処理装置と、を含む情報処理システムに関係する。

図９に、本実施形態の情報処理システムの構成例を示す。図９の構成例は、光学式位置検出装置１００、情報処理装置３０及び投写型表示装置ＰＲを含む。情報処理装置３０は、例えばパーソナルコンピューター（ＰＣ）などであって、光学式位置検出装置１００からの検出情報に基づいて処理を行う。光学式位置検出装置１００と情報処理装置３０とは、ＵＳＢケーブルＵＳＢＣを介して電気的に接続される。投写型表示装置ＰＲは、情報処理装置３０からの画像データに基づいて、表示部（対象面２０）に画像を表示する。ユーザーは、表示部に表示された画像を参照しながら、表示画像のアイコン等をポインティングすることで、情報処理装置３０に対して必要な情報を入力することができる。

なお、図９では、光学式位置検出装置１００が表示部に取り付けられているが、他の場所に取り付けることもできる。例えば、光学式位置検出装置１００を投写型表示装置ＰＲに取り付けてもよいし、天井や壁などに取り付けてもよい。

これにより、投写型表示装置ＰＲ（プロジェクター）により画像を対象面２０に投射した上で、投射した画像とユーザーの用いる対象物ＯＢ（オブジェクト）の連携によるユーザーインターフェースを実現することが可能になる。その際、位置検出システムによる検出情報の処理及び表示装置に表示する表示画像（画像データ）の処理や制御等を情報処理装置により行うことができる。

３．第２の実施形態
３．１ システム構成例
図１０に本実施形態の投写型表示装置の構成例を示す。システムの構成例は第１の実施形態に比べて、補正部４３３がなくなった構成となっている。また、座標変換部４３５は、座標変換を行う点では第１の実施形態と同様であるが、斜めからの撮像による歪みを解消するためではない点が異なる。その他の構成については第１の実施形態と同様であるため、詳細な説明は省略する。

３．２ 撮像装置の構成
投写型表示装置ＰＲに撮像部５００が搭載される点、撮像部５００は複数のカメラ（５００−１及び５００−２）から構成されてもよいし、Ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ方式等により１つのカメラから構成されてもよい点については、第１の実施形態と同様であるため、詳細な説明は省略する。

次に、撮像部５００の対象面２０に対する位置と方向、及び対象面２０に対して設定される座標系と撮像部５００に対して設定される座標系について図１１に示す。図１１に示したように、投写型表示装置ＰＲは、対象面２０に対して前上方に設けられる。第１の実施形態と異なるのは、撮像部５００の光軸方向が、対象面２０に沿った方向に設定されるという点である。そのため、図１１に示したように、カメラ座標系と、対象面２０に設定された座標系とで、Ｘ軸方向が一致するだけでなく、カメラ座標系でのＹ軸と対象面２０の座標系でのＺ軸の方向が一致する。また、カメラ座標系でのＺ軸と対象面２０の座標系でのＹ軸の方向が一致することになる。これにより、第１の実施形態に比べて、座標変換処理を簡単化することが可能になる。

３．３ 初期座標情報の取得と処理対象範囲の設定
初期座標情報から処理対象範囲を限定する手法については、図６に示したように、第１の実施形態と同様であるため、詳細な説明は省略する。

３．４ 最終座標情報の取得
次に、初期座標情報に基づいて画像処理の処理対象範囲が適切に設定された後に、撮像画像に対する画像処理により、対象物ＯＢの最終座標情報を求める手法について説明する。なお、撮像装置は対象面全面を撮影するものとする。つまり、ここでは処理対象範囲を撮影するものではなく、全面を撮影した上で処理対象範囲のデータを取り込むことになるが、手法はこれに限定されるものではない。

まずは、撮像画像上での対象物ＯＢの座標を求める。これは、公知の画像処理手法を用いればよい。例えば、対象物ＯＢをテンプレートとしてテンプレートマッチング処理等を行う。これにより、撮像画像上での（カメラ座標系での）Ｘ座標情報及びＹ座標情報を取得することができる。上述したように、カメラ座標系でのＸ座標情報は、そのまま対象面２０の座標系でのＸ座標情報として用いることができる。また、それと同時に、カメラ座標系でのＹ座標情報は、対象面２０の座標系でのＺ座標情報として用いることができる。ただし、座標系の原点の違いによる変換処理は必要となり、当該変換処理は座標変換部４３５にて行う。

それとともに、視差情報（或いは視差情報に基づくステレオ画像）から、Ｚ座標情報を取得する。ステレオ画像の例を図１２に示す。図１２のように奥行き特定情報が輝度値の大小（グレースケール画像の場合）として表示されることになる。今、問題となるのは対象物の位置情報（特にカメラ座標系におけるＺ座標情報）であるから、図１２の例では、ユーザーの指先に相当するＦ１に示した位置の奥行き特定情報を、カメラ座標系におけるＺ座標情報として取得すればよい。カメラ座標系におけるＺ座標情報を取得した後は、当該Ｚ座標情報を対象面２０の座標系におけるＹ座標情報として用いればよい。原点の位置の違いによる変換処理が必要な点は上述した通りである。

以上の本実施形態では、撮像部５００の撮像方向が対象面２０に沿った方向になる場合に、座標演算部４３０は、奥行き特定情報に基づいて、対象物のＹ座標情報を求める。Ｙ座標軸は、対象面に直交する座標軸をＺ座標軸とした場合に、Ｚ座標軸に直交する座標軸である。

ここで、奥行き特定情報とは、例えば、カメラ座標系におけるＺ座標情報等であり、カメラ座標系とは、図１１に示したように撮像部５００に対して設定される座標系のことである。カメラ座標系では、撮像部５００の光軸方向をＺ軸正方向とし、ここでは、重力方向に沿う方向であるとする。また、Ｚ軸に直交する平面に含まれ、対象面２０に直交する軸をＹ軸とし、Ｚ軸及びＹ軸に直交する軸をＸ軸とする。また、対象面２０に設定される座標系は、例えば第１の実施形態と同様のものが考えられる。この場合、カメラ座標系と対象面２０の座標系では、Ｘ軸の方向が一致するとともに、カメラ座標系のＺ軸と対象面２０の座標系のＹ軸の方向が一致する。また、カメラ座標系のＹ軸と対象面２０の座標系のＺ軸の方向が一致する。

これにより、奥行き特定情報に基づいて、対象面２０の座標系におけるＹ座標情報を求めることが可能になる。

また、座標演算部４３０は、カメラ座標系でのＸ座標情報に基づいて、検出エリアでの座標系（対象面２０の座標系）におけるＸ座標情報を求めてもよい。また、カメラ座標系でのＹ座標情報に基づいて、検出エリアでの座標系におけるＺ座標情報を求めてもよい。

これにより、対象面２０の座標系におけるＸ座標情報及びＺ座標情報を求めることが可能になる。上述したように、奥行き特定情報（カメラ座標系のＺ座標情報等）から対象面２０の座標系におけるＹ座標情報が求まることから、カメラ座標系での座標情報に基づいて、対象面２０の座標系における３次元的な座標情報を求めることが可能になると言える。特に、上述したように、Ｙ軸とＺ軸という違いはあるものの、軸の方向は２つの座標系において一致するため、第１の実施形態に比べて座標変換処理が容易であるというメリットがある。

４．光学式位置検出装置の構成例
図１３に、光学式位置検出装置１００を用いた光学式検出システムの基本的な構成例を示す。図１３の光学式位置検出装置１００は、検出部２００、処理部３００、照射部ＥＵ及び受光部ＲＵを含む。なお、本実施形態の光学式検出システムは図１３の構成に限定されず、その構成要素の一部を省略したり、他の構成要素に置き換えたり、他の構成要素を追加するなどの種々の変形実施が可能である。

なお、光学式検出システムは、上述したように検出部２００や処理部３００を含む光学式位置検出装置１００として実現される形態には限定されない。情報処理装置（例えばＰＣ等）により、検出部２００や処理部３００の機能が実現され、照射部ＥＵ及び受光部ＲＵと、上記情報処理装置とが連動して動作することにより、光学式検出システムが実現されてもよい。

検出部２００は、照射光ＬＴが対象物ＯＢにより反射することによる反射光ＬＲの受光結果に基づいて、対象物ＯＢの対象物情報（例えば、座標情報や反射率情報）を検出する。具体的には例えば、検出部２００は、対象物ＯＢが検出されるエリアである検出エリアＲＤＥＴがＸ−Ｙ平面に沿ったエリアである場合に、少なくとも検出エリアＲＤＥＴに存在する対象物ＯＢのＸ座標情報及びＹ座標情報を検出する。なお、検出部２００による座標情報の検出手法については、後述する。また、具体的には対象物ＯＢの反射率に関する情報である反射率情報を検出する。

検出エリアＲＤＥＴとは、対象物ＯＢが検出されるエリア（領域）であって、具体的には、例えば照射光ＬＴが対象物ＯＢに反射されることによる反射光ＬＲを、受光部ＲＵが受光して、対象物ＯＢを検出することができるエリアである。より具体的には、受光部ＲＵが反射光ＬＲを受光して対象物ＯＢを検出することが可能であって、かつ、その検出精度について、許容できる範囲の精度が確保できるエリアである。

処理部３００は、検出部２００が検出した対象物情報に基づいて種々の処理を行う。

照射部ＥＵは、検出エリアＲＤＥＴに対して照射光ＬＴを出射する。後述するように、照射部ＥＵは、ＬＥＤ（発光ダイオード）等の発光素子から成る光源部を含み、光源部が発光することで、例えば赤外光（可視光領域に近い近赤外線）を出射する。

受光部ＲＵは、照射光ＬＴが対象物ＯＢにより反射することによる反射光ＬＲを受光する。受光部ＲＵは、複数の受光ユニットＰＤを含んでもよい。受光ユニットＰＤは、例えばフォトダイオードやフォトトランジスターなどを用いることができる。

図１４に、本実施形態の受光部ＲＵの具体的な構成例を示す。図１４の構成例では、受光部ＲＵは受光ユニットＰＤを含む。受光ユニットＰＤは、入射光が入射する角度（Ｙ−Ｚ平面上の角度）を制限するためのスリット等（入射光制限部）が設けられ、検出エリアＲＤＥＴに存在する対象物ＯＢからの反射光ＬＲを受光する。検出部２００は、受光ユニットＰＤの受光結果に基づいて、Ｘ座標情報及びＹ座標情報を検出する。なお、照射部ＥＵは、検出エリアＲＤＥＴに対して照射光ＬＴを出射する。また検出エリアＲＤＥＴは、Ｘ−Ｙ平面に沿ったエリアである。なお、図１４の構成例は１つの受光ユニットで構成されるが、２つ以上の受光ユニットを含む構成としてもよい。

図１５（Ａ）、図１５（Ｂ）に、スリットＳＬＴ（入射光制限部）を有する受光ユニットＰＤの構成例を示す。図１５（Ａ）に示すように、受光素子ＰＨＤの前面にスリットＳＬＴを設けて、入射する入射光を制限する。スリットＳＬＴはＸ−Ｙ平面に沿って設けられ、入射光が入射するＺ方向の角度を制限することができる。すなわち受光ユニットＰＤは、スリットＳＬＴのスリット幅で規定される所定の角度で入射する入射光を受光することができる。

図１５（Ｂ）は、スリットＳＬＴを有する受光ユニットの上から見た平面図である。例えばアルミニウム等の筐体（ケース）内に配線基板ＰＷＢが設けられ、この配線基板ＰＷＢ上に受光素子ＰＨＤが実装される。

図１６に、本実施形態の照射部ＥＵの詳細な構成例を示す。図１６の構成例の照射部ＥＵは、光源部ＬＳ１、ＬＳ２と、ライトガイドＬＧと、照射方向設定部ＬＥを含む。また反射シートＲＳを含む。そして照射方向設定部ＬＥは光学シートＰＳ及びルーバーフィルムＬＦを含む。なお、本実施形態の照射部ＥＵは、図１６の構成に限定されず、その構成要素の一部を省略したり、他の構成要素に置き換えたり、他の構成要素を追加するなどの種々の変形実施が可能である。

光源部ＬＳ１、ＬＳ２は、光源光を出射するものであり、ＬＥＤ（発光ダイオード）等の発光素子を有する。この光源部ＬＳ１、ＬＳ２は例えば赤外光（可視光領域に近い近赤外線）の光源光を放出する。即ち、光源部ＬＳ１、ＬＳ２が発光する光源光は、ユーザーの指やタッチペン等の対象物により効率的に反射される波長帯域の光や、外乱光となる環境光にあまり含まれない波長帯域の光であることが望ましい。具体的には、人体の表面での反射率が高い波長帯域の光である８５０ｎｍ付近の波長の赤外光や、環境光にあまり含まれない波長帯域の光である９５０ｎｍ付近の赤外光などである。

光源部ＬＳ１は、図１６のＦ１に示すようライトガイドＬＧの一端側に設けられる。また第２の光源部ＬＳ２は、Ｆ２に示すようにライトガイドＬＧの他端側に設けられる。そして光源部ＬＳ１が、ライトガイドＬＧの一端側（Ｆ１）の光入射面に対して光源光を出射することで、照射光ＬＴ１を出射し、第１の照射光強度分布ＬＩＤ１を対象物の検出エリアに形成（設定）する。一方、光源部ＬＳ２が、ライトガイドＬＧの他端側（Ｆ２）の光入射面に対して第２の光源光を出射することで、第２の照射光ＬＴ２を出射し、第１の照射光強度分布ＬＩＤ１とは強度分布が異なる第２の照射光強度分布ＬＩＤ２を検出エリアに形成する。このように照射部ＥＵは、検出エリアＲＤＥＴでの位置に応じて強度分布が異なる照射光を出射することができる。

ライトガイドＬＧ（導光部材）は、光源部ＬＳ１、ＬＳ２が発光した光源光を導光するものである。例えばライトガイドＬＧは、光源部ＬＳ１、ＬＳ２からの光源光を曲線状の導光経路に沿って導光し、その形状は曲線形状になっている。具体的には図１６ではライトガイドＬＧは円弧形状になっている。なお図１６ではライトガイドＬＧはその中心角が１８０度の円弧形状になっているが、中心角が１８０度よりも小さい円弧形状であってもよい。ライトガイドＬＧは、例えばアクリル樹脂やポリカーボネートなどの透明な樹脂部材等により形成される。

ライトガイドＬＧの外周側及び内周側の少なくとも一方には、ライトガイドＬＧからの光源光の出光効率を調整するための加工が施されている。加工手法としては、例えば反射ドットを印刷するシルク印刷方式や、スタンパーやインジェクションで凹凸を付ける成型方式や、溝加工方式などの種々の手法を採用できる。

プリズムシートＰＳとルーバーフィルムＬＦにより実現される照射方向設定部ＬＥは、ライトガイドＬＧの外周側に設けられ、ライトガイドＬＧの外周側（外周面）から出射される光源光を受ける。そして曲線形状（円弧形状）のライトガイドＬＧの内周側から外周側へと向かう方向に照射方向が設定された照射光ＬＴ１、ＬＴ２を出射する。即ち、ライトガイドＬＧの外周側から出射される光源光の方向を、ライトガイドＬＧの例えば法線方向（半径方向）に沿った照射方向に設定（規制）する。これにより、ライトガイドＬＧの内周側から外周側に向かう方向に、照射光ＬＴ１、ＬＴ２が放射状に出射されるようになる。

このような照射光ＬＴ１、ＬＴ２の照射方向の設定は、照射方向設定部ＬＥのプリズムシートＰＳやルーバーフィルムＬＦなどにより実現される。例えばプリズムシートＰＳは、ライトガイドＬＧの外周側から低視角で出射される光源光の方向を、法線方向側に立ち上げて、出光特性のピークが法線方向になるように設定する。またルーバーフィルムＬＦは、法線方向以外の方向の光（低視角光）を遮光（カット）する。

このように本実施形態の照射部ＥＵによれば、ライトガイドＬＧの両端に光源部ＬＳ１、ＬＳ２を設け、これらの光源部ＬＳ１、ＬＳ２を交互に点灯させることで、２つの照射光強度分布を形成することができる。すなわちライトガイドＬＧの一端側の強度が高くなる照射光強度分布ＬＩＤ１と、ライトガイドＬＧの他端側の強度が高くなる照射光強度分布ＬＩＤ２を交互に形成することができる。

このような照射光強度分布ＬＩＤ１、ＬＩＤ２を形成し、これらの強度分布の照射光による対象物の反射光を受光することで、環境光などの外乱光の影響を最小限に抑えた、より精度の高い対象物の検出が可能になる。即ち、外乱光に含まれる赤外成分を相殺することが可能になり、この赤外成分が対象物の検出に及ぼす悪影響を最小限に抑えることが可能になる。

５．光学式位置検出装置による座標検出手法
図１７（Ａ）、図１７（Ｂ）は、本実施形態の光学式位置検出装置１００による座標情報検出の手法を説明する図である。

図１７（Ａ）のＥ１は、図１６の照射光強度分布ＬＩＤ１において、照射光ＬＴ１の照射方向の角度と、その角度での照射光ＬＴ１の強度との関係を示す図である。図１７（Ａ）のＥ１では、照射方向が図１７（Ｂ）のＤＤ１の方向（左方向）である場合に強度が最も高くなる。一方、ＤＤ３の方向（右方向）である場合に強度が最も低くなり、ＤＤ２の方向ではその中間の強度になる。具体的には方向ＤＤ１から方向ＤＤ３への角度変化に対して照射光の強度は単調減少しており、例えばリニア（直線的）に変化している。なお図１７（Ｂ）では、ライトガイドＬＧの円弧形状の中心位置が、照射部ＥＵの配置位置ＰＥになっている。

また図１７（Ａ）のＥ２は、図１６の照射光強度分布ＬＩＤ２において、照射光ＬＴ２の照射方向の角度と、その角度での照射光ＬＴ２の強度との関係を示す図である。図１７（Ａ）のＥ２では、照射方向が図１７（Ｂ）のＤＤ３の方向である場合に強度が最も高くなる。一方、ＤＤ１の方向である場合に強度が最も低くなり、ＤＤ２の方向ではその中間の強度になる。具体的には方向ＤＤ３から方向ＤＤ１への角度変化に対して照射光の強度は単調減少しており、例えばリニアに変化している。なお図１７（Ａ）では照射方向の角度と強度の関係はリニアな関係になっているが、本実施形態はこれに限定されず、例えば双曲線の関係等であってもよい。

そして図１７（Ｂ）に示すように、角度φの方向ＤＤＢに対象物ＯＢが存在したとする。すると、光源部ＬＳ１が発光することで照射光強度分布ＬＩＤ１を形成した場合（Ｅ１の場合）には、図１７（Ａ）に示すように、ＤＤＢ（角度φ）の方向に存在する対象物ＯＢの位置での強度はＩＮＴａになる。一方、光源部ＬＳ２が発光することで照射光強度分布ＬＩＤ２を形成した場合（Ｅ２の場合）には、ＤＤＢの方向に存在する対象物ＯＢの位置での強度はＩＮＴｂになる。

従って、これらの強度ＩＮＴａ、ＩＮＴｂの関係を求めることで、対象物ＯＢの位置する方向ＤＤＢ（角度φ）を特定できる。そして例えば後述する図１８（Ａ）、図１８（Ｂ）の手法により光学式位置検出装置の配置位置ＰＥからの対象物ＯＢの距離を求めれば、求められた距離と方向ＤＤＢとに基づいて対象物ＯＢの位置を特定できる。或いは、後述する図１９に示すように、照射部ＥＵとして２個の照射ユニットＥＵ１、ＥＵ２を設け、ＥＵ１、ＥＵ２の各照射ユニットに対する対象物ＯＢの方向ＤＤＢ１（φ１）、ＤＤＢ２（φ２）を求めれば、これらの方向ＤＤＢ１、ＤＤＢ２と照射ユニットＥＵ１、ＥＵ２間の距離ＤＳとにより、対象物ＯＢの位置を特定できる。

このような強度ＩＮＴａ、ＩＮＴｂの関係を求めるために、本実施形態では、受光部ＲＵが、照射光強度分布ＬＩＤ１を形成した際の対象物ＯＢの反射光（第１の反射光）を受光する。この時の反射光の検出受光量をＧａとした場合に、このＧａが強度ＩＮＴａに対応するようになる。また受光部ＲＵが、照射光強度分布ＬＩＤ２を形成した際の対象物ＯＢの反射光（第２の反射光）を受光する。この時の反射光の検出受光量をＧｂとした場合に、このＧｂが強度ＩＮＴｂに対応するようになる。従って、検出受光量ＧａとＧｂの関係が求まれば、強度ＩＮＴａ、ＩＮＴｂの関係が求まり、対象物ＯＢの位置する方向ＤＤＢを求めることができる。

例えば光源部ＬＳ１の制御量（例えば電流量）、変換係数、放出光量を、各々、Ｉａ、ｋ、Ｅａとする。また光源部ＬＳ２の制御量（電流量）、変換係数、放出光量を、各々、Ｉｂ、ｋ、Ｅｂとする。すると下式（４）、（５）が成立する。

Ｅａ＝ｋ・Ｉａ （４）
Ｅｂ＝ｋ・Ｉｂ （５）
また光源部ＬＳ１からの光源光（第１の光源光）の減衰係数をｆａとし、この光源光に対応する反射光（第１の反射光）の検出受光量をＧａとする。また光源部ＬＳ２からの光源光（第２の光源光）の減衰係数をｆｂとし、この光源光に対応する反射光（第２の反射光）の検出受光量をＧｂとする。すると下式（６）、（７）が成立する。

Ｇａ＝ｆａ・Ｅａ＝ｆａ・ｋ・Ｉａ （６）
Ｇｂ＝ｆｂ・Ｅｂ＝ｆｂ・ｋ・Ｉｂ （７）
従って、検出受光量Ｇａ、Ｇｂの比は下式（８）のように表せる。

Ｇａ／Ｇｂ＝（ｆａ／ｆｂ）・（Ｉａ／Ｉｂ） （８）
ここでＧａ／Ｇｂは、受光部ＲＵでの受光結果から特定することができ、Ｉａ／Ｉｂは、照射部ＥＵの制御量から特定することができる。そして図１７（Ａ）の強度ＩＮＴａ、ＩＮＴｂと減衰係数ｆａ、ｆｂとは一意の関係にある。例えば減衰係数ｆａ、ｆｂが小さな値となり、減衰量が大きい場合は、強度ＩＮＴａ、ＩＮＴｂが小さいことを意味する。一方、減衰係数ｆａ、ｆｂが大きな値となり、減衰量が小さい場合は、強度ＩＮＴａ、ＩＮＴｂが大きいことを意味する。従って、上式（８）から減衰率の比ｆａ／ｆｂを求めることで、対象物の方向、位置等を求めることが可能になる。

より具体的には、一方の制御量ＩａをＩｍに固定し、検出受光量の比Ｇａ／Ｇｂが１になるように、他方の制御量Ｉｂを制御する。例えば光源部ＬＳ１、ＬＳ２を逆相で交互に点灯させる制御を行い、検出受光量の波形を解析し、検出波形が観測されなくなるように（Ｇａ／Ｇｂ＝１になるように）、他方の制御量Ｉｂを制御する。そして、この時の他方の制御量Ｉｂ＝Ｉｍ・（ｆａ／ｆｂ）から、減衰係数の比ｆａ／ｆｂを求めて、対象物の方向、位置等を求める。

また下式（９）、（１０）のように、Ｇａ／Ｇｂ＝１になると共に制御量ＩａとＩｂの和が一定になるように制御してもよい。

Ｇａ／Ｇｂ＝１ （９）
Ｉｍ＝Ｉａ＋Ｉｂ （１０）
上式（９）、（１０）を上式（８）に代入すると下式（１１）が成立する。

Ｇａ／Ｇｂ＝１＝（ｆａ／ｆｂ）・（Ｉａ／Ｉｂ）
＝（ｆａ／ｆｂ）・{（Ｉｍ−Ｉｂ）／Ｉｂ} （１１）
上式（１１）より、Ｉｂは下式（１２）のように表される。

Ｉｂ＝{ｆａ／（ｆａ＋ｆｂ）}・Ｉｍ （１２）
ここでα＝ｆａ／（ｆａ＋ｆｂ）とおくと、上式（１２）は下式（１３）のように表され、減衰係数の比ｆａ／ｆｂは、αを用いて下式（１４）のように表される。

Ｉｂ＝α・Ｉｍ （１３）
ｆａ／ｆｂ＝α／（１−α） （１４）
従って、Ｇａ／Ｇｂ＝１になると共にＩａとＩｂの和が一定値Ｉｍになるように制御すれば、そのときのＩｂ、Ｉｍから上式（１３）によりαを求め、求められたαを上式（１４）に代入することで、減衰係数の比ｆａ／ｆｂを求めることができる。これにより、対象物の方向、位置等を求めることが可能になる。そしてＧａ／Ｇｂ＝１になると共にＩａとＩｂの和が一定になるように制御することで、外乱光の影響等を相殺することが可能になり、検出精度の向上を図れる。

次に本実施形態の光学式検出システムを用いて対象物の座標情報を検出する手法の一例について説明する。図１８（Ａ）は、光源部ＬＳ１、ＬＳ２の発光制御についての信号波形例である。信号ＳＬＳ１は、光源部ＬＳ１の発光制御信号であり、信号ＳＬＳ２は、光源部ＬＳ２の発光制御信号であり、これらの信号ＳＬＳ１、ＳＬＳ２は逆相の信号になっている。また信号ＳＲＣは受光信号である。

例えば光源部ＬＳ１は、信号ＳＬＳ１がＨレベルの場合に点灯（発光）し、Ｌレベルの場合に消灯する。また光源部ＬＳ２は、信号ＳＬＳ２がＨレベルの場合に点灯（発光）し、Ｌレベルの場合に消灯する。従って図１８（Ａ）の第１の期間Ｔ１では、光源部ＬＳ１と光源部ＬＳ２が交互に点灯するようになる。即ち光源部ＬＳ１が点灯している期間では、光源部ＬＳ２は消灯する。これにより図１６に示すような照射光強度分布ＬＩＤ１が形成される。一方、光源部ＬＳ２が点灯している期間では、光源部ＬＳ１は消灯する。これにより図１６に示すような照射光強度分布ＬＩＤ２が形成される。

このように検出部２００は、第１の期間Ｔ１において、光源部ＬＳ１と光源部ＬＳ２を交互に発光（点灯）させる制御を行う。そしてこの第１の期間Ｔ１において、光学式位置検出装置（照射部）から見た対象物の位置する方向が検出される。具体的には、例えば上述した式（９）、（１０）のようにＧａ／Ｇｂ＝１になると共に制御量ＩａとＩｂの和が一定になるような発光制御を、第１の期間Ｔ１において行う。そして図１７（Ｂ）に示すように対象物ＯＢの位置する方向ＤＤＢを求める。例えば上式（１３）、（１４）から減衰係数の比ｆａ／ｆｂを求め、図１７（Ａ）、図１７（Ｂ）で説明した手法により対象物ＯＢの位置する方向ＤＤＢを求める。

そして第１の期間Ｔ１に続く第２の期間Ｔ２では、受光部ＲＵでの受光結果に基づいて対象物ＯＢまでの距離（方向ＤＤＢに沿った方向での距離）を検出する。そして、検出された距離と、対象物ＯＢの方向ＤＤＢとに基づいて、対象物の位置を検出する。即ち図１７（Ｂ）において、光学式位置検出装置の配置位置ＰＥから対象物ＯＢまでの距離と、対象物ＯＢの位置する方向ＤＤＢを求めれば、対象物ＯＢのＸ、Ｙ座標位置を特定できる。このように、光源の点灯タイミングと受光タイミングの時間のずれから距離を求め、これと角度結果を併せることで、対象物ＯＢの位置を特定できる。

具体的には図１８（Ａ）では、発光制御信号ＳＬＳ１、ＳＬＳ２による光源部ＬＳ１、ＬＳ２の発光タイミングから、受光信号ＳＲＣがアクティブになるタイミング（反射光を受光したタイミング）までの時間Δｔを検出する。即ち、光源部ＬＳ１、ＬＳ２からの光が対象物ＯＢに反射されて受光部ＲＵで受光されるまでの時間Δｔを検出する。この時間Δｔを検出することで、光の速度は既知であるため、対象物ＯＢまでの距離を検出できる。即ち、光の到達時間のずれ幅（時間）を測定し、光の速度から距離を求める。

なお、光の速度はかなり速いため、電気信号だけでは単純な差分を求めて時間Δｔを検出することが難しいという問題もある。このような問題を解決するためには、図１８（Ｂ）に示すように発光制御信号の変調を行うことが望ましい。ここで図１８（Ｂ）は、制御信号ＳＬＳ１、ＳＬＳ２の振幅により光の強度（電流量）を模式的に表している模式的な信号波形例である。

具体的には図１８（Ｂ）では、例えば公知の連続波変調のＴＯＦ（Time Of Flight）方式で距離を検出する。この連続波変調ＴＯＦ方式では、一定周期の連続波で強度変調した連続光を用いる。そして、強度変調された光を照射すると共に、反射光を、変調周期よりも短い時間間隔で複数回受光することで、反射光の波形を復調し、照射光と反射光との位相差を求めることで、距離を検出する。なお図１８（Ｂ）において制御信号ＳＬＳ１、ＳＬＳ２のいずれか一方に対応する光のみを強度変調してもよい。また図１８（Ｂ）のようなクロック波形ではなく、連続的な三角波やＳｉｎ波で変調した波形であってもよい。また、連続変調した光としてパルス光を用いるパルス変調のＴＯＦ方式で、距離を検出してもよい。距離検出手法の詳細については例えば特開２００９−８５３７号などに開示されている。

図１９に、本実施形態の照射部ＥＵの変形例を示す。図１９では、照射部ＥＵとして第１、第２の照射ユニットＥＵ１、ＥＵ２が設けられる。これらの第１、第２の照射ユニットＥＵ１、ＥＵ２は、対象物ＯＢの検出エリアＲＤＥＴの面に沿った方向において所与の距離ＤＳだけ離れて配置される。即ち図１３のＸ軸方向に沿って距離ＤＳだけ離れて配置される。

第１の照射ユニットＥＵ１は、照射方向に応じて強度が異なる第１の照射光を放射状に出射する。第２の照射ユニットＥＵ２は、照射方向に応じて強度が異なる第２の照射光を放射状に出射する。受光部ＲＵは、第１の照射ユニットＥＵ１からの第１の照射光が対象物ＯＢに反射されることによる第１の反射光と、第２の照射ユニットＥＵ２からの第２の照射光が対象物ＯＢに反射されることによる第２の反射光を受光する。そして検出部２００は、受光部ＲＵでの受光結果に基づいて、対象物ＯＢの位置ＰＯＢを検出する。

具体的には検出部２００は、第１の反射光の受光結果に基づいて、第１の照射ユニットＥＵ１に対する対象物ＯＢの方向を第１の方向ＤＤＢ１（角度φ１）として検出する。また第２の反射光の受光結果に基づいて、第２の照射ユニットＥＵ２に対する対象物ＯＢの方向を第２の方向ＤＤＢ２（角度φ２）として検出する。そして検出された第１の方向ＤＤＢ１（φ１）及び第２の方向ＤＤＢ２（φ２）と、第１、第２の照射ユニットＥＵ１、ＥＵ２の間の距離ＤＳとに基づいて、対象物ＯＢの位置ＰＯＢを求める。

図１９の変形例によれば、図１８（Ａ）、図１８（Ｂ）のように光学式位置検出装置と対象物ＯＢとの距離を求めなくても、対象物ＯＢの位置ＰＯＢを検出できるようになる。

なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また投写型表示装置、光学式位置検出装置等の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。

２０ 対象面、３０ 情報処理装置、１００ 光学式位置検出装置、２００ 検出部、
３００ 処理部、４１０ 座標情報取得部、４２０ 撮像画像取得部、
４３０ 座標演算部、４３１ 奥行き特定情報取得部、４３３ 補正部、
４３５ 座標変換部、５００ 撮像部、６００ 画像投影部、
ＥＵ 照射部、ＬＥ 照射方向設定部、ＬＦ ルーバーフィルム、ＬＧ ライトガイド、
ＯＢ 対象物、ＰＤ 受光ユニット、ＰＨＤ 受光素子、ＰＲ 投写型表示装置、
ＰＳ プリズムシート、ＰＳ 光学シート、ＰＷＢ 配線基板、ＲＤＥＴ 検出エリア、
ＲＳ 反射シート、ＲＵ 受光部

Claims (10)

1. 対象面に対して画像を投影する画像投影部と、
   前記対象面を撮像する撮像部と、
   前記対象面に設定された検出エリアでの対象物の座標情報を求める座標演算部と、
   を含み、
   前記座標演算部は、
   前記撮像部からの撮像画像から得られるカメラ座標系での奥行き特定情報に基づいて、前記対象物の座標情報を求めることを特徴とする投写型表示装置。
2. 請求項１において、
   前記対象面に直交する座標軸をＺ座標軸とし、前記撮像部の撮像方向が前記対象面に対して斜め方向となる場合に、
   前記座標演算部は、
   前記奥行き特定情報に基づいて、前記対象物のＺ座標情報を求めることを特徴とする投写型表示装置。
3. 請求項２において、
   前記Ｚ座標軸に直交する座標軸をＸ座標軸、Ｙ座標軸とした場合に、
   前記座標演算部は、
   前記奥行き特定情報に基づいて、前記対象物のＸ座標情報及びＹ座標情報の少なくとも一方の補正処理を行うことを特徴とする投写型表示装置。
4. 請求項３において、
   前記座標演算部は、
   前記対象物の前記Ｚ座標情報により表される値Ｚが、Ｚ＞０の場合に前記補正処理を行うことを特徴とする投写型表示装置。
5. 請求項３において、
   前記座標演算部は、
   前記対象物の前記Ｚ座標情報により表される値Ｚが０の場合に前記補正処理をスキップすることを特徴とする投写型表示装置。
6. 請求項１において、
   前記対象面に直交する座標軸をＺ座標軸とし、前記Ｚ座標軸に直交する座標軸をＸ座標軸、Ｙ座標軸とし、前記撮像部の撮像方向が前記対象面に沿った方向となる場合に、
   前記座標演算部は、
   前記奥行き特定情報に基づいて、前記対象物のＹ座標情報を求めることを特徴とする投写型表示装置。
7. 請求項６において、
   前記撮像部の光軸方向に沿った座標軸を前記カメラ座標系のＺ座標軸とし、前記カメラ座標系のＺ座標軸に直交する座標軸を前記カメラ座標系のＸ座標軸、Ｙ座標軸とした場合に、
   前記座標演算部は、
   前記カメラ座標系でのＸ座標情報に基づいて、前記検出エリアでのＸ座標情報を求め、
   前記カメラ座標系でのＹ座標情報に基づいて、前記検出エリアでのＺ座標情報を求めることを特徴とする投写型表示装置。
8. 請求項１乃至７のいずれかにおいて、
   前記撮像部は、
   複数のカメラを有し、
   前記座標演算部は、
   前記複数のカメラから取得された複数の撮像画像情報の視差情報に基づいて得られた前記奥行き特定情報により、前記対象物の前記座標情報を求めることを特徴とする投写型表示装置。
9. 請求項１乃至７のいずれかにおいて、
   前記撮像部は、
   デプスカメラを有し、
   前記座標演算部は、
   前記デプスカメラにより得られた前記奥行き特定情報に基づいて、前記対象物の前記座標情報を求めることを特徴とする投写型表示装置。
10. 請求項１乃至９のいずれかに記載の投写型表示装置と、
    前記投写型表示装置からの座標検出情報に基づいて処理を行う情報処理装置と、
    を含むことを特徴とする情報処理システム。