JP2015212927A - 入力操作検出装置、入力操作検出装置を備えた画像表示装置及びプロジェクタシステム - Google Patents

Abstract

【課題】検出誤差が大きくなるのを抑制することができる入力操作検出装置を提供する。【解決手段】 入力操作検出装置は、測距部１３、処理部１５などを有している。測距部１３は、撮像対象物に向けて光を射出する光射出部、撮像対象物で反射された光を撮像する撮像部、及び演算部を有し、入力操作が行われる投影領域のデプスマップを取得する。処理部１５は、測距部１３からのデプスマップに基づいて、入力操作が示す入力操作情報を求める。そして、Ｚ軸方向に関して、測距部１３の光軸が投影画像と交わる位置が、投影画像の中心に対して、測距部１３の位置と同じ側にあるように、測距部１３の設置角度が設定されている。【選択図】図２

Description

本発明は、入力操作検出装置、入力操作検出装置を備えた画像表示装置及びプロジェクタシステムに係り、更に詳しくは、ユーザによる入力操作を検出するための入力操作検出装置、該入力操作検出装置を備えたプロジェクタ装置、電子黒板装置、デジタルサイネージ装置等の画像表示装置、及びプロジェクタシステムに関する。

近年、スクリーンに投影した投影画像に文字や図などを書き込む機能や、投影画像の拡大、縮小、及びページ送りなどの操作を実行する機能を有するいわゆるインタラクティブなプロジェクタ装置が市販されている。これらの機能は、スクリーンをタッチする操作者の指や、操作者が保持しているペン及び指し棒などを入力操作手段とし、該入力操作手段の位置及び動きを検出して、その検出結果をコンピュータなどへ送ることで実現されている。

例えば、特許文献１には、投影画像を投射面に投射する投射手段と、投射面を含む撮像範囲を複数の撮像素子により撮像する撮像手段と、複数の撮像素子が出力する複数の画像に基づいて、撮像範囲に存在する物体までの距離を表す距離情報を取得する距離取得手段と、距離情報に基づいて、投射面から予め定めた所定距離の範囲内に存在する物体を、投影画像に対して入力操作を行う入力部として検出する入力部検出手段と、入力部の投影画像上における位置または動きに基づいて、投影画像に対する入力操作を解析する解析手段と、を備えることを特徴とするプロジェクタ装置が開示されている。

この特許文献１に開示されているプロジェクタ装置は、検出誤差の抑制という観点において改良の余地があった。

本発明は、表示された画像の少なくとも一部に対してユーザによってなされた入力操作を検出するための入力操作検出装置であって、前記入力操作がなされる領域に向けて検出用の光を射出する光射出部と、撮像光学系及び撮像素子を有し、前記表示された画像及び前記入力操作の少なくとも一方を撮像する撮像部と、前記撮像部の撮像結果に基づいて、前記入力操作がなされた位置あるいは動作を検出する処理部と、を有し、前記撮像光学系の光軸が前記表示された画像の表示面と交わる位置は、前記表示された画像の中心に対して、前記撮像部の設置位置と同じ側にある入力操作検出装置である。

本発明の入力操作検出装置によれば、検出誤差が大きくなるのを抑制することができる。

本発明の一実施形態に係るプロジェクタシステムの概略構成を説明するための図である。 プロジェクタ装置を説明するための図である。 測距部を説明するための図である。 撮像部を説明するための図である。 処理部によって行われる入力操作情報検出処理を説明するためのフローチャートである。 比較例を説明するための図（その１）である。 比較例を説明するための図（その２）である。 具体例１を説明するための図（その１）である。 具体例１を説明するための図（その２）である。 比較例の数値例を説明するための図である。 具体例１の数値例を説明するための図である。 具体例２を説明するための図（その１）である。 具体例２を説明するための図（その２）である。 具体例２の数値例を説明するための図である。 撮像画像を説明するための図である。 撮像画像と撮像素子との関係を説明するための図である。 具体例３の数値例を説明するための図である。 具体例３における方法Ａを説明するための図である。 具体例３における方法Ｂを説明するための図である。 具体例３における方法Ｄを説明するための図である。 具体例３における方法Ｅを説明するための図である。 具体例４を説明するための図である。 具体例４の数値例を説明するための図である。 具体例４における方法Ａを説明するための図である。 Ｌ１／Ｍ１＝Ｌ２／Ｍ２の場合を説明するための図である。 プロジェクタ装置の変形例１を説明するための図である。 プロジェクタ装置の変形例２を説明するための図（その１）である。 プロジェクタ装置の変形例２を説明するための図（その２）である。 測距部の変形例１を説明するための図である。 測距部の変形例２を説明するための図である。 測距部の変形例３を説明するための図（その１）である。 測距部の変形例３を説明するための図（その２）である。 プロジェクタ装置の変形例３を説明するための図である。 電子黒板装置の一例を説明するための図である。 デジタルサイネージ装置の一例を説明するための図である。

近年、スクリーンに投影した投影画像に文字や図などを書き込む機能や、投影画像の拡大、縮小、及びページ送りなどの操作を実行する機能などを搭載したプロジェクタ装置が市販されている。これらの機能は、スクリーンをタッチする操作者の指や、操作者が保持しているペン及び指し棒などの位置及び動きを検出し、その検出結果をコンピュータへ送ることで実現されている。なお、本明細書では、「スクリーンをタッチする操作者の指や、操作者が保持しているペン及び指し棒など」を「入力操作手段」と呼称して用いる。

入力操作手段の位置及び動きを検出する方法として、カメラを用いた方法が知られている。例えば、スクリーンにおける画像が投影される全領域にわたってレーザ光を照射し、入力操作手段からの散乱光をカメラで撮像することにより、入力操作手段の位置及び動きを検出する方法が知られている。しかしながら、この方法では、レーザ光源から射出されるレーザ光がスクリーンに平行でかつスクリーンに近接していなければならず、レーザ光源を適切な位置に配置するのが非常に困難であるという不都合があった。また、この方法は、湾曲したスクリーンに適用できないという実用上の不都合もあった。

そこで、これらの不都合を解決する手段として、２台のカメラを用いて、入力操作手段の位置及び動きを３次元的に検出する方法が提案された（例えば、特許文献１参照）。

しかしながら、従来の２台のカメラを用いる方法では、投影画像に対する２台のカメラの適切な配置位置に関する具体例は開示されていなかった。２台のカメラが適切な位置に配置されていなければ、必要以上に大きな画角を持った光学系が必要とされ、収差の影響を受けやすくなり、その結果、検出誤差が大きくなってしまう場合があった。

以下、本発明の一実施形態を図１〜図２５に基づいて説明する。図１には、一実施形態に係るプロジェクタシステム１００の概略構成が示されている。

このプロジェクタシステム１００は、入力操作検出装置を備えた画像表示装置としてのプロジェクタ装置１０と、画像管理装置３０とを有している。操作者（ユーザ）は、指、ペン、指し棒などの入力操作手段でスクリーン３００の投影面近傍ないしは投影面に接触することで、投影面に投射された画像（以下、「投影画像」ともいう）に対して入力操作を行う。

プロジェクタ装置１０及び画像管理装置３０は、デスクやテーブル、あるいは専用の台座等（以下では、「載置台４００」という。）に載置されている。ここでは、三次元直交座標系において、載置台４００の載置面に直交する方向をＺ軸方向とする。また、プロジェクタ装置１０の＋Ｙ側にスクリーン３００が設置されているものとする。このスクリーン３００の−Ｙ側の面が投影面である。なお、投影面として、ホワイトボードのボード面や壁面など様々なものを利用することができる。

画像管理装置３０は、複数の画像データを保持しており、操作者の指示に基づいて投影対象の画像情報（以下では、「投影画像情報」ともいう）などをプロジェクタ装置１０に送出する。画像管理装置３０とプロジェクタ装置１０との間の通信は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルなどのケーブルを介した有線通信であっても良いし、無線通信であっても良い。そして、画像管理装置３０としては、所定のプログラムがインストールされているパーソナルコンピュータ（パソコン）を用いることができる。

また、画像管理装置３０がＵＳＢメモリやＳＤカードなどの着脱可能な記録媒体のインターフェースを有している場合は、該記録媒体に格納されている画像を投影画像とすることができる。

プロジェクタ装置１０は、いわゆるインタラクティブなプロジェクタ装置であり、一例として図２に示されるように、投射部１１、測距部１３、処理部１５などを有している。これらは、不図示の筐体内に収納されている。

本実施形態に係るプロジェクタ装置１０では、測距部１３と処理部１５とによって、本発明の入力操作検出装置が構成されている。

投射部１１は、従来のプロジェクタ装置と同様に、光源、カラーフィルタ、各種光学素子などを有し、処理部１５によって制御される。

処理部１５は、画像管理装置３０との間で双方向の通信を行い、投影画像情報を受信すると、所定の画像処理を行い、投射部１１を介して、スクリーン３００に投影する。

測距部１３は、一例として図３に示されるように、光射出部１３１、撮像部１３２、及び演算部１３３などを有している。

光射出部１３１は、近赤外光を射出する光源を有し、投影画像に向けて光（検出用光）を射出する。光源は、処理部１５によって点灯及び消灯がなされる。この光源としては、ＬＥＤや半導体レーザ（ＬＤ）などを使用することができる。また、光源から射出された光を調整するための光学素子やフィルタを備えていても良い。この場合は、例えば、検出用光の射出方向（角度）を調整したり、検出用光を構造化された光（図２９参照）や、強度変調された光（図３０参照）や、撮像対象物にテクスチャを付与する光（図３１参照）などとすることができる。

撮像部１３２は、一例として図４に示されるように、撮像素子１３２ａ及び撮像光学系１３２ｂを有している。撮像素子１３２ａは、エリア型の撮像素子である。また、撮像素子１３２ａの形状は、矩形形状である。撮像光学系１３２ｂは、光射出部１３１から射出され、撮像対象物で反射された光を撮像素子１３２ａに導く。ここでは、撮像素子１３２ａがエリア型であるので、ポリゴンミラーなどの光偏向手段を用いなくても２次元情報を一括して取得することができる。

ここでは、撮像部１３２の撮像対象物は、投影画像が投影されていない投影面であったり、投影面上に投影された投影画像であったり、さらには入力操作手段と投影画像とであったりする。

撮像光学系１３２ｂは、いわゆる共軸の光学系であり、光軸が定義されている。なお、撮像光学系１３２ｂの光軸を、以下では、便宜上、「測距部１３の光軸」ともいう。ここでは、測距部１３の光軸に平行な方向をａ軸方向、該ａ軸方向及びＸ軸方向のいずれにも直交する方向をｂ軸方向とする。また、撮像光学系１３２ｂの画角は、投影画像の全領域が撮像できるように設定されている。

図２に戻り、測距部１３は、ａ軸方向が、Ｙ軸方向に対して反時計回りに傾斜した方向となり、かつ、測距部１３の光軸が投影面と交わる位置が、投影画像の中心よりも−Ｚ側となるように配置されている。すなわち、Ｚ軸方向に関して、測距部１３の配置位置と、測距部１３の光軸が投影画像と交わる位置は、投影画像の中心に対して同じ側にある。

演算部１３３は、光射出部１３１での光射出のタイミングと、撮像素子１３２ａでの反射光の撮像タイミングとに基づいて、撮像対象物までの距離情報を算出する。そして、撮像画像の３次元情報、すなわちデプスマップを取得する。なお、取得されたデプスマップの中心は、測距部１３の光軸上にある。

演算部１３３は、所定の時間間隔（フレームレート）で撮像対象物のデプスマップを取得し、処理部１５に通知する。

そして、処理部１５は、演算部１３３で得られたデプスマップに基づいて、入力操作手段の位置や動きを求め、それに対応する入力操作情報を求める。さらに、処理部１５は、該入力操作情報を画像管理装置３０に通知する。

画像管理装置３０は、処理部１５からの入力操作情報を受け取ると、該入力操作情報に応じた画像制御を行う。これにより、投影画像に入力操作情報が反映されることとなる。

次に、処理部１５によって行われる入力操作情報を求める処理（「入力操作情報検出処理」ともいう。）について図５のフローチャートを用いて説明する。

なお、あらかじめ、入力操作手段がない状態でのデプスマップが取得され、基準デプスマップとして処理部１５内のメモリ（図示省略）に保持されている。また、入力操作手段は、操作者の指であるものとする。

最初のステップＳ４０１では、演算部１３３から新たなデプスマップが送られてきたか否かを判断する。演算部１３３から新たなデプスマップが送られてきていなければ、ここでの判断は否定され、演算部１３３から新たなデプスマップが送られてくるのを待つ。一方、演算部１３３から新たなデプスマップが送られてきていれば、ここでの判断は肯定され、ステップＳ４０３に移行する。

このステップＳ４０３では、演算部１３３からのデプスマップと基準デプスマップとの差分を求める。なお、以下では、この差分を「差分デプスマップ」ともいう。

次のステップＳ４０５では、差分デプスマップに基づいて、入力操作手段の有無を判断する。差分デプスマップが小さくて所定の閾値以下であると「入力操作手段なし」と判断し、上記ステップＳ４０１に戻る。一方、差分デプスマップが所定の閾値よりも大きいと「入力操作手段あり」と判断し、ステップＳ４０７に移行する。

このステップＳ４０７では、差分デプスマップから指の形状を抽出する。

次のステップＳ４０９では、抽出された指の形状から、指先の位置を推定する。

次のステップＳ４１１では、投影面を基準としたときのＹ軸方向に関する指先の位置（「差分距離」ともいう。）を差分デプスマップから求め、指先が投影面に接触あるいは近接しているか否かを判断する。差分距離が予め設定された値（例えば、３ｍｍ）以下であれば、ここでの判断は肯定され、ステップＳ４１３に移行する。

このステップＳ４１３では、指先の位置に基づいて入力操作情報を求める。例えば、該指先の位置に投影されている投影画像の指示に従い、アイコンをクリックする入力操作であったり、指先が移動している間は投影画像上に文字あるいは線を書く入力操作であったりする。

次のステップＳ４１５では、得られた入力操作情報を画像管理装置３０に通知する。これにより、画像管理装置３０は、入力操作情報に応じた画像制御を行う。すなわち、投影画像に入力操作情報が反映される。そして、上記ステップＳ４０１に戻る。

なお、ステップＳ４１１において、差分距離が予め設定された値（例えば、３ｍｍ）よりも大きければ、ステップＳ４１１での判断は否定され、上記ステップＳ４０１に戻る。

＜具体例１＞
具体例１と比較例について説明する。図６及び図７には、比較例が示され、図８及び図９には、具体例１が示されている。比較例と具体例１の違いは、測距部１３の光軸のＹ軸方向に対する傾斜角のみである。比較例では、測距部１３の光軸が投影面と交わる位置Ｇは、投影画像の中心Ａと一致している。一方、具体例１では、測距部１３の光軸が投影面と交わる位置Ｇは、投影画像の中心Ａの−Ｚ側にある。

ここで、投影画像の中心Ａを通り、Ｚ軸に平行な直線が、投影画像の−Ｚ側の端部と交差する点を点Ｂとし、＋Ｚ側の端部と交差する点を点Ｃとする。また、投影画像の中心Ａを通り、Ｘ軸に平行な直線が、投影画像の＋Ｘ側の端部と交差する点を点Ｄとする。さらに、点Ｄを通り、Ｚ軸に平行な直線が、投影画像の−Ｚ側の端部と交差する点を点Ｅし、＋Ｚ側の端部と交差する点を点Ｆとする。そして、具体例において、測距部１３の光軸が投影面と交わる位置Ｇを通り、Ｘ軸に平行な直線が、投影画像の＋Ｘ側の端部と交差する点を点Ｈとする。また、撮像光学系１３２ｂの中心を点Ｏとする。

ここで、具体例１及び比較例について、Ｙ軸方向に関して、撮像光学系１３２ｂの中心Ｏから投影面までの距離を４００ｍｍとし、６０インチの投影画像（画面アスペクト比１６：９）を投影面に投影する場合についての具体的な数値例を求める。

図１０には、比較例での数値例が示され、図１１には、具体例１での数値例が示されている。なお、各座標の値は、撮像光学系１３２ｂの中心Ｏを原点にしている。そして、投影画像の−Ｚ側の端部は、Ｚ座標が１４５ｍｍの位置とした。さらに、具体例１では、測距部１３の光軸が投影面と交わる位置ＧのＺ座標が３７１．５ｍｍとなるように測距部１３の設置角度を設定している。

画面サイズが６０インチ、画面アスペクト比が１６：９であることから、Ｘ軸方向の画面サイズは１３２８ｍｍ、Ｚ軸方向の画面サイズは７４７ｍｍである。そして、投影画像の中心ＡのＺ座標は５１８．５ｍｍであり、具体例１における測距部１３の光軸が投影面と交わる位置Ｇは、投影画像の中心Ａに対して、−Ｚ側にある。

比較例では、撮像光学系１３２ｂの最大半画角は∠ＡＯＥであり、６２．９度であったのに対し、具体例１では、撮像光学系１３２ｂの最大半画角は∠ＧＯＥであり、６０．２度であった。すなわち、具体例１では、比較例よりも、半画角を２．７度も小さくすることができる。半画角が４５度（全画角９０度）を超える広角側での２．７度の低減は、収差及び製造コストに関して非常に大きな利点である。

このように、測距部１３の光軸が投影画像と交わる位置Ｇが、投影画像の中心Ａに対して、−Ｚ側になるように測距部１３の設置角度を設定することで、最大半画角を小さくすることが可能となる。

なお、具体例１では、∠ＧＯＢと∠ＧＯＣの大きさ（絶対値）は同じである。この場合、∠ＧＯＢ及び∠ＧＯＣの大きさ（絶対値）は最小となる。このとき、撮像光学系１３２ｂは、Ｚ軸方向に関して必要な画角が最も小さくなり、Ｚ軸方向に関して、光学的に最も精度の良い測定が可能である。

＜具体例２＞
次に、具体例２について図１２〜図１４を用いて説明する。具体例２では、測距部１３の光軸が投影画像と交わる位置ＧのＺ座標が１８０ｍｍとなるように測距部１３の設置角度を設定している。この場合も、測距部１３の光軸が投影画像と交わる位置Ｇは、投影画像の中心Ａに対して、−Ｚ側にある。

具体例２では、撮像光学系１３２ｂの最大半画角は∠ＧＯＥであり、５７．５度であった。すなわち、具体例２では、上記比較例よりも、半画角を５．４度も小さくすることができる。半画角が４５度（全画角９０度）を超える広角側での５．４度の低減は、収差及び製造コストに関して非常に大きな利点である。但し、この場合、Ｚ軸方向に関する最大画角は、大きくなっている。

次に、投影画像を撮像部１３２で撮像する際に撮像素子１３２ａの受光面位置に結像される画像の大きさと撮像素子１３２ａの画素数との関係について考える。なお、以下では、便宜上、撮像素子１３２ａの受光面位置に結像される画像を「撮像画像」ともいう。

図１５には、上記具体例１に対応した撮像画像の一例が示されている。ここでは、投影面と撮像素子１３２ａの受光面とが非平行であるため、撮像画像の形状は台形状となる。なお、撮像形状における符号ａ〜ｈは、投影画像における上記Ａ〜Ｈに対応している。また、撮像光学系１３２ｂの焦点距離をｆ、撮像画像のＸ軸方向に関する大きさをｆ×Ｌ１、Ｚ軸方向に関する大きさをｆ×Ｌ２とする。

そして、矩形形状の撮像素子１３２ａのＸ軸方向に関する画素数をＭ１、Ｚ軸方向に関する画素数をＭ２、画素ピッチをＰとすると、撮像素子１３２ａのＸ軸方向に関する大きさはＰ×Ｍ１となり、Ｚ軸方向に関する大きさはＰ×Ｍ２となる。

撮像素子１３２ａで投影画像を撮像するためには、撮像画像が撮像素子１３２ａ内に収まっていなくてはならない。すなわち、一例として図１６に示されるように、撮像素子１３２ａの大きさは、撮像画像の大きさ以上でなくてはならない。

そこで、次の（１）式と（２）式とが満たされることが必要である。
Ｐ×Ｍ１≧ｆ×Ｌ１ ……（１）
Ｐ×Ｍ２≧ｆ×Ｌ２ ……（２）

ところで、撮像光学系１３２ｂの焦点距離を小さくしたり、画素ピッチを大きくしたり、画素数を大きくすることで、上記（１）式と（２）式を満足させることが可能である。しかしながら、撮像光学系１３２ｂの焦点距離を小さくすると、投影画像の結像倍率が小さくなり、その結果、撮像画像の空間分解能が低下する。また、画素ピッチを大きくすると、撮像画像の空間分解能が低下する。さらに、画素数を大きくすると、撮像素子１３２ａの大きなコストアップを招く。

そこで、撮像画像の空間分解能の低下及び大きなコストアップを招くことなく、投影画像を撮像部１３２で撮像するため、撮像素子１３２ａの大きさと撮像画像の大きさとの差を小さくすることを考える。なお、以下では、Ｌ１とＬ２を区別する必要がないとき、あるいは特定することできないときは、それらをＬと表記することもある。また、Ｍ１とＭ２を区別する必要がないとき、あるいは特定することできないときは、それらをＭと表記することもある。

１．「方法Ａ」
方法Ａでは、Ｘ軸方向に関して、撮像素子１３２ａの大きさと撮像画像の大きさを等しくする。すなわち、次の（３）式を満足させる。この（３）式から次の（４）式が得られる。
Ｐ×Ｍ１＝ｆ×Ｌ１ ……（３）
Ｐ／ｆ＝Ｌ１／Ｍ１ ……（４）

このとき、Ｚ軸方向に関しては、上記（２）式が満足されなければならないので、上記（４）式におけるＰ／ｆの値は、次の（５）式も満足させる必要がある。
Ｐ／ｆ≧Ｌ２／Ｍ２ ……（５）

このように、方法Ａでは、Ｘ軸方向に関して、撮像画像の大きさと撮像素子１３２ａの画素数との関係を最適化している。

２．「方法Ｂ」
方法Ｂでは、Ｚ軸方向に関して、撮像素子１３２ａの大きさと撮像画像の大きさを等しくする。すなわち、次の（６）式を満足させる。この（６）式から次の（７）式が得られる。
Ｐ×Ｍ２＝ｆ×Ｌ２ ……（６）
Ｐ／ｆ＝Ｌ２／Ｍ２ ……（７）

このとき、Ｘ軸方向に関しては、上記（１）式が満足されなければならないので、上記（７）式におけるＰ／ｆの値は、次の（８）式も満足させる必要がある。
Ｐ／ｆ≧Ｌ１／Ｍ１ ……（８）

このように、方法Ｂでは、Ｚ軸方向に関して、撮像画像の大きさと撮像素子１３２ａの画素数との関係を最適化している。

３．「方法Ｃ」
方法Ｃでは、Ｘ軸方向及びＺ軸方向に関して、撮像素子１３２ａの大きさと撮像画像の大きさを等しくする。すなわち、上記（４）式と上記（７）式を満足させる。この（４）式と（７）式から次の（９）式が得られる。
Ｌ１／Ｍ１＝Ｌ２／Ｍ２ ……（９）

このように、方法Ｃでは、Ｘ軸方向及びＺ軸方向に関して、撮像画像の大きさと撮像素子１３２ａの画素数との関係を最適化している。

ところで、撮像素子１３２ａは、ａ軸まわりに９０°回転させて用いることが可能である。この場合は、次の（１０）式と（１１）式とが満たされることが必要である。
Ｐ×Ｍ１≧ｆ×Ｌ２ ……（１０）
Ｐ×Ｍ２≧ｆ×Ｌ１ ……（１１）

この場合について、撮像素子１３２ａの大きさと撮像画像の大きさとの差を小さくすることを考える。

４．「方法Ｄ」
方法Ｄでは、撮像素子１３２ａのＸ軸方向に関する大きさと撮像画像のＺ軸方向に関する大きさを等しくする。すなわち、次の（１２）式を満足させる。この（１２）式から次の（１３）式が得られる。
Ｐ×Ｍ２＝ｆ×Ｌ１ ……（１２）
Ｐ／ｆ＝Ｌ１／Ｍ２ ……（１３）

このとき、上記（１０）式が満足されなければならないので、上記（１３）式におけるＰ／ｆの値は、次の（１４）式も満足させる必要がある。
Ｐ／ｆ≧Ｌ２／Ｍ１ ……（１４）

方法Ｄでは、撮像素子１３２ａを９０°回転させて使用し、そのときのＺ軸方向に関して、撮像画像の大きさと撮像素子１３２ａの画素数との関係を最適化している。

５．「方法Ｅ」
方法Ｅでは、撮像素子１３２ａのＺ軸方向に関する大きさと撮像画像のＸ軸方向に関する大きさを等しくする。すなわち、次の（１５）式を満足させる。この（１５）式から次の（１６）式が得られる。
Ｐ×Ｍ１＝ｆ×Ｌ２ ……（１５）
Ｐ／ｆ＝Ｌ２／Ｍ１ ……（１６）

このとき、上記（１１）式が満足されなければならないので、上記（１６）式におけるＰ／ｆの値は、次の（１７）式も満足させる必要がある。
Ｐ／ｆ≧Ｌ１／Ｍ２ ……（１７）

方法Ｅでは、撮像素子１３２ａを９０°回転させて使用し、そのときのＸ軸方向に関して、撮像画像の大きさと撮像素子１３２ａの画素数との関係を最適化している。

６．「方法Ｆ」
方法Ｆでは、上記（１３）式と上記（１５）式を満足させる。この（１３）式と（１５）式から次の（１８）式が得られる。
Ｌ１／Ｍ２＝Ｌ２／Ｍ１ ……（１８）

このように、方法Ｆでは、撮像素子１３２ａを９０°回転させて使用し、そのときのＸ軸方向及びＺ軸方向に関して、撮像画像の大きさと撮像素子１３２ａの画素数との関係を最適化している。

上記６つの方法のいくつかについて具体的に説明する。

先ず、具体例３を用いて説明する。ここでは、撮像素子１３２ａの解像度をＶＧＡ（６４０×４８０）とし、Ｍ１＝６４０、Ｍ２＝４８０とする。測距部１３は、上記具体例１と同じである。また、上記符号ａ〜ｈの具体的な数値例、Ｌ１及びＬ２の具体的な数値例が図１７に示されている。なお、各座標の値は、点ｇを原点にしている。また、焦点距離ｆとして規格化された焦点距離１（ｍｍ）を用いている。

例えば、上記「方法Ａ」を用いる場合、Ｐ／ｆの値は、上記（４）式から、０．００５７８（＝３．３９／６４０）となる。そして、Ｌ２／Ｍ２の値は０．００１７７（＝０．８５／４８０）となり、上記（５）式が満足されている。このとき、図１８に示されるように、撮像素子１３２ａは、撮像画像の全体を効率的に受光することができる。

また、例えば、上記「方法Ｂ」を用いる場合、Ｐ／ｆの値は、上記（７）式から、０．００１７７（＝０．８５／４８０）となる。そして、Ｌ１／Ｍ１の値は０．００５７８（＝３．３９／６４０）となり、上記（８）式は満足されていない。このとき、図１９に示されるように、撮像素子１３２ａは、撮像画像の全体を受光することができない。

また、例えば、上記「方法Ｄ」を用いる場合、Ｐ／ｆの値は、上記（１３）式から、０．００７０６（＝３．３９／４８０）となる。そして、Ｌ２／Ｍ１の値は０．００１３２（＝０．８５／６４０）となり、上記（１４）式が満足されている。このとき、撮像素子１３２ａを９０°回転させて使用すると、図２０に示されるように、撮像素子１３２ａは、撮像画像の全体を効率的に受光することができる。

また、例えば、上記「方法Ｅ」を用いる場合、Ｐ／ｆの値は、上記（１６）式から、０．００１３２（＝０．８５／６４０）となる。そして、Ｌ１／Ｍ２の値は０．００７０６（＝３．３９／４８０）となり、上記（１７）式は満足されていない。このとき、撮像素子１３２ａを９０°回転させて使用しても、図２１に示されるように、撮像素子１３２ａは、撮像画像の全体を受光することができない。

そこで、具体例３では、「方法Ａ」又は「方法Ｄ」を用いることにより、撮像画像の空間分解能の低下及び大きなコストアップを招くことなく、投影画像を撮像部１３２で撮像することができる。

次に、具体例４について説明する。ここでは、撮像素子１３２ａの解像度をＶＧＡ（６４０×４８０）とする。この場合、Ｍ１＝６４０、Ｍ２＝４８０である。測距部１３は、上記具体例２と同じである。図２２には、撮像画像の一例が示されている。また、符号ａ〜ｈの具体的な数値例、Ｌ１及びＬ２の具体的な数値例が図２３に示されている。なお、各座標の値は、点ｇを原点にしている。また、焦点距離ｆとして規格化された焦点距離１（ｍｍ）を用いている。

例えば、上記「方法Ａ」を用いる場合、Ｐ／ｆの値は、上記（４）式から、０．００４８９（＝３．１３／６４０）となる。そして、Ｌ２／Ｍ２の値は０．００２０１（＝０．９６／４８０）となり、上記（５）式が満足されている。このとき、図２４に示されるように、撮像素子１３２ａは、撮像画像の全体を効率的に受光することができる。

また、例えば、上記「方法Ｂ」を用いる場合、Ｐ／ｆの値は、上記（７）式から、０．００２０１（＝０．９６／４８０）となる。そして、Ｌ１／Ｍ１の値は０．００４８９（＝３．１３／６４０）となり、上記（８）式は満足されていない。このとき、撮像素子１３２ａは、撮像画像の全体を受光することができない。

また、例えば、上記「方法Ｄ」を用いる場合、Ｐ／ｆの値は、上記（１３）式から、０．００６５２（＝３．１３／４８０）となる。そして、Ｌ２／Ｍ１の値は０．００１５（＝０．９６／６４０）となり、上記（１４）式が満足されている。このとき、撮像素子１３２ａを９０°回転させて使用すると、撮像素子１３２ａは、撮像画像の全体を効率的に受光することができる。

また、例えば、上記「方法Ｅ」を用いる場合、Ｐ／ｆの値は、上記（１６）式から、０．００１５（＝０．９６／６４０）となる。そして、Ｌ１／Ｍ２の値は０．００６５２（＝３．１３／４８０）となり、上記（１７）式は満足されていない。このとき、撮像素子１３２ａを９０°回転させて使用しても、撮像素子１３２ａは、撮像画像の全体を受光することができない。

そこで、具体例４では、「方法Ａ」又は「方法Ｃ」を用いることにより、撮像画像の空間分解能の低下及び大きなコストアップを招くことなく、投影画像を撮像部１３２で撮像することができる。

従って、具体例３及び具体例４のように、Ｌ／Ｍの値が大きい方向に関して、撮像素子１３２ａの大きさと撮像画像の大きさを最適化させることにより、撮像画像の空間分解能の低下及び大きなコストアップを招くことなく、投影画像を撮像部１３２で撮像することができる。

なお、撮像素子１３２ａの画素数及び撮像画像の形状の少なくとも一方を調整することができるときは、上記「方法Ｃ」又は「方法Ｆ」を用いることができる。この場合、一例として図２５に示されるように、Ｘ軸方向及びＺ軸方向に関して、きっちりと撮像画像を撮像素子１３２ａ内に納めることができる。

但し、実際には、撮像光学系１３２ｂ及び撮像素子１３２ａの組付誤差や、撮像光学系１３２ｂの加工誤差などがあるため、撮像画像の大きさと撮像素子１３２ａの大きさをきっちり合わせるような設計ではロバスト性がない。従って、撮像画像の大きさを数％程度、撮像素子１３２ａの大きさよりも小さくして、ロバスト性を確保しても良い。

ところで、Ｌ／Ｍの値は、１画素あたりの撮像画像の大きさ、すなわち、投影画像を撮像する際の分解能に相当する。そこで、Ｌ／Ｍの値は、高分解能の測定を行うためにできるだけ小さいほうが良い。

例えば、上記「方法Ａ」を用いる場合、具体例３では、Ｐ／ｆ＝Ｌ１／Ｍ１＝０．００５７８であり、具体例４では、Ｐ／ｆ＝Ｌ１／Ｍ１＝０．００４８９である。そこで、撮像素子１３２ａの画素数が決まっている場合、具体例４における測距部１３の設置角度の方が、具体例３における測距部１３の設置角度より好ましい。

すなわち、Ｌ／Ｍの値が大きい方向において、Ｌ／Ｍの値が最小となるように、Ｙ軸方向に対する測距部１３の光軸の傾斜角を設定することにより、撮像の際の分解能を高めることができる。

以上説明したように、本実施形態に係るプロジェクタ装置１０は、投射部１１、測距部１３、処理部１５などを有している。

投射部１１は、処理部１５の指示に基づいて、スクリーン３００に画像を投影する。測距部１３は、投影画像に向けて検出用の光（検出用光）を射出する光射出部１３１、撮像光学系１３２ｂ及び撮像素子１３２ａを有して、投影画像及び入力操作手段の少なくとも一方を撮像する撮像部１３２、及び撮像部１３２の撮像結果が通知される演算部１３３を有し、入力操作手段が含まれる投影領域のデプスマップを取得する。処理部１５は、測距部１３からのデプスマップに基づいて、入力操作手段が示す入力操作情報を求める。

そして、Ｚ軸方向に関して、測距部１３の光軸が投影画像と交わる位置が、投影画像の中心に対して、測距部１３の配置位置と同じ側にあるように、測距部１３の設置角度が設定されている。

この場合は、撮像光学系１３２ｂの画角が必要以上に大きくなるのを抑制することができ、その結果、検出誤差が大きくなるのを抑制することができる。また、撮像光学系１３２ｂの画角を小さくすることができるため、低コスト化を図ることができる。

また、本実施形態では、入力操作情報検出処理において、差分距離が予め設定された値（例えば、３ｍｍ）以下であれば、指先が投影面に接触していると判断している。この場合は、測距部１３での距離計測に誤差があっても、所望の入力操作を実行することができる。また、これにより、指先が投影面に接触していなくとも、投影面に近接していれば接触しているとみなすことができ、実用的である。

また、本実施形態に係るプロジェクタシステム１００は、プロジェクタ装置１０を備えているため、その結果として、所望の画像表示動作を正しく行うことができる。

なお、上記実施形態において、プロジェクタ装置１０と画像管理装置３０とが一体化されていても良い。

また、上記実施形態において、不図示の取付部材を介して測距部１３が筐体に対して取り外し可能な状態で外付けされていても良い（図２６参照）。この場合、測距部１３で取得されたデプスマップは、ケーブル等を介して筐体内の処理部１５に通知される。また、この場合、測距部１３は、筐体とは離れた別の位置に配置することもできる。

また、上記実施形態において、処理部１５での処理の少なくとも一部を画像管理装置３０で行っても良い。例えば、上記入力操作情報検知処理が画像管理装置３０で行われる場合、測距部１３で取得されたデプスマップは、ケーブル等を介して、又は無線通信により、画像管理装置３０に通知される。

また、上記実施形態において、プロジェクタ装置１０が複数の測距部１３を有していても良い。例えば、Ｘ軸方向に関する画角が非常に大きい場合、超広角な撮像光学系を有する１つの測距部１３でその画角をカバーするよりも、画角を抑えた撮像光学系を有する複数の測距部１３をＸ軸方向に沿って並べたほうが低コストな場合がある。すなわち、Ｘ軸方向に超広角なプロジェクタ装置を低コストで実現することができる。

図２７には、Ｘ軸方向に沿って２つの測距部１３が設けられる場合の例が示されている。ここでは、２つの測距部１３は支持部材に取り付けられており、該支持部材が筐体に固定されている。なお、Ｚ軸方向に関しては、いずれの測距部１３も、上記実施形態と同様な条件を満たしている（図２８参照）。この場合、２つの測距部１３で得られたデプスマップは、投影画像の中心部付近でオーバーラップするようになっており、処理部１５では、このオーバーラップ部分を利用して、２つのデプスマップを連結する。

また、上記実施形態において、一例として図２９に示されるように、測距部１３の光射出部１３１は、ある構造化された光を射出しても良い。なお、構造化された光とは、Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ法として知られている方法に適した光であって、例えば、ストライプ状の光やマトリックス状の光などがある。照射領域は当然ではあるが、投影画像より広範囲である。射出される光は近赤外光であるため、投影画像が見えにくくなる等の不都合はない。このとき、撮像部１３２は、撮像対象物で反射されて変形した構造化された光を撮像する。そして、演算部１３３は、光射出部１３１から射出された光と、撮像部１３２で撮像された光とを比較し、三角測量法に基づいてデプスマップを求める。これは、いわゆるパターン投影法と呼ばれている。

また、上記実施形態において、一例として図３０に示されるように、測距部１３の光射出部１３１は、所定の周波数で強度変調された光を射出しても良い。照射領域は当然ではあるが、投影画像より広範囲である。射出される光は近赤外光であるため、投影画像が見えにくくなる等の不具合はない。このとき、撮像部１３２は、撮像対象物で反射されて位相がずれた光を撮像する。そして、演算部１３３は、光射出部１３１から射出された光と、撮像部１３２で撮像された光とを比較し、時間差もしくは位相差に基づいてデプスマップを求める。これは、いわゆるＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）法と呼ばれている。

また、上記実施形態において、一例として図３１に示されるように、測距部１３の光射出部１３１は、対象物にテクスチャを付与するため光を射出しても良い。照射領域は当然ではあるが、投影画像より広範囲である。射出される光は近赤外光であるため、投影画像が見えにくくなる等の不具合はない。この場合、撮像対象物に投影されたテクスチャパターンを撮像する２つの撮像部１３２を有している。そのため、それぞれの撮像部に対応して光軸は２つ存在する。そして、演算部１３３は、２つの撮像部１３２が撮像した画像間の視差に基づいてデプスマップを演算する。すなわち、演算部１３３は、各画像に対してステレオ平行化と呼ばれる処理を行い、２つの光軸が平行であると仮定したときの画像を変換する。そのため、２つの光軸は平行でなくても良い。これは、いわゆるステレオ法と呼ばれている。なお、ステレオ平行化処理がなされた後の光軸は、Ｘ軸方向からみると重なっており（図３２参照）、上記実施形態における測距部１３の光軸に対応する。

また、上記実施形態では、プロジェクタ装置１０が載置台４００に載置されて使用される場合について説明したが、これに限定されるものではない。例えば、図３３に示されるように、プロジェクタ装置１０は、天井に吊り下げて使用されても良い。ここでは、プロジェクタ装置１０は、吊り下げ部材で天井に固定されている。

測距部１３と処理部１５とからなる入力操作検出装置は、入力操作検出装置を備えた画像表示装置として、電子黒板装置やデジタルサイネージ装置にも用いることができる。いずれについても、検出誤差が大きくなるのを抑制することができる。

図３４には、電子黒板装置の一例が示されている。この電子黒板装置５００は、各種メニューやコマンド実行結果が表示される映写パネル及び座標入力ユニットを収納したパネル部５０１と、コントローラ及びプロジェクタユニットを収納した収納部と、パネル部５０１及び収納部を所定の高さで支持するスタンドと、コンピュータ、スキャナ、プリンタ、ビデオプレイヤ等を収納した機器収納部５０２と、から構成されている（特開２００２−２７８７００号公報参照）。入力操作検出装置は、機器収納部５０２内に収納されており、該機器収納部５０２を引き出すことにより、入力操作検出装置が出現する。そして、入力操作検出装置は、下方より映写パネルに投影された画像に対するユーザによる入力操作を検出する。コントローラと入力操作検出装置との間の通信は、ＵＳＢケーブルなどのケーブルを介した有線通信であっても良いし、無線通信であっても良い。

図３５には、デジタルサイネージ装置に一例が示されている。このデジタルサイネージ装置６００では、ガラス面が投影面となる。画像は、投影面の後方から、プロジェクタ本体によりリアプロジェクションされている。入力操作検出装置は、手すり上に設置されている。プロジェクタ本体と入力操作検出装置との間の通信は、ＵＳＢケーブルを介した有線通信である。これにより、デジタルサイネージ装置にインタラクティブ機能を持たせることができる。

このように、測距部１３と処理部１５とからなる入力操作検出装置は、インタラクティブ機能を有する装置や、インタラクティブ機能を付加したい装置に好適である。

１０…プロジェクタ装置、１１…投射部、１３…測距部、１５…処理部、３０…画像管理装置（制御装置）、１００…プロジェクタシステム、１３１…光射出部、１３２…撮像部、１３２ａ…撮像素子、１３２ｂ…撮像光学系、１３３…演算部、３００…スクリーン、４００……載置台、５００…電子黒板装置、６００…デジタルサイネージ装置。

特開２０１３−６１５５２号公報

なお、具体例１では、∠ＧＯＢと∠ＧＯＣの大きさ（絶対値）は同じである（図８に示す角度Ｐ）。この場合、∠ＧＯＢ及び∠ＧＯＣの大きさ（絶対値）は最小となる。このとき、撮像光学系１３２ｂは、Ｚ軸方向に関して必要な画角が最も小さくなり、Ｚ軸方向に関して、光学的に最も精度の良い測定が可能である。

例えば、上記「方法Ａ」を用いる場合、Ｐ／ｆの値は、上記（４）式から、０．００５２９（＝３．３９／６４０）となる。そして、Ｌ２／Ｍ２の値は０．００１７７（＝０．８５／４８０）となり、上記（５）式が満足されている。このとき、図１８に示されるように、撮像素子１３２ａは、撮像画像の全体を効率的に受光することができる。

また、例えば、上記「方法Ｂ」を用いる場合、Ｐ／ｆの値は、上記（７）式から、０．００１７７（＝０．８５／４８０）となる。そして、Ｌ１／Ｍ１の値は０．００５２９（＝３．３９／６４０）となり、上記（８）式は満足されていない。このとき、図１９に示されるように、撮像素子１３２ａは、撮像画像の全体を受光することができない。

例えば、上記「方法Ａ」を用いる場合、Ｐ／ｆの値は、上記（４）式から、０．００４８９（＝３．１３／６４０）となる。そして、Ｌ２／Ｍ２の値は０．００２（＝０．９６／４８０）となり、上記（５）式が満足されている。このとき、図２４に示されるように、撮像素子１３２ａは、撮像画像の全体を効率的に受光することができる。

また、例えば、上記「方法Ｂ」を用いる場合、Ｐ／ｆの値は、上記（７）式から、０．００２（＝０．９６／４８０）となる。そして、Ｌ１／Ｍ１の値は０．００４８９（＝３．１３／６４０）となり、上記（８）式は満足されていない。このとき、撮像素子１３２ａは、撮像画像の全体を受光することができない。

そこで、具体例４では、「方法Ａ」又は「方法Ｄ」を用いることにより、撮像画像の空間分解能の低下及び大きなコストアップを招くことなく、投影画像を撮像部１３２で撮像することができる。

例えば、上記「方法Ａ」を用いる場合、具体例３では、Ｐ／ｆ＝Ｌ１／Ｍ１＝０．００５２９であり、具体例４では、Ｐ／ｆ＝Ｌ１／Ｍ１＝０．００４８９である。そこで、撮像素子１３２ａの画素数が決まっている場合、具体例４における測距部１３の設置角度の方が、具体例３における測距部１３の設置角度より好ましい。

Claims (15)

1. 表示された画像の少なくとも一部に対してユーザによってなされた入力操作を検出するための入力操作検出装置であって、
   前記入力操作がなされる領域に向けて検出用の光を射出する光射出部と、
   撮像光学系及び撮像素子を有し、前記表示された画像及び前記入力操作の少なくとも一方を撮像する撮像部と、
   前記撮像部の撮像結果に基づいて、前記入力操作がなされた位置あるいは動作を検出する処理部と、を有し、
   前記撮像光学系の光軸が前記表示された画像の表示面と交わる位置は、前記表示された画像の中心に対して、前記撮像部の設置位置と同じ側にある入力操作検出装置。
2. 前記撮像部の撮像結果は、デプスマップを含むことを特徴とする請求項１に記載の入力操作検出装置。
3. 前記撮像光学系の画角は、前記撮像光学系の光軸によって２等分されることを特徴とする請求項１又は２に記載の入力操作検出装置。
4. 前記撮像素子における互いに直交する２つの方向のうち、前記撮像素子で撮像される画像の大きさＬと前記撮像素子の画素数Ｍの比Ｌ／Ｍの値が大きいほうの方向に関して、前記撮像される画像の大きさと前記撮像素子の画素数との関係が最適化されていることを特徴とする請求項１〜３のいずれか一項に記載の入力操作検出装置。
5. 前記Ｌ／Ｍの値が大きい方向において、該Ｌ／Ｍの値が最小となるように、前記表示面に直交する方向に対する前記撮像光学系の光軸の傾斜角が設定されていることを特徴とする請求項４に記載の入力操作検出装置。
6. 前記撮像素子における互いに直交する２つの方向では、前記撮像素子で撮像される画像の大きさＬと前記撮像素子の画素数Ｍの比Ｌ／Ｍの値が等しいことを特徴とする請求項１〜３のいずれか一項に記載の入力操作検出装置。
7. 前記光射出部は、構造化された光を射出することを特徴とする請求項１〜６のいずれか一項に記載の入力操作検出装置。
8. 前記光射出部は、強度変調された光を射出することを特徴とする請求項１〜６のいずれか一項に記載の入力操作検出装置。
9. 前記光射出部は、テクスチャを付与する光を射出することを特徴とする請求項１〜６のいずれか一項に記載の入力操作検出装置。
10. 請求項１〜９のいずれか一項に記載の入力操作検出装置を備える画像表示装置。
11. 前記画像表示装置がプロジェクタ装置であることを特徴とする請求項１０に記載の画像表示装置。
12. 前記画像表示装置が電子黒板装置であることを特徴とする請求項１０に記載の画像表示装置。
13. 前記画像表示装置がデジタルサイネージ装置であることを特徴とする請求項１０に記載の画像表示装置。
14. 投影された画像の少なくとも一部に対してユーザによってなされた入力操作により操作されるプロジェクタ装置において、
    前記入力操作がなされる領域に向けて検出用の光を射出する光射出部と、
    撮像光学系及び撮像素子を有し、前記画像及び前記入力操作の少なくとも一方を撮像する撮像部と、
    前記撮像部の撮像結果に基づいて、前記入力操作がなされた位置あるいは動作を検出する処理部と、を有し、
    前記撮像光学系の光軸が前記投影された画像の投影面と交わる位置は、前記投影された画像の中心に対して、前記撮像部の設置位置と同じ側にあるプロジェクタ装置。
15. 請求項１１又は１４に記載のプロジェクタ装置と、
    前記プロジェクタ装置で得られた入力操作がなされた位置あるいは動作に基づいて、画像制御を行う制御装置とを備えるプロジェクタシステム。