JP2016114963A - 入力操作検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、及びプロジェクタシステム - Google Patents

Abstract

【課題】検出精度を低下させることなく低価格化を図ることができる入力操作検出装置を提供する。【解決手段】 ２つの測距部（１３、１４）と処理部などを有している。投影画像は、投影画像の中心を通りＺ軸に平行な仮想線で、画像Ｒと画像Ｌに２分割される。測距部１３は画像Ｒの部分を撮像し、測距部１４は画像Ｌの部分を撮像する。各測距部は、Ｚ軸方向及びＸ軸方向のいずれに関しても、測距部の配置位置と測距部の光軸が投影面と交わる位置とが、対応する画像の中心に対して同じ側にあるように設定されている。処理部は、測距部１３からのデプスマップと測距部１４からのデプスマップとに基づいて、入力操作手段が示す入力操作情報を求める。【選択図】図１４

Description

本発明は、入力操作検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、及びプロジェクタシステムに係り、更に詳しくは、ユーザによる入力操作を検出するための入力操作検出装置、該入力操作検出装置を有するプロジェクタ装置、電子黒板装置、及びデジタルサイネージ装置、並びに前記プロジェクタ装置を備えるプロジェクタシステムに関する。

近年、スクリーンに投影された画像に文字や図などを書き込む機能や、該画像の拡大、縮小、ページ送りなどの操作を実行する機能などを搭載した、いわゆるインタラクティブなプロジェクタ装置が市販されている。

これらの機能は、スクリーンをタッチする操作者の指や、操作者が保持しているペン及び指し棒などを入力操作手段とし、該入力操作手段の位置及び動きを検出して、その検出結果をコンピュータなどへ送ることで実現されている。

このようなインタラクティブ機能を有する各種装置は、ユーザによる入力操作を検出するための入力操作検出装置を備えている。

例えば、特許文献１には、投影画像を投射面に投射する投射手段と、投射面を含む撮像範囲を複数の撮像素子により撮像する撮像手段と、複数の撮像素子が出力する複数の画像に基づいて、撮像範囲に存在する物体までの距離を表す距離情報を取得する距離取得手段と、距離情報に基づいて、投射面から予め定めた所定距離の範囲内に存在する物体を、投影画像に対して入力操作を行う入力部として検出する入力部検出手段と、入力部の投影画像上における位置または動きに基づいて、投影画像に対する入力操作を解析する解析手段と、を備えるプロジェクタ装置が開示されている。

しかしながら、従来の入力操作検出装置では、検出精度を低下させることなく低価格化を図るのは困難であった。

本発明は、画像に対するユーザの入力操作を検出するための入力操作検出装置であって、撮像光学系及び撮像素子を有する第１の撮像部と、撮像光学系及び撮像素子を有する第２の撮像部と、前記第１の撮像部の撮像情報と前記第２の撮像部の撮像情報とに基づいて、前記入力操作を検出する処理部とを備え、前記画像は第１の方向に関して第１の画像と第２の画像とに分割され、前記第１の撮像部は前記第１の画像を撮像し、前記第２の撮像部は前記第２の画像を撮像し、前記第１の撮像部の撮像光学系の光軸が前記画像と交わる位置は、前記第１の画像の中心に対して、前記第１の撮像部の設置位置と同じ側にあり、前記第２の撮像部の撮像光学系の光軸が前記画像と交わる位置は、前記第２の画像の中心に対して、前記第２の撮像部の設置位置と同じ側にある入力操作検出装置である。

本発明の入力操作検出装置によれば、検出精度を低下させることなく低価格化を図ることができる。

本発明の一実施形態に係るプロジェクタシステムの概略構成を説明するための図である。 プロジェクタ装置を説明するための図（その１）である。 プロジェクタ装置を説明するための図（その２）である。 画像Ｒ及び画像Ｌを説明するための図である。 測距部１３を説明するための図である。 測距部１４を説明するための図である。 測距部の外観を説明するための図である。 測距部１３の撮像部１３２を説明するための図である。 測距部１４の撮像部１４２を説明するための図である。 測距部１３と投影画像との関係を説明するための図（その１）である。 測距部１３と投影画像との関係を説明するための図（その２）である。 測距部１４と投影画像との関係を説明するための図（その１）である。 測距部１４と投影画像との関係を説明するための図（その２）である。 測距部１３の撮像領域と測距部１４の撮像領域とが重なる領域を説明するための図である。 処理部によって行われる入力操作情報検出処理を説明するためのフローチャートである。 画像Ｒに付けられた複数の符号を説明するための図である。 比較例を説明するための図である。 具体例１を説明するための図である。 具体例１における測距部１３の光軸が投影面と交わる位置Ｊを説明するための図である。 比較例の数値例を説明するための図である。 具体例１の数値例を説明するための図である。 具体例２における測距部１３の光軸が投影面と交わる位置Ｊを説明するための図である。 具体例２の数値例を説明するための図である。 撮像画像を説明するための図（その１）である。 撮像画像を説明するための図（その２）である。 比較例における必要な撮像素子の大きさを説明するための図である。 比較例における撮像画像の数値例を説明するための図である。 具体例１における必要な撮像素子の大きさを説明するための図（その１）である。 具体例１における撮像画像の数値例を説明するための図である。 具体例１における必要な撮像素子の大きさを説明するための図（その２）である。 具体例２における必要な撮像素子の大きさを説明するための図である。 具体例２における撮像画像の数値例を説明するための図である。 プロジェクタ装置の変形例１を説明するための図である。 測距部の変形例１を説明するための図である。 測距部の変形例２を説明するための図である。 測距部の変形例３を説明するための図（その１）である。 測距部の変形例３を説明するための図（その２）である。 プロジェクタ装置の変形例３を説明するための図である。 電子黒板装置の一例を説明するための図である。 デジタルサイネージ装置の一例を説明するための図である。

近年、スクリーンに投影した画像に文字や図などを書き込む機能や、該画像の拡大、縮小、及びページ送りなどの操作を実行する機能などを搭載したプロジェクタ装置が市販されている。これらの機能は、スクリーンをタッチする操作者の指や、操作者が保持しているペン及び指し棒などを入力操作手段とし、該入力操作手段の位置及び動きを検出し、その検出結果をコンピュータへ送ることで実現されている。

入力操作手段の位置及び動きを検出する方法として、カメラを用いた方法が知られている。例えば、スクリーンにおける画像が投影される全領域にわたってレーザ光を照射し、入力操作手段からの散乱光をカメラで撮像することにより、入力操作手段の位置及び動きを検出する方法が知られている。しかしながら、この方法では、光源から射出されるレーザ光がスクリーンに平行でかつスクリーンに近接していなければならず、光源を適切な位置に配置する点において改善の余地があった。また、この方法は、湾曲したスクリーンに不向きであるという実用上の改善点もあった。

そこで、これらを改善する手段として、２台のカメラを用いて、入力操作手段の位置及び動きを３次元的に検出する方法が提案された（例えば、特許文献１参照）。

しかしながら、従来の２台のカメラを用いる方法では、画像に対する２台のカメラの適切な配置位置に関する具体例は開示されていなかった。２台のカメラが適切な位置に配置されていなければ、必要以上に大きな画角を持った光学系が必要とされ、収差の影響を受けやすくなり、その結果、検出誤差が大きくなってしまう場合があった。

また、１台のカメラ（例えば、ステレオカメラ）を用いる方法では、当然ながらプロジェクタ装置が画像を投影する領域を１台のカメラでカバーしなければならない。この場合、カメラの価格を安価に抑えようとすると、上記領域をカバーできる画角をもった撮影レンズは低性能なものとなってしまう。これは、大きな検出誤差を招くこととなる。さらに、近年、プロジェクタ装置における短焦点化（すなわち、広角化）が進んでおり、この場合、検出誤差はさらに大きくなる。

以下、本発明の一実施形態を図１〜図３２に基づいて説明する。図１には、一実施形態に係るプロジェクタシステム１００の概略構成が示されている。

このプロジェクタシステム１００は、プロジェクタ装置１０と画像管理装置３０とを有している。操作者（ユーザ）は、指、ペン、指し棒などの入力操作手段でスクリーン３００の投影面近傍ないしは投影面に接触することで、投影面に投射された画像（以下、「投影画像」ともいう）に対して入力操作を行う。

プロジェクタ装置１０及び画像管理装置３０は、デスクやテーブル、あるいは専用の台座等（以下では、「載置台４００」という）に載置されている。ここでは、三次元直交座標系において、載置台４００の載置面に直交する方向をＺ軸方向とする。また、プロジェクタ装置１０の＋Ｙ側にスクリーン３００が設置されているものとする。このスクリーン３００の−Ｙ側の面が投影面である。なお、投影面として、ホワイトボードのボード面や壁面など様々なものを利用することができる。

画像管理装置３０は、複数の画像データを保持しており、操作者の指示に基づいて投影対象の画像情報（以下では、「投影画像情報」ともいう）などをプロジェクタ装置１０に送出する。画像管理装置３０とプロジェクタ装置１０との間の通信は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルなどのケーブルを介した有線通信であっても良いし、無線通信であっても良い。そして、画像管理装置３０としては、所定のプログラムがインストールされているパーソナルコンピュータ（パソコン）を用いることができる。

また、画像管理装置３０がＵＳＢメモリやＳＤカードなどの着脱可能な記録媒体のインターフェースを有している場合は、該記録媒体に格納されている画像を投影画像とすることができる。

プロジェクタ装置１０は、いわゆるインタラクティブなプロジェクタ装置であり、Ｚ軸方向に関して、投影画像の中心に対して−Ｚ側に配置されている（図２参照）。そして、このプロジェクタ装置１０は、一例として図２及び図３に示されるように、投射部１１、２つの測距部（１３、１４）、処理部１５などを有している。これらは、不図示の筐体内に収納されている。

投射部１１は、従来のプロジェクタ装置と同様に、光源、カラーフィルタ、各種光学素子などを有し、処理部１５によって制御される。

処理部１５は、画像管理装置３０との間で双方向の通信を行い、投影画像情報を受信すると、所定の画像処理を行い、投射部１１を介して、スクリーン３００に投影する。

ここでは、一例として図４に示されるように、投影画像の中心を通りＺ軸に平行な仮想線で投影画像を２分割し、該仮想線の＋Ｘ側の画像を「画像Ｒ」といい、−Ｘ側の画像を「画像Ｌ」という。

測距部１３は、Ｚ軸方向に関して、画像Ｒの中心の−Ｚ側であって、かつ、Ｘ軸方向に関して、画像Ｒの中心の−Ｘ側の位置に配置されている。また、測距部１４は、Ｚ軸方向に関して、画像Ｌの中心の−Ｚ側であって、かつ、Ｘ軸方向に関して、画像Ｌの中心の＋Ｘ側の位置に配置されている。

測距部１３は、一例として図５に示されるように、光射出部１３１、撮像部１３２、及び演算部１３３などを有している。測距部１４は、一例として図６に示されるように、光射出部１４１、撮像部１４２、及び演算部１４３などを有している。また、各測距部の外観が、一例として図７に示されている。光射出部、撮像部、及び演算部は筐体内に収納されている。

各光射出部は、近赤外光を射出する光源を有している。該光源は、処理部１５によって点灯及び消灯がなされる。この光源としては、ＬＥＤや半導体レーザ（ＬＤ）などを使用することができる。また、光源から射出された光を調整するための光学素子やフィルタを備えていても良い。この場合は、例えば、検出用光の射出方向（角度）を調整したり、検出用光を構造化された光（図３４参照）や、強度変調された光（図３５参照）や、撮像対象物にテクスチャを付与する光（図３６参照）などとすることができる。

光射出部１３１は、画像Ｒに向けて光（検出用光）を射出し、光射出部１４１は、画像Ｌに向けて光（検出用光）を射出する。

撮像部１３２は、光射出部１３１から射出され、撮像対象物で反射された光を撮像する。ここでは、撮像部１３２は、一例として図８に示されるように、撮像素子１３２ａ及び撮像光学系１３２ｂを有している。撮像素子１３２ａは、エリア型の撮像素子である。また、撮像素子１３２ａの形状は、矩形形状である。撮像光学系１３２ｂは、光射出部１３１から射出され、撮像対象物で反射された光を撮像素子１３２ａに導く。ここでは、撮像素子１３２ａがエリア型であるので、ポリゴンミラーなどの光偏向手段を用いなくても２次元情報を一括して取得することができる。

撮像部１４２は、光射出部１４１から射出され、撮像対象物で反射された光を撮像する。ここでは、撮像部１４２は、一例として図９に示されるように、撮像素子１４２ａ及び撮像光学系１４２ｂを有している。撮像素子１４２ａは、エリア型の撮像素子である。また、撮像素子１４２ａの形状は、矩形形状である。撮像光学系１４２ｂは、光射出部１４１から射出され、撮像対象物で反射された光を撮像素子１４２ａに導く。ここでは、撮像素子１４２ａがエリア型であるので、ポリゴンミラーなどの光偏向手段を用いなくても２次元情報を一括して取得することができる。

撮像光学系１３２ｂの画角は、画像Ｒの全領域が撮像できるように設定されている。撮像光学系１４２ｂの画角は、画像Ｌの全領域が撮像できるように設定されている。そこで、撮像光学系１３２ｂと撮像光学系１４２ｂとによって、投影画像の全領域が撮像される。

ここでは、各撮像部の撮像対象物は、投影画像が投影されていない投影面であったり、投影面上に投影された投影画像であったり、さらには入力操作手段と投影画像とであったりする。

各撮像光学系は、いわゆる共軸の光学系であり、光軸が定義されている。なお、以下では、便宜上、撮像光学系１３２ｂの光軸を「測距部１３の光軸」ともいい、撮像光学系１４２ｂの光軸を「測距部１４の光軸」ともいう。

測距部１３は、Ｚ軸方向に関して、測距部１３の光軸が投影面と交わる位置が、投影画像の中心よりも−Ｚ側となり（図１０参照）、かつ、Ｘ軸方向に関して、測距部１３の光軸が投影面と交わる位置が、画像Ｒの中心よりも−Ｘ側となる（図１１参照）ように配置されている。すなわち、Ｚ軸方向及びＸ軸方向のいずれに関しても、測距部１３の配置位置、及び測距部１３の光軸が投影面と交わる位置は、画像Ｒの中心に対して同じ側にある。

測距部１４は、Ｚ軸方向に関して、測距部１４の光軸が投影面と交わる位置が、投影画像の中心よりも−Ｚ側となり（図１２参照）、かつ、Ｘ軸方向に関して、測距部１４の光軸が投影面と交わる位置が、画像Ｌの中心よりも＋Ｘ側となる（図１３参照）ように配置されている。すなわち、Ｚ軸方向及びＸ軸方向のいずれに関しても、測距部１４の配置位置、及び測距部１４の光軸が投影面と交わる位置は、画像Ｌの中心に対して同じ側にある。

このように、本実施形態では、Ｚ軸方向及びＸ軸方向のいずれに関しても、各測距部は、測距部の配置位置と測距部の光軸が投影面と交わる位置とが、対応する画像の中心に対して同じ側にあるように設定されている。

なお、測距部１３の撮像領域と測距部１４の撮像領域は、投影画像の中心付近で重なっている（図１４参照）。これは、測距部の取り付け誤差等の影響で、投影画像の中心部分がいずれの撮像領域からも外れてしまうのを防止するためである。

演算部１３３は、光射出部１３１での光射出のタイミングと、撮像素子１３２ａでの反射光の撮像タイミングとに基づいて、撮像対象物までの距離情報を算出する。そして、撮像画像の３次元情報、すなわちデプスマップを取得する。なお、取得されたデプスマップの中心は、測距部１３の光軸上にある。

演算部１３３は、所定の時間間隔（フレームレート）で撮像対象物のデプスマップを取得し、処理部１５に通知する。

演算部１４３は、光射出部１４１での光射出のタイミングと、撮像素子１４２ａでの反射光の撮像タイミングとに基づいて、撮像対象物までの距離情報を算出する。そして、演算部１４３は、撮像画像の３次元情報、すなわちデプスマップを取得する。なお、取得されたデプスマップの中心は、測距部１４の光軸上にある。

演算部１４３は、所定の時間間隔（フレームレート）で撮像対象物のデプスマップを取得し、処理部１５に通知する。

処理部１５は、演算部１３３で得られたデプスマップと演算部１４３で得られたデプスマップとを結合し、投影画像全域のデプスマップを作成する。そして、処理部１５は、作成された投影画像全域のデプスマップに基づいて、入力操作手段の位置や動きを求め、それに対応する入力操作情報を求める。さらに、処理部１５は、該入力操作情報を画像管理装置３０に通知する。

画像管理装置３０は、処理部１５からの入力操作情報を受け取ると、該入力操作情報に応じた画像制御を行う。これにより、投影画像に入力操作情報が反映されることとなる。

次に、処理部１５によって行われる入力操作情報を求める処理（「入力操作情報検出処理」ともいう。）について図１５のフローチャートを用いて説明する。

なお、あらかじめ、入力操作手段がない状態でのデプスマップが取得され、基準デプスマップとして処理部１５内のメモリ（図示省略）に保持されている。また、入力操作手段は、操作者の指であるものとする。

最初のステップＳ４０１では、各演算部から新たなデプスマップが送られてきたか否かを判断する。各演算部から新たなデプスマップが送られてきていなければ、ここでの判断は否定され、各演算部から新たなデプスマップが送られてくるのを待つ。一方、各演算部から新たなデプスマップが送られてきていれば、ここでの判断は肯定され、ステップＳ４０３に移行する。

このステップＳ４０３では、演算部１３３で得られたデプスマップと演算部１４３で得られたデプスマップとを結合し、投影画像全域のデプスマップを作成する。

このステップＳ４０５では、作成された投影画像全域のデプスマップと基準デプスマップとの差分を求める。すなわち、２つの測距部の撮像領域内に指がある場合とない場合のデプスマップの差分を求める。該差分を求めることにより、背景となる投影面（投影画像）の距離情報は相殺され、背景を基準としたときの指部分の距離情報のみが算出される。なお、以下では、この差分を「差分デプスマップ」ともいう。

次のステップＳ４０７では、差分デプスマップに基づいて、入力操作手段の有無を判断する。差分デプスマップが小さくて所定の閾値以下であると「入力操作手段なし」と判断し、上記ステップＳ４０１に戻る。一方、差分デプスマップが所定の閾値よりも大きいと「入力操作手段あり」と判断し、ステップＳ４０９に移行する。

このステップＳ４０９では、画像処理によって差分デプスマップから指の形状を抽出する。

次のステップＳ４１１では、抽出された指の形状から、指先の位置を推定する。

次のステップＳ４１３では、投影面を基準としたときのＹ軸方向に関する指先の位置（「差分距離」ともいう。）を差分デプスマップから求め、指先が投影面に接触あるいは近接しているか否かを判断する。差分距離が予め設定された値（例えば、３ｍｍ）以下であれば、ここでの判断は肯定され、ステップＳ４１５に移行する。

このステップＳ４１５では、指先の位置に基づいて入力操作情報を求める。例えば、該指先の位置に投影されている投影画像の指示に従い、アイコンをクリックする入力操作であったり、指先が移動している間は投影画像上に文字あるいは線を書く入力操作であったりする。

次のステップＳ４１７では、得られた入力操作情報を画像管理装置３０に通知する。これにより、画像管理装置３０は、入力操作情報に応じた画像制御を行う。すなわち、投影画像に入力操作情報が反映される。そして、上記ステップＳ４０１に戻る。

なお、ステップＳ４１３において、差分距離が予め設定された値（例えば、３ｍｍ）よりも大きければ、ステップＳ４１３での判断は否定され、上記ステップＳ４０１に戻る。

ここで、測距部１３と画像Ｒとの関係について具体例を用いて説明する。なお、説明をわかりやすくするため、測距部１３の撮像領域と画像Ｒの大きさとが一致しているものとする。また、測距部１３は、投影画像の中心が含まれるＹＺ面上にあるものとする。

さらに、図１６に示されるように、投影画像における複数の位置に符号Ａ〜Ｉをつける。点Ａは投影画像の中心位置である。点Ｂは、点Ａを通りＺ軸に平行な直線が、投影画像の−Ｚ側の端部と交差する点である。点Ｃは、点Ａを通りＺ軸に平行な直線が、投影画像の＋Ｚ側の端部と交差する点である。点Ｄは、点Ａを通りＸ軸に平行な直線が、投影画像の＋Ｘ側の端部と交差する点である。点Ｅは、点Ｄを通りＺ軸に平行な直線が、投影画像の−Ｚ側の端部と交差する点である。点Ｆは、点Ｄを通りＺ軸に平行な直線が、投影画像の＋Ｚ側の端部と交差する点である。点Ｇは、画像Ｒの中心位置である。点Ｈは、点Ｇを通りＺ軸に平行な直線が、投影画像の−Ｚ側の端部と交差する点である。点Ｉは、点Ｇを通りＺ軸に平行な直線が、投影画像の＋Ｚ側の端部と交差する点である。

＜具体例１＞
具体例１と比較例について説明する。図１７には比較例が示され、図１８には具体例１が示されている。比較例と具体例１の違いは、測距部１３の光軸のＹ軸方向に対する傾斜角のみである。比較例では、測距部１３の光軸が投影面と交わる位置は、画像Ｒの中心位置Ｇと一致している。一方、具体例１では、測距部１３の光軸が投影面と交わる位置は、画像Ｒの中心位置Ｇに対して、Ｚ軸方向に関しては−Ｚ側にあり、かつＸ軸方向に関しては−Ｘ側にある点Ｊである（図１９参照）。

点Ｊを通りＺ軸に平行な直線と点Ａを通りＸ軸に平行な直線とが交わる位置をＪｘとし、点Ｊを通りＸ軸に平行な直線と点Ａを通りＺ軸に平行な直線とが交わる位置をＪｚとする。点Ｊｘは∠ＡＯＤを２分割する点であり、∠ＡＯＪｘ＝∠ＪｘＯＤが成り立つ。また、点Ｊｙは∠ＢＯＣを２分割する点であり、∠ＢＯＪｙ＝∠ＪｙＯＣが成り立つ。

具体例１及び比較例について、Ｙ軸方向に関して、撮像光学系１３２ｂの中心Ｏから投影面までの距離を４００ｍｍとし、６０インチの投影画像（画面アスペクト比１６：９）を投影面に投影する場合についての具体的な数値例を求める。すなわち、Ｘ軸方向に関する投影画像の大きさは１３２８ｍｍであり、Ｚ軸方向に関する投影画像の大きさは７４７ｍｍである。

図２０には、比較例での数値例が示され、図２１には、具体例１での数値例が示されている。なお、各座標の値は、撮像光学系１３２ｂの中心Ｏを原点にしている。そして、投影画像の−Ｚ側の端部は、Ｚ座標が１４５ｍｍの位置とした。さらに、具体例１では、測距部１３の光軸が投影面と交わる位置ＪのＸ座標が２７４．０ｍｍ、Ｚ座標が３７１．５ｍｍとなるように測距部１３の設置角度を設定している。

比較例では、撮像光学系１３２ｂの最大半画角は∠ＧＯＢであり、−４１．１７度であったのに対し、具体例１では、撮像光学系１３２ｂの最大半画角は∠ＪＯＥであり、−３４．７６度であった。すなわち、具体例１では、比較例よりも、半画角を６．４１度も小さくすることができる。半画角が４５度（画角９０度）を超える広角側での６．４１度の低減は、収差及び製造コストに関して非常に大きな利点である。

このように、測距部１３の光軸が投影面と交わる位置Ｊが、画像Ｒの中心Ｇに対して、Ｚ軸方向に関しては−Ｚ側にあり、かつＸ軸方向に関しては−Ｘ側にあるように、測距部１３の設置角度を設定することで、最大半画角を小さくすることが可能となる。

＜具体例２＞
次に、具体例２について図２２及び図２３を用いて説明する。具体例２では、測距部１３の光軸が投影面と交わる位置ＪのＸ座標が２６０．３ｍｍ、Ｚ座標が３９１．７ｍｍとなるように測距部１３の設置角度を設定している。この場合も、画像Ｒの中心ＧのＸ座標が３３２．１ｍｍ、Ｚ座標は５１８．６ｍｍであるので、測距部１３の光軸が投影面と交わる位置Ｊは、画像Ｒの中心Ｇに対して、Ｚ軸方向に関しては−Ｚ側にあり、かつＸ軸方向に関しては−Ｘ側にある。

点Ｊを通りＺ軸に平行な直線が、投影画像の−Ｚ側の端部と交差する点をＪｘ１とし、投影画像の＋Ｚ側の端部と交差する点をＪｘ２とする。また、点Ｊを通りＸ軸に平行な直線と点Ａを通りＺ軸に平行な直線とが交わる位置をＪｚ１、点Ｊを通りＸ軸に平行な直線が、投影画像の＋Ｘ側の端部と交差する点をＪｚ２とする。

この点Ｊは、点Ｊを通りＸ軸に平行な方向における画角の中心であり、かつ、点Ｊを通りＺ軸に平行な方向における画角の中心となっている。すなわち、∠Ｊｙ１ＯＪ＝∠ＪＯＪｙ２であり、∠Ｊｘ１ＯＪ＝∠ＪＯＪｘ２である。

具体例２では、撮像光学系１３２ｂの最大半画角は∠ＪＯＥであり、−３６．８５度であった。すなわち、具体例２では、上記比較例よりも、半画角を４．３２度も小さくすることができる。半画角が４５度（画角９０度）を超える広角側での４．３２度の低減は、収差及び製造コストに関して非常に大きな利点である。

なお、詳細な説明は繰り返しを避けるため省略するが、測距部１４と画像Ｌとの関係についても、上述した測距部１３と画像Ｒとの関係と同様である。

次に、画像Ｒを撮像部１３２で撮像する際に撮像素子１３２ａの受光面位置に結像される画像の位置と大きさについて考える。なお、以下では、便宜上、撮像素子１３２ａの受光面位置に結像される画像を「撮像画像」ともいう。

図２４及び図２５には、撮像素子１３２ａの受光面位置に結像された画像Ｒの撮像画像が示されている。撮像画像におけるＢ’、Ｃ’、Ｅ’、Ｆ’、Ｊ’は、画像ＲにおけるＢ、Ｃ、Ｅ、Ｆ、Ｊに対応している。ここでは、投影面と撮像素子の受光面とが非平行であるため、撮像画像の形状は長方形ではなく、変形した四角形となっている。

図２６及び図２７には、上記比較例について、算出された撮像画像におけるＢ’、Ｃ’、Ｅ’、Ｆ’、Ｇ’の座標値が示されている。なお、簡単のため撮像光学系１３２ｂの焦点距離を１ｍｍとした。また、撮像光学系の光軸方向をＳ０方向、撮像素子１３２ａの受光面において、Ｘ軸に平行な方向をＳ２方向、Ｓ０方向及びＳ２方向のいずれにも直交する方向をＳ１方向とする。

Ｇ’は測距部１３の光軸上にあるため、撮像素子１３２ａの受光面の中心である。そこで、Ｇ’の座標値を、（Ｓ０，Ｓ１，Ｓ２）＝（０，０，０）とする。ここでは、∠ＧＯＢ、及び∠ＧＯＥが大きいので、Ｂ’、Ｅ’はＧ’から大きく離れている。一方、Ｃ’、Ｆ’はＧ’に近い。

Ｓ２方向に関する座標値の絶対値の最大値は０．６９３であり、Ｓ１方向に関する座標値の絶対値の最大値は０．７１２である。図２６において破線で示される長方形は、原点（（Ｓ１，Ｓ２）＝（０，０））を中心として、画像Ｒを撮像するのに必要な撮像素子の大きさを示している。この長方形は、撮像部によって撮像される画像に外接する４角形であって、Ｂ’、Ｃ’、Ｅ’、Ｆ’を含み、原点を中心とする長方形であり、その面積は０．４９３（＝０．６９３×０．７１２）ｍｍ^２である。

図２８及び図２９には、上記具体例１について、算出された撮像画像におけるＢ’、Ｃ’、Ｅ’、Ｆ’、Ｊ’の座標値が示されている。Ｊ’は測距部１３の光軸上にあるため、撮像素子１３２ａの受光面の中心である。そこで、Ｊ’の座標値を、（Ｓ０，Ｓ１，Ｓ２）＝（０，０，０）とする。

ここでは、∠ＪＯＢ＝∠ＪＯＣであり、Ｂ’とＣ’はＳ１方向に関して対称な位置にある。Ｓ２方向に関する座標値の絶対値の最大値は０．６４５であり、Ｓ１方向に関する座標値の絶対値の最大値は０．４７４である。図２８において破線で示される長方形は、原点（（Ｓ１，Ｓ２）＝（０，０））を中心として、画像Ｒを撮像するために必要な撮像素子の大きさを示している。この長方形は、撮像部によって撮像される画像に外接する４角形であって、Ｂ’、Ｃ’、Ｅ’、Ｆ’を含み、原点を中心とする長方形であり、その面積は０．３０６（＝０．６４５×０．４７４）ｍｍ^２である。

この具体例１における長方形は、上述した比較例における長方形よりも小さく、面積比で６２％である。すなわち、測距部１３の光軸が投影面と交わる位置を、画像Ｒの中心に対して、測距部１３の設置位置と同じ側にあるようにすることで、撮像光学系の画角を小さくできるだけでなく、より小さな撮像素子を使用することができる。

この場合、撮像部１３２は、長方形の中心が撮像素子の中心と一致するように、測距部１３の光軸が投影面と交わる位置が設定される。

ところで、図２８における画像Ｒを撮像するために必要な撮像素子では、Ｓ２方向において、Ｂ’、Ｃ’より＋方向の部分には撮像画像がなく、無駄な部分となっている。そこで、図３０に示されるように、Ｊ’を中心とせず、Ｂ’、Ｃ’が長方形の辺上に位置するようにしても良い。この場合、該長方形の面積は０．２７２（＝０．５７４×０．４７４）ｍｍ^２であり、比較例における長方形に比べ、面積比で５５％小さくなっている。

この場合、撮像部１３２では、長方形の中心が撮像素子の中心と一致するように、測距部１３の光軸に対する撮像素子の位置が設定される。

図３１及び図３２には、上記具体例２について、算出された撮像画像におけるＢ’、Ｃ’、Ｅ’、Ｆ’、Ｊ’の座標値が示されている。Ｊ’は測距部１３の光軸上にあるため、撮像素子１３２ａの受光面の中心である。そこで、Ｊ’の座標値を、（Ｓ０，Ｓ１，Ｓ２）＝（０，０，０）とする。

Ｂ’とＣ’はＳ１方向に関して対称な位置にあり、Ｂ’及びＣ’とＥ’はＳ２方向に関して対称な位置にある。図３１において破線で示される長方形は、原点（（Ｓ１，Ｓ２）＝（０，０））を中心として、画像Ｒを撮像するために必要な撮像素子の大きさを示している。この場合、撮像素子に無駄な部分がない。この長方形は、撮像部によって撮像される画像に外接する４角形であって、Ｂ’、Ｃ’、Ｅ’、Ｆ’を含み、原点を中心とする長方形であり、その面積は０．２７９（＝０．５７１×０．４８８）ｍｍ^２である。

この具体例２における長方形は、上述した比較例における長方形よりも小さく、面積比で５７％である。

このように，撮像画像に外接する長方形の中心が、撮像素子の中心近傍となるように、測距部１３の光軸が投影面と交わる位置を設定することができる。

以上の説明から明らかなように、本実施形態に係るプロジェクタ装置１０では、投射部１１によって、本発明のプロジェクタ装置における投影部が構成され、２つの測距部（１３、１４）と処理部１５とによって、本発明の入力操作検出装置が構成されている。

また、測距部１３によって、本発明の入力操作検出装置における第１の撮像部が構成され、測距部１４によって、本発明の入力操作検出装置における第２の撮像部が構成されている。そして、画像Ｒが第１の画像に対応し、画像Ｌが第２の画像に対応している。

以上説明したように、本実施形態に係るプロジェクタ装置１０は、投射部１１、２つの測距部（１３、１４）、処理部１５などを有している。投影画像は、投影画像の中心を通りＺ軸に平行な仮想線で、画像Ｒと画像Ｌに２分割される。

投射部１１は、処理部１５の指示に基づいて、スクリーン３００に画像を投影する。測距部１３は、画像Ｒに向けて検出用の光（検出用光）を射出する光射出部１３１、画像Ｒを撮像する撮像部１３２、及び撮像部１３２の撮像結果からデプスマップを求める演算部１３３を有している。測距部１４は、画像Ｌに向けて検出用の光（検出用光）を射出する光射出部１４１、画像Ｌを撮像する撮像部１４２、及び撮像部１４２の撮像結果からデプスマップを求める演算部１４３を有している。各撮像部は、撮像素子と撮像光学系を有している。処理部１５は、測距部１３からのデプスマップと測距部１４からのデプスマップとに基づいて、入力操作手段が示す入力操作情報を求める。

各測距部は、Ｚ軸方向及びＸ軸方向のいずれに関しても、測距部の配置位置と測距部の光軸が投影面と交わる位置とが、対応する画像の中心に対して同じ側にあるように設定されている。

この場合は、２つの測距部が投影画像に対して適切に配置されることとなり、入力操作手段の位置及び動きをスクリーンにおける画像が投影される全領域にわたって、高精度に検出することができる。そして、２つの測距部で投影画像の全領域をカバーしているため、１つの測距部で投影画像の全領域をカバーする場合と比べて、撮像光学系として画角の小さい撮像光学系を用いることができる。すなわち、撮像光学系を安価に構成することができる。そこで、２つの測距部（１３、１４）と処理部１５とによって構成される入力操作検出装置によると、検出精度を低下させることなく低価格化を図ることができる。

また、本実施形態では、入力操作情報検出処理において、差分距離が予め設定された値（例えば、３ｍｍ）以下であれば、指先が投影面に接触していると判断している。この場合は、各測距部での距離計測に誤差があっても、所望の入力操作を実行することができる。また、これにより、指先が投影面に接触していなくとも、投影面に近接していれば接触しているとみなすことができ、実用的である。

また、本実施形態では、２つの測距部が、投影画像の中心が含まれるＹＺ面に対して対称となるように配置されているため、２つの測距部を同じ構成とすることができる。そこで、プロジェクタ装置１０における組み付けが容易である。また、２つの測距部が近接しているため、２つの測距部を容易に一体化することができる。さらに、投射部１１がＸ軸方向に関して投影画像の中心と同じ位置に配置されているため、２つの測距部の投射部１１への取り付けが容易である。そして、プロジェクタ装置をコンパクトな構成とすることができる。

また、本実施形態では、各測距部がそれぞれ、光射出部を有している。そして、各光射出部は、光の射出方向が対応する撮像光学系の光軸に略一致するように配置されている。この場合は、光射出部を容易に適切に配置することができる。すなわち、各測距部を入力操作検出装置に適切な構成とすることができる。

そして、本実施形態に係るプロジェクタ装置１０は、２つの測距部（１３、１４）と処理部１５とによって構成される入力操作検出装置を備えているため、その結果として、所望の画像表示動作を精度良く行うとともに、低価格化を図ることができる。

また、本実施形態に係るプロジェクタシステム１００は、プロジェクタ装置１０を備えているため、その結果として、性能を維持しつつ低価格化を図ることができる。

なお、上記実施形態では、入力操作手段が操作者の指である場合について説明したが、これに限定されるものではなく、例えば、入力操作手段がペンや指し棒であっても良い。

また、上記実施形態において、プロジェクタ装置１０と画像管理装置３０とが一体化されていても良い。

また、上記実施形態において、不図示の取付部材を介して各測距部が筐体に対して取り外し可能な状態で外付けされていても良い（図３３参照）。この場合、各測距部で取得されたデプスマップは、ケーブル等を介して筐体内の処理部１５に通知される。また、この場合、各測距部は、筐体とは離れた位置に配置することもできる。

また、上記実施形態において、投射部１１と２つの測距部（１３、１４）とが１つの筐体内に収納されていても良い。この場合は、投射部１１と２つの測距部（１３、１４）との位置関係を容易に最適化することができる。

また、上記実施形態において、処理部１５での処理の少なくとも一部を画像管理装置３０で行っても良い。例えば、上記入力操作情報検知処理が画像管理装置３０で行われる場合、各測距部で取得されたデプスマップは、ケーブル等を介して、又は無線通信により、画像管理装置３０に通知される。

また、上記実施形態において、各測距部の光射出部は、ある構造化された光を射出しても良い（図３４参照）。なお、構造化された光とは、Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ法として知られている方法に適した光であって、例えば、ストライプ状の光やマトリックス状の光などがある。照射領域は当然ではあるが、投影画像より広範囲である。射出される光は近赤外光であるため、投影画像が見えにくくなる等の不都合はない。このとき、撮像部は、撮像対象物で反射されて変形した構造化された光を撮像する。そして、演算部は、光射出部から射出された光と、撮像部で撮像された光とを比較し、三角測量法に基づいてデプスマップを求める。これは、いわゆるパターン投影法と呼ばれている。

また、上記実施形態において、各測距部の光射出部は、所定の周波数で強度変調された光を射出しても良い（図３５参照）。照射領域は当然ではあるが、投影画像より広範囲である。射出される光は近赤外光であるため、投影画像が見えにくくなる等の不具合はない。このとき、撮像部は、撮像対象物で反射されて位相がずれた光を撮像する。そして、演算部は、光射出部から射出された光と、撮像部で撮像された光とを比較し、時間差もしくは位相差に基づいてデプスマップを求める。これは、いわゆるＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）法と呼ばれている。

また、上記実施形態において、各測距部の光射出部は、対象物にテクスチャを付与するため光を射出しても良い（図３６参照）。照射領域は当然ではあるが、投影画像より広範囲である。射出される光は近赤外光であるため、投影画像が見えにくくなる等の不具合はない。この場合、各測距部は、撮像対象物に投影されたテクスチャパターンを撮像する２つの撮像部を有している。そのため、それぞれの撮像部に対応して光軸は２つ存在する。そして、演算部は、２つの撮像部が撮像した画像間の視差に基づいてデプスマップを演算する。すなわち、演算部は、各画像に対してステレオ平行化と呼ばれる処理を行い、２つの光軸が平行であると仮定したときの画像を変換する。そのため、２つの光軸は平行でなくても良い。これは、いわゆるステレオ法と呼ばれている。なお、ステレオ平行化処理がなされた後の光軸は、Ｘ軸方向からみると重なっており（図３７参照）、上記実施形態における測距部の光軸に対応する。

また、上記実施形態では、プロジェクタ装置１０が載置台４００に載置されて使用される場合について説明したが、これに限定されるものではない。例えば、図３８に示されるように、プロジェクタ装置１０は、天井に吊り下げて使用されても良い。ここでは、プロジェクタ装置１０は、吊り下げ部材で天井に固定されている。

２つの測距部（１３、１４）と処理部１５とからなる入力操作検出装置は、電子黒板装置やデジタルサイネージ装置にも用いることができる。いずれについても、高コスト化を招くことなく、所望の画像表示動作を正しく行うことができる。

図３９には、電子黒板装置の一例が示されている。この電子黒板装置５００は、各種メニューやコマンド実行結果が表示される映写パネル及び座標入力ユニットを収納したパネル部５０１と、コントローラ及びプロジェクタユニットを収納した収納部と、パネル部５０１及び収納部を所定の高さで支持するスタンドと、コンピュータ、スキャナ、プリンタ、ビデオプレイヤ等を収納した機器収納部５０２と、から構成されている（特開２００２−２７８７００号公報参照）。入力操作検出装置は、機器収納部５０２内に収納されており、該機器収納部５０２を引き出すことにより、入力操作検出装置が出現する。そして、入力操作検出装置は、下方より映写パネルに投影された画像に対するユーザによる入力操作を検出する。コントローラと入力操作検出装置との間の通信は、ＵＳＢケーブルなどのケーブルを介した有線通信であっても良いし、無線通信であっても良い。

図４０には、デジタルサイネージ装置の一例が示されている。このデジタルサイネージ装置６００では、ガラス面が投影面となる。画像は、投影面の後方から、プロジェクタ本体によりリアプロジェクションされている。入力操作検出装置は、手すり上に設置されている。プロジェクタ本体と入力操作検出装置との間の通信は、ＵＳＢケーブルを介した有線通信である。これにより、デジタルサイネージ装置にインタラクティブ機能を持たせることができる。

このように、２つの測距部（１３、１４）と処理部１５とからなる入力操作検出装置は、インタラクティブ機能を有する装置や、インタラクティブ機能を付加したい装置に好適である。

１０…プロジェクタ装置、１１…投射部（投影部）、１３…測距部（第１の撮像部）、１４…測距部（第２の撮像部）、１５…処理部、３０…画像管理装置（制御装置）、１００…プロジェクタシステム、１３１…光射出部、１３２…撮像部、１３２ａ…撮像素子、１３２ｂ…撮像光学系、１３３…演算部、１４１…光射出部、１４２…撮像部、１４２ａ…撮像素子、１４２ｂ…撮像光学系、１４３…演算部、３００…スクリーン、４００……載置台、５００…電子黒板装置、６００…デジタルサイネージ装置。

特開２０１３−６１５５２号公報

Claims (15)

1. 画像に対するユーザの入力操作を検出するための入力操作検出装置であって、
   撮像光学系及び撮像素子を有する第１の撮像部と、
   撮像光学系及び撮像素子を有する第２の撮像部と、
   前記第１の撮像部の撮像情報と前記第２の撮像部の撮像情報とに基づいて、前記入力操作を検出する処理部とを備え、
   前記画像は第１の方向に関して第１の画像と第２の画像とに分割され、
   前記第１の撮像部は前記第１の画像を撮像し、前記第２の撮像部は前記第２の画像を撮像し、
   前記第１の撮像部の撮像光学系の光軸が前記画像と交わる位置は、前記第１の画像の中心に対して、前記第１の撮像部の設置位置と同じ側にあり、
   前記第２の撮像部の撮像光学系の光軸が前記画像と交わる位置は、前記第２の画像の中心に対して、前記第２の撮像部の設置位置と同じ側にある入力操作検出装置。
2. 前記第１及び第２の撮像部の撮像情報は、デプスマップを含むことを特徴とする請求項１に記載の入力操作検出装置。
3. 前記第１及び第２の撮像部は、撮像される画像に外接する４角形の中心が、前記撮像素子の中心と一致するように、前記撮像光学系の光軸が前記画像と交わる位置が設定されていることを特徴とする請求項１又は２に記載の入力操作検出装置。
4. 前記第１及び第２の撮像部は、撮像される画像に外接する４角形の中心が、前記撮像素子の中心と一致するように、前記撮像光学系の光軸に対する前記撮像素子の位置が設定されていることを特徴とする請求項１又は２に記載の入力操作検出装置。
5. 前記第１及び第２の撮像部は、前記第１の方向に直交する面であって、前記画像の中心が含まれる面の近傍に配置されていることを特徴とする請求項１〜４のいずれか一項に記載の入力操作検出装置。
6. 前記第１及び第２の撮像部はいずれも光射出部を有し、
   前記第１の撮像部の光射出部は、前記第１の撮像部の撮像光学系の光軸が前記画像と交わる位置に向けて光を射出し、
   前記第２の撮像部の光射出部は、前記第２の撮像部の撮像光学系の光軸が前記画像と交わる位置に向けて光を射出することを特徴とする請求項１〜５のいずれか一項に記載の入力操作検出装置。
7. 前記第１及び第２の撮像部の光射出部は、構造化された光を射出することを特徴とする請求項６に記載の入力操作検出装置。
8. 前記第１及び第２の撮像部の光射出部は、強度変調された光を射出することを特徴とする請求項６に記載の入力操作検出装置。
9. 前記第１及び第２の撮像部の光射出部は、対象物にテクスチャを付与する光を射出することを特徴とする請求項６に記載の入力操作検出装置。
10. 投影面に画像を投影する投影部と、
    前記投影面に投影された画像に対するユーザの入力操作を検出するための請求項１〜９のいずれか一項に記載の入力操作検出装置とを備えるプロジェクタ装置。
11. 前記入力操作検出装置は、前記投影部が収納されている筐体に対して取り外し可能であることを特徴とする請求項１０に記載のプロジェクタ装置。
12. 前記入力操作検出装置は、前記投影部が収納されている筐体内に内蔵されていることを特徴とする請求項１０に記載のプロジェクタ装置。
13. 請求項１〜９のいずれか一項に記載の入力操作検出装置を備える電子黒板装置。
14. 請求項１〜９のいずれか一項に記載の入力操作検出装置を備えるデジタルサイネージ装置。
15. 請求項１０〜１２のいずれか一項に記載のプロジェクタ装置と、
    前記プロジェクタ装置の入力操作検出装置で得られた入力操作に基づいて、画像制御を行う制御装置とを備えるプロジェクタシステム。

Images