JP2021128661A - 操作検出方法、操作検出装置及び表示システム - Google Patents

Abstract

【課題】ステレオカメラを用いて、指示体による操作の検出精度を向上させる操作検出方法、操作検出装置及び表示システムを提供する。
【解決手段】プロジェクター１００において、操作検出装置２００は、左矩形画像と右矩形画像とに撮像された指示体８０の画像に基づいて、指示体８０がタッチホールド状態にあるか否かを判定するタッチ判定部１６４と、タッチホールド状態であると判定したときの左撮像画像である左基準画像と左矩形画像に撮像された指示体８０の位置の差と、タッチホールド状態であると判定したときの右撮像画像である右基準画像と右矩形画像に撮像された指示体８０の位置の差とを算出し、左基準画像と左矩形画像に撮像された指示体８０の位置の差と、右基準画像と右矩形画像に撮像された指示体８０の位置の差とに基づいて、指示体８０が操作面から離れたか否かを判定するアンタッチ判定部１６６とを備える。
【選択図】図３

Description

本発明は、操作検出方法、操作検出装置及び表示システムに関する。

従来、指示体により指示された操作面の位置を検出する装置が知られている。例えば、
特許文献１に記載の装置は、表示面に表示された画像に向けてパターン光を投射する光投
射部と、画像が撮像範囲に入る撮像部と、入力操作を検出する処理部と、を備える。処理
部は、パターン光が投射された表示面を撮像部が撮像した撮像画像と、パターン光が投射
された表示面であって、指示入力操作の入力操作が行われた表示面を撮像部が撮像した撮
像画像とに基づいて入力操作を検出する。

特開２０１６−２１８８９３号公報

しかしながら、１つの撮像部で指示体を検出する場合、指示体と操作面との距離の認識
が難しく、操作面に対する操作であるか否かの判定が難しい。このため、ステレオカメラ
を用いて、指示体による操作の検出精度を向上できる方法の実現が望まれていた。

上記課題を解決する一態様は、操作面に対する指示体の操作を検出する操作検出方法で
あって、異なる撮像視点から前記操作面を撮像した第１撮像画像及び第２撮像画像を、前
記操作面にキャリブレーションされた画像に変換する変換ステップと、変換された前記第
１撮像画像と前記第２撮像画像とに撮像された前記指示体の画像に基づいて、前記指示体
が前記操作面に接触し、静止した状態にあるか否かを判定する第１判定ステップと、前記
操作面に接触し、静止した状態にあると判定したときの第１撮像画像を第１基準画像とし
て選択し、選択した前記第１基準画像と第１撮像画像とに撮像された前記指示体の位置の
差を算出する第１算出ステップと、前記操作面に接触し、静止した状態にあると判定した
ときの第２撮像画像を第２基準画像として選択し、選択した前記第２基準画像と第２撮像
画像とに撮像された前記指示体の位置の差を算出する第２算出ステップと、前記第１算出
ステップにより算出した前記位置の差と、前記第２算出ステップにより算出した前記位置
の差とに基づいて、前記指示体が前記操作面から離れたか否かを判定する第２判定ステッ
プと、を有する操作検出方法である。

上記操作検出方法において、前記第１算出ステップは、順次入力される複数の第１撮像
画像と前記第１基準画像とに撮像された前記指示体の位置の差をそれぞれ算出し、算出し
た複数の前記指示体の位置の差の平均値を第１平均値として算出し、前記第２算出ステッ
プは、順次入力される複数の第２撮像画像と前記第２基準画像とに撮像された前記指示体
の位置の差をそれぞれ算出し、算出した複数の前記指示体の位置の差の平均値を第２平均
値として算出し、前記第２判定ステップは、前記第１平均値と前記第２平均値との差がし
きい値よりも大きい場合に、前記指示体が前記操作面から離れたと判定する構成であって
もよい。

上記操作検出方法において、前記第１判定ステップは、第１撮像画像に撮像された前記
指示体の画像と、第２撮像画像に撮像された前記指示体の画像とに生じる視差に基づき、
前記指示体の前記操作面との接触を判定する構成であってもよい。

上記操作検出方法において、前記第１判定ステップは、前記第１基準画像及び前記第２
基準画像に撮像された前記指示体の画像と、前記第１基準画像及び前記第２基準画像より
も前に撮像された第１撮像画像及び第２撮像画像に撮像された前記指示体の画像とを比較
して、前記指示体が静止した状態にあるか否かを判定する構成であってもよい。

上記課題を解決する別の一態様は、異なる撮像視点から操作面を撮像した第１撮像画像
及び第２撮像画像を、前記操作面にキャリブレーションされた画像に変換する変換部と、
変換された前記第１撮像画像と前記第２撮像画像とに撮像された指示体の画像に基づいて
、前記指示体が前記操作面に接触し、静止した状態にあるか否かを判定する第１判定部と
、前記操作面に接触し、静止した状態にあると判定したときの第１撮像画像を第１基準画
像として選択し、選択した前記第１基準画像と第１撮像画像とに撮像された前記指示体の
位置の差を算出する第１算出部と、前記操作面に接触し、静止した状態にあると判定した
ときの第２撮像画像を第２基準画像として選択し、選択した前記第２基準画像と第２撮像
画像とに撮像された前記指示体の位置の差を算出する第２算出部と、前記第１算出部によ
り算出した前記位置の差と、前記第２算出部により算出した前記位置の差とに基づいて、
前記指示体が前記操作面から離れたか否かを判定する第２判定部と、を備える操作検出装
置である。

上記課題を解決する別の一態様は、撮像視点が異なる第１撮像部及び第２撮像部を備え
る撮像装置と、前記第１撮像部により撮像された第１撮像画像、及び第２撮像部により撮
像された第２撮像画像を、前記操作面にキャリブレーションされた画像に変換する変換部
と、変換された前記第１撮像画像と前記第２撮像画像とに撮像された指示体の画像に基づ
いて、前記指示体が前記操作面に接触し、静止した状態にあるか否かを判定する第１判定
部と、前記操作面に接触し、静止した状態にあると判定したときの第１撮像画像を第１基
準画像として選択し、選択した前記第１基準画像と第１撮像画像とに撮像された前記指示
体の位置の差を算出する第１算出部と、前記操作面に接触し、静止した状態にあると判定
したときの第２撮像画像を第２基準画像として選択し、選択した前記第２基準画像と第２
撮像画像とに撮像された前記指示体の位置の差を算出する第２算出部と、前記第１算出部
により算出した前記位置の差と、前記第２算出部により算出した前記位置の差とに基づい
て、前記指示体が前記操作面から離れたか否かを判定する第２判定部と、前記第１判定部
及び前記第２判定部の判定結果に基づいて、前記操作面に対する前記指示体の操作を検出
する検出部と、前記検出部により検出された前記指示体の操作に対応した画像を前記操作
面に表示させる表示部と、を備える表示装置と、を備える表示システムである。

インタラクティブプロジェクションシステムの斜視図。 プロジェクターの設置状態を示す側面図。 プロジェクターの構成を示すブロック図。 左矩形画像及び右矩形画像を示す図。 全体フローを示すフローチャート。 制御部の動作を示すフローチャート。 キャリブレーション画像の一例を示す図。 左抽出画像及び右抽出画像を矩形に変換する変換方法を説明する説明図。 指先領域の検出処理を示すフローチャート。 差分画像を示す図。 正領域及び負領域を除去した状態を示す図。 モルフォロジー変換後の差分画像を示す図。 変化領域に図形を重畳した状態を示す図。 差分画像の外周に接する変化領域の画像を除去した状態を示す図。 変化領域に図形を重畳した状態を示す図。 差分画像の外周に接する変化領域の画像を除去した状態を示す図。 第１変化領域を示す図。 差分画像から、指先領域を中心に特定の領域を切り出した図。 指の先端位置を特定する処理の詳細を示すフローチャート。 放射状に描画された線分を示す図である。 輪郭線の長さが最小の区間と、検出範囲とを示す図。 指先領域の先端位置を示す図。 図６に示すステップＳ１３の詳細を示すフローチャート。

以下、本発明の実施形態について図面を参照しながら説明する。

Ａ−１．表示システムの構成
図１は、表示システムの一例であるインタラクティブプロジェクションシステム１の斜
視図である。
インタラクティブプロジェクションシステム１は、プロジェクター１００と、プロジェ
クター１００が画像を投射する投射面１０とを備える。以下では、投射面１０の法線方向
であって投射面１０の前方をＺ軸方向、投射面１０に沿う鉛直上方向をＹ軸方向、Ｚ軸方
向とＹ軸方向に垂直な方向をＸ軸方向と仮定して説明する。投射面１０は、Ｚ＝０のＸＹ
面に対応する。投射面１０は、表示面の一例である。また、プロジェクター１００は、表
示装置の一例である。

プロジェクター１００は、画像データに対応した画像光３０を生成し、生成した画像光
３０を投射面１０に投射する。また、プロジェクター１００は、インタラクティブ機能を
備える。インタラクティブ機能とは、投射面１０に対する指示体８０の操作位置を検出し
、検出した操作位置に基づいて、指示体８０の位置や軌跡に対応した画像を表示させたり
、表示させた画像に変更を加えたりする機能である。

プロジェクター１００は、画像光３０を投射口から投射する投射部１１０と、投射面１
０を撮像する第１カメラ１２１及び第２カメラ１２３と、指示体８０の検出に用いる検出
光２０を照射する検出光照射部１３０とを備える。第１カメラ１２１は、本発明の第１撮
像部に対応し、第２カメラ１２３は、本発明の第２撮像部に対応する。

本実施形態では、プロジェクター１００が画像光３０を投射する投射面１０が、平面で
構成されるスクリーンである場合について説明するが、投射面１０は壁面等に固定された
平面を利用してもよい。また、投射面１０は、吊り上げ式や立ち上げ式等の幕状のスクリ
ーンであってもよい。また、室内の壁面や、ホワイトボード、黒板等を投射面１０として
利用することも可能である。また、投射面１０の前面は、指示体８０を用いた操作の入力
に使用される操作面１３として利用される。

図２は、インタラクティブプロジェクションシステム１の側面図である。
本実施形態のプロジェクター１００は、壁面に固定されて投射面１０の前方かつ上方に
設置され、斜め下方の投射面１０に向けて画像光３０を投射する。プロジェクター１００
によって画像光３０が投射される投射面１０の領域を投射領域１５という。また、プロジ
ェクター１００は、検出光２０を、操作面１３に対応する方向に照射する。検出光２０は
、指示体８０の検出に用いられる光であり、本実施形態では赤外光が用いられる。赤外光
を用いることにより、可視光を主とする画像光３０の影響を受けずに指示体８０を検出で
き、また、画像光３０による表示にも影響を与えない。検出光２０は、投射面１０の少な
くとも一部を含む範囲に照射される。本実施形態では、投射面１０の全体をカバーする範
囲に投射される。操作面１３に対応する方向とは、指示体８０の操作を撮像部１２０によ
り検出可能な方向である。より具体的には、操作面１３から所定距離以内に近づいた指示
体８０で反射した反射光を、撮像部１２０が撮像可能な方向である。

第１カメラ１２１及び第２カメラ１２３は、プロジェクター１００の異なる位置に配置
される。第１カメラ１２１及び第２カメラ１２３は、異なる撮像視点から投射面１０を撮
像することによりステレオカメラとして機能する。本実施形態では、第１カメラ１２１は
、投射面１０に対応してプロジェクター１００の投射部１１０の左側に配置され、第２カ
メラ１２３は、投射面１０に対応してプロジェクター１００の投射部１１０の右側に配置
される。第１カメラ１２１は、左カメラであり、第１カメラ１２１の撮像画像を左撮像画
像と称する。また、第２カメラ１２３は、右カメラであり、第２カメラ１２３の撮像画像
を、右撮像画像と称する。左撮像画像は、本発明の第１撮像画像に相当し、右撮像画像は
、本発明の第２撮像画像に相当する。

プロジェクター１００は、第１カメラ１２１及び第２カメラ１２３により投射面１０を
撮像して、検出光２０が指示体８０で反射した反射光を検出する。インタラクティブプロ
ジェクションシステム１では、１つ又は複数の非発光の指示体８０を利用可能である。指
示体８０には、指やペンなどの非発光の物体を使用可能である。非発光の指示体８０は、
赤外光を反射するものであれば特に制限されず、本実施形態では使用者の手指を指示体８
０として用いる例について説明する。

第１カメラ１２１及び第２カメラ１２３は、それぞれ投射面１０の全体を撮影可能に設
定され、投射面１０を背景とした指示体８０の画像をそれぞれ撮影する機能を有する。す
なわち、第１カメラ１２１と第２カメラ１２３は、検出光照射部１３０から照射された検
出光２０のうち、投射面１０と指示体８０で反射された光を受光することによって指示体
８０を含む画像を作成する。第１カメラ１２１と第２カメラ１２３で撮影された２つの画
像を用いると、三角測量等によって指示体８０の３次元位置を求めることが可能である。
なお、カメラの台数は３以上でもよい。

Ａ−２．プロジェクター１００の構成
図３は、プロジェクター１００の構成を示すブロック図である。
プロジェクター１００は、投射部１１０、撮像部１２０、検出光照射部１３０、操作受
付部１３５、入力インターフェース１４１、画像処理部１４３、フレームメモリー１４５
、位置検出部１５０及び制御部１７０を備える。位置検出部１５０及び制御部１７０は、
操作検出装置２００として動作する。

投射部１１０は、光源１１１、光変調装置１１３及び光学ユニット１１５を備える。投
射部１１０は、本発明の表示部に相当する。

光源１１１には、ハロゲンランプ、キセノンランプ、超高圧水銀ランプ等のランプ光源
が使用される。また、光源１１１として、ＬＥＤ（Light Emitting Diode）やレーザー光
源等の固体光源を用いてもよい。

光変調装置１１３は、光源１１１が発する光を変調して画像光３０を生成する光変調素
子を備える。光変調素子には、例えば、透過型の液晶ライトバルブや、反射型の液晶ライ
トバルブ、デジタルミラーデバイス等を用いることができる。

光学ユニット１１５は、レンズやミラー等の光学素子を備え、光変調装置１１３により
生成された画像光３０を拡大して投射面１０に投射する。画像光３０が投射面１０で結像
した画像が使用者に視認される。

撮像部１２０は、第１カメラ１２１及び第２カメラ１２３を備える。
第１カメラ１２１及び第２カメラ１２３は、レンズ等の光学系にて集光された光を電気
信号に変換する撮像素子であるＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complemen
tary Metal Oxide Semiconductor）等を備える。第１カメラ１２１及び第２カメラ１２３
は、検出光２０が指示体８０で反射した反射光を撮像可能に配置される。また、第１カメ
ラ１２１及び第２カメラ１２３には、検出光２０の反射光を受光するための赤外線フィル
ターが取り付けられる。

第１カメラ１２１及び第２カメラ１２３は、操作面１３を含む範囲を撮像する。第１カ
メラ１２１及び第２カメラ１２３は、所定のフレームレートで操作面１３を含む範囲を撮
像し、生成した撮像画像を位置検出部１５０に出力する。使用者が指示体８０を投射面１
０に近づけると、撮像部１２０の撮像画像には、検出光照射部１３０が照射する検出光２
０が指示体８０で反射した反射光が撮像される。

検出光照射部１３０は、赤外光を発する光源として、ＬＤ（Laser Diode）又はＬＥＤ
を有する。また、検出光照射部１３０は、光源が発する赤外光を投射面１０に向けて拡散
させる光学部品を備えてもよい。

操作受付部１３５は、不図示のリモコンにより送信される赤外線信号を受光する。操作
受付部１３５は、リモコンから受光した赤外線信号に対応した操作信号を制御部１７０に
出力する。操作信号は、操作されたリモコンのスイッチに対応した信号である。

入力インターフェース１４１は、外部装置との接続インターフェースである。入力イン
ターフェース１４１は、ケーブルを接続するコネクター、及び信号処理を行うインターフ
ェース回路を備える。入力インターフェース１４１は、接続された外部装置から供給され
た画像データを受信する。入力インターフェース１４１は、受信した画像データを画像処
理部１４３に出力する。

画像処理部１４３は、入力された画像データをフレームメモリー１４５に展開する。フ
レームメモリー１４５は、例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Me
mory）により構成される。

画像処理部１４３は、フレームメモリー１４５に展開した画像データに対して画像処理
を行う。画像処理部１４３が行う画像処理には、例えば、解像度変換処理又はリサイズ処
理、歪曲収差の補正、形状補正処理、デジタルズーム処理、画像の色合いや輝度の調整等
が含まれる。画像処理部１４３は、制御部１７０により指定された処理を実行し、必要に
応じて、制御部１７０から入力されるパラメーターを使用して処理を行う。また、画像処
理部１４３は、上記のうち複数の画像処理を組み合わせて実行することも勿論可能である
。画像処理部１４３は、フレームメモリー１４５から画像データを読み出し、読み出した
画像データを投射部１１０に出力する。

画像処理部１４３及びフレームメモリー１４５は、例えば、集積回路により構成される
。集積回路には、ＬＳＩ、ＡＳＩＣ（Application Specific Integrated Circuit）、Ｐ
ＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field-Programmable Gate Array）、Ｓ
ｏＣ（System-on-a-chip）等が含まれる。また、集積回路の構成の一部にアナログ回路が
含まれていてもよく、制御部１７０と集積回路とが組み合わされた構成であってもよい。

位置検出部１５０は、第１記憶部１５１と、画像処理プロセッサー１６０とを備える。
第１記憶部１５１は、例えば、揮発性、不揮発性、又は揮発性及び不揮発性の半導体記
憶装置により構成される。第１記憶部１５１は、画像処理プロセッサー１６０が実行する
制御プログラム１５５を記憶する。また、第１記憶部１５１は、後述するキャリブレーシ
ョン画像２０１やキャリブレーションデータを記憶する。

画像処理プロセッサー１６０は、例えば、ＧＰＵ（Graphics Processing Unit）等のリ
アルタイムなデジタル画像処理に用いられる専用のプロセッサーにより構成される。また
、画像処理プロセッサー１６０は、例えば、ＤＳＰ（Digital Signal Processor）や、集
積回路、その他のデジタル回路により構成してもよい。集積回路には、例えば、ＬＳＩ、
ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ、ＳｏＣ等が含まれる。

位置検出部１５０は、機能ブロックとして、キャリブレーションデータ生成部１６１、
変換部１６２、先端検出部１６３、タッチ判定部１６４、マッチング処理部１６５及びア
ンタッチ判定部１６６を備える。これらの機能ブロックは、画像処理プロセッサー１６０
が制御プログラムに記述された命令セットを実行して、データの演算や制御を行うことに
より実現される機能をブロックにより便宜的に示したものである。

位置検出部１５０には、第１カメラ１２１によって撮像された左撮像画像と、第２カメ
ラ１２３によって撮像された右撮像画像とが入力される。図４に、左撮像画像及び右撮像
画像の一例を示す。図４に示す左撮像画像及び右撮像画像は、指示体８０である使用者の
指を撮像した画像である。より詳細には、図４は、第１カメラ１２１及び第２カメラ１２
３が、同じタイミングで、操作面１３を背景として、指、手及び腕を含む範囲をそれぞれ
撮像した画像である。図４には、左カメラである第１カメラ１２１の左撮像画像に対応し
た左矩形画像２３５と、右カメラである第２カメラ１２３の右撮像画像に対応した右矩形
画像２３７とが示されている。左矩形画像２３５は、左撮像画像を、キャリブレーション
データ生成部１６１が生成したキャリブレーションデータを用いて変形した画像である。
右矩形画像２３７は、右撮像画像を、キャリブレーションデータを用いて変形した画像で
ある。左矩形画像２３５及び右矩形画像２３７の詳細については後述する。

キャリブレーションデータ生成部１６１は、キャリブレーションデータを生成する。キ
ャリブレーションデータには、第１範囲情報、第２範囲情報、第１画像変換係数及び第２
画像変換係数が含まれる。

第１範囲情報は、左撮像画像における投射領域１５の範囲を示す情報である。第２範囲
情報は、右撮像画像における投射領域１５の範囲を示す情報である。第１画像変換係数は
、第１範囲情報に基づいて左撮像画像から抽出した画像の形状を矩形に変換する係数であ
る。第２画像変換係数は、第２範囲情報に基づいて右撮像画像から抽出した画像の形状を
矩形に変換する係数である。キャリブレーションデータの生成方法の詳細については、後
述する。

変換部１６２は、本発明の変換ステップに対応した動作を実行する。変換部１６２は、
キャリブレーションデータ生成部１６１が生成したキャリブレーションデータを用いて、
左撮像画像及び右撮像画像を、操作面１３にキャリブレーションされた撮像画像である左
矩形画像２３５及び右矩形画像２３７に変換する。

操作面１３にキャリブレーションされた撮像画像とは、操作面１３における視差が０と
なるように調整された画像を意味する。先端検出部１６３は、第１範囲情報を用いて、左
撮像画像から投射領域１５に対応する画像を切り出し、切り出した画像を、第１画像変換
係数を用いて左矩形画像２３５に変換する。また、先端検出部１６３は、第２範囲情報を
用いて、右撮像画像から投射領域１５に対応する画像を切り出し、切り出した画像を、第
２画像変換係数を用いて右矩形画像２３７に変換する。左矩形画像２３５と右矩形画像２
３７とは、矩形の画像であって、操作面１３の位置であるＺ＝０の位置で視差が０となる
ように調整された画像である。また、左矩形画像２３５と右矩形画像２３７とにおける視
差は、操作面１３の前方、すなわちＺ軸の正方向に離れた物体ほど、視差が大きくなる。
左矩形画像２３５と右矩形画像２３７との操作面１３での視差が０に調整される理由につ
いては後述する。

先端検出部１６３は、変換部１６２により変換された左抽出画像２３１と、右抽出画像
２３３とに基づいて差分画像２４０を生成する。本実施形態の先端検出部１６３は、左矩
形画像２３５から右矩形画像２３７を減算することで差分画像２４０を生成するが、右矩
形画像２３７から左矩形画像２３５を減算して差分画像２４０を生成してもよい。

次に、先端検出部１６３は、左撮像画像と右撮像画像との視差量が、予め設定された範
囲内の領域を変化領域２５０として抽出する。前述したように左矩形画像２３５及び右矩
形画像２３７は操作面１３での視差が０になるように調整された画像であって、差分画像
２４０は、左矩形画像２３５から右矩形画像２３７を減算して生成される。このため、視
差が０となる操作面１３に接している物体は、差分画像２４０に写らない。例えば、指示
体８０の先端が操作面１３に接触している場合、この指示体８０の先端は差分画像２４０
には写らない。

さらに、先端検出部１６３は、変化領域２５０から指先が撮像された領域である指先領
域２７０を抽出する。ここでは、先端検出部１６３は、変化領域２５０から腕等の画像を
除去して指先に対応する領域である指先領域２７０を抽出する。

また、先端検出部１６３は、指示体８０の形状に基づいて、指示体８０である指の先端
位置を検出する。先端検出部１６３が実行する処理の詳細については、図１０〜図２２を
参照しながら後述する。

タッチ判定部１６４は、本発明の第１判定部に相当し、第１判定ステップに対応した動
作を実行する。タッチ判定部１６４は、左撮像画像と右撮像画像とに撮像された指示体８
０の画像に基づいて、タッチホールド状態を検出する。タッチホールド状態とは、指示体
８０が操作面１３に接触し、かつ操作面１３に接触した指示体８０が静止した状態である
。使用者は、指示体８０により操作を行う場合、まず、操作面１３に指示体８０を接触さ
せるため、指示体８０を操作面１３の方向へ移動させる。この方向を第１の方向という。
指示体８０を操作面１３に接触させると、使用者は、次に、指示体８０を操作面１３に接
触させたまま、指示体８０を操作面１３上で動かす。このとき指示体８０が動く方向を第
２の方向という。第１の方向から第２の方向へ移動方向を切り替えるとき、すなわち、指
示体８０が操作面１３に接触した瞬間、使用者は指示体８０の動きをほんの短い間、停止
させる。この指示体８０が動きを停止させた状態がタッチホールド状態である。この期間
は、例えば、第１カメラ１２１や第２カメラ１２３のフレームレートが６０ｆｐｓである
場合、例えば、２〜５フレーム等の短い期間に相当する。

まず、タッチ判定部１６４は、先端検出部１６３が検出する指示体８０の先端位置２７
５に基づいて、指示体８０が操作面１３に接触したか否かを判定する。例えば、タッチ判
定部１６４は、先端検出部１６３が検出する先端位置２７５の変化に基づいて指示体８０
が操作面１３に接触したか否かを判定することができる。上述のように、指示体８０が操
作面１３に接触した瞬間は、先端位置２７５に変化が生じなくなる。タッチ判定部１６４
は、先端検出部１６３が検出する指示体８０の先端位置２７５に変化が検出されなくなっ
た場合に、指示体８０が操作面１３に接触したと判定する。

また、タッチ判定部１６４は、左矩形画像２３５から検出した指示体８０の先端位置２
７５と、右矩形画像２３７から検出した指示体８０の先端位置２７５とに生じる視差量の
変化に基づいて、指示体８０の先端が操作面１３に接触したか否かを判定してもよい。上
述したように左矩形画像２３５及び右矩形画像２３７に撮像された物体は、Ｚ＝０の操作
面１３の位置で視差が０となり、操作面１３の前方、すなわちＺ軸の正方向に離れるほど
、視差が大きくなる。従って、指示体８０を操作面１３に徐々に近づけていった場合、左
矩形画像２３５から検出した指示体８０の先端位置２７５と、右矩形画像２３７から検出
した指示体８０の先端位置２７５とに生じる視差量が徐々に小さくなり、最後は視差量が
０になる。タッチ判定部１６４は、この視差量の変化に基づき、指示体８０の先端位置２
７５が操作面１３に接触したか否かを判定する。

次に、タッチ判定部１６４は、指示体８０の先端が操作面１３に接触したと判定した場
合、操作面１３に接触した指示体８０が静止状態にあるか否かを判定する。タッチ判定部
１６４は、指示体８０の先端が操作面１３に接触していると判定した左矩形画像２３５及
び右矩形画像２３７よりも前に撮像された左撮像画像及び右撮像画像を対象として、指示
体８０の静止状態が所定フレーム連続しているか否かを判定する。また、タッチ判定部１
６４は、先端検出部１６３により検出された指示体８０の先端位置２７５に変化があるか
否かを判定して、指示体８０の静止状態が所定フレーム連続しているか否かを判定する。

マッチング処理部１６５は、指示体８０が操作面１３に接触したとタッチ判定部１６４
が判定したときの左矩形画像２３５及び右矩形画像２３７を取得する。取得した左矩形画
像２３５を左基準画像Ｌ０といい、取得した右矩形画像２３７を右基準画像Ｒ０という。
左基準画像Ｌ０は、本発明の第１基準画像に相当し、右基準画像Ｒ０は、本発明の第２基
準画像に相当する。マッチング処理部１６５は、左基準画像Ｌ０及び右基準画像Ｒ０から
指示体８０の先端を中心とする所定範囲の画像を切り出す。左基準画像Ｌ０から切り出し
た画像を左テンプレート画像といい、右基準画像Ｒ０から切り出した画像を右テンプレー
ト画像という。

マッチング処理部１６５には、第１カメラ１２１及び第２カメラ１２３により撮像され
た左撮像画像及び右撮像画像を、キャリブレーションデータにより矩形に変形した左矩形
画像２３５及び右矩形画像２３７が順次入力される。
マッチング処理部１６５は、順次入力される左矩形画像２３５及び右矩形画像２３７に
対して、左テンプレート画像及び右テンプレート画像をテンプレートとするテンプレート
マッチングを行う。マッチング処理部１６５が処理する左矩形画像２３５を左矩形画像Ｌ
ｔ０と表記し、マッチング処理部１６５が処理する右矩形画像２３７を右矩形画像Ｒｔ０
と表記する。

マッチング処理部１６５は、入力された左矩形画像Ｌｔ０と、左テンプレート画像との
テンプレートマッチングを行い、左テンプレート画像に一致する左矩形画像Ｌｔ０の画像
範囲を検出する。マッチング処理部１６５は、検出した画像範囲から指示体８０の先端位
置２７５を検出する。マッチング処理部１６５は、左基準画像Ｌ０の先端位置２７５に対
応する左矩形画像Ｌｔ０の位置を先端位置として検出する。左矩形画像Ｌｔ０における指
示体８０の先端位置２７５を左先端位置２７５Ｌと表記する。
同様に、マッチング処理部１６５は、入力された右矩形画像Ｒｔ０と、右テンプレート
画像とのテンプレートマッチングを行い、右テンプレート画像に一致する右矩形画像Ｒｔ
０の画像範囲を検出する。マッチング処理部１６５は、検出した画像範囲から指示体８０
の先端位置２７５を検出する。マッチング処理部１６５は、右基準画像Ｒ０の先端位置２
７５に対応する右矩形画像Ｒｔ０の位置を先端位置として検出する。右矩形画像Ｒｔ０に
おける指示体８０の先端位置２７５を右先端位置２７５Ｒと表記する。

アンタッチ判定部１６６は、本発明の第１算出部、第２算出部及び第２判定部に相当し
、第１算出ステップ、第２算出ステップ及び第２判定ステップに対応した動作を実行する
。アンタッチ判定部１６６には、マッチング処理部１６５から左矩形画像Ｌｔ０と、この
左矩形画像Ｌｔ０に撮像された指示体８０の左先端位置２７５Ｌを示す情報とが入力され
る。また、アンタッチ判定部１６６には、マッチング処理部１６５から右矩形画像Ｒｔ０
と、この右矩形画像Ｒｔ０に撮像された指示体８０の右先端位置２７５Ｒを示す情報とが
入力される。

アンタッチ判定部１６６は、第１算出ステップに対応する動作として、左基準画像Ｌ０
の左先端位置２７５Ｌと、入力された左矩形画像Ｌｔ０の左先端位置２７５Ｌとの位置の
差を算出する。また、アンタッチ判定部１６６は、複数の左矩形画像２３５を対象として
、左基準画像Ｌ０の左先端位置２７５Ｌとの位置の差を算出する。本実施形態では、例え
ば、左矩形画像Ｌｔ０、左矩形画像Ｌｔ＋１及び左矩形画像Ｌｔ＋２の３つの画像を対象
として処理を行う場合について説明するが、アンタッチ判定部１６６が処理を行う左撮像
画像の数は任意である。左矩形画像Ｌｔ＋１は、左矩形画像Ｌｔ０の次に撮像された画像
であり、左矩形画像Ｌｔ＋２は、左矩形画像Ｌｔ＋１の次に撮像された画像である。

同様に、アンタッチ判定部１６６は、第２算出ステップに対応する動作として、右基準
画像Ｒ０の右先端位置２７５Ｒと、入力された右矩形画像Ｒｔ０の右先端位置２７５Ｒと
の位置の差を算出する。また、アンタッチ判定部１６６は、複数の右矩形画像２３７を対
象として、右基準画像Ｒ０の右先端位置２７５Ｒとの位置の差を算出する。本実施形態で
は、例えば、右矩形画像Ｒｔ０、右矩形画像Ｒｔ＋１及び右矩形画像Ｒｔ＋２の３つの画
像を対象として処理を行う。右矩形画像Ｒｔ＋１は、右矩形画像Ｒｔ０の次に撮像された
画像であり、右矩形画像Ｒｔ＋２は、右矩形画像Ｒｔ＋１の次に撮像された画像である。

アンタッチ判定部１６６は、左矩形画像Ｌｔ０、左矩形画像Ｌｔ＋１及び左矩形画像Ｌ
ｔ＋２を対象として、左基準画像Ｌ０の左先端位置２７５Ｌとの位置の差をそれぞれ算出
すると、次に、第２判定ステップに対応した動作を実行する。アンタッチ判定部１６６は
、算出した位置の差の平均値を算出する。算出した平均値を、左平均値Ａｖｅ＿Ｌと表記
する。左平均値Ａｖｅ＿Ｌは、本発明の第１平均値に相当する。
また、アンタッチ判定部１６６は、右矩形画像Ｒｔ０、右矩形画像Ｒｔ＋１及び右矩形
画像Ｒｔ＋２を対象として、右基準画像Ｒ０の右先端位置２７５Ｒとの位置の差をそれぞ
れ算出すると、算出した位置の差の平均値を算出する。算出した平均値を、右平均値Ａｖ
ｅ＿Ｒと表記する。右平均値Ａｖｅ＿Ｒは、本発明の第２平均値に相当する。

アンタッチ判定部１６６は、左平均値Ａｖｅ＿Ｌから右平均値Ａｖｅ＿Ｒを減算し、減
算した結果を予め設定されたしきい値と比較する。アンタッチ判定部１６６は、左平均値
Ａｖｅ＿Ｌ−右平均値Ａｖｅ＿Ｒをしきい値と比較することで、左撮像画像と右撮像画像
とに生じる視差がしきい値以上であるか否かを判定する。上述したように本実施形態は、
投射面１０の位置であるＺ＝０の位置で視差が０となるように調整され、投射面１０から
離れるほど、視差が大きくなる。アンタッチ判定部１６６は、左平均値Ａｖｅ＿Ｌ−右平
均値Ａｖｅ＿Ｒの値がしきい値よりも大きい場合、指示体８０が操作面１３から離れ、ホ
バー状態にあると判定する。また、アンタッチ判定部１６６は、左平均値Ａｖｅ＿Ｌ−右
平均値Ａｖｅ＿Ｒの値がしきい値以下である場合、指示体８０は、操作面１３に接触した
タッチ状態であると判定する。

アンタッチ判定部１６６は、タッチ状態であると判定した場合、マッチング処理部１６
５により算出された左矩形画像Ｌｔ０の左先端位置２７５Ｌを示す座標情報と、右矩形画
像Ｒｔ０の右先端位置２７５Ｒを示す座標情報とを制御部１７０に出力する。
また、アンタッチ判定部１６６は、ホバー状態であると判定した場合には、左先端位置
２７５Ｌ及び右先端位置２７５Ｒの座標情報を制御部１７０には出力しない。

制御部１７０は、第２記憶部１７５及びプロセッサー１８０を備えるコンピューター装
置である。第２記憶部１７５は、ＲＡＭ（Random access memory）等の揮発性の記憶装置
と、ＲＯＭ（Read Only Memory）やフラッシュメモリー等の不揮発性の記憶装置とを備え
る。第２記憶部１７５は、プロセッサー１８０が実行する制御プログラムを記憶する。制
御プログラムには、例えば、ファームウェアが含まれる。

プロセッサー１８０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Process
ing Unit）により構成される演算処理装置である。プロセッサー１８０は、制御プログラ
ムを実行してプロジェクター１００の各部を制御する。プロセッサー１８０は、単一のプ
ロセッサーにより構成してもよいし、複数のプロセッサーにより構成することも可能であ
る。また、プロセッサー１８０は、第２記憶部１７５の一部又は全部や、その他の回路と
統合されたＳｏＣにより構成してもよい。また、プロセッサー１８０は、プログラムを実
行するＣＰＵと、所定の演算処理を実行するＤＳＰとの組合せにより構成してもよい。さ
らに、プロセッサー１８０の機能の全てをハードウェアに実装した構成としてもよく、プ
ログラマブルデバイスを用いて構成してもよい。

制御部１７０は、機能ブロックとして撮像制御部１８１、操作検出部１８３及び処理実
行部１８５を備える。これらの機能ブロックは、プロセッサー１８０が制御プログラムに
記述された命令セットを実行して、データの演算や制御を行うことにより実現される機能
をブロックにより便宜的に示したものである。

撮像制御部１８１は、検出光照射部１３０に検出光を照射させて、撮像部１２０に撮像
を実行させる。撮像部１２０は、予め設定されたフレームレートで投射面１０を含む範囲
を撮像して撮像画像を生成する。撮像部１２０が生成した撮像画像は、位置検出部１５０
に入力される。

操作検出部１８３は、本発明の検出部に相当する。操作検出部１８３は、タッチ判定部
１６４及びアンタッチ判定部１６６の判定結果に従って、操作面１３に対する指示体８０
の操作を検出する。操作検出部１８３には、指示体８０が操作面１３に接触しているとタ
ッチ判定部１６４が判定した場合、左撮像画像に設定された座標系の座標情報と、右撮像
画像に設定された座標系の座標情報とが入力される。また、操作検出部１８３には、指示
体８０が操作面１３に接触していないとアンタッチ判定部１６６が判定した場合には、座
標情報が入力されない。

操作検出部１８３は、入力された座標情報に基づき、指示体８０により指示された操作
面１３の位置を特定し、特定した操作面１３の位置を示す座標情報を出力する。例えば、
後述する図８に示すキャリブレーション画像２０１を第１カメラ１２１により撮像し、キ
ャリブレーション画像２０１に形成されたマーク２０５の位置と、左撮像画像におけるマ
ーク２０５の位置とを対応づける。これにより左撮像画像の座標と、操作面１３の座標と
が対応づけられる。また、キャリブレーション画像２０１を第２カメラ１２３により撮像
し、キャリブレーション画像２０１に形成されたマーク２０５の位置と、右撮像画像にお
けるマーク２０５の位置とを対応づける。これにより右撮像画像の座標と、操作面１３の
座標とが対応づけられる。

処理実行部１８５は、操作検出部１８３から入力される座標情報に基づいて操作を検出
し、検出した操作に対応した処理を実行する。例えば、処理実行部１８５は、操作面１３
に接触させた指示体８０を、操作面１３上で移動させる操作が検出された場合、移動する
指示体８０の軌跡に対応した画像を投射領域１５に描画する。

Ａ−３．全体処理フロー
図５及び図６は、プロジェクター１００の動作を示すフローチャートである。
図５及び図６を参照しながらプロジェクター１００の動作について説明する。
まず、制御部１７０は、プロジェクター１００の状態が、プロジェクター１００の設置
時、又はプロジェクター１００の起動時であるか否かを判定する（ステップＳ１）。例え
ば、操作受付部１３５がリモコンに設けられた所定ボタンに対応した信号を受信した場合
に、制御部１７０は、プロジェクター１００の設置時であると判定してもよい。また、工
場出荷後、プロジェクター１００の電源が最初にオンされた場合に、制御部１７０は、プ
ロジェクター１００の設置時であると判定してもよい。制御部１７０は、設置時又は起動
時ではない場合（ステップＳ１／ＮＯ）、ステップＳ４の処理に移行する。

また、制御部１７０は、設置時又は起動時である場合（ステップＳ１／ＹＥＳ）、位置
検出部１５０にキャリブレーションを実行させる（ステップＳ２）。制御部１７０は、キ
ャリブレーション画像２０１を投射部１１０に投射させて、撮像部１２０に撮像を実行さ
せる。位置検出部１５０は、撮像部１２０によって撮像された左撮像画像及び右撮像画像
に基づいてキャリブレーションデータを生成する（ステップＳ３）。生成したキャリブレ
ーションデータは、第１記憶部１５１に記憶される。

キャリブレーションデータの生成が終了し、操作受付部１３５により操作を受け付ける
と、制御部１７０は、検出光照射部１３０に検出光の照射を開始させ、撮像部１２０に撮
像を開始させる（ステップＳ４）。

位置検出部１５０は、第１カメラ１２１から左撮像画像が入力され、第２カメラ１２３
から右撮像画像が入力されたか否かを判定する（ステップＳ５）。位置検出部１５０は、
撮像画像の入力がない場合（ステップＳ５／ＮＯ）、左撮像画像及び右撮像画像の入力が
あるまで処理の開始を待機する。

位置検出部１５０は、左撮像画像及び右撮像画像が入力されると（ステップＳ５／ＹＥ
Ｓ）、左撮像画像及び右撮像画像を処理して差分画像２４０を生成し、生成した差分画像
２４０から変化領域２５０を抽出して指先領域２７０を検出する（ステップＳ６）。指先
領域２７０を検出する処理の詳細については、図９に示すフローチャートを参照しながら
後述する。

次に、位置検出部１５０は、検出した指先領域２７０から指示体８０である指の先端位
置２７５を特定する（ステップＳ７）。先端位置２７５を特定する処理の詳細については
、図１９に示すフローチャートを参照しながら後述する。

次に、位置検出部１５０は、特定した先端位置２７５に基づいてタッチホールド状態が
検出されたか否かを判定する。まず、位置検出部１５０は、指示体８０の先端が操作面１
３に接触したか否かを判定するため、指示体８０が静止した静止状態が検出されたか否か
を判定する（ステップＳ８）。位置検出部１５０は、処理対象として選択した１の撮像画
像の先端位置２７５と、この撮像画像の１つ前の撮像画像の先端位置２７５との座標を比
較して、指示体８０が静止状態にあるか否かを判定する。ここで停止判定に使用する撮像
画像は、左矩形画像２３５及び右矩形画像２３７のいずれか一方であってもよいし、左矩
形画像２３５及び右矩形画像２３７の両方の画像であってもよい。

位置検出部１５０は、静止状態が検出されなかった場合（ステップＳ８／ＮＯ）、ステ
ップＳ５の判定に戻り、撮像部１２０から次の撮像画像が入力されるまで待機する。また
、位置検出部１５０は、静止状態が検出された場合（ステップＳ８／ＹＥＳ）、この静止
状態が所定フレーム連続しているか否かを判定する（ステップＳ９）。位置検出部１５０
は、ステップＳ８で処理対象として選択した１の撮像画像よりも前に撮像された撮像画像
を対象として、静止状態が所定フレーム連続しているか否かを判定する。ステップＳ８及
びＳ９は、本発明の第１判定ステップに相当する。

位置検出部１５０は、静止状態の検出が所定フレーム連続していない場合（ステップＳ
９／ＮＯ）、ステップＳ５の判定に戻る。また、位置検出部１５０は、静止状態の検出が
所定フレーム連続している場合（ステップＳ９／ＹＥＳ）、タッチホールド状態が検出さ
れたと判定し、ステップＳ１０の処理に移行する。

位置検出部１５０は、ステップＳ８で選択した撮像画像から予め設定された設定サイズ
の画像をテンプレート画像として切り出す(ステップＳ１０)。位置検出部１５０は、左矩
形画像２３５の元になる左撮像画像である左基準画像Ｌ０から、先端位置２７５を中心と
する予め設定された設定サイズの画像を左テンプレート画像として切り出す。また、位置
検出部１５０は、右矩形画像２３７の元になる右撮像画像である右基準画像Ｒ０から、先
端位置２７５を中心とする予め設定された設定サイズの画像を右テンプレート画像として
切り出す。

位置検出部１５０には、撮像部１２０によって撮像された左撮像画像及び右撮像画像を
、キャリブレーションデータにより矩形に変形した左矩形画像Ｌｔ０及び右矩形画像Ｒｔ
０が順次入力される（ステップＳ１１）。
位置検出部１５０は、入力された左矩形画像Ｌｔ０上で左テンプレート画像を動かして
テンプレートマッチングを行う。位置検出部１５０は、左テンプレート画像と一致する左
矩形画像Ｌｔ０の領域を検出し、検出した左矩形画像Ｌｔ０の領域において、指示体８０
の先端が撮像された左先端位置２７５Ｌを検出する（ステップＳ１２）。同様に、位置検
出部１５０は、入力された右矩形画像Ｒｔ０上で右テンプレート画像を動かしてテンプレ
ートマッチングを行う。位置検出部１５０は、右テンプレート画像と一致する右矩形画像
Ｒｔ０の領域を検出し、検出した右矩形画像Ｒｔ０の領域において、指示体８０の先端が
撮像された右先端位置２７５Ｒを検出する（ステップＳ１２）。

次に、位置検出部１５０は、指示体８０の状態判定を行う。位置検出部１５０は、指示
体８０の状態が、指示体８０が操作面１３に接触したタッチ状態であるのか、指示体８０
が操作面１３から離れたホバー状態であるのかを判定する（ステップＳ１３）。ステップ
Ｓ１３の判定の詳細については、図２３に示すフローチャートを参照しながら説明する。
ステップＳ１３は、本発明の第２判定ステップに相当する。

次に、位置検出部１５０は、ステップＳ１３でタッチ状態と判定した場合（ステップＳ
１４／ＹＥＳ）、ステップＳ１２で算出した座標情報を制御部１７０に出力する（ステッ
プＳ１５）。また、位置検出部１５０は、ステップＳ１３でホバー状態と判定した場合（
ステップＳ１４／ＮＯ）、座標情報を制御部１７０には出力せず、指示体８０が操作面１
３から離れたことを制御部１７０に通知する（ステップＳ１６）。

次に、図６に示すフローチャートを参照しながら位置検出部１５０が検出した座標情報
が入力された制御部１７０の動作について説明する。
制御部１７０は、位置検出部１５０から座標情報が入力されたか否かを判定する（ステ
ップＳ２１）。制御部１７０は、座標情報の入力がない場合（ステップＳ２１／ＮＯ）、
座標情報が入力されるまで処理の開始を待機する。

また、制御部１７０は、座標情報が入力されると（ステップＳ２１／ＹＥＳ）、入力さ
れた座標情報を第２記憶部１７５に記憶させる（ステップＳ２２）。
次に、制御部１７０は、第２記憶部１７５に記憶させた座標情報を読み出し、読み出し
た座標情報に基づき、操作面１３に接触した指示体８０の先端位置の軌跡を示す軌跡デー
タを生成する（ステップＳ２３）。
次に、制御部１７０は、生成した軌跡データに基づいて、指示体８０の先端位置の軌跡
が、予め設定された操作パターンに一致したか否かを判定する（ステップＳ２４）。

操作パターンには、例えば、フリックやスワイプ、ドラッグ＆ドロップ等の指示体８０
を操作面１３上でスライドさせるスライド操作や、タップ、ダブルタップ、ロングタップ
等のタップ操作等が含まれる。

制御部１７０は、軌跡データが操作パターンに一致しなかった場合（ステップＳ２４／
ＮＯ）、ステップＳ２１の判定に戻り、位置検出部１５０から座標情報が入力されるまで
待機する。また、制御部１７０は、軌跡データが操作パターンに一致した場合（ステップ
Ｓ２４／ＹＥＳ）、操作パターンに対応した操作が入力されたと判定する。この場合、制
御部１７０は、入力された操作に対応した処理を実行する（ステップＳ２５）。

例えば、制御部１７０は、スライド操作が検出された場合、最初に指示体８０の接触を
検出した接触位置に表示させた画像の表示位置を、最後に指示体８０の接触が検出された
接触位置まで移動させる。また、制御部１７０は、タップ操作が検出され、タップ操作で
指示体８０との接触を検出した操作面１３の位置にアイコンが表示されている場合、この
アイコンが選択されたと判定する。

Ａ−４．キャリブレーション
次に、図７及び図８を参照しながらキャリブレーションについて説明する。
図７は、キャリブレーション画像２０１の一例を示す図である。
まず、制御部１７０の制御により、図７に示すキャリブレーション画像２０１を投射部
１１０に投射させ、キャリブレーション画像２０１が投射された投射面１０を第１カメラ
１２１及び第２カメラ１２３に撮像させる。

図７に示すようにキャリブレーション画像２０１は、予め設定された形状のマーク２０
５が、キャリブレーション画像２０１の縦方向及び横方向に等間隔で配置された画像であ
る。本実施形態では、キャリブレーション画像２０１として、黒色の背景に、マーク２０
５としての白色のドットをキャリブレーション画像２０１の縦方向及び横方向に等間隔で
配置した画像を用いる。

キャリブレーションデータ生成部１６１は、キャリブレーション画像２０１が投射され
た投射面１０を第１カメラ１２１で撮像した左撮像画像と、投射面１０を第２カメラ１２
３で撮像した右撮像画像とを取得する。
キャリブレーションデータ生成部１６１は、第１範囲情報を参照して、投射領域１５に
対応する左撮像画像の領域を抽出する。同様に、キャリブレーションデータ生成部１６１
は、第２範囲情報を参照して、投射領域１５に対応する右撮像画像の領域を抽出する。抽
出された投射領域１５に対応する左撮像画像の領域を左抽出画像２３１といい、抽出され
た投射領域１５に対応する右撮像画像の領域を右抽出画像２３３という。

図８は、左抽出画像２３１及び右抽出画像２３３の形状を矩形に変形する変形方法を示
す図である。なお、左抽出画像２３１及び右抽出画像２３３の変形方法は同一であるため
、以下では、左抽出画像２３１の変形方法について説明する。
キャリブレーションデータ生成部１６１は、第１記憶部１５１が記憶するキャリブレー
ション画像２０１と、左抽出画像２３１及び右抽出画像２３３とを比較して第１画像変換
係数及び第２画像変換係数を決定する。具体的には、キャリブレーションデータ生成部１
６１は、キャリブレーション画像２０１のマーク２０５の位置と、左抽出画像２３１のマ
ークの位置とを比較し、キャリブレーション画像２０１の頂点と、左抽出画像２３１の頂
点とを比較する。キャリブレーションデータ生成部１６１は、これらの比較結果に基づき
、左抽出画像２３１をキャリブレーション画像２０１と同一の矩形に変形するための変形
量である、引き延ばし方向及び引き延ばし量を第１画像変換係数として決定する。同様に
、キャリブレーションデータ生成部１６１は、キャリブレーション画像２０１のマーク２
０５の位置と、右抽出画像２３３のマークの位置とを比較し、キャリブレーション画像２
０１の頂点と、右抽出画像２３３の頂点とを比較する。キャリブレーションデータ生成部
１６１は、これらの比較結果に基づき、右抽出画像２３３をキャリブレーション画像２０
１と同一の矩形に変形するための変形量である、引き延ばし方向及び引き延ばし量を第２
画像変換係数として決定する。

第１画像変換係数は、左抽出画像２３１の各マーク２０５の位置が、キャリブレーショ
ン画像２０１に形成されたマーク２０５の位置に一致するように左抽出画像２３１の形状
を変換する係数である。また、第２画像変換係数は、右抽出画像２３３の各マーク２０５
の位置が、キャリブレーション画像２０１に形成されたマーク２０５の位置に一致するよ
うに右抽出画像２３３の形状を変換する係数である。このため、第１画像変換係数により
変換された左抽出画像２３１と、第２画像変換係数により変換された右抽出画像２３３と
は、キャリブレーション画像２０１に一致するように変換される。このため、投射面１０
での視差が０となるように左抽出画像２３１及び右抽出画像２３３が変換される。

Ａ−５．指先領域の検出
図９は、指先領域２７０の検出処理を示すフローチャートである。
次に、図９に示すフローチャートを参照しながら上述したステップＳ６の指先領域２７
０の検出処理の詳細について説明する。
まず、位置検出部１５０は、第１カメラ１２１の左撮像画像を取得すると、キャリブレ
ーションデータを用いて、左撮像画像から左抽出画像２３１を抽出し、抽出した左抽出画
像２３１の形状を矩形に変形して左矩形画像２３５を生成する（ステップＳ６０１）。同
様に、位置検出部１５０は、第２カメラ１２３の右撮像画像を取得すると、キャリブレー
ションデータを用いて、右撮像画像から右抽出画像２３３を抽出し、右抽出画像２３３の
形状を矩形に変形して右矩形画像２３７を生成する（ステップＳ６０１）。ステップＳ６
０１は、本発明の変換ステップに相当する。

次に、位置検出部１５０は、差分画像２４０を生成する（ステップＳ６０２）。位置検
出部１５０は、左矩形画像２３５から右矩形画像２３７を減算して差分画像２４０を生成
する。

図１０は、差分画像２４０を示す図である。
差分画像２４０には、変化領域２５０が含まれる。変化領域２５０は、左矩形画像２３
５と右矩形画像２３７との視差量が、予め設定された範囲内となる領域である。差分画像
２４０は、左矩形画像２３５から右矩形画像２３７を減算した画像である。このため、投
射面１０の位置であるＺ＝０の位置にあり、視差が０となる物体は、差分画像２４０には
表示されない。また、投射面１０から離れた位置に存在する物体ほど、視差が大きくなり
、左矩形画像２３５における物体の位置と、右矩形画像２３７における物体の位置との差
が大きくなる。

図１１は、正領域２４５及び正領域２４７を除去した差分画像２４０を示す図である。
次に、位置検出部１５０は、生成した差分画像２４０に含まれる正領域２４５及び正領
域２４７の孤立領域を除去する（ステップＳ６０３）。位置検出部１５０は、差分画像２
４０において、正領域２４５だけが孤立して存在する画像の領域と、正領域２４７だけが
孤立して存在する画像の領域とを除去する。差分画像２４０は、左矩形画像２３５から右
矩形画像２３７を減算して生成した画像である。左矩形画像２３５と右矩形画像２３７と
に同一の物体が撮像されている場合であって、物体が撮像された左矩形画像２３５の座標
が、物体が撮像された右矩形画像２３７の座標よりも大きい場合、差分画像２４０には正
領域２４５が生じる。また、物体が撮像された右矩形画像２３７の座標が、物体が撮像さ
れた左矩形画像２３５の座標よりも大きい場合、差分画像２４０には正領域２４７が生じ
る。

孤立して存在する正領域２４５及び正領域２４７を除去することで、差分画像２４０に
は、正領域２４５と正領域２４７とが予め設定された距離以下で近接して存在する領域だ
けが残る。この正領域２４５と正領域２４７とが近接して存在する領域が変化領域２５０
となる。変化領域２５０は、左矩形画像２３５と右矩形画像２３７との視差量が、予め設
定された範囲内の領域であり、投射面１０の近くに存在する物体が撮像された領域である
。

図１２は、モルフォロジー変換後の差分画像２４０を示す図である。
次に、位置検出部１５０は、差分画像２４０の変化領域２５０に膨張収縮のモルフォロ
ジー変換を行って、孤立点を除去し、穴が空いた領域の穴埋めを行う（ステップＳ６０４
）。図１２には、孤立点を除去し、穴が空いた領域を穴埋めした後の差分画像２４０を示
す。

図１３は、第３変化領域２５０Ｃに図形３００を重畳した状態を示す図である。
次に、位置検出部１５０は、差分画像２４０の解像度を変換して、１／２解像度、１／
４解像度、及び１／８解像度の差分画像２４０をそれぞれ生成する(ステップＳ６０５)。
１／８解像度の差分画像２４０を第３差分画像２４０Ｃと表示し、この第３差分画像２４
０Ｃに表示された変化領域２５０を第３変化領域２５０Ｃと表示する。また、１／４解像
度の差分画像２４０を第２差分画像２４０Ｂと表示し、この第２差分画像２４０Ｂに表示
された変化領域２５０を第２変化領域２５０Ｂと表示する。また、１／２解像度の差分画
像２４０を第１差分画像２４０Ａと表示し、この第１差分画像２４０Ａに表示された変化
領域２５０を第１変化領域２５０Ａと表示する。

次に、位置検出部１５０は、切り出し処理を実行する（ステップＳ６０６）。位置検出
部１５０は、予め設定された大きさの図形３００を、１／８解像度の第３差分画像２４０
Ｃ上で移動させながら、図形３００が内部に完全に収まる第３変化領域２５０Ｃを検出す
る。先端検出部１６３は、図形３００が収まる第３変化領域２５０Ｃを検出すると、この
図形３００が重なった第３変化領域２５０Ｃの画像を削除する。図１３は、図形３００に
重なる第３変化領域２５０Ｃの画像を削除した状態を示す。位置検出部１５０は、この処
理を図形３００が収まる第３変化領域２５０Ｃがなくなるまで繰り返す。次に、位置検出
部１５０は、第３変化領域２５０Ｃのうち、第３差分画像２４０Ｃの外周に接する領域を
除去する。図１４は、第３差分画像２４０Ｃの外周に接する第３変化領域２５０Ｃの画像
を除去した状態を示す図である。

次に、位置検出部１５０は、１／８解像度の第３差分画像２４０Ｃの解像度を１／４に
変換する（ステップＳ６０７）。その後、位置検出部１５０は、１／４解像度に変換した
第３差分画像２４０Ｃと、１／４解像度の第２差分画像２４０Ｂとの論理積を計算する（
ステップＳ６０８）。これにより、１／４解像度の第２差分画像２４０Ｂであって、１／
８解像度の第３変化領域２５０Ｃにおいて除去した画像が除去された第２差分画像２４０
Ｂが生成される。

図１５は、第２変化領域２５０Ｂに図形３００を重畳した状態を示す図である。
次に、位置検出部１５０は、切り出し処理を実行する（ステップＳ６０９）。位置検出
部１５０は、図形３００を、１／４解像度の第２差分画像２４０Ｂ上で移動させながら、
図形３００が内部に完全に収まる第２変化領域２５０Ｂを検出する。図形３００の大きさ
は、１／８解像度の第３差分画像２４０Ｃにおいて画像の除去に使用した図形３００の大
きさと同一である。先端検出部１６３は、図形３００が収まる第２変化領域２５０Ｂを検
出すると、この図形３００が重なった第２変化領域２５０Ｂの画像を削除する。位置検出
部１５０は、この処理を図形３００が収まる第２変化領域２５０Ｂがなくなるまで繰り返
す。次に、位置検出部１５０は、第２変化領域２５０Ｂのうち、第２差分画像２４０Ｂの
外周に接する領域を除去する。図１６には、第２差分画像２４０Ｂの外周に接する第２変
化領域２５０Ｂの画像を除去した状態を示す。

次に、位置検出部１５０は、１／４解像度の第２差分画像２４０Ｂの解像度を１／２に
変換する（ステップＳ６１０）。その後、位置検出部１５０は、１／２解像度に変換した
第２差分画像２４０Ｂと、１／２解像度の第１差分画像２４０Ａとの論理積を計算する（
ステップＳ６１１）。これにより、１／２解像度の第１差分画像２４０Ａであって、１／
８解像度の第３変化領域２５０Ｃ、及び１／４解像度の第２変化領域２５０Ｂにおいて除
去した画像が除去された第１差分画像２４０Ａが生成される。

図１７は、第１変化領域２５０Ａを示す図である。
次に、位置検出部１５０は、切り出し処理を実行する（ステップＳ６１２）。位置検出
部１５０は、予め設定された大きさの図形３００を、１／２解像度の第１差分画像２４０
Ａ上で移動させながら、図形３００が内部に完全に収まる第１変化領域２５０Ａを検出す
る。図形３００の大きさは、１／８解像度の第３差分画像２４０Ｃ、及び１／４解像度の
第２差分画像２４０Ｂにおいて画像の除去に使用した図形３００の大きさと同一である。
位置検出部１５０は、図形３００が収まる第１変化領域２５０Ａを検出すると、この図形
３００が重なった第１変化領域２５０Ａの画像を削除する。位置検出部１５０は、この処
理を図形３００が収まる第１変化領域２５０Ａがなくなるまで繰り返す。位置検出部１５
０は、除去されずに第１変化領域２５０Ａを指先領域２７０として検出する（ステップＳ
６１３）。図１８は、差分画像２４０から、指先領域２７０を中心に特定の領域を切り出
した図である。これにより、ノイズ等の影響により誤検出することなく、操作面１３の全
体の撮像画像から、操作面１３に接触又は接近した指示体８０の先端を含む領域である指
先領域２７０を検出することができる。

Ａ−６．先端位置の特定
図１９は、ステップＳ７の指の先端位置を特定する処理の詳細を示すフローチャートで
ある。また、図２０は、放射状に描画された線分２８０を示す図である。
図１９に示すフローチャートを参照しながら指の先端位置を特定する処理について説明
する。
まず、位置検出部１５０は、検出した指先領域２７０の重心座標を計算する（ステップ
Ｓ７０１）。位置検出部１５０は、指先領域２７０の重心座標を計算すると、計算した指
先領域２７０の重心座標を始点とし、重心座標を中心に放射状に複数の線分２８０を第１
差分画像２４０Ａに描画するる（ステップＳ７０２）。このとき、位置検出部１５０は、
図２０に示すように、隣接する線分２８０同士のなす角度θ１が一定となるように複数の
線分２８０を描画する。

図２１は、輪郭線の長さが最小の区間Ｓと、検出範囲Ｄとを示す図である。
次に、位置検出部１５０は、隣接する２本の線分２８０によって区切られた指先領域２
７０の輪郭線の長さをそれぞれ算出し、算出した輪郭線の長さが最小の区間を特定する（
ステップＳ７０３）。図２１に示す区間Ｓを輪郭線の長さが最小の区間と仮定する。

次に、位置検出部１５０は、特定した区間Ｓに基づいて検出範囲Ｄを設定する（ステッ
プＳ７０４）。例えば、図２１に示す角度θ２に対応した輪郭線の範囲が、検出範囲Ｄに
対応する。検出範囲Ｄは、区間Ｓを含み、区間Ｓで区切られた輪郭線の両側を含む範囲で
ある。

図２２は、指先領域２７０の先端位置２７５を示す図である。
次に、位置検出部１５０は、設定した検出範囲Ｄ内で、指先領域２７０の曲率が最も大
きい位置を検出する（ステップＳ７０５）。位置検出部１５０は、検出した曲率が最も大
きい位置を先端位置２７５と判定する。

図２３は、図６に示すステップＳ１３の詳細を示すフローチャートである。
図２３に示すフローチャートを参照しながら図６に示すステップＳ１３の詳細について
説明する。
位置検出部１５０は、ステップＳ１２において、テンプレートマッチングにより左矩形
画像Ｌｔ０の左先端位置２７５Ｌを検出し、右矩形画像Ｒｔ０の右先端位置２７５Ｒを検
出する。位置検出部１５０は、左基準画像Ｌ０の左先端位置２７５Ｌと、ステップＳ１１
で入力された左矩形画像Ｌｔ０の左先端位置２７５Ｌとの位置の差を算出する（ステップ
Ｓ１３０１）。また、位置検出部１５０は、右基準画像Ｒ０の右先端位置２７５Ｒと、ス
テップＳ１１で入力された右矩形画像Ｒｔ０の右先端位置２７５Ｒとの位置の差を算出す
る（ステップＳ１３０１）。ステップＳ１３０１は、本発明の第１算出ステップ及び第２
算出ステップに相当する。

次に、位置検出部１５０は、位置の差を算出した撮像画像の数が設定数に一致したか否
かを判定する（ステップＳ１３０２）。位置検出部１５０は、左基準画像Ｌ０の左先端位
置２７５Ｌと位置の差を算出した左矩形画像２３５の数が設定数に一致したか否かを判定
する（ステップＳ１３０２）。同様に、位置検出部１５０は、右基準画像Ｒ０の右先端位
置２７５Ｒと位置の差を算出した右矩形画像２３７の数が設定数に一致したか否かを判定
する（ステップＳ１３０２）。

位置検出部１５０は、左矩形画像２３５の数が設定数に一致しない場合（ステップＳ１
３０２／ＮＯ）、次の撮像画像である左矩形画像Ｌｔ＋１を対象として左基準画像Ｌ０の
左先端位置２７５Ｌとの位置の差を算出する（ステップＳ１３０１）。同様に、位置検出
部１５０は、右矩形画像２３７の数が設定数に一致していない場合（ステップＳ１３０２
／ＮＯ）、次の撮像画像である右矩形画像Ｒｔ＋１を対象として右基準画像Ｒ０の右先端
位置２７５Ｒとの位置の差を算出する（ステップＳ１３０１）。

また、位置検出部１５０は、左矩形画像２３５の数が設定数に一致した場合（ステップ
Ｓ１３０２／ＹＥＳ）、つまり、左矩形画像Ｌｔ０、左矩形画像Ｌｔ＋１及び左矩形画像
Ｌｔ＋２の３つの画像の処理が完了した場合、Ｓ１３０３の処理に移行する。同様に、位
置検出部１５０は、右撮像画像の数が設定数に一致した場合（ステップＳ１３０２／ＹＥ
Ｓ）、つまり、右矩形画像Ｒｔ０、右矩形画像Ｒｔ＋１及び右矩形画像Ｒｔ＋２の３つの
画像の処理が完了した場合、Ｓ１３０３の処理に移行する。

位置検出部１５０は、左矩形画像Ｌｔ０、左矩形画像Ｌｔ＋１及び左矩形画像Ｌｔ＋２
について、左基準画像Ｌ０の左先端位置２７５Ｌとの位置の差をそれぞれ算出すると、算
出した位置の差の平均値を算出する（ステップＳ１３０３）。算出した平均値を、左平均
値Ａｖｅ＿Ｌと表記する。
同様に、位置検出部１５０は、右矩形画像Ｒｔ０、右矩形画像Ｒｔ＋１及び右矩形画像
Ｒｔ＋２について、右基準画像Ｒ０の右先端位置２７５Ｒとの位置の差をそれぞれ算出す
ると、算出した位置の差の平均値を算出する（ステップＳ１３０３）。算出した平均値を
、右平均値Ａｖｅ＿Ｒと表記する。

次に、位置検出部１５０は、左平均値Ａｖｅ＿Ｌから右平均値Ａｖｅ＿Ｒを減算する（
ステップＳ１３０４）。位置検出部１５０は、左平均値Ａｖｅ＿Ｌ−右平均値Ａｖｅ＿Ｒ
を、予め設定されたしきい値と比較する（ステップＳ１３０５）。位置検出部１５０は、
左平均値Ａｖｅ＿Ｌ−右平均値Ａｖｅ＿Ｒの値がしきい値よりも大きい場合（ステップＳ
１３０５／ＹＥＳ）、指示体８０の状態をホバー状態と判定する（ステップＳ１３０６）
。また、位置検出部１５０は、左平均値Ａｖｅ＿Ｌ−右平均値Ａｖｅ＿Ｒの値がしきい値
以下である場合（ステップＳ１３０５／ＮＯ）、指示体８０の状態をタッチ状態と判定す
る（ステップＳ１３０７）。

位置検出部１５０は、タッチ状態であると判定した場合、左矩形画像Ｌｔ０の左先端位
置２７５Ｌを示す座標情報と、右矩形画像Ｒｔ０の右先端位置２７５Ｒを示す座標情報と
を制御部１７０に出力する。また、位置検出部１５０は、ホバー状態であると判定した場
合、制御部１７０に座標情報を出力しない。

以上説明したように本実施形態の操作検出装置２００は、変換部１６２、タッチ判定部
１６４及びアンタッチ判定部１６６を備える。
変換部１６２は、異なる撮像視点から操作面１３を撮像した左撮像画像及び右撮像画像
を、操作面１３にキャリブレーションされた画像に変換する。
タッチ判定部１６４は、変換された左撮像画像及び右撮像画像に撮像された指示体８０
の画像に基づいて、指示体８０が操作面１３に接触し、静止した状態にあるか否かを判定
する。
アンタッチ判定部１６６は、操作面１３に接触し、静止した状態にあると判定したとき
の左撮像画像を左基準画像Ｌ０として選択し、選択した左基準画像Ｌ０と左撮像画像とに
撮像された指示体８０の位置の差を算出する。
同様に、アンタッチ判定部１６６は、操作面１３に接触し、静止した状態にあると判定
したときの右撮像画像を右基準画像Ｒ０として選択し、選択した右基準画像Ｒ０と右撮像
画像とに撮像された指示体８０の位置の差を算出する。
そして、アンタッチ判定部１６６は、左基準画像Ｌ０と左矩形画像２３５とに撮像され
た指示体８０の位置の差と、右基準画像Ｒ０と右矩形画像２３７とに撮像された指示体８
０の位置の差とに基づいて、指示体８０が操作面１３から離れたか否かを判定する。

左矩形画像２３５及び右矩形画像２３７は、操作面１３での視差が０になるようにキャ
リブレーションされている。このため、左矩形画像２３５及び右矩形画像２３７に撮像さ
れた指示体８０の画像の視差に基づいて指示体８０が操作面１３に接触したか否かを判定
することで、接触判定の精度を高めることができる。
また、指示体８０が操作面１３に接触した状態の撮像画像を左基準画像Ｌ０及び右基準
画像Ｒ０として選択し、選択した左基準画像Ｌ０及び右基準画像Ｒ０に基づいて指示体８
０の画像を検出する。このため、操作面１３に写った指示体８０の影の影響により検出精
度が低下するのを抑制することができる。つまり、左基準画像Ｌ０及び右基準画像Ｒ０に
基づいて左矩形画像２３５及び右矩形画像２３７から指示体８０の画像を検出することで
、指示体８０の指示位置の検出精度を高めることができる。

また、左基準画像Ｌ０と左矩形画像２３５とに撮像された指示体８０の位置の差と、右
基準画像Ｒ０と右矩形画像２３７とに撮像された指示体８０の位置の差とをそれぞれ算出
する。そして、算出したこれらの位置の差に基づいて指示体８０が操作面１３から離れた
か否かを判定する。従って、左撮像画像と右撮像画像に生じる視差に基づいて指示体８０
が操作面１３から離れたか否かを精度よく判定することができる。また、指示体８０が操
作面１３から離れたか否かの判定精度を向上させることができるので、指示体８０による
操作の検出精度を高めることができる。

また、アンタッチ判定部１６６は、順次入力される複数の左撮像画像と左基準画像Ｌ０
とに撮像された指示体８０の位置の差をそれぞれ算出し、算出した複数の指示体８０の位
置の差の平均値を左平均値Ａｖｅ＿Ｌとして算出する。同様に、アンタッチ判定部１６６
は、順次入力される複数の右撮像画像と右基準画像Ｒ０とに撮像された指示体８０の位置
の差をそれぞれ算出し、算出した複数の指示体８０の位置の差の平均値を右平均値Ａｖｅ
＿Ｒとして算出する。そして、アンタッチ判定部１６６は、左平均値Ａｖｅ＿Ｌと、右平
均値Ａｖｅ＿Ｒとの差がしきい値よりも大きい場合に、指示体８０が操作面１３から離れ
たと判定する。
従って、ノイズ等の影響を低減して、指示体８０が操作面１３から離れたか否かの判定
精度を向上させることができる。

タッチ判定部１６４は、左矩形画像２３５に撮像された指示体８０の画像と、右矩形画
像２３７に撮像された指示体８０の画像との視差に基づいて、指示体８０の操作面１３と
の接触を判定する。
左矩形画像２３５及び右矩形画像２３７は、操作面１３での視差が０になるようにキャ
リブレーションされている。このため、左矩形画像２３５及び右矩形画像２３７に撮像さ
れた指示体８０の画像の視差に基づいて指示体８０が操作面１３に接触したか否かを判定
することで、接触判定の精度を高めることができる。

また、タッチ判定部１６４は、指示体８０が操作面１３に接触したと判定したときの左
撮像画像及び右撮像画像よりも前に撮像された複数の左撮像画像及び右撮像画像において
、指示体８０の画像の位置に変化があるか否かを判定して静止状態か否かを判定する。
従って、ノイズ等の影響を低減して、基準画像として選択する画像の精度を高めること
ができる。

上述した実施形態は本発明の好適な実施の形態である。但し、これに限定されるもので
はなく、本発明の要旨を逸脱しない範囲内において種々の変形が可能である。
例えば、上述した実施形態では、位置検出部１５０と、制御部１７０とを備える操作検
出装置２００の構成について説明したが、位置検出部１５０を単独で、操作検出装置２０
０として動作させることも可能である。
また、上述した実施形態では、プロジェクター１００が撮像部１２０を備える構成を説
明したが、プロジェクター１００とは別体で撮像部１２０を設けてもよい。例えば、撮像
部１２０を単独で動作する撮像装置として構成し、撮像装置とプロジェクター１００とを
有線又は無線で接続してもよい。

また、図３に示すプロジェクター１００の各機能部は、機能的構成を示すものであって
、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハ
ードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで
複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態に
おいてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、また、ハ
ードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェ
クターの他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意
に変更可能である。

また、図５、図６、図９、図１９及び図２３に示すフローチャートの処理単位は、プロ
ジェクター１００の処理を理解容易にするために、主な処理内容に応じて分割したもので
ある。図５、図６、図９、図１９及び図２３のフローチャートに示す処理単位の分割の仕
方や名称によって本発明が制限されることはない。また、制御部１７０や位置検出部１５
０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つ
の処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフロー
チャートの処理順序も、図示した例に限られるものではない。

また、操作検出方法を、プロジェクター１００が備えるコンピューターを用いて実現す
る場合、このコンピューターに実行させるプログラムを記録媒体、又はこのプログラムを
伝送する伝送媒体の態様で構成することも可能である。記録媒体には、磁気的、光学的記
録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルデ
ィスク、ＨＤＤ（Hard Disk Drive）、ＣＤ−ＲＯＭ、ＤＶＤ、Ｂｌｕ−ｒａｙ Ｄｉｓｃ
、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の
記録媒体が挙げられる。また、上記記録媒体は、サーバー装置が備える内部記憶装置であ
るＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。Ｂｌｕ−ｒａｙは、登
録商標である。

１…インタラクティブプロジェクションシステム、１０…投射面、１３…操作面、１５
…投射領域、２０…検出光、３０…画像光、８０…指示体、１００…プロジェクター、１
１０…投射部、１１１…光源、１１３…光変調装置、１１５…光学ユニット、１２０…撮
像部、１２１…第１カメラ、１２３…第２カメラ、１３０…検出光照射部、１３５…操作
受付部、１４１…入力インターフェース、１４３…画像処理部、１４５…フレームメモリ
ー、１５０…位置検出部、１５１…第１記憶部、１５５…制御プログラム、１６０…画像
処理プロセッサー、１６１…キャリブレーションデータ生成部、１６２…変換部、１６３
…先端検出部、１６４…タッチ判定部、１６５…マッチング処理部、１６６…アンタッチ
判定部、１７０…制御部、１７５…第２記憶部、１８０…プロセッサー、１８１…撮像制
御部、１８３…操作検出部、１８５…処理実行部、２００…操作検出装置、２０１…キャ
リブレーション画像、２０５…マーク、２３１…左抽出画像、２３３…右抽出画像、２３
５…左矩形画像、２３７…右矩形画像、２４０…差分画像、２４０Ａ…第１差分画像、２
４０Ｂ…第２差分画像、２４０Ｃ…第３差分画像、２４５…正領域、２４７…負領域、２
５０…変化領域、２５０Ａ…第１変化領域、２５０Ｂ…第２変化領域、２５０Ｃ…第３変
化領域、２７０…指先領域、２７５…先端位置、２７５Ｌ…左先端位置、２７５Ｒ…右先
端位置、２８０…線分、Ｄ…検出範囲、Ｌ０…左基準画像、Ｒ０…右基準画像。

Claims (6)

1. 操作面に対する指示体の操作を検出する操作検出方法であって、
   異なる撮像視点から前記操作面を撮像した第１撮像画像及び第２撮像画像を、前記操作
   面にキャリブレーションされた画像に変換する変換ステップと、
   変換された前記第１撮像画像と前記第２撮像画像とに撮像された前記指示体の画像に基
   づいて、前記指示体が前記操作面に接触し、静止した状態にあるか否かを判定する第１判
   定ステップと、
   前記操作面に接触し、静止した状態にあると判定したときの第１撮像画像を第１基準画
   像として選択し、選択した前記第１基準画像と第１撮像画像とに撮像された前記指示体の
   位置の差を算出する第１算出ステップと、
   前記操作面に接触し、静止した状態にあると判定したときの第２撮像画像を第２基準画
   像として選択し、選択した前記第２基準画像と第２撮像画像とに撮像された前記指示体の
   位置の差を算出する第２算出ステップと、
   前記第１算出ステップにより算出した前記位置の差と、前記第２算出ステップにより算
   出した前記位置の差とに基づいて、前記指示体が前記操作面から離れたか否かを判定する
   第２判定ステップと、
   を有する、操作検出方法。
2. 前記第１算出ステップは、順次入力される複数の第１撮像画像と前記第１基準画像とに
   撮像された前記指示体の位置の差をそれぞれ算出し、算出した複数の前記指示体の位置の
   差の平均値を第１平均値として算出し、
   前記第２算出ステップは、順次入力される複数の第２撮像画像と前記第２基準画像とに
   撮像された前記指示体の位置の差をそれぞれ算出し、算出した複数の前記指示体の位置の
   差の平均値を第２平均値として算出し、
   前記第２判定ステップは、前記第１平均値と前記第２平均値との差がしきい値よりも大
   きい場合に、前記指示体が前記操作面から離れたと判定する、請求項１記載の操作検出方
   法。
3. 前記第１判定ステップは、第１撮像画像に撮像された前記指示体の画像と、第２撮像画
   像に撮像された前記指示体の画像とに生じる視差に基づき、前記指示体の前記操作面との
   接触を判定する、請求項１又は２記載の操作検出方法。
4. 前記第１判定ステップは、前記第１基準画像及び前記第２基準画像に撮像された前記指
   示体の画像と、前記第１基準画像及び前記第２基準画像よりも前に撮像された第１撮像画
   像及び第２撮像画像に撮像された前記指示体の画像とを比較して、前記指示体が静止した
   状態にあるか否かを判定する、請求項１から３のいずれか一項に記載の操作検出方法。
5. 異なる撮像視点から操作面を撮像した第１撮像画像及び第２撮像画像を、前記操作面に
   キャリブレーションされた画像に変換する変換部と、
   変換された前記第１撮像画像と前記第２撮像画像とに撮像された指示体の画像に基づい
   て、前記指示体が前記操作面に接触し、静止した状態にあるか否かを判定する第１判定部
   と、
   前記操作面に接触し、静止した状態にあると判定したときの第１撮像画像を第１基準画
   像として選択し、選択した前記第１基準画像と第１撮像画像とに撮像された前記指示体の
   位置の差を算出する第１算出部と、
   前記操作面に接触し、静止した状態にあると判定したときの第２撮像画像を第２基準画
   像として選択し、選択した前記第２基準画像と第２撮像画像とに撮像された前記指示体の
   位置の差を算出する第２算出部と、
   前記第１算出部により算出した前記位置の差と、前記第２算出部により算出した前記位
   置の差とに基づいて、前記指示体が前記操作面から離れたか否かを判定する第２判定部と
   、
   を備える、操作検出装置。
6. 撮像視点が異なる第１撮像部及び第２撮像部を備える撮像装置と、
   前記第１撮像部により操作面を撮像した第１撮像画像、及び第２撮像部により前記操作
   面を撮像した第２撮像画像を、前記操作面にキャリブレーションされた画像に変換する変
   換部と、
   変換された前記第１撮像画像と前記第２撮像画像とに撮像された指示体の画像に基づい
   て、前記指示体が前記操作面に接触し、静止した状態にあるか否かを判定する第１判定部
   と、
   前記操作面に接触し、静止した状態にあると判定したときの第１撮像画像を第１基準画
   像として選択し、選択した前記第１基準画像と第１撮像画像とに撮像された前記指示体の
   位置の差を算出する第１算出部と、
   前記操作面に接触し、静止した状態にあると判定したときの第２撮像画像を第２基準画
   像として選択し、選択した前記第２基準画像と第２撮像画像とに撮像された前記指示体の
   位置の差を算出する第２算出部と、
   前記第１算出部により算出した前記位置の差と、前記第２算出部により算出した前記位
   置の差とに基づいて、前記指示体が前記操作面から離れたか否かを判定する第２判定部と
   、
   前記第１判定部及び前記第２判定部の判定結果に基づいて、前記操作面に対する前記指
   示体の操作を検出する検出部と、
   前記検出部により検出された前記指示体の操作に対応した画像を前記操作面に表示させ
   る表示部と、を備える表示装置と、
   を備える表示システム。

Images