JP2018113011A - 入出力システム、入力処理装置、入出力方法、及び、プログラム - Google Patents

Abstract

【課題】 スクリーンに投影された画像に対する操作を効果的に検知できる入出力システムを提供する。【解決手段】 入出力システムは、透光性を有するスクリーンと、スクリーンの一方の面に、画像を投影するプロジェクタと、スクリーンの他方の面に光を照射する光源と、スクリーンの一方の面を撮影するカメラと、カメラにより撮影された撮影画像に基づいて、投影された画像に対するユーザの操作を検知する操作検知部とを有する。【選択図】図１

Description

本発明は、プロジェクタを用いた入出力システムに関するものである。

例えば、特許文献１には、目的の画像５０を面５Ａに表示する表示手段と、面５Ａを撮影する撮影手段と、物体８が面５Ａと撮影手段との間の空間４０から離れたことを検知する第一の検知手段と、物体８が空間４０から離れたことが検知された後、面５Ａの所定の位置５１がタッチされたことを検知する第二の検知手段と、所定の位置５１がタッチされたことが検知された後、物体８が空間４０から離れたことを検知する第三の検知手段と、物体が空間４０から離れたことが第三の検知手段によって検知された後、面５Ａを撮影するように撮影手段を制御する撮影制御手段と、を有する画像表示撮影システムが開示されている。

特開２０１５−２１５７２０号公報

本発明は、スクリーンに投影された画像に対する操作を効果的に検知できる入出力システムを提供することを目的とする。

本発明に係る入出力システムは、透光性を有するスクリーンと、前記スクリーンの一方の面に、画像を投影するプロジェクタと、前記スクリーンの他方の面に光を照射する光源と、前記スクリーンの一方の面を撮影するカメラと、前記カメラにより撮影された撮影画像に基づいて、投影された画像に対するユーザの操作を検知する操作検知部とを有する。

好適には、前記操作検知部は、前記カメラにより撮影された撮影画像から、前記光源により照射された光をユーザが遮ることにより生じる影を抽出して、ユーザの操作を検知する。

好適には、前記カメラは、複数のタイミングで撮影し、前記カメラにより撮影された複数の撮影画像に基づいて、ユーザの影の大きさの変化を特定する変化特定部と、前記変化特定部により特定された変化に基づいて、前記スクリーンからユーザまでの距離を特定する距離特定部とをさらに有し、前記操作検知部は、前記距離特定部により特定された距離に基づいて、ユーザの操作を検知する。

好適には、前記カメラは、複数のタイミングで撮影し、前記カメラにより撮影された複数の撮影画像に基づいて、ユーザの影の濃淡の変化を特定する変化特定部と、前記変化特定部により特定された変化に基づいて、前記スクリーンからユーザまでの距離を特定する距離特定部とをさらに有し、前記操作検知部は、前記距離特定部により特定された距離に基づいて、ユーザの操作を検知する。

好適には、前記カメラにより撮影された撮影画像に基づいて、ユーザの影の形状を特定する形状特定部をさらに有し、前記操作検知部は、前記形状特定部により特定された形状に基づいて、ユーザの操作内容を決定する。

好適には、前記スクリーンには、微小な貫通孔が複数配列されている。
好適には、前記プロジェクタから照射される光を前記スクリーンに反射させる反射鏡をさらに有し、前記カメラは、前記プロジェクタの近傍に配置され、前記反射鏡により映った前記スクリーンを撮影する。

好適には、ズームレンズをさらに有し、前記カメラは、前記プロジェクタの投影範囲に応じて前記ズームレンズによって調整された画角で、撮影する。

好適には、前記プロジェクタの投影方向と、前記カメラの撮影方向が一致するように、前記プロジェクタと前記カメラとを連結させる連結部材をさらに有する。

好適には、前記プロジェクタは、キャリブレーション用画像を前記スクリーンに投影し、前記カメラは、前記スクリーンに投影されたキャリブレーション用画像を撮影し、前記カメラにより撮影されたキャリブレーション用画像に基づいて、前記スクリーンに設けられた貫通孔の位置を特定する孔位置特定部をさらに有し、前記操作検知部は、前記孔位置特定部により特定された位置の画素値に基づいて、ユーザの操作を検知する。
好適には、前記スクリーンは、網目状のシートで構成されている。

また、本発明に係る入出力システムは、透光性を有するスクリーンと、前記スクリーンの一方の面に、画像を投影するプロジェクタと、前記スクリーンに対して、前記プロジェクタとは異なる角度で光を照射する光源と、前記光源から見て、前記スクリーンの裏側に配置された第２のスクリーンと、前記第２のスクリーンを撮影するカメラと、前記カメラにより撮影された撮影画像に基づいて、投影された画像に対するユーザの操作を検知する操作検知部とを有する。

また、本発明に係る入力処理装置は、入力された画像データに基づいて、スクリーンに投影された影の大きさ又は濃度の変化を特定する変化特定部と、前記変化特定部により特定された変化に基づいて、前記スクリーンからユーザまでの距離を特定する距離特定部と、前記距離特定部により特定された距離に基づいて、ユーザの操作を検知する操作検知部とを有する。

また、本発明に係る入出力方法は、透光性を有するスクリーンの一方の面に、プロジェクタが画像を投影するステップと、前記スクリーンの他方の面に光を照射するステップと、前記スクリーンの一方の面をカメラが撮影するステップと、前記カメラにより撮影された撮影画像に基づいて、投影された画像に対するユーザの操作を検知するステップとを有する。

また、本発明に係るプログラムは、入力された画像データに基づいて、スクリーンに投影された影の大きさ又は濃度の変化を特定する変化特定機能と、前記変化特定機能により特定された変化に基づいて、前記スクリーンからユーザまでの距離を特定する距離特定機能と、前記距離特定機能により特定された距離に基づいて、ユーザの操作を検知する操作検知機能とをコンピュータに実現させる。

本発明によれば、スクリーンに投影された画像に対する操作を効果的に検知できる。

第１の実施形態における入出力システム１の概要を説明する図である。 図１のプロジェクタ２２及びカメラ２４の構成をより詳細に説明する図である。 図１のスクリーン３０をより詳細に説明する図である。 入出力処理装置１０のハードウェア構成を例示する図である。 入出力処理装置１０の機能構成を例示する図である。 図５の操作検知部５５０をより詳細に説明する図である。 ユーザの影領域を例示する図である。 キャリブレーションを説明する図である。 影領域の大きさとユーザ操作の関係を説明する図である。 影の濃淡とユーザ操作の関係を説明する図である。 ユーザの操作位置とエフェクト画像の関係を説明する図である。 入出力システム１におけるキャリブレーション処理（Ｓ１０）を説明するフローチャートである。 入出力システム１における操作検知処理（Ｓ２０）を説明するフローチャートである。 第１の実施形態の変形例を例示する図である。 第２の実施形態における入出力システム１の概要を説明する図である。

［第１の実施形態］
本発明の第１の実施形態を、各図面に基づいて説明する。
図１は、第１の実施形態における入出力システム１の概要を説明する図である。
図１に示すように、本実施形態の入出力システム１は、入出力処理装置１０と、プロジェクタ２２と、カメラ２４と、スクリーン３０と、照明装置４０とを有する。
入出力処理装置１０は、コンピュータ端末であり、プロジェクタ２２を制御して画像を出力させ、カメラ２４を制御してユーザの入力操作を受け付ける。

プロジェクタ２２は、画像を投影する投影装置である。本例のプロジェクタ２２は、入出力処理装置１０から入力される画像データに基づいて、スクリーン３０に画像を投影する。
カメラ２４は、静止画像又は動画像を撮影する撮影装置であり、複数のタイミングで画像を撮影する。本例のカメラ２４は、スクリーン３０のうち、プロジェクタ２２により画像が投影される面と同じ面を撮影するデジタルカメラである。なお、カメラ２４は、スクリーン３０を透過する光を複数の位置で検知できる光センサであってもよい。

スクリーン３０は、透光性を有するスクリーンである。スクリーン３０は、半透明なシートであってもよいし、微小な孔が多数設けられたシートであってもよい。本例のスクリーン３０は、複数の孔が配列されたシートである。
照明装置４０は、電球、蛍光灯、又はＬＥＤランプなどの、光を照射する照明器具であり、本発明に係る光源の一例である。照明装置４０は、スクリーン３０のうち、プロジェクタ２２が画像を投影する面の裏面に、光を照射できる位置に配置される。

本実施形態の入出力システム１では、上記構成によって、プロジェクタ２２により投影された画像がスクリーン３０を透過してユーザが視認可能になると共に、ユーザが、投影された画像に対して、スクリーン３０に近づいてアクションを行うと、照明装置４０から照射された光による影がスクリーン３０に投影され、スクリーン３０に投影されたユーザの影がカメラ２４により撮影される。そして、入出力処理装置１０は、カメラ２４により撮影されたユーザの影に基づいて、スクリーン３０の近傍におけるユーザの既定のアクションを、ユーザの入力操作として検知する。

図２は、図１のプロジェクタ２２及びカメラ２４の構成をより詳細に説明する図である。
図２に例示するように、本例のプロジェクタ２２は、連結部材２３によって、カメラ２４に連結されている。本例のカメラ２４は、連結部材２３によって、プロジェクタ２２の投影方向と同じ方向を撮影できるように保持されている。さらに、本例のカメラ２４は、プロジェクタ２２の投影範囲全体を撮影できるように、画角を調整するためのズームレンズ２４２を有する。
連結部材２３の内部には、電源ケーブル及び通信ケーブルが通されており、共通電源ケーブル２５０から供給される電力は、プロジェクタ２２及びカメラ２４に供給され、共通通信ケーブル２５２を介して送受信される通信信号は、プロジェクタ２２及びカメラ２４に分配される。

図３は、図１のスクリーン３０をより詳細に説明する図である。
図３（Ａ）に例示するように、スクリーン３０は、規則的に配列された微小な貫通孔を多数有する。貫通孔の間隔は、操作検知の精度に応じて既定されている。
例えば、スクリーン３０の貫通孔は、図３（Ｂ）に例示するように、複数の針が規則的に配列された治具によって、スクリーン３０の表面に形成される。貫通孔は、スクリーン３０の全体に配置されていてもよいし、一部のみに配置されていてもよい。
なお、上記治具によって貫通孔が設けられたものに限定されるものではなく、例えば、織物、編物又は網などのように網目状のシートをスクリーン３０として採用してもよい。

このように、スクリーン３０に無数の小さな貫通孔を設けたことで、影と光のコントラストが上がり、入出力処理装置１０上での影／シルエットの認識精度が向上する。さらに、カメラ２４により撮影された撮影画像上からサンプリングする画素を、貫通孔の位置に制限できるため、処理負荷の軽減が期待でき、操作検知のリアルタイム性が向上する。

図４は、入出力処理装置１０のハードウェア構成を例示する図である。
図４に例示するように、入出力処理装置１０は、ＣＰＵ１００、メモリ１０２、ＨＤＤ１０４、ネットワークインタフェース１０６（ネットワークＩＦ１０６）、表示装置１０８、及び、入力装置１１０を有し、これらの構成はバス１１２を介して互いに接続している。
ＣＰＵ１００は、例えば、中央演算装置である。
メモリ１０２は、例えば、揮発性メモリであり、主記憶装置として機能する。
ＨＤＤ１０４は、例えば、ハードディスクドライブ装置であり、不揮発性の記録装置としてコンピュータプログラム（例えば、図５の入出力プログラム５）やその他のデータファイル（例えば、図５の画像データベース５８０及び設定情報データベース５９０）を格納する。
ネットワークＩＦ１０６は、有線又は無線で通信するためのインタフェースであり、例えば、プロジェクタ２２及びカメラ２４との通信を実現する。
表示装置１０８は、例えば、液晶ディスプレイである。
入力装置１１０は、例えば、キーボード及びマウスである。

図５は、入出力処理装置１０の機能構成を例示する図である。
図５に例示するように、本例の入出力処理装置１０には、入出力プログラム５がインストールされると共に、画像データベース５８０（画像ＤＢ５８０）及び設定情報データベース５９０（設定情報ＤＢ５９０）が構成される。
入出力プログラム５は、画像投影部５００、キャリブレーション実行部５１０、画角調整部５２０、孔位置特定部５３０、サンプリング部５４０、操作検知部５５０、及び操作応答部５７０を有する。
なお、入出力プログラム５の一部又は全部は、ＡＳＩＣなどのハードウェアにより実現されてもよく、また、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の機能を一部借用して実現されてもよい。

入出力プログラム５において、画像投影部５００は、プロジェクタ２２に画像データを送信して、静止画像又は動画像をスクリーン３０に投影させる。本例の画像投影部５００は、画像ＤＢ５８０に記録されたコンテンツ（プレゼンテーション画像やゲーム画像など）の画像データを読み出し、読み出された画像データをプロジェクタ２２に送信する。さらに、本例の画像投影部５００は、キャリブレーション実行部５１０の指示に応じて、キャリブレーション用画像の画像データをプロジェクタ２２に送信する。

キャリブレーション実行部５１０は、プロジェクタ２２にキャリブレーション用画像を投影させ、カメラ２４により撮影されたキャリブレーション用画像に基づいて、キャリブレーションを実行する。キャリブレーション用画像には、既定の位置に、既定の画像パターンが配置されている。本例のキャリブレーション実行部５１０は、カメラ２４により撮影されたキャリブレーション用画像に基づいて、ユーザの操作を検知する範囲と、ユーザの操作を検知するための画素値の基準値とを決定する。

画角調整部５２０は、プロジェクタ２２の投影範囲に応じて、カメラ２４の画角を調整する。例えば、画角調整部５２０は、プロジェクタ２２に設けられたズームレンズのズーム量を取得し、取得されたズーム量に応じて、カメラ２４のズームレンズ２４２を調整する。また、画角調整部５２０は、キャリブレーション実行部５１０により決定されたユーザ操作の検知範囲に応じて、ズームレンズ２４２のズーム量を調整してもよい。

孔位置特定部５３０は、スクリーン３０に設けられた貫通孔の位置を特定する。特定される貫通孔の位置は、貫通孔の間隔だけ、又は、貫通孔の相対位置だけであってもよい。
本例の孔位置特定部５３０は、カメラ２４により撮影されたキャリブレーション用画像に基づいて、キャリブレーション用画像の黒領域において、光が透過する位置を特定する。

サンプリング部５４０は、孔位置特定部５３０により特定された貫通孔の位置において、カメラ２４により撮影された画像の中から、画素値のサンプリングを行う。サンプリングされる画素値は、画像データのＲＧＢ値そのものでもよいし、Ｌａｂ色空間のＬ値などの明度又は輝度のみでもよい。

操作検知部５５０は、カメラ２４により撮影された画像に基づいて、ユーザの操作を検知する。本例の操作検知部５５０は、サンプリング部５４０によりサンプリングされた画素値に基づいて、ユーザの操作を検知する。

操作応答部５７０は、操作検知部５５０によりユーザの操作が検知された場合に、操作が検知されたことを示唆する応答信号を出力する。例えば、操作応答部５７０は、操作検知部５５０によりユーザの操作が検知された場合に、その旨を示す音声又は画像を出力させる。本例の操作応答部５７０は、操作検知部５５０によりユーザの操作が検知された場合に、検知された操作内容に対応するエフェクト画像を、操作が検知された位置の近傍に追加合成して、プロジェクタ２２に投影させる。

図６は、図５の操作検知部５５０をより詳細に説明する図である。
図６に例示するように、操作検知部５５０は、濃度変化特定部５５２と、大きさ変化特定部５５４と、距離特定部５５６と、形状特定部５５８と、操作内容決定部５６０とを有する。
濃度変化特定部５５２は、カメラ２４により複数のタイミングで撮影された複数の画像データから、照明装置４０から照射された光をユーザが遮ることにより生じる影を抽出し、抽出された影領域の画素値に基づいて、影の濃淡の変化を特定する。本例の濃度変化特定部５５２は、サンプリング部５４０によりサンプリングされた画素値のうち、基準値よりも暗い画素値が集まった領域を影領域として抽出し、複数のタイミングで撮影された画像の影領域の画素値を比較して、画素値の増減を影の濃淡の変化とする。

大きさ変化特定部５５４は、カメラ２４により複数のタイミングで撮影された複数の画像データから、照明装置４０から照射された光をユーザが遮ることにより生じる影を抽出し、抽出された影領域の大きさを比較して、影の大きさの変化を特定する。本例の大きさ変化特定部５５４は、サンプリング部５４０によりサンプリングされた画素値のうち、基準値よりも暗い画素値が連続する領域を影領域として抽出し、複数のタイミングで撮影された画像の影領域の広さを比較して、影領域の広さの増減を影の大きさの変化とする。

距離特定部５５６は、濃度変化特定部５５２により特定された濃淡の変化、又は、大きさ変化特定部５５４により特定された影領域の大きさの変化に基づいて、スクリーン３０からユーザまでの距離を特定する。ここで、距離の特定とは、実際の距離（数値）を測定することに限定されるものではなく、距離の変化状況（近づいている／遠ざかっている、或いは、最も近づいた瞬間）であってもよいし、基準値よりも近い又は遠いという判定結果であってもよい。
本例の距離特定部５５６は、濃度変化特定部５５２により特定された濃淡の変化、及び、大きさ変化特定部５５４により特定された影領域の大きさの変化に基づいて、ユーザの体又は所持品がスクリーン３０に最も近づいたタイミングにおいて、最近接点が基準値よりも近いか否かを判定する。

形状特定部５５８は、カメラ２４により撮影された撮影画像に基づいて、ユーザの影の形状を特定する。本例の形状特定部５５８は、距離特定部５５６により最近接点が基準値よりも近いと判定された時の、影領域の形状を特定する。

操作内容決定部５６０は、形状特定部５５８により特定された影領域の形状に基づいて、ユーザの操作内容を決定する。本例では、設定情報ＤＢ５９０に複数の操作内容（例えば、選択、コピー、ペースト）と複数の形状（例えば、グー、チョキ、パーの影形状）とが互いに関連付けて登録されており、操作内容決定部５６０は、形状特定部５５８により特定された形状と、設定情報ＤＢ５９０に登録された形状とを比較して、最も近似する形状に関連付けられた操作内容をユーザの操作内容であると決定する。

図７は、ユーザの影領域を例示する図である。
図７に例示するように、本例のスクリーン３０には、複数の貫通孔が設けられており、照明装置４０から照射された光は、スクリーン３０の貫通孔を通って、カメラ２４により撮影される。その際に、ユーザの体の一部又は所持品が、スクリーン３０と、照明装置４０との間に存在すると、照明装置４０から照射された光が遮られ、スクリーン３０に影ができる。この影は、カメラ２４で撮影可能となる。

図８は、キャリブレーションを説明する図である。
図８に例示するように、キャリブレーションが実行される際には、カメラ２４の撮影範囲は、ズームレンズ２４２によって、プロジェクタ２２の投影範囲を包含するように調整されている。
プロジェクタ２２は、キャリブレーション用の画像を投影し、ユーザに、スクリーン３０に投影された画像領域の周縁部をタッチするように促す。カメラ２４は、ユーザがスクリーン３０をタッチした際の画像を撮影し、少なくともタッチされた位置を含むようにズームレンズ２４２を調整する。
入出力処理装置１０のキャリブレーション実行部５１０は、ユーザがスクリーン３０をタッチした際の画像に基づいて、サンプリング部５４０がサンプリングする領域を設定し、さらに、操作検知部５５０が操作検知に用いる基準値を設定する。基準値は、例えば、ユーザの操作を監視し始める第１の基準値（ＲＧＢ値）と、ユーザが操作したと判定するための第２の基準値（ＲＧＢ値）とを含む。すなわち、操作検知部５５０は、カメラ２４により撮影される画像の中に、第１の基準値よりも暗い画像領域を発見した場合に、この画像領域の濃度及び大きさの変化を監視し、監視中の画像領域において、第２の基準値よりも暗い画像領域を発見した場合に、ユーザの操作が検知されたものとする。

図９は、影領域の大きさとユーザ操作の関係を説明する図である。
図９に例示するように、ユーザが光源（照明装置４０）から遠ざかるほど、ユーザの影が小さくなり、ユーザが光源に近づくほど、ユーザの影が大きくなる。換言すると、ユーザがスクリーン３０に近づくほど、スクリーン３０に投影されるユーザの影領域が小さくなり、ユーザがスクリーン３０から遠ざかるほど、スクリーン３０に投影されるユーザの影領域は大きくなる。本例の大きさ変化特定部５５４は、この現象を捉え、距離特定部５５６は、大きさ変化特定部５５４により特定された影領域の大きさの変化に基づいて、ユーザからスクリーン３０までの距離を推定する。そして、操作検知部５５０は、距離特定部５５６により推定された距離に基づいて、ユーザがスクリーン３０に近づいた時に、投影される画像に対してユーザが操作を行ったと判定する。

図１０は、影の濃淡とユーザ操作の関係を説明する図である。
図１０に例示するように、遮蔽物（ユーザの指先や所持品など）がスクリーン３０に近づくほど、スクリーン３０に投影される影が濃くなり、遮蔽物がスクリーン３０から遠ざかるほど、スクリーン３０に投影される影が薄くなる。すなわち、スクリーン３０に投影される影領域のうち、より黒色に近い領域が、スクリーン３０に近いと推定される。本例の濃度変化特定部５５２は、この現象を捉え、距離特定部５５６は、濃度変化特定部５５２により特定された影領域の濃淡の変化に基づいて、遮蔽物（ユーザ）からスクリーン３０までの距離を推定する。そして、本例の操作検知部５５０は、距離特定部５５６により推定された距離に基づいて、遮蔽物（ユーザ）がスクリーン３０に最も近づいた瞬間を、投影される画像に対してユーザが操作を行ったタイミングであると判定する。

なお、本例では、影領域の大きさと濃淡の両方を用いる形態を具体例として説明しているが、これに限定されるものではなく、影領域の大きさ（大きさ変化特定部５５４）、又は、影の濃淡（濃度変化特定部５５２）の一方のみを用いて、ユーザの操作を検知してもよい。例えば、濃度変化特定部５２２が、ユーザ操作の影の濃度が既定値以上となったと判定した時に、ユーザがスクリーン３０にタッチしたと判定してもよい。このように、影の濃度のみでユーザ操作の有無を判定することにより、入出力処理装置１０は、より軽い処理負荷で高速にユーザ操作を検知できる。

図１１は、ユーザの操作位置とエフェクト画像の関係を説明する図である。
図１１に例示するように、スクリーン３０に投影される影の位置が、ユーザにより操作（タッチ操作）された位置であると推定できる。そこで、本例の操作応答部５７０は、操作検知部５５０によりユーザの操作が検知された位置に、エフェクト画像を合成し、プロジェクタ２２に投影させる。なお、プロジェクタ２２に投影される画像上の位置と、スクリーン３０における位置は、キャリブレーション実行部５１０のキャリブレーションによって対応付けられている。
また、形状特定部５５８は、図１１に例示するように、既定よりも濃い影領域を抽出して、影の形状とする。

図１２は、入出力システム１におけるキャリブレーション処理（Ｓ１０）を説明するフローチャートである。なお、照明装置４０が点灯された状態でキャリブレーション処理が実施される。
図１２に例示するように、ステップ１００（Ｓ１００）において、キャリブレーション実行部５１０は、画像投影部５００に対して、キャリブレーション用画像を投影するよう指示し、画像投影部５００は、プロジェクタ２２に対して、キャリブレーション用画像の画像データを送信する。
プロジェクタ２２は、キャリブレーション用画像をスクリーン３０に投影する。

ステップ１０５（Ｓ１０５）において、カメラ２４は、ズームレンズ２４２を最広角に設定した状態で、スクリーン３０に投影されたキャリブレーション用画像を撮影し、撮影された画像データを入出力処理装置１０に送信する。

ステップ１１０（Ｓ１１０）において、画角調整部５２０は、カメラ２４から受信したキャリブレーション用画像の画像データに基づいて、ズームレンズ２４２を調整し、キャリブレーション用画像の投影範囲にカメラ２４の画角を合わせる。

ステップ１１５（Ｓ１１５）において、カメラ２４は、ズームレンズ２４２の調整後、再度、キャリブレーション用画像を撮影し、画角調整部５２０は、プロジェクタ２２の投影範囲が画角に合っているか否かを判定する。キャリブレーション処理（Ｓ１０）は、画角が合っている場合に、Ｓ１２０の処理に移行し、画角が合っていない場合に、Ｓ１０５の処理に戻る。

ステップ１２０（Ｓ１２０）において、孔位置特定部５３０は、画角調整後のカメラ２４により撮影されたキャリブレーション用画像に基づいて、スクリーン３０の貫通孔の位置を特定する。特定される貫通孔の位置は、例えば、サンプリングの開始端及び終端の位置と、サンプリングの間隔とのセットである。

ステップ１２５（Ｓ１２５）において、キャリブレーション実行部５１０は、ユーザにスクリーン３０の既定位置のタッチを促す。例えば、キャリブレーション実行部５１０は、キャリブレーション用画像に、数字を配置し、「数字を順にタッチして下さい。」というメッセージを合成して、プロジェクタ２２に投影させる。

ステップ１３０（Ｓ１３０）において、キャリブレーション実行部５１０は、操作検知部５５０に対して、デフォルト基準値によるタッチ操作の検知を指示する。キャリブレーション処理（Ｓ１０）は、全てのタッチ位置でタッチ操作が検知された場合に、Ｓ１３５の処理に移行し、いずれかのタッチ位置でタッチ操作が検知されていない場合に、Ｓ１２５の処理に戻る。

ステップ１３５（Ｓ１３５）において、キャリブレーション実行部５１０は、操作検知部５５０により検知されたタッチ操作の位置と、画像上の位置（例えば、数字が配置された位置）とを対応付けて、設定情報ＤＢ５９０に登録する。さらに、キャリブレーション実行部５１０は、操作検知部５５０により検知されたタッチ操作の画素値に基づいて、第１の基準値及び第２の基準値を決定し、決定された基準値を設定情報ＤＢ５９０に登録する。

図１３は、入出力システム１における操作検知処理（Ｓ２０）を説明するフローチャートである。なお、本例の操作検知処理（Ｓ２０）は、キャリブレーション処理（Ｓ１０）が完了していることを前提として説明する。また、操作検知処理（Ｓ２０）と並行して、画像投影部５００は、プロジェクタ２２に所望の画像（プレゼンテーション画像、ゲーム画像など）をスクリーン３０に投影させている。
図１３に例示するように、ステップ２００（Ｓ２００）において、カメラ２４は、定期的にスクリーン３０を撮影し、撮影した画像データを入出力処理装置１０に送信する。
入出力処理装置１０のサンプリング部５４０は、カメラ２４から受信した画像データについて、孔位置特定部５３０により特定された画素位置で画素値をサンプリングする。
操作検知部５５０は、サンプリング部５４０によりサンプリングされた画素値と、第１の基準値とを比較して、第１の基準値よりも暗い画素が存在するか否かを判定する。
操作検知処理（Ｓ２０）は、操作検知部５５０により第１の基準値よりも暗い画素が発見された場合に、Ｓ２０５の処理に移行し、第１の基準値よりも暗い画素が発見されなかった場合に、Ｓ２００の処理に戻る。

ステップ２０５（Ｓ２０５）において、操作検知部５５０の濃度変化特定部５５２は、第１の基準値よりも暗い画素について、濃度変化の監視を開始する。大きさ変化特定部５５４は、第１の基準値よりも暗い画素について、影領域の大きさ変化の監視を開始する。
距離測定部５５６は、濃度変化特定部５５２により特定された濃淡の変化、及び、大きさ変化特定部５５４により特定された影領域の大きさの変化に基づいて、スクリーン３０からユーザまでの距離を算出する。

ステップ２１０（Ｓ２１０）において、操作検知部５５０は、距離測定部５５６により算出される距離に基づいて、ユーザの操作の有無を決定する。例えば、操作検知部５５０は、距離測定部５５６により算出される距離が既定値以下であり、かつ、その影領域に含まれる画素が第２の基準値よりも暗いと判断された場合に、ユーザの操作があったと判断する。
操作検知処理（Ｓ２０）は、ユーザの操作が検知された場合に、Ｓ２１５の処理に移行し、ユーザの操作が検知されなかった場合に、Ｓ２００の処理に戻る。

ステップ２１５（Ｓ２１５）において、形状特定部５５８は、サンプリング５４０によりサンプリングされた画素値に基づいて、影領域の形状を特定する。
ステップ２２０（Ｓ２２０）において、操作内容決定部５６０は、形状特定部５５８により特定された影領域の形状と、設定情報ＤＢ５９０に登録された形状とを比較して、ユーザの操作内容を決定する。

ステップ２２５（Ｓ２２５）において、操作応答部５７０は、操作内容決定部５６０により決定された操作内容に対応するエフェクト画像を操作検知位置に合成し、画像投影部５００に投影させる。
プロジェクタ２２は、操作応答部５７０によりエフェクト画像が合成された画像をスクリーン３０に投影する。

以上説明したように、本実施形態の入出力システム１によれば、入出力処理装置１０が、スクリーン３０を透過して映ったユーザの影を取込んで各画素の値（ＲＧＢ値など）を比較するだけなので、比較的低い処理負荷でユーザの操作を検知できる。特に、各画素の値を影に近い色、あるいは黒色と比較するだけで、自動でユーザの等身大のシルエットがリアルタイムで取得でき、通常のカメラで直接人体の画像取り込んで形状等から判断するモーションキャプチャー等の技術と比して処理が高速である。
カメラ２４と光源（照明装置４０など）さえあれば良いので設置が簡便である。また、圧電素子を使ったタッチパネル等と違い、スクリーンに配線の必要が無い上に、ユーザの形状もリアルタイム取込める。
スクリーン上のカメラ２４で撮影できる範囲であれば、どの大きさでも対応できるため、例えば、２００インチを超える大型スクリーンに本入出力システムは適用可である。さらに、ユーザのスクリーン上の位置も取り込め、ユーザがスクリーン３０から遠のいたり近づいた事による影の拡大と縮小から、ユーザとスクリーンの距離をリアルタイムで推定できる。
また、透過型スクリーンを使用しているため、ユーザがスクリーン３０に近づいても、ユーザがプロジェクタ２２の光路を遮ることがないため快適な視聴が可能である。

［変形例］
図１４は、第１の実施形態の変形例を例示する図である。なお、本図に示された各構成のうち、図１に示された構成と実質的に同一のものには同一の符号が付されている。
図１４に例示するように、テーブル型筐体６００からなる入出力システム１としてもよい。テーブル形状のテーブル型筐体６００の天板部分には、スクリーン３０が略水平に配置されている。
このスクリーン３０の下方には、反射鏡６０４が設けられ、スクリーン３０の上方には照明装置４０が設けられている。
プロジェクタ２２は、水平方向で反射鏡６０４に光を照射できる位置に配置され、カメラ２４も同様に反射鏡６０４を水平方向から撮影できる位置に配置される。反射鏡６０４は、プロジェクタ２２から照射された光を真上のスクリーン３０に反射し、かつ、照明装置４０からスクリーン３０を透過する光をカメラ２４の方向に反射するように固定されている。
本変形例によれば、ユーザは、テーブルの天板をタッチ操作しながら、コンテンツを視聴することができる。

［第２の実施形態］
図１５は、第２の実施形態における入出力システム１の概要を説明する図である。なお、本図に示された各構成のうち、図１に示された構成と実質的に同一のものには同一の符号が付されている。
図１５に例示するように、第２の実施形態における入出力システム１は、プロジェクタ２２が画像を投影するスクリーン３０に加えて、ユーザ操作の影を投影するための検知用スクリーン３２を有する。
検知用スクリーン３２は、プロジェクタ２２が投影するスクリーン３０とは異なる方向を向いて配置される。本例のカメラ２４は、この検知用スクリーン３２を撮影できる位置に配置され、本例の照明装置４０は、スクリーン３０に対して斜めに光を照射し、かつ、スクリーン３０越しに、検知用スクリーン３２に光を照射できる位置に配置される。すなわち、検知用スクリーン３２は、照明装置４０から照射され、スクリーン３０を透過した光が投影される位置及び向きに配置される。加えて、検知用スクリーン３２は、プロジェクタ２２から照射される光が投影されない位置に配置されることが好ましい。
なお、本例の検知用スクリーン３２は、プロジェクタ２２と直交する向きに配置されているが、これに限定されるものではない。

本実施形態の入出力処理装置１０は、カメラ２４により撮影された画像（検知用スクリーン３２に投影された影）に対して、補正処理を施し、補正された画像に基づいて、ユーザの操作を検知する。
このように、本実施形態の入出力システム１は、第１の実施形態に比べて、プロジェクタ２２が投影した画像と、ユーザ操作の影に相当する画像とを容易に分離できる。すなわち、第１の実施形態では、プロジェクタ２２が画像を投影するスクリーンが、ユーザ操作の影を投影するスクリーンを兼ねていたが、本実施形態では、ユーザ操作の影を投影するための検知用スクリーン３２を別途設けたため、プロジェクタによる投影画像と、ユーザ操作の影とを容易に分離できる。

１ 入出力システム
１０ 入出力処理装置
２２ プロジェクタ
２４ カメラ
３０ スクリーン
３２ 検知用スクリーン
４０ 照明装置
５ 入出力プログラム

Claims (5)

1. 透光性を有するスクリーンと、
   前記スクリーンの一方の面に、画像を投影するプロジェクタと、
   前記スクリーンの他方の面に光を照射する光源と、
   前記スクリーンの一方の面を撮影するカメラと、
   前記カメラにより撮影された撮影画像に基づいて、投影された画像に対するユーザの操作を検知する操作検知部と
   を有する入出力システム。
2. 前記操作検知部は、前記カメラにより撮影された撮影画像から、前記光源により照射された光をユーザが遮ることにより生じる影を抽出して、ユーザの操作を検知する
   請求項１に記載の入出力システム。
3. 入力された画像データに基づいて、スクリーンに投影された影の大きさ又は濃度の変化を特定する変化特定部と、
   前記変化特定部により特定された変化に基づいて、前記スクリーンからユーザまでの距離を特定する距離特定部と、
   前記距離特定部により特定された距離に基づいて、ユーザの操作を検知する操作検知部と
   を有する入力処理装置。
4. 透光性を有するスクリーンの一方の面に、プロジェクタが画像を投影するステップと、
   前記スクリーンの他方の面に光を照射するステップと、
   前記スクリーンの一方の面をカメラが撮影するステップと、
   前記カメラにより撮影された撮影画像に基づいて、投影された画像に対するユーザの操作を検知するステップと
   を有する入出力方法。
5. 入力された画像データに基づいて、スクリーンに投影された影の大きさ又は濃度の変化を特定する変化特定機能と、
   前記変化特定機能により特定された変化に基づいて、前記スクリーンからユーザまでの距離を特定する距離特定機能と、
   前記距離特定機能により特定された距離に基づいて、ユーザの操作を検知する操作検知機能と
   をコンピュータに実現させるプログラム。

Images