JP2007172303A - 情報入力システム - Google Patents

Abstract

【課題】コンピュータへの情報の入力を指先などの指示手段の単純な動作で可能とする。
【解決手段】コンピュータへの情報の入力操作を行うための操作用画面画像を投写可能なプロジェクタと、操作用画面画像を撮像して得られた撮像画像データをコンピュータに送信可能な撮像装置とを有し、入力操作として操作者が操作画面用画像の所定位置を指示手段で指示すると、指示した位置を撮像画像データに基づいて入力操作位置として検出して、検出した入力操作位置に前記プロジェクタによってポインタの表示を行う情報入力システムであって、指示手段が前記入力操作位置において静止状態を保持している時間を静止時間として求め、求められた静止時間が所定時間に達したか否かを判定する静止時間判定部５３２と、静止時間が所定時間に達したと判定されると入力操作位置における入力操作が実行されたことを示す入力操作情報を生成する入力操作情報生成部５３３とを有する。
【選択図】図４

Description

本発明は、コンピュータへの情報入力が可能な情報入力システム、情報入力システムにおける情報入力方法及び情報入力システムにおける情報入力プログラムに関する。

コンピュータなどへの情報入力は、マウスやキーボードによって行うのが一般的である。たとえば、マウスによって位置情報などを入力する場合は、操作者はコンピュータ画面を見ながら机の上でマウスを操作することによって入力を行う。

このような操作は机上でのマウスの操作位置とコンピュータ画面上の情報の入力位置とが離れているため、感覚的な入力を行うような場合、操作者は違和感を覚えることもある。これを解消するために、画面上にタッチセンサ機能を有するものがある。このタッチセンサは、操作者が行う情報の入力位置と実際の情報の入力位置とが一致し、かつ、操作者が実際に情報の入力位置をタッチするので、感触的なフィードバックが得られるといった利点を有する。しかし、単に、位置情報入力手段としてのタッチパネルを設けるのは、装置が大掛かりとなるとともにコスト的にも問題がある。

一方、最近では、コンピュータを意識しないマンマシンインタフェースを有する情報入力システムも種々提案されている（たとえば、特許文献１及び特許文献２参照）。
特許文献１に開示された技術は、机型の平面ディスプレイ画面にプロジェクタによって投写された文書画像を操作者のジェスチャによって操作可能とするものであり、たとえば、平面ディスプレイ画面上に表示された文書画像を操作者の手で平面ディスプレイ画面上の任意の位置に移動させたり、ページめくりを行ったりといった操作を平面ディスプレイ画面上で可能とする。

また、特許文献２に開示された技術は、プロジェクタによってキーボード及び操作画面を含む操作画面画像を机上に投写し、操作者は机上に投写された操作画面画像上で情報入力を可能とするものである。

特開平７−８４７１５号公報 特開２０００−２９８５４４号公報

特許文献１に開示された技術は、平面ディスプレイ画面上に表示されたオブジェクトを、あたかも実際に存在するものを操作しているかのような感覚で操作可能とするものであるが、操作者は文書画像に対する様々な操作に対応して設定されたジェスチャを行い、それを撮像装置で撮像して、その撮像画像データから操作者の行ったジェスチャを認識して、認識結果に応じた処理を行うものである。このため、操作者は様々な操作に対応する特別なジェスチャを覚えて、操作に対応したジェスチャを行う必要がある。

また、特許文献２に開示された技術は、プロジェクタによって操作画面画像を机上に投写して、操作画面画像上のキーボードから文字などを入力したり、操作画面画像上のポインタやアイコンを操作可能とするものであるが、この特許文献２も特許文献１と同様、操作者が行う様々な手の動きから操作者がどのような入力操作を行ったかを識別するようにしている。

特許文献２においては、たとえば、操作画面画像上に表示されたカーソルなどのポインタの画像を移動させる場合、指先でポインタの画像を指示して所望とする位置に移動させたのち位置の確定を行う際は、確定すべき位置で、ポインタを指示している指の隣の指を突き出すといったしぐさを行う。また、アイコンを移動する場合には、アイコンを２本の指先で挟むようなしぐさをして移動させるといった操作を行う。

このように、特許文献２において設定されている指先のしぐさは、日常において、ごく普通に行われるものではない不自然なしぐさであるものが多く、また、操作の内容に対応した様々な指先のしぐさを覚える必要があることから、入力操作の習熟度の高くない一般の操作者が容易に行えるものではないと考えられる。

そこで、本発明はコンピュータへの情報の入力を指先などの指示手段の単純な動作で可能とすることで、入力操作の習熟度の高くない一般の操作者が容易に使用できる情報入力システム、情報入力システムにおける情報入力方法及び情報入力システムにおける情報入力プログラムを提供することを目的とする。

（１）本発明の情報入力システムは、コンピュータへの情報の入力操作を行うための操作用画面画像を投写可能なプロジェクタと、前記操作用画面画像を撮像して得られた撮像画像データを前記コンピュータに送信可能な撮像装置とを有し、前記入力操作として操作者が前記操作画面用画像の所定位置を指示手段で指示すると、前記指示した位置を前記撮像画像データに基づいて入力操作位置として検出して、検出した入力操作位置に前記プロジェクタによってポインタの表示を行う情報入力システムであって、前記指示手段が前記入力操作位置において静止状態を保持している時間を静止時間として求め、前記求められた静止時間が所定時間に達したか否かを判定する静止時間判定部と、前記静止時間が前記所定時間に達したと判定されると前記入力操作位置における入力操作が実行されたことを示す入力操作情報を生成する入力操作情報生成部とを有することを特徴とする。

本発明の情報入力システムによれば、コンピュータへの情報の入力操作を行う際は、前記プロジェクタによって投写される操作用画面画像上で所望とする入力操作位置において指示手段を一定時間静止させるだけの操作を行うことにより、入力操作位置情報との実行を示す入力操作情報をコンピュータに与えることができる。これにより、本発明の情報入力システムは、入力操作の習熟度が高くない操作者にも容易に使用可能なマンマシンインタフェースとしての機能を有するものとなる。

（２）前記（１）に記載の情報入力システムにおいて、前記静止時間が前記所定時間に達したと判定された場合に、前記入力操作が実行されたことを前記操作者に示すための表示を行う入力操作表示制御部をさらに有することが好ましい。
このような入力操作表示制御部を設けることにより、入力操作が実行されたことを操作者に示すことができる。これにより、操作者は自身が行った入力操作が実行されたことを知ることができ、操作を行う上で安心感を得ることができる。

（３）前記（２）に記載の情報入力システムにおいて、前記入力操作表示制御部は、前記入力操作が当該入力操作の開始に対応する前記入力操作位置から前記入力操作の終了に対応する入力操作位置まで前記指示手段を移動させる操作である場合、少なくとも、前記入力操作の開始に対応する前記入力操作位置と前記入力操作位置の終了に対応する入力操作位置とで異なった表示を行うことが好ましい。

ここでの入力操作としては、たとえば、線を描くような描画操作を行う場合が想定される。このような描画操作を行う際、少なくとも、前記入力操作の開始に対応する前記入力操作位置と前記入力操作位置の終了に対応する入力操作位置とで異なった表示がなされることにより、操作者は自身の行った描画操作の状態を確認することができ、描画操作の操作性を向上させることができる。

（４）前記（２）または（３）に記載の情報入力システムにおいて、前記入力操作が実行されたことを操作者に示すための表示は、前記ポインタを前記操作者に対し視覚的変化を与えるように表示させることが好ましい。

このように、ポインタを前記操作者に対し視覚的変化を与えるように表示させることにより、操作者は自身の行った入力操作が実行されたことを目で確認することができる。なお、視覚的な変化を与えるような表示としては、たとえば、ポインタの色や形状を変化させたり、ポインタを点滅させるといったことが一例として挙げられる。また、これら色や形状の変化、点滅などを組み合わることも可能である。

（５）前記（１）〜（４）のいずれかに記載の情報入力システムにおいて、前記静止時間判定部は、前記指示手段が前記入力操作位置において静止状態であるか否かを判定する静止状態判定機能を有し、該静止状態判定機能は、前記指示手段の前記入力操作位置におけるずれが、前記所定時間内において所定範囲内であるか否かを判定し、前記入力操作位置におけるずれが前記所定範囲内である場合に前記指示手段が前記入力操作位置において静止状態であると判定することを特徴とする情報入力システム。

静止時間判定部がこのような静止状態判定機能を有することにより、前記指示手段が入力操作位置において静止状態であるか否かを判定することができる。また、指示手段の入力操作位置における位置的なずれに許容範囲を設けるようにしている。なお、入力操作位置を検出する検出精度を高くするには、許容範囲、すなわち、許容される「ずれ」はできるだけ小さいほうが好ましいが、余り小さくすると、操作者の入力操作性を損なうので、これらの点を考慮して最適な値が設定される。

（６）前記（１）〜（５）のいずれかに記載の情報入力システムにおいて、前記指示手段は操作者の指先であって、前記入力操作位置の検出は前記指先を検出することによって行うことが好ましい。
このように、指示手段として操作者の指先とすることにより、他の特別な指示手段を用いることなく、自然な感覚で操作者の意のままに容易に入力することができる。

（７）本発明の情報入力システムにおける情報入力方法は、コンピュータへの情報の入力操作を行うための操作用画面画像を投写可能なプロジェクタと、前記操作用画面画像を撮像して得られた撮像画像データを前記コンピュータに送信可能な撮像装置とを有し、前記入力操作として操作者が前記操作画面用画像の所定位置を指示手段で指示すると、前記指示した位置を前記撮像画像データに基づいて入力操作位置として検出して、検出した入力操作位置に前記プロジェクタによってポインタの表示を行う情報入力システムにおける情報入力方法であって、前記指示手段が前記入力操作位置において静止状態を保持している時間を静止時間として求め、前記求められた静止時間が所定時間に達したか否かを判定するステップと、前記静止時間が前記所定時間に達したと判定されると前記入力操作位置における入力操作が実行されたことを示す入力操作情報を生成するステップとを有することを特徴とする。

本発明の情報入力システムにおける情報入力方法においても前記（１）に記載の情報入力システムと同様の効果が得られる。なお、この（７）に記載の情報入力システムにおける情報入力方法においても前記（２）〜（６）の特徴を有することが好ましい。

（８）本発明の情報入力システムにおける情報入力プログラムは、コンピュータへの情報の入力操作を行うための操作用画面画像を投写可能なプロジェクタと、前記操作用画面画像を撮像して得られた撮像画像データを前記コンピュータに送信可能な撮像装置とを有し、前記入力操作として操作者が前記操作画面用画像の所定位置を指示手段で指示すると、前記指示した位置を前記撮像画像データに基づいて入力操作位置として検出して、検出した入力操作位置に前記プロジェクタによってポインタの表示を行う情報入力システムにおける情報入力プログラムであって、前記コンピュータが、前記指示手段が前記入力操作位置において静止状態を保持している時間を静止時間として求め、前記求められた静止時間が所定時間に達したか否かを判定するステップと、前記静止時間が前記所定時間に達したと判定されると前記入力操作位置における入力操作が実行されたことを示す入力操作情報を生成するステップとを実行可能とすることを特徴とする。

本発明の情報入力システムにおける情報入力プログラムにおいても前記（１）に記載の情報入力システムと同様の効果が得られる。なお、この（８）に記載の情報入力システムにおける情報入力プログラムにおいても前記（２）〜（６）の特徴を有することが好ましい。

図１は本発明の実施形態に係る情報入力システムの外観構成を示す図である。本発明の実施形態に係る情報入力システムは、図１に示すように、机１の作業面２上に操作用画面画像を投写可能に設置されたプロジェクタ３と、該プロジェクタ３によって投写された操作用画面画像を撮像可能に設置された撮像装置４と、図１では図示されないパーソナルコンピュータなどのコンピュータ５（図２参照）とを有している。

図２は本発明の実施形態に係る情報入力システムの構成を示すブロック図である。図２に示すように、プロジェクタ３はコンピュータ５の画像データ出力インタフェース５１に接続され、撮像装置４はコンピュータ５の画像データ入力インタフェース５２に接続されている。なお、コンピュータ５は画像データ出力インタフェース５１、画像データ入力インタフェース５２の他に、コンピュータとしての様々な処理を実行するＣＰＵ５３、主記憶装置５４、補助記憶装置５５などが設けられる。

ここで、コンピュータ５に対する情報の入力操作を行う場合について概略的に説明する。まず、操作者が机１の作業面２上に投写された操作用画面画像に何らかの指示手段（実施形態では手の指先とする）を差し出すと、差し出した指先の先端近傍にポインタが表示される。このとき、撮像装置４は操作用画面画像を所定のフレーム間隔で撮像しており、その撮像画像データをコンピュータ５に送信している。コンピュータ５では撮像装置４からの撮像データに基づいて操作者の指先検出を行う。

この指先検出は、たとえば、背景差分による手画像の抽出や肌色検出による手画像の抽出などを行ったのち、その輪郭に対して指先の特徴を考慮した検出方法などを用いて指先を検出するといった方法によって可能であるが、本発明ではその方法については特に限定されるものではなく、何らかの方法によって指先の検出がなされるものとする。

このような指先検出がなされることにより、操作者が入力操作を行った位置（入力操作位置という）を示す入力操作位置情報がコンピュータで生成されるが、コンピュータ５に対する入力操作を行うには、該入力操作位置情報の他に、入力操作を実行したことを示す情報（入力操作情報という）をコンピュータ５で生成する必要がある。この入力操作情報というのは、たとえば、マウスによる操作を例に取った場合、マウスのボタンを押しているか否かを示す情報に対応する。

なお、入力操作情報は、操作者の指先が静止している時間を用いて生成されるものとする。すなわち、入力操作位置において、操作者の指先が静止している状態（静止状態という）となっているか否かを判定し、指先が静止状態であると判定された場合、その静止状態を保持している時間が予め設定された所定時間（第１のしきい値という）に達したか否かを判定し、静止状態となっている時間が第１のしきい値に達した場合に入力操作情報が生成される。この第１のしきい値については後述する。

ここで、静止状態となっているか否かを判定するには、静止状態となっているか否かを判定するためのしきい値（第２のしきい値という）を設定し、この第２のしきい値と撮像装置４から得られる各フレームの撮像画像データとに基づいて判定する。

具体的には、｜Ｘｆ−Ｘｉ｜≦δを満足するか否かによって静止状態となっているか否かを判定する。ここで、Ｘｆは最新の撮像画像データから得られる入力操作位置、Ｘｉは最新の撮像画像データのフレームを起点として（Ｎ＋１）フレーム前のフレームの入力操作位置であり、これらＸｆ、Ｘｉは撮像装置４の撮像素子の座標値として表される。また、Ｎはその時点において静止状態と判定された連続フレーム数、δは静止状態となっているか否かを判定するために設定された第２のしきい値である。

この第２のしきい値は、入力操作位置における指先の「ずれ」の許容範囲を表すものであり、指先のわずかな「ずれ」は静止状態とみなすことができるような値を設定する。ただし、入力操作位置の検出精度を高くするには、許容される「ずれ」はできるだけ小さいほうが好ましく、具体例を距離で表すとすれば、指先の「ずれ」が半径４ｍｍ以内である場合には許容範囲とすることが好ましい。これは、指先が半径４ｍｍ以内でずれても静止状態とみなすということであり、この場合、第２のしきい値は４ｍｍということになる。

静止状態か否かの判定を｜Ｘｆ−Ｘｉ｜≦δを満足するか否か、すなわち、直前のフレームではなく、複数フレーム前の指先の位置との差が第２のしきい値δ以下であるか否かによって行うのは、たとえば、操作者が指先を僅かずつ（この場合、４ｍｍ以下ずつ）動かして行くような操作を行った場合、隣り合うフレーム間における指先のずれはそれぞれしきい値以下となって静止状態と判定され、仮に、操作者がその動作をしばらく続け、全体においては許容範囲以上のずれがあっても静止状態と判定されてしまうのを防ぐためである。

前述したように、｜Ｘｆ−Ｘｉ｜≦δを満足するか否かによって静止状態となっているか否かの判定を行った結果、指先が静止状態であると判定された場合、その静止状態となっている時間（静止時間という）が前述の第１のしきい値に達したか否かを判定する。そして、静止時間が第１のしきい値に達したときに、コンピュータ５では当該入力操作位置において操作者によって入力操作が実行されたとして、入力操作情報を生成して操作者の入力操作に対応した処理を行う。

すなわち、操作者が入力操作位置において入力操作を実行する場合には、操作者は指先の静止状態を入力操作位置において第１のしきい値以上保持するという動作をなせばよい。これにより、コンピュータ５では入力操作情報が生成され、操作者の入力操作に対応した処理がなされる。

なお、第１のしきい値としての静止時間は、短すぎると操作者が意図した操作を行いにくく、また、長すぎると、その時間が経過するまでの間、操作者は指先の静止状態を保持する必要があるため、操作性が損なわれる。これらの点を考慮すると、第１のしきい値としては、０．５秒〜１秒の間のいずれかの時間を設定することが好ましい。

また、コンピュータ５では前述の入力操作情報を生成するとともに、操作者の実行した入力操作に対応して、当該操作者が自身の行った入力操作の実行を視覚的に認識できるような何らかの表示を行う。具体的には、指先に表示されるポインタの表示状態を変更する。

図３は操作者の入力操作に対応するポインタの表示状態の変更例を示す図である。図３（ａ）はそれぞれの入力操作位置において入力操作を実行したときのポインタＣをそれぞれ異なった色で表示する例である。図３（ａ）の場合は、入力操作位置Ｐ１での静止時間が第１のしきい値に達するとポインタＣが赤色の表示となり、その状態で指先を矢印方向に移動させると、ポインタＣも赤色の表示のまま指先に追従して移動する。そして、入力操作位置Ｐ２で指先を停止させ、その入力操作位置Ｐ２での指先の静止時間が第１のしきい値に達すると、ポインタが青色の表示に切り替わる。

また、図３（ｂ）はそれぞれの入力操作位置において入力操作を実行したときのポインタＣの形状をそれぞれ異なった形状で表示する例である。図３（ｂ）の場合は、入力操作位置Ｐ１での静止時間が第１のしきい値に達するとポインタの形状が線状で表示となり、その状態で指先を矢印方向に移動させると、ポインタＣも線状の表示のまま指先の移動に追従して移動する。そして、入力操作位置Ｐ２で指先を停止させ、その入力操作位置Ｐ２での指先の静止時間が第１のしきい値に達すると、ポインタの形状が正方形など幅広の四角形の表示に切り替わる。

また、図３（ｃ）はそれぞれの入力操作位置において入力操作を実行したときのポインタＣを連続点灯と点滅点灯で表示する例である。図３（ｃ）の場合は、入力操作位置Ｐ１での静止時間が第１のしきい値に達するとポインタが連続点灯での表示となり、その状態で指先を矢印方向に移動させると、ポインタＣも線状の表示状態のまま指先の移動に追従して移動する。そして、入力操作位置Ｐ２で指先を停止させ、その入力操作位置Ｐ２での静止時間が第１のしきい値に達するとポインタが点滅の表示に切り替わる。

このように、操作者の行った入力操作に対応して、当該入力操作の状態を操作者が視覚的に識別できるようにすることによって、操作者は自身の入力操作を目で確認しながら行うことができる。なお、図３（ａ）〜（ｃ）の例では、ポインタの色や形状を変化させたり、ポインタを点滅させる例を示したが、これらを組み合わせることも可能である。また、移動の途中は異なった表示を行うようにすることも可能である。

図４は本発明の実施形態に係る情報入力システムが有する機能を実現する情報入力装置の構成を示すブロック図である。情報入力装置は、図４に示すように、指先を検出することによって入力操作位置を検出する入力操作位置検出部５３１、入力操作位置検出部によって検出された入力操作位置において指先が静止状態か否かを第２のしきい値に基づいて判定する静止状態判定機能と、静止状態判定機能によって静止状態と判定された時間（静止時間）を計測し、計測された静止時間が第１のしきい値に達したか否かを判定する機能を有する静止時間判定部５３２、静止時間判定部５３２によって静止時間が第１のしきい値以上であると判定された場合に、入力操作が実行されたことを示す入力操作情報を生成する入力操作情報生成部５３３、入力操作情報生成部５３３により生成された入力操作情報に基づいて、入力操作が実行されたことを操作者に示すための表示を行う入力操作表示制御部５３４を有している。

なお、入力操作表示制御部５３４は、たとえば、図３で説明したようなポインタの表示状態の切り替えなどを行うものである。なお、これらの各構成要素が行う処理はコンピュータ５のＣＰＵ５３のプロセスとして実行される。

次に、操作者の行う具体的な入力操作について説明する。なお、操作者の入力操作に対応するポインタＣの表示状態の切り替えは、図３（ａ）の如く、ポインタＣの色を切り替えるものとする。

図５は操作者の行う入力操作として当該操作者が机１の作業面２に投射された操作用画面画像上で描画操作を行う場合について説明する図である。図５（ａ）に示すように、操作者が指先を入力操作位置Ｐ１で静止させるといった入力操作を行ったとする。この状態において、入力操作位置Ｐ１における指先の静止時間が第１のしきい値（実施形態では０．５〜１秒のいずれかの時間に設定されている）に達すると、コンピュータ５では入力操作情報が生成され、描画動作を可能とする処理を行うとともに、ポインタＣを赤色に表示させる制御を行う。

操作者はポインタＣが赤色に表示されたことを確認することで、自身の行った入力操作が実行され描画動作が可能な状態（描画状態という）となったことを認識する。したがって、その描画状態で、図５（ｂ）に示すように、指先を移動させると、その軌跡に線Ｌが表示される。

そして、図５（ｃ）に示すように、操作者が描画動作を一旦終了させるための入力操作として、指先の移動を入力操作位置Ｐ２で停止させ、その入力操作位置Ｐ２において指先を静止状態とする操作を行ったとする。この入力操作位置Ｐ２において、指先の静止時間が第１のしきい値に達すると、コンピュータ５では入力操作情報が生成され、その入力操作位置Ｐ２において描画状態を一旦終了させ非描画状態とする処理を行うとともに、ポインタＣを青色に表示させる制御を行う。

操作者はポインタＣが青色に表示されたことを確認することで、入力操作位置Ｐ２にて非描画状態となったことを認識する。このように、ポインタが青色に変化した状態となると、仮に図５（ｄ）のように指先を破線矢印で示すように移動させても、ポインタＣは指とともに移動するが描画はなされない。

ところで、第１のしきい値は、この実施形態では、０．５〜１秒のいずれかの時間に設定することが好ましいとしているが、第１のしきい値を短く設定しすぎると、操作者が意図した操作を行いにくい状況が発生する可能性があり、また、長く設定しすぎると操作性が損なわれるということは既に述べた。

ここで、第１のしきい値を短く設定しすぎたときの問題点としての「操作者が意図した操作を行いにくい状況」というのは、操作者の意図する一連の描画動作が終了する前にポインタが青色に変化してしまうといった状況が考えられる。たとえば、図５の（ａ）から（ｂ）に至るような描画動作、すなわち、ポインタＣが赤色の表示状態で操作者が指先を移動するような描画動作を行っている最中に、途中で、指先の動きを一旦止めてすぐに移動を再開するような描画動作を行うような場合、第１のしきい値を短く設定しすぎると、指先の移動を再開しようとする直前にポインタの表示が青色に切り替わってしまうという状況が発生する可能性がある。このような状況の発生を防ぐために、第１のしきい値は、０．５秒程度を下限とすることが好ましいと考えられる。

図５では描画動作を行う例について説明したが、本発明はアイコンなどを移動させる操作を行う場合にも適用することができる。図示は省略するが、移動対象となるアイコンを操作者の指先で指示すると、当該アイコン上にポインタが表示され、操作者の指先の静止時間が第１のしきい値に達すると、ポインタが赤色で表示される。そして、その状態で、指先を移動させると、指示されたアイコンも指先の移動に追従して移動し、所望の位置に到達したら操作者が指先の移動を停止する。その位置での指先の静止時間が前記第１のしきい値に達すると、その位置でポインタが青色に変化する。ポインタが青に変化した状態で操作者が指先を移動してもアイコンは移動しない。

なお、操作者の指先に対するポインタの表示位置は、指先そのものにポインタＣが表示されないようにすることが好ましい。すなわち、ポインタＣはプロジェクタ３からの投写画像として表示されるものであるが、コンピュータ５側で指先検出を行うことによって指先の検出位置そのものにポインタＣを表示するような処理が施されてしまうと、ポインタＣが操作者の指先に重畳した状態で表示されてしまうこととなり、操作者にとってはポインタＣが見づらくなるとともに、描画操作などの操作がしづらくなるおそれがある。

これを解消するために、ポインタＣは指先の検出位置そのものではなく、図３及び図５に示したように、指先の先端からわずかにずらした位置で、かつ、指先とポインタがあたかも一体化しているかのような視覚的認識を得られるような位置に表示されるようにすることが好ましい。

図６は操作者の行う入力操作に対する入力操作位置の検出からポインタの表示状態の切り替えまでのコンピュータ側の処理の流れを説明するフローチャートである。
図６に示すように、まず、操作者の指先が所定位置を指示すると、その状態を撮像装置が撮像してその撮像画像をコンピュータが取り込んで画像処理を行い、入力操作位置Ｘｆを検出する（ステップＳ１）。検出された入力操作位置Ｘｆに基づいて指先が静止状態か否かを判定する（ステップＳ２）。この静止状態か否かの判定は、すでに説明したように、｜Ｘｆ−Ｘｉ｜が第２のしきい値δ以下であるか否かの判定、すなわち、｜Ｘｆ−Ｘｉ｜≦δを満足するか否かによって行う。

そして、ステップＳ２において｜Ｘｆ−Ｘｉ｜≦δを満足、すなわち、静止状態であると判定された場合は、静止状態となっている連続フレーム数Ｎをカウントするカウンタの更新（Ｎ＝Ｎ＋１）を行う（ステップＳ３）。次に、静止状態となっている連続フレーム数Ｎ（ステップＳ３で更新された連続フレーム数Ｎ）が設定カウント数Ｎｓ（第１のしきい値として設定された時間に対応するフレーム数）に達したか否かを判定し（ステップＳ４）、静止状態となっている連続フレーム数Ｎが設定カウント数Ｎｓに達していれば、入力操作情報を生成するとともにポインタＣの表示状態を切り替える（ステップＳ５）。

なお、図６のフローチャートのステップＳ２において、｜Ｘｆ−Ｘｉ｜≦δを満足せず静止状態でないと判定された場合は、Ｘｉを更新、すなわち、Ｘｉ＝Ｘｆとし（ステップＳ６）、続いて、カウンタを更新、すなわち、Ｎ＝０とする（ステップＳ７）。

図６に示すフローチャートにおけるステップＳ２、Ｓ４、Ｓ５の処理を、たとえば、図５（ａ）に示す描画操作及び図５（ｃ）に示す描画操作に対応させると、図６におけるステップＳ２の処理は、図５（ａ）においては、撮像画像データから得られる入力操作位置Ｐ１のずれが第２のしきい値δ（＝４ｍｍ）以下であるか否かを判定することによって、指先が静止状態にあるか否かを判定することである。また、図５（ｃ）においては、撮像画像データから得られる入力操作位置Ｐ２のずれが第２のしきい値δ（＝４ｍｍ）以下であるか否かを判定することによって指先が静止状態にあるか否かを判定することである。

また、図６におけるステップＳ４，Ｓ５の処理は、図５（ａ）においては入力操作位置Ｐ１における指先の静止時間が第１のしきい値（たとえば、第１のしきい値が仮に１秒であれば、１秒に対応するフレーム数）に達したらその入力操作位置Ｐ１において入力操作情報を生成するとともに、ポインタを赤色の表示に切り替えることである。また、図５（ｃ）においては入力操作位置Ｐ２における指先の静止時間が第１のしきい値に達したらその入力操作位置Ｐ２において入力操作情報を生成するとともに、ポインタを青色の表示に切り替えることである。

なお、本発明は上述の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、前述の実施形態では、作業面はほぼ水平としたが、たとえば、図７に示すように、作業面を垂直としてもよい。すなわち、図７に示すように、室内の側壁などにスクリーンＳＣＲを取りつけて、天吊り状態でプロジェクタ３と撮像装置４を設置し、プロジェクタ３からスクリーンＳＣＲに操作画面画像を表示して、操作者がそのスクリーンＳＣＲに表示された操作用画面画像上で図５によって説明したような入力操作を行い、その様子を撮像装置４で撮像するというような使い方も可能である。

また、前述の実施形態では、第１のしきい値は０．５〜１秒のいずれかの時間に設定し、第２のしきい値は４ｍｍに設定した例で説明したが、第１のしきい値及び第２のしきい値はこれらの値に限られるものではない。特に、第１のしきい値は、本発明の情報入力システムを使用する操作者の好みや、操作に対する習熟度、入力操作の内容などに応じて最適な値に設定可能とすることが好ましい。

また、前述の実施形態では、プロジェクタ３は前面投写型として用いたが、プロジェクタ３を背面投写型として用い、作業面２（図７においてはスクリーンＳＣＲ）の裏面側から投写を行うようにしてもよい。

また、前述の実施形態では、入力操作表示制御部５３４は、入力操作が実行されたことを操作者に知らせるための表示を行う手段として、ポインタの色や形状を変更したり、点滅を行う例を示したが（図３参照）、たとえば、「ピッ」や「ピッピ」などというような短い電子音などを発するようにしてもよい。このとき、たとえば、描画を行うような場合、描画の開始位置と終了位置とで音の種類を変えるなどすれば、操作者は操作状態を容易に区別することができる。また、ポインタの色や形状の変更や点滅と、音とを組み合わせることも可能である。

また、前述の実施形態では、操作者の指示手段は操作者の指先としたが、指先に限られるものではなく、たとえば、ペン、指示棒、レーザポインタなど種々の指示手段を用いることも可能である。

また、前述の実施形態において説明した図６のフローチャートに示す処理を当該情報入力システムのコンピュータに実行させるための情報入力プログラムを作成することが可能であり、また、作成した情報入力プログラムを各種の記録媒体に記録させておくことも可能である。したがって、本発明は、この情報入力プログラムを記録した記録媒体をも含むものである。また、情報入力プログラムはネットワークから取得するようにしてもよい。

本発明の実施形態に係る情報入力システムの外観構成を示す図。 本発明の実施形態に係る情報入力システムの構成を示すブロック図。 操作者の入力操作に対応するポインタの表示状態の変更例を示す図。 本発明の実施形態に係る情報入力システムが有する機能を実現する情報入力装置の構成を示すブロック図。 操作者の行う入力操作として当該操作者が操作用画面画像上で描画操作を行う場合について説明する図。 操作者の行う入力操作に対する入力操作位置の検出からポインタの表示状態の変更までのコンピュータ側の処理の流れを説明するフローチャート。 本発明の実施形態に係る情報入力システムの変形例の外観構成を示す図。

符号の説明

１・・・机、２・・・作業面、３・・・プロジェクタ、４・・・撮像装置、５・・・コンピュータ、５３１・・・入力操作位置検出部、５３２・・・静止時間判定部、５３３・・・入力操作情報生成部、５３４・・・入力操作表示制御部、Ｃ・・・ポインタ、Ｐ１，Ｐ２・・・入力操作位置

Claims (8)

1. コンピュータへの情報の入力操作を行うための操作用画面画像を投写可能なプロジェクタと、前記操作用画面画像を撮像して得られた撮像画像データを前記コンピュータに送信可能な撮像装置とを有し、前記入力操作として操作者が前記操作画面用画像の所定位置を指示手段で指示すると、前記指示した位置を前記撮像画像データに基づいて入力操作位置として検出して、検出した入力操作位置に前記プロジェクタによってポインタの表示を行う情報入力システムであって、
   前記指示手段が前記入力操作位置において静止状態を保持している時間を静止時間として求め、前記求められた静止時間が所定時間に達したか否かを判定する静止時間判定部と、
   前記静止時間が前記所定時間に達したと判定されると前記入力操作位置における入力操作が実行されたことを示す入力操作情報を生成する入力操作情報生成部と、
   を有することを特徴とする情報入力システム。
2. 請求項１に記載の情報入力システムにおいて、
   前記静止時間が前記所定時間に達したと判定された場合に、前記入力操作が実行されたことを前記操作者に示すための表示を行う入力操作表示制御部をさらに有することを特徴とする情報入力システム。
3. 請求項２に記載の情報入力システムにおいて、
   前記入力操作表示制御部は、前記入力操作が当該入力操作の開始に対応する前記入力操作位置から前記入力操作の終了に対応する入力操作位置まで前記指示手段を移動させる操作である場合、少なくとも、前記入力操作の開始に対応する前記入力操作位置と前記入力操作位置の終了に対応する入力操作位置とで異なった表示を行うことを特徴とする情報入力システム。
4. 請求項２または３に記載の情報入力システムにおいて、
   前記入力操作が実行されたことを操作者に示すための表示は、前記ポインタを前記操作者に対し視覚的変化を与えるように表示させることを特徴とする情報入力システム。
5. 請求項１〜４のいずれかに記載の情報入力システムにおいて、
   前記静止時間判定部は、前記指示手段が前記入力操作位置において静止状態であるか否かを判定する静止状態判定機能を有し、該静止状態判定機能は、前記指示手段の前記入力操作位置におけるずれが、前記所定時間内において所定範囲内であるか否かを判定し、前記入力操作位置におけるずれが前記所定範囲内である場合に前記指示手段が前記入力操作位置において静止状態であると判定することを特徴とする情報入力システム。
6. 請求項１〜５のいずれかに記載の情報入力システムにおいて、
   前記指示手段は操作者の指先であって、前記入力操作位置の検出は前記指先を検出することによって行うことを特徴とする情報入力システム。
7. コンピュータへの情報の入力操作を行うための操作用画面画像を投写可能なプロジェクタと、前記操作用画面画像を撮像して得られた撮像画像データを前記コンピュータに送信可能な撮像装置とを有し、前記入力操作として操作者が前記操作画面用画像の所定位置を指示手段で指示すると、前記指示した位置を前記撮像画像データに基づいて入力操作位置として検出して、検出した入力操作位置に前記プロジェクタによってポインタの表示を行う情報入力システムにおける情報入力方法であって、
   前記指示手段が前記入力操作位置において静止状態を保持している時間を静止時間として求め、前記求められた静止時間が所定時間に達したか否かを判定するステップと、
   前記静止時間が前記所定時間に達したと判定されると前記入力操作位置における入力操作が実行されたことを示す入力操作情報を生成するステップと、
   を有することを特徴とする情報入力システムにおける情報入力方法。
8. コンピュータへの情報の入力操作を行うための操作用画面画像を投写可能なプロジェクタと、前記操作用画面画像を撮像して得られた撮像画像データを前記コンピュータに送信可能な撮像装置とを有し、前記入力操作として操作者が前記操作画面用画像の所定位置を指示手段で指示すると、前記指示した位置を前記撮像画像データに基づいて入力操作位置として検出して、検出した入力操作位置に前記プロジェクタによってポインタの表示を行う情報入力システムにおける情報入力プログラムであって、
   前記コンピュータが、
   前記指示手段が前記入力操作位置において静止状態を保持している時間を静止時間として求め、前記求められた静止時間が所定時間に達したか否かを判定するステップと、
   前記静止時間が前記所定時間に達したと判定されると前記入力操作位置における入力操作が実行されたことを示す入力操作情報を生成するステップと、
   を実行可能とすることを特徴とする情報入力システムにおける情報入力プログラム。