JP2007207056A - 情報入力システム - Google Patents

Abstract

【課題】操作者が認識する適切な位置にポインタを表示させる。
【解決手段】コンピュータへの情報の入力操作を行うための操作用画面画像を投写面に投写可能なプロジェクタと操作用画面画像を撮像して得られた撮像画像データをコンピュータに送信可能な撮像装置とを有し、入力操作として操作者が操作画面用画像の所定位置を指示手段で指示すると、撮像画像データに基づいて操作者の指示した指示位置を検出して、検出した指示位置にプロジェクタによって入力指示用画像の表示を行う情報入力システムであって、操作者が操作画面用画像の所定位置を指示手段で指示したときの指示位置と撮像画像データに基づいて検出される操作者の指示した指示位置とのずれを補正する指示位置補正データの生成を行う指示位置補正データ生成装置１００と、指示位置補正データに基づいて入力指示用画像を表示すべき前記指示位置の補正を行う指示位置補正処理装置２００とを有する。
【選択図】図９

Description

本発明はプロジェクタの投写する操作用画面としての画像上からコンピュータへの情報入力が可能な情報入力システム、情報入力システムにおける指示位置補正データ生成方法、情報入力システムにおける指示位置補正データ生成プログラムおよび情報入力システムにおける指示位置補正データ生成装置に関する。

コンピュータなどへの情報入力は、マウスやキーボードによって行うのが一般的である。たとえば、マウスによって位置情報などを入力する場合は、操作者はコンピュータ画面を見ながら机の上でマウスを操作することによって入力を行う。

このような操作は机上でのマウスの操作位置とコンピュータ画面上の情報の入力位置とが離れているため、感覚的な入力を行うような場合、操作者は違和感を覚えることもある。これを解消するために、画面上にタッチセンサ機能を有するものがある。

しかしながら、近年のディスプレイ装置の大画面化に伴い、ディスプレイ装置の大きさに合わせてタッチセンサも大型化する必要がある。このため、装置が大掛かりとなるとともに、ディスプレイ装置とタッチセンサとを組み合わせたものを専用に用意する必要があるのでコスト的にも問題がある。

一方、最近では、コンピュータを意識しないマンマシンインタフェースを有する情報入力システムも種々提案されている（たとえば、特許文献１および特許文献２参照）。

特許文献１に開示された技術は、スクリーン（背面投写用スクリーン）の背面側からプロジェクタによって操作用画面としての画像（操作用画面画像という）を投写し、同じく、スクリーンの裏側に設置された撮像装置によって操作用画面画像を撮像する。そして、操作者はスクリーンの表側から操作用画面画像を指示手段（指先としている）でタッチすると、その指先を検出して入力位置を求める。

また、特許文献２に開示された技術は、プロジェクタによって操作用画面画像を机上に投写し、操作者が操作用画面画像上において指先など指示すると、それを撮像して得られた撮像画像データに基づいて検出された指示位置にポインタなどを表示して、操作者がそのポインタを操作することによってコンピュータに何らかのコマンドを与えるといったことを可能としている。

特開２００２−３２１９３号公報 特開２０００−２９８５４４号公報

これら特許文献１および特許文献２に開示された技術のように、プロジェクタによって投写された操作用画面画像を操作者が指先などの指示手段で指示した位置を撮像画像データに基づいて検出する場合、操作者の認識する指示位置と撮像画像データに基づいて検出される指示位置との間にずれが生じる場合がある。

この「ずれ」は、たとえば、操作者の視点位置や撮像装置の撮像画像光線の角度などによって生じるものである。したがって、撮像画像データから操作者の指先位置を検出し、検出された指先位置を入力位置として、その入力位置にポインタなどを表示させるような場合、操作者の認識する指先位置からずれた位置にポインタが表示されてしまう場合がある。

このように、操作者の認識する指先位置からずれた位置にポインタが表示されてしまうと、たとえば、操作者が操作用画面画像上において指先でポインタを動かしながら図面を描くような作業を行う場合、指先とポインタとの一体感が薄れるため、作業能率に大きな影響を与えることにもなる。

特許文献１および特許文献２では、操作者の認識する指示位置と撮像画像データに基づいて検出される指示位置との間に生ずるずれに対する対策については特に述べられてはなく、上述したようなずれの問題が発生する場合がある。

また、特許文献１に開示された技術は、背面投写型スクリーンに背面側からプロジェクタによって操作用画面画像を投写するものであるため、たとえば、操作者が作業を行う一般的な机の表面（机上面）などに直接、操作用画面画像を投写するというような使い方はできず、汎用性に欠けるという問題がある。

本発明は、コンピュータへの情報の入力操作を行うための操作用画面画像を投写面に投写可能なプロジェクタと前記操作用画面画像を撮像して得られた撮像画像データを前記コンピュータに送信可能な撮像装置とを有する情報入力システムにおいて、操作者が認識する適切な指示位置にポインタを表示させることができる情報入力システムを提供するとともに、その情報入力システムにおいて操作者が認識する適切な指示位置にポインタを表示させるための指示位置補正データの生成が可能な情報入力システムにおける指示補正データ生成方法、情報入力システムにおける指示補正データ生成プログラムおよび情報入力システムにおける指示位置補正データ生成装置を提供することを目的とする。

（１）本発明の情報入力システムは、コンピュータへの情報の入力操作を行うための操作用画面画像を投写面に投写可能なプロジェクタと前記操作用画面画像を撮像して得られた撮像画像データを前記コンピュータに送信可能な撮像装置とを有し、前記入力操作として操作者が前記操作画面用画像の所定位置を指示手段で指示すると、前記撮像画像データに基づいて前記操作者の指示した指示位置を検出して、検出した指示位置に前記プロジェクタによって入力指示用画像の表示を行う情報入力システムであって、前記操作者が前記操作画面用画像の所定位置を指示手段で指示したときの指示位置と前記撮像画像データに基づいて検出される前記操作者の指示した指示位置とのずれを補正する指示位置補正データの生成を行う指示位置補正データ生成装置と、前記指示位置補正データに基づいて前記入力指示用画像を表示すべき前記指示位置の補正を行う指示位置補正処理装置とを有することを特徴とする。

本発明の情報入力システムによれば、操作者が前記操作画面用画像の所定位置を指示手段で指示した指示位置と前記撮像画像データに基づいて検出された指示位置とのずれを、指示位置補正データによって補正することができるので、操作者が認識する適切な指示位置に入力指示用画像を表示させることができる。

（２）前記（１）に記載の情報入力システムにおいては、前記指示位置補正データ生成装置は、複数個の指示位置認識用マークを前記プロジェクタによって前記投写面に表示させる指示位置認識用マーク表示制御部と、前記複数個の指示位置認識用マークを操作者が指示手段で指示したときのそれぞれの撮像画像データに基づいて前記指示手段の前記撮像装置における座標系での位置を検出し、検出された前記指示手段の前記撮像装置における座標系での位置と前記複数個の指示位置認識用マークの前記プロジェクタにおける座標系での位置との対応関係を表す射影変換式を前記指示位置補正データとして算出する射影変換式算出部とを有することが好ましい。

指示位置補正データ生成装置をこのような構成とすることによって、指示位置補正データとしての射影変換式を生成することができる。この射影変換式は、複数個の指示位置認識用マークを操作者が実際に指示手段で指示したときのそれぞれの撮像画像データから得られる指示手段の位置と前記複数個の指示位置認識用マークのそれぞれの位置との対応関係を表すものである。したがって、このような射影変換式を指示位置補正データとして用いて、指示位置の補正を行うことにより、補正後の指示位置は、操作者が認識する適切な指示位置となる。これにより、補正後の指示位置に入力指示用画像を表示させれば、操作者が認識する適切な指示位置に入力指示用画像を表示させることができる。

（３）前記（２）に記載の情報入力システムにおいては、前記複数個の指示位置認識用マークは、前記投写面において任意の四辺形の頂点となる位置に表示されることが好ましい。

このように、前記複数個の指示位置認識用マークを、任意の四辺形の頂点となる位置に投写面に表示することによって、前記射影変換式は、一般的な四辺形の射影変換行列として容易に求めることができる。なお、具体的には、４個の指示位置認識用マークを順次表示させ、表示された指示位置認識用マークに対して操作者が指示手段の先端位置として認識する位置に指示手段の先端を置いてそれを撮像装置で撮像するといった操作を行う。

（４）前記（１）〜（３）のいずれかに記載の情報入力システムにおいては、前記指示手段は、前記操作者の指先であって、前記操作者の指示した指示位置の検出は、前記操作者の指先を検出することによって行うことが好ましい。

これは、コンピュータに対し、たとえば何らかのコマンドの入力を行うような操作を行う際、操作者の指先で入力操作を行うものであり、指示手段として操作者の指先とすることにより、他の特別な指示手段を用いることなく、自然な感覚で操作者の意のままに容易に入力操作を行うことができる。このように、指示手段を操作者の指先とすることによって、本発明では、操作者が指先として認識する適切な位置に入力指示用画像を表示させることができる。

（５）前記（１）〜（４）のいずれかに記載の情報入力システムにおいては、前記入力指示用画像は、ポインタであることが好ましい。
これは、操作者が指示手段で入力操作のための指示を行うと、その指示手段の近傍にポインタが表示され、操作者はそのポインタを操作することによってコンピュータへの入力指示を行うものであり、このポインタの表示を行う際、本発明によれば、操作者が指示手段の先端位置として認識する適切な位置にポインタを表示させることができる。

（６）本発明の情報入力システムにおける指示位置補正データ生成方法は、コンピュータへの情報の入力操作を行うための操作用画面画像を投写面に投写可能なプロジェクタと前記操作用画面画像を撮像して得られた撮像画像データを前記コンピュータに送信可能な撮像装置とを有し、前記入力操作として操作者が前記操作画面用画像の所定位置を指示手段で指示すると、前記撮像画像データに基づいて前記操作者の指示した指示位置を検出する情報入力システムにおける指示位置補正データ生成方法であって、複数個の指示位置認識用マークを前記プロジェクタによって前記投写面に表示させるステップと、前記複数個の指示位置認識用マークを操作者が指示手段で指示したときのそれぞれの撮像画像データに基づいて前記指示手段の前記撮像装置における座標系での位置を検出し、検出された前記指示手段の前記撮像装置における座標系での位置と前記複数個の指示位置認識用マークの前記プロジェクタにおける座標系での位置との対応関係を表す射影変換式を前記指示位置補正データとして算出するステップとを有することを特徴とする。

本発明の情報入力システムにおける指示位置補正データ生成方法により、前記指示位置補正データを生成することができる。そして、このような指示位置補正データを用いることによって、操作者が前記操作画面用画像の所定位置を指示手段で指示した指示位置と前記撮像画像データに基づいて検出された指示位置とのずれの補正が可能となる。これにより、操作者が認識する適切な指示位置に入力指示用画像を表示させることができる。なお、（６）の情報入力システムにおける指示位置補正データ生成方法においても、前記（３）〜（５）に記載の特徴を有することが好ましい。

（７）本発明の情報入力システムにおける指示位置補正データ生成プログラムは、コンピュータへの情報の入力操作を行うための操作用画面画像を投写面に投写可能なプロジェクタと前記操作用画面画像を撮像して得られた撮像画像データを前記コンピュータに送信可能な撮像装置とを有し、前記入力操作として操作者が前記操作画面用画像の所定位置を指示手段で指示すると、前記撮像画像データに基づいて前記操作者の指示した指示位置を検出する情報入力システムにおける指示位置補正データ生成プログラムであって、複数個の指示位置認識用マークを前記プロジェクタによって前記投写面に表示させるステップと、前記複数個の指示位置認識用マークを操作者が指示手段で指示したときのそれぞれの撮像画像データに基づいて前記指示手段の前記撮像装置における座標系での位置を検出し、検出された前記指示手段の前記撮像装置における座標系での位置と前記複数個の指示位置認識用マークの前記プロジェクタにおける座標系での位置との対応関係を表す射影変換式を前記指示位置補正データとして算出するステップとを有することを特徴とする。

本発明の情報入力システムにおける指示位置補正データ生成プログラムをコンピュータで実行させることにより、前記指示位置補正データを生成することができる。そして、このような指示位置補正データを用いることによって、操作者が前記操作画面用画像の所定位置を指示手段で指示した指示位置と前記撮像画像データに基づいて検出された指示位置とのずれの補正が可能となる。これにより、操作者が認識する適切な指示位置に入力指示用画像を表示させることができる。なお、（７）の情報入力システムにおける指示位置補正データ生成プログラムにおいても、前記（３）〜（５）に記載の特徴を有することが好ましい。

（８）本発明の情報入力システムにおける指示位置補正データ生成装置は、コンピュータへの情報の入力操作を行うための操作用画面画像を投写面に投写可能なプロジェクタと前記操作用画面画像を撮像して得られた撮像画像データを前記コンピュータに送信可能な撮像装置とを有し、前記入力操作として操作者が前記操作画面用画像の所定位置を指示手段で指示すると、前記撮像画像データに基づいて前記操作者の指示した指示位置を検出する情報入力システムにおける指示位置補正データ生成装置であって、複数個の指示位置認識用マークを前記プロジェクタによって前記投写面に表示させる指示位置認識用マーク表示制御部と、前記複数個の指示位置認識用マークを操作者が指示手段で指示したときのそれぞれの撮像画像データに基づいて前記指示手段の前記撮像装置における座標系での位置を検出し、検出された前記指示手段の前記撮像装置における座標系での位置と前記複数個の指示位置認識用マークの前記プロジェクタにおける座標系での位置との対応関係を表す射影変換式を前記指示位置補正データとして算出する射影変換式算出部とを有することを特徴とする。

本発明の情報入力システムにおける指示位置補正データ生成装置により、前記指示位置補正データを生成することができる。これによって、（６）の情報入力システムにおける指示位置補正データ生成方法と同様の効果を得ることができる。なお、（８）の情報入力システムにおける指示位置補正データ生成装置においても、前記（３）〜（５）に記載の特徴を有することが好ましい。

図１は本発明の実施形態に係る情報入力システムの外観構成を示す図である。本発明の実施形態に係る情報入力システムは、図１に示すように、机１の机上面である投写面２上に操作用画面画像を投写可能に設置されたプロジェクタ３と、該プロジェクタ３によって投写された操作用画面画像を撮像可能に設置された撮像装置４と、図１では図示されないパーソナルコンピュータなどのコンピュータ５（図２参照）とを有している。なお、操作者は椅子６に座って投写面２上での操作可能とする。

図２は本発明の実施形態に係る情報入力システムの構成を示すブロック図である。図２に示すように、プロジェクタ３はコンピュータ５の画像データ出力インタフェース５１に接続され、撮像装置４はコンピュータ５の画像データ入力インタフェース５２に接続されている。なお、コンピュータ５は画像データ出力インタフェース５１、画像データ入力インタフェース５２の他に、コンピュータとしての様々な処理を実行するＣＰＵ５３、主記憶装置５４、補助記憶装置５５などが設けられる。

このように構成された情報入力システムにおいて、コンピュータ５に対する情報の入力操作を行う際、操作者が机１の投写面２上に投写された操作用画面画像に何らかの指示手段（実施形態では手の指先とする）を差し出すと、差し出した指先の近傍に情報の入力指示用画像（実施形態ではポインタとする）が表示されるものとする。すなわち、撮像装置４は、操作用画面画像を所定のフレーム間隔で撮像しており、その撮像画像データをコンピュータ５に送信し、コンピュータ５では撮像装置４から得られる撮像画像データから操作者の指先検出を行い、それによって検出された指先の近傍にポインタが表示される。

なお、指先の検出は、たとえば、背景差分による手画像の抽出や肌色検出による手画像の抽出などを行ったのち、その輪郭に対して指先の特徴を考慮した検出方法などを用いて指先を検出するといった方法によって可能であるが、本発明ではその方法については特に限定されるものではなく、何らかの方法によって指先の検出がなされるものとする。

ところで、操作者が指先によって入力操作位置を指示したとき、操作者が認識する指先位置にポインタを表示させることが重要であることは前述した通りである。本発明の実施形態に係る情報入力システムでは、以下のようにして、操作者が認識する指先位置にポインタを表示させることを実現する。

まず、プロジェクタ３が投写面２上に投写すべき投写画像（ここでは操作用画面画像）に対応する投写画像データの座標系と撮像装置４で撮像して得られた撮像画像に対応する撮像画像データの座標系との関係を求める。これは、投写面２上において一致するプロジェクタ３の操作用画面画像の画素と撮像装置４の撮像画像の画素とのそれぞれの座標系間の関係を求めることである。

図３はプロジェクタにおける座標系と撮像装置における座標系の関係について示す図である。図３（ａ）はプロジェクタ３における座標系すなわちプロジェクタ３の投写画像データ座標系であり、これは、プロジェクタの電気光学変調装置（液晶ライトバルブなど）における座標系である。このようなプロジェクタの投写画像データ座標系において、複数個（４個とする）のマーク（ここでは円形であるとする）Ｍ１〜Ｍ４が投写面２上で任意の四角形の各頂点位置に表示されるような投写画像データを生成してそれを投写面２に投写するものとする。

一方、図３（ｂ）は図３（ａ）で示したプロジェクタ３によって投写面２に投写された投写画像を撮像装置４で撮像して得られた撮像装置４における座標系すなわち撮像装置４の撮像画像データ座標系を示すものである。これは、プロジェクタ３の投写レンズ（図示せず）を投写面２に正対させた状態で、図３（ａ）の投写画像データに対する画像（マークＭ１〜Ｍ４）を投写面２に投写したものを撮像装置４で斜め横方向（図示左方向）から撮像して得られた撮像画像データであるとする。なお、図３（ｂ）におけるマークＭ１’〜Ｍ４’はマークＭ１〜Ｍ４の撮像画像である。

ここで、プロジェクタ３の投写画像データ座標系と撮像装置４の撮像画像データ座標系との関係は、図３（ａ）に示されるマークＭ１〜Ｍ４および図３（ｂ）に示されるマークＭ１’〜Ｍ４’のそれぞれの中心位置におけるプロジェクタ３の投写画像データ座標系と撮像装置４の撮像画像データ座標系との射影変換行列を求めることにより得られる。これは、一般的な四辺形の射影変換行列であるので、詳細な説明は省略する。

図３に示すようなプロジェクタ３の投写画像データ座標系（Ｘｐ，Ｙｐ）と撮像装置４の撮像画像データ座標系（Ｘｃ，Ｙｃ）との投写面２における関係として、
Ｘｐ＝（ｂ１・Ｘｃ＋ｂ２・Ｙｃ＋ｂ３）/（ｂ７・Ｘｃ＋ｂ８・Ｙｃ＋ｂ９）（１）
Ｙｐ＝（ｂ４・Ｘｃ＋ｂ５・Ｙｃ＋ｂ６）/（ｂ７・Ｘｃ＋ｂ８・Ｙｃ＋ｂ９）（２）
が求まる。（１）式および（２）式において、ｂ１〜ｂ９は射影変換行列の要素である。（１）式および（２）式におけるＸｐ，Ｙｐは、マークＭ１〜Ｍ４の中心座標、Ｘｃ，Ｙｃは、マークＭ１’〜Ｍ４’の中心座標である。なお、これら（１）式及び（２）式を第１の変換関係式と呼ぶことにする。

図３で説明したプロジェクタ３の投写画像データ座標系における座標値（Ｘｐ，Ｙｐ）と撮像装置４の撮像画像データ座標系における座標値（Ｘｃ，Ｙｃ）との投写面２における関係からもわかるように、たとえば、操作者の指先を投写面２上の所定位置に置いて、それを撮像装置４で撮像して得られた撮像画像データに基づいて指先位置を検出すると、投写面２上で操作者が認識する指先位置と撮像画像データに基づいて検出される指先位置とで、ずれが生じることとなる。

ここで、操作者の認識する指先位置と撮像装置４からの撮像画像データに基づいて検出される指先位置とでずれが生じる原因について説明する。なお、ずれが生じる原因として、ここでは２通りの原因を考え、一方を「ずれの原因その１」、他方を「ずれの原因その２」として説明する。

図４は「ずれの原因その１」を説明する図である。図４（ａ）は側面図、図４（ｂ）は図４を操作者が投写面２に対して平行視した平面図である。図４（ａ），（ｂ）からわかるように、斜め上方に設置された撮像装置４によって得られる指画像領域Ａを投写面２において指２０と対応させると、実際の指２０の位置とずれを生じる。
なお、図４（ｂ）において破線を施した領域が指画像領域Ａであり、撮像画像データからは図４（ｂ）における位置Ｐｂが指先位置として検出されることとなる。

このように、撮像画像データに基づいて指先として検出される位置Ｐｂは、投写面２上で操作者が認識する指先位置（たとえば、図４（ｂ）におけるＰａとする）に対してずれが生じる。したがって、撮像画像データに基づいて指先位置として検出される位置Ｐｂにポインタが表示されると、操作者の認識する指先位置からずれた位置にポインタが表示されてしまうこととなる。

図５は「ずれの原因その２」を説明する図である。図５からもわかるように、操作者の視点と指先との位置関係によっても、撮像画像データに基づいて指先位置として検出される位置Ｐｂと、投写面２上で操作者が認識する指先位置Ｐａに対してずれが生じる。すなわち、図５（ａ）は操作者が指２０と比較的近い位置から指先を見下ろした場合であり、この場合、操作者が認識する指先位置Ｐａは、撮像画像データに基づいて指先位置として検出される位置Ｐｂに対してずれＤ１が生じる。また、図５（ｂ）は操作者が指２０と比較的離れた位置から指先を見た場合であり、この場合、操作者が認識する指先位置Ｐａは、撮像画像データに基づいて指先位置として検出される位置Ｐｂに対して、図５（ａ）におけるずれＤ１よりもさらに大きなずれＤ２が生じる。

このように、撮像画像データに基づいて指先として検出される位置Ｐｂは、投写面２上で操作者が認識する指先位置Ｐａに対してずれが生じる。したがって、撮像画像データに基づいて検出される位置Ｐｂにポインタが表示されると、操作者の認識する位置からずれた位置にポインタが表示されてしまうこととなる。

上述の「ずれの原因その１およびその２」で生じるずれを補正するために、以下のようなずれの補正処理を行う。
まず、指先による指示位置を操作者に認識させるための複数個（４個とする）の指示位置認識用マークをプロジェクタ３によって投写面２に順次表示する。そして、操作者は、指示位置認識用マークが表示されるごとに、表示された指示位置認識用マークが操作者の視点から見て指先となるように自身の指先を置く。

図６は指示位置認識用マークＴ１〜Ｔ４に対する操作者の指先位置合わせ操作の一例を示す図である。図６（ａ）〜（ｄ）に示すように、指示位置認識用マークＴ１〜Ｔ４がプロジェクタ３によって投写面２上において任意の四辺形の頂点を構成するような位置に順次表示される。

そして、それぞれの指示位置認識用マークＴ１〜Ｔ４が表示されるごとに、操作者は、表示された指示位置認識用マークＴ１〜Ｔ４の頂点Ｑが操作者の視点から見て指先位置となるように自身の指先を置く。このとき、指示位置認識用マークＴ１〜Ｔ４は、操作者から見て、実施形態は逆三角形であるとし、その頂点Ｑが操作者側に向いた状態で表示されるものとする。
なお、プロジェクタ３によって表示された指示位置認識用マークＴ１〜Ｔ４の頂点Ｑが操作者の視点から見て指先となるように自身の指先を置く操作を「指先位置合わせ操作」と呼ぶことにする。

図７は、ある１つの指示位置認識用マークに対する操作者の指先位置合わせ操作の例を示す図である。図７に示すように、プロジェクタ３から指示位置認識用マーク（指示位置認識用マークＴ１とする）が投写面２に表示されると、操作者は表示された指示位置認識用マークＴ１に対して指先位置合わせ操作を行う。このような指先位置合わせ操作は、指示位置認識用マークＴ１の頂点Ｑが操作者の認識する指先位置であることを意味するものである。すなわち、この指示位置認識用マークＴ１の頂点Ｑにポインタが表示されれば、操作者の視点から見て最適な位置にポインタが表示されるということを意味している。

そして、操作者による指先位置合わせ操作がなされると、その状態が撮像装置４により撮像され、その撮像画像データに基づいて操作者の指先位置を検出し、検出された指先位置（座標値）を記憶する。この撮像画像データに基づいて操作者の指先位置を検出された指先位置を「仮の指先位置」と呼ぶことにする。

続いて、プロジェクタ３から指示位置認識用マークＴ２を投写面２に投写し、同様に、操作者は、投写された指示位置認識用マークＴ２に対して指先位置合わせ操作を行い、その状態が撮像装置４により撮像される。そして、撮像装置４からの撮像画像データに基づいて仮の指先位置を検出し、検出された仮の指先位置（座標値）を記憶する。

このような操作を指示位置認識用マークＴ３，Ｔ４と４回繰り返す。すなわち、４つの指示位置認識用マークＴ１〜Ｔ４について同様の操作を行う。これによって、４つの指示位置認識用マークＴ１〜Ｔ４に対する４つの仮の指先位置が検出され、検出された４つの仮の指先位置に対する仮の指先位置（座標値）が記憶される。

そして、上述の指示位置認識用マークＭ１〜Ｍ４に対して、それぞれ検出された４つの仮の指先位置と指示位置認識用マークＴ１〜Ｔ４のそれぞれの頂点Ｑとの関係を表す射影変換式としての射影変換行列を求める。すなわち、プロジェクタ３の投写画像データ座標系における各頂点Ｑの座標値（Ｘｐ，Ｙｐ）と撮像装置４の撮像画像データ座標系におけるそれぞれの仮の指先位置の座標値（Ｘｃ，Ｙｃ）との投写面２における関係として、
Ｘｐ＝（ａ１・Ｘｃ＋ａ２・Ｙｃ＋ａ３）/（ａ７・Ｘｃ＋ａ８・Ｙｃ＋ａ９）（３）
Ｙｐ＝（ａ４・Ｘｃ＋ａ５・Ｙｃ＋ａ６）/（ａ７・Ｘｃ＋ａ８・Ｙｃ＋ａ９）（４）
が求まる。（３）式および（４）式において、ａ１〜ａ９は射影変換行列の要素である。なお、これら（３）式および（４）式を第２の変換関係式と呼ぶことにする。

この第２の変換関係式は、撮像画像データに基づいて得られる撮像画像データ座標系における指先検出位置（仮の指先位置）と、それぞれの指示位置認識用マークＴ１〜Ｔ４の各頂点Ｑの位置との関係を表すものであり、（３）式および（４）式において、撮像画像データで得られた中心座標（Ｘｃ，Ｙｃ）を代入すると、それに対応するプロジェクタ３の投写画像データ座標系における座標値（Ｘｐ，Ｙｐ）が得られる。

すなわち、第２の変換関係式は、撮像画像データに基づいて検出された仮の指先位置と操作者が認識する指先位置とのずれを補正するため指示位置補正データとして用いることができる。ここで、仮の指先位置と操作者が認識する指先位置とのずれを補正について図８により説明する。

図８は、ある１つの指示位置認識用マーク（指示位置認識用マークＴ１とする）に注目したとき、仮の指先位置と操作者が認識する指先位置とのずれについて説明する図である。図８において、Ｐｃは仮の指先位置であり、また、指示位置認識用マークＴ１の頂点Ｑは、操作者が指先位置合わせ操作を行うことによって、操作者が認識する指先位置である。

図８からもわかるように、仮の指先位置と操作者が認識する指先位置とでは、ずれＤαが存在する。ここで、ずれの補正を行うことなく、図８の状態を撮像装置４で撮像して得られた撮像画像データから、プロジェクタ３によってポインタを投写すると、仮の指先位置Ｐｃにポインタが投写されることとなり、操作者の認識する指先位置とはずれが生じることとなる。

このずれを補正するために、第２の変換関係式を指示位置補正データとして用いる。すなわち、図８の状態を撮像装置４で撮像して得られた撮像画像データから得られる位置Ｐｃの座標値（Ｘｃ，Ｙｃ）を（３）式及び（４）式に代入することで、位置Ｐｃの座標値（Ｘｃ，Ｙｃ）に対応するプロジェクタ３の投写画像データ座標系における座標値（Ｘｐ，Ｙｐ）を求めることができる。したがって、この場合、ポインタは指示位置認識用マークＴ１の頂点Ｑに表示させることができる。

また、第１の変換関係式および第２の変換関係式を用いることによって、撮像画像データ座標系において、操作者が認識する指先位置がわかる。

図９は本発明の実施形態に係る情報入力システムが有する指示位置補正装置の構成を示すブロック図である。指示位置補正装置は、図９に示すように、操作者が投写面２上の所定位置を指先で指示した指示位置と、それを撮像して得られた撮像画像データに基づいて検出される指示位置（仮の指先位置）とのずれを補正するための指示位置補正データ（前述した第２の変換関係式）を生成する指示位置補正データ生成装置１００と、指示位置補正データ生成装置１００で生成された指示位置補正データによって指示位置を補正する指示位置補正処理装置２００とを有している。

指示位置補正データ生成装置１００は、図６で示したような４個の指示位置認識用マークＴ１〜Ｔ４をプロジェクタ３で順次表示させる指示位置認識用マーク表示制御部１０１と、各指示位置認識用マークを操作者が指先で指示する操作（図６に示すような指先位置合わせ操作）を行ったときのそれぞれの撮像画像データから得られる撮像画像データ座標系における指先位置（仮の指先位置）を検出して、検出された指先位置（仮の指先位置）と４個の指示位置認識用マークのプロジェクタの投写画像データ座標系における位置（それぞれの頂点Ｑの位置）との対応関係を表す射影変換式としての射影変換行列（第２の変換関係式）を求める射影変換式算出部１０２とを有している。

また、指示位置補正処理装置２００は、たとえば、投写面２上に投写された操作用画面画像において、操作者が実際の入力操作を行う際に、第２の変換関係式（（３）式及び（４）式）を用いて指示位置の補正を行う。

すなわち、操作者が操作用画面画像において指先で入力位置を指示する操作を行うと、その入力操作の状態を撮像装置４で撮像して得られた撮像画像データに基づいて仮の指先位置を検出し、検出された仮の指先位置の座標値を第２の変換関係式である（３）式及び（４）式に代入することで、プロジェクタ３の投写画像データ座標系における指示位置を求めるといった処理を行う。そして、求められたプロジェクタ座標系における指示位置の座標値でポインタの表示を行う。これにより、操作者の認識する指先位置でポインタを表示させることができる。
これら指示位置補正データ生成装置１００の各構成要素（指示位置認識用マーク表示制御部１０１、射影変換式算出部１０２）が行う処理および指示位置補正処理装置２００が行う処理は、コンピュータ５のＣＰＵ５３のプロセスとして実行される。

図１０は指示位置補正データ生成装置１００が行う指示位置補正データ生成処理手順を示すフローチャートである。個々のステップにおける処理についてはすでに説明したので、図１０においては処理の流れについて概略的に説明する。

図１０において、まず、Ｎを１とする（ステップＳ１）。ここで、Ｎは４個の指示位置認識用マークＴ１〜Ｔ４の表示順番を示す値であり、ここでは、指示位置認識用マークＴ１、Ｔ２，Ｔ３，Ｔ４の順で表示を行うものとする。そして、プロジェクタ３により、現時点におけるＮ番目のマーク（この場合、Ｎ＝１の指示位置認識用マークＴ１）の表示がなされる（ステップＳ２）。

指示位置認識用マークＴ１の表示がなされると、表示された指示位置認識用マークＴ１に対して操作者が指先位置合わせ操作を行い、その状態を撮像装置４によって撮像し、その撮像画像データから仮の指先位置を検出し、検出した仮の指先位置を記憶する（ステップＳ３）。

続いて、Ｎ＝４であるか否かを判定し（ステップＳ４）、Ｎ＝４でなければ、Ｎに１を足した値を現時点のＮとし（ステップＳ５）、ステップＳ２に戻って、現時点におけるＮ番目のマーク（この場合、Ｎ＝２の指示位置認識用マークＴ２）の表示がなされる（ステップＳ２）。指示位置認識用マークＴ２の表示がなされると、表示された指示位置認識用マークＴ２に対して指先位置合わせ操作を行い、その状態を撮像装置４によって撮像し、その撮像画像データから仮の指先位置を取得し、取得した仮の指先位置を記憶する（ステップＳ３）。

続いて、Ｎ＝４であるか否かを判定し（ステップＳ４）、Ｎ＝４でなければ、Ｎに１を足した値を現時点のＮとし（ステップＳ５）、ステップＳ２に戻って、同様に、ステップＳ２〜Ｓ５の処理を行う。そして、ステップＳ４において、Ｎ＝４であると判定されると、ステップＳ３で記憶されている各指示位置認識用マークＴ１〜Ｔ４に対応する仮の指先位置とステップＳ２において表示された指示位置認識用マークＴ１〜Ｔ４の各頂点Ｑの位置との対応を表す射影変換式である射影変換行列（第２の変換関係式）を指示位置補正データとして算出する（ステップＳ６）。

以上説明したように本発明の実施形態によれば、操作者の認識する指先の適切な位置にポインタを表示させることができる。これにより、特に、操作用画面画像上において指先でポインタを移動させながら精密な描画を行うような場合、ポインタがあたかも指先に一体化しているような感覚で描画操作を行うことができる。

なお、本発明は上述の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、前述の実施形態では、指示位置認識用マークＴ１〜Ｔ４は、投写面２上に１個ずつ表示して、表示された１つの指示位置認識用マークに対して操作者が指示するようにしたが、指示位置認識用マークＴ１〜Ｔ４を一度の投写面上の所定位置（任意の四辺形の頂点となるような位置）に表示して、表示された４個の指示位置認識用マークＴ１〜Ｔ４に対して、操作者が、たとえば、指示位置認識用マークＴ１から、指示位置認識用マークＴ２，Ｔ３，Ｔ４の順に指示するようにしてもよい。

また、前述の実施形態においては、投写面２全体において、４個の指示位置認識用マークを表示して第２の変換関係式を求めるようにしたが、投写面２を複数の領域に分割して、それぞれの領域ごとに４個の指示位置認識用マークを表示して第２の変換関係式を求めるようにしてもよい。これによれば、投写面のゆがみや光学系の歪みなどの影響を受けにくい高精度な射影変換を行うことができる。

また、前述の実施形態では、操作者の指示手段は操作者の指先とした例で説明したが、これらに限られるものではなく、たとえば、指示棒、ペンなど種々の指示手段を用いることも可能である。

また、前述の実施形態では、入力指示用画像としてポインタを例にとって説明したが、ポインタに限られるものではなく、たとえば、アイコンなどを表示させる場合にも適用することができる。

また、前述の実施形態では、指示位置認識用マークは逆三角形としたが、これに限られるものではない。

また、前述の実施形態において説明した指示位置補正データ生成処理をコンピュータに実行させるためのプログラとしての指示位置補正データ生成プログラムを作成することが可能であり、また、作成した指示位置補正データ生成プログラムを各種の記録媒体に記録させておくことも可能である。

したがって、本発明は、これら指示位置補正データ生成プログラムとその指示位置補正データ生成プログラムを記録した記録媒体をも含むものである。また、指示位置補正データ生成プログラムはネットワークから取得するようにしてもよい。

本発明の実施形態に係る情報入力システムの外観構成を示す図。 本発明の実施形態に係る情報入力システムの構成を示すブロック図。 プロジェクタの投写画像データ座標系と撮像装置の撮像画像データ座標系の関係について示す図。 「ずれの原因その１」を説明する図。 「ずれの原因その２」を説明する図。 指示位置認識用マークＴ１〜Ｔ４に対する操作者の指先位置合わせ操作の一例を示す図。 ある１つの指示位置認識用マークに対する操作者の指先位置合わせ操作の例を示す図。 ある１つの指示位置認識用マーク（指示位置認識用マークＴ１とする）に注目したとき、仮の指先位置と操作者が認識する指先位置とのずれについて説明する図。 本発明の実施形態に係る情報入力システムが有する指示位置補正装置の構成を示すブロック図。 指示位置補正データ生成装置１００が行う指示位置補正データ生成処理手順を示すフローチャート。

符号の説明

１・・・机、２・・・投写面、３・・・プロジェクタ、４・・・撮像装置、５・・・コンピュータ、２０・・・指、１００・・・指示位置補正データ生成装置、１０１・・・指示位置認識用マーク表示制御部、１０２・・・射影変換式算出部、２００・・・指示位置補正処理装置、Ｔ１〜Ｔ４・・・指示位置認識用マーク

Claims (8)

1. コンピュータへの情報の入力操作を行うための操作用画面画像を投写面に投写可能なプロジェクタと前記操作用画面画像を撮像して得られた撮像画像データを前記コンピュータに送信可能な撮像装置とを有し、前記入力操作として操作者が前記操作画面用画像の所定位置を指示手段で指示すると、前記撮像画像データに基づいて前記操作者の指示した指示位置を検出して、検出した指示位置に前記プロジェクタによって入力指示用画像の表示を行う情報入力システムであって、
   前記操作者が前記操作画面用画像の所定位置を指示手段で指示したときの指示位置と前記撮像画像データに基づいて検出される前記操作者の指示した指示位置とのずれを補正する指示位置補正データの生成を行う指示位置補正データ生成装置と、
   前記指示位置補正データに基づいて前記入力指示用画像を表示すべき前記指示位置の補正を行う指示位置補正処理装置と、
   を有することを特徴とする情報入力システム。
2. 請求項１に記載の情報入力システムにおいて、
   前記指示位置補正データ生成装置は、
   複数個の指示位置認識用マークを前記プロジェクタによって前記投写面に表示させる指示位置認識用マーク表示制御部と、
   前記複数個の指示位置認識用マークを操作者が指示手段で指示したときのそれぞれの撮像画像データに基づいて前記指示手段の前記撮像装置における座標系での位置を検出し、検出された前記指示手段の前記撮像装置における座標系での位置と前記複数個の指示位置認識用マークの前記プロジェクタにおける座標系での位置との対応関係を表す射影変換式を前記指示位置補正データとして算出する射影変換式算出部と、
   を有することを特徴とする情報入力システム。
3. 請求項２に記載の情報入力システムにおいて、
   前記複数個の指示位置認識用マークは、前記投写面において任意の四辺形の頂点となる位置に表示されることを特徴とする情報入力システム。
4. 請求項１〜３のいずれかに記載の情報入力システムにおいて、
   前記指示手段は、前記操作者の指先であって、前記操作者の指示した指示位置の検出は、前記操作者の指先を検出することによって行うことを特徴とする情報入力システム。
5. 請求項１〜４のいずれかに記載の情報入力システムにおいて、
   前記入力指示用画像は、ポインタであることを特徴とする情報入力システム。
6. コンピュータへの情報の入力操作を行うための操作用画面画像を投写面に投写可能なプロジェクタと前記操作用画面画像を撮像して得られた撮像画像データを前記コンピュータに送信可能な撮像装置とを有し、前記入力操作として操作者が前記操作画面用画像の所定位置を指示手段で指示すると、前記撮像画像データに基づいて前記操作者の指示した指示位置を検出する情報入力システムにおける指示位置補正データ生成方法であって、
   複数個の指示位置認識用マークを前記プロジェクタによって前記投写面に表示させるステップと、
   前記複数個の指示位置認識用マークを操作者が指示手段で指示したときのそれぞれの撮像画像データに基づいて前記指示手段の前記撮像装置における座標系での位置を検出し、検出された前記指示手段の前記撮像装置における座標系での位置と前記複数個の指示位置認識用マークの前記プロジェクタにおける座標系での位置との対応関係を表す射影変換式を前記指示位置補正データとして算出するステップと、
   を有することを特徴とする情報入力システムにおける指示位置補正データ生成方法。
7. コンピュータへの情報の入力操作を行うための操作用画面画像を投写面に投写可能なプロジェクタと前記操作用画面画像を撮像して得られた撮像画像データを前記コンピュータに送信可能な撮像装置とを有し、前記入力操作として操作者が前記操作画面用画像の所定位置を指示手段で指示すると、前記撮像画像データに基づいて前記操作者の指示した指示位置を検出する情報入力システムにおける指示位置補正データ生成プログラムであって、
   複数個の指示位置認識用マークを前記プロジェクタによって前記投写面に表示させるステップと、
   前記複数個の指示位置認識用マークを操作者が指示手段で指示したときのそれぞれの撮像画像データに基づいて前記指示手段の前記撮像装置における座標系での位置を検出し、検出された前記指示手段の前記撮像装置における座標系での位置と前記複数個の指示位置認識用マークの前記プロジェクタにおける座標系での位置との対応関係を表す射影変換式を前記指示位置補正データとして算出するステップと、
   を有することを特徴とする情報入力システムにおける指示位置補正データ生成プログラム。
8. コンピュータへの情報の入力操作を行うための操作用画面画像を投写面に投写可能なプロジェクタと前記操作用画面画像を撮像して得られた撮像画像データを前記コンピュータに送信可能な撮像装置とを有し、前記入力操作として操作者が前記操作画面用画像の所定位置を指示手段で指示すると、前記撮像画像データに基づいて前記操作者の指示した指示位置を検出する情報入力システムにおける指示位置補正データ生成装置であって、
   複数個の指示位置認識用マークを前記プロジェクタによって前記投写面に表示させる指示位置認識用マーク表示制御部と、
   前記複数個の指示位置認識用マークを操作者が指示手段で指示したときのそれぞれの撮像画像データに基づいて前記指示手段の前記撮像装置における座標系での位置を検出し、検出された前記指示手段の前記撮像装置における座標系での位置と前記複数個の指示位置認識用マークの前記プロジェクタにおける座標系での位置との対応関係を表す射影変換式を前記指示位置補正データとして算出する射影変換式算出部と、
   を有することを特徴とする情報入力システムにおける指示位置補正データ生成装置。
   

Images