JP2008181304A - 情報処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】画像により正確に入力操作を認識できるようにする。
【解決手段】カメラ１２は、複数のアイコン画像が表示されているアイコンウィンドウ１４の所定の領域の画像を撮像し、画素値情報抽出部８３、輝度値情報抽出部８５、彩度値情報抽出部８７、および特徴点抽出部８９は、撮像された複数のフレーム数分の画像に対して、複数の種類の画像処理を施し、差分計算部８４，８６，８８，９０は、処理が施された画像処理の種類毎にカメラ１２により撮像された複数のフレーム数分の画像間の同一画素間の差分を抽出し、検出部９１は、複数の画像処理の種類毎に抽出された差分と、それぞれの所定の閾値とを比較し、比較結果に基づいて、アイコンウィンドウ１４に表示されている複数の画像のうち、選択されている画像の位置を検出する。本発明は、パーソナルコンピュータに適用することができる。
【選択図】図５

Description

本発明は、情報処理装置および方法、並びにプログラムに関し、特に、画像により正確に入力操作を認識できるようにした情報処理装置および方法、並びにプログラムに関する。

画像を用いて入力操作を認識する技術が一般に普及しつつある。

例えば、使用者が手で操作する範囲を撮像した画像のうち、時系列により前後に配置されるフレーム間で画素毎の差分からなる差分画像を生成し、さらに、差分画像を２値画像に変換して、差分画像として変化が現れている座標から入力操作を検出するものが提案されている（特許文献１参照）。

特開２００２−３１２１２３号公報

しかしながら、上述した手法では、フレーム間差分により求められた差分画像に基づいて、２値画像が生成されることになるので、環境の変化でも誤検出が発生することがあった。

本発明はこのような状況に鑑みてなされたものであり、特に、画像により正確に入力操作を認識できるようにするものである。

本発明の一側面の情報処理装置は、複数の画像を表示する表示手段と、前記複数の画像が表示されている所定の領域の画像を撮像する撮像手段と、前記撮像手段により撮像された複数のフレーム数分の画像に対して、複数の種類の画像処理を施す画像処理手段と、前記画像処理手段により施された画像処理の種類毎に前記撮像手段により撮像された複数のフレーム数分の画像間の同一画素間の差分を抽出する複数の差分抽出手段と、前記複数の画像処理の種類毎に抽出された差分と、それぞれの所定の閾値とを比較し、比較結果に基づいて、前記表示手段により表示されている複数の画像のうち、選択されている画像の位置を検出する検出手段とを含む。

前記複数の種類の画像処理には、輝度値抽出処理、彩度値抽出処理、および特徴点抽出処理を含ませるようにすることができる。

前記検出手段には、前記複数の画像処理手段のうち、前記輝度値抽出処理だけ実行させ、前記輝度値抽出処理により抽出された輝度の差分、および、前記撮像手段により撮像された画像の画素値の差分と、前記それぞれの所定の閾値とを比較させ、比較結果に基づいて、前記表示手段により表示されている複数の画像のうち、選択されている画像の位置を検出したとき、前記画像処理手段のうち、前記彩度値抽出処理、および前記特徴点抽出処理をさらに実行させ、前記彩度値抽出処理、および前記特徴点抽出処理により抽出された彩度の差分、および特徴点の差分と、前記それぞれの所定の閾値とを比較させ、比較結果に基づいて、前記表示手段により表示されている複数の画像のうち、選択されている画像の位置を検出させるようにすることができる。

前記撮像手段により撮像された画像のエッジ画像、および、前記撮像手段により撮像される画像の、想定画像のエッジ画像とを比較することにより、調整量を計算する調整量計算手段と、前記調整量に基づいて、前記撮像手段により撮像された画像を調整した後、特定領域画像を抽出し、前記画像処理手段に供給する抽出手段とをさらに含ませるようにすることができ、前記画像処理手段には、前記撮像手段により撮像された複数のフレーム数分の画像のうち、前記特定領域画像に対して、複数の種類の画像処理を施すようにさせることができる。

本発明の一側面の情報処理方法は、複数の画像を表示する表示ステップと、前記複数の画像が表示されている所定の領域の画像を撮像する撮像ステップと、前記撮像ステップの処理により撮像された複数のフレーム数分の画像に対して、複数の種類の画像処理を施す画像処理ステップと、前記画像処理ステップの処理により施された画像処理の種類毎に前記撮像ステップの処理により撮像された複数のフレーム数分の画像間の同一画素間の差分を抽出する複数の差分抽出ステップと、前記複数の画像処理の種類毎に抽出された差分と、それぞれの所定の閾値とを比較し、比較結果に基づいて、前記表示ステップの処理により表示されている複数の画像のうち、選択されている画像の位置を検出する検出ステップとを含む。

本発明の一側面のプログラムは、複数の画像を表示する表示ステップと、前記複数の画像が表示されている所定の領域の画像を撮像する撮像ステップと、前記撮像ステップの処理により撮像された複数のフレーム数分の画像に対して、複数の種類の画像処理を施す画像処理ステップと、前記画像処理ステップの処理により施された画像処理の種類毎に前記撮像ステップの処理により撮像された複数のフレーム数分の画像間の同一画素間の差分を抽出する複数の差分抽出ステップと、前記複数の画像処理の種類毎に抽出された差分と、それぞれの所定の閾値とを比較し、比較結果に基づいて、前記表示ステップの処理により表示されている複数の画像のうち、選択されている画像の位置を検出する検出ステップとを含む処理をコンピュータに実行させる。

本発明のプログラム格納媒体は、請求項６に記載のプログラムが格納されている。

本発明の一側面の情報処理装置および方法、並びにプログラムにおいては、複数の画像が表示され、前記複数の画像が表示されている所定の領域の画像が撮像され、撮像された複数のフレーム数分の画像に対して、複数の種類の画像処理が施され、施された画像処理の種類毎に撮像された複数のフレーム数分の画像間の同一画素間の差分が抽出され、前記複数の画像処理の種類毎に抽出された差分と、それぞれの所定の閾値とが比較され、比較結果に基づいて、表示されている複数の画像のうち、選択されている画像の位置が検出される。

本発明の情報処理装置は、独立した装置であっても良いし、情報処理を行うブロックであっても良い。

本発明の一側面によれば、画像により正確に入力操作を認識できるようにすることが可能となる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

即ち、本発明の一側面の情報処理装置は、複数の画像を表示する表示手段（例えば、図３のアイコンウィンドウ１４）と、前記複数の画像が表示されている所定の領域の画像を撮像する撮像手段（例えば、図３のカメラ１２）と、前記撮像手段により撮像された複数のフレーム数分の画像に対して、複数の種類の画像処理を施す画像処理手段（例えば、図５の画素値情報抽出部８３、輝度値情報抽出部８５、彩度値情報抽出部８７、および特徴点抽出部８９）と、前記画像処理手段により施された画像処理の種類毎に前記撮像手段により撮像された複数のフレーム数分の画像間の同一画素間の差分を抽出する複数の差分抽出手段（例えば、図５の差分計算部８４，８６，８８，９０）と、前記複数の画像処理の種類毎に抽出された差分と、それぞれの所定の閾値とを比較し、比較結果に基づいて、前記表示手段により表示されている複数の画像のうち、選択されている画像の位置を検出する検出手段（例えば、図５の検出部９１）とを含む。

前記検出手段（例えば、図５の検出部９１）には、前記複数の画像処理手段のうち、前記輝度値抽出処理だけ実行させ、前記輝度値抽出処理により抽出された輝度の差分、および、前記撮像手段により撮像された画像の画素値の差分と、前記それぞれの所定の閾値とを比較させ、比較結果に基づいて、前記表示手段により表示されている複数の画像のうち、選択されている画像の位置を検出したとき、前記画像処理手段のうち、前記彩度値抽出処理、および前記特徴点抽出処理をさらに実行させ、前記彩度値抽出処理、および前記特徴点抽出処理により抽出された彩度の差分、および特徴点の差分と、前記それぞれの所定の閾値とを比較させ、比較結果に基づいて、前記表示手段により表示されている複数の画像のうち、選択されている画像の位置を検出させるようにすることができる。

前記撮像手段により撮像された画像のエッジ画像、および、前記撮像手段により撮像される画像の、想定画像のエッジ画像とを比較することにより、調整量を計算する調整量計算手段（例えば、図４の調整量計算部７２ａ）と、前記調整量に基づいて、前記撮像手段により撮像された画像を調整した後、特定領域画像を抽出し、前記画像処理手段に供給する抽出手段（例えば、図５の特定領域画像抽出部８１）とをさらに含ませるようにすることができ、前記画像処理手段には、前記撮像手段により撮像された複数のフレーム数分の画像のうち、前記特定領域画像に対して、複数の種類の画像処理を施すようにさせることができる。

本発明の一側面の情報処理方法は、複数の画像を表示する表示ステップ（例えば、図８のステップＳ２２）と、前記複数の画像が表示されている所定の領域の画像を撮像する撮像ステップ（例えば、図８のステップＳ２３）と、前記撮像ステップの処理により撮像された複数のフレーム数分の画像に対して、複数の種類の画像処理を施す画像処理ステップ（例えば、図１３のステップＳ６１、図１４のステップＳ８１、図１５のステップＳ１０１、および図１６のステップＳ１２１）と、前記画像処理ステップの処理により施された画像処理の種類毎に前記撮像ステップの処理により撮像された複数のフレーム数分の画像間の同一画素間の差分を抽出する複数の差分抽出ステップ（例えば、図１３のステップＳ６２、図１４のステップＳ８２、図１５のステップＳ１０２、および図１６のステップＳ１２２）と、前記複数の画像処理の種類毎に抽出された差分と、それぞれの所定の閾値とを比較し、比較結果に基づいて、前記表示ステップの処理により表示されている複数の画像のうち、選択されている画像の位置を検出する検出ステップ（例えば、図１２のステップＳ４７乃至Ｓ４９）とを含む。

図1，図２は、本発明を適用したパーソナルコンピュータの外観を示している。

パーソナルコンピュータ１（以下、PC１とも称する）は、キーボード１１を備えており、キーボード１１は、本体に対して軸Ａｘにより図中の矢印ＡまたはＢ方向に回動することができ、使用者は、矢印Ａ方向に回動させることにより、図２のキーボード１１’で示されるようキーボード１１の上面が開き、同時に、キーボード１１により覆い被されていたLCD（Liquid Crystal Display）からなる表示部１５が露出した状態となるので、キーボード１１を操作することができ、さらに、キーボード１１の操作に応じて表示部１５に表示される内容を視認することが可能となる。また、使用者は、キーボード１１を矢印Ｂ方向に回動させると、図２のキーボード１１で示されるように閉じられ、さらに、表示部１５に覆い被される状態となる。この結果、PC１が使用されない場合、キーボード１１および表示部１５は、表面に露出した状態とはならないので、埃にさらされないようにすることができる。

カメラ１２は、PC１の本体上部に内蔵されており、棒状の鏡面からなる反射鏡１３により、図２で示される実線の矢印で示される光路によりアイコンウィンドウ１４上の所定の範囲を撮像し、撮像した画像を取り込む。アイコンウィンドウ１４は、PC１の再生処理部３５（図３）により制御されており、再生可能な複数のコンテンツのそれぞれのアイコン画像を表示する。使用者は、再生したいコンテンツのアイコン画像をアイコンウィンドウ１４の表面付近で指差すと、反射鏡１３により反射してカメラ１２により撮像され、再生処理部３５は、カメラ１２により撮像された位置に対応するコンテンツを再生する。

表示部１５の左右には、それぞれスピーカ１６−１，１６−２が設けられており、再生処理部３５によりコンテンツが再生されるとき、音声を出力する。尚、スピーカ１６−１，１６−２を特に区別する必要が無い場合、単に、スピーカ１６と称するものとし、その他の構成についても同様に称するものとする。

次に、図３を参照してPC１の実施の形態について説明する。尚、PC１の実施の形態については、主としてハードウェアによるものを例として説明するものとするが、各構成はソフトウェアプログラムによりなされるようにしても良いものである。

カメラインタフェース部３１は、カメラ１２により撮像された画像を取得し、カメラフィルタ処理部３２に供給する。カメラフィルタ処理部３２は、カメラインタフェース部３１より供給されてくる画像のうち、検出処理部３３により特定領域差分検出処理に必要とされる領域の画像のみをフィルタ処理により抽出し、検出処理部３３に供給する。

検出処理部３３の特定領域差分検出部５２は、カメラフィルタ処理部３２より供給されてきた特定領域差分検出処理に必要とされる画像に基づいて、アイコンウィンドウ１４に表示されたいずれかのコンテンツの再生の指示を検出し、検出結果をコマンド設定部３４に供給する。キャリブレーション部５１は、特定領域差分検出部５２による特定領域差分検出処理に必要とされる画像を調整し、認識領域データを設定する。尚、キャリブレーション部５１および特定領域差分検出部５２の詳細な構成については、図４，図５を参照して後述する。

コマンド設定部３４は、検出処理部３３より供給されてくる検出結果に基づいて、再生操作が検出された場合、検出された位置の情報に基づいて、対応するコンテンツの再生コマンドを設定して、再生処理部３５に供給する。

再生処理部３５は、コマンド設定部３４より供給されてくるコマンドに基づいて、記憶部３６に記憶されているコンテンツを再生し、スピーカ１６−１，１６−２より音声として出力する。尚、コンテンツに画像が含まれている場合、再生処理部３５は、コンテンツの画像を表示部１５に表示する。この場合、図１の構成においては、キーボード１１を矢印Ａ方向に回動して表示部１５が視聴可能な状態にする必要がある。

再生処理部３５のタイトル画像生成部３５ａは、記憶部３６に記憶されている再生可能な複数のコンテンツのそれぞれのジャケット画像をアイコン画像としてアイコンウィンドウ１４に表示する。コマンド認識部３５ｂは、コマンド設定部３４より供給されてきた再生コマンドを認識し、どのコンテンツを再生すべきかを示す情報を再生部３５ｃに供給する。再生部３５ｃは、コマンド認識部３５ｂにより指定されるコンテンツを記憶部３６より読み出して音声をスピーカ１６に出力させる。また、再生部３５ｃは、コンテンツに音声のみならず、画像が含まれている場合、画像を表示部１５に表示する。

次に、図４を参照して、キャリブレーション部５１の実施の形態について説明する。

エッジ画像抽出部７１は、例えば、ラプラシアンフィルタなどから構成されるものであり、カメラフィルタ処理部３２より供給されてくる画像をエッジ画像に変換して認識領域設定部７２に供給する。認識領域設定部７２は、キャリブレーション用モデルデータメモリ７３に記憶されている想定エッジ画像データを読み出し、エッジ画像抽出部７１より供給されてくるカメラ１２により撮像された画像のエッジ画像との調整量を、調整量計算部７２ａを制御して計算させ、調整量を認識領域データとして設定し、特定領域差分検出部５２の認識領域データメモリ８２に記憶させる。

次に、図５を参照して、特定領域差分検出部５２の実施の形態について説明する。

特定領域画像抽出部８１は、認識領域データメモリ８２よりキャリブレーション部５１により求められた調整量である認識領域データを読み出し、認識領域データに基づいて、カメラフィルタ処理部３２より供給されてきた画像の位置を調整して、特定領域画像を抽出して画素値情報抽出部８３、輝度値情報抽出部８５、彩度値情報抽出部８７、および特徴点抽出部８９に供給する。尚、特定領域画像は、再生可能なコンテンツの数だけ、すなわち、アイコンウィンドウ１４で表示されるアイコンの数だけ存在し、その位置は、タイトル画像生成部３５ａによりアイコンウィンドウ１４に表示される画像により依存される。従って、特定領域画像抽出部８１は、特定領域画像を抽出すべき位置の情報を予めタイトル画像生成部３５ａより取得している。

画素値情報抽出部８３は、特定領域画像抽出部８１より供給されてくる特定領域画像毎に画素値を抽出し、バッファリングすると共に、それ以前にバッファリングされていた複数のフレーム分の特定領域画像毎の画素値情報を差分計算部８４に供給する。画素値情報抽出部８３は、例えば、３フレーム分の特定領域画像の画素値情報をバッファリングするとき、最も古い３フレーム前の画素値情報を削除して、新しいフレームの画素値情報を記憶する。このように、画素値情報抽出部８３は、最新の３フレーム分の特定領域画像の画素値情報を常にバッファリングしている状態を維持する。差分計算部８４は、特定領域画像毎に複数フレーム間の特定領域画像の画素値の差分絶対値を求め、画素値差分情報として検出部９１に供給する。

輝度値情報抽出部８５は、特定領域画像抽出部８１より供給されてくる特定領域画像の各画素の輝度値を抽出し、バッファリングすると共に、それ以前にバッファリングされていた複数のフレーム分の特定領域画像毎の輝度値情報を差分計算部８６に供給する。輝度値情報抽出部８５は、例えば、３フレーム分の特定領域画像の輝度値情報をバッファリングするとき、最も古い３フレーム前の輝度値情報を削除して、新しいフレームの輝度値情報を記憶する。このように、輝度値情報抽出部８５は、最新の３フレーム分の特定領域画像の輝度値情報を常にバッファリングしている状態を維持する。差分計算部８６は、特定領域画像毎に複数フレーム間の特定領域画像の輝度値の差分を求め、輝度値差分情報として検出部９１に供給する。

彩度値情報抽出部８７は、特定領域画像抽出部８１より供給されてくる特定領域画像の各画素の彩度値を抽出し、バッファリングすると共に、それ以前にバッファリングされていた複数のフレーム分の特定領域画像毎の彩度値情報を差分計算部８８に供給する。彩度値情報抽出部８７は、例えば、３フレーム分の特定領域画像の彩度値情報をバッファリングするとき、最も古い３フレーム前の彩度値情報を削除して、新しいフレームの彩度値情報を記憶する。このように、彩度値情報抽出部８７は、最新の３フレーム分の特定領域画像の彩度値情報を常にバッファリングしている状態を維持する。差分計算部８８は、特定領域画像毎に複数フレーム間の特定領域画像の彩度値の差分を求め、彩度値差分情報として検出部９１に供給する。

特徴点抽出部８９は、特定領域画像抽出部８１より供給されてくる特定領域画像に対して、例えば、HarrisCornerを特徴点として抽出し、その位置情報をバッファリングすると共に、それ以前にバッファリングされていた複数のフレーム分の特定領域画像の特徴点情報を差分計算部９０に供給する。尚、HarrisCornerとは、輝度情報から効率良く抽出された画面内にある物体の角の一種である。特徴点抽出部８９は、例えば、３フレーム分の特定領域画像の彩度値情報をバッファリングするとき、最も古い３フレーム前の特徴点情報を削除して、新しいフレームの特徴点情報を記憶する。このように、特徴点抽出部８９は、最新の３フレーム分の特定領域画像の特徴点情報を常にバッファリングしている状態を維持する。差分計算部９０は、特定領域画像毎に複数フレーム間の特定領域画像の特徴点情報の差分を求め、特徴点差分情報として検出部９１に供給する。

検出部９１は、特定領域画像毎に供給されてくる画素値差分情報、輝度値差分情報、彩度値差分情報、および特徴点差分情報について、それぞれの情報に設定されている所定の閾値とを比較し、所定の閾値より大きい差分情報が、所定の組み合わせ条件を満たしたとき、、その特定領域画像に変化が発生した、すなわち、再生操作がなされたものとみなし、変化が発生した特定領域画像の位置を示す情報をコマンド設定部３４に出力する。

次に、図６のフローチャートを参照して、キャリブレーション処理について説明する。

ステップＳ１において、カメラ１２は、画像を撮像し、撮像した画像をカメラインタフェース部３１に供給する。カメラインタフェース部３１は、カメラ１２より供給されてきた画像をカメラフィルタ処理部３２に供給する。

ステップＳ２において、カメラフィルタ処理部３２は、カメラインタフェース部３１より供給された画像より後述する特定領域差分検出処理に必要な領域を抽出して検出処理部３３に供給する。

ステップＳ３において、キャリブレーション部５１のエッジ画像抽出部７１は、特定領域差分検出処理に必要とされる領域の画像より、エッジ画像を抽出し、認識領域設定部７２に供給する。

ステップＳ４において、認識領域設定部７２は、キャリブレーション用モデルデータメモリ７３より想定エッジ画像データを読み出す。

ステップＳ５において、認識領域設定部７２は、調整量計算部７２ａを制御して、想定エッジ画像データと、エッジ画像抽出部７１より供給されてきたエッジ画像との調整量を計算させる。すなわち、カメラ１２により撮像される画像内には、反射鏡１３が含まれることになるため、エッジ画像としては、反射鏡の輪郭が現れることになる。また、想定エッジ画像データは、カメラ１２と反射鏡１３との配置から予め想定されるエッジ画像データであるので、同様に反射鏡の輪郭からなる画像となる。

従って、カメラ１２が、反射鏡１３に対して想定されている通りに設置されていれば、供給されるエッジ画像と、想定エッジ画像データとは、完全に一致することになるが、カメラ１２は、工作精度や経年劣化により反射鏡１３に対して必ずしも一定ではなく、設置される方向によりずれが生じることがあるので、カメラフィルタ処理部３２により検出処理に必要な領域として抽出された画像は、カメラ１２の撮像領域内の反射鏡１３が、例えば、図７で示される点線で囲まれるような輪郭Ｒであるのに対して、想定エッジ画像データにおける反射鏡１３が図７で示される実線で囲まれるような輪郭Ｍであるといったようにずれが生じることがある。このため、ステップＳ５の処理により、認識領域設定部７２は、図７のような場合、調整量計算部７２ａを制御して、ずれｄを調整量として計算させる。

ステップＳ６において、認識領域設定部７２は、計算された調整量を、認識領域データとして特定領域差分検出部５２の認識領域データメモリ８２に記憶させ、処理を終了する。

以上の処理により、カメラ１２と反射鏡１３との対応関係を調整させるための認識領域データが認識領域データメモリ８２に記憶されることになるので、後述する図８のステップＳ２５で示される特定領域差分検出処理を正確に実施することが可能となる。

次に、図８のフローチャートを参照して、操作管理処理について説明する。

ステップＳ２１において、再生処理部３５は、例えば、キーボード１１などが操作されることにより、操作管理処理を実行するように指示されているか否か、すなわち、アイコンウィンドウ１４にアイコン画像を表示し、表示されたアイコン画像を指差すことにより対応するコンテンツの再生を受け付ける管理が指示されているか否かを判定し、操作管理が指示されるまで、その処理を繰り返す。

ステップＳ２１において、操作管理が指示されていると判定された場合、ステップＳ２２において、再生処理部３５は、タイトル画像生成部３５ａを制御して、記憶部３６に記憶されているコンテンツのタイトル画像を読み込ませ、アイコン画像として、例えば、図９で示されるようにアイコンウィンドウ１４に表示させる。

図９においては、アイコンウィンドウ１４上に、３個のアイコン画像Ｉ１乃至Ｉ３が水平方向に配置されており、各アイコン画像Ｉ１乃至Ｉ３の水平方向の端部である位置Ｐ１乃至Ｐ２、Ｐ３乃至Ｐ４、およびＰ５乃至Ｐ６の幅は、いずれも幅ｂ１に設定されており、それぞれのアイコン画像が幅ｃ１の間隔で配置されている。また、使用者は、表示されているアイコン画像内の斜線部で示される幅ｂ２の位置Ｐ１１乃至Ｐ１２、Ｐ１３乃至Ｐ１４、およびＰ１５乃至Ｐ１６の操作範囲内であって、アイコンウィンドウ１４の表面付近に指をかざす（または触れる）と、後述する処理により、対応するアイコン画像のコンテンツが再生される。従って、ウィンドウ画像のうち斜線部以外の範囲は、不感体として設定されている。さらに、図１０で示されるように、人間の実際の指が実際は幅ｈ１である場合、ぼやけて撮像されることにより幅ｈ２となることを考慮して、撮像された指が、隣接する２個のアイコン画像を跨いで見えるように撮像されないように、以下の式で示される関係が満たされるように、アイコン画像Ｉ１乃至Ｉ３が配置される。

（ｂ１−ｂ２）＋ｃ１＞ｈ２

ここで、ｂ１，ｂ２，ｃ１，ｈ２は、いずれも幅ｂ１，ｂ２，ｃ１，ｈ２である。

ステップＳ２３において、カメラ１２は、アイコンウィンドウ１４上を反射鏡１３越しに撮像し、撮像した画像をカメラインタフェース部３１に供給する。カメラインタフェース部３１は、カメラ１２より供給されてきた画像をカメラフィルタ処理部３２に供給する。

ステップＳ２４において、カメラフィルタ処理部３２は、供給された画像に対してフィルタ処理を施し、例えば、図１１で示されるような特定領域差分検出処理に必要とされる領域の画像Ｆを抽出して検出処理部３３供給する。図１１のフィルタ処理された画像Ｆにおいては、図中の上部に半円状の範囲が、棒状の反射鏡１３に反射されたアイコンウィンドウ１４の表面部分である。また、図１１中において、反射鏡１３で反射された画像上におけるアイコンウィンドウ１４の操作範囲位置Ｐ１１乃至Ｐ１２、Ｐ１３乃至Ｐ１４、およびＰ１５乃至Ｐ１６に対応する範囲は、画像上の反射鏡１３との境界上における位置Ｐ１１’乃至Ｐ１２’、Ｐ１３’乃至Ｐ１４’、およびＰ１５’乃至Ｐ１６’に対応する範囲である。

ステップＳ２５において、特定領域差分検出部５２は、特定領域差分検出処理を実行する。

ここで、図１２のフローチャートを参照して、図５の特定領域差分検出部５２による特定領域差分検出処理について説明する。

ステップＳ４１において、特定領域画像抽出部８１は、認識領域データメモリ８２より上述したキャリブレーション処理により設定されている調整量からなる認識領域データを読み出す。

ステップＳ４２において、特定領域画像抽出部８１は、供給されてきた画像を、認識領域データである調整量で調整し、調整した画像より特定領域画像を抽出し、画素値情報抽出部８３、輝度値情報抽出部８５、彩度値情報抽出部８７、および特徴点抽出部８９にそれぞれ供給する。例えば、図１１の画像の場合、特定領域画像抽出部８１は、アイコンウィンドウ１４の操作範囲である位置Ｐ１１’乃至Ｐ１２’、Ｐ１３’乃至Ｐ１４’、およびＰ１５’乃至Ｐ１６’の近傍画像を特定領域画像Ｚ１乃至Ｚ３として抽出し、それぞれを画素値情報抽出部８３、輝度値情報抽出部８５、彩度値情報抽出部８７、および特徴点抽出部８９のそれぞれに供給する。

ステップＳ４３において、画素値差分計算処理が実行され、画素値の差分が求められる。

ここで、図１３のフローチャートを参照して、画素値差分計算処理について説明する。

ステップＳ６１において、画素値情報抽出部８３は、特定領域画像抽出部８１より供給されてくる特定領域画像毎に画素値を抽出する。

ステップＳ６２において、画素値情報抽出部８３は、抽出した特定領域画像毎の画素値をバッファリングすると共に、それ以前にバッファリングされていた複数のフレーム分の特定領域画像毎の画素値情報を差分計算部８４に供給する。例えば、３フレーム分の特定領域画像の画素値情報をバッファリングするとき、最も古い３フレーム前の画素値情報を削除して、新しいフレームの画素値情報を記憶する。

ステップＳ６３において、差分計算部８４は、特定領域画像毎に複数フレーム間の特定領域画像の画素値の差分絶対値を求め、複数フレームの同一画素毎の差分の平均値を画素値差分情報として検出部９１に供給する。すなわち、差分計算部８４は、例えば、連続するフレームＦ１１乃至Ｆ１３の３フレームについて、同一の画素Ｐの差分ｄ１（Ｐ）＝｜Ｐ（Ｆ１１）−Ｐ（Ｆ１２）｜、および、差分ｄ２（Ｐ）＝｜Ｐ（Ｆ１２）−Ｐ（Ｆ１３）｜を求め、さらに、平均値Ｄ（Ｐ）＝（ｄ１（Ｐ）＋ｄ２（Ｐ））／２を画素値Ｐの画素値差分情報として求める。尚、Ｐ（Ｆ１１），Ｐ（Ｆ１２），Ｐ（Ｆ１３）は、それぞれフレームＦ１１乃至Ｆ１３上の画素Ｐの画素値である。

ここで、図１２のフローチャートの説明に戻る。

ステップＳ４３において、画素値差分計算処理が実行されると、次に、ステップＳ４４において、輝度値差分計算処理が実行され、画素毎の輝度値の差分が求められる。

ここで、図１４のフローチャートを参照して、輝度値差分計算処理について説明する。

ステップＳ８１において、輝度値情報抽出部８５は、特定領域画像抽出部８１より供給されてくる特定領域画像の各画素の輝度値を抽出する。

ステップＳ８２において、輝度値情報抽出部８５は、抽出した特定領域画像の各画素の輝度値をバッファリングすると共に、それ以前にバッファリングされていた複数のフレーム分の特定領域画像毎の輝度値情報を差分計算部８６に供給する。輝度値情報抽出部８５は、例えば、３フレーム分の特定領域画像の輝度値情報をバッファリングするとき、最も古い３フレーム前の輝度値情報を削除して、新しいフレームの輝度値情報を記憶する。

ステップＳ８３において、差分計算部８６は、特定領域画像毎に複数フレーム間の特定領域画像の輝度値の差分を求め、輝度値差分情報として検出部９１に供給する。すなわち、差分計算部８６は、例えば、連続するフレームＦ１１乃至Ｆ１３の３フレームについて、同一の画素Ｐの差分Ｙｄ１（Ｐ）＝｜Ｙｐ（Ｆ１１）−Ｙｐ（Ｆ１２）｜、および、差分Ｙｄ２（Ｐ）＝｜Ｙｐ（Ｆ１２）−Ｙｐ（Ｆ１３）｜を求め、さらに、平均値ＹＤ（Ｐ）＝（Ｙｄ１（Ｐ）＋Ｙｄ２（Ｐ））／２を画素値Ｐの輝度値差分情報として求める。尚、Ｙｐ（Ｆ１１），Ｙｐ（Ｆ１２），Ｙｐ（Ｆ１３）は、それぞれフレームＦ１１乃至Ｆ１３上の画素Ｐの輝度値である。

ここで、図１２のフローチャートの説明に戻る。

ステップＳ４４において、輝度値差分計算処理が実行されると、次に、ステップＳ４５において、彩度値差分計算処理が実行され、画素毎の彩度値の差分が求められる。

ここで、図１５のフローチャートを参照して、彩度値差分計算処理について説明する。

ステップＳ１０１において、彩度値情報抽出部８７は、特定領域画像抽出部８１より供給されてくる特定領域画像の各画素の彩度値を抽出する。

ステップＳ１０２において、彩度値情報抽出部８７は、抽出した特定領域画像の各画素の彩度値をバッファリングすると共に、それ以前にバッファリングされていた複数のフレーム分の特定領域画像毎の彩度値情報を差分計算部８８に供給する。彩度値情報抽出部８７は、例えば、３フレーム分の特定領域画像の彩度値情報をバッファリングするとき、最も古い３フレーム前の彩度値情報を削除して、新しいフレームの彩度値情報を記憶する。

ステップＳ１０３において、差分計算部８８は、特定領域画像毎に複数フレーム間の特定領域画像の彩度値の差分を求め、彩度値差分情報として検出部９１に供給する。すなわち、差分計算部８８は、例えば、連続するフレームＦ１１乃至Ｆ１３の３フレームについて、同一の画素Ｐの差分Ｓｄ１（Ｐ）＝｜Ｓｐ（Ｆ１１）−Ｓｐ（Ｆ１２）｜、および、差分Ｓｄ２（Ｐ）＝｜Ｓｐ（Ｆ１２）−Ｓｐ（Ｆ１３）｜を求め、さらに、平均値ＳＤ（Ｐ）＝（Ｓｄ１（Ｐ）＋Ｓｄ２（Ｐ））／２を画素値Ｐの彩度値差分情報として求める。尚、Ｓｐ（Ｆ１１），Ｓｐ（Ｆ１２），Ｓｐ（Ｆ１３）は、それぞれフレームＦ１１乃至Ｆ１３上の画素Ｐの彩度値である。

ここで、図１２のフローチャートの説明に戻る。

ステップＳ４５において、彩度値差分計算処理が実行されると、次に、ステップＳ４６において、特徴点差分計算処理が実行され、特徴点となる画素毎の画素値の差分が求められる。

ここで、図１５のフローチャートを参照して、特徴点差分計算処理について説明する。

ステップＳ１２１において、特徴点抽出部８９は、特定領域画像抽出部８１より供給されてくる特定領域画像に対して、エッジ抽出処理を特定領域画像毎に施し、さらに、エッジ抽出された画像の画素値を特徴点情報として抽出する。

ステップＳ１２２において、特徴点抽出部８９は、抽出した特定領域画像における特徴点としてエッジ抽出された画像の画素値をバッファリングすると共に、それ以前にバッファリングされていた複数のフレーム分の特定領域画像の特徴点情報を差分計算部９０に供給する。特徴点抽出部８９は、例えば、３フレーム分の特定領域画像の彩度値情報をバッファリングするとき、最も古い３フレーム前の特徴点情報を削除して、新しいフレームの特徴点情報を記憶する。

ステップＳ１２３において、差分計算部９０は、特定領域画像毎に複数フレーム間の特定領域画像の特徴点情報の差分を求め、特徴点差分情報として検出部９１に供給する。尚、計算方法そのものは画素値差分計算と同様であるが、特徴点となる画素の画素値のみが計算に用いられる点が異なる。

ここで、図１２のフローチャートの説明に戻る。

ステップＳ４６において、彩度値差分計算処理が実行されると、次に、ステップＳ４７において、検出部９１は、特定領域画像毎に供給されてくる画素値差分情報、輝度値差分情報、彩度値差分情報、および特徴点差分情報について、それぞれの情報に設定されている所定の閾値とを比較し、所定の閾値よりも大きな差分が所定の組み合わせ条件を満たすか否かを判定する。

ステップＳ４７において、例えば、特定領域画像Ｚ１乃至Ｚ３のいずれかにおいて、図１７の上段の特定領域画像Ｚで示されるように、反射鏡１３の境界付近の特定領域近傍にコンテンツの再生を指示するための指が画像中に存在しない状態から、図１７の下段の特定領域画像Ｚで示されるように、反射鏡１３の境界付近の特定領域近傍に指が画像中に存在するような状態に変化すると、画素値差分情報、輝度値差分情報、彩度値差分情報、および特徴点差分情報のいずれかにおいて、少なくとも１つは、差分が検出される可能性が高いので、所定の閾値よりも大きな差分が少なくとも１つでも含まれる組み合わせの場合、すなわち、いずれかの差分が１つでも閾値よりも大きな変化が発生した場合、処理は、ステップＳ４８に進み、検出部９１は、非接触（または接触）により特定領域で操作があったとみなす。

一方、ステップＳ４７において、例えば、特定領域画像Ｚ１乃至Ｚ３のいずれにおいても、図１７の上段の特定領域画像Ｚで示されるように、反射鏡１３の境界付近の特定領域近傍に物体が存在しない状態が継続した場合、画素値差分情報、輝度値差分情報、彩度値差分情報、および特徴点差分情報のいずれかにおいても、差分が検出される可能性が低いので、所定の閾値よりも大きな差分が１つも含まれない組み合わせの場合、すなわち、いずれの差分も閾値よりも大きな変化が発生しない場合、処理は、ステップＳ４９に進み、検出部９１は、非接触（または接触）による特定領域での操作がなかったものとみなす。

以上の処理により、コンテンツ毎に設定されているアイコン画像上を撮像した画像である特定領域画像内における変化が、画素値差分情報、輝度値差分情報、彩度値差分情報、および特徴点差分情報といった複数の差分情報の変化が検出されることになるので、画像による操作の有無を検出するにあたり、環境変化による誤検出を低減させる事が可能となる。尚、所定の閾値よりも大きな差分が、所定の組み合わせ条件を満たす条件は、上述した例に限られるものではなく、その他の組み合わせであっても良い。

ここで、図８のフローチャートの説明に戻る。

ステップＳ２５において、特定領域差分検出処理が実行されると、ステップＳ２６において、検出部９１は、特定領域において非接触（または接触）による操作があったか否かを判定する。

ステップＳ２６において、例えば、上述した特定領域差分検出処理におけるステップＳ４８の処理により操作があったとみなされた場合、ステップＳ２７において、検出部９１は、操作があったと検出された特定領域を特定する情報と共に、再生を指示する操作が発生したことをコマンド設定部３４に通知する。コマンド設定部３４は、特定領域を特定する情報に基づいて、対応するコンテンツを再生するコマンドを生成し、再生処理部３５に供給する。すなわち、図１１において、例えば、特定領域Ｚ２において、操作があったものとみなされた場合、コマンド設定部３４は、図９で示されるアイコンウィンドウ１４のうち、中央に表示されているアイコン画像Ｉ２（水平方向に対して位置Ｐ３乃至Ｐ４で示される範囲のアイコン画像）に対応するコンテンツの再生が指示されたことを示すコマンドを生成する。

ステップＳ２８において、再生処理部３５は、コマンド認識部３５ｂを制御して、供給されてきたコマンドを認識し、再生部３５ｃを制御して、認識されたコンテンツを記憶部３６より読み出させると共にスピーカ１６または表示部１５に出力して、音声または画像として再生させる。

ステップＳ２９において、再生処理部３５は、コンテンツの再生が終了しているか否かを判定し、再生が終了しておらず、再生が継続されている場合、処理は、ステップＳ２３に戻る。すなわち、再生が継続されている場合、ステップＳ２３乃至Ｓ２９の処理が繰り返されて、新たなコンテンツの再生が指示されるか、または、再生が終了されるまで、その処理が繰り返される。

一方、ステップＳ２６において、例えば、上述した特定領域差分検出処理におけるステップＳ４８の処理により操作がなかったとみなされた場合、ステップＳ２７，Ｓ２８の処理がスキップされる。結果として、再生操作の待ち状態が継続される。

以上の処理により、アイコンウィンドウ１４に上に表示されているアイコン画像のうち、使用者が再生したいコンテンツに対応するアイコン画像上に指をかざす、または、触れるなどすると、対応する特定領域画像内の画素値差分情報、輝度値差分情報、彩度値差分情報、および特徴点差分情報といった複数の差分情報により操作の有無が操作された位置と共に検出されることになるので、環境光の変化などにより発生しやすい誤認識を低減させて正確に画像による操作指示を認識することが可能となる。

尚、以上の例においては、特定領域差分検出処理において、画素値差分計算処理、輝度値差分計算処理、彩度値差分計算処理、および特徴点差分計算処理の全ての処理を実行する例について説明してきたが、このうち、画素値差分計算処理、および輝度値差分計算処理は、処理負荷が小さいが、認識精度が低く、彩度値差分計算処理、および特徴点差分計算処理は処理負荷が大きいが、認識精度が高いので、画素値差分計算処理、および輝度値差分計算処理において、再生操作が認識された場合にのみ、彩度値差分計算処理、および特徴点差分計算処理を実行させるようにしても良い。

図１８は、画素値差分計算処理、および輝度値差分計算処理において、再生操作が認識された場合にのみ、彩度値差分計算処理、および特徴点差分計算処理を実行させるようにした特定領域差分検出部５２のその他の実施の形態の構成例を示している。尚、図１８の特定領域差分検出部５２において、図５の特定領域差分検出部５２と同一の構成については、同一の符号を付しており、その説明は、適宜省略するものとする。

図１８の特定領域差分検出部５２において、図５の特定領域差分検出部５２と異なる点は、彩度値情報抽出部８７、特徴点抽出部８９、および検出部９１に代えて、彩度情報抽出部１０２、特徴点抽出部１０３、および検出部１０１を設けた点である。

彩度情報抽出部１０２、特徴点抽出部１０３、および検出部１０１は、いずれも基本的には、彩度値情報抽出部８７、特徴点抽出部８９、および検出部９１と同様の機能を備えているが、検出部９１は、さらに、画素値差分計算処理、および輝度値差分計算処理において、再生操作が認識された場合にのみ、彩度情報抽出部１０２、および特徴点抽出部１０３に対して、彩度値差分計算処理、および特徴点差分計算処理を実行させるようにする。

次に、図１９のフローチャートを参照して、図１８の特定領域差分検出部５２による特定領域差分検出処理について説明する。尚、図１９のフローチャートにおけるステップＳ１４１乃至Ｓ１４４、およびステップＳ１４６，Ｓ１４７，Ｓ１４９，Ｓ１５０の処理は、図１２のステップＳ４１乃至Ｓ４６，Ｓ４８，Ｓ４９の処理と同様であるので、その説明は省略するものとする。

ステップＳ１４５において、検出部１０１は、特定領域画像毎に供給されてくる画素値差分情報、および輝度値差分情報について、それぞれの情報に設定されている所定の閾値とを比較し、所定の閾値より大きい差分情報が、所定の組み合わせ条件を満たすか否かを判定する。

ステップＳ１４５において、例えば、所定の閾値より大きい差分情報が、所定の組み合わせ条件を満たした場合、操作指示が認識されたものとみなし、処理は、ステップＳ１４６，Ｓ１４７に進み、彩度値差分計算処理、および特徴点差分計算処理が実行される。

一方、ステップＳ１４５において、所定の閾値より大きい差分情報が、所定の組み合わせ条件を満たさない場合、ステップＳ１４６乃至Ｓ１４９の処理がスキップされ、特定領域で操作がなかったとみなされる。

ステップＳ１４８において、検出部１０１は、特定領域画像毎に供給されてくる彩度値差分情報、および特徴点差分情報について、それぞれの情報に設定されている所定の閾値とを比較し、所定の閾値より大きい差分情報が、所定の組み合わせ条件を満たすか否かを判定する。

ステップＳ１４８において、例えば、所定の閾値より大きい差分情報が、所定の組み合わせ条件を満たした場合、処理は、ステップＳ１４９に進み、特定領域で操作があったとみなされる。

一方、ステップＳ１４８において、所定の閾値より大きい差分情報が、所定の組み合わせ条件を満たさない場合、特定領域で操作がなかったとみなされる。

以上の処理により、コンテンツの再生操作が、特定領域画像内における変化が、画素値差分情報、輝度値差分情報、彩度値差分情報、および特徴点差分情報といった複数の差分情報のうち、計算の処理負荷が小さいが、誤認識の発生しやすい画素値差分情報、輝度値差分情報において、再生操作を検出した場合にのみ、計算の処理負荷は大きいが誤認識が発生しにくい彩度値差分情報、および特徴点差分情報により再生操作の有無を認識することが可能となるため、処理負荷を低減させつつ、環境光の変化により発生しやすい誤認識を低減させて正確に認識することが可能となる。

尚、以上においては、カメラ１２に対して反射鏡１３は、固定された位置に配設される例について説明してきたが、例えば、図２０で示されるように、PC本体の端部１２１を軸として反射鏡１３を固定する支柱１２２を矢印方向に回動させることによりカメラ１２の視野内に存在するとき、上述した反射鏡１３として機能させると共に、図中の反射鏡１３’で示されるように跳ね上げることで、カメラ１２により使用者を撮像できるようにしてもよい。

また、例えば、図２１で示されるように、キーボード１１’の軸Axに対して垂直方向の長さを、PC１の本体の長さと一致させ、キーボード１１’端部に反射鏡１３’を設けて、軸Axに対してキーボード１１のように本体に閉じるようにしたとき、反射鏡１３として機能するように構成することで、キーボード１１’のように本体に対して開いたとき、使用者を撮像できるようにしてもよい。

さらに、図２２のZoom１で示されるように、カメラ１２のズーム倍率により、ズームアップすることにより反射鏡１３を含まない範囲を撮像するとき、使用者を撮像できるようにし、Zoom２で示されるようにズームアウトすることにより反射鏡１３を含む範囲を撮像することにより、この反射鏡１３を含む範囲をカメラフィルタ処理部３２によりフィルタ処理して特定領域差分検出処理に必要とされる領域の画像として抽出して使用するようにしてもよい。

ところで、上述した一連の画像処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図２３は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

本発明を適用したPCの実施の形態の外観を示す図である。 本発明を適用したPCの実施の形態の外観を示す図である。 本発明を適用したPCの実施の形態の構成例を示すブロック図である。 図３のキャリブレーション部を説明するブロック図である。 図３の特定領域差分検出部の構成例を説明するブロック図である。 キャリブレーション処理を説明するフローチャートである。 キャリブレーション処理を説明する図である。 操作管理処理を説明するフローチャートである。 図１のアイコンウィンドウを説明する図である。 図１のアイコンウィンドウを説明する図である。 特定領域を説明する図である。 図５の特定領域差分検出部による特定領域差分検出処理を説明するフローチャートである。 画素値差分計算処理を説明するフローチャートである。 輝度値差分計算処理を説明するフローチャートである。 彩度値差分計算処理を説明するフローチャートである。 特徴点差分計算処理を説明するフローチャートである。 特定領域差分検出処理を説明する図である。 図３の特定領域差分検出部の構成例を説明するブロック図である。 図１８の特定領域差分検出部による特定領域差分検出処理を説明するフローチャートである。 図1の反射鏡のその他の構成例を説明する図である。 図1の反射鏡のさらにその他の構成例を説明する図である。 図1の反射鏡のさらにその他の構成例を説明する図である。 パーソナルコンピュータの構成例を説明する図である。

符号の説明

１ PC， １１ キーボード， １２ カメラ， １３ 反射鏡， １４ アイコンウィンドウ， ３１ カメラインタフェース部， ３２ カメラフィルタ， ３３ 検出処理部， ３４ コマンド設定部， ３５ 再生処理部， ３５ａ タイトル画像生成部， ３５ｂ コマンド認識部， ３５ｃ 再生部， ５１ キャリブレーション部， ５２ 特定領域差分検出部

Claims (7)

1. 複数の画像を表示する表示手段と、
   前記複数の画像が表示されている所定の領域の画像を撮像する撮像手段と、
   前記撮像手段により撮像された複数のフレーム数分の画像に対して、複数の種類の画像処理を施す画像処理手段と、
   前記画像処理手段により施された画像処理の種類毎に前記撮像手段により撮像された複数のフレーム数分の画像における同一画素間の差分を抽出する複数の差分抽出手段と、
   前記複数の画像処理の種類毎に抽出された差分と、それぞれの所定の閾値とを比較し、比較結果に基づいて、前記表示手段により表示されている複数の画像のうち、選択されている画像の位置を検出する検出手段と
   を含む情報処理装置。
2. 前記複数の種類の画像処理は、輝度値抽出処理、彩度値抽出処理、および特徴点抽出処理を含む
   請求項１に記載の情報処理装置。
3. 前記検出手段は、前記複数の画像処理手段のうち、前記輝度値抽出処理だけ実行させ、前記輝度値抽出処理により抽出された輝度の差分、および、前記撮像手段により撮像された画像の画素値の差分と、前記それぞれの所定の閾値とを比較し、比較結果に基づいて、前記表示手段により表示されている複数の画像のうち、選択されている画像の位置を検出したとき、前記画像処理手段のうち、前記彩度値抽出処理、および前記特徴点抽出処理をさらに実行させ、前記彩度値抽出処理、および前記特徴点抽出処理により抽出された彩度の差分、および特徴点の差分と、前記それぞれの所定の閾値とを比較し、比較結果に基づいて、前記表示手段により表示されている複数の画像のうち、選択されている画像の位置を検出する
   請求項２に記載の情報処理装置。
4. 前記撮像手段により撮像された画像のエッジ画像、および、前記撮像手段により撮像される画像の、想定画像のエッジ画像とを比較することにより、調整量を計算する調整量計算手段と、
   前記調整量に基づいて、前記撮像手段により撮像された画像を調整した後、特定領域画像を抽出し、前記画像処理手段に供給する抽出手段とをさらに含み、
   前記画像処理手段は、前記撮像手段により撮像された複数のフレーム数分の画像のうち、前記特定領域画像に対して、複数の種類の画像処理を施す
   請求項１に記載の情報処理装置。
5. 複数の画像を表示する表示ステップと、
   前記複数の画像が表示されている所定の領域の画像を撮像する撮像ステップと、
   前記撮像ステップの処理により撮像された複数のフレーム数分の画像に対して、複数の種類の画像処理を施す画像処理ステップと、
   前記画像処理ステップの処理により施された画像処理の種類毎に前記撮像ステップの処理により撮像された複数のフレーム数分の画像における同一画素間の差分を抽出する複数の差分抽出ステップと、
   前記複数の画像処理の種類毎に抽出された差分と、それぞれの所定の閾値とを比較し、比較結果に基づいて、前記表示ステップの処理により表示されている複数の画像のうち、選択されている画像の位置を検出する検出ステップと
   を含む情報処理方法。
6. 複数の画像を表示する表示ステップと、
   前記複数の画像が表示されている所定の領域の画像を撮像する撮像ステップと、
   前記撮像ステップの処理により撮像された複数のフレーム数分の画像に対して、複数の種類の画像処理を施す画像処理ステップと、
   前記画像処理ステップの処理により施された画像処理の種類毎に前記撮像ステップの処理により撮像された複数のフレーム数分の画像における同一画素間の差分を抽出する複数の差分抽出ステップと、
   前記複数の画像処理の種類毎に抽出された差分と、それぞれの所定の閾値とを比較し、比較結果に基づいて、前記表示ステップの処理により表示されている複数の画像のうち、選択されている画像の位置を検出する検出ステップと
   を含む処理をコンピュータに実行させるプログラム。
7. 請求項６に記載のプログラムが格納されているプログラム格納媒体。

Images