JP2011039594A - 入力装置 - Google Patents

Abstract

【課題】パソコンなどを遠隔操作するときのアルゴリズムを簡素化させるとともに、処理データ量を少なくさせて、演算量、メモリ使用量を低減させ、装置全体の価格を大幅に低減させるとともに、リアルタイムでパソコンを遠隔操作可能なビデオ映像による入力装置を提供する。
【解決手段】ウェブカメラ４によって、ユーザを撮影して得られた低解像度のカラー画像に対し、グレー化処理、画像分割／２値化処理、フレーム間差分処理、ヒストグラム処理、活動領域抽出処理、仮想カーソル制御処理／画面制御処理を行って、操作者の手の動きを検知させ、仮想カーソル２５のサイズ制御、位置制御、色制御、クリック制御、操作対象画面の拡大制御、縮小制御、回転制御、上下スクロール制御、左右スクロール制御などを行わせる。
【選択図】図１

Description

本発明は、カメラによって操作者（ユーザ）の動作画像を取り込み、パソコンのカーソル操作やアプリケーションプログラムの選択及び実行等の制御する入力装置であって、特に、アルゴリズムを簡素化させると共に、処理データ量を極力少なくさせて、演算量、メモリ使用量を低減させるとともに、リアルタイムでパソコンのカーソルなどを制御させるようにした、ビデオ映像による入力装置に関する。

近年、カメラによって、ユーザを撮影して、画像解析し、この画像解析結果を使用して、オーディオ装置、エアコンなどの機器を操作する入力装置が種々、提案されている。

図２４は、このような従来の映像による入力装置を説明するための操作入力装置のブロック図（特開２００９−１０４２９７号）を示す。

図２４に示す操作入力装置１０１は、可視光カメラ１０６（図２５参照）などを使用してユーザを撮影し、カラー画像を出力する撮像手段１０２と、撮像手段１０２から出力されるカラー画像を解析し、ユーザの手の形状を検出する手領域検出手段１０３と、予め登録されている手形状と手領域検出手段１０３から出力される手形状とを比較し、操作指示内容を判定する手操作判定手段１０４と、手操作判定手段１０４の判定内容に基づき、選択メニューを音声、またはプロジェクト画像などでユーザに知らせる選択メニュー表現手段１０５とを備えている。

そして、可視光カメラ１０６で撮影したカラー画像から手領域を抽出するとともに、その形状、例えば手を傾ける、指を曲げるなど、どの形状になっているかを判定し、この判定内容に対応する手操作指示を音声、またはプロジェクト画像などでユーザに知らせる。

特開２００９−１０４２９７号

ところで、このような従来の操作入力装置１０１では、ユーザの手形状を正確に検出しなければならないことから、可視光カメラ１０６として、手の部分を詳細に撮影できる、高い解像度のカメラを使用しなければならず、操作入力装置１０１全体が高価になってしまうという問題があった。

また、従来の操作入力装置１０１では、手領域検出手段１０３によって、高い解像度の背景画像と、高い解像度の現在の画像とを処理しなければならないことから、ピクセル（画素）数、データ量が膨大になり、その分だけ、ハードディスクの容量、メモリ容量などを大きくしなければならず、操作入力装置１０１全体が高価になってしまうという問題があった。

さらに、従来の操作入力装置１０１では、手領域検出手段１０３として、図２５に示す如く差分領域抽出手段１１０、肌色領域抽出手段１１１、２値化補正手段１１２、距離算出手段１１３、中央重点補正手段１１４、手領域候補検出手段１１５、輪郭長／面積算出手段１１６、手領域決定手段１１７など、複雑な演算を行わなければならないのみならず、かなり高速なＣＰＵ、または専用回路を使用しなければ、リアルタイムで、手の形状を検出することができないという問題があった。

このため、パソコンのカーソルなどを簡単に遠隔操作する入力装置として、このような従来の操作入力装置１０１を使用することが難しく、安価なカメラを使用でき、かつ少ない演算量、少ないメモリ量で、遠隔操作入力できる入力装置の開発が強く望まれていた。

本発明は、上記の事情に鑑み、請求項１では、解像度が低い安価なカメラの使用を可能にするとともに、演算量、メモリ量を大幅に少なくさせることにより、装置全体のコストを大幅に低減させながら、ユーザの動きを検知させて、パソコンのカーソルなどを遠隔操作させることができる入力装置を提供することを目的としている。

また、請求項２では、パソコンなどから分離された、解像度が低い安価なカメラの使用を可能にするとともに、回路規模を大幅に小さくさせることにより、装置全体のコストを大幅に低減させながら、ユーザの動きを検知させて、パソコンのカーソルなどを遠隔操作させることができる入力装置を提供することを目的としている。

また、請求項３では、解像度が低い安価なカメラの使用を可能にするとともに、演算量、メモリ量、または回路規模を大幅に小さくさせることにより、装置全体のコストを大幅に低減させながら、ユーザの片手動作を検知させて、パソコンのカーソル、操作対象画面のスクロールなどを遠隔操作させることができる入力装置を提供することを目的としている。

また、請求項４では、解像度が低い安価なカメラの使用を可能にするとともに、演算量、メモリ量、または回路規模を大幅に小さくさせることにより、装置全体のコストを大幅に低減させながら、ユーザの両手動作を検知させて、操作対象画面の拡大／縮小、操作対象画面の回転などを遠隔操作させることができる入力装置を提供することを目的としている。

また、請求項５では、解像度が低い安価なカメラの使用を可能にするとともに、演算量、メモリ量、または回路規模を大幅に小さくさせることにより、装置全体のコストを大幅に低減させながら、ユーザの手など、動いている部分のみを正確に検知させることができ、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行わせることができる入力装置を提供することを目的としている。

また、請求項６では、解像度が低い安価なカメラの使用を可能にするとともに、演算量、メモリ量、または回路規模を大幅に小さくさせることにより、装置全体のコストを大幅に低減させながら、ユーザの影などに起因する誤動作を防止させ、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行わせることができる入力装置を提供することを目的としている。

また、請求項７では、解像度が低い安価なカメラの使用を可能にするとともに、演算量、メモリ量、または回路規模を大幅に小さくさせることにより、装置全体のコストを大幅に低減させながら、カメラで得られた画像の中からユーザの手画像より、少し広い範囲に含まれる画像のみを有効にし、それ以外の画像を無効にさせて、変化領域以外の部分に存在するノイズを除去させることができる入力装置を提供することを目的としている。

本発明は、上記の目的を達成するために、請求項１では、ビデオカメラで得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成する入力装置において、操作者を撮影するカラーカメラと、このカラーカメラから出力されるカラー画像に対し、グレー化処理、画像分割／２値化処理、フレーム間差分処理、ヒストグラム処理、活動領域抽出処理、仮想カーソル制御処理／画面制御処理を行って、前記操作者の手、または指先の動きを検出し、この検出結果に応じた操作指示を生成して、遠隔制御対象機器を制御する画像処理プログラムとを備えたことを特徴としている。

また、請求項２では、ビデオカメラで得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成する入力装置において、箱形に形成される入力装置筐体と、この入力装置筐体の前面に取り付けられ、操作者の画像を撮影するカラーカメラ本体と、グレー化処理回路、画像分割／２値化処理回路、フレーム間差分処理回路、ヒストグラム処理回路、活動領域抽出処理回路、仮想カーソル制御処理／画面制御処理回路を持ち、前記入力装置筐体内に配置され、ケーブルによって、遠隔操作対象機器などに接続される画像処理基板と、を備え、前記グレー化処理回路、前記画像分割／２値化処理回路、前記フレーム間差分処理回路、前記ヒストグラム処理回路、前記活動領域抽出処理回路、前記仮想カーソル制御処理／画面制御処理回路によって、前記カラーカメラ本体から出力されるカラー画像を処理して、前記操作者の手の動きを検出し、この検出結果に応じたポインティングデータを生成し、前記遠隔操作対象機器の動作を制御することを特徴としている。

また、請求項３では、請求項１又は２に記載の入力装置において、前記仮想カーソル制御処理／画面制御処理、または前記仮想カーソル制御処理／画面制御処理回路は、仮想カーソル活動領域画像上に活動矩形領域群が１つあるとき、その形状、移動有無に基づき、カールソル制御指示、または画面スクロール指示を生成する、ことを特徴としている。

また、請求項４では、請求項１乃至３の何れかに記載の入力装置において、前記仮想カーソル制御処理／画面制御処理、または前記仮想カーソル制御処理／画面制御処理回路は、仮想カーソル活動領域画像上に活動矩形領域群が２つあるとき、その移動方向に基づき、画面回転指示、画面拡大指示、画面縮小指示のいずれかを生成する、ことを特徴としている。

また、請求項５では、請求項１乃至４の何れかに記載の入力装置において、前記活動領域抽出処理、または前記活動領域抽出処理回路は、ヒストグラムの統計処理結果を使用して、前記ヒストグラムから仮想カーソル活動領域画像、仮想ボタンクリック活動領域画像を作成する、ことを特徴としている。

また、請求項６では、請求項１乃至５の何れかに記載の入力装置において、前記活動領域抽出処理、または前記活動領域抽出処理回路は、前記仮想カーソル活動領域画像、または前記仮想ボタンクリック活動領域画像に対し、多段階矩形オブジェクト抽出処理を行い、ノイズ成分を除去する、ことを特徴としている。

また、請求項７では、請求項１乃至６の何れかに記載の入力装置において、拡大／縮小矩形マスク作成処理、または拡大／縮小矩形マスク作成処理回路を付加し、前記拡大／縮小矩形マスク作成処理、または前記拡大／縮小矩形マスク作成処理回路によって、前記カラーカメラ、前記カラーカメラ本体で得られたカラー画像の中から、前記仮想カーソル活動領域画像上の変化領域矩形、または前記仮想ボタンクリック活動領域画像の変化領域矩形に対応する画像を抽出し、それ以外の画像をカットして、ノイズ成分を除去する、ことを特徴としている。

本発明による映像データによる入力装置は、解像度が低い安価なカメラの使用を可能にするとともに、演算量、メモリ量を大幅に少なくさせることにより、装置全体のコストを大幅に低減させながら、ユーザの動きを検知させて、パソコンのカーソルなどを遠隔操作させることができる。

ここで、本入力装置では、解像度が低い安価なカメラの使用を可能にするとともに、回路規模を大幅に小さくさせることにより、装置全体のコストを大幅に低減させながら、ユーザの動きを検知させて、パソコンのカーソルなどを遠隔操作させることができる。

また、本入力装置では、解像度が低い安価なカメラの使用を可能にするとともに、演算量、メモリ量、または回路規模を大幅に小さくさせることにより、装置全体のコストを大幅に低減させながら、ユーザの片手動作を検知させて、パソコンのカーソル、画面スクロールなどを遠隔操作させることができる。

また、本入力装置では、解像度が低い安価なカメラの使用を可能にするとともに、演算量、メモリ量、または回路規模を大幅に小さくさせることにより、装置全体のコストを大幅に低減させながら、ユーザの両手動作を検知させて、パソコンのカーソル、画面サイズ、などを遠隔操作させることができる。

また、本入力装置では、解像度が低い安価なカメラの使用を可能にするとともに、演算量、メモリ量、または回路規模を大幅に小さくさせることにより、装置全体のコストを大幅に低減させながら、ユーザの手など、動いている部分のみを正確に検知させることができ、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行わせることができる。

また、本入力装置では、解像度が低い安価なカメラの使用を可能にするとともに、演算量、メモリ量、または回路規模を大幅に小さくさせることにより、装置全体のコストを大幅に低減させながら、ユーザの影などに起因する誤動作を防止させ、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行わせることができる。

さらに、本入力装置では、解像度が低い安価なカメラの使用を可能にするとともに、演算量、メモリ量、または回路規模を大幅に小さくさせることにより、装置全体のコストを大幅に低減させながら、カメラで得られた画像の中からユーザの手画像より、少し広い範囲に含まれる画像のみを有効にし、それ以外の画像を無効にさせて、変化領域以外の部分に存在するノイズを除去させることができる。

本発明による入力装置の第１の実施形態を示すブロック図である。 図１に示す入力装置の詳細な動作例を示すフローチャートである。 図１に示す入力装置の詳細な動作例を示すフローチャートである。 図１に示す入力装置の詳細な動作例を示すフローチャートである。 図１に示す入力装置で使用される元のヒストグラム例と、変化領域抽出後のヒストグラム例とを示す模式図である。 図１に示す入力装置で使用される変化領域抽出後のヒストグラム例と、仮想カーソル活動領域画像例とを示す模式図である。 図１に示す入力装置で使用される元のヒストグラム例と、変化領域抽出後のヒストグラム例とを示す模式図である。 図１に示す入力装置で使用される変化領域抽出後のヒストグラム例と、仮想カーソル活動領域画像例とを示す模式図である。 図１に示す入力装置で使用される多段階オブジェクト抽出処理の一例を示す模式図である。 図１に示す入力装置で使用される多段階オブジェクト抽出処理の一例を示す模式図である。 図１に示す入力装置によって撮影されるユーザの手の動きと、仮想カーソルとの関係例を示す模式図である。 図１に示す入力装置によって撮影されるユーザの手の動きと、仮想カーソルとの関係例を示す模式図である。 図１に示す入力装置によって制御される実カーソルの微調整動作例を示す模式図である。 図１に示す入力装置によって制御される仮想カーソルの色制御例を示す模式図である。 図１に示す入力装置で使用される変化領域抽出後のヒストグラム例と、仮想カーソル活動領域画像例とを示す模式図である。 図１に示す入力装置によって撮影されるユーザの手の動きと、クリック動作との関係例を示す模式図である。 図１に示す入力装置によって得られる仮想カーソル活動領域画像上に２つの各活動矩形領域群があるときの一例を示す模式図である。 図１に示す入力装置によって得られる仮想カーソル活動領域画像上にある各活動矩形領域群の位置関係例を示す模式図である。 図１に示す入力装置によって得られる仮想カーソル活動領域画像上に２つの各活動矩形領域群があるときの一例を示す模式図である。 図１に示す入力装置によって得られる仮想カーソル活動領域画像上にある各活動矩形領域群の位置関係例を示す模式図である。 本発明による入力装置の第２の実施形態を示すブロック図である。 本発明による入力装置の他の実施形態を示すフローチャートである。 図２２に示すフローチャートの動作例を示す模式図である。 従来から知られている操作入力装置の一例を示すブロック図である。 図２４に示す手領域検出手段の詳細な回路構成例を示すブロック図である。

１．本発明の入力装置の第１の実施形態の説明
図１は、本発明による入力装置の実施の形態を示すブロック図を示す。
図１において、入力装置１ａは、パソコン２のディスプレイ部３に設けられるウェブカメラ（請求項１のカラーカメラ）４と、パソコン２内に設けられるビデオキャプチャ５と、パソコン２内に設けられるハードディスク６と、パソコン２内に設けられるＣＰＵ７と、パソコン２内に設けられるメモリ８とによって構成されており、ユーザを撮影して得られた画像を解析して、ユーザの手、指先などの動きを検出し、パソコン２のディスプレイ部３に表示された仮想カーソル２５（図１１の（ｂ）参照）、操作対象画面（ＯＳ画面、アプリケーション画面）などを制御し、現在、起動中のアプリケーションをコントロールする。

ウェブカメラ４は、３２０画素×２４０画素程度の解像度を持つカラーカメラであり、ビデオキャプチャ５から撮影指示が出されているとき、ユーザの画像を撮影して得られたカラービデオ信号をビデオキャプチャ５に供給する。

ビデオキャプチャ５は、システムバス９を介して、ＣＰＵ７から撮影指示が供給されているとき、ウェブカメラ４を制御して、ユーザの画像を撮影させるとともに、撮影動作で得られたカラービデオ信号を取り込み、ＲＧＢ信号形式のカラー画像に変換し、ＣＰＵ７に供給する。

また、ハードディスク６は、ＯＳ（Operating System）、定数データなどが格納されるＯＳ格納エリア１０と、インターネットエクスプローラプログラム、ブラウザプログラムなどのアプリケーションプログラムが格納されるアプリケーション格納エリア１１と、本発明で使用する画像処理プログラム（請求項１の画像処理プログラム）が格納される画像処理プログラム格納エリア１２と、ＨＳＶ（色相・彩度・明度）方式で、予め設定されている特定色（例えば、肌色）のカラー画像が抽出するのに必要なカラーマスク、２値化画像、ヒストグラム、仮想カーソル活動領域画像２７（図６参照）、仮想ボタンクリック活動領域画像などが格納される画像格納エリア１３とを備えており、ＣＰＵ７から読み出し指示が出力されたとき、システムバス９を介して、これを取り込み、指定されたエリアに格納されているＯＳ、定数データ、アプリケーションプログラム、画像処理プログラム、２値化画像、ヒストグラム、仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像などを読み出し、システムバス９を介して、ＣＰＵ７に供給する。また、ＣＰＵ７から書き込み指示、データが出力されたとき、システムバス９を介して、これらを取り込み、書き込み指示で指定されたエリア、例えば画像格納エリア１３などにデータを記憶させる。

また、ＣＰＵ７は、ハードディスク６に格納されているＯＳ、定数データ、アプリケーションプログラムなどで指定された表示データを生成して、システムバス９に接続された表示インタフェース１４に供給し、ディスプレイ部３に操作対象画面を表示させる。また、画像処理プログラムで記述された画像処理を行い、操作対象画面に表示されている仮想カーソル２５のサイズ、位置などの制御、クリック制御、スクロール制御、画面回転制御、画面拡大制御、画面縮小制御などを行う。

また、メモリ８は、数百メガバイト〜数ギガバイト程度の容量を持ち、ＣＰＵ７がアプリケーションプログラム、画像処理プログラムなどで指定された処理を行うときの一時データ格納エリアとして使用される。

次に、図２、図３、図４に示す各フローチャート、図５〜図２０に示す各模式図を参照しながら、入力装置１ａの画像処理動作、カーソル制御動作、画面制御動作などを説明する。

《２値化画像生成、格納》
まず、パソコン２の電源が投入されて、アプリケーションプログラム、画像処理プログラムが起動されると、図２に示すフローチャートに示す如くＣＰＵ７によって、ビデオキャプチャ５が制御されて、ウェブカメラ４の撮影動作で得られたカラービデオ信号が取り込まれて、ＲＧＢ信号形式のカラー画像に変換され、メモリ８などに一時、記憶させられる（ステップＳ１）。

また、この動作と並行し、ＣＰＵ７によって、メモリ８などに一時、記憶させられているカラー画像と、ハードディスク６の画像格納リア１３に格納されているカラーマスクとが読み出されるとともに、カラーマスクで、カラー画像がマスクされ、カラー画像の中から、予め設定されている特定色（例えば、肌色）のカラー画像が抽出される（ステップＳ２）。

この後、ＣＰＵ７によって、カラー画像がグレー処理化されて、予め設定されている階調のモノクロ画像に変換されて、１フレーム分の画像容量が低減させられるとともに（ステップＳ３）、画面分割指示があれば、モノクロ画像が複数のエリアに分割された後、最大尤度しきい値法で、２値化されて、２値化画像が作成される（ステップＳ４）。

次いで、ＣＰＵ７によって、２値化画像と、肌色画像との論理和が取られて、２値化画像中の肌色部分が抽出され、これが１フレーム分の２値化画像として、ハードディスク６の画像格納エリア１３に格納される（ステップＳ５、Ｓ６）。

以下、これらの画像処理が繰り返され、ハードディスク６の画像格納エリア１３に数フレーム分〜数十フレームの２値化画像がＦＩＦＯ（First・In・First・Out）形式で、蓄積される。

《フレーム間差分、ヒストグラム作成》
また、この動作と並行し、図３のフローチャートに示す如くＣＰＵ７によって、ハードディスク６の画像格納エリア１３に格納されている数フレーム分〜数十フレーム分の２値化画像の中から、最新の２値化画像を含む、連続する数フレームの２値化画像が順次、読み出され、フレーム間差分処理が行われるとともに、このフレーム間差分処理で得られた差分画像が各分割エリア毎に累積加算されて、ヒストグラムが作成される（ステップＳ１０〜Ｓ１４）。

《統計処理、変化領域抽出》
この後、ＣＰＵ７によって、活動領域抽出処理が開始され（ステップＳ１５）、図４のフローチャートに示すように、ヒストグラムの各分割エリアの濃度値に対する統計処理が行われ、平均値、濃度分散値、最大値、偏差（±１σ、±２σ）などが演算されるとともに（ステップＳ３０）、図５の３次元濃度分布図に示す如く各分割エリア２０（図６、図８参照）のうち、変化領域矩形抽出用のしきい値（例えば、平均値−１σ）より大きい濃度値になっている各分割エリア２０が変化領域矩形４５（図２３参照）として、抽出される。

《仮想カーソルの活動領域決定》
次いで、ＣＰＵ７によって、図６に示す如く有効にされた各分割エリア２０のうち、仮想カーソル矩形抽出用のしきい値（例えば、最大値−１σ）より大きい濃度値になっている分割エリア（活動分割エリア）２１が検知され、これらの各活動分割エリア２１を含むように矩形状の活動矩形領域２６が決定され、仮想カーソル活動領域画面２７が作成される。

また、ユーザが両手を動かしていれば、ＣＰＵ７によって、上述した活動領域抽出処理を行ったとき、図７の３次元分布図に示す如く各分割エリア２０のうち、変化領域矩形抽出用のしきい値（例えば、平均値−１σ）より大きい濃度値になっている分割エリア（変化分割エリア）２１が抽出されて、上述した片手の場合と同様に処理され、図８に示す如く有効にされた各分割エリア２０のうち、仮想カーソル矩形抽出用のしきい値（例えば、最大値−１σ）より大きい濃度値になっている分割エリア（活動分割エリア）２１が検知され、これらの各活動分割エリア２１を含むように矩形状の活動矩形領域２６が決定され、仮想カーソル活動領域画像２７が作成される（ステップＳ３１）。

《仮想ボタンクリックの活動領域決定》
次いで、ＣＰＵ７によって、有効にされた各分割エリア２０のうち、仮想ボタンクリック矩形抽出用のしきい値（例えば、最大値−２σ）より大きい濃度値になっている分割エリア（活動分割エリア）２１が検知され、これらの各活動分割エリア２１を含むように、矩形状の活動矩形領域が決定され、仮想ボタンクリック活動領域画像（図示は省略する）が作成される（ステップＳ３２）。

《影の影響除去》
この後、ＣＰＵ７によって、仮想カーソル矩形抽出用のしきい値（例えば、最大値−１σ）を使用して得られた仮想カーソル活動領域画像２７、仮想ボタンクリック矩形抽出用のしきい値（例えば、最大値−２σ）を使用して得られた仮想ボタンクリック活動領域画像に対し、各々、活動矩形領域２６が左右に分割可能かどうかチェックされ、左右に分割可能であれば、図９に示す如く活動矩形領域２６の水平方向中心点“Ａ”が求められるとともに、水平方向中心点“Ａ”から左側にある非活動領域と、活動領域との境界点“Ｂ”と、水平方向中心点“Ａ”から右側にある非活動領域と、活動領域との境界点“Ｃ”とが検知され、これら境界点“Ｂ”、“Ｃ”を含む領域が各活動矩形領域２６と判定され、それ以外の活動領域がユーザの影などによる不要な活動領域と判定され、無効にされる（２点抽出処理）。

次いで、ＣＰＵ７によって、２点抽出処理が終了した各活動矩形領域２６に対し、各々、活動矩形領域２６が上下に分割可能かどうかチェックされ、上下分割可能であれば、図１０に示す如く活動矩形領域２６の上下方向中心点“Ａ”が求められるとともに、上下方向中心点“Ａ”から上側にある非活動領域と、活動領域との境界点“Ｂ”が検知され、これら境界点“Ｂ”を含む領域が活動矩形領域と判定され、下の活動領域がユーザの影などによる不要な活動領域と判定され、無効にされる（最小化処理）（ステップＳ３３）。

この後、ＣＰＵ７によって、これら２点抽出処理、最小化処理によって構成される多段階矩形オブジェクト抽出処理で得られた活動矩形領域２６を含む仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像がハードディスク６の画像格納エリア１３に格納される（ステップＳ３４）。

《片手ジェスチャによる仮想カーソルの位置、大きさ、色制御》
この後、図３のフローチャートに示すごとく、ＣＰＵ７によって、ハードディスク６の画像格納エリア１３に格納されている各仮想カーソル活動領域画像２７のうち、最新の活動矩形領域２６を含む、数フレーム分の仮想カーソル活動領域画像２７が読み出され（ステップＳ１６）、仮想カーソル活動領域画像２７内に、近接した１つ以上の活動矩形領域２６によって構成される活動矩形領域群が存在しているかどうかチェックされる。

そして、最新の仮想カーソル活動領域画像２７内に活動矩形領域群が存在し、その数が“１”であり、かつほぼ矩形であれば（ステップＳ１７、Ｓ１８）、ＣＰＵ７によって、活動矩形領域群の大きさ、移動方向が判定され、判定結果に対応するように、仮想カーソル制御が行われる（ステップＳ１９）。

例えば、図１１（ａ）に示す如く、前回とほぼ同じ、高さ、左右位置で、ユーザが指先を大きく回し、これに対応して、前回の処理で得られた大きな活動矩形領域群の位置と同じ位置で、大きな活動矩形領域群が得られているとき、ＣＰＵ７によって、仮想カーソルの表示指示であると判定されて、図１１（ｂ）に示す如くディスプレイ部３に大きなサイズ、白色の仮想カーソル２５が表示される。

また、ユーザが指先を大きく回しながら、上下方向、または左右方向に移動させ、これに対応して、前回の処理で得られた位置から移動する、大きな活動矩形領域群が得られているとき、ＣＰＵ７によって、仮想カーソルの移動指示であると判定されて、指先の移動方向に対応するように、ディスプレイ部３に表示されている大きなサイズ、白色の仮想カーソル２５が移動させられる。

また、図１２（ａ）に示す如く、前回とほぼ同じ、高さ、左右位置で、ユーザが指先を小さく回し、これに対応して、前回の処理で得られた大きな活動矩形領域群の位置と同じ位置で、小さな活動矩形領域群が得られているとき、ＣＰＵ７によって、仮想カーソルの移動停止であると判定されて、図１２（ｂ）に示す如くディスプレイ部３に表示されている仮想カーソル２５の移動が停止させられるとともに、サイズが小さくされる。

この状態で、一定時間が経過すれば、ＣＰＵ７によって、仮想カーソル２５の色が赤色に変更され、大きな移動が禁止させられるとともに、ＯＳ側にカーソル移動指示がだされて、仮想カーソル２５内に、実カーソル２８が移動させられる。

この後、ユーザが指先を少し移動させれば、ＣＰＵ７によって、これが検知されて、ディスプレイ部３に表示されている仮想カーソル２５の位置が微調整されるとともに、ＯＳ側にカーソル位置調整指示が出されて、図１３に示す如く実カーソル２８の位置が微調整させられる。

次いで、ユーザが指先を動かすのを止めれば、ＣＰＵ７によって、これが検知され、一定時間後に、図１４に示す如くディスプレイ部３に表示されている仮想カーソル２５の位置が固定されるとともに、仮想カーソル２５の色が赤色からグレー色に変更され、ユーザにクリック可能になったことが知らされる。

この状態でも、ユーザが指先を再度、大きく回せば、ＣＰＵ７によって、これが検知されて、ディスプレイ部３に表示されている仮想カーソル２５の色が白色に戻され、仮想カーソル２５が移動可能な状態に戻される。

《片手ジェスチャによるスクロール制御》
また、上述した仮想カーソル活動領域画像２７に、活動矩形領域群が存在するかどうかなどをチェックしたとき、図１５に示す如く活動矩形領域群の数が“１”で、水平方向に長ければ、ＣＰＵ７によって、前回の活動矩形領域群に対し、どちらの方向に長くなったか判定されるとともに、長くなった方向に応じた右スクロール指示（または、左スクロール指示）が生成されて、アプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が右方向（または、左方向）にスクロールさせられる。

また、上述した仮想カーソル活動領域画像２７に、活動矩形領域群が存在するかどうかなどをチェックしたとき、活動矩形領域群の数が“１”で、上下方向に長ければ、ＣＰＵ７によって、前回の活動矩形領域群に対し、どちらの方向に長くなったか判定されるとともに、長くなった方向に応じた上スクロール指示（または、下スクロール指示）が生成されて、アプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が上方向（または、下方向）にスクロールさせられる。

《片手ジェスチャによる実カーソルのクリック制御》
この後、ＣＰＵ７によって、仮想カーソル２５の色がグレーにされているかどうかチェックされ、仮想カーソル２５の色がグレーにされていれば、ハードディスク６の画像格納エリア１３に格納されている仮想ボタンクリック活動領域画像のうち、最新の活動矩形領域を含む、数フレーム分の仮想ボタンクリック活動領域画像が読み出され（ステップＳ２１）、仮想ボタンクリック活動領域画像内に、近接した１つ以上の活動矩形領域２６によって構成される活動矩形領域群が存在し、形状が変化しているかどうかチェックされ、活動矩形領域群の数が“１”であり、活動矩形領域群が予め設定された変化、例えば図１６（ａ）に示す如くユーザが指さし状態から、１回だけ、手を広げ、活動矩形領域群が１回だけ、“小”から“大”に変化していれば（ステップＳ２２）、シングルクリックであると判定され、ＯＳ側にシングルクリック指示が出されて、図１６（ｂ）に示す如く仮想カーソル２５内にある実カーソル２８によって、アイコンなどがシングルクリックされる。

また、ユーザが指さし状態から、２回以上、手を広げたり、縮めたりし、活動矩形領域群が複数回、“小”から“大”に、“大”から“小”、“小”から“大”に変化していれば、ＣＰＵ７によって、ダブルクリックであると判定され、ＯＳ側にダブルクリック指示が出されて、実カーソル２５の位置にあるアイコンなどがダブルクリックされる（ステップＳ２３）。

《両手ジェスチャによる画面拡大、縮小制御》
また、上述した仮想カーソル活動領域画像２７に、活動矩形領域群が存在するかどうかなどをチェックしたとき、活動矩形領域群の数が“２”で、各々、矩形であれば（ステップＳ１８）、ＣＰＵ７によって、これら各活動矩形領域群の動きに応じて、ディスプレイ部３に表示されている操作対象画面の拡大、縮小、回転などが行われる（ステップＳ２０）。

例えば、図１７に示す２つの活動矩形領域群の距離が図１８（ａ）に示す如く前回より広くなる方向に、移動していれば、ＣＰＵ７によって、画面拡大指示が入力されたと判定されて、活動矩形領域群の距離変化比に応じた拡大率の画面拡大指示が生成されて、アプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が拡大させられる。

また、２つの活動矩形領域群の距離が図１８（ｂ）に示す如く前回より狭くなる方向に、移動していれば、ＣＰＵ７によって、画面縮小指示が入力されたと判定されて、活動矩形領域群の距離変化比に応じた縮小率の画面縮小指示が生成されて、アプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が縮小させられる。

《両手ジェスチャによる画面回転制御》
また、図１９に示す２つの活動矩形領域群のうち、少なくとも一方が上方向（または、下方向）に移動していれば、ＣＰＵ７によって、画面回転指示が入力されたと判定されて、下側の活動矩形領域群に対する上側の活動矩形領域群の角度に応じた回転角度の画面回転指示が生成されて、アプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が回転させられる。

この際、図２０（ａ）に示す如く各活動矩形領域群の左右距離が狭い状態で、一方が大きく上方に移動し、下側の活動矩形領域群に対する上側の活動矩形領域群の角度が大きいとき、ＣＰＵ７によって、大きな回転角度の画面回転指示が生成されて、アプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が大きく回転させられる。

また、図２０（ｂ）に示す如く各活動矩形領域群の左右距離が広い状態で、一方が小さく上方に移動し、下側の活動矩形領域群に対する上側の活動矩形領域群の角度が小さいとき、ＣＰＵ７によって、小さな回転角度の画面回転指示が生成されて、アプリケーション側に渡され、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）が小さく回転させられる。

このように、本発明の第１の実施形態においては、ウェブカメラ４によって、ユーザを撮影して得られた低解像度のカラー画像に対し、グレー化処理、画像分割／２値化処理、色フィルタリング処理、フレームバッファ処理、フレーム間差分処理、ヒストグラム処理、活動領域抽出処理、仮想カーソル制御処理／画面制御処理を行わせて、ユーザの手の動きを検知させ、仮想カーソル２５のサイズ制御、位置制御、色制御、クリック制御、操作対象画面の拡大制御、縮小制御、回転制御、上下スクロール制御、左右スクロール制御などを行わせるようにしているので、次に述べる効果を得ることができる。

まず、解像度が高くない、安価なウェブカメラ４を使用させることができることから、入力装置１ａのコストを低く抑えさせることができる（請求項１の効果）。

また、ウェブカメラ４によって、ユーザを撮影して得られた低解像度のカラー画像に対し、グレー化処理、画像分割／２値化処理、色フィルタリング処理を施して得られた２値化画像を画像格納エリア１３に格納させるようにしているので、ハードディスク６の容量が小さい場合にも、入力装置１ａを構成させることができ、装置全体のコストを低く抑えさせることができる（請求項１の効果）。

また、ウェブカメラ４によって、ユーザを撮影して得られた低解像度のカラー画像に対し、グレー化処理、画像分割／２値化処理、色フィルタリング処理など、少ない段数の画像処理を施して、１フレーム分の２値化画像を得るようにしているので、ＣＰＵ７に大きな負担をかけないようにすることができ、これによって処理速度が速くない安価なＣＰＵ７を使用させた場合でも、ほぼリアルタイムで、ユーザの動きに対応するように、仮想カーソル２５のサイズ制御、位置制御、色制御、クリック制御、操作対象画面の拡大制御、縮小制御、回転制御、上下スクロール制御、左右スクロール制御などを行わせることができ、装置全体のコストを低く抑えさせることができる（請求項１の効果）。

また、本入力装置の第１の実施形態では、ユーザが片手だけを動かしているとき、仮想カーソル制御指示、または操作対象画面のスクロール制御であると判定させ、仮想カーソル２５のサイズ制御、位置制御、色制御、クリック制御、操作対象画面のスクロール制御などを行わせるようにしているので、片手だけで、ディスプレイ部３に表示されている仮想カーソル２５のサイズ、位置、色、クリック、操作対象画面のスクロールなどを遠隔操作させることができる（請求項３の効果）。

また、本発明の第１の実施形態では、ユーザが両手を動かしているとき、右手の動き、左手の動きを各々、検出させ、操作対象画面の拡大／縮小制御指示、または操作対象画面の回転制御指示であると判定させるようにしているので、ユーザが右手、左手を動かすだけで、ディスプレイ部３に表示されているアプリケーション画面（操作対象画面）を拡大、縮小、回転させることができる（請求項４の効果）。

また、本発明の第１の実施形態では、活動領域抽出処理において、ヒストグラムを統計処理して得られた結果を使用し、ヒストグラムから仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像を作成させるようにしているので、ユーザの手など、動いている部分を正確に検知させることができ、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行わせることができる（請求項５の効果）。

また、本発明の第１の実施形態では、活動領域抽出処理において、仮想カーソル活動領域画像２７、仮想ボタンクリック活動領域画像に対し、多段階矩形オブジェクト抽出処理を行うようにしているので、ユーザの影などに起因する誤動作を防止させ、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行わせることができる（請求項６の効果）。

２．本発明に係る入力装置の第２の実施形態の説明
図２１は、本発明による入力装置の第２の実施形態を示すブロック図である。
図２１に示す入力装置１ｂは、箱形に形成されたプラスチック部材などによって構成され、パソコン、テレビ、エアコン、大画面スクリーン装置などの遠隔操作対象機器の近傍の配置される入力装置筐体（図示は省略する）と、入力装置筐体の前面に取り付けられ、ユーザの画像を撮影するビデオカメラ本体（請求項２のカラーカメラ本体）３０と、入力装置筐体内に配置され、ＵＳＢケーブル、信号接続ケーブルなどのケーブルによって、パソコン、テレビ、エアコン、大画面スクリーン装置などの遠隔操作対象機器などに接続される画像処理基板３１とを備えており、ユーザを撮影した画像を解析して、ユーザの手の動きに対応するポインティングデータを生成し、入力装置１ｂ→ケーブル→遠隔操作対象機器なる経路で遠隔操作対象機器に供給し、この遠隔操作対象機器の動作を制御する。

ビデオカメラ本体３０は、３２０画素×２４０画素程度の解像度を持つカラーカメラによって構成されおり、画像処理基板３１から電源電圧、クロック信号などが出されているとき、ユーザの画像を撮影し、これによって得られたカラービデオ信号を画像処理基板３１に供給する。

画像処理基板３１は、ビデオカメラ本体３０から出力されるカラービデオ信号をＲＧＢ形式のカラー画像に変換した後、ＨＳＶ（色相・彩度・明度）方式で、予め設定されている特定色（例えば、肌色）のカラー画像を抽出するのに必要なカラーマスクを使用して、カラー画像中の肌色画像を抽出する肌色画像抽出回路３２と、ビデオカメラ本体３０から出力されるカラービデオ信号をＲＧＢ形式のカラー画像に変換した後、予め設定されている階調のモノクロ画像に変換するグレー化処理回路３３と、グレー化処理回路３３から出力されるモノクロ画像を予め設定されている画面分割数で分割する（但し、画面分割設定されていないとき、この画面分割処理はスキップされる）とともに、最大尤度しきい値法で、２値化して、２値化画像にする画像分割／２値化処理回路３４と、画像分割／２値化処理回路３４から出力される２値化画像と肌色画像抽出回路３２から出力される肌色画像との論理和を取り、２値化画像中の肌色部分を抽出する色フィルタリング処理回路３５と、この色フィルタリング処理回路３４から出力される２値化画像を数フレーム分〜数十フレーム分、一時記憶するフレームバッファ回路３６と、フレームバッファ回路３６に記憶されている２値化画像を順次、読み出しながら、フレーム間差分処理を行い、差分画像を生成するフレーム間差分処理回路３７とを備えている。

さらに、画像処理基板３１は、フレーム間差分処理回路３７からフレーム単位で出力される各差分画像を各分割エリア毎に、積算して、ヒストグラムを生成するヒストグラム処理回路３８と、ヒストグラム処理回路３８から出力されるヒストグラムに対し、統計処理を行うとともに、統計処理結果を用いて、仮想カーソル活動領域判定処理、仮想ボタンクリック活動領域判定処理、多段階矩形オブジェクト抽出処理などを行って、影などの影響を取り除いた仮想カーソル活動領域画像、仮想ボタンクリック活動領域画像を生成し、数画像分〜数十画像分、保持する活動領域抽出処理回路３９と、活動領域抽出処理回路３９に保持されている各仮想カーソル活動領域画像のうち、最新の仮想カーソル活動領域画像に活動矩形領域群が存在するとき、活動矩形領域群の数、形状、移動有無、移動方向などに基づき、仮想カーソル位置指示、仮想カーソル形状指示、仮想カーソル色指示、操作対象画面スクロール指示、操作対象画面拡大指示、操作対象画面縮小指示、操作対象画面回転指示などのポインティングデータを生成するとともに、仮想カーソルがクリック可能な状態になっているとき、活動領域抽出処理回路３９に保持されている各仮想ボタンクリック活動領域画像のうち、最新の仮想ボタンクリック活動領域画像に活動矩形領域群が存在しているかどうかをチェックし、活動矩形領域群が存在しているとき、活動矩形領域群の形状などに基づき、シングルクリック指示、ダブルクリック指示などのポインティングデータを生成する仮想カーソル制御処理／画面制御処理回路４０とを備えている。

そして、本第２の実施形態においても、上述した第１の実施形態と同様に、ビデオカメラ本体３０から出力されるカラービデオ信号を処理して、ユーザの各手がどのように動いているかを判定し、この判定結果に応じて、仮想カーソル位置指示、仮想カーソル形状指示、仮想カーソル色指示、操作対象画面スクロール指示、操作対象画面拡大指示、操作対象画面縮小指示、操作対象画面回転指示などのポインティングデータを生成し、遠隔操作対象機器となっているパソコン、テレビ、エアコン、大画面スクリーン装置などに供給する。

このように、この第２の実施形態では、ビデオカメラ本体３０によって、ユーザを撮影して得られた低解像度のカラー画像に対し、色フィルタリング処理、グレー化処理、画像分割／２値化処理、フレームバッファ処理、フレーム間差分処理、ヒストグラム処理、活動領域抽出処理、仮想カーソル制御処理／画面制御処理などを行わせて、ユーザの手の動きを検知させ、仮想カーソル位置指示、仮想カーソル形状指示、仮想カーソル色指示、操作対象画面スクロール指示、操作対象画面拡大指示、操作対象画面縮小指示、操作対象画面回転指示などのポインティングデータを生成し、遠隔操作対象機器に供給するようにしているので、遠隔操作対象機器側の仮想カーソルサイズ、仮想カーソル位置、仮想カーソル色、クリック、操作対象画面の上下スクロール、左右スクロール、拡大、縮小、回転などを遠隔操作させることができる（請求項２の効果）。

また、この第２の実施形態では、解像度が高くない、安価なビデオカメラ本体３０を使用させることができることから、入力装置１ｂのコストを低く抑えさせることができる（請求項２の効果）。

また、この第２の実施形態では、ビデオカメラ本体３０によって、ユーザを撮影して得られた低解像度のカラー画像に対し、グレー化処理、画像分割／２値化処理、色フィルタリング処理を施して得られた２値化画像をフレームバッファ回路３６に格納させるようにしているので、フレームバッファ回路３６の記憶容量が小さい場合にも、入力装置１ｂを構成させることができ、装置全体のコストを低く抑えさせることができる（請求項２の効果）。

さらに、この第２の実施形態では、ビデオカメラ本体３０によって、ユーザを撮影して得られた低解像度のカラー画像に対し、グレー化処理、画像分割／２値化処理、色フィルタリング処理、フレームバッファ処理、フレーム間差分処理、ヒストグラム処理、活動領域抽出処理、仮想カーソル制御処理／画面制御処理など、少ない段数の画像処理を施して、ポインティングデータを生成させるようにしているので、カラーマスク理回路３２、グレー化処理回路３３、画像分割／２値化処理回路３４、色フィルタリング処理回路３５、フレームバッファ処理回路３６、フレーム間差分処理回路３７、ヒストグラム処理回路３８、活動領域抽出処理回路３９、仮想カーソル制御処理／画面制御処理回路４０として、処理速度があまり速くない素子の使用を可能にして、装置全体のコストを低く抑えさせながら、ほぼリアルタイムで、ユーザの動きを検知させ、遠隔操作対象機器を制御させることができ、（請求項２の効果）。

そして、この第２の実施形態においても、上述した第１形態と同様に、ユーザが片手だけを動かしているとき、仮想カーソル制御指示、クリック制御指示、スクロール制御指示のいずれかであると判定させ、仮想カーソルサイズ指示、仮想カーソル位置指示、仮想カーソル色指示、スクロール制御指示、クリック指示などを示すポインティングデータを生成させるようにしているので、片手だけで、遠隔操作対象機器側のディスプレイに表示されている仮想カーソルのサイズ、位置、色、クリック動作、操作対象画面のスクロールなどを遠隔操作させることができる（請求項３の効果）。

また、この第２の実施形態においても、上述した第１形態と同様に、ユーザが両手を動かしているとき、右手の動き、左手の動きを各々、検出させ、操作対象画面の制御指示であると判定させ、操作対象画面拡大指示、操作対象画面縮小指示、操作対象画面回転指示などを示すポインティングデータを生成させるようにしているので、ユーザが右手、左手を動かすだけで、遠隔操作対象機器側のディスプレイに表示されている操作対象画面を拡大、縮小、回転させることができる（請求項４の効果）。

また、本発明の第２の実施形態では、活動領域抽出処理回路３９において、ヒストグラムを統計処理させるとともに、統計処理結果を使用させて、ヒストグラムから仮想カーソル活動領域画像、仮想ボタンクリック活動領域画像を作成させるようにしているので、ユーザの手など、動いている部分を正確に検知させることができ、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行わせることができる（請求項５の効果）。

また、本発明の第２の実施形態では、活動領域抽出処理回路３９において、仮想カーソル活動領域画像、または仮想ボタンクリックの活動領域画像に対し、多段階矩形オブジェクト抽出処理を行うようにしているので、ユーザの影などに起因する誤動作を防止させ、安定した仮想カーソル制御、クリック制御、操作対象画面制御を行わせることができる（請求項６の効果）。

３．本発明の他の実施形態の説明
また、上述した各実施形態では、ウェブカメラ４、ビデオカメラ本体３０で得られたカラー画像の全領域をグレー化し、２値化するようにしているが、図２２フローチャート、図２３の模式図に示す如くヒストグラムを統計処理、活動領域抽出処理で得られた変化領域矩形（活動矩形領域を含む矩形）４５に対し、指定された拡大縮小率（例えば拡大率“１０％”）で、拡大／縮小させた拡大／縮小矩形マスク４６を作成させ（ステップＳ４０）、この拡大／縮小矩形マスク４６を使用させ、カラー画像（次フレームのカラー画像）の全領域をグレー化して得られたモノクロ画像などの中から活動領域部分を含む画像４７だけを抽出させて、２値化処理させるようにしても良い（ステップＳ４１）。

このようにすれば、モノクロ画像などの中から活動領域より、少し広い範囲に含まれる画像のみが有効にさせ、それ以外の領域にある画像を無効にさせて、変化領域以外の部分に存在するノイズを除去させることができる（請求項７の効果）。

また、上述した第１の実施形態及び第２の実施形態では、ＣＰＵ７による色フィルタリング処理、または色フィルタリング処理回路３５によって、肌色のカラー画像を抽出させるようにしているが、ユーザが特定色の操作器、例えば赤ペンなどを使用して、仮想カーソルの位置、クリック、操作対象画面のスクロール、操作対象画面の拡大、操作対象画面の縮小、操作対象画面の回転などを制御する場合には、赤色抽出用のカラーマスクを使用させ、ＣＰＵ７による色フィルタリング処理、または色フィルタリング処理回路３５によって、赤色のカラー画像を抽出させるようにしても良い。

これにより、ウェブカメラ４、ビデオカメラ本体３０の撮影範囲に複数の人がいても、ユーザが持つ操作器の色に対応するカラー画像を抽出させて、仮想カーソル２５のサイズ制御、位置制御、クリック制御、操作対象画面のスクロール制御、拡大制御、縮小制御、回転制御などを行わせることができる。

また、このような色フィルタリング処理は、ウェブカメラ４、ビデオカメラ本体３０から出力されるカラービデオ信号に含まれるユーザの手など、動いている画像を抽出するために行っている処理であることから、ユーザが居る場所の照明条件が良好で、ユーザの手など、動いている画像と、背景画像とのコントラストが大きいとき、色フィルタリング処理を省略するようにしても良い。

１ａ、１ｂ：入力装置
２：パソコン
３：ディスプレイ部
４：ウェブカメラ（カラーカメラ）
５：ビデオキャプチャ
６：ハードディスク
７：ＣＰＵ
８：メモリ
９：システムバス
１０：ＯＳ格納エリア
１１：アプリケーション格納エリア
１２：画像処理プログラム格納エリア
１３：画像格納エリア
１４：表示インタフェース
２０：分割エリア
２１：活動分割エリア
２５：仮想カーソル
２６：活動矩形領域
２７：仮想カーソル活動領域画像
２８：実カーソル
３０：ビデオカメラ本体（カラーカメラ本体）
３１：画像処理基板
３２：肌色画像抽出回路
３３：グレー化処理回路
３４：画像分割／２値化処理回路
３５：色フィルタリング処理回路
３６：フレームバッファ回路
３７：フレーム間差分処理回路
３８：ヒストグラム処理回路
３９：活動領域抽出処理回路
４０：仮想カーソル制御処理／画面制御処理回路
４５：変化領域矩形
４６：拡大／縮小矩形マスク
４７：マスク後の画像

Claims (7)

1. ビデオカメラで得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成する入力装置において、
   操作者を撮影するカラーカメラと、
   このカラーカメラから出力されるカラー画像に対し、グレー化処理、画像分割／２値化処理、フレーム間差分処理、ヒストグラム処理、活動領域抽出処理、仮想カーソル制御処理／画面制御処理を行って、前記操作者の手、または指先の動きを検出し、この検出結果に応じた操作指示を生成して、遠隔制御対象機器を制御する画像処理プログラムと、
   を備えたことを特徴とする入力装置。
2. ビデオカメラで得られた操作者の画像を処理して、操作者の動作内容に応じた操作指示を生成する入力装置において、
   箱形に形成される入力装置筐体と、
   この入力装置筐体の前面に取り付けられ、操作者の画像を撮影するカラーカメラ本体と、
   グレー化処理回路、画像分割／２値化処理回路、フレーム間差分処理回路、ヒストグラム処理回路、活動領域抽出処理回路、仮想カーソル制御処理／画面制御処理回路を持ち、前記入力装置筐体内に配置され、ケーブルによって、遠隔操作対象機器などに接続される画像処理基板と、
   を備え、
   前記グレー化処理回路、前記画像分割／２値化処理回路、前記フレーム間差分処理回路、前記ヒストグラム処理回路、前記活動領域抽出処理回路、前記仮想カーソル制御処理／画面制御処理回路によって、前記カラーカメラ本体から出力されるカラー画像を処理して、前記操作者の手の動きを検出し、この検出結果に応じたポインティングデータを生成し、前記遠隔操作対象機器の動作を制御する、
   ことを特徴とする入力装置。
3. 前記仮想カーソル制御処理／画面制御処理、または前記仮想カーソル制御処理／画面制御処理回路は、仮想カーソル活動領域画像上に活動矩形領域群が１つあるとき、その形状、移動有無に基づき、カールソル制御指示、または画面スクロール指示を生成する、ことを特徴とする請求項１又は２に記載の入力装置。
4. 前記仮想カーソル制御処理／画面制御処理、または前記仮想カーソル制御処理／画面制御処理回路は、仮想カーソル活動領域画像上に活動矩形領域群が２つあるとき、その移動方向に基づき、画面回転指示、画面拡大指示、画面縮小指示のいずれかを生成する、ことを特徴とする請求項１乃至３の何れかに記載の入力装置。
5. 前記活動領域抽出処理、または前記活動領域抽出処理回路は、ヒストグラムの統計処理結果を使用して、前記ヒストグラムから仮想カーソル活動領域画像、仮想ボタンクリック活動領域画像を作成する、ことを特徴とする請求項１乃至４の何れかに記載の入力装置。
6. 前記活動領域抽出処理、または前記活動領域抽出処理回路は、前記仮想カーソル活動領域画像、または前記仮想ボタンクリック活動領域画像に対し、多段階矩形オブジェクト抽出処理を行い、ノイズ成分を除去する、ことを特徴とする請求項１乃至５の何れかに記載の入力装置。
7. 拡大／縮小矩形マスク作成処理、または拡大／縮小矩形マスク作成処理回路を付加し、前記拡大／縮小矩形マスク作成処理、または前記拡大／縮小矩形マスク作成処理回路によって、前記カラーカメラ、前記カラーカメラ本体で得られたカラー画像の中から、前記仮想カーソル活動領域画像上の変化領域矩形、または前記仮想ボタンクリック活動領域画像の変化領域矩形に対応する画像を抽出し、それ以外の画像をカットして、ノイズ成分を除去する、ことを特徴とする請求項１乃至６の何れかに記載の入力装置。