JP2002149302A

JP2002149302A - インターフェース装置およびインターフェース処理プログラムを記録した記録媒体

Info

Publication number: JP2002149302A
Application number: JP2000342575A
Authority: JP
Inventors: Michihiro Ono; 通広大野; Hiroyuki Akagi; 宏之赤木; Ayako Ishizaki; 綾子石崎
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2000-11-09
Filing date: 2000-11-09
Publication date: 2002-05-24
Anticipated expiration: 2020-11-09
Also published as: JP4275304B2

Abstract

(57)【要約】【課題】ディスプレイ上に手の動きに連動したマウス
ポインタを表示できないような場合であってもパーソナ
ルコンピュータ等の情報処理機器を操作可能とし、操作
性のよいインターフェース装置を提供する。【解決手段】カメラ２により撮像された動画像から特
定の対象物を検出する対象検出部４と、上記対象検出部
４により検出された対象物の動き方向を認識する動き方
向認識部５と、上記動き方向認識部５により認識された
動き方向に対応したコマンドを情報処理システムに出力
するコマンド出力部６とを有する。さらに、上記対象検
出部４により検出された対象物の位置を検出すると共
に、この検出結果を位置情報として、上記情報処理シス
テムを操作する操作者に通知する位置情報出力部７を備
える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パーソナルコンピ
ュータ等の情報処理機器における情報処理実行のための
コマンドの入力を行うインターフェース装置およびイン
ターフェース処理プログラムを記録した記録媒体に関す
るものである。

【０００２】

【従来の技術】パーソナルコンピュータ等の情報処理機
器を操作するインターフェースとしては、キーボードや
マウス等の装置が一般的である。

【０００３】したがって、パーソナルコンピュータで M
icrosoft（登録商標）社のPower Point （登録商標）等
のプレゼンテーション用のアプリケーションを利用して
プレゼンテーションを行う場合、ページを進める、戻す
といった操作は、マウスボタンのクリック、もしくはカ
ーソルキーによって方向を指示することにより行われて
いる。

【０００４】ところで、一般的な会議でのプレゼンテー
ションの場面においては、発表者はパーソナルコンピュ
ータから離れた位置に立つことが多いため、ページ送り
の操作の都度、キーボードやマウスが操作できる位置に
近づく必要があり、操作が煩わしいという問題が生じ
る。

【０００５】そこで、キーボードやマウス等の装置を利
用せずに、パーソナルコンピュータを離れた位置から操
作する方法として、赤外線リモコンを使用する方法が提
案されている。

【０００６】この赤外線リモコンを使用する方法では、
プレゼンテーションの間、常にリモコンを手にしている
必要があり、この場合においても操作者に煩わしさを与
えるという問題が生じる。

【０００７】このような各問題点を解消するために、カ
メラ等の撮像装置によって撮像された操作者の手の動作
を認識処理し、ディスプレイ上のマウスポインタの制御
を行う技術が特開平８−４４４９０号公報に開示されて
いる。この公報に開示された技術によれば、操作者の手
の動きは、ディスプレイ上に表示されるマウスポインタ
の形状の変化や動きによって表現される。

【０００８】上記公報によれば、キーボード、マウス、
赤外線リモコン等の機器を使用せずに、パーソナルコン
ピュータを離れた位置から操作するインターフェース装
置を実現することができる。

【０００９】

【発明が解決しようとする課題】しかしながら、上記公
報に開示された技術では、操作者の手の動きは、ディス
プレイ上に表示されるマウスポインタの形状の変化や動
きによって表現され、該ディスプレイ上のマウスポイン
タの制御を行うようになっているので、操作者はディス
プレイが見える位置でマウスポインタを見ながら操作を
行う必要がある。

【００１０】したがって、操作者がディスプレイが見え
ない位置にいる場合には、視覚的に操作の手順やシステ
ムの状態を確認することができない。このため、例えば
プレゼンテーションのスライド画面をディスプレイ全体
に表示する場合や、ディスプレイが見えない位置にいる
場合、あるいはディスプレイがない情報処理機器を操作
する場合等のディスプレイ上に手の動きに連動したマウ
スポインタを表示できないような場合には、操作者は、
パーソナルコンピュータ等の情報処理機器を操作するこ
とができない。

【００１１】さらに、上記公報に開示された技術では、
操作者の位置を確認する方法が考慮されていないので、
操作者が適当な位置、例えば操作可能な適正な位置から
外れた位置にいる場合であって、ディスプレイが見える
位置にいる場合に、何故情報処理機器の操作を行うこと
ができないのかを容易に理解することができず、このた
め、操作者は情報処理機器が操作できるまで試行錯誤し
なければならず、この結果、装置の操作性が低下すると
いう問題が生じる。

【００１２】本発明は、上記の各問題点を解決するため
になされたもので、その目的は、キーボード、マウス、
赤外線リモコン等の機器を利用せずに、パーソナルコン
ピュータ等の情報処理機器を離れた位置から操作するこ
とを前提とし、ディスプレイ上に手の動きに連動したマ
ウスポインタを表示できないような場合であってもパー
ソナルコンピュータ等の情報処理機器を操作可能とし、
操作者が適当な位置で操作を開始して情報処理機器の操
作が不能と判断されたときであっても、操作者にそのこ
とを知らせ、次に操作者は何をすればいいのかを迅速に
認知できるような操作性のよいインターフェース装置お
よびインターフェース処理プログラムを記録した記録媒
体を提供することにある。

【００１３】

【課題を解決するための手段】本発明のインターフェー
ス装置は、上記の課題を解決するために、情報処理シス
テムにおける情報処理実行のためのコマンドの入力を行
うインターフェース装置において、動画像を撮像するた
めの撮像装置と、上記撮像装置により撮像された動画像
から特定の対象物を検出する対象物検出手段と、上記対
象物検出手段により検出された対象物の動き方向を認識
する動き方向認識手段と、上記動き方向認識手段により
認識された動き方向に対応したコマンドを上記情報処理
システムに出力するコマンド出力手段と、上記対象物検
出手段により検出された対象物の位置を検出すると共
に、この検出結果を位置情報として、上記情報処理シス
テムを操作する操作者に通知する位置情報通知手段とを
備えていることを特徴としている。

【００１４】上記の構成によれば、撮像装置により撮像
された動画像から検出された対象物の動き方向に応じた
コマンドに基づいて情報処理システムにおける情報処理
を実行することで、従来のように、キーボード、マウ
ス、赤外線リモコン等の機器を使用せずに、検出された
対象物の動きにより情報処理のコマンドを実行すること
ができる。

【００１５】このように、検出された対象物の動きによ
り情報処理のコマンドを実行することにより、ディスプ
レイ上に表示された対象物の動きに連動したマウスポイ
ンタやカーソルを操作者は見なくても、パーソナルコン
ピュータ等の情報処理機器を操作することができる。

【００１６】しかも、位置情報出力手段によって、対象
物の位置を検出すると共に、この検出結果を対象物の位
置情報として、情報処理システムを操作する操作者に通
知することにより、操作者は、通知された位置情報か
ら、情報処理システムにおける情報処理のコマンドが実
行可能な位置、すなわち適正な位置に対象物がいるか否
かを迅速に判断することができる。

【００１７】これにより、操作者は、対象物が適正な位
置にいるか否かにより次にしなければならないことを的
確に把握することができるので、このようなインターフ
ェース装置を介してパーソナルコンピュータ等の情報処
理機器を操作する場合の操作性の向上を図ることができ
る。

【００１８】また、上記位置情報通知手段は、対象物が
適正な位置にいないことが検出された場合に対象物の適
正な位置への移動を促すためのガイダンス手段を備えて
いてもよい。

【００１９】この場合、対象物が適正な位置にいない場
合に、ガイダンス手段により対象物を適正な位置に移動
させるように促され、操作者はその指示に従って対象物
を移動させればよいので、対象物を簡単に適正な位置に
移動させることができる。

【００２０】また、上記ガイダンス手段は、対象物が適
正な位置にあることを、ビープ音等の確認音を発声して
操作者に通知するようにしてもよい。

【００２１】これにより、操作者は、ビープ音等の確認
音を聞くだけで対象物が適正な位置にあることを認識す
ることができる。

【００２２】さらに、上記ガイダンス手段は、対象物が
適正な位置にあることを、ボタンの色の変化等の視覚的
な変化によって操作者に通知するようにしてもよい。

【００２３】これにより、操作者は、視覚的に変化する
ボタンを見るだけで対象物が適正な位置にあることを認
識することができる。

【００２４】また、上記ガイダンス手段は、対象物の位
置と大きさを表現するマークを、上記適正な位置を示す
マークとあわせて表示するようにしてもよい。

【００２５】この場合、対象物の位置と大きさを表現す
るマークを、上記適正な位置を示すマークとあわせて表
示することで、操作者に対して、対象物の適正な位置へ
の移動を促すことができる。したがって、操作者は、表
示された各マークを見るだけで、対象物が適正な位置に
いるか否かを簡単に認識することができる。

【００２６】さらに、上記ガイダンス手段は、対象物を
どの方向に移動させればよいかを、音声メッセージによ
って指示するようにしてもよい。

【００２７】この場合、対象物をどの方向に移動させれ
ばよいかを、音声メッセージによって指示することで、
操作者に対して、対象物の適正な位置への移動を促すこ
とができる。したがって、操作者は、音声メッセージを
聞くだけで、対象物をどの方向に移動させれば良いかを
認識できるので、対象物を適正な位置に迅速に移動させ
ることができる。

【００２８】また、上記動き方向認識手段は、検出され
た対象物の動き方向の認識結果を、操作者に通知する通
知手段を備えるようにしてもよい。

【００２９】この場合、操作者は、通知手段によって通
知された対象物の動き方向の認識結果から、該対象物の
動き方向の認識の適否を簡単に知ることができる。

【００３０】また、上記通知手段は、対象物の動き方向
の認識の成否を、動き方向の表示によって、操作者に通
知するようにしてもよい。

【００３１】この場合、操作者は、通知手段により、対
象物の動き方向の認識の成否を、動き方向の表示によっ
て通知されていることで、視覚的に対象物の動き方向の
認識の成否を確認することができる。

【００３２】また、上記通知手段は、対象物の動き方向
の認識を成功した場合と失敗した場合とで異なる確認音
によって、操作者に通知するようにしてもよい。

【００３３】この場合、操作者は、通知手段により、対
象物の動き方向の認識を成功した場合と失敗した場合と
で異なる確認音によって知らされるので、確認音を聞く
だけで、対象物の動き方向の認識の成否を確認すること
ができる。

【００３４】以上のようなインターフェース装置におい
て、上記撮像装置により撮像される動画像には、人間の
頭部を含む、少なくとも胸部より上の身体が含まれ、上
記対象物検出手段により検出される対象物は人間の手で
あってもよい。

【００３５】この場合、情報処理システムのコマンドに
対応する対象物の動き方向が、人間の手の動き方向とな
るので、人間（操作者）は手を動かすだけで、該コマン
ドを実行することが可能となる。

【００３６】また、上記対象物検出手段は、動画像中の
肌色領域を検出することで、人間の手を検出するように
してもよい。

【００３７】さらに、上記対象物検出手段は、動画像中
の特定のフレーム画像において、人間の顔が所定の位置
に存在することを検出し、この検出結果に基づいて該特
定のフレーム画像に手が存在しているか否かを検出する
ようにしてもよい。

【００３８】また、インターフェース装置における処理
としては、以下の処理を含み、この処理を含むプログラ
ムはコンピュータで実行可能となっている。

【００３９】すなわち、インターフェース処理プログラ
ムを記録している記録媒体は、撮像装置により撮像され
た動画像から特定の対象物を検出する処理と、検出され
た対象物の動き方向を認識する処理と、認識された動き
方向に対応したコマンドを情報処理システムに出力する
処理と、検出された対象物の位置を検出すると共に、こ
の検出結果を位置情報として、上記情報処理システムを
操作する操作者に通知する処理とを記録している。

【００４０】これにより、コンピュータにより簡単に、
上述したような各種のインターフェース処理を実行する
ことが可能となる。

【００４１】

【発明の実施の形態】本発明の実施の一形態について説
明すれば、以下の通りである。なお、本実施の形態で
は、本願発明のインターフェース装置をプレゼンテーシ
ョンを実行するためのプレゼンテーションシステムに適
用した場合について説明する。

【００４２】上記プレゼンテーションシステムは、図２
に示すように、情報処理機器としてのパーソナルコンピ
ュータ１と、このパーソナルコンピュータ１に接続され
たカメラ（撮像装置）２およびプロジェクタ１１と、プ
ロジェクタ１１で投影される映像を映し出すためのスク
リーン１２とで構成されている。

【００４３】上記プレゼンテーションシステムでは、操
作者１３が、パーソナルコンピュータ１から離れた位置
に立ち、プロジェクタ１１によってスクリーン１２上に
投影された映像、例えばスライドのページを進めたいと
きは手の平を右に動かし、戻したいときは左に動かすよ
うにする。

【００４４】すなわち、上記プレゼンテーションシステ
ムでは、カメラ２で捉えられた操作者１３の手の動き
が、パーソナルコンピュータ１内で認識され、手が右に
動いたと認識された場合は、ページを進めるためのコマ
ンドが発行され、手が左に動いたと認識された場合は、
ページを戻すためのコマンドが発行される。各コマンド
がプレゼンテーションを実行するアプリケーションに入
力されることによって、ページが切替えられ、プロジェ
クタ１１を通してスクリーン１２に投影される。

【００４５】以上のことから、上記プレゼンテーション
システムにおけるインターフェース装置は、上記パーソ
ナルコンピュータ１と該パーソナルコンピュータ１に接
続されたカメラ２とで構成されていることになる。

【００４６】上記インターフェース装置の詳細な構成に
ついて、以下に説明する。

【００４７】上記インターフェース装置は、例えば図１
に示すように、パーソナルコンピュータ１とカメラ２と
からなり、上記パーソナルコンピュータ１内の情報処理
システムにおける情報処理実行のためのコマンドの入力
を行うための装置である。

【００４８】上記カメラ２は、撮像した動画像をフレー
ム単位でフレーム画像としてパーソナルコンピュータ１
に出力するようになっている。

【００４９】上記パーソナルコンピュータ１は、フレー
ムメモリ３、対象検出部（対象物検出手段）４、動き方
向認識部（動き方向認識手段）５、コマンド出力部（コ
マンド出力手段）６、位置情報出力部（位置情報通知手
段）７で構成されており、さらに、プレゼンテーション
等の各種アプリケーションを実行するための情報処理シ
ステムを含んでいる。

【００５０】上記フレームメモリ３には、撮像装置とし
てのカメラ２、例えばＣＣＤ（Charge Coupled Device)
カメラ等により撮影されたフレーム画像が順次転送さ
れ、該フレーム画像を記憶する。このとき、図１に示す
ようなプレゼンテーションシステムの場合には、操作者
１３の上半身が撮影され、フレーム画像として順次記憶
されるようになっている。なお、以降の処理量を軽減す
るためにフレーム画像を縮小して記憶するようにしても
よい。

【００５１】上記対象検出部４では、本インターフェー
ス装置の対象物である、操作者の手の動きを認識するた
めに、フレームメモリ３から出力されるフレーム画像
（特定のフレーム画像）から肌色の領域を検出すること
によって、操作者の手及び顔の領域を検出するようにな
っている。なお、対象検出部４において、肌色領域の検
出や、手の動きの認識に関しては、例えば論文『肌色領
域より隠れて見える場合を考慮した手話動画像からの手
の実時間追跡』（今川和幸他３名：電子情報通信学会論
文誌 D-II Vol.J81-D-II No.8 pp.1787-1795 1998年 8
月）に記載された手法を用いて実現できるので、その詳
細は省略する。

【００５２】つまり、上記対象検出部４では、動画像中
の特定のフレーム画像において、人間の顔が所定の位置
に存在することを検出し、この検出結果に基づいて該特
定のフレーム画像に手が存在しているか否かを検出する
ようになっている。

【００５３】上記動き方向認識部５は、操作者の手及び
顔の動きを検出し、それぞれの動き方向を識別するよう
になっている。ここで、手の移動量が上下左右いずれか
の方向に、所定の閾値を越える値が検出された場合、そ
の方向に手が動いたと認識する。また、所定の時間内
に、所定の値を越える移動量が検出されなかった場合
や、手あるいは、顔が撮像範囲から外れた場合は、認識
に失敗したと判断する。このとき、対象物の認識に成功
した場合と失敗した場合とで異なる音の確認音を発声す
るようにしてもよい。この場合、動き方向認識部５から
パーソナルコンピュータ１に装備されているスピーカ等
の通知手段により確認音を発声するようにすればよい。
そして、操作者は、確認音の違いにより動き方向認識部
５での認識の成否が容易に確認できる。なお、動き方向
認識部５における処理の詳細については、後述する。

【００５４】上記コマンド出力部６では、上記動き方向
認識部５で認識された方向に対応したコマンドを、パー
ソナルコンピュータ１内の情報処理システムに発行す
る。例えば、上記情報処理システムによってプレゼン
テーション用のアプリケーションの一つである Microso
ft（登録商標）社のPowerPoint（登録商標）の制御を行
う場合は、左右のカーソルキーに対応するコマンドを出
力する。同時に、コマンドが出力されたことを操作者に
通知するための、確認音を発声する。また、認識に失敗
した場合も、そのことを操作者に通知するために、異な
る確認音を発声する。この場合の発声手段も、パーソナ
ルコンピュータ１に装備されているスピーカを使用すれ
ばよい。

【００５５】また、上記位置情報出力部７は、対象検出
部４からの情報に基づいて、対象物である操作者１３の
位置あるいは操作者１３の顔の位置等の位置情報を上記
パーソナルコンピュータ１内の情報処理システムを操作
している操作者に対して出力するようになっている。つ
まり、位置情報出力部７は、操作者１３に対して、対象
物等の位置情報を通知するようになっている。なお、位
置情報出力部７の詳細については後述する。

【００５６】ここで、図１に示すインターフェース装置
における処理の流れについて、図３に示すフローチャー
トを参照しながら以下に説明する。

【００５７】まず、カメラ２により撮影された操作者１
３のフレーム画像がフレームメモリ３に入力され、記憶
され、このフレームメモリ３に記憶されたフレーム画像
が対象検出部４に入力される（ステップＳ１）。

【００５８】次に、対象検出部４において、入力された
フレーム画像から顔領域の検出が行われ（ステップＳ
２）、この検出結果が位置情報出力部７に出力される
（ステップＳ３）。

【００５９】続いて、位置情報出力部７は、入力された
検出結果に基づいて、顔が所定の位置にあるか否かを判
定する（ステップＳ４）。ここで、顔が所定の位置にな
いと判定されれば、ステップＳ５において、操作者１３
に対して所定の位置に移動するように移動方向指示の音
声出力を行い、ステップＳ１に移行する。

【００６０】一方、ステップＳ４において、顔が所定の
位置にあると判定されれば、位置情報出力部７は確認音
を出力する（ステップＳ６）。この確認音により、操作
者１３は、自分の顔が所定の位置にあることを確認する
ことができる。

【００６１】次いで、対象検出部４は、入力されたフレ
ームから手領域の検出を行い（ステップＳ７）、この検
出結果を位置情報出力部７に出力する。

【００６２】続いて、位置情報出力部７は、入力された
検出結果に基づいて、手が所定の位置にあるか否かを判
定する（ステップＳ８）。ここで、手が所定の位置にな
ければ、ステップＳ１に移行する。

【００６３】一方、ステップＳ８において、手が所定の
位置にあると判定されれば、確認を出力する（ステップ
Ｓ９）。この確認音により、操作者１３は、自分の手が
所定の位置にあることを確認することができる。

【００６４】次に、動き方向認識部５は、対象検出部４
による検出結果に基づいて手の動き方向を検出し（ステ
ップＳ１０）、手の動き方向の検出に成功しているか否
かを判定する（ステップＳ１１）。

【００６５】ステップＳ１１において、手の動き方向の
検出に成功していないと判定されれば、確認音を出力し
（ステップＳ１２）、ステップＳ１に移行する。この確
認音により、操作者１３は、手の動き方向の検出に失敗
したことを確認することができる。

【００６６】一方、ステップＳ１１において、手の動き
方向の検出に成功していると判定されれば、ステップＳ
１２の確認音とは異なる確認音を出力する（ステップＳ
１３）。この確認音により、操作者１３は、手の動き方
向の検出に成功したことを確認することができる。

【００６７】そして、動き方向認識部５による手の動き
方向の検出結果は、コマンド出力部６に出力される。こ
のコマンド出力部６は、手の動き方向に対応したコマン
ドをパーソナルコンピュータ１内の情報処理システムに
出力する（ステップＳ１４）。

【００６８】コマンド出力部６は、上記パーソナルコン
ピュータ１内の情報処理システムによって、例えばMicr
osoft 社のPowerPoint（登録商標）の制御を行う場合に
は、左右のカーソルキーに対応するコマンドを出力す
る。

【００６９】そして、操作者１３による終了命令が発せ
られたか否かが判断さるまで、ステップＳ１〜ステップ
Ｓ１４までの処理が続行される（ステップＳ１５）。

【００７０】上述したインターフェース装置では、操作
者１３の手の動きによってアプリケーションの制御を行
うコマンドを出力するようになっている。つまり、認識
対象が手の動きのみであるにもかかわらず、上記インタ
ーフェース装置では、顔領域も検出対象としている。こ
の理由について説明すると以下のようになる。

【００７１】操作者１３が、図２に示すように、カメラ
２の正面に立って、手を体の前方に出して、上下左右に
動かす動作を行った場合、必然的に顔がフレーム画像内
に入る。通常、フレーム画像から色情報のみを用いて、
肌色領域の検出を行った場合、検出された領域が顔であ
るか手であるかを判断することは困難である。フレーム
画像内の全ての、肌色領域の動き方向の認識を行うと、
例えば、手を動かしていなくても、操作者が顔を左右に
動かした場合にも、手の動きと誤認識される可能性があ
る。

【００７２】そこで、本発明では、操作者１３は、一旦
フレーム画像内に顔のみが映っていて、手が映っていな
い姿勢をとることを前提とし、この状態で、動き方向認
識部５は、対象検出部４により検出された肌色領域を顔
領域とし、以降入力されるフレーム画像において顔領域
の追跡処理を行うようになっている。

【００７３】このように、顔領域の追跡が行われている
状態で、フレーム画像内に手が出現すると、新たに出現
した肌色領域を手領域として追跡処理を行うことによっ
て、顔と手の区別を可能としている。

【００７４】つまり、対象検出部４は、動画像中の特定
のフレーム画像において、人間である操作者１３の顔が
所定の位置に存在することを検出し、この検出結果に基
づいて該特定のフレーム画像に手が存在しているか否か
を検出するようになっている。

【００７５】ここで、上記動き方向認識部５における認
識動作について、図４および図５（ａ）〜（ｃ）を参照
しながら、以下に説明する。

【００７６】まず、肌色領域の検出について説明する。

【００７７】フレームメモリ３に記憶されている画像
（フレーム画像）は、画素数が３２０×２４０画素であ
り、各画素値はＲ、Ｇ、Ｂの３色の成分値から構成され
ているものとする。上記フレーム画像としては、例えば
図４に示すように、１ブロックの画素数が１６×１６画
素として、入力フレーム画像を２０×１５ブロックに分
割することが考えられる。

【００７８】この場合、１ブロック内の全ての画素値の
Ｒ．Ｇ、Ｂの各成分について平均値を求め、その平均値
をブロックの画素値の代表値とし、全ブロックにつき画
素値の代表値を求める。対象が顔や手である場合には、
肌色の画素の割合が大部分であるため、画素値の代表値
は肌色を示す値に近くなる。

【００７９】ブロックの代表値をＲ、Ｇ、Ｂのそれぞれ
について、ｒ、ｇ、ｂとすると、肌色である条件は、次
式で定義することができる。

【００８０】ｒ_min≦ ｒ ≦ｒ_max ・・・・・・・・・・（１）ｇ_min≦ ｇ ≦ｇ_max ・・・・・・・・・・（２）ｂ_min≦ ｂ ≦ｂ_max ・・・・・・・・・・（３）ここで、ｒ_min、ｇ_min、ｂ_minは、（ｒ、ｇ、ｂ）の
それぞれの値に対する最小値であり、ｒ_max、ｇ_max、
ｂ_maxは、（ｒ、ｇ、ｂ）のそれぞれの値に対する最大
値である。これらの値は、肌色が検出され易いように予
め決められているものとする。

【００８１】続いて、肌色であると判定されたブロック
が隣接している場合に、統合することによってブロック
の集合領域を検出する。検出された集合領域が所定の形
状をもつ場合には、その領域を認識対象領域と判断す
る。例えば、認識対象が顔の場合には、領域の形状が楕
円形に近いことが条件となる。

【００８２】次に、手の動き方向の認識について図５
（ａ）〜（ｃ）を用いて説明する。図５（ａ）〜（ｃ）
において、上段の図は入力フレーム画像を示し、下段の
図は、上段の図のそれぞれのフレーム画像に対応して検
出された肌色領域を示している。図５（ａ）は、初期状
態Ｔ＝ｔ０での状態を示し、図５（ｂ）は、図５（ａ）
の状態よりも少し時間が経過したＴ＝ｔ１での状態を示
し、図５（ｃ）は、図５（ｂ）の状態よりも少し時間が
経過したＴ＝ｔ２での状態を示している。

【００８３】ある時刻Ｔ＝ｔ０に検出された肌色領域
が、図５（ａ）に示すように、領域Ａ０のみであった場
合、この領域Ａ０を操作者１３の顔１３ａであると判断
する。

【００８４】次に、時刻Ｔ＝ｔ１に検出された肌色領域
が、図５（ｂ）に示すように、領域Ａ１とＢ１の２つで
あった場合、一方の領域を操作者１３の顔１３ａである
と判断し、他方の領域を操作者１３の手１３ｂであると
判断する。このとき、顔領域の判断基準を前時刻の顔領
域との重心間の距離が近い方とすると、領域Ａ１が顔１
３ａ、領域Ｂ１が手１３ｂと判断される。

【００８５】続いて、時刻Ｔ＝ｔ２に検出された肌色領
域が、図５（ｃ）に示すように、領域Ａ２とＢ２の２つ
であった場合、時刻Ｔ＝ｔ１の顔１３ａの重心間の距離
が近い方を、顔領域と判断する。この場合、領域Ａ１と
領域Ａ２との重心間の距離が０なので、領域Ａ２が顔領
域であると判断される。したがって、もう一方の領域Ｂ
２は、自動的に領域Ｂ１と対応付けられて手領域である
と判断される。

【００８６】このとき、動き方向認識部５によって、手
１３ｂは、図５（ｃ）に示すように、矢印方向に移動、
すなわち右方向に移動していると認識される。なお、図
５（ａ）〜（ｃ）で示すフレーム画像は、カメラ２によ
り入力されたフレーム画像を左右反転して処理されてい
るものとする。

【００８７】以上のようにして認識された操作者１３の
手１３ｂの移動方向に関する情報が、コマンド出力部６
に転送される。このコマンド出力部６では、操作者１３
の手１３ｂの移動方向に対応したコマンドをパーソナル
コンピュータ１内の情報処理システムに発行する。

【００８８】続いて、上述した位置情報出力部７につい
て、以下に説明する。

【００８９】上記位置情報出力部７は、パーソナルコン
ピュータ１内の情報処理システムを操作する操作者１３
に対して対象物の位置情報を通知するための手段であ
り、位置情報表示システム、音声ガイダンスシステム、
操作ガイダンスシステムの少なくとも一つのシステム
（ガイダンス手段）を含む構成となっている。

【００９０】上記の各システムの説明を始める前に、上
記パーソナルコンピュータ１内の対象検出部４における
対象物の検出動作について説明する。

【００９１】上記対象検出部４が、操作者１３の顔１３
ａと手（対象物）１３ｂとを検出するためには、入力フ
レーム画像中に顔１３ａと手１３ｂが映っている必要が
ある。本発明では、上述のように一旦顔１３ａのみの検
出を行うようにしているが、この場合でも、例えば図６
（ａ）に示す場合のように、フレーム２０内の右端に操
作者１３の体全体がよっていると、右手で操作を行おう
として、手１３ｂをあげても、フレーム２０内に右手が
入らないため、対象検出部４は手の検出が行えない。こ
こで、フレーム２０は、カメラ２により撮影されたフレ
ーム画像のうち、対象検出部４が認識できる画像の範囲
を規定する枠である。

【００９２】このような事態を避けるためには、図６
（ｂ）に示すように、予めフレーム２０内に破線枠２１
を設け、この破線枠２１内に顔１３ａが収まるように操
作者１３を移動させるようにすればよい。この場合、上
記破線枠２１は、フレーム２０内に操作者１３が収ま
り、手１３ｂを挙げたときに該手１３ｂをフレーム２０
内に手がくるように設定されている。

【００９３】また、例えば操作者１３がカメラ２に近い
位置にいて、顔１３ａがフレーム画像の大部分を占める
場合や、逆に操作者１３がカメラ２から遠い位置にい
て、顔１３ａが小さ過ぎる場合も、フレーム２０内で操
作者１３の手１３ｂが適切に表示されないので、手１３
ｂの検出には不都合となっている。

【００９４】したがって、フレーム画像内での、顔１３
ａの大きさに関しても、適正な範囲にある必要がある。
なお、図６（ａ）（ｂ）は、カメラ２より入力されたフ
レーム画像を左右反転して図示しているものとする。

【００９５】フレーム画像内の適当な位置に、適当な大
きさで顔が映っているかどうかは、フレーム画像をディ
スプレイに表示することによって容易に確認することが
できる。しかしながら、本発明は、プレゼンテーション
のスライド画面の操作を重要な目標としているため、デ
ィスプレイの全体もしくは、大部分にスライド画面が表
示され、フレーム画像を表示するスペースを確保するこ
とは難しい。フレーム画像を画面の隅に小さく表示する
ことも考えられるが、操作者がシステムから離れた位置
に立つことを想定しているため、視認することは困難で
ある。

【００９６】そこで、省スペースで容易に顔の位置を確
認する手段として、位置情報出力部７では、図７（ａ）
（ｂ）に示すような位置情報表示システムを実現するよ
うになっている。

【００９７】図７（ａ）に示す位置情報表示システムで
は、プレゼンテーションシステム・ウインドウ１２ａが
プレゼンテーションにおけるディスプレイ画面となるス
クリーン１２の大部分を占めるように大きく表示され、
位置情報表示システム用のウインドウ１２ｂは上記のプ
レゼンテーションシステム・ウインドウ１２ａに重なら
ない位置に小さく表示されるようになっている。

【００９８】図７（ｂ）に示す位置情報表示システムで
は、プレゼンテーションシステム・ウインドウ１２ａが
スクリーン１２全体に表示され、位置情報表示システム
用のウインドウ１２ｂはプレゼンテーションの内容をで
きる限り遮らないように、右下隅に小さく表示されるよ
うになっている。

【００９９】ここで、位置情報表示システムの働きにつ
いて、図８（ａ）〜（ｆ）を参照しながら以下に説明す
る。

【０１００】カメラ２によって撮影されたフレーム画像
に、図８（ａ）に示すように、操作者１３の上半身の大
部分が映し出されている場合、すなわち、操作者１３が
カメラ２から離れた位置にいる場合、対象検出部４によ
る検出結果は、図８（ｂ）に示すように、肌色領域を示
す領域、すなわち顔１３ａに相当する領域が適正な顔の
位置を示す破線枠２１から外れた位置に存在したものと
なる。

【０１０１】この場合、図７（ａ）（ｂ）に示すスクリ
ーン１２の位置表示用のウインドウ１２ｂには、図８
（ｃ）のように、検出された顔の位置とサイズが図中の
黒い円（顔位置・サイズ表示円）２２で表現され、適正
な可能位置が円形の枠、すなわち顔位置指定枠２３で表
現される。

【０１０２】なお、図８（ｂ）で示す顔１３ａの位置を
示す座標と、図８（ｃ）で示す顔位置・サイズ表示円２
２の位置を示す座標とは必ずしも１対１に対応している
必要はなく、図８（ｂ）で示す適正な顔の位置を中心と
した部分矩形領域（破線枠２１）を切り出し、図８
（ｃ）では、顔位置指定枠２３が図の中心配置されるよ
うに、適当に座標変換されていてもよい。つまり、顔位
置が適正な位置からどの方向にどの程度ずれているか
が、操作者１３に認識できればよい。

【０１０３】操作者１３は、スクリーン１２上に映し出
された位置表示用のウインドウ１２ｂに、図８（ｃ）で
示すような状態の顔位置・サイズ表示円２２と顔位置指
定枠２３とが表示されているのを見て、自分の顔が適正
な位置より、左上にずれていて、且つ面積が小さいこと
が分かる。このことから、操作者１３は、自分がカメラ
２から遠く離れ過ぎていることを認識する。

【０１０４】したがって、操作者１３は、スクリーン１
２の位置表示用のウインドウ１２ｂで示された顔位置・
サイズ表示円２２が顔位置指定枠２３に近づくように、
カメラ２に近づき、右下方向に顔をずらすような動作を
行う。

【０１０５】そして、カメラ２によって撮影されたフレ
ーム画像が、図８（ｄ）に示すように、操作者１３の顔
が適正な位置にくるようになっている場合、すなわち、
操作者１３が適正な位置にいる場合、対象検出部４によ
る検出結果は、図８（ｅ）に示すように、肌色領域を示
す領域、すなわち顔１３ａに相当する領域が適正な顔の
位置を示す破線枠２１の内側に存在することを示す。

【０１０６】この場合、図７（ａ）（ｂ）に示すスクリ
ーン１２の位置表示用のウインドウ１２ｂには、図８
（ｆ）のように、検出された顔の位置とサイズが図中の
顔位置・サイズ表示円２２が顔位置指定枠２３に重なっ
た状態、すなわち、顔位置・サイズ表示円２２の位置と
サイズが顔位置指定枠２３の位置とサイズに合致した状
態が表示される。

【０１０７】このように、操作者１３は、スクリーン１
２に映し出された位置表示表のウインドウ１２ｂを見
て、自分が適正な位置にいるか否かの判断を行うことが
できる。これにより、もし、自分が適正な位置にいない
と判断した場合には、ウインドウ１２ｂ内の顔位置・サ
イズ表示円２２を顔位置指定枠２３の位置とサイズに合
致させるようにカメラ２に向かって移動すればよい。

【０１０８】なお、上記の説明では、説明を簡略化する
ために、操作者１３が適正な位置にいないことを示す図
８（ａ）の状態と、操作者１３が適正な位置にいること
を示す図８（ｄ）の状態との位置状態の説明を行ってい
るが、図８（ａ）と図８（ｄ）との間、すなわち操作者
１３が移動している途中の段階での処理については省略
している。

【０１０９】しかしながら、カメラ２からの撮影画像は
常にフレーム画像としてフレームメモリ３に入力され、
対象検出部４によって対象物の検出処理が行われてい
る。したがって、入力されるフレーム画像毎に、操作者
１３の顔１３ａの位置やサイズを示す顔位置・サイズ表
示円２２の位置と大きさも図８（ｃ）に示す状態から図
８（ｆ）に示す状態へと段階的に変化していくものとす
る。なお、フレーム画像中に顔が入っていない場合に
は、操作者１３の顔１３ａの位置やサイズを示す顔位置
・サイズ表示円２２は表示されないものとする。

【０１１０】以上の処理の流れは、図３のステップＳ１
〜ステップＳ４に示されている。図８（ａ）（ｄ）は図
３のステップＳ１に対応し、図８（ｂ）（ｅ）は図３の
ステップＳ２に対応し、図８（ｃ）（ｆ）は図３のステ
ップＳ３に対応している。

【０１１１】操作者１３の顔１３ａと、顔位置・サイズ
表示円２２とが一致しているか否かは、以下のようにし
て判定される。

【０１１２】検出領域の画素値を１、それ以外の領域を
０とする２値画像Ｘを作成し、Ｘの座標ｉにおける画素
値をｘｉとし、顔位置・サイズ表示円２２の内部の画素
値を１とし、他の領域を０とし、図４と同様にブロック
分割された２値画像Ｙを作成し、Ｙの座標ｉにおける画
素値をｙｉとし、ＸとＹの各画素における画素値の差の
絶対値の総和Ｓが所定の閾値αより小さい場合に、以下
の式（４）を満たしたとき、顔１３ａの領域と顔位置・
サイズ表示円２２とが一致したものとする。

【０１１３】Ｓ＝Σ｜ｘｉ−ｙｉ｜＜α ・・・・・・・・・・・・・・・（４）このように、顔１３ａを単純な円、すなわち顔位置・サ
イズ表示円２２で位置およびサイズを表示し、これと顔
位置指定枠２３の位置とサイズを比較して、自分が適正
にいるか否かを判断するようになっているので、フレー
ム画像内の操作者１３をそのまま見て適正な位置にいる
か否かを判断する場合に比べて、操作者１３は格段に容
易に適正な位置を確認することが可能となる。

【０１１４】以上の位置情報出力部７の働きによって、
スクリーン１２において、省スペースで顔の位置を確認
することができるが、スライド画面をスクリーン１２全
体に表示した場合は、位置情報表示用のウインドウ１２
ｂが邪魔になる場合もある。このような状況を考慮し
て、位置情報出力部７は音声によって、顔の位置をガイ
ドする音声ガイダンスシステムを備えている。

【０１１５】上記位置情報出力部７に備えられた音声ガ
イダンスシステムについて以下に説明する。なお、音声
ガイダンスシステムの音声は、パーソナルコンピュータ
１に装備されているスピーカから発声されるものとす
る。

【０１１６】上記音声ガイダンスシステムでは、図８
（ａ）に示すように、操作者１３がカメラ２から離れた
位置で、適正な位置にいない場合に、該操作者１３をカ
メラ２に近づけて適正な位置に移動させるために、『も
う少し、近づいて下さい』というメッセージが発声され
る。このメッセージは操作者１３が適正な位置にくるま
で繰り返し発声される。

【０１１７】また、逆に操作者１３がカメラ２に対して
近過ぎる場合には、該操作者１３をカメラ２から遠ざけ
て適正な位置に移動させるために、『もう少し、離れて
下さい』というメッセージが発声される。

【０１１８】上記の処理は、前述の位置情報表示システ
ムで用いた、顔位置・サイズ表示円２２を表わす２値画
像と、検出領域とを比較することによって実現できる。
すなわち、スクリーン１２には、位置表示用のウインド
ウ１２ｂが表示されないが、システム内部において、顔
位置・サイズ表示円２２に相当する画像と検出領域とを
比較し、この比較結果に基づいて、操作者１３に対して
メッセージを発声する。

【０１１９】つまり、上記システム内部では、検出領域
の面積Ｓｘと、上記式（４）で用いた画像Ｙの面積Ｓｙ
とし、所定の閾値をβとしたとき、ＳｘとＳｙとの差Ｄ
が、以下の式（５）を満たすとき、操作者１３は適正な
距離にいると判断する。

【０１２０】Ｄ＝｜Ｓｘ−Ｓｙ｜＜β ・・・・・・・・・・・・・・・・（５）すなわち、上記式（５）において、Ｄが所定の閾値β以
下になった場合に適正な距離に操作者１３がいると判定
する。

【０１２１】また、操作者１３が適正な距離にいると判
定されても、位置が前後ではなく左右にずれている場
合、上記音声ガイダンスシステムでは、例えば、『右下
方向に顔を移動してください』等のメッセージを発声す
ることによって、操作者１３をガイドするようになって
いる。この場合には、上記式（４）を用いる手法によっ
て、操作者１３の顔１３ａの位置を適正な位置への移動
を実現することができる。以上の処理の流れは、図３の
ステップＳ４およびステップＳ５に対応している。

【０１２２】以上の位置情報表示システム及び音声ガイ
ダンスシステムにより、顔が適正な位置になった場合、
位置情報出力部７は、これを操作者１３に通知するため
の確認音を出力する。この処理は、図３のステップＳ４
およびステップＳ６に対応している。

【０１２３】操作者１３は確認音を聞いた後、例えば図
５（ｂ）に示すように、右側の手１３ｂを前方に伸ばし
て静止させる。手１３ｂが撮像範囲に入り、対象検出部
４によって、一定時刻の間、静止状態にあることが検出
されると、位置情報出力部７によって、確認音が発声さ
れる。このときの確認音は、顔１３ａが検出されたとき
の確認音とは異なる音色であり、操作者１３が聞き分け
られるものとする。

【０１２４】そして、操作者１３は確認音を聞いた後、
手１３ｂを上下左右のいずれかの方向に動かす。以上の
処理の流れは、図３のステップＳ６〜ステップＳ９に対
応している。

【０１２５】プレゼンテーションのスライド画面のペー
ジの送り、戻しの操作を行うシステムを考えた場合、手
の移動方向の認識は、左右の２方向のみで十分である。
このとき、手の操作方法を、操作者に分かりやすく提示
し、且つ操作の練習が行える、図９（ａ）〜（ｃ）に示
す操作ガイダンスシステムを上記位置情報出力部７で実
現するようになっている。

【０１２６】ここで、位置情報出力部７における操作ガ
イダンスシステムについて以下に説明する。

【０１２７】例えば、図９（ａ）〜（ｃ）に示す操作ガ
イダンスシステムでは、操作者１３が操作の練習を行い
たい場合には、ガイダンス用ウインドウ２４を、スクリ
ーン１２全体に大きく表示し、実際にプレゼンテーショ
ンを行う場合には、図７（ａ）（ｂ）と同じように、プ
レゼンテーションシステム・ウインドウ１２ａよりも小
さくスクリーン１２の隅に表示するようになっている。

【０１２８】上記ガイダンス用ウインドウ２４には、図
９（ａ）〜（ｃ）に示すように、３つの四角いボタン
と、メッセージが表示されている。

【０１２９】図９（ａ）の場合、フレーム２０におい
て、操作者１３が手１３ｂを上げていない状態を示し、
ガイダンス用ウインドウ２４上の３つのボタンは、いず
れも選択されていないことが示されている。そして、ガ
イダンス用ウインドウ２４には、『手の平をカメラに向
けてください』というメッセージが表示されている。

【０１３０】操作者１３はメッセージに従い、図９
（ｂ）のフレーム２０に表示されているように手１３ｂ
を挙げると、対象検出部４によって手１３ｂが検出さ
れ、ガイダンス用ウインドウ２４の真中のボタンの色
（黒色）が変化する。

【０１３１】そして、このボタンの色の変化と共に、ガ
イダンス用ウインドウ２４には、『ページを進ませたい
方へ（右／左）手を動かしてください』とメッセージが
表示される。ここで、操作者１３が右へ手１３ｂを平行
移動し、動き方向認識部５によって、所定の移動量が検
出されると、図９（ｃ）のガイダンス用ウインドウ２４
の右側のボタン（進む）の色が変化する。このとき、真
中のボタンの色は元に戻る。

【０１３２】このとき、コマンド出力部６によって、パ
ーソナルコンピュータ１の情報処理システムにページを
進めるためのコマンドが入力される。その後、ガイダン
ス用ウインドウ２４には、次のページ操作を行なうため
に、『手を下ろしてください』とメッセージが表示され
る。

【０１３３】また、所定の移動量が検出されずに手がフ
レーム画像から外れた場合は、図９（ａ）の状態に戻る
ものとする。

【０１３４】なお、上述のようなガイダンス用ウインド
ウ２４上でのボタンの表示状態の変化の代わりに、認識
された方向を示す矢印等によって、認識結果を通知する
ようにしてもよい。各メッセージは表示と同時に、音声
で出力されるものとしてもよい。操作に習熟した場合
は、メッセージを読む必要はなく、ボタンの色の変化の
みで操作状況が確認できるため、システムから離れた位
置にいても十分利用することができる。

【０１３５】以上の位置情報出力部７における３のシス
テムは、何れか一つを単独に用いてもよいし、何れか２
つを組み合わせ用いてもよく、さらに、全てのシステム
を同時に用いてもよい。

【０１３６】また、本実施の形態では、本発明のインタ
ーフェース装置をプレゼンテーションの操作を実行する
ために使用した例を挙げて説明しているが、これに限定
されるものではなく、ＷＥＢブラウザのページ切替え等
に利用することもできる。

【０１３７】また、本発明のインターフェース装置で
は、図１に示す対象検出部４による対象物検出処理、動
き方向認識部５により動き方向認識処理、コマンド出力
部６によるコマンド出力処理、位置情報出力部７による
位置情報通知処理は、コンピュータで実行可能なプログ
ラムで実現される。

【０１３８】このプログラムは、コンピュータで読み取
り可能な記録媒体に格納されている。例えば、図１０に
示すように、対象物検出処理プログラムのファイル１０
１、動き方向認識処理プログラムのファイル１０２、コ
マンド出力処理プログラムのファイル１０３、位置情報
通知処理プログラムのファイル１０４が格納された記録
媒体１００が考えられる。

【０１３９】ここで、上記記録媒体１００は、プログラ
ムメディアが本体と分離可能に構成される記録媒体であ
り、磁気テープやカセットテープ等のテープ系、フロッ
ピー（登録商標）ディスクやハードディスク等の磁気デ
ィスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディ
スクのディスク系、ＩＣカード（メモリカードを含む）
／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰ
ＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導
体メモリを含めた固定的にプログラムを担持する媒体で
あってもよい。

【０１４０】また、本発明においては、例えば情報処理
システムがインターネットを含む通信ネットワークと接
続可能なシステムであってもよく、この場合には、上記
インターフェース処理プログラムは、通信ネットワーク
からプログラムをダウンロードするように流動的にプロ
グラムを担持する媒体であってもよい。尚、このように
通信ネットワークからプログラムをダウンロードする場
合には、そのダウンロード用プログラムは予め本体装置
に格納しておくか、あるいは別な記録媒体からインスト
ールされるものであってもよい。

【０１４１】尚、記録媒体に格納されている内容として
はプログラムに限定されず、データであってもよい。

【０１４２】

【発明の効果】本発明のインターフェース装置は、以上
のように、情報処理システムにおける情報処理実行のた
めのコマンドの入力を行うインターフェース装置におい
て、動画像を撮像するための撮像装置と、上記撮像装置
により撮像された動画像から特定の対象物を検出する対
象物検出手段と、上記対象物検出手段により検出された
対象物の動き方向を認識する動き方向認識手段と、上記
動き方向認識手段により認識された動き方向に対応した
コマンドを上記情報処理システムに出力するコマンド出
力手段と、上記対象物検出手段により検出された対象物
の位置を検出すると共に、この検出結果を位置情報とし
て、上記情報処理システムを操作する操作者に通知する
位置情報通知手段とを備えている構成である。

【０１４３】それゆえ、撮像装置により撮像された動画
像から検出された対象物の動き方向に応じたコマンドに
基づいて情報処理システムにおける情報処理を実行する
ことで、キーボード、マウス、赤外線リモコン等の機器
を使用せずに、検出された対象物の動きにより情報処理
を実行することができる。

【０１４４】このように、検出された対象物の動きによ
り情報処理のコマンドを実行することにより、ディスプ
レイ上に表示された対象物の動きに連動したマウスポイ
ンタやカーソルを操作者は見なくても、パーソナルコン
ピュータ等の情報処理機器を操作することができる。

【０１４５】しかも、位置情報出力手段は、対象物の位
置を検出すると共に、この検出結果を対象物の位置情報
として、情報処理システムを操作する操作者に通知する
ことにより、操作者は、通知された位置情報から、情報
処理システムにおける情報処理のコマンドが実行可能な
位置、すなわち適正な位置に対象物がいるか否かを迅速
に判断することができる。

【０１４６】これにより、操作者は、対象物が適正な位
置にいるか否かにより次にしなければならないことを的
確に把握することができるので、インターフェース装置
を用いて情報処理機器を操作する場合の操作性の向上を
図ることができるという効果を奏する。

【０１４７】また、上記位置情報通知手段は、対象物が
適正な位置にいないことが検出された場合に対象物の適
正な位置への移動を促すためのガイダンス手段を備えて
いてもよい。

【０１４８】この場合、対象物が適正な位置にいない場
合に、ガイダンス手段により対象物を適正な位置に移動
させるように促され、操作者はその指示に従って対象物
を移動させればよいので、対象物を簡単に適正な位置に
移動させることができるという効果を奏する。

【０１４９】また、上記ガイダンス手段は、対象物が適
正な位置にあることを、ビープ音等の確認音を発声して
操作者に通知するようにしてもよい。

【０１５０】これにより、操作者は、ビープ音等の確認
音を聞くだけで対象物が適正な位置にあることを認識す
ることができるという効果を奏する。

【０１５１】さらに、上記ガイダンス手段は、対象物が
適正な位置にあることを、ボタンの色の変化等の視覚的
な変化によって操作者に通知するようにしてもよい。

【０１５２】これにより、操作者は、視覚的に変化する
ボタンを見るだけで対象物が適正な位置にあることを認
識することができるという効果を奏する。

【０１５３】また、上記ガイダンス手段は、対象物の位
置と大きさを表現するマークを、上記適正な位置を示す
マークとあわせて表示するようにしてもよい。

【０１５４】この場合、操作者は、表示された各マーク
を見るだけで、対象物が適正な位置にいるか否かを簡単
に認識することができるという効果を奏する。

【０１５５】さらに、上記ガイダンス手段は、対象物を
どの方向に移動させれば良いかを、音声メッセージによ
って指示するようにしてもよい。

【０１５６】この場合、操作者は、音声メッセージを聞
くだけで、対象物をどの方向に移動させれば良いかを認
識できるので、対象物を適正な位置に迅速に移動させる
ことができるという効果を奏する。

【０１５７】また、上記動き方向認識手段は、検出され
た対象物の動き方向の認識結果を、操作者に通知する通
知手段を備えるようにしてもよい。

【０１５８】この場合、操作者は、通知手段によって通
知された対象物の動き方向の認識結果から、該対象物の
動き方向の認識の適否を簡単に知ることができるという
効果を奏する。

【０１５９】また、上記通知手段は、対象物の動き方向
の認識の成否を、動き方向の表示によって、操作者に通
知するようにしてもよい。

【０１６０】この場合、操作者は、通知手段により、対
象物の動き方向の認識の成否を、動き方向の表示によっ
て通知されていることで、視覚的に対象物の動き方向の
認識の成否を確認することができるという効果を奏す
る。

【０１６１】また、上記通知手段は、対象物の動き方向
の認識を成功した場合と失敗した場合とで異なる確認音
によって、操作者に通知するようにしてもよい。

【０１６２】この場合、操作者は、通知手段により、対
象物の動き方向の認識を成功した場合と失敗した場合と
で異なる確認音によって知らされるので、確認音を聞く
だけで、対象物の動き方向の認識の成否を確認すること
ができるという効果を奏する。

【０１６３】以上のようなインターフェース装置におい
て、上記撮像装置により撮像される動画像には、人間の
頭部を含む、少なくとも胸部より上の身体が含まれ、上
記対象物検出手段により検出される対象物は人間の手で
あってもよい。

【０１６４】この場合、情報処理システムのコマンドに
対応する対象物の動き方向が、人間の手の動き方向とな
るので、人間（操作者）は手を動かすだけで、該コマン
ドを実行することができるという効果を奏する。

【０１６５】また、上記対象物検出手段は、動画像中の
肌色領域を検出することで、人間の手を検出するように
してもよい。

【０１６６】さらに、上記対象物検出手段は、動画像中
の特定のフレーム画像において、人間の顔が所定の位置
に存在することを検出し、この検出結果に基づいて該特
定のフレーム画像に手が存在しているか否かを検出する
ようにしてもよい。

【０１６７】また、インターフェース装置における処理
としては、以下の処理を含み、この処理を含むプログラ
ムはコンピュータで実行可能となっている。

【０１６８】すなわち、インターフェース処理プログラ
ムを記録している記録媒体は、撮像装置により撮像され
た動画像から特定の対象物を検出する処理と、検出され
た対象物の動き方向を認識する処理と、認識された動き
方向に対応したコマンドを情報処理システムに出力する
処理と、検出された対象物の位置を検出すると共に、こ
の検出結果を位置情報として、上記情報処理システムを
操作する操作者に通知する処理とを記録している。

【０１６９】これにより、コンピュータにより簡単に、
上述したような各種のインターフェース処理を実行する
ことができるという効果を奏する。

【図面の簡単な説明】

【図１】本発明のインターフェース装置を示す概略構成
ブロック図である。

【図２】図１に示すインターフェース装置をプレゼンテ
ーションシステムに適用した場合の説明図である。

【図３】図１に示すインターフェース装置におけるイン
ターフェース処理の流れを示すフローチャートである。

【図４】入力フレーム画像の一例を示す説明図である。

【図５】（ａ）〜（ｃ）は、検出領域の追跡処理の流れ
を示す説明図である。

【図６】（ａ）はフレーム画像において操作者の顔が適
正な位置にない状態を示し、（ｂ）はフレーム画像にお
いて操作者の顔が適正な位置にある状態を示す説明図で
ある。

【図７】（ａ）（ｂ）は位置情報表示システムを示す説
明図である。

【図８】（ａ）〜（ｆ）は位置情報表示システムにおけ
る処理の流れを示す説明図である。

【図９】（ａ）〜（ｃ）は操作ガイダンスシステムを示
す説明図である。

【図１０】本発明のインターフェース処理プログラムを
記録した記録媒体の一例を示す説明図である。

【符号の説明】

１パーソナルコンピュータ（情報処理システム）２カメラ（撮像装置）４対象検出部（対象物検出手段）５動き方向認識部（動き方向認識手段、通知手段）６コマンド出力部（コマンド出力手段）７位置情報出力部（位置情報通知手段、ガイダンス
手段）１１プロジェクタ１２スクリーン（ディスプレイ）１３操作者１３ａ顔１３ｂ手（対象物）

───────────────────────────────────────────────────── フロントページの続き (72)発明者石崎綾子大阪府大阪市阿倍野区長池町22番22号シャープ株式会社内Ｆターム(参考） 5B087 AA09 BC06 BC32 CC33 DD03 5E501 AA02 AC14 BA05 CA02 CB14 CC07 EA02 FA14 FA32 FA45 FB02 FB03 FB22

Claims

【特許請求の範囲】

【請求項１】情報処理システムにおける情報処理実行の
ためのコマンドの入力を行うインターフェース装置にお
いて、動画像を撮像するための撮像装置と、上記撮像装置により撮像された動画像から特定の対象物
を検出する対象物検出手段と、上記対象物検出手段により検出された対象物の動き方向
を認識する動き方向認識手段と、上記動き方向認識手段により認識された動き方向に対応
したコマンドを上記情報処理システムに出力するコマン
ド出力手段と、上記対象物検出手段により検出された対象物の位置を検
出すると共に、この検出結果を位置情報として、上記情
報処理システムを操作する操作者に通知する位置情報通
知手段とを備えていることを特徴とするインターフェー
ス装置。
【請求項２】上記位置情報通知手段は、対象物が適正な
位置にいないことが検出された場合に対象物の適正な位
置への移動を促すためのガイダンス手段を備えているこ
とを特徴とする請求項１記載のインターフェース装置。
【請求項３】上記ガイダンス手段は、対象物が適正な位
置にあることを、ビープ音等の確認音を発声して操作者
に通知することを特徴とする請求項２記載のインターフ
ェース装置。
【請求項４】上記ガイダンス手段は、対象物が適正な位
置にあることを、ボタンの色の変化等の視覚的な変化に
よって操作者に通知することを特徴とする請求項２また
は３記載のインターフェース装置。
【請求項５】上記ガイダンス手段は、対象物の位置と大
きさを表現するマークと、上記適正な位置を示すマーク
とを表示することを特徴とする請求項２ないし４の何れ
かに記載のインターフェース装置。
【請求項６】上記ガイダンス手段は、対象物をどの方向
に移動させれば良いかを、音声メッセージによって指示
することを特徴とする請求項２ないし５の何れかに記載
のインターフェース装置。
【請求項７】上記動き方向認識手段は、検出された対象
物の動き方向の認識結果を、操作者に通知する通知手段
を備えていることを特徴とする請求項１ないし６の何れ
かに記載のインターフェース装置。
【請求項８】上記通知手段は、対象物の動き方向の認識
の成否を、動き方向の表示によって、操作者に通知する
ことを特徴とする請求項７記載のインターフェース装
置。
【請求項９】上記通知手段は、対象物の動き方向の認識
を成功した場合と失敗した場合とで異なる確認音によっ
て、操作者に通知することを特徴とする請求項７または
８記載のインターフェース装置。
【請求項１０】上記撮像装置により撮像される動画像に
は、人間の頭部を含む、少なくとも胸部より上の身体が
含まれ、上記対象物検出手段により検出される対象物は
人間の手であることを特徴とする請求項１ないし９の何
れかに記載のインターフェース装置。
【請求項１１】上記対象物検出手段は、動画像中の肌色
領域を検出することで、人間の手を検出することを特徴
とする請求項１０記載のインターフェース装置。
【請求項１２】上記対象物検出手段は、動画像中の特定
のフレーム画像において、人間の顔が所定の位置に存在
することを検出し、この検出結果に基づいて該特定のフ
レーム画像に手が存在しているか否かを検出することを
特徴とする請求項１０記載のインターフェース装置。
【請求項１３】撮像装置により撮像された動画像から特
定の対象物を検出する処理と、検出された対象物の動き方向を認識する処理と、認識された動き方向に対応したコマンドを情報処理シス
テムに出力する処理と、検出された対象物の位置を検出すると共に、この検出結
果を位置情報として、上記情報処理システムを操作する
操作者に通知する処理とをコンピュータに実行させるた
めのインターフェース処理プログラムを記録しているこ
とを特徴とするコンピュータが読み取り可能な記録媒
体。