JP2012058854A - ジェスチャ認識装置及び方法 - Google Patents

Abstract

【課題】指を用いる場合でもまた腕を用いる場合でもその動きによるジェスチャを的確に認識できるようにする。
【解決手段】カメラ４から取り込んだ画像フレームからジェスチャにより描画された図形の輝点位置座標を検出し、この輝点位置座標が画像フレーム中の第１のエリアＥａと第２のエリアＥｃのいずれに含まれるかを判定する。そして、輝点位置座標が第１のエリアＥａに含まれる場合にはフィンガジェスチャモードを設定し、第２のエリアＥｃに含まれる場合にはカメラトラッキングモードを設定する。フィンガジェスチャモードでは、画像データをもとにフィンガジェスチャによる図形を認識する。一方、カメラトラッキングモードでは、パン・チルト駆動ユニット５によりカメラ４のパン・チルト角を制御してカメラ４の撮像方向をユーザの腕の動きに追従させ、この追従軌跡をもとに図形を認識する。
【選択図】図２

Description

この発明は、例えばテレビジョン受信機や録画再生装置において、離れた場所からチャネル情報や制御情報等を入力するために用いる、指又は腕の動きによるジェスチャを認識するジェスチャ認識装置に関する。

ディスプレイ装置の画面に表示された情報に対しポインティングするための代表的な技術としては、マウスやタブレットペン等のポインティングデバイスを用いるものが知られている。また、その他のポインティング技術として、リモートコントローラ（リモコン端末）を用いて遠隔的にポインティングを行うものや、ユーザのジェスチャを認識してポインティングを行うものも知られている。

リモコン端末を用いた技術は、例えばリモコン端末に設けられた十字キー等のカーソルキーをユーザが指で操作して、その操作データを赤外線又は無線を介してディスプレイ装置へ送信し、ディスプレイ装置が上記操作データを受信することでポインティングを行うものとなっている。

一方、ユーザのジェスチャを認識する技術は、例えばユーザの動きをカメラを用いて撮像し、この撮像された画像データからユーザの特定の身体部位の動作軌跡をパターン認識処理により認識して、この認識結果をもとにポインティングを行うものとなっている（例えば、特許文献１を参照）。

特開２００４−２７２５９８号公報

ところで、ジェスチャにより空間に図形を描く場合、腕を固定した状態で手首を動かす場合、つまり指の動きを用いる場合と、腕の動きを用いる場合が想定される。しかし、指を用いる場合と腕を用いる場合を併用すると、その両方の動きをカメラにより同じ条件で認識することは難しい。なぜなら、ユーザの手首付近にカメラの焦点を当てて指の動きを拡大して撮像しようとすると、カメラの撮像視野角が狭くなるため腕の動きによるジェスチャが撮像視野を外れてしまい認識できなくなる。一方、腕の動きによるジェスチャを認識するために倍率を下げてカメラの撮像視野を広角に設定すると、指の動きによるジェスチャを認識しにくくなり、ジェスチャにより描かれる図形の軌跡を高精度に認識することが困難となるからである。
この発明は上記事情に着目してなされたもので、その目的とするところは、指を用いる場合でもまた腕を用いる場合でもその動きによるジェスチャを的確に認識できるようにしたジェスチャ認識装置を提供することにある。

上記目的を達成するためにこの発明の一観点は、ユーザがジェスチャにより空間に図形を描く動きを撮像してその画像データを出力する撮像装置と、上記撮像装置から出力された画像データをもとに上記ジェスチャにより描かれた図形を認識するジェスチャ認識装置とを具備するシステムで使用される上記ジェスチャ認識装置にあって、
上記撮像装置から取り込んだ画像データから図形の描画点を検出し、この検出された図形の描画点が当該画像データ中の予め設定された第１のエリアに含まれるか或いは当該第１のエリアの周辺に設定した第２のエリアに含まれるかを判定する。そして、描画点が第１のエリアに含まれると判定された場合に、指の動きを用いたジェスチャを認識する第１の認識モードを設定し、第２のエリアに含まれると判定された場合には、腕の動きを用いたジェスチャを認識する第２の認識モードを設定する。上記第１の認識モードが設定された状態では、上記取り込まれた画像データをもとに上記指の動きを用いたジェスチャにより描画される図形を認識する。これに対し上記第２の認識モードが設定された状態では、上記検出された図形の描画点の位置に応じて上記撮像装置のパン・チルト角を制御することにより撮像方向を上記腕の動きに追従させ、このときの撮像方向の追従軌跡を検出してその検出結果をもとに上記腕の動きを用いたジェスチャにより描画される図形を認識するようにしたものである。

すなわち、ユーザが指の動きを用いてジェスチャを行ったか或いは腕の動きを用いてジェスチャを行ったかが自動的に判定される。そして、指の動きを用いた場合には画像データから描画図形が認識される。一方、腕の動きを用いた場合には、画像データから検出された図形の描画点の位置に応じて撮像装置のパン・チルト角が制御され、これにより撮像方向が上記腕の動きに追従する。そして、このときの撮像方向の追従軌跡から上記腕の動きによる描画図形が認識される。
したがって、ユーザが指の動きを用いた場合でもまた腕の動きを用いた場合でも、これらの動きによるジェスチャを適切に認識することが可能となる。

また、この発明の一観点は以下のような各種態様を備えることを特徴とする。
第１の態様は、第１の認識処理を行う際に、取り込まれた画像データから、指に装着された光学的マーカの描画軌跡を検出し、この検出された光学的マーカの描画軌跡のパターンを予め用意された複数の基本図形パターンと比較して、その比較結果をもとに指の動きを用いたジェスチャにより描画される図形を認識するものである。
このようにすると、光学的マーカの位置を画像データ中から輝点として検出することができ、これにより指の動きにより描かれた図形を正確に認識することができる。

第２の態様は、第２の認識処理を行う際に、一定の時間間隔で撮像装置のパン・チルト角をもとに撮像方向を表す座標値を検出して、この検出された座標値の集合を撮像方向の追従軌跡として記憶する。そして、この記憶された撮像方向の追従軌跡のパターンを予め用意された複数の基本図形パターンと比較し、その比較結果をもとに腕の動きを用いたジェスチャにより描画される図形を認識するものである。
このようにすると、カメラの撮像方向を表す座標値の集合が撮像方向の追従軌跡を表す情報として記憶される。このため、この記憶された情報を用いることで、追従軌跡を検出するための画像処理等をまったく行うことなく、腕の動きを用いたジェスチャを容易に認識することができる。

第３の態様は、認識モードを判定する際に、第１のエリアと第２のエリアとの間に第３のエリアを設定して、検出された図形の描画点が第１、第２或いは第３の各エリアのうちの何れに含まれるかを判定する。そして、描画点が第１のエリアに含まれると判定された場合には認識モードを第１の認識モードに変更し、描画点が第２のエリアに含まれると判定された場合には認識モードを第２の認識モードに変更し、描画点が第３のエリアに含まれると判定された場合には設定中の認識モードを維持するようにしたものである。
このようにすると、描画点が第１のエリアと第２のエリアの境界付近にある場合に、認識モードが第１の認識モードと第２の認識モードとの間で頻繁に切り替わり、この結果認識処理動作が不安定になる不具合を防止することが可能となる。すなわち、認識モードの切換動作にチャタリング現象が発生しないようにすることができる。

すなわちこの発明によれば、指を用いる場合でもまた腕を用いる場合でもその動きによるジェスチャを的確に認識できるようにしたジェスチャ認識装置を提供することができる。

この発明の一実施形態に係わるジェスチャ認識装置のシステム構成を示す概略構成図。 図１にジェスチャ認識装置として示したテレビジョン受信機の機能構成を示すブロック図。 図２に示したテレビジョン受信機の全体の処理手順と処理内容を示すフローチャート。 図３に示した全体の処理手順のうちカメラ撮像動作の処理手順と処理内容を示すフローチャート。 図３に示した全体の処理手順のうちパン・チルト動作の処理手順と処理内容を示すフローチャート。 図３に示した全体の処理手順のうちモード切換処理の手順と処理内容を示すフローチャート。 図３に示した全体の処理手順のうちジェスチャ認識処理の手順と処理内容を示すフローチャート。 図３に示した全体の処理手順のうち表示画像制御処理の手順と処理内容を示すフローチャート。 図６に示したモード切換処理を説明するための図。 図６に示したモード切換処理を説明するための図。 図５に示したパン・チルト動作を説明するための図。 図７に示したジェスチャ認識処理において、図形の始点と終点の一致を検出するための第１の方法を説明するための図。 図７に示したジェスチャ認識処理において、図形の始点と終点の一致を検出するための第２の方法を説明するための図。 図７に示したジェスチャ認識処理において、方向キー検出処理を説明するための図。

以下、図面を参照してこの発明に係わる実施形態を説明する。
［構成］
図１は、この発明の一実施形態に係わるジェスチャ認識を用いた情報入力システムの概略構成図である。このシステムは、テレビジョン受信機２に撮像装置を付設している。撮像装置は、カメラ４と、パン・チルト駆動ユニット５とから構成される。カメラ４は、ユーザ１の指又は腕の動きを用いたジェスチャを撮像し、その撮像画像データをテレビジョン受信機２へ出力する。パン・チルト駆動ユニット５は、テレビジョン受信機２から出力されるパン・チルト制御信号に従い、上記カメラ４のパン・チルト角を可変する。なお、ユーザ１の指先には例えばＬＥＤ（Light Emitting Diode）を用いた発光マーカ６が装着される。

テレビジョン受信機２は、ジェスチャ認識装置としての機能を備えたもので、以下のように構成される。図２は、このテレビジョン受信機２の構成を上記カメラ４及びパン・チルト駆動ユニット５の構成と共に示すブロック図である。

カメラ４は、カメラ撮像処理部４１と、画像送信部４２を備えている。カメラ撮像処理部４１は、後述するリアルタイムイベント発行ユニット５０からトリガ信号が発生されるごとにユーザのジェスチャを撮像する処理を行う。画像送信部４２は、上記撮像処理により得られた画像データを後述するデータベース２０内の画像情報蓄積部２１に記憶させる処理を行う。

パン・チルト駆動ユニット５は、パン・チルト駆動部５１と、パン・チルト角度検出部５２と、パン・チルト角度送信部５３を備えている。パン・チルト駆動部５１は、２軸の駆動系を有し、後述するジェスチャ認識ユニット３０のカメラトラッキング制御部３３から出力されるパン・チルト制御信号に従い、上記カメラ４のパン・チルト角を可変する。パン・チルト角度検出部５２は、例えば上記パン・チルト駆動部５１に取着されたセンサを用いて、上記カメラ４のパン・チルト角を検出する。パン・チルト角度送信部５３は、上記パン・チルト角度検出部５２により得られたパン・チルト角の検出データをデータベース２０内のパン・チルト情報蓄積部２５に記憶させる。

テレビジョン受信機２は、ジェスチャ認識を行うために必要な機能として、データベース２０と、ジェスチャ認識ユニット３０と、表示画像制御ユニット４０と、リアルタイムイベント発行ユニット５０を備えている。

データベース２０は、画像情報蓄積部２１と、ジェスチャコマンド変換テーブル部２２と、表示画像データ蓄積部２３と、図形パターン記憶部２４と、パン・チルト情報蓄積部２５を備えている。

画像情報蓄積部２１は、上記カメラ４の画像送信部４２から出力された画像データを記憶するために用いられる。ジェスチャコマンド変換テーブル部２２には、認識対象の複数の入力コマンドに対応付けて、当該入力コマンドを意味する図形パターンの種類とその終始点を表す情報が予め記憶されている。表示画像データ蓄積部２３には、上記入力コマンドが意味する表示処理内容に応じた画像を表示するために必要な様々な表示画像データが記憶される。図形パターン記憶部２４には、認識対象となる複数の図形形状の基本パターンが記憶される。パン・チルト情報蓄積部２５は、上記パン・チルト駆動ユニット５のパン・チルト角度送信部５３から送信されたパン・チルト角の検出データを記憶するために用いられる。

ジェスチャ認識ユニット３０は、モード切換部３１と、フィンガジェスチャ認識部３２と、カメラトラッキング制御部３３と、カメラトラッキングジェスチャ認識部３４を備えている。

モード切換部３１は、以下の処理機能を有する。
(1) 上記画像情報蓄積部２１に新たな画像データ（画像フレーム）が蓄積されるごとに、当該画像フレームを読み出して当該画像フレームから図形の描画点を検出する。そして、この検出された図形の描画点が、当該画像フレーム中の中央部を含む範囲に設定された第１のエリアに含まれるか、この第１のエリアの周辺部に設定した第２のエリアに含まれるか、或いは上記第１のエリアと第２のエリアとの間に設定した第３のエリアに含まれるかを判定する処理。

(2) 上記図形の描画点が第１のエリアに含まれると判定された場合に、指の動きを用いたジェスチャを認識する第１の認識モードを設定し、上記描画点が第２のエリアに含まれると判定された場合に、腕の動きを用いたジェスチャを認識する第２の認識モードを設定する。また、上記描画点が第３のエリアに含まれると判定された場合には、設定中の認識モードを維持する処理。

フィンガジェスチャ認識部３２は、以下の処理機能を有する。
(1) 上記モード切換部３１により第１の認識モードが設定された場合に、上記画像情報蓄積部２１に蓄積された最新の画像フレームをもとに、指の動きを用いたジェスチャにより描画される図形の軌跡とその終始点を検出する処理。
(2) データベース２０の図形パターン記憶部２４に記憶された認識対象となる複数の図形形状の基本パターンを参照し、上記検出された図形がどの基本パターンに該当するかをパターンマッチングを用いて判定する処理。
(3)上記判定された図形パターンの種類と、その終始点の位置を表す情報をもとに、上記ジェスチャコマンド変換テーブル部２２から該当する入力コマンドを読み出す処理。

カメラトラッキング制御部３３は、上記画像フレーム中の描画点の位置に応じて上記パン・チルト駆動ユニット５を制御することによりカメラ４のパン・チルト角を変化させ、これによりカメラ４の撮像方向をユーザの腕の動きに追従させる処理を行う。

カメラトラッキングジェスチャ認識部３４は、以下の処理機能を有する。
(1) データベース２０のパン・チルト情報蓄積部２５からカメラ４のパン・チルト角の検出データの集合を読み出し、この読み出されたパン・チルト角の検出データを座標値に変換することによりカメラ４の撮像方向の追従軌跡とその終始点を検出する処理。
(2) 上記検出された撮像方向の追従軌跡を、ユーザの腕の動きによるジェスチャにより描画された図形と見なし、この図形が、データベース２０の図形パターン記憶部２４に記憶された複数の基本図形パターンのどれに該当するかをパターンマッチングを用いて判定する処理。
(3) 上記判定された図形パターンの種類と、上記検出された終始点の位置を表す情報をもとに、上記ジェスチャコマンド変換テーブル部２２から該当する入力コマンドを読み出す処理。

表示画像制御ユニット４０は、上記フィンガジェスチャ認識部３２及びカメラトラッキングジェスチャ認識部３４により生成された入力コマンドをもとに、表示画像データを更新する。そして、この更新された表示画像データを図示しないディスプレイに出力して表示させる処理を行う。

リアルタイムイベント発行ユニット５０は、例えばタイマを使用して、上記カメラ４等を予め決められた周期で動作させるためのトリガ信号を生成する。

なお、上記ジェスチャ認識ユニット３０、表示画像制御ユニット４０及びリアルタイムイベント発行ユニット５０の各機能は、データベース２０内の図示しないプログラムメモリに格納されたアプリケーション・プログラムを中央処理ユニット（ＣＰＵ）に実行させることにより実現される。

［動作］
次に、以上のように構成されたテレビジョン受信機２による、ジェスチャを用いた入力情報の認識動作を説明する。
図３は、その全体の処理手順と処理内容を示すフローチャートである。なお、ここではテレビジョン受信機２のディスプレイに電子番組案内（Electronic Program Guide：ＥＰＧ）情報を表示させ、このＥＰＧ情報に対しリモコン装置１から番組の選択操作を行う場合を例にとって説明する。

（１）カメラによるジェスチャの撮像
リアルタイムイベント発行ユニット５０では、ステップＳ１により周期的にトリガ信号を発生している。具体的には、ステップＳ１１によりタイマをリセットして計時動作を開始させ、ステップＳ１２によりこのタイマの計時値Timer が１msecに達したか否かを判定する。そして、タイマの計時値Timer が１msecするごとに、ステップＳ１３によりタイマの計時値Timer をリセットして計時動作を開始させると共にトリガ信号を発生する。

上記リアルタイムイベント発行ユニット５０からトリガ信号が発生されると、ステップＳ２においてカメラ４が起動し以下のように撮像処理が行われる。図４はその処理手順と処理内容を示すフローチャートである。すなわち、ステップＳ２１によりカメラ撮影処理部４１が撮像処理を行い、この撮像処理により得られた画像フレームをステップＳ２２により画像送信部４２がテレビジョン受信機２へ出力する。テレビジョン受信機２は、上記カメラ４から出力された画像フレームを図示しないカメラインタフェースで受信すると、この受信された画像フレームをステップＳ３によりデータベース２０内の画像情報蓄積部２１に記憶させる。

また上記トリガ信号が発生されると、ステップＳ４によりパン・チルト駆動ユニット５が動作し、カメラ４のパン・チルト角を予め設定された初期位置に設定する。このとき初期位置は、ユーザが指の動きによりジェスチャを行う場合の手首の位置にフォーカスが当たるように設定される。また、ズーム倍率は指の動きによるジェスチャを必要十分なサイズで撮像可能な倍率に設定される。したがって、上記画像情報蓄積部２１には、ユーザの手首の位置を中心にユーザのジェスチャを撮像した最初の画像フレームが記憶される。

（２）モード切換処理
さて、上記画像情報蓄積部２１に最初の画像フレームが記憶されると、ステップＳ６においてジェスチャ認識ユニット３０のモード切換部３１によりジェスチャ認識モードの切換処理が以下のように行われる。図６はその処理手順と処理内容を示すフローチャートである。

すなわち、モード切換部３１は、先ずステップＳ６１により画像情報蓄積部２１から最新の画像フレームを読み出し、ステップＳ６２において上記読み出された最新の画像フレームから指の位置座標を検出する。このとき、ユーザは図１に示したように指に発光マーカ６を付けているため、上記指の位置は画像フレーム中において輝点として検出される。次にモード切換部３１は、ステップＳ６３において上記輝点位置座標が画像フレーム内のどのエリアに存在するかを判定する。具体的には、図９に示すように画像フレーム内の中央部に第１のエリアＥａを設定すると共に、画像フレームの最外周部に第２のエリアＥｃ設定し、これら第１及び第２のエリアＥａ，Ｅｃ間に第３のエリアＥｂを設定する。そして、上記輝点位置座標が上記第１、第２及び第３のエリアＥａ，Ｅｃ，Ｅｂのうちの何れに存在するかを判定する。

上記判定の結果、輝点位置座標が第１のエリアＥａに存在していたとする。この場合モード切換部３１は、ステップＳ６４に移行して認識モードをフィンガジェスチャモード（第１の認識モード）に設定する。これに対し、上記輝点位置座標が第２のエリアＥｂに存在していたとすると、モード切換部３１はステップＳ６６に移行してここで認識モードをカメラトラッキングモード（第２の認識モード）に設定する。なお、上記輝点位置座標が第３のエリアＥｃに存在していた場合には、現在設定中の第１又は第２の認識モードをステップＳ６８において維持する。

以上のモード切換処理は、カメラ４により１msec 周期で新たな画像フレームが得られるごとに実行される。したがって、いま例えばユーザが指の動きによるジェスチャを行っているものとすると、ユーザの指の位置を表す輝点位置座標は第１のエリアＥａ内に存在し続けるため、認識モードはフィンガジェスチャモードに保持される。

（３）フィンガジェスチャモードによるジェスチャ認識処理
フィンガジェスチャモードが設定されている状態では、カメラ４により１msec 周期でユーザの指の動きを用いたジェスチャが撮像されるごとに、その画像フレームが画像情報蓄積部２１に順次蓄積される。フィンガジェスチャ認識部３２は、上記画像情報蓄積部２１に新たな画像フレームが記憶されるごとに、以下のようにジェスチャ認識処理を行う。図７はその処理手順と処理内容を示すフローチャートである。

すなわち、フィンガジェスチャ認識部３２は、先ずステップＳ７１において終始点一致検出処理を実行する。すなわち、終始点一致検出部３１が、画像蓄積部２１から画像フレームを読み出し、この読み出した画像フレームから、ユーザが指の動きによるジェスチャにより空間上に描画した図形の終始点、つまり座標値が一致する２つの点を検出する。

このとき、終始点の検出手法には例えば次の２つの手法が考えられる。第１の検出手法は、図１２（ａ）〜（ｃ）に示すように、ユーザが空間上で指の発光マーカ６を点灯させた点Ａから指を移動させて図形Ｂを描き、指の位置が上記点Ａに戻ったとき、この点Ａを終始点として検出するものである。第２の検出手法は、図１３（ａ）〜（ｃ）に示すようにユーザが空間上で指を動かして図形を描いた場合に、発光マーカ６の輝点の移動軌跡を追跡して当該移動軌跡が交差する点を終始点Ａとして検出するものである。

ジェスチャ認識ユニット３０は、上記終始点Ａが検出されると、ユーザが空間上で描画した図形は番組選択操作を表す図形としての条件を満たすと判断し、ステップＳ７２における図形追跡処理に移行する。これに対し、例えば一定時間が経過しても終始点Ａが検出されなかった場合には、上記描画された図形は選択操作の条件を満たさないと判断し、そのままジェスチャ認識処理を終了する。なお、ジェスチャ認識処理を終了した場合ジェスチャ認識ユニット３０は、画像蓄積部２１に記憶された上記判定対象の画像フレームの集合を消去する。

ジェスチャ認識ユニット３０は、次にステップＳ７２において図形追跡処理を以下のように実行する。すなわち、上記終始点一致検出処理（ステップＳ７１）により検出された終始点Ａを構成する終点から始点までの輝点位置座標を読み出し、この読み出した輝点位置座標をもとに図形の描画軌跡を追跡する処理を行う。

上記図形データの描画軌跡が検出されると、ジェスチャ認識ユニット３０は続いてステップＳ７３において図形判断処理を実行する。すなわち、データベース２０の図形パターン記憶部２４から複数の基本図形パターンを順次読み出し、この読み出された基本図形パターンと上記図形追跡処理（ステップＳ７２）により検出された図形の描画軌跡のパターンとをパターンマッチング処理により比較し、その類似度を検出する。そして、この検出された類似度がしきい値以上であって、かつ最も大きいものを選択する。そして、この選択された基本図形パターンを、上記指の動きにより空間上に描かれた図形の形状の種類として認識する。

ジェスチャ認識ユニット３０は、次にステップＳ７４に移行して以下のように図形位置判断処理を実行する。すなわち、先ず上記終始点一致検出処理（ステップＳ７１）により検出された終始点Ａを中心に、描画空間の上下左右各方向に４つの方向領域を設定する。そして、上記図形追跡処理（ステップＳ７２）により検出された図形の描画軌跡の位置座標が上記４つの方向領域のいずれに含まれるかを判定する。この判定処理は、例えば描かれた図形の重心を求め、この重心と終始点Ａが結ぶ直線の方向に図形の描画位置が存在するものと見なして、この直線の方向がいずれの方向領域の角度に含まれるかを判定することにより可能である。

上記図形の描画位置が判定されると、ジェスチャ認識ユニット３０は続いてステップＳ７５において方向キー検出処理を実行し、上記図形位置判断処理（ステップＳ７４）により判定された図形の描画位置を上下左右の４つの方向のいずれかに対応付けする。そして、この対応付けられた方向キーに対応する入力コマンドを生成する。

例えば、図１４（ａ）に示すように図形の描画位置が終始点Ａに対し左方向に位置する場合には左方向キーを示す入力コマンドが生成され、反対に右方向に位置する場合には右方向キーを示す入力コマンドが生成される。同様に、図形の描画位置が終始点Ａに対し上方向に位置する場合には上方向キーを示す入力コマンドが生成され、反対に下方向に位置する場合には下方向キーを示す入力コマンドが生成される。なお、上記指の動きによるジェスチャにより空間上に描画された図形の向きは、カメラ４で撮像すると左右が反転する。このため、この画像データから得られる方向キーの判定結果は左右方向を反転させる必要がある。

なお、先に述べた図形位置判断処理（ステップＳ７４）では、図形の描画位置が４方向のいずれに含まれるかを判定する場合について例示した。しかし、それに限らず上下左右斜め方向の８つの方向領域を設定し、検出された図形の描画位置が上記８つの方向領域のいずれに含まれるかを判定するようにしてもよい。

また、以上述べたフィンガジェスチャモードは、画像フレームから検出されるユーザの指の位置を表す輝点位置座標が、図９に示した第１のエリアＥａから第３のエリアＥｂに移動したとしてもそのまま維持される。したがって、輝点位置座標、つまりユーザの指の位置が第１のエリアＥａから第３のエリアＥｃ方向へ一時的に変化しても、認識モードが即時フィンガジェスチャモードから後述するカメラトラッキングモードに変化することはなく、これによりフィンガジェスチャモードによる認識処理は安定に行われる。

（４）カメラトラッキングモードによるジェスチャ認識処理
一方、ユーザが指の動きによるジェスチャを止めて、腕の動きによるジェスチャを行ったとする。そうすると、例えば図１０に示すようにユーザの指の位置を表す輝点位置座標Ｍｃが第２のエリアＥｃに入ったことが検出された時点で、ステップＳ６６において認識モードがカメラトラッキングモードに設定される。カメラトラッキングモードが設定されると、ステップＳ６７においてカメラトラッキング制御部３３が起動し、以後このカメラトラッキング制御部３３の制御の下で、ユーザの腕の動きに対しカメラ４の撮像方向を追従させる、いわゆるカメラトラッキング制御が実行される。

すなわち、カメラトラッキング制御部３３は、上記検出された輝点位置座標Ｍｃと第１のエリアＥａの中心座標Ｏとを結ぶ線分上で第３のエリアＥｂを通過する点Ｍｂをターゲット位置座標として算出する。そして、この算出されたターゲット位置座標Ｍｂにカメラ４の撮像方向の中心（焦点）を設定するために必要なカメラ４のパン・チルト制御量を算出し、この制御量に対応するパン・チルト制御信号を生成してパン・チルト駆動ユニット５に与える。

この結果、パン・チルト駆動ユニット５では、図５に示すように先ずステップＳ４１においてパン・チルト駆動部５１が動作し、上記パン・チルト制御信号に従いカメラ４のパン・チルト角を可変する。これによりカメラ４の撮像方向がユーザの指に付けた発光マーカ６の位置に近づくように制御される。

図１１はこのパン・チルト制御動作を説明するためのもので、パン・チルト駆動ユニット５によりカメラ４を矢印ａ方向に回動させることによりカメラ４のパン角θを制御し、またパン・チルト駆動ユニット５によりカメラ４を矢印ｂ方向に回動させることによりカメラ４のチルト角φを制御する。

以後、カメラトラッキングモードが設定されている状態が維持されている限り、カメラトラッキング制御部３３の制御の下で、各画像フレーム中における発光マーカ６の輝点位置座標Ｍａをもとにターゲット位置座標Ｍｂが算出され、このターゲット位置座標Ｍｂに基づいてカメラ４のパン・チルト角θ，φが制御される。かくして、カメラ４の撮像方向はユーザの腕の動きに追従する。

上記カメラトラッキングモードが設定されている状態で、カメラトラッキングジェスチャ認識部３４はステップＳ８においてユーザの腕の動きによるジェスチャを認識する処理を以下のように実行する。
すなわち、先ずカメラトラッキングモードが最初に設定された時点で、データベース２０内のパン・チルト情報蓄積部２５に記憶されているパン・チルト角の検出データを消去する。この結果、以後パン・チルト情報蓄積部２５には、図５のステップＳ４２，Ｓ４３によりパン・チルト駆動ユニット５０のパン・チルト角度取得部５２により検出され、かつパン・チルト角度送信部５３により送信されたパン・チルト角の検出データが順次記憶される。

次にカメラトラッキングジェスチャ認識部３４は、上記パン・チルト情報蓄積部２５からカメラ４のパン・チルト角の検出データを読み出し、この読み出されたパン・チルト角の検出データを座標値に変換して、この変換されたパン・チルト座標をもとに、ユーザの腕の動きを用いたジェスチャにより空間上に描画された図形の種類とその終始点を検出する処理を行う。このときの図形の種類とその終始点の検出処理も、検出処理対象のデータが輝点位置座標から上記パン・チルト座標に代わるだけで、先に述べたフィンガジェスチャ認識処理と同様に図７に示した処理手順に従い行われる。

なお、以上のカメラトラッキングモードは、画像フレームから検出されるユーザの指の位置を表す輝点位置座標が、図９に示した第２のエリアＥｃから第３のエリアＥｂに移動したとしてもそのまま維持される。したがって、輝点位置座標、つまりユーザの指の位置が第２のエリアＥｃから第１のエリアＥａ方向へ一時的に変化しても、認識モードが即時フィンガジェスチャモードに変化することはなく、これによりカメラトラッキングモードによる認識処理は安定に行われる。

（５）表示画像制御処理
上記フィンガジェスチャモード或いはカメラトラッキングモードにおけるジェスチャ認識処理が終了すると、続いてステップＳ９において表示画像制御ユニット４０が動作し、この表示画像制御ユニット４０の制御の下で以下のように表示画像の更新処理が行われる。図８はその制御手順と制御内容を示すフローチャートである。

すなわち、先ずステップＳ９２において、先に述べた図形位置判断処理（ステップＳ７４）により生成された入力コマンドをもとに、当該入力コマンドが意味する表示処理内容を表す表示画像データを更新する処理がなされる。例えば、上記図形位置判断処理（ステップＳ７４）により生成された入力コマンドの意味が左方向キーを示すものであれば、ＥＰＧ情報におけるカーソルの位置を左方向へ１列分シフトさせた画像に更新される。反対に入力コマンドの意味が右方向キーを示すものであれば、ＥＰＧ情報におけるカーソルの位置を右向へ１列分シフトさせた画像に更新される。同様に、入力コマンドの意味が上又は下キーを示すものであれば、ＥＰＧ情報におけるカーソルの位置をそれぞれ上方向又は下方向へ１列分シフトさせた画像に更新される。なお、８方向キーの場合も同様にＥＰＧの表示画像が更新される。

したがって、ユーザは自身の指又は腕の動きを用いたジェスチャにより、図１に示した４つの円のいずれかを選択的に空間上に描画することで、ＥＰＧ情報におけるカーソル位置を所望の番組の位置にステップ移動させることが可能となる。

以上詳述したようにこの実施形態では、カメラ４から取り込んだ画像フレームからジェスチャにより描画された図形の輝点位置座標を検出し、この検出された輝点位置座標が当該画像フレーム中の第１のエリアＥａに含まれるか或いは当該第１のエリアＥａの周辺に設定した第２のエリアＥｃに含まれるかを判定する。そして、描画点が第１のエリアＥａに含まれると判定された場合にはフィンガジェスチャモードを設定し、第２のエリアＥｃに含まれると判定された場合にはカメラトラッキングモードを設定する。フィンガジェスチャモードが設定された状態では、画像データからフィンガジェスチャにより描画される図形を認識する。一方、カメラトラッキングモードが設定された状態では、上記輝点位置座標に応じてパン・チルト駆動ユニット５を動作させ、これによりカメラ４のパン・チルト角を制御してカメラ４の撮像方向をユーザの腕の動きに追従させて、この撮像方向の追従軌跡をもとに描画図形を認識するようにしている。

したがって、ユーザが指の動きを用いてジェスチャを行ったか或いは腕の動きを用いてジェスチャを行ったかが自動的に判定される。そして、指の動きを用いた場合には画像データから描画図形が認識され、一方腕の動きを用いた場合にはカメラ４の撮像方向がユーザの腕の動きに追従するように制御されてその過程で検出されるパン・チルト角の変化から上記腕の動きによる描画図形が認識される。このため、ユーザが指の動きを用いた場合でもまた腕の動きを用いた場合でも、これらの動きによるジェスチャを適切に認識することが可能となる。

またこの実施形態では、第１のエリアＥａと第２のエリアＥｃとの間に第３のエリアＥｂを設定し、検出された輝点位置座標が第３のエリアＥｂに含まれると判定された場合には設定中の認識モードを維持するようにしている。このため、輝点位置座標が第１のエリアＥａと第２のエリアＥｃとの境界付近にある場合に、認識モードがフィンガジェスチャとカメラトラッキングモードとの間で頻繁に切り替わり、この結果認識処理動作が不安定になる不具合を防止することができる。

なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態ではモード判定のためのエリアを図９に示したように矩形形状に設定したが、画像フレームの中心Ｏを中心として円形又は楕円形のエリアを同心円状に設定するようにしてもよい。ユーザがジェスチャにより描く図形が円形の場合、上記のように判定エリアも円形又は楕円形にした方が描画位置にかかわらず均一な条件でモードを判定することができる。

前記実施形態では、図形の終始点Ａに対する描画位置を検出してカーソルの移動方向を制御するようにした。しかしこれに限らず、図形の描画速度、描画時間又は描画サイズを判定し、この図形の描画速度、描画時間又は描画サイズの判定結果に応じて、カーソルの移動量を変化させるようにしてもよい。

例えば、ユーザが図形を通常の速度より遅いゆっくりとした速度で描いたり、通常の描画時間より長い時間をかけて描いたり、或いは通常サイズより大きなサイズで描いた場合には、カーソルの１回の移動ステップ量を大きくする。図形の描画速度又は描画時間は、図形データの受信開始タイミング及び受信終了タイミングをそれぞれ検出するか、又は終始点Ａを構成する始点及び終点の検出タイミングを検出し、この検出した各タイミングをもとに計算により求めることができる。なお、この場合も、カーソルの移動方向については、前記実施形態で述べたように描画された図形の終始点Ａに対する図形の描画位置の方向により決まる。

また、前記実施形態では、テレビジョン受信機２に表示されるＥＰＧ情報をジェスチャにより操作する場合を例にとって説明したが、パーソナル・コンピュータの表示画面やビデオプロジェクタによる表示画面をジェスチャにより操作するようにしてもよい。
その他、ジェスチャ認識装置の種類や構成、処理手順と処理内容、図形の形状等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１…ユーザ、２…テレビジョン受信機、３…通信回線、４…カメラ、５…パン・チルト駆動ユニット、６…発光マーカ、２０…データベース、２１…信号蓄積部、２２…ジェスチャコマンド変換テーブル部、２３…表示画像データ蓄積部、２４…図形パターン記憶部、２５…パン・チルト情報蓄積部、３０…ジェスチャ認識ユニット、３１…モード切換部、３２…フィンガジェスチャ認識部、３３…カメラトラッキング制御部、３４…カメラトラッキングジェスチャ認識部、４０…表示画像制御ユニット、４１…カメラ撮像処理部、４２…画像送信部、５０…リアルタイムイベント発行ユニット、５１…パン・チルト駆動部、５２…パン・チルト角度検出部、５３…パン・チルト角度送信部。

Claims (9)

1. ジェスチャにより空間に図形を描く動きを撮像してその画像データを出力する撮像装置と、前記撮像装置から出力された画像データをもとに前記ジェスチャにより描かれた図形を認識するジェスチャ認識装置とを具備するシステムで使用される前記ジェスチャ認識装置であって、
   前記撮像装置から出力された画像データを取り込む手段と、
   前記取り込まれた画像データから図形の描画点を検出し、この検出された図形の描画点が当該画像データ中の予め設定された第１のエリアに含まれるか、或いは当該第１のエリアの周辺に設定した第２のエリアに含まれるかを判定する判定手段と、
   前記図形の描画点が前記第１のエリアに含まれると判定された場合に、指の動きを用いたジェスチャにより描画される図形を認識する第１の認識モードを設定し、前記図形の描画点が前記第２のエリアに含まれると判定された場合には、腕の動きを用いたジェスチャにより描画される図形を認識する第２の認識モードを設定する認識モード設定手段と、
   前記第１の認識モードが設定された状態では、前記取り込まれた画像データをもとに前記指の動きを用いたジェスチャにより描画される図形を認識する第１の認識処理手段と、
   前記第２の認識モードが設定された状態では、前記検出された図形の描画点の位置に応じて前記撮像装置のパン・チルト角を制御することにより撮像方向を前記腕の動きに追従させ、このときの撮像方向の追従軌跡を検出してこの検出された追従軌跡もとに前記腕の動きを用いたジェスチャにより描画される図形を認識する第２の認識処理手段と
   を具備することを特徴とするジェスチャ認識装置。
2. 前記第１の認識処理手段は、
   前記取り込まれた画像データから、指に装着された光学的マーカの描画軌跡を検出する手段と、
   前記検出された光学的マーカの描画軌跡のパターンを予め用意された複数の基本図形パターンと比較し、その比較結果をもとに指の動きを用いたジェスチャにより描画される図形を認識する手段と
   を備えることを特徴とする請求項１記載のジェスチャ認識装置。
3. 前記第２の認識処理手段は、
   一定の時間間隔で前記撮像装置のパン・チルト角をもとに撮像方向を表す座標値を検出し、この検出された座標値の集合を前記撮像方向の追従軌跡として記憶する手段と、
   前記記憶された前記撮像方向の追従軌跡のパターンを予め用意された複数の基本図形パターンと比較し、その比較結果をもとに腕の動きを用いたジェスチャにより描画される図形を認識する手段と
   を備えることを特徴とする請求項１記載のジェスチャ認識装置。
4. 前記判定手段は、前記第１のエリアと第２のエリアとの間に第３のエリアを設定して、前記検出された図形の描画点が前記第１、第２或いは第３の各エリアのうちの何れに含まれるかを判定し、
   前記認識モード設定手段は、前記検出された図形の描画点が前記第１のエリアに含まれると判定された場合には認識モードを前記第１の認識モードに変更し、前記第２のエリアに含まれると判定された場合には認識モードを前記第２の認識モードに変更し、前記第３のエリアに含まれると判定された場合には設定中の認識モードを維持することを特徴とする請求項１記載のジェスチャ認識装置。
5. ジェスチャにより空間に図形を描く動きを撮像した画像データを撮像装置から取り込む過程と、
   前記取り込まれた画像データから図形の描画点を検出し、この検出された図形の描画点が当該画像データ中の予め設定された第１のエリアに含まれるか、或いは当該第１のエリアの周辺に設定した第２のエリアに含まれるかを判定する過程と、
   前記図形の描画点が前記第１のエリアに含まれると判定された場合に、指の動きを用いたジェスチャにより描画される図形を認識する第１の認識モードを設定する過程と、
   前記第１の認識モードが設定された状態において、前記取り込まれた画像データをもとに前記指の動きを用いたジェスチャにより描画される図形を認識する第１の認識過程と、
   前記図形の描画点が前記第２のエリアに含まれると判定された場合には、腕の動きを用いたジェスチャにより描画される図形を認識する第２の認識モードを設定する過程と、
   前記第２の認識モードが設定された状態において、前記検出された図形の描画点の位置座標に応じて前記撮像装置のパン・チルト角を制御することにより撮像方向を前記腕の動きに追従させ、このときの撮像方向の追従軌跡を検出してこの検出された追従軌跡をもとに前記腕の動きを用いたジェスチャにより描画される図形を認識する第２の認識過程と
   を具備することを特徴とするジェスチャ認識方法。
6. 前記第１の認識過程は、
   前記取り込まれた画像データから、指に装着された光学的マーカの描画軌跡を検出する過程と、
   前記検出された光学的マーカの描画軌跡のパターンを予め用意された複数の基本図形パターンと比較し、その比較結果をもとに指の動きを用いたジェスチャにより描画される図形を認識する過程と
   を備えることを特徴とする請求項５記載のジェスチャ認識方法。
7. 前記第２の認識過程は、
   一定の時間間隔で前記撮像装置のパン・チルト角をもとに撮像方向を表す座標値を検出し、この検出された座標値の集合を前記撮像方向の追従軌跡として記憶する過程と、
   前記記憶された前記撮像方向の追従軌跡のパターンを予め用意した複数の基本図形パターンと比較し、その比較結果をもとに腕の動きを用いたジェスチャにより描画される図形を認識する過程と
   を備えることを特徴とする請求項５記載のジェスチャ認識方法。
8. 前記判定する過程は、前記第１のエリアと第２のエリアとの間に第３のエリアを設定して、前記検出された図形の描画点が前記第１、第２或いは第３の各エリアのうちの何れに含まれるかを判定し、
   前記認識モードを設定する過程は、前記検出された図形の描画点が前記第１のエリアに含まれると判定された場合には認識モードを前記第１の認識モードに変更し、前記第２のエリアに含まれると判定された場合には認識モードを前記第２の認識モードに変更し、前記第３のエリアに含まれると判定された場合には設定中の認識モードを維持することを特徴とする請求項５記載のジェスチャ認識方法。
9. 請求項５乃至８のいずれかに記載されたジェスチャ認識方法が備える過程を実現する処理を、コンピュータに実行させることを特徴とするプログラム。

Images