JP2012137989A - ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法 - Google Patents

Abstract

【課題】ジェスチャによる操作入力を容易にする技術を提供する。
【解決手段】指示ポイント抽出部１０は、ディスプレイを見ながら行われるユーザのジェスチャを撮影した画像からユーザの指示ポイントを抽出する。距離計算部２０は、指示ポイントまでの奥行き方向の距離を求める。ジェスチャ認識パラメータ調整部５０は、奥行き方向の距離計測の分解能およびディスプレイの３次元表示性能の少なくとも一方にもとづいて、ユーザのジェスチャによる操作入力を認識する際の奥行き方向の検出感度に関するパラメータを調整する。ジェスチャ認識処理部６０は、調整されたパラメータのもとで、距離計算部２０により計算された指示ポイントまでの奥行き方向の距離を参照して、ユーザのジェスチャによる操作入力を認識する。
【選択図】図２

Description

この発明は、ジェスチャによる操作入力を処理する装置および方法に関する。

立体映像が視聴できる３次元テレビが一般家庭でも利用できるようになった。また、３次元映像を記録したブルーレイディスクをプレイヤで再生して、３次元ディスプレイに表示して高画質の３次元映像を視聴することも可能になった。ゲーム機においても３次元ディスプレイに接続して３次元映像を用いたゲームアプリケーションをプレイできる。さらに、距離センサを備えたカメラを用いて、ユーザの３次元映像を撮影し、ゲームアプリケーションに取り込むこともある。

ゲームアプリケーションの中には、ユーザが身体を用いて操作をしたり、ゲームに参加するタイプのものが増えている。今後、ゲームアプリケーションが３次元化すると、ジェスチャによる入力操作がより多く利用されることが予想される。

特許文献１には、ユーザが画面から離れた位置から指示を与えることができるインタフェースを備えた携帯型ゲーム装置が開示されている。

国際公開第１０／０３８８２２号パンフレット

ユーザのジェスチャによる操作入力を支援するためのジェスチャインタフェースの技術が求められている。システムは、ディスプレイを前にしてユーザがストレスを感じることなくジェスチャを介して操作を入力できるように、ジェスチャを認識する際の検出感度をシステムの性能に合わせて適切なレベルに制御する必要がある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、ジェスチャによる操作入力を容易にする技術を提供することにある。

上記課題を解決するために、本発明のある態様のジェスチャ操作入力処理装置は、ディスプレイを見ながら行われるユーザのジェスチャを撮影した画像からユーザの指示ポイントを抽出する指示ポイント抽出部と、前記指示ポイントまでの奥行き方向の距離を求める距離計算部と、奥行き方向の距離計測の分解能および前記ディスプレイの３次元表示性能の少なくとも一方にもとづいて、ユーザのジェスチャによる操作入力を認識する際の奥行き方向の検出感度に関するパラメータを調整するパラメータ調整部と、調整されたパラメータのもとで、前記距離計算部により計算された前記指示ポイントまでの奥行き方向の距離を参照して、ユーザのジェスチャによる操作入力を認識するジェスチャ認識処理部とを含む。

本発明の別の態様は、ジェスチャ操作入力処理方法である。この方法は、ユーザのジェスチャによる操作入力を支援するインタフェースを備えた３次元ジェスチャ入力システムにおけるジェスチャ操作入力処理方法であって、ディスプレイを見ながら行われるユーザのジェスチャを撮影した画像からユーザの指示ポイントを抽出するステップと、前記指示ポイントまでの奥行き方向の距離を求めるステップと、奥行き方向の距離計測の分解能および前記ディスプレイの３次元表示性能の少なくとも一方にもとづいて、ユーザのジェスチャによる操作入力を認識する際の奥行き方向の検出感度に関するパラメータを調整するステップと、調整されたパラメータのもとで、前記距離計算部により計算された前記指示ポイントまでの奥行き方向の距離を参照して、ユーザのジェスチャによる操作入力を認識するステップとを含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ジェスチャによる操作入力が容易に行えるようになる。

３次元ジェスチャ入力システムの構成図である。 ジェスチャ操作入力処理装置の構成図である。 図３（ａ）、（ｂ）は、三角測量型のカメラの距離計測原理と距離分解能を説明する図である。 図４（ａ）、（ｂ）は、ＴＯＦ型のカメラの距離計測原理と距離分解能を説明する図である。 ディスプレイ装置の前面に設定される仮想的なスクリーンを説明する図である。 図６（ａ）〜（ｅ）は、ジェスチャによる操作入力の例を説明する図である。 ジェスチャの奥行き方向の動き検出の感度を調整するパラメータを説明する図である。 図２のジェスチャ操作入力処理装置によるＺ方向の動き検出の感度に関するパラメータの調整方法を説明するフローチャートである。

図１は、３次元ジェスチャ入力システム３００の構成図である。３次元ジェスチャ入力システム３００は、ゲーム機２００、ディスプレイ装置２１０、およびカメラ２２０を含む。

ゲーム機２００は、ゲームアプリケーションなどのコンテンツを実行し、ディスプレイ装置２１０に映像や操作メニューなどを表示する。ゲーム機２００の代わりに、記録媒体に格納されたコンテンツを再生するプレイヤを用いてもよい。

ディスプレイ装置２１０は、２次元表示および／または３次元表示が可能なディスプレイである。ディスプレイ装置２１０が２次元表示のみが可能である場合、コンテンツを２次元画像として表示するが、３次元表示も可能である場合、ユーザからの指示またはアプリケーションからの指示に応じて、コンテンツを２次元画像または３次元画像として表示する。

カメラ２２０は、ユーザ２５０のジェスチャを撮影する。カメラ２２０は、ディスプレイ装置２１０の上部などに設けられる。カメラ２２０の設置位置を原点とし、ディスプレイ表面をＸＹ平面とし、ディスプレイ表面に垂直な方向をＺ軸とする座標系を考える。カメラ２２０は、被写体までのＺ方向の距離を測定する測距機能を有する。たとえば、カメラ２２０は、音波や光を被写体に投射し、反射して戻ってくるまでの時間を計ることにより被写体までの距離を測定する距離センサを有してもよく、あるいは、異なる二つの視点から撮影した視差画像から奥行き値を計算する画像処理ユニットを有してもよい。

ユーザ２５０は、ディスプレイ装置２１０に表示された画像を見ながら、ジェスチャによりゲーム機２００に対する操作コマンドを入力する。ディスプレイ装置２１０がステレオディスプレイのように立体視のために専用メガネ２３０を有する場合は、ユーザ２５０は専用メガネ２３０を装着してディスプレイ装置２１０の画面を見る。

ユーザ２５０は、手の指などを指示ポイント２４０ａ〜ｃとして３次元空間内で動かすことによって、操作コマンドをゲーム機２００に与える。ディスプレイ装置２１０の画面には、ユーザのジェスチャ入力を支援するために、ゲーム機２００が検出した指示ポイント２４０ａ〜ｃの移動軌跡が表示される。

ゲーム機２００は、カメラ２２０により撮影されたユーザ２５０のジェスチャ画像からユーザ２５０の手の指などの指示ポイント２４０ａ〜ｃを検出し、カメラ２２０から指示ポイント２４０ａ〜ｃまでの距離を求める。

ゲーム機２００が指示ポイント２４０ａ〜ｃを検出しやすいように、ユーザは人差し指だけを差し出すようにしてもよい。あるいは、指示ポイント２４０を画像認識しやすいように、ユーザ２５０はマーカーが付けられた指キャップを指に付けたり、マーカーが付けられた指示棒を使用してジェスチャを行ってもよい。あるいは、ユーザ２５０は、３次元座標を検出できる位置センサを搭載したコントローラを手にもってジェスチャを行い、コントローラから無線通信などにより、位置センサが検出した３次元座標をゲーム機２００に送信してもよい。

ゲーム機２００は、ユーザ２５０の指示ポイント２４０の３次元空間内での動きに応じて、ユーザが意図した操作コマンドを認識し、操作コマンドを実行する。特に、ゲーム機２００は、ユーザ２５０のジェスチャの奥行き方向の動きを検出することにより、ユーザ２５０のジェスチャに自由度をもたせて、ジェスチャ入力インタフェースに柔軟性を与えることができる。

図２は、ジェスチャ操作入力処理装置１００の構成図である。図２に示すジェスチャ操作入力処理装置１００の機能構成の一部または全部は、ゲーム機２００にハードウェア、ソフトウェアまたはその組み合わせによって実装することができる。ゲーム機２００以外に、パーソナルコンピュータ、携帯機器、携帯端末などに実装してもよい。

ジェスチャ操作入力処理装置１００は、指示ポイント抽出部１０、距離計算部２０、距離センサ性能取得部３０、距離センサデータベース３２、ディスプレイ性能取得部４０、ディスプレイデータベース４２、ジェスチャ認識パラメータ調整部５０、仮想スクリーン記憶部５２、ジェスチャ認識処理部６０、表示制御部７０、およびアプリケーション実行部８０を有する。

指示ポイント抽出部１０は、カメラ２２０が撮影したユーザ２５０のジェスチャ画像を取得し、ジェスチャ画像からユーザの指示ポイント２４０を抽出する。指示ポイント２４０は、ユーザの指の先端部やマーカーが付された箇所であるから、エッジ抽出や画像解析など一般的な画像処理機能を用いて指示ポイント２４０を画像から抽出することができる。

距離計算部２０は、指示ポイント２４０までの奥行き方向の距離を求める。カメラ２２０が三角測量型の測距機能を有する場合、異なる二つの視点から撮像された視差画像から指示ポイント２４０までの奥行き方向の距離を求める。カメラ２２０がアクティブ型レーザ距離計やレーダーなどＴＯＦ（time of flight）の距離センサを有する場合、距離計算部２０は、指示ポイント２４０に光を投影してから、その光が指示ポイント２４０に反射して戻ってくるまでの往復時間をカメラ２２０から取得して、往復時間に光の速度を乗算することにより、指示ポイント２４０までの距離を求める。

距離センサ性能取得部３０は、距離センサデータベース３２を参照して、カメラ２２０の距離センサの分解能に関する情報を取得し、ジェスチャ認識パラメータ調整部５０に与える。距離センサの分解能情報には、測定可能な距離の範囲や、距離センサの測距方式が三角測量型であるか、ＴＯＦ型であるかを示す識別情報などが含まれる。

ディスプレイ性能取得部４０は、ディスプレイデータベース４２を参照して、ディスプレイ装置２１０の表示性能に関する情報を取得し、ディスプレイ装置２１０の表示性能情報をジェスチャ認識パラメータ調整部５０に与える。表示性能情報には、３次元表示性能に関する情報が含まれる。たとえば、ディスプレイ装置２１０が、通常の液晶テレビのディスプレイのようにＺ方向の表示能力をもたない２Ｄディスプレイであるか、ステレオ視（両眼立体視）可能なステレオディスプレイであるか、３次元空間を表示可能な３Ｄディスプレイであるかを示す識別情報が含まれる。

ジェスチャ認識パラメータ調整部５０は、距離センサ性能取得部３０から与えられる距離センサの分解能と、ディスプレイ性能取得部４０から与えられるディスプレイの３次元表示性能と、距離計算部２０から与えられる指示ポイント２４０までの測定距離とにもとづいて、ジェスチャ認識する際のパラメータを調整する。ジェスチャ認識の際のパラメータは、特に指示ポイント２４０の奥行き方向の動きを検出する感度を調整するためのものである。

ジェスチャ認識パラメータ調整部５０は、奥行き方向の距離計測の分解能が高ければ、指示ポイント２４０の奥行き方向の動きを検出する粒度を細かくして感度を上げ、逆に、奥行き方向の距離計測の分解能が低ければ、指示ポイント２４０の奥行き方向の動きを検出する粒度を粗くして感度を下げる。同様に、ディスプレイの３次元表示性能が高ければ、指示ポイント２４０の奥行き方向の動きを検出する粒度を細かくして感度を上げ、逆に、ディスプレイの３次元表示性能が低ければ、指示ポイント２４０の奥行き方向の動きを検出する粒度を粗くして感度を下げる。

本実施の形態では、ディスプレイ装置２１０の前面に、仮想的なスクリーンを設定し、指示ポイント２４０が仮想的なスクリーンを通過することを契機に、指示ポイント２４０をアクティブ化する。指示ポイント２４０が仮想的なスクリーンよりユーザから見て手前にある場合は、指示ポイント２４０は非アクティブとすることで、ユーザが指などで操作入力を与えるときと、与えないときを容易に区別できるようにする。仮想的なスクリーンをディスプレイ装置２１０の前面に複数設置してユーザが段階的に指を差し入れることで、段階的に操作入力を与えることができるようにしてもよい。仮想スクリーン記憶部５２は、そのような仮想的なスクリーンの設置位置や設置間隔などの情報を保持する。

ジェスチャ認識パラメータ調整部５０は、仮想スクリーン記憶部５２に保持された仮想的なスクリーンの設置位置や設置間隔などのパラメータを調整することにより、指示ポイント２４０の奥行き方向の動きを検出する感度を調整することができる。

ジェスチャ認識処理部６０は、調整されたパラメータのもとで、距離計算部２０により計算された指示ポイント２４０までの奥行き方向の距離を参照して、３次元空間内のユーザのジェスチャを認識し、操作コマンドを特定する。ジェスチャ認識処理部６０は、指示ポイント２４０までの奥行き方向の距離にもとづいて、指示ポイント２４０がディスプレイ装置２１０の前面に設定された仮想的なスクリーンを通過したかどうかを判定し、通過した場合に指示ポイント２４０をアクティブ化し、ユーザのジェスチャによる操作入力を特定する。表示制御部７０は、ジェスチャ認識処理部６０がユーザのどのようなジェスチャを認識しているかを示すために、ディスプレイ装置２１０に指示ポイント２４０の移動軌跡を表示する。

アプリケーション実行部８０は、ジェスチャ認識処理部６０により特定された操作コマンドを実行し、アプリケーションに反映させる。

図３（ａ）、（ｂ）は、三角測量型のカメラ２２０の距離計測原理と距離分解能を説明する図である。図３（ａ）に示すように、三角測量の場合、２台のカメラ２２０ａ、２２０ｂを用いて異なる視点から視差画像を撮像するか、１台のカメラ２２０を移動させて視点位置を異ならせて視差画像を撮像することにより、指示ポイント２４０までの距離ｄを測定する。三角測量の原理を用いた測距カメラの一例として、ステレオカメラがある。

図３（ｂ）のグラフは、三角測量型のカメラ２２０における、絶対距離ｄに対する距離分解能Ｒを示す。グラフの横軸は視点から被写体までの絶対距離ｄであり、縦軸は三角測量による距離分解能Ｒである。図３（ｂ）に示すように、三角測量の場合、被写体までの距離が遠く離れるほど、距離分解能Ｒが低くなり、測定精度は落ちる。逆に被写体までの距離が近いほど、距離分解能Ｒが高くなり、測定精度は上がる。

図４（ａ）、（ｂ）は、ＴＯＦ型のカメラ２２０の距離計測原理と距離分解能を説明する図である。ＴＯＦ型のカメラ２２０の場合、被写体に赤外光や超音波を投射し、その反射波を測定することにより、被写体までの距離を測定する。図４（ａ）に示すように、ＴＯＦ法では、カメラ２２０のセンサから出た光が指示ポイント２４０に当たって反射し、センサに届くまでの往復時間ｔを測定し、光の速度ｃを乗算して２で割ることにより、次式のように距離ｄを求めることができる。
ｄ＝ｔ×ｃ／２

図４（ｂ）のグラフは、ＴＯＦ型のカメラ２２０における、絶対距離ｄに対する距離分解能Ｒを示す。図４（ｂ）に示すように、ＴＯＦ法の場合、被写体までの距離に関係なく、距離分解能Ｒは一定であり、被写体までの距離が遠く離れても、測定精度は落ちない。

三角測量型のカメラ２２０は被写体までの距離が遠くなると測定精度が落ちるが、二つの視点の間隔をより広げれば、測定精度を上げることができる。一般家庭でディスプレイ装置２１０にカメラ２２０を設置することを考えると、視点間隔を広げることには限界があるため、絶対距離に関係なく測定精度が一定であるＴＯＦ型のカメラ２２０を用いた方が有利である。

ディスプレイ装置２１０についてもジェスチャによる操作入力に影響を与える表示能力の違いがある。２次元ディスプレイ、たとえば普通の液晶テレビのディスプレイは、Ｚ方向の表現能力は持たない。このような２次元ディスプレイの場合、ユーザがディスプレイに写し出された自分の姿または指示ポイント２４０の移動軌跡を見ながら、空中で円を描くと、奥行き方向の距離が一定でない円になることが多い。

ステレオ視（両眼立体視）が可能なステレオディスプレイは、Ｚ方向の表現能力を持ち、ユーザは、裸眼または偏光メガネを用いて一組の左右画像を見ることで立体視することができる。たとえば、左右画像を時分割切り替え表示し、液晶シャッターメガネにより、左右の目に交互に左画像／右画像を入力する方式や、パララックスバリアやレンチキュラレンズを用いて、裸眼状態で左右の目にそれぞれ左画像／右画像が見えるようにする方式で立体視が可能である。このようなステレオディスプレイの場合、ユーザがディスプレイを見ながら、空中で円を描くと、ディスプレイ面に平行な円を描くことができる。しかし、ステレオディスプレイは、立体視するためのユーザの視点位置が固定されており、ある視点から一方向に見た立体視しかできず、ユーザの視点位置の変化には追随できないものが多い。

インテグラルイメージング方式やホログラム方式などの多視点対応の３次元ディスプレイは、視点位置に応じて異なる左右画像を複数組映し出すことで、異なる視点位置から見ても立体視することができる。このような３次元ディスプレイの場合、ユーザは、どの視点位置から見ても立体視ができることから、あたかも３次元空間に実物があるかのように見え、表示された立体画像を見ながら、奥行き方向の操作をより正確に行うことができる。３次元ディスプレイは、ユーザの視点位置の変化に追随することができ、より自然な立体視が可能である。さらにホログラム方式を使えば、左右画像を実質的に無限組見せることができるので、ほぼ完全な立体視が可能となる。

ディスプレイ装置２１０が、２次元ディスプレイから、ステレオディスプレイ、そして３次元ディスプレイになるにつれて、ユーザがジェスチャにより操作入力する際のＺ軸方向の操作精度が上がり、Ｚ方向にリッチなジェスチャをして操作入力することが可能になる。

本実施の形態の３次元ジェスチャ入システム３００では、カメラ２２０の距離計測分解能と、ディスプレイ装置２１０の３次元表示性能に応じて、ジェスチャ認識のパラメータを調整することで、ユーザの操作感を最適化する。

図５は、ディスプレイ装置２１０の前面に設定される仮想的なスクリーンを説明する図である。ディスプレイ装置２１０に設置されたカメラ２２０を原点とし、ディスプレイ装置２１０面をＸＹ平面とし、ディスプレイ装置２１０面に垂直な奥行き方向をＺ軸とする座標系において、カメラ２２０からの距離ｄがＺ１、Ｚ２（Ｚ１＜Ｚ２）の位置にそれぞれ仮想的な第１、第２仮想スクリーン２７０ａ、２７０ｂが設けられている。

ユーザが指などをディスプレイ装置２１０に向かって差し出し、指示ポイント２４０がこれらの仮想スクリーンを突き破った場合、指示ポイント２４０をアクティブにする。仮想スクリーンは、指示ポイント２４０までの奥行き距離に応じて指示ポイント２４０をアクティブにする距離スイッチ機能を有する。

ユーザが手の指をディスプレイ装置２１０に向かって差し出し、指示ポイント２４０の位置のＺ座標の値がＺ２よりも小さくなったとき、指示ポイント２４０は第２仮想スクリーン２７０ｂを突き破ったと判定され、さらに、指示ポイント２４０の位置のＺ座標の値がＺ１よりも小さくなったとき、指示ポイント２４０は第１仮想スクリーン２７０ａを突き破ったと判定される。

たとえば、指示ポイント２４０が距離Ｚ２の位置にある第２仮想スクリーン２７０ｂを突き破った場合、ジェスチャ認識処理部６０は、その動作をディスプレイ上のボタンなどを選択する操作であると認識し、指示ポイント２４０がさらに距離Ｚ１の位置にある第１仮想スクリーン２７０ａを突き破ると、ジェスチャ認識処理部６０は、その動作をワープ操作であると認識してもよい。

このように奥行き方向の距離に応じて２段階の仮想スクリーンを設けることにより、ジェスチャ認識処理部６０は、ユーザのジェスチャの奥行き方向の変化に応じて、異なる操作コマンドを特定することができる。仮想スクリーンの段数をさらに増やせば、突き破る仮想スクリーンの段数に応じてさらに多くの異なる操作コマンドを特定することができる。また、仮想スクリーンの段数を増やせば、奥行き方向の動きの加速度変化を検出して、操作コマンドにさらにバリエーションをもたせることもできる。

図６（ａ）〜（ｅ）は、ジェスチャによる操作入力の例を説明する図である。図６（ａ）は、指を仮想スクリーンに突っ込んでそこを原点として上下左右に動かしたり、円を描くことにより、相対的なコントロールを入力する例である。たとえば、指が仮想スクリーンを突き破ると、指示ポイント２４０がアクティブになり、ディスプレイ装置２１０に表示されたオブジェクトやアイコンが選択され、指示ポイント２４０を上下左右に動かすことで、画面に表示されたオブジェクトやアイコンを上下左右に動かすことができる。また、ディスプレイ装置２１０の画面に画像やドキュメントが表示されている場合は、指を上下左右に動かすことで上下左右にスクロールしたり、右回りの円を描くことで拡大、左回りの円を描くことで縮小表示できるようにしてもよい。

図６（ｂ）は、指を仮想スクリーンに突っ込み、カメラ２２０ａ、２２０ｂの視界を横切るように、大きく左右に動かした場合、ジェスチャ認識処理部６０は、ユーザのジェスチャをフリック入力と判定し、アプリケーション実行部８０は、判定された操作入力にしたがって、たとえば、次の画面に移動したり、連続スクロールを実行したりする。

図６（ｃ）、（ｄ）は、ユーザがジェスチャによりピンチ操作を入力する様子を示す。ピンチとは二本の指でつまむような動作をして、指と指の間を広げたり（ピンチアウト）、狭めたりする（ピンチイン）ことである。

図６（ｃ）は、左右の２本の指を仮想スクリーンに突っ込み、２本の指の間隔を狭めるジェスチャを行った場合、ジェスチャ認識処理部６０は、このジェスチャをピンチイン操作であると判定し、表示制御部７０は、表示されている画面を縮小する処理を実行する。

図６（ｄ）は、左右の２本の指を仮想スクリーンに突っ込み、２本の指の間隔を広げるジェスチャを行った場合、ジェスチャ認識処理部６０は、このジェスチャをピンチアウト操作であると判定し、表示制御部７０は、表示されている画面を拡大する処理を実行する。

図６（ｅ）は、指示ポイント２４０がアクティブのときに、さらに指を突き出すと、ジェスチャ認識処理部６０は、ワープ操作であると判定する。また、たとえば、指を１本だけを突き出すと、ジェスチャ認識処理部６０は、選択／実行ボタンの押し下げと判定するが、２本突き出すと、キャンセルボタンの押し下げであると判定してもよい。

図７は、ジェスチャの奥行き方向の動き検出の感度を調整するパラメータを説明する図である。ディスプレイ面をＸＹ平面、ディスプレイ面に垂直な方向をＺ軸として、Ｚ＝Ｚ１、Ｚ２、Ｚ３（Ｚ１＜Ｚ２＜Ｚ３）の位置にそれぞれ仮想スクリーン２７０ａ、２７０ｂ、２７０ｃが設けられたとする。設定する仮想スクリーンの段数をＮ、隣り合う仮想スクリーンの間隔をＤ、各仮想スクリーンのデッドバンド（不感帯）の幅をｄとする。

段数Ｎ、間隔Ｄ、およびデッドバンド幅ｄは、ジェスチャの奥行き方向の動き検出の感度に関するパラメータであり、これらのパラメータを、距離計測分解能と３次元表示性能にもとづいて調整する。また、これらの調整パラメータを奥行き方向の距離Ｚに依存して変化させてもよい。

ディスプレイ装置２１０が、２次元ディスプレイからステレオディスプレイ、そして、３Ｄディスプレイへと３次元表示性能が上がるにつれて、ジェスチャ認識パラメータ調整部５０は、段数Ｎを増やし、間隔Ｄとデッドバンド幅ｄは減らす。３次元表示性能が高いほど、ユーザはＺ方向にリッチな動作をすることができるようになり、Ｚ方向の検出感度を高めても問題がないからである。

カメラ２２０が三角測量型である場合、奥行き方向の距離に応じて段数Ｎ、間隔Ｄ、およびデッドバンド幅ｄを変化させる。三角測量法の場合、被写体がカメラ２２０から遠くなるほど測定精度が落ちるため、カメラ２２０からの距離が所定の閾値より小さいところでは、段数Ｎを増やし、間隔Ｄとデッドバンド幅ｄは減らしてＺ方向の検出感度を上げ、カメラ２２０からの距離が所定の閾値より大きいところでは、段数Ｎを減らし、間隔Ｄとデッドバンド幅ｄは減らしてＺ方向の検出感度を下げる。

カメラ２２０がＴＯＦ型である場合、奥行き方向の距離が変わっても測定精度は変わらないため、間隔Ｄ、デッドバンド幅ｄは一定値にするが、ＴＯＦ型は測定精度が高いため、段数Ｎを三角測量型の場合よりは増やすことができる。

図８は、ジェスチャ操作入力処理装置１００によるＺ方向の動き検出の感度に関するパラメータの調整方法を説明するフローチャートである。図８に示すフローチャートにおいては、各部の処理手順を、ステップを意味するＳ（Ｓｔｅｐの頭文字）と数字との組み合わせによって表示する。また、Ｓと数字との組み合わせによって表示した処理で何らかの判断処理が実行され、その判断結果が肯定的であった場合は、Ｙ（Ｙｅｓの頭文字）を付加して、例えば、（Ｓ１４のＹ）と表示し、逆にその判断結果が否定的であった場合は、Ｎ（Ｎｏの頭文字）を付加して、（Ｓ１４のＮ）と表示する。

ディスプレイ性能取得部４０は、ディスプレイデータベース４２からディスプレイ性能、特に３次元表示性能に関するデータを取得する（Ｓ１０）。ゲーム機２００にディスプレイ装置２１０が接続された時点で、ゲーム機２００にはディスプレイ装置２１０のドライバがインストールされている。ディスプレイ性能取得部４０は、ディスプレイ装置２１０のドライバの情報をもとにディスプレイデータベース４２に問い合わせをして、３次元表示性能に関するデータを取得する。あるいは、ディスプレイ装置２１０のドライバに３次元表示性能に関するデータが含まれていれば、ディスプレイ性能取得部４０はドライバから３次元表示性能に関するデータを取り出してもよい。

ジェスチャ認識パラメータ調整部５０は、調整パラメータである段数Ｎ、間隔Ｄ、およびデッドバンド幅ｄの初期値を設定する（Ｓ１２）。この初期値は、ディスプレイが高度な３次元表示性能をもつことを前提としたデフォールト値である。

ディスプレイ性能取得部４０は、３次元表示性能に関するデータにもとづいて、ディスプレイ装置２１０が３次元ディスプレイであるかどうかを判定する（Ｓ１４）。３次元ディスプレイであれば（Ｓ１４のＹ）、段数Ｎ、間隔Ｄ、およびデッドバンド幅ｄの初期値を変えることなく、ステップＳ２２に進む。

３次元ディスプレイでなければ（Ｓ１４のＮ）、ジェスチャ認識パラメータ調整部５０は、段数Ｎを減少させ、間隔Ｄおよびデッドバンド幅ｄを増加させる（Ｓ１６）。次に、ディスプレイ性能取得部４０は、ディスプレイ装置２１０がステレオディスプレイであるかどうかを判定する（Ｓ１８）。ステレオディスプレイであれば（Ｓ１８のＹ）、これ以上、段数Ｎ、間隔Ｄ、およびデッドバンド幅ｄの値を変えることなく、ステップＳ２２に進む。

ディスプレイ装置２１０がステレオディスプレイでない、すなわち、２次元ディスプレイである場合（Ｓ１８のＮ）、ジェスチャ認識パラメータ調整部５０は、さらに段数Ｎを減少させ、間隔Ｄおよびデッドバンド幅ｄを増加させる（Ｓ２０）。

次に、距離センサ性能取得部３０は、距離センサデータベース３２からカメラ２２０の距離分解能に関するデータを取得する（Ｓ２１）。ゲーム機２００にカメラ２２０が接続された時点で、ゲーム機２００にはカメラ２２０のドライバがインストールされている。距離センサ性能取得部３０は、カメラ２２０のドライバの情報をもとに距離センサデータベース３２に問い合わせをして、距離分解能に関するデータを取得する。あるいは、カメラ２２０のドライバに距離分解能に関するデータが含まれていれば、距離センサ性能取得部３０はドライバから距離分解能に関するデータを取り出してもよい。

距離センサ性能取得部３０は、距離分解能に関するデータにもとづいて、カメラ２２０が三角測量型であるかどうかを判定する（Ｓ２２）。三角測量型であれば（Ｓ２２のＹ）、奥行き方向の距離に応じて段数Ｎ、間隔Ｄ、およびデッドバンド幅ｄを異ならせる（Ｓ２４）。具体的には、カメラ２２０に近い位置ほど仮想スクリーンの段数Ｎを増やし、カメラ２２０から遠くなるほど仮想スクリーンの段数Ｎを減らす。また、カメラ２２０に近い位置の仮想スクリーンについては、測定精度が高いため、隣り合うスクリーンの間隔Ｄを狭くし、デッドバンド幅ｄも狭くする。カメラ２２０から遠い位置の仮想スクリーンについては、測定精度が落ちるため、隣り合うスクリーンの間隔Ｄを広くし、デッドバンド幅ｄも広くする。

カメラ２２０が三角測量型でない場合（Ｓ２２のＮ）、距離センサ性能取得部３０は、距離分解能に関するデータにもとづいて、カメラ２２０がＴＯＦ型であるかどうかを判定する（Ｓ２６）。ＴＯＦ型であれば（Ｓ２６のＹ）、奥行き方向の距離に関係なく、仮想スクリーンの段数Ｎ、間隔Ｄ、およびデッドバンド幅ｄは一定にし、仮想スクリーンの総段数Ｎは増やす（Ｓ２８）。ＴＯＦ型でない場合（Ｓ２６のＮ）、段数Ｎ、間隔Ｄ、およびデッドバンド幅ｄをこれ以上調整せず、ステップＳ３０に進む。

ジェスチャ認識パラメータ調整部５０は、調整された段数Ｎ、間隔Ｄ、およびデッドバンド幅ｄをジェスチャ認識処理部６０に供給する（Ｓ３０）。

以上述べたように、本実施の形態の３次元ジェスチャ入力システム３００によれば、距離センサの測定分解能とディスプレイの３次元表示性能にもとづいて、ユーザのジェスチャの特に奥行き方向の検出感度を適切に調整することにより、ユーザはストレスを感じることなく、また、システムの性能に応じてジェスチャによる入力を行うことができる。距離センサやディスプレイの組み合わせが変わっても、システム側で自動的に検出感度を調整するため、シームレスで柔軟性に富むジェスチャ入力インタフェースを提供することができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０ 指示ポイント抽出部、 ２０ 距離計算部、 ３０ 距離センサ性能取得部、 ３２ 距離センサデータベース、 ４０ ディスプレイ性能取得部、 ４２ ディスプレイデータベース、 ５０ ジェスチャ認識パラメータ調整部、 ５２ 仮想スクリーン記憶部、 ６０ ジェスチャ認識処理部、 ７０ 表示制御部、 ８０ アプリケーション実行部、 １００ ジェスチャ操作入力処理装置、 ２００ ゲーム機、 ２１０ ディスプレイ装置、 ２２０ カメラ、 ２３０ 専用メガネ、 ２４０ 指示ポイント、 ２５０ ユーザ、 ２７０ 仮想スクリーン、 ３００ ３次元ジェスチャ入力システム。

Claims (9)

1. ディスプレイを見ながら行われるユーザのジェスチャを撮影した画像からユーザの指示ポイントを抽出する指示ポイント抽出部と、
   前記指示ポイントまでの奥行き方向の距離を求める距離計算部と、
   奥行き方向の距離計測の分解能および前記ディスプレイの３次元表示性能の少なくとも一方にもとづいて、ユーザのジェスチャによる操作入力を認識する際の奥行き方向の検出感度に関するパラメータを調整するパラメータ調整部と、
   調整されたパラメータのもとで、前記距離計算部により計算された前記指示ポイントまでの奥行き方向の距離を参照して、ユーザのジェスチャによる操作入力を認識するジェスチャ認識処理部とを含むことを特徴とするジェスチャ操作入力処理装置。
2. 前記パラメータ調整部は、前記指示ポイントを通過させるための奥行き方向に設けられた複数の仮想的なスクリーンの設置数、設置間隔、およびデッドバンドの少なくとも一つを奥行き方向の検出精度に関するパラメータとして調整することを特徴とする請求項１に記載のジェスチャ操作入力処理装置。
3. 前記ジェスチャ認識処理部は、前記距離計算部により計算された前記指示ポイントまでの奥行き方向の距離にもとづいて、奥行き方向に設定された仮想的なスクリーンをユーザの指示ポイントが通過するかどうかを検出し、通過した場合に、当該指示ポイントをアクティブにしてジェスチャによる操作入力を認識することを特徴とする請求項２に記載のジェスチャ操作入力処理装置。
4. 前記パラメータ調整部は、前記ディスプレイが３次元表示可能なものである場合、前記ディスプレイが２次元表示可能なものである場合に比べて、前記仮想的なスクリーンの設置数の増加、設置間隔の減少、およびデッドバンドの減少の少なくとも一つの調整を行うことを特徴とする請求項２または３に記載のジェスチャ操作入力処理装置。
5. 前記パラメータ調整部は、奥行き方向の距離計測がＴＯＦ（time of flight）型の測定方法によるものである場合、仮想的なスクリーンの設置数、設置間隔、およびデッドバンドを奥行き方向の距離に対して一定とすることを特徴とする請求項２から４のいずれかに記載のジェスチャ操作入力処理装置。
6. 前記パラメータ調整部は、奥行き方向の距離計測が三角測量型の測定方法によるものである場合、仮想的なスクリーンの設置数、設置間隔、およびデッドバンドを奥行き方向の距離に対して可変とすることを特徴とする請求項２から５のいずれかに記載のジェスチャ操作入力処理装置。
7. ユーザのジェスチャによる操作入力を支援するインタフェースを備えた３次元ジェスチャ入力システムにおけるジェスチャ操作入力処理方法であって、
   ディスプレイを見ながら行われるユーザのジェスチャを撮影した画像からユーザの指示ポイントを抽出するステップと、
   前記指示ポイントまでの奥行き方向の距離を求めるステップと、
   奥行き方向の距離計測の分解能および前記ディスプレイの３次元表示性能の少なくとも一方にもとづいて、ユーザのジェスチャによる操作入力を認識する際の奥行き方向の検出感度に関するパラメータを調整するステップと、
   調整されたパラメータのもとで、前記指示ポイントまでの奥行き方向の距離を参照して、ユーザのジェスチャによる操作入力を認識するステップとを含むことを特徴とするジェスチャ操作入力処理方法。
8. ディスプレイを見ながら行われるユーザのジェスチャを撮影した画像からユーザの指示ポイントを抽出する機能と、
   前記指示ポイントまでの奥行き方向の距離を求める機能と、
   奥行き方向の距離計測の分解能および前記ディスプレイの３次元表示性能の少なくとも一方にもとづいて、ユーザのジェスチャによる操作入力を認識する際の奥行き方向の検出感度に関するパラメータを調整する機能と、
   調整されたパラメータのもとで、前記指示ポイントまでの奥行き方向の距離を参照して、ユーザのジェスチャによる操作入力を認識する機能とをコンピュータに実現させることを特徴とするプログラム。
9. 請求項８のプログラムを格納したことを特徴とする記録媒体。

Images