JP2017027115A

JP2017027115A - ジェスチャによるポインティング方法

Info

Publication number: JP2017027115A
Application number: JP2015141718A
Authority: JP
Inventors: ▲コウ▼市平賀; Koichi Hiraga
Original assignee: Hiraga Takaichi
Current assignee: Hiraga Takaichi
Priority date: 2015-07-15
Filing date: 2015-07-15
Publication date: 2017-02-02

Abstract

【課題】手指によるジェスチャを撮像した時系列画像から、マウスにおけるクリックに相当するモード遷移を検出する機能を実現する。【解決手段】時系列画像の各画像において、位置姿勢を相対的に固定した所定の２本以上の指である固定指群の指先位置の平均位置をポインティング位置とし、また、同固定指群の指先位置に対して相対的に位置姿勢が定まるローカル座標系もしくは相対的に位置が定まる基準点があって、同固定指群に対して相対的に変位する他の所定の１本の指の指先位置の同ローカル座標系における座標値もしくは同基準点との距離を算出し、同座標値もしくは同距離の時系列を解析する。【選択図】図５

Description

本発明は、ジェスチャによるポインティング機能を実現する方法に関する。

手指の動作パターンであるジェスチャをカメラで撮像した時系列画像を解析することにより、パーソナルコンピュータで用いられているマウスが備えるポインティング機能を実現しようという試みが、これまで数多くなされてきた。例えば、特許文献１では、撮像した手指の画像における指先位置を用いてポインティング機能を実現する方法が述べられている。

特開２００１−２８２４５６号公報

しかしながら、マウスにおいてボタンの押下およびリリースという操作により実現されているモード遷移検出機能については記載されておらず、したがって実現されていない。

この課題に対して本発明では、時系列画像の各画像において、位置姿勢を相対的に固定した所定の２本以上の指を固定指群として定め、同固定指群の各指の指先位置の平均位置をポインティング位置とし、また、同固定指群の各指の指先位置に対して相対的に位置姿勢が定まるローカル座標系もしくは相対的に位置が定まる基準点があって、同固定指群に対して相対的に変位する他の所定の１本の指の指先位置の同ローカル座標系における座標値もしくは同基準点との距離を算出し、同座標値もしくは同距離の時系列を解析する。

本発明では、ポインティングのために用いている特徴の絶対位置とは独立の相対位置、すなわち別の特徴のローカル座標値もしくは別の特徴間の距離を定め、同座標値もしくは同距離の時系列を基にしてモード遷移を検出しているので、ポインティング位置に影響することなくモード遷移を検出できるというメリットがある。

検出された指先位置を示した説明図である。（実施例１）掌、仮想平面、およびカメラの位置関係を示した説明図である。（実施例１）第２指の屈曲動作を示した説明図である。（実施例１）固定指群およびローカル座標系を示した説明図である。（実施例１）画像上における第２指の屈曲動作を示した説明図である。（実施例１）画像上における第１指の屈曲動作を示した説明図である。（実施例２）開始動作を示した説明図である。（実施例３）基準点と変位特徴点との距離を示した説明図である。（実施例３）基準点と変位特徴点との距離を示した説明図である。（実施例４）

手指を撮像した時系列画像から検出した手指の特徴位置の時系列を解析することで、ポインティング位置およびモード遷移の検出を実現した。

以下、本発明の第１の実施例における、ジェスチャすなわち手指の動作パターン、ならびに同ジェスチャからのポインティング位置およびモード遷移の検出方法について説明する。

カメラで撮像した時系列画像の各画像において、５指全ての指先位置の検出を試み、検出された指先位置を図１に示すとおりＰｆ１〜Ｐｆ５とする。なお、手指を撮像した画像からの指先位置の検出については、背景および肌の色とは異なる５色を各爪に施した手指を撮像したカメラの画像において、同５色の各領域を色情報を用いて抽出し、同各領域の重心を対応する指の指先位置とすればよい。

（１）ジェスチャの形態
図２に示すとおり、５指全てを伸展させた状態を基本とする掌Ｈは、カメラＣのレンズ軸に直交する仮想平面πとの略平行およびカメラＣとの一定距離を常時維持し、ポインティングにおいては、固定指群である第１指および第３乃至５指を相対的に固定したまま、同仮想平面π上で同掌Ｈを移動させ、モード遷移においては、同固定指群を相対的に固定したまま、変位指である第２指において、例えば図３（Ａ）および（Ｂ）に示すように、遠位指節間関節、近位指節間関節、および中手指節間関節、もしくはこれらの一部を屈曲伸展させる。

なお、第２指を除く指群のうちの２本以上の指を固定指群とすればよいので、第１指および第５指、もしくは第３乃至５指を固定指群としてもよい。

（２）ポインティング位置の検出方法
図４（Ａ）に示すとおり、前記固定指群の指先位置の平均位置Ｐｃをポインティング位置とする。なお、精度を高めるためにはできるだけ多数の指先位置を用いることが望ましいが、一方で各指の運動に係わる生理的特性もあることから、これらを総合的に考慮した重み付き平均を用いてもよい。例えば、固定指群のうちに、変位指をモード遷移のために動作させた際にわずかに変位する指があるときには、同わずかに変位する指の重みを小さくすればよい。

（３）モード遷移の検出方法
まず、手指を撮像した時系列画像の各画像において、図４（Ａ）に示すとおり、前記固定指群のうちの第３乃至５指の指先位置との距離の２乗和が最小となる直線を直線Lｆ、前記平均位置Ｐｃから同直線Lｆへの垂線の足をＰｖ０、第１指の指先位置Ｐｆ１から同直線Lｆへの垂線の足をＰｖ１として求め、図４（Ｂ）に示すとおり、同Ｐｖ０から同Ｐｖ１に向かうベクトルをＶ、同ベクトルＶを右に５０度回転させた後に正規化した単位ベクトルをＶx、同単位ベクトルＶxを左に９０度回転させた単位ベクトルをＶｙとする。

そして、前記平均位置Ｐｃを原点とし、同単位ベクトルＶxおよびＶyをそれぞれＸ座標およびＹ座標の基底ベクトルとするローカル座標系をローカル座標系Ｌｃとする。

次に、図５（Ａ）に示すように、前記第２指の指先位置Ｐｆ２の同ローカル座標系ＬｃにおけるＸ座標値をｆxとし、前記手指を撮像した時系列画像から同ｆｘの時系列を求める。なお、直線Lｆを求める際には、精度を高めるためにはできるだけ多数の指先位置を用いることが望ましいが、一方で各指の運動に係わる生理的特性もあることから、これらを総合的に考慮した重み付き２乗和を用いてもよい。例えば、固定指群のうちに、変位指をモード遷移のために動作させた際にわずかに変位する指があるときには、同わずかに変位する指の重みを小さくすればよい。

そして、第１のモードであるときに、同ｆｘが第１の閾値より小さいときに、第２のモードに遷移し、第２のモードであるときに、同ｆｘが第１の閾値より大きい第２の閾値より大きいときに、第１のモードに遷移する。

もしくは、第１のモードであるときに、ある時点Ｔ１の同ｆｘから同時点Ｔ１より所定時間前の時点Ｔ０の同ｆｘを減じた値が第１の閾値より小さいときに、第２のモードに遷移し、第２のモードであるときに、ある時点Ｔ１の同ｆｘから同時点Ｔ１より所定時間前の時点Ｔ０の同ｆｘを減じた値が第２の閾値より大きいときに、第１のモードに遷移する。閾値については、手指の運動に係わる各筋肉の筋力等が異なることから、第１の閾値の絶対値を第２の閾値の絶対値より大きくしてもよい。

もしくは、第１のモードであるときに、ある時点Ｔ１の同ｆｘから同時点Ｔ１より以前のある時点Ｔ０の同ｆｘを減じた値が第１の閾値より小さく、かつ、同時点Ｔ０から同時点Ｔ１の区間における同ｆｘが単調減少である場合に第２のモードに遷移し、第２のモードであるときに、ある時点Ｔ１の同ｆｘから同時点Ｔ１より以前のある時点Ｔ０の同ｆｘを減じた値が第２の閾値より大きく、かつ、同時点Ｔ０から同時点Ｔ１の区間における同ｆｘが単調増加である場合に第１のモードに遷移する。閾値については、手指の運動に係わる各筋肉の筋力等が異なることから、第１の閾値の絶対値を第２の閾値の絶対値より大きくしてもよい。

なお、前記直線Lｆの算出において前記固定指群とは異なる固定指群を選択した場合は、モード遷移の際の第２指の変位の方向と前記単位ベクトルＶxの方向が略平行となるように、単位ベクトルＶxを求める際のベクトルＶの回転角度を定めればよい。

また、本実施例のようにローカル座標系Ｌｃを定めた場合、第２指を屈曲させると同ｆｘは図５（Ｂ）に示すとおり減少するが、単位ベクトルＶxの向きを逆に定めた場合には、同ｆｘは増加することになる。その場合には、前記のＸ座標値ｆｘの大小判定および時系列の増加減少判定を逆にすればよい。

なお、固定指群の指先位置の代わりに、固定指群の各指間の又の位置を用いてもよい。

以下、本発明の第２の実施例における、ジェスチャすなわち手指の動作パターン、ならびに同ジェスチャからのポインティング位置およびモード遷移の検出方法について説明する。なお、指先位置の検出については、実施例１と同様である。

（１）ジェスチャの形態
固定指群が第２乃至５指であり変位指が第１指であることを除いて、実施例１と同様である。

なお、第１指を除く指群のうちの２本以上の指を固定指群とすればよいので、第２指および第５指、もしくは第３乃至５指を固定指群としてもよい。

（２）ポインティング位置の検出方法
図５（Ａ）に示すとおり、実施例１と同様である。

（３）モード遷移の検出方法
直線Lｆを求めるために前記固定指群の指先位置を用いること、単位ベクトルＶxを求めるたのベクトルＶの回転角度が左に１０度であること、変位指が第１指であることを除いて、実施例１と同様である。

以下、本発明の第３の実施例における、システムの使用を開始するための開始動作、システムの使用を終了するための終了動作、ジェスチャすなわち手指の動作パターン、ならびに同ジェスチャからのポインティング位置およびモード遷移の検出方法について説明する。なお、指先位置の検出については、実施例１と同様である。

（１）開始動作
図７に示すように、システムが待機状態であるときに、所定の撮像領域の外にあった掌を同領域の内に入れ、所定枚数の連続する全ての時系列画像において５指全ての指先位置が検出されると、システムは稼働状態に遷移する。この状態遷移を生じさせる動作を開始動作とする。なお、開始動作においては、伸展した５指全ての相対的位置姿勢は固定したままとする。

稼働状態に遷移する際に、稼働状態におけるモード遷移検出で用いるための、数式１のＥ_ｋ、ｉで示す平均位置から成るテンプレートを求める。平均位置Ｅ_ｋ、ｉは、時刻ｉ−Ｎ＋１から時刻ｉまでのＮ枚の画像に対して、各時刻jにおける第ｋ指の指先位置Ｐ_ｋ、ｊに各時刻ｊにおける回転および平行移動変換Ｔ_ｊを施した位置の平均である。ここで、時刻ｉは稼働状態に遷移した時刻である。

なお、各Ｔ_ｊは数式２のＶ_ｉで示す、同変換Ｔ_ｊを施した指先位置の分散を最小にするものとする。

（２）終了動作
前記開始動作とは逆に、システムが稼働状態であるときに、所定の撮像領域の内にあった掌を同領域の外に出し、所定枚数の時系列画像の全ての画像において５指のいずれの指先位置も検出されないと、システムは待機状態に遷移する。この状態遷移を生じさせる動作を終了動作とする。

（３）ジェスチャの形態
実施例１と同様である。

（４）ポインティング位置の検出方法
実施例１と同様である。

（５）モード遷移の検出方法
システムが稼働状態にあるときに、時系列画像の各画像において、数式３のｄ_２、ｉで示す基準点と変位指の指先位置との距離を求め、同距離の時系列を解析することでモード遷移を検出する。距離ｄ_２、ｉは、稼働状態に遷移した時刻ｔ０における第２指の前記平均位置Ｅ_２、ｔ０に時刻ｉにおける回転移動変換Ｔ_ｉを施した位置と、時刻ｉにおける第２指の指先位置との距離である。図８（Ａ）に、時刻ｔ０における前記平均位置Ｅ_ｋを示すとともに、図８（Ｂ）に、時刻ｉにおける５指の指先位置Ｐ_kを示す。

なお、Ｔ_ｉは数式４のＶ_ｉで示す、同変換Ｔ_ｉを施した平均位置Ｅ_kと指先位置Ｐ_kとの距離の２乗和を最小にするものとする。図８（Ｃ）に、時刻ｔ０における前記平均位置Ｅ_ｋに前記変換Ｔ_ｉを施した位置および前記指先位置Ｐ_kを重ねて示す。特に、第２指の平均位置Ｅ_ｋに前記変換Ｔ_ｉを施した位置を同図（Ｃ）のＴ（Ｅ２）で示す。また、前記距離ｄ_２、ｉを同図（Ｃ）のｄで示す。

そして、第１のモードであるときに、同ｄが第１の閾値より大きいときに、第２のモードに遷移し、第２のモードであるときに、同ｄが第１の閾値より小さい第２の閾値より小さいときに、第１のモードに遷移する。

もしくは、第１のモードであるときに、ある時点Ｔ１の同ｄから同時点Ｔ１より所定時間前の時点Ｔ０の同ｄを減じた値が第１の閾値より大きいときに、第２のモードに遷移し、第２のモードであるときに、ある時点Ｔ１の同ｄから同時点Ｔ１より所定時間前の時点Ｔ０の同ｄを減じた値が第２の閾値より小さいときに、第１のモードに遷移する。閾値については、手指の運動に係わる各筋肉の筋力等が異なることから、第１の閾値の絶対値を第２の閾値の絶対値より大きくしてもよい。

もしくは、第１のモードであるときに、ある時点Ｔ１の同ｄから同時点Ｔ１より以前のある時点Ｔ０の同ｄを減じた値が第１の閾値より大きく、かつ、同時点Ｔ０から同時点Ｔ１の区間における同ｄが単調増加である場合に第２のモードに遷移し、第２のモードであるときに、ある時点Ｔ１の同ｄから同時点Ｔ１より以前のある時点Ｔ０の同ｄを減じた値が第２の閾値より小さく、かつ、同時点Ｔ０から同時点Ｔ１の区間における同ｄが単調減少である場合に第１のモードに遷移する。閾値については、手指の運動に係わる各筋肉の筋力等が異なることから、第１の閾値の絶対値を第２の閾値の絶対値より大きくしてもよい。

以下、本発明の第４の実施例における、システムの使用を開始するための開始動作、システムの使用を終了するための終了動作、ジェスチャすなわち手指の動作パターン、ならびに同ジェスチャからのポインティング位置およびモード遷移の検出方法について説明する。なお、指先位置の検出については、実施例１と同様である。

（１）開始動作
実施例３と同様である。ただし、図９（Ａ）に示すとおり、実施例１における指先位置Ｐｆ１〜Ｐｆ５の代わりに前記平均位置Ｅ_１〜Ｅ_５を用いてローカル座標系Ｌｃを求め、同ローカル座標系Ｌｃにおける平均位置Ｅ２の位置ベクトルＶｅ２を求めておく。

（２）終了動作
実施例３と同様である。

（３）ジェスチャの形態
実施例３と同様である。

（４）ポインティング位置の検出方法
実施例３と同様である。

（５）モード遷移の検出方法

システムが稼働状態にあるときに、図９（Ｂ）のＡＥ２で示す基準点と変位指の指先位置Ｐｆ２との距離ｄを求め、同距離ｄの時系列を解析することでモード遷移を検出する。同基準点ＡＥ２は、実施例１と同様に求めたローカル座標系Ｌｃにおける前記位置ベクトルＶｅ２で定まる位置である。同距離ｄの時系列からのモード遷移の検出は、実施例３と同様である。

Ｐｆ１手指の特徴である第１指の指先位置
Ｐｆ２手指の特徴である第２指の指先位置
Ｐｆ３手指の特徴である第３指の指先位置
Ｐｆ４手指の特徴である第４指の指先位置
Ｐｆ５手指の特徴である第５指の指先位置
Ｈ掌
π 仮想平面
Ｃカメラ
Ｌｆ固定指群の各指先位置を基にして定まる直線
Ｐｖ０ある所定の固定指の指先位置からの直線Ｌｆへの垂線の足
Ｐｖ１別の所定の固定指の指先位置からの直線Ｌｆへの垂線の足
Ｐｃ固定指群の各指先位置を基にして定まるポインティング位置
Ｌｃ固定指群の各指先位置を基にして定まるローカル座標系
ｆｘ変位指の指先位置のローカル座標系ＬｃにおけるＸ座標値
Ｅ１第１指の指先位置の平均位置
Ｅ２第２指の指先位置の平均位置
Ｅ３第３指の指先位置の平均位置
Ｅ４第４指の指先位置の平均位置
Ｅ５第５指の指先位置の平均位置
ｄ基準点と第２指の指先位置との距離
Ｖｅ２第２指の指先位置の平均位置のローカル座標系Ｌｃにおける位置ベクトル
ＡＥ_２基準位置

Claims

手指を撮像した時系列画像の各画像における手指の特徴点を対象として、相対的に固定な２個以上の特徴点である固定特徴点群および同固定特徴点群に対して相対的に変位する１個の特徴点である変位特徴点があって、
同固定特徴点群を用いてポインティング位置を算出し、
同固定特徴点群に対して相対的に位置姿勢が定まるローカル座標系における同変位特徴点の座標値の時系列において、
第１のモードであるときに、同座標値が第１の閾値より小さいときに、第２のモードに遷移し、第２のモードであるときに、同座標値が第１の閾値より大きい第２の閾値より大きいときに、第１のモードに遷移する、
もしくは、第１のモードであるときに、同座標値の差分が第１の閾値より小さいときに、第２のモードに遷移し、第２のモードであるときに、同座標値の差分が第２の閾値より大きいときに、第１のモードに遷移する、
ことを特徴とする、ジェスチャによるポインティング方法。
手指を撮像した時系列画像の各画像における手指の特徴点を対象として、相対的に固定な２個以上の特徴点である固定特徴点群および同固定特徴点群に対して相対的に変位する１個の特徴点である変位特徴点があって、
同固定特徴点群を用いてポインティング位置を算出し、
同固定特徴点群に対して相対的に位置が定まる基準点と同変位特徴点との距離の時系列において、
第１のモードであるときに、同距離が第１の閾値より大きいときに、第２のモードに遷移し、第２のモードであるときに、同距離が第１の閾値より小さい第２の閾値より小さいときに、第１のモードに遷移する、
もしくは、第１のモードであるときに、同距離の差分が第１の閾値より大きいときに、第２のモードに遷移し、第２のモードであるときに、同距離の差分が第２の閾値より小さいときに、第１のモードに遷移する、
ことを特徴とする、ジェスチャによるポインティング方法。
請求項１に記載のローカル座標系が、同固定特徴点群の各点との距離の所定の重み付き２乗和が最小となる直線と同じ方向、同固定特徴点群のうちの所定の２点からの同直線への垂線の２個の足から定まる向き、および同固定特徴点群の各点の所定の重み付き平均である位置から定まる、
ことを特徴とする、ジェスチャによるポインティング方法。
請求項２に記載の基準点が、各画像において求められた固定特徴点群に対して、固定特徴点群に対応する固定テンプレート点群と変位特徴点に対応する変位テンプレート点とから構成されるテンプレートを、同固定テンプレート点と同固定特徴点との距離の所定の重み付き２乗和が最小となるように配置したときの同変位テンプレート点である、
ことを特徴とする、ジェスチャによるポインティング方法。
請求項４に記載の固定テンプレート点群を請求項３に記載の固定特徴点群としたときに定まるローカル座標系における請求項４に記載の変位テンプレート点の位置ベクトルがあって、
請求項２に記載の基準点が、各画像において求められた固定特徴点群を基にして請求項３に記載の方法で求められるローカル座標系における前記位置ベクトルの終点である、
ことを特徴とする、ジェスチャによるポインティング方法。
請求項１乃至５の何れか１項に記載の方法を実行するコンピュータ。
請求項１乃至５の何れか１項に記載の方法をコンピュータに実行させることを特徴とするプログラム。
請求項７に記載のプログラムを記憶していることを特徴とする記録媒体。