JP2016184203A - ポインティング入力装置 - Google Patents

Abstract

【課題】指をさし示すジェスチャから特定されるポインティング位置が、ユーザの意図する位置からずれにくいポインティング入力装置を提供する。【解決手段】手による非接触入力がなされるポインティング対象領域のポインティング位置を検知するポインティング入力装置１であって、手の姿勢を検出する第１センサ１ｂと、手からポインティング対象領域までの距離を取得する第２センサ１ｃと、第１センサ１ｂにより検出された手の姿勢から手の中手骨の姿勢を解析する解析部１ｄと、解析部１ｄにより解析された中手骨の姿勢に基づいて手によるポインティング方向を特定するポインティング方向特定部１ｅと、ポインティング方向特定部１ｅにより特定されたポインティング方向と、第２センサ１ｃにより取得された距離Ｌとに基づいて、ポインティング入力位置を特定するポインティング位置特定部１ｆとを備えている。【選択図】図１

Description

本発明は、手による非接触のポインティング入力を検知する技術に関する。

コンピュータ機器への入力内容を認識してコンピュータ機器に伝達するインタフェースであるポインティング入力装置として、ユーザのジェスチャから入力内容を認識する構成のものがある。特許文献１には、手の甲の動きまたは姿勢と指先の姿勢とをセンサにより検出して手の甲に対する指先の角度位置を決定する、手形状の推定手法が開示されている。そして、当該手法で得た指先の角度位置に基づいて、指をさすジェスチャを解析し、入力コマンドへの変換を行うようにした入力装置を開示している。特許文献２には、ユーザの肢（例えば、指、手、腕）の画像を取り込んで、当該肢の位置を求めることによりポインティングベクトルを決定する車載システムが開示されている。

特開２００８−１１２４５９号公報 特開２０１２−６９１１４号公報

指をさすジェスチャを上記従来技術のように指のさす方向を認識し、当該指のさす方向にポインティング位置を特定することもできる。しかしながら、指をさすジェスチャにおいては、指の姿勢に個人差が存在する。また、疲労や慣れによって指の伸縮の仕方が変化するため、同じ人のジェスチャにも指の姿勢にばらつきが発生する。したがって、指のさす方向にポインティング位置を特定する場合には、特定したポインティング位置がユーザの意図した位置からずれやすくなる虞がある。

本発明は、上記課題に鑑み、指をさし示すジェスチャから特定されるポインティング位置が、ユーザの意図する位置からずれにくいポインティング入力装置を提供するものである。

第１の発明は、手による非接触入力がなされるポインティング対象領域のポインティング位置を検知するポインティング入力装置であって、前記手の姿勢を検出する検出部と、前記手から前記ポインティング対象領域までの距離を取得する距離取得部と、前記検出部により検出された前記手の姿勢から前記手の中手骨の姿勢を解析する解析部と、前記解析部により解析された前記中手骨の姿勢に基づいて前記手によるポインティング方向を特定する方向特定部と、前記方向特定部により特定された前記ポインティング方向と、前記距離取得部により取得された前記距離とに基づいて、前記ポインティング位置を特定する位置特定部とを備えている。

第１の発明によれば、検出部が手の姿勢を検出し、解析部が検出された手の姿勢から手の中手骨の姿勢を解析する。そして、解析された中手骨の姿勢から、方向特定部が手によるポインティング方向を特定する。特定されたポインティング方向と距離取得部が取得した手からポインティング対象領域までの距離とに基づいて、位置特定部がポインティング対象領域上でのポインティング入力位置を特定する。中手骨の可動範囲の個人差は小さいので、中手骨の姿勢に個人間のばらつきは生じにくい。また、同じ人の中手骨の姿勢にもばらつきは生じにくい。したがって、このように特定されるポインティング方向の確からしさは大きい。これにより、特定されるポインティング位置は、ユーザの意図する位置からずれにくい。

本発明によれば、指をさし示すジェスチャから特定されるポインティング位置が、ユーザの意図する位置からずれにくいポインティング入力装置を提供することができる。

本発明の実施形態に係るポインティング入力装置の構成を示すブロック図 本発明の実施形態に係るポインティング入力を説明する図 本発明の実施形態に係るポインティング位置の算出原理を示す図 本発明の実施形態に係るポインティング位置の特定処理手順を説明するフローチャート 本発明の実施形態の変形例に係るポインティング位置の特定処理を説明する図 本発明の実施形態の効果を説明する図であって、（ａ）〜（ｃ）は第１の比較例からの改善を示す図 本発明の実施形態の効果を説明する図であって、第２の比較例からの改善を示す図

以下、図１〜図７を参照しながら、実施の形態について詳細に説明する。
[概要]
本実施形態に係るポインティング入力装置は、手による非接触のポインティング入力に対して、手の姿勢を検出し、当該検出結果から、ばらつきが生じにくい中手骨の姿勢を解析する。そして、当該中手骨の姿勢に基づいてポインティング方向を特定する。次いで、特定されたポインティング方向と、手とポインティング対象領域との間の距離とに基づいて、当該領域上でのポインティング位置を特定する。

[ポインティング入力装置の構成]
図１に、本実施形態に係るポインティング入力装置１の構成を示す。図２に、ポインティング位置の算出原理を説明する図を示す。図３に、当該算出原理に用いられるベクトル図を示す。

図１に示すように、ポインティング入力装置１は、表示部１ａ、第１センサ（検出部）１ｂ、第２センサ１ｃ、解析部１ｄ、ポインティング方向特定部（方向特定部）１ｅ、ポインティング位置特定部（位置特定部）１ｆ、および、距離情報記憶部１ｇを備えている。解析部１ｄ、ポインティング方向特定部１ｅ、および、ポインティング位置特定部１ｆはコンピュータの構成を有するＥＣＵ１１により実現される。また、第２センサ１ｃおよび距離情報記憶部１ｇにより、距離取得部が構成されている。

表示部１ａは、例えば車載ディスプレイからなり、ＥＣＵ１１による制御にしたがって、ユーザにポインティング入力を促す画像を表示する。当該画像には、ポインティング入力がなされるインタフェース領域（ポインティング対象領域）αが含まれている。後述するＥＣＵ１１は、インタフェース領域αに手のジェスチャによるポインティング入力がなされると、入力箇所に応じた所定のコマンドを発行するようになっている。

第１センサ１ｂは、図２に示すように、手に装着される装着型センサである。第１センサ１ｂは、親指、人差し指、中指、薬指、および、小指に順に対応した中手骨Ｍ１、中手骨Ｍ２、中手骨Ｍ３、中手骨Ｍ４、および、中手骨Ｍ５を検出することで、ユーザの手（手の平または甲）の姿勢を検出する。これら中手骨の検出は、第１センサ１ｂの位置を基準にして定義されたｘｙｚ座標空間においてこれら中手骨の位置変化が検出されることにより行われる。図２では、インタフェース領域αはｘｙ平面上にあり、第１センサ１ｂすなわち手は、インタフェース領域αからｚ軸方向に距離Ｌだけ離れている。第１センサ１ｂは、これら中手骨の位置変化を検出し、検出結果を逐次出力する。

第２センサ１ｃは、上記距離Ｌを測定する測距センサである。第２センサ１ｃは、任意の場所に設置可能であり、第１センサ１ｂと一体に設けられていてもよいし、表示部１ａに設けられていてもよい。第２センサ１ｃにより測定された距離Ｌの情報は、距離情報記憶部１ｇに記憶される。

解析部１ｄは、第１センサ１ｂから逐次入力される中手骨の位置変化の検出結果から、これら中手骨の位置座標を逐次算出することにより、中手骨の姿勢を解析する。解析部１ｄは、ポインティング入力装置１の初期状態において第１センサ１ｂの存在する位置を、上記ｘｙｚ空間での基準位置とする。そして、解析部１ｄは、当該基準位置に対する中手骨の各検出部位の相対的な位置変化を追跡する。

ポインティング方向特定部１ｅは、算出された中手骨の現時点の位置座標から、中手骨Ｍ１、中手骨Ｍ２、および、中手骨Ｍ５の手首側端部および指先側端部の各位置座標を抽出する。図２に、中手骨Ｍ１、中手骨Ｍ２、および、中手骨Ｍ５の手首側端部を順に、点Ｐ_Ｔｂ、Ｐ_Ｉｂ、Ｐ_Ｐｂで示し、中手骨Ｍ１、中手骨Ｍ２、および、中手骨Ｍ５の指先側端部を順に、点Ｐ_Ｔｆ、Ｐ_Ｉｆ、Ｐ_Ｐｆで示す。そして、図３に示すように、点Ｐ_Ｔｂから点Ｐ_Ｔｆに至るベクトルＶ１（ベクトル記号の表記を省略）と点Ｐ_Ｉｂから点Ｐ_Ｉｆに至るベクトルＶ２（ベクトル記号の表記を省略）とで作る平面が、点Ｐ_Ｐｂから点Ｐ_Ｐｆに至るベクトルＶ５（ベクトル記号の表記を省略）と交わる点を点Ｏとする。点Ｏをポインティングベクトルの起点とする。なお、ここでは、説明の簡略化のために点Ｐ_Ｔｂと点Ｐ_Ｉｂと点Ｐ_Ｐｂとは互いに一致するものとし、したがって、これらの一致点が点Ｏになるものとする。

図３に示すように、ポインティング方向特定部１ｄは、線分Ｐ_ＴｆＰ_Ｐｆを２等分する点Ｑを求める。次に、ポインティング方向特定部１ｄは、線分Ｐ_ＩｆＱを２等分する点Ｐ_Ｘを求める。こうして、ポインティング方向特定部１ｄは、点Ｏから点Ｐ_Ｘに至る推定ベクトルＶ_Ｐ（ベクトル記号の表記を省略）を生成する。すなわち、ベクトルＶ_Ｐは、次の（１）式で表される。

ポインティング方向特定部１ｅは、推定ベクトルＶ_Ｐの方向がポインティング方向であると特定する。上述の推定ベクトルＶ_Ｐの算出では、人差し指の中手骨Ｍ２のみならず親指の中手骨Ｍ１および小指の中手骨Ｍ５の位置座標をも使用している。親指と人差し指と小指とにより手の平（または甲）の外郭が形成されるため、これら３指の中手骨の位置座標を用いると、人差し指の中手骨Ｍ２の位置座標のみを用いる場合よりも高精度にユーザの意図するポインティング方向を特定することができる。また、上述の推定ベクトルＶ_Ｐの算出では、（１）式から分かるように、ポインティングの意味合いが強い人差し指のベクトルの重み（＝１／２）を、親指および小指のベクトルの重み（＝１／４）よりも大きくしている。

ポインティング位置特定部１ｆは、図２に示すように、ポインティング方向特定部１ｅによって生成された推定ベクトルＶ_Ｐをインタフェース領域αと交わるまで延長する。そして、ポインティング位置特定部１ｆは、延長された推定ベクトルＶ_Ｐとインタフェース領域αとの交点Ｐ_Ｅがポインティング位置であると特定する。すなわち、点Ｏから交点Ｐ_Ｅに至るベクトルをポインティングベクトルとする。交点Ｐ_Ｅを求めるために、ポインティング位置特定部１ｆは、距離情報記憶部１ｇに記憶された距離Ｌの情報を読み出して推定ベクトルＶ_Ｐのｚ軸方向成分と距離Ｌとの比率を求め、当該ｚ軸方向成分が距離Ｌに等しくなるよう推定ベクトルＶ_Ｐをスカラー倍する。なお、ポインティング位置に要求される分解能に応じて、交点Ｐ_Ｅの近隣を含めてある程度の面積を有するようにポインティング位置の特定を行ってもよい。

ポインティング入力装置１の初期状態において、交点Ｐ_Ｅはインタフェース領域αの原点（例えば画面の中心）に定められる。その後に特定されるポインティング位置は、中手骨の姿勢の追跡に伴って生じる、交点Ｐ_Ｅの原点からの相対的な位置変化が累積したものである。

距離情報記憶部１ｇは、メモリなどの記憶媒体からなり、第２センサ１ｃにより測定された距離Ｌの情報を逐次記憶する。距離情報記憶部１ｇは、ＥＣＵ１１の一部を構成していてもよい。

なお、表示部１ａは必ずしも備えられていなくてよく、車外の景色など任意の領域がポインティング対象領域となり得る。車外の景色をポインティング対象領域とする場合に、例えば、測定される距離Ｌに代えて、距離情報記憶部１ｇに予め記憶された定数からなる距離が使用される。

また、第１センサ１ｂは、ユーザの手（手の平または甲）を撮像により検出するカメラであってもよい。この場合の第１センサ１ｂによる手の検出結果は手の撮像データである。第１センサ１ｂがカメラである場合には、解析部１ｄは、第１センサ１ｂから入力される撮像データを画像解析することにより、中手骨の位置座標を算出する。また、ポインティング位置を特定する処理のアルゴリズムは、左右のいずれの手にも適用可能である。

[ポインティング位置の特定処理手順]
次に、図４のフローチャートを参照して、ポインティング入力装置１のＥＣＵ１１が実行するポインティング位置の特定処理手順を説明する。当該手順は、ＥＣＵ１１が有するコンピュータにより行われるものであり、当該コンピュータに含まれるプロセッサが記憶媒体に格納されたプログラムを読み出して実行することにより実現される。

まず、ステップＳ１０１において、ポインティング方向特定部１ｅは、第１センサ１ｂから手の姿勢の検出結果が入力されたか否かを判定する。当該検出結果が入力されたと判定されるまでステップＳ１０１を繰り返し、当該検出結果が入力されたと判定されるとステップＳ１０２へ進む。

次いで、ステップＳ１０２において、解析部１ｄは、入力された手の姿勢の検出結果から、中手骨Ｍ１、中手骨Ｍ２、中手骨Ｍ３、中手骨Ｍ４、および、中手骨Ｍ５の位置座標を算出する。続くステップＳ１０３において、ポインティング方向特定部１ｅは、算出された位置座標の中から、中手骨Ｍ１、中手骨Ｍ２、および、中手骨Ｍ５の位置座標を抽出する。続くステップＳ１０４において、ポインティング方向特定部１ｅは、中手骨Ｍ１、中手骨Ｍ２、および、中手骨Ｍ５の位置座標から、推定ベクトルＶ_Ｐを生成する。

次いで、ステップＳ１０５において、ポインティング位置特定部１ｆは、距離情報記憶部１ｇから距離Ｌの情報を読み出して取得する。そして、続くステップＳ１０６において、ポインティング位置特定部１ｆは、距離Ｌに基づいて、推定ベクトルＶ_Ｐをインタフェース領域αと交わるまで延長し、交点Ｐ_Ｅをポインティング位置であると特定する。以上により、当該フローは終了する。

[変形例]
図５に、本実施形態の変形例を示す。当該変形例は、ポインティング位置が中手骨の位置座標から求まることから、指の動作をその他の入力内容として認識するものである。図５（ａ）に、ポインティング方向Ｄｒにおいてポインティング位置が特定されていながら、人差し指のさす方向が、ポインティング方向Ｄ０よりも下方に向く方向Ｄａに向いている状態を示す。当該人差し指の姿勢は第１センサ１ｂまたはその他のセンサにより検出される。この状態では、インタフェース領域α上のポインティング位置が選択状態とされるが、ポインティング入力は確定しない。図５（ｂ）に、人差し指のさす方向が図５（ａ）の方向Ｄａからポインティング方向Ｄｒにほぼ平行な方向Ｄｂに変えられた状態を示す。当該人差し指の姿勢が検出されると、選択状態にあったポインティング入力が確定する。

［実施の形態の効果等］
次に、本実施形態による効果を説明する。

図６および図７を参照して、本実施形態の効果を比較例とともに説明する。図６において、指先の向きおよび第３関節の検出結果から求めた人差し指の指す方向をＤ１、ユーザの意図する方向をＤ０とする。図６（ａ）には、方向Ｄ１が方向Ｄ０と一致している標準の指さし状態が示されている。図６（ｂ）には、人差し指が反った状態に指されているために、方向Ｄ１が方向Ｄ０よりも上方にずれている状態が示されている。図６（ｃ）には、人差し指の指先が垂れているために、方向Ｄ１が方向Ｄ０よりも下方にずれている状態が示されている。図７には、肩および指の位置を使用して求めた人差し指の指す方向Ｄ２が、方向Ｄ０よりも下方にずれている状態が示されている。

図６（ａ）、図６（ｂ）、および、図７のように、指の検出結果を用いて特定したポインティング位置は指の姿勢のばらつきにより、方向Ｄ０からずれやすい。これに対して、本実施形態のように中手骨の検出結果に基づいて特定したポインティング位置は、方向Ｄ０とほぼ一致する。

以上のように、本実施形態のポインティング入力装置によれば、手の姿勢を検出し、当該検出結果から手の中手骨の位置座標を算出することにより中手骨の姿勢を解析する。そして、当該位置座標に基づいて推定ベクトルＶ_Ｐを生成することにより、当該手によるポインティング方向を特定する。さらに、特定されたポインティング方向と、手とインタフェース領域αとの間の距離Ｌとに基づいて、インタフェース領域α上でのポインティング位置（交点Ｐ_Ｅ）を特定する。中手骨の可動範囲の個人差は小さいので、中手骨の姿勢に個人間のばらつきは生じにくい。また、同じ人の中手骨の姿勢にもばらつきは生じにくい。したがって、このように特定されるポインティング方向の確からしさは大きい。これにより、特定されるポインティング位置は、ユーザの意図する位置からずれにくい。以上により、指をさし示すジェスチャから特定されるポインティング位置が、ユーザの意図する位置からずれにくいポインティング入力装置を提供することができる。

本発明は、非接触で操作入力可能な画面を備えた車載機器などに適用可能である。

１ ポインティング入力装置
１ａ 表示部
１ｂ 第１センサ
１ｃ 第２センサ
１ｄ 解析部
１ｅ ポインティング方向特定部
１ｆ ポインティング位置特定部
１ｇ 距離情報記憶部
α インタフェース領域
Ｄｒ ポインティング方向
Ｄａ、Ｄｂ、Ｄ０、Ｄ１、Ｄ２ 方向
Ｌ 距離
Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５ 中手骨
Ｐ_Ｅ 交点
Ｏ、Ｐ_Ｔｂ、Ｐ_Ｔｆ、Ｐ_Ｉｂ、Ｐ_Ｉｆ、Ｐ_Ｐｂ、Ｐ_Ｐｆ、Ｐ_Ｘ、Ｑ 点
Ｖ１、Ｖ２、Ｖ５ ベクトル
Ｖ_ｐ 推定ベクトル

Claims (1)

1. 手による非接触入力がなされるポインティング対象領域のポインティング位置を検知するポインティング入力装置であって、
   前記手の姿勢を検出する検出部と、
   前記手から前記ポインティング対象領域までの距離を取得する距離取得部と、
   前記検出部により検出された前記手の姿勢から前記手の中手骨の姿勢を解析する解析部と、
   前記解析部により解析された前記中手骨の姿勢に基づいて前記手によるポインティング方向を特定する方向特定部と、
   前記方向特定部により特定された前記ポインティング方向と、前記距離取得部により取得された前記距離とに基づいて、前記ポインティング位置を特定する位置特定部とを備えているポインティング入力装置。

Images