JP2020190941A - ポインティング入力装置 - Google Patents

Abstract

【課題】ユーザの意図する位置に対するポインティング位置のずれを小さくすることのできるポインティング入力装置を提供する。【解決手段】操作領域５１ａに対して、非接触となる操作者のポインティングジェスチャを用いて、入力操作を行うポインティング入力装置において、操作者の体の姿勢を取得する取得部１１０と、操作領域に対するポインティング位置を特定して、所定機器５０に対する入力操作を行う制御部１２０と、を備え、操作領域には、ポインティング位置を決定するための、水平方向軸および垂直方向軸による２軸座標が予め定義されており、制御部は、ポインティング位置を特定するにあたって、２軸座標のうち、水平方向での座標位置ｘと垂直方向での座標位置ｙとを、それぞれ操作者の異なる人体部位を用いて算出する。【選択図】図１

Description

本発明は、ユーザのポインティングジェスチャに基づいて所定の機器に対する入力操作を行うポインティング入力装置に関するものである。

従来のポインティング入力装置として、例えば、特許文献１に記載されたものが知られている。特許文献１のポインティング入力装置では、人の手の姿勢から中手骨の姿勢を解析して、ポインティング対象領域に対するポインティング方向を特定すると共に、手からポインティング対象領域までの距離を解析する。そして、ポインティング方向と距離とに基づいて、ポインティング対象領域におけるポインティング位置（ユーザの意図する位置）を特定するようにしている。

中手骨の可動範囲の個人差は小さいので、中手骨の姿勢に個人間のばらつきは生じにくく、また同じ人の中手骨の姿勢にもばらつきが生じにくい。よって、特定されるポインティング方向の確からしさは大きくなり、特定されるポインティング位置は、ユーザの意図する位置からずれにくくなるようにしている。

特開２０１６−１８４２０３号公報

しかしながら、上記特許文献１では、ポインティング位置を特定するために中手骨の姿勢を用いるものとしているが、人の手首、肘、肩等の位置にばらつきがあれば、自ずと中手骨の姿勢もばらついて、得られるポインティング位置は、ユーザの意図した位置から大きくずれる可能性がある。

本発明の目的は、上記問題に鑑み、ユーザの意図する位置に対するポインティング位置のずれを小さくすることのできるポインティング入力装置を提供することにある。

本発明は上記目的を達成するために、以下の技術的手段を採用する。

本発明では、操作領域（５１ａ）に対して、非接触となる操作者のポインティングジェスチャを用いて、入力操作を行うポインティング入力装置において、
操作者の体の姿勢を取得する取得部（１１０）と、
操作領域に対するポインティング位置を特定して、所定機器（５０）に対する入力操作を行う制御部（１２０）と、を備え、
操作領域には、ポインティング位置を決定するための、水平方向軸および垂直方向軸による２軸座標（ｘ、ｙ）が予め定義されており、
制御部は、ポインティング位置を特定するにあたって、２軸座標のうち、水平方向での座標位置（ｘ）と、垂直方向での座標位置（ｙ）とを、それぞれ操作者の異なる人体部位を用いて算出することを特徴としている。

この発明によれば、２軸座標（ｘ、ｙ）のうち水平方向と垂直方向とで、それぞれ異なる人体部位を用いることで、個人や個人間等でポインティングジェスチャにおけるばらつきの影響を小さくすることができ、ポインティング位置のずれを小さくすることができる。

尚、上記各手段の括弧内の符号は、後述する実施形態記載の具体的手段との対応関係を示すものである。

第１実施形態におけるポインティング入力装置の車両搭載状態を示す説明図である。 ポインティング入力装置を示すブロック図である。 人体における各種部位の組合せ方向（姿勢）を示す説明図である。 人体における各種部位の組合せ方向（姿勢）を示す一覧表である。 パターンＡのポインティングジェスチャによる入力姿勢を示す説明図である。 パターンＢのポインティングジェスチャによる入力姿勢を示す説明図である。 パターンＣのポインティングジェスチャによる入力姿勢を示す説明図である。 パターンＤのポインティングジェスチャによる入力姿勢を示す説明図である。 図８において左右方向の座標を決定するための要領を示す説明図である。 図８において上下方向の座標を決定するための要領を示す説明図である。 パターンＥのポインティングジェスチャによる入力姿勢を示す説明図である。 図１１において左右方向の座標を決定するための要領を示す説明図である。 図１１において上下方向の座標を決定するための要領を示す説明図である。

以下に、図面を参照しながら本発明を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。各実施形態で具体的に組み合わせが可能であることを明示している部分同士の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても実施形態同士を部分的に組み合せることも可能である。

（第１実施形態）
第１実施形態のポインティング入力装置１００について図１〜図１３を用いて説明する。本実施形態のポインティング入力装置１００は、例えば車両に搭載され、操作者（運転者）の非接触となるポインティングジェスチャ（指差しジェスチャ）による指差し方向に基づいて、各種車両機器５０に対する入力指示を行う装置となっている。ポインティングジェスチャにおける指は、例えば、人差し指とすることができる。

各種車両機器５０としては、例えば、車室内の空調を行う空調装置、自車の現在位置表示あるいは目的地への案内表示等を行うカーナビゲーション装置（以下、カーナビ装置）、テレビ放映、ラジオ放送、ＣＤ／ＤＶＤの再生等を行うオーディオ装置等、がある。尚、各種車両機器５０としては、上記に限らず、ルームランプ装置、後席サンシェード装置、電動シート装置、グローボックス開閉装置等がある。各種車両機器５０は、本発明の所定機器に対応する。

車両には、ウィンドシールドディスプレイ（ＷＳＤ）５１が設けられている。ウィンドシールドディスプレイ５１は、車両のフロントウィンドの所定領域に表示部５１ａを形成して、この表示部５１ａに、各種車両機器５０の作動状態、および操作用の複数のアイコン５１ｂ等を表示（投影）するようになっている。表示部５１ａは、本発明の操作領域に対応する。

表示部５１ａには、操作者のポインティングジェスチャによるポインティング位置（表示部５１ａでの操作者の意図する位置）を決定するための左右方向のｘ座標軸、および上下方向のｙ座標軸による２軸座標（ｘ−ｙ座標）が予め定義されている。左右方向のｘ座標軸は、本発明の水平方向軸に対応し、上下方向のｙ座標軸は、本発明の垂直方向軸に対応する。

ポインティング入力装置１００は、図１、図２に示すように、取得部１１０、および制御部１２０等を備えている。制御部１２０は、取得部１１０によって取得された操作者のポインティングジェスチャの姿勢データ（体の姿勢）、および予め設定された表示部５１ａと取得部１１０（体の姿勢）との位置関係データに基づいて、表示部５１ａにおけるポインティング位置を算出（特定）するようになっている。換言すると、制御部１２０は、例えば、複数のアイコン５１ｂのうち、どのアイコン５１ｂが選択されたかを特定するのである。そして、制御部１２０は、このポインティング位置のデータを各種車両機器５０に出力することで、各種車両機器５０に対する入力指示（入力操作のための指示）を行うようになっている。

つまり、ポインティングジェスチャが行われることで、表示部５１ａにおいてアイコン５１ｂが選択され、各種車両機器５０における作動条件が変更され、表示部５１ａには、操作の結果（作動状態等）が表示されるようになっている。

尚、各種車両機器５０は、ポインティングジェスチャによって、例えば、空調装置であると、設定温度の変更、空調風の風量の変更等が行われ、また、カーナビ装置では、地図の拡大縮小、目的地設定等が行われ、また、オーディオ装置では、テレビ局、ラジオ局の変更、楽曲の選択、音量の変更等が行われる。

取得部１１０は、操作者のポインティングジェスチャ（体の姿勢）を連続的に（時間経過と共に）取得し、ポインティングジェスチャのデータ（体の姿勢データ）として制御部１２０に出力するようになっている。取得部１１０は、操作者の主に上半身における顔、目の位置（視線方向）、および肩、肘、手首、中手骨、指等の姿勢を取得するようになっている。

取得部１１０としては、対象物の輝度画像を形成するカメラ、距離画像を形成する距離画像センサ、あるいはそれらの組合せを用いることができる。カメラとしては、近赤外線を捉える近赤外線カメラ、あるいは可視光を捉える可視光カメラ等がある。また、距離画像センサとしては、例えば、複数のカメラで同時に撮影して視差から奥行方向の情報を計測するステレオカメラ、あるいは、光源からの光が対象物で反射して返るまでの時間で奥行きを計測するＴｏＦ（Time of Flight）カメラ等がある。本実施形態では、取得部１１０としては、上記のように対象物の輝度画像を形成するカメラを用いたものとしている。

制御部１２０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータであり、記憶部１２１、ポインティング位置特定部１２２、および入力制御部１２３等を備えている。

記憶部１２１は、操作者のポインティングの姿勢を判断する際の各種閾値（基準となる各関節部の曲り状態、位置等）を記憶する部位となっている。記憶部１２１に記憶された各種閾値データは、後述するようにポインティング位置特定部１２２がポインティング位置を特定する際に、ポインティング位置特定部１２２によって、参照されるようになっている。

ポインティング位置特定部１２２は、取得部１１０から出力される操作者のポインティングジェスチャのデータと、記憶部１２１に記憶された各種閾値を用いて、操作者のポインティングジェスチャによる実際のポインティング位置を特定する部位となっている（詳細後述）。

尚、操作者によるポインティングジェスチャの姿勢（指差しの方向）は、図３、図４に示すように、主に、人体における各関節部の組合せの方向（および位置等）によって算出されるようになっている。各関節部の組合せの方向として、例えば、以下のように、
１．指の方向
２．中手骨の手首側端部と指先とを結ぶ方向
３．手首と指先とを結ぶ方向
４．肘と指先とを結ぶ方向
５．肩と指先とを結ぶ方向
６．中手骨の方向
７．手首と中手骨の指側の端部とを結ぶ方向
８．肘と中手骨の指側の端部とを結ぶ方向
９．肘と手首とを結ぶ方向
１０．目と指先とを結ぶ方向
等を用いることができる。

入力制御部１２３は、ポインティング位置特定部１２２によって特定されたポインティング位置のデータを、各種車両機器５０に出力する部位となっている。

本実施形態のポインティング入力装置１００は、以上のような構成となっており、以下、作動および作用効果について説明する（図５〜図１３）。

まず、取得部１１０によって操作者のポインティングジェスチャのデータ（姿勢データ）が取得され、取得された姿勢データは、制御部１２０におけるポインティング位置特定部１２２に出力される。

ポインティング位置特定部１２２は、出力された姿勢データと、記憶部１２１にある各種閾値とから、例えば、図５〜図８、図１１の模式図（パターンＡ〜Ｅ）に示すように、適合するポインティングの姿勢を判断し、このポインティングの姿勢に対応する算出方法で実際のポインティング位置を算出して、特定する。以下、ポインティング姿勢の判断の要領と、ポインティング位置の特定要領（ここでは、以下の５つのパターン例）について具体的に説明する。

パターンＡ（図５）
操作者が指先をライフル銃の照準のようにして、操作者の視線上に指先と意図するポインティング位置とを重ねるようにポインティングジェスチャを行うと、ポインティング位置特定部１２２は、目と指先とを結ぶ直線の延長線上で表示部５１ａに交差する点をポインティング位置として特定する。

パターンＢ（図６）
操作者が、例えば手首を曲げない状態で、指によって表示部５１ａ側を指し示す場合、指の向く延長線上で表示部５１ａに交差する点をポインティング位置として特定する。

パターンＣ（図７）
操作者の肘から指先までが一直線上にまっすぐ伸びている場合、ポインティング位置特定部１２２は、操作者の肘と指先とを結ぶ仮想線が、表示部５１ａに交差する点をポインティング位置として特定する。

ここで、操作者のポインティングジェスチャの姿勢データ（操作者の体の姿勢）によっては、操作者の各人体部位の姿勢のばらつき（ポインティング位置のばらつき）が大きくなる場合がある。本実施形態では、各種姿勢に対するポインティング位置の確認実験より、表示部５１ａの２軸座標のうち、左右方向での座標位置ｘと、上下方向での座標位置ｙとを、それぞれ操作者の異なる人体部位を用いてポインティング位置を特定するのがよいことを確認した。代表例として、以下のパターンＤ、パターンＥをもって説明する。

パターンＤ（図８〜図１０）
操作者の視線方向仮想線の近傍の下側に、指先の先端が位置しており、手首が曲がっている場合、ポインティング位置特定部１２２は、以下のように、表示部５１ａにおける左右方向の座標位置ｘと、上下方向の座標位置ｙとからポインティング位置を特定する。尚、視線方向仮想線の近傍というのは、操作者の顔の範囲を視線方向に沿って表示部５１ａ側に投影したときの空間を想定したときに、この想定空間内に指先がかざされている状態（指先が想定空間から、はずれていない状態）を意味している。

即ち、ポインティング位置特定部１２２は、左右方向の座標位置ｘとして、真上から見たとき（投影したとき）の操作者の目と指先とを結ぶ仮想線が、表示部５１ａに交差する点をポインティング位置のｘ座標位置として特定する（図９）。また、ポインティング位置特定部１２２は、上下方向の座標位置ｙとして、指差しをしている指（人差し指）に対応する中手骨の手首側端部と、指先とを結ぶ仮想線が、表示部５１ａに交差する点をポインティング位置のｙ座標位置として特定する（図１０）。

パターンＥ（図１１〜図１３）
操作者の肘が、例えば、車両の肘当て（アームレスト等）５２に当たっている場合、あるいは肘当ての付近にある場合、ポインティング位置特定部１２２は、以下のように、表示部５１ａにおける左右方向の座標位置ｘと、上下方向の座標位置ｙとからポインティング位置を特定する。

即ち、ポインティング位置特定部１２２は、左右方向の座標位置ｘとして、指差しをしている指（人差し指）に対応する中手骨の方向に延ばした仮想線が、表示部５１ａに交差する点をポインティング位置のｘ座標位置として特定する。また、ポインティング位置特定部１２２は、上下方向の座標位置ｙとして、指差しをしている指（人差し指）に対応する中手骨の手首側端部と、指先とを結ぶ仮想線が、表示部５１ａに交差する点をポインティング位置のｙ座標位置として特定する。尚、肘当ての付近というのは、肘が肘当てに当たってはいないが、肘と肘当てとが近接して、あたかも当たっているかのような姿勢となって状態を意味する。

以上のように、本実施形態では、操作者の姿勢に応じて（例えば、パターンＤ、Ｅ）、制御部１２０（ポインティング位置特定部１２２）は、ポインティング位置を特定するにあたって、表示部５１ａにおける２軸座標のうち、水平方向（左右方向）での座標位置ｘと、垂直方向（上下方向）での座標位置ｙとを、それぞれ操作者の異なる人体部位を用いて特定するようにしている。

これにより、個人や個人間等でポインティングジェスチャにおけるばらつきの影響を小さくすることができ、ポインティング位置のずれを小さくすることができる。

（その他の実施形態）
上記実施形態では、ポインティング位置を特定するにあたって、表示部５１ａにおける２軸座標のうち、水平方向（左右方向）での座標位置ｘと、垂直方向（上下方向）での座標位置ｙとを、それぞれ操作者の異なる人体部位を用いるものとして、パターンＤ、Ｅをもって説明した。しかしながら、これに限定されることなく、操作者の所定の姿勢において、図３、図４で説明した、各種人体の各部位の組合せの方向を用いて、ポインティング位置を特定するようにしてもよい。

また、上記実施形態では、操作対象を各種車両機器５０としたが、これに限定されることなく、家庭用や施設用に設けられた機器に適用してもよい。家庭用機器としては、例えば、テレビや、オーディオ等、また、施設用機器としては、例えば、銀行のＡＴＭや、駅の自動券売機等が挙げられる。

また、車両に搭載されるものにおいて、対象となる操作者は、運転者に限らず、助手席者としてもよい。この場合、助手席者も、ジェスチャを行うことで、ポインティング入力装置１００によるジェスチャ検出が行われて、各種車両機器５０の操作が可能となる。

５０ 各種車両機器（所定機器）
５１ａ 表示部（操作領域）
５２ 肘当て
１００ ポインティング入力装置
１１０ 取得部
１２０ 制御部

Claims (5)

1. 操作領域（５１ａ）に対して、非接触となる操作者のポインティングジェスチャを用いて、入力操作を行うポインティング入力装置において、
   前記操作者の体の姿勢を取得する取得部（１１０）と、
   前記操作領域に対するポインティング位置を特定して、所定機器（５０）に対する入力操作を行う制御部（１２０）と、を備え、
   前記操作領域には、前記ポインティング位置を決定するための、水平方向軸および垂直方向軸による２軸座標（ｘ、ｙ）が予め定義されており、
   前記制御部は、前記ポインティング位置を特定するにあたって、前記２軸座標のうち、水平方向での座標位置（ｘ）と、垂直方向での座標位置（ｙ）とを、それぞれ前記操作者の異なる人体部位を用いて算出するポインティング入力装置。
2. 前記制御部は、前記操作者の体の姿勢に応じて、前記ポインティング位置を特定する請求項１に記載のポインティング入力装置。
3. 前記操作領域に対する前記操作者の視線方向仮想線よりも下側に、指差しの先端が位置するとき、
   前記制御部は、前記水平方向での座標位置として、目と指先とを結ぶ方向での座標位置を用いる請求項１または請求項２に記載のポインティング入力装置。
4. 指差し時における前記操作者の手首が曲がっているとき、
   前記制御部は、前記垂直方向での座標位置として、中手骨の手首側端部と、指先とを結ぶ方向での座標位置を用いる請求項３に記載のポインティング入力装置。
5. 指差し時における前記操作者の肘が肘当て（５２）に当たっているとき、または付近にあるとき、
   前記制御部は、前記水平方向での座標位置として、中手骨の方向での座標位置を用いると共に、前記垂直方向での座標位置として、中手骨の手首側端部と指先とを結ぶ方向での座標位置を用いる請求項１または請求項２に記載のポインティング入力装置。

Images