JP2013061848A - 非接触入力装置 - Google Patents

Abstract

【課題】従来のヘッドマウントディスプレイ等の仮想キーによる非接触型のキー入力装置は、キー実行を検出するために、動きセンサや高精度の画像認識処理が必要であった。
【解決手段】手の撮影画像から３本以上の指先を検出したのち、各指に仮想キーを割り当てて表示し、指先の相対的位置からキー操作の実行有無を検出することにより、手（指）を仮想キーの位置へ移動させる必要がなく、タッチパネルや指に装着する動きセンサを用いることなく、仮想キーを割り当てて表示するためキー操作内容を記憶する必要なく、効率よく多種類の操作のキー入力が実現できる。
【選択図】図１

Description

本発明は、携帯電話や携帯端末やヘッドマウントディスプレイ（ＨＭＤ）または、ＨＭＤを含むコンピュータなどの電子機器に用いられる非接触入力装置に関するものである。

ヘッドマウントディスプレイ（HMD）を利用したウェアラブルなコンピュータが、例えば携帯端末やコンピュータ等の進化の形態の一つとして考えられている。ウェアラブルコンピュータにおいては、従来のキー入力やタッチパネルなどの入力手段に代わって、手の動きを検出することよるキー操作や、音声入力などが考案されている。これにより、物理的なキー部品が不要となり、入力操作が簡便となる。

また、従来の携帯端末においても、実画像に付加情報を重ねて表示するＡＲ（Ａｕｇｍｅｎｎｔｅｄ−Ｒｅａｌｉｔｙ）サービスにおいては、表示画面の視野を遮らない非接触入力方法が求められている。

カメラで撮影したユーザの手を含む撮影画像と、撮影画像に重ねて表示したバーチャルキーボードをヘッドマウントディスプレイ上に表示し、カメラで撮影した指の動きを検出することでバーチャルキーボード操作を実現する方法が知られている。（例えば特許文献１または特許文献２）
クリック動作などの指の動きを検出する方法としては、指に振動や位置の変化を正確に検出するセンサを装着し、その変化に応じて従来のキー操作の代わりとする方法などが知られている。

また、センサを装着しないでキー入力を実現する方法として、手の形を画像処理で認識し、認識した形の種類に応じて異なる入力操作を実行する方法がある。（例えば特許文献３）

特開２０００−２９６２１号公報 特開２０００−２２２４１５号公報 特開２０１０−７９３３２号公報

従来の特許文献１や２に記載された、指の動きを検出してクリック動作などのキー操作を実行する方法は、指の動きを検出するため各指にセンサを装着する必要があった。

また、従来特許文献３に記載された方法は、カメラで撮影した手の画像を画像処理で認識することで、センサを装着することなくキー入力が実現できるが、手の形に応じてキー操作を割り当てることから、キー操作の種類を増やすことが困難であった。また、手の形に割り当てられたキー操作をユーザが記憶する必要があった。

本発明は、指にセンサを装着することなく指の動きのみでキー操作を実現するとともに、キー操作内容をいちいち記憶する必要がなく、キー操作の種類を容易に増やすことを目的とする。

次に、上記の課題を解決するための手段について述べる。

本発明は、手を撮影する撮像手段と、前記手を含む第一撮影画像を表示する表示手段と、前記第一撮影画像から複数の指先位置を検出する指先検出手段と、前記指先の動きの変化を検出する指先動き検出手段を有し、前記指先検出手段により三本以上の指先が検出されたときに各指先に異なるキー操作を割り当て、前記第一撮影画像の割り当てられた前記指先の近傍に、前記キー操作を表すアイコンを重ねた第二撮影画像を表示し、前記指先動き検出手段は、前記複数の指先を検出した時点の前記指先の相対位置関係を基準として、前記指先のうちの一つの第一の指先が他の指先に対して相対的にずれたことを検出したときに、前記第一の指先に割り当てられた前記キー操作を実行する非接触入力装置である。

この構成により、指にセンサを装着することなくキー操作を実現するとともに、キー操作内容を記憶する必要がなく、キー操作の種類を増やすことができる。

また、さらに本発明は、前記第二撮影画像上において、前記指先検出手段により検出された前記第一の指先以外の第二の指先と第三の指先を結ぶ直線に対する前記第一の指先の距離が所定距離以上になったことを検出する前記指先動き検出手段を有する。

この構成により、指先のクリック動作の検出が可能となる。

また、本発明は、さらにキーモード変更手段を有し、前記キーモード変更手段は前記指先に割り当てられた前記キー操作の内容を変更する。

この構成により、キー操作の種類を増やすことができる。

また、本発明は、前記キーモード変更手段は、前記指先検出手段で検出された指先のうち一つ以上の前記指先が認識できなくなった時間が所定時間続いたことを検出する。

この構成により、キーモード変更が容易にできる。

また、本発明は、前記キーモード変更手段は、前記第二画像上における前記指先の位置の重心の移動量により変更する。

この構成により、キーモード変更が容易にできる。

また、本発明は、前記第一撮影画像における前記指先検出手段の検出領域を一部に限定する。

この構成により、ユーザが意図しないキー操作を排除することができる。

また、本発明は、前記指先検出手段で検出した前記指先の配列方向の近似直線が前記第二撮影画像の水平ラインに対して、所定角度以上になった場合に、前記指先検出手段をオフにする。

この構成により、ユーザが意図しないキー操作を排除することができる。

また、本発明は、前記指先検出手段が三つ以上の手は検出できないようにする。

この構成により、ユーザ以外の手でキー操作されることを排除することができる。

また、本発明は、前記指先検出手段が検出した隣接する前記指先の間隔が所定間隔以上または以下のときには前記指先検出を行わない。

この構成により、ユーザ以外の手でキー操作されることを排除することができる。

また、本発明は、表示手段がプロジェクタであり、前記指先検出手段で検出した指先の位置に、前記プロジェクタにより前記アイコンを投影する。

この構成により、表示ディスプレイがない投影型端末において非接触入力が可能となる。

また、本発明は、前記撮像手段が赤外カメラである。

この構成により、手と指の認識精度が上がる。

本発明によれば、指にセンサ等を装着することなく指の動きのみでキー操作を実現するとともに、キー操作内容を記憶する必要がなく、キー操作の種類を容易に増やすことができる非接触入力装置を実現することを目的とする。

本発明の実施の形態１の非接触入力装置を用いたヘッドマウントディスプレイの概略構造図 本発明の実施の形態１の非接触入力装置を用いた携帯端末の概略構造図 本発明の実施の形態１の非接触入力装置のブロック構成図 本発明の実施の形態１の指先検出方法を示す図 本発明の実施の形態１の指先動き検出方法を示す図 本発明の実施の形態１の非接触入力方法のフローチャート 本発明の実施の形態１の非接触入力方法のキーモード変更方法を示す図 本発明の実施の形態１の指先検出の誤操作に対する対策方法を示す図 本発明の実施の形態２の非接触入力装置を用いた投影型端末装置の概略構造図

以下、本発明の実施の形態について、図面を用いて説明する。

（実施の形態１）
図１は、本実施の形態１の非接触入力装置を用いたヘッドマウントディスプレイ（ＨＭＤ）の概略構造図である。ここでは、ヘッドマウントディスプレイ（ＨＭＤ）はコンピュータ本体機能が内蔵されているものとするが、コンピュータ本体がＨＭＤと分離していても構わない。

ヘッドマウントディスプレイ１には、カメラ２が図のように配置され、ＨＭＤの前方の撮影が可能である。カメラ２はユーザの手４を撮影し、表示素子３に撮影画像を表示する。撮影した手４の動きに応じてＨＭＤおよびコンピュータ動作の制御を行う。これにより、物理的キーが不要となる。

図２は、本実施の形態１の非接触入力装置を用いた携帯端末の概略構造図である。携帯端末５は表示素子３の反対面に設置したカメラ２で撮影した画像を表示する。図１と同様に撮影したユーザの手の動きに応じて携帯端末の動作の制御を行う。携帯端末において、実画像に付加情報を重ねて表示するＡＲ（Ａｕｇｍｅｎｎｔｅｄ−Ｒｅａｌｉｔｙ）サービス等において、特にこの非接触入力方法が有効である。

その他、本実施の形態１の非接触入力装置はパソコンやデジカメなど、カメラと表示素子を有する電子機器に適用してもよい。

図３は本実施の形態１のブロック構成図である。カメラ２で撮影した画像を指先検出手段６で指先を検出し、指先動き検出手段７で指先の動きを検出し、制御手段８はその動きに応じて、様々な機能を実行する。カメラ２で撮影した画像は表示素子３に表示する。

図４に指先検出方法の手順を示す。図４（１）に示すようにユーザの手をカメラ２で撮影する。撮影した画像を第一画像１２とする。次に、図４（２）に示すように、第一画像１２に映った手の形を検出し、手の指先の位置を検出する。検出する指は３つ以上とする。ここで、指先の「位置」とは、第一画像上における２次元位置座標を意味する。

ここでは一例として、３つの指を検出できたと仮定して説明する。検出した指の位置を人差し指検出位置９と中指検出位置１０と薬指検出位置１１とする。

なお、カメラ２として赤外カメラを用いてもよい。これにより、背景よりも温度の高い手の形のみを抽出することが容易になり、指先検出精度が向上する。

なお、指先の位置は正確に指先の端部である必要はなく、隣接の指と区別できる位置が確定できれば位置精度は問わない。

次に、図４（２）で検出した３つの指にキー操作を割当て、そのキー操作を表すアイコンを各指先の位置に重ねて表示する。アイコンを重ねて表示した画像を第二画像１３とする。図４（３）に示すように、人差し指検出位置９に第一アイコン１４、中指検出位置１０に第二アイコン１５、薬指検出位置１１に第三アイコン１６を表示する。

上記の指先検出は、撮影画像のフレームごとに行い、指先の位置が動いたときには、アイコンもその動きに合わせて移動するものとする。但し、指先検出時間がかかる場合には数フレームごとの検出でも構わない。

図４（３）のように、表示画面上に指に割り当てられたキー操作を表すアイコンを表示すると、ユーザが指に割り当てられたキー操作内容を記憶する必要がなくなる。

図５に指先動き検出方法の手順を示す。各指先に割り当てられたキー操作の実行を判定するための指先の動きを検出する必要がある。

まず、図４で検出された３つの指先位置から指先が並んだ位置と方向を示す、図５（１）に示すような仮想直線１７を算出する。例えば、この仮想直線は、３つの指先位置の座標点を通る近似直線を最小自乗法で求めることにより求めることができる。この仮想直線は、指先の並ぶ方向と位置が指の近傍となるような直線であれば、どんな近似方法を用いて算出しても構わない。

次に、指先の位置の変化の検出方法を説明する。例えば人差し指が図５（２）のようにクリック動作などにより動いた場合に、人差し指検出位置９が仮想直線１７に対して移動し、人差し指移動点１８となる。人差し指と仮想直線１７の距離の移動距離１９を撮影画像のフレームごとにモニターしておき、移動距離１９が所定値以上になったときに、人差し指が動いたと判断し、人差し指に割り当てられたキー操作を実行する。

指先の動きすなわち、クリック動作に相当する動きが検出された直後に実行されるキーのアイコンを図５（３）の第四アイコン２０に示すように、アイコンのサイズを大きくすることにより、ユーザがキー操作を実行したことを認識することができる。また、アイコンの大きさを変えるかわりに、色を変化させたり、形を変化させても構わない。

また、上記の方法は、仮想直線に対する指の相対的な移動量を測定することから、カメラ撮影画面に対して手の位置が動くか、または傾いた場合であっても、指のクリック動作に相当する動きを抽出できるため、誤検出が少なく、ユーザは手のブレを気にする必要がなくなる。

ここで、検出された指先が１つの場合は仮想直線が定義できない。

また、検出された指先が２つの場合には、仮想直線は定義できるが、検出された指のどちらか一方が動いたときに、その指の動きに応じて仮想直線が動くため、その指の移動距離が検出できない。

従って、検出する指先の数は少なくとも３つ以上であることが必要である。

以上が、指先の検出方法と各指先に割当られたキー操作の実行方法である。

図６には、指先の検出方法と指に割当られたキー操作の実行方法のフローチャートを示す。

カメラで撮影した画面から指先検出手段により指先を検出する（Ｓ１）。検出した指先の数が２以下の場合には、Ｓ１に戻る。

なお、指先の検出は撮影されたフレーム画像ごとに行うが、指先検出時間がかかる場合には数フレームごとの検出でも構わない。

検出された指先の数が３以上の場合には、各指先にキー操作を割当てるとともに、そのキー操作を表すアイコンを撮影画面上の各指先の近傍に表示する。さらに、撮影画面上での指先の並び方向と位置を示す仮想直線を算出する（Ｓ２）。なお、仮想直線は撮影画面上に表示しても、しなくてもどちらでも構わない。

次に、上記アイコンを割当られた指先位置の仮想直線に対する移動距離を測定し（Ｓ３）、所定値を超えた場合には、その指に割り当てられたアイコンを実行する（Ｓ４）。所定値より小さい場合には、アイコンが割り当てられている指先が全て検出できているか確認し（Ｓ６）、全て検出されているときにはＳ３に戻る。指先の少なくとも１つが検出できていない場合には、アイコンを消去（Ｓ７）してＳ１に戻る。

ここで、指先の１つが検出できない時間が所定時間続いたときにのみ、アイコンを消去しても構わない。これにより、指先の検出のエラーが発生したことが原因でアイコンが消えてしまうことを避けることができる。

Ｓ４でキー操作を実行したあとは、アイコンが割り当てられている指先が全て検出できているか確認し（Ｓ５）、全て検出されているときにはＳ３に戻る。指先の少なくとも１つが検出できていない場合には、アイコンを消去（Ｓ８）してＳ１に戻る。

次にキー操作の割当てにおけるキーモード変更方法について説明する。

ここでキーモードとは、検出された指先に割り当てるキーとその配列の種類（モード）を示す。キーモードの数を増やすことによって、本実施の形態の非接触入力方法で可能なキー操作数を大きくすることができる。

なお、ユーザは指先に割り当てられているキー操作内容をアイコンから判断するため、キーモードを記憶する必要はなく、キーモードの数が増えても問題はない。

図７にキーモードの変更方法を示す。図７（１）は初期に割当てられているキー操作（第一アイコンと第二アイコンと第三アイコン）とする。図７（２）に示すように、例えば手をグーの形にすると指先が検出できないため、図６のＳ６とＳ７に示すフローにより、割り当てられたアイコンを消去する。次にアイコンを割当てられたときに、図７（３）に示すように、前回とは異なるアイコン（第五アイコン２１、第六アイコン２２、第七アイコン２３）を割り当てる。

すなわち、上記は、アイコンの消去（図７（２））をきっかけにキーモードを変更する方法である。

図７（４）は、上記とは異なるキーモードの変更方法である。ユーザの手の位置が移動し、図７（１）の初期の仮想直線１７の位置が第二仮想直線２７に移動したとき、移動量が所定値以上の場合に図７（４）に示すように異なるキー操作を示すアイコン（第八アイコン２４、第九アイコン２５、第十アイコン２６）に変更する。すなわち、アイコンの仮想直線の位置の移動（図７（４））をきっかけにキーモードを変更する方法である。

その他のキーモード変更方法として、指先に割り当てるアイコンの一つにキーモード変更アイコンを割り当てる方法もある。キーモード変更アイコンが実行されたときにキーモードが変更される。

次に、キー操作の誤操作に対する対策方法について述べる。

撮影画像にはユーザ以外の手が映る可能性があり、ユーザ以外の手による誤操作が発生することがある。

このときの第一の対策方法は、図８（１）に示すように、認識した手の指から算出した第三仮想直線２８と画面の水平線との角度２９が所定値以上のときに、指先検出を行わないようにする。

ユーザの手であれば角度２９はゼロに近いと考えられるが、角度２９が大きいときには映った手がユーザの手ではない可能性があるため、上記の方法により、他のユーザの手による操作を排除することが可能である。

第二の対策方法は、図８（２）に示すように、検出した指先間距離に応じて指先検出を実施するかしないかの制御を行う方法である。

図８（２）に示すように、第一指先間距離３０が所定値より大きい場合には、指先検出を実施し、第二指先間距離３１のように所定値よりも小さい場合には、他のユーザの手であるか、またはユーザが操作する意志がないと判断して、指先検出を実施しないようにする。これにより、ユーザが意図しない誤操作を少なくすることができる。

また第一指先間距離３０が上記とは別の所定値よりも大きいときには、やはりユーザが指によるキー操作する意志がないと判断して指検出を行わないようにしてもよい。

第三の対策方法は、図８（３）に示すように、指先検出を行う検出領域３２を撮影画像の中心部のみとし、ユーザがキー操作する意志がないときの手の動きで誤操作することを避けることができる。

図８（３）では検出領域が長方形であるが任意の形状で任意の位置でも構わない。また２つ以上の検出領域が存在しても構わない。

また、ユーザがキー操作を行う意志がない場合には、指先検出機能自体をオフにするモードを設けることも可能である。

また、認識した手の数が２つまでは指検出を行い、３つ以上になる場合には指検出をこれ以上行わないものとすることにより、ユーザ以外の手による誤操作を排除することができる。

以上の対策または、その組み合わせにより、ユーザが意図しないキー操作の誤操作を減らすことができる。

以上により、指先にセンサなどを装着することなく、指先の簡単な動きだけで、非接触入力を実現できる。また、指先に割り当てられたキー操作をユーザが記憶する必要がないため、多種類のキー操作が可能となる。

（実施の形態２）
図９は本実施の形態２の非接触入力装置の概略構造図を示す。

実施の形態１と異なる点は表示方法である。

本実施の形態２の非接触入力装置は投影型端末装置３４であり、情報を投影する小型のプロジェクタ素子３５とカメラ２を有している。

投影型端末装置３４は、図９に示すように例えばユーザの胸あたりに固定され、ユーザの前方の撮影をしながら、プロジェクタ素子３５で前方の物体に情報を投影することができる。

カメラ２を用いてユーザの手の指先を検出し、指先に割り当てられたアイコンをプロジェクタ素子により指先に投影する。この投影アイコン３３によりユーザは指に割り当てられたキー操作が何かを知ることができる。

ここで、カメラ２で撮影する領域（視野）とプロジェクタ素子３５で情報を投影する領域（視野）はほぼ同等であり、カメラ２で撮影する被写体位置とプロジェクタの投影位置の対応関係は予めわかっているものとする。なお、カメラ２とプロジェクタ素子３５はできるだけ近く配置されていて、光軸方向がほぼ同じ方向であるものとする。

指先検出方法と指先動き検出方法等については実施の形態１と同様であり、これにより、ユーザは非接触のキー操作が可能となる。

以上により、ディスプレイ等が存在しないプロジェクタ素子からなる投影型端末における、非接触の入力操作が可能となる。

本発明は、携帯電話や携帯端末やヘッドマウントディスプレイなどを含むコンピュータなどの電子機器に用いられる非接触入力装置等々に利用可能である。

１ ヘッドマウントディスプレイ
２ カメラ
３ 表示素子
４ 手
５ 携帯端末
６ 指先検出手段
７ 指先動き検出手段
８ 制御手段
９ 人差し指検出位置
１０ 中指検出位置
１１ 薬指検出位置
１２ 第一画像
１３ 第二画像
１４ 第一アイコン
１５ 第二アイコン
１６ 第三アイコン
１７ 仮想直線
１８ 人差し指移動点
１９ 移動距離
２０ 第四アイコン
２１ 第五アイコン
２２ 第六アイコン
２３ 第七アイコン
２４ 第八アイコン
２５ 第九アイコン
２６ 第十アイコン
２７ 第二仮想直線
２８ 第三仮想直線
２９ 角度
３０ 第一指先間距離
３１ 第二指先間距離
３２ 検出領域
３３ 投影アイコン
３４ 投影型端末装置
３５ プロジェクタ素子

Claims (15)

1. 手を撮影する撮像手段と、前記手を含む第一撮影画像を表示する表示手段と、前記第一撮影画像から複数の指先位置を検出する指先検出手段と、前記指先の動きの変化を検出する指先動き検出手段を有し、
   前記指先検出手段により三本以上の指先が検出されたときに各指先に異なるキー操作を割り当て、前記第一撮影画像の割り当てられた前記指先の近傍に、前記キー操作を表すアイコンを重ねた第二撮影画像を表示し、
   前記指先動き検出手段は、前記複数の指先を検出した時点の前記指先の相対位置関係を基準として、前記指先のうちの一つの第一の指先が他の指先に対して相対的にずれたことを検出したときに、前記第一の指先に割り当てられた前記キー操作を実行する、非接触入力装置。
2. 前記第二撮影画像上において、前記指先検出手段により検出された前記第一の指先以外の第二の指先と第三の指先を結ぶ直線に対する前記第一の指先の距離が所定距離以上になったことを検出する前記指先動き検出手段を有する、請求項１記載の非接触入力装置。
3. 前記キー操作が実行された直後に、対応する前記アイコンの色や形が変化する請求項１または請求項２に記載の非接触入力装置。
4. キーモード変更手段を有し、前記キーモード変更手段は前記指先に割り当てられた前記キー操作の内容を変更する請求項１または請求項３のいずれかに記載の非接触入力装置。
5. 前記キーモード変更手段は、前記指先の一つに割り当てられているキー操作の一つである請求項１から請求項４のいずれかに記載の非接触入力装置。
6. 前記キーモード変更手段は、前記指先検出手段で検出された指先のうち一つ以上の前記指先が認識できなくなった時間が所定時間続いたことを検出する手段である請求項１から請求項４のいずれかに記載の非接触入力装置。
7. 前記キーモード変更手段は、前記第二撮影画像上における前記指先の位置の重心の移動量により変更する請求項１から請求項４のいずれかに記載の非接触入力装置。
8. 前記第一撮影画像における前記指先検出手段の検出領域を一部に限定した請求項１から請求項７のいずれかに記載の非接触入力装置。
9. 前記指先検出手段で検出した前記指先の配列方向の近似直線が前記第二撮影画像の水平ラインに対して、所定角度以上になった場合に、前記指先検出手段をオフにする請求項１から請求項８のいずれかに記載の非接触入力装置。
10. 前記指先検出手段が三つ以上の手は検出できない請求項１から請求項９のいずれかに記載の非接触入力装置。
11. 前記指先検出手段が検出した隣接する前記指先の間隔が所定間隔以上または以下のときには前記指先検出を行わない請求項１から請求項１０のいずれかに記載の非接触入力装置。
12. 手を含む第一撮影画像を撮影する撮像手段と、プロジェクタ表示手段と、前記第一撮影画像から複数の指先位置を検出する指先検出手段と、前記指先の動きの変化を検出する指先動き検出手段を有し、
    前記指先検出手段により三本以上の指先が検出されたときに各指先に異なるキー操作を割り当て、前記指先検出手段で検出した指先の位置に、前記プロジェクタ表示手段により前記アイコンを投影し、前記指先動き検出手段は、前記複数の指先を検出した時点の前記指先の相対位置関係を基準として、前記指先のうちの一つの第一の指先が他の指先に対して相対的にずれたことを検出し、前記第一の指先に割り当てられた前記キー操作を実行する、非接触入力装置。
13. 前記撮像手段が赤外カメラである、請求項１から請求項１２のいずれかに記載の非接触入力装置。
14. 請求項１から請求項１３のいずれかに記載の前記非接触入力装置を有する携帯端末装置。
15. 請求項１から請求項１３のいずれかに記載の前記非接触入力装置を有するヘッドマウントディスプレイ装置。

Images