JP2017083916A - ジェスチャー認識装置、ヘッドマウントディスプレイ、および携帯端末 - Google Patents

Abstract

【課題】ユーザーが直観的にジェスチャーの位置を正せるように案内するジェスチャー認識装置、ヘッドマウントディスプレイ、および携帯端末を提供する。
【解決手段】ユーザーが装着または保持して用いるジェスチャー認識装置１は、連続して画像を撮像する撮像部４２と、撮像部４２の向きの変化を検出する検出部４３と、撮像部４２により撮像された画像を用いて、所定の対象を追跡する追跡部４４と、追跡部４４による追跡の可否を判断する判断部４５と、判断部４５の判断結果により対象の追跡が不可の場合、検出部４３により検出された撮像部４２の向きの変化量を算出して、追跡が不可となった原因を特定する特定部４６と、特定部４６により特定された原因に基づく通知を行う通知部４７と、を備える。
【選択図】図３

Description

本発明は、ジェスチャー認識装置、ヘッドマウントディスプレイ、および携帯端末に関する。

近年、ウェアラブルコンピューターの一つとしてヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）が開発されている。ヘッドマウントディスプレイは、ユーザーの頭部に装着して利用される表示装置である。ユーザーは、ヘッドマウントディスプレイを頭部に装着した状態で、目前に表示された画像情報等の各種コンテンツを見ることができる。

このようなヘッドマウントディスプレイの中には、小型カメラを使用してユーザーの身体の一部を撮像し、その身体の動き（ジェスチャー）を、ヘッドマウントディスプレイに対する入力操作として認識できるものがある。

特許文献１には、ヘッドマウントディスプレイを用いた例ではないが、天井に小型カメラを設置しておき、小型カメラの下で行われたユーザーのジェスチャーを撮像、認識することによって、コンピューターに入力するコマンドを決定する技術が記載されている。

特許文献１のように小型カメラが固定カメラとして使用される場合には、ユーザーの身体が小型カメラの視野外へ動かされたとき、ユーザーに対してジェスチャーの位置を正すように促すことができる。

特開２０１３−１９６４８２号公報

しかし、ヘッドマウントディスプレイを用いる場合には、小型カメラはヘッドマウントディスプレイに搭載されるため、ユーザーの頭部が揺れると小型カメラも揺れてしまう。そのため、ユーザーの身体が小型カメラの視野外へ移ったときに、小型カメラが動いたのかユーザーの身体が動いたのか区別できない。そのため、ジェスチャーの位置を正すための具体的な方法を示さずに、ジェスチャーの位置を正すよう促しても、ユーザーはジェスチャーの位置をどのように正せばよいのか判断できない。

本発明は、上記事情に鑑みてなされたものであり、ユーザーが直観的にジェスチャーの位置を正せるように案内するジェスチャー認識装置、ヘッドマウントディスプレイ、および携帯端末を提供することを目的とする。

（１）ユーザーが装着または保持して用いるジェスチャー認識装置であって、連続して画像を撮像する撮像部と、前記撮像部の向きの変化を検出する検出部と、前記撮像部により撮像された画像を用いて、所定の対象を追跡する追跡部と、前記追跡部による追跡の可否を判断する判断部と、前記判断部の判断結果により前記対象の追跡が不可の場合、前記検出部により検出された前記向きの変化量を算出して、追跡が不可となった原因を特定する特定部と、前記特定部により特定された前記原因に基づく通知を行う通知部と、を備えるジェスチャー認識装置。

（２）前記通知部は、前記特定部により特定された前記原因に応じて異なる通知を行う、上記（１）に記載のジェスチャー認識装置。

（３）前記通知部が行う通知には、表示による通知、音声による通知、および振動による通知の少なくともいずれか一つの通知が含まれる、上記（１）または（２）に記載のジェスチャー認識装置。

（４）前記追跡部は、前記撮像部の視野内に設定された認識領域内において前記対象を追跡する、上記（１）〜（３）のいずれかに記載のジェスチャー認識装置。

（５）前記追跡部により追跡された前記対象の動きに従ってコマンドを決定するコマンド決定部を、さらに備え、前記通知部は、前記コマンド決定部によりコマンドが決定される際に前記対象の追跡が不可となった場合に、通知を行う、上記（１）〜（４）のいずれかに記載のジェスチャー認識装置。

（６）上記（１）〜（５）のいずれかに記載のジェスチャー認識装置を備える、ヘッドマウントディスプレイ。

（７）上記（１）〜（５）のいずれかに記載のジェスチャー認識装置を備える、携帯端末。

本発明によれば、所定の対象（ユーザーの身体の一部）の追跡ができなくなった場合には、その原因を特定し、特定した原因に基づく適切な通知を行っている。この通知によって、ユーザーは、ヘッドマウントディスプレイにより正しくジェスチャーを認識できるようにするために、頭部をどの方向に動かせばよいのか、手をどの方向に動かせばよいのか、容易に判断できる。このようにして、ユーザーは直観的にジェスチャーの位置を正せるようになる。

本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）装置の外観例を示す図である。 ＨＭＤ装置のハードウェア構成例を示すブロック図である。 ＨＭＤ装置の機能構成例を示すブロック図である。 ジェスチャー認識処理の手順を示すフローチャートである。 警告処理の手順を示すフローチャートである。 （Ａ）対象が右方向へ移動したときの状態例を示す図である。（Ｂ）対象がジェスチャー認識エリアの右側へ外れたときの通知例（通知Ａ）を示す図である。 （Ａ）対象がジェスチャー認識エリアの左側へ外れたときの通知例（通知Ａ）を示す図である。（Ｂ）対象がジェスチャー認識エリアの上側へ外れたときの通知例（通知Ａ）を示す図である。（Ｃ）対象がジェスチャー認識エリアの下側へ外れたときの通知例（通知Ａ）を示す図である。（Ｄ）対象がジェスチャー認識エリアの左上側へ外れたときの通知例（通知Ａ）を示す図である。 （Ａ）対象がジェスチャー認識エリアの右上側へ外れたときの通知例（通知Ａ）を示す図である。（Ｂ）対象がジェスチャー認識エリアの左下側へ外れたときの通知例（通知Ａ）を示す図である。（Ｃ）対象がジェスチャー認識エリアの右下側へ外れたときの通知例（通知Ａ）を示す図である。 （Ａ）ユーザーの頭部が左方向を向いたときの状態例を示す図である。（Ｂ）対象がジェスチャー認識エリアの右側へ外れたときの通知例（通知Ｂ）を示す図である。 （Ａ）対象がジェスチャー認識エリアの左側へ外れたときの通知例（通知Ｂ）を示す図である。（Ｂ）対象がジェスチャー認識エリアの上側へ外れたときの通知例（通知Ｂ）を示す図である。（Ｃ）対象がジェスチャー認識エリアの下側へ外れたときの通知例（通知Ｂ）を示す図である。（Ｄ）対象がジェスチャー認識エリアの左上側へ外れたときの通知例（通知Ｂ）を示す図である。 （Ａ）対象がジェスチャー認識エリアの右上側へ外れたときの通知例（通知Ｂ）を示す図である。（Ｂ）対象がジェスチャー認識エリアの左下側へ外れたときの通知例（通知Ｂ）を示す図である。（Ｃ）対象がジェスチャー認識エリアの右下側へ外れたときの通知例（通知Ｂ）を示す図である。 ジェスチャー認識エリアの変形例を示す図である。 本発明を携帯端末に適用する例について説明するための図である。

以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

図１は、本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）装置の外観例を示す図である。図２は、ＨＭＤ装置のハードウェア構成例を示すブロック図である。

以下、図１、図２を参照して、ＨＭＤ装置１の概略構成、特にハードウェア構成について説明する。

＜ＨＭＤ装置１（ハードウェア構成）＞
本実施形態に係るＨＭＤ装置１は、ユーザー（以下「観察者」とも称する）の頭部に装着して使用される画像表示装置である。たとえば、ＨＭＤ装置１は、視力矯正用のメガネを模した構造で構成されている。すなわち、ＨＭＤ装置１は、左右一対のテンプルＬ１、Ｌ２と、ブリッジＢと、左右一対の透明部材Ｇ１、Ｇ２とを備えて構成される。

テンプルＬ１、Ｌ２は、たとえば、弾性素材から構成される長尺棒状の部材である。テンプルＬ１、Ｌ２のそれぞれの一方端部には、ユーザーの耳に掛けられる耳掛け部分が設けられ、他方端部には、透明部材Ｇ１、Ｇ２が固定される。また、ユーザーの片方の耳に掛けられる耳掛け部分付近には、制御ユニットＵが装着されている。

ブリッジＢは、左右一対の透明部材Ｇ１、Ｇ２を互いに連結するための短尺棒状の部材である。ブリッジＢの両端には、透明部材Ｇ１、Ｇ２が固定される。左右一対の透明部材Ｇ１、Ｇ２は、一定の間隔を空けて保持される。

透明部材Ｇ１、Ｇ２は、ＨＭＤ装置１を装着したユーザーが外界を観察できるように、外界からの光を透過してユーザーの眼に届けることが可能な透明な材料（ガラス、プラスチック、フィルムなど）により形成される。

本実施形態では、ユーザーの右眼に対応する透明部材Ｇ１の上部には、撮像装置１１が設けられ、透明部材Ｇ１に重なるように表示装置１２が設けられている。

撮像装置１１は、カメラレンズの光軸方向（以下では、「撮像方向」とも称する）の外界を撮像する。撮像装置１１は、カメラレンズの光軸がユーザーの視線方向に略一致するように、ＨＭＤ装置１に対し固定的に保持されている。これによって撮像装置１１は、ユーザーの前方視野内を撮影することが可能となる。たとえば、撮像装置１１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサーを備えたデジタルカメラあるいはビデオカメラである。撮像装置１１の撮像によって、たとえば、ＪＰＥＧ、ＭＰＥＧ２／４等の撮像画像（または、所定のフレームレートで撮像された動画）が生成され、有線で接続された制御ユニットＵに送信される。なお、本実施形態では、撮像装置１１として、パーソナル用途のウェブカメラ（画角が約７２度）が用いられる。

表示装置１２は、所定の画像（映像）等の各種コンテンツを透明部材Ｇ１、Ｇ２上に表示する。また、表示装置１２は、外界からの光に付加的に重畳させる画像（たとえば、ＡＲ画像：Augmented Reality）を表示してもよい。たとえば、表示装置１２は、ユーザーの視線方向に存在する人物の近くに、名前、勤務先などの情報を含むポップアップ画像があたかも存在するかのように表示することもできる。なお、表示装置１２は、図１に示すような単眼式ではなく、双眼式でもよい。

また、図１には示していないが、撮像装置１１の近傍には、慣性センサー１３が設けられる。慣性センサー１３は、ＨＭＤ装置１の揺れを検出し、そのときの撮像装置１１の揺れ量の算出に必要なデータを提供するセンサーである。たとえば、慣性センサー１３は、加速度センサー、ジャイロセンサー等により構成される。なお、慣性センサー１３は、撮像装置１１の揺れ量の算出に必要なデータを提供可能なものであれば、どのような形態、名称、構造のものであってもよい。

制御ユニットＵは、撮像装置１１と、表示装置１２と、慣性センサー１３とを制御し、全体としてヘッドマウントディスプレイとして機能させるために必要な構成を有する。たとえば、制御ユニットＵは、撮像装置１１から送信されてきた撮像画像（動画）からユーザーのジェスチャーを認識し、認識されたジェスチャーに応じたコマンドを実行し、その結果を表示装置１２に表示させる等の処理を行う。制御ユニットＵの具体的な構成については後述する。

（制御ユニットＵの具体的な構成）
次に、制御ユニットＵの具体的な構成について説明する。

図２に示すとおり、制御ユニットＵは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１と、メモリー３２と、ストレージ３３と、入力装置３４と、表示コントローラー３５とを備える。

ＣＰＵ３１は、プログラムにしたがって上記各部の制御や各種の演算処理を実行するプロセッサ等から構成される制御回路であり、ＨＭＤ装置１の各機能は、それに対応するプログラムをＣＰＵ３１が実行することにより発揮される。

メモリー３２は、作業領域として一時的にプログラムおよびデータを記憶する高速アクセス可能な主記憶装置である。メモリー３２には、たとえば、ＤＲＡＭ（Ｄｙｍａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｍａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等が採用される。

ストレージ３３は、オペレーティングシステムを含む各種プログラムや各種データを格納する大容量の補助記憶装置である。ストレージ３３には、たとえば、フラッシュメモリー等が採用される。

入力装置３４は、ＨＭＤ装置１の電源投入などの指示を入力するための物理的なキーやボタンにより構成される。また、入力装置３４として、外部のコントローラー（たとえば、スマートフォン、リモートコントローラーなど）を利用してもよい。

表示コントローラー３５は、所定の画像（映像）等の各種コンテンツや、ＡＲ画像などを、表示装置１２に表示させる。たとえば、表示コントローラー３５は、所定の表示周期毎にメモリー３２から所定の画像を読み出して、表示装置１２へ入力するための信号に変換するとともに、水平同期信号、垂直同期信号などのパルス信号を生成する。

以上のようなハードウェア構成を有するＨＭＤ装置１は、以下の機能構成を有する。

図３は、ＨＭＤ装置の機能構成例を示すブロック図である。

＜ＨＭＤ装置１（機能構成）＞
図３に示すとおり、ＨＭＤ装置１は、機能構成として、制御部４１と、撮像制御部４２と、揺れ検出部４３と、追跡部４４と、追跡可否判断部４５と、原因特定部４６と、通知部４７と、コマンド決定部４８と、表示制御部４９と、アプリケーション部５０とを有する。

以下、各機能部４１〜５０について具体的に説明する。なお、各機能部４１〜４８、５０は、ＣＰＵ３１が、ストレージ３３にインストールされているプログラムをメモリー３２に読み出して実行することにより実現され、表示制御部４９は、表示コントローラー３５により実現される。また、これに限らず、各機能部４１〜４８、５０は、ＡＳＩＣ等のハードウェアにより実現されてもよい。

制御部４１は、ＨＭＤ装置１全体を制御する。

撮像制御部４２は、撮像装置１１を制御して、外界を連続して撮像する。これにより、撮像画像（動画）が生成される。

揺れ検出部４３は、ＨＭＤ装置１を装着しているユーザーが揺れたときの撮像装置１１の向き（たとえば、カメラレンズの光軸方向）の変化を検出する。たとえば、揺れ検出部４３は、慣性センサー１３のセンサー値を取得して、撮像装置１１の向きの変化を検出する。

追跡部４４は、ユーザーのジェスチャーを認識するために、所定の対象（たとえば、ユーザーの手、指先など）を追跡する。たとえば、追跡部４４は、予めユーザーのジェスチャーを認識する領域（以下では「ジェスチャー認識領域」と称する）を設定しておき、そのジェスチャー認識領域内において所定の対象を追跡する。本実施形態では、ジェスチャー認識領域は、撮像装置１１の視野内に設定される。

追跡可否判断部４５は、追跡部４４による追跡の可否を判断する。

原因特定部４６は、追跡可否判断部４５の判断結果により所定の対象の追跡が不可の場合、揺れ検出部４３により検出された撮像装置１１の向きの変化量を算出して、追跡が不可となった原因を特定する。たとえば、原因特定部４６は、撮像装置１１の向きの変化量が閾値以上である場合には、ユーザーの身体が揺れて撮像装置１１が動いたことが原因で追跡不可になったと特定する。一方、撮像装置１１の向きの変化量が閾値未満である場合には、所定の対象の動き（ジェスチャー）そのものが原因で所定の対象が追跡不可になったと特定する。

通知部４７は、原因特定部４６により特定された原因に基づく通知を行う。たとえば、通知部４７は、原因特定部４６により特定された原因に応じて異なる通知を行う。なお、通知部４７が行う通知には、表示（表示装置１２）による通知、音声（不図示のスピーカー）による通知、および振動（不図示の小型振動機）による通知の少なくともいずれか一つの通知が含まれる。

コマンド決定部４８は、追跡部４４により追跡された所定の対象の動き（ジェスチャー）に従って、ＨＭＤ装置１に対するユーザーの指示内容、すなわち、コマンドを決定する。

表示制御部４９は、所定の画像（映像）等の各種コンテンツや、ＡＲ画像などを、表示装置１２に表示させる。

アプリケーション部５０は、コマンド決定部４８により決定されたコマンドに対応する処理を実行する。たとえば、アプリケーション部５０は、表示画面の拡大処理、縮小処理や、コンテンツの再生、一時停止、停止などの処理を実行する。

各機能部４１〜５０の詳細な動作については以下に詳述する。

＜ＨＭＤ装置１の動作＞
図４は、ジェスチャー認識処理の手順を示すフローチャートである。図５は、警告処理の手順を示すフローチャートである。図６（Ａ）は、対象が右方向へ移動したときの状態例を示す図である。図６（Ｂ）、図７（Ａ）〜（Ｄ）、図８（Ａ）〜（Ｃ）は、それぞれ、対象がジェスチャー認識エリアの右側、左側、上側、下側、左上側、右上側、左下側、右下側へ外れたときの通知例（通知Ａ）を示す図である。図９（Ａ）は、ユーザーの頭部が左方向を向いたときの状態例を示す図である。図９（Ｂ）、図１０（Ａ）〜（Ｄ）、図１１（Ａ）〜（Ｃ）は、それぞれ、対象がジェスチャー認識エリアの右側、左側、上側、下側、左上側、右上側、左下側、右下側へ外れたときの通知例（通知Ｂ）を示す図である。

以下、図４〜図１１を参照して、ジェスチャー認識処理および警告処理の手順について説明する。

（ジェスチャー認識処理）
ＨＭＤ装置１は、電源が投入されたタイミングで、図４に示すジェスチャー認識処理を開始する。ただし、ジェスチャー認識処理を開始するタイミングは、これに限定されず、入力装置３４に対してジェスチャー認識処理を開始するための操作がなされたときに、ジェスチャー認識処理を開始してもよい。また、ＨＭＤ装置１がユーザーの頭部に装着されたことを検知したときにジェスチャー認識処理を開始してもよい。

なお、ジェスチャー認識処理の開始直後において、制御部４１は、ＨＭＤ装置１の制御に必要な各種パラメータをキャリブレーションしておく。たとえば、慣性センサー１３の基準値の登録やジェスチャー認識エリアの設定などが行われる。本実施形態では、制御部４１は、慣性センサー１３からセンサー値を取得し、撮像装置１１の向きの基準値としてメモリー３２に登録する。また、制御部４１は、撮像装置１１の視野全体（撮像画像の全領域）を、ジェスチャー認識エリアとして設定する。

［ステップＳ１０１］
キャリブレーション後、ＨＭＤ装置１は、撮像制御部４２として機能し、所定のフレームレートで連続して外界を撮像する（所定数分のフレーム）。具体的には、ＨＭＤ装置１は、撮像装置１１を制御して撮像を開始することにより、カメラレンズの光軸方向の撮像画像（動画）を生成する。そして、ＨＭＤ装置１は、生成した撮像画像（動画）をメモリー３２やストレージ３３に記憶する。なお、撮像装置１１が撮像中において、ユーザーは、ＨＭＤ装置１に認識させるべく身体の一部（たとえば、手）を動かして、ジェスチャー動作を行える。このようなジェスチャー動作の例としては、親指と人差し指を閉じた状態から広げるピンチアウト、逆に親指と人差し指を広げた状態から閉じるピンチイン、手あるいは伸ばした人差し指をずらす仕草のスライド、広げた手あるいは指で叩くタップ、それを連続的に叩くダブルタップ、大きく手を左右にあるいは上下に動かすスワイプなどがあげられる。

［ステップＳ１０２］
ＨＭＤ装置１は、揺れ検出部４３として機能し、慣性センサー１３からセンサー値を取得する。たとえば、ＨＭＤ装置１は、慣性センサー１３から三軸方向の加速度を取得する。なお、ステップＳ１０２では、ＨＭＤ装置１は、ステップＳ１０１において１フレーム分の撮像画像が生成される毎にセンサー値を取得し、フレームごとに撮像画像とセンサー値を対応づけてメモリー３２などに記憶する。

［ステップＳ１０３］
ＨＭＤ装置１は、追跡部４４として機能し、一般的なパターンマッチング手法により所定の対象（たとえば、ユーザーの手）を追跡する。このとき、ＨＭＤ装置１は、追跡可否判断部４５として機能して、所定の対象について追跡可であるか追跡不可であるか判別する。具体的には、ＨＭＤ装置１は、ステップＳ１０１において生成された撮像画像（各フレーム）の中から、予め用意しておいた「手」のテンプレート画像と同一または類似する特徴（色や形状）を持つ領域を探す。そして、ＨＭＤ装置１は、連続する全てのフレーム間での「手」の移動量を算出する。ＨＭＤ装置１は、連続する全てのフレーム間での「手」の移動量が所定量未満である場合には、「手」を追跡できると判断する。一方、ＨＭＤ装置１は、連続する少なくとも一つのフレーム間での「手」の移動量が所定量以上である場合、または、「手」が存在しないフレームがあってフレーム間での「手」の移動量を算出できない場合には、「手」を追跡できないと判断する。

ＨＭＤ装置１は、「手」を追跡できると判断した場合には、所定の対象を追跡可と判定し（ステップＳ１０３：ＹＥＳ）、処理をステップＳ１０５に進める。一方、ＨＭＤ装置１は、「手」を追跡できないと判断した場合には、所定の対象を追跡不可と判定し（ステップＳ１０３：ＮＯ）、処理をステップＳ１０４に進める。

［ステップＳ１０４］
ＨＭＤ装置１は、ジェスチャーのやり直しをユーザーに促すための警告処理を実行する。警告処理の詳細については後述する。

［ステップＳ１０５］
ＨＭＤ装置１は、揺れ検出部４３として機能し、撮像装置１１の向き（たとえば、カメラレンズの光軸方向）の変化を検出する。たとえば、揺れ検出部４３は、ステップＳ１０２において取得された全てのフレームのセンサー値のうち、最初と最後のフレーム間でのセンサー値の差分を求め、所定量未満である場合には、撮像装置１１の向きに変化はないと判断する。一方、ＨＭＤ装置１は、最初と最後のフレーム間でのセンサー値の差分が所定量以上である場合には、撮像装置１１の向きに変化があると判断する。

ＨＭＤ装置１は、撮像装置１１の向きに変化がないと判断した場合には（ステップＳ１０５：ＮＯ）、ステップＳ１０６の処理を省略して、処理をステップＳ１０７に進める。一方、ＨＭＤ装置１は、撮像装置１１の向きに変化があると判断した場合には（ステップＳ１０５：ＹＥＳ）、処理をステップＳ１０６に進める。

［ステップＳ１０６］
ＨＭＤ装置１は、揺れ検出部４３として機能し、所定の対象が移動した軌跡について、撮像装置１１の向きの変化量を考慮して補正する。すなわち、ＨＭＤ装置１は、連続する全てのフレーム間での「手」の移動量を、実際に「手」が移動した分の移動量に変換する。具体的には、ＨＭＤ装置１は、連続するフレーム間で、撮像画像内における「手」の移動量（ベクトル）と、撮像装置１１の向きの変化量（ベクトル）とを合成すればよい。

［ステップＳ１０７］
ＨＭＤ装置１は、コマンド決定部４８として機能し、ステップＳ１０３において算出された「手」の移動量、もしくは、ステップＳ１０６において補正された「手」の移動量から、ユーザーのジェスチャーを認識する。そして、ＨＭＤ装置１は、認識したジェスチャーに従って、ＨＭＤ装置１に対するユーザーの指示内容、すなわち、コマンドを決定する。なお、ジェスチャーとコマンドは、１対１の関係で対応づけて所定のテーブルに予め登録されており、ＨＭＤ装置１は、認識したジェスチャーに対応付けられているコマンドを当該テーブルから読み出せばよい。

［ステップＳ１０８］
ＨＭＤ装置１は、コマンド決定部４８として機能し、ステップＳ１０７において決定されたコマンドが正規のコマンドであるか否か判別する。具体的には、ＨＭＤ装置１は、ステップＳ１０７において認識されたジェスチャーに対応するコマンドが存在しない場合や、その時点において制限されている制御を指示するコマンドである場合に、正規のコマンドではないと判定する。一方、ＨＭＤ装置１は、ステップＳ１０７において認識されたジェスチャーに対応するコマンドが、その時点において実行可能な制御を指示するコマンドである場合には、正規のコマンドと判定する。

ＨＭＤ装置１は、正規のコマンドと判定した場合には（ステップＳ１０８：ＹＥＳ）、処理をステップＳ１０９に進め、正規のコマンドではないと判定した場合には（ステップＳ１０８：ＮＯ）、処理をステップＳ１１０に進める。

［ステップＳ１０９］
ＨＭＤ装置１は、アプリケーション部５０として機能し、コマンド決定部４８により決定されたコマンドに対応する処理を実行する。たとえば、ＨＭＤ装置１は、ステップＳ１０７において決定されたコマンドが、ピンチアウト、ピンチインなどのジェスチャーに対応するコマンドである場合には、拡大処理、縮小処理などを実行する。また、ＨＭＤ装置１は、ステップＳ１０７において決定されたコマンドが、スライド、タップ、ダブルタップなどのジェスチャーに対応するコマンドである場合には、コンテンツの再生、一時停止、停止などの処理を実行する。

［ステップＳ１１０］
ＨＭＤ装置１は、通知部４７および表示制御部４９として機能し、ユーザーのジェスチャーに対応する処理を実行できない旨のエラーを通知する。たとえば、ＨＭＤ装置１は、「同位置でジェスチャーをやり直して下さい」などのメッセージを表示装置１２に表示させる。

［ステップＳ１１１］
ＨＭＤ装置１は、制御部４１として機能し、ジェスチャー認識処理を終了する指示がユーザーによりなされたか否か判別する。具体的には、ＨＭＤ装置１は、入力装置３４に対してジェスチャー認識処理を終了する操作がなされたか否かに応じて判別すればよい。

ＨＭＤ装置１は、ジェスチャー認識処理を終了する指示がなされていない場合には（ステップＳ１１１：ＮＯ）、処理をステップＳ１０１に戻し、ジェスチャー認識処理を継続する。一方、ＨＭＤ装置１は、ジェスチャー認識処理を終了する指示がなされた場合には（ステップＳ１１１：ＹＥＳ）、ジェスチャー認識処理を終了する。

（警告処理Ｓ１０４）
次に、警告処理（ステップＳ１０４）の詳細について説明する。

上記のジェスチャー認識処理において処理がステップＳ１０４へ進むと、ＨＭＤ装置１は、警告処理を開始する。

［ステップＳ２０１］
ＨＭＤ装置１は、揺れ検出部４３として機能し、撮像装置１１の向き（たとえば、カメラレンズの光軸方向）の変化を検出する。たとえば、揺れ検出部４３は、ステップＳ１０２において取得された全てのフレームのセンサー値のうち、最初と最後のフレーム間でのセンサー値の差分を求め、所定量未満である場合には、撮像装置１１の向きに変化はないと判断する。一方、ＨＭＤ装置１は、最初と最後のフレーム間でのセンサー値の差分が所定量以上である場合には、撮像装置１１の向きに変化があると判断する。

ＨＭＤ装置１は、撮像装置１１の向きに変化がないと判断した場合には（ステップＳ２０１：ＮＯ）、処理をステップＳ２０２に進める。一方、ＨＭＤ装置１は、撮像装置１１の向きに変化があると判断した場合には（ステップＳ２０１：ＹＥＳ）、処理をステップＳ２０６に進める。

［ステップＳ２０２］
ＨＭＤ装置１は、コマンド決定部４８として機能し、ステップＳ１０３において算出された「手」の移動量から、ユーザーのジェスチャーを認識する。そして、ＨＭＤ装置１は、認識したジェスチャーに従って、ＨＭＤ装置１に対するユーザーの指示内容、すなわち、コマンドを決定する。ただし、ステップＳ１０３において「手」の移動量が算出できなかった場合には、所定の対象（たとえば、ユーザーの手）がジェスチャー認識エリアの外へ出るような動きを含むジェスチャーである可能性が高い。そこで、ＨＭＤ装置１は、「手」がジェスチャー認識エリア内を移動している間に撮像された各フレーム間での「手」の移動量から、ユーザーのジェスチャーを認識し、対応するコマンドを決定する。

［ステップＳ２０３］
ＨＭＤ装置１は、コマンド決定部４８として機能し、ステップＳ２０２において決定されたコマンドが正規のコマンドであるか否か判別する。具体的には、ＨＭＤ装置１は、ステップＳ２０２において認識されたジェスチャーに対応するコマンドが存在しない場合や、その時点において制限されている制御を指示するコマンドである場合に、正規のコマンドではないと判定する。一方、ＨＭＤ装置１は、ステップＳ２０２において認識されたジェスチャーに対応するコマンドが、その時点において実行可能な制御を指示するコマンドである場合には、正規のコマンドと判定する。

ＨＭＤ装置１は、正規のコマンドと判定した場合には（ステップＳ２０３：ＹＥＳ）、処理をステップＳ２０４に進め、正規のコマンドではないと判定した場合には（ステップＳ２０３：ＮＯ）、処理をステップＳ２０５に進める。

［ステップＳ２０４］
ＨＭＤ装置１は、アプリケーション部５０として機能し、コマンド決定部４８により決定されたコマンドに対応する処理を実行する。たとえば、ＨＭＤ装置１は、ステップＳ２０３において決定されたコマンドが、スワイプなどのジェスチャーに対応するコマンドである場合には、表示中のページをめくる処理などを実行する。

［ステップＳ２０５］
ＨＭＤ装置１は、通知部４７および表示制御部４９として機能し、撮像装置１１は動いていないが、所定の対象（たとえば、ユーザーの手）がジェスチャー認識エリアから外れたこと（図６（Ａ）に示す状態であること）をユーザーに知らせるための通知Ａを行う。

たとえば、図６（Ａ）に示すようにユーザーからみてジェスチャー認識エリアの右側に対象が外れた場合には、ＨＭＤ装置１は、表示装置１２を制御して、表示画面の右側に手を模した画像を表示する（図６（Ｂ））。これにより、ユーザーは、手がジェスチャー認識エリアの右側に外れたことを容易に把握でき、直観的にジェスチャーの位置を左側に移動させればよいことがわかる。

また、ユーザーからみてジェスチャー認識エリアの左側に対象が外れた場合には、ＨＭＤ装置１は、表示装置１２を制御して、表示画面の左側に手を模した画像を表示する（図７（Ａ））。これにより、ユーザーは、手がジェスチャー認識エリアの左側に外れたことを容易に把握でき、直観的にジェスチャーの位置を右側に移動させればよいことがわかる。

また、ユーザーからみてジェスチャー認識エリアの上側に対象が外れた場合には、ＨＭＤ装置１は、表示装置１２を制御して、表示画面の上側に手を模した画像を表示する（図７（Ｂ））。これにより、ユーザーは、手がジェスチャー認識エリアの上側に外れたことを容易に把握でき、直観的にジェスチャーの位置を下側に移動させればよいことがわかる。

同様に、ユーザーからみてジェスチャー認識エリアの下側、左上側、右上側、左下側、右下側に対象が外れた場合には、ＨＭＤ装置１は、表示画面の下側、左上側、右上側、左下側、右下側に手を模した画像を表示する（図７（Ｃ）、図７（Ｄ）、図８（Ａ）、図８（Ｂ）、図８（Ｃ））。このように、ＨＭＤ装置１は、ジェスチャー認識エリアから対象が外れた側に、警告のための画像を表示し、ユーザーが直感的に動作を戻す方向を確認できるようにする。

以上のような通知Ａの後、ＨＭＤ装置１は、制御部４１として機能し、処理をジェスチャー認識処理に戻す。

［ステップＳ２０６］
ＨＭＤ装置１は、揺れ検出部４３として機能し、所定の対象が移動した軌跡について、撮像装置１１の向きの変化量を考慮して補正する。すなわち、ＨＭＤ装置１は、連続する全てのフレーム間での「手」の移動量を、実際に「手」が移動した分の移動量に変換する。具体的には、ＨＭＤ装置１は、連続するフレーム間で、撮像画像内における「手」の移動量（ベクトル）と、撮像装置１１の向きの変化量（ベクトル）とを合成すればよい。

ただし、ステップＳ１０３において「手」の移動量が算出できなかった場合には、所定の対象（たとえば、ユーザーの手）がジェスチャー認識エリアの外へ出るような動きを含むジェスチャーである可能性が高い。そこで、ＨＭＤ装置１は、「手」がジェスチャー認識エリア内を移動している間に撮像された各フレーム間での「手」の移動量のみを、実際に「手」が移動した分の移動量に変換する。

［ステップＳ２０７］
ＨＭＤ装置１は、コマンド決定部４８として機能し、ステップＳ２０６において補正された「手」の移動量から、ユーザーのジェスチャーを認識する。そして、ＨＭＤ装置１は、認識したジェスチャーに従って、ＨＭＤ装置１に対するユーザーの指示内容、すなわち、コマンドを決定する。

［ステップＳ２０８］
ＨＭＤ装置１は、コマンド決定部４８として機能し、ステップＳ２０７において決定されたコマンドが正規のコマンドであるか否か判別する。具体的には、ＨＭＤ装置１は、ステップＳ２０７において認識されたジェスチャーに対応するコマンドが存在しない場合や、その時点において制限されている制御を指示するコマンドである場合に、正規のコマンドではないと判定する。一方、ＨＭＤ装置１は、ステップＳ２０７において認識されたジェスチャーに対応するコマンドが、その時点において実行可能な制御を指示するコマンドである場合には、正規のコマンドと判定する。

ＨＭＤ装置１は、正規のコマンドと判定した場合には（ステップＳ２０８：ＹＥＳ）、処理をステップＳ２０９に進め、正規のコマンドではないと判定した場合には（ステップＳ２０８：ＮＯ）、処理をステップＳ２１０に進める。

［ステップＳ２０９］
ＨＭＤ装置１は、アプリケーション部５０として機能し、コマンド決定部４８により決定されたコマンドに対応する処理を実行する。たとえば、ＨＭＤ装置１は、ステップＳ２０７において決定されたコマンドが、スワイプなどのジェスチャーに対応するコマンドである場合には、表示中のページをめくる処理などを実行する。

［ステップＳ２１０］
ＨＭＤ装置１は、通知部４７および表示制御部４９として機能し、撮像装置１１が動いたことにより、所定の対象（たとえば、ユーザーの手）がジェスチャー認識エリアから外れたこと（図９（Ａ）に示す状態であること）をユーザーに知らせるための通知Ｂを行う。

たとえば、図９（Ａ）に示すようにユーザーが左方向を向いたことにより対象がジェスチャー認識エリアの右側に外れた場合には、ＨＭＤ装置１は、表示装置１２を制御して、表示画面の右側に矢印を模した画像を表示する（図９（Ｂ））。これにより、ユーザーは、撮像装置１１が左方向を向いていることを容易に把握でき、直観的に頭部を右方向に向ければよいことがわかる。

また、ユーザーが右方向を向いたことにより対象がジェスチャー認識エリアの左側に外れた場合には、ＨＭＤ装置１は、表示装置１２を制御して、表示画面の左側に矢印を模した画像を表示する（図１０（Ａ））。これにより、ユーザーは、撮像装置１１が右方向を向いていることを容易に把握でき、直観的に頭部を左方向に向ければよいことがわかる。

また、ユーザーが下方向を向いたことにより対象がジェスチャー認識エリアの上側に外れた場合には、ＨＭＤ装置１は、表示装置１２を制御して、表示画面の上側に矢印を模した画像を表示する（図１０Ｂ）。これにより、ユーザーは、撮像装置１１が下方向を向いていることを容易に把握でき、直観的に頭部を上方向に向ければよいことがわかる。

同様に、ユーザーが上方向、右下方向、左下方向、右上方向、左上方向を向いたことにより対象がジェスチャー認識エリアから外れた場合には、ＨＭＤ装置１は、表示装置１２を制御して、表示画面の下側、左上側、右上側、左下側、右下側に矢印を模した画像を表示する（図１０（Ｃ）、図１０（Ｄ）、図１１（Ａ）、図１１（Ｂ）、図１１（Ｃ））。このように、ユーザーがある方向を向いたことにより対象がジェスチャー認識エリアから外れた場合には、ユーザーが向いた方向の反対側に画像を表示する。したがって、ユーザーは直感的に、頭部を向ける方向を確認できる。

以上のような通知Ｂの後、ＨＭＤ装置１は、制御部４１として機能し、処理をジェスチャー認識処理に戻す。

以上のジェスチャー認識処理および警告処理がＨＭＤ装置１において実行されることにより、所定の対象（ユーザーの身体の一部）の追跡ができなくなった場合には、その原因を特定し、特定した原因に基づく適切な通知Ａ、Ｂを行っている。この通知Ａ、Ｂによって、ユーザーは、ＨＭＤ装置１により正しくジェスチャーを認識できるようにするために、頭部をどの方向に動かせばよいのか、手をどの方向に動かせばよいのか、容易に判断できる。このようにして、ユーザーは直観的にジェスチャーの位置を正せるようになる。

上記した各フローチャートの各処理単位は、ＨＭＤ装置１の理解を容易にするために、主な処理内容に応じて分割したものである。処理ステップの分類の仕方やその名称によって、本願発明が制限されることはない。ＨＭＤ装置１で行われる処理は、さらに多くの処理ステップに分割することもできる。また、１つの処理ステップが、さらに多くの処理を実行してもよい。

＜変形例＞
なお、上記の実施形態は、本発明の要旨を例示することを意図し、本発明を限定するものではない。多くの代替物、修正、変形例は当業者にとって明らかである。

たとえば、上記実施形態では、撮像装置１１の視野全体（撮像画像の全領域）を、ジェスチャー認識エリアとして設定している。しかし、本発明は、これに限定されず、撮像装置１１の視野内の一部の領域を、ジェスチャー認識エリアとして設定してもよい。

図１２は、ジェスチャー認識エリアの変形例を示す図である。図１２の破線で囲んだ領域のように、ユーザーの右手によるジェスチャーを認識しやすくするために、撮像装置１１の視野内右側の領域を、ジェスチャー認識エリアとして設定してもよい。ジェスチャー認識エリアは、透明部材Ｇ１、Ｇ２上に表示してもよいし、表示しなくてもよい。

また、本発明は、ユーザーが装着または保持して用いる機器であって、ユーザーのジェスチャーを認識可能な機能を有していれば、任意の機器に適用可能である。したがって、本発明は、上記実施形態のＨＭＤ装置１に適用する例に限らない。

図１３は、本発明を携帯端末に適用する例について説明するための図である。図１３に示すように、本発明をユーザーが手に保持して用いる携帯端末６０に適用することもできる。ここで携帯端末には、スマートフォン、タブレットＰＣ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の、各種情報やコンテンツを表示可能な表示画面と撮像装置とを有する携帯情報端末装置が含まれる。

本発明を携帯端末６０に適用する場合、携帯端末６０は、上記実施形態と同様の構成を有し、ユーザーの顔の動きをジェスチャーとして認識する。そして、携帯端末６０は、ジェスチャー認識エリアから顔が外れた場合に、携帯端末６０を保持しているユーザーの手（すなわち、撮像装置１１）が動いたのか、ユーザーの顔（ジェスチャー）が動いたのか区別可能なようにユーザーに通知を行う。

また、通知部４７は、原因特定部４６により特定された原因に応じて異なる警告音を出力するようにしてもよい。また、通知部４７、原因特定部４６により特定された原因に応じて異なる振動パターンをモーターなどにより発生させてもよい。

また、上記実施形態および変形例では、ＨＭＤ装置１は、シースルー型の画像表示装置としている。しかし、本発明は、これに限定されず、ＨＭＤ装置１は、非透過型の画像表示装置であってもよい。

以上のＨＭＤ装置１の構成は、上記の実施形態および変形例の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られない。また、一般的なＨＭＤ装置１が備える構成を排除するものではない。

また、上記したＨＭＤ装置１の各機能構成は、各機能構成を理解容易にするために、主な処理内容に応じて分類したものである。構成要素の分類の仕方や名称によって、本願発明が制限されることはない。各機能構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、一つの構成要素がさらに多くの処理を実行するように分類することもできる。

また、上記したＨＭＤ装置１の各機能構成の処理は、専用のハードウェア回路によっても実現することもできる。この場合には、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。

また、ＨＭＤ装置１を動作させるプログラムは、ＵＳＢメモリー、フレキシブルディスク、ＣＤ−ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、メモリー３２やストレージ３３等に転送され記憶される。また、このプログラムは、たとえば、単独のアプリケーションソフトとして提供されてもよいし、ＨＭＤ装置１の一機能としてその各装置のソフトウェアに組み込んでもよい。

１ ＨＭＤ装置、
１１ 撮像装置、
１２ 表示装置、
１３ 慣性センサー、
３１ ＣＰＵ、
３２ メモリー、
３３ ストレージ、
３４ 入力装置、
３５ 表示コントローラー、
４１ 制御部、
４２ 撮像制御部、
４３ 揺れ検出部、
４４ 追跡部、
４５ 追跡可否判断部、
４６ 原因特定部、
４７ 通知部、
４８ コマンド決定部、
４９ 表示制御部、
５０ アプリケーション部、
６０ 携帯端末、
Ｕ 制御ユニット。

Claims (7)

1. ユーザーが装着または保持して用いるジェスチャー認識装置であって、
   連続して画像を撮像する撮像部と、
   前記撮像部の向きの変化を検出する検出部と、
   前記撮像部により撮像された画像を用いて、所定の対象を追跡する追跡部と、
   前記追跡部による追跡の可否を判断する判断部と、
   前記判断部の判断結果により前記対象の追跡が不可の場合、前記検出部により検出された前記向きの変化量を算出して、追跡が不可となった原因を特定する特定部と、
   前記特定部により特定された前記原因に基づく通知を行う通知部と、を備えるジェスチャー認識装置。
2. 前記通知部は、前記特定部により特定された前記原因に応じて異なる通知を行う、請求項１に記載のジェスチャー認識装置。
3. 前記通知部が行う通知には、表示による通知、音声による通知、および振動による通知の少なくともいずれか一つの通知が含まれる、請求項１または請求項２に記載のジェスチャー認識装置。
4. 前記追跡部は、前記撮像部の視野内に設定された認識領域内において前記対象を追跡する、請求項１〜３のいずれか一項に記載のジェスチャー認識装置。
5. 前記追跡部により追跡された前記対象の動きに従ってコマンドを決定するコマンド決定部を、さらに備え、
   前記通知部は、前記コマンド決定部によりコマンドが決定される際に前記対象の追跡が不可となった場合に、通知を行う、請求項１〜４のいずれか一項に記載のジェスチャー認識装置。
6. 請求項１〜５のいずれか一項に記載のジェスチャー認識装置を備える、ヘッドマウントディスプレイ。
7. 請求項１〜５のいずれか一項に記載のジェスチャー認識装置を備える、携帯端末。