JP2010164784A

JP2010164784A - ヘッドマウントディスプレイ

Info

Publication number: JP2010164784A
Application number: JP2009007104A
Authority: JP
Inventors: Masahito Saeki; 正仁佐伯
Original assignee: Brother Industries Ltd
Current assignee: Brother Industries Ltd
Priority date: 2009-01-15
Filing date: 2009-01-15
Publication date: 2010-07-29
Also published as: WO2010082270A1

Abstract

【課題】ヘッドマウントディスプレイの動作を指示するための操作に関し、操作性に優れた新たなヘッドマウントディスプレイを提供することを目的とする。
【解決手段】ＣＣＤカメラによって撮像された、ヘッドマウントディスプレイの利用者の右手及び左手の輪郭を解析し（Ｓ１１０）、解析結果に基づき（Ｓ１１２、Ｓ１１６，Ｓ１２０，Ｓ１２４）、ヘッドマウントディスプレイと制御ボックスとによって実現される動作を制御する（Ｓ１１４，Ｓ１１８，Ｓ１２２，Ｓ１２６）。
【選択図】図６

Description

本発明は、利用者の眼にコンテンツデータにより示されるコンテンツ画像を視認可能に提示し、この利用者にコンテンツ画像を認識させるヘッドマウントディスプレイに関するものである。

利用者の眼にコンテンツデータにより示されるコンテンツ画像を視認可能に提示し、この利用者にコンテンツ画像を認識させるヘッドマウントディスプレイに関する技術が提案されている。例えば、外界像を観察（視認）可能なシースルー型のヘッドマウントディスプレイにおいて、利用者が、ヘッドマウントディスプレイに備えられた赤外線センサ付近に自身の手を近づけた場合、ヘッドマウントディスプレイに内蔵された液晶シャッタへの電流の通電、遮断を制御するスイッチ制御回路が駆動し、液晶シャッタをオフ状態に設定し、外界像を観察できるようにする技術が提案され、これによって、利用者は、装置に手を触れることなく、映像鑑賞状態（コンテンツ画像を視認している状態）と外界像観察状態とを、容易に切り替えることができるとされている（例えば、特許文献１）。なお、このヘッドマウントディスプレイによれば、赤外線センサの検知距離は１０ｃｍ以内とすることで、誤動作を回避することができるとされている。

特開平９−５６６６号公報

ところで、ヘッドマウントディスプレイが利用される場面として、例えば、所定の製品の生産現場が想定される。すなわち、ヘッドマウントディスプレイを用いて製品の組立てに関する作業指示を、これを装着する利用者に提示し、この利用者が、手作業で製品を組み立てるような場面が想定される。したがって、このような場面において、ヘッドマウントディスプレイの動作を指示するための操作を適切かつ効率的に行える構成は有用である。

本発明は、ヘッドマウントディスプレイの動作を指示するための操作に関し、操作性に優れた新たなヘッドマウントディスプレイを提供することを目的とする。

上記課題に鑑みなされた本発明のヘッドマウントディスプレイは、利用者の手を撮像し、撮像した手の画像を解析し、解析の結果得られた利用者の手の態様が、一の態様であると解析された場合、一の動作の実行を制御し、他の態様であると解析された場合、他の動作を制御することとしたものである。

本発明を反映した第１の課題解決手段は、利用者の眼に、コンテンツデータにより示されるコンテンツ画像を視認可能に提示し、前記利用者に前記コンテンツ画像を認識させるヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイの動作を制御する制御手段と、前記利用者の手を撮像する撮像手段と、前記撮像手段が撮像した手の画像を解析する画像解析手段と、を備え、前記制御手段は、前記画像解析手段が、前記撮像手段により撮像された手の画像が手の平を示すものであると解析した場合、前記ヘッドマウントディスプレイの第１動作を制御し、前記撮像手段により撮像された手の画像が手の甲を示すものであると解析した場合、前記ヘッドマウントディスプレイの第２動作を制御することを特徴とするヘッドマウントディスプレイである。

これによれば、ヘッドマウントディスプレイの利用者の手の平と手の甲とを識別することによって、ヘッドマウントディスプレイの各動作を制御することが可能で、ヘッドマウントディスプレイの操作性を向上させることができる。

第２の課題解決手段は、利用者の眼に、コンテンツデータにより示されるコンテンツ画像を視認可能に提示し、前記利用者に前記コンテンツ画像を認識させるヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイの動作を制御する制御手段と、前記利用者の手を撮像する撮像手段と、前記撮像手段が撮像した手の画像を解析する画像解析手段と、を備え、前記制御手段は、前記画像解析手段が、前記撮像手段により撮像された手の画像が右手を示すものであると解析した場合、前記ヘッドマウントディスプレイの第１動作を制御し、前記撮像手段により撮像された手の画像が左手を示すものであると解析した場合、前記ヘッドマウントディスプレイの第２動作を制御することを特徴とするヘッドマウントディスプレイである。

これによれば、ヘッドマウントディスプレイの利用者の右手と左手とを識別することによって、ヘッドマウントディスプレイの各動作を制御することが可能で、ヘッドマウントディスプレイの操作性を向上させることができる。

第３の課題解決手段は、利用者の眼に、コンテンツデータにより示されるコンテンツ画像を視認可能に提示し、前記利用者に前記コンテンツ画像を認識させるヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイの動作を制御する制御手段と、前記利用者の手を撮像する撮像手段と、前記撮像手段が撮像した手の画像を解析する画像解析手段と、を備え、前記制御手段は、前記画像解析手段が、前記撮像手段により撮像された手の画像が右手の平を示すものであると解析した場合、前記ヘッドマウントディスプレイの第１動作を制御し、前記撮像手段により撮像された手の画像が左手の甲を示すものであると解析した場合、前記ヘッドマウントディスプレイの第２動作を制御し、前記撮像手段により撮像された手の画像が左手の平を示すものであると解析した場合、前記ヘッドマウントディスプレイの第３動作を制御し、前記撮像手段により撮像された手の画像が右手の甲を示すものであると解析した場合、前記ヘッドマウントディスプレイの第４動作を制御することを特徴とするヘッドマウントディスプレイである。

これによれば、ヘッドマウントディスプレイの利用者の右手の平と右手の甲と左手の平と左手の甲とを識別することによって、ヘッドマウントディスプレイの各動作を制御することが可能で、ヘッドマウントディスプレイの操作性を向上させることができる。

第４の課題解決手段は、利用者の眼に、コンテンツデータにより示されるコンテンツ画像を視認可能に提示し、前記利用者に前記コンテンツ画像を認識させるヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイの動作を制御する制御手段と、前記利用者の右手及び左手を撮像する撮像手段と、前記撮像手段が撮像した右手及び左手の画像を解析する画像解析手段と、を備え、前記制御手段は、前記ヘッドマウントディスプレイの第５動作を制御している場合に、前記画像解析手段が、前記撮像手段により撮像された手の画像が右手の甲と左手の甲とを示すものであると解析した場合、前記ヘッドマウントディスプレイの第５動作の制御を継続し、前記撮像手段により撮像された手の画像が、右手の平と左手の平とを示すものであると解析した場合と、右手の平と左手の甲とを示すものであると解析した場合と、右手の甲と左手の平とを示すものであると解析した場合と、に前記ヘッドマウントディスプレイの第５動作とは異なる動作を制御することを特徴とするヘッドマウントディスプレイである。

これによれば、ヘッドマウントディスプレイの利用者の右手の平又は右手の甲と、左手の平又は左手の甲との組合せを識別することによって、ヘッドマウントディスプレイの各動作を制御することが可能で、ヘッドマウントディスプレイの操作性を向上させることができる。特に、右手の甲と左手の甲との組合せである場合、実行中の動作が継続される一方、右手と左手の少なくともいずれかの手の平を撮像手段側に向けられた場合、実行中の動作とは異なる動作が制御される。

なお、第１乃至第４の課題解決手段において、「ヘッドマウントディスプレイの動作」は、例えば、コンテンツデータに対するものの他、ヘッドマウントディスプレイへの電源の供給若しくは遮断、その他ヘッドマウントディスプレイにおいて実現される各種動作を含む。また、ヘッドマウントディスプレイは、必ずしも１つの装置である必要はなく、例えば、２つの装置による構成であってもよい。例えば、制御手段と画像解析手段とを別の装置として構成し、ヘッドマウントディスプレイと所定の信号ケーブルで接続した構成とすることもできる。

本発明によれば、ヘッドマウントディスプレイの動作を指示するための操作に関し、操作性に優れた新たなヘッドマウントディスプレイを得ることができる。

（ａ）乃至（ｃ）は、本発明の実施形態におけるＨＭＤの外観を示す図本発明の実施形態におけるＨＭＤを装着した状態を示す図本発明の実施形態におけるＣＣＤカメラの外観を示す図本発明の実施形態におけるＨＭＤに接続される制御ボックスの機能ブロックを示す図本発明の実施形態における右手の平及び甲と左手の平及び甲の基準画像データによって示される各基準画像を示す図本発明の実施形態における第１形態のメイン処理のフローを示す図（ａ）及び（ｂ）は、本発明の実施形態における所定の製品の組立作業の内容及びその組立作業に関してＨＭＤによって提示されるコンテンツ画像を示す図本発明の実施形態における第１形態のパターンマッチング処理のフローを示す図本発明の実施形態における第２形態のメイン処理のフローを示す図本発明の実施形態における第２形態のパターンマッチング処理のフローを示す図

本発明を反映した上記課題解決手段を実施するための実施形態について、図面を用いて以下に詳細に説明する。なお、上記課題解決手段は、以下に記載の構成に限定されるものではなく、同一の技術的思想において種々の構成を採用することができる。例えば、以下の説明では、ヘッドマウントディスプレイ本体と、ヘッドマウントディスプレイ本体にコンテンツ画像を提供する制御ボックスと、を接続して構成されたヘッドマウントディスプレイを例に説明するが、これら各装置を一体の装置として構成することもできる。なお、以下の説明において、ヘッドマウントディスプレイ本体を、単にヘッドマウントディスプレイ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ／以下、「ＨＭＤ」という。）という。

（ヘッドマウントディスプレイの概要）
図１に、ＨＭＤの構成、より具体的には、図１（ａ）にＨＭＤの上面図、図１（ｂ）にＨＭＤの正面図、図１（ｃ）にＨＭＤの左側面図を示す。また、図２にＨＭＤを利用者が装着した状態を示す。

ＨＭＤ１００は、一端に利用者の耳に当たるモダン１０２Ａ，１０２Ｂが取り付けられたテンプル１０４Ａ，１０４Ｂと、テンプル１０４Ａ，１０４Ｂの他端に兆番１１２Ａ，１１２Ｂを介して連結されたヨロイ１０６Ａ，１０６Ｂと、ヨロイ１０６Ａ，１０６Ｂを連結するフロントフレーム１０８と、フロントフレーム１０８の中央部に取り付けられ、利用者の鼻に当接する鼻パッド１１０と、により骨格部が形成されている。ヨロイ１０６Ａ，１０６Ｂに形成された兆番１１２Ａ，１１２Ｂでテンプル１０４Ａ，１０４Ｂを折りたたむことができる。ＨＭＤ１００の骨格部の構成は、例えば、通常の眼鏡と同様であり、ＨＭＤ１００は、利用者に装着された状態において、モダン１０２Ａ，１０２Ｂと、鼻パッド１１０と、により利用者の顔に支持される（図２参照）。なお、図１（ｂ）において、モダン１０２Ａ，１０２Ｂ及びテンプル１０４Ａ，１０４Ｂの描画を省略している。

ＨＭＤ１００の骨格部には、画像提示装置１１４が、ヨロイ１０６Ａ付近に配設された取付部１２２を介して取り付けられている。画像提示装置１１４は、ヨロイ１０６Ａ付近に取付部１２２を介して取り付けられた状態において、ＨＭＤ１００を装着した利用者の左眼１１８と略同一の高さとなる位置に配設される。画像提示装置１１４は、制御ボックス２００（図２参照。詳細については後述する図４参照）と、所定の信号ケーブル２５０（図２参照）を介して接続されている。詳細は後述するが、制御ボックス２００は、所定の記憶領域（例えば、フラッシュＲＯＭ２０６（図４参照））に記憶されたコンテンツデータに対しレンダリング処理を実行し、自装置が備えるＨＭＤ接続インターフェース（以下、「Ｉ／Ｆ」という。）２１２（図４参照）を制御し、再生処理（レンダリング処理）によって得られたコンテンツ画像を含むコンテンツ画像信号を、信号ケーブル２５０を介して画像提示装置１１４に出力（送信）する。画像提示装置１１４は、制御ボックス２００が出力するコンテンツ画像信号を、図１及び２には描画していない入出力Ｉ／Ｆを介して受信し、これを取得する。そして、コンテンツ画像信号に基づくコンテンツ画像を、ハーフミラー１１６に向けて光学的に出射する。

画像提示装置１１４から出射されたコンテンツ画像（光線）は、ハーフミラー１１６で、反射し、利用者の左眼１１８に入射、換言すれば、視認可能に提示（投影）される。これにより、利用者はコンテンツ画像を認識する。ここで、図１（ａ）において符号１２０ａは、画像提示装置１１４から出射されたコンテンツ画像に関する光線を示し、符号１２０ｂは、ハーフミラー１１６で反射し、利用者の左眼１１８に入射する光線を示す。なお、画像提示装置１１４は、取得したコンテンツ画像信号に応じた画像光１２０ａ，１２０ｂを２次元方向に走査し、その走査された画像光１２０ａ，１２０ｂを利用者の左眼１１８に導き網膜上にコンテンツ画像を形成する網膜走査型のディスプレイを用いて構成することができる他、液晶ディスプレイ、有機ＥＬ（ＯｒｇａｎｉｃＥｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイその他の装置を用いた構成とすることもできる。

画像提示装置１１４の上面には利用者の手を撮像可能なＣＣＤカメラ３００が取り付けられている（図２参照）。なお、ＣＣＤカメラ３００の外観を図３に示す。

（制御ボックスの構成）
図４に、制御ボックスの構成を示す機能ブロックを示す。なお、制御ボックス２００は、例えば、利用者の腰等に取り付け、利用される。制御ボックス２００は、自装置の制御を司るＣＰＵ２０２と、各種プログラムを記憶するプログラムＲＯＭ２０４と、コンテンツデータ、右手の平及び甲と左手の平と甲を示す基準画像データその他各種データを記憶する不揮発性のフラッシュロム２０６と、作業領域としてのＲＡＭ２０８とを備える。

また、制御ボックス２００は、ＣＣＤカメラ３００が接続されるＣＣＤカメラ接続Ｉ／Ｆ２１０を備える。ＣＣＤカメラ接続Ｉ／Ｆ２１０は、ＣＣＤカメラ３００からの撮像画像データの入力（受信）を、ＣＰＵ２０２からの指令に基づき制御するＣＣＤカメラ接続コントローラ２１０２と、ＣＣＤカメラ３００によって撮像された画像を記憶するＣＣＤカメラ用ＶＲＡＭ（ＶｉｄｅｏＲＡＭ）２１０４とを搭載する。また、制御ボックス２００はＨＭＤ１００が接続されるＨＭＤ接続Ｉ／Ｆ２１２を備える。ＨＭＤ接続Ｉ／Ｆ２１２は、ＣＰＵ２０２からの指令に基づきＨＭＤ１００（画像提示装置１１４）との間の各種データを含む信号の入出力（送受信）を制御するＨＭＤ接続コントローラ２１２２と、画像提示装置１１４に出力されるコンテンツ画像を記憶するＨＭＤ用ＶＲＡＭ２１２４とを搭載する。さらに、制御ボックス２００は、例えば、ＣＣＤカメラ３００による撮像位置を照らすランプ３１０と、ＨＭＤ１００及び制御ボックス２００の電源スイッチ３２０とが接続される周辺Ｉ／Ｆ２１４と、例えば、キーボード（図４において描画せず）から所定の指示の入力を受け付ける通信部２１６とを備える。

図５は、フラッシュＲＯＭ２０６に記憶される右手の平及び甲と左手の平と甲を示す基準画像データによって示される右手の平の画像と、右手の甲の画像と、左手の平の画像と、左手の甲の画像と、を示すものである。各画像は、後述する手の平判定（図６のＳ１１０、詳細には図８参照）において実施されるパターンマッチング処理の判定基準となる画像である。ここで、右手の平及び左手の甲について、各々の外形（輪郭）を比較すると、両者は各々略同一である。同じく右手の甲及び左手の平についても、各々の外形（輪郭）は略同一である。なお、以下の説明において、これら画像を「基準パターン」という。

ＣＰＵ２０２は、フラッシュＲＯＭ２０６に記憶されているコンテンツデータを再生（レンダリング）するためのプログラムＲＯＭ２０４に記憶されたプログラムを、ＲＡＭ２０６上で実行することで、コンテンツ画像を取得する。そして、プログラムＲＯＭ２０４に記憶されているＨＭＤ接続Ｉ／Ｆ２１２を制御するためのプログラムをＲＡＭ２０６上で実行し、コンテンツ画像を含むコンテンツ画像信号のＨＭＤ１００への出力を、ＨＭＤ接続コントローラ２１２２に指令する。

また、ＣＰＵ２０２は、ＣＣＤカメラ３００からＣＣＤカメラ接続Ｉ／Ｆ２１０を介して入力され、ＣＣＤカメラ接続コントローラ２１０２によってＣＣＤカメラ用ＶＲＡＭ２１０４に記憶された利用者の手の画像を用いて、プログラムＲＯＭ２０４に記憶されている解析用プログラム（例えば、パターンマッチングのためのプログラム）をＲＡＭ２０６上で実行することで、利用者の手の態様について解析する。さらに、ＣＰＵ２０２は、プログラムＲＯＭ２０４に記憶されているＨＭＤ１００を制御するためのプログラムをＲＡＭ２０６上で実行し、通信部が受け付けた指示に基づいたＨＭＤ１００の動作と、解析結果に基づいたＨＭＤ１００の動作と、を制御する。したがって、ＣＰＵ２０２が、コンテンツデータと手の画像等の各種データを用い、プログラムＲＯＭ２０４に記憶された各種プログラムをＲＡＭ２０６上で実行することにより、各種機能手段（例えば、制御手段及び画像解析手段）が構成される。

（制御ボックスによって実行される処理の第１形態）
図６に、制御ボックスにおいて実行されるメイン処理の第１形態によるフローを示す。なお、この処理は、ＨＭＤ１００及び制御ボックス２００の電源がＯＮされ、コンテンツデータの再生指示が、例えば、通信部２１６に接続されたキーボードを介して入力され、これをＣＰＵ２０２が取得したことを条件として開始される。詳細には、ＣＰＵ２０２は、再生指示の取得を条件として、プログラムＲＯＭ２０４に記憶された所定のプログラムをＲＡＭ２０６上で実行し、この処理を開始する。

先ず、ＣＰＵ２０２は、フラッシュＲＯＭ２０６から、コンテンツデータをＲＡＭ２０８上に読み出し、これに対してレンダリング処理を実行し、所定のコンテンツ画像を生成する。例えば、複数のスライドから構成されるコンテンツデータの内、第１頁目のスライドを示すコンテンツ画像を生成する。そして、ＣＰＵ２０２は、生成したコンテンツ画像、例えば、第１頁目のスライドを示すコンテンツ画像をＨＭＤ用ＶＲＡＭ２１２４に記憶し、ＨＭＤ接続コントローラ２１２２に対して、ＨＭＤ用ＶＲＡＭ２１２４上のコンテンツ画像を含むコンテンツ画像信号の出力を指令する。ＨＭＤ接続コントローラ２１２２は、ＣＰＵ２０２の指令に基づきＨＭＤ接続Ｉ／Ｆ２１２を制御し、コンテンツ画像信号をＨＭＤ１００に送信する（Ｓ１００）。コンテンツ画像信号を受信した画像提示装置１１４は、制御ボックス２００が送信したコンテンツ画像信号を、図１及び図２には描画していない入出力Ｉ／Ｆを介して受信し、これを取得する。そして、コンテンツ画像信号に基づくコンテンツ画像を提示、詳細には、コンテンツ画像をハーフミラー１１６に向けて光学的に出射する。これにより、ＨＭＤ１００を装着した利用者は、コンテンツ画像を視認し、認識する。具体的に、利用者は、図７（ａ）に示すような所定の製品の組立作業に関する作業指図を内容とするコンテンツ画像（第１頁目のスライド）を視認し、認識する。そして、図７（ｂ）に示すように左右両手を用いて所定の製品の組み立てを実施する。

コンテンツデータの再生を開始したＣＰＵ２０２は、ＣＣＤカメラ接続コントローラ２１０２が、ＣＣＤカメラ接続Ｉ／Ｆ２１０を制御し、受信し、ＣＣＤカメラ用ＶＲＡＭ２１０４に記憶された撮像画像を、ＣＣＤカメラ用ＶＲＡＭ２１０４から読み出し（Ｓ１０２）、撮像画像に利用者の手の色を示す「肌色」で描画された部分があるか否かを判断する（Ｓ１０４）。例えば、撮像画像が、ＲＧＢ（赤、緑及び青の三原色）で表わされる画像である場合、各色の値の比が所定の範囲にあるか否かで判断する。判断の結果、撮像画像に肌色部分が存在しない場合（Ｓ１０４：Ｎｏ）、ＣＰＵ２０２は、処理をＳ１０２に戻し、継続して、ＣＣＤカメラ用ＶＲＡＭ２１０４から撮像画像を読み出す。

これに対し、撮像画像に肌色部分が存在する場合（Ｓ１０４：Ｙｅｓ）、ＣＰＵ２０２は、撮像画像から肌色部分を抽出し（Ｓ１０６）、抽出した部分の輪郭を抽出する（Ｓ１０８）。そして、ＣＰＵ２０２は、Ｓ１０８において抽出した輪郭に対しパターンマッチング処理を実行する（Ｓ１１０）。

図８は、図６のＳ１１０において実行されるパターンマッチング処理のフローを示すものである。この処理を開始したＣＰＵ２０２は、先ず、この判定処理の結果を記憶するメモリ領域（ＲＡＭ２０８の所定領域）をクリアし（Ｓ２００）、続けて、Ｓ２０２を実行する。Ｓ２０２でＣＰＵ２０２は、Ｓ１０８（図６参照）で抽出した輪郭（以下、「抽出輪郭」という。）とフラッシュＲＯＭ２０６に記憶された右手の平及び左手の甲の各基準パターン（図５参照）との間でパターンマッチング処理を実行する。そして、抽出輪郭と右手の平又は左手の甲の各基準パターンとの間に同一性が認められるか否かを判断する。なお、上述したとおり、右手の平と左手の甲の外形の輪郭は略同一であるため、Ｓ２０２では、これら両方の基準パターンに基づいた判断を行うこととしている。

Ｓ２０２の判断の結果、同一性が認められる場合（Ｓ２０２：Ｙｅｓ）、ＣＰＵ２０２は、抽出輪郭が右手の平又は左手の甲の各基準パターンのいずれに一致するかを判断する（Ｓ２０４）。具体的には、ＣＰＵ２０２は、親指を除く指の先端部分に爪を示す輪郭が認められるか否かに基づき、Ｓ２０４の判断を行う（図５の右手の平及び左手の甲の各基準パターン参照）。判断の結果、爪を示す輪郭が認められない場合（Ｓ２０４：Ｎｏ）、ＣＰＵ２０２は、抽出輪郭が右手の平を示すものであると特定する（Ｓ２０６）。これに対し、爪を示す輪郭が認められた場合（Ｓ２０４：Ｙｅｓ）、ＣＰＵ２０２は、抽出輪郭が左手の甲を示すものであると特定する（Ｓ２０８）。

Ｓ２０２の判断の結果、同一性が認められない場合（Ｓ２０２：Ｎｏ）、Ｓ２１０でＣＰＵ２０２は、抽出輪郭と右手の甲の及び左手の平の各基準パターン（図５参照）との間でパターンマッチング処理を実行する。そして、抽出輪郭と右手の甲又は左手の平の各基準パターンとの間に同一性が認められるか否かを判断する。なお、上述したとおり、右手の甲と左手の平の外形の輪郭は略同一であるため、Ｓ２１０では、これら両方の基準パターンに基づいた判断を行うこととしている。

Ｓ２１０の判断の結果、同一性が認められる場合（Ｓ２１０：Ｙｅｓ）、ＣＰＵ２０２は、抽出輪郭が右手の甲又は左手の平の各基準パターンのいずれに一致するかを判断する（Ｓ２１２）。具体的には、ＣＰＵ２０２は、親指を除く指の先端部分に爪を示す輪郭が認められるか否かに基づき、Ｓ２１２の判断を行う（図５の右手の甲及び左手の平の各基準パターン参照）。判断の結果、爪を示す輪郭が認められない場合（Ｓ２１２：Ｎｏ）、ＣＰＵ２０２は、抽出輪郭が左手の平を示すものであると特定する（Ｓ２１４）。これに対し、爪を示す輪郭が認められた場合（Ｓ２１２：Ｙｅｓ）、ＣＰＵ２０２は、抽出輪郭が右手の甲を示すものであると特定する（Ｓ２１６）。なお、ＣＰＵ２０２は、Ｓ２１０の判断が否定された場合（Ｓ２１０：Ｎｏ）、及びＳ２０６、Ｓ２０８，Ｓ２１４，Ｓ２１６を実行した後、この処理を終了し、処理を図６に示すＳ１１２に移行する。

説明を図６に戻し、Ｓ１１２でＣＰＵ２０２は、Ｓ１１０で抽出輪郭が右手の平を示すものであると特定（図８のＳ２０６参照）されたか否かを判断する。判断の結果、右手の平である場合（Ｓ１１２：Ｙｅｓ）、ＣＰＵ２０２は、実行すべき動作として「次のスライドへ進む」を特定し、この動作を制御する（Ｓ１１４）。具体的には、第２頁目のスライドを示すコンテンツ画像を生成する。そして、ＣＰＵ２０２は、第２頁目のスライドを示すコンテンツ画像を、上述したＳ１００と同様処理によってＨＭＤ１００に送信する。これにより、第１頁目のスライドを示すコンテンツ画像を認識していた利用者は、第２頁目のスライドを示すコンテンツ画像を視認し、認識する。例えば、利用者は、図７（ｂ）の作業後に行う、次の作業に関する作業指図書を内容とするコンテンツ画像を視認し、認識する。

Ｓ１１０で特定された抽出輪郭が右手の平を示すものでない場合（Ｓ１１２：Ｎｏ）、ＣＰＵ２０２は、Ｓ１１０で抽出輪郭が左手の甲を示すものであると特定（図８のＳ２０８参照）されたか否かを判断する（Ｓ１１６）。判断の結果、左手の甲である場合（Ｓ１１６：Ｙｅｓ）、ＣＰＵ２０２は、実行すべき動作として現在の「コンテンツ画像信号の送信を継続」を特定し、この動作を制御する（Ｓ１１８）。例えば、第１頁目のスライドを内容とするコンテンツ画像（例えば、図７（ａ）参照）を含むコンテンツ画像信号がＨＭＤ１００に送信されていれば、その処理が継続して実行される。これによって、ＨＭＤ１００を装着した利用者に、このコンテンツ画像が継続して提示される。利用者は継続して同一のコンテンツ画像を視認し、認識する。

Ｓ１１０で特定された抽出輪郭が左手の甲を示すものでない場合（Ｓ１１６：Ｎｏ）、ＣＰＵ２０２は、Ｓ１１０で抽出輪郭が左手の平を示すものであると特定（図８のＳ２１４参照）されたか否かを判断する（Ｓ１２０）。判断の結果、左手の平である場合（Ｓ１２０：Ｙｅｓ）、ＣＰＵ２０２は、実行すべき動作として現在の「前のスライドへ戻る」を特定し、この動作を制御する（Ｓ１２２）。例えば、第２頁目のスライドを内容とするコンテンツ画像を含むコンテンツ画像信号がＨＭＤ１００に送信されていれば、第１頁目のスライドを示すコンテンツ画像（例えば、図７（ａ）参照）を生成する。そして、ＣＰＵ２０２は、第１頁目のスライドを示すコンテンツ画像を、上述したＳ１００と同様処理によってＨＭＤ１００に送信する。これにより、第２頁目のスライドを示すコンテンツ画像を認識していた利用者は、第１頁目のスライドを示すコンテンツ画像を視認し、認識する。

Ｓ１１０で特定された抽出輪郭が左手の平を示すものでない場合（Ｓ１２０：Ｎｏ）、ＣＰＵ２０２は、Ｓ１１０で抽出輪郭が右手の甲を示すものであると特定（図８のＳ２１６参照）されたか否かを判断する（Ｓ１２４）。判断の結果、右手の甲である場合（Ｓ１２４：Ｙｅｓ）、ＣＰＵ２０２は、実行すべき動作として現在の「再生終了」を特定し、この動作を制御する（Ｓ１２６）。例えば、第２頁目のスライドを内容とするコンテンツ画像を含むコンテンツ画像信号がＨＭＤ１００に送信されていれば、この送信処理を終了する。これにより、ＨＭＤ１００におけるコンテンツ画像の提示も終了する。なお、抽出輪郭が手の画像を示すものではなく、また、例えば、物を握って作業中等、手の形（抽出輪郭）が、図５の基準パターンのいずれにも該当せず、Ｓ１１０で何らの特定もなされていない場合（図８のＳ２１０：Ｎｏ）、ＣＰＵ２０２は、Ｓ１２４の判断を否定し（Ｓ１２４：Ｎｏ）、処理をＳ１０２に戻す。これにより、作業時の右手、左手と操作時の右手、左手とを明確に区別可能で、誤操作を防止できる。

ここで、上述した抽出輪郭の特定、具体的には、「右手の平」等の特定に関し（図６のＳ１１２，Ｓ１１６，Ｓ１２０，Ｓ１２４及び図８のＳ２０６，Ｓ２０８，Ｓ２１４，Ｓ２１６参照）、後述するようなフラグを用いた構成を採用することもできる。なお、上述した「次のスライドへ進む」が本発明の「第１動作」に対応する。以下、同様に「コンテンツ画像信号の送信を継続」が「第２動作」に、「前のスライドへ戻る」が「第３動作」に、「再生終了」が「第４動作」に対応する（本発明の第１動作〜第４動作は、本実施形態の各動作に限定されるものではない。本発明の第１動作等は、種々の動作を採用し得る。）。

（制御ボックスによって実行される処理の第２形態）
図９に、制御ボックスにおいて実行されるメイン処理の第２形態によるフローを示す。ここで、この処理は、上述した第１形態のメイン処理と同一の条件の下、開始される。なお、以下の説明において、上述した第１処理形態と同一の処理については、第１処理形態の対応するステップ番号のみ記載することとし、その詳細な説明は省略する。

この処理を開始したＣＰＵ２０２は、先ず、Ｓ３００の処理を実行し、その後、継続してＳ３０２〜Ｓ３０８の処理を実行する。ここで、Ｓ３００〜Ｓ３０８の各処理は、図６に示す第１形態のメイン処理のＳ１００〜Ｓ１０８に対応する。Ｓ３０８を実行した後、ＣＰＵ２０２は処理をＳ３１０に移行し、Ｓ３０８で抽出した抽出輪郭に基づきパターンマッチング処理を実行する。

図１０は、図９のＳ３１０において実行されるパターンマッチング処理のフローを示すものである。この処理を開始したＣＰＵ２０２は、先ず、この判定処理の結果を記憶するメモリ領域（ＲＡＭ２０８の所定領域）をクリア、詳細には、右手フラグ及び左手フラグを「０」に初期化し（Ｓ４００）、続けて、Ｓ４０２を実行する。ここで、Ｓ４０２で実行される判断は、図８に示す第１処理形態において実行されるパターンマッチング処理のＳ２０２と同一の処理である。Ｓ４０２の判断が肯定された場合（Ｓ４０２：Ｙｅｓ）に実行されるＳ４０４は、図８に示すＳ２０４と同一の処理である。Ｓ４０４の判断の結果、抽出輪郭が右手の平を示す場合（Ｓ４０４：Ｎｏ）、ＣＰＵ２０２は、右手フラグを「１」にセットし（Ｓ４０６）、抽出輪郭が左手の甲を示す場合（Ｓ４０４：Ｙｅｓ）、左手フラグを「２」にセットする（Ｓ４０８）。なお、フラグ「１」は手の平を示すものであり、フラグ「２」は手の甲を示すものである。その後、ＣＰＵ２０２は処理をＳ４１０に移行する。

Ｓ４０２の判断が否定された場合（Ｓ４０２：Ｎｏ）、ＣＰＵ２０２は処理をＳ４１０に移行する。ここで、Ｓ４１０で実行される判断は、図８に示す第１処理形態において実行されるパターンマッチング処理のＳ２１０と同一の処理である。Ｓ４１０の判断が肯定された場合（Ｓ４１０：Ｙｅｓ）に実行されるＳ４１２は、図８に示すＳ２１２と同一の処理である。Ｓ４１２の判断の結果、抽出輪郭が左手の平を示す場合（Ｓ４１２：Ｎｏ）、ＣＰＵ２０２は、左手フラグを「１」にセットし（Ｓ４１４）、抽出輪郭が左手の甲を示す場合（Ｓ４１２：Ｙｅｓ）、右手フラグを「２」にセットする（Ｓ４１６）。そして、ＣＰＵ２０２は、この第２形態におけるパターンマッチング処理を終了し、処理を図９に示すＳ３１２に移行する。

図８に示す第１形態のパターンマッチング処理では、先ず、抽出輪郭と右手の平又は左手の甲との間でパターンマッチング処理を実行し（Ｓ２０２参照）、一致しない場合（Ｓ２０２：Ｎｏ）、抽出輪郭と左手の平又は右手の甲との間でパターンマッチングを実行する（Ｓ２１０参照）。すなわち、片方の手の平又は甲のみを対象とする。これに対し、図１０に示す第２形態では、抽出輪郭と右手の平又は左手の甲との間でパターンマッチング処理を実行し（Ｓ４０２参照）、次に、左手の平又は右手の甲との間でパターンマッチング処理を実行する（Ｓ４１０参照）。すなわち、両手の組合せを対象とする。そのため、より多用な処理に対応できる。

説明を図９に戻し、Ｓ３１２でＣＰＵ２０２は、Ｓ３１０のパターンマッチング処理で右手フラグ「２」が特定されるとともに、左手フラグ「２」が特定（図１０のＳ４０８，Ｓ４１６参照）されたか否かを判断する。換言すれば、Ｓ３１２でＣＰＵ２０２は、Ｓ３０８で抽出された左右両手の抽出輪郭が共に手の甲を示すものであると特定されたか否かを判断する。判断の結果、右手フラグ「２」及び左手フラグ「２」である場合（Ｓ３１２：Ｙｅｓ／図１０のＳ４０８，Ｓ４１６参照）、ＣＰＵ２０２は処理をＳ３０２に戻す。すなわち、ＣＰＵ２０２は、図６に示す第１形態のＳ１１８と同様の処理を実行する。上述した組立作業を例とすれば、両手の甲がＣＣＤカメラ３００によって撮像されるような場合、ＨＭＤ１００を装着している利用者は、組立作業を継続して実施していると推定される。そのため、本実施形態の構成では、実行中の動作が継続して実行されるよう制御することとしている。

右手フラグ及び左手フラグの少なくともいずれか一方のフラグが「２」ではなく、Ｓ３１２の判断が否定される場合（Ｓ３１２：Ｎｏ）、ＣＰＵ２０２は、Ｓ３１０で右手フラグ「１」が特定されているか否かを判断する（Ｓ３１４）。判断の結果、右手フラグが「１」でない場合（Ｓ３１４：Ｎｏ）、具体的には、右手フラグが「０」である場合（図１０のＳ４００参照）、続けて、ＣＰＵ２０２は、左手フラグ「１」が特定されているか否かを判断する（Ｓ３１６）。判断の結果、左手フラグが「１」ではない場合（Ｓ３１６：Ｎｏ）、具体的には、左手フラグが「０」である場合（図１０のＳ４００参照）、ＣＰＵ２０２は処理をＳ３０２に戻す。なお、この場合、Ｓ３０８で抽出された抽出輪郭は右手及び左手のいずれにも該当しない。または、物を握って作業中等、手の形（抽出輪郭）が、図５の基準パターンのいずれにも該当しない。これにより、作業時の右手、左手と操作時の右手、左手とを明確に区別可能で、誤操作を防止できる。

これに対し、Ｓ３１６の判断の結果、左手フラグが「１」である場合（Ｓ３１６：Ｙｅｓ／図１０のＳ４１４参照）、ＣＰＵ２０２は、実行すべき動作として「前のスライドへ戻る」を特定する（Ｓ３１８）。すなわち、ＣＰＵ２０２は、右手フラグ「０」及び左手フラグ「１」の場合、例えば、Ｓ３０８で抽出された抽出輪郭が左手のみであって、左手の輪郭が手の平を示すものであると特定された場合、ＣＰＵ２０２は、「前のスライドへ戻る」を実行すべき動作として特定する。なお、Ｓ３１８は、図６に示す第１処理形態のＳ１２２に対応し、例えば、Ｓ１２２に関連して上述した処理が実行される。Ｓ１２２を実行した後、ＣＰＵ２０２は処理をＳ３０２に戻す。

Ｓ３１４の判断の結果、右手フラグが「１」である場合（Ｓ３１４：Ｙｅｓ／図１０のＳ４０６参照）、続けて、ＣＰＵ２０２は、左手フラグ「１」が特定されているか否かを判断する（Ｓ３２０）。判断の結果、左手フラグが「１」ではない場合（Ｓ３２０：Ｎｏ）、具体的には、左手フラグが「０」である場合（図１０のＳ４００参照）、ＣＰＵ２０２は、実行すべき動作として「次のスライドへ進む」を特定する（Ｓ３２２）。すなわち、ＣＰＵ２０２は、右手フラグ「１」及び左手フラグ「０」の場合、例えば、Ｓ３０８で抽出された抽出輪郭が右手のみであって、右手の輪郭が手の平を示すものであると特定された場合、ＣＰＵ２０２は、「次のスライドへ進む」を実行すべき動作として特定する。なお、Ｓ３２２は、図６に示す第１処理形態のＳ１１４に対応し、例えば、Ｓ１１４に関連して上述した処理が実行される。

Ｓ３２０の判断の結果、左手フラグが「１」である場合（Ｓ３２０：Ｙｅｓ／図１０のＳ４１４参照）、ＣＰＵ２０２は、実行すべき動作として「再生終了」を特定する（Ｓ３２４）。すなわち、ＣＰＵ２０２は、右手フラグ「１」及び左手フラグ「１」の場合、換言すれば、Ｓ３０８で両手の輪郭が抽出され、両手の抽出輪郭が共に手の平を示すものであると特定された場合、ＣＰＵ２０２は、「再生終了」を実行すべき動作として特定する（Ｓ３２４）。なお、Ｓ３２４は、図６に示す第１処理形態のＳ１２６に対応し、例えば、Ｓ１２６に関連して上述した処理が実行される。なお、Ｓ１２０を実行した後、ＣＰＵ２０２は、この処理を終了する。

なお、上述したＳ３１２の判断が肯定（Ｓ３１２：Ｙｅｓ）され、実行中の動作が継続される場合が、本発明の「第５動作の制御を継続し」に対応する。また、「次のスライドへ進む」と「前のスライドへ戻る」と「再生終了」とが本発明の「第５動作とは異なる動作」に対応する（本発明の第５動作及びこれと異なる動作は、本実施形態の各動作に限定されるものではない。本発明の第５動作等は、種々の動作を採用し得る。）。

（実施形態の構成に基づく有利な効果）
上記実施形態のＨＭＤ１００と制御ボックス２００による構成によれば、ＨＭＤ１００を装着した利用者の手の状態、詳細には、ＣＣＤカメラ３００によって撮像された利用者の右手及び左手の状態を解析し（図６のＳ１１０、詳細には図８、及び、図９のＳ３１０、詳細には図１０参照）、解析結果に基づき、ＨＭＤ１００と制御ボックス２００とによって実現される動作を制御する構成（図６のＳ１１４，Ｓ１１８，Ｓ１２２，Ｓ１２６、図９のＳ３１２：Ｎｏ，Ｓ３１８，Ｓ３２２，Ｓ３２４参照）を採用した。

これによれば、ＨＭＤ１００と制御ボックス２００とによって実現される動作を、直接装置本体を操作することなく、ハンズフリーで実現することができる。具体的には、利用者は、例えば、所定の製品を組み立てるための第１工程に関する作業指図を内容とするコンテンツ画像を視認している状態において、ＣＣＤカメラ３００に対し、右手の平を向けることで第２工程に関する作業指図を視認し、認識することができる（図６のＳ１１２：Ｙｅｓ、Ｓ１１４参照）。また、ＣＣＤカメラ３００に対し、左右両方の手の平を向けることでコンテンツの再生を終了さることができる（図９のＳ３１４，Ｓ３２０：Ｙｅｓ，Ｓ３２４）。特に、手の平は、作業中に見せることはないため、作業時の手の動きと操作時の手の形状とを明確に区別でき、誤操作を防止できる。

１００ＨＭＤ
２００制御ボックス
２０２ＣＰＵ
２０４プログラムＲＯＭ
２０６フラッシュＲＯＭ
２０８ＲＡＭ
２１０ＣＣＤカメラ接続Ｉ／Ｆ
２１０２ＣＣＤカメラ接続コントローラ
２１０４ＣＣＤカメラＶＲＡＭ
３００ＣＣＤカメラ

Claims

利用者の眼に、コンテンツデータにより示されるコンテンツ画像を視認可能に提示し、前記利用者に前記コンテンツ画像を認識させるヘッドマウントディスプレイであって、
前記ヘッドマウントディスプレイの動作を制御する制御手段と、
前記利用者の手を撮像する撮像手段と、
前記撮像手段が撮像した手の画像を解析する画像解析手段と、を備え、
前記制御手段は、前記画像解析手段が、前記撮像手段により撮像された手の画像が手の平を示すものであると解析した場合、前記ヘッドマウントディスプレイの第１動作を制御し、前記撮像手段により撮像された手の画像が手の甲を示すものであると解析した場合、前記ヘッドマウントディスプレイの第２動作を制御することを特徴とするヘッドマウントディスプレイ。
利用者の眼に、コンテンツデータにより示されるコンテンツ画像を視認可能に提示し、前記利用者に前記コンテンツ画像を認識させるヘッドマウントディスプレイであって、
前記ヘッドマウントディスプレイの動作を制御する制御手段と、
前記利用者の手を撮像する撮像手段と、
前記撮像手段が撮像した手の画像を解析する画像解析手段と、を備え、
前記制御手段は、前記画像解析手段が、前記撮像手段により撮像された手の画像が右手を示すものであると解析した場合、前記ヘッドマウントディスプレイの第１動作を制御し、前記撮像手段により撮像された手の画像が左手を示すものであると解析した場合、前記ヘッドマウントディスプレイの第２動作を制御することを特徴とするヘッドマウントディスプレイ。
利用者の眼に、コンテンツデータにより示されるコンテンツ画像を視認可能に提示し、前記利用者に前記コンテンツ画像を認識させるヘッドマウントディスプレイであって、
前記ヘッドマウントディスプレイの動作を制御する制御手段と、
前記利用者の手を撮像する撮像手段と、
前記撮像手段が撮像した手の画像を解析する画像解析手段と、を備え、
前記制御手段は、前記画像解析手段が、前記撮像手段により撮像された手の画像が右手の平を示すものであると解析した場合、前記ヘッドマウントディスプレイの第１動作を制御し、前記撮像手段により撮像された手の画像が左手の甲を示すものであると解析した場合、前記ヘッドマウントディスプレイの第２動作を制御し、前記撮像手段により撮像された手の画像が左手の平を示すものであると解析した場合、前記ヘッドマウントディスプレイの第３動作を制御し、前記撮像手段により撮像された手の画像が右手の甲を示すものであると解析した場合、前記ヘッドマウントディスプレイの第４動作を制御することを特徴とするヘッドマウントディスプレイ。
利用者の眼に、コンテンツデータにより示されるコンテンツ画像を視認可能に提示し、前記利用者に前記コンテンツ画像を認識させるヘッドマウントディスプレイであって、
前記ヘッドマウントディスプレイの動作を制御する制御手段と、
前記利用者の右手及び左手を撮像する撮像手段と、
前記撮像手段が撮像した右手及び左手の画像を解析する画像解析手段と、を備え、
前記制御手段は、前記ヘッドマウントディスプレイの第５動作を制御している場合に、前記画像解析手段が、前記撮像手段により撮像された手の画像が右手の甲と左手の甲とを示すものであると解析した場合、前記ヘッドマウントディスプレイの第５動作の制御を継続し、前記撮像手段により撮像された手の画像が、右手の平と左手の平とを示すものであると解析した場合と、右手の平と左手の甲とを示すものであると解析した場合と、右手の甲と左手の平とを示すものであると解析した場合と、に前記ヘッドマウントディスプレイの第５動作とは異なる動作を制御することを特徴とするヘッドマウントディスプレイ。