JP2012060551A

JP2012060551A - コマンド入力装置

Info

Publication number: JP2012060551A
Application number: JP2010203982A
Authority: JP
Inventors: Masaki Otsuki; 正樹大槻
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-09-13
Filing date: 2010-09-13
Publication date: 2012-03-22

Abstract

【課題】操作部の操作性を向上させたコマンド入力装置を提供する。
【解決手段】操作者の頭部に装着する頭部装着部４，６と、前記頭部装着部に設けられ前記操作者による指示を入力する操作部１４と、前記操作部の映像を含む映像情報を生成する映像情報生成部１８と、前記映像情報に含まれる前記操作部の前記映像を異なる方向から観察した映像に切換える映像変更部１８とを備える。
【選択図】図３

Description

本発明は、コマンド入力装置に関するものである。

従来、ヘッドマウントディスプレイに備えられた操作ボタンに関する情報を表示部に表示するヘッドマウントディスプレイが存在する（例えば、特許文献１参照）。このヘッドマウントディスプレイによれば、操作ボタンの形状を表示部の表示画面により確認することができる。

特開２００４−２３３７７６号公報

しかしながら、上述のヘッドマウントディスプレイにおいては、操作者がヘッドマウントディスプレイを装着した場合に、操作ボタンの位置を視認することができないため操作ボタンの位置がわからず、また、操作ボタンの配置と表示画面に表示された操作ボタンの配置が一致せず操作ボタンを操作する際に混乱が生じる場合があった。

本発明の目的は、操作部の操作性を向上させたコマンド入力装置を提供することである。

本発明のコマンド入力装置は、操作者の頭部に装着する頭部装着部と、前記頭部装着部に設けられ前記操作者による指示を入力する操作部と、前記操作部の映像を含む映像情報を生成する映像情報生成部と、前記映像情報に含まれる前記操作部の前記映像を異なる方向から観察した映像に切換える映像変更部とを備えることを特徴とする。

本発明によれば、操作部の操作性を向上させることができる。

第１の実施の形態に係るＨＭＤの外観を示す斜視図である。第１の実施の形態に係るＨＭＤのカメラの撮影方向を示す図である。第１の実施の形態に係るＨＭＤのシステム構成を示すブロック図である。第１の実施の形態に係る表示部に表示される映像を示す図である。第１の実施の形態に係る表示部に表示される映像を示す図である。第２の実施の形態に係るＨＭＤのシステム構成を示すブロック図である。第２の実施の形態に係る表示部に表示される映像を示す図である。第２の実施の形態に係る表示部に表示される映像を示す図である。第２の実施の形態に係るＨＭＤの他のシステム構成を示すブロック図である。

以下、図面を参照して、本発明の第１の実施の形態に係るコマンド入力装置についてＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）を例に説明する。図１は、第１の実施の形態に係るＨＭＤの外観を示す斜視図である。図１に示すように、ＨＭＤ２は二つの音声出力部４、６を有し、これらは連結部８で結合されている。頭部装着部として機能する音声出力部４、６にはそれぞれスピーカ２０、２２（図３参照）が収納されている。音声出力部６の外側の略中央には図示しない回転軸を介して支持アーム１０が音声出力部４と音声出力部６が向かい合う軸１１まわりに回転自在に取り付けられている。支持アーム１０の先端部には操作者の片眼に映像を入力することによって、映像を操作者に提供する表示部１２が取り付けられている。また、音声出力部４の外側の略中央には操作者の指示を入力する操作部材である十字キー１４が設けられ、十字キー１４は↑ボタン１４ａ、↓ボタン１４ｂ、←ボタン１４ｃ、→ボタン１４ｄ及び中央ボタン１４ｅを備えている。ここで、表示部１２の前側には被写体を撮影するカメラ１６が設けられている。図２に示すように、カメラ１６は水平画角１６ａが９０度以上の広角レンズを備えている。広角レンズの光軸１６ｂは、カメラ１６により操作者の前方及び側方を撮影することができるようにカメラ１６の正面から十字キー１４の反対方向に所定の角度傾いている。

図３は、第１の実施の形態に係るＨＭＤ２のシステム構成を示すブロック図である。図３に示すように、ＨＭＤ２はコントローラ１８を備え、コントローラ１８には、十字キー１４、カメラ１６、スピーカ２０，２２、ＬＣＤ表示部２８に表示する映像情報を一時的に記憶するメモリ２４、プログラム、映像情報等を記憶するフラッシュメモリ２６、ＬＣＤ表示部２８の駆動を行うＬＣＤドライバ３０、バックライト３２の制御を行うバックライトドライバ３４が接続されている。表示部１２の内部においては、映像情報を電気的に表示するＬＣＤ表示部２８の背面にバックライト３２が配置され、バックライト３２から射出された照明光を用いてＬＣＤ表示部２８を照明する。ＬＣＤ表示部２８に表示された映像はミラー３６により反射された後、接眼レンズ３８によりサイズが変更され操作者の眼に入力される。なお、メモリ２４には、十字キー１４が操作される前に表示する十字キー１４の映像情報、十字キー１４が操作された後に表示する十字キー１４の映像情報等が記憶されている。

操作者の頭部にＨＭＤ２が装着され図示しない電源スイッチがオンにされるとコントローラ１８が起動し、表示部１２のＬＣＤ表示部２８に表示された映像が操作者に提供される。また、カメラ１６により被写体を撮影し、カメラ１６から出力された撮像信号に基づく映像情報がメモリ２４に記憶される。コントローラ１８は、メモリ２４に記憶された映像情報に含まれる操作者の前方の景色の映像情報を切り出し、切り出された映像情報と、メモリ２４に記憶されている十字キー１４が操作される前に表示する十字キー１４の映像情報、即ち十字キー１４を操作者の斜め後方から見た状態の映像情報とに基づいて、図４に示すようにＬＣＤ表示部２８に操作者の前方の景色の映像とＨＭＤ２を装着した操作者のオブジェクト４０を斜め後方から見た状態の映像５０を表示する。

次に、コントローラ１８が十字キー１４の何れかのボタンの押下を検出した場合には、ＬＣＤ表示部２８に表示されている操作者の前方の景色の映像を操作者の側方の景色の映像へ切換え、表示されている十字キー１４の映像の向きを変更する。即ち、メモリ２４に記憶された映像情報に含まれる操作者の側方の景色の映像情報を切り出し、切り出された映像情報と、メモリ２４に記憶されている十字キー１４が操作された後に表示する十字キー１４の映像情報、即ち十字キー１４を操作者の側方から見た状態の映像情報とに基づいて、図５に示すようにＬＣＤ表示部２８に操作者の側方の景色の映像とＨＭＤ２を装着した操作者のオブジェクト４０を十字キー１４の正面から見た状態の映像６０を表示する。

本発明の第１の実施の形態に係るＨＭＤによれば、十字キーが操作される前に、十字キーを操作者の斜め後方から見た状態の映像が表示されるため、十字キーの位置及び方向を容易に確認ことができる。また、十字キーが操作された後に、十字キーを正面から見た状態の映像が表示されるため、十字キーの各ボタンの配置位置の詳細を容易に確認することができる。従って、十字キーの操作性を向上させることができる。また、広角レンズを備えたカメラを用いているため、複数のカメラを用いなくても操作者の前方及び側方を撮影することができる。これにより、カメラの数を増加させる必要がないためＨＭＤの製造コストを抑えることができる。

なお、上述の第１の実施の形態においては、十字キー１４が操作される前または十字キー１４が操作された後に表示する映像として、ＨＭＤ２を装着した操作者のオブジェクト４０を用いているが、操作者のオブジェクト４０を非表示にしてＨＭＤ２のみの映像を用いてもよい。

また、上述の第１の実施の形態においては、ＬＣＤ表示部２８に表示する背景の映像として、カメラ１６により撮影された操作者の前方または側方の映像を用いているが、メモリ２４に予め背景の映像情報を記憶しておき、これを背景として用いてもよい。さらに、背景として、３ＤＣＧ（３次元コンピュータグラフィックス）により生成される映像情報に基づく映像を用いてもよい。また、ネットワークから取得した映像を背景として用いてもよい。

また、上述の第１の実施の形態においては、カメラ１６が表示部１２の前側に設けられているが、カメラ１６によりＨＭＤ２を装着した場合の操作者の前方及び側方を撮影可能であれば、例えば連結部８に設けるようにしてもよい。

また、上述の第１の実施の形態においては、広角レンズを備えたカメラ１６を用いているが、例えば２つの撮影部から構成されるカメラを用い、一方は操作者の前方を撮影し、他方は操作者の側方を撮影するようにしてもよい。

次に、本発明の第２の実施の形態に係るＨＭＤについて説明する。なお、第２の実施の形態に係るＨＭＤの構成は、図１に示すＨＭＤ２からカメラ１６を除き、操作者がＨＭＤを装着したか否かを検出する装着検出スイッチ及び操作者がＨＭＤを装着した際に十字キー１４が操作者の左右どちら側に存在するかを検出する左右検出スイッチを付加したものである。従って、第１の実施の形態と同様の構成についての詳細な説明は省略し、異なる部分のみについて説明する。また、第１の実施の形態と同一の構成には同一の符号を付して説明する。

図６は、第２の実施の形態に係るＨＭＤ２００のシステム構成を示すブロック図である。ＨＭＤ２００においては、コントローラ１８に装着検出スイッチ７０及び左右検出スイッチ７２が接続されている。ここで、装着検出スイッチ７０は、音声出力部６の内側に設けられ、操作者がＨＭＤ２００を装着した際に操作者の頭部によりスイッチが押し込まれることによって、操作者がＨＭＤ２００を装着したことを検出する。また、左右検出スイッチ７２は、支持アーム１０の軸１１（図１参照）まわりの回転方向を検出することにより、表示部１２が操作者の左右どちらの眼に対して配置され、十字キー１４が操作者の左右どちら側に存在するかを検出する。

操作者の頭部にＨＭＤ２００が装着され、操作者が支持アーム１０を軸１１まわりに回転させて表示部１２を操作者の左眼の前方に配置する。この状態で操作者が図示しない電源スイッチをオンにするとコントローラ１８が起動し、コントローラ１８は、装着検出スイッチ７０により操作者がＨＭＤ２００を装着していること検出し、左右検出スイッチ７２により支持アーム１０の軸１１まわりの回転方向が検出され、十字キー１４が操作者の右側に存在することを検出する。そして、コントローラ１８は、メモリ２４に記憶されている十字キー１４が操作者の右側に存在する状態の映像情報に基づいて、ＬＣＤ表示部２８に十字キー１４が操作者のオブジェクトの右側に存在する状態の映像を表示し、ＬＣＤ表示部２８に表示された映像を、メモリ２４に記憶されている十字キー１４及び操作者のオブジェクトを異なる複数の方向から観察した映像情報に順次切換える。即ち、図７に示すように、十字キー１４が操作者のオブジェクト７６の右側に存在する状態の映像を、操作者のオブジェクト７６を中心とする垂直軸７８に対して右まわりに観察方向を順に変更した映像に切換える。そして、映像が垂直軸７８まわりに１回転すると、十字キー１４を正面から見た状態の映像をＬＣＤ表示部２８して、映像の切換えを終了する。

一方、コントローラ１８が左右検出スイッチ７２により十字キー１４が操作者の左側に存在することを検出すると、メモリ２４に記憶されている十字キー１４が操作者の左側に存在する状態の映像情報に基づいて、ＬＣＤ表示部２８に十字キー１４が操作者のオブジェクトの左側に存在する状態の映像を表示し、ＬＣＤ表示部２８に表示された映像を、メモリ２４に記憶されている十字キー１４及び操作者のオブジェクトを異なる複数の方向から観察した映像情報に順次切換える。即ち、図８に示すように、十字キー１４が操作者のオブジェクト７６の左側に存在する状態の映像を、操作者のオブジェクト７６を中心とする垂直軸７８に対して左まわりに観察方向を順に変更した映像に切換える。そして、映像が垂直軸７８まわりに１回転すると、十字キー１４を正面から見た状態の映像をＬＣＤ表示部２８に表示して、映像の切換えを終了する。

本発明の第２の実施の形態に係るＨＭＤによれば、十字キー及び操作者のオブジェクトが回転する映像が表示部に表示されるため、３次元的に十字キーの位置を把握することができ、十字キーの位置及び方向を容易に確認することができる。また、表示部に表示される十字キー及び操作者のオブジェクトの映像が１回転した後に、十字キーを正面から見た状態の映像が表示部に表示されるため、十字キーの各ボタンの配置を容易に確認することができる。従って、十字キーの操作性を向上させることができる。また、カメラを用いる必要がないためＨＭＤの製造コストを抑えることができる。

なお、上述の第２の実施の形態の装着検出スイッチ７０を、操作者がＨＭＤ２００を装着した際の音声出力部４，６に対する圧力または連結部８の広がり具合等を検出する検出部に変更してもよい。

また、上述の第２の実施の形態においては、左右検出スイッチ７２により操作者がＨＭＤ２００を装着した際に十字キー１４が操作者の左右どちら側に存在するかを検出しているが、十字キー１４が操作者の左右どちら側に存在するかを設定する設定スイッチを設け、操作者が設定スイッチを操作することにより十字キー１４が操作者の左右どちら側に存在するかを設定するようにしてもよい。また、操作者が十字キー１４を操作することにより、ＬＣＤ表示部２８に表示されている映像をメニュー画面に切換えて、操作者がメニュー画面の中で十字キー１４が操作者の左右どちら側に存在するかを設定するようにしてもよい。

また、上述の第２の実施の形態においては、ＬＣＤ表示部２８に表示された映像を、メモリ２４に記憶されている十字キー１４及び操作者のオブジェクトを異なる複数の方向から観察した映像情報に基づいて順次切換えているが、３ＤＣＧにより生成した映像情報に基づいて十字キー１４及び操作者のオブジェクト７６が連続的に回転する映像をＬＣＤ表示部２８に表示するようにしてもよい。

また、上述の第２の実施の形態においては、ＬＣＤ表示部２８に表示される十字キー１４及び操作者のオブジェクト７６の映像が垂直軸７８まわりに１回転した後に、十字キー１４を正面から見た状態の映像をＬＣＤ表示部２８に表示して回転を停止しているが、ＬＣＤ表示部２８に表示される十字キー１４及び操作者のオブジェクト７６の映像が垂直軸７８まわりに回転する映像を繰り返し表示するようにし、コントローラ１８が十字キー１４の何れかのボタンの押下を検出した場合に、映像の回転を停止するようにしてもよい。また、ジャイロセンサまたは加速度センサ等、操作者の頭部の動きを検出するセンサを設け、ジャイロセンサまたは加速度センサ等により操作者の頭部の動きを検出し、ＬＣＤ表示部２８に表示される映像の回転を停止するようにしてもよい。

また、上述の第２の実施の形態において、図９に示すように、図６に示すＨＭＤ２００のシステム構成から装着検出スイッチ７０を除き、左右検出スイッチ７２の代わりに、支持アーム１０の回転位置により表示部１２が操作者が視聴可能な位置に配置されたことを検出するアーム位置検出スイッチ８０を設けてもよい。これにより、操作者が表示部１２に表示される映像を視聴可能となった場合に限り、十字キー１４及び操作者のオブジェクト７６が垂直軸７８まわりに回転する映像をＬＣＤ表示部２８に表示することができる。従って、表示部１２が操作者の左右どちらの眼に対しても配置されていない場合、即ち操作者が表示部１２からの映像を視聴することができない場合には、映像が表示部１２に表示されないため、表示部１２に使用する無駄な消費電力を省くことが可能となる。

また、上述の第２の実施の形態においては、十字キー１４及び操作者のオブジェクト７６が垂直軸７８まわりに回転する映像として、ＨＭＤ２００を装着した操作者のオブジェクト７６の映像を用いているが、操作者のオブジェクト７６を非表示にしてＨＭＤ２００のみの映像を用いてもよい。

なお、上述の実施の形態においては、ＨＭＤ２（２００）の操作部材として十字キー１４を用いているが、音声出力部４の外側に十字キー１４に代えてタッチパネルを設け、タッチパネルを操作部材として用いてもよい。またタッチパネルを操作者の指の近接を検出する静電容量式のタッチパネルとしてもよい。

また、上述の実施の形態において、電源スイッチの操作に伴い、表示部において表示が行われ、操作者がタッチパネル式の操作部材を操作すると、操作したキーに対応する表示画面の操作キーに操作が行なわれていることを示すマークを表示するようにしてもよい。これにより操作者は、操作部のどこをタッチしているのかを表示画面の操作キーに表示されているマークにより確認することができる。従って、操作ボタンを視認しなくても、操作部をタッチして表示画面の操作部に表示されたマークを確認することにより操作ボタンの配置を感覚的に知ることができる。

２，２００…ＨＭＤ、１２…表示部、１４…十字キー、１６…カメラ、１８…コントローラ、２８…ＬＣＤ表示部、４０，７６…操作者のオブジェクト、７０…装着検出スイッチ、７２…左右検出スイッチ、７８…垂直軸、８０…アーム位置検出スイッチ。

Claims

操作者の頭部に装着する頭部装着部と、
前記頭部装着部に設けられ前記操作者による指示を入力する操作部と、
前記操作部の映像を含む映像情報を生成する映像情報生成部と、
前記映像情報に含まれる前記操作部の前記映像を異なる方向から観察した映像に切換える映像変更部と
を備えることを特徴とするコマンド入力装置。
前記映像変更部は、前記操作部の操作に基づいて、前記映像を切換えることを特徴とする請求項１記載のコマンド入力装置。
前記操作部の前記映像は、前記操作部が操作される前は前記操作部を前記操作者の斜め後方から見た状態の映像であり、前記操作部が操作された後は前記操作部を正面から見た状態の映像であることを特徴とする請求項１または請求項２記載のコマンド入力装置。
前記映像情報生成部により生成された前記映像情報には前記操作者の周囲の映像が含まれており、前記操作部の前記映像の向きの変更に合わせて前記操作者の周囲の前記映像を切換えることを特徴とする請求項１〜請求項３の何れか一項に記載のコマンド入力装置。
前記操作者の前方及び側方を撮影する撮影装置を備え、
前記映像情報に含まれる前記操作者の周囲の前記映像には、前記撮影装置で撮影された映像が用いられることを特徴とする請求項１〜請求項４の何れか一項に記載のコマンド入力装置。
前記撮影装置の光軸は、該撮影装置の正面から前記操作部の反対方向に傾いていることを特徴とする請求項５記載のコマンド入力装置。
前記映像情報に含まれる前記操作者の周囲の前記映像には、前記撮影装置により撮影された前記映像の一部を切り出した映像が用いられることを特徴とする請求項５または請求項６記載のコマンド入力装置。
前記撮影装置は、少なくとも２つの撮影部から構成され、
前記映像情報に含まれる前記操作者の周囲の前記映像には、少なくとも２つの前記撮影部により撮影された映像の中から、前記操作部の操作に基づいて選択された前記映像が用いられることを特徴とする請求項５記載のコマンド入力装置。
前記映像情報を表示する表示部を備えることを特徴とする請求項１〜請求項８の何れか一項に記載のコマンド入力装置。
前記映像情報生成部により生成される前記映像情報には、更に前記操作者のオブジェクトを含み、前記映像変更部は、前記操作部及び前記操作者のオブジェクトを異なる複数の方向から観察した映像に順次切換えることを特徴とする請求項１記載のコマンド入力装置。
前記映像情報生成部により生成される前記映像情報は、前記操作部及び前記操作者のオブジェクトの映像を、前記操作者のオブジェクトの映像を中心とする垂直軸まわりに回転するように構成されていることを特徴とする請求項１０記載のコマンド入力装置。
前記映像情報生成部により生成される前記映像情報は、前記操作部を略正面から観察した方向において終了することを特徴とする請求項１０または請求項１１記載のコマンド入力装置。
前記操作者が前記頭部装着部を装着した際に、前記操作部が前記操作者の左右どちら側に存在するかを検出する装着方向検出部を備え、
前記映像変更部は、前記装着方向検出部による検出結果に基づいて、前記映像の回転方向を変更することを特徴とする請求項１１または請求項１２記載のコマンド入力装置。
前記操作者が前記頭部装着部を装着したか否かを検出する装着検出部を備え、
前記装着検出部により、前記操作者が前記頭部装着部を装着したことが検出された場合には、前記映像変更部は、前記映像情報生成部により生成された前記映像情報の変更を開始することを特徴とする請求項１０〜請求項１３の何れか一項に記載のコマンド入力装置。
前記映像情報生成部により生成された前記映像情報を表示する表示部を備え、
前記表示部により前記操作者に対して前記映像情報の提供が可能となった場合に、前記映像生成部により生成される前記映像情報の前記表示部での表示が開始されることを特徴とする請求項１０〜請求項１４の何れか一項に記載のコマンド入力装置。