JP2012128648A - 操作支援表示装置及び操作支援表示方法 - Google Patents

Abstract

【課題】 ヘッドマウントディスプレイ（ＨＭＤ）に移動体の操作に必要な支援情報を表示することで、操作員の操作負担を軽減させることが可能な操作支援表示装置及びこの装置に用いられる操作支援表示方法を提供する。
【解決手段】 操作支援表示装置は、ＨＭＤ、記録部、操作支援画像生成部、位置方位情報取得部及び重畳画像生成部を具備する。ＨＭＤは、表示部を備える。記録部は、操作指示の入力対象及び入力方法が指定された複数の工程を含むシナリオと、複数の工程で指定される入力対象の３次元座標とを予め記録する。操作支援画像生成部は、シナリオを読み出し、入力対象及び入力方法に基づく操作支援画像を生成する。位置方位情報取得部は、ＨＭＤの位置及び方位に関する位置方位情報を取得する。重畳画像生成部は、３次元座標と、位置方位情報とに基づき、操作支援画像を補正して重畳画像を生成し、重畳画像を表示部上で入力対象の実像に重畳させて表示させる。
【選択図】図１

Description

本発明の実施形態は、航空機、艦船及び車両等の移動体の操作員の操作を支援する操作支援表示装置及びこの装置で用いられる操作支援表示方法に関する。

航空機、艦船及び車両等の移動体を操作員が操作する際、移動体のディスプレイにガイダンスとして操作マニュアルが表示される場合がある。操作員は、この操作マニュアルを参照しながら操作を行うことになるが、操作中にディスプレイを見なければならず、操作員の負担になっていた。

特開２００９−５９２２９号公報

以上のように、従来では、移動体のディスプレイ等に表示される操作マニュアルを参照しながら操作していたため、操作員の負担となっていた。

そこで、目的は、ヘッドマウントディスプレイに移動体の操作に必要な支援情報を表示することで、操作員の操作負担を軽減させることが可能な操作支援表示装置及びこの装置に用いられる操作支援表示方法を提供することにある。

実施形態によれば、移動体を操作するための操作部に対する操作指示の入力を支援する操作支援表示装置は、光透過型ヘッドマウントディスプレイ、記録部、操作支援画像生成部、位置方位情報取得部及び重畳画像生成部を具備する。ヘッドマウントディスプレイは、前記移動体の操作員に装着するための装着具と、前記操作員の眼前に設置される表示部とを備える。記録部は、前記操作部に対する操作指示の入力対象及び操作指示の入力方法が指定された複数の工程を含むシナリオと、前記複数の工程で指定される入力対象の３次元座標とを予め記録する。操作支援画像生成部は、前記シナリオを読み出し、前記シナリオの前記複数の工程で指定される入力対象及び入力方法に基づく操作支援画像を、前記工程毎に生成する。位置方位情報取得部は、前記ヘッドマウントディスプレイの位置及び方位に関する位置方位情報を取得する。重畳画像生成部は、前記操作支援画像を生成する際に用いた入力対象の３次元座標と、前記位置方位情報とに基づき、前記表示部上で前記入力対象の実像に前記操作支援画像が重畳されるように、前記操作支援画像を補正して重畳画像を生成し、前記重畳画像を前記表示部に表示させる。

本実施形態に係る操作支援表示装置の機能構成を示すブロック図である。 図２の操作支援表示装置が操作員を支援する際の制御処理部のシーケンス図を示す図である。 移動体の制御用スイッチに重畳画像が重畳された状態を示す図である。 移動体のダイヤルに重畳画像が重畳された状態を示す図である。

以下、実施の形態について、図面を参照して説明する。

図１は、本実施形態に係る操作支援表示装置の機能構成を示すブロック図である。操作支援表示装置は、航空機、艦船及び車両等の移動体の操作員に対し、移動体を操作するための支援をヘッドマウントディスプレイ１１を介して行う。操作員は、操作支援表示装置からの支援に従い、移動体の操作部に操作指示を入力する。移動体の操作部には、例えば、ハンドル、スイッチ、ダイヤル及びレバー等が含まれる。

図１に示す操作支援表示装置は、ヘッドマウントディスプレイ１１、制御処理部１２及び記録部１３を具備する。

ヘッドマウントディスプレイ１１は、光透過型ヘッドマウントディスプレイであり、装着具及び表示部を備える。

装置具は、操作員の頭部にヘッドマウントディスプレイ１１を装着させるためのものである。表示部は、ヘッドマウントディスプレイ１１を装着する操作員の眼前に設置される。表示部は、光を透過し、また、制御処理部１２からの指示に基づき、後述する重畳画像を表示する。これにより、操作員は、表示部を介して得られる操作部の実像に加え、この実像に重畳された重畳画像を視認することができる。

また、ヘッドマウントディスプレイ１１は、ジャイロ等のセンサを備える。センサは、ヘッドマウントディスプレイ１１の位置及びヘッドマウントディスプレイ１１が向いている方位を検出し、検出した位置及び方位を位置方位情報として制御処理部１２へ出力する。ここで、ヘッドマウントディスプレイ１１の位置及び方位は、移動体内の予め設定された基準位置に基づいて検出される。

記録部１３は、例えばハードディスク及びフラッシュメモリ等を備え、操作支援情報及び３次元座標情報を予め記録する、いわゆるデータベースである。

操作支援情報は、操作部に対する操作指示の入力を支援するための情報である。操作支援情報は、例えば、移動体の発進等の各目的に応じた複数のシナリオを含む。各シナリオには、各目的を達成できるように、操作指示の入力対象及び操作指示の入力方法が指定された複数の工程が含まれる。

３次元座標情報は、操作部に含まれるハンドル、スイッチ、ダイヤル及びレバー等の現実空間における３次元座標を含む。操作部の３次元座標は、上述の基準位置に基づいて予め取得される。

制御処理部１２は、操作目的判定部１２１、操作指示取得部１２２、操作支援画像生成部１２３、位置方位情報取得部１２４及び重畳画像生成部１２５を備える。

操作目的判定部１２１は、操作員により操作目的が入力されると、記録部１３に記録される複数のシナリオと操作目的とを照合し、記録部１３内に操作員を支援可能なシナリオがあるか否かを判定する。支援可能なシナリオがあると判定した場合、操作目的判定部１２１は、操作員により入力された操作目的を操作目的情報として操作支援画像生成部１２３へ出力する。

ここで、操作目的は、移動体に設けられる操作目的入力部から入力される。操作目的入力部は、例えば、タッチパネル又はマイク等から成る。操作員は、ヘッドマウントディスプレイ１１を装着すると、直接入力又は音声により、操作目的を入力する。

操作指示取得部１２２は、操作員が操作部へ入力した操作指示を取得する。操作指示取得部１２２は、取得した操作指示に関する操作指示情報を操作支援画像生成部１２３へ出力する。

操作支援画像生成部１２３は、操作目的判定部１２１から操作目的情報を受け取ると、操作目的情報に適したシナリオを操作支援情報から読み出す。操作支援画像生成部１２３は、シナリオに含まれる複数の工程で指定される入力対象及び入力方法に基づいた操作支援画像を、工程毎に生成する。操作支援画像生成部１２３は、操作支援画像を重畳画像生成部１２５へ出力する。

また、操作支援画像生成部１２３は、操作指示取得部１２２から操作指示情報を受け取ると、操作員による操作指示が、操作支援画像により指定する入力対象及び入力方法に従ったものか否かを判断する。従ったものである場合、操作支援画像生成部１２３は、次の工程で指定される入力対象及び入力方法に基づいた操作支援画像を生成する。操作支援画像生成部１２３は、操作支援画像を重畳画像生成部１２５へ出力する。従ったものでない場合、操作支援画像生成部１２３は、操作支援情報から誤操作から回復するためのシナリオを読み出し、このシナリオに含まれる工程に基づいた操作支援画像を生成する。

位置方位情報取得部１２４は、ヘッドマウントディスプレイ１１から所定の周期で位置方位情報を取得する。位置方位情報取得部１２４は、位置方位情報を取得する度に、取得した位置方位情報を重畳画像生成部１２５へ出力する。

重畳画像生成部１２５は、操作支援画像生成部１２３からの操作支援画像と、位置方位情報取得部１２４からの位置方位情報とを受け取る。また、重畳画像生成部１２５は、操作支援画像を生成する際に用いた入力対象の３次元座標を３次元座標情報から読み出す。重畳画像生成部１２５は、位置方位情報と３次元座標とに基づき、表示部上で操作支援画像が入力対象の実像に重畳できるように、操作支援画像の大きさ及び形状等を補正して重畳画像を生成する。

重畳画像生成部１２５は、重畳画像がヘッドマウントディスプレイ１１の表示部で実像に常に重畳されるように、位置方位情報取得部１２４から位置方位情報が供給される度に、重畳画像を生成する。重畳画像生成部１２５は、重畳画像が表示部で表示される位置を指定して、重畳画像をヘッドマウントディスプレイ１１へ出力する。

次に、以上のように構成された操作支援表示装置による操作員の支援を制御処理部１２の処理手順に従い説明する。

図２は、本実施形態に係る操作支援表示装置が操作員を支援する際の制御処理部１２のシーケンス図を示す図である。

操作員は、ヘッドマウントディスプレイ１１を装着すると、操作目的入力部から操作目的を入力する。操作目的判定部１２１は、操作員により操作目的が入力されると、記録部１３内に操作目的に対応したシナリオがあるか否かを判定する（シーケンスＳ２１）。操作目的に対応したシナリオがある場合、操作目的判定部１２１は、操作目的情報を操作支援画像生成部１２３へ出力する（シーケンスＳ２２）。

操作支援画像生成部１２３は、操作目的判定部１２１からの操作目的情報に対応したシナリオを操作支援情報から読み出す（シーケンスＳ２３）。操作支援画像生成部１２３は、シナリオの第１の工程で指定される入力対象及び入力方法に基づいた操作支援画像を生成し（シーケンスＳ２４）、重畳画像生成部１２５へ出力する（シーケンスＳ２５）。

位置方位情報取得部１２４は、ヘッドマウントディスプレイ１１から位置方位情報を取得する（シーケンスＳ２６）。位置方位情報取得部１２４は、取得した位置方位情報を重畳画像生成部１２５へ出力する（シーケンスＳ２７）。位置方位情報取得部１２４は、シーケンスＳ２６，Ｓ２７の処理を所定の周期で繰り返す。

重畳画像生成部１２５は、第１の工程の入力対象の３次元座標を３次元座標情報から読み出す（シーケンスＳ２８）。重畳画像生成部１２５は、位置方位情報取得部１２４からの位置方位情報と３次元座標とに基づき、操作支援画像生成部１２３からの操作支援画像の大きさ及び形状等を補正して重畳画像を生成する（シーケンスＳ２９）。重畳画像生成部１２５は、重畳画像が表示部で表示される位置を指定して、重畳画像をヘッドマウントディスプレイ１１へ出力する（シーケンスＳ２１０）。

また、重畳画像生成部１２５は、位置方位情報取得部１２４から位置方位情報が供給される度に、重畳画像を生成し、ヘッドマウントディスプレイ１１へ出力する。

図３及び図４は、移動体の操作部に重畳画像が重畳される際の模式図を示す。

図３は、操作部が制御用スイッチである場合の例である。ヘッドマウントディスプレイ１１を介して制御用スイッチを見ると、入力対象である中央のスイッチに四角形状の重畳画像が重畳されて見えるようになる。なお、このスイッチを押す動作を促す旨の吹き出しコメントが、この四角形状の枠に付されていても構わない。また、ここでは、四角形状の枠が重畳される場合を示したが、矢印形状のポインタにより示されていても構わない。

図４は、操作部がダイヤルである場合の例である。ヘッドマウントディスプレイ１１を介してダイヤルを見ると、入力対象であるダイヤルに対して、入力方法である回転方向を示す矢印形状の重畳画像が重畳されて見えるようになる。なお、このダイヤルを回す動作を促す旨の吹き出しコメントが、この矢印形状に付されていても構わない。

操作員が、ヘッドマウントディスプレイ１１の表示部に表示された重畳画像に従い、移動体の操作部に対して操作指示を入力すると、操作指示取得部１２２は、この操作指示を取得し（シーケンスＳ２１１）、操作指示情報を操作支援画像生成部１２３へ出力する（シーケンスＳ２１２）。

操作支援画像生成部１２３は、操作指示取得部１２２からの操作指示情報に基づき、操作員による操作指示が、第１の工程により指定される入力対象及び入力方法に従ったものであるか否かを判断する。従ったものである場合、操作支援画像生成部１２３は、第２の工程で指定される入力対象及び入力方法に基づいた操作支援画像を生成する（シーケンスＳ２１３）。操作支援画像生成部１２３は、操作支援画像を重畳画像生成部１２５へ出力する（シーケンスＳ２１４）。

重畳画像生成部１２５は、第２の工程の入力対象の３次元座標を３次元座標情報から読み出す（シーケンスＳ２１５）。重畳画像生成部１２５は、位置方位情報取得部１２４からの位置方位情報と３次元座標とに基づき、操作支援画像生成部１２３からの操作支援画像の大きさ及び形状等を補正して重畳画像を生成する（シーケンスＳ２１６）。重畳画像生成部１２５は、重畳画像が表示部で表示される位置を指定して、重畳画像をヘッドマウントディスプレイ１１へ出力する（シーケンスＳ２１７）。

また、重畳画像生成部１２５は、位置方位情報取得部１２４から位置方位情報が供給される度に、重畳画像を生成し、ヘッドマウントディスプレイ１１へ出力する。

制御処理部１２は、シナリオに含まれる全工程が完了するまで、シーケンスＳ２１１〜Ｓ２１７の処理を繰り返す。

以上のように、上記実施形態では、シナリオで指定される各工程の入力対象の３次元座標が記録部１３に予め記録されている。そして、シナリオの各工程に基づいて作成された操作支援画像を、３次元座標とヘッドマウントディスプレイ１１で取得された位置方位情報とを用いて補正するようにしている。このため、操作支援画像は、ヘッドマウントディスプレイ１１の表示部で実像に重畳して表示されることとなる。これにより、操作員は、操作指示を入力するべき入力対象を瞬時に、正確に、かつ容易に把握することが可能となる。

また、上記実施形態では、記録部１３には操作員の目的に応じた複数のシナリオが予め記録されている。操作目的判定部１２１は、操作員により入力された操作目的に対応するシナリオがあるか否かを判定する。そして、対応するシナリオがあると判定した場合、操作目的判定部１２１は、操作支援画像生成部１２３にそのシナリオに応じた操作支援画像を生成させるようにしている。これにより、操作員の操作目的に応じた適切な支援が可能となる。

また、上記実施形態では、操作支援画像生成部１２３は、操作支援画像に従った操作指示が入力されると、シナリオに含まれる次の工程に基づいた操作支援画像を作成するようにしている。これにより、操作員は、移動体を操作するのに適切なタイミングで適切な操作指示を正確に入力することが可能となる。

また、上記実施形態では、位置方位情報取得部１２４は、所定の周期で位置方位情報を取得し、重畳画像生成部１２５へ出力する。そして、重畳画像生成部１２５は、位置方位情報を取得する度に、重畳画像を生成するようにしている。これにより、ヘッドマウントディスプレイ１１を装着する操作員が例えば首を振った場合でも、表示部内の実像の位置に追随させて操作支援画像を常に実像に重畳させることが可能となる。

また、上記実施形態では、操作員の操作指示が誤っている場合、ヘッドマウントディスプレイ１１に、誤操作から回復するためのシナリオに含まれる工程に基づいた操作支援画像を表示するようにしている。これにより、操作員は、誤操作を行った場合でも、最適な対応を容易に採ることが可能となる。

したがって、本実施形態に係る操作支援表示装置は、ヘッドマウントディスプレイに移動体の操作に必要な支援情報を表示することで、操作員の操作負担を軽減させることができる。また、複雑な操作を要する状況において、操作員に対し、操作に必要な操作支援情報を適切な内容で適切な場所に見えるようにしているため、操作員のワークロードを軽減でき、又、操作方法を習得していない操作員も操作をすることができる。また、移動体の操作方法の習得に要する教育時間を短縮できる。

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１１…ヘッドマウントディスプレイ
１２…制御処理部
１２１…操作目的判定部
１２２…操作指示取得部
１２３…操作支援画像生成部
１２４…位置方位情報取得部
１２５…重畳画像生成部
１３…記録部

Claims (8)

1. 移動体を操作するための操作部に対する操作指示の入力を支援する操作支援表示装置において、
   前記移動体の操作員に装着するための装着具と、前記操作員の眼前に設置される表示部とを備える光透過型ヘッドマウントディスプレイと、
   前記操作部に対する操作指示の入力対象及び操作指示の入力方法が指定された複数の工程を含むシナリオと、前記複数の工程で指定される入力対象の３次元座標とを予め記録する記録部と、
   前記シナリオを読み出し、前記シナリオの前記複数の工程で指定される入力対象及び入力方法に基づく操作支援画像を、前記工程毎に生成する操作支援画像生成部と、
   前記ヘッドマウントディスプレイの位置及び方位に関する位置方位情報を取得する位置方位情報取得部と、
   前記操作支援画像を生成する際に用いた入力対象の３次元座標と、前記位置方位情報とに基づき、前記表示部上で前記入力対象の実像に前記操作支援画像が重畳されるように、前記操作支援画像を補正して重畳画像を生成し、前記重畳画像を前記表示部に表示させる重畳画像生成部と
   を具備することを特徴とする操作支援表示装置。
2. 前記記録部は、前記操作員が前記移動体を操作する目的に応じた複数のシナリオを記録し、
   前記操作員が入力する操作目的と、前記複数のシナリオとを比較し、前記操作目的に対応する対応シナリオがあるか否かを判定し、ある場合、前記操作支援画像生成部に、前記対応シナリオに基づいて前記操作支援画像を生成させる操作目的判定部をさらに具備することを特徴とする請求項１記載の操作支援表示装置。
3. 前記位置方位情報取得部は、前記位置方位情報を所定の周期で取得し、
   前記重畳画像生成部は、前記位置方位情報を取得する度に前記重畳画像を生成することを特徴とする請求項１記載の操作支援表示装置。
4. 前記記録部は、誤操作から回復するためのシナリオをさらに記録することを特徴とする請求項１記載の操作支援表示装置。
5. 移動体を操作するための操作部に対する操作指示の入力を支援する操作支援表示装置で用いられる操作支援表示方法において、
   予め記録されたシナリオであって、前記操作部に対する操作指示の入力対象及び操作指示の入力方法が指定された複数の工程を含むシナリオを読み出し、
   前記シナリオの前記複数の工程で指定される入力対象及び入力方法に基づく操作支援画像を、前記工程毎に生成し、
   ヘッドマウントディスプレイの位置及び方位に関する位置方位情報を取得し、
   前記複数の工程で指定される入力対象について予め記録された３次元座標のうち、前記操作支援画像を生成する際に用いた入力対象の３次元座標と、前記位置方位情報とに基づき、前記操作支援画像を補正して重畳画像を生成し、
   前記ヘッドマウントディスプレイの表示部上で、入力対象の実像に前記重畳画像を重畳させて表示することを特徴とする操作支援表示方法。
6. 前記操作員が前記移動体を操作する目的に応じた複数のシナリオを予め記録し、
   前記操作員が入力する操作目的と、前記複数のシナリオとを比較し、前記操作目的に対応する対応シナリオがあるか否かを判定し、
   ある場合、前記操作支援画像生成部に、前記対応シナリオに基づいて前記操作支援画像を生成させることを特徴とする請求項５記載の操作支援表示方法。
7. 前記位置方位情報を所定の周期で取得し、
   前記位置方位情報を取得する度に前記重畳画像を生成することを特徴とする請求項５記載の操作支援表示方法。
8. 誤操作から回復するためのシナリオを予め記録することを特徴とする請求項５記載の操作支援表示方法。

Images