JP2023088062A - 作業支援装置、作業支援方法およびプログラム - Google Patents

Abstract

【課題】仮想オブジェクトの状態を効率よく操作できる作業支援装置を提供する。
【解決手段】作業支援装置１００は、３次元空間の画像を表示する表示部１２２と、１つ以上の仮想オブジェクトから、操作者の操作の対象となる少なくとも１つの対象オブジェクトを選択する対象選択部１０４と、操作者の身体の状態を示すジェスチャ情報に基づいて、３次元空間における指定領域を特定し、指定領域に含まれる現実オブジェクト及び仮想オブジェクトから、関連オブジェクトを特定する領域特定部１０６と、関連オブジェクトに基づいて、対象オブジェクトに関するパラメータを変更するパラメータ変更部１１９と、を備える。
【選択図】図２

Description

本発明は、作業支援装置、作業支援方法およびプログラムに関する。

従来、現実空間を示す画像に仮想オブジェクトを重ねて表示する拡張現実（ＡＲ）技術または複合現実（ＭＲ）技術において、仮想オブジェクトの状態を操作する技術が知られている（例えば特許文献１参照）。
特許文献１ 特開２０１７－２７２０６号公報

仮想オブジェクトの状態を効率よく操作できることが好ましい。

上記課題を解決するために、本発明の第１の態様においては、作業支援装置を提供する。作業支援装置は、現実世界の構造物を示す現実オブジェクトと、操作者により操作される仮想オブジェクトとを含む３次元空間の画像を表示する表示部を備えてよい。作業支援装置は、１つ以上の仮想オブジェクトから、操作者の操作の対象となる少なくとも１つの対象オブジェクトを選択する対象選択部を備えてよい。作業支援装置は、操作者の身体の状態を示すジェスチャ情報に基づいて、３次元空間における指定領域を特定し、指定領域に含まれる現実オブジェクトおよび仮想オブジェクトから、関連オブジェクトを特定する領域特定部を備えてよい。作業支援装置は、関連オブジェクトに基づいて、対象オブジェクトに関するパラメータを変更するパラメータ変更部を備えてよい。

パラメータ変更部は、関連オブジェクトの３次元空間における位置パラメータに基づいて、対象オブジェクトの位置パラメータを変更してよい。

領域特定部は、３次元空間において操作者の視線が通過する位置に基づいて指定領域を特定してよい。

領域特定部は、操作者の視線が最初に通過する現実オブジェクトまたは仮想オブジェクトを、関連オブジェクトとして特定してよい。

表示部は、３次元空間の奥行方向における位置を指定する奥行位置インジケータを表示してよい。領域特定部は、奥行位置インジケータが指定する位置に基づいて、関連オブジェクトを特定してよい。

領域特定部は、予め設定されたジェスチャ情報を検出した場合に、指定領域を回転して表示させてよい。

領域特定部は、指定領域に含まれる複数のオブジェクトが奥行方向に重なっていることを条件として、指定領域を回転して表示させてよい。

表示部は、指定領域に含まれる現実オブジェクトおよび仮想オブジェクトのリストを表示してよい。領域特定部は、リストから選択されたオブジェクトを関連オブジェクトとして特定してよい。

仮想オブジェクトは、変更可能な複数のパラメータを含んでよい。パラメータ変更部は操作者のジェスチャ情報に応じて、変更するパラメータを選択してよい。

本発明の第２の態様においては、作業支援方法を提供する。作業支援方法は、現実世界の構造物を示す現実オブジェクトと、操作者により操作される仮想オブジェクトとを含む３次元空間の画像を表示してよい。作業支援方法は、１つ以上の仮想オブジェクトから、操作者の操作の対象となる少なくとも１つの対象オブジェクトを選択してよい。作業支援方法は、操作者の身体の状態を示すジェスチャ情報に基づいて、３次元空間における指定領域を特定し、指定領域に含まれる現実オブジェクトおよび仮想オブジェクトから、関連オブジェクトを特定してよい。作業支援方法は、関連オブジェクトに基づいて、対象オブジェクトに関するパラメータを変更してよい。

本発明の第３の態様においては、コンピュータに、第２の態様に係る作業支援方法を実行させるためのプログラムを提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明の一つの実施形態に係る作業支援装置が表示する画像１２を説明する図である。 作業支援装置１００の機能構成例を示すブロック図である。 操作者のジェスチャによる対象オブジェクトに対する操作の一例を説明する図である。 仮想オブジェクト２０から対象オブジェクトを選択する例を説明する図である。 関連オブジェクトを選択する例を説明する図である。 対象オブジェクトのパラメータを変更する例を説明する図である。 対象オブジェクトの位置パラメータを変更した後の画像１２を示す図である。 対象オブジェクトのグループパラメータを変更する例を説明する図である。 仮想オブジェクト２０に割り当てられるパラメータの一例を説明する図である。 オブジェクトを選択する方法の他の例を説明する図である。 操作者がオブジェクトを選択するときの他の動作例を説明する図である。 作業支援方法の概要を示すフローチャートである。 作業支援方法の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の一つの実施形態に係る作業支援装置が表示する画像１２を説明する図である。作業支援装置は、現実世界に存在する構造物を示す現実オブジェクト１０と、操作者により操作される仮想オブジェクト２０とを重畳した画像１２を表示する。本明細書では、現実オブジェクト１０および仮想オブジェクト２０を単にオブジェクトと称する場合がある。図１の例における画像１２は、現実オブジェクト１０と、仮想オブジェクト２０とを、共通の３次元空間上に示した画像である。図１においては、画像１２に示される３次元空間をＸＹＺ座標系で示している。なお画像１２に示される３次元空間には、操作者が含まれてよく、含まれていなくてもよい。画像１２は、３次元ホログラフィーであってよく、両眼に提示する画像の視差等を利用した疑似的な３次元画像であってもよい。一例として作業支援装置は、操作者に装着されて画像１２を提示するヘッドマウントディスプレイ(ＨＭＤ)方式のウェアラブル端末を含む。

本例の仮想オブジェクト２０は、例えば現実オブジェクト１０に関する情報を管理するためのオブジェクトである。現実オブジェクト１０は、例えば工場等に配置された設備である。現実オブジェクト１０は、製造用の設備であってよく、他の用途の設備であってもよい。

仮想オブジェクト２０は、いずれかの現実オブジェクト１０と対応付けて表示される。本例の仮想オブジェクト２０は、それぞれ情報が割り当てられた１つ以上のタグ（図１ではタグ２２およびタグ２４）を有する。それぞれのタグに割り当てられた情報は、操作者により編集可能である。本明細書では、仮想オブジェクト２０が管理する情報をパラメータと称する場合がある。

本例のタグ２２には文字情報が割り当てられている。タグ２２は、割り当てられた文字情報を表示してよい。文字情報は、例えば現実オブジェクト１０の状態を示す情報である。現実オブジェクト１０の状態とは、例えば設備が稼働中であるか否か、または、改修中（または保守中）であるか否か等の状態であってよい。操作者は、タグ２２を操作することで文字情報を編集してよい。タグ２２は、操作者により入力された任意の文字列が割り当てられてよく、予め設定された複数種類の文字列から操作者が選択した文字列が割り当てられてもよい。

本例のタグ２４には、仮想オブジェクト２０と現実オブジェクト１０との対応関係を示す情報が割り当てられている。タグ２４は、対応する現実オブジェクト１０と重なる位置に表示されてよい。操作者は、タグ２４を移動させることで、仮想オブジェクト２０と現実オブジェクト１０との対応関係を編集してよい。図１の画像１２における仮想オブジェクト２０は、まだ現実オブジェクト１０に対応付けられていない状態を示している。

仮想オブジェクト２０に対する操作内容によっては、操作に時間がかかる場合がある。例えば３次元空間において、仮想オブジェクト２０のタグ２４を、画像１２が示す３次元空間内の奥行方向に移動させる場合に、奥行方向への移動量を操作時間の長さで決定する場合がある。つまり、ボタンを押す等の移動操作をしている間は仮想オブジェクト２０を奥行方向に移動させ、移動操作を終了した場合に仮想オブジェクト２０の移動を終了させる。このような場合、奥行方向への移動量に応じて操作時間が増大してしまう。なお奥行方向とは、３次元空間において操作者から離れる方向、または、操作者に近づく方向を指す。画像１２がＸＺ面に表示された画像の場合、奥行方向はＸＺ面と垂直なＺ軸方向である。

図２は、作業支援装置１００の機能構成例を示すブロック図である。作業支援装置１００は、操作者の画像１２上における作業を支援する。作業支援装置１００は、仮想オブジェクト２０に割り当てられたパラメータ（つまりタグに割り当てられた情報）の変更作業を支援する。

作業支援装置１００は、対象選択部１０４、領域特定部１０６、パラメータ変更部１１９および表示部１２２を備える。作業支援装置１００は、画像取得部１０２、センサ部１１０、ジェスチャ検出部１１２、ジェスチャ情報記憶部１１６、パラメータ情報記憶部１１８および制御部１２０の少なくともいずれかを更に備えてよい。作業支援装置１００における表示部１２２、センサ部１１０および画像取得部１０２以外の機能は、コンピュータにより実現されてよい。なお作業支援装置１００の各構成は、ヘッドマウンドディスプレイ等の単一の筐体に収容されてよく、複数の筐体に分散して収容されてもよい。それぞれの構成は、有線または無線により互いに通信してよい。

表示部１２２は、操作者に対して、現実オブジェクト１０および仮想オブジェクト２０を含む３次元空間の画像１２を提供する。表示部１２２は液晶表示装置、有機ＥＬ表示装置、ホログラム表示装置、または、その他の表示装置であってよい。制御部１２０は、表示部１２２を制御して画像１２を表示させる。制御部１２０は、表示部１２２に表示させる画像のデータを出力してよい。

画像取得部１０２は、現実世界の画像を取得する。画像取得部１０２は、画像に含まれるそれぞれの構造物の奥行方向の位置に関する情報を取得する。画像取得部１０２は、現実世界の３次元画像を取得してよい。本例の画像取得部１０２は、ＣＣＤ等の撮像素子を有するカメラである。画像取得部１０２は、画像取得部１０２から構造物の各部位までの距離情報を取得してよい。

制御部１２０は、画像取得部１０２が取得した構造物の画像および奥行位置に関する情報に基づいて、図１に示した画像１２を生成する。制御部１２０は、当該構造物を示す現実オブジェクト１０を、画像１２に示される３次元空間に配置する。本例の制御部１２０は、構造物の奥行位置に関する情報に基づいて、画像１２の３次元空間に現実オブジェクト１０を配置する。

また制御部１２０は、図１に示したような仮想オブジェクト２０を、画像１２に示される３次元空間に配置する。制御部１２０は、操作者から仮想オブジェクト２０を表示する旨の入力があった場合に、仮想オブジェクト２０を画像１２に配置してよい。操作者からの入力は、操作者の身体によるジェスチャ、または、操作者からの音声であってよい。他の例では、操作者は、ボタン等を有する入力デバイスを用いて、仮想オブジェクト２０を表示する旨の入力を行ってもよい。本例の作業支援装置１００は、操作者の手および視線の少なくとも一方を含むジェスチャを検出する。

センサ部１１０は、操作者の身体の少なくとも一部の動作を監視する。センサ部１１０は、操作者の身体の少なくとも一部の画像を撮像するカメラ、または、操作者の身体に取り付けられた加速度センサ等を有してよい。

ジェスチャ検出部１１２は、センサ部１１０が検出した操作者の動作から、予め設定されたジェスチャに該当する動作を検出する。ジェスチャ情報記憶部１１６は、予め設定された１つ以上のジェスチャを検出するための情報を記憶する。例えばジェスチャ情報記憶部１１６は、それぞれのジェスチャにおける操作者の動作を示すジェスチャ情報を記憶してよい。ジェスチャ情報記憶部１１６は、それぞれのジェスチャが、操作者からのどのような入力を意味しているかを合わせて記憶してよい。ジェスチャ情報記憶部１１６は、少なくとも仮想オブジェクト２０のパラメータを変更するためのジェスチャを記憶する。ジェスチャ情報記憶部１１６は、新たな仮想オブジェクト２０を表示させるためのジェスチャを記憶してもよい。ジェスチャ検出部１１２は、操作者の動作に該当するジェスチャを、ジェスチャ情報記憶部１１６から抽出してよい。

対象選択部１０４は、画像１２に含まれる１つ以上の仮想オブジェクト２０から、操作者の操作の対象となる少なくとも１つの対象オブジェクトを選択する。対象選択部１０４は、操作者のジェスチャに基づいて対象オブジェクトを選択してよい。例えば対象選択部１０４は、操作者が対象オブジェクトを選択する旨を示すジェスチャした後に、操作者により指定された仮想オブジェクト２０を対象オブジェクトとして選択してよい。操作者による指定は、操作者の視線等によるジェスチャで行われてよい。

領域特定部１０６は、操作者のジェスチャを検出したジェスチャ情報に基づいて、画像１２に示される３次元空間における指定領域を特定する。また領域特定部１０６は、指定領域に含まれる現実オブジェクト１０および仮想オブジェクト２０から、関連オブジェクトを特定する。領域特定部１０６は、操作者が関連オブジェクトを特定する旨のジェスチャをした場合に、指定領域および関連オブジェクトを特定してよい。例えば領域特定部１０６は、操作者の手による所定のジェスチャが提示されている状態で、操作者の視線が通過する位置を検出してよい。領域特定部１０６は、画像１２に示される３次元空間において操作者の視線が通過する領域を指定領域としてよい。

領域特定部１０６は、指定領域にオブジェクトが１つだけ含まれている場合、当該オブジェクトを関連オブジェクトとして特定する。領域特定部１０６は、指定領域にオブジェクトが複数含まれている場合、予め定められたルールまたは処理方法により、１つまたは複数のオブジェクトを関連オブジェクトとして特定する。例えば領域特定部１０６は、複数のオブジェクトのうち、最も手前（つまり３次元空間において最も操作者に近い）のオブジェクトを関連オブジェクトとして特定してよい。

パラメータ変更部１１９は、特定された関連オブジェクトに基づいて、対象オブジェクトに関するパラメータを変更する。例えばパラメータ変更部１１９は、対象オブジェクトの３次元空間内における位置を示す位置パラメータを、関連オブジェクトの位置パラメータに応じて変更する。パラメータ変更部１１９は、対象オブジェクトの位置パラメータを、関連オブジェクトのいずれかの部位の位置パラメータと一致させてよい。このような処理により、３次元空間内において対象オブジェクトを効率よく移動させることができる。つまり、既に存在するオブジェクトを指定することで対象オブジェクトを移動できるので、対象オブジェクトの奥行方向の移動量を操作時間等で指定しなくてよい。このため、対象オブジェクトの移動に関する操作時間を短縮できる。

パラメータ情報記憶部１１８は、それぞれのオブジェクトに関連付けられたパラメータを記憶する。パラメータ情報記憶部１１８は、それぞれのオブジェクトを表示するときの形状等を示す画像データを記憶していてもよい。パラメータ変更部１１９は、それぞれのオブジェクトに関連付けられたパラメータの値を、パラメータ情報記憶部１１８から読み出してよい。パラメータ変更部１１９は、対象オブジェクトの変更後のパラメータの値を、パラメータ情報記憶部１１８に記憶させてよい。パラメータ変更部１１９は、対象オブジェクトの変更後のパラメータの値を、制御部１２０に通知する。制御部１２０は、変更後のパラメータに基づいて、表示部１２２が表示する対象オブジェクトの画像データを変更する。例えば制御部１２０は、移動後の位置パラメータに基づいて、画像１２における対象オブジェクトの位置を制御する。

図３は、操作者のジェスチャによる対象オブジェクトに対する操作の一例を説明する図である。本例のジェスチャ検出部１１２は、操作者の手３２の動作をジェスチャとして検出する。例えばジェスチャ検出部１１２は、操作者の手３２の各指が伸ばされた状態を、対象オブジェクトを選択するための対象選択ジェスチャとして検出する。

対象選択部１０４は、対象選択ジェスチャが検出された後に、操作者により指定された仮想オブジェクト２０を、対象オブジェクトとして特定する。対象選択部１０４は、対象選択ジェスチャが検出された後に、画像１２において操作者の視線が所定の期間以上留まっている仮想オブジェクト２０を対象オブジェクトとして特定してよい。対象選択部１０４は、対象選択ジェスチャが検出された後に、操作者の手３２の動作により選択された仮想オブジェクト２０を対象オブジェクトとして特定してもよい。対象選択部１０４は、他の方法で対象オブジェクトを特定してもよい。

また、ジェスチャ検出部１１２は、操作者の手３２の一部の指が伸ばされた状態を、対象オブジェクトである仮想オブジェクト２０を操作するための操作ジェスチャとして検出してよい。ジェスチャ検出部１１２は、操作ジェスチャが検出された後における、操作者による仮想オブジェクト２０に対する操作を検出する。例えばジェスチャ検出部１１２は、操作ジェスチャの状態の手３２による、仮想オブジェクト２０に対する操作を検出する。

それぞれの仮想オブジェクト２０は、操作者により操作可能な複数のタグ（タグ２２、タグ２４、タグ２６）を有する。それぞれのタグには、変更可能なパラメータが割り当てられている。パラメータ変更部１１９は、操作者によるジェスチャ情報に応じて、変更するパラメータを選択する。本例では、操作者は、操作ジェスチャ状態の手３２によりいずれかのタグを指し示すことで、パラメータを変更するタグを選択してよい。表示部１２２は、手３２を示す画像を３次元空間内に表示してよい。

本例のタグ２２には状態情報を含む状態パラメータが割り当てられており、タグ２４には位置情報を含む位置パラメータが割り当てられており、タグ２６にはグループ情報を含むグループパラメータが割り当てられている。状態パラメータは、例えば仮想オブジェクト２０に対応する現実オブジェクト１０の設備の状態を示すパラメータである。設備の状態とは、例えば改修（つまり保守および修理等）中であるか否か、通常動作中であるか否か、改修予定であるか否か等の状態である。位置情報は、仮想オブジェクト２０の３次元空間内における座標等の情報である。グループ情報は、仮想オブジェクト２０または現実オブジェクト１０が、いずれのグループに属するかを示す情報である。グループは、例えば同時期に連動して改修される現実オブジェクト１０を示すグループ、通常動作時に連動する現実オブジェクト１０を示すグループ、同時期に導入された現実オブジェクト１０を示すグループ等である。

仮想オブジェクト２０に割り当てられるタグは、これらに限定されない。それぞれの仮想オブジェクト２０は、ほかにも多様な情報が割り当てられたタグを有してよい。例えば仮想オブジェクト２０は、操作者等により入力された文字情報のタグを有してよい。仮想オブジェクト２０には、仮想オブジェクト２０がいずれの現実オブジェクトに対応付けられているかを示す対応情報のタグを有してもよい。

図４は、仮想オブジェクト２０から対象オブジェクトを選択する例を説明する図である。上述したように対象選択部１０４は、対象選択ジェスチャを検出した場合に、１つ以上の仮想オブジェクト２０から、パラメータを変更する対象オブジェクトを選択する。

対象選択部１０４は、画像１２において仮想オブジェクト２０が１つだけ含まれている場合には、当該仮想オブジェクト２０を対象オブジェクトとして選択してよい。画像１２において複数の仮想オブジェクト２０が含まれている場合、対象選択部１０４は、操作者により選択された仮想オブジェクト２０を対象オブジェクトとして選択する。

上述したように、対象選択部１０４は、画像１２が示す３次元空間内において操作者の視線が通過する通過領域５１を検出してよい。作業支援装置１００は、操作者の目の向きを検出するセンサを有してよい。通過領域５１は、他の方法で指定されてもよい。例えば操作者の手のひらまたは指等で指定される方向に延びる直線で、通過領域５１が規定されてもよい。対象選択部１０４は、通過領域５１と重なる仮想オブジェクト２０を、対象オブジェクトとして選択する。通過領域５１と重なる仮想オブジェクト２０が複数存在する場合、対象選択部１０４は、最も手前の仮想オブジェクト２０を対象オブジェクトとして選択してよく、他の方法で決定される仮想オブジェクト２０を対象オブジェクトとして選択してもよい。

図５は、関連オブジェクトを選択する例を説明する図である。領域特定部１０６は、対象オブジェクトのパラメータを変更するのに用いる関連オブジェクトを特定する。関連オブジェクトは、現実オブジェクト１０または仮想オブジェクト２０のいずれであってもよい。

領域特定部１０６は、操作者による関連選択ジェスチャが検出された場合に、関連オブジェクトを特定する処理を開始してよい。関連選択ジェスチャは、例えば手３２によるジェスチャである。

本例の領域特定部１０６は、画像１２で示される３次元空間において操作者の視線が通過する位置に基づいて指定領域５２を特定する。指定領域５２は、３次元空間において操作者の視線が通過する直線状の領域であってよい。

領域特定部１０６は、指定領域５２に存在するオブジェクトを検出する。領域特定部１０６は、指定領域５２と重なるオブジェクトを検出してよい。本例では、現実オブジェクト１０－１が指定領域５２に存在している。

領域特定部１０６は、指定領域５２に存在するオブジェクトが一つだけの場合、当該オブジェクトを関連オブジェクトとして特定する。指定領域５２と重なるオブジェクトが複数存在する場合、領域特定部１０６は、最も手前のオブジェクト（つまり、操作者の視線が最初に通過するオブジェクト）を関連オブジェクトとして選択してよく、他の方法で決定されるオブジェクトを関連オブジェクトとして選択してもよい。図５の例では、現実オブジェクト１０－１が関連オブジェクトとして選択される。

図６は、対象オブジェクトのパラメータを変更する例を説明する図である。本例では、対象オブジェクト（仮想オブジェクト２０）の位置パラメータを変更する。パラメータ変更部１１９は、操作ジェスチャが検出された場合に、対象オブジェクトのパラメータを変更する処理を開始してよい。

パラメータ変更部１１９は、関連オブジェクト（現実オブジェクト１０－１）のパラメータに基づいて、対象オブジェクト（仮想オブジェクト２０）のパラメータを変更する。本例では、関連オブジェクトの位置パラメータに基づいて、対象オブジェクトの位置パラメータを変更する。パラメータ変更部１１９は、対象オブジェクトのパラメータを、関連オブジェクトのパラメータと一致させてよい。本例では、対象オブジェクトの位置パラメータを、関連オブジェクトの位置パラメータと一致させる。

パラメータ変更部１１９が対象オブジェクトのいずれのパラメータを変更するかは、操作者が操作ジェスチャによりいずれのタグ（図３参照）を選択するかにより決定してよい。本例では、操作者が仮想オブジェクト２０のタグ２４を選択する。パラメータ変更部１１９は、選択されたタグに応じたパラメータを、既に指定されている関連オブジェクトのパラメータと一致させてよい。

また、領域特定部１０６は、操作者がいずれかのタグを画像１２の２次元面（ＸＺ面）上において移動させた位置に基づいて、指定領域を特定してもよい。例えば操作者によりタグ２４が２次元面上で移動された場合、３次元空間内において移動後のタグ２４と重なる領域を指定領域としてよい。領域特定部１０６は、指定領域に含まれるオブジェクトから、関連オブジェクトを決定してよい。この場合においても領域特定部１０６は、指定領域５２に存在するオブジェクトが一つだけの場合、当該オブジェクトを関連オブジェクトとして特定する。指定領域５２と重なるオブジェクトが複数存在する場合、領域特定部１０６は、最も手前のオブジェクトを関連オブジェクトとして選択してよく、他の方法で決定されるオブジェクトを関連オブジェクトとして選択してもよい。

タグの移動による関連オブジェクトの特定処理と、視線等の検出による関連オブジェクトの特定処理とは、いずれか一方だけを行ってよく、両方を行ってもよい。両方の処理を行う場合、タグの移動によって指定されたオブジェクトと、視線等の検出によって指定されたオブジェクトが一致している場合に、当該オブジェクトを関連オブジェクトとして特定してよい。

図７は、対象オブジェクトの位置パラメータを変更した後の画像１２を示す図である。本例では、仮想オブジェクト２０のタグ２４の位置パラメータが、現実オブジェクト１０－１の位置パラメータと一致するように変更されている。タグ２４は、現実オブジェクト１０の画像と重なる位置に表示される。仮想オブジェクト２０のタグ２４以外のタグは、他のオブジェクトと重ならない位置に表示されてよい。このような処理により、対象オブジェクトの位置パラメータを容易に変更できる。

図８は、対象オブジェクトのグループパラメータを変更する例を説明する図である。本例では、仮想オブジェクト２０－３が対象オブジェクトであり、仮想オブジェクト２０－１が関連オブジェクトである。本例では、仮想オブジェクト２０－３のタグ２６－３を選択することで、仮想オブジェクト２０－３を対象オブジェクトとして選択する。また、タグ２６－３を、仮想オブジェクト２０－１のタグ２６－１と重なる位置に２次元上で移動させることで、仮想オブジェクト２０－１を関連オブジェクトとして指定する。それぞれの仮想オブジェクト２０は、既に現実オブジェクト１０と対応付けられている。仮想オブジェクト２０－１は、視線等によっても関連オブジェクトとして特定されてよい。

操作前において、タグ２６－３およびタグ２６－１は、別のグループであることを示している。パラメータ変更部１１９は、タグ２６－３がタグ２６－１と重なる位置に移動された場合に、タグ２６－３のパラメータを、タグ２６－１のパラメータと一致させてよい。他の例では、タグ２６－１のパラメータを、タグ２６－3のパラメータと一致させてもよい。つまり、仮想オブジェクト２０－１と対応する現実オブジェクト１０－１と、仮想オブジェクト２０－３と対応する現実オブジェクト１０－３とが、同一のグループとなるように各パラメータを変更する。本例では、タグ２６を２次元上で移動させることで、３次元空間内の他のタグ２６を指定できる。このため、３次元空間内の各オブジェクトを容易に編集できる。

図４から図８においては、位置パラメータまたはグループパラメータの編集を説明したが、状態パラメータの編集も同様である。操作者が操作ジェスチャによりタグ２２を選択して操作することで、対象オブジェクトの状態パラメータを、関連オブジェクトの状態パラメータと一致させてよい。

図９は、仮想オブジェクト２０に割り当てられるパラメータの一例を説明する図である。それぞれの仮想オブジェクト２０には、上述した位置パラメータ、状態パラメータ、グループパラメータが割り当てられてよい。それぞれの仮想オブジェクト２０には、複数のグループパラメータが割り当てられてよい。つまり仮想オブジェクト２０は、複数のグループに属してよい。また、それぞれの仮想オブジェクト２０のグループは、階層的に分けられていてよい。それぞれの仮想オブジェクト２０は、各階層におけるグループを示すグループパラメータが割り当てられてよい。これにより、仮想オブジェクト２０のグループパラメータを、階層単位で編集できる。

それぞれの仮想オブジェクト２０には、対応する現実オブジェクト１０を示す装置パラメータ、現実オブジェクト１０に関する情報を示す装置情報パラメータ、対応する現実オブジェクト１０の保守に関する情報を示す保守情報パラメータ等を含んでよい。装置パラメータは、例えば装置の製造者、装置の型番等、装置を識別するための情報である。装置情報パラメータは、装置の用途、性能、装置の管理者等の情報である。保守情報パラメータは、現実オブジェクト１０の保守手順、次回の保守時期、前回の保守時期等の情報である。

それぞれの仮想オブジェクト２０には、操作者により入力される任意の文字情報を示す文字パラメータが割り当てられてもよい。文字パラメータは、例えば現実オブジェクト１０の稼働時における留意事項等である。文字パラメータは、例えばグループ毎にまとめられてよい。例えば仮想オブジェクト２０のグループが編集された場合に、編集後のグループに属する複数の仮想オブジェクト２０に割り当てられた文字パラメータは、一つに結合されて、それぞれの仮想オブジェクト２０から参照可能なように管理されてよい。これにより、同一グループの現実オブジェクト１０に関するコメントを、一括して参照できる。

図１０は、オブジェクトを選択する方法の他の例を説明する図である。本例では、関連オブジェクトを選択する方法を説明するが、対象オブジェクトを選択する場合も同様の処理を行ってよい。

本例では、視線等により特定された指定領域５２に複数の現実オブジェクト１０が含まれている。複数の現実オブジェクト１０は、画像１２で示される３次元空間の奥行方向（Ｚ軸方向）において重なって配置されている。

領域特定部１０６は、予め設定された回転操作を示すジェスチャ情報を検出した場合に、指定領域５２に含まれる複数のオブジェクトを回転して表示させてよい。領域特定部１０６は、指定領域５２に含まれる複数のオブジェクトが奥行方向に重なっていることを条件として、指定領域５２に含まれる複数のオブジェクトを回転して表示させてよい。つまり、回転操作のジェスチャを検出し、且つ、指定領域５２の複数のオブジェクトが重なっている場合に、指定領域５２の複数のオブジェクトを回転させてよい。

なお指定領域５２における複数のオブジェクトの回転とは、指定領域５２の複数のオブジェクトに対する視点位置および視線方向を変更することを指す。図１０の例では、複数のオブジェクトに対してＺ軸方向（つまり指定領域５２と平行な方向）に離れた視点位置から、Ｚ軸方向と平行な視線で観察した画像を、複数のオブジェクトに対してＸ軸方向（つまり指定領域５２と垂直な方向）に離れた視点位置から、Ｘ軸方向と平行な視線で観察した画像に変換している。これにより、奥行方向において重なっていた複数のオブジェクトを分離して表示できる。

領域特定部１０６は、回転させた画像において操作者が選択したオブジェクトを関連オブジェクトとして特定してよい。操作者によるオブジェクトの選択は、他の例と同様に、視線検出またはタグの移動等により行われてよい。本例によれば。複数のオブジェクトが奥行方向に重なっている場合でも、関連オブジェクトを容易に選択できる。

また、指定領域５２を回転して表示する場合、および、回転して表示しない場合のいずれの場合でも、予め設定された拡大表示ジェスチャを検出した場合には、指定領域５２を含む領域を拡大して表示してよい。これにより、複数のオブジェクトが密集している場合でも、関連オブジェクトを容易に選択できる。

また、指定領域５２の指定は、視線以外の方法で指定されてもよい。例えば予め設定された領域設定ジェスチャを検出した場合に、領域特定部１０６は、当該ジェスチャで指定された領域を指定領域５２としてもよい。例えば、指等を動かすことで画像１２のＸＺ面上で所定の範囲が指定された場合に、指定領域５２は当該範囲を指定領域５２としてよい。

領域特定部１０６は、指定領域５２に複数のオブジェクトが含まれている場合、複数のオブジェクトのリストを表示させてもよい。オブジェクトは、仮想オブジェクト２０および現実オブジェクト１０の両方を含んでよく、一方の種類のオブジェクトを含んでもよい。指定領域５２は、当該リストから操作者により選択されたオブジェクトを関連オブジェクトとして特定してよい。

図１１は、操作者がオブジェクトを選択するときの他の動作例を説明する図である。本例の表示部１２２は、画像１２が示す３次元空間の奥行方向における位置を指定する奥行位置インジケータ６０を表示する。奥行位置インジケータ６０は、３次元空間における位置情報（例えば３次元の座標）を有する。奥行位置インジケータ６０は、３次元空間においてZ軸に沿って移動可能である。表示部１２２は、２次元面（ＸＺ面）において、疑似的にZ軸方向を示す直線６１を表示してよい。操作者は、２次元面において、直線６１に沿って奥行位置インジケータ６０を移動させる。直線６１の各位置には、３次元空間の座標が割り当てられる。制御部１２０は、２次元面における奥行位置インジケータ６０の直線６１上の位置から、奥行位置インジケータ６０の奥行位置を算出してよい。

操作者は、オブジェクトを選択する場合に、奥行位置インジケータ６０を操作して、奥行位置を指定してよい。領域特定部１０６は、前述した指定領域５２に含まれるオブジェクトのうち、奥行位置インジケータ６０で指定される奥行位置にあるオブジェクトを関連オブジェクトとして特定してよい。表示部１２２は、奥行位置インジケータ６０で指定されている奥行位置におけるＸＺ面６２を表示してよい。ＸＺ面６２は、ＸＺ面６２よりも奥に存在するオブジェクトが視認できるように、透過または半透過の面であってよい。本例においても奥行位置インジケータ６０の位置を２次元面で指定できるので、３次元空間における奥行方向の位置を短時間で指定できる。

図１２は、作業支援方法の概要を示すフローチャートである。図１２においては、作業支援方法における処理の一部を示している。作業支援方法は、図１から図１１において説明した作業支援装置１００と同一の処理を行ってよい。

まず画像表示段階Ｓ１２０２において、現実世界の構造物を示す現実オブジェクト１０と、操作者により操作される仮想オブジェクト２０とを含む３次元空間の画像１２を表示する。Ｓ１２０２における処理は、表示部１２２の処理と同様である。

次に対象選択段階Ｓ１２０４において、１つ以上の仮想オブジェクト２０から、操作者の操作の対象となる少なくとも１つの対象オブジェクトを選択する。Ｓ１２０４における処理は、対象選択部１０４の処理と同様である。

次に指定領域特定段階Ｓ１２０６において、操作者の身体の状態を示すジェスチャ情報に基づいて、画像１２が示す３次元空間における指定領域５２を特定する。また、関連オブジェクト特定段階Ｓ１２０８において、指定領域５２に含まれる現実オブジェクト１０および仮想オブジェクト２０から、関連オブジェクトを特定する。Ｓ１２０６およびＳ１２０８における処理は、領域特定部１０６の処理と同様である。

次に対象オブジェクト操作段階Ｓ１２１０において、操作者による対象オブジェクトの操作を受け付ける。Ｓ１２１０では、操作ジェスチャによる操作を受け付ける。Ｓ１２１０の処理は、ジェスチャ検出部１１２における処理と同様である。

次にパラメータ変更段階Ｓ１２１２において、関連オブジェクトに基づいて、対象オブジェクトに関するパラメータを変更する。Ｓ１２１２における処理は、パラメータ変更部１１９の処理と同様である。このような処理により、３次元空間における奥行位置を効率よく特定して、対象オブジェクトのパラメータを効率よく変更できる。

図１３は、作業支援方法の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。コンピュータ２２００には、コンピュータ２２００に図１から図１２において説明した作業支援方法を実行させるためのプログラムがインストールされる。

コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ２２００に、本発明の実施形態に係る方法または当該方法の段階を実行させることができる。そのようなプログラムは、コンピュータ２２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。

本実施形態によるコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６、およびディスプレイデバイス２２１８を含み、それらはホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００はまた、通信インタフェース２２２２、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータはまた、ＲＯＭ２２３０およびキーボード２２４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ２２４０を介して入／出力コントローラ２２２０に接続されている。

ＣＰＵ２２１２は、ＲＯＭ２２３０およびＲＡＭ２２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ２２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。

通信インタフェース２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ－ＲＯＭドライブ２２２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ２２０１から読み取り、ハードディスクドライブ２２２４にＲＡＭ２２１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。

ＲＯＭ２２３０はその中に、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、および／またはコンピュータ２２００のハードウェアに依存するプログラムを格納する。入／出力チップ２２４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ２２２０に接続してよい。

プログラムが、ＤＶＤ－ＲＯＭ２２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、またはＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ２２００の使用に従い情報の操作または処理を実現することによって構成されてよい。

例えば、通信がコンピュータ２２００および外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース２２２２に対し、通信処理を命令してよい。通信インタフェース２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭ２２０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。

また、ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６（ＤＶＤ－ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ２２１４に読み取られるようにし、ＲＡＭ２２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ２２１２は次に、処理されたデータを外部記録媒体にライトバックする。

様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ２２１４に対しライトバックする。また、ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ２２００上またはコンピュータ２２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２２００に提供する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。

１０・・・現実オブジェクト、１２・・・画像、２０・・・仮想オブジェクト、２２、２４、２６・・・タグ、３２・・・手、５１・・・通過領域、５２・・・指定領域、６０・・・奥行位置インジケータ、６２・・・ＸＺ面、１００・・・作業支援装置、１０２・・・画像取得部、１０４・・・対象選択部、１０６・・・領域特定部、１１０・・・センサ部、１１２・・・ジェスチャ検出部、１１６・・・ジェスチャ情報記憶部、１１８・・・パラメータ情報記憶部、１１９・・・パラメータ変更部、１２０・・・制御部、１２２・・・表示部

Claims (11)

1. 現実世界の構造物を示す現実オブジェクトと、操作者により操作される仮想オブジェクトとを含む３次元空間の画像を表示する表示部と、
   １つ以上の前記仮想オブジェクトから、前記操作者の操作の対象となる少なくとも１つの対象オブジェクトを選択する対象選択部と、
   前記操作者の身体の状態を示すジェスチャ情報に基づいて、前記３次元空間における指定領域を特定し、前記指定領域に含まれる前記現実オブジェクトおよび前記仮想オブジェクトから、関連オブジェクトを特定する領域特定部と、
   前記関連オブジェクトに基づいて、前記対象オブジェクトに関するパラメータを変更するパラメータ変更部と
   を備える作業支援装置。
2. 前記パラメータ変更部は、前記関連オブジェクトの前記３次元空間における位置パラメータに基づいて、前記対象オブジェクトの位置パラメータを変更する
   請求項１に記載の作業支援装置。
3. 前記領域特定部は、前記３次元空間において前記操作者の視線が通過する位置に基づいて前記指定領域を特定する
   請求項１または２に記載の作業支援装置。
4. 前記領域特定部は、前記操作者の前記視線が最初に通過する前記現実オブジェクトまたは前記仮想オブジェクトを、前記関連オブジェクトとして特定する
   請求項３に記載の作業支援装置。
5. 前記表示部は、前記３次元空間の奥行方向における位置を指定する奥行位置インジケータを表示し、
   前記領域特定部は、前記奥行位置インジケータが指定する位置に基づいて、前記関連オブジェクトを特定する
   請求項１から３のいずれか一項に記載の作業支援装置。
6. 前記領域特定部は、予め設定された前記ジェスチャ情報を検出した場合に、前記指定領域を回転して表示させる
   請求項１から５のいずれか一項に記載の作業支援装置。
7. 前記領域特定部は、前記指定領域に含まれる複数のオブジェクトが前記３次元空間の奥行方向に重なっていることを条件として、前記指定領域を回転して表示させる
   請求項６に記載の作業支援装置。
8. 前記表示部は、前記指定領域に含まれる前記現実オブジェクトおよび前記仮想オブジェクトのリストを表示し、
   前記領域特定部は、前記リストから選択されたオブジェクトを前記関連オブジェクトとして特定する
   請求項１から７のいずれか一項に記載の作業支援装置。
9. 前記仮想オブジェクトは、変更可能な複数のパラメータを含み、
   前記パラメータ変更部は、前記操作者の前記ジェスチャ情報に応じて、変更する前記パラメータを選択する
   請求項１から８のいずれか一項に記載の作業支援装置。
10. 現実世界の構造物を示す現実オブジェクトと、操作者により操作される仮想オブジェクトとを含む３次元空間の画像を表示し、
    １つ以上の前記仮想オブジェクトから、前記操作者の操作の対象となる少なくとも１つの対象オブジェクトを選択し、
    前記操作者の身体の状態を示すジェスチャ情報に基づいて、前記３次元空間における指定領域を特定し、前記指定領域に含まれる前記現実オブジェクトおよび前記仮想オブジェクトから、関連オブジェクトを特定し、
    前記関連オブジェクトに基づいて、前記対象オブジェクトに関するパラメータを変更する
    作業支援方法。
11. コンピュータに、請求項１０に記載の作業支援方法を実行させるためのプログラム。

Images