JP2017058752A - 作業支援方法、作業支援プログラム、及び作業支援システム - Google Patents

Abstract

【課題】 本発明の課題は、指示者が、撮影された現在の画像の範囲外に位置する対象物を、作業員に指示可能とすることを目的とする。【解決手段】 上記課題は、カメラが撮影した複数の画像から得られる、該カメラの姿勢情報及び該画像の特徴点マップに基づいて、該複数の画像を用いて３次元パノラマ画像を生成して第１の表示部に表示させ、前記３次元パノラマ画像上でなされた対象物の指定に応じて、前記カメラの現在の姿勢情報に基づいて、指定された該対象物の位置情報を第２の表示部に出力させる処理をコンピュータが行う作業支援方法により達成される。【選択図】 図１

Description

本発明は、作業支援方法、作業支援プログラム、及び作業支援システムに関する。

様々な作業現場（例えば、工場やプラントの保守、点検等）において、労働力不足や現場技術者の育成などの課題となる場合がある。このような課題を解決するために、作業員が頭部に装着したＨＭＤ（Head Mounted Display）に、遠隔の指示者からの指示を視覚アノテーションで表示する様々な技術が提案されている。

特開２０１１−１５９１６２号公報 特開２０１２−１５６９３０号公報 特開２００８−３０４２６８号公報 特開２００８−１２４７９５号公報 特開２０１０−２５７１２３号公報

しかしながら、作業員側から送られてくる画像は、視野範囲が狭く、また、作業員の頭部の動きによって画像が上下左右に揺れる場合がある。そのため、指示を送る側の指示者にとって、作業現場の全貌を把握することが難しいといった問題がある。

したがって、１つの側面では、本発明は、指示者が、撮影された現在の画像の範囲外に位置する対象物を、作業員に指示可能とすることを目的とする。

一態様によれば、カメラが撮影した複数の画像から得られる、該カメラの姿勢情報及び該画像の特徴点マップに基づいて、該複数の画像を重ね合わせて３次元パノラマ画像を生成して第１の表示部に表示させ、前記３次元パノラマ画像上でなされた対象物の指定に応じて、前記カメラの現在の姿勢情報に基づいて、指定された該対象物の位置情報を第２の表示部に出力させる処理をコンピュータが行う作業支援方法が提供される。

また、上記課題を解決するための手段として、上記方法を行う装置、コンピュータに上記処理を実行させるためのプログラム、及び、そのプログラムを記憶した記憶媒体とすることもできる。

指示者が、撮影された現在の画像の範囲外に位置する対象物を、作業員に指示可能とすることができる。

遠隔作業支援の一例を説明するための図である。 遠隔作業支援システムのハードウェア構成を示す図である。 画像フレームに含まれる情報例を示す図である。 カメラ内部パラメータに基づく画像描画オブジェクトの作成について説明するための図である。 ３Ｄパノラマ画像の生成方法について説明するための図である。 頭部の横回転による３Ｄパノラマ画像の表示例を示す図である。 ３Ｄパノラマ画像上で視野内の対象物が指定された場合を説明するための図である。 ３Ｄパノラマ画像上で視野外の対象物が指定された場合を説明するための図である。 角度差分θｄを説明するための図である。 作業員２の移動に追随した指示内容の表示例について説明する図である。 マップ座標系における距離の取得例を示す図である。 誘導表示例を示す図である。 遠隔作業支援システムの機能構成例を示す図である。 ３Ｄパノラマ画像生成処理を説明するための図である。 指示情報作成処理を説明するための図である。 誘導表示制御処理を説明するためのフローチャート図である。

以下、本発明の実施の形態を図面に基づいて説明する。図１は、遠隔作業支援の一例を説明するための図である。図１に示す遠隔作業支援システム１０００では、作業現場の新人等の未熟な作業員２が、作業に熟達した熟練者である指示者１からの指示に基づき作業を行う場合を示している。

作業現場に居る作業員２は、作業員端末２０１と、表示デバイス２１ｄと、カメラ２１ｃとを装着している。作業員端末２０１は、表示デバイス２１ｄと、カメラ２１ｃの各々とBluetooth（登録商標）等の短距離無線通信により接続可能である。

作業員２のカメラ２１ｃが捕えた２次元（２Ｄ）画像を含む画像フレーム２ｃは、作業員端末２０１の無線ネットワーク通信機能により、現場の状況として遠隔に居る指示者１の遠隔支援装置１０１に送信される。

画像フレーム２ｃと共に、作業員２の音声が送信されてもよい。画像フレーム２ｃの画像で表される範囲は、視野７ｄで示される。以下、視野７ｄとして説明される場合は、最も新しい画像フレーム２ｃの画像が映し出す範囲を示すものとする。

指示者装置１０１は、指示者１によって操作される。指示者装置１０１では、遠隔地の作業員端末２０１から送信される画像フレーム２ｃから３Ｄ（３次元）パノラマ画像４を生成して表示する。指示者１は、指示者装置１０１に表示された３Ｄパノラマ画像４から遠隔地の作業現場の状況を把握する。３Ｄパノラマ画像４は、画像フレーム２ｃを受信する毎に更新される。

指示者１が、例えば、３Ｄパノラマ画像４内において指示したい箇所をクリックする。指示者１がクリックした画像フレーム２ｃ内の位置情報、指示内容２ｇ等を含む指示情報２ｆが、遠隔支援装置１０１から作業員２の作業員端末２０１へと送信される。

作業員２では、作業員端末２０１が受信した指示情報２ｆに基づいて、表示デバイス２１ｄに視覚アノテーションで指示内容２ｇが表示される。

作業員端末２０１は、スマートデバイス等の情報処理端末であり、種々の通信機能等を有する。表示デバイス２１ｄは、例えば、ＨＭＤであり、ウェアラブルな音声の入出力可能な表示装置である。

カメラ２１ｃは、例えば、ＨＭＣであり、ウェアラブルなＣＣＤ（Charge Coupled Device）等の小型カメラである。

表示デバイス２１ｄ及びカメラ２１ｃとは、作業員２の頭部に装着され、短距離無線通信等により作業員端末２０１と通信可能な装置である。表示デバイス２１ｄとカメラ２１ｃとが一体化したデバイスであってもよい。一方で、表示デバイス２１ｄは、頭部装着可能なデバイスに限定されない。作業員２は、カメラ２１ｃを頭部に装着し、表示デバイス２１ｄは、モバイル端末等であり、作業員２から見える位置で保持されてもよい。

作業現場にて、作業員２のカメラ２１ｃが撮像した現場の環境を示す画像フレーム２ｃが、作業員端末２０１から遠隔支援装置１０１へと送信される。画像フレーム２ｃは、遠隔支援装置１０１に表示される。

指示者１は、表示された画像フレーム２ｃ上で指示内容２ｇを入力すると、指示情報２ｆが作業員端末２０１へ送信される。作業員端末２０１は、指示情報２ｆを受信すると、指示内容２ｇを指示情報２ｆで示される指示位置で表示デバイス２１ｄに表示する。本実施例では、指示位置は、指示情報２ｆにおいて、後述される角度差分θｄで示される。

一方、作業員２と指示者１とは、音声通話が可能であり、作業員端末２０１と遠隔支援装置１０１との間で音声ストリーム配信が行われる。

本実施の形態では、カメラ２１ｃで撮像された複数の画像フレーム２ｃに基づいて、２次元ではなく、３Ｄパノラマ画像４を作成する。３Ｄパノラマ画像４を生成することで、作業員２の視線方向のシーンとして描画することができる。

作業員２の視線方向のシーンとして３Ｄパノラマ画像４が遠隔支援装置１０１に表示されることで、指示者１は、直感的に作業員２の頭部位置及び視線方向を認識できる。即ち、指示者１は、作業員２の頭部位置から見えるシーンを体感し得るため、より精度良く、対象物７ｔと作業員２との現実的な距離感を得やすくなる。

また、指示者１が３Ｄパノラマ画像４内の対象物７ｔを指定した場合、作業員２の現在の頭部位置及び視線方向に対して、精度良く対象物７ｔの位置を特定できる。従って、より精度良く、作業員２の表示デバイス２１ｄに指示内容２ｇを表示させることができる。

図２は、遠隔作業支援システムのハードウェア構成を示す図である。図２に示す遠隔作業支援システム１０００において、遠隔支援装置１０１は、ＣＰＵ（Central Processing Unit）１１１と、メモリ１１２と、ＨＤＤ（Hard Disk Drive）１１３と、入力装置１１４と、表示装置１１５と、音声入出力装置１１６と、ネットワーク通信部１１７と、ドライブ装置１１８と、を有する。メモリ１１２及び／又はＨＤＤ（Hard Disk Drive）１１３が記憶部１３０に相当する。

ＣＰＵ１１１は、メモリ１１２に格納されたプログラムに従って遠隔支援装置１０１を制御する。メモリ１１２には、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等が用いられ、ＣＰＵ１１１にて実行されるプログラム、ＣＰＵ１１１での処理に必要なデータ、ＣＰＵ１１１での処理にて得られたデータ等を記憶又は一時保存する。

ＨＤＤ１１３は、補助記憶装置として利用され、各種処理を実行するためのプログラム等のデータを格納する。ＨＤＤ１１３に格納されているプログラムの一部がメモリ１１２にロードされ、ＣＰＵ１１１に実行されることによって、各種処理が実現される。

入力装置１１４は、マウス等のポインティングデバイス、キーボード等を有し、指示者１が遠隔支援装置１０１による処理に必要な各種情報を入力するために用いられる。表示装置１１５は、ＣＰＵ１１１の制御のもとに必要な各種情報を表示する。入力装置１１４と表示装置１１５とは、一体化したタッチパネル等によるユーザインタフェースであってもよい。

音声入出力装置１１６は、音声を入力するマイクロフォン及び音声を出力するスピーカを有する。ネットワーク通信部１１７は、有線又は無線などのネットワークを通じて通信を行う。ネットワーク通信部１１７による通信は無線又は有線に限定されるものではない。
遠隔支援装置１０１によって行われる処理を実現するプログラムは、例えば、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）等の記憶媒体１１９によって遠隔支援装置１０１に提供される。

ドライブ装置１１８は、ドライブ装置１１８にセットされた記憶媒体１１９（例えば、ＣＤ−ＲＯＭ等）と遠隔支援装置１０１とのインターフェースを行う。

また、記憶媒体１１９に、後述される本実施の形態に係る種々の処理を実現するプログラムを格納し、この記憶媒体１１９に格納されたプログラムは、ドライブ装置１１８を介して遠隔支援装置１０１にインストールされる。インストールされたプログラムは、遠隔支援装置１０１により実行可能となる。

尚、プログラムを格納する記憶媒体１１９はＣＤ−ＲＯＭに限定されず、コンピュータが読み取り可能な、構造（structure）を有する１つ以上の非一時的（non-transitory）な、有形（tangible）な媒体であればよい。コンピュータ読取可能な記憶媒体として、ＣＤ−ＲＯＭの他に、ＤＶＤディスク、ＵＳＢメモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリであっても良い。

作業員２は、作業員端末２０１と、表示デバイス２１ｄと、カメラ２１ｃとを装備する。作業員端末２０１は、ＣＰＵ２１１と、メモリ２１２と、ＲＴＣ（Real Time Clock）２１３と、ＩＭＵ（Inertial Measurement Unit）２１５と、短距離無線通信部２１６と、ネットワーク通信部２１７とを有する。

ＣＰＵ２１１は、メモリ２１２に格納されたプログラムに従って作業員端末２０１を制御する。メモリ２１２には、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等が用いられ、ＣＰＵ２１１にて実行されるプログラム、ＣＰＵ２１１での処理に必要なデータ、ＣＰＵ２１１での処理にて得られたデータ等を記憶又は一時保存する。メモリ２１２に格納されているプログラムが、ＣＰＵ２１１に実行されることによって、各種処理が実現される。

ＲＴＣ２１３は、現在時刻を計測するデバイスである。ＩＭＵ２１５は、慣性センサを有し、加速度計測及びジャイロ機能し、作業員２の動きを計測するデバイスであり、作業員２の動きを示す動き情報を出力する。

短距離無線通信部２１６は、表示デバイス２１ｄ及びカメラ２１ｃの各々と短距離無線通信を行う。短距離無線通信は、Bluetooth（登録商標）等であればよい。ネットワーク通信部２１７は、ネットワークを介して無線通信によって、姿勢情報が付加された画像フレーム２ｃを遠隔支援装置１０１へ送信し、また、遠隔支援装置１０１から指示情報２ｆを受信する。

表示デバイス２１ｄは、短距離無線通信機能と、音声入出力部とを有する、例えば、メガネ形状の頭部の視線方向に装着可能なウェアラブルタイプの表示装置である。表示デバイス２１ｄは、透過性の表示部を有し、作業員２は肉眼で視線方向の現実の光景を目視できることが望ましい。表示デバイス２１ｄは、作業員端末２０１から短距離無線通信によって受信した指示情報２ｆに含まれる指示内容２ｇを表示する。

カメラ２１ｃは、短距離無線通信機能等を有する。カメラ２１ｃは、作業員２の頭部に装着されることで、作業員２の視線方向の映像を捕えて、短距離無線通信により作業員端末２０１へ画像を送信する。

作業員端末２０１では、ＣＰＵ２１１が、対応するプログラムを実行することで単眼ＳＬＡＭ（Simultaneous Localization And Mapping）機能を実現する。単眼ＳＬＡＭ機能により、カメラ２１ｃが撮像した画像から、カメラ２１ｃの位置及び姿勢の情報（以下、位置姿勢情報３ｃ（図３）という）と、画像内の特徴点３ｐの３次元の位置を示す特徴点マップ３ｍ（図３）とが同時に推定される。特徴点マップ３ｍは、３次元（３Ｄ）特徴点マップであり、３次元の実環境を表している。

複数の画像から位置姿勢情報及び特徴点マップ３ｍとを得ることで、実環境を３次元で表す環境マップの生成が可能となる。単眼ＳＬＡＭ機能によって、世界座標系に基づいて自己の位置を推定する自己位置推定を行う。

図３は、画像フレームに含まれる情報例を示す図である。図３では、カメラ２１ｃが画像２ｄｇを撮像した例を示している。画像２ｄｇは２次元画像であり、単眼ＳＬＡＭ機能により解析することで、複数の特徴点３ｐが抽出され、複数の特徴点３ｐによって形成される特徴点マップ３ｍを得る。各特徴点３ｐは、３次元座標で示される。また、画像２ｄｇ内の座標系からカメラ２１ｃの位置姿勢情報３ｃを得る。

画像フレーム２ｃには、画像２ｄｇ、特徴点マップ３ｍ、位置姿勢情報３ｃ等が含まれ、遠隔支援装置１０１に送信される。

次に、遠隔支援装置１０１で保持される、カメラ２１ｃの内部パラメータ（カメラ内部パラメータという）、及び、フラスタム生成モデルについて説明する。

図４は、カメラ内部パラメータに基づく画像描画オブジェクトの作成について説明するための図である。図４を参照して、カメラ内部パラメータＫと、フラスタム生成モデルとについて説明する。

カメラ２１ｃのフラスタム４ｕは、予め遠隔支援装置１０１に与えられているものとする。フラスタム４ｕは、カメラ２１ｃの焦点距離ｆに基づいて得られる前方面４ａと、後方面４ｂとで定められる。前方面４ａは、カメラ２１ｃのスクリーンに相当する。

また、後方面４ｂまでの距離が予め与えられることにより、前方面４ａに対する与えられた距離に応じた後方面４ｂの範囲を得る。後方面４ｂに、３次元ＣＧ（Computer Graphics）空間で３次元（３Ｄ）画像３ｄｇ−１が描画される。

カメラ内部パラメータＫは、

によって表される行列である。数１において、ｆは焦点距離を示し、ｓはスキューを示し、ａはアスペクト比を示し、ｃ_ｘ及びｃ_ｙは光学中心を示す。カメラ内部パラメータＫは、キャリブレーションチャートを用いて推定することが一般的であるが、スキューｓ＝０及びアスペクト比ａ＝１とし、ｃ_ｘ及びｃ_ｙを夫々画像中心としてもよい。

フラスタム４ｕは、下記数２及び数３によるフラスタム生成モデルによって生成できる。

数２により、カメラ２１ｃの焦点距離ｆで、アスペクト比aspect_ratioが算出される。

数３により、カメラ２１ｃの光学中心ｃ_ｘ及びｃ_ｙと、焦点距離ｆとで、画角fovyが算出される。

これら求めたアスペクト比aspect_ratioと、画角fovyとを用いて、カメラ２１の３次元グラフィックス用のフラスタム４ｕを生成し、生成したフラスタム４ｕに基づいて２次元画像のテクスチャマッピングを行うことによって画像２ｄｇを３Ｄ画像３ｄｇ−１に変換し、位置姿勢情報３ｃに基づく３次元空間内の位置及び向きで、３Ｄ画像３ｄｇ−１を配置して描画する。

図５は、３Ｄパノラマ画像の生成方法について説明するための図である。図５において、遠隔支援装置１０１では、作業員端末２０１から連続して受信した複数の画像フレーム２ｃの各々で示される、位置姿勢情報３ｃと複数の３次元の特徴点３ｐとに基づいて、３Ｄ画像３ｄｇ−１を時系列に繋ぎ合わせることで、３Ｄパノラマ画像４を生成する。

３Ｄパノラマ画像４を生成する際には、各３Ｄ画像３ｄｇ−１をキーフレームとしてもよいし、連続して受信した複数の３Ｄ画像３ｄｇ−１を所定間隔でサンプリングしてキーフレームとしてもよい。

図６は、頭部の横回転による３Ｄパノラマ画像の表示例を示す図である。作業員２が作業現場で頭部を右から左へと横回転させた場合に、図６に示すような３Ｄパノラマ画像４が、遠隔支援装置１０１に表示される。

図６中、作業員２を便宜的に示しているが、３Ｄパノラマ画像４は、遠近感を指示者１に与えるため、指示者１は、あたかも作業員２の位置から周辺を眺めたように距離感を持って、確認することができる。

カメラ２１ｃの焦点距離ｆを固定とした場合、３Ｄパノラマ画像４は、ほぼ３次元円柱への投影になる。

本実施例では、指示者１が遠隔支援装置１０１の表示装置１１５に表示された３Ｄパノラマ画像４上で入力装置１１４を操作して、対象物７ｔをポインティングすることで、作業員２の表示デバイス２１ｄに精度良く対象物７ｔに対する位置で指示内容２ｇを表示する。指示内容２ｇの表示位置を取得する方法について、対象物７ｔが視野７ｄ内にある場合と、視野７ｄ外にある場合とで説明する。

図７は、３Ｄパノラマ画像上で視野内の対象物が指定された場合を説明するための図である。図７（ａ）では、指示者１が、遠隔支援装置１０１の表示装置１１５に表示された３Ｄパノラマ画像４内の対象物７ｔ−２を指示位置７ｐ−２で、入力装置１１４によって指定した状態を示している。この例では、現在の作業員２の視野７ｄ−２内に対象物７ｔ−２がある。

対象物７ｔ−２の指定に応じて、３Ｄグラフィックスの当たり判定で対象物７ｔ−２を特定し、その対象物７ｔ−２を含むキーフレーム７ｋｆ−２（３Ｄ画像３ｄｇ−２）を取得する。図７（ｂ）では、対象物７ｔ−２の特徴点３ｐを含むキーフレーム７ｋｆ−２（３Ｄ画像３ｄｇ−２）の例を示している。この例では、対象物７ｔ−２が視野７ｄ−２内にあるため、視野７ｄ−２に相当する最新のキーフレーム７ｋｆ−２が選択される。

図７（ｃ）及び図７（ｄ）では、取得したキーフレーム７ｋｆ−２で得られる３Ｄ画像３ｄｇ−２で説明する。先ず、３次元空間におけるカメラ２１ｃの位置８ｐ−２から、３Ｄ画像３ｄｇ−２への視点方向を表すベクトルを基準ベクトル７ｒ−２（図７（ｃ））とする。

そして、カメラ２１ｃの位置８ｐ−２から指示位置７ｐ−２へのターゲットベクトル７ｖ−２と、基準ベクトル７ｒ−２との角度差分θｄを計算する。角度差分θｄは、作業員２の頭部の回転量を示す。

図７（ｄ）では、視野７ｄ−２（３Ｄ画像３ｄｇ−２）内に指示位置７ｐ−２がある場合の角度差分θｄを示している。この角度差分θｄは、指示情報２ｆに含まれて、作業員端末２０１へと送信される。

図８は、３Ｄパノラマ画像上で視野外の対象物が指定された場合を説明するための図である。図８では、作業員２の頭部の位置に変化はなく、頭部の向きに変化があった場合で説明する。

図８（ａ）では、指示者１が、遠隔支援装置１０１の表示装置１１５に表示された３Ｄパノラマ画像４内の対象物７ｔ−３を指示位置７ｐ−３で、入力装置１１４によって指定した状態を示している。この例では、現在の作業員２の視野７ｄ−２外に対象物７ｔ−３がある。

対象物７ｔ−３の指定に応じて、３Ｄグラフィックスの当たり判定で対象物７ｔ−３を特定し、その対象物７ｔ−３を含むキーフレーム７ｋｆ−３（３Ｄ画像３ｄｇ−３）を取得する。図８（ｂ）では、対象物７ｔ−３の特徴点３ｐを含むキーフレーム７ｋｆ−３の例を示している。この例では、視野７ｄ−２に相当するキーフレームとは異なるキーフレーム７ｋｆ−３（３Ｄ画像３ｄｇ−３）が選択される。

図８（ｃ）及び図８（ｄ）では、視野７ｄ−２に相当する３Ｄ画像３ｄｇ−２と、取得したキーフレーム７ｋｆ−３で得られる３Ｄ画像３ｄｇ−３とで説明する。先ず、３次元空間におけるカメラ２１ｃの位置８ｐ−２から、３Ｄ画像３ｄｇ−２への視点方向を表すベクトルを基準ベクトル７ｒ−２（図８（ｃ））とする。

そして、カメラ２１ｃの位置８ｐ−２から指示位置７ｐ−３へのベクトル７ｖ−３と、基準ベクトル７ｒ−３との角度差分θｄを計算する。

図８（ｄ）では、視野７ｄ−２（３Ｄ画像３ｄｇ−２）外に指示位置７ｐ−３がある場合の角度差分θｄを示している。この角度差分θｄは、指示情報２ｆに含まれて、作業員端末２０１へと送信される。角度差分θｄについて説明する。以下、指示位置７ｐ−２、７ｐ−３等を、単に、指示位置７ｐとする。

図９は、角度差分θｄを説明するための図である。図９において、各画像２ｄｇの特徴点マップ３ｍをまとめて一つの特徴点マップ３ｍとして示す。

遠隔支援装置１０１は、位置姿勢情報３ｃから得られるカメラ２１ｃ（作業員２の頭部）の位置８ｐとを用いて、ターゲットベクトル７ｖを算出する。算出したターゲットベクトル７ｖにより、ターゲットベクトル７ｖの方向の視点９ｐを取得する。特徴点マップ３ｍのマップ座標系３ｓにおいて、遠隔支援装置１０１の３Ｄパノラマ画像４の指示位置７ｐに相当する視点９ｐの座標を取得する。

特徴点マップ３ｍのマップ座標系３ｓにおいて、ターゲットベクトル７ｖの角度情報と、位置８ｐと各特徴点３ｐへのベクトルの角度情報とを照合する。そして、ターゲットベクトル７ｖに対して角度情報が類似する複数の特徴点３ｐのうち、ターゲットベクトル７ｖの方向の視点９ｐとの距離が一番近い特徴点３ｐをアンカー特徴点３ｐａとする。

遠隔支援装置１０１は、アンカーアンカー特徴点３ｐａと位置８ｐとを結ぶ直線の、位置８ｐから画像２ｄｇの中心座標へのベクトル７ｃに対する角度を角度差分θｄとする。指示位置７ｐは、アンカー特徴点３ｐａと一致する場合もある。そのときの角度差分θｄは、ベクトル７ｖとベクトル７ｃの角度差で表される。

角度差分θｄが作業員端末２０１に送信されることで、作業員端末２０１では、特徴点３ｐの座標及び方向ベクトルに基づいて、比較的容易に対象物７ｔを特定できる。対象物７ｔを特定した後は、作業員２の頭部の位置姿勢と連動して、表示デバイス２１ｄに表示するために、スクリーン座標系２１ｓ（図１０）において指示内容２ｇの位置を自動的に調整する。即ち、視野７ｄにおいて対象物７ｔの位置が変更した場合には、対象物７ｔの位置の変更に応じて、指示内容２ｇの位置が調整される。

次に、作業員端末２０１での、作業員２の移動に応じた指示内容２ｇの位置調整について説明する。

図１０は、作業員２の移動に追随した指示内容の表示例について説明する図である。図１０（Ａ）において、作業員２が位置８ｐ−５から位置８ｐ−６へと移動した例を示している。位置８ｐ−５での作業員２の視野７ｄ−５において、対象物７ｔは、右下にある。

この視野７ｄ−５内で、指示者１により対象物７ｔが指定されると、上述したように、作業員端末２０１は、アンカー特徴点３ｐａが特定され、アンカー特徴点３ｐａを含む複数の特徴点３ｐにより対象物７ｔを認識する。

作業員端末２０１は、マップ座標系３ｓからスクリーン座標系２１ｓの座標変換を行って、対象物７ｔに対して、指示内容２ｇを表示する表示位置２ｈ−５を算出する。この例では、対象物７ｔと対象物７ｔの周辺の障害物（例えば、視野７ｄ−５の縁）までの距離と、指示内容２ｇのサイズとを比較することで、対象物７ｔの周辺で表示余裕のある領域から表示位置２ｈ−５を特定する。図１０（Ｂ）に示すように、対象物７ｔの左上方向に指示内容２ｇが表示される。

図１０（Ｃ）では、作業員２が移動後の視野７ｄ−６（図１０（Ａ））における指示内容２ｇの表示例を示している。この場合、対象物７ｔが視野７ｄ−６の中心付近の左寄りに位置する。対象物７ｔに対して右側に表示余裕があると判断し、指示内容２ｇが位置２ｈ−６に表示される。

このように、作業員端末２０１では、指示情報２ｆの受信時に、アンカー特徴点３ｐａを定め対象物７ｔを特定することにより、作業員２の頭部の位置の変化に応じて、指示内容２ｇの位置を更新することができる。従って、精度良く、対象物７ｔに対して指示内容２ｇを表示できる。

特徴点マップ３ｍのマップ座標系３ｓは、実環境の座標系（即ち、３次元実空間の座標系）を表している。作業員端末２０１の単眼ＳＬＡＭ機能によりトラッキングされる作業員２の位置と、アンカー特徴点３ｐａとの距離は、図１１に示すように表される。

図１１は、マップ座標系における距離の取得例を示す図である。図１１では、図１０（Ａ）の作業員２の移動例で説明する。特徴点マップｍのマップ座標系３ｓを、世界座標系として、各特徴点３ｐの座標を表すことにより、単眼ＳＬＡＭ機能のトラッキングで特定した位置８ｐ−５及び８ｐ−６は、夫々、マップ座標系３ｓにおいても、（ｐ５、Ｒ５）及び（ｐ６、Ｒ６）で示される。

位置８ｐ−５で取得したフレームは、キーフレームｋｆ−５であり、位置８ｐ−６で取得したフレームは、キーフレームｋｆ−６であるとする。位置８ｐ−５のときのキーフレームｋｆ−５でアンカー特徴点３ｐａの座標（ｐｔ、Ｒｔ）が特定されると、移動後の位置８ｐ−６ときのキーフレームｋｆ−６においても、マップ座標系３ｓでは、アンカー特徴点３ｐａの座標は変化することがなく、同じ座標（ｐｔ、Ｒｔ）である。

従って、移動後のフレーム７ｋｆ−６に関して、位置８ｐ−５から位置８ｐ−６への移動量と、スクリーン座標系２１ｓとを用いて、表示デバイス２１ｄの視野７ｄ−６におけるアンカー特徴点３ｐａの座標を特定できる。

また、アンカー特徴点３ｐａまでの距離は、マップ座標系３ｓにおいては、位置８ｐ−５及び８ｐ−６の夫々でＤ１及びＤ２を得ることもできる
対象物７ｔは視野７ｄ−５及び視野７ｄ−６内のいずれかにあるが、次に、現在の視野７ｄ−６から外れた位置の対象物７ｔ−７が指定された場合について説明する。

図９で説明したように、位置姿勢情報３ｃから位置８ｐ−６の座標（ｐ６、Ｒ６）を取得して、位置８ｐ−６から指示位置へのベクトルの角度差分θｄに近い角度差分を示す特徴点３ｐのうち、指示位置との距離が最も短い特徴点３ｐをアンカー特徴点３ｐａ−７とする。アンカー特徴点３ｐａ−７の座標（ｐｔ−７、Ｒｔ−７）を得る。

視野７ｄ−６外にアンカー特徴点３ｐａ−７が位置する場合、視野７ｄ−６内の中心点ｃ６からアンカー特徴点３ｐａ−７までの距離ｄ６を算出する。視野７ｄ−６外に位置する対象物７ｔ−７へと誘導する誘導表示９ａ−６（図１２）が、距離ｄ６に応じて行われる。

作業員２は、誘導表示９ａ−６に誘導され、頭部を角度（θ_pitch、θ_yaw）回転する、又は、座標（ｐ７、Ｒ７）の位置８ｐ−７へと移動する。回転又は移動により新たなキーフレーム７ｋｆ−７が生成される。キーフレーム７ｋｆ−７は、視野７ｄ−７に相当する。視野７ｄ−７の中心点ｃ７からアンカー特徴点３ｐａ−７までの距離ｄ７を算出する。距離ｄ７に応じた誘導表示９ａ−７（図１２）が行われる。

図１２は、誘導表示例を示す図である。図１２（Ａ）では、対象物７ｔ−７まで距離ｄ６の場合の誘導表示例を示している。図１２（Ａ）では、対象物７ｔ−７へと作業員２を誘導する誘導アイコン９ｉが、視野７ｄ−６内において、対象物７ｔ−７に近い右下の領域で、軌跡７ｑ−６を距離Ｄ３に応じた速度で動く誘導表示９ａ−６が行われる。

対象物７ｔ−７に近い領域が、対象物７ｔ−７への方向を示し、速く動くことで表される振動が、対象物７ｔ−７への距離が長いことを表す。作業員２は、対象物７ｔ−７の方向と、対象物７ｔ−７への距離の長さを感覚的に捉えることができる。

作業員２が対象物７ｔ−７の方向へと、頭部を回転、又は、移動の動作を開始する。動作中に、図１２（Ｂ）のように、誘導表示９ａ−７が行われる。例えば、頭部の角度（θ_pitch、θ_yaw）で、又は、移動した座標（ｐ７、Ｒ７）の位置８ｐ−７で、誘導表示９ａ−７が表示デバイス２１ｄに表示される。

図１２（Ｂ）に示す誘導表示９ａ−７では、誘導アイコン９ｉが、作業員２の位置８ｐ−７からの視野７ｄ−７内において、対象物７ｔ−７に近い右下の領域で、軌跡７ｑ−７を距離ｄ７に応じた速度で動く。

作業員２は対象物７ｔ−７に接近して動くため、距離ｄ７は距離ｄ６より短い。従って、誘導アイコン９ｉの動く速度は遅くなる。作業員２は、誘導アイコン９ｉの動きが遅くなることで、対象物７ｔ−７へ接近する方向へと動作していることを確認できる。

図１２（Ａ）及び図１２（Ｂ）において、誘導表示９ａ−６及び９ａ−７（以下、単に、誘導表示９ａと言う場合がある）を行う位置は、角度差分θｄに基づいて決定すればよい。

次に、本実施例における遠隔作業支援システム１０００の機能構成例について説明する。図１３は、遠隔作業支援システムの機能構成例を示す図である。図１３において、遠隔支援装置１０１は、主に、遠隔支援処理部１４２を有する。また、作業員端末２０１は、主に、作業支援処理部２７０を有する。

遠隔支援装置１０１の遠隔支援処理部１４２は、作業員２から見た現場環境を示す３Ｄパノラマ画像４を生成して表示装置１１５に表示させ、指示者１が操作する入力装置１１４から受信した指示位置７ｐに応じて指示情報２ｆを作成してネットワーク通信部１１７により作業員端末２０１へと送信する。

遠隔支援処理部１４２は、３Ｄパノラマ画像生成部１４３と、指示情報作成部１４６とを有する。３Ｄパノラマ画像生成部１４３と、指示情報作成部１４６とは、ＣＰＵ１１１が対応するプログラムを実行することで実現される。

３Ｄパノラマ画像生成部１４３は、ネットワーク通信部１１７が受信した画像フレーム２ｃを用いて、フラスタム生成モデルを用いて画像２ｄｇを３次元画像３ｄｇ−１に変換し（図４）、特徴点３ｐに基づいて、複数の３次元画像３ｄｇ−１を重ね合わせて、３Ｄパノラマ画像４を生成する（図４、図５、図６）。生成された３Ｄパノラマ画像４は、表示装置１１５に表示される。

指示情報作成部１４６は、表示装置１１５に表示された３Ｄパノラマ画像４上で指示者１が指定した指示位置７ｐの角度差分θｄを取得する。角度差分θｄは、（θ_pitch、θ_yaw）で示される。θ_pitchは、作業員２の頭部の上下の角度を示し、θ_yawは、左右の角度を示す。指示情報作成部１４６は、角度差分θｄと、指示者１が入力した指示内容２ｇとを含む指示情報２ｆを作成して、ネットワーク通信部１１７により、作業員端末２０１へと送信する（図７、図８）。

作業員端末２０１の作業支援処理部２７０は、指示情報解析部２７１と、誘導表示制御部２８０と、指示描画部２７６と、頭部姿勢推定部２７７と、現場シーン提供部２７８とを有する。指示情報解析部２７１と、誘導表示制御部２８０と、指示描画部２７６と、頭部姿勢推定部２７７と、現場シーン提供部２７８とは、ＣＰＵ２１１が対応するプログラムを実行することで実現される。

指示情報解析部２７１は、ネットワーク通信部２１７が遠隔支援装置１０１から受信した指示情報２ｆを解析する。指示情報２ｆを解析することによって得られた指示内容２ｆと、角度差分θｄとが誘導表示制御部２８０に通知される。

誘導表示制御部２８０は、対象物７ｔが現在の視野７ｄ内にあるか否かに応じて、指示内容２ｇの表示又は誘導表示９ａ−６等（以下、総称して、誘導表示９ａとうい）を選択し、表示位置を決定して、指示描画部２７６に表示させる誘導表示制御を行う（図９、図１１、図１２）。誘導表示制御部２８０は、ターゲット姿勢取得部２８３と、頭部姿勢取得部２８５と、表示位置決定部２８７とを有する。

ターゲット姿勢取得部２８３は、指示情報解析部２７１から通知される情報の中から対象物７ｔの角度差分θｄを取得して、表示位置決定部２８７に提供する。また、頭部姿勢取得部２８５は、頭部姿勢推定部２７７から通知される情報の中から作業員２の頭部姿勢情報を取得して、表示位置決定部２８７に提供する。頭部姿勢情報によって、３次元実環境における作業員２の位置座標と、（θ_pitch、θ_yaw）で示される姿勢情報とが含まれる。

表示位置決定部２８７は、対象物７ｔの角度差分θｄと、位置姿勢情報３ｃとから、３次元実環境における対象物７ｔの位置座標を算出し（図９）、指示描画部２７６を制御して、指示内容２ｇの表示又は誘導表示９ａを表示デバイス２１ｄに行わせる。

表示位置決定部２８７は、算出した３次元実環境における対象物７ｔの位置座標に基づいて、視野７ｄ内に対象物７ｔがあるか否かを判断する。対象物７ｔの位置座標は、位置姿勢情報３ｃと角度差分θｄとを用いて算出される（図１１）。また、位置姿勢情報３ｃに基づいて定められる視野７ｄの範囲を用いて、対象物７ｔの位置座標が、視野７ｄ内にあるのか、視野７ｄ外にあるのかを判断する。

視野７ｄ内に対象物７ｔがある場合（図１０）、表示位置決定部２８７は、対象物７ｔの位置座標に基づいて指示内容２ｇを表示する表示位置が表示デバイスの座標系で決定する。そして、指示内容２ｇと表示位置とが指示描画部２７６に通知される。

視野７ｄ外に対象物７ｔがある場合（図１２）、表示位置決定部２８７は、対象物７ｔの位置座標に基づいて誘導表示９ａの表示位置が表示デバイスの座標系で決定する。また、表示位置決定部２８７は、作業員２の視点位置と対象物７ｔの位置との距離に応じて、誘導表示９ａの誘導アイコン９ｉの動く速度を決定する。誘導表示９ａの表示位置と、誘導アイコン９ｉの速度とが指示描画部２７６に通知される。

指示描画部２７６は、誘導表示制御部２８０の表示位置決定部２８７から受信する情報に基づいて、表示デバイス２１ｄへの指示者１からの指示に係る情報を表示する。表示デバイス２１ｄには、指示内容２ｇ、又は、誘導表示９ａが表示される。

頭部姿勢推定部２７７は、単眼ＳＬＡＭ機能を有し、カメラ２１ｃから受信する画像２ｄｇを解析して、カメラ２１ｃの位置姿勢情報３ｃと、画像２ｄｇ内の特徴点３ｐの３次元の位置を示す特徴点マップ３ｍ（図３）とを同時に推定する。位置姿勢情報３ｃ、特徴点マップ３ｍ等は、メモリ２１２に記憶される。特徴点マップ３ｍには、随時、推定した特徴点３ｐが蓄積される。

カメラ２１ｃによって連続的に撮像される画像２ｄｇから位置姿勢情報３ｃを取得することにより、作業員２の頭部位置をトラッキングする。頭部姿勢推定部２７７は、頭部姿勢取得部２８５へ位置姿勢情報３ｃを逐次提供する。頭部姿勢取得部２８５は位置姿勢情報３ｃを表示位置決定部２８７に提供する。表示位置決定部２８７は、作業員２の頭部の位置及び／又は姿勢の変化に応じて、指示内容２ｇの表示位置又は支援表示９ａの位置を更新する。

現場シーン提供部２７８は、カメラ２１ｃから画像２ｄｇを受信し、頭部姿勢推定部２７７から位置姿勢情報３ｃ及び特徴点３ｐを受信して、画像フレーム２ｃを作成し、ネットワーク通信部２１７により遠隔支援装置１０１へと送信する。

次に、遠隔支援装置１０１における、３Ｄパノラマ画像生成部１４３が行う３Ｄパノラマ画像生成処理と、指示情報作成部１４６が行う指示情報作成処理とをフローチャートで説明する。

図１４は、３Ｄパノラマ画像生成処理を説明するための図である。図１４（Ａ）は、３Ｄパノラマ画像生成処理を説明するためのフローチャートを示し、図１４（Ｂ）は、３Ｄ画像のオーバレイの一例を示す図である。図１４（Ｂ）を参照しつつ、図１４（Ａ）において、３Ｄパノラマ画像生成部１４３による３Ｄパノラマ画像生成処理について説明する。回転運動を検出する毎に、以下に説明するステップＳ１１〜Ｓ１５の処理が行われる。

３Ｄパノラマ画像生成部１４３は、作業員端末２０１から画像フレーム２ｃを受信すると（ステップＳ２１）、画像２ｄｇから特徴点３ｐを取得し（ステップＳ２２）。前画像２ｄｇ_{（ｉ−１）}と、現２ｄｇ_（ｉ）との夫々で探索エリアを予測し、前２ｄｇ_{（ｉ−１）}と、現２ｄｇ_（ｉ）との間で特徴点３ｐをマッチングする特徴点マッチング処理を行う（ステップＳ２３）。変数ｉは自然数（１、２、３、・・・）である。

３Ｄパノラマ画像生成部１４３は、ステップＳ２３による画像マッチング結果に基づいて、前画像フレームと現画像フレーム間の姿勢差分を推定して（ステップＳ２４）、特徴点マップ７ｍを更新する（ステップＳ２５）。

３Ｄパノラマ画像生成部１４３は、フラスタム生成モデル（数２及び数３）を用いて、現画像２ｄｇ_（ｉ）を現３Ｄ画像３ｄｇ_（ｉ）に変換して（ステップＳ２６）、求めた姿勢差分を用いて、前画像２ｄｇ_{（ｉ−１）}の前３Ｄ画像３ｄｇ_{（ｉ−１）}にオーバレイする（ステップＳ２７）。前３Ｄ画像３ｄｇ_{（ｉ−１）}と重なる現３Ｄ画像３ｄｇ_（ｉ）の全部又は一部が、前３Ｄ画像３ｄｇ_{（ｉ−１）}上に上書きされ、前画像２ｄｇ_{（ｉ−１）}と現３Ｄ画像３ｄｇ_（ｉ）とが合成される。

次に、現場シーン描画部１４５が、オーバレイした３Ｄ画像３ｄｇを表示中の３Ｄパノラマ画像４上に描画して、３Ｄパノラマ画像４を更新する（ステップＳ１５）。３Ｄパノラマ画像生成部１４３は、次の画像２ｄｇ_（ｉ）を次の画像フレーム２ｃから取得するためにステップＳ２１へ戻り、上述した同様の処理を繰り返す。

図１４（Ｂ）において、時間ｔの経過の順に、画像２ｄｇ−１、２ｄｇ−２、２ｄｇ−３等の各々が、作業員２の頭部の回転に応じて連続的に撮像された場合を示している。画像２ｄｇ−１、２ｄｇ−２、２ｄｇ−３等の各々は、３Ｄ画像３ｄｇ−１、３ｄｇ−２、３ｄｇ−３等に変換される。

そして、３Ｄ画像３ｄｇ−１の一部が３Ｄ画像３ｄｇ−２によって上書きされ、３Ｄ画像３ｄｇ−２の一部が３Ｄ画像３ｄｇ−３によって上書きされることによって、３Ｄパノラマ画像４が生成される。

３Ｄパノラマ画像４の生成時に、３Ｄ画像３ｄｇ−１、３ｄｇ−２、３ｄｇ−３等は、対応する画像２ｄｇ−１、２ｄｇ−２、２ｄｇ−３等の画像フレーム２ｃと関連付けを持たせて、表示装置１１５に表示させる。そうすることで、指示者１が３Ｄパノラマ画像４上で指定した指示位置７ｐに対応する画像フレーム２ｃを特定できる（図７（ｂ）及び図８（ｂ））。

指示情報作成部１４６は、図７及び図８で説明したような指示情報作成処理を行う。図１５は、指示情報作成処理を説明するための図である。図１５において、指示情報作成部１４６は、入力装置１１４から指示位置７ｐ及び指示内容２ｇを受信すると（ステップＳ５１）、指示位置７ｐから画像フレーム２ｃを特定する（ステップＳ５２）。

次に、指示情報作成部１４６は、特徴点マップ３ｍを参照して、特定した画像フレーム２ｃの特徴点３ｐからアンカー特徴点３ａを特定して、角度差分θｄを算出する（ステップＳ５３：図９）。

指示情報作成部１４６は、角度差分θｄと指示内容２ｇとを含む指示情報２ｆを作成して（ステップＳ５４）、作業員端末２０１へと送信する（ステップＳ５５）。その後、指示情報作成部１４６は、指示情報作成処理を終了する。

次に、作業員端末２０１の誘導表示制御部２８０による誘導表示制御処理（図１０、図１１、及び図１２）について説明する。図１６は、誘導表示制御処理を説明するためのフローチャート図である。図１６において、誘導表示制御部２８０において、ターゲット姿勢取得部２８３は、対象物への角度差分θｄを取得し（ステップＳ７１）、頭部姿勢取得部２８５は、位置姿勢情報３ｃを取得し（ステップＳ７２）、表示位置決定部２８７は、角度差分θｄと位置姿勢情報３ｃとから、対象物７ｔが視野７ｄ内か否かを判断する（ステップＳ７３）。

判断結果が対象物７ｔが視野７ｄ内の場合（ステップＳ７４のＹＥＳ）、表示位置決定部２８７は、対象物７ｔの周辺の領域で指示内容２ｇの表示位置を決定し（ステップＳ７５）、指示内容２ｇと表示位置とを指示描画部２７６へと通知して、指示内容２ｇを視野内に描画させる（ステップＳ７６）。指示内容２ｇの描画後、誘導表示制御部２８０による誘導表示制御処理は終了する。

一方、判断結果が対象物７ｔが視野７ｄ外の場合（ステップＳ７４のＮＯ）、表示位置決定部２８７は、対象物７ｔの方向に応じた誘導表示９ａの位置を決定し（ステップＳ７７）、また、対象物７ｔまでの距離を算出する（ステップＳ７８）。

表示位置決定部２８７は、算出した対象物７ｔまでの距離に応じて、誘導アイコン９ｉの動く速度を決定する（ステップＳ７９）。そして、表示位置決定部２８７は、誘導表示９ａの位置と誘導アイコン９ｉの動く速度とを指示描画部２７６へ通知して、表示デバイス２１ｄに動く誘導アイコン９ｉを表示させる（ステップＳ８０）。誘導アイコン９ｉの表示後、誘導表示制御部２８０による誘導表示制御処理は終了する。

上述したように、本実施例によれば、作業員２の視線方向を直感的に把握可能な作業現場の画像をリアルタイムで提供することができる。また、指示者１は、作業員２の表示デバイス２１ｄが現在撮影している画像の範囲の外に位置する対象物を指示することができる。

指示者１が３Ｄパノラマ画像３ｄｇ上で指定した対象物７ｔの位置は、作業員２の現在の視線方向に対する角度差分θｄで表すため、視野７ｄ内の誘導表示９ａの表示位置の決定を容易に、かつ、適切に行なえる。

複数の２次元の画像２ｄｇを特徴点３ｐに基づいて重ね合わせた２次元のパノラマ画像では、本実施例における角度差分θｄを得るのは困難である。角度差分θｄを得られる本実施例では、２次元のパノラマ画像上で対象物７ｐを指定した場合に比べ、作業員２の表示デバイス２１ｄに精度良く、対象物７ｔの指定、又は、誘導表示９ａを行うことができる。

本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、主々の変形や変更が可能である。

以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
カメラが撮影した複数の画像から得られる、該カメラの姿勢情報及び該画像の特徴点マップに基づいて、該複数の画像を重ね合わせて３次元パノラマ画像を生成して第１の表示部に表示させ、
前記３次元パノラマ画像上での対象物の指定に応じて、前記カメラの現在の姿勢情報に基づいて、指定された該対象物の位置情報を第２の表示部に出力させる
処理をコンピュータが行う作業支援方法。
（付記２）
前記姿勢情報は、上下の角度及び左右の角度を示し、
前記コンピュータは、
前記カメラの焦点距離からアスペクト比を算出し、
前記カメラの前記焦点距離と光学中心とで、画角を算出し、
算出した前記アスペクト比と前記画角とを用いて、前記カメラのフラスタムを生成し、
生成した前記フラスタムに基づいて前記画像のテクスチャマッピングを行うことによって、該画像を３次元画像に変換し、
前記姿勢情報で示される向きで前記３次元画像を配置し、前記特徴点マップに基づいて複数の３次元画像を時系列に重ね合わせることで、前記３次元パノラマ画像を生成する
ことを特徴とする付記１記載の作業支援方法。
（付記３）
前記コンピュータは、
前記特徴点マップを参照して、前記３次元パノラマ画像上の前記指定された位置に最も近い特徴点を特定し、
前記カメラの位置から、前記最も近い特徴点へのベクトルと、前記画像の中心へのベクトルとの角度差分を求め、
求めた前記角度差分に基づいて、前記対象物の位置情報の出力を、前記第２の表示部に行わせる
ことを特徴とする付記２記載の作業支援方法。
（付記４）
前記対象物が前記画像の範囲外にある場合、前記第２の表示部に、前記対象物の位置情報に基づいて該対象物までの方向と距離を表す情報を表示させる
ことを特徴とする付記３記載の作業支援方法。
（付記５）
カメラが撮影した複数の画像から得られる、該カメラの姿勢情報および該画像の特徴点マップに基づいて、該複数の画像を重ね合わせて３次元パノラマ画像を生成して第１の表示部に表示させ、
前記３次元パノラマ画像上でなされた対象物の指定に応じて、前記カメラの現在の姿勢情報に基づいて、指示された該対象物の位置に係る情報を第２の表示部に出力させる
処理をコンピュータに実行させる作業支援プログラム。
（付記６）
カメラが撮影した複数の画像から得られる、該カメラの姿勢情報および該画像の特徴点マップに基づいて、該複数の画像を重ね合わせて３次元パノラマ画像を生成して第１の表示部に表示させ、
前記３次元パノラマ画像上でなされた対象物の指定に応じて、前記カメラの現在の姿勢情報に基づいて、指示された該対象物の位置に係る情報を第２の表示部に出力させる
処理をコンピュータに実行させる作業支援システム。
（付記７）
カメラが撮影した画像を含むフレームを受信する通信部と、
前記通信部が受信した前記フレームに含まれる前記カメラの姿勢情報および該画像の特徴点マップに基づいて、前記通信部が受信した複数の画像を重ね合わせて３次元パノラマ画像を生成し、第１の表示部に表示させるパノラマ画像生成部と、
前記第１の表示部に表示させた前記３次元パノラマ画像上でなされた対象物の指定に応じて、前記カメラの現在の姿勢情報に基づいて、指示された該対象物の位置に係る情報を作成し、前記画像の送信元へ送信する情報作成部と、
を有することを特徴とする遠隔支援装置。
（付記８）
カメラが撮影した画像から該カメラの姿勢を推定した姿勢情報と該画像の特徴点マップとを取得する推定部と、
前記画像と、前記姿勢情報と、前記特徴点マップとを含む画像フレームを遠隔装置に送信する画像提供部と、
前記遠隔装置から前記画像提供部が送信したいずれかの画像上で指定された対象物に係る位置情報を受信すると、受信した該位置情報と、前記推定部が取得した前記姿勢情報と、前記特徴点マップとに基づいて該対象物の位置を算出し、算出した該位置へと誘導する誘導情報を表示部に表示させる誘導表示制御部と、
を有することを特徴とする作業員端末。

１ 指示者
２ 作業員
２ｃ 画像フレーム
２ｆ 指示情報、 ２ｇ 指示内容
２ｄｇ 画像
３ｃ 位置姿勢情報、 ３ｐ 特徴点
３ｄｇ ３Ｄ画像
２１ｃ カメラ、 ２１ｄ 表示デバイス
１０１ 遠隔支援装置
１１１ ＣＰＵ、 １１２ メモリ
１１３ ＨＤＤ、 １１４ 入力装置
１１５ 表示装置、 １１６ 音声入出力装置
１１７ ネットワーク通信部
１１８ ドライブ装置、 １１９ 記憶媒体
１４２ 遠隔支援処理部
１４３ ３Ｄパノラマ画像生成部
１４６ 指示情報作成部
２０１ 作業員端末
２１１ ＣＰＵ、 ２１２ メモリ
２１３ ＲＴＣ、 ２１５ ＩＭＵ
２１６ 短距離無線通信部
２１７ ネットワーク通信部
２７０ 作業支援処理部
２７１ 指示情報解析部、 ２７６ 指示描画部
２７７ 頭部姿勢推定部、 ２７８ 現場シーン提供部
１０００ 遠隔作業支援システム

Claims (5)

1. カメラが撮影した複数の画像から得られる、該カメラの姿勢情報及び該画像の特徴点マップに基づいて、該複数の画像を用いて３次元パノラマ画像を生成して第１の表示部に表示させ、
   前記３次元パノラマ画像上でなされた対象物の指定に応じて、前記カメラの現在の姿勢情報に基づいて、指定された該対象物の位置情報を第２の表示部に出力させる
   処理をコンピュータが行う作業支援方法。
2. 前記姿勢情報は、上下の角度及び左右の角度を示し、
   前記コンピュータは、
   前記カメラの焦点距離からアスペクト比を算出し、
   前記カメラの前記焦点距離と光学中心とで、画角を算出し、
   算出した前記アスペクト比と前記画角とを用いて、前記カメラのフラスタムを生成し、
   生成した前記フラスタムに基づいて前記画像のテクスチャマッピングを行うことによって、該画像を３次元画像に変換し、
   前記姿勢情報で示される向きで前記３次元画像を配置し、前記特徴点マップに基づいて複数の３次元画像を時系列に重ね合わせることで、前記３次元パノラマ画像を生成する
   ことを特徴とする請求項１記載の作業支援方法。
3. 前記コンピュータは、
   前記特徴点マップを参照して、前記３次元パノラマ画像上の前記指定された位置に最も近い特徴点を特定し、
   前記カメラの位置から、前記最も近い特徴点へのベクトルと、前記画像の中心へのベクトルとの角度差分を求め、
   求めた前記角度差分に基づいて、前記対象物の位置情報の出力を、前記第２の表示部に行わせる
   ことを特徴とする請求項２記載の作業支援方法。
4. カメラが撮影した複数の画像から得られる、該カメラの姿勢情報および該画像の特徴点マップに基づいて、該複数の画像を用いて３次元パノラマ画像を生成して第１の表示部に表示させ、
   前記３次元パノラマ画像上でなされた対象物の指定に応じて、前記カメラの現在の姿勢情報に基づいて、指示された該対象物の位置に係る情報を第２の表示部に出力させる
   処理をコンピュータに実行させる作業支援プログラム。
5. カメラが撮影した複数の画像から得られる、該カメラの姿勢情報および該画像の特徴点マップに基づいて、該複数の画像を用いて３次元パノラマ画像を生成して第１の表示部に表示させ、
   前記３次元パノラマ画像上でなされた対象物の指定に応じて、前記カメラの現在の姿勢情報に基づいて、指示された該対象物の位置に係る情報を第２の表示部に出力させる
   処理をコンピュータに実行させる作業支援システム。