JP2023021806A - 支援システム、支援側装置、支援方法、およびプログラム - Google Patents

Abstract

【課題】遠隔支援システムにおいて、設備の操作を伴う作業内容を効率的に伝える。
【解決手段】設備を模した仮想モデルを表示する支援側表示部と、仮想モデルに対する支援者の身体動作を検出する検出部と、仮想モデルに対する身体動作の情報を送信する送信部と、を有する支援側装置と、受信した身体動作の情報に基づいて身体動作を示す仮想化された画像を表示する作業側表示部を備える作業側装置と、を備える支援システムを提供する。支援者の身体動作を仮想化して送信することで設備の操作を伴う作業内容を効率的に伝えることができる
【選択図】図２

Description

本発明は、支援システム、支援側装置、支援方法、およびプログラムに関する。

作業者が観察している映像を遠隔地にいる支援者へ伝送するとともに、支援者が、この映像を観察しながら、スライタスを用いて作業者に指示を与える支援システムが知られている（例えば、特許文献１参照）。また、関連する技術として特許文献２がある。
特許文献１ 特開２００６－２０９６６４号公報
特許文献２ 特開２０１２－１８６０５号公報

支援システムにおいては、設備の操作を伴う作業内容を伝えることができることが望ましい。スライタスを支援者側と作業者側とで共有するだけでは、設備の操作を伴う作業内容を伝えることが難しい。

上記課題を解決するために、本発明の第１の態様においては、支援側装置と作業側装置を備える支援システムを提供する。支援側装置は、支援側表示部を備えてよい。支援側表示部は、設備を模した仮想モデルを表示してよい。支援側装置は、検出部を備えてよい。検出部は、仮想モデルに対する支援者の身体動作を検出してよい。支援側装置は、送信部を備えてよい。送信部は、仮想モデルに対する身体動作の情報を送信してよい。作業側装置は、作業側表示部を備えてよい。作業側装置は、受信した身体動作の情報に基づいて身体動作を示す仮想化された画像を表示してよい。

検出部によって検出される身体動作は、三次元空間における支援者の身体の少なくとも一部についての位置情報を含んでよい。

設備において予め定められた位置に基準点マーカーが設けられてよい。仮想モデルは、基準点マーカーに対応する位置に設けられた基準点と、基準点に基づく三次元座標である基準座標とに対応づけられてよい。検出部によって検出される身体動作は、基準座標における、支援者の身体の少なくとも一部についての位置情報を含んでよい。作業側装置は、マーカー検出部を備えてよい。マーカー検出部は、設備における基準点マーカーを検出してよい。作業側装置は、調整部を備えてよい。調整部は、設備の画像に対して仮想化された画像を合成する位置を、基準点マーカーの検出結果と、受信した身体動作の情報に含まれる位置情報とに基づいて調整してよい。

支援側装置は、選択部を更に備えてよい。選択部は、複数の仮想モデルの中から設備に対応する仮想モデルを選択してよい。

選択部は、支援者の指示に基づいて複数の仮想モデルの中から設備に対応した仮想モデルを選択してよい。

設備には、設備を識別するための識別画像が表示されていてよい。作業側装置は、読取部を備えてよい。読取部は、識別画像を読み取ってよい。作業側装置は、識別情報送信部をさらに備えてよい。識別情報送信部は、読取部によって識別画像を読み取って得られた識別情報を支援側装置に送信してよい。選択部は、作業側装置から受信した識別情報によって複数の仮想モデルの中から設備に対応する仮想モデルを選択してよい。

作業側装置は、撮像部をさらに備えてよい。撮像部は、設備を撮像して設備画像を得てよい。作業側装置は、設備画像送信部をさらに備えてよい。設備画像送信部は、設備画像を支援側装置に送信してよい。支援側装置は、モデル生成部を備えてよい。モデル生成部は、作業側装置から受信した設備画像に基づいて仮想モデルを生成してよい。

作業側装置は、撮像部をさらに備えてよい。撮像部は、設備を撮像して設備画像を得てよい。作業側装置は、補正用情報生成部をさらに備えてよい。補正用情報生成部は、設備画像に基づいて補正用情報を生成してよい。作業側装置は、補正用情報送信部をさらに備えてよい。補正用情報送信部は、補正用情報を支援側装置に送信してよい。支援側装置は、モデル補正部を備えてよい。モデル補正部は、作業側装置から受信した補正用情報に基づいて仮想モデルを補正してよい。補正用情報生成部は、支援側装置から受信した仮想モデルと設備画像とを比較して補正用情報を生成してよい。

本発明の第２の態様においては、支援側装置と、支援側装置と通信可能な作業側装置とにより作業を支援する支援方法を提供する。支援方法は、支援側装置において、設備を模した仮想モデルを表示する段階を備えてよい。支援方法は、支援側装置において、仮想モデルに応じた支援者の身体動作を検出する段階を備えてよい。支援方法は、支援側装置において、仮想モデルに対する支援者の身体動作の情報を送信する段階を備えてよい。支援方法は、身体動作の情報を作業側装置が受信する段階を備えてよい。支援方法は、作業側装置において、受信した身体動作の情報に基づいて身体動作を示す仮想化された画像を表示する段階を備えてよい。

本発明の第３の態様においては、支援側装置を提供する。支援側装置は、設備が設けられた作業現場における作業側装置との間でネットワークを介して通信可能に接続されてよい。支援側装置は、支援側表示部を備えてよい。支援側表示部は、設備を模した仮想モデルを表示してよい。支援側装置は、検出部を備えてよい。検出部は、仮想モデルに応じた支援者の身体動作を検出してよい。支援側装置は、送信部を備えてよい。送信部は、仮想モデルに対する支援者の身体動作の情報を作業側装置に送信してよい。

本発明の第４の態様においては、コンピュータを上記の支援側装置として機能させるためのプログラムを提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明の第１実施形態における遠隔支援システム１の概要を示す図である。 本発明の第１実施形態における遠隔支援システム１の一例を示す図である。 支援側装置における仮想モデル７の一例を示す模式図である。 作業側装置における合成画像１０の一例を示す模式図である。 支援者の動作を表現する姿勢データの一例を示す図である。 支援者の動作を表現する点群データの一例を示す図である。 第１実施形態の遠隔支援方法における支援側装置の処理内容の一例を示すフローチャートである。 図７のステップＳ５０における処理内容の一例を示すフローチャートである。 第１実施形態の遠隔支援方法における作業側装置の処理内容の一例を示すフローチャートである。 図９のステップＳ８０における処理内容の一例を示すフローチャートである。 本発明の第１実施形態における遠隔支援システム１の他の例を示す図である。 本発明の第２実施形態における支援側装置における仮想モデル７の一例を示す模式図である。 本発明の第２実施形態における作業側装置における合成画像８０の一例を示す模式図である。 本発明の第２実施形態における遠隔支援システム１の一例を示す図である。 本発明の第２実施形態における遠隔支援システム１の他の例を示す図である。 第２実施形態の遠隔支援方法における支援側装置の処理内容の一例を示すフローチャートである。 図１６のステップＳ１６０における処理内容の一例を示すフローチャートである。 第２実施形態の遠隔支援方法における作業側装置の処理内容の一例を示すフローチャートである。 図１８のステップＳ３１０における処理内容の一例を示すフローチャートである。 本発明の第３実施形態における作業側装置における合成画像９０の一例を示す模式図である。 本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の第１実施形態における遠隔支援システム１の概要を示す図である。遠隔支援システム１は、支援側装置２および作業側装置３を備える。支援側装置２および作業側装置３は通信ネットワーク４を介して互いに通信可能に接続されている。一例において、支援側装置２は、ヘッドマウントディスプレイ(ＨＭＤ)方式の仮想現実ウェアラブルコンピュータ端末である。支援側装置２は、設備５を模した仮想モデル７を支援者に表示する。仮想モデル７は、３Ｄホログラム画像であってよい。

支援者は、仮想モデル７を見ながら、実際に指および手等を動作させて仮想空間において操作して、作業者に対して手本を見せる。支援側装置２は、モーションキャプチャ技術によって、仮想モデル７に対する支援者の身体動作を検出する。そして、支援側装置２は、通信ネットワーク４を介して、仮想モデル７に対する身体動作の情報を作業側装置３に送信する。

作業側装置３は、受信した身体動作の情報に基づいて身体動作を示す仮想化された画像である身体動作画像を表示する。身体動作画像は、支援者の指や手等の動きを仮想化して再現した動画であってよい。一例において、作業側装置３は、ヘッドマウントディスプレイ(ＨＭＤ)方式の拡張現実ウェアラブルコンピュータ端末である。作業者は、作業側装置３に表示された画像等によって支援をうけて、設備５に対する操作を実行する。

設備５において予め定められた位置Ｐ_Ｍ０に基準点マーカー６が設けられてよい。基準点マーカー６の位置Ｐ_Ｍ０に基づいて、マーカー座標（Ｘ_Ｍ、Ｙ_Ｍ、Ｚ_Ｍ）が設定されていてよい。仮想モデル７には、基準点マーカー６の位置Ｐ_Ｍ０に対応する位置Ｐ_０に基準点８が設けられてよい。また、仮想モデル７において、基準点Ｐ_０における三次元座標である基準座標（Ｘ_０、Ｙ_０、Ｚ_０）が設けられてよい。検出される身体動作は、基準座標（Ｘ_０、Ｙ_０、Ｚ_０）に対する、支援者の身体の少なくとも一部についての位置情報を含んでよい。本例では、支援側装置２の座標において、支援者から仮想モデル７に向かう方向をＺ軸方向とし、Ｚ軸方向に対して垂直な面をＸＹ平面とする。ＸＹ平面内において、Ｘ軸方向とＹ軸方向とは互いに直交する方向とする。同様に、作業側装置３の座標において、作業者から設備に向かう方向をＺ軸方向とし、Ｚ軸方向に対して垂直な面をＸＹ平面とする。ＸＹ平面内において、Ｘ軸方向とＹ軸方向とは互いに直交する方向とする。

図２は、本発明の第１実施形態における遠隔支援システム１の一例を示す図である。本例の支援側装置２は、通信制御部１０１、検出部１０２、および支援側表示部１０３を備える。支援側表示部１０３は、設備５を模した仮想モデル７を表示する。支援側表示部１０３は、ホログラフィックレンズディスプレイを有してよい。検出部１０２は、仮想モデル７に対する支援者の身体動作を検出する。検出部１０２は、モーションキャプチャデバイス１０６から支援者の動作を示すモーションキャプチャデータを取り込む。通信制御部１０１は、仮想モデル７（設備モデル）に対する身体動作の情報を送信する送信部として機能する。この結果、支援側装置２は、仮想空間内において、設備５を模した仮想モデル７に対する支援者の相対的な動きを検出して、作業側装置３に送ることができる。

本例の支援側装置２は、仮想モデル格納部１０４、選択部１０５、画面制御部１１０、センサ１１２、マイク１１４、スピーカ１１６、および音声制御部１１８を備えてよい。仮想モデル格納部１０４は、仮想モデル７の情報について予め格納しているデータベースである。仮想モデル格納部１０４には、複数種類の設備５に応じて複数種類の仮想モデル７が格納されてよい。但し、仮想モデル格納部１０４は、支援側装置２に含まれていなくてもよい。この場合、外部から仮想モデル７がダウンロードされる。選択部１０５は、複数の仮想モデルの中から設備５に対応する仮想モデル７を選択する。選択部１０５は、支援者の指示に基づいて複数の仮想モデルの中から設備５に対応する仮想モデル７を選択してもよい。これに代えて、選択部１０５は、作業側装置３から受信した識別情報によって複数の仮想モデルの中から設備５に対応する仮想モデル７を選択してもよい。

画面制御部１１０は、３Ｄホログラム画である仮想モデル７とモーションキャプチャデータとを統合することによって、仮想現実を実現してよい。画面制御部１１０は、ホログラム画像と、撮像部およびトラッキング用可視光カメラによって認識された物理環境とを結合させてよい。画面制御部１１０は、センサ１１２から慣性計測情報を受け取り、環境を認識する撮像部およびトラッキング用可視光カメラからのデータと組み合わせて、透明レンズであるホログラフィックレンズディスプレイである支援側表示部１０３にホログラム画像を表示してよい。マイク１１４、スピーカ１１６、および音声制御部１１８は、作業側装置３との間において、支援者と作業者との会話を可能とする。

センサ１１２は、深度センサ（距離センサ）、撮像部（カメラ）、および慣性計測部、複数のトラッキング用可視光カメラ、および環境認識部を備えてよい。トラッキング用可視光カメラは、頭の動きを感知する。視線計測（アイ トラッキング）用の２台の赤外光カメラは、眼球の動きを感知する。深度センサは、光源から物体にレーザを照射し、その反射光を計測することで、物体までの距離や形状等を算出する。慣性計測部は、加速度計、ジャイロスコープ、および磁力計を備えてよい。慣性計測部は、３次元の慣性運動（直行３軸方向の並進運動および回転運動）を検出する。加速度計により並進運動を検出し、ジャイロスコープにより回転運動を検出してよい。

作業側装置３は、通信制御部２０１および作業側表示部２０２を備える、作業側装置３は、撮像部２０４、画面制御部２１０、センサ２１２、マイク２１４、スピーカ２１６、および音声制御部２１８を備えてよい。

通信制御部２０１は、支援側装置２から身体動作の情報を受信する受信部として機能する。作業側表示部２０２は、受信した身体動作の情報に基づいて身体動作を示す仮想化された画像（身体動作画像）を表示する。特に、作業側表示部２０２は、身体動作画像を、設備５を撮影して得られた設備画像に重畳して表示してよい。撮像部２０４は、カメラであってよい。撮像部２０４は、設備５を撮像することによって設備画像を生成してよい。設備画像には、設備５のみならず、設備５の周辺環境の背景画像を含んでいてもよい。

センサ２１２は、上述したセンサ１１２と同様であってよい。センサ２１２は、深度センサ（距離センサ）、慣性計測部、複数のトラッキング用可視光カメラ、および環境認識部を備えてよい。トラッキング用可視光カメラは、頭の動きを感知する。視線計測（アイ トラッキング）用の２台の赤外光カメラは、眼球の動きを感知する。深度センサは、光源から物体にレーザを照射し、その反射光を計測することで、物体までの距離や形状等を算出する。慣性計測部は、加速度計、ジャイロスコープ、および磁力計を備えてよい。慣性計測部は、３次元の慣性運動（直行３軸方向の並進運動および回転運動）を検出する。加速度計により並進運動を検出し、ジャイロスコープにより回転運動を検出してよい。

マイク２１４、スピーカ２１６、および音声制御部２１８は、支援側装置２との間において、支援者と作業者との会話を可能とする。画面制御部２１０は、マーカー検出部２４１、調整部２４２、読取部２４３等の各機能を有する。これらの機能については後述する。

図３は、支援側装置２における仮想モデル７の一例を示す模式図である。図４は、作業側装置３における合成画像１０の一例を示す模式図である。なお、図３および図４には、説明のための各座標が表示されている。実際の仮想モデル７および合成画像１０には、座標は表示されなくてよい。

図４における合成画像１０は、撮像部２０４によって設備５を撮像して得られた設備画像１１と、身体動作を示す仮想化された画像である身体動作画像１２とを重ねあわして合成した画像であってよい。図４に示されているとおり、設備５においては、予め定められた位置Ｐ_Ｍ０に基準点マーカー６が設けられている。基準点マーカー６は、設備５を識別するための識別画像９を有してよい。識別画像９は、一例において、バーコード画像であってよい。図４の場合と異なり、基準点マーカー６と識別画像９とは別々に設けられてよい。図４に示される例では、身体動作画像１２は、支援者の手および指の動きを仮想化した画像である。

図２に示される画面制御部２１０は、設備５における基準点マーカー６を検出するマーカー検出部２４１として機能してよい。また、画面制御部２１０は、調整部２４２として機能してよい。調整部２４２は、設備画像１１に対して身体動作画像１２を合成する位置を、基準点マーカー６の検出結果と、受信した身体動作の情報に含まれる位置情報とに基づいて調整してよい。画面制御部２１０は、識別画像９を読み取る読取部２４３として機能してもよい。この場合、通信制御部２０１は、読取部２４３によって識別画像９を読み取って得られた識別情報を支援側装置２に送信する識別情報送信部としても機能する。支援側装置２における選択部１０５は、作業側装置３から受信した識別情報によって複数の仮想モデルの中から設備５に対応する仮想モデル７を選択する。

検出部１０２によって検出される身体動作の情報は、三次元空間における支援者の身体の少なくとも一部についての位置情報を含んでよい。位置情報には、図３に示される身体動作点座標値（Ｘ_Ｒi、Ｙ_Ｒi、Ｚ_Ｒi）を含んでよい。身体動作点座標値（Ｘ_Ｒｉ、Ｙ_Ｒi、Ｚ_Ｒi）は、基準座標（Ｘ、Ｙ、Ｚ）において、基準点（Ｘ_０、Ｙ_０、Ｚ_０）を基準としたときの身体における各身体動作点２４の座標（Ｘ_ｉ、Ｙ_ｉ、Ｚ_ｉ）を意味する。なお、図３および図４においては、紙面に垂直な方向がＺ軸方向である。身体動作座標値（Ｘ_Ｒi、Ｙ_Ｒi、Ｚ_Ｒi）は、Ｘ_Ｒi＝Ｘ_ｉ―Ｘ_０、Ｙ_Ｒi＝Ｙ_i―Ｙ_０、Ｚ_Ｒi＝Ｚ_i―Ｚ_０で表される。

画面制御部２１０は、設備画像１１に対して身体動作画像１２を合成する位置を、基準点マーカー６の検出結果（マーカー座標Ｘ_Ｍ、Ｙ_Ｍ、Ｚ_Ｍ）と、受信した身体動作の情報に含まれる身体動作点２４の座標値（Ｘ_Ｒi、Ｙ_Ｒi、Ｚ_Ｒi）とに基づいて、身体動作画像１２を合成する位置（Ｘ_Ｍ＋Ｘ_Ｒi、Ｙ_Ｍ＋Ｙ_Ｒi、Ｚ_Ｍ＋Ｚ_Ｒi）を調整してよい。

図５は、支援者の動作を表現する姿勢データの一例を示す図である。図６は、支援者の動作を表現する点群データの一例を示す図である。モーションキャプチャ技術によって、作業者の動作を読み取って得られたモーションキャプチャデータは、図５に示されるように姿勢データであってもよく、図６に示されるような点群データであってもよい。

姿勢データは、手の指の関節など動作の基本要素となる部分（図中、黒丸で表示）の位置の認識結果に基づいて動作を表現する。姿勢データは、基本要素となる複数の部分の各位置の３次元座標によって表現されてよい。動作の基本要素となる点を身体動作点２４と呼ぶ。位置情報は、身体動作点２４（ｎ個）の各位置の身体動作座標値（Ｘ_Ｒi、Ｙ_Ｒi、Ｚ_Ｒi）（ｉ＝１、２、３・・・ｎ）で表されてよい。

図６に示されるような点群データは、複数の抽出点（図中の点で表示）の挙動を示す。したがって、各抽出点を身体動作点２４としてよい。点群データは、抽出点の身体動作座標値（Ｘ_Ｒi、Ｙ_Ｒi、Ｚ_Ｒi）（ｉ＝１、２、３・・・Ｎ）で位置情報が表現されてよい。

図７は、第１実施形態の遠隔支援方法における支援側装置２の処理内容の一例を示すフローチャートである。遠隔支援方法は、支援側装置２と作業側装置３とにより作業を支援する。選択部１０５は、支援者の指示に基づいて現場作業者を選択する（ステップＳ１０）。支援者は、ポインティングデバイス等により現場作業者を指示することができる。音声制御部１１８は、選択された現場作業者と支援者との間で音声通話を開始する（ステップＳ２０）。選択部１０５は、仮想モデル格納部１０４に格納されている複数の仮想モデルの中から、支援対象の設備５に対応する仮想モデル７を選択する（ステップＳ３０）。

選択部１０５は、支援者の指示に基づいて仮想モデルを選択してもよい。選択部１０５は、ポインティングデバイス等からの信号に基づいて仮想モデルを指示することができる。選択部１０５は、作業側装置３から受信した識別情報によって複数の仮想モデルの中から設備に対応する仮想モデル７を選択してもよい。

支援側表示部１０３は、設備５を模した仮想モデル７を表示する（ステップＳ４０）。支援者は表示された仮想モデル７を用いて仮想空間において操作する。検出部１０２は、仮想モデル７に対する支援者の身体動作を検出し、検出された身体動作の情報を作業側装置３に送信する（ステップＳ５０）。音声制御部１１８は、音声通話を終了する（ステップＳ６０）。なお、音声通話によって設備の識別情報が作業者から支援者に伝えられてもよい。但し、音声通話の処理（ステップＳ２０およびステップＳ６０）および現場作業者の選択処理（ステップＳ１０）は省略されてもよい。

図８は、図７のステップＳ５０における処理内容の一例を示すフローチャートである。通信制御部１０１は、開始コードを送信する（ステップＳ５１）。開始コードは、処理の開始を示す情報である。操作が終了するまでの間（ステップＳ５２：ＮＯ）、送信周期に到達するごとに（ステップＳ５３：ＹＥＳ）、身体動作点２４の総数（ｎ）を取得する（ステップＳ５４）。初期値として、ｉ＝ｎとする。次に、ｉ＝０でない限り（ステップＳ５５：ＮＯ）、検出部１０２は、モーションキャプチャデータを用いて一つの身体動作点２４（Ｘ_ｉ、Ｙ_ｉ、Ｚ_ｉ）における身体動作座標（Ｘ_Ｒi＝Ｘ_ｉ―Ｘ_０、Ｙ_Ｒi＝Ｙ_i―Ｙ_０、Ｚ_Ｒi＝Ｚ_i―Ｚ_０）を取得する（ステップＳ５６）。検出部１０２は、ｉ＝ｉ－１とする（ステップＳ５７）。ｉは初期値ｎから、ｎ－１にデクリメントされる。ｉ＝０となるまでの間（ステップＳ５５：ＮＯ）、検出部１０２は、ステップＳ５５からステップＳ５７の処理を繰り返す。

ステップＳ５４から５７の結果、検出部１０２は、ｉ＝１、２、・・・ｎの身体動作点２４のそれぞれについて、モーションキャプチャデータに基づいて身体動作座標（Ｘ_Ｒi＝Ｘ_ｉ―Ｘ_０、Ｙ_Ｒi＝Ｙ_i―Ｙ_０、Ｚ_Ｒi＝Ｚ_i―Ｚ_０）を取得することができる。ｉ＝０となると（ステップＳ５５：ＹＥＳ）、身体動作点の数（ｎ個）のすべてについて、身体動作座標を取得し終わる。通信制御部１０１は、身体動作点２４の総数（ｎ個）の情報と、身体動作座標（Ｘ_Ｒi＝Ｘ_ｉ―Ｘ_０、Ｙ_Ｒi＝Ｙ_i―Ｙ_０、Ｚ_Ｒi＝Ｚ_i―Ｚ_０）の情報を、位置情報として送信する（ステップＳ５８）。

操作終了の指示がされると（ステップＳ５２：ＹＥＳ）、通信制御部１０１は、作業側装置３に対して終了コードを送信する（ステップＳ５９）。そして、処理はリターンする。

図９は、第１実施形態の遠隔支援方法における作業側装置３の処理内容の一例を示すフローチャートである。音声制御部２１８は、支援者と作業者との間で音声通話を開始する（ステップＳ７０）。通信制御部２０１は、支援側装置２から身体動作の情報を受信し、作業側表示部２０２は、受信した身体動作の情報に基づいて身体動作を示す仮想化された画像である身体動作画像を表示する（ステップＳ８０）。支援処理が完了すると、音声制御部２１８は、音声通話を終了する（ステップＳ９０）。

図１０は、図９のステップＳ８０における処理内容の一例を示すフローチャートである。通信制御部２０１は、支援側装置２から各種の情報を受信する受信部として機能する。通信制御部２０１は、支援側装置２から開始コードを受信すると（ステップＳ１０１：ＹＥＳ）、撮像部２０４を起動する（ステップＳ１０２）。撮像部２０４は、設備５を含む周辺環境の画像を撮影して画像データを生成する。画面制御部２１０は、生成された画像データを設備画像１１として取得する。

通信制御部２０１が終了コードを受信した場合（ステップＳ１０３：Ｙｅｓ）、支援処理が終了したものとして、撮像部２０４を停止する（ステップＳ１０４）。そして、処理がリターンする。通信制御部２０１が終了コードを受信するまでの間は（ステップＳ１０３：ＮＯ）、通信制御部２０１が身体動作の情報を受信すると（ステップ１０５：ＹＥＳ）、画面制御部２１０は、身体動作点２４の総数（ｎ）および身体動作点２４（ｉ＝１、２、・・・ｎ）ごとの身体動作座標（Ｘ_Ｒi＝Ｘ_ｉ―Ｘ_０、Ｙ_Ｒi＝Ｙ_i―Ｙ_０、Ｚ_Ｒi＝Ｚ_i―Ｚ_０）を取得する（ステップＳ１０６）。初期値としてｉ＝ｎとしてよい。

そして、画面制御部２１０は、基準点マーカー６を検出するマーカー検出部２４１としても機能する。画面制御部２１０は、基準点マーカー６の検出結果として、基準点マーカー６の位置を示すマーカー座標（Ｘ_Ｍ、Ｙ_Ｍ、Ｚ_Ｍ）を取得する（ステップＳ１０７）。次に、ｉ＝０でない限り（ステップＳ１０８：ＮＯ）、画面制御部２１０は、身体動作の情報に基づいて身体動作画像１２を描画する。画面制御部２１０は、設備画像１１と身体動作画像１２を重ね合わせて合成した合成画像１０を生成する。作業側表示部２０２は、合成画像１２を表示する（ステップＳ１０９）。画面制御部２１０は、基準点マーカーの検出結果であるマーカー座標（Ｘ_Ｍ、Ｙ_Ｍ、Ｚ_Ｍ）と、受信された位置情報に含まれる身体動作座標（Ｘ_Ｒi＝Ｘ_ｉ―Ｘ_０、Ｙ_Ｒi＝Ｙ_i―Ｙ_０、Ｚ_Ｒi＝Ｚ_i―Ｚ_０）とによって、設備画像１１に対して身体動作画像１２を合成する位置を（Ｘ_Ｍ＋Ｘ_Ｒi、Ｙ_Ｍ＋Ｙ_Ｒi、Ｚ_Ｍ＋Ｚ_Ｒi）に調整する。

次いで、画面制御部２１０は、ｉ＝ｉ－１とする（ステップＳ１１０）。ｉは初期値ｎから、ｎ－１にデクリメントされる。ｉ＝０となるまでの間（ステップＳ１０８：ＮＯ）、検出部１０２は、ステップＳ１０９およびＳ１１０の処理を繰り返す。この結果、画面制御部２１０は、ｉ＝１、２、・・・ｎの身体動作点２４のそれぞれについて、仮想化された身体動作画像１２を設備画像１１に対して重ねわせて表示することができる。

図１１は、本発明の第１実施形態における遠隔支援システム１の他の例を示す図である図１１における遠隔支援システム１において、作業側装置３は、補正用情報生成部２２０を備える。また、作業側装置３において、通信制御部２０１は、設備を撮像して得られた設備画像１１を支援側装置２に送信する設備画像送信部として機能してよい。また、これに代えて、通信制御部２０１は、補正用情報生成部２２０によって生成された補正用情報を支援側装置２に送信する補正用情報送信部として機能してよい。補正用情報生成部２２０は、設備画像１１に基づいて補正用情報を生成してよい。一例において、作業側装置３は、通信制御部２０１を通じて、支援側装置２から仮想モデル７を受信する。補正用情報生成部２２０が仮想モデル７と設備画像１１とを比較して、補正用情報を作成してもよい。また、補正用情報は、解像度を低くしてデータ量を削減した設備画像１１であってもよい。

支援側装置２は、モデル生成部１２０を備えてよい。モデル生成部１２０は、作業側装置３から受信した設備画像１１に基づいて仮想モデル７を生成する。モデル生成部１２０は、作業側装置３において撮影された画像に基づいて設備５の動的な状態を検出することができる。モデル生成部１２０は、設備５の動的な状態に応じて、設備を模した仮想モデルを生成することができる。

支援側装置２は、モデル補正部１２２を備えてよい。モデル補正部１２２は、作業側装置３から受信した補正用情報に基づいて仮想モデル７を補正してよい。一例において、補正用情報は、設備５についての画質の粗い二次元画像であってよい。一例において、仮想モデル７には、各部分の取り得る状態が設定されている。モデル生成部１２０は、補正用情報に基づいて、設備５の各部分の状態を検出し、検出結果に基づいて、各部分の状態を変化させることに仮想モデル７を補正してよい。

本発明の第１実施形態の遠隔支援システム１によれば、スライタス等を仮想化して利用する場合に比べて、支援者の身体動作を仮想化して利用するので、直感的に操作内容を伝えることが可能となる。したがって、現場の作業者および作業の支援者の作業効率を向上することができる。また、単なるクロマキー合成に比べて、支援者を特定色の背景に立たせて動作させる必要もない。

図１２は、本発明の第２実施形態における支援側装置２における仮想モデル７の一例を示す模式図である。図１３は、本発明の第２実施形態における作業側装置３における合成画像８０の一例を示す模式図である。

図１２に示されるとおり、本実施形態において仮想モデル７は、取っ手２５が設けられた扉を含んでよい。仮想モデル７は、複数の操作部位、すなわち、操作部位２１および操作部位２２を含んでいる。支援者は、仮想空間において、操作部位２２を指定することによって、操作部位２２の状態を変化させる。図１２の例では、操作部位２２は扉であり、支援者は、仮想空間内で特定の回転位置まで操作部位２２を回動させるという支援操作を実行することができる。設備５の操作部位２２における支援操作の内容を示す操作情報が支援側装置２から作業側装置３へ送信される。操作情報には、操作部位２２の位置２３（Ｘ_１、Ｙ_１、Ｚ_１）に関する情報と、操作部位回転角（Ｒ_Ｘ、Ｒ_Ｙ、Ｒ_Ｚ）が含まれていてよい。操作部位２２の位置２３（Ｘ_１、Ｙ_１、Ｚ_１）に関する情報は、基準点Ｐ_０を基準とした操作部位２２の位置２３の操作部位相対座標（Ｘ_Ｒ、Ｙ_Ｒ、Ｚ_Ｒ）であってよい。操作部位相対座標（Ｘ_Ｒ、Ｙ_Ｒ、Ｚ_Ｒ）は、Ｘ_Ｒ＝Ｘ_１―Ｘ_０、Ｙ_Ｒ＝Ｙ_１―Ｙ_０、Ｚ_Ｒ＝Ｚ_１―Ｚ_０で表される。

作業側装置３は、図１３に示されるように、撮像部２０４によって設備５を撮像して得られた設備画像１１と、支援操作後の設備５の状態を示す操作状態画像３０とを合成した合成画像８０を表示する作業側表示部２０２を有する。本例では、合成画像８０は、取っ手３３を含む扉の画像を含んでよい。作業側装置３は、操作情報として、操作部位２２の座標（Ｘ_１、Ｙ_１、Ｚ_１）に関する情報と、操作部位回転角（Ｒ_ｘ、Ｒ_ｙ、Ｒ_ｚ）とを受信する。作業側装置３は、操作情報に基づいて、操作状態画像３０を生成する。そして、作業側表示部２０２は、設備画像１１に対して、操作状態画像３０を重ねて生成された合成画像８０を表示する。操作状態画像３０は、複数の操作部位の画像３１、３２を含んでいる。操作部位の画像３２は、複数の状態を取り得る。本例では、操作部位の画像３２は、扉の開閉具合の状態を示す。作業側表示部２０２は、操作状態画像３０とともに、支援操作の内容に関するメッセージ３５および記号３６を表示してもよい。これにより作業者に対して操作状態がより伝わりやすくなる。

図１４は、本発明の第２実施形態における遠隔支援システム１の一例を示す図である。遠隔支援システム１は、支援側装置２と作業側装置３を備える。支援側装置２と作業側装置３は通信ネットワーク４を通じて通信可能に接続されてよい。支援側装置２は、ヘッドマウントディスプレイ(ＨＭＤ)方式の仮想現実ウェアラブルコンピュータ端末であってよい。

本例の支援側装置２は、通信制御部１３１、操作部位検出部１３０および支援側表示部１０３を備える。本例では、支援側表示部１０３は、図１２に示されるように仮想モデル７を表示する。支援側表示部１０３は、ホログラフィックレンズディスプレイを有してよい。操作部位検出部１３０は、設備５の操作部位における支援操作の内容を検出する。図１２に示された例では、操作部位検出部１３０は、設備５の操作部位２２における扉を操作部位回転角まで回転するという支援操作の内容を検出する。

操作部位検出部１３０は、モーションキャプチャデバイス１０６から、支援操作の内容を示すモーションキャプチャデータを取り込む。操作部位検出部１３０は、仮想モデル７と支援者の身体に対応する身体領域との衝突判定、または仮想モデル７と支援者の操作する指示画像（たとえば、スライタス、ポインタ等）との衝突判定により、支援者が指定する操作部位を特定してよい。操作部位検出部１３０は、第１実施形態における検出部１０２と同様に仮想モデル７に対する支援者の身体動作を検出してもよい。この場合、操作部位検出部１３０は、第１実施形態における身体動作の検出技術を利用して身体動作を検出することによって、支援操作の内容を検出してよい。

通信制御部１３１は、支援操作の内容を示す操作情報を送信する操作情報送信部として機能する。この結果、支援側装置２は、設備５を模した仮想モデル７の操作部位における操作内容を検出して作業側装置３に送ることができる。通信制御部１３１は、操作情報として、操作部位２２の座標（Ｘ_１、Ｙ_１、Ｚ_１）に関する情報と、操作部位回転角（Ｒ_Ｘ、Ｒ_Ｙ、Ｒ_Ｚ）とを作業側装置３に送信することができる。

本例の支援側装置２は、仮想モデル格納部１０４、選択部１０５、画面制御部１１０、センサ１１２、マイク１１４、スピーカ１１６、および音声制御部１１８を備えてよい。これらの構成は、図２に示される構成と同様であってよい。したがって、繰り返しの説明を省略する。

作業側装置３は、通信制御部２３１および作業側表示部２０２を備える。作業側装置３は、撮像部２０４、画面制御部２１０、センサ２１２、マイク２１４、スピーカ２１６、および音声制御部２１８を備えてよい。通信制御部２３１は、操作情報を受信する受信部として機能する。画面制御部２１０は、支援操作後の設備５の状態を示す操作状態画像３０を設備画像１１に重ねて合成する。作業側表示部２０２は、支援操作後の設備５の状態を示す操作状態画像３０を設備５の画像に重ねて表示する。具体的には、作業側表示部２０２は、合成画像８０を表示する。作業側表示部２０２は、操作状態画像３０とともに、支援操作の内容に関するメッセージ３５および記号３６を表示してもよい。

作業側装置３は、画像生成部２３０および作業側仮想モデル格納部２３２を備えてよい。作業側仮想モデル格納部２３２は、設備５を模した作業側仮想モデルを格納する。画像生成部２３０は、操作部位２１、２２ごとに指定された支援内容に応じて、支援操作後の設備の状態を示す操作状態画像３０を生成する。画像生成部２３０は、操作情報に基づいて作業側仮想モデルを変形する変形部として機能してよい。作業側表示部２０２は、変形された作業側仮想モデルを操作状態画像３０として表示してもよい。作業側表示部２０２は、身体領域または指示画像が仮想モデル７に接触する部位の表示を変化させて表示してもよい。図１３に示される例では、支援動作がされている操作部位の画像３２を点線で表示している。

これらの点を除いて、撮像部２０４、画面制御部２１０、センサ２１２、マイク２１４、スピーカ２１６、および音声制御部２１８については、図２に示される構成と同様である。したがって、繰り返しの説明を省略する。

図１５は、本発明の第２実施形態における遠隔支援システム１の他の例を示す図である。図１４に示される場合には、操作部位検出部１３０は、仮想モデル７に対する支援者の身体動作を検出する。但し、本実施形態の遠隔支援システム１は、この場合に限られない。

図１５に示される例では、センサ１１２が省略されている。支援側装置２は、ポインティングデバイス１３２を備える。ポインティングデバイス１３２は、たとえばマウスであってよい。支援者は、ポインティングデバイス１３２を操作する。操作部位検出部１３０は、ポインティングデバイス１３２からの信号に基づいて操作部位を検出する。具体的には、操作部位検出部１３０は、ポインティングデバイス１３２のカーソル画像と仮想モデル７との衝突判定により、操作部位を検出してよい。他の構造は、図１４に示された構造と同様であるので、繰り返しの説明を省略する。

図１６は、第２実施形態の遠隔支援方法における支援側装置の処理内容の一例を示すフローチャートである。遠隔支援方法は、支援側装置２と作業側装置３とにより作業を支援する。選択部１０５は、支援者の指示に基づいて現場作業者を選択する（ステップＳ１２０）。支援者は、ポインティングデバイス等により現場作業者を指示することができる。音声制御部１１８は、選択された現場作業者と支援者との間で音声通話を開始する（ステップＳ１３０）。選択部１０５は、仮想モデル格納部１０４に格納されている複数の仮想モデルの中から、支援対象の設備５に対応する仮想モデル７を選択する（ステップＳ１４０）。選択部１０５は、設備５の識別情報を作業側装置３から受信し、識別情報に基づいて仮想モデル７を選択してよい。但し、選択部１０５は、支援者の指示に基づいて仮想モデルを選択してもよい。支援者は、ポインティングデバイス等により仮想モデル７を指示することができる。

支援側表示部１０３は、設備５を模した仮想モデル７を表示する（ステップＳ１５０）。仮想モデル７は、仮想モデル格納部１０４に格納されていてもよく、ダウンロードしてもよい。支援者は表示された仮想モデル７を用いて仮想空間において操作する。操作部位検出部１３０は、設備の操作部位２２における支援操作の内容を検出する。支援操作の内容を示す操作情報を作業側装置３に送信する（ステップＳ１６０）音声制御部１１８は、音声通話を終了する（ステップＳ１７０）。なお、音声通話によって設備の識別情報が作業者から支援者に伝えられてもよい。但し、音声通話の処理（ステップＳ１３０およびステップＳ１７０）および現場作業者の選択処理（ステップＳ１２０）は省略されてもよい。

図１７は、図１６のステップＳ１６０における処理内容の一例を示すフローチャートである。通信制御部１０１は、開始コードおよび設備ＩＤを送信する（ステップＳ２００）。開始コードは、処理の開始を示す情報である。設備ＩＤは、設備を特定するための識別情報である。操作が終了するまでの間（ステップＳ２０１：ＮＯ）、送信周期に到達するごとに（ステップＳ２０２：ＹＥＳ）、操作部位検出部１３０は、衝突判定を実行する（ステップＳ２０３）。

本実施形態において仮想モデル７は、設備５を模してしる。仮想モデル７は、複数の操作部位、すなわち、操作部位２１および操作部位２２を備える。身体動作により操作部位２１および操作部位２２を特定する場合には、操作部位検出部１３０は、モーションキャプチャデバイス１０６からのデータに基づいて、支援者の身体に対応する身体領域画像を取得する。身体領域画像は、身体動作点２４の座標に基づいて生成されてよい。一例において、身体領域画像は、図５に示される姿勢データまたは図６に示される点群データであってよい。

操作部位検出部１３０は、仮想モデル７と支援者の身体に対応する身体領域画像との衝突判定を実行する（ステップＳ２０３）。複数の操作部位２１および２２の中で、支援者の身体領域画像と衝突する場合、衝突している操作部位２２が選択される。ポインティングデバイス１３２によって操作部位２１が選択される場合には、操作部位検出部１３０は、ポインティングデバイス１３２のカーソル画像と仮想モデル７との衝突判定により、操作部位を検出してよい。衝突判定（ステップＳ２０３）は、送信周期（ステップＳ２０２：ＹＥＳ）ごとに実行されてよい。

操作部位がある場合（ステップＳ２０３：ＹＥＳ）、操作部位検出部１３０は操作部位２２の識別情報（ＩＤ）を取得する（ステップＳ２０４）。そして、操作部位検出部１３０は、基準点Ｐ_０（Ｘ_０、Ｙ_０、Ｚ_０）を基準とした操作部位２２の位置２３（Ｘ_１、Ｙ_１、Ｚ_１）の相対座標である操作部位相対座標（Ｘ_Ｒ、Ｙ_Ｒ、Ｚ_Ｒ）（但し、Ｘ_Ｒ＝Ｘ_１―Ｘ_０、Ｙ_Ｒ＝Ｙ_１―Ｙ_０、Ｚ_Ｒ＝Ｚ_１―Ｚ_０）を取得してよい。さらに、操作部位検出部１３０は、操作部位２２の姿勢を示す操作部位回転角（Ｒ_ｘ、Ｒ_ｙ、Ｒ_ｚ）を取得する（ステップＳ２０６）。操作部位回転角（Ｒ_ｘ、Ｒ_ｙ、Ｒ_ｚ）は、Ｘ軸、Ｙ軸およびＺ軸の回転角を意味する。

通信制御部１３１は、操作情報を作業側装置３に対して送信する。操作情報には、操作部位の識別情報（ＩＤ）、操作部位相対座標（Ｘ_Ｒ、Ｙ_Ｒ、Ｚ_Ｒ）、および操作部位回転角（Ｒ_ｘ、Ｒ_ｙ、Ｒ_ｚ）が含まれてよい。

操作終了の指示がされると（ステップＳ２０１：ＮＯ）、通信制御部１３１は、作業側装置３に対して終了コードを送信する（ステップＳ２０８）。そして、処理はリターンする。

図１８は、第２実施形態の遠隔支援方法における作業側装置３の処理内容の一例を示すフローチャートである。音声制御部２１８は、支援者と作業者との間で音声通話を開始する（ステップＳ３００）。通信制御部２０１は、支援側装置２から、操作情報を受信する。作業側表示部２０２は、受信した操作情報に基づいて、支援操作後の設備の状態を示す操作状態画像３０を設備画像１１に重ねて表示する（ステップＳ３１０）。支援処理が完了すると、音声制御部２１８は、音声通話を終了する（ステップＳ３２０）。

図１９は、図１８のステップＳ３１０における処理内容の一例を示すフローチャートである。通信制御部２０１は、支援側装置２から各種の情報を受信する受信部として機能する。通信制御部２０１は、支援側装置２から開始コードを受信すると（ステップＳ４０１：ＹＥＳ）、仮想モデル７を取得する（ステップＳ４０２）。仮想モデル７は、外部からダウンロードしてもよく、支援側装置２から受信してもよく、作業側装置３内の作業側仮想モデル格納部２３２から取得してもよい。

次いで、通信制御部２０１は、支援側装置２から開始コードを受信すると、撮像部２０４を起動する（ステップＳ４０３）。撮像部２０４は、設備５を含む周辺環境の画像を撮影して画像データを生成する。画面制御部２１０は、生成された画像データを設備画像１１として取得する。

画面制御部２１０は、基準点マーカー６を検出するマーカー検出部２４１としても機能する。画面制御部２１０は、基準点マーカー６の検出結果として、基準点マーカー６の位置を示すマーカー座標（Ｘ_Ｍ、Ｙ_Ｍ、Ｚ_Ｍ）を取得する（ステップＳ４０４）。画面制御部２１０は、設備５を含む周辺環境の画像を撮影して得られた設備画像１１に対して、仮想モデル７を合成して、作業側表示部２０２に表示させてよい（ステップＳ４０５）。

通信制御部２０１が終了コードを受信するまでの間は（ステップＳ４０６：ＮＯ）、通信制御部２０１が操作情報（操作部位情報）を受信すると（ステップＳ４０７：ＹＥＳ）、画像生成部２３０は、操作部位２２の識別情報（ＩＤ）、操作部位相対座標（Ｘ_Ｒ、Ｙ_Ｒ、Ｚ_Ｒ）、および操作部位回転角（Ｒ_ｘ、Ｒ_ｙ、Ｒ_ｚ）を取得する（ステップＳ４０８）。

画像生成部２３０は、操作部位２２の識別情報（ＩＤ）、操作部位相対座標（Ｘ_Ｒ、Ｙ_Ｒ、Ｚ_Ｒ）、および操作部位回転角（Ｒ_ｘ、Ｒ_ｙ、Ｒ_ｚ）に基づいて、支援操作後の設備５の状態を示す操作状態画像３０を描画する。換言すれば、画像生成部２３０は、ステップＳ４０５で合成した仮想モデル７を変形して操作状態画像３０を描画（再描画）してよい。

画面制御部２１０は、設備画像１１に対して、操作状態画像３０を重ねて合成することによって合成画像８０を生成する。作業側表示部２０２は、合成画像８０を表示する（ステップＳ４０９）。時刻ごとに操作部位回転角（Ｒ_ｘ、Ｒ_ｙ、Ｒ_ｚ）が変化すると、それに応じて、操作状態画像３０も変化して表示されてよい。設備画像１１、操作状態画像３０、および合成画像８０は三次元画像であってよい。

通信制御部２０１が終了コードを受信した場合（ステップＳ４０６：Ｙｅｓ）、支援処理が終了したものとして、撮像部２０４を停止する（ステップＳ４１０）。そして、処理がリターンする。

本発明の第２実施形態の遠隔支援システム１によれば、仮想物体を動的に変化させて提示することができるので、直感的に操作内容を伝えることが可能となる。したがって、現場の作業者および作業の支援者の作業効率を向上することができる。特に、支援者の身体動作および設備の動作を伴うような複雑な作業内容を的確に作業者に伝えることが可能になる。具体的には、設備の状態および設備の動きを作業者に適確に伝えることが可能になる。設備状態画像を、設備画像を含む背景に重ねて表示することができるので、どの部分の設備状態なのかを的確に伝えることが容易になる。

また、単なるクロマキー合成に比べて、支援者を特定色の背景に立たせて動作させる必要もない。

図２０は、本発明の第３実施形態における作業側装置３における合成画像９０の一例を示す模式図である。図２０に示されるとおり、第１実施形態の内容と第２実施形態の内容を統合して、作業側装置３において合成画像９０を表示することができる。具体的には、作業側表示部２０２は、第１実施形態における身体動作画像１２と、第２実施形態における操作状態画像３０とを共に表示してよい。この場合、遠隔支援システム１は、図２および図１１に示される構成と、図１４および図１５に示される構成とを有してよい。繰り返しの説明を省略する。

図２１は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ２２００に、本発明の実施形態に係る方法または当該方法の段階を実行させることができる。そのようなプログラムは、コンピュータ２２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。

本実施形態によるコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６、およびディスプレイデバイス２２１８を含み、それらはホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００はまた、通信インタフェース２２２２、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータはまた、ＲＯＭ２２３０およびキーボード２２４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ２２４０を介して入／出力コントローラ２２２０に接続されている。

ＣＰＵ２２１２は、ＲＯＭ２２３０およびＲＡＭ２２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ２２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。

通信インタフェース２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ－ＲＯＭドライブ２２２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ２２０１から読み取り、ハードディスクドライブ２２２４にＲＡＭ２２１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。

ＲＯＭ２２３０はその中に、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、および／またはコンピュータ２２００のハードウェアに依存するプログラムを格納する。入／出力チップ２２４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ２２２０に接続してよい。

プログラムが、ＤＶＤ－ＲＯＭ２２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、またはＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ２２００の使用に従い情報の操作または処理を実現することによって構成されてよい。

例えば、通信がコンピュータ２２００および外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース２２２２に対し、通信処理を命令してよい。通信インタフェース２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭ２２０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。

また、ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６（ＤＶＤ－ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ２２１４に読み取られるようにし、ＲＡＭ２２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ２２１２は次に、処理されたデータを外部記録媒体にライトバックする。

様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ２２１４に対しライトバックする。また、ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ２２００上またはコンピュータ２２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２２００に提供する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。

１・・・遠隔支援システム、２・・・支援側装置、３・・・作業側装置、４・・・通信ネットワーク、５・・・設備、６・・・基準点マーカー、７・・・仮想モデル、８・・・基準点、９・・・識別画像、１０・・・合成画像、１１・・・設備画像、１２・・・身体動作画像、２１・・・操作部位、２２・・・操作部位、２３・・・位置、２４・・・身体動作点、２５・・・取っ手、３０・・・操作状態画像、３１・・・画像、３２・・・画像、３３・・・取っ手、３５・・・メッセージ、３６・・・記号、８０・・・合成画像、９０・・・合成画像、１０１・・・通信制御部、１０２・・・検出部、１０３・・・支援側表示部、１０４・・・仮想モデル格納部、１０５・・・選択部、１０６・・・モーションキャプチャデバイス、１１０・・・画面制御部、１１２・・・センサ、１１４・・・マイク、１１６・・・スピーカ、１１８・・・音声制御部、１２０・・・モデル生成部、１２２・・・モデル補正部、１３０・・・操作部位検出部、１３１・・・通信制御部、１３２・・・ポインティングデバイス、２０１・・・通信制御部、２０２・・・作業側表示部、２０４・・・撮像部、２１０・・・画面制御部、２１２・・・センサ、２１４・・・マイク、２１６・・・スピーカ、２１８・・・音声制御部、２２０・・・補正用情報生成部、２３０・・・画像生成部、２３１・・・通信制御部、２３２・・・作業側仮想モデル格納部、２４１・・・マーカー検出部、２４２・・・調整部、２４３・・・読取部、２２００・・・コンピュータ、２２０１・・・ＤＶＤ－ＲＯＭ、２２１０・・・ホストコントローラ、２２１２・・・ＣＰＵ、２２１４・・・ＲＡＭ、２２１６・・・グラフィックコントローラ、２２１８・・・ディスプレイデバイス、２２２０・・・入／出力コントローラ、２２２２・・・通信インタフェース、２２２４・・・ハードディスクドライブ、２２２６・・・ＤＶＤ－ＲＯＭドライブ、２２３０・・・ＲＯＭ、２２４０・・・入／出力チップ、２２４２・・・キーボード

Claims (12)

1. 設備を模した仮想モデルを表示する支援側表示部と、前記仮想モデルに対する支援者の身体動作を検出する検出部と、前記仮想モデルに対する前記身体動作の情報を送信する送信部と、を有する支援側装置と、
   受信した前記身体動作の情報に基づいて前記身体動作を示す仮想化された画像を表示する作業側表示部を備える作業側装置と、を備える支援システム。
2. 前記検出部によって検出される前記身体動作は、三次元空間における前記支援者の身体の少なくとも一部についての位置情報を含む、
   請求項１に記載の支援システム。
3. 前記設備において予め定められた位置に基準点マーカーが設けられており、
   前記仮想モデルは、前記基準点マーカーに対応する位置に設けられた基準点と、前記基準点に基づく三次元座標である基準座標とが設けられており、
   前記検出部によって検出される前記身体動作は、前記基準座標における、前記支援者の身体の少なくとも一部についての位置情報を含んでおり、
   前記作業側装置は、
   前記設備における基準点マーカーを検出するマーカー検出部と、
   前記設備の画像に対して前記仮想化された画像を合成する位置を、前記基準点マーカーの検出結果と、受信した前記身体動作の情報に含まれる前記位置情報とに基づいて調整する調整部と、を備える、
   請求項１または２に記載の支援システム。
4. 前記支援側装置は、複数の仮想モデルの中から前記設備に対応する前記仮想モデルを選択する選択部をさらに備える
   請求項１から３のいずれか一項に記載の支援システム。
5. 前記選択部は、前記支援者の指示に基づいて前記複数の仮想モデルの中から前記設備に対応する前記仮想モデルを選択する、
   請求項４に記載の支援システム。
6. 前記設備には、設備を識別するための識別画像が表示されており、
   前記作業側装置は、前記識別画像を読み取る読取部と、
   前記読取部によって前記識別画像を読み取って得られた識別情報を前記支援側装置に送信する識別情報送信部と、をさらに備えており、
   前記選択部は、前記作業側装置から受信した前記識別情報によって複数の仮想モデルの中から前記設備に対応する仮想モデルを選択する、
   請求項４に記載の支援システム。
7. 前記作業側装置は、前記設備を撮像して設備画像を得る撮像部と、
   前記設備画像を前記支援側装置に送信する設備画像送信部と、をさらに備えており、
   前記支援側装置は、前記作業側装置から受信した前記設備画像に基づいて前記仮想モデルを生成するモデル生成部をさらに備える、
   請求項１から３のいずれか一項に記載の支援システム。
8. 前記作業側装置は、前記設備を撮像して設備画像を得る撮像部と、
   前記設備画像に基づいて補正用情報を生成する補正用情報生成部と、
   前記補正用情報を前記支援側装置に送信する補正用情報送信部と、をさらに備えており、
   前記支援側装置は、前記作業側装置から受信した前記補正用情報に基づいて前記仮想モデルを補正するモデル補正部をさらに備える、
   請求項１から３のいずれか一項に記載の支援システム。
9. 前記補正用情報生成部は、前記支援側装置から受信した仮想モデルと前記設備画像とを比較して前記補正用情報を生成する、
   請求項８に記載の支援システム。
10. 支援側装置と、前記支援側装置と通信可能な作業側装置とにより作業を支援する支援方法であって、
    前記支援側装置において、設備を模した仮想モデルを表示する段階と、
    前記仮想モデルに応じた支援者の身体動作を検出する段階と、
    前記仮想モデルに対する前記支援者の前記身体動作の情報を送信する段階と、
    前記身体動作の情報を前記作業側装置が受信する段階と、
    前記作業側装置において、受信した前記身体動作の情報に基づいて前記身体動作を示す仮想化された画像を表示する段階と、
    を備える支援方法。
11. 設備が設けられた作業現場における作業側装置との間でネットワークを介して通信可能に接続される支援側装置であって、
    前記設備を模した仮想モデルを表示する支援側表示部と、
    前記仮想モデルに応じた支援者の身体動作を検出する検出部と、
    前記仮想モデルに対する前記支援者の前記身体動作の情報を前記作業側装置に送信する送信部と、を備える支援側装置。
12. コンピュータを、請求項１１に記載の支援側装置として機能させるためのプログラム。

Images