JP2017064831A - 遠隔作業支援システム及び遠隔作業支援方法 - Google Patents

Abstract

【課題】トレーニング等で以前に蓄積したデータに基づいて、適切な操作方法を立案・提示することで、遠隔装置を操作する作業を支援することができる技術を提供する。【解決手段】操作者が制御装置を介して遠隔装置を操作して行う遠隔作業を支援するための遠隔作業支援システムであって、センサ群として、第１のセンサ群と、第２のセンサ群と、第３のセンサ群と、記憶装置として、第１の記憶装置と、第２の記憶装置と、第３の記憶装置と、表示モニタを含み、記憶装置に記憶された情報を用いて得た処理結果を表示モニタに表示し、処理結果を制御装置に与えて遠隔装置を操作する処理装置を備え、遠隔装置のミッションを推定し、操作者の遠隔装置に対する行動の履歴を抽出し、操作者−遠隔装置間情報を用いて操作者が操作作業を行う環境および、第１の処理ステップと、第２の処理ステップで構成される記録モードを有することを特徴とする。【選択図】図１

Description

本発明は、ロボットなどの遠隔装置を操作して行う作業を支援する遠隔作業支援システム及び遠隔作業支援方法に係り、特に、遠隔装置を操作する作業が行われる環境が未知である、あるいは、遠隔操作に習熟していない人が操作者である、といった作業の困難さが想定される場合において、トレーニング等で以前に蓄積したデータに基づいて、適切な操作方法を立案・提示することができる遠隔作業支援システム及び遠隔作業支援方法に関する。

従来から、遠隔の地で作業を行わせる用途が多々存在している。これら遠隔の地は、例えば原子炉の炉内、化学プラント内、破棄物処理場、下水場、宇宙空間、深海などであり、多くの場合に人間が入れない、または人間にとって劣悪な環境である。またここで行われる作業の例は、各種設備の点検や保全、補修や取替え、調査、分析などであり、人間に代わって、遠隔で作業を行うロボットや治具といった遠隔装置を用いた遠隔作業が行われる。

遠隔作業は、ある目的に沿って実施されるものであり、作業は、さらに、複数の細かい作業ステップに分割される。それらの複数の作業の一部には、人が実施できるものも含まれるが、通常は、複数の作業ステップに応じて、複数の遠隔装置を準備して作業が行われることになる。複数の遠隔装置が用いられるということは、それらの装置の操作者も複数の人が対応にあたることが考えられる。

遠隔作業の例として、原子力発電プラント等における保全作業を例に、その活動の概要を説明する。第一に、作業の基本計画として、作業の目的、作業の対象設備、作業が行われる周辺環境、作業手順、遠隔装置の種類、遠隔装置の投入及び撤去の方法・位置・装置、工程、制約条件（温度、湿度など）などが、図面や仕様書などのドキュメントを参照しながら、検討・立案される。特に、プラント内では、設備や建屋の寸法から、遠隔装置の寸法や動作が制約を受ける。仮に図面に細部の情報が網羅されていない場合や、アズビルド寸法のように、図面と実態に若干の差異が見られる場合には、遠隔装置の作業性やアクセス性に制限が生じる可能性がある。

一方、保全作業そのものも、ある系統のバルブの保全作業が終了しないと、当該系統の配管の保全作業が実施できない、といった保全作業そのものにも作業順序の制約がある。しがたって、それぞれの作業手順や、作業ステップで想定される所用時間の把握が、全体の保全作業の工程にも大きな影響を与える。複数の遠隔装置は、場合によって、シーケンシャルに、または、パラレルに作業を行い、作業の順序を考慮して作業が進められる。

また、配管や原子炉内設備を補修・修理する場合においても、ステンレス鋼などの金属構造物を機械加工、放電加工、レーザ等で切断や研磨を行う場合があり、遠隔装置の制御条件、例えば、印加電圧などの付与エネルギーや、加工ヘッドと対象物の距離、加工ヘッドの移動速度など、遠隔であるにも関わらず、高精度な制御が必要となる。このような緻密な作業に対する適切な制御条件を導き出すために、模擬環境でのトレーニングにより、装置の条件を、パラメータ試験によって、最適な条件を見出していくことが重要である。

一方で、遠隔装置は人が操作するものであり、保全における遠隔装置は、保全作業ごとに新規な装置や特殊用途用の装置であることがあり、装置の操作に簡単に熟練することが困難である。そのため、人に対するトレーニングという意味においても、前述したように、
模擬環境でのトレーニングにより、遠隔装置の操作を習得する。この習得の中には、装置ごとの特性やクセといった、当該装置固有の操作ノウハウも含まれる。これらは、一般に、マニュアルなどのドキュメント化がなされていないことも多く、暗黙知を、経験をもって習得するという要素もある。

さらに、遠隔装置を操作する作業を行っている現場では、経験や特性などの異なる複数の作業者が同時に作業しており、複数のメンバがチームで作業する場合もある。ある装置Ａの操作者Ａにとっては、別の装置Ｂ（例えば、監視カメラなど）の画像を見て作業する方が操作が容易であるという場合には、装置Ｂの操作者Ｂと会話をして、どのようなタイミングで、どのような画像条件（画像の広さ、明るさなど）がよいかを、トレーニング等の機会を通じて互いに習得していくことになる。操作者が置かれる環境は、人と人、すなわち、操作者と操作者の関係という環境以外に、作業への要求（精度重視、速度重視など）や、現場の環境（気温、騒音）、経験、プレッシャーなど、さまざまな外的・内的な環境下に晒されており、それらの環境因子が、作業性に影響を及ぼす可能性もある。

このように遠隔装置を操作することは、作業対象に関する情報、すなわち、遠隔装置がどのような目的やミッションを帯びているか、また、遠隔装置の制御パラメータ、その他、操作者による操作ノウハウや、操作者を取り巻く外的・内的な環境など、複数の因子の影響を受け、作業を支援し、作業がより良好に実施されることが望まれている。

遠隔操作を実現するに当たり、上記のような課題を解決すべく、従来から多くの提案がなされている。例えば特許文献１では、遠隔作業に関する情報、例えば、作業手順、図面、加工・組立て順序、機能試験で実施した操作の動作結果、実機作業時の工程、作業者の作業時間、装置の稼働時間等のデータを、関連部署間で通信により共有化し、作業を効率化する技術を提案している。

また、特許文献２では、ユーザの置かれた環境あるいはその環境における位置姿勢あるいは時刻あるいは状態あるいは情動に合わせて、有効な情報を呈示することにより、ユーザの活動支援を行うユーザ支援装置を提案している。

また、特許文献３では、人間によるロボットの遠隔操作に対して、少ない時間で操作を習得するために、タッチスクリーン上でロボットのコンピュータグラフィックスをタッチ操作する直感的なインターフェースを提案している。

国際公開Ｗ０２００３／１００６７８ 特開２００５ー３３２３０９号公報 特開２０１２ー１７１０２４号公報

以上のように、遠隔操作を円滑に行うべく、多くの提案がなされている。しかしながら、特許文献１の技術では、作業対象の情報や、遠隔装置がどのようなパラメータや時間で操作されたかという記憶は残るが、操作者がどのようなノウハウをもって実際に操作していたかといった装置と人の関わりで生じる情報や、複数の操作者間でどのような質・量の情報を授受していたかといった、人に伴う情報はデータとして記憶されていない。このため、遠隔装置に対する人の作業において、装置側以外に潜んでいる知識やノウハウ、問題を把握することができず、人による操作の支援に必要な情報が不足し、遠隔装置による良好な作業を再現できないという課題があった。

また特許文献２の技術では、ユーザが置かれている環境やユーザが所望する目的などに関する情報、例えば、ユーザがエレベータ等の他の装置にどう働きかけようとしているかという人と遠隔装置の関わりで生じる情報、については活用される。しかし、ロボットなどの遠隔操作に適用する場合、遠隔装置がどのような遠隔作業のミッションを帯びているかを知りえることができない。遠隔作業の目的と、ユーザの行動を紐付けた情報として活用できず、類似の遠隔作業が発生した場合に、推奨される適切なユーザ行動を分析・提示することができないという課題があった。

特許文献３の技術では、人と遠隔装置の関わりで生じる、ヒューマン・マシン・インターフェースに関して、より良好な操作を提供することは可能であるが、遠隔装置の操作そのものの制御パラメータを最適にするといった遠隔装置そのものの問題や、より良好な操作を得るために操作者がおかれている環境に関する問題についての言及がなく、人による操作の支援に必要な情報が不足し、遠隔装置による良好な作業を再現できないという課題があった。

このように、遠隔装置を適切に操作するためには、遠隔装置がどのようなパラメータや時間で操作されたかという記憶の他、操作者がどのようなノウハウをもって実際に操作していたかといった装置と人の関わりで生じる情報や、複数の操作者間でどのような質・量の情報を授受していたかといった、人に伴う情報を活用する必要があるが、上述した既存の技術では、これらの情報を活用することが困難であるという課題がある。

以上のことから本発明においては、トレーニング等で以前に蓄積したデータに基づいて、適切な操作方法を立案・提示することで、遠隔装置を操作する作業を支援することができる技術を提供することができる遠隔作業支援システム及び遠隔作業支援方法を提供することを目的とする。

以上のことから本発明は、操作者が制御装置を介して遠隔装置を操作して行う遠隔作業を支援するための遠隔作業支援システムであって、センサ群として、遠隔装置の動きを検知する第１のセンサ群と、制御装置を介して遠隔装置を操作する操作者の動きを検知する第２のセンサ群と、遠隔装置の動きと操作者の動きを互いに関連付けて検知する第３のセンサ群と、記憶装置として、第１のセンサ群が検知した情報を遠隔装置関連情報として記憶する第１の記憶装置と、第２のセンサ群が検知した情報を操作者関連情報として記憶する第２の記憶装置と、第３のセンサ群が検知した情報を操作者−遠隔装置間情報として記憶する第３の記憶装置と、表示モニタを含み、記憶装置に記憶された情報を用いて得た処理結果を表示モニタに表示し、処理結果を制御装置に与えて遠隔装置を操作する処理装置を備え、処理装置は、遠隔装置関連情報を用いて記憶したデータの相互関係から、遠隔装置のミッションを推定し、操作者関連情報を用いて操作者の遠隔装置に対する行動の履歴を抽出し、操作者−遠隔装置間情報を用いて操作者が操作作業を行う環境および、操作者と他の操作者に対する行動の履歴を抽出する第１の処理ステップと、第１の処理ステップで推定したミッションと抽出した履歴を紐づけして統合分析データを得、参照データとして記憶する第２の処理ステップで構成される記録モードを有することを特徴とする。

また本発明は、操作者が制御装置を介して遠隔装置を操作して行う遠隔作業を支援するための遠隔作業支援方法であって、操作者が制御装置を介して遠隔装置を操作する作業を繰り返し実行する事前トレーニング段階において、当該繰り返し作業中における遠隔装置の動きを遠隔装置関連情報として記憶し、遠隔装置を操作する操作者の動きを操作者関連情報として記憶し、遠隔装置の動きと操作者の動きを互いに関連付けて操作者−遠隔装置間情報として記憶するとともに、遠隔装置関連情報を用いて記憶したデータの相互関係から、遠隔装置のミッションを推定し、操作者関連情報を用いて操作者の遠隔装置に対する行動の履歴を抽出し、操作者−遠隔装置間情報を用いて操作者が操作作業を行う環境および、操作者と他の操作者に対する行動の履歴を抽出し、推定したミッションと抽出した履歴を紐づけして得た統合分析データを参照データとして得、操作者が制御装置を介して遠隔装置を操作する作業を実行する実作業段階において、参照データと、実作業段階での遠隔作業中に得た統合分析データを比較し、遠隔作業中のミッションを行うための推奨される行動および成否指標を得えることを特徴とする。

本発明によれば、遠隔装置に関する情報と、操作者と遠隔装置の関わりで生じる情報と、人に伴う情報の３種類の情報を活用することで、トレーニング等で以前に蓄積したデータに基づいて、適切な操作方法を立案・提示することで、遠隔装置を操作する作業を支援することができる。

本発明の遠隔作業支援システムの構成例を示す図。 複数の遠隔作業について一人ずつ操作者が操作する場合の構成例を示す図。 複数の遠隔作業について一部の遠隔装置の操作を自動化している場合の構成例を示す図。 複数の遠隔作業に対して、全ての遠隔装置の操作を自動化している場合の構成例を示す図。 処理ステップＳ１３２における制御カテゴリの前分析を説明するために、遠隔装置の制御パラメータの時系列データの例を示す図。 処理ステップＳ１３４における操作者−遠隔装置間の制御行動情報ＤＲ／Ｍの前分析を説明するためのものであり、操作者の視線の時系列データの例を示す図。 処理ステップＳ１３６における操作者行動情報ＤＭの前分析を説明するためのものであり、複数操作者の発声の時系列データの例を示す図。 データの可視化表示事例を示す図。 遠隔作業支援システムを用いて行う動作モードを選択するための処理フローを示す図。 本発明の遠隔作業支援システムにおける記録モードのフローを示す図。 本発明の遠隔作業支援システムにおける再生モードのフローを示す図。 本発明の遠隔作業支援システムにおける支援モードのフローを示す図。 本発明の遠隔作業支援システムにおける統合分析データ生成フローを示す図。 本発明の遠隔作業支援システムにおける統合分析データによる操作支援フローを示す図。 遠隔装置関連情報記憶装置ＤＢａに保存される情報ＤＲの例を示す図。 操作者−遠隔装置間情報記憶装置ＤＢｂに保存される情報ＤＲ／Ｍの例を示す図。 操作者関連情報記憶装置ＤＢｃに保存される情報ＤＭの例を示す図。 解析・可視化部Ｖに保存される統合分析データの例を示す図。 遠隔装置関連情報からミッション推定の方法の一例を示す図。 分析データの可視化表示事例を示す図。 遠隔装置であるカメラにより現場作業内容を把握する場合を例として遠隔作業支援について説明するための図。 複数のトライアルで記録したトレーニングデータの一例を示す図。

以下、図示した実施例に基づいて、本発明の遠隔作業支援システム及び遠隔作業支援方法について説明する。

図１は、本発明の遠隔作業支援システムの構成例を示す図である。図１の遠隔作業支援システムは、大別すると各種のセンサ群Ｓａ、Ｓｂ、Ｓｃと、各種の記憶装置ＤＢａ、ＤＢｂ、ＤＢｃと、複数の遠隔装置Ｒ１〜Ｒｎと、遠隔装置Ｒ１〜Ｒｎを操作する複数の制御装置Ｃ１〜Ｃｎと、解析・可視化部Ｖにより構成されている。この遠隔作業支援システムでは、操作者Ｍ１〜Ｍｎが制御装置Ｃ１〜Ｃｎを介して、最終的に遠隔装置Ｒ１〜Ｒｎを操作している。

この構成例によれば、ＤＢａは複数の遠隔装置Ｒ１〜Ｒｎに関連する遠隔装置関連情報ＤＲを記憶する遠隔装置関連情報記憶装置であって、センサ群Ｓａを介して複数の遠隔装置Ｒ１〜Ｒｎの夫々の動きなどを検知し、入力記憶する。従ってこの部分は遠隔装置Ｒ１〜Ｒｎ側の動きを記憶、監視しているものである。

ＤＢｃは操作者Ｍ１〜Ｍｎに関連する操作者関連情報ＤＭを記憶する操作者関連情報記憶装置であって、センサ群Ｓｃを介して複数の操作者Ｍ１〜Ｍｎの夫々の動きなどを検知し、入力記憶する。従ってこの部分は操作者Ｍ１〜Ｍｎの一般的な行動、動きを記憶、監視しているものである。

ＤＢｂは操作者Ｍ１〜Ｍｎが、制御装置Ｃ１〜Ｃｎを用いて遠隔装置Ｒ１〜Ｒｎを操作している状況を、操作者Ｍ１〜Ｍｎに関連する操作者関連情報ＤＭと、遠隔装置Ｒ１〜Ｒｎの遠隔装置関連情報ＤＲを関連付けた操作者−遠隔装置間情報ＤＲ／Ｍとして記憶する操作者ー遠隔装置間情報記憶装置であって、センサ群Ｓｂを介して複数の遠隔装置Ｒ１〜Ｒｎの夫々の動きと複数の操作者Ｍ１〜Ｍｎの夫々の動きを互いに関連付けて検知し、入力記憶する。従って、この部分は、操作者Ｍ１〜Ｍｎが制御装置Ｃ１〜Ｃｎを用いて遠隔装置Ｒ１〜Ｒｎを操作した状況についての行動、動きを記憶、監視しているものである。

図１は、典型的な遠隔作業支援システムの構成例を示しているが、この具体的な実例を示したものが図２、図３、図４に例示されている。このうち図２の例では、複数の遠隔作業に対して、一人ずつ操作者が操作している場合の構成例を示している。

図２において、遠隔装置は例えば、作業アームＲ１であり、あるいは作業アームＲ１の作業状況を撮影するカメラ付きアームＲ２である。それぞれの遠隔装置Ｒ１、Ｒ２には、制御装置Ｃ１、Ｃ２がそれぞれ接続されており、それぞれの制御装置Ｃ１、Ｃ２については、それぞれの操作者Ｍ１、Ｍ２が操作を分担している。なお図２ではさらに第３の操作者Ｍ３が関与している例を示している。操作者Ｍ３は例えば管理責任者であり、現場操作者であるＭ１、Ｍ２の背後から制御装置Ｃ３のモニタ画面などを見ながら、作業報告を受け、あるいは作業指示を与えている。なお２０１は、作業アームＲ１による作業対象である保全対象機器である。

またこの図には、３種類のセンサ群Ｓａ、Ｓｂ、Ｓｃの例が記載されている。図の例では、遠隔装置である作業アームＲ１の動きなどを検知するセンサＳａとして、カメラ付きアームＲ２に搭載されて視野角を可変に操作可能なカメラＳａ１が例示されている。

操作者Ｍ１、Ｍ２の一般的な行動、動きを検知するセンサＳｃとして、Ｓｃ１からＳｃ７が例示されている。Ｓｃ１は、管理責任者Ｍ３のヘルメットに固定されたカメラであり、現場の操作者であるＭ１、Ｍ２の背後からその動きを視野に入れて画像情報としてデータ入手している。またＳｃ２、Ｓｃ４、Ｓｃ６は、各操作者Ｍ１、Ｍ２、Ｍ３の音声を記憶するマイクであり、Ｓｃ３、Ｓｃ５、Ｓｃ７は、各操作者Ｍ１、Ｍ２、Ｍ３の体の動きを計測する振動計である。

操作者Ｍ１、Ｍ２が、制御装置Ｃ１、Ｃ２を用いて遠隔装置Ｒ１、Ｒ２を操作している状況を記憶するセンサＳｂは、図示の例では操作員Ｍ１、Ｍ２と制御装置Ｃ１、Ｃ２を共に視野角内に収めるカメラＳｂ２である。

図２の具体事例の場合における各種のセンサ群Ｓａ、Ｓｂ、Ｓｃは、上記のようなものであるが、一般的にはさらに以下のようなセンサ類が適用可能であり、適宜の記憶装置に記憶することが可能である。

例えば、遠隔装置の状態を計測するセンサ群Ｓａの例として、エンコーダ、ポテンショ、電流メータ、電圧メータ、圧力計などがある。遠隔装置に対する指示パラメータおよびセンサ群Ｓａの出力結果は、例えば図１５に示すようなデータ（遠隔装置関連情報ＤＲ）として、遠隔装置関連情報記憶装置ＤＢａに保存される。

なお遠隔装置関連情報記憶装置ＤＢａに保存される図１５の遠隔装置関連情報ＤＲとしては、共通項目として遠隔装置の識別番号とデータ取得の日付時刻の情報が付与される。またそのうえで制御情報であれば具体的なアクチュエータ、操作端の制御値が時刻とともに記憶され、位置情報であれば具体的なエンコーダの指示値が時刻とともに記憶され、計測情報であれば例えばカメラ映像として記憶されるのがよい。これらの遠隔装置関連情報ＤＲは、その性格を端的に表現するならば、制御記録ということができる。

操作者Ｍ１、Ｍ２が、制御装置Ｃ１、Ｃ２を用いて遠隔装置Ｒ１、Ｒ２を操作している状況を記憶するセンサＳｂには、制御装置側のものと操作者側のものが存在する。このうち、操作者Ｍ１、Ｍ２によって制御される制御装置Ｃ１、Ｃ２の側についてみると、制御装置Ｃ１、Ｃ２には通常、複数のボタン、スイッチや、コンピュータシステムの場合のコントロールパネルなどの操作手段が配置されており、それらの操作手段を用いて、操作者Ｍ１、Ｍ２が遠隔装置を操作している。従って操作者がどのように遠隔装置を操作したかの履歴を分析するためには、制御装置Ｃ１、Ｃ２における上記操作手段の操作記録を監視すればよい。

他方、操作者Ｍ１、Ｍ２による遠隔装置側に対する行動を記憶するものとしては、操作者Ｍ１、Ｍ２の顔を可視光や赤外線等で写す視線を検知するカメラや、操作者Ｍ１、Ｍ２が身につけているヘルメット等に取り付けて操作者Ｍ１、Ｍ２の見ている視野を記憶する視野カメラがある。

これらセンサ群Ｓｂによる計測結果には、制御装置における、複数のボタン、スイッチや、コンピュータシステムの場合のコントロールパネルなどの操作手段が作動した（操作者からアクションがあった）ログ、マウスなどのポインティングデバイスの位置やクリック等の履歴や、キーボード等からの文字入力の履歴、マイクロフォン等による音声入力の履歴も、操作者―遠隔装置間情報に含まれる。

これらの情報は、例えば図１６に示すようなデータ（操作者から遠隔装置間情報ＤＲ／Ｍ）として、操作者から遠隔装置間情報記憶装置ＤＢｂに保存される。

なお操作者から遠隔装置間情報記憶装置ＤＢｂに保存される図１６の操作者―遠隔装置間情報ＤＲ／Ｍとしては、共通項目として遠隔装置、制御装置、操作者の識別番号とデータ取得の日付時刻の情報が付与される。またそのうえで制御行動であれば具体的な指令先指令値が時刻とともに記憶され、計測情報であれば例えば、操作者を撮影し操作者の視線情報などを抽出したカメラ映像、操作者目線で撮影し操作者の視覚情報を抽出したカメラ映像、ポインティングデバイス位置、ソフトウェア故障個所、キーボからド入力情報などを時刻とともに記憶されるのがよい。これらの操作者―遠隔装置間情報ＤＲ／Ｍは、その性格を端的に表現するならば、制御行動記録ということができる。

最後に、センサ群Ｓｃについてみると、操作者Ｍ１、Ｍ２が遠隔装置Ｒ１、Ｒ２を制御する場合、操作者Ｍ１、Ｍ２の周囲の環境にも、遠隔装置Ｒ１、Ｒ２の操作の成否は影響を受ける。例えば、操作者Ｍ１が別の操作者である管理責任者Ｍ３と会話をして、遠隔装置Ｒ１、Ｒ２の操作に必要な重要な情報を聞き出す、あるいは、動作の状況を確認・連絡する、といった状況が考えられる。これらの操作者間の動作の履歴は、通常の制御装置Ｃ１、Ｃ２には記憶されないため、操作者Ｍ１と操作者Ｍ３の間の情報を記憶するために、センサ群Ｓｃによる計測が必要となる。

センサ群Ｓｃとしては、例えば、操作者の発話を記憶するマイクロフォンや、操作者全員を指示・監督する立場の操作者である管理責任者Ｍ３が携帯するヘルメット等に取り付けた状況監視カメラ、操作者の体の動きを計測する振動計、などがある。また、操作者をとりまく環境も操作の成否に影響を与える可能性があるため、温度、湿度、騒音といった環境状況を測定する計測器もセンサ群Ｓｃに含まれるのがよい。

これらのセンサ群Ｓｃの計測結果は、例えば、図１７に示すようなデータ（操作者関連情報ＤＭ）として、操作者関連情報記憶装置ＤＢｃに保存される。

なお操作者関連情報記憶装置ＤＢｃに保存される図１７の操作者関連情報ＤＭとしては、共通項目として操作者の識別番号とデータ取得の日付時刻の情報が付与される。またそのうえで計測情報について例えば、発話情報に基づく対話状況を抽出したマイクロフォン情報、操作者の位置情報を抽出したカメラ映像、操作者の身体の動きの情報を抽出した振動情報、気温、湿度、時間などの環境情報などが、時刻とともに記憶されるのがよい。これらの操作者関連情報ＤＭは、その性格を端的に表現するならば、操作者行動記録ということができる。

生成されたこれらの情報（遠隔装置関連情報ＤＲ、操作者−遠隔装置間情報ＤＲ／Ｍ、操作者関連情報ＤＭ）は、各記憶装置ＤＢａ、ＤＢｂ、ＤＢｃに記憶されたのち、解析・可視化部Ｖ内の記憶装置ＤＢｄ（図２参照）に移される。解析・可視化部Ｖでは、生成されたデータの保存の他、データの内容を後述のように分析し、図１８に示すような、統合分析データＤＸとして、分析結果を保存する。

図１８の統合分析データＤＸの一例によれば、共通項目として操作者の識別番号とデータ取得の日付時刻の情報が付与される。また分析データとしては、遠隔装置関連情報（制御記録）ＤＲからの分析情報と、操作者−遠隔装置間情報（制御行動記録）ＤＲ／Ｍからの分析情報と、操作者関連情報（操作者行動記録）ＤＭからの分析情報とで、構成されている。

遠隔装置関連情報（制御記録）ＤＲからの分析情報としては、抽出されたミッションのリスト、時間とミッションの対応データ、遠隔作業に使用された遠隔装置のリスト、ミッションの成功・失敗の程度を表わす指標などが含まれる。

操作者から遠隔装置間情報（制御行動記録）ＤＲ／Ｍからの分析情報としては、操作者の操作中に使用した情報（視線、資格情報、ポインティングデバイス位置、ソフトウェア操作、キーボード入力情報）を時刻ごとに整理したデータ、操作者の操作中に使用した情報（視線、資格情報、ポインティングデバイス位置、ソフトウェア操作、キーボード入力情報）を時刻に対して統計処理し、頻度別に整理したデータ、ミッションとの相関値などがある。

操作者関連情報（操作者行動記録）ＤＭからの分析情報としては、操作者の行動情報（対話の相手、発話、位置、身体の動き）を時刻ごとに整理したデータ、操作者の行動情報（対話の相手、発話、位置、身体の動き）を時刻に対して統計処理し、頻度別に整理したデータ、操作者の環境情報（気温、湿度、騒音）を時刻ごとに整理したデータ、ミッションとの相関値などがある。

なお、保存された分析結果は、データを読み出して、再生することができ、分析結果を更新・修正し、再度、分析結果として保存することができる。これらの分析結果や、さらに以前に生成され保存された、当該遠隔作業とはミッションや目的の異なる遠隔作業に関する外部データを参考にして、実際に遠隔装置を作業するための参照データとして、これらの記憶されたデータは活用され、遠隔作業の支援に適用される。

先にも述べたように、図２、図３、図４は、本発明の遠隔作業支援システムを例えばプラントの保全に適用した一例を示す図である。図２は、複数の遠隔作業について一人ずつ操作者が操作する場合の構成例を示しており、図３は複数の遠隔作業について一部の遠隔装置の操作を自動化している場合の構成例を示しており、図４は複数の遠隔作業に対して、全ての遠隔装置の操作を自動化している場合の構成例を示している。図３では、操作者Ｍ２の部分を自動化した構成を示しており、図４では操作者Ｍ１、Ｍ２の部分を自動化した構成を示している。いずれの場合にも、管理責任者Ｍ３が立ち会っている。

これらの統合分析データＤＸの保存・再生・支援の処理は、図９に示した機能のモード選択の処理フロー、図１０に示した記録モードの処理フロー、図１１に示した再生モードの処理フロー、図１２、図１３、図１４に示した支援モードの処理フローによって、実行される。これらの処理フローの詳細については、後述する。

ここであらためて、遠隔装置の支援の必要性について説明しておく。プラントなどにおける保全作業は、機器の故障や修理など、日々作業現場の環境が変化していく。また、熟練作業者が減少するという社会潮流を受け、作業に携わるメンバの人数・技量・構成が変化することが想定される。このように、変化する環境（未知環境）や熟練した操作者が不足する現場においても、よりよい遠隔作業を実施する必要がある。

このための対策として、従来、想定しうる作業環境を模擬して、作業に携わる可能性のある複数のメンバやチームによって、トレーニングやモックアップ試験という事前訓練が実施されている。これらの訓練により、操作者の熟練度を向上させるとともに、装置や環境、作業者同士、環境になれ、実際に遠隔作業を行う本番での作業に備えている。限られた人員と時間で遠隔作業の訓練を行うため、より効率的な遠隔作業を支援することが望まれる。

そのため、本発明では、事前に実施する訓練時において、上記の情報（遠隔装置関連情報ＤＲ、操作者−遠隔装置間情報ＤＲ／Ｍ、操作者関連情報ＤＭ）を生成し、保存して、これらのデータを参照データとする。そして、実際の作業現場で遠隔作業を実施する際に、その当該作業で生成されるデータと、参照データ（過去に生成された情報（遠隔装置関連情報ＤＲ、操作者−遠隔装置間情報ＤＲ／Ｍ、操作者関連情報ＤＭ））とを比較することで、当該作業において、過去どのような操作が望ましい結果につながったか、あるいは、過去どのような行動が失敗に繋がったかといったデータを活用して、遠隔操作の成功確率を高め、一方で、失敗の予兆を診断し、これらを可視化することで、遠隔作業を支援することができる。

遠隔作業支援には、現在行われている作業のミッションの把握と、操作者がどのように制御装置を通じて遠隔装置に働きかけたかの記憶と、作業者間のどのような質・量の行動がなされていたか、という３種類の情報を統合的に記憶することが不可欠である。ここで、統合的にという意味は、少なくとも、３種類の情報（遠隔装置関連情報ＤＲ、操作者−遠隔装置間情報ＤＲ／Ｍ、操作者関連情報ＤＭ）が時系列で整理されていることと、遠隔作業のミッションごとに整理されているということを、含んでいることを意味する。

３種類の情報（遠隔装置関連情報ＤＲ、操作者−遠隔装置間情報ＤＲ／Ｍ、操作者関連情報ＤＭ）が統合されていない場合、例えば、遠隔装置の制御パラメータの記憶しか存在しない場合は、そのパラメータをどのように操作者が入力したかという情報（ノウハウ）が欠落する。例えば、当該遠隔装置を監視する特定のカメラ画像に注目していたという記憶が残らない。したがって、トレーニングで成功した有るミッションをおびた遠隔作業を再現仕様とした場合、操作者の制御装置に対する行動を再現することが困難となるという課題がある。

また、制御装置と操作者の間のマンマシンインターフェースの記憶だけでは、実際に遠隔装置を構成するモータ等のアクチュエータをどのようなパラメータで動作させたかという情報が欠落する。また、当該操縦作業が、遠隔作業全体でどのようなミッションに該当するかという作業そのものに関する情報が欠落する。

同様に、操作者のみの情報を記憶しても、遠隔装置の操作パラメータや、操作者がどのように遠隔装置に働きかけたかといった情報（ノウハウ）が欠落する。

図１の遠隔作業支援システムは、上記のように構成されているが、ここには計算機で構成され、以下に示す処理フローを実行する処理装置が記載されていない。処理装置は、図１の解析・可視化部Ｖあるいは制御装置Ｃにおける演算機能を利用して構成されてもよく、別途専用計算機で構成されていてもよい。いずれの場合であっても、処理装置は図１の構成機器と互いに接続されて、各部の情報を共有する。また処理装置は表示モニタを含み、処理結果を表示することで操作者に各種の処理結果を提示する。また処理結果を制御装置Ｃに与えて、遠隔装置の自動制御を可能とする。

以上の点を踏まえて、処理装置で実施される本発明の処理フローについて、図９〜図１４を用いて説明する。まず、遠隔作業支援システムの動作モードの選択は、例えば、図９のようにシリアルに選択することができる。

本発明に係る遠隔作業支援システムの利用者は、システム利用に当たりいくつかの動作モードを選択することができる。動作モードの１つ目は、遠隔作業現場において今から各種の情報を入手して記憶する記録モードであり、２つ目は過去に記憶した情報を用いて過去の状況を再現する再生モードであり、３つ目は過去の経験を活かして今から行う遠隔作業を支援するための支援モードである。

図９には、遠隔作業支援システムの利用者が、遠隔作業支援システムを用いて今から行いたい動作モードを決定するための処理フローが例示されている。この処理フローでは要するに、利用者が行いたい動作モードを選択入力（処理ステップＳ１１）し、処理ステップＳ１２、Ｓ１４、Ｓ１６ではそれぞれ記録モード、再生モード、支援モードであることを判断して、当該のモードが指定されている時に、処理ステップＳ１３、Ｓ１５、Ｓ１７を実行せしめるものである。なお処理ステップＳ１３における記録モードの具体的な処理フローが図１０に示され、処理ステップＳ１５における再生モードの具体的な処理フローが図１１に示され、処理ステップＳ１７における支援モードの具体的な処理フローが図１２に示されている。

このうち処理ステップＳ１３における記録モードでは、図１０に示すように、前述の３種類の情報（遠隔装置関連情報ＤＲ、操作者−遠隔装置間情報ＤＲ／Ｍ、操作者関連情報ＤＭ）を記憶し、統合分析データを生成し、データを保存する。具体的には、例えば図２のプラントを対象とした計測監視により、処理ステップＳ１３１において図１５に例示した遠隔装置の制御記録ＤＲを入手し、処理ステップＳ１３３において図１６に例示した操作者による制御行動記録ＤＲ／Ｍを入手し、処理ステップＳ１３５において図１７に例示した操作者の行動記録ＤＭを入手する。

次に処理ステップＳ１３２において制御記録ＤＲについて制御カテゴリの前分析を行い、処理ステップＳ１３４において制御行動記録ＤＲ／Ｍについて制御行動の前分析を行い、処理ステップＳ１３６において操作者の行動記録ＤＭについて操作者行動の前分析を行う。

処理ステップＳ１３７では、各前分析の結果を用いて、図１８に例示した統合分析データＤＸを生成する。統合分析データＤＸは、処理ステップＳ１３８において解析・可視化部Ｖ内の記憶装置ＤＢｄ（図２参照）に移され保存される。尚、この場合に実行される前分析の具体的な内容について、図５から図７を用いて後述する。また処理ステップＳ１３７の具体的な処理内容について別途図１３により説明する。

処理ステップＳ１５における再生モードでは、図１１に示すように、統合分析データＤＸの読み出しの他、３種類の個別の情報（制御記録ＤＲ、制御行動記録ＤＲ／Ｍ、行動記録ＤＭ）を再生することができる。このとき、分析結果（具体的には、ミッションのカテゴリ分け、操作者の動作の水準分け、操作者間の対話状況など）を確認し、修正・更新をして新たなデータとして保存することができる。

具体的には、例えば処理ステップＳ１５１において統合分析データＤＸを読み出し、再生し、さらに処理ステップＳ１５２、Ｓ１５３、Ｓ１５４においてそれぞれ制御記録ＤＲ、制御行動記録ＤＲ／Ｍ、行動記録ＤＭを再生する。これらの再生は解析・可視化部Ｖの画面上に表示されて利用者に視認可能とされるが、この場合の可視化は時刻データが同期化された状態での表示とすることにより、過去のある時点においてプラント内で生じていた状況を総合的に把握することが可能となる。

処理ステップＳ１５５では、過去の状況をあるがままに表示再生するのではなく、各種情報（制御記録ＤＲ、制御行動記録ＤＲ／Ｍ、行動記録ＤＭ）の相関性などの分析結果について、表示し、さらには分析結果を新たなデータとして保存することもできる。処理ステップＳ１５６では、分析結果について更新保存の必要性を判断し、更新が望ましい場合には処理ステップＳ１５７において保存処理を実施する。

処理ステップＳ１７における支援モードの前半では、図１２の上半分の処理（Ｓ１３）に示すように、トレーニング等の訓練を想定した事前の遠隔作業において、統合分析データＤＸを生成する。この処理は、図１０の記録モードと基本的に同じ処理である。

ここでは例えば図２のプラントを対象とした計測監視により、処理ステップＳ１３１において図１５に例示した遠隔装置の制御記録ＤＲを入手し、処理ステップＳ１３３において図１６に例示した操作者による制御行動記録ＤＲ／Ｍを入手し、処理ステップＳ１３５において図１７に例示した操作者の行動記録ＤＭを入手する。次に処理ステップＳ１３２において制御記録ＤＲについて制御カテゴリの前分析を行い、処理ステップＳ１３４において制御行動記録ＤＲ／Ｍについて制御行動の前分析を行い、処理ステップＳ１３６において操作者の行動記録ＤＭについて操作者行動の前分析を行う。処理ステップＳ１３７では、各前分析の結果を用いて、図１８に例示した統合分析データＤＸを生成する。処理ステップＳ１３７の具体的な処理内容について別途図１３により説明する。なお処理ステップＳ１３９では、処理ステップＳ１３７で生成された統合分析データＤＸに加えて、過去の分析データや外部データも参照データとして読み込まれる。

ここで、処理ステップＳ１３２、Ｓ１３４、Ｓ１３６などで行われる前分析の具体事例を図５、図６、図７で説明する。

まず図５は、図１０、図１２の処理ステップＳ１３２における制御記録ＤＲの前分析を説明するためのものであり、遠隔装置の制御パラメータの時系列データの例を示している。図５では、横軸に時間を取り、縦軸に複数の制御パラメータの時系列的変化状況を示している。図５の各パラメータは時系列変化を示しているが、このままでは互いの相関や関連は明確でない。このことから前分析としては、例えば複数のパラメータのトレンドをプロットし、パラメータの変化の傾向が似ている時間領域（５０１〜５０３）に区分する。そのうえで、これらの区分を定量的に行う方法として、例えば、図１９に示すように、パラメータを多次元空間上にプロットし、多次元空間内の相互の距離の近さでカテゴライズをすることで、カテゴライズされたグループにおけるミッションを明らかにすることができる。制御記録ＤＲについての前分析の処理は、要するに記憶した複数のデータの相互関係から、遠隔装置のミッションを推定したものである。
なお図１９は、遠隔装置関連情報からミッション推定の方法の一例を示す図である。

図６は、図１０、図１２の処理ステップＳ１３４における操作者―遠隔装置間の制御行動ＤＲ／Ｍの前分析を説明するためのものであり、例えば、操作者の視線（どこを見ているか）についての時系列データの例に該当する。図６では、横軸に時間を取り、縦軸に対装置行動パラメータとして、遠隔装置側に対する作業者視線の時系列的変化状況を示している。図６の視線の時系列のデータをみると、ある水準にデータが偏在する領域６０１〜６０３が出現する。このことは、作業者が遠隔装置或は制御装置側のいずれかの点、或は方向について関心をもって注視していることを意味している。このように、ある水準に発生する頻度の多さから、装置への行動のカテゴライズが可能となる。制御行動ＤＲ／Ｍについての前分析の処理は、要するに記憶した複数のデータの相互関係から、操作者が操作作業を行う環境および、操作者と他の操作者に対する行動履歴を抽出したものである。

図７は、図１０、図１２の処理ステップＳ１３６における操作者行動情報ＤＭの前分析を説明するためのものであり、例えば、３人の操作者の発声についての時系列データの例に該当する。図７では、横軸に時間を取り、縦軸に３人の操作者の発話計測値を時系列に表している。図７の例の区間７０１によれば、操作者Ｍ１とＭ２がほぼ時間的に同じ区間で発話がされていることから、この区間で両者が会話したことが推定できる。このようにして、操作者間のコミュニケーションを分類・定量化が可能となる。制御行動ＤＲ／Ｍについての前分析の処理は、要するに記憶した複数のデータの相互関係から、操作者の遠隔装置に対する行動履歴を抽出したものである。

再度図１２に戻り、一連の処理フローの後半部においては、このような前分析を行った後、遠隔操作のミッションごとに、装置に対する行動、操作者に対する行動を関連させて、統合分析データとして保存する。

図１２の後半部において、処理ステップＳ１７１では、前半処理で生成された統合分析データＤＸによる操作支援を開始する。統合分析データＤＸによる操作支援処理ステップＳ１７１具体的な処理内容について別途図１４により説明する。操作支援開始されると、処理ステップＳ１７２、Ｓ１７３、Ｓ１７４では、それぞれ遠隔装置制御の可視化・提案、制御行動の可視化・提案、発明者行動の可視化・提案を実行する。これらの処理は、表示モニタ画面上に統合分析データＤＸを可視化して表示させる際に、利用者に理解しやすい、見やすい表示形式を提案して選択させるためのものである。

ちなみに、これらのデータを可視化して表示した例を図８に示す。図８は横軸に時間を取り、縦軸に遠隔装置制御、制御行動、発明者行動の各データを帯グラフで表示することで可視化を図っている。帯グラフは、最初の１本は制御のミッションのカテゴリを表している。たとえば、ｔ１からｔ２の時間においては、ある特定の行動（例えば、あるカメラ画像を見る、ある操作者と会話する）に応じて、旗マークのようなインデックスを示す。このように表示することで、統合分析データを再生した際に、どのミッションで何が起きていたかを可視化でき、分析データを修正することを容易とする。また帯や旗は当該時刻の状況を色、模様などで区別して表示することで、多様な情報を表示可能である。

また、分析データは図２０のように可視化され、あるミッションが出現する区間５０１において、操作者が遠隔装置に対して起こした行動の頻度が円グラフで表される。このとき、当該ミッションの合否の程度を表すパラメータと同時に、３種類の情報が記憶されていることから、より高い成功確率を与える行動の頻度や、逆により失敗の頻度が高い行動の頻度を可視化できる。

表示画面に可視化表示された各種のデータを確認した操作者が行動した結果を受けて、図１２の処理ステップＳ１７５、Ｓ１７６、Ｓ１７７では、新たな状態についての遠隔装置の制御記録ＤＲ、操作者による制御行動記録ＤＲ／Ｍ、操作者の行動記録ＤＭを入手する。処理ステップＳ１７８では、処理ステップＳ１７５、Ｓ１７６、Ｓ１７７で入手した新たな記憶を用いて新たな統合分析データを生成する。処理ステップＳ１７８における統合分析データ生成処理については、図１３を用いて後述する。処理ステップＳ１７９では、支援作業継続の可否を判断し、適宜継続実行する。

処理ステップＳ１７における支援モードの処理によれば、訓練より時間的に後に行われる遠隔作業において、３種類の情報（制御記録ＤＲ、制御行動記録ＤＲ／Ｍ、行動記録ＤＭ）が記憶され、前記の参照データと比較することで、現在行われている操作動作に対して、より適切にする提案や、失敗の予兆を含む動作に対する警告といった情報が可視化され、遠隔作業が支援される。

図１３は、統合分析データの生成のフローの詳細を示すである。図１０、図１２内の処理ステップＳ１３７あるいは図１２の処理ステップＳ１７８に適用される処理フローである。この処理により、前分析後の３種類の情報（制御記録ＤＲ、制御行動記録ＤＲ／Ｍ、行動記録ＤＭ）は、遠隔装置のミッションを基準とし、時系列データとミッションが紐付けされる。つまり、遠隔装置関連情報を用いて推定した遠隔装置のミッションと、操作者関連情報を用いて抽出した操作者の遠隔装置に対する行動履歴と、操作者−遠隔装置間情報を用いて抽出した操作者が操作作業を行う環境および、操作者と他の操作者に対する行動履歴が紐付けされる。

なお、図９から図１４の各モードにおける処理の結果、あるいは途中の処理過程は、適宜処理装置を構成する表示モニタなどに表示されて、利用者や操作者に供用される。また表示モニタには、適宜各種のデータベースの内容が
図１３の最初の処理ステップＳ１００では、遠隔装置Ｒの制御記録ＤＲに対する「制御カテゴリ」の前分析結果を時系列データＡとして読み込み、処理ステップＳ１０１では、操作者による制御行動記録ＤＲ／Ｍに対する「制御行動」の前分析結果を時系列データＢとして読み込み、処理ステップＳ１０２では、操作者の行動記録ＤＭに対する「操作者行動」の前分析結果を時系列データＣとして読み込む。

処理ステップＳ１０３では、時系列データＡのデータ（時間に対するミッション）を基準として、あるミッションが発生している時間に、対応したデータＢ、データＣから、ミッションとデータＢ、データＣを紐づける。なお、同様の処理は、時系列データＢのデータ（時間に対するミッション）を基準として他のデータＡ、Ｃを紐づけし、さらには時系列データＣのデータ（時間に対するミッション）を基準として他のデータＡ、Ｂを紐づけしておくのがよい。

処理ステップＳ１０４では、時間、ミッション、データＢ、データＣの内容を統合データとして生成する。

図１４は、統合分析データによる操作支援フローの詳細を示すである。図１２内の処理ステップＳ１７１に適用される処理フローである。なお、処理ステップＳ１７１の処理の前提としては、図１３の統合分析データの生成フローが実行されており、対象となる統合分析データが存在しているものとする。

図１４に示す統合分析データによる操作支援フローの最初の処理ステップＳ２００では、生成された統合分析データを入力データとして読み込む。この場合に、統合分析データは、例えば時系列データＡのデータ（時間に対するミッション）を基準として、あるミッションが発生している時間に、対応したデータＢ、データＣから、ミッションとデータＢ、データＣを紐づけした内容のものである。

さらに処理ステップＳ２０１では、過去の統合分析データおよび外部記録データ（ミッション、データＡ、データＢ、データＣの内容）を参照データとして読み込む。これらの参照データは、図１２の処理ステップＳ１３９により適宜取り込まれて利用される。

処理ステップＳ２０２では、遠隔装置の操作情報（ミッション）の他次元情報の類似度を比較する。

処理ステップＳ２０３では、統合分析データについて類似するミッション（１つあるいは複数個）を抽出し、参照データ（過去の統合分析データ及び外部記録データ）において、類似ミッションに紐づけされているデータＢおよびデータＣを読み出す。

処理ステップＳ２０４では、操作が自動操作によるものか否かを判断し、自動操作の場合には処理ステップＳ２０６の処理を実行し、自動操作でない場合には処理ステップＳ２０５の処理を実行する。

自動操作でない場合の処理ステップＳ２０５では、遠隔装置のオペレータに、類似ミッションがうまくいった場合のデータＢ、データＣを推奨値として提示する。また、遠隔装置のオペレータに、類似ミッションがうまくいかなかった場合のデータＢ、データＣを警告（失敗の予測・予兆）として提示する。

自動操作である場合の処理ステップＳ２０６では、類似ミッションがうまくいった場合のデータＡおよびデータＢに基づき遠隔装置を操作するとともに、遠隔装置のオペレータに提示する。また、遠隔装置のオペレータに、類似ミッションがうまくいかなかった場合のデータＡ、データＢ、データＣを警告（失敗の予測・予兆）として提示する。

以上、本発明に係る遠隔作業支援システムについて説明したが、以下プラント内作業の具体事例により、本発明による現場作業内容及び操作内容の一事例と、記録モード、再生モード、支援モードの各モードの具体内容について説明する。

図２１は、遠隔装置であるカメラにより現場作業内容を把握する場合を例として遠隔作業支援について説明するための図である。図２１において、遠隔装置Ｒ１は保全対象機器２０１を固定把持するロボットであり、遠隔装置Ｒ３は固定された保全対象機器２０１である配管を切断する溶接切断用のロボットであり、遠隔装置Ｒ２は保全対象機器２０１に対する固定、切断作業状態を視野角内に収めて監視するカメラ（センサＳａ１）を搭載したロボットである。

この作業では、３台のロボットを用いて配管を切断する。操作者がロボットＲ３による固定作業と、ロボットＲ１による切断作業を行い、ロボットＲ２のカメラによる監視作業は自立、自動化を図りたい。これにより、操作者は表示モニタ画面を見ながら、ロボットＲ３、Ｒ１による手元作業に集中することができる。このようにこの例では、位置や硬さの不明な配管２０１に対して、ロボットＲ１での配管把持、ロボットＲ３での切断、その全体状況の観察を行うカメラ搭載ロボットＲ２で構成して作業を行う。

遠隔作業支援システムを用いる前の事前トレーニングでは、カメラ（ロボットＲ２）は人が動かし、作業手順ごとに、どういうカメラ映像がよかったかを記録に残しておく。この事前トレーニングとその後の評価が、図１０の記録モードに対応している。

具体的には、把持や切断作業時に、配管２０１は表示モニタ画面内のどの位置に映っていて、どのロボットをどんな角度や距離で移動しているかを検討する。この結果、例えば把持作業では、配管とロボットＲ１の手先が映った、カメラ画像Ｄ２のような画像がよいということが判明する。同様に、切断作業では、配管２０１とロボットＲ１、Ｒ３が映ったカメラ画像Ｄ２のような画像が望ましい。また作業ごとの人の操作や、操作者間の会話の他、ロボットＲ３の切断に使った切断治具について、その押しつけ時間・力、ロボットＲ２の把持の位置・力・タイミング、ロボットＲ２のカメラの角度や照明、ズームなどが記録される。

トレーニングでは複数回のトライアルを実施し、これらの記録を得る。この機会を通じて、人や条件や切断対象の配管の位置や材質を変化させて繰り返しトレーニングする。また複数のトライアルで記録したトレーニングデータに対して、例えば、数値のばらつきや相関を見る。図２２は、複数のトライアルで記録したトレーニングデータの一例を示す図である。図２２の横軸は全トレーニング時間であり、３回のトライアル期間Ｔｒ１、Ｔｒ２、Ｔｒ３に分かれている。縦軸は各トライアル期間Ｔｒ１、Ｔｒ２、Ｔｒ３におけるパラメータｐ１、ｐ２、ｐ３を示している。これらのトレーニングにより得られた複数パラメータｐ１、ｐ２、ｐ３についてのトレーニングデータＥ１、Ｅ２、Ｅ３が、図１０の記録モードにおける制御記録ＤＲ、制御行動記録ＤＲ／Ｍ、行動記録ＤＭの一部として利用されている。

図２２には、一例として、３回のトライアルＴｒ１、Ｔｒ２、Ｔｒ３におけるパラメータｐ１、ｐ２、ｐ３についてのトレーニングデータをＥ１、Ｅ２、Ｅ３として示している。なお図２２では３種類のパラメータｐ１、ｐ２、ｐ３のトレーニングデータＥ１、Ｅ２、Ｅ３しか記載していないが、通常パラメータｐは数十以上大量にある。これらは、同一の時間帯で観測入手された複数のパラメータが時刻を合わせて表記されたものである。

この時間変化事例によれば、例えば、パラメータｐ１のデータＥ１は、３回のトライアルごとに右下がりの傾向は類似しているが、各トライアルにおける値は違うものとなっている。パラメータｐ１のデータＥ１として、例えば、把持用のロボットＲ１の力などのパラメータが考えられる。トライアルごとに、配管の把持という行為は同じだが、配管の姿勢や位置が異なるため、把持に必要な力が異なるものとなっている。

パラメータｐ２のデータＥ２は、トライアルごとに値も上下の変動も異なるものとなっている。パラメータｐ２のデータＥ２として、例えば、切断ロボットＲ３の切断工具にかかる電流などが考えられる。配管の材質がことなるため、硬さやもろさがことなるため、トライアルごとの試行錯誤が発生し、値がばらつくものとなっている。

パラメータｐ３のデータＥ３は、トライアルごとにほぼ同じ傾向を示すものである。パラメータｐ３のデータＥ３として、例えば、カメラのズームの程度などが考えられる。配管の位置や材質によらず、どこをどの程度拡大または縮小してみると作業者が作業しやすいか、という問題は変化がすくないものとなっている。

例えばこのようにして、複数のトライアルを含むトレーニングデータの、トライアルごとの変化を分析することも、図１０の記録モードでの前分析に相当する処理である。図５から図７の前分析は、このトレーニング段階で入手したデータを対象として行われる。

この結果を用いて、人の作業からロボットの自律・自動的な作業として選定するのに望ましい作業が選ばれる。具体的には、トライアルごとに、上下の変動や絶対値の変化が大きくない操作が、ロボットの自律・自動的な作業として選定するにふさわしい作業である。トレーニングで得られた値の平均および標準偏差を取得して、あるしきい値に入る確率が高い作業が選定されることになる。今回の例では、パラメータｐ３のデータＥ３のカメラ操作が候補となる。

図１０の記録モードにおける統合分析データ生成では、図２１の各作業（把持、切断、監視）において、相関的な関係が導かれる。例えば、作業が選ばれた後は、カメラ操作全体の自律化・自動化を検討するため、トライアルに含まれる個別のミッションの分類、ミッションごとのカメラ操作のパラメータ（位置、角度、ズーム、照明など）について、パラメータの値の傾向（値の平均・標準偏差、大小の変化など）が統合分析データＤＸとして生成され、記録される。以上の処理が図１０の記録モードで行われる具体的な作業内容である。

図１１の再生モードは、統合分析データＤＸとして求められた各作業（把持、切断、監視）の相関的な関係を、時系列的に正確に再現することである。なお記録されたデータは、これを表示モニタに表示して、ミッションやカテゴリの分類に不適切なものがないか、例えば、非熟練者のトレーニングのためのトライアルが入っているということがないかを人間の手によって調査し、排除などの処理をするのがよい。あるいは、統計データをとって、大きく値や傾向がはずれているトライアルを自動的に記録データから排除などの処理をするのがよい。以上が再生モードであり、データの排除は、更新（図１１の処理ステップＳ１５５）にあたる。

図１２の支援モードでは、トレーニングではなく、実際の作業にこの手法を適用する。支援モードはトレーニングと異なるため、支援モードの前半（図１２、処理ステップＳ１３）では、ロボットや操作者のパラメータを記録・分析することで、トレーニングで実施したどのミッションに近い動作をしているか、図１２の過去の統合分析データ、あるいは外部データを参考に分類する。

次に統合分析データによる操作支援（図１２）として、分類されたミッションに基づき、ミッションに紐づけられた記録データを呼び出してくる。呼び出すというのは、過去のデータそのままでもよいし、過去のデータの平均値など統計処理したデータ、あるいは、ミッションの特性を表わすパラメータ等により、記録データや過去あるいは外部データ等から内挿や外挿、関数などで推定される値を算出することでもよい。

図２１の事例であれば、カメラ動作のパラメータ（具体的には、位置、角度、ズームなどの統計データから推定される値）から、ミッションに紐づけた値を引き出す。例えば今回は、トレーニング時の分析により、カメラ操作に関するロボットを自律・自動化すると決定しているため、上記の引き出された値に基づいて、カメラの位置、角度、ズームといった値を実際に自動的に操作する。なお、このとき、作業の状態（他のロボット、他の操作者、等）は、常に図１２にあるように、「記録」され、「統合データが生成」されることで、動的に、現時点でどの「ミッション」にあるかが、推定されているものとする。したがって、推定されるミッションが異ったと判断されれば、カメラ動作において新しいミッションに対応した値が読みだされることになり、カメラ動作のロボットが動的に変化することとなる。

なお、これらの自律・自動運転時の操作状況もあらたに記録されて、統合分析データが生成される。これにより、カメラ動作を自律・自動化することの評価をおこなうことができ、例えば、ミッションのカテゴリ分けや、算出される値の統計処理や内挿・外挿・関数等の計算を、より最適なものに見直すフィードバックループを生成することができる。これにより、使うほどに、賢くなるという特徴を得ることができる。なお、自律化しないロボットについては、操作者向けに推奨の値が表示され操作を支援する。

操作支援に対する上記自動・自律化対応は、カメラの部分が中心であったが、これは他の作業であっても同様に行うことができる。例えば、切断への適用例として、切断工具の選定や切断作業パラメータの最適化に適用してもよい。この場合は、ある材質に対して、切断操作に関わる値が、複数トライアルを含むトレーニングに対して、大きな変動（ばらつき）がないような場合に適用される。

仮に切断が容易な材質を材質αとする。トレーニングでは、材料αの他、材料β、材料γなど、多岐にわたる材料での試験を行うものとする。材料α〜γに対する、装置や人の動作のデータの変動から、今切断しているものがどの材料に相当するか、統合分析データにおいて、特徴量を抽出できたとする。

取得するデータの値や、ばらつきの大きさ、ロボットの受ける反力や振動などいろいろなパラメータで抽出できると想定される。このとき、材料α〜γのちがいをミッションの違いとして認識できたとする。そうであれば、実物を対象として切断作業に臨む際に、今実施しているミッションの種類が、材料αの切断というミッションであったと分かったとする。このとき、材料αは、パラメータの値の変動が小さいので、材料がαであることを想定した、操作パラメータを自動的に付与することにより、切断用のロボットＡを自律・自動で制御することが可能となる。

上記本発明の導入前後の違いについて説明する。本発明の導入前には、人の作業、あるいは、機械の作業と決めてしまっていることで作業の最適化が可能であるが、機械による自律・自動化を導入すべきか未定のシステムの最適化が計れない。

導入後であればトレーニングが前提となるが、作業分析に基づいて、作業のうち、人が関与すべきもの、自律化・自動化を行うことができるものを、個別のミッション単位で設定できる。これにより、人と機械のよりフレキシブルな協調作業が可能となる。

係る本発明の特徴は、ハード面から述べると、装置、人、人と装置の３レイヤーのセンサ群を持つことであり、ソフト面から述べると、ミッションの分類、機械に任せる自動化作業の判断、ミッションごとの操作支援ということである。このようにすることで、よりよい遠隔作業を提示でき、失敗の予兆を提示することで、遠隔作業を支援することができる。

Ｓａ、Ｓｂ、Ｓｃ：センサ群
ＤＢａ、ＤＢｂ、ＤＢｃ、ＤＢｄ：記憶装置
Ｒ１〜Ｒｎ：遠隔装置
Ｃ１〜Ｃｎ：制御装置
Ｍ１〜Ｍｎ：操作者
Ｖ：解析・可視化部
ＤＭ：操作者関連情報
ＤＲ：遠隔装置関連情報
ＤＲ／Ｍ：操作者−遠隔装置間情報

Claims (4)

1. 操作者が制御装置を介して遠隔装置を操作して行う遠隔作業を支援するための遠隔作業支援システムであって、
   センサ群として、前記遠隔装置の動きを検知する第１のセンサ群と、前記制御装置を介して前記遠隔装置を操作する前記操作者の動きを検知する第２のセンサ群と、前記遠隔装置の動きと前記操作者の動きを互いに関連付けて検知する第３のセンサ群と、
   記憶装置として、第１のセンサ群が検知した情報を遠隔装置関連情報として記憶する第１の記憶装置と、第２のセンサ群が検知した情報を操作者関連情報として記憶する第２の記憶装置と、第３のセンサ群が検知した情報を操作者−遠隔装置間情報として記憶する第３の記憶装置と、
   表示モニタを含み、前記記憶装置に記憶された情報を用いて得た処理結果を表示モニタに表示し、前記処理結果を前記制御装置に与えて前記遠隔装置を操作する処理装置を備え、
   前記処理装置は、
   前記遠隔装置関連情報を用いて前記記憶したデータの相互関係から、前記遠隔装置のミッションを推定し、操作者関連情報を用いて前記操作者の前記遠隔装置に対する行動の履歴を抽出し、操作者−遠隔装置間情報を用いて操作者が操作作業を行う環境および、操作者と他の操作者に対する行動の履歴を抽出する第１の処理ステップと、該第１の処理ステップで推定した前記ミッションと抽出した履歴を紐づけして統合分析データを得、参照データとして記憶する第２の処理ステップで構成される記録モードを有する
   ことを特徴とする遠隔作業支援システム。
2. 請求項１に記載の遠隔作業支援システムであって、
   前記処理装置は、
   前記統合分析データを構成する前記遠隔装置関連情報、操作者関連情報、操作者−遠隔装置間情報を表示モニタに表示して、不適切な情報を排除して再構成する第３の処理ステップを含む再生モードを有する
   ことを特徴とする遠隔作業支援システム。
3. 請求項１または請求項２に記載の遠隔作業支援システムであって、
   前記処理装置は、
   前記参照データと、遠隔作業中に前記センサ群から新たに取得した情報から求めた前記統合分析データを比較し、遠隔作業中のミッションを行うための推奨される行動および成否指標を前記表示モニタまたは前記制御装置に与える第４の処理ステップを含む支援モードを備える
   ことを特徴とする遠隔作業支援システム。
4. 操作者が制御装置を介して遠隔装置を操作して行う遠隔作業を支援するための遠隔作業支援方法であって、
   操作者が制御装置を介して遠隔装置を操作する作業を繰り返し実行する事前トレーニング段階において、当該繰り返し作業中における前記遠隔装置の動きを遠隔装置関連情報として記憶し、前記遠隔装置を操作する前記操作者の動きを操作者関連情報として記憶し、前記遠隔装置の動きと前記操作者の動きを互いに関連付けて操作者−遠隔装置間情報として記憶するとともに、前記遠隔装置関連情報を用いて前記記憶したデータの相互関係から、前記遠隔装置のミッションを推定し、操作者関連情報を用いて前記操作者の前記遠隔装置に対する行動の履歴を抽出し、操作者−遠隔装置間情報を用いて操作者が操作作業を行う環境および、操作者と他の操作者に対する行動の履歴を抽出し、推定した前記ミッションと抽出した履歴を紐づけして得た統合分析データを参照データとして得、
   操作者が制御装置を介して遠隔装置を操作する作業を実行する実作業段階において、前記参照データと、実作業段階での遠隔作業中に得た前記統合分析データを比較し、遠隔作業中のミッションを行うための推奨される行動および成否指標を得えることを特徴とする遠隔作業支援方法。

Images