JP2021083079A - 遠隔作業支援システム - Google Patents

Abstract

【課題】作業を行う作業者が、十分な視野を確保し安全性を担保しながら、必要に応じて遠隔地にいる支援者からの画像情報を視認できるようにする。【解決手段】遠隔作業支援システム（１）は、ウエアラブルデバイス（１０）と、携帯端末（２０）と、支援者端末（４０）と、を備える。ウエアラブルデバイス（１０）は、撮像部（１１）と、音声入力部（１２）と、音声出力部（１３）とを有する。携帯端末（２０）は、表示部（２１）を有する。支援者端末（４０）は、ウエアラブルデバイス（１０）と音声を送受信し、ウエアラブルデバイス（１０）からの画像を受信し、携帯端末（２０）へ画像を送信する。【選択図】図１

Description

作業現場にいる作業者を、遠隔地にいる支援者が支援するための遠隔作業支援システムに関する。

作業者にカメラ端末を装備させ、支援者が遠隔地から、カメラ端末を操作して、作業者を支援する遠隔作業支援システムが知られている。特許文献１（特開２０１８−２０７４２０号公報）は、作業者に表示デバイスが無くても、音声でのコミュニケーションで、作業対象物を確認することができる、作業支援システムを開示している。

ウエアラブルデバイスも様々なタイプが考案されている。めがね型デバイスではめがねのレンズに相当する部分またはその付近に情報を表示できる。作業者支援にめがね型デバイスを用いた場合に、支援者から送信された画像等をめがねレンズに表示すると、作業者の視界が狭くなり、作業の能率が低下し、危険が発生する事態も起こりうる。しかし、逆にディスプレイの無い作業者端末（ウエアラブルデバイス）では、支援者から送信する画像を作業者が確認することができないというジレンマがある。

第１観点の遠隔作業支援システムは、ウエアラブルデバイスと、携帯端末と、支援者端末とを備えている。ウエアラブルデバイスは、現場作業者に装着される。ウエアラブルデバイスは、撮像部と、音声入力部と、音声出力部とを有する。ウエアラブルデバイスは、画像を送信し、音声を送受信する。携帯端末は、ウエアラブルデバイスとは別に現場作業者に携帯される。携帯端末は、受信した画像を表示する表示部を有する。支援者端末は、現場作業者を遠隔支援する支援者により利用される。支援者端末は、音声入力部と、音声出力部と、表示部と、を有する。支援者端末は、ウエアラブルデバイスと音声を送受信し、ウエアラブルデバイスからの画像を受信し、携帯端末へ画像を送信する。

第１観点の遠隔作業支援システムにおいては、ウエアラブルデバイスはディスプレイを備えておらず、現場作業者は十分な視野を確保することができ、安全に作業をすることができる。一方、必要になったときには、携帯端末に画像を表示することができるので、遠隔支援者からの指示内容を表示部の画面で見ることもできる。

第２観点の遠隔作業支援システムは、第１観点のシステムであって、ウエアラブルデバイスは、首掛け式のデバイスである。

第２観点の遠隔作業支援システムにおいては、ウエアラブルデバイスは首掛け式のデバイスであるので、現場作業者はハンズフリーで作業することができる上に、視野の邪魔になることは無く効率的に作業できる。

第３観点の遠隔作業支援システムは、第１観点又は第２観点のシステムであって、支援者端末の表示部は、ウエアラブルデバイスの撮像部で撮影した動画および静止画を表示する。

第４観点の遠隔作業支援システムは、第１観点から第３観点のいずれかのシステムであって、ウエアラブルデバイスの撮像部で撮影された画像が、支援者端末において、選択、加工、または、情報付加されて携帯端末に送信され、携帯端末の表示部に表示される。

第４観点の遠隔作業支援システムの利用によって、現場作業者は、特に意識して撮像しなくても、現場の画像を加工し、情報付加された画像を利用してサポートを受けられるので、作業の効率を高められる。

第５観点の遠隔作業支援システムは、第１観点から第４観点のいずれかのシステムであって、現場作業者および支援者の発話は、音声認識され、テキスト情報として、支援者端末の表示部に表示される。

第５観点の遠隔作業支援システムにおいては、支援者は、現場作業者との通話をテキスト情報で確認しながら支援を行うことができるので、メモを取る必要もなく、効率的な作業が可能となる。

第６観点の遠隔作業支援システムは、第５観点のシステムであって、テキスト情報は、さらに、携帯端末の表示部に表示される、
る。

第６観点の遠隔作業支援システムにおいては、現場作業者は、支援者との通話をテキストで確認することができる。

第７観点の遠隔作業支援システムは、第１観点から第６観点のいずれかのシステムであって、第１回線と第２回線とを有する。第１回線は、支援者端末とウエアラブルデバイスとを結ぶ。第２回線は、支援者端末と携帯端末を結ぶ。第１回線は、現場作業者による作業の間、連続して用いられる。第２回線は、現場作業者による作業の間、必要に応じて接続される。

第７観点の遠隔作業支援システムは、第１回線と第２回線を使い分け、必要なときだけ第２回線を用いるので、現場作業者は、必要なときだけ第２回線を使えばよいので、無駄に携帯端末を操作する必要がない。

第８観点の遠隔作業支援システムは、第１観点から第７観点のいずれかのシステムであって、現場作業者による作業の作業進捗を、撮像部で撮像された画像、または／および、現場作業者および支援者の発話から自動抽出する。自動抽出した画像、発話から作業の進捗状況または作業の終了時間を推定する。推定した進捗状況または終了時間を支援者端末の表示部に表示する。

第８観点の遠隔作業支援システムは、支援者は、作業の進捗状況をモニターすることができる。

第９観点の遠隔作業支援システムは、第１観点から第８観点のいずれかのシステムであって、支援者端末は、現場作業支援情報を記憶するデータベースにアクセスし、現場作業支援情報を抽出、加工して、携帯端末に送信する。

第９観点の遠隔作業支援システムの利用によって、現場作業者は、現場作業支援情報を抽出、加工したものを受け取るので、効率的に作業を進めることができる。

第１０観点の遠隔作業支援システムは、第１観点から第９観点のいずれかのシステムであって、支援者端末より現場作業者への支援は、音声による支援、加工された画像による支援、支援者端末に置いて入力されたテキストによる支援、支援者の発話がテキスト化された文字による支援、のいずれか、またはこれらの組み合わせによる支援を含む。

第１１観点の遠隔作業支援システムは、第１観点から第１０観点のいずれかのシステムであって、同一のサーバに接続可能な複数のデバイスを備える。複数のデバイスは、ウエアラブルデバイス、携帯端末、および、支援者端末を含む。サーバは、所定の条件に基づいて、複数のデバイスのうち少なくとも１つ以上のデバイスを指定し、指定に基づいて接続対象となるデバイスを呼び出す。

第１２観点の遠隔作業支援システムは、第１１観点のシステムであって、サーバは、現場作業者の作業現場の環境情報を取得する。サーバは、環境情報に基づいて、複数のデバイスのうち少なくとも１つ以上のデバイスを呼び出す。

第１３観点の遠隔作業支援システムは、第１１観点のシステムであって、サーバは、現場作業者による作業の進捗を管理する。サーバは、作業の進捗に基づいて、複数のデバイスのうち少なくとも１つ以上のデバイスを呼び出す。

第１４観点の遠隔作業支援システムは、第１１観点のシステムであって、サーバは、現場作業者および支援者の発話を音声認識する。音声認識よって取得したキーワードに基づいて、複数のデバイスのうち少なくとも１つ以上のデバイスを呼び出す。

第１５観点の遠隔作業支援システムは、第１１観点から第１４観点のいずれかのシステムであって、サーバは、さらに、支援者端末から、現場作業者が利用する複数のデバイスのうち少なくとも１つ以上のデバイスの指定を受け付ける。

第１６観点の遠隔作業支援システムは、第１観点から第１５観点のいずれかのシステムであって、複数のデバイスはデバイス間で相互に通信可能である。

第１７観点の支援者端末は、現場作業者を遠隔支援する支援者により利用される。支援者端末は、音声入力部と、音声出力部と、表示部と、を有する。支援者端末は、ウエアラブルデバイスと、音声を送受信し、ウエアラブルデバイスからの画像を受信する。ウエアラブルデバイスは、現場作業者に装着され、撮像部と、音声入力部と、音声出力部とを有する。ウエアラブルデバイスは、画像を送信し、音声を送受信する。支援者端末は、携帯端末に画像を送信する。携帯端末は、ウエアラブルデバイスとは別に現場作業者に携帯される。携帯端末は、画像受信部が受信した画像を表示する表示部を有する。

第１８観点のサーバは、複数のデバイスと接続するサーバである。複数のデバイスは、ウエアラブルデバイス、携帯端末、支援者端末を含む。ウエアラブルデバイスは、現場作業者に装着され、撮像部と、音声入力部と、音声出力部とを有し、画像を送信し、音声を送受信する。携帯端末は、ウエアラブルデバイスとは別に現場作業者に携帯され、画像受信部が受信した画像を表示する表示部を有する。支援者端末は、現場作業者を遠隔支援する支援者により利用され、音声入力部と、音声出力部と、表示部と、を有する。サーバは、所定の条件に基づいて、複数のデバイスのうち、少なくとも１つ以上のデバイスを指定し、指定に基づいて通信対象となるデバイスを呼び出す。

第１実施形態のウエアラブルデバイス１０の斜視図である。 第１実施形態の遠隔作業支援システム１の全体概略図である。 第１実施形態の支援者端末４０の表示部４３の表示画面の一例を示す図である。 第２実施形態の遠隔作業支援システムを模式的に示す図である。

＜第１実施形態＞
（１）全体構成
第１実施形態の遠隔作業支援システム１は、図２に示すように、ウエアラブルデバイス１０と、携帯端末２０と、サーバ３０と、支援者端末４０と、データベース５０とを有している。ウエアラブルデバイス１０と携帯端末２０とは、現場作業者「ＡＡＡ＿ａａａ」、「ＢＢＢ＿ｂｂｂ」および「ＣＣＣ＿ｃｃｃ」がそれぞれ保持している。現場作業者は複数の現場に別々に派遣されている複数の作業者である。図２においては、３つの現場に３人の作業者が派遣されているが、現場の数、作業者の数はこれに限定されない。支援者端末４０は、現場作業者から遠隔地にいる支援者が利用するように配置されている。

ウエアラブルデバイス１０と、携帯端末２０と、サーバ３０と、支援者端末４０と、データベース５０とは、共通のネットワークに接続され、相互に通信可能である。

なお、本明細書において、現場作業者を作業者ということがあるが意味は同じである。

また、本明細書において、「作業」とは、機器の修理、保守メンテナンス作業、機器の設置のための現場調査、設置・据え付けのいずれかを意味する。

（２）詳細構成
（２−１）ウエアラブルデバイス１０
ウエアラブルデバイス１０は、図１に示すように首掛け式のデバイスである。ウエアラブルデバイス１０は、環状であり、環の一部が開いた形をしている。その開いた部分を利用して首に挿入し、開いた部分が前にくるように装着する。

ウエアラブルデバイス１０は、首掛け式なので、装着していてもハンズフリーで作業をすることができる。また、めがね型のように視界に影響することも無い。

ウエアラブルデバイス１０は、本体１９と、撮像部１１と、音声入力部１２と、音声出力部１３と、ジェスチャーセンサ１４と、制御部１５と、通信部１６と、電源スイッチ（図示せず）とを有している。

本体１９の両端部には、撮像部１１と、ジェスチャーセンサ１４とが配置されている。

撮像部１１は、カメラである。カメラは、作業者の作業中、連続して、作業者の前方を撮影し続ける。撮影した画像は、動画である。静止画であっても良い。撮影された画像は、通信部１６によって、ネットワークを介して、サーバ３０に送られる。サーバ３０に送られた画像は、サーバ３０の記憶部３２に保存される。同時に、サーバ３０に送られた画像は、支援者端末４０の表示部４３に表示される。

ジェスチャーセンサ１４は、スイッチの機能を有している。ジェスチャーセンサの前で装着者（作業者）がサインを示すことによって、ウエアラブルデバイスの操作をすることができる。たとえば、撮像部１１による撮像のオンオフなどである。また、作業者から支援者端末４０を用いる支援者の呼び出しに用いてもよい。ウエアラブルデバイス１０は、ジェスチャーセンサ１４の代わりに、または、ジェスチャーセンサ１４とともに、機械的または電子的なスイッチを有していても良い。

音声入力部１２は、マイクである。マイクは指向性を有し、装着者の発生する音声を優先的に集音する。音声入力部１２は、ジェスチャーセンサ１４の代わりに、または、ジェスチャーセンサ１４とともに、作業者から支援者端末４０を用いる支援者の呼び出しに用いてもよい。たとえば、作業者が「ヘルプお願いします。」と発話することにより、発話は、サーバ３０に達し、サーバ３０で音声認識され、テキスト化される。サーバ３０は、テキスト化された音声データから、作業者が支援を求めている事を識別し、支援者端末４０の作業者識別情報１１２のその作業者の名前「ＡＡＡ ａａａ」をブリンク（点滅）させる。これによって、支援者は、作業者「ＡＡＡ ａａａ」が支援を求めている事を知る。

音声出力部１３は、スピーカである。音声出力部１３は、ウエアラブルデバイス１０の装着者（作業者）の体の後ろ側に配置されている。

本実施形態のウエアラブルデバイス１０は、音声入力部１２と、音声出力部１３と、音声の送受信を行う通信部１６とを有している。したがって、ウエアラブルデバイス１０を装着する作業者は、デバイスを電話として使って、支援者と通話することが可能である。

通信部１６は、第１回線Ｔ１でネットワークに接続されている。音声入力部１２で入力された音声、撮像部１１で撮像した画像を電子データとして、ネットワークに送信することができる。また、ネットワークより、電子データとしての音声を受信する。

制御部１５は、コンピュータである。制御部１５は、プロセッサと記憶部とを有している。制御部１５は、撮像部１１と、音声入力部１２と、音声出力部１３と、ジェスチャーセンサ１４と、通信部１６とを制御する。制御部１５は、ジェスチャーセンサ１４に入力された制御指令を受け取り、実行する。制御部１５は、サーバ３０の指令、支援者が支援者端末４０を操作して入力した指令を実行する。

（２−２）携帯端末２０
携帯端末２０は、作業者に携帯または保持される。携帯端末２０は、スマートフォン、タブレット、ＰＣなどであっても良い。携帯端末２０は、表示部２１と、通信部２２と、制御部２３とを有している。携帯端末２０は、第２回線Ｔ２でネットワークに接続されている。

通信部２２は、ネットワークより画像を受信する。画像は、動画であっても静止画であっても良い。

表示部２１は、ディスプレイである。表示部２１には、ネットワークより受信した画像が表示される。支援者端末４０において支援者によって加工された画像がネットワークを経由して携帯端末２０に送信され、表示部２１に表示される。画像は、動画であっても静止画であっても良い。

制御部２３は、コンピュータである。制御部２３は、プロセッサと記憶部とを有している。制御部２３は、表示部２１と、通信部２２とを制御する。

携帯端末２０は、ウエアラブルデバイス１０と異なり、作業者の作業中に、常時支援者端末４０（またはサーバ３０）と接続されている必要はない。支援者端末４０より、画像（テキスト情報を含む）を携帯端末２０に送るときだけ接続すればよい。

（２−３）サーバ３０
サーバ３０は、コンピュータである。サーバ３０は、プロセッサ３１と、記憶部３２とを有している。記憶部３２には、アプリケーションやデータが保存されている。本実施形態においては、記憶部３２に記憶された遠隔作業支援システム１のアプリケーションがプロセッサ３１に読み込まれ実行される。遠隔作業支援システム１のアプリケーションは、ＷＥＢアプリケーションである。支援者端末４０と携帯端末２０においてはブラウザを立ち上げ、ブラウザから遠隔作業支援システム１のアプリケーションにアクセスする。

作業者によってウエアラブルデバイス１０が起動されると、ウエアラブルデバイス１０はサーバ３０に接続し、ウエアラブルデバイス１０の撮像部１１が撮像した画像をサーバ３０に送信する。撮像された画像は、サーバ３０の記憶部３２に蓄積される。同時に撮像された画像は、支援者端末４０のブラウザを起動することによって、支援者端末４０の表示部４３で閲覧可能になる。

また、遠隔作業支援システム１のアプリケーションは、作業者の作業中、ウエアラブルデバイス１０からの接続要求、または、支援者端末４０からの接続要求によって、作業者と支援者との双方向での通話を可能にする。

サーバ３０は、ウエアラブルデバイス１０から入手した音声、および、支援者端末４０から入手した音声を、音声認識により、テキスト情報に変換する。テキスト情報は、作業ごとに、記憶部３２に記憶される。また、支援者端末４０に送信され、支援者端末４０の表示部４３に表示される。さらに、テキスト情報は、必要に応じて、携帯端末２０にも送信され、携帯端末２０の表示部２１に表示される。

サーバ３０は、全ての通信しているウエアラブルデバイス１０の音声データを集め、テキスト情報にして記憶部３２に保存している。現在、支援者端末４０と接続はしているが、支援は受けていない作業者「ＢＢＢ ｂｂｂ」からの音声に支援を要請する文言が含まれていた場合には、サーバ３０は、支援者端末４０の作業者識別情報１１２のその作業者の名前「ＢＢＢ ｂｂｂ」をブリンク（点滅）させる。

サーバ３０は、さらに自動翻訳機能を有していても良い。音声認識された音声データを他言語に翻訳する。たとえば、現場作業者が英語で話し、遠隔地の支援者が日本語を話す場合、現場作業者が話した英語を、支援者に日本語の音声で伝えても良い。あるいは、支援者端末４０の表示部４３の発話記録１１６に日本語で表示しても良い。英語と日本語とを併記して表示しても良い。

作業支援時に発生する画像やテキスト化された音声情報、支援者により加工された画像は、サーバ３０の記憶部３２に保存される。これらの情報は、他の場所に格納されても良い。たとえば、データベース５０に保存しても良い。支援者端末４０の記憶部に保存しても良い。

（２−４）データベース５０
データベース５０は、電子データを保存する記憶部を備えている。データベース５０は、ネットワークに接続されている。本実施形態においては、データベース５０は、機器の修理や保守メンテナンスで利用される現場作業支援情報を格納している。現場作業支援情報の格納は、データベース５０に限定されない。サーバ３０の記憶部３２に格納しても良い。支援者端末４０の記憶部に格納しても良い。

（２−５）支援者端末４０
支援者端末４０は、現場作業者を遠隔支援する支援者により利用される。支援者端末４０は、ＰＣであってもよい。支援者端末４０は、音声入力部４１と、音声出力部４２と、表示部４３と、通信部４４と、制御部４５と、を有している。

音声入力部４１は、マイクである。音声出力部４２は、スピーカである。本実施形態の支援者端末４０は、音声入力部４１と、音声出力部４２と、音声の送受信を行う通信部４４とを有している。したがって、支援者は、支援者端末４０を電話として使って、現場作業者と通話することが可能である。

通信部４４は、ネットワークに接続されている。ネットワークより、電子データとしての音声を受信する。通信部４４は、さらに、サーバ３０において音声認識されテキスト化されたテキスト情報を受信する。通信部４４は、ウエアラブルデバイス１０の撮像部１１で撮像された画像を受信する。一方、通信部４４は、音声入力部４１で入力された音声、支援者によって支援者端末４０において加工された画像を電子データとして、ネットワークに送信することができる。

表示部４３はディスプレイである。

制御部４５は、コンピュータである。制御部４５は、プロセッサと記憶部とを有している。制御部４５は、音声入力部４１と、音声出力部４２と、表示部４３と、通信部４４とを制御する。制御部４５の記憶部には、ブラウザ（プログラム）が格納されている。制御部４５は、ブラウザプログラムを読み込み実行する。サーバ３０において、遠隔作業支援システム１のアプリケーションが実行されていれば、支援者端末４０の制御部４５においてブラウザを用いることにより、支援者端末４０を利用した作業の支援が可能になる。

なお、本実施形態のウエアラブルデバイス１０と、携帯端末２０と、サーバ３０と、支援者端末４０等との間の通信に関して、複数の通信プロトコルを使い分けて用いてもよい。

本実施形態においては、動画および音声の通信プロトコルには、たとえば、WebRTCを用いる。WebRTCは、標準プロトコルであり、セキュアだが設計自由度が効かない（解像度等のパラメータくらいしか変更できない）との特徴を有している。静止画の通信プロトコルには、HTTPS、MQTT、または、WebSocketを用いてもよい。これらの通信プロトコルは、自由に設計可能であり、動画、テキスト、静止画など何にでも対応でき、サーバ側の設計度が上がる、との特徴がある。

（２−５−１）支援者端末４０の表示部４３の表示画面
遠隔作業支援システム１のアプリケーションが実行中のときの、支援者端末４０の表示部４３のブラウザの表示画面の一例を図３に示す。

表示部４３の画面には、作業進捗１１１と、作業者識別情報１１２と、現場のライブ画像１１３と、支援者加工画像１１４と、参照文献リスト１１５と、発話記録１１６とが、表示されている。

作業進捗１１１とは、支援者端末を使用する支援者が、「今日」係わっている、作業の現場の個数（または、作業者の人数）をあらわしている。ここでは、「今日」既に終了した作業が２件である事を示している。

作業進捗１１１のところに、作業の進捗状況（％で示しても良い）や、作業の予想終了時刻を表示しても良い。このために、ウエアラブルデバイス１０の撮像部１１で撮像された画像、または／および、作業者および支援者の発話から自動抽出して、作業の進捗状況または作業の終了時間を、サーバ３０が自動推定してもよい。

作業者識別情報１１２には、「現在オンライン新人」と記述されている。これは、現在、支援者端末４０と接続されているウエアラブルデバイス１０を利用している作業者を意味している。ここでは作業者のアイコン（写真）と、作業者の名前「ＡＡＡ ａａａ」が表示されている。そして、作業者「ＡＡＡ ａａａ」のアイコンの前には、「ＬＩＶＥ」と表示されている。ここで、「ＬＩＶＥ」の表示は、支援者端末４０とウエアラブルデバイス１０との接続がアクティブとなっている事を言う。アクティブとは、作業者「ＡＡＡ ａａａ」のライブ画像１１３が画面に表示され、かつ、通話できるように音声が作業者「ＡＡＡ ａａａ」と接続されている状態をいう。

なお、図３の作業者識別情報１１２では、５名の作業者が表示されているが、アクティブでない作業者の一部が隠れて表示され、スクロールすることによって表示できるようにしてもよい。また、アクティブな作業者を大きく表示して、それ以外の作業者の名前が一部または全部が隠れていても良い。

作業者識別情報１１２には、アイコン、作業者の名前に限らず、作業者のＩＤナンバー、現場の住所、作業中の機器（ここでは空気調和機）の型番やＩＤナンバー、作業のＩＤ、などを表示しても良い。作業者識別情報１１２は、支援者が作業者または作業を特定できる情報である。

また、アクティブな作業者の表示方法は、「ＬＩＶＥ」の表示に限らない。支援者端末４０を利用する支援者が、アクティブな作業者を識別できれば良い。接続中の作業者識別情報を大きくしたり、点滅させたり、色を変更したり、ポップアップしたりしても良い。

ライブ画像１１３は、アクティブな作業者について、その作業者「ＡＡＡ ａａａ」のウエアラブルデバイス１０の撮像部１１で撮影しているライブ映像を示している。図３では、空気調和機の室外ユニットの画像を示している。アクティブな状態では、作業者「ＡＡＡ ａａａ」と音声が接続されているので、支援者は、音声で指示することにより、作業者を動かして、結果としてウエアラブルデバイス１０の撮像部１１の位置を動かし、画像を動かすことができる。

支援者加工画像１１４は、ライブ画像１１３から、画像を抽出し、加工したものである。図３の支援者加工画像１１４では、ファンの図の中央部に円状のマーキングがされ、「Ｏｐｅｎ ｔｈｅ ｆａｎ ｆｒｏｍ ｈｅｒｅ」と指示が手書きで示されている。これは、支援者が支援者端末４０上で文字や記号をタッチペン入力で記入したものである。支援者加工画像１１４を作業者の携帯端末２０に送信し、表示部２１に表示することにより、作業者を効率よく支援することができる。

参照文献リスト１１５は、支援者が支援するときに参考にする参照文献（現場作業支援情報）のリストである。現場作業支援情報は、現場調査確認項目、施工作業手順書、または、保守メンテ情報を含んでも良い。支援者は、データベース５０に保存されている現場作業支援情報の中から、工事に必要な文献を抽出し、さらにその文献の中から必要な部分を抽出し、必要に応じてマーキングをした上で、作業者の携帯端末２０に送信することができる。

発話記録１１６は、アクティブな作業者「ＡＡＡ ａａａ」の発話のテキストと、支援者の発話のテキストとを区別して表示したものである。

（３）遠隔作業支援システム１を用いた現場作業者の支援の説明
次に、本実施形態の遠隔作業支援システム１を用いた作業者の支援の方法について説明する。

作業者は、機器の修理やメンテナンスのために、現場に到着し、作業を開始する。ここでは、機器として空気調和機を想定する。現場作業者は、作業開始時に、ウエアラブルデバイス１０を身体に装着し、電源スイッチをオンにする。

最初に作業者は、ジェスチャーセンサ１４の前でサインを送り、撮像部１１を起動する。撮像部１１は、撮像を開始する。また、ウエアラブルデバイス１０は、サーバ３０の遠隔作業支援システム１のアプリケーションに接続される。撮像された画像は、通信部１６より、ネットワークを経由して、サーバ３０に送られ、サーバ３０の記憶部３２に蓄積される。

支援者が支援を開始するときは、支援者端末４０にて、ブラウザを起動し、サーバ３０の遠隔作業支援システム１のアプリケーションに接続する。

ウエアラブルデバイス１０の電源オンと、支援者端末４０におけるサーバ３０の遠隔作業支援システム１のアプリケーションへの接続は、同時でなくて良い。どちらが先であっても良い。ウエアラブルデバイス１０の撮像部１１が起動し、かつ、支援者端末４０がブラウザ上でサーバ３０の遠隔作業支援システム１のアプリケーションへ接続された状態で、両者は接続される。

支援者端末４０を利用する支援者は、適宜作業者を選択して、支援を開始する。

作業者が支援者の支援を求めるときには、ジェスチャーセンサ１４の前で、支援を受けたい旨のジェスチャーを示す。支援の要請は、音声など別の方法でも良い。作業者の支援要請は、支援者端末４０の表示部４３の画面において、作業者識別情報１１２の作業者の名前「ＡＡＡ ａａａ」をブリンク（点滅）させる。支援者が作業者の支援要請を承認するときは、その名前「ＡＡＡ ａａａ」をクリックすることにより、作業者「ＡＡＡ ａａａ」との接続がアクティブになる。言い換えると、作業者識別情報１１２の作業者「ＡＡＡ ａａａ」に「Ｌｉｖｅ」の印が入り、ライブ画像１１３に、ウエアラブルデバイス１０で撮像した画像がライブで表示され、作業者「ＡＡＡ ａａａ」と、支援者の通話が可能となる。

支援者は、作業者「ＡＡＡ ａａａ」と通話しながら、作業者「ＡＡＡ ａａａ」のウエアラブルデバイス１０から送信される動画を確認して、作業支援内容を検討する。

支援者側から作業者にアクセスする場合には、作業者識別情報１１２の作業者の名前「ＡＡＡ ａａａ」をクリックすると、作業者「ＡＡＡ ａａａ」との接続がアクティブになり、ライブ画像１１３に、ウエアラブルデバイス１０で撮像した画像がライブで表示され、作業者「ＡＡＡ ａａａ」と、支援者の通話が可能となる。

支援の方法として、最も簡単には、支援者は、作業者「ＡＡＡ ａａａ」と通話しながら、作業者にアドバイスを行う。作業者と支援者の発話の内容は、サーバ３０において音声認識され、テキスト化され、サーバ３０の記憶部３２に記憶される。同時に、支援者端末４０の表示部４３の発話記録１１６に表示される。支援者は、発話記録１１６で発話内容を確認しながら、支援内容を考察して、アドバイスしていく。また、支援者の発話あるいは通話内容をテキスト化したものを、作業者「ＡＡＡ ａａａ」の携帯端末２０に送信し、表示部２１に表示させることによって、支援を行っても良い。

さらには、支援者は、ライブ画像１１３から、適宜画像を静止画（スナップショット）として選択し（切り取り）、その静止画を支援者加工画像１１４に表示する。支援者はさらに、その表示された画像を加工する。具体的には、必要な部分を切り取ったり、マーキングしたり、文字を書き込んだりする。支援者によって書き込まれた画像は、作業者「ＡＡＡ ａａａ」の携帯端末２０に送信される。作業者「ＡＡＡ ａａａ」は、携帯端末２０の表示部２１を確認して、支援者によって送信された画像を確認する。このようにして、作業者は、支援者による支援を受けながら、作業を進めていく。

以上は、支援者が作成する支援者加工画像は、静止画である場合について説明したが、動画であっても良い。

支援者による支援情報は、上記ウエアラブルデバイス１０で撮像され加工されたものだけでなく、参照文献（現場作業支援情報）から抽出、または、加工された画像または文字（スナップショット）であっても良い。現場作業支援情報は、画面の参照文献リスト１１５に表示されているものであっても良いし、参照文献リスト１１５のウインドウで検索して得られるものであっても良い。参照文献リスト１１５にて検索して得られるものは、データベース５０に格納されているものである。たとえば、支援者は、支援のために、取扱説明書を確認する必要があると判断した場合、参照文献リスト１１５の取扱説明書をクリックする。そうすると、新たなウインドウがポップアップして、取扱説明書のページが表示される。支援者は、取扱説明書の所定のページを選択し、必要な部分を切り取り、切り取った画像（スナップショット）を支援者加工画像１１４に表示する。支援者は、ここで、取扱説明書の所定のページの画像（スナップショット）にマーキング、文字の記入などを行い加工する。加工された画像は、ウエアラブルデバイス１０で撮像され、選択、加工された画像と同様に、支援者加工画像として、作業者の携帯端末２０に送信される。作業者は、支援者加工画像を参考にして、作業を進めることができる。

また、以上は、現場作業支援情報は、データベース５０に格納されている場合について説明した。現場作業支援情報は、サーバ３０の記憶部３２に保存されていても良い。または、支援者端末４０の記憶部に保存されていても良い。現場作業支援情報は、その他のソースから得られるものであっても良い。たとえば、Ｗｅｂサイトの情報であってもよい。

以上説明したように、支援者は、作業者「ＡＡＡ ａａａ」の支援作業を進めていく。作業者「ＡＡＡ ａａａ」の支援の終了後、または支援中に、作業者「ＢＢＢ ｂｂｂ」より支援要請があった場合、支援者端末４０のブラウザの表示画面の作業者識別情報１１２の作業者の名前「ＢＢＢ ｂｂｂ」がブリンク（点滅）する。これを見た支援者は、作業者「ＢＢＢ ｂｂｂ」の支援に着手できる場合には、作業者の名前「ＢＢＢ ｂｂｂ」をクリックする。そうすると、作業者「ＢＢＢ ｂｂｂ」との接続がアクティブになる。言い換えると、作業者識別情報１１２の作業者「ＢＢＢ ｂｂｂ」に「Ｌｉｖｅ」の印が入り、ライブ画像１１３に、ウエアラブルデバイス１０で撮像した画像がライブで表示され、作業者「ＢＢＢ ｂｂｂ」と、支援者の通話が可能となる。

以上のようにして、複数の作業者の作業支援が行われる。本実施形態の遠隔作業支援システム１を用いて作業を行うことにより、ウエアラブルデバイス１０で撮像した画像、作業者と支援者の通話を含む音声、支援者が作成した支援者加工画像などが、サーバ３０の記憶部３２に蓄積されていく。これらは、作業ごとに記憶される。サーバ３０は、記憶された情報を基にして、報告書を自動作成しても良い。

（４）特徴
（４−１）
本実施形態の遠隔作業支援システム１は、ウエアラブルデバイス１０と、携帯端末２０と、支援者端末４０とを備えている。ウエアラブルデバイス１０は、現場作業者が装着して用いる。ウエアラブルデバイス１０は、撮像部１１を備えており、支援者端末４０に作業者周辺の撮像画像を送信することができる。また、ウエアラブルデバイス１０と、支援者端末４０とで、電話のように用いて通話が可能である。

ウエアラブルデバイス１０は、表示部を備えていない。ウエアラブルデバイスが表示部を備えている場合、たとえばめがね型デバイスのように、作業者の視野が制限され、作業者に危険が発生することも起こりうる。表示部を備えていないと逆にそのような心配が少ないというメリットがある。

また、作業者は、携帯端末２０を携帯しているので、必要に応じて、携帯端末２０の表示部２１に、支援者からの支援の情報を表示させることができる。

（４−２）
本実施形態のウエアラブルデバイス１０は、首掛け式のデバイスである。したがって、作業者は、ハンズフリーに作業を行うことができる。

（４−３）
ウエアラブルデバイス１０の撮像部１１で撮影する画像は、動画または静止画である。

動画を撮像することにより、支援者端末４０の表示部４３に継続的にライブ画像１１３を表示することができる。

支援者が支援者加工画像を作成する際には、静止画を用いることによって、より簡便に作成できる。

（４−４）
ウエアラブルデバイス１０の撮像部１１で撮影された画像が、支援者端末４０において、選択、加工、または、情報付加されて携帯端末２０に送信され、携帯端末２０の表示部２１に表示される。

ウエアラブルデバイス１０と携帯端末２０を両方活用することによって、作業者は必要以上に支援者の支援情報を見る必要がなく、かつ、必要なときは携帯端末２０で見ることができる。

（４−５）
作業者および支援者の発話は、音声認識され、テキスト情報として、支援者端末４０の表示部４３の発話記録１１６に表示される。

支援者端末４０に発話記録がテキスト情報として表示されるので、支援者は通話内容の確認が容易であるし、また、それを利用して、作業者に支援もできる。さらに、発話内容のテキスト情報としての記録は、報告書の作成にも活用できる。

（４−６）
上記テキスト情報は、さらに、携帯端末２０の表示部２１に表示されてもよい。作業者においても、支援者との発話をテキストで表示部２１で確認できるのは有用である。また、重要な発話内容テキストを支援者が抽出して作業者の携帯端末２０に表示しても良い。

（４−７）
遠隔作業支援システム１は、支援者端末４０とウエアラブルデバイス１０とを結ぶ第１回線Ｔ１と、支援者端末４０と携帯端末２０を結ぶ第２回線Ｔ２とを有する。第１回線Ｔ１は、作業者による作業の間、連続して用いられ、第２回線Ｔ２は、作業者による作業の間、必要に応じて接続される。

このようにすることで、作業者は常に画面を見なくても作業を行うことができる。

（４−８）
遠隔作業支援システム１のサーバ３０は、ウエアラブルデバイス１０の撮像部１１で撮像された画像をサーバ３０の記憶部３２に記憶する。また、作業者および支援者の発話を音声認識してテキスト化し、サーバ３０の記憶部３２に記憶する。サーバ３０は、これらの画像、テキスト化された文字などから、作業の進捗状況、作業の終了時間を推定して、支援者端末４０の表示部４３に表示してもよい。作業の進捗状況は、○○％終了、などのように推定、表示しても良い。このように支援者は作業の進捗を知ることができる。

（４−９）
支援者端末４０は、表示部４３に参照文献リスト１１５を表示する。参照文献とは、現場作業支援情報である。現場作業支援情報は、ネットワーク上のデータベース５０に保存されている。支援者は、参照文献リスト１１５より、現場作業支援情報の内容にアクセスできる。支援者は、現場作業支援情報の内容を、抽出、加工して、携帯端末２０に送信する。

支援者がこのように現場作業支援情報を加工して作業者に送付することにより、作業者は、膨大な資料を大量に見る必要がなく、作業者の効率がアップする。

（４−１０）
本実施形態の遠隔作業支援システム１による作業支援は、様々な手段による支援を含んでいる。言い換えると、音声による支援、加工された画像による支援、支援者端末に置いて入力された文字による支援、支援者の発話がテキスト化された文字による支援、のいずれか、またはこれらの組み合わせによる支援である。

音声による支援とは、電話による支援と同じである。

加工された画像による支援とは、ウエアラブルデバイス１０により撮像された画像を利用したものと、現場作業支援情報を加工して用いるものとを含んでいる。

支援者端末４０に置いて入力された文字による支援とは、支援者が支援者端末４０において、文字を入力し、それが携帯端末２０に送信され、表示部２１に表示されることによって実現される支援である。

支援者の発話がテキスト化された文字による支援とは、支援者の発話がテキスト化され、テキスト化された情報を作業者の携帯端末２０に送付する支援である。作業者は、支援者の発言を聞き逃すことも、忘れる事も起こりうる。そこで、重要な発話については、テキスト化して送信することにより、有効な支援に繋がる場合がある。

（５）変形例
（５−１）変形例１Ａ
第１実施形態においては、図３に示すように、アクティブな作業者「ＡＡＡ ａａａ」のライブ画像１１３のみが表示部４３に表示されていた。変形例１Ａにおいては、接続されている全ての作業者「ＡＡＡ ａａａ」、「ＢＢＢ ｂｂｂ」、「ＣＣＣ ｃｃｃ」、「ＤＤＤ ｄｄｄ」、および、「ＥＥＥ ｅｅｅ」のライブ画像がライブ画像１１３に表示されている。言い換えると、アクティブでない作業者のライブ映像もライブ画像１１３に同時に表示されている。ただし、アクティブな作業者「ＡＡＡ ａａａ」は上に大きく表示され、アクティブでない作業者「ＢＢＢ ｂｂｂ」、「ＣＣＣ ｃｃｃ」、「ＤＤＤ ｄｄｄ」、および、「ＥＥＥ ｅｅｅ」の映像は、下に小さく表示されている。このように変形例１Ａの表示部４３によって、支援者は、アクティブでない作業者、言い換えると、支援中で無い作業者のおおよその動きを知ることができる。支援者は、これを利用して、たとえば、作業者が好ましくない動きをしようとしているときは、作業者を注意することができる。

（５−２）変形例１Ｂ
第１実施形態では、音声を音声認識して、テキスト化するのは、サーバ３０において実行していた。変形例１Ｂにおいては、音声認識およびテキスト化は、ウエアラブルデバイス１０または支援者端末４０にて行われる。したがって、ウエアラブルデバイス１０または支援者端末４０は、音声のオーディオデータと音声のテキストデータとを両方ともネットワークに発信する。さらに、音声認識機能だけでなく、ウエアラブルデバイス１０または支援者端末４０は、翻訳機能を有していても良い。

（５−３）変形例１Ｃ
第１実施形態では、ウエアラブルデバイス１０は、首掛け式であった。ウエアラブルデバイス１０は他の形式であっても良い。身体に装着して、ハンズフリーになるものが好ましい。変形例１Ｃのウエアラブルデバイス１０は、頭部に装着するものである。具体的には、ヘルメット、帽子、または、ヘアバンド、のような形態のものである。

（５−４）変形例１Ｄ
第１実施形態の遠隔作業支援システム１では、現場作業者は、ウエアラブルデバイス１０と、携帯端末２０を保持し、使用していた。遠隔作業支援システム１は、さらに、別のデバイスを利用してもよい。別のデバイスは、支援者端末４０にネットワークを介して接続されていてもよい。別のデバイスは、サーバ３０に接続されていてもよい。

別のデバイスは、変形例１Ｄにおいては、現場作業者が利用するウエアラブルデバイス１０の撮像部１１とは別のネットワークカメラである。ネットワークカメラは、ウエアラブルデバイス１０の撮像部１１と別の場所の撮影画像や、同じ場所であっても別の角度からの撮像画像をネットワークを通じて支援者端末に送信する。

（５−５）変形例１Ｅ
第１実施形態においては、ウエアラブルデバイス１０、携帯端末２０は、それぞれ独立に第１回線（Ｔ１）または第２回線（Ｔ２）によって、ネットワークに接続されていた。変形例１Ｅにおいては、ウエアラブルデバイス１０、携帯端末２０は、互いにＰ２Ｐで接続されている。

変形例１Ｅにおいては、ウエアラブルデバイス１０とネットワーク（または支援者端末４０）との接続は、第１回線を介してもいいし、一旦ウエアラブルデバイス１０と携帯端末２０とがＰ２Ｐで通信し、次いで、携帯端末２０とネットワークと第２回線で接続してもよい。

（５−６）変形例１Ｆ
別の通信デバイスがウエアラブルデバイス１０に近距離無線通信技術で接続することができる。近距離無線通信技術は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、Wi-Fiであってもよい。

（５−７）変形例１Ｇ
第１実施形態においては、支援者が発生する音声はウエアラブルデバイス１０に、支援者端末４０から送信する画像は、携帯端末２０に送信された。

変形例１Ｇにおいては、現場作業者は、ウエアラブルデバイス１０、スマートフォンである携帯端末２０と、別のデバイスとしてＰＣを利用できる。

支援者は、支援者端末４０から画像を送る際、携帯端末２０またはＰＣを選択して送信してもよい。

あるいは、サーバ３０は支援者端末４０から作業者への画像の送信を制御し、支援者端末４０は、画像を送信する作業者のデバイスを指定する指令を出し、サーバ３０がその指令を受け付けるように構成されていてもよい。

（５−８）変形例１Ｈ
本実施形態の作業者支援システムは、他の用途、たとえば、研修目的での利用が可能である。

研修の内容は、機器の修理や保守メンテナンスなどの現場作業である。受講者は、作業者として参加する。受講者（作業者）は１名ないし２名であるのが好ましい。習熟する作業を行う最低限の人数で行うのが好ましい。

研修の講習者は、支援者である。講習者は、複数名で、各講習者は、異なる観点をもって、受講者を指導するのが好ましい。そのため講習者によって見たい場所や角度が異なる。たとえば、作業そのものに詳しい講習者は、受講者の手元を確認したい。設備に詳しいものは、受講者を含めた設備全体の状態を俯瞰したり、設備についているメーターなどの継続機器を合わせて確認したりしたい。

講習者（支援者）は、受講者（作業者）に対し、確認したい場所や視野を撮影できるウエアラブルデバイス１０ないしスマートフォンなどの携帯端末２０への切り替えや、それらのデバイスの追加を促す。それにより、受講者（作業者）は、講習者より、様々な観点・角度から、自身が実施する作業について支援・教育を受けることができる。

＜第２実施形態＞
（６）第２実施形態の遠隔作業支援システム
第２実施形態の遠隔作業支援システムを模式的に説明する図を図４に示す。

第２実施形態の遠隔作業支援システムは、第１実施形態の遠隔作業支援システム１の構成をほぼそのまま含んでいる。言い換えると、第２実施形態の遠隔作業支援システムは、ウエアラブルデバイス１０と、携帯端末２０と、サーバ３０と、支援者端末４０と、データベース５０とを備えている。第１実施形態と同様に、遠隔作業支援システムは、作業支援を行い、その結果、ウエアラブルデバイス１０の撮像した画像、作業者の発話、支援者の発話を音声認識し、テキスト化したもの、支援者が作成した支援画像、作業報告書等を蓄積していく。第２実施形態のサーバ３０は、新たに発生した故障修理等の作業について、ウエアラブルデバイス１０が撮像した画像等のデータを、過去に蓄積したデータと比較し、類似の機器の異常または故障が発生していることを自動判別する。このように、本実施形態の遠隔作業支援システム１は、機器の異常または故障の診断が可能である。

サーバ３０は、機器の異常または故障の診断ができた場合、サーバ３０は、支援者に、過去と同様の適切な支援方法を提案する。または、作業者に直接、過去と同様の適切な支援方法を提案する。

また、本実施形態の遠隔作業支援システムは、将来の機器の故障を予測する。

（７）変形例
（７−１）変形例２Ａ
変形例２Ａの構成は、第２実施形態とほぼ同様である。変形例２Ａでは、サーバ３０が作業支援データを蓄積していくことにより、機器の操作マニュアルや修理メンテナンス作業マニュアルの不適切な点を自動識別する場合が起こりうる。サーバ３０は、このような場合には、操作マニュアルや修理メンテナンス作業マニュアルの修正、最適化を提案する。
＜第３実施形態＞
（８）第３実施形態の遠隔作業支援システム
第３実施形態の遠隔作業支援システム１の構成は、図２に示すように、第１実施形態の遠隔作業支援システム１の構成と同じである。遠隔作業支援システム１は、複数のデバイスを含む。複数のデバイスとは、ウエアラブルデバイス１０、携帯端末２０、および、支援者端末４０を含む。複数のデバイスは、さらに別のデバイスを含んでもよい。別のデバイスとは、ウエアラブルデバイス１０、携帯端末２０以外に作業者が利用するデバイスであって、音声または画像の入力または出力を支援するデバイスであってもよい。具体的な別のデバイスの例としては、カメラ、スマートフォン、スマートウオッチ、スマートグラス、ヘッドセット、ウエアラブルデバイス、などであってもよい。変形例１Ｄと同様のウエブカメラや、変形例１Ｆと同様の通信デバイスであってもよい。

本実施形態においても、サーバ３０は、複数のデバイスと接続されており、複数のデバイスの収集した情報はサーバに収集され、記憶部３２に蓄積される。情報とは、たとえば、ウエアラブルデバイス１０で撮像した画像であり、ウエアラブルデバイス１０または支援者端末４０で収集した音声である。

本実施形態においては、サーバ３０は、所定の条件に基づいて、複数のデバイスのうち少なくとも１つ以上のデバイスを指定し、指定に基づいて接続対象となるデバイスを呼び出す。サーバ３０の所定条件の判断には、ＡＩ技術を用いてもよい。

本実施形態においては、サーバ３０は、現場作業者の作業現場の環境情報を取得し、記憶部３２に蓄積する。ここで、環境情報とは、作業現場の照度や、騒音の度合い、気温、湿度、作業が高所作業か否か、といった情報である。サーバ３０は、環境情報に応じて、作業者にデバイスの使用、選択を促し、選択されたデバイスを呼び出してもよい。

例えば、サーバ３０は、ウエアラブルデバイス１０から送信される音声情報によって、作業者が工場など騒音が大きい環境にいるという情報を取得する。この場合、サーバ３０は、作業者にウエアラブルデバイス１０以外の指向性マイクを備えたデバイスを使用するように促す。作業者が指向性マイクを備えたデバイスの電源を入れることにより、サーバ３０は、指向性マイクを備えたデバイスを呼び出す。

別の例としては、サーバ３０は、ウエアラブルデバイス１０から送信される画像情報によって、作業者が暗いところにいるという情報を取得する。この場合、サーバ３０は、作業者にウエアラブルデバイス１０以外のライト付きカメラ（例えば携帯端末２０や他のデジタルカメラ等）を使用するように促す。作業者がライト付きカメラの準備をし、サーバ３０は、ライト付きカメラを呼び出す。

（９）変形例
（９−１）変形例３Ａ
変形例３Ａでは、サーバ３０は、現場作業者による作業の進捗を管理し、記憶部３２に記憶する。サーバ３０は作業の進捗に応じて、前記複数のデバイスのうち少なくとも１つ以上のデバイスを呼び出す。

たとえば、作業者がスマートグラスを用いて作業を行っていたときに、サーバ３０は、作業進捗から次の作業が高所作業と判断した場合に、視野が狭いスマートグラスを外すことを作業者に促す。

別の例としては、サーバ３０が、作業進捗から２つ以上の視点での確認が必要な作業と判断した場合に、全体を撮影するカメラと、手元を移すカメラの２台にすることを促す。作業者が２台のカメラを使用できるようにすると、サーバ３０は、２台のカメラを呼び出す。

（９−２）変形例３Ｂ
変形例３Ｂでは、サーバ３０は、現場作業者および支援者の発話を音声認識する。サーバ３０は、音声認識によって取得したキーワードに基づいて、複数のデバイスのうち少なくとも１つ以上のデバイスを呼び出す。

例えば、サーバ３０は、作業者と支援者の会話の中に、「登って」、「脚立で」の語があったときは、作業者にヘッドセットの利用を促す。作業者がヘッドセットを装着すると、サーバ３０は、ヘッドセットを呼び出す。

作業者と支援者の会話の中に、「聞こえない」、「声が小さい」の語があったときは、作業者に指向性マイクを装備したデバイスの利用を促す。作業者が指向性マイクを装備したデバイスを利用できるようにすると、サーバ３０は、指向性マイクを装備したデバイスを呼び出す。

作業者と支援者の会話の中に、「よく見えない」、「拡大して」の語があったときは、作業者にスマートフォンやスマートグラスの利用を促す。作業者がスマートフォンやスマートグラスを利用できるようにすると、サーバ３０は、スマートフォンやスマートグラスを呼び出す。

（９−３）変形例３Ｃ
変形例３Ｃは、変形例１Ｈと同様に研修目的での遠隔作業支援システム１の利用である。本実施形態は、変形例１Ｈにプラスして、さらに、サーバ３０は、支援者端末４０から、現場作業者が利用する複数のデバイスのうち少なくとも１つ以上のデバイスの指定を受け付ける。

以上、本開示の実施形態を説明したが、特許請求の範囲に記載された本開示の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。

１ 遠隔作業支援システム
１０ ウエアラブルデバイス
１１ 撮像部
１２ 音声入力部
１３ 音声出力部
２０ 携帯端末
２１ 表示部
２２ 通信部
４０ 支援者端末
４１ 音声入力部
４２ 音声出力部
４３ 表示部
Ｔ１ 第１回線
Ｔ２ 第２回線

特開２０１８−２０７４２０号公報

Claims (18)

1. 現場作業者に装着され、撮像部（１１）と、音声入力部（１２）と、音声出力部（１３）とを有し、画像を送信し、音声を送受信するウエアラブルデバイス（１０）と、
   前記ウエアラブルデバイスとは別に前記現場作業者に携帯され、受信した画像を表示する表示部（２１）を有する携帯端末（２０）と、
   前記現場作業者を遠隔支援する支援者により利用され、音声入力部（４１）と、音声出力部（４２）と、表示部（４３）と、を有し、前記ウエアラブルデバイスと音声を送受信し、前記ウエアラブルデバイスからの画像を受信し、前記携帯端末へ画像を送信する支援者端末（４０）と、
   を備えた
   遠隔作業支援システム。
2. 前記ウエアラブルデバイスは、首掛け式のデバイスである、
   請求項１に記載の遠隔作業支援システム。
3. 前記支援者端末の前記表示部は、前記ウエアラブルデバイスの前記撮像部で撮影した動画および静止画を表示する、
   請求項１または２に記載の遠隔作業支援システム。
4. 前記ウエアラブルデバイスの前記撮像部で撮影された画像が、前記支援者端末において、選択、加工、または、情報付加されて前記携帯端末に送信され、前記携帯端末の表示部に表示される、
   請求項１〜３のいずれか１項に記載の遠隔作業支援システム。
5. 前記現場作業者および前記支援者の発話は、音声認識され、テキスト情報として、前記支援者端末の表示部に表示される、
   請求項１〜４のいずれか１項に記載の遠隔作業支援システム。
6. 前記テキスト情報は、さらに、前記携帯端末の表示部に表示される、
   請求項５に記載の遠隔作業支援システム。
7. 前記支援者端末と前記ウエアラブルデバイスとを結ぶ第１回線（Ｔ１）と、
   前記支援者端末と前記携帯端末を結ぶ第２回線（Ｔ２）とを有し、
   前記第１回線は、前記現場作業者による作業の間、連続して用いられ、
   前記第２回線は、前記現場作業者による作業の間、必要に応じて接続される、
   請求項１〜６のいずれか１項に記載の遠隔作業支援システム。
8. 前記現場作業者による作業の作業進捗を、前記撮像部で撮像された画像、または／および、前記現場作業者および前記支援者の発話から自動抽出し、作業の進捗状況または作業の終了時間を推定し、前記支援者端末の前記表示部に、前記進捗状況または前記終了時間を表示する、
   請求項１〜７のいずれか１項に記載の遠隔作業支援システム。
9. 前記支援者端末は、現場作業支援情報を記憶するデータベース（５０）にアクセスし、前記現場作業支援情報を抽出、加工して、前記携帯端末に送信する、
   請求項１〜８のいずれか１項に記載の遠隔作業支援システム。
10. 前記支援者端末より前記現場作業者への支援は、音声による支援、加工された画像による支援、前記支援者端末に於いて入力された文字による支援、支援者の発話がテキスト化された文字による支援、のいずれか、またはこれらの組み合わせによる支援を含む、
    請求項１〜９のいずれか１項に記載の遠隔作業支援システム。
11. 前記遠隔作業支援システムは、同一のサーバに接続可能な複数のデバイスを備え、
    前記複数のデバイスは、前記ウエアラブルデバイス、前記携帯端末、および、前記支援者端末を含み、
    前記サーバは、所定の条件に基づいて、前記複数のデバイスのうち少なくとも１つ以上のデバイスを指定し、前記指定に基づいて接続対象となるデバイスを呼び出す、
    請求項１〜１０のいずれか１項に記載の遠隔作業支援システム。
12. 前記サーバは、前記現場作業者の作業現場の環境情報を取得し、
    前記サーバは、前記環境情報に基づいて、前記複数のデバイスのうち少なくとも１つ以上のデバイスを呼び出す、
    請求項１１に記載の遠隔作業支援システム。
13. 前記サーバは、前記現場作業者による作業の進捗を管理し、
    前記サーバは、作業の進捗に基づいて、前記複数のデバイスのうち少なくとも１つ以上のデバイスを呼び出す、
    請求項１１に記載の遠隔作業支援システム。
14. 前記サーバは、前記現場作業者および前記支援者の発話を音声認識し、
    前記音声認識よって取得したキーワードに基づいて、前記複数のデバイスのうち少なくとも１つ以上のデバイスを呼び出す、
    請求項１１に記載の遠隔作業支援システム。
15. 前記サーバは、さらに、前記支援者端末から、前記現場作業者が利用する前記複数のデバイスのうち少なくとも１つ以上のデバイスの指定を受け付ける、
    請求項１１〜１４のいずれか１項に記載の遠隔作業支援システム。
16. 前記複数のデバイスはデバイス間で相互に通信可能である、
    請求項１〜１５のいずれか１項に記載の遠隔作業支援システム（１）。
17. 現場作業者を遠隔支援する支援者により利用され、音声入力部（４１）と、音声出力部（４２）と、表示部（４３）と、を有する支援者端末（４０）であって、
    現場作業者に装着され、撮像部（１１）と、音声入力部（１２）と、音声出力部（１３）とを有するウエアラブルデバイス（１０）と、音声を送受信し、前記ウエアラブルデバイスからの画像を受信し、
    前記ウエアラブルデバイスとは別に現場作業者に携帯され、画像受信部（２２）が受信した画像を表示する表示部（２１）を有する携帯端末（２０）に画像を送信する、支援者端末（４０）。
18. 現場作業者に装着され、撮像部（１１）と、音声入力部（１２）と、音声出力部（１３）とを有し、画像を送信し、音声を送受信するウエアラブルデバイス（１０）と、
    前記ウエアラブルデバイスとは別に現場作業者に携帯され、画像受信部（２２）が受信した画像を表示する表示部（２１）を有する携帯端末（２０）と、
    現場作業者を遠隔支援する支援者により利用され、音声入力部（４１）と、音声出力部（４２）と、表示部（４３）と、を有する支援者端末（４０）とを含む、複数のデバイスと接続するサーバ（３０）であって、
    所定の条件に基づいて、前記複数のデバイスのうち、少なくとも１つ以上のデバイスを指定し、前記指定に基づいて通信対象となるデバイスを呼び出す、サーバ。

Images