JP2022042303A

JP2022042303A - 遠隔支援システム

Info

Publication number: JP2022042303A
Application number: JP2020147671A
Authority: JP
Inventors: ゴルベンコアレクサンドル; Gorbenco Alexander
Original assignee: Xr Japan; Xr Japan Co Ltd
Current assignee: Xr Japan; Xr Japan Co Ltd
Priority date: 2020-09-02
Filing date: 2020-09-02
Publication date: 2022-03-14
Anticipated expiration: 2040-09-02
Also published as: JP7688867B2

Abstract

【課題】作業の誤りや漏れを防止し、作業品質の向上を図ると共に、作業現場の不安全要素を視覚化して危険を回避し、さらに有効な訓練を実施する。
【解決手段】作業者の顔が向いている方向の空間映像を撮影する撮像部、少なくとも作業者の音声を集音する集音部、作業者に視認可能な映像を投影する投影部、音声を出力する音声出力部および無線通信を行なう無線通信部を有するウェアラブル端末１０２と、作業者の周囲の空間映像を撮影する３６０度カメラ１０４と、ウェアラブル端末が取得した空間映像または音声および３６０度カメラが取得した空間映像を再生する一方、ウェアラブル端末に映像情報または音声情報を出力する管理装置１０８と、を備え、管理装置は、３６０度カメラが取得した空間映像に対応する通知情報をウェアラブル端末に出力し、ウェアラブル端末は、通知情報を投影部または音声出力部で再生する。
【選択図】図１

Description

本発明は、遠隔地で作業する作業者を支援する遠隔支援システムに関する。

従来から、ウェアラブル端末を用いた遠隔支援システムが知られている。例えば、特許文献１に開示されている遠隔作業支援システムでは、制御手段が、状態検出装置および吊荷位置検出装置からの検出信号を受信して、作業開始状態を検出する。また、制御手段は、例えば、撮影手段、例えば、現場にいる作業者のウェアラブル端末および／または現場に備えつけている据付カメラ等から撮影情報（例えば画像情報、動画情報、位置情報等）を取得する。次に、制御手段は、状態検出装置および吊荷位置検出装置からの検出信号に基づき、クレーンの作業姿勢が変更されたかどうかを判定する。クレーンの作業姿勢が変更された場合、その作業姿勢および撮影手段（ウェアラブル端末、据付カメラ等）の情報に基づき、操縦席の表示手段に表示する撮影情報を抽出する。この際、操縦席の作業者がウェアラブル端末を身に着けている場合、そのウェアラブル端末に表示する撮影情報も抽出しても良い。そして、抽出された撮影情報を、表示手段（ウェアラブル端末）に送信すると共に撮影情報を表示させることで、遠隔作業支援を終了する。

また、特許文献２に開示されている遠隔支援システムでは、設備機器と、設備機器に関する情報を送信および／または受信する携帯端末と、設備機器に対するサービスの実施に対応する対応手段を備え、対応手段は、携帯端末を介してサービスの実施を遠隔から支援する。より具体的には、センター等の端末から異常等に対応する作業者へウェアラブル端末により適切な対応作業の指示を行なう。すなわち、センターに異常等の通知があると、現場への指示を出す指示端末は、指示端末のアクセス検出処理をし、アクセスがあると、現場作業者のウェアラブル端末から現場の異常等の対象システム、対象ライン等の画像情報を受信する。また、画像情報と共に会話等によりその現場の状況報告を受けても良い。

また、特許文献３に開示されている荷役運搬機械の遠隔操作システムでは、先ず、オペレータがウェアラブルグラスを装着し、ウェアラブルグラスおよび大画面モニタを起動する。次に、ウェアラブルグラスおよび大画面モニタを起動後、荷役運搬機械としての連続式アンローダの操作電源を投入する。ここで操作電源を投入した後、荷役運搬機械の運転準備判定が行なわれる。ここで、運転準備未完了と判定された場合、ウェアラブルグラスは操作開始モードに入り、ウェアラブルグラスには操作を開始するための運転準備手順の表示が行なわれると共に、音声ガイダンスが流される。オペレータはウェアラブルグラスの表示と音声ガイダンスに従って荷役運搬機械の運転準備を行なう。

運転準備完了後は、ウェアラブルグラスの音声ガイダンスに従ってオペレータは荷役運搬機械の操作を開始する。荷役運搬機械の状態（正常か異常か）によってオペレータの運転操作方法は異なるため、上記操作開始から続いて前記荷役運搬機械の状態判定が行なわれる。荷役運搬機械の状態としてモータ過負荷等の故障異常が発生していると判定された場合、ウェアラブルグラスは異常発生時モードに入り、故障状態（重／軽故障）、故障内容（エラー番号、エラー項目）、故障復旧手順が表示されると共に、音声ガイダンスが流される。オペレータは異常状態表示と音声ガイダンスに従って操作を行ない、異常を解除する。

一方、荷役運搬機械の状態が正常であると判定された場合、ウェアラブルグラスは通常運用モードに入り、オペレータはウェアラブルグラスの機能であるカメラ映像表示を必要に応じて選択する。オペレータがウェアラブルグラスの機能であるカメラ映像表示を選択しない場合、荷役運搬機械の停止中／運転中の運転状態や距離・状態量がウェアラブルグラスに表示される。オペレータは、ウェアラブルグラスの表示および荷役運搬機械に配設された複数の監視カメラが写した映像を大画面モニタで見ながら遠隔操作を行なう。

実用新案登録第３２２６６３７号明細書特開２０１８－１８５５７０号公報特開２０１６－１９９３８８号公報

我が国の生産システムは、作業者が一人で組み付けをして完成品を作る「セル生産」や、流れ作業を正確に時間内に行なう「ライン生産」が主流である。工場の設備は、高い能力が必要とされる保全担当の作業員によって予防保全が行なわれ、常に、精度が高い状態で生産できるように整備されている。つまり、生産現場は、能力の高い作業員の存在を前提に成り立っているといえる。しかし、工場の移転、熟練作業者の離職、労働人口の減少などが進むことにより、人的作業に高度な成果を期待し難くなる可能性がある。

また、作業者による能動的な学習として、実際の機材による演習を計画したとしても、生産稼働中の設備を演習のために利用することができず、新たに演習用の機材を購入する必要があり、すべてを揃えるのは現実的ではなく、限定的な演習となりがちである。その結果、トレーニングの浸透率の低下や効果の低下を招いている。効果的なトレーニング方法が求められている。また、作業中の能動的な学習は、非常に効果的であることが証明されており、新しい労働者が、プラント全体の生産性に貢献しながらトレーニングすることが望ましい。しかし、工場の作業方法を学習するために、座学を中心に受動的な学習が多く見受けられる。

また、製造した製品の検査では、テストツールなどによる定量的な検査の場合を除き、検査員の主観的判断による検査が中心となっている。また、場合によっては検査手順の漏れや検査の誤りなども発生し、製造品質の保証に対するリスクも存在する。また、不適合品として返品された製品の製造履歴の確認や、部材や設備の管理が個別であることから、それぞれに分散したデータの確認に多くの時間を費やすなど、困難な状況に陥っている。

このようなものづくりの現場では、作業品質のバラつきを解消するために、ＯＪＴ、作業手順書、マニュアル化など、様々な教育や引継ぎが行なわれている。しかし、熟練作業者の離職や労働人口の減少などが進んでしまうと、人から人への伝承には無理が生じてくることが予想される。そこで、熟練作業者の行動や考え方を新人や経験の浅い作業員など、誰でも利用できる仕組みが求められている。また、単に、トレーニングによる利用だけでなく、実際の作業でも利用できることが求められている。

また、熟練者の作業内容だけでなく、設備の状態などを表すデータを、ＩｏＴで収集し、膨大なデータを「見える化」することによって、作業や製造における課題を抽出し、品質や生産性の改善への利用が求められている。さらに、遠隔地から、熟練者または専門家からの支援により、作業ミスや非効率化のリスクを回避することが求められている。

さらに、膨大なデータを分析することにより、今まで分からなかったエラーや、非効率化のリスクを予兆したり、リスクが顕在化した場合に、どのような影響が生じるのかをシミュレートしたり、さらに、それを作業者、監督者、設備のメンテナンスにフィードバックするなど、最適な製造現場の実現が求められている。

従来から知られている遠隔支援システムでは、このような課題を十分に解決できていなかった。特に、ウェアラブル端末から取得した画像を管理装置で表示する場合や、管理装置からウェアラブル端末へ画像を送信する場合に、それぞれに表示される画像の品質が低かったり、伝送容量が課題で、通信が不安定となったりする課題も存在した。このような状況では、遠隔診療における「誤診」や建設現場における「事故」を回避するためには、十分ではなかった。

本発明は、このような事情に鑑みてなされたものであり、作業者の作業を熟練者と共有することによって、作業の誤りや漏れを防止し、作業品質の向上を図ると共に、作業現場の不安全要素を視覚化して危険を回避し、さらに有効な訓練を実施することができる遠隔支援システムを提供することを目的とする。

（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の遠隔支援システムは、遠隔地で作業する作業者を支援する遠隔支援システムであって、作業者の顔が向いている方向の空間映像を撮影する撮像部、少なくとも作業者の音声を集音する集音部、作業者に視認可能な映像を投影する投影部、音声を出力する音声出力部および無線通信を行なう無線通信部を有するウェアラブル端末と、前記作業者の周囲の空間映像を撮影する３６０度カメラと、前記ウェアラブル端末が取得した空間映像または音声および前記３６０度カメラが取得した空間映像を再生する一方、前記ウェアラブル端末に映像情報または音声情報を出力する管理装置と、を備え、前記管理装置は、前記３６０度カメラが取得した空間映像に対応する通知情報を前記ウェアラブル端末に出力し、前記ウェアラブル端末は、前記通知情報を前記投影部または音声出力部の少なくとも一方で再生することを特徴とする。

（２）また、本発明の遠隔支援システムは、前記３６０度カメラが取得した空間映像と、深層学習により蓄積した複数の映像とを対比し、前記空間映像に対応する映像が存在する場合は、その映像に対応する通知情報を前記ウェアラブル端末または前記管理装置の少なくとも一方へ出力するＡＩ部をさらに備えることを特徴とする。

（３）また、本発明の遠隔支援システムにおいて、前記ウェアラブル端末は、前記管理装置から映像コンテンツを取得し、前記投影部および前記音声出力部で前記映像コンテンツを再生することを特徴とする。

（４）また、本発明の遠隔支援システムは、前記ウェアラブル端末および前記３６０度カメラと前記管理装置との通信を中継する中継装置をさらに備えることを特徴とする。

（５）また、本発明の遠隔支援システムにおいて、前記ウェアラブル端末は、前記監視装置から作業評価情報を取得し、前記投影部で前記作業評価情報を再生することを特徴とする。

本発明によれば、作業の誤りや漏れを防止し、作業品質の向上を図ると共に、作業現場の不安全要素を視覚化して危険を回避し、さらに有効な訓練を実施することが可能となる。

本発明の実施形態に係る遠隔支援システムの概略構成を示す図である。管理装置１０８のハードウェア構成を示す図である。本実施形態に係るＡＲグラスの概略構成を示す図である。ＡＲグラス１０２のハードウェア構成を示す図である。基本動作の概要を示すフローチャートである。詳細な動作を示すフローチャートである。詳細な動作を示すフローチャートである。詳細な動作を示すフローチャートである。ミーティングにおいて、ＡＲグラスのカメラで撮影した映像を管理装置のディスプレイに表示した様子を示す図である。ミーティングにおいて、ＡＲグラスのディスプレイの画像表示例を示す図である。

日本国内の製造業に関するＧＤＰ（国内総生産）は、縮小傾向が続いており、ピークだった１９９７年の１１４兆円から２０１７年には９０兆円前後と、約二割減少している。一方、製造業の現場では、産業革命以来、生産における高度化、高効率化、高品質、低コストのための技術革新に取り組んできた。近年では、デジタルトランスフォーメーション（ＤＸ）に伴い、取り扱うデータ量の飛躍的な増大や、ハードウェア性能の爆発的向上、更に、ＡＩ（人工知能）やディープラーニングなどの革新的な技術の台頭により、今まで不可能と思われてきたことが可能となり、産業構造の変革の機運が高まってきている。生産現場からあらゆるデータを取得し、これを高度に活用して、ものづくりを変革する動きは、これまでの製造業の課題の解決に留まらず、長期的な利益をもたらすなど、新たな付加価値の創出に期待されている。本発明は、革新的な技術を取り込み、人がモノだけでなく、機械、システム、さらには社会につなげるツールである。

［本発明の特徴］
（１）遠隔監視における特徴
作業者が装着するハンズフリーのウェアラブルデバイス（ARグラス）で撮影した映像を、遠隔地の監督者と共有する。その結果、作業の誤りや漏れなどを防止することが可能となる。熟練者の作業手順をコンテンツ化し、ＡＲグラスに投影することで、作業者にその手順を提供する。その結果、作業ミスを未然に防止することが可能となると共に、新人や経験の浅い作業員でも質の高い作業が可能となる。

（２）安全性および作業品質確保における特徴
現場に設置された「３６０度カメラ」で作業者の周囲の空間の映像を監督者と共有する。これにより、作業者および作業現場の不安全要素を視覚化し、確認することが可能となる。また、監督者から現場作業者へ指示を送ったり、連絡がない場合は音声・映像・テキストによるコミュニケーションを取ったりすることが可能となる。

（３）現場作業の付加価値提供における特徴
ＡＲグラスからの映像情報、作業者の作業状況、周囲の環境情報をＡＩで分析する。これにより、分析結果を事故防止のトレーニングや作業前の危険予知に活用することが可能となる。さらに、事故等によるリスクが発生した場合の影響をシミュレーションしたり、関連するシステムと連携をしたりすることが可能となる。

［本発明の構成］
図１は、本発明の実施形態に係る遠隔支援システムの概略構成を示す図である。この遠隔支援システム１００は、現場作業員Ａ１が装着するウェアラブル端末としてのＡＲグラス１０２ａ、現場作業員Ａ１の周囲の空間映像を撮影する３６０度カメラ１０４ａ、ＡＲグラス１０２ａおよび３６０度カメラ１０４ａ、後述する管理装置１０８との通信を中継する中継装置１０６ａ、ＡＲグラス１０２ａが取得した空間映像または音声および３６０度カメラ１０４ａが取得した空間映像を再生する一方、管理者Ｂの操作を契機として、ＡＲグラス１０２ａに映像情報または音声情報を出力する管理装置１０８から構成されている。また、遠隔支援システム１００は、３６０度カメラ１０４ａが取得した空間映像と、深層学習により蓄積した複数の映像とを対比し、空間映像に対応する映像が存在する場合は、その映像に対応する通知情報をＡＲグラス１０２ａまたは管理装置１０８の少なくとも一方へ出力するＡＩ（Artificial intelligence）部１１０を備えている。この遠隔支援システム１００は、複数の現場作業員の作業を遠隔支援することができ、各現場作業員の画像を管理装置１０８において、切り替えて表示することが可能である。すなわち、遠隔支援システム１００は、現場作業員Ａ２が装着するウェアラブル端末としてのＡＲグラス１０２ｂ、現場作業員Ａ２の周囲の空間映像を撮影する３６０度カメラ１０４ｂ、ＡＲグラス１０２ｂおよび３６０度カメラ１０４ｂ、後述する管理装置１０８との通信を中継する中継装置１０６ｂ、ＡＲグラス１０２ｂが取得した空間映像または音声および３６０度カメラ１０４ｂが取得した空間映像を再生する一方、管理者Ｂの操作を契機として、ＡＲグラス１０２ｂに映像情報または音声情報を出力する管理装置１０８から構成されている。また、ＡＩ部１１０は、３６０度カメラ１０４ｂが取得した空間映像と、深層学習により蓄積した複数の映像とを対比し、空間映像に対応する映像が存在する場合は、その映像に対応する通知情報をＡＲグラス１０２ｂまたは管理装置１０８の少なくとも一方へ出力する。この構成により、管理装置１０８から複数の拠点を管理・確認する際、管理装置１０８（本部の１つのPC）から画面をボタン等で切り替えて、拠点毎にコミュニケーションを取ることが可能となる。

図２は、管理装置１０８のハードウェア構成を示す図である。ＣＰＵ２０２には、メモリ２０４、ＯＳ・アプリ２０６、通信インタフェース２０８、ディスプレイ２１０、ディスクドライブ２１２、キーボード・マウス２１４、およびマイク・スピーカ２１６が接続されている。通信インタフェース２０８は、インターネットおよび中継装置１０６を介してＡＲグラス１０２および３６０度カメラ１０４と通信する。また、中継装置１０６についても、同様の構成を採るが、中継装置１０６については、ディスクドライブ２１２を備えていなくても良い。中継装置１０６は、スマートフォン、タブレット、モバイル型コンピュータなどで構成することが可能である。

図３は、本実施形態に係るＡＲグラスの概略構成を示す図である。このＡＲグラス１０２は、本体部１０２ａが、眼鏡のように装着するためのフレーム１０２ｂに結合している。本体部１０２ａには、作業者の顔が向いている方向の空間映像を撮影するためのカメラ４１２が設けられている。このカメラ４１２は、例えば、１２．８メガピクセルの静止画および４ｋ３０ビデオの撮影が可能となるように構成することができる。また、オートフォーカス機能（PDAF）を有していることが望ましい。さらに、ＬＥＤフラッシュ４１３が設けられている。また、光学式画像安定化機能や、バーコードスキャン機能を備えていても良い。また、本体部１０２ａの側面に、操作ボタン４１４が設けられており、作業者は各種の機能を操作することが可能である。また、本体部１０２ａには、ディスプレイ４１０が設けられており、作業者の右目で投影された映像が視認可能となっている。なお、このディスプレイ４１０は、左目用としても使用可能である。本実施形態では、フレーム１０２ｂを用いた例を示したが、本発明は、これに限定されるわけではなく、ヘルメットおよびヘッドバンドマウントなど、作業環境に合わせて装着機能を拡張したり変更したりすることが可能である。

図４は、ＡＲグラス１０２のハードウェア構成を示す図である。ＣＰＵ４０２には、メモリ４０４、ＯＳ・アプリ４０６、通信インタフェース４０８、ディスプレイ４１０、カメラ４１２、操作ボタン４１４およびマイク・スピーカ４１６が設けられている。ＡＲグラス１０２は、音声制御により、複数の言語をサポートしている。また、操作ボタン４１４の他、マルチフィンガーをサポートする２軸タッチバッドを設けても良い。また、３軸ジャイロ、３軸加速度計、３軸マグ・統合コンパスの装備し、３自由度のヘッドトラッキングが可能となるように構成することもできる。音声に関しては、内臓スピーカの他、イヤホンの装着も可能であり、トリプルノイズキャンセリングマイクを備えていても良い。

［本発明の動作］
次に、以上のように構成された本実施形態に係る遠隔支援システムの動作について説明する。図５は、基本動作の概要を示すフローチャートである。図５において、システムが起動すると（ステップＳ５００）、バックエンドサーバに接続する（ステップＳ５０２）。バックエンドサーバから通知システムを経由して（ステップＳ５０４）、ユーザプロファイルにアクセスする（ステップＳ５０６）。この遠隔支援システムは、複数のユーザと同時接続が可能であると共に、表示を切り替えることが可能である。ここでは、複数の作業者のうち、特定の一人の作業者が選択されたとして説明する。作業者が装着するＡＲグラスと管理装置との間で、タスクが選定され、タスクマネージャーによりデータが取得される（ステップＳ５０８）。取得したデータは、バックエンドサーバに提供される。次に、ユーザプロファイルからミーティングが選択されると（ステップＳ５１０）、セッションが開始される。これにより、ＡＲグラスと管理装置との間で、映像および音声による双方向通信が可能となる。また、ライブビデオの送受信を行なう場合は、ビデオストリーミングが開始される（ステップＳ５１２）。なお、監督者における管理装置がユーザプロファイルへアクセスすることも可能である（ステップＳ５１４）。また、バックエンドサーバには、ＡＩサーバにアクセスしたり（ステップＳ５１６）、ストレージにアクセスしたり（ステップＳ５１８）、データベースにアクセスしたり（ステップＳ５２０）、ストリーミングサーバにアクセスすることも可能となっている（ステップＳ５２２）。

図６Ａ～図６Ｃは、詳細な動作を示すフローチャートである。作業者がＡＲグラスを装着し（ステップＳ６００）、中継装置における専用アプリを起動すると（ステップＳ６０２）、バックエンドサーバに接続される（ステップＳ６０４）。バックエンドサーバに接続されると、データベースにアクセスできるようになり（ステップＳ６０６）、また、ストレージにアクセスできるようになり（ステップＳ６０８）、ＡＩサーバと接続できるようになる（ステップＳ６１０）。次に、タスクがあるかどうかを判断し（ステップＳ６１２）、タスクがない場合はこの判断を繰り返す。

ステップＳ６１２において、タスクがある場合は、タスクを取得し（ステップＳ６１４）、タスク情報を表示する（ステップＳ６１６）。次に、いずれか一つまたは複数のタスクを選択し（ステップＳ６１８）、３６０度カメラを初期化する（ステップＳ６２０）。そして、ビデオ録画モードを初期化して（ステップＳ６２２）、バックエンドサーバへ戻る。また、ステップＳ６１８におけるタスクの選択により、ＱＲコード（登録商標）をスキャンする場合は、ＱＲコード（登録商標）をスキャンして、データベースの情報を確認し、バックエンドサーバに戻る。また、ステップＳ６１８においてタスクが選択され、タスクが完了した場合は（ステップＳ６２６）、タスクのステータスを更新して、バックエンドサーバに戻る。なお、ステップＳ６１８におけるタスク選択の際、ＱＲコードを読み取る構成を採ることも可能である（ステップＳ６２４）。

ステップＳ６０４において、ＡＲグラスは、バックエンドサーバに接続した状態で、管理装置との間で、図６Ｂに示すミーティングをするかどうかを判断する（ステップＳ６２８）。ＡＲグラスから発信する場合は、連絡先リストを確認し（ステップＳ６３０）、連絡先を選択し（ステップＳ６３２）、呼び出し要求を行なう（ステップＳ６３４）。一方、ステップＳ６２８において、管理装置から着信があった場合は、プッシュ通知に同意するかどうかを判断し（ステップＳ６３６）、同意しない場合は、セッションを閉じて終了する（ステップＳ６４４）。一方、ステップＳ６３６において、プッシュ通知に同意する場合は、ホストでストリームを初期化し（ステップＳ６３８）、ＡＲグラスからライブビデオをストリーミング再生する（ステップＳ６４０）。ここでは、ＡＲグラスと管理装置との間で、ストリーミングするファイルを共有して（ステップＳ６４２）、バックエンドサーバに戻る。また、ステップＳ６４０において、ミーティングが終了した場合は、セッションを閉じて終了する（ステップＳ６４４）。

図７Ａは、ミーティングにおいて、ＡＲグラスのカメラで撮影した映像を管理装置のディスプレイに表示した様子を示す図である。ディスプレイの画面７００には、作業者の顔が向いている方向の空間映像が表示され、同時に、管理者の映像がサブ画面７０２に表示される。管理者は、ディスプレイに表示する作業者を切り替えることも可能である。管理者が作業者へ指示を行なう場合、画面７００に入力することで、指示を示すことが可能である。また、管理者は、音声で作業者に指示を与えることも可能である。図７Ｂは、ミーティングにおいて、ＡＲグラスのディスプレイの画像表示例を示す図である。枠７０４は、作業者の視覚に入っている映像を模式的に表している。ＡＲグラスのディスプレイ７０６には、管理装置から提供された画像７０８が表示される。この画像７０８には、管理者からの指示が含まれており、作業者は、作業をしながら、ハンズフリーの状態で、管理者の指示を受けることが可能である。

図６ＡのステップＳ６１０において、ＡＩが作業者の周囲分析を行なう（ステップＳ６４６）。ステップＳ６４８において、ＡＩが、作業者の周囲が危険な状況であるかどうかを判断し（ステップＳ６４８）、危険な状況でない場合はこの判断を繰り返し、危険な状況であった場合は、通知を生成する（ステップＳ６５０）。そして、監督者へ通知を送信すると共に（ステップＳ６５６）、ＡＲグラスの作業者へ通知を送信し（ステップＳ６５２）、タスクを中止する（ステップＳ６５４）。すなわち、ＡＩは、３６０度カメラ１０４が取得した空間映像と、深層学習により蓄積した複数の映像、例えば、過去に起きた事故の映像や危険な状況を表す映像に合致するかどうかを判断する。合致する映像があった場合は、その映像に対応する通知情報をＡＲグラス１０２または管理装置１０８の少なくとも一方へ出力する。通知情報は、例えば、例えば、危険度が高いことを示すテキストやアラーム音を発するようにすることができる。さらに、ステップＳ６５０において、通知を生成した場合、図６ＡのステップＳ６１６に遷移し、タスク情報にマークを付けて、タスク情報を表示する（ステップＳ６１６）。これにより、危険が発生し、中止されたタスクであることを、タスク開始前に作業者に知らせることが可能となる。

［本発明の効果］
本発明を製造現場に適用することにより、熟練者の行動や経験をコンテンツ化し、さらに、現場作業では、ＡＲグラスを装着することにより、コンテンツ化された手順に従い、作業者へ指示を促すことが可能となる。また、遠隔地にいる監督者または専門家とのコミュニケーションを実現することによって、質の高い業務が可能となる。すなわち、新人または経験の少ない作業者であっても、遠隔から支援することによって、質の高い作業が可能となる。また、高品質な製品の製造が可能となる。また、能動的なトレーニングにより、短期間で高い習熟度を実現することが可能となる。また、遠隔地にいる熟練者または専門家は、ダッシュボードを用いて、現場のＡＲグラスで表示する映像だけでなく、３６０度カメラによる映像を監視し、作業者や作業環境を把握することによって、正確な要因分析と迅速な対応が可能となる。また、作業者と過去の専門家との履歴を共有することによって、迅速な対応が可能となる。また、熟練者または専門家を現場へ向かわせることが不要となり、交通費や移動時間を節約することが可能となる。また、現場の作業者は、ハンズフリーなＡＲグラスによって、生産性の高い作業が可能となる。

本発明を物流倉庫に適用することにより、物品のデータを一元管理し、ＡＲテクノロジーによって効率的な物品検索が可能となる。また、物品の取引と連携することにより、倉庫内の最新の物品情報を提供することが可能となる。すなわち、ＡＲテクノロジーにより、倉庫内の物品のデータを一元管理することが可能となる。また、一元管理しているデータに基づいて、作業者に対象となる物品やその場所を指示することで、平均ピックアップ時間を短縮させることが可能となる。また、注文に対して引き当てる部品の誤りを解消させることが可能となる。

本発明を医療現場に適用することにより、医療知識や医療器具の操作方法などを最新情報として管理することができ、医師は適切な医療行為が可能となる。すなわち、医療知識をデータプラットフォーム化することによって、常に最新のデータとして医療従事者に共有することが可能となる。また、患者、担当医、専門家とのリアルタイムなコミュニケーションによって、適切な医療行為を実現することが可能となる。また、コミュニケーションや治療の履歴を管理することによって、適切な医療行為が可能となる。

１００…遠隔支援システム
１０２…ＡＲグラス
１０２ａ…本体部
１０２ｂ…フレーム
１０４…３６０度カメラ
１０６…中継装置
１０８…管理装置
１１０…ＡＩ部
２０２…ＣＰＵ
２０４…メモリ
２０６…ＯＳ・アプリ
２０８…通信インタフェース
２１０…ディスプレイ
２１２…ディスクドライブ
２１４…キーボード・マウス
２１６…マイク・スピーカ
４０２…ＣＰＵ
４０４…メモリ
４０６…ＯＳ・アプリ
４０８…通信インタフェース
４１０…ディスプレイ
４１２…カメラ
４１３…ＬＥＤフラッシュ
４１４…操作ボタン
４１６…マイク・スピーカ

Claims

遠隔地で作業する作業者を支援する遠隔支援システムであって、
作業者の顔が向いている方向の空間映像を撮影する撮像部、少なくとも作業者の音声を集音する集音部、作業者に視認可能な映像を投影する投影部、音声を出力する音声出力部および無線通信を行なう無線通信部を有するウェアラブル端末と、
前記作業者の周囲の空間映像を撮影する３６０度カメラと、
前記ウェアラブル端末が取得した空間映像または音声および前記３６０度カメラが取得した空間映像を再生する一方、前記ウェアラブル端末に映像情報または音声情報を出力する管理装置と、を備え、
前記管理装置は、前記３６０度カメラが取得した空間映像に対応する通知情報を前記ウェアラブル端末に出力し、
前記ウェアラブル端末は、前記通知情報を前記投影部または音声出力部の少なくとも一方で再生することを特徴とする遠隔支援システム。
前記３６０度カメラが取得した空間映像と、深層学習により蓄積した複数の映像とを対比し、前記空間映像に対応する映像が存在する場合は、その映像に対応する通知情報を前記ウェアラブル端末または前記管理装置の少なくとも一方へ出力するＡＩ部をさらに備えることを特徴とする請求項１記載の遠隔支援システム。
前記ウェアラブル端末は、前記管理装置から映像コンテンツを取得し、前記投影部および前記音声出力部で前記映像コンテンツを再生することを特徴とする請求項１または請求項２記載の遠隔支援システム。
前記ウェアラブル端末および前記３６０度カメラと前記管理装置との通信を中継する中継装置をさらに備えることを特徴とする請求項１から請求項３のいずれかに記載の遠隔支援システム。
前記ウェアラブル端末は、前記監視装置から作業評価情報を取得し、前記投影部で前記作業評価情報を再生することを特徴とする請求項１から請求項４のいずれかに記載の遠隔支援システム。