JP2018181232A - 工場設備の保守支援装置及び保守支援システム - Google Patents

Abstract

【課題】工場設備の保守に必要な情報を作業者に負担をかけずに容易に収集し、作業者の保守作業を支援することができる低コストの保守支援装置及び保守支援システムを実現する。
【解決手段】保守支援装置１は、現実のシーンに付加画像が重畳された拡張現実画像を表示する表示部２１と現実のシーンを撮像して現実画像を取得する撮像部２２とを有する頭部装着型表示装置２の、撮像部２２が取得した現実画像に基づいて、工場設備の稼働状況を示す情報を抽出する画像解析部１１と、抽出された稼働状況を示す情報を記憶するデータ記憶部１２と、記憶された稼働状況を示す情報に基づいて、工場設備の異常発生の有無を判定するデータ解析部１３と、現実のシーンにデータ解析部１３により異常発生と判定された工場設備に対する保守情報を示す付加画像を重畳した拡張現実画像を、頭部装着型表示装置２の表示部２１に表示させる表示制御部１４と、を備える。
【選択図】図１

Description

本発明は、工場設備の保守支援装置及び保守支援システムに関する。

工場設備の保守作業には、例えば、工場設備に設けられたセンサ、メータあるいはディスプレイ画面に示された値などの各種情報を目視で確認し、記録用紙に記録する作業や、記録用紙に記入した情報をコンピュータのデータベースに入力する作業がある。このような作業を一定時間ごとに繰り返して情報の蓄積を長期間に渡って行い、各データの時間的な変化を把握することで、消耗品の補充を行ったり、定期保守作業の計画を立てたり、工場設備に異常がないかどうかの分析を行ったり、生産効率を改善するためのデータ解析を行う。また、近年では、画像処理技術の発展に伴い、センサ、メータあるいはディスプレイ画面に示された値などの各種情報の読み取りを、作業者による目視に代えて電子機器にて行われることもある。

例えば、コンピュータを設置したセンタ側にて、需要家に配設された計量機器の計量値を集中管理し、自動的に検針処理を行う自動検針装置であって、計量機器の計量値と計量機器を識別する識別番号を同一画面に撮像するディジタルカメラと、ディジタルカメラの撮像画像から計量値と識別番号を判読する画像処理部と、画像処理部からの判読結果を記憶する記憶部と、画像処理部からの判読結果を表示する表示部と、画像処理部からの判読結果を印刷する出力部と、を備えたことを特徴とする自動検針装置が知られている（例えば、特許文献１参照。）。

例えば、文字情報表示部に測定データを表示する体温計の測定データを撮影して文字画像を生成する撮影部と、前記文字画像から測定デジタルデータを生成する文字認識部と、前記測定デジタルデータを記録する記録部とを備えたデータ入力装置が知られている（例えば、特許文献２参照。）。

例えば、最低位に複数の目盛線からなる目盛が付された複数桁の数字にそれぞれ対応する複数の数字車が回転することによって計量用の数値を表示する計量装置の数値情報を含む画像をもとに該計量装置が指示する数値を認識する数値認識装置であって、前記数字車に対応して帯状に連なる数字列のパターンを記憶する記憶部と、前記画像に含まれる各桁の前記数字車が表示する表示内容を抽出する抽出部と、前記数字車の表示内容を前記数字列のパターンと照合する照合部と、前記照合部による前記数字車の照合結果に基づいて前記計量装置の各桁における指示値を認識する認識部と、前記照合部による前記最低位の前記数字車の照合結果に基づいて前記画像に含まれる前記目盛の値を判別する判別部と、を備えたことを特徴とする数値認識装置が知られている（例えば、特許文献３参照。）。

例えば、作業者の頭部に装着されて、受信したコンテンツ情報に基づいて視界に画像を表示するヘッドマウントディスプレイと、前記ヘッドマウントディスプレイにコンテンツ情報を送信する作業支援装置と、を備えた作業支援システムにおいて、前記ヘッドマウントディスプレイは、該ヘッドマウントディスプレイに搭載されて視界方向の対象物を撮像する撮像手段と、該ヘッドマウントディスプレイに搭載されて前記作業者の頭部の動きを検出する頭部動作検出手段と、前記撮像手段によって撮像した基本画像情報と前記頭部動作検出手段によって検出した頭部動作情報とを前記作業支援装置に送信する作業側送信手段と、を有し、前記作業支援装置は、前記作業側送信手段を介して送信された前記基本画像情報と前記頭部動作情報とを受信する支援側受信手段と、前記支援側受信手段を介して受信した前記基本画像情報と前記頭部動作情報とに基づいて該基本画像情報から前記対象物の映像の揺れを補正した補正画像情報を作成する頭揺れ補正手段と、前記補正画像情報を所定の態様で出力する支援側出力手段と、を有することを特徴とする作業支援システムが知られている（例えば、特許文献４参照。）。

特開２００１−２５０１８５号公報 特開２００１−３４９７８９号公報 特開２０１６−１７３７６０号公報 特開２０１１−０７１８８４号公報

工場設備に設けられたセンサ、メータあるいはディスプレイ画面に示された値などの各種情報を、作業者自らが目視で確認して記録用紙に記録し、記録した情報をコンピュータのデータベースに入力する場合、収拾すべき情報が膨大であると、作業工数が増えて作業者の負担が増す。また、作業者が情報をうっかり記録し忘れることもある。また、作業者による目視確認、記録用紙への記録、及びデータベース入力の一連の作業は、一定時間ごとにしか行うことができない。したがって、作業中、あるいは作業終了後一定時間経過して次の作業が行われるまでの間に、センサ、メータあるいはディスプレイ画面に異常な数値が表示されたとしても、作業者はこれに気付くことができず、工場設備の異常を見過ごしたり発見が遅れたりする可能性がある。この結果、工場設備に設けられたバルブの開閉やスイッチの操作などといった異常回避のための対応を作業者がすぐに行うことができず、工場設備の異常が拡大することがある。

また、作業者の負担の低減及び工場設備の異常の確実な発見を目的として、センサ、メータあるいはディスプレイと上位コンピュータとをネットワーク接続し、上位コンピュータにてセンサ、メータあるいはディスプレイから送信されたディジタルデータを一元管理する管理システムを構築することが考えられる。またさらに、工場設備に設けられたバルブやスイッチについてもこのような管理システムにネットワーク接続し、上位コンピュータによりバルブの開閉やスイッチの操作を制御することも考えられる。しかしながら、工場設備のセンサ、メータ、ディスプレイ、バルブ及びスイッチの数は膨大であり、これらハードウェア１つ１つを上位コンピュータにネットワーク接続するのには、多額の費用がかかる。また、工場設備を含むこのような管理システムを多額の費用をかけて構築したとしても、作業者の作業工数の削減による費用で回収できるとは限らない。また、既存の工場設備に対してこのような管理システムを構築する際は、工場設備及びこれを含む工場の停止中に改修工事を行う必要がある。例えば定期保守時、休業時あるいは終業後などに工場設備及びこれを含む工場を少しずつ改修していくことが考えられるが、工期の長期化を免れない。

したがって、工場設備の保守に必要な情報を作業者に負担をかけずに容易に収集し、作業者の保守作業を支援することができる低コストの技術が望まれている。

本開示の一態様は、保守支援装置は、現実のシーンに付加画像が重畳された拡張現実画像を表示する表示部と現実のシーンを撮像して現実画像を取得する撮像部とを有する頭部装着型表示装置の、撮像部が取得した現実画像に基づいて、工場設備の稼働状況を示す情報を抽出する画像解析部と、画像解析部により抽出された稼働状況を示す情報を記憶するデータ記憶部と、データ記憶部に記憶された稼働状況を示す情報に基づいて、工場設備の異常発生の有無を判定するデータ解析部と、現実のシーンにデータ解析部により異常発生と判定された工場設備に対する保守情報を示す付加画像を重畳した拡張現実画像を、頭部装着型表示装置の表示部に表示させる表示制御部と、を備える。

本開示の一態様によれば、工場設備の保守に必要な情報を作業者に負担をかけずに容易に収集し、作業者の保守作業を支援することができる低コストの保守支援装置及び保守支援システムを実現することができる。

本開示の一態様によれば、頭部装着型表示装置を装着した作業者が工場で作業する際に作業者の視野に入る現実シーンに基づいて、工場設備に対する保守情報を含んだ拡張現実画像を生成し、これを頭部装着型表示装置に表示させるので、作業者は、頭部装着型表示装置を通じて、工場設備の保守に必要な情報を容易に収集することができる。

また、工場における作業者の通常の作業（例えば工場設備の操作や監視などの作業）中に、頭部装着型表示装置を通じて保守に工場設備の保守に必要な情報を収集することができるので、保守に必要な情報の収集のための要員（保守専門の作業者）が不要であり、人件費を削減することができる。また、工場における作業者の通常の作業中は常時、頭部装着型表示装置を通じて保守に必要な情報の収集が行われるので、情報の精度が向上し、異常発生をより確実に検知することができる。また、記録用紙に各種情報を記録しコンピュータに入力する作業が不要となるので、作業者の作業負担が軽減され、作業者による情報の記録漏れや入力ミスに起因する異常発生の見過ごしを防ぐことができる。

また、工場における作業者の通常の作業中に、頭部装着型表示装置を通じて工場設備に対する保守情報を提供することができるので、作業員は工場設備の異常発生に対して迅速かつ的確な対応をとることができる。また、作業者は、頭部装着型表示装置により、現実のシーン上において保守情報を視認することができるので、保守が必要な工場設備（異常が発生した工場設備）の特定や保守に必要な作業の把握が容易となり、作業者の作業負担が軽減される。

また、本開示の一態様は、ウェアラブル端末である頭部装着型表示装置及び演算処理を行う保守支援装置にて保守情報を提供するものであるので、保守支援のためのシステムの構築のための工場設備自体や工場全体についてのハードウェアの改修は不要であり、低コストである。

一実施形態による保守支援装置及び保守支援システムを示す図である。 画像解析部により抽出される工作機械の稼働状況を示す情報及び識別情報の抽出例を示す図であって、（Ａ）は工作機械の数値制御装置のメータを例示し、（Ｂ）は画像解析部により抽出されたよる工作機械の稼働状況を示す情報及び識別情報のデータを例示する。 画像解析部により抽出されるロボットの稼働状況を示す情報及び識別情報の抽出例を示す図であって、（Ａ）はロボット制御装置のメータを例示し、（Ｂ）は画像解析部により抽出されたよるロボットの稼働状況を示す情報及び識別情報のデータを例示する。 一実施形態による保守支援装置及び保守支援システムの動作フローを示すフローチャートである。 ロボットと工作機械との組合せからなる自動化加工システムに、一実施形態による保守支援システムを適用した場合を例示する図である。 図５に示す作業者が頭部装着型表示装置を通じて見る拡張現実画像を示す図である。 ロボット制御装置の外観を例示する図であって、（Ａ）はロボット制御装置の正面を示す斜視図であり、（Ｂ）はロボット制御装置の操作パネルを示す拡大図である。 教示操作盤の外観を例示する斜視図であって、（Ａ）は教示操作盤の正面を示し、（Ｂ）は教示操作盤の背面を示す。 工作機械の外観を例示する図であって、（Ａ）は工作機械の正面図であり、（Ｂ）は工作機械の操作パネルを示す拡大図である。 図９の操作パネルのディスプレイに表示される画面を例示する図である。

以下図面を参照して、工場設備の保守支援装置及び保守支援システムについて説明する。各図面において、同様の部材には同様の参照符号が付けられている。また、異なる図面において同じ参照符号が付されたものは同じ機能を有する構成要素であることを意味するものとする。また、理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。

図１は、一実施形態による保守支援装置及び保守支援システムを示す図である。

一実施形態によれば、保守支援システム１００は、保守支援装置１と、頭部装着型表示装置２とを備える。工場で働く作業者（ユーザ）が頭部装着型表示装置２を頭部に装着して通常の作業（工場設備の操作や監視など）を行う間、保守支援装置１は頭部装着型表示装置２から受信した現実画像に基づいて工場設備の異常発生の有無を判定する。保守支援装置１により異常発生と判定された工場設備については、当該工場設備に対する保守情報を示す付加画像が現実のシーンに重畳され、頭部装着型表示装置２を介して作業者に提供される。

工場設備の例としては、ロボットや工作機械などのような製造機械、及び工場に設けられた備品などがある。本開示では、「ロボット」にはロボット本体とこれを制御するロボット制御装置（Ｒｏｂｏｔ Ｃｏｎｔｒｏｌｌｅｒ）とが含まれることがあり、「工作機械」には工作機械本体とこれを制御する数値制御（Ｎｕｍｅｒｉｃａｌ ＣＯＮＴＲＯＬ：ＮＣ）装置とが含まれることがある。数値制御装置には、コンピュータ数値制御（Ｃｏｍｐｕｔｅｒｉｚｅｄ Ｎｕｍｅｒｉｃａｌ Ｃｏｎｔｒｏｌ：ＣＮＣ）装置も含まれる。また、工作機械の例としては、例えば、旋盤、ボール盤、中ぐり盤、フライス盤、研削盤、歯切り盤・歯車仕上げ機械、マシニングセンタ、放電加工機、パンチプレス、レーザ加工機、搬送機及び射出成形機などといった様々なものがある。また、工場に設けられた備品の例としては、製造機械に付属する周辺機器、照明設備、通信設備、映像機器、音響機器、空調設備、防災設備、耐震設備、防犯設備、時計、清掃機器、文房具、作業着、ドア、窓、天井、床、壁、柵、蓋、及び掲示物などといった様々なものがある。

保守支援システム１００の一構成要素である頭部装着型表示装置（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）２は、作業者の頭部に装着されるウェアラブル端末であり、ヘッドアップディスプレイの一種である。頭部装着型表示装置２を装着した作業者の視野には、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）技術を用いた拡張現実画像が映し出される。また、頭部装着型表示装置２の形状としては、例えば、眼鏡の上部または前部に投影装置が装着されて透明板部分に画像が投影される眼鏡型のものや、鍔（つば）の部分からディスプレイ装置が垂れ下がった帽子型のものがある。図１に示す例では、頭部装着型表示装置２を眼鏡型としたが、形状はこれに限定されない。

頭部装着型表示装置２は、表示部２１と、撮像部２２と、通信部２３と、装着部２４と、位置情報取得部２５とを有する。

表示部２１は、現実のシーンに付加画像が重畳された拡張現実画像を、頭部装着型表示装置２を装着した作業者の視野に表示するものである。拡張現実画像は、後述する保守支援装置１内の表示制御部１４によって生成される。表示部２１の表示方式としては、例えば、透過表示された現実のシーンに付加画像が重畳された拡張現実画像を表示する光学透過（Ｏｐｔｉｃａｌ Ｓｅｅ−Ｔｈｒｏｕｇｈ）方式、及び、撮像部２２が取得した現実画像に付加画像が重畳された拡張現実画像を表示するビデオ透過（Ｖｉｄｅｏ Ｓｅｅ−Ｔｈｒｏｕｇｈ）方式などがある。図１に例示した眼鏡型の頭部装着型表示装置２では、作業者の両眼に対応して２つの表示部２１が設けられているが、単眼のみに表示部２１が設けられてもよい。

撮像部２２は、現実のシーンを撮像して現実画像を取得するものであり、例えばＣＣＤカメラ、及びＣＭＯＳカメラなどがある。頭部装着型表示装置２を装着した作業者の視線方向にあるオブジェクトを撮像部２２が撮像することができるように、好ましくは作業者が視認する現実のシーンと撮像部２２が撮像して取得した現実画像とがほぼ同一となるように、撮像部２２は頭部装着型表示装置２上に設けられる。

通信部２３は、周辺機器と通信するためのものであり、この周辺機器には保守支援装置１が含まれる。通信部２３は、撮像部２２が取得した現実画像を保守支援装置１の通信部１５へ送信し、保守支援装置１で生成された拡張現実画像を通信部１５から受信する。なお、保守支援システム１００において頭部装着型表示装置２が複数存在する場合は、通信部２３は、現実画像と併せて頭部装着型表示装置２の識別情報についても保守支援装置１の通信部１５へ送信する。頭部装着型表示装置２の通信部２３と保守支援装置１の通信部１５とは、例えば無線通信にて接続される。無線通信の例として、Ｗｉ−Ｆｉなどの無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、及び赤外線通信などがある。なお、無線通信に代えて有線通信としてもよく、この場合は、頭部装着型表示装置２と保守支援装置１との間の通信の安定性は増す。撮像部２２は頭部装着型表示装置２の任意の場所に設けられる。

装着部２４は、作業者に対して着脱自在に取り付けるためのものである。図１に例示した眼鏡型の頭部装着型表示装置２では、眼鏡のテンプル（ツル）、モダン、ノーズパッド（鼻あて）などが装着部２４に相当する。頭部装着型表示装置２が帽子型である場合、クラウン（Ｃｒｏｗｎ）が装着部２４に相当する。

位置情報取得部２５は、全地球測位システム（ＧＰＳ：Ｇｒｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を用いて頭部装着型表示装置２の位置情報を取得する。したがって、位置情報取得部２５により、頭部装着型表示装置２を装着した作業者の位置情報を取得することができる。位置情報取得部２５は頭部装着型表示装置２の任意の場所に設けられる。

また、頭部装着型表示装置２は、オプションとして、頭部装着型表示装置２の周囲の音を電気信号に変換するマイクロフォンや、電気信号を音に変換して頭部装着型表示装置２を装着した作業者に伝えるスピーカを有してもよい。

また、保守支援システム１００の一構成要素である保守支援装置１は、画像解析部１１と、データ記憶部１２と、データ解析部１３と、表示制御部１４と、通信部１５とを備える。これら画像解析部１１、データ記憶部１２、データ解析部１３、表示制御部１４、及び通信部１５は、例えばバス１６を介して電気通信可能に接続される。

通信部１５は、周辺機器と通信するためのものであり、この周辺機器には頭部装着型表示装置２が含まれる。通信部１５は、頭部装着型表示装置２で取得した現実画像を通信部２３から受信し、表示制御部１４で生成した拡張現実画像を通信部２３へ送信する。頭部装着型表示装置２の通信部２３と保守支援装置１の通信部１５との間の通信方式については既に説明した通りである。

画像解析部１１は、頭部装着型表示装置２の撮像部２２が取得して通信部２３及び通信部１５を介して受信した現実画像に基づいて、工場設備の稼働状況を示す情報を抽出する。その際、画像解析部１１は、撮像部２２が取得した現実画像に基づいて、稼働状況を示す情報に対応する工場設備の識別情報についても併せて抽出する。また、複数の工場設備が現実画像に写っている場合には、画像解析部１１は、工場設備ごとに、当該工場設備の稼働状況を示す情報及び識別情報を抽出してもよい。より詳細には、画像解析部１１は、撮像部２２が取得した現実画像から文字領域及び画像領域を見つけ出し、文字領域から文字の切り出しを行い、画像領域では画像パターンの認識を行うことで、工場設備の稼働状況を示す情報及び識別情報を抽出する。工場設備の稼働状況を示す情報は、頭部装着型表示装置２の撮像部２２が取得した現実画像に写った工場設備に設けられた表示機器による表示物から抽出される。画像解析部１１が抽出する工場設備の識別情報には、文字情報、バーコード、ＱＲコード（登録商標）、ＤａｔａＭａｔｒｉｘ（登録商標）、及びＭａｘｉＣｏｄｅ（登録商標）などがある。画像解析部１１による画像解析処理における文字認識には、例えば光学文字認識（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ：ＯＣＲ）技術が用いられる。また、画像解析部１１による画像解析処理におけるバーコード及び上記２次元コードの認識には、各コードに対応する公知の画像処理技術が用いられる。画像解析部１１による画像解析処理に、機械学習技術をさらに取り入れてもよい。なお、画像解析部１１により抽出される稼働状況を示す情報及び識別情報の具体例については後述する。

データ記憶部１２は、画像解析部１１により抽出された稼働状況を示す情報を、当該稼働状況を示す情報に対応する工場設備の識別情報と関連付けて記憶し、データベース化する。また、保守支援システム１００において頭部装着型表示装置２が複数存在する場合は、データ記憶部１２は、当該稼働状況を示す情報に対応する工場設備の識別情報及び頭部装着型表示装置２の識別情報を記憶し、データベース化する。また、データ記憶部１２は、位置情報取得部２５が取得した（頭部装着型表示装置２すなわち作業者の位置を示す）位置情報を、工場設備の稼働状況を示す情報及び識別情報と関連付けて記憶してもよい。データ記憶部１２は、例えば、例えばＥＥＰＲＯＭ（登録商標）などのような電気的に消去・記録可能な不揮発性メモリ、または、例えばＤＲＡＭ、ＳＲＡＭなどのような高速で読み書きできるランダムアクセスメモリによって構成される。

ここで、画像解析部１１による画像外戚処理及びデータ記憶部１２によるデータ記憶処理の具体例について、図２及び図３を参照して説明する。

図２は、画像解析部により抽出される工作機械の稼働状況を示す情報及び識別情報の抽出例を示す図であって、（Ａ）は工作機械の数値制御装置のメータを例示し、（Ｂ）は画像解析部により抽出されたよる工作機械の稼働状況を示す情報及び識別情報のデータを例示する。図２（Ａ）に示すように、工作機械の数値制御装置２１０１に設けられたメータの近傍に「工作機械Ｂメータ００１」がラベル付けされ、メータの矢印が「２０Ａ」を指している例を考える。この場合、画像解析部１１の画像解析処理により、工場設備の識別情報として、工作機械の識別を示す「工作機械Ｂ」及びメータの識別番号を示す「００１」が抽出される。また、画像解析部１１の画像解析処理により、工作機械の稼働状況を示す情報として、電流値「２０Ａ」が抽出される。データ記憶部１２は、図２（Ｂ）に示すように、画像解析部１１が抽出した「工作機械Ｂ」、「００１」、及び「２０Ａ」との情報を、例えば、頭部装着型表示装置２の撮像部２２が現実画像を取得した日時（あるいは、画像解析部１１が画像解析処理を行った日時もしくはデータ記憶部１２がデータを記憶した日時）と頭部装着型表示装置２の位置情報取得部２５が取得した位置情報とに関連付けて記憶する。

図３は、画像解析部により抽出されるロボットの稼働状況を示す情報及び識別情報の抽出例を示す図であって、（Ａ）はロボット制御装置のメータを例示し、（Ｂ）は画像解析部により抽出されたよるロボットの稼働状況を示す情報及び識別情報のデータを例示する。図３（Ａ）に示すように、ロボット制御装置２２０１に設けられたメータの近傍に「ラインＩロボット５」がラベル付けされ、メータのディジタル表記が「００１５３」を指している例を考える。この場合、画像解析部１１の画像解析処理により、工場設備の識別情報として、ロボット制御装置が置かれた製造ラインの識別を示す「ラインＩ」及びロボットの識別を示す「ロボット５」が抽出される。また、画像解析部１１の画像解析処理により、ロボットの稼働状況を示す情報として、値「１５３」が抽出される。データ記憶部１２は、図３（Ｂ）に示すように、画像解析部１１が抽出した「ラインＩ」、「ロボット５」、及び「１５３」との情報を、例えば、頭部装着型表示装置２の撮像部２２が現実画像を取得した日時（あるいは、画像解析部１１が画像解析処理を行った日時もしくはデータ記憶部１２がデータを記憶した日時）と頭部装着型表示装置２の位置情報取得部２５が取得した位置情報とに関連付けて記憶する。

また、保守支援システム１００において頭部装着型表示装置２が複数存在する場合は、データ記憶部１２は、当該稼働状況を示す情報に対応する工場設備の識別情報及び頭部装着型表示装置２の識別情報を記憶するが、例えば図２及び図３では、頭部装着型表示装置２の識別情報に基づいて、当該頭部装着型表示装置２を装着した作業者に関する情報を記憶している。

上述の図２及び図３に示した画像解析部１１により抽出されデータ記憶部１２に記憶される工場設備の稼働状況を示す情報及び識別情報はあくまでも一例であって、工場設備の内容に応じて抽出項目及び記憶項目を適宜設定すればよい。また、図２及び図３に示した数値、日時、緯度、経度などもあくまでも一例である。

図１に説明を戻すと、データ解析部１３は、データ記憶部１２に記憶された工場設備の稼働状況を示す情報と識別情報とに基づいて、当該工場設備の異常発生の有無を判定する。データ解析部１３による異常判定処理は、工場設備の識別情報に基づいて、工場設備ごとに実行される。例えば、データ解析部１３は、データ記憶部１２に記憶された工場設備の稼働状況を示す情報を逐次観測し、最新の当該稼働状況を示す情報が、予め設定された基準範囲を外れた場合は、異常発生と判定する。また例えば、データ解析部１３は、データ記憶部１２に記憶された工場設備の稼働状況を示す情報の変化状態を逐次観測し、当該稼働状況を示す情報の最新の所定時間期間における変化状態が、予め設定された基準範囲を外れた場合は、異常発生と判定する。また例えば、データ解析部１３は、データ記憶部１２に記憶された工場設備の稼働状況を示す情報の変化状態を逐次観測し、当該稼働状況を示す情報の最新の所定時間期間における変化状態と当該最新の所定時間期間よりも以前の所定時間期間における変化状態との相違量が、予め設定された相違量に係る基準範囲を外れた場合は、異常発生と判定する。また、データ解析部１３は、上記例示した方法以外の方法で異常判定処理を行ってもよい。なお、データ解析部１３によるデータ解析処理に、機械学習技術をさらに取り入れてもよい。

表示制御部１４は、現実のシーンにデータ解析部１３により異常発生と判定された工場設備に対する保守情報を示す付加画像を重畳した拡張現実画像を、頭部装着型表示装置２の表示部２１に表示させる制御を行う。なお、保守支援システム１００において頭部装着型表示装置２が複数存在する場合は、表示制御部１４は、頭部装着型表示装置２の識別情報に基づき、拡張現実画像を頭部装着型表示装置２の表示部２１に表示させる制御を行う。

例えば、異常発生と判定された工場設備に対する保守情報を示す付加画像は、異常発生と判定された工場設備の識別情報に基づいて、現実のシーン上の、異常発生と判定された工場設備の近傍に重畳される。あるいは、異常発生と判定された工場設備に対する保守情報を示す付加画像は、現実のシーン上の任意の位置に重畳されてもよい。表示制御部１４により生成された拡張現実画像は、通信部１５を及び頭部装着型表示装置２の通信部２３を介して、頭部装着型表示装置２の表示部２１へ送られる。またこの代替例として、表示制御部１４により生成された保守情報を示す付加画像を、通信部１５を及び頭部装着型表示装置２の通信部２３を介して頭部装着型表示装置２の表示部２１へ送信し、頭部装着型表示装置２側で、受信した付加画像を現実のシーンに重畳することで拡張現実画像を生成してもよい。表示部２１は、表示制御部１４の制御により、頭部装着型表示装置２を装着した作業者の視野に拡張現実画像を表示する。

異常発生と判定された工場設備に対する保守情報の例としては、装置を構成する部品の交換、工具の交換、備品の交換、消耗品の補充、設計変更、装置やこれを含む製造ラインの緊急停止、電源遮断、退避操作、装置や製品の移動、異物の除去、原材料の追加、温度調整、湿度調整、気圧調整、及び清掃などがある。

また、付加画像については、保守情報以外の情報を含めて構成してもよい。保守情報以外の情報の例としては、日時、温度、湿度、気圧、天気、緊急地震速報、工場設備に対する操作ガイド、頭部装着型表示装置２を装着した作業者宛ての連絡事項、複数の作業者が共有すべき情報、初心者である作業者に対する作業内容の支援情報などがある。

また、現実のシーンに重畳される付加画像は、静止画でも動画でもよく、文字、アイコン、アニメーション、及びこれらの組合せにて表現される。

以上説明した画像解析部１１、データ記憶部１２、データ解析部１３及び表示制御部１４は、例えばソフトウェアプログラム形式で構築されてもよく、あるいは各種電子回路とソフトウェアプログラムとの組み合わせで構築されてもよい。例えばこれらをソフトウェアプログラム形式で構築する場合は、このソフトウェアプログラムに従って動作させるための演算処理装置を保守支援装置１内に設けることで、上述の各部の機能を実現することができる。またあるいは、画像解析部１１、データ記憶部１２、データ解析部１３及び表示制御部１４を、各部の機能を実現するソフトウェアプログラムを書き込んだ半導体集積回路として実現してもよい。

保守支援システム１００においては、頭部装着型表示装置２が複数存在してもよく、この場合、保守支援装置１は、複数の頭部装着型表示装置２から送られてきた現実画像に対して画像解析を行い、複数の頭部装着型表示装置２に対して拡張現実画像を表示させる制御を行う。

また例えば、複数の保守支援装置１を、複数の製造セルが接続されたネットワーク内に組み込んでもよい。ネットワーク化された各保守支援装置１における画像解析部１１で抽出された工場設備の稼働状況を示す情報及び識別情報は、クラウドサーバ、製造セルの上位にあるセルコントローラ、あるいはセルコントローラのさらに上位にある生産管理装置で共有することができる。また例えば、クラウドサーバ、セルコントローラもしくは生産管理装置上に、保守支援装置１のデータ記憶部１２、データ解析部１３及び表示制御部１４を設けてもよく、あるいは、これらと画像解析部１１を含めて設けてもよい。このようにネットワーク化されることで、複数の頭部装着型表示装置２から送られてきた現実画像に基づいて拡張現実画像が生成され、表示制御部１４により複数の頭部装着型表示装置２の表示部２１に拡張現実画像を表示させることができる。

製造セルは、製品を製造する複数の工作機械及びロボットをフレキシブルに組合せた集合である。製造セルは、例えば複数個もしくは複数種類の工作機械及びロボットにより構築されているが、製造セルにおける工作機械及びロボットの個数は限定されない。例えば、製造セルは、あるワークが複数の工作機械及びロボットにより順次に処理されることによって最終的な製品となる製造ラインでありうる。また例えば、製造セルは、２つ以上の工作機械及びロボットの各々により処理された２つ以上の工作物（部品）を製造工程の途中で別の工作機械によって組み合せることにより最終的な工作物（製品）を完成させる製造ラインであってもよい。また例えば、２つ以上の製造セルにより処理された２つ以上の工作物を組み合せることにより、最終的な工作物（製品）を完成させてもよい。製造セルとセルコントローラとは、例えばイントラネットなどのような通信ネットワークを介して通信可能に相互接続される。製造セルは、製品を製造する工場に配置されている。これに対して、セルコントローラは、製造セルが配置された工場に配置されてもよく、あるいは工場とは異なる建屋に配置されてもよい。例えば、セルコントローラは、製造セルが配置された工場の敷地にある別の建屋に配置されていてもよい。

また、セルコントローラの上位には生産管理装置が設けられる。生産管理装置は、セルコントローラと相互通信可能に接続され、セルコントローラに生産計画を指示する。生産管理装置は、例えば、工場から遠隔地にある事務所に配置されていてもよい。この場合には、セルコントローラと生産管理装置とは、例えばインターネットの通信ネットワークを介して通信可能に相互接続される。

図４は、一実施形態による保守支援装置及び保守支援システムの動作フローを示すフローチャートである。

頭部装着型表示装置２を装着した作業者が工場設備の前に立って作業する際、頭部装着型表示装置２の表示部２１を通じて工場設備の様子が作業者の視野に入る。頭部装着型表示装置２の撮像部２２は、このときの現実のシーンを撮像して現実画像を取得する（Ｓ１０１）。

ステップＳ１０２において、頭部装着型表示装置２の通信部２３は、撮像部２２が取得した現実画像を、保守支援装置１の通信部１５へ送信する。また、位置情報取得部２５が取得した頭部装着型表示装置２の位置情報も、現実画像と併せて保守支援装置１の通信部１５へ送信される。

保守支援装置１の通信部１５が現実画像を受信すると、ステップＳ１０３において、画像解析部１１は、現実画像を画像解析することにより、工場設備の稼働状況及び識別情報を示す情報を抽出する。複数の工場設備が現実画像に写っている場合には、画像解析部１１は、工場設備ごとに、当該工場設備の稼働状況を示す情報及び識別情報を抽出する。

続くステップＳ１０４において、データ記憶部１２は、画像解析部１１により抽出された稼働状況を示す情報を、当該稼働状況を示す情報に対応する工場設備の識別情報と関連付けて記憶し、データベース化する。その際、データ記憶部１２は、位置情報取得部２５が取得した（頭部装着型表示装置２すなわち作業者の位置を示す）位置情報や画像解析部１１が画像解析処理を行った日時もしくはデータ記憶部１２がデータを記憶した日時）を、工場設備の稼働状況を示す情報及び識別情報と関連付けて記憶してもよい。

ステップＳ１０５では、データ解析部１３は、データ記憶部１２に記憶された工場設備の稼働状況を示す情報と識別情報とに基づいて、当該工場設備の異常発生の有無を判定する。データ解析部１３による異常判定処理は、工場設備の識別情報に基づいて、工場設備ごとに実行される。データ解析部１３により異常発生した工場設備が有ったと判定されるとステップＳ１０６へ進む。データ解析部１３が工場設備の異常発生は無しと判定した場合はステップＳ１０１へ戻る。

ステップＳ１０６では、データ解析部１３により異常発生と判定された工場設備に対する保守情報を示す付加画像を、現実のシーンに重畳した拡張現実画像を作成する。

表示制御部１４により生成された拡張現実画像は、ステップＳ１０７において、通信部１５を及び頭部装着型表示装置２の通信部２３を介して頭部装着型表示装置２の表示部２１へ送られる。

ステップＳ１０８では、表示部２１は、受信した拡張現実画像を、頭部装着型表示装置２を装着した作業者の視野に表示する。

続いて、保守支援装置１及び頭部装着型表示装置２による処理の具体例について、図５〜図１０を参照していくつか説明する。

図５は、ロボットと工作機械との組合せからなる自動化加工システムに、一実施形態による保守支援システムを適用した場合を例示する図であり、図６は、図５に示す作業者が頭部装着型表示装置を通じて見る拡張現実画像を示す図である。自動化加工システム１０００は、ロボット１２００と工作機械１１００Ａ及び１１０１Ｂとの組合せで構成される。

ロボット１２００は、作業ツール１２０２を有し、ロボット接続ケーブル１２１０によって接続されたロボット制御装置１２０７によって制御される。ロボット制御装置１２０７は、走行軸接続ケーブル１２１１を介して走行軸１２０３と接続されており、ロボット制御装置１２０７の制御により走行軸１２０３を動作させることでロボット１２００を移動させることができる。また、ロボット制御装置１２０７は、仮置き台接続ケーブル１２１３を介して仮置き台１２０４と接続されている。仮置き台１２０４はワーク仮置き場所１２０４ａ及び１２０４ｂを有する。ロボット制御装置１２０７並びに工作機械１１００Ａ及び１１０１Ｂは、ネットワークケーブル１２０９を介して互いに接続されている。参照符号Ｐ１、Ｐ２、Ｐ３及びＰ４はパレットを示す。参照符号Ｗ１は工作機械１１００Ａで加工されるワークを示し、参照符号Ｗ２は工作機械１１００Ｂで加工されるワークを示す。

例えば、パレットＰ１上のワークＷ１は工作機械１１００Ａで加工する場合を考える。まず、走行軸１２０３が動作することでロボット１２００がパレットＰ１に近づき、パレットＰ１上のワークＷ１を作業ツール１２０２で把持して仮置き台１２０４のワーク仮置き場所１２０４ａに仮置きし、次いで、作業ツール１２０２を用いて工作機械１１００Ａから加工済みのワークを取り出してワーク仮置き場所４ｂに仮置きする。そして、仮置き台１２０４のワーク仮置き場所１２０４ａに仮置きしていたワークＷ１を作業ツール１２０２で把持して工作機械１１００Ａに取り付け、次いで、仮置き台１２０４のワーク仮置き場所１２０４ｂに仮置きしていた加工済みワークを作業ツール１２０２で把持してパレットＰ３の上に置く。ロボット１２００は上記一連の作業をロボット制御装置１２０７の制御により繰り返し実行する。同様に、パレットＰ２上のワークＷ２は、ロボット１２００の一連の動作で工作機械１１００Ｂに取り付けられ、加工後はロボット１２００の一連の動作で工作機械１１００Ｂから取り出されてパレットＰ４上に置かれる。

工場内には上述のような自動化加工システム１０００（製造セル）が複数並んでいるのが一般的である。頭部装着型表示装置２を装着した作業者が自動化加工システム１０００の前に立って作業する際、頭部装着型表示装置２の表示部２１を通じて自動化加工システム１０００の様子が作業者の視野に入る。頭部装着型表示装置２の撮像部２２は、このときの現実画像を取得し、画像解析部１１は、この現実画像に基づいてロボット１２００並びに工作機械１１００Ａ及び１１００Ｂの稼働状況を示す情報及び識別情報を抽出する。データ記憶部１２は、画像解析部１１により抽出されたロボット１２００並びに工作機械１１００Ａ及び１１００Ｂの稼働状況を示す情報を、それぞれの識別情報と関連付けて記憶し、データベース化する。データ解析部１３は、データ記憶部１２に記憶されたロボット１２００並びに工作機械１１００Ａ及び１１００Ｂの稼働状況を示す情報と識別情報とに基づいて、ロボット１２００並びに工作機械１１００Ａ及び１１００Ｂに異常発生したものが有るか判定する。例えば、データ解析部１３により工作機械１１００Ａに異常発生が発生したと判定された場合、表示制御部１４は、異常発生が発生した工作機械１１００Ａに対する保守情報として例えば「異常発生！ 退避操作をしてください」を示す付加画像を現実のシーンに重畳した拡張現実画像を、頭部装着型表示装置２の表示部２１に表示させる制御を行う。表示制御部１４の制御により、図６に示すように、表示部２１は、頭部装着型表示装置２を装着した作業者の視野に拡張現実画像２１−１を表示する。

図７は、ロボット制御装置の外観を例示する図であって、（Ａ）はロボット制御装置の正面を示す斜視図であり、（Ｂ）はロボット制御装置の操作パネルを示す拡大図である。図７（Ａ）に示すように、ロボット制御装置１５００は、操作パネル１５０１、ブレーカ１５０２、ＵＳＢポート１５０３、教示操作盤１５０４、及び鍵１５０５を備える。教示操作盤１５０４には、ロボットの識別情報を印刷したシール１５０６が貼られている。図７（Ｂ）に示すように、操作パネル１５０１は、スタートボタン１５１１、アラーム解除ボタン１５１２、アラームランプ１５１３、電源ランプ１５１４、非常停止ボタン１５１５、モードスイッチ１５１６、及びアワーメータ１５１７を備える。操作パネル１５０１には、ロボットの識別情報を印刷したシール１５１８が貼られている。アワーメータ１５１７はロボットの稼働時間をカウントしているメータである。ロボットの動作させる際は、作業者は、モードスイッチ１５１６を操作することによって、例えば、ロボットの各軸操作を行って教示ポイントを記録するモード、ロボットを動作させて教示ポイントを確認するためのモード、あるいはロボットに生産作業を行わせるモードに切り替える。作業者によるモードスイッチ１５１６の操作は頻繁に行われるものであり、その際、アワーメータ１５１７及びロボットの識別情報を印刷したシール１５１８も作業者の視野に入る。作業者が装着した頭部装着型表示装置２の撮像部２２は、このときの現実画像を取得し、画像解析部１１は、この現実画像に基づいてロボットの稼働状況を示す情報（アワーメータ１５１７の値）及び識別情報を抽出する。データ記憶部１２は、画像解析部１１により抽出されたロボットの稼働状況を示す情報（アワーメータ１５１７の値）をロボットの識別情報と関連付けて記憶し、データベース化する。データ解析部１３は、データ記憶部１２に記憶されたロボットの稼働状況を示す情報（アワーメータ１５１７の値）と識別情報とに基づいて、ロボットの異常発生の有無を判定する。データ解析部１３によりロボットに異常が発生したと判定された場合、表示制御部１４は、異常発生が発生したロボットに対する保守情報を示す付加画像を現実のシーンに重畳した拡張現実画像を、頭部装着型表示装置２の表示部２１に表示させる制御を行う。表示部２１は、表示制御部１４の制御により、頭部装着型表示装置２を装着した作業者の視野に拡張現実画像を表示する。

図８は、教示操作盤の外観を例示する斜視図であって、（Ａ）は教示操作盤の正面を示し、（Ｂ）は教示操作盤の背面を示す。教示操作盤１５０４は、ディスプレイ１６０１、操作キー１６０２、有効／無効スイッチ１６０３、非常停止ボタン１６０４、ＵＳＢポート１６０５、及びデッドマンスイッチ１６０６を備える。教示操作盤１５０４には、ロボットの識別情報を印刷したシール１５０６が貼られている。ロボットを教示させる際は、作業者は、教示操作盤１５０４の操作キー１６０２を操作する。その際、ディスプレイ１６０１及びロボットの識別情報を印刷したシール１５０６も作業者の視野に入る。作業者が装着した頭部装着型表示装置２の撮像部２２は、このときの現実画像を取得し、画像解析部１１は、この現実画像に基づいてロボットの稼働状況を示す情報（例えば、ディスプレイ１６０１に表示された教示内容）及び識別情報を抽出する。データ記憶部１２は、画像解析部１１により抽出されたロボットの稼働状況を示す情報をロボットの識別情報と関連付けて記憶し、データベース化する。データ解析部１３は、データ記憶部１２に記憶されたロボットの稼働状況を示す情報と識別情報とに基づいて、ロボットの異常発生の有無（例えば、教示内容のエラー）を判定する。データ解析部１３によりロボットに異常が発生したと判定された場合、表示制御部１４は、異常発生が発生したロボットに対する保守情報を示す付加画像を現実のシーンに重畳した拡張現実画像を、頭部装着型表示装置２の表示部２１に表示させる制御を行う。表示部２１は、表示制御部１４の制御により、頭部装着型表示装置２を装着した作業者の視野に拡張現実画像を表示する。

図９は、工作機械の外観を例示する図であって、（Ａ）は工作機械の正面図であり、（Ｂ）は工作機械の操作パネルを示す拡大図である。また、図１０は、図９の操作パネルのディスプレイに表示される画面を例示する図である。図９（Ａ）に示すように、工作機械１１００は、操作パネル１１０１及びドア１１０２を備える。ワークの加工中はドア１１０２が閉められ、ワークのある加工室と外部とが分離される。ワークを出し入れの際はドア１１０２を開けて行われる。作業者は操作パネル１１０１を使って工作機械１１００を操作する。図９（Ｂ）に示すように、操作パネル１１０１は、ディスプレイ１１１１、操作キー１１１２、起動／停止ボタン１１１３、アラームランプ１１１４、電源ボタン１１１５、及び非常停止ボタン１１１６を備える。操作パネル１１０１には、ロボットの識別情報を印刷したシール１１１７が貼られている。ディスプレイ１１１１には例えば図１０に示すような画面が表示され、作業者はこの場面を見ることで、例えば工作機械１１００の機械軸の現在値、動作中の加工プログラム番号、行番号、速度、加工部品数、運転時間、サイクルタイムを確認することができる。作業者は、操作パネル１１０１のディスプレイ１１１１を見ながら操作キー１１１２を操作する。その際、操作パネル１１０１のディスプレイ１１１１、アラームランプ１１１４及び工作機械１１００の識別情報を印刷したシール１１１３が作業者の視野に入る。作業者が装着した頭部装着型表示装置２の撮像部２２は、このときの現実画像を取得し、画像解析部１１は、この現実画像に基づいて工作機械１１００の稼働状況を示す情報及び識別情報を抽出する。工作機械１１００の稼働状況を示す情報としては、ディスプレイ１１１１に表示される機械軸の現在値、動作中の加工プログラム番号、行番号、速度、加工部品数、運転時間、及びサイクルタイムなど、並びにアラームランプ１１１４の点灯状態などがある。データ記憶部１２は、画像解析部１１により抽出された工作機械１１００の稼働状況を示す情報を工作機械１１００の識別情報と関連付けて記憶し、データベース化する。データ解析部１３は、データ記憶部１２に記憶された工作機械１１００の稼働状況を示す情報と識別情報とに基づいて、工作機械１１００の異常発生の有無を判定する。データ解析部１３により工作機械１１００に異常が発生した判定された場合、表示制御部１４は、異常発生が発生した工作機械１１００に対する保守情報を示す付加画像を現実のシーンに重畳した拡張現実画像を、頭部装着型表示装置２の表示部２１に表示させる制御を行う。表示部２１は、表示制御部１４の制御により、頭部装着型表示装置２を装着した作業者の視野に拡張現実画像を表示する。

以上説明したように、本開示の一態様によれば、工場設備の保守に必要な情報を作業者に負担をかけずに容易に収集し、作業者の保守作業を支援することができる低コストの保守支援装置及び保守支援システムを実現することができる。

１ 保守支援装置
２ 頭部装着型表示装置
１１ 画像解析部
１２ データ記憶部
１３ データ解析部
１４ 表示制御部
１５ 通信部
１６ バス
２１ 表示部
２２ 撮像部
２３ 通信部
２４ 装着部
２５ 位置情報取得部
１００ 保守支援システム
１０００ 自動化加工システム
１１００、１１００Ａ、１１００Ｂ 工作機械
１１０１ 操作パネル
１１０２ ドア
１１１１ ディスプレイ
１１１２ 操作キー
１１１３ 起動／停止ボタン
１１１４ アラームランプ
１１１５ 電源ボタン
１１１６ 非常停止ボタン
１１１７ シール
１２００ ロボット
１２０２ 作業ツール
１２０３ 走行軸
１２０４ 仮置き台
１２０４ａ、１２０４ｂ ワーク仮置き場所
１２０７ ロボット制御装置
１２０９ ネットワークケーブル
１２１０ ロボット接続ケーブル
１２１１ 走行軸接続ケーブル
１２１３ 仮置き台接続ケーブル
１５００ ロボット制御装置
１５０１ 操作パネル
１５０２ ブレーカ
１５０３ ＵＳＢポート
１５０４ 教示操作盤
１５０５ 鍵
１５０６ シール
１５１１ スタートボタン
１５１２ アラーム解除ボタン
１５１３ アラームランプ
１５１４ 電源ランプ
１５１５ 非常停止ボタン
１５１６ モードスイッチ
１５１７ アワーメータ
１５１８ シール
１６０１ ディスプレイ
１６０２ 操作キー
１６０３ 有効／無効スイッチ
１６０４ 非常停止ボタン
１６０５ ＵＳＢポート
１６０６ デッドマンスイッチ
２１０１ 数値制御装置
２２０１ ロボット制御装置
Ｐ１、Ｐ２、Ｐ３、Ｐ４ パレット
Ｗ１、Ｗ２ ワーク

Claims (10)

1. 現実のシーンに付加画像が重畳された拡張現実画像を表示する表示部と現実のシーンを撮像して現実画像を取得する撮像部とを有する頭部装着型表示装置の、撮像部が取得した現実画像に基づいて、工場設備の稼働状況を示す情報を抽出する画像解析部と、
   前記画像解析部により抽出された前記稼働状況を示す情報を記憶するデータ記憶部と、
   前記データ記憶部に記憶された前記稼働状況を示す情報に基づいて、工場設備の異常発生の有無を判定するデータ解析部と、
   現実のシーンに前記データ解析部により異常発生と判定された工場設備に対する保守情報を示す付加画像を重畳した拡張現実画像を、頭部装着型表示装置の表示部に表示させる表示制御部と、
   を備える、保守支援装置。
2. 前記画像解析部は、頭部装着型表示装置の撮像部が取得した現実画像に基づいて、前記稼働状況を示す情報に対応する工場設備の識別情報を抽出し、
   前記データ記憶部は、前記画像解析部により抽出された前記稼働状況を示す情報と前記識別情報とを関連付けて記憶し、
   前記データ解析部は、前記データ記憶部に記憶された前記稼働状況を示す情報と前記識別情報とに基づいて、当該識別情報に係る工場設備の異常発生の有無を判定する、請求項１に記載の保守支援装置。
3. 前記表示制御部は、現実のシーン上の前記異常発生と判定された工場設備の近傍に前記保守情報を示す付加画像を重畳した拡張現実画像を、頭部装着型表示装置の表示部に表示させる、請求項１または２に記載の保守支援装置。
4. 前記画像解析部は、前記稼働状況を示す情報を、頭部装着型表示装置の撮像部が取得した現実画像に写った前記工場設備に設けられた表示機器による表示物から抽出する、請求項１〜３のいずれか一項に記載の保守支援装置。
5. 前記工場設備は、製造機械である、請求項１〜４のいずれか一項に記載の保守支援装置。
6. 前記工場設備は、工場に設けられた備品である、請求項１〜４のいずれか一項に記載の保守支援装置。
7. 現実のシーンに付加画像が重畳された拡張現実画像を表示する表示部と、現実のシーンを撮像して現実画像を取得する撮像部と、周辺機器と通信する通信部と、ユーザに対して着脱自在に取り付けるための装着部と、を有する頭部装着型表示装置と、
   請求項１〜６のいずれか一項に記載の保守支援装置と、
   を備える、保守支援システム。
8. 前記頭部装着型表示装置は、全地球測位システムを用いて前記頭部装着型表示装置の位置情報を取得する位置情報取得部をさらに有する、請求項７に記載の保守支援システム。
9. 前記表示部は、透過表示された現実のシーンに付加画像が重畳された拡張現実画像を表示する、請求項７または８に記載の保守支援システム。
10. 前記表示部は、前記撮像部が取得した現実画像に付加画像が重畳された拡張現実画像を表示する、請求項７または８に記載の保守支援システム。

Images