JP2023082923A - 作業支援システム、作業対象特定装置および方法 - Google Patents

Abstract

【課題】使い勝手を向上させることのできる作業支援システム、作業対象特定装置および方法を提供すること。【解決手段】作業者の作業を支援する作業支援システム７は、作業者Ｕ１により使用される作業対象特定装置１と、作業者の作業を支援する作業支援者Ｕ２により使用される作業支援装置２であって、作業対象特定装置と通信可能に接続される作業支援装置と、を備え、作業対象特定装置は、対象装置を含む作業空間の３次元空間データ５２を取得し、対象装置を撮影した２次元画像データ５１を３次元空間データ中の対象装置に対応付けて所定の画像データを作成し、作成された所定の画像データを作業支援装置へ出力し、作業支援装置は、作業対象特定装置から受信した所定の画像データを表示し、作業支援者から入力される情報を作業対象特定装置へ送信する。【選択図】図１

Description

本発明は、作業支援システム、作業対象特定装置および方法に関する。

工場、発電所、サーバルームなどの各種施設には、配電盤、制御盤、サーバなど多種多様の装置が設置されている。これらの装置を保守点検する際、作業者は、作業指示書に記載された内容にしたがって保守点検作業をする。作業者の経験が少なく１人での作業が難しい場合、熟練者がその場で指導しながら、保守点検作業を進めることがある。しかし、熟練者が複数の未熟な作業者を指導する必要がある場合、未熟な作業者と一緒に現場へ同行するのは、時間的な制約があって難しい。

そこで、熟練作業者が遠隔地から現地の作業者を支援する技術が知られている（特許文献１）。従来技術では、例えば、現地作業者がウェアラブルデバイスを装着し、ウェアラブルデバイスで撮像した画像を連続的に遠隔の熟練者へ送信する。遠隔の熟練者側の機器は、現地のウエアラブルデバイスから受信した画像を一つにつなげた現地画像を作り出して表示する。熟練者は、一つにつなげられた画像上で作業対象箇所を選択する。作業者のウェアラブルデバイスには、熟練者が遠隔地から指定した作業対象箇所の画像付近へ移動するように通知される。

他の従来技術では、あらかじめ作業現場の特徴点を点群として取得して登録しておく。作業者が作業を行う場合、作業者の使用する装置は、登録時の座標を元に点群の位置合わせを行って、作業対象箇所を３次元的に示す（特許文献２）。

特開２０１６－１８１７５１号公報 特開２０１９－１５９６６８号公報

特許文献１に記載の技術では、作業現場を２次元画像だけで再現するため、熟練作業者がその２次元画像を見て作業対象の位置を直観的に把握するのが難しい。特許文献１の技術では、特に奥行きの把握が困難となるため、棚や配管、装置類が複雑に入り組んだ場所で作業対象の特定するのが難しい。

特許文献２の技術では、作業開始前に、作業現場の３次元空間を点群データとして取得し、３次元マップに割り付けるなどの処理が必要となる。したがって、新たな作業現場に速やかに対応することができず、使い勝手が悪い。さらに、作業現場の状況が変化すると、取得済みの点群データをそのまま利用することができなくなるため、作業現場の状況変化に速やかに対応できない。

本発明は、上記問題に鑑みてなされたもので、その目的は、使い勝手を向上させることのできる作業支援システム、作業対象特定装置および方法を提供することにある。

上記課題を解決すべく、本発明の一つの観点に従う作業支援システムは、作業者の作業を支援する作業支援システムであって、作業者により使用される作業対象特定装置と、作業者の作業を支援する作業支援者により使用される作業支援装置であって、作業対象特定装置と通信可能に接続される作業支援装置と、を備え、作業対象特定装置は、対象装置を含む作業空間の３次元空間データを取得し、対象装置を撮影した２次元画像データを３次元空間データ中の対象装置に対応付けて所定の画像データを作成し、作成された所定の画像データを作業支援装置へ出力し、作業支援装置は、作業対象特定装置から受信した所定の画像データを表示し、作業支援者から入力される情報を作業対象特定装置へ送信する。

本発明によれば、作業現場の対象装置を特定することができる。

作業支援システムの全体概要図。 作業対象特定装置のブロック図。 作業対象特定装置の構成図。 作業支援装置の構成図。 支援コンテンツの生成方法を示す説明図。 作業対象特定処理のフローチャート。 作業支援処理のフローチャート。 支援コンテンツの例を示す説明図。 物体認識結果の画面を示す説明図。 候補が複数検出された場合の画面を示す説明図。 対象装置の２次元画像データを３次元空間データ内の対象装置に対応付けた画面の例を示す説明図。 作業支援装置の画面内で作業対象特定装置から取得所定の画像データを操作する様子を示す説明図。 作業支援装置の処理を示すフローチャート。 第２実施例に係り、作業を評価する処理のフローチャート。 第３実施例に係り、作業支援システムの全体概要図。

以下、図面に基づいて、本発明の実施の形態を説明する。本実施形態では、作業の対象装置を作業現場で特定する作業支援システムについて説明する。本実施形態に係る作業支援システム４は、作業者Ｕ１による作業対象装置についての作業状況を、離れた場所にいる作業支援者が直感的に理解できるようにする。作業者支援者が遠隔から把握する作業状況には、あらかじめ指定された対象装置について作業者が作業を行おうとしているかの位置確認も含まれる。

本実施形態に係る作業支援システム７は、図１～図１１を参照して説明するように、３次元空間データを作成する空間把握プログラム（空間把握部１１１）と、作業指示マニュアルを管理する作業指示マニュアル管理データベース１２２と、作業指示マニュアル１４０を解析する作業指示マニュアル解析プログラム（作業指示マニュアル解析部１１２）と、解析された作業指示マニュアルに基づき、作業指示の支援コンテンツ１５０を表示する支援コンテンツ制御プログラム（支援コンテンツ制御部１１４）と、作業状況を撮像する撮像部（２Ｄカメラ１３１）と、撮像結果に含まれる物体を認識する物体認識プログラム（物体認識部１１３）と、作業指示および物体認識処理結果を表示し、作成された３次元空間データにより作業現場の空間データを作成し、作業指示マニュアルに含まれる作業対象装置４の識別情報をもとに、作業対象装置の候補を表示し、表示された候補の中から選択された作業対象装置の場所を３次元空間データに対応づける部位判定プログラム（部位判定部１１５）を持つ。以下、作業対象装置４を対象装置４とも呼ぶ。

本実施形態の作業支援システム７によれば、事前に作業現場ＷＳで３次元空間のデータを収集をする必要はなく、作業現場ＷＳが動的に変わったとしても、作業者Ｕ１の対象装置４の３次元的な位置を遠隔の支援者Ｕ２（監督者）が容易に把握できる。

本実施形態では、後述のように、作業指示マニュアル１４０に含まれる対象装置４の識別情報候補が複数ある場合、物体認識プログラムは、対象装置を選択させるメッセージを表示させる。物体認識プログラムは、識別情報候補が一つの場合、作業者Ｕ１に確認のみを促すことができる。

物体認識プログラムが対象装置４を特定できなかった場合は、対象装置４を特定するための情報の入力を作業者Ｕ１に要求することもできる。

物体認識プログラムは、作業者Ｕ１から入力された音声または撮影画像を解析することにより、認識対象の対象装置４の情報を作業対象特定装置１の出力部１３４に表示させることができる。

図１～図１３を用いて第１実施例を説明する。実施例１では、作業者Ｕ１が対象装置４の設置して作業場所ＷＳに到着し、作業を行う部位を特定した後、遠隔の作業支援者Ｕ２が特定部位を二重確認する例を説明する。以下、作業支援者Ｕ２を熟練者Ｕ２と呼ぶことがある。

本実施例における作業は、装置４に対する手作業を含む作業を意味する。例えば、本実施例における作業は、部品の点検、部品の交換、ソフトウェアのアップデートなどの保守作業である。本実施例の作業支援システム７は、例えば、工場、発電所、商業施設、ホテル、空港などの種々の作業現場ＷＳに設けられた種々の装置４に適用可能である。種々の装置４には、例えば、空調機、複写機、サーバ、ネットワーク装置、モータ、制御盤、配電盤、工作機械などがある。以下、サーバの保守作業を一例にあげて説明する。

図１は、作業支援システム７の全体概要図である。図２は、作業対象特定装置１のブロック図である。

作業支援システム７は、例えば、少なくとも一つの作業対象特定装置１と、少なくとも一つの作業支援装置２とを備える。作業対象特定装置１と作業支援装置２とは、通信ネットワークＣＮ１，ＣＮ２を介して双方向通信可能に接続されている。

作業対象特定装置１と作業支援装置２の間に作業支援管理装置３を設けてもよい。作業支援管理装置３は、作業対象特定装置１から３次元空間データおよび２次元画像データなどの情報を取得し、それら取得した情報の解析結果または処理結果を作業支援装置２へ送信することができる。作業支援管理装置３は、図２で述べる作業対象特定装置１の機能を持つことができる。作業支援管理装置３は、いわゆるオンプレミスのサーバとして作業支援センタＳＳ内に設置されてもよい。作業支援管理装置３は、いわゆるクラウドサービスとして通信ネットワーク上に設けられてもよい。

なお、後述する他の実施例のように、作業対象特定装置１と作業支援管理装置３とを直接的に接続することもできる。この場合、作業対象特定装置１の持つ機能の少なくとも一部を作業支援装置２に設け、作業対象特定装置１から作業支援装置２へ２次元画像データおよび３次元空間データだけを送信する構成としてもよい。

作業対象特定装置１と作業支援装置２は一対一で接続されてもよいし、一対多、多対一、多対多のいずれかで接続されてもよい。一つの作業支援装置２が一つの作業対象特定装置１に接続されて、一人の熟練者Ｕ２が一人の作業者Ｕ１を指導監督してもよい。一つの作業支援装置２が複数の作業対象特定装置１に接続されて、一人の熟練者Ｕ２が複数の作業者Ｕ１を指導監督してもよい。複数の作業支援装置２が一つの作業対象特定装置１に接続されて、複数の熟練者Ｕ２が一人の作業者Ｕ１を指導監督してもよい。複数の作業支援装置２が複数の作業対象特定装置１に接続されて、複数の熟練者Ｕ２が複数の作業者Ｕ１をグループで管理し、指導監督してもよい。すなわち、複数の熟練者Ｕ２からなるグループが、複数の作業者Ｕ１からなるグループを遠隔から指導監督することもできる。

作業者Ｕ１は、作業現場ＷＳに到着すると、作業現場ＷＳに設けられている種々の装置類の中から作業対象の装置４を発見し、対象装置４について所定の作業を実施する。作業者Ｕ１は、作業対象特定装置１を使用することにより、作業現場ＷＳで対象装置４を発見し、対象装置４を含む３次元空間データに対象装置４を撮影した２次元画像データを対応付けて所定の画像データを生成し、生成された所定の画像データを作業支援装置２へ送信する。

作業対象特定装置１は、例えば、タブレット型コンピュータ、スマートホン、眼鏡型ウェアラブル端末などのように構成される。すなわち、作業対象特定装置１は、演算機能、通信機能、メモリ機能、２次元画像を撮影する機能、３次元空間データを取得する機能を備える装置であって、持ち運び可能であればよく、名称は問わない。

作業支援センタＳＳには、作業支援装置２が設けられている。作業支援装置２は、作業現場ＷＳの作業対象特定装置１から所定の画像データを受信すると、その所定の画像データをモニタディスプレイに表示する。作業支援者Ｕ２は、作業支援装置２に表示された所定の画像５を見ることにより、作業者Ｕ１が目的の対象装置４の場所へたどり着いたことを確認することができる。作業支援装置２に表示される画像５は、所定の画像データから作成されて表示されるものである。画像５では、対象装置４に対応する２次元画像データ５１と、対象装置４の周辺に存在する装置４０の一部の２次元画像データ（ここでは不図示）と、対象装置４を含む周辺の３次元空間データ５２とが対応付けられている。３次元空間データ５２に２次元画像データ５１が対応付けられているため、作業支援者Ｕ２は、３次元空間データ５２を回転操作するなどして、複数の角度から対象装置４の２次元画像データを確認することができる。

図２を用いて、作業対象特定装置１の動作を説明する。図２に示す作業対象特定装置１は、眼鏡型のウェアラブル端末として構成されている。作業者Ｕ１は、作業現場ＷＳに到着すると、「３次元空間データ取得部」としての３次元センサ１３２により、周囲の空間をスキャンしてスキャンデータ（点群データ）を取得する。空間把握部１１１は、３次元センサ１３２により取得されたデータから、スキャンされた空間を把握する。空間把握部１１１がスキャンされた空間を把握するとは、スキャンされた空間の構造を示すデータを得ることである。

作業者Ｕ１は、対象装置４を見つけると、対象装置４を「２次元画像データ取得部」としての２Ｄカメラ１３１で撮影する。物体認識部１１３は、撮影された対象装置４を認識する。物体認識部１１３は、例えば、対象装置４に印刷または貼付された製品名および／または機種名などの装置識別情報と作業指示マニュアルに記載の装置識別情報とを比較することにより、２次元画像データに映っている物体が対象装置４であるか判定する。

部位判定部１１５は、作業者Ｕ１が作業しようとする、または作業中の、装置または装置の一部を判定する機能を持つ。換言すれば、部位判定部１１５は、作業者Ｕ１が作業する箇所などの作業位置を特定する。部位判定部１１５は、認識された対象装置４の２次元画像データを対象装置４の周辺構成４０の３次元空間データに対応付けることにより、「所定の画像データ」としての合成画像データを生成する。部位判定部１１５は、生成された合成画像データを作業支援装置２へ送信する。

作業支援装置２は、作業対象特定装置１から合成画像データを受信すると、モニタディスプレイに合成画像５を表示する。合成画像５は、対象装置４に対応する２次元画像５１と対象装置４の周囲の構成４０に対応する３次元画像５２とを含む。例えば、対象装置４がサーバの場合、周辺構成４０はラックなどである。作業支援者Ｕ２が、３次元画像５２（３次元空間データ）を操作して回転などさせることで、２次元画像５１も一緒に回転させながら確認することができる。

図３を用いて、作業対象特定装置１の構成を説明する。作業対象特定装置１は、作業者Ｕ１が保守作業を行うときに使用する装置であり、作業対象装置４を特定し、作業手順を確認し、作業結果を登録する機能を有する。なお、本明細書にいう保守作業には、点検作業なども含まれる。

作業対象特定装置１は、上述の通り例えば、パーソナルコンピュータ、スマートフォン、タブレット端末、ヘッドマウントディスプレイなどのコンピュータ装置であって、液晶ディスプレイなどの表示器、キーボード、マウス、タッチパネル、タッチペン、タッチセンサー、音声認識、視線認識、手認識などの入力機器を備えている。

作業対象特定装置１は、例えば、制御部１００、主記憶部１１０、補助記憶部１２０、２Ｄカメラ１３１、３Ｄセンサ１３２、入力部１３３、出力部１３４、その他センサ１３５、電源供給部１３６、通信部１３７を備えている。これら電子回路１００，１１０，１２０，１３１－１３７はバス１０１によって接続されている。

制御部１００は、作業対象特定装置１の動作を制御する。制御部１００は、例えば、マイクロプロセッサ、キャッシュメモリ、グラフィック処理プロセッサ（graphics processing unit; GPU）などを備える。制御部１００は、主記憶部１１０に記憶されたコンピュータプログラム１１１－１１５を読み出して実行する。

主記憶部１１０は、例えばＤＲＡＭ（Dynamic Random Access Memory）などから構成され、主記憶部１１０は、空間把握部１１１，作業指示マニュアル解析部１１２、物体認識部１１３、支援コンテンツ制御部１１４、部位判定部１１５といったコンピュータプログラムを記憶する。これらコンピュータプログラム１１１－１１５は、補助記憶部１２０から主記憶部１１０へ読み出されて展開されてもよい。

補助記憶部１２０は、作業対象特定装置１に内蔵される記録媒体や、取り外し可能な外部記録媒体や光ディスクなどから構成される。補助記憶部１２０は、空間情報管理データベース１２１、作業指示マニュアル管理データベース１２２、支援コンテンツ管理データベース１２３、物体認識管理データベース１２４といった各種データを記憶する。これらデータベース１２１－１２４は、コンピュータプログラム１１１－１１５によって適宜利用され、更新される。

２Ｄカメラ１３１は、例えば光学レンズと撮像素子、信号処理回路などを備えており、作業者Ｕ１の操作により対象装置４またはその部品を撮影する。撮影された２次元画像データは物体認識管理データベース１２４に記憶される。

３Ｄセンサ１３２は、例えばＴｏＦ （Time of Flight）センサまたはステレオカメラなどであり、３次元空間データを取得する。３Ｄセンサ１３２の取得した３次元空間データは、空間情報管理データベース１２１に記憶される。

入力部１３３は、作業者Ｕ１が作業対象特定装置１へ情報を入力する装置である。入力部１３３には、例えば、キーボード、タッチパネル、マウス、タッチペン、タッチセンサ、マイクロフォン、音声認識装置、視線認識装置、手の動作を認識する装置、あるいはこれらの組合せを用いることができる。

出力部１３４は、作業対象特定装置１から作業者Ｕ１へ情報を出力する装置である。出力部１３４には、例えば、液晶ディスプレイ、有機ＥＬディスプレイ（有機エレクトロルミネッセンスディスプレイ）などの表示装置、スピーカー、プリンタ、あるいはこれらの組合せを用いることができる。

出力部１３４としてのディスプレイには、例えば、作業指示内容、作業対象装置４の場所などが表示される。作業支援者Ｕ２からの指示は、文字としてディスプレイに表示させてもよいし、音声としてスピーカーから出力させてもよい。作業指示内容、作業対象装置４の場所、作業支援者Ｕ２からの助言などをプリンタで印刷してもよい。プリンタは作業対象特定装置１に内蔵されてもよいし、無線または有線の通信ネットワークで接続されてもよい。

その他センサ１３５は、例えば、照度センサ、加速度センサ、地磁気センサ、圧力センサ、温度センサあるいはこれらの組合せである。その他センサ１３５は、作業対象特定装置１を使用する作業者Ｕ１の動作に応じた結果をセンシングする。その他センサ１３５は、作業対象特定装置１に内蔵されている必要はなく、作業対象特定装置１と無線または有線の通信ネットワークで接続されてもよい。例えば、作業者Ｕ１が身につけている腕時計型端末にその他センサ１３５を設け、検出されセンシングデータを眼鏡型端末として構成される作業対象特定装置１へ送信してもよい。その他センサ１３５は、例えば、脈拍センサ、血圧センサなどのバイタルサインを検出するセンサを含んでもよい。作業者Ｕ１のバイタルサインと作業内容とを作業支援装置２へ送信することにより、作業支援者Ｕ２は、作業者Ｕ１の状況をより適切に把握できる。

電源供給部１３６は、作業対象特定装置１の各部のうち電源の必要な箇所へ電源を供給する装置である。電源供給部１３６は、例えばバッテリ、交直変換アダプタ、充電回路等から構成される。電源供給部１３６は、無線給電装置（図示せず）から無線で電力を得る構成でもよい。

通信部１３７は、通信ネットワークＣＮ１，２を介して作業支援装置２と通信を行う装置である。

図４を用いて、作業支援装置２の概略構成を説明する。図４に示すように、作業支援装置２は、例えば、制御部２００、主記憶部２１０、補助記憶部２２０、入力部２３１、出力部２３２、電源供給部２３３、通信部２３４を備えている。これら電子回路２００，２１０，２２０，２３１－２３４はバス２０１によって接続されている。

制御部２００は、作業支援装置２の動作を制御する。制御部２００は、主記憶部２１０に記憶されたコンピュータプログラム２１１，２１２を読み出して実行する。

主記憶部２１０は、空間把握部２１１および作業対象特定部２１２といったコンピュータプログラムを記憶する。これらコンピュータプログラム２１２，２１２は、補助記憶部２２０から主記憶部２１０へ読み出されて展開されてもよい。補助記憶部２２０は、空間情報管理データベース２２１を記憶する。電源供給部２３３は、電源を必要とする各部へ電源を供給する。通信部２３４は、通信ネットワークＣＮ１，ＣＮ２を介して作業対象特定装置１と通信する。

図５を用いて、作業指示マニュアル１４０から支援コンテンツ１５０を生成する方法の例を説明する。作業指示マニュアル１４０は、対象装置４の種類ごとに用意されており、対象装置４の保守作業の手順が記載されている。作業指示マニュアル１４０は、テキストデータおよび静止画像データから構成されてもよいし、少なくとも一部が動画像データまたは音声データとして構成されてもよい。

作業指示マニュアル解析部１１２は、対象装置４を特定する情報が入力されると、その特定された対象装置４の作業指示マニュアル１４０を作業指示マニュアル管理データベース１２２から取得する。対象装置４を特定する情報は、作業者Ｕ１または作業支援者Ｕ２のいずれかが手動で入力してもよいし、図示せぬ保守計画管理システムなどから自動的に入力されてもよい対象装置４を特定する情報には、例えば、型式、機種名、製造番号などがある。作業者Ｕ１が対象装置４を特定する情報を手動で入力した場合、作業者Ｕ１を監督する作業支援者Ｕ２が、入力された対象装置４を特定する情報が正しいかを検査してもよい。

作業指示マニュアル解析部１１２は、対象装置４を特定する情報に基づいて、その対象装置４に対応する支援コンテンツ１５０を支援コンテンツ管理データベース１２３から取得する。作業指示マニュアル解析部１１２が、対象装置４を特定する情報に基づいて支援コンテンツ１５０を生成してもよい。

生成された支援コンテンツ１５０は、出力部１３４に出力される。支援コンテンツ制御部１１４は、支援コンテンツ１５０の表示内容を制御する。支援コンテンツ１５０の例は図８で後述する。

図６，図７のフローを用いて、作業対象を特定する処理を説明する。図６のフローでは、作業者Ｕ１が作業現場ＷＳにおいて、作業指示を確認しながら作業対象装置４を特定する方法を説明する。図６は、作業対象特定装置１の動作を説明するフローであり、図７は作業支援処理の全体フローである。図７では、作業者Ｕ１の動作を点線のブロックで示している。

作業対象特定処理が開始されると（Ｓ１０）、まず最初に空間把握部１１１は、３Ｄセンサ１３２により、作業者Ｕ１周辺の点群データを取得し、周辺の空間データを作成する（Ｓ１１）。作業者Ｕ１が入力部１３３から本処理の開始を指示すると、本処理が開始される。作業対象特定装置１がＧＰＳなどの位置センサを利用できる場合、作業対象特定装置１が所定の場所に到達したときに、自動的に本処理を開始させてもよい。

作業指示マニュアル解析部１１２は作業指示マニュアル管理データベース１２２に格納されている作業指示マニュアル１４０を取得し（図７のＳ１２－１）、支援コンテンツ制御部１１４は出力部１３４に作業指示コンテンツ１５０を表示させる（Ｓ１２－２）。図６のステップＳ１２は、図７に示すステップＳ１２－１およびステップＳ１２－２に分けることができる。

図８は、作業を支援するコンテンツ１５０の例を示す。ここでは、部品交換作業を行うための対象装置４を特定する手順を示す。図８では図示を省略するが、対象装置４の特定が完了すると、対象装置４の取り出し、対象装置４の分解、所定の部品の交換といった一連の作業についての指示が支援コンテンツ１５０に表示される。

作業指示マニュアル解析部１１２は、作業者Ｕ１に対して、対象装置４の前で機種名を確認するように指示する（手順１）。この例では、対象装置４の機種名は「ＴＭＡ－５０００」である。機種名は、対象装置４の正面に表示されているとは限らない。対象装置４の側面、背面、底面あるいは上面に表示される場合もある。したがって、２Ｄカメラ１３１で作業現場ＷＳ内を一通り見渡して撮影しただけでは、対象装置４を発見できない可能性がある。そこで、本実施例では、作業者Ｕ１が対象装置４と思われる装置の前へ移動するように、作業者Ｕ１の行動を誘導する。支援コンテンツ１５０には、対象装置４の機種名が表示される（１５０１）。

作業者Ｕ１は、対象装置４と思われる装置の前に着くと、その機種名を読み上げる（手順２）。作業指示マニュアル解析部１１２は、入力部１３３に含まれるマイクロフォンを介して、作業者Ｕ１の読み上げる機種名を取得し、取得した音声データをテキストに変換して記憶する（Ｓ１３）。

なお、本実施例では、入力部１３３のマイクロフォンを使用して、作業者Ｕ１が目の前の装置の特定情報（機種名、型式名、装置番号など）を読み上げることで、作業者Ｕ１が対象装置４を発見したことを判断する。これに代えて、２Ｄカメラ１３１で作業者Ｕ１の目の前の対象装置４を撮像し、撮像結果の中に含まれる特定情報を文字認識することにより、作業者Ｕ１が対象装置４を発見し、その前にいると判断してもよい。これにより、作業者Ｕ１の読み上げミスを防止できるため、より円滑かつ正確に対象装置４の発見を検出することができる。

フローの続きを説明する。作業指示マニュアル解析部１１２は、物体認識部１１３を起動させ、「ＴＭＡ－５０００」に相当する機器を物体認識する（Ｓ１４）。詳しくは、作業者Ｕ１の目前にある被写体（対象装置４と思われる物）を２Ｄカメラ１３１で撮影し、撮影された２次元画像データを物体認識部１１３により認識処理する。

物体認識部１１３は、物体認識結果を出力部１３４に重畳表示する（Ｓ１５）。作業対象特定装置１がタブレットの場合、ＡＲ（Augmented Reality）により作業者Ｕ１がタブレットを対象装置４へ向けることでタブレットの画面上に見える対象装置に機器候補を表示する。

作業対象特定装置１がＨＭＤ（Head Mounted Display）である場合、作業者Ｕ１の見る風景には、ＡＲまたはＭＲ（Mixed Reality）により、対象装置４の候補が重ねて表示される（Ｓ１５）。物体認識結果が一つの場合（Ｓ１６：ＹＥＳ）、Ｓ１７に進む。

図９は、対象装置４の候補を認識した結果を示す確認画面１５１である。画面１５１には、対象装置４の周辺の構成１５１１も表示されている。作業者Ｕ１が物体認識結果を確認したら「はい」ボタン１５１２が選択される（Ｓ１７：ＹＥＳ）。これに対し、作業者Ｕ１により「いいえ」ボタン１５１３が選択された場合は（Ｓ１７：ＮＯ）、ステップＳ１６へ戻る。

物体認識結果が複数の場合（Ｓ１６：ＮＯ）、作業指示マニュアル解析部１１２は、どれが正しい対象装置４であるかを作業者Ｕ１に選択させる（Ｓ１８）。図１０は、複数の対象装置の候補４（１）－４（３）の中から一つの装置を確認する画面である。

図１０では、２Ｄカメラ１３１により撮影された画像から認識された対象装置の候補４（１）－４（３）が表示されている。作業者Ｕ１は、入力部１３３を通じて、候補４（１）－４（３）の中から適切と考えられる候補を一つ指定する（Ｓ１８）。

作業対象特定装置１がタブレットの場合、作業者Ｕ１は、タッチパネル上で適切と考える候補をタッチする。作業対象特定装置１がＨＭＤの場合、作業者Ｕ１は、視線を動かしたり、手や指を動かしたりすることで、適切と考える候補を選択する。

部位判定部１１５は、ステップＳ１１で取得した３次元空間データとステップＳ１７またはステップＳ１８のいずれかで選択された対象装置４の情報とを対応付け、対象装置４を含む周辺を２Ｄカメラ１３１で撮影し、撮影された２次元画像データをステップＳ１１で取得された３次元空間データに貼り付ける（Ｓ１９）。

図１１は、選択された対象装置４の周辺の２次元画像データ５１を３次元空間データ５２に貼り付けた例である。図１１は、図１３のフローで使用される。ここで、２次元画像データを３次元空間データに貼り付けるとは、３次元空間データ５２における所定の位置で２次元画像データが表示されるように対応付けることを意味する。図１２は、作業支援装置２において、作業支援者Ｕ２が、所定の画像データ（２次元画像データと３次元空間データとを合成した画像データ）を操作する様子を示す説明図である。操作とは、画像を回転させて向きを変えたりすることを意味する。図１１，図１２については、さらに後述する。

ＴｏＦセンサデータ、あるいはステレオカメラなどの３Ｄセンサ１３２で３次元空間データ５２を得る場合、３Ｄセンサ１３２で撮影された複数の画像データをつなげることにより３次元空間データ５２を取得する。このため、３次元空間データ５２は、例えば、測定時の手振れ、ＴｏＦセンサの値のゆらぎなどにより、図１１に示すように、ゆがんだり欠けたりして不鮮明であることが一般的である。したがって、熟練者の作業支援者Ｕ２は、３次元空間データ５２だけでは、作業対象の装置４がどこにあるのか正確に判断するのが難しい場合がある。

そこで、本実施例では、３次元空間データ５２に２Ｄカメラ１３１で撮影された２次元画像データ５１を重ねて表示させる。これにより、作業支援者Ｕ２は、対象装置４が作業現場ＷＳのどこにあるかを鮮明に確認することができる。

作業対象特定装置１は、３次元空間データ５２に２次元画像データ５１が重畳された所定の画像データ（合成画像データとも呼ぶ）を作業支援装置２へ送信する（Ｓ２０）。作業支援装置２は、合成画像データを取得すると、出力部２３２に表示させる。作業支援者Ｕ２は、合成画像データを見て、作業者Ｕ１が正しい対象装置４にたどり着いて、作業を開始しようとしていることを目視確認することができる。そして、作業支援者Ｕ２は、入力部２３１に含まれるマイクロフォンを介して、作業現場ＷＳに居る作業者Ｕ１に対し、作業を支援するための助言を与えることができる。

図１３を用いて、作業支援者Ｕ２が合成画像データを元に、作業者Ｕ１が特定した対象装置４を確認する処理を説明する。本処理は、例えば、作業支援者Ｕ２が作業支援装置２を起動させると開始する。あるいは、作業対象特定装置１からデータを受信したときに本処理が自動的に開始されてもよい。

作業支援装置２の空間把握部２１１は、通信部２３４を介して、作業対象特定装置１から受信された合成画像データを取得する（Ｓ３１）。合成画像データは、通信部２３４により作業対象特定装置１から受信された合成画像データは、空間情報管理データベース２２１に格納されている。

作業対象特定部２１２は、取得された合成画像データを元に、作業場所を確認するための画面５を表示する（Ｓ３２）。図１１，図１２は、作業支援装置２の出力部２３２に表示される画面例である。

画面５は、入力部２３１からの操作入力を通じて、例えばｙａｗ， ｐｉｔｃｈ， ｒｏｌｌの複数の方向に任意の角度で回転させることができる。さらに、画像５は、前後左右に拡大または縮小させて表示させることもできる。画面５に、回転や拡大縮小などの操作用ボタンを表示し、タッチパネル、キーボード、マウスなどを使って操作できるようにしてもよい。

図１１では、作業者Ｕ１の指定した作業対象装置４の周辺に解像度の高い２次元画像データが重なって表示されている。高解像度の２次元画像データ５１のうち、作業対象装置４に相当する部分は、他の装置と区別できるように色分け表示されている。作業支援者Ｕ２は、画像５を任意の位置、角度で表示させることにより、奥行なども含めた位置関係を容易に確認することができる。

図１２は、図１１に表示されている装置等を接地面と垂直方向に対して９０度回転させた例を示す。作業支援者Ｕ２は、２Ｄカメラ１３１で撮影された正面以外の角度から、対象装置４の周辺構成４０における位置関係を確認できる。

このように構成される本実施例の作業支援システム７によれば、作業前に作業現場ＷＳの３次元空間データをあらかじめ取得して３次元空間の地図を作っておく必要がなく、作業の都度必要な範囲で３次元空間データを取得するため、使い勝手がよい。さらに、新規の作業現場ＷＳで作業をする場合および既存の作業現場ＷＳの一部が変更された場合でも、本実施例の作業支援システム７は対応することができる。

すなわち、本実施例の作業支援システム７は、作業現場ＷＳに置かれている装置や物の配置が動的に変わったとしても、対象装置４を含む二次元画像データを３次元空間データへ３次元的にマッピングすることができる。したがって、作業者Ｕ１と作業支援者Ｕ２とが、３次元的なマッピング結果を共有することにより、作業支援者Ｕ２は、作業者Ｕ１がどの装置に対して作業を開始しようとしているか、あるいは、作業をしているか、を直観的に理解できる。したがって、作業支援者Ｕ２は、作業者Ｕ１の選んだ装置が正しい装置であるかの確認と、その対象装置４に対する作業に関する助言などとを、作業対象特定装置１を通じて作業者Ｕ１に与えることができる。

図１４を用いて第２実施例を説明する。本実施例を含む以下の実施例は、第１実施例の変形例に該当するため、第１実施例との相違を中心に説明する。本実施例の作業支援システムは、作業者Ｕ１による作業を評価し、保存する。

図１４は、採点処理のフローを示す。本処理は、作業対象特定装置１または作業支援装置２または作業支援管理装置３のいずれかで実行することができる。または、作業対象特定装置１での採点結果と作業支援装置２での採点結果とを作業支援管理装置３で管理してもよい。ここでは、作業対象特定装置１が採点処理を実行するものとして説明する。

作業対象特定装置１は、作業者Ｕ１による作業が終了したか判定する（Ｓ４０）。作業が終了していない場合（Ｓ４０：ＮＯ）、作業者Ｕ１の作業単位毎に作業支援者Ｕ２による採点を取得し、記憶する（Ｓ４１）。すなわち、作業者Ｕ１が対象装置４のラックからの取り出し、対象装置４の天板の取り外し、対象装置４内の部品の交換といった作業単位毎に、作業支援者Ｕ２は、作業者Ｕ１の作業を採点し、入力部２３１へ入力する。入力された採点結果は、作業対象特定装置１へ送信されて記憶される（Ｓ４１）。作業の終了は、作業が終了した旨の情報が作業者Ｕ１によって入力部１３３へ入力されることで検出することができる。作業者Ｕ１は、出力部１３４の出力する画面上で作業終了ボタン（不図示）を操作してもよし、「Ａ製品のファン交換作業終了」のように音声またはテキストで作業終了を入力してもよい。

作業対象特定装置１は、作業者Ｕ１による作業が終了すると（Ｓ４０：ＹＥＳ）、作業者Ｕ１による自己採点を取得する（Ｓ４２）。自己採点は、作業者Ｕ１の作業全体について行われる。これに代えて、作業者Ｕ１は作業中に、または作業終了後に、作業単位毎に自己採点してもよい。例えば「装置４の取り外し完了。１００点」、「ファン交換作業完了。９０点」のように、作業単位毎に自己採点の結果を作業者Ｕ１が入力部１３３へ入力してもよい。

作業対象特定装置１は、作業支援者Ｕ２による採点と作業者Ｕ１による自己採点とを集権する（Ｓ４３）。作業対象特定装置１は、採点集計に基づいて、作業者Ｕ１の作業を評価し、補助記憶部１２０へ保存する（Ｓ４４）。作業対象特定装置１は、作業中に２Ｄカメラ１３１で撮影された画像データを補助記憶部１２０へ保存すると共に（Ｓ４５）、合成画像データも補助記憶部１２０へ保存する（Ｓ４６）。

作業対象特定装置１は、作業支援者Ｕ２による採点と作業者Ｕ１による自己採点との集計結果に基づいて、例えば、作業者Ｕ１の作業をランク分けしたり、点数化したりして評価することができる。その評価結果と作業現場ＷＳでの作業の少なくとも一部を撮影した２次元画像データと合成画像データとを対応付けて、作業履歴管理データベース（不図示）へ記録させる。作業履歴管理データベースは、作業指示マニュアル管理データベース１２２の中に設けることもできる。

このように構成される本実施例も第１実施例と同様の作用効果を奏する。さらに本実施例によれば、作業者Ｕ１の作業内容を採点して履歴として保存することができるため、作業者Ｕ１の勤務評価などに利用することができるほか、作業指示マニュアル１４０の改良にも役立てることができる。例えば、多くの作業者Ｕ１にとって評価の低い作業項目がある場合、対象装置４の設計に改善の余地があるか、あるいは作業指示マニュアル１４０の記載に改善の余地があると判断することができる。

図１５を用いて第３実施例を説明する。本実施例の作業支援システム７Ａは、作業対象特定装置１と作業支援装置２が直接的に接続されており、作業支援管理装置３は設けられていない。このように構成される本実施例も第１実施例と同様の作用効果を奏する。

なお、本発明は、上述した実施形態に限定されない。当業者であれば、本発明の範囲内で、種々の追加や変更等を行うことができる。上述の実施形態において、添付図面に図示した構成例に限定されない。本発明の目的を達成する範囲内で、実施形態の構成や処理方法は適宜変更することが可能である。

また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれる。さらに特許請求の範囲に記載された構成は、特許請求の範囲で明示している組合せ以外にも組合せることができる。

１：作業対象特定装置、２：作業支援装置、３：作業支援管理装置、４：作業対象装置、５：作業支援装置で表示される画像、７：作業支援システム、１１１：空間把握部、１１２：作業指示マニュアル解析部、１１３物体認識部、１１４：支援コンテンツ制御部、１１５：部位判定部、１３１：２Ｄカメラ、１３２：３Ｄセンサ、１３３：入力部、１３３：出力部、２１１：空間把握部、２１２：作業対象特定部

Claims (10)

1. 作業者の作業を支援する作業支援システムであって、
   作業者により使用される作業対象特定装置と、
   作業者の作業を支援する作業支援者により使用される作業支援装置であって、前記作業対象特定装置と通信可能に接続される作業支援装置と、を備え、
   前記作業対象特定装置は、対象装置を含む作業空間の３次元空間データを取得し、前記対象装置を撮影した２次元画像データを前記３次元空間データ中の前記対象装置に対応付けて所定の画像データを作成し、前記作成された所定の画像データを前記作業支援装置へ出力し、
   前記作業支援装置は、前記作業対象特定装置から受信した前記所定の画像データを表示し、前記作業支援者から入力される情報を前記作業対象特定装置へ送信する
   作業支援システム。
2. 前記作業対象特定装置は、前記作業空間の前記対象装置へ作業者を誘導する誘導情報を含む支援コンテンツデータを作成して作業者へ提供する
   請求項１に記載の作業支援システム。
3. 前記誘導情報は、作業者が前記対象装置の前で、前記対象装置を特定する特定情報を前記作業対象特定装置へ入力することを要求する情報である
   請求項２に記載の作業支援システム。
4. 前記支援コンテンツデータは、前記対象装置についての作業指示を記載した作業指示マニュアルデータに基づいて作成される
   請求項２に記載の作業支援システム。
5. 前記作業対象特定装置は、前記作業空間を撮影した２次元画像データを解析することにより、前記対象装置の候補を抽出して作業者へ提示する
   請求項１に記載の作業支援システム。
6. 前記対象装置の候補が複数存在する場合、前記作業者に提示された前記複数の対象装置の候補の中から前記対象装置を作業者に選択させる
   請求項５に記載の作業支援システム。
7. 前記作業対象特定装置は、前記対象装置の作業についての評価を取得して、作業履歴と共に保存する
   請求項１に記載の作業支援システム。
8. 前記作業対象特定装置と前記作業支援装置とは直接的に接続される
   請求項１に記載の作業支援システム。
9. 作業対象の装置を特定する作業対象特定装置であって、
   対象装置を含む作業空間の３次元空間データを３次元空間データ取得部から取得し、
   前記対象装置の２次元画像データを２次元画像データ取得部から取得し、
   前記対象装置の２次元画像データを前記３次元空間データ中の前記対象装置に対応付けて所定の画像データを作成し、
   前記作成された所定の画像データを作業支援装置へ送信し、
   前記作業支援装置から前記所定の画像データに基づく支援情報を受信する
   作業対象特定装置。
10. 作業対象の装置を特定する作業対象特定方法であって、
    対象装置を含む作業空間の３次元空間データを３次元空間データ取得部から取得し、
    前記対象装置の２次元画像データを２次元画像データ取得部から取得し、
    前記対象装置の２次元画像データを前記３次元空間データ中の前記対象装置に対応付けて所定の画像データを作成し、
    前記作成された所定の画像データを作業支援装置へ送信し、
    前記作業支援装置から前記所定の画像データに基づく支援情報を受信する
    作業対象特定方法。

Images