JP2017204251A - 作業支援装置 - Google Patents

Abstract

【課題】作業の対象となる機器を正確に特定すると共に、保守点検等の作業中に作業対象となる機器から作業者の目が離れたとしても、作業対象となる機器を正確に認識させることができる作業支援装置を提供する。【解決手段】作業支援装置は、機器５０３に付された文字列を含む第１画像を撮影する第１カメラ３０１と、文字列に向けられている第１カメラを含む第２画像を撮影する第２カメラと、第１画像に含まれる文字列を認識し、文字列に基づいて機器が作業の対象であるかどうかを判定し、作業の対象である場合に、第２カメラに対して撮影を指示する制御部と、制御部の指示により第２画像に基づく機器認識画像を表示する表示部と、を備える。【選択図】 図４

Description

本発明は、作業支援装置に関し、例えば、多数の機器が設置された場所での保守点検等の作業を支援する装置に適用して好適なものである。

データセンタのサーバや、プラントにおけるメータ等の保守点検業務では、同一又は類似の形状を有する多数の機器に対してそれぞれ保守や点検の作業を行っている。このような作業において、作業者は、各機器に対して逐一、各機器に貼付された型番やシリアル番号を確認し、それぞれの機器に対して固有の設定を行ったり、固有の状態を記録したりしている。

特許文献１は、センタ情報処理サーバが、携帯情報端末から受信したプラント機器の撮影画像と、機器マスク画像とを画像認識処理部でマッチング処理させて、撮影画像から点検領域情報を取得する。そして、保守点検結果を表示させるための機器表示画像に前記点検領域情報を重畳し、更に点検文字情報も重畳して投影画像を合成し、携帯情報端末に送信し、プロジェクタ部から投影表示させることについて開示している。

特開２０１０−００３１９０号公報

しかしながら、機器に貼付される個々の機器を識別する文字は、機器の操作や機能を妨げないよう隙間スペースに配置されるものであり、特許文献１が開示するような機器全体の画像から保守点検等の作業を行う機器に貼付された識別文字を認識するのは難しい。また、エラーや誤認識により機器が特定されない恐れもある。

また、機器全体の画像から作業の対象となる機器が特定できた場合であっても、例えば同一又は類似の機器が並ぶ環境において、作業者が作業の対象となる機器から視線を外した場合には、作業の対象となる機器が不明確となり、再び保守点検を行う機器の確認作業をやり直さなくてはならない恐れがあった。

本発明は以上の点を考慮してなされたもので、作業の対象となる機器を正確に特定すると共に、保守点検等の作業中に作業対象となる機器から作業者の目が離れたとしても、作業対象となる機器を正確に認識させることができる作業支援装置及び作業支援方法を提供しようとするものである。

かかる課題を解決するため本開示の作業支援装置は、機器に付された文字列を含む第１画像を撮影する第１カメラと、前記文字列に向けられている前記第１カメラを含む第２画像を撮影する第２カメラと、前記第１画像に含まれる前記文字列を認識し、前記文字列に基づいて前記機器が作業の対象であるかどうかを判定し、前記作業の対象である場合に、前記第２カメラに対して撮影を指示する制御部と、前記制御部の指示により前記第２画像に基づく機器認識画像を表示する表示部と、を備える作業支援装置である。

また、かかる課題を解決するため本開示の作業支援方法は、機器に付された文字列を含む第１画像を撮影し、前記第１画像に含まれる前記文字列を認識し、前記文字列に基づいて前記機器が作業の対象であるかどうかを判定して、前記作業の対象である場合に前記第２カメラに対して撮影を指示し、前記指示に基づいて、前記文字列に向けられている前記第１カメラを含む第２画像を撮影し、前記第２画像に基づく機器認識画像を表示する、作業支援方法である。

本発明によれば、作業の対象となる機器を正確に特定すると共に、保守点検等の作業中に作業対象となる機器から作業者の目が離れたとしても、作業対象となる機器を正確に認識させることができる。

本発明の一実施の形態に係る作業支援装置について概略的に示す図である。 図１の制御部の機能ブロックについて示す図である。 作業支援装置の外観構成の一例について示す図である。 作業支援装置を用いて機器の点検を行う場合について説明する図である。 作業支援装置を用いて行う文字認識機器判定処理について示すシーケンス図である。 作業対象機器であると判定された場合に表示する画像の例を示す図である。 表示部に表示される機器認識画像の例について示す図である。 作業の対象となる機器に対して作業を行う際の制御部の処理について示すシーケンス図である。 作業データベースに保存された作業対象機器の作業手順及び作業内容について示す作業内容表である。 ある作業対象機器についての作業手順を示す表示の例について示す図である。 眼鏡型ウェアラブルデバイスに機器認識画像を表示する例について示す図である。 ポインティング画像で作業対象機器を指し示す機器認識画像について示す図である。 第２画像の例について示す図である。 第２画像の視野で作業者の腕を下げた時に撮影される画像を示す図である。 図１２の機器認識画像を作成する画像処理の別の例について説明するための図である。 図１２の機器認識画像を作成する画像処理の別の例について説明するための図である。 作業支援装置の外観構成の別の例について示す図である。 第２画像を機器認識画像として表示部に表示された画像を示す図である。 第２画像を機器認識画像をタブレット端末に表示させ、作業対象機器について確認している様子の例を示す図である。 作業者の操作により機器認識画像を表示部に表示する処理のシーケンス図である。 音声認識により機器認識画像を表示部に表示する処理のシーケンス図である。 画像認識により機器認識画像を表示部に表示する処理のシーケンス図である。 モーションセンサの出力により機器認識画像を表示部３０５に表示する処理のシーケンス図である。 図２２とは別の形態に係る、加速度センサ等の姿勢センサの出力により機器認識画像を表示部に表示する処理のシーケンス図である。 図２３のシーケンス図に係る機器認識画像表示開始判定処理のシーケンス図である。 図２３のシーケンス図に係る機器認識画像表示終了判定処理のシーケンス図である。 図２１とは別の形態に係る、画像認識により機器認識画像を表示部に表示する処理のシーケンス図である。 図２５のシーケンス図に係る機器認識画像表示開始判定処理のシーケンス図である。 図２５のシーケンス図に係る機器認識画像表示終了判定処理のシーケンス図である。

以下図面を用いて本開示に係る実施の形態を詳述する。以下の説明において、同様の要素には同一の符号を付し、重複する説明を省略する。

（１） 本実施の形態による作業支援装置の構成
図１は、本発明の一実施の形態に係る作業支援装置１００について概略的に示す図である。この図に示されるように作業支援装置１００は、第１カメラ３０１、第２カメラ３０２、表示部３０５、入力部３１０及び制御部２００を有している。制御部２００は、ＣＰＵ（Central Processing Unit）２０１、ＲＡＭ（Random Access Memory）等の揮発性記憶部２０２、ハードディスクやフラッシュメモリ等の不揮発性記憶部２０３、第１カメラ３０１で撮影された画像を受信する第１カメラインタフェース２０４、第２カメラ３０２で撮影された画像を受信する第２カメラインタフェース２０５、表示部３０５に表示する画像を出力する表示出力インタフェース２０６、及び入力部３１０から出力される信号を受信する入力インタフェース２０７を有している。これらはバス２０９等で接続され互いに信号の送受信を行うことができる。ここで入力部３１０には、マウス、キーボード、タッチパネル、タッチセンサその他の入力装置、及び音声入力装置、加速度計、ＧＰＳ等のセンサの信号を出力する装置等を配置することができる。しかしながら、入力部３１０のない構成であってもよい。また、図１においては、第１カメラ３０１、第２カメラ３０２、表示部３０５及び入力部３１０は、制御部２００とそれぞれ実線又は破線で結ばれているが、無線により送受信を行う意味での接続を含むこととする。

図２は、図１の制御部２００の機能ブロックについて示す図である。制御部２００は、ハードウェアがソフトウェアと協働して動作することにより複数の機能を実現する。この図に示されるように、制御部２００は、機器に付された機器を識別するための識別文字列、作業の対象であるかないかの識別、作業の対象である機器についての作業手順、作業内容及び作業結果等が保存される作業データベース２５８と、第１カメラ３０１で撮影された画像から文字列を抽出し、作業データベース２５８に保存された文字列と比較することにより、作業の対象となっている機器であるかどうかを判定する文字認識機器判定部２５１と、文字認識機器判定部２５１により、作業の対象となっている機器であることが判定された場合に、第２カメラ３０２に撮影の指示を行う撮影指示部２５２と、第２カメラ３０２で撮影された画像を加工して機器認識画像５４０（例えば、図７参照）を作成する画像加工部２５３と、入力部３１０からの入力信号、第２カメラ３０２で認識された画像や作業におけるタイミング等に基づいて機器認識画像５４０を表示するかどうかを判定する機器認識画像表示判定部２５４と、機器認識画像表示判定部２５４により機器認識画像５４０を表示する判定がされた場合に、機器認識画像５４０の表示を表示部３０５に指示する機器認識画像表示指示部２５５と、機器が作業対象であると判定された場合に、作業データベース２５８から作業手順や作業内容を取得し、表示部３０５への表示を指示する作業データ表示指示部２５６と、作業中又は作業終了時に作業結果について入力させ、作業データベース２５８に保存する作業結果入力保存部２５７と、を有している。

図３は、作業支援装置１００の外観構成の一例について示す図である。この例では作業支援装置１００の一部は、人の頭部４９９に装着することのできる眼鏡型ウェアラブルデバイス４００として構成されている。眼鏡型ウェアラブルデバイス４００は、頭部取付具４０１を有し、頭部取付具４０１には、制御部２００、表示部３０５、第２カメラ３０２が取り付けられ、更に、入力部３１０の一つとなり得る加速度センサ３１３、音声受信部３１２、タッチセンサ３１１を有している。また、ペン型の第１カメラ３０１からの画像情報を無線通信で受信する無線通信部４０２を有している。無線通信部４０２は、第１カメラ３０１からの情報だけでなく、他の入力機器やセンサ機器等からの情報を受信することができる。表示部３０５は光源とＬＣＯＳ（Liquid Crystal on Silicon）を用いた投影型の表示装置を用いることができ、装着した人の視界を損なうことなく、空間中の投影面４０４に表示された画像を認識することができる。

（２） 文字認識機器判定処理
図４は、作業支援装置１００を用いて、例えばデータセンタでサーバ装置等の機器の点検を行う場合について説明するための図である。この図に示されるように例えば作業箇所には５台の機器５０１〜５０５が並んでいるものとする。また、作業者４８０は、図３の眼鏡型ウェアラブルデバイス４００を頭部に取り付けて、ペン型の第１カメラ３０１を手に持っている。作業者４８０は、作業対象である機器を確認して、その機器に応じた作業を行う。図５は、作業支援装置１００を用いて行う文字認識機器判定処理Ｓ１００について示すシーケンス図である。このシーケンス図に示されるように、まず作業者４８０は、入力部３１０を操作して作業対象である機器を判定する文字認識機器判定部２５１のプログラムを起動する指示を制御部２００に対して行う（Ｓ１０１、Ｓ１０２）。制御部２００は、文字認識機器判定部２５１のプログラムを起動する（Ｓ１０３）。ここで入力部３１０は、タッチセンサ３１１、音声受信部３１２その他の入力部３１０を用いることができる。またその他無線通信部４０２を介して入力されるものであってもよい。作業者４８０は、図４に示されるように、機器５０３が作業対象であるかどうかを確認するために、第１カメラ３０１を、機器５０３の型番やシリアル番号が記載されたラベルを含む撮影領域５３１に合わせて、第１カメラ３０１に対して撮影の指示を行う（Ｓ１０４）。第１カメラ３０１は、第１画像の撮影を行い（Ｓ１０５）、撮影された第１画像は制御部２００に送られる（Ｓ１０６）。

第１画像を受信した制御部２００の文字認識機器判定部２５１は、第１画像から文字列を認識し（Ｓ１０７）、作業データベース２５８に保存された情報に基づいて、作業対象機器５０３であるかどうかを判定する（Ｓ１０８）。表示部３０５に対し判定結果の表示を指示し（Ｓ１０９）、表示部３０５は、判定結果を表示する（Ｓ１１０）。作業対象機器５０３であった場合には、例えば、図６のように、作業対象機器５０３である旨と共に、認識された作業対象機器５０３であることを示す文字列を示した画面を表示することとしてもよい。作業対象機器５０３でなかった場合には、ここで文字認識機器判定処理Ｓ１００を終了する。作業対象機器５０３であった場合には、制御部２００は、第２カメラ３０２に対し、撮影指示を行い（Ｓ１１１）、第２カメラ３０２は第２画像を撮影する（Ｓ１１２）。ここで図４に示されるように第２画像は、第１カメラ３０１を含む撮影領域５３２とすることができ、更に作業対象機器５０３だけでなく、他の機器５０１〜５０２及び５０４〜５０５を含むこととしてもよい。このような撮影領域５３２を有する第２カメラ３０２で撮影することにより、第１カメラ３０１を作業対象機器５０３を指し示すポインタとした画像とすることができる。撮影タイミングを作業者に認識させるため、音声又は画面表示により、撮影するタイミングのカウントダウンすることとしてもよい。

撮影された第２画像は制御部２００に送信され（Ｓ１１３）、必要な場合には画像処理を用いて、より作業対象機器５０３を識別しやすい画像に加工され、例えば図７に示されるような機器認識画像５４０を生成する（Ｓ１１４）。しかしながら第２画像を加工することなく、第２画像をそのまま機器認識画像５４０としてもよい。この場合には、第２画像に含まれる第１カメラ３０１を作業対象機器５０３を指し示すポインタとして識別することができる。引き続き、制御部２００は表示部３０５に対し、機器認識画像５４０の表示を指示し（Ｓ１１５）、表示部３０５は、機器認識画像５４０を表示する（Ｓ１１６）。

図７の機器認識画像５４０の例に示されるように、第１カメラ３０１が指し示す方向が作業対象機器５０３であり、作業者４８０は、作業を開始する際又は作業を再開する際に、この画像を表示させることにより、現在の作業対象機器５０３がどの機器であるかを確認することができる。なお、図７の表示画像に示されるように、機器認識画像５４０には、第１画像で認識した型番やシリアル番号の文字列と共に表示することとしてもよい。このような構成とすることにより、作業者４８０は、作業の対象となる機器を正確に特定すると共に、保守点検等の作業中に作業対象となる機器から目が離れたとしても、作業者に作業対象となる機器を正確に認識することができる。

（３） 作業時の処理
図８は、作業の対象となる機器に対して作業を行う際の制御部の処理について示すシーケンス図である。このシーケンス図に示されるように、作業中の処理は、主に作業手順表示処理Ｓ２１０、作業内容表示処理Ｓ２２０及び作業結果入力保存処理Ｓ２３０である。作業手順表示処理Ｓ２１０では、まず作業者４８０が、入力部３１０に対して作業手順の確認のための指示を行い（Ｓ２１１）、入力部３１０は制御部に対し作業手順表示の指示を行う（Ｓ２１２）。制御部２００は、作業対象機器５０３の作業手順を作業データベース２５８から取得し（Ｓ２１３）、表示部３０５に対して取得した作業手順を表示する指示を行う（Ｓ２１４）。表示部３０５は、受信した内容の作業手順を表示する（Ｓ２１５）。

図９は、作業データベース２５８に保存された作業対象機器５０３の作業手順及び作業内容について示す作業内容表５８０である。この図に示されるように、作業内容表５８０には、例えば、機器の場所を示す欄、場所ごとの機器番号、型番及びシリアル番号（Ｓ／Ｎ）、作業手順である作業項目番号及び作業（点検）項目、並びに作業内容が含まれている。なお、作業内容表５８０はこれに限られることなく、適宜変更することができる。また、更に作業結果記入欄等を含むことができる。図１０は、ステップＳ２３５において表示される、ある作業対象機器５０３についての作業手順を示す表示の例について示す図である。この図に示されるように、この作業対象機器５０３として特定された機器について、ＭＡＣ（Media Access Control）アドレス、コネクタ及びケーブルの点検を行う旨が作業手順として列記されている。

図８に戻り、作業内容表示処理Ｓ２２０では、作業者４８０が作業開始の指示を入力部３１０に対して行うと（Ｓ２２１）、入力部は作業開始の指示を制御部２００に対して行う（Ｓ２２２）。制御部２００は、作業対象機器５０３の作業内容を取得し（Ｓ２２３）、表示部３０５に対し、作業内容の表示の指示を行う（Ｓ２２４）。表示部３０５は、作業内容を表示する（Ｓ２２５）。ここで作業内容は、作業手順で表示された項目の一つずつであることとしてもよく、作業の進捗に従って一項目ずつ表示することとしてもよい。作業内容が表示されると、作業者４８０は表示された作業内容に対応する作業を行う。

引き続き、作業結果入力保存処理Ｓ２３０について説明する。作業者４８０は表示された作業内容に対応する作業を終了すると、入力部３１０を用いて作業の結果の入力を行い（Ｓ２３１）、入力部３１０は、制御部２００に対し、入力された内容を送信し（Ｓ２３２）、例えば作業内容表５８０の対応する欄に作業結果を記録・保存する（Ｓ２３３）。続いて、入力内容確認のため、作業結果を表示する指示を表示部３０５に対して行い（Ｓ２３４）、表示部３０５は作業結果を表示する（Ｓ２３５）。以上、作業時の処理の一例について述べたが、作業支援装置１００の処理は、作業手順表示処理Ｓ２１０、作業内容表示処理Ｓ２２０及び作業結果入力保存処理Ｓ２３０に限られず、また作業手順表示処理Ｓ２１０、作業内容表示処理Ｓ２２０及び作業結果入力保存処理Ｓ２３０の内容もこれに限られない。

（４） 機器認識画像の表示の例
図１１は、眼鏡型ウェアラブルデバイスが全視界に渡って表示される場合に、一部において機器認識画像５４０を表示する例について示す図である。この図に示されるように、視界５４２において作業機器を直視するエリアの他に、作業内容を表示する画面の視野の一部において機器認識画像５４０を表示させるエリアを設けることにより、作業対象機器５０３から視線を離して戻した際にも、作業者４８０にすぐに作業対象機器５０３を認識させることができる。

図１２は、第２画像において、作業者４８０の手及び第１カメラ３０１の部分を削除して、ポインティング画像５５２で作業対象機器５０３を指し示すようにした機器認識画像５４０について示す図である。このような画像を用いることにより、作業者４８０により分かりやすく作業対象機器５０３を認識させることができる。以下、第２画像から機器認識画像５４０に加工する画像処理について説明する。

図１３Ａは、第１カメラ３０１により撮影された第１画像に基づいて作業対象機器５０３であることが判定された際に、第２カメラ３０２により撮影された第２画像である。図１３Ｂは、第２画像撮影の後、第１カメラ３０１を持つ手が下げられ、第２カメラ３０２の視野に第１カメラ３０１及び手が入らなくなったときの画像である。画像加工部２５３は、このような図１３Ｂの画像において、図１３Ａの第２画像の第１カメラ３０１が指し示す位置に、ポインティング画像５５２を張り付ける加工を行うことにより、図１２の機器認識画像５４０を作成する画像処理を行うことができる。

図１４及び１５は、図１２の機器認識画像５４０を作成する画像処理の別の例について示す図である。この例では、図１４に示されるように、第１カメラ３０１にＡＲ（Augmented Reality）コードを第２カメラ３０２で読み取りやすい位置に取り付けて、文字認識機器判定処理Ｓ１００を行う。図１５はこの際に撮影された第２画像をそのまま機器認識画像５４０とした場合に図である。画像加工部２５３は、このような図１５の画像の処理において、ＡＲコードを認識し、ＡＲコードをポインティング画像５５２に置き換えることにより、図１２のような画像とすることができる。

（５） 作業支援装置の外観構成の別の例
図１６は、作業支援装置１００の外観構成の別の例について示す図である。この例では作業支援装置１００の一部は、タブレット端末６００で構成されている。タブレット端末６００は、制御部２００、表示部３０５、第２カメラ３０２を有し、更に、入力部３１０の一つとなり得る加速度センサ３１３、音声受信部３１２、タッチパネル６１１を有している。また、作業者４８０の頭部に取り付けられた第２カメラ３０２からの画像情報を無線通信で受信する無線通信部４０２を有している。無線通信部４０２は、第２カメラ３０２からの情報だけでなく、他の入力機器やセンサ機器等からの情報を受信することができる。図１７は、第２画像が機器認識画像５４０として表示部３０５に表示された画像であり、図１８は、第２画像を機器認識画像５４０としてタブレット端末６００の表示部３０５に表示させ、作業対象機器５０３について確認しているときの図である。このような構成であっても、作業者４８０は、作業の対象となる機器を正確に特定すると共に、保守点検等の作業中に作業対象となる機器から目が離れたとしても、作業者４８０に作業対象となる機器を正確に認識することができる。

（６） 機器認識画像を表示する判定
図１９〜２６Ｂは、作業者４８０の作業中に、作業対象機器５０３から視線を離した場合に、再び作業を開始するために機器認識画像５４０を表示部３０５に表示させる処理について説明するための図である。

図１９は、作業者４８０の操作により機器認識画像５４０を表示部３０５に表示する処理Ｓ３１０のシーケンス図である。この図に示されるように、作業者４８０は、ボタンや眼鏡型ウェアラブルデバイス４００の紐状の入力装置やタッチセンサ、タブレット端末６００のタッチパネル等の入力部３１０を操作して機器認識画像５４０の表示を指示する（Ｓ３１１）。入力部３１０は制御部２００に機器認識画像５４０の表示指示を行い（Ｓ３１２）、制御部２００の機器認識画像表示指示部２５５は、表示部３０５に対して機器認識画像５４０の表示を指示する（Ｓ３１３）。表示部３０５は機器認識画像５４０を表示する（Ｓ３１４）。これにより保守点検等の作業中に作業対象となる機器から目が離れたとしても、作業者４８０に作業対象となる機器を正確に認識させることができる。

図２０は、音声認識により機器認識画像５４０を表示部３０５に表示する処理Ｓ３２０のシーケンス図である。この図に示されるように、作業者４８０は、眼鏡型ウェアラブルデバイス４００の音声受信部３１２やタブレット端末６００の音声受信部３１２等の音声受信部３１２を介して音声により、予め定められた機器認識画像５４０の表示の音声指示を行う（Ｓ３２１）。音声を受信した音声受信部３１２は制御部２００に音声信号を送信し（Ｓ３２２）、制御部２００の機器認識画像表示判定部２５４は、音声認識により機器認識画像５４０の表示を指示であることを判定すると（Ｓ３２３）、制御部２００の機器認識画像表示指示部２５５は表示部３０５に対して機器認識画像５４０の表示を指示する（Ｓ３２４）。表示部３０５は機器認識画像５４０を表示する（Ｓ３２５）。したがって、音声による指示の受信により、保守点検等の作業中に作業対象となる機器から目が離れたとしても、作業者４８０に作業対象となる機器を正確に認識させることができる。

図２１は、画像認識により機器認識画像５４０を表示部３０５に表示する処理Ｓ３３０のシーケンス図である。この図に示されるように、作業者４８０は、第２カメラ３０２に撮影されるようにジェスチャのような手の動きなどにより予め定められた機器認識画像５４０の表示の指示を行う（Ｓ３３１）。手の動きを撮影した第２カメラは制御部２００に動画像を送信し（Ｓ３３２）、制御部２００の機器認識画像表示判定部２５４は、動画像を解析し機器認識画像５４０の表示を指示であることを判定すると（Ｓ３３３）、制御部２００の機器認識画像表示指示部２５５は、表示部３０５に対して機器認識画像５４０の表示を指示する（Ｓ３３４）。表示部３０５は機器認識画像５４０を表示する（Ｓ３３５）。ここで、動画像の解析には、前フレームとの差分を解析したり、特徴点照合やオプティカルフロー等の動画像解析処理を用いることができる。これにより保守点検等の作業中に作業対象となる機器から目が離れたとしても、作業者４８０に作業対象となる機器を正確に認識させることができる。

図２２は、加速度センサ３１３等のモーションセンサの出力により機器認識画像５４０を表示部３０５に表示する処理Ｓ３４０のシーケンス図である。この図に示されるように、作業者４８０は、例えば、眼鏡型ウェアラブルデバイス４００であれば加速度センサ３１３が頭部にあるため、頭部を予め定められた動きで動かすことにより、また、タブレット端末６００であればタブレット端末６００内部に加速度センサ３１３があるためタブレット端末６００を所定の姿勢、例えば、タブレット端末６００を立てる等とすることにより、予め定められた機器認識画像５４０の表示の指示を行う（Ｓ３４１）。加速度を検知した加速度センサ３１３は制御部２００に検知した信号を送信し（Ｓ３４２）、制御部２００の機器認識画像表示判定部２５４は、信号を解析し機器認識画像５４０の表示を指示であることを判定すると（Ｓ３４３）、制御部２００の機器認識画像表示指示部２５５は、表示部３０５に対して機器認識画像５４０の表示を指示する（Ｓ３４４）。表示部３０５は機器認識画像５４０を表示する（Ｓ３４５）。なお、加速度センサ３１３の他、ＧＰＳ等の位置センサ、角速度センサ等のモーションセンサを用いてもよく、またこれらを組み合わせて用いることとしてもよい。したがって、加速度センサからの信号の受信により保守点検等の作業中に作業対象となる機器から目が離れたとしても、作業者４８０に作業対象となる機器を正確に認識させることができる。

図２３は、図２２とは別の形態に係る、加速度センサ等の姿勢センサの出力により機器認識画像５４０を表示部３０５に表示する処理Ｓ４００のシーケンス図である。この形態では、眼鏡型ウェアラブルデバイス４００のように加速度センサ３１３が頭部にあるものを用い、第２画像の撮影時の同様の方向を向いているか否かにより表示を切り替えることとしている。このシーケンス図に示されるように、まず加速度センサ３１３等の姿勢センサにより検知された信号が制御部２００に通知され（Ｓ４０１）、制御部２００の機器認識画像表示判定部２５４は、機器認識画像表示開始判定処理Ｓ４１０を行う。

図２４Ａは、機器認識画像表示開始判定処理Ｓ４１０のシーケンス図である。この図に示されるように、機器認識画像表示開始判定処理Ｓ４１０では、まず、加速度センサ３１３等の姿勢センサにより通知された信号に基づいて、姿勢が静止状態であるか否かを判定する（Ｓ４１１）。ここで静止状態は、姿勢センサの信号が完全に一定している場合なだけでなく、姿勢センサの信号の変化が所定の範囲内の変化である場合を含んでいる。ステップＳ４１１において静止状態であると判定された場合には、機器認識画像表示開始判定処理Ｓ４１０を終了する。静止状態であると判定されなかった場合には、姿勢センサの向きが第２画像の撮影時と同様であるかどうかを判定する（Ｓ４１２）。この場合には方位センサ等の情報も用いることができる。ここで「第２画像の撮影時と同様」とは、完全に同じ向きであるだけでなく、例えば同じ向きから２０度以内の角度の差の範囲等、同じ向きを含む所定の範囲を含むものである。第２画像の撮影時と同様の方向と判定された場合には、機器認識画像表示開始判定処理Ｓ４１０を終了する。第２画像の撮影時と同様の方向と判定されなかった場合には、機器認識画像表示開始の判定を行い（Ｓ４１３）、機器認識画像表示開始判定処理Ｓ４１０を終了する。

図２３に戻り、機器認識画像表示開始判定処理Ｓ４１０において、機器認識画像表示開始の判定がなされると、制御部２００の機器認識画像表示指示部２５５は、表示部３０５に対して機器認識画像５４０の表示開始を指示する（Ｓ４０３）。表示部３０５は機器認識画像５４０を表示する（Ｓ４０４）。

次に、更に加速度センサ３１３等の姿勢センサにより検知された信号が制御部２００に通知されると（Ｓ４０５）、制御部２００の機器認識画像表示判定部２５４は、機器認識画像表示終了判定処理Ｓ４２０を行う。

図２４Ｂは、機器認識画像表示終了判定処理Ｓ４２０のシーケンス図である。この図に示されるように、機器認識画像表示終了判定処理Ｓ４２０では、まず、加速度センサ３１３等の姿勢センサにより通知された信号に基づいて、姿勢センサの向きが第２画像の撮影時と同様であるかどうかを判定する（Ｓ４２１）。この場合には図２４Ａと同様に方位センサ等の情報も用いることができる。第２画像の撮影時と同様の方向と判定されなかった場合には、機器認識画像表示終了判定処理Ｓ４２０を終了する。第２画像の撮影時と同様の方向と判定された場合には、姿勢が静止状態であるか否かを判定する（Ｓ４２２）。ここで静止状態であると判定されなかった場合には、機器認識画像表示終了判定処理Ｓ４２０を終了する。静止状態であると判定された場合には、機器認識画像表示終了の判定を行い（Ｓ４２３）、機器認識画像表示終了判定処理Ｓ４２０を終了する。

図２３に戻り、機器認識画像表示終了判定処理Ｓ４２０において、機器認識画像表示終了の判定がなされると、制御部２００の機器認識画像表示指示部２５５は、表示部３０５に対して機器認識画像５４０の表示終了を指示する（Ｓ４０７）。表示部３０５は機器認識画像５４０の表示を終了する（Ｓ４０８）。なお、加速度センサ３１３の他、ＧＰＳ等の位置センサ、角速度センサ、方位センサ等の姿勢センサを用いてもよい。したがって加速度センサからの信号の受信により、保守点検等の作業中に作業対象となる機器から目が離れたとしても、作業者４８０に作業対象となる機器を正確に認識させることができる。また、姿勢センサからの信号が第２画像撮影時信号から所定の範囲である場合に、機器認識画像５４０の表示を開始し、第２画像撮影時信号の所定の範囲から外れた場合に、機器認識画像５４０の表示を終了するため、作業者４８０が機器を認識する必要がある場合にのみ、機器認識画像５４０を表示することができる。

図２５は、図２１とは別の形態に係る、画像認識により機器認識画像５４０を表示部３０５に表示する処理Ｓ５００のシーケンス図である。この形態では、頭部に取り付けられた視線カメラである第２カメラ３０２で撮影された画像を用い、撮影された画像が機器認識画像５４０又は第２画像と同様の画像であるか否かにより表示を切り替えることとしている。このシーケンス図に示されるように、まず第２カメラ３０２により撮影された画像データが制御部２００に送信され（Ｓ５０１）、制御部２００の機器認識画像表示判定部２５４は、機器認識画像表示開始判定処理Ｓ５１０を行う。

図２６Ａは、機器認識画像表示開始判定処理Ｓ５１０のシーケンス図である。この図に示されるように、機器認識画像表示開始判定処理Ｓ５１０では、まず、制御部２００で受信した画像データを取得し（Ｓ５１１）、取得した画像データに基づいて、オプティカルフローを検知し（Ｓ５１２）。画像が静止状態であるかどうかを判定する（Ｓ５１３）。ここで画像が静止状態と判定された場合には、ステップＳ５１１に戻り、次の画像データを取得する。静止状態と判定されなかった場合には、取得した画像を第２画像又は機器認識画像５４０と照合し（Ｓ５１４）、類似度が閾値以上であるかどうかを判定する（Ｓ５１５）。類似度が閾値以上である場合には、ステップＳ５１１に戻り、次の画像データを取得する。類似度が閾値未満である場合には、機器認識画像表示開始の判定を行い（Ｓ５１６）、機器認識画像表示開始判定処理Ｓ５１０を終了する。ここで静止状態には、連続して取得する画像が完全に一致するものだけでなく、例えば連続して取得する画像の半分や２／３以上がほぼ同じ視野である等により静止状態と判定する場合を含むものである。

図２５に戻り、機器認識画像表示開始判定処理Ｓ５１０において、機器認識画像表示開始の判定がなされると、制御部２００の機器認識画像表示指示部２５５は、表示部３０５に対して機器認識画像５４０の表示開始を指示する（Ｓ５０３）。表示部３０５は機器認識画像５４０を表示する（Ｓ５０４）。

次に、第２カメラ３０２により撮影された画像データが制御部２００に送信され（Ｓ５０５）、制御部２００の機器認識画像表示判定部２５４は、機器認識画像表示終了判定処理Ｓ５２０を行う。

図２６Ｂは、機器認識画像表示終了判定処理Ｓ５２０のシーケンス図である。この図に示されるように、機器認識画像表示終了判定処理Ｓ５２０では、まず、制御部２００で受信した画像データを取得し（Ｓ５２１）、取得した画像データに基づいて、オプティカルフローを検知し（Ｓ５２２）。画像が静止状態であるかどうかを判定する（Ｓ５２３）。ここで画像が静止状態と判定されなかった場合には、ステップＳ５２１に戻り、次の画像データを取得する。静止状態と判定された場合には、取得した画像を第２画像又は機器認識画像５４０と照合し（Ｓ５２４）、類似度が閾値以上であるかどうかを判定する（Ｓ５２５）。類似度が閾値未満である場合には、ステップＳ５２１に戻り、次の画像データを取得する。類似度が閾値以上である場合には、機器認識画像表示終了の判定を行い（Ｓ５２６）、機器認識画像表示終了判定処理Ｓ５２０を終了する。ここで静止状態には、連続して取得する画像が完全に一致するものだけでなく、例えば連続して取得する画像の半分や２／３以上がほぼ同じ視野である等により静止状態と判定する場合を含むものである。

図２５に戻り、機器認識画像表示終了判定処理Ｓ５２０において、機器認識画像表示終了の判定がなされると、制御部２００の機器認識画像表示指示部２５５は、表示部３０５に対して機器認識画像５４０の表示終了を指示する（Ｓ５０７）。表示部３０５は機器認識画像５４０の表示を終了する（Ｓ５０８）。したがって、第２カメラ３０２の撮影画像の処理の結果に基づいた信号の受信により保守点検等の作業中に作業対象となる機器から目が離れたとしても、作業者４８０に作業対象となる機器を正確に認識させることができる。また、第２カメラ３０２からの信号である画像データが、第２画像撮影時信号である第２画像又は機器認識画像５４０の画像データと所定の範囲（類似度が閾値以上）にある場合に、機器認識画像５４０の表示を開始し、第２画像又は機器認識画像５４０の所定の範囲から外れた場合に、機器認識画像５４０の表示を終了するため、作業者４８０が機器を認識する必要がある場合にのみ、機器認識画像５４０を表示することができる。

（７）本実施の形態の効果
本実施の形態においては、作業支援装置１００は、機器５０３に付された文字列を含む第１画像を撮影する第１カメラ３０１と、文字列に向けられている第１カメラ３０１を含む第２画像を撮影する第２カメラ３０２と、第１画像に含まれる文字列を認識し、文字列に基づいて機器５０３が作業の対象であるかどうかを判定し、作業の対象である場合に、第２カメラ３０２に対して撮影を指示する制御部２００と、制御部２００の指示により第２画像に基づく機器認識画像５４０を表示する表示部３０５と、を備えるため、作業の対象となる機器を正確に特定すると共に、保守点検等の作業中に作業対象となる機器から作業者の目が離れたとしても、作業対象となる機器を正確に認識させることができる。

本発明は、作業支援装置に関し、例えば、多数の機器が設置された場所での保守点検等の作業を支援する装置に適用することができる。

１００ 作業支援装置、２００ 制御部、２０２ 揮発性記憶部、２０３ 不揮発性記憶部、２０４ 第１カメラインタフェース、２０５ 第２カメラインタフェース、２０６ 表示出力インタフェース、２０７ 入力インタフェース、２０９ バス、２５１ 文字認識機器判定部、２５２ 撮影指示部、２５３ 画像加工部、２５４ 機器認識画像表示判定部、２５５ 機器認識画像表示指示部、２５６ 作業データ表示指示部、２５７ 作業結果入力保存部、２５８ 作業データベース、３０１ 第１カメラ、３０２ 第２カメラ、３０５ 表示部、３１０ 入力部、３１１ タッチセンサ、３１２ 音声受信部、３１３ 加速度センサ、４００ 眼鏡型ウェアラブルデバイス、４０１ 頭部取付具、４０２ 無線通信部、４０４ 投影面、４８０ 作業者、４９９ 頭部、５０３ 作業対象機器、５４０ 機器認識画像、５５２ ポインティング画像、５８０ 作業内容表、６００ タブレット端末、６１１ タッチパネル

Claims (12)

1. 機器に付された文字列を含む第１画像を撮影する第１カメラと、
   前記文字列に向けられている前記第１カメラを含む第２画像を撮影する第２カメラと、
   前記第１画像に含まれる前記文字列を認識し、前記文字列に基づいて前記機器が作業の対象であるかどうかを判定し、前記作業の対象である場合に、前記第２カメラに対して撮影を指示する制御部と、
   前記制御部の指示により前記第２画像に基づく機器認識画像を表示する表示部と、を備える作業支援装置。
2. 請求項１に記載の作業支援装置において、
   前記機器認識画像は、加工された前記第２画像である、
   ことを特徴とする作業支援装置。
3. 請求項２に記載の作業支援装置において、
   前記機器認識画像は、前記第２画像に写っている前記第１カメラをポインティング画像に差し替えた画像である
   ことを特徴とする作業支援装置。
4. 請求項１乃至３のいずれか一項に記載の作業支援装置において、
   前記制御部は、入力される信号の受信に基づいて前記機器認識画像を表示する指示を行う、
   ことを特徴とする作業支援装置。
5. 請求項４に記載の作業支援装置において、
   前記入力される信号は、音声による指示の受信に基づくものである
   ことを特徴とする作業支援装置。
6. 請求項４に記載の作業支援装置において、
   前記入力される信号は、加速度センサからの信号の受信に基づくものである
   ことを特徴とする作業支援装置。
7. 請求項４に記載の作業支援装置において、
   前記入力される信号は、前記第２カメラの撮影画像の処理の結果に基づいた信号の受信に基づくものである
   ことを特徴とする作業支援装置。
8. 請求項４に記載の作業支援装置において、
   前記入力される信号が、前記第２画像撮影時の信号である第２画像撮影時信号と比較して、前記第２画像撮影時信号から所定の範囲である場合に、前記機器認識画像の表示を開始し、
   前記入力される信号が、前記第２画像撮影時の信号である第２画像撮影時信号と比較して、前記所定の範囲から外れた場合に、前記機器認識画像の表示を終了する、
   ことを特徴とする作業支援装置。
9. 請求項４に記載の作業支援装置において、
   前記表示部及び前記第２カメラは、頭部取付具に固定されている
   ことを特徴とする作業支援装置。
10. 請求項４に記載の作業支援装置において、
    前記表示部はタッチパネル入力部を有し、前記第１カメラと一体化している
    ことを特徴とする作業支援装置。
11. 請求項４に記載の作業支援装置において、
    前記作業の項目に対する結果を前記制御部に対して入力する入力部、を更に備え、
    前記制御部は、前記作業の対象であることが判定した場合に、前記表示部に前記作業の項目を表示させる
    ことを特徴とする作業支援装置。
12. 機器に付された文字列を含む第１画像を撮影し、
    前記第１画像に含まれる前記文字列を認識し、前記文字列に基づいて前記機器が作業の対象であるかどうかを判定して、前記作業の対象である場合に第２画像の撮影を指示し、
    前記指示に基づいて、前記文字列に向けられている前記第１画像を撮影した第１カメラを含む第２画像を撮影し、
    前記第２画像に基づく機器認識画像を表示する、作業支援方法。

Images