JP2017162103A - 点検作業支援システム、点検作業支援方法、点検作業支援プログラム - Google Patents

Abstract

【課題】点検作業者の負担を軽減することができる点検作業支援システム、点検作業支援方法、点検作業支援プログラムを提供することである。【解決手段】実施形態の点検作業支援システムは、表示手段と、指示箇所検出手段と、撮像手段と、記憶手段と、キャプチャ手段とを持つ。表示手段は、点検すべき箇所を含む過去作業動画を表示する。指示箇所検出手段は、前記過去作業動画を再生している状態で、操作者によって指示された箇所を検出する。撮像手段は、前記指示箇所検出手段により検出された箇所を含む空間を撮像する。記憶手段は、前記撮像手段により撮像した撮像画像を記憶する。キャプチャ手段は、前記指示箇所検出手段により検出されたタイミングを基準として、前記表示手段により表示された前記過去作業動画をキャプチャし、前記キャプチャされたキャプチャ画像と前記撮像手段によって撮像された撮像画像とを対応付けて前記記憶手段に記憶させる。【選択図】図２

Description

本発明の実施形態は、点検作業支援システム、点検作業支援方法、点検作業支援プログラムに関する。

従来、工場等の施設に設置された機器の動作点検等、対象物（機器）が正常に動作するかを作業者が確認する場合に、作業者に確認箇所や作業内容を送信して、作業支援を行うシステムが存在する。しかしながら、事前準備として確認箇所や作業内容をまとめたり、作業を実施したことの証明（エビデンス）を記憶装置等に記憶させる作業が必要となるため、手間を要する場合があった。

特開２００８−２２５９１３号公報 特開２０１２−７９８５号公報

本発明が解決しようとする課題は、点検作業者の負担を軽減することができる点検作業支援システム、点検作業支援方法、点検作業支援プログラムを提供することである。

実施形態の点検作業支援システムは、表示手段と、指示箇所検出手段と、撮像手段と、記憶手段と、キャプチャ手段とを持つ。表示手段は、点検すべき箇所を含む過去作業動画を表示する。指示箇所検出手段は、前記表示手段によって前記過去作業動画を再生している状態で、操作者によって指示された箇所を検出する。撮像手段は、前記指示箇所検出手段により検出された箇所を含む空間を撮像する。記憶手段は、前記撮像手段により撮像した撮像画像を記憶する。キャプチャ手段は、前記指示箇所検出手段により検出されたタイミングを基準として、前記表示手段により表示された前記過去作業動画をキャプチャし、前記キャプチャされたキャプチャ画像と前記撮像手段によって撮像された撮像画像とを対応付けて前記記憶手段に記憶させる。

実施形態における点検作業支援システム１の概略図。 点検作業支援システム１の機能構成例を示す図。 本実施形態において作業者が見る内容の一例を示す図。 作業者により指示された指示箇所の検出例を説明するための図。 位置補正および注目領域の抽出例を示す図。 過去作業動画３８２の一例を示す図。 作業エビデンス３８４の一例を示す図。 点検作業支援システム１のハードウェア構成例を示す図。 点検作業支援処理の一例を示すフローチャート。 再生を再開する旨の表示例を示す図。 類似判定処理の第１の実施例を示す図。 類似判定処理の第２の実施例を示す図。 本実施形態における点検作業の他の適用例を示す図。 点検作業支援システムがタブレット端末である場合の一例を示す図。

以下、実施形態の点検作業支援システム、点検作業支援方法、点検作業支援プログラムを、図面を参照して説明する。

図１は、実施形態における点検作業支援システム１の概略図である。図１に示す点検作業支援システム１は、表示部（表示手段）１００と、カメラ（撮像手段）２００と、情報処理装置３００とを備える。表示部１００と、カメラ２００と、情報処理装置３００とは、有線又は無線によって通信可能となっている。なお、図１に示す点検作業支援システム１は、情報処理装置３００内に表示部１００およびカメラ２００の一方または双方を備えてもよい。図１に示す点検作業支援システム１は、例えば眼鏡型ウェアラブル端末であるが、これに限定されるものではなく、帽子型のウェアラブル端末でもよく、またタブレット端末等でもよい。

表示部１００は、情報処理装置３００からの制御により、これから実施する点検作業に対応する過去作業動画を表示する。過去作業動画は、過去の点検作業の様子を撮像した動画であり、少なくとも点検すべき箇所を含む動画である。過去作業動画は、点検作業の内容ごとに複数存在してよい。過去作業動画は、情報処理装置３００内の記憶部に記憶され、作業者等により選択された所定の過去作業動画が再生されてよい。また、過去作業動画は、過去作業動画が必要な時点で、ＬＡＮ（Local Area Network）やインターネット等の通信ネットワークにより接続される外部装置（例えば、図１に示す管理サーバ４００）等から目的の過去作業動画をダウンロードすることで、表示部１００により表示されてもよい。

例えば、表示部１００は、例えば透過型のディスプレイ装置である。作業者は、表示部１００に表示された動画（例えば、図１に示す過去作業動画１１０）を、眼鏡型ウェアラブル端末を装着した状態で確認することができるとともに、表示部１００を透過して実空間上の物体（例えば、点検対象物）等を視認することができる。表示部１００は、例えばレンズ部分にハーフミラー等を利用することにより虚像を形成することで、動画を視認可能に表示させることができる。なお、表示部１００は、サムネイル表示のような小さい画面サイズに過去作業動画を表示させてもよく、また作業者の片目側のレンズに対して過去作業動画を表示させてもよい。

カメラ２００は、眼鏡フレームの側部又は上部に設置される。カメラ２００は、情報処理装置３００からの制御により、所定のタイミングで所定の画角の画像（静止画）または動画を撮像する。なお、カメラ２００は、図１に示すように、表示部１００の側部に設置しているため、眼鏡型ウェアラブル端末を装着した作業者が見る視界に近い画角の画像を取得することができる。カメラ２００は、例えばデジタルカメラ等であるが、これに限定されるものではない。

情報処理装置３００は、表示部１００に上述した過去作業動画を表示させる。また、情報処理装置３００は、カメラ２００から入力されたスルー画像から眼鏡型ウェアラブル端末を装着する点検作業者（操作者）によって操作された位置指定装置（例えば、レーザポインタ）等により示された指示箇所（注目点）を検出する。ここで、レーザポインタを使用した場合、指示箇所は、所定の波長の色で指示される。そのため、情報処理装置３００は、所定の波長の色を有する画素が予め定められた画素数、集まっている箇所を指示箇所として検出する。なお、情報処理装置３００は、上述した画素の集まりからなる形状が所定の形状（例えば、丸型、星形）である場合に、指示箇所として検出してもよい。また、情報処理装置３００は、指示箇所が所定時間停止している場合に、その箇所を含む空間をカメラ２００により撮像する。以下、このように撮像された画像を、撮像画像と称する。

また、情報処理装置３００は、指示箇所が検出されたことを基準として、表示部１００に表示された過去作業動画を画面キャプチャ（スクリーンショット）し、キャプチャ画像に含まれる点検すべき箇所の画像と、カメラ２００によって撮像された撮像画像とを対応付けて情報処理装置３００の記憶手段に記憶させる。図１に示す眼鏡型ウェアラブル端末には、表示部１００、カメラ２００、および情報処理装置３００が搭載されているが、これに限定されるものではなく、例えば情報処理装置３００は、有線または無線により表示部１００およびカメラ２００と接続可能な範囲で別体として設けられていてもよい。

以下、点検作業支援システム１の機能構成例について、図を用いて説明する。図２は、点検作業支援システム１の機能構成例を示す図である。図２に示す点検作業支援システム１は、上述したように表示部１００と、カメラ２００と、情報処理装置３００とを有する。また、情報処理装置３００は、通信部３１０と、動画処理部３２０と、撮像制御部３３０と、指示箇所検出部（指示箇所検出手段）３４０と、画像処理部（キャプチャ手段）３５０と、類似度算出部（類似度算出手段）３６０と、判定部（判定手段）３７０と、記憶部（記憶手段）３８０とを備える。また、記憶部３８０は、例えば過去作業動画３８２と、作業エビデンス３８４とを有する。上述した点検作業支援システム１の各構成のうち一部または全部は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサがプログラムメモリに格納されたプログラムを実行することで機能するソフトウェア機能部である。また、これらの機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアによって実現されてもよい。

表示部１００は、情報処理装置３００からの制御信号に基づいて、所定の情報を表示したり、表示の終了を行う。カメラ２００は、情報処理装置３００からの制御信号に基づいて、カメラ２００により所定の画角（例えば、眼鏡型ウェアラブル端末を装着した作業者が表示部１００の光学系（レンズ）を介して見える視界）の空間を撮像する。また、カメラ２００は、撮像した画像または動画（スルー画像等）を情報処理装置３００に送信する。

情報処理装置３００において、通信部３１０は、通信ネットワークを介して上述した管理サーバ４００等の外部装置等と接続し、過去作業動画をダウンロードしたり、作業者が点検作業を実施した証拠情報（作業エビデンス）を上述した管理サーバ４００等に送信することができる。なお、通信部３１０は、例えば例えばＮＩＣ（Network Interface Card）等の通信インターフェースであるが、これに限定されるものではない。

動画処理部３２０は、記憶部３８０に記憶された過去作業動画３８２のうち、これから点検作業を行う内容と同様の作業が実施された過去作業動画を取得し、取得した過去作業動画を再生して表示部１００に表示させる。図３は、本実施形態において作業者が見る内容の一例を示す図である。図３の例では、作業者が図１の示すような眼鏡型ウェアラブル端末を装着したときに、表示部１００を介して見える内容を示している。図３の例では、眼鏡の光学系（レンズ）から見える視野範囲（視界）５００において、表示部１００上の表示される過去作業動画５１０と、実空間上の点検対象物５２０とが示されている。つまり、点検作業支援システム１を装着した作業者は、外界が視認可能であるとともに、過去作業動画５１０を視認することができる。

作業者は、再生中の過去作業動画５１０を閲覧しながら、点検対象物５２０上にある点検対象部分（コントロールパネル）５２２等に対して同様の作業を行うことができる。例えば、過去作業動画５１０としてベテラン作業者による適切な作業内容の動画（正解動画）を再生することで、実際の作業者が新人のような不慣れな作業者である場合は、不慣れな作業者であっても、過去作業動画５１０を見ながら適切な点検作業を実施することができる。

なお、過去作業動画５１０を表示する際、動画処理部３２０は、記憶部３８０に記憶された過去作業動画３８２の一覧リストを表示部１００に表示させ、作業者からの選択を受け付けることで、目的の過去作業動画５１０を表示部１００に表示してもよい。また、動画処理部３２０は、記憶部３８０内から、目的の過去作業動画３８２を検索する検索機能を設けたり、記憶部３８０に目的の過去作業動画がない場合に、通信ネットワークを介して管理サーバ４００に問い合わせを行い、管理サーバ４００から目的の過去作業動画を取得してもよい。動画処理部３２０は、管理サーバ４００から取得した過去作業動画は、記憶部３８０に記憶し、そこから読み出してもよい。また、動画処理部３２０は、作業者からの操作により、表示部１００に表示される動画に対して、再生、停止、巻き戻し、および早送りのうち少なくとも１つが実行されるように制御してもよい。

撮像制御部３３０は、カメラ２００により所定の画角（撮像範囲内）の動画を撮像する。また、撮像制御部３３０は、指示箇所検出部３４０により位置情報が入力された（指示箇所が検出された）タイミングを基準として、指示箇所検出部３４０により検出された箇所を含む空間を撮像し、撮像画像を画像処理部３５０に出力する。

指示箇所検出部３４０は、カメラ２００により撮像された撮像範囲内での指示箇所の有無と、その位置情報を検出する。指示箇所は、例えば点検作業を行う作業者により、作業エビデンスとして記憶部３８０等に記憶させたい対象部分に位置付けられる。

図４は、作業者により指示された指示箇所の検出例を説明するための図である。図４の例において、作業者Ｐは、点検作業支援システム１である眼鏡型ウェアラブル端末を装着している。作業者Ｐは、実空間上にある点検対象物５２０の点検対象部分５２２を点検した場合に、その作業エビデンス（作業を実施したことの証拠）を記憶するため、レーザポインタ（位置指定装置）５３０により点検作業を行った対象部分をレーザ照射する。作業者がレーザポインタ５３０等を用いて対象部分をレーザ照射した場合、カメラ２００で撮影しているスルー画像には、レーザ照射点（指示箇所）５３２を含むことになる。そこで、指示箇所検出部３４０は、カメラ２００により入力されるスルー画像において、指示箇所（レーザ照射点）５３２を検出する。なお、指示箇所は、レーザポインタ５３０によるレーザ照射点に限定されるものではなく、例えば撮像動画内における指の位置を検出し、検出した指の先端部を指示箇所５３２としてもよい。また、予め設定された指示棒の先端形状を検出し、検出した先端形状の位置を指示箇所５３２としてもよい。

また、指示箇所検出部３４０は、検出した指示箇所を追跡し、指示箇所５３２が所定時間（例えば、２〜５秒程度）以上停止しているか否かを判定する。ここで、停止とは、例えば所定時間（例えば、０．５〜１秒程度）ごとの指示箇所５３２の移動量が、所定距離以内であることを示す。

指示箇所５３２が、所定時間以上停止している場合、指示箇所検出部３４０は、指示箇所５３２の位置情報を取得するとともに、検出した指示箇所５３２の位置情報を撮像制御部３３０に出力する。指示箇所５３２の位置情報とは、例えばカメラ２００で撮像した撮像画像における位置座標（Ｘ，Ｙ）であるが、これに限定されるものではない。

画像処理部３５０は、指示箇所検出部３４０により検出された指示箇所５３２の位置情報に基づいて、カメラ２００からの撮像画像と、過去作業動画の画面キャプチャとを取得する。画面キャプチャは、例えば指示箇所検出部３４０から撮像制御部３３０に位置情報が入力されたタイミング（指示箇所検出部３４０が位置情報を検出したタイミング）を基準として、表示部１００に表示している再生中の動画を停止させるとともに、停止した動画を画面キャプチャしキャプチャ画像を取得する。なお、キャプチャ画像としては、例えば指示箇所検出部３４０により検出されたタイミング等を基準として所定時間前（例えば、２〜３秒）前に表示されていた動画を画面キャプチャしてもよく、上記のタイミングを基準として再生時刻の異なる複数のキャプチャ画像を取得してもよい。画像処理部３５０は、キャプチャされたキャプチャ画像と撮像画像とを対応付けて作業エビデンス３８４として記憶させる。

また、画像処理部３５０は、カメラ２００で撮像された撮像画像と、キャプチャ画像とを、指示箇所５３２の位置情報に基づいて位置補正を行い、画像に含まれる点検すべき箇所を含む注目領域を抽出する。図５は、位置補正および注目領域の抽出例を示す図である。図５の例において、画像処理部３５０は、過去作業動画のキャプチャ画像６００と、撮像画像６１０と、指示箇所の位置情報とを取得する。キャプチャ画像６００と、撮像画像６１０とは、画像の左上等を基準に（ｘ，ｙ）座標系が設定されている。

また、類似度算出部３６０は、記憶部３８０に記憶されたキャプチャ画像と撮像画像との類似度を算出する。例えば、類似度算出部３６０は、キャプチャ画像６００と、撮像画像６１０とのそれぞれの特徴情報を取得する。特徴情報とは、例えば画像に含まれる形状情報やエッジ情報、色情報等である。類似度算出部３６０は、取得したそれぞれの特徴情報を比較し、撮像画像６１０の特徴情報が、キャプチャ画像６００の特徴情報に合うように、撮像画像６１０に対して回転、拡大、縮小等の位置補正を行い、補正撮像画像６１２を生成する。なお、上述した位置補正に伴い、指示箇所の位置情報（Ｘ，Ｙ）も補正される（補正位置情報（Ｘ’，Ｙ’））。なお、上述の例では、撮像画像６１０に対して回転、拡大、縮小による位置補正を行ったが、これに限定されるものではなく、キャプチャ画像６００に対して回転、拡大、縮小等による位置補正を行って、撮像画像６１０に合わせてもよく、キャプチャ画像６００および撮像画像６１０の両方に対して回転、拡大、縮小等の位置補正を行ってもよい。

また、類似度算出部３６０は、キャプチャ画像６００および補正撮像画像６１２に対し、補正位置情報（Ｘ’，Ｙ’）を基準（例えば、中心）にして、所定の注目領域（図５に示す注目領域６２０−１、６２０−２）を抽出する。注目領域は、矩形でもよく、円形等でもよい。画像処理部３５０は、注目領域６２０−１の情報を含むキャプチャ画像６００、および、注目領域６２０−２を含む補正撮像画像６１２を類似度算出部３６０に出力する。

類似度算出部３６０は、上述した注目領域６２０−１と、注目領域６２０−２とを比較し、領域内における類似度を算出する。類似度の算出手法としては、例えばＯＣＲ（Optical Character Recognition）等により、それぞれの注目領域６２０−１、６２０−２内に対して文字認識等を行い、文字認識により認識された文字を比較して、類似度（例えば「合致した文字数／全体の文字数」等）により類似度を算出する。また、類似度算出部３６０は、それぞれの領域画像内における特徴情報（例えば、モニタやボタン等の形状情報、色情報）等を取得し、取得した特徴情報等を比較して、その合致度等により類似度を算出してもよい。また、類似度算出部３６０は、文字認識および特徴情報とから対象の文字認識を行ってもよい。

判定部３７０は、類似度算出部３６０から得られる類似度が所定値以上の場合に、実施した作業が、過去動画作業の内容と同一であると判定し、類似度が所定値より小さい場合は、実施した作業が過去作業動画の内容と同一ではない（異なっている）と判定する。また、判定部３７０は、作業エビデンス３８４として記憶されたキャプチャ画像と撮像画像との組の全てについて、類似度が基準よりも高い場合に、点検作業が過去作業動画の内容と同一であったと判定してもよい。また、例えば、バージョンアップや仕様変更、システム改定等により、新システムが設計した通りに変更されているか（例えば、旧システムと新システムとが設計した通りに異なっているか否か）を点検する場合もある。この場合、「同一でない」ことが正解となるが、その判断は作業者等が行う。判定部３７０は、キャプチャ画像および撮像画像の組に対応する判定の結果を、そのキャプチャ画像および撮像画像の組に対応付けて作業エビデンス３８４として記憶させる。上述した判定部３７０による自動チェックにより、例えば目視点検等における作業者の見逃しを防止することができる。

判定部３７０は、注目領域６２０−１の情報を含むキャプチャ画像６００と注目領域６２０−２を含む補正撮像画像６１２とを対応付けて、作業エビデンス３８４として記憶部３８０に記憶させる。作業エビデンス３８４としては、上述したキャプチャ画像６００と撮像画像６１０とを対応付けた情報でもよく、さらに判定部３７０による判定結果を対応付けた情報であってもよい。作業エビデンス３８４の情報は、表示部１００に表示されてもよく、通信部３１０を介して管理サーバ４００に送信されてもよい。これにより、例えば作業者または管理サーバ４００の管理者等は、作業エビデンス３８４の情報を参照して、作業内容を把握することができる。

図６は、過去作業動画３８２の一例を示す図である。図６に示す過去作業動画３８２の項目としては、例えば「過去作業動画識別情報」、「作業内容」、および「過去作業動画ファイル名」等である。「過去作業動画識別情報」は、過去の点検作業の内容を撮像した過去作業動画を識別するための情報である。「作業内容」は、過去作業動画３８２に対する作業内容を示す情報である。「作業内容」としては、例えば指差し確認等の目視による点検作業や、製品の保守作業、製品の品質チェック等であるが、これに限定されるものではない。この「作業内容」の項目は、例えば過去作業動画３８２の一覧リストを表示する場合、または目的の過去作業動画を検索する場合等に用いられる。また、「過去作業動画ファイル」は、過去作業動画が記録された動画ファイルである。

図７は、作業エビデンス３８４の一例を示す図である。図７に示す作業エビデンス３８４の一例としては、例えば、「作業番号」、「キャプチャ画像」、「撮像画像」、および「判定結果」等である。「作業番号」は、点検作業を識別するための情報である。例えば１つの過去作業動画の中には複数の点検作業が含まれる場合もあるため、過去作業動画ごとに識別可能な作業番号を設定してもよい。「キャプチャ画像」は、過去作業動画に対するキャプチャ画像６００の画像ファイルである。「撮像画像」は、上述した補正撮像画像６１２の画像ファイルである。記憶されるキャプチャ画像６００および補正撮像画像６１２のそれぞれには、上述した注目領域６２０−１，６２０−２の情報を含んでいてもよい。「判定結果」には、類似度算出部３６０によるキャプチャ画像６００の注目領域６２０−１と、補正撮像画像６１２の注目領域６２０−２との判定結果が格納される。「判定結果」としては、点検作業の内容が「同一である／同一でない」、「ＯＫ／ＮＧ」等のように、作業者または管理者等が作業エビデンス３８４を参照した場合に判定結果が判断しやすい記載をしていることが好ましいが、これに限定されるものではなく、例えば「１」、「０」のように判定結果が区別できる情報が記憶されていればよい。

なお、作業エビデンス３８４として、キャプチャ画像と撮像画像との組の全てに対する判定結果から、総合的に点検作業が過去作業動画の内容と同一であったか否かを判定した結果を含んでいてもよい。また、作業エビデンス３８４には、作業番号ごとに作業を実施した日時情報を格納してもよい。日時情報を格納することで、作業者が点検作業を実施した時刻も合わせて管理することができる。なお、記憶部３８０に記憶される情報としては、これに限定されるものではなく、例えば処理経過やエラー情報等を示すログ情報等でもよく、また外部装置（例えば、管理サーバ４００）にアクセスするためのアドレス情報（例えば、ＩＰアドレス）でもよい。

以下、点検作業支援システム１のハードウェア構成例について図を用いて説明する。図８は、点検作業支援システム１のハードウェア構成例を示す図である。図８の例において、点検作業支援システム１は、入力装置７００と、表示装置７０２と、撮像装置７０４と、モーションセンサ７０６と、通信装置７０８と、ＣＰＵ７１０と、メモリ７１２と、内部電源７１４とを有する。

入力装置７００は、例えば、ボタン、スイッチ、ダイヤル、タッチセンサ等であり、作業者の操作によりＣＰＵ７１０に対する命令や、表示装置７０２に表示する過去作業動画の選択または検索に関する情報を入力することができる。また、入力装置７００は、マイク等の音声入力デバイスであってもよい。

表示装置７０２は、ＬＣＤ（Liquid Crystal Display、液晶表示素子）と光学系（レンズ）等とからなり、ＬＣＤ部分で過去作業動画を再生して作業者に提示する。したがって、表示装置７０２は、作業者に外界を視認させつつ、ＬＣＤによって過去作業動画を閲覧させることができる。表示装置７０２は、例えば上述した表示部１００に相当する。

撮像装置７０４は、実空間の少なくとも作業者の視野範囲を撮像可能であり、その視野範囲には、点検すべき箇所を含む。撮像装置７０４は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子と、撮像素子の出力をＡ／Ｄ（Analog/Digital）変換するＡ／Ｄコンバータ等を備える。撮像装置７０４は、例えば上述したカメラ２００に相当する。

モーションセンサ７０６は、例えば加速度センサ、ジャイロセンサ、または磁気センサ等であり、点検作業支援システム１の移動、向き（姿勢）等を検出する。通信装置７０８は、インターネットやＬＡＮ等にネットワークに接続して管理サーバ４００や他の外部装置と接続してデータの送受信を行う。通信装置７０８は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ等の近距離無線を用いるが、これに限定されるものではない。通信装置７０８は、例えば上述した通信部３１０に相当する。

ＣＰＵ７１０は、メモリ７１２に格納されたプログラム等にしたがって、各種処理を実行する。メモリ７１２は、本実施形態において利用される各種情報を記憶する。メモリ７１２は、例えばＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等によって実現される。

内部電源７１４は、点検作業支援システム１の各装置に電力を供給する。内部電源７１４としては、例えばリチウムイオン電池等の二次電池等があるが、これに限定されるものではない。図７に示すように、点検作業支援システム１のコンピュータに対して、上述したハードウェア機能部と、プログラム等からなるソフトウェアとを協働させて、本実施形態における点検作業支援処理等の各種処理を実現させることができる。

以下、本実施形態における点検作業支援処理について、フローチャートを用いて説明する。図９は、点検作業支援処理の一例を示すフローチャートである。図９の例において、動画処理部３２０は、予め設定または作業者により選択された過去作業動画を再生し、表示部１００に表示する（ステップＳ１００）。

次に、撮像制御部３３０は、カメラ２００から点検すべき箇所を含む撮像動画（スルー画像）を取得する（ステップＳ１０２）。次に、指示箇所検出部３４０は、撮像動画からレーザポインタ等により指示された指示箇所を検出したか否かを判定する（ステップＳ１０４）。撮像動画から指示箇所を検出した場合、指示箇所検出部３４０は、検出したタイミングを基準としてカウントを開始し、指示箇所が所定時間（例えば、２〜５秒）以上停止しているか否かを判定する（ステップＳ１０６）。指示箇所が所定時間以上停止している場合、動画処理部３２０は、再生中の過去作業動画を停止し（ステップＳ１０８）、停止した過去作業動画を表示している表示部１００の画面をキャプチャして、キャプチャ画像を取得する（ステップＳ１１０）。

次に、画像処理部３５０は、撮像画像を取得する（ステップＳ１１２）。また、画像処理部３５０は、指示箇所検出部３４０から指示箇所の位置情報を取得する（ステップＳ１１４）。次に、類似度算出部３６０は、キャプチャ画像に対応させて撮像画像の位置補正を行う（ステップＳ１１６）。次に、類似度算出部３６０および判定部３７０は、キャプチャ画像と、位置補正後の補正撮像画像とで類似判定処理を行う（ステップＳ１１８）。なお、類似判定処理の詳細については、後述する。

次に、判定部３７０は、作業エビデンス３８４として、キャプチャ画像と、補正撮像画像と、判定結果とを対応付けて記憶部３８０に記憶する（ステップＳ１２０）。ここで、過去作業動画の再生が終了か否かを判定する（ステップＳ１２２）。過去作業動画の再生が終了していない場合、画像処理部３５０は、表示部１００に対して停止中の過去作業動画の再生を再開する旨の表示を行う（ステップＳ１２４）。また、動画処理部３２０は、停止中の過去作業動画を続きから再生（再開）し（ステップＳ１２６）、ステップＳ１０４の処理に戻る。また、過去作業動画の再生が終了した場合、本フローチャートを終了する。

図１０は、再生を再開する旨の表示例を示す図である。図１０の例では、上述した図３と同様に、視野範囲（視界）８００において、表示部１００上の表示される過去作業動画５１０と、実空間上の点検対象物５２０とが示されている。つまり、点検作業支援システム１を装着した作業者は、外界が視認可能であるとともに、過去作業動画５１０を視認することができる。

また、図１０の例では、画像処理部３５０は、上述したステップＳ１２０の処理において、作業エビデンス３８４を記憶部３８０に記憶した後、メッセージ画面８１０に示すようなメッセージを表示し、停止中の過去作業動画５１０が再開する旨を作業者に通知する。図１０の例では、メッセージとして「作業エビデンスが記憶されました。動画の再生を再開します。」と表示されているが、表示内容については、これに限定されるものではない。メッセージ画面８１０を表示してから所定時間（例えば２〜３秒）後、メッセージ画面８１０が消え、過去作業動画５１０の再生が停止位置から再開される。これにより、作業者は、点検対象部分５２２に対して過去作業動画５１０に対応した次の点検作業を行うことができる。

図１１は、類似判定処理の第１の実施例を示す図である。図１１の例において、類似度算出部３６０は、指示箇所の位置情報に基づいて各画像（キャプチャ画像、補正撮像画像）の注目領域を抽出する（ステップＳ２００）。次に、類似度算出部３６０は、各画像の注目領域内の特徴情報を抽出する（ステップＳ２０２）。次に、類似度算出部３６０は、抽出された各画像の特徴情報に基づいて類似度を取得する（ステップＳ２０４）。次に、判定部３７０は、類似度が所定値以上か否かを判定する（ステップＳ２０６）。所定値以上である場合、判定部３７０は、点検作業が過去作業動画の内容と同一であると判定する（ステップＳ２０８）。また、所定値以上でない場合、判定部３７０は、点検作業が過去作業動画の内容と同一ではないと判定する（ステップＳ２１０）。

図１２は、類似判定処理の第２の実施例を示す図である。図１２の例において、類似度算出部３６０は、初期値設定として繰り返し回数＝０とする（ステップＳ３００）。次のステップＳ３０２〜ステップＳ３０６の処理は、上述した図１１に示すステップＳ２００〜ステップＳ２０４の処理と同様であるため、ここでの具体的な説明は省略する。

類似度算出部３６０は、ステップＳ３０６の処理をした後、類似度が第１の閾値（例えば、５０〜６０％）以上または繰り返し回数が所定値以上であるか否かを判定する（ステップＳ３０８）。類似度が第１の閾値以上ではなく、且つ繰り返し回数が所定値（例えば３回）以上ではない場合、類似度算出部３６０は、現在のキャプチャ画像に対応する動画から所定時間前に再生された動画を画面キャプチャし（ステップＳ３１０）、そのキャプチャ画像に対応させて撮像画像を位置補正する（ステップＳ３１２）。次に、類似度算出部３６０は、繰り返し回数に１を加算し（ステップＳ３１４）、ステップＳ３０２の処理に戻る。

つまり、第２の実施例では、キャプチャ画像および撮像画像の各注目領域の類似度判定において、第１の閾値以下の場合には、停止させた過去作業動画が少し先に進んでしまい、次の点検作業対象（次の場面）を表示している可能性があるため、その場合には、現在のキャプチャ画像よりも前に再生された過去作業動画の画面キャプチャを行うことで、撮像画像と同様の作業対象を表示させる可能性を高めることができる。上述の処理を所定回数繰り返しても類似度が第１の閾値以上にならない場合には、過去に遡ってキャプチャ画像を取得する処理を行わないようにすることで、繰り返し処理による遅延を一定の範囲内に抑えることができる。

ステップＳ３０８において、類似度が第１の閾値以上または繰り返し回数が所定値以上である場合、判定部３７０は、類似度が第２の閾値（例えば、８０％）以上であるか否かを判定する（ステップＳ３１６）。第２の閾値以上である場合、判定部３７０は、点検作業が過去作業動画の内容と同一であると判定する（ステップＳ３１８）。また、所定値以上でない場合、判定部３７０は、点検作業が過去作業動画の内容と同一ではないと判定する（ステップＳ３２０）。

なお、第２の実施例では、類似度が第１の閾値以上ではなく、且つ繰り返し回数が所定値以上ではない場合に、所定時間前に再生された過去作業動画を画面キャプチャしたが、これに限定されるものではない。例えば、類似度算出部３６０は、停止中の過去作業動画から所定時間ごとに遡った複数の画面キャプチャを取得し、取得した複数の画面キャプチャに対して、撮像画像との類似度を算出する。判定部３７０は、類似度算出部３６０により算出された類似度が所定値以上である場合に、点検作業が同一であると判定してもよい。

図１３は、本実施形態における点検作業の他の適用例を示す図である。図１３の例では、タブレット端末９２０内にインストールされたシステム（アプリケーションプログラム）のバージョンが変更された場合等に、ＵＩ（User Interface）画面の動作判定結果を、作業エビデンスとして記憶する例を示している。

その場合、図１３に示すように、作業者が点検作業支援システム１である眼鏡型ウェアラブル端末を装着したときに、表示部１００を介して見える視野範囲（視界）９００において、表示部１００上の表示される旧システムで実行された過去作業動画９１０と、実空間上の新システムがインストールされたタブレット端末９２０のＵＩ画面９３０とが示されている。

作業者は、再生中の過去作業動画９１０を参照しながら、タブレット端末９２０の画面に表示されたＵＩ画面９３０等に対して同様の作業を行い、旧システムと新システムとで異なっている箇所（部分）を見つけた場合に、その箇所を指９４０等で指差す動作を行う。これにより、点検作業支援システム１は、指９４０の所定時間以上の停止を検出して指示箇所である指先９４２の位置情報を検出する。その後は、点検作業支援システム１は、上述したキャプチャ画像と撮像画像との各注目領域の類似度を算出し、算出した類似度に基づく判定を行う。図１３の例では、異なっているべき箇所の作業点検において、判定部３７０は、判定結果を作業エビデンス３８４として記憶部３８０に記憶する。図１３の例によれば、新旧システムの動作等に差異があった場合のエビデンスを簡単に保存することができる。

ここで、上述した実施形態では、点検作業支援システム１が眼鏡型ウェアラブル端末である場合について説明したが、これに限定されるものではなく、点検作業支援システム１がタブレット端末やスマートフォン等であってもよい。

図１４は、点検作業支援システムがタブレット端末である場合の一例を示す図である。な、図１４に示す点検作業支援システム２は、上述した点検作業支援システム１と同様の機能構成及びハードウェア構成を適用することができるため、ここでの具体的な説明は省略する。図１４に示すように、点検作業支援システム２の表示部１００の画面上には、点検作業支援システム２に内蔵されたカメラ２００により撮像された実空間上の点検対象物１０１０が表示されており、その表示部１００の画面上には、過去作業動画１０２０が表示されている。作業者は、再生される過去作業動画１０２０を参照しながら、指１０３０等で点検対象物１０１０を操作することができ、結果を作業エビデンス３８４として記憶することができる。

以上説明した少なくともひとつの実施形態によれば、点検作業支援システムは、点検すべき箇所を含む過去作業動画を表示する表示手段と、前記表示手段によって前記過去作業動画を再生している状態で、操作者によって指示された箇所を検出する指示箇所検出手段と、前記指示箇所検出手段により検出された箇所を含む空間を撮像する撮像手段と、前記撮像手段により撮像した撮像画像を記憶する記憶手段と、前記指示箇所検出手段により検出されたタイミングを基準として、前記表示手段により表示された前記過去作業動画をキャプチャし、前記キャプチャされたキャプチャ画像と前記撮像手段によって撮像された撮像画像とを対応付けて前記記憶手段に記憶させるキャプチャ手段と、を備えることにより、点検作業者の負担を軽減することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１、２…点検作業支援システム、１００…表示部、２００…カメラ、３００…情報処理装置、３１０…通信部、３２０…動画処理部、３３０…撮像制御部、３４０…指示箇所検出部、３５０…画像処理部、３６０…類似度算出部、３７０…判定部、３８０…記憶部、４００…管理サーバ

Claims (8)

1. 点検すべき箇所を含む過去作業動画を表示する表示手段と、
   前記表示手段によって前記過去作業動画を再生している状態で、操作者によって指示された箇所を検出する指示箇所検出手段と、
   前記指示箇所検出手段により検出された箇所を含む空間を撮像する撮像手段と、
   前記撮像手段により撮像した撮像画像を記憶する記憶手段と、
   前記指示箇所検出手段により検出されたタイミングを基準として、前記表示手段により表示された前記過去作業動画をキャプチャし、前記キャプチャされたキャプチャ画像と前記撮像手段によって撮像された撮像画像とを対応付けて前記記憶手段に記憶させるキャプチャ手段と、
   を備える点検作業支援システム。
2. 前記記憶手段に記憶された前記キャプチャ画像と前記撮像画像との類似度を算出する類似度算出手段と、
   前記類似度算出手段によって算出された類似度に基づいて点検作業が前記過去作業動画の内容と同一か否かを判定する判定手段と、
   をさらに備える請求項１に記載の点検作業支援システム。
3. 前記判定手段は、
   前記キャプチャ画像と前記撮像画像との組の全てについて、類似度が基準よりも高い場合に、点検作業が前記過去作業動画の内容と同一であったと判定する、
   請求項２に記載の点検作業支援システム。
4. 前記判定手段は、
   前記キャプチャ画像および前記撮像画像の組に対応する判定の結果を、前記キャプチャ画像および前記撮像画像の組に対応付けて前記記憶手段に記憶させる、
   請求項２または３に記載の点検作業支援システム。
5. 前記類似度算出手段は、
   前記算出した類似度が閾値以下である場合に、前記キャプチャ画像がキャプチャされたタイミングよりも所定時間前に再生された前記過去作業動画からキャプチャした画像を用いて前記類似度の算出を行う、
   請求項２乃至４の何れか１項に記載の点検作業支援システム。
6. 前記表示手段および前記撮像手段は、眼鏡型ウェアラブル端末に搭載されている、
   請求項１乃至５の何れか１項に記載の点検作業支援システム。
7. 点検作業支援システムのコンピュータが、
   点検すべき箇所を含む過去作業動画を表示する表示手段によって前記過去作業動画が再生された状態で、操作者によって指示された箇所を検出し、
   検出された箇所を含む空間を撮像手段によって撮像させ、
   前記操作者によって指示された箇所を検出したタイミングを基準として、前記表示手段により表示された前記過去作業動画をキャプチャし、前記キャプチャされたキャプチャ画像と前記撮像手段によって撮像された撮像画像とを対応付けて記憶手段に記憶させる、
   点検作業支援方法。
8. 点検作業支援システムのコンピュータに、
   点検すべき箇所を含む過去作業動画を表示する表示手段によって前記過去作業動画が再生された状態で、操作者によって指示された箇所を検出し、
   検出された箇所を含む空間を撮像手段によって撮像させ、
   前記操作者によって指示された箇所を検出したタイミングを基準として、前記表示手段により表示された前記過去作業動画をキャプチャし、前記キャプチャされたキャプチャ画像と前記撮像手段によって撮像された撮像画像とを対応付けて記憶手段に記憶させる、
   処理を実行させるための点検作業支援プログラム。

Images