JP2017211746A - 点検作業支援装置及び点検作業支援方法 - Google Patents

Abstract

【課題】 点検作業者の前方視界を撮像したカメラ画像から点検作業者が意識的に指差し点検したかを判断した結果を生成する点検作業支援装置を提供する。【解決手段】 点検作業者の前方視界を撮像したカメラ画像から、点検作業者の指先の座標を検出する指先検出部２０１と、カメラ画像と予め設定された点検対象物情報とからカメラ画像に含まれる点検対象物を認識し、認識された点検対象物の座標を取得する点検対象物認識部２０２と、指先検出部で検出した指先の座標と点検対象物認識部で取得した点検対象物の座標との位置関係から、点検作業者が前記点検対象物を指差ししているかを判定する指示状態判定部２０４と、指示状態判定部の判定結果から点検作業者が点検対象物を指差確認したかを判定する指差確認判定部２０５とを備えることを特徴とするものである。【選択図】 図１

Description

この発明は、点検作業者の前方視界を撮像したカメラ画像を用いて、点検作業を支援する、点検作業支援装置及び点検作業支援方法に関する。

工場や商業施設の設備などの点検作業において、従来では、点検作業者が点検表を持って現場に行き、対象機器の前で点検を実施した上で、点検結果を点検表に記入していた。また、点検結果を点検履歴や点検を実施した証拠として残すため、その点検結果をパソコンに打ち込むなどしていた。

このため、点検結果の記録にかかる作業が煩雑であるという問題点があった。そこで点検作業者の前方視界を撮像したカメラ画像を用いて、点検作業を支援する方法がある。例えば、カメラ画像から点検作業者の動作を認識し、点検した対象機器や、その機器に対する点検結果を認識する方法である。

このような方法であれば、点検作業者の手が汚れている場合にも、筆記具を持つ必要はなく点検作業時間の短縮が見込める。また、点検結果はディジタルデータのため、そのまま自動的に記録媒体またはサーバーに記録することができるので、煩雑さが軽減できる。

ここで、点検作業者の前方視界を撮像したカメラ画像から指差し確認をした対象物を認識するのに用いる技術として、ユーザーの前方視界に設けたハーフミラーで反射された画像を撮像し、撮像した画像から指先の位置や指の角度などを画像処理によって認識することで、点検作業者が機器のどの対象を指差しているかを認識する方法があった（例えば、特許文献１参照）。

特開２０００−１４８３８１号公報（第６−１２頁、第４図）

しかしながら、特許文献１の方法では、点検作業者が点検する意図をもってその対象を指差しているのか、偶然その対象に指が向いているのかを区別できないため、意識的に点検を行ったかを判別することができないため、正しい点検作業支援は実現できないという問題があった。

この発明は、上述のような課題を解決するためになされたもので、対象に対して意識的に点検しようとしているかを判別する点検作業支援装置を提供することを目的とする。

この発明に係る点検作業支援装置においては、点検作業者の前方視界を撮像したカメラ画像から、前記点検作業者の指先の座標を検出する指先検出部と、前記カメラ画像と予め設定された点検対象物情報とから前記カメラ画像に含まれる点検対象物を認識し、認識された前記点検対象物の座標を取得する点検対象物認識部と、前記指先検出部で検出した前記指先の座標と前記点検対象物認識部で取得した前記点検対象物の座標との位置関係から、前記点検作業者が前記点検対象物を指差ししているかを判定する指示状態判定部と、前記指示状態判定部の判定結果から前記点検作業者が前記点検対象物を指差確認したかを判定する指差確認判定部とを備えることを特徴とするものである。

この発明は、点検作業者の指先の座標と点検対象物の座標との位置関係から、点検作業者が点検対象物を指差ししているかを判定し、判定結果から点検作業者が点検対象物を指差確認したかを判定することにより、点検作業者が点検対象物に対して意識的に点検しようとしているかを判別することができるという効果を奏する。

実施の形態１にかかる点検作業支援装置の構成を概略的に示すブロック図である。 実施の形態１にかかるカメラで撮像したフレーム画像の一例である。 実施の形態１にかかる点検作業支援装置における処理を表すフローチャートである。 実施の形態２にかかる点検作業支援装置の構成を概略的に示すブロック図である。 実施の形態３にかかる点検作業支援装置の構成を概略的に示すブロック図である。 点検結果記憶部に記憶される点検結果の一例を示す図である。 実施の形態４にかかる点検作業支援装置の構成を概略的に示すブロック図である。 実施の形態５にかかる点検作業支援装置の構成を概略的に示すブロック図である。 点検手順データの一例を示す図である。 実施の形態６にかかる点検作業支援装置の構成を概略的に示すブロック図である。 実施の形態６にかかる点検作業支援装置の構成の変形例を概略的に示すブロック図である。 実施の形態７にかかる点検作業支援装置の構成を概略的に示すブロック図である。 実施の形態８にかかる点検作業支援装置の構成を概略的に示すブロック図である。

実施の形態１．
図１は、本実施の形態にかかる点検作業支援装置２１の構成を概略的に示すブロック図である。点検作業支援装置２１は、指先検出部２０１と、点検対象物認識部２０２と、点検対象物情報記憶部２０３と、指示状態判定部２０４と、指差確認判定部２０５とを備える。また、カメラ１０からの画像を入力する。点検作業支援装置２１自体が、カメラ１０を含む構成であっても構わない。

カメラ１０は、撮像領域が点検作業者の前方視界を含む領域となるように設けられ、画像を撮像し、その画像の画像データを生成する。例えば、ウェアラブルカメラのように点検作業者が着用するヘルメットや眼鏡、もしくは衣服に設けることで撮像領域が点検作業者の前方視界を含む領域となるように設けることができる。

また、カメラ１０は、光学レンズ、光学フィルタ、イメージセンサ、及び必要であればイメージセンサを制御するプロセッサからなり、時間的に連続したデジタル画像の画像データ（以下、その１つ分をフレーム画像という）を生成し、出力する。カメラ１０から供給されるフレーム画像は、カラーであっても、モノクロであってもよい。カラーの場合のカラー情報は、ＲＧＢでも、ＹＣｂＣｒでも、ＨＳＶ等でもよい。点検作業支援装置２１へは有線で接続しても、カメラ１０側及び点検作業支援装置２１側にそれぞれ無線通信部を設けて無線通信によってデータ伝送可能な接続をしても構わない。また、赤外線や超音波などを利用して距離測定（測距ともいう）を行うことのできるカメラであってもよい。この場合のフレーム画像は、測距した値がフレーム画像を構成する各画素に格納される。

図２は、カメラ１０で撮像したフレーム画像の一例である。図２のように点検作業者が自らの目で捉えている様子と、ほぼ同じ様子をカメラ画像として取得できることが望ましい。以後、フレーム画像は点検作業者の前方視界が撮像されたものとして説明を進める。先述の測距可能なカメラを利用する場合も同様で、点検作業者の前方視界に存在する物との距離の値が各画素に格納されている。

指先検出部２０１は、カメラ１０からフレーム画像を受信する。また、受信したフレーム画像からフレーム画像に写った点検作業者の指先を検出し、検出した指先の座標情報を指示状態判定部２０４に出力する。

指先の検出方法の一例を説明する。なお、フレーム画像としてカラー情報が記録されたものを一例に説明する。まず、カメラ１０によって出力されたフレーム画像から、画像処理によって点検作業者の手領域とそれ以外の領域（背景領域と呼ぶ）とに分離する。この画像処理の方法としては、予め特定若しくは範囲指定された色、大きさなどの条件を考慮して、それらの条件に合致する画素を手領域か背景領域かを判別する。一例として、手袋などの装備を着用せずに点検作業を行える場合は、予め手領域と判定する肌の色を指定しておき、フレーム画像に特定若しくは範囲指定された肌の色と一致する場合には手領域と判定する。一般には、ＲＧＢではなくＨＳＶの色表現空間においてこのような処理が行われる。手袋などを着用する場合には、その色や模様などを手掛かりに、手領域か背景領域かを判別する。

次に、手領域と判断されたフレーム画像の各画素を基点として、周囲８方向に予め設定した長さｒの線分を伸ばし、それぞれの線分上における手領域の画素数を求め、求めた画素数と予め定められた閾値とを比較する。求めた画素数が閾値を上回る場合はその線分方向は手領域の内側方向であるとし、求めた画素数が閾値を下回る場合はその線分方向は手領域の外側方向であると推測する。この方法によれば、指先は手領域の先端であるため、８方向の線分のうち、１方向もしくは隣接する２方向が手領域の内側方向であり、それ以外が外側方向であると推測された場合に、当該基点となっている画素が指先であると検出できる。

指先検出部２０１は、指先であると検出した画素位置を座標情報Ｆｐ（Ｆｘ，Ｆｙ）とする。ここで、Ｆｘはフレーム画像における水平方向の座標位置であって、Ｆｙはフレーム画像における垂直方向の座標位置である。例えば座標位置は画素単位で表現する。

また、測距可能なカメラを利用する場合は、フレーム画像とともに得られる測距値を用いて手領域と背景領域との分離が実現できる。既述のとおり、フレーム画像は前方視界を撮像したもののため、カメラ１０から手領域までの距離Ｄｈとカメラ１０から背景領域までの距離Ｄｂとの間には（１）式の関係が存在する。

そこで、カメラ１０から手領域までの距離Ｄｈよりも長い閾値Ｄｔｈを設定し、各画素に記録された測距値Ｄが閾値Ｄｔｈよりも長い場合は背景領域、測距値Ｄが閾値Ｄｔｈよりも短い場合は手領域と分離する。閾値Ｄｔｈは、一般的な人の手の長さに基づいて設定しても良いし、予め点検作業者が手を伸ばしたときの測距値Ｄを取得して、そのときの測距値Ｄに基づいて設定しても良い。

点検対象物認識部２０２は、カメラ１０から得られたフレーム画像から点検対象物を認識する。この処理では、フレーム画像に写った点検対象物の位置を特定し、その点検対象物の座標Ｏｐ（Ｏｘ，Ｏｙ）を指示状態判定部２０４に出力する。

次に点検対象物認識部２０２における物体認識方法について述べる。尚、フレーム画像としてカラー情報が記録されたものを一例に説明する。この物体認識方法は、画像中の矩形領域の輝度、色及び輝度の一次微分、輝度の２次微分等から特徴量を算出し、点検対象物情報記憶部２０３に記憶された点検対象物の特徴量との比較を行い、特徴量間の類似度Ｓを距離ｄｉｓｔの逆数として求める。即ち、類似度Ｓは、下記の（２）式で算出される。

尚、前記点検対象物の特徴量は、前記矩形領域から抽出する特徴量と同じものとする。距離ｄｉｓｔの算出方法について、輝度値の頻度分布を特徴量とした場合を例にして説明する。前記矩形領域の各画素について輝度値を算出し、領域全体で各輝度値が何画素分含まれているかを示す頻度分布を特徴量として抽出する。点検対象物情報記憶部２０３に記憶される点検対象物の特徴量についても同様に抽出する。これらの特徴量について、Ｂｈａｔｔａｃｈａｒｙｙａ距離と呼ばれる下記の（３）式で算出される値をｄｉｓｔとする。尚、（３）式で算出される値は０〜１となり、比較する２つの特徴量が類似するほど０に近くなる。ここで、（３）式で算出されたｄｉｓｔが０の場合は、（２）式における計算は成立しないため、２つの特徴量が完全に一致することを示す表記を、特別にする必要がある。（３）式においてＨ_１およびＨ_２はそれぞれ、頻度分布からなる特徴量を示し、Ｈ_１（Ｉ）およびＨ_２（Ｉ）は、各特徴量のうちの１要素を表す。

点検対象物認識部２０２は、前記矩形領域について、大きさの異なる複数種類の領域を定義し、定義した領域をカメラ１０から得られたフレーム画像のあらゆる位置に設定して、矩形領域Ｒｅｃｔを定め、各Ｒｅｃｔにおいて特徴量を求める。そして、点検対象物認識部２０２は、これらの特徴量と点検対象物情報記憶部２０３に記憶されている特徴量との類似度Ｓｐを求める。点検対象物認識部２０２は、類似度Ｓｐが下記の（４）式を満たす最大の特徴量を持つ点検対象物を、矩形領域Ｒｅｃｔｃに含まれる点検対象物として推定する。

但し、閾値Ｓｔｈは、「０」よりも大きいものとする。この処理は、ノイズに対するロバスト性を担保するものである。最終的に、点検対象物認識部２０２は、矩形領域Ｒｅｃｔｃの左端位置（Ｃｘ、Ｃｙ）と、矩形サイズ（Ｃｗ、Ｃｈ）とを点検対象物領域Ａｏとして、指示状態判定部２０４に出力する。

指示状態判定部２０４は、指先検出部２０１から指先座標Ｆｐと、点検対象物認識部２０２から点検対象物座標Ｏｐとを取得し、指先座標Ｆｐと点検対象物座標Ｏｐとが一致しているかを判定する。指先座標Ｆｐと点検対象物座標Ｏｐとが一致していると判定した場合、指差確認判定部２０５に対して、点検作業者が対象物を指示中であることを示す信号を送信する。一致していないと判定した場合、新たなフレーム画像を取得して、フレーム画像の取得処理以降の処理を繰り返す。

指差確認判定部２０５は、指示状態判定部２０４から点検作業者が点検対象物を指示中であることを示す信号を受信した場合、点検作業者が指示中である点検対象物を点検したものとして判定し、それを指差確認判定結果として表す信号を出力する。

次に、点検作業支援装置２１の処理の流れを説明する。図３は、実施の形態１に係る点検作業支援装置２１の処理を示すフローチャートである。まず、指先検出部２０１は、カメラ１０からフレーム画像を取得する（Ｓ００１）。その後、指先検出部２０１はフレーム画像から点検作業者の指先を検出する。また、点検対象物認識部２０２は、フレーム画像から点検対象物を検出する。

ここで、フレーム画像から点検作業者の指先が検出され（Ｓ００２：ＹＥＳ）、点検対象物を検出されたとき（Ｓ００３：ＹＥＳ）、指先検出部２０１から指先座標Ｆｐと、点検対象物認識部２０２から点検対象物座標Ｏｐとが一致しているかを判定する。指先座標Ｆｐと点検対象物座標Ｏｐとが一致している場合は（Ｓ００４：ＹＥＳ）、点検作業者が指示中である点検対象物を点検したものとして判定し、それを表す信号を出力する（Ｓ００５）。

フレーム画像から点検作業者の指先が検出されず（Ｓ００２：ＮＯ）、または点検対象物が検出されなかったとき（Ｓ００３：ＮＯ）は、フレーム画像取得ステップＳ００１が次のフレーム画像を取得するのを待つ。

指先座標Ｆｐと点検対象物座標Ｏｐとが一致していない場合（Ｓ００４：ＮＯ）も同様に、フレーム画像取得ステップＳ００１が次のフレーム画像を取得するのを待つ。

以上のように構成された点検作業支援装置２１においては、点検作業者の指先が点検対象物を指しているかを判定することによって、点検作業者が特定の対象物に対して意識的に点検したことを判別できるため、点検誤りを防止できる。

上述では、指示状態判定部２０４は指先検出部２０１が出力した指先座標Ｆｐと点検対象物認識部２０２が出力した点検対象物座標Ｏｐとが一致している場合に、点検対象物を指示していると判定することとしたが、これらの座標が完全に一致していない場合でも、以下に示す（５）式のように、指先座標Ｆｐと点検対象物座標Ｏｐとの距離間隔が予め設定した閾値ＦＯｔｈよりも短い場合は点検作業者が指示中である点検対象物を点検したものとして判定することとしてもよい。（５）式において、ＦＯｔｈは任意に設定できる閾値を表す。

但し、（５）式を満たす点検対象物が複数個存在する場合には、点検対象物座標Ｏｐにより近い対象物を指示しているものとして判定することで、点検対象物が点検作業者から見て遠方にあり、完全に一致するように指示することが困難な状況でも、点検作業者が意識的に点検したと考えられる点検対象物を特定することができる。

また、点検対象物座標Ｏｐそのものとの比較ではなく、点検対象物座標Ｏｐの周囲を含んだ領域と比較するものとしても構わない。例えば、点検対象物座標Ｏｐ（Ｏｘ，Ｏｙ）から幅ｗと高さｈ分を含んだ矩形領域（Ｏｘ、Ｏｙ、Ｏｗ、Ｏｈ）からなるものを点検対象物の領域を表す座標情報とする。点検対象物座標Ｏｐ（Ｏｘ，Ｏｙ）を中心として半径Ｏｒ分を含む円形領域（Ｏｘ，Ｏｙ，Ｏｒ）を点検対象物の領域を表す座標情報としてもよい。このようにすることで、点検対象物が点検作業者から見て遠方にあり、完全に一致するように指示することが困難な状況でも、点検対象物への指示を実施可能になる。円形領域であれば対象物の中心から指先座標Ｆｐのずれに対する範囲が均一にできる。矩形領域であれば指先座標Ｆｐが矩形領域に含まれているかの判断が簡単にできる。

上述では、指差確認判定部２０５は、指示状態判定部２０４から点検作業者が点検対象物を指示中であることを示す信号を受信した場合、点検作業者が指示中である点検対象物を点検したものとして判定し、それを表す信号を出力することとしたが、各点検対象物について指示した回数を記憶しておき、同一の点検対象物を予め設定した閾値回数以上指示したと認識した場合に、その点検対象物を点検したものと判定してもよい。このようにすることで、所謂、「指差し呼称」における指差し動作のように、腕を折りたたむようにして指先を耳の横に移動させて再び腕を伸ばすことで、数回点検対象物を指示するような動作の認識が可能になる。このように意識的に数回点検対象物の指示を行う点検に対応して認識することで、より点検誤り防止に効果があるとされている。

また、指差確認判定部２０５が、点検対象物を指示したと判定されてからの継続時間を計測しておき、同一の点検対象物を予め設定した第１の設定時間以上指示したと認識した場合に、その点検対象物を点検したものと判定してもよい。このようにすることで、点検作業者の指先が偶然に点検対象物方向に向き、点検を実施したと誤って判定してしまうことを防止することができるようになる。

さらに、各点検対象物について指示した回数と、点検対象物を指示している時間を計測しておき、予め設定した第２の設定時間の間に同一の点検対象物を予め設定した閾値回数以上指示したと認識した場合に、その点検対象物を点検したものと判定してもよい。このようにすることで、点検作業者の指先が偶然に点検対象物方向に向き、点検を実施したと誤って判定してしまうことを防止することができ、且つ意識的に指示が行われたことをより正確に判別することが可能になる。

これら閾値回数、第１の設定時間、または第２の設定時間については、例えば予め決められた点検時の規定回数や１回の指差しに掛ける時間などに基づいて設定する。第１の設定時間または第２の設定時間については、予め点検作業者に意識的に指差しをしたときの測定を行ない、その測定結果に基づいて設定しても構わない。

実施の形態２．
実施の形態２にかかる点検作業支援装置２２は、点検結果出力部２０６と点検結果通知部２０７とをさらに備える。

図４は、本発明の実施の形態２に係る点検作業支援装置２２の構成を概略的に示すブロック図である。図４において、図１に示される構成要素と同一又は対応する構成要素には、図１における符号と同じ符号を付している。実施の形態２においては、図１で示された指差確認判定部２０５が点検結果出力部２０６に、点検結果出力部２０６が点検結果通知部２０７に点検結果通知部２０７が通知装置３０に接続されている。尚、点検作業支援装置２２は、通知装置３０を含む構成としてもよい。実施の形態２に係る点検作業支援装置２２は、点検結果を点検作業者若しくは第三者が把握できる点において、実施の形態１に係る点検作業支援装置２１と異なる。この点を除き、実施の形態２は、実施の形態１と同じである。尚、点検作業支援装置２２は、通知装置３０を含む構成としてもよい。

点検結果出力部２０６は、指差確認判定部２０５から指差確認判定結果を取得する。また、点検結果を点検結果通知部２０７に送信する。点検結果通知部２０７は、点検結果出力部２０６から点検結果を受信する。また、点検結果通知データを通知装置３０に送信する。通知装置３０は、点検結果通知部２０７から点検結果通知データを受信する。また、通知データを出力する。

点検結果出力部２０６は、指差確認判定部２０５から点検作業者によって指差確認結果を取得する。取得した指差確認結果から、点検結果を表す信号を生成する。例えば、０または１の２値でこの信号を構成する場合、点検が行われた場合は１、点検が行われなかった場合は０という信号を生成する。この信号を点検結果通知部２０７に送信する。

点検結果通知部２０７は、点検結果出力部２０６から点検結果を表す信号を受信すると、点検作業者若しくは第三者がその点検結果を把握するための信号に変換する。通知装置３０は、点検作業者若しくは第三者が実際にその点検結果を把握可能にする装置を指す。一例として、通知装置３０をディスプレイとし、点検結果通知部２０７は点検結果出力部２０６から受信した点検結果を「点検実施」「点検未実施」という文字や、「○」「×」などの記号で表すように映像信号を生成し、ディスプレイで表示する。他にも、通知装置３０をスピーカーとした場合、点検結果通知部２０７は点検結果出力部２０６から受信した点検結果を音声信号に変換し、スピーカーで出力する。

以上のように構成された点検作業支援装置２２においては、点検結果を点検作業者若しくは第三者が把握できるため、点検誤りの防止及び点検漏れの防止ができる。

実施の形態２においては、点検が行われたか否かを通知することとしたが、どの対象物に対して点検を実施したかを通知するようにしても良い。つまり、指差確認判定部２０５は指差確認したと判定した場合、その対象物の情報についても保持しておき、その情報を点検結果出力部２０６が取得する。点検結果出力部２０６の出力を受けて、点検結果通知部２０７は通知するための信号を生成し、通知装置３０によって、対象物が把握できる形でディスプレイ表示や音声出力を行う。このようにすることで、点検作業者若しくは第三者がどの対象物に対して点検を完了したかを把握しやすくなり、点検誤りの防止及び点検漏れの防止ができる。

実施の形態２においては、カメラ１０と通知装置３０が一体となった装置を用いることができる。また、これを点検作業支援装置２２に含めることが可能である。このような装置の例として、ウェアラブルグラスがある。

実施の形態３．
実施の形態２にかかる点検作業支援装置２２は、点検結果出力部２０６の出力に基づいて、点検結果通知部２０７が点検結果出力部２０６へ通知するための信号を生成して出力していた。実施の形態３にかかる点検作業支援装置２３は、点検結果出力部２０６の出力を点検結果記憶部２０９へ記録する点検結果登録部２０８を備える。

図５は、本発明の実施の形態３に係る点検作業支援装置２３の構成を概略的に示すブロック図である。点検作業支援装置２３は、実施の形態３に係る点検作業支援方法を実施することができる装置である。図５において、図１に示される構成要素と同一又は対応する構成要素には、図１における符号と同じ符号を付している。実施の形態３においては、図１で示された指差確認判定部２０５が点検結果出力部２０６に、点検結果出力部２０６が点検結果登録部２０８に点検結果登録部２０８が点検結果記憶部２０９に接続されている場合を説明する。実施の形態３に係る点検作業支援装置２３は、点検作業者が点検したことを証拠として残すことができる。また、一連の点検を終えた後、改めて点検結果をまとめる必要がなくなる点において、実施の形態１に係る点検作業支援装置２１と異なる。この点を除き、実施の形態３は、実施の形態１と同じである。

点検結果出力部２０６は、指差確認判定部２０５から指差確認判定結果を取得する。また、点検結果を点検結果登録部２０８に送信する。

点検結果登録部２０８は、点検結果出力部２０６から点検結果を受信する。また、点検結果を点検結果記憶部２０９に保存する。

点検結果記憶部２０９は、点検結果を記憶する。例えば、点検結果記憶部２０９は、内蔵型ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又は外付け型ＨＤＤでもよいし、ＳＤカードのような取り外し可能なメディアでもよい。また、点検結果記憶部２０９は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）等の書き換え可能なメモリであってもよい。

点検結果登録部２０８は、点検結果出力部２０６から指差確認した対象物の情報を受信すると、点検結果記憶部２０９に保存する。

図６は、点検対象物の一覧と、それぞれに対する点検結果をテキストファイル形式で記載した例である。この例に限らず、点検が実施された対象物のみを列記するような形式にしてもよい。点検結果登録部２０８が図６のような形式で点検結果記憶部２０９へデータを記憶することで、点検作業者が点検対象物を点検した進捗がひと目で確認できる。

また、点検結果登録部２０８が点検結果出力部２０６から指差確認した対象物の情報を受信した日時情報を取得して、点検状態が済となった日時を併せて記録するようにすることで、時系列に点検の進捗が確認できる。

以上のように構成された点検作業支援装置２３においては、点検作業者が点検したことを証拠として残すことができる。また、一連の点検を終えた事務所に戻った際に、パソコンを用いて改めて点検結果をまとめる必要がなくなるため、手間を省略できる。

また、実施の形態３では、図５に示されているように、点検結果記憶部２０９を１つの装置としているが、点検対象物情報記憶部２０３及び点検結果記憶部２０９を１つにまとめてもよい。

実施の形態４．
実施の形態４にかかる点検作業支援装置２４は、実施の形態３にかかる点検作業支援装置２３から点検状態通知部２１０をさらに備える。

図７は、本発明の実施の形態４に係る点検作業支援装置２４の構成を概略的に示すブロック図である。図７において、図５に示される構成要素と同一又は対応する構成要素には、図５における符号と同じ符号を付している。実施の形態４においては、図５で示された点検結果記憶部２０９が点検状態通知部２１０に、点検対象物情報記憶部２０３が点検状態通知部２１０に、点検状態通知部２１０が通知装置３０に接続されている場合を説明する。実施の形態４に係る点検作業支援装置２４は、点検作業者若しくは第三者が、どの対象物を点検済みで、どの対象物が未点検であるかを認識することができる点において、実施の形態３に係る点検作業支援装置２３と異なる。この点を除き、実施の形態４は、実施の形態３と同じである。尚、点検作業支援装置２４は、通知装置３０を含む構成としてもよい。

点検状態通知部２１０は、点検結果記憶部２０９から図６に示されるような点検結果を読み出す。また、点検対象物情報記憶部２０３から点検対象物情報を読み出す。また、点検状態データを通知装置３０に送信する。

通知装置３０は、点検状態通知部２１０から点検状態を受信する。また、通知データを出力する。

点検状態通知部２１０は、点検対象物情報記憶部２０３から点検結果を、点検対象物情報記憶部２０３から点検対象物情報を読み出す。これらの情報を照合し、どの対象物が点検済みで、どの対象物が未点検であるかを判別する。その後、本判別結果を点検作業者若しくは第三者が把握するための信号に変換する。一例として、通知装置３０をディスプレイとする場合、ディスプレイ上に点検対象物のリストと、それらが「点検実施済」「点検未実施」という文字や、「○」「×」などの記号で表すように映像信号を生成し、ディスプレイで表示する。

尚、点検状態通知部２１０は、点検対象物情報記憶部２０３からは画像特徴を読み出す必要はなく、点検対象物の一覧を読み出す。これは、実施の形態３において既述した、点検結果記憶部２０９に点検が実施された対象物のみを列記したものを記憶する場合においてのみ必要な処理である。図６のように、予め点検対象物がリストアップされ、点検済みか否かかが記憶されている場合については、点検状態通知部２１０は点検対象物情報記憶部２０３から情報を読み出す必要はなく、点検結果記憶部２０９に記憶された情報のみから点検状態データを生成することができる。

以上のように構成された点検作業支援装置２４においては、点検結果を点検作業者若しくは第三者が各点検対象物を点検済みであるか否かを認識することができるため、点検漏れを防止できる。

また、実施の形態４では、図７に示されているように、点検結果記憶部２０９を１つの装置としているが、点検対象物情報記憶部２０３及び点検結果記憶部２０９を１つにまとめてもよい。

実施の形態５．
図８は、本発明の実施の形態５に係る点検作業支援装置２５の構成を概略的に示すブロック図である。点検作業支援装置２５は、実施の形態５に係る点検作業支援方法を実施することができる装置である。図８において、図４に示される構成要素と同一又は対応する構成要素には、図４における符号と同じ符号を付している。実施の形態５においては、図４で示された点検結果出力部２０６が点検手順通知部２１１に、点検手順通知部２１１が点検手順情報記憶部２１２及び通知装置３０に接続されている場合を説明する。実施の形態５に係る点検作業支援装置２５は、点検作業者若しくは第三者が、次に点検すべき点検対象物に関する情報や、誤った手順で点検が行われたことを認識することができる点において、実施の形態２に係る点検作業支援装置２２と異なる。この点を除き、実施の形態５は、実施の形態２と同じである。尚、点検作業支援装置２５は、通知装置３０を含む構成としてもよい。

点検手順通知部２１１は、点検結果出力部２０６から点検結果を受信する。また、点検手順情報記憶部２１２から点検手順情報を読み出す。また、点検手順データを通知装置３０に送信する。

点検手順情報記憶部２１２は、点検手順情報を記憶する。例えば、点検手順情報記憶部２１２は、内蔵型ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又は外付け型ＨＤＤでもよいし、ＳＤカードのような取り外し可能なメディアでもよい。また、点検結果記憶部２０９は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）等の書き換え可能なメモリであってもよい。

通知装置３０は、点検手順通知部２１１から点検手順データを受信する。また、通知データを出力する。

点検手順通知部２１１は、点検結果出力部２０６から点検結果を、点検手順情報記憶部２１２から点検手順情報を読み出す。これらの情報を照合し、予め定められた点検手順に対して、どの対象物まで点検が済んでおり、次にどの対象物を点検しなければならないかを判別する。その後、本判別結果を点検作業者しくは第三者が把握するための信号に変換する。一例として、通知装置３０をディスプレイとする場合、図９のようにディスプレイ上に点検対象物のリストと、リストのうち次に点検するべき対象物の項目を他と異なる色で表記するように映像信号を生成し、ディスプレイで表示する。

点検手順通知部２１１は、点検結果出力部２０６から受信した点検結果が、予め定められた点検手順に反して点検が実施された場合、通知装置３０によって点検作業者若しくは第三者にそれを知らしめるための映像信号を生成し、ディスプレイで表示することも可能である。

以上のように構成された点検作業支援装置２５においては、点検作業者若しくは第三者が、次に点検すべき点検対象物に関する情報や、誤った手順で点検が行われたことを認識することができるため、点検漏れや点検誤りを防止できる。

また、実施の形態５では、図５に示されているように、点検手順情報記憶部２１２を１つの装置としているが、点検対象物情報記憶部２０３及び点検手順情報記憶部２１２を１つにまとめてもよい。これは、物理的に同じ記憶装置で構成することだけでなく、点検対象物情報記憶部２０３に記憶されている点検対象物情報に点検手順を示す番号を併せて記憶しておき、点検手順通知部２１１はこれを読み出すようにしてもよい。

実施の形態６．
図１０は、本発明の実施の形態６に係る点検作業支援装置２６の構成を概略的に示すブロック図である。点検作業支援装置２６は、実施の形態６に係る点検作業支援方法を実施することができる装置である。図１０において、図１及び図４に示される構成要素と同一又は対応する構成要素には、図１及び図４における符号と同じ符号を付している。実施の形態６においては、図４で示された点検結果出力部２０６が点検結果配信部２１３に、点検結果配信部２１３が配信装置４０に接続されている場合を説明する。実施の形態６に係る点検作業支援装置２６は、点検結果を点検作業者から見て遠隔地にいる第三者が把握できる点において、実施の形態１に係る点検作業支援装置２１と異なる。この点を除き、実施の形態６は、実施の形態１と同じである。尚、点検作業支援装置２６は、配信装置４０を含む構成としてもよい。

点検結果配信部２１３は、点検結果出力部２０６から点検結果を受信する。また、配信データを配信装置４０に送信する。

配信装置４０は、点検結果配信部２１３から配信データを受信する。また、配信データを配信する。 配信装置４０は、Ｅｔｈｅｒｎｅｔ（登録商標）又はＷＩＦＩ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）等のネットワーク、又は、専用のインタフェースを介して、データを配信する装置である。

以上のように構成された点検作業支援装置２６においては、点検結果を点検作業者から見て遠隔地にいる第三者が把握できるため、点検結果を共有でき、例えば遠隔地にいる点検作業熟練者が確認することによって点検誤りを発見することができる。

実施の形態６では、図１０に示すように、点検結果出力部２０６より点検結果が出力されるたびにその点検結果を配信するよう説明したが、図１１に示すように、点検結果配信部２１３を点検結果記憶部２０９に接続し、過去の点検結果も含め、遠隔地に配信するようにしてもよい。このようにすることで、遠隔地にいる第三者が点検作業の進捗状況を把握することができ、スケジュール管理などに活かすことができる。

また、実施の形態６では、図１１に示されているように、点検結果記憶部２０９を１つの装置としているが、点検対象物情報記憶部２０３及び点検結果記憶部２０９を１つにまとめてもよい。

実施の形態７．
図１２は、本発明の実施の形態７に係る点検作業支援装置２８の構成を概略的に示すブロック図である。点検作業支援装置２８は、実施の形態７に係る点検作業支援方法を実施することができる装置である。図１２において、図５に示される構成要素と同一又は対応する構成要素には、図５における符号と同じ符号を付している。実施の形態７においては、図５で示された各構成要素に加え、受信装置５０と、点検指示受信部２１４と、点検指示通知部２１５と、通知装置３０とが存在する。実施の形態７に係る点検作業支援装置２８は、点検作業者が、遠隔地にいる第三者の指示を把握できる点において、実施の形態３に係る点検作業支援装置２３と異なる。この点を除き、実施の形態７は、実施の形態３と同じである。尚、点検作業支援装置２８は、受信装置５０及び通知装置３０のいずれか一方または両方を含む構成としてもよい。

受信装置５０は、指示データを受信して点検指示受信部２１４に送信する。受信装置５０は、実施の形態６における配信装置同様に、Ｅｔｈｅｒｎｅｔ（登録商標）又はＷＩＦＩ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）等のネットワーク、又は、専用のインタフェースを介して、データを受信する装置である。

点検指示受信部２１４は、指示データを受信装置５０から受信する。また、受信した指示データから指示内容を表すデータ部分を抽出し、点検指示通知部２１５に送信する。

点検指示通知部２１５は、点検指示受信部２１４から指示内容を表すデータを受信し、通知データを生成する。また、生成した通知データを通知装置３０に送信し、通知装置３０はそれを受信して通知する。一例として、通知装置３０をディスプレイとする場合、点検指示通知部２１５は点検指示受信部２１４から受信した指示内容を文字データにした映像信号を生成し、通知装置３０であるディスプレイで表示するなどする。

以上のように構成された点検作業支援装置２８においては、点検作業者が遠隔地にいる第三者の指示を把握できるため、点検誤りや点検漏れを防止することができる。

実施の形態８．
図１３は、本発明の実施の形態８に係る点検作業支援装置２９の構成を概略的に示すブロック図である。点検作業支援装置２９は、実施の形態８に係る点検作業支援方法を実施することができる装置である。図１３において、図１に示される構成要素と同一又は対応する構成要素には、図１における符号と同じ符号を付している。実施の形態８においては、図１で示された指示状態判定部２０４がタイミング調整部２１７に、タイミング調整部２１７が音声認識部２１６に、音声認識部２１６がマイク１１及び音声データバッファ６０に接続されている場合を説明する。実施の形態８に係る点検作業支援装置２９は、点検作業者によってより意識的に点検したことを判別できる点において、実施の形態１に係る点検作業支援装置２１と異なる。この点を除き、実施の形態１０は、実施の形態１と同じである。

マイク１１は、点検作業者の音声を取得し、音声データを生成する。また、音声データを音声認識部２１６に送信する。

音声認識部２１６は、マイク１１から音声データを受信する。また、音声データを音声データバッファ６０に送信する。また音声認識結果をタイミング調整部２１７に送信する。

タイミング調整部２１７は、音声認識部２１６から音声認識結果を受信する。また、指示状態判定実行信号を指示状態判定部２０４に送信する。

マイク１１は、点検作業者の音声を取得する。マイク１１は点検作業者が装着するか、点検作業者の作業場付近に設置される。取得した音声データは音声認識部２１６に送信される。

音声認識部２１６は、マイク１１から受信した音声データを音声データバッファ６０へ送信する。音声データバッファ６０は音声認識部２１６から受信した音声データを記憶する。また、音声認識部２１６は、音声データバッファ６０が記憶している音声データを受信し、その音声データから音声認識を実施し、点検作業者の発話内容を認識する。音声認識部２１６は、認識した発話内容が予め定められた発話と一致しているかを判別し、その結果を音声認識結果としてタイミング調整部２１７に送信する。

音声データバッファ６０は、音声認識部２１６から受信した音声データを、受信した時系列順につなぎ合わせて記憶する。尚、時系列で予め定められた時間より古い音声データについては破棄することができる。例えば、音声データバッファ６０は、内蔵型ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又は外付け型ＨＤＤでもよいし、ＳＤカードのような取り外し可能なメディアでもよい。また、点検結果記憶部２０９は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）等の書き換え可能なメモリであってもよい。

タイミング調整部２１７は、音声認識部２１６から音声認識結果を受信する。タイミング調整部２１７は、その音声認識結果が予め定められた発話と一致していることを示すものであった場合、指示状態判定処理の実行を指示する指示状態判定実行信号を、指示状態判定部２０４に送信する。不一致を示すものであった場合は、処理を実行しないよう指示する指示状態判定実行信号を、指示状態判定部２０４に送信する。

指示状態判定部２０４は、タイミング調整部２１７から処理の実行を指示する指示状態判定実行信号を受信した場合、前記のとおり、指先座標Ｆｐと点検対象物座標Ｏｐが一致しているかを判定する。タイミング調整部２１７から処理を実行しないよう指示する指示状態判定実行信号を受信した場合、前記の判定は実行しない。

以上のように構成された点検作業支援装置２９においては、所謂、「指差し呼称」を認識し、それに基づく点検を実行することが出来るため、点検作業者によって、より意識的に点検したことを判別でき、点検誤りをより確実に防止できる。

また、実施の形態８では、図１３に示されているように、音声データバッファ６０を１つの装置としているが、点検対象物情報記憶部２０３及び音声データバッファ６０を１つにまとめてもよい。

１０ カメラ
１１ マイク
２１、２２、２３、２４、２５、２６、２７、２８、２９ 点検作業支援装置
２０１ 指先検出部
２０２ 点検対象物認識部
２０３ 点検対象物情報記憶部
２０４ 指示状態判定部
２０５ 指差確認判定部
２０６ 点検結果出力部
２０７ 点検結果通知部
２０８ 点検結果登録部
２０９ 点検結果記憶部
２１０ 点検状態通知部
２１１ 点検手順通知部
２１２ 点検手順情報記憶部
２１３ 点検結果配信部
２１４ 点検指示受信部
２１５ 点検指示通知部
２１６ 音声認識部
２１７ タイミング調整部
３０ 通知装置
４０ 配信装置
５０ 受信装置
６０ 音声データバッファ

Claims (14)

1. 点検作業者の前方視界を撮像したカメラ画像から、前記点検作業者の指先の座標を検出する指先検出部と、
   前記カメラ画像と予め設定された点検対象物情報とから前記カメラ画像に含まれる点検対象物を認識し、認識された前記点検対象物の座標を取得する点検対象物認識部と、
   前記指先検出部で検出した前記指先の座標と前記点検対象物認識部で取得した前記点検対象物の座標との位置関係から、前記点検作業者が前記点検対象物を指差ししているかを判定する指示状態判定部と、
   前記指示状態判定部の判定結果から前記点検作業者が前記点検対象物を指差確認したかを判定して指差確認判定結果を生成する指差確認判定部と
   を備える点検作業支援装置。
2. 前記指示状態判定部は、前記点検対象物を含む座標の領域の中に前記指先の座標がある場合、前記点検作業者が前記点検対象物を指差ししていると判定する
   ことを特徴とする請求項１に記載の点検作業支援装置。
3. 前記指示状態判定部は、前記点検対象物を含む座標の領域の中に他の前記点検対象物が含まれる場合は、前記指先の座標が最も近い前記点検対象物を前記点検作業者が指差ししていると判定する
   ことを特徴とする請求項２に記載の点検作業支援装置。
4. 前記指差確認判定部は、前記点検作業者が前記点検対象物を指差ししていると判定された継続時間が予め設定した第１の設定時間を超えた場合に、前記点検作業者が前記点検対象物を指差ししていると判定する
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の点検作業支援装置。
5. 前記指差確認判定部は、前記点検作業者が前記点検対象物を指差ししていると判定された回数が予め設定した閾値回数を超えた場合に、前記点検作業者が前記点検対象物を指差確認したと判定する
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の点検作業支援装置。
6. 前記指差確認判定部は、予め設定した第２の設定時間の間に、前記点検作業者が前記点検対象物を指差ししていると判定された回数が前記閾値回数を超えた場合に、前記点検作業者が前記点検対象物を指差確認したと判定する
   ことを特徴とする請求項１から請求項５のいずれか１項に記載の点検作業支援装置。
7. 前記指差確認判定結果に基づいて、点検結果を通知する点検結果通知部を更に備える
   ことを特徴とする請求項１から請求項６のいずれか１項に記載の点検作業支援装置。
8. 前記指差確認判定結果を記録する点検結果登録部を更に備える
   ことを特徴とする請求項１から請求項７のいずれか１項に記載の点検作業支援装置。
9. 予め設定された点検対象物情報のうち、点検対象物が点検済みであるか否かをユーザー若しくは第三者に通知するための情報を生成する点検状態通知部を更に備える
   ことを特徴とする請求項１から請求項８のいずれか１項に記載の点検作業支援装置。
10. 予め設定された点検手順情報を記憶する点検手順記憶部と、
    前記点検手順情報及び前記指差確認判定結果から、次の前記点検対象物を通知する点検手順通知部とをさらに備える
    ことを特徴とする請求項１から請求項９のいずれか１項に記載の点検作業支援装置。
11. データ伝送可能に接続された配信装置に前記指差確認判定結果を配信する点検結果配信部をさらに備える
    ことを特徴とする請求項１から請求項１０のいずれか１項に記載の点検作業支援装置。
12. データ伝送可能に接続された配信装置から伝送された指示データを受信する点検指示受信部と、
    前記指示データから指示内容を通知する点検指示通知部とをさらに備える
    ことを特徴とする請求項１１に記載の点検作業支援装置。
13. 前記点検作業者の音声を取得して音声データを生成するマイクと、
    前記マイクで取得した前記音声データと予め記憶した前記点検作業者が点検時に発する音声データとを比較し、前記点検作業者が発した音声が点検時に発したものかを認識する音声認識部とをさらに備え、
    前記指差確認判定部は、前記指示状態判定部の判定結果と前記音声認識部の認識結果とから前記点検作業者が前記点検対象物を指差確認したと判定する
    ことを特徴とする請求項１から請求項１２のいずれか１項に記載の点検作業支援装置。
14. 点検作業者の前方視界を撮像したカメラ画像から、前記点検作業者の指先の座標を検出する指先検出ステップと、
    前記カメラ画像と予め設定された点検対象物情報とから前記カメラ画像に含まれる点検対象物を認識し、認識された前記点検対象物の座標を取得する点検対象物認識ステップと、
    前記指先検出部で検出した前記指先の座標と前記点検対象物認識部で取得した前記点検対象物の座標との位置関係から、前記点検作業者が前記点検対象物を指差ししているかを判定する指示状態判定ステップと、
    前記指示状態判定部の判定結果から前記点検作業者が前記点検対象物を指差確認したかを判定して指差確認判定結果を生成する指差確認判定ステップと
    を備える点検作業支援方法。

Images