JP2013003909A - 作業前後写真照合システム - Google Patents

Abstract

【課題】作業前後の作業現場の同一性を高い精度で照合することが可能な作業前後写真照合システムを提供する。
【解決手段】作業前後写真照合システム１の事務側装置３０は、撮影端末１０により撮影された作業現場の写真の画像データを読み取る写真読取部３０２と、写真読取部３０２により読み取られた作業前後の写真の画像データの特徴点を解析する特徴点解析手段３６１と、写真における位置情報と、外部から入力された前記作業現場のスケッチデータに付随するテキストデータと、を関連付けた関連付けデータを作成する関連付け手段３６２と、特徴点解析手段３６１による解析結果と、前記関連付けデータとに基づいて、作業前後の作業現場の同一性を照合する同一性照合手段３１１とを備えている。
【選択図】図１

Description

本発明は、作業前後の作業現場の写真の同一性を確認するための作業前後写真照合システムに関する。

従来、原子力発電所等の電力設備が設けられているプラントでは、電気設備の定期点検作業が行われている。この定期点検は、電気設備に接続されているケーブルを外して行われるが（以下、ケーブルを外すことを「解線」ともいう）、定期点検作業が終了した後には、解線したケーブルを再び結線して、解線前の状態に戻す作業を行っている（以下、解線前の状態に戻すことを「復旧」ともいう）。

作業前後のケーブルの結線状態が同一であることを確認するために、従来においては、作業者は作業前後のケーブルの写真を撮影したり、作業前後のケーブルの結線状態をスケッチしてそのスケッチにケーブル番号や機器番号を記入したりしていた。そして、チェック担当者が、これらの写真とスケッチを比較することにより、作業前後の結線状態の同一性を確認したり、チェック結果やケーブル番号等をチェックシートに記入していた。
この作業前後の同一性の確認作業は、ヒューマンエラーを防止するために、何重もの確認が行われており、時間や人手がかかる作業となっていた。

ケーブルの接続状態を判定するシステムとして、特許文献１には、端子及びケーブルにタグを取りつけて、端子及びケーブルの接続時に、前記タグから読み取ったＩＤと、予めデータベースに記憶しておいた端子とケーブルとの接続情報と、ケーブルの部品情報と、に基づいて、端子とケーブルの接続状態の合否を判定するシステムが開示されている。
また、特許文献２には、撮影したデジタル画像をＣＡＤ図面に変換するＣＡＤ図面作成支援装置が記載されている。

特開２００３−２４１８２９号公報 特開２００１−１０１４３０号公報

しかしながら、特許文献１、２に記載のシステムでは、作業前後の作業現場におけるケーブル結線等の同一性を判断することはできない。
本発明は、上述した問題点を解決するためになされたものであり、作業前後の作業現場の同一性を高い精度で照合することが可能な作業前後写真照合システムを提供することを目的とする。

上記目的を達成するために、本発明に係る作業前後写真照合システムは、撮影手段により撮影された作業現場の写真の画像データを読み取る写真読取手段と、前記写真読取手段により読み取られた作業前後の写真の画像データの特徴点を解析する特徴点解析手段と、前記写真における位置情報と、外部から入力された前記作業現場のスケッチデータに付随するテキストデータと、を関連付けた関連付けデータを作成する関連付け手段と、前記特徴点解析手段による解析結果と、前記関連付け手段により関連付けされた関連付けデータとに基づいて、作業前後の前記作業現場の同一性を照合する同一性照合手段とを備えたことを特徴とする。

本発明によれば、作業前後写真照合システムは、同一性照合手段により、特徴点解析手段による解析結果と、関連付け手段により関連付けされた関連付けデータとに基づいて、作業前後の前記作業現場の同一性を照合するため、作業前後の作業現場の同一性を高い精度で照合して同一性を判定することができ、ヒューマンエラーをなくし、作業員の負担を軽減することができる。

上記発明において、前記特徴点解析手段は、作業前後の前記写真の画像データそれぞれの特徴点をカウントし、作業前後の前記写真の画像データの特徴点の数の比率を算出し、該算出された比率から作業前後の前記写真の画像データの類似度を判定することを特徴とする。
本発明によれば、作業前後の写真の画像データの特徴点の数の比率によって、作業前後の写真の画像データの類似度を判定することができる。

上記発明において、前記同一性照合手段は、前記特徴点解析手段により算出された類似度と、前記関連付け手段により作成された前記関連付けデータの作業前後での一致度とに基づいて、作業前後の前記作業現場の同一性を判定することを特徴とする。
本発明によれば、作業前後の作業現場の同一性を高い精度で判定することができる。

上記発明において、作業前後の前記写真の画像データそれぞれに含まれる文字データを解析し、作業前後の前記写真の画像データに含まれる文字データの一致度を判定する文字照合手段を備えたことを特徴とする。

本発明によれば、文字照合手段により文字データの一致度を確認することにより、作業前後の写真が同一の対象物を撮影した写真であることを確認することができ、正確性を高めることができる。

上記発明において、前記画像データに含まれる文字データは、ラベルに記載された、機器を識別する識別情報であることを特徴とする。
本発明によれば、機器を識別する識別情報の一致度を確認することにより、作業前後の写真が同一の対象物を撮影した写真であることを確認することができ、正確性を高めることができる。

上記発明において、前記同一性照合手段により判定された同一性の度合いが所定値以上の場合、作業報告用の書類データを作成する書類作成手段を備えたことを特徴とする。

本発明によれば、前記同一性照合手段により判定された同一性の度合いが所定値以上の場合、作業報告用の書類データを作成するため、作業者は作業報告の作業が容易となる。

本発明によれば、作業前後写真照合システムは、同一性照合手段により、前記特徴点解析手段による解析結果と、関連付け手段により関連付けされた関連付けデータとに基づいて、作業前後の作業現場の同一性を照合するため、作業前後の前記作業現場の同一性を高い精度で照合することができ、ヒューマンエラーをなくし、作業員の負担を軽減することができる。

本発明の実施形態に係る作業前後写真照合システム全体の機能構成を示すブロック図である。 撮影端末により撮影された作業現場の写真の一例を示す図である。 スケッチ描画部により描かれて作業入力端末のディスプレイに表示されるスケッチの一例を示す図である。 関連付けデータの一例を示す図である。 作業前後の写真照合の手順を示すフローチャートである。 特徴点解析処理の手順を示すフローチャートである。 作業入力端末と事務側装置に表示される画面の一例を示す図である。

以下、本発明を実施するための形態を、図面を参照して詳細に説明する。
図１は、本発明の実施形態に係る作業前後写真照合システム１全体の機能構成を示すブロック図である。同図に示すように、作業前後写真照合システム１は、作業前後の作業現場のケーブル等を撮影する撮影端末１０と、作業現場のスケッチを描いたり作業確認の入力をするためのタブレット型の作業入力端末２０と、撮影端末１０及び作業入力端末２０から受信したデータに基づいて作業前後の作業現場の写真の照合を行う事務側装置３０と、チェックシート等の作業報告書類を出力する書類出力端末４０と、を備えており、これらは有線又は無線により電気的に接続されている。

撮影端末１０は、カメラ１２等の撮影手段を備えた移動通信端末である。撮影端末１０は、カメラ１２で作業前後の作業現場の写真を撮影し、撮影した写真の画像データを事務側装置３０に送信する。本実施形態では、作業前の作業現場の写真として、解線前のケーブルの写真を撮影し、作業後の作業現場の写真として、解線して作業が終了した後に再度結線した（つまり、復旧した）ケーブルの写真を撮影するものとする。図２には、撮影端末１０により撮影された作業現場の写真の一例を示す。同図に示すように、写真には、ブレーカーと、当該ブレーカーの両側面に設けられた３つの端子（不図示）にそれぞれ接続された６本のケーブルと、作業ラベルとが示されている。作業ラベルには、解線・復旧の別と、ケーブルが結線されている機器の機器番号と、機器名と、撮影日とが記入されている。

作業入力端末２０は、タブレット型の情報通信端末であり、スケッチ描画部２２と、入力部２４と、読取部２６とを備えている。作業入力端末２０には、例えば図７に示す画面が表示される。

スケッチ描画部２２は、作業者によるペン操作や、図７に示す画面の左側に表示されたアイコンの選択操作に基づいて、作業現場のスケッチを描画し、当該スケッチを画面上に表示する。また、スケッチ描画部２２は、作業者による文字の入力操作に基づいて、スケッチが表示された画像上の指定された位置に、ケーブルの色、番号等の文字を表示する。

図３には、スケッチ描画部２２により描かれて作業入力端末２０のディスプレイに表示されるスケッチの一例を示す。このスケッチにおいては、ブレーカーが四角形で表され、６本のケーブルが６本の直線で表されている。ブレーカーを表す四角形の近傍には、当該ブレーカーの製品番号「ＮＳ００１Ｔ」の文字が表示されている。また、６本のケーブルを表す６本の直線それぞれの近傍には、各ケーブルを覆う被覆材の色「クロ」、「シロ」、「アカ」の文字が表示されている。ブレーカーの一方の側面に設けられた３つの端子（不図示）に接続される３本のケーブルの近傍には、これらのケーブルの識別番号「２ＡＴ００２」の文字が表示されており、他方の側面に設けられた３つの端子（不図示）に接続される３本のケーブルの近傍には、これらのケーブルの識別番号「２ＢＴ００２」の文字が表示されている。

図１に示す作業入力端末２０の入力部２４は、スケッチ描画部２２により描画されたスケッチの画像データを表すスケッチデータ及びスケッチに記入されたテキストデータを事務側装置３０に出力する。読取部２６は、事務側装置３０に保存されているデータを読み取る。

事務側装置３０は、例えばパーソナルコンピュータであり、ハードウェア構成として、図示せぬＣＰＵ（Central Processing Unit）と、各種プログラム及びデータ等のソフトウェアが記憶されているメモリやハードディスク等の記憶装置と、外部装置との通信を制御する通信インターフェースと、キーボードやポインティングデバイス、プリンター等との入出力を制御する入出力インターフェースと、を備えている。上記ＣＰＵが記憶装置に記憶されているプログラムに従って処理を実行することにより、図１に示す写真読取部３０２、画像処理部３０６、データ読取部３０８、画像比較部３１０、手動比較部３１２及び書類作成部３１４の機能が事務側装置３０に実現される。

写真読取部３０２は、撮影端末１０から送信されてきた作業現場の写真の画像データを読み取る。
画像処理部３０６は、特徴点解析手段３６１と、関連付け手段３６２と、文字照合手段３６３とを備えている。

特徴点解析手段３６１は、写真の画像データの特徴点を解析する。具体的には、特徴点解析手段３６１は、作業前の写真の画像データの特徴点と、作業後の写真の画像データの特徴点とをそれぞれカウントし、作業前後の写真（本実施形態では、作業前の写真を「解線写真」といい、作業後の写真を「復旧写真」という）の画像データの特徴点の数の比率を算出する。

ここで、本実施形態における特徴点とは、画像データを構成する画素のうち、隣り合う画素間で色が所定の閾値以上変化する位置をいう。色は、コンピュータ上においてＲＢＧモデル又はＨＳＶモデルで表すことができる。ＲＢＧモデルは、３原色（赤、緑、青）を混合して色を再現する方法である。ＨＳＶモデルは、色を色相（Hue）、彩度（Saturation）、明度（Value）の３つの色空間の組み合わせで表す方法である。本実施形態では、特徴点解析手段３６１は、ＨＳＶモデルにより各画素の色を３つの色空間に分解し、隣り合う画素間の色相の差が所定の閾値以上である場合に、当該隣り合う画素のうち一方の画素を特徴点として抽出する。そして、当該抽出した特徴点の数をカウントして、作業前後での特徴点の数の比率を計算する。当該比率が１に近いほど、作業前後での特徴点の数が同じであることを意味し、作業前後のケーブルの輪郭や端点が同じ、すなわちケーブルの結線状態が同じであることを意味する。なお、作業前後での特徴点の数の比率に限らず、作業前後での特徴点の数の差をとってもよい。特徴点の数の差をとる場合には、差が小さいほど作業前後での特徴点の数が同じであることを意味することとなる。
また、特徴点は、色相の変化に限らず、彩度の差、明度の差、３原色の混合比率の変化等を基準として抽出してもよい。

関連付け手段３６２は、写真上の位置を表す位置情報と、当該写真の位置に対応する、スケッチデータに付随するテキストデータと、を関連付けた関連付けデータを作成する。
図４には、関連付けデータの一例を示す。例えば、撮影端末１０で図２に示す写真が撮影され、作業入力端末２０で図３に示すスケッチが描かれ、これらの写真及びスケッチが事務側装置３０に表示されている場合、操作者が、当該写真のケーブルの画像と当該スケッチに記入された当該ケーブルの色を示す文字とをそれぞれ、事務側装置３０に接続されたポインティングデバイス等を用いて指定することで、関連付け手段３６２は図４に示すような関連付けデータを生成する。

文字照合手段３６３は、作業前後の写真の画像データそれぞれに含まれる文字データを解析し、作業前後の写真の画像データに含まれる文字データの一致度を判定する。具体的には、文字照合手段３６３は、撮影された写真の画像データを２値化し、当該２値化した画像データを所定の領域毎に区分して順次文字認識を行う。この文字認識の処理を作業前後の写真の画像データそれぞれについて行い、作業前後の文字の一致度を判定する。

本実施形態では、作業現場を撮影する際に、図２に示すように文字が記入された作業ラベルも撮影される。したがって、特徴点に基づく類似度の判定処理を行う前に、文字照合手段３６３により作業前後の写真の作業ラベルに記入された機器名が一致することや、解線と復旧の何れに丸印が付けられているかを確認することで、作業前後の同一の機器とケーブルを撮影した写真であることを確認することができ、その後の類似度の判定処理を正しく行うことができる。

データ読取部３０８は、データ保存管理部３０４からデータを読み取る。
画像比較部３１０の同一性照合手段３１１は、特徴点解析手段３６１により算出された類似度と、関連付け手段３６２により作成された関連付けデータの作業前後での一致度とに基づいて、作業前後の作業現場の同一性を照合する。

手動比較部３１２は、同一性照合手段３１１による照合結果では、作業前後の写真の画像データが同一であると判定できなかった場合に、作業前後の写真を事務側装置３０のディスプレイに表示し、チェック担当者に作業前後の写真が同一であるか否かの入力をさせる。

書類作成部３１４は、同一性照合手段３１１により判定された同一性の度合いが所定の閾値以上の場合、データ保存管理部３０４に記憶されているデータに基づいて、作業報告書類作成用の書類データを作成する。作業報告書類作成用の書類データとしては、作業前後に撮影した写真の画像データと、作業前後のスケッチデータと、作業入力端末２０から入力された機器番号、ケーブル番号、ケーブルの色、端子番号、確認項目チェック等が反映されたチェックリストとが存在する。

データ保存管理部３０４は、ハードディスク等の記憶装置で構成され、撮影端末１０で撮影した写真の画像データ、作業入力端末２０から入力されたスケッチデータ、テキストデータ、確認項目のデータ等を記憶する。

書類出力端末４０はプリンター４２を備えており、事務側装置３０の書類作成部３１４から書類データを受信した場合、当該書類データに基づいて作業報告書類を印刷する。

次に、図５及び図６に示すフローチャートに基づいて、作業前後写真照合システム１が行う作業前後の写真照合の手順を説明する。
まず、作業員は、作業入力端末２０に図７に示す画面を表示し、解線前のケーブルと当該ケーブルが結線されている機器をスケッチするとともに、ケーブルの色、ケーブル番号、端子番号、機器番号等をスケッチ上に記入する。また、作業者は、解線時の確認を行い、画面の上部に表示された確認項目番号をチェックする。そして、作業員は、作業入力端末２０を操作してデータ送信の指示を行う。これにより、作業入力端末２０の入力部２４は、スケッチ描画部２２により描画された作業現場のスケッチデータ及び当該スケッチデータに付随するテキストデータを事務側装置３０に送信する（図５のステップＳ１０１）。

また、作業者は、撮影端末１０を操作して、カメラ１２で解線前のケーブルを撮影する指示を行う。これにより、撮影端末１０はカメラ１２でケーブルを撮影し、解線前写真の画像データを生成する。そして、作業者は、撮影した写真を事務側装置３０に送信する操作を行う。これにより、撮影端末１０は、撮影された写真の画像データを事務側装置３０に送信する（ステップＳ１０２）。

次に、作業員はケーブルの解線を行い、機器を交換する等の作業を行う。作業が終了した後に、作業員はケーブルの結線を行って解線前の状態に復旧させる。復旧後においても作業者はケーブルの解線前と同様に、ステップＳ１０１において現場スケッチを記入し、ステップＳ１０２において復旧写真を撮影する。

次に、事務側装置３０の操作者は、作業前後の照合作業を行うために、図７に示す画面を事務側装置３０に表示する。操作者が画面上部に表示されている「写真読込」ボタンと「スケッチ読込」ボタンをクリックすると、同画面には、解線写真と、復旧写真と、現場スケッチとが表示される。操作者は、画面左側の「関係指定」ボタンをクリックした後に、「写真選択」ボタンをクリックして、解線写真と復旧写真の何れを表示するかを選択する。そして、作業者は、画面上部の「関係付け」をクリックした後、写真に表示されている関係付け対象のケーブルの画像と、現場スケッチに記入されている当該ケーブルの色を示すテキストデータをクリックする。これにより、画像処理部３０６の関係付け手段３６２は、図４に示すような、写真上のクリックされた位置を示す座標及び位置番号と、クリックされたテキストデータと、を関連付ける関連付けデータを作成し、当該関連付けデータをデータ保存管理部３０４に記憶する（ステップＳ１０３）。

次に、文字照合手段３６３は、作業前後の写真の画像データ中の作業ラベルに記入されている文字の文字認識を行い（ステップＳ１０４）、認識した文字を比較する（ステップＳ１０５）。ここでは、作業前後の作業ラベルに記入されている機器名が一致しており、かつ、解線写真中の作業ラベルに予め印刷された「解線」に丸印が記入されており、復旧写真中の作業ラベルに予め印刷された「復旧」に丸印が記入されている場合に、文字照合手段３６３は解線写真と復旧写真は同じ機器及びケーブルを撮影した写真であると判定する。

次に、画像処理部３０６の特徴点解析手段３６１は、図６に示す特徴点解析処理を行う（ステップＳ１０６）。具体的には、特徴点解析手段３６１は、図６に示すように、データ保存管理部３０４から解線写真の画像データを読み込み（ステップＳ２０１）、当該画像データからチェック領域を選択し（ステップＳ２０２）、当該チェック領域の画素を解析して特徴点を抽出し（ステップＳ２０３）、抽出した特徴点をカウントする（ステップＳ２０４）。

復旧写真についても同様に、特徴点解析手段３６１は、データ保存管理部３０４から復旧写真の画像データを読み込み（ステップＳ２０５）、解線前写真に対応するチェック領域を選択し（ステップＳ２０６）、当該チェック領域の画素を解析して特徴点を抽出し（ステップＳ２０７）、抽出した特徴点をカウントする（ステップＳ２０９）。

次に、特徴点解析手段３６１は、ステップＳ２０４及びステップＳ２０９でカウントした特徴点の比率を算出する（ステップＳ２１０）。そして、特徴点解析手段３６１は、算出した特徴点の比率に基づいて類似度を算出する（ステップＳ２１１）。例えば、特徴点の比率が０．８以上１．２未満の場合には類似度が大と判定し、特徴点の比率が０．６以上０．８未満の場合又は１．２以上１．４未満の場合には類似度が中と判定し、それ以外の場合は類似度が小と判定する。

次に、画像比較部３１０の同一性照合手段３１１は、特徴点解析手段３６１により算出された類似度と、関連付け手段３６２により作成された関連付けデータの作業前後での一致度とに基づいて、作業前後の作業現場のケーブル結線の同一性を判定する（図５のステップＳ１０７）。例えば、同一性照合手段３１１は、特徴点解析手段３６１により算出された類似度が大、かつ、関連付けデータが作業前後で全て一致している場合には、同一であると判定する。また、同一性照合手段３１１は、類似度が中又は小であっても、関連付けデータが作業前後で全て一致している場合には、同一であると判定する。上記以外の場合は同一でないと判定する。

ステップＳ１０８で同一であると判定された場合は（ステップＳ１０８のＹｅｓ）、ステップＳ１１０に進む。一方、ステップＳ１０８で同一でないと判定された場合は（ステップＳ１０８のＮｏ）、同一性照合手段３１１は、作業前後の写真（解線写真、復旧写真）と、作業前後の写真が同一であるか否かを選択させるチェック欄と、をディスプレイに表示する（ステップＳ１０９）。操作者は、表示された作業前後の写真を比較して、ケーブルの結線状態が同一であるか否かを判定する。操作者が作業前後のケーブルの結線状態が同一であると判定し、同一であることを示すチェック入力をした場合に、ステップＳ１１０に進む。

ステップＳ１１０では、データ読取部３０８は、データ保存管理部３０４から、作業前後の写真の画像データ、作業前後のスケッチデータ、スケッチ上に記入された機器番号・ケーブル番号・端子番号、チェック入力された確認項目番号等を読み取る。書類作成部３１４は、これらのデータに基づいて、作業前後に撮影した写真、作業前後のスケッチ、機器番号・ケーブル番号・端子番号・確認項目のチェック等が反映されたチェックリスト等の作業報告書類を印刷するための書類データを作成する（ステップＳ１１１）。書類作成部３１４は書類出力端末４０に書類データを送信し、書類出力端末４０のプリンター４２は書類データに基づいて作業報告書類を印刷する（ステップＳ１１２）。また、書類作成部３１４は、作成した書類データをデータ保存管理部３０４に記憶する。

以上説明したように、特徴点の解析結果のみならず、写真とスケッチに記入したテキストデータとを対応付けた関連付けデータに基づいて、作業前後の作業現場のケーブル結線の同一性を照合するため、撮影した写真が不鮮明であって特徴点の解析により判定した類似度が小さい場合にも、高い精度で同一性を判定することが可能となる。

なお、上述した実施形態では、作業前後のケーブル結線の同一性を照合するとして説明したが、ケーブル結線に限定されることはなく、作業現場の他の機器や部品の配置や結線の同一性を照合することもできる。

また、上述した実施形態における作業前後写真照合システム１の装置構成は一例に過ぎず、例えば事務側装置３０が備える図１に示す機能が複数の装置に分散して配置されていてもよい。

１………作業前後写真照合システム、１０………撮影端末、１２………カメラ、２０………作業入力端末、２２………スケッチ描画部、２４………入力部、２６………読取部、３０………事務側装置、４０………書類出力端末、４２………プリンター、３０２………写真読取部、３０４………データ保存管理部、３０６………画像処理部、３０８………データ読取部、３１０………画像比較部、３１１………同一性照合手段、３１２………手動比較部、３１４………書類作成部、３６１………特徴点解析手段、３６２………関連付け手段、３６３………文字照合手段。

Claims (6)

1. 撮影手段により撮影された作業現場の写真の画像データを読み取る写真読取手段と、
   前記写真読取手段により読み取られた作業前後の写真の画像データの特徴点を解析する特徴点解析手段と、
   前記写真における位置情報と、外部から入力された前記作業現場のスケッチデータに付随するテキストデータと、を関連付けた関連付けデータを作成する関連付け手段と、
   前記特徴点解析手段による解析結果と、前記関連付け手段により関連付けされた関連付けデータとに基づいて、作業前後の前記作業現場の同一性を照合する同一性照合手段と
   を備えたことを特徴とする作業前後写真照合システム。
2. 前記特徴点解析手段は、作業前後の前記写真の画像データそれぞれの特徴点をカウントし、作業前後の前記写真の画像データの特徴点の数の比率を算出し、該算出された比率から作業前後の前記写真の画像データの類似度を判定することを特徴とする請求項１に記載の作業前後写真照合システム。
3. 前記同一性照合手段は、前記特徴点解析手段により算出された類似度と、前記関連付け手段により作成された前記関連付けデータの作業前後での一致度とに基づいて、作業前後の前記作業現場の同一性を判定することを特徴とする請求項１又は２に記載の作業前後写真照合システム。
4. 作業前後の前記写真の画像データそれぞれに含まれる文字データを解析し、作業前後の前記写真の画像データに含まれる文字データの一致度を判定する文字照合手段を備えたことを特徴とする請求項１から３の何れか１項に記載の作業前後写真照合システム。
5. 前記画像データに含まれる文字データは、ラベルに記載された、機器を識別する識別情報であることを特徴とする請求項４に記載の作業前後写真照合システム。
6. 前記同一性照合手段により判定された同一性の度合いが所定の閾値以上の場合、作業報告用の書類データを作成する書類作成手段を備えたことを特徴とする請求項１から５の何れか１項に記載の作業前後写真照合システム。

Images