JP2018077837A - 位置認識方法およびシステム、ならびに異常判定方法およびシステム - Google Patents

Abstract

【課題】屋外の対象物に限定されることなく、かつ、ＲＦＩＤ等のセンサ機器を用いることなく対象物の位置を認識する。【解決手段】対象物の画像から対象物の位置を認識する方法は、位置認識する複数の対象物を含む領域の全体を網羅する三次元スキャナ点群データを取得し、該三次元スキャナ点群データから、視点と視線方向ベクトルを付帯した二次元画像を複数抽出した抽出画像データベースを作成し、対象物を撮影して画像を取得し、取得した画像と、抽出画像データベースの抽出画像とのマッチングを行い、抽出画像の視点および視線方向ベクトルの情報を用いて、取得された画像に対応する対象物の三次元スキャナ点群データ上での位置を特定する。【選択図】 図１

Description

本発明は、画像から対象位置を認識する方法およびシステム、ならびに設備の異常を判定する方法およびシステムに関する。

多数の設備を有する工場では、設備点検は重要であるものの、作業負荷との兼ね合いから、全数の充分な点検が実施されているとは言い難い。最重要設備部位についてはセンサ等を取り付け常時監視されている。その他の主要部位は重要度別に定期点検が実施されている。

このように、最重要部位や主要部位については未然に異常を防止することが可能であるが、その他の非主要部位の中には異常が発生してから状況を確認するようなスポット点検部位も存在する。したがって、このような非主要部位についても未然点検を行う方法が望まれている。

設備が主要か否かに関わらず点検を網羅するには、点検を自動化して作業負荷を低減することが望ましい。点検の自動化を実現するには点検対象設備を自動的に特定することが必要となる。

対象設備を自動的に特定する技術としては、特許文献１、２に記載されたものが知られている。

特許文献１の技術では、点検作業員が携帯端末を所持し、携帯端末によって設備の画像、位置情報、画像を撮影した方角を取得し、これらの情報をサーバーに送信する。サーバーでは複数の設備の位置情報を管理しており、携帯端末から送信された情報に基づき、対象物を自動的に特定する。位置情報にはＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）が利用される。

特許文献２の技術では、屋内設備点検の際、プラント内にある管理対象の設備機器にＲＦＩＤなどの電波を発信するセンサ機器を取り付け、点検作業員が携帯端末を所持し、点検結果（チェック結果，画像，音声など）を携帯端末に入力し、設備から発信される電波を受信し、設備機器の位置情報を取得する。次に、携帯端末の位置、向いている方向、角度を携帯端末に備わっている機能により取得し、これらの情報をサーバーに送信する。サーバーではデータベースで管理している位置情報に基づいて携帯端末がどの設備の点検を行ったか特定する。

特開２０１３−２２２３３５号公報 特開２０１４−１４６２１７号公報

特許文献１の技術で提案されている方法はＧＰＳにより位置情報を取得するため、屋内では利用できない。屋内ＧＰＳの設置、利用も考えられるが、広域工場においては設置費用が膨大になって現実的ではない。一方、特許文献２の技術は屋内で適用可能であるが、設備機器の位置情報をＲＦＩＤから取得するため、ＲＦＩＤが取り付けられた主要設備にのみ適用可能な技術である。

したがって、本発明は、屋外の対象物に限定されることなく、かつ、ＲＦＩＤ等のセンサ機器を用いることなく対象物の位置を認識することができる位置認識方法およびシステムを提供することを目的とする。

また、本発明は、屋外の設備に限定されることなく、かつ、ＲＦＩＤ等のセンサ機器を用いることなく設備点検した位置を認識し、設備の異常を判定することができる異常判定方法およびシステムを提供することを目的とする。

上記課題を解決するため、本発明は、以下の（１）〜（３０）を提供する。

（１）対象物の画像から対象物の位置を認識する方法であって、
位置認識する複数の対象物を含む領域の全体を網羅する三次元スキャナ点群データを取得し、
該三次元スキャナ点群データから、視点と視線方向ベクトルを付帯した二次元画像を複数抽出した抽出画像データベースを作成し、
前記対象物を撮影して画像を取得し、
前記取得した画像と、前記抽出画像データベースの抽出画像とのマッチングを行い、
前記抽出画像の視点および視線方向ベクトルの情報を用いて、前記取得された画像に対応する前記対象物の三次元スキャナ点群データ上での位置を特定することを特徴とする位置認識方法。

（２）前記マッチングは、特徴ベースマッチングであることを特徴とする（１）に記載の位置認識方法。

（３）前記対象物を撮影して取得した画像は、可視画像を含むことを特徴とする（１）または（２）に記載の位置認識方法。

（４）前記三次元スキャナ点群データに、別途もしくは同時に撮影した画像を重合することで、前記点群データの座標位置と対応する画像の座標位置の色を取得し、前記点群データの色付けを行うことを特徴とする（１）から（３）のいずれかに記載の位置認識方法。

（５）対象物の画像から対象物の位置を認識する位置認識システムであって、
位置認識する複数の対象物を含む領域の全体を網羅する三次元スキャナ点群データと、前記三次元スキャナ点群データから、視点と視線方向ベクトルを付帯した二次元画像を多数抽出して作成した抽出画像データベースとを有する記憶部と、
前記対象物を撮影して画像を取得する画像撮影機器と、
前記画像撮影機器により取得した画像と、前記抽出画像データベースの抽出画像とのマッチングを行い、前記抽出画像の視点および視線方向ベクトルの情報を用いて、前記取得された画像に対応する前記対象物の三次元点群データ上での位置を特定する演算装置と、
前記特定した対象物の位置を表示する表示装置と
を有することを特徴とする位置認識システム。

（６）前記マッチングは、特徴ベースマッチングであることを特徴とする（５）に記載の位置認識システム。

（７）前記画像撮影機器により取得した画像は、可視画像を含むことを特徴とする（５）または（６）に記載の位置認識システム。

（８）前記三次元スキャナ点群データは、別途もしくは同時に撮影した画像が重合されて、前記点群データの座標位置と対応する画像の座標位置の色が取得され、色付けが行われていることを特徴とする（５）から（７）のいずれかに記載の位置認識システム。

（９）設備を撮影した画像から設備の異常を判定する異常判定方法であって、
点検対象である複数の設備を含む工場全体を網羅する三次元スキャナ点群データを取得し、
該三次元スキャナ点群データから、視点と視線方向ベクトルを付帯した二次元画像を複数抽出した抽出画像データベースを作成し、
前記設備を撮影して画像を取得し、
前記取得した画像と、前記抽出画像データベースの抽出画像とのマッチングを行い、
前記抽出画像の視点および視線方向ベクトルの情報を用いて、前記取得された画像に対応する前記設備の三次元スキャナ点群データ上での位置を特定し、
前記取得した画像と、標準データとを比較し、異常の有無を判定することを特徴とする異常判定方法。

（１０）前記取得した画像は、可視画像のみ、または可視画像と検出しようとする異常に対応する物理パラメータを可視化した画像であり、前記標準データは、前記取得した画像に対応する画像であることを特徴とする（９）に記載の異常判定方法。

（１１）前記物理パラメータを可視化した画像は、熱画像、ガスを可視化した画像、音場を可視化した画像のいずれかであることを特徴とする（１０）に記載の異常判定方法。

（１２）前記マッチングは、特徴ベースマッチングであることを特徴とする（９）から（１１）のいずれかに記載の異常判定方法。

（１３）前記三次元スキャナ点群データに、別途もしくは同時に撮影した画像を重合することで、前記点群データの座標位置と対応する画像の座標位置の色を取得し、前記点群データの色付けを行うことを特徴とする（９）から（１２）のいずれかに記載の異常判定方法。

（１４）設備を撮影した画像から設備の異常を判定する異常判定システムであって、
点検対象である複数の設備を含む工場全体を網羅する三次元スキャナ点群データと、前記三次元スキャナ点群データから、視点と視線方向ベクトルを付帯した二次元画像を多数抽出して作成した抽出画像データベースと、標準データとを有する記憶部と、
前記対象物を撮影して画像を取得する画像撮影機器と、
前記画像撮影機器により取得した画像と、前記抽出画像データベースの抽出画像とのマッチングを行い、前記抽出画像の視点および視線方向ベクトルの情報を用いて、前記取得された画像に対応する前記設備の三次元点群データ上での位置を特定するとともに、前記取得した画像と、前記標準データとを比較し、異常の有無を判定するする演算装置と、
前記特定した対象物の位置、および異常の有無を表示する表示装置と
を有することを特徴とする異常判定システム。

（１５）前記画像撮影機器は、可視画像のみ、または可視画像と検出しようとする異常に対応する物理パラメータを可視化した画像を撮影し、前記標準データは、前記画像撮影機器により撮影した画像に対応する画像であることを特徴とする（１４）に記載の異常判定システム。

（１６）前記物理パラメータを可視化した画像は、熱画像、ガスを可視化した画像、音場を可視化した画像のいずれかであることを特徴とする（１５）に記載の異常判定システム。

（１７）前記マッチングは、特徴ベースマッチングであることを特徴とする（１４）から（１６）のいずれかに記載の異常判定システム。

（１８）前記三次元スキャナ点群データは、別途もしくは同時に撮影した画像が重合されて、前記点群データの座標位置と対応する画像の座標位置の色が取得され、色付けが行われていることを特徴とする（１４）から（１７）のいずれかに記載の異常判定システム。

（１９）対象物の画像から対象物の位置を認識する方法であって、
位置認識する複数の対象物を含む領域の全体を網羅する三次元スキャナ点群データを取得し、
該三次元スキャナ点群データから、視点と視線方向ベクトルを付帯した二次元画像を複数抽出した抽出画像データベースを作成し、
前記対象物を撮影して画像を取得し、
前記取得した画像と、前記抽出画像データベースの抽出画像との特徴ベースマッチングを行い、
前記抽出画像の視点および視線方向ベクトルの情報を用いて、前記取得された画像に対応する前記対象物の三次元スキャナ点群データ上での位置を特定し、
前記三次元スキャナ点群データから抽出画像データベースを作成するに際し、前記三次元スキャナ点群データにおいて、視点と視線方向ベクトルを付帯した二次元画像を離散的に２枚以上指定し、分割長さ、視線方向変化量、分割数の少なくとも１つを指定して、離散的な二次元画像間を補完する画像群を得て抽出画像データベースにし、
前記三次元スキャナ点群データに、別途もしくは同時に撮影した画像を重合することで、前記三次元スキャナ点群データの座標位置と対応する画像の座標位置の色を取得し、前記三次元スキャナ点群データの色付けを行うことを特徴とする位置認識方法。

（２０）前記対象物が工場内設備であることを特徴とする（１９）に記載の位置認識方法。

（２１）対象物の画像から対象物の位置を認識する位置認識システムであって、
位置認識する複数の対象物を含む領域の全体を網羅する三次元スキャナ点群データと、前記三次元スキャナ点群データから、視点と視線方向ベクトルを付帯した二次元画像を多数抽出して作成した抽出画像データベースとを有する記憶部と、
前記対象物を撮影して画像を取得する画像撮影機器と、
前記画像撮影機器により取得した画像と、前記抽出画像データベースの抽出画像との特徴ベースマッチングを行い、前記抽出画像の視点および視線方向ベクトルの情報を用いて、前記取得された画像に対応する前記対象物の三次元点群データ上での位置を特定する演算装置と、
前記特定した対象物の位置を表示する表示装置と
を有し、
前記抽出画像データベースは、前記三次元スキャナ点群データにおいて、視点と視線方向ベクトルを付帯した二次元画像を離散的に２枚以上指定し、分割長さ、視線方向変化量、分割数の少なくとも１つを指定して、離散的な二次元画像間を補完する画像群を得て作成され、
前記三次元スキャナ点群データは、別途もしくは同時に撮影した画像が重合されて、前記三次元スキャナ点群データの座標位置と対応する画像の座標位置の色が取得され、色付けが行われていることを特徴とする位置認識システム。

（２２）前記対象物が工場内設備であることを特徴とする（２１）に記載の位置認識システム。

（２３）工場内設備を撮影した画像から設備の異常を判定する異常判定方法であって、
点検対象である複数の設備を含む工場全体を網羅する三次元スキャナ点群データを取得し、
該三次元スキャナ点群データから、視点と視線方向ベクトルを付帯した二次元画像を複数抽出した抽出画像データベースを作成し、
前記設備を撮影して画像を取得し、
前記取得した画像と、前記抽出画像データベースの抽出画像との特徴ベースマッチングを行い、
前記抽出画像の視点および視線方向ベクトルの情報を用いて、前記取得された画像に対応する前記設備の三次元スキャナ点群データ上での位置を特定し、
前記取得した画像と、標準データとを比較し、異常の有無を判定し、
前記三次元スキャナ点群データから抽出画像データベースを作成するに際し、前記三次元スキャナ点群データにおいて、視点と視線方向ベクトルを付帯した二次元画像を離散的に２枚以上指定し、分割長さ、視線方向変化量、分割数の少なくとも１つを指定して、離散的な二次元画像間を補完する画像群を得て抽出画像データベースにし、
前記三次元スキャナ点群データに、別途もしくは同時に撮影した画像を重合することで、前記三次元スキャナ点群データの座標位置と対応する画像の座標位置の色を取得し、前記三次元スキャナ点群データの色付けを行うことを特徴とする異常判定方法。

（２４）前記取得した画像は、可視画像のみ、または可視画像と検出しようとする異常に対応する物理パラメータを可視化した画像であり、前記標準データは、前記取得した画像に対応する画像であることを特徴とする（２３）に記載の異常判定方法。

（２５）前記物理パラメータを可視化した画像は、熱画像、ガスを可視化した画像、音場を可視化した画像のいずれかであることを特徴とする（２４）に記載の異常判定方法。

（２６）前記三次元スキャナ点群データに行う色付けが、温度、ガス濃度、音場強度に対応することを特徴とする（２５）に記載の異常判定方法。

（２７）工場内設備を撮影した画像から設備の異常を判定する異常判定システムであって、
点検対象である複数の設備を含む工場全体を網羅する三次元スキャナ点群データと、前記三次元スキャナ点群データから、視点と視線方向ベクトルを付帯した二次元画像を多数抽出して作成した抽出画像データベースと、標準データとを有する記憶部と、
前記対象物を撮影して画像を取得する画像撮影機器と、
前記画像撮影機器により取得した画像と、前記抽出画像データベースの抽出画像とのマッチングを行い、前記抽出画像の視点および視線方向ベクトルの情報を用いて、前記取得された画像に対応する前記設備の三次元点群データ上での位置を特定するとともに、前記取得した画像と、前記標準データとを比較し、異常の有無を判定するする演算装置と、
前記特定した対象物の位置、および異常の有無を表示する表示装置と
を有し、
前記抽出画像データベースは、前記三次元スキャナ点群データにおいて、視点と視線方向ベクトルを付帯した二次元画像を離散的に２枚以上指定し、分割長さ、視線方向変化量、分割数の少なくとも１つを指定して、離散的な二次元画像間を補完する画像群を得て作成され、
前記三次元スキャナ点群データは、別途もしくは同時に撮影した画像が重合されて、前記三次元スキャナ点群データの座標位置と対応する画像の座標位置の色が取得され、色付けが行われていることを特徴とする異常判定システム。

（２８）前記画像撮影機器は、可視画像のみ、または可視画像と検出しようとする異常に対応する物理パラメータを可視化した画像を撮影し、前記標準データは、前記画像撮影機器により撮影した画像に対応する画像であることを特徴とする（２７）に記載の異常判定システム。

（２９）前記物理パラメータを可視化した画像は、熱画像、ガスを可視化した画像、音場を可視化した画像のいずれかであることを特徴とする（２８）に記載の異常判定システム。

（３０）前記三次元スキャナ点群データに行う色付けが、温度、ガス濃度、音場強度に対応することを特徴とする（２９）に記載の異常判定システム。

本発明によれば、屋外の対象物に限定されることなく、かつ、ＲＦＩＤ等のセンサ機器を用いることなく対象物の位置を自動的に認識することができる。また、屋外の設備に限定されることなく、かつ、ＲＦＩＤ等のセンサ機器を用いることなく自動的に設備点検した位置を認識し、設備の異常を判定することができる。

本発明における位置認識の原理を説明するための概念図である。 図１の位置認識原理を用いた位置認識システムの基本構成を示すブロック図である。 位置認識システムの処理フローを示すフローチャートである。 異常判定システムの一例を示すブロック図である。 異常判定システムの処理フローを示すフローチャートである。 異常検判定具体例として、熱画像から温度異常を判別する際の画像間のマッチングを説明するための図である。

以下、添付図面を参照して本発明の実施の形態について説明する。

＜位置認識の原理＞
最初に、本発明における位置認識の原理について説明する。
図１は、本発明における位置認識の原理を説明するための概念図である。本発明では、位置認識する複数の対象物、例えば複数の点検設備を含む領域（例えば工場等）の全体を網羅する三次元（３Ｄ）スキャナ点群データ１００を、対象物を特定するための情報データベースとして取得してサーバーに格納し、その３Ｄスキャナ点群データ１００から、視点と視線方向ベクトルを付帯した二次元（２Ｄ）画像を多数抽出した抽出画像データベース１１０を作成する。そして、位置認識する対象物を携帯端末やデジタルカメラ等の画像撮影機器で作業者やロボットが撮影して複数の画像（画像Ａ、画像Ｂ、画像Ｃ、画像Ｄ・・・）からなる画像群１２０を取得する。

取得した画像群１２０の個々の画像と、抽出画像データベース１１０の個々の抽出画像とのマッチングを行う。これらはいずれも２Ｄ画像であるため、マッチングが可能である。マッチングは特徴ベースマッチングが好適である。例えば取得された画像Ａと抽出画像Ａ′とがマッチングしたとすると、抽出画像Ａ′の視点および視線方向ベクトルの情報を用いて、取得された画像Ａの３Ｄ点群データ座標上での位置を特定することができる。

これにより、屋外の対象物に限定されることなく、かつ、ＲＦＩＤ等のセンサ機器を用いることなく自動的に対象物の位置を認識することができる。対象物としては、特に工場内設備が好適である。

＜位置認識システム＞
次に、以上のような位置認識原理を用いた位置認識システムの基本構成について説明する。
図２は、位置認識システムの基本構成を示すブロック図である。位置認識システム１０は、サーバー１と、画像撮影機器２とを有している。

サーバー１は、データベース（記憶部）３と、演算装置４と、表示装置５を有している。

画像撮影機器２は、携帯端末やデジタルカメラ等の可視画像を撮影するものであり、有線または無線でサーバー１に接続されている。画像撮影機器２により、位置認識する対象である複数の対象物の撮影が行われ複数の画像が取得される。画像撮影機器２による撮影は、作業者またはロボットにより行われる。画像撮影機器２で取得された画像は、サーバー１に入力される。

データベース３は、位置認識する複数の対象物を含む領域の全体を網羅する３Ｄスキャナ点群データ６と、３Ｄスキャナ点群データ６から、視点と視線方向ベクトルを付帯した２Ｄ画像を多数抽出して作成した抽出画像データベース７とを有する。

３Ｄスキャナ点群データ６を用いるのは、ＣＡＤのような図面情報では、長年の操業の間に設備更新等により変更している場合があり、３Ｄスキャナによる実測ではそのようなおそれがないからである。３Ｄスキャナ点群データに、別途もしくは同時に撮影した画像を重合することで、点群データの座標位置と対応する画像の座標位置の色を取得し、点群データの色付けを行うことができ、３Ｄモデルとして出力される。このため、実物を忠実に再現することが可能である。重合される画像としては、一般的にはデジタルカメラ等で撮影した可視画像が用いられる。熱画像、ガスを可視化した画像、音場を可視化した画像やその他の物理量を可視化した画像を用いることもできる。

抽出画像データベース７は、３Ｄの点群データから自由な角度で多数の画像を取得し、データベースとしたものである。例えば、３Ｄ点群データの３Ｄモデル上で位置と向きを複数設定し、設定をつなぎ合わせることで軌跡を作成することができ、軌跡に沿った動画もしくは連続した静止画を作成可能であり、これらを画像データベースとすることができる。３Ｄスキャナから取得した画像には、点群データ上の座標系において、画像を見ている視点座標と視線方向ベクトルが付帯される。

対象物を撮影した取得画像とのマッチングを精度よく行うためには、三次元スキャナ点群データからの抽出画像データベース７は充分な枚数が必要である。しかしながら、手動で一枚一枚視点と視線を変更して保存するには労力が必要である。一方、ある規則に沿って機械的に抽出すると無駄に多くの画像を得るため、マッチング時の負荷が高くなる。設備の点検を考えた場合、設備に視線を向けた画像であれば良い。したがって、抽出画像の効率的な作成方法として、例えば、工場における作業通路、物流フロー、長尺設備等に沿った画像を離散的に複数枚指定する。分割長さ、視線方向変化量、分割数の少なくとも１つを指定して、離散的な画像間を補完する画像を得る。このような抽出画像の生成により、無駄なく必要な枚数の抽出画像を得ることができる。このような方法は、対象物が工場内設備のような、人が歩いて見て回る程度の大きさの場合に有効であると考えられる。

具体的な抽出画像データベース７の作成方法は、例えば、三次元点群データをコンピュータの表示画面閲覧し、自由に拡大縮小、移動、回転の操作を行い、所望の設備部位が確認できる画像を決める。このとき三次元スキャナ点群データの座標系から見た視点と視線ベクトルは一意に決定される。所望する設備部位が確認できる画像を複数指定し、指定画像をつなぎ合わせることで軌跡を作成することができ、指定した分割長さ、視線方向変化量、分割数に従って連続した静止画が作成可能であり、これらを画像データベースとすることができる。

演算装置４では、画像撮影機器２により取得した取得画像と、抽出画像データベース７の３Ｄ点群データから抽出した多数の抽出画像とのマッチングを行う。マッチングの手法としては、事前にテンプレートを準備しておく領域ベースマッチングは、画像の変形に弱く、かつ主要設備か否かに関わらずテンプレートを準備しておくことは難しいため、特徴ベースマッチングを用いることが好ましい。特徴ベースマッチングは、画像からエッジやコーナー等の特徴点を抽出し、その周囲の領域から特徴量を計算することで画像間のマッチングを行うものであり、例えばＫＡＺＥといったアルゴリズムが利用可能である。画像間のマッチング後、マッチングした抽出画像の視点および視線方向ベクトルの情報を用いて、取得された画像の３Ｄ点群データ座標上での位置が特定される。表示装置５では、その取得された画像に対応する対象物の３Ｄ点群データ座標上での位置が表示される。

＜位置認識システムの処理フロー＞
次に、以上のような位置認識システムの処理フローについて説明する。
図３は位置認識システムの処理フローを示すフローチャートである。
最初に作業員またはロボットが画像撮影機器２により位置認識する対象物を撮影して複数の画像を取得する（ステップ１）。

次いで、ステップ１で取得した取得画像を有線または無線によりサーバー１に入力する（ステップ２）。

サーバー１に入力された複数の取得画像と、抽出画像データベース７の３Ｄスキャナ点群データ６から抽出された複数の抽出画像間のマッチングを行う（ステップ３）。

画像間のマッチング後、マッチングした抽出画像の視点および視線方向ベクトルの情報を用いて、取得画像に対応する対象物の３Ｄ点群データ座標上での位置を特定する（ステップ４）。そして、特定した対象物の位置を表示し、必要に応じて記録する（ステップ５）。

これにより、屋外の対象物に限定されることなく、かつ、ＲＦＩＤ等のセンサ機器を用いることなく対象物の位置を自動的に認識することができる。

＜異常判定方法＞
次に、以上のような位置認識の原理を用いた異常判定方法およびシステムについて説明する。

多数の設備を有する工場では、主要設備か否かに関わらず点検をする必要がある。この場合に、すべてにセンサ等を取り付け常時監視することは非現実的である。一方、全ての設備を定期点検として点検作業員がチェックすることも作業負荷を考えると難しい。したがって、広域を網羅できる画像を活用する手法により点検し、異常を検出する。

設備を網羅するよう多数の画像を取得するために、点検作業員が巡回しながら、流し撮りしたり、動画として記録したりして画像を取得する。あるいは点検ロボットが巡回して画像を取得する。

このとき、画像を取得した対象設備がどの設備かを自動的に特定する必要があり、そのため、対象設備の位置認識が必要である。

そこで、上述した位置認識手法を用いて対象設備の位置認識を行った上で、その対象設備を点検して異常判定を行う。

対象設備の取得画像は、異常を検出するためのものであり、検出しようとする異常に対応するパラメータを含む画像を用いる。水漏れや亀裂など外観に変化がある異常を検出する場合は、上記位置認識の場合と同様、携帯端末やデジタルカメラで撮影される可視画像のみであってよい。この場合は、上述のような手法により画像間のマッチングを行って、取得画像の位置を特定し、取得画像から異常の有無を判定すればよい。このとき３Ｄスキャナ点群データは点検したい工場全体を網羅するようにする。

実際の設備点検では、温度異常、異臭、異音等で判断することも多い。この場合は、点検設備の取得画像としては、検出しようとする異常に応じて、可視画像の他に、熱画像、ガスを可視化した画像、音場を可視化した画像等、温度、ガス濃度、音場強度等の物理量を可視化した画像を取得する。

可視画像以外では、特徴ベースマッチングを直接行うことが困難であるので、熱画像、ガスを可視化した画像、音場を可視化した画像等と同時に取得した可視画像により特徴ベースマッチングを行い、対象設備を特定し、異常の有無に関しては、対応する熱画像、ガスを可視化した画像、音場を可視化した画像等と別途サーバーに記憶された標準画像とを比較し判別することが好ましい。または熱画像、ガスを可視化した画像、音場を可視化した画像等と可視画像を重ね合わせた画像を取得することが可能であり、重ね合わせた画像で特徴ベースマッチングを行うことも可能である。熱画像、ガスを可視化した画像、音場を可視化した画像等の画像データベースは、３Ｄスキャナの点群データ（可視画像データ）と関連付けた状態で、別個のデータベースとして保有してもよいし、３Ｄスキャナ点群データ上に熱画像、ガスを可視化した画像、音場を可視化した画像等により、温度、ガス濃度、音場強度等に対応して色付けを行った状態で保有しても構わない。

＜異常判定システム＞
次に、異常判定システムについて説明する。
図４は、異常判定システムの一例を示すブロック図である。異常判定システム２０は、基本的に図２の位置認識システムと同様の構成を有し、サーバー１１と、画像撮影機器１２とを有している。

サーバー１１は、データベース１３と、演算装置１４と、表示装置１５を有している。

画像撮影機器１２は、検出しようとする異常に対応するパラメータを含む画像を撮影できるものを用いる。水漏れや亀裂など外観に変化がある異常を検出する場合は可視画像を用いればよいので、画像撮影機器１２としては、携帯端末やデジタルカメラ等の可視画像を撮影するものを用いる。実際の設備点検では、温度異常、異臭、異音等で異常の有無を判断することが多いが、その場合は、画像撮影機器１２として、熱画像を撮影する赤外線サーモグラフィや、音源を可視化する音源可視化装置等を用いる。これらは、熱画像等と同時に可視画像を撮影することができる。

データベース１３は、位置認識する複数の対象物を含む領域の全体を網羅する３Ｄスキャナ点群データ１６と、３Ｄスキャナ点群データ１６から、視点と視線方向ベクトルを付帯した画像を多数抽出して作成した抽出画像データベース１７と、抽出画像データベース１７に関連付けられた可視画像データベース１９と、温度等の物理量画像データベース１８を有する。画像撮影機器１２で熱画像等と可視画像を重ね合わせた画像として撮影した場合には、可視画像データベース１９と温度等の物理量画像データベース１８はひとつに集約することができる。３Ｄスキャナ点群データ上に熱画像等による色付けを行った状態で熱画像等を保有する場合は、可視画像データベース１９および温度等の物理量画像データベース１８は不要である。

演算装置１４では、画像撮影機器１２により取得した取得画像と、可視画像データベース１９の画像とのマッチングを行う。上述したようにマッチングの手法としては、特徴ベースマッチングを用いることが好ましい。可視画像以外では、特徴ベースマッチングを直接行うことが困難であるので、熱画像等と同時に取得した可視画像により特徴ベースマッチングを行い、対象設備を特定し、異常の有無に関しては対応する熱画像等と標準画像（温度等の物理量画像データベース１８に格納された画像）とを比較し判別することが好ましい。可視画像データベース１９の画像と抽出画像のデータベース１７の画像は事前に特徴ベースマッチングで関連付けを実施しておくことで、画像撮影機器１２により取得した取得可視画像と、可視画像データベース１９の画像間のマッチング後、可視画像データベース１９の画像に関連付けられた抽出画像の視点および視線方向ベクトルの情報を用いて、取得された画像の３Ｄ点群データ座標上での位置が特定される。また、演算装置１４では、取得画像に異常があるか否かを判定する。表示装置１５では、取得された画像の３Ｄ点群データ座標上での位置が表示され、かつその画像の設備の異常の有無を表示する。

＜異常判定システムの処理フロー＞
次に、以上のような異常判定システムの処理フローについて説明する。
図５は異常判定システムの処理フローを示すフローチャートである。
最初に作業員またはロボットが画像撮影機器１２により検査対象設備を撮影して複数の画像を取得する（ステップ１１）。このとき、検出しようとする異常に対応して、可視画像、または、熱画像、ガスを可視化した画像、音場を可視化した画像等の物理量を可視化した画像を可視画像とともに取得する。

次いで、ステップ１１で取得した取得画像を有線または無線によりサーバー１１に入力する（ステップ１２）。

サーバー１１に入力された複数の取得画像と、可視画像データベース１９の画像間のマッチングを行う（ステップ１３）。

マッチングした可視画像から事前にマッチングの手法により関連付けられた抽出画像データベース１７の３Ｄスキャナ点群データ１６から抽出された抽出画像を得る（ステップ１４）。

マッチングした抽出画像の視点および視線方向ベクトルの情報を用いて、取得された画像の３Ｄ点群データ座標上での位置を特定する（ステップ１５）。

点検した画像（熱画像等他の物理量の画像を含む）とデータベース上に保有する標準データとを比較し、異常の有無を判別する（ステップ１６）。

そして、点検した画像の対象設備位置と異常の有無を表示し、必要に応じて記録する（ステップ１７）。

これにより、屋外の設備に限定されることなく、かつ、ＲＦＩＤ等のセンサ機器を用いることなく自動的に設備点検した位置を認識し、設備の異常を判定することができる。

＜具体例＞
次に、本実施形態の異常判定の具体例として、熱画像から温度異常を判別する場合について説明する。
図６はその際の画像間のマッチングを説明するための図である。図６に示すように、本例では、点検画像として、作業員またはロボットが工場を巡回して、赤外線サーモグラフィにより、熱画像および同時に取得した可視画像のセットである複数の画像（画像Ａ、画像Ｂ、画像Ｃ、画像Ｄ・・・）からなる画像群２３０を取得する。一方、温度異常を判定する際の基準となる標準画像データベースとして熱画像と可視画像のセットである複数の画像（画像Ａ″・・・、画像Ｙ″、画像Ｚ″）からなる画像群２２０をサーバーに格納する。そして３Ｄスキャナ点群データ２００を、対象物を特定するための情報データベースとしてサーバーに格納し、その３Ｄスキャナ点群データ２００から、視点と視線方向ベクトルを付帯した多数の２Ｄ点群画像（画像Ａ′・・・、画像Ｙ′、画像Ｚ′）を抽出した抽出画像データベース２１０を作成する。この２Ｄ点群画像データベースは可視画像に対応するものとする。

最初に、点検画像（画像Ａ、画像Ｂ、画像Ｃ、画像Ｄ・・・）の可視画像と標準画像データベース（画像群２２０の画像Ａ″・・・、画像Ｙ″、画像Ｚ″）の可視画像間の特徴ベースマッチングを行う。

このとき、点検画像を標準画像に重ね合せ可能にするため、ホモグラフィ変換行列を求める。ホモグラフィ変換は、画像の回転、平行移動、拡大縮小、台形状の変換が可能である。特徴ベースマッチングの妥当性とホモグラフィ変換の妥当性から適切と思われる点検画像と標準画像の対を決定し、点検画像（可視画像および熱画像）に対してホモグラフィ変換を適用する。なお、ホモグラフィ変換は、点検画像の代わりに標準画像に対して適用しても構わない。

特徴ベースマッチングの妥当性は、例えば比較画像間で特徴量のユークリッド距離を算出し、その距離により判定する。すなわち、ユークリッド距離が短いほど対応関係が良く、特徴ベースマッチングの妥当性が高いと判定される。ホモグラフィ変換は、例えば画像四隅を変換し、その両対角線が交差しない（凸の四角形にならない）場合は無効であり、画像四隅の移動量が最小の物が高い妥当性を有すると考えられる。

ホモグラフィ変換した点検熱画像と標準熱画像の差分を取るが、その前に環境温度の影響を排除しておく必要がある。例えば冬場に撮影した熱画像と夏場に撮影した熱画像をそのまま比較することはできない。例えば、画像中の温度の最小値を環境温度として０℃に規格化するとか、画像中の温度の５０％刈込平均を求め、環境温度として０℃に規格化する方法がある。環境温度の影響を排除して規格化した温度に調整した後、点検熱画像と標準熱画像の差分計算を行う。

差分を取る際に、点検熱画像と標準熱画像の重ね合せが少しでもずれると温度差分が過剰に評価されてしまう問題がある。そこで、差分値をタイリング（例えば９近傍、自身と周りのピクセル３×３ピクセルで平均化）して評価したり、差分を取る前にタイリング（例えば９近傍平均）して評価したりする方法がある。あるいは、高温部の検出が目的であれば、ある閾値より高温の領域を判定して、領域毎の最高温度同士を点検熱画像と標準熱画像で比較してもよい。また、標準熱画像について９近傍の最大値で置き換えてから点検熱画像と差分を取ってもよい。差分がある規定値以上であれば、異常として警報を出しても良いし、差分を経時的に記録して傾向管理を行うこともできる。

標準画像（画像群２２０）の可視画像と３Ｄスキャナ点群データから抽出した２Ｄ点群画像（抽出画像データベース２１０）と特徴ベースマッチングを事前に行う（例えば可視画像である画像Ａ′と画像Ａ″の可視画像がマッチング）。そして、次に点検画像と標準画像の特徴ベースマッチングを行い、点検画像と基準画像とがマッチングすれば（例えば、画像Ａと画像Ａ″がマッチング）、自動的に２Ｄ点群画像（抽出画像データベース２１０）と点検画像（画像群２３０）との対応付けが行われ、視点、視線から３Ｄスキャナ点群データ上で点検位置が確認可能となる。

＜他の適用＞
以上、本発明の実施形態について説明してきたが、これらはあくまで例示に過ぎず、本発明の思想の範囲内で種々変更可能で種々変更可能であることは、いうまでもない。

例えば、上記実施形態では、工場内で設備点検を行って異常検出する際の設備位置を確認する方法およびシステムに本発明を適用した場合について示したが、本発明はこれに限定されるものではなく、点検記録として利用したり、行動把握に利用する等、画像から対象位置を認識するものであれば適用可能である。

１，１１ サーバー
２，１２ 画像撮影機器
３，１３ データベース
４，１４ 演算装置
５，１５ 表示装置
６，１６ ３Ｄスキャナ点群データ
７，１７ 点群から抽出した画像データベース
１０ 位置認識システム
１８ 温度等の物理量画像データベース
１９ 可視画像データベース
２０ 異常判定システム
１００，２００ ３Ｄスキャナ点群データ
１１０，２１０ 抽出画像データベース
２２０ 標準画像データベースとなる画像群
２３０ 撮影した画像の画像群

Claims (30)

1. 対象物の画像から対象物の位置を認識する方法であって、
   位置認識する複数の対象物を含む領域の全体を網羅する三次元スキャナ点群データを取得し、
   該三次元スキャナ点群データから、視点と視線方向ベクトルを付帯した二次元画像を複数抽出した抽出画像データベースを作成し、
   前記対象物を撮影して画像を取得し、
   前記取得した画像と、前記抽出画像データベースの抽出画像とのマッチングを行い、
   前記抽出画像の視点および視線方向ベクトルの情報を用いて、前記取得された画像に対応する前記対象物の三次元スキャナ点群データ上での位置を特定することを特徴とする位置認識方法。
2. 前記マッチングは、特徴ベースマッチングであることを特徴とする請求項１に記載の位置認識方法。
3. 前記対象物を撮影して取得した画像は、可視画像を含むことを特徴とする請求項１または請求項２に記載の位置認識方法。
4. 前記三次元スキャナ点群データに、別途もしくは同時に撮影した画像を重合することで、前記点群データの座標位置と対応する画像の座標位置の色を取得し、前記点群データの色付けを行うことを特徴とする請求項１から請求項３のいずれか１項に記載の位置認識方法。
5. 対象物の画像から対象物の位置を認識する位置認識システムであって、
   位置認識する複数の対象物を含む領域の全体を網羅する三次元スキャナ点群データと、前記三次元スキャナ点群データから、視点と視線方向ベクトルを付帯した二次元画像を多数抽出して作成した抽出画像データベースとを有する記憶部と、
   前記対象物を撮影して画像を取得する画像撮影機器と、
   前記画像撮影機器により取得した画像と、前記抽出画像データベースの抽出画像とのマッチングを行い、前記抽出画像の視点および視線方向ベクトルの情報を用いて、前記取得された画像に対応する前記対象物の三次元点群データ上での位置を特定する演算装置と、
   前記特定した対象物の位置を表示する表示装置と
   を有することを特徴とする位置認識システム。
6. 前記マッチングは、特徴ベースマッチングであることを特徴とする請求項５に記載の位置認識システム。
7. 前記画像撮影機器により取得した画像は、可視画像を含むことを特徴とする請求項５または請求項６に記載の位置認識システム。
8. 前記三次元スキャナ点群データは、別途もしくは同時に撮影した画像が重合されて、前記点群データの座標位置と対応する画像の座標位置の色が取得され、色付けが行われていることを特徴とする請求項５から請求項７のいずれか１項に記載の位置認識システム。
9. 設備を撮影した画像から設備の異常を判定する異常判定方法であって、
   点検対象である複数の設備を含む工場全体を網羅する三次元スキャナ点群データを取得し、
   該三次元スキャナ点群データから、視点と視線方向ベクトルを付帯した二次元画像を複数抽出した抽出画像データベースを作成し、
   前記設備を撮影して画像を取得し、
   前記取得した画像と、前記抽出画像データベースの抽出画像とのマッチングを行い、
   前記抽出画像の視点および視線方向ベクトルの情報を用いて、前記取得された画像に対応する前記設備の三次元スキャナ点群データ上での位置を特定し、
   前記取得した画像と、標準データとを比較し、異常の有無を判定することを特徴とする異常判定方法。
10. 前記取得した画像は、可視画像のみ、または可視画像と検出しようとする異常に対応する物理パラメータを可視化した画像であり、前記標準データは、前記取得した画像に対応する画像であることを特徴とする請求項９に記載の異常判定方法。
11. 前記物理パラメータを可視化した画像は、熱画像、ガスを可視化した画像、音場を可視化した画像のいずれかであることを特徴とする請求項１０に記載の異常判定方法。
12. 前記マッチングは、特徴ベースマッチングであることを特徴とする請求項９から請求項１１のいずれか１項に記載の異常判定方法。
13. 前記三次元スキャナ点群データに、別途もしくは同時に撮影した画像を重合することで、前記点群データの座標位置と対応する画像の座標位置の色を取得し、前記点群データの色付けを行うことを特徴とする請求項９から請求項１２のいずれか１項に記載の異常判定方法。
14. 設備を撮影した画像から設備の異常を判定する異常判定システムであって、
    点検対象である複数の設備を含む工場全体を網羅する三次元スキャナ点群データと、前記三次元スキャナ点群データから、視点と視線方向ベクトルを付帯した二次元画像を多数抽出して作成した抽出画像データベースと、標準データとを有する記憶部と、
    前記対象物を撮影して画像を取得する画像撮影機器と、
    前記画像撮影機器により取得した画像と、前記抽出画像データベースの抽出画像とのマッチングを行い、前記抽出画像の視点および視線方向ベクトルの情報を用いて、前記取得された画像に対応する前記設備の三次元点群データ上での位置を特定するとともに、前記取得した画像と、前記標準データとを比較し、異常の有無を判定するする演算装置と、
    前記特定した対象物の位置、および異常の有無を表示する表示装置と
    を有することを特徴とする異常判定システム。
15. 前記画像撮影機器は、可視画像のみ、または可視画像と検出しようとする異常に対応する物理パラメータを可視化した画像を撮影し、前記標準データは、前記画像撮影機器により撮影した画像に対応する画像であることを特徴とする請求項１４に記載の異常判定システム。
16. 前記物理パラメータを可視化した画像は、熱画像、ガスを可視化した画像、音場を可視化した画像のいずれかであることを特徴とする請求項１５に記載の異常判定システム。
17. 前記マッチングは、特徴ベースマッチングであることを特徴とする請求項１４から請求項１６のいずれか１項に記載の異常判定システム。
18. 前記三次元スキャナ点群データは、別途もしくは同時に撮影した画像が重合されて、前記点群データの座標位置と対応する画像の座標位置の色が取得され、色付けが行われていることを特徴とする請求項１４から請求項１７のいずれか１項に記載の異常判定システム。
19. 対象物の画像から対象物の位置を認識する方法であって、
    位置認識する複数の対象物を含む領域の全体を網羅する三次元スキャナ点群データを取得し、
    該三次元スキャナ点群データから、視点と視線方向ベクトルを付帯した二次元画像を複数抽出した抽出画像データベースを作成し、
    前記対象物を撮影して画像を取得し、
    前記取得した画像と、前記抽出画像データベースの抽出画像との特徴ベースマッチングを行い、
    前記抽出画像の視点および視線方向ベクトルの情報を用いて、前記取得された画像に対応する前記対象物の三次元スキャナ点群データ上での位置を特定し、
    前記三次元スキャナ点群データから抽出画像データベースを作成するに際し、前記三次元スキャナ点群データにおいて、視点と視線方向ベクトルを付帯した二次元画像を離散的に２枚以上指定し、分割長さ、視線方向変化量、分割数の少なくとも１つを指定して、離散的な二次元画像間を補完する画像群を得て抽出画像データベースにし、
    前記三次元スキャナ点群データに、別途もしくは同時に撮影した画像を重合することで、前記三次元スキャナ点群データの座標位置と対応する画像の座標位置の色を取得し、前記三次元スキャナ点群データの色付けを行うことを特徴とする位置認識方法。
20. 前記対象物が工場内設備であることを特徴とする請求項１９に記載の位置認識方法。
21. 対象物の画像から対象物の位置を認識する位置認識システムであって、
    位置認識する複数の対象物を含む領域の全体を網羅する三次元スキャナ点群データと、前記三次元スキャナ点群データから、視点と視線方向ベクトルを付帯した二次元画像を多数抽出して作成した抽出画像データベースとを有する記憶部と、
    前記対象物を撮影して画像を取得する画像撮影機器と、
    前記画像撮影機器により取得した画像と、前記抽出画像データベースの抽出画像との特徴ベースマッチングを行い、前記抽出画像の視点および視線方向ベクトルの情報を用いて、前記取得された画像に対応する前記対象物の三次元点群データ上での位置を特定する演算装置と、
    前記特定した対象物の位置を表示する表示装置と
    を有し、
    前記抽出画像データベースは、前記三次元スキャナ点群データにおいて、視点と視線方向ベクトルを付帯した二次元画像を離散的に２枚以上指定し、分割長さ、視線方向変化量、分割数の少なくとも１つを指定して、離散的な二次元画像間を補完する画像群を得て作成され、
    前記三次元スキャナ点群データは、別途もしくは同時に撮影した画像が重合されて、前記三次元スキャナ点群データの座標位置と対応する画像の座標位置の色が取得され、色付けが行われていることを特徴とする位置認識システム。
22. 前記対象物が工場内設備であることを特徴とする請求項２１に記載の位置認識システム。
23. 工場内設備を撮影した画像から設備の異常を判定する異常判定方法であって、
    点検対象である複数の設備を含む工場全体を網羅する三次元スキャナ点群データを取得し、
    該三次元スキャナ点群データから、視点と視線方向ベクトルを付帯した二次元画像を複数抽出した抽出画像データベースを作成し、
    前記設備を撮影して画像を取得し、
    前記取得した画像と、前記抽出画像データベースの抽出画像との特徴ベースマッチングを行い、
    前記抽出画像の視点および視線方向ベクトルの情報を用いて、前記取得された画像に対応する前記設備の三次元スキャナ点群データ上での位置を特定し、
    前記取得した画像と、標準データとを比較し、異常の有無を判定し、
    前記三次元スキャナ点群データから抽出画像データベースを作成するに際し、前記三次元スキャナ点群データにおいて、視点と視線方向ベクトルを付帯した二次元画像を離散的に２枚以上指定し、分割長さ、視線方向変化量、分割数の少なくとも１つを指定して、離散的な二次元画像間を補完する画像群を得て抽出画像データベースにし、
    前記三次元スキャナ点群データに、別途もしくは同時に撮影した画像を重合することで、前記三次元スキャナ点群データの座標位置と対応する画像の座標位置の色を取得し、前記三次元スキャナ点群データの色付けを行うことを特徴とする異常判定方法。
24. 前記取得した画像は、可視画像のみ、または可視画像と検出しようとする異常に対応する物理パラメータを可視化した画像であり、前記標準データは、前記取得した画像に対応する画像であることを特徴とする請求項２３に記載の異常判定方法。
25. 前記物理パラメータを可視化した画像は、熱画像、ガスを可視化した画像、音場を可視化した画像のいずれかであることを特徴とする請求項２４に記載の異常判定方法。
26. 前記三次元スキャナ点群データに行う色付けが、温度、ガス濃度、音場強度に対応することを特徴とする請求項２５に記載の異常判定方法。
27. 工場内設備を撮影した画像から設備の異常を判定する異常判定システムであって、
    点検対象である複数の設備を含む工場全体を網羅する三次元スキャナ点群データと、前記三次元スキャナ点群データから、視点と視線方向ベクトルを付帯した二次元画像を多数抽出して作成した抽出画像データベースと、標準データとを有する記憶部と、
    前記対象物を撮影して画像を取得する画像撮影機器と、
    前記画像撮影機器により取得した画像と、前記抽出画像データベースの抽出画像とのマッチングを行い、前記抽出画像の視点および視線方向ベクトルの情報を用いて、前記取得された画像に対応する前記設備の三次元点群データ上での位置を特定するとともに、前記取得した画像と、前記標準データとを比較し、異常の有無を判定するする演算装置と、
    前記特定した対象物の位置、および異常の有無を表示する表示装置と
    を有し、
    前記抽出画像データベースは、前記三次元スキャナ点群データにおいて、視点と視線方向ベクトルを付帯した二次元画像を離散的に２枚以上指定し、分割長さ、視線方向変化量、分割数の少なくとも１つを指定して、離散的な二次元画像間を補完する画像群を得て作成され、
    前記三次元スキャナ点群データは、別途もしくは同時に撮影した画像が重合されて、前記三次元スキャナ点群データの座標位置と対応する画像の座標位置の色が取得され、色付けが行われていることを特徴とする異常判定システム。
28. 前記画像撮影機器は、可視画像のみ、または可視画像と検出しようとする異常に対応する物理パラメータを可視化した画像を撮影し、前記標準データは、前記画像撮影機器により撮影した画像に対応する画像であることを特徴とする請求項２７に記載の異常判定システム。
29. 前記物理パラメータを可視化した画像は、熱画像、ガスを可視化した画像、音場を可視化した画像のいずれかであることを特徴とする請求項２８に記載の異常判定システム。
30. 前記三次元スキャナ点群データに行う色付けが、温度、ガス濃度、音場強度に対応することを特徴とする請求項２９に記載の異常判定システム。

Images