JP6460700B2 - トンネルの内壁の欠陥の有無の診断を行う方法およびトンネルの内壁の欠陥の有無の診断を行うプログラム - Google Patents

トンネルの内壁の欠陥の有無の診断を行う方法およびトンネルの内壁の欠陥の有無の診断を行うプログラム Download PDF

Info

Publication number
JP6460700B2
JP6460700B2 JP2014196549A JP2014196549A JP6460700B2 JP 6460700 B2 JP6460700 B2 JP 6460700B2 JP 2014196549 A JP2014196549 A JP 2014196549A JP 2014196549 A JP2014196549 A JP 2014196549A JP 6460700 B2 JP6460700 B2 JP 6460700B2
Authority
JP
Japan
Prior art keywords
camera
tunnel
wall
absolute
hyperspectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014196549A
Other languages
English (en)
Other versions
JP2016070676A (ja
Inventor
熊谷　薫
薫 熊谷
林　邦広
邦広 林
直人 加曽利
直人 加曽利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2014196549A priority Critical patent/JP6460700B2/ja
Priority to US14/859,900 priority patent/US10473453B2/en
Priority to EP15186001.2A priority patent/EP3001142A1/en
Publication of JP2016070676A publication Critical patent/JP2016070676A/ja
Application granted granted Critical
Publication of JP6460700B2 publication Critical patent/JP6460700B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Radiation Pyrometers (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)

Description

本発明は、画像情報を利用した演算装置、演算方法、およびプログラムに関する。
ＩＭＵ（慣性計測装置:Inertial Measurement Unit）、カメラ、レーザスキャナ等の光学機器を搭載した車両を走行させ、その際にＩＭＵで車両の位置を計測し、同時に周囲の状況を光学機器により計測し、地図空間情報等を得る技術が知られている（例えば、特許文献１を参照）。また、光学計測により、コンクリートの劣化診断を行う技術が知られている（例えば、特許文献２や３を参照）。
特開２０１３−４０８８６号公報 特開２０１２−１８５００２号公報 特開２０１４−９５５６５号公報
光学計測により、コンクリートの劣化診断を行う技術では、診断した場所の特定が困難であるという問題がある。このような背景において、本発明は、欠陥の診断を行った場所の位置を容易に特定できる技術の提供を目的とする。
請求項１に記載の発明は、車両に対する外部標定要素が既知のカメラ、ハイパースペクトルカメラ、ＧＮＳＳユニットおよびＩＭＵを用いてコンクリート製のトンネルの内壁の欠陥の有無の診断を行う方法であって、トンネルの外を走行している状態で前記ＧＮＳＳユニットからの位置情報の取得を行ない前記車両の絶対位置を取得する絶対位置取得ステップと、該絶対位置取得ステップの後に前記カメラおよび前記ハイパースペクトルカメラにより前記トンネルの内壁を連続して撮影する撮影ステップと、前記カメラが撮影した複数のフレーム画像における特徴点のトラッキングを行ない、交会法により、前記複数のフレーム画像の撮影時における前記カメラの位置と前記特徴点の位置との相対位置関係を特定する相対位置関係特定ステップと、前記ＧＮＳＳユニットからの前記位置情報、前記ＩＭＵの計測データおよび前記相対位置関係に基づき、前記複数のフレーム画像における前記特徴点の絶対座標系における三次元位置および前記複数のフレーム画像の撮影時における前記カメラの絶対座標系における位置と姿勢を取得する位置姿勢取得ステップと、前記ハイパースペクトルカメラが撮影した前記トンネルの内壁の特定のフレーム画像が指定された場合に、前記位置姿勢取得ステップで得た絶対座標系における前記特徴点の三次元位置、前記カメラの前記位置および前記姿勢に基づき、前記特定のフレーム画像に写った前記トンネルの前記内壁の絶対座標系における三次元位置を取得するトンネル内壁の三次元位置取得ステップと、を有するコンクリート製のトンネルの内壁の欠陥の有無の診断を行う方法である。
請求項２に記載の発明は、車両に対する外部標定要素が既知のカメラ、ハイパースペクトルカメラ、ＧＮＳＳユニット、ＩＭＵを用いてコンクリート製のトンネルの内壁の欠陥の有無の診断をコンピュータに行なわせるプログラムであって、コンピュータにトンネルの外を走行している状態で前記ＧＮＳＳユニットからの位置情報の取得を行ない前記車両の絶対位置を取得する絶対位置取得ステップと、該絶対位置取得ステップの後に前記カメラおよび前記ハイパースペクトルカメラにより前記トンネルの内壁を連続して撮影した撮影画像データを取得する撮影画像取得ステップと、前記カメラが撮影した複数のフレーム画像における特徴点のトラッキングを行ない、交会法により、前記複数のフレーム画像の撮影時における前記カメラの位置と前記特徴点の位置との相対位置関係を特定する相対位置関係特定ステップと、前記ＧＮＳＳユニットからの前記位置情報、前記ＩＭＵの計測データおよび前記相対位置関係に基づき、前記複数のフレーム画像における前記特徴点の絶対座標系における三次元位置および前記複数のフレーム画像の撮影時における前記カメラの絶対座標系における位置と姿勢を取得する位置姿勢取得ステップと、前記ハイパースペクトルカメラが撮影した前記トンネルの内壁の特定のフレーム画像が指定された場合に、前記位置姿勢取得ステップで得た絶対座標系における前記特徴点の三次元位置、前記カメラの前記位置および前記姿勢に基づき、前記特定のフレーム画像に写った前記トンネルの前記内壁の絶対座標系における三次元位置を取得するトンネル内壁の三次元位置取得ステップとを実行させるコンクリート製のトンネルの内壁の欠陥の有無の診断を行うプログラムである。
本発明によれば、欠陥の診断を行った場所の位置を容易に特定できる。
実施形態の概念図である。 実施形態のブロック図である。 演算部のブロック図である。 相対位置を特定する原理を示す原理図である。 テンプレートマッチングの原理を示す原理図である。 前方交会法の原理を示す原理図である。 後方交会法の原理を示す原理図である。 処理の手順の一例を示すフローチャートである。
１．第１の実施形態
（構成）
図１は、実施形態の概念図が示されている。図１には、車両１００が示されている。車両１００には、計測システム１１０が取り付けられている。計測システム１１０は、基台（ベース）上に全周カメラ１１１、ＩＭＵ１１２、ＧＮＳＳユニット１１３、ハイパースペクトルカメラ１１４、演算部１１５を備えている。
全周カメラ１１１は、周囲３６０°と上方の動画撮影を行う。全周カメラ１１１の代わりに特定の範囲の撮影を行うカメラを用いることもできる。ＩＭＵ１１２は、慣性計測装置であり、自身に加わる加速度を検出する。ＩＭＵ１１２が計測する自身に加わる加速度の情報から、ＩＭＵ１１２の姿勢の変化を知ることができる。そして、ＩＭＵ１１２の姿勢の変化を知ることで、車両１００、全周カメラ１１１およびハイパースペクトルカメラ１１４の姿勢の変化を知ることができる。ＧＮＳＳユニット１１３は、ＧＮＳＳ（Global Navigation Satellite System）を構成する航法衛星からの航法信号を受信し、自身の位置情報と校正された高精度の時刻情報を出力する。全周カメラ１１１、ＩＭＵ１１２およびハイパースペクトルカメラ１１４は、ＧＮＳＳユニット１１３から供給される同期信号に基づいて同期して動作を行う。なお、同期信号を生成する回路を用意し、そこから供給される同期信号に基づき、全周カメラ１１１、ＩＭＵ１１２およびハイパースペクトルカメラ１１４の動作を同期させてもよい。
ハイパースペクトルカメラ１１４は、数十以上といった多数の波長帯域の動画情報を取得するカメラである。例えば、通常のカラーカメラは、ＲＧＢの３波長帯域の画像情報を取得するが、ハイパースペクトルカメラ１１４は、数十波長帯域の画像情報を取得する。ハイパースペクトルカメラ１１４が得た情報を解析すると、撮影対象の物性や温度に関する情報を得ることができる。
物質は、固有な光の反射および吸収の特性を有している。したがって、ハイパースペクトルカメラが撮影したハイパースペクトル画像を解析することで、撮影対象の材質に係る情報を得ることができる。また、例えば、赤外帯域の情報を解析することで、撮影対象物の温度やその分布を知ることができる。例えば、コンクリートで構成されたトンネル内壁に亀裂や劣化があると、材質の変質や漏水の影響により、その部分から反射あるいは放射される紫外〜赤外におけるスペクトル分布が他の正常な部分と異なるものとなる。このことを利用して、コンクリート製のトンネル内壁の欠陥の有無の診断を行うことができる。
全周カメラ１１１、ＩＭＵ１１２、ＧＮＳＳユニット１１３、ハイパースペクトルカメラ１１４の車両１００に対する外部標定要素（位置と姿勢）は予め取得され、既知である。当然、全周カメラ１１１に対するハイパースペクトルカメラ１１４の外部標定要素は予め判っている。これらの情報は、演算部１１５内に記憶されている。
演算部１１５には、ＰＣ（パーソナルコンピュータ）１１６が接続できる。ＰＣ１１６により、ユーザによる各種の操作が行われる。また、ユーザは、ＰＣ１１６のディスプレイ上で全周カメラ１１１やハイパースペクトルカメラ１１４が撮影した画像を見ることができる。なお、ＰＣ１１６に演算部１１５で行われる演算の少なくとも一部を行わせることも可能である。
演算部１１５は、コンピュータとして機能するハードウェアである。図３に示すように、演算部１１５は、データ受付部１２１、データ入出力部１２２、位置関係算出部１２３、ハイパースペクトルカメラの位置姿勢算出部１２４、計測位置算出部１２５、対応点特定部１２６、全周カメラの位置姿勢算出部１２７、時刻同期部１２８、データ記録部１２９を備えている。これら機能部は、ソフトウェア的に構成されていてもよいし、専用のハードウェアで構成されていてもよい。
データ受付部１２１は、全周カメラ１１１が撮影した全周画像の画像データ、ＩＭＵ１１２からの加速度に関するデータ、ＧＮＳＳユニットからの位置情報と時刻情報に関するデータ、ハイパースペクトルカメラ１１４が撮影したハイパースペクトル画像の画像データを受け付ける。時刻同期部１２８は各センサーが情報を取得した時刻を記録する。データ記録部１２９は各センサーの値と取得時刻を記録する。データ入出力部１２２は、ＰＣおよび他の装置との間でデータのやり取りを行う。位置関係算出部１２３は、全周カメラ１１１が撮影した対象物における複数の特徴点と全周カメラ１１１の移動経路の位置関係を算出する。以下、位置関係算出部１２３の機能について説明する。
図４には、全周カメラの位置と、全周カメラ１１１が撮影した対象物の特徴点との位置関係が示されている。図４には、Ｐ１〜Ｐ６と全周カメラ１１１が移動しつつ、対象物２０と２１を撮影した場合が示されている。ここで、Ａ１〜Ａ７およびＢ１〜Ｂ８は、対象物の特徴点である。
まず、Ｐ１において撮影した画像から特徴点Ａ１〜Ａ３，Ｂ１〜Ｂ４が抽出される。特徴点としては、周囲から区別できる点であり、例えば、エッジ部分や周囲と色彩が異なっている部分が抽出される。特徴点の抽出は、ソフトウェア処理により行われる。特徴点の抽出には、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタが用いられる。
また、Ｐ２において撮影した画像から特徴点Ａ１〜Ａ３，Ｂ１〜Ｂ５が抽出される。異なる視点から得られた特徴点同士の対応関係の特定（トラッキング）は、対応点特定部１２６においてソフトウェア処理によって行われる。例えば、この対応関係の特定は、テンプレートマッチングにより行われる。
テンプレートマッチングとしては、残差逐次検定法（ＳＳＤＡ：Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）、相互相関係数法などが挙げられる。以下、テンプレートマッチングの一例を説明する。テンプレートマッチングは、２つの座標系における画像の座標データを相互に比較し、両者の相関関係により、２つの画像の対応関係を求める方法である。テンプレートマッチングでは、２つの視点それぞれから見た画像の特徴点の対応関係が求められる。図５は、テンプレートマッチングの原理を説明する説明図である。この方法では、図示するように、Ｎ１×Ｎ１画素のテンプレート画像を、それよりも大きいＭ１×Ｍ１画素の入力画像内の探索範囲（Ｍ１−Ｎ１＋１）２上で動かし、下記数１で示される相互相関関数Ｃ（ａ，ｂ）が最大となるような（つまり相関の程度が最大となるような）テンプレート画像の左上位置を求める。
Figure 0006460700
上記の処理は、一方の画像の倍率を変えながら、また回転させながら行われる。そして、相関関係が最大となった条件で、両画像の一致する領域が求まり、更にこの領域における特徴点を抽出することで、対応点の検出が行われる。
テンプレートマッチングを用いることで、比較する２つの画像の一致する部分が特定でき、２つの画像の対応関係を知ることができる。この方法では、２つ画像の相関関係が最大となるように両者の相対的な位置関係が定められる。２つの画像の相関関係は、両画像の特徴点によって決まる。
Ｐ１およびＰ２から得た特徴点の対応関係を求めたら、交会法を用いてＰ１，Ｐ２，Ａ１〜Ａ４，Ｂ１〜Ｂ４の相対位置関係を算出する。図６には、前方交会法の原理が示されている。前方交会法とは、既知の複数点（図６の場合は２点（Ｏ１，Ｏ２））から未知点Ｐへ向かう方向を観測して、それらの方向線の交点として未知点Ｐの位置を求める方法である。
図７には、後方交会法の原理が示されている。後方交会法とは、未知点から３つ以上の既知点へ向かう方向を観測して、それらの方向線の交点として未知点の位置を定める方法である。後方交会法としては、単写真標定、ＤＬＴ法（Ｄｉｒｅｃｔ Ｌｉｎｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｍｅｔｈｏｄ）が挙げられる。交会法については、基礎測量学（電気書院：2010/4発行）182p,p184に記載されている。また、特開2013―186816号公報には具体的な計算方法の例が示されている。
原理的にいうと、Ｐ１からＡ１，Ａ２に向けての方向線を設定し、更にＰ２からＡ１，Ａ２に向けての方向線を設定することで、Ｐ１，Ｐ２，Ａ１〜Ａ４の相対位置関係が特定される。また、Ａ１〜Ａ４からＰ３に向かう方向性を設定することで、Ｐ３とＡ１〜Ａ４の相対位置関係が特定される。ここで、Ａ１〜Ａ４とＰ２の相対位置関係が特定されていれば、Ｐ１〜Ｐ３とＡ１〜Ａ４の相対位置関係が特定される。この原理により、Ｐ１〜Ｐ６とＡ１〜Ａ７，Ｂ１〜Ｂ９の相対的な位置関係が特定される。この交会法を用いた相対位置関係の特定が位置関係算出部１２３において行われる。なお、Ｐ１〜Ｐ６，Ａ１〜Ａ７，Ｂ１〜Ｂ９のなかの２点以上の絶対座標値あるいは特定の２点間の距離が与えられていない段階では、図４のモデルの縮尺は決まらず、各点間の距離の絶対値は判らない。
また、この段階でＰ１における全周カメラ１１１の姿勢に対するＰ２における全周カメラの姿勢が求められる。すなわち、図４に例示するようなモデルが決まることで、Ｐ１から見た特定の特徴点の方向とＰ２から見た特定の特徴点の方向との相対的な関係が判るので、Ｐ１における全周カメラ１１１の姿勢とＰ２における全周カメラ１１１の姿勢との相対的な関係が判る。この原理により、各位置間における全周カメラ１１１の姿勢の変化が画像上にある共通した複数の特徴点に基づいて算出される。こうして、Ｐ１〜Ｐ６における全周カメラ１１１の姿勢の相対的な関係が得られる。
以上のＰ１〜Ｐ６，Ａ１〜Ａ７，Ｂ１〜Ｂ９の相対的な位置関係およびＰ１〜Ｐ６における全周カメラ１１１の姿勢の相対的な関係を特定するための処理が位置関係算出部１２３において行われる。ところで、図４の場合は、Ｐ１，Ｐ２，Ｐ６においてＧＰＳによる絶対位置の特定が行なわれる。よって、上記の相対位置関係において、Ｐ１，Ｐ２，Ｐ６の座標をＧＰＳから得られた絶対位置の座標に置き換えることで、絶対座標系におけるＰ１〜Ｐ６，Ａ１〜Ａ７，Ｂ１〜Ｂ９の座標値が得られる。そして、各位置の絶対座標値が得られることで、Ｐ１〜Ｐ６へと移動する全周カメラ１１１の移動経路が判明する。こうして、各時刻における全周カメラ１１１の絶対座標系における位置と姿勢が算出される。この処理は全周カメラの位置姿勢算出部１２７において行われる。
ハイパースペクトルカメラの位置姿勢算出部１２４は、全周カメラの位置姿勢算出部１２７で算出された全周カメラ１１１の位置と姿勢に関するデータ、およびハイパースペクトルカメラ１１４の全周カメラ１１１に対する外部標定要素から、各時刻におけるハイパースペクトルカメラ１１４の絶対座標系における位置と姿勢を算出する。
計測位置算出部１２５は、各時刻におけるハイパースペクトルカメラ１１４の絶対座標系における位置と姿勢から、ハイパースペクトルカメラ１１４が撮影している範囲における対象物の位置を算出する。
例えば、ハイパースペクトルカメラ１１４から得たハイパースペクトル画像の特定のフレーム画像に映った対象物の位置を特定する場合を考える。この場合、まずこのハイパースペクトル画像のフレーム画像が得られた時刻ｔを取得する。なお、フレーム画像というのは、動画を構成する単位画像のこという。特定の間隔で次々に撮像されたフレーム画像により、動画は構成される。これは、全周カメラ１１１が撮影する動画においても、ハイパースペクトルカメラ１１４が撮影する動画においても同じである。
時刻ｔが判れば、その時刻における全周画像（全周カメラ１１１が撮影した画像）のフレーム画像が得られる。ここで、全周カメラ１１１に対するハイパースペクトルカメラ１１４の外部標定要素は既知である。よって、ハイパースペクトルカメラ１１４が撮影している範囲が、全周カメラ１１１により撮影した全周画像中のどの部分かを知ることができる。例えば、車両１００の左９０°を中心にある視野の範囲をハイパースペクトルカメラ１１４が撮影しているといった情報が得られる。
ここで、例えば上記の車両１００の左９０°を中心にある視野の範囲における撮影対象物の特徴点の三次元座標は、位置関係算出部１２３の演算結果から知ることができる。よって、当該範囲に映っている対象物の特徴点の三次元座標（例えば、画面中心に最も近い特徴点の三次元座標）をハイパースペクトルカメラ１１４が計測していた対象物の座標として採用することで、時刻ｔにハイパースペクトルカメラ１１４が計測していた対象物の位置のデータを得ることができる。この特定の時刻にハイパースペクトルカメラ１１４が計測していた対象物の位置を算出する処理が計測位置算出部１２５において行われる。
上記の原理を利用すると、特定の時刻におけるハイパースペクトルカメラ画像のフレーム画像中の特定の位置をユーザが指定した場合に、その位置の三次元座標（またはその近似値）を算出することもできる。例えば、図６において、Ｏ１がハイパースペクトルカメラ１１４の視点であり、Ｏ２が全周カメラ１１１の視点であるとする。そして、ｐ１がユーザが指定した画面上の位置であるとする。この場合、Ｐに全周画像中で抽出した特徴点があれば、ユーザがハイパースペクトルカメラ画面中で指定した画面座標位置ｐ１に対応する位置の測定対象物の三次元座標が判る。なお、Ｐに全周画像中で抽出した特徴点がない場合、Ｐの近くにある特徴点を近似点として採用し、その三次元座標値を近似値として採用すればよい。また、Ｐが特定できれば、ｐ２も判るので、ハイパースペクトル画像中の特定の点に対応する全周画像中の画面座標値も特定できる。
以上の機能を利用すると、例えば、ハイパースペクトル画像中で対象物の欠陥部分を発見した場合に、その時刻にハイパースペクトルカメラ１１４が撮影していた対象物の位置の情報を得ることができる。また、更にユーザが特定の部分を指定することでその位置の三次元座標を知ることができる。
（処理の一例）
図８には、処理の手順の一例が示されている。図８に示す処理を実行するためのプログラムは、適当な記憶領域に記憶され、演算部１１５において実行される。このプログラムは適当な記憶媒体に記憶させることが可能である。
ここでは、車両１００をトンネル１３０（図１参照）内で走行させ、その際に全周画像とハイパースペクトル画像を得、得られたハイパースペクトル画像を解析することでトンネル内壁１３１の欠陥部分を検出する場合の例を説明する。
まず、全周カメラ１１１とハイパースペクトルカメラ１１４を動作させながら、トンネル内で車両１００を走行させ、全周画像のデータとハイパースペクトル画像のデータを取得する（ステップＳ１０１）。この際、最初はトンネルの外を走行させ、ＧＮＳＳからの位置情報の取得を行い、図４のＰ１やＰ２のような複数の位置での絶対位置の取得が行えるようにする。なお、トンネル内に位置情報を発信するＧＣＰ(Ground Control Point)がある場合は、そこからの位置情報を利用し、特定の時刻における車両１００に絶対位置の情報を取得する。
この例では、画像データの取得を行いつつ、ステップＳ１０２〜Ｓ１０６の処理を行う。なお、ステップＳ１０２以下の処理は、画像データを得た後に改めて行ってもよい。ステップＳ１０２では、全周画像の各フレーム画像間における特徴点の追跡を行い、各フレーム画像間における複数の特徴点の間の対応関係の特定が行われる。この処理は、対応点特定部１２６において行われる。
特徴点の追跡が行われ、全周画像のフレーム画像間における特徴点の対応関係が特定されたら、図４に示す原理を用いて測定対象物の複数の特徴点と各時刻における全周カメラ１１１の位置と姿勢の相対的な位置関係が算出される。この処理は、位置関係算出部１２３において行われる。そして、各特徴点と各時刻における全周カメラ１１１の位置の相対的な位置と姿勢の関係が算出されることで、各フレーム（各時刻）における全周カメラ１１１の相対的な位置と姿勢が算出される。こうして、各フレームにおける全周カメラ１１１の相対的な位置と姿勢の情報が得られる（ステップＳ１０３）。
次に、ＧＮＳＳの航法信号等の絶対位置特定情報による絶対位置の特定が行なえた位置についてその位置を算出し、その座標値を当該時刻における全周カメラ１１１の位置とする（ステップＳ１０４）。
次に、ＧＮＳＳの航法信号等の絶対位置特定情報が得られない位置については、ステップＳ１０３で得た各フレーム間（各時刻間）における全周カメラ１１１の相対位置関係とステップＳ１０４で得た特定の時刻における全周カメラ１１１の絶対位置のデータに基づき算出する（ステップＳ１０５）。例えば図４の場合でいうと、Ｐ３の絶対位置は、ＧＰＳで特定されたＰ２の絶対位置とＰ２とＰ３の相対位置関係とから求めることができる。
ステップＳ１０４とＳ１０５の処理の結果、全周カメラ１１１の移動経路に関するデータが得られる。また、この移動経路のデータにＩＭＵ１１２が検出した加速度に基づく全周カメラ１１１の姿勢のデータが関連付けされる。こうして、各時刻の絶対座標系における全周カメラ１１１の位置と姿勢が求められる。この各時刻における全周カメラ１１１の位置と姿勢を求める処理が全周カメラの位置姿勢算出部１２７において行われる。
各時刻における全周カメラの位置が得られたら、全周カメラ１１１とハイパースペクトルカメラ１１４の位置および姿勢の関係から、各時刻におけるハイパースペクトルカメラ１１４の絶対座標系における位置と姿勢を算出する（ステップＳ１０６）。この処理は、ハイパースペクトルカメラの位置姿勢算出部１２４において行われる。
ここで、ハイパースペクトル画像の特定のフレームが指定された場合に、対応する時刻における全周画像からハイパースペクトルカメラ１１４が撮影している範囲の測定対象物の特定の位置（例えば、ハイパースペクトル画像の画像中心に対応する測定対象物の部分）の三次元座標の算出が行われる（ステップＳ１０７）。この処理は、計測位算出部１２５において行われる。
例えば、ユーザがハイパースペクトル画像を観察し、ハイパースペクトルカメラ１１４で撮影したトンネルの内壁の観察を行う場合を考える。この際、色彩やスペクトル情報等から亀裂や変質等の欠陥が疑われる場所が見つかったとする。この場合、ユーザは、欠陥を見出したハイパースペクトル画像のフレーム画像を指定する。すると、このハイパースペクトル画像のフレーム画像が得られた時刻から、当該時刻に全周カメラ１１１が撮影した対象物（トンネル内壁）の特徴点の三次元座標が判る。ここで、ハイパースペクトルカメラ１１４の全周カメラ１１１に対する位置と姿勢の関係から、ハイパースペクトルカメラ１１４が撮影していた領域に対応する全周画像中の領域は特定できるから、当該時刻にハイパースペクトルカメラ１１４が撮影していた領域の位置情報をユーザは知ることができる。つまり、トンネル全体のどの位置に欠陥が疑われる内壁が存在するのかに関する情報をユーザは知ることができる。
（その他）
異なる時刻に取得されたハイパースペクトル画像の複数のフレーム画像を用いて、前方交会法によりハイパースペクトル画像中の特定の位置の三次元座標を求めることもできる。この場合、各時刻におけるハイパースペクトルカメラ１１４の位置を利用し、前方交会法を用いて、ハイパースペクトル画像中の特定の位置の三次元座標を求める。また、全周画像とハイパースペクトル画像とを用いて前方交会法によりハイパースペクトル画像中の特定の位置の三次元座標を求めることもできる。
また、ハイパースペクトルカメラ１１４が検出する赤外域の情報を利用した場合、あるいはハイパースペクトルカメラ１１４の代わりにサーモグラフィーカメラを用いた場合、配管における液体や気体の漏出個所の検出を行うことができる。この場合も欠陥があった配管の位置を特定することができる。
本発明は、欠陥の診断を行った場所の位置情報を容易に特定できる技術に利用可能である。
１００…車両、１１０…計測システム、１１１…全周カメラ、１１２…ＩＭＵ、１１３…ＧＮＳＳユニット、１１４…ハイパースペクトルカメラ、１１５…演算部、１３０…トンネル、１３１…トンネル内壁。

Claims (2)

  1. 車両に対する外部標定要素が既知のカメラ、ハイパースペクトルカメラ、ＧＮＳＳユニットおよびＩＭＵを用いてコンクリート製のトンネルの内壁の欠陥の有無の診断を行う方法であって、
    トンネルの外を走行している状態で前記ＧＮＳＳユニットからの位置情報の取得を行ない前記車両の絶対位置を取得する絶対位置取得ステップと、
    該絶対位置取得ステップの後に前記カメラおよび前記ハイパースペクトルカメラにより前記トンネルの内壁を連続して撮影する撮影ステップと、
    前記カメラが撮影した複数のフレーム画像における特徴点のトラッキングを行ない、交会法により、前記複数のフレーム画像の撮影時における前記カメラの位置と前記特徴点の位置との相対位置関係を特定する相対位置関係特定ステップと、
    前記ＧＮＳＳユニットからの前記位置情報、前記ＩＭＵの計測データおよび前記相対位置関係に基づき、前記複数のフレーム画像における前記特徴点の絶対座標系における三次元位置および前記複数のフレーム画像の撮影時における前記カメラの絶対座標系における位置と姿勢を取得する位置姿勢取得ステップと、
    前記ハイパースペクトルカメラが撮影した前記トンネルの内壁の特定のフレーム画像が指定された場合に、前記位置姿勢取得ステップで得た絶対座標系における前記特徴点の三次元位置、前記カメラの前記位置および前記姿勢に基づき、前記特定のフレーム画像に写った前記トンネルの前記内壁の絶対座標系における三次元位置を取得するトンネル内壁の三次元位置取得ステップと、
    を有するコンクリート製のトンネルの内壁の欠陥の有無の診断を行う方法。
  2. 車両に対する外部標定要素が既知のカメラ、ハイパースペクトルカメラ、ＧＮＳＳユニット、ＩＭＵを用いてコンクリート製のトンネルの内壁の欠陥の有無の診断をコンピュータに行なわせるプログラムであって、
    コンピュータに
    トンネルの外を走行している状態で前記ＧＮＳＳユニットからの位置情報の取得を行ない前記車両の絶対位置を取得する絶対位置取得ステップと、
    該絶対位置取得ステップの後に前記カメラおよび前記ハイパースペクトルカメラにより前記トンネルの内壁を連続して撮影した撮影画像データを取得する撮影画像取得ステップと、
    前記カメラが撮影した複数のフレーム画像における特徴点のトラッキングを行ない、交会法により、前記複数のフレーム画像の撮影時における前記カメラの位置と前記特徴点の位置との相対位置関係を特定する相対位置関係特定ステップと、
    前記ＧＮＳＳユニットからの前記位置情報、前記ＩＭＵの計測データおよび前記相対位置関係に基づき、前記複数のフレーム画像における前記特徴点の絶対座標系における三次元位置および前記複数のフレーム画像の撮影時における前記カメラの絶対座標系における位置と姿勢を取得する位置姿勢取得ステップと、
    前記ハイパースペクトルカメラが撮影した前記トンネルの内壁の特定のフレーム画像が指定された場合に、前記位置姿勢取得ステップで得た絶対座標系における前記特徴点の三次元位置、前記カメラの前記位置および前記姿勢に基づき、前記特定のフレーム画像に写った前記トンネルの前記内壁の絶対座標系における三次元位置を取得するトンネル内壁の三次元位置取得ステップと
    を実行させるコンクリート製のトンネルの内壁の欠陥の有無の診断を行うプログラム。
JP2014196549A 2014-09-26 2014-09-26 トンネルの内壁の欠陥の有無の診断を行う方法およびトンネルの内壁の欠陥の有無の診断を行うプログラム Active JP6460700B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014196549A JP6460700B2 (ja) 2014-09-26 2014-09-26 トンネルの内壁の欠陥の有無の診断を行う方法およびトンネルの内壁の欠陥の有無の診断を行うプログラム
US14/859,900 US10473453B2 (en) 2014-09-26 2015-09-21 Operating device, operating method, and program therefor
EP15186001.2A EP3001142A1 (en) 2014-09-26 2015-09-21 Operating device, operating method, and program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014196549A JP6460700B2 (ja) 2014-09-26 2014-09-26 トンネルの内壁の欠陥の有無の診断を行う方法およびトンネルの内壁の欠陥の有無の診断を行うプログラム

Publications (2)

Publication Number Publication Date
JP2016070676A JP2016070676A (ja) 2016-05-09
JP6460700B2 true JP6460700B2 (ja) 2019-01-30

Family

ID=54151186

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014196549A Active JP6460700B2 (ja) 2014-09-26 2014-09-26 トンネルの内壁の欠陥の有無の診断を行う方法およびトンネルの内壁の欠陥の有無の診断を行うプログラム

Country Status (3)

Country Link
US (1) US10473453B2 (ja)
EP (1) EP3001142A1 (ja)
JP (1) JP6460700B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101958539B1 (ko) * 2017-01-17 2019-03-14 서울시립대학교 산학협력단 초분광 이미지를 이용하여 콘크리트 상태를 판정하는 장치 및 방법
JP6708163B2 (ja) * 2017-04-26 2020-06-10 三菱電機株式会社 移動型探傷装置
WO2018229550A1 (en) * 2017-06-16 2018-12-20 Nauto Global Limited System and method for adverse vehicle event determination
CN109459439B (zh) * 2018-12-06 2021-07-06 东南大学 一种基于移动式三维激光扫描技术的隧道衬砌裂缝检测方法
US11417090B2 (en) * 2019-02-18 2022-08-16 Nec Corporation Background suppression for anomaly detection
JP2021039071A (ja) * 2019-09-05 2021-03-11 三菱重工業株式会社 画像位置特定装置、方法およびプログラム、並びに温度管理システム
KR102265545B1 (ko) * 2020-02-14 2021-06-16 경북대학교 산학협력단 기계적 진동을 저감시키는 촬영 시스템
CN113129300A (zh) * 2021-05-10 2021-07-16 深圳市水务工程检测有限公司 一种降低误检率的排水管道缺陷检测方法、装置、设备及介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10260141A (ja) * 1997-03-18 1998-09-29 Hitachi Denshi Ltd 欠陥検査装置
DE69935256T2 (de) * 1999-03-15 2007-10-31 Tokyo University of Agriculture and Technology TLO Co., Ltd., Koganei Bodenuntersuchungsvorrichtung und präzisionslandwirtschaftssystem
JP4966542B2 (ja) * 2005-12-22 2012-07-04 株式会社トプコン 位置データ補間方法及び位置測定装置
CA2560800C (en) * 2006-01-20 2014-08-26 Geo 3D Inc. Automated asset detection, location measurement and recognition
JP2007212309A (ja) * 2006-02-09 2007-08-23 Fujitsu Ten Ltd トンネルの壁面検査装置及びトンネルの壁面検査システム
JP5559997B2 (ja) * 2009-07-17 2014-07-23 株式会社トプコン 位置測定方法及び位置測定装置
EP2498073A1 (en) * 2009-11-04 2012-09-12 Nireco Corporation Spectral information read device
FI123206B (fi) * 2009-11-20 2012-12-31 Roadscanners Oy Menetelmä liikenneväylän päällysteen kunnon arvioimiseksi
JP5591155B2 (ja) 2011-03-04 2014-09-17 株式会社Ｉｈｉインフラシステム コンクリート劣化因子検出方法
JP2013040886A (ja) 2011-08-19 2013-02-28 Mitsubishi Electric Corp 三次元点群計測方法、三次元点群計測プログラム
JP5787695B2 (ja) * 2011-09-28 2015-09-30 株式会社トプコン 画像取得装置
JP5347006B2 (ja) * 2011-10-24 2013-11-20 株式会社パスコ 液状化に伴う変状箇所検出支援装置及び液状化に伴う変状箇所検出支援プログラム
JP5992184B2 (ja) * 2012-03-09 2016-09-14 株式会社トプコン 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
JP5832341B2 (ja) * 2012-03-09 2015-12-16 株式会社トプコン 動画処理装置、動画処理方法および動画処理用のプログラム
WO2013181558A1 (en) * 2012-06-01 2013-12-05 Agerpoint, Inc. Systems and methods for monitoring agricultural products
JP5968759B2 (ja) 2012-11-07 2016-08-10 株式会社Ｉｈｉインフラシステム コンクリート面の補修工法選定方法
US20140132723A1 (en) * 2012-11-13 2014-05-15 Osmose Utilities Services, Inc. Methods for calibrating a digital photographic image of utility structures
JP6294588B2 (ja) * 2013-01-28 2018-03-14 東北電力株式会社 三次元表示可能な地中レーダシステム

Also Published As

Publication number Publication date
US10473453B2 (en) 2019-11-12
JP2016070676A (ja) 2016-05-09
US20160091297A1 (en) 2016-03-31
EP3001142A1 (en) 2016-03-30

Similar Documents

Publication Publication Date Title
JP6460700B2 (ja) トンネルの内壁の欠陥の有無の診断を行う方法およびトンネルの内壁の欠陥の有無の診断を行うプログラム
CN111462213B (zh) 一种在运动过程中获取物体3d坐标及尺寸的设备及方法
JP6543520B2 (ja) 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
US10502557B2 (en) Method for the three dimensional measurement of a moving objects during a known movement
JP6486069B2 (ja) 画像処理装置、検査装置、検査方法及び画像処理プログラム
JP6510247B2 (ja) 測量データ処理装置、測量データ処理方法およびプログラム
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP2009008662A (ja) センサ及びビデオ三角測量を共同使用する物体の検出
CN111707668B (zh) 基于序列图像的隧道检测及图像处理方法
JP6506032B2 (ja) 測量データ処理装置、測量データ処理方法およびプログラム
JP6666245B2 (ja) モバイルプラットフォームの動作モードを選択する方法、システム、コンピュータプログラム製品及び装置
JP2022042146A (ja) データ処理装置、データ処理方法およびデータ処理用プログラム
JP7480833B2 (ja) 計測装置、計測システムおよび車両
JP2016138826A5 (ja)
US11222433B2 (en) 3 dimensional coordinates calculating apparatus and 3 dimensional coordinates calculating method using photo images
JP6506031B2 (ja) 測量データ処理装置、測量データ処理方法およびプログラム
JP6042146B2 (ja) 対象物検出装置および対象物検出方法
JP2008026999A (ja) 障害物検出システム、及び障害物検出方法
US10912444B2 (en) Image processing apparatus, image processing method, and endoscope
US20230070281A1 (en) Methods and systems of generating camera models for camera calibration
KR101497396B1 (ko) 타겟 위치 측정시스템 및 이를 이용한 타겟 위치 측정방법
JP5409451B2 (ja) ３次元変化検出装置
JP4812099B2 (ja) カメラ位置検出方法
JP6867465B2 (ja) モバイルプラットフォームの動作モードを選択するシステム及び方法
JP7399632B2 (ja) 撮影処理装置、及び撮影処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180809

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181225

R150 Certificate of patent or registration of utility model

Ref document number: 6460700

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250