JP2016070676A - 演算装置、演算方法、およびプログラム - Google Patents

演算装置、演算方法、およびプログラム Download PDF

Info

Publication number
JP2016070676A
JP2016070676A JP2014196549A JP2014196549A JP2016070676A JP 2016070676 A JP2016070676 A JP 2016070676A JP 2014196549 A JP2014196549 A JP 2014196549A JP 2014196549 A JP2014196549 A JP 2014196549A JP 2016070676 A JP2016070676 A JP 2016070676A
Authority
JP
Japan
Prior art keywords
camera
positional relationship
optical device
measurement
relative positional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014196549A
Other languages
English (en)
Other versions
JP6460700B2 (ja
Inventor
熊谷 薫
Kaoru Kumagai
薫 熊谷
林 邦広
Kunihiro Hayashi
邦広 林
直人 加曽利
Naoto Kasori
直人 加曽利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2014196549A priority Critical patent/JP6460700B2/ja
Priority to US14/859,900 priority patent/US10473453B2/en
Priority to EP15186001.2A priority patent/EP3001142A1/en
Publication of JP2016070676A publication Critical patent/JP2016070676A/ja
Application granted granted Critical
Publication of JP6460700B2 publication Critical patent/JP6460700B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Radiation Pyrometers (AREA)

Abstract

【課題】欠陥の診断を行った場所の位置を容易に特定する。
【解決手段】車両100を走行させながら全周カメラ111が撮影した動画に基づき、撮影対象の特徴点の三次元座標と全周カメラ111の位置との相対位置関係を算出する。この相対位置関係と、全周カメラ111に対するハイパースペクトルカメラ114の外部標定要素に基づき、ハイパースペクトルカメラ114が撮影した対象の位置を算出する。
【選択図】図1

Description

本発明は、画像情報を利用した演算装置、演算方法、およびプログラムに関する。
IMU(慣性計測装置:Inertial Measurement Unit)、カメラ、レーザスキャナ等の光学機器を搭載した車両を走行させ、その際にIMUで車両の位置を計測し、同時に周囲の状況を光学機器により計測し、地図空間情報等を得る技術が知られている(例えば、特許文献1を参照)。また、光学計測により、コンクリートの劣化診断を行う技術が知られている(例えば、特許文献2や3を参照)。
特開2013−40886号公報 特開2012−185002号公報 特開2014−95565号公報
光学計測により、コンクリートの劣化診断を行う技術では、診断した場所の特定が困難であるという問題がある。このような背景において、本発明は、欠陥の診断を行った場所の位置を容易に特定できる技術の提供を目的とする。
請求項1に記載の発明は、光学機器から得た測定対象物における複数の位置と前記光学機器の移動経路との相対位置関係を算出する相対位置関係算出部と、前記相対位置関係算出部での算出結果に基づき、前記光学機器に対する外部標定要素が予め取得され、前記光学機器と異なる情報であり、前記測定対象物の物性および/または温度に係る情報を計測する計測機器が計測した前記測定対象物の位置を算出する計測位置算出部とを備えることを特徴とする演算装置である。
光学機器としては、動画を撮影するカメラや三次元点群位置データを取得するレーザスキャナが挙げられる。計測機器としては、ハイパースペクトルカメラやサーモグラフィーカメラが挙げられる。計測機器は、光学機器から得られない対象物の物性や温度に関する情報が得られるものを用いる。本発明では、光学機器から対象物の三次元座標と当該光学機器との位置関係に係る情報を得る。そして、この位置関係に係る情報と計測機器の位置と姿勢を関連付けることで、計測機器が計測している対象の位置の情報を得る。
請求項2に記載の発明は、請求項1に記載の発明において、前記測定機器が計測した前記測定対象物の被計測位置の算出は、前記計測機器の前記光学機器に対する位置および姿勢と、前記計測機器の計測が行われた時刻における前記光学機器の位置と、前記時刻における前記光学機器の位置に対する前記測定対象物の複数の位置の相対位置関係とに基づいて行われることを特徴とする。
請求項3に記載の発明は、光学機器から得た測定対象物における複数の位置と前記光学機器の移動経路との相対位置関係を算出する相対位置関係算出ステップと、前記相対位置関係算出ステップでの算出結果に基づき、前記光学機器に対する外部標定要素が予め取得され、前記光学機器と異なる情報であり、前記測定対象物の物性および/または温度に係る情報を計測する計測機器が計測した前記測定対象物の位置を算出する計測位置算出ステップとを備えることを特徴とする演算方法である。
請求項4に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータに光学機器から得た測定対象物における複数の位置と前記光学機器の移動経路との相対位置関係を算出する相対位置関係算出ステップと、前記相対位置関係算出ステップでの算出結果に基づき、前記光学機器に対する外部標定要素が予め取得され、前記光学機器と異なる情報であり、前記測定対象物の物性および/または温度に係る情報を計測する計測機器が計測した前記測定対象物の位置を算出する計測位置算出ステップとを実行させることを特徴とするプログラムである。
本発明によれば、欠陥の診断を行った場所の位置を容易に特定できる。
実施形態の概念図である。 実施形態のブロック図である。 演算部のブロック図である。 相対位置を特定する原理を示す原理図である。 テンプレートマッチングの原理を示す原理図である。 前方交会法の原理を示す原理図である。 後方交会法の原理を示す原理図である。 処理の手順の一例を示すフローチャートである。
1.第1の実施形態
(構成)
図1は、実施形態の概念図が示されている。図1には、車両100が示されている。車両100には、計測システム110が取り付けられている。計測システム110は、基台(ベース)上に全周カメラ111、IMU112、GNSSユニット113、ハイパースペクトルカメラ114、演算部115を備えている。
全周カメラ111は、周囲360°と上方の動画撮影を行う。全周カメラ111の代わりに特定の範囲の撮影を行うカメラを用いることもできる。IMU112は、慣性計測装置であり、自身に加わる加速度を検出する。IMU112が計測する自身に加わる加速度の情報から、IMU112の姿勢の変化を知ることができる。そして、IMU112の姿勢の変化を知ることで、車両100、全周カメラ111およびハイパースペクトルカメラ114の姿勢の変化を知ることができる。GNSSユニット113は、GNSS(Global Navigation Satellite System)を構成する航法衛星からの航法信号を受信し、自身の位置情報と校正された高精度の時刻情報を出力する。全周カメラ111、IMU112およびハイパースペクトルカメラ114は、GNSSユニット113から供給される同期信号に基づいて同期して動作を行う。なお、同期信号を生成する回路を用意し、そこから供給される同期信号に基づき、全周カメラ111、IMU112およびハイパースペクトルカメラ114の動作を同期させてもよい。
ハイパースペクトルカメラ114は、数十以上といった多数の波長帯域の動画情報を取得するカメラである。例えば、通常のカラーカメラは、RGBの3波長帯域の画像情報を取得するが、ハイパースペクトルカメラ114は、数十波長帯域の画像情報を取得する。ハイパースペクトルカメラ114が得た情報を解析すると、撮影対象の物性や温度に関する情報を得ることができる。
物質は、固有な光の反射および吸収の特性を有している。したがって、ハイパースペクトルカメラが撮影したハイパースペクトル画像を解析することで、撮影対象の材質に係る情報を得ることができる。また、例えば、赤外帯域の情報を解析することで、撮影対象物の温度やその分布を知ることができる。例えば、コンクリートで構成されたトンネル内壁に亀裂や劣化があると、材質の変質や漏水の影響により、その部分から反射あるいは放射される紫外〜赤外におけるスペクトル分布が他の正常な部分と異なるものとなる。このことを利用して、コンクリート製のトンネル内壁の欠陥の有無の診断を行うことができる。
全周カメラ111、IMU112、GNSSユニット113、ハイパースペクトルカメラ114の車両100に対する外部標定要素(位置と姿勢)は予め取得され、既知である。当然、全周カメラ111に対するハイパースペクトルカメラ114の外部標定要素は予め判っている。これらの情報は、演算部115内に記憶されている。
演算部115には、PC(パーソナルコンピュータ)116が接続できる。PC116により、ユーザによる各種の操作が行われる。また、ユーザは、PC116のディスプレイ上で全周カメラ111やハイパースペクトルカメラ114が撮影した画像を見ることができる。なお、PC116に演算部115で行われる演算の少なくとも一部を行わせることも可能である。
演算部115は、コンピュータとして機能するハードウェアである。図3に示すように、演算部115は、データ受付部121、データ入出力部122、位置関係算出部123、ハイパースペクトルカメラの位置姿勢算出部124、計測位置算出部125、対応点特定部126、全周カメラの位置姿勢算出部127、時刻同期部128、データ記録部129を備えている。これら機能部は、ソフトウェア的に構成されていてもよいし、専用のハードウェアで構成されていてもよい。
データ受付部121は、全周カメラ111が撮影した全周画像の画像データ、IMU112からの加速度に関するデータ、GNSSユニットからの位置情報と時刻情報に関するデータ、ハイパースペクトルカメラ114が撮影したハイパースペクトル画像の画像データを受け付ける。時刻同期部128は各センサーが情報を取得した時刻を記録する。データ記録部129は各センサーの値と取得時刻を記録する。データ入出力部122は、PCおよび他の装置との間でデータのやり取りを行う。位置関係算出部123は、全周カメラ111が撮影した対象物における複数の特徴点と全周カメラ111の移動経路の位置関係を算出する。以下、位置関係算出部123の機能について説明する。
図4には、全周カメラの位置と、全周カメラ111が撮影した対象物の特徴点との位置関係が示されている。図4には、P1〜P6と全周カメラ111が移動しつつ、対象物20と21を撮影した場合が示されている。ここで、A1〜A7およびB1〜B8は、対象物の特徴点である。
まず、P1において撮影した画像から特徴点A1〜A3,B1〜B4が抽出される。特徴点としては、周囲から区別できる点であり、例えば、エッジ部分や周囲と色彩が異なっている部分が抽出される。特徴点の抽出は、ソフトウェア処理により行われる。特徴点の抽出には、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタが用いられる。
また、P2において撮影した画像から特徴点A1〜A3,B1〜B5が抽出される。異なる視点から得られた特徴点同士の対応関係の特定(トラッキング)は、対応点特定部126においてソフトウェア処理によって行われる。例えば、この対応関係の特定は、テンプレートマッチングにより行われる。
テンプレートマッチングとしては、残差逐次検定法(SSDA:Sequential Similarity Detection Algorithm)、相互相関係数法などが挙げられる。以下、テンプレートマッチングの一例を説明する。テンプレートマッチングは、2つの座標系における画像の座標データを相互に比較し、両者の相関関係により、2つの画像の対応関係を求める方法である。テンプレートマッチングでは、2つの視点それぞれから見た画像の特徴点の対応関係が求められる。図5は、テンプレートマッチングの原理を説明する説明図である。この方法では、図示するように、N×N画素のテンプレート画像を、それよりも大きいM×M画素の入力画像内の探索範囲(M−N+1)上で動かし、下記数1で示される相互相関関数C(a,b)が最大となるような(つまり相関の程度が最大となるような)テンプレート画像の左上位置を求める。
Figure 2016070676
上記の処理は、一方の画像の倍率を変えながら、また回転させながら行われる。そして、相関関係が最大となった条件で、両画像の一致する領域が求まり、更にこの領域における特徴点を抽出することで、対応点の検出が行われる。
テンプレートマッチングを用いることで、比較する2つの画像の一致する部分が特定でき、2つの画像の対応関係を知ることができる。この方法では、2つ画像の相関関係が最大となるように両者の相対的な位置関係が定められる。2つの画像の相関関係は、両画像の特徴点によって決まる。
P1およびP2から得た特徴点の対応関係を求めたら、交会法を用いてP1,P2,A1〜A4,B1〜B4の相対位置関係を算出する。図6には、前方交会法の原理が示されている。前方交会法とは、既知の複数点(図6の場合は2点(O,O))から未知点Pへ向かう方向を観測して、それらの方向線の交点として未知点Pの位置を求める方法である。
図7には、後方交会法の原理が示されている。後方交会法とは、未知点から3つ以上の既知点へ向かう方向を観測して、それらの方向線の交点として未知点の位置を定める方法である。後方交会法としては、単写真標定、DLT法(Direct Liner Transformation Method)が挙げられる。交会法については、基礎測量学(電気書院:2010/4発行)182p,p184に記載されている。また、特開2013―186816号公報には具体的な計算方法の例が示されている。
原理的にいうと、P1からA1,A2に向けての方向線を設定し、更にP2からA1,A2に向けての方向線を設定することで、P1,P2,A1〜A4の相対位置関係が特定される。また、A1〜A4からP3に向かう方向性を設定することで、P3とA1〜A4の相対位置関係が特定される。ここで、A1〜A4とP2の相対位置関係が特定されていれば、P1〜P3とA1〜A4の相対位置関係が特定される。この原理により、P1〜P6とA1〜A7,B1〜B9の相対的な位置関係が特定される。この交会法を用いた相対位置関係の特定が位置関係算出部123において行われる。なお、P1〜P6,A1〜A7,B1〜B9のなかの2点以上の絶対座標値あるいは特定の2点間の距離が与えられていない段階では、図4のモデルの縮尺は決まらず、各点間の距離の絶対値は判らない。
また、この段階でP1における全周カメラ111の姿勢に対するP2における全周カメラの姿勢が求められる。すなわち、図4に例示するようなモデルが決まることで、P1から見た特定の特徴点の方向とP2から見た特定の特徴点の方向との相対的な関係が判るので、P1における全周カメラ111の姿勢とP2における全周カメラ111の姿勢との相対的な関係が判る。この原理により、各位置間における全周カメラ111の姿勢の変化が画像上にある共通した複数の特徴点に基づいて算出される。こうして、P1〜P6における全周カメラ111の姿勢の相対的な関係が得られる。
以上のP1〜P6,A1〜A7,B1〜B9の相対的な位置関係およびP1〜P6における全周カメラ111の姿勢の相対的な関係を特定するための処理が位置関係算出部123において行われる。ところで、図4の場合は、P1,P2,P6においてGPSによる絶対位置の特定が行なわれる。よって、上記の相対位置関係において、P1,P2,P6の座標をGPSから得られた絶対位置の座標に置き換えることで、絶対座標系におけるP1〜P6,A1〜A7,B1〜B9の座標値が得られる。そして、各位置の絶対座標値が得られることで、P1〜P6へと移動する全周カメラ111の移動経路が判明する。こうして、各時刻における全周カメラ111の絶対座標系における位置と姿勢が算出される。この処理は全周カメラの位置姿勢算出部127において行われる。
ハイパースペクトルカメラの位置姿勢算出部124は、全周カメラの位置姿勢算出部127で算出された全周カメラ111の位置と姿勢に関するデータ、およびハイパースペクトルカメラ114の全周カメラ111に対する外部標定要素から、各時刻におけるハイパースペクトルカメラ114の絶対座標系における位置と姿勢を算出する。
計測位置算出部125は、各時刻におけるハイパースペクトルカメラ114の絶対座標系における位置と姿勢から、ハイパースペクトルカメラ114が撮影している範囲における対象物の位置を算出する。
例えば、ハイパースペクトルカメラ114から得たハイパースペクトル画像の特定のフレーム画像に映った対象物の位置を特定する場合を考える。この場合、まずこのハイパースペクトル画像のフレーム画像が得られた時刻tを取得する。なお、フレーム画像というのは、動画を構成する単位画像のこという。特定の間隔で次々に撮像されたフレーム画像により、動画は構成される。これは、全周カメラ111が撮影する動画においても、ハイパースペクトルカメラ114が撮影する動画においても同じである。
時刻tが判れば、その時刻における全周画像(全周カメラ111が撮影した画像)のフレーム画像が得られる。ここで、全周カメラ111に対するハイパースペクトルカメラ114の外部標定要素は既知である。よって、ハイパースペクトルカメラ114が撮影している範囲が、全周カメラ111により撮影した全周画像中のどの部分かを知ることができる。例えば、車両100の左90°を中心にある視野の範囲をハイパースペクトルカメラ114が撮影しているといった情報が得られる。
ここで、例えば上記の車両100の左90°を中心にある視野の範囲における撮影対象物の特徴点の三次元座標は、位置関係算出部123の演算結果から知ることができる。よって、当該範囲に映っている対象物の特徴点の三次元座標(例えば、画面中心に最も近い特徴点の三次元座標)をハイパースペクトルカメラ114が計測していた対象物の座標として採用することで、時刻tにハイパースペクトルカメラ114が計測していた対象物の位置のデータを得ることができる。この特定の時刻にハイパースペクトルカメラ114が計測していた対象物の位置を算出する処理が計測位置算出部125において行われる。
上記の原理を利用すると、特定の時刻におけるハイパースペクトルカメラ画像のフレーム画像中の特定の位置をユーザが指定した場合に、その位置の三次元座標(またはその近似値)を算出することもできる。例えば、図6において、Oがハイパースペクトルカメラ114の視点であり、Oが全周カメラ111の視点であるとする。そして、pがユーザが指定した画面上の位置であるとする。この場合、Pに全周画像中で抽出した特徴点があれば、ユーザがハイパースペクトルカメラ画面中で指定した画面座標位置pに対応する位置の測定対象物の三次元座標が判る。なお、Pに全周画像中で抽出した特徴点がない場合、Pの近くにある特徴点を近似点として採用し、その三次元座標値を近似値として採用すればよい。また、Pが特定できれば、pも判るので、ハイパースペクトル画像中の特定の点に対応する全周画像中の画面座標値も特定できる。
以上の機能を利用すると、例えば、ハイパースペクトル画像中で対象物の欠陥部分を発見した場合に、その時刻にハイパースペクトルカメラ114が撮影していた対象物の位置の情報を得ることができる。また、更にユーザが特定の部分を指定することでその位置の三次元座標を知ることができる。
(処理の一例)
図8には、処理の手順の一例が示されている。図8に示す処理を実行するためのプログラムは、適当な記憶領域に記憶され、演算部115において実行される。このプログラムは適当な記憶媒体に記憶させることが可能である。
ここでは、車両100をトンネル130(図1参照)内で走行させ、その際に全周画像とハイパースペクトル画像を得、得られたハイパースペクトル画像を解析することでトンネル内壁131の欠陥部分を検出する場合の例を説明する。
まず、全周カメラ111とハイパースペクトルカメラ114を動作させながら、トンネル内で車両100を走行させ、全周画像のデータとハイパースペクトル画像のデータを取得する(ステップS101)。この際、最初はトンネルの外を走行させ、GNSSからの位置情報の取得を行い、図4のP1やP2のような複数の位置での絶対位置の取得が行えるようにする。なお、トンネル内に位置情報を発信するGCP(Ground Control Point)がある場合は、そこからの位置情報を利用し、特定の時刻における車両100に絶対位置の情報を取得する。
この例では、画像データの取得を行いつつ、ステップS102〜S106の処理を行う。なお、ステップS102以下の処理は、画像データを得た後に改めて行ってもよい。ステップS102では、全周画像の各フレーム画像間における特徴点の追跡を行い、各フレーム画像間における複数の特徴点の間の対応関係の特定が行われる。この処理は、対応点特定部126において行われる。
特徴点の追跡が行われ、全周画像のフレーム画像間における特徴点の対応関係が特定されたら、図4に示す原理を用いて測定対象物の複数の特徴点と各時刻における全周カメラ111の位置と姿勢の相対的な位置関係が算出される。この処理は、位置関係算出部123において行われる。そして、各特徴点と各時刻における全周カメラ111の位置の相対的な位置と姿勢の関係が算出されることで、各フレーム(各時刻)における全周カメラ111の相対的な位置と姿勢が算出される。こうして、各フレームにおける全周カメラ111の相対的な位置と姿勢の情報が得られる(ステップS103)。
次に、GNSSの航法信号等の絶対位置特定情報による絶対位置の特定が行なえた位置についてその位置を算出し、その座標値を当該時刻における全周カメラ111の位置とする(ステップS104)。
次に、GNSSの航法信号等の絶対位置特定情報が得られない位置については、ステップS103で得た各フレーム間(各時刻間)における全周カメラ111の相対位置関係とステップS104で得た特定の時刻における全周カメラ111の絶対位置のデータに基づき算出する(ステップS105)。例えば図4の場合でいうと、P3の絶対位置は、GPSで特定されたP2の絶対位置とP2とP3の相対位置関係とから求めることができる。
ステップS104とS105の処理の結果、全周カメラ111の移動経路に関するデータが得られる。また、この移動経路のデータにIMU112が検出した加速度に基づく全周カメラ111の姿勢のデータが関連付けされる。こうして、各時刻の絶対座標系における全周カメラ111の位置と姿勢が求められる。この各時刻における全周カメラ111の位置と姿勢を求める処理が全周カメラの位置姿勢算出部127において行われる。
各時刻における全周カメラの位置が得られたら、全周カメラ111とハイパースペクトルカメラ114の位置および姿勢の関係から、各時刻におけるハイパースペクトルカメラ114の絶対座標系における位置と姿勢を算出する(ステップS106)。この処理は、ハイパースペクトルカメラの位置姿勢算出部124において行われる。
ここで、ハイパースペクトル画像の特定のフレームが指定された場合に、対応する時刻における全周画像からハイパースペクトルカメラ114が撮影している範囲の測定対象物の特定の位置(例えば、ハイパースペクトル画像の画像中心に対応する測定対象物の部分)の三次元座標の算出が行われる(ステップS107)。この処理は、計測位算出部125において行われる。
例えば、ユーザがハイパースペクトル画像を観察し、ハイパースペクトルカメラ114で撮影したトンネルの内壁の観察を行う場合を考える。この際、色彩やスペクトル情報等から亀裂や変質等の欠陥が疑われる場所が見つかったとする。この場合、ユーザは、欠陥を見出したハイパースペクトル画像のフレーム画像を指定する。すると、このハイパースペクトル画像のフレーム画像が得られた時刻から、当該時刻に全周カメラ111が撮影した対象物(トンネル内壁)の特徴点の三次元座標が判る。ここで、ハイパースペクトルカメラ114の全周カメラ111に対する位置と姿勢の関係から、ハイパースペクトルカメラ114が撮影していた領域に対応する全周画像中の領域は特定できるから、当該時刻にハイパースペクトルカメラ114が撮影していた領域の位置情報をユーザは知ることができる。つまり、トンネル全体のどの位置に欠陥が疑われる内壁が存在するのかに関する情報をユーザは知ることができる。
(その他)
異なる時刻に取得されたハイパースペクトル画像の複数のフレーム画像を用いて、前方交会法によりハイパースペクトル画像中の特定の位置の三次元座標を求めることもできる。この場合、各時刻におけるハイパースペクトルカメラ114の位置を利用し、前方交会法を用いて、ハイパースペクトル画像中の特定の位置の三次元座標を求める。また、全周画像とハイパースペクトル画像とを用いて前方交会法によりハイパースペクトル画像中の特定の位置の三次元座標を求めることもできる。
また、ハイパースペクトルカメラ114が検出する赤外域の情報を利用した場合、あるいはハイパースペクトルカメラ114の代わりにサーモグラフィーカメラを用いた場合、配管における液体や気体の漏出個所の検出を行うことができる。この場合も欠陥があった配管の位置を特定することができる。
本発明は、欠陥の診断を行った場所の位置情報を容易に特定できる技術に利用可能である。
100…車両、110…計測システム、111…全周カメラ、112…IMU、113…GNSSユニット、114…ハイパースペクトルカメラ、115…演算部、130…トンネル、131…トンネル内壁。

Claims (4)

  1. 光学機器から得た測定対象物における複数の位置と前記光学機器の移動経路との相対位置関係を算出する相対位置関係算出部と、
    前記相対位置関係算出部での算出結果に基づき、前記光学機器に対する外部標定要素が予め取得され、前記光学機器と異なる情報であり、前記測定対象物の物性および/または温度に係る情報を計測する計測機器が計測した前記測定対象物の位置を算出する計測位置算出部と
    を備えることを特徴とする演算装置。
  2. 前記測定機器が計測した前記測定対象物の被計測位置の算出は、
    前記計測機器の前記光学機器に対する位置および姿勢と、
    前記計測機器の計測が行われた時刻における前記光学機器の位置と、
    前記時刻における前記光学機器の位置に対する前記測定対象物の複数の位置の相対位置関係と
    に基づいて行われることを特徴とする請求項1に記載の演算装置。
  3. 光学機器から得た測定対象物における複数の位置と前記光学機器の移動経路との相対位置関係を算出する相対位置関係算出ステップと、
    前記相対位置関係算出ステップでの算出結果に基づき、前記光学機器に対する外部標定要素が予め取得され、前記光学機器と異なる情報であり、前記測定対象物の物性および/または温度に係る情報を計測する計測機器が計測した前記測定対象物の位置を算出する計測位置算出ステップと
    を備えることを特徴とする演算方法。
  4. コンピュータに読み取らせて実行させるプログラムであって、
    コンピュータに
    光学機器から得た測定対象物における複数の位置と前記光学機器の移動経路との相対位置関係を算出する相対位置関係算出ステップと、
    前記相対位置関係算出ステップでの算出結果に基づき、前記光学機器に対する外部標定要素が予め取得され、前記光学機器と異なる情報であり、前記測定対象物の物性および/または温度に係る情報を計測する計測機器が計測した前記測定対象物の位置を算出する計測位置算出ステップと
    を実行させることを特徴とするプログラム。

JP2014196549A 2014-09-26 2014-09-26 トンネルの内壁の欠陥の有無の診断を行う方法およびトンネルの内壁の欠陥の有無の診断を行うプログラム Active JP6460700B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014196549A JP6460700B2 (ja) 2014-09-26 2014-09-26 トンネルの内壁の欠陥の有無の診断を行う方法およびトンネルの内壁の欠陥の有無の診断を行うプログラム
US14/859,900 US10473453B2 (en) 2014-09-26 2015-09-21 Operating device, operating method, and program therefor
EP15186001.2A EP3001142A1 (en) 2014-09-26 2015-09-21 Operating device, operating method, and program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014196549A JP6460700B2 (ja) 2014-09-26 2014-09-26 トンネルの内壁の欠陥の有無の診断を行う方法およびトンネルの内壁の欠陥の有無の診断を行うプログラム

Publications (2)

Publication Number Publication Date
JP2016070676A true JP2016070676A (ja) 2016-05-09
JP6460700B2 JP6460700B2 (ja) 2019-01-30

Family

ID=54151186

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014196549A Active JP6460700B2 (ja) 2014-09-26 2014-09-26 トンネルの内壁の欠陥の有無の診断を行う方法およびトンネルの内壁の欠陥の有無の診断を行うプログラム

Country Status (3)

Country Link
US (1) US10473453B2 (ja)
EP (1) EP3001142A1 (ja)
JP (1) JP6460700B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180084479A (ko) * 2017-01-17 2018-07-25 서울시립대학교 산학협력단 초분광 이미지를 이용하여 콘크리트 상태를 판정하는 장치 및 방법
JP2018185228A (ja) * 2017-04-26 2018-11-22 三菱電機株式会社 移動型探傷装置
JP2021039071A (ja) * 2019-09-05 2021-03-11 三菱重工業株式会社 画像位置特定装置、方法およびプログラム、並びに温度管理システム
KR102265545B1 (ko) * 2020-02-14 2021-06-16 경북대학교 산학협력단 기계적 진동을 저감시키는 촬영 시스템
JP2022510202A (ja) * 2019-02-18 2022-01-26 エヌイーシー ラボラトリーズ アメリカ インク 異常検出のための背景抑制

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10453150B2 (en) * 2017-06-16 2019-10-22 Nauto, Inc. System and method for adverse vehicle event determination
CN109459439B (zh) * 2018-12-06 2021-07-06 东南大学 一种基于移动式三维激光扫描技术的隧道衬砌裂缝检测方法
CN113129300A (zh) * 2021-05-10 2021-07-16 深圳市水务工程检测有限公司 一种降低误检率的排水管道缺陷检测方法、装置、设备及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10260141A (ja) * 1997-03-18 1998-09-29 Hitachi Denshi Ltd 欠陥検査装置
JP2002539439A (ja) * 1999-03-15 2002-11-19 財団法人熊本テクノポリス財団 精密農業用の土壌特性測定装置とシステム
JP2007212309A (ja) * 2006-02-09 2007-08-23 Fujitsu Ten Ltd トンネルの壁面検査装置及びトンネルの壁面検査システム
JP2011022062A (ja) * 2009-07-17 2011-02-03 Topcon Corp 位置測定方法及び位置測定装置
EP2327976A2 (en) * 2009-11-20 2011-06-01 Roadscanners oy Method and apparatus for evaluating the condition of the pavement of a traffic lane
JP2013072772A (ja) * 2011-09-28 2013-04-22 Topcon Corp 画像取得装置
JP2013092403A (ja) * 2011-10-24 2013-05-16 Pasuko:Kk 液状化に伴う変状箇所検出支援装置及び液状化に伴う変状箇所検出支援プログラム
US20130236107A1 (en) * 2012-03-09 2013-09-12 Kabushiki Kaisha Topcon Moving image processing device, moving image processing method, and recording medium having moving image processing program
JP2013187862A (ja) * 2012-03-09 2013-09-19 Topcon Corp 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
US20130325346A1 (en) * 2012-06-01 2013-12-05 Agerpoint, Inc. Systems and methods for monitoring agricultural products
JP2014145629A (ja) * 2013-01-28 2014-08-14 Tohoku Electric Power Co Inc 三次元表示可能な地中レーダシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4966542B2 (ja) * 2005-12-22 2012-07-04 株式会社トプコン 位置データ補間方法及び位置測定装置
CA2560800C (en) * 2006-01-20 2014-08-26 Geo 3D Inc. Automated asset detection, location measurement and recognition
JPWO2011055405A1 (ja) * 2009-11-04 2013-03-21 株式会社ニレコ 分光情報読み取り装置
JP5591155B2 (ja) 2011-03-04 2014-09-17 株式会社Ihiインフラシステム コンクリート劣化因子検出方法
JP2013040886A (ja) 2011-08-19 2013-02-28 Mitsubishi Electric Corp 三次元点群計測方法、三次元点群計測プログラム
JP5968759B2 (ja) 2012-11-07 2016-08-10 株式会社Ihiインフラシステム コンクリート面の補修工法選定方法
US20140132723A1 (en) * 2012-11-13 2014-05-15 Osmose Utilities Services, Inc. Methods for calibrating a digital photographic image of utility structures

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10260141A (ja) * 1997-03-18 1998-09-29 Hitachi Denshi Ltd 欠陥検査装置
JP2002539439A (ja) * 1999-03-15 2002-11-19 財団法人熊本テクノポリス財団 精密農業用の土壌特性測定装置とシステム
JP2007212309A (ja) * 2006-02-09 2007-08-23 Fujitsu Ten Ltd トンネルの壁面検査装置及びトンネルの壁面検査システム
JP2011022062A (ja) * 2009-07-17 2011-02-03 Topcon Corp 位置測定方法及び位置測定装置
EP2327976A2 (en) * 2009-11-20 2011-06-01 Roadscanners oy Method and apparatus for evaluating the condition of the pavement of a traffic lane
JP2013072772A (ja) * 2011-09-28 2013-04-22 Topcon Corp 画像取得装置
JP2013092403A (ja) * 2011-10-24 2013-05-16 Pasuko:Kk 液状化に伴う変状箇所検出支援装置及び液状化に伴う変状箇所検出支援プログラム
US20130236107A1 (en) * 2012-03-09 2013-09-12 Kabushiki Kaisha Topcon Moving image processing device, moving image processing method, and recording medium having moving image processing program
JP2013187862A (ja) * 2012-03-09 2013-09-19 Topcon Corp 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
JP2013186816A (ja) * 2012-03-09 2013-09-19 Topcon Corp 動画処理装置、動画処理方法および動画処理用のプログラム
US20130325346A1 (en) * 2012-06-01 2013-12-05 Agerpoint, Inc. Systems and methods for monitoring agricultural products
JP2014145629A (ja) * 2013-01-28 2014-08-14 Tohoku Electric Power Co Inc 三次元表示可能な地中レーダシステム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180084479A (ko) * 2017-01-17 2018-07-25 서울시립대학교 산학협력단 초분광 이미지를 이용하여 콘크리트 상태를 판정하는 장치 및 방법
KR101958539B1 (ko) 2017-01-17 2019-03-14 서울시립대학교 산학협력단 초분광 이미지를 이용하여 콘크리트 상태를 판정하는 장치 및 방법
JP2018185228A (ja) * 2017-04-26 2018-11-22 三菱電機株式会社 移動型探傷装置
JP2022510202A (ja) * 2019-02-18 2022-01-26 エヌイーシー ラボラトリーズ アメリカ インク 異常検出のための背景抑制
JP7148726B2 (ja) 2019-02-18 2022-10-05 エヌイーシー ラボラトリーズ アメリカ インク 異常検出のための背景抑制
JP2021039071A (ja) * 2019-09-05 2021-03-11 三菱重工業株式会社 画像位置特定装置、方法およびプログラム、並びに温度管理システム
KR102265545B1 (ko) * 2020-02-14 2021-06-16 경북대학교 산학협력단 기계적 진동을 저감시키는 촬영 시스템
WO2021162246A1 (ko) * 2020-02-14 2021-08-19 경북대학교 산학협력단 기계적 진동을 저감시키는 촬영 시스템

Also Published As

Publication number Publication date
US10473453B2 (en) 2019-11-12
JP6460700B2 (ja) 2019-01-30
EP3001142A1 (en) 2016-03-30
US20160091297A1 (en) 2016-03-31

Similar Documents

Publication Publication Date Title
JP6460700B2 (ja) トンネルの内壁の欠陥の有無の診断を行う方法およびトンネルの内壁の欠陥の有無の診断を行うプログラム
CN113379822B (zh) 一种基于采集设备位姿信息获取目标物3d信息的方法
US11243072B2 (en) Method for the three dimensional measurement of moving objects during a known movement
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP2009008662A (ja) センサ及びビデオ三角測量を共同使用する物体の検出
JP6251142B2 (ja) 測定対象物の非接触検知方法及びその装置
JP2016138788A (ja) 測量データ処理装置、測量データ処理方法およびプログラム
JP6506032B2 (ja) 測量データ処理装置、測量データ処理方法およびプログラム
JP6666245B2 (ja) モバイルプラットフォームの動作モードを選択する方法、システム、コンピュータプログラム製品及び装置
JP7480833B2 (ja) 計測装置、計測システムおよび車両
JP2009058255A (ja) レーザ離隔計測システム
JP6506031B2 (ja) 測量データ処理装置、測量データ処理方法およびプログラム
CN114726978A (zh) 信息处理装置、信息处理方法以及程序
Gracias et al. Underwater mosaic creation using video sequences from different altitudes
US20230070281A1 (en) Methods and systems of generating camera models for camera calibration
JP6646133B2 (ja) 画像処理装置および内視鏡
KR101497396B1 (ko) 타겟 위치 측정시스템 및 이를 이용한 타겟 위치 측정방법
JP5409451B2 (ja) 3次元変化検出装置
Hrabar et al. PTZ camera pose estimation by tracking a 3D target
JP6867465B2 (ja) モバイルプラットフォームの動作モードを選択するシステム及び方法
RU2562602C2 (ru) Система диагностики технического состояния магистрального трубопровода на участках надземных переходов
JP7399632B2 (ja) 撮影処理装置、及び撮影処理方法
JP2013096934A (ja) 目標位置検出装置、該検出装置に用いられる目標位置検出方法及び目標位置検出プログラム
JP2023139821A (ja) 画像管理システムおよび画像管理方法
CN118119972A (zh) 生成用于相机校准的相机模型的方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180809

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181225

R150 Certificate of patent or registration of utility model

Ref document number: 6460700

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250