JP2005016991A - Infrared structure diagnosis system - Google Patents

Infrared structure diagnosis system Download PDF

Info

Publication number
JP2005016991A
JP2005016991A JP2003178840A JP2003178840A JP2005016991A JP 2005016991 A JP2005016991 A JP 2005016991A JP 2003178840 A JP2003178840 A JP 2003178840A JP 2003178840 A JP2003178840 A JP 2003178840A JP 2005016991 A JP2005016991 A JP 2005016991A
Authority
JP
Japan
Prior art keywords
image
mode
infrared
visible image
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003178840A
Other languages
Japanese (ja)
Inventor
Hiroshi Haneya
洋 羽矢
Tomoaki Inaba
智明 稲葉
Mitsuhiro Wada
光弘 和田
Takahito Komiyama
貴仁 込山
Takahiro Nagano
隆洋 長野
Tadashi Nishikawa
忠 西川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ODAKYU CONSTRUCTION CO Ltd
Railway Technical Research Institute
Constec Engi Co
Original Assignee
ODAKYU CONSTRUCTION CO Ltd
Railway Technical Research Institute
Constec Engi Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ODAKYU CONSTRUCTION CO Ltd, Railway Technical Research Institute, Constec Engi Co filed Critical ODAKYU CONSTRUCTION CO Ltd
Priority to JP2003178840A priority Critical patent/JP2005016991A/en
Publication of JP2005016991A publication Critical patent/JP2005016991A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a diagnosis system for easily detecting the presence or absence, position, and size of a defective section, such as cracks and floating in a structure. <P>SOLUTION: The diagnosis system comprises an imaging section consisting of a digital camera for imaging the visible image of the structure to be diagnosed, an infrared camera for imaging thermal image, and a range finder for generating an electric signal according to the distance between both the cameras and the structure; and a processor that inputs a visible image from the imaging section, inputs the thermal image and a distance signal, displays a defective section specification screen in a plurality of modes for detecting the defect of the structure, and calculates the size and area of the defective section by tracing the defective section on the specification screen by a pointing device. Then, the diagnosis system comprises a mode for displaying the thermal image and the visible image side by side as the display mode of the defective section specification screen, a mode for displaying the thermal image and the visible image by overlapping them, and a mode for displaying only the visible image with resolution that is higher than other modes. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、ビルや橋梁などの建造物の欠陥の診断システムに係り、特に赤外線を用いてコンクリートやモルタルの浮き上りやひび割れ等の欠陥を診断する赤外線構造物診断システムに関するものである。
【0002】
【従来の技術】
【特許文献1】特開2001−50921
近年、トンネル、高架橋等のコンクリート構造物のコンクリートが劣化し、一部が剥落する事故が発生し、問題となっている。このため、コンクリートの健全度を的確に検査し得る非破壊検査方法の確立が求められている。コンクリートの非破壊検査方法としては、赤外線カメラを用いる赤外線写真法(サーモグラフィー)と、ディジタルスチルカメラを用いるディジタル写真法が知られている。これらの方法は、安全性、簡便性、高速性の点で優れており、最近、急速に普及している。
【0003】
赤外線写真法(サーモグラフィー)は、赤外領域の光によるコンクリート表面の画像から欠陥の有無や程度を把握する方法である。この赤外線写真法(サーモグラフィー)によれば、コンクリート、モルタル、タイル等の浮き、表面付近の内部欠陥(例えば、空洞、ジャンカ)を発見することが可能である。
【0004】
タイル・モルタルの浮き部、コンクリート中のジャンカ、空洞、漏水部等、建造物中に欠陥が存在する部分は、熱伝導率、比熱等、熱的性質が健全部と異なる。健全部と欠陥部の熱的性質の違いは、気温や日射、あるいは人工的な過熱・冷却に起因して生じる構造物の温度変動の中で、表面温度の差となって現れる。土木・建築分野における赤外線写真法とは、赤外線映像装置を用いて物体の表面温度分布(熱画像)を測定し、熱画像上に現れる表面温度異常部から、内部欠陥の存在を推定する方法である。
【0005】
赤外線写真法による欠陥検出の原理図を図2に示す。即ちこの方法は、建造物6の内部に生じた欠陥部61が空隙断熱層となり、日射や気温変化に起因して生じる表面温度の日変動の中で、図2に示すように欠陥部と健全部との間に表面温度差が生じる時間帯があることを利用して、内部欠陥を検知する手法である。
【0006】
また、ディジタル写真法は、可視領域の光によるコンクリート表面の画像から欠陥の有無や程度を把握する方法である。このディジタル写真法によれば、コンクリート、モルタル、タイル等のひび割れ、表面の欠損を発見することが可能である。
【0007】
しかしながら、上記の従来の赤外線写真法やディジタル写真法には次のような問題がある。
【0008】
(1)ひび割れや空洞部等の欠陥を検査、診断するためには欠陥部の有無、欠陥部の位置及び欠陥部の大きさを知る必要があるが、上記両写真法では欠陥部の有無を検出できてもその大きさを計測することが困難である。
【0009】
(2)ディジタル写真法の場合は画像のひずみを避けられないために、画像上で特定された欠陥部の位置が実際の建造物のどの位置に相当するのか特定するのに時間を要する。
【0010】
(3)また赤外線写真法の場合は、建造物の輪郭や目安となる箇所が画像上に現れないために、欠陥部を特定してもその部位が実際の建造物のどの位置に相当するのか特定するのに時間を要する。
【0011】
(4)建造物が大きなビル等の場合、部分画像を多数撮像しこれを合成することが必要になるが、建造物を正面から撮像した部分画像とある角度から撮像した部分画像とでは画面上の欠陥部の大きさが同じでも建造物の実際の欠陥部の大きさが異なるため、欠陥部の大きさ、形状を計測するのに時間を要する。
【0012】
(5)ディジタル写真法や赤外線写真法を個々に用いる方法では撮像した画像を単に表示するかあるいは拡大、縮小する程度の表示モードしかないために、欠陥部を健全部から区別すること自体に困難を伴うことも多々ある。
【0013】
【発明が解決しようとする課題】
本発明は上記のような従来の欠点を解決した赤外線構造物診断システムを提供することを目的とする。
【0014】
具体的には、本発明の目的は構造物のひび割れや空洞部等の欠陥部の有無及び位置やその大きさを容易に特定することが可能な赤外線構造物診断システムを提供することにある。
【0015】
【課題を解決するための手段】
上記の目的を達成するために本発明は、診断すべき対象の構造物の可視画像を撮像するディジタルカメラと、上記構造物の熱画像を撮像する赤外線カメラと、上記両カメラと上記構造物との距離に応じた電気信号を生ずる距離計とよりなる撮像部と、該撮像部からの可視画像、熱画像及び距離信号を入力し、上記構造物の欠陥を検出するための複数モードの欠陥部指定画面を表示すると共に、該指定画面における欠陥部をポインティングデバイスでトレースすることにより欠陥部の大きさ及び面積を計算する処理装置とから赤外線構造物診断システムを構成したことにある。
【0016】
本発明の他の特徴は、上記欠陥部指定画面を表示するモードとして、表示装置の1つの画面に、熱画像と可視画像とを並置して表示するモードを含むことにある。
【0017】
本発明の他の特徴は、欠陥部指定画面を表示するモードとして、表示装置の1つの画面に、熱画像と可視画像とを重ね合わせて表示するモードを含むことにある。
【0018】
本発明の他の特徴は、上記の重ね合わせ表示モードにおいて、重ね合わせる可視画像と熱画像の表示比率を可変にする手段とを有することにある。
【0019】
本発明の他の特徴は、上記の欠陥部指定画面を表示するモードとして、表示装置の1つの画面に、可視画像のみを他のモードのときよりは高い解像度で表示するモードを含むことにある。
【0020】
本発明の他の特徴は、上記の欠陥部指定画面を表示するモードの他に、熱画像の表示最低温度と表示最高温度が設定されたときに、設定された温度範囲だけの画像を表示するモードを含むことにある。
本発明の他の特徴及び利点は以下の実施例の記載から、更に明確に理解することができる。
【0021】
【発明の実施の形態】
以下、本発明の一実施形態のシステム構成、制御プログラム及び操作方法について詳細に説明する。
【0022】
(1)システム構成
図1は本発明にかかる赤外線構造物診断システムの構成を示すブロック図である。本発明システムは撮像部1と、パンチルト雲台2及びパソコン等の処理装置5を含む。撮像部1は対象構造物の可視画像を撮像するためのディジタルカメラ10と、対象構造物の熱画像を撮像するための赤外線カメラ11と、上記両カメラ10、11と対象構造物の距離を測定するためのレーザ距離計12を有する。
【0023】
ディジタルカメラ10としては例えば有効画素数が6.1メガピクセル(3026×2018)程度のディジタルスチルカメラを用いることができる。また赤外線カメラ11としては例えば測定温度範囲が−20℃〜100℃、画像データ画素数が320(H)×240(V)ドット程度の市販されている赤外線カメラを使用することができる。またレーザ距離計12としては例えば測定範囲が0.3m〜100mで測定精度が±3〜5mm程度の市販されているレーザ距離計を使用することができる。上記のディジタルカメラ10、赤外線カメラ11の画像情報及びレーザ距離計12の距離データはインタフェース回路4を介してパソコン等の処理装置5に供給される。
【0024】
また上記ディジタルカメラ10、赤外線カメラ11及びレーザ距離計12は撮像部1の筺体に収納され、パンチルト電動雲台2に搭載されている。このパンチルト雲台2としては通常のパソコンにより制御可能であり、水平方向の振り角(パン)が±130°、垂直方向の振り角(チルト)が±45°程度の市販されている装置を用いることができる。このパンチルト雲台2及びバッテリを含むインタフェース回路4は三脚3に載置して使用される。
【0025】
一方、処理装置5としては例えばメモリが512MB以上、ハードディスクの容量が2GM以上でモニタの解像度が640×480ドット以上のカラーモニタを有する通常のパソコンを用いることができる。処理装置5はCPU(中央処理装置)51、プログラム等を格納するROM(固定記憶装置)52、撮像部1からのデータやプログラムの実行中のデータを一時保存するRAM(ランダムアクセス記憶装置)53、キーボード54、表示装置55、撮像部1との間でデータの送受信を行うインタフェース回路56及びハードディスク装置57を有する。
【0026】
次に図3を参照して本発明システムの機能について説明する。
ひび割れや空洞部等の欠陥部61を含む診断対象構造物6の熱画像及び可視画像のデータと距離データは撮像部1に取り込まれる。この撮像部1におけるパンチルト雲台2の水平振り角及び垂直振り角は処理装置5によりリモコン制御される。撮像部1に取り込まれたデータ、即ち熱画像、可視画像及び距離データに関するデータは処理装置5に送られる。この処理装置5は前述のROM52(図1)に後述の撮影システム部プログラムを有し、このプログラムを実行することにより熱画像及び可視画像を補正する。また熱画像から特定の温度範囲のデータのみを表示した画像(以下これを熱ISO表示画像と略す)を生成したり、熱画像と可視画像とを重畳した画像(以下これをオーバーラップ画像と略す)を生成してHDD装置57等の画像データファイル57Aに格納する。これらの補正画像、赤外ISO表示画像及びオーバーラップ画像は診断者7に提示され、診断者はこれらの画像を見ながら欠陥部を例えばマウス等のポインティングデバイスにより指示する。例えばひび割れの場合はマウスによりその上をなぞり、また空洞部の場合は健全部と空洞部の境界をマウスによりなぞるような操作を行う。撮影システムプログラムは欠陥部の長さや大きさを計算し、その欠陥部データをHDD装置57の欠陥部データファイル57Bに保存すると共に、欠陥部の長さや面積を診断者7に提示する。
【0027】
次に本発明システムに用いられるソフトウェアについて説明する。
本発明システムのソフトウェアを大別すると、撮影システム部のプログラムと、画像編集システム部のプログラムよりなる。図4は撮影システム部プログラム処理フローを示し、図5、図6及び図19は画像編集システム部プログラムの処理フローを示す。以下それぞれの処理フローについて説明する。
【0028】
(2)撮影システム部プログラム
まずシステムを起動すると図7に示すようなコントロール画面が現れる。勿論この画面は単なる一例であり、本発明がこれに限定されるものではない。画面の表示領域301には本システムの撮像部1と対象構造物6との間の距離の測定結果がリアルタイムで表示される。表示領域302にはカメラ10及び11の撮影角度として水平角と仰角がリアルタイムで表示される。また表示領域303には赤外線カメラ11の制御情報として測定温度レンジ、赤外レンズの種類、温度レベルやセンス感度の設定情報が表示される。表示領域304には可視カメラの制御情報として画面サイズや可視レンズの種類が表示される。このコントロール画面において撮影データ入力開始ボタン305をクリックすると、図8に示すような熱画像310と可視画像311のリアルタイム画像が表示される。本画面に表示される画像はシステムがディジタルカメラ10及び赤外線カメラ11に一定の時間間隔で画像データを要求し、送られてきたデータをそのまま表示装置55に表示する(図4のステップ100)。
【0029】
画面を見ながら手動でパンチルト雲台2を動かすか、或いは処理装置5からの制御信号に基づいてパンチルト雲台を動かし、撮影対象を確定してシャッタボタン312を押すとディジタルカメラ10及び赤外線カメラ11の画像が取り込まれ、処理装置5のRAM53に保存される(図4のステップ106)。この画面にはレンズ収差補正ボタン313、パララックス補正ボタン314、欠陥部指定ボタン315が用意されており、以下説明するようにレンズ収差補正、パララックス補正、欠陥部指定画面への遷移が実行できる。
【0030】
(a)レンズ収差補正
図8のレンズ収差補正ボタン313を押すと、取り込んだ画像のレンズ歪補正の処理(図4のステップ101)が実行され、補正後の画像が図10の表示領域310、311に表示される。これはカメラレンズの歪曲収差と呼ばれる歪みを補正する処理であり、その一例が特願2002−379548に記載されている。即ち上記の歪曲収差は撮像後の画像が樽状に歪む現象であり、これを補正するためにアフィン変換と称される処理が施される。このアフィン変換は、ユークリッド幾何学的な線形変換と平行移動の組み合わせによる図形や形状の移動又は変形を行う方法であり、4×4の行列演算で表現できる移動、回転、左右反転、拡大、縮小、シアーの座標変換である。このアフィン変換は、元の図形で直線状に並ぶ点は変換後も直線状に並び、平行線は変換後も平行線であるなど、幾何学的性質が保たれる変換方式である。このため、レンズの歪みの性質(レンズの収差特質)をデータとして採取しておき、演算処理部5のROM52などに記憶させておけば、CPU51の演算により、レンズの収差による歪みを除去した画像を得ることができる。補正後のデータは処理装置のメモリ57における画像データファイル57Aに保存される(図4のステップ107)。
【0031】
(b)パララックス補正
次に図10の画面においてパララックス補正ボタン314を押すと、パララックス補正処理(図4のステップ102)が実行される。このパララックス補正は先願の特願2002−379548に詳述されている。即ち本システムにおける撮像部1は、筺体にディジタルカメラ10と赤外線カメラ11が並置して収納されているため、ディジタルカメラ10の撮影範囲と、赤外線カメラ11の撮影範囲の間にズレが生じる。このズレを、視差(パララックス)という。
【0032】
一例として図9に示すように、ディジタルカメラ10と赤外線カメラ11が並べて配置されている場合を考える。カメラのレンズ画角は、いずれも水平方向が30°、垂直方向が20°であるとする。また、ディジタルカメラ10と赤外線カメラ11の水平方向の位置ズレ量を例えば10cmとすると、レンズの前方50cmにある被写体を撮影するときには、水平方向の撮影範囲の長さは、26.8cmとなり、垂直方向の撮影範囲の長さは、17.6cmとなる。この場合、水平方向のカメラの位置ズレ量(10cm)は、水平方向の撮影範囲の長さ26.8cmに対して、37.3%という大きな比率となることがわかる。以下、この比率(%)をパララックス量(撮影範囲全体に対する画像のズレの割合)という。
【0033】
一方、被写体までの距離が5mの場合には、水平方向の撮影範囲の長さは、2.68mとなり、垂直方向の撮影範囲の長さは、1.76mとなる。この場合、水平方向のカメラの位置ズレ量(0.1m)のパララックス量は、水平方向の撮影範囲の長さ2.68mに対して、3.73%となり、パララックス量の値は相対的に小さいことがわかる。
【0034】
即ち、ディジタルカメラ10と赤外線カメラ11の位置ズレの影響は、被写体までの距離によって異なり、撮影する物体が近い場合には非常に大きな影響がでるが、遠方の物体を撮影する場合には、殆ど無視できる。
【0035】
上記したディジタルカメラ10と赤外線カメラ11の位置ズレ長さをdとし、水平方向の撮影範囲をA1とすると、パララックス量をPは、次式(1)によって算出できる。この計算は、CPU51によって実行される。
P(%)=(d/A1)×100 ………(1)
水平方向のレンズ画角が等しく、かつ垂直方向のレンズ画角が等しい2台のカメラを平行に並べて同一方向の被写体を撮影した場合、2台のうちのいずれかのカメラの撮影画像を、水平方向にパララックス量の分だけ移動させることにより、2台のカメラの撮影画像を重ね合わせ、合致させた画像を合成することができる。
【0036】
(c)欠陥部の指定画面の表示
図8及び図10に示すレンズ収差補正画面及びパララックス補正画面の何れから欠陥部指定画面ボタン315を押下すると、欠陥部を指定するために用意された3つの欠陥部指定画面を表示することができる。
【0037】
第1の欠陥部指定画面は赤外・可視画像欠陥部指定画面で、図11に示すように表示領域310に熱画像を、また表示領域311に可視画像を並べて表示するモードである。
【0038】
第2の欠陥部指定画面はオーバーラップ画像欠陥部指定画面で、図12に示すように1つの表示領域330の中に可視画像と熱画像とを重ね合わせて表示するモードである。この画面でスクロールバー320を移動させることにより重ね合わせる熱画像及び可視画像の表示濃度比率を可変にすることができる。
【0039】
第3の欠陥部指定画面は撮影現画像欠陥部指定画面で、図13に示すように表示領域340に可視画像のみを撮影時の解像度で表示するモードである。即ち診断する構造物の表面のひび割れなどを調べるために解像度の高い可視画像を用いて欠陥部の指摘を容易にしている。診断者はこの3つの画面を見ながらマウス等のポイントデバイスを用いてひび割れや空洞部などの欠陥部を指定する。1つの画面で指定した欠陥は、リアルタイムに他の2画面にも反映される。欠陥部を指定した情報と、欠陥箇所の情報はリンクしたまま保存される(ステップ109)。
【0040】
(d)ISO表示
図14の表示画面においてISO表示ボタン318を押下すると、図15に示す画面に遷移する。この画面にはスクロールバー351、352を移動することにより、熱画像の表示最低温度及び表示最高温度が設定される。この温度が設定されると表示領域350には設定された温度範囲だけの画像がカラー表示される。
【0041】
(e)数量積算
次に図4のステップ104においては、診断者が上述の欠陥部指定画面においてひび割れや浮きなどの欠陥部と認識された部分の上をマウスなどのポインティングデバイスでなぞることによりひび割れの場合は長さが、また浮き(空洞部)の場合は面積がCPU51により自動計算される。この自動計算の方法については特願昭2002−379548に詳細に説明されている。
【0042】
即ちレーザ距離計12は、測定対象物とレーザ距離計12の間の距離をリアルタイムで測定し、演算処理部5に出力する。演算処理部5のCPU51は、これにより、測定対象物とディジタルカメラ10の間の距離Lをリアルタイムで演算し、RAM54等に記憶する。
【0043】
図16に示す角度θ1は、ディジタルカメラ10の水平方向のレンズ画角(画像の両端の間の角度)を表している。レンズ画角θ1は、ディジタルカメラ10の既知の値であり、演算処理部5のROM52に格納されている。
【0044】
図16に示す距離A1は、ディジタルカメラ10が、距離Lの場合に撮像できる水平方向の最大範囲を示す値である。この距離A1は、上記した距離Lとレンズ画角θ1から下式(2)により計算することができる。この計算は、演算処理部5のCPU51によって実行される。
A1=2L×tan(θ1/2) ………(2)
一方、ディジタルカメラ10が撮影した画像は、画素によって構成されており、水平方向の画素数mと、垂直方向の画素数nは、既知の値である。この場合は、ディジタルカメラ10が撮影した画像は、m×n個の画素の集合により構成されることになる。
【0045】
従って、この場合には、測定対象物の水平方向撮影範囲の距離A1は、ディジタルカメラ10内の画像上では、m個の画素に対応している。このため、水平方向の1個の画素は、測定対象物の水平方向撮影範囲の距離A1において、
a1=A1/m ………(3)
で表される距離a1に相当している。
【0046】
例えば、測定対象物がコンクリート表面であった場合で、欠陥部(被写体)の水平方向距離(水平方向長さ)が図16におけるD1の場合には、ディジタルカメラ10の画像上での水平方向の画素の個数を検出する。この画素個数が5であった場合には、5×a1の演算を行うことにより、D1の値を算出することができる。この計算は、演算処理部5のCPU51によって実行される。
【0047】
上記の方法とまったく同様にして、ディジタルカメラ10の測定対象物における被写体の垂直方向(上記したA1に対して垂直な方向)の距離又は長さについても、ディジタルカメラ10の画像上での垂直方向の画素の個数から、算出することができる。この場合、ディジタルカメラ10の垂直方向のレンズ画角がθ2である場合には、上記(2)におけるθ1のかわりにθ2を代入することにより、測定対象物の垂直方向撮影範囲の距離を算出することができる。この計算は、演算処理部5のCPU51によって実行される。
【0048】
また、上記の方法とまったく同様にして、赤外線カメラ11の測定対象物における被写体の水平方向の距離又は長さ、赤外線カメラ11の測定対象物における被写体の垂直方向の距離又は長さについても、赤外線カメラ11の画像上での水平方向の画素数、又は垂直方向の画素数から、算出することができる。この計算は、演算処理部5のCPU51によって実行される。
【0049】
上記のような演算処理により、ディジタルカメラ10又は赤外線カメラ11で撮像した欠陥、例えばコンクリートの浮き、ひび割れの実際の長さや幅、面積等を算出することができる。
【0050】
上記のようにして認識された欠陥部のひび割れや浮きには、それぞれ図17に例示するように連番が付され、長さや面積のデータが集計されて演算処理部5のRAM53に保存される(ステップ110)。
【0051】
(3)画像編集プログラム
次に本発明装置を用いて、現場で撮影した可視画像及び熱画像の画像編集の処理フローについて説明する。
【0052】
例えば大きなビルの劣化診断を行う場合には、ビルに近接した所定の場所に三脚3を設置し、パンチルト装置2を制御してビルの部分画像を次々に処理装置5に取り込む。この取り込んだ画像は前述のようにレンズ歪補正やパララックス補正などの処理が施されるが、更に診断者に提示するためのデータを得るために次のような画像編集の処理が行われる。
【0053】
図5は可視画像の編集処理の手順を示す処理フローである。まずステップ401においては取り込んだ多数の画像の一覧を小画面に表示する所謂サムネイル表示が行われる。そして撮影した画像の画像ファイルをインポートする(ステップ402)。
【0054】
次にステップ403においては個別の画像がズーム表示され、各画像のサイズが変更される(ステップ404)。更に画像の回転角度をオブジェクト毎に修正して各画像の回転を補正する(ステップ405)。
【0055】
更にステップ406においては画像のあおり(斜めから取った画像の親近感)を補正する。図18に示すようにカメラ10から構造物6を撮影した場合、構造物6に例えば同じ大きさの窓60,62,64が存在したとしても、カメラ10からの距離L及び角度θが異なるために画像上には異なる大きさとして撮影される。従って同じ大きさの欠陥部が建造物の正面と隅部にあったとしても異なる大きさとして表示される。このため建造物の設計図面と同じような画像を表示するには画像のあおりを補正する必要がある。本発明のシステムではカメラから建造物6までの距離のデータがあるので上記のような補正は極めて容易である。即ち図18の例では、下式(4)と(5)のa1とa2が同じ大きさとなるように画面を補正すればよい。
a1=tan(θ1/2)・L1 ………(4)
a2=tan(θ2/2)・L2 ………(5)
次にステップ407,408では各オブジェクト毎に画像の明度・コントラスト・ガンマ値及びシャープネスの調整を行い、更に各オブジェクトを適宜移動し(ステップ409)、結合して一枚の画像にする(ステップ410)。更にその画像をトリミングし(ステップ411)、建造物の図面と画像の一致するポイントを指定することにより図面と可視画像とを合成する(ステップ412)。
【0056】
一方、熱画像の画像編集は図6に示す処理フローに従って実行される。同図でステップ501〜506の処理は図5のステップ401〜406の処理と同様である。ステップ507においては熱画像のゲイン及び中心温度を調整する。次のステップ508では前述の撮影部システムプログラムと同様に、所定の温度範囲のみをカラー表示し、その他をグレースケール化して表示する。この後、各オブジェクトを移動させ(ステップ509)、これらを一枚の画像に結合する(ステップ510)。そして画像をトリミングし(ステップ511)、建造物の図面と画像の一致するポイントを指定することにより図面と画像を合成する。
【0057】
図19は本発明システムにおける画像編集プログラム全体の処理フローを示す。同図においてステップ201は可視画像レイヤの作成の処理を示し、その具体的内容は上述の図5の処理である。つまり図18のステップ202,203及び204を具体化すると図5のステップ401〜412の処理になり、最終的に建造物の図面と可視画像の合成データが生成されてこれがファイルに保存される(ステップ205)。
【0058】
更にステップ206は熱画像レイヤ作成の処理を示し、その具体的内容は上述の図6の処理である。つまり図19のステップ207,208及び209を具体化すると図6のステップ501〜512の処理になり、最終的に建造物の図面と熱画像の合成データが生成されてこれがファイルに保存される(ステップ210)。
【0059】
次にステップ211では上記のようにして生成された可視画像及び熱画像を表示し、画像上のひび割れ、浮き、空洞等の欠陥部をマウス等のポインティングデバイスでトレースすることによりそれらの長さ、面積を積算し(ステップ212)、適当なソフトウェアで閲覧可能なファイル形式で保存する(ステップ213)。以上のようにして編集された画像データは図1の処理装置5のRAM53又はHDD装置57に格納され、必要に応じて表示装置55に表示することができる。例えば図20に示すように建造物にひび割れ361及び浮き362があった場合、図17のNo.2及びNo.8のような長さ及び面積のデータと共に劣化集積表としてメモリに格納されると共に、図20の画面の表示領域363、364に示すようにひび割れ361の長さ552mmが青色で、浮き362の面積32013mmが赤色で表示される。従ってこの画面から欠陥部を一目で認識することが可能になる。
【0060】
以上本発明の一実施形態について説明したが、本発明はこの実施形態に限定されるものではなく、基本的な技術思想を変更しない範囲で一部の機能を変えたり追加したりすることも本発明の範囲に含まれる。例えばひび割れや浮き等の欠陥部を表示装置に表示するだけでなく、これをプリントして顧客に提示するレポートを作成する機能を追加することも容易である。このレポートは所望により可視画像、熱画像などの画像情報と欠陥部の場所を示す情報及び欠陥部の長さ、面積などのデータを含んだものとすることができる。
【0061】
【発明の効果】
以上説明した本発明赤外線構造物診断システムは、撮像部と処理装置とよりなり、撮像部は熱画像を撮影する赤外線カメラ及び可視画像を撮影するディジタルカメラと、両カメラと診断対象の構造物との距離を測定するためのレーザ距離計とを一体的に構成し、この撮像部を水平及び垂直方向に視野角度を振ることが可能なパンチルト装置に搭載すると共に、一方、処理装置は撮像部から画像情報と距離情報を入力し、画像情報を距離情報と角度情報により補正するようにしたので画像の歪を補正したり合成することが容易になり、構造物のひび割れや浮き等の欠陥部の有無、位置及びその大きさ、面積を容易に検出できるという効果を有する。
【図面の簡単な説明】
【図1】本発明にかかる赤外線構造物診断システムの構成を示すブロック図である。
【図2】赤外線写真法による欠陥部検出の原理説明図である。
【図3】本発明システムの機能を説明するための説明図である。
【図4】本発明システムに用いられる撮影システム部プログラムの処理フロー図である。
【図5】本発明システムに用いられる画像編集システム部プログラムの可視画像の処理フロー図である。
【図6】本発明システムに用いられる画像編集システム部プログラムの熱画像の処理フロー図である。
【図7】撮影システム部プログラムによる初期画面の説明図である。
【図8】本発明システムにおける表示画面の説明図である。
【図9】本発明システムにおけるパララックス補正の説明図である。
【図10】本発明システムにおける表示画面の説明図である。
【図11】本発明システムにおける表示画面の説明図である。
【図12】本発明システムにおける表示画面の説明図である。
【図13】本発明システムにおける表示画面の説明図である。
【図14】本発明システムにおける表示画面の説明図である。
【図15】本発明システムにおける表示画面の説明図である。
【図16】本発明システムにおける欠陥部の数量積算の説明図である。
【図17】本発明システムにおける欠陥部データの集計の一例を示す説明図である。
【図18】本発明システムにおけるあおり補正の説明図である。
【図19】本発明システムに用いられる画像編集システム部プログラムの全体の処理フロー図である。
【図20】本発明システムにおける表示画面の説明図である。
【符号の説明】
1:撮像部
2:パンチルト雲台
3:三脚
4:インタフェース回路
5:処理装置
6:診断対象構造物
10:ディジタルカメラ
11:赤外線カメラ
12:レーザ距離計
51:CPU
52:ROM
53:RAM
54:キーボード
55:表示装置
56:インタフェース回路
57:HDD装置
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a system for diagnosing defects in buildings such as buildings and bridges, and more particularly to an infrared structure diagnostic system for diagnosing defects such as concrete and mortar lifting and cracking using infrared rays.
[0002]
[Prior art]
[Patent Document 1] JP-A-2001-50921
In recent years, the concrete of concrete structures such as tunnels and viaducts has deteriorated, and a part of the concrete has fallen off. For this reason, establishment of the nondestructive inspection method which can test | inspect the soundness of concrete exactly is calculated | required. As a nondestructive inspection method for concrete, infrared photography (thermography) using an infrared camera and digital photography using a digital still camera are known. These methods are excellent in terms of safety, simplicity, and high speed, and have been rapidly spread recently.
[0003]
Infrared photography (thermography) is a method of grasping the presence or absence and degree of defects from an image of a concrete surface by light in the infrared region. According to this infrared photography (thermography), it is possible to detect floating of concrete, mortar, tile, etc., and internal defects near the surface (for example, cavities, jumpers).
[0004]
Tile and mortar floating parts, junkers in concrete, cavities, water leakage parts, etc., where there are defects in the building, have different thermal properties such as thermal conductivity and specific heat from healthy parts. The difference in thermal properties between the healthy part and the defective part appears as a difference in surface temperature among the temperature fluctuations of the structure caused by the temperature, solar radiation, or artificial overheating / cooling. Infrared photography in the civil engineering / architecture field is a method of measuring the surface temperature distribution (thermal image) of an object using an infrared imaging device and estimating the presence of internal defects from surface temperature abnormalities appearing on the thermal image. is there.
[0005]
A principle diagram of defect detection by infrared photography is shown in FIG. That is, in this method, the defective portion 61 generated in the building 6 becomes a gap heat insulating layer, and the daily fluctuation of the surface temperature caused by the solar radiation and the temperature change causes the defective portion and the healthy portion as shown in FIG. This is a technique for detecting an internal defect by utilizing the time zone in which a surface temperature difference occurs between the part and the surface.
[0006]
Digital photography is a method for grasping the presence and extent of defects from an image of a concrete surface by light in the visible region. According to this digital photography method, it is possible to find cracks in concrete, mortar, tiles, and surface defects.
[0007]
However, the above-described conventional infrared photography and digital photography have the following problems.
[0008]
(1) In order to inspect and diagnose defects such as cracks and cavities, it is necessary to know the presence / absence of the defective part, the position of the defective part, and the size of the defective part. Even if it can be detected, it is difficult to measure its size.
[0009]
(2) In the case of digital photography, image distortion is unavoidable, so it takes time to identify which position of the actual building corresponds to the position of the defective portion specified on the image.
[0010]
(3) In addition, in the case of infrared photography, the outline of the building and the reference point do not appear on the image, so even if the defective part is specified, which part of the actual building corresponds to that part It takes time to identify.
[0011]
(4) When a building is a large building or the like, it is necessary to capture a large number of partial images and synthesize them, but the partial image captured from the front and the partial image captured from a certain angle are on the screen. Even if the size of the defect portion is the same, the size of the actual defect portion of the building is different, so it takes time to measure the size and shape of the defect portion.
[0012]
(5) In the method using digital photography or infrared photography individually, it is difficult to distinguish a defective part from a healthy part because there is only a display mode in which a captured image is simply displayed or enlarged or reduced. Is often accompanied.
[0013]
[Problems to be solved by the invention]
It is an object of the present invention to provide an infrared structure diagnostic system that solves the above-mentioned conventional drawbacks.
[0014]
Specifically, an object of the present invention is to provide an infrared structure diagnostic system capable of easily specifying the presence / absence, position and size of a defect such as a crack or a cavity of a structure.
[0015]
[Means for Solving the Problems]
To achieve the above object, the present invention provides a digital camera that captures a visible image of a structure to be diagnosed, an infrared camera that captures a thermal image of the structure, both the cameras, and the structure. An imaging unit comprising a distance meter that generates an electrical signal corresponding to the distance of the image, and a multi-mode defect unit for inputting a visible image, a thermal image, and a distance signal from the imaging unit to detect defects in the structure An infrared structure diagnostic system is configured from a processing device that displays a designation screen and traces a defect portion on the designation screen with a pointing device to calculate the size and area of the defect portion.
[0016]
Another feature of the present invention is that the mode for displaying the defective part designation screen includes a mode for displaying a thermal image and a visible image side by side on one screen of the display device.
[0017]
Another feature of the present invention is that a mode for displaying a defective portion designation screen includes a mode in which a thermal image and a visible image are superimposed and displayed on one screen of a display device.
[0018]
Another feature of the present invention is that it has means for changing the display ratio of the visible image and the thermal image to be superimposed in the superimposed display mode.
[0019]
Another feature of the present invention is that a mode for displaying the above-described defective portion designation screen includes a mode in which only a visible image is displayed on one screen of the display device at a higher resolution than in the other modes. .
[0020]
Another feature of the present invention is that, in addition to the mode for displaying the defective portion designation screen described above, when the minimum display temperature and the maximum display temperature of the thermal image are set, an image of only the set temperature range is displayed. The mode is to include.
Other features and advantages of the present invention can be more clearly understood from the description of the following examples.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a system configuration, a control program, and an operation method according to an embodiment of the present invention will be described in detail.
[0022]
(1) System configuration
FIG. 1 is a block diagram showing the configuration of an infrared structure diagnostic system according to the present invention. The system of the present invention includes an imaging unit 1, a pan / tilt head 2 and a processing device 5 such as a personal computer. The imaging unit 1 measures a digital camera 10 for capturing a visible image of the target structure, an infrared camera 11 for capturing a thermal image of the target structure, and the distance between the cameras 10 and 11 and the target structure. A laser rangefinder 12 is provided.
[0023]
As the digital camera 10, for example, a digital still camera having an effective pixel number of about 6.1 megapixels (3026 × 2018) can be used. As the infrared camera 11, for example, a commercially available infrared camera having a measurement temperature range of −20 ° C. to 100 ° C. and an image data pixel number of about 320 (H) × 240 (V) dots can be used. As the laser rangefinder 12, for example, a commercially available laser rangefinder having a measurement range of 0.3 m to 100 m and a measurement accuracy of about ± 3 to 5 mm can be used. The image information of the digital camera 10 and the infrared camera 11 and the distance data of the laser rangefinder 12 are supplied to the processing device 5 such as a personal computer via the interface circuit 4.
[0024]
The digital camera 10, the infrared camera 11, and the laser rangefinder 12 are housed in the housing of the imaging unit 1 and mounted on the pan / tilt electric pan head 2. The pan / tilt head 2 can be controlled by a normal personal computer, and a commercially available device having a horizontal swing angle (pan) of ± 130 ° and a vertical swing angle (tilt) of about ± 45 ° is used. be able to. The pan / tilt head 2 and the interface circuit 4 including the battery are mounted on a tripod 3 for use.
[0025]
On the other hand, as the processing apparatus 5, for example, a normal personal computer having a color monitor with a memory of 512 MB or more, a hard disk capacity of 2 GM or more, and a monitor resolution of 640 × 480 dots or more can be used. The processing device 5 includes a CPU (central processing unit) 51, a ROM (fixed storage device) 52 for storing programs and the like, and a RAM (random access storage device) 53 for temporarily storing data from the imaging unit 1 and data being executed. , A keyboard 54, a display device 55, an interface circuit 56 that transmits and receives data to and from the imaging unit 1, and a hard disk device 57.
[0026]
Next, the function of the system of the present invention will be described with reference to FIG.
The thermal image and visible image data and distance data of the diagnostic target structure 6 including the defect 61 such as a crack or a cavity are captured by the imaging unit 1. A horizontal swing angle and a vertical swing angle of the pan / tilt head 2 in the imaging unit 1 are controlled by a processing device 5 by remote control. Data taken into the imaging unit 1, that is, data relating to a thermal image, a visible image, and distance data is sent to the processing device 5. The processing device 5 has a photographing system section program described later in the ROM 52 (FIG. 1), and corrects a thermal image and a visible image by executing this program. In addition, an image displaying only data in a specific temperature range from a thermal image (hereinafter abbreviated as a thermal ISO display image) is generated, or an image obtained by superimposing a thermal image and a visible image (hereinafter abbreviated as an overlap image). ) And stored in the image data file 57A of the HDD device 57 or the like. The corrected image, the infrared ISO display image, and the overlap image are presented to the diagnostician 7, and the diagnostician designates the defect portion with a pointing device such as a mouse while viewing these images. For example, in the case of a crack, the mouse is traced on the top, and in the case of a cavity, an operation is performed in which the mouse traces the boundary between the healthy part and the cavity. The imaging system program calculates the length and size of the defective portion, saves the defective portion data in the defective portion data file 57B of the HDD device 57, and presents the length and area of the defective portion to the diagnostician 7.
[0027]
Next, software used in the system of the present invention will be described.
The software of the system of the present invention is roughly divided into a program for the photographing system unit and a program for the image editing system unit. FIG. 4 shows the processing flow of the photographing system section program, and FIGS. 5, 6 and 19 show the processing flow of the image editing system section program. Each processing flow will be described below.
[0028]
(2) Shooting system section program
First, when the system is started, a control screen as shown in FIG. 7 appears. Of course, this screen is merely an example, and the present invention is not limited thereto. In the display area 301 of the screen, the measurement result of the distance between the imaging unit 1 of the present system and the target structure 6 is displayed in real time. In the display area 302, the horizontal angle and the elevation angle are displayed in real time as the shooting angles of the cameras 10 and 11. In the display area 303, setting information of the measurement temperature range, the type of infrared lens, the temperature level, and the sense sensitivity is displayed as control information of the infrared camera 11. The display area 304 displays the screen size and the type of visible lens as control information of the visible camera. When the shooting data input start button 305 is clicked on this control screen, a real-time image of a thermal image 310 and a visible image 311 as shown in FIG. 8 is displayed. For the image displayed on this screen, the system requests image data from the digital camera 10 and infrared camera 11 at regular time intervals, and the transmitted data is displayed on the display device 55 as it is (step 100 in FIG. 4).
[0029]
When the pan / tilt head 2 is manually moved while viewing the screen, or the pan / tilt head is moved based on a control signal from the processing device 5, the object to be photographed is determined and the shutter button 312 is pressed, the digital camera 10 and the infrared camera 11 are moved. Are captured and stored in the RAM 53 of the processing device 5 (step 106 in FIG. 4). On this screen, a lens aberration correction button 313, a parallax correction button 314, and a defect portion designation button 315 are prepared, and a lens aberration correction, a parallax correction, and a transition to a defect portion designation screen can be executed as described below. .
[0030]
(A) Lens aberration correction
When the lens aberration correction button 313 in FIG. 8 is pressed, lens distortion correction processing (step 101 in FIG. 4) of the captured image is executed, and the corrected image is displayed in the display areas 310 and 311 in FIG. This is a process for correcting distortion called camera lens distortion, an example of which is described in Japanese Patent Application No. 2002-379548. That is, the above distortion aberration is a phenomenon in which an image after imaging is distorted in a barrel shape, and a process called affine transformation is performed to correct this. This affine transformation is a method of moving or transforming figures and shapes by a combination of Euclidean geometric linear transformation and parallel movement, and can be represented by 4 × 4 matrix operations. Shear's coordinate transformation. This affine transformation is a transformation method in which geometric properties are maintained such that points arranged in a straight line in the original figure are arranged in a straight line after conversion, and parallel lines are parallel lines after conversion. Therefore, if the lens distortion characteristics (lens aberration characteristics) are collected as data and stored in the ROM 52 of the arithmetic processing unit 5 or the like, an image obtained by removing distortion due to lens aberrations by the CPU 51 is calculated. Can be obtained. The corrected data is stored in the image data file 57A in the memory 57 of the processing device (step 107 in FIG. 4).
[0031]
(B) Parallax correction
Next, when the parallax correction button 314 is pressed on the screen of FIG. 10, parallax correction processing (step 102 of FIG. 4) is executed. This parallax correction is described in detail in Japanese Patent Application No. 2002-379548 of the prior application. That is, in the imaging unit 1 in this system, since the digital camera 10 and the infrared camera 11 are housed side by side in the housing, a deviation occurs between the shooting range of the digital camera 10 and the shooting range of the infrared camera 11. This deviation is called parallax.
[0032]
As an example, consider a case where a digital camera 10 and an infrared camera 11 are arranged side by side as shown in FIG. Assume that the camera lens angle is 30 ° in the horizontal direction and 20 ° in the vertical direction. Also, assuming that the amount of horizontal displacement between the digital camera 10 and the infrared camera 11 is 10 cm, for example, when shooting an object 50 cm in front of the lens, the length of the horizontal shooting range is 26.8 cm, which is vertical. The length of the shooting range in the direction is 17.6 cm. In this case, it can be seen that the amount of positional deviation (10 cm) of the camera in the horizontal direction is a large ratio of 37.3% with respect to the length of the shooting range in the horizontal direction of 26.8 cm. Hereinafter, this ratio (%) is referred to as a parallax amount (ratio of image displacement with respect to the entire photographing range).
[0033]
On the other hand, when the distance to the subject is 5 m, the length of the horizontal shooting range is 2.68 m, and the length of the vertical shooting range is 1.76 m. In this case, the amount of parallax of the horizontal camera position deviation (0.1 m) is 3.73% relative to the length of the horizontal shooting range of 2.68 m, and the value of the amount of parallax is relative. You can see that it is small.
[0034]
That is, the influence of the positional deviation between the digital camera 10 and the infrared camera 11 varies depending on the distance to the subject, and is very large when the object to be photographed is close, but almost when photographing a distant object. Can be ignored.
[0035]
Assuming that the positional deviation length between the digital camera 10 and the infrared camera 11 is d and the shooting range in the horizontal direction is A1, the parallax amount P can be calculated by the following equation (1). This calculation is executed by the CPU 51.
P (%) = (d / A1) × 100 (1)
When two cameras with the same lens angle in the horizontal direction and the same lens angle in the vertical direction are arranged in parallel and a subject is photographed in the same direction, the image taken by one of the two cameras is By moving in the direction by the amount of the parallax, the images captured by the two cameras can be superimposed and the matched images can be synthesized.
[0036]
(C) Display of defect designation screen
When the defective portion designation screen button 315 is pressed from any of the lens aberration correction screen and the parallax correction screen shown in FIGS. 8 and 10, three defective portion designation screens prepared for designating the defective portion may be displayed. it can.
[0037]
The first defect portion designation screen is an infrared / visible image defect portion designation screen in which a thermal image is displayed in the display area 310 and a visible image is displayed in the display area 311 as shown in FIG.
[0038]
The second defect portion designation screen is an overlap image defect portion designation screen in which a visible image and a thermal image are superimposed and displayed in one display area 330 as shown in FIG. By moving the scroll bar 320 on this screen, the display density ratio of the thermal image and the visible image to be superimposed can be made variable.
[0039]
The third defective portion designation screen is a photographed current image defective portion designation screen, and is a mode in which only a visible image is displayed in the display area 340 at the resolution at the time of photographing as shown in FIG. That is, in order to investigate cracks on the surface of the structure to be diagnosed, a visible image with a high resolution is used to easily indicate a defective portion. The diagnostician designates a defective portion such as a crack or a cavity using a point device such as a mouse while viewing these three screens. Defects specified on one screen are also reflected on the other two screens in real time. The information specifying the defective portion and the information on the defective portion are stored while being linked (step 109).
[0040]
(D) ISO display
When the ISO display button 318 is pressed on the display screen of FIG. 14, the screen transitions to the screen shown in FIG. By moving scroll bars 351 and 352 on this screen, the minimum display temperature and the maximum display temperature of the thermal image are set. When this temperature is set, an image only in the set temperature range is displayed in color on the display area 350.
[0041]
(E) Quantity integration
Next, in step 104 of FIG. 4, the length of the crack is determined by the diagnostician tracing the part recognized as a defective part such as a crack or a float on the defective part designation screen with a pointing device such as a mouse. However, in the case of floating (cavity), the area is automatically calculated by the CPU 51. This automatic calculation method is described in detail in Japanese Patent Application No. 2002-379548.
[0042]
That is, the laser distance meter 12 measures the distance between the measurement object and the laser distance meter 12 in real time and outputs the distance to the arithmetic processing unit 5. Thereby, the CPU 51 of the arithmetic processing unit 5 calculates the distance L between the measurement object and the digital camera 10 in real time and stores it in the RAM 54 or the like.
[0043]
An angle θ1 shown in FIG. 16 represents the horizontal lens field angle of the digital camera 10 (an angle between both ends of the image). The lens angle of view θ1 is a known value of the digital camera 10 and is stored in the ROM 52 of the arithmetic processing unit 5.
[0044]
The distance A1 shown in FIG. 16 is a value indicating the maximum horizontal range that the digital camera 10 can capture when the distance is L. This distance A1 can be calculated by the following equation (2) from the above-described distance L and lens angle of view θ1. This calculation is executed by the CPU 51 of the arithmetic processing unit 5.
A1 = 2L × tan (θ1 / 2) (2)
On the other hand, an image captured by the digital camera 10 is composed of pixels, and the number of pixels m in the horizontal direction and the number of pixels n in the vertical direction are known values. In this case, the image captured by the digital camera 10 is composed of a set of m × n pixels.
[0045]
Accordingly, in this case, the distance A1 in the horizontal photographing range of the measurement object corresponds to m pixels on the image in the digital camera 10. For this reason, one pixel in the horizontal direction is at a distance A1 in the horizontal shooting range of the measurement object.
a1 = A1 / m (3)
It corresponds to the distance a1 represented by the following.
[0046]
For example, when the measurement object is a concrete surface and the horizontal distance (horizontal length) of the defective portion (subject) is D1 in FIG. 16, the horizontal direction on the image of the digital camera 10 is The number of pixels is detected. When the number of pixels is 5, the value of D1 can be calculated by calculating 5 × a1. This calculation is executed by the CPU 51 of the arithmetic processing unit 5.
[0047]
In exactly the same manner as described above, the distance or length of the subject in the measurement object of the digital camera 10 in the vertical direction (direction perpendicular to the above-described A1) is also the vertical direction on the image of the digital camera 10. It can be calculated from the number of pixels. In this case, when the vertical lens angle of view of the digital camera 10 is θ2, the distance of the vertical shooting range of the measurement object is calculated by substituting θ2 instead of θ1 in the above (2). be able to. This calculation is executed by the CPU 51 of the arithmetic processing unit 5.
[0048]
In the same manner as described above, the horizontal distance or length of the subject on the measurement target of the infrared camera 11 and the vertical distance or length of the subject on the measurement target of the infrared camera 11 are also infrared. It can be calculated from the number of pixels in the horizontal direction on the image of the camera 11 or the number of pixels in the vertical direction. This calculation is executed by the CPU 51 of the arithmetic processing unit 5.
[0049]
Through the arithmetic processing as described above, it is possible to calculate the actual length, width, area, and the like of a defect imaged by the digital camera 10 or the infrared camera 11, for example, concrete float and crack.
[0050]
As shown in FIG. 17, serial numbers are assigned to the cracks and floats of the defective portion recognized as described above, and length and area data are aggregated and stored in the RAM 53 of the arithmetic processing unit 5. (Step 110).
[0051]
(3) Image editing program
Next, a processing flow of image editing of a visible image and a thermal image taken on site using the apparatus of the present invention will be described.
[0052]
For example, when performing a deterioration diagnosis of a large building, the tripod 3 is installed at a predetermined location near the building, and the pan / tilt device 2 is controlled so that partial images of the building are taken into the processing device 5 one after another. The captured image is subjected to processing such as lens distortion correction and parallax correction as described above, and the following image editing processing is performed in order to obtain data for presentation to the diagnostician.
[0053]
FIG. 5 is a processing flow showing a procedure for editing a visible image. First, in step 401, so-called thumbnail display is performed in which a list of a large number of captured images is displayed on a small screen. Then, the captured image file is imported (step 402).
[0054]
Next, in step 403, individual images are zoomed and the size of each image is changed (step 404). Further, the rotation angle of the image is corrected for each object to correct the rotation of each image (step 405).
[0055]
Further, in step 406, the tilt of the image (the sense of closeness of the image taken from an angle) is corrected. As shown in FIG. 18, when the structure 6 is photographed from the camera 10, the distance L from the camera 10 and the angle θ are different even if, for example, windows 60, 62, and 64 having the same size exist in the structure 6. The images are taken as different sizes on the image. Therefore, even if there is a defective part of the same size at the front and corners of the building, they are displayed as different sizes. Therefore, it is necessary to correct the tilt of the image in order to display an image similar to the design drawing of the building. In the system of the present invention, since there is data on the distance from the camera to the building 6, the above correction is very easy. That is, in the example of FIG. 18, the screen may be corrected so that a1 and a2 in the following expressions (4) and (5) have the same size.
a1 = tan (θ1 / 2) · L1 (4)
a2 = tan (θ2 / 2) · L2 (5)
Next, in steps 407 and 408, the brightness, contrast, gamma value, and sharpness of the image are adjusted for each object, and the objects are further moved (step 409) and combined to form a single image (step 410). ). Further, the image is trimmed (step 411), and the drawing and the visible image are synthesized by designating a point where the drawing matches the image (step 412).
[0056]
On the other hand, image editing of a thermal image is executed according to the processing flow shown in FIG. In the figure, the processing in steps 501 to 506 is the same as the processing in steps 401 to 406 in FIG. In step 507, the gain and center temperature of the thermal image are adjusted. In the next step 508, only the predetermined temperature range is displayed in color, and the others are displayed in gray scale as in the above-described photographing unit system program. Thereafter, each object is moved (step 509), and these are combined into one image (step 510). Then, the image is trimmed (step 511), and the drawing and the image are synthesized by designating a point where the drawing of the building coincides with the image.
[0057]
FIG. 19 shows a processing flow of the entire image editing program in the system of the present invention. In the figure, step 201 shows the process of creating a visible image layer, and the specific content is the process of FIG. That is, if steps 202, 203, and 204 in FIG. 18 are embodied, the processing in steps 401 to 412 in FIG. 5 is performed, and finally, composite data of the drawing of the building and the visible image is generated and stored in a file ( Step 205).
[0058]
Further, step 206 shows a process of creating a thermal image layer, and the specific content is the process shown in FIG. That is, if steps 207, 208, and 209 in FIG. 19 are embodied, the processing in steps 501 to 512 in FIG. 6 is performed, and finally, the combined drawing and thermal image data of the building is generated and saved in a file ( Step 210).
[0059]
Next, in step 211, the visible image and the thermal image generated as described above are displayed, and their length is determined by tracing a defect portion such as a crack, a float, or a cavity on the image with a pointing device such as a mouse, The areas are integrated (step 212) and stored in a file format that can be viewed with appropriate software (step 213). The image data edited as described above is stored in the RAM 53 or the HDD device 57 of the processing device 5 in FIG. 1 and can be displayed on the display device 55 as necessary. For example, as shown in FIG. 20, when there are a crack 361 and a float 362 in the building, No. 1 in FIG. 2 and no. 8 is stored in the memory together with the length and area data such as 8 in the deterioration integrated table, and the length 552 mm of the crack 361 is blue as shown in the display areas 363 and 364 of the screen of FIG. 32013mm 2 Is displayed in red. Therefore, it becomes possible to recognize a defective part at a glance from this screen.
[0060]
Although one embodiment of the present invention has been described above, the present invention is not limited to this embodiment, and some functions may be changed or added without changing the basic technical idea. It is included in the scope of the invention. For example, it is easy to add a function of not only displaying a defective portion such as a crack or a float on a display device but also creating a report that prints this and presents it to a customer. This report may include image information such as a visible image and a thermal image, information indicating the location of the defective portion, and data such as the length and area of the defective portion as desired.
[0061]
【The invention's effect】
The infrared structure diagnostic system of the present invention described above includes an imaging unit and a processing device. The imaging unit includes an infrared camera that captures a thermal image, a digital camera that captures a visible image, both cameras, and a structure to be diagnosed. A laser rangefinder for measuring the distance between the image pickup unit and the image pickup unit is mounted on a pan / tilt device capable of swinging the viewing angle in the horizontal and vertical directions. Since image information and distance information are input and the image information is corrected by distance information and angle information, it becomes easy to correct and synthesize the image distortion, and to detect defects such as cracks and floating in the structure. The presence / absence, position, size, and area can be easily detected.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an infrared structure diagnostic system according to the present invention.
FIG. 2 is a diagram for explaining the principle of defect detection by infrared photography.
FIG. 3 is an explanatory diagram for explaining functions of the system of the present invention.
FIG. 4 is a processing flow diagram of a shooting system section program used in the system of the present invention.
FIG. 5 is a processing flow diagram of a visible image of an image editing system section program used in the system of the present invention.
FIG. 6 is a thermal image processing flowchart of the image editing system section program used in the system of the present invention.
FIG. 7 is an explanatory diagram of an initial screen by an imaging system unit program.
FIG. 8 is an explanatory diagram of a display screen in the system of the present invention.
FIG. 9 is an explanatory diagram of parallax correction in the system of the present invention.
FIG. 10 is an explanatory diagram of a display screen in the system of the present invention.
FIG. 11 is an explanatory diagram of a display screen in the system of the present invention.
FIG. 12 is an explanatory diagram of a display screen in the system of the present invention.
FIG. 13 is an explanatory diagram of a display screen in the system of the present invention.
FIG. 14 is an explanatory diagram of a display screen in the system of the present invention.
FIG. 15 is an explanatory diagram of a display screen in the system of the present invention.
FIG. 16 is an explanatory diagram of quantity integration of defective portions in the system of the present invention.
FIG. 17 is an explanatory diagram showing an example of totaling defective portion data in the system of the present invention.
FIG. 18 is an explanatory diagram of tilt correction in the system of the present invention.
FIG. 19 is an overall process flow diagram of an image editing system section program used in the system of the present invention.
FIG. 20 is an explanatory diagram of a display screen in the system of the present invention.
[Explanation of symbols]
1: Imaging unit
2: Pan tilt head
3: Tripod
4: Interface circuit
5: Processing device
6: Structure to be diagnosed
10: Digital camera
11: Infrared camera
12: Laser distance meter
51: CPU
52: ROM
53: RAM
54: Keyboard
55: Display device
56: Interface circuit
57: HDD device

Claims (6)

診断すべき対象の構造物の可視画像を撮像するディジタルカメラと、上記構造物の熱画像を撮像する赤外線カメラと、上記両カメラと上記構造物との距離に応じた電気信号を生ずる距離計とよりなる撮像部と、該撮像部からの可視画像、熱画像及び距離信号を入力し、上記構造物の欠陥を検出するための複数モードの欠陥部指定画面を表示すると共に、該指定画面における欠陥部をポインティングデバイスでトレースすることにより欠陥部の大きさ及び面積を計算する処理装置とを備えたことを特徴とする赤外線構造物診断システム。A digital camera that captures a visible image of a structure to be diagnosed, an infrared camera that captures a thermal image of the structure, and a distance meter that generates an electrical signal in accordance with the distance between the cameras and the structure; An image pickup unit, a visible image, a thermal image, and a distance signal from the image pickup unit are input, and a defect mode designation screen in a plurality of modes for detecting defects in the structure is displayed. An infrared structure diagnostic system comprising: a processing device that calculates the size and area of a defective portion by tracing a portion with a pointing device. 請求項1において欠陥部指定画面を表示するモードとして、表示装置の1つの画面に、熱画像と可視画像とを並置して表示するモードを含むことを特徴とする赤外線構造物診断システム。The infrared structure diagnostic system according to claim 1, wherein the mode for displaying the defective portion designation screen includes a mode for displaying the thermal image and the visible image side by side on one screen of the display device. 請求項1において欠陥部指定画面を表示するモードとして、表示装置の1つの画面に、熱画像と可視画像とを重ね合わせて表示するモードを含むことを特徴とする赤外線構造物診断システム。2. The infrared structure diagnostic system according to claim 1, wherein the mode for displaying the defective portion designation screen includes a mode in which a thermal image and a visible image are superimposed and displayed on one screen of the display device. 請求項3において重ね合わせる可視画像と熱画像の表示比率を可変にする手段とを有することを特徴とする赤外線構造物診断システム。4. The infrared structure diagnostic system according to claim 3, further comprising means for changing a display ratio of the visible image and the thermal image to be superimposed. 請求項1において欠陥部指定画面を表示するモードとして、表示装置の1つの画面に、可視画像のみを他のモードのときよりは高い解像度で表示するモードを含むことを特徴とする赤外線構造物診断システム。The infrared structure diagnosis according to claim 1, wherein a mode for displaying a defective portion designation screen includes a mode in which only a visible image is displayed at a higher resolution than in other modes on one screen of a display device. system. 請求項1において熱画像の表示最低温度と表示最高温度が設定されたときに、設定された温度範囲だけの画像を表示するモードを含むことを特徴とする赤外線構造物診断システム。The infrared structure diagnostic system according to claim 1, further comprising: a mode for displaying an image of only a set temperature range when the minimum display temperature and the maximum display temperature of the thermal image are set.
JP2003178840A 2003-06-24 2003-06-24 Infrared structure diagnosis system Pending JP2005016991A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003178840A JP2005016991A (en) 2003-06-24 2003-06-24 Infrared structure diagnosis system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003178840A JP2005016991A (en) 2003-06-24 2003-06-24 Infrared structure diagnosis system

Publications (1)

Publication Number Publication Date
JP2005016991A true JP2005016991A (en) 2005-01-20

Family

ID=34180307

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003178840A Pending JP2005016991A (en) 2003-06-24 2003-06-24 Infrared structure diagnosis system

Country Status (1)

Country Link
JP (1) JP2005016991A (en)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009100246A (en) * 2007-10-17 2009-05-07 Hitachi Ltd Display device
JP2009162571A (en) * 2007-12-28 2009-07-23 NEC Avio赤外線テクノロジー株式会社 Thermal image photographic device
JP2010078522A (en) * 2008-09-26 2010-04-08 Terumo Corp Infrared thermography device and image processing method
JP2010194074A (en) * 2009-02-25 2010-09-09 Terumo Corp Infrared thermography device
JP2010194073A (en) * 2009-02-25 2010-09-09 Terumo Corp Infrared thermography device
JP2010216829A (en) * 2009-03-13 2010-09-30 Constec Engi Co Defect inspection device
US7902507B1 (en) * 2005-10-19 2011-03-08 Csi Technology, Inc. Methods for infrared inspection using programmed logic
JP2012098170A (en) * 2010-11-02 2012-05-24 Shimizu Corp Image data processing system
JP2015010944A (en) * 2013-06-28 2015-01-19 株式会社豊田中央研究所 Bondability evaluation device and bondability evaluation method
JP2015529336A (en) * 2012-09-21 2015-10-05 杭州美盛紅外光電技術有限公司 Thermal image diagnostic apparatus and thermal image diagnostic method
JP2017138276A (en) * 2016-02-05 2017-08-10 西日本高速道路エンジニアリング関西株式会社 Road surface imaging system
WO2018155267A1 (en) * 2017-02-23 2018-08-30 パナソニックIpマネジメント株式会社 Image display device, image display method, and program
WO2020085303A1 (en) * 2018-10-22 2020-04-30 パナソニックIpマネジメント株式会社 Information processing device and information processing method
JP2020092349A (en) * 2018-12-06 2020-06-11 株式会社ユピテル System, program, and the like
JP2020197797A (en) * 2019-05-31 2020-12-10 株式会社東芝 Image processing device and image processing method
JP2021032650A (en) * 2019-08-22 2021-03-01 Automagi株式会社 Degraded state detector and degraded state detection method
CN112582085A (en) * 2020-12-07 2021-03-30 中广核核电运营有限公司 Double-layer safety shell surface defect detection equipment and detection method
JPWO2019203351A1 (en) * 2018-04-20 2021-05-27 パナソニックIpマネジメント株式会社 Image display device and image display method
WO2022239573A1 (en) * 2021-05-13 2022-11-17 富士フイルム株式会社 Image-processing device, image-processing method, and image-processing program
CN112881427B (en) * 2021-01-13 2023-06-13 四川宇然智荟科技有限公司 Electronic component defect detection device and method based on visible light and infrared thermal imaging
WO2023213040A1 (en) * 2022-05-05 2023-11-09 江苏科技大学 Curved pressure-resistant shell equivalent simulation testing apparatus and testing method

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7902507B1 (en) * 2005-10-19 2011-03-08 Csi Technology, Inc. Methods for infrared inspection using programmed logic
US8334513B1 (en) * 2005-10-19 2012-12-18 Csi Technology, Inc. Imaging for evaluating performance characteristics
CN102291555B (en) * 2007-10-17 2015-09-09 日立麦克赛尔株式会社 Display unit
US10339893B2 (en) 2007-10-17 2019-07-02 Maxell, Ltd. Display apparatus
US10685622B2 (en) 2007-10-17 2020-06-16 Maxell, Ltd. Display apparatus
US10650780B2 (en) 2007-10-17 2020-05-12 Maxell, Ltd. Display apparatus
US10629160B2 (en) 2007-10-17 2020-04-21 Maxell, Ltd. Display apparatus
CN102271238A (en) * 2007-10-17 2011-12-07 株式会社日立制作所 Display apparatus
CN102291555A (en) * 2007-10-17 2011-12-21 株式会社日立制作所 Display apparatus
US11501735B2 (en) 2007-10-17 2022-11-15 Maxell, Ltd. Display apparatus
JP2009100246A (en) * 2007-10-17 2009-05-07 Hitachi Ltd Display device
US8446528B2 (en) 2007-10-17 2013-05-21 Hitachi, Ltd. Display apparatus
US8908095B2 (en) 2007-10-17 2014-12-09 Hitachi Maxell, Ltd. Display apparatus
US11587524B2 (en) 2007-10-17 2023-02-21 Maxell, Ltd. Display apparatus
US10957278B2 (en) 2007-10-17 2021-03-23 Maxell, Ltd. Display apparatus
US11308914B2 (en) 2007-10-17 2022-04-19 Maxell, Ltd. Display apparatus
US11798515B2 (en) 2007-10-17 2023-10-24 Maxell, Ltd. Display apparatus
US10354612B2 (en) 2007-10-17 2019-07-16 Maxell, Ltd. Display apparatus
US9858888B2 (en) 2007-10-17 2018-01-02 Hitachi Maxell, Ltd. Display apparatus
US10037744B2 (en) 2007-10-17 2018-07-31 Maxell, Ltd. Display apparatus
US20170025090A1 (en) 2007-10-17 2017-01-26 Hitachi Maxell, Ltd. Display apparatus
JP2009162571A (en) * 2007-12-28 2009-07-23 NEC Avio赤外線テクノロジー株式会社 Thermal image photographic device
JP2010078522A (en) * 2008-09-26 2010-04-08 Terumo Corp Infrared thermography device and image processing method
JP2010194074A (en) * 2009-02-25 2010-09-09 Terumo Corp Infrared thermography device
JP2010194073A (en) * 2009-02-25 2010-09-09 Terumo Corp Infrared thermography device
JP2010216829A (en) * 2009-03-13 2010-09-30 Constec Engi Co Defect inspection device
JP2012098170A (en) * 2010-11-02 2012-05-24 Shimizu Corp Image data processing system
JP2015529336A (en) * 2012-09-21 2015-10-05 杭州美盛紅外光電技術有限公司 Thermal image diagnostic apparatus and thermal image diagnostic method
JP2015010944A (en) * 2013-06-28 2015-01-19 株式会社豊田中央研究所 Bondability evaluation device and bondability evaluation method
JP2017138276A (en) * 2016-02-05 2017-08-10 西日本高速道路エンジニアリング関西株式会社 Road surface imaging system
JPWO2018155267A1 (en) * 2017-02-23 2019-12-19 パナソニックIpマネジメント株式会社 Image display device, image display method, and program
JP7042398B2 (en) 2017-02-23 2022-03-28 パナソニックIpマネジメント株式会社 Image display device, image display method, and program
WO2018155267A1 (en) * 2017-02-23 2018-08-30 パナソニックIpマネジメント株式会社 Image display device, image display method, and program
CN110326292A (en) * 2017-02-23 2019-10-11 松下知识产权经营株式会社 Image display device and image display method and program
US11037334B2 (en) 2017-02-23 2021-06-15 Panasonic Intellectual Property Management Co., Ltd. Image display device, image display method, and program
EP3588943A4 (en) * 2017-02-23 2020-02-12 Panasonic Intellectual Property Management Co., Ltd. Image display device, image display method, and program
US11874177B2 (en) 2018-04-20 2024-01-16 Panasonic Intellectual Property Management Co., Ltd. Image display device and image display method
JPWO2019203351A1 (en) * 2018-04-20 2021-05-27 パナソニックIpマネジメント株式会社 Image display device and image display method
WO2020085303A1 (en) * 2018-10-22 2020-04-30 パナソニックIpマネジメント株式会社 Information processing device and information processing method
JPWO2020085303A1 (en) * 2018-10-22 2021-09-09 パナソニックIpマネジメント株式会社 Information processing device and information processing method
JP2020092349A (en) * 2018-12-06 2020-06-11 株式会社ユピテル System, program, and the like
JP2020197797A (en) * 2019-05-31 2020-12-10 株式会社東芝 Image processing device and image processing method
JP7292979B2 (en) 2019-05-31 2023-06-19 株式会社東芝 Image processing device and image processing method
JP7290510B2 (en) 2019-08-22 2023-06-13 Automagi株式会社 Deterioration state detection device and deterioration state detection method
JP2021032650A (en) * 2019-08-22 2021-03-01 Automagi株式会社 Degraded state detector and degraded state detection method
CN112582085A (en) * 2020-12-07 2021-03-30 中广核核电运营有限公司 Double-layer safety shell surface defect detection equipment and detection method
CN112582085B (en) * 2020-12-07 2024-03-19 中广核核电运营有限公司 Double-layer containment surface defect detection equipment and detection method
CN112881427B (en) * 2021-01-13 2023-06-13 四川宇然智荟科技有限公司 Electronic component defect detection device and method based on visible light and infrared thermal imaging
WO2022239573A1 (en) * 2021-05-13 2022-11-17 富士フイルム株式会社 Image-processing device, image-processing method, and image-processing program
WO2023213040A1 (en) * 2022-05-05 2023-11-09 江苏科技大学 Curved pressure-resistant shell equivalent simulation testing apparatus and testing method

Similar Documents

Publication Publication Date Title
JP2005016991A (en) Infrared structure diagnosis system
JP5097765B2 (en) Measuring method, measuring program and measuring device
JP4232064B2 (en) Crack evaluation system using image processing
JP2005016995A (en) Infrared structure diagnosis method
JP3994217B2 (en) Abnormal point detection system by image processing
JP6412474B2 (en) Crack width measurement system
US8976242B2 (en) Visual inspection apparatus and visual inspection method
JP2005037366A (en) Infrared structure-diagnosis system, and method for infrared structure-diagnosis
JP5586765B2 (en) Camera calibration result verification apparatus and method
CN114792309A (en) Information processing apparatus, control method of information processing apparatus, and storage medium
JP5795850B2 (en) Image data processing system
JP2005300179A (en) Infrared structure diagnosis system
JP5079547B2 (en) Camera calibration apparatus and camera calibration method
JP7412983B2 (en) Information processing device, information processing method, and program
JP2008058264A (en) Device, method and program for observing flow velocity at actual river as object of observation
JP5388921B2 (en) Three-dimensional distance measuring apparatus and method
JPWO2019150799A1 (en) Repair length determination method and repair length determination device
JP2015219014A (en) Object diagnostic system
TW200908017A (en) Structure visual inspection apparatus and inspection method therefor
JP4326864B2 (en) High-definition image processing method for concrete inspection system
JPH11337322A (en) Method for measuring appearance by two-dimensional image comparison, and device therefor
JP4723777B2 (en) Image inspection method and image inspection apparatus
JP2005310044A (en) Apparatus, method and program for data processing
JP5149403B2 (en) Image inspection method and image inspection apparatus
JP2005338359A (en) Imaging unit

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080410

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080731