JP2004021578A

JP2004021578A - 画像処理方法

Info

Publication number: JP2004021578A
Application number: JP2002175275A
Authority: JP
Inventors: Masaru Togawa; 外川　勝; Tetsushi Nomoto; 野本　徹志
Original assignee: Nikon Corp; Nikon Gijutsu Kobo KK
Current assignee: Nikon Corp; Nikon Gijutsu Kobo KK
Priority date: 2002-06-17
Filing date: 2002-06-17
Publication date: 2004-01-22

Abstract

【課題】本発明の目的は、前処理誤差が累積しない、短時間で行える画像の合成方法を提供することである。
【解決手段】前記目的を達成する本発明は、４点以上の座標値が既知である点を含む対象物の一部が撮影された、画像歪みを有する複数のデジタル画像を読み込むステップと、前記各画像において、前記点の位置を指示するステップと、前記指示した点の座標値を入力するステップと、前記指示された点の位置と前記入力された座標値とに基づいて、前記各画像の画像歪みを補正するステップと、前記補正された各画像を、前記指示された点に対応する前記補正された画像上の点が前記座標値の位置に来るように配設するステップと、前記配設された複数の画像を一つの画像に合成するステップとからなることを特徴とする画像処理方法である。指示された基準点とその座標値とに基づいて画像の歪み補正が行われるので多数枚の画像を連結合成しても前処理誤差が累積することがない。また、前記座標値に基づいてマッピングが行われるので、作業性が高い
【選択図】　　　　図１０

Description

【０００１】
【発明の属する技術分野】
本発明は、対象物を狭い範囲に分割して撮影した複数のデジタル画像（以下、撮影画像という）を連結して一枚のデジタル画像を作成する画像処理方法に関する。
【０００２】
【従来の技術】
従来、対象物をその一部が重複するようにして撮影した二枚の撮影画像において、重複部分に含まれる複数の対応点を夫々の撮影画像において指示し、該指示された各点が一致するようにして、前記二枚の画像を連結合成していた。多数枚の撮影画像に対して前記処理の繰り返しによって、より広範囲の画像が得られる。
【０００３】
前記各撮影画像は、対象物を斜め方向から撮影することに起因する画像歪みを有することがある。各画像の歪みは、対象物に対する撮影方向の違いによって異なる。また、対象物までの撮影距離の違いによって撮影倍率が異なる。従って、前記撮影画像のままでは前記複数の対応点を一致させることはできない。そこで、前記連結合成に先立って、各撮影画像を、対象物を正面から撮影したときに得られる正射影画像に変換する処理と、前記各正射影画像における前記各対応点間の距離が等しくなるように少なくとも一方の正射影画像を伸縮させる処理とが前処理として行われる。
【０００４】
【発明が解決しようとする課題】
前記従来の方法では、連結合成する二枚の撮影画像において対応点として指示する点に誤差があると、前処理によって得られる画像に画像歪み補正誤差や倍率誤差（以下、前処理誤差という）を生じ、画像連結作業が困難なものとなる。連結合成した画像に不連続な部分が生ずる。前記従来の方法による画像合成をコンクリート構造物の欠陥検査の為の画像に適用すると、前記不連続部分にあるひび割れが連続したひび割れか、別のひび割れか判定不能となる。前記対応点の指示誤差は二枚の画像の夫々において生じた場合には前記不連続の程度が拡大される可能性がある。
【０００５】
更に、対象物の広い範囲を一枚のデジタル画像とするために、前記連結処理を繰り返して多数の撮影画像を連結する場合には、連結作業の繰り返し回数の増加に伴って前処理誤差が累積され、対象物の直線部が湾曲するなどの形状変形が生ずることがある。このため、対応点の指示作業は極めて慎重に行う必要があった。その結果、従来の方法は、連結合成した画像を得るまでに多大の時間を要するとと共に疲労度が高かった。
【０００６】
本発明の目的は、前処理誤差が累積しない、短時間に容易に行える画像の合成方法を提供することである。
【０００７】
【課題を解決するための手段】
前記目的を達成する本発明は、４点以上の座標値が既知である点を含む対象物の一部が撮影された、画像歪みを有する複数のデジタル画像を読み込むステップと、前記各画像において、前記点の位置を指示するステップと、前記指示した点の座標値を入力するステップと、前記指示された点の位置と前記入力された座標値とに基づいて、前記各画像の画像歪みを補正するステップと、前記補正された各画像を、前記指示された点に対応する前記補正された画像上の点が前記座標値の位置に来るように配設するステップと、前記配設された複数の画像を一つの画像に合成するステップとからなることを特徴とする画像処理方法である。
【０００８】
指示された基準点とその座標値とに基づいて画像の歪み補正が行われるので多数枚の画像を連結合成しても前処理誤差が累積することがない。また、前記座標値に基づいてマッピングが行われるので、作業性が高い。
【０００９】
前記方法は、前記対象物の一部が複数の前記画像に重複して含まれている場合、前記画像の一方から前記重複した部分の画像を棄却するステップを更に含むことが望ましい。
【００１０】
更に、予め、既知の座標値を記録したファイルを作成するステップを更に含み、前記座標値を入力するステップは、指示された点に対応する点の座標値を前記ファイルから読み込むステップでとすることができる。前記ファイルは、対象物の設計時に作成されたファイルとすることができる。
【００１１】
前記座標値をキー入力する必要がないので作業が容易である。
前記ファイルは、前記対象物の一部が撮影された各画像毎の、該各画像に含まれる前記座標値が既知である点の座標値を記録した複数のファイルであり、前記座標値を入力するステップは、前記点が指示された画像に対応するファイルから前記座標値を読み込むステップとすることができ、更に、前記対象物の一部が撮影された複数の画像は所定の順序で読み込まれると共に前記複数のファイルも所定の順序で読み込まれ、前記ファイルに関する所定の順序は、前記画像に関する所定の順序に対応する順序とすることができる。これにより、座標値の入力が容易となる。
【００１２】
また、別の視点による本発明は上記画像処理方法をコンピュータに実行させるプログラムである。
【００１３】
【発明の実施の形態】
本発明の方法は、例えば大型コンクリート構造物の欠陥検査に用いる画像を作成する時に好適に用いられる。コンクリート構造物は経年による構造劣化及び物性劣化などにより表面にひび割れ、剥落、遊離石灰の浮き出し、豆板等の欠陥が出現することがある。前記コンクリート構造物の損傷程度は前記欠陥の出現状況（ひび割れの方向や長さ、幅、密度、及び剥落や遊離石灰浮き出しの範囲の面積、これらの位置）に基づいて評価される。そして、前記評価は評価対象のコンクリート構造物を撮影した画像を用いて行われる。
【００１４】
前記画像は対象とするコンクリート構造物の出来るだけ広い範囲、出来ればコンクリート構造物全体を含んだ１枚の画像であることが望ましい。前記欠陥が複数の画像に分割されていると欠陥の全容を把握することが困難であり、特に欠陥部の面積やひび割れの長さの数値化する場合に不具合を生ずる。更に、欠陥の位置を特定することが困難な場合がある。欠陥がコンクリート構造物上のどの位置にあるかも重要な判断材料である。
【００１５】
前記画像は適切な撮影倍率の画像でなければならない。コンクリート構造物の欠陥検査では、例えば巾０．３ｍｍ以上のひび割れを評価する。撮影倍率が低いと細いひび割れは画像として撮影されない。一方、撮影倍率が高いと画像に撮影される範囲が狭くなる。対象とするコンクリート構造物は大型構造物であることが多いので前記２つの条件を同時に満たす画像を撮影することは困難である。
【００１６】
そこで、対象のコンクリート構造物を細いひび割れも撮影可能な撮影倍率で、複数の画像に分割して撮影し、それらの画像を連結合成して前記条件を満たした画像を作成して前記評価に用いる。
【００１７】
画像を用いたコンクリート構造物の欠陥検査方法の詳細は、例えば「コンクリート診断技術　’０１［基礎編］（日本コンクリート工学協会編）」に記載されている。また、特開２００１−１２４５２２には「画像処理を用いたひび割れ評価装置」が開示されている。
【００１８】
以下、図１に示した橋梁１０のコンクリート製橋脚１１の一面１１Ａを評価する場合を例として説明する。図２は橋脚１１の面１１Ａ全体が１画像に撮影可能な倍率で撮影した画像である。橋脚１１の巾の中央部に上下方向全長にわたって巾一定の溝１２が走っている。溝１２を夾んだ左右の面１３、１４は水平方向において僅かに傾いている。面１３、１４を評価の対象面とする。
【００１９】
さて、橋脚１１のようなコンクリート構造物は、現場において多数の型枠を隙間なく組み合わせて橋脚１１の形状をした中空部を生成し、該中空部にコンクリートを打ち込んで作成される。その結果、橋脚１１の面１３、１４には夫々前記型枠のつなぎ目に対応した型枠線が形成される。図３は図２の型枠線を説明の為に強調、加筆したものである。前記型枠は通常同一寸法の矩形が用いられ、その端面を揃えて配置される。その結果、前記型枠線は、橋脚１１の上下方向全体に連続する複数の型枠線１５と左右方向全体に連続する複数の型枠線１６となる。型枠線１５、１６は面１３、１４の双方に形成される。更に、面１３の左右方向の型枠線１６と面１４の左右方向の型枠線１６とは高さ方向の位置が一致している。型枠線１５と型枠線１６との交点の位置は型枠の頂点の位置に対応している。
【００２０】
なお、特殊な部分には寸法の異なる型枠が用いられるが、これも含めて全ての型枠の寸法は既知である。
図４〜図６は、夫々、図２の橋脚の上部の左部、中央部、右部（図２の２１、２２、２３で示した範囲）をより高倍の撮影倍率で撮影した画像である。図４と図５、及び図５と図６には、夫々、橋脚１１の一部（図２の２４、２５）が重複して撮影されている。図７〜図９は夫々、図２の２２、２３、２４で示した範囲の下側に隣接する、図２に２６、２７、２８で示した範囲を撮影した画像である。何れの画像も型枠線を強調、加筆してある。以下、同様にして撮影範囲の一部を重複させながら橋脚１１の最下部まで撮影する。その結果、橋脚１１の一面１１Ａ全体が複数の画像に分割されて撮影される。各画像には型枠線１５、１６が撮影されている。
【００２１】
図４〜図９の画像は橋脚１１の面を斜め方向から撮影した画像である。即ち何れの画像も低い位置から仰角を持って撮影されている。前記仰角は図４〜図６＞図７〜図９である。これに加えて、図４、図９は右前方から左方向を向いて、図６、図９は左前方から右方向を向いて、図５、図７はほぼ正面を向いて撮影されている。
【００２２】
各型枠に対応する型枠線は、本来、矩形を構成する。隣接する複数の型枠で構成する型枠ブロックの外形に対応する型枠線も同様に矩形を構成する。しかしながら、図４〜図９の画像においては、これらに対応する型枠線は矩形から歪んでいる。例えば、図４において、一枚の型枠に対応する点３１、３２、３３、３４（前記各点は型枠線の交点）を結ぶ型枠線も、４枚の型枠で構成する型枠ブロックの外形に対応する点３１、３２、３５、３６を結ぶ型枠線も矩形から歪んでいる。他の画像に於いても同様である。前記歪みは前述したように各画像が斜め方向から撮影されたことに起因している。各画像は撮影方向が異なるので歪みの生じ方が異なっている。更に、各画像毎に撮影された部分迄の撮影距離が異なるので画像の撮影倍率も各画像毎に異なっている。
【００２３】
前記画像の歪みは、点３１〜３４や点３１、３２、３５、３６を結ぶ型枠線が矩形を形成するように画像を補正することによって除去される。これは斜め方向から撮影された画像を正面から撮影したときに得られる画像（正射影画像）に変換することに該当する。即ち、面１３の画像と面１４の画像とは同一平面に展開される。
【００２４】
前記画像補正には、実際の相対位置が既知の点、４点以上の歪んだ画像上における位置と前記各点の相対位置とが用いられる。前記型枠線の交点はこの目的に用いることができる。
【００２５】
ところで、前述のように型枠の寸法は既知なので、面１３と面１４とを一平面に展開した時の型枠線の各交点の位置は、任意の型枠線の交点を原点とする直角座標系における座標値として既知である。例えば、一枚の型枠の寸法をａ＊ｂ（巾＊高さ）とし、原点を図３に５１で示した型枠線の最左上の交点を原点とする座標系５２とすると、座標軸５１の右方ｍ本目、下方ｎ本目の交点の座標値は次のようになる。
【００２６】
面１３上の点については、Ｐ＝（ａ＊ｍ、ｂ＊ｎ）。　　　　　　　　式（１）
面１４上の点については、Ｐ＝（ａ＊（ｍ−ｈ−１）＋Ｗ、ｂ＊ｎ）。式（２）
但し、Ｗは中央の溝１２の巾、ｈは面１３上におけるｍの最大値である。
【００２７】
面１４上の上下方向の型枠線１５は、中央溝１２の右側端面をｈ＋１
本目と数える。
図３の１７の部分には高さ方向の寸法が他の型枠の１／２の型枠が用いられているので、ｎ＝１１以上の場合には上記式に補正項を加えた下式を用いる。
【００２８】
面１３上の点については、Ｐ＝（ａ＊ｍ、ｂ＊ｎ−ｂ／２）。　　　　式（３）
面１４上の点については、Ｐ＝（ａ＊（ｍ−ｈ−１）＋Ｗ、ｂ＊ｎ−ｂ／２）。式（４）
他に寸法の異なる型枠が用いられた部分があれば、その型枠の寸法に基づいて上記各式に適当な補正項を加えれば良い。
【００２９】
さて、図４〜図９のような複数枚の画像を１枚の画像に連結合成する処理の過程を説明する。前記処理はコンピュータによって行われる。図１０は前記処理の過程を説明したフローチャートである。
【００３０】
処理が開始されると、ステップＳ１（以下、Ｓ１と記す。他のステップも同様とする。）において橋脚１１を分割して撮影した画像（図４〜図９）を読み込み、Ｓ２において最初の画像をコンピュータの表示部に表示する。前記コンピュータは前記画像の表示と共に、マウス操作によって表示位置が変化する十字線のカーソルを表示する。そして、Ｓ３において、作業者は前記マウスを操作して前記表示された画像上で、基準点を指示する。即ち、任意の１枚の型枠の頂点又は任意の連続する複数枚の型枠の最も外側の型枠の頂点の一つに該当する型枠線の交点に前記カーソルを一致させ、マウスをクリックする。すると、座標値を入力させる画面が表示されるので、作業者はＳ４においてＳ３で指示した基準点の座標値を入力する。
【００３１】
前記座標値の入力は、作業者がキーボードを操作して入力する方法の他、コンピュータによって入力されるようにすることができる。例えば、作業者に前記ｍ、ｎの値を入力させ、コンピュータが式（１）〜式（４）の何れかによって算出した座標値を入力する。前記ｍ、ｎの値は、面１３、１４を形成する為の型枠の配列状態を示す図（図１１）をコンピュータ上に表示すると共に作業者に座標値を入力すべき基準点に対応する交点の位置をマウス操作で指示させ、その点に対応するｍ、ｎの値が用いられるようにしても良い。
【００３２】
或いは、型枠の配列情報に基づいて、予め全型枠線の交点の座標値を記録したファイルを作成してコンピュータに記憶しておく。そして、前記と同様にコンピュータ上に表示した図１１の図において作業者がマウス操作で指示した点に対応する交点の座標値が前記ファイルから読み出され入力されるようにしても良い。前記ファイルは、例えばコンピュータによる作業工程の分析・設計の過程などで作成される。前記座標値が入力されると、元の画像表示に戻りＳ５に進む。
【００３３】
Ｓ５では、基準点の指示が終了したか否かが判断される。即ち、次の基準点を指示するか、指示を終了するかを選択させるための選択ボタンが表示される。そして、次の基準点を指示する選択ボタンが選択された時はＳ３に戻り、次の基準点に対するＳ３、Ｓ４の処理が繰り返される。このようにして、例えば図４の３１〜３４、又は３１、３２、３５、３６等の点が指示され、その座標値が入力される。なお、前記基準点は少なくとも４点必要なので４点目が指示されるまでは自動的にＳ３、Ｓ４の処理が繰り返される。指示を終了する選択ボタンが選択された時はＳ５に進む。
【００３４】
Ｓ６では、Ｓ１で読み込んだ全画像に対してＳ３〜Ｓ５の処理が終了したか否かが判断される。まだ未処理の画像が有ればＳ２に戻り次の画像を表示して該画像に対してＳ３〜Ｓ５の処理を行わせる。未処理の画像が無ければＳ７に進む。
【００３５】
なお、Ｓ４で、座標値をコンピュータに記憶させたファイルから読み込む場合において、予め分割撮影した各画像で指示する基準点を決めておけば（基準点の点数も決まる）コンピュータに記憶させる座標値は前記基準点の座標値のみで済む。また、前記座標値を各分割撮影画像毎のファイルとすれば、Ｓ４の座標値入力は前記ファイルを選択するだけにできる。但し、Ｓ３で指示する基準点の順序と前記ファイルから読み込まれる座標値の順序とは対応させるものとする。更に、コンピュータが読み込む画像の順序と前記ファイルの読み込み順序とを対応させると共に、画像を読み込んだときに前記ファイルも読み込むようにすれば前記ファイルの選択を自動化することができる。
【００３６】
Ｓ７では、各画像に対してＳ３で指示した基準点と該基準点の座標値とに基づいて画像歪みの補正処理が行われる。即ち、各画像において指示された各基準点の相対的位置が、各基準点の座標値の差に比例するように補正される。５点以上の基準点が指示されたときは最小２乗法を用いて処理される。その結果、各型枠線は矩形を形成するようになる。図１２は図４の画像に対してＳ７の処理が施された結果の画像である。他の画像についても同様の画像が得られる。なお、補正後の各画像において、各基準点の相対的位置と基準点の座標値の差との比が同一値となるようにする。その結果、補正後の各画像は橋脚１１の実寸法に対して同一縮小率の画像となる。
【００３７】
Ｓ８では、合成画像作成画面に図３に示した座標系５２と同様の直角座標系を設定し、前記補正後の各画像を前記基準点の座標値に基づいて配置する。これをマッピングと称する。具体的に言うと、各基準点をその点の座標値に該当する前記直角座標上の位置に位置させる。その際、隣接する画像と重複する部分は破棄される。既に配置された画像若しくは後から配置された画像の何れかが自動的に選択されるようにしても良いが、両者を交互に表示して作業者に何れかを選択させるようにすることもできる。全画像が配置されるとＳ９に進む。Ｓ９では、Ｓ８で配置された複数の画像が一枚の画像に合成され処理を終了する。
【００３８】
図１３はこのようにして合成された橋脚１１の一面１１Ａの画像である。前述したように、補正後の各画像の縮小倍率は同一であるから合成された画像は連続性を持ったものとなる。その結果、図１３において型枠線１５、１６は画像の全面において連続したものとなっている。このような合成画像においては分割撮影した複数の画像にわたるひび割れも、同様に連続する。
【００３９】
なお、或る部分を撮影した画像における基準点をこれに隣接する部分を撮影した画像においても基準点とし、座標値が一致する基準点同士が重なり合うようにこれらの画像を配置するようにしても良い。例えば、図６の画像に対して図１１のＰ１〜Ｐ４を基準点とし図９の画像に対して図１１のＰ３〜Ｐ６を基準点とする。Ｐ３、Ｐ４は両画像で共に基準点とされた点である。そして、夫々の画像を歪み補正した画像を、補正後の画像夫々におけるＰ３、Ｐ４に対応する点が重なるように並べる。この場合には、前記合成画像作成画面に直角座標系を設定する必要がない。
【００４０】
本発明の方法は、基準点の座標値に基づいてマッピングするので、隣接する画像と共通する点を基準点に選択する必要がない。更に、座標値が既知の任意の点を基準点とすることができる。従って、従来技術のように、対象物の隣接する部分を撮影した二つの画像に、重複して撮影された部分が無くても、即ち、前記二つの画像に撮影された対象物の範囲が丁度接していたり分離してしまっていても、マッピングすることができる。勿論、この場合には合成画像に前記分離した部分に対応する空白部分を生ずる。更に、両画像に共通する座標値既知点の画像が不明瞭で位置決め困難であるにも拘わらずこの点を基準点として使用せざるを得ないということはなく、他の容易に位置決めすることができる点を基準点として選択することができる。
【００４１】
画像処理は、図１０のフローチャートの手順に限られず、様々な変形が可能であることは言うまでもない。例えば、図１０の手順では、Ｓ３〜Ｓ５において基準点を一点指示する毎にその座標値を入力させたが、Ｓ３で全ての基準点をまとめて指示し、Ｓ４で指示された基準点に対して順次座標値を入力させるようにしても良い。また、Ｓ２を、Ｓ１で読み込んだ画像を一覧表示すると共に任意の画像を選択させるステップとし、選択された画像についてＳ３以降の処理を行うようにしても良い。
【００４２】
本発明の方法は、画像合成する各画像に座標既知の点が４点以上含まれていれば種々の対象物を撮影した画像に適用することができる。例えば、対象面上に位置、寸法が既知の凹凸や窓枠がある建築物の壁面に適用することができる。これらの位置、寸法は設計上既知であり、ＣＡＤ図面のデータとしてＣＡＤコンピュータに記憶されている。従って、前記基準点の座標値は前記ＣＡＤコンピュータから読み込んで入力することができる。更に、寸法既知の部材、例えば間知ブロック、ブロック、レンガなどを規則的に組み合わせて構築した壁面に適用することもできる。
【図面の簡単な説明】
【図１】本発明の方法
【図２】図１の橋梁の橋脚の一面を撮影した画像を示す図。
【図３】図２の型枠線を強調した図。
【図４】図２の橋脚の上左側部を撮影した画像を示す図。
【図５】図２の橋脚の上中央部を撮影した画像を示す図。
【図６】図２の橋脚の上右側部を撮影した画像を示す図。
【図７】図２の橋脚の図４の下に隣接する部分を撮影した画像を示す図。
【図８】図２の橋脚の図５の下に隣接する部分を撮影した画像を示す図。
【図９】図２の橋脚の図６の下に隣接する部分を撮影した画像を示す図。
【図１０】本発明による画像処理の手順を説明するフローチャート。
【図１１】型枠の配列状態を示す図。
【図１２】図２の画像を処理して得られる画像を示す図。
【図１３】連結・合成された画像を示す図。
【符号の説明】
１１……橋脚
１５……上下方向の型枠線
１６……左右方向の型枠線
２１〜２３……分割撮影された範囲
２６〜２８……分割撮影された範囲
３１〜３６……型枠線の交点
５２……座標系

Claims

４点以上の座標値が既知である点を含む対象物の一部が撮影された、画像歪みを有する複数のデジタル画像を読み込むステップと、
前記各画像において、前記点の位置を指示するステップと、
前記指示した点の座標値を入力するステップと、
前記指示された点の位置と前記入力された座標値とに基づいて、前記各画像の画像歪みを補正するステップと、
前記補正された各画像を、前記指示された点に対応する前記補正された画像上の点が前記座標値の位置に来るように配設するステップと、
前記配設された複数の画像を一つの画像に合成するステップとからなることを特徴とする画像処理方法。
前記対象物の一部が複数の前記画像に重複して含まれている場合、前記画像の一方から前記重複した部分の画像を棄却するステップを更に含むことを特徴とする請求項１に記載の画像処理方法。
予め、既知の座標値を記録したファイルを作成するステップを更に含み、
前記座標値を入力するステップは、指示された点に対応する点の座標値を前記ファイルから読み込むステップであることを特徴とする請求項１に記載の画像処理方法。
前記ファイルは、対象物の設計時、又は製造工程設計時に作成されたファイルであることを特徴とする請求項３に記載の画像処理方法。
前記ファイルは、前記対象物の一部が撮影された各画像毎の、該各画像に含まれる前記座標値が既知である点の座標値を記録した複数のファイルであり、
前記座標値を入力するステップは、前記点が指示された画像に対応するファイルから前記座標値を読み込むステップであることを特徴とする請求項３に記載の画像処理方法。
前記対象物の一部が撮影された複数の画像は所定の順序で読み込まれると共に前記複数のファイルも所定の順序で読み込まれ、
前記ファイルに関する所定の順序は、前記画像に関する所定の順序に対応する順序であることを特徴とする請求項５に記載の画像処理方法。
請求項１〜請求項６の何れかに記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。