JP2019056679A - 表面評価方法、表面評価装置及び評価モデル記憶装置 - Google Patents

Abstract

【課題】撮影画像を用いて、遠方から構造物の表面状態を評価するための表面評価方法、表面評価装置及び評価モデル記憶装置を提供する。【解決手段】壁面３０の撮影画像を用いて、評価対象面の表面状態を評価する場合、クラックスケール情報記憶部２２に、解像度及び画素の光特徴量に関連付けて表面状態を記録し、評価対象面に、撮影面を特定するための基準画像を投影し、基準画像を含めた評価対象面の撮影画像を取得し、撮影画像に含まれる基準画像の配置に基づいて、撮影画像に含まれる画素の解像度を算出し、クラックスケール情報記憶部２２を用いて、解像度と前記撮影画像に含まれる画素の光特徴量に基づいて、壁面３０の表面状態を評価する。【選択図】図１

Description

本発明は、構造物の表面状態を評価する表面評価方法、表面評価装置及び評価モデル記憶装置に関する。

コンクリート構造物のひび割れを計測する場合、クラックゲージやスケールを用いてコンクリート表面上で直接計測することが多い。
また、写真等の画像中のひび割れ等を計測する場合、計測対象と同一画像中にスケールやゲージを計測できる位置に映り込ませる必要があった（例えば、特許文献１、非特許文献１参照。）。近接して撮影が可能な場合は、計測対象と正対して撮影し、画像を取得する。そして、特許文献１、非特許文献１に記載された技術においては、画像のシェーディング補正、２値化処理を行ない、ひび割れ領域を抽出する。次に、ひび割れであると判断された領域において、各ピクセルの輝度値を加算した輝度値合計を求めた見掛面積に補正係数を乗算して、ひび割れの面積を算出する。これにより、サブピクセル精度で計測基準である０．２ｍｍのひび割れ幅を計測することが原理的には可能である。

また、数点のレーザ光点間の距離、左右角、上下角、対物距離、縮尺等を求め、これらのパラメータで正規化して、コンクリート構造物の全体の画像を得ると共に、構造物の状況を数値で知らせる技術も検討されている（例えば、特許文献２参照。）。

特開２００３−２１４８２７号公報 特開２００４−６９４３４号公報

竹田宣典 他、「画像処理によるコンクリート構造物のひび割れ計測」、株式会社大林組、大林組技術研究所報、No.79、2015、［online］、［平成２９年８月２８日検索］、インターネット、＜ＵＲＬ：https://www.obayashi.co.jp/technology/shoho/079/2015_079_36.pdf＞

コンクリート構造物のひび割れ等の表面状態をサブピクセル精度で計測するためには、評価対象物までの距離を的確に計測する必要がある。例えば、レーザ距離計測により、評価対象物とカメラとの距離を求めることが多い。この手法では、壁面等の評価対象物とカメラとが正対していることが条件となる。しかしながら、評価現場では、正対して撮影することが困難な場合が多い。特に、カメラの移動が困難な場合は、カメラを上下左右に振って撮影するため、カメラと評価対象物との幾何関係は画像毎に変化し、正確な評価を行なうことが困難である。

また、撮影深度を計測可能な距離カメラを用いれば、全画素の距離を測定することが可能である。しかしながら、LiDAR（Light Detection and Ranging）技術を用いても精度向上は難しく、例えば、ひび割れ幅計測に必要な０．２mm/pixelでの精度で計測することは困難である。

・上記課題を解決する表面評価方法は、評価対象面の撮影画像を用いて、前記評価対象面の表面状態を評価する。この場合、評価モデル記憶装置に、解像度及び画素の光特徴量に関連付けて表面状態を記録し、前記評価対象面に、撮影面を特定するための基準画像を投影し、前記基準画像を含めた評価対象面の撮影画像を取得し、前記撮影画像に含まれる基準画像の配置に基づいて、前記撮影画像に含まれる画素の解像度を算出し、前記評価モデル記憶装置を用いて、前記解像度と前記撮影画像に含まれる画素の光特徴量に基づいて、前記評価対象面の表面状態を評価する。

本発明によれば、撮影画像を用いて、遠方から構造物の表面状態を評価することができる。

本実施形態における表面評価システムの構成を説明する説明図。 本実施形態におけるクラックスケール情報記憶部に記録されたクラックスケールモデルの説明図。 本実施形態における処理手順の流れ図。 本実施形態における処理手順の説明図であって、（ａ）は壁面とカメラとの位置関係、（ｂ）は撮影画像の説明図。

以下、図１〜図４を用いて、表面評価方法、表面評価装置及び評価モデル記憶装置を具体化した一実施形態を説明する。本実施形態では、評価対象面としてコンクリート構造物の表面状態（ひび割れ）を計測する場合を想定する。

図１に示すように、本実施形態では、カメラ１０、レーザ照射装置１５、評価装置２０を用いて、コンクリート構造物の壁面３０に生じたひび割れ３１の幅（ひび割れ幅）を計測する。

カメラ１０は、被写体を撮影し、撮影画像（カラー画像）を生成する撮影手段である。
レーザ照射装置１５は、カメラ１０の撮影範囲に、３本のレーザ光を照射する。３本のレーザ光は、基準画像として既知の形状（本実施形態では正三角形）の頂点に配置されている。

評価装置２０は、撮影画像に基づいて、ひび割れ幅を算出するコンピュータシステムである。この評価装置２０は、制御部２１、クラックスケール情報記憶部２２を備えている。

制御部２１は、制御手段（ＣＰＵ、ＲＡＭ、ＲＯＭ等）を備え、後述する処理（画像取得段階、解像度評価段階、表面評価段階等の各処理等）を行なう。そのための評価プログラムを実行することにより、制御部２１は、画像取得部２１１、解像度評価部２１２、表面評価部２１３として機能する。

画像取得部２１１は、カメラ１０で撮影した撮影画像を取得する処理を実行する。
解像度評価部２１２は、撮影画像に含まれる各ピクセルの解像度を算出する処理を実行する。解像度の算出方法については、後述する。
表面評価部２１３は、撮影画像に含まれるひび割れ状態を評価する処理を実行する。

クラックスケール情報記憶部２２には、ひび割れ幅を算出するための情報としてクラックスケールモデル２２０が記録されている。このクラックスケールモデル２２０には、解像度毎に、ひび割れ幅に対して、輝度特徴量（光特徴量）が記録されている。

図２に示すように、クラックスケールモデル２２０は、同じクラックスケールを異なる焦点距離で撮影した複数の画像を用いて作成する。具体的には、焦点距離によって決まる解像度に応じて、撮影したクラックスケールを用いて、輝度特徴量、ひび割れ幅との関係を算出する。そして、異なる解像度で撮影したクラックスケールに対して、解像度を補間したキャリブレーション直線を算出してクラックスケールモデル２２０を作成する。

（解像度の算出処理）
次に、解像度の算出処理を説明する。この処理は、制御部２１の解像度評価部２１２において実行される。壁面３０上に投影されたレーザ光（頂点Ａ，Ｂ，Ｃ）を用いて、カメラ１０と壁面３０（コンクリート平面）との幾何関係を導出し、画素毎に解像度の算出を行なう。この場合、以下の条件を満たすことを前提とする。
・壁面３０は２次元平面であること。
・レンズ収差は補正済みであること。
・カメラ１０とレーザ光の照射位置、及び焦点距離が既知であること。

壁面３０とカメラ１０とが正確に正対している場合には、投影されたレーザ光が１辺の長さＬtが既知である正三角形の配置を形成する。一方、壁面３０とカメラ１０とが正対していない場合、正三角形の配置を形成せずに歪んだ形となる。本実施形態では、この歪みをカメラ１０と壁面３０の幾何関係として算出する。

まず、図４に示すように、カメラ座標系（ｘ−ｙ−ｚ）と画像座標系（ｕ−ｖ）を考える。
レーザ光は、カメラ座標系のｚ方向に、平行光線で出力されるため、三角形の各頂点Ａ，Ｂ，Ｃのｘ成分ＸA，ＸB，ＸCとｙ成分ＹA，ＹB，ＹCは既知の値である。未知のパラメータＺA，ＺB，ＺCを画像上での各頂点Ａ，Ｂ，Ｃのｕ−ｖ平面の座標値ＰA（ｕA，ｖA），ＰＢ（ｕB，ｖB），ＰＣ（ｕC，ｖC）を用いて算出する。

ここで、ｆは焦点距離である。式（１）より、三角形の頂点座標の３成分を導出することができる。

次に、画像内の各画素Ｐiにおける３次元座標をそれぞれ算出する。壁面３０と原点ＯとＵ−Ｖ平面内の各Ｐiを結ぶ３次元直線との交点を算出することで、３次元座標を決定できる。壁面３０の平面は、頂点Ａ，Ｂ，Ｃの座標値により算出できる。まず、ベクトルＡＢ，ＡＣは、以下のようになる。

これにより、ベクトルＡＢとＡＣの外積から、平面の法線ベクトルが求められる。頂点Ａを通る平面式は、式（２）で求めた法線ベクトルをｎ(l,m,n)とすると以下のようになる。

次に、３次元直線について考える。例えば、直線Ｏ-ＰBの式は、原点Ｏを通る。単位ベクトルにするため、直線の単位ベクトルの長さＬを算出すると以下となる。

長さＬを用いて、直線式は、以下のようになる。

交点を求めるために、式（５）にｔを置くと、以下のようになる。

ｘ，ｙ，ｚで分解すると、以下のようになる。

式（７）を式（３）の平面式に代入すると、以下のようになる。

ここで、ｔについて解くと、以下のようになる。

式（９）を式（７）に代入すると、交点ｘ，ｙ，ｚを求めることができる。

式（１０）より，ｕBに関する交点は求められた。同様に各Ｐiに関しても同じ手順で交点、つまり３次元座標を算出することができる。
各画素の３次元座標を求めることができたので、各画素の解像度(mm/pixel)を算出することが可能である。各Ｐiは１ピクセルに相当する。そこで、Ｐiの両側で隣接する２点（Ｐi-1，Ｐi+1）の３次元座標を用いて、Ｐiの解像度Ｒiを算出する。ただし、縦と横で解像度が異なる可能性があるので、解像度は縦横の平均値とする。

以上により、カメラと壁面までの距離を決定でき、１枚の画像のすべての画素の解像度を算出することができる。

（ひび割れの評価処理）
次に、図３を用いて、ひび割れの評価処理の処理手順を説明する。
まず、評価装置２０の制御部２１は、画像の取得処理を実行する（ステップＳ１−１）。

図４（ａ）に示すように、コンクリート構造体の壁面３０のひび割れ３１の評価を行なう場合を想定する。この場合、まず、レーザ照射装置１５を用いて、壁面３０に予め定められた配置（本実施形態では、正三角形）で３本のレーザ光を照射する。この場合、壁面３０には、頂点Ａ，Ｂ，Ｃの三角形状でレーザ光の輝点（レーザスポット）が生成される。

そして、カメラ１０を用いてコンクリート構造体の壁面３０を撮影する。
この場合、図４（ｂ）に示すように、画像中に、ひび割れ３１及び頂点Ａ，Ｂ，Ｃが含まれるようにカラー撮影を行なう。そして、評価装置２０に撮影画像５００を入力する。この場合、制御部２１の画像取得部２１１は、撮影画像５００を取得する。

次に、評価装置２０の制御部２１は、ひび割れ領域の特定処理を実行する（ステップＳ１−２）。具体的には、表面評価部２１３は、撮影画像５００において、ひび割れが含まれるすべてのピクセルを特定する。ここでは、例えば、非特許文献１に記載されたパーコレーション法を用いた２値化処理によるひび割れ検出、細線化処理によるひび割れ位置の確定処理を行なう。

次に、ステップＳ１−２において特定したピクセルを、順次、評価対象ピクセルとし、評価対象ピクセル毎に以下の処理を繰り返す。
ここでは、評価装置２０の制御部２１は、解像度の算出処理を実行する（ステップＳ１−３）。具体的には、制御部２１の解像度評価部２１２は、前述した式（１１）を用いて、評価対象ピクセルの解像度を算出する。

次に、評価装置２０の制御部２１は、ひび割れ幅の算出処理を実行する（ステップＳ１−４）。具体的には、制御部２１の表面評価部２１３は、評価対象ピクセルの輝度を算出する。次に、表面評価部２１３は、クラックスケール情報記憶部２２において、評価対象ピクセルの解像度及びピクセルの輝度に基づき、キャリブレーション直線からひび割れ幅を算出する。
以上の処理を、ひび割れが含まれるすべてのピクセルについて繰り返す。

そして、評価装置２０の制御部２１は、評価結果の出力処理を実行する（ステップＳ１−５）。具体的には、制御部２１の表面評価部２１３は、撮影画像５００において、ピクセル毎に算出したひび割れ幅を出力する。

本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態では、クラックスケール情報記憶部２２には、ひび割れ幅を算出するためのクラックスケールモデル２２０が記録されている。このクラックスケールモデル２２０は、解像度毎に記録されている。ひび割れをサブピクセルで評価する場合、ひび割れ領域及び周辺領域が１ピクセルの中に含まれることになる。この場合、解像度に応じて、同じ幅のひび割れであっても、ひび割れ領域と周辺領域との割合が異なるため、ひび割れを含むピクセルの輝度が変化する。ここで、解像度に応じたクラックスケールモデルを用いることにより、的確な表面状態を評価することができる。

（２）本実施形態では、評価装置２０の制御部２１は、ひび割れ領域の特定処理（ステップＳ１−２）、解像度の算出処理（ステップＳ１−３）、ひび割れ幅の算出処理（ステップＳ１−４）を実行する。撮影画像に含まれる各ピクセルについて、壁面３０とカメラ１０との距離に応じて、解像度は異なる。この解像度の違いを考慮して、ひび割れが含まれるピクセル毎に、的確に状態を評価することができる。

（３）本実施形態では、画像中に、ひび割れ３１及び頂点Ａ，Ｂ，Ｃが含まれるようにカラー撮影を行なう。レーザ光照射によって生成した頂点Ａ，Ｂ，Ｃを撮影画像の中に映り込ませることにより、壁面３０とカメラ１０との位置関係を把握し、一枚の撮影画像において、ひび割れ等の大きさ等の表面状態を効率的に評価することができる。

また、上記実施形態は、以下のように変更してもよい。
・上記実施形態においては、評価装置２０を用いてひび割れ幅を算出する。すべてをコンピュータ処理によって行なう必要はなく、計算の一部を手計算等により行なうようにしてもよい。

・上記実施形態においては、構造物の壁面のひび割れ幅の算出に適用した。適用対象は、表面状態によって、輝度等の光特徴量の変化が生じるものであれば、壁面のひび割れの評価に限定されるものではない。例えば、評価対象面における傷等の評価にも用いることができる。

・上記実施形態においては、輝度特徴量、ひび割れ幅、解像度を変数とするクラックスケールモデルを用いる。クラックスケールモデルに用いる変数はこれらに限定されるものではない。例えば、更に、環境光の明るさを、変数として用いてもよい。この場合には、環境光の照度を変更して、クラックスケールを撮影した画像を用いて、クラックスケールモデルを生成し、クラックスケール情報記憶部に記録する。そして、ひび割れの評価時には、環境光の明るさを照度計等により取得する。そして、この照度に対応するクラックスケールモデルを用いて、解像度、輝度特徴量からひび割れ幅を算出する。

・上記実施形態においては、多角形として正三角形に配置されたレーザ光を用いて、壁面３０とカメラ１０との位置関係を算出する。２次元平面を特定できる複数点のレーザ光の輝点の配置であれば、正三角形に限定されるものではない。他の形状の多角形や、十字配置等を用いることも可能である。

また、壁面３０が曲面の場合には、格子状のように、複数の多角形により形成した分割領域（例えば、メッシュ状の投影）を用いてもよい。この場合には、ひび割れが含まれる多角形（分割領域）を用いて、壁面３０とカメラ１０との位置関係を算出する。

１０…カメラ、１５…レーザ照射装置、２０…評価装置、２１…制御部、２２…クラックスケール情報記憶部、２１１…画像取得部、２１２…解像度評価部、２１３…表面評価部、３０…壁面、５００…撮影画像。

Claims (5)

1. 評価対象面の撮影画像を用いて、前記評価対象面の表面状態を評価する方法であって、
   評価モデル記憶装置に、解像度及び画素の光特徴量に関連付けて表面状態を記録し、
   前記評価対象面に、撮影面を特定するための基準画像を投影し、
   前記基準画像を含めた評価対象面の撮影画像を取得し、
   前記撮影画像に含まれる基準画像の配置に基づいて、前記撮影画像に含まれる画素の解像度を算出し、
   前記評価モデル記憶装置を用いて、前記解像度と前記撮影画像に含まれる画素の光特徴量に基づいて、前記評価対象面の表面状態を評価することを特徴とする表面評価方法。
2. 前記基準画像を、レーザ光照射によって生成した多角形の頂点により構成することを特徴とする請求項１に記載の表面評価方法。
3. 前記撮影画像には、壁面におけるひび割れの画像が含まれ、
   前記ひび割れの光特徴量に基づいて、前記表面状態としてのひび割れ幅を算出することを特徴とする請求項１又は２に記載の表面評価方法。
4. 解像度及び画素の光特徴量に関連付けて表面状態を記録した評価モデル記憶装置と、
   評価対象面の撮影画像を用いて、前記評価対象面の表面状態を評価する制御部とを備えた評価装置であって、
   前記制御部が、
   前記評価対象面に、撮影面を特定するための基準画像を投影した撮影画像を取得し、
   前記撮影画像に含まれる基準画像の配置に基づいて、前記撮影画像に含まれる画素の解像度を算出し、
   前記評価モデル記憶装置を用いて、前記解像度と前記撮影画像に含まれる画素の光特徴量に基づいて、前記評価対象面の表面状態を評価することを特徴とする表面評価装置。
5. 評価対象面の撮影画像を用いて、前記評価対象面の表面状態を評価するための評価モデル記憶装置であって、
   解像度及び画素の光特徴量に関連付けて表面状態を記録したことを特徴とする評価モデル記憶装置。