JP2014130404A - 路面画像生成システム並びに影除去装置、方法及びプログラム - Google Patents

Abstract

【課題】
路面オルソ画像から日射による影を除去する。
【解決手段】
自動車にビデオカメラ（１０）とレーザスキャナ（１２）を搭載し、走行中にビデオカメラ（１０）で路面を撮影し、同時にレーザスキャナ（１２）で同じ路面を幅方向にスキャンして反射強度を測定する。路面オルソ画像生成装置（３２）がビデオカメラ（１０）の映像データが路面オルソ画像データ（３４）を生成する。座標変換装置（３６）、メッシュ化装置（４０）及び反射強度・高さ補間装置（４２）が、レーザスキャナ（１２）で得られる反射強度データから路面オルソ画像データと対比する路面反射強度画像データ（４８）を生成する。影部分認識装置（５０）は路面反射強度画像データ（４８）を参照して路面オルソ画像データ（３４）の影領域を認識する。影部分補正装置（５２）が各影領域を路面オルソ画像データ上の周辺部分の色情報で補正する。
【選択図】 図１

Description

本発明は、日射により生ずる影を消去した路面画像を生成する路面画像生成システム、並びに路面画像から日射により生ずる影を除去する影除去装置、方法及びプログラムに関する。

地面、特に道路面の実写画像が、カーナビゲーションシステムや種々の地図で必要とされている。このような路面画像は、車両にビデオカメラを搭載し、道路等の路面を撮影しつつ走行し、得られた画像を道路方向に合成することで得られる。様々な地理空間情報との重ね合わせが可能になるように、垂直上空から見た画像になるように正射影変換されたオルソ画像として提供される。道路走行車両以外に、軽飛行機又は無人飛行機による空中撮影を利用することもある。

特許文献１には、ビデオカメラで路面を含む対象を撮影しつつ、レーザスキャナで対象を三次元計測し、レーザスキャナの計測値で特定される範囲（例えば、路面から５０ｃｍ以下の範囲）についてビデオカメラの撮影映像を合成表示することで、道路が樹木やトンネルなどの遮蔽物により遮蔽されておらず、白線や道路境界などがはっきりと認識できる路面画像を生成する技術が記載されている。

特許文献２には、車両にＧＰＳ受信機及びＩＭＵ（慣性ユニット）を搭載して車両位置を計測し、同時に、デジタルカメラで路面及びその周囲を撮影しつつ、レーザスキャナで３次元計測し、カメラ画像に含まれる特徴物及び車両位置データを参考に、レーザスキャナによる点群データから３Ｄモデルを形成する技術が記載されている。

再表２０１０／０２４２１２号公報 特表２０１２−５１１６９７号公報

特許文献１に記載の方法では、ビデオカメラの撮影映像に日射による影が入り込んでいる場合、その影を除去した路面オルソ画像を生成することができない。

特許文献２に記載の技術では、路面をカメラ撮影するものの、対象形状を主としてレーザスキャナの３次元計測値により決定し、カメラ画像を補完的に使用するものであり、カメラによる撮影画像のリアル感を活かすことができない。

本発明は、日射による影を除去し、実写に即した路面画像を生成可能な路面画像生成システム並びに影除去装置、方法及びプログラムを提示することを目的とする。

本発明に係る路面画像生成システムは、日射による影の付いた状態で路面を撮影する撮像装置と、当該撮像装置により得られる複数の画像データから路面オルソ画像データを生成する路面オルソ画像生成手段と、同じ当該路面に対してレーザ光を走査し、反射点の反射強度を計測するレーザスキャナと、当該レーザスキャナで得られる当該反射点の反射強度データから路面反射強度画像データを当該路面オルソ画像データとの対比用の参照画像データとして規定の反射強度レンジで生成する参照画像生成手段と、当該参照画像データを参照して、当該路面オルソ画像データの影領域を認識する影部分認識手段と、当該影部分認識手段により認識される当該各影領域を当該路面オルソ画像データの、当該影領域の周辺部分の色情報で補正する影部分補正手段とを具備することを特徴とする。

本発明に係る影除去装置は、日射による影の付いた状態で路面を撮影した画像データから当該影を除去する影除去装置であって、当該路面を撮影した当該画像データから路面オルソ画像データを生成する路面オルソ画像生成手段と、同じ当該路面に対してレーザスキャナでレーザ光を走査して計測される反射強度データから路面反射強度画像データを当該路面オルソ画像データとの対比用の参照画像データとして規定の反射強度レンジで生成する参照画像生成手段と、当該参照画像データを参照して、当該路面オルソ画像データの影領域を認識する影部分認識手段と、当該影部分認識手段により認識される当該各影領域を当該路面オルソ画像データの、当該影領域の周辺部分の色情報で補正する影部分補正手段とを具備することを特徴とする。

本発明に係る影除去方法は、日射による影の付いた状態で路面を撮影した画像データから当該影を除去する影除去方法であって、当該路面をビデオカメラで撮影した路面映像データを記録媒体から再生して情報処理装置に取り込むステップと、当該情報処理装置の路面オルソ画像生成手段が、当該路面映像データから路面オルソ画像データを生成する路面オルソ画像データ生成ステップと、当該情報処理装置の参照画像生成手段が、同じ当該路面に対してレーザスキャナでレーザ光を走査して計測される反射強度データから路面反射強度画像データを当該路面オルソ画像データとの対比用の参照画像データとして規定の反射強度レンジで生成する参照画像生成ステップと、当該情報処理装置の影部分認識手段が、当該参照画像データを参照して、当該路面オルソ画像データの影領域を認識する影部分認識ステップと、当該情報処理装置の影部分補正手段が、当該影部分認識手段により認識される当該各影領域を当該路面オルソ画像データの、当該影領域の周辺部分の色情報で補正する影部分補正ステップとを具備することを特徴とする。

本発明に係る影除去プログラムは、日射による影の付いた状態で路面を撮影した画像データから当該影を除去するために、情報処理装置を、当該路面を撮影した当該画像データから路面オルソ画像データを生成する路面オルソ画像生成手段と、同じ当該路面に対してレーザスキャナでレーザ光を走査して計測される反射強度データから路面反射強度画像データを当該路面オルソ画像データとの対比用の参照画像データとして規定の反射強度レンジで生成する参照画像生成手段と、当該参照画像データを参照して、当該路面オルソ画像データの影領域を認識する影部分認識手段と、当該影部分認識手段により認識される当該各影領域を当該路面オルソ画像データの、当該影領域の周辺部分の色情報で補正する影部分補正手段として機能させるためのものである。

本発明により、撮像装置で撮影した路面画像から影部分を、影の無かった色調に変換できるので、路面の撮影時に影の映り込みを意図的に回避する必要がなくなる。

本発明の一実施例の概略構成ブロック図を示す。 ビデオカメラによる撮影範囲とレーザスキャナによるレーザ走査軌跡の、路面上での位置関係を示す。 路面エリア抽出を説明するＴＩＮ(Triangulated Irregular Network)モデル例である。 法線ベクトルの説明図である。 法線ベクトル計算のフローチャートを示す。 路面判定のフローチャートを示す。 影部分認識処理と影部分補正処理の動作フローチャートを示す。 影領域に隣接する非影領域のスムージング処理の説明図である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例の概略構成ブロック図を示す。

自動車にビデオカメラ１０、１次元走査能力のレーザスキャナ１２、ＧＰＳ（Global Positioning System）受信機１４、方位計１６、ビデオ記録再生装置１８及びデータ記録再生装置２０を搭載する。この自動車で予定の道路を走行する間に、ビデオカメラ１０は車両前方（後方でもよい）の路面を撮影し、レーザスキャナ１２は、道路の幅方向にレーザ光を走査して、路面からの反射光強度と反射点までの距離を計測する。このようなレーザスキャナ１２としては、レーザ測距装置として市販されているものを利用できる。方位計１６には例えばジャイロ装置を利用できる。ジャイロ装置を使用すると、ＧＰＳ受信機１４の受信間隔を補間できる。

ＧＰＳ受信機１４は、地上座標系での車両位置を継続的に計測し、方位計１２は北を計測する。方位計１６の出力により、車両の向いた方向、即ちビデオカメラ１０の撮影方向及びレーザスキャナ１２のレーザ照射方向を知ることが出来る。ＧＰＳ受信機１４で計測される地上座標値と、方位計１６で計測される方位とから、ビデオカメラ１０の撮影視野内の各画素の路面上相当の地上座標を決定できる。同様に、レーザスキャナ１２のレーザ光反射点の地上座標も決定できる。

ビデオ記録再生装置１８は、ビデオカメラ１０の出力ビデオ信号にＧＰＳ受信機１４からの３次元位置座標データ及び方位計１６からの方位データを付加して記録媒体に記録する。また、データ記録再生装置２０は、レーザスキャナ１２から出力される反射点までの距離、レーザ照射方向及び反射光強度からなる反射データを、ＧＰＳ受信機１４からの３次元位置座標データ及び方位計１６により計測される方位データと対応付けて記録媒体に記録する。レーザスキャナ１２により得られる反射データはいわば、レーザスキャナ１２から見た反射点の相対座標値と反射光強度を示す。

詳細は後述するが、本実施例では、車両に搭載したビデオカメラ１０で路面を継続的に撮影し、そのビデオ画像の特定水平走査線上の線画像をモザイク合成し、最終的に路面全体に対する長尺で垂直上方向から観察した路面オルソ画像を生成する。他方、車両に搭載したレーザスキャナ１２が、出力するレーザ光を路面に対して横方向（道路の幅方向）に走査してその反射光強度を計測する。計測された反射光強度から、道路に沿って長尺の、道路路面の反射強度画像を生成する。反射点までの距離を加味することで、路面の凹凸も計測できることはいうまでもない。この反射強度画像を、路面オルソ画像から日射による影部分を除去するための参照画像として使用する。

生成したオルソ画像と反射光強度画像を路面上の同じ位置で対比することになるので、オルソ画像（従って、その前提となるモザイク画像）を生成するために用いる線画像は、レーザスキャナ１２の走査線とほぼ対応する水平走査線上のものであるのが好ましい。図２は、ビデオカメラ１０による撮影範囲とレーザスキャナ１２によるレーザ走査軌跡の、路面上での位置関係を示す。レーザスキャナ１２のレーザ走査がビデオカメラ１０の撮影視野内に入るようにビデオカメラ１０の撮影範囲とレーザスキャナ１２のレーザ走査線方向を事前に調整する。このとき、レーザスキャナ１２による路面上でのレーザ走査軌跡と、ビデオカメラ１０によるビデオ画像からモザイク画像生成用に線画像を抽出する水平走査線とを対応させておくのが好ましい。

ビデオ記録再生装置１８及びデータ記録再生装置２０で記録したデータを再生し、影除去装置３０に投入する。影除去装置３０は実際には、コンピュータを含む情報処理装置上で動作する影除去プログラムにより実現され、影除去装置３０を構成する、記憶手段以外の手段の一部又は全部は、コンピュータプログラムにより実現されうる。

オルソ画像生成装置３２は、ビデオ記録再生装置１８からビデオ画像とＧＰＳ受信機１４による３次元位置座標及び方位計１６による方位データを再生して読み込む。オルソ画像生成装置３２は、ビデオ記録再生装置１８からビデオ画像の１又は複数の特定水平走査線上の線画像を合成及び再構成し、垂直上方から見た路面オルソ画像を生成する。オルソ画像生成装置３２は、ＧＰＳ受信機１４による３次元位置座標及び方位計１６による方位データを参照することで、ビデオ記録再生装置１８からビデオ画像の各水平走査線上の線画像の、路面上での地上座標を決定できる。生成された路面オルソ画像は、例えば、１画素が２．５ｃｍ程度の密度からなる。オルソ画像生成装置３２は、生成した路面オルソ画像データ３４を記憶装置に格納する。

オルソ画像生成装置３２はまた、生成した路面オルソ画像データがカバーする地上座標範囲を示す座標データを座標ファイル３８として出力する。レーザスキャナ１２が、路面を含む比較的広い範囲を３次元計測しており、座標ファイル３８を使って、レーザスキャナ１２で測定した反射点の内、路面画像からの影除去に有用なもの以外を除外するためである。これにより、以後のデータ処理を軽くすることができる。

座標変換装置３６は、データ記録再生装置２０からレーザスキャナ１２による反射データと、ＧＰＳ受信機１４により計測された３次元位置座標と、方位計１６により計測された方位データを読み出す。レーザスキャナ１２の路面に対する照射角度、幅方向の走査角度、及び方位計１６の方位から、レーザスキャナ１２から見た反射点の相対的な位置座標を決定できる。この相対的な位置座標をＧＰＳ受信機１４により計測される３次元位置座標に加算する事で、反射点の地上座標系での位置を決定できる。座標変換装置３６は、座標ファイル３８を参照して、路面上とその周囲の反射点データのみを抽出する。座標変換装置３６の出力データは、地上座標系ではばらついた位置にある点群データになっている。

メッシュ化装置４０が、路面オルソ画像データ３４のピクセル座標を参照し、座標変換装置３６から出力される点群データを、地上座標系で路面オルソ画像データ３４の画素と同じ位置になる規定間隔のメッシュ又は格子上の点群データに変換する。その際、反射光強度と高さは、当該メッシュ又は格子上の数値に調整される。ここで得られるメッシュの解像度は、２．５〜１０ｃｍ程度であるのに対し、路面オルソ画像データ３４の解像度は２．５ｃｍ程度である。そこで、メッシュ補間装置４２が、メッシュ化装置４０で生成されるメッシュ間に、路面オルソ画像データ３４と同じ画素密度と配置になるようにピクセルの反射強度・高さを補間する。この補間により、路面オルソ画像データ３４と地上座標系上で容易に対比できる反射光強度の点群データが生成される。メッシュ化装置４０によるメッシュ化と、メッシュ補間装置４２による補間を同時に実行しても良いことは明らかである。

路面エリア抽出装置４４は、メッシュ補間装置４２から出力される点群データから路面エリアを抽出する。具体的には、路面エリア抽出装置４４は、数値地形モデルで利用されるＴＩＮ（Triangulated Irregular Network）法を用いて、隣接する３つのメッシュ点で形成される各三角形について法線ベクトルを計算し、その傾きにより路面かどうかを判定する。

図３に示す例で、Ｐ（ｎ−１，ｍ−１）とＰ（ｎ，ｍ−１）が注目点Ｐ（ｎ，ｍ）に対して三角形を構成する２点とした場合、この三角形の法線ベクトルが次のようにして計算される。図４に示すように、Ｐ（ｎ，ｍ）を注目点Ｐ１とし、そのｘ座標値をｘ１、ｙ座標値をｙ１、ｚ座標値をｚ１とする。Ｐ（ｎ−１，ｍ−１）をＰ２として、そのｘ座標値をｘ２、ｙ座標値をｙ２、ｚ座標値をｚ２とする。Ｐ（ｎ，ｍ−１）をＰ３として、そのｘ座標値をｘ３、ｙ座標値をｙ３、ｚ座標値をｚ３とする。このとき、法線ベクトルのｘ成分，ｙ成分及びｚ成分をそれぞれＮｘ，Ｎｙ，Ｎｚとすると、
Ｎｘ＝（ｙ２−ｙ１）×（ｚ３−ｚ２）−（ｚ２−ｚ１）×（ｙ３−ｙ２）
Ｎｙ＝（ｚ２−ｚ１）×（ｘ３−ｘ２）−（ｘ２−ｘ１）×（ｚ３−ｚ２）
Ｎｚ＝（ｘ２−ｘ１）×（ｙ３−ｙ２）−（ｙ２−ｙ１）×（ｚ３−ｚ２）
となる。

図５は、隣接する３つのメッシュ点で形成される各三角形について法線ベクトルを計算する動作のフローチャートを示す。ｘ方向のメッシュ番号をｎで、ｙ方向のメッシュ番号をｍで示している。メッシュは、ｘ方向にＮ＋２個あり、変数ｎには０からＮ＋１が付番されているとする。また、ｙ方向にはＭ＋２個あり、変数ｍには０からＭ＋１が付番されているものとする。

まず、最外周のメッシュの内側を指定するために、注目するメッシュを指定する変数ｎ，ｍとして、変数ｎを１で初期化し（Ｓ１）、変数ｍを１で初期化する（Ｓ２）。図３に示すように、注目するメッシュの周囲には８個のＴＩＮが形成できるので、その８個のＴＩＮについて、例えば、図３に示す斜線を付したＴＩＮから順に時計回りに法線ベクトルを計算する（Ｓ３〜Ｓ６）。すなわち、計算対象のＴＩＮを指定する変数ｉに１を代入し（Ｓ３）、変数ｉが示すＴＩＮの法線ベクトルＶ（ｎ，ｍ，ｉ）を計算する（Ｓ４）。変数ｉをインクリメントし（Ｓ５）、変数ｉが８を越えるまで（Ｓ６）、ステップＳ４，Ｓ５を繰り返す。これにより、注目点Ｐ（ｎ．ｍ）を囲む８個のＴＩＮについての法線ベクトルＶ（ｎ，ｍ，ｉ）が算出される。

変数ｍをインクリメントし（Ｓ７）、変数ｍがＭに等しくなるまで（Ｓ８）、ステップＳ３〜Ｓ７の処理を繰り返す。更には、変数ｎをインクリメントし（Ｓ９）、ｎがＮに等しくなるまで（Ｓ１０）、ステップＳ２〜Ｓ９を繰り返す。

図５に示すフローにより、最外周のメッシュ点を除く全メッシュ点について、周囲の８個のＴＩＮの法線ベクトルが計算される。図５に示すフローでは、水平垂直に隣接する４つのメッシュ点で形成される面について、ＴＩＮによる法線ベクトル計算が、重複して実行される。これは例えば、ｎ，ｍの増分を２とすることで回避できるが、その場合、計算される法線ベクトルデータを、注目点として指定されなかったメッシュ点にも対応付ける必要がある。

図６は、図５に示すフローで計算された法線ベクトルを使用して、路面か否かを判定する路面判定のフローチャートを示す。

路面では、法線ベクトルの傾きは原則として小さい。仮に傾斜があるとしても、その傾斜は小さく、しかも隣接する三角形で一定方向に傾く。逆に、路面以外では、法線ベクトルの傾きが大きい。また、隣接する三角形で法線ベクトルの向きが一定でない場合、そもそも平面を構成していないことになるので、路面ではない。路面エリア抽出装置４４は、このような基準の下で、注目するメッシュ点に対して周囲の８点との間で形成される８個の三角形について、路面と判定した場合に路面フラグ＝１を割り当て、そうでない場合に路面フラグ＝０を割り当てる。

まず、最外周のメッシュの内側を指定するために、注目するメッシュを指定する変数ｎ，ｍとして、変数ｎを１で初期化し（Ｓ２１）、変数ｍを１で初期化する（Ｓ２２）。図３に示すように、注目するメッシュの周囲にある８個のＴＩＮの１つを指定する変数ｉに１を代入する（Ｓ２３）。

法線ベクトルＶ（ｎ，ｍ，ｉ）の角度が垂直に対して１５度未満か否かを判定し（Ｓ２４）、１５度未満である場合、路面フラグ（ｎ，ｍ，ｉ）に１を代入する（Ｓ２５）。法線ベクトルＶ（ｎ，ｍ，ｉ）の角度が垂直に対して１５度以上の場合（Ｓ２４）、法線ベクトルＶ（ｎ，ｍ，ｉ）と、隣接する２つのＴＩＮの法線ベクトルＮ（ｎ，ｍ，ｉ−１），Ｖ（ｎ，ｍ，ｉ＋１）との間の角度差が２０度未満か否かを判定する（Ｓ２６）。何れか一方との角度差が２０度未満である場合（Ｓ２６）、条件達成と判定し、路面フラグ（ｎ，ｍ，ｉ）に１を代入する（Ｓ２５）。いずれの法線ベクトルＮ（ｎ，ｍ，ｉ−１），Ｖ（ｎ，ｍ，ｉ＋１）との角度差も２０度以上の場合（Ｓ２６）、路面フラグ（ｎ，ｍ，ｉ）に０を代入する（Ｓ２７）。

変数ｉをインクリメントし（Ｓ２８）、変数ｉが８を越えるまで（Ｓ２９）、ステップＳ２４〜Ｓ２８を繰り返す。これにより、注目点Ｐ（ｎ．ｍ）を囲む８個のＴＩＮについて路面か否かを仮に判定できる。

変数ｍをインクリメントし（Ｓ３０）、変数ｍがＭに等しくなるまで（Ｓ３１）、ステップＳ２３〜Ｓ２９の処理を繰り返す。更には、変数ｎをインクリメントし（Ｓ３２）、ｎがＮに等しくなるまで（Ｓ３３）、ステップＳ２〜Ｓ３２を繰り返す。

路面エリア抽出装置４４は、図６に示すフローで得られた路面フラグを参照して、路面フラグ＝１が連続するＴＩＮをクラスター化又はグループ化する。この主のクラスター化の方法は周知であるので、これ以上の説明は省略する。路面と判定されたエリアの中に、非路面が存在する場合、その面積が所定値未満のときには、判定エラーとして路面に含める。

路面反射画像生成装置４６は、路面エリア抽出装置４４で抽出された路面エリアとその周囲の一定範囲に対し、反射光強度を輝度値とする８ビットスケールの反射強度画像を生成する。極端に低い反射光強度と極端に高い反射光強度は無視する。そのための平滑化処理を画像化の前処理として加えてもよい。路面反射画像生成装置４６は、生成した路面反射強度画像データ４８を記憶装置に格納する。

一般的には、路面反射強度画像の反射強度平均値は、路面オルソ画像データ３４との輝度平均値と対比可能なレベルであるのが好ましい。そこで、路面反射画像生成装置４６は、路面エリア抽出装置４４により抽出された路面相当部分に対応するＲＧＢ輝度データを路面オルソ画像データ３４から読み出して平均輝度値を算出し、所定範囲の反射強度データをその平均値が路面オルソ画像データ３４の平均輝度値と対応するように路面オルソ画像データ３４と同じスケール（例えば、８ビット）に割り当てる。

例えば、路面オルソ画像データの輝度値が８ビットの場合で０−２５５であるのに対し、レーザ反射光強度は、その値が０−１０００超というように非常にレンジが広いが、そのレンジ内でも９５％以上は２００−６００の間に収まる。勿論、レーザスキャナ１２の性能や反射面の性質等によっても異なる。

一例として、路面オルソ画像データ３４の輝度平均値が１２０であり、反射強度の統計量が最大になる値（平均値を利用すると大きなノイズ値に影響されるので最大数を使用する）が４００、０から累計して総数の１％に達する値が２００であるとする。この場合、反射強度値４００を値１２０に変換し、反射強度２００を値１に変換し、反射強度値２００以下を値０とする。そして、
（反射強度最大数の値−反射強度下限値）／（オルソ輝度平均）＝比率 （１）
反射強度最大数の値＋（２５５−輝度平均））×比率＝反射強度上限値 （２）
とする。式（１）により、
（４００−２００）／１２０＝１．６６
式（２）により、
４００＋（２５５−１２０）×１．６６＝６２４
となる。

式（２）で得られる反射強度上限値（この数値例では６２４）以上に対して値２５５とする。但し、明らかな異常値、例えば反射強度１０００以上等は、値０とする。

このように生成した路面反射強度画像データ４８は、路面上の日射による影の影響を受けないので、路面オルソ画像上の影部分を分離抽出する参照データとして利用できる。但し、路面にはマンホール及び走行レーンを区分する白線や各種走行指示の着色表示があり、マンホールの反射強度は、路面自体のそれよりも小さく、白線等の着色表示の反射強度は路面自体のそれよりも高い。

影部分認識装置５０は、同じ地上座標系の画素単位で路面オルソ画像データ３４と路面反射強度画像データ４８とを対比し、路面オルソ画像上にある影部分を認識し、影部分補正装置５２は、認識された影部分の色を周囲に同化するように補正する。図７は、影部分認識装置５０による影部分認識処理と影部分補正装置５２による補正処理の動作フローチャートを示す。

路面反射強度画像データ４８は影部分を含まず、且つ、路面範囲を規定するのに対し、路面オルソ画像データ３４は、路面以外に、日射による影、路肩及び周囲の地上物を含む。従って、路面反射強度画像データ４８により路面と判定される部分を路面オルソ画像データ３４から分離抽出し、その分離抽出した路面部分で、大きく暗くなっている部分を影部分として分離抽出すればよい。

影部分認識装置５０は、先ず、路面オルソ画像データ３４を読み込み、画像全体の色調を取得して、カラーバランスを補正する（Ｓ４１）。具体的には、路面オルソ画像データ３４の画像全体で、Ｒ，Ｇ，Ｂの各色を４段階の強度レベルに区分し、路面の色に近い中央２つの段階に対してその平均値を算出する。例えば、Ｒ（赤）の平均輝度をＣ_Ｒ，Ｇ（緑）の平均輝度をＣ_Ｂ、Ｂ（青）の平均輝度をＣ_Ｂとすると、平均輝度ＡＶ_ＲＧＢは、
ＡＶ_ＲＧＢ＝（Ｃ_Ｒ＋Ｃ_Ｇ＋Ｃ_Ｂ）／３
となる。

Ｒに対する補正係数をＨ_Ｒ、Ｇに対する補正係数をＨ_Ｇ、Ｂに対する補正係数をＨ_Ｂとすると、
Ｈ_Ｒ＝Ｃ_Ｒ／ＡＶ_ＲＧＢ
Ｈ_Ｇ＝Ｃ_Ｇ／ＡＶ_ＲＧＢ
Ｈ_Ｂ＝Ｃ_Ｂ／ＡＶ_ＲＧＢ
となる。この補正係数Ｈ_Ｒ，Ｈ_Ｇ，Ｈ_Ｂを使って、路面オルソ画像データ３４のカラーバランスを補正する。すなわち、路面オルソ画像データ３４のＲ値に補正係数Ｈ_Ｒ乗算し、Ｇ値に補正係数Ｈ_Ｇ，を乗算し、Ｂ値に補正係数Ｈ_Ｂを乗算する。このカラーバランス調整後の路面オルソ画像データ３４を、便宜上、色調整済み路面オルソ画像データと呼ぶ。

路面には、マンホールや、走行レーンを区分する白線等の各種の白色やオレンジの着色表示がある。マンホールは平均的な路面よりも反射強度が弱く、着色表示は逆に反射強度が高い。これらを含めたまま、路面反射強度画像データ４８と色調整済み路面オルソ画像データと対比すると、本来の路面とその影部分を誤認する恐れがある。そこで、本実施例では、マンホールを比較対象から除外するための下限閾値ｐ１と、着色表示を比較対象から除外するための上限閾値ｐ２を反射強度画像データ４８から影部分認識装置５０に設定すると共に、色調整済み路面オルソ画像データとの比較用の差閾値ｐ３を影部分認識装置５０に設定する（Ｓ４２）。差閾値ｐ３は、試行の上で設定される。但し、後述するように、マンホールを比較対象として除外する必要が無い場合、又は、そもそもマンホールが存在しないような道路の場合には、下限閾値ｐ１をゼロとすればよい。同様に、着色表示を除外する必要が無い場合、又は、そもそも着色表示が存在しないような道路の場合には、上限閾値ｐ２を反射強度の理論最大値（８ビットの場合の２５５）にする。

なお、路面反射強度画像データ４８の反射強度を所定の強度範囲で階層化すると、路面と地物（マンホールと、路面に印刷された道路標識や白線、オレンジ線等）とを識別しやすくなる。この階層化により路面自体と地物を識別し、除外したい地物に対して下限閾値ｐ１及び上限閾値ｐ２を選択又は設定する。これにより、下限閾値ｐ１及び上限閾値ｐ２を適切に設定できる。

例えば、８ビットの場合で反射強度値２０程度の強度範囲で階層化するとした場合、路面反射強度画像データ４８の反射強度が、２２５／２０により１３段階程度に階層化又はグループ化される。反射強度平均値前後の階層に属するエリアが路面自体を示し、残りのエリアの内、低反射強度の階層にマンホールが存在し、高反射強度の階層に白線、オレンジ線及び路面に印刷された道路標識等が存在することになる。一例では、路面自体の反射強度は１３４程度、マンホールのそれが９７程度、白い停止線のそれが２２６程度、黄色の道路標識が１８１程度であった。この場合、マンホールを比較対象から除外したい場合には、下限閾値ｐ１を９７と１３４の中間値、例えば、１１０程度に設定すればよいことになる。また、黄色の道路標識を比較対象から除外したい場合には、上限閾値ｐ２を１３４と１８１の中間値、例えば、１６０程度に設定すれば良いことになる。

影部分認識装置５０は、設定された閾値ｐ１，ｐ２，ｐ３を使用し、路面反射強度画像データ４８の反射強度と色調整済み路面オルソ画像データとでＲＧＢ輝度とを比較して、影部分をピクセル単位で特定する（Ｓ４３）。影部分認識装置５０は先ず、閾値ｐ１，ｐ２を使って、色調整済み路面オルソ画像データとの比較に使用するピクセルを路面反射強度画像データ４８から抽出する。即ち、ｉｒ（ｘ，ｙ）をピクセル（ｘ，ｙ）の反射強度とし、ａｖｅｒｇｂ（ｘ，ｙ）を色調整済み路面オルソと画像データから得られるピクセル（ｘ，ｙ）のＲＧＢ平均値であるとする。影部分認識装置５０は閾値ｐ１，ｐ２に対し、
ｐ１＜ｉｒ（ｘ，ｙ）＜ｐ２
を満たすピクセルを色調整済み路面オルソ画像データとの比較対象とする。影部分認識装置５０は、上式を満たす反射強度ｉｒ（ｘ，ｙ）とＲＧＢ平均値ａｖｅｒｇｂ（ｘ，ｙ）との差が閾値ｐ３を越えるかピクセルを影ピクセルと判断する。すなわち、影部分認識装置５０は、
ｉｒ（ｘ，ｙ）−ａｖｅｒｇｂ（ｘ，ｙ）＞ｐ３
が成立するピクセルを影と認識する。

ちなみに、マンホールに対応するピクセルの反射強度も色調整済み路面オルソ画像データのＲＧＢ平均値と対比する場合には、
ｉｒ（ｘ，ｙ）＜ｐ２
及び、
ｉｒ（ｘ，ｙ）−ａｖｅｒｇｂ（ｘ，ｙ）＞ｐ３
が影の成立条件となる。

着色表示に対応するピクセルの反射強度も色調整済み路面オルソ画像データのＲＧＢ平均値と対比する場合には、
ｐ１＜ｉｒ（ｘ，ｙ）
及び、
ｉｒ（ｘ，ｙ）−ａｖｅｒｇｂ（ｘ，ｙ）＞ｐ３
が影の成立条件となる。

マンホールと着色表示の何れも、対応するピクセルの反射強度を色調整済み路面オルソ画像データのＲＧＢ平均値と対比する場合には、
ｉｒ（ｘ，ｙ）−ａｖｅｒｇｂ（ｘ，ｙ）＞ｐ３
が影の成立条件となる。

影部分認識装置５０は、ステップＳ４２により影部分と特定されたピクセルを隣接するピクセル同士でグループ化する（Ｓ４４）。グループ化の際、平均輝度が３０％以内で一致するグループを同じ影部分として統合し、逆に、３０％を越えて平均輝度が相違するグループを別の影グループとする。これにより、個々の影部分が影領域として特定されたことになる。

より具体的に説明すると、例えば、画像の左上から影ピクセルの探索を開始する。最初に出現した影ピクセルをグループ化の起点とし、当該起点の輝度値を影グループの基準輝度値とする。起点の周囲のピクセルにグループ化探索を行い、何れの影グループにも所属しておらず、且つ基準輝度値との差が３０％以内の影ピクセルを同一影グループとする。影グループに追加した影ピクセルの輝度値を加えて平均輝度値を再計算し、基準輝度値とする。このような領域探索を再帰的に行って、影グループ領域を確定させる。確定後、グループ化されていない影ピクセルを再探索し、何れの影グループにも所属していない影ピクセルがあれば、これ起点として、先に説明したように影グループ化を実行する。以上の処理を画像の右下に向けて実行する。探索の方向自体は、左上から右下でも、その逆でも良く、ようは画像内を網羅的に探索すれば良い。このような、多数のピクセルを同じ属性を有するものでグループ化（又はクラスタ化）する技術自体は、地図の分野を含む種々の分野で採用されており、本実施例にも既知の種々の方法を使用できる。

次に、影部分補正装置５２は、影領域を影が無かった場合の色調に補正する（Ｓ４５〜Ｓ４８）。そのために、先ず、影部分補正装置５２は、ステップＳ４４で特定された影領域（影グループ）ごとにその周辺領域のＲＧＢデータを色調整済み路面オルソ画像データから取得し（Ｓ４５）、影領域に適用する（Ｓ４６）。具体的には、影部分補正装置５２は、影領域ごとにその一定幅の周辺領域のＲＧＢ値を色調整済み路面オルソ画像データから読み出し、そのＲ信号、Ｇ信号及びＢ信号の平均強度値を算出する（Ｓ４５）。但し、強度に２０％以上の差があるピクセルと、ＲＧＢバランスが１５％以上ずれているピクセルのＲＧＢ値は、平均強度算出の対象から除外する。影部分補正装置５２は、このように計算した周辺領域のＲ信号、Ｇ信号及びＢ信号の各平均強度値に一致するように、当該影領域のＲ信号、Ｇ信号及びＢ信号の各強度値を調整する（Ｓ４６）。

影領域のＲ信号、Ｇ信号及びＢ信号の各強度値を調整した結果として、当該影領域と、その周囲の非影領域との境界部で、各色成分の強度値に段差が生じてしまう。そこで、影部分補正装置５２は、各影領域に接する非影領域側の、当該影領域との境界部分の各色成分の強度値を調整（スムージング）する（Ｓ４７）。

図８は、影部分補正処理を説明する模式図を示す。図８（ａ）は路面方向での輝度（各色成分の強度）の変化を示す。非影領域から影領域に向かって強度が低下する。図８（ｂ）は、影部分補正装置５２がステップＳ４６で影領域に対して隣接する非影領域の平均輝度値（平均強度値）に一致するように影領域の輝度値（強度値）を上げた結果を示す。ステップＳ４６の処理により、図８（ｂ）に示すように、影領域に隣接する非影領域側の境界部で強度の段差が発生する。影部分補正装置５２は、この境界部の強度段差をその両側に位置する影領域の強度と非影領域の強度との間でスムージングする（Ｓ４７）。

影部分補正装置５２は、更に、影部分に対して色情報のディテールを再現する色ディテール補正処理を実行する（Ｓ４８）。影領域の色調を周辺の色情報で補正しただけでは、影領域の色が均一化してしまう。他方、路面反射強度画像データ４８は、前提となるレーザ反射強度の解像度が低いので、路面反射強度画像データ４８又はその前提となるレーザ反射強度を影領域の色調補正に使っても、影領域の色が均一化してしまう。そこで、本実施例では、ステップＳ４５，Ｓ４６による色補正の前の色調整済み路面オルソ画像データ（又は路面オルソ画像データ３４）から色詳細情報を取得し、注目ピクセルの色強度を補正するようにした。

具体的な処理方法を説明する。影部分補正装置５２は、ステップＳ４７で処理済みの路面オルソ画像データから影領域の任意のピクセルを順に選択し、注目ピクセルとする。影部分補正装置５２は次に、注目ピクセルを中心とする所定範囲（例えば、５×５ピクセル）にある影ピクセルのＲＧＢの各色強度を色調整済み路面オルソ画像データ（又は路面オルソ画像データ３４）から読み出し、各色について強度平均値を算出する。各色について、注目ピクセルの色強度から算出した強度平均値を注目ピクセルの色強度から減算した結果を補正値とし、ステップＳ４７の処理後の路面オルソ画像データに加算する。以上の処理を、ステップＳ４７で処理済みの路面オルソ画像データの全影ピクセルについて実行する。

この色ディテール補正処理により、ビデオ画像では影であった部分の色グラデーションを影除去後に再現することができる。

影部分補正装置５２は、上述のように処理された路面オルソ画像データ、すなわち影除去路面オルソ画像データ５４を記憶装置に格納する。

このようにして、本実施例によれば、実写による路面オルソ画像と、日射による影の影響を受けないレーザスキャナによる反射強度データを使うことで、実写による路面オルソ画像から路面部分の影部分を適切に除去することができる。

上記実施例では、日射による影の影響を受けない路面画像を取得するのにレーザスキャナを使用したが、赤外線カメラによる画像も同様に日射による影の影響を受けないので、可視光による路面オルソ画像データ３４の参照画像として利用可能である。すなわち、赤外線カメラで得られる画像を、レーザスキャナによる反射強度データの代替として利用可能であり、モザイク合成、メッシュ化及び路面エリア抽出を経て、路面オルソ画像データ３４の参照画像とすることができる。

上記実施例では、路面オルソ画像データ３４のピクセル座標を先に決定し、その後に、メッシュ化装置４０が、路面オルソ画像データ３４を参照して反射強度の点群データのピクセル座標を決定しているが、逆の順序で路面オルソ画像データ３４及び路面反射強度画像データ４８のピクセル座標を決定しても良い。更には、別途決定したピクセル座標（と解像度）、同じピクセル座標を具備する路面オルソ画像データと路面反射強度画像データ４８を生成するようにしてもよい。

実施例１で得られた影除去路面オルソ画像データ５４の色データを、路面反射強度画像データ４８に付加することで、色つきの３次元点群データを生成することができる。この場合、影部分補正装置５２による影部分補正処理（Ｓ４５〜Ｓ４８）を、路面反射強度画像データ４８を対象として適用することになる。

更には、影除去路面オルソ画像データ５４の色データを、路面反射強度画像データ４８と同様に、メッシュ補間装置４２から出力される補間された点群データに付加することで、色情報つきの３次元点群データを生成することができる。

特定の説明用の実施例を参照して本発明を説明したが、特許請求の範囲に規定される本発明の技術的範囲を逸脱しないで、上述の実施例に種々の変更・修整を施しうることは、本発明の属する分野の技術者にとって自明であり、このような変更・修整も本発明の技術的範囲に含まれる。

１０：ビデオカメラ
１２：レーザスキャナ
１４：ＧＰＳ（Global Positioning System）受信機
１６：方位計
１８：ビデオ記録再生装置
２０：データ記録再生装置
３０：影除去装置
３２：オルソ画像生成装置
３４：路面オルソ画像データ
３６：座標変換装置
３８：座標ファイル
４０：メッシュ化装置
４２：メッシュ補間装置
４４：路面エリア抽出装置
４６：路面反射画像生成装置
４８：路面反射強度画像データ
５０：影部分認識装置
５２：影部分補正装置
５４：影除去路面オルソ画像データ

Claims (32)

1. 日射による影の付いた状態で路面を撮影する撮像装置（１０）と、
   当該撮像装置により得られる複数の画像データから路面オルソ画像データ（３４）を生成する路面オルソ画像生成手段（３２）と、
   同じ当該路面に対してレーザ光を走査し、反射点の反射強度を計測するレーザスキャナ（１２）と、
   当該レーザスキャナで得られる当該反射点の反射強度データから路面反射強度画像データ（４８）を当該路面オルソ画像データとの対比用の参照画像データとして規定の反射強度レンジで生成する参照画像生成手段（３６〜４６）と、
   当該参照画像データを参照して、当該路面オルソ画像データの影領域を認識する影部分認識手段（５０）と、
   当該影部分認識手段により認識される当該各影領域を当該路面オルソ画像データの、当該影領域の周辺部分の色情報で補正する影部分補正手段（５２）
   とを具備することを特徴とする路面画像生成システム。
2. 当該路面オルソ画像データ（３４）と当該路面反射強度画像データ（４８）が互いに同じピクセル座標を具備することを特徴とする請求項１に記載の路面画像生成システム。
3. 当該参照画像生成手段は、
   当該反射点の反射強度データから当該路面オルソ画像データと同じピクセル座標を持つメッシュデータを生成するメッシュデータ生成手段（３６，４０，４２）と、
   当該メッシュデータから路面エリアを抽出する路面エリア抽出手段（４４）と、
   当該路面エリア抽出手段で抽出された当該メッシュデータから当該路面反射強度画像データ（４８）を生成する路面反射強度画像生成手段（４６）
   とを具備することを特徴とする請求項１に記載の路面画像生成システム。
4. 当該影部分認識手段は、
   当該路面オルソ画像データと当該参照画像データとをピクセル単位で比較することで、影を構成する影ピクセルを特定する影特定手段（Ｓ４３）と、
   当該影特定手段により特定された影ピクセルをグループ化し、影領域とする影グループ化手段（Ｓ４４）
   とを具備することを特徴とする請求項１乃至３の何れか１項に記載の路面画像生成システム。
5. 当該影部分認識手段は更に、当該影特定手段による影特定の前に当該路面オルソ画像データの色バランスを調整する色バランス調整手段（Ｓ４１）を具備し、
   当該影特定手段は、当該色バランス調整手段で色調整された路面オルソ画像データと当該参照画像データとをピクセル単位で比較することで、影を構成する影ピクセルを特定する
   ことを特徴とする請求項４に記載の路面画像生成システム。
6. 当該影部分認識手段は、当該参照画像データに対する下限閾値（ｐ１）及び上限閾値（ｐ２）、並びに、当該路面オルソ画像データと当該参照画像データとの強度差に対する差閾値（ｐ３）を設定する閾値設定手段（Ｓ４２）を具備し、
   当該影特定手段は、当該参照画像データから当該下限閾値より大きく且つ当該上限閾値より小さい強度のピクセルを抽出し、抽出したピクセルのうち、その強度と当該路面オルソ画像データの色平均強度との差が当該差閾値（ｐ３）を越えるピクセルを当該影ピクセルと特定する
   ことを特徴とする請求項４又は５に記載の路面画像生成システム。
7. 当該影部分補正手段は、
   当該影部分認識手段により認識される当該各影領域の色強度を、当該路面オルソ画像データ上でのそれぞれの周囲の色情報に従って調整する色調整手段（Ｓ４５，Ｓ４６）と、
   当該色調整手段で調整された当該影領域とその周辺部分の色変化をスムージングするスムージング手段（Ｓ４７）と、
   当該影領域の色情報のディテールを再現する手段であって、当該影領域の注目ピクセルの色強度を、当該路面オルソ画像データ上での当該注目ピクセルの所定数の周囲ピクセルの平均強度に対する差値に応じた値で補正するディテール再現手段
   とを具備することを特徴とする請求項１乃至６の何れか１項に記載の路面画像生成ステム。
8. 更に、当該影部分補正手段（５２）で得られる補正された路面オルソ画像データの色データを当該路面反射強度画像データに付加し、もって３次元点群データを生成する手段を具備することを特徴とする請求項１乃至７の何れか１項に記載の路面画像生成システム。
9. 日射による影の付いた状態で路面を撮影した画像データから当該影を除去する影除去装置であって、
   当該路面を撮影した当該画像データから路面オルソ画像データ（３４）を生成する路面オルソ画像生成手段（３２）と、
   同じ当該路面に対してレーザスキャナでレーザ光を走査して計測される反射強度データから路面反射強度画像データ（４８）を当該路面オルソ画像データとの対比用の参照画像データとして規定の反射強度レンジで生成する参照画像生成手段（３６〜４６）と、
   当該参照画像データを参照して、当該路面オルソ画像データの影領域を認識する影部分認識手段（５０）と、
   当該影部分認識手段により認識される当該各影領域を当該路面オルソ画像データの、当該影領域の周辺部分の色情報で補正する影部分補正手段（５２）
   とを具備することを特徴とする影除去装置。
10. 当該路面オルソ画像データ（３４）と当該路面反射強度画像データ（４８）が互いに同じピクセル座標を具備することを特徴とする請求項９に記載の影除去装置。
11. 当該参照画像生成手段は、
    当該反射点の反射強度データから当該路面オルソ画像データと同じピクセル座標を持つメッシュデータを生成するメッシュデータ生成手段（３６，４０，４２）と、
    当該メッシュデータから路面エリアを抽出する路面エリア抽出手段（４４）と、
    当該路面エリア抽出手段で抽出された当該メッシュデータから当該路面反射強度画像データ（４８）を生成する路面反射強度画像生成手段（４６）
    とを具備することを特徴とする請求項９に記載の影除去装置。
12. 当該影部分認識手段は、
    当該路面オルソ画像データと当該参照画像データとをピクセル単位で比較することで、影を構成する影ピクセルを特定する影特定手段（Ｓ４３）と、
    当該影特定手段により特定された影ピクセルをグループ化し、影領域とする影グループ化手段（Ｓ４４）
    とを具備することを特徴とする請求項９乃至１１の何れか１項に記載の影除去装置。
13. 当該影部分認識手段は更に、当該影特定手段による影特定の前に当該路面オルソ画像データの色バランスを調整する色バランス調整手段（Ｓ４１）を具備し、
    当該影特定手段は、当該色バランス調整手段で色調整された路面オルソ画像データと当該参照画像データとをピクセル単位で比較することで、影を構成する影ピクセルを特定する
    ことを特徴とする請求項１２に記載の影除去装置。
14. 当該影部分認識手段は、当該参照画像データに対する下限閾値（ｐ１）及び上限閾値（ｐ２）、並びに、当該路面オルソ画像データと当該参照画像データとの強度差に対する差閾値（ｐ３）を設定する閾値設定手段（Ｓ４２）を具備し、
    当該影特定手段は、当該参照画像データから当該下限閾値より大きく且つ当該上限閾値より小さい強度のピクセルを抽出し、抽出したピクセルのうち、その強度と当該路面オルソ画像データの色平均強度との差が当該差閾値（ｐ３）を越えるピクセルを当該影ピクセルと特定する
    ことを特徴とする請求項１２又は１３に記載の影除去装置。
15. 当該影部分補正手段は、
    当該影部分認識手段により認識される当該各影領域の色強度を、当該オルソ画像データ上でのそれぞれの周囲の色情報に従って調整する色調整手段（Ｓ４５，Ｓ４６）と、
    当該色調整手段で調整された当該影領域とその周辺部分の色変化をスムージングするスムージング手段（Ｓ４７）と、
    当該影領域の色情報のディテールを再現する手段であって、当該影領域の注目ピクセルの色強度を、当該路面オルソ画像データ上での当該注目ピクセルの所定数の周囲ピクセルの平均強度に対する差値に応じた値で補正するディテール再現手段
    とを具備することを特徴とする請求項９乃至１４の何れか１項に記載の影除去装置。
16. 更に、当該影部分補正手段（５２）で得られる補正された路面オルソ画像データの色データを当該路面反射強度画像データに付加し、もって３次元点群データを生成する手段を具備することを特徴とする請求項９乃至１５の何れか１項に記載の影除去装置。
17. 日射による影の付いた状態で路面を撮影した画像データから当該影を除去する影除去方法であって、
    当該路面をビデオカメラで撮影した路面映像データを記録媒体から再生して情報処理装置に取り込むステップと、
    当該情報処理装置の路面オルソ画像生成手段（３２）が、当該路面映像データから路面オルソ画像データ（３４）を生成する路面オルソ画像データ生成ステップと、
    当該情報処理装置の参照画像生成手段（３６〜４６）が、同じ当該路面に対してレーザスキャナでレーザ光を走査して計測される反射強度データから路面反射強度画像データ（４８）を当該路面オルソ画像データとの対比用の参照画像データとして規定の反射強度レンジで生成する参照画像生成ステップと、
    当該情報処理装置の影部分認識手段（５０）が、当該参照画像データを参照して、当該路面オルソ画像データの影領域を認識する影部分認識ステップと、
    当該情報処理装置の影部分補正手段（５２）が、当該影部分認識手段により認識される当該各影領域を当該路面オルソ画像データの、当該影領域の周辺部分の色情報で補正する影部分補正ステップ
    とを具備することを特徴とする影除去方法。
18. 当該路面オルソ画像データ（３４）と当該路面反射強度画像データ（４８）が互いに同じピクセル座標を具備することを特徴とする請求項１７に記載の影除去方法。
19. 当該参照画像生成ステップは、
    当該情報処理装置のメッシュデータ生成手段（３６，４０，４２）が、当該反射点の反射強度データから当該路面オルソ画像データと同じピクセル座標を持つメッシュデータを生成するメッシュデータ生成ステップと、
    当該情報処理装置の路面エリア抽出手段（４４）が、当該メッシュデータから路面エリアを抽出する路面エリア抽出ステップと、
    当該情報処理装置の路面反射強度画像生成手段（４６）が、当該路面エリア抽出手段で抽出された当該メッシュデータから当該路面反射強度画像データ（４８）を生成する路面反射強度画像生成ステップ
    とを具備することを特徴とする請求項１７に記載の影除去方法。
20. 当該影部分認識ステップは、
    当該路面オルソ画像データと当該参照画像データとをピクセル単位で比較することで、影を構成する影ピクセルを特定する影特定ステップ（Ｓ４３）と、
    当該影特定手段により特定された影ピクセルをグループ化し、影領域とする影グループ化ステップ（Ｓ４４）
    とを具備することを特徴とする請求項１７乃至１９の何れか１項に記載の影除去方法。
21. 当該影部分認識ステップは更に、当該影特定ステップによる影特定の前に当該路面オルソ画像データの色バランスを調整する色バランス調整ステップ（Ｓ４１）を具備し、
    当該影特定ステップは、当該色バランス調整ステップで色調整された路面オルソ画像データと当該参照画像データとをピクセル単位で比較することで、影を構成する影ピクセルを特定する
    ことを特徴とする請求項２０に記載の影除去方法。
22. 当該影部分認識ステップは、当該参照画像データに対する下限閾値（ｐ１）及び上限閾値（ｐ２）、並びに、当該路面オルソ画像データと当該参照画像データとの強度差に対する差閾値（ｐ３）を設定する閾値設定ステップ（Ｓ４２）を具備し、
    当該影特定ステップは、当該参照画像データから当該下限閾値より大きく且つ当該上限閾値より小さい強度のピクセルを抽出し、抽出したピクセルのうち、その強度と当該路面オルソ画像データの色平均強度との差が当該差閾値（ｐ３）を越えるピクセルを当該影ピクセルと特定する
    ことを特徴とする請求項２０又は２１に記載の影除去方法。
23. 当該影部分補正ステップは、
    当該影部分認識手段により認識される当該各影領域の色強度を、当該オルソ画像データ上でのそれぞれの周囲の色情報に従って調整する色調整ステップ（Ｓ４５，Ｓ４６）と、
    当該色調整ステップで調整された当該影領域とその周辺部分の色変化をスムージングするスムージングステップ（Ｓ４７）と、
    当該影領域の色情報のディテールを再現するステップであって、当該影領域の注目ピクセルの色強度を、当該路面オルソ画像データ上での当該注目ピクセルの所定数の周囲ピクセルの平均強度に対する差値に応じた値で補正するディテール再現ステップ
    とを具備することを特徴とする請求項１７乃至２２の何れか１項に記載の影除去方法。
24. 更に、当該情報処理装置が、当該影部分補正手段（５２）で得られる補正された路面オルソ画像データの色データを当該路面反射強度画像データに付加し、もって３次元点群データを生成するステップを具備することを特徴とする請求項１７乃至２３の何れか１項に記載の影除去方法。
25. 日射による影の付いた状態で路面を撮影した画像データから当該影を除去するために、情報処理装置を、
    当該路面を撮影した当該画像データから路面オルソ画像データ（３４）を生成する路面オルソ画像生成手段（３２）と、
    同じ当該路面に対してレーザスキャナでレーザ光を走査して計測される反射強度データから路面反射強度画像データ（４８）を当該路面オルソ画像データとの対比用の参照画像データとして規定の反射強度レンジで生成する参照画像生成手段（３６〜４６）と、
    当該参照画像データを参照して、当該路面オルソ画像データの影領域を認識する影部分認識手段（５０）と、
    当該影部分認識手段により認識される当該各影領域を当該路面オルソ画像データの、当該影領域の周辺部分の色情報で補正する影部分補正手段（５２）
    として機能させるための影除去プログラム。
26. 当該路面オルソ画像データ（３４）と当該路面反射強度画像データ（４８）が互いに同じピクセル座標を具備することを特徴とする請求項２５に記載の影除去プログラム。
27. 当該参照画像生成手段は、
    当該反射点の反射強度データから当該路面オルソ画像データと同じピクセル座標を持つメッシュデータを生成するメッシュデータ生成手段（３６，４０，４２）と、
    当該メッシュデータから路面エリアを抽出する路面エリア抽出手段（４４）と、
    当該路面エリア抽出手段で抽出された当該メッシュデータから当該路面反射強度画像データ（４８）を生成する路面反射強度画像生成手段（４６）
    とを具備することを特徴とする請求項２５に記載の影除去プログラム。
28. 当該影部分認識手段は、
    当該路面オルソ画像データと当該参照画像データとをピクセル単位で比較することで、影を構成する影ピクセルを特定する影特定手段（Ｓ４３）と、
    当該影特定手段により特定された影ピクセルをグループ化し、影領域とする影グループ化手段（Ｓ４４）
    とを具備することを特徴とする請求項２５乃至２７の何れか１項に記載の影除去装プログラム。
29. 当該影部分認識手段は更に、当該影特定手段による影特定の前に当該路面オルソ画像データの色バランスを調整する色バランス調整手段（Ｓ４１）を具備し、
    当該影特定手段は、当該色バランス調整手段で色調整された路面オルソ画像データと当該参照画像データとをピクセル単位で比較することで、影を構成する影ピクセルを特定する
    ことを特徴とする請求項２８に記載の影除去プログラム。
30. 当該影部分認識手段は、当該参照画像データに対する下限閾値（ｐ１）及び上限閾値（ｐ２）、並びに、当該路面オルソ画像データと当該参照画像データとの強度差に対する差閾値（ｐ３）を設定する閾値設定手段（Ｓ４２）を具備し、
    当該影特定手段は、当該参照画像データから当該下限閾値より大きく且つ当該上限閾値より小さい強度のピクセルを抽出し、抽出したピクセルのうち、その強度と当該路面オルソ画像データの色平均強度との差が当該差閾値（ｐ３）を越えるピクセルを当該影ピクセルと特定する
    ことを特徴とする請求項２８又は２９に記載の影除去プログラム。
31. 当該影部分補正手段は、
    当該影部分認識手段により認識される当該各影領域の色強度を、当該オルソ画像データ上でのそれぞれの周囲の色情報に従って調整する色調整手段（Ｓ４５，Ｓ４６）と、
    当該色調整手段で調整された当該影領域とその周辺部分の色変化をスムージングするスムージング手段（Ｓ４７）と、
    当該影領域の色情報のディテールを再現する手段であって、当該影領域の注目ピクセルの色強度を、当該路面オルソ画像データ上での当該注目ピクセルの所定数の周囲ピクセルの平均強度に対する差値に応じた値で補正するディテール再現手段
    とを具備することを特徴とする請求項２５乃至３０の何れか１項に記載の影除去プログラム。
32. 更に、当該影部分補正手段（５２）で得られる補正された路面オルソ画像データの色データを当該路面反射強度画像データに付加し、もって３次元点群データを生成する手段を具備することを特徴とする請求項２５乃至３１の何れか１項に記載の影除去プログラム。

Images