JP2019164136A - 情報処理装置、撮像装置、移動体、画像処理システムおよび情報処理方法 - Google Patents

Abstract

【課題】簡易な構成で、走行面の検査における３つの指標のそれぞれ又は組み合わせを計測可能とする。【解決手段】実施形態に係る情報処理装置は、複数のステレオ撮像手段により移動体の走行面を撮像した奥行方向の距離情報を含む複数の撮像画像を取得する取得手段と、前記取得した前記複数の撮像画像を重複させて前記走行面の幅員方向に繋ぐ画像処理手段と、を備える。【選択図】図９

Description

本発明は、情報処理装置、撮像装置、移動体、画像処理システムおよび情報処理方法に関する。

舗装道路は、車両の通行や天候などの影響により損傷するため、道路（走行面）性状を定期的に検査する必要がある。この道路性状の検査には、従来から様々な方式が提案されている。道路性状の検査項目として、ひび割れの本数、わだち掘れの深さ、および、平坦性の３つの指標が定められている。これらの指標に対し、ひび割れについては、目視またはカメラ画像の解析、わだち掘れについては、カメラとラインスキャンレーザとを用いた光切断法による計測が知られている。また、平坦性については、プロファイルメータと呼ばれる、前後１．５ｍ、全体で３ｍの長さの器具を用いた計測が一般的に行われていた。

プロファイルメータは、移動などが手作業で行われるため、計測準備が煩雑であり、迅速な計測や移動が行いにくいという問題があった。特許文献１には、平坦性を計測するための装置を、進行方向に３ｍ以上の長さを持つ特殊車両内に構成可能とした技術が開示されている。特許文献１によれば、特殊車両の前部、中部、後部に、下方にレーザを照射する装置を設置して、３箇所同時に地面までの距離を計測することで、平坦性の計測を効率的に実行可能となる。

しかしながら、従来の道路性状の検査には、平坦性の計測、わだち掘れの計測、ひび割れの解析といった３つの指標に係る計測の対象に対して、それぞれ専用の装置が必要であった。そのため、特許文献１に記載の進行方向の長さが３ｍ以上の特殊車両や、光切断法のためのレーザ照射および計測装置、画像撮影のための照明といった装置がそれぞれ必要となり、非常に高価なシステムとなってしまうという問題点があった。

本発明は、上記に鑑みてなされたものであって、簡易な構成で、走行面の検査における３つの指標のそれぞれ又は組み合わせを計測可能とすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、複数のステレオ撮像手段により移動体の走行面を撮像した奥行方向の距離情報を含む複数の撮像画像を取得する取得手段と、前記取得した前記複数の撮像画像を重複させて前記走行面の幅員方向に繋ぐ画像処理手段と、を備える。

本発明によれば、簡易な構成で、走行面の検査における３つの指標のそれぞれ又は組み合わせを計測可能とするという効果を奏する。

図１は、ひび割れ判別のメッシュ画像の一例を示す図である。 図２は、わだち掘れ量の計測を説明するための図である。 図３は、平坦性の計測を説明するための図である。 図４は、第１の実施形態に係る画像処理システムの構成例を示す図である。 図５は、第１の実施形態に適用可能な、ステレオカメラによる、車両の進行方向の撮像範囲を説明するための図である。 図６は、第１の実施形態に適用可能な、ステレオカメラによる、車両の道路幅方向の撮像範囲を説明するための図である。 図７は、第１の実施形態に適用可能な、ステレオカメラによるステレオ撮像範囲の、車両の進行方向における重複を示す図である。 図８は、第１の実施形態に係る、３台のステレオカメラを備える画像処理システムの例を示す図である。 図９は、第１の実施形態に係る画像処理システムの概略的な構成の例を示すブロック図である。 図１０は、第１の実施形態に係る撮像装置の機能を説明するための一例の機能ブロック図である。 図１１は、第１の実施形態に係る画像処理システムのハードウェア構成の例を示すブロック図である。 図１２は、第１の実施形態に係るステレオカメラの一例の構成を示すブロック図である。 図１３は、第１の実施形態に適用可能な情報処理装置の一例の構成を示すブロック図である。 図１４は、第１の実施形態に適用可能な情報処理装置の機能を説明するための一例の機能ブロック図である。 図１５は、第１の実施形態に係る平坦性の算出処理を示す一例のフローチャートである。 図１６は、第１の実施形態に適用可能なデプスマップの生成処理を示す一例のフローチャートである。 図１７は、第１の実施形態に適用可能な三角法を説明するための図である。 図１８は、路面の画像の一例を示す図である。 図１９は、わだち掘れ量の値の計測例を示す図である。 図２０は、第１の実施形態に適用可能な、カメラ位置および向きの推定処理を示す一例のフローチャートである。 図２１は、第１の実施形態に適用可能な、カメラ位置および向きの推定処理を説明するための図である。 図２２は、第１の実施形態に係る画像処理システムの他の構成例を示す図である。 図２３は、第２の実施形態に係る画像処理システムのハードウェア構成の例を示すブロック図である。 図２４は、第２の実施形態に係るステレオカメラの一例の構成を示すブロック図である。 図２５は、第２の実施形態に適用可能な情報処理装置の一例の構成を示すブロック図である。 図２６は、画像処理部における情報処理の流れを示すフローチャートである。 図２７は、ステップＳ２の繋ぐ処理の流れを示すフローチャートである。

以下に添付図面を参照して、情報処理装置、撮像装置、移動体、画像処理システムおよび情報処理方法の実施形態を詳細に説明する。

［既存の道路性状の検査方法の概略］
実施形態の説明に先んじて、既存の道路性状の検査方法について、概略的に説明する。道路（走行面）性状を評価するための指標として、舗装の維持管理指数（ＭＣＩ：Maintenance Control Index）が定められている。ＭＣＩは、舗装の供用性を、「ひび割れ率」、「わだち掘れ量」および「平坦性」という３種類の路面性状値によって定量的に評価するものである。なお、道路（走行面）を検査することから、道路（走行面）を検査面や検査の対象面などとも定義する。本明細書では、道路を舗装面とも定義し、舗装面とは例えば乗用車が走行する舗装道路面を意味する。

図１は、ひび割れ判別のメッシュ画像の一例を示す図である。図１に示す例は、横断歩道付近の路面（走行面）４の撮像画像を５０ｃｍのメッシュに分割した例である。図１に示すように、横断歩道付近の路面には、ひび割れ等が生じている。

３種類の路面性状値のうち、「ひび割れ率」は、路面を５０ｃｍのメッシュに分割した各領域において、ひび割れの本数およびパッチング面積に応じて、下記の通り、ひび割れ面積を算出し、算出結果を式（１）に適用して、ひび割れ率を求める。パッチングとは、路面に発生したポットホール（甌穴、かめ穴とも呼ばれる、路面表層がはがれたり陥没してできる凹み）やひび割れ部分を、アスファルト混合物などの補修材で穴埋めしたり、上積みしたりして路面を部分的に修繕した箇所や工法を言う。

「ひび割れ率」は、行政機関などによって定められた検査基準に基づいて以下のように計算することができる。
ひび割れ１本⇒０.１５ｍ²のひび
ひび割れ２本⇒０.２５ｍ²のひび
パッチング面積０〜２５％⇒ひび割れ０ｍ²
パッチング面積２５〜７５％⇒ひび割れ０.１２５ｍ²
パッチング面積７５％以上⇒ひび割れ０.２５ｍ²

「わだち掘れ量」は、図２（ａ）および図２（ｂ）に例示されるように、１車線について２本発生する「わだち」の深さＤ１およびＤ２を計測し、計測された深さＤ１およびＤ２のうち大きい値を採用する。「わだち」の掘れ方には、幾つかのパターンがあるので、それぞれのパターンに合わせた計測方法が規定される。図２（ａ）は、２本の「わだち」の間が、２本の「わだち」の両端より高い場合、図２（ｂ）は、２本の「わだち」の間が、２本の「わだち」の両端より低い場合の計測方法の例を示している。

「平坦性」は、路面の車両の進行方向に沿って、基準面からの高さを１．５ｍ間隔で３箇所、計測する。例えば、図３に示されるように、車両の下面に１．５ｍ間隔でＡ、Ｂ、Ｃの３箇所、計測器ｄ１〜ｄ３を設け、高さＸ１、Ｘ２およびＸ３を計測する。計測された高さＸ１、Ｘ２およびＸ３に基づき式（２）により変位量ｄを求める。この計測を、車両を移動させながら複数回実行する。これにより得られた複数の変位量ｄに基づき式（３）を計算し、平坦性σを算出する。

上述した「ひび割れ率」、「わだち掘れ量」および「平坦性」の計測を、１００ｍの評価区間毎に実行する。損傷箇所が予め分かっている場合は、１００ｍを４０ｍ＋６０ｍなどより小さい単位に分割して計測を行う場合もある。１００ｍ単位で実行された計測結果に基づきＭＣＩを算出し、調書を作成する。

ＭＣＩは、計測したひび割れ率Ｃ［％］、わだち掘れ量Ｄ［ｍｍ］、および、平坦性σ［ｍｍ」に基づき、表１に示される４つの式を計算して値ＭＣＩ、ＭＣＩ１、ＭＣＩ２およびＭＣＩ３を算出する。そして、算出された値ＭＣＩ、ＭＣＩ１、ＭＣＩ２およびＭＣＩ３のうち、最小値をＭＣＩとして採用する。採用されたＭＣＩに基づき表２に示す評価基準に従い評価を行い、評価区間の路面に修繕が必要か否かを判定する。

［第１の実施形態］
次に、第１の実施形態に係る画像処理システムについて説明する。第１の実施形態では、ステレオ撮像が可能なカメラ（ステレオカメラ）を車両に取り付けて路面を撮像する。撮像されたステレオ撮像画像に基づき撮像位置から路面に対する奥行き情報（奥行き距離）を取得して路面の３次元形状を生成し、３次元路面データを作成する。この３次元路面データを解析することで、ＭＣＩを求めるために用いる「ひび割れ率」、「わだち掘れ量」および「平坦性」を取得することができる。ステレオカメラを撮像部や測定装置とも呼ぶ。

より具体的に説明する。ステレオカメラは、所定の長さ（基線長と呼ぶ）を離して設けられた２つのカメラを備え、この２つのカメラで撮像された２枚ペアの撮像画像（ステレオ撮像画像と呼ぶ）を出力する。このステレオ撮像画像に含まれる２枚の撮像画像間で対応する点を探索することで、撮像画像中の任意の点について、奥行き距離を復元することができる。撮像画像の全域について奥行き距離を復元し、各画素を奥行き距離により表したデータを、デプスマップと呼ぶ。すなわち、デプスマップは、それぞれ３次元の情報を持つ点の集合からなる３次元点群情報である。

なお、奥行き距離とはステレオカメラから道路面（走行面）までの高さ（距離）を指す。より具体的には、ステレオカメラの撮像面（撮像素子面）から道路面までの高さ（距離）である。なお、ステレオカメラの撮像面ではなく、どこから道路面までを奥行き距離とするかは、計算により適宜変更可能である。

また、奥行方向を図４に例示している。奥行方向とは一般的には走行面に対して鉛直方向（水平面に対して垂直の方向）だが、必ずしも鉛直である必要はない。走行面を撮像したステレオ撮像画像の奥行方向、つまり、ステレオカメラの光軸と沿う方向とも定義できる。また、奥行方向とは、少なくともわだち掘れ量を測定できる方向を含む。具体的には、図２に示されるわだち掘れ深さＤ１およびＤ２の方向が測定できる方向を含む。そして、奥行方向の距離情報とは、ステレオカメラの光軸と沿い、少なくともわだち掘れ量を測定できる方向で、ステレオカメラから道路（走行面）までの高さ（距離）情報を指す。

このステレオカメラを車両の後方など１箇所に下向きに取り付け地面を撮像できるようにし、計測したい道路に沿って車両を移動させる。説明のため、計測のために車両に搭載するステレオカメラは、撮像範囲が、道路幅方向の規定の長さをカバーしているとする。

わだち掘れ量Ｄは、このステレオカメラにより撮像されたステレオ撮像画像から復元されたデプスマップ中の道路幅方向にストライプ状に切り取った部分の奥行き距離を並べる。この奥行き距離の道路幅方向の変化に基づき、わだち掘れ深さＤ１およびＤ２を計算することができる。

ひび割れ率Ｃは、路面を撮像した撮像画像を解析して「ひび」などを検出し、検出結果に基づき上述した式（１）による計算を行うことで取得する。

ここで、車両の進行方向では、１回の撮像による撮像範囲が限定されるため、例えば１００ｍ区間のひび割れ率Ｃを１回の撮像による撮像画像に基づき計算することができない。そこで、車両を道路に従い移動させながら、撮像範囲の車両の進行方向の長さに応じた移動毎に順次、撮像を行う。このとき、前回の撮像における撮像範囲と、今回の撮像における撮像範囲とが、予め設計された重複率以上で重複するように、撮像のトリガ（撮像トリガ）を制御する。

このように、車両の移動に応じて撮像のトリガを制御することで、計測したい道路の路面を漏れなく撮像できる。そのため、車両の進行に応じて順次撮像された撮像画像をスティッチングと呼ばれる画像処理などを用いて繋ぎ合わせて、例えば１００ｍ区間の路面の画像を含む１枚の画像を生成する。この画像を目視で確認する、あるいは解析することで、道路面上のひびの有無を判定して、道路面上のひび割れ率Ｃを計測できる。

平坦性の計測は、Structure from Motion（以下、ＳｆＭ）と呼ばれる、異なる撮像地点の画像から十分に重複して撮像された画像に基づき、その撮像位置を推定する技術を使う。

ＳｆＭの処理の概要について説明する。まず、撮像範囲を重複して撮像された画像を用い、それぞれの画像中で同一地点を撮像した点を対応点として検出する。対応点は、可能な限り多数を検出することが望ましい。次に、例えば１枚目の画像の撮像地点から、２枚目の画像の撮像地点へのカメラの移動を、検出した対応点の座標を用いた連立方程式を立て、最もトータルの誤差が小さくなるようなパラメータを求める。このようにして、２枚目の画像の撮像位置を算出できる。

上述したように、それぞれの撮像地点におけるステレオ撮像画像から、画像中の任意の点の奥行き距離がデプスマップとして復元できている。デプスマップとは、ステレオ撮像画像における、ステレオカメラの撮影位置と撮影対象間の奥行き距離を距離画像で表す深度マップである。１枚目のステレオ撮像画像に対応するデプスマップに対して、２枚目のステレオ撮像画像に対応するデプスマップを、上述の連立方程式により求めた２枚目のカメラの撮像位置を原点としたデプスマップに座標変換する。これにより、２枚のデプスマップを、１枚目のデプスマップの座標系に統一することができる。換言すれば、２枚のデプスマップを合成して１枚のデプスマップを生成できる。

この処理を、例えば１００ｍ区間において撮像した全てのステレオ撮像画像に基づくデプスマップについて行い合成することで、１つの３次元空間中に、１００ｍ区間の道路面が復元される。このようにして復元された道路面の奥行き距離を上述の式（２）に適用することで、変位量ｄを算出できる。この変位量ｄを上述の式（３）に適用して、平坦性σを算出する。なお、奥行き距離は、計測器により計測された、計測器から道路面（走行面）までの高さＸである。

第１の実施形態では、車両に搭載したステレオカメラによる撮像と、撮像されたステレオ撮像画像に対する画像処理を行うことによって、ＭＣＩを求めるための、道路面の平坦性σ、わだち掘れ量Ｄ、および、ひび割れ率Ｃを、纏めて計測することができる。第１の実施形態では、この計測を、ステレオカメラとステレオ撮像画像に対する画像処理を行う情報処理装置とを備える画像処理システムを用いて実施可能であり、ＭＣＩを簡易な構成により求めることが可能となる。

また、既存技術では、ＭＣＩを求めるための３つの指標に係る計測を、それぞれ別個の装置にて実行するため、データの保存や、データ同士の時刻同期などの制御と管理が煩雑になっていた。これに対して、第１の実施形態では、ＭＣＩを求めるための３つの指標を共通のステレオ撮像画像に基づき算出するため、データの保存や、データ同士の時刻同期などの制御や管理が容易となる。

［第１の実施形態に適用可能なカメラ配置］
次に、第１の実施形態に適用可能なカメラ配置の例について説明する。図４は、第１の実施形態に係る画像処理システムの構成例を示す図である。図４（ａ）は、第１の実施形態に係る画像処理システムが車両１に搭載される様子を車両１の側面から示した図である。図４（ａ）において、図の左端に向けた方向が、車両１の進行方向とする。すなわち、図４（ａ）において、車両１の左端側が車両１の前部であり、右端側が車両１の後部である。図４（ｂ）は、当該車両１を後部側から見た例を示す図である。

第１の実施形態に係る画像処理システムは、少なくとも複数のステレオ撮像手段としてのステレオカメラ６と、情報処理装置としてのパーソナルコンピュータ（ＰＣ）５とを備える。さらに画像処理システムは、移動体としての車両１を備えても良い。車両１（移動体、移動可能な機械）は、ステレオカメラ６と、車体である筐体１ａと、筐体１ａに対してステレオカメラ６が道路（走行面）を撮像できるように固定可能な固定部２と、筐体１ａを道路（走行面）に沿って移動可能とするエンジンやタイヤ等で構成される移動部１ｂを備える。画像処理システムは、さらに、車両１の車体後部（筐体１ａ）に固定部２を備える取付部材３を備える。取付部材３は、固定部２に１以上のステレオカメラ６を取り付ける。ここでは、図４（ｂ）に例示されるように、車両１の車体の幅方向の両端側に、複数のステレオ撮像手段として機能する２台のステレオカメラ６Ｌおよび６Ｒが取り付けられるものとする。各ステレオカメラ６Ｌおよび６Ｒは、車両１が移動する路面４を撮像する向きに取り付けられる。好ましくは、各ステレオカメラ６Ｌおよび６Ｒは、路面４を垂直方向から撮像するように取り付けられる。

以降、ステレオカメラ６Ｌおよび６Ｒを区別する必要の無い場合には、ステレオカメラ６Ｌおよび６Ｒをステレオカメラ６として纏めて記述する。

ステレオカメラ６は、例えば車両１の内部に設置された、例えばＰＣ５により制御される。作業者はＰＣ５を操作し、ステレオカメラ６による撮像開始を指示する。撮像開始が指示されると、ＰＣ５は、ステレオカメラ６による撮像を開始する。撮像は、ステレオカメラ６すなわち車両１の移動速度に応じてタイミング制御され、繰り返し実行される。

作業者は、例えば必要な区間の撮像の終了に応じてＰＣ５を操作し撮像終了を指示する。ＰＣ５は、撮像終了の指示に応じて、ステレオカメラ６による撮像を終了させる。

図５および図６は、第１の実施形態に適用可能な、ステレオカメラ６の撮像範囲の例を示す図である。なお、図５および図６において、上述した図４と共通する部分には同一の符号を付して、詳細な説明を省略する。

図５は、第１の実施形態に適用可能な、ステレオカメラ６による、車両１の進行方向の撮像範囲（進行方向視野Ｖｐとする）を説明するための図である。なお、図５は、上述の図２と同様に、図の左端に向けた方向を、車両１の進行方向としている。進行方向視野Ｖｐは、図５に示されるように、ステレオカメラ６の画角αと、ステレオカメラ６の路面４に対する高さｈとに従い決定される。

図６は、第１の実施形態に適用可能な、ステレオカメラ６による、車両１の道路幅方向の撮像範囲を説明するための図である。図６は、車両１を後部側から見た図であり、図４（ｂ）と共通する部分には同一の符号を付して、詳細な説明を省略する。

図６（ａ）において、ステレオカメラ６Ｌは、２つの撮像レンズ６ＬＬおよび６ＬＲを備える。撮像レンズ６ＬＬおよび６ＬＲを結ぶ線を基線、その長さを基線長と呼び、ステレオカメラ６Ｌは、基線が車両１の進行方向に対して垂直になるように配置される。ステレオカメラ６Ｒも同様に、基線長だけ離れた２つの撮像レンズ６ＲＬおよび６ＲＲを備え、基線が車両１の進行方向に対して垂直になるように配置される。

図６（ｂ）は、第１の実施形態に適用可能な、ステレオカメラ６Ｌおよび６Ｒの撮像範囲の例を示す。ステレオカメラ６Ｌにおいて、撮像レンズ６ＬＬおよび６ＬＲそれぞれの撮像範囲６０ＬＬおよび６０ＬＲは、基線長および高さｈに応じてずれて重ねられる。ステレオカメラ６Ｒについても同様に、撮像レンズ６ＲＬおよび６ＲＲそれぞれによる、撮像範囲６０ＲＬおよび６０ＲＲは、基線長および高さｈに応じてずれて重ねられる。

以下、特に記載の無い限り、これら撮像範囲６０ＬＬおよび６０ＬＲ、ならびに、撮像範囲６０ＲＬおよび６０ＲＲを、それぞれ纏めてステレオ撮像範囲６０Ｌおよび６０Ｒと呼ぶ。ステレオカメラ６Ｌおよび６Ｒは、図６（ｂ）に示されるように、ステレオ撮像範囲６０Ｌおよび６０Ｒが、ステレオ撮像範囲６０Ｌの車両１の幅方向の一端と、ステレオ撮像範囲６０Ｒの当該幅方向の他端とが、領域６１において所定の重複率で重複するように、配置される。

なお、幅方向の定義として車両１の幅方向のみならず、道路（走行面）の幅方向、道路（走行面）の幅員方向、または、車両１の進行方向に直交する方向などが含まれる。なお、幅方向の定義において、真っ直ぐ延びている直線道路か進行方向左右にカーブする道路かは問わない。本明細書においては、道路の幅方向や道路の幅員方向とは、例えば道路の両側の２つの対向する歩道間の幅や、道路の両側の２つの対向する白線間の幅（車線幅）として定義することができる。

図７は、第１の実施形態に適用可能な、ステレオカメラ６Ｌによるステレオ撮像範囲６０Ｌの、車両１の進行方向における重複を示す図である。なお、図７において、左カメラ視野ＶＬおよび右カメラ視野ＶＲは、それぞれステレオカメラ６Ｌにおける撮像レンズ６ＬＬおよび６ＬＲの視野（撮像範囲）を示している。移動中の車両１において、ステレオカメラ６Ｌにより２回の撮像を行ったものとする。ステレオカメラ６Ｌは、１回目は、ステレオ撮像範囲６０Ｌ（撮像範囲６０ＬＬおよび６０ＬＲ）の撮像を行い、２回目は、ステレオ撮像範囲６０Ｌに対して、車両１の進行方向に、車両１の移動距離に応じた距離だけ移動したステレオ撮像範囲６０Ｌｎ（撮像範囲６０ＬＬｎおよび６０ＬＲｎ）の撮像を行う。

車両１が進行方向に移動している間にステレオカメラ６Ｌが２回撮像動作を行っているときには、ステレオカメラ６Ｌの撮像タイミングは、ステレオ撮像範囲６０Ｌとステレオ撮像範囲６０Ｌｎとが進行方向視野Ｖｐ内で進行方向重複範囲Ｄｒだけ重なるように制御される。進行方向重複範囲は、予め設定されていてもよい。本明細書において、進行方向重複範囲Ｄｒは、進行方向における複数の画像の重複範囲であり、１つの撮像画像のサイズ（すなわち、視野Ｖｐのサイズ）に対する重複範囲のサイズの割合を意味し、この割合を進行方向重複率と呼ぶ。表現を簡単にするために、以下では視野Ｖｐの大きさを単位長とし、進行方向の重複範囲が進行方向の重複率と等しくなるようにし、この重複率を「Ｄｒ」で表し、後述する数式（４）で使用する。この構成によれば、ステレオ撮像範囲６０Ｌ、６０Ｌｎの画像を時間軸に沿って順次撮像することにより、２つのステレオ画像をステレオ撮像範囲６０Ｌ、６０Ｌｎの画像を撮像することにより得ることができ、２つのステレオ画像は簡単につなぎ合すことができる。したがって、車両１が進行方向に沿って路面４上を走行または移動しながらステレオカメラを用いて時間軸に沿って画像を順次撮像することにより、道路検査に用いる複数のステレオ撮像画像を取得することができる。

なお、上述では、第１の実施形態に係る画像処理システムが２台のステレオカメラ６Ｌおよび６Ｒを用いるものとして説明したが、これはこの例に限定されない。例えば、第１の実施形態に係る画像処理システムは、図８（ａ）に示されるように、ステレオカメラ６Ｌおよび６Ｒに対してさらに１台のステレオカメラ６Ｃを加え、３台のステレオカメラ６Ｌ、６Ｒおよび６Ｃを用いて構成してもよい。さらに、４台、５台など、４台以上のステレオカメラを用いて構成する事も可能である。

図８（ａ）の例では、ステレオカメラ６Ｌおよび６Ｒの間隔が、ステレオカメラ６Ｌおよび６Ｒのみを用いる場合に比べて広げられ、その中央部にステレオカメラ６Ｃが配置されている。図８（ｂ）に示されるように、ステレオカメラ６Ｃの撮像レンズ６ＣＬおよび６ＣＲによる撮像範囲６０ＣＬおよび６０ＣＲにより、ステレオ撮像範囲６０Ｃが構成される。ステレオカメラ６Ｌ、６Ｃおよび６Ｒは、それぞれによる各ステレオ撮像範囲６０Ｌ、６０Ｃおよび６０Ｒが車両１の幅方向に所定の重複率で以て重複するように配置される。

このように、１車線を撮像するために、３台のステレオカメラ６Ｌ、６Ｃおよび６Ｒを用いることで、車線の右側、中央および左側にそれぞれ撮像範囲を設定して撮像が可能となり、高画質（高解像）なステレオ撮像画像を、少ない台数のステレオカメラで撮像可能となる。ここで、特に道路幅は、一般的には、３．５ｍと規定されている。そこで、この道路幅の３．５ｍに対応して、ステレオカメラ６Ｌおよび６Ｒにより車線の道路幅方向の両端を撮像し、ステレオカメラ６Ｃにより中央部を撮像することが考えられる。重なり範囲６０Ｌ、６０Ｃ、６０Ｒは、少なくとも車線幅に亘っており、走行面の１車線分の幅員方向の全てが撮像されている。４台以上のステレオカメラを用いた場合も、それぞれ撮像範囲を設定することで撮像が可能である。

ひび割れ率や平坦性は、移動体進行方向（道路の延長方向）にステレオ撮像画像を繋ぎ合わせる必要があるが、わだち掘れ量の測定には必ずしも必要はない。つまり、わだち掘れ量の測定は移動体の幅方向（道路の幅員方向）が計測対象であるため、移動体進行方向にステレオ撮像画像を繋ぐ必要はなく、道路の幅員方向に複数のステレオカメラのステレオ撮像画像を繋ぎ合わせることが必要となる。

例えば、わだちは道路１００ｍ区間で５箇所測定することが取り決めとしてある。この場合、任意の（マンホールなどの異物等が存在しない）５箇所でステレオ撮像を行い、各ステレオ撮像画像を幅方向に繋ぎ、１つのデプスマップを作成することで、わだちの深さＤ１およびＤ２を取得することができる。取得したＤ１、Ｄ２とデプスマップの断面情報に基づき、わだち掘れ量Ｄを測定できる。わだち掘れ量のみ測定する場合、移動体進行方向にステレオ撮像画像を繋ぐ処理、また、進行方向のデプスマップを作成する処理が必要無いため、データ容量を小さくする（節約する）ことができ、また、画像処理時間の短縮化が図られる。

なお、撮像範囲がこの規定される道路幅（３．５ｍ）をカバー可能な画角を有するステレオカメラを１台のみ用いて、画像処理システムを構成してもよい。

［第１の実施形態に係る画像処理システムの構成］
次に、第１の実施形態に係る画像処理システムの構成について説明する。以下では、画像処理システムが２台のステレオカメラを備えるものとして説明を行う。

図９は、第１の実施形態に係る画像処理システムの概略的な構成の例を示すブロック図である。図９において、画像処理システム１０は、撮像部１００−１および１００−２と、撮像制御部１０１−１および１０１−２と、速度取得装置１０２と、生成部１０３と、を含む。

撮像部１００−１および１００−２は、それぞれ上述したステレオカメラ６Ｌおよび６Ｒに対応する。撮像制御部１０１−１および１０１−２は、それぞれ撮像部１００−１および１００−２の撮像タイミング、露光、シャッタ速度などの撮像動作を制御する。速度取得装置１０２は、撮像部１００−１および１００−２の、被写体（路面４）に対する速度を取得する。生成部１０３は、速度取得装置１０２により取得された速度と、進行方向視野Ｖｐとに基づき、撮像部１００−１および１００−２による撮像を指定するためのトリガ（撮像トリガ）を生成する。生成部１０３は、生成したトリガを、撮像制御部１０１−１および１０１−２に送る。撮像制御部１０１−１および１０１−２は、生成部１０３から送られたトリガに応じて、撮像部１００−１および１００−２に対して撮像動作を実行させる。

また、少なくとも撮像部１００−１、撮像部１００−２（つまりステレオカメラ６Ｌ、６Ｒ）、撮像制御部１０１、後述する画像処理手段、を有する装置を撮像装置１０Ａと称する。図１０は、撮像装置１０Ａの機能を説明するための一例の機能ブロック図である。図１０において、撮像装置１０Ａは、少なくとも２以上の撮像部１００−１、１００−２と、各撮像部の撮像動作を制御する撮像制御部１０１と、画像処理部（画像処理手段）１１１と、出力部１０４と、記録部１０７と、操作部１０８と、無線通信部１１０と、を含む。なお、画像処理部（画像処理手段）１１１は、マッチング処理部１０５（後述するマッチング処理部５１０に対応）と、３Ｄ情報生成部１０６（後述する３Ｄ情報生成部５１１に対応）と、を含む。画像処理部（画像処理手段）１１１についての詳細は後述する。

記録部１０７は、各撮像部が撮像した画像および、後述する繋ぐ処理を施した画像を記録する。出力部１０４は、記録した画像を出力する。具体的には、ＳＤカードやＣＦカードなどの外部記録手段に画像を書き込んだり、各種通信ケーブルを介して外部機器（例えばＰＣ、サーバ等）へ出力したりする。また、出力部１０４は、無線通信部１１０を介して、無線を利用して外部へ画像を出力する事も可能である。

なお、撮像制御部１０１は図９に示したように撮像制御部１０１−１および１０１−２で構成し、撮像部１００−１および１００−２に対してそれぞれ撮像動作を実行させても良い。

また、撮像部１００−１および１００−２は２台に限られず、３台、４台、５台、またはそれ以上で構成されても良い。この場合、それぞれの撮像部に対応する撮像制御部１０１を備えるよう構成しても良い。

図１１は、第１の実施形態に係る画像処理システム１０のハードウェア構成の例を示すブロック図である。図１１において、画像処理システム１０は、ステレオカメラ６Ｌおよび６Ｒと、図４のＰＣ５に対応する情報処理装置５０と、を含む。情報処理装置５０は、所定のタイミングでトリガを生成し、生成したトリガをステレオカメラ６Ｌおよび６Ｒに送る。ステレオカメラ６Ｌおよび６Ｒは、このトリガに応じて撮像を行う。ステレオカメラ６Ｌおよび６Ｒにより撮像された各ステレオ撮像画像は、情報処理装置５０に供給される。情報処理装置５０は、ステレオカメラ６Ｌおよび６Ｒから供給された各ステレオ撮像画像をストレージなどに記憶、蓄積する。情報処理装置５０は、蓄積したステレオ撮像画像に基づき、デプスマップの生成、生成したデプスマップの繋ぎ合わせ、などの画像処理を実行する。

図１２は、第１の実施形態に係るステレオカメラ６Ｌの一例の構成を示すブロック図である。なお、ステレオカメラ６Ｒは、このステレオカメラ６Ｌと同様の構成にて実現可能であるので、ここでの説明を省略する。

図１２において、ステレオカメラ６Ｌは、撮像光学系６００Ｌおよび６００Ｒと、撮像素子６０１Ｌおよび６０１Ｒと、駆動部６０２Ｌおよび６０２Ｒと、信号処理部６０３Ｌおよび６０３Ｒと、出力部６０４と、を含む。これらのうち、撮像光学系６００Ｌ、撮像素子６０１Ｌ、駆動部６０２Ｌ、および、信号処理部６０３Ｌは、上述した撮像レンズ６ＬＬに対応する構成である。同様に、撮像光学系６００Ｒ、撮像素子６０１Ｒ、駆動部６０２Ｒ、および、信号処理部６０３Ｒは、上述した撮像レンズ６ＬＲに対応する構成である。

撮像光学系６００Ｌは、画角α、焦点距離ｆを有する光学系であって、被写体からの光を撮像素子６０１Ｌに投射する。撮像素子６０１Ｌは、例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor)を用いた光センサであって、投射された光に応じた信号を出力する。なお、撮像素子６０１Ｌに、ＣＣＤ(Charge Coupled Device)による光センサを適用してもよい。駆動部６０２Ｌは、撮像素子６０１Ｌを駆動し、撮像素子６０１Ｌから出力された信号に対してノイズ除去、ゲイン調整などの所定の処理を施して出力する。信号処理部６０３Ｌは、駆動部６０２Ｌから出力された信号に対してＡ／Ｄ変換を施して、当該信号をディジタル方式の画像信号（撮像画像）に変換する。信号処理部６０３Ｌは、変換した画像信号に対してガンマ補正など所定の画像処理を施して出力する。信号処理部６０３Ｌから出力された撮像画像は、出力部６０４に供給される。

撮像光学系６００Ｒ、撮像素子６０１Ｒ、駆動部６０２Ｒ、および、信号処理部６０３６０３Ｒの動作は、上述の撮像光学系６００Ｌ、撮像素子６０１Ｌ、駆動部６０２Ｌ、および、信号処理部６０３Ｌと同様なので、ここでの説明を省略する。

駆動部６０２Ｌおよび６０２Ｒは、例えば情報処理装置５０から出力されたトリガが供給される。駆動部６０２Ｌおよび６０２Ｒは、このトリガに従い、撮像素子６０１Ｌおよび６０１Ｒから信号を取り込み、撮像を行う。

ここで、駆動部６０２Ｌおよび６０２Ｒは、撮像素子６０１Ｌおよび６０１Ｒにおける露光を、一括同時露光方式により行う。

ところで、本実施形態においては、車両１が走行しながらの撮像となるため、撮像した被写体（路面）が歪んで写る場合がある。この問題は、撮像素子の画素の１ライン〜複数ライン毎に順次読み出していくライン露光順次読み出し方式（いわゆる、ローリングシャッタ方式）でより顕著に現れる。これは、画素位置の上から順番(ライン順)に光を取り込んでいく読み出し方式であるため、フレーム中の各ラインは、厳密に同じ時刻の被写体を写したものではないからである。ローリングシャッタ方式の場合、１フレームの撮像信号を取り込んでいる間にカメラもしくは被写体が高速に動いてしまうと、被写体の像がライン位置に応じてずれて撮像されてしまう。このような撮像画像からは、正確な距離情報を得ることが困難となる。

そこで、本実施形態のステレオカメラ６Ｌ，６Ｒの撮像素子６０１Ｌ，６０１Ｒは、全画素を同一のタイミングで読み出す同時露光一括読み出し方式（いわゆる、グローバルシャッタ方式）を採用している。これにより、車両１が走行しながらの撮像であっても、道路面が歪むことなく投影幾何的に正しい道路面形状が撮像でき、正確な距離情報を得ることができる。

出力部６０４は、信号処理部６０３Ｌおよび６０３Ｒから供給された各フレームの撮像画像を、１組のステレオ撮像画像として出力する。出力部６０４から出力されたステレオ撮像画像は、情報処理装置５０に送られ、蓄積される。

図１３は、第１の実施形態に適用可能な情報処理装置５０の一例の構成を示すブロック図である。図１３において、情報処理装置５０は、それぞれバス５０３０に接続されたＣＰＵ(Central Processing Unit)５０００と、ＲＯＭ(Read Only Memory)５００１と、ＲＡＭ(Random Access Memory)５００２と、グラフィクスＩ／Ｆ（インタフェース）５００３と、ストレージ５００４と、入力デバイス５００５と、データＩ／Ｆ５００６と、通信Ｉ／Ｆ５００７と、を備える。さらに、情報処理装置５０は、それぞれバス５０３０に接続されたカメラＩ／Ｆ５０１０ａと、速度取得装置５０２１と、を備える。

ストレージ５００４は、データを不揮発に記憶する記憶媒体であって、ハードディスクドライブやフラッシュメモリを適用できる。ストレージ５００４は、ＣＰＵ５０００が動作するためのプログラムやデータが記憶される。

ＣＰＵ５０００は、例えば、ＲＯＭ５００１やストレージ５００４に予め記憶されたプログラムに従い、ＲＡＭ５００２をワークメモリとして用い、この情報処理装置５０の全体の動作を制御する。グラフィクスＩ／Ｆ５００３は、ＣＰＵ５０００によりプログラムに従い生成された表示制御信号に基づき、ディスプレイ５０２０が対応可能な表示信号を生成する。ディスプレイ５０２０は、グラフィクスＩ／Ｆ５００３から供給された表示信号に応じた画面を表示する。

入力デバイス５００５は、ユーザ操作を受け付け、受け付けたユーザ操作に応じた制御信号を出力する。入力デバイス５００５としては、マウスやタブレットといったポインティングデバイスや、キーボードを適用できる。また、入力デバイス５００５とディスプレイ５０２０とを一体的に形成し、所謂タッチパネル構成としてもよい。

データＩ／Ｆ５００６は、外部の機器との間でデータの送受信を行う。データＩ／Ｆ５００６としては、例えばＵＳＢ(Universal Serial Bus)を適用可能である。通信Ｉ／Ｆ５００７は、ＣＰＵ５０００の指示に従い、外部のネットワークに対する通信を制御する。

カメラＩ／Ｆ５０１０ａは、各ステレオカメラ６Ｌおよび６Ｒに対するインタフェースである。各ステレオカメラ６Ｌおよび６Ｒから出力された各ステレオ撮像画像は、カメラＩ／Ｆ５０１０ａを介して、例えばＣＰＵ５０００に渡される。また、カメラＩ／Ｆ５０１０ａは、ＣＰＵ５０００の指示に従い上述したトリガを生成し、生成したトリガを各ステレオカメラ６Ｌおよび６Ｒに送る。

速度取得装置５０２１は、車両１の速度を示す速度情報を取得する。車両１に各ステレオカメラ６Ｌおよび６Ｒが取り付けられている場合、速度取得装置５０２１が取得する速度情報は、各ステレオカメラ６Ｌおよび６Ｒの、被写体（路面）に対する速度を示す。速度取得装置５０２１は、例えば、ＧＮＳＳ(Global Navigation Satellite System)の信号を受信する機能を有し、受信したＧＮＳＳによる信号のドップラー効果に基づき車両１の速度を示す速度情報を取得する。これに限らず、速度取得装置５０２１は、車両１から直接的に速度情報を取得することもできる。

図１４は、第１の実施形態に適用可能な情報処理装置５０の機能を説明するための一例の機能ブロック図である。図１４において、情報処理装置５０は、撮像画像取得部５００と、ＵＩ部５０１と、制御部５０２と、撮像制御部５０３と、画像処理部（画像処理手段）５２３と、を含む。情報処理装置５０は、さらに、３Ｄ情報取得部５２０と、状態特性値算出部５２１と、調書作成部５２２と、を含む。なお、画像処理部（画像処理手段）５２３は、マッチング処理部５１０と、３Ｄ情報生成部５１１と、を含む。

これら撮像画像取得部５００、ＵＩ部５０１、制御部５０２、撮像制御部５０３、マッチング処理部５１０、３Ｄ情報生成部５１１、３Ｄ情報取得部５２０、状態特性値算出部５２１および調書作成部５２２は、ＣＰＵ５０００上で動作するプログラムにより実現される。これに限らず、これら撮像画像取得部５００、ＵＩ部５０１、制御部５０２、撮像制御部５０３、マッチング処理部５１０、３Ｄ情報生成部５１１、３Ｄ情報取得部５２０、状態特性値算出部５２１および調書作成部５２２の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。

撮像画像取得部５００は、取得手段として機能するものであって、各ステレオカメラ６Ｌおよび６Ｒから、ステレオ撮像画像を取得する。撮像画像取得部５００は、取得したステレオ撮像画像を、例えばストレージ５００４に記憶する。また、撮像画像取得部５００は、例えばストレージ５００４から、記憶されたステレオ撮像画像を取得する。

ＵＩ部５０１は、入力デバイス５００５やディスプレイ５０２０に対する表示によるユーザインタフェースを実現する。制御部５０２は、この情報処理装置５０全体の動作を制御する。

撮像制御部５０３は、制御手段として機能するものであって、上述した撮像制御部１０１−１および１０１−２、速度取得装置１０２および生成部１０３に対応する。すなわち、撮像制御部５０３は、各ステレオカメラ６Ｌおよび６Ｒの被写体（路面４）に対する速度を示す速度情報を取得し、取得した速度情報と、予め設定される各ステレオカメラ６Ｌおよび６Ｒの画角α、高さｈと、に基づき、各ステレオカメラ６Ｌおよび６Ｒの撮像を指示するためのトリガを生成する。

マッチング処理部５１０は、画像処理手段として機能するものであって、撮像画像取得部５００により取得されたステレオ撮像画像を構成する２枚の撮像画像を用いてマッチング処理を行う。３Ｄ情報生成部５１１は、画像処理手段として機能するものであって、３次元情報に係る処理を行う。例えば、３Ｄ情報生成部５１１は、マッチング処理部５１０によるマッチング処理の結果を用いて三角法などにより深度情報を求め、求めた深度情報に基づき３次元点群情報を生成する。

ここで画像処理部（画像処理手段）１１１について一例を説明する。画像処理手段は、撮像画像取得部５００により取得した撮像画像を、撮像したステレオカメラ毎にステレオマッチングにより各画素に対応する奥行き距離を画像のように並べたデプスマップを生成する。ＰＣ５が画像処理手段を有している場合、複数のステレオ撮像画像を取得してＰＣ５にてデプスマップを生成する。その際、ステレオ撮像画像にどのステレオカメラで撮像されたかの情報を記録することで撮像した画像の位置関係が把握でき、後述する、隣接するステレオカメラと重複する撮像領域を導き出すことができる。また、ステレオカメラ６が画像処理手段を有している場合、ステレオカメラ６でデプスマップを生成し、生成したデプスマップをＰＣ５が取得するようにしても良い。さらに、ステレオカメラ６およびＰＣ５の双方が画像処理手段を有する場合、どちらの画像処理手段でデプスマップを生成するかは適宜選択可能である。

マッチング処理部５１０は、複数のデプスマップを、隣接するステレオカメラと重複する撮像領域に相当する画像の奥行き距離が対応するように、ステレオカメラの相対的な位置を求める（つまり、重複する撮像領域同士の繋ぐ位置が決まる）。

具体的な画像処理手段の説明は以下の通りである。

マッチング処理部５１０により複数のデプスマップの位置合わせが行われる。位置合わせは、複数のデプスマップにおいて重複する撮像領域に相当する箇所の相対的な位置が合うか合わないかを判断する。このとき、画素の輝度も対応するように相対的な位置を求めると位置合わせの精度が向上する。デプスマップを用いたマッチング手法としては、ＩＣＰ（Iterative Closest Point）を利用できる。また、輝度画像を用いたマッチング手法としてはＳｆＭを利用できる。

そして、マッチング処理部５１０は、複数のデプスマップにおいて相対的な位置が合う場所で繋ぐ位置を決定する。さらに、マッチング処理部５１０は、繋ぐ位置が決定された複数のデプスマップ（画像）を一つのデプスマップ（画像）となるように合成する合成処理を行う（繋ぐ処理とも言う）。

３Ｄ情報生成部５１１は、一つに合成されたデプスマップ（画像）について３次元点群情報を生成する。

なお、上述の説明は「隣接するステレオカメラと重複する撮像領域の画像」で説明したが、「車両の進行方向に重複する撮像領域の画像」のマッチング処理も同様である。

わだち掘れ量を測定する場合は、道路（走行面）の幅員方向の距離情報が必要でるため「隣接するステレオカメラと重複する撮像領域の画像」のマッチング処理を行う。一方、平坦性を測定する場合は、道路の車両進行方向の距離情報が必要であるため「車両の進行方向に重複する撮像領域の画像」のマッチング処理を行う。

なお、一例として複数のデプスマップ同士を合成（繋ぐ処理）したが、輝度画像同士のみを同様に合成（繋ぐ処理）しても良い。なお輝度画像は、例えばステレオカメラの片方のカメラのみ（ステレオカメラ６Ｌで言えば６ＬＬもしくは６ＬＲのみ）で撮像することで得られる。この場合、少なくとも車両進行方向に重複する撮像領域の画像を取得することは可能である。

３Ｄ情報取得部５２０は、計測手段として機能するものであって、３Ｄ情報生成部５１１によりステレオ撮像画像毎に求めた３次元点群情報を取得する。状態特性値算出部５２１は、計測手段として機能するものであって、３Ｄ情報取得部５２０により取得された各３次元点群情報と、撮像画像取得部５００により取得された各ステレオ撮像画像とを用いて、ＭＣＩを求めるための、ひび割れ率Ｃ、わだち掘れ量Ｄおよび平坦性σの各状態特性値を算出する。調書作成部５２２は、状態特性値算出部５２１により算出された各状態特性値に基づきＭＣＩを求め、調書を作成する。

情報処理装置５０における第１の実施形態に係る各機能を実現するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ(Compact Disk)、フレキシブルディスク（ＦＤ）、ＤＶＤ(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、当該プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供してもよい。また、当該プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。

当該プログラムは、撮像画像取得部５００、ＵＩ部５０１、制御部５０２、撮像制御部５０３、マッチング処理部５１０、３Ｄ情報生成部５１１、３Ｄ情報取得部５２０、状態特性値算出部５２１および調書作成部５２２を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ５０００がストレージ５００４などの記憶媒体から当該プログラムを読み出して実行することにより、上述した各部がＲＡＭ５００２などの主記憶装置上にロードされ、撮像画像取得部５００、ＵＩ部５０１、制御部５０２、撮像制御部５０３、マッチング処理部５１０、３Ｄ情報生成部５１１、３Ｄ情報取得部５２０、状態特性値算出部５２１および調書作成部５２２が主記憶装置上に生成されるようになっている。

［第１の実施形態に係るトリガ生成方法］
次に、第１の実施形態に係る、各ステレオカメラ６Ｌおよび６Ｒに対して撮像を指示するためのトリガの生成方法について、より詳細に説明する。第１の実施形態において、生成部１０３は、ステレオカメラ６Ｌおよび６Ｒの被計測物（路面４）に対するステレオ撮像範囲のうちの車両１の進行方向の距離を、車両１が速度情報に従って移動する時間に対して、当該時間より短い時間間隔で撮影トリガを生成する。

すなわち、トリガは、ステレオカメラ６Ｌおよび６Ｒにおける路面４の撮影範囲が、車両１の進行方向に所定の重複率（進行方向重複率Ｄｒ）を保つように発生させる必要がある。これは、後述するように、各ステレオ撮像画像から撮像位置を算出する処理において、安定的に精度の高いカメラ位置を算出するため、十分な対応点を検出できるようにすることが目的である。進行方向重複率Ｄｒの下限値は、例えば実験的に「６０％」のように決定される。この場合、進行方向重複率Ｄｒが６０%以上（Ｄｒ≧６０%）となるようにステレオ撮像を行う。

第１の実施形態において、トリガの生成方法は、下記の３通りの方法を適用できる。
（１）一定時間間隔で生成する方法（第１の生成方法）
（２）カメラの移動速度を検出して生成する方法（第２の生成方法）
（３）撮像画像を用いて移動距離を算出して生成する方法（第３の生成方法）

（第１の生成方法）
先ず、トリガの第１の生成方法について説明する。第１の生成方法においては、撮像中の車両１の最高速度Ｓｐｅｅｄと、撮像範囲の大きさ（撮像範囲の車両１の進行方向の長さ）と、からトリガの時間間隔を決める。速度取得装置５０２１は、車両１におけるシステム設定値や、情報処理装置５０に対するユーザ入力により、車両１の最高速度Ｓｐｅｅｄを予め取得しておく。撮像制御部５０３は、速度取得装置５０２１から最高速度Ｓｐｅｅｄを取得し、トリガの時間間隔を、取得した最高速度Ｓｐｅｅｄと、進行方向視野Ｖｐおよび進行方向重複率Ｄｒと、を用いて、下記の式（４）により算出する。なお、進行方向重複率Ｄｒは、上述した下限値が適用される。

式（４）により、１秒間に生成すべきトリガ数ｆｐｓが算出される。トリガ数ｆｐｓの逆数が、生成すべき次のトリガまでの時間間隔となる。

進行方向視野Ｖｐは、模式的には、図５を用いて説明したように、各ステレオカメラ６Ｌおよび６Ｒの路面４からの高さｈと、各ステレオカメラ６Ｌおよび６Ｒの画角αと、に基づき設定できる。実際は、さらに、各ステレオカメラ６Ｌおよび６Ｒの路面４に対する角度なども考慮して、進行方向視野Ｖｐを設定する。

ここで、移動中の車両１が右もしくは左にカーブした際には、ステレオカメラ６Ｌおよび６Ｒのうち外側にあるカメラの移動量が大きくなる。そのため、車両１の最高速度Ｓｐｅｅｄをそのまま使うのではなく、外側カメラの位置に基づく回転移動の速度を使うと、より好ましい。

撮像制御部５０３は、生成したトリガに応じて撮像されたステレオ撮像画像を、全て例えばストレージ５００４やＲＡＭ５００２に記憶し、蓄積する。

（第２の生成方法）
次に、トリガの第２の生成方法について説明する。上述した第１の方法は、シンプルである一方、車両１が停止している状態や、所定の速度よりも低速で移動している状態では、最高速度Ｓｐｅｅｄに対して過剰に細かい間隔で撮像することになり、蓄積されるステレオ撮像画像の量が大きくなってしまう。第２の生成方法では、撮像制御部５０３は、カメラの移動速度を検出し、検出された移動速度に応じてトリガを生成する。

撮像制御部５０３は、速度取得装置５０２１により取得された速度情報が示す現在の車両１の速度を、式（４）の最高速度Ｓｐｅｅｄとして用いて、次のトリガまでの時間間隔を算出し、撮像を行う。第２の生成方法によれば、車両１の移動速度が小さい（遅い）ほど、トリガ生成の時間間隔が長くなり、無駄な撮像が行われることが抑制される。

撮像制御部５０３は、生成したトリガに応じて撮像されたステレオ撮像画像を、全て例えばストレージ５００４やＲＡＭ５００２に記憶し、蓄積する。

なお、この第２の生成方法と、上述した第１の生成方法は、組み合わせて実施することが可能である。

（第３の生成方法）
次に、トリガの第３の生成方法について説明する。第３の生成方法では、上述した第１の生成方法と同様に、車両１の最高速度Ｓｐｅｅｄに基づいた一定時間間隔でトリガを生成する。ここで、第３の生成方法においては、トリガに応じて撮像されたステレオ撮像画像を、全て蓄積するのではなく、進行方向重複率Ｄｒが予め設定された値を下回った場合にのみ蓄積する。

後述するが、車両１の進行方向に重複するように撮像されたステレオ撮像画像のみを用いて、カメラ（車両１）の移動距離を算出することが可能である。

撮像制御部５０３は、最後に蓄積されたステレオ撮像画像と、直前（１回前）の撮像トリガに応じて撮像されたステレオ撮像画像とを用いてカメラの移動距離を算出する。撮像制御部５０３は、算出されたカメラの移動距離が、進行方向重複率Ｄｒの下限値に対応した移動距離（移動距離閾値）を超えたか否かを判定する。撮像制御部５０３は、算出されたカメラの移動距離が、移動距離閾値を超えたと判定した場合には、直前に撮像されたステレオ撮像画像を蓄積する。一方、撮像制御部５０３は、算出されたカメラの移動距離が、移動距離閾値を超えていないと判定した場合は、直前に撮像したステレオ撮像画像を破棄する。換言すると、最後に撮像されたステレオ撮像画像と直前に撮像されたステレオ撮像画像との画像重複率が閾値以下の場合、移動距離閾値を超えていないことであり、この場合は直前に（１回前の）撮像したステレオ撮像画像を破棄する。

これにより、車両１の現在速度を計測するためのセンサを用いずとも、移動速度が小さい（遅い）ときには無駄な画像蓄積が行われないことになる。また、移動速度がゼロ（移動していない）のときにも無駄な画像蓄積が行われないことになる。

［第１の実施形態に係る路面性状値の算出方法］
次に、第１の実施形態に係る路面性状値の算出方法について説明する。以下では、第１の実施形態に係る平坦性σ、わだち掘れ量Ｄおよびひび割れ率Ｃの計測方法について説明する。

（平坦性）
図１５は、第１の実施形態に係る平坦性の算出処理を示す一例のフローチャートである。ステップＳ１００で、撮像画像取得部５００により、ステレオカメラ６Ｌおよび６Ｒにより撮像され、例えばストレージ５００４に記憶されたステレオ撮像画像が取得される。ステレオ撮像画像が取得されると、処理は、並列して処理が可能なステップＳ１０１ａおよびステップＳ１０１ｂに移行する。

ステップＳ１０１ａでは、画像処理部５２３が、ステップＳ１００で取得されたステレオ撮像画像に基づきデプスマップを生成する。図１６および図１７を用いて、第１の実施形態に適用可能なデプスマップの生成処理について説明する。図１６は、第１の実施形態に適用可能なデプスマップの生成処理を示す一例のフローチャートである。

ステップＳ１２０で、マッチング処理部５１０は、撮像画像取得部５００からステレオ撮像画像を取得する。次のステップＳ１２１で、マッチング処理部５１０は、取得したステレオ撮像画像を構成する２枚の撮像画像に基づきマッチング処理を行う。次のステップＳ１２２で、３Ｄ情報生成部５１１は、ステップＳ１２１のマッチング処理結果に基づき深度情報を計算し、３次元点群情報であるデプスマップを生成する。

ステップＳ１２１およびステップＳ１２２の処理について、より具体的に説明する。第１の実施形態では、ステレオ撮像画像を構成する２枚の撮像画像を用いて、ステレオ法により深度情報を計算する。ここでいうステレオ法は、２つのカメラにより異なる視点から撮像された２枚の撮像画像を用い、一方の撮像画像のある画素（参照画素）に対して、他方の撮像画像内における対応する画素（対応画素）を求め、参照画素と対応画素とに基づき三角法により深度（奥行き距離）を算出する方法である。

ステップＳ１２１で、マッチング処理部５１０は、撮像画像取得部５００から取得した、ステレオ撮像画像を構成する２枚の撮像画像を用い、基準となる一方の撮像画像における参照画素を中心とする所定サイズの領域に対応する、探索対象となる他方の撮像画像内の領域を、当該他方の撮像画像内で移動させて、探索を行う。

対応画素の探索は、様々な方法が知られており、例えば、ブロックマッチング法やＳＧＭ（Semi−Global−Matching）伝播方式を適用することができる。

ブロックマッチング法は、一方の撮像画像において参照画素を中心としてＭ画素×Ｎ画素のブロックとして切り出される領域の画素値を取得する。また、他方の撮像画像において、対象画素を中心としてＭ画素×Ｎ画素のブロックとして切り出される領域の画素値を取得する。画素値に基づき、参照画素を含む領域と、対象画素を含む領域との類似度を計算する。探索対象の画像内でＭ画素×Ｎ画素のブロックを移動させながら類似度を比較し、最も類似度が高くなる位置のブロックにおける対象画素を、参照画素に対応する対応画素とする。

次に、ＳＧＭ伝播方式について説明する。マッチング処理部５１０は、ＳＧＭ伝播方式と称されるアルゴリズムを用いて、伝播コストＬｒを算出し、当該伝播コストＬｒ（例えば、伝播コストＬ１）を用いて注目している画素ｐのエネルギーコストＳ（ｐ，ｄ）を算出するエネルギ計算処理を行う。ＳＧＭ伝播方式はデンスアルゴリズムの一形態である。各画素のエネルギーコストＳ（ｐ、ｄ）は、以下の式（５）、式（６）を用いて算出することができる。

式（５）において、ｐは画素１１００の座標を、ｄは視差を表している。「Ｐ１」および「Ｐ２」は、ペナルティ値として知られるＳＧＭアルゴリズムにより多く使用されるパラメータであり、伝搬方向ごとに異なるように設定されたＰ１およびＰ２の値は、ＳＧＭ伝搬方法において効果的に使用することができる。

各画素について算出された各方向からの伝播コストに基づいて、各画素のエネルギーコストＳ（ｐ，ｄ）が下式（６）により算出される。

類似度は、様々な計算方法により算出できる。例えば、式（７）に示される、正規化相互相関（ＮＣＣ：Normalized Cross-Correlation）は、コスト関数の１つであって、コストを示す数値Ｃ_NCCの値が大きいほど、類似度が高いことを示す。式（７）において、値ＭおよびＮは、探索を行うための画素ブロックのサイズを表す。また、値Ｉ(ｉ，ｊ)は、基準となる一方の撮像画像における画素ブロック内の画素の画素値を表し、値Ｔ(ｉ，ｊ)は、探索対象となる他方の撮像画像における画素ブロック内の画素値を表す。

マッチング処理部５１０は、上述したように、一方の撮像画像における、Ｍ画素×Ｎ画素の画素ブロックに対応する、他方の撮像画像における画素ブロックを、他方の撮像画像内で例えば画素単位で移動させながら式（７）の計算を実行し、数値Ｃ_NCCを算出する。他方の撮像画像において、数値Ｃ_NCCが最大となる画素ブロックの中心画素を、参照画素に対応する対象画素とする。

また、類似度（相関値）の計算方法としては、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squared Difference）、ＺＮＣＣ（Zero-mean Normalized Cross-Correlation）などが挙げられる。

ＳＡＤは、下記式（８）に示すように、輝度値の差の絶対値を計算して、その和を算出する方法である。ＳＡＤによれば、ブロックが類似するほど値が小さくなる。

ＳＳＤは、下記式（９）に示すように、輝度値の差の二乗を計算して、その和を算出する方法である。ＳＳＤによれば、ブロックが類似するほど値が小さくなる。

ＺＮＣＣは、下記式（１０）に示すように、平均値を減算した後に、正規化相互相関を計算する方法である。

図１６の説明に戻り、ステップＳ１２２で、３Ｄ情報生成部５１１は、ステップＳ１２１のマッチング処理により求められた、参照画素および対応画素に基づき、三角法を用いて奥行き距離（深度情報）を算出し、ステレオ撮像画像を構成する一方の撮像画像および他方の撮像画像に係る３次元点群情報を生成する。

図１７は、第１の実施形態に適用可能な三角法を説明するための図である。図中のターゲット物体４０３（例えば路面４上の１点）までの距離Ｓを、各撮像素子４０２（撮像素子６０１Ｌおよび６０１Ｒに対応）に撮像された画像内の撮像位置情報から算出することが処理の目的である。すなわち、この距離Ｓが、対象となる画素の深度情報に対応する。距離Ｓは、下記の式（１１）により計算される。

なお、式（１１）において、値ｂａｓｅｌｉｎｅは、カメラ４００ａおよび４００ｂ間の基線の長さ（基線長）を表す。これは、図６の例では、撮像レンズ６ＬＬおよび６ＬＲ（ステレオカメラ６Ｌの場合）による基線長に対応する。値ｆは、レンズ４０１（撮像レンズ６ＬＬおよび６ＬＲに対応）の焦点距離を表す。値ｑは、視差を表す。視差ｑは、参照画素と対応画素の座標値の差分に、撮像素子の画素ピッチを乗じた値である。対応画素の座標値は、ステップＳ１２１のマッチング処理の結果に基づき得られる。

この式（１１）が、２つのカメラ４００ａおよび４００ｂ、すなわち、撮像レンズ６ＬＬおよび６ＬＲを利用した場合の距離Ｓの算出方法となる。これは２つのカメラ４００ａおよび４００ｂ、すなわち、撮像レンズ６ＬＬおよび６ＬＲによりそれぞれ撮像された撮像画像から距離Ｓを算出するものである。第１の実施形態では、この式（１１）による算出方法を、ステレオカメラ６Ｌの撮像レンズ６ＬＬおよび６ＬＲ、ならびに、ステレオカメラ６Ｒの撮像レンズ６ＲＬおよび６ＲＲにより撮像された各撮像画像に適用して、画素毎に距離Ｓを算出する。

図１５の説明に戻り、ステップＳ１０１ｂで、３Ｄ情報生成部５１１は、カメラ位置および向きを推定する。ここで、カメラ位置は、例えばステレオカメラ６Ｌを一体と捉えた場合のその中心座標を示す。ステップＳ１０１ｂの処理の詳細については、後述する。

ステップＳ１０１ａおよびステップＳ１０１ｂの処理が終了すると、処理がステップＳ１０２に移行される。ステップＳ１０２で、３Ｄ情報生成部５１１は、時系列上で隣接する２つのデプスマップについて、ステップＳ１０１ｂで推定したカメラ位置および向きに基づき、前時刻のデプスマップの座標系に合うように、当該前時刻の次の次時刻のデプスマップの座標変換を行う。

なお、前時刻および次時刻は、ステレオカメラ６Ｌおよび６Ｒにおいてトリガに応じて時系列上で連続的に実行された１回目の撮像と、２回目の撮像とにおいて、１回目の撮像が行われた時刻を前時刻、２回目の撮像が行われた時刻を次時刻としている。すなわち、前時刻のデプスマップは、１回目の撮像によるステレオ撮像画像に基づき生成されたデプスマップであり、次時刻のデプスマップは、２回目の撮像によるステレオ撮像画像に基づき生成されたデプスマップである。

次のステップＳ１０３で、３Ｄ情報生成部５１１は、ステップＳ１０２で座標変換された次時刻のデプスマップを、前時刻のデプスマップに統合する。すなわち、ステップＳ１０２の座標変換により、前時刻および次時刻の２つのデプスマップが共通の座標系に並ぶため、これら２つのデプスマップを統合することができる。この、ステップＳ１０２およびステップＳ１０３の処理を、全ての時刻で撮像されたステレオ撮像画像に対して実施する。

なお、図６や図８に示すように、ステレオカメラ６Ｌおよび６Ｒ、あるいは、ステレオカメラ６Ｌ、６Ｃおよび６Ｒを道路幅方向に複数台並べて用いる場合、道路幅方向に並んだステレオカメラ同士（例えばステレオカメラ６Ｌおよび６Ｒ）においても、同様にしてカメラ位置および向きを推定し、その後、デプスマップ統合を行う。

また、上述した第３の生成方法における、カメラ（車両１）の移動距離は、ステップＳ１０２の座標変換、および、ステップＳ１０３のデプスマップ統合処理において、算出が可能である。

次のステップＳ１０４で、３Ｄ情報取得部５２０は、３Ｄ情報生成部５１１から、ステップＳ１０３で統合されたデプスマップを取得する。そして、状態特性値算出部５２１は、３Ｄ情報取得部５２０に取得されたデプスマップに基づき、平坦性σを算出する。すなわち、デプスマップが統合されると、計測した区間の道路について路面形状が、１つの３次元空間中の点群として復元される。点群が復元されると、路面上の各サンプリング地点について、規定に従い前後１．５ｍ地点の座標を結んだ座標系を取り、中心部分の３次元点群までの距離を算出することで、式（２）と同様に変位量ｄを算出でき、式（３）に従い、この変位量ｄから平坦性σを算出できる。

（わだち掘れ量）
わだち掘れ量Ｄについては、ステップＳ１０４で、状態特性値算出部５２１は、３Ｄ情報取得部５２０に取得されたデプスマップを道路幅方向にスキャンすることで、図２（ａ）および図２（ｂ）に示されるような深さＤ１およびＤ２を取得することができる。これら取得した深さＤ１およびＤ２と、デプスマップをスキャンした断面の情報に基づき、わだち掘れ量Ｄを求めることができる。

わだち掘れ量Ｄの計測について、より詳細に説明する。

Ｎ台（例えば、２〜３台）のステレオカメラ６は、同期して撮像する。より詳細には、Ｎ台（例えば、２〜３台）のステレオカメラ６は、同期して撮像するために、撮像トリガ（信号）の伝送遅延のばらつきを抑えている。

撮像画像取得部５００は、撮像された複数のステレオ画像を取得する。

画像処理部５２３は、ステレオカメラ毎に、ステレオマッチングにより各画素に対応する奥行き距離を画像のように並べたデプスマップを生成する。

マッチング処理部５１０は、複数のデプスマップを、隣接するステレオカメラとの重複撮像領域の画像の奥行き距離が対応するように、ステレオカメラの相対的な位置を求める（つまり、繋ぐ位置が決まる。）。このとき、奥行き距離だけでなく、画素の輝度も対応するようにすると更に良い。マッチング処理部５１０は、繋ぐ位置が決定された複数のデプスマップ（画像）を一つのデプスマップ（画像）となるように合成する合成処理を行う。

次いで、３Ｄ情報生成部５１１は、合成した一つのデプスマップ（画像）から、一つの統合された点群データ（距離情報）を生成する。

次に、状態特性値算出部５２１は、点群データ（距離情報）を、道路面鉛直上方に投影し、距離情報を有する路面画像を生成する。ここで、図１８は路面４の画像の一例を示す図である。図１８に示すように、状態特性値算出部５２１は、ある一定の幅（例えば、１ｃｍなど）の中の点群データの奥行き距離Ｚの平均値を断面とする。その際、状態特性値算出部５２１は、白線や路端（草、土、側溝など）である路面（走行面）４の端部、マンホールや路面に標された道路標識などの路面（走行面）４内の異物を検出し、不正値とならないよう、奥行き距離（つまりは、わだち掘れ量）の計測からは除外する。

図１９は、わだち掘れ量の値の計測例を示す図である。図１９（ａ）はわだち掘れ量の値を示し、図１９（ｂ）は路面画像を示すものである。図１９（ａ）に示すように、わだち掘れ量の値は、検査されるべき断面積に対する推定表面形状（すなわち図１９（ａ）における“base”）を決定し、推定表面形状から最も凸状の点（すなわち、図１９（ａ）の“value”）まで（推定表面形状に対して直角である）延長された線分の長さの最大値を計算することによって、計算される。図２（ａ）および図２（ｂ）に示されるように、わだちの深さは、推定表面形状（すなわち、図２（ａ）の１つのレーンを横切って延びるライン）から測定された深さ値を示すプロファイル（すなわち、図２（ｂ）の太線）まで（推定表面形状に対して直角である）線を引くことによって測定できる。したがって、図１９（ａ）において、最も凸状の点まで伸びる線も、実際には推定表面形状に対して直角になっているが、図１８Aの縦軸と横軸のスケール比を変更しているため、図１９（ａ）では、実際には図１９（ａ）の推定表面形状に対して、延長線がわずかに傾いているように見える。しかしながら、上述したように、図１９（ａ）において推定面形状から延びる線は、実際には、推定面形状に対して直角をなす線である。

（ひび割れ率）
状態特性値算出部５２１は、例えば、ステップＳ１０３において統合されたデプスマップに対し、ステップＳ１００で取得されたステレオ撮像画像を適用する。すなわち、状態特性値算出部５２１は、車両１の進行方向に、進行方向重複率Ｄｒで以て重複して撮像された各ステレオ撮像画像を統合する。状態特性値算出部５２１は、統合した画像に対して規定に従い５０ｃｍのメッシュを設定し、画像解析により各メッシュ内のひび、パッチングなどの情報を取得し、取得した情報に基づき規定に従いひび割れ率Ｃを算出する。

（カメラ位置および向きの推定処理）
次に、上述した図１５のフローチャートにおけるステップＳ１０１ｂの、カメラ位置および向きの推定処理について、より詳細に説明する。図２０は、第１の実施形態に適用可能な、カメラ位置および向きの推定処理を示す一例のフローチャートである。第１の実施形態では、カメラ位置および向きを、上述したＳｆＭを用いて推定する。

ステップＳ１３０で、３Ｄ情報生成部５１１は、撮像画像取得部５００からステレオ撮像画像を取得する。ここで、３Ｄ情報生成部５１１は、時系列上で連続的に撮像された２枚のステレオ撮像画像（前時刻のステレオ撮像画像、次時刻のステレオ撮像画像、とする）を取得する。次に、ステップＳ１３１で、３Ｄ情報生成部５１１は、取得した各ステレオ撮像画像から特徴点を抽出する。この特徴点抽出処理は、各ステレオ撮像画像の対応点として検出しやすい点を見つける処理であって、典型的には、画像中の変化があり、かつ変化が一様でないコーナーと呼ばれる点を検出する。

次のステップＳ１３２で、３Ｄ情報生成部５１１は、前時刻のステレオ撮像画像内で特徴点として抽出された点と同じ場所を撮像した点を、次時刻のステレオ撮像画像内から検出する。この検出処理は、オプティカルフローと呼ばれる手法や、ＳＩＦＴ(Scale-Invariant Feature Transform)、ＳＵＲＦ(Speed-Upped Robust Feature)などに代表される特徴点マッチングと呼ばれる手法を適用することができる。

次のステップＳ１３３で、３Ｄ情報生成部５１１は、カメラの初期位置および向きを推定する。３Ｄ情報生成部５１１は、ステップＳ１３２において各ステレオ撮像画像で検出された対応点の座標を固定値とし、次時刻のステレオ撮像画像を撮像したカメラの位置および向きをパラメータとして連立方程式を解くことで、カメラの位置を推定し、３次元座標を算出する（ステップＳ１３４）。

図２１を参照しながら、カメラの初期位置および向きの推定方法について説明する。式（１２）は、空間の点Ｘ_jを、カメラ（視点）Ｐ_iに投影した座標ｘ_ijの関係を表している。なお、式（１２）において、値ｎが３次元空間における点の数、値ｍは、カメラ（撮像画像）の数をそれぞれ表す。

各値Ｐは、それぞれのカメラについて、３次元空間の点の座標をその画像の２次元座標に変換する投影行列であって、次式（１３）で表される。式（１３）は、右辺に示す３次元座標の２行２列の変換行列と、３次元座標から２次元座標への射影変換ｆ_iから成る。

図２１において、カメラに映った座標ｘ_ijのみが与えられた連立方程式を用いて、値Ｘ_jと値Ｐ_iとを算出する。この連立方程式の解法には、線形最小二乗法を用いることができる。

次のステップＳ１３５で、３Ｄ情報生成部５１１は、ステップＳ１３４で算出されたカメラ位置を示す３次元座標を最適化する。連立方程式を解いて算出されたカメラの位置および向きは、十分な精度を有していない場合がある。そのため、算出された値を初期値として最適化処理を行うことで、精度を向上させる。

画像上探索により取得された対応点座標と、ステップＳ１３４で算出された３次元座標および式（１３）の投影行列をパラメータとして上述した式（１２）により算出される２次元座標ｘ_ij（再投影座標と呼ばれる）と、の差は、残差と呼ばれる。カメラの位置および向きを算出するために用いた全てのステレオ撮像画像中の、全ての対応点について、この残差の総和が最小になるように、パラメータを最適化演算によって調整する。これを、バンドル調整と呼ぶ。バンドル調整による全体最適化を行うことで、カメラの位置および向きの精度を向上させることができる。

以上が、通常のＳｆＭにおけるカメラ位置および向き推定のベース処理である。第１の実施形態では、基線長が既知のステレオカメラ６Ｌおよび６Ｒを使用しているため、車両１の移動に応じて撮像範囲を重複させて撮像されたステレオ撮像画像における対応点の検出に加えて、ステレオ撮像画像を構成する２枚の撮像画像における対応点の探索が容易である。したがって、空間での３次元座標Ｘ_jが実スケール（現実の大きさ）で確定し、移動後のカメラの位置および向きも安定的に算出できる。

なお、上述したように、第１の実施形態に係る画像処理システム１０では、情報処理装置５０においてトリガを生成し、生成したトリガを各ステレオカメラ６Ｌおよび６Ｒに全てのカメラに分配することで、各ステレオカメラ６Ｌおよび６Ｒが同期して撮像を行う構成となっている。このとき、各ステレオカメラ６Ｌおよび６Ｒが有するクロック生成器や、情報処理装置５０においてトリガを分配するためのトリガ分配部品、情報処理装置５０や各ステレオカメラ６Ｌおよび６Ｒにおけるトリガ配線長の差異などの影響により、実際に各ステレオカメラ６Ｌおよび６Ｒがトリガを取り込んで撮像を実行するタイミングに僅かなズレが発生する可能性がある。この撮像タイミングのズレは、可能な限り抑制することが好ましい。

特に基線長が既知であるステレオカメラ６Ｌおよび６Ｒの間では、撮像タイミングのズレを極力抑えることが望ましい。例えば、カメラＩ／Ｆ５０１０ａから各ステレオカメラ６Ｌおよび６Ｒにトリガ供給の配線を行う際に、トリガの品質確保のための中継器や、静電ノイズなどから保護するためにフォトカプラを経由する場合がある。この場合に、ステレオカメラ６Ｌおよび６Ｒ間でこれら中継器やフォトカプラを共有することが望ましい。

なお、第１の実施形態に係る画像処理システム１０は、移動体としての車両１の内部に、情報処理装置５０としてのＰＣ５を設けるようにしたが、これに限るものではない。ここで、図２２は第１の実施形態に係る画像処理システムの他の構成例を示す図である。図２２に示すように、画像処理システム１０は、移動体としての車両１と、情報処理装置５０としてのＰＣ５とが別体で設けられているものでであっても良い。また、ＰＣ５に送る場合、クラウドサーバを経由させてもよい。クラウドサーバに画像を保存する事で、複数のＰＣが同一の画像を参照したりダウンロードしたりでき、これら複数のＰＣで画像を繋ぐ繋ぐ処理をすることが可能になる。これにより、道路性状の検査を行う際、複数拠点から作業をすることができ、検査効率が向上する。この場合、ＰＣとの接続については、撮像装置とＰＣ５の間、もしくは、撮像装置と車両１とが通信可能な場合、撮像画像を取得した車両１とＰＣ５との間において、例えば無線による通信が可能である。なおこの場合、例えばデータをより高速、低遅延、大容量、高効率に提供する事ができる第５世代移動通信システムである「５Ｇ」を採用することで、クラウドサーバとの通信を効率よく行うことができる。もちろん、従前の無線通信も採用可能である。

また、画像処理システム１０は、例えば第１の事業者が道路（走行面）の奥行方向の距離情報を含む複数の画像を撮像し、当該撮像画像を第２の事業者に提供し、第２の事業者が上述の画像処理を行い、調書として出力し行政機関に提出することも可能である。

また、第１の事業者が道路（走行面）の奥行方向の距離情報を含む複数の画像を撮像し、当該撮像画像を第２の事業者に提供し、第２の事業者が上述の画像処理を行い、当該画像処理後の画像を第３の事業者に提供し、第３の事業者が調書として出力し行政機関に提出することも可能である。

［第２の実施形態］
次に、第２の実施形態について説明する。

以下、第２の実施の形態の説明では、第１の実施の形態と同一部分の説明については省略し、第１の実施の形態と異なる箇所について説明する。

上述した第１の実施形態では、ステレオカメラ６Ｌおよび６Ｒに対して撮像を指示するためのトリガを、ステレオカメラ６Ｌおよび６Ｒの外部、例えば情報処理装置５０において生成して、ステレオカメラ６Ｌおよび６Ｒに供給していた。これはこの例に限定されず、第２の実施形態では、当該トリガをステレオカメラ６Ｌおよび６Ｒの一方で生成し、これによりステレオカメラ６Ｌおよび６Ｒに対して撮像を指示するようにしている。

図２３は、第２の実施形態に係る画像処理システム１０ｎのハードウェア構成の例を示すブロック図である。図２３において、画像処理システム１０ｎは、図１１におけるステレオカメラ６Ｌおよび６Ｒと、情報処理装置５０と、にそれぞれ対応する、ステレオカメラ６Ｌｎおよび６Ｒｎと、情報処理装置５０ｎと、を含む。ステレオカメラ６Ｌｎおよび６Ｒｎのうち一方（この例ではステレオカメラ６Ｌｎ）は、トリガを生成し、自身による撮像を、生成したトリガにより指示する。また、ステレオカメラ６Ｌｎは、生成したトリガをステレオカメラ６Ｒｎに供給し、ステレオカメラ６Ｒｎに対して撮像を指示する。

図２４は、第２の実施形態に係るステレオカメラ６Ｌｎの一例の構成を示すブロック図である。なお、図２４において、上述した図１２と共通する部分には同一の符号を付して、詳細な説明を省略する。

ステレオカメラ６Ｌｎは、図１２を用いて説明したステレオカメラ６Ｌと同様に撮像光学系６００Ｌおよび６００Ｒと、撮像素子６０１Ｌおよび６０１Ｒと、駆動部６０２Ｌおよび６０２Ｒと、信号処理部６０３Ｌおよび６０３Ｒと、出力部６０４と、を含む。ステレオカメラ６Ｌｎは、さらに、制御部６１０と、速度取得装置６１１と、カメラＩ／Ｆ６１２と、を含む。

速度取得装置６１１は、図１３を用いて説明した速度取得装置５０２１に対応し、ステレオカメラ６Ｌｎの速度を示す速度情報を取得する。速度取得装置６１１は、例えばＧＮＳＳの信号を受信する機能を有し、受信したＧＮＳＳ信号のドップラー効果に基づきステレオカメラ６Ｌｎの速度を示す速度情報を取得する。これに限らず、速度取得装置６１１は、搭載される車両１のシステムから、車両１の速度を示す速度情報を取得してもよい。

制御部６１０は、速度取得装置６１１により取得された速度情報と、ステレオカメラ６Ｌｎの撮像範囲と、に基づき、当該ステレオカメラ６Ｌｎと、ステレオカメラ６Ｒｎとに撮像を指示するためのトリガを生成する。トリガの生成方法としては、上述した第１の生成方法または第２の生成方法を適用できる。また、制御部６１０は、ステレオカメラ６Ｌｎの撮像範囲に関する情報を、予め記憶しているものとする。

カメラＩ／Ｆ６１２は、ステレオカメラ６Ｒｎに対するインタフェースである。制御部６１０は、生成したトリガを、駆動部６０２Ｌおよび６０２Ｒに供給すると共に、カメラＩ／Ｆ６１２を介してステレオカメラ６Ｒｎに供給する。

ステレオカメラ６Ｒｎは、ステレオカメラ６Ｌｎと同等の構成を備える。ステレオカメラ６Ｌｎから供給されたトリガは、ステレオカメラ６Ｒｎが含むカメラＩ／Ｆ６１２に供給され、当該カメラＩ／Ｆ６１２から、ステレオカメラ６Ｒｎが含む駆動部６０２Ｌおよび６０２Ｒに供給される。なお、トリガが供給される側であるステレオカメラ６Ｒｎは、制御部６１０および速度取得装置６１１を省略することが可能である。

図２５は、第２の実施形態に適用可能な情報処理装置５０ｎの一例の構成を示すブロック図である。なお、図２５において、図１３と共通する部分には同一の符号を付して、詳細な説明を省略する。図２５に示されるように、情報処理装置５０ｎは、図１３に示した情報処理装置５０に対して、速度取得装置５０２１が省略された構成となっている。また、カメラＩ／Ｆ５０１０ｂは、各ステレオカメラ６Ｌｎおよび６Ｒｎからのステレオ撮像画像が入力され、トリガの出力は行わない。また、情報処理装置５０ｎの機能としては、図１４に示した機能ブロック図において、撮像制御部５０３が省略されたものとなる。

この第２の実施形態に係る画像処理システム１０ｎにおいても、上述した第１の実施形態に係る画像処理システム１０と同様に、ステレオカメラ６Ｌｎおよび６Ｒｎによる各ステレオ撮像画像の、車両１の進行方向に所定の進行方向重複率Ｄｒを有しての撮像を実施することが可能である。

なお、ステレオカメラ６Ｌｎおよび６Ｒｎがそれぞれ図２４に示す構成を有している場合、各ステレオカメラ６Ｌｎおよび６Ｒｎは、自身において生成されたトリガに従い撮像を行うことも考えられる。この場合、例えばステレオカメラ６Ｌｎおよび６Ｒｎでクロックを共有し、撮像タイミングを同期させるようにする。

なお、上述の各実施形態は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。

なお、上述の各実施形態においては、移動体の走行面として一般道、高速道路で説明してきたが、飛行場の滑走路でも本発明は適用できる。また、移動体である昇降機（エレベータ）が走行する縦穴状の鉄筋コンクリート構造等の昇降路（エレベータと対向するエレベータシャフト）の計測も可能である。特に昇降路の内壁は、経時劣化や地震などによる建物の揺れにより、変形やひび割れが発生する可能性がある。本実施例を適用すれば、ステレオカメラを昇降機外部に設置することで昇降路内壁を測定することが可能となる。昇降路内は暗く、撮像に際して輝度不足となるため、適宜、ＬＥＤ光源などの照明装置を設置する必要がある。また、道路や昇降路の材質（アスファルトやコンクリートなど）は不問である。

エレベータ昇降路の内壁は、エレベータの外面に対向する対向面であり、本明細書においては、対向面も上記走行面と定義することができる。また、上述した実施形態において、走行面および対向面を検査面または検査対象面とも称することができる。エレベータは昇降路の壁面の上を走行しないが、上述した実施形態は、互いに接触しながら道路面上を移動する接触可動装置（例えば車両）や表面（例えば、エレベータシャフトの壁）に接触することなく動く非接触可動装置（例えばエレベータ）に適用することができる。したがって、可動装置は、接触式可動装置に限定されず、航空機、無人機などの非接触式可動装置とすることもできる。非接触可動装置の場合、検査面に対する非接触可動装置の相対位置を維持すること（すなわち、相対位置を変えないこと）が重要である。しかしながら、非接触可動装置の位置を正確に推定できれば、検査面に対する非接触可動装置の相対位置の変化を相殺（補正）することができ、その場合には、検査面に対する非接触可動装置の相対位置の変化は、表面の検査にとって問題にならない。同様に、可動装置は、人間の同乗者を運搬するように適合された装置、または同乗者を運搬しない装置（例えば無人機）であってもよい。 後者の場合、移動可能な車両は、遠隔的に（すなわち、人間のオペレータまたは移動可能な装置から離れた位置にあるコンピュータシステムによって）および／または自動的に（すなわち人間のオペレータではなくコンピュータシステムによって）制御されても良い。例えば、「車線左側の白線から１ｍ右に寄った位置を走行し続ける」などの自動的制御（つまり自動運転）により、車両の人為的操作ミスが軽減でき、安定した走行面の撮像画像が得られる。

なお、上述の各実施例においては、ステレオ撮像画像の撮像手段としてステレオカメラを採用しているが、必ずしもステレオカメラに限定される訳ではない。例えば、単眼レンズカメラであっても良い。この場合、車両を停車させて走行面の幅員方向に複数回撮像する方法が挙げられる。また、単眼レンズカメラのレンズ部分に色フィルタを装着する例がある。色フィルタにより、被写体までの距離に応じた色ズレが発生し、この色ズレを解析する事で画素ごとに距離が計測できる。このように、本明細書にて定義した「奥行方向の距離情報」が得られる撮像画像が得られる撮像手段であればよく、ステレオカメラに限定されない。

画像処理システムは、繋ぐ処理を行う画像処理手段に代えて、繋ぐ処理が施された画像を出力する出力手段を備える出力システムであっても良い。例えば、移動体の走行面を撮像した奥行方向の距離情報を含む複数の撮像画像を取得する取得手段と、取得した複数の撮像画像を走行面の幅員方向に繋いで合成した１つの画像を出力する出力手段を備える出力システムであっても良い。また、マッチング処理に代えて、大量の撮像画像を学習した学習モデルにより、複数の撮像画像の位置合わせが行われても良い。

ここで、画像処理部（画像処理手段）１１１における情報処理方法について説明する。画像処理部１１１は、撮像画像取得部５００により取得した撮像画像を、撮像したステレオカメラ毎にステレオマッチングにより各画素に対応する奥行き距離を画像のように並べたデプスマップを生成する。下記に示すフローチャートを参照してより詳細に説明する。

ここで、図２６は画像処理部１１１における情報処理の流れを示すフローチャートである。図２６に示すように、画像処理部１１１は、ステレオカメラ６により車両１の走行面を撮像した奥行方向の距離情報を含む複数の撮像画像を取得する（ステップＳ１）。次に、画像処理部１１１は、取得した複数の撮像画像を重複させて走行面の幅員方向に繋ぐ（ステップＳ２）。

ステップＳ２の繋ぐ処理について詳述する。図２７はステップＳ２の繋ぐ処理の流れを示すフローチャートである。図２７に示すように、画像処理部１１１は、複数の撮像画像において相対的な位置が合う場所で繋ぐ位置を決定し（ステップＳ２１）、決定された繋ぐ位置で複数の撮像画像を一つの画像となるように合成し（ステップＳ２２）、一つに合成された画像から３次元点群情報を生成する（ステップＳ２３）。

なお、上記の実施形態は以下のように構成してもよい。

［付記１］被計測物の形状を撮像する撮像装置であって、
撮像トリガに応じて前記被計測物をステレオ撮像し、所定の撮像範囲を含むステレオ撮像画像を出力する撮像制御部と、
当該撮像装置の前記被計測物に対する速度を示す速度情報を取得する取得部と、
前記被計測物に対する前記撮像範囲のうち前記速度の方向の距離を前記速度情報が示す速度で移動する時間に対して、該時間より短い時間間隔で前記撮像トリガを生成する生成部と、
を備える撮像装置。

［付記２］前記生成部は、
前記速度情報と、前記距離と、に基づき、前記撮像トリガに応じて前記撮像制御部から出力された前記ステレオ撮像画像と、該撮像トリガに対して１回前の前記撮像トリガに応じて前記撮像制御部から出力された前記ステレオ撮像画像と、の重複率が閾値以上になる前記時間間隔で、前記撮像トリガを生成する
付記１に記載の撮像装置。

［付記３］前記取得部は、
当該撮像装置の前記被計測物に対する最も速い速度として予め定められた前記速度を示す前記速度情報を取得する
付記１または付記２に記載の撮像装置。

［付記４］前記撮像制御部は、
前記撮像トリガに応じて前記撮像制御部から出力された前記ステレオ撮像画像と、該撮像トリガに対して１回前の前記撮像トリガに応じて前記撮像制御部から出力された前記ステレオ撮像画像と、の重複率が閾値以下の場合に、該１回前の前記撮像トリガに応じて前記撮像部から出力された前記ステレオ撮像画像を破棄する
付記３に記載の撮像装置。

［付記５］前記取得部は、
前記被計測物に対して移動中の当該撮像装置の速度を示す前記速度情報を取得する
付記１または付記２に記載の撮像装置。

［付記６］前記生成部は、
生成した前記撮像トリガを、当該撮像装置が備える撮像制御部と、他の前記撮像装置が備える、前記被計測物に対する撮像範囲が、前記速度の方向と異なる方向に、前記撮像装置の撮像範囲の一部と重複するように前記ステレオ撮像を行う前記撮像制御部と、に供給する
付記１乃至付記５の何れか１項に記載の撮像装置。

［付記７］それぞれ前記被計測物をステレオ撮像し、該ステレオ撮像に対応する撮像範囲を含むステレオ撮像画像を出力する前記撮像制御部を複数備え、
前記生成部は、
複数の前記撮像制御部それぞれに前記撮像トリガを供給する
付記１乃至付記５の何れか１項に記載の撮像装置。

［付記８］複数の前記撮像制御部のそれぞれは、
対応する前記撮像範囲が、前記速度の方向と異なる方向に、隣接する前記撮像範囲の一部と重複するように配置される
付記７に記載の撮像装置。

［付記９］被計測物の形状を撮像するための撮像装置の撮像方法であって、
撮像トリガに応じて前記被計測物をステレオ撮像し、所定の撮像範囲を含むステレオ撮像画像を出力する撮像制御ステップと、
当該撮像装置の前記被計測物に対する速度を示す速度情報を取得する取得ステップと、
前記被計測物に対する前記撮像範囲のうち前記速度の方向の距離を前記速度情報が示す速度で移動する時間に対して、該時間より短い時間間隔で前記撮像トリガを生成する生成ステップと、
を有する撮像方法。

［付記１０］付記１乃至付記８の何れか１項に記載の撮像装置と、
筐体に対して、前記撮像制御部の制御に従い前記ステレオ撮像を行う撮像部を、該撮像部が路面を撮像できるように固定可能な固定部と、
前記筐体を前記方向に移動可能な移動部と、
を有する、
撮像装置を備える移動体。

［付記１１］付記１乃至付記８の何れか１項に記載の撮像装置から出力された前記ステレオ撮像画像に基づき、前記被計測物としての道路の路面特性の評価を行うための情報処理装置であって、
付記１乃至付記８の何れか１項に記載の撮像装置から出力された前記ステレオ撮像画像を取得する撮像画像取得部と、
前記撮像画像取得部により取得された前記ステレオ撮像画像に基づき前記路面特性の評価を行う舗装の維持管理指数を求める算出部と、
を備える情報処理装置。

［付記１２］前記算出部は、
前記ステレオ撮像画像に基づき３次元情報を生成し、生成した該３次元情報に基づき前記道路の幅方向に奥行き距離を求め、該奥行き距離に基づき前記舗装の維持管理指数の算出に用いるわだち掘れ量を算出する
付記１１に記載の情報処理装置。

［付記１３］前記算出部は、
前記ステレオ撮像画像に基づき３次元情報を生成し、生成した該３次元情報に基づき前記道路における路面の奥行き距離を、該路面の面方向にわたって求め、該奥行き距離に基づき前記舗装の維持管理指数の算出に用いる平坦性を示す値を算出する
付記１１に記載の情報処理装置。

［付記１４］前記算出部は、
前記ステレオ撮像画像に対して画像解析を行い、該画像解析の結果に基づき前記道路における路面のひび割れ率を算出する
付記１１に記載の情報処理装置。

［付記１５］前記算出部は、
前記ステレオ撮像画像に基づき３次元情報を生成し、生成した該３次元情報に基づき前記道路の幅方向に奥行き距離を求め、該奥行き距離に基づきわだち掘れ量を算出し、
該３次元情報に基づき前記道路における路面の奥行き距離を、該路面の面方向にわたって求め、該奥行き距離に基づき平坦性を示す値を算出し、
前記ステレオ撮像画像に対して画像解析を行い、該画像解析の結果に基づき前記道路における路面のひび割れ率を算出し、
算出した前記わだち掘れ量、前記平坦性を示す値および前記ひび割れ率に基づき前記舗装の維持管理指数を求める
付記１１に記載の情報処理装置。

［付記１６］付記１乃至付記８の何れか１項に記載の撮像装置から出力された前記ステレオ撮像画像に基づき、前記被計測物としての道路の路面特性の評価を行うための処理を情報処理装置に実行させるための情報処理プログラムであって、
付記１乃至付記８の何れか１項に記載の撮像装置から出力された前記ステレオ撮像画像を取得する撮像画像取得ステップと、
前記撮像画像取得ステップにより取得された前記ステレオ撮像画像に基づき前記路面特性の評価を行う舗装の維持管理指数を求める算出ステップと、
を情報処理装置に実行させるための情報処理プログラム。

１ 車両
１ａ 筐体
１ｂ 移動部
２ 固定部
４ 路面
５ ＰＣ
６，６Ｌ，６Ｒ，６Ｌｎ，６Ｒｎ ステレオカメラ
６ＬＬ，６ＬＲ，６ＲＬ，６ＲＲ 撮像レンズ
１０，１０ｎ 画像処理システム
１０Ａ 撮像装置
５０，５０ｎ 情報処理装置
６０Ｃ，６０Ｌ，６０Ｒ ステレオ撮像範囲
６０ＣＬ，６０ＣＲ，６０ＬＬ，６０ＬＲ，６０ＲＬ，６０ＲＲ 撮像範囲
１００−１，１００−２ 撮像部
１０１−１，１０１−２，５０３ 撮像制御部
１０２，６１１，５０２１ 速度取得装置
１０３ 生成部
５００ 撮像画像取得部
５０３ 撮像制御部
５１０ マッチング処理部
５１１ ３Ｄ情報生成部
５２０ ３Ｄ情報取得部
５２１ 状態特性値算出部
５２２ 調書作成部
６００Ｌ，６００Ｒ 撮像光学系
６０１Ｌ，６０１Ｒ 撮像素子
６０２Ｌ，６０２Ｒ 駆動部

特開平０７−３１８３４２号公報

Claims (19)

1. 複数のステレオ撮像手段により移動体の走行面を撮像した奥行方向の距離情報を含む複数の撮像画像を取得する取得手段と、
   前記取得した前記複数の撮像画像を重複させて前記走行面の幅員方向に繋ぐ画像処理手段と、
   を備えることを特徴とする情報処理装置。
2. 前記複数のステレオ撮像手段を同期して撮像するよう制御する制御手段を備える、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記画像処理手段は、前記複数のステレオ撮像手段のうち隣接するステレオ撮像手段の撮像重複領域の前記距離情報が対応するよう前記撮像画像を繋ぐ、
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記画像処理手段は、前記撮像重複領域の画素の前記距離情報が対応するように繋ぐ、ことを特徴とする請求項３に記載の情報処理装置。
5. 前記画像処理手段は、前記複数の撮像画像毎に、画素を前記距離情報により表したデータであるデプスマップを作成する、
   ことを特徴とする請求項３または４に記載の情報処理装置。
6. 前記画像処理手段は、前記撮像重複領域の画素の輝度も対応するよう前記撮像画像を繋ぐ、
   ことを特徴とする請求項３ないし５の何れか一項に記載の情報処理装置。
7. 繋いだ撮像画像から得られる前記走行面の幅員方向の前記距離情報に基づき、前記走行面のわだち掘れ量を計測する計測手段を備える、
   ことを特徴とする請求項３ないし６の何れか一項に記載の情報処理装置。
8. 前記計測手段は、前記走行面の端部を除外して前記わだち掘れ量の計測を行う、
   ことを特徴とする請求項７に記載の情報処理装置。
9. 前記計測手段は、前記走行面内の異物を除外して前記わだち掘れ量の計測を行う、
   ことを特徴とする請求項７に記載の情報処理装置。
10. 前記ステレオ撮像手段は、全画素を同一のタイミングで読み出す同時露光一括読み出し方式の撮像素子を備える、
    ことを特徴とする請求項１ないし９の何れか一項に記載の情報処理装置。
11. 移動体の走行面を撮像する複数のステレオ撮像手段と、
    前記ステレオ撮像手段により前記走行面を撮像した奥行方向の距離情報を含む複数の撮像画像を重複させて前記走行面の幅員方向に繋ぐ画像処理手段と、
    を備えることを特徴とする撮像装置。
12. 前記複数のステレオ撮像手段を同期して撮像するよう制御する制御手段を備える、
    ことを特徴とする請求項１１に記載の撮像装置。
13. 前記画像処理手段は、前記複数のステレオ撮像手段のうち隣接するステレオ撮像手段の撮像重複領域の前記距離情報が対応するよう前記撮像画像を繋ぐ、
    ことを特徴とする請求項１１または１２に記載の撮像装置。
14. 前記ステレオ撮像手段は、全画素を同一のタイミングで読み出す同時露光一括読み出し方式の撮像素子を備える、
    ことを特徴とする請求項１１ないし１３の何れか一項に記載の撮像装置。
15. 複数のステレオ撮像手段と、
    請求項１ないし１０の何れか一項に記載の情報処理装置と、
    筐体に対して、前記複数のステレオ撮像手段が走行面を撮像できるように固定可能な固定部と、
    前記筐体を移動可能な移動部と、
    を備えることを特徴とする移動体。
16. 移動体の走行面の幅員方向に重複して撮像する複数のステレオ撮像手段と、
    前記移動体から前記走行面を撮像した奥行方向の距離情報を含む複数の撮像画像を取得する取得手段と、前記取得した前記複数の撮像画像を重複させて前記走行面の幅員方向に繋ぐ画像処理手段と、を備える情報処理装置と、
    を備えることを特徴とする画像処理システム。
17. 筐体と、
    前記筐体に対して前記ステレオ撮像手段が前記走行面を撮像できるように固定可能な固定部と、
    前記筐体を走行面に沿って移動させる移動部と、
    を備える移動体を備える、
    ことを特徴とする請求項１６に記載の画像処理システム。
18. 複数のステレオ撮像手段により移動体の走行面を撮像した奥行方向の距離情報を含む複数の撮像画像を取得するステップと、
    前記取得した前記複数の撮像画像を重複させて前記走行面の幅員方向に繋ぐステップと、
    を含むことを特徴とする情報処理方法。
19. 前記繋ぐステップは、
    前記複数の撮像画像において相対的な位置が合う場所で繋ぐ位置を決定するステップと、
    前記決定された繋ぐ位置で前記複数の撮像画像を一つの画像となるように合成するステップと、
    前記一つに合成された画像から３次元点群情報を生成するステップと、
    を含むことを特徴とする請求項１８に記載の情報処理方法。