JP2020046228A - 計測装置、計測システムおよび車両 - Google Patents

Abstract

【課題】被計測物とは異なる異物を判別することにより被計測物に対する点検における計測処理を正確かつ早く行うことができる計測装置、計測システムおよび車両を提供する。【解決手段】被計測物の状態に関する学習データを用いた学習により得られた識別器を用いて、撮像部により撮像された撮像画像における被計測物の状態を認識する認識部と、認識部による被計測物の状態の認識結果に基づいて、被計測物に対する所定の物理量を計測する計測位置を決定する決定部と、決定部により決定された計測位置で被計測物に対する物理量を計測する計測部と、を備える。【選択図】図１２

Description

本発明は、計測装置、計測システムおよび車両に関する。

高速道路、橋梁、およびトンネル等のインフラの維持管理および点検作業において平成２６年７月より近接目視が厳格化され、５年に１度、近接目視で全面点検する必要がある。例えば、舗装道路（以下、単に「道路」と称する）の道路性状についての点検の場合、代表的な損傷に関する点検項目として、ひび割れ、わだち掘れ（道路の幅方向の凹凸具合）、および平坦性（車両進行方向の凹凸具合）等を指標として点検が行われることが既に知られている。

しかし、現在の道路点検では、人の手を介して検査を行っており、検査時にヒューマンエラーが発生する恐れがあった。また、人の手を介すにあたって、点検項目によっては、道路表面上にある標識等、避けなくてはならない箇所があり、非常に手間がかかるという問題があった。

このような、道路点検のうちわだち掘れの計測に関する技術として、専用車を使用し、ラインスキャンカメラ、レーザ光、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）と音声を記録し、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）で動作を制御し、測定部（レーザ光）でわだち掘れを計測し、計測情報の計測位置の検査画面が表示されるという技術が開示されている（例えば、特許文献１）。

しかしながら、特許文献１に記載された技術では、わだち掘れの計測の際に道路にある標識等の異物を避けなければならない箇所を避けることができないという問題がある。

本発明は、上述の問題点に鑑みてなされたものであって、被計測物とは異なる異物を判別することにより被計測物に対する点検における計測処理を正確かつ早く行うことができる計測装置、計測システムおよび車両を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、被計測物の状態に関する学習データを用いた学習により得られた識別器を用いて、撮像部により撮像された撮像画像における前記被計測物の状態を認識する認識部と、前記認識部による前記被計測物の状態の認識結果に基づいて、該被計測物に対する所定の物理量を計測する計測位置を決定する決定部と、前記決定部により決定された前記計測位置で前記被計測物に対する前記物理量を計測する計測部と、を備えたことを特徴とする。

本発明によれば、被計測物とは異なる異物を判別することにより被計測物に対する点検における計測処理を正確かつ早く行うことができる。

図１は、わだち掘れ量の計測を説明するための図である。 図２は、平坦性の形成を説明するための図である。 図３は、第１の実施形態に係る撮像システムの構成の一例を示す図である。 図４は、第１の実施形態に係るステレオカメラによる車両の進行方向の撮像範囲を説明するための図である。 図５は、第１の実施形態に係るステレオカメラによる車両の道路幅方向の撮像範囲を説明するための図である。 図６は、第１の実施形態に係るステレオカメラによるステレオ撮像範囲の、車両の進行方向における重複を示す図である。 図７は、第１の実施形態に係る、３台のステレオカメラを備えた撮像システムの一例を示す図である。 図８は、第１の実施形態に係る撮像システムの概略的な全体構成を示すブロック図である。 図９は、第１の実施形態に係る撮像システムの概略的なハードウェア構成の一例を示す図である。 図１０は、第１の実施形態に係るステレオカメラのハードウェア構成の一例を示す図である。 図１１は、第１の実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。 図１２は、第１の実施形態に係る情報処理装置の機能を説明するための機能ブロックの構成の一例を示す図である。 図１３は、第１の実施形態の平坦性の算出処理の一例を示すフローチャートである。 図１４は、第１の実施形態のデプスマップの生成処理の一例を示すフローチャートである。 図１５は、三角法を説明するための図である。 図１６は、第１の実施形態のカメラ位置および向きの推定処理の一例を示すフローチャートである。 図１７は、第１の実施形態のカメラ位置および向きの推定処理を説明するための図である。 図１８は、第１の実施形態のわだち掘れ量の計測処理の一例を示すフローチャートである。 図１９は、第１の実施形態の異物の認識結果を示す画像の一例を示す図である。 図２０は、わだち掘れ量の計測位置を説明するための図である。 図２１は、わだち掘れ量の計測位置を示す図である。 図２２は、第２の実施形態に係る情報処理装置の機能を説明するための機能ブロックの構成の一例を示す図である。 図２３は、第２の実施形態のわだち掘れ量の計測処理の一例を示すフローチャートである。 図２４は、第３の実施形態に係る情報処理装置の機能を説明するための機能ブロックの構成の一例を示す図である。 図２５は、第３の実施形態のわだち掘れ量の計測処理の一例を示すフローチャートである。

以下に、図面を参照しながら、本発明に係る計測装置、計測システムおよび車両の実施形態を詳細に説明する。また、以下の各実施形態によって本発明が限定されるものではなく、以下の各実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の各実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

［既存の道路性状の検査方法の概略］
実施形態の説明に先んじて、既存の道路性状の検査方法について、概略的に説明する。道路性状を評価するための指標として、舗装の維持管理指数（ＭＣＩ：Ｍａｉｎｔｅｎａｎｃｅ Ｃｏｎｔｒｏｌ Ｉｎｄｅｘ）が定められている。ＭＣＩは、舗装の供用性を、「ひび割れ率」、「わだち掘れ量」および「平坦性」という３種類の路面性状値によって定量的に評価するものである。

これらのうち、「ひび割れ率」は、例えば、路面を５０ｃｍのメッシュに分割した各領域において、ひび割れの本数およびパッチング面積に応じて、下記の通り、ひび割れ面積を算出し、算出結果を下記の式（１）に適用して、ひび割れ率を求める。

ひび割れ１本⇒０．１５［ｍ^２］のひび
ひび割れ２本⇒０．２５［ｍ^２］のひび
パッチング面積０〜２５［％］⇒ひび割れ０［ｍ^２］
パッチング面積２５〜７５［％］⇒ひび割れ０．１２５［ｍ^２］
パッチング面積７５［％］以上⇒ひび割れ０．２５［ｍ^２］

「わたち掘れ量」は、図１（ａ）および図１（ｂ）に例示されるように、例えば、１車線について２本発生する「わだち」の深さＤ_１およびＤ_２を計測し、計測された深さＤ_１およびＤ_２のうち大きい値を採用する。「わだち」の掘れ方には、いくつかのパターンがあるので、それぞれのパターンに合わせた計測方法が採用される。図１（ａ）は、２本の「わだち」の間の部分が、２本の「わだち」の両端より高い場合、図１（ｂ）は、２本の「わだち」の間の部分が、２本の「わだち」の両端より低い場合の計測方法の例を示している。

「平坦性」は、路面の車両の進行方向に沿って、例えば、路面からの高さを１．５［ｍ］間隔で３箇所、計測する。例えば、図２に示されるように、車両の下面に１．５［ｍ］間隔でＡ、Ｂ、Ｃの３箇所に測定器を設け、高さＸ_１、Ｘ_２およびＸ_３を計測する。計測された高さＸ_１、Ｘ_２およびＸ_３に基づき、下記の式（２）により変位量ｄを求める。この計測を、車両を移動させながら複数回実行する。これにより得られた複数の変位量ｄに基づいて、式下記の式（３）を用いて平坦性σを算出する。

上述した「ひび割れ率」、「わだち掘れ量」および「平坦性」の計測を、例えば１００［ｍ］の評価区間毎に実行する。損傷箇所が予め分かっている場合は、１００［ｍ］を４０［ｍ］＋６０［ｍ］等、より小さい単位に分割して計測を行う場合もある。１００［ｍ］単位で実行された計測結果に基づきＭＣＩを算出し、調書を作成する。

ＭＣＩは、計測したひび割れ率Ｃ［％］、わだち掘れ量Ｄ［ｍｍ］、および、平坦性σ［ｍｍ］に基づき、下記の（表１）に示される４つの式を計算して、値ＭＣＩ、ＭＣＩ１、ＭＣＩ２およびＭＣＩ３を算出する。そして、算出された値ＭＣＩ、ＭＣＩ１、ＭＣＩ２およびＭＣＩ３のうち、最小値をＭＣＩとして採用する。採用されたＭＣＩに基づいて、下記の（表２）に示す評価基準に従って評価を行い、評価区間の路面に修繕が必要か否かを判定する。

［第１の実施形態］
次に、第１の実施形態に係る撮像システムについて説明する。第１の実施形態では、対象物を複数の異なる方向から同時に撮影して２つの撮像画像（以下、「ステレオ撮像画像」と称する場合がある）を得ることにより、その奥行き情報を得ることができるステレオカメラを車両に取り付けて路面を撮像する。撮像されたステレオ撮像画像に基づき撮像位置から路面に対する奥行き情報を取得して路面の３次元形状を生成し、３次元路面データを作成する。この３次元路面データを解析することで、ＭＣＩを求めるために用いる「ひび割れ率」、「わだち掘れ量」および「平坦性」を取得することができる。

より具体的に説明する。ステレオカメラは、所定の長さ（基線長と呼ぶ）を離して設けられた２つのカメラを備え、この２つのカメラで撮像された２枚ペアの撮像画像（ステレオ撮像画像）を出力する。このステレオ撮像画像に含まれる２枚の撮像画像間で対応する点を探索することで、撮像画像中の任意の点について、奥行きの距離を復元することができる。撮像画像の全域について奥行きの距離（以下、「奥行き値」と称する場合がある）を復元し、各画素を奥行き情報により表したデータを、デプスマップと呼ぶ。すなわち、デプスマップは、それぞれ３次元の情報を持つ点の集合からなる３次元点群情報である。

このステレオカメラを車両の後方等、１箇所に下向きに取り付け地面を撮像できるようにし、計測したい道路に沿って車両を移動させる。説明を簡略にするため、測定のために車両に搭載するステレオカメラは、撮像範囲が、道路幅方向の規定の長さをカバーしているとする。

わだち掘れ量Ｄは、このステレオカメラにより撮像されたステレオ撮像画像から復元されたデプスマップ中の道路幅方向にストライプ状に切り取った部分の奥行き値を並べる。この奥行き値の道路幅方向の変化に基づき、深さＤ_１およびＤ_２を計算することができる。

ひび割れ率Ｃは、路面を撮像した撮像画像を解析して「ひび」等を検出し、検出結果に基づき上述した式（１）による計算を行うことで取得する。

ここで、車両の進行方向では、１回の撮像では撮像範囲が限定されるため、例えば、１００［ｍ］区間のひび割れ率Ｃを１回の撮像による撮像画像に基づき計算することができない。そこで、車両を道路に従い移動させながら、撮像範囲の車両の進行方向の長さに応じた移動毎に順次、撮像を行う。このとき、前回の撮像における撮像範囲と、今回の撮像における撮像範囲とが、予め設計された重複率以上で重複するように、撮像のトリガ（撮像トリガ）を制御する。

このように、車両の移動に応じて撮像のトリガを制御することで、計測したい道路の路面を漏れなく撮像できる。そのため、車両の進行に応じて順次撮像された撮像画像をスティッチングと呼ばれる画像処理等を用いて繋ぎ合わせて、例えば１００［ｍ］区間の路面の画像を含む１枚の画像を生成する。この画像を目視確認あるいは解析することで、道路面上のひび割れ率Ｃを計測できる。

平坦性の測定は、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（以下、「ＳｆＭ」と称する）と呼ばれる、異なる撮像地点の画像から十分に重複して撮像された画像に基づき、その撮像位置を推定する技術を使う。

ＳｆＭの処理の概要について説明する。まず、撮像範囲を重複して撮像された画像を用い、それぞれの画像中で同一地点を撮像した点を対応点として検出する。対応点は、可能な限り多数を検出することが望ましい。次に、例えば１枚目の画像の撮像地点から、２枚目の画像の撮像地点へのカメラの移動を、回転と並進を未知パラメータとして、検出した対応点の座標を用いた連立方程式を立て、最も合計の誤差が小さくなるようなパラメータを求める。このようにして、２枚目の画像の撮像位置を算出できる。

上述したように、それぞれの撮像地点におけるステレオ撮像画像から、画像中の任意の点の奥行きがデプスマップとして復元できている。１枚目のステレオ撮像画像に対応するデプスマップに対して、２枚目のステレオ撮像画像に対応するデプスマップを、上述の連立方程式により求めた１枚目のカメラの撮像位置を原点としたデプスマップに座標変換する。これにより、２枚のデプスマップを、１枚目のデプスマップの座標系に統一することができる。換言すれば、２枚のデプスマップを合成して１枚のデプスマップを生成できる。

この処理を、例えば１００［ｍ］区間において撮像したすべてのステレオ撮像画像に基づくデプスマップについて行い合成することで、１つの３次元空間中に、１００［ｍ］区間の道路面が復元される。このようにして復元された道路面の奥行き値を上述の式（２）に適用することで、変位量ｄを算出できる。この変位量ｄを上述の式（３）に適用して、平坦性σを算出する。

第１の実施形態では、車両に搭載したステレオカメラによる撮像と、撮像されたステレオ撮像画像に対する画像処理を行うことによって、ＭＣＩを求めるための、道路面の平坦性σ、わだち掘れ量Ｄ、および、ひび割れ率Ｃを、纏めて計測することができる。第１の実施形態では、この計測を、ステレオカメラと、ステレオ撮像画像に対する画像処理を行う情報処理装置とを含む撮像システムを用いて実施可能であり、ＭＣＩを簡易な構成により求めることが可能となる。

また、既存技術では、ＭＣＩを求めるための３つの指標に係る計測を、それぞれ別個の装置にて実行するため、データの保存、ならびにデータ同士の時刻同期等の制御および管理が煩雑になっていた。これに対して、第１の実施形態では、ＭＣＩを求めるための３つの指標を共通のステレオ撮像画像に基づき算出するため、データの保存、ならびにデータ同士の時刻同期等の制御および管理が容易となる。

（ステレオカメラの配置）
次に、第１の実施形態におけるステレオカメラ配置の一例について説明する。図３は、第１の実施形態に係る撮像システムの構成の一例を示す図である。図３（ａ）は、第１の実施形態に係る撮像システムが車両１に搭載される様子を車両１の側面から示した図である。図３（ａ）において、図の左端に向かう方向が、車両１の進行方向とする。すなわち、図３（ａ）において、車両１の左端側が車両１の前部であり、右端側が車両１の後部である。図３（ｂ）は、当該車両１を後部側から見た例を示す図である。

第１の実施形態に係る撮像システムは、当該撮像システムを搭載する移動体としての車両１の車体後部に撮像装置取付用の取付部２を備える取付部材３を固定し、取付部２に１以上のステレオカメラ６を取り付ける。ここでは、図３（ｂ）に例示されるように、車両１の車体の幅方向の両端側に、２台のステレオカメラ６Ｌおよび６Ｒ（撮像部）が取り付けられるものとする。各ステレオカメラ６Ｌおよび６Ｒは、車両１が移動する路面４（被計測物の一例）を撮像する向きに取り付けられる。好ましくは、各ステレオカメラ６Ｌおよび６Ｒは、路面４を垂直方向から撮像するように取り付けられる。

以降、ステレオカメラ６Ｌおよび６Ｒを区別する必要のない場合には、ステレオカメラ６Ｌおよび６Ｒをステレオカメラ６として纏めて記述する。

ステレオカメラ６は、例えば車両１の内部に設置された、例えばパーソナルコンピュータ（ＰＣ）５により制御される。作業者はＰＣ５を操作し、ステレオカメラ６による撮像開始を指示する。撮像開始が指示されると、ＰＣ５は、ステレオカメラ６による撮像を開始する。撮像は、ステレオカメラ６すなわち車両１の移動速度に応じてタイミング制御され、繰り返し実行される。なお、ステレオカメラ６を制御する装置は、ＰＣ５に限られず、ワークステーション、またはステレオカメラ６の制御に特化した専用装置等であってもよい。

作業者は、例えば、必要な区間の撮像が終了に応じてＰＣ５を操作し撮像終了を指示をする。ＰＣ５は、撮像終了の指示に応じて、ステレオカメラ６による撮像を終了させる。

図４および図５は、第１の実施形態に適用可能な、ステレオカメラ６の撮像範囲の例を示す図である。なお、図４および図５において、上述した図３と共通する部分には同一の符号を付して、詳細な説明を省略する。

図４は、第１の実施形態に係るステレオカメラによる車両の進行方向の撮像範囲（進行方向視野Ｖｐとする）を説明するための図である。なお、図４は、上述の図１と同様に、図の左端に向かう方向を、車両１の進行方向としている。進行方向視野Ｖｐは、図４に示されるように、ステレオカメラ６の画角αと、ステレオカメラ６の路面４に対する高さｈとに従い決定される。

図５は、第１の実施形態に係るステレオカメラによる車両の道路幅方向の撮像範囲を説明するための図である。図５は、車両１を後部側から見た図であり、図３（ｂ）と共通する部分には同一の符号を付して、詳細な説明を省略する。

図５（ａ）において、ステレオカメラ６Ｌは、２つの撮像レンズ６Ｌ_Ｌおよび６Ｌ_Ｒを備える。撮像レンズ６Ｌ_Ｌおよび６Ｌ_Ｒを結ぶ線を基線、その長さを基線長と呼び、ステレオカメラ６Ｌは、基線が車両１の進行方向に対して垂直になるように配置される。ステレオカメラ６Ｒも同様に、基線長だけ離れた２つの撮像レンズ６Ｒ_Ｌおよび６Ｒ_Ｒを備え、基線が車両１の進行方向に対して垂直になるように配置される。

図５（ｂ）は、第１の実施形態のステレオカメラ６Ｌおよび６Ｒの撮像範囲の例を示す。ステレオカメラ６Ｌにおいて、撮像レンズ６Ｌ_Ｌおよび６Ｌ_Ｒそれぞれの撮像範囲６０Ｌ_Ｌおよび６０Ｌ_Ｒは、基線長および高さｈに応じてずれて重ねられる。ステレオカメラ６Ｒについても同様に、撮像レンズ６Ｒ_Ｌおよび６Ｒ_Ｒそれぞれによる、撮像範囲６０Ｒ_Ｌおよび６０Ｒ_Ｒは、基線長および高さｈに応じてずれて重ねられる。

以下、特に記載のない限り、これら撮像範囲６０Ｌ_Ｌおよび６０Ｌ_Ｒ、ならびに、撮像範囲６０Ｒ_Ｌおよび６０Ｒ_Ｒを、それぞれ纏めてステレオ撮像範囲６０Ｌおよび６０Ｒと呼ぶ。ステレオカメラ６Ｌおよび６Ｒは、図５（ｂ）に示されるように、ステレオ撮像範囲６０Ｌおよび６０Ｒが、ステレオ撮像範囲６０Ｌの車両１の幅方向の一端側の一部の領域と、ステレオ撮像範囲６０Ｒの当該幅方向の他端側の一部の領域とが、領域６１において所定の重複率で重複するように、配置される。

図６は、第１の実施形態に適用可能な、ステレオカメラ６Ｌによるステレオ撮像範囲６０Ｌの、車両１の進行方向における重複を示す図である。なお、図６において、左カメラ視野Ｖ_Ｌおよび右カメラ視野Ｖ_Ｒは、それぞれステレオカメラ６Ｌにおける撮像レンズ６Ｌ_Ｌおよび６Ｌ_Ｒの視野（撮像範囲）を示している。移動中の車両１において、ステレオカメラ６Ｌにより２回の撮像を行ったものとする。ステレオカメラ６Ｌは、１回目は、ステレオ撮像範囲６０Ｌ（撮像範囲６０Ｌ_Ｌおよび６０Ｌ_Ｒ）の撮像を行い、２回目は、ステレオ撮像範囲６０Ｌに対して、車両１の進行方向に、車両１の移動距離に応じた距離だけ移動したステレオ撮像範囲６０Ｌ’（撮像範囲６０Ｌ_Ｌ’および６０Ｌ_Ｒ’）の撮像を行う。

このとき、ステレオ撮像範囲６０Ｌとステレオ撮像範囲６０Ｌ’とが、進行方向視野Ｖｐに対して予め定められた進行方向重複率Ｄｒ以上の重複率で重複するように、ステレオカメラ６Ｌの撮像タイミングを制御する。このように、時間軸に沿ってステレオ撮像範囲６０Ｌおよび６０Ｌ’を順次撮像することで、ステレオ撮像範囲６０Ｌおよび６０Ｌ’を撮像した２枚のステレオ撮像画像を繋ぎ合わせる処理を容易とすることができる。

なお、上述では、第１の実施形態に係る撮像システムが２台のステレオカメラ６Ｌおよび６Ｒを用いるものとして説明したが、これはこの例に限定されない。例えば、第１の実施形態に係る撮像システムは、図７（ａ）に示されるように、ステレオカメラ６Ｌおよび６Ｒに対してさらに１台のステレオカメラ６Ｃを加え、３台のステレオカメラ６Ｌ、６Ｒおよび６Ｃを用いて構成してもよい。

図７（ａ）の例では、ステレオカメラ６Ｌおよび６Ｒの間隔が、ステレオカメラ６Ｌおよび６Ｒのみを用いる場合に比べて広げられ、その中央部にステレオカメラ６Ｃが配置されている。図７（ｂ）に示されるように、ステレオカメラ６Ｃの撮像レンズ６Ｃ_Ｌおよび６Ｃ_Ｒによる撮像範囲６０Ｃ_Ｌおよび６０Ｃ_Ｒにより、ステレオ撮像範囲６０Ｃが構成される。ステレオカメラ６Ｌ、６Ｃおよび６Ｒは、それぞれによる各ステレオ撮像範囲６０Ｌ、６０Ｃおよび６０Ｒが車両１の幅方向に所定の重複率で重複するように配置される。

このように、１車線を撮像するために、３台のステレオカメラ６Ｌ、６Ｃおよび６Ｒを用いることで、車線の右側、中央および左側にそれぞれ撮像範囲を設定して撮像が可能となり、高画質（高解像）なステレオ撮像画像を、少ない台数のステレオカメラで撮像可能となる。ここで、特に道路幅は、一般的には、３．５［ｍ］と規定されている。そこで、この道路幅の３．５［ｍ］に対応して、ステレオカメラ６Ｌおよび６Ｒにより車線の道路幅方向の両端を撮像し、ステレオカメラ６Ｃにより中央部を撮像することが考えられる。

なお、撮像範囲がこの規定される道路幅（３．５［ｍ］）を含むことが可能な画角を有するステレオカメラを１台のみ用いて、撮像システムを構成してもよい。

（撮像システムの構成）
次に、第１の実施形態に係る撮像システムの構成について説明する。以下では、撮像システムが２台のステレオカメラを備えるものとして説明を行う。

図８は、第１の実施形態に係る撮像システムの概略的な構成の例を示すブロック図である。図８において、撮像システム１０は、撮像部１００_１および１００_２と、撮像制御部１０１_１および１０１_２と、速度取得部１０２と、生成部１０３と、を含む。

撮像部１００_１および１００_２は、それぞれ上述したステレオカメラ６Ｌおよび６Ｒに対応する。撮像制御部１０１_１および１０１_２は、それぞれ撮像部１００_１および１００_２の撮像タイミング、露光、シャッタ速度等の撮像動作を制御する。速度取得部１０２は、撮像部１００_１および１００_２の、被写体（路面４）に対する速度を取得する。生成部１０３は、速度取得部１０２により取得された速度と、進行方向視野Ｖｐとに基づき、撮像部１００_１および１００_２による撮像を指定するためのトリガ（撮像トリガ）を生成する。生成部１０３は、生成したトリガを、撮像制御部１０１_１および１０１_２に送る。撮像制御部１０１_１および１０１_２は、生成部１０３から送られたトリガに応じて、撮像部１００_１および１００_２に対して撮像動作を実行させる。

図９は、第１の実施形態に係る撮像システムの概略的なハードウェア構成の一例を示す図である。図９において、撮像システム１０は、ステレオカメラ６Ｌおよび６Ｒと、図３のＰＣ５に対応する情報処理装置５０（計測装置の一例）と、を含む。情報処理装置５０は、所定のタイミングでトリガを生成し、生成したトリガをステレオカメラ６Ｌおよび６Ｒに送る。ステレオカメラ６Ｌおよび６Ｒは、このトリガに応じて撮像を行う。ステレオカメラ６Ｌおよび６Ｒにより撮像された各ステレオ撮像画像は、情報処理装置５０に送信される。情報処理装置５０は、ステレオカメラ６Ｌおよび６Ｒから受信した各ステレオ撮像画像をストレージ等に記憶、蓄積する。情報処理装置５０は、蓄積したステレオ撮像画像に基づき、デプスマップの生成、および生成したデプスマップの繋ぎ合わせ等の画像処理を実行する。

図１０は、第１の実施形態に係るステレオカメラ６Ｌのハードウェア構成の一例を示す図である。なお、ステレオカメラ６Ｒは、このステレオカメラ６Ｌと同様の構成にて実現可能である。

図１０において、ステレオカメラ６Ｌは、撮像光学系６００_Ｌおよび６００_Ｒと、撮像素子６０１_Ｌおよび６０１_Ｒと、駆動部６０２_Ｌおよび６０２_Ｒと、信号処理部６０３_Ｌおよび６０３_Ｒと、出力部６０４と、を含む。これらのうち、撮像光学系６００_Ｌは、上述した撮像レンズ６Ｌ_Ｌに対応する構成である。同様に、撮像光学系６００_Ｒは、上述した撮像レンズ６Ｌ_Ｒに対応する構成である。

撮像光学系６００_Ｌは、画角α、焦点距離ｆを有する光学系であって、被写体からの光を撮像素子６０１_Ｌに投射する。撮像素子６０１_Ｌは、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を用いた光センサであって、投射された光に応じた信号を出力する。なお、撮像素子６０１_Ｌに、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）による光センサを適用してもよい。駆動部６０２_Ｌは、撮像素子６０１_Ｌを駆動し、撮像素子６０１_Ｌから出力された信号に対してノイズ除去、ゲイン調整等の所定の処理を施して出力する。信号処理部６０３_Ｌは、駆動部６０２_Ｌから出力された信号に対してＡ／Ｄ変換を施して、当該信号をディジタル方式の画像信号（撮像画像）に変換する。信号処理部６０３_Ｌは、変換した画像信号に対してガンマ補正等所定の画像処理を施して出力する。信号処理部６０３Lから出力された撮像画像は、出力部６０４に送られる。

撮像光学系６００_Ｒ、撮像素子６０１_Ｒ、駆動部６０２_Ｒ、および、信号処理部６０３_Ｒの動作は、上述の撮像光学系６００_Ｌ、撮像素子６０１_Ｌ、駆動部６０２_Ｌ、および、信号処理部６０３_Ｌと同様である。

駆動部６０２_Ｌおよび６０２_Ｒは、例えば情報処理装置５０から出力されたトリガが送信される。駆動部６０２_Ｌおよび６０２_Ｒは、受信したトリガのタイミングで、撮像素子６０１_Ｌおよび６０１_Ｒから信号を取り込み、撮像を行う。

ここで、駆動部６０２_Ｌおよび６０２_Ｒは、撮像素子６０１_Ｌおよび６０１_Ｒにおける露光を、一括同時露光方式により行う。この方式は、グローバルシャッタと呼ばれる。これに対して、ローリングシャッタは、画素位置の上から順番（ライン順）に光を取り込んでいく方式であるため、フレーム中の各ラインは、厳密に同じ時刻の被写体を写したものではない。ローリングシャッタ方式の場合、１フレームの撮像信号を取り込んでいる間にカメラまたは被写体が高速に動いてしまうと、被写体の像がライン位置に応じてずれて撮像されてしまう。そのため、第１の実施形態に係るステレオカメラ６Ｌおよび６Ｒでは、グローバルシャッタを用いて、投影幾何的に正しく道路形状が撮像されるようにする。

出力部６０４は、信号処理部６０３_Ｌおよび６０３_Ｒから供給された各フレームの撮像画像を、１組のステレオ撮像画像として出力する。出力部６０４から出力されたステレオ撮像画像は、情報処理装置５０に送られ、蓄積される。

図１１は、第１の実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。図１１において、情報処理装置５０は、それぞれバス５０３０に接続されたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０００と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５００１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５００２と、グラフィクスＩ／Ｆ（インタフェース）５００３と、ストレージ５００４と、入力デバイス５００５と、データＩ／Ｆ５００６と、通信Ｉ／Ｆ５００７と、を備える。さらに、情報処理装置５０は、それぞれバス５０３０に接続されたカメラＩ／Ｆ５０１０と、速度取得部５０２１と、を備える。

ストレージ５００４は、データを不揮発に記憶する記憶媒体であって、ハードディスクドライブやフラッシュメモリを適用できる。ストレージ５００４は、ＣＰＵ５０００が動作するためのプログラムおよびデータが記憶される。

ＣＰＵ５０００は、例えば、ＲＯＭ５００１またはストレージ５００４のうち少なくともいずれかにに予め記憶されたプログラムに従い、ＲＡＭ５００２をワークメモリとして用い、この情報処理装置５０の全体の動作を制御する。グラフィクスＩ／Ｆ５００３は、ＣＰＵ５０００によりプログラムに従い生成された表示制御信号に基づき、ディスプレイ５０２０が対応可能な表示信号を生成する。ディスプレイ５０２０は、グラフィクスＩ／Ｆ５００３から供給された表示信号に応じた画面を表示する。

入力デバイス５００５は、ユーザ操作を受け付け、受け付けたユーザ操作に応じた制御信号を出力する。入力デバイス５００５としては、マウスもしくはタブレットといったポインティングデバイス、またはキーボード等を適用できる。また、入力デバイス５００５とディスプレイ５０２０とを一体的に形成し、いわゆるタッチパネル構成としてもよい。

データＩ／Ｆ５００６は、外部の機器との間でデータの送受信を行う。データＩ／Ｆ５００６としては、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）を適用可能である。通信Ｉ／Ｆ５００７は、ＣＰＵ５０００の指示に従い、外部のネットワークに対する通信を制御する。

カメラＩ／Ｆ５０１０は、各ステレオカメラ６Ｌおよび６Ｒに対するインタフェースである。各ステレオカメラ６Ｌおよび６Ｒから出力された各ステレオ撮像画像は、カメラＩ／Ｆ５０１０を介して、例えばＣＰＵ５０００に渡される。また、カメラＩ／Ｆ５０１０は、ＣＰＵ５０００の指示に従い上述したトリガを生成し、生成したトリガを各ステレオカメラ６Ｌおよび６Ｒに送る。

速度取得部５０２１は、車両１の速度を示す速度情報を取得する。車両１に各ステレオカメラ６Ｌおよび６Ｒが取り付けられている場合、速度取得部５０２１が取得する速度情報は、各ステレオカメラ６Ｌおよび６Ｒの、被写体（路面）に対する速度を示す。速度取得部５０２１は、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）の信号を受信する機能を有し、受信したＧＮＳＳによる信号のドップラ効果に基づき車両１の速度を示す速度情報を取得する。これに限らず、速度取得部５０２１は、車両１から直接的に速度情報を取得することもできる。

図１２は、第１の実施形態に係る情報処理装置の機能を説明するための機能ブロックの構成の一例を示す図である。図１２において、情報処理装置５０は、撮像画像取得部５００と、ＵＩ部５０１と、制御部５０２と、撮像制御部５０３と、を含む。情報処理装置５０は、さらに、マッチング処理部５１０と、３Ｄ情報生成部５１１と、３Ｄ情報取得部５２０と、第１状態特性値算出部５２１と、第２状態特性値算出部５２２と、第３状態特性値算出部５２３と、調書作成部５２４と、記憶部５３０と、報知部５３１と、を含む。

これら撮像画像取得部５００、ＵＩ部５０１、制御部５０２、撮像制御部５０３、マッチング処理部５１０、３Ｄ情報生成部５１１、３Ｄ情報取得部５２０、第１状態特性値算出部５２１、第２状態特性値算出部５２２、第３状態特性値算出部５２３および調書作成部５２４は、ＣＰＵ５０００上で動作するプログラムにより実現される。これに限らず、これら撮像画像取得部５００、ＵＩ部５０１、制御部５０２、撮像制御部５０３、マッチング処理部５１０、３Ｄ情報生成部５１１、３Ｄ情報取得部５２０、第１状態特性値算出部５２１、第２状態特性値算出部５２２、第３状態特性値算出部５２３および調書作成部５２４の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。

撮像画像取得部５００は、各ステレオカメラ６Ｌおよび６Ｒから、ステレオ撮像画像を取得する。撮像画像取得部５００は、取得したステレオ撮像画像を、例えばストレージ５００４に記憶する。また、撮像画像取得部５００は、例えばストレージ５００４から、記憶されたステレオ撮像画像を取得する。

ＵＩ部５０１は、入力デバイス５００５やディスプレイ５０２０に対する表示によるユーザインタフェースを実現する。制御部５０２は、この情報処理装置５０全体の動作を制御する。

撮像制御部５０３は、上述した撮像制御部１０１_１および１０１_２、速度取得部１０２および生成部１０３に対応する。すなわち、撮像制御部５０３は、各ステレオカメラ６Ｌおよび６Ｒの被写体（路面４）に対する速度を示す速度情報を取得し、取得した速度情報と、予め設定される各ステレオカメラ６Ｌおよび６Ｒの画角αおよび高さｈと、に基づき、各ステレオカメラ６Ｌおよび６Ｒの撮像を指示するためのトリガを生成する。

マッチング処理部５１０は、撮像画像取得部５００により取得されたステレオ撮像画像を構成する２枚の撮像画像を用いてマッチング処理を行う。３Ｄ情報生成部５１１は、３次元情報に係る処理を行う。例えば、３Ｄ情報生成部５１１は、マッチング処理部５１０によるマッチング処理の結果を用いて三角法等により深度情報を求め、求めた深度情報に基づき３次元点群情報（デプスマップ）を生成する。

３Ｄ情報取得部５２０は、３Ｄ情報生成部５１１によりステレオ撮像画像毎に求めた３次元点群情報を取得する。

第１状態特性値算出部５２１は、３Ｄ情報取得部５２０により取得された３次元点群情報と、撮像画像取得部５００により取得された各ステレオ撮像画像とを用いて、ＭＣＩを求めるための状態特性値のうち、ひび割れ率Ｃを算出する。

第２状態特性値算出部５２２は、３Ｄ情報取得部５２０により取得された３次元点群情報と、撮像画像取得部５００により取得された各ステレオ撮像画像とを用いて、ＭＣＩを求めるための状態特性値のうち、平坦性σを算出する。

第３状態特性値算出部５２３は、３Ｄ情報取得部５２０により取得された３次元点群情報と、撮像画像取得部５００により取得された各ステレオ撮像画像とを用いて、ＭＣＩを求めるための状態特性値のうち、わだち掘れ量Ｄ（物理量の一例）を算出する。第３状態特性値算出部５２３は、図１２に示すように、入力部５２３１と、認識部５２３２と、決定部５２３３と、計測部５２３４と、出力部５２３５と、を有する。

入力部５２３１は、３Ｄ情報取得部５２０により取得された３次元点群情報と、撮像画像取得部５００により取得された各ステレオ撮像画像とを入力する。入力部５２３１が入力するステレオ撮像画像は、ステレオカメラ６Ｌおよび６Ｒにより撮像されたステレオ撮像画像のうち、いずれの画像であってもよい。

認識部５２３２は、予め付加された路面の異物情報についての学習データに基づく教師あり学習（深層学習または機械学習）によって得られた学習モデルである識別器を用いて、入力部５２３１により入力されたステレオ撮像画像が示す被写体に異物が含まれるか否かを認識する。このとき、認識部５２３２は、記憶部５３０から識別器のデータを読み出す。

決定部５２３３は、認識部５２３２によるステレオ撮像画像に対する異物の認識結果に基づいて、３次元点群情報（デプスマップ）上の車両１の進行方向におけるわだち掘れ量Ｄの計測位置を決定する。

計測部５２３４は、決定部５２３３により決定された３次元点群情報における計測位置でわだち掘れ量Ｄを計測する。

出力部５２３５は、計測部５２３４により計測されたわだち掘れ量Ｄを、調書作成部５２４へ出力する。

調書作成部５２４は、第１状態特性値算出部５２１、第２状態特性値算出部５２２および第３状態特性値算出部５２３により算出された各状態特性値に基づきＭＣＩを求め、調書を作成する。

記憶部５３０は、例えば、上述の認識部５２３２が用いる学習モデルである識別器のデータを記憶する。記憶部５３０は、図１１に示すＲＡＭ５００２またはストレージ５００４により実現される。

報知部５３１は、ディスプレイ５０２０に各種情報を表示して報知する。報知部５３１は、例えば、決定部５２３３により決定された計測位置ではわだち掘れ量が計測できない旨、または、未だ最終的な計測位置が定まっていない旨等を報知する。なお、報知部５３１は、ディスプレイ５０２０における表示により報知することに限定されるものではなく、例えば、音声、または警告音等の電子音等の聴覚に働きかける手段によって報知するものとしてもよい。

情報処理装置５０における第１の実施形態に係る各機能を実現するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、フレキシブルディスク（ＦＤ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、当該プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供してもよい。また、当該プログラムをインターネット等のネットワークを経由して提供または配布するように構成してもよい。なお、上述のプログラムの提供または配布については、後述の第２の実施形態および第３の実施形態でも同様である。

当該プログラムは、撮像画像取得部５００、ＵＩ部５０１、制御部５０２、撮像制御部５０３、マッチング処理部５１０、３Ｄ情報生成部５１１、３Ｄ情報取得部５２０、第１状態特性値算出部５２１、第２状態特性値算出部５２２、第３状態特性値算出部５２３、調書作成部５２４および報知部５３１を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ５０００がストレージ５００４等の記憶媒体から当該プログラムを読み出して実行することにより、上述した各部がＲＡＭ５００２等の主記憶装置上にロードされ、撮像画像取得部５００、ＵＩ部５０１、制御部５０２、撮像制御部５０３、マッチング処理部５１０、３Ｄ情報生成部５１１、３Ｄ情報取得部５２０、第１状態特性値算出部５２１、第２状態特性値算出部５２２、第３状態特性値算出部５２３、調書作成部５２４および報知部５３１が主記憶装置上に生成されるようになっている。なお、上述のプログラムの構成および主記憶装置上の生成の態様については、後述の第２の実施形態および第３の実施形態でも同様である。

（トリガ生成方法）
次に、第１の実施形態に係る、各ステレオカメラ６Ｌおよび６Ｒに対して撮像を指示するためのトリガの生成方法について、より詳細に説明する。第１の実施形態において、生成部１０３は、ステレオカメラ６Ｌおよび６Ｒの被測定物（路面４）に対するステレオ撮像範囲の、車両１の速度の方向の距離を、車両１が速度情報が示す速度で移動する時間に対して、当該時間より短い所定時間以下の時間間隔でトリガを生成する。

すなわち、トリガは、ステレオカメラ６Ｌおよび６Ｒにおける路面４の撮影範囲が、車両１の進行方向に所定の重複率（進行方向重複率Ｄｒ）以上で重複することが保たれるように発生させる必要がある。これは、後述するように、各ステレオ撮像画像から撮像位置を算出する処理において、安定的に精度の高いカメラ位置を算出するため、十分な対応点を検出できるようにすることが目的である。進行方向重複率Ｄｒの下限値は、例えば実験的に「６０［％］」のように決定される。

第１の実施形態において、トリガの生成方法は、下記の３通りの方法を適用できる。
（１）一定時間間隔で生成する方法（第１の生成方法）
（２）カメラの移動速度を検出して生成する方法（第２の生成方法）
（３）撮像画像を用いて移動距離を算出して生成する方法（第３の生成方法）

＜第１の生成方法＞
先ず、トリガの第１の生成方法について説明する。第１の生成方法においては、撮像中の車両１の最高速度Ｓｐｅｅｄと、撮像範囲の大きさ（撮像範囲の車両１の進行方向の長さ）と、からトリガの時間間隔を決める。速度取得部５０２１は、車両１におけるシステム設定値や、情報処理装置５０に対するユーザ入力により、車両１の最高速度Ｓｐｅｅｄを予め取得しておく。撮像制御部５０３は、速度取得部５０２１から最高速度Ｓｐｅｅｄを取得し、トリガの時間間隔を、取得した最高速度Ｓｐｅｅｄと、進行方向視野Ｖｐおよび進行方向重複率Ｄｒと、を用いて、下記の式（４）により算出する。なお、進行方向重複率Ｄｒは、上述した下限値が適用される。

式（４）により、１秒間に生成すべきトリガ数ｆｐｓが算出される。トリガ数ｆｐｓの逆数が、生成すべき次のトリガまでの時間間隔となる。

進行方向視野Ｖｐは、模式的には、図４を用いて説明したように、各ステレオカメラ６Ｌおよび６Ｒの路面４からの高さｈと、各ステレオカメラ６Ｌおよび６Ｒの画角αと、に基づき設定できる。実際は、さらに、各ステレオカメラ６Ｌおよび６Ｒの路面４に対する角度等も考慮して、進行方向視野Ｖｐを設定する。

ここで、移動中の車両１が右または左にカーブした際には、ステレオカメラ６Ｌおよび６Ｒのうち外側にあるカメラの移動量が大きくなる。そのため、車両１の最高速度Ｓｐｅｅｄをそのまま使うのではなく、外側カメラの位置に基づく回転移動の速度を使うと、より好ましい。

撮像制御部５０３は、生成したトリガに応じて撮像されたステレオ撮像画像を、すべて例えばストレージ５００４やＲＡＭ５００２に記憶し、蓄積する。

＜第２の生成方法＞
次に、トリガの第２の生成方法について説明する。上述した第１の方法は、シンプルである一方、車両１が停止している状態や、所定の速度よりも低速で移動している状態では、最高速度Ｓｐｅｅｄに対して過剰に細かい間隔で撮像することになり、蓄積されるステレオ撮像画像の量が大きくなってしまう。第２の生成方法では、撮像制御部５０３は、カメラの移動速度を検出し、検出された移動速度に応じてトリガを生成する。

撮像制御部５０３は、速度取得部５０２１により取得された速度情報が示す現在の車両１の速度を、式（４）の最高速度Ｓｐｅｅｄとして用いて、次のトリガまでの時間間隔を算出し、撮像を行う。第２の生成方法によれば、車両１の移動速度が小さいほど、トリガ生成の時間間隔が長くなり、無駄な撮像が行われることが抑制される。

撮像制御部５０３は、生成したトリガに応じて撮像されたステレオ撮像画像を、すべて例えばストレージ５００４やＲＡＭ５００２に記憶し、蓄積する。

なお、この第２の生成方法と、上述した第１の生成方法は、組み合わせて実施することが可能である。

＜第３の生成方法＞
次に、トリガの第３の生成方法について説明する。第３の生成方法では、上述した第１の生成方法と同様に、車両１の最高速度Ｓｐｅｅｄに基づいた一定時間間隔でトリガを生成する。ここで、第３の生成方法においては、トリガに応じて撮像されたステレオ撮像画像を、すべて蓄積するのではなく、最後に蓄積されたステレオ撮像画像と、直前に撮像されたステレオ撮像画像との重複率が予め設定された進行方向重複率Ｄｒを下回った場合にのみ蓄積する。

後述するが、車両１の進行方向に重複するように撮像されたステレオ撮像画像のみを用いて、カメラ（車両１）の移動距離を算出することが可能である。

撮像制御部５０３は、最後に蓄積されたステレオ撮像画像と、直前に撮像されたステレオ撮像画像とを用いてカメラの移動距離を算出する。撮像制御部５０３は、算出した距離が、進行方向重複率Ｄｒの下限値に対応した移動距離を超えたか否かを判定する。撮像制御部５０３は、超えたと判定した場合には、直前に撮像されたステレオ撮像画像を蓄積する。一方、撮像制御部５０３は、超えていないと判定した場合は、直前に撮像したステレオ撮像画像を破棄する。

これにより、車両１の現在速度を計測するためのセンサを用いずとも、移動速度が小さいときには無駄な画像蓄積が行われないことになる。

なお、上述では、ステレオカメラ６Ｌおよび６Ｒに対して撮像を指示するためのトリガを、ステレオカメラ６Ｌおよび６Ｒの外部、例えば情報処理装置５０において生成して、ステレオカメラ６Ｌおよび６Ｒに送信するものとしているが、これに限定されない。例えば、当該トリガをステレオカメラ６Ｌおよび６Ｒの一方で生成し、これによりステレオカメラ６Ｌおよび６Ｒに対して撮像を指示するようにしてもよい。

（路面性状値の算出方法）
次に、第１の実施形態に係る路面性状値の算出方法について説明する。以下では、第１の実施形態に係る平坦性σ、ひび割れ率Ｃおよびわだち掘れ量Ｄの計測方法について説明する。

＜平坦性＞
図１３は、第１の実施形態の平坦性の算出処理の一例を示すフローチャートである。ステップＳ１００で、撮像画像取得部５００により、ステレオカメラ６Ｌおよび６Ｒにより撮像され、例えばストレージ５００４に記憶されたステレオ撮像画像が取得される。ステレオ撮像画像が取得されると、処理は、並列して処理が可能なステップＳ１０１ａおよびステップＳ１０１ｂに移行する。

ステップＳ１０１ａでは、ステップＳ１００で取得されたステレオ撮像画像に基づきデプスマップが生成される。図１４および図１５を用いて、第１の実施形態に適用可能なデプスマップの生成処理について説明する。図１４は、第１の実施形態のデプスマップの生成処理の一例を示すフローチャートである。

ステップＳ１２０で、マッチング処理部５１０は、撮像画像取得部５００からステレオ撮像画像を取得する。次のステップＳ１２１で、マッチング処理部５１０は、取得したステレオ撮像画像を構成する２枚の撮像画像に基づきマッチング処理を行う。次のステップＳ１２２で、３Ｄ情報生成部５１１は、ステップＳ１２１のマッチング処理結果に基づき深度情報を計算し、３次元点群情報であるデプスマップを生成する。

ステップＳ１２１およびステップＳ１２２の処理について、より具体的に説明する。第１の実施形態では、ステレオ撮像画像を構成する２枚の撮像画像を用いて、ステレオ法により深度情報を計算する。ここでいうステレオ法は、２つのカメラにより異なる視点から撮像された２枚の撮像画像を用い、一方の撮像画像のある画素（参照画素）に対して、他方の撮像画像内における対応する画素（対応画素）を求め、参照画素と対応画素とに基づき三角法により深度（奥行き値）を算出する方法である。

ステップＳ１２１で、マッチング処理部５１０は、撮像画像取得部５００から取得した、ステレオ撮像画像を構成する２枚の撮像画像を用い、基準となる一方の撮像画像における参照画素を中心とする所定サイズの領域に対応する、探索対象となる他方の撮像画像内の領域を、当該他方の撮像画像内で移動させて、探索を行う。

対応画素の探索は、様々な方法が知られており、例えば、ブロックマッチング法を適用することができる。ブロックマッチング法は、一方の撮像画像において参照画素を中心としてＭ画素×Ｎ画素のブロックとして切り出される領域の画素値を取得する。また、他方の撮像画像において、対象画素を中心としてＭ画素×Ｎ画素のブロックとして切り出される領域の画素値を取得する。画素値に基づき、参照画素を含む領域と、対象画素を含む領域との類似度を計算する。探索対象の画像内でＭ画素×Ｎ画素のブロックを移動させながら類似度を比較し、最も類似度が高くなる位置のブロックにおける対象画素を、参照画素に対応する対応画素とする。

類似度は、様々な計算方法により算出できる。例えば、下記の式（５）に示される、正規化相互相関（ＮＣＣ：Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）は、コスト関数の１つであって、コストを示す数値Ｃ_ＮＣＣの値が大きいほど、類似度が高いことを示す。式（５）において、値ＭおよびＮは、探索を行うための画素ブロックのサイズを表す。また、値Ｉ（ｉ，ｊ）は、基準となる一方の撮像画像における画素ブロック内の画素の画素値を表し、値Ｔ（ｉ，ｊ）は、探索対象となる他方の撮像画像における画素ブロック内の画素値を表す。

マッチング処理部５１０は、上述したように、一方の撮像画像における、Ｍ画素×Ｎ画素の画素ブロックに対応する、他方の撮像画像における画素ブロックを、他方の撮像画像内で、例えば画素単位で移動させながら式（５）の計算を実行し、数値Ｃ_ＮＣＣを算出する。他方の撮像画像において、数値Ｃ_ＮＣＣが最大となる画素ブロックの中心画素を、参照画素に対応する対象画素とする。

図１４の説明に戻り、ステップＳ１２２で、３Ｄ情報生成部５１１は、ステップＳ１２１のマッチング処理により求められた、参照画素および対応画素とに基づき、三角法を用いて奥行き値（深度情報）を算出し、ステレオ撮像画像を構成する一方の撮像画像および他方の撮像画像に係る３次元点群情報を生成する。

図１５は、三角法を説明するための図である。図中のターゲット物体４０３（例えば路面４上の１点）までの距離Ｓを、各撮像素子４０２（撮像素子６０１_Ｌおよび６０１_Ｒに対応）に撮像された画像内の撮像位置情報から算出することが処理の目的である。すなわち、この距離Ｓが、対象となる画素の深度情報に対応する。距離Ｓは、下記の式（６）により計算される。

なお、式（６）において、値ｂａｓｅｌｉｎｅは、カメラ４００ａおよび４００ｂ間の基線の長さ（基線長）を表す。これは、図５の例では、撮像レンズ６Ｌ_Ｌおよび６Ｌ_Ｒ（ステレオカメラ６Ｌの場合）による基線長に対応する。値ｆは、レンズ４０１（撮像レンズ６Ｌ_Ｌおよび６Ｌ_Ｒに対応）の焦点距離を表す。値ｑは、視差を表す。視差ｑは、参照画素と対応画素の座標値の差分に、撮像素子の画素ピッチを乗じた値である。対応画素の座標値は、ステップＳ１２１のマッチング処理の結果に基づき得られる。

この式（６）が、２つのカメラ４００ａおよび４００ｂ、すなわち、撮像レンズ６Ｌ_Ｌおよび６Ｌ_Ｒを利用した場合の距離Ｓの算出方法となる。これは２つのカメラ４００ａおよび４００ｂ、すなわち、撮像レンズ６Ｌ_Ｌおよび６Ｌ_Ｒによりそれぞれ撮像された撮像画像から距離Ｓを算出するものである。第１の実施形態では、この式（６）による算出方法を、ステレオカメラ６Ｌの撮像レンズ６Ｌ_Ｌおよび６Ｌ_Ｒ、ならびに、ステレオカメラ６Ｒの撮像レンズ６Ｒ_Ｌおよび６Ｒ_Ｒにより撮像された各撮像画像に適用して、画素毎に距離Ｓを算出する。

図１３の説明に戻り、ステップＳ１０１ｂで、３Ｄ情報生成部５１１は、カメラ位置および向きを推定する。ここで、カメラ位置は、例えばステレオカメラ６Ｌを一体と捉えた場合のその中心座標を示す。ステップＳ１０１ｂの処理の詳細については、後述する。

ステップＳ１０１ａおよびステップＳ１０１ｂの処理が終了すると、処理がステップＳ１０２に移行される。ステップＳ１０２で、３Ｄ情報生成部５１１は、時系列上で隣接する２つのデプスマップについて、ステップＳ１０１ｂで推定したカメラ位置および向きに基づき、前時刻のデプスマップの座標系に合うように、当該前時刻の次の次時刻のデプスマップの座標変換を行う。

なお、前時刻および次時刻は、ステレオカメラ６Ｌおよび６Ｒにおいてトリガに応じて時系列上で連続的に実行された１回目の撮像と、２回目の撮像とにおいて、１回目の撮像が行われた時刻を前時刻、２回目の撮像が行われた時刻を次時刻としている。すなわち、前時刻のデプスマップは、１回目の撮像によるステレオ撮像画像に基づき生成されたデプスマップであり、次時刻のデプスマップは、２回目の撮像によるステレオ撮像画像に基づき生成されたデプスマップである。

次のステップＳ１０３で、３Ｄ情報生成部５１１は、ステップＳ１０２で座標変換された次時刻のデプスマップを、前時刻のデプスマップに統合する。すなわち、ステップＳ１０２の座標変換により、前時刻および次時刻の２つのデプスマップが共通の座標系に並ぶため、これら２つのデプスマップを統合することができる。この、ステップＳ１０２およびステップＳ１０３の処理を、すべての時刻で撮像されたステレオ撮像画像に対して実施する。

なお、図５や図７に示すように、ステレオカメラ６Ｌおよび６Ｒ、または、ステレオカメラ６Ｌ、６Ｃおよび６Ｒを道路幅方向に複数台並べて用いる場合、道路幅方向に並んだステレオカメラ同士（例えばステレオカメラ６Ｌおよび６Ｒ）においても、同様にしてカメラ位置および向きを推定し、その後、デプスマップ統合を行う。

また、上述した第３の生成方法における、カメラ（車両１）の移動距離は、ステップＳ１０２の座標変換、および、ステップＳ１０３のデプスマップ統合処理において、算出が可能である。

次のステップＳ１０４で、３Ｄ情報取得部５２０は、３Ｄ情報生成部５１１から、ステップＳ１０３で統合されたデプスマップを取得する。そして、第２状態特性値算出部５２２は、３Ｄ情報取得部５２０に取得されたデプスマップに基づき、平坦性σを算出する。すなわち、デプスマップが統合されると、計測した区間の道路について路面形状が、１つの３次元空間中の点群として復元される。点群が復元されると、路面上の各サンプリング地点について、規定に従い前後１．５ｍ地点の座標を結んだ座標系を取り、中心部分の３次元点群までの距離を算出することで、式（２）と同様に変位量ｄを算出でき、式（３）に従い、この変位量ｄから平坦性σを算出できる。

また、わだち掘れ量Ｄについては、ステップＳ１０４で、第３状態特性値算出部５２３は、３Ｄ情報取得部５２０に取得されたデプスマップを道路幅方向にスキャンすることで、図１（ａ）および図１（ｂ）に示されるような深さＤ_１およびＤ_２を取得することができる。これら取得した深さＤ_１およびＤ_２と、デプスマップをスキャンした断面の情報に基づき、わだち掘れ量Ｄを求めることができる。このわだち掘れ量Ｄの計測の詳細については、後述する。

＜ひび割れ率＞
第１状態特性値算出部５２１は、例えば、ステップＳ１０３において統合されたデプスマップに対し、ステップＳ１００で取得されたステレオ撮像画像を適用する。すなわち、第１状態特性値算出部５２１は、車両１の進行方向に、進行方向重複率Ｄｒ以上の重複率でもって重複して撮像された各ステレオ撮像画像を統合する。第１状態特性値算出部５２１は、統合した画像に対して規定に従い５０［ｃｍ］のメッシュを設定し、画像解析により各メッシュ内のひび、およびパッチング等の情報を取得し、取得した情報に基づき規定に従いひび割れ率Ｃを算出する。

＜カメラ位置および向きの推定処理＞
次に、上述した図１３のフローチャートにおけるステップＳ１０１ｂの、カメラ位置および向きの推定処理について、より詳細に説明する。図１６は、第１の実施形態のカメラ位置および向きの推定処理の一例を示すフローチャートである。第１の実施形態では、カメラ位置および向きを、上述したＳｆＭを用いて推定する。

ステップＳ１３０で、３Ｄ情報生成部５１１は、撮像画像取得部５００からステレオ撮像画像を取得する。ここで、３Ｄ情報生成部５１１は、時系列上で連続的に撮像された２枚のステレオ撮像画像（前時刻のステレオ撮像画像、次時刻のステレオ撮像画像、とする）を取得する。次に、ステップＳ１３１で、３Ｄ情報生成部５１１は、取得した各ステレオ撮像画像から特徴点を抽出する。この特徴点を抽出する処理は、各ステレオ撮像画像の対応点として検出しやすい点を見つける処理であって、典型的には、画像中の変化があり、かつ変化が一様でないコーナーと呼ばれる点を検出する。

次のステップＳ１３２で、３Ｄ情報生成部５１１は、前時刻のステレオ撮像画像内で特徴点として抽出された点と同じ場所を撮像した点を、次時刻のステレオ撮像画像内から検出する。この検出処理は、オプティカルフローと呼ばれる手法や、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄ−Ｕｐｐｅｄ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅ）等に代表される特徴点マッチングと呼ばれる手法を適用することができる。

次のステップＳ１３３で、３Ｄ情報生成部５１１は、カメラの初期位置および向きを推定する。３Ｄ情報生成部５１１は、ステップＳ１３２において各ステレオ撮像画像で検出された対応点の座標を固定値とし、次時刻のステレオ撮像画像を撮像したカメラの位置および向きをパラメータとして連立方程式を解くことで、カメラの位置を推定し、３次元座標を算出する（ステップＳ１３４）。

図１７を参照しながら、カメラの初期位置および向きの推定方法について説明する。下記の式（７）は、空間の点Ｘ_ｊを、カメラ（視点）Ｐ_ｉに投影した座標ｘ_ｉｊの関係を表している。なお、式（７）において、値ｎが３次元空間における点の数、値ｍは、カメラ（撮像画像）の数をそれぞれ表す。

各値Ｐは、それぞれのカメラについて、３次元空間の点の座標をその画像の２次元座標に変換する投影行列であって、下記の式（８）で表される。式（８）は、右辺に示す３次元座標の２行２列の変換行列と、３次元座標から２次元座標への射影変換ｆ_ｉから成る。

図１７において、カメラに映った座標ｘ_ｉｊのみが与えられた連立方程式を用いて、値Ｘ_ｊと値Ｐ_ｉとを算出する。この連立方程式の解法には、線形最小二乗法を用いることができる。

次のステップＳ１３５で、３Ｄ情報生成部５１１は、ステップＳ１３４で算出されたカメラ位置を示す３次元座標を最適化する。連立方程式を解いて算出されたカメラの位置および向きは、十分な精度を有していない場合がある。そのため、算出された値を初期値として最適化処理を行うことで、精度を向上させる。

画像上探索により取得された対応点座標と、ステップＳ１３４で算出された３次元座標および式（８）の投影行列をパラメータとして上述した式（７）により算出される２次元座標ｘ_ｉｊ（再投影座標と呼ばれる）と、の差は、残差と呼ばれる。カメラの位置および向きを算出するために用いたすべてのステレオ撮像画像中の、すべての対応点について、この残差の総和が最小になるように、パラメータを最適化演算によって調整する。これを、バンドル調整と呼ぶ。バンドル調整による全体最適化を行うことで、カメラの位置および向きの精度を向上させることができる。

以上が、通常のＳｆＭにおけるカメラ位置および向き推定のベース処理である。第１の実施形態では、基線長が既知のステレオカメラ６Ｌおよび６Ｒを使用しているため、車両１の移動に応じて撮像範囲を重複させて撮像されたステレオ撮像画像における対応点の検出に加えて、ステレオ撮像画像を構成する２枚の撮像画像における対応点の探索が容易である。したがって、空間での３次元座標Ｘjが実スケール（現実の大きさ）で確定し、移動後のカメラの位置および向きも安定的に算出できる。

＜わだち掘れ量＞
次に、上述した図１３のフローチャートにおけるステップＳ１０４におけるわだち掘れ量Ｄの計測処理について、より詳細に説明する。図１８は、第１の実施形態のわだち掘れ量の計測処理の一例を示すフローチャートである。図１９は、第１の実施形態の異物の認識結果を示す画像の一例を示す図である。図２０は、わだち掘れ量の計測位置を説明するための図である。図２１は、わだち掘れ量の計測位置を示す図である。

ステップＳ２００で、第３状態特性値算出部５２３の入力部５２３１は、３Ｄ情報取得部５２０により取得されたデプスマップ（３次元点群情報）と、撮像画像取得部５００により取得された各ステレオ撮像画像（以下、図１８においては単に撮像画像と称する）とを入力する。

次のステップＳ２０１で、第３状態特性値算出部５２３の認識部５２３２は、予め付加された路面の異物情報についての学習データに基づく教師あり学習によって得られた学習モデルである識別器を用いて、入力部５２３１により入力された撮像画像が示す被写体に異物が含まれるか否かを認識する。このとき、認識部５２３２は、記憶部５３０から識別器のデータを読み出す。

次のステップＳ２０２で、認識部５２３２は、入力部５２３１により入力されたすべての撮像画像について、識別器を用いた認識の処理が終了したか否かを判定する。最後の撮像画像まで終了した場合（ステップＳ２０２：Ｙｅｓ）、ステップＳ２０３へ移行し、終了していない場合（ステップＳ２０２：Ｎｏ）、ステップＳ２００へ戻る。

次のステップＳ２０３で、認識部５２３２は、識別器を用いた撮像画像に対する認識結果を、決定部５２３３へ出力する。ここで、図１９に、認識部５２３２による識別器を用いた撮像画像についての異物の認識結果を示す。図１９の撮像画像に対する認識結果を示す識別画像ＣＩは、６ラベル（色なし、マンホール、道路標識、白線、路肩、その他）についての認識結果を示す画像の例である識別画像ＣＩでは、マンホール部９０１、白線部９０２、道路標識部９０３、路肩部９０４、および、その他９０５が異物として認識されている。逆に、識別画像ＣＩにおいて、これらの異物として認識された領域以外の領域は異物がないものとして認識される。

次のステップＳ２０４で、第３状態特性値算出部５２３の決定部５２３３は、入力部５２３１により入力された撮像画像において、わだち掘れ量を計測するための初期の計測位置を決定する。そして、決定部５２３３は、決定した初期の各計測位置を車両１の進行方向での中央として、車両１の車幅方向および進行方向にそれぞれ所定の長さで囲われた計測区間（所定範囲）を設定する。

決定部５２３３は、例えば、進行方向における１００［ｍ］の範囲内で５箇所、適切な間隔で初期の計測位置を決定する。例えば、決定部５２３３は、図２０に示すように、進行方向における１００［ｍ］の範囲内で、１０［ｍ］、３０［ｍ］、５０［ｍ］、７０［ｍ］、および９０［ｍ］の５箇所を初期の計測位置として決定する。そして、決定部５２３３は、図２０に示すように、車両１の車幅方向に計測範囲線で規定される所定の計測幅、および、決定した初期の各計測位置を車両１の進行方向での中央として前後に５［ｍ］の１０［ｍ］の長さを有する計測区間を設定する。図２０では、１０［ｍ］、３０［ｍ］、５０［ｍ］、７０［ｍ］、および９０［ｍ］の初期の計測位置に、それぞれ計測区間Ａ〜Ｅが対応している。図２０では、計測区間Ａから計測区間Ｅへ向かう方向を、車両１の進行方向とし、後述の図２１でも同様とする。

次のステップＳ２０５で、決定部５２３３は、撮像画像において決定した計測位置に対応する、認識結果を示す画像（識別画像）での位置において異物が避けられているか否かを判定する。異物が避けられている場合（ステップＳ２０５：Ｙｅｓ）、ステップＳ２０７へ移行し、異物が避けられていない場合（ステップＳ２０５：Ｎｏ）、ステップＳ２０６へ移行する。異物が避けられていない場合、報知部５３１は、当該計測位置ではわだち掘れ量Ｄを計測することができない旨を報知するものとしてもよい。

ステップＳ２０６で、決定部５２３３は、撮像画像において決定した計測位置に対応する、認識結果を示す画像（識別画像）での位置において異物が存在する場合、計測位置を車両１の進行方向の前側、または後側に所定の長さ（例えば、特定のピクセル分）だけずらして、新たな計測位置として決定する（すなわち、計測位置を変更する）。例えば、決定部５２３３は、図２１（ａ）に示すように、計測区間で決定した初期の計測位置に異物が存在する場合、図２１（ｂ）に示すように、車両１の進行方向の前側（左側）に所定の長さだけずらして、新たな計測位置として決定する。そして、図２１（ｂ）では、計測位置をずらした結果、新たな計測位置で異物を避けることができたことを示している。新たな計測位置の決定後、ステップＳ２０５へ戻る。

ここで、計測位置をずらす方法としては、例えば、車両１の進行方向の前側へ、異物を避ける位置まで所定の長さだけずらし続ける方法、車両１の進行方向の後側へ、異物を避ける位置まで所定の長さだけずらし続ける方法、または、進行方向の前後に交互に所定の長さだけずらし続ける方法等があるが、いずれの方法を採用するものとしてもよい。このうち、進行方向の前後に交互に所定の長さだけずらし続ける方法の場合、可能な限り初期位置付近において最終的な計測位置を決定することができ、他の計測区間との関係で、それぞれの決定した計測位置のばらつきを抑えることが可能となり、１００［ｍ］の区間内での正確な測定が可能となる。なお、この計測位置をずらす方法は、後述する第２の実施形態および第３の実施形態でも同様である。

なお、ステップＳ２０６において、決定部５２３３により決定された新たな計測位置が計測区間から外れた場合、計測部５２３４は、当該計測位置ではわだち掘れ量Ｄの計測を行わないものとすればよい。この場合、報知部５３１は、当該計測位置ではわだち掘れ量Ｄの計測を行わない旨を報知するものとしてもよい。

ステップＳ２０７で、決定部５２３３は、撮像画像において決定した計測位置に対応する、認識結果を示す画像（識別画像）での位置において異物が存在しない場合、当該計測位置をわだち掘れ量Ｄを計測する計測位置として決定する。決定部５２３３は、このように、設定した各計測区間において、ステップＳ２０５〜Ｓ２０７の処理により、わだち掘れ量Ｄを計測するための計測位置を決定する。

次のステップＳ２０８で、第３状態特性値算出部５２３の計測部５２３４は、決定部５２３３により決定された計測位置に対応するデプスマップ（３次元点群情報）の位置で、わだち掘れ量Ｄを計測する。具体的には、計測部５２３４は、上述したように、決定されたデプスマップ上の位置で道路幅方向にスキャンすることで、図１（ａ）および図１（ｂ）に示すような深さＤ_１およびＤ_２を取得し、深さＤ_１およびＤ_２と、デプスマップをスキャンした断面の情報に基づき、わだち掘れ量Ｄを計測する。

次のステップＳ２０９で、計測部５２３４は、計測したわだち掘れ量Ｄを、記憶部５３０に保存する。

以上のように、本実施形態に係る情報処理装置５０は、予め付加された路面の異物情報についての学習データに基づく教師あり学習（深層学習または機械学習）によって得られた学習モデルである識別器を用いて、撮像画像が示す被写体に異物が含まれるか否かを認識するものとしている。そして、情報処理装置５０は、決定した計測位置において異物があると判定した場合、当該計測位置から、所定の長さだけずらした位置を新たな計測位置とし、さらに異物があるか否かを判定するものとしている。これによって、学習モデルである識別器により撮像画像での異物を自動で認識することができ、道路点検におけるわだち掘れ量等の計測処理を正確かつ早く行うことができる。

なお、図１９に示す識別画像ＣＩの例では、異物の例として、わだち掘れ量Ｄを計測する際に、その塗装厚みにより計測結果を誤らせる原因となる道路標識、およびマンホール等を挙げているが、これらに限定されるものではなく、計測区間に存在する草、ポール、人、路上駐車中の車両等も異物として計測位置から避けるように対応してもよい。

また、記憶部５３０に記憶された識別器は、路面の異常情報についての新たな付加情報（学習データ）を用いた教師あり学習（深層学習または機械学習）により更新、または新規に生成されるものとしてもよい。ここで、学習を行う主体は、図１２に示した機能ブロックには図示していないが、上述の学習を行う学習部として、情報処理装置５０に含まれるものとしてもよく、または、外部装置によって学習データを用いた学習により生成された識別器（学習モデル）のデータを、記憶部５３０に記憶させて用いるものとしてもよい。

また、上述したように、第１の実施形態に係る撮像システム１０では、情報処理装置５０においてトリガを生成し、生成したトリガを各ステレオカメラ６Ｌおよび６Ｒにすべてのカメラに分配することで、各ステレオカメラ６Ｌおよび６Ｒが同期して撮像を行う構成となっている。このとき、各ステレオカメラ６Ｌおよび６Ｒが有するクロック生成器や、情報処理装置５０においてトリガを分配するためのトリガ分配部品、情報処理装置５０や各ステレオカメラ６Ｌおよび６Ｒにおけるトリガ配線長の差異等の影響により、実際に各ステレオカメラ６Ｌおよび６Ｒがトリガを取り込んで撮像を実行するタイミングに僅かなズレが発生する可能性がある。この撮像タイミングのズレは、可能な限り抑制することが好ましい。

特に基線長が既知であるステレオカメラ６Ｌおよび６Ｒの間では、撮像タイミングのズレを極力抑えることが望ましい。例えば、カメラＩ／Ｆ５０１０ａから各ステレオカメラ６Ｌおよび６Ｒにトリガ供給の配線を行う際に、トリガの品質確保のための中継器や、静電ノイズ等から保護するためにフォトカプラを経由する場合がある。この場合に、ステレオカメラ６Ｌおよび６Ｒ間でこれら中継器やフォトカプラを共有することが望ましい。

［第２の実施形態］
次に、第２の実施形態について、第１の実施形態と相違する点を中心に説明する。上述の第１の実施形態では、撮像画像（デプスマップ）での計測位置において異物が存在するか否かについて、予め付加された路面の異物情報についての学習データに基づく教師あり学習（深層学習または機械学習）によって得られた学習モデルを用いて認識するものとした。本実施形態では、計測位置で得られたわだち掘れ量が異常値であるか否かを判定し、異常値である場合、計測位置を変更する動作について説明する。なお、本実施形態に係る撮像システム１０の構成、および情報処理装置のハードウェア構成は、第１の実施形態での構成と同様である。

（情報処理装置の機能ブロックの構成）
図２２は、第２の実施形態に係る情報処理装置の機能を説明するための機能ブロックの構成の一例を示す図である図２２において、情報処理装置５０ａ（計測装置の一例）は、撮像画像取得部５００と、ＵＩ部５０１と、制御部５０２と、撮像制御部５０３と、を含む。情報処理装置５０ａは、さらに、マッチング処理部５１０と、３Ｄ情報生成部５１１と、３Ｄ情報取得部５２０と、第１状態特性値算出部５２１と、第２状態特性値算出部５２２と、第３状態特性値算出部５２３ａと、調書作成部５２４と、記憶部５３０ａと、報知部５３１とを含む。なお、撮像画像取得部５００、ＵＩ部５０１、制御部５０２、撮像制御部５０３、マッチング処理部５１０、３Ｄ情報生成部５１１、３Ｄ情報取得部５２０、第１状態特性値算出部５２１、第２状態特性値算出部５２２および調書作成部５２４の動作は、第１の実施形態で説明した通りである。

これら撮像画像取得部５００、ＵＩ部５０１、制御部５０２、撮像制御部５０３、マッチング処理部５１０、３Ｄ情報生成部５１１、３Ｄ情報取得部５２０、第１状態特性値算出部５２１、第２状態特性値算出部５２２、第３状態特性値算出部５２３ａおよび調書作成部５２４は、ＣＰＵ５０００上で動作するプログラムにより実現される。これに限らず、これら撮像画像取得部５００、ＵＩ部５０１、制御部５０２、撮像制御部５０３、マッチング処理部５１０、３Ｄ情報生成部５１１、３Ｄ情報取得部５２０、第１状態特性値算出部５２１、第２状態特性値算出部５２２、第３状態特性値算出部５２３ａおよび調書作成部５２４の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。

第３状態特性値算出部５２３ａは、３Ｄ情報取得部５２０により取得された３次元点群情報と、撮像画像取得部５００により取得された各ステレオ撮像画像とを用いて、ＭＣＩを求めるための状態特性値のうち、わだち掘れ量Ｄ（物理量の一例）を算出する。第３状態特性値算出部５２３ａは、図２２に示すように、入力部５２３１ａと、決定部５２３３ａと、計測部５２３４ａと、出力部５２３５ａと、を有する。

入力部５２３１ａは、３Ｄ情報取得部５２０により取得された３次元点群情報と、撮像画像取得部５００により取得された各ステレオ撮像画像とを入力する。入力部５２３１ａが入力するステレオ撮像画像は、ステレオカメラ６Ｌおよび６Ｒにより撮像されたステレオ撮像画像のうち、いずれの画像であってもよい。

決定部５２３３ａは、３次元点群情報（デプスマップ）上の車両１の進行方向におけるわだち掘れ量Ｄの計測位置を決定する。

計測部５２３４ａは、決定部５２３３ａにより決定された計測位置でわだち掘れ量Ｄを計測する。そして、計測部５２３４ａは、わだち掘れ量Ｄが正常に計測できたか否か、および、計測したわだち掘れ量Ｄが異常値であるか否かを判定する。

出力部５２３５ａは、計測部５２３４ａにより計測された、異常値でないわだち掘れ量Ｄを、調書作成部５２４へ出力する。

記憶部５３０ａは、例えば、計測部５２３４ａにより計測されたわだち掘れ量が異常値であるか否かが判定される際に用いるデータを記憶する。記憶部５３０ａは、図１１に示すＲＡＭ５００２またはストレージ５００４により実現される。

報知部５３１は、ディスプレイ５０２０に各種情報を表示して報知する。報知部５３１は、例えば、決定部５２３３ａにより決定された計測位置ではわだち掘れ量が計測できない旨、または、未だ最終的な計測位置が定まっていない旨等を報知する。なお、報知部５３１は、ディスプレイ５０２０における表示により報知することに限定されるものではなく、例えば、音声、または警告音等の電子音等の聴覚に働きかける手段によって報知するものとしてもよい。

（路面性状値のうちのわだち掘れ量の算出方法）
次に、上述の図１３のフローチャートにおけるステップＳ１０４におけるわだち掘れ量Ｄの計測処理について、本実施形態に係る処理をより詳細に説明する。図２３は、第２の実施形態のわだち掘れ量の計測処理の一例を示すフローチャートである。

ステップＳ２１０で、第３状態特性値算出部５２３ａの入力部５２３１ａは、３Ｄ情報取得部５２０により取得されたデプスマップ（３次元点群情報）と、撮像画像取得部５００により取得された各ステレオ撮像画像（以下、図２３においては単に撮像画像と称する）とを入力する。そして、第３状態特性値算出部５２３ａの決定部５２３３ａは、入力部５２３１ａにより入力された撮像画像において、わだち掘れ量を計測するための初期の計測位置を決定する。そして、決定部５２３３ａは、決定した初期の各計測位置を車両１の進行方向での中央として、車両１の車幅方向および進行方向にそれぞれ所定の長さで囲われた計測区間を設定する。具体的な計測区間の設定処理については、第１の実施形態で説明した通りである。

次のステップＳ２１１で、第３状態特性値算出部５２３ａの計測部５２３４ａは、決定部５２３３ａにより決定された計測位置に対応するデプスマップ（３次元点群情報）の位置で、わだち掘れ量Ｄを計測する。

次のステップＳ２１２で、計測部５２３４ａは、わだち掘れ量Ｄが正常に計測できたか否かを判定する。例えば、わだち掘れ量Ｄが正常に計測できない場合とは、図１（ａ）および図１（ｂ）に示すような、２本の「わだち」の間の部分が検出できず、深さＤ_１およびＤ_２を取得できない場合等が挙げられる。わだち掘れ量Ｄが正常に計測できた場合（ステップＳ２１２：Ｙｅｓ）、ステップＳ２１３へ移行し、正常に計測できない場合（ステップＳ２１２：Ｎｏ）、ステップＳ２１４へ移行する。わだち掘れ量Ｄが正常に計測できない場合、報知部５３１は、当該計測位置ではわだち掘れ量Ｄを正常に計測することができない旨を報知するものとしてもよい。

ステップＳ２１３で、計測部５２３４ａは、わだち掘れ量Ｄが正常に計測できている場合、さらに、当該わだち掘れ量Ｄが異常値であるか否かを判定する。例えば、計測部５２３４ａは、計測したわだち掘れ量Ｄと、過去に計測したわだち掘れ量Ｄ、もしくは平均的なわだち掘れ量等との比較、または、計測したわだち掘れ量Ｄが所定の正常範囲内にあるか否かを判定することによって、異常値であるか否かを判定するものとすればよい。この場合、過去に計測したわだち掘れ量Ｄ、平均的なわだち掘れ量、所定の正常範囲等に関するデータは、予め記憶部５３０ａに記憶されているものとすればよい。わだち掘れ量Ｄが異常値でない場合（ステップＳ２１３：Ｙｅｓ）、ステップＳ２１５へ移行し、異常値である場合（ステップＳ２１３：Ｎｏ）、ステップＳ２１４へ移行する。

ステップＳ２１４で、決定部５２３３ａは、計測部５２３４ａにより計測したわだち掘れ量Ｄが正常に計測できない場合、または異常値である場合、計測位置を車両１の進行方向の前側、または後側に所定の長さ（例えば、特定のピクセル分）だけずらして、新たな計測位置として決定する（すなわち、計測位置を変更する）。新たな計測値の具体的な決定方法は、第１の実施形態で説明した通りである。新たな計測位置の決定後、ステップＳ２１１へ戻る。

なお、ステップＳ２１４において、決定部５２３３ａにより決定された新たな計測位置が計測区間から外れた場合、計測部５２３４ａは、当該計測位置ではわだち掘れ量Ｄの計測を行わないものとすればよい。この場合、報知部５３１は、当該計測位置ではわだち掘れ量Ｄの計測を行わない旨を報知するものとしてもよい。

ステップＳ２１５で、計測部５２３４ａは、計測したわだち掘れ量Ｄを正常に計測された値として決定する。また、決定部５２３３ａは、計測部５２３４ａによりわだち掘れ量Ｄが正常に計測された計測位置を、最終的な（正規の）計測位置として決定する。

次のステップＳ２１６で、計測部５２３４ａは、決定したわだち掘れ量Ｄを、記憶部５３０ａに保存する。

以上のように、本実施形態に係る情報処理装置５０ａは、決定した計測位置において計測したわだち掘れ量Ｄが正常に計測できたか否か、および異常値であるか否かを判定するものとしている。そして、情報処理装置５０ａは、計測したわだち掘れ量Ｄが正常に計測できていない場合、または、異常値である場合、現在の計測位置から、所定の長さだけずらした位置を新たな計測位置として、改めてわだち掘れ量Ｄを計測するものとしている。これによって、計測したわだち掘れ量Ｄが正常に計測されたものか否かを自動で認識することができ、道路点検におけるわだち掘れ量等の計測処理を正確かつ早く行うことができる。

［第３の実施形態］
次に、第３の実施形態について、第１の実施形態と相違する点を中心に説明する。本実施形態では、異常情報データベース（以下、異常情報ＤＢと称する）から取得した異常情報と、決定した計測位置との比較から、当該計測位置に異物があるか否かを判定し、異物がある場合、計測位置を変更する動作について説明する。なお、本実施形態に係る撮像システム１０の構成、および情報処理装置のハードウェア構成は、第１の実施形態での構成と同様である。

（情報処理装置の機能ブロックの構成）
図２４は、第３の実施形態に係る情報処理装置の機能を説明するための機能ブロックの構成の一例を示す図である。図２４において、情報処理装置５０ｂ（計測装置の一例）は、撮像画像取得部５００と、ＵＩ部５０１と、制御部５０２と、撮像制御部５０３と、を含む。情報処理装置５０ｂは、さらに、マッチング処理部５１０と、３Ｄ情報生成部５１１と、３Ｄ情報取得部５２０と、第１状態特性値算出部５２１と、第２状態特性値算出部５２２と、第３状態特性値算出部５２３ｂと、調書作成部５２４と、記憶部５３０ｂと、報知部５３１とを含む。なお、撮像画像取得部５００、ＵＩ部５０１、制御部５０２、撮像制御部５０３、マッチング処理部５１０、３Ｄ情報生成部５１１、３Ｄ情報取得部５２０、第１状態特性値算出部５２１、第２状態特性値算出部５２２および調書作成部５２４の動作は、第１の実施形態で説明した通りである。

これら撮像画像取得部５００、ＵＩ部５０１、制御部５０２、撮像制御部５０３、マッチング処理部５１０、３Ｄ情報生成部５１１、３Ｄ情報取得部５２０、第１状態特性値算出部５２１、第２状態特性値算出部５２２、第３状態特性値算出部５２３ｂおよび調書作成部５２４は、ＣＰＵ５０００上で動作するプログラムにより実現される。これに限らず、これら撮像画像取得部５００、ＵＩ部５０１、制御部５０２、撮像制御部５０３、マッチング処理部５１０、３Ｄ情報生成部５１１、３Ｄ情報取得部５２０、第１状態特性値算出部５２１、第２状態特性値算出部５２２、第３状態特性値算出部５２３ｂおよび調書作成部５２４の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。

第３状態特性値算出部５２３ｂは、３Ｄ情報取得部５２０により取得された３次元点群情報と、撮像画像取得部５００により取得された各ステレオ撮像画像とを用いて、ＭＣＩを求めるための状態特性値のうち、わだち掘れ量Ｄ（物理量の一例）を算出する。第３状態特性値算出部５２３ｂは、図２４に示すように、入力部５２３１ｂと、決定部５２３３ｂと、計測部５２３４ｂと、出力部５２３５ｂと、を有する。

入力部５２３１ｂは、３Ｄ情報取得部５２０により取得された３次元点群情報と、撮像画像取得部５００により取得された各ステレオ撮像画像とを入力する。入力部５２３１ｂが入力するステレオ撮像画像は、ステレオカメラ６Ｌおよび６Ｒにより撮像されたステレオ撮像画像のうち、いずれの画像であってもよい。

決定部５２３３ｂは、３次元点群情報（デプスマップ）上の車両１の進行方向におけるわだち掘れ量Ｄの計測位置を決定する。

計測部５２３４ｂは、決定部５２３３ｂにより決定された計測位置でわだち掘れ量Ｄを計測する。

出力部５２３５ｂは、計測部５２３４ｂにより計測されたわだち掘れ量Ｄを、調書作成部５２４へ出力する。

記憶部５３０ｂは、過去のデータや目視等で異物位置を特定したデータである異物情報を蓄積している異物情報ＤＢを記憶する。記憶部５３０ｂは、図１１に示すＲＡＭ５００２またはストレージ５００４により実現される。

報知部５３１は、ディスプレイ５０２０に各種情報を表示して報知する。報知部５３１は、例えば、決定部５２３３ｂにより決定された計測位置ではわだち掘れ量が計測できない旨、または、未だ最終的な計測位置が定まっていない旨等を報知する。なお、報知部５３１は、ディスプレイ５０２０における表示により報知することに限定されるものではなく、例えば、音声、または警告音等の電子音等の聴覚に働きかける手段によって報知するものとしてもよい。

（路面性状値のうちのわだち掘れ量の算出方法）
次に、上述の図１３のフローチャートにおけるステップＳ１０４におけるわだち掘れ量Ｄの計測処理について、本実施形態に係る処理をより詳細に説明する。図２５は、第３の実施形態のわだち掘れ量の計測処理の一例を示すフローチャートである。

ステップＳ２２０で、第３状態特性値算出部５２３ｂの入力部５２３１ｂは、３Ｄ情報取得部５２０により取得されたデプスマップ（３次元点群情報）と、撮像画像取得部５００により取得された各ステレオ撮像画像（以下、図２５においては単に撮像画像と称する）とを入力する。そして、第３状態特性値算出部５２３ｂの決定部５２３３ｂは、入力部５２３１ｂにより入力された撮像画像において、わだち掘れ量を計測するための初期の計測位置を決定する。そして、決定部５２３３ｂは、決定した初期の各計測位置を車両１の進行方向での中央として、車両１の車幅方向および進行方向にそれぞれ所定の長さで囲われた計測区間を設定する。具体的な計測区間の設定処理については、第１の実施形態で説明した通りである。

次のステップＳ２２１で、入力部５２３１ｂは、さらに、記憶部５３０ｂに記憶された異常情報ＤＢから、入力した撮像画像に対応する異常情報を抽出して入力する。

次のステップＳ２２２で、決定部５２３３ｂは、入力部５２３１ｂにより入力された撮像画像と、異常情報ＤＢから抽出した異常情報との比較結果から、決定した計測位置において異物が避けられているか否か判定する。異物が避けられている場合（ステップＳ２２２：Ｙｅｓ）、ステップＳ２２４へ移行し、異物が避けられていない場合（ステップＳ２２２：Ｎｏ）、ステップＳ２２３へ移行する。異物が避けられていない場合、報知部５３１は、当該計測位置ではわだち掘れ量Ｄを計測することができない旨を報知するものとしてもよい。

ステップＳ２２３で、決定部５２３３ｂは、撮像画像において決定した計測位置において異物が存在する場合、計測位置を車両１の進行方向の前側、または後側に所定の長さ（例えば、特定のピクセル分）だけずらして、新たな計測位置として決定する（すなわち、計測位置を変更する）。新たな計測値の具体的な決定方法は、第１の実施形態で説明した通りである。新たな計測位置の決定後、ステップＳ２２２へ戻る。

なお、ステップＳ２２３において、決定部５２３３ｂにより決定された新たな計測位置が計測区間から外れた場合、計測部５２３４ｂは、当該計測位置ではわだち掘れ量Ｄの計測を行わないものとすればよい。この場合、報知部５３１は、当該計測位置ではわだち掘れ量Ｄの計測を行わない旨を報知するものとしてもよい。

ステップＳ２２４で、決定部５２３３ｂは、撮像画像において決定した計測位置において異物が存在しない場合、当該計測位置をわだち掘れ量Ｄを計測する正規の計測位置として決定する。決定部５２３３ｂは、このように、設定した各計測区間において、ステップＳ２２２〜Ｓ２２４の処理により、わだち掘れ量Ｄを計測するための計測位置を決定する。

次のステップＳ２２５で、第３状態特性値算出部５２３ｂの計測部５２３４ｂは、決定部５２３３ｂにより決定された計測位置に対応するデプスマップ（３次元点群情報）の位置で、わだち掘れ量Ｄを計測する。具体的には、計測部５２３４ｂは、上述したように、決定されたデプスマップ上の位置で道路幅方向にスキャンすることで、図１（ａ）および図１（ｂ）に示すような深さＤ_１およびＤ_２を取得し、深さＤ_１およびＤ_２と、デプスマップをスキャンした断面の情報に基づき、わだち掘れ量Ｄを計測する。

次のステップＳ２２６で、計測部５２３４ｂは、計測したわだち掘れ量Ｄを、記憶部５３０ｂに保存する。

以上のように、本実施形態に係る情報処理装置５０ｂは、過去のデータや目視等で異物位置を特定したデータである異物情報を予め蓄積した異物情報ＤＢから、撮像画像に対応する異常情報を抽出し、当該異常情報に基づいて、決定した計測位置において異物が避けられているか否か判定する。そして、情報処理装置５０ｂは、決定した計測位置において異物があると判定した場合、当該計測位置から、所定の長さだけずらした位置を新たな計測位置とし、さらに異物があるか否かを判定するものとしている。これによって、異常情報ＤＢに蓄積された異常情報により撮像画像での異物を自動で認識することができ、道路点検におけるわだち掘れ量等の計測処理を正確かつ早く行うことができる。

１ 車両
２ 取付部
３ 取付部材
４ 路面
５ ＰＣ
６、６Ｃ、６Ｌ、６Ｒ ステレオカメラ
６Ｃ_L、６Ｃ_R 撮像レンズ
６Ｌ_L、６Ｌ_R 撮像レンズ
６Ｒ_L、６Ｒ_R 撮像レンズ
１０ 撮像システム
５０、５０ａ、５０ｂ 情報処理装置
６０Ｃ、６０Ｌ、６０Ｒ ステレオ撮像範囲
６０Ｌ’、６０Ｒ’ ステレオ撮像範囲
６０Ｃ_L、６０Ｃ_R 撮像範囲
６０Ｌ_L、６０Ｌ_R 撮像範囲
６０Ｌ_L’、６０Ｌ_R’ 撮像範囲
６０Ｒ_L、６０Ｒ_R 撮像範囲
６１ 領域
１００₁、１００₂ 撮像部
１０１₁、１０１₂ 撮像制御部
１０２ 速度取得部
１０３ 生成部
４００ａ、４００ｂ カメラ
４０１ レンズ
４０２ 撮像素子
４０３ ターゲット物体
５００ 撮像画像取得部
５０１ ＵＩ部
５０２ 制御部
５０３ 撮像制御部
５１０ マッチング処理部
５１１ ３Ｄ情報生成部
５２０ ３Ｄ情報取得部
５２１ 第１状態特性値算出部
５２２ 第２状態特性値算出部
５２３、５２３ａ、５２３ｂ 第３状態特性値算出部
５２４ 調書作成部
５３０、５３０ａ、５３０ｂ 記憶部
５３１ 報知部
６００_L、６００_R 撮像光学系
６０１_L、６０１_R 撮像素子
６０２_L、６０２_R 駆動部
６０３_L、６０３_R 信号処理部
６０４ 出力部
９０１ マンホール部
９０２ 白線部
９０３ 道路標識部
９０４ 路肩部
９０５ その他
５０００ ＣＰＵ
５００１ ＲＯＭ
５００２ ＲＡＭ
５００３ グラフィクスＩ／Ｆ
５００４ ストレージ
５００５ 入力デバイス
５００６ データＩ／Ｆ
５００７ 通信Ｉ／Ｆ
５０１０ カメラＩ／Ｆ
５０２０ ディスプレイ
５０２１ 速度取得部
５２３１、５２３１ａ、５２３１ｂ 入力部
５２３２ 認識部
５２３３、５２３３ａ、５２３３ｂ 決定部
５２３４、５２３４ａ、５２３４ｂ 計測部
５２３５、５２３５ａ、５２３５ｂ 出力部
ＣＩ 識別画像

特開２０１５−１９７８０４号公報

Claims (11)

1. 被計測物の状態に関する学習データを用いた学習により得られた識別器を用いて、撮像部により撮像された撮像画像における前記被計測物の状態を認識する認識部と、
   前記認識部による前記被計測物の状態の認識結果に基づいて、該被計測物に対する所定の物理量を計測する計測位置を決定する決定部と、
   前記決定部により決定された前記計測位置で前記被計測物に対する前記物理量を計測する計測部と、
   を備えた計測装置。
2. 前記決定部は、前記認識部による前記被計測物の状態の認識結果に基づいて、決定した前記計測位置に該被計測物とは異なる異物が存在することを判定した場合、前記異物を避けた位置を新たな計測位置に決定する請求項１に記載の計測装置。
3. 前記認識部は、新たな付加情報に基づく前記学習により得られた前記識別器を用いて、前記撮像画像における前記被計測物の状態を認識する請求項１または２に記載の計測装置。
4. 撮像部により撮像された撮像画像に基づいて被計測物に対する所定の物理量を計測する計測位置を決定する決定部と、
   前記決定部により決定された前記計測位置で前記被計測物に対する前記物理量を計測する計測部と、
   を備え、
   前記決定部は、前記計測部により計測された前記物理量が異常でない場合、該物理量が計測された前記計測位置を正規の計測位置として決定する計測装置。
5. 前記決定部は、前記計測部により計測された前記物理量が異常である場合、前記計測位置を変更して新たな計測位置を決定する請求項４に記載の計測装置。
6. 撮像部により撮像された撮像画像に基づいて被計測物に対する所定の物理量を計測する計測位置を決定する決定部と、
   前記被計測物に対する前記物理量を計測する計測部と、
   を備え、
   前記計測部は、前記決定部により決定された前記計測位置と、予め求められている前記被計測物とは異なる異物情報との比較結果に基づいて、前記異物情報が示す異物を避けた該計測位置で前記物理量の計測を開始する計測装置。
7. 前記決定部は、決定した前記計測位置が前記異物情報が示す異物が存在する位置である場合、前記異物を避けた位置を新たな計測位置に決定する請求項６に記載の計測装置。
8. 前記計測部は、前記決定部により決定された前記計測位置が所定範囲を外れた場合、前記被計測物に対する前記物理量を計測しない請求項１〜７のいずれか一項に記載の計測装置。
9. 前記決定部により決定された前記計測位置が所定範囲を外れた場合に、前記計測部が前記被計測物に対する前記物理量を計測しない旨を報知する報知部を、さらに備えた請求項８に記載の計測装置。
10. 被計測物を撮像して撮像画像を得る撮像部と、
    前記被計測物の状態に関する学習データを用いた学習により得られた識別器を用いて、前記撮像画像における前記被計測物の状態を認識する認識部と、
    前記認識部による前記被計測物の状態の認識結果に基づいて、該被計測物に対する所定の物理量を計測する計測位置を決定する決定部と、
    前記決定部により決定された前記計測位置で前記被計測物に対する前記物理量を計測する計測部と、
    を有する計測システム。
11. 前記撮像部と、
    請求項１〜９のいずれか一項に記載の計測装置と、
    を備え、
    前記撮像部は、複数のステレオカメラである車両。

Images