JP2023136923A - 演算装置、演算方法及びプログラム - Google Patents

Abstract

【課題】路面の状態を適切に推定する。
【解決手段】演算装置１４は、道路を走行する車両に設けられるカメラによって撮像された、道路の撮像画像を取得する画像取得部３０と、車両に設けられるセンサによって検出された、道路の凹凸状態を示す凹凸情報を取得する凹凸情報取得部３２と、撮像画像に写っている道路上の注目領域の位置情報を算出する位置算出部３４と、注目領域の位置情報に基づき、凹凸情報から、注目領域での凹凸情報を抽出する凹凸情報抽出部３６と、撮像画像の注目領域での画像データと注目領域での凹凸情報を対応づける処理を実行する処理部３８と、を含む。
【選択図】図３

Description

本発明は、演算装置、演算方法及びプログラムに関する。

例えば特許文献１に示すように、道路を走行している車両の加速度を検出し、その加速度データを学習モデルに入力することで、路面の状態を推定する技術が知られている。

特開２０２０－８６９６０号公報

ここで、撮像画像や路面の凹凸情報などから路面状態を推定することも考えられる。しかしながら、撮像画像は、画角内に収まる路面を広く捉えて記録できる一方、情報が画像データに限られるため、路面状態を高精度に算出できない場合がある。一方、凹凸情報は、路面状態を高精度に算出できるが、計測範囲が狭くなる場合がある。そのため、車両を走行させて路面の状態を推定する際には、路面の状態を適切に推定することが求められている。

本発明は、上記に鑑みてなされたものであって、路面の状態を適切に推定可能な演算装置、演算方法及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本開示に係る演算装置は、道路を走行する車両に設けられるカメラによって撮像された、前記道路の撮像画像を取得する画像取得部と、前記車両に設けられるセンサによって検出された、前記道路の凹凸状態を示す凹凸情報を取得する凹凸情報取得部と、前記撮像画像に写っている前記道路上の注目領域の位置情報を算出する位置算出部と、前記注目領域の位置情報に基づき、前記凹凸情報から、前記注目領域での凹凸情報を抽出する凹凸情報抽出部と、前記撮像画像の注目領域での画像データと前記注目領域での凹凸情報を対応づける処理を実行する処理部と、を含む。

上述した課題を解決し、目的を達成するために、本開示に係る演算方法は、道路を走行する車両に設けられるカメラによって撮像された、前記道路の撮像画像を取得するステップと、前記車両に設けられるセンサによって検出された、前記道路の凹凸状態を示す凹凸情報を取得するステップと、前記撮像画像に写っている前記道路上の注目領域の位置情報を算出するステップと、前記注目領域の位置情報に基づき、前記凹凸情報から、前記注目領域での凹凸情報を抽出するステップと、前記撮像画像の注目領域での画像データと前記注目領域での凹凸情報を対応づける処理を実行するステップと、を含む。

上述した課題を解決し、目的を達成するために、本開示に係るプログラムは、道路を走行する車両に設けられるカメラによって撮像された、前記道路の撮像画像を取得するステップと、前記車両に設けられるセンサによって検出された、前記道路の凹凸状態を示す凹凸情報を取得するステップと、前記撮像画像に写っている前記道路上の注目領域の位置情報を算出するステップと、前記注目領域の位置情報に基づき、前記凹凸情報から、前記注目領域での凹凸情報を抽出するステップと、前記撮像画像の注目領域での画像データと前記注目領域での凹凸情報を対応づける処理を実行するステップと、をコンピュータに実行させる。

本発明によれば、路面の状態を適切に推定できる。

図１は、本実施形態に係る検出システムの模式的なブロック図である。 図２は、車両の模式図である。 図３は、演算装置の模式的なブロック図である。 図４は、撮像画像の一例を示す模式図である。 図５は、凹凸情報の一例を示す模式図である。 図６は、注目領域での凹凸情報の抽出を説明するための模式図である。 図７は、本実施形態に係る演算装置の処理フローを説明するフローチャートである。

以下に、本発明の好適な実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。

（検出システム）
図１は、本実施形態に係る検出システムの模式的なブロック図である。図１に示すように、本実施形態に係る検出システム１は、車両１０と、測定データ取得装置１２と、演算装置１４とを含む。検出システム１は、演算装置１４によって、挙動情報に基づいて道路の路面状態を算出する。路面状態は、本実施形態では路面の凹凸度合いを示す指標である。より詳しくは、本実施形態においては、路面状態とは、ＩＲＩ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｒｏｕｇｈｎｅｓｓ Ｉｎｄｅｘ；国際ラフネス指数）である。ただし、路面状態は、ＩＲＩに限られず、路面の状態を示す任意の指標であってよい。例えば、路面状態は、ＩＲＩ、路面の平たん性、ひび割れ、わだち掘れ、及びＭＣＩ（Ｍｅｉｎｔｅｎａｎｃｅ Ｃｏｎｔｒｏｌ Ｉｎｄｅｘ）の少なくとも１つであってもよい。

検出システム１においては、車両１０が、道路を走行しながら凹凸情報及び位置情報を検出しつつ、道路を撮像し、検出した凹凸情報、位置情報及び撮像画像を測定データ取得装置１２に送信する。凹凸情報、位置情報及び撮像画像については後述する。測定データ取得装置１２は、例えば道路を管理する主体に管理される装置（コンピュータ）である。測定データ取得装置１２は、車両１０から送信された凹凸情報、位置情報及び撮像画像を、演算装置１４に送信する。このように、演算装置１４は、測定データ取得装置１２を介して凹凸情報、位置情報及び撮像画像を取得するが、それに限られない。例えば、検出システム１は、測定データ取得装置１２が設けられておらず、演算装置１４が、車両１０から凹凸情報、位置情報及び撮像画像を取得してもよい。

（車両）
図２は、車両の模式図である。図２に示すように、車両１０は、位置センサ１０Ａと、カメラ１０Ｂと、センサ１０Ｃと、測定装置１０Ｄとを備える。位置センサ１０Ａは、車両１０の位置情報を取得するセンサである。車両１０の位置情報とは、車両１０及び道路の位置を規定可能な座標系である所定座標系における、車両１０の位置を示す情報である。ここでの所定座標系は、車両１０や道路上の位置を規定可能な任意の座標系であってよく、例えば本実施形態では地球座標系であってよい。この場合、位置センサ１０Ａは、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｖａｔｉｏｎ Ｓａｔｅｌｉｔｅ Ｓｙｓｔｅｍ）用のモジュールである。なお、図２におけるＺ方向は、鉛直方向の上方を指し、図２は鉛直方向上方から車両１０を見た場合の模式図といえる。

カメラ１０Ｂは、車両１０の周囲を撮像するカメラである。より詳しくは、本実施形態においては、カメラ１０Ｂは、車両１０が移動している道路を撮像する。以下、カメラ１０Ｂが撮像した、車両１０が移動している道路の画像を、適宜、撮像画像と記載する。

センサ１０Ｃは、凹凸情報を検出するセンサである。凹凸情報とは、車両１０が移動している道路の凹凸状態を示すデータであるが、カメラ１０Ｂによって撮像された画像とは異なる。さらに言えば、凹凸情報とは、これによって上述の路面状態（ＩＲＩなど）が算出できるデータであり、言い換えれば、路面状態の算出元となるデータといえる。

本実施形態では、凹凸情報は、車両１０の挙動を示す挙動情報を指してよい。車両１０の挙動は、道路の凹凸状態に応じて変化するため、挙動情報は、凹凸状態を示すデータといえる。挙動情報は、道路を走行中の車両１０の挙動を示す情報であれば任意の情報であってよいが、例えば、センサ１０Ｃは、車両１０の加速度を挙動情報として検出することが好ましい。この場合、センサ１０Ｃは、加速度を検出する加速度センサであり、より好ましくは３軸での加速度を検出する加速度センサである。また、センサ１０Ｃが検出する挙動情報は、加速度であることに限られず、例えば、加速度、車両１０の速度、車両１０の角速度、車両１０のステアリング角度、車両１０のブレーキ量、車両１０のワイパの動作、及び車両１０のサスペンションの作動量の少なくとも１つであってよい。車両１０の速度を検出するセンサ１０Ｃは例えば速度センサであり、車両１０の速度を検出するセンサ１０Ｃは例えば３軸ジャイロセンサであり、車両１０のステアリング角度を検出するセンサ１０Ｃは例えばステアリングセンサであり、車両１０のブレーキ量を検出するセンサ１０Ｃは例えばブレーキセンサであり、車両１０のワイパの動作を検出するセンサ１０Ｃは例えばワイパセンサが挙げられ、車両１０のサスペンションの作動量を検出するセンサ１０Ｃは例えばサスペンションセンサが挙げられる。

凹凸情報は、挙動情報に限られず、例えば、センサ１０Ｃから路面上の各位置までの距離を示す距離情報であってもよい。言い換えれば、凹凸情報は、挙動情報と距離情報との少なくとも一方であってよい。センサ１０Ｃから路面上の各位置までの距離は、道路の凹凸状態に応じて変化するため、距離情報は、凹凸状態を示すデータといえる。この場合のセンサ１０Ｃは、距離を測定する測距センサであり、例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）を用いてよい。この場合、センサ１０Ｃは、車両１０が移動している道路上の各位置にレーザ光を照射して、そのレーザ光からの反射光に基づいて、道路上の各位置までの距離を、距離情報として検出する。

なお、センサ１０Ｃの数や設けられる位置は任意であってよい。

測定装置１０Ｄは、位置センサ１０Ａ、カメラ１０Ｂ、及びセンサ１０Ｃを制御して、位置情報及び凹凸情報を検出させつつ画像を撮像させ、位置情報と凹凸情報と撮像画像とを記録する装置である。すなわち、測定装置１０Ｄは、位置情報と凹凸情報と撮像画像とを記録するデータロガーとして機能する。測定装置１０Ｄは、コンピュータであるとも言え、制御部１０Ｄ１と、記憶部１０Ｄ２と、通信部１０Ｄ３とを含む。制御部１０Ｄ１は、演算装置であり、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算回路を含む。記憶部１０Ｄ２は、制御部１０Ｄ１の演算内容やプログラム、車両１０の位置情報及び挙動情報などの各種情報を記憶するメモリであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のような主記憶装置と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの不揮発性の記憶装置のうち、少なくとも１つ含む。なお、記憶部１０Ｄ２が保存する制御部１０Ｄ１用のプログラムは、測定装置１０Ｄが読み取り可能な記録媒体に記憶されていてもよい。通信部１０Ｄ３は、外部の装置と通信を行う通信モジュールであり、例えばアンテナなどである。

制御部１０Ｄ１は、記憶部１０Ｄ２に記憶されたプログラムを読み出して、位置センサ１０Ａ、カメラ１０Ｂ及びセンサ１０Ｃの制御を実行する。制御部１０Ｄ１は、車両１０が道路を走行中に、所定時間ごとにカメラ１０Ｂに道路を撮像させて、その撮像画像を取得する。同様に、制御部１０Ｄ１は、車両１０が道路を走行中に、所定時間ごとにセンサ１０Ｃに凹凸情報を検出させて、その凹凸情報を取得する。制御部１０Ｄ１は、位置センサ１０Ａに、車両１０が道路を走行中に、所定時間ごとに車両１０の位置情報を検出させて、その位置情報を取得する。すなわち、制御部１０Ｄ１は、車両１０が所定時間走行するたびに、カメラ１０Ｂに撮像させセンサ１０Ｃに凹凸情報を検出させ位置センサ１０Ａに位置情報を検出させる。ここでの所定時間とは、例えば１分など、一定の時間であることが好ましいが、所定時間は一定の時間であることに限られず、任意の長さであってよい。すなわち、所定時間は都度変化してもよい。

制御部１０Ｃ１は、取得した撮像画像と位置情報とを関連付けて、記憶部１０Ｃ２に記憶させる。同様に、制御部１０Ｃ１は、取得した凹凸情報と位置情報とを関連付けて、記憶部１０Ｃ２に記憶させる。すなわち、同じタイミングで検出された撮像画像と位置情報とが関連付けられ、同じタイミングで検出された凹凸情報と位置情報とが関連付けられる。記憶部１０Ｃ２には、関連付けられたこれらの情報が、検出されたタイミング毎に記憶される。なお、関連付けられたこれらの情報は、同じタイミングで検出されたものであるが、厳密に同じタイミングであることに限られず、異なるタイミングで検出されたものであってよい。この場合、例えば、検出タイミングの差が所定値以下となる撮像画像と位置情報とが、同じタイミングで検出されたものとして扱われて、同様に、検出タイミングの差が所定値以下となる凹凸情報と位置情報とが、同じタイミングで検出されたものとして扱われて、関連付けられる。なお、上記では全てのセンサのサンプリング周期が同じ前提で説明したが、各センサのサンプリング周期が異なる場合には適宜調整を行う。

制御部１０Ｃ１は、関連付けられた撮像画像及び位置情報と、関連付けられた凹凸情報及び位置情報とを、通信部１０Ｃ３を介して、測定データ取得装置１２に送信する。測定データ取得装置１２は、車両１０から受信したこれらの情報（撮像画像と凹凸情報と位置情報）を、演算装置１４に送信する。なお、測定データ取得装置１２を設けない場合は、制御部１０Ｃ１は、撮像画像と凹凸情報と位置情報とを、演算装置１４に直接送信してもよい。

（演算装置）
図３は、演算装置の模式的なブロック図である。図３に示すように、演算装置１４は、例えばコンピュータであり、通信部２０と、記憶部２２と、制御部２４とを含む。通信部２０は、外部の装置と通信を行う通信モジュールであり、例えばアンテナなどである。記憶部２２は、制御部２４の演算内容やプログラムを記憶するメモリであり、例えば、ＲＡＭと、ＲＯＭのような主記憶装置と、フラッシュメモリやＨＤＤなどの不揮発性の記憶装置のうち、少なくとも１つを含む。なお、記憶部２２が保存する制御部２４用のプログラムは、演算装置１４が読み取り可能な記録媒体に記憶されていてもよい。

制御部２４は、演算装置であり、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算回路を含む。制御部２４は、画像取得部３０と、凹凸情報取得部３２と、位置算出部３４と、凹凸情報抽出部３６と、処理部３８とを含む。制御部２４は、記憶部２２からプログラム（ソフトウェア）を読み出して実行することで、画像取得部３０と凹凸情報取得部３２と位置算出部３４と凹凸情報抽出部３６と処理部３８とを実現して、それらの処理を実行する。なお、制御部２４は、１つのＣＰＵによってこれらの処理を実行してもよいし、複数のＣＰＵを備えて、それらの複数のＣＰＵで、処理を実行してもよい。また、画像取得部３０と凹凸情報取得部３２と位置算出部３４と凹凸情報抽出部３６と処理部３８との少なくとも一部を、ハードウェアで実現してもよい。

（画像取得部）
図４は、撮像画像の一例を示す模式図である。画像取得部３０は、カメラ１０Ｂによって撮像された撮像画像を取得する。画像取得部３０は、通信部２０を介して、測定データ取得装置１２から、撮像画像を取得する。画像取得部３０は、所定時間毎に撮像されたそれぞれの撮像画像を、さらに言えば関連付けられた所定時間毎の撮像画像及び位置情報を、取得する。図４の例では、撮像画像Ｃにおいて、車両１０の前方の道路Ｒが写っており、道路Ｒ上のマンホールＡが写っている。ただし図４は撮像画像の一例である。

（凹凸情報取得部）
図５は、凹凸情報の一例を示す模式図である。凹凸情報取得部３２は、センサ１０Ｃによって検出された凹凸情報を取得する。凹凸情報取得部３２は、通信部２０を介して、測定データ取得装置１２から凹凸情報を取得する。画像取得部３０は、所定時間毎に検出されたそれぞれの凹凸情報を、さらに言えば関連付けられた所定時間毎の凹凸情報及び位置情報を取得する。図５は、凹凸情報が車両１０の挙動情報（例えば加速度）である場合の一例を示している。図５に示すように、凹凸情報は所定時間毎に検出される。

（位置算出部）
位置算出部３４は、画像取得部３０によって取得された撮像画像に基づき、撮像画像に写っている道路上の注目領域の、位置情報を算出する。注目領域の位置情報とは、所定座標系（例えば地球座標系）における注目領域の位置である。注目領域は、撮像画像に写っている道路上の任意の領域であってよい。例えば、図４の例では、撮像画像Ｃにおける道路Ｒ上のマンホールＡを、注目領域としてよい。ただし、注目領域は、マンホールに限られず、道路上の任意の対象物が存在している領域であってよく、例えば、道路上のひび割れている箇所や、窪んでいる箇所や、白線が設けられた箇所などであってもよい。

位置算出部３４は、撮像画像に基づいた任意の方法で注目領域の位置情報を算出してもよいが、本実施形態では、次の方法で注目領域の位置情報を算出する。位置算出部３４は、撮像画像内において注目領域が占めている箇所を、言い換えれば、撮像画像の座標系における注目領域の位置を、特定する。位置算出部３４は、撮像画像の座標系における注目領域の位置に基づいて、所定座標系（例えば地球座標系）における注目領域の位置を、注目領域の位置情報として算出する。具体的には、位置算出部３４は、その撮像画像が撮像されたタイミングにおける車両１０の位置情報（その撮像画像に関連付けられた車両１０の位置情報）と、その撮像画像の座標系における注目領域の位置とに基づいて、注目領域の位置情報を算出する。より詳しくは、位置算出部３４は、撮像画像の座標系における注目領域の位置に基づいて、所定座標系における、車両１０から注目領域までの距離及び方向を算出する。そして、位置算出部３４は、撮像画像が撮像されたタイミングにおける車両１０の位置（所定座標系における位置）から、車両１０から注目領域までの方向に、算出した距離だけ離れた位置を、注目領域の位置情報として算出する。なお、車両１０から注目領域までの距離の算出方法は任意でよく、例えば、カメラ１０Ｂをセットした高さや向き（カメラ１０Ｂの設置状態）に基づき校正してもよいし、複数のカメラ１０Ｂを設けてそれらの撮像画像から三角測量してもよいし、１台のカメラ１０Ｂのレンズ収差に基づいて歪み方から割り出してもよい。

なお、撮像画像における注目領域の位置は、任意の方法で設定されてよい。例えば、位置算出部３４は、ユーザによって設定された撮像画像における注目領域を取得してもよい。また例えば、位置算出部３４は、画像認識技術により、注目領域の位置を特定してよい。この場合例えば、位置算出部３４は、撮像画像の全域のうちで、各画素の画像データの特徴量が所定条件を満たす領域（例えばマンホールであるとの特徴量を満たす領域）を、注目領域の位置として特定する。なお、ここでの画像データは、例えば階調値や輝度値を指す。

位置算出部３４は、所定時間毎に撮像された撮像画像のそれぞれについて、同様の処理を実行することで、撮像画像毎に注目領域の位置を特定してよい。また、位置算出部３４は、１つの撮像画像について、複数の注目領域を設定して、複数の注目領域について、位置情報を算出してもよい。なお、それぞれの注目領域は、同じ対象物であってもよいし、異なる対象物であってもよい。

（凹凸情報抽出部）
凹凸情報抽出部３６は、注目領域の位置情報に基づき、凹凸情報取得部３２が取得した凹凸情報のうちから、注目領域での凹凸情報を抽出する。すなわち、凹凸情報抽出部３６は、所定時刻毎に検出されたそれぞれの凹凸情報のうちから、注目領域での凹凸情報を選択する。注目領域での凹凸情報とは、注目領域において検出された凹凸情報である。すなわち例えば、凹凸情報が車両１０の挙動情報である場合には、注目領域での凹凸情報とは、車両１０が注目領域上に位置するタイミング（車両１０が注目領域上を通過するタイミング）で検出された、車両１０の挙動情報である。また例えば、凹凸情報が道路までの距離情報である場合には、注目領域での凹凸情報とは、車両１０から注目領域までの距離を示す距離情報である。

凹凸情報抽出部３６は、注目領域の位置情報に基づいた任意の方法で注目領域での凹凸情報を抽出してもよいが、本実施形態では、次の方法で注目領域での凹凸情報を抽出してよい。例えば、凹凸情報抽出部３６は、それぞれの凹凸情報のうちから、検出された位置が注目領域の位置と重なる凹凸情報を、注目領域での凹凸情報として抽出してよい。ただし厳密に位置が重なることに限られず、凹凸情報抽出部３６は、検出された位置が注目領域の位置から所定距離範囲内になる凹凸情報を、注目領域での凹凸情報として抽出してよい。例えば凹凸情報が道路までの距離情報である場合には、凹凸情報抽出部３６は、凹凸情報を検出した際の車両１０の位置と、距離情報とから、凹凸情報の検出位置（所定座標系における凹凸情報の検出位置）を算出する。そして、凹凸情報抽出部３６は、検出位置が注目領域の位置から所定距離内の凹凸情報を、注目領域での凹凸情報として抽出してよい。

図６は、注目領域での凹凸情報の抽出を説明するための模式図である。図６に示すように、例えば凹凸情報が車両１０の挙動情報である場合には、注目領域が撮像されたタイミングｔ１が、注目領域の凹凸情報が検出されたタイミングｔ２（車両１０が注目領域に到達したタイミング）よりも、早くなる場合がある。そのため、凹凸情報抽出部３６は、注目領域での凹凸情報が検出されたタイミングを算出し、そのタイミングで検出された凹凸情報を、注目領域での凹凸情報としてもよい。具体的には、例えば凹凸情報が車両１０の挙動情報である場合には、凹凸情報抽出部３６は、撮像画像が撮像された際の車両１０の位置情報と、注目領域の位置情報とから、車両１０が注目領域に到達するまでの到達時間を算出する。例えば、凹凸情報抽出部３６は、撮像画像が撮像された際の車両１０の位置と、その際の車両１０の進行方向及び速度とから、車両１０が注目領域に到達するまでの到達時間を算出してよい。そして、凹凸情報抽出部３６は、その撮像画像が撮像されたタイミング（図６の例ではタイミングｔ０）から到達時間だけ遅れたタイミング（図６の例ではタイミングｔ１）を、注目領域での凹凸情報が検出されたタイミングとして、そのタイミングにおける凹凸情報を、注目領域での凹凸情報とする。また、凹凸情報抽出部３６は、凹凸情報が検出されたタイミングの車両１０の位置情報に基づき、注目領域での凹凸情報としてもよい（注目領域での凹凸情報としてもよい）。

（処理部）
処理部３８は、撮像画像の注目領域での画像データと、注目領域での凹凸情報とを対応付ける処理を実行する。処理部３８は、撮像画像の注目領域での画像データと、注目領域での凹凸情報とを対応付けた情報を生成して、その対応付けた情報に基づき、路面状態が未知の道路の路面状態を算出する。

撮像画像は、画角内に収まる路面を広く捉えて記録できる一方、情報が画像データに限られるため、路面状態を高精度に算出できない場合がある。一方、凹凸情報は、路面状態を高精度に算出できるが、計測範囲が狭くなる場合がある。それに対して、本実施形態においては、撮像画像の注目領域での画像データと、注目領域での凹凸情報とを対応付けることで、同じ位置における画像データと凹凸情報とを対応付けることができる。これにより、例えば路面状態を、高精度、かつ広範囲に算出することが可能となり、路面状態を適切に算出できることになる。

処理部３８は、注目領域での画像データと注目領域での凹凸情報とを対応付ける任意の処理を行ってよいが、本実施形態では、注目領域での画像データに基づくデータと、注目領域での凹凸情報に基づくデータとを教師データとして、学習モデルに機械学習させる。以下、処理部３８の処理の例について説明する。

（処理の例）
処理部３８は、撮像画像の注目領域での画像データと、注目領域での凹凸情報に基づくデータとを教師データとして、学習モデルＮに機械学習させる。なお、ここでの注目領域での凹凸情報に基づくデータとは、注目領域での凹凸情報そのものであってもよいし、注目領域での凹凸情報から算出された、注目領域での路面状態（例えばＩＲＩ）であってもよい。以降では、注目領域での路面状態とする場合を例にする。なお、凹凸情報から路面状態を算出する方法は、任意であってよく、例えば、凹凸情報と路面状態との対応関係を機械学習させたモデルにより算出してよい。

処理部３８は、注目領域での画像データを入力値とし、注目領域での路面状態（注目領域での凹凸情報に基づくデータ）を出力値としたデータセットを、教師データとして、学習モデルに入力する。処理部３８は、画像データと路面状態とからなるデータセットを複数準備して、複数のデータセットのそれぞれを学習モデルに入力することが好ましい。これにより、学習モデルＮは、道路の画像データとその道路での路面状態との対応関係を機械学習する。

なお、学習モデルＮは、ディープラーニングによって学習された学習モデルであり、ディープラーニングによって学習された分類器を構成するニューラルネットワークを定義するモデル（ニューラルネットワークの構成情報）と、変数とで構成される。学習モデルＮは、入力されたデータに基づき、そのデータのラベルを判定できるものである。本実施形態の例では、学習モデルＮは、ＣＮＮ（Ｃｏｎｖｅｎｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：畳み込みニューラルネットワーク）モデルであるが、ＣＮＮモデルに限られず、任意の方式の学習モデルであってもよい。

処理部３８は、学習済みの学習モデルＮを用いて、路面状態が未知の道路の路面状態を算出する。具体的には、画像取得部３０は、路面状態が未知の道路を移動中の車両により撮像された道路の撮像画像を取得する。処理部３８は、その撮像画像の画像データを、学習済みの学習モデルＮに入力する。学習モデルＮにおいては、撮像画像の画像データが、入力データとして入力されて演算が実行される。その結果、学習モデルＮからは、撮像画像に写っている道路の路面状態が、出力データとして出力される。すなわち、学習モデルＮは、道路の撮像画像の画像データが入力されると路面状態が出力される学習済みのプログラムであるともいえる。処理部３８は、出力データとして出力された路面状態を、その道路の路面状態として算出するといえる。

なお、以上の説明では、学習モデルＮにより路面状態を算出する場合を例にしたが、学習モデルＮに、画像データと凹凸状態との対応関係を機械学習させていた場合には、処理部３８は、画像データを学習モデルＮに入力することで、その道路の凹凸状態を算出することになる。この場合、処理部３８は、凹凸情報から路面状態を算出すればよい。

このように、画像データと凹凸状態とを対応付けて学習モデルＮに機械学習させることで、広範囲に撮像された画像を取得するだけで、路面状態を高精度に算出することが可能となる。

なお、路面状態が未知の道路を走行中に、画像の撮像と共に、凹凸状態も検出しておき、凹凸状態からも路面状態を算出してよい。この場合例えば、撮像画像から算出された路面状態と、凹凸状態から算出された路面状態とに基づき、高精度に路面状態を算出し直すことができる。

（処理の例）
上述の例では、画像データを入力値とするように学習モデルＮに学習させていたが、それとは逆に、凹凸状態を入力値とするように学習モデルＮに学習させてもよい。以下、この場合の例について説明する。

処理部３８は、注目領域の画像データに基づいて、注目領域の路面パターンを設定する。路面パターンとは、路面の特性を示す情報であり、例えば、その路面がマンホールであるか、ひび割れた領域であるか、などを示す。言い換えれば、路面パターンとは、ＩＲＩなどの数値とは異なり、有限の複数の類型に分類される情報といえる。処理部３８は、注目領域の路面パターンを任意に設定してよい。例えば、処理部３８は、ユーザによって設定された注目領域における路面パターンを取得して、その路面パターンを注目領域の路面パターンとしてよい。また例えば、処理部３８は、画像認識技術により、注目領域の路面パターンを設定してよい。この場合例えば、位置算出部は、注目領域の画像データの特徴量と、予め設定された路面パターンの特徴量（例えばマンホールの画像の特徴量）との一致度が、所定値以上である場合に、その注目領域に対してその路面パターンを設定する。

処理部３８は、注目領域の画像データに基づいて設定された路面パターンを示すラベルと、注目領域での凹凸情報に基づくデータとを教師データとして、学習モデルＮに学習させる。なお、ここでの注目領域での凹凸情報に基づくデータも、注目領域での凹凸情報そのものであってもよいし、注目領域での凹凸情報から算出された、注目領域での路面状態であってもよいが、以降では、注目領域での凹凸情報とする場合を例にする。

処理部３８は、注目領域での凹凸情報を入力値とし、注目領域の路面パターンを出力値としたデータセットを、教師データとして、学習モデルに入力する。処理部３８は、凹凸情報と路面パターンとからなるデータセットを複数準備して、複数のデータセットのそれぞれを学習モデルに入力することが好ましい。これにより、学習モデルＮは、凹凸情報とその道路の路面パターンとの対応関係を機械学習する。

処理部３８は、学習済みの学習モデルＮを用いて、路面状態が未知の道路の路面パターンを推定する。具体的には、凹凸情報取得部３２は、路面状態が未知の道路を移動中の車両により検出された凹凸情報を取得する。処理部３８は、その凹凸情報を、学習済みの学習モデルＮに入力する。学習モデルＮにおいては、凹凸情報が、入力データとして入力されて演算が実行される。その結果、学習モデルＮからは、凹凸情報が検出された道路の路面パターンが、出力データとして出力される。すなわち、学習モデルＮは、凹凸情報が入力されると道路の路面パターンが出力される学習済みのプログラムであるともいえる。処理部３８は、出力データとして出力された路面パターンを、その道路の路面パターンとして特定するといえる。

このように、画像データから特定された路面パターンと凹凸状態とを対応付けて学習モデルＮに機械学習させることで、凹凸状態を検出するだけで、例えば画像でしか認識し難い路面パターンも特定することが可能となり、路面の状態を適切に推定できる。これにより、例えば凹凸状態から算出された路面状態が異常を示す場合でも、路面パターンがマンホールであると特定されれば、異常を示した理由がマンホール上を走行していたことが分かり、例えば不要な路面補修の必要をなくすことができる。

なお、路面状態が未知の道路を走行中に、凹凸状態の検出と共に、道路の画像も撮像させておき、撮像画像の画像データからも路面パターンを特定してよい。この場合例えば、画像データから特定された路面パターンと、凹凸状態から特定された路面パターンとに基づき、高精度に路面パターンを特定することができる。

また例えば、上述の２つの処理の例を組み合わせてもよい。すなわち例えば、画像データを学習モデルに入力して路面状態を算出し、かつ、凹凸状態を学習モデルに入力して路面パターンを特定してもよい。

（処理フロー）
次に、以上説明した演算装置の処理フローを説明する。図７は、本実施形態に係る演算装置の処理フローを説明するフローチャートである。図７に示すように、演算装置１４は、画像取得部３０により、車両１０のカメラ１０Ｂが撮像した撮像画像を取得し、車両１０のセンサ１０Ｃが検出した凹凸情報を取得する（ステップＳ１０）。演算装置１４は、位置算出部３４により、撮像画像に基づき、注目領域の位置情報を算出し（ステップＳ１２）、凹凸情報抽出部３６により、注目領域の位置情報に基づき、注目領域での凹凸情報を抽出する（ステップＳ１４）。そして、演算装置１４は、注目領域での凹凸情報と注目領域での画像データとを対応付ける処理を実行する（ステップＳ１６）。

（効果）
以上説明したように、本実施形態に係る演算装置１４は、画像取得部３０と、凹凸情報取得部３２と、位置算出部３４と、凹凸情報抽出部３６と、処理部３８とを含む。画像取得部３０は、道路を走行する車両１０に設けられるカメラ１０Ｂによって撮像された、道路の撮像画像を取得する。凹凸情報取得部３２は、車両１０に設けられるセンサ１０Ｃによって検出された、道路の凹凸状態を示す凹凸情報を取得する。位置算出部３４は、撮像画像に基づき、撮像画像に写っている道路上の注目領域の位置情報を算出する。凹凸情報抽出部３６は、注目領域の位置情報に基づき、凹凸情報から、注目領域での凹凸情報を抽出する。処理部３８は、撮像画像の注目領域での画像データと注目領域での凹凸情報を対応づける処理を実行する。

ここで、撮像画像は、画角内に収まる路面を広く捉えて記録できる一方、情報が画像データに限られるため、路面状態を高精度に算出できない場合がある。一方、凹凸情報は、路面状態を高精度に算出できるが、計測範囲が狭くなる場合がある。それに対して、本実施形態に係る演算装置１４は、撮像画像の注目領域での画像データと、注目領域での凹凸情報とを対応付けることで、同じ位置における画像データと凹凸情報とを対応付けることができる。これにより、例えば路面状態を、高精度、かつ広範囲に算出することが可能となり、路面の状態を適切に推定できる。

センサ１０Ｃは、車両１０の挙動を検出する挙動センサと、センサ１０Ｃ（車両１０）から道路までの距離を検出する測距センサとの、少なくとも１つを含んでよい。車両１０の挙動や道路までの距離を凹凸情報として検出することで、画像データと対応付けることにより、路面状態を、高精度、かつ広範囲に算出することが可能となり、路面の状態を適切に推定できる。

処理部３８は、注目領域での画像データに基づくデータと、注目領域での凹凸情報に基づくデータとを教師データとして、学習モデルＮに学習させる。このように、画像データと凹凸情報とを機械学習用の教師データとすることで、路面状態や路面パターンを適切に算出できる。

処理部３８は、注目領域での画像データと、注目領域での凹凸情報に基づくデータとを教師データとして、学習モデルＮに学習させる。処理部３８は、学習済みの学習モデルＮに、道路の画像データを入力することで、道路の路面状態を算出する。このように画像データと凹凸状態とを対応付けて学習モデルＮに機械学習させることで、広範囲に撮像された画像を取得するだけで、路面状態を高精度に算出することが可能となる。

処理部３８は、注目領域での画像データに基づいて設定された注目領域の路面パターンを示すラベルと、注目領域での凹凸情報に基づくデータとを教師データとして、学習モデルＮに学習させる。処理部３８は、学習済みの学習モデルＮに、道路の凹凸情報に基づくデータを入力することで、その凹凸情報が取得された道路上の位置における路面パターンを取得する。このように、画像データから特定された路面パターンと凹凸状態とを対応付けて学習モデルＮに機械学習させることで、凹凸状態を検出するだけで、例えば画像でしか認識し難い路面パターンも特定することが可能となる。

以上、本発明の実施形態及び実施例を説明したが、これら実施形態等の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態等の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

１ 検出システム
１０ 車両
１０Ａ 位置センサ
１０Ｂ カメラ
１０Ｃ センサ
１４ 演算装置
３０ 画像取得部
３２ 凹凸情報取得部
３４ 位置算出部
３６ 凹凸情報抽出部
３８ 処理部

Claims (7)

1. 道路を走行する車両に設けられるカメラによって撮像された、前記道路の撮像画像を取得する画像取得部と、
   前記車両に設けられるセンサによって検出された、前記道路の凹凸状態を示す凹凸情報を取得する凹凸情報取得部と、
   前記撮像画像に写っている前記道路上の注目領域の位置情報を算出する位置算出部と、
   前記注目領域の位置情報に基づき、前記凹凸情報から、前記注目領域での凹凸情報を抽出する凹凸情報抽出部と、
   前記撮像画像の注目領域での画像データと前記注目領域での凹凸情報を対応づける処理を実行する処理部と、
   を含む、
   演算装置。
2. 前記センサは、前記車両の挙動を検出する挙動センサと、前記センサから前記道路までの距離を検出する測距センサとの、少なくとも１つを含む、請求項１に記載の演算装置。
3. 前記処理部は、前記注目領域での画像データに基づくデータと、前記注目領域での凹凸情報に基づくデータとを教師データとして、学習モデルに学習させる、請求項１又は請求項２に記載の演算装置。
4. 前記処理部は、
   前記注目領域での画像データと、前記注目領域での凹凸情報に基づくデータとを教師データとして、前記学習モデルに学習させ、
   学習済みの前記学習モデルに、道路の画像データを入力することで、前記道路の路面状態を出力する、請求項３に記載の演算装置。
5. 前記処理部は、
   前記注目領域での画像データに基づいて設定された前記注目領域の路面パターンを示すラベルと、前記注目領域での凹凸情報に基づくデータとを教師データとして、前記学習モデルに学習させ、
   学習済みの前記学習モデルに、道路の凹凸情報に基づくデータを入力することで、その凹凸情報が取得された道路上の位置における路面パターンを取得する、請求項３又は請求項４に記載の演算装置。
6. 道路を走行する車両に設けられるカメラによって撮像された、前記道路の撮像画像を取得するステップと、
   前記車両に設けられるセンサによって検出された、前記道路の凹凸状態を示す凹凸情報を取得するステップと、
   前記撮像画像に写っている前記道路上の注目領域の位置情報を算出するステップと、
   前記注目領域の位置情報に基づき、前記凹凸情報から、前記注目領域での凹凸情報を抽出するステップと、
   前記撮像画像の注目領域での画像データと前記注目領域での凹凸情報を対応づける処理を実行するステップと、
   を含む、
   演算方法。
7. 道路を走行する車両に設けられるカメラによって撮像された、前記道路の撮像画像を取得するステップと、
   前記車両に設けられるセンサによって検出された、前記道路の凹凸状態を示す凹凸情報を取得するステップと、
   前記撮像画像に写っている前記道路上の注目領域の位置情報を算出するステップと、
   前記注目領域の位置情報に基づき、前記凹凸情報から、前記注目領域での凹凸情報を抽出するステップと、
   前記撮像画像の注目領域での画像データと前記注目領域での凹凸情報を対応づける処理を実行するステップと、
   をコンピュータに実行させる、
   プログラム。

Images