JP2023000076A - センシング装置及び車両制御装置 - Google Patents

Abstract

【課題】路面と車両の相対姿勢を高精度で推定するセンシング装置及び車両制御装置を提供する。【解決手段】センシング装置を搭載した車両において、車載処理装置１０２は、共通撮像領域を有する少なくとも第一のセンサ及び第二のセンサが取得した共通撮像領域の情報から自車両周辺の第一の領域を観測する第一共通撮像領域観測部と、共通撮像領域を有する少なくとも第三のセンサ及び第四のセンサが取得した共通撮像領域の情報から第一の領域と異なる第二の領域を観測する第二共通撮像領域観測部と、各センサの幾何関係と、第一の領域及び第二の領域で観測された情報の座標を統合する座標統合部と、統合された座標から計算された点群情報に基づいて、自車両のピッチ角及びロール角を含む各センサと路面の相対姿勢を推定する路面推定部（路面モデル照合部）と、を備える。【選択図】図４

Description

本発明は、センシング装置及び車両制御装置に関する。

ドライバーの支援や自動運転の目的で車載カメラの普及が進んでおり、周囲監視などのために複数の単眼カメラが搭載されることもある。ドライバー支援や自動運転において、車載カメラが求められることの一つとして、対象物の距離測定がある。単眼カメラを用いた対象物の距離測定は、路面が平面であることを仮定し、車載カメラの取り付け状態と路面の関係から車載カメラの各画素に対応する距離を計算できる。ただし、路面に勾配がある場合、平面を仮定して計算すると、測定距離に誤差が生じる問題がある。特に、遠方ほど誤差が大きくなる。従って、勾配誤差の影響を低減する必要がある。

特許文献１には、カメラが撮像した撮像画像に基づく勾配推定装置であって、カメラと、路面接地位置算出部と、測距センサと、勾配推定部とを備え、前記カメラが撮像した撮像画像に基づき、前記路面接地位置算出部が、前記撮像画像に映り込んだ対象物の路面接地位置までの距離Ｌ２を算出し、前記勾配推定装置が前記測距センサを用いて、前記対象物までの距離Ｌ１を算出し、前記勾配推定部が、前記カメラの俯角αと、前記距離Ｌ２および前記距離Ｌ１とに基づいて、前記カメラの位置から降ろした垂線と水平面との交点と、前記対象物を示す所定の点Ａ１とを通る直線の勾配βを推定する勾配推定装置、が開示されている。

特開２０２０－１６５９３３号公報

特許文献１では、アクティブレーザ方式の測距センサ使用を前提としており、勾配に関係なく測距が可能なセンサがない場合は、距離補正を行うことが困難である。

そこで、本発明は、路面と車両の相対姿勢を高精度で推定するセンシング装置の提供を目的とする。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、共通撮像領域を有する少なくとも第一のセンサ及び第二のセンサが取得した前記共通撮像領域の情報から自車両周辺の第一の領域を観測する第一の共通撮像領域観測部と、共通撮像領域を有する少なくとも第三のセンサ及び第四のセンサが取得した前記共通撮像領域の情報から前記第一の領域と異なる第二の領域を観測する第二の共通撮像領域観測部と、前記各センサの幾何関係と、前記第一の領域及び前記第二の領域で観測された情報の座標を統合する座標統合部と、前記統合された座標から計算された点群情報に基づいて、自車両のピッチ角及びロール角を含む各センサと路面の相対姿勢を推定する路面推定部とを備えることを特徴とする。

本発明の一態様によれば、道路勾配や車両姿勢の影響を低減して、測距離精度を向上できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。

本発明の実施例にかかるセンシング装置を搭載した車両の構成を示すブロック図である。 カメラ、及び共通撮像領域の関係の一例を示す図である。 勾配及び車両姿勢変動の一例を示す図である。 ＣＰＵが実行する距離推定プログラムの機能ブロック図である。 座標統合と路面モデル照合の処理を示す模式図である。 第一共通撮像領域観測部が実行する処理のフローチャートである。 変形例１の座標統合と路面モデル照合の処理の変形例を示す模式図である。 変形例１の第一共通撮像領域観測部が実行する処理のフローチャートである。 変形例２の座標統合と路面モデル照合の処理のさらなる変形例を示す模式図である。 変形例２のＣＰＵが実行する距離推定プログラムの機能ブロック図である。 変形例３のセンシング装置を搭載した車両の構成を示すブロック図である。 変形例３のカメラ、及び共通撮像領域の関係の一例を示す図である。実施例１のＣｏｎｆｉｇ適用部が実行するＣｏｎｆｉｇ適用処理のフローチャートである。 変形例３のＣＰＵが実行する距離推定プログラムの機能ブロック図である。

以下、図１～図１３を参照して、本発明にかかるセンシング装置１０１の実施例を説明する。

図１は、本発明の実施例にかかるセンシング装置１０１を搭載した車両１００の構成を示すブロック図である。

センシング装置１０１は、カメラ１２１～１２４、車速センサ１３１、舵角センサ１３２と、表示装置１６１と、車載処理装置１０２とを有する。カメラ１２１～１２４、車速センサ１３１、舵角センサ１３２及び表示装置１６１は、信号線で車載処理装置１０２と接続され、車載処理装置１０２と各種データを授受する。

カメラ１２１～１２４は、詳細は後述するが、車両１００の周囲に取り付けられ、車両１００の周囲を撮影する。カメラ１２１～１２４の撮影範囲には、車両１００が走行する路面が含まれる。カメラ１２１～１２４と車両１００との位置姿勢関係は、カメラパラメータ初期値１４１として、ＲＯＭ１１１に格納される。

カメラ１２１～１２４は、レンズ及び撮像素子を備え、これらの特性、例えばレンズの歪みを示すパラメータであるレンズ歪み係数、光軸中心、焦点距離、撮像素子の画素数及び寸法などの内部パラメータもカメラパラメータ初期値１４１としてＲＯＭ１１１に格納される。

車速センサ１３１、及び舵角センサ１３２は、それぞれ、車載処理装置１０２が搭載された車両１００の車速及び舵角を測定し、ＣＰＵ１１０に出力する。車載処理装置１０２は、車速センサ１３１及び舵角センサ１３２の出力を用いて、公知のデッドレコニング技術によって、車載処理装置１０２が搭載された車両１００の移動量及び移動方向を計算する。

車載処理装置１０２は、中央演算装置であるＣＰＵ１１０と、ＲＯＭ１１１と、ＲＡＭ１１２を備える。ＦＰＧＡなど他の演算処理装置で全部、または一部の演算処理を実行するように構成してもよい。

ＣＰＵ１１０は、ＲＯＭ１１１から各種プログラム、及びパラメータを読み込んで実行することによって、車載処理装置１０２の実行部として動作する。

ＲＯＭ１１１は、読み取り専用の記憶領域であり、カメラパラメータ初期値１４１、路面モデル１４２、及び距離推定プログラム１５０を格納する。

カメラパラメータ初期値１４１は、カメラ１２１～１２４と車両１００との位置及び姿勢の関係を示す数値である。カメラ１２１～１２４は、設計に基づいた位置及び姿勢で車両１００に取り付けられるが、取り付けに誤差が生じることが避けられない。そのため、例えば、車両１００が工場から出荷される際に、工場内にて所定のテストパターンなどを用いて、キャリブレーションが実行され、正しく補正された値が計算されている。カメラパラメータ初期値１４１には、このキャリブレーション実行後に正しく補正された位置及び姿勢の関係が格納されている。また、レンズや撮像素子の特性、例えばレンズの歪みを示すパラメータであるレンズ歪み係数、光軸中心、焦点距離、撮像素子の画素数及び寸法などの内部パラメータのキャリブレーション実行後の補正値も格納されている。

路面モデル１４２は、路面勾配をモデル化し、そのモデル種別とそのパラメータを数値化して格納している。路面モデル１４２は、距離推定プログラム１５０における路面相対姿勢推定プログラム１４３において、路面相対姿勢１５３を計算する際に利用される。路面モデル１４２の詳細は後述する。

距離推定プログラム１５０は、後述する路面相対姿勢推定プログラム１４３、共通視野距離測定プログラム１４４、及び単眼距離測定プログラム１４５を含む。これらのプログラムは、ＲＯＭ１１１から読み出され、ＲＡＭ１１２に展開されて、ＣＰＵ１１０によって実行される。

ＲＡＭ１１２は、読み書き可能な記憶領域であり、車載処理装置１０２の主記憶装置として動作する。ＲＡＭ１１２は、後述する第一領域観測値１５１、第二領域観測値１５２、路面相対姿勢１５３、及び外部パラメータ１５４を格納する。

第一領域観測値１５１は、共通視野距離測定プログラム１４４によって観測され、カメラ１２１及びカメラ１２２の共通視野で観測される領域の路面や立体物を含む観測データである。第一領域観測値１５１は、共通視野内の路面や立体物を含む共通物体の特徴点と、カメラパラメータ初期値１４１に記録されたカメラ１２１とカメラ１２２の既知の相対関係及び内部パラメータから、特徴点の距離を計算し、距離から計算された三次元座標を格納したものである。第一領域観測値１５１は、路面相対姿勢推定プログラム１４３において利用される。

第二領域観測値１５２は、共通視野距離測定プログラム１４４によって観測され、第一領域観測値１５１と処理内容が共通で、カメラ１２３及びカメラ１２４の共通視野で観測される領域の路面や立体物を含む観測データである。第二領域観測値１５２は、共通視野内の路面や立体物を含む共通物体の特徴点と、カメラパラメータ初期値１４１に記録されたカメラ１２３・カメラ１２４の既知の相対関係及び内部パラメータから、特徴点の距離を計算し、距離から計算された三次元座標を格納したものである。第二領域観測値１５２は、路面相対姿勢推定プログラム１４３において利用される。

路面相対姿勢１５３は、車両１００と路面の相対姿勢を表すパラメータであり、路面相対姿勢推定プログラム１４３から得られる。路面相対姿勢１５３は、外部パラメータ１５４の計算に利用される。

外部パラメータ１５４は、路面勾配、及び車両１００の姿勢変動を含めた、カメラ１２１～１２４の車両１００との位置及び姿勢の関係である。カメラパラメータ初期値１４１の外部パラメータに基づいて、路面相対姿勢推定プログラム１４３において計算され、単眼距離測定プログラム１４５において利用される。

図２は、車両１００、カメラ１２１～１２４、カメラ１２１の光軸２０１、カメラ１２２の光軸２０２、カメラ１２３の光軸２０３、カメラ１２４の光軸２０４、第一共通撮像領域２１１、及び第二共通撮像領域２１２の関係の一例を示す図である。

カメラ１２１は、例えば、車両１００の進行方向左側のサイドミラー下に、車両１００の斜め後方、すなわち光軸２０１の方向を撮影するように取り付けられる。同様に、カメラ１２３は、例えば、車両１００の進行方向右側のサイドミラー下に、車両１００の斜め後方、すなわち光軸２０３の方向を撮影するように取り付けられる。カメラ１２２は、例えば、車両１００の進行方向左側のＣピラー付近に、車両１００の斜め前方、すなわち光軸２０２の方向を撮影するように取り付けられる。同様に、カメラ１２４は、例えば、車両１００の進行方向右側のＣピラー付近に、車両１００の斜め前方、すなわち光軸２０４の方向を撮影するように取り付けられる。カメラ１２１とカメラ１２２の両方で撮像される車両１００の進行方向左側の領域が第一共通撮像領域２１１である。第一共通撮像領域２１１では、路面や立体物が撮像される。このようにカメラを配置することで、カメラ１２１とカメラ１２２の解像度が高く、画像の歪みが少ない光軸中心付近で共通撮像領域を生成でき、かつ、車載カメラのセンシングにおいて重要な斜め前方、斜め後方を撮像できる利点がある。さらに、車両１００の周囲の俯瞰図を表示する周辺視カメラとしても機能するように、画角や角度等が合致するカメラを選定してもよい。同様に、カメラ１２３とカメラ１２４の両方で撮影される車両１００の進行方向左側の領域が第二共通撮像領域２１２である。第二共通撮像領域２１２では、路面や立体物を含んで撮像される。第一共通撮像領域２１１、及び第二共通撮像領域２１２での撮像結果は、路面と車両１００の相対姿勢推定に使用される。

図３（ａ）は勾配の一例を示す図であり、図３（ｂ）は積載状況の一例を示す図であり、図３（ｃ）及び図３（ｄ）は車両姿勢変動の一例を示す図である。

道路には、道路上に雨水が滞留しないように、道路中央を頂点として横断方向に約２％の排水勾配が付されている。車両１００の速度が速い高速道路においては、路面の水膜をより薄くする必要があるため、２．５％程度の排水勾配が付されている。図３（ａ）は排水勾配の一例を示す。車両１００が路面３０１を走行中であり、路面３０１には道路中央を頂点として排水勾配が付されている。車両１００から光軸２０２の方向において、観測対象が車両１００と同一の平面上にのっているため、光軸２０２の方向では距離測定における排水勾配による誤差の影響はない。一方、車両１００から光軸２０１方向において、観測対象が車両１００と同一の平面にのっていないため、観測対象が車両１００と同一の平面上であるという仮定の下では、距離を誤って計算する。そこで車両１００と路面３０１の相対関係を推定し、推定結果に基づいて推定距離を補正する必要がある。

図３（ｂ）は、積載状況の一例を示す図である。車両１００の路面に対する姿勢は、車両１００の積載状況によって変化する。例えば、車両１００の後部に重い荷物を積載している場合、図３（ｃ）のように、車両１００の前方が浮き上がる姿勢になる。車両１００の左前方座席に運転手だけが乗車している場合、図３（ｄ）のように車両１００の左側が浮き上がる姿勢になる。車両１００の運転席とその後方座席に乗員が乗車している場合、さらに別な姿勢となる。このように、積載状況による車両１００の姿勢は様々に変わる。このように車両１００の姿勢が変わると、図３（ａ）に示す車両１００と路面３０１の相対姿勢が変わるため、積載状況による姿勢変化も含めて車両１００と路面３０１の相対姿勢関係を推定し、推定結果に基づいて推定距離を補正する必要がある。

図４は、ＣＰＵ１１０が実行する距離推定プログラム１５０の機能ブロック図である。図４は、距離推定プログラム１５０の各機能ブロックの処理順序、機能ブロック同士、及び機能ブロックとＲＯＭ１１１、ＲＡＭ１１２との間のデータの流れを示す。

距離推定プログラム１５０は、センサ値取得部４０１、第一共通撮像領域観測部４０２、第二共通撮像領域観測部４０３、座標統合部４０４、路面モデル照合部４０５、及び単眼距離推定部４０６を含む。共通視野距離測定プログラム１４４に対応する機能ブロックが第一共通撮像領域観測部４０２、及び第二共通撮像領域観測部４０３であり、路面相対姿勢推定プログラム１４３に対応する機能ブロックが座標統合部４０４、及び路面モデル照合部４０５であり、単眼距離測定プログラム１４５に対応する機能ブロックが単眼距離推定部４０６である。

センサ値取得部４０１は、複数のカメラ１２１～１２４から出力される画像を取得する。カメラ１２１～１２４は、所定の頻度で連続して（例えば毎秒３０回）撮影する。カメラにより得られた画像は、撮影されるたびに車載処理装置１０２に送信される。この例の場合、カメラ１２１と１２２、カメラ１２３とカメラ１２４は、何らかの方法で同期しており、同期して撮影することが望ましい。センサ値取得部４０１は、カメラ１２１～１２４が撮影した画像を第一共通撮像領域観測部４０２及び第二共通撮像領域観測部４０３に出力する。以降、第一共通撮像領域観測部４０２から単眼距離推定部４０６の処理は、画像の受信毎に実行される。

第一共通撮像領域観測部４０２は、センサ値取得部４０１から出力された複数カメラ１２１、１２２が撮影した画像を用いて、第一共通撮像領域２１１に撮影された路面３０１の三次元座標値を測定する。例えば、カメラ１２１の画像とカメラ１２２の路面３０１に該当する画素に撮影された共通の対象物（例えば、路面ペイントの角部分などの特徴点として見つけやすい部分）を画像認識によって抽出し、カメラ１２１とカメラ１２２の既知の幾何関係（例えば、ＲＯＭ１１１に格納されたキャリブレーション済みのカメラパラメータ初期値１４１）を用いた三角測量によって、路面３０１の三次元座標値を測定できる。これをカメラ１２１とカメラ１２２において、路面上の対応付け可能な複数の特徴点で計算する。ある画素が路面上であるかは、カメラパラメータ初期値１４１の姿勢角と路面勾配の既知の関係に、ある程度の誤差範囲を持たせて計算した範囲で判定してもよいし、撮影画像上の立体物を区別して路面を判定してもよい。この三次元座標値の測定は、他の公知の方法を用いてもよい。計算された距離は、例えば、カメラ１２１の光軸２０１を一つの軸とするカメラ座標系で計算される。第一共通撮像領域観測部４０２は、計算された路面３０１の全ての三次元座標値を座標統合部４０４に出力する。第一共通撮像領域観測部４０２の処理フローは図６を参照して説明する。

第二共通撮像領域観測部４０３は、センサ値取得部４０１から出力された複数カメラ１２３、１２４が撮影した画像を用いて、第二共通撮像領域２１２に撮影された路面３０１の三次元座標値を測定する。第二共通撮像領域観測部４０３の処理は、画像を撮影したカメラが異なる点と、第二共通撮像領域２１２が撮影されている点を除いて、第一共通撮像領域観測部４０２の処理と同じであるため、詳細な説明を省略する。

座標統合部４０４は、第一共通撮像領域観測部４０２から出力される路面３０１の三次元座標と、第二共通撮像領域観測部４０３から出力される路面３０１の三次元座標を、同一座標系に統合する機能ブロックである。

第一共通撮像領域観測部４０２は、例えばカメラ１２１のカメラ座標系で三次元座標値を計算する。一方、第二共通撮像領域観測部４０３は、例えばカメラ１２３のカメラ座標系で三次元座標値を計算する。座標統合部４０４は、これらの異なる座標系における座標値を、ＲＯＭ１１１に格納されたキャリブレーション済みのカメラパラメータ初期値１４１を用いて、例えば車両座標系への変換し、統合する。車両座標系への変換及び統合は、カメラパラメータ初期値１４１における位置姿勢関係を表す外部パラメータを用いて、公知の座標変換計算によって可能である。座標が統合される座標系は、他の座標系でもよい。第一共通撮像領域観測部４０２と第二共通撮像領域観測部４０３から出力された第一共通撮像領域２１１と第二共通撮像領域２１２が統合された三次元座標値は、路面モデル照合部４０５に出力される。

路面モデル照合部４０５は、座標統合部４０４から出力された、第一共通撮像領域２１１と第二共通撮像領域２１２が統合され三次元座標値を用いて、路面モデル１４２をフィッティングして、車両１００と路面３０１の相対姿勢関係を計算する。図３（ｃ）（ｄ）に示す車両姿勢変動も含めて、相対姿勢関係が計算される。

路面モデル１４２は、道路中央を頂点として、横断方向に約２～２．５％の排水勾配が付されている道路構造を考慮して、例えば、約２％の勾配をもつ二つの平面で構成する。他の路面モデルについては後述する。

路面モデル照合部４０５では、この路面モデル１４２と、座標統合部４０４から出力された第一共通撮像領域２１１と第二共通撮像領域２１２が統合された三次元座標値が最も一致するように、車両１００に対する路面モデル１４２の相対姿勢を求める。例えば、座標統合部４０４から出力された第一共通撮像領域２１１と第二共通撮像領域２１２が統合された三次元座標値と路面モデル１４２の路面平面との距離の総和を目的関数として設定し、目的関数を最小化するように車両１００に対する路面モデル１４２の相対位置姿勢パラメータを計算する。車両１００と路面モデル１４２の相対位置姿勢パラメータは、ロール角、ピッチ角、ヨー角の３姿勢角と、縦、横、高さの位置パラメータの一つ以上である。推定の安定化のために、１以上のパラメータを既知として、他のパラメータを推定してもよい。目的関数の最小化は、最急降下法やレーベンバーグ・マーカート法などの公知の目的関数最小化方法を使用できる。路面モデル照合部４０５によって得られた、車両１００と路面３０１の相対位置姿勢パラメータは、路面相対姿勢１５３として、単眼距離推定部４０６に出力される。また、次時刻での最適化の初期値として活用するために、路面相対姿勢１５３として、ＲＡＭ１１２に格納される。次時刻では、路面相対姿勢１５３をＲＡＭ１１２から読み出し、初期値として目的関数を最小化する。そして、新たな三次元座標値から得られた新たな路面相対姿勢を路面相対姿勢１５３として、ＲＡＭ１１２に格納する。なお、路面モデル照合部４０５は路面モデルを用いずに、他の方法で車両１００の相対位置姿勢を求めてもよい。

単眼距離推定部４０６は、路面モデル照合部４０５から出力された路面相対姿勢１５３及び路面モデル１４２を用いて、対象物までの正確な距離を計算する。路面モデル１４２と路面相対姿勢１５３とカメラパラメータ初期値１４１から、カメラ１２１～１２４と路面３０１の相対関係を公知の幾何的な解法によって計算できる。計算された相対関係を用いて、対象物の路面設置点に該当する画素に基づいて、対象物までの距離を計算し、推定距離として出力する。この対象物は、例えば、カメラ１２１～１２４に設けられた、ＡＩ等を用いた画像認識機能によって検知するとい。対象物までの距離は、カメラ１２１～１２４の共通撮像領域２１１、２１２以外の部分でも計算でき、複数カメラで広い範囲に渡って、路面が平坦でない場合でも正しく計算できる。

図５（ａ）、図５（ｂ）は、座標統合と路面モデル照合の処理を示す模式図である。図５（ａ）、図５（ｂ）では、第一共通撮像領域観測部４０２、第二共通撮像領域観測部４０３、座標統合部４０４、路面モデル照合部４０５の関係と、これらの処理概要と、これらの利点を示す。

第一共通撮像領域観測部４０２で観測された第一共通撮像領域２１１における路面３０１の三次元座標値５０１は、カメラ１２１のカメラ座標系で表されており、第二共通撮像領域観測部４０３で観測された第二共通撮像領域２１２における路面３０１の三次元座標値５０２は、カメラ１２３のカメラ座標系で表されている。三次元座標値５０１と三次元座標値５０２は、相対関係が不明である。ここで、座標統合部４０４が、カメラパラメータ初期値１４１の外部パラメータを用いて、カメラ座標系の三次元座標値５０１を車両１００の座標系の三次元座標値５０３に変換し、カメラ座標系の三次元座標値５０２を車両１００の座標系の三次元座標値５０４に変換する。三次元座標値５０３と三次元座標値５０４は同一座標系で表わされており、相対関係が明らかである。路面モデル照合部４０５が、三次元座標値５０３と三次元座標値５０４を路面モデル１４２に照合することによって、車両１００と路面３０１の相対関係を求めることができる。車両１００の片側だけでなく、車両１００の両側の領域を活用し、さらに路面モデル１４２の当て嵌めによって、各共通撮像領域で個別に路面を推定するより、広い範囲での観測値とモデルによる制約によって、安定して推定でき、高精度で車両１００と路面の相対関係を求めることができる。その結果、道路が平坦でない場合でも、複数カメラが撮影した画像を用いた測距精度を向上できる。

図５（ｃ）、図５（ｄ）、図５（ｅ）は、路面モデル１４２の一例を示す図である。図５（ｃ）は、勾配２％の二つの平面が接続されている形のモデルである。図５（ｄ）は、勾配２％の二つの平面の頂部が曲面となっている形のモデルである。図５（ｅ）は、路面頂部の種々の形状や、路面平面の幅に対応するために、路面頂部、及び、路面の広さを除外した形のモデルである。除外された部分に近い対応点は、路面と三次元座標値の照合時、目的関数の誤差総和に含めないことによって、柔軟な照合できる。また、片側３車線で、中央分離帯がある高速道路などでは、片側３車線の全幅にわたって平面になるケースもある。図５（ｃ）～図５（ｅ）の路面モデル１４２は全幅が一つの平面になるケースも対応可能である。すなわち、路面モデル１４２を左又は右に大きくスライドすると、観測範囲全域が平坦な路面になる。ここで示した例では、道路横断勾配の形状にあわせて２平面を接続したモデルの例を示すが、２以上の複数平面を接続した形のモデルでもよい。

図６は、第一共通撮像領域観測部４０２が実行する処理のフローチャートである。第一共通撮像領域観測部４０２では、センサ値取得部４０１から画像を受け取るたびに、ＣＰＵ１１０が以下の各ステップの処理を実行する。

特徴点検出ステップ６０１では、センサ値取得部４０１から得られる二つの画像それぞれから、画像の中で特徴的な点である特徴点（例えば、路面ペイントのコーナー点）を検出する。検出範囲は、二つの画像の共通撮像領域内の路面である。ある画素が共通撮像領域内で路面上であるかは、カメラパラメータ初期値１４１の姿勢角と路面勾配の既知の関係に、ある程度の誤差範囲を持たせて計算した部分で判定してもよいし、撮影された画像上の立体物と路面を弁別して判定してもよい。特徴点は、ハリスオペレータなど公知の特徴点抽出技術を使用して検出する。また、ＯＲＢなどの公知技術によって、特徴点を表現する情報を付属して、次の特徴点対応ステップで使用してもよい。次にステップ６０２に進む。

特徴点対応ステップ６０２では、特徴点検出ステップ６０１で得られた、二つの画像それぞれの特徴点の中から、同一対象を表す点を対応付ける。例えば、ステップ６０１で特徴点ごとに得られた特徴点情報を用いて特徴点を対応付ける。具体的には、一方の画像の特徴点と特徴点情報が最も近い特徴点を他方の画像から選択し、二つの特徴点を対応付ける。特徴点座標、及び特徴点の対応付け精度を向上するため、公知のあらゆる技術を使用してよい。次にステップ６０３に進む。

距離測定ステップ６０３では、ステップ６０２で得られた二つの画像間の対応関係を用いて、各点の三次元距離を計算する。三次元距離の計算は、ＲＯＭ１１１に格納されたカメラパラメータ初期値１４１から得られる二つのカメラ１２１と１２２の幾何関係を用いて、対応する二つの座標点に三角測量の原理を適用して計算できる。ここでは説明上、カメラ１２１を基準として、カメラ１２１から見た距離として計算するが、カメラ１２２を基準として計算してもよい。この場合、後段で基準となったカメラに応じて幾何計算をすれば問題ない。精度を担保するために、公知あらゆる技術を使用して計算してよい。次にステップ６０４に進む。

三次元座標計算ステップ６０４では、ステップ６０３で得られたカメラ１２１の画像上の座標及び距離から、三次元座標値を計算する。カメラパラメータ初期値１４１を使用して、公知の幾何計算によって、画像上の座標及び距離から三次元座標を計算できる。ここで計算される三次元座標は、カメラ１２１のカメラ座標となっている。各点の三次元座標を出力して、フローチャートを終了する。

以上に、図６を参照して、第一共通撮像領域観測部４０２が実行する処理を説明したが、カメラ画像とそれに伴うカメラパラメータ等が異なるだけで第二共通撮像領域観測部４０３が実行する処理も同じである。

＜変形例１＞
図７（ａ）、図７（ｂ）は、座標統合と路面モデル照合の処理の変形例を示す模式図である。図７（ａ）、図７（ｂ）では、第一共通撮像領域観測部４０２、第二共通撮像領域観測部４０３、座標統合部４０４、路面モデル照合部４０５の関係と、これらの処理概要と、これらの利点を示す。図７（ａ）、図７（ｂ）は、図５（ａ）、図５（ｂ）の変形例であり、共通部分の説明は省略し、差分を説明する。

三次元座標値７０１は、第一共通撮像領域２１１で観測され、カメラ１２１のカメラ座標系で表された立体物の三次元座標値である。座標統合部４０４は、カメラパラメータ初期値１４１の外部パラメータを用いて、立体物の三次元座標値７０１を車両１００の座標系の三次元座標値７０２に変換する。三次元座標値５０３と５０４だけでなく、三次元座標値７０２を用いて路面モデル１４２と照合してもよい。この場合、三次元座標値７０２は垂直に並んでいると考え、垂直である場合に評価値が高くなるように路面モデル１４２の目的関数を設計する。

図８は、第一共通撮像領域観測部４０２が実行する処理のフローチャートであり、図７に示す変形例に対応する。図８のフローチャートは、図６のフローチャートとほぼ同じであるため、共通部分の説明は省略し、差分を説明する。

路面／立体物分離ステップ８０１では、共通撮像領域の観測点の中で、路面上の観測点と、立体物の観測点を分離する。例えば、ＡＩなどによる画像認識を使用して、ガードレール、電柱等、ポール等と認識された点を立体物にレベル付けし、路面ペイントして認識された点を路面上の点としてラベル付けして、観測点を分離するとよい。同様に立体物については、一つの立体物ごとに別のラベルを付してグルーピングする。このグルーピングされた点を矩形フィッティングし、矩形情報を付与する。付与された矩形情報は後段の路面モデル照合部４０５で、この矩形と路面モデル１４２が直交する場合に最小となる目的関数を設計して使用する。ここでラベルを付した三次元座標点を出力し、フローチャートを終了する。

以上に、図８を参照して、第一共通撮像領域観測部４０２が実行する処理を説明したが、カメラ画像とそれに伴うカメラパラメータ等が異なるだけで第二共通撮像領域観測部４０３が実行する処理も同じである。

＜変形例２＞
図９（ａ）、図９（ｂ）は、座標統合と路面モデル照合の処理のさらなる変形例を示す模式図である。図９（ａ）、図９（ｂ）では、第一共通撮像領域観測部４０２、第二共通撮像領域観測部４０３、座標統合部４０４、路面モデル照合部４０５の関係と、これらの処理概要と、これらの利点を示す。図９（ａ）、図９（ｂ）は、図７（ａ）、図７（ｂ）の変形例であり、共通部分の説明は省略し、差分を説明する。

三次元座標値９０１は、第一共通撮像領域２１１において、三次元座標値５０１及び７０１の次時刻に観測された立体物の三次元座標値である。すなわち、短時間では車両１００の姿勢が大きく変化していないという前提の下、第一共通撮像領域２１１の観測点を時系列的に統合する。同様に、三次元座標値９０２は、第二共通撮像領域２１２において、三次元座標値５０２の次時刻に観測された立体物の三次元座標値であり、第二共通撮像領域２１２の座標点を時系列的に統合したものである。ここで、座標統合部４０４により、カメラパラメータ初期値１４１の外部パラメータを用いて、三次元座標値９０１、９０２を車両１００の座標系に変換する。三次元座標値５０３と５０４だけでなく、三次元座標値７０２、９０１、９０２を用いて路面モデル１４２と照合する。この場合、三次元座標値９０１、９０２も垂直に並んでいると考え、垂直である場合に評価値が高くなるように路面モデル１４２の目的関数を設計する。

この変形例によると、車両１００の両側のある時点で観測される路面点や立体物の点だけでなく、時系列的な路面点、立体物点も活用し、さらに路面モデル１４２への当て嵌めることによって、各共通撮像領域である時点の観測値で個別に推定するより、広い範囲での観測値とモデルによる制約によって、安定して推定でき、高精度で車両１００と路面の相対関係を求めることができる。その結果、道路が平坦でない場合でも、複数カメラが撮影した画像を用いた測距精度をさらに向上できる。

図１０は、ＣＰＵ１１０が実行する距離推定プログラム１５０の機能ブロック図であり、図９に示す変形例に対応する。図１０は、距離推定プログラム１５０の各機能ブロックの処理順序、機能ブロック同士、及び機能ブロックとＲＯＭ１１１、ＲＡＭ１１２との間のデータの流れを示す。図１０の機能ブロック図は、図４の機能ブロック図とほぼ同じであるため、共通部分の説明は省略し、差分を説明する。

距離推定プログラム１５０は、センサ値取得部４０１、第一共通撮像領域観測部４０２、第二共通撮像領域観測部４０３、座標統合部４０４、時系列統合部１００１、路面モデル照合部４０５、単眼距離推定部４０６、及びオドメトリ推定部１００２を含む。時系列統合部１００１は、路面相対姿勢推定プログラム１４３に対応する機能ブロックの一つであり、座標統合部４０４から出力された第一共通撮像領域２１１と第二共通撮像領域２１２が統合された三次元座標値について、時系列的に統合する。短時間では車両１００の姿勢が大きく変化していないという前提の下、三次元座標値を統合する。統合の際、前時刻から現時刻の間に車両１００の移動量を取得し、車両移動量からカメラの移動量を公知の幾何計算により計算することによって、三次元座標値を統合できる。車両移動量については、後述のオドメトリ推定部１００２より取得する。初回は、座標統合部４０４の出力をＲＡＭ１１２に書き出して記録し、次回以降は、前回時刻に記録された点群をＲＡＭ１１２から読み出して、座標統合部４０４から新たに得られた車両１００の座標系における点群と加えて保持する。統合する時間範囲は、パラメータとして調整できるとよい。統合された三次元座標値は、路面モデル照合部４０５及びＲＡＭ１１２に出力される。

オドメトリ推定部１００２は、車速センサ１３１及び舵角センサ１３２から送信される車両１００の速度及び舵角を用いて、車両１００の運動を推定する。例えば、公知のデッドレコニングを用いてもよいし、カメラを用いた公知のビジュアルオドメトリ技術を用いて推定してもよいし、公知のカルマンフィルタ等を併用してもよい。車両運動推定結果を時系列統合部１００１に出力する。

＜変形例３＞
図１１は、本発明の変形例にかかるセンシング装置１０１を搭載した車両１００の構成を示すブロック図である。図１１に示すセンシング装置１０１は、図１に示すセンシング装置１０１とほぼ同じであるため、共通部分の説明は省略し、差分を説明する。

図１１に示すセンシング装置１０１は、図１に示すセンシング装置１０１に、カメラ１１０１、カメラ１１０２、及び車両制御装置１１８０が追加搭載される。カメラ１１０１とカメラ１１０２は、カメラ１２１～１２４と同様に車両１００の周囲に取り付けられ、車両１００の周囲を撮影する。カメラ１１０１、１１０２の取り付け方法は後述する。カメラ１１０１、１１０２の撮影範囲には、車両１００が走行する路面が含まれる。カメラ１１０１、１１０２と車両１００との位置及び姿勢の関係は、カメラパラメータ初期値１４１として、ＲＯＭ１１１に格納される。カメラ１１０１、１１０２は、レンズ及び撮像素子を有する。カメラ１１０１、１１０２の特性、例えばレンズの歪みを示すレンズ歪み係数、光軸中心、焦点距離、撮像素子の画素数、寸法などもカメラパラメータ初期値１４１としてＲＯＭ１１１に格納される。

車両制御装置１１８０は、ＣＰＵ１１０から出力される情報、例えば、距離推定プログラム１１５０から出力される路面相対姿勢１５３を用いて、操舵装置、駆動装置、及び制動装置、アクティブサスペンション等を制御する。操舵装置は、車両１００のステアリングを操作する。駆動装置は、車両１００に駆動力を与える。駆動装置は、例えば車両１００のエンジンの目標回転数を増加して車両１００の駆動力を増加する。制動装置は、車両１００に制動力を与える。アクティブサスペンションは、油圧や空気圧などで動作するアクチュエータが伸縮する、又はばねのダンピング力の強弱調整など、走行中の様々な機器の動作を変更できる。

図１２は、図１１に示す変形例のセンシング装置１０１における、車両１００、カメラ１２１～１２４、１１０１、１１０２、カメラ１２１の光軸２０１、カメラ１２２の光軸２０２、カメラ１２３の光軸２０３、カメラ１２４の光軸２０４、カメラ１１０１の光軸１２０１、カメラ１１０２の光軸１２０２、と第一共通撮像領域２１１、及び第二共通撮像領域２１２、第三共通撮像領域１２１３、第四共通撮像領域１２１４、第五共通撮像領域１２１５、第六共通撮像領域１２１６の関係の一例を示す図である。

カメラ１１０１は、車両１００の前方に、光軸１２０１の方向を撮影するように、かつ、カメラ１２２、１２４との共通撮像領域を持つようにカメラ画角等選定し、取り付けられる。カメラ１１０１とカメラ１２２の共通撮像領域が第三共通撮像領域１２１３であり、カメラ１１０１とカメラ１２４の共通撮像領域が第四共通撮像領域１２１４である。カメラ１１０２は、車両１００の後方に、光軸１２０２の方向を撮影するように、かつ、カメラ１２１、１２３との共通撮像領域を持つようにカメラ画角等選定し、取り付けられる。カメラ１１０２とカメラ１２１の共通撮像領域が第五共通撮像領域１２１５であり、カメラ１１０２とカメラ１２３の共通撮像領域が第六共通撮像領域１２１６である。各共通撮像領域では、路面や立体物が撮像される。さらに、車両１００の周囲の俯瞰図を表示する周辺視カメラとしても機能するように、画角や角度等が合致するカメラを選定してもよい。各共通撮像領域２１１、２１２、１２１３～１２１６での撮像結果は、路面と車両１００の相対姿勢推定に使用される。図１２に示す変形例では、さらに広い範囲での観測値によって、安定して推定でき、高精度で車両１００と路面の相対関係を求めることができる。その結果、道路が平坦でない場合でも、複数カメラが撮影した画像を用いた測距精度を向上できる。

図１３は、ＣＰＵ１１０が実行する距離推定プログラム１５０の機能ブロック図であり、図１１に示す変形例に対応する。図１３は、距離推定プログラム１５０の各機能ブロックの処理順序、機能ブロック同士、及び機能ブロックとＲＯＭ１１１、ＲＡＭ１１２との間のデータの流れを示す。図１３の機能ブロック図は、図１０の機能ブロック図とほぼ同じであるため、共通部分の説明は省略し、差分を説明する。

図１３に示す共通視野距離測定プログラム１４４は、第一共通撮像領域観測部４０２、第二共通撮像領域観測部４０３、第三共通撮像領域観測部１３１３、第四共通撮像領域観測部１３１４、第五共通撮像領域観測部１３１５、及び第六共通撮像領域観測部１３１６を含む。また、共通視野距離測定プログラム１４４には、カメラ１２１～１２４、カメラ１１０１、１１０２から画像が入力される。

第三共通撮像領域観測部１３１３は、センサ値取得部４０１から出力された複数カメラ１２２、１１０１が撮影した画像を用いて、第三共通撮像領域１２１３に撮影された路面３０１の三次元座標値を測定する。第四共通撮像領域観測部１３１４は、センサ値取得部４０１から出力された複数カメラ１２４、１１０１が撮影した画像を用いて、第四共通撮像領域１２１４に撮影された路面３０１の三次元座標値を測定する。第五共通撮像領域観測部１３１５は、センサ値取得部４０１から出力された複数カメラ１２１、１１０２が撮影した画像を用いて、第五共通撮像領域１２１５に撮影された路面３０１の三次元座標値を測定する。第六共通撮像領域観測部１３１６は、センサ値取得部４０１から出力された複数カメラ１２３、１１０２が撮影した画像を用いて、第六共通撮像領域１２１６に撮影された路面３０１の三次元座標値を測定する。各共通撮像領域観測部から出力される三次元座標値は、各カメラのカメラ座標系で表されており、カメラパラメータ初期値１４１の外部パラメータを用いて、カメラ座標系の三次元座標値を車両１００の座標系の三次元座標値に変換する。

車両制御部１３２０は、路面モデル照合部４０５の出力である路面相対姿勢１５３を受け取り、車両１００を制御する。車両制御の一例としては、路面相対姿勢１５３から得られる車両１００のロール角やピッチ角の影響を低減するように、アクティブサスペンションを制御し、乗り心地を改善する等がある。その他の車両１００の姿勢角によって車両１００を制御してもよい。

以上に説明したように、本発明の実施例のセンシング装置１０１は、共通撮像領域を有する少なくとも第一のセンサ（カメラ１２１）及び第二のセンサ（カメラ１２２）が取得した共通撮像領域の情報から自車両周辺の第一共通撮像領域２１１を観測する第一共通撮像領域観測部４０２と、共通撮像領域を有する少なくとも第三のセンサ（カメラ１２３）及び第四のセンサ（カメラ１２４）が取得した共通撮像領域の情報から第一共通撮像領域２１１と異なる第二共通撮像領域２１２を観測する第二共通撮像領域観測部４０３と、各センサの幾何関係と、第一共通撮像領域２１１及び第二共通撮像領域２１２で観測された情報の座標を統合する座標統合部４０４と、統合された座標から計算された点群情報に基づいて、自車両のピッチ角及びロール角を含む各センサと路面の相対姿勢を推定する路面推定部（路面モデル照合部４０５）とを備えるので、道路勾配や車両姿勢の影響を低減して、測距離精度を向上できる。また、複数カメラによる両眼測距離時の精度を向上できる。

また、共通撮像領域は、センサの光軸が交わる位置に配置されるので、光軸付近の歪みが少ない映像を使用して道路勾配や車両姿勢の影響を正確に補正できる。

また、路面推定部（路面モデル照合部４０５）は、前記路面の点群情報と路面モデルを照合する路面モデル照合部４０５を有し、路面モデル照合部４０５は、路面の点群情報と路面モデル１４２との誤差が小さくなるように、路面の点群情報を路面モデル１４２に当て嵌めるので、道路勾配や車両姿勢の影響を正確に補正できる。

また、第一共通撮像領域観測部４０２及び第二共通撮像領域観測部４０３は、路面点群情報と、路面に存在する物体を表す物体点群情報とを分離し（８０１）、路面推定部（路面モデル照合部４０５）は、路面点群情報と路面との誤差が小さくなり、物体点群情報が垂直に並ぶように路面モデルと照合するので、大きな誤りが生じることなく、道路勾配や車両姿勢の影響を正確に補正できる。

また、路面推定部（路面モデル照合部４０５）は、第一の共通撮像領域観測部の出力を時系列統合し、第二の共通撮像領域観測部の出力を時系列統合する時系列統合部１００１を有するので、道路勾配や車両姿勢の影響を正確に補正でき、路面推定のロバスト性が向上する。

また、六つの前記センサが取得した情報を受信し、路面推定部（路面モデル照合部４０５）は、前記六つのセンサのうち二つの組み合わせによる共通撮像領域で観測された情報の座標を統合し計算された点群情報に基づいて、自車両のピッチ角、車両ロール角を含む各センサと路面の相対姿勢を推定するので、多くのセンサを使用して、広い領域の情報を使用でき、道路勾配や車両姿勢の影響を正確に補正できる。また、複数カメラによる両眼測距離時の精度を向上でき、路面推定のロバスト性が向上する。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。

また、センシング装置１０１が不図示の入出力インタフェースを備え、必要なときに入出力インタフェースとセンシング装置１０１が利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、例えば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号を指す。

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。また、プログラムにより実現される機能の一部または全部がハードウェア回路やＦＰＧＡにより実現されてもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

１００ 車両
１０１ センシング装置
１０２ 車載処理装置
１１０ ＣＰＵ
１１１ ＲＯＭ
１１２ ＲＡＭ
１２１、１２２、１２３、１２４、１１０１、１１０２ カメラ
１３１ 車速センサ
１３２ 舵角センサ
１４１ カメラパラメータ初期値
１４２ 路面モデル
１４３ 路面相対姿勢推定プログラム
１４４ 共通視野距離測定プログラム
１４５ 単眼距離測定プログラム
１５０ 距離推定プログラム
１５１ 第一領域観測値
１５２ 第二領域観測値
１５３ 路面相対姿勢
１５４ 外部パラメータ
１６１ 表示装置
２０１、２０２、２０３、２０４、１２０１、１２０２ 光軸
２１１ 第一共通撮像領域
２１２ 第二共通撮像領域
３０１ 路面
４０１ センサ値取得部
４０２ 第一共通撮像領域観測部
４０３ 第二共通撮像領域観測部
４０４ 座標統合部
４０５ 路面モデル照合部
４０６ 単眼距離推定部
１００１ 時系列統合部
１００２ オドメトリ推定部
１１５０ 距離推定プログラム
１１８０ 車両制御装置
１２１３ 第三共通撮像領域
１２１４ 第四共通撮像領域
１２１５ 第五共通撮像領域
１２１６ 第六共通撮像領域
１３１３ 第三共通撮像領域観測部
１３１４ 第四共通撮像領域観測部
１３１５ 第五共通撮像領域観測部
１３１６ 第六共通撮像領域観測部
１３２０ 車両制御部

Claims (11)

1. 共通撮像領域を有する少なくとも第一のセンサ及び第二のセンサが取得した前記共通撮像領域の情報から自車両周辺の第一の領域を観測する第一の共通撮像領域観測部と、
   共通撮像領域を有する少なくとも第三のセンサ及び第四のセンサが取得した前記共通撮像領域の情報から前記第一の領域と異なる第二の領域を観測する第二の共通撮像領域観測部と、
   前記各センサの幾何関係と、前記第一の領域及び前記第二の領域で観測された情報の座標を統合する座標統合部と、
   前記統合された座標から計算された点群情報に基づいて、自車両のピッチ角及びロール角を含む各センサと路面の相対姿勢を推定する路面推定部とを備えることを特徴とするセンシング装置。
2. 請求項１に記載のセンシング装置であって、
   前記共通撮像領域は、前記センサの光軸が交わる位置に配置されることを特徴とするセンシング装置。
3. 請求項１に記載のセンシング装置であって、
   前記路面推定部は、前記路面の点群情報と路面モデルを照合することを特徴とするセンシング装置。
4. 請求項３に記載のセンシング装置であって、
   前記路面推定部は、前記路面の点群情報と路面モデルとの誤差が小さくなるように、前記路面の点群情報を路面モデルに当て嵌めることを特徴とするセンシング装置。
5. 請求項１に記載のセンシング装置であって、
   前記推定された相対姿勢から計算した補正値を参照して、測距する距離測定部を備えることを特徴とするセンシング装置。
6. 請求項１に記載のセンシング装置であって、
   前記第一の共通撮像領域観測部及び前記第二の共通撮像領域観測部は、路面点群情報と、路面に存在する物体を表す物体点群情報とを分離することを特徴とするセンシング装置。
7. 請求項６に記載のセンシング装置であって、
   前記路面推定部は、前記路面点群情報と路面との誤差が小さくなり、前記物体点群情報が垂直に並ぶように路面モデルと照合することを特徴とするセンシング装置。
8. 請求項１に記載のセンシング装置であって、
   前記第一の共通撮像領域観測部の出力を時系列統合し、前記第二の共通撮像領域観測部の出力を時系列統合する時系列統合部を備えることを特徴とするセンシング装置。
9. 請求項１に記載のセンシング装置であって、
   前記第一の共通撮像領域観測部は、前記自車両の進行方向左側の情報を取得し、
   前記第二の共通撮像領域観測部は、前記自車両の進行方向右側の情報を取得することを特徴とするセンシング装置。
10. 請求項１に記載のセンシング装置であって、
    六つのセンサが取得した情報を受信し、
    前記路面推定部は、前記六つのセンサのうち二つの組み合わせによる共通撮像領域で観測された情報の座標を統合し計算された点群情報に基づいて、自車両のピッチ角、車両ロール角を含む各センサと路面の相対姿勢を推定することを特徴とするセンシング装置。
11. 共通撮像領域を有する少なくとも第一のセンサ及び第二のセンサが取得した前記共通撮像領域の情報から自車両周辺の第一の領域を観測する第一の共通撮像領域観測部と、
    共通撮像領域を有する少なくとも第三のセンサ及び第四のセンサが取得した前記共通撮像領域の情報から前記第一の領域と異なる第二の領域を観測する第二の共通撮像領域観測部と、
    前記各センサの幾何関係と、前記第一の領域及び前記第二の領域で観測された情報の座標を統合する座標統合部と、
    前記統合された座標から計算された点群情報に基づいて、自車両のピッチ角及びロール角を含む各センサと路面の相対姿勢を推定する路面推定部とを備え、
    前記推定された相対姿勢を用いて車両を制御することを特徴とする車両制御装置。

Images