JP2023057677A - 車両制御装置、車両制御方法、およびプログラム - Google Patents

Abstract

【課題】画像に含まれる物体の位置をより正確に認識して自車両の運転制御を行って、交通の安全性をより向上させること。
【解決手段】実施形態の車両制御装置は、自車両の周辺を撮像する撮像部と、前記自車両の周辺状況を認識する認識部と、前記認識部の認識結果に基づいて前記自車両の速度または操舵のうち一方または双方を制御する運転制御部と、前記撮像部の撮像内容に基づいて前記運転制御部を制御する制御部と、を備え、前記制御部は、前記撮像部により撮像された二次元画像上に存在する前記自車両の周辺に存在する物体に対して、前記自車両との相対位置情報を設定し、設定した相対位置情報に基づいて、前記認識部による認識結果を補正する。
【選択図】図１

Description

本発明は、車両制御装置、車両制御方法、およびプログラムに関する。

近年、交通の安全性や利便性の改善による持続可能な輸送システムを提供することを目的として、周辺状況の認識結果に基づいて乗員を輸送する車両の走行を自動的に制御することについての研究が進められている。これに関連して、車両の周辺認識の分野において、複数のカメラのそれぞれにより撮像された道路の路面の画像から特徴点を抽出し、抽出した特徴点の座標を、複数のカメラに共通する俯瞰座標系に座標変換し、複数のカメラのうち、利用可能と判定されたカメラにより撮像された画像から抽出された特徴点の状態遷移の判定結果に基づいて、区画線の線種を判定する技術が知られている（例えば、特許文献１参照）。

国際公開第２０１８／１０９９９９号

しかしながら、従来の技術では、複数カメラで撮像された複数の画像のそれぞれを俯瞰座標系に座標変換するため、画像内の区画線や他車両等の物体の位置ずれが生じ、区画線と物体との位置関係が正確に取得できず、交通の安全性が向上できない場合があった。

本発明の態様は、このような事情を考慮してなされたものであり、画像に含まれる物体の位置をより正確に認識して自車両の運転制御を行うことができ、交通の安全性をより向上させることができる車両制御装置、車両制御方法、およびプログラムを提供することを目的の一つとする。

この発明に係る車両制御装置、車両制御方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る車両制御装置は、自車両の周辺を撮像する撮像部と、前記自車両の周辺状況を認識する認識部と、前記認識部の認識結果に基づいて前記自車両の速度または操舵のうち一方または双方を制御する運転制御部と、前記撮像部の撮像内容に基づいて前記運転制御部を制御する制御部と、を備え、前記制御部は、前記撮像部により撮像された二次元画像上に存在する前記自車両の周辺に存在する物体に対して、前記自車両との相対位置情報を設定し、設定した相対位置情報に基づいて、前記認識部による認識結果を補正する、車両制御装置である。

（２）：上記（１）の態様において、前記制御部は、前記運転制御部により前記自車両が前走車両に追従する追従走行が実行されている場合であって、且つ、前記認識部により前記自車両の新たな追従対象車両または前記自車両が走行する自車線に割り込む割込み車両が認識された場合に、前記追従対象車両または前記割込み車両に対する前記相対位置情報に基づいて、前記追従対象車両または前記割込み車両に対する前記運転制御部による制御内容を補正するものである。

（３）：上記（２）の態様において、前記制御部は、前記認識部により前記追従対象車両または前記割込み車両が認識された場合であっても、前記相対位置情報に基づいて、前記自車線に前記追従対象車両および前記割込み車両が存在しないと判定された場合には、前記追従対象車両および前記割込み対象車両を前記運転制御部による運転制御の対象から除外するものである。

（４）：上記（２）または（３）の態様において、前記制御部は、補正された認識結果に基づいて、前記追従対象車両または前記割込み車両に対する前記運転制御部の運転制御を実行させるものである。

（５）：この発明の一態様に係る車両制御方法は、コンピュータが、撮像部により自車両の周辺を撮像し、前記自車両の周辺状況を認識し、認識結果に基づいて前記自車両の速度または操舵のうち一方または双方を制御する運転制御を実行し、前記撮像部の撮像内容に基づいて前記運転制御を制御し、前記撮像部により撮像された二次元画像上に存在する前記自車両の周辺に存在する物体に対して、前記自車両との相対位置情報を設定し、設定した相対位置情報に基づいて、前記認識結果を補正する、車両制御方法である。

（６）：この発明の一態様に係るプログラムは、コンピュータに、撮像部により自車両の周辺を撮像させ、前記自車両の周辺状況を認識させ、認識結果に基づいて前記自車両の速度または操舵のうち一方または双方を制御する運転制御を実行させ、前記撮像部の撮像内容に基づいて前記運転制御を制御させ、前記撮像部により撮像された二次元画像上に存在する前記自車両の周辺に存在する物体に対して、前記自車両との相対位置情報を設定し、設定した相対位置情報に基づいて、前記認識結果を補正させる、プログラムである。

上記（１）～（６）の態様によれば、画像に含まれる物体の位置をより正確に認識して自車両の運転制御を行うことができ、交通の安全性をより向上させることができる。

実施形態に係る車両制御装置が搭載された車両システム１の構成の一例を示す図である。 運転制御装置１００によって実行される制御の一例を示す図である。 運転制御装置１００により実行される処理の流れの一例を示すフローチャートである。 自車両Ｍの周辺状況の一例を示す図である。 二次元画像に含まれる他車両の輪郭を囲う領域について説明するための図である。 区画線を抽出することについて説明するための図である。 区画線のノイズ除去について説明するための図である。 区画線の傾きを抽出することについて説明するための図である。 他車両の左右の端部を取得することについて説明するための図である。 セグメンテーション領域を用いて他車両の端部の取得について説明するための図である。 他車両の所属車線を判定することについて説明するための図である。 所属車線の判定処理の流れの一例を示すフローチャートである。 複数の判定条件について説明するための図である。 ステップＳ２１２～Ｓ２１４の処理の内容について説明するための図である。 不在確定車線を判定する処理について説明するための図である。 フラグが設定された情報の一例を示す図である。 第１の判定パターンについて説明するため図である。 第２の判定パターンについて説明するため図である。 第３の判定パターンについて説明するため図である。 第４の判定パターンについて説明するため図である。 両方の区画線の一部が認識できていない第２の場面について説明するための図である。 ターゲット捕捉部１５０の機能について説明するための図である。 ターゲット車両の切り替わり期間における制御遷移比率の設定について説明するための図である。

以下、図面を参照し、本発明の車両制御装置、車両制御方法、およびプログラムの実施形態について説明する。なお、実施形態の車両制御装置は、車両に搭載されているものとする。車両は、例えば、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

［全体構成］
図１は、実施形態に係る車両制御装置が搭載された車両システム１の構成の一例を示す図である。図１に示す車両システム１は、例えば、第１カメラ１０と、レーダ装置１２と、第２カメラ２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、運転操作子８０と、走行駆動力出力装置９２と、ブレーキ装置９４と、ステアリング装置９６と、運転制御装置１００とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に、別の構成が追加されてもよい。第２カメラ２０は、「撮像部」の一例である。また、撮像部には、第１カメラ１０が含まれていてもよい。第２カメラ２０および運転制御装置１００は、「車両制御装置」の一例である。

第１カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。第１カメラ１０は、車両システム１が搭載される車両（以下、自車両Ｍ）の任意の箇所に一つまたは複数が取り付けられる。例えば、自車両Ｍの前方を撮像する場合、第１カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。自車両Ｍの後方を撮像する場合、第１カメラ１０は、リアウインドシールド上部やバックドア等に取り付けられる。また、自車両Ｍの側方および後側方を撮像する場合、第１カメラ１０は、ドアミラー等に取り付けられる。第１カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。第１カメラ１０は、ステレオカメラであってもよい。

第１カメラ１０は、さらに、自車両Ｍの周辺を広角に（例えば３６０度で）撮像可能な魚眼カメラを含む。魚眼カメラは、例えば、自車両Ｍの上部に取り付けられ、移動体Ｍの周辺を水平方向に関して広角に撮像する。魚眼カメラは、複数のカメラ（水平方向に関して１２０度の範囲や６０度の範囲を撮像する複数のカメラ）を組み合わせて実現されてもよい。

レーダ装置１２は、自車両Ｍの周辺にミリ波等の電波を放射すると共に、周辺の物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。レーダ装置１２は、ＦＭ－ＣＷ（Frequency Modulated Continuous Wave）方式によって周辺の物体の位置および速度を検出してもよい。

第２カメラ２０は、例えば、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。第２カメラ２０は、自車両Ｍの任意の箇所に一つまたは複数が取り付けられる。第２カメラ２０は、第１カメラ１０と同様の位置に設けられてもよく、第１カメラ１０の設置位置の一部（例えば、自車両Ｍの前方を撮像する位置）に設けられてもよい。第２カメラ２０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。第２カメラ２０は、ステレオカメラであってもよい。

ＨＭＩ３０は、自車両Ｍのユーザに対して各種情報を提示すると共に、ユーザによる入力操作を受け付ける。ユーザには、例えば、自車両Ｍを運転する運転者や同乗者等の乗員が含まれる。以下では、特に区別する場合を除き「乗員」と称して説明する。ＨＭＩ３０は、例えば、各種情報を提示する出力部として表示部とスピーカとを備える。表示部は、後述するＨＭＩ制御部１７０による制御によって画像を表示し、スピーカはＨＭＩ制御部１７０による制御によって音声を出力する。また、ＨＭＩ３０には、乗員からの入力を受け付ける入力部としてタッチパネル、スイッチ、キー、マイク等を備える。入力部によって受け付けられた情報は、ＨＭＩ制御部１７０に出力される。

車両センサ４０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ（３軸Ｇセンサ)、ヨーレート（例えば、自車両Ｍの重心点を通る鉛直軸回りの回転角速度）を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。また、車両センサ４０は、自車両Ｍの位置を検出する位置センサを備えていてもよい。位置センサは、例えば、ＧＰＳ（Global Positioning System）装置から位置情報（経度・緯度情報）を取得するセンサである。また、位置センサは、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機を用いて位置情報を取得するセンサであってもよい。ＧＮＳＳ受信機は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、他のセンサの出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。車両センサ４０により検出した結果は、運転制御装置１００に出力される。

運転操作子８０は、例えば、運転者が操舵操作を行うステアリングホイールや、アクセルペダル、ブレーキペダル、シフトレバー等の各種操作子を含む。運転操作子８０の各操作子には、例えば、運転者による操作の操作量を検出する操作検出部が取り付けられている。操作検出部は、アクセルペダルやブレーキペダルの踏込量、シフトレバーの位置、ステアリングホイールの操舵角や操舵トルク等を検出する。そして、操作検出部は、検出結果を示す検出信号を運転制御装置１００、もしくは、走行駆動力出力装置９２、ブレーキ装置９４、およびステアリング装置９６のうち一方または双方に出力する。

走行駆動力出力装置９２は、自車両Ｍが走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置９２は、例えば、内燃機関、電動機、および変速機等の組み合わせと、これらを制御するパワーＥＣＵ（Electronic Control Unit）とを備える。パワーＥＣＵは、運転制御装置１００から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置９４は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、運転制御装置１００から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置９４は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置９４は、上記説明した構成に限らず、運転制御装置１００から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置９６は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、運転制御装置１００から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

［運転制御装置１００の構成］
運転制御装置１００は、例えば、認識部１２０と、制御部１４０と、運転制御部１６０と、ＨＭＩ制御部１７０と、記憶部１８０とを備える。認識部１２０と、制御部１４０と、運転制御部１６０と、ＨＭＩ制御部１７０とは、それぞれ、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。上述のプログラムは、予め運転制御装置１００のＨＤＤやフラッシュメモリ等の記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ、メモリカード等の着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置やカードスロット等に装着されることで運転制御装置１００の記憶装置にインストールされてもよい。

記憶部１８０は、上記の各種記憶装置、或いはＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現されてもよい。記憶部１８０には、例えば、実施形態における各種制御を実行するために必要な情報、プログラム、その他の各種情報等が格納される。

［認識部］
認識部１２０は、例えば、周辺認識部１２２を備える。周辺認識部１２２は、例えば、周辺認識部１２２は、第１カメラ１０またはレーダ装置１２のうち一方または双方による検出結果に対してセンサフュージョン処理等を行って、自車両Ｍの周辺状況を認識する。この場合、周辺認識部１２２は、第１カメラ１０から得られた画像を俯瞰図座標系に座標変換し、変換した座標系に基づいて周知の手法（二値化処理、輪郭抽出処理、画像強調処理、特徴量抽出処理、パターンマッチング処理等）で画像認識処理を行って、自車両Ｍの周辺状況を認識する。また、周辺認識部１２２は、自車両Ｍの周辺の物体の位置、種類、速度等を認識してもよい。物体とは、例えば、他車両（例えば、自車両Ｍから所定距離以内に存在する周辺車両）である。また、物体には、歩行者、自転車、道路構造物等が含まれてもよい。道路構造物には、例えば、道路標識や交通信号機、縁石、中央分離帯、ガードレール、フェンス、壁、踏切等が含まれる。また、物体には、自車両Ｍの走行の障害となる障害物が含まれてもよい。

また、周辺認識部１２２は、自車両Ｍ、および自車両Ｍの周辺に存在する物体の位置（相対位置）、速度、加速度等の状態を認識する。物体の位置は、例えば、車両Ｍの代表点（重心や駆動軸中心など）を原点とした絶対座標系（以下、車両座標系）の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー、進行方向の先端部等の代表点で表されてもよいし、表現された領域で表されてもよい。速度には、例えば、走行する車線の進行方向（縦方向）に対する自車両Ｍおよび他車両の速度（以下、縦速度と称する）と、車線の横方向に対する自車両Ｍおよび他車両の速度（以下、横速度）とが含まれる。物体の「状態」とは、例えば、物体が他車両等の移動体である場合に、物体の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。

また、周辺認識部１２２は、自車両Ｍの周辺に存在する道路区画線（以下、区画線を称する）を認識する。例えば、周辺認識部１２２は、自車両Ｍが走行する車線（以下、自車線と称する）を区画する左右の区画線を認識する。また、周辺認識部１２２は、左右の区画線に基づいて、自車線の左側の隣接車線（以下、左車線と称する）と、自車線の右側の隣接車線（以下、右車線と称する）とを区別して認識する。

［制御部］
制御部１４０は、運転制御装置１００の全体を制御する。制御部１４０は、例えば、輪郭抽出部１４２と、区画線抽出部１４４と、端部取得部１４６と、所属車線判定部１４８と、ターゲット捕捉部１５０とを備える。

輪郭抽出部１４２は、第２カメラ２０により撮像された二次元画像に対して、既存の画像解析処理によりエッジ点を抽出し、抽出したエッジ点列から二次元画像上における物体の輪郭を抽出する。二次元画像とは、第２カメラ２０により撮像された画像をそのまま縦方向（Ｘ軸方向）と横方向（Ｙ軸方向）の二次元の座標系で表した画像である。例えば、輪郭抽出部１４２は、所定距離以内に存在するエッジ点間を連結して輪郭を抽出する。また、輪郭抽出部１４２は、二次元画像の画像解析処理によりエッジ点ごとの色情報を取得し、取得した色が類似するエッジ点間を連結して輪郭を抽出してもよい。また、輪郭抽出部１４２は、輪郭の形状、大きさ、位置等に基づいて他車両（対象物体の一例）の輪郭のみを抽出してもよい。また、輪郭抽出部１４２は、二次元画像に複数の物体が存在する場合に、それぞれの物体を分離して抽出する。

区画線抽出部１４４は、第２カメラ２０により撮像された二次元画像に含まれる区画線を抽出する。また、区画線抽出部１４４は、自車線の左右の区画線を区別して抽出してもよい。区画線抽出部１４４は、抽出された区画線の二次元画像上での位置情報（座標情報）を取得する。

端部取得部１４６は、第２カメラ２０により撮像された二次元画像に含まれる対象物体の端部の位置（二次元画像上での位置情報）を取得する。対象物体の端部とは、例えば、二次元画像上の左右の端部である。ここで、対象物体が他車両である場合、他車両の端部とは、例えば、二次元画像における他車両の左右の接地箇所（他車両が道路と接する箇所）である。以降、対象物体の一例として他車両を用いて説明を続ける。

所属車線判定部１４８は、区画線抽出部１４４により抽出された区画線の位置情報と、端部取得部１４６により取得された他車両の端部の位置情報とに基づいて、他車両が所属する車線（他車両の存在確定車線）を判定する。また、所属車線判定部１４８は、他車両が所属する車線に代えて（または加えて）、他車両が所属しない車線（他車両の不在確定車線）を判定してもよい。

ターゲット捕捉部１５０は、認識部１２０による認識結果や、所属車線判定部１４８による他車両の所属車線の判定結果（自車両Ｍからみた他車両の相対横位置情報）に基づいて、自車両Ｍが運転制御部１６０による運転制御を行うターゲット車両を捕捉する。ターゲット車両とは、例えば、自車両Ｍが運転制御部１６０によるＡＣＣ（Adaptive Cruise Control）等の運転制御により、前方車両を所定の車間距離で追従する場合の前方車両である。また、ターゲット捕捉部１５０は、自車両Ｍの周辺に存在する他車両のうち、自車両Ｍの走行に干渉する他車両を抽出してもよい。自車両Ｍの走行に干渉する他車両とは、例えば、自車両Ｍが前方車両に追従している場合に前走車両と自車両Ｍとの間に車線変更することで、自車両Ｍの運転制御（速度制御、操舵制御）の変更が必要となる他車両や、自車両Ｍと接触する可能性があり回避する運転制御が必要となる他車両等である。上述した輪郭抽出部１４２、区画線抽出部１４４、端部取得部１４６、所属車線判定部１４８、およびターゲット捕捉部１５０の機能の詳細については後述する。

運転制御部１６０は、認識部１２０の認識結果や制御部１４０からの情報に基づいて自車両Ｍの速度または操舵のうち一方または双方を制御する。例えば、運転制御部１６０は、所定の運転制御を実行する場合に、自車両Ｍにその運転制御の内容に応じた走行をさせるために、認識部１２０の認識結果や制御部１４０からの情報に基づいて自車両Ｍが将来走行する予定軌道（目標軌道）を生成する。予定軌道は、例えば、速度要素を含んでいる。そして運転制御部１６０は、生成した予定軌道に沿って自車両Ｍが走行するように、自車両Ｍの速度や操舵を制御する。運転制御部１６０は、例えば、速度制御部１６２と、操舵制御部１６４とを備える。速度制御部１６２は、例えば、乗員によるＨＭＩ３０の操作によりＡＣＣの実行を受け付けた場合に、予定軌道に基づいて自車線を走行する前走車両と所定の車間距離を維持しながら走行するように走行駆動力出力装置９２またはブレーキ装置９４を制御して、加速または減速等の速度制御を行う。また、速度制御部１６２は、例えば、他車両の自車両Ｍへの接近状況に基づいて自車両Ｍと他車両とが接触しないように走行駆動力出力装置９２またはブレーキ装置９４を制御して、加速または減速等の速度制御を行う。

操舵制御部１６４は、例えば、乗員によるＨＭＩ３０の操作によりＡＣＣやＬＫＡＳ（Lane Keeping Assistance System）等の運転制御を行う場合に、予定軌道に基づいて自車線上の走行を維持するために、自車線の認識結果および自車両Ｍの位置に基づいてステアリング装置９６を制御する。また、操舵制御部１６４は、例えば、乗員によるＨＭＩ３０の操作によりＡＬＣ（Auto Lane Changing）を実行する場合に、認識部１２０による認識結果に基づいて予定軌道に沿って目的の隣接車線に車線変更を行うためにステアリング装置９６を制御する。

速度制御部１６２および操舵制御部１６４の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部１６４は、車両Ｍの前方の道路の曲率に応じたフィードフォワード制御と、予定軌道（目標軌道）からの乖離に基づくフィードバック制御とを組み合わせて実行する。

ＨＭＩ制御部１７０は、ＨＭＩ３０により乗員に所定の情報を提示する。所定の情報には、例えば、自車両Ｍの状態に関する情報や運転制御に関する情報等が含まれる。車両Ｍの状態に関する情報には、例えば、車両Ｍの速度、エンジン回転数、シフト位置等が含まれる。また、運転制御に関する情報には、例えば、制御部１４０により制御された情報、ＡＣＣやＡＬＣ等の運転制御や手動運転を行うか否かの情報、実行中の運転制御の状況に関する情報等が含まれる。また、また、所定の情報には、テレビ番組、ＤＶＤ等の記憶媒体に記憶されたコンテンツ（例えば、映画）等の車両Ｍの走行制御に関連しない情報が含まれてもよい。

例えば、ＨＭＩ制御部１７０は、上述した所定の情報を含む画像を生成し、生成した画像をＨＭＩ３０の表示部に表示させてもよく、所定の情報を示す音声を生成し、生成した音声をＨＭＩ３０のスピーカから出力させてもよい。また、ＨＭＩ制御部１７０は、ＨＭＩ３０により受け付けられた情報を制御部１４０や運転制御部１６０等に出力してもよい。

[車両制御装置による制御]
以下、運転制御装置１００によって実行される制御の詳細について説明する。図２は、運転制御装置１００によって実行される制御の一例を示す図である。運転制御装置１００は、第１カメラ１０およびレーダ装置１２により出力された情報を用いたセンサフュージョン処理による自車両Ｍの周辺の認識結果を補正する前に、第２カメラ２０により撮像された自車両Ｍの周辺（特に進行方向）の二次元画像を用いて他車両が所属する車線の判定や、区画線と他車両の相対位置関係の取得等を行う。

そして、運転制御装置１００は、他車両の所属車線の判定結果や、区画線と他車両との相対位置関係、センサフュージョン処理による物体認識結果等に基づいて、例えば、ＡＣＣ等の運転制御の実行中に、自車両Ｍが追従する対象となる他車両（以下、ターゲット車両）を捕捉し、捕捉したターゲット車両に関する情報（例えば、ターゲット車両の位置、相対距離、相対速度、目標車間、進行方向）等に基づいて、自車両Ｍの速度等を生成し、生成した速度で自車両Ｍを走行させることができる。このように、実施形態では、第２カメラ２０により撮像された二次元画像を用いて、俯瞰画像にするための三次元座標変換等を行わずに二次元画像の座標系のままで所属車線の特定や相対位置関係を取得することで、他車両と自車線との相対位置に誤差や矛盾が生じることを抑制することができ、より正確な相対位置に基づいて運転制御を行うためのターゲット車両を捕捉することができる。なお、運転制御装置１００は、速度制御に代えて（または加えて）、操舵制御を行ってもよい。

［処理フロー］
次に、実施形態に係る運転制御装置１００により実行される処理の流れについて説明する。図３は、運転制御装置１００により実行される処理の流れの一例を示すフローチャートである。なお、以下の説明では、運転制御装置１００が実行する処理のうち、主に自車両ＭがＡＣＣの運転制御を実行する場合の処理を中心として説明する。また、図３に示す処理は、上記運転制御が実行されている間で繰り返し実行されてよい。

図３の例において、まず認識部１２０は、第１カメラ１０およびレーダ装置１２からの出力を用いたセンサフュージョン処理によって、自車両Ｍの前方を含む周辺状況を認識する（ステップＳ１００）。認識部１２０は、自車両Ｍの周辺に他車両が存在するか否かを判定する（ステップＳ１２０）。他車両は、対象物体の一例であり、より具体的には自車両Ｍの前方を走行する他車両である。自車両Ｍの前方とは、自車線上の前方だけでなく、左車線上および右車線上の前方も含まれる。

図４は、自車両Ｍの周辺状況の一例を示す図である。図４の例では、車線Ｌ１と、車線Ｌ１の左車線Ｌ２と、右車線Ｌ３とからなる三車線の道路を示している。また、図４において自車両Ｍ（不図示）は、車線Ｌ１を走行しているものとする（以下、自車線Ｌ１と称する）。図４に示す周辺状況において、認識部１２０は、自車両Ｍの前方に存在する対象物体として、自車両Ｍの前方であって、且つ、自車線Ｌ１を走行する他車両ｍ１と、左車線Ｌ２を走行する他車両ｍ２およびｍ３を認識する。

制御部１４０は、認識部１２０により認識された他車両ｍ１～ｍ３ごとに、ステップＳ１４２～Ｓ１５４の処理を繰り返し（ループして）実行する（ステップＳ１４０）。輪郭抽出部１４２は、第２カメラ２０により撮像された二次元画像に含まれる他車両の輪郭を抽出する（ステップＳ１４２）。次に、輪郭抽出部１４２は、他車両の輪郭を囲う領域を設定する（ステップＳ１４４）。

図５は、二次元画像に含まれる他車両の輪郭を囲う領域について説明するための図である。図５の例では、図４に相当する自車両Ｍの周辺状況において、第２カメラ２０により撮像された画像ＩＭ１０を示している。画像ＩＭ１０は、撮像画像がそのまま（三次元座標変換せずに）画像座標系で表される二次元画像である。また、図５に示す画像ＩＭ１０は、輪郭抽出部１４２により他車両ｍ１～ｍ３の輪郭が抽出されているものとする。図５の例において、輪郭抽出部１４２は、抽出された他車両ｍ１～ｍ３の輪郭をそれぞれ囲う３つの領域（以下、バウンディングボックスと称する）ＢＢ１～ＢＢ３を生成する（ステップＳ１４４）。バウンディングボックスＢＢ１～ＢＢ３は、例えば、画像ＩＭ１０のＸ軸（縦方向）およびＹ軸（横方向）に沿って形成される矩形領域である。また、輪郭抽出部１４２は、画像ＩＭ１０の二次元座標における各バウンディングボックスＢＢ１～ＢＢ３の四隅の座標（ＸＹ座標）を抽出する。

次に、区画線抽出部１４４は、第２カメラ２０により撮像された二次元画像から自車線Ｌ１を区画する区画線の点列を抽出する（ステップＳ１４６）。図６は、区画線を抽出することについて説明するための図である。なお、図６の例では、第２カメラ２０により撮像された画像ＩＭ１０のうち、車線Ｌ１およびＬ２と車線Ｌ２を走行する他車両ｍ２の部分を拡大して示している。区画線抽出部１４４は、例えば、他車両ｍ２のバウンディングボックスＢＢ２の下端を画像ＩＭ１０の横方向（左右方向、Ｙ軸方向）にスキャンさせ、自車線Ｌ１を区画する左右の区画線ＬＬ、ＬＲと接触したときの区画線ＬＬ、ＬＲ上の位置（ＸＹ座標位置）を取得する。更に、区画線抽出部１４４は、バウンディングボックスＢＢ２の下端のラインを基準として、上下方向（Ｘ軸方向、縦方向）に所定ピクセル（例えば、１ピクセル）ずつずらして同様にスキャンを行い、例えば上下方向が２ｎ＋１ピクセルとなる所定範囲（以下、特定領域ＳＰと称する）内における二次元画像上での区画線ＬＬ、ＬＲの領域を抽出する。ｎは、例えば、約１０～３０であり、２０が好ましいが、二次元画像の解像度や自車両Ｍの周辺環境等に応じて適宜変更されてよい。また、特定領域ＳＰの横幅（左右方向の範囲）は、画像ＩＭ１０の横幅に相当する。区画線抽出部１４４は、上述した特定領域ＳＰから得られた座標の点列を連結して区画線ＬＬ、ＬＲを抽出する。

図３に戻り、次に区画線抽出部１４４は、特定領域ＳＰ内で抽出された区画線ＬＬ、ＬＲのノイズ除去を行う（ステップＳ１４８）。図７は、区画線のノイズ除去について説明するための図である。例えば、区画線抽出部１４４は、画像ＩＭ１０の特定領域ＳＰ内において、区画線として抽出した画素をＹ軸上に射影したときの画素数をカウントしたヒストグラムを生成する。なお、ヒストグラムは、例えば、Ｙ軸方向の所定幅ごとにまとめた画素数をカウントしたものであってもよい。そして、区画線抽出部１４４は、生成したヒストグラムのうち、Ｙ軸方向（横方向）に連続する区間が所定長以上の区間または画素数が閾値以上である区間を区画線が存在する区間として抽出する。これにより、例えば、図７に示すように、画像上に含まれるゴミ等のノイズＮＳ１、ＮＳ２が区画線として認識されることを防止することができ、より正確に区画線を抽出することができる。

図３に戻り、次に区画線抽出部１４４は、区画線の傾きを抽出する（ステップＳ１５０）。区画線の傾きとは、例えば、第２カメラ２０により撮像された二次元画像の下端と、二次元画像に含まれる区画線とが成す角度である。例えば、区画線抽出部１４４は、特定領域ＳＰにおける区画線ＬＬ、ＬＲの主成分分析処理により第１主成分を導出する。図８は、区画線の傾きを抽出することについて説明するための図である。図８の例では、他車両ｍ２に対する特定領域ＳＰから抽出された区画線ＬＬを拡大して示したものである。図８の例では、区画線ＬＬとして抽出された画素群（ピクセルのデータの集まり）が示されている。

区画線抽出部１４４は、例えば、区画線ＬＬとして抽出された画素群に対して既存の主成分分析処理を行い、例えば主成分スコアの分散が最も大きくなる方向を第１主成分の軸Ｃ１として抽出する。例えば、区画線抽出部１４４は、図８に示すような特定領域ＳＰ等の所定の画像領域内において区画線ＬＬに相当するピクセルが存在する座標に対して共分散行列を求め、求めた共分散行列の固有ベクトルを導出し、導出した固有ベクトルから分散（固有値）が最も大きくなる方向を第１主成分の軸Ｃ１として抽出する。

また、区画線抽出部１４４は、第１主成分の軸Ｃ１に直交する軸を第２主成分の軸Ｃ２として抽出してもよい。そして、区画線抽出部１４４は、Ｙ軸に対する第１主成分の軸Ｃ１を、区画線ＬＬの傾きとして抽出する。傾きは、例えば、Ｙ軸と第１主成分の軸Ｃ１とがなす角θ１で表される。区画線抽出部１４４は、自車線Ｌ１を区画するもう一方の区画線ＬＲについても同様に主成分分析から、Ｙ軸（より具体的には－Ｙ軸）と、区画線ＬＲの第１主成分の軸Ｃ１＃（不図示）とがなす角θ２（不図示）を区画線ＬＲの傾きとして抽出する。上述したように、区画線抽出部１４４は、バウンディングボックスＢＢ２の下端を二次元画像の横方向に延伸させたときに接する区画線の位置を基準とした特定領域ＳＰ（所定領域の一例）の区画線を二次元画像の左右方向（Ｙ軸方向、横方向）からみたときの角度を、区画線ＬＬ、ＬＲの傾きとして取得する。

図３に戻り、次に端部取得部１４６は、二次元画像に存在する他車両の左右の端部の位置を取得する（ステップＳ１５２）。次に、所属車線判定部１４８は、端部取得部１４６により取得された左右の端部と区画線との位置関係に基づいて、他車両が走行する車線（他車両の所属レーン）を判定する（ステップＳ１５４）。次に、ターゲット捕捉部１５０は、自車両Ｍが実行する運転制御の対象になる他車両（ターゲット車両）の捕捉を行う（ステップＳ１６０）。上述したステップＳ１５２～Ｓ１５４、Ｓ１６０の処理の詳細については後述する。

次に、運転制御部１６０は、周辺状況および捕捉されたターゲット車両の挙動に基づく自車両Ｍの運転制御（速度制御または操舵制御のうち一方または双方）を実行する（ステップＳ１７０）。また、ステップＳ１２０の処理において、自車両Ｍの周辺に他車両が存在しない場合、運転制御部１６０は、周辺状況に基づく自車両Ｍの運転制御を実行する（ステップＳ１７２）。これにより、本フローチャートの処理は終了する。

［他車両の左右の端部の取得（ステップＳ１５２）］
次に、ステップＳ１５２の処理について具体的に説明する。図９は、他車両の左右の端部を取得することについて説明するための図である。図９の例では、他車両ｍ２における左右の端部を取得することについて説明するが、二次元画像に含まれる他の車両（他車両ｍ１、ｍ３）についても同様の処理が実行される。

端部取得部１４６は、例えば、第２カメラ２０により撮像された画像ＩＭ１０の左右それぞれの下端から画像ＩＭ１０の内側を中心として上側に向かって所定角度となる角度で斜め方向にスキャンを行い、他車両ｍ２の輪郭と接する位置を他車両ｍ２の端部として取得する。なお、端部取得部１４６は、画像ＩＭ１０全体の左右それぞれの下端からではなく、他車両ｍ２の輪郭を囲うバウンディングボックスＢＢ２中の左右の下端から、他車両ｍ２に相当する画素（例えば他車両ｍ２の輪郭画素）がある位置まで、上述した斜め方向にスキャンを行い、他車両ｍ２の輪郭と接する位置を他車両の端部として取得してもよい。バウンディングボックスＢＢ２内でスキャンを行うことで、画像ＩＭ１０全体からスキャンを行うよりも処理負荷を低減させることができる。

ここで、スキャンを行う所定角度（スキャンアングル）として、例えば、第２カメラ２０により撮像された画像ＩＭ１０の下端と、画像ＩＭに含まれる区画線とが成す角度である区画線ＬＲ、ＬＬの傾きθ１、θ２を用いる。例えば、端部取得部１４６は、図９に示すように、バウンディングボックスＢＢ２の右下端からスキャンを行う場合にはバウンディングボックスＢＢ２の下端から内側を中心として上側に向かって区画線ＬＬの傾きθ１となる角度でスキャンを行い、バウンディングボックスＢＢ２の左下端からスキャンを行う場合にはバウンディングボックスＢＢ２の下端から内側を中心として上側に向かって区画線ＬＲの傾きθ２となる角度でスキャンを行う。また、端部取得部１４６は、同一の角度で左右の下端から離れる方向にずらしながらスキャンを行い、他車両ｍ２の画像と接するそれぞれの位置を左端部Ｌｅ、右端部Ｒｅとして取得する。なお、スキャンは、例えば、図９に示すように端部ごとに同一方向でスキャンしてもよく、下端から離れる方向にずらしながら同一方向と逆方向とが交互になるようにスキャンしてもよく、同一角度を基準としてジグザグにスキャンしてもよい。例えば、左端部Ｌｅは、他車両ｍ２を上からみたときの一番左にある点であり、右端部Ｒｅは、他車両ｍ２を上からみたときの一番右にある点である。

通常、他車両は、走行車線を区画する区画線の延伸方向に沿って走行する。そのため、自車両Ｍからみた他車両の傾きは走行車線の区画線の傾きに依存する可能性が高い。したがって、隣接車線を走行する他車両の走行車線の区画線（つまりは、自車線の区画線）の傾きを基準にしたスキャン角度でスキャンすることで、二次元画像における車線に沿った他車両の傾きに対する左右の端部（接地箇所）を、より正確に取得することができる。特に、隣接車線から自車線に車線変更する他車両は、車体が自車線側に向くため、他車両の前輪の接地箇所が捉えやすくなる。

また、端部取得部１４６は、所定角度となる角度を基準にスキャンを行う場合に、バウンディングボックスＢＢ２の矩形領域を更に分割したセグメンテーション領域を生成し、生成したセグメンテーション領域を所定の順序で参照することで左右の端部を取得してもよい。セグメンテーション領域は、１以上の画素を含む矩形領域である。

図１０は、セグメンテーション領域を用いて他車両の端部の取得について説明するための図である。図１０の例では、他車両ｍ２に対応したバウンディングボックスＢＢ２の右下端からのスキャンの様子を示しているが、左下端からのスキャンについても同様の処理が実行される。端部取得部１４６は、バウンディングボックスＢＢ２内にセグメンテーション領域ＳＡを設定し、設定した領域内の画像を右下端から上述した所定角度θ１の斜め方向を基準としてジグザグにスキャンする。図１０の例において、セグメンテーション領域ＳＡ内の数字は、区画線ＬＬの傾き方向Ｃ１に基づいて設定されるスキャン順序を示している。そして、端部取得部１４６は、セグメンテーション領域ごとに他車両Ｍの画像が含まれるか否かを判定し、最初に他車両の画像が含まれるセグメンテーション領域の座標（例えば、領域の中心の座標）を他車両Ｍの右端部の座標として取得する。図１０の例では、スキャンを開始してから１４番目に他車両Ｍの端部が検出されたことを示している。

なお、端部取得部１４６は、セグメンテーション領域ごとに他車両Ｍの画像が含まれるか否かを判定する場合、元の画像のまま判定するのではなく、必要な情報のみ含めた画像を用いて判定してもよい。例えば、判定時には、フルカラーではなく、８ビット等のビット数を抑えた画像情報を用いる。これにより、判定処理に用いるデータ量を削減することができるため、処理負荷を低減させることができる。

なお、端部取得部１４６は、スキャンする角度θ１、θ２（画像ＩＭ１０の左右方向（Ｙ軸方向、横方向）に対する区画線の角度）が閾値角度θｔｈを越える場合には、所定角度を固定値とする。この場合の所定角度とは、例えば、約４０～５０度であり、より好ましくは４５度である。このように、スキャン角度の上限値を設定しておくことで、例えば、他車両がカーブ路を走行する場合であっても、他車両の姿勢に対して左右の端部（接地箇所）を正しく取得することができる。

［他車両の所属車線の判定（ステップＳ１５４）］
次に、ステップＳ１５４の処理について具体的に説明する。所属車線判定部１４８は、例えば、第２カメラ２０により撮像された二次元画像に含まれる自車線Ｌ１の区画線ＬＬ、ＬＲの位置と、他車両の左右の接地箇所とに基づいて、区画線ＬＬ、ＬＲからみた左右の接地箇所の相対位置を比較して、他車両がどの車線に属しているか（またはどの車線に属していないか）を判定する。また、所属車線判定部１４８は、他車両が自車線に進入しているか否かを判定してもよい。「他車両が自車線に進入している」とは、例えば、他車両の左右の二つの端部（接地箇所）のうち少なくともが一方が、自車線内に存在する場合である。

図１１は、他車両の所属車線を判定することについて説明するための図である。図１１の例では、他車両ｍ２の所属車線を判定する場面について説明するが、他の周辺車両（図４に示す他車両ｍ１、ｍ３）についても同様の処理が実施される。また、図１１の例では、端部取得部１４６により他車両ｍ２に対する左右の接地箇所（左接地箇所Ｌｅ、右接地箇所Ｒｅ）が取得されているものとする。

所属車線判定部１４８は、二次元画像上において、自車線Ｌ１を区画する左右の区画線ＬＬ、ＬＲからみた右接地箇所Ｒｅの相対位置ＬＤ１、ＲＤ１を取得する。また、所属車線判定部１４８は、区画線ＬＬ、ＬＲから見た左接地箇所Ｌｅの相対位置ＬＤ２、ＲＤ２を取得する。なお、区画線ＬＬ、ＬＲの基準となる位置については、例えば、左右の接地箇所Ｌｅ、Ｒｅのそれぞれの位置を基準とした特定領域ＳＰ（端部と同じ高さを基準とした上下方向にｎピクセルずらした（２ｎ＋１）行分の領域）に含まれる区画線ＬＬ、ＬＲの領域から接地箇所Ｌｅ、Ｒｅと最短距離となる区画線の位置を取得する。

また、所属車線判定部１４８は、他車両ｍ２が区画線上に存在することで、区画線の一部が認識できない場合に、車線Ｌ１の延伸方向に対して区画線が認識できない部分の前後（手前および奥）で認識できている区画線を道路形状または認識できている他方の区画線の形状に応じて線形または非線形に連結させた仮想区画線を用いて、上述した接地箇所と最短距離となる区画線の基準位置を取得してもよい。

また、所属車線判定部１４８は、区画線ＬＬ、ＬＲのそれぞれから接地箇所Ｌｅ、Ｒｅをみたときの相対位置が正であるか負であるかを判定する。相対位置は、例えば、第２カメラ２０により撮像された二次元画像に対し、ある基準点ＲＰから右方向を正とし、左方向を負とする。なお、所属車線判定部１４８は、左右の方向に対して正負を逆にしてもよい。また、所属車線判定部１４８は、接地箇所Ｌｅ、Ｒｅからみたときの区画線ＬＬ、ＬＲの相対位置に基づいて正負の判定を行ってもよい。図１１の例では、右方向を正、左方向を負とした場合、区画線ＬＬからみた右接地箇所Ｒｅの相対位置は正（＋）、左接地箇所Ｌｅの相対位置が負（－）であり、区画線ＬＲからみた左右の接地箇所Ｌｅ、Ｒｅの相対位置は何れも負（－）となる。なお、所属車線判定部１４８は、相対位置ＬＤ１、ＲＤ１、ＬＤ２、ＲＤ２の大きさ（例えば長さ）が所定長以上である場合に、区画線からみた接地箇所の相対位置を判定してもよい。これにより、他車両の接地箇所が区画線付近にある状態で他車両が走行している場合に、正負の符号が頻繁に変わることを抑制することができる。

次に、所属車線判定部１４８は、左右の接地箇所Ｌｅ、Ｒｅと左右の区画線ＬＬ、ＬＲとの位置関係（相対位置）に基づいて他車両ｍ２の所属車線を判定する。図１２は、所属車線の判定処理の流れの一例を示すフローチャートである。図１２の例において、まず、所属車線判定部１４８は、左区画線ＬＬからみた右接地箇所Ｒｅの相対位置が負であるか否かを判定する（ステップＳ２００）。左区画線ＬＬからみた右接地箇所Ｒｅの相対位置が負であると判定した場合、他車両ｍ２が左車線に存在すると判定する（ステップＳ２０２）。また、左区画線ＬＬからみた右接地箇所Ｒｅの相対位置が負ではないと判定した場合、所属車線判定部１４８は、右区画線ＬＲからみた左接地箇所Ｌｅの相対位置が正であるか否かを判定する（ステップＳ２０４）。右区画線ＬＲからみた左接地箇所Ｌｅの相対位置が正であると判定した場合、所属車線判定部１４８は、他車両ｍ２が右車線に存在すると特定する（ステップＳ２０６）。

また、右区画線ＬＲからみた左接地箇所Ｌｅの相対位置が正ではないと判定した場合、所属車線判定部１４８は、左右の接地箇所Ｌｅ、Ｒｅと左右の区画線ＬＬ、ＬＲとを用いて、他車両が所属車線の条件判定処理を実行する（ステップＳ２０８）。ステップＳ２０８の条件判定処理において、所属車線判定部１４８は、予め設定された複数の判定条件のそれぞれについて条件を満たすか否かを判定し、条件を満たす場合に、各条件に応じた車線に他車両ｍ２が所属している判定する。図１３は、複数の判定条件について説明するための図である。図１３の例では、条件種別１～８に、条件内容と条件を満たす場合の所属車線とが対応付けられている。条件種別の種類および内容についてはこれに限定されない。

図１３の例において、所属車線判定部１４８は、左区画線ＬＬからみた左接地箇所Ｌｅの相対位置が正であり、且つ、右区画線ＬＲからみた左接地箇所Ｌｅの相対位置が負である場合（条件種別１の条件を満たす場合）、他車両ｍ２が自車線に所属すると判定する。また、所属車線判定部１４８は、左区画線ＬＬからみた右接地箇所Ｒｅの相対位置が正であり、且つ、右区画線ＬＲからみた右接地箇所Ｒｅの相対位置が負である場合（条件種別２の条件を満たす場合）、他車両ｍ２が自車線に所属すると判定する。また、所属車線判定部１４８は、左区画線ＬＬからみた左接地箇所Ｌｅの相対位置が負である場合（条件種別３の条件を満たす条件）、他車両ｍ２が左車線に所属すると判定する。また、所属車線判定部１４８は、右区画線ＬＲからみた右接地箇所Ｒｅの相対位置が正である場合（条件種別４条件を満たす条件）、他車両ｍ２が右車線に所属すると判定する。

また、所属車線判定部１４８は、左区画線ＬＬからみた左接地箇所Ｌｅの相対位置が負であり、且つ、左区画線ＬＬからみた右接地箇所Ｒｅの相対位置が正である場合（条件種別５の条件を満たす場合）、他車両ｍ２が左車線および自車線に所属すると判定する。また、所属車線判定部１４８は、右区画線ＬＲからみた左接地箇所Ｌｅの相対位置が負であり、且つ、右区画線ＬＲからみた右接地箇所Ｒｅの相対位置が正である場合（条件種別６の条件を満たす場合）、他車両ｍ２が右車線および自車線に所属すると判定する。また、所属車線判定部１４８は、左区画線ＬＬからみた左接地箇所Ｌｅの相対位置が正であり、且つ、右区画線ＬＲからみた右接地箇所Ｒｅの相対位置が負である場合（条件種別７の条件を満たす場合）、他車両ｍ２が自車線に所属すると判定する。また、所属車線判定部１４８は、左区画線ＬＬからみた右接地箇所Ｌｅの相対位置が正であり、且つ、右区画線ＬＲからみた左接地箇所Ｌｅの相対位置が正である場合（条件種別８の条件を満たす場合）、他車両ｍ２が自車線に所属すると判定する。

ステップＳ２０８の処理が終了後、所属車線判定部１４８は、それぞれの条件に基づく判定結果をマージ（ＯＲ処理、論理和演算）し（ステップＳ２１０）、マージ結果として、他車両ｍ２が右車線と左車線の両方に所属するか否かを判定する（ステップＳ２１２）。両方に所属すると判定した場合、所属車線判定部１４８は、他車両ｍ２が左車線、自車線、および右車線に所属すると判定する（ステップＳ２１４）。これにより、本フローチャートを終了する。

図１４は、ステップＳ２１２～Ｓ２１４の処理の内容について説明するための図である。図１４の例では、条件種別３および条件種別４のそれぞれの条件を満たした場合であって、所属すると判定された車線に存在確定フラグ「１」が設定されている。例えば、１台の他車両に対して、条件種別３および条件種別４の条件判定によって、左右の何れの車線にも存在確定フラグが設定された場合、所属車線判定部１４８は、他車両が自車線にも存在するものとして、自車線の存在確定フラグに「１」を設定する。これにより、所属車線判定部１４８は、他車両が自車線および左右の車線に所属している（存在している）と認識することができる。なお、フラグについては、「１」のフラグに代えて「ＹＥＳ」や「〇」等の文字やマーク等のフラグを設定してもよい。

なお、所属車線判定部１４８は、他車両ｍ２に対して所属する車線（存在確定車線）を判定したが、これに代えて（または加えて）、所属しない車線（不在確定車線）を判定してもよい。この場合、所属車線判定部１４８は、予め決められた不在確定車線を特定するための判定条件に基づいて判定を行う。図１５は、不在確定車線を判定する処理について説明するための図である。図１５の例では、不在確定車線を特定するための条件種別Ａ～Ｄに、条件内容と不在車線とが対応付けられている。条件種別の種類および内容についてはこれに限定されない。

図１５の例において、所属車線判定部１４８は、左区画線ＬＬからみた右接地箇所Ｒｅの相対位置が負である場合（条件種別Ａの条件を満たす場合）、他車両ｍ２が自車線および右車線に不在である（所属していない）と判定する。また、所属車線判定部１４８は、右区画線ＬＲからみた左接地箇所Ｌｅの相対位置が正である場合（条件種別Ｂの条件を満たす場合）、他車両ｍ２が自車線および左車線に不在であると判定する。また、所属車線判定部１４８は、左区画線ＬＬからみた左接地箇所Ｌｅの相対位置が正である場合（条件種別Ｃの条件を満たす場合）、他車両ｍ２が左車線に不在であると判定する。また、所属車線判定部１４８は、右区画線ＬＲからみた右接地箇所Ｒｅの相対位置が負である場合（条件Ｄを満たす条件）、他車両ｍ２が右車線に不在であると判定する。また、所属車線判定部１４８は、条件Ａ～Ｄに基づくそれぞれの判定結果をマージして、他車両がどの車線に不在であるかを判定する。

また、所属車線判定部１４８は、他車両ｍ２に対する所属車線の判定結果に基づいて、自車線、左車線、右車線に対して、他車両ごとに、存在確定車線と、不在確定車線（不在車線）とを示すフラグを設定した情報を生成してもよい。図１６は、フラグが設定された情報の一例を示す図である。図１６に示す情報は、自車両Ｍからみた他車両の相対横位置情報の一例であり、他車両と自車両Ｍとの相対位置情報の一例である。

図１６の例では、他車両ｍ２と自車線を区画する区画線ＬＬ、ＬＲとの二次元画像（平面画像上）での位置関係が図１１に示す関係である場合において、設定されるフラグの一例を示している。図１６の例では、左車線と、自車線と、右車線のそれぞれについて、他車両ｍ２の存在が確定した車線および不在が確定した車線にフラグ「１」が設定されている。図１６の例によれば、所属車線判定部１４８の処理によって、他車両ｍ２が左車線および自車線に存在し、右車線には存在しないことを特定することができる。例えば、不在確定車線として、自車線に存在しないことが分かるだけでも、その後の追従制御等の運転制御において、ターゲット車両の選定や速度制御等の処理に用いることができる。なお、図１６の例において、存在確定フラグと、不在確定フラグとで異なるフラグを設定してもよい。

また、所属車線判定部１４８は、例えば、第２カメラ２０により撮像された二次元画像から自車線を区画する左右の区画線ＬＬ、ＬＲの一方または一部が認識できない場合であっても、他車両が所属する車線（存在確定車線）または所属しない車線（不在確定車線）のうち一方または双方を判定することができる。区画線が認識できないとは、例えば、二次元画像により区画線のエッジ抽出ができない場合である。以下に、区画線が認識できない状況での幾つかの所属車線の判定パターンについて説明する。

＜第１の判定パターン＞
図１７は、第１の判定パターンについて説明するため図である。第１の判定パターンは、自車線Ｌ１を区画する左右の区画線ＬＬ、ＬＲのうち右区画線ＬＲが認識できない場合における他車両ｍ２の存在確定車線（所属車線）を判定するものである。第１の判定パターンにおいて、所属車線判定部１４８は、左区画線ＬＬからみた右接地箇所Ｒｅおよび左接地箇所Ｌｅのそれぞれの相対位置に基づいて、他車両ｍ２の存在確定車線を判定する。図１７の例では、左区画線ＬＬからみた右接地箇所Ｒｅの相対位置が正であり、左区画線ＬＬからみた左接地箇所Ｌｅの相対位置の位置が負であるため、接地箇所Ｒｅ、Ｌｅが、区画線ＬＬを跨ぐように存在する（左区画線ＬＬの左右それぞれに接地箇所（端部）が存在する）ことがわかる。そのため、第１の判定パターンにおいて、所属車線判定部１４８は、他車両ｍ２が右車線に所属するか否かまでは認識できないが、少なくとも自車線Ｌ１に所属する（より具体的には自車線Ｌ１および左車線に所属する）と判定する。

＜第２の判定パターン＞
図１８は、第２の判定パターンについて説明するため図である。第２の判定パターンは、自車線Ｌ１を区画する区画線ＬＬ、ＬＲのうち左区画線ＬＬが認識できない場合における他車両ｍ２の不在確定車線を判定するものである。第２の判定パターンにおいて、所属車線判定部１４８は、右区画線ＬＲからみた右接地箇所Ｒｅおよび左接地箇所Ｌｅのそれぞれの相対位置に基づいて、不在確定車線を判定する。図１８の例では、右区画線ＬＲからみた右接地箇所Ｒｅおよび左接地箇所Ｌｅの相対位置はいずれも負である。そのため、第２の判定パターンにおいて、所属車線判定部１４８は、他車両ｍ２は、他車両ｍ２が右車線に所属してしない（右車線が不在確定車線である）と判定する。

＜第３の判定パターン＞
図１９は、第３の判定パターンについて説明するため図である。第３の判定パターンは、区画線の一方の全ておよび他方の一部が認識できていない場合における他車両ｍ２の存在確定車線または不在確定車線のうち一方または双方を判定するものである。図１９の例では、右区画線ＬＲを認識していないことに加えて、左区画線ＬＬの一部も認識していない（一部のみ認識している）場面を示している。また、左区画線ＬＬは、右接地箇所Ｒｅの水平方向（画像の横方向）を基準とした特定領域に含まれる区画線ＬＬは認識しているが、左接地箇所Ｌｅの水平方向を基準とした特定領域に含まれる区画線ＬＬは認識していない。したがって、区画線ＬＬと左接地箇所Ｌｅとの相対位置を取得することができない。この場合、所属車線判定部１４８は、区画線ＬＬからみた右接地箇所Ｒｅの相対位置のみに基づいて他車両ｍ２の所属車線を判定する。

図１９の例において、区画線ＬＬからみた他車両ｍ２の右接地箇所Ｒｅの相対位置は負である。そのため、所属車線判定部１４８は、他車両ｍ２が左車線に所属する（左車線が他車両ｍ２の存在確定車線である）と判定することができる。また、所属車線判定部１４８は、他車両ｍ２が自車線Ｌ１および右車線に所属していない（自車線Ｌ１および右車線が他車両ｍ２の不在確定車線である）と判定することもできる。

＜第４の特定パターン＞
図２０は、第４の判定パターンについて説明するため図である。第４の判定パターンは、両方の区画線ＬＬ、ＬＲの一部が認識できていない第１の場面における他車両ｍ２の存在確定車線を判定するものである。図２０の例において、区画線ＬＬ、ＬＲのうち、自車両Ｍの右接地箇所ＲｅのＹ軸方向（二次元画像の左右方向）において右区画線ＬＲが認識できており、左接地箇所ＬｅのＹ軸方向では左区画線ＬＬのみが認識できているものとする。この場合、所属車線判定部１４８は、左右の接地箇所Ｌｅ、Ｒｅに自車両Ｍの本体部（ボディ）が存在するため、図２０に示すような第１の場面において、他車両ｍ２が自車線Ｌ１に所属する（自車線Ｌ１が他車両ｍ２の存在確定車線である）と判定する。

図２１は、両方の区画線の一部が認識できていない第２の場面について説明するための図である。第４の判定パターンの第２の場面では、区画線ＬＬ、ＬＲのうち、自車両Ｍの右接地箇所ＲｅのＹ軸方向では区画線ＬＬのみが認識できており、左接地箇所ＬｅのＹ軸方向では区画線ＬＲのみが認識できている場面である。この場合、所属車線判定部１４８は、左右の接地箇所Ｌｅ、Ｒｅに自車両Ｍの本体部（ボディ）が存在するため、図２１に示すような場面においても、他車両ｍ２が自車線Ｌ１に所属すると判定することができる。上述した第４の判定パターンのように、車線の一部が認識していないような状態であっても、認識できている部分を用いた相対位置による判定により、他車両の存在確定車線や不在確定車線を把握することができる。

上述した第１～第４の判定パターンに基づいて判定を行うことで、例えば、悪天候等により区画線の一方または一部が認識できない（エッジ抽出できない）場合であっても他車両が所属する車線（存在確定車線）または所属しない車線（不在確定車線）のうち一方または双方を判定することができる。上述した所属車線の判定処理により、他車両の所属車線の判定精度をより向上させることができる。

［ターゲット捕捉（ステップＳ１６０）］
次に、ターゲット捕捉処理の詳細について説明する。図２２は、ターゲット捕捉部１５０の機能について説明するための図である。ターゲット捕捉部１５０は、例えば、物体フィルタ１５２と、制御対象ターゲット捕捉部１５４と、干渉可能性ターゲット抽出部１５６と、検定部１５８とを備える。

物体フィルタ１５２は、例えば、認識部１２０のセンサフュージョン処理によって得られる自車両Ｍの周辺の物体情報に基づいて、自車両Ｍの周辺に存在する物体のうち自車線と、左車線と、右車線とからなる三車線に存在する他車両（対象物体の一例）を抽出する。例えば、物体フィルタ１５２は、例えば、第１カメラ１０により撮像された画像を俯瞰座標系に変換（三次元座標変換）し、画像上の物体の位置および形状等に基づいて、三車線に存在する他車両を抽出する。

制御対象ターゲット捕捉部１５４は、自車両ＭがＡＣＣ等の運転制御を実行する場合に、物体フィルタ１５２によって抽出された他車両のうち、自車両Ｍが追従する他車両をターゲット車両（追従対象車両）として捕捉する。追従する他車両とは、例えば、自車両Ｍが走行する予定軌道上に存在する、または将来存在する可能性がある前走車両である。また、制御対象ターゲット捕捉部１５４は、例えば、自車両Ｍの車線変更時に、車線変更先の車線に存在する前走車両を新たなターゲット車両として捕捉する。

また、制御対象ターゲット捕捉部１５４は、車線変更によってターゲット車両が切り替わる場合に、ターゲット車両の切り替わり期間における制御遷移比率を設定する。図２３は、ターゲット車両の切り替わり期間における制御遷移比率の設定について説明するための図である。図２３の例では、同一方向に進行可能な三車線Ｌ１～Ｌ３からなる道路のうち、自車両Ｍが真ん中の車線Ｌ１を速度ＶＭで走行しており、自車両Ｍの前方には、他車両ｍ１が速度Ｖｍ１で走行し、自車線Ｌ１の左側の車線Ｌ２には、他車両ｍ２が速度Ｖｍ２で自車両Ｍの前方を走行しているものとする。また、図２３の例において、自車両Ｍは、ＡＣＣ等の運転制御によって、他車両ｍ１に追従して走行しているものとする。

この状況において、更に自車両Ｍが車線Ｌ１から車線Ｌ２に車線変更（例えば、ＡＬＣ）を行う場合、制御対象ターゲット捕捉部１５４は、追従対象車両（ターゲット車両）を、他車両ｍ１から他車両ｍ２に切り替える。例えば、制御対象ターゲット捕捉部１５４は、自車両Ｍが車線Ｌ１から車線Ｌ２に車線変更するまでの予定軌道Ｋ１上の各位置において、追従する他車両ｍ１、ｍ２のそれぞれの相対位置や速度等に基づいて制御遷移比率を設定する。これにより、例えば、他車両ｍ１の挙動に対する制御を７割、他車両ｍ２の挙動に対する制御を３割といったように比率によって、速度や操舵等の制御内容の調整（補正）を行うことで、車線変更時に滑らかな挙動となる運転制御を実行することができる。

なお、上述した制御遷移比率の設定は、例えば、自車両Ｍが他車両ｍ１に追従して走行している状態で、他車両ｍ２が車線変更によって自車両Ｍと他車両との間に進入してきた場合にも、自車両Ｍのターゲット車両が他車両ｍ１から他車両ｍ２に切り替わるため、切り替わり期間において上述の制御遷移比率を設定し、設定された比率に基づく運転制御が実行される。

干渉可能性ターゲット抽出部１５６は、例えば、自車線とその左右の車線を含み、自車両Ｍの基準位置（例えば、先端部または重心）から進行方向に向かって所定距離以内の領域を干渉可能性エリアとして設定し、そのエリア内に存在する他車両を干渉可能性があるターゲット車両として抽出する。所定距離は、固定距離でもよく、道路形状や道路種別、自車両の速度等に基づいて可変に設定されてもよい。また、干渉可能性ターゲット抽出部１５６は、左車線、自車線、右車線のそれぞれの車線から所定数の他車両を抽出してもよく、三車線における他車両の合計値が閾値を越える場合に自車両から近い方から所定数の他車両を抽出してもよい。更に、干渉可能性ターゲット抽出部１５６は、運転制御部１６０によりＡＣＣ（自車両Ｍが前走車両に追従する追従走行）が実行されている場合に、前走車両と自車両Ｍとの間に隣接車線から自車線に進入してきた（割り込んできた）割込み車両（他車両）を、自車両Ｍと干渉する可能性があるターゲット車両として抽出する。干渉する可能性があるターゲット車両を抽出することで、例えば、そのターゲット車両と接触しないように運転制御部１６０において速度や操舵等の制御内容を調整（補正）しながら、より適切な運転制御を実行することができる。

検定部１５８は、制御対象ターゲット捕捉部１５４により捕捉されたターゲット車両および干渉可能性ターゲット抽出部１５６により抽出されたターゲット車両と、所属車線判定部１４８により判定された他車両の所属車線の判定結果とに基づいて、ターゲット車両が自車両Ｍの運転制御（速度制御、運転制御）の対象として正しいか否かの検定を行う。なお、ターゲット車両のそれぞれ（例えば、他車両ｍ１～ｍ３）と、所属車線判定部１４８により所属車線が判定される他車両のそれぞれ（例えば、他車両ｍ１～ｍ３）とは、例えば、自車両Ｍからの相対位置、形状、大きさ等により対応付けられている。

例えば、検定部１５８は、制御対象ターゲットまたは干渉可能性ターゲットとして抽出された自車線Ｌ１に存在すると認識されたターゲット車両（他車両）が、所属車線判定部１４８により自車線Ｌ１に所属していない（または他の自車線以外の車線に存在する）と判定されている場合、運転制御の対象として正しくないものとして、認識部１２０による認識結果を補正する。具体的には、検定部１５８は、認識部１２０による認識結果に基づいてターゲット車両として抽出された他車両のうち、自車線Ｌ１に所属していない（または他の自車線以外の車線に存在する）他車両を、ターゲット車両（運転制御の対象となる車両）から除外する。このように、二次元画像は、三次元画像変換等を用いながら物体を認識する認識部１２０と比較して対象物体の位置の誤差が少ないため、二次元画像に基づく他車両の所属車線の判定結果（他車両の相対横位置情報）を用いて、運転制御に不要なターゲット車両を除外することで、誤認識のよる過剰な速度制御等を行うことを抑制することができる。なお、検定部１５８は、運転制御に不要なターゲット車両を除外することに代えて、所属車線判定部１４８により判定された所属車線と合致するように除外対象のターゲット車両の位置を補正してもよい。

また、検定部１５８は、自車線Ｌ１に存在する認識されたターゲット車両（他車両）が、所属車線判定部１４８により自車線Ｌ１に所属する（存在する）と判定されている場合、運転制御の対象として正しいものとして、ターゲット対象である他車両に関する情報（ターゲット情報）を出力する。

速度制御部１６２は、検定部１５８により出力されたターゲット情報に基づいて、自車両Ｍの速度制御を行う。例えば、速度制御部１６２は、例えば、ターゲット情報に含まれるターゲット車両の状態量（ターゲット車両との相対距離、相対速度、目標車間）等に基づいて、追従対象ターゲットに対して、適切な車間距離で追従するための追従目標制御量を算出する。また、速度制御部１６２は、ターゲット情報に含まれる干渉可能性ターゲットとの干渉状態に基づいて、自車両Ｍの加減速によって予め決められたＧリミット（車両センサ４０から得られる自車両Ｍの前後Ｇの限界値）を超えないように制御量を調整する。また、速度制御部１６２は、自車線Ｌ１に車線変更する他車両や車両の一部が自車線に進入した状態で走行する他車両（干渉可能性ターゲットの一例）に関しては、干渉可能性ターゲットの挙動（位置や速度）などの情報に基づいて追従制御量を調整する。なお、速度制御部１６２は、制御対象ターゲットとして捕捉できていない干渉可能性ターゲットが存在する場合は、干渉可能性ターゲットの挙動等の状態に応じて調整を行ってもよい。そして、速度制御部１６２は、調整等によって得られた追従制御量と、現在の自車両Ｍの速度制御量とに基づいて、自車両Ｍを走行させるための速度プロファイルを生成し、生成した速度プロファイルに基づいて自車両Ｍの速度制御を実行する。

また、操舵制御部１６４についても上述したターゲット情報に基づいて、他車両と接触しないようにＡＬＣやＬＫＡＳ等の運転制御が実行される。

これにより、例えばカメラ画像に対する三次元画像変換や複数のセンサの出力に基づいて認識された物体の認識誤差による対象車両の位置ずれに対して適切な補正を行うことができる。また、追従対象車両や割込み車両の認識精度を向上させることができる。また、所属車線判定部１４８により自車線に存在しないと判定された場合に、追従対象車両や割込み車両から除外して、過剰な減速度をしないよう抑制することができる。これにより、乗員の違和感が少ない車両制御が可能となる。

なお、ＨＭＩ制御部１７０は、ターゲット車両として認識されている他車両と、ターゲット車両から除外された他車両とを区別可能な画像を生成し、生成した画像をＨＭＩ３０の表示部に表示させてもよい。これにより、運転制御の対象車両をより正確に乗員に通知することができる。

以上の通り、本実施形態によれば、車両制御装置において、自車両Ｍの周辺を撮像する第２カメラ（撮像部の一例）２０と、自車両Ｍの周辺状況を認識する認識部１２０と、認識部１２０の認識結果に基づいて自車両Ｍの速度または操舵のうち一方または双方を制御する運転制御部１６０と、第２カメラ２０の撮像内容に基づいて運転制御部１６０を制御する制御部１４０と、を備え、制御部１４０は、第２カメラ２０により撮像された二次元画像上に存在する自車両Ｍの周辺に存在する物体に対して、自車両Ｍとの相対位置情報を設定し、設定した相対位置情報に基づいて、認識部１２０による認識結果を補正することにより、画像に含まれる物体の位置をより正確に認識して自車両の運転制御を行うことができる。したがって、交通の安全性をより向上させることができる。

具体的には実施形態によれば、第２カメラ２０により撮像された二次元画像上で区画線と対象物体の端部との位置関係によって所属車線を判定することで、認識部１２０による三次元変換した画像（俯瞰画像）や複数のセンサの出力を元に推定した場合に発生する物体の位置ずれ（所属車線のずれ）を抑制することができる。また、実施形態によれば、対象物体が他車両である場合に端部を接地箇所とすることで、他車両の所属車線の判定精度を向上させることができる。また、実施形態によれば、バウンディングボックスの矩形情報から、セグメンテーション画像を参照して、左右端部である接地箇所を取得することで、画像上でサーチする範囲を限定し、処理コストを低減させることができる。また、実施形態によれば、他車両が車線を跨いでいる場合であっても所属車線を高精度に認識することができる。

また、実施形態によれば、センサフュージョンによる認識結果の補正前に、第２カメラ２０単体で自車両Ｍが走行する自車線を区画する区画線と物体と相対位置関係（すなわち自車線と物体との相対位置関係）を取得し、取得した内容に基づいて認識結果を補正することで、三次元変換や複数のセンサの出力を元に推定した物体位置の認識誤差による物体の位置ずれをより正確に補正することができる。また、実施形態によれば、追従ターゲットや干渉可能性ターゲット（カットインターゲット）を捕捉した後、捕捉結果に対し、相対位置関係情報に基づいて、正しいか否かの検定を行うことで、追従ターゲット捕捉やカットインターゲット捕捉の精度を向上させることができる。また、検定によって、自車線にいないと判明されたターゲット車両を除外することで、過剰な速度制御等の運転制御が実行されること抑制することができる。したがって、実施形態によれば、追従ターゲットや干渉可能性ターゲットの捕捉精度の向上により、違和感が少ない車両制御を実行することができる。

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
撮像部により自車両の周辺を撮像し、
前記自車両の周辺状況を認識し、
認識結果に基づいて前記自車両の速度または操舵のうち一方または双方を制御する運転制御を実行し、
前記撮像部の撮像内容に基づいて前記運転制御を制御し、
前記撮像部により撮像された二次元画像上に存在する前記自車両の周辺に存在する物体に対して、前記自車両との相対位置情報を設定し、設定した相対位置情報に基づいて、前記認識結果を補正する、
ように構成されている、車両制御装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…車両システム、１０…第１カメラ、１２…レーダ装置、２０…第２カメラ、３０…ＨＭＩ、４０…車両センサ、８０…運転操作子、９２…走行駆動力出力装置、９４…ブレーキ装置、９６…ステアリング装置、１００…運転制御装置、１２０…認識部、１２２…周辺認識部、１４０…制御部、１４２…輪郭抽出部、１４４…区画線抽出部、１４６…端部取得部、１４８…所属車線判定部、１５０…ターゲット捕捉部、１５２…物体フィルタ、１５４…制御対象ターゲット捕捉部、１５６…干渉可能性ターゲット抽出部、１５８…検定部、１６０…運転制御部、１６２…速度制御部、１６４…操舵制御部

Claims (6)

1. 自車両の周辺を撮像する撮像部と、
   前記自車両の周辺状況を認識する認識部と、
   前記認識部の認識結果に基づいて前記自車両の速度または操舵のうち一方または双方を制御する運転制御部と、
   前記撮像部の撮像内容に基づいて前記運転制御部を制御する制御部と、を備え、
   前記制御部は、前記撮像部により撮像された二次元画像上に存在する前記自車両の周辺に存在する物体に対して、前記自車両との相対位置情報を設定し、設定した相対位置情報に基づいて、前記認識部による認識結果を補正する、
   車両制御装置。
2. 前記制御部は、前記運転制御部により前記自車両が前走車両に追従する追従走行が実行されている場合であって、且つ、前記認識部により前記自車両の新たな追従対象車両または前記自車両が走行する自車線に割り込む割込み車両が認識された場合に、前記追従対象車両または前記割込み車両に対する前記相対位置情報に基づいて、前記追従対象車両または前記割込み車両に対する前記運転制御部による制御内容を補正する、
   請求項１に記載の車両制御装置。
3. 前記制御部は、前記認識部により前記追従対象車両または前記割込み車両が認識された場合であっても、前記相対位置情報に基づいて、前記自車線に前記追従対象車両および前記割込み車両が存在しないと判定された場合には、前記追従対象車両および前記割込み対象車両を前記運転制御部による運転制御の対象から除外する、
   請求項２に記載の車両制御装置。
4. 前記制御部は、補正された認識結果に基づいて、前記追従対象車両または前記割込み車両に対する前記運転制御部の運転制御を実行させる、
   請求項２または３に記載の車両制御装置。
5. コンピュータが、
   撮像部により自車両の周辺を撮像し、
   前記自車両の周辺状況を認識し、
   認識結果に基づいて前記自車両の速度または操舵のうち一方または双方を制御する運転制御を実行し、
   前記撮像部の撮像内容に基づいて前記運転制御を制御し、
   前記撮像部により撮像された二次元画像上に存在する前記自車両の周辺に存在する物体に対して、前記自車両との相対位置情報を設定し、設定した相対位置情報に基づいて、前記認識結果を補正する、
   車両制御方法。
6. コンピュータに、
   撮像部により自車両の周辺を撮像させ、
   前記自車両の周辺状況を認識させ、
   認識結果に基づいて前記自車両の速度または操舵のうち一方または双方を制御する運転制御を実行させ、
   前記撮像部の撮像内容に基づいて前記運転制御を制御させ、
   前記撮像部により撮像された二次元画像上に存在する前記自車両の周辺に存在する物体に対して、前記自車両との相対位置情報を設定し、設定した相対位置情報に基づいて、前記認識結果を補正させる、
   プログラム。

Images