以下、図面を参照して、本発明の一実施形態に係る車両用周辺監視装置について説明する。図1に示すように、本実施形態の車両用周辺監視装置10は、カメラ12a〜12d、レーダ22a〜22d、速度センサ24、ECU50、ディスプレイ36、ブレーキアクチュエータ44及びステアリングアクチュエータ46を備えている。車両用周辺監視装置10は自車両に搭載される。車両用周辺監視装置10は、自車両の外部の物体を監視する。また、車両用周辺監視装置10は、自車両外部の物体に対して運転者の運転操作に介入する運転支援を行なう。
カメラ12a〜12dは、自車両の外部の撮像データを取得する撮像データ取得部として機能する。撮像データとは、カメラ12a〜12d等の光学装置により所得された画像を当該画像に含まれる複数の画素それぞれの位置、濃淡及び色彩等で特定するデータである。カメラ12a〜12dは、CCD又はCMOS等の半導体素子を用いた単眼カメラである。カメラ12a〜12dには、広角レンズまたは魚眼レンズが装着されている。
本実施形態では、広角レンズ又は魚眼レンズが装着された4台のカメラ12a〜12dが、自車両の車体の前後左右側にそれぞれ一台ずつ設置されている。カメラ12a〜12dにより、自車両の外部の全周囲の画像を撮像することができる。カメラ12a〜12dの光軸は所定の角度で下方に向けられている。そのため、カメラ12a〜12dの撮像可能範囲は、自車両の前面、側面及び後面からそれぞれ2〜3m程度の距離を置いた領域となる。
レーダ22a〜22dは、自車両の外部の物体を検出する物体検出部として機能する。本実施形態では、物体検出部により検出される自車両の外部の物体は、他車両、自動二輪車、自転車及び歩行者等の移動する可能性がある障害物である。本実施形態では、物体検出部により検出される自車両の外部の物体として、建物、ガードレール等の固定された障害物とすることもできる。
レーダ22a〜22dは、ミリ波レーダ又はレーザレーダとすることができる。レーダ22a〜22dは、自車両の外部の物体の距離、方向、位置、大きさ及び相対速度を検出することができる。本実施形態では、4台のレーダ22a〜22dが、自車両の車体の前後左右側にそれぞれ一台ずつ設置されている。レーダ22a〜22dにより、自車両の外部の全周囲に存在する物体を検出することができる。レーダ22a〜22dにより、カメラ12a〜12dの撮像可能範囲の外に存在する物体を検出することができる。なお、物体検出部は、自車両から近距離に存在する物体を検出するために、自車両の車体の前後左右側にそれぞれ一台ずつ設置された4台のソナーとすることができる。
速度センサ24は、自車両の車速を検出する車速検出部として機能する。速度センサ24は、自車両の車軸の回転速度から自車両の車速を検出する。
ECU(Electronic Control Unit)50は、レーダ22a〜22d及び速度センサ24により得られた情報に基づいて、ディスプレイ36、ブレーキアクチュエータ44及びステアリングアクチュエータ46を制御する。ECU50は、画像入力部14、撮像画像データ生成部16、物体種別判定部26、アイコン表示画像データ生成部28、表示画像切替判断部32、俯瞰表示画像生成部34、ディスプレイ36及び運転支援実行部42を備えている。
画像入力部14及び撮像画像データ生成部16は、カメラ12a〜12dにより撮像された自車両の外部の撮像データから、自車両の周囲の第1俯瞰表示画像データである撮像画像データを生成する第1俯瞰表示画像データ生成部として機能する。第1俯瞰表示画像データは、自車両の外部の撮像データに基づいて生成された自車両の周囲の上方からの視点の画像のデータである。画像入力部14は、カメラ12a〜12dにより撮像された撮像データを取得する。画像入力部14は、ある一定のフレームの更新周期ごとに、カメラ12a〜12dにより撮像された4つの静止画像の撮像データを取得する。
撮像画像データ生成部16は、画像入力部14により取得された4つの水平方向の視点の静止画像の撮像データそれぞれを自車両の上方からの視点の撮像データに変換する。撮像画像データ生成部16は、4つの上方からの視点の静止画像の撮像データをそれらの境界を修正しつつ連続した1つの画像の撮像画像データとなるように合成する。このようにして、撮像画像データ生成部16は、画像入力部14により取得された静止画像の撮像データから、自車両の周囲の第1俯瞰表示画像データである撮像画像データを生成する。
なお、例えば、撮像画像データは、地表面に対して垂直な方向に自車両を見下ろす視点の撮像画像データとすることができる。また、撮像画像データは、地表面に対して垂直以外の方向から自車両を見下ろす視点の撮像画像データとすることができる。
物体種別判定部26及びアイコン表示画像データ生成部28は、レーダ22a〜22dの検出結果から、物体をアイコンとして示す自車両の周囲の第2俯瞰表示画像データであるアイコン表示画像データを生成する第2俯瞰表示画像データ生成部として機能する。アイコンは、物体を表現する記号である。第2俯瞰表示画像データは、物体に対応する位置に物体を示すアイコンが表示された自車両の周囲の上方からの視点の図面のデータである。
物体種別判定部26は、レーダ22a〜22dにより物体の大きさに関する情報を取得する。物体種別判定部26は、レーダ22a〜22dにより検出された物体と自車両との相対速度と、速度センサ24により取得された自車両の車速とに基づいて、物体の対地速度に関する情報を取得する。物体種別判定部26は、取得した物体の対地速度と大きさとに関する情報から、他車両、自動二輪車、自転車及び歩行者等の物体の種別を判定する。また、物体種別判定部26は、レーダ22a〜22dにより検出された物体の距離、方向及び位置に関する情報をアイコン表示画像データ生成部28に送信する。また、物体種別判定部26は、レーダ22a〜22dにより検出された物体と自車両との距離、相対速度及び方向に関する情報を運転支援実行部42に送信する。
アイコン表示画像データ生成部28は、他車両、自動二輪車、自転車及び歩行者等の物体の種別ごとに予め用意されたアイコンの中から、物体種別判定部26によって判定された物体の種別に合致するアイコンを選択する。また、アイコン表示画像データ生成部28は、物体種別判定部26から送信された物体と自車両との距離及び方向に関する情報に基づいて、物体をアイコンとして示す自車両の周囲の第2俯瞰表示画像データであるアイコン表示画像データを生成する。
例えば、アイコン表示画像データは、地表面に対して垂直な方向に自車両を見下ろす視点のアイコン表示画像データとすることができる。また、アイコン表示画像データは、地表面に対して垂直以外の方向から自車両を見下ろす視点のアイコン表示画像データとすることができる。撮像画像データにおける自車両を見下ろす視点と、アイコン表示画像データにおける自車両を見下ろす視点とは、一致させることができる。
表示画像切替判断部32及び俯瞰表示画像生成部34は、撮像画像データ及びアイコン表示画像データに基づいて、自車両の周囲の俯瞰表示画像を生成する俯瞰表示画像生成部として機能する。俯瞰表示画像とは、第1俯瞰表示画像データ及び第2俯瞰表示画像データに基づいて生成された自車両の周囲の上方からの視点の撮像画像又は図面である。
表示画像切替判断部32は、後述するように、速度センサ24により検出された自車両の車速に基づいて、俯瞰表示画像として、撮像画像及びアイコン表示画像のいずれを表示するかを判断する。撮像画像とは、撮像画像データ及びアイコン表示画像データを用いて生成され、物体に対応する位置にアイコンが表示されている自車両の周囲の俯瞰表示画像である。アイコン表示画像とは、アイコン表示画像データを用いて生成され、物体に対応する位置にアイコンが表示されている自車両の周囲の俯瞰表示画像である。また、表示画像切替判断部32は、レーダ22a〜22dにより検出された物体と自車両との距離、方向及び位置に基づいて、当該物体を示すアイコンを表示するか否かを決定する。
俯瞰表示画像生成部34は、表示画像切替判断部32から指令により、撮像画像データ及びアイコン表示画像データに基づいて、自車両の周囲の俯瞰表示画像を生成する。俯瞰表示画像は、地表面に対して垂直な方向に自車両を見下ろす視点の俯瞰表示画像とすることができる。また、俯瞰表示画像は、地表面に対して垂直以外の方向から自車両を見下ろす視点の俯瞰表示画像とすることができる。
運転支援実行部42は、物体種別判定部26が判定した物体の種別に関する情報と、物体種別判定部26により送信された物体と自車両との距離、相対速度及び方向に関する情報とに基づき、運転者の運転操作に介入しつつ、自車両の制動力を増大させる指令信号又は自車両の舵角を変更させる指令信号を出す。運転支援実行部42は、物体の種別に応じて、当該物体と自車両との距離が所定の距離の支援閾値以下となったとき、又は物体が自車両と接触するまでの時間が所定の時間の支援閾値以下となったときに、自車両の制動力を増大させる指令信号又は自車両の舵角を変更させる指令信号を出す。
ディスプレイ36は、俯瞰表示画像を表示する表示部として機能する。ディスプレイ36は、俯瞰表示画像生成部34が生成した表示画像を自車両の運転者に提示する。一般的には、表示部には、液晶モニタ又はナビゲーション用モニタを適用することができる。また、表示部には、ヘッドアップディスプレイを適用することができる。また、表示部には、自車両の運転者の身体に装着可能な表示装置を用いることができる。自車両の運転者の身体に装着可能な表示装置としては、例えば、運転者が装着可能な眼鏡に類似した形状を有し、眼鏡のレンズに俯瞰表示画像を投影するものとできる。
ブレーキアクチュエータ44は、運転支援実行部42からの指令信号に基づいて、物体と自車両との距離が所定の距離の支援閾値以下となったとき、又は物体が自車両と接触するまでの時間が所定の時間の支援閾値以下となったときに、自車両の制動力を増大させる。ステアリングアクチュエータ46は、運転支援実行部42からの指令信号に基づいて、物体と自車両との距離が所定の距離の支援閾値以下となったとき、又は物体が自車両と接触するまでの時間が所定の時間の支援閾値以下となったときに、自車両の舵角を変更させる。
以下、本実施形態の車両用周辺監視装置10の動作について説明する。図2に示すように、レーダ22a〜22dは、自車両の外部の物体を検出する(S101)。撮像画像データ生成部16は、カメラ12a〜12dにより撮像された画像から自車両を俯瞰表示する俯瞰画像データを生成する(S102)。速度センサ24は、自車両の車速を検出する(S103)。
物体種別判定部26及び表示画像切替判断部32は、レーダ22a〜22dにより検出された物体との距離、方向、位置及び自車両との相対速度に関する情報を取得する(S104)。物体種別判定部26は、取得した物体の対地速度と大きさとに関する情報から、他車両、自動二輪車、自転車及び歩行者等の物体の種別を判定する(S105)。アイコン表示画像データ生成部28は、物体種別判定部26によって判定された物体の種別に合致するアイコンを選択し、物体種別判定部26から送信された物体と自車両との距離、方向及び位置に関する情報に基づいて、物体をアイコンとして示す自車両の周囲のアイコン表示画像データを生成する(S106)。
表示画像切替判断部32は、速度センサ24により検出された車速が車速閾値以下であるか否かを判定する(S107)。この車速閾値としては、例えば、自車両がオートマチックトランスミッションを搭載している場合に、アクセルペダルが踏まれていない状態で走行するクリープ走行での最大の速度とすることができる。具体的には、車速閾値を5〜20km/hとすることができる。車速閾値は固定された値とすることができる。また、車速閾値は、自車両の運転者により任意に設定することができる。また、車速閾値は、状況に応じて変動するものとできる。
速度センサ24により検出された車速が車速閾値以下であるときは(S107)、表示画像切替判断部32からの指令により、俯瞰表示画像生成部34は、撮像画像データ及びアイコン表示画像データを用いて、俯瞰表示画像として、物体に対応する位置にアイコンが表示された撮像画像を生成する(S108)。具体的には、俯瞰表示画像生成部34は、俯瞰表示画像として、車速が大きいほど縮尺を小さくしつつ、カメラ12a〜12dの撮像可能範囲の外の物体を示すアイコンを表示する撮像画像を生成する。
表示画像切替判断部32は、自車両の周囲にアイコンを表示しないアイコン非表示エリアの中に物体が存在するか否かを判断する(S109)。アイコン非表示エリアとしては、例えば、俯瞰表示画像の中の長方形の領域であって、当該長方形の各辺が自車両の前面、側面及び後面からそれぞれ1〜2m程度の距離を置いた領域とすることができる。あるいは、アイコン非表示エリアは、長方形以外の形状の領域とすることができる。アイコン非表示エリアは、固定された領域とすることができる。また、アイコン非表示エリアは、自車両の運転者により任意に設定することができる。また、アイコン非表示エリアは、状況に応じて変動するものとできる。
アイコン非表示エリアの中に物体が存在するときは(S109)、表示画像切替判断部32の指令により、俯瞰表示画像生成部34は、アイコン非表示エリアの中の物体を示すアイコンを表示しない撮像画像を生成する(S110)。また、アイコン非表示エリアの中に物体が存在するか否かに関わらず、俯瞰表示画像生成部34は、アイコン非表示エリアの外の物体を示すアイコンを表示する撮像画像を生成する(S111)。ディスプレイ36は生成された俯瞰表示画像を表示する(S113)。
S107に戻り、表示画像切替判断部32は、速度センサ24により検出された車速が車速閾値を超えているときは(S107)、表示画像切替判断部32の指令により、俯瞰表示画像生成部34は、アイコン表示画像データを用いて、俯瞰表示画像として、物体に対応する位置にアイコンが表示されたアイコン表示画像を生成する(S112)。ディスプレイ36は生成された俯瞰表示画像を表示する(S113)。
以上のS107〜S113について詳述する。以下の例では、上記の車速閾値をvth=10km/hと仮定する。また、以下の例では、アイコン非表示エリアは、俯瞰表示画像の中の長方形の領域であって、当該長方形の各辺が自車両の前面、側面及び後面からそれぞれ1mの距離を置いた領域であると仮定する。また、カメラ12a〜12dの撮像可能範囲は、自車両の前面、側面及び後面からそれぞれ2mの距離を置いた領域であると仮定する。
まず、図3に示すように、例えば、自車両が駐車場から出庫する場合又は自車両が駐車場に駐車する場合を想定する。この場合、自車両の車速は上記の車速閾値vth以下であり、1〜3km/hの極めて低い速度である。図3に示すように、俯瞰表示画像生成部34は、自車両を俯瞰する自車両撮像画像MPVの周囲の撮像画像PVを生成する(S107、S108)。
自車両の前面、側面又は後面から1m以内の極めて近距離に物体が存在する場合は、当該物体に対して細かな運転操作が必要となる。しかし、自車両から極めて近距離の物体に対してアイコンを表示すると、アイコンにより撮像画像PVに映った物体の視認が妨げられる場合がある。
そこで本実施形態では、図3に示すように、アイコン非表示エリアNの中の距離d1=0.7mに存在する他車両の他車両撮像画像OPVについては、俯瞰表示画像生成部34は、俯瞰表示画像Vとして、アイコン非表示エリアNにおいて、他車両撮像画像OPVのみを表示し、当該他車両を示すアイコンを表示しない撮像画像PVを生成する(S110)。
一方、アイコン非表示エリアNの外の距離d2=1.1mに存在する他車両の他車両撮像画像OPVについては、俯瞰表示画像生成部34は、俯瞰表示画像Vとして、アイコン非表示エリアNの外の領域において、当該他車両を示すアイコンである他車両アイコンOICを他車両撮像画像OPVに重畳させた撮像画像PVを生成する(S111)。
さらに、アイコン非表示エリアNの外であり、且つカメラ12a〜12dの撮像可能範囲Rの外に存在する距離d3=4.5mに存在する他車両については、俯瞰表示画像生成部34は、俯瞰表示画像Vとして、撮像可能範囲Rの外の領域において、当該他車両に対応する位置に他車両を示すアイコンである他車両アイコンOICを表示する撮像画像PVを生成する(S108)。
なお、上記の例では、自車両の外部の物体が他車両であるため、俯瞰表示画像生成部34は、アイコン表示画像データ生成部28が選択した他車両を示す他車両アイコンOICを含む撮像画像PVを生成する。しかし、物体の種別が自動二輪車、自転車及び歩行者等であることが物体種別判定部26により判定されている場合は、アイコン表示画像データ生成部28は、物体の種別に合ったアイコンを選択する。俯瞰表示画像生成部34は、自動二輪車、自転車及び歩行者等の物体の種別に応じたアイコンを含む撮像画像PVを生成する。
また、車速が上記の車速閾値vth以下の範囲内でも低い、例えば1〜3km/hの範囲であるときは、俯瞰表示画像生成部34は、俯瞰表示画像Vとして、カメラ12a〜12dの撮像可能範囲R又はアイコン非表示エリアNの中のみを表示する撮像画像PVを生成することができる。
次に、図4に示すように、例えば、自車両が交差点での停止線から発進する場合を想定する。この場合、自車両の車速は上記の車速閾値vth以下であるが、図3での速度よりも速い3〜7km/hとなる。俯瞰表示画像生成部34は、俯瞰表示画像Vとして、図3に示した撮像画像PVと比較して縮尺が小さい撮像画像PVを生成する(S108)。
また、図4の例では、アイコン非表示エリアNの外の距離d4=1.3mに他車両が存在している。そのため、距離d4の他車両の他車両撮像画像OPVについては、俯瞰表示画像生成部34は、俯瞰表示画像Vとして、アイコン非表示エリアNの外の領域において、当該他車両を示すアイコンである他車両アイコンOICを他車両撮像画像OPVに重畳させた俯瞰表示画像Vを生成する(S111)。
次に、図5に示すように、自車両が図4に示した状態からさらに加速した場合を想定する。この場合、自車両の車速は上記の車速閾値vth以下であるが、図4での速度よりも速い7〜10km/hとなる。俯瞰表示画像生成部34は、俯瞰表示画像Vとして、図4に示した撮像画像PVと比較して縮尺が小さい撮像画像PVを生成する(S108)。
また、図5の例では、アイコン非表示エリアN及びカメラ12a〜12dの撮像可能範囲Rの外の距離d5=2.1mに他車両が存在している。そのため、距離d5の他車両の他車両撮像画像OPVについては、俯瞰表示画像生成部34は、俯瞰表示画像Vとして、撮像可能範囲Rの外の領域において、当該他車両を示すアイコンである他車両アイコンOICを含む俯瞰表示画像Vを生成する(S111)。
さらに、図6に示すように、例えば、自車両が自動車専用道路を走行している場合を想定する。この場合、自車両の車速は上記の車速閾値vthを超えている11〜100km/hとなる。俯瞰表示画像生成部34は、俯瞰表示画像Vとして、アイコン表示画像IVを生成する(S112)。俯瞰表示画像生成部34は、俯瞰表示画像Vとして、アイコン表示画像IVの領域において、アイコン表示画像IVの中央に自車両を示す自車両アイコンMICが表示され、他車両に対応した位置に他車両を示す他車両アイコンOICが表示されたアイコン表示画像IVを生成する。
なお、俯瞰表示画像生成部34が、俯瞰表示画像Vとしてアイコン表示画像IVを生成する場合でも、上述した俯瞰表示画像Vとして撮像画像PVを生成する場合と同様に、俯瞰表示画像生成部34は、自動二輪車、自転車及び歩行者等の物体の種別に応じたアイコンを含むアイコン表示画像IVを生成する。
なお、自車両の車速が上記の車速閾値vthを超えているときは、撮像画像PVが表示されないことに加えて、アイコン非表示エリアNの中の近距離に物体が存在していても、当該物体に対して細かな運転操作は必要とされない。そのため、車速が車速閾値vthを超えているときは、俯瞰表示画像生成部34は、アイコン非表示エリアNの中に存在する物体であるか否かに関わらず、他車両を示す他車両アイコンOICを含むアイコン表示画像IVを生成する。
上述したように自車両の車速が車速閾値vth以下の速度から車速閾値vthを超える速度に増加するときは、図3から図6に示すように俯瞰表示画像Vは連続的に変化する。一方、自車両の車速が車速閾値vthを超える速度から車速閾値vth以下の速度に減少するときは、反対に図6から図3に示すように俯瞰表示画像Vは連続的に変化する。
なお、上述したようにディスプレイ36が俯瞰表示画像Vを表示しているときに、運転支援実行部42は、物体の種別に応じて、当該物体と自車両との距離が所定の距離の支援閾値以下となったとき、又は物体が自車両と接触するまでの時間が所定の時間の支援閾値以下となったときに、ブレーキアクチュエータ44に自車両の制動力を増大させる指令信号を出し、ステアリングアクチュエータ46に自車両の舵角を変更させる指令信号を出す。
本実施形態では、車速が車速閾値vth以下のときは、ディスプレイ36は、物体に対応する位置にアイコンが表示された撮像画像PVを俯瞰表示画像Vとして表示する。一方、車速が車速閾値vthを超えているときは、ディスプレイ36は、物体に対応する位置にアイコンが表示されたアイコン表示画像IVを俯瞰表示画像Vとして表示する。このため、車速の変動により、ディスプレイ36に表示される俯瞰表示画像Vが撮像画像PVとアイコン表示画像IVとの間で切り替えられたとしても、物体を示すアイコンは表示され続ける。したがって、物体をより認識し易い。
自車両から近距離に物体が存在するときは、当該物体に対して細かな運転操作が必要なことがある。そこで、本実施形態によれば、自車両から比較的に近距離であるアイコン非表示エリアNの中の物体については、当該物体を示すアイコンが表示されない。そのため、アイコンにより俯瞰表示画像Vに映った物体の視認が妨げられることを防止することができる。
また、本実施形態では、カメラ12a〜12dの撮像可能範囲Rの外の物体については、当該物体を示すアイコンが表示される。そのため、カメラ12a〜12dの撮像可能範囲Rの外の物体をアイコンにより認識することができる。
また、車速が大きくなるほど、狭い範囲を細かく認識する必要性は低くなり、より広い範囲を認識する必要性が高くなる。そこで、本実施形態では、車速が大きくなるほど、縮尺が小さい撮像画像PVが表示される。そのため、車速が大きくなるのに対応して、情報を取得する領域を拡げることができる。
また、撮像画像PVは、広角レンズ又は魚眼レンズを有するカメラ12a〜12により撮像された画像を視点変換することにより生成されている画像である。そのため、撮像画像PVに映った物体が歪んでおり、物体を認識にし難い場合がある。しかし、本実施形態では、レーダ22a〜22dにより検出され、アイコン非表示エリアNの外の物体については、当該物体を示すアイコンが表示されるため、当該物体をより認識し易くなる。
また、車両用周辺監視装置10において、レーダ22a〜22dにより検出される対象ではない物体については、当該物体をついてのアイコンが表示されない。そのため、本実施形態では、自車両の運転者は、車両用周辺監視装置10が認識する対象を把握することができる。さらに、レーダ22a〜22dにより検出されていない物体については、当該物体をついてのアイコンが表示されない。そのため、本実施形態では、自車両の運転者は、車両用周辺監視装置10が認識していない物体を把握することができる。したがって、自車両の運転者の車両用周辺監視装置10への過信を防止することができる。
尚、本発明の実施形態に係る車両用周辺監視装置は、上記した実施の形態に限定されるものではなく、本発明の実施形態の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、上記実施形態では、俯瞰表示画像Vとして、地表面に対して垂直な方向に自車両を見下ろす視点の俯瞰表示画像Vが表示される態様を中心に説明した。しかし、俯瞰表示画像Vとして、地表面に対して垂直以外の方向から自車両を見下ろす視点の俯瞰表示画像Vが立体的にディスプレイ36に表示される態様も本発明の実施形態に含まれる。