JP2012113605A - 運転支援装置及び運転支援方法 - Google Patents

Abstract

【課題】車両に複数のカメラを備えて後方部を撮像し、移動物を検知してその移動方向や速度に応じて一定時間前に事前警告を行う運転支援装置を提供する
【解決手段】車両の後方及び、車両のサイドから後方を撮像する第１，第２のカメラを含み、第１，第２のカメラの撮像領域の一部が重複する重複領域を有する撮像部と、第１，第２のカメラの撮像画像をそれぞれ表示する表示部と、撮像画像をもとに移動物を検知する移動物検知部と、検知した移動物に枠画像を描画する枠画像描画部と、車両と移動物の相対位置及び移動物の移動速度に応じて、枠画像を移動物の移動方向に拡大する枠画像拡大部と、表示部に表示する画像をもとに、拡大枠画像が重複領域外から重複領域に侵入したことを判別し、移動物の侵入が予測される撮像画像に警告画像を事前に重畳する警告部と、を備える。
【選択図】図２

Description

本発明の実施形態は、車両後方部の移動物（障害物）を検知し、移動物の接近を運転者に警告して、後退走行時等における運転を支援する運転支援装置及び運転支援方法に関する。

従来、車両の運転において後退走行を行う場合、運転者は車両の真後ろや、その周辺となる左右後方などを、サイドミラーやバックミラーで確認したり、目視により後方視界を直接確認するなどして、複数の方向に注意を向けながら運転を行っている。後退走行は前進走行に比べて死角が多く、視界確保が難しいため運転者にとって負荷の大きい作業となっている。

一方、最近では後退走行時の運転を支援するために、車両に後方撮影用のカメラや複数のカメラを搭載し、自車の後方および周辺を撮像してディスプレイに表示し、運転者を支援するようにしている。またカメラで撮像した画像をもとに移動物などの障害物を検知してディスプレイ装置に警告表示する移動物用カメラ装置も知られている。

しかしながら、警告表示を行う場合、ディスプレイ上に必要以上の情報提示を行うと、運転者の注意がディスプレイに集中してしまい、目視確認を怠ることになりかねない。また、速い動きをする移動物（例えば歩行者よりも速い自転車など）がある場合は、移動物の警告表示が遅れることがあり、運転者が警告内容を理解して次の行動（ブレーキなど）を起こすには遅すぎる場合がある。また運転者に対して移動物の存在を事前に警告する例もあるが、移動物の速度が変わるため警告のタイミングがずれてしまうという問題がある。つまり、事前警告のタイミングは早すぎても遅すぎても効果が低くなるため、適切なタイミングで行う必要がある。

特開２０１０−０６４７４９号公報 特開２００９−１８４５２３号公報 特開２００９−２９６０３８号公報

発明が解決しようとする課題は、運転者にとって視認の困難な車両後方部を撮像するカメラを備え、撮像結果をディスプレイに表示し、かつ移動物を検知してその移動方向や速度に応じて一定時間前に事前警告を行う運転支援装置及び運転支援方法を提供することにある。

実施形態に係る運転支援装置は、車両の後方領域を撮像する第1のカメラと、車両のサイドから後方の領域を撮像する第２のカメラを含み、前記第１のカメラによる撮像領域と前記第２のカメラによる撮像領域の一部が重複する重複領域を有する撮像部と、前記第１，第２のカメラによる撮像画像をそれぞれ表示する表示部と、前記第１，第２のカメラによる撮像画像をもとに移動物を検知する移動物検知部と、前記検知した移動物の周囲に枠画像を描画して前記表示部に重畳表示する枠画像描画部と、前記移動物の移動速度に応じて、前記枠画像を前記移動物の移動方向に拡大する枠画像拡大部と、前記表示部に表示する画像をもとに、前記拡大した枠画像が前記重複領域外から前記重複領域に侵入したことを判別し、かつ前記車両と前記移動物の相対位置に応じて前記移動物の侵入が予測される撮像画像に警告画像を事前に重畳する警告部と、を具備する。

実施形態に係る運転支援装置の概略構成を示すブロック図。 実施形態に係る運転支援装置の詳細なブロック図。 実施形態に係るカメラの配置の一例を示す説明図。 実施形態に係る運転支援装置の表示動作を示す説明図 実施形態における移動物の速度を計算する場合の座標系を示す図。 実施形態における移動物の枠画像の拡大処理の動作を示す説明図。 実施形態に係る運転支援装置の表示動作を示すフローチャート。

以下、発明を実施するための実施形態について、図面を参照して説明する。尚、各図において同一箇所については同一の符号を付す。

（第１の実施形態）
図１は、一実施形態に係る運転支援装置の概略構成を示すブロック図である。図１において運転支援装置１０は、車両に取り付けた複数のカメラ１１，１２，１３を有する撮像部と、警告処理部２０、ディスプレイ３１，３２，３３、スピーカ４１，４２，４３及び車両情報取得部５０を含む。

カメラ１１は、車両後方を撮像する後方カメラであり、バックミラーに担当する機能を有する。カメラ１２は車両の左後方を撮像する左カメラであり、カメラ１３は車両の右後方を撮像する右カメラであり、それぞれサイドミラーに相当する機能を有する。即ち、カメラ１１は、車両の後方領域を撮像する第１のカメラに相当し、カメラ１２，１３は車両のサイドから後方の領域を撮像する第２のカメラに相当する。

警告処理部２０は、ＥＣＵ（Electronic Control Unit）として機能し、カメラ１１〜１３で撮像した画像を入力し、表示部であるディスプレイ３１〜３３に撮像した画像を表示する。また入力した画像をもとに移動物を検知し、移動物と自車両との相対的な位置及び移動物の速度を算出する。さらに警告処理部２０は、ディスプレイ３１〜３３を選択して、対応するディスプレイに移動物の存在を警告表示したり、移動物の事前警告を行う。また、ディスプレイ３１〜３３に対応してスピーカ４１〜４３を設けており、スピーカ４１〜４３によって移動物の存在や移動物の事前警告を報知するようにしている。尚、警告処理部２０の具体的な回路構成については図２で詳しく説明する。

ディスプレイ３１〜３３は、カメラ１１〜１３による撮像画像と、警告画像を表示する表示部であり、カメラ１１〜１３と対の関係にある。ディスプレイ３１は、後方カメラ１１で撮像した画像を表示する。またディスプレイ３２は、左カメラ１２で撮像した画像を表示し、ディスプレイ３３は、右カメラ１２で撮像した画像を表示する。

ディスプレイ３１〜３３は、車内の離れた位置、例えば運転者から見てサイドミラー（ドアミラー）やリアミラーに近い位置に設置する。或いはディスプレイ３１〜３３を、距離をおいて並べて設置し、ディスプレイ３１を真ん中にしてディスプレイ３２は左側に、ディスプレイ３３は右側に設置する。またスピーカ４１〜４３は、夫々のディスプレイ３１〜３３に対して設けられ、警告内容に応じて音を発する。

ディスプレイ３１〜３３及びスピーカ４１〜４３を一箇所に集中して設置しない理由は、運転者の注意を一点に集中させないためである。また、サイドミラーやリアミラーに対応した位置に配置することで、警告表示を行った場合にどの方向に移動物（障害物）が存在するかを運転者に注意喚起でき、さらに運転者に目視確認を促す効果がある。

図２は、実施形態に係る運転支援装置の詳細なブロック図であり、特に警告処理部２０の具体的な構成を示すものである。図２において、カメラ１１〜１３は撮像部１４を構成し、カメラ１１〜１３による撮像画像をディスプレイ３１〜３３に出力する。警告処理部２０は、移動物検知部２１、枠画像描画部２２、計算部２３、枠画像拡大部２４及び警告部２５を含む。警告部２５は、ディスプレイ３１〜３３に移動物の情報及び事前警告の画像情報を供給し、スピーカ４１〜４３に警告用の音声情報を供給する。

移動物検知部２１は、各カメラ１１〜１３で撮像した画像を入力し、時間的に前後する画像の差分をとって移動物を検知する。例えばフレーム間の画像を比較し、差分画素及び差分画素の集合体を移動物として認識する。枠画像描画部２２は、移動物検知部２１で検知した移動物を囲む枠画像（以下、検知枠と呼ぶ）を生成し、例えば移動物の周囲に方形の枠を描画する。

計算部２３は、移動物検知部２１からの検知結果をもとに、移動物の加速度を算出する。移動物の加速度の算出は、移動物の検知と同様に画素の差分によって算出し、ブロックマッチングや勾配法等の周知の手法を適用する。例えばフレーム間の画素単位の差分によって検知された移動物（差分画素の集合）を時間ごとに比較することによって加速度を算出する。つまり、単位時間に何画素Ｘ軸方向に移動したかによって加速度を求めることができる。１画素あたりの距離は、カメラの画素数および撮像範囲によって変化する。

また計算部２３は、移動物検知部２１からの検知結果と車両情報生成部５０からの情報をもとに、移動物と自車両との相対位置（距離）を算出する。車両情報取得部５０は、ＣＡＮ（Controller Area Network）等の車内ＬＡＮを介して警告処理部２０（ＥＣＵ）に接続されている。車両情報取得部５０は、自車両の車速や傾きを検知する車速度センサやジャイロセンサ等からの情報をもとに、自車両の速度情報、加速度情報、ハンドルの操舵に伴う進行方向（前進・バック、右・左折）の情報、ブレーキ情報などを取得して計算部２３に供給する。したがって、計算部２３は、移動物と自車両との相対位置（距離）を算出することができる。

枠画像拡大部２４は、移動物を囲む枠画像（検知枠）を拡大するもので、検知枠の拡大はＸ軸方向の速度ベクトルによって行う。警告部２５は、移動物を検知したあと、移動物の移動方向、移動速度、自車両との相対位置（距離）などを判断して、移動物の接近及び移動物が接近しつつあることを事前に報知する。このため、警告部２５は、ディスプレイ３１〜３３及びスピーカ４１〜４３にそれぞれ警告用の情報を出力する（警告の報知は後述する）。

次にカメラ１１〜１３の配置の一例を、図３を参照して説明する。図３は、車両１を真上から見た図であり、例えば車両１の後方部にカメラ１１を配置する。また車両１の左側のサイドミラーに左カメラ１２を配置し、右側のサイドミラーに右カメラ１３を配置する。

後方カメラ１１は、例えばナンバープレート上のリアガーニッシュ等に取り付け、リアミラーと同等の広い画角αを有する。また左・右カメラ１２，１３は、例えばサイドミラーと同等の位置にそれぞれ取り付け、サイドミラーと同等の画角βを有する。後方カメラ１１で単独撮像している領域を点線範囲Ａで示し、左・右カメラ１２，１３で単独撮像している領域を一点鎖線範囲Ｂ，Ｃで示したとき、カメラ１１と１２の撮像領域、及びカメラ１１と１３の撮像領域は一部が重複する重複領域Ｄ，Ｅが存在するようにする。

以下、実施形態による運転支援装置の動作を、図４を参照して説明する。警告処理部２０（ＥＣＵ）はシフトレバーがＲなど、後退走行用ギアに入ったことで動作を開始し、カメラ１１〜１３で撮像した画像を対応するディスプレイ３１〜３３に出力し、車両の後方画像、左後方画像、右後方画像をそれぞれディスプレイ３１〜３３に表示する。また警告処理部２０の移動物検知部２１は、カメラ１１〜１３で撮像した画像をもとに移動物の検知を行う。移動物の検知は各カメラの撮像画像に対して行う。

図４（ａ）は、自車両１と、各カメラ１１〜１３の撮像領域を示し、自車両１がバックしているときに移動物５１が左後方から右方向に侵入した状態を示している。自車両１と移動物５１が図４（ａ）のような関係にあるときのディスプレイ３１〜３３での表示は、図４（ｂ）のようになる。

移動物検知部２１が移動物を検知した場合、枠画像描画部２２は、検知した移動物５１の周囲を検知枠５２で囲み、検知枠５２で囲まれた移動物５１を対応するディスプレイ３１〜３３上に重畳して表示する。図４（ｂ）では、ディスプレイ３２に移動物５１と検知枠５２とが重畳して表示された状態を示している。また同時にスピーカ４２からは警告音が発せられる。音声は、「移動物があります」のようなメッセージを報知しても良いし、「ピピピッ…」等の警告音であってもよい。

また枠画像拡大部２４は、計算部２３からの移動物５１の移動方向と移動速度の情報をもとに、検知枠５２を移動方向（Ｘ軸）に拡大する。図４（ａ）では、検知枠５２が拡大された状態を点線５３で示している。拡大された検知枠５３（拡大検知枠）は移動物５１の速度に比例した大きさとなる。

拡大検知枠５３が、左カメラ１２の画像（ディスプレイ３２）の中で後方カメラ１１と撮像領域が重複する領域Ｄ（図３）に侵入し、移動物と自車両との相対位置が予め設定した距離に近づいたとき、ディスプレイ３１には、移動物が後方カメラ１１の撮像領域に間もなく入ることを事前警告する。図４（ｂ）では、ディスプレイ３１に事前警告の画像５４が表示された状態を示している。事前警告の画像５４は、例えば移動物の侵入方向を示す矢印などでよい。また同時にスピーカ４１からは警告音が発せられる。音声は、「間もなく移動物が侵入します」のようなメッセージを報知しても良いし、「ピピピッ…」等の警告音であってもよい。

また図４（ａ）において、移動物５１が矢印Ｆの方向に移動して検知枠５２’で示す位置にあるときは、図４（ｃ）のようにディスプレイ３１に移動物５１と検知枠５２が重畳表示される。さらに移動物が移動して、拡大検知枠５３’が、後方カメラ１１の画像（ディスプレイ３１）の中で右カメラ１３と撮像領域が重複する領域Ｅ（図３）に侵入すると、ディスプレイ３３には、移動物が右カメラ１３の撮像領域に間もなく入ることを示す事前警告の画像５４（矢印）が表示される。また同時にスピーカ４３からは警告音が発せられる。

検知枠５２は、移動物５１の速度に応じて拡大処理される。また車両が後退走行用ギアに入っている限り、一定時問ごとに移動物５１の速度が再計算され更新される。また自車両と移動物５１の相対的な位置(距離)も同様に一定時問ごとに更新される。
複数のカメラで撮像範囲が重複する領域（Ｄ又はＥ）は、取り付けるカメラの撮像領域及び取り付け位置によって予め想定することができる。したがって、各カメラの撮像領域に移動物がある場合は、検知枠５２を描画して警告を行い、拡大検知枠５３が、撮像領域の重複する領域（Ｄ又Ｅ）に侵入した場合は、事前警告を行う。

つまり、各カメラの画角をもとに、他のカメラと撮影領域が重複する領域を予め想定しておき、撮影した画像の中でどの部分が重複領域であるかを設定し、拡大検知枠５３が重複領域外から重複領域に侵入したとき、移動物５１の侵入が予測される撮像画像に事前警告用の画像５４を重畳して、対応するディスプレイに出力する訳である。スピーカ４１〜４３は、警告内容と連動し、移動物５１が検知されたとき、又は事前警告時のみ警告音を発するように動作する。

検知枠５２は、移動物５１の速度に比例して以下のように拡大する。即ち、図５で示すように、移動物５１の速度を計算する場合の座標系は、後方カメラ１１の画角（撮影範囲の広さとなる角度）に対して、水平となる方向をＸ軸、垂直となる方向をＹ軸とする。移動物５１の検知枠５２の拡大は、移動物５１の進行方向であってＸ軸方向に行われる。

また図６に示すように、Ｘ軸方向への拡大幅ｄは、移動物の速度Ｓと比例関係にあり、ｄ＝Ｓ・Ｔで表わされる。尚、Ｔは、警告タイミング定数であり、設計値として予め固定される。例えば、速度５Km/h以上の移動物５１を０．５Sec.前に警告したい場合は、Ｔ＝０．５とする。また速度が遅く、例えば５Km/h以下のときは、Ｔ＝０とし、拡大は行わないようにすることもできる。

したがって、移動物の速度が速い場合は拡大幅ｄが広くなり、移動物の速度が遅い場合は拡大幅ｄが狭くなるため、移動物の速度に合わせて事前警告用の画像５４をタイミングよく表示することができる。また移動物と自車両との相対位置の算出結果に応じて事前警告を行うため、移動物が重複領域に侵入しても自車両から遠い場合は事前警告は行わず、移動物が予め設定した距離内に近づいたときのみ事前警告を行うようにすることができる。

図７は、判断処理部２０の動作を示すフローチャートである。図７において、ステップＳ０でシフトレバーがＲ（バック）に入れられると、判断処理部２０は動作をスタートし、ステップＳ１では各カメラ１１〜１３で撮像した生画像を取得する。ステップＳ２では、車両情報取得部５０から自車両の速度及び操舵角の情報を取得する。ステップＳ３では移動物検知部２１の検知結果をもとに画像内に移動物があるか否かを判断する。

移動物がない場合（ＮＯ）は、ステップＳ４に進み、各カメラ１１〜１３に対応したディスプレイ３１〜３３に生画像を表示する。ステップＳ３で移動物が検知された場合（ＹＥＳ）、枠画像描画部２２は、ステップＳ５で検知枠を生成し、移動物５１の周囲に検知枠５２を描画する。ステップＳ６では検知した移動物５１の加速度を計算部２３によって算出する。またステップＳ７では、計算部２３によって移動物５１と自車両との相対位置（距離）を算出する。ステップＳ８では、枠画像拡大部２４によって移動物の速度に応じて検知枠５２を拡大する。

ステップＳ９では、撮像領域が複数のカメラで重複する領域（Ｄ又はＥ）に、拡大検知枠５３が侵入したか否かを判断する。重複領域に侵入していない場合（ＮＯ）はステップＳ１０に進み、それぞれのカメラに対応したディスプレイ３１〜３３に拡大前の検知枠５２で囲まれた移動物５１を生画像に重畳して表示する。またステップＳ１１では、ディスプレイ３１〜３３に対応したスピーカ４１〜４３から警告音を報知する。

一方、ステップＳ９において、撮像領域が複数のカメラで重複する領域（Ｄ又はＥ）に、拡大検知枠５３が侵入したと判断した場合（ＹＥＳ）は、ステップＳ１２に進み、拡大した検知枠５３を撮像領域に含むが移動物を撮像領域に含まないカメラを特定する。ステップＳ１３では、特定されたカメラに対応するディスプレイに事前警告用の画像５４を出力し、生画像に重畳して表示する。またステップＳ１４では、事前警告の画像が表示されたディスプレイに対応するスピーカから事前警告音を報知する。尚、ステップＳ４、Ｓ１１、Ｓ１４のあとはステップＳ１５のエンドステップに進み、処理を終了する。

以上述べた実施形態によれば、運転者にとって視認の困難な車両後方を撮像できるカメラを車両に取り付け、撮像結果及び移動物の検知結果をディスプレイに表示して警告を行うことができる。またディスプレイに既に映っている（カメラの撮像領域内に居る）移動物の移動方向や速度によって、これから侵入が予測される（カメラの撮像領域内に居ない）移動物について、事前に警告を行うことができる。また事前警告のタイミングについては、移動物の速度及び移動物と自車両の相対位置に応じて設定されるため、撮像領域に入る一定時間前に正確に警告を行うことができる。したがって、事前警告は早すぎず、かつ遅すぎないタイミングで報知することができる。

尚、本発明は、上記実施形態に限定されるものではなく、種々の変形が可能である。例えば、移動物５１を囲む枠５２は方形状に限らず、移動物の形状に近似する形状や、楕円形や菱形などの形状であっても良い。また事前警告用の画像５４も矢印等に限らず、どの方向から移動物が来るかを示すものであれば他の形状であっても良い。さらに移動物の存在を知らせる音声も種々の報知形態をとることができる。

本発明のいくつかの実施形態を述べたが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０…運転支援装置
１１…後方カメラ
１２…左カメラ
１３…右カメラ
１４…撮像部
２０…警告処理部
２１…移動物検知部
２２…枠画像描画部
２３…計算部
２４…枠画像拡大部
２５…警告部
３１，３２，３３…ディスプレイ
４１，４２，４３…スピーカ
５０…車両情報取得部

Claims (8)

1. 車両の後方領域を撮像する第1のカメラと、車両のサイドから後方の領域を撮像する第２のカメラを含み、前記第１のカメラによる撮像領域と前記第２のカメラによる撮像領域の一部が重複する重複領域を有する撮像部と、
   前記第１，第２のカメラによる撮像画像をそれぞれ表示する表示部と、
   前記第１，第２のカメラによる撮像画像をもとに移動物を検知する移動物検知部と、
   前記検知した移動物の周囲に枠画像を描画して前記表示部に重畳表示する枠画像描画部と、
   前記移動物の移動速度に応じて、前記枠画像を前記移動物の移動方向に拡大する枠画像拡大部と、
   前記表示部に表示する画像をもとに、前記拡大した枠画像が前記重複領域外から前記重複領域に侵入したことを判別し、かつ前記車両と前記移動物の相対位置に応じて前記移動物の侵入が予測される撮像画像に警告画像を事前に重畳する警告部と、
   を具備する運転支援装置。
2. 前記表示部は、前記第１、第２のカメラに対応して前記車両内に設けた第１、第２のディスプレイを含み、前記第１、第２のディスプレイにそれぞれ第１、第２のスピーカを配置し、前記警告画像の表示に合わせて対応するスピーカから警告音を報知する請求項１記載の運転支援装置。
3. 前記第１、第２のディスプレイ及び前記第１、第２のスピーカは、前記車両のリアミラー及びサイドミラーに対応して分離した位置に設置した請求項２記載の運転支援装置。
4. 前記第２のカメラは、前記車両の左後方を撮像する左カメラ、または前記車両の右後方を撮像する右カメラである請求項１記載の運転支援装置。
5. 前記警告部は、前記拡大した枠画像が前記重複領域に侵入したとき、前記拡大した枠画像を撮像領域に含むが前記移動物を撮像領域に含まないカメラを特定し、前記特定したカメラの撮像画像に対して前記警告画像を重畳する請求項１記載の運転支援装置。
6. 車両の後方領域を撮像する第1のカメラと、車両のサイドから後方の領域を撮像する第２のカメラを含み、前記第１のカメラによる撮像領域と前記第２のカメラによる撮像領域の一部が重複する重複領域を有する撮像部を設け、
   前記第１，第２のカメラによる撮像画像をそれぞれ表示部に表示し、
   前記第１，第２のカメラによる撮像画像をもとに移動物を検知し、
   前記検知した移動物の周囲に枠画像を描画して前記表示部に重畳表示し、
   前記移動物の移動速度に応じて、前記枠画像を前記移動物の移動方向に拡大し、
   前記第１、第２の表示部に表示する画像をもとに、前記拡大した枠画像が前記重複領域外から前記重複領域に侵入したことを判別し、かつ前記車両と前記移動物の相対位置に応じて前記移動物の侵入が予測される撮像画像に警告画像を事前に重畳する運転支援方法。
7. 前記表示部は、前記第１、第２のカメラに対応して前記車両内に設けた第１、第２のディスプレイを含み、前記第１、第２のディスプレイにそれぞれ第１、第２のスピーカを配置し、前記警告画像の表示に合わせて対応するスピーカから警告音を報知する請求項６記載の運転支援方法。
8. 前記拡大した枠画像が前記重複領域に侵入したとき、前記拡大した枠画像を撮像領域に含むが前記移動物を撮像領域に含まないカメラを特定し、
   前記特定したカメラの撮像画像に対して前記警告画像を重畳する請求項６記載の運転支援方法。

Images