JP2011152867A - 運転支援装置 - Google Patents

Abstract

【課題】車両の所定位置に固定された撮像装置により車両周囲を撮像した画像を使用して、運転者にとってより視認性の良好な運転支援画像を表示する運転支援装置を提供する。
【解決手段】撮像装置１で撮像した車両４０の後方画像から運転支援画像を生成する際に、車両４０の後方画像に境界線４３を設定して、境界線４３の前後（車両４０に対し近傍側／遠方側）で車両４０の後方画像を分割して上方視点画像と後方視点画像とを作成するので、両方の画像に、地面に表示されている交通表示や壁やブロック等の障害物が重複して表示される、あるいは、表示がされない、といったことがなくなり、運転者にとって視認性の良好な運転支援画像を提供することができる。
【選択図】図２

Description

本発明は、車両の運転を支援する運転支援装置に係わり、特に、車両に固定された撮像装置により車両周囲を撮像した画像を使用して、運転支援画像を車内の表示装置に表示する運転支援装置に関する。

従来、運転者が車両を運転する際に車両周囲の確認を支援する装置として、車両の後部等所定の位置に設置された撮像装置で車両周囲を撮像し、撮像した画像を車内に設置された表示装置に表示することで、例えば、運転者が駐車場等で車両をバックさせて駐車を行なう際に、車両後方に障害物や人が存在するか否かを確認しやすくする運転支援装置がある。

このような運転支援装置では、車内に設置された表示装置に表示する画像によって、運転者による車両周囲の確認のしやすさが左右されるため、撮像装置で撮像した画像を使用して、視点変換や画像処理を行い、より運転者にとって確認のしやすい画像を表示装置に表示する様々な運転支援装置が提案されている。

例えば、特許文献１では、車両後部に、斜めに見下ろす視点で車両後方を撮像できるよう設置された撮像装置と、車内に設置され撮像装置で撮像した画像を表示するための表示装置とを有する運転支援装置であって、撮像した画像を近距離画像と遠距離画像とに分割し、近距離画像は幾何学補正により上方視点画像に座標変換を行い、この上方視点画像を表示装置の画面の下側、遠距離画像を表示装置の画面の上側として、両方の画像を上下に並べて運転支援画像を生成する運転支援装置が開示されている。

撮像装置で撮像した画像すべてを上方視点画像に変換すると、車両から距離が離れる程画像の歪が大きくなり、撮像されているものの判別がつき難くなるという問題や、表示範囲が車両周辺に限定されてしまうため、車両の進行方向の状況が把握し難いという問題があるが、特許文献１のように、近距離画像のみ上方視点画像に変換すれば、画像の歪を抑えることができ、また、遠距離画像を上方視点画像と同時に表示することにより、車両周辺の状況と同時に車両の進行方向の状況も把握でき、さらには、遠距離画像を上部に、上方視点画像を下部に表示する際に、その境目で違和感が発生しないよう、遠距離画像に縮尺変換等の画像変換を行ない、運転者にとって車両後方の確認のしやすい運転支援画像を提供している。

しかし、特許文献１に記載された方法では、以下のような問題があった。運転者が、特許文献１に記載された運転支援装置を使用する場合として、車両をバックで駐車スペースに駐車する場合が考えられるが、その際運転者は、車両がある程度駐車スペースに収まるまでは、車両の進行方向の状況を把握するために表示装置の画面上方の遠距離画像を見ながら車両を運転し、駐車の最後の段階では、駐車スペースでの車両の位置を決めるために表示装置の画面下方の上方視点画像に視線を移して車両を運転する、といった使用形態が考えられる。

特許文献１では、撮像装置で撮像した画像から上方視点画像と遠距離画像とを作成し、これらを画面合成して作成した運転支援画像を表示装置で表示する際に、地面に表示されている交通表示や、壁やブロック等の表示対象の同一の部分について、上方視点画像と遠距離画像の両方に表示される、あるいは、上方視点画像と遠距離画像の両方に表示されない、といった場合があるため、運転者が車両を駐車する際に表示画面の上方（遠距離画像）から下方（上方視点画像）へ視線を移すタイミングが掴み難く、どちらの画像を見て運転を行なえばよいかの判断に迷う虞があった。

通常、車両を前進させる場合に比べてバックさせる場合は、車両の進行方向に死角が多くなり、運転者はより注意深く運転操作を行う必要がある。そのため、運転者が表示画面に表示された運転支援画像で確認作業を行う際は、運転者が運転操作により注意を払えるよう、直感的に、かつ、短時間で確認作業が行なえるような運転支援画像が表示されることが望ましい。上述したように、特許文献１に記載の運転支援画面では、遠距離画像と上方視点画像のどちらを見て運転を行なえばよいかの判断に迷う虞があり、運転者が運転支援画像を見る時間が長くなることで駐車に時間がかかる等、運転者にとって使用感が悪いという問題があった。

また、特許文献１に開示されている運転支援装置では、運転支援画面が表示装置に表示された際に、遠距離画像と上方視点画像との境目で、両画面が連続性を持って接合するように、遠距離画像の境目付近（上方視点画像との接合部付近）の画像に対して複雑な画像処理を行なっているが、これにより、境目付近の画像が不自然にゆがみ、実際に運転者が肉眼で見る風景と乖離した画像となるので、運転者が違和感を持つと共に、運転支援装置の使用感が低下するという問題があった。さらには、遠距離画像に複雑な画像処理を行なうために、画像処理プログラムが簡素化できずに演算量が多くなるため、運転支援装置の制御部や記憶部についても、簡素化できないという問題があった。

特開２００５−３１１８６８号公報（第６〜９頁、第１図、第２図）

本発明は以上述べた問題点を解決し、車両の所定位置に固定された撮像装置により車両周囲を撮像した画像を使用して、運転者にとってより視認性の良好な運転支援画像を表示する運転支援装置を提供することを目的とする。

本発明は上述の課題を解決するものであって、本発明の運転支援装置は、車両の所定位置に設置された少なくとも１台の撮像装置と、撮像装置で撮像した画像から運転支援画像を生成する画像処理装置と、画像処理装置で生成した運転支援画像を表示する表示装置と、を有している。画像処理装置は、撮像装置で撮像した車両周囲画像について、車両から所定の距離だけ離れた地点に境界線を設定し、境界線を境に車両に近い方向／遠い方向に画像を分割する。そして、境界線より車両に近い側の車両周囲画像については、車両の外部に仮想的に設定された視点から見た仮想視点画像に加工する一方、車両に対し境界線より遠方側の車両周囲画像については、画像処理を行なって後方視点画像として、それぞれの画像を合成して表示装置に運転支援画像として表示する際に、表示対象が仮想視点画像及び後方視点画像の両方に同時に表示されないよう、仮想視点画像と後方視点画像とを画面合成するものである。

また、運転支援画像を表示装置に表示する際に、合成した画像の境界線周辺の画像において、表示対象が、仮想視点画像及び後方視点画像に同時に表示されることがないように、また、表示対象が、仮想視点画像及び後方視点画像の両方に表示されないことがないように、表示対象を過不足なく表示できるように仮想視点画像と後方視点画像とを画面合成するものである。

本発明の運転支援装置は、撮像装置で撮像した車両の後方周囲画像に境界線を設定して、境界線の前後（車両に対し近傍側／遠方側）で車両周囲画像を分割して仮想視点画像と後方視点画像とを作成するので、両方の画像に、地面に表示されている交通表示や壁やブロック等の表示対象の一部が同時に表示される、あるいは、両方の画像に表示がされない、といったことがなくなり、運転者が車両を運転する際に、表示画面の上方（仮想視点画像）から下方（後方視点画像）へ、あるいは、表示画面の下方（後方視点画像）から上方（仮想視点画像）へ、視線を移すタイミングが掴み易く、どちらの画像を見て運転を行なえばよいかの判断に迷うことがないため、運転者にとって使用感の良い運転支援画像を提供することができる。

本発明の実施例である運転支援装置の構成ブロック図である。 本発明の実施例における、車両後方周囲画像を説明する図である。 本発明の実施例における、運転支援画面を説明する図であり、（Ａ）は車両を駐車スペースに導入する際の運転支援画面、（Ｂ）は（Ａ）より駐車スペースに後進した際の運転支援画面である。 後方視点画像にゆがみが生じた場合の運転支援画像を説明する図である。

以下、本発明の実施の形態を、添付図面に基づいて詳細に説明する。尚、実施例としては、車両後部に撮像装置を１台設置する運転支援装置を例に挙げて説明する。尚、本発明は以下の実施形態に限定されることはなく、本発明の主旨を逸脱しない範囲で種々変形することができる。

図１の構成ブロック図に示すように、本発明による運転支援装置１０は、撮像装置１と、表示装置３と、画像処理装置２０とを備えている。更には、画像処理装置２０は、ＲＯＭ４と、ＲＡＭ５と、撮像装置Ｉ／Ｆ部６と、表示装置Ｉ／Ｆ部７と、これらを制御する制御部２とを備えている。

撮像装置１は、図示は省略するが、魚眼レンズや、魚眼レンズを保持するレンズホルダ、絞りや遮光板、及び広角レンズを透過した光束が結像されるＣＣＤ等の撮像素子で構成されている。この撮像装置１は、図２の車両後方周囲画像の説明図に示すように、車両４０後部のバンパー４０ａ上方でかつ幅方向は略中央部（例えば、車両４０後部に設置されたナンバープレート上部）に１台設置されており、車両４０の後方周囲について、撮像装置１で撮像できる範囲全てを撮像する。尚、本実施例では、撮像装置１が１台設置されている場合について説明するが、撮像装置を複数台設置し、車両４０の後方周囲を各撮像装置で分担して撮像するようにしてもよい。

表示装置３は、タッチパネル機能を有する液晶パネルを備え、画像処理装置２０から送信されるデータに基づいた画像を表示する。尚、詳細な説明は省略するが、表示装置３は、車両４０に設置されている図示しないカーナビゲーションシステムから送信される地図画像や、ＤＶＤプレーヤ等の画像再生機器から送信される画像を表示させてもよい。

次に、画像処理装置２０について説明する。撮像装置Ｉ／Ｆ部６は、撮像装置１と制御部２との間に介在し、撮像装置１で撮像された画像を取り込んで制御部２に画像データとして出力するインターフェイスである。制御部２は、内部に図示しない画像ＡＳＩＣを備えており、撮像装置１で撮像され撮像装置Ｉ／Ｆ部６を介して入力された画像データに対し、座標変換や歪補正等の画像処理を行なう。表示装置Ｉ／Ｆ部７は、制御部２と表示装置３との間に介在し、制御部２で画像処理された画像データを取り込んで表示装置３に出力するインターフェイスである。

ＲＯＭ４には、制御部２での画像処理を実行するプログラムや、制御部２が取り込んだ画像の座標変換を行なう際に参照する座標変換テーブル等が格納されており、制御部２は、このプログラムや座標変換テーブルに従って上述した画像処理を行なう。また、ＲＡＭ５は、撮像装置１で常時撮像されている車両４０の後方周囲画像を一時的に記憶すると共に、制御部２が画像処理を行なう際に、一時的に画像処理された画像を保存する等、制御部２の作業領域として使用される。

次に、図１及び図２を使用して、本実施例による運転支援装置１０の動作原理について説明する。運転者が車両４０をバックで運転して駐車を行う動作を開始すると（例えば、ＡＴ車であればシフトレバーを「Ｒ（リバース）」とすると）、運転支援装置１０が作動を開始し、画像処理装置２０の制御部２は、撮像装置１で撮像できる車両４０の後方範囲全てを撮像した後方周囲画像をＲＡＭ５から読み出し、この後方周囲画像から所定の範囲で切り出した処理用画像に対する画像処理を開始する。

図２の車両後方周囲画像の説明図に示すように、制御部２は、この処理用画像に対し、車両４０の後端、つまり、バンパー４０ａの先端面から所定の距離Ｗだけ後方に離れた位置に相当する処理用画像上に仮想の境界線４３を設定する。そして、制御部２は、入力された処理用画像を、境界線４３を境として、車両４０後端から境界線４３までに相当する上方視点画像範囲４１に対応する画像と、境界線４３から遠方（車両４０から遠ざかる方向）に相当する後方視点画像範囲４２に対応する画像とに分割する。

次に、制御部２は、上方視点画像範囲４１に対応する画像について、ＲＯＭ４に格納されているプログラムや座標変換テーブルに従って画像処理を行なう。具体的には、地面から所定の高さＴの位置に仮想視点５０を設定し、車両４０上方の仮想視点５０から撮像した画像、つまり、車両５０の上方視点画像となるように、上方視点画像範囲４１に対応する画像に対して幾何学補正による座標変換を行い、その画像をＲＡＭ５に記憶する。また、後方視点画像範囲４２に対応する画像については、表示対象の歪を補正する等、最小限の画像処理のみを行なって後方視点画像とし、その画像をＲＡＭ５に記憶する。

そして、制御部２は、ＲＡＭ５に記憶されている上方視点画像に対応する画像と後方視点画像に対応する画像とを用いて、表示装置３の表示画面に上方視点画像が上側、後方視点画像が下側に表示されるよう画像合成を行ない、これを運転支援画像データとして表示装置Ｉ／Ｆ部７を介して表示装置３に出力する。

次に、図１乃至図３を用いて、本実施例による運転支援装置の具体的な動作及び効果について説明する。尚、以下の説明では、運転者が車両４０を、区画された駐車スペースにバックで駐車する場合を例に挙げて説明する。

図３の車両後方周囲画像の説明図に示すような白線３２で区画された駐車スペース３０に、運転者が車両４０をバックで駐車する運転を開始する。運転者が駐車を開始すると、上述したように制御部２は、処理用画像に対し画像処理を行ない、図３（Ａ）に示すような運転支援画像を表示する。運転支援画像の画面上側は、図２に示す上方視点画像範囲４１に対応する画像を、仮想視点５０から撮影した画像である上方視点画像３ａに変換したものであり、運転支援画像の画面下側は、図２に示す後方視点画像範囲４２に対応する画像を後方視点画像３ｂに変換したものである。

表示装置３の画面上方には、運転支援装置１０やカーナビゲーションシステム等の操作のための操作ボタン３３が複数個設けられているが、このような場所に操作ボタン３３が配置された場合には、後方視点画像３ｂが表示装置３の上部に配置されていると、運転者が車両４０をバックさせる際に、後方視点画像３ｂの一部と操作ボタン３３とが重なることによって、後方視点画像３ｂで車両４０の後方周囲の安全確認を行う際に視野が狭くなるが、図３に示すように、本発明では、上方視点画像３ａを表示装置３の上部に配置したので、操作ボタン３３は運転者が上方視点画像３ａを確認する際に、実用上あまり影響のない部分である表示対象と重なって表示されるため（図３(Ａ)の場合、白線３２及び車両４０後端とその周囲との位置関係が運転者から見えればよい）、操作ボタン３３が運転者の運転支援画像の確認に際し邪魔となることがない。

運転者は、駐車運転の操作初期には、車両４０の進行方向に、車両４０の駐車位置周辺に障害物がないか等、進行方向の状況を確認できる後方視点画像３ｂを見ながら運転を行う。図３（Ａ）及び（Ｂ）に示すように、例えば、駐車スペース３０に路面表示３１があれば、運転者は上方視点画像３ａ及び後方視点画像３ｂに路面表示３１がどのように表示されているかを確認することで、車両４０が現在駐車スペース３０のどの辺りにあるのかが把握できる。この時、路面表示３１が上方視点画像３ａ及び後方視点画像３ｂの両方に表示される、もしくは両方に表示されていない、といったことがないため、運転者が確認したい表示対象が、上方視点画像３ａもしくは後方視点画像３ｂのどちらか一方の画面にのみ表示されているので、運転者は、駐車運転の操作初期において、表示装置３を見た際にいずれの画面を見るべきかを迷うことなく判断することができる。

次に、図３（Ｂ）に示すように、運転者が駐車スペース３０への駐車運転を続け、ある程度車両４０を駐車スペース３０に収めた後は、駐車運転の最終段階として車両４０の駐車スペース３０での位置を決めるために、運転者は視線を後方視点画像３ｂから上方視点画像３ａへ移し、上方視点画像３ａを見ながら車両４０の駐車を完了させる。

この時、図３（Ｂ）に示すように、後方視点画像３ｂには路面表示３１の表示上方部３１ａが、上方視点画像３ａには路面表示３１の表示下方部３１ｂが、それぞれ表示されている。表示上方部３１ａ及び表示下方部３１ｂは、境界線４３を境に路面表示３１を分割したものであり、後方視点画像３ｂ内に表示されている表示上方部３１ａの全部又は一部が、上方視点画像３ａ内に表示されることがなく、また、上方視点画像３ａ内に表示されている表示下方部３１ｂの全部又は一部が、後方視点画像３ｂ内に表示されることがない。つまり、表示上方部３１ａと表示下方部３１ｂを合わせて路面表示３１となるよう、上方視点画像３ａに表示下方部３１ｂが、後方視点画像３ｂに表示上方部３１ａが、それぞれ表示され、両方の画像に路面表示３１の一部が同時に表示される、あるいは、両方に表示されていない、といったことがないように画像処理を行なっている。従って、運転者が確認したい表示対象が、上方視点画像３ａもしくは後方視点画像３ｂのどちらか一方の画面にのみ表示されているので、表示装置３を見た際にいずれの画面を見るべきかを迷うことなく判断することができるため、運転者が後方視点画像３ｂから上方視点画像３ａに視線を移すタイミングを掴みやすく、運転者にとってより使用感の良い運転支援画像を提供することができる。

尚、図２に示すように、後方周囲画像から処理用画像を切り出す際に、より車両４０に近い範囲まで含めて切り出す、例えば、後方視点画像範囲４２の車両４０側の表示範囲を決める車両近傍側範囲４２ａを、バンパー４０ａが後方視点画像３ｂに表示されるように、より車両４０に近づけた車両近傍側範囲４４とした場合、車両４０の後方周囲画像から、より広い範囲で処理用画像を切り出すこととなる。一方、表示装置３に表示する後方視点画像３ｂの画面の大きさは固定されているため、広い範囲の処理用画像に画像処理を行なって後方視点画像３ｂを作成する場合、小さな処理用画像である場合に比べて、後方視点画像３ｂとした際の表示対象のゆがみが大きくなり、特に、後方視点画像３ｂの中心から周辺になるほど表示対象のゆがみが大きくなる。

従って、図４に示すように、後方周囲画像からより大きな範囲で切り出した処理用画像から生成した後方視点画像３ｂ’は、表示対象のゆがみが大きくなり、表示対象の水平線３４や垂直線３５がゆがんで表示される。また、図４に示すように、バンパー４０ａや路面表示３１の表示の一部３１ｃが、上方視点画像３ａ’と後方視点画像３ｂ’の両方に表示されてしまい、運転者が表示装置３を見た際に、いずれの画面を見るべきかを判断し難くなるという問題がある。

これに対し、図２に示すように、本実施例においては、車両近傍側範囲４２ａとして後方視点画像範囲４２を定めて、後方周囲画像から切り出す処理用画像を適切な広さに設定することで、図３（Ａ）に示すように、後方視点画像３ｂにおいて、表示対象の水平線３４や垂直線３５がゆがんで表示されることがなく、自然な画像とすることができる。また、切り出す処理用画像が小さくなることで、画像処理量が小さくなると共に、運転支援画像の画面上側に上方視点映像３ａを、画面下側に後方視点画像３ｂを配置しているので、特許文献１のように上下画面の境目で違和感が発生しないように画像処理を行なう必要もないため、簡易な画像処理プログラムとなり、ＲＯＭ４や制御部２の負荷を軽減することができる。さらには、上述したように、表示対象（ここでは路面表示３１）の一部が、上方視点画像３ａと後方視点画像３ｂの両方に同時に表示される、あるいは、両方に表示されていない、といったことがなく、運転者が後方視点画像３ｂから上方視点画像３ａに視線を移すタイミングが掴みやすく、運転者にとってより使用感の良い運転支援画像を提供することができる。

以上説明した通り、本発明の運転支援装置によれば、撮像装置で撮像した車両の後方周囲画像に境界線を設定して、境界線の前後（車両に対し近傍側／遠方側）で車両周囲画像を分割して仮想視点画像と後方視点画像とを作成するので、両方の画像に、地面に表示されている交通表示や壁やブロック等の表示対象の一部が同時に表示される、あるいは、両方の画像に表示がされない、といったことがなくなり、運転者が車両を運転する際に、表示画面の上方（仮想視点画像）から下方（後方視点画像）へ、あるいは、表示画面の下方（後方視点画像）から上方（仮想視点画像）へ、視線を移すタイミングが掴み易く、どちらの画像を見て運転を行なえばよいかの判断に迷うことがないため、運転者にとって使用感の良い運転支援画像を提供することができる。

尚、以上説明した実施例では、撮像装置を車両後部に設置し、車両後方周囲を撮像して運転支援画像が得られる運転支援装置について説明したが、これに限るものではなく、車両の前部や左右側面等、運転者にとって死角となる場所や視認がし難い場所を撮像できる箇所に撮像装置を設置し、運転支援画像が得られるような運転支援装置としてもよい。

１ 撮像装置
２ 制御部
３ 表示装置
３ａ、３ａ’ 上方視点画像
３ｂ、３ｂ’ 後方視点画像
４ ＲＯＭ
５ ＲＡＭ
１０ 運転支援装置
２０ 画像処理装置
３０ 駐車スペース
３１ 路面表示
４０ 車両
４０ａ バンパー
４１ 近傍側画像
４２ 遠方側画像
４３ 境界線
４４ 撮像範囲

Claims (2)

1. 車両の所定位置に設置された少なくとも１台の撮像装置と、同撮像装置で撮像した前記車両周囲の画像に対し画像処理を行なって運転支援画像を生成する画像処理装置と、同画像処理装置から出力された前記運転支援画像を表示する表示装置とを有する運転支援装置であって、
   前記画像処理装置は、前記撮像装置で撮像した画像を、同画像に対して所定の位置に設定した境界線を境に２分割し、
   同２分割した画像のうち、前記境界線から前記車両に近い範囲の画像については、仮想視点画像となるように画像処理を行ない、前記境界線から前記車両に対し遠い範囲の画像については、後方視点画像となるように画像処理を行ない、前記運転支援画像を前記表示装置に表示する際に、表示対象が、前記仮想視点画像及び前記後方視点画像の両方に同時に表示されないよう、前記仮想視点画像と前記後方視点画像とを画面合成したことを特徴とする運転支援装置。
2. 前記運転支援画像を前記表示装置に表示する際に、表示対象が、前記仮想視点画像及び前記後方視点画像の両方に同時に表示されないよう、また、前記表示対象が、前記仮想視点画像及び前記後方視点画像の両方に表示されないよう、前記表示対象を過不足なく表示できるように前記仮想視点画像と前記後方視点画像とを画面合成したことを特徴とする請求項１記載の運転支援装置。

Images