JP2005236493A

JP2005236493A - 運転支援装置

Info

Publication number: JP2005236493A
Application number: JP2004041067A
Authority: JP
Inventors: Satoshi Chinomi; 聡知野見; Tatsumi Yanai; 達美柳井
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2004-02-18
Filing date: 2004-02-18
Publication date: 2005-09-02
Anticipated expiration: 2024-02-18
Also published as: JP4457690B2

Abstract

【課題】車両の動きに応じて画面構成及び、視点位置を連続的に変更することにより、ドライバに理解しやすい映像を提供する。
【解決手段】撮影手段２０１は複数の電子式カメラから成り、車両周囲の状況の映像を取得する。映像処理手段２０２は制御手段２０３からの指示により、撮影手段２０１からの複数の映像を１つの視点から見たように表示させる１視点映像や、複数の映像を合成した多視点映像に変換し、表示手段２０４に出力し、表示手段２０４では１視点映像や多視点映像を表示する。映像選択操作手段２０６は撮影手段２０１の複数のカメラの映像の内、いずれかのカメラの映像を表示手段２０４に表示するか、または、いずれかのカメラの映像を１視点映像や多視点映像に使用するか選択し、制御手段２０３に指示する。
【選択図】図２

Description

本発明は、車両に備えられた複数の撮影手段により複数の車両周囲の状況を撮影し、撮影した映像を画像処理して運転者に提示する運転支援装置に関する。

車室外にカメラを配置し、カメラで撮影した死角映像を車室内のモニタに広域映像を主画面に、仮想上視点から見下ろした映像に視点変換した映像を子画面に表示し運転を支援していた。

特開２００３−１０４１４５号公報

車両後部を捉えたカメラ映像と車両後部右側、左側を捕らえたカメラ映像とを画面を分割して並べて表示をすると、車両停止時には周囲状況確認や進行方向確認がしやすいが、車両が動くと並べて表示された映像がそれぞれ独立に動き出し、画面に表示されている映像を理解することが困難である。また、複数のカメラで捕らえた映像を１つの仮想視点を設け、視点位置を変換した複数カメラ映像を合成し、表示をする方法がある。この合成した映像は車両移動時に、視点位置が統一されていることから複数画面を同時に表示している場合においても複数画面が独立に動くことなく画面に表示されているので映像を理解しやすい。しかし、この合成された映像は、視点変換の基準面からはなれた位置にある物体にゆがみが生じるため、周囲状況確認や進行方向確認には適さない。

本発明は上記の問題を解決するためになされたものであり、車両の動きに応じて画面構成及び、視点位置を連続的に変更することにより、ドライバに理解しやすい映像を提供する運転支援装置に関するものである。

車両に備えられた複数の撮影手段により複数の車両周囲の状況を撮影し、車両の動きに連動して、表示手段に表示する画面の種類を、１つの視点から見たように表示させる１視点映像と、複数の映像を合成した多視点映像とを切り替える。

車両の動きに応じて画面構成および、視点位置を連続的に変更することにより、ドライバに理解しやすい映像を提供する。

以下、図面を用いて本発明の実施の形態について説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。

先ず、視点変換による映像のゆがみについて述べる。車両周囲に備えられた電子式カメラによって撮影された映像に画像処理を施し、視点位置を仮想的に変更した映像を得る視点変換技術が周知であり、この視点変換を行う基準面に対して実カメラ映像と仮想カメラ映像との対応を取るものである。視点変換技術を用いて複数カメラで撮影した映像のそれぞれの仮想視点を同じ位置とすると、複数映像を並べて表示した際に同一視点から１つのカメラで撮影した映像のように表示されるため車両移動時にもドライバは表示映像を理解しやすい。

しかしながら、この技術によって視点位置を変更した映像では図１に示すように周辺物体がゆがむことがある。例えば、地面を基準面に取った場合、視点変換された仮想カメラ映像では、基準面上にある駐車枠などの白線１０１はゆがまないが、車両の車輪１０２等はゆがんだ状態で表現される。このように、視点変換を施した映像は基準面上にある白線などと、車両との位置関係を示すのには適しているが、車両周囲や車両進行方向にある障害物などの把握には適していない。

また、視点変換を施さない映像では、複数カメラで撮影した映像を同時に並べて表示すると、表示されている映像にゆがみが発生しないため車両周囲にある障害物などの把握に適している。しかしながら、車両が移動したときに、表示されている複数の映像が別々に動くため、ドライバには周囲状況が理解しにくい。

本発明の第１の実施の形態では、車両移動時に視点変換を用いて複数カメラで撮像した映像を１視点映像に変換し、ドライバに理解しやすく提供するメリットと、視点変換を施さない映像のゆがみのない、車両周囲状況を確認しやすい多視点映像をドライバに提供するメリットとを両立させた実施の形態を説明する。

本発明の第１の実施の形態について、図２〜７を用いて説明する。

図２は第１の実施の形態の構成を示すブロック図であり、本第１の実施の形態の構成について図２を用いて説明する。撮影手段２０１は複数の電子式カメラ（図３（ａ）における３０１ａ、３０１ｂ、３０１ｃであり、以後電子式カメラをカメラと略記する）から成り、車両周囲の状況の映像を取得する。映像処理手段２０２は制御手段２０３からの指示により、撮影手段２０１からの複数の映像を１つの視点から見たように表示させる１視点映像や、複数の映像を合成した多視点映像に変換し、表示手段２０４に出力し、表示手段２０４では１視点映像や多視点映像を表示する。映像選択操作手段２０６は撮影手段２０１の複数のカメラの映像の内、いずれかのカメラの映像を表示手段２０４に表示するか、または、いずれかのカメラの映像を１視点映像や多視点映像に使用するか選択し、制御手段２０３に指示する。

運転状況把握手段２０５は車両が停止しているか、どの程度の速度で動いているか等の車両の状況を把握し、車両の状況を制御手段２０３に知らせる。制御手段２０３は映像選択操作手段２０６からの指示や、運転状況把握手段２０５の知らせに基づき、映像処理手段２０２に１視点映像や多視点映像の作成等を指示する。

次に図３を用いてカメラの車両への実装例と撮影範囲及び、１視点映像、多視点映像における各カメラの表示手段２０４での表示領域を説明する。図３（ａ）は本第１の実施の形態においてカメラ（撮影装置）を車両３０２の両側面（３０１ｂ、３０１ｃ）と後面（３０１ａ）にそれぞれ１つずつ計３つ配し、それぞれの撮像範囲を示している。なお、後面のカメラ３０１ａはほぼ１８０度の撮影範囲を有する超広角カメラである。また、車両の右後ろ、左後ろには２つのカメラ（３０１ａと３０１ｂ及び３０１ａと３０１ｃ）の撮影範囲がオーバーラップして映像を取る領域が存在する。

図３（ｂ）は多視点映像表示時のカメラ３０１ａ、３０１ｂ、３０１ｃの表示手段２０４に表示する領域を示し、カメラ３０１ｂ、３０１ｃの表示領域は図３（ａ）で示した撮影領域と同じであるが、カメラ３０１ａの表示領域は図３（ｂ）のように狭めている。図３（ｃ）は１視点映像表示時のカメラ３０１ａ、３０１ｂ、３０１ｃの表示領域を示しており、側面のカメラ３０１ｂ、３０１ｃの表示領域はカメラ３０１ａで表示できる後方領域部分を表示しない。

次に図４〜図７を用いて本第１の実施の形態の動作について、並列駐車を行う場合を例にして説明する。

図５における自車両５０１が位置５０１ａで停止しているとする。停止している状態でドライバは映像選択操作手段２０６に実装されている映像表示・オン／オフスイッチ（図示せず）でスイッチをオンし車両周囲の映像を要求する（図４におけるＳ４０１）。その際、車両周囲状況の確認及び、進行方向の障害物の確認に図６に示すような多視点映像から成る画面を提示する（自車両５０１が停止しているので、Ｓ４０２からＳ４０３へ）。図６では、車外に取り付けられたカメラ３０１ａで撮影したリアビューの映像６０１Ｂと、カメラ３０１ｃで撮影した後席左ドア後方の映像６０１Ｌ、カメラ３０１ｂで撮影した後席右ドア後方の映像６０１Ｒとを並べた多視点映像に合成して表示している。この映像はカメラを用いて撮影した映像をそのまま表示するため、画像処理による映像のゆがみがなく、車両周囲状況の確認や進行方向の障害物の確認に適している。車両周囲状況を確認し、進行方向に障害物がないことを確認した後、自車両５０１が位置５０１ａから位置５０１ｂに向けて移動を開始する。自車両５０１が移動を開始しても図６に示す多視点映像に合成された映像を提示していると、並べて表示された映像６０１Ｂ、６０１Ｌ、６０１Ｒが独立に移動するためドライバは周囲状況が理解しにくい。そこで、車両が移動し始める（Ｓ４０２でＮｏの場合）と図７に示すような、視点位置を仮想の視点位置に変更し合成した１視点映像に変更して表示する（Ｓ４０４）。その際、図６から図７へ、すなわち画面の種類を多視点映像から１視点映像に表示を変更する場合に多視点映像の視点から一気に１視点映像の視点に移行せず、例えば図８（ａ）に示すように、カメラ３０１ａの視点０ａ、カメラ３０１ｂの視点０ｂ、カメラ３０１ｃの視点０ｃから１視点映像時の視点位置８０１（車両の上方で運転席・助手席の間付近）に１ａ→２ａ→３ａ、１ｂ→２ｂ→３ｂ、１ｃ→２ｃ→３ｃの様に各カメラの出力映像を連続して視点位置を変更し、それらの視点位置から見た視点変換を施した映像を連続して表示していくことにより、表示される画面の種類の変化が、例えば図８（ｂ）に示すように表示されている各映像の縁の変化だけを見れば８０２で示すように変化し、連続的な画面の変化として実現できる。

このように１視点映像に合成された図７に示す映像では、各カメラの仮想視点位置が同一になっており、あたかも単一のカメラで撮影した映像のように理解しやすく車両周囲状況を把握することができる。この１視点映像では図１に示したように周囲にある他車両などはゆがみを生じてしまうため、車両周囲状況の確認などには適さないが、地面上に描かれている駐車スペースの駐車枠などはゆがみが生じないため、自車両５０１の位置関係を把握し、目的の駐車位置に自車両５０１を誘導するのに適している。更に画面の種類の変化を連続的な画面の変化を用いで実現できるため、停車状態から車両が動き出すときに、表示されている画面の移り変わりがわかりやすい。

また、１視点映像が複数カメラ映像を同一仮想視点からの映像に視点変換した１視点映像の合成映像でなくとも、単一のカメラで取得した映像も視点位置が１つの映像であるから、単一のカメラ映像（ここでは後方カメラ３０１ａの映像６０１Ｂ）を、その表示領域を図３（ａ）に示すカメラ３０１ａの左右のオーバーラップ領域まで拡張した状態、すなわち図９に示す表示領域で表示することにより、１視点映像として用いることができる。この１視点映像表示では車両の移動時に自車両５０１の位置を確認しやすい映像をカメラ３０１ａの映像を表示するという簡単な制御で提供できる。

駐車中に周辺確認をするために車両を停止させたとき（図５の５０２ｂの位置で停止させた場合）には再度車両周囲状況を確認するのに適した図６の映像を提示してもよい。図６の映像を提示するタイミングは、車両が停止したときすぐに切り替えても良いし、車両停止後数秒間の遅れのあとに切り替えても良い。図４のフローチャートでは車両停止時に図６の映像を示すフローチャート（Ｓ４０２→Ｓ４０３）を示している。次に、映像表示・オン／オフスイッチをオフ（キャンセルボタンが押された）し映像表示がキャンセルされたか、あるいは車速が所定車速より大きくなると、映像表示を終了する（Ｓ４０６）。

以上説明したように、本発明では車両の動きに応じた適切な映像を提示することができる。すなわち、自車両５０１が停車時には自車両５０１の周囲状況確認や進行方向確認に適した多視点映像を表示し、自車両５０１の移動時には自車両５０１の位置を確認しやすい１視点映像を提供できる。

次に図１０、１１を用いて第２の実施の形態を説明する。本第２の実施の形態では車両が駐車予定位置に駐車する際に、ハンドル操作を支援する駐車アシストシステムを有している場合について述べる。

図１０は第２の実施の形態の構成を示すブロック図であり、図１０は図２に駐車位置指示手段１００１が追加されている点が異なる。駐車位置指示手段１００１は駐車アシストシステムを始動するために駐車開始を指示する駐車開始ボタン（図示せず）、表示手段２０４に表示された映像上でドライバが駐車予定位置を指示できる機能等を有しており、その指示された駐車予定位置に車両を駐車させるように制御手段２０３が車両をコントロールし、駐車のハンドル操作を支援する。その他の構成は図２と同じであり、説明は省略する。

次に図１１を用いて、第２の実施の形態の動作を説明する。駐車アシストシステムを始動するために自車両１１０１が位置１１０１ａに停車中にドライバが駐車開始ボタンを押すと、周囲状況を確認するために図１１のＡのような周囲を確認するために多視点映像を表示手段２０４を用いて提示する（図６の多視点映像に相当）。自車両１１０１周辺の安全確認を行った後、駐車予定位置を決定する際にはＢのような車両上空から俯瞰する映像（即ち視点を上方無限遠にとった１視点映像といえる）を提示する。駐車予定位置は駐車位置指示手段１００１で、Ｂの映像の画面上で目標駐車位置マーク１１０５を駐車予定位置に動かし設定することで決定する。駐車予定位置を決定した後、駐車アシストシステムがハンドル操作を支援し、駐車枠１１１０に対して移動を開始する。移動時（位置１１０１ｂ）にはＣのような俯瞰映像（第１の１視点映像）を表示する。駐車予定位置の駐車地点前端に近づくか、途中で停止すると（位置１１０１ｃ）、Ｄのように後方の障害物を確認するためにリア通常映像を表示する（単一映像からなる１視点映像。第２の１視点映像）。後方の障害物がないことを確認した後、駐車目標位置（位置１１０１ｄ）まで移動する。その際にはＥのような俯瞰映像（第１の１視点映像）を表示し、駐車を完了する最終位置をドライバが判断する。

以上述べたようにハンドル操作を支援する駐車アシストシステムを備えた場合にも、ドライバは自車両１１０１が停止している場合には多視点映像を表示するため、周囲状況が判断しやすく、駐車アシスト中で自車両１１０１が動いている場合には１視点映像を表示し、駐車枠が確認しやすい。

視点変換映像による映像のゆがみを説明する図。本発明の第１の実施の形態の構成を示すブロック図。車両へのカメラ取り付け位置、各カメラの撮影範囲及び映像表示範囲。第１の実施の形態の動作を示すフローチャート。第１の実施の形態で並列駐車シーンを説明する図。周囲状況確認映像（多視点映像）例を示す図。車両位置確認映像（１視点映像）例を示す図。画面の種類の変更を連続的な画面の変化で実現することを説明する図。１視点画像表示の変形例を示す図。第２の実施の形態の構成を示すブロック図。駐車アシストシステム使用時の映像切り替えを説明する図。

符号の説明

２０４表示手段
３０１ａ、３０１ｂ、３０１ｃ電子式カメラ
３０２車両

Claims

車両に備えられた複数の撮影装置により複数の車両周囲の状況を撮影し、撮影した映像をドライバに提供する運転支援装置において、
車両の動きに連動して、表示手段に表示する画面の種類を、１つの視点から見たように表示させる１視点映像と、複数の前記撮影装置により撮像された複数の前記映像を合成した多視点映像とを切り替えること
、を特徴とする運転支援装置。
前記車両が停止しているときは前記多視点映像を表示することを特徴とする請求項１に記載の運転支援装置。
前記車両が動いているときは前記１視点映像を表示することを特徴とする請求項１に記載の運転支援装置。
前記１視点映像は、複数の前記撮影装置によって撮影された複数の映像を、同一の仮想視点から撮影した視点変換映像に合成加工した前記１視点映像であることを特徴とする請求項１〜３のいずれかに記載の運転支援装置。
前記１視点映像は、複数の撮影装置のうちの１つの撮影装置で取得した単一の映像のうち、前記多視点映像として表示する表示範囲よりも広範囲の前記表示範囲を表示する前記１視点映像であることを特徴とする請求項１〜３のいずれか記載の運転支援装置。
前記表示手段に表示する前記画面の前記種類を切り替える場合には、前記映像の視点位置を連続的に切り替えることにより、前記画面の前記種類の変化を連続的な前記画面の変化を用いて実現することを特徴とする請求項１〜５のいずれかに記載の運転支援装置。
前記車両が駐車する際に、ハンドル操作を支援する駐車アシストシステムを有
し、前記１視点映像は、地面を真上から見下ろす視点変換を施した俯瞰映像である第１の１視点映像と、前記車両の後方を撮影する単一の画面からなる第２の１視点映像からなり、前記駐車アシストシステムが起動中で前記車両が停止時は前記多視点映像を表示し、前記車両が駐車行動中は前記第１の１視点映像を表示するとともに、前記車両が前記駐車地点前端に到達した時点で、前記第１の１視点映像から前記第２の１視点映像に表示を切り替えることを特徴とする請求項１に記載の運転支援装置。
前記車両が前記駐車位置に停止する直前から前記駐車位置に停止するまでの間、前記第１の１視点映像を再表示することを特徴とする請求項７に記載の運転支援装置。