JP2007336230A - 車載周囲死角表示システム - Google Patents

Abstract

【課題】 傷害物が存在しない近傍エリアは、３６０°全周囲俯瞰画像を表示し車両近傍の死角を無くすことと、障害物がある車両から遠方のエリアは通常カメラ映像に戻すことで操作者（運転者）に対象障害物の形状を瞬時に把握することの両方を可能にすることができる車載周囲死角表示システムを提供すること。
【解決手段】 障害物が検出された方向の俯瞰画像部分を、歪曲収差機能部１１及びカメラ視点変換機能部１２で生成した俯瞰画像による車両近傍側画像と、前方カメラ９ａ、後方カメラ９ｂ、右方カメラ９ｃ、左方カメラ９ｄで撮像した画像による車両遠方側画像で構成する歪曲収差機能部１１及びカメラ視点変換機能部１２を備えた。
【選択図】 図１

Description

本発明は、運転者が運転姿勢からサイドミラーやルームミラーを用いても死角となる車両の周囲をカメラで撮像して、運転者へ表示する車載周囲死角表示システムの技術分野に属する。

従来では、コントローラの制御部は、シフトセンサによってシフトポジションがリバース位置にあることが検出されると、距離センサから入力される車両周囲に存在する物体までの距離に基づいて、車両周辺に障害物が存在するか否かを判定し、障害物がない場合には、撮像映像から作成された俯瞰映像を表示し、障害物がある場合には、撮像映像を表示している（例えば、特許文献１参照。）。

また、移動体周辺の魚眼画像を魚眼カメラで撮像し、俯瞰画像を作成、表示しているものもある（例えば、特許文献２参照。）。

また、パノラマ画像や、色分け画像を表示するものもある（例えば、特許文献３参照。）。
特開２００６−２７５５６号公報（第２−９頁、全図） 特開２００６−４８４５１号公報（第２−１４頁、全図） 特許第３２９８８５１号公報（第１−１０頁、全図）

しかしながら、従来にあっては、複数のカメラ画像を切り替えて表示するものは、その画像がどこの画像を表わしているかを瞬時に判断することが難しい。また、３６０°の全周囲俯瞰画像は、その性質上、高さのある障害物が接近すると歪んでしまい瞬読不可能な物体となって表示されてしまう。また、上記のパノラマ画像は車両の近傍の画像を表現できないので、距離感が掴み難い画像になってしまう。特に低速で車両を移動させる場合には、この近傍の画像情報が重要な意味を持つことが多い。障害物を色分けすることは、障害物自体の瞬読性という意味で問題が発生する。

本発明は、上記問題点に着目してなされたもので、その目的とするところは、傷害物が存在しない近傍エリアは、３６０°全周囲俯瞰画像を表示し車両近傍の死角を無くすことと、障害物がある車両から遠方のエリアは通常カメラ映像に戻すことで操作者（運転者）に対象障害物の形状を瞬時に把握することの両方を可能にすることができる車載周囲死角表示システムを提供することにある。

上記目的を達成するため、本発明では、車両に複数設けられた車載カメラにより車両周囲を撮像し、ドライバから死角となる領域を含む車両周囲の画像を表示する車載周囲死角表示システムにおいて、車両周囲の障害物を検出する障害物検出手段と、前記車載カメラで撮像した車両周囲画像から車両の上方に視点が位置する俯瞰画像を生成する俯瞰画像生成手段と、障害物が検出された方向の前記俯瞰画像部分を、前記俯瞰画像生成手段で生成した俯瞰画像による車両近傍側画像と、前記車載カメラで撮像した画像による車両遠方側画像で構成する障害物方向画像生成手段と、を備えることを特徴とする。

よって、本発明にあっては、傷害物が存在しない近傍エリアは、３６０°全周囲俯瞰画像を表示し車両近傍の死角を無くすことと、障害物がある車両から遠方のエリアは通常カメラ映像に戻すことで操作者（運転者）に対象障害物の形状を瞬時に把握することの両方を可能にすることができる。

以下、本発明の車載周囲死角表示システムを実現する実施の形態を、請求項１，２に係る発明に対応する実施例１に基づいて説明する。

まず、構成を説明する。
図１は実施例１の車載周囲死角表示システムのブロック図である。図２は実施例１の車載周囲死角表示システムのカメラ取り付け位置を示す説明図である。
実施例１の車載周囲死角表示システムは、画像処理部１、画像デコーダ部２ａ〜２ｄ、VRAM３ａ〜３ｄ、前方接近センサ情報入力部４ａ、後方接近センサ情報入力部４ｂ、右方接近センサ情報入力部４ｃ、左方接近センサ情報入力部４ｄ、信号処理部５ａ〜５ｄ、VRAM６、エンコーダ部７、表示装置８、前方カメラ９ａ、後方カメラ９ｂ、右方カメラ９ｃ、左方カメラ９ｄを主要な構成としている。

画像処理部１は、歪曲収差機能部１１、カメラ視点変換機能部１２を備え、撮像した画像を入力した情報に応じて、画像処理を行い、表示のための画像データの出力を行う。
歪曲収差機能部１１は、カメラ画像の樽型歪みを補正する。
カメラ視点変換機能部１２は、アフィン変換によりカメラ視点を変更する。
画像デコーダ部２ａ〜２ｄは、それぞれのカメラで撮像した画像を予め設定された形式等の画像データにする。
VRAM３ａ〜３ｄは、画像メモリであり、画像デコーダ部２ａ〜２ｄからのそれぞれのカメラの画像データを一時的に記憶し、画像処理部１の必要に応じて出力を行う。

前方接近センサ情報入力部４ａ、後方接近センサ情報入力部４ｂ、右方接近センサ情報入力部４ｃ、左方接近センサ情報入力部４ｄは、それぞれ、車両の前後左右に設けられた接近センサの検出情報を入力する。
信号処理部５ａ〜５ｄは、各接近センサからの信号をそれぞれ画像処理部１で用いられる信号に処理する。

VRAM６は、表示用の画像メモリであり、第１RAM６１、第２RAM６２を備え、表示のための画像データを一時的に記憶する。
エンコーダ部７は、VRAM６に一時的に記憶された画像データを表示装置８で用いられるデータに変換して出力する。
表示装置８は、例としてLCDであり、VRAM６の画像データを使用者に見せるための表示を行う。

前方カメラ９ａ、後方カメラ９ｂ、右方カメラ９ｃ、左方カメラ９ｄは、車両の外側に取り付けられ、車両近傍を撮像する。
また、前方カメラ９ａ、後方カメラ９ｂ、右方カメラ９ｃ、左方カメラ９ｄは下方４５°を向けるようにする。
図２は実施例１の車載周囲死角表示システムにおける車両へのカメラ取り付け位置の説明上面図及び説明側面図である。
図２に示すように、前方カメラ９ａは車両のフロントエンド部に取り付けられ、車両の前端近傍を撮像する。
後方カメラ９ｂは、車両のリヤエンド部に取り付けられ、車両の後端近傍を撮像する。
右方カメラ９ｃ、左方カメラ９ｄは、車両の前席のウィンドウと後席のウィンドウの間のルーフ部分やピラー部分の上部の左右それぞれに設けるようにする。

[死角をなくすことと障害物に瞬時の把握の両立作用]
(a)障害物がない場合
例えば、実施例１の車載周囲死角表示システムを搭載した車両が、低速かつ後退している場合には、画像処理部１は、周囲に障害物がないことを前方接近センサ情報入力部４ａ、後方接近センサ情報入力部４ｂ、右方接近センサ情報入力部４ｃ、左方接近センサ情報入力部４ｄからの情報の知ることになる。

この場合には、前方カメラ９ａ、後方カメラ９ｂ、右方カメラ９ｃ、左方カメラ９ｄで撮像した画像を画像処理部１の歪曲収差機能部１１でカメラ画像の樽型歪みを補正し、カメラ視点変換機能部１２でアフィン変換によりカメラ視点を変換して、車両の３６０°全周俯瞰画像を作成する。

そして、この全周俯瞰画像を画像処理部１はVRAM６に記憶させ、表示装置８は、このVRAM６の画像データを表示する。
図３は、実施例１の車載周囲死角表示システムにおける周囲に障害物がない場合の画像表示例である。
図３における全周俯瞰画像は、前方画像１０１ａ、後方画像１０１ｂ、右方画像１０１ｃ、左方が像１０１ｄにより構成される。
図３では、全周俯瞰画像を表示している。この画像では、死角がなく、車両とその周囲を上から見た俯瞰画像であるので、車庫入れや、駐車などの場合に、車両と目標位置の関係などが見やすくなり、運転が容易になる。

(b)障害物がある場合
図４は実施例１の車載周囲死角表示システムの表示の説明図である。
実施例１の車載周囲死角表示システムを搭載した車両が、低速かつ後退し、後方に障害物が存在する場合には、画像処理部１は、後方接近センサ情報入力部４ｂにより、後方の障害物を検知することになる。
この場合に、前方カメラ９ａ、後方カメラ９ｂ、右方カメラ９ｃ、左方カメラ９ｄで撮像した画像を画像処理部１の歪曲収差機能部１１でカメラ画像の樽型歪みを補正し、カメラ視点変換機能部１２でアフィン変換によりカメラ視点を変換して作成した、車両の３６０°全周俯瞰画像は、前方画像１０２ａ、後方画像１０２ｂ、右方画像１０２ｃ、左方が像１０２ｄにより構成される図４(a)のようになる。

図４(a)の全周俯瞰画像では、その画像変換の性質から、障害物である車両後方の車両が変形してしまっている。このように障害物の画像が変形してしまっていると、使用者（運転者）の瞬読性が低下することになる。
言い換えて説明すると、対象の障害物の形状を瞬時に把握できないことになる。

そこで、実施例１では、図４(c)に示すように、障害物のある側の画像について、俯瞰画像を車両の近傍のみとする画像１０２ｆとし、ある位置からは、図４(b)に示す後方カメラ９ｂで撮像した実際の後方画像となるように画像１０２ｇを合成する。
すると、車両後方の障害物までの状態を俯瞰画像によりわかりやすく得ることができ、容易な運転を実現しつつ、途中の位置から遠方側では、カメラ画像となるため、障害物の形状を瞬時に把握できる、つまり瞬読性が向上する。

図５は、実施例１の車載周囲死角表示システムの表示の説明図である。
図５に示す例では、車両の右側に障害物が位置している。障害物は車両である。前方カメラ９ａ、後方カメラ９ｂ、右方カメラ９ｃ、左方カメラ９ｄで撮像した画像を画像処理部１の歪曲収差機能部１１でカメラ画像の樽型歪みを補正し、カメラ視点変換機能部１２でアフィン変換によりカメラ視点を変換して作成した、車両の３６０°全周俯瞰画像は、前方画像１０３ａ、後方画像１０３ｂ、右方画像１０３ｃ、左方画像１０３ｄにより構成される図５(a)のようになる。

この全周俯瞰画像では、画像１０３ｃの障害物の形状を瞬読することが困難である。これに実際の右方カメラ９ｃの画像１０３ｅ(図５(b)参照)の一部を合成した、図５(c)の合成画像では、俯瞰画像である画像１０３ｆとカメラ画像である画像１０３ｇにより右側画像が構成されることにより、俯瞰画像としての機能を有しつつ、障害物を瞬時に把握することができる。つまり瞬読性が向上する。

次に、効果を説明する。
実施例１の車載周囲死角表示システムにあっては、下記に列挙する効果を得ることができる。

(1)車両に複数設けられた前方カメラ９ａ、後方カメラ９ｂ、右方カメラ９ｃ、左方カメラ９ｄにより車両周囲を撮像し、ドライバから死角となる領域を含む車両周囲の画像を表示する車載周囲死角表示システムにおいて、車両周囲の障害物を検出する前方接近センサ情報入力部４ａ、後方接近センサ情報入力部４ｂ、右方接近センサ情報入力部４ｃ、左方接近センサ情報入力部４ｄと、前方カメラ９ａ、後方カメラ９ｂ、右方カメラ９ｃ、左方カメラ９ｄで撮像した車両周囲画像から車両の上方に視点が位置する俯瞰画像を生成し、障害物が検出された方向の俯瞰画像部分を、歪曲収差機能部１１及びカメラ視点変換機能部１２で生成した俯瞰画像による車両近傍側画像と、前方カメラ９ａ、後方カメラ９ｂ、右方カメラ９ｃ、左方カメラ９ｄで撮像した画像による車両遠方側画像で構成する歪曲収差機能部１１及びカメラ視点変換機能部１２を備えるため、傷害物が存在しない近傍エリアは、３６０°全周囲俯瞰画像を表示し車両近傍の死角を無くすことと、障害物がある車両から遠方のエリアは通常カメラ映像に戻すことで操作者（運転者）に対象障害物の形状を瞬時に把握することの両方を可能にすることができる。

(2)歪曲収差機能部１１及びカメラ視点変換機能部１２は、俯瞰画像による車両近傍側画像と撮像画像による車両遠方側画像との境界位置を、障害物の位置としたため、俯瞰画像による障害物までの距離を容易に判断でき、且つ障害物の形状を瞬時に把握できる。

以上、本発明の車載周囲死角表示システムを実施例１に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。

例えば、実施例１では、前方接近センサ情報入力部４ａ、後方接近センサ情報入力部４ｂ、右方接近センサ情報入力部４ｃ、左方接近センサ情報入力部４ｄを設けるようにしたが、例えばカメラで３６０°全周囲の画像を作成するなどである。

実施例１における前方カメラ９ａ、後方カメラ９ｂ、右方カメラ９ｃ、左方カメラ９ｄは、ＣＣＤ方式でも、ＣＭＯＳ方式でもよい。

実施例１の車載周囲死角表示システムのブロック図である。 実施例１の車載周囲死角表示システムのカメラ取り付け位置を示す説明図である。 実施例１の車載周囲死角表示システムにおける周囲に障害物がない場合の画像表示例である。 実施例１の車載周囲死角表示システムの表示の説明図である。 実施例１の車載周囲死角表示システムの表示の説明図である。

符号の説明

１ 画像処理部
１１ 歪曲収差機能部
１２ カメラ視点変換機能部
２ａ〜２ｄ 画像デコーダ部
３ａ〜３ｄ VRAM
４ａ 前方接近センサ情報入力部
４ｂ 後方接近センサ情報入力部
４ｃ 右方接近センサ情報入力部
４ｄ 左方接近センサ情報入力部
５ａ〜５ｄ 信号処理部
６ VRAM
６１ 第１RAM
６２ 第２RAM
７ エンコーダ部
８ 表示装置
９ａ 前方カメラ
９ｂ 後方カメラ
９ｃ 右方カメラ
９ｄ 左方カメラ
１０１ａ 前方画像
１０１ｂ 後方画像
１０１ｃ 右方画像
１０１ｄ 左方画像
１０２ａ 前方画像
１０２ｂ 後方画像
１０２ｃ 右方画像
１０２ｄ 左方画像
１０２ｅ カメラ画像
１０２ｆ 俯瞰画像部分
１０２ｇ カメラ画像部分
１０３ａ 前方画像
１０３ｂ 後方画像
１０３ｃ 右方画像
１０３ｄ 左方画像
１０３ｅ カメラ画像
１０３ｆ 俯瞰画像部分
１０３ｇ カメラ画像部分

Claims (2)

1. 車両に複数設けられた車載カメラにより車両周囲を撮像し、ドライバから死角となる領域を含む車両周囲の画像を表示する車載周囲死角表示システムにおいて、
   車両周囲の障害物を検出する障害物検出手段と、
   前記車載カメラで撮像した車両周囲画像から車両の上方に視点が位置する俯瞰画像を生成する俯瞰画像生成手段と、
   障害物が検出された方向の前記俯瞰画像部分を、前記俯瞰画像生成手段で生成した俯瞰画像による車両近傍側画像と、前記車載カメラで撮像した画像による車両遠方側画像で構成する障害物方向画像生成手段と、
   を備えることを特徴とする車載周囲死角表示システム。
2. 請求項１に記載の車載周囲死角表示システムにおいて、
   前記障害物方法画像生成手段は、
   俯瞰画像による車両近傍側画像と撮像画像による車両遠方側画像との境界位置を、障害物の位置としたことを特徴とする車載周囲死角表示システム。