JP2012191545A

JP2012191545A - 表示装置

Info

Publication number: JP2012191545A
Application number: JP2011055126A
Authority: JP
Inventors: Kenji Yoshioka; 健司吉岡
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2011-03-14
Filing date: 2011-03-14
Publication date: 2012-10-04

Abstract

【課題】高さ方向に立体物が表示されない領域をドライバに提示してドライバに注意喚起を促す表示装置を提供することを目的とする。
【解決手段】車両周囲を撮像する複数の撮像手段１と、撮像手段１から取得した撮像映像に基づいて俯瞰映像を作成し、この俯瞰映像に死角エリアを重畳する映像処理ユニット２と、この映像処理ユニット２によって死角エリアが重畳された重畳映像を表示する表示手段３とを備え、映像処理ユニット２は、路面からの高さに応じて異なる死角エリアを俯瞰映像に重畳することを特徴とする。
【選択図】図１

Description

本発明は複数のカメラ映像を合成した俯瞰映像の死角エリアを表示する表示装置に関する。

従来、複数の車載カメラの撮像映像を合成して俯瞰映像を作成する全周囲撮像システムが知られている（例えば特許文献１を参照）。この俯瞰映像では、路面投影された車両などの立体物が倒れこんだ平面形状で映っている。

特開２００５−１２４６５号公報

しかし、俯瞰映像では一定以上の高さの立体物を表示することができないという問題があった。

図６は、従来の路面投影による俯瞰映像をイメージで説明する図である。図６に示すように、路上の立体物１００は、車両に搭載された撮像手段１０１ａ、１０１ｂによって撮像される。撮像手段１０１ａ、１０１ｂは、それぞれ撮像範囲１０２ａ、１０２ｂの領域を撮像する。また、点線１０３によって、撮像手段１０１ａ、１０１ｂの撮像映像のうち合成映像の作成に用いられる部分が定められている。すなわち、撮像範囲１０２ａの路面投影部分のうち、点線１０３より撮像手段１０１ａ側の部分と、撮像範囲１０２ｂの路面投影部分のうち、点線１０３より撮像手段１０１ｂ側の部分とが合成して俯瞰映像１０５が作成される。実空間上の立体物１００は、俯瞰映像１０５上では、投影面１０６で示される。

次に、この投影面１０６について詳細に説明する。図７は、立体物の路面投影についてイメージで説明する図である。図７に示すように、撮像手段１０１ａは、撮像範囲１０２ａで立体物１００を撮像している。立体物１００のうち所定以上の高さの部分は、撮像範囲１０２ａの領域外に突出しており、俯瞰映像１０５に映らない。立体物１００のうち、撮像範囲１０２ａ内に含まれる撮像面１１０が撮像手段１０１ａによって撮像される。この撮像面１１０は、路面投影によって投影面１１１に変換される。ここで、俯瞰映像が作成される際に、撮像手段１０１ａによって路面投影された映像からは、点線１０３よりも撮像手段１０１ａ側の部分が抽出される。したがって、投影面１１１のうち、点線１０３よりも撮像手段１０１ａ側の幅Ｗの部分しか俯瞰映像１０５上では反映されない。同様に、撮像手段１０１ｂによって路面投影された映像からは、点線１０３よりも撮像手段１０１ｂ側の部分が抽出されて俯瞰映像の作成に用いられる。このとき、投影面１１１のうち撮像手段１０１ｂ側の部分は俯瞰映像に反映されないため、ドライバは一定以上の高さの立体物に気づかずに立体物に車両を衝突してしまうという問題があった。

本発明は、高さ方向に立体物が表示されない領域をドライバに提示してドライバに注意喚起を促す表示装置を提供することを目的とする。

上記目的を達成するため、本発明の表示装置は、映像処理ユニットが路面からの高さに
応じて異なる死角エリアを俯瞰映像に重畳することを特徴とする。

本発明によれば、高さ方向に立体物が表示されない領域をドライバに提示してドライバに注意喚起を促すことができるという効果を奏する。

本発明の実施形態における表示装置の構成を示すブロック図同図１の要部であるＣＰＵが信号処理部に行う処理を説明するフローチャート図同図１の要部である信号処理部によるグラフィック重畳処理を説明するフローチャート図（Ａ）路面からの高さがｈ１に設定されたときに信号処理部が死角エリアを重畳する範囲をイメージで説明する図（Ｂ）路面からの高さがｈ２に設定されたときに信号処理部が死角エリアを重畳する範囲をイメージで説明する図（Ｃ）路面からの高さがｈ３に設定されたときに信号処理部が死角エリアを重畳する範囲をイメージで説明する図（Ａ）路面からの高さがｈ１に設定されたときに表示手段に表示された映像をイメージで説明する図（Ｂ）路面からの高さがｈ２に設定されたときに表示手段に表示された映像をイメージで説明する図（Ｃ）路面からの高さがｈ３に設定されたときに表示手段に表示された映像をイメージで説明する図従来の路面投影による俯瞰映像をイメージで説明する図立体物の路面投影についてイメージで説明する図

以下、本発明の実施形態における表示装置について図面を参照しながら説明する。

図１は本発明の実施形態における表示装置の構成を示すブロック図である。

図１に示すように、表示装置は、車体に取り付けられて自車両周囲を撮像する撮像手段１と、この撮像手段１から入力した撮像映像を映像処理する映像処理ユニット２と、映像処理ユニット２から入力された表示映像を表示する表示手段３と、ユーザが情報を入力する入力手段４とを備える。

撮像手段１は複数のカメラで構成され、自車両周囲を撮像する。例えば、車体には前方、後方、左右の側方にそれぞれ１つずつカメラが設けられて自車両の全周囲を撮像する。撮像手段１は、撮像映像を電気信号に変換して映像処理ユニット２に入力する。

映像処理ユニット２は、ＥＣＵ（ＥｌｅｃｔｒｉｃＣｏｎｔｒｏｌＵｎｉｔ）で構成され、車室内に設けられる。映像処理ユニット２は、撮像手段１から入力された撮像映像のレンズ歪みを補正する。映像処理ユニット２は、この補正した映像に視点変換を施した俯瞰映像を生成する。また、映像処理ユニット２は、この俯瞰映像にガイドラインや自車両などのグラフィックを重畳する。なお、グラフィックが重畳された部分の撮像映像を視認可能にするため、映像処理ユニット２は、各グラフィックにαブレンディングを施したうえで撮像映像に重畳することが望ましい。

表示手段３は、ユーザに視認可能な車内に設けられる。例えば、表示手段３は、インスツルメントパネル内の設けられたナビゲーション装置のディスプレイと兼用される。表示手段３は映像処理ユニット２から入力された映像信号を表示する。例えば、表示手段３は、撮像映像や、この撮像映像に重畳された各種グラフィックを表示する。

入力手段４は、例えばスイッチやボタン、タッチパネル、ジョグダイヤルの少なくとも一つで構成される。ユーザは、入力手段４を操作して、路面からの高さ情報を入力する。入力手段４に入力された路面からの高さ情報は映像処理ユニット２に出力される。

映像処理ユニット２は、ＡＤコンバータ２１と、信号処理部２２と、ビデオメモリ２３と、不揮発性メモリ２４と、ＣＰＵ２５と、ＤＡコンバータ２６とを有する。

ＡＤコンバータ２１は、複数のＡＤコンバータで構成され、撮像手段１を構成する各カメラにそれぞれ接続される。ＡＤコンバータ２１は、撮像手段１の各カメラからそれぞれ撮像映像を取得してアナログデジタル変換を行い、この変換した撮像映像を信号処理部２２に出力する。

信号処理部２２は、ＡＤコンバータ２１から入力された撮像映像にレンズ歪み補正処理を行う。そして、信号処理部２２は、この補正した映像に視点変換処理、グラフィックの重畳処理を行う。例えば、信号処理部２２は、自車両上方から路面投影モデルを用いた俯瞰映像に視点変換する。

ビデオメモリ２３は、信号処理部２２に入力された撮像映像を一時記憶する。不揮発性メモリ２４は、レンズ歪み補正処理に必要な補正データテーブル、視点変換処理に必要なマッピングテーブル等のデータテーブルや、自車両のグラフィックデータ、高さ情報に対応した境界線のグラフィックデータを格納する。

ＣＰＵ２５は、映像処理ユニット２全体の制御を行う。例えば、ＣＰＵ２５は、入力手段４から入力された高さ情報に基づいて、路面からの高さに応じた自車両の死角エリアを算出する。ＣＰＵ２５は、算出した所定の高さにおける自車両の死角エリアと、入力手段４から入力された高さ情報に基づいて、入力された高さにおける死角エリアのグラフィックの重畳処理を信号処理部２２に命令する。

次に、ＣＰＵ２５が信号処理部２２に行う処理を説明する。図２は、ＣＰＵ２５が信号処理部２２に行う処理を説明するフローチャート図である。

ステップＳ１に示すように、まずＣＰＵ２５は、入力手段４から高さ情報を取得する。次に、ステップＳ２に示すように、ＣＰＵ２５は、この高さ情報に基づいて、ＣＰＵ２５は、路面からの高さに応じた死角エリアのグラフィックのアドレスを決定する。次に、ステップＳ３に示すように、ＣＰＵ２５は、ステップＳ２で取得した高さ情報に応じて、不揮発性メモリ２４から読み出す情報のアドレスを決定する。例えば、ＣＰＵ２５は、ステップＳ１で取得した高さ情報が所定の閾値未満であるとき、不揮発性メモリ２４から読み出す情報のアドレスのうち、死角エリアのグラフィックのアドレスは除かれる。この場合、ＣＰＵ２５は、所定時間後に再度ステップＳ１からの処理を繰り返す。そして、ＣＰＵ２５は、信号処理部２２に対してステップＳ２で決定したアドレス情報を出力する。

次に、信号処理部２２によるグラフィック重畳処理を説明する。図３は、信号処理部が死角グラフィックを重畳する範囲をイメージで説明する図である。

まず、ステップＳ１１に示すように、信号処理部２２は、ＡＤコンバータ２１から入力された撮像画像をビデオメモリ２３に一時的に格納する。

ステップＳ１２に示すように、信号処理部２２は、ビデオメモリ２３からステップＳ１１で一時的に格納された撮像画像を取り出す。信号処理部２２は、不揮発性メモリ２４に記憶されている補正データテーブルに基づきこの撮像画像に歪み補正処理を行う。そして
、信号処理部２２は、この歪み補正処理を行った処理画像から表示手段３に出力するための表示映像を作成する。

次に、ステップＳ１３に示すように、信号処理部２２は、不揮発性メモリ２４から読み出したガイドライン等のグラフィックをステップＳ１２の表示映像に重畳する。

次に、ステップＳ１４に示すように、信号処理部２２は、ステップＳ３でＣＰＵ２５から入力されたアドレス情報に基づいて、不揮発性メモリ２４から死角エリアのグラフィックデータを読み出してステップＳ１２の表示映像に重畳する。

次に、ステップＳ１５に示すように、信号処理部２２は、表示映像にステップＳ１３とステップＳ１４において重畳した重畳映像をＤＡコンバータ２６に出力する。表示手段３は、ＤＡコンバータ２６から入力されたこの重畳映像を表示する。

次に、ステップＳ１４で重畳される死角エリアのグラフィックについて説明する。

図４（Ａ）は路面からの高さがｈ１に設定されたときに信号処理部２２が死角エリアを重畳する範囲をイメージで説明する図である。図４（Ｂ）は路面からの高さがｈ２に設定されたときに信号処理部２２が死角エリアを重畳する範囲をイメージで説明する図である。図４（Ｃ）は路面からの高さがｈ３に設定されたときに信号処理部２２が死角エリアを重畳する範囲をイメージで説明する図である。

図４（Ａ）〜（Ｃ）では、自車両前方と右側方にそれぞれ設けた撮像手段１ａ、１ｂにおいて、路面からの高さに応じた死角エリアが示される。この高さは、入力手段４によって設定される。また、図４（Ａ）〜（Ｃ）では、撮像手段１ａ、１ｂのそれぞれ撮像範囲４１ａ、４１ｂ内において、境界４２近辺にある高さの立体物があった場合に、立体物に消失部分が生じる領域が示されている。図４（Ａ）では、立体物の高さｈ１以上の部分について消失が生じる死角エリア４３が示されている。この死角エリア４３内に立体物があるとき、立体物の高さｈ１以上の部分には消失部分が生じている。同様に、図４（Ｂ）、（Ｃ）では、立体物の高さｈ２、ｈ３以上の部分について消失が生じる死角エリア４４、４５がそれぞれ示されている。この死角エリア４４、４５内にそれぞれ立体物があるとき、立体物の高さｈ２、ｈ３以上の部分にはそれぞれ消失部分が生じている。

図４（Ａ）〜（Ｃ）に示される３つの高さｈ１〜ｈ３にそれぞれ対応する死角エリア４３〜４５が、信号処理部２２によってステップＳ１２の表示映像に重畳される。なお、本実施形態では任意の３つの高さｈ１〜ｈ３に対する死角エリア４３〜４５が示されたが、入力手段４の入力によって連続的に変化する高さに応じて、死角エリアが連続的に変化して重畳されてもよい。また、入力手段４の入力によって段階的に変化する高さに応じて死角エリアが段階的に変化して重畳されもよい。また、入力手段４の入力によらず、予め定められた高さについて、予め定められた死角エリアが重畳されてもよい。

次に、図４で示される死角エリア４３〜４５重畳された重畳映像が表示手段３でどのように表示されるか説明する。図５（Ａ）は、路面からの高さがｈ１に設定されたときに表示手段に表示された映像をイメージで説明する図である。図５（Ｂ）は、路面からの高さがｈ２に設定されたときに表示手段に表示された映像をイメージで説明する図である。図５（Ｃ）は、路面からの高さがｈ３に設定されたときに表示手段に表示された映像をイメージで説明する図である。

図５（Ａ）〜（Ｃ）の画面には、それぞれ自車両５０のグラフィックとガイドライン５１のグラフィックが重畳された俯瞰映像が示されている。図４の境界４２は、図５（Ａ）
〜（Ｃ）の境界５２ａに対応する。この関係は、他の境界５２ｂ〜５２ｄについても同様である。

路面からの高さがｈ１に設定されたとき、図５（Ａ）に示すように、俯瞰映像の四隅の境界５２ａ〜５２ｄには、死角エリア５３ａ〜５３ｄがそれぞれ表示される。

路面からの高さがｈ２に設定されたとき、図５（Ｂ）に示すように、俯瞰映像の四隅の境界５２ａ〜５２ｄには、死角エリア５４ａ〜５４ｄがそれぞれ表示される。そして、この死角エリア５４ａ〜５４ｄ上に死角エリア５３ａ〜５３ｄがそれぞれ重畳されて表示される。

路面からの高さがｈ３に設定されたとき、図５（Ｃ）に示すように、俯瞰映像の四隅の境界５２ａ〜５２ｄには、死角エリア５５ａ〜５５ｄがそれぞれ表示される。そして、この死角エリア５５ａ〜５５ｄ上に死角エリア５４ａ〜５４ｄがそれぞれ重畳されて表示される。さらに死角エリア５４ａ〜５４ｄ上に死角エリア５３ａ〜５３ｄがそれぞれ重畳されて表示される。

このように表示手段３に路面からの高さに応じて異なる死角エリア５３〜５５を表示することで、どの高さ以上の立体物が消失するかをドライバに確認させることができる。これによって、俯瞰映像において自車両と高さを有する障害物との接触の危険性をドライバに注意喚起することができる。ドライバは、表示手段３の表示映像に頼らずに後方を確認することを意識付けられるので、自車両と障害物との接触を防止することができる。

以上のように、本発明によれば、路面からの高さに応じた障害物の存在をユーザに直感的に示して自車両と障害物との接触を防止することができる。

なお、本実施形態では入力手段４によって路面からの高さを設定したが、予め高さとこれに対応付けられた死角エリアの情報が不揮発性メモリ２４に複数記憶されてもよい。例えば、信号処理部２２は、不揮発性メモリ２４から死角エリアの情報を読み出して、所定時間毎に図５（Ａ）〜（Ｃ）のように死角エリアの重畳状態を変化させて表示手段３に表示してもよい。

本発明は、路面投影モデルを用いた俯瞰映像において車両などの立体物が倒れこんだ平面形状で表示されても、この立体物と自車両との衝突を防止する点で有用である。

１撮像手段
２映像処理ユニット
３表示手段
４入力手段

Claims

自車両周囲を撮像する複数の撮像手段と、
前記撮像手段から取得した撮像映像に基づいて俯瞰映像を作成し、この俯瞰映像に死角エリアを重畳する映像処理ユニットと、
この映像処理ユニットによって死角エリアが重畳された重畳映像を表示する表示手段とを備え、
前記映像処理ユニットは、路面からの高さに応じて異なる死角エリアを前記俯瞰映像に重畳することを特徴とする表示装置。
路面からの高さを入力する入力手段をさらに備え、
前記映像処理ユニットは、前記入力手段によって入力された路面からの高さに応じた死角エリアを前記俯瞰映像に重畳することを特徴とする請求項１に記載の表示装置。