JP2008011187A

JP2008011187A - 表示制御装置

Info

Publication number: JP2008011187A
Application number: JP2006179673A
Authority: JP
Inventors: Atsushi Nojiri; 篤史野尻; Kenji Yoshioka; 健司吉岡; Shinya Ogawa; 真也小川; Tatsuto Nagarego; 達人流郷
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2006-06-29
Filing date: 2006-06-29
Publication date: 2008-01-17

Abstract

【課題】利用者に操作負担をかけずに、障害物と車両との間の距離が認識しやすい映像を表示装置に表示させることができる表示制御装置を提供する。
【解決手段】車両外部を撮影するカメラ２によって撮影された撮影映像を、仮想視点３６から仮想視線３８でカメラ２の撮影範囲を見た俯瞰映像に映像変換する映像変換手段を備えた表示制御装置において、映像変換手段は、車両のカメラ２が設けられた端面に接する第１平面３０に平行に障害物３１の車両側に接する第２平面３２と、車両に対して水平な仮想路面３３との交線３４に対して仮想視点３６から引いた垂線３５の長さが一定になるよう、撮影装置の視点を車両の高さ方向３７に移動させた位置に仮想視点３６の位置を定めると共に、仮想視線３８が垂線３５に一致するよう、仮想視線３８の俯角３９を定める。
【選択図】図５

Description

本発明は、車両外部を撮影する撮影装置によって撮影された撮影映像を映像変換して表示装置に表示させる表示制御装置に関するものである。

従来の表示制御装置としては、車両に搭載したカメラからの車両周囲に関する撮影画像をカメラによる視点とは異なる複数の仮想視点から見た仮想画像となるように座標変換し、画像切替手段によって複数の仮想視点のうちの任意の仮想視点を選択してその仮想視点から見た画像を表示することによって、状況に応じて変化する利用者の好みに対して最適な視点変換画像を与えるものがある（例えば、特許文献１参照）。
特開２００４−３２４６４号公報

しかしながら、上述した従来の表示制御装置は、障害物と車両との間の距離が認識しやすい最適な仮想視点を利用者に選択させる必要があるため、利用者に操作負担がかかるといった問題があった。

本発明は、従来の問題を解決するためになされたもので、利用者に操作負担をかけずに、障害物と車両との間の距離が認識しやすい映像を表示装置に表示させることができる表示制御装置を提供することを目的とする。

本発明の表示制御装置は、車両外部を撮影する撮影装置によって撮影された撮影映像を、仮想視点から仮想視線で見た俯瞰映像に映像変換する映像変換手段を備え、前記俯瞰映像を表示装置に表示させる表示制御装置において、前記映像変換手段は、障害物センサによって検出された障害物までの距離に応じて、前記仮想視点および前記仮想視線を定めるように構成されている。

この構成により、本発明の表示制御装置は、障害物と車両との間の距離に応じて、仮想視点および仮想視線を定めるため、利用者に操作負担をかけずに、障害物と車両との間の距離が認識しやすい映像を表示装置に表示させることができる。

なお、前記映像変換手段は、前記車両の前記撮影装置が設けられた端面に接する第１平面に平行に前記障害物の前記車両側に接する第２平面と、前記車両に対して水平な仮想路面との交線に対して前記仮想視点から引いた垂線の長さが一定になるよう、前記撮影装置の視点を前記車両の高さ方向に移動させた位置に前記仮想視点の位置を定めると共に、前記仮想視線が前記垂線に一致するよう、前記仮想視線の俯角を定めるようにしてもよい。

また、前記映像変換手段は、前記車両の前記撮影装置が設けられた端面に接する第１平面に平行に前記障害物の前記車両側に接する第２平面と、前記車両に対して水平な仮想路面との交線に対して前記仮想視点から引いた垂線の長さが、前記第１平面と前記第２平面との間の距離に応じた長さになるよう、前記撮影装置の視点を前記車両の高さ方向に移動させた位置に前記仮想視点の位置を定めると共に、前記仮想視線が前記垂線に一致するよう、前記仮想視線の俯角を定めるようにしてもよい。

また、前記映像変換手段は、前記車両の前記撮影装置が設けられた端面に接する第１平面に平行に前記障害物の前記車両側に接する第２平面から予め定められた調整距離だけ平行に前記車両側に離隔した第３平面と、前記車両に対して水平な仮想路面との交線に対して前記仮想視点から引いた垂線の長さが一定になるよう、前記撮影装置の視点を前記車両の高さ方向に移動させた位置に前記仮想視点の位置を定めると共に、前記仮想視線が前記垂線に一致するよう、前記仮想視線の俯角を定めるようにしてもよい。

また、前記映像変換手段は、前記車両の前記撮影装置が設けられた端面に接する第１平面に平行に前記障害物の前記車両側に接する第２平面から予め定められた調整距離だけ平行に前記車両側に離隔した第３平面と、前記車両に対して水平な仮想路面との交線に対して前記仮想視点から引いた垂線の長さが、前記第１平面と前記第２平面との間の距離に応じた長さになるよう、前記撮影装置の視点を前記車両の高さ方向に移動させた位置に前記仮想視点の位置を定めると共に、前記仮想視線が前記垂線に一致するよう、前記仮想視線の俯角を定めるようにしてもよい。

また、前記映像変換手段は、前記第１平面と前記第２平面との間の距離が前記調整距離未満の場合には、前記第１平面と前記第２平面との間の距離が前記調整距離に等しいときと同一に、前記仮想視点の位置および前記仮想視線の俯角を定めるようにしてもよい。

また、前記映像変換手段は、前記車両の前記撮影装置が設けられた端面に接する第１平面に平行に前記障害物の前記車両側に接する第２平面と前記第１平面との間の距離が予め定められた基準距離より長い場合には、前記撮影装置によって撮影された撮影映像を表示装置に表示させるようにしてもよい。

また、前記映像変換手段は、前記障害物センサによって検出された前記障害物までの距離に基づいて前記障害物に突出部を検出した場合には、前記車両に対して水平な仮想路面に前記突出部を投影した擬似映像を、前記俯瞰映像に重畳するようにしてもよい。

この構成により、本発明の表示制御装置は、車両と障害物との間の距離が短くなった場合でも、俯瞰映像に突出部の存在を示すことができる。

なお、上述した表示制御装置は、集積回路によって構成してもよい。

本発明は、利用者に操作負担をかけずに、障害物と車両との間の距離が認識しやすい映像を表示装置に表示させることができるといった効果を有する表示制御装置を提供することができる。

以下、本発明の実施の形態について、図面を参照して説明する。なお、本実施の形態においては、本発明における表示制御装置をカメラ映像制御ユニットによって構成し、本発明における映像変換手段を画像処理プロセッサとＣＰＵ（Central Processing Unit）とによって構成した例について説明する。

本発明の一実施の形態のカメラ映像制御ユニットを図１に示す。

図１に示すように、カメラ映像制御ユニット１には、車両後方を撮影する撮影装置としてのカメラ２と、カメラ映像制御ユニット１によって処理された映像信号が表す映像を表示する表示装置３とが接続されている。

図２に示すように、カメラ２は、車両の後方を撮影するように車両に取り付けられ、撮影した撮影映像を表す映像信号を生成するようになっている。

図１において、カメラ映像制御ユニット１は、カメラ２によって生成された映像信号を画像処理する画像処理プロセッサ１０と、画像処理プロセッサ１０が画像処理を行うために映像信号を表す映像データを一時的に格納するためのグラフィックメモリ１１と、車両のサイズ、車両に対するカメラ２の取り付け位置、カメラ２の画角、および、入力映像のキャリブレーション値等を表す情報が格納されているＲＯＭ（Read Only Memory）１２と、車載ネットワークを介した通信を行うためのＬＡＮ（Local Area Network）コントローラ１３と、ＣＰＵ１４とを備えている。

ＬＡＮコントローラ１３には、車両の操舵角を検出する操舵角センサ２０、車速を検出する車速センサ２１、障害物までの距離を検出する障害物センサ２２、および、車両の状態を管理する図示しない統合ユニット等が接続されている。

障害物センサ２２は、複数の超音波センサもしくは電磁波センサ、複数のカメラからなるステレオカメラ、または、カメラ２によって構成されている。なお、障害物センサ２２をカメラ２によって構成する場合には、障害物センサ２２は、撮影映像のフレーム間の差分に基づいて障害物までの距離を検出する。

画像処理プロセッサ１０は、カメラ２によって生成された映像信号を表す映像データをグラフィックメモリ１１に格納し、グラフィックメモリ１１に格納した映像データを、仮想視点から仮想視線でカメラ２の撮影範囲を見た俯瞰映像を表すように変換するようになっている。仮想視点および仮想視線は、後述するように、ＣＰＵ１４によって定められる。

グラフィックメモリ１１に格納された映像データは、図３（ａ）に示すような画像イメージで格納されており、画像処理プロセッサ１０は、例えば、縦１６×横１６の画素を１つのブロックとして処理するようになっている。

具体的には、画像処理プロセッサ１０は、図３（ｂ）に示すように、ＲＯＭ１２に格納された情報が表すカメラ２の取り付け位置に基づいて算出されるカメラ２の視点および視線と、ＣＰＵ１４によって定められた仮想視点および仮想視線とに基づいて各ブロックの４つの頂点を座標変換し、座標変換前のブロックの画像を座標変換後のブロックに変形テクスチャマッピングすることによって、グラフィックメモリ１１に格納した映像データを、俯瞰映像として表すように変換するようになっている。

図１において、画像処理プロセッサ１０は、俯瞰映像を表すように変換した映像データをグラフィックメモリ１１の元の映像データとは別の領域に格納し、格納した映像データを表す映像信号を表示装置３に出力することによって、表示装置３に俯瞰映像を表示させるようになっている。

なお、画像処理プロセッサ１０は、各ブロックの４つの頂点の座標変換を演算によって求めるのに代えて、グラフィックメモリ１１等にあらかじめ格納され、各ブロックの頂点を座標変換するためのルックアップテーブルに基づいて、各ブロックの頂点を座標変換するようにしてもよい。

また、画像処理プロセッサ１０は、グラフィックメモリ１１等にあらかじめ格納され、各画素を座標変換するためのルックアップテーブルに基づいて、各画素を座標変換するようにしてもよい。

ＣＰＵ１４は、ＲＯＭ１２等の不揮発性の記憶媒体に格納されたプログラムを実行することによって、ＬＡＮコントローラ１３に接続された各センサや統合ユニット等との通信、および、各センサから受信した情報に基づいた演算処理等を行うようになっている。

以上のように構成されたカメラ映像制御ユニット１について図４乃至図８を用いてその動作を説明する。図４は、カメラ映像制御ユニット１の動作説明のためのフロー図である。

まず、カメラ２によって、車両後方が撮影され（Ｓ１）、カメラ２によって生成された映像信号を表す映像データが画像処理プロセッサ１０によってグラフィックメモリ１１に格納される。

また、障害物センサ２２によって検出された障害物までの距離と、操舵角センサ２０によって検出された操舵角と、車速センサ２１によって検出された車速とをそれぞれ表す情報がＣＰＵ１４によってＬＡＮコントローラ１３を介して取得される（Ｓ２）。

ここで、ＣＰＵ１４は、操舵角センサ２０によって検出された操舵角と、ＲＯＭ１２に格納された情報が表す車両のサイズとに基づいて、車両の操舵を固定した状態で車両を後進させた場合に、車両が走行する予想走行領域を導き出す（Ｓ３）。

次に、ＣＰＵ１４は、障害物センサ２２によって検出された障害物までの距離に基づいて、予想走行領域上に障害物が存在するか否かを判断する（Ｓ４）。

ここで、予想走行領域上に障害物が存在すると判断した場合には、ＣＰＵ１４は、車両と障害物との間の距離を算出する（Ｓ５）。

例えば、図５（ａ）および（ｂ）に示すように、ＣＰＵ１４は、ＲＯＭ１２に格納された情報が表すカメラ２の取り付け位置に基づいて、車両のカメラ２が設けられた端面に接する第１平面３０を導き出す。

さらに、ＣＰＵ１４は、障害物センサ２２によって検出された障害物までの距離に基づいて、第１平面３０に平行に障害物３１の車両側に接する第２平面３２を導き出し、第１平面３０と第２平面３２との間の距離Ｄを算出する。

図４において、ＣＰＵ１４は、車両と障害物との間の距離が予め定められた基準距離以下であるか否かを判断する（Ｓ６）。なお、本実施の形態においては、基準距離を３ｍとする。

ここで、車両と障害物との間の距離が基準距離以下であると判断した場合には、ＣＰＵ１４は、仮想視点および仮想視線を定める（Ｓ７）。

例えば、図５に示すように、ＣＰＵ１４は、第２平面３２と、車両に対して水平な仮想路面３３との交線３４を導き出し、交線３４に対して仮想視点３６から引いた垂線３５を導き出す。

さらに、ＣＰＵ１４は、垂線３５の長さＬが一定になるよう、カメラ２の視点を車両の高さ方向３７に移動させた位置に仮想視点３６の位置を定める。なお、図５において、垂線３５の長さＬは基準距離と同じになる。

さらに、ＣＰＵ１４は、仮想視線３８が垂線３５に一致するよう、仮想視線３８の俯角３９を定める。

なお、ＣＰＵ１４は、垂線３５の長さＬが一定になるように仮想視点３６の位置と仮想視線３８の俯角３９とを定めるのに代えて、垂線３５の長さＬが、第１平面３０と第２平面３２との間の距離Ｄに応じた長さになるように仮想視点３６の位置と仮想視線３８の俯角３９とを定めてもよい。例えば、ＣＰＵ１４は、垂線３５の長さＬが距離Ｄに一定の比例係数を以って正比例するように仮想視点３６の位置と仮想視線３８の俯角３９とを定めるようにしてもよい。

また、図６（ａ）および（ｂ）に示すように、ＣＰＵ１４は、第２平面３２と仮想路面３３との交線３４を導き出すのに代えて、第２平面３２から予め定められた調整距離ｄだけ平行に車両側に離隔した第３平面４０を導き出し、第３平面４０と仮想路面３３との交線３４を導き出してもよい。図６において、距離ｄを０．８ｍとした場合に、垂線３５の長さＬは、基準距離から調整距離ｄを引いた長さ、すなわち、２．２ｍになる。

ここで、ＣＰＵ１４は、図７（ａ）および（ｂ）に示すように、第１平面３０と第２平面３２との間の距離Ｄが調整距離ｄ未満の場合には、第１平面３０と第２平面３２との間の距離Ｄが調整距離ｄに等しいときと同一に、仮想視点３６の位置および仮想視線３８の俯角３９を定める。すなわち、第１平面３０と第２平面３２との間の距離Ｄが調整距離ｄ以下になる範囲では、仮想視点３６の位置および仮想視線３８の俯角３９が固定される。

図４において、次に、画像処理プロセッサ１０は、グラフィックメモリ１１に格納した映像データをＣＰＵ１４によって定められた仮想視点から仮想視線でカメラ２の撮影範囲を見た俯瞰映像を表すように変換する（Ｓ８）。

なお、図８（ａ）に示すように、障害物５０に突出部５０ａがある場合には、図８（ｂ）に示すように、俯瞰映像において、突出部５０ａの映像５１は、画面上部の空中に存在しているように映る。したがって、図８（ｃ）に示すように、車両と障害物５０との間の距離が短くなると、俯瞰映像から突出部５０ａの映像５１が外れてしまう。

このため、障害物センサ２２によって検出された障害物までの距離に基づいて、ＣＰＵ１４が障害物に突出部を検出した場合には、画像処理プロセッサ１０は、グラフィックメモリ１１に格納した映像データを、俯瞰映像を表すように変換した後、図８（ｄ）に示すように、障害物５０の突出部５０ａを仮想路面３３に投影した擬似映像５２を俯瞰映像に重畳する擬似映像重畳処理を映像データに施す（Ｓ９、図４）。

次に、画像処理プロセッサ１０は、ステップＳ３でＣＰＵ１４によって導き出された予想走行領域を表すガイドラインを俯瞰映像に重畳するガイドライン重畳処理を映像データに施す（Ｓ１０）。

一方、ステップＳ５において、予想走行領域上に障害物が存在しないと判断した場合、または、ステップＳ６において、車両と障害物との間の距離が基準距離以下でないと判断した場合には、画像処理プロセッサ１０は、グラフィックメモリ１１に格納した映像データ、すなわち、カメラ２によって生成された映像信号を表す映像データにガイドライン重畳処理を施す。

次に、画像処理プロセッサ１０は、ガイドライン重畳処理を施した映像データを表す映像信号を表示装置３に出力し、表示装置３に映像表示させる（Ｓ１１）。

カメラ映像制御ユニット１は、以上に説明した動作を繰り返し実行する。ここで、ＬＡＮコントローラ１３と障害物センサ２２との通信間隔が、表示更新周期よりも長い場合には、ＣＰＵ１４は、車速センサ２１によって検出された車速を表す情報に基づいて、障害物センサ２２から障害物までの距離を予測し、予測した距離に基づいて仮想視点および仮想視線を定めるようにしてもよい。

このような本発明の一実施の形態のカメラ映像制御ユニット１は、障害物と車両との間の距離に応じて、仮想視点および仮想視線を変更するため、利用者に操作負担をかけずに、障害物と車両との間の距離が認識しやすい映像を表示装置３に表示させることができる。

なお、カメラ映像制御ユニット１は、車両後方を撮影するカメラ２によって生成された映像信号を処理するものとして説明したが、車両の前方や側方を撮影する複数のカメラによって生成された映像信号を、カメラ２によって生成された映像信号と同様に処理するようにしてもよい。

また、本実施の形態においては、本発明における映像変換手段を画像処理プロセッサおよびＣＰＵによって構成した例について説明したが、他のプロセッサや集積回路によって構成してもよい。

以上のように、本発明にかかる表示制御装置は、利用者に操作負担をかけずに、障害物と車両との間の距離が認識しやすい映像を表示装置に表示させることができるという効果を有し、例えば、車両外部を撮影する撮影装置によって撮影された撮影映像を映像変換して表示装置に表示させる表示制御装置等として有用である。

本発明の一実施の形態におけるカメラ映像制御ユニットのブロック図本発明の一実施の形態におけるカメラ映像制御ユニットに接続されるカメラの実装図本発明の一実施の形態におけるカメラ映像制御ユニットによる座標変換を説明するための概念図本発明の一実施の形態におけるカメラ映像制御ユニットの動作説明のためのフロー図本発明の一実施の形態におけるカメラ映像制御ユニットによって定められる仮想視点および仮想視線を説明するための第１の概念図本発明の一実施の形態におけるカメラ映像制御ユニットによって定められる仮想視点および仮想視線を説明するための第２の概念図本発明の一実施の形態におけるカメラ映像制御ユニットによって定められる仮想視点および仮想視線を説明するための第３の概念図本発明の一実施の形態におけるカメラ映像制御ユニットによって実行される擬似映像重畳処理を説明するための概念図

符号の説明

１カメラ映像制御ユニット
２カメラ
３表示装置
１０画像処理プロセッサ
１１グラフィックメモリ
１２ＲＯＭ
１３ＬＡＮコントローラ
１４ＣＰＵ
２０操舵角センサ
２１車速センサ
２２障害物センサ

Claims

車両外部を撮影する撮影装置によって撮影された撮影映像を、仮想視点から仮想視線で見た俯瞰映像に映像変換する映像変換手段を備え、前記俯瞰映像を表示装置に表示させる表示制御装置において、
前記映像変換手段は、障害物センサによって検出された障害物までの距離に応じて、前記仮想視点および前記仮想視線を定めることを特徴とする表示制御装置。
前記映像変換手段は、前記車両の前記撮影装置が設けられた端面に接する第１平面に平行に前記障害物の前記車両側に接する第２平面と、前記車両に対して水平な仮想路面との交線に対して前記仮想視点から引いた垂線の長さが一定になるよう、前記撮影装置の視点を前記車両の高さ方向に移動させた位置に前記仮想視点の位置を定めると共に、前記仮想視線が前記垂線に一致するよう、前記仮想視線の俯角を定めることを特徴とする請求項１に記載の表示制御装置。
前記映像変換手段は、前記車両の前記撮影装置が設けられた端面に接する第１平面に平行に前記障害物の前記車両側に接する第２平面と、前記車両に対して水平な仮想路面との交線に対して前記仮想視点から引いた垂線の長さが、前記第１平面と前記第２平面との間の距離に応じた長さになるよう、前記撮影装置の視点を前記車両の高さ方向に移動させた位置に前記仮想視点の位置を定めると共に、前記仮想視線が前記垂線に一致するよう、前記仮想視線の俯角を定めることを特徴とする請求項１に記載の表示制御装置。
前記映像変換手段は、前記車両の前記撮影装置が設けられた端面に接する第１平面に平行に前記障害物の前記車両側に接する第２平面から予め定められた調整距離だけ平行に前記車両側に離隔した第３平面と、前記車両に対して水平な仮想路面との交線に対して前記仮想視点から引いた垂線の長さが一定になるよう、前記撮影装置の視点を前記車両の高さ方向に移動させた位置に前記仮想視点の位置を定めると共に、前記仮想視線が前記垂線に一致するよう、前記仮想視線の俯角を定めることを特徴とする請求項１に記載の表示制御装置。
前記映像変換手段は、前記車両の前記撮影装置が設けられた端面に接する第１平面に平行に前記障害物の前記車両側に接する第２平面から予め定められた調整距離だけ平行に前記車両側に離隔した第３平面と、前記車両に対して水平な仮想路面との交線に対して前記仮想視点から引いた垂線の長さが、前記第１平面と前記第２平面との間の距離に応じた長さになるよう、前記撮影装置の視点を前記車両の高さ方向に移動させた位置に前記仮想視点の位置を定めると共に、前記仮想視線が前記垂線に一致するよう、前記仮想視線の俯角を定めることを特徴とする請求項１に記載の表示制御装置。
前記映像変換手段は、前記第１平面と前記第２平面との間の距離が前記調整距離未満の場合には、前記第１平面と前記第２平面との間の距離が前記調整距離に等しいときと同一に、前記仮想視点の位置および前記仮想視線の俯角を定めることを特徴とする請求項４または請求項５に記載の表示制御装置。
前記映像変換手段は、前記車両の前記撮影装置が設けられた端面に接する第１平面に平行に前記障害物の前記車両側に接する第２平面と前記第１平面との間の距離が予め定められた基準距離より長い場合には、前記撮影装置によって撮影された撮影映像を表示装置に表示させることを特徴とする請求項１乃至請求項６の何れかに記載の表示制御装置。
前記映像変換手段は、前記障害物センサによって検出された前記障害物までの距離に基づいて前記障害物に突出部を検出した場合には、前記車両に対して水平な仮想路面に前記突出部を投影した擬似映像を、前記俯瞰映像に重畳することを特徴とする請求項１乃至請求項７の何れかに記載の表示制御装置。
車両外部を撮影する撮影装置によって撮影された撮影映像を、仮想視点から仮想視線で見た俯瞰映像に映像変換する映像変換手段を備え、前記俯瞰映像を表示装置に表示させる集積回路において、
前記映像変換手段は、障害物センサによって検出された障害物までの距離に応じて、前記仮想視点および前記仮想視線を変更することを特徴とする集積回路。