JP2008152628A - 合成映像表示装置 - Google Patents

Abstract

【課題】撮影装置が設けられた可動部が動いたときに合成映像に生じる不整合を解消することができる合成映像表示装置を提供する。
【解決手段】車両のドアミラーに設けられたカメラを含む複数のカメラによって車両の周辺が撮影された各撮影映像をなす各撮影画素を対応する画素位置に配置することによって合成した合成映像を表示装置に表示させる合成映像表示装置において、ドアミラーが設けられたドアが開けられた場合には、このドアミラーに設けられたカメラによって撮影された撮影映像をなす各撮影画素をドアの変位量に応じた画素位置に配置した合成映像を表示装置に表示させる。
【選択図】図５

Description

本発明は、車両周辺を撮影する複数の撮影装置によってそれぞれ撮影された撮影映像を合成した合成映像を表示装置に表示させる合成映像表示装置に関するものである。

従来の合成映像表示装置としては、複数の撮影装置のそれぞれの画素位置と対応付けたフラグテーブルを用意しておき、フラグテーブルに予め書き込まれている画素領域に対応した画素位置に表示される画素データの平均値が等しくなるように補正を行い、この平均値を、隣接するカメラ画像のうち重複する撮影領域の画素データから求めることによって、複数の撮影装置の各撮影映像から視認しやすい合成映像をリアルタイムに生成するものがある（例えば、特許文献１参照）。
特開２００２−３２４２３５号公報

しかしながら、上述した従来の技術は、撮影装置がドアミラーに設けられている場合には、ドアミラーが設けられたドアが開けられる等してドアミラーが車両に対して動くと、ドアミラーに設けられた撮影装置の撮影範囲が変わってしまうため、合成映像に不整合が生じてしまうといった課題があった。

本発明は、従来の課題を解決するためになされたもので、撮影装置が設けられたドアミラー等の可動部が動いたときに合成映像に生じる不整合を解消することができる合成映像表示装置を提供することを目的とする。

本発明の合成映像表示装置は、車両上の定位置から可動な可動部に設けられた少なくとも１つの撮影装置を含む複数の撮影装置によって前記車両の周辺が撮影された各撮影映像をなす各撮影画素を対応する画素位置に配置することによって合成した合成映像を表示装置に表示させる合成映像表示手段を備えた合成映像表示装置において、前記合成映像表示手段は、前記可動部が前記定位置から動いた場合には、前記可動部に設けられた撮影装置によって撮影された撮影映像をなす各撮影画素を前記可動部の変位量に応じた画素位置に配置した合成映像を前記表示装置に表示させるように構成されている。

この構成により、本発明の合成映像表示装置は、撮影装置が設けられた可動部が動いたときに、可動部の変位量に応じた画素位置に各撮影画素を配置した合成映像を表示装置に表示させるため、合成映像に生じる不整合を解消することができる。

なお、前記合成映像表示手段は、前記撮影映像をなす各撮影画素と前記合成映像の画素位置とを対応付けるマップ情報を前記可動部の変位量毎に記憶し、前記可動部の変位量に応じたマップ情報に基づいて前記撮影画素を前記合成映像上に配置するようにしてもよい。

この構成により、本発明の合成映像表示装置は、撮影装置が設けられた可動部が動いたときに、可動部の変位量に応じた画素位置に各撮影画素を配置した合成映像を表示装置に表示させることができる。

また、本発明の合成映像表示装置は、前記可動部が前記定位置にないときに前記合成映像表示手段によって合成された合成映像が前記表示装置に表示されていることを利用者に報知する報知手段を備えるようにしてもよい。

ここで、前記報知手段は、前記可動部が前記定位置にないときに前記合成映像表示手段によって合成された合成映像が前記表示装置に表示されていることを表す映像を前記合成映像に重畳することによって報知するようにしてもよい。

この構成により、本発明の合成映像表示装置は、合成映像に生じた不整合を解消したことを利用者に報知することができる。

なお、上述した合成映像表示装置は、集積回路によって構成してもよい。

本発明は、撮影装置が設けられた可動部が動いたときに合成映像に生じる不整合を解消することができるといった効果を有する合成映像表示装置を提供することができる。

以下、本発明の実施の形態について、図面を参照して説明する。なお、本実施の形態においては、本発明における合成映像表示装置を車両に設けられたＥＣＵ（Electronic Control Unit）によって構成し、本発明における合成映像表示手段をＤＳＰ（Digital Signal Processor）とフラッシュメモリとによって構成した例について説明する。

本発明の一実施の形態のＥＣＵを図１に示す。

ＥＣＵ１には、車両周辺を撮影する複数の撮影装置としてのカメラ２ａ乃至２ｄと、ＥＣＵ１によって処理された映像信号を映像出力する表示装置３と、ＣＡＮ（Controller Area Network）４を介してドアＥＣＵ５とが接続されている。

ドアＥＣＵ５は、車両のパワーウインドおよびドアミラーの制御、ならびに、車両のドアの開度を表すドア開度情報およびドアミラーの開度を表すドアミラー開度情報のＣＡＮ４を介した送信等を行うようになっている。

図２に示すように、カメラ２ａは、車両の左下方の撮影範囲２０ａを撮影するよう、左前側ドア２１ａのドアミラー２２ａに埋設されている。また、カメラ２ｂは、車両の前下方の撮影範囲２０ｂを撮影するよう、フロントグリルの内側に設けられている。

また、カメラ２ｃは、車両の右下方の撮影範囲２０ｃを撮影するよう、右前側ドア２１ｃのドアミラー２２ｃに埋設されている。また、カメラ２ｄは、車両の後下方の撮影範囲２０ｄを撮影するよう、トランクルームを開閉するためのドアノブ付近に設けられている。

図１において、ＥＣＵ１は、カメラ２ａ乃至２ｄによってそれぞれ撮影された撮影映像を表す映像信号から得られる映像データを格納するためのビデオメモリ１０と、ビデオメモリ１０に格納された映像データに基づいて、カメラ２ａ乃至２ｄによってそれぞれ撮影された撮影映像を合成して車両周辺を上空から見下ろした合成映像を表示装置３に表示させるようプログラミングされたＤＳＰ１１と、撮影映像を合成するためにＤＳＰ１１によって参照される情報等を格納するフラッシュメモリ１２と、表示装置３に表示させる合成映像を表す映像信号を増幅するビデオアンプ１３と、ＣＡＮ４を介した通信を行うための通信モジュール１４と、ＣＰＵ（Central Processing Unit）１５とを有している。

フラッシュメモリ１２には、車両の画像を表す画像データ（以下、単に「車両画像データ」という。）と、マップ情報とが予め格納されている。

マップ情報は、合成映像の画素と等しい数の要素を有し、合成映像の画素位置と、カメラ２ａ乃至２ｄによってそれぞれ撮影された撮影映像の撮影画素との対応を表すテーブルよりなる。

マップ情報の各要素は、合成映像の該当画素位置に対応する撮影画素を表し、該当画素位置に対応する撮影画素を配置することによって、車両周辺を上空から見下ろした合成映像が得られるように予め定められている。なお、本実施の形態において、マップ情報の各要素は、ビデオメモリ１０の記憶領域内の何れかの位置を指すメモリアドレスで各撮影画素を表している。

ＤＳＰ１１は、フラッシュメモリ１２に格納されたマップ情報にしたがって合成映像の各画素値をビデオメモリ１０から読み取ることによって、合成映像を表示装置３に表示させるようになっている。

例えば、図３に示すように、マップ情報３０の要素(1,C)の値が(0,C)である場合には、ＤＳＰ１１は、映像データが格納されたビデオメモリ１０の記憶領域３１の中で当該要素の値であるメモリアドレス(0,C)が指す位置から得られる画素値を、合成映像３２の画素位置(1,C)の画素値として読み取るようになっている。

これにより、図４（ａ）に示すように、カメラ２ａ乃至２ｄによってそれぞれ撮影されたものを撮影映像４０ａ乃至４０ｄとすると、図４（ｂ）に示すような合成映像がマップ情報に基づいてＤＳＰ１１によって合成される。

なお、ＤＳＰ１１は、図４（ｂ）に示すように、合成映像において車両にあたる映像領域（以下、単に「車両映像領域」という。）の各画素に対して、フラッシュメモリ１２に格納された車両画像データから各画素値を読み取ることによって、合成映像に車両の画像４１を重畳させるようになっている。

ここで、ドア２１ｃが閉じられている状態で、図５（ａ）に示すような合成映像が表示装置３に表示されているときに、図６に示すように、ドア２１ｃが開けられると、撮影範囲２０ｃが動いてしまうため、図５（ｂ）に示すように、表示装置３に表示される合成映像に不整合が生じてしまう。

このため、フラッシュメモリ１２には、ドア２１ｃの開度にそれぞれ対応したマップ情報が格納されている。例えば、フラッシュメモリ１２には、ドア２１ｃが閉じられて定位置にある開度０度から開度９０度までの１０度間隔にそれぞれ対応する１０通りのマップ情報が格納されている。

ＤＳＰ１１は、ドアＥＣＵ５によって送信されたドア開度情報をＣＰＵ１５を介して受信し、受信したドア開度情報が表すドア２１ｃの開度に応じたマップ情報を特定し、特定したマップ情報にしたがって合成映像を合成するようになっている。これにより、図５（ｃ）に示すように、表示装置３に表示される合成映像に不整合が解消される。

なお、ＤＳＰ１１は、図５（ｃ）に示すように、合成映像において何れの撮影画素も対応せず、車両映像領域にもあたらない映像領域（以下、単に「無映像領域」という。）５１内の各画素をマスクするようになっている。

以上のように構成されたＥＣＵ１について図７および図８を用いてその動作を説明する。

図７において、まず、カメラ２ａ乃至２ｄによってそれぞれ撮影された撮影映像を表す映像信号から得られる映像データがＤＳＰ１１によってビデオメモリ１０に格納される（Ｓ１）。

次に、フラッシュメモリ１２に格納されたマップ情報のなかから、ドアＥＣＵ５によって送信されたドア開度情報が表すドア２１ｃの開度に応じたマップ情報がＤＳＰ１１によって特定される（Ｓ２）。

次に、表示装置３の１フィールド分の各走査（Ｓ３〜Ｓ１２）および各走査の各画素（Ｓ４〜Ｓ１１）に対して、以下の処理が実行される。

まず、ステップＳ２で特定されたマップ情報によって該当画素位置に対応付けられた撮影画素の画素値がビデオメモリ１０に格納された映像データから読み取られる（Ｓ５）。

ここで、マップ情報によって該当画素位置に撮影画素の画素値が対応付けられていないために、ビデオメモリ１０に格納された映像データから撮影画素の画素値が読み取られなかった場合には（Ｓ６）、該当画素位置が車両映像領域に含まれるか否かがＤＳＰ１１によって判断される（Ｓ７、図８）。

ここで、該当画素位置が車両映像領域に含まれると判断された場合には、該当画素位置に対応する画素値がフラッシュメモリ１２に格納された車両画像データから読み取られる（Ｓ８）。

一方、該当画素位置が車両映像領域に含まれると判断されなかった場合には、該当画素位置が無映像領域内にあるため、マスクするための所定の画素値が該当画素位置の画素値として決定される（Ｓ９）。

これにより、ステップＳ５もしくはＳ８で読み取られた画素値、または、ステップＳ９で決定された画素値で表示装置３の該当画素が表示される（Ｓ１０、図７）。

表示装置３の１フィールド分の各走査（Ｓ３〜Ｓ１２）および各走査の各画素（Ｓ４〜Ｓ１１）に対する以上の処理が完了すると、ＥＣＵ１の動作は、ステップＳ１に戻る。

このような本発明の一実施の形態のＥＣＵ１は、カメラ２ｃが埋設されたドアミラー２２ｃが設けられたドア２１ｃが開けられたときに、ドア２１ｃの開度に応じた画素位置に各撮影画素を配置した合成映像を表示装置３に表示させるため、合成映像に生じる不整合を解消することができる。

なお、本実施の形態において、単一の車両画像データがフラッシュメモリ１２に格納されている例について説明したが、ドア２１ｃの開度毎に車両画像データをフラッシュメモリ１２に格納しておき、ＤＳＰ１１は、図９（ａ）に示すように、ドア２１ｃの開度に応じた車両画像データを合成映像に重畳させるようにしてもよい。

また、本発明における報知手段をＤＳＰ１１および表示装置３によって構成し、ＤＳＰ１１は、図９（ｂ）に示すように、ドア２１ｃが開かれたときに合成した合成映像を表示装置３に表示させていることを表す映像７１を合成映像に重畳させるようにしてもよい。

また、本実施の形態において、ドア２１ｃの開度に応じたマップ情報がフラッシュメモリ１２に格納されている例について説明したが、ドア２１ａおよびドア２１ｃの開度の組み合わせに応じたマップ情報をフラッシュメモリ１２に格納しておくようにし、ＤＳＰ１１は、ドアＥＣＵ５によって送信されたドア開度情報が表すドア２１ａおよびドア２１ｃの開度の組み合わせに応じたマップ情報を特定するようにしてもよい。

また、本実施の形態において、ドア２１ｃの開度に応じたマップ情報がフラッシュメモリ１２に格納されている例について説明したが、ドア２１ｃおよびドアミラー２２ｃの開度の組み合わせに応じたマップ情報をフラッシュメモリ１２に格納しておくようにし、ＤＳＰ１１は、ドアＥＣＵ５によって送信されたドア開度情報が表すドア２１ｃおよびドアミラー開度情報が表すドアミラー２２ｃの開度の組み合わせに応じたマップ情報を特定するようにしてもよい。

また、ＤＳＰ１１は、ドアＥＣＵ５によって送信されたドア開度情報に基づいてドア２１ｃの開度の変化量が所定の閾値より多いと判断した場合には、カメラ２ａ乃至２ｄによってそれぞれ撮影された撮影映像を表す映像信号から得られる映像データのビデオメモリ１０に対する書き込みを停止することによって、ドア２１ｃが開く直前の画像映像を表示装置３に表示させるようにしてもよい。

また、本実施の形態においては、本発明における合成映像表示手段をＤＳＰ１１とフラッシュメモリ１２とによって構成した例について説明したが、ＣＰＵ等の他のプロセッサや集積回路を用いて構成してもよい。

以上のように、本発明にかかる合成映像表示装置は、撮影装置が設けられた可動部が動いたときに合成映像に生じる不整合を解消することができるという効果を有し、例えば、車両周辺を撮影する複数の撮影装置によってそれぞれ撮影された撮影映像を合成した合成映像を表示装置に表示させる合成映像表示装置等として有用である。

本発明の一実施の形態におけるＥＣＵのブロック図 本発明の一実施の形態におけるＥＣＵに接続されるカメラの実装図 本発明の一実施の形態におけるＥＣＵを構成するＤＳＰによる撮影映像の合成を説明するための概念図 本発明の一実施の形態におけるＥＣＵに接続されたカメラによってそれぞれ撮影された各撮影映像を合成した合成映像を示す概念図 本発明の一実施の形態におけるＥＣＵに接続された表示装置に表示される合成映像を示す概念図 本発明の一実施の形態におけるＥＣＵに接続されるカメラの撮影範囲がドアの開閉に伴って変化する様子を説明するための概念図 本発明の一実施の形態におけるＥＣＵの動作説明のためのフロー図 図７に続くフロー図 本発明の一実施の形態におけるＥＣＵに接続された表示装置に表示される他の合成映像を示す概念図

符号の説明

１ ＥＣＵ
２ａ、２ｂ、２ｃ、２ｄ カメラ
３ 表示装置
４ ＣＡＮ
５ ドアＥＣＵ
１０ ビデオメモリ
１１ ＤＳＰ
１２ フラッシュメモリ
１３ ビデオアンプ
１４ 通信モジュール
１５ ＣＰＵ

Claims (5)

1. 車両上の定位置から可動な可動部に設けられた少なくとも１つの撮影装置を含む複数の撮影装置によって前記車両の周辺が撮影された各撮影映像をなす各撮影画素を対応する画素位置に配置することによって合成した合成映像を表示装置に表示させる合成映像表示手段を備えた合成映像表示装置において、
   前記合成映像表示手段は、前記可動部が前記定位置から動いた場合には、前記可動部に設けられた撮影装置によって撮影された撮影映像をなす各撮影画素を前記可動部の変位量に応じた画素位置に配置した合成映像を前記表示装置に表示させることを特徴とする合成映像表示装置。
2. 前記合成映像表示手段は、前記撮影映像をなす各撮影画素と前記合成映像の画素位置とを対応付けるマップ情報を前記可動部の変位量毎に記憶し、前記可動部の変位量に応じたマップ情報に基づいて前記撮影画素を前記合成映像上に配置することを特徴とする請求項１に記載の合成映像表示装置。
3. 前記可動部が前記定位置にないときに前記合成映像表示手段によって合成された合成映像が前記表示装置に表示されていることを利用者に報知する報知手段を備えたことを特徴とする請求項１に記載の合成映像表示装置。
4. 前記報知手段は、前記可動部が前記定位置にないときに前記合成映像表示手段によって合成された合成映像が前記表示装置に表示されていることを表す映像を前記合成映像に重畳することによって報知することを特徴とする請求項３に記載の合成映像表示装置。
5. 車両上の定位置から可動な可動部に設けられた少なくとも１つの撮影装置を含む複数の撮影装置によって前記車両の周辺が撮影された各撮影映像をなす各撮影画素を対応する画素位置に配置することによって合成した合成映像を表示装置に表示させる合成映像表示手段を備えた集積回路において、
   前記合成映像表示手段は、前記可動部が前記定位置から動いた場合には、前記可動部に設けられた撮影装置によって撮影された撮影映像をなす各撮影画素を前記可動部の変位量に応じた画素位置に配置した合成映像を前記表示装置に表示させることを特徴とする集積回路。