JP2010130413A - 周辺状況表示装置 - Google Patents

Abstract

【課題】効率的に、運転者に対して立体物と自車との位置関係を提示する「周辺状況表示装置」を提供する。
【解決手段】自動車の四方に配置したカメラが撮影した画像（ａ）を視点変換した画像に、画像（ａ）から切り出した立体物の画像部分を合成し、上方より自動車周辺を俯瞰した俯瞰画像３２０を生成する（ｂ）。また、前記複数のカメラの内の一つのカメラである副画像撮影カメラで撮影した画像から、前記自動車の副画像撮影カメラの撮影方向側のようすを表した副画像３３０を生成する（ｃ）。そして、俯瞰画像３２０と俯瞰画像３２０とを並べて配置した周辺状況表示画面３５０を表示装置１０９に表示する（ｄ）。ここで、副画像３３０のサイズは、副画像撮影カメラが撮影した画像に映り込んでいる立体物の、副画像３３０中における縮尺と、前記俯瞰画像３２０中における縮尺とが一致するように設定する。
【選択図】図３

Description

本発明は、運転者に対して自動車周辺を撮影した映像を提示することにより、自動車の運転を支援する技術に関するものである。

運転者に対して自動車周辺を撮影した映像を提示することにより、自動車の運転を支援する技術としては、自動車周辺を複数のカメラによって撮影した画像を、自動車上方の視点から撮影した場合に得られる画像に視点変換して合成すると共に、合成した画像上に自車を表す図形を配置することにより、自動車周辺を俯瞰的に表す俯瞰画像を生成し、ユーザに提示する技術が知られている（たとえば、特許文献１）。

また、複数のカメラによって撮影した画像を視点変換した画像の合成のみによって俯瞰画像を生成すると、立体物については、その画像が大きく歪んだ形状で俯瞰画像中に表れる問題を解消するために、カメラで撮影した画像に含まれる立体物の画像部分や輪郭を抽出し、抽出した立体物の画像部分や輪郭を、形状が大きく歪まないように、そのままもしくは前記視点変換とは異なる変換を施した上で、複数のカメラによって撮影した画像を視点変換した画像の合成のみによって作成した俯瞰画像上に合成する技術も知られている（たとえば、特許文献２、３）。

また、このような俯瞰画像と、複数のカメラのうちから選択した一つのカメラで撮影した画像（たとえば、自動車後方を撮影した画像）とを、表示装置の画面上に並べて表示する技術も知られている（たとえば、特許文献４）。
特開2002-354468号公報 特開2008-177856号公報 特開2008-205914号公報 特開2008-316602号公報

前述のように俯瞰画像と、複数のカメラのうちから選択した一つのカメラで撮影した画像とを、表示装置の画面上に並べて表示する場合、選択した一つのカメラで撮影した画像中に立体物が写り込んでいるときには、この立体物の映像は、並べて表示した俯瞰画像と選択した一つのカメラで撮影した画像との二つの画像の双方に含まれることになる。そして、この表示される二つの画像中における立体物のサイズは、表示する二つの画像の大きさや立体物の車両に対する位置などに応じたものとなるために、必ずしも同じサイズとはならない。

このため、ユーザが、表示された二つの画像中に表れる同じ立体物を、同じ立体物を表すものとして把握できずに、困惑したり、周辺状況を誤って認識してしまうことがある。
そこで、本発明は、複数のカメラで撮影した画像より生成した俯瞰画像と、複数のカメラのうちから選択したカメラで撮影した画像とを表示装置の画面上に併せて表示する場合に、各表示画像に各々表れる立体物の同一性を、ユーザが容易に把握できるようにすることを課題とする。

前記課題達成のために、本発明は、自動車に搭載される周辺状況表示装置に、表示装置と、前記自動車周囲を撮影する複数のカメラと、前記複数のカメラが撮影した画像を変換して、前記自動車上方より自動車周辺を俯瞰した俯瞰画像を生成する俯瞰画像生成手段と、前記複数のカメラの内の少なくとも一つのカメラを副画像撮影カメラに設定し、当該副画像撮影カメラが撮影した画像から、前記自動車の前記副画像撮影カメラの撮影方向側のようすを表した副画像を生成する副画像生成手段と、前記副画像生成手段で生成する副画像のサイズを設定する副画像サイズ設定手段と、前記俯瞰画像生成手段が生成した俯瞰画像と共に前記副画像生成手段が生成した副画像を前記表示装置へ表示する表示処理手段とを設け、前記副画像サイズ設定手段において、前記副画像撮影カメラが撮影した画像に映り込んでいる立体物を着目立体物として、前記副画像中に表れる前記着目立体物の縮尺と、前記俯瞰画像中に表れる前記着目立体物の縮尺とが一致するように、前記副画像のサイズを設定するようにしたものである。

ここで、このような周辺状況表示装置は、前記副画像サイズ設定手段において、前記副画像撮影カメラが撮影した画像に立体物が複数写り込んでいる場合には、前記副画像撮影カメラが撮影した画像に写り込んでいる立体物の内の前記自動車に対して最も手前に位置する立体物を着目立体物として、前記副画像中に表れる前記着目立体物の縮尺と、前記俯瞰画像中に表れる前記着目立体物の縮尺とが一致するように、前記副画像のサイズを設定するように構成してもよい。

また、このような周辺状況表示装置は、前記俯瞰画像生成手段において、前記複数のカメラが撮影した画像を前記自動車上方の視点より下方を観察した画像に視点変換して合成した中間画像に、前記複数のカメラが撮影した画像から抽出した、当該画像に写り込んでいる立体物の画像部分である立体物画像を、所定の合成サイズに変換した上で合成して、前記俯瞰画像を生成すると共に、前記合成サイズを、前記中間画像中の前記立体物画像の合成位置周辺の前記中間画像が表す地面の縮尺に、当該合成サイズに変換した立体物画像が表す立体物の縮尺が整合するように定めたサイズとし、前記副画像サイズ設定手段において、前記副画像中に表れる前記着目立体物のサイズと、前記中間画像に合成する、前記副画像撮影カメラが撮影した画像から抽出した前記着目立体物である立体物の画像部分の前記合成サイズとが一致するように、前記副画像のサイズを設定するように構成してもよい。

以上のような周辺状況表示装置によれば、複数のカメラで撮影した画像より生成した俯瞰画像と、複数のカメラのうちから選択したカメラで撮影した画像より生成した副画像において、同じ立体物は同じ縮尺で表示される。よって、俯瞰画像と副画像の双方に含まれる立体物の同一性を、ユーザは容易に把握できるようになる。

以上のように、本発明によれば、本発明は、複数のカメラで撮影した画像より生成した俯瞰画像と、複数のカメラのうちから選択したカメラで撮影した画像とを表示装置の画面上に併せて表示する場合に、各表示画像に各々表れる立体物の同一性を、ユーザが容易に把握できるようになる。

以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る周辺状況表示装置の構成を示す。
図示するように、周辺状況表示装置は、フロントカメラ１０１、リアカメラ１０２、レフトカメラ１０３、ライトカメラ１０４、画像記憶部１０５、立体物領域検出部１０６、副画像生成部１０７、俯瞰画像生成部１０８、表示装置１０９、表示装置１０９の表示を制御する表示処理部１１０、ユーザの操作を受け付ける操作部１１１、制御部１１２を有している。

ここで、フロントカメラ１０１、リアカメラ１０２、レフトカメラ１０３、ライトカメラ１０４は、たとえば魚眼レンズを用いた広角のカメラであり、図１ｂに示すように、フロントカメラ１０１は車両前方向の斜下方を撮影、リアカメラ１０２は車両後方向の斜下方を撮影し、レフトカメラ１０３は車両左方向の斜下方を撮影し、ライトカメラ１０４は車両右方向の斜下方を撮影する。そして、各カメラが撮影した画像は、画像記憶部１０５に記憶される。

さて、このような構成において、周辺状況表示装置は、フロントカメラ１０１、リアカメラ１０２、レフトカメラ１０３、ライトカメラ１０４の４つのカメラで撮影した画像より生成した俯瞰画像と、４つのカメラのうちの一つのカメラで撮影した画像より生成した副画像とを表示装置１０９の画面上に並べて表示するマルチビュー表示を行う。

以下、このマルチビュー表示の動作について説明する。
図２に、制御部１１２が行うマルチビュー表示制御処理の手順を示す。
図示するように、この処理において、制御部１１２は、たとえば操作部１１１のユーザ操作などにより、マルチビュー表示の指示が発生したならば（ステップ２０２）、副画像の生成もととなる画像を撮影するカメラを副画像撮影カメラに設定する（ステップ２０４）。副画像の生成もととなる画像を撮影するカメラは、マルチビュー表示の指示に伴うユーザのカメラの指定によって定めるようにしてもよいし、後進時にはリアカメラ１０２を副画像の生成もととなる画像を撮影するカメラとするといったように、その時点における車両の状態によって定めるようにしてもよい。

次に、４つのカメラの撮影した画像中の立体物が写り込んでいる領域である立体物領域の検出の開始を、立体物領域検出部１０６に指示する（ステップ２０６）。
ここで、立体物領域検出部１０６は、立体物領域の検出を指示されたならば、画像記憶部１０５から４つのカメラの撮影した画像を読み込み、各画像について、画像中の立体物が写り込んでいる領域を立体物領域として検出する処理を繰り返し行う。ここで、立体物領域の算出は、たとえば、車両の移動中は、各カメラを単眼ステレオカメラとして用いた単眼ステレオ計測法によって検出することができる。ただし、立体物領域の算出は、別途レーダ装置を用いて行うようにしたり、各画像に対する適当な画像認識処理により行うようにしてもよい。

このような立体物領域の検出の結果、たとえば、図３ａに示すようにフロントカメラ１０１、リアカメラ１０２、レフトカメラ１０３、ライトカメラ１０４で、車両前方のようすを表す前方画像３１１、車両後方のようすを表す後方画像３１２、車両左方のようすを表す左方画像３１３、車両右方のようすを表す右方画像３１４とがそれぞれ撮影されており、レフトカメラ１０３が撮影した左方画像３１３中に人物が写り込んでいる場合には、図４ａに示すように、この左方画像３１３中に写り込んでいる人物の輪郭内の領域４０１が、立体物領域として検出されることになる。

図２に戻り、次に、俯瞰画像生成部１０８に俯瞰画像の生成開始を指示する（ステップ２０８）。
ここで、俯瞰画像生成部１０８は、俯瞰画像の生成開始を指示されたならば、以下の処理を繰り返し行う。
すなわち、まず、前方画像３１１と後方画像３１２と左方画像３１３と右方画像３１４とを、画像記憶部１０５より読み込み、各画像を自動車上方の視点から撮影した場合に得られる画像に視点変換（射影変換）し合成した中間画像を生成する。次に、前方画像３１１と後方画像３１２と左方画像３１３と右方画像３１４のうちの、立体物領域が検出された画像から、当該検出された立体物領域部分の画像を立体物画像として切り出し、立体物画像のサイズを中間画像における大地の縮尺に整合させる画像変換を行う。そして、画像変換を行った立体物画像と、予め用意しておいた車両を情報より撮影した画像とを、中間画像に合成することによって、図３ｂに示すように、自動車周辺を俯瞰的に表す俯瞰画像３２０を生成する。

ここで、画像変換後の立体物画像の中間画像上への合成位置は、たとえば、当該立体物画像の立体物画像領域の最も車両に近接する位置に相当する中間画像上の位置を、画像変換後の立体物画像の下端の位置とすることにより定める。
また、立体物画像に対して行う立体物画像のサイズを中間画像における大地の縮尺に整合させる画像変換は、たとえば、当該立体物画像のカメラのレンズによる歪みの補正と、当該立体物画像の拡大縮小である。また、当該拡大縮小の拡大縮小率は、当該立体物画像の立体物画像領域の最も車両に近接する位置に対応する大地上の地点に、当該立体物が直立しているものと見なして求めた、拡大縮小後の立体物画像が表す立体物の縮尺と、立体物画像合成位置周辺の中間画像の大地の縮尺とが一致する拡大縮小率とする。

図２に戻り、次に、副画像撮影カメラで撮影した画像中において検出された、最も副画像撮影カメラしたがって車両に対して手手前に位置する立体物の立体物領域を着目立体物領域として、着目立体物領域のサイズと位置に応じた副画像サイズを算定し副画像生成部１０７に設定する（ステップ２１０）。

ここで、立体物の副画像撮影カメラに対する遠近は、当該立体物の立体物領域の、副画像撮影カメラが撮影した画像中の位置より判定することができ、副画像撮影カメラを正立させている場合には、通常、下端が最も下方の位置に位置する立体物領域が、副画像カメラに対して最も手前の立体物の立体物領域となる。

また、ステップ２１０で設定する副画像サイズは、後述するようにステップ２１２において副画像生成部１０７で生成される副画像中における、着目立体物領域が検出された立体物の縮尺が、着目立体物領域が検出された立体物の俯瞰画像３２０における縮尺とが一致するように設定する。ここで、副画像生成部１０７においては後述するように副画像撮影カメラで撮影した画像にノーマルビュー変換処理を施すが、このノーマルビュー変換処理の内容は副画像撮影カメラに設定されたカメラ毎に固定的に予め定まっているので、副画像中における着目立体物領域に相当する領域の大きさは、副画像撮影カメラの撮影画像中の立体物領域のサイズと位置に応じて、生成する副画像のサイズに対して一義的に求めることができる。

そこで、ステップ２１０では、たとえば、前述のように俯瞰画像生成部１０８において中間画像に合成する画像変換を行った後の立体物画像のサイズと、副画像生成部１０７で生成される副画像中における着目立体物領域に相当する領域とのサイズが一致するように副画像サイズを設定する。

そして、次に、副画像生成部１０７に、設定された副画像サイズによる副画像を生成開始を指示する（ステップ２１２）。
副画像生成部１０７は、副画像生成開始を指示されたならば、画像記憶部１０５より副画像撮影カメラが撮影した画像を読み込み、読み込んだ画像に対して、所定のノーマルビュー変換処理を施すと共に、生成される副画像のサイズが設定された副画像サイズとなるようにする拡大縮小変換を施して、副画像を生成する処理を繰り返し行う。

ここで、副画像生成部１０７において行う所定のノーマルビュー変換処理は、たとえば、副画像撮影カメラがフロントカメラ１０１であれば、前方画像３１１を、前方カメラ設置位置より水平に前方を観察したようすを表す画像へ変換する視点変換処理となる。また、副画像撮影カメラがリアカメラ１０２であれば、後方画像３１２を、後方カメラ設置位置より水平に後方を観察したようすを表す画像へ変換する視点変換処理となる。また、副画像撮影カメラがレフトカメラ１０３であれば、左方画像３１３を、左方カメラ設置位置より水平に左斜め後方を観察したようすを表す画像へ変換する視点変換処理となる。また、副画像撮影カメラがライトカメラ１０４であれば、右方画像３１４を、右方カメラ設置位置より水平に右斜め後方を観察したようすを表す画像へ変換する視点変換処理となる。

ただし、このような視点変換処理に代えて、たとえば、単純なカメラのレンズによる歪みの補正処理のみ、または、当該歪みの補正処理及び適当なトリミング処理を前述した所定のノーマルビュー変換処理として行うようにすることもできる。
このような副画像生成部１０７による副画像生成の処理によって、たとえば、副画像撮影カメラがレフトカメラ１０３である場合には、図３ａに示すようにレフトカメラ１０３で撮影された左方画像３１３より、図３ｃに示すように左方カメラ設置位置より水平に左斜め後方を観察したようすを表す副画像３３０が生成される。また、この副画像３３０のサイズは、レフトカメラ１０３で撮影された左方画像３１３に含まれる人物の副画像３３０の中における縮尺が、俯瞰画像生成部１０８で生成された俯瞰画像３２０中における人物の縮尺と等しくなるサイズとなる。

図２に戻り、このようにして副画像３３０の生成が開始されたならば、表示処理部１１０に俯瞰画像３２０と副画像３３０の、表示装置１０９への合成表示開始を指示する（ステップ２１４）。
合成表示開始を指示された表示処理部１１０は、俯瞰画像生成部１０８が生成する俯瞰画像３２０と副画像生成部１０７が生成する副画像３３０を、並べて配置した周辺状況表示画面の表示装置１０９への表示を開始する。
ここで、この周辺状況表示画面３５０としては、たとえば、図３ｄに副画像撮影カメラがレフトカメラ１０３であり、図３ｂの俯瞰画像３２０と図３ｃの副画像３３０が生成された場合について示すように、俯瞰画像３２０と副画像３３０とを並べて配置すると共に、副画像３３０が、いずれの方向のようすであるかを、副画像３３０の、車両を模擬する図形３４０に対する位置と引き出し線３４１によって表す図形３４０を表したものを用いることができる。

なお、副画像撮影カメラがライトカメラ１０４である場合には、周辺状況表示画面３５０は、右方画像３１４より生成された車両右斜め後方のようすを表す副画像３３０を含む図４ｂに示すような画面となり、副画像撮影カメラがフロントカメラ１０１である場合には、周辺状況表示画面３５０は、前方画像３１１より生成された車両前方のようすを表す副画像３３０を含む図４ｃに示すような画面となり、副画像撮影カメラがリアカメラ１０２である場合には、周辺状況表示画面３５０は、後方画像３１２より生成された車両後方のようすを表す副画像３３０を含む図４ｄに示すような画面となる。

さて、図２に戻り、このようにして周辺状況表示画面３５０の表示を開始したならば（ステップ２１４）、ユーザの操作部１１１の操作等による、副画像３３０を撮影するカメラの切替の指示の発生と（ステップ２１６）、マルチビュー表示の終了指示の発生と（ステップ２１８）を監視し、いずれかが発生するまで、ステップ２１２と同様の検出した立体物領域のサイズと位置に応じた副画像サイズの設定（ステップ２２２）を繰り返す。

一方、画像を撮影するカメラの切替の指示が発生した場合には（ステップ２１６）、ステップ２０４からの処理に戻って副画像撮影カメラを設定し直して以降の処理を行い、マルチビュー表示の終了指示が発生した場合には（ステップ２１８）、立体物領域検出部１０６における立体物の検出と俯瞰画像生成部１０８における俯瞰画像３２０の生成と副画像生成部１０７における副画像３３０の生成と表示処理部１１０における周辺状況表示画面３５０の表示とを中止し（ステップ２２０）、ステップ２０２に戻って次回のマルチビュー表示の指示の発生を待つ。

以上、本発明の実施形態について説明した。
以上のように、本実施形態によれば、俯瞰画像３２０と副画像３３０において、同じ立体物は同じ縮尺で表示されるので、俯瞰画像３２０と副画像３３０の双方に含まれる立体物の同一性を、ユーザは容易に把握できるようになる。

本発明の実施形態に係る周辺状況表示装置の構成を示すブロック図である。 本発明の実施形態に係る周辺状況表示装置におけるマルチビュー表示制御処理を示すフローチャートである。 本発明の実施形態に係る周辺状況表示装置におけるマルチビュー表示動作例を示す図である。 本発明の実施形態に係る周辺状況表示装置におけるマルチビュー表示動作例を示す図である。

符号の説明

１０１…フロントカメラ、１０２…リアカメラ、１０３…レフトカメラ、１０４…ライトカメラ、１０５…画像記憶部、１０６…立体物領域検出部、１０７…副画像生成部、１０８…俯瞰画像生成部、１０９…表示装置、１１０…表示処理部、１１１…操作部、１１２…制御部、３１１…前方画像、３１２…後方画像、３１３…左方画像、３１４…右方画像、３２０…俯瞰画像、３３０…副画像、３５０…周辺状況表示画面。

Claims (4)

1. 自動車に搭載される周辺状況表示装置であって、
   表示装置と、
   前記自動車周囲を撮影する複数のカメラと、
   前記複数のカメラが撮影した画像を変換して、前記自動車上方より自動車周辺を俯瞰した俯瞰画像を生成する俯瞰画像生成手段と、
   前記複数のカメラの内の少なくとも一つのカメラを副画像撮影カメラに設定し、当該副画像撮影カメラが撮影した画像から、前記自動車の前記副画像撮影カメラの撮影方向側のようすを表した副画像を生成する副画像生成手段と、
   前記副画像生成手段で生成する副画像のサイズを設定する副画像サイズ設定手段と、
   前記俯瞰画像生成手段が生成した俯瞰画像と共に前記副画像生成手段が生成した副画像を前記表示装置へ表示する表示処理手段とを有し、
   前記副画像サイズ設定手段は、前記副画像撮影カメラが撮影した画像に映り込んでいる立体物を着目立体物として、前記副画像中に表れる前記着目立体物の縮尺と、前記俯瞰画像中に表れる前記着目立体物の縮尺とが一致するように、前記副画像のサイズを設定することを特徴とする周辺状況表示装置。
2. 請求項１記載の周辺状況表示装置であって、
   前記副画像サイズ設定手段は、前記副画像撮影カメラが撮影した画像に立体物が複数写り込んでいる場合には、前記副画像撮影カメラが撮影した画像に写り込んでいる立体物の内の前記自動車に対して最も手前に位置する立体物を着目立体物として、前記副画像中に表れる前記着目立体物の縮尺と、前記俯瞰画像中に表れる前記着目立体物の縮尺とが一致するように、前記副画像のサイズを設定することを特徴とする周辺状況表示装置。
3. 請求項１または２記載の周辺状況表示装置であって、
   前記俯瞰画像生成手段は、前記複数のカメラが撮影した画像を前記自動車上方の視点より下方を観察した画像に視点変換して合成した中間画像に、前記複数のカメラが撮影した画像から抽出した、当該画像に写り込んでいる立体物の画像部分である立体物画像を、所定の合成サイズに変換した上で合成して、前記俯瞰画像を生成し、
   前記合成サイズは、前記中間画像中の前記立体物画像の合成位置周辺の前記中間画像が表す地面の縮尺に、当該合成サイズに変換した立体物画像が表す立体物の縮尺が整合するように定めたサイズであり、
   前記副画像サイズ設定手段は、前記副画像中に表れる前記着目立体物のサイズと、前記中間画像に合成する、前記副画像撮影カメラが撮影した画像から抽出した前記着目立体物である立体物の画像部分の前記合成サイズとが一致するように、前記副画像のサイズを設定することを特徴とする周辺状況表示装置。
4. 自動車に搭載される、前記自動車周囲を撮影する複数のカメラと、表示装置とを備えた周辺状況表示装置において、周辺状況を表示する周辺状況表示方法であって、
   前記複数のカメラが撮影した画像を変換して、前記自動車上方より自動車周辺を俯瞰した俯瞰画像を生成する俯瞰画像生成ステップと、
   前記複数のカメラの内の少なくとも一つのカメラを副画像撮影カメラに設定し、当該副画像撮影カメラが撮影した画像から、前記自動車の前記副画像撮影カメラの撮影方向側のようすを表した副画像を生成する副画像生成ステップと、
   前記生成する副画像のサイズを設定する副画像サイズ設定ステップと、
   生成した俯瞰画像と共に生成した副画像を前記表示装置へ表示する表示ステップとを有し、
   前記副画像サイズ設定ステップにおいて、前記副画像撮影カメラが撮影した画像に映り込んでいる立体物を着目立体物として、前記副画像中に表れる前記着目立体物の縮尺と、前記俯瞰画像中に表れる前記着目立体物の縮尺とが一致するように、前記副画像のサイズを設定することを特徴とする周辺状況表示方法。