JP2007274377A - 周辺監視装置、プログラム - Google Patents

Abstract

【課題】視認性の良い画像を提供する周辺監視装置、および周辺監視装置を駆動するためのプログラムの提供。
【解決手段】本発明の周辺監視装置では、第一撮像部、第二撮像部、第三撮像部で撮影された画像を画像処理することにより、三つの撮影画像から一つの平面上に配置した統合鳥瞰図画像を生成（Ｓ２２０〜Ｓ２４０）し、その統合鳥瞰図画像を仮想カメラを視点として視点変換することにより、視点変換画像を生成する（Ｓ２５０）。そして、対象画素に対応する画素に対し、リア境界（またはサイド境界）から、その画素までの距離が近いほど、その境界を有した画像（リア境界ならばリア画像）に属する画素の輝度を参照する比率が大きくなるように重み付けして加重平均することにより、対象画素の輝度を算出する（Ｓ２６０）ことで表示画像とし、その表示画像を表示装置に出力する（Ｓ２７０）。
【選択図】図３

Description

本発明は、車両に搭載され、撮影された車両周辺の複数の画像を合成し、その合成画像を運転者等に提供する周辺監視装置、およびその周辺監視装置を動作させるためのプログラムに関する。

従来より車両周辺を撮影対象とし、その撮影対象の一部が重複するように配置された複数のカメラで、広角レンズを介して撮影した画像を画像処理することにより、路面上の物体を三次元情報として抽出し、その三次元情報を運転者の視点から見た画像である表示画像へと変換して、表示画像をモニタに表示する周辺監視装置が知られている（例えば、特許文献１参照）。

そして、この種の周辺監視装置では、異なるカメラで撮影された画像を、撮影対象の同一地点が一致するように（以下、一致させることにより重複する領域を重複領域とする）、撮影された複数の画像を合成することで、表示画像を生成している。

その画像を合成する際の重複領域に対する画像処理方法の一つとして、重複領域を形成するそれぞれの画像の輝度を加重平均することにより、重複領域に属する画素（以下、対象画素とする）の輝度を決定することが知られている（例えば、特許文献２参照）。

具体的には、対象画素の輝度は、下記式で表されるように、重複領域を形成するそれぞれの画像の輝度（下記式中、輝度１、輝度２）を、必要度により重み付けして加重平均することで決定される。

対象画素の輝度＝（輝度１×必要度＋輝度２×必要度）／必要度の和
なお、必要度として、カメラの台数の逆数や、使用者等によって入力される値が用いられる。つまり、必要度は、画像の重複領域毎に固定して与えられる固定値である。
特開２００５−１６７３０９号公報 特許第３３００３３４号

このように、特許文献２に記載された重複領域に対する画像処理方法を用いた周辺監視装置では、必要度が重複領域ごとに固定されているため、図１１（Ａ）に示すような、重複領域以外の領域である単独領域と重複領域との境界付近で、輝度の分布に差が生じた不連続な画像になるという問題があった。

また、一般的に周辺監視装置では、車両周辺の広い範囲を撮影する必要があることから広角レンズを用いているため、図１１（Ｂ）に示すように、撮影位置から距離が離れた位置に存在する物体が小さく撮影されてしまい、撮影された画像に基づいて生成された表示画像を視認しても、その物体を運転者等が認識し難いという問題があった。

つまり、従来の周辺監視装置では、表示画像の視認性が悪いと言う問題があった。
そこで、本発明は、視認性の良い画像を提供する周辺監視装置、および周辺監視装置を駆動するためのプログラムの提供を目的とする。

上記目的を達成するためになされた本発明の周辺監視装置では、少なくとも撮影対象の一部が重複するように配置された複数の撮影手段により、車両周辺を撮影対象として撮影され、撮影手段の数に対応した複数の撮影画像のそれぞれを、鳥瞰画像生成手段が、各撮影手段が配置された位置を視点として地表面座標系へ投影する透視変換を行うことにより鳥瞰画像を生成する。そして、視点変換手段が、鳥瞰画像生成手段で生成された鳥瞰画像のそれぞれを、単一座標平面上に配置し、かつ予め設定された一つの仮想視点から見た鳥瞰画像である共通視点鳥瞰画像に変換し、表示画像生成手段が、視点変換手段にて変換された複数の共通視点鳥瞰画像を合成することで表示画像を生成し、表示制御手段が、表示画像生成手段にて生成された表示画像の表示を制御する。

また、単一座標平面上で共通視点鳥瞰画像が互いに重複し合う領域を重複領域、共通視点鳥瞰画像の重複領域以外の領域を単独領域、重複領域に対応した表示画像の領域を合成領域とした上で、表示画像生成手段では、重み設定手段が、重複領域に位置する画素のそれぞれに、その重複領域と単独領域との境界からの距離が近いほど大きな値となる重みを設定し、輝度算出手段が合成領域に位置する画素を対象画素とし、その対象画素に対応する各重複領域上の画素の輝度を、その画素に設定された重みを用いて加重平均することで、対象画素の輝度を求める。

例えば、図１２に示すように、共通視点鳥瞰画像１と共通視点鳥瞰画像２とにより表示画像を生成する場合、共通視点鳥瞰画像１と共通視点鳥瞰画像２とが互いに重複する領域が重複領域（図中、共通視点鳥瞰画像１の該当領域を重複領域１、共通視点鳥瞰画像２の該当領域を重複領域２とする）となり、共通視点鳥瞰画像１の重複領域１以外の領域が単独領域１、共通視点鳥瞰画像２の重複領域２以外の領域が単独領域２となる。

そして、図１２に示すように、表示画像の同一な位置に位置している画素１（共通視点鳥瞰画像１の一つの画素）と画素２（共通視点鳥瞰画像２の一つの画素）とを加重平均する場合、単独領域１と重複領域１との境界から画素１までの距離が遠いため、画素１には、小さな値の重みが付与され、単独領域２と重複領域２との境界から画素２までの距離が近いため、画素２には、大きな値の重みが付与される。したがって、画素１と画素２との位置に対応する対象画素の輝度は、画素２の輝度を参照する比率（以下、参照比率とする）が大きなものとして算出される。

特に、対象画素が単独領域１と重複領域１との境界上である時に、共通視点鳥瞰画像１に属する画素１の比率を１、共通視点鳥瞰画像２に属する画素２の比率を０とし、対象画素が単独領域２と重複領域２との境界上である時に、共通視点鳥瞰画像１に属する画素１の比率を０、共通視点鳥瞰画像２に属する画素２の比率を１とする場合、単独領域と重複領域とが連続的な輝度の分布となる。

つまり、本発明の周辺監視装置によれば、単独領域と重複領域との境界からの距離が近いほど、その共通視点鳥瞰画像に属する画素の輝度を参照する比率を大きくなるように大きな値の重みを付与して、対象画素の輝度を算出するため、単独領域と重複領域との境界付近における輝度の分布を連続的で滑らかなものとすることができる。さらに、本発明の周辺監視装置によれば、単独領域と重複領域との境界からの距離に応じて重みを変化させるため、重複領域内の輝度の分布を滑らかなものとすることができる。

これらの結果、本発明の周辺監視装置によれば、当該周辺監視装置が搭載された車両の乗員に、視認性の良い表示画像を提供することができる。
また、本発明の周辺監視装置では、少なくともひとつの撮影手段が、車両後方を撮影対象とすることが望ましい。

本発明の周辺監視装置によれば、車両後方を撮影対象としているため、例えば、当該周辺監視装置が搭載された車両において走行車線を変更する時や、車両を後進させて駐車する時等のように、車両後方の安全確認のために必要な表示画像を提供することができる。

さらに、本発明の周辺監視装置の視点変換手段は、当該周辺監視装置を搭載した車両の車両前方に仮想視点を配置し、撮影手段が撮影画像を撮影する時の焦点距離より大きな焦点距離を用いて視点変換することが望ましい。

このような視点変換を行うことにより、撮影手段で撮影したときのレンズよりも、焦点距離の大きな望遠レンズを用いて撮影した場合と同等の画像が得られる。
したがって、本発明の周辺監視装置によれば、表示画像における車両の遠方の物体を拡大することができる上に、表示画像内における車両近傍に存在する物体の大きさと遠方に存在する物体の大きさの比を、小さなものとすることができる。この結果、表示画像内における遠方の物体の視認性を向上させることができる。

また、本発明の周辺監視装置では、車線変更予測手段が、周辺監視装置を搭載した車両の走行車線が変更されることを予測し、表示制御手段は、車線変更予測手段が走行車線が変更されることを予測した場合、表示画像の表示を開始する。

本発明の周辺監視装置によれば、走行車線を変更するタイミングで車両周辺の画像を表示するため、走行車線の変更時における車両周辺の状態を認識させることができる。
そして、本発明の周辺監視装置の車線変更予測手段では、操作検知手段が当該周辺監視装置を搭載した車両に対して加えられる操作を検知し、操作検知手段が走行車線の変更の際に加えられる特定操作を検知した場合、走行車線が変更されるものとする。

なお、操作検知手段は、少なくとも、ウインカーの操作、ハンドルの操作、アクセル開度のいずれか一つを検知することが望ましい。
また、本発明の車線変更予測手段では、情報取得手段がナビゲーション装置が出力する情報を取得し、情報取得手段が取得した情報が走行車線の変更を指示するものである場合、走行車線が変更されるものとする。

なお、請求項１から請求項７に記載された周辺監視装置の各手段は、コンピュータをこれら各手段として機能させるためのプログラムにより実現されていても良い。
このようなプログラムの場合、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードさせて起動することにより用いることができる。

以下、本発明の実施形態について図面と共に説明する。
〈装置構成〉
図１は、車両に搭載された周辺監視装置の概略構成を示したブロック図である。

周辺監視装置１は、入力画像を撮影するための第一撮像部２０、第二撮像部２５、第三撮像部３０と、それぞれの撮像部２０、２５、３０で撮影された撮影画像から、表示画像を生成する画像処理ユニット５と、画像処理ユニット５で生成された表示画像を表示する表示装置１００と、を備えている。

第一撮像部２０、第二撮像部２５、第三撮像部３０は、それぞれＣＣＤ素子からなる受光部を有し、広角レンズを介して受光部が受光し、デジタル画像を撮像するカメラ２１、２６、３１と、それぞれのカメラ２１、２６、３１で撮影された撮影画像の画像データを記憶するフレームメモリ２２、２７、３２と、を有している。なお、以下では、第一撮像部２０のカメラを第一カメラ２１、第一撮像部２０のフレームメモリを第一フレームメモリ２２、第二撮像部２５のカメラを第二カメラ２６、第二撮像部２５のフレームメモリを第二フレームメモリ２７、第三撮像部３０のカメラを第三カメラ３１、第三撮像部３０のフレームメモリを第三フレームメモリ３２、とする。

そして、第一カメラ２１は、車両の後方の予め規定された領域を撮影するように配置され、第二カメラ２６は、車両の右側方の予め規定された領域を撮影するように配置され、第三カメラ３１は、車両の左側方を撮影するように配置されている。さらに、第一カメラ２１、第二カメラ２７、第三カメラ３２は、第一撮像部２０で撮影される領域の一部と第二撮像部２５で撮影される領域の一部とが、撮影される画像の端部で重複し、第一撮像部２０で撮影される領域の一部と第三撮像部３０で撮影される領域の一部とが、撮影される画像の端部で重複するように、配置されている。

具体的に、本実施形態では、図２に示すように、第一カメラ２１は、車両の後端部における車幅方向の中心に配置され、第二カメラ２６は、車両の左側方（即ち、助手席側）における車両の端部に配置され、第三カメラ３１は、車両の右側方（即ち、運転席側）における車両の端部に配置されている。

また、表示装置１００は、画像処理ユニット５からの映像信号を受信し、映像信号に基づいた表示映像を表示するものであり、運転者等の乗員が運転中に視認可能な位置（例えば、ダッシュボード上や、インストルメントパネル表面）に配置されている。なお、表示装置１００は、周辺監視装置１専用に設けられたものでも良いし、ナビゲーション装置等の他の車載装置のモニタや、ヘッドアップディスプレイ装置等を利用しても良い。

そして、画像処理ユニット５は、第一撮像部２０、第二撮像部２５、第三撮像部３０のそれぞれで撮影された撮影画像に対する処理に必要なパラメータや、処理結果（即ち、画像処理により生成された中間画像データ）を記憶する第一メモリ群４０、第二メモリ群５０、第三メモリ群６０と、第一メモリ群４０、第二メモリ群５０、第三メモリ群６０に記憶された中間画像データを、単一平面上に配置するための統合パラメータを記憶する統合鳥瞰図用マップメモリ７０と、統合パラメータに基づいて単一平面上に配置された平面配置画像データを記憶する統合鳥瞰図画像保存用メモリ７５と、予め設定された仮想視点を視点とした共通視点画像データを生成するための視点変換パラメータを記憶する視点変換用マップメモリ８０と、視点変換パラメータに基づいて生成された共通視点画像データを記憶する視点変換画像保存用メモリ８５と、撮影画像から中間画像を経て、表示画像を生成するための各種処理を実行するＣＰＵ１０と、ＣＰＵ１０が処理を実行する際に必要となるデータを一時的に記憶するワークメモリ１５と、を備えている。

また、ＣＰＵ１０は、ウインカー（図示せず）の操作や操舵角センサー（図示せず）の情報、アクセル開度等に基づく、車両の状態をＥＣＵ（図示せず）等から取得可能に構成されている。

第一メモリ群４０は、撮影画像の収差を補正するために必要な収差補正パラメータを記憶する収差補正用マップメモリ４１と、収差補正パラメータに基づいて補正された補正画像データを記憶する補正画像保存用メモリ４２と、補正画像データを、それぞれのカメラの設置位置を視点とした鳥瞰画像データへと変換するための鳥瞰変換パラメータを記憶する鳥瞰変換用マップメモリ４３と、鳥瞰変換パラメータに基づいて変換された鳥瞰画像データを記憶する鳥瞰画像保存用メモリ４４と、を備えている。

また、第一メモリ群４０と同様に、第二メモリ群５０は、収差補正用マップメモリ５１、補正画像保存用メモリ５２、鳥瞰変換用マップメモリ５３、鳥瞰画像保存用メモリ５４、を備えている。さらに、第一メモリ群４０と同様に、第三メモリ群６０は、収差補正用マップメモリ６１、補正画像保存用メモリ６２、鳥瞰変換用マップメモリ６３、鳥瞰画像保存用メモリ６４、を備えている。

そして、補正画像保存用メモリ４２、５２、６２や、鳥瞰画像保存用メモリ４３、５３、６３、統合鳥瞰図画像保存用メモリ７５、視点変換画像保存用メモリ８５は、後述する画像合成処理において生成される中間画像を、読み書き可能なＲＡＭから構成されている。

さらに、収差補正用マップメモリ４１、５１、６１、鳥瞰変換用マップメモリ４２、５２、６２、統合鳥瞰図用マップメモリ７０、視点変換用マップメモリ８０は、ＲＯＭ（不揮発性メモリ）から構成され、後述する画像合成処理で使用する各種パラメータが格納されている。

具体的には、収差補正用マップメモリ４１には、第一カメラ２１のレンズの半径ｒｄ、そのレンズに固有の収差特性を表す係数ｋ１からｋ４、レンズの収差特性β１、β２、が収差補正パラメータとして格納されている。そして、収差補正用マップメモリ５１には、第二カメラ２６に対応した、ｒｄ、ｋ１〜ｋ４、β１、β２が、収差補正用マップメモリ６１には、第三カメラ３１に対応した、ｒｄ、ｋ１〜ｋ４、β１、β２、が格納されている。

また、鳥瞰変換用マップメモリ４３には、第一カメラ２１の設置位置の高さＨ、第一カメラ２１のレンズの焦点距離ｆ、第一カメラ２１の取り付け角度θ、第一カメラ２１の受光部におけるセルサイズ（即ち、受光部での一つのピクセルの大きさを示す指標）ｋ、が鳥瞰変換パラメータとして格納されている。ただし、鳥瞰変換用マップメモリ５３には、第二カメラ２６のＨ、ｆ、θ、ｋ、鳥瞰変換用マップメモリ６３には、第三カメラ３１のＨ、ｆ、θ、ｋ、が格納されている。

さらに、統合鳥瞰図用マップメモリ７０には、第一カメラ２１、第二カメラ２６、第三カメラ３１それぞれの設置位置ｘ０、ｙ０、第一カメラ２１、第二カメラ２６、第三カメラ３１それぞれの取り付け方向θ１、が統合鳥瞰パラメータとして格納されている。

そして、視点変換用マップメモリ８０には、仮想カメラが設置されているものとみなせる位置ｘ１、ｙ１、仮想カメラが設置されているものとみなせる位置の高さＨ１、仮想カメラの焦点距離ｆ１、仮想カメラの取り付け角度θ２、仮想カメラの受光部におけるセルサイズ（即ち、受光部での一つのピクセルの大きさを示す指標）ｋ１、が視点変換パラメータとして格納されている。

ただし、仮想カメラとは、仮想視点として予め規定された位置に配置されたカメラであり、第一撮像部２０、第二撮像部２５、第三撮像部３０のそれぞれのカメラ２１、２６、３１が備えているレンズの焦点距離よりも大きな焦点距離（本実施形態では、８ｍｍとする）を有するものである。なお、本実施形態における仮想カメラは、車両前方（本実施形態では、車両の後端から８ｍの位置）に配置され、かつ車両後方を撮影することが可能なように配置されている。

また、ＣＰＵ１０は、第一撮像部２０、第二撮像部２５、第三撮像部３０で撮影された画像（即ち、第一フレームメモリ２２、第二フレームメモリ２７、第三フレームメモリ３２に記憶された画像データ）から、マップメモリに記憶されたパラメータに基づいて、収差補正や鳥瞰画像への変換等の様々な画像処理により、表示画像を生成し、表示画像を表示装置１００に表示する画像合成処理を実行するものである。
〈画像合成処理について〉
つぎに、ＣＰＵ１０が実行する画像合成処理について図３に示すフローチャートを用いて説明する。

なお、画像合成処理は、周辺監視装置１が起動されると実行され（本実施形態では、エンジンに連動して起動されるものとする）、周辺監視装置１が停止（即ち、エンジンが停止）されるまで繰り返し実行される。

この画像合成処理が実行されると、まず、Ｓ２１０において第一撮像部２０、第二撮像部２５、第三撮像部３０に、それぞれの撮影範囲を撮影させ、その撮影された画像の画像データを、第一撮像部２０、第二撮像部２５、第三撮像部３０から取得する。

なお、画像データは、画像を構成する画素ごとに輝度データ（Ｒ、Ｇ、Ｂの緯度に関する情報）を有し、その輝度データの並びにより出力画像の座標を認識するものである。
続く、Ｓ２２０では、Ｓ２１０で取得したそれぞれの画像データを、第一から第三収差補正用マップメモリ４１、５１、６１に記憶された収差補正パラメータに基づいて収差補正し、収差補正することで生成された第一から第三補正画像データを、第一から第三補正画像保存用メモリ４２、５２、６２に記憶する。

つまり、レンズの半径をｒｄ、収差補正後の画像の座標（画像の中心を原点とする）をｘｂ、ｙｂ、それぞれのレンズに固有の収差特性を表す係数をｋ１からｋ４とした場合、レンズの収差特性β１は、（１）、（２）式によって表され、収差補正前の画像の座標（画像中心を原点とする）ｘａ、ｙａは、（３）式によって表される。

そこで、Ｓ２２０では、（１）、（２）、（３）式を逆変換した（４）、（５）、（６）式を用いて、撮影画像から収差による歪みを除去した収差補正画像へと変換する。
つまり、収差補正前の画像の座標を、（６）式に代入することにより、収差補正後の画像の座標が算出され、補正画像データが生成される。

この収差補正により、例えば、図４（Ａ）に示すような、画像枠の中央部（即ち、撮影領域の中心付近）に比べ、画像枠の端部（即ち、撮影領域の端部）が歪んだ（湾曲した）画像（より正確には、画像の座標）は、図４（Ｂ）に示すような、収差による湾曲除去された画像に変換される。

そして、その後、Ｓ２３０へと進む。
そのＳ２３０では、Ｓ２２０で第一から第三補正画像保存用メモリ４２、５２、６２に記憶された第一から第三補正画像データを、第一から第三鳥瞰変換用マップメモリ４３、５３、６３に記憶された鳥瞰変換パラメータを用いることにより、それぞれのカメラ設置位置を視点として、路面上の座標系である地表面座標系の画像データへと透視変換する。そして、透視変換された第一から第三鳥瞰画像データを、それぞれ第一から第三鳥瞰画像保存用メモリ４４、５４、６４に記憶する。

つまり、第一から第三補正画像データの座標を（７）式に代入することにより、第一から第三鳥瞰画像データが生成される。

なお、（７）式は、第一撮像部２０、第二撮像部２５、第三撮像部３０のそれぞれのカメラ２１、２６、３１の高さをＨ、それぞれのカメラ２１、２６、３１の焦点距離をｆ、それぞれのカメラ２１、２６、３１取り付け角度をθ、それぞれのカメラ２１、２６、３１受光部におけるセルサイズ（即ち、受光部での一つのピクセルの大きさを示す指標）をｋ、鳥瞰画像の座標をｘｃ、ｙｃ、とした場合、補正画像に撮影された物体を路面上に存在しているものとみなし、補正画像をそれぞれのカメラ設置位置から路面を見下ろした鳥瞰画像へと変換するためのものである。

この鳥瞰変換により、例えば、図５（Ａ）に示すような第一撮像部２０で撮影した車両後方の撮影画像から、図５（Ｄ）に示すような後方鳥瞰画像、図５（Ｂ）に示すような第二撮像部２５で撮影した車両の右側方における撮影画像から、図５（Ｅ）に示すような右側方鳥瞰画像、図５（Ｃ）に示すような第三撮像部３０で撮影した車両の左側方における撮影画像から、図５（Ｆ）に示すような左側方鳥瞰画像、が生成される。

そして、その後、Ｓ２４０へと進む。
そのＳ２４０では、Ｓ２３０で第一から第三鳥瞰画像保存用メモリ４４、５４、６４に記憶された第一から第三鳥瞰画像データを、統合鳥瞰図用マップメモリ７０に記憶された統合パラメータに基づき、一つの平面上に配置した平面配置画像データを生成する。そして、平面配置画像データを統合鳥瞰図画像保存用メモリ７５に記憶する。

つまり、第一から第三鳥瞰画像データの座標を（８）式に代入することにより、平面配置画像データが生成される。

なお、（８）式は、第一撮像部２０、第二撮像部２５、第三撮像部３０のそれぞれのカメラ２１、２６、３１の設置位置をｘ０、ｙ０、それぞれのカメラ２１、２６、３１の取り付け方向をθ１、統合鳥瞰図画像の座標をｘｄ、ｙｄ、とした場合、第一から第三鳥瞰画像データを回転移動及び平行移動させ、一つの座標平面上に配置する（即ち、一枚の画像とみなせるように鳥瞰画像を配置する）ためものである。

このような座標変換により、例えば、図５（Ｄ）、（Ｅ）、（Ｆ）に示すような三つの鳥瞰画像から、図６に示すような一枚の鳥瞰図画像とみなせる統合鳥瞰図画像が生成される。

そして、平面配置画像データを統合鳥瞰図画像保存用メモリ７５に記憶した後、Ｓ２５０へと進む。
そのＳ２５０では、Ｓ２４０で統合鳥瞰図画像保存用メモリ７５に記憶された平面配置画像データを、視点変換用マップメモリ８０に記憶された視点変換パラメータを用いることにより、仮想カメラを視点として視点変換（即ち、仮想カメラで撮影したような画像へと変換）することにより、視点変換画像データを生成する。そして、視点変換されることにより生成された視点変換画像データを、視点変換画像保存用メモリ８５に記憶する。

つまり、平面配置画像データの座標を（９）式に代入することにより、統合鳥瞰図にオフセットを与えた変換統合鳥瞰図の座標へと変換され、その変換統合鳥瞰図の座標を（１０）式に代入することにより、視点変換画像データが生成される。

なお、（９）式は、仮想カメラが設置されたものとみなせる位置をｘ１、ｙ１、仮想カメラで撮影した場合の統合鳥瞰図（以下、変換統合鳥瞰図とする）の座標をｘｄ´、ｙｄ´、とした場合、平面配置画像データを生成した時の原点から、仮想視点へと座標を移動させるためのものある。

そして、（１０）式は、仮想カメラが設置されたものとみなせるの位置の高さをＨ１、仮想カメラの焦点距離をｆ１、仮想カメラの取り付け角度をθ２、仮想カメラの受光部におけるセルサイズ（即ち、受光部での一つのピクセルの大きさを示す指標）をｋ１、視点変換画像の座標をｘｅ、ｙｅ、とした場合、平面配置画像データに対する変換統合鳥瞰図画像から、仮想カメラで撮影した画像である視点変換画像へと変換するためのものである。

この視点変換により、例えば、図６に示すような統合鳥瞰画像から、図７に示すような視点変換画像が生成される。
なお、図８に示すように、視点変換画像は、第一撮像部２０で撮影された領域であるリア画像、第二撮像部２５及び第三撮像部３０で撮影された領域であるサイド画像、から構成されている。そして、サイド画像は、サイド画像領域と、リア画像領域と重複する移行領域（以下、サイド移行領域とする）と、からなる。さらに、リア画像は、リア画像領域と、サイド画像領域と重複する移行領域（以下、リア移行領域とする）と、からなる。

そして、その後、Ｓ２６０へと進む。
そのＳ２６０では、サイド移行領域に位置する画素の輝度に対し、サイド移行領域とサイド画像領域との境界からの距離に応じて重み付けし、リア移行領域に位置する画素の輝度に対し、リア移行領域とリア画像領域との境界からの距離に応じて重み付けした上で、対応する位置に存在する画素（以下、対象画素とする）の輝度を加重平均により決定し、視点変換画像における移行領域（ここでは、リア移行領域とサイド移行領域の合成された領域を示す）の画像である移行領域画像を生成する。

つまり、対象画素に対応するサイド移行領域の画素の輝度Ｉｓ、対象画素に対応するリア移行領域の画素の輝度Ｉｒ、サイド移行領域とサイド画像領域との境界（以下、サイド境界とする）からの距離ｄｉｓｔ１、リア移行領域とリア画像領域との境界（以下、リア境界とする）からの距離ｄｉｓｔ２を、（１１）式に代入することにより、対象画素の輝度が一つずつ決定される。

ここで、図９（Ａ）は、移行領域に属する画素に対する重み付けについて模式的に示した説明図であり、図９（Ｂ）は、本画像合成処理における加重平均を模式的に示した説明図である。

まず、本実施形態では、図９（Ａ）に示すように、視点変換画像（図中、サイド画像領域、移行領域、リア画像領域）における長辺に沿う方向である水平方向（図中、矢印方向）の距離、つまり、サイド境界（図中、Ａ−Ａ）と直交する直線上のサイド境界と対象画素との距離（図中、ｄｉｓｔ１）や、リア境界（図中、Ｂ−Ｂ）と直交する直線上のリア境界と対象画素との距離（図中、ｄｉｓｔ２）、を用いて輝度の重み付けをする。

そして、本実施形態の加重平均では、図９（Ｂ）に示すように、ｄｉｓｔ１が小さくなると（即ち、対象画素の位置がサイド境界（図中Ａ）に近い場合）と、対象画素に対応するサイド移行領域の画素に対する重みを大きく（図中に示された二点鎖線がサイド移行領域に属する画素の重みを表す、対象画素がサイド境界上ならば、その重みを１とする）し、ｄｉｓｔ１が大きくなると（即ち、対象画素の位置がリア境界（図中Ｂ）に近い場合）と、その重みを小さくするもの（対象画素がリア境界上ならば、その重みを０とする）である。

なお、対象画素に対応するリア移行領域の画素の輝度は、ｄｉｓｔ２が小さくなると重みを大きくし、ｄｉｓｔ２が大きくなるとその重みを小さくする（図中に示された一点鎖線が、リア移行領域に属する画素の重みを表す）。

そして、移行領域に存在する全ての画素（即ち、全対象画素）の輝度を決定した後、Ｓ２７０へと進む。
そのＳ２７０では、Ｓ２６０で変換された移行領域の輝度を、Ｓ２５０で生成された視点変換画像の移行領域の輝度とした表示画像を生成する。

さらに、周辺監視装置１が搭載された車両の走行車線を変更するものと判断された時に、図１０に示すような、仮想視点から見た自車の模式的な画像を表示画像に合成して表示装置１００に表示する。具体的に、本実施形態では、周辺監視装置１が搭載された車両のウインカーが操作されたことを検知した場合、車両の走行車線を変更するものと判断する。

ただし、表示画像のリア画像領域やサイド画像領域では、それぞれの領域の座標に対応する撮影画像の座標の輝度が表示画像における輝度となる。
そして、その後Ｓ２１０へと戻る。

なお、ウインカーが操作されていない場合には、表示画像を表示せずに、Ｓ２１０へと戻る。
〈本実施形態の効果〉
以上説明したように、本実施形態の周辺監視装置１では、対象画素の輝度を算出する際、リア境界またはサイド境界から、その対象画素までの距離が近いほど、それらの境界を有した画像に属する画素の輝度を参照する比率を大きなものとして加重平均する。つまり、対象画素の位置がリア画像領域に近ければ、対象画素に対応するリア移行領域の画素の参照比率を大きなものとし、対象画素の位置がサイド画像領域に近ければ、対象画素に対応するサイド移行領域の画素の参照比率を大きなものとして、対象画素の輝度を算出する。

このため、周辺監視装置１によれば、リア画像領域またはサイド画像領域と移行領域との境界付近における輝度の分布を滑らかなものとすることができ、この結果、視認性の良い表示画像を運転者等に提供することができる。

さらに、周辺監視装置１によれば、移行領域に属する全ての画素に対し、リア境界またはサイド境界からの距離応じて、重み付けした上で加重平均することにより輝度を算出しているため、表示画像における移行領域内の輝度の分布を滑らかなものとすることができる。

また、本実施形態の周辺監視装置１では、車両の前方に配置した仮想視点を視点とし、撮影画像を撮影する際の焦点距離よりも大きな焦点距離を用いて、視点変換することで視点変換画像を得るため、車両の遠方の物体を拡大した画像を生成することができる上に、表示画像内において車両近傍に存在する物体の大きさと遠方に存在する物体の大きさの比を、小さなものとすることができる。
〈変形例〉
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において様々な態様にて実施することが可能である。

例えば、本実施形態において仮想視点として設定した仮想カメラは、これに限るものではない。つまり、仮想カメラの設置位置は、本実施形態において設定された車両の先端からの距離よりも、さらに遠い位置（即ち、本実施形態の設置位置よりもより前方）に設定されていても良い。さらに、仮想カメラの焦点距離は、本実施形態において設定された焦点距離よりも長いものでも良い。つまり、広角レンズの焦点距離よりも大きな焦点距離により視点変換画像が生成されていれば良い。

また、本実施形態における画像合成処理では、撮影画像から、鳥瞰画像、統合鳥瞰図画像、視点変換画像へと順番に生成したが、これらの座標変換をマップ上で行っても良い。つまり、第一カメラ２１、第二カメラ２６、第三カメラ３１の設置位置により、撮影画像の画素が、鳥瞰画像や統合鳥瞰図画像、視点変換画像のどの画素に対応するかを計算可能なため、撮影画像の座標と、視点変換画像の座標とを、対応付けたマップにより座標変換を実行しても良い。

このようなマップを用いて座標変換を実行することにより、撮影画像が撮影される度に座標変換することを省略できるため、画像合成処理の処理量を低減することができる。この結果、画像の撮影から、出力画像の表示までに要する時間を短縮することができる。

また、画像合成処理のＳ２６０で実施される輝度の重み付けに使用される距離は、水平方向の距離でなくとも良い。例えば、移行領域外にもけられた基準画素からの距離に応じて重み付けを行っても良いし、垂直方向の距離に応じて重み付けを行っても良い。

本実施形態の画像合成処理では、ウインカーが操作された場合に、走行車線を変更するものと判断して表示画像を表示したが、表示画像を表示する条件は、これに限るものではない。例えば、舵角、ヨーレート、車速等から、走行車線の変更を推定しても良いし、車両に搭載されたナビゲーション装置が、走行車線の変更を指示している時に走行車線の変更をするものと認識しても良い。

また、本実施形態の画像合成処理では、走行車線の変更をするものと判断された時に、表示画像を表示したが、表示画像を常時表示しても良い。
さらに、車両が後進するものと判断された時に、表示画像を表示しても良い。具体的には、シフトレバーが後進の位置にある場合に、表示画像を表示する。これにより、車両を後進させて駐車させる時に、車両後方の画像を視認することができる。

なお、本実施形態の画像合成処理では、走行車線を変更するものと判断された時に、表示画像を表示したが、走行車線を変更するものと判断された時に、画像を撮影しても良いし、視点変換画像や鳥瞰画像を生成するものでも良い。

また、通常の走行時（即ち、走行車線の変更をせずに車両を走行させている時）には、他の撮影画像を表示し（即ち、画像合成処理以外の処理を実行）、ウインカーの操作や、舵角、ヨーレート、車速、車両に搭載されたナビゲーション装置により車線変更や進路変更を指示等に基づき、走行車線を変更するものと判断された時に、本実施形態の画像合成処理を実行するもの（本処理の一部のみを実行することを含）でも良い。この場合、表示画像を表示する必要があるときにのみ画像を撮影するため、消費電力を抑制することができる。

なお、本実施形態における画像合成処理では、表示画像に自車の模式的な画像を合成して表示装置１００に表示したが、画像合成処理のＳ２６０で生成された表示画像をそのまま表示しても良い。

周辺監視装置の概略構成を示すブロック図である。 各カメラの設置位置を説明するための説明図である。 ＣＰＵが実行することにより、撮影された画像から表示画像を生成する画像合成処理を示すフローチャートである。 撮影された画像の収差補正についての説明図である。 撮影された画像と、鳥瞰変換された鳥瞰画像である。 画像処理により生成された統合鳥瞰図である。 統合鳥瞰図を仮想視点から投影した座標系に透視変換した視点変換画像である。 統合鳥瞰図を仮想視点から投影した座標系に透視変換した画像の重複領域を説明するための説明図である。 重複領域に属する対象画素の輝度を決定するための加重平均を模式的に示した概略図である。 周辺監視装置で表示される表示画像である。 従来の周辺監視装置で表示される表示画像である。 本発明における重み付けを説明するための説明図である。

符号の説明

１…周辺監視装置 ５…画像処理ユニット １０…ＣＰＵ １５…ワークメモリ ２０、２５、３０…撮像部 ２１、２６、３１…カメラ ２２、２７、３２…フレームメモリ ４０、５０、６０…メモリ群 ４１、５１、６１…収差補正用マップメモリ ４２、５２、６２…補正画像保存用メモリ ４３、５３、６３…鳥瞰変換用マップメモリ ４４、５４、６４…鳥瞰画像保存用メモリ ７０…統合鳥瞰図用マップメモリ ７５…統合鳥瞰図画像保存用メモリ ８０…視点変換用マップメモリ ８５…視点変換画像保存用メモリ １００…表示装置

Claims (8)

1. 車両周辺を撮影対象とし、少なくとも撮影対象の一部が重複するように配置された複数の撮影手段により撮影され、前記撮影手段の数に対応した複数の撮影画像のそれぞれを、各撮影手段が配置された位置を視点として地表面座標系へ投影する透視変換を行うことにより鳥瞰画像を生成する鳥瞰画像生成手段と、
   前記鳥瞰画像生成手段で生成された鳥瞰画像のそれぞれを、単一座標平面上に配置し、かつ予め設定された一つの仮想視点から見た鳥瞰画像である共通視点鳥瞰画像に変換する視点変換手段と、
   前記視点変換手段にて変換された複数の共通視点鳥瞰画像を合成することで表示画像を生成する表示画像生成手段と、
   前記表示画像生成手段にて生成された表示画像の表示を制御する表示制御手段と、
   を備えた周辺監視装置において、
   前記単一座標平面上で前記共通視点鳥瞰画像が互いに重複し合う領域を重複領域、前記共通視点鳥瞰画像の前記重複領域以外の領域を単独領域、前記重複領域に対応した前記表示画像の領域を合成領域として、
   前記表示画像生成手段は、
   前記重複領域に位置する画素のそれぞれに、その重複領域と前記単独領域との境界からの距離が近いほど大きな値となる重みを設定する重み設定手段と、
   前記合成領域に位置する画素を対象画素とし、その対象画素に対応する各重複領域上の画素の輝度を、その画素に設定された重みを用いて加重平均することで、前記対象画素の輝度を求める輝度算出手段と、
   を備えることを特徴とする周辺監視装置。
2. 前記撮影手段のうち少なくとも一つは、車両後方を撮影対象とすることを特徴とする請求項１に記載の周辺監視装置。
3. 前記視点変換手段は、当該周辺監視装置を搭載した車両の車両前方に仮想視点を配置し、前記撮影手段が撮影画像を撮影する時の焦点距離より大きな焦点距離を用いて視点変換することを特徴とする請求項２に記載の周辺監視装置。
4. 当該周辺監視装置を搭載した車両の走行車線が変更されることを予測する車線変更予測手段を備え、
   前記表示制御手段は、前記車線変更予測手段が走行車線が変更されることを予測した場合、前記表示画像の表示を開始することを特徴とする請求項１から請求項３のいずれかに記載の周辺監視装置。
5. 前記車線変更予測手段は、
   当該周辺監視装置を搭載した車両に対して加えられる操作を検知する操作検知手段を備え、
   前記操作検知手段が走行車線の変更の際に加えられる特定操作を検知した場合、走行車線が変更されるものとすることを特徴とする請求項４に記載の周辺監視装置。
6. 前記操作検知手段は、少なくとも、ウインカーの操作、ハンドルの操作、アクセル開度のいずれか一つを検知することを特徴とする請求項５に記載の周辺監視装置。
7. 前記車線変更予測手段は、
   ナビゲーション装置が出力する情報を取得する情報取得手段を備え、
   前記情報取得手段が取得した情報が走行車線の変更を指示するものである場合、走行車線が変更されるものとすることを特徴とする請求項４に記載の周辺監視装置。
8. コンピュータを請求項１ないし請求項７のいずれかに記載された当該周辺監視装置を構成する各手段として機能させるためのプログラム。