JP2008102620A - 画像処理装置 - Google Patents

Abstract

【課題】 広角画像を複数の視線方向軸に対して垂直な平面に投影することよって広角画像の歪みを低減することができる画像処理装置を提供する。
【解決手段】 広角画像を複数の視線方向軸に基づいて複数の小視野画像に分割し、分割された小視野画像を視線方向軸に垂直な平面に対して投影することにより、小視野画像の歪みを補正する画像・分割補正部２２を備えている。
【選択図】 図１

Description

本発明は、広角画像を処理する画像処理装置に関するものである。

従来より、重複した撮像範囲を有した２次元画像の情報から、重複撮像範囲にある物体の３次元位置情報を得る（ステレオ視処理）技術が知られている。特許文献１には、魚眼カメラから得られる２つの視差画像を用いて、広い視野範囲で撮像対象物のステレオ視処理を行う装置が記載されている。
国際公開ＷＯ９７／３１４８４号パンフレット

ステレオ視処理では、一般的に、撮像された複数の２次元画像の重複範囲を検出するマッチング処理と、マッチングされた重複範囲に対する３次元位置情報の演算処理が必要になる。特許文献１で使用されている広角レンズは、その撮像画像においてレンズの特性に起因した歪みを生じる。例えば、魚眼レンズから得られる円形の広角画像は、画像の中央部が膨らんで写る樽型歪みを有する。そのため、上記のような広角画像を用いてステレオ視をする場合、広角画像の歪みによってマッチング処理および３次元位置情報の演算処理が正しく行われないおそれがある。

本発明は、上記の事情に鑑みて為されたものであり、広角画像を複数の視線方向軸に対して垂直な平面に投影することよって広角画像の歪みを補正することが可能な画像処理装置を提供することを課題とする。

本発明に係る画像処理装置は、広角画像を複数の所定視線方向軸に基づいて複数の小視野画像に分割する画像分割手段と、前記画像分割手段によって分割された前記小視野画像を前記視線方向軸に垂直な平面に対して投影することにより、前記小視野画像の歪みを補正する画像補正手段と、を備えていることを特徴とする。本発明による画像処理装置によれば、歪みを含んだ広角画像は、複数の視線方向軸に垂直な小視野画像に分割されて補正される。これにより、広角画像の歪みを適切に低減することが可能となる。

前記画像分割手段は、隣り合う前記小視野画像が重複部を有するように前記広角画像を分割することを特徴とすることが好ましい。

重複範囲を有する広角画像を撮像する複数の撮像手段と、各撮像手段の広角画像を分割し補正して得られた小視野画像の相関性に基づいて異なる広角画像間において小視野画像を対応づけるマッチング手段と、を備えていることを特徴とすることが好ましい。

また、本発明に係る画像処理装置は、前記マッチング手段によって対応づけられた前記小視野画像の情報に基づいて前記重複範囲の３次元位置情報を導出する３次元情報導出手段を備えていることを特徴とすることが好ましい。

さらに、前記３次元情報導出手段によって導出された前記３次元位置情報に基づいて、俯瞰図を作成する画像作成手段を備えていることを特徴とすることが好ましい。

このようにすれば、ステレオ視処理のマッチング処理が、歪みの低減された小視野画像を用いて行われる。そして、ステレオ視処理の３次元情報の導出処理においては従来と同様なピンホールカメラモデルによって重複範囲の３次元位置情報が導出される。そのため、より正確なステレオ視処理が可能となる。さらに、俯瞰図の作成はより正確なステレオ視処理によって得られた３次元位置情報に基づいて行われるので、より正確な俯瞰図の作成が可能となる。

本発明の画像処理装置によれば、広角画像を複数の視線方向軸に対して垂直な平面に投影することよって広角画像の歪みを低減することが可能である。

以下、添付図面を参照して本発明の実施形態について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図示の便宜上、図面の寸法比率は説明のものと必ずしも一致しない。

本実施形態では、本発明に係る画像処理装置を、車両に搭載される周辺監視装置に適用する。本実施の形態に係る周辺監視装置は、運転者の周辺状況認知を支援するために、車両周辺に存在する物体（人、動物、自転車など）の三次元情報（特に、物体の位置）を検出し、安全性に影響を及ぼす位置に存在する物体が存在する場合には運転者に対して注意喚起を行う。

図１〜図３を併せて参照して本実施形態に係る周辺監視装置１について説明する。図１は、本実施形態に係る周辺監視装置１の構成概要図である。図２は、本実施形態に係るカメラの配置とカメラの撮像領域を示す平面図である。図３は、カメラ１３で撮像した魚眼画像の一例を示す図である。

周辺監視装置１では、４台のカメラによる各撮像画像に基づいて、各撮像画像の重複領域における物体の三次元情報を取得する。そして、周辺監視装置１では、検出した物体の位置に基づいてディスプレイ２８に車両周辺の俯瞰図を表示する。そのために、周辺監視装置１は、前方カメラ１１、右側方カメラ１２、左側方カメラ１３、後方カメラ１４、車両センサ類１５、ディスプレイ２８、スピーカ２９及び画像処理装置２を備えている。

カメラ１１〜１４は、広角画像を撮像する広角カメラであり、１８０度以上の画角を有するカメラである。本実施形態では、カメラ１１〜１４として魚眼画像を撮像する魚眼カメラを用いた形態を示す。カメラ１１〜１４は、略同一の高さ位置に配置される。図２に示すように、前方カメラ１１は車両３の前方中央に配置され、後方カメラ１４は車両３の後方中央に配置され、右側方カメラ１２は車両３の右側方中央に配置され、左側方カメラ１３は車両３の左側方中央に配置される。カメラ１１〜１４は、各方向を撮像し、その魚眼画像を画像信号として画像処理装置２に送信する。本実施の形態では、カメラ１１〜１４が特許請求の範囲に記載する撮像手段に相当する。

図２に示すように、前方カメラ１１の撮像領域は、車両３の前方の領域ＡＦ，ＡＲＦ，ＡＬＦである。後方カメラ１４の撮像領域は、車両３の後方の領域ＡＢ，ＡＲＢ，ＡＬＢである。右側方カメラ１２の撮像領域は、車両３の右側方の領域ＡＲ，ＡＲＦ，ＡＲＢである。左側方カメラ１３の撮像領域は、車両３の左側方の領域ＡＬ，ＡＬＦ，ＡＬＢである。領域ＡＲＦは前方カメラ１１の撮像領域と右側方カメラ１２の撮像領域との重複領域であり、領域ＡＬＦは前方カメラ１１の撮像領域と左側方カメラ１３の撮像領域との重複領域であり、領域ＡＲＢは後方カメラ１４の撮像領域と右側方カメラ１２の撮像領域との重複領域であり、領域ＡＬＢは後方カメラ１４の撮像領域と左側方カメラ１３の撮像領域との重複領域である。ここで、重複領域ＡＲＦ，ＡＬＦ，ＡＲＢ，ＡＬＢは、特許請求の範囲に記載する重複範囲に相当する。この重複領域ＡＲＦ，ＡＬＦ，ＡＲＢ，ＡＬＢについてはステレオ視による三次元情報が取得可能の領域である。それ以外の領域ＡＦ，ＡＢ，ＡＲ，ＡＬについてはステレオ視ができない領域である。図３には、ある時刻に、左側方カメラ１３で撮像した撮像領域ＡＬ，ＡＬＦ，ＡＬＢに対する魚眼画像の一例を示している。魚眼画像ＩＬＯにはガードレール４と歩道が写っている。

図１を参照して説明を続けると、車速センサ類１５は、車両３の位置や向きを検出するために使用されるセンサであり、車両の速度を検出する車速センサや、ステアリングの操舵角（あるいは、転舵輪の転舵角）を検出する舵角センサなどで構成される。それぞれの検出値は電気信号として画像処理装置２に送信される。

ディスプレイ２８は、画像処理装置２から画像表示信号を受信すると、その画像表示信号に応じた画像を表示する。スピーカ２９は、画像処理装置２から音声出力信号を受信すると、その音声出力信号に応じた音声を出力する。

画像処理装置２は、演算を行うマイクロプロセッサ、マイクロプロセッサに各処理を実行させるためのプログラム等を記憶するＲＯＭ、演算結果などの各種データを記憶するＲＡＭ等を備え、センサ情報取込部２０、処理結果記憶部２１、画像分割・補正部２２、対応画像推測部２３、ステレオ視処理部２４、仮想画像作成部２６、および情報出力部２７で構成されている。画像処理装置２内の各構成要素は、ハードウエア的に個別に構成されてもよいし、あるいは、共通のハードウエア上で稼働する各ソフトウエアによって構成されてもよい。これらのソフトウェアは別々のプログラム、サブルーチン等によって構成される場合もあるが、一部またはその大部分のルーチンを共有していてもよい。画像処理装置２では、カメラ１１，１２，１３，１４から各画像信号を受信するとともに、車両センサ類１５から各検出信号を受信する。そして、画像処理装置２では、物体の三次元位置情報に基づいて俯瞰図画像を作成しディスプレイ２８を利用して運転者に表示する。

センサ情報取込部２０では、カメラ１１〜１４から送信された画像信号と車両センサ類１５から送信された検出信号とを関連づけた画像データを取り込む。各信号から画像データへのデジタル変換は、カメラ１１〜１４及び車両センサ類１５内で行われてもよいし、センサ情報取込部２０にＡ／Ｄコンバータを設けて変換を行ってもよい。センサ情報取込部２０で取り込まれた画像データは、処理結果記憶部２１に格納される。

処理結果記憶部２１は、ＲＡＭやフラッシュメモリ、ハードディスクなどの記憶媒体により構成される。処理結果記憶部２１に格納された画像データをもとに、画像分割・補正部２２、対応画像推測部２３、ステレオ視処理部２４、仮想画像作成部２６は、各々所定の画像処理を行い、必要ならば処理結果を処理結果記憶部２１に格納する。

画像分割・補正部２２は、カメラ１１〜１４の画像データを処理結果記憶部２１から取得して、それぞれの画像データを後述する論理で複数の視線方向軸に基づいて複数の小視野画像データに分割する。そして、画像分割・補正部２２は、小視野画像データを各視線方向軸に垂直な平面に対して投影して補正する。補正された小視野画像データは、処理結果記憶部２１に格納される。画像分割・補正部２２は、特許請求の範囲に記載されている画像分割手段および画像補正手段に相当する。

対応画像推測部２３は、カメラ１１〜１４の補正された小視野画像データを処理結果記憶部２１から取得して、その小視野画像データにおいて後述する論理で相関度を算出する。そして、相関度の最も高い小視野画像データを対応づける。対応画像推測部２３の処理結果は、処理結果記憶部２１に格納される。対応画像推測部２３は、特許請求の範囲に記載されているマッチング手段に相当する。

ステレオ視処理部２４は、画像間マッチング部２４０と３次元情報導出部２４１とを備えている。ステレオ処理部２４では、隣合うカメラから撮像した画像データにもとづいて、ステレオ視処理により重複範囲にある被写体の３次元位置情報が算出される。

画像間マッチング部２４０は、対応画像推測部２３において対応づけされた小視野画像データ間の相関度から対応する画素位置を求める。画像間マッチング部２４０の処理結果は、３次元情報導出部２４１に出力される。

３次元情報導出部２４１は、画像間マッチング部２４０によって対応づけられた対応点の画素位置と画像の投影位置から対応点の３次元位置情報を求める。３次元情報導出部２４１の処理結果は、処理結果記憶部２１に出力される。３次元情報導出部２４１は特許請求の範囲に記載されている３次元情報導出手段に相当する。

仮想画像作成部２６は、ステレオ視処理部２４が出力した３次元位置情報を処理結果記憶部２１から取得して、それをもとに俯瞰図データを作成するものである。仮想画像作成部２６の処理結果は、情報出力部２７に出力される。画像作成部２６は、特許請求の範囲に記載された画像作成手段に相当する。

情報出力部２７は、仮想画像作成部２６で生成された俯瞰図データを画像表示信号に変換して送信する。物体が車両３から基準距離以内に存在すると判定した場合には、車両周辺に注意を要する物体が存在することを注意喚起する画像あるいはその物体の車両からの位置を示す画像を生成し、その画像を表示するための画像表示信号もディスプレイ２８に送信する。また、その場合には、車両周辺に注意を要する物体が存在することを注意喚起する音声メッセージを生成し、その音声メッセージを出力するための音声出力信号をスピーカ２９に送信する。

以下、本実施形態に係る周辺監視装置１の動作を具体的に説明する。図４は、この動作の処理を示すフローチャートである。この処理は、車両３の電源がオンにされてから所定のタイミングで繰り返し実行される。例えば、カメラ１１〜１４の画像取得レートに同期して、取得する画像１コマごと、あるいは、数コマおきに処理を行えばよい。

最初に、センサ情報取込部２０が前方カメラ１１、右側方カメラ１２、左側方カメラ１３、後方カメラ１４のそれぞれで撮影された魚眼画像と車両センサ類１５が検出した車速や舵角などのセンサ情報とを取得し、処理結果記憶部２１に格納する（ステップＳ１）。

次に、画像分割・補正部２２において、カメラ１１〜１４で取得した魚眼画像から分割された小視野画像が生成される（ステップＳ２）。

このステップＳ２について、図５〜図７を参照してこの処理を具体的に説明する。図５および図６は、画像分割・補正処理を説明する図である。図７は、図３に示された魚眼画像に対する小視野画像の一例を示す図である。ここでは、図３に示された魚眼画像ＩＬＯに対して９本の視線方向軸を設定して、魚眼画像ＩＬＯを分割・補正するケースを考える。なお、図５〜図７においては、９本の視線方向軸のうち、３本のみが図示されている。

図５を参照すると、ＨＬは左側方カメラ１３のカメラ中心ＯＣを中心として、左側方カメラ１３の撮像面側に展開される半球面である。視線方向軸は、この半球面の半径方向に設定される。ＣＬＦ、ＣＬ、ＣＬＢは、視線方向軸の例を示す。ＣＬＦ、ＣＬＢは、視線方向軸ＣＬを含む水平面上で、視線方向軸ＣＬを基準としてカメラ中心Ｏを基点に±４５度の向きに伸びる視線方向軸である。残り６本の視線方向軸は、図示されていないが視線方向軸ＣＬを基軸として上下および斜め±４５度方向に対して設定されている。ＳＬＦ，ＳＬ，ＳＬＢは、小視野画像が投影される仮想スクリーンの例を示す。仮想スクリーンＳＬＦ，ＳＬ，ＳＬＢは、それぞれ図６に示されるようなパラメータによって、設定される。ここで、ΩＨは投影横視野角度、ΩＶは投影縦視野角度、Ｚｖはカメラ中心ＯＣから仮想スクリーンまでの距離、Ｗは仮想スクリーン（小視野画像）の横幅をそれぞれ示す。

図７は、図３に示された魚眼画像ＩＬＯを図５の仮想スクリーンＳＬＦ、ＳＬ，ＳＬＢに投影して得られた小視野画像の例である。この小視野画像例は、投影横視野角度ΩＨ＝９０度、投影縦視野角度ΩＶ＝７０度の場合を示している。この場合、小視野画像ＩＬＦとＩＬ、ＩＬとＩＬＢはそれぞれ４５度の視野範囲を重複する重複部を有する。この重複部の領域は、認識したい物体の種類や大きさに応じて可変であってもよい。また、投影横視野角度ΩＨおよび投影縦視野角度ΩＶは、後述するように９０度以下が望ましい。

次に、魚眼画像の像点（ｕｐ，ｖｐ）を仮想スクリーン上の表示点（Ｘｐ，Ｙｐ）に投影する方法について説明する。魚眼画像の像点（ｕｐ，ｖｐ）と仮想スクリーン上の表示点（Ｘｐ，Ｙｐ）との関係は（１）式のように表される。

ここで、ｆ（）は魚眼カメラの特性関数、Ｌは魚眼画像の半径をそれぞれ示す。パラメータ（Ｘse’，Ｙse’，Ｚse’）は、アフィン変換によって（２）式のように表される。

ここで、λはカメラ向き横角度、ξはカメラ向きの縦角度、ωはカメラ向き回転角度をそれぞれ示す。パラメータ（Ｘse，Ｙse，Ｚse）は、（３）式のように表される。

ただし、Ｚｖは仮想スクリーンまでの距離を示し、（４）式のように表される。

したがって、（１）式右辺の逆行列を求めることによって、魚眼画像の像点（ｕｐ，ｖｐ）を仮想スクリーン上の表示点（Ｘｐ，Ｙｐ）に変換することができる。

図４を参照するとステップＳ２の処理に引き続いて、対応画像推測部２３においてステップＳ２で得られた小視野画像のうち隣合うカメラから得られた小視野画像間で相関度が算出され、相関度が最も高い小視野画像対の関連づけが行われる（ステップＳ３）。

このステップＳ３について、図８および図９を用いて具体的に説明する。図８および図９は異なるカメラによって得られた魚眼画像と９枚に分割された小視野画像例である。図８の小視野画像Ｕｉｍｇ[１]に対して図９の小視野画像Ｄｉｍｇ[１]〜Ｄｉｍｇ[９]の相関度をそれぞれ算出し、相関度がもっとも高いＤｉｍｇ[１]をＵｉｍｇ[１]に関連付ける。これをＵｉｍｇ[２]からＵｉｍｇ［９］までに対して実施する。図８および図９に示された例では、Ｕｉｍｇ[Ｉ]とＤｉｍｇ[Ｉ]（Ｉ＝１，２，・・・，９）が関連付けられる。この相関度を求める手法としては、例えば差分総和法や正規化相関法などのパターンマッチング手法を用いればよい。

図４を参照するとステップＳ３の処理に引き続いて、画像間マッチング部２４０においてステップＳ２で得られた小視野画像について、輪郭（エッジ）が抽出される（ステップＳ４）。エッジの抽出おいては、視差が発生する方向のエッジのみが行われる。例えば、上下に設置されたカメラでは、横方向のエッジが抽出される。同様に、左右方向のステレオ視であれば縦方向のエッジが抽出され、斜め方向であれば、視差が発生する斜め方向のエッジが抽出される。このエッジ抽出処理としては、既知の各種エッジ抽出手法（Ｓｏｂｅｌフィルタや方向差分等）を用いればよい。

続いて、ステップＳ３で対応付けられた小視野画像対のうちステレオ視処理対象とするものが選択される（ステップＳ５、ステップＳ６）。そして、ステップＳ５、Ｓ６において得られた小視野画像対に対してエピポーラ極線が求められる（ステップＳ７）。エピポーラ極線は、小視野画像対の間で対応点を探索するための探索点を絞るために導出される。図１０は、エピポーラ極線を説明する図である。Ｕｉｍｇ［Ｉ］およびＤｉｍｇ［Ｊ］は、Ｐ（Ｘ，Ｙ，Ｚ）に存在する対象物を二つのカメラから撮像したときの画像を示し、ステップＳ５およびステップＳ６において得られた小視野画像対に対応するものとする。Ｐ１（Ｘ１，Ｙ１）およびＰ２（Ｘ２，Ｙ２）は、それぞれＰ（Ｘ，Ｙ，Ｚ）に対する画像Ｕｉｍｇ［Ｉ］およびＤｉｍｇ［Ｊ］内の座標を示す。Ｅ１およびＥ２は、それぞれＵｉｍｇ［Ｉ］およびＤｉｍｇ［Ｊ］内に投影された互いのエピポーラ極線を示す。エピポーラ極線上の点は、（５）式のように表される。

ここで、Ｕｉｍｇ［Ｉ］およびＤｉｍｇ［Ｊ］は小視野画像であるのでピンホールカメラで撮像された画像と見立てることができる。よって、（５）式のＦ行列は、既知の位置情報を用いて導出可能なパラメータである。このＦ行列については、処理の事前に導出しておいてもよい。

図４を参照して処理の説明に戻ると、ステップＳ７の処理に引き続いて、Ｕｉｍｇ［Ｉ］のエピポーラ極線上の小領域を走査してエッジを含むかどうかを判定する（ステップＳ８）。小領域のサイズは、例えば、３×３画素や５×５画素などであり、カメラの解像度等に合わせてサイズを変更してもよい。エッジを含まない場合には、後述するステップＳ１２に処理が移行する。エッジを含む場合には、Ｄｉｍｇ［Ｊ］のエピポーラ極線Ｅ２上を走査して、Ｕｉｍｇ［Ｉ］で設定された小領域と最も相関度の高い小領域が探索されて、関連付けられる（ステップＳ９）。この相関度を求める手法としては、例えば差分総和法や正規化相関法などのパターンマッチング手法を用いればよい。図１１は、エピポーラ極線上の対応点探索を説明する図である。Ｓｉは、Ｕｉｍｇ［Ｉ］に対して設定された小領域であり、ＳｊはＤｉｍｇ［Ｊ］のエピポーラ極線Ｅ２上を走査して探索された小領域である。

図４を参照して処理の説明に戻ると、３次元情報導出部２４１においてステップＳ９で関連付けられた小領域の対応点に対して３次元位置座標が算出される（ステップＳ１０）。図１０を参照すると、対象物の位置Ｐ（Ｘ，Ｙ，Ｚ）と小視野画像Ｕｉｍｇ［Ｉ］およびＤｉｍｇ［Ｊ］内の座標Ｐ１（Ｘ１，Ｙ１）およびＰ２（Ｘ２，Ｙ２）との関係は、（６）式および（７）式のように表される。


ここで、Ｈ１は射影行列を示す。また、Ｐ１行列およびＰ２行列は、それぞれＵｉｍｇ［Ｉ］とＤｉｍｇ［Ｊ］とを撮像したカメラをピンホールカメラと見立てて得られるカメラパラメータである。Ｐ１行列およびＰ２行列については、処理の事前に導出しておいてもよい。

（６）式および（７）式より、（８）式が導かれる。

（８）式の右辺左の行列をＡ行列とすると、Ａの逆行列を求めることにより、対象物の位置Ｐ（Ｘ，Ｙ，Ｚ）は（９）式によって求められる。

ステップＳ１０に引き続いて、ステップＳ１０で得られた３次元位置情報と対応点情報とを魚眼画像の画素に関連づけて処理結果記憶部２１に記録する（ステップＳ１１）。対応点情報とは、例えば相関度やＵｉｍｇ［Ｉ］およびＤｉｍｇ［Ｊ］内の座標値や対応点が存在したかどうかを示すフラグなどである。

次に、小視野画像Ｕｉｍｇ［Ｉ］のエッジの全ての構成点について３次元位置情報の算出が終了したかを判定する（ステップＳ１２）。終了していない場合には、ステップＳ１３へ移行して、次のエッジ構成点についてステップＳ８〜Ｓ１２の処理を行うことにより、小視野画像Ｕｉｍｇ［Ｉ］内の全エッジについて３次元位置情報の算出を行う。全ての構成点について算出が終了した場合には、ステップＳ１４に処理が移行する。

ステップＳ１２で全エッジについて３次元位置情報の算出を終了した場合には、すべての小視野画像Ｕｉｍｇ［Ｉ］について３次元位置情報の算出が終了したかを判定する（ステップＳ１４）。終了していない場合には、ステップＳ１５へ移行して、次の小視野画像についてステップＳ６〜Ｓ１４の処理を行うことにより、分割されたすべての小視野画像について３次元位置情報の算出を行う。

ステップＳ１４ですべての小視野画像について３次元位置情報の算出を終了した場合には、３次元位置情報の重複部の調整を行う（ステップＳ１６）。すなわち、魚眼画像を小視野画像に分割する際に、小視野画像間で重複する範囲を有している場合には、ステップＳ１１で画素に関連づけられた相関度を参照して、最も大きな相関度に関連づけられた３次元位置情報を採用する。

上記ステップＳ１〜ステップＳ１６までの動作説明は、２つのカメラと１つのステレオ視領域（２つのカメラの撮像範囲の重複領域）に対して述べられている。図２に記載されたステレオ視領域は４つ存在するが、カメラの組合せとそのステレオ視領域を変えることでステップＳ１〜ステップＳ１６によって同様に処理される。

空間位置情報を導出したら、ステップＳ１７へと移行し、仮想画像作成部２６により、エレベーションマップを作成する。このエレベーションマップは、車両３の周辺を上から見た俯瞰図に対応したものであり、図１２に示されるように、等間隔の格子で区切られたマス内に高さ情報Ｅ（ｘ，ｙ）が記録されたものである。高さ情報に加えて、エッジ画素の位置、輝度・色情報等も合わせて記録される。図１３は、エレベーションマップから求められた俯瞰図の例である。車両３の周囲に、障害物として三角コーン５０、樹木５１、側溝５２、ガードレール５３が存在している。ここで、添字ｓを付した５０ｓ、５１ｓ、５３ｓは、それぞれの障害物により死角となっている影を表している。

その後、情報出力部２３が求められた俯瞰図に対する表示信号をディスプレイ２８に送信して、ディスプレイ２８が俯瞰図を表示する。また、障害物と車両３との距離が基準距離以下の場合には、音声メッセージを生成し、その音声メッセージを出力するための音声出力信号をスピーカ２９に送信する。

以上のように、本実施形態に係る周辺監視装置１によれば、画像分割・補正部２２は、魚眼画像ＩＬＯを撮像面側に展開される半球面ＨＬの半径方向に伸びる視線軸ＣＬＦ，ＣＬ，ＣＬＢに基づいて複数の小視野画像ＩＬＦ，ＩＬ，ＩＬＢに分割する。また、画像分割・補正部２２は、小視野画像ＩＬＦ，ＩＬ，ＩＬＢを視線方向軸ＣＬＦ，ＣＬ，ＣＬＢに垂直な仮想スクリーンＳＬＦ，ＳＬ、ＳＬＢに対して投影することにより歪みを補正する。仮想スクリーンＳＬＦ，ＳＬ、ＳＬＢは、半球面ＨＬ（魚眼画像ＩＬＯの射影変換元の平面）に近い平面で構成されているので、魚眼画像ＩＬＯの歪みを適切に低減できる。

また、画像間マッチング部２４０は、対応画像推測部２３において対応付けられた小視野画像対をもとに画像間マッチング処理を行う。そして、３次元情報導出部２４１は、画像間マッチング部２４０で対応付けられた画素に対してピンホールカメラモデルによって３次元位置情報を導出する。そのため、ステレオ視処理部２４においてより正確な３次元情報の導出が可能となる。

さらに、仮想画像作成部２６は、ステレオ視処理部２４のステレオ視処理によって導出された３次元情報をもとに画像作成を行う。そのため、仮想画像作成部２６においてより正確な俯瞰図の作成が可能となる。

図１４は、図３の魚眼画像ＩＬＯの全画像を分割せずに図５に示された仮想スクリーンＳＬに投影した際の投影画像を示す図である。（ａ）は投影視野角度ΩＨ＝３０度、（ｂ）はΩＨ＝６０度、（ｃ）はΩＨ＝９０度、（ｄ）はΩＨ＝１２０度、（ｅ）はΩＨ＝１５０度、（ｆ）はΩＨ＝１８０度、の場合の投影画像をそれぞれ示している。図１４を参照すると、ΩＨが増大して魚眼レンズの画角（１８０度）に近づくにつれて、投影画像の歪みや違和感が大きくなることが確認される。これに対して、本発明に係る画像処理装置２は、魚眼画像を視線方向軸に基づいて分割して投影するので、魚眼画像の全画像を図１４（ｆ）に示されるような大きな歪みを含まずに適切に補正できる。

なお、上述した実施形態は本発明に係る画像処理装置の一例を示すものである。本発明に係る画像処理装置は、上記実施形態に限られるものではなく、各請求項に記載した要旨を変更しないように上記実施形態を変形したものであってもよい。

実施形態に係る周辺監視装置１の構成概要図である。 実施形態に係るカメラの配置とカメラの撮像領域を示す平面図である。 カメラ１３で撮像した魚眼画像の一例を示す図である。 本発明に係る画像処理装置の動作処理を示すフローチャートである。 画像分割・補正処理を説明する図である。 画像分割・補正処理を説明する図である。 図３に示された魚眼画像に対する小視野画像の一例を示す図である。 魚眼画像と９枚に分割された小視野画像例である。 魚眼画像と９枚に分割された小視野画像例である。 エピポーラ極線を説明する図である。 エピポーラ極線上の対応点探索を説明する図である。 エレベーションマップの一例を示す図である。 俯瞰図の一例を示す図である。 魚眼画像を分割せずに投影した場合の投影画像を示す図である。

符号の説明

１…周辺監視装置、２…画像処理装置、３…車両、１１…前方カメラ、１２…右側方カメラ、１３…左側方カメラ、１４…後方カメラ、１５…車両センサ類、２０…センサ情報取込部、２１…処理結果記憶部、２２…画像分割・補正部、２３…対応画像推測部、２４…ステレオ視処理部、２６…仮想画像作成部、２７…情報出力部、２８…ディスプレイ、４、４０〜４６…ガードレール、５０…三角コーン、５１…樹木、５２…側溝、５３…ガードレール、２４０…画像間マッチング部、２４１…３次元情報導出部。

Claims (5)

1. 広角画像を複数の視線方向軸に基づいて複数の小視野画像に分割する画像分割手段と、
   前記画像分割手段によって分割された前記小視野画像を前記視線方向軸に垂直な平面に対して投影することにより、前記小視野画像の歪みを補正する画像補正手段と、
   を備えていることを特徴とする画像処理装置。
2. 前記画像分割手段は、隣り合う前記小視野画像が重複部を有するように前記広角画像を分割することを特徴とする請求項１に記載の画像処理装置。
3. 重複範囲を有する広角画像を撮像する複数の撮像手段と、
   各撮像手段の広角画像を分割し補正して得られた小視野画像の相関性に基づいて異なる広角画像間において小視野画像を対応づけるマッチング手段と、
   を備えていることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記マッチング手段によって対応づけられた前記小視野画像の情報に基づいて前記重複範囲の３次元位置情報を導出する３次元情報導出手段を備えていることを特徴とする請求項３に記載の画像処理装置。
5. 前記３次元情報導出手段によって導出された前記３次元位置情報に基づいて俯瞰図を作成する画像作成手段を備えていることを特徴とする請求項４に記載の画像処理装置。