JP2011254436A - 移動体検出装置及び移動体検出方法 - Google Patents

Abstract

【課題】広角の撮像範囲を有するカメラで撮影した非線形画像であっても移動体を検出することができる移動体検出装置を提供する。
【解決手段】車両に搭載され広角の撮像範囲を有するカメラで撮影した非線形画像を、予め設定した視角範囲の複数の画像に分割し共通のカメラ中心をもつ複数の線形な投影平面画像を生成する分割変換部と、複数の投影平面画像のそれぞれの動きベクトルを算出する動きベクトル算出部と、複数の投影平面画像の動きベクトルを解析し、移動体を判定する移動体判定部と、移動体判定部の判定結果を表示する表示部と、を具備する。
【選択図】図２

Description

本発明は、車両に搭載した広角カメラで車両周辺の映像を撮影し、カメラ画像を処理して移動体を検出する移動体検出装置及び移動体検出方法に関する。

従来、車両に複数のカメラを搭載し、自車両の前方や後方、或いは側方を撮影し、撮影した画像をもとに移動体を検出し、自車に接近する移動体を表示部に表示するようにした車両用画像表示装置が知られている。また撮像部を構成するカメラとして、魚眼カメラ等を用いて広視野の画像を撮影するようにした例もある。

特許文献１には、自車移動パラメータから線形な平面に投影された画像上の動きベクトルを予測し、実測ベクトルとの差異から静止物あるいは移動体の判定を行う方法が開示されている。

また特許文献２には、移動物体検知装置が開示されている。特許文献２では、移動観測手段によって観測された画像中の観測対象の動きベクトルを抽出し、動きベクトルを延長して動きベクトルが集中する点を求め、集中点の時間的位置変化を解析して移動物体を検知するようにしている。すなわち、線形な投影平面を前提としている。特許文献２の例は、車載カメラのようにカメラ位置が移動する場合においても、静止物の被写体と移動する被写体を判定できるようにしたもので、被写体を平面に投影し、投影した平面画像上の動きベクトルを算出し、動きベクトルの延長線上の交点を計算し、その交点の関係から移動物体を判定するものである。

従って、特許文献１および特許文献２ともに、投影された画像が線形な平面上で定義されているという前提があり、この前提のもとで何らかの線形予測を伴う解析を行っている。

しかしながら、車載カメラとして魚眼カメラや凸面鏡を用いたカメラのように、視野角が１８０度のカメラでは線形に投影される平面は無限大になるため、線形投影平面が定義できない。このため、視野角が１８０度を超える超広角カメラでは非線形な投影法を用いて、有限な平面に投影する。従って、線形な投影平面を前提とした解析方法は超広角カメラでは適用できず、移動体の検出ができない。

特開平５−２３３８１３号公報 特開平８−１９４８２２号公報

魚眼カメラや凸面鏡を用いたカメラのように視野角が１８０度、又は１８０度を超える車載カメラの場合、非線形な投影法を用いているため、線形平面を前提として予測する方法では移動体を検出することができない。

本発明はこのような事情に鑑み、広角の撮像範囲を有するカメラで撮影した非線形画像であっても移動体を検出することができる移動体検出装置及び移動体検出方法を提供することを目的とする。

請求項１記載の実施形態による移動体検出装置は、車両に搭載され広角の撮像範囲を有するカメラで撮影した非線形画像を、予め設定した視角範囲の複数の画像に分割し共通のカメラ中心をもつ複数の線形な投影平面画像を生成する分割変換部と、前記複数の投影平面画像のそれぞれの動きベクトルを算出する動きベクトル算出部と、前記複数の投影平面画像の前記動きベクトルを解析し、移動体を判定する移動体判定部と、前記移動体判定部の判定結果を表示する表示部と、を具備することを特徴とする。

請求項５に記載の実施形態による移動体検出方法は、車両に搭載され広角の撮像範囲を有するカメラで撮影した非線形画像を、予め設定した視角範囲を有する複数の画像に分割し共通のカメラ中心をもつ複数の線形な投影平面画像を生成し、前記複数の投影平面画像のそれぞれの動きベクトルを算出し、前記複数の投影平面画像の前記動きベクトルを解析して移動体を判定し、前記移動体の判定結果を表示部に表示することを特徴とする。

本発明の実施形態による移動体検出装置によれば、魚眼カメラ等の超広角カメラの撮影画像を複数の線形な分割投影平面画像に変換することで、動きベクトルに基づいた移動体の判定が可能になり、移動体の方向を判定して自車への接近を報知することができ、危険回避をすることができる。

本発明の一実施形態に係る移動体検出装置の構成を示すブロック図。 移動体検出部の詳細な構成を示すブロック図。 魚眼カメラで撮影した画像を概略的に示す説明図。 分割変換部の動作を説明する説明図。 ピンホールカメラモデルを示す説明図。 移動体判定部の動作を説明する説明図。 第２の実施形態に係る移動体検出装置の動作を説明する説明図。

以下、この発明の一実施形態に係る移動体検出装置について図面を参照して説明する。

図１は、本発明の一実施形態に係る移動体検出装置１００の構成を示すブロック図である。図１において、移動体検出部１０は、車両１に搭載したカメラ２０で撮影した画像を処理して移動体を検出し、表示部３０に検出結果を表示する。

カメラ２０は、例えば魚眼レンズカメラ等の視野角が１８０を超える超広角カメラであり、車両１に搭載され車両周辺の映像を撮影する。図１では、車両１の前方及び後方等にカメラ２０…を搭載した例を示している。以下の説明では、カメラ２０として魚眼レンズカメラ（魚眼カメラと称す）を用いた場合について述べる。

図２は、移動体検出部１０の詳細な構成を示すブロック図である。移動体検出部１０は、メモリ１１、分割変換部１２、動きベクトル算出部１３、移動体判定部１４、元画像変換部１５、接近方向判定部１６及び制御部１７を含む。

以下、移動体検出部１０の各部の機能と動作を説明する。制御部１７は、ＣＰＵ，ＲＯＭ，ＲＡＭ等を含むマイクロプロセッサであり、ＲＯＭに格納されたプログラムに従って移動体検出部１０の各部（メモリ１１、分割変換部１２、動きベクトル算出部１３、移動体判定部１４、元画像変換部１５、接近方向判定部１６）の動作を制御する。

カメラ２０は、１８０度以上の撮像範囲を有し、撮像面に非線形に投影した画像の撮像を行い、撮像信号をメモリ１１に書き込む。カメラ２０で撮影した画像（カメラ画像）を概略的に示すと、例えば図３のように非線形な画像となる。また図４は、カメラ２０の撮像範囲を示す平面図である。

分割変換部１２は、図４で示すように撮像画像を３つの視角範囲に分割し、分割投影平面画像を生成する。カメラ座標系として、カメラ２０の光軸をｚ軸、路面に水平の軸をｘ軸とし、路面に垂直の軸をｙ軸（図４ではｙ軸は紙面に垂直である）としたときのｘｙｚ座標系を考える。

図４に示すように、ｚ＝０の平面にカメラの非線形に投影された撮像面（図３に示すような画像）を置き、焦点距離ｆを半径とした半円に接する３つの分割投影平面１，２，３を想定する。これら分割投影平面１，２，３の画像は、３つの仮想カメラで撮影した画像とみなせる。即ち、共通のカメラ中心Ｏ（０，０，０）を持ち、３つの仮想カメラの光軸がｙ＝０の平面にある。中央部仮想カメラは、光軸ｚがカメラ２０の光軸と一致しており、左仮想カメラ及び右仮想カメラの光軸Ｌ，Ｒは、中央部仮想カメラの光軸ｚに対して±６０度だけ傾いている。

図４の例では、３つの仮想カメラが夫々６０度＋α度の視野角をカバーする（αは若干のオーバーラップを示す）。したがって、３つの仮想カメラは共通のカメラ中心（Ｏ）をもち光軸角度の異なるピンホールカメラとなる。

図５は、ピンホールカメラモデルを示す説明図である。図５において、２００はｚ＝ｆ（ｆは焦点距離）の投影平面であり、この投影平面２００の或る点における画素をＰ，Ｐ’で示している。画角は６０度＋αである。

各仮想カメラにおいて、視野角６０度＋α度の範囲で、撮像面（ｙ＝０）上の点は各投影平面上の点と１対１で対応する。この対応関係はカメラ２０の投影法を決定する数式から求めることができる。また予め求めた対応関係を変換テーブル（ＬＵＴ：look up table）として持っていてもよい。変換テーブル（ＬＵＴ）は、非線形の撮像画像の歪みを矯正するものであり、変換テーブルに基づいて撮像データが線形な投影平面画像に変換される。

分割変換部１２は次のような変換処理を行う。メモリ１１に蓄えられたカメラ２０の画像情報から、中央部６０度に相当する画像情報を選択して読み出し、変換テーブル（ＬＵＴ）で中央部平面画像に変換する。同様に左部６０度に相当する画像情報を選択し、変換テーブル（ＬＵＴ）で左部平面画像に変換する。また右部６０度に相当する画像情報を選択し、変換テーブル（ＬＵＴ）で右部平面画像に変換する。

動きベクトル算出部１３は、３つの平面画像の夫々の動きベクトルを算出する。

動きベクトル算出は、公知のブロックマッチングや勾配法等が利用できる。周知のように、焦点距離ｆのピンホールカメラモデル（図５）において、カメラ（自車）移動にともなって、静止物被写体に発生する投影平面ｘ−ｙにおける動きベクトル（ｕ，ｖ）^Ｔは、次式で表わされる。

ここでＲｘ，Ｒｙ，Ｒｚは、ｘ軸回り、ｙ軸回り、ｚ軸回りの自車回転成分、Ｔｘ，Ｔｙ，Ｔｚはｘ，ｙ，ｚ軸方向の自車並進成分を表している。

x、yは画像平面の画素位置を表し、ｚはカメラから被写体までの距離を表している。この式から自車（カメラ２０）の移動に伴う画像の動きが関係づけられる。

画像上のある点Ｐ（ｘ，ｙ）の動きベクトル（ｕ，ｖ）が関係づけられ、自車移動パラメータを何らかの手法で求められれば、静止物被写体の画面上の動きが予測できる。予測通りであれば静止物、予測と外れるのであれば移動体との判定ができる。したがって、上式に基づいて解析をすることにより、自車移動による静止物の動きと移動体特有の動きの判定を行うことができる。

移動体判定部１４は、線形予測判定により３つの平面画像の夫々の動きベクトルから３平面のそれぞれの移動体の検出を行う。例えば図６で示す中央部平面画像において、自車の動き方向をＡとしたとき、自車と違う動き方向Ｂを示す移動体（例えば横方向から進行してくる車両）があったときに、移動体と判断する。移動体の判定には各種の判定方法がある。

移動体判定部１４による移動体の判定結果は、元画像変換部１５で元のカメラ画像に重畳される。複数の分割投影平面に跨って移動する被写体も元の撮像面では連続した移動をする移動体と認識できる。

接近方向判定部１６は、移動体の動きベクトルから移動方向を判定し、自車への接近有無を判定し、接近の可能性の高い移動体がある場合に、運転者に視認できるような警告用の画像情報を生成し表示部３０に出力する。警告画像は、例えばどの方向から移動体が近付いているかを示す矢印等の情報である。したがって、表示部３０には、自車に前方或いは後方等から接近してくる他車や人等の移動体があれば的確に運転者に報知することができる。

次に本発明の第２の実施形態について説明する。第２の実施形態は、分割変換部１２の動作に特徴があり、カメラ２０で撮影した画像を２つの視角範囲に分割し、分割投影平面画像を生成する。即ち、図７に示すように、カメラ中心Ｏを共通とし、焦点距離ｆを半径とする半円に接した分割投影平面１，２を持つ仮想カメラを想定する。図７ではカメラ２０の光軸ｚに対して±４５度の光軸Ｌ，Ｒをもつ左仮想カメラと右仮想カメラを想定する。

図４の３平面分割を２平面分割に置き換えることで、以下同様の処理を行い、動きベクトル算出部１３は、２つの平面画像の夫々の動きベクトルを算出する。移動体判定部１４は、２つの平面画像の夫々の動きベクトルから２平面のそれぞれの移動体の検出を行う。元画像変換部１５では、元のカメラ画像に移動体判定部１４による判定結果を重畳する。接近方向判定部１６は、移動体の動きベクトルから移動方向を判定し、自車への接近有無を判定する。

以上説明した実施形態によれば、魚眼カメラ等の広角カメラの撮像画像を複数の分割投影平面画像に変換することで、動きベクトルに基づいた移動体の判定が可能になり、移動体の方向を判定して自車への接近を報知することができ、危険回避をすることができる。

尚、以上説明した実施形態では、分割変換部１２において３つ或いは２に分割する例を述べたが、それ以上に分割することもできる。またカメラ２０として魚眼カメラを用いる例を述べたが、凸面鏡を用いたカメラのように視野角が１８０度或いは１８０度以上のカメラを用いることもできる。また特許請求の範囲を逸脱しない範囲内で種々の変形が可能である。

１００…移動体検出装置
１０…移動体検出部
１１…メモリ
１２…分割変換部
１３…動きベクトル算出部
１４…移動体判定部
１５…元画像変換部
１６…接近方向判定部
１７…制御部
２０…カメラ
３０…表示部

Claims (7)

1. 車両に搭載され広角の撮像範囲を有するカメラで撮影した非線形画像を、予め設定した視角範囲の複数の画像に分割し共通のカメラ中心をもつ複数の線形な投影平面画像を生成する分割変換部と、
   前記複数の投影平面画像のそれぞれの動きベクトルを算出する動きベクトル算出部と、
   前記複数の投影平面画像の前記動きベクトルを解析し、移動体を判定する移動体判定部と、
   前記移動体判定部の判定結果を表示する表示部と、
   を具備することを特徴とする移動体検出装置。
2. 前記分割変換部は、１８０度以上の広角カメラ画像を、オーバーラップ部を有する１８０度以内の複数の画像に分割して複数の平面投影画像を生成することを特徴とする請求項１記載の移動体検出装置。
3. 前記移動体判定部は、前記動きベクトル算出部で算出した動きベクトルの方向をもとに、自車に接近する移動体の有無を判定することを特徴とする請求項１記載の移動体検出装置。
4. 前記移動体判定部の判定結果を分割前の撮像画像に重畳する元画像変換部と、
   前記元画像変換部の画像をもとに前記移動体の接近方向を判定し、前記移動体の接近を示す画像情報を前記表示部に表示する接近方向判定部を備えたことを特徴とする請求項１記載の移動体検出装置。
5. 車両に搭載され広角の撮像範囲を有するカメラで撮影した非線形画像を、予め設定した視角範囲を有する複数の画像に分割し共通のカメラ中心をもつ複数の線形な投影平面画像を生成し、
   前記複数の投影平面画像のそれぞれの動きベクトルを算出し、
   前記複数の投影平面画像の前記動きベクトルを解析して移動体を判定し、
   前記移動体の判定結果を表示部に表示することを特徴とする移動体検出方法。
6. 前記算出した動きベクトルの方向をもとに、自車に接近する移動体の有無を判定することを特徴とする請求項５記載の移動体検出方法。
7. 前記移動体判定部の判定結果を分割前の元画像に重畳し、
   前記判定結果が重畳された元画像をもとに前記移動体の接近方向を判定し、
   前記移動体の接近を示す画像情報を前記表示部に表示することを特徴とする請求項５記載の移動体検出方法。

Images