JP2005267388A - 画像処理装置 - Google Patents

Abstract

【課題】 撮像画像の画像面に対して平行でない方向のぶれ補正が可能な画像処理装置を提供することを課題とする。
【解決手段】 撮像画像におけるぶれを補正する画像処理装置であって、撮像手段６と、撮像手段６と対象物との相対運動を求める相対運動検出手段３，４，５，１１と、対象物が存在する平面を求める平面検出手段２，１０と、撮像手段による撮像画像から平面検出手段で求めた平面に基づいて相対運動検出手段で求めた相対運動と平行な画像面をもつ仮想画像を作成する仮想画像作成手段１２と、仮想画像作成手段で作成した仮想画像の画像面に平行なぶれを補正するぶれ補正手段１３と、ぶれ補正手段で補正したぶれ補正仮想画像を撮像手段による撮像画像の画像面に投影し、ぶれ補正画像を作成するぶれ補正画像作成手段１４とを備えることを特徴とする。
【選択図】 図１

Description

本発明は、撮像画像におけるぶれを補正する画像処理装置に関する。

ドライバの運転を支援するために、カメラで撮像した画像から前方の車両や道路上に描かれた車線（白線）等を認識するための装置が開発されている（特許文献１参照）。車載カメラで道路等の対象物を撮像する場合、自車や他車等の動きによって画像にぶれが発生する。ぶれは撮像時間中に対象物が動くことにより一枚の画像中の対象物がぼけて見えることであり、対象物を高精度に認識するためにはぶれを極力抑制する必要がある。

夜間やトンネル内あるいは雨やくもり等の周辺が暗い場合、認識に適した画像の明るさを保つためにはシャッタ速度を長くする必要がある。そのため、一回のシャッタ時間における自車や対象物の動きが大きくなり、ぶれも顕著になる。このような画像のぶれによってその後の対象物の認識が難しくなるので、認識の前処理で極力ぶれ補正を行う必要がある。カメラと対象物との相対運動が画像面に対して平行な方向の場合、カメラと対象物の相対運動をジャイロ等で求めることにより、逆フィルタ法等を用いて画像のぶれを補正することができる。
特開平１０−１１５８５号公報

しかし、車載カメラによる環境認識においては、カメラ側が奥行き方向に高速移動するので、カメラ（自車）と対象物との相対運動が画像面に対して垂直な方向となり、画像面に対して垂直な方向のぶれが支配的となる。奥行き方向の動きの場合、撮像画像では、任意の動きに対して手前側の対象物より奥側の対象物の動き量が少なくなる。したがって、カメラと対象物との奥行き方向の位置関係によって一回のシャッタ時間における動き量が異なるので、奥行き方向の位置によってぶれ量も異なり、画像面に対して垂直な方向（平行でない方向）へのぶれ補正はモデル化が非常に難しい。

そこで、本発明は、撮像画像の画像面に対して平行でない方向のぶれ補正が可能な画像処理装置を提供することを課題とする。

本発明に係る画像処理装置は、撮像手段と、撮像手段と対象物との相対運動を求める相対運動検出手段と、対象物が存在する平面を求める平面検出手段と、撮像手段による撮像画像から平面検出手段で求めた平面に基づいて相対運動検出手段で求めた相対運動と平行な画像面をもつ仮想画像を作成する仮想画像作成手段と、仮想画像作成手段で作成した仮想画像の画像面に平行なぶれを補正するぶれ補正手段と、ぶれ補正手段で補正したぶれ補正仮想画像を撮像手段による撮像画像の画像面に投影し、ぶれ補正画像を作成するぶれ補正画像作成手段とを備えることを特徴とする。

この画像処理装置では、相対運動検出手段により撮像手段と対象物との相対運動を求める。また、画像処理装置では、平面検出手段により対象物が存在する平面を求める。そして、画像処理装置では、求めた相対運動に対して平行な画像面をもつ撮像系を仮想し、仮想画像作成手段により対象物が存在する平面に基づいて撮像画像からその相対運動に平行な画像面をもつ仮想画像を作成する。この仮想画像では、撮像手段と対象物との奥行き方向の相対運動が画像面に対して平行な相対運動となり、撮像手段と対象物との奥行き方向の位置関係に関係なく動き量が一様となる。そこで、画像処理装置では、ぶれ補正手段により撮像手段と対象物との相対運動に基づいて仮想画像においてその画像面に平行なぶれ補正を施す。そして、画像処理装置では、ぶれ補正画像作成手段によりぶれ補正した仮想画像を撮像画像の画像面に投影し、撮像手段と対象物との奥行き方向のぶれ補正を施したぶれ補正画像を作成する。このように、画像処理装置では、撮像画像を対象物を上側から見た仮想画像に変換することにより、仮想画像において撮像画像の画像面に対して平行でない方向のぶれが画像面に対して平行な方向のぶれとなり、撮像画像の画像面に対して平行でない方向のぶれ補正が可能となる。そのため、ぶれ補正画像では、撮像手段に対する奥行き方向の対象物の位置に関係なくぶれ補正が施され、対象物の認識を高精度に行うことができる。特に、車載された撮像手段による撮像画像で道路等の対象物を認識する場合、撮像手段が奥行き方向を高速に移動するが、ぶれ補正画像から対象物を高精度に認識することができる。また、夜間やトンネル内あるいは雨やくもり等の周辺が暗くて撮像手段のシャッタ速度を長くする必要がある場合、一回のシャッタ時間おける撮像手段と対象物との相対運動量（ひいては、ぶれ量）が多くなるが、画像のぶれを極力抑制することができる。

本発明に係る画像処理装置は、撮像手段と、撮像手段と複数の対象物との複数の相対運動の候補を求める相対運動検出手段と、複数の対象物がそれぞれ存在する複数の平面の候補を求める平面検出手段と、撮像手段による撮像画像から平面検出手段で求めた複数の平面の候補に基づいて相対運動検出手段で求めた複数の相対運動の候補とそれぞれ平行な画像面をもつ仮想画像をそれぞれ作成する仮想画像作成手段と、仮想画像作成手段で作成した仮想画像の画像面に平行なぶれを補正するぶれ補正手段と、ぶれ補正手段で補正した複数のぶれ補正仮想画像を撮像手段による撮像画像の画像面にそれぞれ投影し、当該複数の投影されたぶれ補正仮想画像を複数の領域にそれぞれ分割し、当該複数の投影されたぶれ補正仮想画像の各領域画像から最適な領域画像を選択し、当該選択した領域画像によりぶれ補正画像を作成するぶれ補正画像作成手段とを備えることを特徴とする。

この画像処理装置は、撮像画像内に対象物が複数存在する場合に対して対応しており、相対運動検出手段により撮像手段と複数の対象物との相対運動をそれぞれ求めるとともに、平面検出手段により複数の対象物が存在する各平面をそれぞれ求める。そして、画像処理装置では、求めた複数の相対運動に対してそれぞれ平行な画像面をもつ複数の撮像系を仮想し、仮想画像作成手段により複数の対象物が存在する各平面に基づいて撮像画像からその複数の相対運動にそれぞれ平行な画像面をもつ仮想画像をそれぞれ作成する。さらに、画像処理装置では、ぶれ補正手段により撮像手段と複数の対象物との各相対運動に基づいて複数の仮想画像に対してその画像面に平行なぶれ補正をそれぞれ施す。このぶれ補正が施された各仮想画像では、任意の領域においてその領域に存在する対象物の平面に基づいて仮想画像が作成され、その対象物との相対運動に基づいてぶれ補正されている場合、適正な補正が施されていることになる。画像処理装置では、ぶれ補正画像作成手段によりぶれ補正した複数の仮想画像を撮像画像の画像面にそれぞれ投影し、その複数の投影されたぶれ補正仮想画像を所定の領域毎に分割する。そして、画像処理装置では、ぶれ補正画像作成手段により複数のぶれ補正仮想画像の各領域画像からぶれ補正が適正に施されている最適な領域画像を選択し、その選択した領域画像によりぶれ補正画像を作成する。このように、画像処理装置では、撮像画像中に複数の対象物が存在する場合でも、各対象物に対応した仮想画像を作成してそれぞれにぶれ補正を施すことによって、撮像画像の画像面に対して平行でないぶれ補正を各対象物が存在する領域毎に適正に行うことができる。そのため、ぶれ補正画像の各領域では撮像手段と対象物との奥行き方向の位置に関係なく適正にぶれ補正が施されおり、その各領域からなるぶれ補正画像により対象物の認識を高精度に行うことができる。

本発明の上記画像処理装置では、対象物を道路とすると好適である。

この画像処理装置では、対象物を静止物体かつ平面の道路とすることにより、撮像手段との相対運動を簡単に求めることができ、対象物が存在する平面も簡単に求めることができる。ちなみに、対象物が道路の場合、対象物が複数となるのは、例えば、道路の途中から坂道になり、水平面の道路と傾斜面の道路である。

本発明によれば、撮像画像の画像面に対して平行でない方向のぶれを補正することができる。

以下、図面を参照して、本発明に係る画像処理装置の実施の形態を説明する。

本実施の形態では、本発明に係る画像処理装置を、自動車に搭載され、レーンキープ装置に自動車前方の撮像画像を提供する画像処理装置に適用する。本実施の形態に係る画像処理装置は、道路（ひいては、車線を示す白線）の画像のぶれを抑制した撮像画像をレーンキープ装置に提供するために、道路を対象物としてぶれ補正を行う。本実施の形態は、２つの形態があり、第１の実施の形態が単一の平面からなる道路を対象とした単一の対象物の場合であり、第２の実施の形態が途中で勾配が変化する道路を対象とした複数の対象物の場合である。なお、本実施の形態に係る画像処理装置は、撮像画像の画像面に垂直な方向（平行でない方向）へのぶれの補正に特徴を有しており、以下の説明ではその撮像画像の画像面に垂直な方向へのぶれ補正について説明するが、撮像画像の画像面に平行な方向へのぶれの補正する機能を備えていてもよいしあるいは備えていなくてもよい。

図１〜図４を参照して、第１の実施の形態に係る画像処理装置１の構成について説明する。図１は、第１の実施の形態に係る画像処理装置の構成図である。図２は、車載カメラと仮想カメラ及び対象物（道路）の関係を示す図である。図３は、図１の画像処理装置における各画像の一例であり、（ａ）が撮像画像であり、（ｂ）が仮想画像であり、（ｃ）ぶれ補正仮想画像であり、（ｄ）がぶれ補正画像である。図４は、仮想画像への領域分割の一例を示す図である。

画像処理装置１では、自動車の前方を撮像し、その撮像画像におけるぶれを極力抑制したぶれ補正画像を作成する。特に、画像処理装置１では、カメラが移動することによって顕著に発生する撮像画像の画像面に垂直な方向へのぶれを補正する。そのために、画像処理装置１では、レーザレンジファインダ２、車速センサ３、ヨーレートセンサ４、操舵角センサ５、カメラ６及び画像ＥＣＵ[Electronic Control Unit]７を備えており、画像ＥＣＵ７に平面算出部１０、相対運動算出部１１、仮想画像合成部１２、ぶれ補正部１３、逆投影変換部１４及び画像出力部１５が構成される。

なお、第１の実施の形態では、カメラ６が請求項１に記載する撮像手段であり、車速センサ３、ヨーレートセンサ４、操舵角センサ５及び相対運動算出部１１が請求項１に記載する相対運動検出手段に相当し、レーザレンジファインダ２及び平面算出部１０が請求項１に記載する平面検出手段に相当し、仮想画像合成部１２が請求項１に記載する仮想画像作成手段に相当し、ぶれ補正部１３が請求項１に記載するぶれ補正手段に相当し、逆投影変換部１４が請求項１に記載するぶれ補正画像作成手段に相当する。

レーザレンジファインダ２は、レーザ光を対象物（道路）に照射し、その反射光を受光するまでの時間を計測することによって対象物との距離を検出するセンサである。レーザレンジファインダ２は、前方の道路にレーザ光が当るように設定され、一次元又は二次元に振ってレーザ光を前方の道路上に照射する。そして、レーザレンジファインダ２では、検出した道路との距離情報を距離信号ＬＳとして画像ＥＣＵ７に送信する。なお、レーザレンジファインダ２は道路の平面を検出するための情報を得るためのセンサであるが、道路平面を検出するために、道路をステレオ視して道路平面の傾きを検出するような他のセンサを用いてもよい。

車速センサ３は、車輪の回転速度等により自動車の速度を検出するセンサである。車速センサ３では、検出した車速情報を車速信号ＳＳとして画像ＥＣＵ７に送信する。ヨーレートセンサ４は、車両のヨーレート（回転角速度）を検出するセンサである。ヨーレートセンサ４では、検出したヨーレート情報をヨーレート信号ＹＳとして画像ＥＣＵ７に送信する。操舵角センサ５は、ステアリングシャフトの回転角と回転方向（ステアリングホイールから入力された操舵角と操舵方向）を検出するセンサである。操舵角センサ５では、検出した操舵角情報を操舵角信号ＡＳとして画像ＥＣＵ７に送信する。車速センサ３、ヨーレートセンサ４、操舵角センサ５は、画像処理装置１の専用のセンサでもよいし、あるいは、他の装置と共用されるセンサでもよい。なお、車速センサ３、ヨーレートセンサ４、操舵角センサ５は自動車の動きを検出するためのセンサであるが、自動車の動きを検出するために、ジャイロ等の他のセンサあるいはＧＰＳ受信機などの他の装置を用いてもよい。

カメラ６は、例えば、ＣＣＤ[Charge Coupled Device]カメラであり、画像処理装置１を搭載する自動車の前方かつ中央に取り付けられる。カメラ６では、自動車の前方を撮像し、その撮像したカラー画像（例えば、ＲＧＢ[Red Green Blue]による画像）を取得する。カメラ６では、その撮像画像のデータを撮像信号ＰＳとして画像ＥＣＵ７に送信する。カメラ６は、左右方向に撮像範囲が広く、道路の左右端まで撮像可能である。なお、カメラ６はカラーであるが、道路上の白線を認識できる画像を取得できればよいので、白黒のカメラでもよい。

画像ＥＣＵ７は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等からなり、各処理部が構成される。画像ＥＣＵ７では、各種センサ信号ＬＳ，ＳＳ，ＹＳ，ＡＳ及び撮像画像データからなる撮像信号ＰＳを取り入れ、その撮像画像にぶれ補正（特に、画像面に対して垂直方向のぶれ補正）を施す。そして、画像ＥＣＵ７では、そのぶれ補正画像を車線（白線）認識に利用するために、レーンキープ装置にぶれ補正画像を送信する。

画像ＥＣＵ７における各部を説明する前、図２を参照して、画像ＥＣＵ７で取り扱う座標系及びパラメータ行列について説明しておく。対象物である道路Ｒの三次元座標（ベクトルｘ）は、式（１）で表される。車載されるカメラ６は座標系（ｘ_ｒ，ｙ_ｒ，ｚ_ｒ）で示され、このカメラ６による撮像画像上の二次元座標（ベクトルｕ_ｒ）は式（２）で表される。また、カメラ６（画像処理装置１を搭載する自動車）の移動ベクトルはＶで表され、カメラ６と道路Ｒとの相対的な動きを示す。さらに、画像ＥＣＵ７では、この移動ベクトルＶ（相対動き）に平行な画像面Ｉａをもつ仮想カメラＩからなる仮想撮像系を想定する。仮想カメラＩは、撮像対象となっている道路Ｒの真上に配置され、その光軸が道路Ｒに対して垂直となるように設定される。仮想カメラＩは座標系（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）で示され、ｚ_ｉ軸と移動ベクトルＶとは垂直関係であり、この仮想カメラＩによる仮想画像上の二次元座標（ベクトルｕ_ｉ）は式（３）で表される。なお、仮想画像の画像面を相対動きに平行にするという観点では仮想撮像系（仮想カメラＩ）の光軸方向は一意に定まらないが、画素情報を有効に利用するという観点で光軸方向を対象物（道路Ｒ）が存在する平面に対して垂直としている。

カメラ６のパラメータ行列Ｐ_ｒは、式（４）で表され、三次元上におけるカメラ６で撮像される対象物とカメラ６との位置関係を示す。また、仮想カメラＩのパラメータ行列Ｐ_ｉは、式（５）で表され、三次元上における仮想カメラＩで撮像される対象物と仮想カメラＩとの位置関係を示す。道路Ｒの三次元座標系とカメラ６の二次元座標系とは、パラメータ行列Ｐ_ｒによって式（６）に示す関係が成り立つ。また、道路Ｒの三次元座標系と仮想カメラＩの二次元座標系とは、パラメータ行列Ｐ_ｉによって式（７）に示す関係が成り立つ

パラメータ行列Ｐ_ｒの各要素Ｐ_ｒ１１・・・は、式（１）で示す対象物である道路Ｒの三次元座標系、式（２）で示すカメラ６の二次元座標系やカメラ６の焦点距離から求めることができる。パラメータ行列Ｐ_ｉの各要素Ｐ_ｉ１１・・・は、式（１）で示す対象物である道路Ｒの三次元座標系、式（３）で示す仮想カメラＩの二次元座標系や仮想カメラＩの焦点距離から求めることができる。また、式（６）におけるｓと式（７）におけるｔは、任意の変数である。

それでは、画像ＥＣＵ７における各部について説明する。平面算出部１０では、撮像対象物である道路が存在する平面を求める。そのために、平面算出部１０では、距離信号ＬＳに基づいて三角測量により道路の各点に対する傾きを算出し、式（８）に示す平面式により道路が存在する平面を特定する。ちなみに、対象物が道路であり、対象物の形状が判っているので、対象物が予め定めた平面式上に存在すると仮定できる。なお、対象物が存在する平面が予め判らない場合、レーザレンジファインダ等で対象物の形状を求める必要がある。

式（８）のａ，ｂ，ｃは、対象物となる道路平面毎に定まる定数である。道路の上下方向や左右方向の勾配が変わると、ａ，ｂ，ｃの値が変わる。

相対運動算出部１１では、自車の動き（ひいては、カメラ６の動き）を算出する。そのために、相対運動算出部１１では、車速信号ＳＳに基づいて自車の移動量を算出し、ヨーレート信号ＹＳや操舵角信号ＡＳに基づいて移動方向を算出し、自車の動きを求める。対象物である道路は静物体であるので、この自車の動きが自車と道路との相対動きを表すことになる。

仮想画像合成部１２では、撮像画像から相対動きに平行な画像面をもつ仮想画像を合成する。そのために、仮想画像合成部１２では、撮像信号ＰＳを取り入れ、撮像画像を所定の領域に記憶させる。撮像画像としては、例えば、図３（ａ）に示すような自動車前方の道路（特に、白線）を含む領域を撮像した画像であり、画像にぶれが発生し、白線や自動車がぼけている（図中ではぼけが破線で示されている）。そして、仮想画像合成部１２では、道路が存在する平面を示す平面式（式（８））を用いて、撮像画像を道路を真上から撮像した画像（仮想画像）に変換する。相対動きに平行な画像面は道路に平行な画像面に相当するので、仮想画像は道路の真上から見た画像となり、仮想カメラの光軸が道路平面に垂直となる。具体的には、仮想画像合成部１２では、式（９）に示すようにカメラ６による撮像画像上の二次元座標（ベクトルｕ_ｒ）を仮想カメラＩによる仮想画像上の二次元座標（ベクトルｕ_ｉ）に変換するために（図２参照）、道路の平面式から式（１０）に示す投影変換行列Ｑを求める。

投影変換行列Ｑは、式（１０）に示すように、式（１１）に示す行列Ｐ_ｒ’と式（１２）に示す行列Ｐ_ｉ’に基づいて求めることができる。式（１１）に示す行列Ｐ_ｒ’は、式（４）のカメラ６のパラメータ行列Ｐ_ｒと式（８）の平面式から求められる。式（１２）に示す行列Ｐ_ｉ’は、式（５）の仮想カメラＩのパラメータ行列Ｐ_ｉと式（８）の平面式から求められる。仮想画像合成部１２では、投影変換行列Ｑを求めると、式（９）により撮像画像を仮想画像に変換する。仮想画像は、例えば、図３（ｂ）に示すような道路を真上から見た画像となり、画像にぶれがあり、白線等がぼけている（図中ではぼけが破線で示されている）。式（９）のｒは、任意の変数である。

仮想画像では、道路を真上から見た画像なので、自動車の奥行き方向の相対動き（すなわち、撮像画像における画像面の垂直方向の相対動き）が画像面に平行な方向の相対動きとなる。したがって、自動車が高速移動することによる撮像画像における画像面に対して垂直な方向のぶれも、仮想画像では画像面に対して平行な方向のぶれとなる。この画像面に対して平行な方向のぶれに対しては、従来のぶれ補正方法により、ぶれ補正を施すことができる。

ぶれ補正部１３では、仮想画像に対してぶれ補正を行う。そのために、ぶれ補正部１３では、仮想画像を矩形の小領域に分割する。この領域分割は、図４に示すように、隣接する領域と重なる部分を有するような領域が設定され、各領域に分割される。このように領域を分割してぶれ補正を行うのは、対象物（道路）以外もの（例えば、他の自動車）が画像に含まれていると、仮想画像でのぶれが画像面に平行な方向なぶれになっていないので、ぶれ補正を正確に行うことができない。そこで、仮想画像全体を一度にぶれ補正するのではなく、小領域に分け、対象物と対象物以外ものとを分離してぶれ補正を行う。そして、ぶれ補正部１３では、カメラ６と道路との相対動きに基づいて、各領域に対して逆フィルタ法等のぶれ補正方法によりぶれ補正を行う。そして、ぶれ補正部１３では、ぶれ補正を施した全ての領域を合成し、ぶれ補正仮想画像を生成する。ぶれ補正仮想画像は、例えば、図３（ｃ）に示すような道路のみのぶれが抑制された画像であり、白線のぼけが解消されている（図中では実線によってぼけがないことを示している）。ちなみに、道路以外の自動車等のぶれは抑制されないが、これら非対象物はレーンキープ装置における認識に関係ないので、ぶれがあっても問題はない。

逆投影変換部１４では、ぶれ補正仮想画像を撮像画像の画像面に逆投影する。そのために、逆投影変換部１４では、投影変換行列Ｑの逆行列Ｑ^−１を求める。そして、逆投影変換部１４では、この逆行列Ｑ^−１を用いて式（１３）によりぶれ補正仮想画像を変換し、ぶれ補正画像を生成する。式（１３）のｑは、任意の変数である。ぶれ補正画像は、例えば、図３（ｄ）に示すような撮像画像において道路のぶれが補正された画像であり、白線のぼけが解消されている（図中では実線によってぼけがないことを示している）。

画像出力部１５では、ぶれ補正画像のデータを画像信号ＩＳとしてレーンキープ装置に送信する。

図１を参照して、画像処理装置１の動作を図５のフローチャートに沿って説明する。図５は、図１の画像ＥＣＵにおける処理を示すフローチャートである。

画像処理装置１では、カメラ６により一定時間毎に自動車の前方を撮像する。そして、画像処理装置１では、その撮像画像を一定時間毎に画像ＥＣＵ７に取り入れ、画像ＥＣＵ７内に保持する（Ｓ１１）。

画像処理装置１では、車速センサ３、ヨーレートセンサ４、操舵角センサ５により自車の走行状態を検出し、その検出信号ＳＳ，ＹＳ，ＡＳを画像ＥＣＵ７に取り入れる。画像ＥＣＵ７では、検出信号ＳＳ，ＹＳ，ＡＳに基づいて自車の動き（移動量や移動方向等）を算出し、カメラ６と対象物である道路との相対動きとする（Ｓ１２）。

画像処理装置１では、レーザレンジファインダ２により道路上の各位置と自車との距離を検出し、その検出信号ＬＳを画像ＥＣＵ７に取り入れる。画像ＥＣＵ７では、その検出信号ＬＳに基づいて三角測量により道路の各位置での傾きを算出し、対象物である道路が存在する平面を求める（Ｓ１３）。

画像ＥＣＵ７では、道路が存在する平面を示す平面式（式（８））に基づいて、式（１０）により相対動きに平行な画像面をもつ仮想撮像系による仮想画像を合成するための投影変換行列Ｑを算出する（Ｓ１４）。そして、画像ＥＣＵ７では、式（９）により、投影変換行列Ｑを用いて撮像画像を仮想画像の画像面に投影し、仮想画像を合成する（Ｓ１５）。

画像ＥＣＵ７では、仮想画像を小領域に分割し、小領域毎に画像面に平行な方向のぶれを補正する（Ｓ１６）。そして、画像ＥＣＵ７では、ぶれ補正を施した小領域画像からぶれ補正仮想画像を生成する（Ｓ１６）。

画像ＥＣＵ７では、投影変換行列Ｑの逆行列Ｑ^−１を算出する。そして、画像ＥＣＵ７では、式（１３）により、逆行列Ｑ^−１を用いてぶれ補正仮想画像を撮像画像の画像面に逆投影変換し、ぶれ補正画像を生成する（Ｓ１７）。そして、画像ＥＣＵ７では、そのぶれ補正画像をレーンキープ装置に出力する（Ｓ１８）。

この画像処理装置１によれば、自動車が高速移動によって撮像画像の画像面に垂直方向のぶれが発生した場合でも、道路を真上から撮像した仮想画像に変換することによって対象物である道路のぶれを補正できる。そのため、画像処理装置１で生成したぶれ補正画像では、道路のぶれが極力抑制され、道路（特に、白線）を高精度に認識できる。また、夜間やトンネル内あるいは雨やくもり等により周辺が暗くて、シャッタ速度を遅くしなければならない場合、ぶれが顕著になるが、道路に対するぶれを抑制でき、道路の認識が可能である。特に、画像処理装置１では、対象物を平面かつ静物体の道路としているので、対象物が存在する平面を簡単に求めることができ、相対動きも自車の動きによって簡単に求めることができる。

図６及び図７を参照して、第２の実施の形態に係る画像処理装置２１の構成について説明する。図６は、第２の実施の形態に係る画像処理装置の構成図である。図７は、画像における各画素の輝度値を示す一例であり、（ａ）がぶれのない画像であり、（ｂ）がぶれのある画像である。なお、第２の実施の形態では、第１の実施の形態に係る画像処理装置１と同様の構成については同一の符号を付し、その説明を省略する。

画像処理装置２１は、画像処理装置１と同様に撮像画像の画像面に垂直な方向へのぶれを補正するが、対象物が１つではなく複数有る場合に対応した装置である。対象物は、道路であるが、撮像画像に写っている道路の勾配が変化しているために道路が存在する平面が複数ある。例えば、水平の道路が上り坂になり、撮像画像において水平面の道路と傾斜面の道路が存在する場合である。画像処理装置２１は、レーザレンジファインダ２、車速センサ３、ヨーレートセンサ４、操舵角センサ５、カメラ６及び画像ＥＣＵ２７を備えており、画像ＥＣＵ２７に平面候補算出部３０、相対運動候補算出部３１、仮想画像合成部３２、ぶれ補正部３３、逆投影変換部３４、最適補正画像選択部３５及び画像出力部１５が構成される。

なお、第２の実施の形態では、カメラ６が請求項２に記載する撮像手段であり、車速センサ３、ヨーレートセンサ４、操舵角センサ５及び相対運動候補算出部３１が請求項２に記載する相対運動検出手段に相当し、レーザレンジファインダ２及び平面候補算出部３０が請求項２に記載する平面検出手段に相当し、仮想画像合成部３２が請求項２に記載する仮想画像作成手段に相当し、ぶれ補正部３３が請求項２に記載するぶれ補正手段に相当し、逆投影変換部３４及び最適補正画像選択部３５が請求項２に記載するぶれ補正画像作成手段に相当する。

画像ＥＣＵ２７も、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなり、各種センサ信号ＬＳ，ＳＳ，ＴＳ，ＡＳ及び撮像画像データからなる撮像信号ＰＳを取り入れ、その撮像画像にぶれ補正を施す。そして、画像ＥＣＵ２７では、そのぶれ補正画像をレーンキープ装置に送信する。

平面候補算出部３０では、対象物である道路が存在する平面の候補を複数求める。そのために、レーザレンジファインダ２では、二次元に振ってレーザ光を道路上に照射し、自車からの奥行き方向の位置を変えた道路との距離を検出する必要がある。というのは、道路が途中で勾配が変化していることを検出するために、自車から所定間隔毎に離れた位置での勾配情報が必要となるからである。平面候補算出部３０では、距離信号ＬＳに基づいて三角測量により道路の各位置での傾きを算出し、式（８）に示す平面式により道路が存在する平面を複数特定する。道路が存在する平面式が複数個求まるが、各平面式は他の平面式を微小な並進回転移動した式となる。

相対運動候補算出部３１では、自車の動き（ひいては、カメラ６の動き）を算出し、カメラ６と複数の道路との相対動きの候補を求める。自車の動きの算出方法は、第１の実施の形態に係る相対運動算出部１１と同様の算出方法である。対象物が複数の場合、自車と複数の対象物との相対動きをそれぞれ求める必要があるが、対象物全てが静物体の道路なので、自車の動きが自車と各対象物との相対動きに相当し、自車が走行する道路勾配が変なすると自車の動きも変わり、新たな相対動きが得られる。

仮想画像合成部３２では、撮像画像から相対動きに平行な各画像面をもつ複数の仮想画像を合成する。そのために、仮想画像合成部３２では、道路が存在する平面を示す各平面式を用いて、撮像画像を異なる勾配の道路を真上からそれぞれ撮像した画像（仮想画像）に変換する。仮想カメラの光軸が各道路平面にそれぞれ垂直となるように、勾配が異なる道路毎に仮想画像を作成する。具体的には、仮想画像合成部３２では、各平面式から式（１０）に示す投影変換行列Ｑをそれぞれ求める。そして、仮想画像合成部３２では、各投影変換行列Ｑから、式（９）により撮像画像を仮想画像にそれぞれ変換する。

ぶれ補正部３３では、複数の仮想画像に対してぶれ補正をそれぞれ行い、複数のぶれ補正仮想画像を生成する。ぶれ補正の方法は、第１の実施の形態に係るぶれ補正部１３と同様である。この各ぶれ補正仮想画像では、対象物である道路のみが適正にぶれが補正され、対象物以外もの（勾配が異なる道路も含む）が写っている画像のぶれは適正に補正されていない。

逆投影変換部３４では、複数のぶれ補正仮想画像を撮像画像の画像面にそれぞれ逆投影する。逆投影変換部３４では、各投影変換行列Ｑの逆行列Ｑ^−１をそれぞれ求める。そして、逆投影変換部３４では、各逆行列Ｑ^−１を用いて式（１３）によりぶれ補正仮想画像をそれぞれ変換し、複数の逆投影変換画像を生成する。この複数の逆投影変換画像ではぶれ補正が適正に施されている領域と施されていない領域があり、逆投影変換画像毎にぶれ補正が適正に施されている領域が異なっている。一般に、ぶれ補正が適正に行われている画像は、エッジ度が大きくなる傾向にある。例えば、各画素の輝度値でエッジ度を判定する場合、図７に示すように、ぶれ補正が施されている場合には隣接する画素間での輝度差が大きくなり（図７（ａ）参照）、ぶれ補正が施されていない場合には隣接する画素間での輝度差が小さくなる（図７（ｂ）参照）。

最適補正画像選択部３５では、複数の逆投影変換画像から適正なぶれ補正が施されている領域を選択し、ぶれ補正画像を生成する。そのために、最適補正画像選択部３５では、まず、複数の逆投影変換画像を矩形の小領域にそれぞれ分割する。そして、最適補正画像選択部３５では、式（１４）の評価式により、各逆投影変換画像の各小領域の評価値（エッジ度）を算出する。そして、最適補正画像選択部３５では、複数の逆投影変換画像において対応する小領域の評価値をそれぞれ比較し、最大の評価値を示す小領域をそれぞれ選択する。さらに、最適補正画像選択部３５では、選択した小領域を合成し、ぶれ補正画像を生成する。

式（１４）では、各小領域画像のｘ方向における隣接する画素間の輝度差とｙ方向における隣接する画素間の輝度差に基づいて評価値を求めており、評価値が大きいほどぶれの抑制された画像である。なお、評価方法としては式（１４）による評価値を算出することによって評価する方法に限定することなく、様々な評価方法を適用してよい。

図６を参照して、画像処理装置２１の動作を図８のフローチャートに沿って説明する。図８は、図６の画像ＥＣＵにおける処理を示すフローチャートである。

画像処理装置２１では、カメラ６により一定時間毎に自動車の前方を撮像し、その撮像画像を画像ＥＣＵ２７に取り入れる（Ｓ２１）。

画像処理装置２１では、各センサ３、４、５からの検出信号ＳＳ，ＹＳ，ＡＳを画像ＥＣＵ２７に取り入れる。画像ＥＣＵ２７では、検出信号ＳＳ，ＹＳ，ＡＳに基づいてカメラ６と対象物である道路との相対動きの候補を算出する（Ｓ２２）。

画像処理装置２１では、レーザレンジファインダ２からの検出信号ＬＳを画像ＥＣＵ２７に取り入れる。画像ＥＣＵ２７では、その検出信号ＬＳに基づいて道路の各位置での勾配を算出し、複数の対象物である勾配が異なる各道路が存在する平面の候補を求める（Ｓ２３）。

画像ＥＣＵ２７では、複数の道路をそれぞれ示す各平面式に基づいて、式（１０）により相対動きの候補にそれぞれ平行な画像面をもつ複数の仮想撮像系による仮想画像を合成するための投影変換行列Ｑをそれぞれ算出する（Ｓ２４）。そして、画像ＥＣＵ２７では、式（９）により、各投影変換行列Ｑを用いて撮像画像を仮想画像の画像面にそれぞれ投影し、複数の仮想画像を合成する（Ｓ２５）。

画像ＥＣＵ２７では、複数の仮想画像を小領域にそれぞれ分割し、小領域毎に画像面に平行な方向のぶれを補正する（Ｓ２６）。そして、画像ＥＣＵ２７では、複数のぶれ補正仮想画像を生成する（Ｓ２６）。

画像ＥＣＵ２７では、複数の投影変換行列Ｑの逆行列Ｑ^−１をそれぞれ算出する。そして、画像ＥＣＵ２７では、式（１３）により、各逆行列Ｑ^−１を用いて複数のぶれ補正仮想画像を撮像画像の画像面にそれぞれ逆投影変換し、複数の逆投影変換画像を生成する（Ｓ２７）。

画像ＥＣＵ２７では、複数の逆投影変換画像を小領域にそれぞれ分割する（Ｓ２８）。続いて、画像ＥＣＵ２７では、各小領域におけるぶれ補正の評価値を算出し、複数の逆投影変換画像の対応する小領域において評価値が最も大きい小領域をそれぞれ選択する（Ｓ２９）。さらに、画像ＥＣＵ２７では、選択した小領域画像を合成し、ぶれ補正画像を生成する（Ｓ２９）。そして、画像ＥＣＵ２７では、そのぶれ補正画像をレーンキープ装置に出力する（Ｓ３０）。

この画像処理装置２１によれば、画像処理装置１と同様の効果を有する上に、道路勾配が変化する場合でも対象物を異なる平面からなる複数の道路とすることにより、各勾配における道路のぶれを補正することができる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態ではカメラ（画像処理装置）が自動車に搭載される構成としたが、自動車以外の別の移動体に搭載される構成としてもよい。

また、本実施の形態では道路上の車線を示す白線を認識する必要があるレーンキープ装置にぶれ補正画像を提供するために、対象物を道路としたが、対象物を道路以外の静物体としてもよいしあるいは他の自動車等の動物体としてもよい。動物体の場合、レーザレーダセンサ、ミリ波センサ、車車間通信等を利用して動物体の動きを検出し、この動物体と自車の動きとから相対運動を算出する。

また、本実施の形態ではぶれ補正画像を道路（白線）を認識するレーンキープで利用する構成としたが、前方の自動車等の他の対象物を認識する必要がある他の走行支援装置に利用したり、あるいは、対象物を認識するのではなく、ぶれ補正画像を単に表示するようにしてもよい。この際、利用目的に合わせて対象物を変更し、その変更した対象物のぶれを抑制する。

第１の実施の形態に係る画像処理装置の構成図である。 車載カメラと仮想カメラ及び対象物（道路）の関係を示す図である。 図１の画像処理装置における各画像の一例であり、（ａ）が撮像画像であり、（ｂ）が仮想画像であり、（ｃ）がぶれ補正仮想画像であり、（ｄ）がぶれ補正画像である。 仮想画像への領域分割の一例を示す図である。 図１の画像ＥＣＵにおける処理を示すフローチャートである。 第２の実施の形態に係る画像処理装置の構成図である。 画像における各画素の輝度値を示す一例であり、（ａ）がぶれのない画像であり、（ｂ）がぶれのある画像である。 図６の画像ＥＣＵにおける処理を示すフローチャートである。

符号の説明

１，２１…画像処理装置、２…レーザレンジファインダ２、３…車速センサ、４…ヨーレートセンサ、５…操舵角センサ、６…カメラ、７，２７…画像ＥＣＵ、１０…平面算出部、３０…平面候補算出部、１１…相対運動算出部、３１…相対運動候補算出部、１２，３２…仮想画像合成部、１３，３３…ぶれ補正部、１４，３４…逆投影変換部、３５…最適補正画像選択部、１５…画像出力部

Claims (3)

1. 撮像手段と、
   前記撮像手段と対象物との相対運動を求める相対運動検出手段と、
   対象物が存在する平面を求める平面検出手段と、
   前記撮像手段による撮像画像から前記平面検出手段で求めた平面に基づいて前記相対運動検出手段で求めた相対運動と平行な画像面をもつ仮想画像を作成する仮想画像作成手段と、
   前記仮想画像作成手段で作成した仮想画像の画像面に平行なぶれを補正するぶれ補正手段と、
   前記ぶれ補正手段で補正したぶれ補正仮想画像を前記撮像手段による撮像画像の画像面に投影し、ぶれ補正画像を作成するぶれ補正画像作成手段と
   を備えることを特徴とする画像処理装置。
2. 撮像手段と、
   前記撮像手段と複数の対象物との複数の相対運動の候補を求める相対運動検出手段と、
   複数の対象物がそれぞれ存在する複数の平面の候補を求める平面検出手段と、
   前記撮像手段による撮像画像から前記平面検出手段で求めた複数の平面の候補に基づいて前記相対運動検出手段で求めた複数の相対運動の候補とそれぞれ平行な画像面をもつ仮想画像をそれぞれ作成する仮想画像作成手段と、
   前記仮想画像作成手段で作成した仮想画像の画像面に平行なぶれを補正するぶれ補正手段と、
   前記ぶれ補正手段で補正した複数のぶれ補正仮想画像を前記撮像手段による撮像画像の画像面にそれぞれ投影し、当該複数の投影されたぶれ補正仮想画像を複数の領域にそれぞれ分割し、当該複数の投影されたぶれ補正仮想画像の各領域画像から最適な領域画像を選択し、当該選択した領域画像によりぶれ補正画像を作成するぶれ補正画像作成手段と
   を備えることを特徴とする画像処理装置。
3. 前記対象物は道路であることを特徴とする請求項１又は請求項２に記載する画像処理装置。

Images