JP2023061621A - 画像処理装置 - Google Patents

Abstract

【課題】 左右カメラの垂直ずれに起因する視差誤差を高精度に補正することで、路面落下物などの制御対象物と路面ペイント等を正確に区別することができ、低段差の制御対象物を正確に検知できる画像処理装置を提供する。【解決手段】 複数の車載カメラの各々で撮像した複数の画像から、路面上の特定領域を抽出する特定領域抽出部と、前記画像のうち路面であって前記特定領域以外の路面部分から、路面パラメータによってあらわされる路面構造を推定する路面パラメータ推定部と、前記路面構造から、前記特定領域において得られるべき理想的な視差を求める特定領域視差推定部と、前記複数の画像から視差を求める視差画像生成部と、前記特定領域の実際の視差、前記特定領域における理想的な視差、および前記特定領域の前記画像における配置情報を用いて、前記複数の画像の垂直ずれ量を求める垂直ずれ算出部と、を有する画像処理装置。【選択図】 図１

Description

本発明は、車載カメラで撮像した一対の自車前方画像に基づいて自車前方環境を認識する、画像処理装置、および、画像処理方法に関する。

近年の自動車には、自車前方の撮像画像に基づいて、先行車や歩行者等の移動体、ガードレールや路面落下物等の障害物、白線等の路面ペイントを認識し、移動体や障害物との接触可能性があればドライバーに警報を発報したり、接触を回避すべく自動制動、自動操舵したり、白線に沿って走行するように自動操舵したりするシステムを搭載したものがある。そして、この種のシステムで利用される画像処理装置としては、ステレオカメラを利用した特許文献１の画像処理装置が知られている。

特許文献１の要約書の課題欄には「ステレオ画像において垂直方向のずれがある場合でも、ステレオ画像から立体物を正確に検知する。」という記載があり、同文献の請求項２には「前記第一領域内で縦エッジと横エッジがともに存在する特徴点を検出し、前記第二領域内で前記特徴点に対応する対応点を検出して、前記第一領域における前記特徴点と、前記第二領域における前記対応点との間の垂直方向のずれを、前記第一領域と前記第二領域との垂直ずれとして検出する」という記載がある。すなわち、特許文献１の画像処理装置では、ステレオ画像の第一画像内の特徴点に対応する第二画像内の対応点を検出し、特徴点と対応点の垂直ずれから第一画像と第二画像の垂直ずれを検出し、その垂直ずれを考慮して視差算出することで、立体物を正確に検知している。

特開２０２０－０９５６４６号公報

しかしながら、特許文献１の垂直ずれ検出方法は、第一画像内の特徴点に対応する第二画像内の対応点を特定する必要があるため、ステレオ画像内の特徴が少なく特徴点や対応点の検出が困難である環境（例えば、一様な路面のみを撮像した場合）や、第一画像内の特徴点に対応する第二画像内の対応点候補が多数存在し真の対応点の特定が困難である環境（例えば、路面ペイントの一種である、導流帯（所謂ゼブラゾーン）を撮像した場合）においては、ステレオ画像間の垂直ずれの検出が難しく、低段差の障害物（路面落下物、動物の死骸等）と路面ペイントや影を正確に区別できないこともあり、路面落下物を路面ペイントや影と誤解したり、路面ペイントや影を障害物と誤解したりすることもあった。

そこで、本発明は、左右カメラの垂直ずれに起因する視差誤差を高精度に補正することで、路面落下物などの制御対象物と路面ペイント等を正確に区別することができ、低段差の制御対象物を正確に検知できる画像処理装置を提供することを目的とする。

上記課題を解決するため、本発明の画像処理装置は、複数の車載カメラの各々で撮像した複数の画像から、路面上の特定領域を抽出する特定領域抽出部と、前記画像のうち路面であって前記特定領域以外の路面部分から、路面パラメータによってあらわされる路面構造を推定する路面パラメータ推定部と、前記路面構造から、前記特定領域において得られるべき理想的な視差を求める特定領域視差推定部と、前記複数の画像から視差を求める視差画像生成部と、前記特定領域の実際の視差、前記特定領域における理想的な視差、および前記特定領域の前記画像における配置情報を用いて、前記複数の画像の垂直ずれ量を求める垂直ずれ算出部と、を有するものとした。

本発明の画像処理装置によれば、左右カメラの垂直ずれに起因する視差誤差を高精度に補正することで、路面落下物などの制御対象物と路面ペイント等を正確に区別することができ、低段差の制御対象物を正確に検知することができる。

画像処理装置 垂直ずれの説明 垂直ずれ補正方法 路面パラメータの推定方法の説明図 理想視差の推定方法の説明図 図５Ａの環境下での撮像画像の一例 視差画像生成の処理フロー 垂直ずれ量算出部の処理フロー

以下、車載カメラで撮像した一対の自車前方画像に基づいて自車前方環境を認識する、本発明の画像処理装置および画像処理方法の一実施例を、図面を用いて説明する。

（全体構成の説明）
図１に本実施例の画像処理装置１００の全体構成図を示す。本実施例の画像処理装置１００は、自車前方環境を認識するために利用される車載装置であり、図１に示すように、センサ部１、記憶部２、視差画像生成部３、特定領域抽出部４、理想視差推定部５、垂直ずれ量算出部６、視差画像解析部７を備えている。視差画像解析部７での解析結果は、図示しないＥＣＵ（Electronic Control Unit）に入力され、自動運転システムや運転支援システムの実現に使用される。

なお、図１の構成のうち、センサ部１以外の構成は、具体的には、ＣＰＵ等の演算装置、半導体メモリ等の記憶装置、および、通信装置などのハードウェアを備えたコンピュータである。そして、演算装置が所定のプログラムを実行することで、上記した視差画像生成部３や特定領域抽出部４等の各機能を実現するが、以下では、このようなコンピュータ分野の周知技術を適宜省略しながら各部の詳細を説明する。

＜センサ部１＞
センサ部１は、車両周囲の所定の方向、例えば車両前方に向けて設置された車載カメラであり、左カメラ１１と右カメラ１２の２台の撮像装置から構成される。なお、以降では、センサ部１がステレオカメラであるものとして本実施例を説明するが、所定の間隔を空けた２台の単眼カメラから構成されるカメラシステムをセンサ部１として使用しても良い。

＜記憶部２＞
記憶部２は、半導体メモリ等の記憶装置であり、撮像画像記憶部２１、視差画像記憶部２２、幾何補正情報記憶部２３、垂直ずれ量記憶部２４から構成される。

撮像画像記憶部２１は、左カメラ１１の撮像画像と、右カメラ１２の撮像画像を記憶する。

視差画像記憶部２２は、視差画像生成部３が生成した視差画像Ｐ_Ｄを記憶する。

幾何補正情報記憶部２３は、左カメラ１１と右カメラ１２の撮像画像に対する幾何補正情報を記憶する。この幾何補正情報は、左カメラ１１と右カメラ１２のレンズ歪みや光軸ずれによって生じる撮像画像の歪みや位置ずれを補正するための情報であり、工場出荷時等に、センサ部１の光学特性等に応じて予め設定される情報である。なお、幾何補正情報を用いて幾何補正した左右カメラの撮像画像を、以下では、左画像Ｐ_Ｌ、右画像Ｐ_Ｒと称する。

垂直ずれ量記憶部２４は、経年劣化等によって生じた、左カメラ１１と右カメラ１２の垂直ずれ量ｄｊを記憶する。

ここで、図２を用いて、一般的なステレオカメラにおける垂直ずれの影響について説明する。一般的なステレオカメラでは、左画像Ｐ_Ｌと右画像Ｐ_Ｒの共通撮像領域を特定することで視差を算出し、カメラ前方の３次元情報を取得する。

図２（ａ）に示す左右画像の垂直ずれが発生していないステレオカメラでは、左画像Ｐ_Ｌにおける所定の領域（例えば、白線や影などの斜線の一部を含む第一領域Ｒ_１）と、その第一領域Ｒ_１の共通撮像領域である右画像Ｐ_Ｒにおける第二領域Ｒ_２が同じ画像縦位置（第一縦位置Ｙ_１）にあるため、右画像Ｐ_Ｒ上の第一縦位置Ｙ_１を横方向に探索することで、第一領域Ｒ_１の共通撮像領域である第二領域Ｒ_２を容易に特定できるため、正確な視差から正確な３次元情報（本例では、斜線が立体物でないことを示す３次元情報）を取得することができる。

一方、図２（ｂ）に示す左右画像の垂直ずれが発生したステレオカメラでは、第一領域Ｒ_１の共通撮像領域ではない右画像Ｐ_Ｒ内の第三領域Ｒ_３にも第一領域Ｒ_１と同等の傾きの斜線が撮像されているため、第一領域Ｒ_１と第三領域Ｒ_３が誤ってマッチングしてしまうことがある。この場合、本来の共通撮像領域である第二領域Ｒ_２と、本来は共通撮像領域でない第三領域Ｒ_３の間で視差ずれ量ｄＤ［ｐｉｘ］が生じることになる。

ここで、左右画像内の斜線の傾きをθ［ｒａｄ］、左右画像の垂直ずれ量をｄｊ［ｐｉｘ］とすると、視差ずれ量ｄＤは式１で計算される。また、視差ずれ量ｄＤが生じたときの対象物体の高さずれ量ｄＹは、視差値をＤとすると、カメラの高さＹに対して式２で計算される。

すなわち、垂直ずれが発生したステレオカメラでは、本来存在しない式２の高さずれ量ｄＹが算出されるため、路面上にある白線や影などの斜線が立体物として誤検知される問題がある。ステレオカメラの垂直ずれは、撮像装置の経年劣化や温度変化などから必然的に生じるため、ステレオカメラの稼働中は常に垂直ずれ量を推定し補正する必要がある。

そこで、本実施例の垂直ずれ量記憶部２４は、垂直ずれを補正する処理の前提として、垂直ずれ量算出部６が推定した垂直ずれ量を記憶する。垂直ずれ量記憶部２４に記憶された垂直ずれ量は、視差画像生成部３での視差算出時に利用されることで、撮像装置間の垂直ずれを補正し、視差を正確に推定できる。その結果、路面上にある白線や影などの斜線を立体物として誤検知することを防止することができる。なお、垂直ずれ量記憶部２４は、垂直ずれ量算出部６が現フレームに出力した垂直ずれ量のみを記憶しても良く、また時系列情報として垂直ずれ量算出部６が過去に出力した垂直ずれ量を複数保存しても良い。

＜視差画像生成部３＞
視差画像生成部３は、幾何補正部３１と、視差算出部３２から構成されており、撮像画像記憶部２１に記憶された左右画像と、幾何補正情報記憶部２３に記憶された幾何補正情報と、垂直ずれ量記憶部２４に記憶された垂直ずれ量ｄｊを入力として、視差画像Ｐ_Ｄを生成し、記憶部２の視差画像記憶部２２に出力する。

幾何補正部３１は、撮像画像記憶部２１に記憶された左右画像と、幾何補正情報記憶部２３に記憶された幾何補正情報を入力とし、撮像画像を幾何補正する。これにより、レンズの歪みや光軸ずれによって生じる撮像画像の歪みや位置ずれを補正する。また、幾何補正部３１は、垂直ずれ量記憶部２４に垂直ずれ量ｄｊが記憶されている場合は、その値も幾何補正に使用する。

ここで、図３を用いて、垂直ずれ量ｄｊを用いた垂直ずれの補正方法を説明する。図示するように、幾何補正後の左画像Ｐ_Ｌと右画像Ｐ_Ｒの垂直ずれ量がｄｊである場合、幾何補正部３１は、垂直ずれ量記憶部２４に記憶されている垂直ずれ量ｄｊ［ｐｉｘ］参照し、右画像Ｐ_Ｒをｄｊ［ｐｉｘ］だけ垂直方向に移動させることで垂直ずれを補正した補正右画像Ｐ_Ｒ’を生成する。このとき、垂直ずれ量記憶部２４に過去複数の垂直ずれ量が記憶されている場合には、過去複数の垂直ずれ量から１つの最もらしい値を算出し、ｄｊ［ｐｉｘ］に設定しても良い。複数の垂直ずれ量から１つの値を決定する方法としては、統計的な手法を用いて外れ値を除去し、平均を求めることで決定される。また、その他任意の手法を用いて決定しても良い。なお、図３では、右画像Ｐ_Ｒを垂直方向に移動させることで補正右画像Ｐ_Ｒ’を生成したが、左画像Ｐ_Ｌを垂直方向に移動させることで補正左画像Ｐ_Ｌ’を生成しても良い。

視差算出部３２は、幾何補正部３１によって補正された左右画像から視差画像Ｐ_Ｄを生成する。具体的には、一方の撮像画像から所定サイズのテンプレート画像を抜き出し、他方の撮像画像でのテンプレートマッチングにより同一対象物の撮像位置の差（視差）を推定する。撮像画像の全領域について視差を算出することで、各画素に視差を格納した視差画像Ｐ_Ｄを生成する。

＜特定領域抽出部４＞
特定領域抽出部４は、撮像画像記憶部２１に記憶されている撮像画像から特定領域を抽出する。特定領域とは、本実施例では、路面上に存在する斜線領域のことであり（図２参照）、白線、路面ペイント、影、路面のよごれ領域などの各種直線状領域が含まれる。例えば、白線領域は撮像画像中に含まれる白色のエッジを検出することで抽出する。この手法のみに限定されず、セマンティックセグメンテーションのような画素レベルで種別を推定する手法を用いて、白線、路面ペイント、影、路面のよごれ領域などの各種直線状領域を推定しても良い。白線領域を抽出した場合、各画素に白線かどうかを０、１で区別した白線領域マップを、理想視差推定部５と垂直ずれ量算出部６に出力する。また、セマンティックセグメンテーションのような画素レベルで種別を推定する手法を用いた場合は、各画素に種別情報（白線、路面ペイント、影、路面のよごれなど）を格納した種別マップを出力しても良い。また、領域をモデル化（直線や折れ線など）して推定した場合には、モデルのパラメータを出力しても良い。なお、特定領域の抽出精度を高めるために、ディープラーニング等のＡＩ技術を使用しても良い。

＜理想視差推定部５＞
理想視差推定部５は、撮像画像内の各部の理想視差を推定するものであり、路面パラメータ推定部５１と特定領域視差推定部５２から構成される。

路面パラメータ推定部５１は、視差画像記憶部２２に記憶されてる視差画像Ｐ_Ｄと特定領域抽出部４の出力を受け取り、自車前方の路面構造を推定する。以下、図４を用いて路面パラメータの推定方法について説明する。

まず、図４（ａ）に示す撮像画像（図示を省略しているが、実際には左右一対の撮像画像）から、図４（ｂ）に示す視差画像Ｐ_Ｄを生成する。図４（ｂ）の路面領域は、画像縦位置が変化すると各画素に格納されている視差値もなめらかに変化する。一方、車両などの立体物は自車から同距離に存在し、同じ値の視差値が集まっていることがわかる。

図４（ｂ）の視差画像Ｐ_Ｄから、図４（ｃ）のような横軸Ｄ（視差値）、縦軸Ｖ（画像縦位置）のv-disparityマップを作成すると、車両などの立体物は縦方向の直線で表現され、路面領域は右下がりの直線で表現される。このため、路面パラメータ推定部５１は、この右下がりの直線パラメータを求めることで、路面構造を推定できる。

v-disparityマップを作成する際に、特定領域視差推定部５２が推定した特定領域の視差も合わせてプロットすると、誤視差が多く含まれているため直線パラメータを正確に推定できない場合がある。そのため、特定領域視差推定部５２が推定した特定領域の視差はv-disparityマップにプロットしないようなノイズ除去処理を追加することも考えられる。また、これに限定されず、任意の路面構造推定手法を用いることもできる。

また、路面パラメータ推定部５１は、パラメータ推定結果の信頼度も合わせて出力しても良い。路面パラメータ推定部５１が推定した路面パラメータをもとに垂直ずれ量算出部６が垂直ずれ量を算出するため、現走行環境が垂直ずれ量を算出するのに適しているかどうかをパラメータ推定結果の信頼度をもとに判断することが考えられる。パラメータ推定結果の信頼度は、v-disparityマップの作成に使われた視差の量で算出できる。路面の模様や建物の影による光量の現象、また夜間など路面視差が困難な環境では、v-disparityマップにプロットされる情報が減少する。直線パラメータの算出に使用する情報が少ないと精度が低下するため、パラメータ推定結果の信頼度にv-disparityマップにプロットされる視差情報の数を使用することが考えられる。また、直線パラメータをv-disparityマップにフィッティングさせた際のフィッティング度合を信頼度に使用しても良い。また、路面パラメータの推定結果を時系列で参照し、平坦な路面が連続して観測された場合に、高い信頼度を設定することも考えられる。また、天候や時刻情報を取得できる場合には、路面視差の算出が困難な状態（夜間、雨天など）にときに信頼度を下げても良い。

特定領域視差推定部５２は、前記した特定領域（斜線）の理想視差を、路面パラメータ推定部５１が出力した路面パラメータから推定する。理想視差の推定方法について、図５Ａと図５Ｂを用いて説明する。

図５Ａは、登坂中の自車におけるステレオカメラの設置位置を原点とし、奥行き方向を横軸ｚ、垂直方向を縦軸ｙとした直交座標系を示している。この直交座標系においては、路面が式３で示す直線で表現されている。ここで、式３中のａはカメラ中心を原点としたときの路面の傾きであり、ｂはカメラ中心を原点としたときの路面の切片である。

また、図５Ｂは、図５Ａのステレオカメラが撮像した左画像Ｐ_Ｌの一例であり（図示を省略しているが、右画像Ｐ_Ｒも撮像されている）、画像中心を原点として、横軸ｘが画像横方向、縦軸ｙが画像縦方向を示す。このとき、画像座標でｙにある白線領域（図５Ｂの破線枠）の理想視差Ｄは、式４で計算される。ここで、式４中のＢはステレオカメラの基線長、ｆは焦点距離、ｃはセルサイズである。

特定領域視差推定部５２は、特定領域抽出部４が推定した全ての特定領域に対し式４の計算を行うことで、各特定領域の理想視差を格納した理想視差マップを生成し、垂直ずれ量算出部６に出力する。また、処理コスト低減の観点から、複数の特定領域の一部に対してのみ、理想視差を計算し出力しても良い。

＜垂直ずれ量算出部６＞
垂直ずれ量算出部６は、特定領域抽出部４が抽出した特定領域情報と、理想視差推定部５が推定した理想視差情報に基づいて、ステレオカメラで撮像した左右画像の垂直ずれ量ｄｊを算出するものであり、特定領域視差取得部６１、理想視差取得部６２、処理領域決定部６３、配置情報取得部６４、補正可否判定部６５、補正量算出部６６から構成される。

特定領域視差取得部６１は、特定領域抽出部４が出力した特定領域情報（前記した白線領域マップ、種別マップ、モデルパラメータなど）を入力とし、該当領域の視差情報を視差画像記憶部２２から取得する。

理想視差取得部６２は、理想視差推定部５が推定した理想視差マップを取得する。

処理領域決定部６３は、補正量算出部６６が垂直ずれを算出する処理領域を決定する。特定領域が大きい場合には、垂直ずれを算出する画像が多くなるため、処理コスト削減の観点から、垂直ずれを算出する特定領域を限定することが考えられる。特定領域視差取得部６１が各画素に種別情報（白線、路面ペイント、影、路面のよごれなど）を格納した種別マップを取得した場合、使用する種別を選択することで処理領域を限定する。例えば、路面上に目立つ白色で表示される白線、路面ペイントは、その領域抽出が容易なことから、白線、路面ペイントのラベルが付与された特定領域のみを処理領域に設定することが考えらえる。また、撮像装置からの距離が離れるほど視差算出の精度が低下することを考慮すると、撮像装置から近い順に所定のデータ数を選択して処理領域を設定しても良い。また、その他任意の基準で処理領域を設定しても良い。

配置情報取得部６４は、特定領域抽出部４が出力した特定領域情報（前記した白線領域マップ、種別マップ、モデルパラメータなど）を入力とし、特定領域の配置情報を算出する。特定領域の配置情報とは撮像画像上の斜線の角度であり、例えば、図２の斜線の傾きθである。

補正可否判定部６５は、現走行環境が垂直ずれ量ｄｊを算出するのに適しているか判定し、適していると判定された場合に限り補正量算出部６６に補正量計算を実行させる。例えば、路面パラメータ推定部５１が路面パラメータ推定結果の信頼度を出力している場合には、その値が所定の閾値を超えた場合に、計算可能と判定する。

補正量算出部６６は、補正可否判定部６５で現走行環境が垂直ずれ量を算出するのに適していると判定された場合に、特定領域視差取得部６１、理想視差取得部６２、配置情報取得部６４からの情報に基づいて垂直ずれ量ｄｊを算出する。垂直ずれ量ｄｊの算出には、式５が使用される。ここで、式５中のＤ_Ｒｏａｄは路面パラメータをもとに理想視差推定部５が推定した理想視差、Ｄ_Ｌｉｎｅは特定領域視差取得部６１が取得した特定領域（白線）上の視差、θは特定領域の画像上の傾きである。

特定領域が複数画素ある場合には、全画素、もしくは一部の画素において垂直ずれ量ｄｊを算出し、複数の推定結果から最もらしい推定結果を決定する。決定方法としては、統計的な手法を用いて外れ値を除去した後、平均を求めることで決定される。その他、任意の算出方法を用いて、決定しても良い。

＜視差画像解析部７＞
視差画像解析部７は、視差画像記憶部２２に記憶された視差画像Ｐ_Ｄを解析することで、自動運転／運転支援システムに使用される情報を出力する（例えば、先行車、歩行者、路端の検知結果など）。視差画像解析部７の解析対象である視差画像Ｐ_Ｄは、垂直ずれ量算出部６が算出した垂直ずれ量ｄｊを用いて補正した左右画像に基づいて生成されたものであるため、視差画像解析部７では、路面上のペイントや影と、低段差の障害物を正確に区別できるので、車両走行可能なフリースペースと低段差の路面落下物を正確に検知することができる。

（視差画像生成の処理フロー）
次に、図６を用いて、視差画像生成部３の処理フローを説明する。

まず、ステップＳ１１では、幾何補正部３１は、撮像画像記憶部２１から幾何補正前の左右画像を読み込む。

ステップＳ１２では、幾何補正部３１は、幾何補正情報記憶部２３に記憶された幾何補正情報を読み込み、ステップＳ１１で取得した左右画像を幾何補正する。ステップＳ１２での処理により、レンズ歪みや光軸ずれを幾何補正した左画像Ｐ_Ｌと右画像Ｐ_Ｒが生成される。

ステップＳ１３では、幾何補正部３１は、垂直ずれ量記憶部２４に垂直ずれ量ｄｊが格納されているか確認する。そして、垂直ずれ量記憶部２４に垂直ずれ量が格納されている場合は、ステップＳ１４に進み、格納されていない場合には、ステップＳ１５に進む。

ステップＳ１４では、幾何補正部３１は、垂直ずれ量記憶部２４に記憶された垂直ずれ量を参照し、左右画像の補正値を決定する。垂直ずれ量記憶部２４に最新の垂直ずれ量ｄｊのみ記憶されている場合には、その値（ｄｊ）を補正値に設定する。垂直ずれ量記憶部２４に垂直ずれ量が複数記憶されている場合には、現在時刻から所定の範囲の垂直ずれ量を参照し、統計的な手法で外れ値を除去し平均値を補正値に設定する。また、この方法に限らず、任意の手法で複数の垂直ずれ量から補正値を設定してよい。決定した補正値をもとに、撮像画像を補正する。補正方法は、図３で示す通りで、右画像Ｐ_Ｒを垂直方向に補正値（垂直ずれ量ｄｊ［ｐｉｘ］）だけ移動させた補正右画像Ｐ_Ｒ’を生成する。

ステップＳ１５では、ステップＳ１４を経由しない場合は左画像Ｐ_Ｌと右画像Ｐ_Ｒから視差画像Ｐ_Ｄを生成し、ステップＳ１４を経由した場合は左画像Ｐ_Ｌと補正右画像Ｐ_Ｒ’から視差画像Ｐ_Ｄを生成する。何れの場合も左右画像のテンプレートマッチングで共通撮像領域を探索することで、視差を算出する。また、この手法に限らず任意の視差算出処理を用いても良い。

（垂直ずれ量算出部の処理フロー）
次に、図７を用いて、垂直ずれ量算出部６の処理フローを説明する。

まず、ステップＳ２１では、補正可否判定部６５は、路面パラメータ信頼度を参照し、所定の閾値以下の場合は垂直ずれ量を算出することなく処理を終了する。一方、所定の閾値以上の場合はステップＳ２２が実行される。

ステップＳ２２では、処理領域決定部６３は、垂直ずれ量が算出される処理領域を決定する。このとき、種別ラベルやセンサ部１からの距離に応じて処理領域が決定される。また、任意の基準を設定し処理領域を決定しても良い。

ステップＳ２３では、配置情報取得部６４は、ステップＳ２２により処理領域と決定された領域に対して配置情報（例えば、斜線の傾きθ）を計算する。

ステップＳ２４では、補正量算出部６６は、配置情報（斜線の傾きθ）、特定領域の視差、理想視差の値から垂直ずれ量ｄｊが計算される。

ステップＳ２５において、全処理領域で垂直ずれ量ｄｊが計算されたと判定された場合はステップＳ２６が実施される。全処理領域が処理されていない場合には、ステップＳ２４が繰り返し実行される。

ステップＳ２６では、垂直ずれ量の最終決定が行われる。垂直ずれ量ｄｊが複数算出された場合には、統計的な手法で外れ値を除去し平均を求めることで垂直ずれ量ｄｊを決定する。また、その他任意の手法で垂直ずれ量ｄｊを決定しても良い。

（本実施例の効果）
以上で説明した本実施例の画像処理装置によれば、左右カメラの垂直ずれに起因する視差誤差を高精度に補正することで、路面落下物などの制御対象物と路面ペイント等を正確に区別することができ、低段差であっても正確に制御対象物を検知することができる。

１００ 画像処理装置
１ センサ部
１１ 左カメラ
１２ 右カメラ
２ 記憶部
２１ 撮像画像記憶部
２２ 視差画像記憶部
２３ 幾何補正情報記憶部
２４ 垂直ずれ量記憶部
３ 視差画像生成部
３１ 幾何補正部
３２ 視差算出部
４ 特定領域抽出部
５ 理想視差推定部
５１ 路面パラメータ推定部
５２ 特定領域視差推定部
６ 垂直ずれ量算出部
６１ 特定領域視差取得部
６２ 理想視差取得部
６３ 処理領域決定部
６４ 配置情報取得部
６５ 補正可否判定部
６６ 補正量算出部
７ 視差画像解析部

Claims (10)

1. 複数の車載カメラの各々で撮像した複数の画像から、路面上の特定領域を抽出する特定領域抽出部と、
   前記画像のうち路面であって前記特定領域以外の路面部分から、路面パラメータによってあらわされる路面構造を推定する路面パラメータ推定部と、
   前記路面構造から、前記特定領域において得られるべき理想的な視差を求める特定領域視差推定部と、
   前記複数の画像から視差を求める視差画像生成部と、
   前記特定領域の実際の視差、前記特定領域における理想的な視差、および前記特定領域の前記画像における配置情報を用いて、前記複数の画像の垂直ずれ量を求める垂直ずれ算出部と、
   を有する画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記特定領域は路面上の白線領域であり、
   垂直ずれ算出部は、前記白線領域の視差と前記路面部分の視差との差分、および前記画像の中における白線の傾き角度から前記垂直ずれ量を計算することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記視差画像生成部は、前記車載カメラで撮像した画像の光学的な歪みを補正し、
   前記垂直ずれ量をもとに前記車載カメラで撮像した複数枚の画像の垂直ずれを補正することを特徴とした画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記視差画像生成部は、過去に推定した垂直ずれ量の時系列情報から補正実行の可否、及び補正量を決定することを特徴とした画像処理装置。
5. 請求項３に記載の画像処理装置において、
   前記特定領域抽出部は、路面上の斜線領域を抽出することを特徴とした画像処理装置。
6. 請求項３に記載の画像処理装置において、
   前記特定領域抽出部は、路面上の白線、路面ペイント、影のうち少なくとも１つの線状領域を抽出することを特徴とする画像処理装置。
7. 請求項４に記載の画像処理装置において、
   前記路面パラメータ推定部は、前記車載カメラで撮像した画像から路面パラメータを推定し、前記特定領域視差推定部は、該路面パラメータに基づいて特定領域の理想視差を推定することを特徴とする画像処理装置。
8. 請求項６に記載の画像処理装置において、
   前記配置情報は、前記画像の中における前記特定領域の傾き角度であることを特徴とする画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記垂直ずれ量算出部は、前記路面パラメータの信頼度に基づいて前記垂直ずれ量の算出可否を判定することを特徴とする画像処理装置。
10. 複数の車載カメラの各々で撮像した複数の画像から、路面上の特定領域を抽出するステップと、
    前記画像のうち路面であって前記特定領域以外の路面部分から、路面パラメータによってあらわされる路面構造を推定するステップと、
    前記路面構造から、前記特定領域において得られるべき理想的な視差を求めるステップと、
    前記複数の画像から視差を求めるステップと、
    前記特定領域の実際の視差、前記特定領域における理想的な視差、および前記特定領域の前記画像における配置情報を用いて、前記複数の画像の垂直ずれ量を求めるステップと、
    を有する画像処理方法。

Images