JP2019164667A - 画像処理装置、運転支援システム、及び画像処理方法 - Google Patents

Abstract

【課題】ステレオカメラの撮像系の歪みなどに伴う画像変形の補正が可能な画像処理装置、運転支援システム、及び画像処理方法を提供する。【解決手段】本実施形態によれば、ステレオカメラにより撮像された第１画像および第２画像を画像処理する画像処理装置であって、画像処理装置は、基準線配置部と、パラメータ取得部とを備える。基準線配置部は、基準線配置部は、二つの基準線を前記第１画像中に配置する。パラメータ取得部は、二つの基準線を延長した交点における前記第１画像と前記第２画像の視差を０に近づける画像補正処理のパラメータを取得する。【選択図】図２

Description

本発明の実施形態は、画像処理装置、運転支援システム、及び画像処理方法に関する。

ステレオカメラにより取得された２画像間の対応する点を求め、カメラ同士の位置関係と各画像上の対応点の位置から、対象物の３次元位置を計測する技術が知られている。この技術は、車載用のドライバーアシスタンスシステム、携帯機器、ゲーム機などの様々な分野で利用される。

ところが、ステレオカメラを積置する調整装置の温度特性、振動特性、ステレオカメラ自体の経年変化などにより、ステレオカメラの光軸まわりのヨー回転などに伴う画像変形などが生じてしまう。

特開２０１７−９３８７号公報

ステレオカメラの撮像系の歪みなどに伴う画像変形の補正が可能な画像処理装置、運転支援システム、及び画像処理方法を提供する。

本実施形態によれば、ステレオカメラにより撮像された第１画像および第２画像を画像処理する画像処理装置であって、画像処理装置は、基準線配置部と、パラメータ取得部とを備える。基準線配置部は、二つの基準線を前記第１画像中に配置する。パラメータ取得部は、二つの基準線を延長した交点における前記第１画像と前記第２画像の視差を０に近づける画像補正処理のパラメータを取得する。

一実施形態に係る運転支援システムの全体構成を示すブロック図。 画像処理部の詳細な構成を示すブロック図。 ステレオカメラで撮像された画像を示す図。 基準線上の二つの基準点を示す図。 基準線上の３点以上の基準点を示す図 二つの基準点による画像補正処理のパラメータの概念図。 ３つ以上の基準点による画像補正処理のパラメータの概念図。 画像処理部の画像変換処理の一例を示すフローチャート。

以下、本発明の実施形態に係る運転支援システムについて、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。
（一実施形態）
図１は、一実施形態に係る運転支援システム１の全体構成を示すブロック図である。この図１に示すように運転支援システム１は、ステレオ画像により三次元情報を生成し、車両の運転を支援するシステムである。より具体的には、この運転支援システム１は、ステレオカメラ１０と、画像処理装置２０と、運転支援装置３０と、音声装置４０と、制動装置５０とを、備えて構成されている。

ステレオカメラ１０は、第１カメラ１００と、第２カメラ１０２とを備えて構成されている。各カメラ１００、１０２は、撮像素子として例えばＣＭＯＳイメージセンサを有する。これにより、第１カメラ１００は第１画像を撮像し、第２カメラ１０２は第２画像を撮像する。各カメラ１００、１０２の撮像光学系の光軸をＺ軸とし、撮像素子が二次元状に配置されるＣＭＯＳイメージセンサの撮像面をＸ−Ｙ平面に平行に配置する。

画像処理装置２０は、ステレオカメラ１０で撮像された第１画像と第２画像とに対して画像処理を行い、三次元情報を得る装置であり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んで構成されている。この画像処理装置２０の詳細な構成は後述する。

運転支援装置３０は、画像処理装置２０の出力信号に応じて車両の運転を支援する。運転支援装置３０には、音声装置４０、制動装置５０などが接続されている。

音声装置４０は、例えばスピーカであり、車両内の運転席から聴講可能な位置に配置されている。運転支援装置３０は、画像処理装置２０の出力信号に基づき、例えば音声装置４０に「対象物まで５メートルです」などの音声を発生させる。これにより、例えば運転士の注意力が低下している場合にも、音声を聴講することで、運転士の注意を喚起させることが可能となる。

制動装置５０は、例えば補助ブレーキであり、画像処理装置２０の出力信号に基づき車両を制動する。運転支援装置３０は、例えば対象物が所定の距離、例えば３メートルまで近接した場合に、制動装置５０に車両を制動させる。

ここで、画像処理装置２０の詳細な構成を説明する。この画像処理装置２０は、ステレオカメラ１０を載置する調整装置の温度特性、振動特性、ステレオカメラ１０自体のヨー角周りの回転などにより生じる画像変形などを補正処理する機能を有する。この画像処理装置２０は、記憶部２００と、画像処理部２０２と、三次元処理部２０４と、表示制御部２０６と、表示部２０８と、通信部２１０とを有している。

記憶部２００は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成され、画像処理に関するプログラム、画像処理部２０２で用いる画像補正処理のパラメータ、制御パラメータなどを記憶する。本実施形態に係る画像処理装置２０では、記憶部２００に記憶されるプログラムを実行することにより、本実施形態に係る画像処理装置２０の機能を実現する。

画像処理部２０２は、ステレオカメラ１０により撮像された第１画像および第２画像の補正処理を行う。例えばこの画像処理部２０２は、ステレオカメラの撮像系の歪み、撮像系のロールとピッチ回転、特にステレオカメラ１０の光軸まわりのヨー回転などに伴う画像変形の補正が可能である。なお、画像処理部２０２の詳細な構成は後述する。

三次元処理部２０４は、画像処理部２０２により補正処理された第１および第２の画像のステレオをマッチング処理により三次元情報を得る。三次元処理部２０４は、第１画像上の画素の座標（ＸＬ、ＹＬ）とし、対応する第２画像上の画素の座標（ＸＲ、ＹＲ）とすると、例えば（１）式によりＺの値を取得する。

ここで、各カメラ１００、１０２の撮像光学系の焦点距離をｆとし、カメラ１００、１０２の間隔をｈとする。第１画像および第２画像の対応点のＸ座標のずれ（ＸＬ―ＸＲ）が視差に対応する。

また、三次元処理部２０４は、例えば三次元点群（Ｘ、Ｙ、Ｚ）の中から対象物、例えば人や車を抽出する処理を行う。さらにまた、三次元処理部２０４は、例えば第１画像の画素（ＸＬ、ＹＬ）に変換後の三次元点群（Ｘ、Ｙ、Ｚ）のＺの値に応じた色を割り振る色処理などを行う。

表示制御部２０６は、画像処理部２０２により得られた情報を表示部２０８に表示させる制御を行う。例えば、表示制御部２０６は、後述するパラメータ取得部２１８で得られたパラメータに関する情報を表示部２０８に表示させる。また、表示制御部２０６は、三次元処理部２０４で得られた色処理後の画像や、対象物の位置情報などを表示部２０８に表示させてもよい。

表示部２０８は、例えば液晶モニタであり、上述のように画像処理部２０２で得られた情報を表示する。通信部２１０は、例えばアンテナを含んで構成され、画像処理部２０２により得られた情報を不図示の管理装置に送信する。管理装置は、例えばサーバであり、運転支援システム１の品質管理に用いられる。

図２は、画像処理部２０２の詳細な構成を示すブロック図である。図２に示すように、画像処理部２０２は、基準線配置部２１２と、画像補正処理部２１４と、画像情報取得部２１６と、パラメータ取得部２１８と、判定部２２０とを備えて構成されている。

図３は、ステレオカメラ１０で撮像された画像を示す図で有り、図３の（ａ）図が第１カメラ１００により撮像された第１画像を示し、図３の（ｂ）図が第１カメラ１０２により撮像された第２画像を示している。図３の（ａ）図に示すように、二つの基準線Ｌ１、Ｌ２は、例えば道路上の白線の内側のラインに沿って配置されている。

図３に示すように、基準線配置部２１２は、実空間において平行線に相当する二つの基準線Ｌ１、Ｌ２を第１画像および第２画像のうちの少なくとも一方に配置する。例えば、基準線配置部２１２は、第１画像の中からステレオカメラ１０からの距離に応じて、幅がほぼ線形に変化する二つの基準線Ｌ１、Ｌ２を配置する。このため、二つの基準線Ｌ１、Ｌ２は白線の内側ラインに限らず、外側ラインでもよい。或いは、一方を内側ラインとし、他方を外側ラインとしてもよい。また、ガードレールや縁石等でも上述の条件を満たせば、基準線としてもよい。

また、基準線配置部２１２は、視差の計算用に、基準線Ｌ１に対応する第２基準線Ｒ１を第２画像に配置してもよい。これにより、基準線Ｌ１上の基準点に対応する点を第２基準線Ｒ１から取得し、視差の情報を取得できる。なお、基準線Ｌ１上の基準点に対応する点が取得できる場合には、第２基準線Ｒ１は配置しなくともよい。

例えば、基準線配置部２１２は、一般的な線分抽出のアルゴリズムにより線分を検出し、ステレオカメラ１０からの距離に応じて、幅が線形に変化する二つの線分の組み合わせを検出し、二つの基準線Ｌ１、Ｌ２を配置する。基準線配置部２１２が、これら二つの基準線Ｌ１、Ｌ２を配置するために、線分を検出するタイミングを、所定の条件に適合した時点としてもよい。この基準線配置部２１２は、例えばＧＰＳ機能を有しており、地図情報上の直線状の道路が所定距離以上継続する位置に達すると、線分の検出を開始する。例えば基準線配置部２１２は、白線が直線として所定距離、例えば１００メートル、以上連続する位置に達すると、線分の検出を開始する。これにより、より効率的に基準線Ｌ１、Ｌ２を配置することが可能となる。

これらからわかるように、二つの基準線Ｌ１、Ｌ２は実空間において、平行であることが補正精度を上げるためには望ましいが、補正効果を得るためには完全に平行で無くともよい。例えば、後述の図６（ａ）、図７（ａ）のように、基準線Ｌ１上の２点以上の基準点のそれぞれの視差と、それぞれの基準点を通過する平行線の基準線Ｌ１、Ｌ２間の幅が、視差の増加にしたがい単調に増加していれば補正の効果を得ることが可能となる。なお、本実施形態では二つの基準線Ｌ１、Ｌ２の配置を第１画像に対して行うが、これに限定されず、二つの基準線の配置を第２画像に対して行ってもよい。或いは、二つの基準線の配置を第１画像および第２画像に対して行ってもよい。

画像補正処理部２１４は、パラメータ取得部２１８が取得したパラメータを用いて第１および第２画像のうちの少なくとも一方に画像補正処理を行う。なお、パラメータ取得部２１８に関しては後述する。

より具体的には、画像補正処理部２１４は、パラメータ取得部２１８が取得したパラメータを用いて、第１画像および第２画像の対応する無限遠点の視差が０に近づくように、例えば（２）、（３）式に示す座標変換により第１画像および第２画像の少なくとも一方に画像補正処理を行う。このように、画像補正処理部２１４は、例えばホモグラフィ変換を用いて画像補正処理を行う。

ここで、回転行列をＭ_Ｌとし、（）ｘ、（）ｙ、（）ｚのそれぞれをベクトルのＸ、Ｙ、Ｚ成分とし、Ｋ_１を上述のステレオカメラ１０の内部パラメータとし、Ｋ_２をホモグラフィ変換後のステレオカメラ１０の内部パラメータとし、ＰＬをホモグラフィ変換前における第１画像内の一座標点の位置ベクトルとし、ＸＬ’をホモグラフィ変換後の位置ベクトルＰＬのＸ座標とし、ＹＬ’をＹ座標とする。パラメータ取得部２１８が取得するパラメータは、回転行列Ｍ_Ｌを意味する。

これにより、画像補正処理部２１４が、実空間において平行線に相当する二つの基準線Ｌ１、Ｌ２が配置された第１画像に対して、画像補正処理を行うと、実空間において平行な二つの基準線Ｌ１、Ｌ２を延長した交点（無限遠点）に対応する第１画像および第２画像の視差は０に近づく。このように、第１画像および第２画像に生じた撮像系のロールとピッチ回転を含む撮像系の歪み、撮像光学系の光軸周りのヨー回転などに伴う画像変形が補正されると、対応する無限遠点の第１画像および第２画像における視差は０に近づく。

このように、画像補正処理部２１４は、ステレオカメラ１０の調整装置の治具などの温度特性、振動特性、経年変化などによる画像変形、撮像系のロールとピッチ回転を含む撮像系の歪み、ステレオカメラ１０の撮像光学系の光軸周りのヨー回転などに伴う画像変形などの画像補正を施すことができる。

画像情報取得部２１６は、基準線配置部２１２が配置した二つの基準線Ｌ１、Ｌ２の内の一方の基準線上における複数の基準点それぞれの視差と、それぞれの基準点を通過する平行線の基準線間の幅を取得する。これらは、後述するパラメータ取得部２１８でのパラメータの取得に用いられる。

図４は、二つの基準点によりパラメータを取得する場合に、画像情報取得部２１６が取得する二つの基準点Ｘ_Ｌ０、Ｘ_Ｌ２それぞれの視差と、それぞれの基準点を通過する平行線の基準線間の幅の例を説明する図である。図４の（ａ）図が第１カメラ１００により撮像された第１画像を示し、図４の（ｂ）図が第１カメラ１０２により撮像された第２画像を示している。図４の（ａ）図に示すように、二つの基準線Ｌ１、Ｌ２は、道路上の白線の内側のラインに沿って配置されており、基準線Ｌ１に対応する第２ラインＲ１が第２画像内に配置されている。

第１直線ＬＨ１、および第２直線ＬＨ２は平行線である。第１直線ＬＨ１と基準線Ｌ１、Ｌ２、および第２ラインＲ１との交点がＸ_Ｌ０、Ｘ_Ｌ１，Ｘ_Ｒ０である。同様に、第２直線ＬＨ２と基準線Ｌ１、Ｌ２、および第２ラインＲ１との交点がＸ_Ｌ２、Ｘ_Ｌ３，Ｘ_Ｒ２である。

これらから分かるように、基準線Ｌ１上の第１基準点Ｘ_Ｌ０の視差１は（Ｘ_Ｌ０−Ｘ_Ｒ０）であり、基準線Ｌ１上の第２基準点Ｘ_Ｌ２の視差２は（Ｘ_Ｌ２−Ｘ_Ｒ２）である。また、白線幅１は、（Ｘ_Ｌ１−Ｘ_Ｌ０）であり、白線幅２は、（Ｘ_Ｌ３−Ｘ_Ｌ２）である。

このように、画像情報取得部２１６は、二つの基準点によりパラメータを取得する場合に、基準線Ｌ１上の第１基準点Ｘ_Ｌ０の視差１（Ｘ_Ｌ０−Ｘ_Ｒ０）、およびその白線幅１（Ｘ_Ｌ１−Ｘ_Ｌ０）と、第２基準点Ｘ_Ｌ２の視差２は（Ｘ_Ｌ２−Ｘ_Ｒ２）およびその白線幅２は、（Ｘ_Ｌ３−Ｘ_Ｌ２）を取得する。

より詳細には、画像情報取得部２１６は、二つの基準点によりパラメータを取得する場合に、二つの基準線Ｌ１、Ｌ２における一方の基準線Ｌ１上の第１基準点Ｘ_Ｌ０の視差１（Ｘ_Ｌ０−Ｘ_Ｒ０）および第１基準点Ｘ_Ｌ０を通り、他方の基準線Ｌ２と交差する第１直線ＬＨ１の基準線Ｌ１、Ｌ２間の第１幅（白線幅１（Ｘ_Ｌ１−Ｘ_Ｌ０））と、一方の基準線Ｌ１上の第２基準点Ｘ_Ｌ２の視差２（Ｘ_Ｌ２−Ｘ_Ｒ２）、および第１直線ＬＨ１と平行であり第２点Ｘ_Ｌ２を通り、他方の基準線Ｌ２と交差する第２直線ＬＨ２の基準線Ｌ１、Ｌ２間の第２幅（白線幅２（Ｘ_Ｌ３−Ｘ_Ｌ２））と、を取得する。ここでは、第１直線ＬＨ１と第２直線ＬＨ２とを水平ラインにしているので、Ｙ座標の記述に関しては省略している。なお、本実施形態に係る第１直線ＬＨ１、第２直線ＬＨ２を水平線としているがこれに限定されず、第１直線ＬＨ１と、第２直線ＬＨ２とは平行であればよい。

図５は、二つ以上の基準点によりパラメータを取得する場合に、画像情報取得部２１６が取得する二つ以上の基準点１〜８それぞれの視差と、それぞれの基準点１〜８を通過する平行線の基準線Ｌ１、Ｌ２間の幅の例を説明する図である。図５の（ａ）図が第１カメラ１００により撮像された第１画像を示し、図５の（ｂ）図が第１カメラ１０２により撮像された第２画像を示している。図５の（ａ）図に示すように、二つの基準線Ｌ１、Ｌ２は、道路上の白線の内側のラインに沿って配置されており、基準線Ｌ１に対応する第２ラインＲ１が第２画像内に配置されている。

図５に示すように、画像情報取得部２１６は、３点以上の基準点を取得してもよい。例えば、図５に示すように、画像情報取得部２１６は、一方の基準線Ｌ１上の３点以上の基準点１〜８のそれぞれの視差と、それぞれの基準点１〜８を通過する平行線の基準線Ｌ１、Ｌ２間の幅ｗ１〜ｗ８を取得する。なお、図５内では、符号ｗ１、ｗ４のみを付している。これらの３点以上の基準点によるパラメータ取得部２１８の処理は後述する。

パラメータ取得部２１８は、画像情報取得部２１６が取得した複数の基準点それぞれの視差と、それぞれの基準点を通過する平行線の基準線間の幅に基づき画像補正処理部の補正パラメータを取得する。

図６は、二つの基準点によりパラメータを取得する場合における画像補正処理のパラメータの概念図である。ここでは、二つの基準点Ｘ_Ｌ０、Ｘ_Ｌ２による画像補正処理のパラメータの例を示している。図６（ａ）および（ｂ）の横軸は視差を示し、縦軸は二つの基準線Ｌ１、Ｌ２間の幅、すなわち、白線幅を示している。図６（ａ）は、画像情報取得部２１６が取得した画像補正前の基準点Ｘ_Ｌ０の視差１および白線幅１と、基準点Ｘ_Ｌ２の視差２および白線幅２と、を結ぶ直線を示し、図６（ｂ）は、画像補正後の基準点Ｘ_Ｌ０の視差１および白線幅１と、基準点Ｘ_Ｌ２の視差２および白線幅２と、を結ぶ直線を示している。

画像補正前の、基準点Ｘ_Ｌ０の視差１および白線幅１と、基準点Ｘ_Ｌ２の視差２および白線幅２と、を結ぶ直線の切片は有限値ｂを示している。一方で、画像補正後の基準点Ｘ_Ｌ０の視差１および白線幅１と、基準点Ｘ_Ｌ２の視差２および白線幅２と、を結ぶ直線の切片は０を示している。これらから分かるように、パラメータ取得部２１８は、座標変換後、すなわち画像補正後の基準点Ｘ_Ｌ０の視差１および白線幅１と、基準点Ｘ_Ｌ２の視差２および白線幅２と、を結ぶ直線の切片を０とする画像補正処理部２１４のパラメータを取得する。

換言すると、パラメータ取得部２１８は、視差１と白線幅１との第１比率と、視差２と白線幅２との第２比率と、を等しくする画像補正処理部２１４のパラメータを取得する。なお、本実施形態では画像補正処理部２１４の画像補正処理を第１画像に対して行うが、これに限定されず、画像補正処理を第２画像に対して行ってもよい。或いは、画像補正処理を第１画像および第２画像に対して行ってもよい。

このように、パラメータ取得部２１８は、上述したように画像情報取得部２１６が取得した、二つの基準線Ｌ１、Ｌ２における一方の基準線Ｌ１上の第１点Ｘ_Ｌ０の視差１（Ｘ_Ｌ０−Ｘ_Ｒ０）および第１点Ｘ_Ｌ０を通り、他方の基準線Ｌ２と交差する第１直線ＬＨ１の基準線Ｌ１、Ｌ２間の第１幅（白線幅１（Ｘ_Ｌ１−Ｘ_Ｌ０））と、一方の基準線Ｌ１上の第２点Ｘ_Ｌ２の視差２（Ｘ_Ｌ２−Ｘ_Ｒ２）、および第１直線ＬＨ１と平行であり第２点Ｘ_Ｌ２を通り、他方の基準線Ｌ２と交差する第２直線ＬＨ２の基準線Ｌ１、Ｌ２間の第２幅（白線幅２（Ｘ_Ｌ３−Ｘ_Ｌ２））と、に基づき画像補正処理のパラメータを取得する。すなわち、パラメータ取得部２１８は、基準点Ｘ_Ｌ０の視差１（Ｘ_Ｌ０−Ｘ_Ｒ０）および白線幅１と、基準点Ｘ_Ｌ２の視差２（Ｘ_Ｌ２−Ｘ_Ｒ２）および白線幅２と、を結ぶ直線の切片を０とするパラメータ、すなわち式（２）、（３）で示す回転行列Ｍ_Ｌの各要素の値を取得する。換言すると、パラメータ取得部２１８は、視差１（Ｘ_Ｌ０−Ｘ_Ｒ０）と白線幅１との第１比率と、視差２（Ｘ_Ｌ２−Ｘ_Ｒ２）と白線幅２との第２比率と、を等しくするパラメータ、すなわち式（２）、（３）で示す回転行列Ｍ_Ｌの各要素の値を取得する。

図７は、３つ以上の基準点１〜８（図５）による画像補正処理のパラメータの概念図である。図７（ａ）は、画像補正前の基準点１〜８の視差および白線幅を結ぶ直線を示し、図７（ｂ）は、画像補正後の基準点１〜８の視差および白線幅を結ぶ直線を示している。図７（ａ）および（ｂ）の横軸は視差を示し、縦軸は二つの基準線Ｌ１、Ｌ２間の幅、すなわち、白線幅を示している。

図６と同様に、図７（ａ）の基準点１〜８の視差および白線幅を結ぶ直線の切片は有限値を示している。一方で、画像補正後の図７（ｂ）について、基準点１〜８の視差および白線幅を結ぶ直線の切片は０を示している。

パラメータ取得部２１８は、例えば（４）式で示すコスト関数Ｅが０に近づくように、式（２）、（３）で示す回転行列Ｍ_Ｌの各要素の値を取得する。

ここで、２つの基準点の組み合わせの内、ステレオカメラ１０から遠い方の基準点１の視差を視差１とし、その白線幅を白線幅１とする。同様に、ステレオカメラ１０から近い方の基準点２の視差を視差２とし、その白線幅を白線幅２として表記する。図５に示すように、基準点のペア（１、５）、（２、６）、（３、７）、（４、８）が存在する場合には、例えばステレオカメラ１０から遠い方の基準点５の視差を視差１とし、その白線幅を白線幅１とする。同様に、ステレオカメラ１０から近い方の基準点１の視差を視差２とし、その白線幅を白線幅２として表記する。同様に、ステレオカメラ１０から遠い方の基準点６の視差を視差１とし、その白線幅を白線幅１とする。同様に、ステレオカメラ１０から近い方の基準点２の視差を視差２とし、その白線幅を白線幅２として表記する。

すなわち、（３）式で示すコスト関数は、基準点のペア（１、５）、（２、６）、（３、７）、（４、８）それぞれの切片の値の二乗を加算する関数である。すなわち、パラメータ取得部２１８は、一方の基準線Ｌ１上の２点以上の基準点のそれぞれの視差と、それぞれの基準点を通過する平行線の基準線Ｌ１、Ｌ２間の幅に基づき、２点以上の基準点１〜８の中の２点の組み合わせ、点ペア（１、５）、（２、６）、（３、７）、（４、８）それぞれから視差と幅の関係を示す線形式の切片をそれぞれ求め、それぞれの切片の値に基づく、コスト関数を規定している。

また、パラメータ取得部２１８は、（５）乃至（７）式で示すように、切片ｄの値が小さくなるにしたがい値が大きくなる重み値ｗ（ｄ）を各切片に基づく値に乗算してもよい。これにより、切片ｄの値が極端に大きい値のとき、重みが小さくなり、コスト関数に与える影響が小さくなる。このため、基準線上の座標の視差が線形変化していない場合、すなわち基準線Ｌ１、Ｌ２が実空間内で平行でない場合などに、コスト関数の精度の低下を回避できる。また、カメラ１０などの撮像系の誤差による影響も低減できる。

ここで、Ｈは任意の定数である。このようなコスト関数を最小化するように（２）、（３）式で示した回転行列Ｍ_Ｌが算出される。

判定部２２０は、画像補正処理のパラメータに基づき、画像補正処理を行うか否かを判定する。例えば、判定部２２０は、パラメータ取得部２１８が取得した回転行列Ｍ_Ｌの値が所定値を超える場合に、画像補正処理を行うと判定する。

図８は、画像処理部２０２の画像変換処理の一例を示すフローチャートである。この図８に示すように、基準線配置部２１２は、第１画像の中からステレオカメラ１０からの距離に応じて、幅がほぼ線形に変化する二つの基準線Ｌ１、Ｌ２を配置する（ステップＳ１００）。次に、画像情報取得部２１６は、一方の基準線Ｌ１上の２点以上の基準点のそれぞれの視差と、それぞれの基準点を通過する平行線の基準線Ｌ１、Ｌ２間の幅を取得する（ステップＳ１０２）。

次に、パラメータ取得部２１８は、一方の基準線Ｌ１上の２点以上の基準点のそれぞれの視差と、それぞれの基準点を通過する平行線の基準線Ｌ１、Ｌ２間の幅に基づき、コスト関数を設定し（ステップＳ１０４）、画像補正処理部２１４の画像補正パラメータを取得する（ステップＳ１０６）。そして、画像補正処理部２１４は、画像補正パラメータを用いて、第１および第２画像の内の少なくとも一方に画像補正処理を行う（ステップＳ１０８）。なお、画像補正パラメータは、第１画像および第２画像の取得の度に取得しても良いし、特定のタイミング、例えば運転支援システム１のキャリブレーション時などに取得してもよい。

以上のように、本実施形態によれば、実空間において平行線に相当する二つの基準線Ｌ１、Ｌ２を第１画像および第２画像のうちの少なくとも一方に配置し、二つの基準線Ｌ１、Ｌ２を延長した交点における第１画像と第２画像の視差を０に近づける画像補正処理のパラメータを取得することとした。これにより、画像補正処理のパラメータを用いて、第１画像および第２画像のうちの少なくとも一方に画像補正処理を行うと、第１画像と第２画像内の対応する無限遠点の視差が０に近づき、ステレオカメラの撮像系におけるヨー回転に伴う画像変形の補正が可能となる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１：運転支援システム、１０：ステレオカメラ、２０：画像処理装置、２０２：画像処理部、２０４：三次元処理部、２１０：通信部、２１２：基準線配置部、２１４：画像補正処理部、２１６：画像情報取得部、２１８：パラメータ取得部、２２０：判定部

Claims (14)

1. ステレオカメラにより撮像された第１画像および第２画像を画像処理する画像処理装置であって、
   二つの基準線を前記第１画像および前記第２画像のうちの少なくとも一方に配置する基準線配置部と、
   前記二つの基準線を延長した交点における前記第１画像と前記第２画像の視差を０に近づける画像補正処理のパラメータを取得するパラメータ取得部と、
   を備える、画像処理装置。
2. 前記二つの基準線は、実空間において平行線に相当する、請求項１に記載の画像処理装置。
3. 前記パラメータを用いて、前記第１画像および前記第２画像のうちの少なくとも一方に画像補正処理を行う画像補正処理部を、更に備える、請求項１又は２に記載の画像処理装置。
4. 前記画像補正処理部は、ホモグラフィ行列により前記画像補正処理を行う、請求項３に記載の画像処理装置。
5. 前記パラメータ取得部は、前記二つの基準線を延長した交点における視差が０になると、コストが最小となるコスト関数を規定し、コストが０に近づく前記パラメータを取得する、請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記パラメータ取得部は、前記二つの基準線における一方の基準線上の第１点の第１視差、および前記第１点を通り、他方の基準線と交差する第１直線の基準線間の第１幅と、前記一方の基準線上の第２点の第２視差、および前記第１直線と平行であり前記第２点を通り、他方の基準線と交差する第２直線の基準線間の第２幅と、に基づき、前記コスト関数を規定する、請求項５に記載の画像処理装置。
7. 前記パラメータ取得部は、前記第１視差と前記第１幅との第１比率と、前記第２視差と前記第２幅との第２比率と、が等しくなるとコストが最小となる前記コスト関数を規定する、請求項６に記載の画像処理装置。
8. 前記パラメータ取得部は、前記一方の基準線上の２点以上の基準点のそれぞれの視差と、それぞれの基準点を通過する平行線の基準線間の幅に基づき、前記２点以上の基準点の中の２点の組み合わせそれぞれから視差と幅の関係を示す線形式の切片をそれぞれ求め、それぞれの切片の値に基づく、前記コスト関数を規定する、請求項５乃至７のいずれか一項に記載の画像処理装置。
9. 前記コスト関数は、前記切片の値が小さくなるにしたがい大きくなる重み値を各切片に基づく値に乗算した関数である、請求項８に記載の画像処理装置。
10. 前記画像補正処理のパラメータに基づき、前記画像補正処理を行うか否かを判定する判定部を更に備える、請求項１乃至９のいずれか一項に記載の画像処理装置。
11. 前記第１画像および前記第２画像の内の少なくとも一方に前記画像補正処理を行った後の前記第１画像および前記第２画像に基づく三次元処理を行う三次元処理部を更に備える、請求項３乃至１０のいずれか一項に記載の画像処理装置。
12. 前記画像補正処理により補正処理された前記第１画像および前記第２画像のうちの少なくとも一方に基づく画像情報を表示する表示部を、更に備える、請求項３乃至１１のいずれか一項に記載の画像処理装置。
13. 請求項１乃至１２のいずれか一項に記載の画像処理装置と、
    前記画像処理装置により得られた情報に基づき、車両の運転を支援する運転支援装置と、
    を備える運転支援システム。
14. ステレオカメラにより撮像された第１画像および第２画像を処理する情報処理方法であって、
    二つの基準線を前記第１画像および前記第２画像のうちの少なくとも一方に配置する基準線配置工程と、
    前記二つの基準線を延長した交点における前記第１画像と前記第２画像の視差を０に近づける画像補正処理のパラメータを取得するパラメータ取得工程と、
    を備える、画像処理方法。