JP2009230235A - 画像処理装置及び方法、運転支援システム、車両 - Google Patents

Abstract

【課題】車両後部中央からずれた位置にリアカメラが設置された際において、画像の欠けなく画像の偏りを補正する。
【解決手段】車両に設置されたカメラより得られるカメラ画像から４特徴点を抽出する一方で、カメラ画像から生成されるべきオフセット補正画像上の４基準点の位置を設定し、４特徴点の座標値が４基準点の座標値に変換されるように、ホモグラフィ行列に基づく座標変換を行う。オフセット補正画像上において画像中心線と車体中心線が合致するように各座標値は設定される。生成されたオフセット補正画像の全体領域内に、カメラ画像の画像データに基づく画像データが存在しない画像欠落領域が含まれているか否かを判定し、それが含まれている場合は、２つの基準点又は４つの基準点の位置を左右対称に移動させ、移動後の基準点の位置に従ってホモグラフィ行列を再計算する。
【選択図】図６

Description

本発明は、カメラからの入力画像に対して画像処理を施す画像処理装置及び方法に関する。また本発明は、それらを利用した運転支援システム及び車両に関する。

車両の運転者にとって車両後方は死角となりやすい。そこで、車両後方を監視するリアカメラを車両後部に設置し、リアカメラから得られたカメラ画像を運転席付近に配置された表示装置に表示するという手法が提案されている。

通常、車両の構造又はデザイン上の制約から、図１５に示す如く、リアカメラは、車両の後部中央からずれた位置（オフセット位置）に取り付けられることが多い。図１５において、符号９０１はリアカメラを示している。このような位置のずれがあると、リアカメラから得られるカメラ画像上において、車体後部中心が画像の中心線上に位置しなくなる。たとえ、画像上における車体後部中心の位置と画像の中心線の位置をあわせたとしても、カメラ光軸が車体中心線からずれているため、実空間上における車両の動きと表示画面上の映像の動きが合わず、運転者は映像を見ながらの運転に違和感を覚える。

そこで、リアカメラが車両の後部中央からずれた位置に設置される場合、カメラ画像のラスタ毎のオフセット量に基づいて、カメラ画像内の所定の範囲を所定の倍率で伸縮させる方法が提案されている（下記特許文献１参照）。この方法では、車両の進行方向における車体中心線が画像の中心線上に位置し、且つ、車両の進行方向における車両両端が画像の両端に対応するように、カメラ画像を左右に分けて左右の部分画像を個別に伸縮補正する。

しかしながら、この方法では、補正を行うためのパラメータ調整が複雑となるため、カメラの取り付け位置に変更が生じた際、その変更への対応が困難である。また、カメラ画像を左右に分けて左右の部分画像を個別に伸縮補正するため、左右の画像の尺度が不均一となる。

尚、リアカメラが車両の後部中央からずれた位置に配置される場合に着目したが、リアカメラの光軸方向が車両の進行方向に対して傾くこともある。このような場合にも、上述と同様の問題が生じうる。

一方において、変換前画像上の４特徴点の座標値と変換後画像上の４基準点の座標値との対応関係に基づいてホモグラフィ行列を設定し、そのホモグラフィ行列に基づいて座標変換を行うという手法が一般的に知られている。この座標変換を利用して各座標値を適切に設定すれば、画像上における車体後部中心の位置と画像の中心線の位置とが合致したオフセット補正画像を生成することも可能ではある。但し、使用するホモグラフィ行列が適切でないと、オフセット補正画像に画像の欠落が発生する。

画像の欠落とは、オフセット補正画像の全体像が現れるべきオフセット補正画像の全体領域内に画像欠落領域が含まれることを意味する。画像欠落領域とは、カメラ画像の画像データに基づく画像データが存在しない領域を意味する。本来、カメラの撮影結果に基づくカメラ画像の画像データからオフセット補正画像の全画素の画像データが生成されるべきであるが、画像変換パラメータとしてのホモグラフィ行列が不適切であると、オフセット補正画像内の一部の画素の対応画素がカメラ画像内に存在しなくなり、結果、画像欠落が発生する。

特開２００５−１２９９８８号公報

そこで本発明は、様々なカメラの取り付け位置又は取り付け角度に対応可能であって且つ画像の欠落を抑制可能な画像処理装置及び画像補正方法を提供することを目的とする。また、本発明は、それらを利用した運転支援システム及び車両を提供することを目的とする。

本発明に係る画像処理装置は、車両の周辺を撮影するカメラの撮影結果に基づいて入力画像を取得する画像取得手段と、前記入力画像上の特徴点の位置が変換画像上の基準点の位置に変換されるように、座標変換によって前記入力画像から前記変換画像を生成する画像変換手段と、前記特徴点の位置と前記基準点の位置に基づく、前記入力画像を前記変換画像に変換するための画像変換パラメータを記憶するパラメータ記憶手段と、前記パラメータ記憶手段に記憶された画像変換パラメータを用いて前記入力画像から得られる前記変換画像の全体領域内に、前記入力画像の画像データに基づく画像データが存在しない画像欠落領域が含まれるか否かを判定する欠落判定手段と、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の発生が抑制されるように、前記基準点の位置の変更を介して前記画像変換パラメータを調整するパラメータ調整手段と、を備えたことを特徴とする。

上記画像処理装置は、入力画像上の特徴点の位置と変換画像上の基準点の位置とに基づく座標変換によって変換画像を生成する。また、入力画像はカメラの撮影結果に基づく画像であるため、カメラの取り付け位置及び取り付け角度の状態は入力画像上の特徴点の位置に反映される。このため、様々なカメラの取り付け位置又は取り付け角度に対応した変換画像を生成することが可能であり、取り付け位置等に変更が生じても、その変更後の取り付け位置等に応じた画像変換パラメータを容易に生成することが可能である。この際、画像変換パラメータによっては、変換画像の全体領域内に画像欠落領域が含まれることがあるが、パラメータ調整手段により画像欠落領域の発生が自動的に抑制される。

具体的には例えば、前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少するように前記基準点の位置を前記変換画像の中心位置から離れる方向へ移動させることにより前記画像変換パラメータの調整を行う。

上述の如く、基準点の位置を変換画像の中心位置から遠ざけることにより変換画像の視野範囲が狭まるため、画像欠落領域の発生を抑制することが可能である。

より具体的には例えば、前記特徴点は第１及び第２の特徴点を含む複数の特徴点から成ると共に前記基準点は第１及び第２の基準点を含む複数の基準点から成り、前記第１及び第２の特徴点は夫々前記第１及び第２の基準点に対応し、前記パラメータ調整手段は、前記変換画像の全体領域内であって且つ前記第２の基準点よりも前記第１の基準点に近い領域に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少するように前記第１の基準点の位置を前記中心位置から離れる方向へ移動させる一方で、前記変換画像の全体領域内であって且つ前記第１の基準点よりも前記第２の基準点に近い領域に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少するように前記第２の基準点の位置を前記中心位置から離れる方向へ前記変換画像内で移動させる。

更に具体的には例えば、前記変換画像を水平又は垂直方向に二分する中心線を境界として前記変換画像を第１及び第２部分画像に分割して考えた場合、前記第１及び第２の基準点は夫々第１及び第２部分画像内に位置し、前記パラメータ調整手段は、前記中心線を対称軸として前記第１及び第２の基準点の位置が線対称の関係を保つように、前記第１及び第２の基準点の内の一方の位置を移動させる場合は、同時に他方の基準点の位置も移動させる。

そして例えば、前記変換画像上において、前記車両の進行方向における前記車両の車体中心線が前記中心線と合致するように、前記特徴点の位置及び移動前後の前記基準点の位置は決定される。

これにより、変換画像上において、画像の中心線と車体中心線が合致すると共に左右の画像の尺度が均一となる。

また例えば、前記画像変換パラメータによって前記変換画像内の各画素の座標値に対応する座標変換前の座標値が規定され、前記欠落判定手段は、その座標変換前の座標値が全て前記入力画像内の座標値である場合は前記変換画像の全体領域内に前記画像欠落領域が含まれていないと判定し、求めた前記座標値に前記入力画像外の座標値が含まれる場合は前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定する。

本発明に係る運転支援システムは、前記カメラ及び前記画像処理装置を備え、前記画像処理装置の画像変換手段にて得られる変換画像に基づく画像を表示手段に出力することを特徴とする。

本発明に係る車両は、前記カメラ及び前記画像処理装置が設置されたことを特徴とする。

本発明に係る画像処理方法は、車両の周辺を撮影するカメラの撮影結果に基づいて入力画像を取得する画像取得ステップと、前記入力画像上の特徴点の位置が変換画像上の基準点の位置に変換されるように、座標変換によって前記入力画像から前記変換画像を生成する画像変換ステップと、前記特徴点の位置と前記基準点の位置に基づく、前記入力画像を前記変換画像に変換するための画像変換パラメータを記憶するパラメータ記憶ステップと、記憶された画像変換パラメータを用いて前記入力画像から得られる前記変換画像の全体領域内に、前記入力画像の画像データに基づく画像データが存在しない画像欠落領域が含まれるか否かを判定する欠落判定ステップと、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の発生が抑制されるように、前記基準点の位置の変更を介して前記画像変換パラメータを調整するパラメータ調整ステップと、を実行することを特徴とする。

本発明によれば、様々なカメラの取り付け位置又は取り付け角度に対応可能であって且つ画像の欠落を抑制可能な画像処理装置及び画像補正方法を提供することができる。また、それらを利用した運転支援システム及び車両を提供することができる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

図１（ａ）は、自動車である車両１００を上方から見た平面図である。図１（ｂ）は、車両１００を側方から見た平面図である。車両１００は、路面上に配置されているものとする。車両１００の後部には、車両１００後方の安全確認を支援するためのカメラ１が設置されている。カメラ１は、車両１００の後方側に視野を有するように車両１００に設置される。符号１０５が付された破線扇型領域は、カメラ１の撮影領域（視野）を表している。カメラ１の視野に車両１００付近の後方側路面が含まれるように、カメラ１は後方下向きに設置される。尚、車両１００として普通乗用車を例示しているが、車両１００は、普通乗用車以外（トラックなど）であってもよい。路面は水平面上にあるものとする。

今、車両１００を基準にし、実空間（実際の空間）において、仮想軸であるＸ_C軸及びＹ_C軸を定義する。Ｘ_C軸及びＹ_C軸は、路面上の軸であり、Ｘ_C軸とＹ_C軸は互いに直交する。Ｘ_C軸及びＹ_C軸から成る二次元座標系において、Ｙ_C軸は車両１００の進行方向に平行であり、車両１００の車体中心線はＹ_C軸上にのる。ここにおける車両１００の進行方向とは、車両１００の直進時における進行方向を意味するものとする。また、車体中心線とは、車両１００の進行方向に平行な、車体の中心線を意味するものとする。より具体的には、車体中心線とは、車両１００の右端を通り且つＹ_C軸に平行な仮想線１１１と車両１００の左端を通り且つＹ_C軸に平行な仮想線１１２との間の中心を通る線である。また、車両１００の前端を通り且つＸ_C軸に平行な仮想線１１３と車両１００の後端を通り且つＸ_C軸に平行な仮想線１１４との間の中心を通る線はＸ_C軸上にのる。仮想線１１１〜１１４は、路面上の仮想線であるとする。尚、車両１００の右端とは車両１００の車体の右端と同義である。車両１００の左端等についても同様である。

図２に、本発明の実施形態に係る運転支援システムの概略全体ブロック図を示す。運転支援システムは、カメラ１、画像処理装置２、表示装置３及び操作部４を備える。カメラ１は、車両１００の周辺に位置する被写体（路面を含む）を撮影し、撮影によって得られた画像を表す信号を画像処理装置２に出力する。画像処理装置２は、カメラ１から得た画像より表示用画像を生成する。画像処理装置２は、生成した表示用画像を表す映像信号を表示装置３に出力し、表示装置３は、与えられた映像信号に従って表示用画像を映像として表示する。操作部４は、ユーザによる操作を受け付ける部位であり、ユーザの操作内容は画像処理装置２に伝達される。

カメラ１の撮影によって得られた画像をカメラ画像と呼ぶ。カメラ１の出力信号そのものによって表されるカメラ画像は、レンズ歪みの影響を受けていることが多い。従って、画像処理装置２は、カメラ１の出力信号そのものによって表されるカメラ画像に対してレンズ歪み補正を施し、レンズ歪み補正後のカメラ画像に基づいて表示用画像の生成を行う。特記なき限り、以下に述べるカメラ画像とは、レンズ歪み補正後のカメラ画像を指すものとする。但し、カメラ１の特性によっては、レンズ歪み補正処理が省略されることもある。

カメラ１として、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の固体撮像素子を用いたカメラが用いられる。画像処理装置２は、例えば集積回路から形成される。表示装置３は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、運転支援システムにおける表示装置３として流用しても良い。また、画像処理装置２は、カーナビゲーションシステムの一部として組み込まれうる。画像処理装置２及び表示装置３は、例えば、車両１００の運転席付近に設置される。

理想的には、カメラ１は、正確に車両後方を向けて車両後部中央に配置される。つまり、理想的には、カメラ１の光軸がＹ_C軸を含む鉛直面上にのるように、カメラ１は車両１００に設置される。しかしながら、車両１００の構造又はデザイン上の制約或いはカメラ１の取り付け誤差に起因して、図３（ａ）に示す如くカメラ１が車両後部中央からずれた位置に設置されたり、図３（ｂ）に示す如くカメラ１の光軸がＹ_C軸を含む鉛直面と平行にならなかったりすることも多い。このような場合、カメラ画像の中心線がカメラ画像上の車体中心線からずれたり、カメラ画像が車両１００の進行方向に対して傾いたりする。本実施形態に係る運転支援システムは、このような画像のずれや傾きを補償した画像を生成及び表示する機能を備える。

画像のずれや傾きが補償された画像をオフセット補正画像と呼ぶ。オフセット補正画像は、カメラ画像を座標変換することによって得られる。カメラ画像をカメラ１の視点とは異なる仮想視点から見たような画像に変換することによってオフセット補正画像が生成される、と考えることもできる。この種の座標変換（又は該座標変換による画像変換）は、視点変換とも呼ばれる。

カメラ画像からオフセット補正画像を得るための座標変換を、ホモグラフィ行列（射影変換行列）に基づいて行うことができる。画像処理装置２は、カメラ１の撮影結果に基づいてホモグラフィ行列を求めるが、一旦算出されたホモグラフィ行列は後に調整されうる。まず、図４を参照して、ホモグラフィ行列の初期値の算出方法を説明する。図４は、ホモグラフィ行列の初期値の算出動作を表すフローチャートである。尚、図４におけるステップＳ４〜Ｓ６の処理は、例えば、画像処理装置２内に設けられたパラメータ導出部（不図示）によって実行される。

まず、ステップＳ１において、校正環境が整備される。典型的な例として、図５に示すような校正環境が整備されたことを想定する。但し、以下の校正環境は理想的なものであり、実際には誤差が含まれうる。

まず、車両１００にカメラ１を設置し、路面上に描かれた白線Ｌ１及びＬ２がカメラ１の視野内に収まるように車両１００を路面上に配置する。白線Ｌ１及びＬ２は、例えば、駐車場における１つの駐車区画を他の駐車区画と区分けするための標識である。路面上において、白線Ｌ１とＬ２は、互いに平行な線分であって、両線分の長さは同じであるとする。そして、Ｙ_C軸を対称軸として白線Ｌ１と白線Ｌ２は線対称の関係を有するものとする。従って、Ｙ_C軸と白線Ｌ１及びＬ２とは平行であり且つＹ_C軸と白線Ｌ１との距離とＹ_C軸と白線Ｌ２との距離は一致する。尚、図５では、カメラ１が正確に車両後方を向けて車両後部中央に配置されているが、上述したように、この配置にはずれが含まれうる。

白線Ｌ１の両端点の内、カメラ１及び車両１００から遠い方及び近い方の端点を夫々Ｐ１及びＰ３で表し、白線Ｌ２の両端点の内、カメラ１及び車両１００から遠い方及び近い方の端点を夫々Ｐ２及びＰ４で表す。説明の簡略化上、各白線の太さ（Ｘ_C軸方向の長さ）の存在を無視して考える。白線Ｌ１の太さを無視しない場合は、Ｙ_C軸に平行な、白線Ｌ１の中心線を想定し、その中心線上における白線Ｌ１の両端点を端点Ｐ１及びＰ３と捉えればよい（白線Ｌ２に対しても同様）。

このような校正環境の下、ステップＳ２において、カメラ１に撮影を行わせて原画像を取得し、ステップＳ３において原画像にレンズ歪み補正を施す。原画像とは、レンズ歪み補正前のカメラ画像を指す。原画像にレンズ歪み補正を施して得た画像を、上述したように、単にカメラ画像と呼ぶ。ステップＳ３にて得られたカメラ画像が、図６に示すカメラ画像２１０であったとする。カメラ画像２１０内の点Ｐ１_A〜Ｐ４_Aは、夫々、カメラ画像２１０上の端点Ｐ１〜Ｐ４を表しており、それらの点を特徴点と呼ぶ。また、カメラ画像２１０を、図４の処理で求められるべきホモグラフィ行列の初期値に従って座標変換して得たオフセット補正画像を、符号２２０によって表す。

続くステップＳ４において、画像処理装置２は、カメラ画像２１０の画像データに基づいてカメラ画像２１０から特徴点Ｐ１_A〜Ｐ４_Aを抽出して、特徴点Ｐ１_A〜Ｐ４_Aの位置を検出する。

画像内における白線の端点を抽出する方法として公知の方法を用いることができる。例えば、特開昭６３−１４２４７８号公報、特開平７−７８２３４号公報又は国際公開番号ＷＯ００／７３７３号に記載された方法を用いることができる。即ち例えば、カメラ画像に対してエッジ抽出処理を行った後、そのエッジ抽出結果に対して更にハフ変換などを利用した直線抽出処理を実施し、得られた線分の端点を白線の端点として抽出する。尚、特徴点Ｐ１_A〜Ｐ４_Aの位置をユーザの手動操作で決定してもよい。つまり、ユーザによる操作部４への操作内容に基づいて、特徴点Ｐ１_A〜Ｐ４_Aの位置を決定しても良い。また、一旦、カメラ画像２１０の画像データに基づいて特徴点Ｐ１_A〜Ｐ４_Aを自動抽出させた後、抽出誤差に対応するべく、必要に応じて、ユーザが手動操作にて正確な特徴点Ｐ１_A〜Ｐ４_Aの位置を画像処理装置２に与えるようにしてもよい。

各特徴点の位置は、カメラ画像２１０上の座標値によって表される。今、カメラ画像及びオフセット補正画像が定義される座標面（座標系）として、Ｘ軸及びＹ軸を座標軸とする二次元のＸＹ座標面（ＸＹ座標系）を想定する。Ｘ軸及びＹ軸は互いに直交し、カメラ画像上の点の座標値を（ｘ，ｙ）で表す一方で、オフセット補正画像上における点の座標値を（ｘ'，ｙ'）で表す。ｘ及びｙは、それぞれカメラ画像上の点の位置のＸ軸成分及びＹ軸成分を表し、ｘ'及びｙ'は、それぞれオフセット補正画像上の点の位置のＸ軸成分及びＹ軸成分を表す。Ｘ軸は、カメラ画像及びオフセット補正画像の水平方向（及び水平ライン）に平行であり、Ｙ軸は、カメラ画像及びオフセット補正画像の垂直方向（及び垂直ライン）に平行であるとする。Ｘ軸方向が画像の左右方向に対応し、且つ、Ｙ軸方向が画像の上下方向に対応するものとする。また、Ｘ軸とＹ軸の交点に相当する、ＸＹ座標面上の原点をＯにて表す。

また、カメラ画像及びオフセット補正画像は矩形画像であるとする。図７に、カメラ画像又はオフセット補正画像を表す矩形画像２３０を示す。図７において、直線２４１は矩形画像２３０を垂直方向に二分する水平中心線を表し、直線２４２は矩形画像２３０を水平方向に二分する垂直中心線を表す。水平中心線２４１は、矩形画像２３０の水平ラインに平行であり（Ｘ軸に平行であり）、垂直中心線２４２は、矩形画像２３０の垂直ラインに平行である（Ｙ軸に平行である）。矩形画像２３０の全体領域は水平中心線２４１及び垂直中心線２４２によって４分割される。水平中心線２４１の上側であって垂直中心線２４２の左側に位置する画像領域、水平中心線２４１の上側であって垂直中心線２４２の右側に位置する画像領域、水平中心線２４１の下側であって垂直中心線２４２の左側に位置する画像領域、水平中心線２４１の下側であって垂直中心線２４２の右側に位置する画像領域を、それぞれ第１、第２、第３及び第４画像領域と呼び、第１、第２、第３及び第４画像領域内の画像を、夫々、第１、第２、第３及び第４部分画像と呼ぶ。また、水平中心線２４１と垂直中心線２４２との交点２４０は、矩形画像２３０の中心点である。

図４のステップＳ４にて特徴点Ｐ１_A〜Ｐ４_Aの位置が決定された後、ステップＳ５において、画像処理装置２は、特徴点Ｐ１_A〜Ｐ４_Aに対応すべき基準点Ｐ１_B〜Ｐ４_Bの位置を決定する。基準点Ｐ１_B〜Ｐ４_Bは、オフセット補正画像上における端点Ｐ１〜Ｐ４を表し、各基準点の位置は、オフセット補正画像上の座標値によって表される。基準点Ｐ１_B〜Ｐ４_Bの位置は、例えば、予め設定されている。或いは、操作部４に対する操作によってユーザが基準点Ｐ１_B〜Ｐ４_Bの位置を指定する。

但し、基準点Ｐ１_B〜Ｐ４_Bは、夫々、オフセット補正画像の第１〜第４画像領域内に位置するものとする。また、特徴点Ｐ１_A〜Ｐ４_Aは、夫々、カメラ画像における第１〜第４画像領域内に位置するものとする。また更に、オフセット補正画像において、垂直中心線と車体中心線が合致するように基準点Ｐ１_B及びＰ３_Bと基準点Ｐ２_B及びＰ４_Bを左右対称に配置する。即ち、基準点Ｐ１_Bの位置と基準点Ｐ２_Bの位置がオフセット補正画像の垂直中心線を対称軸として線対称の関係を持ち、且つ、基準点Ｐ３_Bの位置と基準点Ｐ４_Bの位置がオフセット補正画像の垂直中心線を対称軸として線対称の関係を持つように、ステップＳ５における基準点Ｐ１_B〜Ｐ４_Bの位置が決定されるものとする。

ステップＳ４及びＳ５にて４つの特徴点の座標値（位置）及び４つの基準点の座標値（位置）が決定されると、ステップＳ６において、画像処理処理２は、それらの座標値情報に基づいてホモグラフィ行列の初期値を算出する。ホモグラフィ行列をＨで表した場合、カメラ画像上における座標値（ｘ，ｙ）とオフセット補正画像上における座標値（ｘ'，ｙ'）との関係は、下記式（１）のように表される。ホモグラフィ行列Ｈは、３行３列の行列であり、その行列の各要素をｈ₁〜ｈ₉で表す。更に、ｈ₉＝１であるとする（ｈ₉＝１、となるように行列を正規化する）。また、式（１）より、座標値（ｘ，ｙ）と座標値（ｘ'，ｙ'）との関係は、下記式（２ａ）及び（２ｂ）によって表すこともできる。

４組の座標値対応関係に基づきホモグラフィ行列を求める手法として、公知の手法を用いることができる。例えば、特開２００４−３４２０６７号公報に記載の手法（特に、段落［００５９］〜［００６９］に記載の手法を参照）を用いればよい。ステップＳ４において決定された特徴点Ｐ１_A〜Ｐ４_Aの座標値が、それぞれ（ｘ₁，ｙ₁）、（ｘ₂，ｙ₂）、（ｘ₃，ｙ₃）及び（ｘ₄，ｙ₄）であり、且つ、ステップＳ５において決定された基準点Ｐ１_B〜Ｐ４_Bの座標値が、それぞれ（ｘ₁'，ｙ₁'）、（ｘ₂'，ｙ₂'）、（ｘ₃'，ｙ₃'）及び（ｘ₄'，ｙ₄'）であったとする。そうすると、ステップＳ６において、画像処理装置２は、座標値（ｘ₁，ｙ₁）、（ｘ₂，ｙ₂）、（ｘ₃，ｙ₃）及び（ｘ₄，ｙ₄）が、それぞれ、座標値（ｘ₁'，ｙ₁'）、（ｘ₂'，ｙ₂'）、（ｘ₃'，ｙ₃'）及び（ｘ₄'，ｙ₄'）に変換されるように、ホモグラフィ行列Ｈの要素ｈ₁〜ｈ₈の各値を求める。実際には、この変換の誤差（特開２００４−３４２０６７号公報における評価関数）が最小化されるように要素ｈ₁〜ｈ₈の各値を求める。ここで求めた要素ｈ₁〜ｈ₈の各値を有するホモグラフィ行列Ｈを、ステップＳ６で求めるべきホモグラフィ行列の初期値とする。

一旦、ホモグラフィ行列が求まれば、上記式（２ａ）及び（２ｂ）に従ってカメラ画像上の任意の点をオフセット補正画像上の点に変換することが可能であり、任意のカメラ画像から生成したオフセット補正画像上において、垂直中心線を車体中心線は合致する。実際には例えば、求めたホモグラフィ行列に従うテーブルデータを作成して、それを画像処理装置２内のメモリに格納することによりルックアップテーブルを生成し、そのテーブルデータを参照することによりカメラ画像からオフセット補正画像を生成する。このテーブルデータ又はホモグラフィ行列は、オフセット補正画像上の各画素の座標値に対応するカメラ画像上の座標値（即ち、座標変換前の座標値）を規定するパラメータである。以下、このパラメータを、画像変換パラメータと呼ぶ。

尚、上述したホモグラフィ行列の初期値の算出方法は、あくまで例示であり、ホモグラフィ行列の初期値を用いて得たオフセット補正画像上において垂直中心線と車体中心線が合致するのであれば、それをどのように算出しても構わない。

上述の如くして画像変換パラメータを求めることにより、オフセット補正画像上において垂直中心線を車体中心線に合致させることができるが、画像変換パラメータによっては、図８に示すようにオフセット補正画像内に画像の欠落が生じる。

画像の欠落とは、オフセット補正画像の全体像が現れるべきオフセット補正画像の全体領域内に画像欠落領域が含まれることを意味する。画像欠落領域とは、カメラ画像の画像データに基づく画像データが存在しない領域を意味する。図８において、符号２５１及び２５２が付された斜線領域の夫々が画像欠落領域である。本来、カメラの撮影結果に基づくカメラ画像の画像データからオフセット補正画像の全画素の画像データが生成されるべきであるが、画像変換パラメータが不適切であると、オフセット補正画像内の一部の画素の対応画素がカメラ画像内に存在しなくなり、結果、画像欠落が発生する。

カメラ１が正確に車両後方を向けて車両後部中央に配置されない場合であっても、カメラ１の取り付け位置及び角度が一定の位置及び角度に完全に固定されることが分かっている場合は、車両１００を基準とする撮影領域は不変であるため、カメラ１の取り付け状態を考慮して運転支援システムの設計段階で画像変換パラメータを最適に設定しておくことができる。しかし、ユーザが車両１００とは別にカメラ１を用意して車両１００の形状等に合わせてカメラ１を車両１００に設置する場合は、上述のようにして画像変換パラメータを求めたとしても、画像変換結果を見なければオフセット補正画像に画像の欠落が生じるか否かが分からない。

本実施形態に係る運転支援システムには、画像の欠落を排除するための、画像変換パラメータに対する自動調整機能が備えられている。以下、この機能に注目した運転支援システムの構成及び動作を説明する。

図９は、画像処理装置２の機能ブロック図を含む、図１の運転支援システムの詳細ブロック図である。画像処理装置２は、符号１１〜１７によって参照される各部位を備える。図１０は、上記の自動調整機能を実現するための動作を含む、運転支援システムの動作の流れを表すフローチャートである。

まず、ステップＳ１１において、画像入力部１１は、カメラ１から原画像の入力を受ける。即ち、画像入力部１１は、カメラ１から送られてくる原画像の画像データを受け取り、その画像データをフレームメモリ（不図示）に記憶させることで原画像を取得する。原画像とは、上述したように、レンズ歪み補正前のカメラ画像を指す。広視野角を確保すべくカメラ１には広角レンズが用いられるため、原画像には歪みが含まれている。そこで、ステップＳ１２において、レンズ歪み補正部１２は、画像入力部１１が取得した原画像に対してレンズ歪み補正を施す。レンズ歪み補正の方法として、特開平５−１７６３２３号公報に記載されているような公知の任意の方法が利用可能である。原画像にレンズ歪み補正を施して得た画像を、上述したように、単にカメラ画像と呼ぶ。

ステップＳ１２に続くステップＳ１３において、画像変換部１３は、パラメータ記憶部１６に記憶されている画像変換パラメータを読み込む。当初、パラメータ記憶部１６は、図４のステップＳ６にて求められた画像変換パラメータ（即ち、ホモグラフィ行列の初期値を表す画像変換パラメータ）を記憶しているが、後述するように、記憶される画像変換パラメータは更新されることがある。ステップＳ１３では、最新の画像変換パラメータが読み込まれる。続くステップＳ１４において、画像変換部１３は、読み込んだ画像変換パラメータに従ってレンズ歪み補正部１２から与えられるカメラ画像を座標変換（視点変換）することによりオフセット補正画像を生成する。

ステップＳ１４の処理の後、欠落判定部１４によってステップＳ１５の処理が実行される。欠落判定部１４は、ステップＳ１４で生成されるべきオフセット補正画像に画像の欠落が発生しているか否かを判定する。欠落判定部１４は、オフセット補正画像の全体領域内に画像欠落領域が含まれる場合に、画像の欠落が発生していると判定し、オフセット補正画像の全体領域内に画像欠落領域が含まれていない場合は、画像の欠落が発生していないと判定する。

オフセット補正画像に画像の欠落が発生していると判断された場合は、ステップＳ１５からステップＳ１６に移行し、画像の欠落が発生していないと判断された場合はステップＳ１７に移行する。

図１１並びに図１２（ａ）及び（ｂ）を参照して、画像欠落の意義及び画像欠落の有無の判定方法を補足説明する。オフセット補正画像を形成する各画素が位置すべき、ＸＹ座標面上の座標値は予め設定されており、その設定内容に従って、ＸＹ座標面上におけるオフセット補正画像の外形位置も予め定められている。図１１並びに図１２（ａ）及び（ｂ）において、符号２７０が付された枠は、ＸＹ座標面上におけるオフセット補正画像の全体領域外形を表している。その枠２７０内に二次元配列された画素群からオフセット補正画像が生成される。

欠落判定部１４は、ステップＳ１３で読み込まれた画像変換パラメータに従って、枠２７０内の各画素の座標値（ｘ'，ｙ'）に対応する座標値（ｘ，ｙ）を求める。そして、求めた全ての座標値（ｘ，ｙ）がカメラ画像内の座標値である場合、即ち、オフセット補正画像を形成する全画素の画像データをカメラ画像の画像データから得ることができる場合、画像の欠落は発生していないと判定する。一方、求めた全ての座標値（ｘ，ｙ）の中に、カメラ画像外の座標値が存在する場合は、画像の欠落が発生していると判定する。図１２（ａ）は、画像の欠落が発生しない場合の座標変換の様子を示しており、図１２（ｂ）は、画像の欠落が発生している場合の座標変換の様子を示している。図１２（ａ）及び（ｂ）において、枠２８０はＸＹ座標面上におけるカメラ画像の全体領域外形を表しており、枠２８０内にのみ、カメラ画像の画像データが存在する。

ステップＳ１５にて画像の欠落が発生していると判断された場合、ステップＳ１６において、その判断結果に基づきパラメータ調整部１５が画像変換パラメータの調整を行う。

ステップＳ１６の調整方法を説明する。パラメータ調整部１５は、オフセット補正画像の全体領域を形成する第１〜第４画像領域の内（図７参照）、第１、第２、第３、第４画像領域内に画像欠落領域が存在する場合は、その画像欠落領域の大きさが減少するように（究極的には、画像欠落領域が完全に無くなるように）、夫々、基準点Ｐ１_B、Ｐ２_B、Ｐ３_B、Ｐ４_Bの位置をオフセット補正画像の中心点から離れる方向に移動させ、移動後の基準点の位置に従って画像変換パラメータを再計算する。この再計算によって調整がなされる。即ち、この再計算によって得られた新たな画像変換パラメータが、調整後の画像変換パラメータである。パラメータ記憶部１６が記憶する画像変換パラメータは、調整後の画像変換パラメータによって更新される。基準点の位置をオフセット補正画像の中心点から遠ざけるとオフセット補正画像の視野範囲が狭まるため、画像欠落領域が発生しにくくなる。

この際、垂直中心線２４２を対称軸として基準点Ｐ１_Bと基準点Ｐ２_Bの位置が線対称の関係を保つように、基準点Ｐ１_B及びＰ２_Bの内の、一方の基準点の位置を移動させたならば、他方の基準点の位置も同時に移動させる。同様に、垂直中心線２４２を対称軸として基準点Ｐ３_Bと基準点Ｐ４_Bの位置が線対称の関係を保つように、基準点Ｐ３_B及びＰ４_Bの内の、一方の基準点の位置を移動させたならば、他方の基準点の位置も同時に移動させる。これにより、調整後の画像変換パラメータに基づくオフセット補正画像においても、垂直中心線が車体中心線に合致し、また左右の画像の尺度が均一となる。即ち、第１部分画像内に位置する物体の、画像上における水平方向の長さと、第２部分画像内に位置する物体の、画像上における水平方向の長さは、両物体の大きさが実空間上で同じであるならば同じとなる。第３部分画像と第４部分画像の関係も同様である。

具体的な基準点の移動方向及び移動量の決定方法を説明する。今、調整前の画像変換パラメータを用いることによって、ステップＳ１４にて、図１３（ａ）に示すオフセット補正画像３００が得られた場合を想定する。オフセット補正画像３００の第１画像領域には画像欠落領域３０１が存在し、オフセット補正画像３００の第４画像領域には画像欠落領域３０２が存在していたものとする。尚、画像欠落領域３０２の一部は第２画像領域に存在している。また、オフセット補正画像３００の中心点を符号３１０によって参照する。また、オフセット補正画像３００の第１及び４画像領域の拡大図を、夫々、図１３（ｂ）及び（ｃ）に示す。

パラメータ調整部１５は、オフセット補正画像３００の第１〜第４画像領域の夫々に着目し、着目した画像領域に含まれる画像欠落領域の水平方向画素数を水平ライン毎に算出すると共に垂直方向画素数を垂直ライン毎に算出する。第ｉ画像領域に含まれる画像欠落領域に関し、或る水平ラインの水平方向画素数とは、その画像欠落領域に属する画素であって且つ該水平ライン上に位置する画素の個数を指し、或る垂直ラインの垂直方向画素数とは、その画像欠落領域に属する画素であって且つ該垂直ライン上に位置する画素の個数を指す（ここで、ｉは１、２、３又は４）。まず、第１画像領域に着目して、この算出結果に基づく処理を説明する。

パラメータ調整部１５は、第１画像領域に含まれる画像欠落領域３０１の水平方向画素数を水平ライン毎に算出すると共に垂直方向画素数を垂直ライン毎に算出し、算出した水平方向画素数が予め設定された閾値ＴＨ_A以上となっている水平ライン数Ｎ_1Aを求めると共に算出した垂直方向画素数が予め設定された閾値ＴＨ_B以上となっている垂直ライン数Ｎ_1Bを求める。尚、水平ライン数Ｎ_1Aは、図１３（ｂ）に示すブラケット３３０の大きさに比例する。

そして、求めた水平ライン数Ｎ_1Aが１以上である場合、基準点Ｐ１_Bの位置を上側へ（即ち、中心点３１０から離れるように垂直方向へ）移動させる。上側への移動量を、水平ライン数Ｎ_1Aに応じて決定することができる。例えば、水平ライン数Ｎ_1Aが増加するに従って上側への移動量を増加させるとよい。同様に、求めた垂直ライン数Ｎ_1Bが１以上である場合、基準点Ｐ１_Bの位置を左側へ（即ち、中心点３１０から離れるように水平方向へ）移動させる。左側への移動量を、水平ライン数Ｎ_1Bに応じて決定することができる。例えば、水平ライン数Ｎ_1Bが増加するに従って左側への移動量を増加させるとよい。但し、図１３（ｂ）に示す例では、Ｎ_1B＝０であるため、基準点Ｐ１_Bの左側への移動は行われない。

また、上述したように、基準点Ｐ１_Bの位置を移動させたならば、同時に基準点Ｐ２_Bの位置も移動させる。図１３（ｂ）に示す例の場合、基準点Ｐ１_Bの位置を上側へ移動させるため、同時に基準点Ｐ２_Bの位置も上側へ移動させる。基準点Ｐ１_Bの移動量と基準点Ｐ２_Bの移動量は同じである。

第４画像領域に対しても同様の処理が施される。即ち、パラメータ調整部１５は、第４画像領域に含まれる画像欠落領域３０２の水平方向画素数を水平ライン毎に算出すると共に垂直方向画素数を垂直ライン毎に算出し、算出した水平方向画素数が予め設定された閾値ＴＨ_A以上となっている水平ライン数Ｎ_4Aを求めると共に算出した垂直方向画素数が予め設定された閾値ＴＨ_B以上となっている垂直ライン数Ｎ_4Bを求める。

そして、求めた水平ライン数Ｎ_4Aが１以上である場合、基準点Ｐ４_Bの位置を下側へ（即ち、中心点３１０から離れるように垂直方向へ）移動させる。下側への移動量を、水平ライン数Ｎ_4Aに応じて決定することができる。例えば、水平ライン数Ｎ_4Aが増加するに従って下側への移動量を増加させるとよい。同様に、求めた垂直ライン数Ｎ_4Bが１以上である場合、基準点Ｐ４_Bの位置を右側へ（即ち、中心点３１０から離れるように水平方向へ）移動させる。右側への移動量を、水平ライン数Ｎ_4Bに応じて決定することができる。例えば、水平ライン数Ｎ_4Bが増加するに従って右側への移動量を増加させるとよい。

また、上述したように、基準点Ｐ４_Bの位置を移動させたならば、同時に基準点Ｐ３_Bの位置も移動させる。図１３（ｃ）に示す例の場合、基準点Ｐ４_Bの位置を右下側へ移動させるため、同時に基準点Ｐ３_Bの位置も左下側へ移動させる。基準点Ｐ４_Bの下側への移動量と基準点Ｐ３_Bの下側への移動量は同じであり、基準点Ｐ４_Bの右側への移動量と基準点Ｐ３_Bの左側への移動量は同じである。

第２及び第３画像領域に対しても同様の処理が施される。但し、垂直中心線２４２を対称軸として基準点Ｐ１_Bと基準点Ｐ２_Bの位置が常に線対称の関係を保つように、且つ、垂直中心線２４２を対称軸として基準点Ｐ３_Bと基準点Ｐ４_Bの位置が常に線対称の関係を保つように、各基準点の位置に対する移動処理はなされる。

従って、図１４に示すような、第１及び第２画像領域の夫々に画像欠落領域が存在するオフセット補正画像が得られた場合において、第１画像領域に含まれる画像欠落領域の大きさに基づき基準点Ｐ１_Bの位置を上側に５画素分だけ移動させるべきであると判断し、同時に、第２画像領域に含まれる画像欠落領域の大きさに基づき基準点Ｐ２_Bの位置を上側に３画素分だけ移動させるべきであると判断したときには、両方の判断結果に基づいて基準点Ｐ１_B及びＰ２_Bの上側への移動量を決定する。例えば、基準点Ｐ１_B及びＰ２_Bに対して判断された移動量の内、大きい方の移動量に従って基準点Ｐ１_B及びＰ２_Bの位置を移動させればよい。つまり、この数値例の場合、基準点Ｐ１_B及びＰ２_Bの位置を、共に５画素分、上側に移動させればよい。

尚、カメラ画像における特徴点Ｐ１_A〜Ｐ４_Aの位置は、図４のステップＳ４の処理の段階で決定されているのであるが、ステップＳ１６の処理の段階で特徴点Ｐ１_A〜Ｐ４_Aの位置も同時に調整するようにしてもよい。例えば、カメラ画像の画像データに基づく特徴点Ｐ１_A〜Ｐ４_Aの抽出誤差に対応するべく、ステップＳ１６の処理の段階で、必要に応じて、ユーザが手動操作にて特徴点Ｐ１_A〜Ｐ４_Aの位置を調整するようにしてもよい。この場合、この調整後の特徴点の位置と上述した移動後の基準点の位置とに従って画像変換パラメータが再計算され、この再計算によって得られた新たな画像変換パラメータが調整後の画像変換パラメータとしてパラメータ記憶部１６に更新記憶される。

図１０のステップＳ１６にて画像変換パラメータが調整された後、ステップＳ１３に戻り、更新記憶された画像変換パラメータが画像変換部１３によって読み込まれ、その更新記憶された画像変換パラメータを用いたステップＳ１４の画像変換及びステップＳ１５の欠落判定処理が実行される。このため、ステップＳ１３〜Ｓ１６から成るループ処理は、ステップＳ１５にて画像の欠落が発生していないと判断されるまで繰り返し実行される。

ステップＳ１５にて画像の欠落が発生していないと判断された場合、画像の欠落の発生していない最新のオフセット補正画像の画像データが画像変換部１３から表示用画像生成部１７に送られる（図９参照）。表示用画像生成部１７は、その最新のオフセット補正画像の画像データに基づいて表示用画像の画像データを生成し、その表示用画像の画像データを表示装置３に出力する。これにより、画像の欠落が存在しないオフセット補正画像に基づく表示用画像が表示装置３に表示される。表示用画像は、例えば、オフセット補正画像そのもの、或いは、オフセット補正画像に任意の加工を施した画像、或いは、オフセット補正画像に任意の画像を付加した画像である。

本実施形態に係る運転支援システムによれば、カメラ１の取り付け状態に適応して画像変換パラメータが自動的に調整されるため、画像の欠落のない映像を運転者に提示することが可能となる。また、車両１００に対するカメラ１の取り付け位置又は取り付け角度に変更が生じた場合は、その変更後、図４のステップＳ１〜Ｓ６の各処理の実行を介して図１０のステップＳ１１〜Ｓ１７の各処理を実行すれば、変更後のカメラ１の取り付け状態に適応するように画像変換パラメータが自動的に調整される。つまり、カメラ１の取り付け位置又は取り付け角度に変更が生じた場合でも、画像の欠落のない映像を生成するための、適切な画像変換パラメータを容易に生成可能である。更に、本実施形態に係る運転支援システムによれば、特許文献１に記載された方法を用いた場合と異なり、表示画面上における左右の画像の尺度を均一とすることができる。

＜＜変形等＞＞
上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈７を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述の例では、画像変換パラメータとしてのホモグラフィ行列を求める際、特徴点の個数及び基準点の個数を４としたが、それらの個数は４以上であれば幾つでもよい。周知の如く、それらの個数を４より大きくすることにより、画像変換の精度を高めることができる。

［注釈２］
カメラ画像からオフセット補正画像を生成するための画像変換方法（座標変換方法）は、ホモグラフィ行列に基づく方法でなくてもよい。例えば、アフィン変換又は非線形変換を用いた画像変換（座標変換）によってカメラ画像からオフセット補正画像を生成するようにしてもよい。

［注釈３］
上述の実施形態の説明文中における「水平」と「垂直」を入れ替えて考えても構わない。即ち、上述の例では、車両の進行方向を画像の垂直方向に対応させているが、車両の進行方向を画像の水平方向に対応させても構わない。

［注釈４］
上述の例では、レンズ歪み補正後の画像に対して画像変換パラメータを作用させているが、レンズ歪み補正を行うための画像変換を画像変換部１３における画像変換パラメータに盛り込んで、原画像から一気にオフセット補正画像を生成するようにしてもよい。この場合、図９の画像入力部１１にて取得された原画像を画像変換部１３に入力するようにする。そして、レンズ歪み補正のための画像変換をも含んだ画像変換パラメータをパラメータ記憶部１６に記憶させておき、その画像変換パラメータを原画像に作用させることでオフセット補正画像を生成する。

また、使用するカメラによってはレンズ歪み補正自体が不要となることもある。レンズ歪み補正が不要な場合は、図９の画像処理装置２からレンズ歪み補正部１２を削除し、原画像を画像変換部１３に直接与えればよい。

［注釈５］
車両１００の後方側に視野を有するようにカメラ１を車両１００の後部に設置する例を上述したが、車両１００の前方側に視野を有するように或いは車両１００の側方側に視野を有するように、カメラ１を車両１００の前部又は側方部に設置するようにしてもよい。

［注釈６］
上述の例では、１つのカメラから得られたカメラ画像に基づく表示用画像を表示装置３に表示するようにしているが、車両１００に複数のカメラ（不図示）を設置し、その複数のカメラ（不図示）から得られた複数のカメラ画像に基づいて表示用画像を生成するようにしてもよい。例えば、カメラ１以外に１台以上の他のカメラを車両１００に取り付け、その他のカメラのカメラ画像に基づく画像をカメラ１のカメラ画像に基づく画像（上述の例において、オフセット補正画像）に合成し、この合成によって得られた合成画像を最終的に表示装置３に対する表示用画像とすることも可能である。この合成画像は、例えば、車両１００の３６０°周辺全周を視野範囲に収めた画像である。

［注釈７］
図９の画像処理装置２は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて画像処理装置２を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。また、画像処理装置２にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

本発明の実施形態に係り、車両を上方から見た平面図（ａ）と、車両を側方から見た平面図（ｂ）である。 本発明の実施形態に係る運転支援システムの概略全体ブロック図である。 図２のカメラが車両後部中央からずれた位置に設置された状態を示す図（ａ）と、図２のカメラが傾いて設置された状態を示す図（ｂ）である。 本発明の実施形態に係り、ホモグラフィ行列の初期値の算出動作を表すフローチャートである。 ホモグラフィ行列の初期値を算出する際における、カメラの撮影環境を表す図である。 本発明の実施形態に係り、カメラ画像及びオフセット補正画像を示す図である。 本発明の実施形態に係り、カメラ画像又はオフセット補正画像としての矩形画像の構造を説明するための図である。 本発明の実施形態に係り、オフセット補正画像に画像の欠落が生じていることを示す図である。 画像処理装置の機能ブロック図を含む、図１の運転支援システムの詳細ブロック図である。 図１の運転支援システムの動作の流れを表すフローチャートである。 図９の画像処理装置内で定義される、ＸＹ座標面上のオフセット補正画像の外形を示す図である。 画像欠落ない場合における、カメラ画像とオフセット補正画像との関係図（ａ）と、画像欠落がある場合における、カメラ画像とオフセット補正画像との関係図（ｂ）である。 ２つの画像欠落領域を含むオフセット補正画像を示す図（ａ）と、そのオフセット画像の第１画像領域の拡大図（ｂ）と、そのオフセット画像の第４画像領域の拡大図（ｃ）である。 ２つの画像欠落領域を含む他のオフセット補正画像を示す図である。 従来技術に係り、リアカメラが車両後部中央からずれた位置に設置された状態を示す図である。

符号の説明

１ カメラ
２ 画像処理装置
３ 表示装置
４ 操作部
１１ 画像入力部
１２ レンズ歪み補正部
１３ 画像変換部
１４ 欠落判定部
１５ パラメータ調整部
１６ パラメータ記憶部
１７ 表示用画像生成部

Claims (9)

1. 車両の周辺を撮影するカメラの撮影結果に基づいて入力画像を取得する画像取得手段と、
   前記入力画像上の特徴点の位置が変換画像上の基準点の位置に変換されるように、座標変換によって前記入力画像から前記変換画像を生成する画像変換手段と、
   前記特徴点の位置と前記基準点の位置に基づく、前記入力画像を前記変換画像に変換するための画像変換パラメータを記憶するパラメータ記憶手段と、
   前記パラメータ記憶手段に記憶された画像変換パラメータを用いて前記入力画像から得られる前記変換画像の全体領域内に、前記入力画像の画像データに基づく画像データが存在しない画像欠落領域が含まれるか否かを判定する欠落判定手段と、
   前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の発生が抑制されるように、前記基準点の位置の変更を介して前記画像変換パラメータを調整するパラメータ調整手段と、を備えた
   ことを特徴とする画像処理装置。
2. 前記パラメータ調整手段は、前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少するように前記基準点の位置を前記変換画像の中心位置から離れる方向へ移動させることにより前記画像変換パラメータの調整を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記特徴点は第１及び第２の特徴点を含む複数の特徴点から成ると共に前記基準点は第１及び第２の基準点を含む複数の基準点から成り、前記第１及び第２の特徴点は夫々前記第１及び第２の基準点に対応し、
   前記パラメータ調整手段は、
   前記変換画像の全体領域内であって且つ前記第２の基準点よりも前記第１の基準点に近い領域に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少するように前記第１の基準点の位置を前記中心位置から離れる方向へ移動させる一方で、
   前記変換画像の全体領域内であって且つ前記第１の基準点よりも前記第２の基準点に近い領域に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の大きさが減少するように前記第２の基準点の位置を前記中心位置から離れる方向へ前記変換画像内で移動させる
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記変換画像を水平又は垂直方向に二分する中心線を境界として前記変換画像を第１及び第２部分画像に分割して考えた場合、前記第１及び第２の基準点は夫々第１及び第２部分画像内に位置し、
   前記パラメータ調整手段は、前記中心線を対称軸として前記第１及び第２の基準点の位置が線対称の関係を保つように、前記第１及び第２の基準点の内の一方の位置を移動させる場合は、同時に他方の基準点の位置も移動させる
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記変換画像上において、前記車両の進行方向における前記車両の車体中心線が前記中心線と合致するように、前記特徴点の位置及び移動前後の前記基準点の位置は決定される
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記画像変換パラメータによって前記変換画像内の各画素の座標値に対応する座標変換前の座標値が規定され、
   前記欠落判定手段は、その座標変換前の座標値が全て前記入力画像内の座標値である場合は前記変換画像の全体領域内に前記画像欠落領域が含まれていないと判定し、求めた前記座標値に前記入力画像外の座標値が含まれる場合は前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定する
   ことを特徴とする請求項１乃至請求項５の何れかに記載の画像処理装置。
7. 請求項１乃至請求項６の何れかに記載のカメラ及び画像処理装置を備え、
   前記画像処理装置の画像変換手段にて得られる変換画像に基づく画像を表示手段に出力する
   ことを特徴とする運転支援システム。
8. 請求項１乃至請求項６の何れかに記載のカメラ及び画像処理装置が設置された
   ことを特徴とする車両。
9. 車両の周辺を撮影するカメラの撮影結果に基づいて入力画像を取得する画像取得ステップと、
   前記入力画像上の特徴点の位置が変換画像上の基準点の位置に変換されるように、座標変換によって前記入力画像から前記変換画像を生成する画像変換ステップと、
   前記特徴点の位置と前記基準点の位置に基づく、前記入力画像を前記変換画像に変換するための画像変換パラメータを記憶するパラメータ記憶ステップと、
   記憶された画像変換パラメータを用いて前記入力画像から得られる前記変換画像の全体領域内に、前記入力画像の画像データに基づく画像データが存在しない画像欠落領域が含まれるか否かを判定する欠落判定ステップと、
   前記変換画像の全体領域内に前記画像欠落領域が含まれていると判定されたとき、前記画像欠落領域の発生が抑制されるように、前記基準点の位置の変更を介して前記画像変換パラメータを調整するパラメータ調整ステップと、を実行する
   ことを特徴とする画像処理方法。

Images