JP6471522B2 - カメラパラメータ調整装置 - Google Patents

Description

本発明は、車両周辺を撮影する車載カメラが撮影した画像から俯瞰画像を生成するためのカメラパラメータを調整するカメラパラメータ調整装置に関する。

従来、ドライバの運転を支援する装置として、自車両周辺の各領域を撮影する複数の車載カメラが撮影した画像を合成処理することによって、自車両及びその周辺を自車両上方から俯瞰的に見た画像（つまり俯瞰画像）を生成し、ディスプレイに表示する装置がある。

このような装置においては、車載カメラ毎に予め設定されている、車載カメラの設置位置や取付姿勢に対応するパラメータ（カメラパラメータとする）を用いて、各車載カメラの撮影画像をそれぞれ俯瞰画像に変換する。以降では、便宜上、或る車載カメラの撮影画像から生成される俯瞰画像を部分俯瞰画像と称する。そして、車載カメラ毎の撮影画像から生成される複数の部分俯瞰画像を合成処理によってつなぎ合わせることで、自車両周辺全方位の俯瞰画像（統合俯瞰画像とする）を生成する。

このように統合俯瞰画像をディスプレイに表示する運転支援装置において、カメラパラメータが、車載カメラの実際の取付姿勢や取付位置に対応できていない場合、俯瞰画像に示される被写体と自車両との相対位置が、実際の相対位置とずれてしまう。

そこで、車載カメラの現在の設置位置及び取付姿勢と、設計上の設置位置及び取付姿勢との誤差を検出し、上述のカメラパラメータを、現在の設置位置や取付姿勢に対応するパラメータに補正する方法が種々検討されている。例えば特許文献１には、車両に備えられているカメラのピッチ角及び取付高さを特定し、カメラパラメータとしてのピッチ角と取付高さを補正する方法が開示されている。また、特許文献２にも、車載カメラの取付誤差を評価する方法が開示されている。

特開２０１４−５９７９３号公報 特開２０１０−１９９７１２号公報

特許文献１や特許文献２に開示されている方法によれば、個々の車載カメラのカメラパラメータを調整できる。しかしながら、そのように個々の車載カメラのカメラパラメータの調整が実現できている場合であっても、統合俯瞰画像の部分俯瞰画像の繋ぎ目付近において、１つの被写体の輪郭等が不連続に表示されてしまう場合がある。部分俯瞰画像の繋ぎ目において、被写体の輪郭等が不連続に表示されているとユーザに違和感を与えてしまう。

本発明は、この事情に基づいて成されたものであり、その目的とするところは、統合俯瞰画像において１つの被写体が複数の部分俯瞰画像にまたがって表示される場合であっても、その被写体の輪郭が部分俯瞰画像同士の繋ぎ目においてずれて表示されることを抑制可能なカメラパラメータ調整装置を提供することにある。

その目的を達成するための第１の発明は、車両に搭載され、車両の周辺のうち、それぞれ異なる範囲を撮影する少なくとも２つのカメラ（２，３）と、複数のカメラ毎に設定されている、車両に対する搭載位置及び取付姿勢を表すカメラパラメータを記憶するパラメータ記憶部（１３ａ）と、カメラが撮影した画像と、そのカメラに対応するカメラパラメータに基づいて、そのカメラの撮影範囲に対応する俯瞰画像である部分俯瞰画像を生成する俯瞰変換処理部（Ｆ２）と、複数のカメラのうち、所定のカメラのカメラパラメータを調整する際の基準とするカメラである基準カメラを決定する基準カメラ選択部（Ｆ８）と、基準カメラが撮影した画像と、基準カメラに対応するカメラパラメータに基づいて、基準カメラによって撮影された物体の車両に対する相対位置を特定する第１相対位置特定部（Ｇ１）と、複数のカメラのうち、基準カメラ以外のカメラであって、カメラパラメータの調整対象とするカメラである調整対象カメラが撮影した画像と、調整対象カメラに対応するカメラパラメータに基づいて、調整対象カメラによって撮影された物体の車両に対する相対位置を特定する第２相対位置特定部（Ｇ２）と、基準カメラが撮影した画像と、調整対象カメラが撮影した画像とに基づいて、基準カメラと調整対象カメラとが、同一の物体を撮影したか否かを判定する判定部（Ｆ９）と、判定部が調整対象カメラと基準カメラとが同一の物体を撮影したと判定した場合に、第２相対位置特定部が調整対象カメラと基準カメラの両方によって撮影された物体である共通撮影物に対して特定した相対位置と、第１相対位置特定部が共通撮影物に対して特定した相対位置とのずれ度合いを算出するずれ度合い算出部（Ｇ３）と、調整対象カメラに対するカメラパラメータとして、ずれ度合い算出部が算出したずれ度合いが０となるカメラパラメータである整合化パラメータを算出するパラメータ算出部（Ｇ４）と、を備え、カメラに設定されているカメラパラメータが表すそのカメラの搭載位置及び取付姿勢と、実際のそのカメラの搭載位置及び取付姿勢との誤差である取付誤差を、複数のカメラのそれぞれに対して算出する誤差算出部（Ｆ１１）と、カメラ毎の信頼度を評価する信頼度評価部（Ｆ８１）と、を備え、信頼度評価部は、誤差算出部が算出する誤差が小さいほど、そのカメラに対する信頼度を高く評価し、基準カメラ選択部は、信頼度評価部が評価した信頼度が最も高いカメラを基準カメラとして採用し、瞰変換処理部は、パラメータ算出部が算出した整合化パラメータを、調整対象カメラが撮像した画像から部分俯瞰画像を生成する際のカメラパラメータとして用いることを特徴とする。
上記目的を達成するための第２の発明は、車両に搭載され、車両の周辺のうち、それぞれ異なる範囲を撮影する少なくとも２つのカメラ（２，３）と、カメラ毎に設定されている、車両に対する搭載位置及び取付姿勢を表すカメラパラメータを記憶するパラメータ記憶部（１３ａ）と、カメラが撮影した画像と、そのカメラに対応するカメラパラメータに基づいて、そのカメラの撮影範囲に対応する俯瞰画像である部分俯瞰画像を生成する俯瞰変換処理部（Ｆ２）と、複数のカメラのうち、所定のカメラのカメラパラメータを調整する際の基準とするカメラである基準カメラを選択する基準カメラ選択部（Ｆ８）と、基準カメラが撮影した画像と、基準カメラに対応するカメラパラメータに基づいて、基準カメラによって撮影された物体の車両に対する相対位置を特定する第１相対位置特定部（Ｇ１）と、複数のカメラのうち、基準カメラ以外のカメラであって、カメラパラメータの調整対象とするカメラである調整対象カメラが撮影した画像と、調整対象カメラに対応するカメラパラメータに基づいて、調整対象カメラによって撮影された物体の車両に対する相対位置を特定する第２相対位置特定部（Ｇ２）と、基準カメラが撮影した画像と、調整対象カメラが撮影した画像とに基づいて、基準カメラと調整対象カメラとが、同一の物体を撮影したか否かを判定する判定部（Ｆ９）と、判定部が調整対象カメラと基準カメラとが同一の物体を撮影したと判定した場合に、調整対象カメラと基準カメラの両方によって撮影された物体である共通撮影物に対して第２相対位置特定部が特定した相対位置と、第１相対位置特定部が共通撮影物に対して特定した相対位置とのずれ度合いを算出するずれ度合い算出部（Ｇ３）と、調整対象カメラに対するカメラパラメータとして、ずれ度合い算出部が算出したずれ度合いが０となるカメラパラメータである整合化パラメータを算出するパラメータ算出部（Ｇ４）と、カメラが撮影した画像、又は、カメラが撮影した画像に基づいて俯瞰変換処理部が生成した部分俯瞰画像を、その画像に含まれる物体の車両に対する現在の相対位置を特定するためのデータである位置特定用データと対応づけて記憶する画像データ記憶部（１２ａ）と、を備え、第１相対位置特定部は、共通撮影物が基準カメラによる現在の撮影画像に含まれている場合には、現在の撮影画像とカメラパラメータと基づいて共通撮影物の相対位置を特定する一方、共通撮影物が基準カメラによる現在の撮影画像に含まれていない場合には、画像データ記憶部に格納されている基準カメラに対応する画像のうち、共通撮影物を含む画像と、その画像に対応付けられている位置特定用データと、基準カメラのカメラパラメータとに基づいて共通撮影物の相対位置を特定し、第２相対位置特定部は、共通撮影物が調整対象カメラによる現在の撮影画像に含まれている場合には、現在の撮影画像とカメラパラメータと基づいて共通撮影物の相対位置を特定する一方、共通撮影物が調整対象カメラによる現在の撮影画像に含まれていない場合には、画像データ記憶部に格納されている調整対象カメラに対応する画像のうち、共通撮影物を含む画像と、その画像に対応付けられている位置特定用データと、調整対象カメラのカメラパラメータとに基づいて、共通撮影物の相対位置を特定するものであり、俯瞰変換処理部は、パラメータ算出部が算出した整合化パラメータを、調整対象カメラが撮像した画像から部分俯瞰画像を生成する際のカメラパラメータとして用いることを特徴とする。

上記目的を達成するための第３の発明は、 車両に搭載され、車両の周辺のうち、それぞれ異なる範囲を撮影する少なくとも２つのカメラ（２，３）と、カメラ毎に設定されている、車両に対する搭載位置及び取付姿勢を表すカメラパラメータを記憶するパラメータ記憶部（１３ａ）と、カメラが撮影した画像と、そのカメラに対応するカメラパラメータに基づいて、そのカメラの撮影範囲に対応する俯瞰画像である部分俯瞰画像を生成する俯瞰変換処理部（Ｆ２）と、複数のカメラのうち、所定のカメラのカメラパラメータを調整する際の基準とするカメラである基準カメラを選択する基準カメラ選択部（Ｆ８）と、基準カメラが撮影した画像と、基準カメラに対応するカメラパラメータに基づいて、基準カメラによって撮影された物体の車両に対する相対位置を特定する第１相対位置特定部（Ｇ１）と、複数のカメラのうち、基準カメラ以外のカメラであって、カメラパラメータの調整対象とするカメラである調整対象カメラが撮影した画像と、調整対象カメラに対応するカメラパラメータに基づいて、調整対象カメラによって撮影された物体の車両に対する相対位置を特定する第２相対位置特定部（Ｇ２）と、基準カメラが撮影した画像と、調整対象カメラが撮影した画像とに基づいて、基準カメラと調整対象カメラとが、同一の物体を撮影したか否かを判定する判定部（Ｆ９）と、判定部が調整対象カメラと基準カメラとが同一の物体を撮影したと判定した場合に、調整対象カメラと基準カメラの両方によって撮影された物体である共通撮影物に対して第２相対位置特定部が特定した相対位置と、第１相対位置特定部が共通撮影物に対して特定した相対位置とのずれ度合いを算出するずれ度合い算出部（Ｇ３）と、調整対象カメラに対するカメラパラメータとして、ずれ度合い算出部が算出したずれ度合いが０となるカメラパラメータである整合化パラメータを算出するパラメータ算出部（Ｇ４）と、を備え、カメラとして、車両の前方の所定範囲を撮影する前方カメラと、車両の後方の所定範囲を撮影する後方カメラと、を備え、基準カメラ選択部は、前方カメラと後方カメラの何れか一方を基準カメラとして採用し、他方を調整対象カメラとし、俯瞰変換処理部は、パラメータ算出部が算出した整合化パラメータを、調整対象カメラが撮像した画像から部分俯瞰画像を生成する際のカメラパラメータとして用いることを特徴とする。
上記目的を達成するための第４の発明は、車両に搭載され、車両の周辺のうち、それぞれ異なる範囲を撮影する少なくとも２つのカメラ（２，３）と、カメラ毎に設定されている、車両に対する搭載位置及び取付姿勢を表すカメラパラメータを記憶するパラメータ記憶部（１３ａ）と、カメラが撮影した画像と、そのカメラに対応するカメラパラメータに基づいて、そのカメラの撮影範囲に対応する俯瞰画像である部分俯瞰画像を生成する俯瞰変換処理部（Ｆ２）と、複数のカメラのうち、所定のカメラのカメラパラメータを調整する際の基準とするカメラである基準カメラを選択する基準カメラ選択部（Ｆ８）と、基準カメラが撮影した画像と、基準カメラに対応するカメラパラメータに基づいて、基準カメラによって撮影された物体の車両に対する相対位置を特定する第１相対位置特定部（Ｇ１）と、複数のカメラのうち、基準カメラ以外のカメラであって、カメラパラメータの調整対象とするカメラである調整対象カメラが撮影した画像と、調整対象カメラに対応するカメラパラメータに基づいて、調整対象カメラによって撮影された物体の車両に対する相対位置を特定する第２相対位置特定部（Ｇ２）と、基準カメラが撮影した画像と、調整対象カメラが撮影した画像とに基づいて、基準カメラと調整対象カメラとが、同一の物体を撮影したか否かを判定する判定部（Ｆ９）と、判定部が調整対象カメラと基準カメラとが同一の物体を撮影したと判定した場合に、調整対象カメラと基準カメラの両方によって撮影された物体である共通撮影物に対して第２相対位置特定部が特定した相対位置と、第１相対位置特定部が共通撮影物に対して特定した相対位置とのずれ度合いを算出するずれ度合い算出部（Ｇ３）と、調整対象カメラに対するカメラパラメータとして、ずれ度合い算出部が算出したずれ度合いが０となるカメラパラメータである整合化パラメータを算出するパラメータ算出部（Ｇ４）と、を備え、カメラとして、車両の前方の所定範囲を撮影する前方カメラと、車両の後方の所定範囲を撮影する後方カメラと、車両の右側方の所定範囲を撮影する右側方カメラ（８）と、車両の左側方の所定範囲を撮影する左側方カメラ（９）と、を備え、前方カメラの撮影範囲は、右側方カメラの撮影範囲の一部、及び左側方カメラの撮影範囲の一部とそれぞれ重なっており、後方カメラの撮影範囲は、右側方カメラの撮影範囲の一部、及び左側方カメラの撮影範囲の一部とそれぞれ重なっており、基準カメラ選択部は、前方カメラと後方カメラの何れか一方を基準カメラとして採用し、基準カメラ選択部が、前方カメラを基準カメラとした場合には、パラメータ算出部は後方カメラ、右側方カメラ、左側方カメラのそれぞれに対して整合化パラメータを算出する一方、後方カメラを基準カメラとした場合には、パラメータ算出部は前方カメラ、右側方カメラ、左側方カメラのそれぞれに対して整合化パラメータを算出し、俯瞰変換処理部は、パラメータ算出部が算出した整合化パラメータを、調整対象カメラが撮像した画像から部分俯瞰画像を生成する際のカメラパラメータとして用いることを特徴とする。

以上の構成では、基準カメラと、調整対象カメラとが同一の物体を撮影した場合、ずれ度合い算出部が、基準カメラの撮影画像から定まるその物体の相対位置と、調整対象カメラの撮影画像から定まる相対位置とのずれ度合いを算出する。また、パラメータ算出部は、調整対象カメラのカメラパラメータとして、ずれ度合い算出部が算出したずれ度合いが０となるカメラパラメータ（つまり整合化パラメータ）を算出する。そして、俯瞰変換処理部は、調整対象カメラが撮影した画像に対しては、算出された整合化パラメータを用いて、部分俯瞰画像を生成する。

ここで算出される整合化パラメータとは、仮に第２相対位置特定部が、予め設定されているカメラパラメータの代わりにその整合化パラメータを用いることによって特定される共通撮影物の相対位置と、第１相対位置特定部が特定する共通撮影物の相対位置とが等しくなるカメラパラメータである。

つまり、以上の構成によれば、調整対象カメラの撮影画像から整合化パラメータを用いて生成される部分俯瞰画像が表す、その部分俯瞰画像内における物体と車両との位置関係は、基準カメラの画像から生成される部分俯瞰画像が表す、その部分俯瞰画像内における物体と車両との位置関係と整合するようになる。

なお、上述した複数のカメラが撮影した画像に基づいて生成される複数の部分俯瞰画像は、背景技術欄でも述べたように、車両周辺を俯瞰的に表す１つの俯瞰画像（つまり統合俯瞰画像）を生成するために用いられる。

以上で述べた構成によれば、統合俯瞰画像をディスプレイに表示する態様において、１つの被写体が複数の部分俯瞰画像にまたがって表示される場合であっても、その被写体の輪郭が部分俯瞰画像同士の繋ぎ目においてずれて表示されることを抑制することができる。

なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

本実施形態にかかる運転支援システム１００の概略的な構成の一例を示すブロック図である。 制御部１の概略的な構成の一例を示すブロック図である。 自車両の移動に伴う履歴画像の対応領域と自車両との位置関係の変化について説明するための図である。 自車両が走行している環境と、前方俯瞰化領域Ａｆ、及び後方俯瞰化領域Ａｒを表す概念図である。 統合俯瞰画像の一例である。 自車両が前進している場合のパラメータ算出処理を説明するための図である。 時刻Ｔにおける前方俯瞰画像と後方俯瞰画像を表した図である。 時刻Ｔ＋ｎにおける前方俯瞰画像と後方俯瞰画像を表した図である。 本実施形態の効果を説明するための図である。 変形例における制御部１の構成を表す図である。 変形例における運転支援システム１００の構成を表す図である。 変形例５の構成の効果を説明するための概念図である。

以下、本発明の実施形態について図を用いて説明する。図１は、本発明に係るカメラパラメータ調整装置が適用された運転支援システム１００の概略的な構成の一例を示す図である。この運転支援システム１００は、車室外の所定領域を撮影するカメラの撮影画像を、俯瞰画像に変換してディスプレイに表示することで、ドライバが車両周辺の状況を認識することを支援するものである。以降では、当該運転支援システム１００が搭載された車両を自車両と称し、当該システムの構成及び作動について説明する。

本実施形態にかかる運転支援システム１００は、図１に示すように、制御部１、前方カメラ２、後方カメラ３、車輪速センサ４、操舵角センサ５、シフトポジションセンサ６、及びディスプレイ７を備えている。制御部１と、前方カメラ２、後方カメラ３、車輪速センサ４、操舵角センサ５、シフトポジションセンサ６、及びディスプレイ７のそれぞれとは、周知の車両内ネットワークを介して相互通信可能に構成されている。制御部１が、運転支援システム１００の動作を制御する。この制御部１についての詳細は後述する。

前方カメラ２は、自車両の前方の所定範囲（前方撮影範囲とする）を撮影するように設けられたカメラである。前方カメラ２は、例えば、広角レンズによって撮影範囲が広角（例えば画角１７５°）に設定された周知のＣＭＯＳカメラやＣＣＤカメラ等を用いることができる。前方カメラ２は、自車両前方の所望の範囲を撮影範囲とするように、例えばフロントバンパの車幅方向中央部付近に設置されればよい。

もちろん、前方カメラ２の設置位置は、フロントバンパの車幅方向中央部付近に限らず、例えば車室内のルームミラー付近やフロントガラスの上端などの、自車両前方に対するドライバの視界を遮らない位置に取り付けられればよい。前方カメラ２が撮影した映像信号は、制御部１に逐次出力される。

後方カメラ３は、自車両の後方の所定範囲（後方撮影範囲とする）を撮影するように設けられたカメラである。例えば、後方カメラ３は前方カメラ２と同様に、広角レンズによって撮影範囲が広角に設定された周知のＣＭＯＳカメラやＣＣＤカメラ等を用いることができる。後方カメラ３は、自車両後方の所望の範囲を撮影範囲とするように、例えばリアバンパの車幅方向中央部付近に設置されればよい。

もちろん、後方カメラ３の設置位置は、リアバンパの車幅方向中央部付近に限らず、例えばリアウィンドウの上端付近など、ドライバの後方確認のための視界を遮らない位置に取り付けられればよい。後方カメラ３が撮影した映像信号は、制御部１に逐次出力される。

以降において、前方カメラ２と後方カメラ３とを区別しない場合には単に車載カメラと記載する。

車輪速センサ４は、車輪の回転速度に応じたパルス信号を逐次（例えば数十ミリ秒毎）出力する。制御部１は、車輪速センサ４から入力されるパルス信号を、周知の方法によって車速に変換して用いる。操舵角センサ５は、操舵角を逐次検出し、操舵角に応じた信号を逐次出力する。操舵角センサ５は、例えばユーザがステアリングを操作する際に生じる回転トルクを検出する回転トルクセンサ等を用いることができる。シフトポジションセンサ６は、車両のシフトポジションを検出し、その検出したシフトポジションに対応する信号を制御部１へ出力する。シフトポジションとしては、自車両が後退する方向に駆動力を伝達するためのリバース位置や、自車両が前進する方向に駆動力を伝達するためのドライブ位置等がある。

ディスプレイ７は、制御部１から入力される信号に基づいてテキストや画像を表示する。ディスプレイ７は、例えばフルカラー表示が可能なものであり、液晶ディスプレイ、有機ＥＬディスプレイ等を用いて構成することができる。ディスプレイ７は、ここでは一例としてインストゥルメントパネルの車幅方向中央付近に配置されたディスプレイとする。なお、他の態様として、ディスプレイ７は、メータユニットに設けられたディスプレイであってもよいし、周知のヘッドアップディスプレイであってもよい。

制御部１は、通常のコンピュータとして構成されており、周知のＣＰＵ１１、メモリ１２、ストレージ１３、入出力インターフェース（以降、Ｉ／Ｏ）、及びこれらの構成を接続するバスラインなどを備えている。

ＣＰＵ１１は、周知の中央処理装置であり、メモリ１２を演算領域としても用いることで、種々の演算処理を実行する。メモリ１２は、例えばＲＡＭなどの一時記憶媒体によって実現されればよく、ＣＰＵ１１にとっての主記憶装置として機能する。ストレージ１３は、ＲＯＭやフラッシュメモリなどの不揮発性の記憶媒体によって実現されればよく、ＣＰＵ１１にとっての補助記憶装置として機能する。なお、ここではＣＰＵ１１は１つしか図示していないが複数備えていてもよい。

Ｉ／Ｏは、例えば前方カメラ２や後方カメラ３等の、制御部１に接続する外部装置と、制御部１との間で行われるデータの送受信を制御する。なお、Ｉ／Ｏは、前方カメラ２及び後方カメラ３から入力された映像信号を、後述する俯瞰化などの画像処理が可能な形式の画像データに変換して、メモリ１２に蓄積する。

ストレージ１３には、種々の処理を実行するためのプログラムが格納されている。また、ストレージ１３には、車載カメラ毎に予め設定されているカメラパラメータが格納されている。カメラパラメータは、自車両の中心に対する各車載カメラの設置位置や取付姿勢を示すパラメータ（外部パラメータとする）や、レンズの歪み係数や、焦点距離、光軸中心、画素サイズ、画素比などを示すパラメータ（内部パラメータ）を含む。

各車載カメラの設置位置は、例えば、自車両の中心を原点とし、車両前後方向をＸ軸とし、車幅方向をＹ軸、車両高さ方向をＺ軸とする３次元座標によって表されれば良い。取付姿勢とは、車載カメラの光軸方向を表すものである。例えば、取付姿勢は、前述のＸ軸、Ｙ軸、Ｚ軸のそれぞれに対する車載カメラの光軸の為す角度（いゆわるピッチ角、ロール角、ヨー角）によって表されれば良い。

なお、設置位置を定義するための基準点としての自車両の中心は、例えば、自車両の両側面から等距離にある車両の中心線上において、車両前端から後端までの距離が等しい点とする。もちろん、その他、後輪軸の車幅方向中央となる位置を中心としてもよい。

上述した内部パラメータは、各車載カメラが撮影した画像データに対して歪補正を行うため等に用いられる。また、外部パラメータは、歪補正処理を施した画像から視点変換（或いは座標変換）するために用いられたり、撮影画像中における被写体の位置からその被写体の自車両に対する相対位置を特定したりするため等に用いられる。

ストレージ１３が備える記憶領域のうち、上述したカメラパラメータを記憶している領域１３ａが請求項に記載のパラメータ記憶部に相当する。ストレージ１３は、その他、自車両を俯瞰的に見た画像のデータなどを記憶している。

制御部１は、ストレージ１３に格納されているプログラムを実行することによって実現する機能ブロックとして、図２に示すように、パラメータ取得部Ｆ１、俯瞰変換処理部Ｆ２、移動量特定部Ｆ３、履歴画像管理部Ｆ４、補間俯瞰画像生成部Ｆ５、画像合成部Ｆ６、表示処理部Ｆ７を備える。また、上記の機能に加えて、基準カメラ設定部Ｆ８、共通撮影物判定部Ｆ９、前方側相対位置特定部Ｇ１、後方側相対位置特定部Ｇ２、乖離度合い算出部Ｇ３、パラメータ算出部Ｇ４を備える。なお、制御部１が備える機能の一部又は全部は、一つあるいは複数のＩＣ等によりハードウェア的に構成してもよい。この制御部１が請求項に記載のカメラパラメータ調整装置に相当する。

パラメータ取得部Ｆ１は、まず、ストレージ１３を参照し、車載カメラ毎のカメラパラメータを取得する。また、本実施形態におけるパラメータ取得部Ｆ１は、特許文献１に開示されているカメラ取付誤差補正機能に相当する誤差補正部Ｆ１１を備える。

誤差補正部Ｆ１１は、車載カメラに対応する種々のパラメータのうち、ピッチ角と取付高さについて、設計上の値との誤差を算出し、その算出した誤差を補正したピッチ角及び取付高さを算出する。つまり、誤差補正部Ｆ１１は、種々のカメラパラメータのうち、ピッチ角と取付高さを補正する役割を担う。誤差補正部Ｆ１１によって算出された、ピッチ角と取付高さの設計上の値との差を示すデータ（誤差データ）は、基準カメラ設定部Ｆ８に提供される。誤差補正部Ｆ１１が請求項に記載の誤差算出部に相当する。

俯瞰変換処理部Ｆ２は、メモリ１２に蓄積されている、各車載カメラが撮影した画像データから、その車載カメラの撮影範囲に対応する俯瞰画像（つまり部分俯瞰画像）を生成する。例えば俯瞰変換処理部Ｆ２は、前方カメラ２が撮影した画像データに対して、前方カメラ２に対応する歪み補正パラメータを用いて、周知の歪み補正処理を実施する。そして、その歪み補正処理を施した画像に対して、前方カメラ２に対応するカメラパラメータを用いて、視点変換処理を行い、前方カメラ２の撮影領域に対応する部分俯瞰画像（前方俯瞰画像）を作成する。以降では、撮影画像から部分俯瞰画像を生成する一連の処理を俯瞰変換処理とも称する。

俯瞰変換処理部Ｆ２が、後方カメラ３が撮影した画像データから、後方カメラ３の撮影領域に対応する部分俯瞰画像（後方俯瞰画像）を生成するプロセスも、前方カメラ２が撮影した画像データから前方俯瞰画像を生成するプロセスと同様である。俯瞰変換処理部Ｆ２は、後方カメラ３が撮影した画像データと、後方カメラ３に対応するカメラパラメータとに基づいて後方俯瞰画像を生成する。

ここでは前方俯瞰画像は、前方撮影範囲のうちの所定の範囲を俯瞰的に表す画像であり、後方俯瞰画像は、後方撮影範囲のうちの所定の範囲を俯瞰的に表す画像とする。以降では、自車両の周辺領域のうち、前方俯瞰画像が表す領域を前方俯瞰化領域とし、後方俯瞰画像が表す領域を後方俯瞰化領域とする。

俯瞰変換処理部Ｆ２が生成した前方俯瞰画像及び後方俯瞰画像は、いったんメモリ１２に格納され、他の機能ブロックによって利用される。なお、俯瞰変換処理部Ｆ２が逐次生成する最新の部分俯瞰画像は、車載カメラの撮影領域の現在の状況をリアルタイムに表す俯瞰画像である。

メモリ１２内において、前方俯瞰画像及び後方俯瞰画像は互いに区別されて保存される。また、複数の時点で生成された前方俯瞰画像及び後方俯瞰画像は、それぞれ時系列順にソートされて保存されれば良い。メモリ１２が備える記憶領域のうち、各車載カメラに対応する部分俯瞰画像を記憶している領域１２ａが請求項に記載の画像データ記憶部に相当する。なお、ここでは一例として画像データ記憶部をメモリ１２に設ける態様を例示するが、画像データ記憶部はストレージ１３に設けられてもよい。

移動量特定部Ｆ３は、車輪速センサ４、操舵角センサ５、シフトポジションセンサ６から入力される信号に基づいて、或る時点から現在までの自車両の移動量を算出する。ここでの自車両の移動量は、移動距離、移動方向を含む。車両情報から自車位置の変化量を特定する方法は周知の方法を援用すればよい。

例えば、移動量特定部Ｆ３は、車輪速センサ４から入力される信号に基づいて現在の車速を逐次特定し、車速を積分することで単位時間あたりの移動距離を算出する。また、移動量特定部Ｆ３は、シフトポジションセンサ６から入力される信号と、操舵角センサ５から入力される信号に基づいて、自車両の移動方向を特定する。この移動量特定部Ｆ３が逐次算出する自車位置の変化量は、履歴画像管理部Ｆ４等で利用される。

また、移動量特定部Ｆ３は、自車両が前進しているのか、後退しているのかを判定する。移動量特定部Ｆ３は、例えば、シフトポジションセンサ６から入力される信号に基づいて、自車両が前進しているのか、後退しているのかを判定する。なお、自車両が前進しているか後退しているか（つまり進行方向）を判定方法は、これに限らない。例えばタイヤの回転方向を検出するセンサを備えている場合には、その回転方向から自車両が前進しているか後退しているかを判定してもよい。また、ＧＰＳ受信機などを備えている場合には、ＧＰＳ受信機の受信結果に応じて定まる自車両の位置の時間変化から前進しているか後退しているかを判定してもよい。

履歴画像管理部Ｆ４は、メモリ１２に格納されている複数の前方俯瞰画像及び後方俯瞰画像を管理する。具体的には、移動量特定部Ｆ３が特定する移動量に基づいて、部分俯瞰画像毎に、自車両の周辺領域のうち、その部分俯瞰画像が表す領域の相対位置（対応領域とする）を管理する。つまり、或る部分俯瞰画像が生成された時点から現在までの自車両の移動量に基づいて、その部分俯瞰画像の対応領域を逐次算出し、更新する。

図３は、部分俯瞰画像の対応領域と自車両との、自車両の移動に伴う位置関係の変化について説明するための図である。図３の左側に示すように、時刻Ｔ１において新しく生成された前方俯瞰画像Ｉｆ（Ｔ１）の対応領域とは、前方俯瞰化領域である。図３の右側に示す図は、時刻Ｔ１から自車両が０．３ｍ前進した時点（時刻Ｔ２とする）での、前方俯瞰画像Ｉｆ（Ｔ１）の対応領域と自車両との位置関係を表している。

前方俯瞰化領域自体の、自車両に対する相対位置は一定である。つまり、時刻Ｔ２において生成された前方俯瞰画像Ｉｆ（Ｔ２）の対応領域は、前方俯瞰化領域である。一方、前方俯瞰画像Ｉｆ（Ｔ１）の対応領域は、図５に示すように、自車両の前進に伴って前方俯瞰化領域よりも０．３ｍだけ相対的に自車両の後方側の領域となる。

履歴画像管理部Ｆ４は、移動量特定部Ｆ３が特定する移動量に基づいて、部分俯瞰画像毎に、その部分俯瞰画像の対応領域を逐次更新する。各部分俯瞰画像の対応領域は、前述のＸＹＺ座標系が備えるＸ軸とＹ軸とからなるＸＹ平面上の座標で表されれば良い。部分俯瞰画像と対応付けられて保存される対応領域を示すデータが、請求項に記載の位置特定用データの一例に相当する。

なお、本実施形態では部分俯瞰画像をそのまま（つまりフルサイズで）保存する態様とするが、他の態様として、古い部分俯瞰画像のうち、新しく生成された部分俯瞰画像との差分部分のみを保存する対応としてもよい。差分部分とは、例えば、図５において前方俯瞰画像Ｉｆ（Ｔ１）のうち、前方俯瞰画像Ｉｆ（Ｔ２）と重なっていない領域である。

また、各部分俯瞰画像の対応領域は逐次更新しなくとも、他の態様として、その部分俯瞰画像を生成した時点における自車両の位置を特定するための情報（例えば時刻情報や位置情報）を記録しておき、後に必要に応じて対応領域を算出する態様としてもよい。部分俯瞰画像を生成した時点における時刻や位置情報があれば、自車両の現在位置に対するその部分俯瞰画像の対応領域を逆算することができるためである。例えば、部分俯瞰画像を生成した時点の時刻情報があれば、その時刻から現在までの総移動量から、自車両の現在位置に対するその部分俯瞰画像の対応領域を逆算することができる。つまり、部分俯瞰画像を生成した時点における時刻や位置情報もまた請求項に記載の位置特定用データの一例に相当する。

メモリ１２に格納されている車載カメラ毎の部分俯瞰画像のうち、最新の部分俯瞰画像以外の部分俯瞰画像を履歴画像と称する。また、最新ではない前方俯瞰画像は前方履歴画像と称し、最新ではない後方俯瞰画像は後方履歴画像と称する。

補間俯瞰画像生成部Ｆ５は、メモリ１２に格納されている履歴画像に基づいて、前方俯瞰化領域と、後方俯瞰化領域の間の領域を表す部分俯瞰画像（補間俯瞰画像とする）を生成する。例えば、移動量特定部Ｆ３によって自車両が前進していると判定されている場合には、前方履歴画像に基づいて補間俯瞰画像を生成する。また、移動量特定部Ｆ３によって自車両が後退していると判定されている場合には、後方履歴画像に基づいて補間俯瞰画像を生成する。つまり、自車両の進行方向側の車載カメラ（進行方向側カメラとする）の撮影画像から生成された部分俯瞰画像に基づいて、補間俯瞰画像を生成する。

画像合成部Ｆ６は、最新の前方俯瞰画像と、最新の後方俯瞰画像と、補間俯瞰画像とを合成することで、自車両及び自車両の周辺の所定領域を自車両上方から俯瞰的に見た画像（統合俯瞰画像とする）を生成する。この画像合成部Ｆ６が請求項に記載の俯瞰画像統合処理部に相当する。なお、統合俯瞰画像のうち、自車両自体の俯瞰画像はそのストレージ１３から読み出したものが用いられる。

一例として、図４に示すように白線Ｌ１、Ｌ２で区画される車線を自車両が前進走行している時に生成される統合俯瞰画像を、図５に示す。なお、図４における符号Ａｆで示す破線で囲まれる領域は、前方俯瞰化領域の一例を表しており、符号Ａｒで示す破線で囲まれる領域は、後方俯瞰化領域の一例を表している。

図５に示されるように、統合俯瞰画像は、最新の前方俯瞰画像Ｉｆ、最新の後方俯瞰画像Ｉｒ、及び補間俯瞰画像Ｉｍのそれぞれを、自車両を基準として定まる所定の位置に配置した画像である。ここでは一例として統合俯瞰画像における各画像の繋ぎ目部分には、繋ぎ目を表す境界線Ｂ１、Ｂ２を表示する態様を例示するが、他の態様として境界線Ｂ１、Ｂ２は表示しなくてもよい。

補間俯瞰画像Ｉｍは前方履歴画像に基づいて生成されるため、補間俯瞰画像Ｉｍと前方履歴画像との繋ぎ目部分において白線Ｌ１、Ｌ２に対応する画像である白線Ｌ１ｆと白線Ｌ１ｍ、白線Ｌ２ｆと白線Ｌ２ｍは連続する。一方、後方俯瞰画像Ｉｒと補間俯瞰画像Ｉｍとの繋ぎ目部分には、その俯瞰画像の元となった画像データを撮影した車載カメラが異なるため、車載カメラ毎の特性の違いに起因したズレが生じる場合がある。つまり、白線Ｌ１ｍと白線Ｌ１ｒ、白線Ｌ２ｍと白線Ｌ２ｒはそれぞれ不連続となる場合がある。

なお、本実施形態では、補間俯瞰画像生成部Ｆ５を備え、統合俯瞰画像に補間俯瞰画像を含ませる態様とするが、これに限らない。補間俯瞰画像生成部Ｆ５は備えていなくてもよい。

表示処理部Ｆ７は、画像合成部Ｆ６が生成した統合俯瞰画像をディスプレイ７に表示する。基準カメラ設定部Ｆ８は、前方カメラ２と後方カメラ３のうちの何れか一方を、後述する整合化パラメータを決定する際の基準とする車載カメラ（以降、基準カメラ）に設定する。本実施形態において基準カメラ設定部Ｆ８は、パラメータ取得部Ｆ１から提供される、車載カメラ毎の誤差データに基づいて基準カメラを決定する。

より具体的には、前方カメラ２におけるピッチ角の誤差の大きさと、取り付け高さの誤差の大きさから前方カメラ２の信頼度を算出するとともに、後方カメラ３におけるピッチ角の誤差の大きさと、取り付け高さの誤差の大きさから後方カメラ３の信頼度を算出する。基準カメラ設定部Ｆ８が備える信頼度算出部Ｆ８１は、この車載カメラ毎の信頼度を算出する機能部である。信頼度算出部Ｆ８１が請求項に記載の信頼度評価部に相当する。

そして、基準カメラ設定部Ｆ８は、前方カメラ２と後方カメラ３のうち、信頼度算出部Ｆ８１が算出した信頼度が高いほうの車載カメラを、基準カメラとして採用する。信頼度は、ピッチ角の誤差の大きさと取り付け高さの誤差の大きさを変数とする所定の関数やテーブル等を用いて算出されればよい。なお、ピッチ角の誤差が大きいほど、また、取り付け高さの誤差が大きいほど信頼度は小さい値となるものとする。

ここでは一例として、特許文献１に開示の方法によって車載カメラの取付誤差を評価し、各車載カメラの信頼度を算出する方法を採用するが、これに限らない。例えば特許文献２に開示の方法によって取付誤差を評価し、各車載カメラの信頼度を算出してもよい。

この基準カメラ設定部Ｆ８が請求項に記載の基準カメラ選択部に相当する。以降では、基準カメラとして決定されている車載カメラを単に基準カメラとも称し、基準カメラとして採用されていない側の車載カメラを整合対象カメラとも称する。整合対象カメラが、請求項に記載の調整対象カメラに相当する。

共通撮影物判定部Ｆ９は、前方カメラ２と後方カメラ３が、同一の物体（共通撮影物とする）を撮影したか否かを判定する。この共通撮影物判定部Ｆ９の作動についての詳細は別途後述する。なお、この共通撮影物判定部Ｆ９が請求項に記載の判定部に相当する。前方側相対位置特定部Ｇ１は、最新の前方俯瞰画像を含む、メモリ１２に格納されている前方俯瞰画像から共通撮影物の相対位置を特定する。後方側相対位置特定部Ｇ２は、最新の後方俯瞰画像を含む、メモリ１２に格納されている後方俯瞰画像から共通撮影物の相対位置を特定する。基準カメラ設定部Ｆ８によって前方カメラ２が基準カメラに設定されている場合には、前方側相対位置特定部Ｇ１が請求項に記載の第１相対位置特定部に相当し、後方側相対位置特定部Ｇ２が請求項に記載の第２相対位置特定部に相当する。また、基準カメラ設定部Ｆ８によって後方カメラ３が基準カメラに設定されている場合には、前方側相対位置特定部Ｇ１が請求項に記載の第２相対位置特定部に相当し、後方側相対位置特定部Ｇ２が請求項に記載の第１相対位置特定部に相当する。

乖離度合い算出部Ｇ３は、前方側相対位置特定部Ｇ１が特定した共通撮影物の相対位置と、後方側相対位置特定部Ｇ２が特定した共通撮影物の相対位置との乖離度合いを算出する。この乖離度合いが請求項に記載のずれ度合いに相当し、乖離度合い算出部が請求項に記載のずれ度合い算出部に相当する。パラメータ算出部Ｇ４は、車載カメラに由来する部分俯瞰画像に基づいて特定された相対位置を基準に、整合対象カメラのカメラパラメータとして、乖離度合い算出部Ｇ３が算出した乖離度合いが０となるカメラパラメータ（整合化パラメータとする）を算出する。

なお、カメラパラメータのうち、内部パラメータについては初期値から変化する可能性は小さいため、パラメータ算出部Ｇ４が算出する整合化パラメータは、カメラパラメータのうち、外部パラメータに対応するものとする。もちろん、他の態様として、整合化パラメータは、内部パラメータに対応するものであっても良い。

（パラメータ算出処理）
次に、制御部１が実施する、整合化パラメータを算出するための一連の処理（パラメータ算出処理とする）について、図６に示すフローチャートを用いて説明する。なお、図６は、一例として、自車両が前進している状況において制御部１が実施するパラメータ算出処理に対応するフローチャートである。例えば、自車両は図４に示すように白線Ｌ１、Ｌ２で区画される車線を、前進走行しているものとする。

この図６に示すフローチャートは、所定の開始条件が充足された場合に開始すれば良い。ここでは、一例として、操舵角が０度となっており、かつ、車速が０ｋｍ／ｈよりも大きく、所定の速度例えば３０ｋｍ／ｈ以下の値となった場合に開始するものとする。車速に対して設定される範囲は適宜設計されればよい。

なお、本実施形態では処理の途中で、車速が上述した範囲外の値となったり、操舵角が０度以外の値となった場合には処理を中断するものとする。もちろん、他の態様として、処理の途中で、車速が上述した範囲外の値となったり、操舵角が０度以外の値となったりした場合であっても、処理を継続する態様としてもよい。

まず、ステップＳ１ではパラメータ取得部Ｆ１がストレージ１３から車載カメラ毎のカメラパラメータを読み出す。また、誤差補正部Ｆ１１が、車載カメラ毎の取付誤差を算出し、ストレージ１３から読み出したカメラパラメータを補正する。このステップＳ１での処理が完了するとステップＳ２に移る。このとき誤差補正部Ｆ１１が算出した取付誤差を表す誤差データは基準カメラ設定部Ｆ８に提供される。

ステップＳ２では基準カメラ設定部Ｆ８が、ステップＳ１で算出された誤差データに基づいて車載カメラ毎の信頼度を算出する。そして、算出した信頼度が高い方の車載カメラを基準カメラとして採用し、ステップＳ３に移る。ここでは一例として前方カメラ２を基準カメラとして採用することとする。

ステップＳ３では俯瞰変換処理部Ｆ２が、前方カメラ２及び後方カメラ３のそれぞれから入力される画像データと、ステップＳ１で取得したカメラパラメータを用いて、前方俯瞰画像及び後方俯瞰画像を生成してステップＳ４に移る。

ステップＳ４では移動量特定部Ｆ３が、自車両の移動（ここでは前進）が継続しているか否かを判定する。車速が０よりも大きい値となっている場合には、移動が継続していると判定して（ステップＳ４ ＹＥＳ）、ステップＳ５に移る。一方、車速が０となっている場合には、移動が中断されたと判定して（ステップＳ４ ＮＯ）本フローを終了する。

ステップＳ５では俯瞰変換処理部Ｆ２が、前方カメラ２及び後方カメラ３のそれぞれから新しく入力された画像データに基づいて、新しい前方俯瞰画像及び後方俯瞰画像を生成してステップＳ６に移る。なお、最新の前方俯瞰画像ではなくなった前方俯瞰画像は、前方履歴画像としてメモリ１２に保持される。

ステップＳ６では移動量特定部Ｆ３が、前回ステップＳ４を実施してからの移動量を特定してステップＳ７に移る。ステップＳ７では履歴画像管理部Ｆ４が、ステップＳ６で移動量特定部Ｆ３が特定した移動量に基づいて、前方履歴画像の対応領域を更新してステップＳ８に移る。

ステップＳ８では共通撮影物判定部Ｆ９が、前方カメラ２で撮影された物体が、後方カメラ３でも撮影されたか否かを判定する。共通撮影物判定部Ｆ９が前方カメラ２で撮影された物体が、後方カメラ３でも撮影された判定した場合には、ステップＳ８がＹＥＳとなってステップＳ９に移る。一方、共通撮影物判定部Ｆ９が前方カメラ２で撮影された物体が、後方カメラ３でも撮影されていないと判定した場合には、ステップＳ８がＮＯとなってステップＳ４に戻る。

つまり、自車両の移動が継続している限りにおいて、共通撮影物判定部Ｆ９によって前方カメラ２で撮影された物体が、後方カメラ３でも撮影されたと判定されるまで、ステップＳ４からステップＳ８までの処理が繰り返し実施される。

ここで、図７、図８を用いて、共通撮影物判定部Ｆ９が、前方カメラ２で撮影された物体が後方カメラ３でも撮影されたか否かを判定する際の作動の一例について説明する。

まず、共通撮影物判定部Ｆ９は、俯瞰変換処理部Ｆ２が前方俯瞰画像を生成する毎に、その前方俯瞰画像が所定の特徴量を有する物体を写した画像であるか否かを判定する。

ここでの所定の特徴量を有する物体とは、例えば、車線を定義する白線や、道路標示、道路沿いに設けられたブロック等の、周知のエッジ抽出、輪郭抽出などによって、他の物体と識別可能な物体である。前方俯瞰画像に含まれる、特徴量を有する物体が、共通撮影物として機能する。なお、道路標示とは、道路の交通に関し、規制又は指示を表示するために道路に描かれた線、記号又は文字である。

そして、俯瞰変換処理部Ｆ２が生成した前方俯瞰画像が、所定の特徴量を有する物体を写した前方俯瞰画像である場合には、共通撮影物判定部Ｆ９は、その前方俯瞰画像を、前方カメラ２で撮影された物体が後方カメラ３でも撮影されたか否かを判定するための画像（比較用画像とする）として採用する。

図７は、或る時刻Ｔにおける最新の前方俯瞰画像Ｉｆ（Ｔ）の対応領域と自車両との位置関係を表した図である。前方俯瞰画像Ｉｆ（Ｔ）は、所定の特徴量を有する物体としての白線Ｌ１，Ｌ２を撮影した画像である。つまり、共通撮影物判定部Ｆ９は、この前方俯瞰画像Ｉｆ（Ｔ）を比較用画像として採用する。なお、図７中の符号Ｌ１ｆは、実際の白線Ｌ１に対応する画像を指し示しており、符号Ｌ２ｆは、実際の白線Ｌ２に対応する画像を指し示している。後方俯瞰画像Ｉｒ（Ｔ）は時刻Ｔにおいて生成された後方俯瞰画像を表している。

その後、自車両が前進するにつれて、図３を用いて説明したように、前方俯瞰画像Ｉｆ（Ｔ）の対応領域の相対位置は、後方俯瞰化領域に近づいていく。また、自車両が前進するにつれて、白線Ｌ１、Ｌ２は、後方撮影範囲に含まれるようになる。

図８は、白線Ｌ１、Ｌ２が、後方撮影範囲に含まれた時点（時刻Ｔ＋ｎとする）における、前方俯瞰画像Ｉｆ（Ｔ）の対応領域と、後方俯瞰化領域との位置関係を示している。白線Ｌ１、Ｌ２が後方撮影範囲内に存在するため、図８に示すように、時刻Ｔ＋ｎにおける最新の後方俯瞰画像Ｉｒ（Ｔ＋ｎ）には、白線Ｌ１、Ｌ２に対応する画像が含まれる。図８中の符号Ｌ１ｒは、実際の白線Ｌ１に対応する画像を指し示しており、符号Ｌ２ｒは、実際の白線Ｌ２に対応する画像を指し示している。

このように後方俯瞰画像に白線Ｌ１、Ｌ２を撮像した画像Ｌ１ｒ、Ｌ２ｒが含まれるようになるまで、共通撮影物判定部Ｆ９は、逐次生成される後方俯瞰画像と前方俯瞰画像Ｉｆ（Ｔ）と比較して、同一の撮影物（ここでは白線Ｌ１、Ｌ２）が含まれているか否かを判定する。

そして、前方カメラ２で撮影され、前方俯瞰画像で検出された所定の特徴量を有する物体が後方俯瞰画像からも検出された場合に、共通撮影物判定部Ｆ９は前方カメラ２で撮影された物体が、後方カメラ３でも撮影されたと判定する。

なお、２つの画像を比較して同一の物体が写っているか否かは、例えばエッジ検出処理や輪郭抽出処理、画素分析処理など、周知の方法を援用して判定すればよい。

再び図６に戻り、パラメータ算出処理の説明を続ける。ステップＳ９では前方側相対位置特定部Ｇ１が、時刻Ｔ＋ｎにおける前方俯瞰画像Ｉｆ（Ｔ）の対応領域と、前方俯瞰画像Ｉｆ（Ｔ）内における白線Ｌ１ｆ、Ｌ２ｆの位置から、自車両に対する白線Ｌ１、Ｌ２の相対位置（前方側相対位置とする）を特定する。

また、後方側相対位置特定部Ｇ２が、後方俯瞰画像Ｉｒ（Ｔ＋ｎ）内における白線Ｌ１ｒ、Ｌ２ｒの位置から、自車両に対する白線Ｌ１、Ｌ２の相対位置（後方側相対位置とする）を特定する。このステップＳ９での処理が完了するとステップＳ１０に移る。

ステップＳ１０では乖離度合い算出部Ｇ３が、前方側相対位置と後方側相対位置の乖離度合いを算出してステップＳ１１に移る。ステップＳ１１ではパラメータ算出部Ｇ４が、乖離度合い算出部Ｇ３が算出した乖離度合いが０となる、後方カメラ３に対する整合化パラメータを算出する。この整合化パラメータは、後方側相対位置が前方側相対位置と一致するように算出された後方カメラ３のパラメータである。

以上のように求めた整合化パラメータを用いて後方俯瞰画像及び統合俯瞰画像を生成することにより、例えば、図９に示すように、部分俯瞰画像間における被写体（白線Ｌ１、Ｌ２）の表示位置のずれが抑制された統合俯瞰画像を表示できる。

なお、以上では一例として、前方カメラ２を基準カメラとしたため、後方カメラ３に対する整合化パラメータを算出する態様を例示したが、基準カメラを後方カメラ３とした場合には、パラメータ算出部Ｇ４は、前方カメラ２に対する整合化パラメータを算出する。

また、以上では、自車両が前進している場合の制御部１の作動を例示したが、自車両が後退している場合も同様の処理を行えばよい。

（本実施形態のまとめ）
以上の構成では、共通撮影物判定部Ｆ９が、前方カメラ２と後方カメラ３とが同一の物体を撮影したと判定した場合、乖離度合い算出部Ｇ３が、各車載カメラの撮影画像から定まる共通撮影物の相対位置の乖離度合いを算出する。また、パラメータ算出部Ｇ４は、整合対象カメラのカメラパラメータとして、その乖離度合いが０となるカメラパラメータ（つまり整合化パラメータ）を算出する。そして、俯瞰変換処理部Ｆ２が、算出された整合化パラメータを用いて、整合対象カメラが撮影した画像から部分俯瞰画像を生成し、さらに、画像合成部Ｆ６は、その整合化パラメータを用いて生成された部分俯瞰画像を用いて統合俯瞰画像を生成する。

例えば、前方カメラ２を基準カメラとして採用した場合には、パラメータ算出部Ｇ４は後方カメラ３に対する整合化パラメータを算出する。整合化パラメータを用いて生成される後方俯瞰画像が表す、その後方俯瞰画像内における物体と車両との位置関係は、前方俯瞰画像が表す、前方俯瞰画像内における物体と車両との位置関係と整合するようになる。

したがって、１つの被写体が複数の部分俯瞰画像にまたがって表示される場合であっても、その被写体の輪郭が部分俯瞰画像同士の繋ぎ目においてずれて表示されることを抑制することができる。

また、本実施形態では、前方カメラ２と後方カメラ３のうち、信頼度算出部Ｆ８１が算出した信頼度が高い方の車載カメラを基準カメラとして採用する態様としている。信頼度が高い方の車載カメラとは、取付誤差が小さいほうの車載カメラである。

相対的に取付誤差が小さい方の車載カメラを基準として、他方の車載カメラに対する整合化パラメータを生成するため、その整合化パラメータを用いて生成される部分俯瞰画像を含む統合俯瞰画像が示す、自車両周辺の物体の自車両に対する相対位置が、実際の相対位置とずれてしまうことを抑制することができる。

つまり、本実施形態の構成によれば、自車両と自車両周辺に存在する物体との位置関係をより適切に表す部分俯瞰画像及び統合俯瞰画像を表示することができる。なお、本実施形態では、取付誤差が小さいほど信頼度が高く算出する態様を例示したが、その他、車載カメラ自体の性能（例えば分解能や画素数）、取り付けてからの経過年数などを考慮して信頼度を算出してもよい。例えば、取り付けてからの経過年数が短いほど信頼度を高くしたり、性能が良いほど信頼度を高く算出してもよい。

ところで、比較構成として、撮影範囲の一部が重畳するように設けられた２つの車載カメラを備えるシステムにおいて、互いに共通して撮影するエリア（重畳エリア）に存在する物体の相対位置から、これらの車載カメラのカメラパラメータを調整する構成も考えられる。つまり、比較構成では、重畳エリアに存在する物体が存在する位置をそれぞれの車載カメラの撮影画像から算出し、各相対位置が整合するようにカメラパラメータを調整する。

しかしながら、そのような態様においては、共通して撮影するエリアが生じない前方カメラ２と後方カメラ３の組み合わせでは、カメラパラメータを調整することができない。一方、上述した本実施形態によれば、メモリ１２に格納されている履歴画像を用いて、前方カメラ２又は後方カメラ３のカメラパラメータを調整することができる。

なお、以上では整合化パラメータを俯瞰画像の生成（つまり俯瞰変換処理）に用いる態様を例示したが、これに限らない。算出された整合化パラメータは、俯瞰変換処理以外にも適用することができる。

以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の変形例も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。

＜変形例１＞
上述した実施形態では、撮部分俯瞰画像内における物体の位置から、その相対位置を特定する態様を例示したがこれに限らない。部分俯瞰画像に変換する前の画像や、歪み補正処理を実施する前の画像（つまり撮影画像）内における物体の位置から、その物体の相対位置を特定してもよい。また、履歴画像管理部Ｆ４が管理する画像も、部分俯瞰画像ではなく、車載カメラから入力される画像であってもよい。

＜変形例２＞
以上では、各車載カメラの取付誤差から各車載カメラの信頼度を算出し、信頼度の高いほうの車載カメラを基準カメラとする態様を例示したがこれに限らない。基準カメラ設定部Ｆ８は、進行方向側カメラを基準カメラとしてもよい。つまり、自車両が前進している場合には前方カメラ２を基準カメラとし、自車両が後退している場合には後方カメラ３を基準カメラとしてもよい。

ドライバにとっては、進行方向側の周辺状況が、離脱していく側の周辺状況よりも相対的に重要となる。そのため、ユーザは統合俯瞰画像の中でも、相対的に進行方向側カメラの撮影範囲に対応する部分俯瞰画像を注視する傾向が強くなる。一方、進行方向側ではない側、つまり離脱していく側の障害物に対して自車両は離れていくことになるため、離脱していく側の周辺状況についての情報は、相対的に有用性が低い。

したがって、離脱していく側の障害物と自車両との位置関係を、進行方向側に存在する障害物と自車両との位置関係ほど、厳密に表示する必要性は高くないと考える事もできる。

また、統合俯瞰画像において、図５にも示したように、白線などの自車両と外部環境との位置関係の目印となる物体（指標物とする）が、複数の部分俯瞰画像にまたがって表示されている場合であって、その指標物の位置が画像同士の繋ぎ目においてずれて表示されている場合には、ユーザに違和感を与えてしまう恐れがある。

本変形例の構成によれば、ドライバにとってより重要な、進行方向側の周辺状況を表している部分俯瞰画像が示す情報に対する信頼性を損なうこと無く、統合俯瞰画像の美観を向上させることができる。

＜変形例３＞
運転支援システムの中には、所定の検出範囲に探査波を送信することでその検出範囲に存在する物体の相対位置を検出する物体検出装置を備えるものも存在する。運転支援システム１００が、そのような物体検出装置を備えている場合には、同一の物体に対して、物体検出装置が検出した相対位置と、車載カメラの撮影画像から特定される相対位置とを比較することで、車載カメラの信頼度を評価し、その評価結果に基づいて基準カメラを決定してもよい。

例えば、この変形例は次のような構成とすればよい。まず、運転支援システム１００は、前方撮影範囲の少なくとも一部を検出範囲に含む前方物体検出装置と、後方撮影範囲の少なくとも一部を検出範囲に含む後方物体検出装置と、を備える。前方物体検出装置及び後方物体検出装置は、例えばレーザレーダや、ソナ−、ミリ波レーダなどを採用することができる。

また、この変形例における制御部１は、図１０に示すように、前述の実施形態における制御部１が備える種々の機能ブロックに加えて、各車載カメラが撮影した画像を解析する画像解析部Ｇ５を備える。画像解析部Ｇ５は、より細かい機能単位として前方カメラ２が撮影した画像を解析する前方画像解析部Ｇ５１と、後方カメラ３が撮影した画像を解析する後方画像解析部Ｇ５２とを備える。

前方画像解析部Ｇ５１は、前方カメラ２が撮影した画像に対して、エッジ抽出、輪郭抽出、ガウシアン処理、ノイズ除去処理、パターンマッチング処理などを行い、所定の検出対象物を検出する。また、検出対象物を検出した場合には、画像内におけるその検出対象物の位置や大きさから、自車両に対するその検出対象物の位置を特定する。

なお、画像から所定の検出対象物を検出したり、その相対位置を特定したりする方法は周知の方法を援用すればよい。検出対象物は、例えば、路面上に設けられるブロックや縁石、道路標識など、探査波の送受信によっても検出可能な物体であることが好ましい。また、静止物であることが好ましい。

後方画像解析部Ｇ５２も、後方カメラ３が撮影した画像に対して前方画像解析部Ｇ５１と同様の処理を行い、所定の検出対象物を検出するとともに、画像から検出対象物を検出した場合には、その検出対象物の自車両に対する相対位置を特定する。

そして、基準カメラ設定部Ｆ８は、自車両前方に存在する所定の物体に対して、前方画像解析部Ｇ５１が特定した相対位置と、前方物体検出装置が検出した相対位置との誤差を算出する。また、自車両後方に存在する所定の物体に対して、後方画像解析部Ｇ５２が特定した相対位置と、後方物体検出装置が検出した相対位置との誤差を算出する。

一般に、１つの（つまり単眼の）車載カメラが撮影した画像から画像解析によって特定される相対位置よりも、物体検出装置によって検出される相対位置のほうが精度は高い。したがって、物体検出装置が検出した相対位置とのずれが大きいほうの車載カメラのほうが、信頼度が低いとみなすことができる。言い換えれば、物体検出装置が検出した相対位置とのずれが小さい方の車載カメラのほうが信頼度を高く評価することができる。つまり、物体検出装置が検出した相対位置とのずれが小さい方の車載カメラを基準カメラとして採用してもよい。

＜変形例４＞
前方カメラ２と後方カメラ３とが共通の物体を撮影したか否かの判断材料とするデータは、撮影された画像、またはその画像から生成される俯瞰画像といった単位ではなく、その画像に含まれる、所定の特徴量を有する検出対象物の単位であってもよい。

この変形例４における制御部１の構成及び作動について、自車両が前進している場合を例にとって説明する。前提として、この変形例４における制御部１は変形例３で前述した画像解析部Ｇ５を備えるものとする。

自車両が前進している場合、前方画像解析部Ｇ５１は前方カメラ２が撮影した画像から所定の検出対象物を抽出するとともに、その相対位置を特定し、その相対位置を含む検出対象物についての情報をメモリ１２に格納していく。検出対象物の相対位置は、前述のＸＹ平面における座標で表されれば良い。相対位置以外の検出対象物についての情報とは、検出対象物の輪郭や、色などが該当する。なお、検出対象物の相対位置は、前方側相対位置特定部Ｇ１が、移動量特定部Ｆ３が特定する移動量に基づいて逐次更新すれば良い。

なお、検出された検出対象物は、固有の識別子である検出ＩＤなどを付与し、その検出ＩＤによって区別すればよい。また、複数のフレーム間において共通して検出された検出対象物は同一のものとして扱えばよい。前時刻の画像に含まれる物体と、次時刻の画像に含まれる物体とが同一物であるか否かを判定する方法は、周知の方法を援用して実施すればよい。

また、後方画像解析部Ｇ５２は、後方カメラ３が撮影した画像に対して、エッジ抽出、輪郭抽出、ガウシアン処理、ノイズ除去処理などを行う。そのような種々の処理を施した画像を処理済み画像とする。そして、共通撮影物判定部Ｆ９は、パターンマッチング処理等を用いて、後方画像解析部Ｇ５２が生成した処理済み画像に、前方画像解析部Ｇ５１が検出した物体が含まれているか否かを判定すればよい。

以上では、自車両が前進している場合を例にとって説明したが、自車両が後退している場合も同様に実施すればよい。

また、検出対象物の相対位置を示すデータは、より細かくは、その検出対象物を構成する複数の特徴点毎の相対位置として表されていても良い。

＜変形例５＞
以上では、前方カメラ２と後方カメラ３を備え、どちらかを基準カメラとし、他方を整合対象カメラとする態様を例示したが、これに限らない。運転支援システム１００は、図１１に示すように、右側方カメラ８、左側方カメラ９を備えていてもよい。この場合、前方カメラ２、後方カメラ３の何れか一方を基準カメラとし、その他の車載カメラを順番に整合対象カメラとして整合化パラメータを算出してもよい。例えば、前方カメラ２を基準カメラとし、右側方カメラ８を整合対象カメラとした場合には、共通撮影物判定部Ｆ９は、前方カメラ２の撮影画像と右側方カメラ８の撮影画像とを比較して、共通撮影物の有無を判定すればよい。

なお、前方カメラ２の撮影範囲と右側方カメラ８の撮影範囲が重畳するエリア（以後、重畳エリア）を備えるように設定されている場合には、共通撮影物判定部Ｆ９は、その重畳エリア内において所定の特徴点を有する物体を検出した場合に、基準カメラで撮影された物体が整合対象カメラでも撮影されたと判定すればよい。その物体が共通撮影物に相当する。

そして、前方カメラ２の撮影画像から特定される共通撮影物の相対位置と、右側方カメラ８の撮影画像から特定される共通撮影物の相対位置とが一致するように、右側方カメラ８に対する整合化パラメータを算出すればよい。その整合化パラメータを右側方カメラ８の撮影画像から部分俯瞰画像を生成するためのパラメータとして適用することで、前方部分俯瞰画像と、右側方カメラ８の撮影領域に対応する部分俯瞰画像との繋ぎ目における被写体のズレを抑制することができる。また、前方カメラ２を基準カメラとし、左側方カメラ９を整合対象カメラとした場合も同様である。

さらに、前方カメラ２を基準カメラとし、後方カメラ３、右側方カメラ８、及び左側方カメラ９をそれぞれに対して整合化パラメータを算出し、それらの整合化パラメータを俯瞰変換処理部Ｆ２による俯瞰変換処理に適用してもよい。そのような態様によれば、部分画像間の繋ぎ目におけるずれが抑制された統合俯瞰画像を表示することができる。なお、図１２の左側は、整合化パラメータを適用せずに生成された統合俯瞰画像を表しており、右側は、整合化パラメータを適用して生成された統合俯瞰画像を表す概念図である。

以上では、前方カメラ２を基準カメラとした場合を例示したが、後方カメラ３を基準カメラとした場合も同様である。

１００ 運転支援システム、１ 制御部（カメラパラメータ調整装置）、２ 前方カメラ、３ 後方カメラ、４ 車輪速センサ、５ 操舵角センサ、６ シフトポジションセンサ、７ ディスプレイ、Ｆ１ パラメータ取得部、Ｆ１１ 誤差補正部（誤差算出部）、Ｆ２ 俯瞰変換処理部、Ｆ３ 移動量特定部、Ｆ４ 履歴画像管理部、Ｆ５ 補間俯瞰画像生成部、Ｆ６ 画像合成部（俯瞰画像統合処理部）、Ｆ７ 表示処理部、Ｆ８ 基準カメラ設定部（基準カメラ選択部）、Ｆ８１ 信頼度算出部（信頼度評価部）、Ｆ９ 共通撮影物判定部（判定部）、Ｇ１ 前方側相対位置特定部、Ｇ２ 後方側相対位置特定部、Ｇ３ 乖離度合い算出部（ずれ度合い算出部）、Ｇ４ パラメータ算出部

Claims (11)

1. 車両に搭載され、前記車両の周辺のうち、それぞれ異なる範囲を撮影する少なくとも２つのカメラ（２，３）と、
   前記カメラ毎に設定されている、前記車両に対する搭載位置及び取付姿勢を表すカメラパラメータを記憶するパラメータ記憶部（１３ａ）と、
   前記カメラが撮影した画像と、そのカメラに対応する前記カメラパラメータに基づいて、そのカメラの撮影範囲に対応する俯瞰画像である部分俯瞰画像を生成する俯瞰変換処理部（Ｆ２）と、
   複数の前記カメラのうち、所定の前記カメラの前記カメラパラメータを調整する際の基準とする前記カメラである基準カメラを選択する基準カメラ選択部（Ｆ８）と、
   前記基準カメラが撮影した画像と、前記基準カメラに対応する前記カメラパラメータに基づいて、前記基準カメラによって撮影された物体の前記車両に対する相対位置を特定する第１相対位置特定部（Ｇ１）と、
   複数の前記カメラのうち、前記基準カメラ以外の前記カメラであって、前記カメラパラメータの調整対象とする前記カメラである調整対象カメラが撮影した画像と、前記調整対象カメラに対応する前記カメラパラメータに基づいて、前記調整対象カメラによって撮影された物体の前記車両に対する相対位置を特定する第２相対位置特定部（Ｇ２）と、
   前記基準カメラが撮影した画像と、前記調整対象カメラが撮影した画像とに基づいて、前記基準カメラと前記調整対象カメラとが、同一の物体を撮影したか否かを判定する判定部（Ｆ９）と、
   前記判定部が前記調整対象カメラと前記基準カメラとが同一の物体を撮影したと判定した場合に、前記調整対象カメラと前記基準カメラの両方によって撮影された物体である共通撮影物に対して前記第２相対位置特定部が特定した相対位置と、前記第１相対位置特定部が前記共通撮影物に対して特定した相対位置とのずれ度合いを算出するずれ度合い算出部（Ｇ３）と、
   前記調整対象カメラに対する前記カメラパラメータとして、前記ずれ度合い算出部が算出した前記ずれ度合いが０となる前記カメラパラメータである整合化パラメータを算出するパラメータ算出部（Ｇ４）と、
   前記カメラに設定されている前記カメラパラメータが表すそのカメラの搭載位置及び取付姿勢と、実際のそのカメラの搭載位置及び取付姿勢との誤差である取付誤差を、複数の前記カメラのそれぞれに対して算出する誤差算出部（Ｆ１１）と、
   前記カメラ毎の信頼度を評価する信頼度評価部（Ｆ８１）と、を備え、
   前記信頼度評価部は、前記誤差算出部が算出する誤差が小さいほど、そのカメラに対する信頼度を高く評価し、
   前記基準カメラ選択部は、前記信頼度評価部が評価した信頼度が最も高い前記カメラを前記基準カメラとして採用し、
   前記俯瞰変換処理部は、前記パラメータ算出部が算出した前記整合化パラメータを、前記調整対象カメラが撮像した画像から前記部分俯瞰画像を生成する際の前記カメラパラメータとして用いることを特徴とするカメラパラメータ調整装置。
2. 請求項１において、
   前記カメラが撮影した画像、又は、前記カメラが撮影した画像に基づいて前記俯瞰変換処理部が生成した前記部分俯瞰画像を、その画像に含まれる物体の前記車両に対する現在の相対位置を特定するためのデータである位置特定用データと対応づけて記憶する画像データ記憶部（１２ａ）と、を備え、
   前記第１相対位置特定部は、
   前記共通撮影物が前記基準カメラによる現在の撮影画像に含まれている場合には、現在の撮影画像と前記カメラパラメータと基づいて前記共通撮影物の相対位置を特定する一方、
   前記共通撮影物が前記基準カメラによる現在の撮影画像に含まれていない場合には、前記画像データ記憶部に格納されている前記基準カメラに対応する画像のうち、前記共通撮影物を含む画像と、その画像に対応付けられている前記位置特定用データと、前記基準カメラの前記カメラパラメータとに基づいて前記共通撮影物の相対位置を特定し、
   前記第２相対位置特定部は、
   前記共通撮影物が前記調整対象カメラによる現在の撮影画像に含まれている場合には、現在の撮影画像と前記カメラパラメータと基づいて前記共通撮影物の相対位置を特定する一方、
   前記共通撮影物が前記調整対象カメラによる現在の撮影画像に含まれていない場合には、前記画像データ記憶部に格納されている前記調整対象カメラに対応する画像のうち、前記共通撮影物を含む画像と、その画像に対応付けられている前記位置特定用データと、前記調整対象カメラの前記カメラパラメータとに基づいて、前記共通撮影物の相対位置を特定することを特徴とするカメラパラメータ調整装置。
   
3. 車両に搭載され、前記車両の周辺のうち、それぞれ異なる範囲を撮影する少なくとも２つのカメラ（２，３）と、
   前記カメラ毎に設定されている、前記車両に対する搭載位置及び取付姿勢を表すカメラパラメータを記憶するパラメータ記憶部（１３ａ）と、
   前記カメラが撮影した画像と、そのカメラに対応する前記カメラパラメータに基づいて、そのカメラの撮影範囲に対応する俯瞰画像である部分俯瞰画像を生成する俯瞰変換処理部（Ｆ２）と、
   複数の前記カメラのうち、所定の前記カメラの前記カメラパラメータを調整する際の基準とする前記カメラである基準カメラを選択する基準カメラ選択部（Ｆ８）と、
   前記基準カメラが撮影した画像と、前記基準カメラに対応する前記カメラパラメータに基づいて、前記基準カメラによって撮影された物体の前記車両に対する相対位置を特定する第１相対位置特定部（Ｇ１）と、
   複数の前記カメラのうち、前記基準カメラ以外の前記カメラであって、前記カメラパラメータの調整対象とする前記カメラである調整対象カメラが撮影した画像と、前記調整対象カメラに対応する前記カメラパラメータに基づいて、前記調整対象カメラによって撮影された物体の前記車両に対する相対位置を特定する第２相対位置特定部（Ｇ２）と、
   前記基準カメラが撮影した画像と、前記調整対象カメラが撮影した画像とに基づいて、前記基準カメラと前記調整対象カメラとが、同一の物体を撮影したか否かを判定する判定部（Ｆ９）と、
   前記判定部が前記調整対象カメラと前記基準カメラとが同一の物体を撮影したと判定した場合に、前記調整対象カメラと前記基準カメラの両方によって撮影された物体である共通撮影物に対して前記第２相対位置特定部が特定した相対位置と、前記第１相対位置特定部が前記共通撮影物に対して特定した相対位置とのずれ度合いを算出するずれ度合い算出部（Ｇ３）と、
   前記調整対象カメラに対する前記カメラパラメータとして、前記ずれ度合い算出部が算出した前記ずれ度合いが０となる前記カメラパラメータである整合化パラメータを算出するパラメータ算出部（Ｇ４）と、
   前記カメラが撮影した画像、又は、前記カメラが撮影した画像に基づいて前記俯瞰変換処理部が生成した前記部分俯瞰画像を、その画像に含まれる物体の前記車両に対する現在の相対位置を特定するためのデータである位置特定用データと対応づけて記憶する画像データ記憶部（１２ａ）と、を備え、
   前記第１相対位置特定部は、
   前記共通撮影物が前記基準カメラによる現在の撮影画像に含まれている場合には、現在の撮影画像と前記カメラパラメータと基づいて前記共通撮影物の相対位置を特定する一方、
   前記共通撮影物が前記基準カメラによる現在の撮影画像に含まれていない場合には、前記画像データ記憶部に格納されている前記基準カメラに対応する画像のうち、前記共通撮影物を含む画像と、その画像に対応付けられている前記位置特定用データと、前記基準カメラの前記カメラパラメータとに基づいて前記共通撮影物の相対位置を特定し、
   前記第２相対位置特定部は、
   前記共通撮影物が前記調整対象カメラによる現在の撮影画像に含まれている場合には、現在の撮影画像と前記カメラパラメータと基づいて前記共通撮影物の相対位置を特定する一方、
   前記共通撮影物が前記調整対象カメラによる現在の撮影画像に含まれていない場合には、前記画像データ記憶部に格納されている前記調整対象カメラに対応する画像のうち、前記共通撮影物を含む画像と、その画像に対応付けられている前記位置特定用データと、前記調整対象カメラの前記カメラパラメータとに基づいて、前記共通撮影物の相対位置を特定するものであり、
   前記俯瞰変換処理部は、前記パラメータ算出部が算出した前記整合化パラメータを、前記調整対象カメラが撮像した画像から前記部分俯瞰画像を生成する際の前記カメラパラメータとして用いることを特徴とするカメラパラメータ調整装置。
4. 請求項３において、
   前記カメラ毎の信頼度を評価する信頼度評価部（Ｆ８１）を備え、
   前記基準カメラ選択部は、前記信頼度評価部が評価した信頼度が最も高い前記カメラを前記基準カメラとして採用することを特徴とするカメラパラメータ調整装置。
5. 請求項２から４の何れか１項において、
   前記車両の移動に関する情報を逐次取得し、その情報に基づいて前記車両の移動量を逐次特定する移動量特定部（Ｆ３）を備え、
   前記位置特定用データは、その位置特定用データと対応付けられる画像が撮影又は生成された時点における時刻情報、又は、前記移動量特定部が逐次特定する前記移動量に基づいて定まる、前記画像が撮影された時点から現在までの総移動量、又は、前記総移動量に基づいて定まる、前記車両周辺のうち、前記画像が表す領域である対応領域を示すデータであることを特徴とするカメラパラメータ調整装置。
6. 請求項１から５の何れか１項において、
   前記カメラとして、前記車両の前方の所定範囲を撮影する前方カメラと、前記車両の後方の所定範囲を撮影する後方カメラと、を備え、
   前記基準カメラ選択部は、前記前方カメラと前記後方カメラの何れか一方を前記基準カメラとして採用し、他方を前記調整対象カメラとすることを特徴とするカメラパラメータ調整装置。
7. 請求項１から５の何れか１項において、
   前記カメラとして、前記車両の前方の所定範囲を撮影する前方カメラと、前記車両の後方の所定範囲を撮影する後方カメラと、前記車両の右側方の所定範囲を撮影する右側方カメラ（８）と、前記車両の左側方の所定範囲を撮影する左側方カメラ（９）と、を備え、
   前記前方カメラの撮影範囲は、前記右側方カメラの撮影範囲の一部、及び前記左側方カメラの撮影範囲の一部とそれぞれ重なっており、
   前記後方カメラの撮影範囲は、前記右側方カメラの撮影範囲の一部、及び前記左側方カメラの撮影範囲の一部とそれぞれ重なっており、
   前記基準カメラ選択部は、前記前方カメラと前記後方カメラの何れか一方を前記基準カメラとして採用し、
   前記基準カメラ選択部が、前記前方カメラを前記基準カメラとした場合には、前記パラメータ算出部は前記後方カメラ、前記右側方カメラ、前記左側方カメラのそれぞれに対して前記整合化パラメータを算出する一方、前記後方カメラを前記基準カメラとした場合には、前記パラメータ算出部は前記前方カメラ、前記右側方カメラ、前記左側方カメラのそれぞれに対して前記整合化パラメータを算出することを特徴とするカメラパラメータ調整装置。
8. 車両に搭載され、前記車両の周辺のうち、それぞれ異なる範囲を撮影する少なくとも２つのカメラ（２，３）と、
   前記カメラ毎に設定されている、前記車両に対する搭載位置及び取付姿勢を表すカメラパラメータを記憶するパラメータ記憶部（１３ａ）と、
   前記カメラが撮影した画像と、そのカメラに対応する前記カメラパラメータに基づいて、そのカメラの撮影範囲に対応する俯瞰画像である部分俯瞰画像を生成する俯瞰変換処理部（Ｆ２）と、
   複数の前記カメラのうち、所定の前記カメラの前記カメラパラメータを調整する際の基準とする前記カメラである基準カメラを選択する基準カメラ選択部（Ｆ８）と、
   前記基準カメラが撮影した画像と、前記基準カメラに対応する前記カメラパラメータに基づいて、前記基準カメラによって撮影された物体の前記車両に対する相対位置を特定する第１相対位置特定部（Ｇ１）と、
   複数の前記カメラのうち、前記基準カメラ以外の前記カメラであって、前記カメラパラメータの調整対象とする前記カメラである調整対象カメラが撮影した画像と、前記調整対象カメラに対応する前記カメラパラメータに基づいて、前記調整対象カメラによって撮影された物体の前記車両に対する相対位置を特定する第２相対位置特定部（Ｇ２）と、
   前記基準カメラが撮影した画像と、前記調整対象カメラが撮影した画像とに基づいて、前記基準カメラと前記調整対象カメラとが、同一の物体を撮影したか否かを判定する判定部（Ｆ９）と、
   前記判定部が前記調整対象カメラと前記基準カメラとが同一の物体を撮影したと判定した場合に、前記調整対象カメラと前記基準カメラの両方によって撮影された物体である共通撮影物に対して前記第２相対位置特定部が特定した相対位置と、前記第１相対位置特定部が前記共通撮影物に対して特定した相対位置とのずれ度合いを算出するずれ度合い算出部（Ｇ３）と、
   前記調整対象カメラに対する前記カメラパラメータとして、前記ずれ度合い算出部が算出した前記ずれ度合いが０となる前記カメラパラメータである整合化パラメータを算出するパラメータ算出部（Ｇ４）と、を備え、
   前記カメラとして、前記車両の前方の所定範囲を撮影する前方カメラと、前記車両の後方の所定範囲を撮影する後方カメラと、を備え、
   前記基準カメラ選択部は、前記前方カメラと前記後方カメラの何れか一方を前記基準カメラとして採用し、他方を前記調整対象カメラとし、
   前記俯瞰変換処理部は、前記パラメータ算出部が算出した前記整合化パラメータを、前記調整対象カメラが撮像した画像から前記部分俯瞰画像を生成する際の前記カメラパラメータとして用いることを特徴とするカメラパラメータ調整装置。
9. 車両に搭載され、前記車両の周辺のうち、それぞれ異なる範囲を撮影する少なくとも２つのカメラ（２，３）と、
   前記カメラ毎に設定されている、前記車両に対する搭載位置及び取付姿勢を表すカメラパラメータを記憶するパラメータ記憶部（１３ａ）と、
   前記カメラが撮影した画像と、そのカメラに対応する前記カメラパラメータに基づいて、そのカメラの撮影範囲に対応する俯瞰画像である部分俯瞰画像を生成する俯瞰変換処理部（Ｆ２）と、
   複数の前記カメラのうち、所定の前記カメラの前記カメラパラメータを調整する際の基準とする前記カメラである基準カメラを選択する基準カメラ選択部（Ｆ８）と、
   前記基準カメラが撮影した画像と、前記基準カメラに対応する前記カメラパラメータに基づいて、前記基準カメラによって撮影された物体の前記車両に対する相対位置を特定する第１相対位置特定部（Ｇ１）と、
   複数の前記カメラのうち、前記基準カメラ以外の前記カメラであって、前記カメラパラメータの調整対象とする前記カメラである調整対象カメラが撮影した画像と、前記調整対象カメラに対応する前記カメラパラメータに基づいて、前記調整対象カメラによって撮影された物体の前記車両に対する相対位置を特定する第２相対位置特定部（Ｇ２）と、
   前記基準カメラが撮影した画像と、前記調整対象カメラが撮影した画像とに基づいて、前記基準カメラと前記調整対象カメラとが、同一の物体を撮影したか否かを判定する判定部（Ｆ９）と、
   前記判定部が前記調整対象カメラと前記基準カメラとが同一の物体を撮影したと判定した場合に、前記調整対象カメラと前記基準カメラの両方によって撮影された物体である共通撮影物に対して前記第２相対位置特定部が特定した相対位置と、前記第１相対位置特定部が前記共通撮影物に対して特定した相対位置とのずれ度合いを算出するずれ度合い算出部（Ｇ３）と、
   前記調整対象カメラに対する前記カメラパラメータとして、前記ずれ度合い算出部が算出した前記ずれ度合いが０となる前記カメラパラメータである整合化パラメータを算出するパラメータ算出部（Ｇ４）と、を備え、
   前記カメラとして、前記車両の前方の所定範囲を撮影する前方カメラと、前記車両の後方の所定範囲を撮影する後方カメラと、前記車両の右側方の所定範囲を撮影する右側方カメラ（８）と、前記車両の左側方の所定範囲を撮影する左側方カメラ（９）と、を備え、
   前記前方カメラの撮影範囲は、前記右側方カメラの撮影範囲の一部、及び前記左側方カメラの撮影範囲の一部とそれぞれ重なっており、
   前記後方カメラの撮影範囲は、前記右側方カメラの撮影範囲の一部、及び前記左側方カメラの撮影範囲の一部とそれぞれ重なっており、
   前記基準カメラ選択部は、前記前方カメラと前記後方カメラの何れか一方を前記基準カメラとして採用し、
   前記基準カメラ選択部が、前記前方カメラを前記基準カメラとした場合には、前記パラメータ算出部は前記後方カメラ、前記右側方カメラ、前記左側方カメラのそれぞれに対して前記整合化パラメータを算出する一方、前記後方カメラを前記基準カメラとした場合には、前記パラメータ算出部は前記前方カメラ、前記右側方カメラ、前記左側方カメラのそれぞれに対して前記整合化パラメータを算出し、
   前記俯瞰変換処理部は、前記パラメータ算出部が算出した前記整合化パラメータを、前記調整対象カメラが撮像した画像から前記部分俯瞰画像を生成する際の前記カメラパラメータとして用いることを特徴とするカメラパラメータ調整装置。
10. 請求項８又は９において、
    前記カメラ毎の信頼度を評価する信頼度評価部（Ｆ８１）を備え、
    前記基準カメラ選択部は、前記信頼度評価部が評価した信頼度が最も高い前記カメラを前記基準カメラとして採用することを特徴とするカメラパラメータ調整装置。
11. 請求項１から１０の何れか１項において、
    前記俯瞰変換処理部によって生成された複数の前記カメラのそれぞれの撮影画像に対応する前記部分俯瞰画像を合成することで前記車両周辺の俯瞰画像である統合俯瞰画像を生成する俯瞰画像統合処理部（Ｆ６）と、
    前記俯瞰画像統合処理部が生成した前記統合俯瞰画像をディスプレイに表示する表示処理部（Ｆ７）と、を備えることを特徴とするカメラパラメータ調整装置。

Images