JP2008182652A - カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法 - Google Patents

Abstract

【課題】カメラ姿勢の推定について困難さを軽減することが可能なカメラ姿勢推定装置、車両、およびカメラ姿勢推定方法を提供する。
【解決手段】カメラ姿勢推定装置２０の視点変換部２１は、カメラ１０により撮像されて得られた撮像データを、カメラ１０の姿勢を示す姿勢パラメータに基づき視点変換して俯瞰画像を生成する。平行度算出部２２ｂは、生成された俯瞰画像上の線の平行度を算出する。姿勢パラメータ推定部２２ｃは、平行度から、姿勢パラメータを推定する。
【選択図】図１

Description

本発明は、カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法に関する。

従来、車体に取り付けたカメラからの画像データを視点変換して俯瞰画像データとし、俯瞰画像を車両利用者に対して表示する画像処理装置が知られている。この装置は、カメラの姿勢状態を示す姿勢パラメータを記憶しており、カメラが姿勢パラメータの通りに設置されていることを前提とし、カメラからの画像データを姿勢パラメータに基づいて俯瞰画像データに変換し、車両を真上から見たような俯瞰画像を得る構成となっている。このため、姿勢パラメータが示す姿勢の通りにカメラを設置することが肝要となっている。

カメラを適切に設置するための方法として、テストパターンを用いる方法が提案されている。この方法では、車両から離れた位置に指標となるテストパターンを設け、これを車載カメラにて撮像し、テストパターンの撮像状態から姿勢パラメータが示す姿勢の通りにカメラが設置されているかを点検する構成となっている（特許文献１参照）。同様に、専用のパターンをカメラにより撮像し、カメラの姿勢パラメータ自体を推定するものも提案されている（非特許文献１および非特許文献２参照）。

また、地面に描かれた白線などの平行線や、この平行線から求まる無限遠を基準に、カメラの取り付け状態を調整する画像処理装置が提案されている。さらに、この装置では、カメラの撮像方向を調整する調整機構を備えており、カメラ取り付け後にカメラの撮像方向がずれてしまったとしても、撮像方向を調整可能となっている（特許文献２参照）。同様に、地面に描かれた白線などの平行線や、この平行線から求まる無限遠に基づいて、カメラの姿勢パラメータ自体を推定するものも提案されている（特許文献３および特許文献４参照）。
特開２００１−９１９８４号公報 特開２０００−１４２２２１号公報 特開平７−７７４３１号公報 特開平７−１４７０００号公報 R.Y.Tsai、"A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses"、Transactions on Pattern Analysis and Machine Intelligence 22(11)、IEEE、１９８７年、p.323-344 Z.Zhang、"A Flexible New Technique for Camera Calibration"、Journal of Robotics and Automation 3(4)、IEEE、２０００年、p.1330-1334

しかし、特許文献１，２および非特許文献２に記載の装置では、予めテストパターン等を用意しておかなければならず、テストパターン等のコスト、保管場所および調整場所などの問題が生じ、カメラの姿勢推定が容易とは言えない。

また、特許文献３，４に記載の装置では、カメラの姿勢推定に、平行線から求まる無限遠が必要となるため、道路がカーブしていたり車両やビルなどの障害物が存在したりすると無限遠を求めることができず（または困難となり）、カメラの姿勢推定が容易とは言えない。

本発明は、上記の問題に鑑み、カメラ姿勢の推定について困難さを軽減することが可能なカメラ姿勢推定装置、車両、およびカメラ姿勢推定方法を提供することを目的とする。

本発明のカメラ姿勢推定装置は、カメラの姿勢を推定するカメラ姿勢推定装置であって、カメラにより撮像されて得られた撮像データを、カメラの姿勢を示す姿勢パラメータに基づき視点変換して俯瞰画像データを生成する生成手段と、生成手段により生成された俯瞰画像データが示す俯瞰画像上の線の平行度を算出する算出手段と、算出手段により算出された平行度から、姿勢パラメータを推定する姿勢推定手段と、を備えることを特徴とする。

本発明の特徴に係るカメラ姿勢推定装置によると、俯瞰画像の線の平行度を求め、平行度から姿勢パラメータを推定する。ここで、地面などの基準面に描かれる平行線は、俯瞰画像においても平行に表現される。ところが、姿勢パラメータが適切でない場合には、地面などの基準面に描かれる平行線は、俯瞰画像においてその平行性に乱れを生じる。このため、俯瞰画像における線の平行度を求めることで、姿勢パラメータを求めることができる。また、本発明では、俯瞰画像から姿勢パラメータを求めるので予めテストパターン等を用意する必要がなく、無限遠を求める必要がないため姿勢推定の困難さを軽減することができる。従って、カメラ姿勢の推定について困難さを軽減することができる。

また、本発明の特徴に係るカメラ姿勢推定装置において、生成手段により生成された俯瞰画像データに対してエッジ抽出するエッジ抽出手段をさらに備え、算出手段は、エッジ抽出手段により抽出されたエッジを、俯瞰画像上の線と判断して平行度を算出することが好ましい。

このカメラ姿勢推定装置によると、俯瞰画像に対してエッジ抽出し、抽出されたエッジを、俯瞰画像上の線と判断して平行度を算出する。このため、既存の画像処理技術により簡便に平行度を求めることができる。

また、本発明の特徴に係るカメラ姿勢推定装置において、カメラが設置される設置箇所が停止状態にあるかを判断する停止判断手段をさらに備え、算出手段は、停止判断手段によりカメラ設置箇所が停止状態にあると判断された場合に、俯瞰画像上の線の平行度を算出することが好ましい。

このカメラ姿勢推定装置によると、カメラ設置箇所が停止状態にある場合に平行度を算出するため、カメラが安定し画像が安定しているときに平行度を求めることができる。

また、本発明の特徴に係るカメラ姿勢推定装置において、カメラが設置される移動体の始動を検出する始動検出手段をさらに備え、算出手段は、始動検出手段により移動体の始動が検出された場合に、俯瞰画像上の線の平行度を算出することが好ましい。

このカメラ姿勢推定装置によると、カメラが設置される移動体の始動が検出された場合に平行度を算出するため、移動体始動時のようにカメラが安定し画像が安定しているときに姿勢パラメータを求めることができる。

また、本発明の特徴に係るカメラ姿勢推定装置において、利用者の操作によって姿勢パラメータを変更可能なパラメータ変更モードを有することが好ましい。

このカメラ姿勢推定装置によると、利用者が姿勢パラメータを変更可能であるため、利用者の望む俯瞰画像が提供されない場合などに、姿勢パラメータを変更でき、利便性を向上させることができる。

また、本発明の特徴に係るカメラ姿勢推定装置において、利用者の操作によって姿勢パラメータが変更された場合における平行度が許容範囲であることを報知する報知手段をさらに備えることが好ましい。

このカメラ姿勢推定装置によると、利用者が自己で適切な姿勢パラメータとなったか否かを判断する必要がなく、利便性を向上させることができる。

本発明の車両は、車両に設置されたカメラと、車両に搭載され、カメラにより撮像された撮像データを入力する上記カメラ姿勢推定装置と、を備えることを特徴とする。

本発明の車両によると、車体に設置されたカメラと、カメラ姿勢推定装置とを備える。ここで、車両は乗員や荷物の積載により傾く場合があり、かかる場合地面に対するカメラの姿勢が変化する。このため、カメラ姿勢推定装置により車両用のカメラの姿勢パラメータを推定することで、逐次変化する姿勢パラメータを推定することができる。

また、本発明のカメラ姿勢推定方法は、カメラの姿勢を推定するカメラ姿勢推定方法であって、カメラにより撮像されて得られた撮像データを、カメラの姿勢を示す姿勢パラメータに基づき視点変換して俯瞰画像データを生成する生成ステップと、生成ステップにおいて生成された俯瞰画像データが示す俯瞰画像上の線の平行度を算出する算出ステップと、算出ステップにおいて算出された平行度から、姿勢パラメータを推定する姿勢推定ステップと、を有することを特徴とする。

本発明のカメラ姿勢推定方法によると、俯瞰画像の線の平行度を求め、平行度から姿勢パラメータを推定する。ここで、地面などの基準面に描かれる平行線は、俯瞰画像においても平行に表現される。ところが、姿勢パラメータが適切でない場合には、地面などの基準面に描かれる平行線は、俯瞰画像においてその平行性に乱れを生じる。このため、俯瞰画像における線の平行度を求めることで、姿勢パラメータを求めることができる。また、本発明では、俯瞰画像から姿勢パラメータを求めるので予めテストパターン等を用意する必要がなく、無限遠を求める必要がないため姿勢推定の困難さを軽減することができる。従って、カメラ姿勢の推定について困難さを軽減することができる。

本発明によると、カメラ姿勢の推定について困難さを軽減することができる。

次に、図面を用いて、本発明の実施の形態を説明する。なお、本実施形態では、車両に搭載されるカメラ姿勢推定装置を例に説明する。図１は、第１実施形態に係るカメラ姿勢推定装置を含む車両周囲表示システムの概略構成図である。図１に示すように、車両周囲表示システム１は、カメラ１０と、カメラ姿勢推定装置２０と、モニタ３０とを備えている。

カメラ１０は、車両の車体に設置され、車両周囲を撮像するものである。カメラ姿勢推定装置２０は、カメラにより撮像されて得られた撮像データをもとに車両を上方から見たような俯瞰画像（車両を斜め上方から見た画像を除く）を生成するものである。このカメラ姿勢推定装置２０は、カメラ１０の姿勢パラメータに基づいて俯瞰画像を生成する。ここで、姿勢パラメータは、カメラ１０の姿勢を示すものであり、具体的には鉛直軸線回りのヨー角、および車両進行方向回りのロール角、水平面に沿うと共に進行方向と直行する方向回りのピッチ角などにより構成されている。また、カメラ姿勢推定装置２０は、地面（道路面）を基準面として俯瞰画像を生成する。このため、道路に描かれる白線などは、歪みなどが少なく実際に車両を上方側から眺めたように精度良く表示されることとなる。

モニタ３０は、カメラ姿勢推定装置２０により生成された俯瞰画像を表示するものである。このモニタ３０を視認することにより、車両運転者は、車両周囲を車両上方から眺めたような画像を確認でき、周囲の障害物等を認識できることとなる。

さらに、カメラ姿勢推定装置２０は、カメラ１０の姿勢を推定する機能を備えている。以下、カメラ姿勢推定装置２０について詳細に説明する。図１に示すように、カメラ姿勢推定装置２０は、視点変換部（生成手段）２１と、カメラ姿勢推定部２２と、記憶部２３と、停止判断部（停止判断手段）２４と、始動検出部（始動検出手段）２５とを有している。

視点変換部２１は、カメラ１０により撮像されて得られた撮像データを、姿勢パラメータに基づき視点変換して俯瞰画像を生成するものである。姿勢パラメータは、記憶部２３に記憶されており、視点変換部２１は、記憶部２３から姿勢パラメータを読み出して俯瞰画像を生成することとなる。この視点変換部２１は、モニタ３０に接続されており、生成した俯瞰画像データをモニタ３０に出力し、モニタ３０に俯瞰画像を表示させる。さらに、視点変換部２１は、カメラ姿勢推定部２２に接続されており、生成した俯瞰画像データをカメラ姿勢推定部２２に出力する。

カメラ姿勢推定部２２は、カメラ１０の姿勢を推定するものであって、エッジ抽出部（エッジ抽出手段）２２ａと、平行度算出部（算出手段）２２ｂと、姿勢パラメータ推定部（姿勢推定手段）２２ｃとを有している。

エッジ抽出部２２ａは、視点変換部２１により生成された俯瞰画像データに対してエッジ検出するものである。エッジ抽出部２２ａは、このエッジ検出によって俯瞰画像上の線を特定する。平行度算出部２２ｂは、視点変換部２１により生成された俯瞰画像データが示す俯瞰画像上の線の平行度を算出するものである。ここでの俯瞰画像上の線は、エッジ抽出部２２ａにより抽出される。すなわち、平行度算出部２２ｂは、エッジ抽出部２２ａにより抽出されたエッジを、俯瞰画像上の線と判断して平行度を算出することとなる。

姿勢パラメータ推定部２２ｃは、平行度算出部２２ｂにより算出された平行度から、姿勢パラメータを推定するものである。ここで、地面などの基準面に描かれる平行線は、俯瞰画像においても平行に表現されるべきである。ところが、姿勢パラメータが適切でない場合には、地面などの基準面に描かれる平行線は、俯瞰画像においてその平行性に乱れを生じる。このため、姿勢パラメータ推定部２２ｃは俯瞰画像における線の平行度に基づいて、当該線が平行となるように姿勢パラメータを算出する。

停止判断部２４は、カメラ１０の設置箇所が停止状態にあるかを判断するものである。本実施形態においてカメラ１０は車両に設置されているため、停止判断部２４は車両が停止状態にあるかを判断することとなる。具体的に停止判断部２４は、車輪速センサなどからの信号に基づいて車両の停止を判断することとなる。

始動検出部２５は、カメラ１０が設置される移動体の始動を検出するものである。本実施形態においてカメラ姿勢推定装置２０は車両に搭載されているため、始動検出部２５は車両のエンジンが始動されたか否かを判断することとなる。具体的に始動検出部２５は、エンジン回転数センサなどからの信号に基づいて車両の始動を判断することとなる。

図２は、第１実施形態に係るカメラ姿勢推定方法を示すフローチャートである。通常時においてカメラ姿勢推定装置２０は、カメラ１０からの撮像データを入力し、俯瞰画像を生成し、モニタ３０に出力する。また、カメラ姿勢推定装置２０は、姿勢パラメータの推定時において、図２に示すフローチャートの処理を実行する。

図２に示すように、まず、カメラ姿勢推定装置２０は、撮像データを入力する（ステップＳ１）。次に、停止判断部２４は、車両が停止状態にあるか否かを判断する（ステップＳ２）。車両が停止状態にあると判断した場合（ステップＳ２：ＹＥＳ）、処理はステップＳ４に移行する。

一方、車両が停止状態にないと判断した場合（ステップＳ２：ＮＯ）、始動検出部２５は、エンジンが始動されたか否かを判断する（ステップＳ３）。エンジンが始動されていないと判断した場合（ステップＳ３：ＮＯ）、図２に示す処理は終了する。エンジンが始動されたと判断した場合（ステップＳ３：ＹＥＳ）、処理はステップＳ４に移行する。

ステップＳ４において、視点変換部２１は、記憶部２３に記憶される姿勢パラメータに基づいて視点変換を行い、俯瞰画像を生成する（ステップＳ４）。具体的には、実空間の座標系をＸＹＺとし、車両進行方向をＹ軸、鉛直方向をＺ軸、Ｙ軸およびＺ軸に対して直行する方向にＸ軸とする。また、ＸＹＺ軸回りの回転角を（θ，φ，ψ）とし、右ねじ回転とする。また、カメラ１０の座標系をＸ’Ｙ’Ｚ’とし、カメラ１０の撮像方向をＹ’軸、撮像画面の水平方向をＸ’軸とし、Ｘ’軸およびＹ’軸に直行する方向をＺ’軸とすると、視点変換部２１は、式（１）の変換式に基づいて座標変換を行う。

ここでは、説明を容易とするために、カメラ１０のロール角φおよびヨー角ψを０度とし、カメラ１０の位置を（０，ｈ，０）、焦点位置をｆとする。そして、点（Ｘ，Ｙ，Ｚ）が撮像画像上の点ｐ’（ｘ’，ｙ’）に投影されるとすると、式（２）が成り立つ。

視点変換部２１は、以上の式（１）および式（２）に基づいて俯瞰画像を生成することとなる。なお、カメラ座標系と画像座標系との関係は式（３）により表せる。

俯瞰画像生成後、エッジ抽出部２２ａは、俯瞰画像に対してエッジ抽出を行う（ステップＳ５）。これにより、地面に描かれる白線などの平行線のエッジが抽出される。そして、平行度算出部２２ｂは、俯瞰画像上の線、すなわちエッジ抽出された平行線等の平行度を算出する（ステップＳ６）。

図３は、図１に示したエッジ抽出部２２ａおよび平行度算出部２２ｂによる処理の様子を示す図である。まず、エッジ抽出部２２ａは画像縦方向（図３参照）にエッジ検出を行う。これにより、図３（ａ）および図３（ｃ）に示すような線Ｌ１〜Ｌ４が得られる。このとき、エッジ抽出部２２ａは、例えば画像値の１次微分によりエッジ検出を行うプレヴィット（Prewitt）オペレータ算を用いる。また、エッジ抽出部２２ａは、画像中央から画像左右端（図３参照）に向かって検出し、最初に検出されたエッジを優先して抽出する。これにより、画像中央側に近い平行線、すなわち路面に描かれた白線のエッジが抽出されやすくなる。

以上のようにして、エッジ抽出を行った後、平行度算出部２２ｂは、エッジを対象にサンプリングしていく。具体的に平行度算出部２２ｂは、俯瞰画像上に探索領域Ｔを設定する。そして、平行度算出部２２ｂは、探索領域内の線Ｌ１，Ｌ２に対してサンプリングを行っていく。

サンプリングにあたり、平行度算出部２２ｂは、まず、探索領域内において、できるだけ画像上方側に存在する線Ｌ１上の点Ｐ１を特定する。そして、点Ｐ１の座標値を記憶しておく。次に、平行度算出部２２ｂは、点Ｐ１から所定画素だけ画像下側の点Ｐ２を特定し、点Ｐ２の座標値を記憶しておく。同様に、平行度算出部２２ｂは、点Ｐ２から所定画素だけ画像下側の点Ｐ３を特定し、点Ｐ３の座標値を記憶しておく。その後、平行度算出部２２ｂは、順次線Ｌ１上の点を特定し、座標値を記憶していく。

次に、平行度算出部２２ｂは、画像横方向をＸ軸、画像縦方向をＹ軸とし、点Ｐ１と点Ｐ２を結ぶ線分の傾きを求める。例えば点Ｐ１の座標値が（ｘ１，ｙ１）であり点Ｐ２の座標値が（ｘ２，ｙ２）である場合、平行度算出部２２ｂは、点Ｐ１と点Ｐ２を結ぶ線分の傾きを、（ｙ２−ｙ１）／（ｘ２−ｘ１）として求める。そして、平行度算出部２２ｂは、この値を記憶する。その後、平行度算出部２２ｂは、同様にして、他に特定された線Ｌ１上の点同士を結ぶ線分の傾きを求める。

次に、平行度算出部２２ｂは、上記と同様に、線Ｌ２に対しても傾きの値を求めていく。その後、平行度算出部２２ｂは、求めた複数の傾きの値についてのヒストグラムを作成する。図３（ｂ）は図３の俯瞰画像から求められたヒストグラムを示している。図３（ｂ）に示すように、線Ｌ１は傾きが約「１」でピークとなっており、線Ｌ２は傾きが約「−２．５」でピークとなっている。平行度算出部２２ｂは、これらのピーク値の差の絶対値、すなわち「３．５」を平行度として求める。なお、平行度はその値が低いほど、すなわち２つの線の傾きの差が小さいほど平行であることを示している。

なお、図３の説明では点Ｐ１〜点Ｐ３のように、各線に対して３点のみサンプリングしたが、実際に平行度算出部２２ｂは、Ｋ個の点をサンプリングする。ここで、Ｋは平行度を正しく算出するのに充分な数である。また、姿勢パラメータ推定部２２は、予め個数Ｋの最小値を定めておき、線に対してＫ個サンプリングできない場合には平行度を算出しないことが望ましい。これにより、平行度の信頼性を高めることができるからである。

再度、図２を参照する。以上のようにして平行度を算出した後、カメラ姿勢推定部２２は、例えば各パラメータ値をインクリメントやディクリメンとする、あるいは各パラメータ値に所定値を加減算するなどして、姿勢パラメータを更新する。そして現時点において、Ｎ個の姿勢パラメータに基づいて平行度を算出したか否かを判断する（ステップＳ７）。現時点において、カメラ姿勢推定部２２は記憶部２３に記憶されていた１個の姿勢パラメータに基づいて平行度を算出している。このため、カメラ姿勢推定部２２は、Ｎ個の姿勢パラメータに基づいて平行度を算出していないと判断する（ステップＳ７：ＮＯ）。そして、カメラ姿勢推定部２２は、姿勢パラメータを変更する（ステップＳ８）。このとき、カメラ姿勢推定部２２は、例えば俯角θを１度だけ変化させる。

その後、カメラ姿勢推定装置２０は、上記したステップＳ４〜Ｓ８の処理を繰り返す。この間に例えば図３（ｃ）に示すような俯瞰画像が得られ、線Ｌ３および線Ｌ４の各サンプリング点Ｐ７〜Ｐ１２の傾きがヒストグラム化され、図３（ｄ）に示すようなヒストグラムが得られる。図３（ｄ）に示すように、線Ｌ３は傾きが約「−１」でピークとなっており、線Ｌ４は傾きが約「−１」でピークとなっている。平行度算出部２２ｂは、これらのピーク値の差の絶対値である「０」を平行度として求める。

そして、カメラ姿勢推定部２２がＮ個の姿勢パラメータに基づいて平行度を算出した場合（ステップＳ７：ＹＥＳ）、姿勢パラメータ推定部２２ｃは、最も平行度の値が低いときの姿勢パラメータを適切な姿勢パラメータであると推定し、記憶部２３に記憶させ（ステップＳ９）、図３に示す処理は終了する。その後、以後の処理において、適正化された姿勢パラメータに基づき、俯瞰画像がモニタ３０に表示されることとなる。

このようにして、第１実施形態に係るカメラ姿勢推定装置２０およびカメラ姿勢推定方法によれば、俯瞰画像の線の平行度を求め、平行度から姿勢パラメータを決定する。ここで、地面などの基準面に描かれる平行線は、俯瞰画像においても平行に表現される。ところが、姿勢パラメータが適切でない場合には、地面などの基準面に描かれる平行線は、俯瞰画像においてその平行性に乱れを生じる。このため、俯瞰画像における線の平行度を求めることで、姿勢パラメータを求めることができる。また、本実施形態では、俯瞰画像から姿勢パラメータを求めるので予めテストパターン等を用意する必要がなく且つ無限遠を求める必要がないため姿勢推定の困難さを軽減することができる。従って、カメラ姿勢の推定について困難さを軽減することができる。

また、第１実施形態によれば、俯瞰画像データに対してエッジ抽出し、抽出されたエッジを、俯瞰画像上の線Ｌと判断して平行度を算出する。このため、既存の画像処理技術により簡便に平行度を求めることができる。

また、第１実施形態によれば、カメラ設置箇所が停止状態にある場合に平行度を算出するため、カメラ１０が安定し画像が安定しているときに平行度を求めることができる。特に、本実施形態ではカメラ１０が車両に設置されているため、車両停止時、すなわち信号機等により停止し、白線等が存在する可能性が高く平行線が存在する可能性が高い場合に、平行度を求めることとなり、適切なカメラ姿勢の推定を行うことができる。

また、第１実施形態によれば、カメラ１０が設置される移動体（車両）の始動が検出された場合に平行度を算出するため、移動体始動時のようにカメラ１０が安定し画像が安定しているときに姿勢パラメータを求めることができる。特に、利用者が移動体（車両）を操作（運転）する場合には、これから操作（運転）する移動体（車両）に設置されるカメラ１０の姿勢パラメータを推定することができ、適切な操作（運転）を行い易くすることができ、適切なカメラ姿勢パラメータを求めておけるため、ほぼいつも正しい俯瞰図を利用者に提供できる。

さらに、第１実施形態に係る車両によれば、車体に設置されたカメラ１０と、カメラ姿勢推定装置２０とを備える。ここで、車両は乗員や荷物の積載により傾く場合があり、かかる場合地面に対するカメラ１０の姿勢が変化する。このため、カメラ姿勢推定装置２０により車両用のカメラ１０の姿勢パラメータを推定することで、逐次変化する姿勢パラメータを推定することができる。

次に、本発明の第２実施形態を説明する。第２実施形態に係るカメラ姿勢推定装置２０は、第１実施形態のものと同様であるが、構成および処理内容が異なっている。以下、第１実施形態との相違点を説明する。

図４は、第２実施形態に係るカメラ姿勢推定装置を含む車両周囲表示システムの概略構成図である。図４に示すカメラ姿勢推定装置２０は、利用者の操作によって姿勢パラメータを変更可能なパラメータ変更モードを有している。具体的に本実施形態に係るカメラ姿勢推定装置２０は、第１実施形態に示した姿勢パラメータを推定し記憶部２３に記憶させる自動校正モードと、上記パラメータ変更モードとを有している。

スイッチ群４０は、利用者からの操作を受け付けるものであり、モード設定スイッチ４１と、姿勢パラメータ設定スイッチ４２とを備えている。モード設定スイッチ４１は、自動校正モードとパラメータ変更モードとを切替可能なスイッチである。利用者は、このスイッチ４１を操作することにより、カメラ姿勢推定装置２０を自動校正モードとするか、パラメータ変更モードとするかを選択可能となっている。

姿勢パラメータ変更スイッチ４２は、姿勢パラメータを変更するためのスイッチである。利用者は、モード設定スイッチ４１によりカメラ姿勢推定装置２０がパラメータ変更モードに設定された後、姿勢パラメータ設定スイッチ４２を操作することにより記憶部２３に記憶される姿勢パラメータを変更することができる。

図５は、第２実施形態に係るカメラ姿勢推定方法を示すフローチャートである。まず、カメラ姿勢推定装置２０は、姿勢パラメータ変更モードに設定されているか否かを判断する（ステップＳ１０）。姿勢パラメータ変更モードに設定されていないと判断した場合（ステップＳ１０：ＮＯ）、図５に示す処理は終了する。なお、ステップＳ１０において「ＮＯ」と判断された場合、図２に示した処理が実行される。

一方、姿勢パラメータ変更モードに設定されていると判断した場合（ステップＳ１０：ＹＥＳ）、ステップＳ１１〜Ｓ１４の処理が実行される。これら処理は、図２に示したステップＳ１，Ｓ４〜Ｓ６と同様である。

次に、姿勢パラメータ推定部２２ｃは、算出された平行度の値が所定値以下か否かを判断する（ステップＳ１５）。平行度の値が所定値以下である場合（ステップＳ１５：ＹＥＳ）、姿勢パラメータの精度が高いと言えるため、カメラ姿勢推定装置２０は、精度が高いことを示すマーカをモニタ３０に表示させる（ステップＳ１６）。その後、処理はステップＳ１７に移行する。

平行度の値が所定値以下でない場合（ステップＳ１５：ＮＯ）、姿勢パラメータの精度が高くないため、カメラ姿勢推定装置２０は、マーカをモニタ３０に表示させず、処理はステップＳ１７に移行する。

図６は、マーカの表示例を示す図である。なお、図６に示す表示例では、駐車枠の平行度に応じてマーカが表示されている。平行度の値が所定値以下である場合、図６（ｂ）に示すように、カメラ姿勢推定装置２０は、姿勢パラメータの精度が高いことを示すマーカＭ１をモニタ３０に表示させる。一方、平行度の値が所定値以下でない場合、図６（ａ）および（ｃ）に示すように、カメラ姿勢推定装置２０は、マーカＭ１を表示させない。なお、カメラ姿勢推定装置２０は、平行度の値が所定値以下でない場合、図６（ａ）および（ｃ）に示すように姿勢パラメータの精度が低いことを示すマーカＭ２をモニタ３０に表示させてもよい。

再度、図５を参照する。ステップＳ１７においてカメラ姿勢推定装置２０は、姿勢パラメータスイッチ４２が押下されたか否かを判断する（ステップＳ１７）。姿勢パラメータスイッチ４２が押下されたと判断した場合（ステップＳ１７：ＹＥＳ）、カメラ姿勢推定装置２０は姿勢パラメータを変更し（ステップＳ１８）、その後処理はステップＳ１９に移行する。なお、姿勢パラメータスイッチ４２が押下されると、姿勢パラメータは俯角θを１度だけ増加させる。そして、姿勢パラメータスイッチ４２が押下され続け、俯角θが上限値に達し、俯角θが上限値であるときに、姿勢パラメータスイッチ４２が押下されると、俯角θは下限値となる。

一方、姿勢パラメータスイッチ４２が押下されていないと判断した場合（ステップＳ１７：ＮＯ）、カメラ姿勢推定装置２０は姿勢パラメータを変更することなく、その後処理はステップＳ１９に移行する。
ステップＳ１９において、カメラ姿勢推定装置２０は、自動校正モードに設定されているか否かを判断する（ステップＳ１９）。自動校正モードに設定されていないと判断した場合（ステップＳ１９：ＮＯ）、処理はステップＳ１１に移行する。

一方、自動校正モードに設定されていると判断した場合（ステップＳ１９：ＹＥＳ）、図５に示す処理は終了する。なお、図５に示す処理の終了時には、姿勢パラメータ設定スイッチ４２の押下によって変更された姿勢パラメータが記憶部２３に記憶されることとなる。

このようにして、第２実施形態に係るカメラ姿勢推定装置２０およびカメラ姿勢推定方法によれば、第１実施形態と同様に、カメラ姿勢の推定について困難さを軽減することができる。また、既存の画像処理技術により簡便に平行度を求めることができ、且つ、適切なカメラ姿勢の推定を行うことができる。よって、適切な俯瞰図を利用者に提供することができ、適切な操作（運転）を行い易くすることができる。さらにまた逐次変化する姿勢パラメータをほぼいつも適切に推定することができる。

さらに、第２実施形態によれば、利用者が姿勢パラメータを変更可能であるため、利用者の望む俯瞰画像が提供されない場合などに、姿勢パラメータを変更でき、利便性を向上させることができる。

また、第２実施形態によれば、利用者が自己で適切な姿勢パラメータとなったか否かを判断する必要がなく、利便性を向上させることができる。

以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。

例えば、上記において、エッジ抽出部２２ａは、画像中央から画像左右端に向かって検出し、最初に検出されたエッジを優先して抽出していたが、これに限らず、重み付けを行い平行度の算出時に利用するようにしてもよい。具体的には、エッジ抽出部２２ａは、俯瞰画像を各領域に分割し、道路の白線や路肩が存在する確率が高い領域を優先すべく、これらの領域に重みを持たせる（高い値を設定するなど）。さらには、画像中央側の領域が優先されるように領域毎に重みを持たせてもよい。その後、各線Ｌの傾きが求められると、どの領域における線Ｌによって求められた傾きであるかを判断し、設定した値すなわち重みを傾きに掛け合わせ、ヒストグラムを作成する。これにより、白線や路肩等の平行線でない確率が高いものについては、重みが小さくされることとなり、平行線以外の路面のひびやその他のエッジの影響を抑制することができる。

また、第１実施形態において、姿勢パラメータ推定部２２ｃは、複数の姿勢パラメータに基づいて平行度を算出し、最も平行度の値が低いものを、最も精度が高い姿勢パラメータであると推定しているが、姿勢パラメータ推定部２２ｃによる姿勢パラメータの推定は、これに限られない。例えば、姿勢パラメータ推定部２２ｃは、平行度の値が所定値より高ければ姿勢パラメータの精度が低いと判断し、平行度の値が所定値以下であれば姿勢パラメータの精度が高いと判断してもよい。

また、第２実施形態では、マーカＭ１の表示によって姿勢パラメータの精度が高いことを利用者に通知していたが、これに限らず、音声や報知音により通知してもよいし、姿勢パラメータの精度が高いことを文字等により通知してもよい。

また、第２実施形態では、姿勢パラメータ設定スイッチ４２をモニタ３０とは別に設けたが、これに限らず、モニタ３０上にタッチパネルを組み込み、姿勢パラメータ変更モード時にはモニタ３０に姿勢パラメータ設定スイッチ４２を表示させるようにしてもよい。

また、第２実施形態では、姿勢パラメータ設定スイッチ４２の操作により、姿勢パラメータを変更するようになっていたが、これに限らず、姿勢パラメータの数値を直接入力できるように構成されていてもよい。

また、第１実施形態では、カメラ姿勢パラメータの推定を車両停止時または車両始動時に行っていたが、このタイミングに限らず、カメラ姿勢パラメータの推定は常時行われてもよいし、所定間隔で行われてもよい。さらに、ナビゲーション装置からの道路情報に基づいて、カメラ姿勢パラメータの推定に適した道路であるかを判断して、カメラ姿勢パラメータの推定を行ってもよい。具体的には、カーブやアップダウンがある道などではカメラ姿勢パラメータの推定を行わないこととなる。

さらに、第１および第２実施形態の双方において、路面に横断歩道、速度表示、止まれマークなどが描かれている場合、カメラ姿勢パラメータの推定に影響を与えてしまう可能性がある。特に、第１実施形態のように、画像中央側のエッジを優先した場合には、平行線よりも先に横断歩道、速度表示、止まれマークなどのエッジが抽出されてしまい、カメラ姿勢パラメータの推定に与える影響が大きくなってしまう。そこで、エッジ抽出部２２ａは、縦エッジを検出するだけでなく、横エッジを検出することが望ましい。横エッジの比率が高くなれば路面に横断歩道等が描かれていると判断できるため、このような場合にはカメラ姿勢パラメータの推定を行わないようにして誤推定を防止することができる。

第１実施形態に係るカメラ姿勢推定装置を含む車両周囲表示システムの概略構成図である。 第１実施形態に係るカメラ姿勢推定方法を示すフローチャートである。 図１に示したエッジ抽出部および平行度算出部による処理の様子を示す図であり、（ａ）は俯瞰画像の第１の例を示し、（ｂ）は（ａ）の俯瞰画像に基づくヒストグラムを示し、（ｃ）は俯瞰画像の第２の例を示し、（ｄ）は（ｃ）の俯瞰画像に基づくヒストグラムを示している。 第２実施形態に係るカメラ姿勢推定装置を含む車両周囲表示システムの概略構成図である。 第２実施形態に係るカメラ姿勢推定方法を示すフローチャートである。 マーカの表示例を示す図であり、（ａ）は第１の例を示し、（ｂ）は第２の例を示し、（ｃ）は第３の例を示している。

符号の説明

１０…カメラ
２０…カメラ姿勢推定装置
２１…視点変換部
２２…カメラ姿勢推定部
２２ａ…エッジ抽出部
２２ｂ…平行度算出部
２２ｃ…姿勢パラメータ推定部
２３…記憶部
２４…停止判断部
２５…始動検出部
３０…モニタ
４０…スイッチ群
４１…モード設定スイッチ
４２…姿勢パラメータ設定スイッチ
Ｍ１，Ｍ２…マーカ

Claims (8)

1. カメラの姿勢を推定するカメラ姿勢推定装置であって、
   カメラにより撮像されて得られた撮像データを、カメラの姿勢を示す姿勢パラメータに基づき視点変換して俯瞰画像データを生成する生成手段と、
   前記生成手段により生成された俯瞰画像データが示す俯瞰画像上の線の平行度を算出する算出手段と、
   前記算出手段により算出された平行度から、前記姿勢パラメータを推定する姿勢推定手段と、
   を備えることを特徴とするカメラ姿勢推定装置。
2. 前記生成手段により生成された俯瞰画像データに対してエッジ抽出するエッジ抽出手段をさらに備え、
   前記算出手段は、前記エッジ抽出手段により抽出されたエッジを、俯瞰画像上の線と判断して平行度を算出する
   ことを特徴とする請求項１に記載のカメラ姿勢推定装置。
3. 前記カメラが設置される設置箇所が停止状態にあるかを判断する停止判断手段をさらに備え、
   前記算出手段は、前記停止判断手段によりカメラ設置箇所が停止状態にあると判断された場合に、前記俯瞰画像上の線の平行度を算出する
   ことを特徴とする請求項１または請求項２のいずれかに記載のカメラ姿勢推定装置。
4. 前記カメラが設置される移動体の始動を検出する始動検出手段をさらに備え、
   前記算出手段は、前記始動検出手段により前記移動体の始動が検出された場合に、前記俯瞰画像上の線の平行度を算出する
   ことを特徴とする請求項１〜請求項３のいずれか１項に記載のカメラ姿勢推定装置。
5. 利用者の操作によって前記姿勢パラメータを変更可能なパラメータ変更モードを有する
   ことを特徴とする請求項１〜請求項４のいずれか１項に記載のカメラ姿勢推定装置。
6. 利用者の操作によって前記姿勢パラメータが変更された場合における前記平行度が許容範囲であることを報知する報知手段をさらに備える
   ことを特徴とする請求項１〜請求項５のいずれか１項に記載のカメラ姿勢推定装置。
7. 車両に設置されたカメラと、
   前記車両に搭載され、カメラにより撮像された撮像データを入力する請求項１〜請求項６のいずれか１項に記載のカメラ姿勢推定装置と、
   を備えることを特徴とする車両。
8. カメラの姿勢を推定するカメラ姿勢推定方法であって、
   カメラにより撮像されて得られた撮像データを、カメラの姿勢を示す姿勢パラメータに基づき視点変換して俯瞰画像データを生成する生成ステップと、
   前記生成ステップにおいて生成された俯瞰画像データが示す俯瞰画像上の線の平行度を算出する算出ステップと、
   前記算出ステップにおいて算出された平行度から、前記姿勢パラメータを推定する姿勢推定ステップと、
   を有することを特徴とするカメラ姿勢推定方法。