JP2010160379A - カメラキャリブレーション方法、およびカメラキャリブレーション装置 - Google Patents

Abstract

【課題】基準線が撮像された画像情報を用いることなく、カメラの取付け状態を校正するカメラキャリブレーション方法を提供する。
【解決手段】カメラを同じ方向に角度θ傾斜および角度−θ傾斜させる傾斜付加ステップと、傾斜付加ステップによりカメラを角度±θ傾斜させた状態の加速度、およびカメラの傾斜の無い状態の加速度を検出する加速度検出ステップと、加速度検出ステップにより検出された加速度を用いてカメラを校正するカメラ校正ステップを備える。
【選択図】図１

Description

本発明は、車両などに取付けられ、車両周囲の状況などを撮像するカメラのカメラキャリブレーション方法およびカメラキャリブレーション装置に関するものである。

従来のカメラキャリブレーション方法は、図７に示すように撮像用のカメラ７０１と、当該カメラ７０１には傾き角を取得する加速度センサ等の傾きセンサ７０２が取り付けられている。また、カメラ７０１からの画像情報と、傾きセンサ７０２からの傾き情報がそれぞれ入力される計算機７０３と、計算機７０３に接続されプログラム等が記憶される記憶装置７０４で構成される。

その動作原理を図８のフローチャートを用いて説明する。図８のステップＳ８０１において、傾きセンサ７０２を用いてカメラ７０１のピッチ角とロール角を算出する。ステップＳ８０２では、現実の水平な線分が撮像されている画像を取得し、その線分の画像面上での像を検出して水平な直線として設定する。次にステップＳ８０３において、ステップＳ８０１で算出したカメラ７０１のピッチ角とロール角から画像面上の地平線を回転行列演算により求める。そして、ステップＳ８０４で現実の水平な直線と地平線との画像面上での位置関係を表す数式に基づいてカメラ７０１のヨー角を求める。具体的な例としては、両者の交点の位置と両者のなす角度に関係する数式とに基づいてヨー角を求める。

上記のように処理することでキャリブレーション対象のカメラ７０１のピッチ角、ロール角、ヨー角を算出することができ、これらの角度を用いてキャリブレーションを実施している（例えば、特許文献１参照）。
特開２００４−１０８８３６号公報

しかしながら、従来のカメラキャリブレーション方法においては、カメラのヨー角を求めるために水平な基準線が撮像された画像を利用する必要があり、画像内でその線分を正しく検出しなければならない。つまり、カメラの撮像視野内に基準線を設置しなければならないという問題がある。このとき、照明条件やカメラの取付け状態の変化によっては画像内の基準線が正しく検出されず、カメラの取付け角度が算出できない、もしくは角度の算出精度が劣化するなど設置条件にも制約がある。

本発明は、このような従来の問題を解決するためになされたもので、基準線を撮像した画像情報を利用することなくカメラの取付け角度を精度よく算出することのできるカメラキャリブレーション方法およびカメラキャリブレーション装置を提供することを目的とする。

上記目的を達成するための第１の局面は、
物体に設置されたカメラのキャリブレーション方法であって、カメラを同じ方向に角度θ傾斜および角度−θ傾斜させる傾斜付加ステップと、傾斜付加ステップによりカメラを角度±θ傾斜させた状態の加速度、および前記カメラの傾斜の無い状態の加速度を検出する加速度検出ステップと、加速度検出ステップにより検出された加速度を用いてカメラを校正するカメラ校正ステップを備える。

また、カメラは車両に設置されており、傾斜付加ステップは、車両をスロープに移動させる、または車両が停車している土台を所定の角度傾斜させることによりカメラを傾斜させることを特徴とする。

第２の局面は、
物体に設置されたカメラのカメラキャリブレーション方法であって、カメラの光軸方向の加速度１を検出する第１加速度検出ステップと、光軸に直交し水平面に略平行な方向の加速度２を検出する第２加速度検出ステップと、加速度１と加速度２からカメラのピッチ角およびロール角を算出する第１カメラ取付け角度算出ステップと、カメラをピッチ方向またはロール方向に角度θ傾斜させる傾斜付加ステップと、カメラが角度θ傾斜した状態で、加速度２と同じ方向の加速度３を検出する第３加速度検出ステップと、カメラをピッチ方向またはロール方向に角度−θ傾斜させる傾斜付加ステップと、カメラが角度−θ傾斜した状態で、加速度２と同じ方向の加速度４を検出する第４加速度検出ステップと、第１カメラ取付け角度算出ステップで算出したピッチ角またはロール角と、加速度３と、加速度４、および角度θからヨー角を算出する第２カメラ取付け角度算出ステップと、ピッチ角とロール角とヨー角を用いてカメラを校正するカメラ校正ステップを備える。

さらに、設置される特定の物体に対するカメラの３次元取付け位置を入力するカメラ位置入力ステップを備えてもよい。

第３の局面は、
物体に設置されたカメラのキャリブレーション装置であって、カメラを同じ方向に角度θ傾斜および角度−θ傾斜させる傾斜付加部と、傾斜付加部によりカメラを角度±θ傾斜させた状態の加速度、およびカメラの傾斜の無い状態の加速度を検出する加速度検出部と、加速度検出部により検出された加速度を用いてカメラを校正するカメラ校正部を備える。

これらの構成により、基準線の撮像された画像を利用することなく、撮影環境やカメラの取付け状態が変化した場合においても精度よくカメラのキャリブレーションをすることが可能である。

本発明は、カメラの傾斜角を変えた状態の加速度センサの出力を用いることで、カメラで撮像した画像を利用しない簡易かつ高精度なカメラキャリブレーション方法、およびカメラキャリブレーション装置を提供することができる。

以下、本発明の実施の形態のカメラキャリブレーション方法について、図面を用いて説明する。

本発明の第１の実施の形態のカメラキャリブレーション方法をを実施するための構成を図１に示す。

カメラ１０１は、車両など特定の物体に設置され該物体の周囲を撮像する。

第１加速度検出手段１０２は、カメラ１０１の光軸方向の加速度を計測する。

第２加速度検出手段１０３は、カメラ１０１の光軸に直交し、かつ水平面に略平行方向の加速度を計測する。

第１カメラ取付け角度算出手段１０４は、第１加速度検出手段１０２と第２加速度検出手段１０３の出力信号からカメラ１０１のピッチ方向およびロール方向の傾き角度を算出する。

傾斜付加手段１０５は、物体に固定設置された状態のカメラ１０１を所定の角度傾斜させる。例えば、車両にカメラ１０１を設置した場合を考えると、車両を傾斜角が既知である傾斜面（スロープ）に停止させる。または、車両が停車している土台を所定の角度傾斜させる。

第２カメラ取付け角度算出手段１０６は、第１カメラ取付け角度算出手段１０４で算出されたカメラ１０１のピッチ角とロール角と傾斜付加手段１０５によって傾斜が付加された状態で第１加速度検出手段１０２と第２加速度検出手段１０３によって検出された加速度情報を基にカメラ１０１のヨー方向の取付け角度を検出する。

カメラ校正手段１０７は、第１カメラ取付け角度算出手段１０４と第２カメラ取付け角度算出手段１０６で算出されたカメラのピッチ角とロール角とヨー角を用いてカメラ１０１の取り付け角度を校正する。

以上の構成を用いるカメラキャリブレーション方法について、図２のフローチャートを用いてその動作を説明する。

まず、カメラキャリブレーションの開始命令が与えられるとステップＳ２０１に遷移する。ここで、キャリブレーションの開始命令としては、外部から意図的に与えるか、状態変化を検知して内部から信号を発生させてもよい。内部からの信号としては、例えば、キャリブレーションが一度完了してから一定時間経過したときに信号を発生するタイマーのようなものや、外部からの衝撃や状態変化を検知するセンサをトリガとして信号を発生させることが考えられる。例えば、車載カメラの場合、重量センサや圧力センサで乗員を検出し、その数や位置が変化した場合に再度キャリブレーションを実行するトリガを発生させることなどが考えられる。

ステップＳ２０１では、カメラに設置された第１の加速度検出手段１０２、第２の加速度検出手段１０３によってそれぞれの検出軸方向の加速度１，２を検出する。このとき、カメラは光軸が撮像すべき方向に向いた状態で静止していることが望ましい。

次にステップＳ２０２では、ステップＳ２０１で検出された加速度値を用いて第１カメラ取付け角度算出手段１０４によりカメラのピッチ方向とロール方向の傾き角度を算出する。

ステップＳ２０３では傾斜付加手段１０５によって第１の加速度検出手段１０２、第２の加速度検出手段１０３が設置されたカメラ１０１を所定の角度だけ傾斜させる。

そして、カメラ１０１が傾斜した状態でステップＳ２０４において第２の加速度検出手段１０３によって加速度３を検出する。さらに、傾斜付加手段１０５によってステップＳ２０３で付加した傾斜角とは異なる傾斜角を付加し、ステップＳ２０６でステップＳ２０４同様に第２の加速度検出手段１０３によって加速度４を検出する。

そして、ステップＳ２０７において、ステップＳ２０４、ステップＳ２０６で検出された加速度３，４とステップＳ２０３、ステップＳ２０５で付加した傾斜角度を第２カメラ取付け角度算出手段１０６に入力してカメラ１０１のヨー方向の傾き角度を算出する。

最後にステップＳ２０８では、算出されたカメラのピッチ角、ロール角、ヨー角を用いてカメラのキャリブレーションを実施する。

上記のフローチャートの流れに沿った具体的な処理について以下で詳細に説明する。

まず、カメラ１０１に対する第１の加速度検出手段１０２、第２の加速度検出手段１０３の設置状態を示す。図３のようにカメラ３０５の光軸３０４とその検出軸３０３が平行となるように第１の加速度検出手段１０２を設置し、第２の加速度検出手段１０３をその検出軸が３０２のようにカメラ光軸と直交し、水平面と略平行となる向きに設置する。このとき、第１第１の加速度検出手段１０２、第２の加速度検出手段１０３としては、１軸方向の加速度を検知する加速度センサを２つ設置するか、２軸、もしくは、３軸方向の加速度を検知する加速度センサを１つ設置することが考えられる。さらに、その加速度検知機構を半導体プロセスで作るＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）センサであればセンサを非常に小さく構成することができるため、カメラモジュール内に設置して加速度センサを一体化したカメラとして設計してもよい。

次に、カメラキャリブレーションを行うためのカメラ取付け角度について図４を用いて説明する。図４において、カメラ１０１はキャリブレーション対象であり、筐体４０１はカメラ１０１が設置される。図４（ａ）は筐体に対するカメラ１０１の設置状態を真横方向から見た図、図４(ｂ)はカメラ１０１の光軸方向から見た図、図４（ｃ）はカメラ１０１を真上方向から見た図をそれぞれ示している。図４(ａ)のように、カメラ１０１の光軸と水平面のなす角度をピッチ角Ｐ、図４（ｂ）のようにカメラ１０１の鉛直軸に対する傾きをロール角Ｑ、図４（ｃ）のようにカメラ１０１の光軸とカメラを設置している筐体４０１の正面方向とのなす角をヨー角Ｒとする。このとき、第１の加速度検出手段１０２の出力をｇ１、第２の加速度検出手段１０３の出力をｇ２、重力加速度をＧとすると、以下の［数１］、［数２］の関係が成立する。

そして、ステップＳ２０２の第１カメラ取付け角度算出手段１０４では、以下のようにしてピッチ角、ロール角を算出する。

[数１]より、

[数２]より、

[数４]からロール角Ｑが求まり、これを[数３]に代入して、ピッチ角Ｐが求まる。

次に、ステップＳ２０３の傾斜付加手段１０５によるカメラ角度の傾斜について説明する。図５のように、例えばピッチ方向に角度θ傾斜させる。傾斜付加手段１０５としては、図５のように所定の傾斜角を持つスロープ５０１を用いてカメラ１０１が設置された筐体４０１を傾斜させる方法が最も間便であるが、その他の方法による傾斜付加方法を用いてもよい。このとき、ステップＳ２０４において、ステップＳ２０３で傾斜を付加した第２の加速度検出手段１０３の出力（加速度３）が、次式で与えられる。

ステップＳ２０５では、傾斜付加手段１０５によって再びカメラ１０１に傾斜を与える。このとき付加する傾斜角は、ステップＳ２０３で付加した角度と大きさは同じで方向を逆にしたものとする。そして、このときの第２の加速度検出手段１０３の出力（加速度４）は、以下の[数６]のようになる。

となる。

このように検出された加速度３、加速度４の値を用いて、ステップＳ２０７の第２カメラ取付け角度算出手段１０６では、次式でカメラ１０１のヨー角を算出する。

上記、[数７]に[数５]、[数６]の検出値、[数４]で算出されたロール角Ｑ、そして、傾斜付加手段１０５で付加した傾斜角θを代入することで、カメラのヨー角Ｒを算出することができる。このようにして算出されたピッチ角、ロール角、ヨー角をカメラの外部パラメータとしてカメラ校正を行う。

なお、ステップＳ２０３の傾斜付加手段１０５によるカメラ角度の傾斜をロール方向に角度θ傾斜させることも可能である。この場合、[数５]、[数６] 、[数７]を下記の[数８]、[数９] 、[数１０]とすることでカメラのヨー角Ｒを算出することができる。その他の処理は、上述のピッチ方向に傾斜させる場合と同じである。

このような本発明の第１の実施の形態のカメラキャリブレーション方法によれば、カメラに設置された２軸方向の加速度を利用し、所定の角度だけカメラを傾斜させることにより、カメラで撮像された画像情報を用いることなくカメラの取付け角度（ピッチ角、ロール角、ヨー角）を算出することができる。そのため、撮像環境やカメラ取付け状態の変化に対しても精度の劣化がなく、高精度なカメラキャリブレーションを実施することができる。

次に、本発明の第２の実施の形態のカメラキャリブレーション方法を実施する構成を図６に示す。

図６において、第２の実施の形態のカメラキャリブレーション方法の構成は、第１の実施の形態のカメラキャリブレーション方法の構成に加えてカメラ位置入力手段６０１とから構成されている。

以上の構成に基づくカメラキャリブレーション方法について、その動作を以下で説明する。

まず、本発明の第１の実施の形態と同様にしてカメラの取付け角度（ピッチ角、ロール角、ヨー角）を算出する。上記カメラ取付け角に加えて、カメラ位置入力手段によって入力される、基準位置からのカメラ３軸方向のズレ（鉛直方向、水平方向、奥行き方向の平行移動成分）をカメラの外部パラメータとしてカメラ校正手段によって校正を行う。ここで、カメラ位置入力手段で入力するカメラ位置の算出方法としては、例えば、メジャーを用いて基準位置からの物理的な距離を測る方法や、特定パターンの画像を撮像してそのパターンの画像内の位置からカメラの平行移動成分を求めることで実現可能である。

以上のように本発明の第２の実施の形態のカメラキャリブレーション方法によれば、第１の実施の形態の構成に加えてカメラ位置入力手段を設けることにより、カメラの取付け角度だけではなく、平行移動成分も含めてカメラ校正をすることができる。

以上のように、本発明にかかるカメラキャリブレーション方法およびカメラキャリブレーション装置は、特定の物体に取付けられ物体周囲の状況を撮像するカメラなどに対し、その取付け状態を校正するカメラキャリブレーションシステムとして有用である。

本発明の第１の実施の形態におけるカメラキャリブレーション方法を実施するための構成を示すブロック図 本発明の第１の実施の形態におけるカメラキャリブレーション方法の動作説明のためのフロー図 本発明の第１の実施の形態における加速度検出手段の設置方法を示す図 （ａ）カメラ取付け角度であるピッチ角を示す図（ｂ）カメラ取付け角度であるロール角を示す図（ｃ）カメラ取付け角度であるヨー角を示す図 本発明の第１の実施の形態における傾斜付加手段によってカメラに傾斜が付加された状態の一例を示す図 本発明の第２の実施の形態のカメラキャリブレーション方法を実施するための構成を示すのブロック図 従来のカメラキャリブレーション方法を実施するための構成を示すブロック図 従来のカメラキャリブレーション方法の動作説明のためのフロー図

１０１ カメラ
１０２ 第１加速度検出手段
１０３ 第２加速度検出手段
１０４ 第１カメラ取付け角度算出手段
１０５ 傾斜付加手段
１０６ 第２カメラ取付け角度算出手段
１０７ カメラ校正手段
３０２ 第２加速度検出手段の加速度検出軸
３０３ 第１加速度検出手段の加速度検出軸
３０４ カメラ１０１の光軸
４０１ 筐体
５０１ スロープ
６０１ カメラ位置入力手段

Claims (5)

1. 物体に設置されたカメラのカメラキャリブレーション方法であって、
   前記カメラを同じ方向に角度θ傾斜および角度−θ傾斜させる傾斜付加ステップと、
   前記傾斜付加ステップにより前記カメラを角度±θ傾斜させた状態の加速度、および前記カメラの傾斜の無い状態の加速度を検出する加速度検出ステップと、
   前記加速度検出ステップにより検出された加速度を用いて前記カメラを校正するカメラ校正ステップを備える、カメラキャリブレーション方法。
2. 前記カメラは車両に設置されており、
   前記傾斜付加ステップは、前記車両をスロープに移動させることにより前記カメラを傾斜させる、または車両が停車している土台を所定の角度傾斜させることを特徴とする請求項１に記載のカメラキャリブレーション方法。
3. 物体に設置されたカメラのカメラキャリブレーション方法であって、
   前記カメラの光軸方向の加速度１を検出する第１加速度検出ステップと、
   前記光軸に直交し水平面に略平行な方向の加速度２を検出する第２加速度検出ステップと、
   前記加速度１と前記加速度２から前記カメラのピッチ角およびロール角を算出する第１カメラ取付け角度算出ステップと、
   前記カメラをピッチ方向またはロール方向に角度θ傾斜させる傾斜付加ステップと、
   前記カメラが角度θ傾斜した状態で、前記加速度２と同じ方向の加速度３を検出する第３加速度検出ステップと、
   前記カメラをピッチ方向またはロール方向に角度−θ傾斜させる傾斜付加ステップと、
   前記カメラが角度−θ傾斜した状態で、前記加速度２と同じ方向の加速度４を検出する第４加速度検出ステップと、
   前記第１カメラ取付け角度算出ステップで算出したピッチ角またはロール角と、前記加速度３と、前記加速度４、および前記角度θからヨー角を算出する第２カメラ取付け角度算出ステップと、
   前記ピッチ角と前記ロール角と前記ヨー角を用いて前記カメラを校正するカメラ校正ステップを備える、カメラキャリブレーション方法。
4. 設置される特定の物体に対するカメラの３次元取付け位置を入力するカメラ位置入力ステップを備えたことを特徴とする請求項１記載のカメラキャリブレーション方法。
5. 物体に設置されたカメラのカメラキャリブレーション装置であって、
   前記カメラを同じ方向に角度θ傾斜および角度−θ傾斜させる傾斜付加部と、
   前記傾斜付加部により前記カメラを角度±θ傾斜させた状態の加速度、および前記カメラの傾斜の無い状態の加速度を検出する加速度検出部と、
   前記加速度検出部により検出された加速度を用いて前記カメラを校正するカメラ校正部を備える、カメラキャリブレーション装置。

Images