JP2007096964A - カメラ補正装置及びカメラ補正方法 - Google Patents

Abstract

【課題】実際のカメラ取付けパラメータを精度よく求め、マーカ表示や画像処理の精度を向上させることができるカメラ補正装置及びカメラ補正方法を提供する。
【解決手段】車輌に設置されたカメラ１、制御部２、デフォルトパラメータ保存メモリ３、描画部４、モニタ５、外部入力インタフェース６を備える。制御部２は、デフォルトパラメータ保存メモリ３に保存されたデフォルトのカメラパラメータに基づいて、調整パターンをイメージした調整マーカの描画データを生成するマーカ生成部２１、外部入力インタフェース６からの入力に応じて、デフォルトパラメータに対する角度調整幅を判定し、調整された新たなデフォルトパラメータを算出するパラメータ演算部２２を含む。
【選択図】図１

Description

本発明は、例えば、車輌などの移動体に取り付けられるカメラの調整技術に係り、特に、カメラの取付けパラメータを調整するためのカメラ調整装置及びカメラ調整方法に関するものである。

車載カメラは、当初、運転者の死角となる箇所などの視認用に設置されており、単に生カメラ映像を内部の車載モニタに表示させていた。そして、利便性を向上させるため、歪みの少ない実カメラ映像上に、視認の目安となるような固定距離マーカを表示することなども行われるようになった。かかるカメラの調整に当たっては、カメラ映像を最終的に表示するモニタ上において、固定マーカの描画領域を調整するだけで十分であった。

例えば、車輌の組立工場や修理工場等において、カメラを設置固定した後に、カメラ光軸の軸回りの回転調整及び上下・左右の位置角度調整（方向調整）を電子ソフト的に実行するキャリブレーションを、調整作業者の手入力によって行う技術が提案されている（特許文献１）。
特開２００５−７７１０７号公報

ところで、現在、車載カメラに使用されるレンズは視野の広いものが増えており、また生映像だけでなく視点変換等の様々な画像処理や、さらには車輌情報を利用して予測軌跡距離マーカを表示するといった機能を持つシステムも存在している。これらのシステムにおいては、カメラパラメータの誤差があると、それぞれの機能を十分に発揮できない。

しかし、これらのシステムにおけるカメラパラメータの誤差は、従来のようなモニタ上での描画領域の変更では調整しきれない。これに対処するためには、システムの根幹となるカメラパラメータをキャリブレーションにより取得することが重要となる。しかし、従来技術ではそのようなカメラパラメータを取得することは不可能であった。

本発明は、上記のような従来技術の問題点を解決するもので、その目的は、実際のカメラ取付けパラメータを精度よく求め、マーカ表示や画像処理の精度を向上させることができるカメラ補正装置及びカメラ補正方法を提供することにある。

上記の目的を達成するため、請求項１の発明は、移動体に取り付けられたカメラと、前記カメラの調整用のパラメータを記憶するパラメータ記憶手段と、前記パラメータに基づいて、調整の指標となる調整マーカを生成するマーカ生成手段と、前記調整マーカと前記カメラで撮影された調整パターンとを重畳表示する表示装置と、前記調整マーカ及び前記調整パターンの表示が合うように指示入力する入力手段と、前記入力手段からの指示入力に応じて、パラメータを演算するパラメータ演算手段とを有することを特徴とする。

請求項４の発明は、請求項１の発明を方法の観点から捉えたものであり、パラメータ記憶手段が、移動体に取り付けられたカメラの調整用のパラメータを記憶し、マーカ生成手段が、前記パラメータに基づいて、調整の指標となる調整マーカを生成し、表示装置が、前記調整マーカと前記カメラで撮影された調整パターンとを重畳表示し、入力手段が、前記調整マーカ及び前記調整パターンの表示が合うように指示入力し、パラメータ演算手段が、前記入力手段からの指示入力に応じて、パラメータを演算することを特徴とする。

以上のような発明では、カメラで撮像した調整パターンと、カメラパラメータに基づいて生成された調整マーカを用いて、２つの画像が一致するように、入力手段によって調整していくことにより、パラメータを精度よく求めることができるので、マーカや画像処理の精度が向上する。

請求項２の発明は、請求項１のカメラ補正装置において、前記パラメータ記憶手段には、初期状態ではデフォルトのパラメータが記憶され、前記パラメータ演算手段による演算結果に応じて、パラメータを更新するように設定されていることを特徴とする。

請求項５の発明は、請求項２の発明を方法の観点から捉えたものであり、請求項４のカメラ補正方法において、前記パラメータ記憶手段は、初期状態ではデフォルトのパラメータを記憶し、前記パラメータ演算手段による演算結果に応じて、パラメータを更新することを特徴とする。

以上のような発明では、初期状態ではデフォルトのパラメータを用いて調整し、調整結果を保存し、これを次のパラメータとすることにより、常に最新状態での調整が可能となる。

請求項３の発明は、請求項１又は請求項２のカメラ補正装置において、前記パラメータ演算手段は、ロール角と、ヨー角と、ピッチ角とを用いて、回転角度を算出し、カメラパラメータを補正するように設定されていることを特徴とする。

請求項６の発明は、請求項３の発明を方法の観点から捉えたものであり、請求項４又は請求項５記載のカメラ補正方法において、前記パラメータ演算手段は、ロール角と、ヨー角と、ピッチ角とを用いて、回転角度を算出し、カメラパラメータを補正することを特徴とする。

以上のような発明では、ロール角と、ヨー角と、ピッチ角を用いることにより、カメラの姿勢を一意に決定可能な精度の高い演算が可能となる。

以上のような本発明によれば、実際のカメラ取付けパラメータを精度よく求め、マーカ表示や画像処理の精度を向上させることができるカメラ補正装置及びカメラ補正方法を提供することができる。

次に、本発明を実施するための最良の形態（以下「実施形態」と呼ぶ）について図面を参照して具体的に説明する。なお、本実施形態は、マイクロコンピュータ、各種メモリ、入出力装置等をプログラムで制御することで実現できるが、この場合のハードウェアやプログラムの実現態様は各種変更可能である。したがって、以下の説明では、本発明及び本実施形態の各機能を実現する仮想的回路ブロックを用いる。

［実施形態の概要］
車載カメラにおいては、取付け位置並びに取付け角度というパラメータが存在する。工業製品の取付け位置精度の誤差によるカメラ画像の誤差はそれほど大きなものではないと考えられるが、取付け角度精度の誤差がある場合、撮像方向の相違が著しくなるため、カメラ画像のずれはかなり大きくなると考えられる。

本実施形態は、実際のカメラの画像に対して、仮想カメラパラメータから描かれたシミュレーション画像（調整マーク）を、仮想カメラパラメータを微調整しながら重ね合わせていき、実際のカメラ画像とシミュレーション画像とが最適に重なり合ったと判断した際のカメラ取付けパラメータを演算によって割り出して、これを実際のカメラ取付け角度パラメータとするものである。

［１．実施形態の構成］
次に、本実施形態の構成を、図１及び図２を参照して説明する。すなわち、本実施形態は、図１に示すように、車輌に設置されたカメラ（車載カメラ）１、マイクロコンピュータによる制御部２、デフォルトパラメータを保存するためのデフォルトパラメータ保存メモリ３、表示データを描画する描画部４、描画部４により描画されたデータを表示するモニタ５、ユーザが調整を行うための外部入力インタフェース６を備えている。

カメラ１の車輌との位置関係を、図２に例示する。ここで、任意の一点(例えば、リアシャフト中心から垂線を下ろした地面上の点)を座標原点とし、基本姿勢(例えば垂線方向で地面向き)を決定しておくことで、この車輌に取付けられるカメラ１の位置・姿勢は表現できるため、リアカメラ・サイドカメラ等の車輌に対する設置場所による区別はない。

そして、カメラ１の姿勢は一般的にロール・ピッチ・ヨー角を用いて回転角度(θ、φ、ψ)で表され、これにより姿勢は一通りに決定される。つまり、いかように回転して姿勢を変えたカメラ１に対しても、このフォーマットに即したカメラパラメータを用意することが可能である。これを利用すると、既にデフォルトパラメータによりカメラ１の姿勢を変更した(θ、φ、ψで回転した)後、更に何らかの回転を加えたカメラ１の姿勢であっても、異なる任意のθ、φ、ψによって、新たな姿勢を表現することが可能となる。

制御部２は、プログラムにより実現される機能として、マーカ生成部２１とパラメータ演算部２２を含んでいる。マーカ生成部２１は、デフォルトパラメータ保存メモリ３に保存されたデフォルトのカメラパラメータに基づいて、調整パターンをイメージした調整マーカの描画データを生成する手段である。パラメータ演算部２２は、外部入力インタフェース６からの入力に応じて、デフォルトパラメータに対する角度調整幅を判定し、調整された新たなデフォルトパラメータを算出する手段である。

描画部４は、制御部２において生成された描画データを保存する描画データメモリ４１と、描画データメモリ４１に保存されたデジタルの描画データが、カメラ１からのアナログの実カメラ映像に重なるように合成（スーパーインポーズ）する描画ブロック４２を有している。モニタ５は、ＬＣＤ等の車載用の表示装置であり、描画ブロック４２で合成された画像を表示する。外部入力インタフェース６は、調整マーカが実画像の調整パターンと一致するように指示入力する手段である。なお、外部入力インタフェース６としては、スイッチやカーソル等を備えたリモコンとすることもできるが、タッチパネルの機能を備えたモニタ５に兼用させることもできる。この場合、制御部２は、操作用の描画データを生成する機能を備える。例えば、表示されたボタンや矢印等に触れることにより、調整対象に所定量の変化が生じるように設定することが考えられる。

［２．実施形態の作用］
［処理の流れ］
以上のような本実施形態によるカメラパラメータ調整手順を、図３のフローチャートに従って説明する。まず、初期状態として、車輌後方にキャリブレーションを実行するに相応しい何らかの調整パターンを用意する。この調整パターンは、車輌からの距離等の情報は既知であるものとする。マーカ生成部２１は、デフォルトパラメータ保存メモリ３に保存されたデフォルトのカメラパラメータを読み出して（ステップ３０１）、これに基づいて、調整パターンをイメージした調整マーカを生成する（ステップ３０２）。生成された調整マーカは描画データメモリ４１に描画され、描画ブロック４２において、カメラ１が調整パターンを撮影した映像と合成され、モニタ５に表示される（ステップ３０３）。

デフォルトのカメラパラメータが実際の取付け角度パラメータからずれているとすると、図４に示すように、調整パターンに対して、調整マーカがずれた映像が得られているはずである。この例では、調整パターンは、車輌後方の地面に定型のマットを並べることによって市松模様を構成している。また、調整マーカは、各マットの辺に対応する格子状の枠線である。そこで、これを見たユーザは、外部入力インタフェース６を用いて操作入力することにより、実際の調整パターンを写した映像に調整マーカを合わせていく(ステップ３０４）。つまり、ユーザが操作するごとに、後述するパラメータ演算部２２によるデフォルトパラメータの読み出し(ステップ３０５）、回転行列の演算が行われる（ステップ３０６）。そして、マーカ生成部２１により操作後の調整マーカが生成され（ステップ３０７）、モニタ５に表示される（ステップ３０８）。さらに、回転後の角度の算出（ステップ３０９）が行われ、最新のデフォルトパラメータに置きかわる。

これを見たユーザは、図５に示すように、調整マーカが調整パターンに一致している場合には、外部入力インタフェース６を用いて調整の終了を指示入力する（ステップ３１０）。すると、ステップ３０９で演算されていたデフォルトパラメータが、デフォルトパラメータ保存メモリ３に保存される（ステップ３１１）。調整マーカが調整パターンに一致していない場合には、ステップ３０４以降の処理を繰り返す。このように、カメラ１のデフォルトパラメータを変化させて最適な角度を推定していくことになる。

［演算処理］
以上のようなカメラパラメータの調整は、回転行列の演算により行われるが、その具体的な方法を次に説明する。まず、カメラ１はデフォルトパラメータの回転角度(θ、φ、ψ)が与えられ、任意の点は、数学的には次のような回転行列Ｒの演算により姿勢変換後の座標を得る。なお、Ｘ_inは姿勢回転前の座標点であり、 Ｘ_outはカメラパラメータで姿勢回転後の座標点である。

このように、変換対象に対して、回転行列を左からψ・θ・φの順に演算している。回転行列Ｒ_Dを計算すると次のようになっている。

この回転行列に角度のデフォルトパラメータを代入した後、座標に対して演算させることで回転が実行される。

キャリブレーションをする際には、この状態から更に回転を加えて調整をすることになるが、例えばψ（光軸）を軸にΔψだけ回転させる場合には回転行列Ｒ(Δψ)を左から追加して次のような計算になる。

ここで、(θ₀、φ₀、ψ₀、Δψ)はそれぞれ具体的な数値が与えられるので、変数を用いることなく、３×３行列で表すことができる。

また、どのような姿勢変換も任意のθ、φ、ψによって表現することが可能であるから、Ｒ_Da＝Ｒ_Dとすると調整後のカメラ１の姿勢もθ、φ、ψによって表現することが可能である。

実際には、
として、Ｒ_Da＝Ｒ_Dから必要部分だけ切り出すと、
と、恒等式が与えられる。

ここから、カメラ角度の基本的な条件が０°≦θ＜９０°，−９０°＜φ・ψ＜９０°であることを利用して、計算を進める。なお、この例は、リアカメラの場合である。サイドカメラになるとψの範囲は変化するが、角度の調整幅がそれほど大きくなるとは考え難い。

以上のようにして得られたカメラ取付け角度を、デフォルトパラメータと置き換える。これで、１つの角度の調整が終了するか、いずれかの外部入力インタフェース(ボタンなど)６を１回操作した際の調整が反映される。

この操作を繰り返すことで、モニタ５を見ながら常に最新状態からの位置合わせが実現できる。最終的に、地面に用意された調整パターンに対して画面上の調整パターンが重なった時のパラメータが、車輌に取り付けられたカメラ１の実際の取付け角度となる。この最終的なカメラ取付け角度をデフォルトパラメータ保存メモリ３に保存し、カメラ取付け角度パラメータとすることで、キャリブレーションが完了する。

［３．実施形態の効果］
以上のような本実施形態によれば、カメラ１で撮像した調整パターンと、カメラパラメータに基づいて生成された調整マーカを用いて、２つの画像が一致するように、外部入力インタフェース６によって調整していくことにより、カメラパラメータを精度よく求めることができるので、可変のマーカや画像処理の精度が向上する。従って、例えば、本実施形態を使用し、ヘッドアップディスプレイ（モニタ）上に安全車間距離ラインを表示することで、運転手に対して認識しやすく視界内で邪魔にならないシンプルな注意喚起を行うことが可能になる。これにより、運転の支援が行われ追突事故の可能性の減少が図られる。

また、初期状態ではデフォルトのパラメータを用いて調整し、調整結果を保存し、これを次のパラメータとすることにより、常に最新状態での調整が可能となる。さらに、ロール角、ヨー角、ピッチ角を用いることにより、カメラの姿勢を一意に決定可能なパラメータを効率よく演算できる。

［４．他の実施形態］
なお、本発明は上記実施形態に限定されるものではない。すなわち、使用するカメラ、モニタの数、種類、仕様、規格等は自由である。カメラやモニタの設置位置や設置角度も自由である。調整パターンや調整マークの態様も、上記の実施形態で例示したものには限定されない。入力手段についても、ユーザが操作入力可能なものであればよい。従って、表示された調整マーク自体をタッチして調整するようにしてもよい。本発明を、車載用のコンピュータ（ナビゲーションシステムや音響機器としての機能を備えたもの等）において実現してもよい。また、本発明はあらゆる車輌に適用可能であるが、その他の移動体に適用してもよい。さらに、本発明は、上記のような処理をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読取可能な記憶媒体としても把握できる。

本発明の実施形態の構成を示す簡略ブロック図である。 本発明の実施形態に用いる車載カメラの設置例を示す説明図である。 本発明の実施形態におけるカメラパラメータ調整手順を示すフローチャートである。 本発明の実施形態における調整マーカと調整パターンのずれの表示画面例を示す説明図である。 本発明の実施形態における調整マーカと調整パターンの一致した表示画面例を示す説明図である。

符号の説明

１…カメラ
２…制御部
３…デフォルトパラメータ保存メモリ
４…モニタ
４…描画部
５…モニタ
６…外部入力インタフェース
２１…マーカ生成部
２２…パラメータ演算部
４１…描画データメモリ
４２…描画ブロック

Claims (6)

1. 移動体に取り付けられたカメラと、
   前記カメラの調整用のパラメータを記憶するパラメータ記憶手段と
   前記パラメータに基づいて、調整の指標となる調整マーカを生成するマーカ生成手段と、
   前記調整マーカと前記カメラで撮影された調整パターンとを重畳表示する表示装置と、
   前記調整マーカ及び前記調整パターンの表示が合うように指示入力する入力手段と、
   前記入力手段からの指示入力に応じて、パラメータを演算するパラメータ演算手段とを有することを特徴とするカメラ補正装置。
2. 前記パラメータ記憶手段には、初期状態ではデフォルトのパラメータが記憶され、前記パラメータ演算手段による演算結果に応じて、パラメータを更新するように設定されていることを特徴とする請求項１記載のカメラ補正装置。
3. 前記パラメータ演算手段は、ロール角と、ヨー角と、ピッチ角とを用いて、回転角度を算出し、パラメータを補正するように設定されていることを特徴とする請求項１又は請求項２記載のカメラ補正装置。
4. パラメータ記憶手段が、移動体に取り付けられたカメラの調整用のパラメータを記憶し、
   マーカ生成手段が、前記パラメータに基づいて、調整の指標となる調整マーカを生成し、
   表示装置が、前記調整マーカと前記カメラで撮影された調整パターンとを重畳表示し、
   入力手段が、前記調整マーカ及び前記調整パターンの表示が合うように指示入力し、
   パラメータ演算手段が、前記入力手段からの指示入力に応じて、パラメータを演算することを特徴とするカメラ補正方法。
5. 前記パラメータ記憶手段は、
   初期状態ではデフォルトのパラメータを記憶し、
   前記パラメータ演算手段による演算結果に応じて、パラメータを更新することを特徴とする請求項４記載のカメラ補正方法。
6. 前記パラメータ演算手段は、
   ロール角と、ヨー角と、ピッチ角とを用いて、回転角度を算出し、パラメータを補正することを特徴とする請求項４又は請求項５記載のカメラ補正方法。