JP2013207622A - キャリブレーション装置及びキャリブレーション方法 - Google Patents

Abstract

【課題】カメラの設置に関するパラメータを容易に取得する。
【解決手段】車両用装置においては、まず、ユーザによりカメラ座標系においてカメラの実際の光軸の方向を調製する操作がなされ、カメラ座標系におけるカメラの実際の光軸の方向を示す第１パラメータが取得される。そして、第１パラメータが、車両１を基準とするワールド座標におけるカメラの実際の方向を示す第２パラメータに変換される。そして、この第２パラメータに基づいて、カメラの設置に関する誤差の調整がなされる。このため、カメラ座標系でパラメータを調整、取得すればよいため、カメラの設置に関するパラメータを容易に取得することができる。
【選択図】図２

Description

本発明は、車両に搭載されたカメラの設定に関するパラメータを取得する技術に関する。

従来より、自動車等の車両に搭載したカメラにより車両周辺を撮影し、得られた画像をディスプレイに表示する車両用装置が知られている。このような装置を用いることで、車両の乗員は、車両内から車両周辺の様子を把握することができる。

このようなカメラを車両に設置する際、設置したカメラの光軸と設計上のカメラの光軸との間に、わずかな誤差を生じる場合がある。光軸に誤差が生じると、画像中の被写体の像をディスプレイの適正な位置に表示できず、乗員は車両周辺の様子を正確に把握することができない。

光軸の誤差を解消するため、車両用装置は、カメラを車両に設置後、カメラの設置に関するパラメータを取得するキャリブレーション処理を行っている。このキャリブレーション処理は、カメラで光軸補正用の標識を撮影し、撮影した画像に含まれる標識の位置を指定することで、カメラの光軸の方向を示すパラメータを取得する処理である。

一般に、キャリブレーション処理では、図１４に示すように、車両Ｖを基準とする三次元の座標系であるワールド座標系におけるパラメータが取得される。また、かかる処理においては、光軸ＡＸを中心に図１４を拡大した図１５に示すように、カメラＣの光軸に係る３つの回転角度であるＰａｎ角、Ｔｉｌｔ角、Ｒｏｌｌ角を順次回転させることで、標識の位置を指定する。なお、Ｐａｎ角及びＴｉｌｔ角を順次回転させた結果、Ｚ軸と光軸ＡＸが一致した場合に、Ｒｏｌｌ角は光軸ＡＸを中心に回転する。

関連する技術を開示した文献として、下記の特許文献１がある。

特開２００８−１３１１７７号公報

ところで近年、複数のカメラで得られた画像を用い、仮想視点から見た車両周辺の様子を示す合成画像を生成する技術が普及している。この合成画像の生成では、車両近傍の画像を必要とするため、カメラを車両の比較的下方向へ向けて設置している。カメラを下方向へ向けて設置すると、カメラの光軸ＡＸの俯角が比較的大きくなり、車両の鉛直方向の座標軸Ｚｗとカメラの光軸ＡＸとが接近することとなる。

カメラのＰａｎ角の回転範囲は、車両の鉛直方向の座標軸に接近するにつれ小さくなる。ただし、座標軸Ｚｗとカメラの光軸ＡＸとが接近することにより、Ｐａｎ角の回転範囲が小さくなっても、Ｔｉｌｔ角の回転範囲は異なることがない。このため、Ｐａｎ角とＴｉｌｔ角とを同じ角度だけ回転させた場合であっても、Ｐａｎ角の回転に基づく光軸ＡＸの座標上の移動距離とＴｉｌｔ角の回転に基づく光軸の座標上の移動距離とに相違が生じることとなる。すなわち、Ｐａｎ角の回転に基づく移動距離は、Ｔｉｌｔ角の回転に基づく移動距離と比較して極端に小さくなる。この場合、ディスプレイに表示される標識の位置を指定する場合の、各回転角度の調整、特にＰａｎ角の角度調整の操作が困難となり、パラメータを適切に取得することが難しかった。

本発明は、このような課題に鑑み、カメラの設置に関するパラメータを容易に取得可能な技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両に搭載されたカメラの設置に関するパラメータを取得するキャリブレーション装置であって、前記カメラの仮定の光軸を基準とするカメラ座標系において調整された、実際の光軸の方向を示す第１パラメータを取得する取得手段と、前記第１パラメータを、前記車両を基準とするワールド座標系における実際の光軸の方向を示す第２パラメータに変換する変換手段と、を備える。

また、請求項２の発明は、請求項１に記載のキャリブレーション装置において、前記カメラの実際の光軸の方向は、前記ワールド座標系において、水平方向とは異なる。

また、請求項３の発明は、請求項２に記載のキャリブレーション装置において、前記カメラの実際の光軸の方向は、前記ワールド座標系において、前記水平方向と鉛直方向とでは、前記鉛直方向に近い。

また、請求項４の発明は、請求項１ないし３のいずれかに記載のキャリブレーション装置において、前記ワールド座標系は、前記車両の進行方向を基準とする。

また、請求項５の発明は、請求項１ないし４のいずれかに記載のキャリブレーション装置において、前記カメラ座標系は、前記カメラの設計上の光軸を基準とする。

また、請求項７の発明は、車両に搭載されたカメラの設置に関するパラメータを取得するキャリブレーション方法であって、（ａ）前記カメラの仮定の光軸を基準とするカメラ座標系において調整された、実際の光軸の方向を示す第１パラメータを取得する工程と、（ｂ）前記第１パラメータを、前記車両を基準とするワールド座標系における実際の光軸の方向を示す第２パラメータに変換する工程と、を備える。

請求項１ないし６の発明によれば、カメラ座標系において調整された第１パラメータを取得し、その第１パラメータをワールド座標系における第２パラメータに変換する。したがって、カメラ座標系でパラメータを調整すればよいため、カメラの設置に関するパラメータを容易に取得することができる。

また、特に請求項２の発明によれば、カメラの光軸がワールド座標系において水平方向より鉛直下方向に向いている場合においても、カメラの設置に関するパラメータを容易に取得することができる。

また、特に請求項３の発明によれば、カメラの実際の光軸の方向が鉛直方向に近い場合においても、カメラの設置に関する設置パラメータを容易に取得することができる。

また、特に請求項４の発明によれば、車両の進行方向を基準とするパラメータを容易に取得することができる。

また、特に請求項５の発明によれば、カメラ座標系がカメラの設計上の光軸を基準とするため、カメラ座標系の第１パラメータをワールド座標系の第２パラメータに容易に変換できる。

図１は、キャリブレーションシステムの概要を示す図である。 図２は、座標系の概要を説明する図である。 図３は、標識の構成を示す図である。 図４は、車両用装置の構成を説明する図である。 図５は、カメラが撮影する方向を示す図である。 図６は、合成画像を生成する手法を説明する図である。 図７は、画像中の領域を説明する図である。 図８は、キャリブレーション処理の流れを示す図である。 図９は、カメラで取得された画像の例を示す図である。 図１０は、調整用画面の例を示す図である。 図１１は、調整用マークの像とカーソルとの関係を示す図である。 図１２は、カメラの光軸の座標を説明する図である。 図１３は、カメラの光軸の座標を説明する図である。 図１４は、従来技術におけるカメラの光軸の座標を説明する図である。 図１５は、従来技術におけるカメラの光軸の座標を説明する図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．構成＞
図１は、本実施の形態に係るキャリブレーションシステム１０の概要を示す図である。

キャリブレーションシステム１０は、車両（本実施の形態では自動車）１に搭載される複数のカメラ２（２Ｆ，２Ｒ，２Ｌ，２Ｂ)、キャリブレーション処理を実行する車両用装置３、及び車両１の外部に配置される４つの標識ＶＥを備えている。キャリブレーションシステム１０は、車両の生産工場等においてカメラ２が車両１に搭載された際に発生する設置上の誤差（光軸の設計上の位置に対する誤差）を補正するため、カメラの設置に関するパラメータを取得するシステムである。

キャリブレーション処理の実行は、図１に示すように、車両１を所定位置に停車させた状態で行われる。このように車両１が所定位置に停車された状態において、車両１を基準とする三次元直交座標系であるワールド座標系（Ｘｗ，Ｙｗ，Ｚｗ）が設定される。具体的には、車両１の進行方向に沿って座標軸Ｙｗ、車両１の左右方向に沿って座標軸Ｘｗ、鉛直方向に沿って座標軸Ｚｗがそれぞれ設定される。車両１が停車される床面における平面視で車両１の中央となる位置が、ワールド座標系の原点Ｏｗとされる。

また、本実施の形態では、このワールド座標系の他に、カメラを基準とする三次元直交座標系であるカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）が用いられる。ワールド座標系とカメラ座標系との立体的関係を図２に示す。カメラ座標系は、設計上の光軸などのカメラの仮定の光軸を基準として設定される。具合的には、カメラの設計上の光軸の方向に沿って座標軸Ｚｃが設定され、この座標軸Ｚｃに直交する平面上に互いに直交する２つの座標軸Ｘｃ、Ｙｃが設定される。なお、カメラ座標系の各座標軸はワールド座標系の各座標軸に対して平行とは限らないが、ワールド座標系におけるカメラ座標系の各座標軸の方向は既知とされる。

車両用装置３は、予め取得されているカメラ２の設計上の光軸の方向に基づいてカメラ座標系を設定し、このカメラ座標系におけるカメラ２の実際の光軸の方向を示す第１パラメータを取得する。そして、車両用装置３は、このカメラ座標系における第１パラメータを、ワールド座標系におけるカメラ２の実際の光軸の方向を示す第２パラメータに変換する。この第２パラメータは、カメラ２の設置の誤差を補正するために利用される。なお、これら第１，第２パラメータは、カメラ２の光軸に係る３つの回転角度であるＲｏｌｌ角、Ｔｉｌｔ角、及びＰａｎ角を含んでいる。

車両用装置３は、キャリブレーション処理で得られたワールド座標系における第２パラメータを利用してカメラ２の設置上の誤差の調整を行いつつ、カメラ２で得られた複数の画像を合成して仮想視点からみた車両１の周辺の様子を示す合成画像を生成する。このように、キャリブレーション処理で得られた第２パラメータを利用することで、車両用装置３は画像の合成を適正に行うことができる。

サイドカメラ２Ｒ及び２Ｌは車両１の左右のサイドミラー内にそれぞれ配置され、フロントカメラ２Ｆ及びバックカメラ２Ｂは車両１の前方及び後方にそれぞれ設置される。サイドカメラ２Ｒ及び２Ｌは、光軸が比較的下方（例えば、光軸の俯角が６０°以上）に向くように設置される。すなわち、カメラ２Ｒ及び２Ｌの実際の光軸の方向は、車両１を基準とするワールド座標系において、水平方向とは異なり、さらに水平方向と鉛直方向とでは鉛直方向に近い方向である。これにより、カメラ２Ｒ及び２Ｌにより取得された画像に基づき車両周辺の合成画像を生成すると、合成画像に車両１の近傍の被写体を含む画像を含めることができる。このようにカメラ２Ｒ及び２Ｌの実際の光軸の方向が、鉛直下方向に近くなるよう設置された場合には、ユーザは車両１に近い障害物等を合成画像により判別することが出来る。

標識ＶＥは、図３に示すような鉄板やプラスチック板等による衝立形状であり、主面にはキャリブレーションの基準となる調整用マークＣＭが形成される。また、標識ＶＥは、車両工場や整備場等のキャリブレーション処理を実行する作業場の床面において、車両１の左前方、右前方、左後方、右後方にそれぞれ配置される。標識ＶＥの寸法は、カメラ２の分解能やキャリブレーション装置が備える画像処理機能の性能、標識の配置位置等に応じ、精度良くキャリブレーションが行えるように適切に定められる。例えば、標識ＶＥが車両１の前方１〜２ｍ、側方１．５ｍ程度に配置される場合には、標識ＶＥは３０〜３５ｃｍ四方、調整用マークＣＭは２０〜２５ｃｍ四方を利用すればよい。図１に示す例では、２つの標識ＶＥは床上に車両の主軸に対して左右対称に配置される。また、標識ＶＥは、カメラ２の視野範囲内において少なくとも２箇所に配置される。

図４は、複数のカメラ２と車両用装置３との構成を示す図である。カメラ２と車両用装置３とは相互に接続されている。

カメラ２は、フロントカメラ２Ｆ、バックカメラ２Ｂ、左サイドカメラ２Ｌ、及び右サイドカメラ２Ｒを含み、レンズと撮像素子とをそれぞれ備える。またカメラ２はそれぞれ、車両用装置３とは別に、車両１の適位置に配置され、車両１周辺の異なる方向を撮影し、取得した画像を車両用装置３に送信する。

図５は、カメラ２Ｆ，２Ｂ，２Ｌ，２Ｒが撮影する方向を示す図である。フロントカメラ２Ｆは、車両１の前端の左右中央の近傍に設けられ、その光軸２Ｆａは車両１の前方（直進方向）に向けられる。バックカメラ２Ｂは、車両１の後端の左右中央の近傍に設けられ、その光軸２Ｂａは車両１の後方（直進方向の逆方向）に向けられる。左サイドカメラ２Ｌは車両１の左側のサイドミラーＬに設けられ、その光軸２Ｌａは車両１の左側方（直進方向の直交方向）かつ鉛直下方向に向けられる。また、右サイドカメラ２Ｒは車両１の右側のサイドミラーＲに設けられ、その光軸２Ｒａは車両１の右側方（直進方向の直交方向）かつ鉛直下方向に向けられる。

カメラ２Ｆ，２Ｂ，２Ｌ，２Ｒのレンズには、魚眼レンズ等の広角レンズが採用され、画角αは１８０度以上となる。このため、４つのカメラ２Ｆ，２Ｂ，２Ｌ，２Ｒを利用することで、車両１の全周囲を撮影することが可能となる。

車両用装置３についてさらに説明する。車両用装置３は、ディスプレイ３６、操作部３５、画像取得部３２、画像合成部３３、記憶部３４、及び制御部３１を備える。

ディスプレイ３６は、例えば、液晶パネル等を備えた薄型の表示装置であり、各種の情報や画像を表示する。ディスプレイ３６は、その画面がユーザから視認可能なように、車両１内のインストルメントパネル等に配置される。

操作部３５は、ユーザの操作を受け付ける部材であり、タッチパネル及び操作ボタンを含んで構成される。タッチパネルはディスプレイ３６の画面に重ねて設けられる。また、操作ボタンはディスプレイ３６の画面の周囲に設けられる。ユーザが操作部３５を操作すると、操作内容を示す信号が制御部３１に入力される。

画像取得部３２は、４つのカメラ２Ｆ，２Ｂ，２Ｌ，２Ｒでそれぞれ得られた画像を取得する。画像取得部３２は、アナログの画像をデジタルの画像に変換する機能や、画像の明るさを調整する機能等基本的な画像処理機能を有する。画像取得部３２は、取得した画像に所定の画像処理を行い、処理後の画像を画像合成部３３及び制御部３１に入力する。

画像合成部３３は、例えば、各種の画像処理が可能なハードウェア回路である。画像合成部３３は、複数のカメラ２でそれぞれ取得された複数の画像を用い、任意の仮想視点から見た車両１周辺の様子を示す合成画像を生成する。仮想視点から見た合成画像を生成する手法については後述する。

記憶部３４は、例えば、フラッシュメモリ等の不揮発性メモリである。記憶部３４は、設置パラメータ３４ａ、プログラム３４ｂ及び設計データ３４ｃなどを記憶している。設置パラメータ３４ａは、カメラ２Ｆ，２Ｂ，２Ｌ，２Ｒの実際の光軸の方向を示すデータであり、ワールド座標系におけるＰａｎ角、Ｔｉｌｔ角、Ｒｏｌｌ角を含んでいる。この設置パラメータ３４ａは、上述したワールド座標系におけるカメラ２の実際の光軸の方向を示す第２パラメータに相当する。また、設計データ３４ｃは、各カメラ２の設計上の光軸の方向（仮定の光軸の方向）を示すデータである。プログラム３４ｂは、車両用装置３のファームウェアである。

制御部３１は、車両用装置３の全体を統括的に制御するマイクロコンピュータである。制御部３１は、ＣＰＵ、ＲＡＭ、及びＲＯＭ等を備える。制御部３１の各種機能は、記憶部３４に記憶されたプログラム３４ｂに従い、ＣＰＵが演算処理を行うことで実現される。図中に示す表示制御部３１ａ、パラメータ取得部３１ｂ、座標系変換部３１ｃ、及び調整部３１ｄは、ＣＰＵがプログラム３４ｂに従い演算処理を行って実現される機能の一部である。

表示制御部３１ａは、ディスプレイ３６の表示に係る各種の制御を行う。表示制御部３１ａは、例えば、ユーザの指示に従い、仮想視点からみた車両１の周辺の様子を示す合成画像をディスプレイ３６に表示させる。

パラメータ取得部３１ｂは、カメラ座標系において調整された、４つのカメラ２のそれぞれの実際の光軸の方向を示す第１パラメータを取得する。

座標系変換部３１ｃは、パラメータ取得部３１ｂにより取得された第１パラメータを、ワールド座標系におけるカメラ２の実際の光軸の方向を示す第２パラメータに変換する。この第２パラメータが、設計データ３４ｃとして記憶部３４に記憶される。

＜２．合成画像の生成＞
次に、画像合成部３３が合成画像を生成する手法について説明する。図６は、画像合成部３３が合成画像を生成する手法を説明する図である。

車両用装置３のフロントカメラ２Ｆ、バックカメラ２Ｂ、左サイドカメラ２Ｌ、及び、右サイドカメラ２Ｒのそれぞれで撮影が行われると、車両１の前方、後方、左側方及び右側方をそれぞれ示す４つの画像ＧＦ，ＧＢ，ＧＬ，ＧＲが取得される。これら４つの画像ＧＦ，ＧＢ，ＧＬ，ＧＲには、車両１の全周囲のデータが含まれている。

画像合成部３３は、まず、これら４つの画像ＧＦ，ＧＢ，ＧＬ，ＧＲに含まれるデータ（各画素の値）を、仮想的な三次元空間における立体曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば略半球状（お椀形状）をしている。この投影面ＴＳの中心部分（お椀の底部分）は、車両１が存在する位置として定められている。一方、投影面ＴＳの他の部分は、画像ＧＦ，ＧＢ，ＧＬ，ＧＲのいずれかと対応付けられており、画像合成部３３は投影面ＴＳのこの部分に画像に含まれるデータを投影する。

画像合成部３３は、投影面ＴＳにおいて車両１の前方に相当する領域に、フロントカメラ２Ｆの画像ＧＦのデータを投影する。また、画像合成部３３は、投影面ＴＳにおいて車両１の後方に相当する領域に、バックカメラ２Ｂの画像ＧＢのデータを投影する。さらに、画像合成部３３は、投影面ＴＳにおいて車両１の左側方に相当する領域に左サイドカメラ２Ｌの画像ＧＬのデータを投影し、投影面ＴＳにおいて車両１の右側方に相当する領域に右サイドカメラ２Ｒの画像ＧＲのデータを投影する。

４つの画像ＧＦ，ＧＢ，ＧＬ，ＧＲのそれぞれにおいて、投影面ＴＳに投影すべきデータを含む領域は、４つのカメラ２それぞれの設置誤差に応じて変化する。このため、画像合成部３３は、記憶部３４に記憶された４つのカメラ２それぞれの設置パラメータ３４ａ（Ｐａｎ角，Ｔｉｌｔ角，Ｒｏｌｌ角）を用いて、画像ＧＦ，ＧＢ，ＧＬ，ＧＲそれぞれの投影面ＴＳに投影する領域を修正する。これにより、画像合成部３３は実質的に、カメラ２の設置に関する誤差の調整を行う。

例えば、図７に示すフロントカメラ２Ｆで取得された画像ＧＦを例に説明する。仮にフロントカメラ２Ｆに関して設置誤差がない場合は、投影面ＴＳに投影すべきデータを含む領域はデフォルトの領域Ｒ１となる。通常はフロントカメラ２Ｆに関して設置誤差が存在することから、画像合成部３３は、フロントカメラ２Ｆの設置パラメータ３４ａに基づいて、投影面ＴＳに投影する領域を領域Ｒ１から領域Ｒ２に修正する。そして、画像合成部３３は、この領域Ｒ２に含まれるデータを投影面ＴＳに投影することになる。

図６に戻り、このように投影面ＴＳの各部分のデータを決定すると、画像合成部３３は、車両１の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両１のモデルは、投影面ＴＳが設定される三次元空間において、車両１の位置と定められた略半球状の中心部分に配置される。

次に、画像合成部３３は、三次元空間に対して仮想視点ＶＰを設定する。画像合成部３３は、三次元空間における任意の視点位置に任意の視野方向に向けて仮想視点ＶＰを設定することができる。そして、画像合成部３３は、投影面ＴＳのうち、設定した仮想視点ＶＰからみて所定の視野角に含まれる領域を画像として切り出す。また、画像合成部３３は、設定した仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングを行い、その結果となる二次元の車両像９０を、切り出した画像に対して重畳する。これにより、画像合成部３３は、仮想視点ＶＰからみた車両１及び車両１の周辺の領域を示す合成画像ＣＰを生成する。

例えば図に示すように、視点位置を車両１の直上、視野方向を直下とした仮想視点ＶＰａを設定した場合には、車両１及び車両１の周辺の領域を俯瞰する合成画像ＣＰａが生成される。また、視点位置を車両１の左後方、視野方向を車両１の前方とした仮想視点ＶＰｂを設定した場合には、車両１の左後方からその周辺全体を見渡すように、車両１及び車両１の周辺の領域を示す合成画像ＣＰｂが生成されることになる。

＜３．キャリブレーション処理＞
次に、キャリブレーション処理について説明する。以下の説明においては、代表的に、右サイドカメラ２Ｒに関する設置パラメータ３４ａを取得するキャリブレーション処理について説明する。図８は、キャリブレーション処理の流れを示す図である。この処理は、図１に示すように標識ＶＥが予め配置された作業場の所定位置に車両１を停車させ、車両用装置３の操作部３５にユーザが所定操作を行った場合に、制御部３１の制御により実行される。

まず、カメラ２Ｒが、標識ＶＥを含む車両１の周辺を撮影する（ステップＳ１１）。これにより、車両１の右側方の画像が取得される。取得された画像には、図９に示すように、車両１の前後に配置された２つの標識ＶＥの像が含まれる。取得された画像は、車両用装置３の画像取得部３２を介して制御部３１に入力される。カメラ２Ｒはサイドミラー下部に下方へ向けて設置されているため、取得された画像には車両１のボディー部が映り込む。また、画像の端部には２つの標識ＶＥが映されている。なお、カメラ２Ｒは、魚眼レンズなどの広角レンズのため、画像に含まれる被写体は全体的に歪が生じている。

次に、パラメータ取得部３１ｂは、カメラ２Ｒに係るカメラ座標系を設定する。具体的には、パラメータ取得部３１ｂは、記憶部３４から設計データ３４ｃを読み出し、カメラ２Ｒの設計上の光軸の方向を取得する（ステップＳ１２）。このカメラ２Ｒの設計上の光軸の方向は、カメラの形状、車両１への設置位置や向きを考慮して設計の段階で設定され、予め記憶部３４に記憶される。そして、パラメータ取得部３１ｂは、取得したカメラ２Ｒの設計上の光軸の方向に基づいて、カメラ座標系を設定する。ワールド座標系におけるカメラ２Ｒの設計上の光軸の方向は既知である。このため、ワールド座標系におけるカメラ座標系の各座標軸の方向は既知とされる。

表示制御部３１ａは、ステップＳ１１で取得した画像のうち、調整用マークＣＭを含む２つの標識ＶＥの周辺を各々拡大した画像ＰＣを生成し、各画像ＰＣにカーソルＣＡを合成して合成画像をディスプレイ３６に表示させる（ステップＳ１３）。ステップＳ１３で表示制御部３１ａにより作成される合成画像は、ユーザが調整用マークＣＭとカーソルＣＡとを合致させて、画像中の調整用マークＣＭの位置を指定するために用いる調整画面となる。図１０は、この調整画面ＤＳの一例を示す図である。かかる調整画面ＤＳには、カーソルＣＡを移動させるためのカーソル移動ボタンＤＣ、及びカーソルＣＡの移動を完了させた場合にユーザにより操作される完了ボタンＣＣも併せて表示される。

調整画面ＤＳが表示されると、ユーザは、調整用マークＣＭの像の位置にカーソルＣＡを合致させるよう、カーソル移動ボタンＤＣを操作する（ステップＳ１４）。ユーザによりカーソル移動ボタンＤＣが１回操作される度に、カメラ座標系におけるカメラ２Ｒの光軸ＡＸの方向を示す第１パラメータとなるＰａｎ角、Ｔｉｌｔ角、Ｒｏｌｌ角が０．５[°]づつ変化する。すなわち、図１１に示すようなユーザによるカーソルＣＡを調整用マークＣＭに一致させる処理は、図１２に示すカメラ座標系にて行われる。

カメラ座標系では、カメラ２Ｒの設計上の光軸に沿って座標軸Ｚｃが設定され、この座標軸Ｚｃに直交するように座標軸Ｘｃ及び座標軸Ｙｃが設定されている。図１２を拡大した図１３に示すように、座標軸Ｚｃを軸とした回転角度がＰａｎ角、座標軸Ｙｃを軸とした回転角度がＴｉｌｔ角、座標軸Ｘｃを軸とした回転角度がＲｏｌｌ角となる。

このようなカメラ座標系においてカメラ２Ｒの光軸ＡＸの方向の調整（すなわち、第１パラメータの取得）を行うことで、ワールド座標系において光軸の調整を行う場合のように、鉛直方向に沿った座標軸Ｚｗとカメラの光軸ＡＸとが接近することがない。したがって、Ｐａｎ角の回転範囲がＴｉｌｔ角の回転範囲に比較して極端に小さくなることがない。このため、Ｐａｎ角とＴｉｌｔ角とを同じ角度だけ回転させた場合に、Ｐａｎ角の回転に基づく光軸ＡＸの座標上の移動距離と、Ｔｉｌｔ角の回転に基づく光軸ＡＸの座標上の移動距離とをほぼ一致させることができる。このため、ディスプレイに表示される調整用マークＣＭの位置を指定する際の、各回転角度の調整の操作が容易となり、第１パラメータを適切かつ容易に取得することができる。

なお、従来のように、車両１を基準としたワールド座標系において、カーソルＣＡの移動を行う場合には、ユーザによるカーソル移動ボタンＤＣの操作によるカーソルＣＡの移動方向は、カメラ２により撮影された画像中における上下左右と一致しない。このため、ユーザは調整用マークＣＭの像の位置にカーソルＣＡを合わすことが困難であった。カメラ２により撮影されてディスプレイに表示される画像は、カメラ座標系における空間の画像だからである。

ユーザが調整用マークＣＭにカーソルＣＡを合致させる場合、図１０に示すように、調整用マークＣＭを含む画像近傍を拡大した画像ＰＣがディスプレイ３６の画面ＤＳに表示される。また、このディスプレイ３６の画面ＤＳには、上下左右の４方向をそれぞれ示す４つのカーソル移動ボタンＤＣと、完了ボタンＣＣとが表示される。画像ＰＣのサイズは、例えば縦３００×横３００ドットである。ユーザは、このようなディスプレイ３６の画面を参照し、調整用マークＣＭにカーソルＣＡを合わせることになる。例えば、図１１に示すように、調整用マークＣＭとカーソルＣＡとの位置が合致していない場合は、カーソル移動ボタンＤＣを操作してカーソルＣＡを移動させ、調整用マークＣＭとカーソルＣＡとの位置が合致するよう操作する。調整用マークＣＭとカーソルＣＡとの位置が合致した場合には、ユーザは完了ボタンＣＣを操作して、操作が終了した旨を制御部３１へ送信する。

なお、カーソルＣＡは四角形の破線で示される。カーソルＣＡの縦線及び横線の長さは、調整用マークＣＭの縦線及び横線の長さよりも、やや大きく形成される。例えば、調整用マークＣＭの像の直径が２４ドットとなるように設計した場合であれば、カーソルＣＡの縦線及び横線の長さは３０ドットに設定すればよい。

前述のように、カメラ座標系におけるカメラ２Ｒの実際の光軸ＡＸの方向を示す第１パラメータは、カメラ座標系でのＰａｎ角，Ｔｉｌｔ角，Ｒｏｌｌ角（以下、総称して「ローカル角」という。）を含んでいる。パラメータ取得部３１ｂは、ユーザの操作ごとに、このローカル角の値を加算又は減算する（ステップＳ１５）。ローカル角は、キャリブレーション処理の実行前は０[°]が設定され、ユーザによるカーソル移動ボタンＤＣの操作回数により、その値が加算又は減算される。すなわち、カーソル移動ボタンＤＣが１回操作される度に、Ｐａｎ角，Ｔｉｌｔ角，Ｒｏｌｌ角のいずれかが０．５[°]づつ加算又は減算される。パラメータ取得部３１ｂが、このようにローカル角を調整することで、調整用マークＣＭとカーソルＣＡとの相対的な位置が変更される。

次に、制御部３１は、ユーザによりディスプレイ３６に表示された完了ボタンＣＣが操作されたか否か判断する（ステップＳ１６）。ユーザがディスプレイ３６に表示された完了ボタンＣＣを操作する場合は、カーソルＣＡと調整用マークＣＭが一致したと判断する場合である。一方、ユーザがディスプレイ３６に表示された完了ボタンＣＣを操作していない場合は、カーソルＣＡと調整用マークＣＭが一致していない場合であり、ユーザがカーソル移動ボタンＤＣを再度操作することを意図している場合である。

ユーザにより完了ボタンＣＣが操作されていない場合（ステップＳ１６でＮｏ）は、処理は、ステップＳ１３に戻り、表示制御部３１ａがステップ１４で移動されたカーソル位置に基づき、合成画像を生成してディスプレイ３６に再度表示させる。以下、ユーザにより完了ボタンＣＣが操作されるまで、ステップＳ１３からステップＳ１５が繰り返し実行される。

そして、最終的に、調整用マークＣＭとカーソルＣＡとの位置が合致した場合には、ユーザにより完了ボタンＣＣが操作される（ステップＳ１６でＹｅｓ）。パラメータ取得部３１ｂは、この時点でのローカル角を、カメラ座標系におけるカメラ２Ｒの実際の光軸ＡＸの方向を示す第１パラメータとして取得する。

次に、座標系変換部３１ｃは、パラメータ取得部３１ｂにより取得されたカメラ座標系の第１パラメータを、ワールド座標系におけるカメラ２の実際の光軸の方向を示す第２パラメータに変換する（ステップＳ１７）。ワールド座標系におけるカメラ座標系の各座標軸の方向は既知であるため、このような座標変換の手法は周知の演算手法を採用できる。

例えば、次のような演算手法により座標変換を行うことができる。すなわち、カメラ座標系におけるカメラの実際の光軸の方向（第１パラメータ）をワールド座標系におけるＰａｎ角、Ｔｉｌｔ角、Ｒｏｌｌ角の値（第２パラメータ）に変換する際、まず、ワールド座標系（Ｘｗ，Ｙｗ，Ｚｗ）について、ステップＳ１５において加算又は減算されたローカル角に基づき、Ｚｗ軸（Ｐａｎ角）を回転させる（回転後の座標系をＸｗ'，Ｙｗ'，Ｚｗ'とする）。次に、回転後の座標系（Ｘｗ'，Ｙｗ'，Ｚｗ'）についてＸｗ'軸（Ｔｉｌｔ角）を回転させる（回転後の座標系をＸｗ''，Ｙｗ''，Ｚｗ''とする）。さらに、回転後の座標系（Ｘｗ''，Ｙｗ''，Ｚｗ''）についてＺｗ''軸（Ｒｏｌｌ角）を回転させ（回転後の座標系をＸｗ'''，Ｙｗ'''，Ｚｗ'''とする）る。第１パラメータのカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）が、Ｘｗ'''、Ｙｗ'''、Ｚｗ'''と一致したとき、ワールド座標系におけるカメラの実際の光軸の方向は、回転により変化したＰａｎ角、Ｔｉｌｔ角、Ｒｏｌｌ角の値で表すことができる。なお、各軸の回転量は、ステップＳ１５において加算又は減算されたローカル角に基づいて定められる。

次に、制御部３１は、ステップＳ１７において変換された第２パラメータを、設置パラメータ３４ａとして、記憶部３４に保存する（ステップＳ１８）。これにより、キャリブレーション処理は終了する。

以上のように、車両用装置３においては、まず、ユーザによりカメラ座標系においてカメラ２の実際の光軸の方向を調整する操作がなされ、カメラ座標系におけるカメラ２の実際の光軸の方向を示す第１パラメータが取得される。そして、第１パラメータが、車両１を基準とするワールド座標におけるカメラ２の実際の方向を示す第２パラメータに変換される。そして、この第２パラメータに基づいて、カメラ２の設置に関する誤差の調整がなされる。このため、カメラ座標系でパラメータを調整、取得すればよいため、カメラの設置に関するパラメータを容易に取得することができる。

＜４．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記実施の形態では、カメラ座標系は、カメラの設計上の光軸を基準としていたが、カメラの演算上の光軸など他の仮定の光軸を基準に設定されてもよい。例えば、カメラの演算上の光軸は、キャリブレーション処理で取得された画像中に含まれる２つの調整用マークＣＭをパターンマッチングなどで自動的に認識し、認識された２つの調整用マークＣＭ画像中の位置に基づいて導出することができる。このようなカメラの演算上の光軸のワールド座標系における方向も既知となるため、カメラ座標系の第１パラメータをワールド座標系の第２パラメータに変換することが可能である。

上記実施の形態では、調整用マークＣＭの像の位置を指定するためのカーソルＣＡは四角形と説明したが、カーソルＣＡはこの形状に限定されるものではない。カーソルＣＡは、四角形の頂点を示す点であってもよいし、四角形の対角線を示す線であってもよい。カーソルＣＡが調整用マークＣＭの位置を特定できる形状であれば、ユーザはカーソルＣＡを調整用マークＣＭの像の位置に合わせることができるからである。

また、上記実施の形態では、標識ＶＥは板状体であるとしていたが、紙や布等であってもよい。また、調整用マークＣＭを作業場の床面に形成し、作業場の床面自体が標識ＶＥとして機能してもよい。調整用マークＣＭの位置が判別できるものであればよい。

また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

１ 車両
２ カメラ
３ 車両用装置
３１ 制御部
３２ 画像取得部
３３ 画像合成部
３４ 記憶部
３５ 操作部
３６ ディスプレイ

Claims (6)

1. 車両に搭載されたカメラの設置に関するパラメータを取得するキャリブレーション装置であって、
   前記カメラの仮定の光軸を基準とするカメラ座標系において調整された、実際の光軸の方向を示す第１パラメータを取得する取得手段と、
   前記第１パラメータを、前記車両を基準とするワールド座標系における実際の光軸の方向を示す第２パラメータに変換する変換手段と、
   を備えることを特徴とするキャリブレーション装置。
2. 請求項１に記載のキャリブレーション装置において、
   前記カメラの実際の光軸の方向は、前記ワールド座標系において、水平方向とは異なることを特徴とするキャリブレーション装置。
3. 請求項２に記載のキャリブレーション装置において、
   前記カメラの実際の光軸の方向は、前記ワールド座標系において、前記水平方向と鉛直方向とでは、前記鉛直方向に近いことを特徴とするキャリブレーション装置。
4. 請求項１ないし３のいずれかに記載のキャリブレーション装置において、
   前記ワールド座標系は、前記車両の進行方向を基準とすることを特徴とするキャリブレーション装置。
5. 請求項１ないし４のいずれかに記載のキャリブレーション装置において、
   前記カメラ座標系は、前記カメラの設計上の光軸を基準とすることを特徴とするキャリブレーション装置。
6. 車両に搭載されたカメラの設置に関するパラメータを取得するキャリブレーション方法であって、
   （ａ）前記カメラの仮定の光軸を基準とするカメラ座標系において調整された、実際の光軸の方向を示す第１パラメータを取得する工程と、
   （ｂ）前記第１パラメータを、前記車両を基準とするワールド座標系における実際の光軸の方向を示す第２パラメータに変換する工程と、
   を備えることを特徴とするキャリブレーション方法。

Images