JP2011220850A

JP2011220850A - カメラ校正装置

Info

Publication number: JP2011220850A
Application number: JP2010090626A
Authority: JP
Inventors: Ryuichi Mato; 隆一間藤
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2010-04-09
Filing date: 2010-04-09
Publication date: 2011-11-04
Anticipated expiration: 2030-04-09
Also published as: JP5606770B2

Abstract

【課題】周囲の景色によらずカメラの撮像方向を校正することができるカメラ校正装置を提供する。
【解決手段】イメージセンサ１４０を有するカメラ１２０と、イメージセンサ１４０と既知の位置関係にある加速度センサ１５０と、イメージセンサ１４０が静止しているときに加速度センサ１５０によって検知された傾きとイメージセンサ１４０が移動しているときに加速度センサ１５０によって検知された傾きとに基づいて、カメラ１２０の撮像方向を算出するカメラ校正部１６０とを備える。
【選択図】図１

Description

本発明は、カメラ校正装置に関し、特に、カメラの撮像方向を校正するカメラ校正装置に関する。

近年、車載カメラ分野において、カメラによる監視や物体検出を行うため、カメラから見た撮像対象物の方向を求めることによってカメラの撮像方向を校正するカメラ校正装置が開発されている。

例えば、カメラを車両に搭載して、車両走行のガイドラインを撮像画像上に描画するとき、路面とカメラとの位置関係を正確に求めるために、カメラの撮像方向を校正するカメラ校正が必要となる。

このようなカメラ校正は、車両メーカの工場内でカメラを設置する場合には、工場内で行うことが可能であるが、ユーザが車両にカメラを設置する場合には、カメラ設置後に、ユーザが行う必要がある。

このようなカメラ校正に対し、カメラの撮像方向を路面上の平行線から消失線を算出することによって、カメラ校正を行う技術が知られている（例えば、特許文献１参照）。

特開２００３−３２９４１１号公報

しかしながら、上述したような従来の技術においては、平行線が撮像できないとカメラ校正を行うことができないため、周囲の景色によってはカメラの撮像方向を校正することができないといった課題があった。

本発明は、従来の課題を解決するためになされたもので、周囲の景色によらずカメラの撮像方向を校正することができるカメラ校正装置を提供することを目的とする。

本発明のカメラ校正装置は、イメージセンサを有するカメラと、前記イメージセンサと既知の位置関係にある加速度センサと、前記イメージセンサが静止しているときに前記加速度センサによって検知された傾きと前記イメージセンサが移動しているときに前記加速度センサによって検知された傾きとに基づいて、前記カメラの撮像方向を算出するカメラ校正部とを備えた構成を有している。

この構成により、本発明のカメラ校正装置は、イメージセンサが静止しているときに加速度センサによって検知された傾きとイメージセンサが移動しているときに加速度センサによって検知された傾きとに基づいて、カメラの撮像方向を算出するため、周囲の景色によらずカメラの撮像方向を校正することができる。

具体的には、前記カメラ校正部は、前記カメラの光学系中心点を原点とし、光軸をＺ軸とし、走査方向をＸ軸とし、副走査方向をＹ軸としたカメラ座標系から、前記Ｚ軸を鉛直方向に回転させた鉛直カメラ座標系に変換するための変換式のパラメータを算出することにより、前記カメラの撮像方向を算出する。

また、前記カメラ校正部は、前記イメージセンサが静止しているときに、前記加速度センサを用いて前記鉛直方向を検出する。

本発明は、周囲の景色によらずカメラの撮像方向を校正することができるといった効果を有するカメラ校正装置を提供することができる。

本発明の一実施の形態に係るカメラ校正装置を構成するカメラの構成図本発明の一実施の形態に係るカメラ校正装置を構成するカメラの実装図本発明の一実施の形態に係るカメラ校正装置と、カメラ校正装置を実装した車両と、世界座標系との関係を示す概念図本発明の一実施の形態に係る鉛直カメラ座標系、直進時加速度ベクトルおよび静止時加速度ベクトルの関係を示す概念図本発明の一実施の形態に係るカメラ座標系と鉛直カメラ座標系との関係を示す概念図

以下、本発明の実施の形態について、図面を参照して説明する。

図１に示すように、本発明の一実施の形態としてのカメラ校正装置は、カメラ１２０によって構成されている。カメラ１２０は、レンズ１３０と、イメージセンサ１４０と、加速度センサ１５０と、カメラ校正部１６０とを備えている。

図１において、加速度センサ１５０は、３次元の加速度を計測できる３次元加速度センサによって構成され、イメージセンサ１４０に対して３次元的に既知な位置関係でカメラ１２０に収納されている。

カメラ校正部１６０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等を有するマイクロコンピュータによって構成されている。

ＲＯＭには、当該マイクロコンピュータをカメラ校正部１６０として機能させるためのプログラムが記憶されている。すなわち、ＣＰＵがＲＡＭを作業領域としてＲＯＭに記憶されたプログラムを実行することにより、当該マイクロコンピュータは、カメラ校正部１６０として機能する。

カメラ校正部１６０は、車両１００が静止しているときに加速度センサ１５０によって検知された傾きと、車両１００が直進しながら加減速しているときに加速度センサ１５０によって検知された傾きとに基づいて、カメラ１２０の撮像方向を算出するようになっている。

ここで、カメラ校正部１６０は、カメラ１２０の外部、例えば、車両１００本体に設けられた蛇角センサおよび車速センサに検知結果に基づいて、車両１００が静止しているか否か、および、車両１００が直進しながら加減速しているか否かを判断するようになっている。

なお、カメラ校正部１６０は、車両１００が移動しているときに、車両１００の走行方向のなかで直進走行の割合が最も高いと仮定して、最も高い割合の方向を直進方向と判断するようにしてもよい。

また、図１において、カメラ校正部１６０は、カメラ１２０の内部に設けられているように示されているが、カメラ１２０の外部に設けられていてもよい。

図２に示すように、カメラ１２０は、車両１００の後方を撮像するように車両１００に設けられている。図３に示すように、カメラ１２０の直下の路面を世界座標系１８０の原点とする。世界座標系１８０は、車両１００の長さ方向、すなわち、車両１００の直進方向をＹ軸としてＷｙと表され、車両１００の幅方向をＸ軸としてＷｘと表され、車両１００の鉛直方向をＺ軸としてＷｚと表されている。

図４に示すように、カメラ座標系１７０は、カメラ１２０の光学系中心点としてのレンズ１３０の中心を原点とし、光軸方向をＺ軸、走査方向をＸ軸、副走査方向をＹ軸とし、各Ｘ軸、Ｙ軸、Ｚ軸がＣｘ、Ｃｙ、Ｃｚとして示されている。

また、車両１００が静止しているときに加速度センサ１５０によって検知される傾きを静止時加速度ベクトル２７０とし、車両１００が直進しながら加減速しているときに加速度センサ１５０によって検知される傾きを直進時加速度ベクトル２８０とする。

以下、カメラ校正部１６０について図４および図５を用いてその動作を説明する。

図５に示すように、鉛直カメラ座標系２３０は、カメラ座標系１７０のＺ軸Ｃｚを重力方向に一致させるように回転させた座標系である。鉛直カメラ座標系２３０は、各Ｘ軸、Ｙ軸、Ｚ軸がＶｘ、Ｖｙ、Ｖｚとして示されている。

カメラ座標系１７０、静止時加速度ベクトル２７０および直進時加速度ベクトル２８０の関係は、図４に示した通りであり、車両１００が静止しているときの加速度センサ１５０は、重力加速度を検知している。すなわち、カメラ校正部１６０は、車両１００が静止しているときの加速度センサ１５０の検出結果によって重力の方向を検出することができる。

ここで、車両１００が静止しているときの加速度センサ１５０の３軸の値を単位ベクトルに正規化したベクトルを静止時加速度ベクトル２７０とし、鉛直カメラ座標系２３０に対するＺ軸射影ベクトルを［数１］に示すベクトルで表す。

また、Ｚ軸射影ベクトルと直進時加速度ベクトル２８０との外積をとり、単位ベクトルとしたものを鉛直カメラ座標系２３０に対するＸ軸射影ベクトルとして［数２］に示すベクトルで表す。

また、Ｚ軸射影ベクトルとＸ軸射影ベクトルの外積をとったものを鉛直カメラ座標系２３０に対するＹ軸射影ベクトルとして［数３］に示すベクトルで表す。

このような射影ベクトルをまとめると、カメラ座標系１７０から鉛直カメラ座標系２３０に変換する変換式は、［数４］に示すように表すことができる。

このように、カメラ校正部１６０は、カメラ座標系１７０を鉛直カメラ座標系２３０に変換することができ、カメラ１２０の撮像方向を校正することができる。

以上説明したように、本発明の一実施の形態としてのカメラ校正装置を構成するカメラ１２０は、イメージセンサ１４０が静止しているときに加速度センサ１５０によって検知された傾きとイメージセンサ１４０が移動しているときに加速度センサ１５０によって検知された傾きとに基づいて、カメラ１２０の撮像方向を算出するため、周囲の景色によらずカメラ１２０の撮像方向を校正することができる。

以上のように、本発明にかかるカメラ校正装置は、周囲の景色によらずカメラの撮像方向を校正することができるという効果を有し、例えば、車載カメラの撮像方向を校正するカメラ校正装置等として有用である。

１００車両
１２０カメラ
１３０レンズ
１４０イメージセンサ
１５０加速度センサ
１６０カメラ校正部

Claims

イメージセンサを有するカメラと、
前記イメージセンサと既知の位置関係にある加速度センサと、
前記イメージセンサが静止しているときに前記加速度センサによって検知された傾きと前記イメージセンサが移動しているときに前記加速度センサによって検知された傾きとに基づいて、前記カメラの撮像方向を算出するカメラ校正部とを備えたカメラ校正装置。
前記カメラ校正部は、前記カメラの光学系中心点を原点とし、光軸をＺ軸とし、走査方向をＸ軸とし、副走査方向をＹ軸としたカメラ座標系から、前記Ｚ軸を鉛直方向に回転させた鉛直カメラ座標系に変換するための変換式のパラメータを算出することにより、前記カメラの撮像方向を算出することを特徴とする請求項１に記載のカメラ校正装置。
前記カメラ校正部は、前記イメージセンサが静止しているときに、前記加速度センサを用いて前記鉛直方向を検出することを特徴とする請求項２に記載のカメラ校正装置。