JP2008128674A - 角速度較正方法 - Google Patents
角速度較正方法 Download PDFInfo
- Publication number
- JP2008128674A JP2008128674A JP2006310676A JP2006310676A JP2008128674A JP 2008128674 A JP2008128674 A JP 2008128674A JP 2006310676 A JP2006310676 A JP 2006310676A JP 2006310676 A JP2006310676 A JP 2006310676A JP 2008128674 A JP2008128674 A JP 2008128674A
- Authority
- JP
- Japan
- Prior art keywords
- angular velocity
- inclination
- camera
- image
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Abstract
【課題】カメラに取り付けられた角速度センサの傾きを検出し、さらに角速度センサの出力を較正する。
【解決手段】カメラ12を回転台10に載置して回転させ、角速度センサ14、16で角速度を検出するとともにCZPチャート20を撮影する。角速度センサ14、16の出力からカメラの動きを点光源の撮像面上での移動軌跡として表し、移動軌跡の傾きと撮影画像のフーリエ変換のゼロクロスラインの傾きとを比較することでイメージセンサに対する角速度センサ14、16の相対的傾き角を算出する。
【選択図】図12
【解決手段】カメラ12を回転台10に載置して回転させ、角速度センサ14、16で角速度を検出するとともにCZPチャート20を撮影する。角速度センサ14、16の出力からカメラの動きを点光源の撮像面上での移動軌跡として表し、移動軌跡の傾きと撮影画像のフーリエ変換のゼロクロスラインの傾きとを比較することでイメージセンサに対する角速度センサ14、16の相対的傾き角を算出する。
【選択図】図12
Description
本発明は角速度検出システムを有するカメラにおいて、角速度の検出軸を較正する方法に関する。
ジャイロセンサ等の角速度センサを使用する場合、機器に取り付ける位置や取り付け角度は高精度に調整される必要がある。しかしながら、実際の取り付け工程において量産品の全てにおいて精度を確保することは困難であり、角速度センサの取り付けに傾きが生じ、このために角速度センサ出力が本来出力されるべき値とは異なる場合がある。デジタルカメラにおいては角速度センサは主に手ぶれ防止のために用いられ、角速度センサの出力に応じて光学レンズを駆動する、あるいはイメージセンサを振動させる等の方法で実現されている。そして、高精度で手ぶれを防止するには、角速度センサの出力から手ぶれ時のカメラの動きを正確に把握する必要がある。
下記の特許文献1には、CCDから出力される画像信号から各フィールドの差分動きベクトルを求め、差分動きベクトルに基づいて角速度ゼロを検出し、その検出結果に基づいてオフセット電圧を設定することが開示されている。
また、特許文献2には、ラインセンサから出力される画像信号に対する点拡がり関数を求め、当該点拡がり関数に基づいてラインセンサの位置ずれを電気的に補正することが開示されている。
しかしながら、上記のいずれにおいても、角速度センサの傾きを高精度に較正するには十分ではない。特に、角速度センサを手ぶれ防止に用いる際には、高い精度で傾き較正がなされていることが必要である。また、イメージセンサも傾いている可能性もあるため、イメージセンサの傾きをも考慮して較正を行なう必要もある。
本発明の目的は、カメラに設けられる角速度センサとイメージセンサの傾きとを高精度に検出、算出して、それらを較正することにある。
本発明は、角速度検出システムを有するカメラにおいて、角速度の検出軸を較正する方法であって、前記カメラを基準軸回りに回転させたときの角速度出力に基づいて、カメラの動きを撮像面における点光源の移動軌跡として算出する工程と、前記移動軌跡の傾きを算出する工程と、前記傾きに基づいて前記角速度センサの出力を較正する工程とを有することを特徴とする。
また、本発明は、カメラを左右方向に貫くX軸及びカメラを上下方向に貫く前記X軸に垂直なY軸の各軸回りに回転させたときの、前記X軸回りの角速度及び前記Y軸回りの角速度を検出する角速度センサの出力を取得する工程と、前記カメラを回転中に所定画像を撮影する工程と、前記出力から前記カメラの動きを撮像面上の点光源の移動軌跡として算出する工程と、前記移動軌跡の傾きから前記角速度センサの傾きを算出する工程と、撮影して得られた前記画像から前記カメラのイメージセンサの傾きを算出する工程と、前記イメージセンサの傾きと前記角速度センサの傾きから前記イメージセンサに対する前記角速度センサの相対的傾き角を算出する工程と、前記相対的傾き角に基づいて前記角速度センサの出力を較正する工程と、較正された前記角速度センサの出力から前記イメージセンサ上の点光源の移動軌跡を再算出し、さらに点拡がり関数(PSF)を算出する工程とを有することを特徴とする。なお、PSFとは、移動軌跡をイメージセンサの各ピクセル毎の輝度分布関数として表現したものである。
本発明によれば、カメラに取り付けられた角速度センサとイメージセンサとの傾きを高精度に算出、検出し、また、傾いた角速度センサの出力を較正することで正確な角速度を得ることができる。本発明により角速度を較正すると、例えば撮影時の手ぶれ防止の精度が向上する等の利点がある。
以下、図面に基づき本発明の実施形態について説明する。
<角速度センサの傾き算出>
本実施形態では、デジタルカメラに角速度センサの一例として取り付けられたジャイロセンサの傾きを、当該デジタルカメラを回転台上に載置し、所定の軸回りにのみ回転させた場合の他軸感度を利用して算出する。例えば、ピッチ(pitch)、ロール(roll)、ヨー(yaw)の各回転軸で回転させるものとする。このとき、回転台がピッチ方向のみに回転した場合、デジタルカメラに取り付けられたピッチ方向の角速度を検出するジャイロセンサのみから出力されるべきであるところ、ジャイロセンサが傾いて取り付けられている場合にはヨー方向の角速度も出現することになる。これが他軸感度であり、この他軸に出現する出力を用いてジャイロセンサの傾きを算出する。
本実施形態では、デジタルカメラに角速度センサの一例として取り付けられたジャイロセンサの傾きを、当該デジタルカメラを回転台上に載置し、所定の軸回りにのみ回転させた場合の他軸感度を利用して算出する。例えば、ピッチ(pitch)、ロール(roll)、ヨー(yaw)の各回転軸で回転させるものとする。このとき、回転台がピッチ方向のみに回転した場合、デジタルカメラに取り付けられたピッチ方向の角速度を検出するジャイロセンサのみから出力されるべきであるところ、ジャイロセンサが傾いて取り付けられている場合にはヨー方向の角速度も出現することになる。これが他軸感度であり、この他軸に出現する出力を用いてジャイロセンサの傾きを算出する。
図1に、ジャイロセンサの傾きを検出する場合の基本構成を示す。回転台10上にカメラ12及びジャイロセンサ14、16、18が載置される。ジャイロセンサ14はカメラ12のヨー方向の角速度を検出し、ジャイロセンサ16はピッチ方向の角速度を検出し、ジャイロセンサ18はロール方向の角速度を検出する。また、図では説明を分かり易くするためにカメラ12と各ジャイロセンサ14、16、18とは別個に示されているが、ジャイロセンサ14、16、18がカメラ12内に装着されていてもよいのは言うまでもない。図1では、回転台10が回転することでカメラ12及び各ジャイロセンサ14、16、18がヨー方向、すなわち矢印100方向に回転する。図2に、図1においてカメラ12及びジャイロセンサ14、16、18を90度回転させて回転台10上に載置した状態を示す。この状態では、回転台10が回転することでカメラ12及びジャイロセンサ14、16、18はピッチ方向に回転する。
図3に、図1に示す構成のうちジャイロセンサ14が傾いている場合の角速度ベクトルの成分を示す。ヨー方向の角速度を検出するジャイロセンサ14の検出軸がθyawだけ傾いている場合、本来検出されるべき角速度ωYは、ωYcosθyawとして検出されることになる。また、図4に、図2に示す構成のうちジャイロセンサ14が傾いている場合の角速度ベクトルの成分を示す。ヨー方向の角速度を検出するジャイロセンサ14の検出軸がθyawだけ傾いている場合、本来検出されるはずのない角速度ωXのうち、ωXsinθyawが検出されることになる。
図5に、図3及び図4の角速度ベクトルを合わせて示す。ωX及びωYが作用する場合のジャイロセンサ14の出力ωyawは、
ωyaw=ωYcosθyaw+ωXsinθyaw
ωyaw=ωYcosθyaw+ωXsinθyaw
また、図6に、ピッチ方向の角速度を検出するジャイロセンサ16の検出軸がθpitchだけ傾いている場合に、ωX及びωYが作用する場合のジャイロセンサ16の出力ωpitchは、
ωpitch=ωYsinθpitch+ωXcosθpitch
となる。上記の式より、
ωX=(−ωyawsinθpitch+ωpitchcosθyaw)/cos(θ yaw+θpitch)、及び
ωY=(ωyawcosθpitch−ωpitchsinθyaw)/cos(θy aw+θpitch)
が得られる。ωX及びωYは、ジャイロセンサ14及びジャイロセンサ16に傾きがなく正確に取り付けられている場合に得られる真の角速度である。ωyaw及びωpitchは測定値であり、ジャイロセンサ14、16の出力である。したがって、θyaw及びθpitchが得られれば、ωyaw及びωpitchからωX及びωYが得られることになる。そして、θyaw及びθpitchは、ジャイロセンサ14、16の出力から得られる、カメラの動きを撮像面での点光源の移動軌跡として表したデータから算出することができる。
ωpitch=ωYsinθpitch+ωXcosθpitch
となる。上記の式より、
ωX=(−ωyawsinθpitch+ωpitchcosθyaw)/cos(θ yaw+θpitch)、及び
ωY=(ωyawcosθpitch−ωpitchsinθyaw)/cos(θy aw+θpitch)
が得られる。ωX及びωYは、ジャイロセンサ14及びジャイロセンサ16に傾きがなく正確に取り付けられている場合に得られる真の角速度である。ωyaw及びωpitchは測定値であり、ジャイロセンサ14、16の出力である。したがって、θyaw及びθpitchが得られれば、ωyaw及びωpitchからωX及びωYが得られることになる。そして、θyaw及びθpitchは、ジャイロセンサ14、16の出力から得られる、カメラの動きを撮像面での点光源の移動軌跡として表したデータから算出することができる。
図7Aに、図1の構成において、回転台10を回転させた場合のジャイロセンサ14の出力ωyawの時間変化を示す。また、図7Bに、同じ条件で回転させた場合のジャイロセンサ16の出力ωpitchの時間変化を示す。上記の式
ωyaw=ωYcosθyaw+ωXsinθyaw
ωpitch=ωYsinθpitch+ωXcosθpitch
において、ωX=0とすることに対応するから、
ωyaw=ωY(t)cosθyaw
ωpitch=ωY(t)sinθpitch
である。仮に、θyaw=5deg程度であるとしてもcosθyaw=0.9961であるためcosθyawは1に近似できる。すると、
ωyaw=ωY(t)
ωpitch=ωY(t)sinθpitch
となる。傾きがない理想状態ではωpitchは0であるが、傾きがあると図7Bのようにωpitchにsinθpitchに起因する波形変化が出現する。サンプリング周波数fsでωyaw及びωpitchをサンプリングする場合、1/fsであるサンプリング時間Δts当たりの角度変化量Δθx及びΔθyは、
Δθx=ωyaw・Δts=ωY(k)・Δts
Δθy=ωpitch・Δts=ωY(k)・Δts・sinθpitch
となる。kはサンプリング点である。サンプリングを行った時間全体では、回転角度の時間変化は以下のようになる。すなわち、
θx=Δts・ΣωY(k)
θy=Δts・sinθpitch・ΣωY(k)
となる。カメラの動きを点光源の撮像面上における移動量として表すと、移動量X、Yは、カメラ12の焦点距離fと角度変位の積で算出されるから、
X(k)=f・Δts・ΣωY(k)
Y(k)=f・Δts・sinθpitch・ΣωY(k)
となる。図7Cに、以上のようにして算出された点光源の軌跡(X,Y)を示す。ジャイロセンサ16の傾きθpitchは、
sinθpitch=Y(k)/X(k)
で与えられるから、図7Cに示す軌跡の傾きKを算出すればジャイロセンサ16の傾きを得ることができる。図7Cに示す軌跡の傾きは、例えば図7Cに示す軌跡を最小2乗法で線形近似して算出する。一般に、θpitch<<1と考えられるから、sinθpitch=θpitchであり、結局θpitch=Kとなる。
ωyaw=ωYcosθyaw+ωXsinθyaw
ωpitch=ωYsinθpitch+ωXcosθpitch
において、ωX=0とすることに対応するから、
ωyaw=ωY(t)cosθyaw
ωpitch=ωY(t)sinθpitch
である。仮に、θyaw=5deg程度であるとしてもcosθyaw=0.9961であるためcosθyawは1に近似できる。すると、
ωyaw=ωY(t)
ωpitch=ωY(t)sinθpitch
となる。傾きがない理想状態ではωpitchは0であるが、傾きがあると図7Bのようにωpitchにsinθpitchに起因する波形変化が出現する。サンプリング周波数fsでωyaw及びωpitchをサンプリングする場合、1/fsであるサンプリング時間Δts当たりの角度変化量Δθx及びΔθyは、
Δθx=ωyaw・Δts=ωY(k)・Δts
Δθy=ωpitch・Δts=ωY(k)・Δts・sinθpitch
となる。kはサンプリング点である。サンプリングを行った時間全体では、回転角度の時間変化は以下のようになる。すなわち、
θx=Δts・ΣωY(k)
θy=Δts・sinθpitch・ΣωY(k)
となる。カメラの動きを点光源の撮像面上における移動量として表すと、移動量X、Yは、カメラ12の焦点距離fと角度変位の積で算出されるから、
X(k)=f・Δts・ΣωY(k)
Y(k)=f・Δts・sinθpitch・ΣωY(k)
となる。図7Cに、以上のようにして算出された点光源の軌跡(X,Y)を示す。ジャイロセンサ16の傾きθpitchは、
sinθpitch=Y(k)/X(k)
で与えられるから、図7Cに示す軌跡の傾きKを算出すればジャイロセンサ16の傾きを得ることができる。図7Cに示す軌跡の傾きは、例えば図7Cに示す軌跡を最小2乗法で線形近似して算出する。一般に、θpitch<<1と考えられるから、sinθpitch=θpitchであり、結局θpitch=Kとなる。
図8Aに、図2の構成において、回転台10を回転させた場合のジャイロセンサ14の出力ωyawの時間変化を示す。また、図8Bに、同じ条件で回転させた場合のジャイロセンサ16の出力ωpitchの時間変化を示す。さらに、図8Cに、撮像面上での点光源の軌跡を示す。図7Cの場合と同様に、点光源の軌跡の傾きLを算出すればジャイロセンサ14の傾きθyawを得ることができる。すなわち、θyaw=Lが得られる。
以上のようにしてθyaw、θpitchが得られると、式
ωX=(−ωyawsinθpitch+ωpitchcosθyaw)/cos(θ yaw+θpitch)
ωY=(ωyawcosθpitch−ωpitchsinθyaw)/cos(θy aw+θpitch)
により2方向の傾きθpitch、θyawが較正された、本来出力されるべき回転台の回転部に対しての角速度ωX、ωYが求まる。ωX、ωYを用いて、ジャイロセンサの傾きの影響を排除した点光源の軌跡を取得できる。
ωX=(−ωyawsinθpitch+ωpitchcosθyaw)/cos(θ yaw+θpitch)
ωY=(ωyawcosθpitch−ωpitchsinθyaw)/cos(θy aw+θpitch)
により2方向の傾きθpitch、θyawが較正された、本来出力されるべき回転台の回転部に対しての角速度ωX、ωYが求まる。ωX、ωYを用いて、ジャイロセンサの傾きの影響を排除した点光源の軌跡を取得できる。
図9A〜図9Cに、図7Cの点光源の軌跡の傾きKを用いてジャイロセンサ14、16の出力を較正した場合のジャイロセンサ14、16の時間変化及び点光源の軌跡を示す。図9Bはジャイロセンサ16の時間変化であり、傾きsinθpitchが除去されてほぼ0となる。また、図9Cは点光源の軌跡であり、傾きはほぼゼロである。
図10A〜図10Cに、図8Cの点光源の軌跡の傾きLを用いてジャイロセンサ14、16の出力を較正した場合のジャイロセンサ14、16の時間変化及び点光源の軌跡を示す。図10Cは点光源の軌跡であり、同様に傾きが較正されてほぼ90度となっている。
図11に、以上述べた基本処理のフローチャートを示す。まず、カメラ12を回転台10に載置し、回転台10を所定の基準軸回りに回転させて各ジャイロセンサ14、16から出力されるデータを取得する(S101)。そして、カメラ12の焦点距離及び取得データから、カメラ12の動きを撮像面上の点光源の移動軌跡(X,Y)として表す。移動軌跡を算出した後、最小2乗法等で移動軌跡を線形近似し(S103)、移動軌跡の傾きを算出する(S104)。そして、算出された傾きに基づいてジャイロセンサ14、16の出力を較正する(S105)。
<イメージセンサの傾き検出>
ジャイロセンサ14、16の傾きは、上記のように撮像面上の点光源の軌跡の傾きとして検出できるが、イメージセンサ自体の取り付け精度が低く、イメージセンサ自体が傾いている場合もある。このような場合には、ジャイロセンサ14、16の傾きは絶対座標(鉛直方向あるいは水平方向を基準とする座標)での傾きではなく、イメージセンサに対する相対的な傾き角を求める必要がある。本実施形態では、ジャイロセンサ14、16とイメージセンサがともに傾いている場合において、回転するカメラ12で撮影された全周波数領域の信号を等しく含んだ画像、例えばCZP(Circular Zone Plate)チャート画像を用いた処理について説明する。
ジャイロセンサ14、16の傾きは、上記のように撮像面上の点光源の軌跡の傾きとして検出できるが、イメージセンサ自体の取り付け精度が低く、イメージセンサ自体が傾いている場合もある。このような場合には、ジャイロセンサ14、16の傾きは絶対座標(鉛直方向あるいは水平方向を基準とする座標)での傾きではなく、イメージセンサに対する相対的な傾き角を求める必要がある。本実施形態では、ジャイロセンサ14、16とイメージセンサがともに傾いている場合において、回転するカメラ12で撮影された全周波数領域の信号を等しく含んだ画像、例えばCZP(Circular Zone Plate)チャート画像を用いた処理について説明する。
図12に、イメージセンサの傾きも較正することが可能である実施形態を示す。ジャイロセンサの傾きを較正する実施形態と同様に、カメラ12を回転台10の上に載置し、回転台10をヨー方向に回転させるとともにピッチ方向に回転させる。カメラ12にはヨー方向の角速度を検出するジャイロセンサ14及びピッチ方向の角速度を検出するジャイロセンサ16が設けられ、それぞれ回転台10の回転に伴うヨー方向の角速度及びピッチ方向の角速度を検出する。図では、一般的な呼称と同様にカメラ12の上面及び下面を貫く中心軸(Y軸)回りの回転をヨー方向の回転、カメラ12の右側面及び左側面を貫く中心軸(X軸)回りの回転をピッチ方向の回転としている。ジャイロセンサ14、16で角速度を検出しつつ、カメラ12でCZPチャート20を撮影する。回転台10とCZPチャート20との距離は任意であるが、ナイキスト周波数が含まれる撮影距離が好ましい。得られた画像は回転によるぶれで劣化した画像である。ジャイロセンサ14、16の出力、及び撮影画像(RAW画像あるいはJPEG圧縮画像)はコンピュータ22に供給される。コンピュータ22は、これらのデータを用いてイメージセンサに対するジャイロセンサ14、16の傾きを検出し、検出した傾きに基づいてジャイロセンサ14、16の出力を較正する。
図13に、本実施形態の詳細処理フローチャートを示す。まず、カメラ12を回転台10の上に載置し、回転台10を回転させつつCZPチャート20を撮影する。回転時にジャイロセンサ14で検出されたヨー方向の角速度ωyaw及びジャイロセンサ16で検出されたピッチ方向の角速度ωpitch、並びに撮影画像はコンピュータ22に供給される。
コンピュータ22は、以下の処理を行ってイメージセンサとジャイロセンサ14、16の相対的な傾き角を検出する。すなわち、上記の説明とおり、ジャイロセンサ14、16の出力ωyaw及びωpitch、撮影レンズの焦点距離f及びサンプリング周期Δtsを用いてカメラの動きを撮像面上における点光源の移動軌跡(X,Y)として算出し(S202)、移動軌跡の傾きY/Xを算出する(S203)。軌跡Xに関しては、微少時間Δtにおける変化角度ΔθはωX×Δtであり、変位量ΔxはfΔθで与えられ、露出時間中の軌跡XはX=ΣfΔθで算出される。より詳細には、Sen.をジャイロセンサ感度、Gainを検出回路のゲイン、Voffsetをジャイロセンサのオフセット電圧、Voutをジャイロセンサの出力電圧、fsをサンプリング周波数として、
X=f/(Sen.×Gain)・π/180/fs・Σ(Vout−Voffset)
で算出される(軌跡Yも同様)。算出された傾きはジャイロセンサ14、16の絶対座標に対する傾きに対応する。
X=f/(Sen.×Gain)・π/180/fs・Σ(Vout−Voffset)
で算出される(軌跡Yも同様)。算出された傾きはジャイロセンサ14、16の絶対座標に対する傾きに対応する。
一方、コンピュータ22は、CZPチャート撮影画像からイメージセンサの傾きを検出する。すなわち、CZPチャート撮影画像をフーリエ変換し(S204)、CZPチャート撮影画像をフーリエ変換したデータのゼロクロスポイントを連結して得られるラインであるゼロクロスライン(図17等参照)を抽出して該ゼロクロスラインの傾きを算出する(S205)。CZPチャート撮影画像をフーリエ変換したデータのゼロクロスラインは、イメージセンサが傾いていなければヨー方向の回転に対しては垂直方向(Y方向)に平行となり、ピッチ方向の回転に対しては水平方向(X方向)に平行となる。しかしながら、イメージセンサがX−Y軸に対して傾いて取り付けられている場合、ゼロクロスラインが傾くことになり、傾きの度合いはイメージセンサの傾きに依存する。そこで、S203で算出された傾きとS205で算出された傾きとを比較することで、イメージセンサに対するジャイロセンサ14、16の相対的な傾き角を算出することができる(S206)。両傾きが等しい場合には、イメージセンサとジャイロセンサ14、16との間に相対的な傾き角はなく、傾きに起因するジャイロセンサ14、16の出力較正を行う必要はない。両傾きが異なる場合には、(移動軌跡の傾き)−(撮影画像をフーリエ変換したデータのゼロクロスラインの傾き)により相対的な傾き角が算出される。例えば、ヨー方向(Y軸回り)の回転ではジャイロセンサ16の傾きであるθpitchが移動軌跡から算出され、CZPチャート撮影画像をフーリエ変換したデータのゼロクロスラインのY軸に対する傾きからイメージセンサの傾きθが検出されるから、両者の差分を演算することでイメージセンサに対するジャイロセンサ16の相対的な傾き角θyaw’が検出される。同様に、ピッチ方向(X軸回り)の回転ではジャイロセンサ14の傾きであるθyawが移動軌跡から算出され、CZPチャート撮影画像をフーリエ変換したデータのゼロクロスラインのX軸に対する傾きからイメージセンサの傾きが検出されるから、両者の差分を演算することでイメージセンサに対するジャイロセンサ14の相対的な傾き角θpitch’が検出される。
なお、S205における処理、すなわちCZPチャート撮影画像をフーリエ変換したデータのゼロクロスラインの傾きは、CZPチャート撮影画像をフーリエ変換し、この結果得られたデータをさらにフーリエ変換することで求めることができる。図21に、CZPチャート撮影画像(図21(A))をフーリエ変換し(図21(B))、これをさらにフーリエ変換した(図21(C))結果を示す。イメージセンサが傾いているため、本来であれば全周波数領域にわたりコントラストが一定のためゼロクロスラインは傾きが0であるところ、ゼロクロスラインに傾きが生じることになる。CZPチャート撮影画像をフーリエ変換したデータをさらにフーリエ変換してプロットすると、輝度が0になる点がピークとして現れることになり、これからイメージセンサの傾きθはtanθ=Δy/Δxとして算出される。イメージセンサの傾きθは、CZPチャート撮影画像をフーリエ変換したデータをさらにフーリエ変換する以外に、CZPチャート撮影画像をフーリエ変換した後にハフ変換することによっても求めることができる。この場合、θはハフ変換したデータ上の直線の傾きとして現れる。ハフ変換する方がフーリエ変換するよりも演算量が少ないので好ましい。
イメージセンサに対するジャイロセンサ14、16の相対的な傾き角θpitch’、θyaw’を算出した後、この傾き角を用いてジャイロセンサ14、16の出力を較正する。具体的には、
ωX=(−ωyawsinθpitch’+ωpitchcosθyaw’)/cos(θyaw’+θpitch’)
ωY=(ωyawcosθpitch’−ωpitchsinθyaw’)/cos(θyaw+θpitch’)
を用いてジャイロセンサ14、16の出力を較正する(S207)。上述のとおり、θyaw’、θpitch’はそれぞれS206で算出されたイメージセンサに対するジャイロセンサ14、16の相対的な傾き角、言い換えればイメージセンサのX、Y方向とジャイロセンサ14、16の検出軸との傾き角である。ジャイロセンサ14、16の出力を較正した後、較正後の出力で再度点光源の移動軌跡を算出する(S208)。そして、移動軌跡に基づいてPSFを算出する(S209)。既述のとおり、PSFは、移動軌跡をイメージセンサの各ピクセル毎の輝度分布関数として表現したものであり、移動軌跡の領域に応じて行列サイズが決定される。図15及び図16に、PSFの一例を示す。図15は、回転台10をヨー方向(Y軸回り)に回転させた場合に得られる点光源の移動軌跡(S207で出力較正した後の移動軌跡)のPSFであり、図16は、回転台10をピッチ方向(X軸回り)に回転させた場合に得られる点光源の移動軌跡(S207で出力較正した後の移動軌跡)のPSFである。各点は、ピクセル位置(X,Y)における強度を示す。PSFを算出した後、コンピュータ22は算出したPSFをさらにフーリエ変換する(S210)。
ωX=(−ωyawsinθpitch’+ωpitchcosθyaw’)/cos(θyaw’+θpitch’)
ωY=(ωyawcosθpitch’−ωpitchsinθyaw’)/cos(θyaw+θpitch’)
を用いてジャイロセンサ14、16の出力を較正する(S207)。上述のとおり、θyaw’、θpitch’はそれぞれS206で算出されたイメージセンサに対するジャイロセンサ14、16の相対的な傾き角、言い換えればイメージセンサのX、Y方向とジャイロセンサ14、16の検出軸との傾き角である。ジャイロセンサ14、16の出力を較正した後、較正後の出力で再度点光源の移動軌跡を算出する(S208)。そして、移動軌跡に基づいてPSFを算出する(S209)。既述のとおり、PSFは、移動軌跡をイメージセンサの各ピクセル毎の輝度分布関数として表現したものであり、移動軌跡の領域に応じて行列サイズが決定される。図15及び図16に、PSFの一例を示す。図15は、回転台10をヨー方向(Y軸回り)に回転させた場合に得られる点光源の移動軌跡(S207で出力較正した後の移動軌跡)のPSFであり、図16は、回転台10をピッチ方向(X軸回り)に回転させた場合に得られる点光源の移動軌跡(S207で出力較正した後の移動軌跡)のPSFである。各点は、ピクセル位置(X,Y)における強度を示す。PSFを算出した後、コンピュータ22は算出したPSFをさらにフーリエ変換する(S210)。
次に、図14に示すように、S201で得られたPSFをフーリエ変換したデータのゼロクロスラインと、S202あるいはS203で得られたCZPチャート撮影画像をフーリエ変換したデータのゼロクロスラインとを比較し、両ゼロクロスラインの間隔が一致するか否かを判定する(S211)。CZPチャート撮影画像は劣化関数としてのPSFの作用により劣化しており、その劣化の影響は撮影画像の周波数成分の変化として現れる。したがって、もし出力較正された移動軌跡に基づいて算出されたPSFが正しいPSFであるとするならば、CZPチャート撮影画像をフーリエ変換したデータのゼロクロスラインとPSFをフーリエ変換したデータのゼロクロスラインは一致するはずである。S211の判定の結果、両ゼロクロスラインが一致する(ライン間隔が等しい)場合には、S209で算出したPSFは正しいPSFである、すなわちジャイロ14、16の出力較正は正しいものであるとして、ジャイロセンサ14、16の相対的な傾き角θyaw’、θpitch’を確定する(S212)。確定したθyaw’、θpitch’は例えばカメラ12のROMに記憶させておき、実際にユーザが画像を撮影する際のジャイロセンサ出力の較正に用いる。
図17(A)に、カメラ12をヨー方向に回転させた場合のCZP撮影画像のフーリエ変換結果を示し、図17(B)に、カメラ12をヨー方向に回転させた場合のジャイロセンサ14、16の出力較正前のPSFのフーリエ変換結果を示す。また、両図においてゼロクロスラインを破線で示す。画像データのゼロクロスラインは垂直であるからイメージセンサに傾きがないことがわかる。しかしPSFのフーリエ変換結果では、ゼロクロスラインに捻れが生じており、両ゼロクロスラインが一致していない。PSFの精度が高い場合にはCZP撮影画像のフーリエ変換のゼロクロスラインと一致するはずであるから、この捻れはPSFが正しくない、あるいはジャイロセンサ14、16が傾いていることを意味する。
図18(A)に、カメラ12をピッチ方向に回転させた場合のCZP撮影画像のフーリエ変換結果を示し、図18(B)に、カメラ12をピッチ方向に回転させた場合のジャイロセンサ14、16の出力較正前のPSFのフーリエ変換結果を示す。また、両図においてゼロクロスラインを破線で示す。図18(B)に示されるように、PSFをフーリエ変換したデータのゼロクロスラインに捻れが生じているので較正する必要があることが分かる。
図19(A)に、カメラ12をヨー方向に回転させた場合のCZP撮影画像のフーリエ変換結果を示し、図19(B)に、カメラ12をヨー方向に回転させた場合のジャイロセンサ14、16の出力較正後のPSFのフーリエ変換結果を示す。両図においてゼロクロスラインを破線で示す。両ゼロクロスラインの傾きは垂直で幅はほぼ一致し、較正によりPSFが適切化されたことが分かる。
図20(A)に、カメラ12をピッチ方向に回転させた場合のCZP撮影画像のフーリエ変換結果を示し、図20(B)に、カメラ12をピッチ方向に回転させた場合のジャイロセンサ14、16の出力較正後のPSFのフーリエ変換結果を示す。両図においてゼロクロスラインを破線で示す。両ゼロクロスラインの傾きは水平で幅はほぼ一致し、こちらも較正によりPSFが適切なものとなったことが分かる。
一方、両ゼロクロスラインの幅が一致しない場合には、演算で算出したPSFが角速度センサとイメージセンサの少なくともいずれかの傾き以外の誤差の影響を受けている可能性があるので、PSFのフーリエ変換のゼロクロスライン間隔が、実際に測定値として得られた値(真値)であるCZPチャート撮影画像のフーリエ変換のゼロクロスラインに一致するように補正係数を算出する(S213)。両ゼロクロスラインが一致しない原因としては、ジャイロセンサ14、16のセンサ感度誤差や検出回路のゲイン誤差、撮像レンズの焦点距離誤差等の誤差が考えられる。両ゼロクロスラインが一致するように補正することは、これらの誤差に起因する影響の総和をまとめて解消することを意味する。補正係数をCとし、PSFのフーリエ変換のゼロクロスライン間隔をa、CZPチャート撮影画像のフーリエ変換のゼロクロスライン幅をbとすると、C=b/aにより補正係数Cを算出し、カメラ内のROM等に記録する。補正係数を記録されたカメラは、カメラの動きを撮像面上の点光源の移動軌跡として算出する(例えば軌跡Xを求める)際には、記録されたCを用いて、
X=C・f/(Sen.×Gain)・π/180/fs・Σ(Vout−Voffset)
f:撮影レンズの焦点距離
Sen.:センサ感度
Gain:検出回路ゲイン
fs:サンプリング周波数
Vout:センサ出力
Voffset:オフセット電圧(別途手段により算出)
という式に従って較正した値を用いて行う。なお、図19、図20のデータにおいてはゼロクロスの幅がほぼ一致しているとみなせるので、上記の補正係数Cを算出する手順を行う必要はない。
X=C・f/(Sen.×Gain)・π/180/fs・Σ(Vout−Voffset)
f:撮影レンズの焦点距離
Sen.:センサ感度
Gain:検出回路ゲイン
fs:サンプリング周波数
Vout:センサ出力
Voffset:オフセット電圧(別途手段により算出)
という式に従って較正した値を用いて行う。なお、図19、図20のデータにおいてはゼロクロスの幅がほぼ一致しているとみなせるので、上記の補正係数Cを算出する手順を行う必要はない。
10 回転台、12 カメラ、14 ジャイロセンサ(ヨー方向)、16 ジャイロセンサ(ピッチ方向)、18 ジャイロセンサ(ロール方向)、20 CZPチャート、22 コンピュータ。
Claims (9)
- 角速度検出システムを有するカメラにおいて、角速度の検出軸を較正する方法であって、
前記カメラを基準軸回りに回転させたときの角速度出力に基づいて、カメラの動きを撮像面における点光源の移動軌跡として算出する工程と、
前記移動軌跡の傾きを算出する工程と、
前記傾きに基づいて前記角速度センサの出力を較正する工程と、
を有することを特徴とする角速度較正方法。 - 請求項1記載の方法において、さらに、
前記角速度出力を較正した後の前記移動軌跡から点拡がり関数(PSF)を算出する工程と、
前記PSFのフーリエ変換を行う工程と、
前記PSFをフーリエ変換したデータのゼロクロスポイントを用いて前記角速度出力較正を検証する工程と、
を有することを特徴とする角速度較正方法。 - 請求項2記載の方法において、
さらに前記カメラを回転させたときに画像を撮影する工程を有し、
前記検証する工程は、前記カメラを前記基準軸回りに回転させたときに撮影した画像をフーリエ変換したデータのゼロクロスポイントと前記PSFをフーリエ変換したデータのゼロクロスポイントとを比較することで前記角速度出力較正を検証することを特徴とする角速度較正方法。 - 請求項1〜3記載の方法において、
前記較正する工程は、前記移動軌跡の傾きに基づいて前記角速度の検出軸の傾き角を算出し、前記傾き角に基づいて前記角速度出力を較正することを特徴とする角速度較正方法。 - 請求項1記載の方法において、さらに、
前記カメラを回転させたときに画像を撮影する工程と、
を有し、
前記較正する工程は、前記移動軌跡の傾き及び前記画像を画像解析したデータから得られるイメージセンサの傾きに基づいて前記角速度検出軸の前記イメージセンサに対する相対的傾き角を算出し、前記傾き角に基づいて前記角速度出力を較正することを特徴とする角速度較正方法。 - 請求項5記載の方法において、
前記画像解析はフーリエ変換であることを特徴とする角速度較正方法。 - 請求項6記載の方法において、
前記画像をフーリエ変換したデータをさらにフーリエ変換したデータからイメージセンサの傾きを求めることを特徴とする角速度較正方法。 - 請求項6記載の方法において、
前記画像をフーリエ変換したデータをさらにハフ変換したデータからイメージセンサの傾きを求めることを特徴とする角速度較正方法。 - カメラを左右方向に貫くX軸及びカメラを上下方向に貫く前記X軸に垂直なY軸の各軸回りに回転させたときの、前記X軸回りの角速度及び前記Y軸回りの角速度を検出する角速度センサの出力を取得する工程と、
前記カメラを回転中に所定画像を撮影する工程と、
前記出力から前記カメラの動きを撮像面上の点光源の移動軌跡として算出する工程と、
前記移動軌跡の傾きから前記角速度センサの傾きを算出する工程と、
撮影して得られた前記画像から前記カメラのイメージセンサの傾きを算出する工程と、
前記イメージセンサの傾きと前記角速度センサの傾きから前記イメージセンサに対する前記角速度センサの相対的傾き角を算出する工程と、
前記相対的傾き角に基づいて前記角速度センサの出力を較正する工程と、
較正された前記角速度センサの出力から前記イメージセンサ上の点光源の移動軌跡を再算出し、さらにPSFを算出する工程と、
を有することを特徴とする角速度較正方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006310676A JP2008128674A (ja) | 2006-11-16 | 2006-11-16 | 角速度較正方法 |
US11/740,313 US20080120056A1 (en) | 2006-11-16 | 2007-04-26 | Angular velocity calibration method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006310676A JP2008128674A (ja) | 2006-11-16 | 2006-11-16 | 角速度較正方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008128674A true JP2008128674A (ja) | 2008-06-05 |
Family
ID=39417962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006310676A Pending JP2008128674A (ja) | 2006-11-16 | 2006-11-16 | 角速度較正方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20080120056A1 (ja) |
JP (1) | JP2008128674A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010055871A1 (ja) * | 2008-11-13 | 2010-05-20 | エプソントヨコム株式会社 | 姿勢検出装置の補正パラメーター作成方法、姿勢検出装置の補正パラメーター作成用装置及び姿勢検出装置 |
JP2012112789A (ja) * | 2010-11-24 | 2012-06-14 | Sony Computer Entertainment Inc | キャリブレーション装置、キャリブレーション方法、及び電子機器の製造方法 |
JP2013253939A (ja) * | 2012-06-08 | 2013-12-19 | Seiko Epson Corp | センサーユニット並びに電子機器および運動体 |
US8682606B2 (en) | 2008-10-07 | 2014-03-25 | Qualcomm Incorporated | Generating virtual buttons using motion sensors |
CN104501775A (zh) * | 2014-12-10 | 2015-04-08 | 深圳市华颖泰科电子技术有限公司 | 一种测绘一体机及其倾斜测量方法 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101472842B1 (ko) * | 2007-09-11 | 2014-12-16 | 삼성전자 주식회사 | 움직임을 인식하는 장치 및 방법 |
US8351910B2 (en) * | 2008-12-02 | 2013-01-08 | Qualcomm Incorporated | Method and apparatus for determining a user input from inertial sensors |
JP5761910B2 (ja) * | 2009-12-17 | 2015-08-12 | キヤノン株式会社 | 速度検出装置 |
DE102010001409A1 (de) * | 2010-01-12 | 2011-07-14 | Robert Bosch GmbH, 70469 | Kalibrations- und Betriebsverfahren für eine Kamera und Kamera |
US8648918B2 (en) * | 2010-02-18 | 2014-02-11 | Sony Corporation | Method and system for obtaining a point spread function using motion information |
JP5751842B2 (ja) | 2010-09-16 | 2015-07-22 | キヤノン株式会社 | 速度検出装置および画像形成装置 |
DE102014210739A1 (de) | 2014-06-05 | 2015-12-17 | Robert Bosch Gmbh | Verfahren zur Kalibrierung eines Drehratensensors und elektrisches Gerät |
CN106815868B (zh) * | 2015-11-30 | 2019-07-16 | 深圳佑驾创新科技有限公司 | 摄像头实时标定方法、系统和装置 |
CN107228955A (zh) * | 2016-03-23 | 2017-10-03 | 董高庆 | 一种天幕靶检定装置 |
US10698068B2 (en) | 2017-03-24 | 2020-06-30 | Samsung Electronics Co., Ltd. | System and method for synchronizing tracking points |
CN111307072B (zh) * | 2020-02-14 | 2022-07-29 | 天津时空经纬测控技术有限公司 | 测量平台系统和测量系统 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5012270A (en) * | 1988-03-10 | 1991-04-30 | Canon Kabushiki Kaisha | Image shake detecting device |
JP3163215B2 (ja) * | 1994-03-07 | 2001-05-08 | 日本電信電話株式会社 | 直線抽出ハフ変換画像処理装置 |
US6587148B1 (en) * | 1995-09-01 | 2003-07-01 | Canon Kabushiki Kaisha | Reduced aliasing distortion optical filter, and an image sensing device using same |
JP3098736B2 (ja) * | 1998-04-15 | 2000-10-16 | 日本放送協会 | 映像再生制御装置および記憶媒体 |
GB0227098D0 (en) * | 2002-11-20 | 2002-12-24 | Bae Systems Plc | Method of calibrating bias drift with temperature for a vibrating structure gyroscope |
AU2003296127A1 (en) * | 2002-12-25 | 2004-07-22 | Nikon Corporation | Blur correction camera system |
US20060227221A1 (en) * | 2005-04-05 | 2006-10-12 | Mitsumasa Okubo | Image pickup device |
US7616841B2 (en) * | 2005-06-17 | 2009-11-10 | Ricoh Co., Ltd. | End-to-end design of electro-optic imaging systems |
US7305127B2 (en) * | 2005-11-09 | 2007-12-04 | Aepx Animation, Inc. | Detection and manipulation of shadows in an image or series of images |
KR100886340B1 (ko) * | 2007-04-04 | 2009-03-03 | 삼성전자주식회사 | 이동 로봇의 자이로 센서를 캘리브레이션하는 장치 및 방법 |
-
2006
- 2006-11-16 JP JP2006310676A patent/JP2008128674A/ja active Pending
-
2007
- 2007-04-26 US US11/740,313 patent/US20080120056A1/en not_active Abandoned
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8682606B2 (en) | 2008-10-07 | 2014-03-25 | Qualcomm Incorporated | Generating virtual buttons using motion sensors |
WO2010055871A1 (ja) * | 2008-11-13 | 2010-05-20 | エプソントヨコム株式会社 | 姿勢検出装置の補正パラメーター作成方法、姿勢検出装置の補正パラメーター作成用装置及び姿勢検出装置 |
JP2012112789A (ja) * | 2010-11-24 | 2012-06-14 | Sony Computer Entertainment Inc | キャリブレーション装置、キャリブレーション方法、及び電子機器の製造方法 |
JP2013253939A (ja) * | 2012-06-08 | 2013-12-19 | Seiko Epson Corp | センサーユニット並びに電子機器および運動体 |
US9523702B2 (en) | 2012-06-08 | 2016-12-20 | Seiko Epson Corporation | Sensor unit, electronic device, and moving body |
CN104501775A (zh) * | 2014-12-10 | 2015-04-08 | 深圳市华颖泰科电子技术有限公司 | 一种测绘一体机及其倾斜测量方法 |
Also Published As
Publication number | Publication date |
---|---|
US20080120056A1 (en) | 2008-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008128674A (ja) | 角速度較正方法 | |
JP2008129088A (ja) | 角速度検出システムを備えるカメラの誤差除去方法 | |
US7564482B2 (en) | Image capturing device, correction device, mobile phone, and correcting method | |
JP5391074B2 (ja) | カメラ、カメラシステムおよびカメラ本体 | |
US8264553B2 (en) | Hardware assisted image deblurring | |
US10277819B2 (en) | Method for calibrating driving amount of actuator configured to correct blurring of image taken by camera | |
WO2014156731A1 (ja) | 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法 | |
JP4608015B2 (ja) | カメラ | |
JP3219387B2 (ja) | 撮像装置および該撮像装置を用いた測距装置 | |
JP6910219B2 (ja) | 撮像装置のキャリブレーション方法 | |
JP2016224204A (ja) | ブレ補正装置、光学機器、撮像装置、ブレ補正方法 | |
JP2010014450A (ja) | 位置測定方法、位置測定装置、およびプログラム | |
JP4052382B2 (ja) | 非接触画像計測装置 | |
JP2941815B2 (ja) | 撮像装置及びぶれ補正装置 | |
US10362303B2 (en) | Sensor-assisted autofocus calibration | |
CN109990801B (zh) | 基于铅垂线的水平仪装配误差标定方法 | |
JP2006017676A (ja) | 計測システムおよび計測方法 | |
US9270884B2 (en) | Imaging apparatus and detecting apparatus | |
JP2007322368A (ja) | 距離測定方法及び装置 | |
US11361465B2 (en) | Image capturing apparatus and control method thereof, and orientation angle calculation apparatus for estimating orientation of image capturing apparatus | |
JP2002372417A (ja) | 物体位置・速度計測処理装置 | |
JP4824861B2 (ja) | 高さ測定方法 | |
JP3671972B2 (ja) | ビデオカメラ装置 | |
JP3201902B2 (ja) | 目標角度測定装置 | |
WO1994029766A1 (en) | Driver |