JP2012054899A - 撮像装置及び姿勢検出方法 - Google Patents

Abstract

【課題】補正に用いる被写体の姿勢に制限されることなく、撮像素子と姿勢検出手段との相対角を算出し、姿勢検出手段により検出される検出角を正確に補正できるようにする。
【解決手段】所定の特徴点をヨー方向に異なる姿勢ごとに撮影したときの前記所定の特徴点の変位から前記異なる姿勢間における前記撮像素子１１１の傾き角を算出する傾き角算出手段と、前記異なる姿勢ごとに前記姿勢検出手段１２２により検出された検出角を取得する検出角取得手段と、前記傾き角算出手段により算出された前記撮像素子１１１の傾き角と前記検出角取得手段により取得された検出角に基づいて、前記撮像素子１１１と前記姿勢検出手段１２２との相対ロール角を算出する相対ロール角算出手段と、前記相対ロール角算出手段により算出された相対ロール角を用いて、前記姿勢検出手段１２２により検出される検出角を補正する補正手段とを有する。
【選択図】図１

Description

本発明は、撮像装置及び姿勢検出方法に関するものである。特に、姿勢を検出することができる撮像装置に用いられて好適である。

近年、デジタルカメラは小型化及び軽量化が進んでいる。小型化及び軽量化したデジタルカメラにおいては、三脚等に固定せず、人が保持して撮影する機会が多くなっている。このため、撮影時に姿勢が安定せず、撮影した画像に撮影者が意図しない傾きが生じてしまう可能性がある。
最近では、撮影画像を水平に、或いは意図した傾きに保つことを目的として、撮像装置の姿勢を検出する姿勢検出センサを備えたデジタルカメラが普及している。

しかしながら、このようなデジタルカメラでは、工場での組立て時の取り付け誤差の影響により、撮像素子と姿勢検出センサと間で相対的な傾き角が生じるため、精度良く画像を水平に合わせることができなかった。
このような課題に対して、例えば特許文献１では、撮影画像から撮像素子の角度を検出し、撮像装置の姿勢検出センサにより検出した角度との相対角を補正する撮像装置及びその制御方法が開示されている。

特開２００９−３３５００号公報

上述した特許文献１に開示された技術は、２つのバツ印の中心線を重力方向に並行に設置したチャートを用いて撮像素子のロール角を算出する。チャートの撮影画像から、２つのバツ印を結ぶ線の鉛直軸に対する傾きを撮像素子のロール角として算出するため、チャートの傾きは算出した撮像素子のロール角の誤差となる。したがって、チャートは正確に垂直に設置されていなければならない。しかしながら、チャートを正確に垂直に設置するのは非常に困難である。

本発明は、上述したような問題点に鑑みてなされたものであり、補正に用いる被写体の姿勢に制限されることなく、撮像素子と姿勢検出手段との相対角を算出し、姿勢検出手段により検出される検出角を正確に補正できるようにする。

本発明に係る撮像装置は、被写体を結像する撮像素子と、該撮像装置の姿勢を検出する姿勢検出手段とを備える撮像装置であって、所定の特徴点をヨー方向に異なる姿勢ごとに撮影したときの前記所定の特徴点の変位から前記異なる姿勢間における前記撮像素子の傾き角を算出する傾き角算出手段と、前記異なる姿勢ごとに前記姿勢検出手段により検出された検出角を取得する検出角取得手段と、前記傾き角算出手段により算出された前記撮像素子の傾き角と前記検出角取得手段により取得された検出角に基づいて、前記撮像素子と前記姿勢検出手段との相対ロール角を算出する相対ロール角算出手段と、前記相対ロール角算出手段により算出された相対ロール角を用いて、前記姿勢検出手段により検出される検出角を補正する補正手段とを有することを特徴とする。

本発明によれば、１つの特徴点をヨー方向に異なる姿勢で撮影するので、撮影するチャートの向きに制限されることなく、より精度の高い撮像素子と姿勢検出手段との相対角を算出することができる。

撮像装置の構成を示すブロック図である。 撮像素子と姿勢検出センサの関係を示す図である。 撮像素子の傾き角を算出する方法を示す図である。 撮像素子と姿勢検出部との相対角を算出する処理を示すフローチャートである。 加速度センサの出力特性を示す図である。 特徴点を抽出する処理を説明するための図である。 他のチャート及び被写体の一例を示す図である。 液晶パネルに表示する検出枠の一例を示す図である。

以下、本発明の好ましい実施形態について図面を参照して詳細に説明する。
図１は、本実施形態に係る撮像装置の構成を示すブロック図である。
撮像装置１００は、撮像素子１１１、Ａ／Ｄ変換部１１２、画像処理部１１３、メモリ制御部１１４、表示装置１１５、システム制御部１１８、メモリ１１９、姿勢検出部１２１、レリーズスイッチ１２５、操作部１２６、不揮発性メモリ１２７を含んで構成される。また、撮像装置１００は、外部着脱メモリ１２０が装着されている。

撮像素子１１１は、レリーズスイッチ１２５が押下されることで、図示されていないレンズなどを介して結像された、被写体の光学像を電気信号に変換する。
Ａ／Ｄ変換部１１２は、撮像素子１１１のアナログ信号出力をデジタル信号に変換する。Ａ／Ｄ変換部１１２によりＡ／Ｄ変換されたデジタル信号は、メモリ制御部１１４及びシステム制御部１１８により制御され、メモリ１１９に格納される。

画像処理部１１３は、上述したデジタル信号のデータ或いはメモリ制御部１１４からのデータに対して所定の画素補間処理や色変換処理を行う。本実施形態における画像処理部１１３は、撮影画像から被写体の特徴点を抽出し、撮像素子１１１上での座標値を取得する。特徴点の抽出方法としては、エッジ検出などの任意のアルゴリズムを使用する。
メモリ制御部１１４は、Ａ／Ｄ変換部１１２、画像処理部１１３、液晶パネル表示部１１７、メモリ１１９と外部着脱メモリ１２０間のデータの送受を制御する。

表示装置１１５は、例えば液晶ディスプレイであり、液晶パネル表示部１１７とバックライト照明部１１６から構成される。表示装置１１５は、システム制御部１１８の指示によって、メモリ１１９の画像表示データ用領域に格納されたメニュー画面、または外部着脱メモリ１２０に格納された画像ファイルを表示する。
システム制御部１１８は、撮像装置１００全体を制御する。

メモリ１１９は、撮影した静止画像及び動画像、再生用表示のための画像を格納する記憶部である。なお、メモリ１１９はシステム制御部１１８のプログラムスタック領域、ステータス記憶領域、演算用領域、ワーク用領域及び画像表示データ用領域などが確保されている。各種の演算は、メモリ１１９の演算用領域を利用し、システム制御部１１８により実行される。

レリーズスイッチ１２５は、第１シャッタスイッチ（ＳＷ１）と第２シャッタスイッチ（ＳＷ２）とで構成される。レリーズスイッチ１２５の操作途中（半押し）で、第１シャッタスイッチがＯＮとなり、シャッタボタンの操作完了（全押し）で第２シャッタスイッチがＯＮになる。システム制御部１１８は、第１シャッタスイッチがＯＮになるとＡＦ処理などの撮像準備を行い、第２シャッタスイッチがＯＮになると撮像処理を実行する。

操作部１２６は、ユーザがシステム制御部１１８に対して各種の動作指示を入力するための部位であり、スイッチ、ダイアル、タッチパネル、視線検知によるポインティング及び音声認識装置などの単数或いは複数の組み合わせで構成される。

不揮発性メモリ１２７は、電気的に消去及び記録可能な記憶部であり、例えばフラッシュメモリやＥＥＰＲＯＭなどが用いられる。不揮発性メモリ１２７には、撮影状態の保存や、撮像装置１００を制御するプログラムが格納されている。

姿勢検出部１２１は、撮像装置１００の姿勢を検知する。本実施形態では、姿勢検出部１２１は、加速度センサ１２２及び検出回路１２３で構成される。加速度センサ１２２が検出した出力値に基づいて算出した、加速度センサ１２２のロール角を示す直線を、メモリ１１９に格納された撮影画像の任意の位置に合成し、液晶パネル表示部１１７にスルー画像表示する。したがって、ユーザは液晶パネル表示部１１７を視認することで、現時点における撮像装置１００の水平度を判断することができる。

しかしながら、撮像装置１００を製造するとき、図２に示すように撮像素子１１１と加速度センサ１２２とで組み付け誤差（ばらつき）が発生し、互いに姿勢が異なってしまう。すなわち、図２に示すように、撮像装置１００には撮像素子１１１のＸ軸と加速度センサの出力軸との相対角θが発生する。したがって、液晶パネル表示部１１７に表示された角度と実際に撮影される画像の傾きが異なり、正確に水平な画像を得ることができない。

そこで、本実施形態では、撮像素子１１１と加速度センサ１２２との組み付け誤差を補正する処理を行っている。以下、組み付け誤差を補正する方法を図３〜図６を参照して説明する。
まず、図３を参照して、本実施形態に係る撮像素子１１１と加速度センサ１２２との相対角度を算出する処理について説明する。

図３（ａ）は、撮像素子のロール角を算出するために用いるチャートである。チャート２００の略中央には、特徴点２０１として黒点が示されている。
本実施形態では、複数の撮影画像から、それぞれ撮像素子１１１上における特徴点２０１の座標を検出し、該特徴点の移動量を用いて撮像素子１１１のロール角を算出する。したがって、撮像装置１００が撮影するチャート２００には特徴点２０１があるものを用いる。

図３（ｂ）及び図３（ｃ）は、図３（ａ）のチャート２００を撮影する撮像装置１００の第一の撮影姿勢及び第二の撮影姿勢を示す図である。図３（ｂ）及び図３（ｃ）は、それぞれ撮像装置１００を上側から見た平面図である。
まず、図３（ｂ）に示すように、撮像装置１００によりチャート２００の特徴点２０１を画像上で左端になるような姿勢で撮影する。次に、図３（ｃ）に示すように、撮像装置１００によりチャート２００の特徴点２０１を画像上で右端になるような姿勢で撮影する。図３（ｂ）から図３（ｃ）に撮影姿勢を変位させる場合、撮像装置１００を載置してヨー方向（水平方向）に回転可能な雲台などの台３００を用いることができる。このとき、ヨー方向は、完全な水平方向に限られず、水平方向に対して傾いていてもよい。

図３（ｄ）は、第一及び第二の撮影姿勢で撮影した画像における、撮像素子１１１上の特徴点２０１の位置関係を示す図である。特徴点２０１ａは第一の撮影姿勢で撮影した画像におけるチャート２００の特徴点である。また、特徴点２０１ｂは第二の撮影姿勢で撮影した画像におけるチャート２００の特徴点である。
図３（ｄ）に示す第一の特徴点２０１ａと第二の特徴点２０１ｂとを結ぶ線分２０２が第一の撮影姿勢から第二の撮影姿勢までの姿勢間における特徴点２０１の軌跡である。この線分２０２と撮像素子１１１のＸ軸のなす角θ_Pが撮像素子１１１のロール角を表す。

撮像素子１１１のロール角θ_Pと、チャート２００を撮影した時の加速度センサ１２２の出力から検出される、加速度センサ１２２のロール角の差を求めることで、撮像素子１１１と加速度センサ１２２との相対角度を算出することができる。

次に、本実施形態に係る撮像素子と加速度センサの組み付け誤差の補正の処理について図４のフローチャートを参照して説明する。図４のフローチャートにおいて、撮像装置１００が行う処理は、撮像装置１００のシステム制御部１１８が不揮発性メモリ１２７に記憶されたプラグラムを実行することにより実現される。
まず、ステップＳ１００では、ユーザがチャート２００と撮像装置１００とをセットアップする。具体的には、ユーザは撮像装置１００を台３００に載置して、チャート２００の特徴点２０１を撮影できる位置に設置する。
ステップＳ１０１では、ユーザによる操作部１２６を介した操作に応じて、撮像装置１００は加速度センサ１２２のロール角の出力値を補正するためのモードである補正モード（水準器調整モード）に設定する。

ステップＳ１０２では、ユーザは撮像装置１００を図３（ｂ）に示すように、チャート２００の特徴点２０１を画像の左端に位置させる第一の撮影姿勢にする。
ステップＳ１０３では、撮像装置１００は第一の撮影姿勢において加速度センサ１２２が検出するロール角θ_S1（検出角）を取得する。この処理は検出角取得手段による処理の一例に対応する。撮像装置１００が加速度センサ１２２からロール角θ_S1を取得するタイミングは、撮像装置１００が第一の撮影姿勢になって、静止した状態で所定時間が経過したときである。撮像装置１００は加速度センサ１２２の出力が一定になり、所定時間が経過したとき、加速度センサ１２２で検出しているロール角を取得する。撮像装置１００のシステム制御部１１８は取得した加速度センサ１２２のロール角θ_S1をメモリ１１９に記憶する。

図５は、加速度センサの出力特性を表すグラフである。加速度センサの出力軸にかかる重力が０±１Ｇ変化した時、加速度センサの出力はＢ±Ａ（Ｖ）で変化する。加速度センサの出力Ｘ_OUTは出力軸のロール角θ_Sに対する正弦関数で表される。具体的には、図５に示すように、例えば、出力軸のロール角度θ_Sが９０°の場合、出力Ｘ_OUTとしてＢ＋Ａ（Ｖ）を出力する。また、出力軸のロール角度θ_Sが１８０°の場合、出力Ｘ_OUTとしてＢ（Ｖ）を出力し、出力軸のロール角度θ_Sが２７０°の場合、出力Ｘ_OUTとしてＢ−Ａ（Ｖ）を出力する。
すなわち、加速度センサ１２２のロール角θ_Sは以下の式で算出される。
θ_S＝sin^-1（（Ｘ_OUT−Ｂ）/Ａ）・・・式（１）

ステップＳ１０４では、ユーザがレリーズスイッチ１２５を操作することで、撮像装置１００が第一の撮影姿勢でチャート２００を撮影し、画像を取得する。
ステップＳ１０５では、撮像装置１００は画像処理部１１３にて、ステップＳ１０４で撮影した画像からチャート２００の特徴点２０１ａを抽出し、第一の座標値（Ｘ₁，Ｙ₁）を取得する。

本実施形態では、特徴点２０１ａを抽出する方法として、例えば、撮影した画像の輝度値を用いることができる。以下、特徴点の抽出方法について、図６を参照して説明する。
図６（ａ）は、撮影した画像のうち特徴点の周辺の画像を示す図である。まず、撮像装置１００のシステム制御部１１８は、画像の上からＹ方向に水平方向の輝度値を取得していく。特徴点２０１では輝度値が下がるため、特徴点２０１がある行では、図６（ｂ）に示すように輝度が変化する。輝度値が所定の閾値をまたぐＸ座標をそれぞれ取得し、その中間値を特徴点２０１のＸ座標とする。

同様に、システム制御部１１８は、画像の左からＸ方向に垂直方向の輝度値を取得していく。特徴点２０１のある列では、図６（ｃ）に示すように輝度が変化する。輝度値が所定の閾値をまたぐＹ座標をそれぞれ取得し、その中間値を特徴点２０１のＹ座標とする。このようにして、撮像装置１００は特徴点２０１ａを抽出すると共に特徴点２０１ａの座標値を取得する。撮像装置１００のシステム制御部１１８は取得した特徴点２０１ａの座標値をメモリ１１９に記憶する。

ステップＳ１０６では、ユーザは台３００を用いて撮像装置１００をヨー方向に回転させ、図３（ｃ）に示すように、チャート２００の特徴点２０１を画像の右端に位置させる第二の撮影姿勢にする。
ステップＳ１０７では、ステップＳ１０３と同様に、撮像装置１００は第二の撮影姿勢において加速度センサ１２２が検出するロール角θ_S2（検出角）を取得する。撮像装置１００が加速度センサ１２２からロール角θ_S2を取得するタイミングは、撮像装置１００が第二の撮影姿勢になって、静止した状態で所定時間が経過したときである。撮像装置１００のシステム制御部１１８は取得した加速度センサ１２２のロール角θ_S2をメモリ１１９に記憶する。

ステップＳ１０８では、ユーザがレリーズスイッチ１２５を操作することで、撮像装置１００が第二の撮影姿勢でチャート２００を撮影し、画像を取得する。
ステップＳ１０９では、ステップＳ１０５と同様に、撮像装置１００は画像処理部１１３にて、ステップＳ１０８で撮影した画像からチャート２００の特徴点２０１ｂを抽出し、第二の座標値（Ｘ₂，Ｙ₂）を取得する。撮像装置１００のシステム制御部１１８は取得した特徴点２０１ｂの座標値をメモリ１１９に記憶する。

ステップＳ１１０では、撮像装置１００はステップＳ１０５とステップＳ１０９において取得した、第一の座標値（Ｘ₁，Ｙ₁）と第二の座標値（Ｘ₂，Ｙ₂）とを用いて、撮像素子１１１のロール角θ_Cを算出する。

図３（ｄ）に示すように、抽出した２つの特徴点２０１ａ、２０１ｂを結ぶ線分と撮像素子１１１のＸ軸との傾き角をθ_Pとすると、以下の式により傾き角θ_Pを算出する。
θ_P＝ｔａｎ⁻¹（（Ｙ₂−Ｙ₁）／（Ｘ₂−Ｘ₁））・・・式（２）
このように撮像素子１１１の傾き角θ_Pは、第一の撮影姿勢から第二の撮影姿勢までの特徴点２０１の変位から算出することができる。この処理は傾き角算出手段による処理の一例に対応する。
このθ_Pは、撮像素子１１１のロール角θ_Cに加えて、ステップＳ１０６における撮像装置１００の姿勢変更時に発生する撮像装置１００のロール角の変化（θ_S2−θ_S1）が含まれた値である。したがって、撮像素子１１１のロール角をθ_Cとすると、以下の式によりロール角θ_Cを算出する。
θ_C＝θ_P−（θ_S2−θ_S1）・・・式（３）

ステップＳ１１１では、撮像装置１００はステップＳ１１０で算出した撮像素子１１１のロール角θ_Cと第一の撮影姿勢での加速度センサ１２２のロール角θ_S1を用いて、撮像素子１１１と加速度センサ１２２との相対ロール角θを以下の式で算出する。この処理は相対ロール角算出手段による処理の一例に対応する。
θ＝θ_S1−θ_C・・・式（４）
このθが加速度センサ１２２が検出したロール角の補正値となる。撮像装置１００のシステム制御部１１８は、算出した補正値を不揮発性メモリ１２７に記憶する。

ステップＳ１１２では、撮像装置１００はステップＳ１１１で算出した補正値θだけ、加速度センサ１２２が検出したロール角を減算して補正する。

このように本実施形態では、１つの特徴点をヨー方向に異なる姿勢で撮影するので、従来のように、撮影するチャートの向きや設置状態に制限されることなく、より精度の高い撮像素子と加速度センサとの相対ロール角を算出することができる。すなわち、撮像素子と加速度センサとの組み付け誤差による相対ロール角が高精度に補正され、ユーザは正確に水平垂直を合わせた撮影を行うことが可能になる。
なお、本実施形態では、点を表示したチャートを被写体として用いる場合について説明したが、この場合に限らない。すなわち、ある１点の座標値を抽出できればよいので、例えば、図７（ａ）に示すような市松模様であってもよく、特徴点２０１があればチャートの模様は限定されない。

また、ヨー角の異なる撮影姿勢で取得される複数の画像から、同一の特徴点を抽出すれば撮像素子のロール角を算出することができるため、被写体はチャートではなく、例えば、図７（ｂ）に示すように、テレビのような一般的な被写体であってもよい。この場合、図７（ｂ）示すように、例えばテレビの角を特徴点２０１として検出すればよい。このように、特徴点を持つものであれば被写体が限定されないため、ユーザは特別な被写体を用意しなくても、加速度センサが検出したロール角の補正を行うことができる。

また、図８に示すように、撮像装置１００のシステム制御部１１８は液晶パネル表示部１１７に検出枠４００を表示してもよい。この処理は表示制御手段による処理の一例に対応する。この検出枠４００は液晶パネル表示部１１７の左右端部に表示される。この場合、撮像装置１００のシステム制御部１１８は、ステップＳ１０２及びステップＳ１０６における、撮像装置１００の姿勢決定時に、特徴点２０１を検出枠４００内に入れるように音などで指示することができる。この場合、ユーザが第一の撮影姿勢及び第二の撮影姿勢で撮影するときに、それぞれ特徴点２０１を検出枠内に収めた状態で撮影することで、適切な撮像装置１００の回転量をアシストすることができる。さらに、撮像装置１００が特徴点２０１を抽出する際、輝度値を取得する範囲を検出枠４００内のみに限定することができるので、特徴点２０１を抽出する処理時間を短縮することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、上述した実施形態では、撮像装置１００が第一または第二の撮影姿勢になって、静止した状態で所定時間が経過したときに加速度センサ１２２からロール角を取得したが、この場合に限られない。例えば、撮像装置１００は、ステップＳ１０４またはステップＳ１０８において、ユーザがレリーズスイッチ１２５を操作したときに、加速度センサ１２２からロール角を取得してもよい。

１００：撮像装置 １１１：撮像素子 １１３：画像処理部 １１５：表示装置 １１８：システム制御部 １２１：姿勢検出部 １２２：加速度センサ １２３：検出回路 ２００：チャート ２０１：特徴点 ３００：台

Claims (5)

1. 被写体を結像する撮像素子と、該撮像装置の姿勢を検出する姿勢検出手段とを備える撮像装置であって、
   所定の特徴点をヨー方向に異なる姿勢ごとに撮影したときの前記所定の特徴点の変位から前記異なる姿勢間における前記撮像素子の傾き角を算出する傾き角算出手段と、
   前記異なる姿勢ごとに前記姿勢検出手段により検出された検出角を取得する検出角取得手段と、
   前記傾き角算出手段により算出された前記撮像素子の傾き角と前記検出角取得手段により取得された検出角に基づいて、前記撮像素子と前記姿勢検出手段との相対ロール角を算出する相対ロール角算出手段と、
   前記相対ロール角算出手段により算出された相対ロール角を用いて、前記姿勢検出手段により検出される検出角を補正する補正手段とを有することを特徴とする撮像装置。
2. 前記傾き角算出手段は、特徴点を有する被写体をヨー方向に異なる姿勢で撮影した画像に基づいて、前記異なる姿勢間における前記撮像素子の傾き角を算出することを特徴とする請求項１に記載の撮像装置。
3. 撮影した画像を表示する表示部と、
   前記表示部に検出枠を表示する表示制御手段とを有し、
   前記傾き角算出手段は、前記検出枠内に表示された前記所定の特徴点を抽出することにより、前記異なる姿勢ごとに撮影したときの前記所定の特徴点の変位から前記異なる姿勢間における前記撮像素子の傾き角を算出することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記検出角取得手段は、該撮像装置が静止した状態になって、所定時間が経過したときの前記姿勢検出手段により検出されている検出角を取得することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 被写体を結像する撮像素子と、該撮像装置の姿勢を検出する姿勢検出手段とを備える撮像装置の姿勢検出方法であって、
   所定の特徴点をヨー方向に異なる姿勢ごとに撮影したときの前記所定の特徴点の変位から前記異なる姿勢間における前記撮像素子の傾き角を算出する傾き角算出ステップと、
   前記異なる姿勢ごとに前記姿勢検出手段により検出された検出角を取得する検出角取得ステップと、
   前記傾き角算出ステップにより算出された前記撮像素子の傾き角と前記検出角取得ステップにより取得された検出角に基づいて、前記撮像素子と前記姿勢検出手段との相対ロール角を算出する相対ロール角算出ステップと、
   前記相対ロール角算出ステップにより算出された相対ロール角を用いて、前記姿勢検出手段により検出される検出角を補正する補正ステップとを有することを特徴とする姿勢検出方法。

Images