JP2015015587A

JP2015015587A - 撮像装置およびその制御方法

Info

Publication number: JP2015015587A
Application number: JP2013140843A
Authority: JP
Inventors: 秀敏椿; Hidetoshi Tsubaki
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-07-04
Filing date: 2013-07-04
Publication date: 2015-01-22
Anticipated expiration: 2033-07-04
Also published as: JP6253280B2; US20150009345A1; US9258484B2

Abstract

【課題】補正部材の駆動により像振れを補正する像振れ補正装置において、単純な幾何変形処理の組み合わせによって像歪を高精度に補正すること。
【解決手段】撮像装置１００は、像振れ補正のために移動可能な補正部材１１を駆動して像振れ補正を行う。撮像素子２は撮像光学系１により結像される光を受光して光電変換により画像信号を出力する。姿勢センサ部３は撮像装置１００の姿勢を検出し、駆動制御部４は補正部材１１の駆動制御および位置検出を行う。幾何変形量算出部５は、像の歪曲について、補正部材１１の駆動により変化する第１の歪み成分と、補正部材１１の駆動により変化しない第２の歪み成分に分解して、それぞれの補正値を算出する。画像処理部６は、幾何変形量算出部５が算出した補正値に基づき、第１の歪み成分と第２の歪み成分を画像処理によって補正する。
【選択図】図１

Description

本発明は、撮影の際に生じる手振れ等による画像振れを軽減させる技術に関する。

近年、撮像装置の小型化が進む一方で、手振れ等で生じる像振れを補正する像振れ補正装置が開発されている。撮影装置の大型化を防ぎつつ、静止画撮影と動画撮影の両方で利用可能な像振れ補正機構は、レンズ系の一部（補正部材）をシフトさせて像振れを抑制する。光軸と垂直な平面内で補正レンズを移動させる方法が普及している。
像振れ補正角を拡大しつつ光学結像性能の低下を抑制する方法として、特許文献１では、補正部材を光軸上のある一点を中心として回動させる構成を開示する。レンズ系の位置や姿勢に関して、３次元的な移動や姿勢を変化させる高度な方法も提案されており、補正角を拡大しても鮮鋭感や暈けに関わる光学結像性能の低下を抑制可能である。

また近年、電子補正や回路技術の発達により、放射歪曲等の像歪を電子的に補正する、いわゆる電子像振れ補正機能が実現されている。電子像振れ補正を光学像振れ補正と併用する際には、光学像の移動に合わせて像面における光学中心座標の移動をモニタリングし、歪曲画像データまたは補正データを平行移動して電子補正を行う等の工夫が提案されている（特許文献２参照）。

特許第３００３３７０号公報特開２０１２−２３１２６２号公報

補正範囲拡大のため、像振れ補正制御により補正部材の３次元的な移動や姿勢変化を行って像振れを止めると、鮮鋭感や暈けに関わる光学結像性能の低下を抑制する効果がある。その一方で歪曲特性が低下し、補正部材の駆動により形状が顕著かつ複雑に変化する像歪が発生する。これは従来、補正レンズ等をシフトさせる際、像シフトのみ生じさせ、偏心歪曲収差の発生を極力抑えるよう設計されていたのに対し、鮮鋭感や暈けを抑制するために偏心歪曲収差を許容することから生じる。

像歪補正における像振れ補正制御上の課題は、以下の通りである。
（１）像歪情報や像歪の補正情報の取り扱いが複雑であること。
（２）像歪補正に高次の幾何変形処理が必要であること。
（３）高精度化のためにデータ記憶容量等のリソースの増加を余儀なくされること。

先ず、（１）について説明すると、レンズ駆動時の光学系は非共軸系であり、また撮像系用途では高い像高にて像歪の影響を高精度かつ定量的に把握する必要がある。そのため、近軸理論および収差論に則り、光学CAD（コンピュータ支援設計）や実写計測から得られる定量指標により、像歪の影響を補正するために歪曲収差、偏心収差といった形で性質による分類を行って定量的に扱うことが難しい。具体的には、光学CADでの光線追跡や、実写チャート上の理想点の像歪影響による移動量の計測において、様々な像歪要因による影響が全て入り混じった形でしか像歪情報や像歪の補正情報の取得、計測ができない。
（２）に関しては、像歪を包括的に解釈する必要があり、空間的に複雑で非線形に変化する歪として扱わなければならない。その結果、像歪を忠実に補正しようとすると、高次の自由変形、または近似的な高次多項式変形が可能な幾何変換回路が必要となる。

（３）に関しては、例えばヨー方向およびピッチ方向の互いに垂直な２軸の補正角範囲でのレンズ駆動を想定した場合、各補正角状態に対して各々２次元の幾何変形量ベクトルマップのような形式で大きな記憶容量を占有する補正情報を保持しなければならない。しかも像歪はズーム状態、絞り値、被写体距離等のカメラパラメータによって変化するため、膨大な量の補正情報をメモリに保持する必要がある。例えば、補正角の補間処理を前提として補正情報を離散的に保持する工夫を加えても改善効果は少ない。よって、即応的な処理の実現や、組込機器における実装を想定した場合、像歪の補正が現実的ではない。

また、レンズ系の一部を光軸と垂直な方向にシフトさせる方法に関して、像歪をより高精度に補正しようとすると、特許文献２に開示された工夫では十分でない。その理由は、光軸に対して垂直な方向にレンズ系の一部をシフトさせる場合でも、厳密に解釈すると残留する偏心歪曲収差の影響により、レンズ駆動に応じて像歪の形状が変化しているためである。当該変化を省略せず忠実に扱うことが補正を高精度化するための鍵となる。近年の表示手段の大画面化および高精細化、撮像装置自体の多画素化により、補正誤差が無視できない状況においては、像歪補正の高精度化が要請される。
本発明の目的は、補正部材の駆動により像振れを補正する撮像装置において、単純な幾何変形処理の組み合わせによって像歪を高精度に補正することである。

上記課題を解決するために、本発明に係る装置は、撮像光学系を構成する補正部材の駆動により像振れを補正する撮像装置であって、前記撮像光学系により結像される光学像を受光して画像信号に光電変換する撮像素子と、前記撮像光学系の姿勢を検出して検出情報を出力する姿勢検出手段と、前記姿勢検出手段の検出情報を取得して、前記補正部材の駆動を制御する駆動制御手段と、前記撮像素子により撮像される画像の歪曲を、前記補正部材の駆動により変化する第１の歪み成分と、前記補正部材の駆動により変化しない第２の歪み成分に分解し、前記第１の歪み成分に対する第１補正値、および前記第２の歪み成分に対する第２補正値を算出する算出手段と、前記撮像素子から画像信号を取得するとともに、前記算出手段から取得した前記第１補正値および第２補正値を用いて画像の幾何変形処理を行うことで像歪補正を行う画像処理手段とを備える。

本発明によれば、補正部材の駆動により像振れを補正する像振れ補正装置において、単純な幾何変形処理の組み合わせによって像歪を高精度に補正することができる。

図２ないし図７と併せて本発明の第１実施形態を説明するために、撮像装置の構成例を示すブロック図である。補正部材の３次元的な移動および姿勢変化を例示する模式図である。補正部材の駆動、および該駆動により像歪が加わった像を示す図である。光学モデルを表す模式図である。現象モデル（Ａ）と補正モデル（Ｂ）を説明するフローチャート図である。動的および静的な歪曲成分を求める場合の光線追跡情報を例示する図である。動的な像歪成分のパラメータテーブルを例示する図である。本発明の第２実施形態に係る撮像装置の構成例を示すブロック図である。第２実施形態に係る現象モデル（Ａ）と補正モデル（Ｂ）を説明するフローチャート図である。補正部材の駆動と像変化との関連性を示す図である。従来からの補正モデルの変更を示す図である。

以下、図面を参照しながら、本発明の各実施形態を説明する。
［第１実施形態］
図１は、本発明の第１実施形態に係る撮像装置１００の要部を示す。撮像装置１００は撮像光学系１と撮像素子２を備える。姿勢センサ部３、光学像振れ補正制御および検出部（以下、駆動制御部という）４は、像振れ補正光学系を構成する補正部材１１の駆動制御を行う。なお、以下では撮像光学系１の光軸方向にて被写体側を光軸方向前側とし、撮像素子２の側を光軸方向後ろ側と定義して各部の位置関係を説明する。

撮像光学系１は、被写体からの光を撮像素子２上に結像させるために、複数のレンズから構成される。光学的に像振れ補正を行う際には、像振れを補正するための補正部材１１（補正レンズ等）を３次元的に移動させ、または姿勢を変化させる制御が行われる。この補正部材１１の移動に関しては、光軸に直交する方向への移動や、光軸方向への移動、光軸上のある一点を中心として回動させるように移動する方法がある。例えば、撮像素子２上の光学像の位置を平行移動させ、カメラの揺れによる映像の揺れ、いわゆる像振れが抑制される。補正部材１１の３次元的移動は、光軸に垂直な方向への並進移動（偏心とも呼ばれる）と、光軸方向の前後進との組み合わせにより実現される。また、補正部材１１の姿勢変化は、補正部材１１の光軸を光学系全体の光軸に対して傾けることにより実現される（そのため傾動とも呼ばれる）。

図２は、補正部材１１の３次元移動および姿勢変化の軌道を、実線および点線で例示する模式図である。図２（Ａ）は、補正部材１１を光軸に垂直な平面内でシフト（並進）させる軌道例を示す。図２（Ｂ）は、補正部材１１を光軸上のある一点を中心として回動させる軌道例を示す。図２（Ｃ）は、図２（Ｂ）の軌道から前後方向の移動を除いた軌道例を示す。撮像光学系１の中間群は変倍群に対応する場合が多く、図２（Ｃ）の移動は像振れ補正による意図しない像の拡大縮小を防ぐ軌道に相当する。図２（Ｄ）は、補正部材１１の偏心、前後進、姿勢を任意に変化させる軌道例を示す。これは、図２（Ｂ）または図２（Ｃ）に示す軌道を基本として、撮像装置のズーム状態や、撮像装置から被写体までの距離（被写体距離）に基づき、軌道を変化させて最適化する場合に採用される。

図１に示す撮像光学系１により撮像素子２の受光面上に結像された光学像は光電変換により画像信号に変換される。撮像素子２はＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）を用いたイメージセンサであり、画像信号を画像処理部６に出力する。
姿勢センサ部３はジャイロセンサや加速度センサ等で構成され、撮像装置１００の姿勢検出を行う。姿勢センサ部３は、例えば撮像光学系１の光軸を基準に直交する任意の軸に取り付けられる。姿勢センサ部３は、姿勢変化の検出情報を駆動制御部４に出力する。例えば、姿勢センサが回転センサである場合、撮像装置１００のヨー方向とピッチ方向の各軸に取り付けられ、各軸まわりの回転による姿勢変化を計測する。なお、姿勢センサは、ジャイロセンサ以外にも加速度センサ等の撮像装置の平行移動を計測するセンサまたは撮像装置の平行移動による像振れ量を検出するセンサでもよい。あるいは、画像の動きベクトルから撮像装置の相対的な回転や平行移動による像振れ量を検出するセンサでもよい。

駆動制御部４は、姿勢センサ部３により検出された撮像装置の姿勢および／または位置変化の情報を取得する。駆動制御部４は、撮像装置１００の姿勢変化や位置変化により生じる像振れを補正するために、補正部材１１の３次元的移動および姿勢を制御する。像振れ補正機構部は、電磁コイル等の駆動部により補正部材１１を含む可動ユニットを移動させることにより、手振れ等に伴う像振れを打ち消す。また、駆動制御部４は、補正部材１１の位置姿勢情報を検出する機能を持つ。補正部材１１の検出部は、ホール素子またはエンコーダ等を含み、光学像振れ補正を行うレンズアセンブリユニットの軌道上の位置から補正部材１１の位置および姿勢情報を計測する。例えば、図２（Ａ）および（Ｂ）に示すような一定方向の軌道例では、補正部材１１の光軸に対して垂直な方向の２軸（回転軸）に対する角度（補正角）から、補正部材１１の偏心量、前後方向の位置情報、姿勢情報の組が検出される。これらの情報の組と補正角とは一対一で対応するため、補正角パラメータ自体を幾何変形量算出部５への入力となる検出情報としてとり扱ってもよい。また、図２（Ｃ）に示す軌道の場合には、補正部材１１の偏心量、前後方向の位置情報、姿勢情報の組がそれぞれ検出される。またズーム状態や被写体距離により軌道が異なる場合、これらのパラメータを補助変数とした補正角パラメータとして偏心量、前後方向の位置情報、姿勢情報の組を扱ってもよい。また検出情報の代用として、近似的に光学像振れ補正制御の情報を取得して処理を行っても構わない。

幾何変形量算出部（以下、単に算出部という）５は、画像処理部６が行う像歪の電子補正に用いる補正値を計算する。算出部５は、駆動制御部４から取得した検出情報、つまり補正部材１１の補正角、あるいは偏心量、前後方向の位置情報、姿勢情報に基づき、画像処理のための補正値を算出する。像歪の補正値は、以下の通りである。
・補正部材１１の駆動により変化する第１の歪み成分を補正するための第１補正値。
・撮像装置１００の撮影条件（カメラパラメータとも呼ばれる）に基づき、補正部材１１の駆動により変化しない第２の歪み成分を補正するための第２補正値。
撮像装置１００の撮影条件は、ＣＰＵ（中央演算処理装置）７がメモリに保持するズーム状態、絞り値、被写体距離等により変更される。ＣＰＵ７は撮像装置１００の制御を統括し、制御プログラムをメモリから読み出して実行し、各部の動作を制御する。算出部５は、像歪を第１の歪み成分と第２の歪み成分に分解して、それぞれの補正値を計算する。なお、算出部５の機能は、ＣＰＵ７がプログラムを実行することによりソフトウェア処理としても実現できる。

画像処理部６は、算出部５が計算した補正値を取得し、撮像された画像の像歪を電子的な幾何変形処理により補正する。画像処理部６が処理した画像データは、不図示のワークメモリ（ＤＲＡＭ等）に一旦保存されるか、または後段の処理部に直接伝送される。後段の処理部は、例えば、半導体メモリ等からなる画像記録部、液晶ディスプレイ等から構成される表示部、外部入出力I/F（インターフェース）部である。外部入出力I/F部は、無線ＬＡＮ（Local Area Network）や、ＵＳＢ（Universal Serial Bus）等を介して有線ケーブル等で外部機器に接続される。

以下では、算出部５が幾何変形量を算出し、画像処理部６が像歪を電子的な幾何変形処理にて補正する処理について詳細に説明する。
まず、像歪について説明する。像振れ補正可能な補正角の範囲を拡大するために、補正部材１１の３次元的な移動や姿勢変化を行うと、レンズ駆動に応じて形状が複雑に変化する像歪が発生する。図３は、像歪について説明する模式図である。図３（Ａ）は、補正部材１１の駆動の様子を実線および点線で示す。実線は補正レンズが撮像光学系１の光軸に対して傾いた状態を示し、点線は補正角がゼロの基準状態を示す。図３（Ｂ）は、補正部材１１の駆動により像歪が加わった像の変化を例示する概念図である。点線で示す矩形枠は、補正部材１１の中心が撮像光学系１の光軸と一致する状態における像の形を表す。実線で示す形状は、像歪により像が歪んだ状態を例示する。

像歪は光学収差論の近軸理論において、静的な収差成分である球面収差や、動的な駆動により変化する偏心収差の一次成分である台形変化による歪みや、二次成分である、水平方向および垂直方向における非等方的な倍率変化として表現される。更に、光学系の一部を光軸方向に進退させる構成にて、補正部材１１が変倍要素を担っている場合には、意図しない像の等方的な拡大縮小が加わる。また、補正部材１１を大きく移動させて姿勢を変化させることにより生じる他の影響としては、コマ収差および非点収差、像面（逆にいえば物面側の合焦面）の傾きによる鮮鋭感や暈けに関わる像面にて不均一に生じる光学結像性能の顕著な低下が挙げられる。像歪は論理的には、上記のように定性的な分類で区分けされて整然と説明可能である。

しかしながら、レンズ駆動時の光学系が非共軸系であるといった要因や、撮像光学系の用途では高い像高においても像歪の影響を高精度かつ定量的に把握する必要があるといった要因から、諸量を数値で高精度に得ることは難しい。また像歪の幾何補正に理論を適用することが難しい。例えば、光学CADによりレンズの3次元情報からその近軸量を算出しようとしても、一般的な光学CADでは、非共軸時の諸量の出力に対応していない場合がある。あるいは出力可能であっても、高い像高が必須の撮像装置の画像の場合、像面における像歪の変化を正しく表現することができない。また、分類ごとに区分したそれぞれの要因が、どのような順序で像に影響するのかといった観点でも定義がない。

像歪補正を行う場合、従来の技術では、光学CADにおける光線追跡、または実写チャート上の理想点の像歪影響による移動量を計測する手段によって、理想像点に対する実際の撮影のずれから像歪情報や補正情報を得ていた。この場合、光線追跡や実写計測から得られる像歪情報については、球面収差による影響、一次および二次を含む高次の偏心収差の影響が全て入り混じった形で情報が得られる。その結果、画像処理部６が行う像歪補正処理は、図１１（Ａ）のように一括した処理（以下、一括処理という）で行う必要があった。具体的には、図２（Ｂ）の例の場合、像歪を補正する幾何変形を表現する情報として、以下の情報をメモリに保持する必要があった。
・高自由度の２次元変形、例えばピクセルもしくは代表サンプリング点の変形または補正ベクトルの情報。
・高次の３次元多項式で表現される変形情報。
例えば、代表サンプリング点としてはグリッドが用いられる。また、高次の２次元変形の形状については、３次元空間中の移動および姿勢変化を、単純な光軸上の一点を中心として回動させる方法に制限したとしても、直交する２軸の補正角を引数とした膨大な数の補正情報を保持する必要があった。しかも、像歪の変形形状はズーム状態、絞り値、被写体距離等のカメラパラメータに従って更に異なり、多様な変形が引き起こされる。このため、更に膨大な組み合わせの数に亘る補正情報をメモリに保持する必要がある。

そこで本発明では、以下のように現象モデルから補正モデルを生成する。
（１）補正部材１１の駆動により像振れを補正する光学像振れ補正機構を有する像振れ補正装置の現象モデルを作成する工程。
（２）現象モデルの逆順としての補正モデルを作成する工程。
まず、（１）の工程では、光学像振れ補正機構により生じる像歪の現象を、単純な幾何変形の組み合わせで近似的に表現する現象モデルを構築する。更には、光学CADによる設計レンズに対する光線追跡、またはチャート実写撮影により得られた全ての歪曲要因の影響を含む歪曲情報を、現象モデルの枠組みでパラメータ化して解釈することで、データセットが作成される。例えば、像歪情報に対するモデルのフィッティングによりパラメータとしてデータセットを算出する処理が行われる。具体的には、補正部材１１の駆動により動的に変化する成分（動的成分）と、補正部材１１の駆動により変化しない成分（静的成分）とに分類して扱うモデルを作り、それらをパラメータ化して解釈する処理が行われる。歪曲情報は、カメラパラメータに従って変化するため、各カメラパラメータの代表的なステートにおいてパラメータ化を行う必要がある。動的成分に関しては、補正角の代表的なステートにおいてパラメータ化処理が行われる。

（２）の工程では、現象モデルから補正モデルを構築し、像振れ補正処理を、例えば撮像装置１００の組込処理として実装する。更に、現象モデルのパラメータとして解釈した像歪情報の動的成分および静的成分を各々、補正角およびカメラパラメータを引数に取り出し、補正パラメータを作成する処理が行われる。例えば、ズーム状態ではテレ（望遠）端からワイド（広角）端までの間を代表するＮ個（例えば１０個）ステートについて実光線追跡情報からパラメータ化する処理が挙げられる。中間ステートのズーム動作時には、最も近いステートのパラメータを用いるか、または隣接する２つのステートのパラメータに線形補間処理を行って中間ステートにおけるパラメータを取得する処理が行われる。

光学モデルの作成工程では先ず、補正部材１１が３次元的に駆動され、その移動および姿勢変化により生じる光学像が移動する光学現象のモデリングから開始する。次に、光学モデルに基づき、現象を単純な幾何変形の組み合わせとして近似表現を行い、個別に切り分けて単純に解釈する。そして、補正モデルを現象モデルから逆順で作成する処理が行われる。
具体的な例を挙げて、光学モデルおよび現象モデルを説明する。例えば、撮像光学系１の中間群レンズを補正部材１１とする場合に、その移動および姿勢変化を想定する。図４は３群構成を想定した光学ユニット４０１ないし４０３、および撮像素子２からなる撮像部を抽象化した光学モデルを模式的に示す。

前玉（第一レンズ）を含む第一群ユニット４０１は、被写体からの角度をもった光学像の光束を大きく曲げて一旦結像させる群であるため、像に歪曲を付加しつつ結像させる群となる。また、第二群ユニット４０２は中間群であり、像振れ補正のために移動可能な補正部材１１を含む。補正部材１１は結像の観点から、リレー光学系とみなすことができる。そのため、第一群ユニット４０１により結像した像の位置を移動させる役目を受け持つ。投影像の移動により像振れが補正される。リレーレンズによる投影像の操作に伴い、レンズの幾何光学的な原則から、並進とともにあおり方向の歪が生じる。第三群ユニット４０３はリレーされた像を受け、像面に像を再結像する役目を果たす。

このような像形成のプロセスからなる光学モデルを想定した場合、像歪の発生過程は、図５（Ａ）に示すフローチャートにより解釈可能な画像処理観点の現象モデルで示すことができる。但し、撮影シーンは静止状態としており、カメラの振れと補正部材１１の駆動のみが動的に起きる場合を想定する。
図５（Ａ）の画像処理観点の現象モデルにて、Ｓ５０１で歪曲が発生する。第一群ユニット４０１を光束が通過する際、入射光束の入射角の違いにより、像面の部分領域毎に像倍率が異なる。これにより像の歪曲が発生する。次にＳ５０２では、第二群ユニット４０２の駆動により、撮像素子２に投影される光学像の相対位置を平行移動させることで手振れを抑制する像振れ補正が行われる。この場合、通常の手振れとして撮像装置の回転振れを想定する。中間群である第二群ユニット４０２の駆動では、像シフトにより手振れの平行移動成分のみ補正される。このため、撮像装置の回転振れの像への影響である、あおりや拡大縮小の像変化は補正されない。一方、中間群の駆動により、偏心歪曲収差が発生して像の動きとしてさらに付加される。さらには、撮像素子２にＣＭＯＳ型センサのような順次読み出しタイプのイメージセンサを用いる場合、ローリングシャッタ歪が手振れに応じて付加される。これらの過程により、理想像から手振れによる影響を含む撮影像が生成されるまでの現象モデルが説明される。以下、数式表現により、各ステップについて具体的に説明する。

図５（Ａ）の歪曲ステップＳ５０１は、図４の光学モデルの第一群ユニット４０１で生じる歪曲現象を画像処理の観点で表したステップである。この歪曲は、補正部材１１の駆動により変化しない歪み成分であり、放射歪曲による歪が主である。次式でその影響が表現される。

上記の歪曲に係るモデリング式の座標演算では、幾何変換前の二次元座標に関し、変換中心の座標X_0n，Y_0nを基準に極座標化する。変換中心X_0n，Y_0nは、例えば画像中心に設定される。幾何変換は式で表現することができる。
（式１）の第２式に示すf(ｒ_n)は、像高に対応した理想像高ｒ_nと歪像高ｒ_dの比の値を、像高をインデックスとしたデータテーブルから抽出する操作を表す。第３式は、極座標から直交座標への座標変換を行う操作を表す。実際には更に、接線歪曲成分を含んだモデルを用いることができる。

図５（Ａ）の像振れ補正ステップＳ５０２は、図４に示す第二群ユニット４０２の補正部材１１の駆動に伴い、像位置の移動による像振れ補正を画像処理の観点で表したステップである。Ｓ５０２では、並進とともに、補正部材１１の補正角に応じたあおりを含む画像変化が生じ、これは補正部材１１の駆動により変化する歪み成分、および像振れ補正光学系の主効果である像移動による並進を含む。また、あおりの軸は光学モデルから明らかなように、光軸からずれた軸により生じる。同次変換行列を用いて両変化を数式で表すと次式のようになる。

shφ_y、shφ_pは作用軸のずれを考慮するあおり処理の並進項である。fはカメラパラメータの焦点距離、θ_y，θ_pは像振れ補正光学系による像移動の並進、φ_y、φ_pはあおりパラメータである。サブフィックスのy、pはそれぞれ、補正部材１１の駆動におけるヨー（Yaw）方向に関する補正角、ピッチ（Pitch）方向に関する補正角によって決定されるパラメータであることを示す。ｍはスケールファクタである。

作用軸を考慮した、あおりの処理については、作用軸ずれのパラメータを推定により求めるのが難しく、近似的に非等方的な拡大縮小と置き換える次式で表現可能である。

S_y、S_pは作用軸を考慮したあおり処理を、画像中心を基準として行うことにより生じる非等方的なの拡大縮小を表すパラメータである。また、補正部材１１が駆動時に前後に進退する場合には、等方的な拡大縮小を含める必要がある。全てを含めると、次式のように、像振れ補正による画像変化を表現できる。

上式中のSは等方的な変倍に関するパラメータであり、S_yおよびS_pに乗算される。
図５（Ａ）のＳ５０２に示す像振れ補正ステップでの現象は、並進および作用軸を考慮したあおり補正または非等方的な拡大縮小、場合によっては等方的な拡大縮小を含めた非点対称的な幾何学的変化である。

補正モデルは、以上の現象モデルの逆順により構築される。図５（Ｂ）は補正処理の手順を表すフローチャートである。
Ｓ６０１に示す像振れ補正効果除去ステップは、像振れ補正によって生じた像の平行移動および射影変換で表される像歪を除去するステップである。図５（Ａ）のＳ５０２で説明した像振れ補正ステップによりモデリングされた現象は、像の平行移動を含めて補正される。補正の射影変換は、並進および作用軸を考慮したあおり補正、または非等方的な拡大縮小からなる。そのため、Ｓ６０１では非点対称な変形となる。光学要素が変倍群に係る前後方向の移動を含む場合には、等方的な拡大縮小も含んだ変形となる。現象モデルで説明した変換の逆変換が補正処理の内容である。なお、像振れ補正の主効果である像の平行移動については後述のステップＳ６０３において復元される。

次のＳ６０２に示す歪曲補正ステップは、図５（Ａ）の歪曲ステップＳ５０１にてモデリングされた第一群ユニット４０１の歪曲の影響を補正するステップである。放射歪曲および接線歪曲といった基準中心座標に関して対称な歪曲が補正される。
次のＳ６０３に示す像振れ補正復元ステップは、Ｓ６０１で幾何学的演算上、一旦は除去した像振れ補正効果の平行移動成分を復元するステップである。これは、像振れ補正効果除去ステップＳ６０１、歪曲補正ステップＳ６０２の処理の適用位置の移動を、事前と事後に反映させることにより処理を簡単にするステップである。そのため、Ｓ６０１およびＳ６０２の両ステップで、像振れ補正効果の平行移動成分を考慮する場合には、Ｓ６０１における像の平行移動成分の補正と対で省略可能である。

作成した補正モデルは、最終的に回路として撮像装置１００に実装される。また、補正モデルのパラメータについては、現象モデルの光学CADによる光線追跡、またはチャート実写撮影により得られた全ての歪曲要因の影響を含む歪曲情報を、現象モデルの枠組みでパラメータ化して解釈することで得られる。具体的には、補正部材１１の駆動により変化する動的成分、および補正部材１１の駆動により変化しない静的成分に分類して、フィッティングによりパラメータ化処理が行われる。例えば、静的成分である歪曲情報は、補正角がゼロで、補正部材１１の中心が撮像光学系１の光軸上に一致した状態で、光学CADによる光線追跡情報の理想像点と実像点との対の関係に対し、（式１）の画像処理観点の現象モデルを当てはめることにより得られる。

図６（Ａ）は、静的成分である歪曲情報を求めるための光線追跡情報結果を例示する模式図である。図中に黒丸で示す点は理想像点を表し、×印は補正角がゼロの時の歪曲を含む像点情報を表す。例えば放射歪の場合、対応する点間の位置ずれの関係から像歪の関係であるf(r)が像高に関するパラメータとして求まる。画像中心X_0n、Y_0nを基準として極座標化を行い、複数の座標ずれ情報から最小二乗法によりパラメータを求めてもよい。更にズーム状態、絞り値、被写体距離を含むカメラパラメータに対する代表サンプリングステートの各々についてフィッティングを実行することにより、現象モデルに対するパラメータの組を得ることができる。

一方、動的な像振れ補正でモデリングされる成分については、ズーム状態、絞り値、被写体距離を含むカメラパラメータに対する代表サンプリングステートにおいて、さらに、補正角による変化が加わる。例えば、光学CADによる光線追跡情報からパラメータ化処理が行われる。

図６（Ｂ）は、動的成分である像振れ補正に係る射影変換のパラメータを求めるための光線追跡情報結果を例示する模式図である。×印は補正角がゼロの時の歪曲を含む像点情報を表す。三角形で示す点は補正部材１１の駆動により移動した静的な歪曲の影響も含む像点を表す。図４の光学モデルの解釈に基づき、図１１（Ｂ）で想定した補正処理手順に従って、光線追跡情報から動的な像振れ補正でモデリングされる成分を求めることができる。すなわち、これまで一括処理で行っていた歪曲補正は、本発明の場合、像歪の動的成分にかかわる射影変形、および非動的（静的）成分に係る歪曲補正に分けて、射影変形、歪曲補正の順序で実行される。

図７はフィッティングにより求めた補正角を引数にした射影変換パラメータ、言い換えれば動的な像歪成分のテーブルデータを例示したグラフである。あるカメラパラメータに対応する補正角の代表サンプリングステートについてフィッティングにより求めた例である。図７（Ａ）は並進、（Ｂ）はあおり、（Ｃ）は非等方的な変倍パラメータをそれぞれ表すグラフである。

以上の処理により、補正角に対する動的な像振れ補正でモデリングされる成分のパラメータが得られる。図２（Ｄ）に示すように、補正部材１１の偏心、前後進、傾動を任意に変化させることが可能な場合には、保持する状態に対するパラメータの削減が可能である。具体的には、射影変換成分の等方的な拡大縮小パラメータについては、図１０に示すように、補正部材１１の前後進のみに関係するためである。図１０は、補正部材１１の駆動について傾動、偏心、前後進の３種類の関連性と像の変化を例示する概念図である。前後進は、像の等方的な拡大縮小に関与し、傾動、偏心との関連性はない。他方、偏心と傾動には関連性があり、像の平行移動および作用軸を考慮したあおり、または非等方的な拡大縮小とあおりの組からなる射影変形といった関係で画像変化と対応付け可能である。

実際の補正時には、図５（Ｂ）に示す補正ステップに従い、画像処理部６が像歪補正を行う。像振れ補正効果除去ステップＳ６０１の射影変換パラメータについては、ズーム状態、絞り値、被写体距離からなるカメラパラメータ、およびそれに対応する補正部材１１の補正角を引数に処理パラメータを得る。同様に歪曲補正ステップＳ６０２のパラメータについては、ズーム状態、絞り値、被写体距離からなるカメラパラメータを引数に処理パラメータを得た上で補正が行われる。

本実施形態では、現象モデルと、その裏返しである補正モデルの構築、および全ての要因が混在する歪曲情報のモデルパラメータへの落とし込みにより、モデルの単純化が可能である。全ての要因を一括処理するモデルの場合には、高次の自由変形、または近似的な高次多項式変形が必要であり、当該変形が可能な幾何変換回路が必須であった。本実施形態では、現象モデルおよび補正モデルへの置き換えにより、射影変換と、点対称な極座標系における一次元の非線形な式で表現される単純な幾何変形との組み合わせが得られる。これにより、現象モデルに基づいて補正処理を表現することが可能となる。

本実施形態では、全ての歪曲要因の影響を一括して含む歪曲情報に対し、前記現象モデルや補正モデルを当てはめ、変形パラメータを扱うことにより補正のために保持が必要なパラメータ数を大幅に削減できる。具体的には、一括処理によるモデルの場合、例えばヨー方向およびピッチ方向からなる垂直の２軸の補正角範囲にてレンズ駆動の各補正角状態に対し、各々２次元の幾何変形量ベクトルマップ等の形式で補正情報を保持する必要がある。加えて歪みは、ズーム状態、絞り値、被写体距離等のカメラパラメータにより変化するので、保持すべき補正情報がさらに増加してしまう。これに対し、本実施形態では、前記現象モデルや補正モデルのパラメータとして補正情報を扱うことで、パラメータ数を大幅に削減可能となる。例えば、像歪の動的成分（第１の歪み成分）である射影変換パラメータについては、補正角を引数にして保持する必要があるが、その対称性から直交する一次元のパラメータのみ保持していれば十分となる。一方、像歪の静的成分（第２の歪み成分）である歪曲成分は、補正部材１１の補正角に対して不変であるため、ズーム状態、絞り値、被写体距離等のカメラパラメータに対して補正情報を保持するだけで済む。また、個々の処理としては補正角がゼロの基準状態での静的な歪曲のみ考慮すればよいので、例えば点対称の放射歪曲のみを扱う単純モデルでも忠実な補正が可能となる。よって、大幅な補正情報の削減が可能である。

本実施形態では、画像の歪曲を、補正部材１１の駆動により変化する第１の歪み成分と、補正部材１１の駆動により変化しない第２の歪み成分に分解する。補正部材１１の状態については、駆動制御部４から得られる補正部材１１の偏心量、前後位置、姿勢情報の組または補正角情報として検出される。算出部５は、補正モデルに従って各歪み成分に対する補正値をそれぞれ演算し、画像処理部６は補正値に基づいて第１の歪み成分および第２の歪み成分を電子的に補正する。したがって、補正部材１１の３次元的移動および姿勢変化に対して実現可能な単純な幾何変形処理の組み合わせにより、少ないデータ記憶領域等のリソースで像歪を高精度に補正することができる。

［第２実施形態］
次に、本発明の第２実施形態を説明する。本実施形態に係る撮像装置９００の構成部のうち、第１実施形態に係る撮像装置１００と同様の構成部については既に使用した符号を用いることで、それらの詳細な説明を省略する。以下、相違点である幾何変形量算出部９０５および画像処理部９０６が行う処理を説明する。

図８に示す幾何変形量算出部（以下、算出部という）９０５は、画像処理部９０６が行う像歪の電子的補正に用いる補正値を計算する。算出部９０５は、駆動制御部４により計測された補正部材１１の補正角あるいは偏心量、前後位置、姿勢情報を取得し、補正部材１１の駆動により変化する第１の歪み成分に対する第１補正値を算出する。また、算出部９０５は、ＣＰＵ７が保持するズーム状態、絞り値、被写体距離等のカメラパラメータに基づき、補正部材１１の駆動により変化しない第２の歪み成分に対する第２補正値を算出する。また、算出部９０５は、姿勢センサ部３からの姿勢検出情報を取得して、像振れ補正値（第３補正値）を求める。姿勢センサ部３からの姿勢検出情報は、撮像装置の手振れや揺れ等の検出情報を含む。このように、算出部９０５は要因ごとに分解してそれぞれ補正値を計算する。画像処理部９０６は、算出部９０５から第１ないし第３補正値を取得し、撮像素子２の出力する画像データに対して幾何変形による電子的補正処理を実行する。

図９（Ａ）のフローチャートを参照して、本実施形態における画像処理観点の現象モデルを説明する。第１実施形態に係る現象モデルと同じ構成部の詳細については説明を省略し、主にＳ１０００を説明する。
Ｓ１０００では、手振れにより撮像装置に振れが生じる場合を想定する。この振れによりレンズの開口に入射する像には、視野変化および視点変化が生じる。撮影レンズの第一レンズ群を光束が通過する際、入射光束の入射角の違いにより、Ｓ５０１で歪曲が発生する。これは、像面の部分領域毎に像倍率が異なることにより発生する成分である。Ｓ５０２では、補正部材１１を含む中間群の駆動により、撮像素子２に投影される光学像の相対位置を平行移動させることで像振れ補正制御が行われる。通常、手振れとしては撮像装置の回転振れを想定するが、中間群の駆動では、像シフトにより手振れの平行移動成分のみ補正する。このため、撮像装置の回転振れの像への影響であるあおりや拡大縮小の像変化は補正されない。一方、中間群の駆動により、偏心歪曲収差が発生して、像の動きとしてさらに付加される。最後に、撮像素子２に順次読み出しタイプのイメージセンサを用いることにより、ローリングシャッタ歪が手振れに応じて付加される。こうして、理想像から手振れによる影響を含む撮影像が生成されるまでの現象モデルが得られる。

Ｓ１０００に示す振れステップとは、撮像装置９００と被写体との相対位置関係の変化により引き起こされる像の見えの変化であり、現象的には像振れそのものである。これについては３行３列の行列であるホモグラフィ行列により２次元的な変化を記述可能である。例えば、撮像装置と被写体との相対モーションについて３軸回転の場合を想定する。下式のように、幾何変形パラメータのホモグラフィ行列Ｈが与えられる。

上式の回転行列中に示すR、P、Yはそれぞれ、光軸に対するカメラのロール方向、ピッチ方向、ヨー方向の回転角を表す。X_0h、Y_0hは変換中心の座標である。変換中心には通常、画像中心を用いる。撮像装置と被写体との相対位置関係を示す値とホモグラフィ要素との物理的な関係については公知の技術を用いる。

次に、図９（Ｂ）のフローチャートを参照して、補正モデルおよびこれに基づく補正処理について説明する。Ｓ６０１，Ｓ６０２，６０３については図５（Ｂ）にて説明した通りであり、相違点であるＳ１１０３を主に説明する。
Ｓ１１０３の像振れ補正ステップは、図９（Ａ）のＳ５０２でモデリングした像振れ補正の対象となる平行移動以外の、撮像装置と被写体との相対位置関係の変化により引き起こされる像の見えの変化を補正するステップである。例えば、撮像装置の回転による、像のあおり、像の拡大縮小、および光軸を回転中心とする像の回転は、光学的な像振れ補正により補正されない像振れであるため、本ステップの対象となる。

具体的には、撮像装置と被写体との相対モーションを３軸回転とする場合を想定する。この場合、下式のように幾何変形パラメータのホモグラフィ行列Ｈが与えられる。αは抑振率を表す（符号が正の場合に抑制を表す）。但し、ホモグラフィ行列Ｈの並進項である1行3列要素と2行3列要素については、光学的な像振れ補正により十分補正済みであるとして電子的補正は実施しない。

なお、図９（Ｂ）の像振れ補正効果除去ステップＳ６０１は、像振れ補正によって生じた像の平行移動および射影変換で表される像歪を除去するステップである。図９（Ａ）のＳ５０２に示す像振れ補正ステップでモデリングされた現象モデルを、像の平行移動も含めて補正する処理が実行される。補正の射影変換は、並進および作用軸を考慮したあおり補正または非等方的な拡大縮小からなる。そのため、非点対称な変形となる。光学要素が変倍群の前後進を含む場合には、等方的な拡大縮小も含む。Ｓ６０１に続いて、歪曲補正ステップＳ６０２、像振れ補正ステップＳ１１０３が、現象モデルとは逆順で行われる。像振れ補正の主効果である像の平行移動については、Ｓ６０３で復元される。
算出部９０５には、以上の補正モデルに基づく回路が実装され、図９（Ｂ）の各ステップに示す処理が実行される。

本実施形態によれば、像歪だけでなく、並進成分以外の手振れ成分についても補正が行われるので、高品質の像振れ補正を実現できる。

［その他の実施形態］
上述した撮像装置の像歪補正機能はそれぞれの機能を有するハードウェアにより実現できるが、ソフトウェアにより実現することもできる。例えば、像振れ補正光学機構を備えた撮像装置により撮影した像歪を含む映像と、当該映像の撮影時の補正角情報とを同期して記録しておき、画像処理装置にてプログラムの処理を適用することで像歪を補正可能である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１撮像光学系
２撮像素子
３姿勢センサ部
４駆動制御部
５，９０５幾何変形量算出部
６，９０６画像処理部
１００，９００撮像装置

Claims

撮像光学系を構成する補正部材の駆動により像振れを補正する撮像装置であって、
前記撮像光学系により結像される光学像を受光して画像信号に光電変換する撮像素子と、
前記撮像光学系の姿勢を検出して検出情報を出力する姿勢検出手段と、
前記姿勢検出手段の検出情報を取得して、前記補正部材の駆動を制御する駆動制御手段と、
前記撮像素子により撮像される画像の歪曲を、前記補正部材の駆動により変化する第１の歪み成分と、前記補正部材の駆動により変化しない第２の歪み成分に分解し、前記第１の歪み成分に対する第１補正値、および前記第２の歪み成分に対する第２補正値を算出する算出手段と、
前記撮像素子から画像信号を取得するとともに、前記算出手段から取得した前記第１補正値および第２補正値を用いて画像の幾何変形処理を行うことで像歪補正を行う画像処理手段とを備えることを特徴とする撮像装置。
前記駆動制御手段は、前記補正部材を、前記撮像光学系の光軸に対し、偏心または傾動または前後進を含んで３次元的に駆動させることを特徴とする請求項１に記載の撮像装置。
前記算出手段は、前記撮像光学系の光軸に対して垂直な方向の軸に対する前記補正部材の角度をパラメータとして前記第１補正値を算出することを特徴とする請求項１または２に記載の撮像装置。
前記算出手段は、前記撮像装置の撮影条件をパラメータとして前記第２補正値を算出することを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
前記画像処理手段は、前記補正部材による像振れ補正効果を除去する処理を行ってから前記像歪補正を行い、さらに前記像振れ補正効果を復元する処理を行うことを特徴とする請求項１ないし４のいずれか１項に記載の撮像装置。
前記算出手段は、前記姿勢検出手段の検出情報を取得して、前記撮像装置と被写体との相対位置関係の変化により引き起こされる像の変化に対する第３補正値を算出し、
前記画像処理手段は、前記補正部材による像振れ補正効果を除去する処理を行ってから前記像歪補正を行い、前記算出手段から取得した前記第３補正値を用いて前記像の変化を補正し、さらに前記像振れ補正効果を復元する処理を行うことを特徴とする請求項１ないし４のいずれか１項に記載の撮像装置。
前記画像処理手段は、非点対称の前記第１の歪み成分に対して射影変換による幾何変形を行うことを特徴とする請求項１ないし６のいずれか１項に記載の撮像装置。
前記画像処理手段は、前記第２の歪み成分について、基準中心座標に対称な歪曲を補正することを特徴とする請求項１ないし７のいずれか１項に記載の撮像装置。
前記射影変換による幾何変形は、並進、あおり、または水平方向および垂直方向における等方的な拡大縮小もしくは非等方的な拡大縮小を含むことを特徴とする請求項７に記載の撮像装置。
前記駆動制御手段は、前記補正部材の偏心量、光軸方向の位置、姿勢情報、または補正角の情報を検出して検出情報を前記算出手段に出力し、
前記算出手段は、前記検出情報を取得して、前記補正部材の偏心または傾動または前後進により生じる画像変化を射影変形と対応付けることを特徴とする請求項１ないし９のいずれか１項に記載の撮像装置。
前記画像処理手段は、射影変形、歪曲補正の順に処理を行うことを特徴とする請求項１０に記載の撮像装置。
撮像光学系を構成する補正部材の駆動により像振れを補正する撮像装置にて実行される制御方法であって、
前記撮像光学系により結像される光学像を撮像素子で受光して画像信号に光電変換するステップと、
姿勢検出手段により前記撮像光学系の姿勢を検出する姿勢検出ステップと、
前記姿勢検出ステップでの検出情報を取得して、前記補正部材の駆動を制御する駆動制御ステップと、
前記撮像素子により撮像される画像の歪曲を、前記補正部材の駆動により変化する第１の歪み成分と、前記補正部材の駆動により変化しない第２の歪み成分に分解し、前記第１の歪み成分に対する第１補正値、および前記第２の歪み成分に対する第２補正値を算出する算出ステップと、
前記撮像素子から画像信号を取得するとともに、前記算出ステップで算出した前記第１補正値および第２補正値を用いて画像の幾何変形処理を行うことで像歪補正を行う画像処理ステップを備えることを特徴とする撮像装置の制御方法。