JP2014176007A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】手振れ等に対して光学的な像振れ補正を行った上で、さらに電子的な像振れ補正により像回転補正を行うことで生じる弊害を抑制すること。
【解決手段】撮像装置は手振れ等による像振れを補正する第１像振れ補正部として光学像振れ補正制御部４を備え、姿勢検出用センサ３の検出情報を用いて、補正レンズ１ａを光軸に直交する方向に移動させる。カメラ本体部１０２内の第２像振れ補正部にて、並進動き検出部７は、撮像素子２により撮像された画像情報を前処理部５から取得して、画像の並進方向の動きを検出する。面内回転動き検出部８は、光軸回りの回転方向における画像の動きを検出する。幾何変形部９は、並進動き検出部７および面内回転動き検出部８から検出情報を取得し、光学像振れ補正制御部４により補正された画像に対し、面内回転動き検出部８からの検出情報に基づいて回転補正を行った場合に生じる画像の像振れを補正する。
【選択図】 図１

Description

本発明は、撮像装置において像振れ補正の性能を向上させる技術に関するものである。

撮像装置では、高度な動画用像振れ補正機能が求められている。例えば、手振れ等により生じる画像の面内回転方向のぶれやそれに伴うローリングシャッタ歪を検知して補正する機能が求められる。レンズ交換式撮像装置では、独立に動作するレンズ内の光学式像振れ補正機構と連動して、撮影映像に対してカメラボディ内での電子式像振れ補正を行う方法が提案されている。手振れの高周波成分の主要素である画像の垂直方向および水平方向のぶれや動きによる蓄積ぶれは光学式像振れ補正により抑制される。一方、光学式像振れ補正では抑制できない振幅の大きいぶれの低周波成分や面内回転方向のぶれは電子式像振れ補正による幾何変形で抑制される。
特許文献１には、ＣＭＯＳセンサを採用することにより生じる、光学式像振れ補正では完全に抑制できないローリングシャッタ歪を、電子式像振れ補正による幾何変形で抑制する技術が開示されている。また特許文献２には、光学式像振れ補正では抑制できない画像の垂直方向および水平方向のぶれ以外の動き、例えば面内回転方向の動きを電子式像振れ補正による幾何変形で抑制する技術が開示されている。

さらに近年、手振れだけでなく主に広角端側にて像振れ補正可能な角度範囲を拡大することで、いわゆる歩き撮りの際に生じるぶれに対応する技術が求められる。特許文献３では、ぶれの低周波成分を意図的に逃し、完全には被写体像の動きを止めないことで光学式像振れ補正におけるセンタリングや電子式像振れ補正における像振れ補正用余白画素の範囲限界の問題を解決する技術が開示されている。
一方で、静止画撮影と動画撮影の機能を一体化した撮像装置では、光学式像振れ補正と電子式像振れ補正を組み合わせた像振れ補正方式（ハイブリッド像振れ補正）が採用される。ハイブリッド像振れ補正機構は、従来の動画専用カメラから、本来静止画撮影を主とするレンズ交換型撮像装置の動画撮影機能へと搭載領域を広げている。撮像装置にて本格的な撮影に耐え得る動画撮影機能により、歩き撮り時の像振れ補正機能等の特性を維持しつつ、像振れ補正機能の高度化を図ることが求められている。

特開２００７−２１５１１４号公報 特許第４１７８４８１号公報 特許第４６９２６２０号公報

光学式および電子式像振れ補正を組み合わせたハイブリッド像振れ補正の実施において、電子式像振れ補正では、光学式像振れ補正の動作情報を得て光学式像振れ補正でどのような像振れ補正が行われたかを把握することが、機能向上に重要である。しかし、レンズ交換式撮像装置の場合、レンズ鏡筒内で独立動作する光学像振れ補正機構部の動作情報を撮像装置本体に伝えて処理しようとすると、大幅なシステム変更が必要となる。従来のレンズ群はそもそもこのような仕様を想定していない。このため、カメラとレンズとの間の通信方式では、像振れ補正に十分な内容の情報をレンズからカメラ本体側に伝えられないか、または、像振れ補正動作の状態情報を伝送する仕組みすら持たない場合がある。またレンズ交換式撮像装置におけるシステムレベルの変更は、ユーザが既に使用している交換レンズへの対応ができないのでデメリットが大きい。

一方、カメラ本体側に搭載した姿勢センサ情報に基づいて、光学式像振れ補正で得られた画像に対し、さらに面内（光軸回り方向の）回転動き補正を行うと、光学式像振れ補正の並進動き補正残留成分を加振してしまうことにつながる。この弊害は、ぶれの低周波成分を意図的に逃し、完全には被写体像の動きを止めない歩き撮りのような状態で顕著である。また前記特許文献３に示されるように、動的に動きの遮断を切り替え可能な機構等において、ヨー方向とピッチ方向で遮断周波数が大きく異なる場合には更に顕著となる。
本発明の目的は、手振れ等に対して、光学的な像振れ補正、および画像処理による像振れ補正を行う撮像装置において、光学的な像振れ補正を行った上でさらに電子的な像振れ補正により像回転補正を行った場合に生じる弊害を抑制することである。

上記課題を解決するために、本発明に係る装置は、光学系を介して被写体を撮像する撮像手段と、前記撮像手段により撮像された画像の像振れを補正する像振れ補正手段を備える撮像装置であって、前記像振れ補正手段は、光学部材の移動により画像の像振れを光学的に補正する第１像振れ補正部と、前記撮像手段により撮像された画像を処理して像振れ補正を行う第２像振れ補正部を有する。前記第２像振れ補正部は、前記第１像振れ補正部により光学的に補正された画像から、前記光学系の光軸に直交する面内における並進方向の動きを並進動き量として検出する第１検出部と、前記光学系の光軸回りにおける画像の回転方向の動きを回転動き量として検出する第２検出部と、前記並進動き量および前記回転動き量を取得し、前記並進動き量に対して前記回転動き量に従って前記撮像された画像を回転させる補正を行うとともに、当該補正により発生する前記並進方向の動きの接線方向成分を算出して前記画像の動きを幾何変形処理により補正する幾何変形部を備える。

本発明によれば、光学的な像振れ補正、および画像処理による像振れ補正を行う撮像装置において、光学的な像振れ補正を行った上でさらに電子的な像振れ補正により像回転補正を行った場合に生じる弊害を抑制できる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図である。 光学式像振れ補正を行った映像に対して面内（光軸回り方向の）回転像振れ補正を実施することで生じる問題を説明する図である。 面内（光軸回り方向の）回転動きの補正による像の動きの発生とその補正について説明する図である。 テンプレートマッチングを説明する図である。 ２次元ヒストグラム処理を説明する図である。 接線方向補正量の算出手順を説明する図である。

以下に、本発明の実施形態を説明する。像振れ補正について、光学部材の駆動により撮像光学系の光軸を偏心させて画像の像振れを光学的に補正する第１像振れ補正処理を光学式像振れ補正という。また、撮像素子により撮像した画像を電子的に処理して像振れを補正する第２像振れ補正処理を電子式像振れ補正ということにする。光学式像振れ補正では、光学部材（レンズ、プリズム等）や撮像素子等が補正用部材として駆動される。
図１は、本発明の実施形態に係る撮像装置の構成例を説明するブロック図である。撮像装置１００はレンズ鏡筒１０１とカメラ本体部１０２を備える。撮像装置１００は、レンズ鏡筒１０１内で動作する光学式像振れ補正機構部を備えたビデオカメラや、動画像の撮影機能を有するデジタルカメラである。以下では、レンズ交換タイプのカメラにおいて、歩き撮り時などで実施される動画用像振れ補正処理を説明する。なお、レンズ鏡筒１０１に設けた第１像振れ補正部は光学式像振れ補正機構部を有し、カメラ本体部１０２に設けた第２像振れ補正部は電子式像振れ補正を行うものとする。
レンズ鏡筒１０１は光学式像振れ補正機構部を含む光学系１と、姿勢検出用センサ３と、光学式像振れ補正制御部４を有する。カメラ本体部１０２は、撮像素子２、前処理部５、画像メモリ６、並進動き検出部７、面内回転動き検出部８、幾何変形部９を有する。
光学系１は、被写体からの光を撮像素子２上に結像させるために、複数枚のレンズやミラーなどから構成される。光学系１は一部のレンズ（以下、補正レンズという）１ａを、光軸と直交する方向に移動させることにより、撮像素子２上の光学像の位置を平行移動させ、カメラの揺れによる像振れを抑制する。

姿勢検出用センサ３は、ジャイロセンサ等で構成され、カメラの限られた任意軸に対する姿勢変化の情報やカメラに加わる振れを計測する。姿勢検出用センサ３は光学系１の複数の軸方向、例えば光軸に垂直なヨー方向やピッチ方向について姿勢変化やカメラに加わる振れを検出する。なお、軸毎にセンサをそれぞれ装備する代わりに、１個の多軸姿勢センサを用いてもよい。
光学式像振れ補正制御部４は光学的な像振れ補正処理を行い、像振れ補正用のアクチュエータが補正レンズ１ａを駆動する。姿勢検出用センサ３で得られたカメラの姿勢変化検出情報（振れ情報）、つまりカメラワークの情報に基づき、補正レンズ１ａのシフト動作が行われる。像振れ補正用のアクチュエータとして具体的には、マグネットとコイルを用いた電磁素子が用いられる。光学式像振れ補正制御部４は、姿勢検出用センサ３からの姿勢変化検出情報（振れ情報）を入力として、時系列処理、具体的には積分処理を実行し、姿勢変化補正量（振れ補正量）を演算する。そして光学式像振れ補正制御部４は、演算した姿勢変化補正量（振れ補正量）に基づいてレンズ鏡筒１０１の光学像振れ補正機構部（像振れ補正用のアクチュエータや補正レンズ１ａからなる）を制御する。画像上の動きを打ち消すように閉ループ処理が形成されて光学式像振れ補正処理が行われる。光学式像振れ補正制御部４は、積分処理として、例えば無限インパルス応答（IIR）フィルタ等によりフィルタ処理を行う。光学式像振れ補正制御部４は、カットオフ周波数や帰還（フィードバック）ゲイン等を調整することで像振れ補正周波数特性や低域成分逃しの特性等を調整可能である。低域成分逃しとは、カットオフ周波数を変更して所定の閾値以下の周波数成分を意図的にフィルタにて通過させることを意味する。レンズ鏡筒１０１をカメラ本体部１０２に装着して使用するレンズ交換型の撮像装置１００の場合、ハイブリッド像振れ補正では画像処理により電子的に像振れ補正が行われる。本例では、カメラ本体部１０２内の幾何変形部９により電子式像振れ補正を行う場合、光学式像振れ補正については電子式像振れ補正と独立に動作が行われる。

前処理部５は、撮像素子２で光電変換されたアナログ画像信号に対して各種の処理を施す画像処理部である。各種の処理とは、相関二重サンプリング（CDS）によるノイズ除去、オートゲインコントロール（AGC）でのゲインアップによる露出制御、黒レベル補正、A/D変換処理等である。撮像された画像の特徴点の抽出やベクトル算出等、画像の並進動き検出処理の精度やロバスト性を向上させるために、並進動き検出部７への入力画像についてフィルタリング処理や、トーンマッピング等の諧調の調整処理が行われる。前処理部５にてアナログ信号に対する処理を行う主要部はAFE（アナログフロントエンド）と呼ばれる。デジタル出力センサと対で使われる回路部はDFE（デジタルフロントエンド）と呼ばれる。画像メモリ６は、前処理部５が生成したデジタル画像信号を一時的に保存する。
並進動き検出部（第１検出部）７は、光学系１の光軸に直交する面内における並進方向の動きを検出する。並進動き検出部７は前処理部５が生成した画像信号および画像メモリ６に蓄積された過去（例えば１フレーム前）の画像信号を用いて、画像間の動きベクトルを検出して並進動き量を算出する。このとき、動きベクトルを検出する対象画像は光学像振れ補正が実施された画像である。また、例えば、並進動き量とは、画像の２次元直交座標系Ｘ−Ｙにおける特定位置での動き量ΔＸ，ΔＹである。検出された動きベクトルまたは並進動き量（第１検出情報）は幾何変形部９に出力される。

面内回転動き検出部（第２検出部）８は、光学系１の光軸回りにおける画像の回転方向の動きを検出する。面内回転動き検出部８は、光学系１の光軸に対して垂直な面内、つまり撮像素子２の受光面内における光軸回り（ロール方向）の回転の動き（回転動き量）を検出する。例えば、回転動き量とは、画像の特定位置での、光軸回りの回転方向における角度変化Δθである。面内回転動き検出部８はジャイロセンサ等で構成される。なお、並進動き検出部７で求めた、画像上の複数の位置における画像フレーム間の並進動きから、面内での回転動きを算出することもできる。面内回転動き検出部８により検出された回転動き量（第２検出情報）は幾何変形部９に出力される。

幾何変形部９は、並進動き検出部７による並進動き量の検出情報および面内回転動き検出部８による回転動き量の検出情報をカメラワーク情報として時系列処理する。幾何変形部９は、前処理部５から得られた画像フレームのデータに対し、電子的に幾何変形処理を行い、補正された画像データを出力する。幾何変形処理には、面内回転並びに垂直並進および水平並進からなるユークリッド（剛体）変換の自由度が必要となる。幾何変形部９が補正した画像データは、不図示のワークメモリ（DRAM等）にいったん保存されるか、または後段処理部に直接伝送される。後段処理部としては、例えば、半導体メモリ等からなる記録部、液晶ディスプレイ等の表示部、外部入出力I/F（インターフェース）部が挙げられる。記録部は画像データを記録媒体に記録する。表示部は撮影画像のライブビュー表示等を行う。外部入出力I/F部は、無線LAN（Local Area Network）や、USB（Universal Serial Bus）等の有線ケーブル等を介して外部機器との間でデータを送受信することができる。

次に、図２を参照して、光学式像振れ補正を行った映像に対して幾何変形処理による面内回転方向の像振れ補正を行う場合に生じ得る問題について説明する。図２（Ａ）は、被写体２００である立方体に対し、撮影者が歩き撮り撮影を行う状態、つまりカメラ２０１が上下に揺れながら撮影している状態を示す。図２（Ｂ）および（Ｃ）では、撮影画像における被写体２００の変化前の像を点線で表わし、変化後の状態を実線で表わしている。矢印は並進の動きと回転の動きを示す。
撮影者が移動しながら撮影を行う場合、光学式像振れ補正のみでは、図２（Ｂ）のように、被写体像が上下に揺れつつ、面内で回転してしまう。電子式像振れ補正による幾何変形処理を行うカメラでは、被写体像の面内回転を補正し、より高画質な画像データを取得することが求められる。しかし、光学式像振れ補正によって並進動きのみを抑制してしまった画像に対し、事後的に回転動きのみを電子的に幾何変形で抑制してしまうと、被写体像の動きが不自然となる。図２（Ｃ）に示すように、残留する低周波の動き成分により、被写体像があちこちに動いて、あたかも踊るような動きになってしまう可能性がある。
そこで、本実施形態では、光学式像振れ補正で得られた画像から並進動きを検出し、面内回転動きに基づいた回転の補正量に従い、残留する蓄積並進の動きの方向を制御する。これにより、光学式像振れ補正にて並進の動きについて低周波の動きを除いて補正してしまった画像に対し、回転の動きを追加的に補正することによる弊害を解消することができる。

図３を参照して、面内回転動きの補正による新たな像の動きの発生と、その補正について説明する。面内回転動きとは、光軸に直交する平面内にて光軸回りの回転方向（ロール方向）における像の動きである。図３では面内回転動きの方向を、並進動き（太線矢印）とは区別して示している。
図３（Ａ）は、面内回転動きを補正する画像を撮影したカメラ２０１の姿勢変化の一例を示す模式図である。例えば、歩き撮りの場合、カメラ２０１が矢印で示すように上下左右に移動し、またヨー方向やピッチ方向に回転する。その際、光軸を回転軸とする面内の回転方向に対して、主要な動きである上下動は、必ずしも一致しない周波数で発生している。
図３（Ｂ）は、図３（Ａ）に示すカメラ２０１の姿勢変化に対して、光学式像振れ補正機構部を含む光学系で撮影した画像の動きを例示する。被写体像の変化前の像を点線で表わしている。画像の動きの並進成分については、光学式像振れ補正により、意図的に残した低周波の動き成分を除いて補正される。多くの場合、図３（Ｂ）にて面内回転の動きのみ顕著に残る映像となる。従来の装置は、面内回転動きの検知手段、および幾何変形手段を備え、面内回転補正処理により、画像の面内回転動きを補正している。図３（Ｃ）は面内回転動きのみを補正した結果を表す。光学式像振れ補正を行って得られた撮影画像において、光学式像振れ補正で抑制しない低周波の並進動きが存在すると、面内回転動きの補正によって新たに動きが生じる。つまり、面内回転動きを補正する際、意図的に残留させた並進動きの軌跡は、図３（Ｃ）に示すように回転動き補正に従い、振動方向が変化する。そのため、像が新たに揺れて見えるという現象が発生する。

そこで本実施形態では、図３（Ｄ）に示すように、光学式像振れ補正を行って得られた画像から、まず並進動きを検出して、その積分量を元に低周波の動き成分のモニタリングを行う。具体的には、並進動き検出部７は、撮影した画像のフレーム間での動き成分を検出し、これをIIR型ローパスフィルタ等により積分する。図３（Ｄ）に示す像ａは、IIR型ローパスフィルタ等による積分の基準点となる像を表す。像ｂはカレントフレーム（現フレーム）での像を表す。「ｂ−ａ」は積分した並進動きの積分量を表す。この積分量はカレントフレームと過去フレーム（前フレーム）での被写体位置を基準とした差分の動きを表す。
図３（Ｅ）は、積分した動き成分を回転動き補正量により幾何変形した際に生じる、回転動き補正の副作用による揺れ成分を示している。像ｂ１は、像ｂに対して回転動き補正を行った像を示す。これは、並進動きの積分量を面内回転補正量により座標変換することで得られる。回転動き補正の副作用による揺れ成分は、実際の回転動き補正後の並進成分の積分量と、回転動き補正前の並進成分の積分量との差分、つまりは接線方向成分であることが多い。そこで図３（Ｆ）に示すように、回転動き補正前後における並進成分の積分量の差分（接線方向成分）を幾何変形により補正する処理が行われる。像ｂ２は像ｂ１に対して補正した像を示す。その結果、図３（Ｇ）に示すように、光学式像振れ補正により得られた撮影画像に対し、面内回転の動き補正により新たに生じる見かけ上の揺れが補正される。以下では、この補正処理について順を追って詳述する。

まず、並進動き検出部７について説明する。並進動き検出部７は、例えば、動きベクトル算出処理を行う。入力された複数のフレーム間の画像データに基づいて動きベクトル（動き情報）が検出される。具体的には、前処理部５で直近に処理されて入力されたカレントフレームと、画像メモリ６に一旦蓄えられてから入力される過去フレームとの間で画像間の動きベクトルが算出される。動きベクトルの算出処理では、テンプレートマッチングや、各フレームで算出した特徴点間のテーブルマッチング、勾配法に基づく動きベクトル推定等により、フレーム間の動きベクトルまた特徴点間の軌跡が算出される。

図４は、テンプレートマッチングの一種であるブロックマッチングを例示する。図４の左側の第１画像４０１を基準画像とし、右側の第２画像４０２を探索対象の画像とする。例えば、先に入力されたフレームの第１画像を基準画像とし、時間的に後から入力されたカレントフレームの第２画像を探索画像として、両者間の動きベクトルが検出される。画像４０１中でグリッド状に配置した注目点４０４を中心として、所定サイズの部分領域がテンプレート４０３として設定される。探索画像中に、任意の探索領域４０７が設定されて、これを順次移動させながらテンプレート４０３が最も合致する位置を探索する処理が実行される。画像４０２中の注目画素４０５を基準とした領域４０６内の画像部分と、基準画像のテンプレート４０３内の画像部分との類似度が計算される。類似度の指標としては、SSD(Sum of Square Difference)、SAD(Sum of Absolute Difference)、正規相互相関等の相関演算が用いられる。実写映像の様にフレーム間の輝度変動が顕著な場合には、正規相互相関が主に用いられる。正規相互相関の類似度スコアＲの算出式を、以下に例示する。

（式１）中、

である。
（ｘ，ｙ）および（ｘ’，ｙ’）は、基準画像Ｉおよび探索画像Ｉ’内におけるテンプレートの位置を示す座標である。Ｉ_(x,y)（ｉ，ｊ）およびＩ_{(x’，y’)} （ｉ，ｊ）はそれぞれ部分画像を示す。ＩとＩ’の上部に付したバー記号は平均を表わす。

探索領域の類似度を一通り算出した結果、最も類似度の高い位置が対応位置とみなされて、動きベクトルが算出される。オクルージョンがなければ、基準画像（第１画像４０１）上で設定した注目点４０４の数だけ動きベクトルが算出される。動きベクトルは、各基準画像中の注目点４０４の位置を始点とし、探索画像４０２中の対応点位置を終点とするベクトルにより表現される。

または、動きベクトルの表現については、主にメモリ量の削減のため、ベクトルの変化成分に注目した次式を採用することもある。

探索領域内の相関スコアに対して多項式フィッティングを実施することで、より高精度に類似度のピーク位置を算出してもよい。また、テンプレート画像と探索画像を高画素化する処理等により、サブピクセル精度で動きベクトルや対応点の軌跡を算出してもよい。
以上の処理では、注目点４０４をグリッド状として、固定的に配置したブロックマッチングの例を説明した。この他、動きベクトルを算出し易い特徴点を基準画像上で抽出し、その位置を注目点としてベクトル探索を行ってもよい。注目点の抽出には、例えばHarrisオペレータ等の画像処理フィルタが用いられる。
Harrisオペレータはまず、ウィンドウWのサイズを決定し、水平方向および垂直方向についての微分画像（Ｉ_dx，Ｉ_dy）を計算する。微分画像の計算にはSobelフィルタ等を用いればよい。例えば、フィルタは、

として横方向にし、縦方向に３つ並べた3×3フィルタｈ_x、およびｈを縦方向にし、横方向に３つ並べた3×3フィルタｈ_yを画像に適用する。このフィルタ処理により、微分画像（Ｉ_dx，Ｉ_dy）が得られる。

次に、画像内の全ての座標（ｘ，ｙ）について、ウィンドウＷを用いて、以下のマトリクスＧを計算する。

マトリクスＧの最小特異値が大きい座標（ｘ，ｙ）の順に特徴点が抽出される。その際、特徴点があまり密集しない方がよいので、既に特徴点を抽出済みである座標（ｘ，ｙ）のウィンドウＷの周辺では必要以上に特徴点を算出しないといった制約が設けられる。

連続するフレームの画像間では、再度特徴点を求めてテンプレートマッチングを行ってもよいし、得られた動きベクトルの終端を注目点として、新たなフレーム間でテンプレートマッチングを行い特徴点の軌跡を追跡してもよい。または、各フレームで算出した特徴点間で、特徴量をキー情報としてテーブルマッチングを実施し、対応付けを行ってもよい。例えば、グラフアルゴリズムを活用することにより冗長な対応付けの処理量を削減できる。
こうして求めた画像の複数個所における動き量から、並進動き検出部７は、画像の並進動き量を計算する処理を行う。クラスタリング等を用いて、画像中で注目する被写体のみの並進動き量を算出してもよいが、被写体を特定する必要がない場合には、水平および垂直の各軸方向に対し、ヒストグラム処理を実施する。これにより、フレーム間に１組ずつのグローバルベクトルとして並進動き量が得られる。図５は横軸に水平方向の動き成分Δｘの度数分布を示し、縦軸に垂直方向の動き成分Δｙの度数分布を例示する。各方向にて矩形枠でヒストグラムを示している。図５に示すように、画像の複数個所の水平方向および垂直方向の動き成分について、各方向で２次元ヒストグラムを形成し、その最大ビンの動き量をグローバルモーション（GM）として算出する処理が実行される。

次に、面内回転動き検出部８の処理を説明する。
面内回転動き検出部８は、サンプリング周波数が高く、かつ応答性に優れる姿勢検出センサの検出情報を用いて回転動きを検出する処理を行う。あるいは、並進動き量検出と同様に、前処理部５から取得した画像情報から回転の動きを算出してもよい。例えば、画像中の局所ベクトルからグローバルベクトルを引くと、残留する画像の動き成分のうち主要な動きが面内回転動きとして求まる。下式を満たす面内回転角度（θと記す）が、例えばグローバルベクトルを引いたフレーム前後の対応点座標（ｘ_i，ｙ_i）と（ｘ’_i，ｙ’_i） (i=1,2,…)に対する最小二乗フィッティング処理により算出される。

次に、図６を参照して、幾何変形部９における、回転動き補正量を除いた並進動き補正量の算出処理について、具体的な演算処理内容を説明する。図６は、Ｓ００１ないしＳ００４のように、上位から下位へと順次に各処理が行われることを説明する流れ図である。
Ｓ００１に示す並進動き積分ステップにて、並進動き検出部７は、一定のサンプリング周期（単位期間）で得られる画像の並進動き量を積分する。また、Ｓ００２に示す回転動き積分ステップにて、面内回転動き検出部８は、一定のサンプリング周期で得られる撮像装置の回転動き量を積分する。並進動き量に関するサンプリング周期は、例えば撮像素子２の画像のサンプリング周期、フィールド周期、または並進動き検出部７の処理周期に依存する（例えば30fps、60fps等の周期）。一方、面内回転動き量に関するサンプリング周期は、面内回転動き検出部８が姿勢検出センサ等を備える構成の場合には数キロHzに相当する周期である。また面内回転動き検出部８が画像から面内回転動き量を検出する場合には、並進動き量に関するサンプリング周期と同様のサンプリング周期である。積分ステップＳ００１およびＳ００２では、各検出部のデバイス特性により異なるサンプリング周期にて積分演算が実行され、幾何変形部９の処理周期における過去のある時点を起点にした並進及び面内回転の姿勢変化へ変換が行われる。並進動き検出部７および面内回転動き検出部８における積分処理は、例えばIIR型低域通過フィルタにより実現される。並進動き検出部７および面内回転動き検出部８における積分処理は、光学式像振れ補正機構部における積分処理の場合と同様に、IIR型域通過フィルタのカットオフ周波数を調整することにより、補正対象とする揺れの周波数帯域を調整できる。また並進動き検出部７および面内回転動き検出部８は、フィルタの還流ゲインを調整することにより、過去の像振れ補正基準位置を起点にした時間軸の未来方向に積分量を更新していく処理速度を調整できる。また、並進動き検出部７および面内回転動き検出部８は、積分処理に低域通過フィルタを用いることで、揺れを除去した過去のある時刻を起点にした並進及び面内回転の姿勢変化を計算できる。

並進動き補正ステップＳ００３では、幾何変形部９は、積分ステップＳ００２で算出した面内回転動き量に基づいて、並進動き量（第１積分量）の補正を行う。幾何変形部９は、面内回転方向の幾何変形処理において、例えば面内回転動き量（第２積分量）の分だけ補正を行う場合、積分した並進動き量がどの揺れ方向に変化するかを計算する。これにより、面内回転動き量によって補正された並進動き量が算出される。

接線方向補正量の算出ステップＳ００４では、幾何変形部９が、Ｓ００１で算出された並進動き量と、Ｓ００３で計算された、面内回転方向の幾何変形補正後の並進動き量との差分を計算する。接線方向補正量の算出ステップＳ００４では、幾何変形部９は、面内回転方向の回転補正により、逆に加振されてしまう並進動きの接線方向成分を算出する。並進動き量の接線方向成分は、面内回転方向の幾何変形補正の前後における並進動き量の差分として計算される。幾何変形部９は、この面内回転方向の幾何変形補正の前後における並進動き量の差分（並進動き量の接線方向成分）を補正量として出力する。Ｓ００４での補正量算出処理において、幾何変形部９は、時間軸方向、すなわちフレーム間の補正量の違いに応じて、どのような揺れ変化が引き起こされるかを計算している。並進動き量の変化量が撮影画像内で検知可能な大きさである場合、面内回転方向の幾何変形処理は、並進動きの振動方向を回転させる効果をもつ。このため、観察者により振動方向の揺れが知覚される。幾何変形部９は、面内回転方向の回転補正に対し、Ｓ００４で得られた並進動き量の接線方向成分を用いて幾何変形処理を行う。これにより、光学式像振れ補正を行って得られた画像に対し、追加的に面内回転方向の回転補正を行うことにより生じる残留並進動き成分の方向的な揺れを抑制することができる。具体的には、下記の補正式を使用する。

（式６）中のθは面内回転補正量であり、その余弦関数と正弦関数は回転行列の各成分を構成する。ａとｂは２次元ベクトルの成分であり、それぞれθに対応する水平方向および垂直方向に対する並進動き量の接線方向成分（補正量）である。画像中の変換基準には、多くの場合、光学系の光軸と撮像素子面との交点に対応する画像中心が用いられる。

幾何変形部９は上述の回転補正、および、接線方向成分を補正するための並進補正を行う。すなわち幾何変形部９は回転及び並進補正処理からなるユークリッド幾何変形を行う。例えば画素毎にピクセル値を演算するフォワードマッピングまたはバックワードマッピングに基づく幾何変形回路を用いて幾何変形処理が実現可能である。なお、幾何変形処理にて、光学系の性質により生じる歪曲補正を追加的に行ってもよく、さらにはＣＭＯＳセンサを用いる場合に生じ得るローリングシャッタ歪を追加的に補正してもよい。本実施形態における幾何変形処理と、追加的な歪曲およびローリングシャッタ歪に対する幾何変形との大局的な処理の前後関係については、幾何学的な性質に従い順序を守って適用することで物理法則に沿った形で実現可能である。

本実施形態によれば、レンズ鏡筒内で動作する光学式像振れ補正機構部を備えた装置において、光学式像振れ補正を行うことで得られた画像に対し、さらに面内回転動き補正を電子式像振れ補正で行った場合に生じ得る副次的な揺れを検出する。これにより副次的な揺れを補正することができる。よって、面内回転補正を行う場合でも自然な動画用像振れ補正（歩き撮り時の動画像の撮影に対応した像振れ補正）を実現できる。

２ 撮像素子
３ 姿勢検出用センサ
４ 光学式像振れ補正制御部
７ 並進動き検出部
８ 面内回転動き検出部
９ 幾何変形部
１００ 撮像装置
１０１ レンズ鏡筒
１０２ カメラ本体部

Claims (8)

1. 光学系を介して被写体を撮像する撮像手段と、前記撮像手段により撮像された画像の像振れを補正する像振れ補正手段を備える撮像装置であって、
   前記像振れ補正手段は、光学部材の移動により画像の像振れを光学的に補正する第１像振れ補正部と、前記撮像手段により撮像された画像を処理して像振れ補正を行う第２像振れ補正部を有し、
   前記第２像振れ補正部は、
   前記第１像振れ補正部により光学的に補正された画像から、前記光学系の光軸に直交する面内における並進方向の動きを並進動き量として検出する第１検出部と、
   前記光学系の光軸回りにおける画像の回転方向の動きを回転動き量として検出する第２検出部と、
   前記並進動き量および前記回転動き量を取得し、前記並進動き量に対して前記回転動き量に従って前記撮像された画像を回転させる補正を行うとともに、当該補正により発生する前記並進方向の動きの接線方向成分を算出して前記画像の動きを幾何変形処理により補正する幾何変形部を備えることを特徴とする撮像装置。
2. 前記第１検出部は、前記並進動き量を検出して第１積分量を算出し、
   前記第２検出部は、前記回転動き量を検出して第２積分量を算出し、
   前記幾何変形部は、前記第１積分量および第２積分量を取得し、前記第１積分量に対して前記第２積分量により前記画像を回転させる補正を行い、補正後の積分量と補正前の前記第１積分量との差分を計算することにより、前記並進方向の動きの接線方向成分を算出して、前記補正によって生じる画像の動きを補正することを特徴とする請求項１に記載の撮像装置。
3. 前記第２検出部は、前記撮像装置の姿勢を検出して前記回転動き量を算出することを特徴とする請求項１または２に記載の撮像装置。
4. 前記撮像手段により撮像された画像を処理する画像処理部を備え、
   前記第２検出部は、前記画像処理部から取得した画像情報から前記回転動き量を算出することを特徴とする請求項１または２に記載の撮像装置。
5. 前記第１検出部は、前記画像処理部から取得した画像情報から画像の動きベクトルを算出することを特徴とする請求項４に記載の撮像装置。
6. 前記第１検出部は、前記画像処理部から第１画像および該第１画像よりも時間的に後の第２画像の情報を取得し、前記第１画像における注目点を始点とし、前記第２画像にて前記注目点に対応する点の位置を終点とする情報を算出することにより、前記並進動き量を算出することを特徴とする請求項４に記載の撮像装置。
7. 前記第１像振れ補正部は、動画像の動きに関する閾値以下の周波数成分を通過させる積分処理を行い、
   前記第１検出部は、前記第１像振れ補正部により光学的に補正された前記動画像の情報を前記画像処理部から取得し、並進方向における前記動画像の動き量を算出することを特徴とする請求項５または６に記載の撮像装置。
8. 光学系を介して被写体を撮像する撮像手段と、前記撮像手段により撮像された画像の像振れを補正する像振れ補正手段を備え、光学部材の移動により画像の像振れを光学的に補正する第１像振れ補正、および、前記撮像手段により撮像された画像を処理して像振れを行う第２像振れ補正を行う撮像装置にて実行される制御方法であって、
   前記第２像振れ補正は、
   前記第１像振れ補正により光学的に補正された画像から、前記光学系の光軸に直交する面内における並進方向の動きを並進動き量として検出する第１検出ステップと、
   前記光学系の光軸回りにおける画像の回転方向の動きを回転動き量として検出する第２検出ステップと、
   前記並進動き量および前記回転動き量を取得し、前記並進動き量に対して前記回転動き量に従って前記撮像された画像を回転させる補正を行うとともに、当該補正により発生する前記並進方向の動きの接線方向成分を算出して前記画像の動きを幾何変形処理により補正する補正ステップを有することを特徴とする撮像装置の制御方法。
   
   

Images