JP2016038415A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】撮像装置において、主被写体の像振れを補正することにより増幅される他の領域の像振れを効果的に抑制する。【解決手段】被写体像を撮像する撮像素子と、撮像素子により撮像された画像から主被写体を検出する検出部と、主被写体の画面上での位置を検出する位置検出部と、位置検出部により検出された主被写体の位置に基づいて、主被写体の像の画面上での振れを光学的に補正する光学振れ補正部と、光学振れ補正部により主被写体の像の振れを補正したことにより生ずる主被写体以外の被写体の像の振れと歪みの少なくとも一方を補正する補正部とを備える。【選択図】 図１

Description

本発明は、主被写体に光学的な像振れ補正を追従させて像振れを補正する撮像装置に関するものである。

近年、カメラの多画素化や高性能化に伴い、更に高度な動画用の像振れ補正機能が求められている。例えば、特許文献１では、手振れ等の撮像装置の振れに起因する像振れを抑制するだけでなく、主被写体にレンズや撮像素子の駆動機構により実現される光学的な像振れ補正機構を追従させて像振れ補正する撮像装置も提案されている。

また、特許文献２では、撮像装置の振れのみを検知するジャイロセンサだけでなく、撮像装置と被写体の相対的な動きによる像の動きを検知可能な動きベクトルを画像から検出し、ローリングシャッタ（ＲＳ）歪を含む像の歪みを補正する手法も提案されている。

特開２０１２−１４１９６号公報 特開２００７−２１５１１４号公報

しかしながら、主要な被写体の振れを無くそうとすると、他の領域、例えば背景等からなる主被写体領域以外の部分の像揺れやそれに伴うローリングシャッタ（ＲＳ）歪が大きくなる。特に被写体が動体の場合は静止した背景との相対的な動きの差が大きいため、揺れや歪が顕著となる可能性が高い。ローリングシャッタ（ＲＳ）歪や光学的な像振れ補正で止められない揺れ成分が大きくなると、映像酔いが誘発され易くなる。さらに非主被写体領域を含む全域を、主被写体とカメラの相対的な動きに基づいて単純に補正してしまうと、撮像装置の振れ補正の追従対象となっている主被写体領域以外の部分はさらに像が歪むことになる。

本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像装置において、主被写体の像振れを補正することにより増幅される他の領域の像振れを効果的に抑制することである。

本発明に係わる撮像装置は、被写体像を撮像する撮像素子と、前記撮像素子により撮像された画像から主被写体を検出する検出手段と、前記主被写体の画面上での位置を検出する位置検出手段と、前記位置検出手段により検出された前記主被写体の位置に基づいて、前記主被写体の像の前記画面上での振れを光学的に補正する光学振れ補正手段と、前記光学振れ補正手段により前記主被写体の像の振れを補正したことにより生ずる前記主被写体以外の被写体の像の振れと歪みの少なくとも一方を補正する補正手段と、を備えることを特徴とする。

本発明によれば、撮像装置において、主被写体の像振れを補正することにより増幅される他の領域の像振れを効果的に抑制することが可能となる。

本発明の一実施形態の撮像装置のブロック構成を示す図。 主被写体検出手法の概要を説明するフローチャート。 被写体領域のグルーピングを説明する図。 被写体領域グループの特性値演算の様子を説明する図。 主被写体への追従を目的とした光学的な像振れ補正を説明する図。 主被写体に追従する像振れ補正で生じる非主被写体領域の揺れの様子を説明する図。 ローリングシャッタ（ＲＳ）歪補正の対象となる歪の様子を説明する図。 非主被写体領域を選択しての振れ・歪補正を説明する図。 歪・振れ補正位置・量演算の処理フローを説明する図。 主被写体領域サイズに関する補正処理の実施判定の概要を説明する図。 非主被写体領域の動きに関する補正処理の実施判定の概要を説明する図。 オクルージョン領域発生を抑制する処理を説明する図。

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。

図１は、本発明の一実施形態の撮像装置１００のブロック構成を示す図である。撮像装置１００は、被写体像を結像させる光学系１、撮像素子２、前処理部３、カメラ姿勢変化取得部４、主被写体位置・領域検出部５を備える。また、光学振れ補正制御部６、光学振れ補正制御監視部７、振れ・ローリングシャッタ（ＲＳ）歪補正位置・量演算部８、振れ・ローリングシャッタ（ＲＳ）歪補正部９も備える。

光学系１は、被写体Ｏから放射された光を撮像素子２上に結像させるコンポーネントであり、複数枚のレンズおよびミラーから構成される。光学系が光学的な振れ補正機構を含む場合、像振れを補正するための補正レンズ１１を光軸と直交する方向に移動させることにより、撮像素子２上の光学像の位置を平行移動させ、像振れを補正する。

撮像素子２はセンサ面上に結像された光学像を電気信号に変換する素子である。撮像素子２が、光学系１内の補正レンズ１１の代わりに、ピエゾ素子等により光軸に垂直な面上で平行移動を行って手振れによる像振れを補正してもよい。

前処理部３は、撮像素子２で光電変換されたアナログの画像信号に対して相二重サンプリング（ＣＤＳ）によるノイズ除去、オートゲインコントロール（ＡＧＣ） でのゲインアップによる露出制御を行う。また、黒レベル補正、Ａ／Ｄ変換、ベイヤー配列補間等の基礎的な処理を行い、デジタル信号に変換した画像信号を得る。主被写体位置・領域検出部５への入力画像に対し、別途、出力画像生成用とは異なるベイヤー配列補間等によるカラー画像生成もしくは輝度画像生成を行っても良い。これは主被写体位置・領域検出のための簡易レベルで良い。また、主被写体位置・領域検出処理の精度やロバスト性を向上させるために、ローパス、ハイパス等のフィルタリング処理、トーンマッピング等の階調調整処理を行ってもよい。アナログ信号に対する前処理が主であるため、主要部はＡＦＥ（アナログフロントエンド）とも呼ばれる。一方、デジタル出力センサと対で使われるものはＤＦＥ（デジタルフロントエンド）と呼ばれる。

カメラ姿勢変化取得部４は、例えばジャイロや加速度センサ、電子コンパス等の位置姿勢センサにより構成され、撮像装置の撮影シーンに対する絶対的な位置姿勢変化を計測する。本実施形態においては、位置の変化と姿勢変化との区別は発明の趣旨に影響しないので説明の簡潔化のため、姿勢変化に絞って説明する。姿勢センサは、光学系の光軸に直交する任意の軸に取り付けられる。姿勢センサが回転センサの場合、撮像装置のヨー方向、ピッチ方向、ロール方向の各軸に取り付けられ、各軸周りの回転による姿勢変化を計測し、振れ・ローリングシャッタ（ＲＳ）歪補正位置・量演算部８に情報を伝える。光軸に垂直な回転軸がヨー方向、ピッチ方向、光軸と平行な回転軸がロール方向である。回転センサ信号を用いた姿勢変化計測処理に、加速度センサや地磁気センサ情報を追加、計測して位置姿勢変化の計測性能や精度を向上してもよい。また、カメラ姿勢変化取得部４は、内部に積分処理部を持ち、例えば姿勢変化情報センサであるジャイロのサンプリングタイミング（１ＫＨｚ）といったレートだけでなく、撮影画像のフレームレートである６０ｆｐｓや１２０ｆｐｓといったサンプリングタイミングに合わせた、異なるレートの姿勢変化情報を同時に出力してもよい。

主被写体位置・領域検出部５は、前処理部３からの画像情報を入力とし、主被写体の画像内での有無、画像上での位置（位置検出）、領域情報を検出する。まず、主被写体位置・領域検出部５における画像内での主被写体の有無、位置、領域情報の検出に関して説明する。但し、画像内での主被写体の有無、位置、領域情報の検出手法には、画像の輝度や色の変化を用いる手法（特開平１１−１９０８１６号公報参照）、距離情報を用いる手法（特開２００７−９６４３７号公報参照）、顕著性と呼ばれる輝度勾配変化を用いる方法（特開２０００−２０７５６４号公報）等さまざまな方法が既に提案されている。画像内の主被写体の有無、位置、領域を検出できる手法ならば任意の手法を用いてよい。

例えば、輝度や奥行き情報を基にしたK-means法やEMアルゴリズムによるクラスタリング、BICやAICによる分割数決定の手法利用が基本として考えられる（Beth Horn,et.al.,"Comparison of Segmentation Approaches"参照）。

また距離情報を用いる手法は撮像装置のＡＦ機構を利用できるため、撮像装置では実現が容易である。加えて、主被写体の領域情報の算出や主被写体の有無判定には、画像をピラミッド化して得られる局所勾配情報の集合であるＳＩＦＴ特徴の様な高度な多次元特徴量の算出を補助的に行い、領域情報をさらに精密化したり判定精度の高度化をしてもよい。例えば、ＳＩＦＴ特徴量をさらにＢｏＦ（Bug Of Features）特徴に集約し、領域情報の精密化補助情報として用いてもよい。またＢｏＦの様な多次元特徴量は、主被写体有無の判定、もしくは判定の補助情報となる主被写体領域の像の主被写体らしさの判定に用いてもよい（A. Rabinovich,et.al.,"Objects in context", In Proc. of IEEE International Conference on Computer Vision,pp.1150-1157(2007)参照）。事前にニューラルネットワークやディープラーニング、多分木等の識別器に撮像装置のユーザもしくは撮像装置の製造者が主被写体候補のオブジェクトの像から抽出した多次元特徴量を事前に学習させておいてもよい。そして、画像から抽出した多次元特徴量を入力として識別検索させ、主被写体らしさの尤度を算出させることで、撮像機器製造者やユーザが主被写体と考える任意の被写体を柔軟に主被写体として認識することが可能となる。また領域情報の算出技術として多次元特徴量を用いる場合にはGraph Cut等の補助的な技術を用いたり、時間方向の領域情報の変化を境界の精度向上に利用したりしてもよい。

本実施形態においては最も簡単で基本的な輝度情報、およびＡＦ等の測距機能を用いて得られる距離情報を基にした方法を例に説明をおこなう（特許文献３参照）。

図２は画像内での主被写体の有無、位置、領域情報の検出手法の概要を説明するフローチャートである。

Ｓ１０１のグルーピングステップにおいては、まず、例えば図３（ｂ）のように画面の左上から右下まで図中の矢印のようにラスタ・スキャンしながら分割処理を行う。図４はグルーピングの概要を説明する図である。図３（ａ）は対象となるカラーまたは階調画像である。処理は画素、または画素を局所的にまとめた集合（以下ブロック）を単位として処理をしていく。この場合、注目ブロックＧ（ｘ，ｙ）の上のブロックＧ（ｘ，ｙ−１）と左ブロックＧ（１−ｘ，ｙ）との間で、同じグループかどうかの判定を行えば、結果的にすべての隣接ブロック間で同一ブロックかどうかの判別を行うことができる。この時、画面の上辺（ｙ＝０）と左辺（ｘ＝０）のブロックは、それぞれ上のブロックと左のブロックが存在しないのでそれらに対する処理は行わない。また、判別結果はＲＡＭ上のメモリＧ（０，０），…，Ｇ（ｍ−１，ｎ−１）に記録する。まず、Ｇ（０,０）のブロックは、グループ番号ｇ＝１として登録して、領域が異なるグループが検出されればｇの数を一つ増やしてそのブロックのグループ番号とする。この処理により、例えば図３（ａ）の様な撮影シーンは図３（ｃ）のように各グループ毎に番号が与えられる。こうした番号付けの処理は「ラベリング法」と呼ばれる公知技術である。また、各ブロック間での同一ブロックかどうかの判別方法に関しては、例えば隣り合う階調、および／もしくは距離情報が所定範囲内の時に同一ブロックとして処理する方法がとられる。ここまでの処理により複数の被写体に対応するグループが検出される。

Ｓ１０２の各グループ特性値演算ステップにおいては、画像内、言い換えれば撮影空間を構成する各グループの特性を評価する特性値を計算する。この特性から全てのグループの中から主被写体を表すグループを決定する。例えば各グループの被写体領域の主被写体度を演算する。この主被写体度はグループの平均的な距離や領域の幅、高さ、画面上の位置などの特性をそれぞれ演算して、それらを総合評価して主被写体と考えられる領域を判別する。例えば主被写体度評価関数Ｓとしては次式の様な式が提案されている。

（主被写体度Ｓ）＝（Ｗ１＊（幅）＋Ｗ２＊（高さ））／（画像中心からの距離）＋Ｗ３＊（平均距離） …（１）
上式において、Ｗ１，Ｗ２，Ｗ３は重み付け定数、画像中心からの距離は画面中心と領域の重心位置との距離であり、また平均距離は領域内の全ブロックの平均距離（被写体距離）を表す。距離はＡＦの測距機能を用いブロックごとに算出してもよいし、各グループ内に含まれるＡＦ測距点の値を代表値として用いてもよい。図４に特性値をマップ化した様子を示す。画像に占める面積が大きく、画像の中央に近く、距離も近い被写体領域のスコアが高くなっている。一方、面積が小さく、画像の周辺部にあり、遠くに存在する被写体領域のスコアは小さくなる。図中の番号は特性値の高い順を表す。

Ｓ１０３の主被写体領域選択ステップは、最後に主被写体度の高いグループを主被写体と判定し、そのグループに所属するブロックを囲む領域を主被写体領域情報とするステップである。また例えば、その領域の重心位置を位置情報とする。図４の場合は１番特性値の高かったラベリング１番の領域が主被写体として選ばれている。

本実施形態としては主被写体決定の一例を示したが、この例示には限定されない。例えば、前述のように、事前にニューラルネットワークやディープラーニング、多分木等の識別器に撮像装置のユーザもしくは撮像装置の製造者が別途用意した主被写体候補のオブジェクトの像から抽出した多次元特徴量を事前に学習させておく。そして、画像から抽出した多次元特徴量を入力として識別検索させ、主被写体らしさの尤度を算出させることで、撮像機器製造者やユーザが主被写体と考える任意の被写体を柔軟に主被写体として認識し、選択できるようにしてもよい。

Ｓ１０４の主被写体有無判定ステップでは、主被写体度を示す特性値が事前設定した閾値以下の場合は画角内に主被写体が存在しないとして主被写体の有無として、なしのフラグ情報を返す。十分高い特性値が得られた場合は有のフラグ情報を返す。このような手順を追うことにより、画像内での主被写体の有無、位置、領域情報を得ることができる。

光学振れ補正制御部６は、光学的な像振れ補正を行う補正レンズ１１の平行移動を制御して振れ補正を行う。補正レンズ１１が光学系１に含まれる場合は補正レンズ１１の平行移動を制御し、一方撮像素子２自身が光軸と垂直に動く場合は撮像素子２の平行移動を制御する。主被写体位置・領域検出部５から入力される主被写体の画像上での位置情報の変化を基に、例えば主被写体が常に画面内の中央に来るようにしたり、手振れや被写体ぶれ等の影響で画像内で主被写体が激しく位置変化しないように補正レンズ１１を駆動する。この結果、撮影される画像フレーム内で主被写体は静止することとなり、それ故、ローリングシャッタ（ＲＳ）歪等の像の動きに起因する歪も抑制される。

図５は、主被写体の像振れ補正の概要を説明する図である。図５（ａ）、（ｂ）、（ｃ）は各タイミングにおける撮像装置から得られる画像フレームとする。図５（ａ）の中心に写っている人物は主被写体であるとする。これに対し図５（ｂ）に示すように撮像装置もしくは被写体の動きにより、被写体と撮像装置間で相対的な動きが生じると主被写体が画角の隅、場合によっては画角外に移動してしまう。これを図５（ｃ）に示すように光学振れ補正機構の操作により、例えば画角の真ん中に持ってくる、もしくは主被写体の位置、例えば重心位置が激しく位置変化しないようにして鑑賞者の負担を減らす技術が提案されている（特許文献１）。例えば主被写体領域の位置が重心で与えられる場合は、主被写体の重心位置が常に画像の中心にあるように振れ補正される。

一方、主被写体が動被写体で、それ以外の画像内に写り込んだ背景が静止物体の場合、背景領域は相対的に、逆に加振されることとなり、振れやそれに起因するローリングシャッタ（ＲＳ）歪等の像の動きに起因する歪が新たに付加されてしまう。図６はその現象の概略を示したものである。図６（ａ）は動被写体である車を流し撮りしている際、背景の建造物や山が写り込んでいる場合である。主被写体の振れ補正を行わない通常の撮影の場合は図６（ｂ）のように、動被写体である主被写体の車が動き、非主被写体（主被写体以外の領域）の背景が静止した絵が得られる。一方、このシーンを図６（ｃ）のように車が動いている状態を止めようとした場合、車は静止状態となるが逆に背景が動くようになる。説明の簡略化のため、車の移動を相対動きの例に挙げたが、この被写体動きが車がダートを走った場合の激しい上下運動のような場合、非常に気になる揺れを付加してしまうこととなる。このような撮像装置と被写体との相対動きで生じる振れや歪は動画として鑑賞すると映像酔いを引き起こす主要因となる。

例えば、光学系１の前処理部３からの出力の画像上でのピクセル換算の焦点距離がｆ[pixel]であって、水平方向のｘ[pixel]の主被写体の位置変化を補正する場合、次式で換算される角度分の補正を、光学振れ補正機構を制御して補正する。

θγ＝ｔａｎ^-1（ｘ／ｆ） …（２）
θγは光学振れ補正機構のヨー方向の補正相当角である。当然、ずれが垂直方向（例えばｙ[pixel]）の場合は、ピッチ方向の補正相当角θｐだけ補正する。または、撮像面上での像の平行移動量 [mm]が制御量の場合は、焦点距離ｆ[pixel]、センサピッチｐ[mm ]を用いて画像上での位置変化量ｘ[pixel]から変換して制御する。

ｘ[mm]＝ｘ[pixel]／ｐ[mm/pixel] …（３）
光学振れ補正制御監視部７は、ホール素子またはエンコーダ等により構成され、光学振れ補正を行う補正レンズ１１の平行移動量を正確に計測する。もしくは撮像素子２が移動する場合は撮像素子２の平行移動量を計測する。また光学振れ補正制御監視部７は、光学振れ補正制御部６の制御情報を代わりに取得しても良い。

振れ・ローリングシャッタ（ＲＳ）歪補正位置・量算出部８は、光学振れ補正制御監視部７からの補正量情報、カメラ姿勢変化取得部４からの撮像装置の姿勢変化情報、主被写体位置・領域検出部５からの主被写体の位置変化、および主被写体領域の情報を基に、非主被写体領域に対する補正処理の実施の有無、画像内の各所における補正量、およびローリングシャッタ（ＲＳ）歪の補正量を計算する。

そして振れ・ローリングシャッタ（ＲＳ）歪補正部９は、ローリングシャッタ（ＲＳ）歪補正位置・量算出部８からの振れおよびローリングシャッタ（ＲＳ）歪の補正量に基づき、幾何変形を行う。そして、各画像フレームの振れおよびローリングシャッタ（ＲＳ）歪を補正し、映像酔いの要因となる振れや歪を抑制した画像を生成する。

まず、非主被写体領域に対する振れ補正およびローリングシャッタ（ＲＳ）歪の補正量算出、および補正に関して、基本的な事項の説明から行う。非主被写体領域に対する振れ補正およびローリングシャッタ（ＲＳ）歪の補正においては、基本的に主被写体が静止被写体もしくは動被写体、非主被写体領域が、全て静止被写体とみなして補正を行う。つまり、主被写体領域が動被写体の場合、非主被写体領域が主被写体領域の動き量に対し、従来の振れ補正の対象である手振れ量との差し引き分、加振されてるとみなし、動き量により生じる像の振れと歪を補正する。

具体的には、光学振れ補正制御監視部７から得られる振れ補正量の変化情報、およびカメラ姿勢変化取得部４から得られる姿勢変化情報を基に、振れおよび歪の補正量を決定する。光学振れ補正制御監視部７から得られる振れ補正量の変化情報とは、主被写体領域の位置変化を止めるもしくは緩和するために行われた光学振れ補正の実際に行われた補正量に対応する。補正量は直交する軸をなす画像上でのヨー、ピッチ方向に対応する、水平垂直方向で独立で算出してもよい。

光学振れ補正量を式（２）により角度換算したヨーもしくはピッチ方向の補正角θ_OptStb_X（Ｘ：Ｙ，Ｐ）、ヨーもしくはピッチ方向のカメラのぶれ角をθ_X（Ｘ：Ｙ，Ｐ）とすると、画像内の非主被写体領域に付加されている加振量θ_add_X（Ｘ：Ｙ，Ｐ）は次式で表すことができる。

θ_add_X（Ｘ：Ｙ，Ｐ）＝θ_OptStb_X（Ｘ：Ｙ，Ｐ）−θ_X（Ｘ：Ｙ，Ｐ）
…（４）
θ_add_X（Ｘ：Ｙ，Ｐ）分の振れおよび振れにより生じるローリングシャッタ（ＲＳ）歪を補正する必要がある。故に、非主被写体領域についての振れ補正は、この振れ補正情報および、主被写体領域情報を用いて補正する。振れについては（２）式の逆、
ｘ or ｙ＝ｆｔａｎθ_add_X …（５）
により求められる水平および垂直方向の並進移動量分、非主被写体領域を平行移動させて振れ補正する。

一方、ローリングシャッタ（ＲＳ）歪補正については、光学振れ補正制御監視部７から得られる振れ補正量の変化情報、およびカメラ姿勢変化取得部４から得られる姿勢変化情報を、画像のフレームレートよりもさらに高サンプリングレートでサンプリングする。そして、画面内の走査ラインに対応した動きをそれぞれ算出しておくことで歪み補正を高精度に行う。例えば、フレームレートもしくは画像の行毎のサンプリングレートに対応したサンプリング間隔以上の高い周波数で動き情報を取得する。

光学補正を通した映像のローリングシャッタ（ＲＳ）歪補正の方法については、本出願人により既に提案されているので、ここでは簡潔な説明に留める。

以下は、ローリングシャッタ（ＲＳ）歪の発生過程を表す現象式（S.Baker,R.Szeliski,et.al.,”Removing Rolling Shutter Wobble”, Proc. CVPR（2010）,p.p.2392-2399参照）である。

なお、以下では、

を、それぞれｘ→ ，ｘ’→，ｐ→、と表わすものとする。

ｘ’→はローリングシャッタ（ＲＳ）歪画像座標、ｘ→はローリングシャッタ歪補正後の画像座標、ｍ（ ）は空間動きモデル関数である。右辺の第２項は基準行ｙ1と幾何変形の対象画素を含む行ｙとの露光期間のズレ（ｙ−ｙ1）τの間に生じた撮像装置の動きによる画像上の動きを再現する項である。ｔ1は基準行の撮影時刻、ｔは補正対象の画素を含む行の撮影時刻を表す。ｐ→（ｔ）は動き情報パラメータを表すベクトル量である。 さらに、得られる情報がヨーやピッチ、ロール方向のカメラの姿勢変化の場合、式の簡略化が可能となり、関数ｍ（ ）が積分外に括り出せる。

また、例えばヨーやピッチ、ロール方向は、この場合ｍ（θ）がｆｔａｎθと表現可能である。したがって、各行のピクセルに対する補正式は、

といった形に式を展開可能である。ｘ→（，ｌ） とは歪画像上の像高ｌの水平座標の任意の画素の補正式であることを表現している。行毎に補正パラメータ量が同じであることを示している。このような現象式の解釈や近似に基づき、幾何変形基準座標決定部が決定した基準座標を含む像高の行ｙ1を基準として、フレーム内の各行のローリングシャッタ（ＲＳ）歪に対する補正量を積分により求めることができる。

また、光学振れ補正の影響を減算するため、ヨーやピッチ、ロール方向の式（７）において、光学振れ補正監視部５で算出した各フレーム毎の各行の光学振れ補正の平行移動の変化速度Δｓｈｘ（ｌ） を減算する。次式のような補正量が得られる。

以上のようなマッピング式を前提に、基準座標を含む像高の行ｙ1を基準に映像の各行に対応する行までの姿勢変化及び光学振れ補正による並進の変化を積分変数として積分する。そして、積分した補正量をロール、ピッチ、ヨーについて算出し、ローリングシャッタ（ＲＳ）歪・振れ補正部９へと送る。

但し、バックワードマッピングを実施したい場合には、ΔＰ（ｌ）のパラメータに基づき、ΔＸ，ΔＰ，ΔΘのデータ配列をマップしてパラメータを再構成しなおす必要がある。ここまで、ローリングシャッタ（ＲＳ）歪補正について通常の手振れを例に説明を行ったが、主被写体の振れ補正においては、ヨー、ピッチ方向については非主被写体領域において光学振れ補正が加振効果を引き起こしているため、補正量は逆符号となる。

この処理により、図７に示すようなヨー・ピッチ方向について光学振れ補正が引き起こす非主被写体領域におけるローリングシャッタ起因の歪を補正する。また手振れにより生じるロール方向のローリングシャッタ（ＲＳ）歪も同時に補正してもよい。

また、適用は図８に示すように、主被写体領域にマスクをして非適用領域を作り、非主被写体領域全域、または選択領域に適用する。図中の斜線部が処理の適用領域、白抜き部分が非適用領域を示す。

そしてローリングシャッタ（ＲＳ）歪・振れ補正部９では、主被写体位置・領域検出部５で得られた主被写体領域情報および、ローリングシャッタ（ＲＳ）歪・振れ補正位置・量算出部８で得られた補正量を基に、非主被写体部の振れ補正およびローリングシャッタ（ＲＳ）歪の補正を行う。振れ補正パラメータＹ（ｊ），Ｐ（ｊ），Ｒ（ｊ）、ローリングシャッタ（ＲＳ）補正パラメータΔＸ，ΔＰ，、ΔΘを受け取り、各フレーム毎の変換を行って振れ補正後の各フレームを得て映像を生成する。

歪・振れ補正位置・量算出の概要フローを図９に示す。図９（ａ）に示すように、処理は大きく分けてＳ２０１の実施判定ステップと、Ｓ２０２の非主被写体領域振れ・ローリングシャッタ（ＲＳ）歪補正位置・量算出ステップと、Ｓ２０３の非主被写体領域振れ・ローリングシャッタ（ＲＳ）歪補正ステップからなる。

まず、Ｓ２０２の非主被写体領域振れ・ローリングシャッタ（ＲＳ）歪補正位置・量算出ステップ、Ｓ２０３の非主被写体領域振れ・ローリングシャッタ（ＲＳ）歪補正ステップについて先行して説明する。

主被写体の有無、領域の画像内に占める割合、または非主被写体領域の動きによっては非主被写体領域における振れ補正およびローリングシャッタ（ＲＳ）歪補正は行わない。具体的には図９（ｂ）のフローに示すように、主被写体領域サイズが画像に占める割合（比率）が大きい場合には非主被写体領域における補正処理を実施しない。図１０は非主被写体領域における補正処理実施の有無の違いを示す図である。図１０（ａ）に示すように、主被写体領域が小さく、非主被写体領域が占める割合が大きい場合には、振れやそれにより引き起こされるローリングシャッタ（ＲＳ）歪の度合いが大きく映像酔いを引き起こす可能性があるため実施する。逆に図１０（ｂ）に示すように、主被写体領域が大きく、非主被写体領域が占める割合が小さい場合には、効果が小さくなるため実施しない。

また、本実施形態は非主被写体領域が静止領域である前提で補正を行うため、図９（ｃ）に示すフローのように、追加で非主被写体領域の動きを見て非主被写体領域における補正処理の可否を判断してもよい。具体的には不図示の動きベクトル探索手段を用い、画像内の各グループ領域の画像動きを算出する。そして、その動きが式（４）で示される光学振れ補正量のフレーム間での変化量からカメラ姿勢変化取得部４から得られる撮像装置の姿勢変化情報を引いた動きと同等の動きの場合には、図１１（ａ）のように非主被写体領域が静止領域であるとみなす。そして、振れ・ローリングシャッタ（ＲＳ）歪補正処理を実施する。逆に、大きく異なる場合は、図１１（ｂ）のように非主被写体領域が動領域であるとみなし、処理を行わない。静止領域か否かの判定は、非主被写体領域全域で一度に行うか、もしくはグループ領域毎に行ってもよい。

しかしながら、図１２（ａ）のように非主被写体領域のみに対し、振れ補正やローリングシャッタ（ＲＳ）歪補正を単純に適用すると、図１２（ｂ）に示すように、補正をしない主被写体領域との境界でずれを生じる。この弊害に対しては、撮像装置に近い側の領域で補間してしまった場合、見た目に違和感のある像となってしまう。この場合、前述のＡＦ等により得られる距離情報に基づき、オクルージョンに隣接する背景側の領域で補間することで自然な補間を行うことができる。

もしくは、図１２（ｃ）に示すように得られた主被写体領域情報をモルフォロジ的に境界に垂直な方向に拡張したサブ領域を多層に作成し、その領域毎に振れ補正やローリングシャッタ（ＲＳ）歪補正量を連続的に軽減することが有用となる。

振れ・ローリングシャッタ（ＲＳ）歪補正を行った画像情報はその後、例えば不図示の後処理部に送られ目的に合った画像データに変換され保存される。例えば、後処理部は、線形化マトリクス処理、ホワイトバランス調整、ＹＣＣ変換、色差・階調・コントラスト補正、エッジ強調、等の入力されたデジタル画像信号に対するバックエンドの画像処理により構成される。バックエンド処理は前処理部３のＡＦＥ処理に対してＤＢＥ（デジタルバックエンド）処理と呼ばれる。フロントエンド処理及びバックエンド処理を行うことにより一枚の出力画像を生成可能である。さらに近年、不図示の動きベクトル探索部で得られた動きベクトルを用い、レジストレーションした複数枚の合成により広ダイナミックレンジ画像を生成するダイナミックレンジ拡張（ＨＤＲ）や複数枚ノイズリダクション（ＮＲ）、超解像処理等の付加価値向上処理も後処理の一種として分類される。これらの処理により一枚もしくは動画に形成された出力像の情報を生成する。また、動き振れ情報は画像の補足情報として画像のメタ情報、または別途管理の情報として扱われ、３次元再構成、空間マッピング、認識等の付加機能の実現に用いることも可能である。

あるいは、振れ・ローリングシャッタ（ＲＳ）歪補正を行った画像情報、もしくは後処理部で処理された画像情報は、不図示のＤＲＡＭ等から構成されるワークメモリに一旦保存、もしくは想定されるさらなる後段処理部に直接伝送される。後段の処理部としては例えば、任意の保存フォーマットへの変換を行う符号化部、半導体メモリ等からなる記録部、液晶等のディスプレイ等から構成される表示部、無線ＬＡＮや有線ＬＡＮ、ＵＳＢ等の有線ケーブル等を接続可能なＩ／Ｆ（インターフェース）から構成される外部入出力Ｉ／Ｆが挙げられる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されずその要旨の範囲内で種々の変形および変更が可能である。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Ｏ：被写体，１００：撮像装置，１：光学系，２：撮像素子，３：前処理部，４：カメラ姿勢変化取得部，５：主被写体領域・位置検出部，６：光学振れ補正制御部，７：光学振れ補正制御監視部，８：振れ・ローリングシャッタ（ＲＳ）歪補正位置・量算出部，９：振れ・ローリングシャッタ（ＲＳ）歪補正部

Claims (12)

1. 被写体像を撮像する撮像素子と、
   前記撮像素子により撮像された画像から主被写体を検出する検出手段と、
   前記主被写体の画面上での位置を検出する位置検出手段と、
   前記位置検出手段により検出された前記主被写体の位置に基づいて、前記主被写体の像の前記画面上での振れを光学的に補正する光学振れ補正手段と、
   前記光学振れ補正手段により前記主被写体の像の振れを補正したことにより生ずる前記主被写体以外の被写体の像の振れと歪みの少なくとも一方を補正する補正手段と、
   を備えることを特徴とする撮像装置。
2. 前記光学振れ補正手段は、光学系に設けられた振れ補正レンズであることを特徴とする請求項１に記載の撮像装置。
3. 前記光学振れ補正手段は、前記撮像素子を光軸とは異なる方向に移動させる駆動手段であることを特徴とする請求項１に記載の撮像装置。
4. 前記補正手段は、画像を幾何変形させることにより前記主被写体以外の被写体の像の振れと歪みの少なくとも一方を補正することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記検出手段は、画像の階調、色、被写体距離、被写体の画面上での大きさ、被写体の位置の少なくとも１つに基づいて、前記主被写体を検出することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記補正手段は、前記主被写体の大きさの画面の大きさに対する比率が所定の値以下の場合には、前記主被写体以外の被写体の像の振れと歪みの少なくとも一方を補正し、前記主被写体の大きさの画面の大きさに対する比率が所定の値より大きい場合には、前記主被写体以外の被写体の像の振れと歪みを補正しないことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記補正手段は、前記主被写体以外の被写体が静止している被写体である場合には、前記主被写体以外の被写体の像の振れと歪みの少なくとも一方を補正し、前記主被写体以外の被写体が動いている被写体である場合には、前記主被写体以外の被写体の像の振れと歪みを補正しないことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記撮像装置の振れを検出する振れ検出手段をさらに備えることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記主被写体領域と主被写体以外の領域の境界において、前記主被写体以外の領域から前記主被写体の領域に向けて、前記主被写体以外の被写体の像の振れと歪みの少なくとも一方を補正する補正量を連続的に軽減することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 被写体像を撮像する撮像素子を備える撮像装置を制御する方法であって、
    前記撮像素子により撮像された画像から主被写体を検出する検出工程と、
    前記主被写体の画面上での位置を検出する位置検出工程と、
    前記位置検出工程により検出された前記主被写体の位置に基づいて、前記主被写体の像の前記画面上での振れを光学的に補正する光学振れ補正工程と、
    前記光学振れ補正工程により前記主被写体の像の振れを補正したことにより生ずる前記主被写体以外の被写体の像の振れと歪みの少なくとも一方を補正する補正工程と、
    を有することを特徴とする撮像装置の制御方法。
11. 請求項１０に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
12. 請求項１０に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images