JP2018182730A - 画像処理装置、画像処理方法、および撮像装置 - Google Patents

Abstract

【課題】像ブレ補正がなされた、かつ自然に見える動画を生成可能な画像処理装置、画像処理方法、および撮像装置を提供すること【解決手段】光学系を介して撮像された第１の画像に対して変形処理を含む１つ以上の処理を適用することにより第２の画像を生成する画像処理装置である。第１の画像は、光学系の収差による歪みを有する画像であり、第２の画像は、画像の中心座標と歪みの中心に対応する座標とが一致しない画像である。画像処理装置は、画像の中心座標からの距離に応じた歪曲率の歪みを有する第２の画像を生成する。【選択図】図５

Description

本発明は、画像処理装置、画像処理方法、および撮像装置に関する。

精度の良い像ブレ補正を行うため、撮影光学系の収差による歪みを補正した画像に像ブレ補正を行うことが知られている（特許文献１）。また、収差による歪みには樽型歪みと糸巻き型歪みがあるが、樽型歪みの方が自然に見えることが知られており、特許文献１では、像ブレ補正後の画像に意図的に樽型の歪曲を付加している。

特開２００６−３３７５９号公報

撮影光学系の収差に起因する画像歪みの大きさは、光軸からの距離（像高）に依存するため、収差に起因する画像歪みと同様の歪みを光軸を中心として画像に付加するのが一般的である。しかしながら、動画に像ブレ補正を行う場合、像ブレ補正によって、撮影光学系の光軸と各動画フレームの中心との位置関係が経時変化する。そのため、像ぶれ補正された動画フレームに対して光軸を中心とした樽型歪みを付与すると、像高と歪みの大きさとの関係が経時変化し、特に像高の大きな部分において観察者に違和感を与えてしまう。このような問題について、特許文献１には何ら記載されていない。

本発明はこのような従来技術の課題を抑制し、像ブレ補正がなされた、かつ自然に見える動画を生成可能な画像処理装置、画像処理方法、および撮像装置を提供することを目的とする。

上述の目的は、光学系を介して撮像された第１の画像に対して変形処理を含む１つ以上の処理を適用することにより第２の画像を生成する生成手段を有する画像処理装置であって、第１の画像は、光学系の収差による歪みを有する画像であり、第２の画像は、画像の中心座標と歪みの中心に対応する座標とが一致しない画像であって、生成手段は、画像の中心座標からの距離に応じた歪曲率の歪みを有する第２の画像を生成する、ことを特徴とする画像処理装置によって達成される。
また、上述の目的は、動画を取得するために用いられた光学系の収差による画像の歪みの補正、および、撮像装置による振れの補正がなされた動画を生成する画像処理装置であって、該画像処理装置が、動画の各フレームに対し、画像の中心位置を基準とした歪みを付加するように動画を処理することによって達成される。

本発明によれば、像ブレ補正がなされた、かつ自然に見える動画を生成可能な画像処理装置、画像処理方法、および撮像装置を提供することが可能になる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図 本発明の実施形態に係る制御の一例を示すフローチャート 本発明の実施形態に係る歪曲補正処理及び歪曲付加処理を説明するためのグラフ 本発明の実施形態に係る像ブレ補正量演算回路２０３の構成例を示すブロック図 本発明の実施形態に係る歪曲補正処理及び歪曲付加処理の効果を説明するための図 本発明の第２の実施形態に係る撮像装置の構成例を示すブロック図 本発明の第２実施形態に係る光学補正制御回路２２０の構成例を示すブロック図 本発明の第２の実施形態に係る制御の一例を示すフローチャート 本発明の第２の実施形態に係る歪曲補正処理及び歪曲付加処理の効果を説明するための図 本発明の第３の実施形態に係る歪曲補正処理及び歪曲付加処理を説明するための図

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。なお、本明細書においては、撮像装置の動きを「振れ」、「振れ」が撮像画像に与える影響を「像ブレ」と呼ぶ。以下では本発明の実施形態に係る画像処理装置の一例としてのデジタルビデオカメラに適用した構成について説明するが、本発明は像ブレ補正が可能な任意の電子機器に適用することができる。このような電子機器には撮像装置はもちろん、パーソナルコンピュータ、タブレット端末、携帯電話機、ゲーム機、ドライブレコーダ、ロボット、ドローンなどが含まれるが、これらに限定されない。

＜第１の実施形態＞
図１は、本発明の実施形態に係る画像処理装置の一例としてのビデオカメラ１００の機能構成例を示すブロック図である。
図１において、システム制御回路１０１は、例えばＣＰＵのようなプログラマブルプロセッサと、ＲＡＭおよびＲＯＭを有する。そして、ＲＯＭに記憶されたプログラムをＲＡＭに展開してＣＰＵで実行することにより、ビデオカメラ１００の各部の動作を制御し、ビデオカメラ１００の機能を実現する。したがって、以下で説明するビデオカメラ１００の動作は、特に明記されていない場合、システム制御回路１０１が主体として実行される。なお、図１でシステム制御回路１０１のブロックに記載されている２０１〜２０３は像ブレ補正装置の機能ブロックのうち、システム制御回路１０１が実現するものを模式的に示したもので、詳細については後述する。

撮影レンズ１０２（撮影光学系）は、システム制御回路１０１の制御によって駆動される変倍レンズおよびフォーカスレンズなどを含み、被写体像を撮像素子１０３の撮像面に形成する。撮影レンズ１０２は着脱可能であってもなくてもよい。

撮像素子１０３は、例えばＸＹアドレス方式のＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。撮像素子１０３には複数の画素が配置され、撮影レンズ１０２が形成する光学像を各画素で光電変換することによりアナログ画像信号が得られる。
信号処理回路１０４は、撮像素子１０３から出力されるアナログ画像信号に対し、ノイズ低減、Ａ／Ｄ変換、色補間、ホワイトバランス調整、ガンマ補正などの信号処理を適用してデジタル画像信号（画像データ）を生成する。信号処理回路１０４は、生成した画像データを画像メモリ１０５に格納する。

歪曲補正回路１０６は、画像メモリ１０５に格納された画像データに対し、撮影レンズ１０２の収差によって生じた歪みを補正する処理（歪曲補正処理）を適用し、これによって生成された画像データを画像メモリ１０５に格納する。歪曲補正処理の方法に特に制限は無く、公知の方法を用いることができる。一例として、着目画素の像高（補正中心と着目画素との距離）に応じた距離だけ、着目画素の位置から像高方向（補正中心と着目画素の座標とを通る直線上）に移動させた位置を求める。その移動先の位置における信号レベルを、その移動先の位置の周囲の画素の信号レベルを用いて補間することで求め、この補間により求められた信号レベルを着目画素の信号レベルとする方法がある。補正時の移動量（補正量）は、像高の大きさに応じた値を有し、歪曲補正量演算回路２０２が算出する。

歪曲補正量演算回路２０２は離散的な複数の像高値について予め用意された補正量を有し、着目画素の像高に該当する補正量がない場合には、用意された補正量を補間することによりその像高に該当する補正量を算出する。なお、補間の代わりに、像高と補正量との関係を近似したｎ次多項式を用いて所望の像高についての補正量を算出してもよい。なお、補正量を算出する際の像高の大きさを決定する補正中心には、撮影レンズ１０２の光軸と画像との交点だけでなく、画像内の任意の座標を指定可能である。補正中心は後述する歪曲補正量演算回路２０２から与えられる。

像ブレ補正回路１０７は、ビデオカメラ１００の振れにより生じる、歪曲補正回路１０６によって歪みが補正された画像の像ブレを補正する。像ブレ補正回路１０７は、例えば、歪曲補正回路１０６によって歪みが補正された画像を画像メモリ１０５から切り出して読み出すものであって、画像の切り出し位置をビデオカメラ１００の振れを相殺するように変更する。なお、切り出し位置の変更による振れの並進成分の補正に限らず、アフィン変換によって振れの光軸回りの回転成分を補正したり、射影変換により振れのあおり成分（画像の台形歪み）を補正したりする構成でもよい。像ブレ補正回路１０７は、像ブレを補正した画像を画像メモリ１０５に格納する。

歪曲付加回路１０８は、歪曲補正回路１０６及び像ブレ補正回路１０７によって歪みおよび像ブレが補正された画像を画像メモリ１０５から読み出し、この画像に撮影レンズ１０２に起因する歪みの効果を付加して、画像メモリ１０５に格納する。歪曲付加回路１０８は、着目画素の信号レベルを、着目画素の位置から歪曲補正処理とは逆の方向に移動させた位置における信号レベルを求めることによって、画像に歪み効果を付加することができる。また、歪曲付加回路１０８で付加する歪み効果の大きさは着目画素と補正中心との距離に依存するが、補正中心は像ブレ補正回路１０７から出力される画像内の任意の座標位置を指定できるように構成されている。補正中心は後述する歪曲補正量演算回路２０２から与えられる。

記録制御回路１１１は、画像メモリ１０５に格納された動画データや静止画データあるいはメタデータなどを、記録媒体１１２に書き込んだり読み出したりする。記録媒体１１２は、例えば不揮発性メモリ、磁気記録媒体、光学記録媒体などであってよく、記録媒体１１２は着脱可能であってもよい。

表示制御回路１０９は、画像メモリ１０５に格納された動画データ、静止画データに基づく表示用の画像、メニュー画面などのＧＵＩ画面などを、液晶ディスプレイ（ＬＣＤ）のような表示装置１１０に表示させる。本実施形態では、記録制御回路１１１が歪曲付加回路１０８によって歪みの効果が付加された画像を記録媒体１１２に書き込み、表示制御回路１０９が歪曲付加回路１０８によって歪みの効果が付加された画像を表示装置１１０に表示させる。

角速度センサ１１４はビデオカメラ１００の振れに応じた振れ信号を生成する。角速度センサ１１４は、光軸に直交する平面内に存在し、互いに直交する二直線を検出軸とする。Ａ／Ｄ変換器１１５は角速度センサ１１４が生成する振れ信号をサンプリングしてデジタルデータに変換し、振れデータとして像ブレ補正量演算回路２０３に供給する。

光学パラメータ算出回路２０１、歪曲補正量演算回路２０２、および像ブレ補正量演算回路２０３は、各々の機能を実現するための専用の演算回路を搭載したハードウェアで構成してもよい。あるいはこれら回路の１つ以上を、システム制御回路１０１のプログラマブルプロセッサがプログラムを実行することで実現する構成としてもよい。本実施形態では、各々の機能を実現するための専用の演算回路を搭載したハードウェアであるものとして説明を行う。
光学パラメータ算出回路２０１は、撮影レンズ１０２の焦点距離や被写体距離などの光学パラメータを算出し、歪曲補正量演算回路２０２および像ブレ補正量演算回路２０３に供給する。

歪曲補正量演算回路２０２は、光学パラメータに基づいて、歪曲補正及び歪曲付加のための補正データと補正中心位置を歪曲補正回路１０６及び歪曲付加回路１０８に供給する。
像ブレ補正量演算回路２０３は、Ａ／Ｄ変換器１１５から供給される振れデータに基づいて、ビデオカメラ１００の振れによって生じる像ブレを補正するための補正量を像ブレ補正回路１０７に供給する。

図１の構成では、歪曲補正回路１０６、像ブレ補正回路１０７、歪曲付加回路１０８、光学パラメータ算出回路２０１、歪曲補正量演算回路２０２、像ブレ補正量演算回路２０３、およびシステム制御回路１０１が像ブレ補正装置を構成する。

コンバージョンレンズ１５０は、撮影レンズ１０２に着脱可能な補助レンズである。コンバージョンレンズの装着有無は、例えば撮影レンズ１０２に設けられたスイッチ１５１の状態によって、システム制御回路１０１が検出可能である。

次に、本実施形態の像ブレ補正動作について図２のフローチャートを用いて説明する。ここでは、１画面分の画像に対する像ブレ補正処理について説明する。したがって、例えば表示装置１１０をＥＶＦとして機能させている場合（撮影スタンバイ状態および記録用動画の撮影中）のように、動画に対して像ブレ補正を適用する場合、図２のフローチャートに示す動作を繰り返し実行する。なお、像振れ補正は必ずしも全ての動画フレームに適用しなくてもよい。

Ｓ１０１で光学パラメータ算出回路２０１は、撮影レンズ１０２の歪曲特性を算出するために用いる光学パラメータを算出する。例えば光学パラメータ算出回路２０１は、撮影レンズ１０２から得られる変倍レンズ位置情報から撮影レンズ１０２の焦点距離を算出する。また、光学パラメータ算出回路２０１は、撮影レンズ１０２のフォーカスレンズ位置情報から被写体距離（合焦距離）を算出する。なお、これらの光学パラメータは算出によらず、テーブルを参照するなどして取得してもよい。

Ｓ１０２で歪曲補正量演算回路２０２は、歪曲補正回路１０６での歪み補正に用いる補正データを算出する。図３は、撮影レンズ１０２の歪み特性の例を示し、横軸は像高、縦軸が歪曲率である。歪曲率は、歪みがない場合に本来結像すべき像高位置からの変化率を表す。歪曲率の符号は、結像位置が変化する方向が像高が増加する方向であれば正、減少する方向であれば負。歪曲率が正の場合には「糸巻き型歪み」、負の場合には「樽型歪み」として観察される。

歪曲補正量演算回路２０２は、像ブレ補正回路１０７でのブレ補正の精度を高めるため、撮影レンズ１０２の収差による画像の歪みができる限り補正されるような補正データを算出する。したがって、理想的には補正データの特性が撮影レンズ１０２の歪み特性の逆特性となるように補正データを生成する。

撮影レンズ１０２の歪み特性は、撮影レンズ１０２の光学パラメータ（ここでは焦点距離と被写体距離）に応じて変化する。そのため、本実施形態では、撮影レンズ１０２の歪み特性を光学パラメータの離散的な組み合わせごとに例えばシステム制御回路１０１のＲＯＭに記憶しておく。そして、歪曲補正量演算回路２０２は、実際の光学パラメータの組み合わせに近い組み合わせに対応した歪みの特性をＲＯＭから読み出し、補間することによって、実際の光学パラメータの組み合わせに対応した歪みの特性を算出する。そして、歪曲補正量演算回路２０２は、算出した歪みの特性の逆特性を、像高に応じた補正データの集合として算出する。なお、歪曲補正量演算回路２０２では図３（ｂ）に示すように離散的な像高についてのみ補正データを算出し、他の像高に対する補正データは歪曲補正回路１０６で補間するようにしてもよい。歪曲補正量演算回路２０２は、補正データを歪曲補正回路１０６に供給する。

Ｓ１０３で歪曲補正量演算回路２０２は、歪曲補正回路１０６における歪み補正で用いる補正中心を算出する。歪曲補正回路１０６では撮影レンズ１０２の収差によって生じる画像の歪みを補正する。そのため、歪曲補正量演算回路２０２は、撮影レンズ１０２の光軸と撮像素子１０３との交点に対応する画像座標を補正中心として算出し、歪曲補正回路１０６に供給する。撮影レンズ１０２の光軸と撮像素子１０３との交点の画像座標は、設計値に基づいて予めシステム制御回路１０１のＲＯＭに記憶しておくことができる。また、製品の製造時に生じた設計値とのずれ量によって補正した値を記憶しておいてもよい。なお、光軸と撮像素子との交点の画像座標が画像の中心となるような設計値が一般的である。

Ｓ１０４で像ブレ補正量演算回路２０３は、角速度センサ１１４からＡ／Ｄ変換回路を通じて供給される振れデータに基づいて、像ブレ補正量を算出し、像ブレ補正回路１０７に供給する。角速度センサ１１４は水平方向の回転軸（ヨー）と垂直方向の回転軸（ピッチ）との少なくとも２軸を検出軸とし、像ブレ補正量もそれぞれの検出軸について算出する。しかし、像ブレ補正量の算出処理は検出軸に依存しないため、説明および理解を容易にするため、以下では１つの検出軸における像ブレ補正量の算出処理について説明する。

図４は、像ブレ補正量演算回路２０３の内部の構成を示したブロック図である。Ａ／Ｄ変換器１１５から供給される振れデータ（角速度データ）に対してハイパスフィルタ（ＨＰＦ）２０４を適用し、ＤＣ成分などの低周波数成分を除去する。

フレーミング制御回路２０８は、積分器２０６の出力から、ユーザの意図的なフレーミング動作（パンニングやチルティング）が行われているか否かを判定する。そして、フレーミング動作が行われていると判定される場合、フレーミング制御回路２０８は、フレーミング動作に係る角速度成分が積分器２０６の算出する角変位データに与える影響を削減する。詳細については後述する。

積分器２０６は供給される角速度データを積分し、角度データに変換する。また、積分器２０６では角度データに所定の係数を乗じた角変位データを、像ブレ補正回路１０７で用いる補正量として出力する。

具体的には、ヨー、ピッチの振れ角度θｙ、θｐに対する像面上の補正量Ｔｘ、Ｔｙは以下の式により算出される。
Ｔｘ＝ｆ × ｔａｎθｙ ／ Ｐ
Ｔｙ＝ｆ × ｔａｎθｐ ／ Ｐ
（ただし、ｆは焦点距離[ｍｍ]、Ｐは画素サイズ[ｍｍ]である。ここで画素サイズは正方画素の一辺のサイズである。）

リミッタ２０７は、角変位データを所定の上限値で制限する。

ここで、フレーミング制御回路２０８の動作についてさらに説明する。フレーミング制御回路２０８は、積分器２０６が出力する角変位データが予め定められた閾値を超える場合に、フレーミング動作が行われていると判定する。この閾値は、リミッタ２０７が制限する上限値よりも小さく、予め実験などにより決定された値である。

フレーミング制御回路２０８は、フレーミング動作が行われていると判定された場合、判定されない場合よりも、
・ＨＰＦ２０４のカットオフ周波数を高くするか、
・積分器２０６における積分動作に含まれるローパスフィルタ（ＬＰＦ）演算の時定数を短くして、振れに含まれるフレーミング動作の成分を削減することができる。
あるいはフレーミング制御回路２０８は、ＨＰＦ２０４の出力する角速度データから、減算器２０５によってオフセットを減算することで、振れに含まれるフレーミング動作の成分を削減してもよい。

このようなフレーミング制御回路２０８の制御により、パンニングやチルティングといった、ユーザの意図的なフレーミング動作が行われていても、良好な像ブレ補正が可能となる。

図２に戻り、Ｓ１０５で歪曲補正量演算回路２０２は、撮影レンズ１０２の焦点距離が閾値未満か否か判定し、閾値未満と判定されればＳ１０６に、閾値未満と判定されなければＳ１０９に、処理を進める。なお、このＳ１０５の判定は必須ではなく、撮影レンズ１０２の焦点距離によらずに、Ｓ１０４からＳ１０６に処理を進めてもよい。

典型的には魚眼レンズのような（超）広角レンズを用いて撮影された画像は、収差による歪みを有することが１つの特徴として認識されている。また、収差による大きな歪みを補正すると、画像の周辺部に写った物体の像が引き延ばされて見えるボリューム歪みが発生するため、観察者に違和感を与える。つまり、収差による画像歪みは像ブレ補正のためには無い方がよいが、広角レンズで撮影された画像についてはある程度あった方がむしろ自然である。

そのため、本実施形態では、撮影レンズ１０２の焦点距離が閾値未満の場合に歪曲付加回路１０８で歪曲効果を付加し、撮影レンズ１０２の焦点距離が閾値以上の場合には、歪曲付加回路１０８で歪曲効果を付加しない。ここでの閾値は、画像に収差を模した歪みを付加した方が視覚的に望ましい値として定めることができる。

Ｓ１０６で歪曲補正量演算回路２０２は、歪曲付加回路１０８で用いる歪曲効果の特性を算出する。本実施形態において、歪曲付加回路１０８で付加する歪曲効果は、像ブレ補正した画像の撮影に用いられた撮影レンズ（すなわち、撮影レンズ１０２）の歪み特性に基づいて算出する。例えば図３（ａ）に示すように撮影レンズ１０２の最大歪曲率が−１０％の場合、最大歪曲率が−３％程度の歪曲（樽型歪曲）を付加する歪曲付加データを算出する。この歪曲付加データは、図３（ｂ）に示した歪曲補正データに−３／１０の倍率を乗算することで算出できる。なお、ここでは撮影レンズ１０２の歪みの３割程度の強さの歪曲効果を付加するものとしているが、歪曲付加回路１０８で付加する歪曲効果の強さは、撮影レンズ１０２の収差に起因する歪みの強さを超えない範囲で適宜定めることができる。あるいは、処理を簡略化するため、撮影レンズ１０２によらずに、予め用意されたデフォルトの歪曲付加データを読み出すようにしてもよい。

Ｓ１０７で歪曲補正量演算回路２０２は、歪曲付加回路１０８で歪曲効果を付加する際に用いる補正中心を算出し、歪曲付加回路１０８に供給して処理をＳ１０９に進める。歪曲補正回路１０６では撮影レンズ１０２の収差による画像歪みを補正するため、光軸と撮像素子との交点に対応する画像座標を補正中心とした。一方、像ブレ補正回路１０７による切り出し位置の変更により、像ブレ補正後の画像において、光軸と撮像素子との交点に対応する画像座標は経時的に変化する。

したがって、歪曲効果の付加における補正中心を光軸と撮像素子との交点に対応する画像座標とすると、像ブレ補正量の変化に応じて補正中心が画像内で移動することになる。図３（ｃ）に示したように歪曲効果は像高（すなわち、補正中心と対象画素との距離）に応じた歪曲率を有する。そのため、補正中心が経時的に移動すると、像ブレ補正後の動画フレームにおける同一画像座標に対する歪曲率も経時的に変化し、違和感のある動画になってしまう。そのため、歪曲補正量演算回路２０２は、像ブレ補正後（切り出し後）の画像の中心座標を算出し、歪曲効果を付加する際の補正中心として歪曲付加回路１０８に供給する。

一方、Ｓ１０５で撮影レンズ１０２の焦点距離が閾値未満と判定されなかった場合、Ｓ１０９で歪曲補正量演算回路２０２は、歪曲効果を付与しないように歪曲付加回路１０８を設定し、処理をＳ１０８に進める。

Ｓ１０８で歪曲補正回路１０６は、画像メモリ１０５に記憶されている画像データに対し、歪曲補正量演算回路２０２から供給される歪曲補正データおよび補正中心に基づいて歪曲補正を行う。また、像ブレ補正回路１０７は、歪曲補正回路１０６の出力する画像データに対し、像ブレ補正量演算回路２０３から供給される像ブレ補正量に基づいて像ブレ補正を行う。歪曲付加回路１０８は、歪曲効果を付与する設定がなされていれば、像ブレ補正回路１０７が出力する画像データに対し、歪曲補正量演算回路２０２から供給される歪曲付加データおよび補正中心に基づいて歪曲効果を付加して画像メモリ１０５に記憶する。

なお、ここでは、撮影レンズ１０２の焦点距離が閾値未満と判定されなかった場合、歪曲効果を付加しないように歪曲付加回路１０８を設定した。しかし、歪曲効果が付与されない歪曲付加データを歪曲補正量演算回路２０２から歪曲付加回路１０８に供給してもよい。

ここで、歪曲補正回路１０６、像ブレ補正回路１０７、歪曲付加回路１０８における画像処理について、図５を用いてさらに説明する。
図５（ａ）は撮像素子１０３で撮像され、画像メモリ１０５に記憶されている状態の画像の歪みを模式的に示している。ここで、撮影レンズ１０２の収差により、光軸Ｏと撮像素子との交点に対応する画像座標（ｘ，ｙ）（ここでは画像の中心座標と一致しているものとする）を中心とした樽型の歪みが生じている。

歪曲補正時には像ブレ補正されていないため、光軸Ｏと撮像素子との交点に対応する画像座標は（ｘ，ｙ）のままである。したがって、歪曲補正量演算回路２０２は、座標（ｘ，ｙ）を補正中心として歪曲補正回路１０６に供給する。歪曲補正回路１０６による歪曲補正により、図５（ａ）に示した画像歪みが補正（除去）される（図５（ｂ））。

像ブレ補正回路１０７は、歪みが補正された図５（ｂ）の画像に対して像ブレ補正を行う。像ブレ補正回路１０７は、像ブレ補正量演算回路２０３で算出された像ブレ補正量に基づいて、ビデオカメラ１００の振れによる像ブレを打ち消すように切り出し領域を決定する。像ブレ補正回路１０７は、決定した切り出し領域の画像を、像ブレ補正後の画像として出力する。像ブレ補正量が０で無い限り、画像座標（ｘ，ｙ）と像ブレ補正後の画像（切り出し領域）の中心座標とは一致しない（図５（ｃ））。

歪曲付加回路１０８は、像ブレ補正後の画像に対して、歪曲効果を付加する（図５（ｄ））。光軸Ｏと撮像素子との交点に対応する画像座標（ｘ，ｙ）は、像ブレ補正後の画像の中心Ｏ'の座標（ｘ'，ｙ'）と一致しない。そのため、歪曲補正量演算回路２０２は、像ブレ補正後の画像の中心座標（ｘ'，ｙ'）を歪曲効果の付加における補正中心として歪曲付加回路１０８に供給する。その結果、図５（ｄ）に示すように、像ブレ補正後の画像の中心からの距離が等しい画素に付加される歪みの大きさが等しい、適切な歪曲効果を付与することができる。したがって、動画周辺部の歪曲率が経時変化することがなくなり、観察時に違和感を与えない動画を生成できる。

なお、本実施形態では発明の趣旨を明確に説明するため、歪曲補正回路１０６、像ブレ補正回路１０７、および歪曲付加回路１０８でそれぞれ歪み補正処理、像ブレ補正処理、歪曲効果付与処理を独立して適用する構成を説明した。しかし、各処理における補正量や補正中心に基づいてこれらの処理を１つの座標変換に統合し、画像メモリ１０５に記憶された画像データに適用してもよい。こうすることで、歪み補正処理、像ブレ補正処理、歪曲効果付与処理を同時に処理することが可能となり、画像データの補正処理も１度で済むようになる。あるいは、撮影レンズの歪特性を補正するための座標変換と歪効果付与のための座標変換を合算し、この合算結果に応じて、歪曲補正かつ歪曲効果付与の処理を画像データに適用してから、像ブレ補正のための画像の切り出しを行うように構成しても良い。

以上説明したように本実施形態では、撮影レンズの収差による歪みを有する画像に対して変形処理を行うことで、収差による歪みおよび像ブレが補正され、かつ、画像の中心座標を補正中心として歪曲効果が付加された画像を生成する。そのため、動画フレームに歪曲効果を付与する場合でも、周辺部の歪曲率が経時変化することを抑制し、違和感のない動画を生成することができる。さらに、撮影レンズの収差による歪みを補正した画像に対して像ブレ補正を行うことで、精度の良い像ブレ補正が実現できる。加えて、撮影レンズの焦点距離が閾値未満の場合に歪曲効果を付与することで、広角撮影の効果を感じられる動画を生成することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第１の実施形態は撮像画像の切り出し領域を変化させて像ブレ補正を行う撮像装置を対象としていたが、本実施形態では光学部材を駆動することによって像ブレ補正を行う撮像装置を対象とする点で異なる。

図６は、本実施形態に係るビデオカメラ１００'の機能構成例を示すブロック図である。図６において、第１の実施形態と共通する構成については図１と同じ参照数字を付し、第１の実施形態で説明した構成についての説明は省略する。

ビデオカメラ１００'は、第１の実施形態の構成から電子的に像ブレを補正する構成（像ブレ補正回路１０７および像ブレ補正量演算回路２０３）の代わりに、光学的に像ブレを補正する構成を有している。具体的には、撮影レンズ１０２が補正光学系１１６を備えるとともに、補正光学系１１６を駆動するための構成（１１８〜１２１）とその制御を行う光学補正制御回路２２０を備えている。ここで、光学補正制御回路２２０は、各々の機能を実現するための専用の演算回路を搭載したハードウェアで構成しても良いし、システム制御回路１０１のＣＰＵがプログラムを実行することで実現する構成としてもよい。なお、図６では補正光学系１１６を駆動するものとしたが、代わりに、あるいはさらに、撮像素子１０３や撮影レンズ１０２全体を駆動する構成であってもよい。

補正光学系１１６は例えばシフトレンズであり、移動させることによって撮影レンズ１０２の光軸の向き（光軸と撮像素子との交点）を変えることができる。光学補正制御回路２２０はビデオカメラ１００'の振れを打ち消すように補正光学系１１６を移動させることで、像ブレが補正された被写体像が撮像素子１０３の撮像面上に結像される。

位置検出器１１７は、補正光学系１１６の位置に応じた電圧を出力する。この電圧はアンプ１１８で増幅されたのち、Ａ／Ｄ変換器１１９によってデジタル化され、位置データとして光学補正制御回路２２０に供給される。

光学補正制御回路２２０は、Ａ／Ｄ変換器１１５から供給される振れデータに基づいてブレ補正データを算出する。ブレ補正データは補正光学系１１６を駆動すべき目標位置を表す。光学補正制御回路２２０は、Ａ／Ｄ変換器１１９から供給される補正光学系１１６の位置と目標位置との差に基づいて、補正光学系１１６を駆動する。光学補正制御回路２２０の構成および動作については後述する。

ＰＷＭ回路１２０は、光学補正制御回路２２０が出力する、目標位置と現在位置との差を表すデータ（偏差データ）を、パルス波のデューティー比を変化させる波形（ＰＷＭ波形）に変調して、モータ駆動回路１２１に供給する。モータ駆動回路１２１は、ＰＷＭ回路１２０から供給されるＰＷＭ波形に基づいて、例えばボイス・コイル型モータであるモータ１２２を駆動する。モータ１２２の駆動方向および駆動量に応じて補正光学系１１６が移動する。

そして、移動後の補正光学系１１６の位置と振れデータとに基づいて、偏差データの算出および補正光学系１１６の駆動が行われる。このようにして、光学補正制御回路２２０は、駆動目標位置と位置データの差が小さくなるように補正光学系１１６の位置をフィードバック制御する。これにより、補正光学系１１６は駆動目標位置に追従するように駆動される。

図７は、光学補正制御回路２２０の処理を模式的に示したブロック図であり、第１の実施形態の像ブレ補正量演算回路２０３と同様の処理を行うブロックには図４と同じ参照数字を付してある。敏感度演算回路２２１は、光学パラメータ算出回路２０１から取得した焦点距離情報を用い、角速度データを補正光学系１１６の移動量に変換する。第１の実施形態と同様にしてフレーミング制御された移動量を積分する積分器２０６の出力は、振れに応じた補正光学系１１６の変位量（目標位置）を表す。リミッタ２０７は変位量を補正光学系の可動範囲内に制限する。

減算器２２２は、リミッタ２０７が出力する補正光学系１１６の目標位置と、Ａ／Ｄ変換器１１９が出力する補正光学系１１６の現在位置との差を求め、偏差データとして制御フィルタ２２３に供給する。制御フィルタ２２３は、偏差データに対して増幅や位相補償などの信号処理を適用した後、ＰＷＭ回路１２０に供給する。

像面換算回路２２４は、Ａ／Ｄ変換器１１９が出力する補正光学系１１６の位置情報を、撮像素子上の光軸位置の、補正光学系１１６が移動していないときの位置を基準とした移動量および移動方向に変換し、歪曲補正量演算回路２０２に供給する。
なお、ここでも角速度センサ１１４の検出軸の１つについての処理を説明したが、他の検出軸についても同様の処理を実行する。

このような処理により、ビデオカメラ１００'の振れによって生じる像ブレを光学的に補正することが可能となる。

次に、本実施形態の像ブレ補正動作について図８のフローチャートを用いて説明する。図８で、第１の実施形態と同じ処理については図２と同じ参照数字を付した。本実施形態では光学的に像ブレ補正を行うため、像ブレ補正量の算出処理（Ｓ１０４）がなく、補正中心の算出処理（Ｓ２０１およびＳ２０２）の内容が異なる点を除き、第１の実施形態と同様である。

Ｓ２０１における、歪曲補正回路１０６の補正中心の算出処理について説明する。本実施形態においても、歪曲補正回路１０６での歪曲補正は、撮影レンズ１０２の収差によって撮像画像に生じる歪を補正する処理である。そのため、撮影レンズ１０２の光軸と撮像素子１０３との交点に対応する画像座標を補正中心とした歪曲補正を実施する必要がある。

第１の実施形態では歪曲補正の対象となる撮像画像（動画フレーム）において、撮影レンズ１０２の光軸と撮像素子１０３との交点に対応する画像座標は固定である。そのため、組立誤差による設計値からのずれを考慮する場合であっても、歪曲補正における補正中心は変動しなかった。

しかしながら、本実施形態では光学的に像ぶれ補正された画像が撮影されるため、撮影レンズ１０２の光軸と撮像素子１０３との交点は、補正光学系１１６の位置によって変化する。そのため、歪曲補正回路１０６における歪曲補正の補正中心を、補正光学系１１６の位置に基づいて求めて歪曲補正回路１０６に供給する必要がある。

図７に関して説明したように、補正光学系１１６の現在位置を、撮像素子１０３上の光軸位置の、補正光学系１１６が移動していないときの位置を基準とした移動量に変換した値が、光学補正制御回路２２０から歪曲補正量演算回路２０２に供給される。歪曲補正量演算回路２０２は、補正光学系１１６の現在位置から得られる光軸の移動量を光軸の初期位置に適用することで、現在の撮影レンズ１０２の光軸と撮像素子１０３との交点に対応する画像座標を算出することができる。ここで、光軸の初期位置とは、補正光学系１１６が移動していないときの、撮影レンズ１０２の光軸と撮像素子１０３との交点に対応する画像座標である。歪曲補正量演算回路２０２は、このようにして算出した補正中心の画像座標を、歪曲補正回路１０６に供給する。

本実施形態でも第１実施形態と同様、歪曲付加回路１０８における歪曲効果の付加において最終的に出力する画像の中心座標を補正中心として用いる。ただし、歪曲補正後の画像全体に歪曲効果を付与する場合、補正中心は固定座標となる。切り出しを行う場合も、切り出し領域の中心が歪曲補正後の画像の中心と同じであれば、補正中心は固定座標である。
他の処理は、Ｓ１０８で像ブレ補正が行われないことを除き、第１実施形態の共通であってよいため説明を省略する。

図９は、図５と同様に、歪曲補正回路１０６および歪曲付加回路１０８における画像処理を模式的に示している。
図９（ａ）は撮像素子１０３で撮像され、画像メモリ１０５に記憶されている状態の画像の歪みを模式的に示している。ここで、撮影レンズ１０２の収差により、画像には光軸Ｏと撮像素子との交点に対応する画像座標（ｘ，ｙ）を中心とした樽型の歪みが生じている。補正光学系１１６が移動していることにより、画像座標（ｘ，ｙ）と画像の中心座標とは一致しない。

歪曲補正量演算回路２０２は、座標（ｘ，ｙ）を補正中心として歪曲補正回路１０６に供給する。歪曲補正回路１０６による歪曲補正により、図９（ａ）に示した画像歪みが補正（除去）される（図９（ｂ））。この時点で、像ブレおよび収差による歪みが補正された画像が得られる。

そして、歪曲補正量演算回路２０２は、画像の中心座標（ｘ'，ｙ'）を歪曲効果の付加における補正中心として歪曲付加回路１０８に供給する。これにより、歪曲付加回路１０８は、図９（ｃ）に示すように、画像の中心からの距離が等しい画素に付加される歪みの大きさが等しい、適切な歪曲効果を付与することができる。したがって、動画周辺部の歪曲率が経時変化することがなくなり、観察時に違和感を与えない動画を生成できる。

以上説明したように本実施形態によれば、光学的に像ブレを補正する場合であっても、光学系の収差による画像の歪みを有する画像に対して変形処理を行う。これにより、収差による歪みが補正され、かつ、画像の中心座標を補正中心として歪曲効果が付加された画像が生成される。本実施形態においても第１実施形態と同様の効果が得られる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。本実施形態は、第１の実施形態や第２の実施形態と組み合わせて実行可能である。
第１および第２の実施形態では、撮影レンズ１０２の焦点距離が閾値未満の場合に歪曲効果を付与し、撮影レンズ１０２の焦点距離が閾値以上の場合には歪曲効果を付与しない構成であった。

一方で、レンズ交換ができないビデオカメラなどでは、撮影レンズ１０２に取り付けて撮影レンズ１０２の焦点距離を変更するコンバージョンレンズ１５０（図１）が用いられることがある。本実施形態では、ビデオカメラ１００または１００'の撮影レンズ１０２に、脱着可能なコンバージョンレンズ（またはアタッチメントレンズ）が装着された場合の制御について説明する。

図１０（ａ）は、撮影レンズ１０２単体の歪み特性３０１と、撮影レンズ１０２にワイドコンバージョンレンズが装着された際の光学系全体（撮影レンズとワイドコンバージョンレンズとの組み合わせ）の歪み特性３０２とを示している。ワイドコンバージョンレンズは撮影レンズ１０２よりも広角な撮影を可能にするが、樽型歪曲がより強くなる。図１０（ａ）の例では、撮影レンズ１０２単体での最大歪曲率が−１０％であったのに対して、ワイドコンバージョンレンズを装着した場合の最大歪曲率は−１５％となり、樽型歪みが大きくなる。

システム制御回路１０１は、ワイドコンバージョンレンズの装着有無を、例えばスイッチ１５１（図１）によって電気的もしくは機械的に検出することができる。あるいは、メニュー画面を通じてユーザからワイドコンバージョンレンズの装着有無の設定を変更可能とし、システム制御回路１０１は設定内容にしたがってワイドコンバージョンレンズの装着有無を判定してもよい。

コンバージョンレンズが装着されているとシステム制御回路１０１が判定した場合、歪曲補正量演算回路２０２は、コンバージョンレンズを含む光学系全体の歪みの特性３０２を補正するような補正データを算出する。例えば歪曲補正量演算回路２０２は、図１０（ｂ）の３０４で示す、図１０（ａ）の歪みの特性３０２の逆特性に従い、複数の離散的な像高に対応する補正量を算出する。

次に、ワイドコンバージョンレンズ装着時の歪曲付加データの算出について説明する。ワイドコンバージョンレンズを装着することによって光学系全体の歪みの最大歪曲率が１０％から１５％に増加する。そのため、歪曲付加回路１０８で付与する歪曲効果も、ワイドコンバージョンレンズが装着されていると判定される場合には、そうでない場合よりも強い歪曲効果を付加する。

例えば、ワイドコンバージョンレンズが装着されていないと判定される場合の歪曲付加データの特性が図１０（ｃ）の３０５で示されるものであるとする。この場合、ワイドコンバージョンレンズが装着されたと判定されると、歪曲補正量演算回路２０２は、歪曲最大歪曲率がより大きな歪曲付加データを生成する。歪曲補正量演算回路２０２は、例えば図１０（ｃ）に示す例では３０６に示す特性を有する歪曲付加データを生成することができる。ここで、歪曲補正量演算回路２０２は、補正量の特性３０３と３０４との差を相殺するような特性を有する歪曲効果３０６を付加する歪曲付加データを生成するものとする。換言すれば、歪曲補正量演算回路２０２は、コンバージョンレンズまたはアタッチメントレンズに起因する歪みに等しい歪曲効果を付加する歪曲付加データを生成する。これにより、ワイドコンバージョンレンズによって広角化された画角が歪曲補正によって狭められることを防止することができる。また、ワイドコンバージョンレンズの装着により増加するボリューム歪みの影響を軽減し、自然な動画を生成することが可能となる。

以上説明したように本実施形態によれば、コンバージョンレンズまたはアタッチメントレンズが装着されて光学系全体の歪みの特性が変化した場合であっても、第１および第２の実施形態と同様の効果を得ることができる。

（その他の実施形態）
以上、本発明を例示的な実施形態に基づいて説明したが、本発明はこれら特定の実施形態に限定されず、発明の範囲内で様々な変更を行うことができる。また、上述の実施形態では、装置の振れを角速度センサによって検出する構成を説明したが、他の構成を用いて検出してもよい。例えば、加速度センサで検出した加速度から振れ量を算出したり、撮像画像から動き情報を検出して装置の振れ量を算出しても良い。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００，１００’…ビデオカメラ、１０１…システム制御部、１０２…撮影レンズ、１０３…撮像素子、１０６…歪曲補正部、１０７…像ブレ補正部、１０８…歪曲付加部、２０１…光学パラメータ算出部、２０２…歪曲補正量演算部、２０３…像ブレ補正量演算部

歪曲付加回路１０８は、歪曲補正回路１０６及び像ブレ補正回路１０７によって歪みおよび像ブレが補正された画像を画像メモリ１０５から読み出し、この画像に撮影レンズ１０２に起因する歪みの効果を付加して、画像メモリ１０５に格納する。歪曲付加回路１０８は、着目画素の信号レベルとして、着目画素の位置から歪曲補正処理とは逆の方向に移動させた位置における信号レベルを求めることによって、画像に歪み効果を付加することができる。また、歪曲付加回路１０８で付加する歪み効果の大きさは着目画素と補正中心との距離に依存するが、補正中心は像ブレ補正回路１０７から出力される画像内の任意の座標位置を指定できるように構成されている。補正中心は後述する歪曲補正量演算回路２０２から与えられる。

Claims (22)

1. 光学系を介して撮像された第１の画像に対して変形処理を含む１つ以上の処理を適用することにより第２の画像を生成する生成手段を有する画像処理装置であって、
   前記第１の画像は、前記光学系の収差による歪みを有する画像であり、
   前記第２の画像は、画像の中心座標と前記歪みの中心に対応する座標とが一致しない画像であって、
   前記生成手段は、前記画像の中心座標からの距離に応じた歪曲率の歪みを有する前記第２の画像を生成する、
   ことを特徴とする画像処理装置。
2. 前記生成手段は、前記変形処理として、前記光学系の収差による画像の歪みを補正する処理と、前記第２の画像の中心座標からの距離に応じた歪曲率を有する歪曲効果を付加する処理とを適用することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記光学系の収差による画像の歪みを補正する処理を適用してから、前記歪曲効果を付加する処理を適用することを特徴とする請求項２に記載の画像処理装置。
4. 前記生成手段は、前記光学系の収差による画像の歪みを補正する処理と、前記歪曲効果を付加する処理を、同時に適用することを特徴とする請求項２に記載の画像処理装置。
5. 前記第１の画像は、光学的に像ブレを補正する像ブレ補正装置によって像ブレが補正された画像であることを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記像ブレ補正装置は、装置の振れに応じて前記光学系の全体または補正光学系、および／または撮像素子を駆動することによって光学的に像ブレを補正することを特徴とする 請求項５に記載の画像処理装置。
7. 前記１つ以上の処理は、装置の振れに応じた領域を切り出す処理を含むことを特徴とする請求項２に記載の画像処理装置。
8. 前記生成手段は、前記第１の画像に対して、前記光学系の収差による画像の歪みを補正する処理、装置の振れに応じた領域を切り出す処理、および、前記歪曲効果を付加する処理の順で適用することを特徴とする請求項７に記載の画像処理装置。
9. 前記生成手段は、前記第１の画像に対して、前記光学系の収差による画像の歪みを補正する処理、および、前記歪曲効果を付加する処理を適用してから、前記装置の振れに応じた領域を切り出す処理を適用することを特徴とする請求項７に記載の画像処理装置。
10. 前記生成手段は、前記第１の画像に対して、前記光学系の収差による画像の歪みを補正する処理、装置の振れに応じた領域を切り出す処理、および、前記歪曲効果を付加する処理を同時に適用することを特徴とする請求項７に記載の画像処理装置。
11. 前記生成手段は、前記光学系の光軸と撮像素子の交点に対応する画像座標を、前記歪みの中心に対応する座標とすることを特徴とする請求項２乃至１０のいずれか１項に記載の画像処理装置。
12. 前記光学系の焦点距離を変更する補助レンズが装着されていることを検出する検出器をさらに有し、
    前記補助レンズが装着されていることが検出されている場合、前記生成手段は、前記光学系および前記補助レンズの収差による画像の歪みを補正する処理を行うことを特徴とする請求項２乃至１１のいずれか１項に記載の画像処理装置。
13. 前記補助レンズが装着されていることが検出されている場合、前記生成手段は、前記補助レンズに起因する収差に基づく歪曲効果を付加することを特徴とする請求項１２に記載の画像処理装置。
14. 前記生成手段は、前記光学系の焦点距離が閾値未満の場合に前記歪曲効果を付加し、前記光学系の焦点距離が閾値以上の場合に前記歪曲効果を付加しないことを特徴とする請求項２乃至１３のいずれか１項に記載の画像処理装置。
15. 前記第２の画像の歪曲率が、前記光学系の収差による歪みの歪曲率よりも小さいことを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 前記第１の画像が動画フレームであることを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
17. 動画を取得するために用いられた光学系の収差による画像の歪みの補正、および、撮像装置による振れの補正がなされた前記動画を生成する画像処理装置であって、
    前記動画の各フレームに対し、画像の中心位置を基準とした歪みを付加するように、前記動画を処理することを特徴とする画像処理装置。
18. 光学系が形成する光学像に応じた第１の画像を生成する撮像素子と、
    前記第１の画像に対して変形処理を含む１つ以上の処理を適用することにより第２の画像を生成する生成手段とを有する撮像装置であって、
    前記第１の画像は、前記光学系の収差による歪みを有する画像であり、
    前記第２の画像は、画像の中心座標と前記歪みの中心に対応する座標とが一致しない画像であって、
    前記生成手段は、前記画像の中心座標からの距離に応じた歪曲率の歪みを有する前記第２の画像を生成することを特徴とする撮像装置。
19. 光学系が形成する光学像に応じた動画を生成する撮像素子と、
    振れを補正するための振れ補正手段と、
    前記動画の各フレームに対し、前記光学系の収差による画像の歪みの補正を行うとともに、画像の中心位置を基準とした歪みを付加するように、前記動画を処理する画像処理手段と、
    を有することを特徴とする撮像装置。
20. 光学系を介して撮像された第１の画像に対して変形処理を含む１つ以上の処理を適用して第２の画像を生成する生成工程を有する画像処理方法であって、
    前記第１の画像は、前記光学系の収差による歪みを有する画像であり、
    前記第２の画像は、画像の中心座標と前記歪みの中心に対応する座標とが一致しない画像であって、
    前記生成工程では、前記画像の中心座標からの距離に応じた歪曲率の歪みを有する前記第２の画像を生成することを特徴とする画像処理方法。
21. 動画を取得するために用いられた光学系の収差による画像の歪みの補正、および、撮像装置による振れの補正がなされた前記動画を生成する生成工程を有する画像処理方法であって、
    前記生成工程では、前記動画の各フレームに対し、画像の中心位置を基準とした歪みを付加するように、前記動画を処理することを特徴とする画像処理方法。
22. コンピュータに請求項２０または２１に記載の画像処理方法の各工程を実行させるためのプログラム。

Images