JP2020136697A - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】奥行き方向において合焦面とは異なる位置を回転中心とする視点移動の効果を持つ動画を視差画像から生成することを可能にする技術を提供する。【解決手段】相互に視差を持つ複数の視差画像を合成比率に従って合成する合成処理を繰り返し行うことにより、複数の合成画像を生成する生成手段と、前記合成処理の前記繰り返しにおいて前記合成比率が経時的に変化するように制御する制御手段と、前記合成比率の前記経時的な変化に起因して前記複数の合成画像間で生じる視点移動の回転中心が奥行き方向において移動するように、前記複数の合成画像の位置合わせを行う位置合わせ手段と、を備えることを特徴とする画像処理装置を提供する。【選択図】図５

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。

デジタルカメラなどの撮像装置を用いて滑らかに視点が移動する動画を撮影する手法として、ドリー撮影と呼ばれる手法が知られている。

一方で、１つの画素に対して１つのマイクロレンズと複数に分割された光電変換部とが形成されている二次元撮像素子を用いた撮像装置が知られている（特許文献１）。分割された光電変換部(以下、「分割画素」とも呼ぶ)は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる瞳部分領域を受光するように構成され、この構成により瞳分割を行っている。瞳分割された光電変換部のそれぞれの出力は、分割された瞳部分領域に応じた視差画像となる。重み付け（合成比率）を変化させながら視差画像の合成を繰り返すことにより、合焦面を視点移動の回転中心とした視点移動の効果を付与した動画像の生成を行うことが可能である。

また、２次元撮像素子を用いた撮像装置は、プレノプティックカメラ又はライトフィールドカメラとして知られており、視差画像を視差方向にシフトすることにより撮影後に合焦面を移動させるリフォーカス処理を行うことができる。特許文献２には、リフォーカス可能な範囲に基づいて合焦面を移動してから視点移動の効果を付与した動画像を生成することで、動画像における視点移動の回転中心を焦点方向（奥行き方向）において変更する技術が開示されている。このような処理を行うことで、視点移動の効果を付与することが困難であった撮影時に合焦していた領域について視点移動の効果を付与することが可能となる。

特許第５９１７１２５号公報 特開２０１７−５６８９号公報

特許文献１及び特許文献２に開示されるような２次元撮像素子においては、分割画素間の基線長が比較的短い。そのため、２次元撮像素子により得られた視差画像から視点移動の効果を付与した動画像を生成した場合、視点移動の効果が比較的小さくなる。ここで、特許文献２に開示されるように合焦面を移動してから視点移動の効果を付与した動画像を生成すれば、移動後の合焦面から遠い被写体の領域において視点移動の効果を比較的大きく見せることができる。しかしながら、２次元撮像素子の分割画素数が少ない場合には、リフォーカス可能な範囲内で合焦面を移動させると合焦面の移動量が小さいため、視点移動の効果をあまり大きくすることができない。また、リフォーカス可能な範囲を超えて合焦面を移動させると、画像に二重輪郭が発生して画質が低下する。結局のところ、特許文献２の技術によれば、合焦面を移動させても合焦面が回転中心になるということに変わりはないため、視点移動の回転中心の移動可能な範囲は合焦面の移動可能な範囲に制限される。

本発明はこのような状況に鑑みてなされたものであり、奥行き方向において合焦面とは異なる位置を回転中心とする視点移動の効果を持つ動画を視差画像から生成することを可能にする技術を提供することを目的とする。

上記課題を解決するために、本発明は、相互に視差を持つ複数の視差画像を合成比率に従って合成する合成処理を繰り返し行うことにより、複数の合成画像を生成する生成手段と、前記合成処理の前記繰り返しにおいて前記合成比率が経時的に変化するように制御する制御手段と、前記合成比率の前記経時的な変化に起因して前記複数の合成画像間で生じる視点移動の回転中心が奥行き方向において移動するように、前記複数の合成画像の位置合わせを行う位置合わせ手段と、を備えることを特徴とする画像処理装置を提供する。

本発明によれば、奥行き方向において合焦面とは異なる位置を回転中心とする視点移動の効果を持つ動画を視差画像から生成することが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

第１の実施形態に係る撮像装置１００の構成を示すブロック図。 撮像素子１０２の単位画素セルについて説明する図。 視差画像の得られる原理について説明する図。 合成処理により得られる合成画像の輪郭重心位置の変化について説明する図。 第１の実施形態に係る視点移動動画を生成する処理のフローチャート。 第２の実施形態に係る撮像装置１００の構成を示すブロック図。 第２の実施形態に係る視点移動動画を生成する処理のフローチャート。 第３の実施形態に係る撮像装置１００の構成を示すブロック図。 第３の実施形態に係る視点移動動画を生成する処理のフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は、画像処理装置の一例である撮像装置１００の構成を示すブロック図である。光学系ユニット１０１は、フォーカスを調整するためのフォーカシングレンズを含む光学レンズ群、シャッター、絞り、レンズ制御部等で構成されるユニットである。光学系ユニット１０１は、撮像素子１０２上に光学像を結像する。

撮像素子１０２は、単位画素セルが２次元マトリクス状に配列された撮像素子である。撮像素子１０２の露光量は、光学系ユニット１０１に含まれるシャッターによって制御される。撮像素子１０２は、光学系ユニット１０１によって結像された光学像を光電変換し、単位画素中に含まれる複数の光電変換領域（分割画素）に蓄積された電荷をそれぞれ順次Ａ／Ｄ変換部１０３に出力する。

ここで、図２を参照して、撮像素子１０２の単位画素セルについて説明する。図２において、単位画素セルは、マイクロレンズアレイに含まれる１つのマイクロレンズあたりに２×１の分割画素を有している。即ち、複数の分割画素が１つのマイクロレンズを共有している。以下では、左側の分割画素を「１Ａ画素」、右側の分割画素を「１Ｂ画素」と呼ぶ。このような単位画素セルが２次元マトリクス状にベイヤー配列で撮像素子１０２上に配置されている。

各マイクロレンズの同一画素位置に存在する分割画素のみで構成された２次元画像は、他の同一画素位置に存在する分割画素のみで構成された２次元画像に対して視差を有する。図２では、１Ａ画素のみで構成された画像（以下、「１Ａ像」又は「１Ａ像用画素群」と呼ぶ）は、１Ｂ画素のみで構成された画像（以下、「１Ｂ像」又は「１Ｂ像用画素群」と呼ぶ）に対して視差を有する。

次に、図３を参照して、視差画像の得られる原理について説明を行う。図３に示すように、撮像素子１０２には、１つのマイクロレンズの下に分離配置した１Ａ画素（図３では単に「Ａ」と示す）及び１Ｂ画素（図３では単に「Ｂ」と示す）を備えた複数の単位画素セル（図３の例では単位画素セルＰ１〜Ｐ１３）が配置されている。図３には単位画素セルが１次元的に示されているが、実際には単位画素セルは２次元配置されている。１Ａ画素及び１Ｂ画素は、マイクロレンズを射出瞳として瞳分割された画素であり、例えば特許文献１に示されるような既知の技術に基づいている。

１Ａ画素及び１Ｂ画素によって構成される１Ａ像用画素群及び１Ｂ像用画素群の視差は、合焦の程度に応じて次のように変化する。

合焦状態の場合、図３（ａ）に示すように、撮影光学系が結像する位置が単位画素セルＰ７の位置になるため、１Ａ像用画素群と１Ｂ像用画素群はほぼ一致する。この時、相関演算で求められる１Ａ像用画素群と１Ｂ像用画素群の視差量｜ｄ（ａ）｜はほぼ０である。

後ピン状態の場合、撮影光学系が結像する位置は、１Ａ像用画素については単位画素セルＰ５の位置、１Ｂ像用画素については単位画素セルＰ９の位置になる。この時、１Ａ像用画素群と１Ｂ像用画素群との間には視差量｜ｄ（ｂ）｜が発生する。

前ピン状態の場合、撮影光学系が結像する位置は、１Ａ像用画素については単位画素セルＰ９の位置、１Ｂ像用画素については単位画素セルＰ５の位置になる。この時、１Ａ像用画素群と１Ｂ像用画素群との間には視差量｜ｄ（ｃ）｜が発生する。

図３が意味することは、合焦時には１Ａ像用画素群及び１Ｂ像用画素群は同一の被写体を見ているが、後ピン時及び前ピン時には１Ａ像用画素群及び１Ｂ像用画素群は視差が発生した被写体を見ているということである。

再び図１を参照すると、Ａ／Ｄ変換部１０３は、伝送路上のノイズを除去するＣＤＳ回路や非線形増幅回路等を含む。Ａ／Ｄ変換部１０３は、これらの回路を用いて撮像素子１０２から出力されるアナログ電気信号に対してアナログ信号処理を行った上で、アナログ電気信号をデジタル電気信号（画素信号）に変換し、キャプチャ部１０４に出力する。

キャプチャ部１０４は、画素信号の有効期間及び種別を判定し、１Ａ画素及び１Ｂ画素に対応する画素信号を画像合成部１０５に出力する。

画像合成部１０５は、１Ａ像用画素群及び１Ｂ像用画素群を合成する。その際に、画像合成部１０５は、１Ａ像用画素群及び１Ｂ像用画素群の合成比率の時間単位の変化比率を、操作部１１３を介してユーザにより指示された視点の移動時間に基づいて制御する。これにより、視点移動の効果が付与された動画（視点移動動画）を生成することができる。例えば、ユーザが視点の移動時間として動画撮影時間を予め設定しておくことにより、設定された時間のみ視点移動の効果を持つ動画が生成される。また、静止画撮影の場合は、視点の移動時間は、１枚の静止画を構成する視差画像を合成して得られる動画における視点移動の効果が付与された期間を示す。

なお、視点移動動画において、合焦面に存在する被写体は視点移動の効果を持たない。また、合焦面よりも後ピン側に存在する被写体と前ピン側に存在する被写体とは、お互いに逆方向に移動する視点移動の効果を持つ。従って、視点移動による回転中心は合焦面に存在する。画像合成部１０５は、１Ａ像用画素群及び１Ｂ像用画素群の合成により得られる合成画像（視点移動動画のフレーム）を画像シフト部１０８及び被写体ずれ量算出部１０９に出力する。

画像シフト部１０８は、画像合成部１０５から出力された合成画像に対して、後述の被写体ずれ量算出部１０９から出力される合成画像間のずれ量に基づいて位置合わせを行う。位置合わせされた合成画像は、信号処理部１０６及び記憶部１１０に出力される。

記憶部１１０は、例えばＤＲＡＭなどの揮発性メモリであり、合成画像を一時的に記憶する。記憶された合成画像は、次フレームの合成画像の被写体のずれ量を算出する際に、参照画像として使用される。

被写体ずれ量算出部１０９は、予め設定された被写体領域について、フレーム間の合成によるずれ量を検出し、画像シフト部１０８に出力する。本実施形態では、合成による被写体位置のずれ量を、ＳＡＤやＳＳＤなどの相関演算によって算出するものとする。ＳＡＤやＳＳＤは公知の技術であるため説明を省略する。

信号処理部１０６は、合成画像に対してホワイトバランス補正やデモザイク（色補間）処理、符号化処理などの信号処理を行い、予め定められた形式のデータファイルに符号化動画データを格納して記録装置１０７に出力する。

記録装置１０７は、信号処理部１０６から出力されたデータファイルを記録する。記録装置１０７は、撮像装置１００に内蔵された不揮発性メモリであっても、撮像装置１００に着脱可能なメモリカードであってもよい。また、データファイルを無線通信などによって外部機器に送信する構成であってもよい。

制御部１１２は、例えばＣＰＵのようなプログラマブルプロセッサと、ＲＯＭ、ＲＡＭを有し、ＲＯＭに記憶されたプログラムをＲＡＭにロードしてＣＰＵが実行して各部の動作を制御することにより、撮像装置１００の機能を実現する。

表示部１１１は、例えばカラーＬＣＤであり、ビューファインダとして用いられたり、デジタルカメラの各種情報や、メニュー画面やメッセージなどのＧＵＩ、撮像画像などの表示に用いられたりする。

操作部１１３は、電源スイッチ、レリーズボタン、メニューボタン、方向キー、実行キー、モード設定ダイヤルなどの入力デバイスを有し、ユーザが撮像装置１００に指示や設定を入力するために用いられる。

なお、画像の合成による被写体の移動効果は、分割画素の分割方向にのみ発生する。例えば、図２に示すような水平方向に２分割された分割画素の場合、視点移動は水平方向に発生する。そのため、相関演算によって算出する像ずれ方向は、分割方向に限定することが可能である。

また、２×２で分割された分割画素の場合、各分割画素の合成比率によって視点の位置を２次元で定義することが可能である。そのような場合は、前フレームの合成比率と現フレームの合成比率による重心位置のずれ方向にのっとって相関演算によって算出する像ずれ方向を限定してもよい。

また、合成を行う分割画素の合成比率が単純増加、又は単純減少する場合、像ずれ量は、前フレームと２フレーム前とを比較した際のずれ量に対して符号が変わらない。例えば、前フレームと２フレーム前の像ずれ量が＋２ｐｉｘｅｌの場合、現フレームと前フレームの像ずれ量は正の値である。反対に、前フレームと２フレーム前の像ずれ量が−２ｐｉｘｅｌの場合、現フレームと前フレームの像ずれ量は負の値である。そのため、相関演算の像ずれ方向は、前フレームの像ずれ方向を参照して限定してもよい。

このように、相関演算を行う際の像ずれ方向を限定することで、演算負荷を大きく削減することが可能である。

次に、図５を参照して、視点移動動画を生成する処理の詳細について説明する。図５の本フローチャートの各ステップの処理は、特に断らない限り、制御部１１２がプログラムを実行することにより実現される。

Ｓ５００で、制御部１１２は、操作部１１３を介したユーザ指示に従い、視点移動時間Ｓと、視点移動効果において回転中心とすべき被写体領域（目標回転中心領域）とを設定する。例えば、ユーザは、操作部１１３を用いて、表示部１１１にライブビュー画像に重畳して表示されるカーソルを移動させることにより、目標回転中心領域として設定すべき被写体領域を選択することができる。

Ｓ５０１で、制御部１１２は、視点移動時間Ｓにフレームレート（ｆｐｓ）を乗じることにより、合計記録フレーム数ＴｏｔａｌＦｒａｍｅを算出する。

Ｓ５０２で、制御部１１２は、現在のフレーム番号を示す変数ＦｒａｍｅＮｕｍを０に初期化する。

Ｓ５０３で、制御部１１２は、撮像素子１０２などを制御することにより１Ａ像及び１Ｂ像を取得して画像合成部１０５に入力する。

Ｓ５０４で、画像合成部１０５は、１Ａ像及び１Ｂ像を合成する。合成処理は、下記の式（１）に従って行われる。
ここで、Ａ＿ＰＩＸは１Ａ像の画素を、Ｂ＿ＰＩＸは１Ｂ像の画素を、ＯＵＴ＿ＰＩＸは出力画素を、それぞれ示す。

ここで、図４を参照して、式（１）の合成処理により得られるＯＵＴ＿ＰＩＸの集合からなる合成画像の輪郭重心位置の変化について説明を行う。図４は、ある被写体を撮影した際の状態を示しており、横軸は水平方向の画素位置、縦軸は画素の値を示す。１Ａ像及び１Ｂ像のラインは各画素位置における分割画素の入力値を示しており、その他のラインは合成画素の値を示している。１Ａ像と１Ｂ像は４画素の像ずれ量を有し、１Ａ：１Ｂを５０：５０の合成比率で加算することにより得られる画素が、瞳分割されていない通常の画素に相当する。

５０：５０の合成に対して、４５：５５、３６：６４、２０：８０、０：１００と変化するに従って、合成画素の重心位置は徐々に１Ｂ像の重心位置に近づく。同様に、図示はしていないが、１Ａ像の合成比率を大きくした場合、合成画素の重心位置は１Ａ像の重心位置に近づく。

視点移動動画の生成時には、画像合成部１０５は合成比率を式（１）に従ってフレーム毎に変化させることにより、合成画像の重心位置が１Ａ像の重心位置から１Ｂ像の重心位置へと滑らかに移動するように制御する。このように合成処理を行うことで、合成動画において視点移動を行っている効果を得ることが可能である。

Ｓ５０５で、制御部１１２は、ＦｒａｍｅＮｕｍが最初のフレームを示す値である０であるか否かを判定する。ＦｒａｍｅＮｕｍが０である場合、処理はＳ５０８に進み、ＦｒａｍｅＮｕｍが２フレーム目以降を示す１以上の値である場合、処理はＳ５０６に進む。

Ｓ５０６で、被写体ずれ量算出部１０９は、現フレームの合成画像における目標回転中心領域の、１フレーム前の合成画像に対する画素ずれ量Ｄを算出する。画素ずれ量Ｄの算出は、例えば相関演算により行われる。

Ｓ５０７で、画像シフト部１０８は、画素ずれ量Ｄに基づいて、合成画像を−Ｄ画素だけシフトする。このように合成画像を−Ｄ画素だけシフトすることで、目標回転中心領域における視点移動の効果がキャンセルされ、視点移動の効果を持たない合焦面上の被写体領域に視点移動の効果が付与される。従って、Ｓ５０７の処理により、視点移動の回転中心を合焦面上の被写体領域から目標回転中心領域へと移動させることができる。

なお、特許文献２のようにリフォーカス処理により回転中心を移動させる場合と異なり、Ｓ５０７の処理では、二重輪郭が原理上発生しない。そのため、本実施形態では、許容錯乱円、撮影時の結像光学系の絞り値、及び分割画素数による制約を受けずに、視点移動の回転中心を移動させることができる。

Ｓ５０８で、信号処理部１０６は、合成画像に対して現像処理を行って記録装置１０７に記録する。現像処理としては、ホワイトバランス補正、同時化処理、動画像の符号化処理などが含まれる。

Ｓ５０９で、制御部１１２は、変数ＦｒａｍｅＮｕｍに１を加算する。これにより、処理対象のフレームが次フレームに移る。

Ｓ５１０で、制御部１１２は、ＦｒａｍｅＮｕｍがＴｏｔａｌＦｒａｍｅよりも小さいか否かを判定する。ＦｒａｍｅＮｕｍがＴｏｔａｌＦｒａｍｅよりも小さい場合、処理はＳ５０４に戻り、次フレームについて同様の合成処理が行われる。次フレームの合成処理においては、１Ａ像と１Ｂ像とが、式（１）に従って設定される、現フレームとは異なる合成比率で合成される。このように、ＦｒａｍｅＮｕｍ＝０からＦｒａｍｅＮｕｍ＝（ＴｏｔａｌＦｒａｍｅ−１）まで同様の処理を繰り返すことにより、フレーム数がＴｏｔａｌＦｒａｍｅである視点移動動画を生成することができる。ＦｒａｍｅＮｕｍがＴｏｔａｌＦｒａｍｅに等しくなると、本フローチャートの処理は終了する。

以上説明したように、第１の実施形態によれば、相互に視差を持つ複数の視差画像を合成比率に従って合成する合成処理が繰り返し行われ、複数の合成画像が生成される（図５のＳ５０４〜Ｓ５１０）。繰り返し行われる合成処理において、画像合成部１０５は、式（１）に従って、合成比率が経時的に変化するように制御する。合成比率が経時的に変化することに起因して、複数の合成画像間には視点移動の効果が生じる。Ｓ５０６及びＳ５０７の処理が行われない場合、視点移動の回転中心は、視差画像の合焦面である。しかしながら、Ｓ５０６及びＳ５０７の処理により、目標回転中心領域の被写体（特定の被写体）の位置が複数の合成画像間で一致するように、複数の合成画像の位置合わせが行われる。その結果、視点移動の回転中心が奥行き方向（焦点方向）において移動して、目標回転中心領域を視点移動の回転中心とする視点移動動画が得られる。このように、第１の実施形態によれば、奥行き方向において合焦面とは異なる位置を回転中心とする視点移動の効果を持つ動画を視差画像から生成することが可能である。

なお、本実施形態では、Ｓ５００においてユーザが選択した被写体領域が目標回転中心領域として設定されるものとしたが、目標回転中心領域の設定方法はこれに限定されない。例えば、制御部１１２は、焦点方向（撮影画像の奥行き方向）においてユーザにより選択された被写体領域から最も離れている被写体領域を目標回転中心領域として設定してもよい。これにより、ユーザにより選択された被写体領域に対して比較的大きな視点移動の効果を付与することができる。

また、本実施形態では、繰り返し行われる合成処理において合成する複数の視差画像として、撮像素子１０２を用いる１回の撮影により生成された複数の視差画像（１Ａ像及び１Ｂ像）を繰り返し使用する構成について説明した。しかしながら、撮像素子１０２を用いる連続撮影により順次生成された複数の視差画像を順次使用する構成を採用してもよい。例えば、撮像装置１００は、Ｓ５０１で算出されたＴｏｔａｌＦｒａｍｅに相当する回数の連続撮影を行う。そして、撮像装置１００は、繰り返し実行されるＳ５０４の処理において、繰り返し生成された複数の視差画像を順次使用する。

［第２の実施形態］
第１の実施形態では、視点移動の回転中心を焦点方向（奥行き方向）に移動させるために、前フレームの合成画像と現フレームの合成画像との間の被写体のずれ量に基づいて画素シフトを行う構成について説明した。しかしながら、目標回転中心領域の被写体が低コントラストである場合、ずれ量を正しく算出できない可能性がある。これは、フレーム間の合成画像における輪郭の重心位置の変化が微小な場合、相関演算結果の極値推定にばらつきが大きくなってしまうためである。

そこで、第２の実施形態では、視差画像間の被写体のずれ量（視差量）に基づいて合成画像間の被写体のずれ量を取得する構成について説明する。

図６は、第２の実施形態に係る撮像装置６００の構成を示すブロック図である。撮像装置６００は、撮像装置１００（図１）と比べて、記憶部１１０を持たず、被写体ずれ量算出部１０９が被写体ずれ量算出部６０１に置き換わっている点で異なる。

キャプチャ部１０４は、画素信号の有効期間及び種別を判定し、１Ａ画素及び１Ｂ画素に対応する画素信号を画像合成部１０５及び被写体ずれ量算出部６０１に出力する。

被写体ずれ量算出部６０１は、操作部１１３を介したユーザ指示に従って設定された目標回転中心領域について、１Ａ像と１Ｂ像との間の被写体のずれ量Ｄを算出する。ずれ量Ｄは、１Ａ像及び１Ｂ像の合成比率を変更することによって発生する全体のずれ量を表している。即ち、合成によるずれ量が最も大きな値が算出されるため、低コントラスト被写体であっても比較的ずれ量の算出誤差を小さくすることが可能である。

第１の実施形態と同様に式（１）に従って１Ａ像及び１Ｂ像の合成比率が経時的に変化する場合を考える。この場合、合成画像間の視点移動による被写体のずれ量ｄは、視差画像間の被写体のずれ量Ｄを用いる下記の式（２）に従って推定（算出）することが可能である。

ｄ ＝Ｄ×ＦｒａｍｅＮｕｍ／（ＴｏｔａｌＦｒａｍｅ−１）…（２）
画像シフト部１０８は、式（２）に従ってフレーム毎に求められるフレーム間（合成画像間）の視点移動による被写体のずれ量ｄに基づいて、合成画像を−ｄ画素だけシフトする。

次に、図７を参照して、視点移動動画を生成する処理の詳細について説明する。図７の本フローチャートの各ステップの処理は、特に断らない限り、制御部１１２がプログラムを実行することにより実現される。

Ｓ７００で、被写体ずれ量算出部６０１は、目標回転中心領域における視差画像間の被写体領域のずれ量Ｄを算出する。ずれ量Ｄの算出は、例えば相関演算により行われる。

Ｓ７０１で、被写体ずれ量算出部６０１は、式（２）に従って現フレームの合成画像と最初のフレームの合成画像との間の被写体のずれ量ｄを算出し、画像シフト部１０８に出力する。そして、画像シフト部１０８は、合成画像を−ｄ画素だけシフトする。この処理により、合成比率が経時的に変化することに起因して生じる複数の合成画像間の位置ずれを小さくすることができる。この位置ずれは、目標回転中心領域における複数の視差画像間の被写体（特定の被写体）の視差量に対応する。従って、この位置ずれを小さくすることにより、視点移動画像の回転中心を、目標回転中心領域の近くへ移動させることができる。位置ずれの量は、式（２）に従い、視差量と合成比率の経時的な変化とに基づいて特定される。

視点移動の効果を付与した合成画像の重心位置が１Ａ像が１００％の位置から１Ｂ像が１００％の位置へと移動する場合、上記の処理により、視差画像間の被写体のずれ量Ｄに基づいて各フレームの合成画像の被写体のずれ量ｄを推定することが可能となる。この処理は、低コントラスト被写体に対して堅牢である。また、各フレームにおいて相関演算を行う訳ではないため、特定のフレームでずれ量を誤検出してしまうことなどによる画質低下を抑制することができる。また、一般的に相関演算は演算コストが高いことで知られている。そのため、視差画像間の被写体のずれ量Ｄを算出するために１度だけ相関演算を行い、各フレームのずれ量は式（２）に従って推定することにより、演算コストを削減することが可能である。

以上説明したように、第２の実施形態によれば、撮像装置６００は、目標回転中心領域における視差画像間の被写体のずれ量（視差量）に基づいて合成画像間の被写体のずれ量を取得する。これにより、目標回転中心領域の被写体が低コントラストである場合であっても、合成画像間の被写体のずれ量を取得することが可能となる。

なお、本実施形態では合成比率が式（１）に従って均等に変化する（１Ｂ像の割合が線形に増加する）場合について説明を行ったが、合成比率が他の態様で変化する場合にも本実施形態を適用可能である。この場合、合成比率の変化の態様に応じて式（２）を適宜変形することで、合成画像間の被写体のずれ量を推定することが可能である。

また、動画像の場合は被写体が焦点方向に移動してしまうと、回転中心が被写体に追従してしまい、動画の品位を下げてしまう場合が存在する。そのような場合は、最初のフレームの１Ａ像及び１Ｂ像の被写体のずれ量に基づいて全フレームの被写体のずれ量を設定することで、被写体の焦点方向への移動に依存しない視点移動効果の付与が可能である。

［第３の実施形態］
第１の実施形態では、ユーザが選択した被写体領域を目標回転中心領域として設定する構成について説明した。この場合、被写体が存在しない領域については、目標回転中心領域として設定することができない。

そこで、第３の実施形態では、合焦面（合焦距離）からのデフォーカス量に基づいて、視点移動による回転中心を奥行き方向に移動させる構成について説明する。

図８は、第３の実施形態に係る撮像装置８００の構成を示すブロック図である。撮像装置８００は、撮像装置１００（図１）と比べて、記憶部１１０を持たず、被写体ずれ量算出部１０９がシフト数決定部８０１に置き換わっている点で異なる。

シフト数決定部８０１は、操作部１１３を介したユーザ指示に従って設定されたデフォーカス量ｄｅｆに基づいて、奥行き方向の目標回転中心距離（合焦距離とデフォーカス量との和に相当する距離）における視差画像間の視差量Ｄを取得する。視差量Ｄは、式（３）に従って算出することが可能である。

Ｄ＝ｄｅｆ／Ｋ…（３）
ここで、Ｋは、撮像素子１０２や光学系ユニット１０１の光学特性に基づいて定まる値である。一般的な焦点検出装置では、分割画素間の相関演算によって得られた像ずれ量に対してＫを乗ずることによってデフォーカス量を算出することができる。従って、式（３）のようにデフォーカス量をＫで割ることにより、像ずれ量、即ち視差量Ｄを算出することができる。

視差量Ｄは、目標回転中心距離における視差画像間の被写体のずれ量に相当する。従って、視差量Ｄは、第２の実施形態における視差画像間の被写体のずれ量Ｄと実質的に同じである。そのため、第２の実施形態と同様に、式（２）に従って視差量Ｄ（ずれ量Ｄ）から合成画像間の被写体のずれ量ｄを算出することができる。シフト数決定部８０１は、算出したずれ量ｄを画像シフト部１０８に出力する。

次に、図９を参照して、視点移動動画を生成する処理の詳細について説明する。図９の本フローチャートの各ステップの処理は、特に断らない限り、制御部１１２がプログラムを実行することにより実現される。

Ｓ９００で、制御部１１２は、操作部１１３を介したユーザ指示に従い、視点移動時間Ｓと、視点移動効果において回転中心とすべき焦点距離（目標回転中心距離）とを設定する。例えば、ユーザは、操作部１１３を用いてデフォーカス量を入力することができ、制御部１１２は、現在の合焦距離にデフォーカス量を加えることにより目標回転中心距離を算出することができる。

Ｓ９０１で、シフト数決定部８０１は、式（３）に従って視差画像間の視差量Ｄ（ずれ量Ｄ）を算出する。

Ｓ９０２で、シフト数決定部８０１は、式（２）に従って現フレームの合成画像と最初のフレームの合成画像との間の被写体のずれ量ｄを算出し、画像シフト部１０８に出力する。そして、画像シフト部１０８は、合成画像を−ｄ画素だけシフトする。この処理により、合成比率が経時的に変化することに起因して生じる複数の合成画像間の位置ずれを小さくすることができる。この位置ずれは、目標回転中心距離における複数の視差画像間の視差量に対応する。従って、この位置ずれを小さくすることにより、視点移動画像の回転中心を、目標回転中心距離の近くへ移動させることができる。なお、視差量は、式（３）に従い、目標回転中心距離（特定の距離）と複数の視差画像の合焦距離との差（即ち、デフォーカス量）に基づいて特定される。

以上説明したように、第３の実施形態によれば、撮像装置８００は、合焦面（合焦距離）からのデフォーカス量に基づいて、視点移動による回転中心を奥行き方向に移動させる。これにより、被写体が存在しない距離に視点移動の回転中心を設定することが可能となる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…撮像装置、１０１…光学系ユニット、１０２…撮像素子、１０３…Ａ／Ｄ変換部、１０４…キャプチャ部、１０５…画像合成部、１０８…画像シフト部、１０９…被写体ずれ量算出部、１１２…制御部、１１３…操作部

Claims (12)

1. 相互に視差を持つ複数の視差画像を合成比率に従って合成する合成処理を繰り返し行うことにより、複数の合成画像を生成する生成手段と、
   前記合成処理の前記繰り返しにおいて前記合成比率が経時的に変化するように制御する制御手段と、
   前記合成比率の前記経時的な変化に起因して前記複数の合成画像間で生じる視点移動の回転中心が奥行き方向において移動するように、前記複数の合成画像の位置合わせを行う位置合わせ手段と、
   を備えることを特徴とする画像処理装置。
2. 前記位置合わせ手段は、特定の被写体の位置が前記複数の合成画像間で一致するように、前記複数の合成画像の位置合わせを行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記位置合わせ手段は、前記合成比率が経時的に変化することに起因して生じる前記複数の合成画像間の位置ずれであって、前記複数の視差画像間の特定の被写体の視差量に対応する前記複数の合成画像間の前記位置ずれを小さくするように、前記複数の合成画像の位置合わせを行う
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記位置合わせ手段は、前記視差量と前記合成比率の前記経時的な変化とに基づいて、前記複数の合成画像間の前記位置ずれの量を特定する
   ことを特徴とする請求項３に記載の画像処理装置。
5. ユーザの指示に従って前記特定の被写体を決定する決定手段を更に備える
   ことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記位置合わせ手段は、前記合成比率が経時的に変化することに起因して生じる前記複数の合成画像間の位置ずれであって、前記奥行き方向の特定の距離における前記複数の視差画像間の視差量に対応する前記複数の合成画像間の前記位置ずれを小さくするように、前記複数の合成画像の位置合わせを行い、
   前記位置合わせ手段は、前記特定の距離と前記複数の視差画像の合焦距離との差に基づいて、前記視差量を特定する
   ことを特徴とする請求項１に記載の画像処理装置。
7. ユーザの指示に従って前記特定の距離を決定する決定手段を更に備える
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記生成手段は、前記繰り返し行われる前記合成処理において合成する前記複数の視差画像として、マイクロレンズを共有する複数の分割画素を有する単位画素が２次元配置された撮像素子を用いる１回の撮影により生成された複数の視差画像を繰り返し使用する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記生成手段は、前記繰り返し行われる前記合成処理において合成する前記複数の視差画像として、マイクロレンズを共有する複数の分割画素を有する単位画素が２次元配置された撮像素子を用いる連続撮影により順次生成された複数の視差画像を順次使用する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 請求項８又は９に記載の画像処理装置と、
    前記撮像素子と、
    を備えることを特徴とする撮像装置。
11. 画像処理装置が実行する画像処理方法であって、
    相互に視差を持つ複数の視差画像を合成比率に従って合成する合成処理を繰り返し行うことにより、複数の合成画像を生成する生成工程と、
    前記合成処理の前記繰り返しにおいて前記合成比率が経時的に変化するように制御する制御工程と、
    前記合成比率の前記経時的な変化に起因して前記複数の合成画像間で生じる視点移動の回転中心が奥行き方向において移動するように、前記複数の合成画像の位置合わせを行う位置合わせ工程と、
    を備えることを特徴とする画像処理方法。
12. コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。