JP2017098631A - 画像合成処理装置 - Google Patents

Abstract

【課題】異なる焦点位置で撮影された複数の画像を合成する場合に、各画像の倍率補正による画像サイズの変化を調整して、適切な合成画像を生成する画像合成処理装置を提供すること。【解決手段】焦点差倍率を算出する焦点差倍率算出部１１２と、撮影された焦点位置に応じた画像歪を補正する場合に変化する倍率である歪補正倍率を算出する歪補正倍率算出部１１４と、焦点差倍率及び歪補正倍率により変化する複数の画像の像高が一定になるよう該複数の画像の倍率を補正する倍率補正値を算出する倍率補正値算出部１１６と、倍率補正値により倍率が補正された複数の画像から、画像合成用の画像として使用される領域を決定する領域決定部１２０と、を備え、領域決定部は、複数の画像でそれぞれ算出された倍率補正値を比較して、複数の画像の中で対応する倍率補正値が最小となる画像を判定し、領域を決定する。【選択図】図２

Description

本発明は、焦点位置を変化させて撮影された複数の画像を合成する画像合成処理装置に関する。

デジタルカメラ等の撮像装置では、複数の画像データを取得し、１枚の画像では表現できない画質を実現する機能がある。特許文献１には、焦点位置を移動して複数枚の画像データを取得し、それらの画像データを合成することで被写界深度が深い画像を得る技術が開示されている。このような撮影は、フォーカスブラケット撮影とも呼ばれる。

一方、焦点位置が異なる画像データの間では、撮像光学系に起因する画像の倍率変化や光学的な収差の発生量が異なることが知られている。例えば、特許文献２では、それらの収差を予め定量化したデータに基づいて収録した複数枚の画像データ各々を補正する技術が開示されている。更に、撮影画像にはレンズ特性に応じて、像高に依存する歪曲収差や倍率色収差が発生する。そして、その収差補正により倍率が変化するので、収差補正による倍率変化を補正するために変倍処理を行うことが特許文献３に開示されている。

特開２００８―２７１２４０号公報 特開２００１―２５７９３２号公報 特開２００９―１０５６２１号公報

異なる焦点位置で撮影された複数の画像では、焦点位置による倍率変化と歪補正による倍率変化の２つの倍率変化が発生する。そこで、合成処理を行う前に２つの倍率変化を補正する倍率補正を行い、各画像の被写体のサイズを一致させる必要がある。一方、各画像の被写体のサイズを一致させるよう倍率補正を行うと、各画像の倍率補正値が異なるので、各画像のサイズ（画角）が異なってしまう。異なる画角の画像をそのまま合成すると、画像の周辺部で画質が劣化するおそれがある。
本発明では、上記課題に鑑み、異なる焦点位置で撮影された複数の画像を合成する場合に、各画像の倍率補正による画像サイズの変化を調整して、適切な合成画像を生成する画像合成処理装置を提供することを目的とする。

上記目的を達成するために、焦点位置を変化させて撮影された複数の画像を合成して合成画像を生成するための画像合成処理装置において、撮影された焦点位置の差に応じて変化する倍率である焦点差倍率を、前記複数の画像について算出する焦点差倍率算出部と、撮影された焦点位置に応じた画像歪を補正する場合に変化する倍率である歪補正倍率を、前記複数の画像について算出する歪補正倍率算出部と、前記焦点差倍率及び前記歪補正倍率により変化する前記複数の画像の像高が一定になるよう該複数の画像の倍率を補正する倍率補正値を、該複数の画像について算出する倍率補正値算出部と、前記倍率補正値により倍率が補正された前記複数の画像から、画像合成用の画像として使用される領域を決定する領域決定部と、を備え、前記領域決定部は、前記倍率補正値が小さい場合に補正後の画像が相対的に小さくなるとした場合に、前記複数の画像でそれぞれ算出された倍率補正値を比較して、前記複数の画像の中で対応する倍率補正値が最小となる画像を判定し、前記判定した画像に基づき、前記領域を決定する。

本発明によれば、異なる焦点位置で撮影された複数の画像を合成する場合に、各画像の倍率補正による画像サイズの変化を調整して、適切な合成画像を生成する画像合成処理装置を提供することができる。

カメラの構成例を示すハードウェアブロック図である。 画像合成処理に関する機能ブロック図である。 画像合成処理の手順を説明するフローチャートである。 倍率補正値算出の手順を説明するためのサブルーチンである。 焦点差倍率δｆのグラフである。 歪補正倍率δｄのグラフである。 焦点差倍率δｆ、歪補正倍率δｄ及び合計倍率δｔのグラフである。 図５Ａ〜図５Ｃの倍率による被写体像の具体的な変化を示した図である。 切出し領域決定処理の手順を説明するためのサブルーチンである。 構成画像と倍率補正画像及び切出された画像を対比して示す図である。 合成されるＬ（−３）〜Ｌ（３）位置の構成画像を、模式的に並べた図である。 ライブビュー中の合成画像表示及び合成画像の動画記録の手順を説明するフローチャートである。

以下、図面に従って本発明の実施形態を説明する。図１は、カメラ１の構成例を示すハードウェアブロック図である。本実施形態に係る画像合成処理装置がカメラ１に搭載される。

カメラ１は、カメラ本体部２と、カメラ本体部２に脱着できるような交換式のレンズ装置５とから構成される。なお、本実施形態においては、レンズ装置５は交換レンズ式として説明するが、これに限らず、レンズ装置５はカメラ本体部２に固定されるタイプであっても勿論かまわない。

レンズ装置５は、撮影レンズ２００、絞り２０５、レンズドライバ２１０、マイクロコンピュータ２２０、フラッシュメモリ２３０、及びインターフェース（以後、Ｉ／Ｆと称す）２４０を有する。

撮影レンズ２００は、被写体像を形成するための複数の光学レンズ（ピント調節用のフォーカスレンズ、焦点距離調整用のズームレンズを含む）から構成される。なお、撮影レンズ２００は、単焦点レンズでもよい。撮影レンズ２００の光軸の後方には、絞り２０５が配置される。絞り２０５は、開口径を調整して、撮影レンズ２００を通過する被写体光束の光量を制御する。

レンズドライバ２１０は、撮影レンズ２００に含まれるフォーカスレンズを移動させてフォーカス位置を変化させ、撮影レンズ２００に含まれるズームレンズを移動させて焦点距離を変化させる。また、レンズドライバ２１０は、絞り２０５の開口径の制御も行う。レンズドライバ２１０は、マイクロコンピュータ２２０からの制御信号に基づいて、フォーカスレンズ等を駆動する。

マイクロコンピュータ２２０は、プログラムを読込んで、読込んだプログラムに従って、レンズ装置５を制御する。フラッシュメモリ２３０は、不揮発性のメモリで、前述したプログラムの他、撮影レンズ２００の光学データや調整値等の種々の情報を格納する。撮影レンズ２００の光学データとしては、焦点距離、各焦点位置における焦点差倍率、各焦点位置における歪曲収差特性がある。

Ｉ／Ｆ２４０は、レンズ装置５とカメラ本体部２との間で、データの送受信を行うインターフェースである。レンズドライバ２１０とＩ／Ｆ２４０は、マイクロコンピュータ２２０に接続される。

マイクロコンピュータ２２０は、カメラ本体部２からＩ／Ｆ２４０を介した制御信号により、レンズドライバ２１０を制御して、フォーカス位置調整やズーム調整等を行う。マイクロコンピュータ２２０は、フォーカスレンズ位置やズームレンズ位置等の情報を、カメラ本体部２に送信する。また、マイクロコンピュータ２２０は、フラッシュメモリ２３０に格納された撮影レンズ２００の光学データをカメラ本体部２に送信する。

カメラ本体部２は、シャッター１０、撮像素子１２、撮像回路２０、画像処理回路３０、マイクロコンピュータ４０、操作部４５、フラッシュメモリ５０、ＤＲＡＭ６０、メモリＩＦ７０、記録媒体７５、表示ドライバ８０、表示部８５及びバス９０等を有する。

シャッター１０は、カメラ本体部２の入射側に配置され、開閉により露光時間を制御する。撮像素子１２は、ＣＣＤやＣＭＯＳから構成され、入射光を光電変換して画像信号を出力する。

撮像回路２０は、画像信号をデジタルの画像データに変換し、また、画像データに基づきＡＥ（Automatic Exposure）処理やＡＦ（Auto Focus）処理を行う。撮像回路２０は、アナログ処理部２２、ＡＤ変換部２３、ＡＥ処理部２４及びＡＦ処理部２５等を有する。

アナログ処理部２２は、画像信号に対し増幅やノイズ低減処理を行う。ＡＤ変換部２３は、アナログ処理された画像信号をデジタルの画像データに変換する。ＡＥ処理部２４は、画像データに基づき適正露出となる露光条件を設定する。ＡＦ処理部２５は、画像データに基づき合焦位置を検出する。

画像処理回路３０は、画像データに対して、各種画像処理を施す。画像処理回路３０は、ＹＣ現像部３２、圧縮部３７及び伸張部３８等を有する。ＹＣ現像部３２は、ＲＡＷデータをＹＣデータに変換する。さらに、ＹＣ現像部３２は、デモザイク、ホワイトバランス補正、カラーマトリックス、ガンマ補正、エッジ強調、ノイズリダクションなどの画像処理を行う。

圧縮部３７は、画像データを記録媒体７５に記録する際に、画像データを所定のフォーマット（例えば、ＪＰＥＧ）で圧縮する。伸張部３８は、記録媒体７５から圧縮記録された画像データを読出す際に、画像データを所定のフォーマットで伸張する。

マイクロコンピュータ４０は、プログラムを読込んで、読込んだプログラムに従って、カメラ本体部２及びカメラ１を、統括的に制御する。操作部４５は、ボタンやタッチパネルから構成され、操作指示を入力するものである。操作部４５は、電源ボタン、レリーズボタン、動画ボタン、再生ボタン、メニューボタン、ＯＫボタン等、各種入力ボタンや各種入力キー等の操作部材を含む。操作部４５は、マイクロコンピュータ４０に接続され、操作指示内容をマイクロコンピュータ４０に通知する。

フラッシュメモリ５０は、不揮発性のメモリで、前述したプログラムの他、各種データやテーブルを格納する。ＤＲＡＭ（Dynamic Random Access Memory）６０は、一時記憶メモリで、画像処理回路３０で画像データへ各種処理を行う場合に、画像データを展開するワーキングエリアである。

メモリＩ／Ｆ７０は、画像データや画像データのタグデータを、記録媒体７５に書き込みおよび読出しの制御を行う。記録媒体７５は、例えば、フラッシュメモリで、画像データ保存用のメモリである。記録媒体７５は、カメラ本体部２に着脱自在なカードメモリでも良いし、カメラ本体部２に内蔵されるハードディスク等であっても良い

表示ドライバ８０は、撮影時のライブビュー画像データあるいは記録媒体７５から読み出され伸張部３８によって伸張された画像データに基づいて、画像を表示部８５に表示させる。表示部８５は、例えば、ＬＣＤやＥＬで構成される。表示部８５は、カメラ本体部２の背面に設けられる背面表示部あるいはカメラ本体部２の上面に設けられるＥＶＦ（Electronic View Finder）である。カメラ本体部２には、背面表示部及びＥＶＦの両方が設けられても良い。

バス９０は、カメラ本体部２の内部で読み出され若しくは生成された各種データをカメラ本体部２の内部に転送するためのデータ転送路である。

図２は、フォーカスブラケット撮影時に行われる画像合成処理を説明する機能ブロック図である。フォーカスブラケット撮影とは、焦点位置を移動して複数枚の画像データを取得し、取得した画像データを合成して、合成画像を取得する撮影である。取得した画像データの中で、空間周波数の高い画素を合成することで、被写界深度の深い画像を得ることができる。焦点位置を移動して撮影され、合成画像を構成する複数枚の画像を、以下で構成画像と呼ぶ。

画像合成処理装置は、カメラ制御部１００により全体が制御される。カメラ制御部１００は、プログラムを読込んだマイクロコンピュータ４０によるソフトウェア処理により実現される機能である。また、倍率算出部１１０、切出し領域決定部１２０、高周波検出部１２２、歪補正部１５０、倍率補正部１６０、画像データ合成部１７０も、同様にマイクロコンピュータ４０によるソフトウェア処理により実現される機能である。

倍率算出部１１０は、構成画像間で相対的に異なる倍率を補正する倍率補正値を算出するものである。倍率算出部１１０は、焦点差倍率算出部１１２、歪補正倍率算出部１１４及び倍率補正値算出部１１６を有する。

焦点差倍率算出部１１２は、構成画像のそれぞれの焦点位置に応じて変化する倍率である焦点差倍率δｆを算出する。光学特性上、焦点位置に応じて、被写体のサイズが変化するからである。焦点差倍率δｆは、レンズ特性、焦点距離や焦点位置に応じて変化する。

焦点差倍率算出部１１２は、撮影条件とフラッシュメモリ５０に格納された光学データから、基準焦点位置における倍率とその前後の焦点位置での倍率の差を求めて、焦点差倍率を算出する。基準焦点位置は、例えば、ＡＦ合焦位置やマニュアル合焦位置である。

歪補正倍率算出部１１４は、歪曲収差(以下では、単に歪とも称す)を補正することにより発生する倍率変化である歪補正倍率δｄを、各構成画像について算出する。レンズによる歪を補正すると、歪補正による画素欠損が発生するおそれがあり、この画素欠損を防ぐため、歪補正量に応じた拡大縮小処理が必要になる。歪の量は、レンズ特性、焦点距離や焦点位置に応じて変化する。歪補正倍率算出部１１４は、撮影条件とフラッシュメモリ５０に格納された光学データから、歪補正倍率δｄを算出する。

倍率補正値算出部１１６は、焦点差倍率δｆに歪補正倍率δｄを乗算して歪補正倍率δｔを算出し、１／δｔ＝倍率補正値αを算出する。焦点差倍率δｆ、歪補正倍率δｄ、歪補正倍率δｔの詳細は、図５の各図で後述する。なお、焦点差倍率δｆや歪補正倍率δｄは、画面の垂直方向と水平方向における差は特にない。

切出し領域決定部１２０は、画像合成用に使用する範囲（切出し領域）を決定するものである。倍率補正値αに基づき倍率補正部１６０により倍率が補正されると、各構成画像のサイズ（画角）が変化する。そして、サイズの異なる画像を合成すると、合成画像は、周辺部の画質が劣化するおそれがある。そこで、倍率補正後の構成画像から、共通する領域で切出した画像を合成すれば、画像サイズが共通するので、合成画像の周辺部が劣化するおそれがなくなる。なお、切出し領域は、合成画像の画像サイズに相当するものであって、合成画像の撮影範囲とも言える。また、「画像サイズ」は「画角」と言い換えてもよい。また、切出し領域決定部１２０は、領域決定部とも呼ぶ。

具体的には、切出し領域決定部１２０は、構成画像でそれぞれ算出された倍率補正値αを比較して、最小の倍率補正値αなる構成画像を判定し、判定した構成画像に基づき、切出し領域を決定する。なお、倍率補正値αは、前記倍率補正値αが小さい場合に補正後の画像が相対的に小さくなるように設定された値である。つまり、倍率補正値α＜１の場合には、補正後に画像サイズは相対的に小さくなる。具体例は、図６で説明する。

また、切出し領域決定部１２０は、最小の倍率補正値αと判定した構成画像のサイズを切出し領域と決定してもよいし、判定した構成画像のサイズに所定画素数増減して修正したサイズを切出し領域と決定してもよい。

高周波検出部１２２は、切出し領域決定のために、構成画像の高周波成分量を検出するものである。切出し領域決定部１２０は、構成画像の中で、検出された高周波成分量が所定値以下の画像を判定から除外してもよい。高周波成分量が低い、つまりピントの合っていない画像は、重要度の低い画像と推定できるので、重要度の低い画像は合成画像のサイズの基準にはふさわしくないからである。

歪補正部１５０は、構成画像の像の歪をフラッシュメモリ５０に格納されたテーブルを参照して補正する。倍率補正部１６０は、歪が補正された各構成画像の倍率をそれぞれの倍率補正値αに基づき補正する。

画像データ合成部１７０は、歪補正及び倍率補正された構成画像から、切出し領域決定部１２０で決定された切出し領域に基づき画像を切出し、切出した画像を合成して１枚の合成画像を生成する。

また、画像データ合成部１７０は、合成画像を生成する場合に、各構成画像から高周波成分の高い画素を抽出し、高周波成分の高い画素を貼り合わせて、いわゆる深度合成を行っても良い。深度合成された画像は、1枚だけの画像に比べて、焦点深度の深い画像となる。

また、画像データ合成部１７０は、合成画像を生成する場合に、背景にぼかし効果（ぼけ拡大効果）を与える処理を行ってもよい。具体的には、画像データ合成部１７０は、高周波検出部１２２により検出された各構成画像の高周波成分情報から、各画素(または画像の各オブジェクト)の被写体距離を算出して、主被写体と背景を判別する。

そして、画像データ合成部１７０は、背景と判別された箇所にフィルター処理でぼかし効果（ぼけ拡大効果）を与える処理を行う。このような画像によれば、1枚だけの画像に比べて、背景をよりぼかすことで、主被写体をより強調する効果を得ることができる。

処理の流れを簡単に説明する。カメラ制御部１００は、操作部４５からフォーカスブラケット撮影の指示を受けると、フォーカスブラケット撮影処理を実行する。

カメラ制御部１００は、設定に応じて、撮影を行う焦点位置を算出する。カメラ制御部１００は、ＩＦ２４０を介してマイクロコンピュータ２２０に算出した焦点位置を指示し、各焦点位置で、撮影を実行する。焦点位置は、例えば、ＡＦ合焦位置やマニュアル合焦位置を中心として前後３枚ずつの計７枚である。

また、カメラ制御部１００は、マイクロコンピュータ２２０から撮影レンズ２００の光学データを取得し、フラッシュメモリ５０に格納する。

焦点位置を移動させながら撮影が実行され、撮像素子１２から出力された画像信号が、アナログ処理部２２で増幅等され、ＡＤ変換部２３から画像データとして出力される。ＹＣ現像部３２は、各構成画像の画像データに所定の処理を施す。歪補正部１５０は、各構成画像の画像データに歪補正を行う。

焦点差倍率算出部１１２は、各構成画像の焦点位置に応じて、焦点差倍率δｆを算出する。歪補正倍率算出部１１４は、各構成画像の焦点位置に応じて、歪補正倍率δｄを算出する。倍率補正値算出部１１６は、焦点差倍率δｆ×歪補正倍率δｄ＝合計倍率δｔを求め、１／δｔ＝倍率補正値αを算出する。

切出し領域決定部１２０は、構成画像でそれぞれ算出された倍率補正値αを比較して、最小の倍率補正値αなる構成画像を判定し、判定した構成画像に基づき、切出し領域を決定する。

倍率補正部１６０は、各構成画像の画像に対して、倍率補正値αにより倍率補正を行う。 画像データ合成部１７０は、決定された切出し領域に基づき構成画像から画像を切出し、切出した画像を合成して１枚の合成画像を生成する。

〈画像合成処理〉
図３は、フォーカスブラケット撮影における画像合成処理の手順を説明するフローチャートである。カメラ制御部１００は、撮影焦点位置を決定する（ステップＳ１０）。カメラ制御部１００は、設定により、ＡＦ合焦位置を焦点位置の中心としてもよい。また、撮影時の複数の焦点位置は、カメラ制御部１００が所定の条件で自動設定してもよいし、撮影者が任意に指示してもよい。

自動設定の例を簡単に説明する。カメラ制御部１００は、予め撮影者により設定された中心位置の前後の撮影枚数と焦点位置間隔を記憶しておき、撮影時のＡＦ合焦時毎に、各焦点位置が算出する。例えば、撮影枚数＝５、焦点位置間隔＝１ｍと設定されていれば、焦点位置の中心が４ｍの場合には、カメラ制御部１００は、２ｍ、３ｍ、４ｍ、５ｍ、６ｍの各焦点位置で、撮影が行われる。

他にも、カメラ制御部１００は、背面表示部に設けたタッチパネルで画像内で選択された２点の焦点位置を検出し、その２点の焦点位置の間を予め設定された画像枚数で等間隔に分割して焦点位置としてもよい。また、カメラ制御部１００は、２点の焦点位置の間を予め設定した焦点間隔で撮影されるように撮影枚数を算出してもよい。また、この２点の焦点位置は、ＭＦ（Manual Focus）と操作部４５のボタンによって設定してもよい。

カメラ制御部１００は、設定された複数の焦点位置で、撮影を行う（ステップＳ１２）。カメラ制御部１００は、撮影した画像データをＤＲＡＭ６０に記録する。

カメラ制御部１００は、倍率補正値の算出を行う（ステップＳ１４）。図４は、倍率補正値算出の手順を説明するためのサブルーチンである。倍率算出部１１０は、基準焦点位置を決定する（ステップＳ５０）。基準焦点位置は、焦点差倍率を算出する際に、基準となる焦点位置である。基準焦点位置で撮影した画像の倍率を「１」として、他の画像の焦点差倍率を算出する。基準焦点位置は、ＡＦ合焦位置でも良いし、それ以外でも、例えば至近端や無限端の焦点位置としてもよい。また、基準焦点位置で撮影された画像を、後段の画像合成の位置あわせ処理で位置あわせの基準とする画像としてもよい。

次に、カメラ制御部１００は、以下ステップＳ５２〜ステップＳ６０の処理を全ての構成画像について繰り返し行う。カメラ制御部１００は、１つの構成画像の撮影条件を取得する（ステップＳ５２）。カメラ制御部１００は、レンズ種類、ズーム位置や焦点位置を取得する。

カメラ制御部１００は、光学データを取得する（ステップＳ５４）。光学データとは、歪補正量および焦点差倍率に関して定量化したデータで、数式・テーブルいずれの形式でもよい。
カメラ制御部１００は、光学データをフラッシュメモリ５０あるいはフラッシュメモリ２３０から読み出す。歪補正量および焦点差倍率は、撮影時のレンズに依存する値なのでレンズ種類に応じた値が必要である。光学データは、ズーム位置及び焦点位置にそれぞれ対応した値で記憶される。

歪補正倍率算出部１１４は、歪補正倍率δｄを算出する（ステップＳ５６）。歪補正倍率算出部１１４は、取得した撮影条件と光学データから歪補正倍率δｄを算出する。

焦点差倍率算出部１１２は、焦点差倍率δｆを算出する（ステップＳ５８）。焦点差倍率算出部１１２は、取得した撮影条件と光学データ、および基準焦点位置と演算対象画像の焦点位置の差から、焦点差倍率δｆを算出する。

倍率補正値算出部１１６は、倍率補正値αを算出する（ステップＳ６０）。前述のように、倍率補正値α＝１／（合計倍率値δｔ）、合計倍率値δｔ＝焦点差倍率δｆ×歪補正倍率δｄである。

図５Ａ〜図５Ｃは、焦点位置による倍率変動の例を示すグラフである。図５各図は、縦軸が倍率δで、横軸が焦点位置である。倍率δ＞１の焦点位置では、被写体が拡大して撮影され、倍率δ＜１の焦点位置では、被写体が縮小して撮影される。換言すれば、倍率δ＞１の焦点位置では、画角が狭く、倍率δ＜１の焦点位置では、画角が広くなる。

また、横軸の右端を至近、左端が無限とする。図５各図は、Ｌ（０）を基準焦点位置とし、Ｌ（０）を中心に、焦点位置を移動させて、前後３枚ずつ合計７枚の画像が撮影される例である。

図５Ａは、焦点差倍率δｆのグラフで、焦点の位置に応じた倍率変化を示す。この例では、Ｌ（０）の画像に対して、至近側のＬ（−３）の画像で被写体が最も大きく撮影され、無限側の焦点位置Ｌ（３）の画像で被写体が最も小さく撮影される。

図５Ｂは、歪補正倍率δｄのグラフで、焦点の位置に応じた歪補正による倍率変化を示す。この例では、Ｌ（０）の画像に対して、至近側のＬ（−３）の画像で被写体が最も小さく撮影される。また、Ｌ（０）の画像に対して、Ｌ（３）の画像でも被写体が小さく撮影される。

図５Ｃは、焦点差倍率δｆと歪補正倍率δｄと合計倍率δｔを、重ねて示したグラフである。前述のように、焦点差倍率δｆ×歪補正倍率δｄ＝合計倍率δｔである。合計倍率δｔは、Ｌ（−２）で最大で、Ｌ（３）で最小となる。

図６は、図５Ａ〜図５Ｃの倍率による被写体像の具体的な大小を示した図である。代表してＬ（−２）、Ｌ（０）、Ｌ（３）の３つの焦点位置での、被写体像の具体的な大小を示す。画像Ｐoは、倍率を１とした仮の画像である。被写体像を上向き矢印で示す。

Ｌ（−２）では、焦点差により、焦点差倍率δｆ＝１．１で、被写体像は１．１倍に拡大される（画像Ｐｆ）。また、歪補正後に、歪補正倍率δｄ＝１．１により、被写体像は１．１倍に拡大される（画像Ｐｄ）。そして、合計倍率δｔ＝１．２１により、被写体像は１．２１倍に拡大される（画像Ｐ（−２））。

Ｌ（０）では、焦点差倍率δｆ＝１のため、被写体像に変化はない（画像Ｐｆ）。また、歪補正倍率δｄ＝１．１により、被写体像は１．１倍に拡大される（画像Ｐｄ）。そして、合計倍率δｔ＝１．１により、被写体像は１．１倍に拡大される（画像Ｐ（０））。

Ｌ（３）では、焦点差倍率δｆ＝０．８により、被写体像は０．８倍に縮小される（画像Ｐｆ）。また、歪補正倍率δｄ＝１．１により、被写体像は１．１倍に拡大される（画像Ｐｄ）。そして、合計倍率δｔ＝０．８８により、被写体像は０．８８倍に縮小される（画像Ｐ（３））。

図４のステップＳ６２に進む。カメラ制御部１００は、全構成画像の倍率補正値の算出が終了したかを判断する（ステップＳ６２）。

カメラ制御部１００は、全構成画像の倍率補正値算出が終了していないと判断すると（ステップＳ６２の“ＮＯ”）、ステップＳ５２に戻る。カメラ制御部１００は、全構成画像の倍率補正値算出が終了したと判断すると（ステップＳ６２の“ＹＥＳ”）、図３のステップＳ１６に進む。

図３に戻る。カメラ制御部１００は、切出し領域決定処理を行う（ステップＳ１６）。図７は、切出し領域決定処理の手順を説明するためのサブルーチンである。

切出し領域決定部１２０は、最小倍率補正値Ｍｉｎを初期化し、Ｍｉｎ＝１とする（ステップＳ７０）。最小倍率補正値Ｍｉｎは、倍率補正値αの最小値である。切出し領域決定部１２０は、以下ステップＳ７２〜ステップＳ８４で、各構成画像の倍率補正値αを順番に比較して、最小倍率補正値Ｍｉｎを決定する。以下では、適宜、図５各図を例にして説明する。

切出し領域決定部１２０は、倍率算出部１１０から倍率補正値αを取得する（ステップＳ７２）。切出し領域決定部１２０は、例えば、最初にＬ（−３）の倍率補正値αを取得する。

切出し領域決定部１２０は、取得した倍率補正値α＜最小倍率補正値Ｍｉｎであるかを判断する（ステップＳ７４）。切出し領域決定部１２０は、倍率補正値α＜最小倍率補正値Ｍｉｎでないと判断すると（ステップＳ７４の“ＮＯ”）、ステップＳ８６に進む。

切出し領域決定部１２０は、倍率補正値α＜最小倍率補正値Ｍｉｎであると判断すると（ステップＳ７４の“ＹＥＳ”）、倍率補正値α＜閾値Ｙであるかを判断する（ステップＳ７６）。閾値Ｙは、予め設定した最小倍率補正値Ｍｉｎの下限値である。最小倍率補正値Ｍｉｎが、所定以下になると、合成画像のサイズ（画角）が狭くなりすぎて、撮影者の意図に反するおそれがあるからである。例えば、閾値Ｙ＝０．７である。

切出し領域決定部１２０は、倍率補正値α＜閾値Ｙであるかを判断すると（ステップＳ７６の“ＹＥＳ”）、α＝下限値に設定する（ステップＳ７８）。下限値は、閾値Ｙと同じでもよいし、異なる値でもよい。このようなクリップ処理を設定することで、合成画像のサイズ（画角）の下限を管理することが出来る。切出し領域決定部１２０は、倍率補正値α＜閾値Ｙでないと判断すると（ステップＳ７６の“ＮＯ”）、ステップＳ８０に進む。

高周波検出部１２２は、当該構成画像の高周波成分を検出する（ステップＳ８０）。高周波検出部１２２は、例えば、画像データに基づき、画像内のエッジを抽出し、エッジとして検出された画素数の総数を高周波成分量とする。

切出し領域決定部１２０は、検出した高周波成分量と閾値Ｘを比較し、高周波成分量＞閾値Ｘであるかを判断する（ステップＳ８２）。閾値Ｘは予め設定された値である。高周波成分量が少ない構成画像は、合成時に主たる構成画像とはならないため、切出し領域決定から除外する。切出し領域決定部１２０は、高周波成分量＞閾値Ｘでないと判断すると（ステップＳ８２の“ＮＯ”）、当該構成画像を判定から除外して、ステップＳ８６に進む。

切出し領域決定部１２０は、高周波成分量＞閾値Ｘであると判断すると（ステップＳ８２の“ＹＥＳ”）、この倍率補正値αの値に最小倍率補正値Ｍｉｎを更新する（ステップＳ８４）。

切出し領域決定部１２０は、全構成画像についての比較判定が終了したかを判断する（ステップＳ８６）。切出し領域決定部１２０は、全構成画像についての比較判定が終了していないと判断すると（ステップＳ８６の“ＮＯ”）、ステップＳ７２に進み、次の構成画像の倍率補正値αの比較判定を行う。

切出し領域決定部１２０は、全構成画像についての比較判定が終了したと判断すると（ステップＳ８６の“ＹＥＳ”）、決定された最小倍率補正値Ｍｉｎに基づき、切出し領域を決定する（ステップＳ８６）。切出し領域決定部１２０は、最小倍率補正値Ｍｉｎで補正される画像のサイズに基づき、切出し領域と決定する。具体的には、切出し領域決定部１２０は、最小倍率補正値Ｍｉｎで補正される画像のサイズを切出し領域と決定しても良いし、最小倍率補正値Ｍｉｎで補正される画像のサイズに、所定画素数増減したサイズを、切出し領域と決定しても良い。

図３に戻る。ＹＣ現像部３２は、ＹＣ現像処理を行う（ステップＳ１８）。前述のように、ＹＣ現像部３２は、ＲＡＷデータをＹＣデータに変換し、更に、デモザイク、ホワイトバランス補正等々の画像処理を行う。

歪補正部１５０は、フラッシュメモリ５０に格納されたテーブルを参照して、構成画像の歪（歪曲収差）を補正する（ステップＳ２０）。倍率補正部１６０は、歪補正された構成画像に対し、各対応する倍率補正値αにより倍率補正を行う（ステップＳ２２）。

画像データ合成部１７０は、決定された切出し領域に基づき、倍率補正された各構成画像の切出し処理を行い（ステップＳ２４）、切出し処理された各構成画像を合成して、画像合成を生成する（ステップＳ２６）。

図８及び図９により、切出し領域と合成画像の関係を具体的に説明する。図８は、構成画像と倍率補正画像及び切出された画像を対比して示す図である。図６の例と同様に、Ｌ（−２）、Ｌ（０）、Ｌ（３））の３つの構成画像を例に示す。Ｌ（−２）の倍率補正値α（１／１．２１）が、最小倍率補正値Ｍｉｎであるとする。

Ｌ（−２）では、倍率補正されて倍率補正画像Ｑ（−２）となり、被写体像は縮小される。倍率補正画像Ｑの縦横の画素数は、画像Ｐに対して、それぞれα倍になる。倍率補正画像Ｑ（−２）のサイズが、切出し領域と決定されるので、切出し画像Ｒ（−２）は、倍率補正画像Ｑ（−２）と同じサイズになる。画像Ｐ（−２）の水平画素数をＡｘ、垂直画素数をＡｙとすると、倍率補正画像Ｑ（−２）の水平画素数がＡｘ×α、垂直画素数がＡｙ×αとなる。切出し画像Ｒ（−２）も、水平画素数がＡｘ×α、垂直画素数がＡｙ×αとなる。

Ｌ（０）では、画像Ｐ（０）が、倍率補正されて倍率補正画像Ｑ（０）となり、被写体像は縮小される。倍率補正画像Ｑ（０）の像高Ｈは、倍率補正画像Ｑ（−２）の像高と同じになる。倍率補正画像Ｑ（０）から倍率補正画像Ｑ（−２）と同じサイズ分が切出し処理されて、切出し画像Ｒ（０）となる。

Ｌ（３）では、画像Ｐ（３）が、倍率補正されて倍率補正画像Ｑ（３）となり、被写体像は拡大される。倍率補正画像Ｑ（３）の像高Ｈは、倍率補正画像Ｑ（−２）及び倍率補正画像Ｑ（０）の像高と同じになる。倍率補正画像Ｑ（３）から倍率補正画像Ｑ（−２）と同じサイズ分が切出し処理されて、切出し画像Ｒ（３）となる。

図９は、Ｌ（−３）〜Ｌ（３）位置の各構成画像を、模式的に並べた図である。破線が倍率補正画像Ｑの外形を示し、ハッチング領域が切出し画像Ｒのサイズを示す。各構成画像の切出し画像Ｒは、切出し画像Ｒ（−２）のサイズ（画角）と同一になる。切出し画像Ｒ（−２）、切出し画像Ｒ（０）及び切出し画像Ｒ（３）は、像高Ｈが一致し、サイズ（画角）も共通になる。

〈ライブビュー及び動画撮影モードでの画像合成〉
上記実施形態では、静止画撮影モードでのフォーカスブラケット撮影による画像合成処理を説明したが、フォーカスブラケット撮影は、ライブビュー中や動画撮影モードでも実施できる。

図１０は、ライブビュー中の合成画像表示及び合成画像の動画記録の手順を説明するフローチャートである。カメラ制御部１００は、背面表示部／ＥＶＦがオンされているかを判断する（ステップＳ１００）。背面表示部やＥＶＦ等の表示部８５以外に、光学ファインダが設けられているカメラ１の場合には、背面表示部やＥＶＦ等の表示部８５の動作が判断される。光学ファインダがないカメラ１の場合には、ステップＳ１００は、省略される。カメラ制御部１００は、背面表示部／ＥＶＦがオンされていないと判断すると（ステップＳ１００の“ＮＯ”）、この処理を終了する。

カメラ制御部１００は、背面表示部／ＥＶＦのいずれかがオンされていると判断すると（ステップＳ１００の“ＹＥＳ”）、ステップＳ１０及びステップＳ１２で説明したような、撮影焦点位置決定や複数枚撮影を行う（ステップＳ１０２）。

カメラ制御部１００は、倍率補正値算出（ステップＳ１０４）、切出し領域決定（ステップＳ１０６）、ＹＣ現像（ステップＳ１０８）、歪補正（ステップＳ１１０）、倍率補正（ステップＳ１１２）、切出し処理（ステップＳ１１４）、画像合成（ステップＳ１１６）を行う。ステップＳ１０４〜ステップＳ１１６は、前述したステップＳ１４〜ステップＳ２６と同様であるので、説明は省略する。

カメラ制御部１００は、生成した合成画像を表示部８５にライブビュー表示する（ステップＳ１１８）。カメラ制御部１００は、動画撮影オンであるかを判断する（ステップＳ１２０）。カメラ制御部１００は、操作部４５に含まれる動画ボタンが押下されると、動画撮影をオンにする。カメラ制御部１００は、動画撮影オンであると判断すると（ステップＳ１２０の“ＹＥＳ”）、合成画像を動画として、記録媒体７５に記録する（ステップＳ１２２）。カメラ制御部１００は、動画ボタンの操作により動画撮影が終了されたかを判断し（ステップＳ１２４）、動画撮影が終了されたと判断すると（ステップＳ１２４の“ＹＥＳ”）、撮影を終了する。

カメラ制御部１００は、動画撮影オンでないと判断すると（ステップＳ１２０の“ＮＯ”）、設定変更されたかを判断する（ステップＳ１２６）。設定変更とは、フォーカスブラケット撮影に係る条件の変更で、ズーム位置（焦点距離）や合焦される被写体の変更等である。

カメラ制御部１００は、設定変更されていないと判断すると（ステップＳ１２６の“ＮＯ”）、ステップＳ１０４に戻る。カメラ制御部１００は、設定変更されたと判断すると（ステップＳ１２６の“ＹＥＳ”）、ステップＳ１０２に戻る。また、カメラ制御部１００は、動画撮影が終了されていないと判断すると（ステップＳ１２４の“ＮＯ”）、ステップＳ１２６に進む。

〈実施形態による効果〉
本実施形態では、焦点位置の差により発生する各構成画像の倍率変動（δｆ、δｄ）を補正し、倍率変動の補正により被写体サイズ（像高）を一致させた画像を合成用画像とするので、シャープな合成画像を得ることができる。しかし、倍率変動の補正により被写体サイズを一致させた画像は、それぞれ画像サイズ（画角）が倍率変動補正によってばらついてしまう。そして、画像サイズの違う画像を合成すると、合成画像の周辺部での画質が劣化するおそれがある。

そこで、本実施形態では、倍率変動補正をした画像から、共通のサイズ（画角）で画像を切出し、切出したサイズの共通する画像を合成するようにしたので、周辺部での画質劣化のない合成画像を取得することができる。

また、本実施形態では、倍率補正値αが最小となる構成画像、つまり最小サイズ（画角）の構成画像を基準に切出し領域に決定するので、周辺部で画素データが存在しない画像の生成を防止できる。また、切出し領域決定時に、高周波成分の低い構成画像を除くようにする。なぜなら、高周波成分の低い構成画像は重要度が低い画像と推定でき、重要度の低い画像は、合成画像サイズの基準には、ふさわしくないからである。

また、切出し領域決定時に、倍率補正値が所定以下である構成画像を除くようにすれば、合成画像のサイズが小さくなりすぎることを防止できる。

また、本実施形態では、各構成画像の歪（歪曲収差）も補正されるので、歪曲収差の少ない合成画像を得ることができる。

以上により、本実施形態による画像合成処理装置によれば、個々の被写体がシャープに表現され、画面の周辺部も自然に仕上がった、被写界深度の深い合成画像を取得することができる。

〈実施形態の変形例〉
本実施形態では、撮影時に、撮影された構成画像に倍率補正や切出し処理等をして合成画像を生成する例を説明したが、撮影された構成画像を記録媒体７５にいったん記憶しておき、撮影後に倍率補正や切出し処理等をして合成画像を生成するようにしてもよい。つまり、画像合成処理装置は、カメラのような撮影装置だけではなく、画像再生装置あるいは画像処理機能を有する情報処理装置等に搭載されてもよい。そして、撮影後の画像合成であれば、撮影時の画像合成に比べて、処理時間を遅くすることが許される。

また、本実施形態では、倍率補正値算出（ステップＳ１４）、ＹＣ現像（ステップＳ１８）、歪補正（ステップＳ２０）、倍率補正（ステップＳ２０）を順番に処理すると説明したが、これらの処理の順番は任意である。例えば、ＹＣ現像の前のＲＡＷデータの段階で、歪補正や倍率補正をしてもよい。

また、ＹＣ現像部３２、歪補正部１５０及び倍率補正部１６０では、構成画像の１枚ずつをＹＣ現像部３２、歪補正部１５０、倍率補正部１６０の順番に処理してもよいし、ＹＣ現像部３２で構成画像全部をまとめて処理してから、次の歪補正部１５０に送るようなやり方にしてもよい。

カメラ制御部１００は、マイクロコンピュータ４０によるソフトウェア処理ではなく、一部あるいは全部がハードウェア構成であってもよい。同様に、倍率算出部１１０、切出し領域決定部１２０、高周波検出部１２２、歪補正部１５０、倍率補正部１６０及び画像データ合成部１７０の各部も、一部あるいは全部がハードウェアで構成されてもよい。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用ができることはもちろんである。

１ カメラ
２ カメラ本体部
５ レンズ装置
１０ シャッター
１２ 撮像素子
２０ 撮像回路
２２ アナログ処理部
２３ ＡＤ変換部
２４ ＡＥ処理部
２５ ＡＦ処理部
３０ 画像処理回路
３２ ＹＣ現像部
４０ マイクロコンピュータ
４５ 操作部
５０ フラッシュメモリ
６０ ＤＲＡＭ
７０ メモリＩＦ
７５ 記録媒体
８０ 表示ドライバ
８５ 表示部
９０ バス
１００ カメラ制御部
１１０ 倍率算出部
１１２ 焦点差倍率算出部
１１４ 歪補正倍率算出部
１１６ 倍率補正値算出部
１２０ 切出し領域決定部
１２２ 高周波検出部
１５０ 歪補正部
１６０ 倍率補正部
１７０ 画像データ合成部
２００ 撮影レンズ
２０５ 絞り
２１０ レンズドライバ
２２０ マイクロコンピュータ
２３０ フラッシュメモリ
２４０ ＩＦ

Claims (8)

1. 焦点位置を変化させて撮影された複数の画像を合成して合成画像を生成するための画像合成処理装置において、
   撮影された焦点位置の差に応じて変化する倍率である焦点差倍率を、前記複数の画像について算出する焦点差倍率算出部と、
   撮影された焦点位置に応じた画像歪を補正する場合に変化する倍率である歪補正倍率を、前記複数の画像について算出する歪補正倍率算出部と、
   前記焦点差倍率及び前記歪補正倍率により変化する前記複数の画像の像高が一定になるよう該複数の画像の倍率を補正する倍率補正値を、該複数の画像について算出する倍率補正値算出部と、
   前記倍率補正値により倍率が補正された前記複数の画像から、画像合成用の画像として使用される領域を決定する領域決定部と、を備え、
   前記領域決定部は、前記倍率補正値が小さい場合に補正後の画像が相対的に小さくなるとした場合に、前記複数の画像でそれぞれ算出された倍率補正値を比較して、前記複数の画像の中で対応する倍率補正値が最小となる画像を判定し、前記判定した画像に基づき、前記領域を決定する
   ことを特徴とする画像合成処理装置。
2. 画像の高周波成分量を検出する高周波検出部を備え、
   前記領域決定部は、前記複数の画像の中で、検出された前記高周波成分量が所定以下の画像を前記判定から除外する
   ことを特徴とする請求項１に記載の画像合成処理装置。
3. 前記領域決定部は、前記複数の画像の中で、対応する倍率補正値が所定値以下の画像を前記判定から除外する
   ことを特徴とする請求項１に記載の画像合成処理装置。
4. 前記焦点差倍率算出部は、焦点位置、レンズの焦点距離またはレンズの種類を少なくとも１つ含む撮影条件に基づき前記焦点差倍率を算出する
   ことを特徴とする請求項１に記載の画像合成処理装置。
5. 前記倍率補正値に基づき、前記複数の画像の倍率を補正する倍率補正部と、
   前記倍率補正部により倍率補正された複数の画像から、前記決定された領域に基づき所定領域の画像を切出して、前記切出した画像を合成して前記合成画像を生成する画像合成部を備える
   ことを特徴とする請求項１に記載の画像合成処理装置。
6. 請求項５に記載の画像合成処理装置と、
   合焦部により合焦された焦点位置を基準にして、合成される前記複数の画像の撮影を行う撮影制御部を備える
   ことを特徴とするカメラ。
7. 焦点位置を変化させて撮影された複数の画像を合成して合成画像を生成するための画像合成処理方法において、
   撮影された焦点位置の差に応じて変化する倍率である焦点差倍率を、前記複数の画像について算出する焦点差倍率算出ステップと、
   撮影された焦点位置に応じた画像歪を補正する場合に変化する倍率である歪補正倍率を、前記複数の画像について算出する歪補正倍率算出ステップと、
   前記焦点差倍率及び前記歪補正倍率により変化する前記複数の画像の像高が一定になるよう該複数の画像の倍率を補正する倍率補正値を、該複数の画像について算出する倍率補正値算出ステップと、
   前記倍率補正値により倍率が補正された前記複数の画像から、画像合成用の画像として使用される領域を決定する領域決定ステップと、を備え、
   前記領域決定ステップは、前記倍率補正値が小さい場合に補正後の画像が相対的に小さくなるとした場合に、前記複数の画像でそれぞれ算出された倍率補正値を比較して、前記複数の画像の中で対応する倍率補正値が最小となる画像を判定し、前記判定した画像に基づき、前記領域を決定するステップを含む
   ことを特徴とする画像合成処理方法。
8. 焦点位置を変化させて撮影された複数の画像を合成して合成画像を生成するための画像合成処理方法をカメラのコンピュータに実現させるプログラムにおいて、
   撮影された焦点位置の差に応じて変化する倍率である焦点差倍率を、前記複数の画像について算出する焦点差倍率算出ステップと、
   撮影された焦点位置に応じた画像歪を補正する場合に変化する倍率である歪補正倍率を、前記複数の画像について算出する歪補正倍率算出ステップと、
   前記焦点差倍率及び前記歪補正倍率により変化する前記複数の画像の像高が一定になるよう該複数の画像の倍率を補正する倍率補正値を、該複数の画像について算出する倍率補正値算出ステップと、
   前記倍率補正値により倍率が補正された前記複数の画像から、画像合成用の画像として使用される領域を決定する領域決定ステップと、を備え、
   前記領域決定ステップは、前記倍率補正値が小さい場合に補正後の画像が相対的に小さくなるとした場合に、前記複数の画像でそれぞれ算出された倍率補正値を比較して、前記複数の画像の中で対応する倍率補正値が最小となる画像を判定し、前記判定した画像に基づき、前記領域を決定するステップを含む
   ことを特徴とするプログラム。
   

Images