JP2022077591A - 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】深度合成を行う場合、合成される領域の明るさが被写体に対して適正であるとは限らない。
【解決手段】上記課題を解決するため、本願発明に係る画像処理は、ピント位置の異なる複数の画像に対して合成を行う合成手段と、前記複数の画像からコントラストに関する値を算出する算出手段と、前記コントラストに関する値から合成マップを生成する生成手段と、前記複数の画像に対して、被写体に基づいて領域を分割する分割手段と、前記分割手段が分割した前記領域ごとに、階調を補正する補正手段と、を有することを特徴とする画像処理装置ことを特徴とする。
【選択図】図２

Description

本発明は、ピント位置の異なる複数の画像を撮像し、深度合成を行う画像装置に関するものである。

デジタルカメラなどからの距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、ピント位置の異なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が開示されている。

特開２０１５－２１６５３２号公報

しかし、上述したような深度合成の技術では、ピント位置を異ならせた複数枚の画像を合成することで、撮像領域全体に合焦した画像を生成するが、合成される領域の明るさが被写体に対して適正であるかは判別されていなく、被写体の明るさを適正にすることができるとは限らない。

本発明は、上述した課題を鑑みてなされたものであり、深度合成において被写体の明るさを適正にするようにゲインを制御することを目的とする。

上記課題を解決するため、本願発明は、ピント位置の異なる複数の画像に対して合成を行う合成手段と、前記複数の画像からコントラストに関する値を算出する算出手段と、前記コントラストに関する値から合成マップを生成する生成手段と、前記複数の画像に対して、被写体に基づいて領域を分割する分割手段と、前記分割手段が分割した前記領域ごとに、階調を補正する補正手段と、を有することを特徴とする画像処理装置ことを特徴とする撮像装置を提供する。

本発明の構成によれば、ピント位置の異なる複数の画像を用いて合成した画像において、合成する領域の明るさを適正にするよう制御することができる。

本発明の実施形態における画像処理装置としてのデジタルカメラのハードウェア構成を示すブロック図である。 第１の実施形態における合成画像の生成について説明するためのフローチャートである。 第１の実施形態におけるステップＳ２０１で測光される領域について説明するための図である。 第１の実施形態における生成されるピントの合った領域に対応した合成マップについて説明するための図である。 第１の実施形態における被写体領域分割について説明した図である。 第１の実施形態におけるゲインによる補正を説明するための図である。 第２の実施形態における撮像シーンおよび補正を説明するための図である。 第２の実施形態における画像合成を説明するためのフローチャートである。 第３の実施形態における撮像シーンおよび補正を説明するための図である。 第３の実施形態における画像合成を説明するためのフローチャートである。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

（第１の実施形態）
図１は本実施形態に係る画像処理装置としてのデジタルカメラの構造を示すブロック図の一例である。デジタルカメラ１００は、静止画を撮像することができ、かつ、合焦位置の情報を記録し、コントラスト値の算出および画像の合成が可能なものである。さらに、デジタルカメラ１００は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行うことができる。

制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、後述するＲＯＭ１０５に予め内蔵されたプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御部１０１が、後述する撮像部１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部１１０によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。

駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の焦点距離を調整する。

光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。レンズの位置を変えることによって、合焦位置を変えることができる。

撮像部１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部１０４に、ＣＣＤセンサやＣＭＯＳセンサなどを適用することができる。撮像部１０４は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、撮像することができる。撮像部１０４は、光学系１０３を通した被写体の輝度を測光することができる。撮像部１０４での測光の代わりに、ＡＥセンサなどを用いてもよい。

ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。

ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

画像処理部１０７は、撮像部１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリング、合成処理など、様々な画像処理を行う。また、撮像部１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。

画像処理部１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０７の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０７の全ての機能を兼用する場合には、画像処理部１０７をハードウェアとして有する必要はなくなる。

表示部１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。

内蔵メモリ１０９は、撮像部１０４が撮像した画像や画像処理部１０７の処理を得た画像、および、画像撮像時の合焦位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。

操作部１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部１０８に兼用されるタッチパネルなどである。ユーザによる指令は、操作部１１０を経由して、制御部１０１に達する。

図２は、本実施形態における合成画像の生成について説明するためのフローチャートである。図２（ａ）は本実施形態における処理の全体を示す。ステップＳ２０１では、撮像部１０４は、光学系１０３を通った被写体を測光する。なお、測光処理については後述する。

ステップＳ２０２では、撮像部１０４は、ピント位置をずらした複数の画像の撮像及び現像を行う。

ステップＳ２０３では、制御部１０１は、ステップＳ２０２で撮像部１０４が撮像した画像に対して位置合わせを行う。なお、位置合わせ処理については、図２（ｃ）を用いて後述する。

ステップＳ２０４では、画像処理部１０７は、位置合わせを行った後の画像に対して合成を行い、合成画像を生成する。なお、画像合成処理については、図２（ｄ）を用いて後述する。

測光処理について図３を用いて説明する。図３は、本実施形態におけるステップＳ２０１で測光される領域について説明するための図である。図３（ａ）は主被写体が存在した場合の測光領域について示しており、領域３０１は主被写体に対する測光領域を、領域３０２は主被写体の測光領域を除いた測光領域を示している。図３（ｂ）は主被写体が存在しなかった場合の測光領域について示しており、領域３１１は主被写体によらない全面に対する測光領域を示している。図２（ｂ）に示すフローチャートにおけるステップＳ２０５では、制御部１０１は、主被写体が存在するか否かを判断する。図３（ａ）のように主被写体が存在する場合はステップＳ２０６に進み、図３（ｂ）のように主被写体が存在しない場合はステップＳ２０８に進む。ステップＳ２０６では、領域３０１に示す主被写体の領域を測光する。ステップＳ２０７では、３０２に示す主被写体を除く領域を測光する。この場合、撮像部１０４は主被写体の測光結果により撮像する。ステップＳ２０８では、領域３１１に示す全面の領域を測光する。主被写体の測光領域３０１は、後述する画像合成処理で主被写体領域を判断するために使用する。主被写体と主被写体を除いた領域の測光結果から得られたそれぞれの輝度値は後述する画像合成処理で合成領域を補正するためのゲイン算出に使用する。

位置合わせ処理について、図２（ｃ）を用いて説明する。ステップＳ２０８では、制御部１０１は、ステップＳ２０２で撮像部１０４が撮像した画像のうちから、位置合わせの基準画像を取得する。位置合わせの基準画像は、一例として撮像順番が最も早いものとすることができる。あるいは、ピント位置を変えながら撮像することで、わずかながら撮像された画像間で画角が変化するため、撮像した画像の中で画角が最も狭いものにしてもよい。

ステップＳ２０９では、制御部１０１は、位置合わせの処理の対象画像を取得する。対象画像は、ステップＳ２０８で取得した基準画像以外の画像で、位置合わせの処理が済んでいないものとする。制御部１０１は、撮像順番が最も早いものを基準画像とするならば、撮像した順番で順次に対象画像を取得すればよい。

ステップＳ２１０では、制御部１０１は、基準画像と対象画像との位置のずれ量を算出する。算出方法の一例は、以下に述べる。まず、制御部１０１は、基準画像に、複数のブロックを設定する。制御部１０１は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、制御部１０１は、対象画像の、基準画像のそれぞれのブロックと同じ位置に、基準画像のブロックよりも広い範囲を、探索範囲を設定する。最後に、制御部１０１は、対象画像のそれぞれの探索範囲に、基準画像のブロックとの輝度の差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。制御部１０１は、基準画像のブロックの中心と前述した対応点から、ステップＳ２１０でいう位置のずれをベクトルとして算出する。制御部１０１は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。

ステップＳ２１１で、制御部１０１で、基準画像と対象画像との位置のずれ量から変換係数を算出する。制御部１０１は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。

ステップＳ２１２で、画像処理部１０７は、ステップＳ２１１で算出した変換係数を用いて対象画像に対して変換を行う。

たとえば、制御部１０１は、式（１）に示した式を用いて変形を行うことができる。

式（１）では、（ｘ´、ｙ´）は変形を行った後の座標を示し、（ｘ、ｙ）は変形を行う前の座標を示す。行列ＡはステップＳ２１２で制御部１０１が算出した変形係数を示す。

画像合成処理について、図２（ｄ）を用いて説明する。ステップＳ２１３で、画像処理部１０７は、位置合わせを行った後のそれぞれの画像（基準画像を含む）に対してコントラスト値を算出する。コントラスト値の算出方法の一例としては、たとえば、まず、画像処理部１０７は、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の式（２）を用いて輝度Ｙを算出する。
Ｙ＝０．２９９Ｓｒ＋０．５８７Ｓｇ＋０．１１４Ｓｂ・・・式（２）

次に、３×３の画素の輝度Ｙの行列Ｌに、下記の式（３）乃至式（５）に示したように、ソーベルフィルタを用いてコントラスト値Ｉを算出する。

また、上述のコントラスト値の計算方法は一例にすぎず、たとえば、使用するフィルタをラプラシアンフィルタ等のエッジ検出フィルタや所定の帯域を通過するバンドパスフィルタを用いることも可能である。

ステップＳ２１４で、画像処理部１０７は合成マップを生成する。合成マップの生成方法としては、画像処理部１０７は、それぞれの画像の同じ位置にある画素のコントラスト値を比較し、コントラスト値の大きさに応じた合成比率を算出する。

ステップＳ２１５で、画像処理部１０７は、画像のそれぞれの領域に対して、主被写体領域であるかどうかを判断し、目標輝度値を設定する。ステップＳ２１５で、合成マップに基づいた主被写体と背景被写体の領域分割も行われ、以下では、図面を用いて説明する。

図４は、本実施形態におけるステップＳ２１４において生成される、ピントの合った領域に対応した合成マップについて説明するための図である。図４（ａ）、図４（ｂ）、図４（ｃ）はピントをずらして撮像した３枚の画像と、３枚の画像のそれぞれから生成された合成マップを示している。図５は、本実施形態におけるステップＳ２１５において被写体領域分割について説明した図である。

ステップＳ２１５では、制御部１０１は、ピントの合った領域４０１、４１１、４２１から生成された合成マップ４０２、４１２、４２２が、主被写体の測光領域３０１に該当するか否かにより主被写体領域か否かを判断する。そして、画像処理部１０７は、主被写体領域か否かにより、測光した輝度値と目標とする輝度値を設定する。図５（ａ）に示すように合成マップが主被写体の測光領域に該当する場合、画像処理部１０７がステップＳ２０６で主被写体領域の測光によって得られた主被写体領域の輝度値及び主被写体領域の目標輝度値を設定する。図５（ｂ）、図５（ｃ）に示すように合成マップが主被写体の測光領域に該当しない場合は、画像処理部１０７がステップＳ２０７で主被写体領域を除いた領域の測光によって得られた輝度値及び主被写体の測光領域を除いた領域に対する目標輝度値を設定する。目標輝度値は、主被写体の測光領域と主被写体の測光領域を除いた領域それぞれの階調を適正な明るさとする輝度値である。ステップＳ２１６では、画像処理部１０７は、ステップＳ２１５で設定された輝度値を目標輝度値にするためのゲインを算出する。

ステップＳ２１７では、画像処理部１０７は、ステップＳ２１４で生成された合成マップに基づいて合成される領域の階調を、ステップＳ２１６で算出されたゲインによって補正する。

図６は、本実施形態におけるゲインによる補正を説明するための図である。

合成マップが主被写体の測光領域に該当している図６（ａ）の場合には、合成マップ６０２に基づき合成される領域６０１を、主被写体を適正な明るさにするゲインによって補正することができる。合成マップが主被写体の測光領域に該当しない図６（ｂ）の場合には、合成マップ６１２、６２２に基づき合成される領域６１１、６２１を、主被写体領域を除いた領域を適正な明るさにするゲインによって補正することができる。

ステップＳ２１８では、画像処理部１０７は、合成マップ６０２、６１２、６２２に従い、ステップＳ２１７で補正した領域６０３、６１３、６２３を合成する。

以上の説明では、合成マップに基づいて制御部１０１が主被写体と背景被写体の領域分割を行うと説明したが、これに限らず、コントラスト値などに基づいて制御部１０１が主被写体と背景被写体の領域分割を行ってもよい。

第１の実施形態によれば、深度合成画像を生成するとき、合成される領域ごとに適正な明るさとなるよう、階調を改善させることができる。

（第２の実施形態）
以下では、図を用いながら第２の実施形態について説明する。第２の実施形態は、第１の実施形態と異なり、同一被写体領域内でも異なるゲインによって補正する場合がある。以下では、第１の実施形態との違いを中心に、第２の実施形態について説明する。

図７は、本実施形態における撮像シーンおよび補正を説明するための図である。

本実施形態における測光・撮像、現像・位置合わせは、第１の実施形態と同様である。本実施形態における画像合成は、第１の実施形態と異なる。図８は、本実施形態における画像合成を説明するためのフローチャートである。本実施形態における図８（ａ）に示したフローチャートのステップＳ８１６と第１の実施形態におけるステップＳ２１６とは異なる。以下では詳細に説明する。

図７（ａ）に示すように、主被写体７０１と背景被写体７０２とで被写体間の距離が近い場合、ステップＳ２１４で、図７（ｂ）のように、主被写体に加えて背景被写体の一部が、合成マップ７１１として生成される場合がある。この場合、同一被写体７０２に対して異なる目標輝度値から算出されたゲインで階調を補正することになるため、撮像画像７０１、７０２との図７（ｃ）に示すように輝度差７２１が出てしまう。そこで、本実施形態では、第１の実施形態と異なり、ステップＳ８１６でのゲイン算出時に、条件によってゲイン算出を切り替えることで、同一被写体内の輝度差を抑える。

図８（ｂ）は、本実施形態におけるゲイン算出を説明するためのフローチャートである。ステップＳ８０１で、制御部１０１は、処理中の画像の１枚目前の画像で合成に用いられた領域が存在したかどうかについて判断する。１枚目前の画像で合成に用いられた領域が存在する場合、第１の実施形態のように対象領域が目標輝度値となるゲインを算出すると、同一被写体内に輝度差が出る可能性があると判断する。この場合、ステップＳ８０２に進み、画像処理部１０７が最後に階調を補正したゲインに応じて補正量を制御してゲインを算出する。これによって、図７（ａ）に示した撮像シーンにおいて１枚目に撮像した画像と２枚目に撮像した画像を合成した図７（ｄ）に示した画像において、領域７３１のように同一被写体内で急峻な輝度差を抑えることができる。逆に処理中の画像の１枚目前の画像で合成に用いられた領域が存在しない場合、ステップＳ８０３に進み、画像処理部１０７は、第１の実施形態と同様に処理する。これによって、図７（ａ）に示した撮像シーンにおいて３枚目に撮像した画像７４１のように、合焦する被写体が存在しない画像に対して、最後に階調を補正したゲインに応じて補正量を制御しなくて済む。また、制御部１０１は、４枚目に撮像した画像７４２に対しては、３枚目の画像７４１が合成に用いられていなかったので、目標輝度値まで補正するようなゲインを算出する。

本実施形態によれば、同一被写体領域内で異なるゲインにより急峻な輝度差が出ることを抑えるようにゲイン算出手段を切り替えることができる。

（第３の実施形態）
以下では、図を用いながら、第３の実施形態について説明する。第３の実施形態は、第１の実施形態と第２の実施形態と異なり、同じ画像に合焦している被写体が複数存在するときの処理ついて説明する。以下では、第１の実施形態との違いを中心に、第３の実施形態について説明する。

図９は、本実施形態における撮像シーンおよび補正を説明するための図である。

本実施形態における測光・撮像、現像・位置合わせは、第１の実施形態と同様である。本実施形態における画像合成は、第１の実施形態と異なる。図１０は、本実施形態における画像合成を説明するためのフローチャートである。

図９（ａ）のような撮像において、主被写体９０１と主被写体とは異なる被写体９０２が近しい距離に存在する。図９（ａ）の場合では、第１の実施形態に説明した方法では、ステップＳ２１４で、図９（ｂ）のように、主被写体と主被写体とは異なる被写体が合成マップ９１１のように生成される場合がある。この場合、ステップＳ２１７で、主被写体領域を目標輝度にするためのゲインにより主被写体とは異なる被写体の領域が補正されてしまう。ステップＳ２１５の前に条件を加え、合成マップ内に主被写体領域と主被写体領域以外の領域が存在した場合、主被写体に該当する領域以外を潰した合成マップと主被写体に該当する領域を潰した合成マップを生成し、それぞれの領域にゲインによる補正をかける。

本実施形態におけるステップＳ１００１、ステップＳ１００２では、第１の実施形態に記載したステップＳ２１３、ステップＳ２１４と同様の処理を行う。

ステップＳ１００３で、制御部１０１は、ステップＳ１００２で生成した合成マップ内に主被写体と主被写体以外の領域の両方が存在しているかどうかを判断する。主被写体と主被写体以外の領域の両方が存在しているかどうかを判断する方法は、たとえば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）による物体認識が挙げられる。図９（ｃ）は、主被写体９２２と主被写体以外の領域９２３の両方が存在する場合を示す。図９（ｃ）のような場合、ステップＳ１００４に進み、図９（ｄ）に示すように、ステップＳ１００２で生成された合成マップ９１１から、主被写体領域に該当する合成領域以外の領域を潰した合成マップ９３１を生成する。次にステップＳ１００５で、画像処理部１０７は、ステップＳ１００４で生成した合成マップに対応した領域の階調を補正する。

ステップＳ１００６では、ステップＳ１００２で生成された合成マップから、主被写体領域に該当する合成領域を潰した合成マップ９３２を生成する。ステップＳ１００７では、画像処理部１０７は、ステップＳ１００６で生成した合成マップに対応した領域の階調を補正する。

また、ステップＳ１００３、制御部１０１は、主被写体と主被写体以外の領域の両方が存在していないと判断した場合、ステップＳ１００８に進み、ステップＳ１００２で生成した合成マップに対応した領域の階調を補正する。

ステップＳ１００９では、画像処理部１０７は、第１の実施形態のステップＳ２１８と同様に、ステップＳ１００２で生成した合成マップに従い、領域の階調を補正した領域を合成する。

以下では、ステップＳ１００５とステップＳ１００７とステップＳ１００８における領域階調補正について説明する。図１０（ｂ）は、本実施形態における領域階調補正を説明するためのフローチャートである。

ステップＳ１０１０で、制御部１０１は、処理対象となる合成マップが主被写体領域に該当するかを判断する。該当する場合は、ステップＳ１０１１に進み、該当しない場合は、ステップＳ１０１３に進む。

ステップＳ１０１１で、画像処理部１０７は、主被写体領域で測光した輝度値を設定する。次に、ステップＳ１０１２で、画像処理部１０７は、主被写体領域の目標輝度値を設定する。一方で、ステップＳ１０１３で、画像処理部１０７は、主被写体領域以外の領域で測光した輝度値を設定する。次に、ステップ１０１４で、画像処理部１０７は、主被写体領域以外の領域の目標輝度値を設定する。ここでいう目標輝度値は、第１の実施形態に類似し、主被写体の測光領域または主被写体領域以外の測光領域の階調を適正な明るさとする輝度値である。

次に、ステップＳ１０１５で、画像処理部１０７は、第１の実施形態のステップＳ２１６と同様に、設定された輝度値を設定された目標輝度値にするためのゲインを算出する。

ステップＳ１０１６で、画像処理部１０７は、ステップＳ１０１５で算出されたゲインを用いて処理対象となる合成マップに対応した領域の階調を補正する。

第３の実施形態によれば、合成マップ内で異なる被写体領域が存在した場合であっても、それぞれの被写体領域が適正な明るさとなるよう階調を補正することができる。

（その他の実施形態）
なお、上記実施形態においては、個人向けのデジタルカメラをもとに説明を行ったが、深度合成の機能を搭載していれば、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに適用することも可能である。または、前述した処理の一部を、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに行わせてもよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ 制御部
１０２ 駆動部
１０３ 光学系
１０４ 撮像部
１０５ ＲＯＭ
１０６ ＲＡＭ
１０７ 画像処理部
１０８ 表示部
１０９ 内蔵メモリ
１１０ 操作部

Claims (12)

1. ピント位置の異なる複数の画像に対して合成を行う合成手段と、
   前記複数の画像からコントラストに関する値を算出する算出手段と、
   前記コントラストに関する値から合成マップを生成する生成手段と、
   前記複数の画像に対して、被写体に基づいて領域を分割する分割手段と、
   前記分割手段が分割した前記領域ごとに、階調を補正する補正手段と、を有することを特徴とする画像処理装置。
2. 前記補正手段は、ゲインをかけることにより前記階調を補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、前記領域ごとに輝度を取得し、前記輝度に基づいて前記ゲインを取得することを特徴とする請求項２に記載の画像処理装置。
4. 前記補正手段は、前記領域ごとの前記輝度を適正にするように補正することを特徴とする請求項３に記載の画像処理装置。
5. 前記分割手段は、前記合成マップに基づいて前記領域を分割することを特徴とする請求項請求項１ないし４のいずれか１項に記載の画像処理装置。
6. 前記生成手段が生成した、前記複数の画像のうちの１枚の画像に対応する合成マップに、複数の前記被写体が存在するとき、前記分割手段は、前記複数の被写体のそれぞれを異なる前記領域に分割することを特徴とする請求項５に記載の画像処理装置。
7. 前記分割手段は、主被写体の領域と主被写体以外の領域とを分割することを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
8. 前記補正手段は、前記複数の画像のうちの第１の画像に対して補正するとき、前記第１の画像と隣り合う第２の画像が前記合成に用いられたかどうかに基づいて、前記第１の画像を補正する補正量を変えることを特徴とする請求項１ないし７のいずれか１項に記載の画像処理装置。
9. ピント位置の異なる複数の画像を撮像する撮像手段と、
   前記複数の画像に対して合成を行う合成手段と、
   前記複数の画像からコントラストに関する値を算出する算出手段と、
   前記コントラストに関する値から合成マップを生成する生成手段と、
   前記複数の画像に対して、被写体に基づいて領域を分割する分割手段と、
   前記分割手段が分割した前記領域ごとに、階調を補正する補正手段と、を有することを特徴とする撮像装置
10. ピント位置の異なる複数の画像に対して合成を行う合成ステップと、
    前記複数の画像からコントラストに関する値を算出する算出ステップと、
    前記コントラストに関する値から合成マップを生成する生成ステップと、
    前記複数の画像に対して、被写体に基づいて領域を分割する分割ステップと、
    前記分割ステップにおいて分割した前記領域ごとに、階調を補正する補正ステップと、を有することを特徴とする画像処理方法。
11. 画像処理装置のコンピュータに動作させるコンピュータのプログラムであって、
    ピント位置の異なる複数の画像に対して合成を行う合成ステップと、
    前記複数の画像からコントラストに関する値を算出する算出ステップと、
    前記コントラストに関する値から合成マップを生成する生成ステップと、
    前記複数の画像に対して、被写体に基づいて領域を分割する分割ステップと、
    前記分割ステップにおいて分割した前記領域ごとに、階調を補正する補正ステップと、を行わせることを特徴とするプログラム。
12. 請求項１１に記載のプログラムを記録したコンピュータが読み出し可能な記録媒体。

Images