JP2015109681A - 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置 - Google Patents

Abstract

【課題】良好なボケ付加画像を生成する画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置を提供すること【解決手段】画像処理方法は、撮像装置によって撮像された入力画像を前記撮像装置の特性と撮影条件を用いて整形するステップ（Ｓ１２、Ｓ１３）と、当該ステップによって整形された画像にボケを付加するステップ（Ｓ１４、Ｓ１５）と、を有する。【選択図】図１

Description

本発明は、画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置に関する。

広角レンズを介して撮影された画像、或いは小さいセンサー（撮像素子）サイズ有する撮像装置、小さい絞り径あるいは大きいＦ値の撮像装置によって撮影された画像は、被写界深度の深い画像になり、近景から遠景までボケの少ない画像となる。そこで、主被写体を際立たせたり、雰囲気を柔らかくしたりするために撮影画像にボケを付加する様々な方法が提案されている。

例えば、特許文献１は、オートフォーカス（ＡＦ）のための複数の焦点検出点で距離情報を取得し、入力画像にボケを付加する方法を提案している。特許文献２は、入力画像にボケを付加するために、ユーザーによって指定された領域の画素値を平均化する方法を提案している。非特許文献１は、劣化した入力画像を補正する様々な画像処理方法を提案している。その他の従来技術としては非特許文献２がある。

特開２０００−２５９８２３号公報 特開平１１−４１５１２号公報

エー・ローゼンフェルド（A.Rosenfeld）著、長尾 真 訳、「ディジタル画像処理」、近代科学社、１９７８年 レン・グ他著（Ren Ng et al.）、「ライト・フィールド・フォトグラフィ・ウィズ・ア・ハンドヘルド・プレノプティック・カメラ（light field photography with a hand-held plenoptic camera）」、スタンフォード・テック・レポート・シーティーエスアール（Stanford Tech Report CTSR）、２００５年２月

特許文献１、２は、いずれも入力画像の画素値に基づいてボケ付加を行うが、入力画像の画素値には、撮像素子の大きさや焦点距離に拘らず、撮影光学系の光学特性の影響が含まれている。従って、合焦位置であっても被写体と撮像素子に結像した像形状とは相違する。合焦位置において、画像周辺部の被写体は、コマ収差、非点収差によって非対称な形状に変形する。また、回折現象によっても像形状は変化する。また、合焦位置からずれた領域では、収差、回折に加えて、ヴィネッティングによる像形状の変化が表れる。収差、回折によるボケや、ヴィネッティングによるボケの形状の変化が含まれた画像にボケを付加すると、被写体の形状から想定されるボケの形状とは異なり、良好なボケ形状ではなくなる。

例えば、図１９（ａ）に示す被写体の撮影画像（入力画像）に円対称なボケを付加すると、図１９（ｂ）に示すように、被写体の形状から想定されるボケの形状になる。しかし、撮影画像がコマ収差の影響を受けると、図１９（ａ）に示す被写体の撮影画像は、図１９（ｃ）に示すように形状が変化する。この画像（図１９（ｃ）の画像）に、円対称なボケを付加しても図１９（ｄ）に示すようにコマ収差の影響を受けたボケ形状になる。

また、撮影画像が非点収差の影響を受けると、図１９（ａ）は、特定の方向に伸びた形状に変化する。合焦位置からずれた領域では、収差によるボケに加えて、ヴィネッティングによるボケの形状の変化が含まれるので、例えば、図１９（ａ）の一部が欠けた形状に変化する。即ち、被写体の形状から想定される、良好なボケ形状を得るには、収差や回折によるボケ、ヴィネッティングによるボケ形状の変化を低減する必要がある。

図２０（ａ）は、入力画像の一部が輝度飽和していることを示すグラフである。図２０（ａ）〜（ｃ）において、横軸は空間座標であり、縦軸は輝度値である。ここで、飽和値をデジタル画像で表現できる最大輝度値として定義する。図２０（ａ）の入力画像の一部が輝度飽和している画像の輝度値の分布にボケを付加すると、図２０（ｂ）のように図２０（ａ）よりもなだらかな曲線をもつ輝度値の分布になる。一方で、図２０（ｃ）は被写界深度を浅くしてボケを付加するために、図２０（ａ）よりもＦ値が小さい（明るい）条件で取得した画像である。図２０（ｃ）に比べると図２０（ｂ）は輝度が低下した暗い画像になっている。即ち、入力画像に単にボケ付加するだけでは、Ｆ値の小さい撮影画像の輝度飽和部を含む領域のボケを良好に再現することができない。

本発明は、良好なボケ付加画像を生成することが可能な画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置を提供することを例示的な目的とする。

本発明の画像処理プログラムは、光学系を介した撮像により生成された、輝度飽和部を有する第１画像と同一の被写体を異なる露光量で撮影した第２画像に基づいて、前記輝度飽和部の輝度値を推定する推定ステップと、前記推定ステップにおいて推定された前記輝度値に基づいて、前記第１画像の前記輝度飽和部にボケを付加するボケ付加ステップをコンピュータに実行させることを特徴とする。

本発明によれば、良好なボケ付加画像を生成することが可能な画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置を提供することができる。

本発明の撮像装置の要部ブロック図である。（実施例１） 図１に示す記憶部に保存される画像回復フィルタの模式図とその断面図である。 画像回復のＭＴＦを説明するためのグラフである。（実施例１） 図１に示す画像処理部の動作を説明するためのフローチャートである。（実施例１） 図４のＳ１２を説明するための図である。（実施例１） 図４の整形ステップの効果を説明するための模式図である。（実施例１） 図４の整形ステップの効果を説明するための模式図である。（実施例１） 図４のボケ付加ステップで使用されるボケ関数の例を示すグラフである。（実施例１） 図７に示す画像が図４のＳ１３を経た後の模式図である。（実施例１） 本発明の撮像装置の要部ブロック図である。（実施例２） 図１０に示す画像処理部の動作を説明するためのフローチャートである。（実施例２） 輝度飽和部のある撮影シーンの一例を示す図である。（実施例２） 図１１のＳ２４で使用される輝度推定方法を説明するための図である。（実施例２） 本発明の画像処理システムの要部ブロック図である。（実施例３） 図１４に示す画像処理装置の動作を説明するためのフローチャートである。（実施例３） 本発明の撮像装置の要部ブロック図である。（実施例４） 図１０に示す画像処理部の動作を説明するためのフローチャートである。（実施例４） 図１７に示すＳ４４の効果を説明するための図である。（実施例４） 結像光学系の光学特性による像形状の変化とボケの関係を説明するための図である。 輝度飽和を説明するためのグラフである。

以下、本発明の実施例を、添付図面を参照して説明する。

《実施例１》
図１は、実施例１の撮像装置の要部ブロック図である。撮像装置は、コンパクトデジタルカメラでもよいし、一眼レフカメラ、ミラーレスカメラ、デジタルビデオカメラでもよい。

撮像装置は、距離情報取得部１０１、結像光学系（撮像光学系）１０２、光学系制御部１０３、撮像素子１０４、Ａ／Ｄコンバータ１０５、記憶部１０６、画像処理部（画像処理手段）１０７、画像記録媒体１１０、表示部１１１を有する。各部は不図示の制御手段によって制御され、制御手段はマイクロコンピュータとして実現可能である。

距離情報取得部１０１は、撮像装置と各被写体（物体）の距離情報を取得する。距離情報の取得は特に限定されない。例えば、ステレオカメラ等の複眼によって複数の視差画像の情報を取得したり、非特許文献２のように、レンズアレイを結像光学系の後方に配した視差画像を取得したりしてもよい。また、ＤＦＦ（ｄｅｐｔｈ ｆｒｏｍ ｆｏｃｕｓ）のように、合焦位置をずらして複数枚撮影し、複数の被写体までの複数の距離情報を取得したり、特許文献１に示すように、ＡＦに利用する焦点検出点で距離情報を取得したりしてもよい。

結像光学系１０２は被写体の光学像を形成し、不図示のレンズや絞りを有する光学系である。光学系制御部１０３は、結像光学系１０２の絞りやレンズの位置を制御する。

撮像素子１０４は結像光学系１０２が形成した光学像を光電変換する。撮像素子１０４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの２次元撮像素子である。

Ａ／Ｄコンバータ１０５は、撮像素子１０４からのアナログ信号をデジタル信号に変換する。

記憶部１０６は、結像光学系１０２の特性（回折、収差、ヴィネッティング、デフォーカス量、露出量等）と絞り値、焦点距離、露出などの撮影条件と画像回復フィルタ群の情報を保持している。これらの情報は、予め保持されるだけでなく、結像光学系１０２と光学系制御部１０３の通信から光学系制御部１０３によって随時入力、更新されてもよい。

画像処理部１０７は、図４を参照して後述する画像処理方法を実行し、画像回復処理部１０８とボケ付加処理部１０９を有する。画像記録媒体１１０は、画像処理部１０７によって処理された画像を記録し、半導体メモリなどから構成される。表示部１１１は、処理された画像を表示し、液晶ディスプレイなどから構成される。

不図示の被写体からの光は、結像光学系１０２を介して、撮像素子１０４に結像する。撮像素子１０４からのアナログ電気信号は、Ａ／Ｄコンバータ１０５でデジタル信号に変換され、画像処理部１０７に入力される。画像処理部１０７には、距離情報取得部１０１が取得する距離情報と記憶部１０６が保持する結像光学系の特性と撮影条件の情報も入力される。画像処理部１０７は、Ａ／Ｄコンバータ１０５からのデジタル信号に対して、距離情報と結像光学系１０２の特性と撮影条件の情報を用いて、所定の処理を施し、画像記録媒体１１０に保存する。画像記録媒体１１０に保存された画像情報は表示部１１１に送信されて表示される。

実施例１は、画像回復を行うことによって、収差、回折、ヴィネッティングによってボケが非対称な形状になることを補正し、良好なボケ形状を生成する画像処理方法を行う。

まず、画像回復の原理について説明する。画像回復とは、光学系の収差により発生したボケを低減する処理であり、光学系の点光源に対する応答を表す関数である点像分布関数（以下、ＰＳＦと記載する）や、該点像分布関数をフーリエ変換して得られる光学伝達関数（以下、ＯＴＦと記載する）を用いる。これらＰＳＦやＯＴＦは、光学系の収差情報に基づく関数である。

ＯＴＦは、収差、回折、ヴィネッティングの周波数成分情報であり、複素数で表される。ＯＴＦの絶対値、即ち、振幅成分をＭＴＦと呼び、位相成分をＰＴＦと呼ぶ。ＭＴＦ、ＰＴＦはそれぞれ収差、回折、ヴィネッティングによる画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Ｒｅ（ＯＴＦ）、Ｉｍ（ＯＴＦ）は、それぞれＯＴＦの実部、虚部を表す。

ＰＴＦ＝ｔａｎ^−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ）） （１）
結像光学系１０２のＯＴＦは、画像の振幅成分と位相成分に劣化を与えるため、劣化画像は被写体の各点が、例えば、コマ収差のように非対称にぼけた状態になる。画像回復処理または回復処理方法とは、振幅劣化成分と位相劣化成分を、結像光学系１０２のＯＴＦ（又はＰＳＦ）の情報を用いて補正する方法である。

劣化した画像をｇ（ｘ，ｙ）、劣化前の画像をｆ（ｘ，ｙ）、ＯＴＦのフーリエペアであるＰＳＦをｈ（ｘ，ｙ）としたとき、以下の式が成り立つ。ただし、＊はコンボリューション（畳み込み積分、積和）を示し、（ｘ，ｙ）は画像上の座標を示す。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） （２）
数式２をフーリエ変換して周波数面での表示形式に変換すると、以下の式のように周波数ごとの積の形式になる。但し、ＨはＰＳＦ（ｈ）をフーリエ変換したものであるのでＯＴＦであり、Ｇ，Ｆはそれぞれｇ，ｆをフーリエ変換したものである。（ｕ，ｖ）は２次元周波数面での座標、即ち周波数を示す。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） （３）
撮影された劣化画像から劣化前の原画像を得るためには、次式のように、数式３の両辺をＨで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） （４）
Ｆ（ｕ，ｖ）、即ち、Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで原画像ｆ（ｘ，ｙ）が回復画像として得られる。

ここで、Ｈ^−１を逆フーリエ変換したものをＲとすると、次式のように実面での画像に対するコンボリューション処理を行うことで、同様に劣化前の画像ｆ（ｘ，ｙ）を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） （５）
Ｒ（ｘ，ｙ）を画像回復フィルタと呼ぶ。画像が２次元のとき、一般的にこの画像回復フィルタも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、画像回復フィルタのタップ数（セルの数）は一般的に多いほど回復精度が向上するため、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数に設定して用いる。画像回復フィルタはＯＴＦに基づいているため、振幅成分および位相成分の劣化をともに高精度に補正することができる。

実際の画像にはノイズ成分があるため、ＯＴＦの完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して光学系のＭＴＦ（振幅成分）を全周波数に亘って戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。

従って、ノイズがある場合には鑑賞用画像としては良好な画像は得られない。これを式で示すと以下のように表せる。Ｎはノイズ成分を表す。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） （６）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ） （７）
この点、数式８に示すウィナーフィルタのように、画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合を制御する方法が知られている。

ここで、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）である。この方法は周波数ごとに、ＭＴＦが小さいほど回復ゲインを抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般的に、結像光学系１０２のＭＴＦは低周波側が高く高周波側が低くなるため、実質的に画像の高周波側の回復ゲインを抑制する方法となっている。

図２（ａ）は、記憶部１０６が保存する画像回復フィルタの模式図である。画像回復フィルタは、結像光学系１０２の収差特性や要求される回復精度に応じてタップ数を決めることができ、図２（ａ）では、一例として、１１×１１タップの２次元フィルタとしている。

画像回復フィルタの各タップが画像の各画素に対応して画像回復処理の工程でコンボリューション処理（畳み込み積分、積和）される。コンボリューション処理では、ある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える。

図２（ａ）では各タップ内の値（係数）を省略している。図２（ａ）に示す画像回復フィルタの１断面を図２（ｂ）に示す。図２（ｂ）の横軸はタップであり、縦軸がタップの値である。画像回復フィルタの各タップのもつ値（係数値）の分布が、収差によって空間的に広がった信号値を、理想的には元の１点に戻す役割を果たしている。

画像回復フィルタは、結像光学系１０２のＯＴＦを計算または計測し、その逆関数に基づいた関数を逆フーリエ変換することによって取得することができる。また、実空間で画像回復フィルタを入力画像にコンボリューション処理することで、画像回復処理で画像のフーリエ変換や逆フーリエ変換を行うことなく画像を回復することができる。入力画像は、撮影光学系を介した撮像により生成された画像である。

以下、収差の対称性を向上させる本実施例の画像回復フィルタについて説明する。数式７から分かるように、数式８のｒＯＴＦの部分が点光源を撮影した画像の回復後の周波数特性になる。

ここで、ｒＯＴＦは、任意の関数である。回復画像の位相劣化成分は０であることが望ましいので、ｒＯＴＦは位相成分を持たないようにすればよく、ｒＯＴＦは実部のみを有するため、実質的にはｒＭＴＦと等しい。ｒＯＴＦは実部のみを有することが好ましいが、許容可能な範囲で虚部に値を持たせてもよい。つまり、点光源に関わらずどのような被写体でも、あたかもＯＴＦがｒＯＴＦの特性を持った結像光学系１０２で撮影された画像のようにすることができる。

従って、主光線（光学系の瞳の中心を通る光線）と垂直に交わる各方向（アジムス方向という）間で共通なＯＴＦ（ｒＨ（ｕ，ｖ））を用いた数式９のようにすることで、あたかもアジムス方向間にＭＴＦ差の無い結像光学系で撮影した画像を得ることができる。

これを、図３（ａ）を参照して説明する。図３は、画像回復のＭＴＦを説明するためのグラフであり、横軸は空間周波数、縦軸はＭＴＦである。回復前のＭＴＦは（１）、（２）に示すようにアジムス方向ごとに異なっているが、回復後は（３）、（４）に示すようにアジムス方向間で揃っている。（１）、（２）は、例えば、メリジオナル方向、サジタル方向のＭＴＦに相当する。

本実施例の画像回復フィルタにより、アジムス方向間のＭＴＦの差異を補正しながら回復することが可能となる。また、数式９ではアジムス方向間で共通なＯＴＦ（ｒＨ（ｕ，ｖ））を用いたが、ｒＨ（ｕ，ｖ）をアジムス方向ごとのＯＴＦの差が回復前のＯＴＦの差よりも低減するように補正することで回転対称性を制御することができる。

完全に回転対称には補正していない場合の画像回復のＭＴＦを図３（ｂ）に示す。また、従来のウィナーフィルタによる画像回復のＭＴＦを図３（ｃ）に示す。図３（ｂ）と図３（ｃ）においても、横軸は空間周波数、縦軸はＭＴＦであり、（１）、（２）がメリジオナル方向、サジタル方向の回復前のＭＴＦ、（３）、（４）がメリジオナル方向、サジタル方向の回復後のＭＴＦを示している。

実施例１によれば、図３（ｂ）における（３）、（４）のように回復後のＭＴＦが完全に一致しなくとも図３（ｃ）における（３）、（４）よりもアジムス方向間のＭＴＦ差が低減し、ＰＳＦの非対称性が低減される。非対称性の補正効果を得るためには、少なくとも回復前のアジムス方向間のＭＴＦ差よりも小さくなるように制御することが望ましい。画像回復フィルタは、数式９のＨ（ｕ，ｖ）の部分がアジムス方向ごとに異なるため、ｒＨ（ｕ，ｖ）がアジムス方向間で共通であろうが、異なっていようが画像回復フィルタとしては、非対称な係数配列を有する。即ち、図２（ｂ）の断面図がアジムス方向ごとに異なることに対応する。

ＯＴＦには、結像光学系１０２以外の、撮像の過程でＯＴＦを劣化させる要因を含めることができる。例えば、複屈折を有する光学ローパスフィルタはＯＴＦの周波数特性に対して高周波成分を抑制する。また、撮像素子１０４の画素開口の形状や開口率、ヴィネッティング、光源の分光特性や各種波長フィルタの分光特性も周波数特性に影響する。これらを含めた広義のＯＴＦに基づいて、画像回復フィルタを作成することが望ましい。また、画像回復フィルタの縦横のタップ数に関しても正方配列である必要はなく、コンボリューション処理時に考慮するようにすれば任意に変更することができる。

画像回復処理は、画像の劣化過程が線形である方が劣化前の原画像に回復するための逆過程を高精度に処理できるため、入力画像は諸々の適応的な非線形処理を施されていないことが好ましい。従って、画像回復処理はモザイク画像（ＲＡＷ画像）に対して行うことが好ましい。

但し、デモザイク画像でも、色補間処理による劣化過程が線形であれば、画像回復フィルタの生成において、この劣化関数を考慮することで同様に回復処理を行うことができる。また、回復の要求精度が低い場合や諸々の画像処理を施された画像しか入手できない場合には、デモザイク画像に対して回復処理を行っても構わない。本実施例の画像処理方法は、入力画像がモザイク画像であってもデモザイク画像であっても適用することができる。

実施例１の画像処理方法を、図４に示すフローチャートを用いて説明する。なお、図４に示すフローチャートの動作は、不図示の制御手段による制御の下で画像処理部１０７が行う。「Ｓ」はステップ（工程）の略であり、図４に示すフローチャートはコンピュータ（プロセッサ）に各ステップの機能を実現させるための画像処理プログラムとして具現化が可能である。

即ち、画像処理プログラム（ソフトウェア）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理によって実現される。

Ｓ１１では、画像処理部１０７は、入力画像をＡ／Ｄコンバータ１０５から、距離情報を距離情報取得部１０１から取得する。

Ｓ１２とＳ１３は、画像回復処理部１０８によって行われる整形ステップ（整形工程）を構成する。整形工程は、上述した光学系の特性による画像の劣化が減るように整形を施し、これは他の実施例でも同様である。

Ｓ１２では、画像回復処理部１０８は、結像光学系１０２の特性と撮影条件と被写体の距離情報に対応する画像回復フィルタを選択又は生成することによって取得する。以下、図５を参照して、画像回復フィルタの選択又は生成について説明する。

図５は、記憶部１０６に格納された画像回復フィルタ群の模式図を示す。画像回復フィルタは、ズーム位置による焦点距離、絞り値、距離情報の３つの状態を軸とした撮像状態空間中に離散的に配置されている。撮像状態空間中の各点（黒丸）の座標が予め格納された画像回復フィルタの状態位置である。

図５は、便宜上、画像回復フィルタの位置を各状態に対して直交した格子点上に配置しているが、各画像回復フィルタの位置は格子点から外れても構わない。また、撮像状態の種類の数においても図示するために３つの状態に対する３次元図としたが、４つ以上の状態を対象とした４次元以上の撮像状態空間であってもよい。

図５において、大きな白丸が実際の撮像状態であるとする。画像回復フィルタを単に選択する場合、実際の撮像状態の位置に最も近い画像回復フィルタを選択して画像回復処理に用いる。例えば、実際の撮像状態の位置からの各格子点の距離を算出し、最短距離の画像回復フィルタを選択する。図５では、小さな白丸の位置の画像回復フィルタが選択される。別の方法として、撮像状態空間中の距離と方向の重みの積を評価関数として用いて画像回復フィルタを選択してもよい。

画像回復フィルタを補正する場合、まず、実際の撮像状態の位置に最も近い画像回復フィルタを選択する。これにより、この後の補正量も小さくでき、撮像状態での本来のフィルタに近いものを生成することができる。図５では、小さな白丸の位置の画像回復フィルタが選択される。

次に、選択された画像回復フィルタの状態と実際の撮像状態の状態相違量ΔＡ，ΔＢ，ΔＣを算出する。「状態相違量」とは、状態Ａ（焦点距離）、状態Ｂ（絞り値）、状態Ｃ（距離情報）のそれぞれに関する相違量である。状態相違量に基づいて状態補正係数を算出し、選択された画像回復フィルタを補正することで、実際の撮像状態に対応した画像回復フィルタを生成することができる。

別の方法として実際の撮像状態の近傍にある複数の画像回復フィルタを選択し、状態相違量に応じて補間処理することによって撮像状態に適した画像回復フィルタを生成することができる。補間処理は、２次元フィルタ同士の対応タップの係数値を線形補間、多項式補間、スプライン補間などを使用することができる。

Ｓ１３では、画像回復処理部１０８は、入力画像に画像回復フィルタをコンボリューションし、原画像を取得する。その結果、画像の位相劣化成分と振幅劣化成分に対して、位相成分は零を目標値に補正され、振幅成分はアジムス方向間で揃う方向に補正される。

本実施例の画像回復の効果を図６、図７を参照して説明する。図６は、撮影シーンの一例で、符号１〜３はいずれも被写体であるが、符号１、２は非主被写体、符号３は主被写体である。符号４は図１に示す撮像装置を表す。

撮像装置の撮像素子によって撮像された回復前の入力画像が図７（ａ）に示すようになっているものとすると、図７（ａ）における被写体１〜３は、結像光学系１０２の特性により、本来の形状から変化している。

そこで、不図示のステップ（分割ステップ）において、Ｓ１１で取得した被写体距離の情報（距離情報）に基づいて、被写体１〜３を、図７（ｃ）〜（ｅ）に示すように、３つのレイヤー（レイヤー画像）に分割する（分割ステップ）。レイヤーとは、１つの画像を少なくとも１つの被写体を含む複数の層に分けたような画像であり、各レイヤーを重ね合わせることで元の１つの画像とすることができる。ここでのレイヤーは、所定の被写体距離の範囲ごとにレイヤーが用意される。このレイヤーは、互いに被写体距離（物体距離）が異なる複数の被写体ごとに用意してもよい。

尚、本明細書における「用意」とは、データ（例えば、被写体の距離情報）を記憶部に予め記憶させておくこと、或いは、該データを外部の装置から取得することを意味する。

次に、Ｓ１１で取得した距離情報に基づいて、Ｓ１２において、画像回復処理部１０８は各レイヤーに対応した画像回復フィルタを選択又は生成する。各レイヤーに対応した画像回復フィルタを選択又は生成するとは、図５に説明したとおり、撮影条件、具体的には距離情報に基づいて、各レイヤーの被写体に生じた収差を低減するのに適した画像回復フィルタを選択又は生成するということである。

次に、Ｓ１３において、画像回復処理部１０８は、レイヤー毎（レイヤー画像毎）に画像回復フィルタをコンボリューション演算し、各レイヤーの画像回復を行い、ボケ付加ステップに移行する。なお、各レイヤーの画像回復後に、レイヤーを合成して、図７（ｂ）に示す画像を生成してからボケ付加ステップに移行してもよい。画像を合成する際は、複数のレイヤーの画素値を足し合わせてもよいし、どれか１つ又は複数の画素値を取得してもよい。

Ｓ１４〜Ｓ１６は、ボケ付加処理部１０９によって行われるボケ付加ステップ（ボケ付加工程）を構成する。

Ｓ１４では、ボケ付加処理部１０９は、画像回復された画像に、距離情報に応じたボケを付加する。本実施例においては、図８に示すように三種類のボケ関数を用意し、ボケ関数に基づく値を画素値に付加する。図８のグラフの横軸は空間座標、縦軸は強度を示している。図８（ａ）はガウシアン形状のボケ関数であり、周辺に行くほど滑らかに減衰するボケとなる。図８（ｂ）は半値幅の異なる２種類のガウシアンを組み合わせたボケ関数であり、中心付近の強度が大きいボケとなる。図８（ｃ）は矩形形状のボケ関数であり、均一なボケとなる。もちろん、ボケ関数はこれらに限定されたものではなく、任意のボケ関数としてよい。

ボケ付加処理部１０９は、図７（ｂ）に示す被写体１、２に付加するボケ関数を取得する。ボケ付加処理部１０９は、ユーザーにより指示されたボケ関数を取得するように構成してもよいし、撮像装置内で規定されたボケ関数を用いてもよい。

そして、取得されたボケ関数に基づく値は、図２（ａ）の２次元フィルタの各画素の値としてＳ１５で用いられる。但し、ボケ関数は距離情報に基づいた関数でなくてもよく、異なる被写体距離に同一のボケ関数を入力する等、自由に変更してよい。以降、ボケ関数の値をもつ２次元フィルタをボケフィルタと記載する。

Ｓ１５において、ボケ付加処理部１０９は、各レイヤーにボケフィルタをコンボリューション演算する。Ｓ１３で画像回復されたレイヤー１〜３（図９（ａ）〜（ｃ））にＳ１４で取得したボケフィルタをコンボリューション演算してボケ付加後のレイヤー１〜３を取得する。そして、ボケが付加されたレイヤー１〜３の画像を合成する。レイヤー１〜３を合成する際は、複数のレイヤーの画素値を足し合わせてもよいし、どれか１つ又は複数の画素値を取得してもよい。合成した画像が図９（ｄ）である。

Ｓ１４とＳ１５で示したボケ付加方法は一例である。画像をレイヤーに分けるのではなく、図７（ｂ）に示す画像を被写体距離に基づいて複数の領域に切り分け（分割し）、該切り分けた領域ごとにボケフィルタをコンボリューション演算して、良好なボケが付加された画像を得ても良い。つまり、１つの画像内で異なるボケフィルタをコンボリューション処理してもよい。また、ボケ関数の半値幅或いは輝度値が０以上である範囲をボケの大きさとして定義し、各レイヤーの画素値をボケの大きさの領域内で平均化することによりボケを付加してもよい。

Ｓ１６では、ボケ付加処理部１０９は、Ｓ１５で得られたボケ付加画像を出力する。

実施例１では整形ステップ後にボケ付加ステップを実行したが、両ステップは同時に行われてもよい。その場合、数式８のｒＯＴＦの部分をボケ関数の周波数特性とする。そして、数式８の右辺ｒＯＴＦ／Ｈ（ｕ，ｖ）を逆フーリエ変換した値をフィルタとして、入力画像にコンボリューション処理すればよい。

実施例１の撮像装置によれば、結像光学系１０２の光学特性に起因する像形状への影響を低減した良好なボケを付加することができる。

《実施例２》
図１０は、実施例２の撮像装置の要部ブロック図である。本実施例の撮像装置は、距離情報取得部１０１を有さず、画像処理部１０７の代わりに画像処理部２０５を有し、記憶部１０６の代わりに記憶部２１３を有する。また、本実施例の撮像装置は、露出制御部２１２を更に有する。本実施例では、撮像素子１０４が受光する光量を露光量と定義する。そして、本実施例において「露出量が異なる画像」とは、シャッタースピード、Ｆ値、ＩＳＯ感度のうち少なくとも１つが異なる条件で撮影された画像のことである。

露出制御部２１２は露光量を制御する。記憶部２１３は、同一の被写体を、露光量を変えて複数枚撮った画像の情報と、その複数枚撮影した画像に対応する露光量の情報を保存する。この複数枚撮影した画像のうち１枚を輝度推定する参照画像とする。記憶部２１３に記憶された情報は画像処理部２０５に送られる。

画像処理部２０５は、整形処理部２０６とボケ付加処理部２０９を有する。整形処理部２０６は、輝度飽和検出部２０７と輝度飽和推定部２０８を有する。輝度飽和検出部２０７は、参照画像と、該参照画像を撮影したときの撮影条件を用いて輝度飽和部を検出する。輝度飽和推定部２０８は、輝度飽和部の輝度値を推定し、ボケ付加処理部２０９に推定した輝度値を送信する。輝度飽和検出部２０７と輝度飽和推定部２０８の詳細は後述する。

実施例２の撮像装置において実行される画像処理を、図１１に示すフローチャートを用いて説明する。なお、図１１に示すフローチャートの動作は、不図示の制御手段による制御の下で画像処理部２０５が行う。「Ｓ」はステップ（工程）の略であり、図１１に示すフローチャートはコンピュータ（プロセッサ）に各ステップの機能を実現させるための画像処理プログラムとして具現化が可能である。

本フローチャートは、既に撮像装置によって同一の被写体が互いに異なる露光量で撮像され、記憶部２１３に、互いに露光量の異なる複数の画像が記憶されている状態から開始される。

Ｓ２１では、画像処理部２０５は、記憶部２１３から、参照画像と、参照画像と同一の被写体を撮った露光量の異なる複数の画像を取得する。

Ｓ２２では、輝度飽和検出部２０７が参照画像の輝度飽和部を検出する。図１２は、輝度飽和部が存在する参照画像の一例を示す図である。符号５は輝度飽和している部分を表す。輝度飽和検出部２０７は、各画素の値を輝度値として取得して、輝度値が飽和値になっている部分を輝度飽和部として検出する。

Ｓ２３では、整形処理部２０６は、参照画像と露光量の異なる複数の画像において、Ｓ２２で取得した参照画像の輝度飽和部と同じ画素あるいは同じ像高における輝度値を検出する。そして、その露光量の異なる複数の画像から、前記参照画像の輝度飽和部に対応する領域（同じ領域）内の全画素で輝度値が飽和値以下になっている画像を取得する。ここでは、輝度飽和部内の全画素で輝度値が飽和値以下になっている画像を画像Ｗとする。なお、ここでは、輝度飽和部内の全画素で輝度値が飽和値以下になっている画像を画像Ｗとして取得したが、これに限られず、輝度飽和部内の全画素の８０％以上の画素の輝度値が飽和値以下になっている画像を画像Ｗとして取得してもよい。

Ｓ２４では、輝度飽和推定部２０８が輝度飽和部を有する参照画像に、輝度飽和がないとした場合の適切な参照画像の輝度値を推定する。図１３は、輝度推定方法を説明するための図である。図１３（ｂ）は、輝度飽和している図１３（ａ）の一断面の輝度値を示す図であり、横軸が空間座標であり、縦軸が輝度値である。Ｓ２４においては、Ｓ２２において取得した画像Ｗ（輝度飽和していない画像）から輝度飽和している参照画像の輝度値を推定するために数式１０を用いる。

即ち、画像Ｗの輝度分布と、参照画像と画像Ｗの露光量の比を掛けることによって、図１３（ｂ）に示すように、飽和値以上の参照画像の軌道飽和部周辺の輝度分布を推定する。言い換えれば、Ｓ２２において、輝度飽和推定部２０８は、参照画像（第１画像）の露光量と画像Ｗ（第２画像）の露光量と画像Ｗにおいて参照画像の輝度飽和部に対応する領域内の輝度値を用いて、参照画像の輝度飽和部における輝度値を推定する。

Ｓ２５では、ボケ付加処理部２０９が推定した輝度値に基づいてボケ関数を選択又は生成する。ここで、推定した輝度値に基づくとは、例えば、推定した輝度値の分布が、図８（ａ）で示したようなガウシアン形状に近いものであるならば、ガウシアン形状のボケ関数を選択又は生成することである。

Ｓ２６では、ボケ付加処理部２０９が参照画像に対してボケ関数の情報をもつボケフィルタに基づく演算を行う。ボケフィルタに基づく演算方法としては、実施例１で説明したように参照画像にボケフィルタをコンボリューション演算してもよい。また、ボケフィルタの大きさ（タップ数）をボケの大きさとして定義し、ボケの大きさの領域で全画素における輝度値を平均化して、該領域における画素値を平均化した輝度値としてもよい。

以上のＳ２２〜Ｓ２６は、整形処理部２０６によって行われる整形ステップである。

Ｓ２７では、ボケが付加された画像を出力する。

実施例２では、整形ステップ後にボケ付加ステップを実行したが、実施例１と同様に両ステップは同時に実行されてもよい。

また、実施例１の画像回復に実施例２の輝度推定を利用することがより好ましい。図１８（ａ）のような輝度飽和部分している部分は本来の輝度分布とは異なり、飽和値で一定である。その状態で画像回復を行うと、正確な画像回復が行えない。そこで実施例２の輝度推定処理を行って輝度飽和部の本来の輝度値を取得し、画像回復を行うことによって、正確な画像回復が行える。

実施例２の撮像装置によれば、画像に輝度飽和部が存在した場合も、良好にボケを付加することができる。

《実施例３》
図１４は、実施例３の画像処理システムのブロック図である。画像処理システムは、記録媒体３０１、撮像装置３０２、画像処理装置３０３、表示機器３１１、出力機器３０９を備えている。

記録媒体３０１は、例えば、半導体メモリ、ハードディスク、ネットワーク上のサーバーなどである。

撮像装置３０２は、結像光学系と撮像素子を有し、図１に示す距離情報取得部１０１を有する。

画像処理装置３０３は、整形処理とボケ付加処理を行うコンピュータであり、不図示の制御手段を有する。画像処理装置３０３は、撮像装置３０２にインターネットを介して接続されたサーバーから構成されてもよい（クラウドコンピューティング）。もちろん、画像処理装置３０３は画像情報を保存している他のパーソナルコンピュータ（ＰＣ）、携帯電話、ＰＤＡやゲーム機などの専用端末などにネットワークを介して接続されていてもよい。

画像処理装置３０３によって処理された画像情報は、記録媒体３０１、表示機器３１１、出力機器３０９のいずれか又は複数に出力される。出力機器３０９は、例えば、プリンタである。表示機器３１１は、例えば、液晶ディスプレイやプロジェクタなどである。画像処理装置３０３には、表示機器３１１が接続され、画像が表示機器３１１へ入力される。ユーザーは、表示機器３１１を介して画像を確認しながら作業を行うことができる。

画像処理装置３０３は、整形処理部３０４、ボケ付加処理部３０８、記憶部３１０および距離取得部３１２を有する。整形処理部３０４は、輝度飽和検出部３０５、輝度飽和推定部３０６および輝度値調整部３０７を有する。

輝度飽和検出部３０５は輝度飽和部を検出する。輝度飽和推定部３０６は輝度飽和部の輝度値を推定する。推定された輝度値に基づいて、輝度値調整部３０７とボケ付加処理部３０８で所定の処理が施される。記憶部３１０には、撮像装置３０２内の結像光学系の特性や入力画像や撮影条件が記憶される。距離取得部３１２は、撮像装置３０２で得られた複数の視差画像に基づいて、各被写体の距離を算出し、取得する。

実施例３の画像処理方法を、図１５に示すフローチャートを用いて説明する。なお、図１５に示すフローチャートの動作は、画像処理装置３０３が行う。「Ｓ」はステップ（工程）の略であり、図１５に示すフローチャートはコンピュータ（プロセッサ）に各ステップの機能を実現させるための画像処理プログラムとして具現化が可能である。

実施例３では、撮影条件としてのＦ値が小さい（被写界深度が浅い）場合において撮影された画像の輝度飽和部のボケを再現するため、輝度推定とともに輝度値の調整を行う。実施例３の整形ステップは、輝度推定と輝度値の調整を行う。

Ｓ３１〜Ｓ３３は実施例２のＳ２１〜Ｓ２３と同様であるため、説明を省略する。

Ｓ３４では、輝度飽和部の輝度値と距離情報の推定を行う。輝度飽和部の輝度値の推定に関しては、実施例２と同様である。距離情報の推定に関しては、撮像装置３０２内で視差画像を取得しておき、コンピュータ内で距離情報を算出、取得する。

また、輝度飽和部の輝度値推定の際に、距離情報を利用してもよい。例えば、同一種類の光源Ａ、Ｂが異なる距離に位置し、これら光源を含むシーンを撮影した場合、撮像された画像において、撮像装置に近い方の光源Ａが輝度飽和しており、かつ、撮像装置から遠い方の光源Ｂが輝度飽和していない場合を想定する。撮像装置から遠い被写体（光源Ｂ）ほど、結像光学系１０２に入る光量の減衰が大きいので、光源Ａ及び光源Ｂの距離情報と実施例１で説明したボケの大きさの関係から、輝度飽和した近い方の光源Ａの画像における輝度分布を推定する。これは、露光量を変えて複数枚撮った画像全てにおいて、被写体が輝度飽和している場合に有効である。

Ｓ３５では、Ｓ３４で得られた輝度飽和部の推定輝度値と輝度飽和している被写体までの距離情報に基づいて、入力画像から算出される推定輝度値を定数倍し且つ距離が撮影側から遠いほど輝度値が小さくなるようにする輝度値の調整を行う（調整ステップ）。さらに、Ｓ３５では、ボケを付加するために用いるボケフィルタの選択又は生成と、該ボケフィルタに基づくボケ値の付加を行う（ボケ付加ステップ）。ボケフィルタの選択又は生成は実施例１と同様である。輝度値の調整とボケフィルタに基づくボケの付加の処理の順番はどちらが先でもよい。

輝度値の調整後にボケ値の付加の処理を行う場合は、まず入力画像における輝度飽和部を推定し、調整した輝度値に対してボケフィルタをコンボリューションする処理を行う。コンボリューション処理後、飽和値より大きい値は、飽和値として輝度値に反映される。

また、ボケを付加した後に、輝度値を調整する場合は、入力画像に、ボケフィルタをコンボリューションし、ボケを付加する前に、輝度飽和していた領域の輝度値と推定した輝度値の比で、コンボリューションされた画像の輝度を比例倍する。

但し、輝度飽和部のボケを再現する上で好ましいのは、輝度値を調整した後にボケを付加する順番である。これは、ボケを付加してから輝度値を調整する場合に比べて、より自然なボケを付加することができるからである。

Ｓ３６では、ボケ付加画像を出力する。

実施例３の画像処理装置によれば、画像に輝度飽和部が存在した場合も、良好にボケを付加することができる。

《実施例４》
図１６は、実施例４の撮像装置の要部ブロック図である。本実施例の撮像装置は、記憶部１０６の代わりに記憶部４０６を有し、画像処理部１０７の代わりに画像処理部４０７を有し、整形領域選択部４１２と仮想Ｆ値選択部４１３を更に有する。

記憶部４０６は撮影条件を記憶する。

整形領域選択部４１２は、撮影画像において実施例１から３で説明した整形工程を行う対象領域を選択する。

仮想Ｆ値選択部４１３は、撮影画像を撮影した際の撮影条件のＦ値以下の範囲で、整形後の領域に必要な任意のＦ値（仮想Ｆ値）の選択を行う。整形領域選択部４１２は、例えば、操作ボタンやタッチパネルを介してユーザーによる選択指示に基づいて仮想Ｆ値を選択する。

画像処理部４０７に入力される情報は、距離情報取得部１０１で得られる各被写体の距離情報と記憶部４０６で得られる撮影条件と整形領域選択部４１２で得られる整形領域と仮想Ｆ値選択部４１３によって選択された仮想Ｆ値の情報である。

実施例４の撮像装置における画像処理を、図１７に示すフローチャートを用いて説明する。なお、図１７に示すフローチャートの動作は、不図示の制御手段による制御の下で画像処理部４０７が行う。「Ｓ」はステップ（工程）の略であり、図１７に示すフローチャートはコンピュータ（プロセッサ）に各ステップの機能を実現させるための画像処理プログラムとして具現化が可能である。

入力画像において、画像の周辺部において大きくボケた領域における像は、ヴィネッティングによって一部が欠けた非対称な形になる。しかし、合焦位置から離れた領域では、ＭＴＦがほぼ０となるので、画像回復を利用して非対称なボケを対称にすることは困難である。即ち、実施例１に示すような画像回復を行って、ボケ付加を行い、良好なボケを生成することは難しい。そこで、実施例４は、合焦位置から離れた領域で、一部が欠けた非対称な形を良好なボケ形状に整形する。

Ｓ４１は実施例１のＳ１１と同様である。

Ｓ４２〜Ｓ４４が、整形処理部４０８によって行われる整形ステップである。

Ｓ４２では、入力画像内で整形する領域を選択する。図１８（ａ）に入力画像の例では、符号６は一部が欠けて本来の形状から変化した被写体であり、Ｓ４２では、この被写体６が含まれる領域を整形する領域として選択する。整形領域選択方法は、ユーザーが選択しても良いし、輝度値の大きさ等から画像処理部４０７内で検出してもよい。尚、従来からあるエッジ検出処理等を用いて被写体６のエッジを境界とする領域として選択可能に構成しても良いし、被写体６を含む矩形領域を選択可能に構成してもよい。

Ｓ４３では、選択された領域の平均輝度値とその領域に含まれる被写体６までの被写体距離情報から整形する被写体の大きさと輝度値を決定する。Ｓ４２で選択された領域の距離情報と撮影条件のＦ値（撮影時のＦ値）から、選択された領域で整形後のボケの大きさを算出する。そして、選択領域内の平均輝度値から、整形後のボケの輝度値を算出する。整形するボケの分布は、例えば、円対称な一様分布で各輝度値を平均輝度値として扱う。

Ｓ４４では選択した領域を整形する。具体的には、Ｓ４２で選択された領域を含むようにして、入力画像の輝度値とＳ４３で取得した整形後の領域の輝度値を置き換える（置換ステップ）。但し、全ての輝度値の置き換えを行ってもよいし、整形する領域のみ輝度値を置き替えて、その他は重ね合わせを行ってもよい。輝度値を置き替えることによって、例えば、図１８（ａ）の非対称な被写体は図１８（ｂ）のように円対称な被写体に変更することができる。

Ｓ４５〜Ｓ４７はボケ付加処理部４０９によって行われるボケ付加ステップである。

Ｓ４５では、ボケ付加処理部４０９は、Ｓ４４で選択された仮想Ｆ値に基づいてボケ関数の選択又は生成を行う。ボケ関数は実施例１のＳ１４と同様である。仮想Ｆ値に基づいて付加するボケの大きさを決定し、該ボケの大きさにあったタップ数を有するボケフィルタを選択又は作成する。ここで、仮想Ｆ値に基づいて付加するボケの大きさを決定するとは、仮想Ｆ値が小さい場合には、被写界深度は浅くなるので、仮想Ｆ値が大きい場合に比べて、大きいボケの大きさを設定するということである。そして、Ｓ４４で選択された領域の中心位置を中心として、Ｓ４３で算出したボケを付加する。但し、本実施例においてはボケの大きさを仮想Ｆ値に基づいて決定したが、仮想Ｆ値でなく任意に決めてもよい。

Ｓ４６では、整形後の領域に対してＳ４５で選択又は作成したボケフィルタに基づくボケを付加する。ボケの付加方法は実施例１Ｓ１５と同様に行えばよい。

Ｓ４７では、ボケ付加画像を出力する。

実施例４の撮像装置によれば、合焦位置から十分離れた領域でのボケ形状を良好なボケ形状に整形することができる。

以上、本実施形態について説明したが、本発明は本実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本発明の画像処理方法は、撮影された画像にボケを加える画像処理の用途に適用可能である。

１０２…結像光学系、１０４…撮像素子、１０７…画像処理部、１０８…画像回復処理部、１０９…ボケ付加処理部

Claims (8)

1. 光学系を介した撮像により生成された、輝度飽和部を有する第１画像と同一の被写体を異なる露光量で撮影した第２画像に基づいて、前記輝度飽和部の輝度値を推定する推定ステップと、
   前記推定ステップにおいて推定された前記輝度値に基づいて、前記第１画像の前記輝度飽和部にボケを付加するボケ付加ステップをコンピュータに実行させることを特徴とする画像処理プログラム。
2. 前記被写体の距離情報に基づいて、前記第１画像の輝度値を調整する調整ステップを有することを特徴とする請求項１に記載の画像処理プログラム。
3. 前記第２画像は、前記輝度飽和部に対応する領域内の輝度値が飽和値以下になっている画像であることを特徴とする請求項１又は２に記載の画像処理プログラム。
4. 前記推定ステップにおいて、前記第１画像の露光量と前記第２画像の露光量と前記第２画像の前記輝度飽和部に対応する領域内の輝度値を用いて、前記第１画像の前記輝度飽和部における輝度値を推定することを特徴とする請求項１乃至３のいずれか１つに記載の画像処理プログラム。
5. 前記ボケ付加ステップにおいて、前記輝度飽和部に含まれる被写体の距離情報に基づいてボケを付加することを特徴とする請求項１乃至４のいずれか１つに記載の画像処理プログラム。
6. 光学系を介した撮像により生成された、輝度飽和部を有する第１画像と同一の被写体を異なる露光量で撮影した第２画像に基づいて、前記輝度飽和部の輝度値を推定する推定ステップと、
   前記推定ステップにおいて推定された前記輝度値に基づいて、前記第１画像の前記輝度飽和部にボケを付加するボケ付加ステップを有することを特徴とする画像処理方法。
7. 光学系を介した撮像により生成された、輝度飽和部を有する第１画像と同一の被写体を異なる露光量で撮影した第２画像に基づいて、前記輝度飽和部の輝度値を推定する推定処理部と、
   前記推定処理部において推定された前記輝度値に基づいて、前記第１画像の前記輝度飽和部にボケを付加するボケ付加処理部と、
   を有することを特徴とする画像処理装置。
8. 被写体の光学像を形成する結像光学系と、
   前記結像光学系が形成した前記光学像を光電変換する撮像素子と、
   前記撮像素子により生成された、輝度飽和部を有する第１画像と同一の被写体を異なる露光量で撮影した第２画像に基づいて、前記輝度飽和部の輝度値を推定し、推定された前記輝度値に基づいて、前記第１画像の前記輝度飽和部にボケを付加する画像処理部と、
   を有することを特徴とする撮像装置。