JP2012160864A - 撮像装置 - Google Patents

Abstract

【課題】光学ズーム倍率の変更に伴う被写界深度変化を打ち消す。
【解決手段】光学ズーム倍率の変更に伴う光学的特性の変化により、入力画像の被写界深度がユーザ所望の被写界深度からずれる（入力画像４００から入力画像４２０への変化；ボケ特性４０５からボケ特性４２５への変化）。この場合、上記ずれが打ち消されるように、光学ズーム倍率の変更後の入画像４２０に対し、距離マップに基づく特定画像処理を施す。
【選択図】図１３

Description

本発明は、デジタルカメラ等の撮像装置に関する。

デジタルカメラ等の撮像装置には光学ズーム機能が備えられていることが多く、ユーザは、ズーム操作によって光学ズーム倍率を変更することで撮影画角を調整することができる。

尚、画像撮影後に、画像処理によって撮影画像の合焦状態を調整可能な方法が提案されている（例えば、下記特許文献１〜３参照）。

特開２００９−２２４９８２号公報 特開２０１０−８１００２号公報 特開２０１０−２５２２９３号公報

ところで、光学ズーム倍率の変更は撮像部の光学的特性の変化を伴うため、光学ズーム倍率が変更されると撮影画像の合焦状態（被写界深度を含む）も変化する。ユーザは、絞り値の設定等を介して撮影画像の合焦状態を所望のものへと調整した後、構図調整を行うべく光学ズーム倍率を変更させることがあるが、この際、光学ズーム倍率の変更に伴って撮影画像の合焦状態がユーザ所望のものから変化することは好ましいとは言えない。

そこで本発明は、光学ズーム倍率の変更に伴う合焦状態変化の抑制に寄与する撮像装置を提供することを目的とする。

本発明に係る撮像装置は、ズームレンズを介して入射した被写体の光学像から入力画像を生成する入力画像生成部と、前記ズームレンズの位置変化によって光学ズーム倍率が変更されたとき、前記入力画像の合焦状態を画像処理によって調整することにより出力画像を生成する出力画像生成部と、備えたことを特徴とする。

これにより、例えば、光学ズーム倍率の変更に伴う合焦状態変化を抑制することが可能となる。

具体的には例えは、前記出力画像生成部は、前記光学ズーム倍率が変更されたとき、前記光学ズーム倍率の変更によって生じる前記入力画像の合焦状態の変化が前記出力画像において抑制されるように、前記入力画像に対して前記画像処理を施しても良い。

また例えば、前記光学ズーム倍率の変更指示及び指定被写界深度の設定指示を受けるユーザインターフェースを当該撮像装置に更に設けても良い。そして例えば、前記指定被写界深度の設定指示後に前記変更指示に従って前記光学ズーム倍率が変更されたとき、前記出力画像生成部は、前記出力画像の被写界深度が前記指定被写界深度に応じた被写界深度となるように、前記入力画像に対して前記画像処理を施しても良い。

また例えば、前記入力画像の各画素の被写体距離を表す被写体距離情報を取得する被写体距離情報取得部を当該撮像装置に更に設けても良い。そして例えば、前記出力画像生成部は、前記被写体距離情報を用いて前記画像処理を実行しても良い。

また例えば、前記光学ズーム倍率が増大した場合、前記出力画像生成部は、前記被写体距離情報に基づき前記光学ズーム倍率の増大後に得られた入力画像内に処理対象領域を設定し、前記処理対象領域を鮮鋭化させる鮮鋭化処理を前記画像処理として実行しても良い。

或いは例えば、前記光学ズーム倍率が減少した場合、前記出力画像生成部は、前記被写体距離情報に基づき前記光学ズーム倍率の減少後に得られた入力画像内に処理対象領域を設定し、前記処理対象領域をぼかすぼかし処理を前記画像処理として実行しても良い。

本発明によれば、光学ズーム倍率の変更に伴う合焦状態変化の抑制に寄与する撮像装置を提供することが可能である。

本発明の実施形態に係る撮像装置の概略全体ブロック図である。 図１の撮像部の内部構成図である。 合焦、被写界深度及び被写界距離等の意義を説明するための図である。 図１の撮像装置における、特徴的動作の実現に特に関与する部位のブロック図である。 入力画像と、その入力画像のボケ特性を示す図である。 図５の入力画像に対応する距離マップを示す図である。 撮像装置と複数の被写体との位置関係を示す図である。 撮像装置と複数の被写体との位置関係を示す図である。 入力画像のボケ特性を示す図である。 ズーム操作前後における入力画像及び出力画像を示す図である。 光学ズーム倍率の増加後における入力画像と、その入力画像のボケ特性を示す図である。 合焦状態調整画像と、その合焦状態調整画像のボケ特性を示す図である。 光学ズーム倍率の増加前後における入力画像及び光学ズーム倍率の増加後の入力画像に基づく合焦状態調整画像と、それらの画像のボケ特性と、を示す図である。 図１１（ａ）の入力画像に対応する距離マップを示す図である。 光学ズーム倍率の増加前後における入力画像の被写界深度、及び、光学ズーム倍率の増加後の入力画像に基づく合焦状態調整画像の被写界深度を示す図である。 図１０に、指定被写界深度の設定指示タイミングを付加した図である。 本発明の第１実施例に係る動作フローチャートである。 本発明の第３実施例に係り、光学ズーム倍率の増加後の入力画像内に処理対象領域が設定される様子を示す図である。 本発明の第４実施例に係り、光学ズーム倍率の減少後における入力画像と、その入力画像のボケ特性を示す図である。 図１９（ａ）の入力画像に対応する距離マップを示す図である。 本発明の第４実施例に係り、光学ズーム倍率の減少後の入力画像内に処理対象領域が設定される様子を示す図である。 本発明の第４実施例に係る合焦状態調整画像と、その合焦状態調整画像のボケ特性を示す図である。

以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、物理量、状態量又は部材等を参照する記号又は符号を付記することによって該記号又は符号に対応する情報、物理量、状態量又は部材等の名称を省略又は略記することがある。例えば、合焦基準距離を記号Ｌｏによって表す場合、合焦基準距離Ｌｏを距離Ｌｏ又は単にＬｏと表記する場合があり、合焦状態調整部を符合５７によって参照する場合、合焦状態調整部５７を調整部５７と表記する場合がある。

図１は、本発明の実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。但し、撮像装置１は、静止画像のみを撮影及び記録可能なデジタルスチルカメラであっても良い。また、撮像装置１は、携帯電話機などの携帯端末に搭載されるものであっても良い。

撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。尚、表示部１５は撮像装置１の外部機器（不図示）に設けられたものである、と解釈しても良い。

撮像部１１は、撮像素子を用いて被写体の撮影を行う。図２は、撮像部１１の内部構成図である。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、撮像部１１の画角を調節するためのズームレンズ３０及び焦点を合わせるためのフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。主制御部１３からの制御信号に基づき、光学系３５内におけるズームレンズ３０及びフォーカスレンズ３１の位置並びに絞り３２の開度が制御される。

撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３の各受光画素は、光学系３５及び絞り３２を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。

ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから主制御部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は主制御部１３によって制御される。主制御部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。主制御部１３は、表示部１５の表示内容を制御する表示制御部としての機能をも備え、表示に必要な制御を表示部１５に対して行う。

内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。

表示部１５は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部１３の制御の下、撮影された画像や記録媒体１６に記録されている画像などを表示する。本明細書において、単に表示及び表示画面と言った場合、それらは、表示部１５における表示及び表示画面を指すものとする。表示部１５にはタッチパネル１９が設けられており、ユーザは、表示部１５の表示画面を操作体（指やタッチペンなど）で触れることで撮像装置１に特定の指示を与えることができる。尚、タッチパネル１９を割愛することも可能である。

記録媒体１６は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像の映像信号等を記録する。操作部１７は、静止画像の撮影指示を受け付けるシャッタボタン２０及びズーム倍率の変更指示を受け付けるズームボタン２１等を備え、外部からの各種操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。操作部１７及びタッチパネル１９を、ユーザからの任意の指示及び操作を受けるユーザインターフェースと呼ぶことができる。シャッタボタン２０及びズームボタン２１は、タッチパネル１９上のボタンであってもよい。

撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、記録媒体１６に記録された画像（静止画像又は動画像）を表示部１５に再生表示する再生モードと、が含まれる。操作部１７に対する操作に応じて、各モード間の遷移は実施される。

撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表す映像信号を画像データとも呼ぶ。映像信号は、例えば、輝度信号及び色差信号を含む。或る画素に対する画像データを、画素信号と呼ぶこともある。或る画像の大きさ又は画像領域の大きさを、画像サイズとも呼ぶ。注目画像又は注目画像領域の画像サイズを、注目画像を形成する画素の数又は注目画像領域に属する画素の数にて表現することができる。尚、本明細書では、或る画像の画像データのことを単に画像と言うこともある。従って、例えば、入力画像の生成、記録、加工、編集又は保存とは、入力画像の画像データの生成、記録、加工、編集又は保存を意味する。

図３（ａ）〜（ｄ）を参照して、合焦等の意義を説明する。図３（ａ）に示す如く、撮像部１１の撮影範囲内に、理想的な点光源３１０が被写体として含まれている状態を想定する。撮像部１１において、点光源３１０からの入射光は光学系３５を介して結像点にて結像するが、その結像点が撮像素子３３の撮像面上にあるとき、撮像面上における点光源３１０の像の直径は実質的にゼロであって撮像素子３３の許容錯乱円径よりも小さい。一方、その結像点が撮像素子３３の撮像面上にない場合、撮像面上において点光源３１０の光学像はぼけ、結果、撮像面上における点光源３１０の像の直径が許容錯乱円径よりも大きくなりうる。撮像面上における点光源３１０の像の直径が許容錯乱円径以下であるとき、点光源３１０としての被写体は撮像面上で合焦しており、撮像面上における点光源３１０の像の直径が許容錯乱円径よりも大きいとき、点光源３１０としての被写体は撮像面上で合焦していない。

同様に考えて、図３（ｂ）に示す如く、任意の二次元画像である注目画像３２０に点光源３１０の像３１０’が被写体の像として含まれている場合において、像３１０’の直径が許容錯乱円径に応じた基準径Ｒ_ＲＥＦ以下であるとき、注目画像３２０において点光源３１０としての被写体は合焦しており、像３１０’の直径が該基準径Ｒ_ＲＥＦよりも大きいとき、注目画像３２０において点光源３１０としての被写体は合焦していない。基準径Ｒ_ＲＥＦは、注目画像３２０上における許容錯乱円径である。注目画像３２０において、合焦している被写体を合焦被写体と呼び、合焦していない被写体を非合焦被写体と呼ぶ。注目画像３２０の全画像領域の内、合焦被写体の画像データが存在している画像領域を合焦領域と呼び、非合焦被写体の画像データが存在している画像領域を非合焦領域と呼ぶ。

また、像３１０’の直径に応じた指標を合焦度と呼ぶ。注目画像３２０において、像３１０’の直径が大きいほど点光源３１０としての被写体の合焦度（換言すれば、像３１０’の合焦度）は低く、像３１０’の直径が小さいほど点光源３１０としての被写体の合焦度（換言すれば、像３１０’の合焦度）は高い。従って、非合焦領域における合焦度は合焦領域における合焦度よりも低い。尚、本明細書で述べる任意の画像は、特に記述なき限り、二次元画像である。

任意の被写体３３０と撮像装置１（より具体的には撮像素子３３）との間における実空間上の距離を、被写体距離と呼ぶ（図３（ｄ）参照）。任意の被写体３３０が注目画像３２０の被写界深度内に位置している場合（換言すれば、被写体３３０の被写体距離が注目画像３２０の被写界深度に属している場合）、被写体３３０は注目画像３２０上において合焦被写体である。被写体３３０が注目画像３２０の被写界深度内に位置していない場合（換言すれば、被写体３３０の被写体距離が注目画像３２０の被写界深度に属していない場合）、被写体３３０は注目画像３２０上において非合焦被写体である。

図３（ｃ）に示す如く、像３１０’の直径が基準径Ｒ_ＲＥＦ以下となる被写体距離の範囲が注目画像３２０の被写界深度であり、注目画像３２０の被写界深度に、注目画像３２０の合焦基準距離Ｌｏ、近点距離Ｌｎ及び遠点距離Ｌｆが属する。像３１０’の直径に最小値を与える被写体距離が注目画像３２０の合焦基準距離Ｌｏであり、注目画像３２０の被写界深度の内、最小の距離及び最大の距離が夫々近点距離Ｌｎ及び遠点距離Ｌｆである。近点距離Ｌｎ及び遠点距離Ｌｆ間の長さは、被写界深度の深さと呼ばれる。

以下では、特に記述なき限り、撮影モードにおける撮像装置１の動作及び撮影モードにおいて有効に機能する撮像装置１の構成を説明する。

図４は、撮像装置１における特徴的動作の実現に特に関与する部位のブロック図である。符号５１〜５８によって参照される各部位は撮像装置１に設けられる。入力画像生成部５１は、撮像部１１及びＡＦＥ１２を含んで形成され、ユーザインターフェース５２（以下、ＵＩ５２と略記する）は、操作部１７及びタッチパネル１９を含んで形成される（図１参照）。符号５３〜５８によって参照される各部位を、例えば、主制御部１３に設けておくことができる。

入力画像生成部５１は、ＡＦＥ１２の出力信号に基づき入力画像を生成する。１枚の入力画像は、１フレーム周期分のＡＦＥ１２の出力信号から生成される静止画像である。１フレーム周期分のＡＦＥ１２の出力信号に対して所定の画像処理（デモザイキング処理、ノイズ低減処理など）を施すことで入力画像が得られるが、ＡＦＥ１２の出力信号そのものを入力画像の画像データとして生成するようにしても良い。

ＵＩ５２は、ズーム操作及び合焦状態設定操作を含む、ユーザからの各種の操作を受け付ける。ズーム操作は、撮像部１１の光学ズーム倍率を指定する操作であり、ズーム操作に従って撮像部１１の光学ズーム倍率が変更される。従って、ズーム操作は、ユーザによる光学ズーム倍率の変更指示に相当する。尚、撮像装置１にデジタルズーム機能が設けられている場合には、ズーム操作はデジタルズーム倍率を指定する操作としても機能しうる。但し、以下ではデジタルズーム機能の存在を無視する。合焦状態設定操作の意義は後述の説明から明らかとなる。

光学ズーム制御部５３は、ズーム操作によって指定された光学ズーム倍率にて入力画像の撮影が行われるようにズームレンズ３０の位置を制御する。ズームレンズ３０の位置変化によって光学ズーム倍率が変更される。周知の如く、撮像部１１の撮影における画角（即ち、入力画像の画角）は、光学ズーム倍率が増大するにつれて減少し、光学ズーム倍率が減少するにつれて増大する。

被写体距離検出部５４は、被写体距離検出処理によって入力画像の各画素における被写体の被写体距離を検出し、その検出結果（入力画像の各画素における被写体の被写体距離の検出値）を表す距離データを生成する。被写体距離の検出方法として、公知の方法を含む任意の方法を利用可能である。例えば、ステレオカメラ又は測距センサを用いて被写体距離を検出しても良いし、入力画像におけるエッジ情報を利用した推定処理によって被写体距離を求めてもよい。

距離マップ生成部５５は、被写体距離検出部５４にて生成された距離データに基づき距離マップを生成する。距離マップは、自身を形成する各画素値が被写体距離の検出値を持つ距離画像である。距離マップによって、入力画像又は入力画像に基づく画像（後述の合焦状態調整画像若しくは出力画像）の任意の画素における被写体の被写体距離が特定される。尚、距離データそのものが距離マップであってもよく、その場合、距離マップ生成部５５は不要である。

合焦状態設定部５６には、基礎合焦状態データが与えられる。基礎合焦状態データは、入力画像における合焦基準距離Ｌｏ及び被写界深度の深さを特定するデータである（図３（ｃ）参照）。以下、被写界深度の深さを記号Ｍ_ＤＥＰにて表す。例えば、入力画像の撮影時における撮像部１１の焦点距離及び絞り値などが基礎合焦状態データとして与えられ、合焦状態設定部５６は、基礎合焦状態データに基づいて、入力画像における距離Ｌｏ及び深さＭ_ＤＥＰを求める。焦点距離は光学系３５内の各レンズの位置に依存して定まり、絞り値は絞り３２の開口量に依存して定まる。

合焦状態設定部５６は、入力画像における距離Ｌｏ及び深さＭ_ＤＥＰに基づいて又は合焦状態設定操作に基づいて合焦状態設定情報を生成する。合焦状態設定情報は、合焦状態調整部５７にて生成される合焦状態調整画像の距離Ｌｏ及び深さＭ_ＤＥＰを定める情報であり、合焦状態調整画像の距離Ｌｏ及び深さＭ_ＤＥＰの目標値である設定距離Ｌｏ^＊及び設定深さＭ_ＤＥＰ ^＊を含む。

合焦状態設定部５６には、距離Ｌｏ’及び深さＭ_ＤＥＰ’を保持するためのデータ保持部６１が設けられている。ユーザは、必要に応じて合焦状態設定操作をＵＩ５２に対して成すことができる。合焦状態設定操作において、ユーザはデータ保持部６１に保持されるべきＬｏ’及びＭ_ＤＥＰ’を指定することができ、合焦状態設定操作が成された場合には、合焦状態設定操作にて指定されたＬｏ’及びＭ_ＤＥＰ’がデータ保持部６１に保持される。ユーザは、合焦状態設定操作においてＬｏ’及びＭ_ＤＥＰ’の何れか一方のみを指定することもできる。合焦状態設定操作によってＬｏ’が指定されない場合、データ保持部６１は、任意の時点における入力画像の距離Ｌｏを距離Ｌｏ’として保持することができ、合焦状態設定操作によってＭ_ＤＥＰ’が指定されない場合、データ保持部６１は、任意の時点における入力画像の深さＭ_ＤＥＰを深さＭ_ＤＥＰ’として保持することができる。合焦状態設定部５６は、データ保持部６１に保持されたＬｏ’及びＭ_ＤＥＰ’をＬｏ^＊及びＭ_ＤＥＰ ^＊として含んだ合焦状態設定情報を出力する。

従って、合焦状態設定操作が成されない場合には、基礎合焦状態データに基づくＬｏ’及びＭ_ＤＥＰ’がＬｏ^＊及びＭ_ＤＥＰ ^＊に設定され、合焦状態設定操作によってＬｏ’及びＭ_ＤＥＰ’が指定された場合には、合焦状態設定操作に基づくＬｏ’及びＭ_ＤＥＰ’がＬｏ^＊及びＭ_ＤＥＰ ^＊に設定される。合焦状態設定操作が成された場合、主制御部１３（例えば合焦状態設定部５６）は、合焦状態設定操作後の撮影によって得られる入力画像の距離Ｌｏ及び深さＭ_ＤＥＰが夫々Ｌｏ^＊及びＭ_ＤＥＰ ^＊と一致するように、撮像部１１の焦点距離及び絞り値等を制御することができる（但し、この制御は必須ではない）。

合焦状態調整部５７は、距離マップに基づく画像処理によって入力画像の合焦状態を調整することができる。合焦状態の調整後の入力画像を合焦状態調整画像と呼び、入力画像から合焦状態調整画像を生成するための画像処理を特定画像処理と呼ぶ。特定画像処理における合焦状態の調整は被写界深度の調整を含む。特定画像処理における被写界深度の調整は少なくとも深さＭ_ＤＥＰの調整を含み、更に距離Ｌｏの調整をも含みうる。より具体的には、合焦状態調整部５７は、合焦状態調整画像における距離Ｌｏ及び深さＭ_ＤＥＰが夫々設定距離Ｌｏ^＊及び設定深さＭ_ＤＥＰ ^＊に応じた距離Ｌｏ及び深さＭ_ＤＥＰとなるように（理想的には、合焦状態調整画像におけるＬｏ及びＭ_ＤＥＰが夫々Ｌｏ^＊及びＭ_ＤＥＰ ^＊と一致するように）、距離マップに基づき入力画像に対して特定画像処理を成す。

合焦状態調整部５７には、光学ズーム倍率の値も入力されている。光学ズーム倍率の値が変更された場合に限って特定画像処理が実行されるように、合焦状態調整部５７が形成されてもよい（光学ズーム倍率の変更に伴う特定画像処理の実行の意義は後述）。

選択部５８は、入力画像及び合焦状態調整画像の一方を出力画像として選択して出力する。出力画像は、表示部１５にて表示されると共に記録媒体１６に記録されうる。選択部５８による選択動作は光学ズーム倍率の値に基づいて実行され、該選択動作の詳細及び意義は後述の説明から明らかとなる。

ところで、光学ズーム倍率の変更は撮像部１１の光学的特性の変化を伴うため、光学ズーム倍率が変更されると入力画像の合焦状態（被写界深度）も変化する。ユーザは、被写界深度を所望のものに設定した後、光学ズーム倍率を変更させることがあるが、この際、光学ズーム倍率の変更に伴って被写界深度がユーザ所望の被写界深度から変化することは好ましいとは言えない。撮像装置１には、図４に示される各部位を用いて、光学ズーム倍率が変更された際に生じうる合焦状態（被写界深度）の変化を抑制する機能が備えられており、この機能が実現される撮影モードを特殊撮影モードと呼ぶ。

以下、図５（ａ）及び（ｂ）等を参照して、特殊撮影モードにおける撮像装置１の動作を説明する。以下では、説明の便宜上、任意の二次元画像である注目画像３２０において、合焦基準距離Ｌｏが被写界深度内の中心距離であると仮定する（図３（ｂ）及び（ｃ）参照）。即ち、「Ｌｏ＝（Ｌｎ＋Ｌｆ）／２」が成立すると仮定する。入力画像、合焦状態調整画像又は出力画像は、注目画像３２０の一種である。また、注目画像３２０において、非合焦距離（図５（ｂ）参照）とは、注目画像３２０の被写界深度外の距離を指し、非合焦距離の被写体とは、注目画像３２０の被写界深度外に位置する被写体を指す。また、合焦基準距離Ｌｏと任意の被写体の被写体距離との差を差分距離と呼ぶ。

図５（ａ）に、入力画像の例としての入力画像４００を示す。図６に、入力画像４００の撮影時に被写体距離検出処理を成して得られる距離マップ４１０を示す。距離マップ４１０は、入力画像４００の画角に対応した距離マップである。入力画像４００には被写体４０１、４０２及び４０３の画像データが存在しており、図７に示す如く、被写体４０１の被写体距離ｄ_４０１と被写体４０２の被写体距離ｄ_４０２と被写体４０３の被写体距離ｄ_４０３との間には、不等式「０＜ｄ_４０１＜ｄ_４０２＜ｄ_４０３」が成立するものとする。図５（ａ）では、被写体の像のボケ具合いを、被写体の輪郭線の太さによって表現している（後述の図１１（ａ）等においても同様）。

図５（ｂ）の折れ線４０５は、入力画像４００上における、各被写体のボケ量と差分距離との関係を示している。注目画像３２０において、注目被写体のボケ量とは、注目画像３２０上における注目被写体のぼけの度合いを表す指標であり、注目被写体のぼけの度合いが大きいほど注目被写体のボケ量は大きく、また、注目被写体の合焦度が低いほど注目被写体のボケ量は大きい。本例において、注目被写体は、例えば、被写体４０１、４０２又は４０３である。従って例えば、被写体４０１、４０２又は４０３の夫々が理想的な点光源であると考えた場合、注目画像３２０において被写体４０１、４０２及び４０３の像の直径をそれぞれ被写体４０１、４０２及び４０３のボケ量であると考えることができる。

図５（ｂ）に示される距離ＤＩＦ_Ｏは、入力画像４００における被写界深度の深さの半分（即ち、（Ｌｆ−Ｌｎ）／２）である。ここでは、被写界深度内に属する被写体のボケ量、即ち許容錯乱円径に相当する基準径Ｒ_ＲＥＦ以下の像のボケ量をゼロとみなす（図３（ｃ）参照）。そうすると、図５（ｂ）に示す如く、入力画像４００において、距離ＤＩＦ_Ｏ以下の差分距離を有する被写体のボケ量はゼロであり、距離ＤＩＦ_Ｏより大きな差分距離を有する被写体のボケ量はゼロよりも大きく且つ距離ＤＩＦ_Ｏより大きな差分距離を有する被写体のボケ量は対応する差分距離が増大するにつれて増大する。入力画像４００において、距離ＤＩＦ_Ｏより大きな差分距離は非合焦距離である。

入力画像４００において、被写体４０１、４０２及び４０３についての差分距離を夫々ＤＩＦ_４０１、ＤＩＦ_４０２及びＤＩＦ_４０３にて表す。そして、今、図８及び図９に示す如く、入力画像４００における合焦基準距離Ｌｏが被写体距離ｄ_４０１と一致しており（即ち、ＤＩＦ_４０１＝０であり）、且つ、ＤＩＦ_４０１＜ＤＩＦ_４０２＝ＤＩＦ_Ｏ＜ＤＩＦ_４０３であるとする。そうすると、入力画像４００において、被写体４０１は合焦被写体であると共に被写体４０３は非合焦被写体であり、従って被写体４０１のボケ量はゼロであると共に被写体４０３のボケ量はＰ_４０３である（Ｐ_４０３＞０）。また、ＤＩＦ_４０２＝ＤＩＦ_Ｏであるため、入力画像４００において、被写体４０２は合焦被写体であり、被写体４０２のボケ量はゼロである。

入力画像４００を含む時系列で並ぶ複数の入力画像は、所定のフレーム周期での順次撮影によって順次生成される。今、図１０に示す如く、時刻ｔ_１にて入力画像４００の撮影後、時刻ｔ_２及びｔ_３間においてズーム操作が成されて光学ズーム倍率が変更されたことを想定する。時刻ｔ_ｉ＋１は時刻ｔ_ｉよりも後の時刻であるとする（ｉは整数）。時刻ｔ_１において、入力画像４００は選択部５８により選択されて出力画像として選択部５８から出力される。

図１０及び図１１（ａ）に示される画像４２０は、時刻ｔ_４において得られた入力画像、即ち、光学ズーム倍率が変更された後の入力画像である。但し、ここでは、時刻ｔ_２及びｔ_３間において光学ズーム倍率が増大したことを想定している。そうすると、入力画像４２０の画角は入力画像４００の画角よりも小さい。また、光学ズーム倍率の変更後のフォーカスレンズ３１の位置調整により、入力画像４２０の距離Ｌｏも入力画像４００の距離Ｌｏと同様、被写体距離ｄ_４０１と一致しているものとする。図１０に示される画像４４０については後述される。

光学ズーム倍率の増大に伴う撮像部１１の光学的特性の変化により、入力画像４２０の被写界深度は入力画像４００の被写界深度よりも浅くなる。図１１（ｂ）の折れ線４２５は、入力画像４２０上における、各被写体のボケ量と差分距離との関係を示している。尚、図１３に、図５（ａ）及び（ｂ）の入力画像４００及び折れ線４０５と、図１１（ａ）及び（ｂ）の入力画像４２０及び折れ線４２５と、後述される合焦状態調整画像４４０及び折れ線４４５と、をまとめて示す。図１３は、特殊撮影モードにおける動作の流れを表している。

図１１（ｂ）おいて、距離ＤＩＦ_Ｏは、上述したように、入力画像４００における被写界深度の深さの半分と一致すると共に差分距離ＤＩＦ_４０２と一致する。これに対し、距離ＤＩＦ_Ｓは入力画像４２０における被写界深度の深さの半分である。入力画像４２０の被写界深度は入力画像４００の被写界深度よりも浅いので、ＤＩＦ_Ｓ＜ＤＩＦ_Ｏである。結果、入力画像４００上では合焦被写体であった被写体４０２は入力画像４２０上において非合焦被写体となる。入力画像４２０における被写体４０２のボケ量を記号Ｑ_４０２にて表す。また、入力画像４２０における被写体４０３のボケ量を記号Ｑ_４０３にて表す。ＤＩＦ_４０２＜ＤＩＦ_４０３であるので、Ｑ_４０３＞Ｑ_４０２＞０であり、被写体４０３は入力画像４２０上においても非合焦被写体である。また、光学ズーム倍率の増大に伴う撮像部１１の光学的特性の変化により、入力画像４２０における被写体４０３のボケ量Ｑ_４０３は、入力画像４００における被写体４０３のボケ量Ｐ_４０３よりも大きい（図１１（ｂ）及び図９参照）。入力画像４２０の距離Ｌｏが被写体距離ｄ_４０１と一致していることを想定しているので、被写体４０１は入力画像４２０においても合焦被写体である。

光学ズーム倍率の変更後に得られた入力画像４２０に対して、合焦状態調整部５７は、特定画像処理を施すことができる。図１２（ａ）に、入力画像に特定画像処理を施すことで得られた合焦状態調整画像４４０を示す。図１２（ｂ）の折れ線４４５は、合焦状態調整画像４４０上における、各被写体のボケ量と差分距離との関係を示している。

調整部５７は、画像４４０を得るために、距離マップを用いた特定画像処理により入力画像４２０の被写界深度を拡大する（換言すれば、入力画像４２０の被写界深度の深さを増大させる）。入力画像４２０に対する特定画像処理に用いられる距離マップは、図６の距離マップ４１０から入力画像４２０の画角部分を抽出して得られる距離マップであっても良いし、入力画像４２０の撮影時に被写体距離検出処理を成して得られる距離マップ４３０（図１４参照）であっても良い。距離マップ４３０は、入力画像４２０の画角に対応した距離マップである。

図１５に、画像４００、４２０及び４４０間における被写界深度の関係を示す。図１５において、範囲ＤＥＰ_４００、ＤＥＰ_４２０及びＤＥＰ_４４０は、夫々、画像４００、４２０及び４４０における被写界深度の距離範囲を表している。理想的には例えば、画像４４０における被写界深度が画像４００における被写界深度と一致するように特定画像処理によって画像４２０の被写界深度を拡大する。画像４００及び４４０間で被写界深度が一致するとは、画像４００及び４４０間で距離Ｌｏ及び深さＭ_ＤＥＰが一致することを意味する。従って、理想例に相当する図１２（ａ）及び（ｂ）では、画像４４０においても距離Ｌｏは被写体距離ｄ_４０１と一致せしめられており、且つ、画像４４０における被写界深度の深さの半分は入力画像４００のそれと同じくＤＩＦ_Ｏであり、且つ、画像４４０においてＤＩＦ_Ｏ＝ＤＩＦ_４０２＜ＤＩＦ_４０３である。故に、画像４４０においては、入力画像４００と同様、被写体４０１及び４０２は合焦被写体である一方で被写体４０３は非合焦被写体である。

また、被写界深度の拡大に伴って、画像４４０における被写体４０３のボケ量Ｑ_４０３’は入力画像４２０における被写体４０３のボケ量Ｑ_４０３よりも小さくなる（図１１（ｂ）及び図１２（ｂ）参照）。理想的には例えば、図１２（ｂ）の折れ線４４５が図５（ｂ）の折れ線４０５と同じになるように（図１３も参照）、即ち、各被写体のボケ量と差分距離との関係が画像４００及び４４０間で同じとなるように、特定画像処理を成すと良い。

時刻ｔ_２及びｔ_３間で光学ズーム倍率が変更されたことに基づき（図１０参照）、図４の選択部５８は、時刻ｔ_４において、入力画像４２０ではなく合焦状態調整画像４４０を選択し、合焦状態調整画像４４０を出力画像として出力することができる。これにより、図１０に示す如く、光学ズーム倍率の変更によって生じる入力画像の合焦状態の変化が、出力画像において抑制される。換言すれば、光学ズーム倍率の変更によって生じる入力画像列の被写界深度の変化が、出力画像列において抑制される。画像列とは、時系列で並ぶ複数の静止画像の集まりを指す。ここにおける入力画像列は、入力画像４００及び４２０を含む複数の入力画像から成り、ここにおける出力画像列は、出力画像４００及び４４０を含む複数の出力画像から成る。

ところで、ここまでは特に注目しなかったが、上述したような動作は、ユーザが指定被写界深度の設定指示を行った場合に特に有益である。指定被写界深度とは、ユーザによって指定されたユーザ所望の被写界深度であり、ＵＩ５２に対する所定の深度設定操作によってユーザは指定被写界深度の設定指示（以下、深度設定指示とも言う）を成すことができる。上述の合焦状態設定操作は、この深度設定操作の一種でありうる。

図１６に、深度設定指示が成される時刻ｔ_Ａと時刻ｔ_１〜ｔ_４との関係例を示す。図１６に示す如く、時刻ｔ_１よりも後であって且つ時刻ｔ_２よりも前の時刻が時刻ｔ_Ａとして想定される。深度設定指示にて示されたユーザ所望の合焦基準距離Ｌｏ及び被写界深度の深さＭ_ＤＥＰが、時刻ｔ_Ａにおいて図４のデータ保持部６１にＬｏ’及びＭ_ＤＥＰ’として保持される。画像４００、４２０及び４４０の例では、入力画像４００における距離Ｌｏ及び深さＭ_ＤＥＰにユーザが満足しており、入力画像４００における距離Ｌｏ及び深さＭ_ＤＥＰをＬｏ’及びＭ_ＤＥＰ’としてデータ保持部６１に保持すべきことを、ユーザが深度設定操作によって指示したことが想定されている。

このような深度設定操作によってユーザが所望の被写界深度を指定した後、ユーザは、撮影構図を調整するべくズーム操作を成すことがある。この際、ズーム操作の実行によって出力画像の被写界深度が、ユーザが指定したものから変更されることは好ましくない。本実施形態では、深度設定操作後にズーム操作が成されたとき、合焦状態調整画像の被写界深度が指定被写体深度に応じた被写界深度となるように（理想的には、出力画像の被写界深度が指定被写体深度と一致するように）入力画像に特定画像処理が施され、得られた合焦状態調整画像が出力画像としてユーザに提示される。このため、ズーム操作後もユーザ所望の被写界深度が完全に又は概ね維持され、ユーザの希望が満たされる。

以下、上述の動作及び構成を基本とする幾つかの実施例を説明する。矛盾無き限り、後述する複数の実施例を組み合わせることも可能である。

＜＜第１実施例＞＞
第１実施例を説明する。第１実施例では、図１７を参照して撮像装置１の動作手順を説明する（図４も参照）。図１７は、特殊撮影モードにおける撮像装置１の動作フローチャートである。

特殊撮影モードにおける動作が開始されると、ステップＳ１１において、入力画像の順次撮影が開始されると共に出力画像の順次表示が開始される。入力画像の順次撮影及び出力画像の順次表示は、特殊撮影モードが終了するまで継続される。ステップＳ１１〜Ｓ１８の処理が実行される期間が時刻ｔ_１から時刻ｔ_４の直前までの期間に相当し、ステップ１９及びＳ２０が行われる期間が時刻ｔ_４を含む時刻ｔ_４以降の期間に相当する（図１６参照）。従って、ステップＳ１１〜Ｓ１８の処理が実行される期間中においては、順次撮影される入力画像を順次出力画像として表示することができる。

入力画像の順次撮影の開始後、ステップＳ１２において、図４の被写体距離検出部５４は、現時点の入力画像の各画素における被写体の被写体距離を検出して距離データを生成し、その距離データから距離マップ生成部５５は距離マップを生成する。一方、ステップＳ１３において、主制御部１３（例えば合焦状態設定部５６）は、現時点の入力画像に対する基礎合焦状態データから現時点の入力画像の合焦基準距離Ｌｏ及び被写界深度の深さＭ_ＤＥＰを求める。求められた距離Ｌｏ及び深さＭ_ＤＥＰは現時点の入力画像と共に表示される。Ｌｏ及びＭ_ＤＥＰの表示は、数値表示（例えばＬｏ＝５ｍ，Ｍ_ＤＥＰ＝３ｍという表示）あっても良いし、アイコン等を用いた表示でも良い。

Ｌｏ及びＭ_ＤＥＰの表示を行いつつ、ステップＳ１４において撮像装置１はユーザによる確定操作を待機する。ユーザは、表示されたＬｏ及びＭ_ＤＥＰが所望の合焦基準距離及び被写界深度の深さに適合する場合にはＵＩ５２に対して確定操作を成すことができ、そうでない場合には、合焦状態設定操作を成すことができる。確定操作が成された場合には、ステップＳ１３にて表示されたＬｏ及びＭ_ＤＥＰをＬｏ’及びＭ_ＤＥＰ’としてデータ保持部６１に保持させた上でステップＳ１４からステップＳ１６に移行し、合焦状態設定操作が成された場合にはステップＳ１４からステップＳ１５に移行する。

上述したように、合焦状態設定操作において、ユーザはデータ保持部６１に保持されるべきＬｏ’及びＭ_ＤＥＰ’を指定することができ、Ｌｏ’及びＭ_ＤＥＰ’はＬｏ^＊及びＭ_ＤＥＰ ^＊として合焦状態設定部５６から出力される。ステップＳ１５において、主制御部１３（例えば合焦状態設定部５６）は、合焦状態設定操作後の撮影によって得られる入力画像の距離Ｌｏ及び深さＭ_ＤＥＰがそれぞれ合焦状態設定操作にて指定されたＬｏ’及びＭ_ＤＥＰ’（即ちＬｏ^＊及びＭ_ＤＥＰ ^＊）と一致するように、フォーカスレンズ３１の制御等によって撮像部１１の焦点距離及び絞り値等を制御する。この制御後、ステップＳ１５からステップＳ１３に戻ってステップＳ１３及びＳ１４の処理が繰り返される。ステップＳ１５を介してステップＳ１３に戻った場合、ステップＳ１３にて表示されるＬｏ及びＭ_ＤＥＰは、夫々、合焦状態設定操作にて指定されたＬｏ’及びＭ_ＤＥＰ’と一致する。

確定操作は、図１６を参照して説明した、指定被写界深度の設定指示を成すための深度設定操作として機能する。合焦状態設定操作を行うことなく成した確定操作は、第１の深度設定操作であり、合焦状態設定操作を行った後に成した確定操作は、第２の深度設定操作である。
第１の深度設定操作における確定操作は、合焦状態設定操作を介することなく得られた入力画像の被写界深度を、指定被写界深度として、以後の撮影においても維持すべきことを指定する操作であると言える。第１の深度設定操作における確定操作が成された場合には、合焦状態設定操作を介さずに得られた入力画像のＬｏ及びＭ_ＤＥＰが、Ｌｏ’及びＭ_ＤＥＰ’としてデータ保持部６１に保持された上で、Ｌｏ^＊及びＭ_ＤＥＰ ^＊として出力される。
第２の深度設定操作における確定操作は、合焦状態設定操作にて指定した被写界深度を、指定被写界深度として、以後の撮影においても維持すべきことを指定する操作であると言える。第２の深度設定操作における確定操作が成された場合には、合焦状態設定操作にて指定されたＬｏ’及びＭ_ＤＥＰ’がデータ保持部６１に保持された上でＬｏ^＊及びＭ_ＤＥＰ ^＊として出力される。

ステップＳ１６では、ユーザによるズーム操作を待機する。ズーム操作が成されるとステップＳ１６からステップＳ１７への移行が発生し、以後、ステップＳ１７〜Ｓ２０の処理が実行される。

ステップＳ１７では、ズーム操作に従ったズームレンズ３０の位置制御により光学ズーム倍率が変更される。ズームレンズ３０の位置変更に伴う光学的特性の変化により入力画像の合焦基準距離Ｌｏが変化するため、ステップＳ１８において、主制御部１３（例えば、合焦状態設定部５６）は、合焦基準距離Ｌｏの変化を打ち消す制御を成す。即ち、光学ズーム倍率の変更後における入力画像の合焦基準距離Ｌｏがデータ保持部６１に保持されたＬｏ’（＝Ｌｏ^＊）と一致するように、フォーカスレンズ３１の位置を制御する。

その後、ステップＳ１９において、合焦状態調整部５７は、距離マップを用いた特定画像処理を現時点の入力画像（最新の入力画像）に対して施すことで合焦状態調整画像を生成する。生成された合焦状態調整画像は、ステップＳ２０において出力画像として表示される。合焦状態調整画像の生成方法は上述した通りである。例えば（図１２参照）、ステップＳ１４の確定操作が成された時点の入力画像が入力画像４００であって、且つ、ステップＳ１９にて特定画像処理が施される入力画像が入力画像４２０である場合、ステップＳ１９において合焦状態調整画像４４０が得られる。

ステップＳ１７及びＳ１８の処理後、ステップＳ１９及びＳ２０の処理を、新たな入力画像が得られる度に実行することができる。従って、光学ズーム倍率の変更後に順次得られる入力画像に対して特定画像処理を順次施し、これによって得られた合焦状態調整画像列を出力画像列として表示することができる。上述したように、任意の出力画像又は出力画像列の画像データは記録媒体１６に記録されうる。

尚、図１７のフローチャートでは、距離マップがステップＳ１１及びＳ１３間で生成されているが、ステップＳ１３の処理以降であって且つステップＳ１９の処理までの間に生成された距離マップを用いてステップＳ１９の特定画像処理を行うようにしても良い。

第１実施例によれば、光学ズーム倍率の変更に伴う被写界深度の変化が抑制され、ユーザは、光学ズーム倍率の変更後においても所望の合焦状態を有する出力画像を得ることができる。

＜＜第２実施例＞＞
第２実施例を説明する。第２実施例並びに後述の第３及び第４実施例では、特定画像処理の方法を例示する。

特定画像処理は、入力画像の被写界深度を任意に調整することが可能な画像処理α_１であっても良い。画像処理α_１の一種はデジタルフォーカスとも呼ばれており、デジタルフォーカスを実現する画像処理の方法として、様々な画像処理方法が提案されている。入力画像の被写界深度を任意に調整することができる公知の方法（例えば、特開２０１０−８１００２号公報、国際公開第０６／０３９４８６号パンフレット又は特開２００９−２２４９８２号公報に記載の方法）を、画像処理α_１の方法として利用することができる。

＜＜第３実施例＞＞
第３実施例を説明する。光学ズーム倍率の変更が光学ズーム倍率の増加であるとき、特定画像処理は、非合焦距離に対応する画素に施す鮮鋭化処理α_２であっても良い。

上述の画像４００、４２０及び４４０を例に挙げて、具体的方法を説明する。入力画像４００の撮影後のズーム操作によって光学ズーム倍率が増加した後、入力画像４２０が得られる。合焦状態調整部５７は、距離Ｌｏ^＊及びＤＩＦ_Ｓと距離マップ４１０又は４３０（図６又は図１４参照）を用いて、入力画像４２０の各画素に対する差分距離を算出すると共に入力画像４２０の各画素を合焦距離画素及び非合焦距離画素のどちらかに分類する。第３実施例において、合焦距離画素は、入力画像４２０上の合焦被写体の画像データが存在する画素、即ち距離ＤＩＦ_Ｓ以下の差分距離に対応する画素であり、非合焦距離画素は、入力画像４２０上の非合焦被写体の画像データが存在する画素、即ち距離ＤＩＦ_Ｓより大きな差分距離に対応する画素である。調整部５７は、入力画像４２０の撮影時における撮像部１１の基礎合焦状態データ（図４参照）から、距離ＤＩＦ_Ｓの値を認識可能である。

ここでは、図１１（ｂ）で想定したのと同様に、距離Ｌｏ^＊が被写体距離ｄ_４０１と等しく（即ちＤＩＦ_４０１＝０であり）、且つ、距離ＤＩＦ_Ｓが差分距離ＤＩＦ_４０２と一致する距離ＤＩＦ_Ｏよりも小さいものとする。そうすると、入力画像４２０の画素の内、被写体４０１の画像データが存在する画素は合焦距離画素に分類され、被写体４０２及び４０３の画像データが存在する画素は非合焦距離画素に分類される。

調整部５７は、全ての非合焦距離画素から成る画像領域を処理対象領域として入力画像４２０内に設定する。図１８において、斜線領域４２７は入力画像４２０内に設定された処理対象領域を表している。処理対象領域４２７は、被写体４０２及び４０３の画像データが存在する画像領域を含み、被写体４０１の画像データが存在する画像領域を含まない。

調整部５７は、入力画像４２０の処理対象領域４２７に対して鮮鋭化処理α_２を施すことで合焦状態調整画像を生成する。即ち、入力画像４２０の処理対象領域４２７内の画像を鮮鋭化させる鮮鋭化処理α_２を実行し、鮮鋭化処理α_２後の入力画像４２０を合焦状態調整画像として生成する。鮮鋭化処理α_２は、例えば、画像の鮮鋭化に適した任意の鮮鋭化フィルタを用いたフィルタリングによって実現できる。

鮮鋭化処理α_２を施すことによって、非合焦距離における画素のボケ量が減少したかのような視覚的作用が得られ、結果、被写界深度が深くなったかのような視覚的作用が得られる。理想的には、合焦状態調整画像４４０と同等の合焦状態調整画像が鮮鋭化処理α_２によって得られる（鮮鋭化処理α_２によって画像４４０が得られると考えても構わない）。特定画像処理に第２実施例の画像処理α_１を用いた場合、特定画像処理によって入力画像の真の被写界深度を拡大することができるが、特定画像処理に第３実施例の鮮鋭化処理α_２を用いた場合には、特定画像処理によって入力画像の見かけの被写界深度が拡大する（見かけの被写界深度が拡大せしめられた画像が、第３実施例の合焦状態調整画像である）。

光学ズーム倍率の増大前には入力画像４００を出力画像として表示又は記録することができ、光学ズーム倍率の増大後には入力画像４２０に基づく合焦状態調整画像を出力画像として表示又は記録することができる。従って、特定画像処理を鮮鋭化処理α_２として用いても、光学ズーム倍率の増大によって生じる入力画像の合焦状態の変化が、出力画像において抑制される。換言すれば、光学ズーム倍率の増大によって生じる入力画像列の被写界深度の変化が、見かけ上、出力画像列において抑制される。

＜＜第４実施例＞＞
第４実施例を説明する。光学ズーム倍率の変更が光学ズーム倍率の減少であるとき、特定画像処理は、非合焦距離に対応する画素に施すぼかし処理α_３であっても良い。

上述の入力画像４００を例に挙げて、具体的方法を説明する。図１０に示した状況とは異なる部分があるが、第４実施例では、時刻ｔ_１にて入力画像４００を撮影した後、時刻ｔ_Ａにおける指定被写界深度の設定指示（深度設定操作）により入力画像４００の距離Ｌｏ及び深さＭ_ＤＥＰが距離Ｌｏ’及び深さＭ_ＤＥＰ’としてデータ保持部６１に保持され、更にその後の時刻ｔ_２及びｔ_３間において光学ズーム倍率が減少したことを想定する。

図１９（ａ）の画像５２０は、光学ズーム倍率の減少後、時刻ｔ_４にて得られた入力画像であり、図１９（ｂ）の折れ線５２５は、入力画像５２０上における、各被写体のボケ量と差分距離との関係を示している。入力画像４００及び５２０における合焦基準距離Ｌｏは共にｄ_４０１である。光学ズーム倍率の減少に伴う撮像部１１の光学的特性の変化により、入力画像５２０の被写界深度は入力画像４００の被写界深度よりも深くなる。ここでは、光学ズーム倍率の減少に伴う被写界深度の拡大により、入力画像５２０において被写体距離ｄ_４０１〜ｄ_４０３が全て被写界深度内に属しているものとする。図２０に、入力画像５２０の撮影時に被写体距離検出処理を成して得られる距離マップ５３０を示す。距離マップ５３０は、入力画像５２０の画角に対応した距離マップである。

調整部５７は、距離Ｌｏ’及び深さＭ_ＤＥＰ’と一致する距離Ｌｏ^＊及び深さＭ_ＤＥＰ ^＊と距離マップ５３０を用いて、入力画像５２０の各画素に対する差分距離を算出すると共に入力画像５２０の各画素を合焦距離画素及び非合焦距離画素のどちらかに分類する。第４実施例において、合焦距離画素は、入力画像４００上の合焦被写体の画像データが存在する画素、即ち距離ＤＩＦ_Ｏ以下の差分距離に対応する画素であり、非合焦距離画素は、入力画像４００上の非合焦被写体の画像データが存在する画素、即ち距離ＤＩＦ_Ｏより大きな差分距離に対応する画素である。上述したように、入力画像４００の距離Ｌｏ及び深さＭ_ＤＥＰが距離Ｌｏ’及び深さＭ_ＤＥＰ’としてデータ保持部６１に保持されていることを想定しているため、Ｌｏ’及びＭ_ＤＥＰ’（Ｌｏ^＊及びＭ_ＤＥＰ ^＊）から分類に必要な距離ＤＩＦ_Ｏは定まる。

調整部５７は、全ての非合焦距離画素から成る画像領域を処理対象領域として入力画像５２０内に設定する。図２１において、斜線領域５２７は入力画像５２０内に設定された処理対象領域を表している。処理対象領域５２７は、被写体４０３の画像データが存在する画像領域を含み、被写体４０１及び４０２の画像データが存在する画像領域を含まない。

調整部５７は、入力画像５２０の処理対象領域５２７に対してぼかし処理α_３を施すことで合焦状態調整画像５４０（図２２（ａ）参照）を生成する。即ち、入力画像５２０の処理対象領域５２７内の画像をぼかすぼかし処理α_３を実行し、ぼかし処理α_３後の入力画像５２０を合焦状態調整画像５４０として生成する。ぼかし処理α_３は、例えば、画像をぼかすのに適した任意の平滑化フィルタ（ガウシアンフィルタ等）を用いたフィルタリングによって実現できる。

図２２（ｂ）の折れ線５４５は、合焦状態調整画像５４０上における、各被写体のボケ量と差分距離との関係を示している。非合焦距離画素に対してぼかし処理α_３を施すだけであるので、画像５２０及び５４０間で合焦基準距離Ｌｏに変化はないが、距離ＤＩＦ_Ｏより大きな差分距離に対応する画素（即ち非合焦距離画素）に対してぼかし処理α_３が施されるため、合焦状態調整画像５４０の被写界深度は入力画像５２０の被写界深度よりも浅くなる。理想的には、画像５４０の被写界深度は入力画像４００の被写界深度と一致する。

光学ズーム倍率の減少前には入力画像４００を出力画像として表示又は記録することができ、光学ズーム倍率の減少後には入力画像５２０に基づく合焦状態調整画像５４０を出力画像として表示又は記録することができる。従って、特定画像処理をぼかし処理α_３として用いても、光学ズーム倍率の減少によって生じる入力画像の合焦状態の変化が、出力画像において抑制される。換言すれば、光学ズーム倍率の減少によって生じる入力画像列の被写界深度の変化が、出力画像列において抑制される。

＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
図１７のフローチャートでは、合焦状態設定操作が成されたとき、合焦状態設定操作に従った被写界深度が入力画像にて得られるようにステップＳ１５にてフォーカスレンズ３１等が実際に制御されているが、これに代えて、ステップＳ１５にて特定画像処理を利用するようにしても良い。即ち例えば、ステップＳ１４にて合焦状態設定操作が成されたとき、合焦状態設定操作に従った被写界深度を有する合焦状態調整画像を特定画像処理により入力画像から生成し、生成した合焦状態調整画像を表示した状態でユーザによる確定操作の入力を待機するようにしても良い（ステップＳ１４）。

［注釈２］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。

［注釈３］
例えば、以下のように考えることができる。撮像装置１は、入力画像の合焦状態（被写界深度を含む）を特定画像処理によって調整することで出力画像を生成する出力画像生成部、及び、入力画像の各画素の被写体距離を表す被写体距離情報を取得する被写体距離情報取得部を備えている、と考えることができる。出力画像生成部の構成要素は、図４の合焦状態調整部５７を含み、更に選択部５８を含みうる。上述の距離データ及び距離マップの夫々は被写体距離情報に相当する。被写体距離情報取得部は、図４の被写体距離検出部５４及び距離マップ生成部５５の少なくとも一方を含んで形成される。

１ 撮像装置
１１ 撮像部
３０ ズームレンズ
３１ フォーカスレンズ
３２ 絞り
３３ 撮像素子
５１ 入力画像生成部
５２ ＵＩ（ユーザインターフェース）
５３ 光学ズーム制御部
５４ 被写体距離検出部
５５ 距離マップ生成部
５６ 合焦状態設定部
５７ 合焦状態調整部
５８ 選択部
６１ データ保持部

Claims (6)

1. ズームレンズを介して入射した被写体の光学像から入力画像を生成する入力画像生成部と、
   前記ズームレンズの位置変化によって光学ズーム倍率が変更されたとき、前記入力画像の合焦状態を画像処理によって調整することにより出力画像を生成する出力画像生成部と、備えた
   ことを特徴とする撮像装置。
2. 前記出力画像生成部は、前記光学ズーム倍率が変更されたとき、前記光学ズーム倍率の変更によって生じる前記入力画像の合焦状態の変化が前記出力画像において抑制されるように、前記入力画像に対して前記画像処理を施す
   ことを特徴とする請求項１に記載の撮像装置。
3. 当該撮像装置は、前記光学ズーム倍率の変更指示及び指定被写界深度の設定指示を受けるユーザインターフェースを更に備え、
   前記指定被写界深度の設定指示後に前記変更指示に従って前記光学ズーム倍率が変更されたとき、前記出力画像生成部は、前記出力画像の被写界深度が前記指定被写界深度に応じた被写界深度となるように、前記入力画像に対して前記画像処理を施す
   ことを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 当該撮像装置は、前記入力画像の各画素の被写体距離を表す被写体距離情報を取得する被写体距離情報取得部を更に備え、
   前記出力画像生成部は、前記被写体距離情報を用いて前記画像処理を実行する
   ことを特徴とする請求項１〜請求項３の何れかに記載の撮像装置。
5. 前記光学ズーム倍率が増大した場合、前記出力画像生成部は、前記被写体距離情報に基づき前記光学ズーム倍率の増大後に得られた入力画像内に処理対象領域を設定し、前記処理対象領域を鮮鋭化させる鮮鋭化処理を前記画像処理として実行する
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記光学ズーム倍率が減少した場合、前記出力画像生成部は、前記被写体距離情報に基づき前記光学ズーム倍率の減少後に得られた入力画像内に処理対象領域を設定し、前記処理対象領域をぼかすぼかし処理を前記画像処理として実行する
   ことを特徴とする請求項４に記載の撮像装置。