JP2011082726A - 画像再生装置及び撮像装置 - Google Patents

画像再生装置及び撮像装置 Download PDF

Info

Publication number
JP2011082726A
JP2011082726A JP2009232250A JP2009232250A JP2011082726A JP 2011082726 A JP2011082726 A JP 2011082726A JP 2009232250 A JP2009232250 A JP 2009232250A JP 2009232250 A JP2009232250 A JP 2009232250A JP 2011082726 A JP2011082726 A JP 2011082726A
Authority
JP
Japan
Prior art keywords
image
focus
degree
pixel
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009232250A
Other languages
English (en)
Inventor
Kazuhiro Kojima
和浩 小島
Haruo Hatanaka
晴雄 畑中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2009232250A priority Critical patent/JP2011082726A/ja
Publication of JP2011082726A publication Critical patent/JP2011082726A/ja
Pending legal-status Critical Current

Links

Abstract

【課題】画像処理によって撮影画像の背景をぼかす際、小型モニタでもぼかし具合を容易に確認できるようにする。
【解決手段】撮影によって得られた入力画像の各画素における合焦度を入力画像の画像信号から導出し、導出した合焦度に基づき、合焦度が小さい画像部分を平均化フィルタ等を用いてぼかすことで出力画像を生成する。一方で、導出された合焦度の内、最大及び最小の合焦度を特定し、最大の合焦度を有する画素位置と最小の合焦度を有する画素位置を包含する切り出し枠を設定する。そして、その切り出し枠を用いて入力画像及び出力画像の各一部を切り出すことで入力抽出画像（３００）及び出力抽出画像（３０１）を生成し、生成した画像を交互に表示画面に表示する。
【選択図】図１２

Description

本発明は、画像を再生するための画像再生装置及びそれを内包する撮像装置に関する。
現在、ＣＣＤ（Charge Coupled Device）等の固体撮像素子を用いたデジタルスチルカメラやデジタルビデオカメラ等の撮影装置が広く普及している。
ところで、撮影対象のうち、ピントの合った被写体が鮮明に撮影される一方でそれ以外の被写体がぼけたように撮影され、結果、全体としてピントの合った被写体が強調されて浮き立ったような、いわゆる“ぼけ味”のある撮影画像の取得が望まれることも多い。このような撮影画像を取得するためには、例えば、固体撮像素子のサイズやレンズ口径が大きいタイプの撮影装置を用いる必要がある。このようなタイプの撮影装置によると、被写界深度を十分に浅くして撮影することができるため、上記のような“ぼけ味”のある撮影画像を取得することができる。
しかし、固体撮像素子のサイズやレンズ口径の小さい、コンパクトな撮影装置を用いた場合には、被写界深度を十分に浅くして撮影することができないため“ぼけ味”のある撮像画像を取得することが困難であった。
これに対し、被写界深度の深い状態で撮影された原画像から“ぼけ味”のあるぼけ画像を画像処理によって生成する方法が提案されている（例えば、下記特許文献１参照）。図２７（ａ）及び（ｂ）に、原画像及びぼけ画像の例としての、原画像９００及びぼけ画像９０１を示す。このような画像処理を用いれば、被写界深度を十分に浅くして撮影することができない撮影装置においても、ぼけ味”のある画像を取得することが可能となる。
デジタルカメラ等の撮像装置にはモニタが設けられていることが多い。故に、撮像装置において図２７（ｂ）に示すようなぼけ画像９０１が得られた後、ぼけ画像９０１を該モニタに表示することができる。しかしながら、撮像装置に設けられたモニタは、通常、小型モニタであるため、ぼけ画像９０１の全体画像を単にモニタに表示しても、背景部分に所望のぼけが生じているかどうかを判別しがたい。
撮影終了後に、撮影画像中の固定位置における部分画像（例えば中央付近の部分画像）を自動的に拡大表示する方法や、予め選択されたピント位置における部分画像を拡大表示する方法（例えば下記特許文献２参照）も考えられるが、これらの方法では、合焦部分のみ又は非合焦部分のみが表示されることもある。例えば、上記固定位置における部分画像に、ピントの合っている被写体（換言すれば、合焦している被写体）の画像信号のみが存在している場合には、合焦部分のみが拡大表示されることになる。
背景部分（非合焦部分に相当）に所望のぼけが生じているかどうかは、被写体部分（合焦部分に相当）の鮮明さとの兼ね合いで決まるため、合焦部分のみ又は非合焦部分のみが表示されうる上述の方法では、背景部分に所望のぼけが生じているかどうかを適切に確認することはできない。
特開２００５−２２９１９８号公報 特開２００４−６４２５９号公報
そこで本発明は、画像処理の効果確認を支援することのできる画像再生装置及び撮像装置を提供することを目的とする。
本発明に係る画像再生装置は、複数の小領域にて分割される入力撮影画像の合焦度を前記小領域ごとに導出する合焦度導出部と、比較的大きな合焦度を有する小領域内の被写体を比較的小さな合焦度を有する小領域内の被写体よりも強調させるための画像処理を、前記入力撮影画像に施すことによって出力画像を生成する出力画像生成部と、前記出力画像の一部を前記出力画像から切り出すことによって得られる第１画像、及び、前記小領域ごとの合焦度をマッピングして得た合焦度画像の一部を前記合焦度画像から切り出すことによって得られる第２画像の双方又は一方を抽出画像として生成する切出処理部と、を備え、前記抽出画像を表示部に表示させる画像再生装置であって、前記切出処理部は、前記抽出画像を生成する際の切り出し位置を、前記合焦度に応じて設定することを特徴とする。
出力画像を確認すれば、出力画像生成用の画像処理の効果を確認することが可能である。但し、出力画像の全体を単に表示したのでは、表示画面が小さい場合などにおいて、画像処理の効果を確認しずらい。そこで、合焦度に応じた切り出し位置に基づき、出力画像の特徴的な部分を第１画像として出力画像から抽出し、それを拡大表示するようにすれば、ユーザによる、画像処理の効果確認が容易となる。
また、出力画像を生成するための画像処理は、比較的大きな合焦度を有する小領域内の被写体を比較的小さな合焦度を有する小領域内の被写体よりも強調させるための画像処理であるから、合焦度画像を確認すれば画像処理の効果を間接的に確認することが可能である。但し、合焦度画像の全体を単に表示したのでは、表示画面が小さい場合などにおいて、画像処理の効果を確認しずらい。そこで、合焦度に応じた切り出し位置に基づき、出力画像の特徴的な部分に対応する合焦度画像の特徴的な部分を第２画像として合焦度画像から抽出し、それを拡大表示するようにすれば、ユーザによる、画像処理の効果確認が容易となる。
尚、小領域は、１つの画素から形成されていてもよいし、複数の画素から形成されていても良い。
具体的には例えば、前記切出処理部は、比較的大きな合焦度を有する小領域と比較的小さな合焦度を有する小領域が前記抽出画像に含まれるように、前記切り出し位置を前記合焦度に応じて設定すればよい。
これにより、画像処理による強調効果を確認しやすくなる。
より具体的には例えば、前記切出処理部は、前記合焦度導出部にて導出された合焦度の内の、最大の合焦度を有する小領域及び最小の合焦度を有する小領域が前記抽出画像に含まれるように、或いは、前記合焦度画像上における合焦度の勾配が最大となる部分が前記抽出画像に含まれるように、或いは、前記抽出画像に含まれる小領域の内、前記合焦度が第１合焦度以上となる小領域の面積総和と前記合焦度が第１合焦度よりも低い第２合焦度以下となる小領域の面積総和との比が、１を含む所定範囲内に収まるように、前記切り出し位置を前記合焦度に応じて設定する。
そして例えば、前記切出処理部は、前記切り出し位置に従って前記入力撮影画像の一部を前記入力撮影画像から切り出すことによって得られる第３画像も、生成すべき前記抽出画像に含め、当該画像再生装置は、前記抽出画像としての前記第１〜第３画像の内の２以上の画像を、同時に或いは交互に或いは順次、前記表示部に表示させる。
また例えば、前記合焦度画像、前記出力画像、前記第１画像及び前記第２画像の少なくとも１つを前記表示部に表示している状態で外部からの修正指示を受け付け、前記修正指示があった際、前記出力画像生成部は、前記修正指示に従って前記出力画像を修正するようにしても良い。
これにより、必要に応じてユーザが修正指示を行うことが可能となり、ユーザは所望の出力画像を容易に得ることが可能となる。
また例えば、前記出力画像生成部は、前記入力画像から前記出力画像を生成する過程において、比較的大きな合焦度を有する小領域内の画像と比べて比較的小さな合焦度を有する小領域内の画像の方が大きくぼかされるように、或いは、比較的大きな合焦度を有する小領域内の輝度と比べて比較的小さな合焦度を有する小領域内の輝度の方が大きく低減されるように、或いは、比較的大きな合焦度を有する小領域内の彩度と比べて比較的小さな合焦度を有する小領域内の彩度の方が大きく低減されるように、前記画像処理を前記入力画像に対して施し、これによって前記強調を実現する。
上述の如く、合焦度に応じて、画像をぼかす、輝度を低減させる又は彩度を低減させることにより、出力画像において、比較的大きな合焦度を有する小領域内の被写体が比較的小さな合焦度を有する小領域内の被写体よりも強調されることとなる。
本発明に係る撮像装置は、撮影によって画像を取得する撮像部と、前記画像再生装置と、を備えた撮像装置であって、前記撮像部にて取得された前記画像が入力撮影画像として前記画像再生装置に与えられることを特徴とする。
本発明によれば、画像処理の効果確認を支援することのできる画像再生装置及び撮像装置の提供が可能となる。
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
本発明の実施形態に係る撮像装置の概略全体ブロック図である。 図１の撮像部の内部構成図である。 二次元画像とＸＹ座標面との関係を示す図である。 本発明の実施形態に係る画像処理／再生部の内部ブロック図である。 図４の画像処理／再生部に供給される入力画像と、画像処理／再生部にて生成される出力画像及び合焦度画像を示す図である。 図４の切出処理部に供給される切出対象画像と切出処理部にて切り出される抽出画像との関係を示す図である。 本発明の第１実施例に係り、合焦度画像に対する切り出し枠の設定方法の第１例を示す図である。 本発明の第１実施例に係り、合焦度画像に対する切り出し枠の設定方法の第２例を示す図である。 本発明の第１実施例に係り、合焦度画像に対する切り出し枠の設定方法の第３例を示す図である。 図５（ａ）〜（ｃ）の入力画像、出力画像及び合焦度画像から切り出された入力抽出画像、出力抽出画像及び合焦度抽出画像を示す図である。 本発明の第２実施例に係り、図４の表示制御部による抽出画像の、第１の表示方法を示す図である。 本発明の第２実施例に係り、図４の表示制御部による抽出画像の、第２の表示方法を示す図である。 本発明の第２実施例に係り、図４の表示制御部による抽出画像の、第３の表示方法を示す図である。 本発明の第２実施例に係り、図４の表示制御部による抽出画像の、第４の表示方法を示す図である。 本発明の第３実施例に係り、図４の出力画像生成部として採用することのできる第１の出力画像生成部の内部ブロック図である。 図１５の変換テーブルにて指定される、合焦度とぼかし度との関係及び合焦度とエッジ強調度との関係を示す図である。 本発明の第３実施例に係り、図４の出力画像生成部として採用することのできる第２の出力画像生成部の内部ブロック図である。 図１８の変換テーブルにて指定される、合焦度と合成比率との関係を示す図である。 本発明の第４実施例に係り、入力画像上の合焦部における典型的な輝度信号のパターンを示す図と、入力画像上の非合焦部における典型的な輝度信号のパターンを示す図である。 本発明の第４実施例に係り、合焦度として用いることのできる拡張エッジ差分比の導出に関与する部位のブロック図である。 本発明の第４実施例に係り、入力画像の輝度信号から、極局所領域の輝度差分値、局所領域の輝度差分値及びエッジ差分比が求められる様子を示した図である。 図２０の拡張処理部による拡張処理の概要を説明するための図である。 図２０の拡張処理部による拡張処理の具体例を説明するための図である。 本発明の第４実施例に係り、合焦度として用いることのできる拡張周波数成分比の導出に関与する部位のブロック図である。 本発明の第５実施例に係り、撮像装置の動作手順を表すフローチャートである。 本発明の第５実施例に係り、入力画像から出力画像が生成される過程において表示されうる映像例を示す図である。 従来技術に係り、撮影によって得られた原画像と、原画像の一部を画像処理によってぼかすことで得たぼけ画像と、を示す図である。
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第５実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
図１に、本実施形態に係る撮像装置１の概略全体ブロック図を示す。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。
図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部１３からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量を制御する。
撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号をＲＡＷデータとして主制御部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は、主制御部１３によって制御される。
主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等から成る。主制御部１３は、ＡＦＥ１２からのＲＡＷデータに基づいて、撮像部１１によって撮影された画像（以下、撮影画像とも言う）を表す画像信号を生成する。ここで生成される画像信号には、例えば、輝度信号及び色差信号が含まれる。但し、ＲＡＷデータそのものも、画像信号の一種である。また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。
図３に、任意の二次元画像が配置されるべき二次元座標面としてのＸＹ座標面を示す。図３において、符号２００が付された矩形枠は、二次元画像の外形枠を表している。ＸＹ座標面は、二次元画像２００の水平方向に伸びるＸ軸と、二次元画像２００の垂直方向に伸びるＹ軸と、を座標軸として有する。本明細書において述べられる画像は、全て、特に記述なき限り二次元画像である。ＸＹ座標面上及び二次元画像２００上における或る注目点の位置を（ｘ，ｙ）にて表す。ｘは、該注目点のＸ軸座標値を表すと共に、ＸＹ座標面上及び二次元画像２００上における該注目点の水平位置を表す。ｙは、該注目点のＹ軸座標値を表すと共に、ＸＹ座標面上及び二次元画像２００上における該注目点の垂直位置を表す。ＸＹ座標面及び二次元画像２００において、位置（ｘ，ｙ）に配置された画素の右側、左側、下側及び上側に隣接する画素の位置は、夫々、（ｘ＋１，ｙ）、（ｘ−１，ｙ）、（ｘ，ｙ＋１）及び（ｘ，ｙ−１）である。画素が配置される位置を、単に画素位置とも言う。また、本明細書では、画素位置（ｘ，ｙ）に配置された画素のことも、（ｘ，ｙ）によって参照することがある。
撮像装置１は、フォーカスレンズ３１の位置を制御することで、主要被写体の光学像を撮像素子３３の撮像面上に結像させることができる。主要被写体に見たてられた点光源からの入射光は光学系３５を介して結像点にて結像するが、その結像点が撮像素子３３の撮像面上にあるとき、その主要被写体に対して完全にピントがあっている。その結像点が撮像素子３３の撮像面上にない場合、撮像面上において上記点光源からの像はぼける（即ち許容錯乱円径を超える径を持った像を形成する）。この状態においては、上記主要被写体に対してピントは合っていない或いはピントは或る程度合っているものの完全には合っていない。本明細書では、ピントがどの程度合っているかを表す度合いを合焦度と呼ぶ。注目領域又は注目画素に対する合焦度が大きいほど、注目領域又は注目画素における被写体に、よりピントが合っていると考える（よりピントが合っているほど、上記径は小さくなる）。また、ピントが合っている度合いが比較的高い部分を合焦部又は合焦部分と呼び、ピントが合っている度合いが比較的低い部分を非合焦部又は非合焦部分と呼ぶ。
ところで、撮像装置１は、被写界深度を十分に浅くした状態で撮影されていない入力画像から“ぼけ味”を持つ出力画像を画像処理によって生成する機能を備える。更に、得られた出力画像の背景部分に所望のぼけが生じているかどうかの確認を、ユーザに容易且つ正確に行わしめる機能を備える。
これらの機能は、図１の主制御部１３に内在する画像処理／再生部５０によって実現される。図４に、画像処理／再生部５０の内部ブロック図を示す。画像処理／再生部５０は、合焦度導出部５１、出力画像生成部５２、切出処理部５３及び表示制御部５４を備える。画像処理／再生部５０には、入力画像の画像信号が供給される。ここで、入力画像とは、撮像部１１の撮影によって得られた静止画像としての撮影画像を指す。
図５（ａ）に、入力画像の例としての入力画像２１０を示す。入力画像２１０は、花ＳＵＢ1、人物ＳＵＢ2及び建物ＳＵＢ3を被写体に含めた状態で撮影された画像である。花ＳＵＢ1、人物ＳＵＢ2及び建物ＳＵＢ3の被写体距離を、夫々、ｄ1、ｄ2及びｄ3にて表すと、不等式「ｄ1＜ｄ2＜ｄ3」が成立するものとする。花ＳＵＢ1の被写体距離ｄ1とは、花ＳＵＢ1と撮像装置１との、実空間上における距離を指す（被写体距離ｄ2及びｄ3についても同様）。
合焦度導出部５１は、合焦度導出用情報に基づいて入力画像の各画素位置における合焦度を導出し、各画素位置における合焦度をＸＹ座標面上に書き並べた合焦度マップを生成して出力する。合焦度導出用情報は、様々な形態をとりうる。例えば、入力画像のエッジ状態や各画素位置の距離情報を合焦度導出用情報として用いることができるが、合焦度導出用情報の具体例の説明は後に設ける。
合焦度マップを画像として捉えたものを合焦度画像と呼ぶ。合焦度マップと合焦度画像は等価なものと言える。従って、以下の説明文中において、適宜、合焦度マップを合焦度画像と読み替え、逆に合焦度画像を合焦度マップと読み替えることもできる。合焦度画像は、画素位置（ｘ，ｙ）における合焦度を画素位置（ｘ，ｙ）における画素値として有するグレースケール画像である。図５（ｃ）に、図５（ａ）の入力画像２１０に対する合焦度画像２１２を示す。図５（ｃ）を含む、合焦度画像を表す図面においては、合焦度が大きな部分ほど白く示され、合焦度が小さな部分ほど黒く示される。但し、合焦度画像を表す図面において、異なる被写体間の境界（例えば、花ＳＵＢ1と人物ＳＵＢ2との境界）を明確に図示すべく、該境界では合焦度に関係なく黒の境界線が図示されている。
花ＳＵＢ1、人物ＳＵＢ2及び建物ＳＵＢ3の画像信号が存在する部分の合焦度を夫々Ｆ1、Ｆ2及びＦ3にて表す。入力画像２１０の撮影の際、花ＳＵＢ1に対して最もピントが合っており、その結果、不等式「Ｆ1＞Ｆ2＞Ｆ3」が成立するものとする。また、被写体距離ｄ1及びｄ2の差異は少なく、この結果、合焦度Ｆ1及びＦ2の差異は少ないことを想定する。一方で、被写体距離ｄ2及びｄ3の差異は非常に大きく、この結果、合焦度Ｆ2及びＦ3の差異は非常に大きいことを想定する。このため、花ＳＵＢ1及び人物ＳＵＢ2は合焦部となり、建物ＳＵＢ3は非合焦部となっている。
尚、合焦度マップにおいては、ピントが合っている主要被写体の部分の数値が大きくなり、ピントが合っていない背景の部分の数値が小さくなる。従って、合焦度マップは主要被写体又は背景の存在する確率の分布を表している、とも言える。また、ピントが完全に合っている被写体距離の被写体部分に対して最大の数値を与え、それ以外の被写体部分に対してはピントが合っていないほど低い数値を与えた距離マップが、合焦度マップである、と考えることもできる。
出力画像生成部５２は、入力画像に対して合焦度マップに基づく画像処理を施すことにより、所謂“ぼけ味”のある出力画像を生成する。この画像処理によって、入力画像に現れている複数の被写体の内、比較的大きな合焦度を有する画像部分の被写体が、比較的小さな合焦度を有する画像部分の被写体よりも視覚的に強調される（強調前の画像が入力画像であり、強調後の画像が出力画像である）。例えば、比較的小さな合焦度を有する画像領域内の画像を平均化フィルタ等を用いてぼかすことにより、上記の強調は実現される。出力画像生成部５２にて実行される上記画像処理を、特に、出力画像生成処理という。
図５（ｂ）に、図５（ａ）の入力画像２１０に基づく出力画像２１１を示す。花ＳＵＢ1及び人物ＳＵＢ2の合焦度Ｆ1及びＦ2が比較的大きい一方で建物ＳＵＢ3の合焦度Ｆ3が比較的小さい結果、出力画像２１１において建物ＳＵＢ3の画像がぼかされ、花ＳＵＢ1や人物ＳＵＢ2が浮き立って見える。
切出処理部５３は、合焦度マップに基づいて切出対象画像の一部を切り出し、切り出した画像を抽出画像として生成及び出力する。切出対象画像は、入力画像、出力画像又は合焦度画像であり、それらの夫々が切出対象画像となりうる。但し、出力画像及び合焦度画像の内の少なくとも一方が切出対象画像に含められる。切出対象画像が入力画像であるときの抽出画像、切出対象画像が出力画像であるときの抽出画像及び切出対象画像が合焦度画像であるときの抽出画像を、特に夫々、入力抽出画像、出力抽出画像及び合焦度抽出画像という。
入力画像、出力画像及び合焦度画像の画像サイズは同じであるとする。即ち、画像の水平方向及び垂直方向の画素数は、入力画像、出力画像及び合焦度画像間で同じであるとする。図６に示す如く、切出処理部５３は、切出対象画像内に、切出対象画像の画像サイズよりも小さな画像サイズを有する切り出し枠を設定し、切り出し枠内の画像を抽出画像として生成する。
切出処理部５３は、合焦度マップに基づいて切り出し枠の位置（以下、切り出し位置という）を決定する。切出処理部５３には、切出対象画像の画像サイズ及び切り出し枠の画像サイズを表す情報が与えられている。合焦度マップに基づいて切り出し枠の大きさ及び／又は形状を変形させても良いが、本実施形態では、特に述べない限り、切り出し枠は画像サイズが一定の矩形枠（即ち、水平及び垂直方向における画素数が一定の矩形枠）であるとする。そうすると、切り出し位置は、切り出し枠の中心座標値にて表現することができる。勿論、切り出し枠の対向２頂点の座標値を指定することによって切り出し位置を定めてもよい。
表示制御部５４は、抽出画像の画像サイズを表示部１５にて表示可能な画像サイズに変換する画像サイズ変換処理を実行する。画像サイズ変換処理は、任意の画像の画素数を変更する公知の再標本化によって実現することができる。撮像装置１においては、抽出画像の画素数よりも表示画面の画素数の方が小さいことが多く、その場合、画像サイズ変換処理は、画素の間引きによって実現される。そして、表示制御部５４は、画像サイズ変換処理を経た１又は複数の抽出画像を所定の規則に沿って表示部１５に表示させる。この表示方法については後に詳説される。
尚、画像サイズ変換処理を、表示制御部５４においてではなく、切出処理部５３にて実行するようにしても良い。この場合、画像サイズ変換処理後の抽出画像が切出処理部５３から表示制御部５４に供給される。また、表示部１５の解像度によっては、画像サイズ変換処理が不要となる場合もある。
上述の切出処理部５３及び表示制御部５４の働きによって、切出対象画像の切り出し枠内の画像が表示部１５上にて拡大表示されるようになる。仮に切り出し位置を固定位置としたならば、合焦度が比較的大きな部分の画像（例えば花ＳＵＢ1や人物ＳＵＢ2の画像）のみが表示されるといった事態が生じうるが、撮像装置１では、合焦度マップに基づき、合焦度が比較的大きな部分の画像（例えば花ＳＵＢ1や人物ＳＵＢ2の画像）と合焦度が比較的小さな部分の画像（例えば建物ＳＵＢ3の画像）が抽出画像内に混在するように切り出し位置が制御される。これにより、ユーザは、出力画像の背景部分に所望のぼけが生じているかどうかを、容易に且つ正確に確認することができる。
以下、撮像装置１にて採用することのできる要素技術等を、第１実施例〜第５実施例において説明する。矛盾が生じない限り、或る実施例に記載した事項と他の実施例に記載した事項を、自由に組み合わせて実施することができる。
＜＜第１実施例＞＞
第１実施例を説明する。第１実施例では、図４の切出処理部５３において採用することのできる切り出し位置の設定方法として、第１〜第３の切り出し位置設定方法を例示する。何れの切り出し位置設定方法を採用した場合においても、比較的大きな合焦度を有する画素位置（又は画像領域）と比較的小さな合焦度を有する画素位置（又は画像領域）を、切り出し枠内（従って抽出画像内）に含める、という目的が達成される。
――第１の切り出し位置設定方法――
第１の切り出し位置設定方法を説明する。図７に、第１の切り出し位置設定方法を採用した場合において、合焦度画像２１２内に設定される切り出し枠３１０を示す。切出処理部５３は、合焦度マップに基づいて、合焦度マップに内包される全合焦度の内、最大の合焦度を有する画素位置３１１と最小の合焦度を有する画素位置３１２を探索し、画素位置３１１及び３１２が切り出し枠３１０内に含まれるように切り出し位置を決定する。典型的には例えば、画素位置３１１と画素位置３１２の中間位置が切り出し枠３１０の中心と一致するように切り出し位置を設定することができる（但し、その一致は必須ではない）。
――第２の切り出し位置設定方法――
第２の切り出し位置設定方法を説明する。図８に、第２の切り出し位置設定方法を採用した場合において、合焦度画像２１２内に設定される切り出し枠３２０を示す。切出処理部５３は、合焦度マップに基づいて、画素位置ごとに合焦度マップ上における合焦度の勾配の大きさを求める。換言すれば、合焦度画像に基づいて、画素位置ごとに合焦度画像上における合焦度の勾配の大きさ（画素値の勾配の大きさ）を求める。
例えば、合焦度画像上の注目画素に対して水平方向の微分フィルタを作用させた時における該微分フィルタの出力値ＤＶHと、合焦度画像上の注目画素に対して垂直方向の微分フィルタを作用させた時における該微分フィルタの出力値ＤＶVとを求め、√（ＤＶH 2＋ＤＶL 2）を、注目画素における上記勾配の大きさとして求めることができる。尚、ｉが任意の正の数であるとしたとき、√ｉは、ｉの正の平方根を表す。
そして、切出処理部５３は、画素位置ごとに求めた勾配の大きさの内、最大値を有する画素位置３２１を特定し、画素位置３２１が切り出し枠３２０内に含まれるように切り出し位置を決定する。典型的には例えば、画素位置３２１が切り出し枠３２０の中心と一致するように切り出し位置を設定することができる（但し、その一致は必須ではない）。合焦度の勾配の大きな部分は、合焦部分と非合焦部分の境界部分に対応しているため、この方法によっても上記目的が達成される。
――第３の切り出し位置設定方法――
第３の切り出し位置設定方法を説明する。図９に、第３の切り出し位置設定方法を採用した場合において、合焦度画像２１２内に設定される切り出し枠３３０を示す。第３の切り出し位置設定方法では、合焦度の高い部分と合焦度の低い部分が概ね半分ずつ切り出し枠３３０内に含まれるように切り出し位置を設定する。そのような設定を実現する具体的な方法として様々な方法が考えられるが、一方法例を以下に説明する。
切り出し枠３３０と同じ画像サイズを有する評価枠を、評価枠の中心画素が注目画素と一致するように合焦度画像２１２内に設定し、評価枠内に属する画素の内、基準合焦度ＦTH1以上の合焦度を有する画素の面積総和ＳＳ1と基準合焦度ＦTH2以下の合焦度を有する画素の面積総和ＳＳ2を求める。ここで、ＦTH1及びＦTH2は、不等式「ＦTH1＞ＦTH2」を満たす所定の閾値である。面積総和ＳＳ1は、基準合焦度ＦTH1以上の合焦度を有する画素の個数によって表され、面積総和ＳＳ2は、基準合焦度ＦTH2以下の合焦度を有する画素の個数によって表される。
評価枠の中心画素と一致すべき注目画素を、水平方向又は垂直方向に１画素ずつシフトさせながら、シフトを行うごとに上記面積総和ＳＳ1及びＳＳ2を求める。評価枠を設定可能な各画素を注目画素と見立てた上で各注目画素に対して上記面積総和ＳＳ1及びＳＳ2を求めた後、比ＳＳ1／ＳＳ2を、１を含む所定の範囲内（例えば０．９以上１．１以下の範囲内）に収めさせる評価枠の中心画素を特定する。そして、特定した中心画素が切り出し枠３３０の中心画素３３１となるように切り出し位置を設定する。
複数の中心画素が特定された場合には、その複数の中心画素の内、１に最も近い比ＳＳ1／ＳＳ2に対応する中心画素を中心画素３３１として選択することができる。或いは、第１又は第２の切り出し位置設定方法を利用し、切り出し枠３３０内に画素位置３１１及び３１２が含まれるように又は画素位置３２１が含まれるように、上記複数の中心画素の中から１つの中心画素を中心画素３３１として選択すればよい。
仮に、ＳＳ1／ＳＳ2＝１を満たす評価枠を切り出し枠３３０として定めたならば、基準合焦度ＦTH1以上の合焦度を有する画像部分と基準合焦度ＦTH2以下の合焦度を有する画像部分が切り出し枠３３０内に丁度半分ずつ含まれることになる。
＜＜第２実施例＞＞
第２実施例を説明する。第２実施例では、図４の表示制御部５４において採用することのできる抽出画像の表示方法として、第１〜第４の表示方法を例示する。第１〜第４の表示方法では、切出処理部５３によって図５（ａ）〜（ｃ）の入力画像２１０、出力画像２１１及び合焦度画像２１２から図１０（ａ）〜（ｃ）の入力抽出画像３００、出力抽出画像３０１及び合焦度抽出画像３０２が生成された場合を想定し、入力抽出画像３００、出力抽出画像３０１及び合焦度抽出画像３０２に基づく表示内容を説明する。
――第１の表示方法――
第１の表示方法を説明する。第１の表示方法では、図１１に示す如く、出力抽出画像３０１又は合焦度抽出画像３０２を、表示部１５の表示画面ＤＩＳＰ上に表示する。１枚の画像を表示画面ＤＩＳＰに表示する場合には、その１枚の画像を表示画面ＤＩＳＰの全体を使って表示することができる（後述の第２〜第４の表示方法においても同様）。勿論、表示画面ＤＩＳＰ上に、出力抽出画像３０１又は合焦度抽出画像３０２以外の何らかの映像（メッセージやアイコンなど）を併せて表示するようにしても構わない（後述の第２〜第４の表示方法においても同様）。
出力抽出画像３０１を見ることで、ユーザは、背景部分に所望のぼけが生じているか否かを容易に且つ正確に確認することができる。また、処理内容の詳細は後述されるが、出力画像は、比較的小さな合焦度を有する画像領域内の画像に対してぼかし処理等を施すことによって生成される。従って、ユーザは合焦度抽出画像３０２を見れば、何れの画像部分がどの程度ぼかされ、何れの画像部分がぼかされないのかを認識することができる。従って、出力抽出画像３０１を見る場合よりも確認精度は若干劣るかもしれないが、合焦度抽出画像３０２を見ることによっても、ユーザは、出力画像の背景部分に所望のぼけが生じているのか（或いは、生じさせることができるのか）を確認することができる。
――第２の表示方法――
第２の表示方法を説明する。第２の表示方法では、図１２に示す如く、入力抽出画像３００及び出力抽出画像３０１を交互に表示画面ＤＩＳＰ上に表示する。表示される画像の切り替わりは、時間の経過と共に自動的に行われる、或いは、ユーザによる操作部１７へのクリック操作に従って行われる。
入力抽出画像３００及び出力抽出画像３０１を交互に表示画面ＤＩＳＰ上に表示するのではなく、入力抽出画像３００及び合焦度抽出画像３０２を交互に、或いは、出力抽出画像３０１及び合焦度抽出画像３０２を交互に表示画面ＤＩＳＰ上に表示するようにしても良いし、表示画面ＤＩＳＰ上に入力抽出画像３００、出力抽出画像３０１及び合焦度抽出画像３０２を順番に切り替えて表示するようにしても良い。
――第３の表示方法――
第３の表示方法を説明する。第３の表示方法では、図１３に示す如く、入力抽出画像３００及び出力抽出画像３０１を同時に表示画面ＤＩＳＰ上に表示する。つまり、入力抽出画像３００及び出力抽出画像３０１を表示画面ＤＩＳＰ上に並べて表示する。図１３では、入力抽出画像３００と出力抽出画像３０１が横に並べられているが、複数の画像を並べて表示する場合における複数の画像の並べ方は任意である。同時表示された入力抽出画像３００及び出力抽出画像３０１を見比べることで、ユーザは、背景部分に所望のぼけが生じているか否かを容易に且つ正確に確認することができる。
入力抽出画像３００及び出力抽出画像３０１を同時に表示画面ＤＩＳＰに表示するのではなく、入力抽出画像３００及び合焦度抽出画像３０２を同時に、或いは、出力抽出画像３０１及び合焦度抽出画像３０２を同時に、或いは、入力抽出画像３００、出力抽出画像３０１及び合焦度抽出画像３０２を同時に、表示画面ＤＩＳＰ上に表示するようにしても良い。
――第４の表示方法――
第４の表示方法を説明する。第４の表示方法では、図１４に示す如く、入力抽出画像３００と出力抽出画像３０１の鏡像３０１ａとを横に並べて同時に、表示画面ＤＩＳＰ上に表示する。鏡像３０１ａは、出力抽出画像３０１に対して鏡映変換を施して得られる画像である。或る画像の各画素を或る対称軸に対して対称な位置に反転する幾何学的変換は鏡映変換と呼ばれる。鏡像３０１ａについての対称軸はＹ軸である（図３参照）であるが、対称軸をＸ軸にしても構わない。入力抽出画像３００と出力抽出画像３０１の鏡像３０１ａを並列表示することで、ぼけの生じ具合を正確に把握することができる。
上記に代えて、
入力抽出画像３００の鏡像と出力抽出画像３０１とを横に並べて同時に、或いは、
入力抽出画像３００と合焦度抽出画像３０２の鏡像とを横に並べて同時に、或いは、
入力抽出画像３００の鏡像と合焦度抽出画像３０２とを横に並べて同時に、或いは、
出力抽出画像３０１と合焦度抽出画像３０２の鏡像とを横に並べて同時に、或いは、
出力抽出画像３０１の鏡像と合焦度抽出画像３０２とを横に並べて同時に、表示画面ＤＩＳＰ上に表示するようにしても良い。
尚、画素位置変化に対する合焦度の変化状態に応じて、採用する表示方法を、第２の表示方法と第３の表示方法（又は第４の表示方法）との間で変更するようにしても良い。例えば、画素位置変化に対する合焦度の変化がなだらかな場合には、合焦部分と非合焦部分の境界が曖昧であってぼけの有無が視覚的に認識しずらいため、第２の表示方法を用いて抽出画像の表示を行う。第２の表示方法による切り替え表示を用いれば、残像効果により、ぼけの有無が視覚的に認識されやすくなるからである。逆に、画素位置変化に対する合焦度の変化が大きい場合には、並列表示であってもぼけの有無が視覚的に認識しやすいため、第３の表示方法（又は第４の表示方法）を用いて抽出画像の表示を行う。
合焦度の変化状態を、例えば、以下のようにして求めることができる（図７参照）。最大及び最小の合焦度を有する画素位置３１１及び３１２の合焦度の差の絶対値を画素位置３１１及び３１２間の距離で割った値を、画素位置３１１及び３１２間の合焦度勾配として求める。そして、該合焦度勾配が所定の基準勾配よりも小さければ、画素位置変化に対する合焦度の変化がなだらかであると判断することができ、該合焦度勾配が該基準勾配以上であれば、画素位置変化に対する合焦度の変化が大きいと判断することができる。
＜＜第３実施例＞＞
第３実施例を説明する。第３実施例では、図４の出力画像生成部５２において採用することのできる出力画像生成処理の方法として、第１〜第４の画像処理方法を例示する。
――第１の画像処理方法――
第１の画像処理方法を説明する。図１５に、図４の出力画像生成部５２として採用することのできる出力画像生成部５２ａの内部ブロック図を示す。出力画像生成部５２ａは、符号６１〜６４によって参照される各部位を備える。但し、ＹＵＶ生成部６１は、図４の画像処理／再生部５０内に設けられるものの、出力画像生成部５２ａの外部に設けられたものであっても良い。
ＹＵＶ生成部６１は、入力画像の画像信号の形式をＲＡＷデータ形式からＹＵＶ形式に変換する。即ち、入力画像のＲＡＷデータから入力画像の輝度信号並びに色差信号を生成する。以下、輝度信号をＹ信号と呼び、色差信号を形成する２つの信号成分をＵ信号及びＶ信号と呼ぶ。
変換テーブル６２は、自身に与えられた合焦度マップに基づき、画素ごとにぼかし度及びエッジ強調度を求めて出力する。画素（ｘ，ｙ）に対する合焦度、ぼかし度及びエッジ強調度を、夫々、ＦＤ（ｘ，ｙ）、ＢＤ（ｘ，ｙ）及びＥＤ（ｘ，ｙ）にて表す。
図１６（ａ）は、合焦度マップを形成する合焦度とぼかし度との関係を表している。図１６（ａ）に示す如く、変換テーブル６２は、不等式「ＦＤ（ｘ，ｙ）＜ＴＨA」の成立時には、ぼかし度ＢＤ（ｘ，ｙ）を上限ぼかし度ＢＤHに設定し、不等式「ＴＨA≦ＦＤ（ｘ，ｙ）＜ＴＨB」の成立時には、合焦度ＦＤ（ｘ，ｙ）が閾値ＴＨAから閾値ＴＨBに向かって増大するにつれてぼかし度ＢＤ（ｘ，ｙ）を上限ぼかし度ＢＤHから下限ぼかし度ＢＤLに向かって線形的に（或いは非線形的に）減少させ、不等式「ＴＨB≦ＦＤ（ｘ，ｙ）」の成立時には、ぼかし度ＢＤ（ｘ，ｙ）を下限ぼかし度ＢＤLに設定する。ここで、ＢＤH、ＢＤL、ＴＨA及びＴＨBを、不等式「０＜ＢＤL＜ＢＤH」且つ「０＜ＴＨA＜ＴＨB」が満たされるように予め設定しておくことができる（例えば、ＢＤH＝７、ＢＤL＝１とされる）。
図１６（ｂ）は、合焦度マップを形成する合焦度とエッジ強調度との関係を表している。図１６（ｂ）に示す如く、変換テーブル６２は、不等式「ＦＤ（ｘ，ｙ）＜ＴＨC」の成立時には、エッジ強調度ＥＤ（ｘ，ｙ）を下限強調度ＥＤLに設定し、不等式「ＴＨC≦ＦＤ（ｘ，ｙ）＜ＴＨD」の成立時には、合焦度ＦＤ（ｘ，ｙ）が閾値ＴＨCから閾値ＴＨDに向かって増大するにつれてエッジ強調度ＥＤ（ｘ，ｙ）を下限強調度ＥＤLから上限強調度ＥＤHに向かって線形的に（或いは非線形的に）増大させ、不等式「ＴＨD≦ＦＤ（ｘ，ｙ）」の成立時には、エッジ強調度ＥＤ（ｘ，ｙ）を上限強調度ＥＤHに設定する。ここで、ＥＤH、ＥＤL、ＴＨC及びＴＨDを、不等式「０＜ＥＤL＜ＥＤH」且つ「０＜ＴＨC＜ＴＨD」が満たされるように予め設定しておくことができる。
図１５の背景ぼかし部６３は、変換テーブル６２から出力される画素ごとのぼかし度に応じて、ＹＵＶ生成部６１から出力されるＹ、Ｕ及びＶ信号に対し、画素ごとにぼかし処理を施す。但し、ぼかし度ＢＤ（ｘ、ｙ）が下限ぼかし度ＢＤLと一致している画像部分に対しては、ぼかし処理を施さない方が望ましい。ぼかし処理は、Ｙ、Ｕ及びＶ信号の夫々に対して行っても良いし、Ｙ信号に対してのみ行っても良い。Ｙ信号を空間方向において平滑化する空間フィルタを用いた空間フィルタリングにより、Ｙ信号のぼかし処理を実現することができる（Ｕ及びＶ信号についても同様）。空間フィルタとして、平均化フィルタ、加重平均化フィルタ、ガウシアンフィルタ等を用いることができ、ぼかし度をガウシアンフィルタにおけるガウス分布の分散として用いることもできる。また、Ｙ信号に含まれる空間周波数成分の内、低周波成分は残し且つ高周成分を除去するようなローパスフィルタを用いた周波数フィルタリングによって、Ｙ信号のぼかし処理を実現することもできる（Ｕ及びＶ信号についても同様）。
注目画素（ｘ，ｙ）に対する合焦度ＦＤ（ｘ，ｙ）が小さく、これによって注目画素（ｘ，ｙ）のぼかし度ＢＤ（ｘ、ｙ）が大きいほど、注目画素（ｘ，ｙ）及び該注目画素の周辺画素から成る画像部分のぼかしの度合いは大きくなる。ぼかし処理に平均化フィルタを用いる場合を想定して、単純な例を挙げる。例えば、ぼかし度ＢＤ（ｘ，ｙ）が下限ぼかし度ＢＤLよりも大きいが上限ぼかし度ＢＤHよりも小さいときに３×３のフィルタサイズを有する平均化フィルタを用いて注目画素（ｘ，ｙ）に対するぼかし処理を行い、ぼかし度ＢＤ（ｘ，ｙ）が上限ぼかし度ＢＤHと一致している時に５×５のフィルタサイズを有する平均化フィルタを用いて注目画素（ｘ，ｙ）に対するぼかし処理を行うようにする。これにより、ぼかし度ＢＤ（ｘ，ｙ）が大きいほど対応部分のぼかしの度合いは大きくなる。
図１５のエッジ強調処理部６４は、背景ぼかし部６３から出力されるぼかし処理後のＹ、Ｕ及びＶ信号に対し、画素ごとにエッジ強調処理を施す。エッジ強調処理は、ラプラシアンフィルタ等の鮮鋭化フィルタを用いた、画像のエッジを強調する処理である。注目画素（ｘ，ｙ）に対するエッジ強調度ＥＤ（ｘ，ｙ）が大きくなるにつれて、注目画素（ｘ，ｙ）及び該注目画素の周辺画素から成る画像部分のエッジの強調度合いが大きくなるように、エッジ強調度ＥＤ（ｘ，ｙ）に応じて鮮鋭化フィルタのフィルタ係数を可変設定するとよい。
エッジ強調処理部６４によるエッジ強調処理後のＹ、Ｕ及びＶ信号が、出力画像のＹ、Ｕ及びＶ信号として生成される。尚、エッジ強調処理部６４を割愛することも可能であり、この場合、背景ぼかし部６３から出力されるぼかし処理後のＹ、Ｕ及びＶ信号が、出力画像のＹ、Ｕ及びＶ信号として機能する。
上述のようなぼかし処理を出力画像生成処理に含めることにより、背景被写体（建物ＳＵＢ3）がぼけ、主要被写体（花ＳＵＢ1や人物ＳＵＢ2）が浮き立って見える“ぼけ味”のある出力画像２１１（図５（ｂ）参照）が得られる。即ち、比較的大きな合焦度を有する画像部分の被写体が比較的小さな合焦度を有する画像部分の被写体よりも視覚的に強調された出力画像が得られる（同様の強調効果は、後述の第２〜第４の画像処理方法によっても実現される）。
――第２の画像処理方法――
第２の画像処理方法を説明する。第２の画像処理方法では、図１５の背景ぼかし部６３にて実行される上記ぼかし処理を輝度低減処理に置換する。この置換を除き、第１の画像処理方法と第２の画像処理方法は同じである。
第２の画像処理方法において、図１５の背景ぼかし部６３は、変換テーブル６２から出力される画素ごとのぼかし度に応じて、ＹＵＶ生成部６１から出力されるＹ信号に対し、画素ごとに輝度低減処理を施す。但し、ぼかし度ＢＤ（ｘ，ｙ）が下限ぼかし度ＢＤLと一致している画像部分に対しては、輝度低減処理を施さない方が望ましい。
輝度低減処理では、注目画素（ｘ，ｙ）に対する合焦度ＦＤ（ｘ，ｙ）が小さく、これによって注目画素（ｘ，ｙ）のぼかし度ＢＤ（ｘ，ｙ）が大きいほど、注目画素（ｘ，ｙ）のＹ信号の信号レベルは、より大きく低減される。注目画素（ｘ，ｙ）のＹ信号の信号レベルが低減するに伴って、注目画素（ｘ，ｙ）の輝度は低くなるものとする。このような輝度低減処理を出力画像生成処理に含めることにより、背景被写体（建物ＳＵＢ3）が暗くなり、主要被写体（花ＳＵＢ1や人物ＳＵＢ2）が強調されて浮き立って見える出力画像を生成することができる。
――第３の画像処理方法――
第３の画像処理方法を説明する。第３の画像処理方法では、図１５の背景ぼかし部６３にて実行される上記ぼかし処理を彩度低減処理に置換する。この置換を除き、第１の画像処理方法と第３の画像処理方法は同じである。
第３の画像処理方法において、図１５の背景ぼかし部６３は、変換テーブル６２から出力される画素ごとのぼかし度に応じて、ＹＵＶ生成部６１から出力されるＵ及びＶ信号に対し、画素ごとに彩度低減処理を施す。但し、ぼかし度ＢＤ（ｘ，ｙ）が下限ぼかし度ＢＤLと一致している画像部分に対しては、彩度低減処理を施さない方が望ましい。
彩度低減処理では、注目画素（ｘ，ｙ）に対する合焦度ＦＤ（ｘ，ｙ）が小さく、これによって注目画素（ｘ，ｙ）のぼかし度ＢＤ（ｘ，ｙ）が大きいほど、注目画素（ｘ，ｙ）のＵ及びＶ信号の信号レベルは、より大きく低減される。注目画素（ｘ，ｙ）のＵ及びＶ信号の信号レベルが低減するに伴って、注目画素（ｘ，ｙ）の彩度は低くなるものとする。このような彩度低減処理を出力画像生成処理に含めることにより、背景被写体（建物ＳＵＢ3）の彩度が低くなり、主要被写体（花ＳＵＢ1や人物ＳＵＢ2）が強調されて浮き立って見える出力画像を生成することができる。
尚、上記のぼかし処理、輝度低減処理及び彩度低減処理の内、２つ以上の処理を、図１５の背景ぼかし部６３にて実行するようにしても良い。
――第４の画像処理方法――
第４の画像処理方法を説明する。図１７に、第４の画像処理方法において、図４の出力画像生成部５２として採用することのできる出力画像生成部５２ｂの内部ブロック図を示す。出力画像生成部５２ｂは、符号６１及び７２〜７４によって参照される各部位を備える。但し、ＹＵＶ生成部６１は、図４の画像処理／再生部５０内に設けられるものの、出力画像生成部５２ｂの外部に設けられたものであっても良い。図１７のＹＵＶ生成部６１は、図１５のそれと同じものである。
全景ぼかし部７２は、ＹＵＶ生成部６１から出力される画像信号に対し、一律にぼかし処理を施す。全景ぼかし部７２におけるぼかし処理を、第１の画像処理方法におけるそれと区別すべく、全景ぼかし処理と呼ぶ。全景ぼかし処理では、合焦度マップに関係なく、入力画像の全体が共通の条件にてぼかされる。全景ぼかし処理は、画像信号を形成するＹ、Ｕ及びＶ信号の夫々に対して行っても良いし、Ｙ信号に対してのみ行っても良い。Ｙ信号を空間方向において平滑化する空間フィルタを用いた空間フィルタリングにより、Ｙ信号の全景ぼかし処理を実現することができる（Ｕ及びＶ信号についても同様）。空間フィルタとして、平均化フィルタ、加重平均化フィルタ、ガウシアンフィルタ等を用いることができる。また、Ｙ信号に含まれる空間周波数成分の内、低周波成分は残し且つ高周成分を除去するようなローパスフィルタを用いた周波数フィルタリングにより、Ｙ信号の全景ぼかし処理を実現することもできる（Ｕ及びＶ信号についても同様）。
全景ぼかし部７２は、全景ぼかし処理後のＹ、Ｕ及びＶ信号を加重加算合成部７４に出力する。全景ぼかし処理後のＹ、Ｕ及びＶ信号を画像信号として有する画像、即ち、全景ぼかし処理後の入力画像を、全景ぼかし画像と呼ぶ。
変換テーブル７３は、自身に与えられた合焦度マップに基づき、画素ごとに、入力画像と全景ぼかし画像との合成比率を求めて出力する。画素（ｘ，ｙ）に対する合焦度を上述したようにＦＤ（ｘ，ｙ）にて表し、画素（ｘ，ｙ）に対する合成比率をＫ（ｘ，ｙ）にて表す。
図１８は、合焦度マップを形成する合焦度と合成比率との関係を表している。図１８に示す如く、変換テーブル７３は、不等式「ＦＤ（ｘ，ｙ）＜ＴＨE」の成立時には、合成比率Ｋ（ｘ，ｙ）を下限比率ＫLに設定し、不等式「ＴＨE≦ＦＤ（ｘ，ｙ）＜ＴＨF」の成立時には、合焦度ＦＤ（ｘ，ｙ）が閾値ＴＨEから閾値ＴＨFに向かって増大するにつれて合成比率Ｋ（ｘ，ｙ）を下限比率ＫLから上限比率ＫHに向かって線形的に（或いは非線形的に）増大させ、不等式「ＴＨF≦ＦＤ（ｘ，ｙ）」の成立時には、合成比率Ｋ（ｘ，ｙ）を上限比率ＫHに設定する。ここで、ＫH、ＫL、ＴＨE及びＴＨFを、不等式「０≦ＫL＜ＫH≦１」且つ「０＜ＴＨE＜ＴＨF」が満たされるように予め設定しておくことができる。通常は、ＫL＝０、ＫH＝１とされる。
加重加算合成部７４は、入力画像の画像信号と全景ぼかし画像の画像信号が、変換テーブル７３から出力される合成比率に従って画素毎に混合されるように、入力画像及び全景ぼかし画像を合成する。これによって得た合成画像が、第４の画像処理方法による出力画像である。勿論、画像信号の混合は、Ｙ、Ｕ及びＶ信号の夫々に対して行われる。より具体的には、入力画像の画素（ｘ，ｙ）におけるＹ信号、全景ぼかし画像の画素（ｘ，ｙ）におけるＹ信号及び出力画像の画素（ｘ，ｙ）におけるＹ信号を、夫々、Ｙ１（ｘ，ｙ）、Ｙ２（ｘ，ｙ）及びＹ３（ｘ，ｙ）にて表したとすると、次式に従ってＹ３（ｘ，ｙ）が生成される（出力画像のＵ及びＶ信号も同様にして生成される）。
Ｙ３（ｘ，ｙ）
＝Ｋ（ｘ，ｙ）・Ｙ１（ｘ，ｙ）＋（１−Ｋ（ｘ，ｙ））・Ｙ２（ｘ，ｙ）
合焦度が比較的大きな画像部分に対しては入力画像の出力画像に対する寄与度が高くなる一方で、合焦度が比較的小さな画像部分に対しては全景ぼかし画像の出力画像に対する寄与度が高くなる。従って、上述のような全景ぼかし処理と画像合成処理にて出力画像生成処理を形成することにより、入力画像から出力画像が生成される過程において、比較的小さな合焦度を有する画像部分が比較的大きな合焦度を有する画像部分よりも大きくぼかされることになる。結果、背景被写体（建物ＳＵＢ3）がぼけ、主要被写体（花ＳＵＢ1や人物ＳＵＢ2）が浮き立って見える“ぼけ味”のある出力画像２１１（図５（ｂ）参照）を得ることができる。
尚、第１の画像処理方法を第２の画像処理方法へと変更するのと同様に、全景ぼかし部７２において、入力画像に対し、全景ぼかし処理の代わりに全景輝度低減処理を行うようにしても良い。全景輝度低減処理では、合焦度マップに関係なく、入力画像の全画素のＹ信号の信号レベルが共通の条件にて低減される。この低減後のＹ信号と入力画像そのもののＹ信号を、上記の如く画素毎に合成比率に従って混合することで、出力画像のＹ信号を得ることができる（この場合、出力画像のＵ及びＶ信号は入力画像のＵ及びＶ信号と同じとされる）。全景輝度低減処理を行う場合、入力画像から出力画像が生成される過程において、比較的小さな合焦度を有する画像部分の輝度が比較的大きな合焦度を有する画像部分の輝度よりも大きく低減されることになる。
また、第１の画像処理方法を第３の画像処理方法へと変更するのと同様に、全景ぼかし部７２において、入力画像に対し、全景ぼかし処理の代わりに全景彩度低減処理を行うようにしても良い。全景彩度低減処理では、合焦度マップに関係なく、入力画像の全画素のＵ及びＶ信号の信号レベルが共通の条件にて低減される。この低減後のＵ及びＶ信号と入力画像そのもののＵ及びＶ信号を、上記の如く画素毎に合成比率に従って混合することで、出力画像のＵ及びＶ信号を得ることができる（この場合、出力画像のＹ信号は入力画像のＹ信号と同じとされる）。全景彩度低減処理を行う場合、入力画像から出力画像が生成される過程において、比較的小さな合焦度を有する画像部分の彩度が比較的大きな合焦度を有する画像部分の彩度よりも大きく低減されることになる。上記の全景ぼかし処理、全景輝度低減処理及び全景彩度低減処理の内、２つ以上の処理を、図１７の全景ぼかし部７２にて実行するようにしても良い。
＜＜第４実施例＞＞
第４実施例を説明する。第４実施例では、図４の合焦度導出部５１において採用することのできる合焦度の導出方法として、第１〜第４の合焦度導出方法を例示する。
――第１の合焦度導出方法――
第１の合焦度導出方法を説明する。第１の合焦度導出方法及び後述の第２の合焦度導出方法では、入力画像の画像信号が合焦度導出用情報（図４参照）として用いられている。まず、一次元のみに注目して、第１の合焦度導出方法の原理を説明する。図１９（ａ）は、入力画像上の合焦部における典型的な輝度信号のパターンを表し、図１９（ｂ）は、入力画像上の非合焦部における典型的な輝度信号のパターンを表している。但し、図１９（ａ）及び（ｂ）に対応する合焦部及び非合焦部には、輝度変化の境界部分であるエッジが存在しているものとする。図１９（ａ）及び（ｂ）の各グラフにおいて、横軸はＸ軸を表し、縦軸は輝度値を表している。輝度値とは、輝度信号の値を表し、輝度信号（即ちＹ信号）の信号レベルと同義である。注目画素（ｘ，ｙ）の輝度値が増大するに伴って、注目画素（ｘ，ｙ）の輝度は高くなる。
図１９（ａ）の合焦部においてエッジの中心部を注目画素と捉え、注目画素を中心とした極局所領域（例えば３画素分の幅を有する領域）内における輝度信号の最大値と最小値の差（以下、極局所領域の輝度差分値という）と、注目画素を中心とした局所領域（例えば７画素分の幅を有する領域）内における輝度信号の最大値と最小値の差（以下、局所領域の輝度差分値という）とを求めたとすると、合焦部では輝度が急峻に変化するため、（極局所領域の輝度差分値）／（局所領域の輝度差分値）は概ね１となる。
これに対し、図１９（ｂ）の非合焦部においてエッジの中心部を注目画素と捉え、上述の如く、注目画素を中心とした極局所領域の輝度差分値と、注目画素を中心とした局所領域の輝度差分値とを求めたとすると、非合焦部では輝度が緩やかに変化するため、（極局所領域の輝度差分値）／（局所領域の輝度差分値）は１よりも随分小さくなる。
第１の合焦度導出方法では、比“（極局所領域の輝度差分値）／（局所領域の輝度差分値）”が合焦部及び非合焦部間で異なるという性質を利用して、合焦度の導出を行う。
図２０は、第１の合焦度導出方法に係り、合焦度の導出を行う部位のブロック図である。図２０のＹＵＶ生成部６１は、図１５又は図１７に示されるそれと同じものである。図２０の符号１０１〜１０４によって参照される各部位を、図４の合焦度導出部５１に設けておくことができる。
ＹＵＶ生成部６１から出力される入力画像のＹ信号は、極局所領域差分抽出部１０１（以下、抽出部１０１と略記することがある）及び局所領域差分抽出部１０２（以下、抽出部１０２と略記することがある）に送られる。抽出部１０１は、入力画像のＹ信号から、画素ごとに極局所領域の輝度差分値を抽出して出力する。抽出部１０２は、入力画像のＹ信号から、画素ごとに局所領域の輝度差分値を抽出して出力する。エッジ差分比算出部１０３（以下、算出部１０３と略記することがある）は、画素ごとに、極局所領域の輝度差分値と局所領域の輝度差分値との比または該比に準ずる値を、エッジ差分比として算出及び出力する。
図２１は、入力画像のＹ信号から、極局所領域の輝度差分値、局所領域の輝度差分値及びエッジ差分比が求められる様子を示した図である。説明の簡略化上、７×７画素分の画像領域に着目して該算出処理を説明する。入力画像上の画素（ｉ，ｊ）における輝度値をａｉｊにて表す。従って例えば、ａ１２は入力画像上の画素（１，２）における輝度値を表す。ここで、ｉ及びｊは、整数であって、画素の水平座標値ｘ及び垂直座標値ｙを表す任意の変数である。また、画素（ｉ，ｊ）に対して求められた、極局所領域の輝度差分値、局所領域の輝度差分値及びエッジ差分比を、夫々、ｂｉｊ、ｃｉｊ及びｄｉｊにて表す。極局所領域とは、注目画素を中心とする比較的狭い画像領域を指し、局所領域とは、注目画素を中心とする極局所領域よりも広い画像領域を指す。
図２１では、例として、３×３画素から成る画像領域を極局所領域として定義し、７×７画素から成る画像領域を局所領域として定義している。従って、注目画素が画素（４，４）である場合には、３≦ｉ≦５且つ３≦ｊ≦５を満たす計９個の画素（ｉ，ｊ）にて形成される画像領域が注目画素（４，４）の極局所領域であり、１≦ｉ≦７且つ１≦ｊ≦７を満たす計４９個の画素（ｉ，ｊ）にて形成される画像領域が注目画素（４，４）の局所領域である。
極局所領域差分抽出部１０１は、注目画素の極局所領域における輝度値の最大値及び最小値の差を、注目画素に対する極局所領域の輝度差分値として算出する。但し、極局所領域の輝度差分値ｂｉｊが０以上となるように演算が成される。例えば、注目画素（４，４）の極局所領域においてａ５５が最大値且つａ３３が最小値であったならば、注目画素（４，４）に対する極局所領域の輝度差分値ｂ４４は、「ｂ４４＝ａ５５−ａ３３」にて求められる。
局所領域差分抽出部１０２は、注目画素の局所領域における輝度値の最大値及び最小値の差を、注目画素に対する局所領域の輝度差分値として算出する。但し、局所領域の輝度差分値ｃｉｊが０以上となるように演算が成される。例えば、注目画素（４，４）の局所領域においてａ１１が最大値且つａ１７が最小値であったならば、注目画素（４，４）に対する局所領域の輝度差分値ｃ４４は、「ｃ４４＝ａ１１−ａ１７」にて求められる。
注目画素は、１画素単位で水平又は垂直方向にシフトされ、シフトの度に、極局所領域の輝度差分値及び局所領域の輝度差分値が算出される。この結果、最終的に、全画素に対する極局所領域の輝度差分値及び局所領域の輝度差分値が求められる。図２１の例では、ｂ１１〜ｂ７７及びｃ１１〜ｃ７７が全て求められる。
エッジ差分比算出部１０３は、各画素について、極局所領域の輝度差分値と局所領域の輝度差分値に所定の微小値ＶOFFSETを加えた値との比を、エッジ差分比として算出する。即ち、
等式「ｄｉｊ＝ｂｉｊ／（ｃｉｊ＋ＶOFFSET）」
に従って、画素（ｉ，ｊ）に対するエッジ差分比ｄｉｊを求める。図２１に示す如く、ｂ１１〜ｂ７７及びｃ１１〜ｃ７７からｄ１１〜ｄ７７が求められる。尚、ＶOFFSETは、上記等式の分母がゼロになることを防止するために設定された、正の値を有するオフセット値である。
拡張処理部１０４は、算出された各画素のエッジ差分比に基づいて、エッジ差分比の大きな領域を拡張する。この拡張を行う処理を単に拡張処理といい、該拡張処理を経たエッジ差分比を拡張エッジ差分比という。図２２は、拡張処理部１０４の拡張処理の概念図である。図２２において、折れ線４１１は、入力画像上の合焦部における典型的な輝度信号のパターンを表しており、折れ線４１２は、折れ線４１１にて表される輝度信号から導出されたエッジ差分比のパターンを表しており、折れ線４１３は、折れ線４１２にて表されるエッジ差分比から導出された拡張エッジ差分比のパターンを表している。
折れ線４１２からも明らかなように、エッジ差分比は、エッジの中心部分である地点４１０において極大値をとる。拡張処理部１０４は、地点４１０を中心とし且つ所定の大きさを有する画像領域を拡張対象領域として設定し、拡張対象領域に属する各画素のエッジ差分比を地点４１０におけるエッジ差分比に置換する。この置換を経たエッジ差分比が、拡張処理部１０４にて求められるべき拡張エッジ差分比である。即ち、拡張処理部１０４は、拡張対象領域に属する各画素のエッジ差分比を、拡張対象領域における最大のエッジ差分比にて置換する。
画素（ｉ，ｊ）に対する拡張エッジ差分比をｄｉｊ’にて表す。図２３（ａ）〜（ｈ）は、図２０の拡張処理部１０４による拡張処理を説明するための図である。図２３（ａ）〜（ｄ）では、エッジ差分比算出部１０３から出力されるエッジ差分比の内、７×７画素分のエッジ差分比ｄ１１〜ｄ７７が示されている。図２３（ａ）等に示される例では、注目画素を中心とする３×３画素分の画像領域が拡張対象領域とされる。図２３（ａ）、（ｂ）、（ｃ）及び（ｄ）の順番に拡張処理が進行するものとする。図２３（ａ）の状態から、注目画素及び拡張対象領域が右側、上側及び下側に一画素分だけシフトされると、夫々、図２３（ｂ）、（ｃ）及び（ｄ）の状態に至る。
図２３（ａ）の状態においては、画素（４，４）が注目画素として設定される。従って、３≦ｉ≦５且つ３≦ｊ≦５を満たす計９個の画素（ｉ，ｊ）にて形成される画像領域が拡張対象領域４２１として設定される。今、拡張対象領域４２１に属する９画素についてのエッジ差分比の内、注目画素（４，４）のエッジ差分比ｄ４４が最大であったとする。この場合、拡張処理部１０４は、注目画素（４，４）のエッジ差分比に対して上記置換を行わず、そのまま維持する。即ち、注目画素（４，４）に対する拡張エッジ差分比ｄ４４’は、エッジ差分比ｄ４４そのものとされる。図２３（ｅ）は、図２３（ａ）の状態に対して拡張処理を行った結果を表している。図２３（ｅ）において、黒塗り部分は、拡張処理後においてｄ４４の拡張エッジ差分比が付与される部分を表している（後述の図２３（ｆ）、（ｇ）及び（ｈ）も同様）。
図２３（ｂ）の状態においては、画素（４，５）が注目画素として設定され、注目画素（４，５）に対して拡張対象領域４２２が設定される。今、拡張対象領域４２２に属する９画素についてのエッジ差分比の内、ｄ４４が最大であったとすると、拡張処理部１０４は、注目画素（４，５）のエッジ差分比ｄ４５をｄ４４に置換する。即ち、ｄ４５’＝ｄ４４、とされる。図２３（ｆ）は、図２３（ａ）及び（ｂ）の状態に対して拡張処理を行った結果を表している。
図２３（ｃ）の状態においては、画素（３，４）が注目画素として設定され、注目画素（３，４）に対して拡張対象領域４２３が設定される。今、拡張対象領域４２３に属する９画素についてのエッジ差分比の内、ｄ４４が最大であったとすると、拡張処理部１０４は、注目画素（３，４）のエッジ差分比ｄ３４をｄ４４に置換する。即ち、ｄ３４’＝ｄ４４、とされる。図２３（ｇ）は、図２３（ａ）〜（ｃ）の状態に対して拡張処理を行った結果を表している。
図２３（ｄ）の状態においては、画素（５，４）が注目画素として設定され、注目画素（５，４）に対して拡張対象領域４２４が設定される。今、拡張対象領域４２４に属する９画素についてのエッジ差分比の内、ｄ４４が最大であったとすると、拡張処理部１０４は、注目画素（５，４）のエッジ差分比ｄ５４をｄ４４に置換する。即ち、ｄ５４’＝ｄ４４、とされる。図２３（ｈ）は、図２３（ａ）〜（ｄ）の状態に対して拡張処理を行った結果を表している。
上述のような拡張処理が全画素に対して行われる。この拡張処理を用いると、エッジ部分の領域が拡張されるため、ピントの合っている被写体とピントの合っていない被写体との境界が明確になる。
拡張エッジ差分比ｄｉｊ’は、画素（ｉ，ｊ）における被写体のピントが合っていれば比較的大きくなり、そうでなければ比較的小さくなる。従って、第１の合焦度導出方法では、拡張エッジ差分比ｄｉｊ’を、画素（ｉ，ｊ）における合焦度ＦＤ（ｉ，ｊ）として用いる。但し、拡張処理前のエッジ差分比ｄｉｊを、画素（ｉ，ｊ）における合焦度ＦＤ（ｉ，ｊ）として用いることも可能である。
――第２の合焦度導出方法――
第２の合焦度導出方法を説明する。図２４は、第２の合焦度導出方法に係り、合焦度の導出を行う部位のブロック図である。図２４のＹＵＶ生成部６１は、図１５等に示されるそれと同じものである。図２４の符号１１１〜１１４によって参照される各部位を、図４の合焦度導出部５１に設けておくことができる。
高域ＢＰＦ１１１は、ＹＵＶ生成部６１から出力される輝度信号の内、通過帯域ＢＡＮＤH内の空間周波数成分を含む輝度信号を抽出して出力するバンドパスフィルタであり、低域ＢＰＦ１１２は、ＹＵＶ生成部６１から出力される輝度信号の内、通過帯域ＢＡＮＤL内の空間周波数成分を含む輝度信号を抽出して出力するバンドパスフィルタである。高域ＢＰＦ１１１において、通過帯域ＢＡＮＤH外の空間周波数成分は除去され、低域ＢＰＦ１１２において、通過帯域ＢＡＮＤL外の空間周波数成分は除去される。但し、高域ＢＰＦ１１１及び低域ＢＰＦ１１２における除去とは、除去される対象の完全なる除去又は一部の除去を意味する。対象の一部の除去は、対象の低減とも言い換えれる。
高域ＢＰＦ１１１における通過帯域ＢＡＮＤHの中心周波数は、低域ＢＰＦ１１２における通過帯域ＢＡＮＤLの中心周波数よりも高い。また、通過帯域ＢＡＮＤHの低域側のカットオフ周波数は、通過帯域ＢＡＮＤLの低域側のカットオフ周波数よりも高く、通過帯域ＢＡＮＤHの高域側のカットオフ周波数は、通過帯域ＢＡＮＤLの高域側のカットオフ周波数よりも高い。
高域ＢＰＦ１１１は、入力画像の輝度信号のみから成る濃淡画像に対して、通過帯域ＢＡＮＤHに応じた周波数フィルタリングを行うことにより、通過帯域ＢＡＮＤHに応じた周波数フィルタリング後の濃淡画像を得ることができる。低域ＢＰＦ１１２についても同様にすることで、低域ＢＰＦ１１２からも濃淡画像が得られる。
周波数成分比算出部１１３は、高域ＢＰＦ１１１の出力値及び低域ＢＰＦ１１２の出力値に基づき、画素ごとに周波数成分比を算出する。高域ＢＰＦ１１１から得られる濃淡画像上の画素（ｉ，ｊ）の輝度値をｅｉｊにて表し、低域ＢＰＦ１１２から得られる濃淡画像上の画素（ｉ，ｊ）の輝度値をｆｉｊにて表し、画素（ｉ，ｊ）に対する周波数成分比をｇｉｊにて表す。そうすると、周波数成分比算出部１１３は、
等式「ｇｉｊ＝｜ｅｉｊ／ｆｉｊ｜」に従って、
画素ごとに周波数成分比を算出する。
拡張処理部１１４は、図２０の拡張処理部１０４と同様の拡張処理を行う。但し、拡張処理部１０４がエッジ差分比ｄｉｊに対して拡張処理を行うことで拡張エッジ差分比ｄｉｊ’を導出していたのに対し、拡張処理部１１４は周波数成分比ｇｉｊに対して拡張処理を行うことで拡張周波数成分比ｇｉｊ’を導出する。拡張処理部１０４によるエッジ差分比から拡張エッジ差分比を導出する方法と、拡張処理部１１４による周波数成分比から拡張周波数成分比を導出する方法は同じである。
拡張周波数成分比ｇｉｊ’は、画素（ｉ，ｊ）における被写体のピントが合っていれば比較的大きくなり、そうでなければ比較的小さくなる。従って、第２の合焦度導出方法では、拡張周波数成分比ｇｉｊ’を、画素（ｉ，ｊ）における合焦度ＦＤ（ｉ，ｊ）として用いる。但し、拡張処理前の周波数成分比ｇｉｊを、画素（ｉ，ｊ）における合焦度ＦＤ（ｉ，ｊ）として用いることも可能である。
尚、上述してきたように、合焦度画像は、入力画像の各部におけるピントがどの程度合っているかを表している。一方で、比較的小さな合焦度を有する画像領域内の画像に対してぼかし処理を施すこと等により出力画像が生成されるのであるから、合焦度画像は、出力画像の各部におけるぼけ具合を表しているともいえる。出力画像の各部におけるぼけ具合をより正確に表すためには、入力画像の画像信号よりも出力画像の画像信号から合焦度画像を生成した方が好ましい、とも考えることができる。出力画像の画像信号は、出力画像のぼけ状態の情報を直接的に包含しているからである。これを考慮し、以下のような方法を採用しても良い。
まず、入力画像の画像信号に基づいて第１の合焦度画像を生成し、出力画像生成部５２において入力画像と第１の合焦度画像から出力画像を生成する。その後、入力画像の画像信号から第１の合焦度画像を生成する方法と同様の方法にて、出力画像の画像信号から第２の合焦度画像を生成する。第２の合焦度画像は、出力画像を生成するためのものではなく、出力画像のぼけ具合をユーザに確認させるための表示用画像として利用可能である。即ち例えば、第２の合焦度画像を図５（ｃ）の合焦度画像２１２と見立てた上で、第２の合焦度画像に基づく合焦度抽出画像を、上述の第１〜第４の表示方法の何れかにて表示することができる（図１０（ｃ）及び図１１〜図１４参照）
――第３の合焦度導出方法――
第３の合焦度導出方法を説明する。第３の合焦度導出方法では、入力画像上の各画素における被写体の被写体距離を画素値として有する距離画像と、入力画像の撮影時における撮像部１１の焦点距離と、に基づいて合焦度画像を生成する。焦点距離が分かれば、ピントが最も合う被写体距離が定まるため、ピントが最も合う被写体距離（以下、合焦距離という）に対して最も大きな合焦度（以下、単に上限合焦度という）を割り当てると共に、注目画素の被写体距離が合焦距離から離れるにつれて注目画素に対する合焦度が上限合焦度から減少するように、合焦度画像を生成すればよい。
距離画像の生成方法は任意である。例えば、撮像装置１は、入力画像上の各画素における被写体距離を測定する測距センサ（不図示）を用いて距離画像を生成することができる。測距センサとして、三角測量法に基づく測距センサ等、公知の任意の測距センサを用いることができる。
――第４の合焦度導出方法――
第４の合焦度導出方法を説明する。図４の合焦度導出部５１は、ユーザの指示に基づいて合焦度画像を生成することもできる。例えば、入力画像の撮影後、入力画像を表示部１５に表示している状態において、操作部１７に対するユーザからの合焦度指定操作を受け付ける。或いは、表示部１５にタッチパネル機能が設けられている場合においては、ユーザによるタッチパネル操作によって合焦度指定操作を受け付ける。合焦度指定操作により、入力画像上の各画素に対する合焦度が指定される。
例えば、入力画像の全画像領域の内、第１の合焦度を有するべき画像領域と、第２の合焦度を有するべき画像領域と、・・・、第ｎの合焦度を有するべき画像領域とを、ユーザに指定させ（ｎは２以上の整数）、その指定内容に従って合焦度画像を生成することができる。ここで、第１〜第ｎの合焦度は、互いに異なる合焦度であるとする。
＜＜第５実施例＞＞
第５実施例を説明する。上述してきた方法に従って入力画像から出力画像を生成することができるが、一旦生成した出力画像における“ぼけ”がユーザ所望のものと異なる場合、ユーザは、所望のぼけが得られるまで出力画像に修正をかけることできる。第５実施例では、この修正に関する動作を含む、出力画像の生成動作を説明する。図２５は、この生成動作の流れを説明するためのフローチャートである。説明の具体化のため、入力画像として図５（ａ）の入力画像２１０が得られた場合を想定した上で、該フローチャートに沿って動作説明を行う。尚、図２５に示される動作は、入力画像から出力画像を生成する機能が、前もって有効とされている場合における動作である。
まず、ステップＳ１１において、撮像部１１の撮影により入力画像２１０が取得される。入力画像２１０は、通常、操作部１７に対して成された静止画像撮影指示に従って取得される。
ステップＳ１１にて入力画像２１０の取得が行われた後、ステップＳ１２において、主制御部１３は、図２６（ａ）に示されるような表示を表示部１５に行わせつつ、背景ぼかしの指示がユーザにより成されているか否かを確認し、ユーザにより背景ぼかしの指示が成された場合にはステップＳ１３に移行し、該指示が成されなかった場合には図２５の処理を終了する。図２６（ａ）に示す如く、ステップＳ１２では、表示部１５の表示画面ＤＩＳＰ上に入力画像２１０と第１メッセージが表示される。第１メッセージの例は、「この画像に対して、背景ぼかし処理を行いますか？」である。ユーザへのメッセージにおける背景ぼかし処理とは、上述の出力画像生成処理のことを指す。
ステップＳ１３では、図４の合焦度導出部５１により、入力画像２１０に対応する合焦度画像２１２の生成が行われる（図５（ａ）及び（ｃ）参照）。続くステップＳ１４において、主制御部１３は、表示部１５を用いて合焦度画像２１２の表示を行う。この際、主制御部１３は、図２５（ｂ）に示す如く、合焦度画像２１２と共に第２メッセージを表示画面ＤＩＳＰ上に表示させる。第２メッセージの例は、「このぼかし度画像に基準に、背景ぼかし処理を行いますか？」である。ユーザへのメッセージにおけるぼかし度画像とは、合焦度画像のことを指す。
ユーザは、第２メッセージを含む映像を確認しつつ、表示画面ＤＩＳＰ上に表示されている合焦度画像２１２を修正するか否かを検討し、合焦度画像２１２を修正する指示又は合焦度画像２１２を修正しない指示を操作部１７に対して入力する。ステップＳ１４に続くステップＳ１５において、主制御部１３は、合焦度画像２１２を修正する指示が操作部１７に対して成されたか否かを確認する。合焦度画像２１２を修正する指示が操作部１７に対して成された場合には、ステップＳ１５からステップＳ１７に移行する一方、合焦度画像２１２を修正しない指示が操作部１７に対して成された場合には、ステップＳ１５からステップＳ１６に移行する。
ステップＳ１６において、出力画像生成部５２は、入力画像２１０に対する最新の合焦度画像に基づき入力画像２１０から出力画像を生成し、次いで、主制御部１３は、表示部１５に対する出力画像の表示及び記録媒体１６に対する出力画像の記録を行う。合焦度画像に対する修正が１回も成されずにステップＳ１６に至った場合においては、最新の合焦度画像は図５（ｃ）の合焦度画像２１２であり、ステップＳ１６にて生成される出力画像は、入力画像２１０及び合焦度画像２１２に基づく図５（ｂ）の出力画像２１１である。合焦度画像に対する修正が成されてからステップＳ１６に至った場合においては、ステップＳ１６にて生成される出力画像は、入力画像２１０及び修正後の合焦度画像に基づく出力画像である。ステップＳ１６においては、主制御部１３及び表示部１５の働きにより、図２６（ｃ）に示すような表示が成される。即ち、ステップＳ１６にて生成された出力画像と共に第３メッセージが表示画面ＤＩＳＰ上に表示される。第３メッセージの例は、「背景ぼかし処理が完了しました。」である。
ステップＳ１７において、主制御部１３は、ユーザによる修正指示内容を受け付ける。この受け付けは、撮像装置１に対する修正指示内容の入力をユーザが完了するまで実行され、その完了後、ステップＳ１７からステップＳ１３に戻る。この受け付けの際、主制御部１３は、図２５（ｄ）に示す如く、合焦度画像２１２と共に第４メッセージを表示画面ＤＩＳＰ上に表示させる。第４メッセージの例は、「修正して下さい。」である。ユーザによる修正指示内容の入力の方法は任意である。例えば、ユーザは、合焦度画像２１２上の特定領域を指定した上で、該特定領域の合焦度を自由に変更することができる。
ステップＳ１７からステップＳ１３に戻った場合、ステップＳ１３では、ステップＳ１７にて入力された修正指示内容に従って合焦度画像が再生成される。以後、再生成された合焦度画像に対してステップＳ１４以降の処理が実行される。
このような、ユーザによる合焦度画像の修正を可能としておくことにより、ユーザは所望の出力画像を簡単に得ることが可能になる。
尚、ステップＳ１４において、合焦度画像ではなく、入力画像２１０に基づく出力画像２１１、出力抽出画像３０１又は合焦度抽出画像３０２を表示するようにしても良いし（図５（ｂ）、図１０（ｂ）及び（ｃ）参照）、図１２〜図１４に対応する上記第２〜第４の表示方法の何れかに従う表示（例えば、入力抽出画像３００と出力抽出画像３０１の交互表示）を表示画面ＤＩＳＰ上に行うようにしても良い。或いは、ステップＳ１４において、合焦度画像を表示画面ＤＩＳＰ上に一旦表示した後、所定の拡大操作があった時に、合焦度抽出画像３０２を表示するようにしても良い。これらの場合、ステップＳ１４において表示される第２メッセージも、表示画像に適応したメッセージに変更される。
また、上述の動作例では、合焦度画像に対して修正が成されているが、ユーザの修正指示内容に従い、図１５の変換テーブル６２又は図１７の変換テーブル７３におけるパラメータを修正するようにしても良い。修正対象となるパラメータに、ＴＨA〜ＴＨF、ＢＤL、ＢＤH、ＥＤL、ＥＤH、ＫL及びＫHを含めておくことができる（図１６（ａ）及び（ｂ）並びに図１８参照）。例えば、ユーザが出力画像における被写界深度をより浅くすることを指示した場合においては、図１８のＴＨEを増大修正することができる。何れにせよ、一旦、出力画像の生成が成された後、ステップＳ１５からステップＳ１７に至ってユーザの修正指示が撮像装置１に与えられた場合は、該修正指示に従って出力画像の再生成が成されることとなる（換言すれば、一旦生成された出力画像の修正が成されることとなる）。
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
［注釈１］
上述の各実施例では、出力画像生成処理及び合焦度を導出する処理を、入力画像の画素単位で実行しているが、それらの処理を、複数の画素から成るブロック単位で行うようにしても良い。
例えば、入力画像の全画像領域を各々が３×３画素の大きさを有するブロックにて分割し、合焦度導出用情報に基づきブロックごとに合焦度を導出することで合焦度画像を生成する。そして例えば、図１７の構成を採用する場合においては、生成した合焦度画像からブロックごとに合成比率を導出し、ブロックごとの合成比率に従ってブロックごとに入力画像と全景ぼかし部７２からの全景ぼかし画像とを合成することで出力画像を生成するようにしても良い。
画素単位の処理とブロック単位の処理をまとめると、以下のように表現できる。入力画像等の任意の二次元画像は複数の小領域から成り、出力画像生成処理及び合焦度を導出する処理は、小領域を単位にして小領域ごとに実行することができる。ここで、小領域は、１つの画素のみから成る画像領域（この場合、小領域は画素そのものである）、又は、複数の画素から成る上記ブロックである。
[注釈２]
上述の実施形態では、画像再生装置とも言うべき画像処理／再生部５０が撮像装置１内に設けられていることを想定したが（図１及び図４参照）、画像処理／再生部５０は、撮像装置１と異なる電子機器（不図示）に搭載されていてもよい。電子機器には、テレビ受信機のような表示装置、パーソナルコンピュータ、携帯電話機などが含まれ、撮像装置も電子機器の一種である。撮像装置１における撮影によって得られた入力画像の画像信号を、記録媒体１６を介して又は通信によって上記電子機器に伝達するようにすれば、当該電子機器内の画像処理／再生部５０において入力画像から出力画像を生成することが可能である。この際、合焦度導出用情報が入力画像の画像信号と異なる場合には、合焦度導出用情報も併せて上記電子機器に伝達すればよい。当該電子機器に表示部１５と同等の表示部が設けられておれば、表示部１５にて表示される画像と同様の画像を当該電子機器の表示部上において表示することが可能である。
［注釈３］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
１ 撮像装置
１１ 撮像部
１２ ＡＦＥ
１３ 主制御部
１５ 表示部
５０ 画素処理／再生部
５１ 合焦度導出部
５２ 出力画像生成部
５３ 切出処理部
５４ 表示制御部

Claims (6)

  1. 複数の小領域にて分割される入力撮影画像の合焦度を前記小領域ごとに導出する合焦度導出部と、
    比較的大きな合焦度を有する小領域内の被写体を比較的小さな合焦度を有する小領域内の被写体よりも強調させるための画像処理を、前記入力撮影画像に施すことによって出力画像を生成する出力画像生成部と、
    前記出力画像の一部を前記出力画像から切り出すことによって得られる第１画像、及び、前記小領域ごとの合焦度をマッピングして得た合焦度画像の一部を前記合焦度画像から切り出すことによって得られる第２画像の双方又は一方を抽出画像として生成する切出処理部と、を備え、
    前記抽出画像を表示部に表示させる画像再生装置であって、
    前記切出処理部は、前記抽出画像を生成する際の切り出し位置を、前記合焦度に応じて設定する
    ことを特徴とする画像再生装置。
  2. 前記切出処理部は、比較的大きな合焦度を有する小領域と比較的小さな合焦度を有する小領域が前記抽出画像に含まれるように、前記切り出し位置を前記合焦度に応じて設定する
    ことを特徴とする請求項１に記載の画像再生装置。
  3. 前記切出処理部は、
    前記合焦度導出部にて導出された合焦度の内の、最大の合焦度を有する小領域及び最小の合焦度を有する小領域が前記抽出画像に含まれるように、或いは、
    前記合焦度画像上における合焦度の勾配が最大となる部分が前記抽出画像に含まれるように、或いは、
    前記抽出画像に含まれる小領域の内、前記合焦度が第１合焦度以上となる小領域の面積総和と前記合焦度が第１合焦度よりも低い第２合焦度以下となる小領域の面積総和との比が、１を含む所定範囲内に収まるように、
    前記切り出し位置を前記合焦度に応じて設定する
    ことを特徴とする請求項１または請求項２に記載の画像再生装置。
  4. 前記切出処理部は、前記切り出し位置に従って前記入力撮影画像の一部を前記入力撮影画像から切り出すことによって得られる第３画像も、生成すべき前記抽出画像に含め、
    当該画像再生装置は、前記抽出画像としての前記第１〜第３画像の内の２以上の画像を、同時に或いは交互に或いは順次、前記表示部に表示させる
    ことを特徴とする請求項１〜請求項３の何れかに記載の画像再生装置。
  5. 前記合焦度画像、前記出力画像、前記第１画像及び前記第２画像の少なくとも１つを前記表示部に表示している状態で外部からの修正指示を受け付け、
    前記修正指示があった際、前記出力画像生成部は、前記修正指示に従って前記出力画像を修正する
    ことを特徴とする請求項１〜請求項４の何れかに記載の画像再生装置。
  6. 撮影によって画像を取得する撮像部と、
    請求項１〜請求項５の何れかに記載の画像再生装置と、を備えた撮像装置であって、
    前記撮像部にて取得された前記画像が入力撮影画像として前記画像再生装置に与えられることを特徴とする撮像装置。
JP2009232250A 2009-10-06 2009-10-06 画像再生装置及び撮像装置 Pending JP2011082726A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009232250A JP2011082726A (ja) 2009-10-06 2009-10-06 画像再生装置及び撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009232250A JP2011082726A (ja) 2009-10-06 2009-10-06 画像再生装置及び撮像装置

Publications (1)

Publication Number Publication Date
JP2011082726A true JP2011082726A (ja) 2011-04-21

Family

ID=44076335

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009232250A Pending JP2011082726A (ja) 2009-10-06 2009-10-06 画像再生装置及び撮像装置

Country Status (1)

Country Link
JP (1) JP2011082726A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013034173A (ja) * 2011-06-28 2013-02-14 Panasonic Corp 撮像装置
US9319582B2 (en) 2011-06-28 2016-04-19 Panasonic Intellectual Property Management Co., Ltd. Imaging device and image processor configured to process an object region
JP2021114320A (ja) * 2016-06-24 2021-08-05 富士フイルム株式会社 サーバ装置、画像処理方法、及びプログラム
CN115242968A (zh) * 2022-06-10 2022-10-25 浙江大华技术股份有限公司 一种摄像设备的聚焦方法、装置和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002112008A (ja) * 2000-09-29 2002-04-12 Minolta Co Ltd 画像処理システム及び画像処理プログラムが記録された記録媒体
JP2007124399A (ja) * 2005-10-28 2007-05-17 Nikon Corp 画像処理装置、電子カメラおよび画像処理プログラム
JP2009031979A (ja) * 2007-07-26 2009-02-12 Ricoh Co Ltd 画像処理装置およびデジタルカメラ
JP2009088722A (ja) * 2007-09-28 2009-04-23 Casio Comput Co Ltd 撮像装置、合焦状態表示方法、合焦状態表示プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002112008A (ja) * 2000-09-29 2002-04-12 Minolta Co Ltd 画像処理システム及び画像処理プログラムが記録された記録媒体
JP2007124399A (ja) * 2005-10-28 2007-05-17 Nikon Corp 画像処理装置、電子カメラおよび画像処理プログラム
JP2009031979A (ja) * 2007-07-26 2009-02-12 Ricoh Co Ltd 画像処理装置およびデジタルカメラ
JP2009088722A (ja) * 2007-09-28 2009-04-23 Casio Comput Co Ltd 撮像装置、合焦状態表示方法、合焦状態表示プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013034173A (ja) * 2011-06-28 2013-02-14 Panasonic Corp 撮像装置
US9319582B2 (en) 2011-06-28 2016-04-19 Panasonic Intellectual Property Management Co., Ltd. Imaging device and image processor configured to process an object region
JP2021114320A (ja) * 2016-06-24 2021-08-05 富士フイルム株式会社 サーバ装置、画像処理方法、及びプログラム
CN115242968A (zh) * 2022-06-10 2022-10-25 浙江大华技术股份有限公司 一种摄像设备的聚焦方法、装置和计算机可读存储介质

Similar Documents

Publication Publication Date Title
JP2011239195A (ja) 電子機器
JP6029380B2 (ja) 画像処理装置、画像処理装置を具備する撮像装置、画像処理方法、及びプログラム
US20120044400A1 (en) Image pickup apparatus
JP6056702B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2008294785A (ja) 画像処理装置、撮像装置、画像ファイル及び画像処理方法
JP2011130169A (ja) 画像処理装置及び撮影装置
CN107277360A (zh) 一种双摄像头切换进行变焦的方法、移动终端及存储装置
JP2010145693A (ja) 画像表示装置及び撮像装置
JP2017017445A (ja) 撮像装置、画像処理装置、撮像装置が実行する撮像方法、画像処理装置が実行する画像処理方法、及びプログラム
JP2011166588A (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
JP2008288706A (ja) 撮像装置、画像処理装置、画像ファイル及び階調補正方法
JP2010268426A (ja) 画像処理装置、画像処理方法およびプログラム
JP2011082726A (ja) 画像再生装置及び撮像装置
JP6748847B2 (ja) 撮像装置
JP2011066827A (ja) 画像処理装置、画像処理方法及びプログラム
US11032463B2 (en) Image capture apparatus and control method thereof
JP2017143504A5 (ja)
JP2012235198A (ja) 撮像装置
JP2019075716A (ja) 画像処理装置、画像処理方法、及びプログラム
JP7346077B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11108944B2 (en) Image processing apparatus for providing information for confirming depth range of image, control method of the same, and storage medium
JP2007166442A (ja) 撮像装置
JP6961423B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、プログラムおよび記録媒体
JP6029464B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP7458769B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120828

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130404

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130910

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140225