JP2011211291A - 画像処理装置、撮像装置及び表示装置 - Google Patents

Abstract

【課題】シーンに適した画像を容易に得ることを可能とした画像処理装置や、当該画像処理装置を備える撮像装置及び表示装置を提供する。
【解決手段】合焦状態補正部５０は、入力画像のシーンを推定するシーン推定部５１と、シーン推定結果情報に基づいた合焦状態を設定する合焦状態設定部５２と、合焦状態設定部５２で設定された合焦状態となるように入力画像の合焦状態を補正して出力画像を生成する合焦状態補正処理部５３と、を備える。そのため、撮像時及び撮像後に煩雑な操作を伴うことなく、シーンに適した合焦状態となる出力画像を容易に得ることが可能となる。
【選択図】図２

Description

本発明は、入力画像を処理して出力画像を生成する画像処理装置や、撮像により入力画像を生成する撮像装置、出力画像を表示する表示装置に関する。

静止画や動画などの画像を撮像する、デジタルカメラに代表される撮像装置が広く普及している。このような撮像装置では、ユーザが撮像時に撮像方法を指定（例えば、焦点距離、絞り、露出時間などの各パラメータを指定）して撮像を行う。また、いくつかの代表的な被写体状態（即ち、シーン）に適したそれぞれの撮像方法（例えば、各パラメータの特定の組み合わせや、特定の設定方法）を「撮像モード」として予め規定し、ユーザに任意の撮像モードを選択させる撮像装置も提案されている。

さらに、撮像モードを自動的に選択して提示する撮像装置も提案されている。例えば特許文献１では、予め設定したイベントに応じて、使用される可能性の高い撮像モードから順に提示する撮像装置が提案されている。

特開２００７−７４５５０号公報

しかしながら、上述の撮像装置では、シーンに適した撮像モードで撮像を行うために、ユーザがシーンを正しく認識して所望の画像が得られる撮像モードを選択するか、自動的に選択された撮像モードが妥当か否かを検討する必要がある。そのため、ユーザに煩雑な操作を強いることや、不慣れなユーザでは撮像が困難になることが問題となる。特に、不意に撮像のタイミングが訪れた場合に、瞬時に適切な撮像モードを選択して撮像することは、慣れたユーザであっても困難である。

これに対して、撮像後に画像処理ソフトなどを用いて画像を補正することで、適切な撮像モードで撮像されて得られる画像に近づけることができる。しかしながら、当該画像を得るための補正方法を決定するためには、画像処理に関する知識が必要となる。そのため、不慣れなユーザは画像を補正することが困難となる。また、慣れたユーザであっても、補正用のパラメータを調整したり、同種または異種の処理を繰り返したりする必要が生じ得るため、操作が煩雑であるとともに処理に時間を要する。

そこで本発明は、シーンに適した画像を容易に得ることを可能とした画像処理装置や、当該画像処理装置を備える撮像装置及び表示装置を提供することを目的とする。

上記目的を達成するために、本発明における撮像装置は、入力画像のシーンを推定するシーン推定部と、前記シーン推定部の推定結果に基づいた合焦状態を設定する合焦状態設定部と、入力画像の合焦状態を、前記合焦状態設定部で設定された合焦状態となるように補正して出力画像を生成する合焦状態補正処理部と、を備えることを特徴とする。

また、上記構成の画像処理装置において、前記合焦状態設定部が、入力画像中で合焦する位置及び被写界深度を設定することとしても構わない。

このように構成すると、被写体の見え方や画像から受ける印象に、直接的かつ重大な影響を与える合焦位置や被写界深度を、シーンに応じて補正することが可能となる。そのため、ユーザが所望する画像に近い出力画像を、自動的かつ効果的に生成することが可能となる。

また、上記構成の画像処理装置において、前記シーン推定部が、ユーザが指定するシーン、入力画像の色分布、被写体距離、入力画像中の顔の有無、入力画像の撮像時に集音された音及び入力画像中の動体の有無の少なくとも１つに基づいて、シーンを推定することとしても構わない。

このように構成し、シーン推定部が入力画像中の顔の有無に基づいて入力画像のシーンを推定する場合、入力画像中の顔の有無に応じて入力画像の合焦状態が補正され、それによって出力画像が生成されることとなる。そのため、効果的に人物（特に、顔）を強調した出力画像を得ることが可能となる。また、シーン推定部が被写体距離に基づいて入力画像のシーンを推定する場合、被写体距離に応じて入力画像の合焦状態が補正され、それによって出力画像が生成されることとなる。そのため、精度よく合焦状態を補正することが可能となる。特に、光学的に合焦状態を制御したような、自然な出力画像を得ることが可能となる。

また、上記構成の画像処理装置において、前記シーン推定部が、入力画像中の主要な被写体が人物であると推定するとき、前記合焦状態設定部が、入力画像中の人物に合焦して被写界深度を浅くする合焦状態を設定することとしても構わない。

このように構成すると、合焦状態補正処理部において、人物が鮮明であり、背景などの人物以外の被写体が不鮮明となる（ぼけた）出力画像を生成することが可能となる。即ち、人物が強調された出力画像を生成することが可能となる。

また、上記構成の画像処理装置において、前記シーン推定部が、入力画像中の主要な被写体が景色であると推定するとき、前記合焦状態設定部が、入力画像中の全体に合焦して被写界深度を深くする合焦状態を設定することとしても構わない。

このように構成すると、合焦状態補正処理部において、全体が鮮明となる出力画像を生成することが可能となる。

また、上記構成の画像処理装置において、前記シーン推定部が、入力画像中の主要な被写体が動体であると推定するとき、前記合焦状態設定部が、入力画像中の動体に合焦して被写界深度を浅くまたは深くする合焦状態を設定することとしても構わない。

このように構成し、被写界深度を浅くする合焦状態を設定する場合、合焦状態補正処理部において、動体が鮮明であり、動体以外の他の被写体が不鮮明（ぼけた）となる出力画像を生成することが可能となる。即ち、動体が強調された出力画像を生成することが可能となる。また、一般的な撮像装置で動体を撮像したような、自然な合焦状態の出力画像を容易に得ることが可能となる。一方、被写界深度を深くする合焦状態を設定する場合、従来の撮像装置では撮像が困難であった合焦状態の出力画像を、容易に得ることが可能となる。

また、上記構成の画像処理装置において、前記シーン推定部が、入力画像中の主要な被写体が近い被写体であると推定するとき、前記合焦状態設定部が、入力画像中の最も被写体距離が近い被写体に合焦して被写界深度を浅くする合焦状態を設定することとしても構わない。

このように構成すると、合焦状態補正処理部において、最も被写体距離が近い被写体が鮮明であり、その他の被写体が不鮮明（ぼけた）となる出力画像を生成することが可能となる。即ち、最も被写体距離が近い被写体が強調された出力画像を生成することが可能となる。

また、本発明の撮像装置は、撮像により入力画像を生成する撮像部と、入力画像に基づいて出力画像を生成する上記の画像処理装置と、を備えることを特徴とする。

また、本発明の表示装置は、入力画像を取得する取得部と、入力画像に基づいて出力画像を生成する上記の画像処理装置と、出力画像を表示する表示部と、を備えることを特徴とする。

本発明の構成とすると、入力画像のシーンを推定するとともに、推定したシーンに対応するように入力画像の合焦状態を補正した出力画像を生成することが可能となる。そのため、撮像時の正確なシーン認識や撮像モードの選択、撮像後の煩雑な画像処理をユーザに強いることなく、シーンに適した合焦状態となる出力画像を容易に得ることが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明によりさらに明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の実施の形態の一つであって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

は、本発明の実施の一形態である撮像装置の全体構成例を示すブロック図である。 は、合焦状態補正部の基本構成例を示すブロック図である。 は、合焦状態補正部の基本動作例について説明する入力画像及び出力画像の一例を示す図である。 は、シーン推定方法の第２例について説明するグラフの一例を示す図である。 は、合焦状態の設定方法の具体例について説明するルックアップテーブルの一例を示す図である。 は、合焦状態の補正方法の第２例について説明する撮像部の構成の一例を示す図である。 は、合焦状態の補正方法の第３例について説明する連続撮像画像の一例を示す図である。 は、合焦状態の補正方法の第４例について説明する撮像部の構成の一例を示す図である。 は、合焦状態の補正方法の第５例について説明する撮像部の構成の一例を示す図である。

本発明の実施の形態について、以下図面を参照して説明する。最初に、本発明の実施の一形態である撮像装置について説明する。なお、以下に説明する撮像装置は、デジタルカメラなどの画像（動画（各フレーム）及び静止画を含む、以下同じ）信号や音響信号の生成、記録及び表示または再生が可能なものである。

＜＜撮像装置＞＞
まず、本発明の実施の一形態である撮像装置の全体構成例について、図１を参照して説明する。図１は、本発明の実施の一形態である撮像装置の全体構成例を示すブロック図である。

図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ２と、対象物の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部Ｓが構成され、この撮像部Ｓによって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。

さらに、撮像装置１は、イメージセンサ２から出力されるアナログの画像信号をデジタルに変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、ＡＦＥ４から出力される画像信号に階調補正処理などの各種画像処理を施す画像処理部５と、入力される音を電気信号に変換する集音部６と、集音部６から出力されるアナログの音響信号をデジタルに変換するＡＤＣ（Analog to Digital Converter）７と、ＡＤＣ７から出力される音響信号にノイズ除去などの各種音響処理を施して出力する音響処理部８と、画像処理部５から出力される画像信号と音響処理部８から出力される音響信号のそれぞれに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したり画像処理部５から出力される画像信号にＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したりする圧縮処理部９と、圧縮処理部９で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、圧縮符号化信号を外部メモリ１０に記録したり読み出したりするドライバ部１１と、ドライバ部１１が外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１２と、を備える。

画像処理部５は、入力される画像信号の合焦状態を補正する合焦状態補正部５０を備える。合焦状態とは、例えば、合焦する位置や範囲などの状態である。なお、合焦状態補正部５０の構成の詳細については、後述する。

また、撮像装置１は、伸長処理部１２で復号されて得られる画像信号をモニタなどの表示部（不図示）で表示可能な信号に変換する画像信号出力回路部１３と、伸長処理部１２で復号されて得られる音響信号をスピーカなどの再生部（不図示）で再生可能な信号に変換する音響信号出力回路部１４と、を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１５と、各処理を行うための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１６と、撮像を開始するボタンや撮像条件などを調整するボタン等ユーザからの指示が入力される操作部１７と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１８と、ＣＰＵ１５と各ブロックとの間でデータのやりとりを行うためのバス１９と、メモリ１６と各ブロックとの間でデータのやりとりを行うためのバス２０と、を備える。なお、以下では説明の簡略化のため、各ブロックのやりとりにおいてバス１９，２０を省略する。

なお、動画と静止画の画像信号を生成可能な撮像装置１を一例として示したが、撮像装置１が、静止画の画像信号のみ生成可能な構成であっても構わない。この場合、集音部６やＡＤＣ７、音響処理部８、音響信号出力回路部１４などを備えない構成としても構わない。また、表示部や再生部は、撮像装置１と一体となっているものであっても構わないし、別体となっており撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものであっても構わない。

また、外部メモリ１０は画像信号や音響信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。

次に、撮像装置１の全体動作例について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１８から入力されるタイミング制御信号に同期して、所定のタイミングでＡＦＥ４に画像信号を出力する。

そして、ＡＦＥ４によってアナログからデジタルへと変換された画像信号は、画像処理部５に入力される。画像処理部５では、入力されるＲ（赤）Ｇ（緑）Ｂ（青）の成分を備える画像信号を、輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）の成分を備える画像信号に変換するとともに、階調補正や輪郭強調等の各種画像処理を施す。また、メモリ１６はフレームメモリとして動作し、画像処理部５が処理を行なう際に画像信号を一時的に保持する。

また、このとき画像処理部５に入力される画像信号に基づき、レンズ部３において、レンズ位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり（オートフォーカス、オートエクスポージャ）、ユーザの指示に基づいて手動で行われたりする。

また、画像処理部５に備えられる合焦状態補正部５０は、入力される画像信号を補正することで、画像信号が示す画像の合焦状態を補正する。なお、合焦状態補正部５０の動作の詳細については、後述する。

動画の画像信号を生成する場合、集音部６において集音を行う。集音部６で集音されてアナログの電気信号に変換される音響信号は、ＡＤＣ７に入力される。ＡＤＣ７は、入力される音響信号をデジタルに変換し、音響処理部８に入力する。音響処理部８は、入力される音響信号にノイズ除去や強度制御などの各種音響処理を施す。そして、画像処理部５から出力される画像信号と、音響処理部８から出力される音響信号と、がともに圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。このとき、画像信号と音響信号とが時間的に関連付けられ、再生時に画像と音とがずれないように構成される。そして、圧縮処理部９から出力される圧縮符号化信号は、ドライバ部１１を介して外部メモリ１０に記録される。

一方、静止画の画像信号を生成する場合、画像処理部５から出力される画像信号が圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。そして、圧縮処理部９から出力される圧縮符号化信号が、ドライバ部１１を介して外部メモリ１０に記録される。

外部メモリ１０に記録された動画の圧縮符号化信号は、ユーザの指示に基づいて伸長処理部１２に読み出される。伸長処理部１２は、圧縮符号化信号を伸長及び復号することで画像信号及び音響信号を生成し、出力する。そして、画像信号出力回路部１３が、伸長処理部１２から出力される画像信号を表示部で表示可能な形式に変換して出力し、音響信号処理回路部１４が、伸長処理部１２から出力される音響信号を再生部で再生可能な形式に変換して出力する。また、外部メモリ１０に記録された静止画の圧縮符号化信号も同様に処理される。

なお、画像信号の記録を行わずに表示部などに表示される画像をユーザが確認する、いわゆるプレビューモードである場合に、画像処理部５から出力される画像信号を圧縮符号化せずに画像信号出力回路部１３に出力することとしても構わない。また、画像信号を記録する際に、圧縮処理部９で圧縮符号化して外部メモリ１０に記録する動作と並行して、画像信号出力回路部１３を介して表示部などに画像信号を出力することとしても構わない。また、画像処理部５から出力される画像信号を圧縮符号化せずに、そのまま外部メモリ１０に記録しても構わない。

また、合焦状態補正部５０が画像処理部５に備えられ、画像信号の記録時に補正を行う構成について例示したが、合焦状態補正部５０が備えられる場所や補正を行うタイミングは、上述の限りではない。例えば、合焦状態補正部５０を伸長処理部１２の後段かつ画像信号出力回路部１３の前段に備え、画像信号の表示時（例えば、外部メモリ１０から伸長処理部１２に読み出されて伸長された後、画像信号出力回路部１３に入力される前）や、編集時（例えば、外部メモリ１０から伸長処理部１２に読み出されて伸長された後、外部メモリ１０に再度記録するために圧縮処理部９に入力される前）に、画像信号を補正しても構わない。また、補正に要する情報（後述するシーン推定用情報）を、画像信号を含むファイルのヘッダ領域に記録したり、外部メモリ１０に別のファイルとして記録したりしても構わない。

また、図１では撮像機能、表示機能、編集機能を備える撮像装置１を例示して説明したが、いずれかの機能を備えない装置（例えば、撮像装置、表示装置、編集装置など）としても構わない。さらに、これらの装置を、備えない機能を実現するブロックを図１に示す撮像装置１から除いた装置として解釈しても構わない。また、図１に示していない他の機能を備える装置としても構わない。例えば、外部メモリ１０などの記録装置以外から画像信号を取得する機能（例えば、無線送信される画像信号を取得する機能）を備える装置としても構わない。

＜＜合焦状態補正部＞＞
次に、上述した合焦状態補正部５０の詳細について、図面を参照して説明する。また、以下では説明の具体化のために、合焦状態補正部５０が補正する画像信号を画像として表現し、当該画像信号を「入力画像」とする。同様に、合焦状態補正部５０の補正により生成される画像信号を「出力画像」として表現する。

まず、合焦状態補正部５０の構成について、図面を参照して説明する。図２は、合焦状態補正部の基本構成例を示すブロック図である。図２に示すように、合焦状態補正部５０は、入力画像やシーン推定用情報に基づき入力画像のシーンを推定して推定結果をシーン推定結果情報として出力するシーン推定部５１と、シーン推定結果情報に基づいた合焦状態を設定して合焦状態設定情報として出力する合焦状態設定部５２と、合焦状態設定情報に従い入力画像の合焦状態を補正して出力画像を生成する合焦状態補正処理部５３と、を備える。

「シーン」とは、被写体の状態を分類したものである。具体的に例えば、景色を主要な被写体とした「風景」、人物を主要な被写体とした「ポートレート」、動体を主要な被写体とした「スポーツ」、撮像装置１に近接する物体を主要な被写体とした「マクロ」などである。なお、これらのシーンは一例に過ぎず、分類方法はどのようなものであっても構わない。

シーン推定部５１は、入力画像やシーン推定用情報を必要に応じて取得し、入力画像のシーンを推定する。入力画像から得られる情報として、例えば、撮像装置１と各被写体との撮像時の位置関係（特に、撮像装置１と被写体との距離である被写体距離）を示す情報や、入力画像の画素値の状態（例えば、色分布など）を示す情報、入力画像中の特徴部分（例えば、人の顔）の位置や大きさを示す情報などがある。また、シーン推定用情報として、例えば、ユーザが指定したシーンを示す情報や、撮像時の集音状態を示す情報などがある。

入力画像から得られる情報とした上記の各情報は、合焦状態補正部５０の動作前（例えば、撮像時）に生成して、シーン推定用情報に含めることができる。具体的に例えば、オートフォーカスなど、撮像時の所定の処理に利用するために生成した情報を、シーン推定用情報としても利用することができる。なお、上記の各情報は一例に過ぎず、シーン推定部５１は、どのような情報に基づいて入力画像のシーンを推定しても構わない。また、シーンの推定方法の具体例については後述する。

合焦状態設定部５２は、シーン推定部５１で推定された入力画像のシーン（シーン推定結果情報）に対応した合焦状態を設定する。例えば、推定されたシーンとそれぞれの合焦状態との対応関係（例えば、ルックアップテーブル）を保持または取得し、推定されたシーンに対応した合焦状態を選択して設定する。

合焦状態設定部５２が設定する合焦状態として、例えば、合焦する位置を示す合焦位置や、合焦する範囲を示す被写界深度などがある。例えば合焦位置を、合焦する被写体の種類や、合焦する被写体距離、入力画像中で鮮明にする領域（以下、合焦領域とする）の位置として設定しても構わない。また例えば被写界深度を、合焦する被写体距離の範囲や、入力画像中で不鮮明にする領域（以下、非合焦領域とする）の位置、合焦領域以外の領域におけるぼけの程度として設定しても構わない。なお、上記の合焦状態設定部５２が設定する合焦状態は一例に過ぎず、合焦状態設定部５２は、どのような合焦状態を設定しても構わない。また、合焦状態の設定方法の具体例については後述する。

合焦状態補正処理部５３は、合焦状態設定部５２で設定された合焦状態（合焦状態設定情報）に従って、入力画像の合焦状態を補正して出力画像を生成する。入力画像の種類（入力画像を撮像した撮像部Ｓの種類とも解釈され得る）に応じて具体的な補正方法は異なるが、原則として画像処理によって補正を行う。なお、合焦状態の補正方法の具体例については後述する。

また、合焦状態補正部５０の動作について、図３を参照して説明する。図３は、合焦状態補正部の基本動作例について説明する入力画像及び出力画像の一例を示す図である。図３では、撮像部Ｓによって画角の中央に人物Ｈを含む入力画像Ｐｉｎが撮像された場合を例示している。

図３に示す例の場合、例えば、シーン推定部５１が入力画像Ｐｉｎを解析して、入力画像Ｐｉｎのシーンを「ポートレート」と推定する。すると、合焦状態設定部５２は、推定されたシーンである「ポートレート」に対応する合焦状態を設定する。例えば、合焦位置を人物Ｈとし、被写界深度を浅くする合焦状態を設定する。そして、合焦状態補正処理部５３は、合焦状態設定部５２で設定された合焦状態を実現すべく、入力画像Ｐｉｎを補正する。具体的には、合焦位置である入力画像Ｐｉｎ中の人物Ｈを鮮明にし、背景などの人物Ｈから離れた被写体を不鮮明する（ぼかす）ことで被写界深度を浅くした出力画像Ｐｏｕｔを生成する。

以上のように構成すると、入力画像のシーンを推定するとともに、推定したシーンに対応するように入力画像の合焦状態を補正した出力画像を生成することが可能となる。そのため、撮像時の正確なシーン認識や撮像モードの選択、撮像後の煩雑な画像処理をユーザに強いることなく、シーンに適した合焦状態となる出力画像を容易に得ることが可能となる。

特に、合焦位置や被写界深度は、被写体の見え方や画像全体から受ける印象に、直接的かつ重大な影響を与えるものである。そのため、合焦位置及び被写界深度をシーンに応じて補正することで、ユーザが所望する画像に近い出力画像を、自動的かつ効果的に生成することが可能となる。

なお、シーン推定部５１、合焦状態設定部５２及び合焦状態補正処理部５３は、必要に応じて入力画像を解析しても構わなく、いずれかが行った解析結果を他が取得可能としても構わない。また、合焦状態補正部５０以外が入力画像の解析を行い、当該解析結果がシーン推定用情報に含まれるように構成しても構わない。また、シーン推定部５１だけでなく、合焦状態設定部５２及び合焦状態補正処理部５３が、必要に応じてシーン推定用情報を取得しても構わない。

また、以下において、シーン推定部５１、合焦状態設定部５２及び合焦状態補正処理部５３の各部の動作方法例をそれぞれ説明するが、それぞれの動作方法例は矛盾なき限り組み合わせて実施することが可能である。特に、同種の動作方法例（例えば、シーン推定方法の第１例とシーン推定方法の第２例）を組み合わせて実施することも可能であるし、異種の動作方法例（例えば、シーン推定方法の第１例と合焦状態の補正方法の第１例）を組み合わせて実施することも可能である。同種の動作方法例を組み合わせて実施する場合、それぞれの動作結果を加重加算することで、総合的な動作結果を得ても構わないし、それぞれの動作結果に優先度を付加することで、いずれかの動作結果が選択されるようにしても構わない。

＜シーン推定方法＞
［第１例］
最初に、シーン推定部５１のシーン推定方法の第１例について説明する。本例のシーン推定方法では、撮像時（またはその前後）にユーザが設定したシーンを利用する。

本例のシーン推定方法を用いる場合、例えば、ユーザによって設定された「風景」、「ポートレート」、「スポーツ」及び「マクロ」などの各シーンを、そのまま推定したシーンとする。

なお、本例のシーン推定方法を実行するために、入力画像の撮像時（またはその前後）にユーザが設定したシーンを、シーン推定用情報として外部メモリ１０やメモリ１６などに記録または保持しても構わない。

［第２例］
次に、シーン推定部５１によるシーン推定方法の第２例について説明する。本例のシーン推定方法では、入力画像の色分布に関する情報を利用する。具体例を図３に示す。図３は、シーン推定方法の第２例について説明するグラフの一例を示す図である。

図３に示すグラフは、入力画像の画素値の色相を角度として表現し、彩度を中心からの距離で表現したものである。色相や彩度の値は、画素値がＲＧＢやＹＵＶで表現されていたとしても、所定の関係式に基づいてＨ（Hue、色相）Ｓ（Saturation、彩度）Ｂ（Brightness、明度）色空間の画素値に適宜変換することで得られる。

図３では、画素値（図中の黒点）が局所的に集中する領域Ａが確認される場合を例示している。このように、色相が略等しく彩度が大きい領域Ａが確認される場合、入力画像の広範囲に、略同色で鮮やかな部分が存在していることとなる。

本例のシーン推定方法を用いる場合、例えば、図３に示すような色分布が確認されれば、「マクロ」であると推定する。

なお、図３に示すグラフを、画素値をそのままプロットすることで作成しても構わないし、入力画像を所定数に分割したエリア毎に代表値をプロットすることで作成しても構わない。また、図３に示すシーン推定方法は一例に過ぎず、入力画像の色分布を利用するシーン推定方法であればどのような方法を適用しても構わない。

［第３例］
次に、シーン推定部５１によるシーン推定方法の第３例について説明する。本例のシーン推定方法では、被写体距離を利用する。例えば、入力画像を所定数に分割したエリア毎に測定される被写体距離や、入力画像中に含まれる被写体毎に測定される被写体距離を参照することで、シーンを推定する。

本例のシーン推定方法を用いる場合、例えば、入力画像中のエリア毎や被写体毎に測定される被写体距離について、遠距離の割合が多ければ「風景」と推定する。反対に、近距離の割合が多ければ「マクロ」と推定する。また、入力画像の中央付近が近距離であれば「ポートレート」と推定する。

なお、上記の被写体距離の測定方法として、どのような測定方法を適用しても構わない。例えば、撮像時に被写体距離を測定しても構わない。具体的には、測距センサ（例えば、赤外線や超音波などを出射し、反射を検出することで被写体距離を測定するセンサ）を用いたり、オートフォーカスの結果を利用（例えば、各エリアまたは各被写体に合焦させた時のそれぞれのレンズ位置から、それぞれの被写体距離を測定）したりしても構わない。

また、入力画像を解析することで、撮像後に被写体距離を測定しても構わない。具体的に例えば、複数の撮像部Ｓを用いた撮像（ステレオ撮像）や、Light Field Photography技術（詳細は、合焦状態の補正方法の第２例で説明する）を利用した撮像により得られる複数の視差画像を比較することで、被写体距離を測定しても構わない。

また例えば、１つの撮像部Ｓで、画角を略一定としてレンズ位置を時間的に順次変動させた連続的な撮像により複数の連続撮像画像（詳細は、合焦状態の補正方法の第３例で説明する）を生成し、各エリアまたは各被写体が合焦した連続撮像画像の撮像時のレンズ位置から、それぞれの被写体距離を測定しても構わない。

また例えば、軸上色収差を利用して被写体距離を測定しても構わない。軸上色収差が略０とならない（補正しない）レンズ部３を採用する場合（詳細は、合焦状態の補正方法の第５例で説明する）、色信号の種類（例えば、Ｒ、Ｇ及びＢ）に応じて、合焦時の被写体距離や、被写体距離の変動に対するぼけの変動態様が異なる。そのため、エリア毎または被写体毎に、それぞれの色信号のぼけの大きさを検出することで、それぞれの被写体距離を測定しても構わない。

［第４例］
次に、シーン推定部５１によるシーン推定方法の第４例について説明する。本例のシーン推定方法では、顔検出処理を利用する。

本例のシーン推定方法を用いる場合、例えば、入力画像中から顔が検出されれば「ポートレート」と推定する。

なお、入力画像中から検出される顔の大きさに応じて、シーンをさらに細かく推定しても構わない。例えば、検出される顔の大きさが大きい場合、「ポートレート（近距離）」と推定しても構わない。また、検出される顔の大きさが小さい場合、「ポートレート（遠距離）」と推定しても構わない。さらに、入力画像から顔が検出されたとしても、検出された顔が「ポートレート」と推定するには小さ過ぎる場合は、「風景」などの「ポートレート」以外のシーンを推定しても構わない。

また、入力画像中から顔を検出する方法として、どのような検出方法を適用しても構わない。例えば、Adaboost（例えば、Yoav Freund, Robert E. Schapire, "A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20, 1995．）を利用しても構わない。この方法では、大量の教師サンプル（顔及び非顔のサンプル画像）を識別することで重み付けされた複数の弱識別器により、入力画像中の各部を順次識別することで顔を検出する。同様の方法により、特定の顔を検出（顔認識）しても構わない。

［第５例］
次に、シーン推定部５１によるシーン推定方法の第５例について説明する。本例のシーン推定方法では、撮像時（またはその前後）に集音された音を利用する。

本例のシーン推定方法を用いる場合、例えば、撮像時（またはその前後）に集音された音が大きければ「ポートレート」と推定する。また、撮像時（またはその前後）に集音された音が小さければ「風景」と推定する。

なお、撮像時（またはその前後）に集音された音の大きさだけでなく、音の到来方向をも考慮してシーンを推定しても構わない。例えば、音の到来方向が撮像方向（特に画角内）である場合に、「ポートレート」と推定しても構わない。また例えば、音の到来方向が、例えば第４例で述べた方法で検出される顔が存在する方向である場合に、「ポートレート」と推定しても構わない。

このとき、音響処理部８が、音響信号を構成する複数のチャンネルの状態に基づいて、音の到来方向を検出しても構わない。具体的に例えば、集音部６が複数の指向性マイク（特定方向から到来する音を強調して集音するマイクであり、マイク毎に特定方向が異なると好ましい）を備えるものである場合、音響処理部８が、それぞれの指向性マイクで集音されて得られたチャンネルのレベルを比較することで、音の到来方向を検出しても構わない。また例えば、集音部６が複数の無指向性マイク（特定方向から到来する音を強調することなく、一律に集音するマイク）を備えるものである場合、音響処理部８が、それぞれの無指向性マイクで集音されて得られたチャンネルの位相差を算出し、当該位相差から音の到来方向を検出しても構わない。

［第６例］
次に、シーン推定部５１によるシーン推定方法の第６例について説明する。本例のシーン推定方法では、動体検出処理を利用する。

本例のシーン推定方法を用いる場合、例えば、入力画像中から動体が検出されれば「スポーツ」と推定する。

なお、入力画像中の動体の検出方法として、どのような検出方法を適用しても構わない。例えば、入力画像と、入力画像の撮像時の直前または直後に撮像された画像と、を比較することで、動体を検出しても構わない。また例えば、入力画像と、入力画像とは別途撮像して得た背景を表示する画像（例えば、動体を含まない画像）と、を比較することで、動体を検出しても構わない。

また、入力画像中の動体の有無を確認するだけでなく、動体の移動方向や移動量をあわせて確認しても構わない。さらに、移動方向や移動量に応じて、異なるシーン（例えば、「スポーツ」を細かく分けたシーン）を推定しても構わない。

＜合焦状態の設定方法＞
次に、合焦状態設定部５２による合焦状態の設定方法の具体例について、図面を参照して説明する。図５は、合焦状態の設定方法の具体例について説明するルックアップテーブルの一例を示す図である。図５に示すルックアップテーブルは、シーン推定部５１によって推定されるシーンと、当該シーンに応じて合焦状態設定部５２が設定する合焦状態と、の対応関係を示すものである。

図５に示すように、シーン推定部５１によって入力画像のシーンが「風景」と推定される場合、撮像者は「入力画像の全体を表示する画像を生成したい」と考えていると推定される。そのため、例えば合焦状態設定部５２は、被写界深度が深く入力画像の全体が合焦する合焦状態を設定する。

このように合焦状態を設定することにより、合焦状態補正処理部５３において、全体が鮮明となる出力画像が生成される。

また、シーン推定部５１によって入力画像のシーンが「ポートレート」と推定される場合、撮像者は「人物を表示する画像を生成したい」と考えていると推定される。そのため、例えば合焦状態設定部５２は、入力画像中の人物（特に、顔）に合焦して被写界深度を浅くした合焦状態を設定する。

このように合焦状態を設定することにより、合焦状態補正処理部５３において、人物が鮮明であり、背景などの人物以外の被写体が不鮮明となる（ぼけた）出力画像が生成される。即ち、人物が強調された出力画像が生成される（図３参照）。

また、シーン推定部５１によって入力画像のシーンが「スポーツ」と推定される場合、撮像者は「動体を表示する画像を生成したい」と考えていると推定される。そのため、例えば合焦状態設定部５２は、入力画像中の動体に合焦して被写界深度を浅くした合焦状態を設定する。

このように合焦状態を設定することにより、合焦状態補正処理部５３において、動体が鮮明であり、動体以外の他の被写体が不鮮明（ぼけた）となる出力画像が生成される。即ち、動体が強調された出力画像が生成される。

ところで、一般的な撮像装置を用いて動体を撮像する場合、動体を鮮明化するためにシャッタスピードを速くするが、その分だけ露出を大きくするために絞りを開ける必要があり、被写界深度が浅くなる。そのため、上述のように合焦状態設定部５２が被写界深度を浅くした合焦状態を設定するように構成すると、一般的な撮像装置で動体を撮像したような、自然な合焦状態の出力画像を容易に得ることが可能となる。

また、シーン推定部５１によって入力画像のシーンが「マクロ」と推定される場合、撮像者は「近い被写体を表示する画像を生成したい」と考えていると推定される。そのため、例えば合焦状態設定部５２は、入力画像中で最も被写体距離が近い被写体に合焦して被写界深度を浅くした合焦状態を設定する。

このように合焦状態を設定することにより、合焦状態補正処理部５３において、最も被写体距離が近い被写体が鮮明であり、その他の被写体が不鮮明（ぼけた）となる出力画像が生成される。即ち、最も被写体距離が近い被写体が強調された出力画像が生成される。

なお、シーン推定部５１が「スポーツ」と推定した場合に、合焦状態設定部５２が被写界深度を浅くした合焦状態を設定するとしたが、被写界深度を深くした合焦状態を設定するとしても構わない。上述のように、一般的な撮像装置では、動体撮像時に被写界深度を深くすることは構成上困難である。しかしながら、上述のように合焦状態補正処理部５３は、撮像後に合焦状態を補正するものであるため、絞りなどの影響を受けることなく合焦状態を補正することができる。そのため、本発明の構成であれば、従来の撮像装置では撮像が困難であった合焦状態の出力画像を、容易に得ることが可能となる。

また、説明の簡略化のため、被写界深度を「深い」及び「浅い」の２つの状態のみ設定され得るものとしたが、他の状態も設定可能である。例えば、シーン推定方法の第４例で示したようなシーンを細かく推定する場合など、被写界深度の深さ（ぼかす程度）を細かく設定可能としても構わない。具体的に例えば、「ポートレート（近距離）」と推定された場合、「ポートレート（遠距離）」と推定されるよりも被写界深度が浅くなる（強くぼける）ように設定しても構わない。

また、上述のように、合焦位置を被写体距離で設定しても構わないし、入力画像中における合焦領域の具体的な位置で設定しても構わない。同様に、被写界深度を被写体距離の範囲で設定しても構わないし、ぼかす（または、ぼかさない）領域の具体的な位置で設定しても構わない。

＜合焦状態の補正方法＞
［第１例］
次に、合焦状態補正処理部５３による合焦状態の補正方法の第１例について説明する。本例の補正方法では、ぼけ復元処理及びぼかし処理の少なくとも一方を行う。

ぼけ復元処理として、例えば、インバースフィルタやウィーナフィルタなど、種々の復元フィルタを用いたフィルタ処理を適用することができる。復元フィルタは、劣化した画像（入力画像）を、劣化していない画像に劣化関数（例えば、点像分布関数（Point Spread Function：ＰＳＦ））を作用させたものと仮定した場合における、フーリエ変換した劣化関数の逆数である。この復元フィルタを、フーリエ変換した劣化画像（入力画像）に乗算するとともに、乗算して得られた結果を逆フーリエ変換することで、劣化していない画像を得ることができる。

ぼかし処理として、例えば、フィルタ係数が処理対象の画素（以下、注目画素とする）に近いものほど大きく、ガウス分布に近づけられているガウシアンフィルタや、注目画素及び周囲の画素に対するフィルタ係数が略等しい平均化フィルタ、所定の周波数以上の高周波数成分を濾波するローパスフィルタなど、種々のぼかしフィルタを用いたフィルタ処理を適用することができる。

このように、入力画像に対して選択的なぼけ復元処理を施したり、選択的なぼかし処理を施したりすることで、任意の合焦状態を実現した出力画像を得ることができる。

なお、被写界深度（ぼかす程度）や被写体距離、非合焦領域内の注目画素と合焦領域との距離などに応じて、ぼかしフィルタのフィルタサイズやフィルタ係数を可変としても構わない。例えば、フィルタサイズを大きくすることで、強くぼかすことが可能となる。また例えば、注目画素に対するフィルタ係数を小さくし、周辺画素に対するフィルタ係数を大きくすることで、強くぼかすことが可能となる。そこで例えば、被写界深度が浅いほど、合焦する被写体距離から遠いほど、合焦領域から遠い非合焦領域内の注目画素ほど、強くぼかしても構わない。

また、非合焦領域の外縁付近の注目画素にぼかしフィルタを作用させる場合（特に、合焦領域と非合焦領域の双方の画素値を用いて、非合焦領域内の注目画素の画素値が算出される場合）に、フィルタ係数を補正しても構わない。具体的には、非合焦領域以外の領域の画素に対するフィルタ係数を、０に補正する。

このように構成すると、例えば、合焦領域内の画素の画素値が非合焦領域ににじみ出すことで、合焦領域が強調されにくいものとなることを、抑制することが可能となる。また、合焦領域の注目画素に対して復元フィルタを作用させる場合も、同様にフィルタ係数を制御しても構わない。

また、推定されたシーンが「スポーツ」である場合、動体の移動方向や移動量を考慮したぼかしフィルタを適用しても構わない。具体的に例えば、動体の移動方向と反対方向に存在する非合焦領域の画素ほど、強くぼかしても構わない。また例えば、動体の移動量が大きいほど、強くぼかしても構わない。

このように構成すると、動体の動きを精度よく反映させた出力画像を得ることができる。特に、「スポーツ」のシーンが推定された際に合焦状態設定部５２が設定する被写界深度が「浅い」場合に、上記のようなぼかしフィルタを適用すると、より自然な出力画像が得られるため、好ましい。

また、入力画像中の合焦領域以外の領域を全て非合焦領域としても構わないし、合焦領域及び非合焦領域以外の領域（ぼけ復元処理及びぼかし処理が行われない領域）が存在することとしても構わない。また、ぼけ復元処理及びぼかし処理の双方が行われる領域が存在することとしても構わない。例えば、入力画像の全領域にぼけ復元処理を施して被写界深度を深くした上で、選択的にぼかし処理を行って出力画像を生成しても構わない。

［第２例］
次に、合焦状態補正処理部５３による合焦状態の補正方法の第２例について説明する。本例の補正方法では、Light Field Photography技術（例えば、Ren Ng, Marc Levoy, Mathieu, Br´edif Gene ,Duval Mark Horowitz, Pat Hanrahan, "Light Field Photography with a Hand-Held Plenoptic Camera",Stanford Tech Report CTSR 2005-02）を用いて補正を行う。

Light Field Photography技術について、図面を参照して説明する。図６は、合焦状態の補正方法の第２例について説明する撮像部の構成の一例を示す図である。図６に示すように、本例の補正方法で補正される入力画像は、イメージセンサ２の受光面の前方（レンズ部３側）にマイクロレンズアレイ３１を備えた撮像部Ｓの撮像により、生成されるものとなる。なお、図６（ａ）は、マイクロレンズアレイ３１及びイメージセンサ２の側面を示す図であり、図６（ｂ）は、マイクロレンズアレイ３１及びイメージセンサ２のそれぞれの平面（図６（ａ）に示す側面に略垂直な面であり、光の入射側の面）を示す図である。

図６に示すように、マイクロレンズアレイ３１には、複数のマイクロレンズが２次元配置されている。そして、あるマイクロレンズ３１ａに入射した光線は、あるイメージセンサの小領域２ａ内に入射するように構成されている。特に、図６（ｂ）のそれぞれの小領域内に示すそれぞれの破線の円の内側に、光線が入射するように構成されている。

また、マイクロレンズは、特定の方向から入射した光線を、小領域内の特定位置の受光素子に導く。そのため、それぞれの小領域で等しい位置関係となる受光素子（例えば、図６（ｂ）で黒塗した受光素子）から得られる画素値を選択して並べることで、被写体を種々の方向から見た複数の画像（視差画像）を得ることができる。

上述のように、視差画像を比較することで、各エリアや各被写体の被写体距離を算出することが可能である。また、任意の視差画像を取得したり、必要に応じて複数の視差画像を合成したりすることで、任意の合焦状態を実現した出力画像を得ることができる。

なお、シーン推定部５１が、いずれか１つの視差画像に基づいてシーン判定を行っても構わないし、複数の視差画像（または複数の視差画像を所定の方法で合成して得られる画像）に基づいて、シーン判定を行っても構わない。

また、複数の撮像部Ｓを用いたステレオ撮像により生成される複数の視差画像に対して、本例と同様の補正方法を適用しても構わない。

［第３例］
次に、合焦状態補正処理部５３による合焦状態の補正方法の第３例について説明する。本例の補正方法で補正される入力画像は、撮像部Ｓが画角を略一定としてレンズ位置を時間的に順次変動させた連続的な撮像により生成される、複数の連続撮像画像である。

連続撮像画像について、図面を参照して説明する。図７は、合焦状態の補正方法の第３例について説明する連続撮像画像の一例を示す図である。なお、図７に示すそれぞれの連続撮像画像ＰＣ１〜ＰＣ４は、図３に示した入力画像及び出力画像と同じ被写体について撮像したものである。また、ＰＣ１、ＰＣ２、ＰＣ３、ＰＣ４の順に、合焦させた被写体距離が遠くなっている。また、図７に例示する連続撮像画像ＰＣ１〜ＰＣ４の被写界深度は、比較的浅いものとなっている。

図７に示すように、連続撮像画像ＰＣ１〜ＰＣ４は合焦状態（特に、合焦位置）が異なり、合焦している（鮮明となる）被写体がそれぞれ異なる。そのため、連続撮像画像ＰＣ１〜ＰＣ４を適宜合成することで、任意の合焦状態を実現した出力画像を生成することができる。例えば、各画像で鮮明な部分（例えば、連続撮像画像ＰＣ２の人物Ｈや、連続撮像画像ＰＣ４の背景）を選択的に（または重みを大きくして）合成することで、被写界深度を深くすることができる。

なお、シーン推定部５１が、いずれか１つの連続撮像画像に基づいてシーン判定を行っても構わないし、複数の連続撮像画像（または複数の連続撮像画像を所定の方法で合成して得られる画像）に基づいて、シーン判定を行っても構わない。

［第４例］
次に、合焦状態補正処理部５３による合焦状態の補正方法の第４例について説明する。本例の補正方法では、Wavefront Coding技術を用いて補正を行う。Wavefront Coding技術について、図面を参照して説明する。図８は、合焦状態の補正方法の第４例について説明する撮像部の構成の一例を示す図であり、第３例について示した図６（ａ）に相当するものである。

図８に示すように、本例の補正方法で補正される入力画像は、イメージセンサ２の受光面の前方（レンズ部３側）に光波面変調部３２を備えた撮像部Ｓの撮像により、生成されるものとなる。

光波面変調部３２は、光線を規則的に分散することで、イメージセンサ２上のいずれにおいてもピントが合わない（ぼける）ようにする。ただし、ぼけの大きさ（例えば、上述のＰＳＦ）が、所定の被写体距離の範囲内であれば、被写体距離によらず一定になるように分散される。そのため、入力画像を容易かつ精度よく復元することが可能となる。したがって、例えば入力画像を選択的に復元することで、任意の合焦状態を実現した出力画像を得ることができる。

なお、入力画像を復元する際に、合焦状態の補正方法の第１例で述べたぼけ復元処理を適用しても構わない。また、入力画像の全領域のぼけを復元した後に、第１例で述べたぼかし処理を選択的に行うことで出力画像を生成しても構わない。

［第５例］
次に、合焦状態補正処理部５３による合焦状態の補正方法の第５例について説明する。本例の補正方法では、軸上色収差が補正されていない入力画像に対し、色信号毎に補正を行う。

本例の補正方法が適用され得る入力画像を生成するための撮像部Ｓの構成例について、図面を参照して説明する。図９は、合焦状態の補正方法の第５例について説明する撮像部の構成の一例を示す図であり、第３例について示した図６（ａ）や、第４例について示した図８に相当するものである。

図９に示すように、本例の補正方法で補正される入力画像は、色収差が略０とならない（補正しない）レンズ部３を備えた撮像部Ｓの撮像により、生成されるものとなる。また、図９に示すように、軸上色収差を補正しないレンズ部３を光線が通過すると、各色の光線（赤：Ｒ，緑：Ｇ、青：Ｂとする）は、イメージセンサ２上でそれぞれ異なる広がり（ぼけ、例えば上述のＰＳＦ）を有するものとなる。図９では、赤Ｒ、緑Ｇ、青Ｂの順に、ぼけが大きくなる場合を例示している。

シーン推定方法の第３例において述べたように、各色信号のぼけの大きさを確認することで、各エリアや各被写体の被写体距離を算出することができる。また、エリア毎や被写体毎に各色信号のぼけを復元することで、軸上色収差を補正して被写界深度を深くした画像を生成することができる。

さらに、被写界深度を深くした画像を選択的にぼかすことで、任意の合焦状態を実現した出力画像を得ることができる。このとき、各エリアや各被写体の被写体距離に基づいてぼかす程度を決定すると、撮像部Ｓを制御して光学的にぼかしたような、自然にぼけた出力画像を得ることができるため、好ましい。

なお、入力画像を復元する際に、合焦状態の補正方法の第１例で述べたぼけ復元処理を適用しても構わない。また、被写界深度を深くした画像をぼかす際に、合焦状態の補正方法の第１例で述べたぼかし処理を適用しても構わない。

＜好適な組み合わせの例＞
シーン推定方法及び合焦状態の補正方法について、複数の動作方法例を説明した。上述のように、矛盾なき限り動作方法例をどのように組み合わせても構わないが、有用な組み合わせ例が存在する。そのため、以下では特に有用な組み合わせ例について示す。

［第１例］
本例は、シーン推定方法の第１例、第２例または第４例と、合焦状態の補正方法の第１例と、を組み合わせるものである。本例の構成とすると、例えば、撮像部Ｓを特殊なものとすることなく、画素値の演算によって全ての処理を実行することが可能となる。そのため、いずれの処理も容易に実行することが可能となる。

また特に、シーン推定方法の第４例と、合焦状態の補正方法の第１例と、を組み合わせる場合、入力画像中の顔に基づいてシーンが判定され、顔が検出されれば当該顔を強調した出力画像が生成され得る。そのため、容易かつ効果的に人物（特に、顔）を強調した出力画像を得ることが可能となる。

［第２例］
本例は、シーン推定方法の第３例と、合焦状態の補正方法の第２例、第３例または第５と、を組み合わせるものである。本例の構成とすると、例えば、被写体距離に基づいてシーンの推定と合焦状態の補正とを行うことが可能となる。そのため、いずれの処理も精度よく実行することが可能となる。特に、光学的に合焦状態を制御したような、自然な出力画像を得ることが可能となる。

＜変形例＞
本発明の実施形態における撮像装置１について、画像処理部５や合焦状態補正部５０などのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１に示す撮像装置１や、図２に示す合焦状態補正部５０は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や合焦状態補正部５０の一部を構成する場合、ソフトウェアによって実現される部位についてのブロックは、その部位の機能ブロックを表すこととする。

以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

本発明は、入力画像を処理して出力画像を生成する画像処理装置や、撮像により入力画像を生成する撮像装置、出力画像を表示する表示装置に利用可能である。

５０ 合焦状態補正部
５１ シーン推定部
５２ 合焦状態設定部
５３ 合焦状態補正処理部

Claims (6)

1. 入力画像のシーンを推定するシーン推定部と、
   前記シーン推定部の推定結果に基づいた合焦状態を設定する合焦状態設定部と、
   入力画像の合焦状態を、前記合焦状態設定部で設定された合焦状態となるように補正して出力画像を生成する合焦状態補正処理部と、
   を備えることを特徴とする画像処理装置。
2. 前記合焦状態設定部が、入力画像中で合焦する位置及び被写界深度を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記シーン推定部が、入力画像中の主要な被写体が人物であると推定するとき、
   前記合焦状態設定部が、入力画像中の人物に合焦して被写界深度を浅くする合焦状態を設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記シーン推定部が、入力画像中の主要な被写体が景色であると推定するとき、
   前記合焦状態設定部が、入力画像中の全体に合焦して被写界深度を深くする合焦状態を設定することを特徴とする請求項２に記載の画像処理装置。
5. 撮像により入力画像を生成する撮像部と、
   入力画像に基づいて出力画像を生成する請求項１〜請求項４のいずれかに記載の画像処理装置と、
   を備えることを特徴とする撮像装置。
6. 入力画像を取得する取得部と、
   入力画像に基づいて出力画像を生成する請求項１〜請求項４のいずれかに記載の画像処理装置と、
   出力画像を表示する表示部と、
   を備えることを特徴とする表示装置。