JP2014138290A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】被写界深度の大きい画像を取得できる撮像装置、撮像方法を提供する。
【解決手段】被写体を撮像して画像情報を取得する撮像部と、前記撮像部の焦点位置を制御する合焦位置制御部と、自装置から前記被写体までの距離情報を取得する測距部と、前記撮像部の光学系のぼけ特性情報を保持する情報記憶部と、前記画像情報のぼけを除去するぼけ除去処理部とを備え、前記ぼけ除去処理部は、合焦情報と、前記距離情報とに対応する前記ぼけ特性情報に基づいて前記画像情報のぼけを除去する。
【選択図】図１

Description

本発明は、撮像装置及び撮像方法に関する。

撮像装置、例えば、デジタルカメラは、主要被写体にフォーカス（焦点）を合わせて撮影し、デジタルデータとして画像情報を取得する。かかる撮像装置には、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ、相補性金属酸化物半導体）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ、電荷結合素子）を撮像素子として用いられているものがある。撮影に使用した撮像装置が備える光学系の特性、および、撮影条件によって決定される被写界深度により、焦点を合わせた主要被写体から離れた距離にある被写体を示す領域には「ぼけ」が発生する。例えば、近景と遠景の両方を含んだ画像では、いずれか一方に焦点が合うので、他方に「ぼけ」が発生することがある。また、「ぼけ」が発生した部分については、主要被写体との詳細な距離関係を認識することは観察者にとり困難である。そこで、撮像した画像の「ぼけ」を除去して、鮮鋭な画像を取得する方法が提案されている。

例えば、特許文献１では、合焦距離およびその前後の距離において焦点のぼけ量がほぼ一定となるように形成された光学系と、光学系を通過した被写体像を撮像する撮像素子を備えた撮像装置が開示されている。そして特許文献１では、光学系を構成するレンズの結像特性を示す点像分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）に応じたぼけ除去処理を行うことにより、合焦距離の前後の距離における被写体を示す領域のぼけを除去することが開示されている。
特許文献２には、撮像画像を表示する表示手段と、ユーザの操作に基づいて、表示された撮像画像における被写体を選択する選択手段を備え、そして選択手段により選択された被写体との距離に対応する光学系の結像特性に基づいて撮像画像に対してぼけ補正する補正手段を備えた撮像装置が開示されている。

特開２００７−１８１１９３号公報 特開２０１２−４９７７３号公報

しかしながら、特許文献１記載の撮像装置では、ＰＳＦを一定にするために、入射された光を規則的に分散させる位相板を追加した特殊な光学系が必要になる。そのため、ズーム対応やレンズ口径等、焦点を調整するための光学系の設計が複雑になるという問題がある。また、この方法では、合焦距離前後の限られた範囲に示された被写体のぼけのみが除去される。そのため、主要被写体までの距離が、その限られた範囲からずれていた場合には、主要被写体やその周辺の画像もぼけてしまい、ユーザが望む画像が得られないことがある。

また、上記特許文献２の撮像装置は、選択した領域のぼけを除去するものであるため、焦点を合わせようとする被写体を選択させる作業がユーザに対して要求される。つまり、正確に被写体が選択できなかった場合には、画質が劣化した画像、例えば、同一の被写体にぼけ領域と合焦領域が共存する画像が得られることがある。さらに、ユーザがぼけを除去する領域を選択するときには、ぼけた画像から被写体領域を選択する必要があるが、ぼけを除去しようとする被写体のみを正確に選択することは一般に困難である。
また、被写体の選択において、例えば画像に写った人物の顔領域を抽出する顔認識処理を応用すると、認識された顔領域のみに焦点の合った画像が得られ、得られた画像がユーザに不自然な印象を与えることがある。また、認識対象の画像が、ぼけた画像である場合には、人間の顔の画像であるか否かを正確に認識できずに、所望の画像が選択されない場合もある。さらに、主要被写体を示す領域にぼけが生じている場合、主要被写体を中心とした構図の調整や、主要被写体の動作（例えば、笑顔、目つぶり）に合わせた露光操作（例えば、シャッタボタンの押下）が困難になる。その結果、ユーザが所望する画像を取得できないことがある。
本発明は上記の点に鑑みてなされたものであり、広い距離範囲に被写体が存在する場合にも、被写界深度の大きい画像を取得できる撮像装置、画像処理方法を提供することを課題とする。

本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、被写体を撮像して画像情報を取得する撮像部と、前記撮像部の焦点位置を制御する合焦位置制御部と、自装置から前記被写体までの距離情報を取得する測距部と、前記撮像部の光学系のぼけ特性情報を保持する情報記憶部と、前記画像情報のぼけを除去するぼけ除去処理部とを備え、前記ぼけ除去処理部は、前記合焦情報と、前記距離情報とに対応する前記ぼけ特性情報に基づいて前記画像情報のぼけを除去することを特徴とする撮像装置である。

本発明によれば、被写界深度の大きい画像を取得することができる。

本発明の第１の実施形態に係る撮像装置の構成を示す概略ブロック図である。 本実施形態に係る画像処理を示すフローチャートである。 本実施形態に係るぼけ除去処理を示すフローチャートである。 本発明の第２の実施形態に係るぼけ除去処理を示すフローチャートである。 本発明の第２の実施形態に係る重み付け処理に係る情報の例を示す概念図である。 本発明の第４の実施形態に係る画像処理を示すフローチャートある。 被写体距離情報の一例を示す概念図である。 本発明の第５の実施形態に係る撮像装置の構成を示す概略ブロック図である。 被写体距離と視差との関係を示す図である。

（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る撮像装置１の構成を示す概略ブロック図である。
撮像装置１は、撮像部１０１、合焦位置制御部１０２、測距部１０３、情報記憶部１０４及びぼけ除去処理部１０５を備える。撮像装置１は、例えば、静止画を撮像するディジタルスティルカメラ、動画を撮像するディジタルビデオカメラ、等である。

撮像部１０１は、被写体を撮像し画像を出力するものであり、被写体からの光を撮像素子に集光するためのレンズなどの光学系と、受光した光を電気信号に変換し画像情報１ａを生成するＣＣＤやＣＭＯＳなどの撮像素子を備える。また、上記の光学系は、レンズの焦点位置を調整するレンズ駆動機構（図示せず）を備える。撮像部１０１は、画像情報１ａを、ぼけ除去処理部１０５に出力する。
ここで、撮像装置１は、操作入力部の一形態としてシャッターボタン（図示せず）を備えてもよい。シャッターボタンは、入力操作として、シャッターボタンが完全に押し込まれた状態である全押し状態、不完全に押された状態である半押し状態などの操作状態による入力を受け付けることができる。例えば撮像部１０１は、全押し操作による入力が受け付けられた時点で、被写体からの光を予め定めた時間だけ入射（露光）して画像情報を取得し、出力してもよい。

合焦位置制御部１０２は、撮像部１０１の光学系を通過する入射光の焦点位置を、撮像素子の撮像面上に合わせるように制御（合焦制御）を行う。合焦制御は、撮像部１０１が備えるレンズ駆動機構を制御することで行われる。ここで合焦制御とは、下記のオートフォーカス（ＡＦ：Ａｕｔｏ Ｆｏｃｕｓ）制御を意味する。焦点位置を合わせる過程で用いる情報や、その過程で得られた情報を合焦情報と呼ぶ。合焦情報の例については後述する。合焦位置制御部１０２は、取得した合焦情報１ｂをぼけ除去処理部１０５に出力する。
合焦位置制御部１０２は、例えば、上記のように撮像装置１がシャッターボタンを備える場合、半押し操作による入力が受け付けられた時点で、合焦制御を行うようにしてもよい。

上記の合焦制御であるＡＦ制御の方式としては、コントラストＡＦ、位相差ＡＦ等の公知の方式を用いてもよい。例えば、コントラストＡＦでは、合焦位置制御部１０２により撮像部１０１のレンズの焦点位置を変化させ、各焦点位置で画像情報を取得し、取得した複数の画像情報それぞれのコントラストを算出する。合焦位置制御部１０２は、算出したコントラストが最大となる画像情報の焦点位置を合焦位置として選択する。また、位相差ＡＦでは、レンズを通過した光を２つに分岐し、結像した２つの画像の間隔を専用のセンサで計測し、計測した間隔に基づいて合焦位置が求められる。撮像部１０１の光学系に入射光を２つに分岐する機構と、２つの画像の間隔を計測する専用センサを備えることで、位相差ＡＦ方式によって合焦位置を取得することができる。また、合焦位置制御部１０２は、合焦制御を実行して得られたレンズの駆動情報（例えば、合焦した際の焦点位置）、光学系の特性（例えば、レンズの焦点距離やＦ値）に基づいて、公知の方法により被写体距離を算出することができる。すなわち、合焦情報に基づいて被写体距離を算出することができる。被写体距離とは、撮像装置１から合焦した被写体までの距離である。但し、合焦情報から算出される被写体距離は、合焦制御時のレンズの駆動ステップ数などに依存するため、後述する測距部１０３（赤外線などを用いた測距装置）によって測定する距離情報よりも、距離精度が低くなる傾向にある。したがって、低い精度の距離情報でも十分な場合には、合焦情報から算出した被写体距離情報を用いることができる。

また、合焦位置制御部１０２における合焦制御では、スポットＡＦ又はマルチＡＦなどの方式を利用して、画像上における合焦被写体の２次元座標位置（合焦被写体位置）を取得することもできる。スポットＡＦは、例えば撮像部１０１の画角内の一箇所（画像中心位置など）をスポットとして設定し、スポット位置に存在する被写体に対して上記のようなＡＦ方式によって合焦制御を行う方式である。また、マルチＡＦは、画角内に複数のスポットを設定し、各スポット位置に存在する被写体に対して上記のＡＦ方式などにより合焦制御を行うことで、画角内の被写体位置関係を推定して、撮影シーンに最適な合焦制御を行う方式である。これらのスポットの位置情報に基づいて、合焦被写体がどのスポットに存在するかが判定され、画像上における合焦被写体位置が算出される。ここで、画角とは、撮像部の撮影範囲を示す角度であって、その光軸を中心とする角度である。画角は、視野角とも呼ばれる。
なお、合焦位置制御部１０２は、既知の画像認識技術、例えば、顔認識技術や物体認識技術を用いて、認識対象の被写体を検出し、検出した被写体に合焦させてもよい。また、後述する測距部１０３により取得される被写体の距離情報を利用して合焦位置を調整してもよい。

測距部１０３は、撮像装置１から被写体までの距離を計測し、計測した被写体距離情報１ｃをぼけ除去処理部１０５へ出力する。
測距部１０３が取得する被写体距離情報１ｃは、撮像部１０１により取得される画像の、少なくとも一部の領域に示された被写体までの距離を示す。すなわち被写体距離情報１ｃは、画像の一部の領域に対応した距離情報、または、画像全体に対応した距離情報である。また、被写体距離情報は、撮像部１０１により取得される画像の各画素に対応した被写体距離を示す情報、例えば、距離マップ（後述）などであってもよい。

測距部１０３は、例えば、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式を用いて被写体距離を計測する。ＴＯＦ方式では、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの光源から人間が視認できない赤外線等の光を照射し、光を照射してから、被写体の表面で反射して返ってくるまでの経過時間を計測する。この経過時間に基づいて被写体までの距離を測定する。その計測を細かく分割された領域毎に計測することで、一点だけでなく被写体の様々な部分の測距が可能となる。
上記の経過時間を計測する方法として、レーザ光をパルス照射し、被写体の表面で反射して返ってくるまでの時間を直接計測する方法や、照射光（例えば、赤外線）を変調し、照射時の光の位相と、反射して返って来た光の位相との位相差に基づいて算出する方法などがある。
なお、被写体距離を計測する方式は上記のＴＯＦ方式に限られず、例えば２台のカメラを用いたステレオカメラ方式（後述）等、距離情報を取得できる方式であれば、どのような方式を採用してもよい。
また、距離情報が示す距離値は、例えば、メートル法などで表される実測の距離値であってもよいし、視差値などであってもよい。但し、測距部１０３が視差値を計測した場合には、計測した視差値を距離値に変換する必要がある。視差値と距離値の関係の詳細については後述する。

情報記憶部１０４は、撮像部１０１が備える光学系のぼけ特性情報を記憶している記憶媒体であり、例えば、フラッシュメモリやハードディスクなどである。ぼけ特性情報は、画像のぼけ特性、つまり点像の拡散特性に関する情報であり、例えば、ＰＳＦやＰＳＦに基づくぼけ除去フィルタなどで表される。ＰＳＦは、点光源信号を入力したときの、出力における点光源の拡散特性（分布特性）を示す関数であり、画像のぼけ度合いを定量的に表す。つまりＰＳＦは、レンズを通過した入射光が、撮像面に結像する際の点像の広がり度合い（ぼけ度合い）を表し、ＰＳＦはレンズの設計情報（焦点距離など）や、撮像時の光学系の設定情報（Ｆ値、焦点位置など）、被写体距離などに依存して変化する。例えば、所定の焦点距離を有するレンズを用い、Ｆ値を所定値に固定し、ＡＦにより被写体に合焦する場合には、ＡＦで決定される焦点位置と、撮像した被写体の距離とに依存してＰＳＦが変化する。ここで、Ｆ値は、焦点距離を有効口径で除算した値であり、レンズの絞り度合いを示す値である。
なお、本実施形態及び以下で述べる各実施形態においては、例として、所定の焦点距離を有するレンズを用い、Ｆ値は所定値に固定する場合であって、焦点位置と被写体距離情報とに対応づけられたぼけ特性情報（ぼけ除去フィルタ）を、情報記憶部１０４に記憶した場合について説明する。
なお、情報記憶部１０４には、上記したぼけ特性を変化させる要因（焦点距離、Ｆ値、焦点位置、被写体距離など）の全てに対応したぼけ特性情報を記憶しておいてもよい。また、ぼけ特性情報のいくつかをサンプリングして記憶しておき、入力された上記要因の情報に基づいて算出するようにしてもよい。このとき、ぼけ特性情報を、上記要因を変数とする関数として定義しておいてもよいし、記憶されているぼけ特性情報から補間（例えば、線形補間）するようにしてもよい。

本実施形態では、ぼけ特性情報として、例えば、ぼけ除去フィルタのフィルタ係数を用いる。このぼけ除去フィルタを用い、ぼけの生じた画像にフィルタリング処理を行うことで、ぼけを除去した画像を取得することができる。ぼけ除去フィルタのフィルタ係数は、ＰＳＦに基づく物理量の一種である。例えば、ぼけ除去処理部１０５は、予めＰＳＦに基づいてぼけ除去フィルタのフィルタ係数を算出しておき、算出したぼけ除去フィルタのフィルタ係数を情報記憶部１０４に記憶しておいてもよい。これにより、ぼけ除去フィルタを逐次に算出する処理を省略できるため、処理量を低減することができる。情報記憶部１０４では、処理に用いられるぼけ特性情報の全てを予め記憶しておいてもよいが、有限個のぼけ特性情報を、所定の物理量に基づいてサンプリングしておき、その物理量と対応付けて記憶しておいてもよい。所定の物理量とは、例えば、合焦情報と被写体距離との組み合わせである。
ぼけ除去処理部１０５では、情報記憶部１０４に記憶されたぼけ特性情報が示す、ＰＳＦ又はぼけ除去フィルタの係数をその物理量に基づいて補間（例えば、線形補間）して任意のＰＳＦ又はぼけ除去フィルタの係数を算出してもよい。

次に、ＰＳＦとぼけ除去フィルタの係数との関係について説明する。ぼけが発生している画像（例えば、撮影画像）の信号値ｇ（ｘ，ｙ）は、式（１）で表されるように、ぼけが発生していない画像（例えば、理想的な全焦点画像）の信号値ｆ（ｘ，ｙ）とＰＳＦ ｈ（ｘ，ｙ）との畳み込み演算で表される。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊ｈ（ｘ，ｙ） … （１）
式（１）において、（ｘ，ｙ）は、空間領域における２次元座標を表す。＊は、畳み込み演算を表す演算子である。式（１）について２次元フーリエ変換を行うと、式（２）で示される関係が得られる。
Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）・Ｈ（ｕ，ｖ） … （２）
（ｕ，ｖ）は、周波数領域における２次元座標を表す。Ｇ（ｕ，ｖ）、Ｆ（ｕ，ｖ）、Ｈ（ｕ，ｖ）は、それぞれｇ（ｘ，ｙ）、ｆ（ｘ，ｙ）、ｈ（ｘ，ｙ）のフーリエ変換であり、周波数領域における係数を表す。また、Ｈ（ｕ，ｖ）は、光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ばれる。

式（２）の両辺をそれぞれＨ（ｕ，ｖ）で除算すると式（３）が得られる。
Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ） … （３）
式（３）の右辺の１／Ｈ（ｕ，ｖ）は、光学伝達関数の逆特性を示す逆フィルタの係数を表す。従って、ぼけ除去処理部１０５は、ＰＳＦについて２次元フーリエ変換を行ってＯＴＦを算出し、算出したＯＴＦの逆数をとって逆フィルタの係数１／Ｈ（ｕ，ｖ）を算出することができる。
式（３）を逆フーリエ変換すると式（４）が得られる。
ｆ（ｘ，ｙ）＝ｇ（ｘ，ｙ）＊ｍ（ｘ，ｙ） … （４）
ｍ（ｘ，ｙ）は、ぼけ除去フィルタの係数を表す。ぼけ除去フィルタの係数は、式（４）に示すように逆フィルタの係数１／Ｈ（ｕ，ｖ）を逆フーリエ変換して得られる。従って、ぼけ除去処理部１０５は、算出した逆フィルタの係数１／Ｈ（ｕ，ｖ）を逆フーリエ変換してぼけ除去フィルタの係数ｍ（ｘ，ｙ）を算出し、情報記憶部１０４に予め記憶しておいてもよい。なお、ぼけ除去処理部１０５は、撮影画像に混入されるノイズの影響等を考慮してぼけ除去フィルタの係数ｍ（ｘ，ｙ）を算出してもよい。例えば、ぼけ除去処理部１０５は、原画像の信号値とその推定値との間の平均二乗誤差を最小とするウィナーフィルタの係数を、ぼけ除去フィルタの係数として算出してもよい。
なお、情報記憶部１０４に記憶するぼけ特性情報は、ぼけ除去フィルタの係数に限らず、ＯＴＦやその逆フィルタの係数であってもよく、記憶した情報に応じて、後述のぼけ除去処理部１０５においてぼけ除去フィルタの係数を算出してもよい。

ぼけ除去フィルタの係数は、上述のように焦点位置及び被写体距離などに応じて変化し、それに伴いぼけ除去フィルタによる処理範囲（以下、ぼけ除去処理範囲と呼ぶ）も変化することがある。ぼけ除去処理範囲は、畳み込み演算に用いる撮影画像ｇ（ｘ，ｙ）の画素（ｘ，ｙ）の範囲である。例えば、注目座標（ｘ１，ｙ１）における原画像の信号値ｆ（ｘ１，ｙ１）を算出する際に、ぼけ除去フィルタのカーネルサイズが３行３列の行列であった場合、座標（ｘ１−１，ｙ１−１）〜（ｘ１＋１，ｙ１＋１）の範囲が、ぼけ除去処理範囲となる。

ぼけ除去処理部１０５は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成される。ぼけ除去処理部１０５には、撮像部１０１からの画像情報１ａと、合焦位置制御部１０２からの合焦情報１ｂと、測距部１０３からの被写体距離情報１ｃとが入力される。ぼけ除去処理部１０５は、入力された合焦情報と被写体距離情報に対応したぼけ特性情報を情報記憶部１０４から読み出し、読み出したぼけ特性情報に基づいて画像情報の各画素の信号値（画素値）に対してぼけ除去処理を行う。ぼけ除去処理部１０５は、ぼけ除去処理を行った画像情報１ｄを外部へ出力する。ぼけ除去処理の詳細については後述する。

（画像処理）
図２は、本実施形態に係る画像処理を示すフローチャートである。
（ステップＳ１０１）合焦位置制御部１０２は、撮像部１０１のレンズ駆動系を制御して被写体に合焦し、合焦情報を取得する。合焦位置制御部１０２による合焦制御は、例えば、シャッターボタンで半押し操作による入力が受け付けられたときに行われる。合焦位置制御部１０２は、取得した合焦情報をぼけ除去処理部１０５に出力する。取得した合焦情報は、例えば、合焦時におけるレンズの焦点位置と、画像上における合焦被写体位置の情報である。その後、ステップＳ１０２に進む。

（ステップＳ１０２）撮像部１０１は、被写体を撮像して画像情報を取得し、画像情報をぼけ除去処理部１０５に出力する。撮像部１０１による被写体の撮像は、例えば、ステップＳ１０１においてシャッターボタンで半押し操作による入力が受け付けられた状態から、全押し操作による入力が受け付けられた際に行われる。また、測距部１０３は、撮像装置１から被写体までの距離を計測し、被写体距離情報をぼけ除去処理部１０５に出力する。ここで、撮像部１０１による撮像と、測距部１０３による距離計測は同時に行われ、または、予め定めた時間内に撮像と距離計測の両方が行われ、画像情報に対応した被写体距離情報が取得される。その後、ステップＳ１０３に進む。

（ステップＳ１０３）ぼけ除去処理部１０５は、合焦位置制御部１０２から入力された合焦情報、測距部１０３から入力された被写体距離情報に基づいて情報記憶部１０４からぼけ特性情報を読み出す。ぼけ除去処理部１０５は、撮像部１０１から入力された画像情報の各画素値について、読み出したぼけ特性情報を用いてぼけ除去処理を行う。ぼけ除去処理部１０５は、処理を行った画素値の情報からなる画像情報を外部に出力する。その後、処理を終了する。

（ぼけ除去処理）
次に、図２のステップＳ１０３のぼけ除去処理について詳細を説明する。
図３は、本実施形態に係るぼけ除去処理を示すフローチャートである。
ぼけ除去処理部１０５は、入力された画像情報の各画素を順次注目画素として、以下の処理ステップを実行する。初期の注目画素を、例えば、画像の左上端の画素と定めておく。但し、注目画素を中心とした、ぼけ除去範囲が１フレームの画像の範囲を超えないように注目画素を順次変更する。

（ステップＳ１０３１）ぼけ除去処理部１０５は、合焦位置制御部１０２から入力された合焦情報と、測距部１０３から入力された被写体距離情報に基づいて注目画素が合焦画素か非合焦画素かを判定する。ここで、ぼけ除去処理部１０５は、合焦情報である合焦被写体位置と、ステップＳ１０２の被写体距離情報とから、合焦被写体の距離情報を取得する。また、ぼけ除去処理部１０５は、被写体距離情報から注目画素の距離情報を取得する。合焦被写体の距離情報と注目画素の距離情報との差の絶対値が、予め定めた閾値よりも小さいとき、ぼけ除去処理部１０５は、注目画素が合焦画素であると判定する。それ以外の場合、ぼけ除去処理部１０５は、注目画素は非合焦画素であると判定する。合焦画素と判定された場合には（ステップＳ１０３１ ＹＥＳ）、ステップＳ１０３４に進む。つまり、ぼけ除去処理は行われない。非合焦画素と判定された場合には（ステップＳ１０３１ ＮＯ）、ステップＳ１０３２に進む。

（ステップＳ１０３２）ぼけ除去処理部１０５は、合焦情報である焦点位置と、被写体距離情報が示す注目画素の距離とに対応するぼけ特性情報を情報記憶部１０４から読み出す。読み出されるぼけ特性情報は、例えば、ぼけ除去フィルタの係数である。
なお、読み出されたぼけ特性情報が、ぼけ除去フィルタ以外の係数、例えば、ＯＴＦ又は逆フィルタの係数である場合には、ぼけ除去処理部１０５は、読み出した係数又は補間した係数に基づいてぼけ除去フィルタの係数を算出する。その後、ステップＳ１０３３に進む。

（ステップＳ１０３３）ぼけ除去処理部１０５は、注目画素を中心とするぼけ除去処理範囲内の画素値に対し、ぼけ除去フィルタの係数を畳み込み演算し、注目画素の画素値を算出する。これにより、注目画素に生じたぼけを除去した画素値を取得する。その後、ステップＳ１０３４に進む。
（ステップＳ１０３４）ぼけ除去処理部１０５は、入力された画像情報における全画素について処理を終了したか否かを判定する。全画素について処理が終了していれば（ステップＳ１０３４ ＹＥＳ）、ぼけ除去処理を終了する。全画素について処理が終了していなければ（ステップＳ１０３４ ＮＯ）、注目画素を未処理の画素の１つ、例えば水平方向又は垂直方向に隣接する画素に変更する。その後、ステップＳ１０３１に進む。

以上の処理を全画素に対して行うことで、ぼけが除去された被写界深度の大きい画像が取得される。
なお、上述では、ステップＳ１０３１において、ぼけ除去処理部１０５は、注目画素が合焦画素か非合焦画素かを判定することで、ぼけ除去処理を行うかどうかを判定したが、これに限られない。例えば、ぼけ除去処理部１０５は、合焦画素か非合焦画素かの判定を行う前に、各画素に対してぼけ除去処理を行ってもよい（ステップＳ１０３２、Ｓ１０３３）。その後、ぼけ除去処理部１０５は、画素毎にステップＳ１０３１に示した合焦画素か非合焦画素かの判定を行い、非合焦画素についてはぼけ除去処理後の画素値を選択し、合焦画素については、ぼけ除去処理前の画素値を選択するようにしてもよい。

なお、上記の画像情報を構成する各画素の値は、輝度値であってもよいし、カラー画像における色毎の値であってもよい。例えば、画像情報がＲＧＢ表色系で表される場合、ぼけ除去処理部１０５は、赤、緑、青の各色の値それぞれに対して上記のぼけ除去処理を行えばよい。情報記憶部１０４には、各色に対応したぼけ特性情報を記憶しておき、ぼけ除去処理部１０５は、各色に対応したぼけ特性情報に基づいて色毎のぼけ除去処理を行う。これにより、色毎のぼけ除去が可能であり、レンズによる軸上色収差の発生を回避することができる。

以上に説明した通り、本実施形態に記載の撮像装置１によれば、公知のＡＦ方式を用いた合焦制御によって被写体に合焦し、光学的に合焦しなかった被写体については、合焦時の焦点位置と被写体までの距離に応じたぼけ特性情報に基づいてぼけ除去処理を行う。これによって、光学的に合焦しなかった被写体のぼけを除去することができる。また、合焦制御を実行して焦点位置が変化することで、被写体のぼけ特性が変化した場合にも、ぼけ除去を行うことができる。これによって、近景から遠景まで広い距離範囲に存在する被写体に合焦した、被写界深度の大きい画像を取得することができる。また、公知のＡＦ方式を用いるため、従来のデジタルカメラによる撮影と同様の操作によって、被写界深度の大きい画像を取得することが可能である。したがって、利用者に新たな方法による操作を要求せずに、被写界深度の大きい画像を取得することが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。上述の実施形態と同一構成については同一の符号を付して説明を援用する。
本実施形態に係る撮像装置１の構成は、図１に示した撮像装置１の構成と同様である。
本実施形態に係る画像処理では、図２に示す画像処理フローチャートにおいて、ぼけ除去処理（ステップＳ１０３）の代わりに、以下に説明するぼけ除去処理（ステップＳ１０３ａ）を実行する。

次に、本実施形態に係るぼけ除去処理（ステップＳ１０３ａ）について説明する。
図４は、本実施形態に係るぼけ除去処理を示すフローチャートである。
図４に示す、ぼけ除去処理は、図３のステップＳ１０３２の後でステップＳ１０３５を実行し、その後、ステップＳ１０３３の代わりにステップＳ１０３３ａを実行する。
（ステップＳ１０３５）ぼけ除去処理部１０５は、測距部１０３から入力された被写体距離情報に基づいて、注目画素を中心とするぼけ除去処理範囲に含まれる各画素について、各画素の距離に対応する重み係数を定める。その後、ステップＳ１０３３ａに進む。
（ステップＳ１０３３ａ）ぼけ除去処理部１０５は、ぼけ除去処理範囲内の各画素値と、画素毎に定めた重み係数をそれぞれ乗算して、重み付けされた画素値を算出する。次に、重み付けられた画素値とぼけ除去フィルタの係数を畳み込み演算する。最後に、ぼけ除去処理範囲内の重み係数の総和を算出し、畳み込み演算による畳み込み値を、算出した総和で除算して注目画素の画素値を算出する。その後、ステップＳ１０３４に進む。

上述したように、本実施形態に係るぼけ除去処理は、被写体距離に基づく重み付けを行うことを特徴としている。ぼけ特性情報は被写体距離に応じて変化するため、被写体距離が異なる画素間においては、ぼけ特性（例えば、ぼけ量）も異なる。例えば、２つの画素間で距離情報が示す距離値の差が小さいほど、それらの画素間でぼけ量の差が小さくなる。２つの画素間で距離情報が示す距離値の差が大きいほど、それらの画素間でぼけ量の差が大きくなる。この２つの画素が、ある注目画素を中心とするぼけ除去処理範囲内に共存する場合、単純にぼけ除去フィルタの係数と各画素値とを畳み込み演算しても、距離の異なる画素間で画素値が平均化される。そのため、２つの画素のうち、少なくともいずれかの画素値が、もとの画素値から大きく離れた誤った値になり、ぼけ除去の精度が低下する可能性がある。これは、ぼけ除去フィルタが、ぼけ除去処理範囲の中心画素である注目画素におけるぼけ特性に応じたフィルタであって、異なる画素におけるぼけ特性が考慮されていないためである。

また、被写体距離が小さい近景画素が、被写体距離が大きい遠景画素から受ける影響と、遠景画素が近景画素から受ける影響は異なる。例えば、遠景が合焦し、遠景よりも近景のぼけが著しく、かつ、遠景と近景が隣接している場合、ぼけによって拡散した近景が遠景の少なくとも一部に重畳し、その遠景の一部の画像情報が失われてしまうことがある。一方、近景が合焦し、近景よりも遠景のぼけが著しく、かつ、遠景と近景が隣接している場合には、ぼけによって拡散した遠景が近景の少なくとも一部に重畳する現象は生じない。これらのことから、本実施形態では、ぼけ除去処理範囲内で、注目画素とその周囲画素の被写体距離情報に応じて重み付けを行ってから、畳み込み演算を行う。これにより、注目画素と同じ距離を持つ画素の重み係数を大きくなるようにして、ぼけ除去処理を行う。

（重み付け処理の詳細）
次に、ステップＳ１０３５で行われる重み付け処理について、図５を用いて、より詳細に説明する。
図５は、本実施形態に係る重み付け処理に係る情報の例を示す概念図である。
図５（ａ）は、撮像部１０１により撮像した画像の例を示す。図５（ａ）には、遠景被写体５１ａとして山岳が、近景被写体５２ａとして人物がともに示されている。そのうち、近景被写体５２ａが、利用者が最も注目する主要被写体である。
図５（ｂ）は、測距部１０３により計測した被写体距離情報の例である。図５（ｂ）では、画素毎の距離値を有する距離マップ（距離画像、デプスマップ、ともいう）として示されている。この距離マップでは、距離値が小さいほど明るく示されている。また、図５（ａ）が示す画像の各画素は、それぞれ図５（ｂ）が示す距離マップの各画素に対応している。図５（ｂ）において５１ｂ、５２ｂの濃淡は、それぞれ、遠景被写体５１ａの距離、近景被写体５２ａの距離を示す。従って、遠景被写体５１ａの距離値のほうが、近景被写体５２ａの距離値よりも大きいことを示している。なお、図５（ｂ）では、５１ｂの周辺の濃淡が背景部分とほぼ同じである。これは、５１ｂにおける距離値が十分に大きいため、無限遠に対応する距離値と区別できないことを示す。

図５（ｃ）は、図５（ｂ）の一部の領域５３ｂを拡大表示した図である。図５（ｃ）において、それぞれの四角形は１つの画素を表す。図５（ｃ）の中心部の太枠は、注目画素５３を示す。注目画素５３の濃度は、５１ｂの濃度と同等であることから、注目画素５３は遠景被写体を示す距離値が大きい領域に属していることを示す。
ここで、図５（ａ）に示される近景被写体５２ａに合焦され、遠景被写体５１ａにぼけが生じている場合に、図５（ｃ）に示される注目画素５３のぼけ除去処理を行う例を想定する。ぼけ除去処理部１０５は、注目画素５３の距離値と、図５（ｃ）の右側２列の各画素の距離値の差が十分に大きいことに応じて、右側２列の各画素の重み係数を０と定める。一方、注目画素５３の距離値と図５（ｃ）の左側３列の各画素の距離値が等しいことに応じて、左側３列の各画素の重み係数を１と定める。これにより、注目画素５３と同じぼけ特性をもつ遠景被写体の画素のみを用いてぼけ除去を行うことができる。

なお、ぼけ除去処理範囲における画素毎の距離値の分布が、それらの距離値の平均値から予め定めた範囲内である場合には、ぼけ除去処理部１０５は、各画素値に重み付けを行わなくてもよい。つまり、ぼけ除去処理範囲内で距離値の変化が小さい場合には、重み付けを行わなくてもよい。この場合、ぼけ除去処理部１０５は、ぼけ除去処理範囲内における画素毎の重み係数を、同一の実数値（但し、０以外の実数値）と定めることで、実質的に距離値に基づく重み付けが行われないようにしてもよい。これは、このような場合には、画素間の距離値変化が緩やかであり、ぼけ除去処理範囲内の画素間でのぼけ特性が近似すると考えられるためである。

以上で説明したように、本実施形態では画素毎に対応する被写体距離に基づいて重み付けを行い、ぼけ除去処理を行う。これによって、画素間の被写体距離の差異によるぼけ特性の差異に応じて生じる画質の劣化を回避して、被写界深度の大きい画像を取得することができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。上述の実施形態と同一構成については、同一の符号を付して説明を援用する。
本実施形態に係る撮像装置１の構成は、図１に示した撮像装置１の構成と同様である。
本実施形態に係る画像処理では、図２に示す画像処理フローチャートでの合焦情報取得処理（ステップＳ１０１）において、次に説明する処理を行う。

合焦位置制御部１０２は、撮像部１０１が撮像した画像情報が示す被写体のうち、予め定めた大きさよりも大きく表される被写体であって、被写体距離が最も小さい被写体を主要被写体として検出する。本実施形態では、主要被写体を合焦制御において優先的に合焦させる被写体として扱う。第２の実施形態で述べたように、近景被写体と遠景被写体とを示すシーンを示す画像を撮影する際、遠景被写体に合焦すると近景被写体を示す領域にぼけが生じることがある。そのため、近景被写体のエッジ部分が拡散して遠景被写体を示す領域の一部に重畳することがある。このような現象が発生すると、遠景被写体の情報が失われてしまい、遠景被写体の画素値についてぼけ除去処理を行っても復元できない。そこで、本実施形態では、撮像装置から最も距離が小さい被写体を優先して合焦することで近景被写体のぼけを回避する。また、ある程度の大きさの被写体に合焦するようにすることで、画像を視認するユーザの誘目性の高い被写体に合焦するようにする。

合焦位置制御部１０２には、例えば、撮像部１０１の画角を分割した予め定めた複数個の分割領域を設定しておく。例えば、水平方向４個、垂直方向４個、計１６個の分割領域を設定しておく。次に、合焦位置制御部１０２は、分割領域の各々について合焦制御を行い、分割領域毎の合焦情報を取得する。合焦位置制御部１０２は、取得した合焦情報に基づいて分割領域毎に合焦被写体の被写体距離を算出し、算出した被写体距離のうち、最も距離値が小さくなる被写体距離の分割領域を選択する。合焦位置制御部１０２は、選択した分割領域の合焦情報を、撮像部１０１が取得した画像情報についての合焦情報と定める。すなわち、選択された分割領域に示される被写体を主要被写体とし、主要被写体に対して合焦した情報を合焦情報とする。

上記のように分割領域を設定することで、主要被写体の大きさを分割領域の大きさ（画素数）を用いて判定することが可能であり、撮像部１０１で取得される画像の解像度に応じて分割数を変更することで、検出する主要被写体の大きさを設定することが可能となる。この設定を撮影するシーンなどに応じて調整し、予め定めた大きさよりも大きく表される被写体を主要被写体として検出するようにする。
なお、本実施形態では、分割領域毎に合焦情報に基づいて被写体距離情報を算出したが、分割領域毎に測距部１０３によって取得された被写体距離情報を用いてもよい。

以上に説明したように、本実施形態では撮像した画像情報が示す被写体のうち、予め定めた大きさよりも大きく示される被写体であって、被写体距離が最も小さい被写体を主要被写体とし、主要被写体の合焦情報を取得する。そして、取得された合焦情報に基づいて、上述の各実施形態におけるぼけ除去処理が行われる。従って、近景被写体を示す領域にぼけが発生することによる画質の低下を回避して、被写界深度が大きい画像を取得することができる。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。上述の実施形態と同一構成については、同一の符号を付して説明を援用する。
本実施形態に係る撮像装置１の構成は、図１に示した撮像装置１の構成と同様である。但し、測距部１０３で取得される被写体距離情報を、合焦位置制御部１０２とぼけ除去処理部１０５に出力するように変更する（図示せず）。
本実施形態では、合焦位置制御部１０２は、公知のＡＦ方式を用いずに、測距部１０３により取得される被写体距離情報を用いて合焦制御を行い、合焦情報を取得する。

次に、本実施形態に係る画像処理について説明する。
図６は、本実施形態に係る画像処理を示すフローチャートである。
本実施形態に係る画像処理では、図２に示す画像処理において、ステップＳ１０１の代わりに、ステップＳ２０１、Ｓ２０２を実行する。ステップＳ２０２では、合焦位置制御部１０２は、測距部１０３から入力された被写体距離情報に基づいて合焦制御を行い、合焦情報を取得する。

（ステップＳ２０１）測距部１０３は、撮像装置１から被写体までの距離を計測し、被写体距離情報を合焦位置制御部１０２とぼけ除去処理部１０５へ出力する。その後、ステップＳ２０２に進む。
（ステップＳ２０２）合焦位置制御部１０２は、測距部１０３から入力された被写体距離情報に基づいて主要被写体を検出する。検出した主要被写体に対して焦点位置を合わせるように合焦制御を行い、合焦情報を取得する。合焦位置制御部１０２は、取得した合焦情報をぼけ除去処理部１０５へ出力する。その後、ステップＳ１０２に進む。

なお、図６において、ステップＳ２０１で取得した被写体距離情報は、ステップＳ１０３で利用してもよく、その場合には、ステップＳ１０２において、測距部１０３が被写体距離情報を取得する処理を省略してもよい。
また、図６において、ステップＳ１０３の代わりにステップＳ１０３ａ（図４）を実行してもよい。
なお、合焦位置制御部１０２は、主要被写体の検出を行う際に、画像認識技術を用いて予め定めた被写体（例えば、人物の顔や特性の物体など）と認識された被写体を主要被写体として検出してもよい。また、検出対象の被写体の候補を予め複数個定めておき、合焦位置制御部１０２は、画像認識技術を用いて認識された複数の被写体から、被写体距離が最も小さい被写体を主要被写体として検出してもよい。

（合焦情報取得処理の詳細）
次に、ステップＳ２０２で行われる合焦情報取得処理の詳細について、図７を用いて説明する。
図７は、被写体距離情報の一例を示す概念図である。
図７は、図５（ｂ）に示す距離マップと同一の距離マップを示す。但し、図７に示される四角形のそれぞれは、分割領域を示す。分割領域の個数は、図７に示す例では、垂直方向３個、水平方向５個、計１５個である。
ステップＳ２０２では、ステップＳ２０１で取得された被写体距離情報に基づいて主要被写体を検出し、その主要被写体に対して合焦して合焦情報を取得する。

本実施形態では、上述の第３の実施形態と同様に、撮像部１０１が撮像した画像情報が示す被写体のうち、予め定めた大きさよりも大きく表される被写体であって、被写体距離が最も小さい被写体を主要被写体として検出する。合焦位置制御部１０２は、各分割領域内の各画素の距離値について、頻度分布（距離値毎の出現頻度（画素数））を計数する。次に、各分割領域において、最頻距離値の出現頻度が予め定めた閾値を越えるかどうかを判定し、閾値を越えた分割領域を選択する。１つの被写体は１つの距離値をもつ可能性が高いため、これによって１つの被写体（物体）で占められている分割領域を選択することができる。また、１つの分割領域において最頻距離値の出現頻度が多いほど、その分割領域は１つの被写体で占められている可能性が高いと言える。
なお、合焦位置制御部１０２は、最頻距離値の出現頻度と、最頻距離値を中心として、予め定めた範囲内の距離値の出現頻度の総頻度が、予め定めた閾値を越える分割領域を選択するようにしてもよい。これにより、表面に凹凸がある被写体や曲面を有する被写体が、主要被写体の候補として除外されることを防ぐことができる。
合焦位置制御部１０２は、上記のように選択された各分割領域について、最頻距離値をその分割領域の代表距離値と定める。次に、各分割領域の代表距離値を比較し、代表距離値が最も小さい分割領域を、主要被写体が存在する領域として検出する。つまり、検出した領域に示されている被写体を主要被写体とする。

図７に示す例では、１５個全ての分割領域が、それぞれ１つの被写体で占められている分割領域として選択され、それぞれの分割領域について代表距離値が定められる。そして、最も小さい代表距離値を有する分割領域として、図７において太線で示した枠で囲まれた分割領域７１が選択される。分割領域７１は、近景被写体の距離５２ｂを与える画素を最も多く含むためである。従って、分割領域７１が主要被写体領域として検出される。
合焦位置制御部１０２は、主要被写体領域に合焦させることを指示する合焦制御信号を撮像部１０１に出力することで合焦制御を行う。撮像部１０１は、合焦位置制御部１０２から入力された合焦制御信号が示す領域に示された主要被写体に焦点を合わせる。従って、合焦位置制御部１０２は、撮像部１０１の焦点位置などの情報を合焦情報としてぼけ除去処理部１０５へ出力する。

ここで、距離マップの領域分割の具体例について説明する。以下の説明では、撮像部１０１で取得した画像情報の解像度が、水平方向１９２０画素、垂直方向１０８０画素（Ｆｕｌｌ ＨＤ： Ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ、フルハイビジョン）であって、これに対応した被写体距離情報が取得された場合を例にとる。このとき、被写体距離情報が示す距離マップを、水平方向１６個、垂直方向９個に分割したとき、１つの分割領域の大きさは、水平方向１２０画素、垂直方向１２０画素となる。この大きさが、主要被写体領域の最小サイズとなる。従って、撮像部１０１が取得した画像情報の解像度と領域分割数を変化させることで、撮影されるシーンに応じた大きさの主要被写体の検出が可能になる。また、各分割領域が１つの被写体で占められているか否かの判定基準となる画素数の閾値を、例えば、１４４００画素（水平方向１２０画素、垂直方向１２０画素）の約７０％である、１００００画素と定めておいてもよい。

以上で説明したように、本実施形態では、公知のＡＦ方式による合焦制御を用いる代わりに、測距部１０３が計測した被写体距離情報を用いて主要被写体を検出し、検出した主要被写体について合焦して合焦情報を取得する。これにより、近景被写体のぼけが、遠景被写体が表示される領域に重畳して画質を低下させることを回避するとともに、被写界深度が大きい画像を取得することが可能である。

（第５の実施形態）
次に、本発明の第５の実施形態について説明する。上述の実施形態と同一構成については、同一の符号を付して説明を援用する。まず、本実施形態に係る撮像装置２の構成について説明する。
図８は、本実施形態に係る撮像装置２の構成を示す概略ブロック図である。
撮像装置２は、２個の撮像部１０１−１、１０１−２、合焦位置制御部１０２、距離算出部２０３、情報記憶部１０４及びぼけ除去処理部１０５を含んで構成される。撮像部１０１−１、１０１−２及び距離算出部２０３は、上述した各実施形態に係る撮像装置１（図１）が備える測距部１０３の代わりに、撮像装置２から被写体までの被写体距離を計測する測距部を形成する。

撮像部１０１−１、１０１−２は、それぞれの光軸が平行になるように互いに異なる位置に配置され、それぞれが撮像した画像を示す画像情報１ａ−１、１ａ−２を距離算出部２０３に出力する。撮像部１０１−１、１０１−２が配列されている方向は、水平方向（横並び）であってもよいし、垂直方向（縦並び）であってもよい。
また、撮像部１０１−１、１０１−２のうちのいずれか一方、例えば、撮像部１０１−１で取得した画像情報が示す画像を基準画像と予め定めておく。撮像部１０１−１、１０１−２のうちの他方、例えば、撮像部１０１−２で取得した画像情報が示す画像を参照画像と定めておく。撮像部１０１−１は、基準画像の画像情報１ａ−１を距離算出部２０３及びぼけ除去処理部１０５に出力する。撮像部１０１−２は、参照画像の画像情報１ａ−２を距離算出部２０３に出力する。

以下、撮像部１０１−１、１０１−２が取得した画像情報１ａ−１、１ａ−２が示す画像が、それぞれ基準画像、参照画像である場合を例にとって説明する。但し、本実施形態では、撮像部１０１−１、１０１−２が取得した画像情報１ａ−１、１ａ−２が示す画像が、それぞれ参照画像、基準画像であってもよい。
また、以下では、撮像部１０１−１、１０１−２の構成が、それぞれ撮像部１０１の構成と同様である場合を例にとって説明する。本実施形態では、これには限られず、２つの撮像部１０１−１、１０１−２がそれぞれ同じ領域の画像を撮像し、それぞれ撮像した画像を形成する画素間で対応を取ることが可能であれば、撮像部１０１−１、１０１−２間で解像度や画角などの仕様が異なっても構わない。

距離算出部２０３は、撮像部１０１−１、１０１−２からそれぞれ入力された画像情報１ａ−１、１ａ−２に基づいて被写体距離情報を算出する。距離算出部２０３は、基準画像の各画素について、それぞれ対応する参照画像の画素を探索し、検出した画素との視差値を算出する。対応する画素を検出するために、距離算出部２０３は、例えば、ブロックマッチングを行う。

ブロックマッチングは、次に説明する処理である。距離算出部２０３は、一方の画像データのある画素を注目画素として、その画素の位置を基準として他方の画像データ上を水平方向に走査することで画素マッチングを行う。なお、２つの撮像部の配置が縦並びであれば、距離算出部２０３は、他方の画像データ上を垂直方向に走査して画素マッチングを行う。画素マッチングは注目画素を中心としたブロックと、走査対象の画素を中心とするブロックとの間で行われる。距離算出部２０３は、注目画素を中心としたブロックと走査対象の画素を中心とするブロックのそれぞれ対応する画素の絶対値差分の総和をとるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を計算する。距離算出部２０３は、ＳＡＤの値が最小となるブロックを決定することで、一方の画像データの注目画素に対応する他方の画像データ上の対応画素を求める。距離算出部２０３は、ＳＡＤによる計算手法以外に、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｉｎｔｅｎｓｉｔｙ Ｄｉｆｆｅｒｅｎｃｅ）によるブロックマッチング、グラフカット、ＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）マッチングといった計算手法を用いてもよい。距離算出部２０３は、対応画素と注目画素との間の視差値を算出する。

ここで、撮像された被写体までの距離Ｚと視差ｄとの関係はｄ＝ｆ×Ｂ／Ｚで表される。ｆは撮像部１０１−１および１０１−２の焦点距離であり、Ｂは撮像部１０１−１と撮像部１０１−２との間の距離を表す基線長である。上述の距離Ｚと視差ｄの関係式は、距離Ｚと視差ｄとの間で相関関係があることを示す。本実施形態において、撮像装置２の距離算出部２０３は、視差ｄに基づいて被写体距離情報２ｃを算出して出力する。

図９は、距離Ｚと視差ｄとの関係を示した図である。同図に示すように、距離Ｚと視差ｄとは反比例の関係にあり、線形的な関係を有しない。そこで、距離算出部２０３は、距離との関係が線形となるように視差ｄを変換し、変換後の値を距離情報として利用する。具体的には、例えば、距離算出部２０３は、算出した視差ｄの逆数（１／ｄ）を算出し、算出した視差ｄの逆数（１／ｄ）を被写体距離情報２ｃと定める。そして、距離算出部２０３は、算出した被写体距離情報２ｃを、ぼけ除去処理部１０５へ出力する。
なお、視差の変換は、距離と完全に線形の関係でなくてもよく、それに近似する関係であってもよい。
また、距離算出部２０３は、算出した視差情報をそのまま出力し、ぼけ除去処理部１０５で、入力された視差情報を距離情報に変換するようにしてもよい。

以上に説明したように、本実施形態では、２つの撮像部で取得した画像情報に基づいて被写体距離情報２ｃを算出し、算出した被写体距離情報２ｃをぼけ除去処理部１０５へ出力する。これにより、赤外線等を用いる特殊な測距装置を必要とせず、よりコストの低い構成によって被写界深度の大きい画像を取得することができる。

なお、上述した各実施形態は、静止画に係る画像情報に限られず、動画に係る画像情報に適用してもよい。この場合、動画を構成する各フレームの画像情報それぞれについて各実施形態が適用される。これにより、各フレームで被写界深度の大きい画像が取得され、被写界深度の大きい動画が形成される。

また、上述した各実施形態では、例として、所定の焦点距離を有するレンズを用い、Ｆ値が所定値に固定されている場合を考慮し、焦点位置と被写体距離情報とに対応づけられたぼけ特性情報（ぼけ除去フィルタ）を、情報記憶部１０４に記憶した場合について説明した。しかし、情報記憶部１０４に記憶するぼけ特性情報はこれに限られない。例えば、撮像装置１又は２が光学的なズーム機構（例えば、ズームレンズ）を備える場合を考慮し、情報記憶部１０４には、ズーム倍率を示すズーム情報と、合焦情報と、被写体距離情報とに対応したぼけ特性情報を予め記憶しておいてもよい。例えば、ズーム機構を備えた撮像部１０１等は、ズーム倍率を示すズーム情報をぼけ除去処理部１０５に出力する。ぼけ除去処理部１０５は、ズーム情報、合焦情報、および被写体距離情報に対応したぼけ特性情報を情報記憶部１０４から読み出し、読み出したぼけ特性情報に基づいてぼけ除去処理を行う。これにより、ズーム機構を使用して撮像した画像に基づいて、被写界深度の大きい画像が取得される。

また、上述した各実施形態において、撮像装置１又は２は光量を調整する光量調整機構（例えば、絞り）を有していてもよい。この場合、情報記憶部１０４には、絞りの度合いを示すＦ値情報と、合焦情報と、被写体距離情報とに対応したぼけ特性情報を予め記憶しておく。例えば光量調整機構を備えた撮像部１０１等は、絞りによって変化したＦ値の情報をぼけ除去処理部１０５に出力する。ぼけ除去処理部１０５は、Ｆ値の情報、合焦情報、および被写体距離情報に対応したぼけ特性情報を情報記憶部１０４から読み出し、読み出したぼけ特性情報に基づいてぼけ除去処理を行う。これにより、光量調整機構を使用して撮像した場合でも、被写界深度の大きい画像を取得することができる。なお、情報記憶部１０４には、さらに上記のズーム情報に対応させたぼけ特性情報を記憶しておいてもよい。

なお、上述では、撮像装置１、２が情報記憶部１０４を一体化して備える場合を例にとって説明したが、上述した実施形態ではこれには限られない。撮像装置１、２は、情報記憶部１０４を着脱可能な機構を備え、その機構に情報記憶部１０４が装着されているときに、情報記憶部１０４からぼけ特性情報を読み出せるようにしてもよい。例えば、情報記憶部１０４として、予めぼけ特性情報を記憶した不揮発性メモリ（例えば、メモリカード）を用いてもよい。また、撮像装置１、２は、無線又は有線で接続された情報記憶部１０４からぼけ特性情報を読み出せるようにしてもよい。例えば、ぼけ特性情報を記憶した記憶媒体（例えば、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等の不揮発性メモリ）から、ＩＥＥＥ８０２．１１、ＩＥＥＥ８０２．１５．１等の無線通信規格やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）３．０、ＩＥＥＥ８０２．３等の有線通信規格に則ってぼけ特性情報を読み出してもよい。

なお、上述した実施形態における撮像装置１、２の一部、例えば、合焦位置制御部１０２、ぼけ除去処理部１０５、距離算出部２０３をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、撮像装置１、２に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものであってもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における撮像装置１、２の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。撮像装置１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

なお、本発明は、以下の態様でも実施することができる。
（１）被写体を撮像して画像情報を取得する撮像部と、前記撮像部の焦点位置を制御する合焦位置制御部と、自装置から前記被写体までの距離情報を取得する測距部と、前記撮像部の光学系のぼけ特性情報を保持する情報記憶部と、前記画像情報のぼけを除去するぼけ除去処理部とを備え、前記ぼけ除去処理部は、合焦情報と、前記距離情報とに対応する前記ぼけ特性情報に基づいて前記画像情報のぼけを除去することを特徴とする撮像装置。

（２）前記測距部は、前記画像情報の画素毎の距離情報を取得し、前記ぼけ除去処理部は、前記画素毎の距離情報に応じた重み係数で、処理対象の画素から予め定めた範囲内の画素の値に重み付けを行い、前記合焦情報と、前記距離情報とに対応する前記ぼけ特性情報に基づいて前記画像情報のぼけを除去することを特徴とする上記（１）に記載の撮像装置。

（３）前記合焦位置制御部は、前記撮像部で撮像する被写体のうち、予め定めた大きさよりも大きい被写体であって、自装置からの距離が最も小さい被写体に対して合焦するように前記撮像部の焦点位置を制御することを特徴とする上記（１）または（２）に記載の撮像装置。

（４）前記合焦位置制御部は、前記撮像部の撮像範囲を表す画角を複数個に分割した分割領域を設定し、前記分割領域のそれぞれについて、距離値の出現頻度の分布である頻度分布を算出し、前記出現頻度が最も多い最頻距離値を定め、前記最頻距離値から予め定めた範囲の距離値の出現頻度との総頻度が、予め定めた閾値よりも大きい分割領域を、前記予め定めた大きさよりも大きい被写体の示された分割領域であると判定し、前記判定された分割領域のうち、前記最頻距離値が最も小さい分割領域を、前記自装置からの距離が最も小さい被写体が示されている領域と定めることを特徴とする上記（３）に記載の撮像装置。

（５）被写体を撮像して画像情報を取得する第１の過程と、撮像部の焦点位置を制御する第２の過程と、自装置から前記被写体までの距離情報を取得する第３の過程と、前記撮像部の光学系のぼけ特性情報を保持する第４の過程と、前記画像情報のぼけを除去する第５の過程とを有し、前記第５の過程は、合焦情報と、前記距離情報とに対応する前記ぼけ特性情報に基づいて前記画像情報のぼけを除去することを特徴とする撮像方法。

上述した（１）及び（５）によれば、合焦情報と被写体までの距離に応じた画像のぼけ特性に基づいて、画像のぼけが除去されるため、被写界深度が大きい画像が生成される。
上述した（２）によれば、被写体までの距離に応じて異なる画像のぼけ特性を調整できるため、より自然な画像を取得することができる。
上述した（３）によれば、誘目性の高い主要被写体が優先して合焦されるので画像全体としての画質の低下を回避することができる。
上述した（４）によれば、被写体の距離値の出現頻度が高い領域に示された被写体が、主要被写体の候補として判定され、主要被写体の候補のうち最も自装置からの距離値が小さい主要被写体と判定される。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１、２…撮像装置、１０１（１０１−１、１０１−２）…撮像部、
１０２…合焦位置制御部、１０３…測距部、１０４…情報記憶部、
１０５…ぼけ除去処理部、２０３…距離算出部

Claims (5)

1. 被写体を撮像して画像情報を取得する撮像部と、
   前記撮像部の焦点位置を制御する合焦位置制御部と、
   自装置から前記被写体までの距離情報を取得する測距部と、
   前記撮像部の光学系のぼけ特性情報を保持する情報記憶部と、
   前記画像情報のぼけを除去するぼけ除去処理部とを備え、
   前記ぼけ除去処理部は、合焦情報と、前記距離情報とに対応する前記ぼけ特性情報に基づいて前記画像情報のぼけを除去することを特徴とする撮像装置。
2. 前記測距部は、前記画像情報の各画素の距離情報を取得し、
   前記ぼけ除去処理部は、前記各画素の距離情報に応じて、前記各画素の値に重み付けを行い、前記合焦情報と、前記距離情報とに対応する前記ぼけ特性情報に基づいて前記画像情報のぼけを除去することを特徴とする請求項１に記載の撮像装置。
3. 前記合焦位置制御部は、前記撮像部で撮像する被写体のうち、予め定めた大きさよりも大きい被写体であって、自装置からの距離が最も小さい被写体に対して合焦するように前記撮像部の焦点位置を制御することを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記合焦位置制御部は、前記撮像部の撮像範囲を表す画角を複数個に分割した分割領域を設定し、前記分割領域のそれぞれについて、距離値の出現頻度の分布である頻度分布を算出し、前記出現頻度が最も多い最頻距離値を定め、
   前記最頻距離値から予め定めた範囲の距離値の出現頻度の総頻度が、予め定めた閾値よりも大きい分割領域を、前記予め定めた大きさよりも大きい被写体の示された分割領域であると判定し、
   前記判定された分割領域のうち、前記最頻距離値が最も小さい分割領域を、前記自装置からの距離が最も小さい被写体が示されている領域と定めることを特徴とする請求項３に記載の撮像装置。
5. 被写体を撮像して画像情報を取得する第１の過程と、
   撮像部の焦点位置を制御する第２の過程と、
   自装置から前記被写体までの距離情報を取得する第３の過程と、
   前記撮像部の光学系のぼけ特性情報を保持する第４の過程と、
   前記画像情報のぼけを除去する第５の過程とを有し、
   前記第５の過程は、合焦情報と、前記距離情報とに対応する前記ぼけ特性情報に基づいて前記画像情報のぼけを除去することを特徴とする撮像方法。

Images