JP2016036093A - 撮像装置、その制御方法、および制御プログラム、並びに画像処理装置 - Google Patents

Abstract

【課題】表示用の深度調整画像を高速に生成し、さらに高画質の記録用の深度調整画像を生成する。【解決手段】撮像部１０２によって被写体を撮像する際に互いにフォーカス位置が異なり、所定の解像度を有する複数の高解像度の画像を撮像する。画像処理部１０４は複数の高解像度の画像の解像度を低減して複数の低解像度の画像を生成し、複数の低解像度の画像を用いてボカシを強調する深度調整処理を行って深度調整画像を生成しと、この深度調整画像を表示部１０６に表示する。そして、通信部１０８によって複数の高解像度の画像をＰＣに送って、深度調整処理を行う。【選択図】図１

Description

本発明は、撮像装置、その制御方法、および制御プログラム、並びに画像処理装置関し、特に、撮像の結果得られた画像に対して被写界深度を調整する処理を行う画像処理装置に関する。

デジタルカメラなどの撮像装置において、写真を撮像する際に被写界深度を浅くしてピントが合う範囲を狭くして、ピントが合っている被写体以外の背景をボカして撮像を行うことがある。被写界深度を浅くして撮像を行う際には、撮像装置における絞りを開放して、焦点距離を長くする必要がある。一般に、撮像レンズが大口径であって、絞りおよびシャッター速度の組み合わせを種々選択することが可能な所謂一眼レフカメラにおいては、上述の手法を用いて写真を撮像することが可能である。

一方、所謂コンパクトサイズのデジタルスチルカメラ又は撮像機能を有するカメラ付き携帯電話機などにおいては、小型化のためレンズ口径が小さく、かつ焦点距離が非常に短い撮像レンズが用いられている。このため、被写界深度が非常に深くなる。このため、これらの機器においては、上記の手法用いて背景をボカした写真を撮像することは困難である。

そこで、実際に絞りおよび撮像レンズを駆動して得られる画像のボケよりも、ボケが強調された画像を画像処理によって生成することが行われている。以下、ボケを強調する画像処理を深度調整処理と呼ぶ。

例えば、フォーカス位置が主要被写体に合った第１の画像とフォーカス位置をずらした第２の画像とを撮像して、第１の画像および第２の画像におけるボケ量の相違に応じて主被写体領域と主被写体領域以外の背景領域とを分離して、背景領域にボカシ処理を施す撮像装置がある（特許文献１参照）。

さらに、所謂フォーカスブラケット撮像によって得られた複数の画像を合成して深度調整処理が行われた画像を生成するようにした撮像装置がある（特許文献２参照）。また、ボケが異なる複数の画像から撮像シーンに関する距離を取得するＤｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（ＤＦＤ）法を行う際の望ましい撮像条件について記載したものがある（特許文献３および４参照）。

特開２００７−１２４３９８号公報 特開２００８−２７１２４１号公報 特開２０１２−１６９７５３号公報 特願２０１３−０１５６４９号公報

ところで、深度調整処理によって高画質の画像を得るためには、距離を多層に分離して、分離した層毎にボケの度合いを変化させるボカシ処理を行う必要がある。そして、ボカシ処理をフィルタ処理によって行う際、深度が非常に浅いボカシ画像を生成するためには、参照範囲が非常に広いフィルタ処理を行う必要があるので処理時間が掛ってしまう。

さらに、撮像素子の高画素化に伴って、撮像装置における処理時間が長時間となり、静止画の撮影後に表示する画像として深度調整処理された画像（深度調整画像）を表示したいという要求がある。この場合、連続撮影（連写撮影）の際には、高速に深度調整画像を生成する必要がある。

しかしながら、特許文献１又は２に記載の撮像装置においては、深度調整画像については触れられているものの、記録又は表示のための画像の生成については触れられていない。さらに、特許文献１又は２に記載の撮像装置においては、ボケの異なる複数の画像を取得する際の望ましい撮像条件についても触れなれておらず、表示用の深度調整風像を高速に生成するとともに、高画質の記録用の深度調整画像を得ることは困難である。

そこで、本発明の目的は、表示用の深度調整画像を高速に生成し、さらに高画質の記録用の深度調整画像を生成することのできる撮像装置、その制御方法、および制御プログラム、並びに画像処理装置を提供することにある。

上記の目的を達成するため、本発明による撮像装置は、被写体を撮像する際に互いにフォーカス位置が異なり、所定の解像度を有する複数の高解像度の画像を撮像する撮像手段と、前記複数の高解像度の画像の解像度を低減して前記所定の解像度よりも解像度が低い複数の低解像度の画像を生成する第１の生成手段と、前記複数の低解像度の画像を用いてボカシを強調する深度調整処理を行って第１の深度調整画像を生成する第２の生成手段と、を有することを特徴とする。

本発明による画像処理装置は、上記の撮像装置から前記複数の高解像度の画像を受ける受信手段と、前記複数の高解像度の画像を用いてボカシを強調する深度調整処理を行って第２の深度調整画像を生成する第３の生成手段と、を有することを特徴とする。

本発明による制御方法は、被写体を撮像して画像を得る撮像装置の制御方法であって、被写体を撮像する際に互いにフォーカス位置が異なり、所定の解像度を有する複数の高解像度の画像を撮像する撮像ステップと、前記複数の高解像度の画像の解像度を低減して前記所定の解像度よりも解像度が低い複数の低解像度の画像を生成する第１の生成ステップと、前記複数の低解像度の画像を用いてボカシを強調する深度調整処理を行って深度調整画像を生成する第２の生成ステップと、を有することを特徴とする。

本発明による制御プログラムは、被写体を撮像して画像を得る撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、被写体を撮像する際に互いにフォーカス位置が異なり、所定の解像度を有する複数の高解像度の画像を撮像する撮像ステップと、前記複数の高解像度の画像の解像度を低減して前記所定の解像度よりも解像度が低い複数の低解像度の画像を生成する第１の生成ステップと、前記複数の低解像度の画像を用いてボカシを強調する深度調整処理を行って深度調整画像を生成する第２の生成ステップと、を実行させることを特徴とする。

本発明によれば、複数の高解像度の画像の解像度を低減して複数の低解像度の画像を生成して、これら複数の低解像度の画像を用いてボカシを強調する深度調整処理を行う。これによって、撮像装置では表示用の深度調整画像を高速に生成することができる。さらに、複数の高解像度の画像を画像処理装置に送れば、高画質の記録用の深度調整画像を生成することができる。

本発明の実施の形態による撮像装置の一例についてその構成を示すブロック図である。 本発明の実施の形態による画像処理措置の一例についてその構成を示すブロック図である。 収差のない理想的な光学系におけるＰＳＦのピーク値のデフォーカス特性を示す図である。 互いにフォーカス位置が異なる２つの画像におけるＰＳＦピーク値のデフォーカス特性とＰＳＦピーク比のデフォーカス特性を示す図である。 ＤＦＤスコアから物体側での距離を求める手法を説明するための図である。 図２に示すＰＣで行われる深度調整画像の生成を説明するためのフローチャートである。 図６において記録部２０４から読み込まれる画像の一例を説明するための図であり、（ａ）は人物にフォーカス位置を合わせた画像の一例を示す図、（ｂ）は人物以外の背景にフォーカス位置を合わせた画像の一例を示す図である。 図１に示すカメラにおいて撮像を行う際の距離範囲の指定と撮像条件の設定とを説明するための図である。 図１に示すカメラで行われる深度調整画像の生成を説明するためのフローチャートである。 図４に示す例よりもフォーカスブラケット量を大きくした際のＰＳＦピーク値のデフォーカス特性とＰＳＦピーク比のデフォーカス特性を示す図である。 図１に示すカメラで得られた他の画像をＰＣで参照した際の距離計測可能範囲を示す図である。

以下に、本発明の実施の形態による撮像装置および画像処理装置の一例について図面を参照して説明する。

図１は、本発明の実施の形態による撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、撮像光学系（以下単に光学系と呼ぶ）１０１を有している。図示はしないが、光学系１０１には、ズームレンズおよびフォーカスレンズを有するレンズ群、絞り調整機構、およびシャッター機構が備えられている。そして、光学系１０１は撮像部１０２に結像する被写体像（光学像）の倍率、ピント位置、および光量を調整する。

撮像部１０２は、例えば、ＣＣＤ又はＣＭＯＳセンサーなどの光電変換素子を有しており、光学系１０１を介して結像した被写体像を光電変換によって電気信号（アナログ画像信号）に変換する。Ａ／Ｄ変換部１０３は、撮像部１０２の出力であるアナログ画像信号をデジタル画像信号に変換する。

画像処理部１０４は、Ａ／Ｄ変換部１０３の出力であるデジタル画像信号に対して所定の画像処理を行って画像データとする。また、画像処理部１０４は、記録部１０７から読み出された画像データについても同様して画像処理を行うことができる。

システム制御部１０５は、例えば、ＣＰＵであり、カメラ全体の動作を制御する。表示部１０６は、液晶ディスプレイ又は有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイであり、システム制御部１０５の制御下で、画像処理部１０４の出力である画像データに応じた画像を表示する。さらに、表示部１０６には、記録部１０７から読み出した画像データに応じた画像が表示される。

記録部１０７は、画像処理部１０４の出力である画像データが記録される。記録部１０７は、例えば、半導体メモリが搭載されたメモリカード又は光磁気ディスクなどの回転記録体が収容されたパッケージなどの情報記録媒体を有しており、この情報記録媒体はカメラに着脱可能としてもよい。

通信部１０８は、無線ＬＡＮなどの公衆モバイル通信によって、記録部１０７に記録された画像データなどを外部装置に送信する。なお、撮像部１０２、Ａ／Ｄ変換部１０３、画像処理部１０４、システム制御部１０５、表示部１０６、記録部１０７、および通信部１０８は、バス１０９によって相互に接続されている。

図２は、本発明の実施の形態による画像処理措置の一例についてその構成を示すブロック図である。

図示の画像処理装置は、例えば、パーソナルコンピュータ（ＰＣ）であり、画像処理部２０１を有している。画像処理部２０１は、記録部２０４に記録された画像データに対して所定の画像処理を行う。システム制御部２０２は、例えば、ＣＰＵであり、ＰＣ全体の動作を制御する。

表示部２０３は、例えば、液晶ディスプレイであり、画像処理部２０１で画像処理された画像が表示される。さらに、表示部２０３には記録部２０４から読み出された画像データに応じた画像が表示される。記録部２０４は、例えば、内蔵ハードディスク装置であり、通信部２０５で受信した画像データなどが保存される。通信部２０５は、無線ＬＡＮなどの公衆モバイル通信によって、図１に示すカメラから画像データなどを受信する。なお、画像処理部２０１、システム制御部２０２、表示部２０３、記録部２０４、および通信部２０５はバス２０６によって相互に接続されている。

ここで、２次元画像においてカメラから被写体までの奥行き方向の距離を計測する手法について説明する。

＜距離計測手法＞
ここでは、距離計測手法として、例えば、ＤＦＤ法が用いられる。ＤＦＤ法では距離に応じたボケ量の変化に応じて奥行き方向の距離を計測する手法である。ＤＦＤ法において用いるボケ量の指標として、ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の広がり、ＰＳＦのピーク、又はＰＳＦの相関などがある。ここでは、ＰＳＦの相関量を用いて距離計測を行うものとする。

ＰＳＦの相関量を取得する手法として、例えば、正規化相互相関値Ｒ_ＮＣＣが用いられる。正規化相互相関値Ｒ_ＮＣＣは、２つの画像（撮像画像）において同一の局所領域をそれぞれＣｆ１およびＣｆ２として、次の式（１）で求めることができる。

この式（１）によって得られる正規化相互相関値Ｒ_ＮＣＣの特性は、光学系１０１によるＰＳＦのピーク値におけるデフォーカス特性と類似した特性を有する。

図３は、収差のない理想的な光学系におけるＰＳＦのピーク値のデフォーカス特性を示す図である。

図３において、ここでは、絞りＦ４として、波長が５５０ｎｍである場合のデフォーカス特性が示されている。そして、縦軸はＰＳＦのピーク値を示し、横軸はデフォーカス量を示す。図示のように、ＰＳＦのピーク値はフォーカス位置で最大となって、デフォーカスするにつれて低下し、ＳＩＮＣ関数のように振動しつつ”０”に近づく。

前述のように、ＰＳＦのピーク値はデフォーカス量に依存する。よって、ＰＳＦのピーク値を撮像画像から算出することができれば、そのデフォーカス量が分かり、被写体までの物体距離に換算することができる。

この際、被写体が有する空間周波数などの影響を除去するため、フォーカス位置の異なる画像から求めたＰＳＦのピーク値の比を用いる。以下の説明では、２つの画像からそれぞれ求めたＰＳＦのピーク値の比を「ＰＳＦピーク比」と呼ぶ。さらに、２つの画像におけるフォーカス位置の差を「フォーカスブラケット量」と呼ぶ。

図４は、互いにフォーカス位置が異なる２つの画像におけるＰＳＦピーク値のデフォーカス特性とＰＳＦピーク比のデフォーカス特性を示す図である。

図４においては、負の方向を手前側（前側）とする。点線はフォーカス位置におけるＰＳＦピーク値のデフォーカス特性およびデフォーカス位置におけるＰＳＦピーク値のデフォーカス特性を示す。そして、実線はＰＳＦピーク比のデフォーカス特性を示す。また、横軸は像面側のフォーカス位置を示す。

以下の説明では、ＰＳＦピーク比の値をＤＦＤスコアと呼ぶ。ピーク比をとる際には、ピーク値の大きい方を分母として正規化を行う。その結果、ＤＦＤスコアのピーク値は”１”となり、その位置はフォーカス位置とデフォーカス位置との中間の位置となる。そして、中間位置から離れるにつれてＤＦＤスコアは単調減少して”０”に近づく。従って、ＤＦＤスコアの値域は［０，１］となる。

また、ＤＦＤスコアのピークから前後方向に大きく離れたデフォーカス位置においては、ＰＳＦピーク値の比を取る際に分母が小さくなって、図４に示すようにＤＦＤスコアが上下に大きく振れ不安定となる。このため、当該領域におけるＤＦＤスコアの信頼度は低く、実際に距離計測が可能な範囲は、ＤＦＤスコアのピークから前後に生じる最初の極小値までの範囲となる。

図４に示す例では、距離計測可能範囲は、−７５μｍ〜５５μｍの範囲となる。また、ＰＳＦピーク比のデフォーカス特性の曲線の傾きは距離分解能に対応しており、傾きが大きい程、僅かな距離差においてもＰＳＦピーク比の値の変化を検出しやすくなるので、距離分解能は高くなる。以下の説明では、ＤＦＤスコアのピークから前後に生じる最初の極小値を「１次極小値」と呼ぶ。

ここで、距離計測可能範囲を規定するＰＳＦピーク比の１次極小値の位置は、ＰＳＦピーク値のデフォーカス特性の１次極小値の位置に依存する。つまり、図４に示すように、前側のＰＳＦピーク比の１次極小値の位置は、フォーカス位置の異なる２つの画像のうちフォーカス位置におけるＰＳＦピーク値の前側の１次極小値の位置に対応している。

一方、後側のＰＳＦピーク比の１次極小値の位置は、デフォーカス位置におけるＰＳＦピーク値の後側の１次極小値の位置に対応している。よって、距離計測可能範囲は、ＰＳＦピーク値のデフォーカス特性とフォーカスブラケット量とによって決まることになる。

光学系１０１のＦ値を”Ｆ”、光の波長を”λ”とすると、光学系１０１においてＰＳＦピーク値のデフォーカス特性における前側および後側の１次極小値に間隔Ｉはおよそ次の式（２）で求めることができる。

フォーカスブラケット量をＦＢとすると、ＦＢは次の式（３）で表され、距離計測可能範囲Ｒは式（４）で表される。

但し、ｋ：係数、Ｆ：Ｆ値、λ：第１の画像および第２の画像の撮像に用いる波長である。

図５は、ＤＦＤスコアから物体側における距離Ｚｏを求める手法を説明するための図である。

まず、像面５０１上においてフォーカス位置からのデフォーカス量Ｚｉを求める。次に、焦点距離ｆおよび物体距離ｓに基づいて像面側距離ｓ’を、式（５）によって求める。

続いて、デフォーカス量Ｚｉを用いて、物体側における距離Ｚｏを、式（６）によって求める。

このように、フォーカス位置の異なる２つの画像における同一の局所領域Ｃｆ１およびＣｆ２について、ＤＦＤスコアを求めて、当該スコア値に応じて局所領域Ｃｆ１およびＣｆ２に存在する物体の奥行き方向の距離を推定する。

なお、局所領域Ｃｆ１およびＣｆ２の大きさは任意であって、画素毎に距離を算出することができる。さらに、数画素から数十画素の領域毎に距離を算出するようにしてもよい。そして、画像において全ての局所領域について距離を推定して、局所領域の画像座標と算出した距離とを対応づけたデータを生成する。以下、このデータを距離マップ（距離情報）と呼ぶ。

＜ＰＣの動作＞
図２に示すＰＣにおいては、高画質の深度調整画像を生成するため、前述の距離を多層に分離して、分離した層毎に深度調整処理（ボカシを強調する画像処理）を行う。そして、複数の深度調整画像を合成して最終的な深度調整画像を生成する。

また、ＰＣにおいては、高速に画像を生成する要求が低いので、参照範囲が非常に広いフィルタ処理を、所謂フォーカスブラケット撮像によって得られた複数の画像を合成して深度調整処理が行われた画像を生成するようにした撮像装置がある時間を掛けて行って、深度が非常に浅い画像を生成することが可能である。さらに、ここでは、ユーザーが主被写体として撮像しようとするフォーカス位置の近傍において、距離分解能が高くなるようにフォーカスブラケットされた画像を用いる。これによって、ユーザーが着目している被写体に対してボカシ効果がより自然でかつ高画質の深度調整画像を生成することができる。

図６は、図２に示すＰＣで行われる深度調整画像の生成を説明するためのフローチャートである。

なお、図示のフローチャートに係る処理は、システム制御部２０２の制御下で行われる。また、ここでは、図１に示すカメラで撮像された画像が記録部２０４に記録されているものとし、ここにはフォーカス位置が互いに異なる２枚の画像が記録されているものとする。

深度調整画像生成を開始すると、システム制御部２０２の制御下で、画像処理部２０１は、記録部２０４からフォーカス位置が互いに異なる２枚の画像を読み込む（ステップＳ６０１）。

図７は、図６において記録部２０４から読み込まれる画像の一例を説明するための図である。そして、図７（ａ）は人物にフォーカス位置を合わせた画像の一例を示す図であり、図７（ｂ）は人物以外の背景にフォーカス位置を合わせた画像の一例を示す図である。

図７（ａ）に示す画像は、図７（ａ）は一番手前の被写体である人物７０１にフォーカス位置を合わせて撮像された画像である。そして、一番奥の被写体として家７０３が存在し、中間に人物７０２が存在する。

図７（ｂ）示す画像は、人物７０１から家７０３までの間の距離を計測するために適するフォーカスブラケット量だけフォーカス位置をずらして撮像したデフォーカス画像である。この画像は、図７（ａ）に示す画像よりも後側にフォーカス位置を移動しているので、図７（ｂ）に示す画像では、人物７０１はボケ量が増加した状態で人物７０４として撮像されることになる。一方、人物７０２および家７０３はピントが合う方向にフォーカス位置が移動するので、先鋭度が増加した状態で撮像される。

なお、ＰＣにおいては高画質の深度調整画像を生成するため、高解像度の画像が読み込まれるものとし、ここでは、画像サイズを、例えば、水平６４００画素×垂直４８００画素とする。さらに、フォーカス位置にある人物７０１の近傍の距離分解能が高くなるようにフォーカスブラケット量が設定されるものとする。

図８は、図１に示すカメラにおいて撮像を行う際の距離範囲の指定と撮像条件の設定とを説明するための図である。

図８において、ｓ’＿ｎｅａｒは人物７０１に係る像面側の距離、ｓ’＿ｆａｒは家７０３に係る像面側の距離である。距離範囲ｒは距離ｓ’＿ｎｅａｒと距離ｓ’＿ｆａｒとで指定される。そして、人物７０１にフォーカスを合わせるためのフォーカス位置をｆｐ＿ｔａｒｇｅｔとする。また、フォーカスブラケット（ＦＢ）量だけフォーカス位置をずらしたデフォーカス画像のフォーカス位置をｆｐ＿ｆａｒとする。

フォーカスブラケット量は、距離範囲ｒが式（４）に示す距離計測可能範囲Ｒに収まるように設定される。例えば、光学系１０１の焦点距離をｆ＝１０ｍｍ、人物７０１の物体距離を−１０００ｍｍ、家７０３の物体距離を−１００００ｍｍとすると、距離ｓ’＿ｎｅａｒは１０．１０１ｍｍ、距離ｓ’＿ｆａｒは１０．０１０ｍｍ、そして、距離範囲ｒは０．０９１ｍｍとなる。

距離範囲ｒが距離計測可能範囲Ｒに収まるようにするには、ｒ≦（１５−ｋ）Ｆ^２×λを満足するようにＦ値を設定すればよい。ここで、ｒ＝０．０９１ｍｍ、λ＝５５０ｎｍ、ｋ＝３．３とすると、Ｆ≧１４．１となる。

Ｆ値が１４．１より大きく、かつ光学系１０１において設定可能なＦ値として、例えば、Ｆ＝１６．０を用いるとすると、フォーカスブラケット量は式（３）より、ＦＢ＝３．３×Ｆ^２×λ＝４６４．６ｎｍとなる。

フォーカス位置ｆｐ＿ｔａｒｇｅｔからのＦＢ量が分かると、フォーカス位置ｆｐ＿ｆａｒは、ｆｐ＿ｆａｒ＝ｆｐ＿ｔａｒｇｅｔ−ＦＢ＝９．６３６ｍｍとなる。

このようにして、撮像の結果得られたフォーカス位置が互いに異なる２枚の画像を用いると、人物７０１から家７０３までの間の距離を計測することができる。さらに、フォーカス位置にある人物７０１の近傍の距離分解能が高い距離マップを得ることができる。

距離分解能が高い距離マップを用いることによって、距離を多層に分離することができ、層毎に深度調整を行うことができるので、より自然で高画質の深度調整画像を生成することができる。

再び図６を参照して、画像処理部２０１はフォーカス位置が互いに異なる２枚の画像を用いて、前述のようにして距離マップを生成する（ステップＳ６０２）。続いて、画像処理部２０１は距離マップを用いて距離に応じて深度調整処理を行って深度調整画像を生成する（ステップＳ６０３）。

ここでは、既知のボケ付加手法を用いて、フォーカス位置が人物７０１である画像に対して距離に応じたボケを付加して、深度が浅くなるように深度調整を行った画像を生成する。

例えば、フォーカス位置が人物７０１である画像Ｉｎ（ｘ，ｙ）に対して、空間フィルタを用いた処理を行う。空間フィルタ処理を行うと、次の式（７）で示すように、入力画像Ｉｎ（ｘ，ｙ）に平滑化フィルタｋ（ｉｘ，ｉｙ）を適用して、出力画像Ｏｕｔ（ｘ，ｙ）が得られる。

ここで、入力画像Ｉｎ（ｘ，ｙ）におけるｘおよびｙは、着目画素の座標値（水平座標ｘ、垂直座標ｙ）を示す。また、フィルタ係数ｋ（ｉｘ，ｉｙ）におけるｉｘおよびｉｙは、フィルタ係数の位置（水平座標ｉｘ、垂直座標ｉｙ）を示す。

式（７）によって、着目画素の画素値は、その周辺画素（１辺がサイズｆｓの正方形）の平均値に置き換わる。サイズｆｓが大きくなると、平均化する領域のサイズが大きくなって、強いボカシの効果を得ることができる。

続いて、画像処理部２０１は、距離に応じて生成した複数の深度調整画像Ｏｕｔ（ｘ，ｙ）を合成して、合成後の深度調整画像を得る（ステップＳ６０４）。そして、画像処理部２０１は、合成後の深度調整画像を記録部２０４に記録して（ステップＳ６０５）、深度調整画像生成を終了する。

なお、記録部２０４に記録された合成後の深度調整画像は、例えば、ユーザーによって最終処理画像として観賞用にプリントされる。さらに、ユーザーは合成後の深度調整画像をＳＮＳにアップロードして、他のユーザーと共有するようにしてもよい。

＜カメラの動作＞
図１に示すカメラにおいては、静止画の撮影後に表示部１０６に表示する表示用の深度調整画像を生成するため、その処理時間を短縮するようにしている。ここでは、カメラにおける処理時間を短縮するため、ＰＣにおいて処理される画像サイズよりも低い解像度の画像を用いて距離マップおよび深度調整画像を生成する。

間引きおよび補間などの低解像度化処理によって高周波成分が失われると、ＰＦＳピーク値のデフォーカス特性における傾きが緩やかになる。その結果、ＰＳＦピーク比のデフォーカス特性も傾きが緩くなって、距離分解能が離散的になり、距離計測の精度が低下する。これによって、前述のように、距離を多層に分離するのが困難となって、場合によっては２層に分離することも不可能になる。

そこで、ＰＣで用いるフォーカスブラケット量とは別のフォーカスブラケット量で画像を追加撮像して、当該追加撮像で得られた画像を、カメラにおける表示用の深度調整画像の生成に用いる。なお、表示用の画像サイズは水平１６００画素×垂直１２００画素であるものとする。

図９は、図１に示すカメラで行われる深度調整画像の生成を説明するためのフローチャートである。なお、図示のフローチャートに係る処理はシステム制御部１０５の制御下で行われる。

深度調整画像生成処理を開始すると、システム制御部１０５は、撮像部１０２、Ａ／Ｄ変換部１０３、および画像処理部１０４を制御して、ＰＣで使用するフォーカス位置が異なる２枚の画像（第１の画像および第２の画像）を撮像する（ステップＳ９０１）。撮像に当たって、フォーカスブラケット量を設定する際には、前述の図８に示すように、人物７０１から家７０３までの間の距離を計測することができ、かつフォーカス位置である人物７０１の近傍の距離分解能が高い距離マップを取得するために最適な設定値が設定される。

ここでは、フォーカス位置が人物７０１にある画像を第１の画像とし、フォーカスブラケット量分だけフォーカス位置が異なる画像を第２の画像とする。なお、撮像の結果得られた画像の画像サイズは水平６４００画素×垂直４８００画素であり、撮像の結果得られた画像は記録部１０７に記録される。

続いて、システム制御部１０５は撮像部１０２、Ａ／Ｄ変換部１０３、および画像処理部１０４を制御して、カメラにおける表示用の深度調整画像を生成する際に用いる画像を撮像する（ステップＳ９０２）。ここでは、フォーカス位置を図７（ａ）に示す家７０３に合わせて撮像を行い、得られた画像を第３の画像（つまり、第３の画像のフォーカス位置は第２の画像のフォーカス位置よりも遠側である）とする。なお、当該第２の画像の画像サイズは水平６４００画素×垂直４８００画素である。

図１０は、図４に示す例よりもフォーカスブラケット量を大きくした際のＰＳＦピーク値のデフォーカス特性とＰＳＦピーク比のデフォーカス特性を示す図である。

図示のように、フォーカスブラケット量を大きくすると、距離計測可能範囲が狭くなることが分かる。また、ＰＳＦピーク比ピーク位置は、フォーカス位置におけるＰＳＦピーク位置から遠ざかる位置にシフトする。つまり、広い範囲に亘って距離を計測することができず、さらに、フォーカス位置の近傍の距離を分離することができない。

一方、ＰＳＦピーク比は急峻に変化する。このため、その後の処理において表示用の画像サイズに低解像度化処理すると、ＰＦＳピーク値のデフォーカス特性の傾きが緩やかになったとしても、距離を２層に分離することは可能となる。ここで、距離の分離数は２層となってしまうが、カメラにおいてはユーザーが深度調整画像の仕上がりを、簡易的に低解像度画像で確認できれば十分であるので問題はない。

なお、カメラにおいて画像を撮像する順序は、第２の画像、第１の画像、および第３の画像の順であることが望ましい。つまり、ユーザーがカメラを用いて撮像を行う際には、不可避的に手ぶれおよび被写体ぶれが発生する。このため、高精度な距離マップを生成する必要があるＰＣ用の画像（第１の画像と第２の画像）は、一般にぶれ量が少ない撮像開始の際に得ることが望ましい。

一方、簡易的に低解像度画像で深度調整画像を確認する際に用いられるカメラ用の画像は、多少ぶれが混入して距離マップの精度が低下してもよいので、最後に撮像される。

さらに、距離マップを生成する際に参照する２つの画像は、時間の隔たりが少ない方がよいので、第１の画像を２番目に撮像する。そして、振動ジャイロ機構などで手ぶれを検知して、手ぶれ量が小さい場合に第１の画像および第２の画像を優先して得るようにしてもよい。

再び図９を参照して、システム制御部１０５の制御下で、画像処理部１０４は第１の画像および第３の画像を縮小処理してそれぞれ第１の縮小画像（第４の画像）および第３の縮小画像（第５の画像）とする（ステップＳ９０３）。ここでは、第１の画像および第３の画像の各々を水平１／４および垂直１／４に縮小処理する。これによって、画像サイズは水平６４００画素×垂直４８００画素から水平１６００画素×垂直１２００画素となる。

なお、第１の画像および第３の画像を縮小処理する際には、周波数特性が合うように縮小処理を行う。例えば、間引く際の位相およびプレフィルタの帯域などを同一とする。これによって、ボケの相関値を精度よく得ることができる。

続いて、画像処理部１０４は第１の縮小画像および第３の縮小画像を用いて距離マップを生成する（ステップＳ９０４）。距離マップの生成手法は、図６に示すステップＳ６０２の処理と同様である。

ここでは、２層の距離マップを生成すればよいので、既知の距離検出手法を適用することができる。例えば、前述の特許文献２に記載されたラプラシアンフィルタ処理を施して検出したエッジ量に基づいて前景および背景を区別する手法などを用いることができる。

なお、距離の分離数を２層とすることによって、後述するステップＳ９０５の深度調整処理およびステップＳ９０６の深度調整画像合成処理における処理負荷が低減する結果、処理時間を短縮することができる。

次に、画像処理部１０４は距離マップを用いて、第１の縮小画像に対してボケを付加して、深度調整処理を行った画像（深度調整画像）を生成する（ステップＳ９０５）。ステップＳ９０５の処理で行われるボケの付加は図６に示すステップＳ６０３の処理と同様である。

続いて、画像処理部１０４は深度調整処理された第１の縮小画像を表示部１０６に表示して（ステップＳ９０６）、深度調整画像生成処理を終了する。ユーザーは表示部１０６に表示された深度調整画像によってその仕上がりを簡易的に確認することができる。

なお、深度調整処理された第１の縮小画像を記録部１０７に保存して、後程スマートフォンなどの端末装置に転送すれば、端末装置で深度調整画像を観賞することができる。

上述のように、ステップＳ９０１において、フォーカス位置が人物７０１にある第１の画像を取得するとともに、高画質の深度調整画像を生成する際に最適なフォーカスブラケット量だけフォーカス位置が異なる第２の画像を取得する。そして、ステップＳ９０２において、フォーカス位置を図７（ａ）に示す家７０３に合わせた第３の画像を取得する。そして、これら第１〜第３の画像はＰＣで処理される画像サイズ（水平６４００画素×垂直４８００画素）とした。

一方、第１の画像および第２の画像を水平６４００画素×垂直４８００画素で取得する。そして、撮像部１０２に備えられた撮像素子から電荷信号を読み出す際に間引きおよび加算読み出を行って、水平１６００画素×垂直１２００画素でフォーカス位置を図７（ａ）に示す家７０３に合わせた第３の画像を生成するとともに、フォーカス位置が人物７０１にある第４の画像を生成する。その後、第３の画像および第４の画像を用いて距離マップを生成するようにしてもよい。

さらに、上述の例では、フォーカス位置を図７（ａ）に示す家７０３に合わせた第３の画像をＰＣで処理される画像サイズ（水平６４００画素×垂直４８００画素）で取得して、当該第３の画像をカメラでのみ使用する。一方、ＰＣの処理において第３の画像を参照するようにしてもよい。これによって、ＰＣにおいては距離計測可能範囲を拡大することができる。

図１１は、図１に示すカメラで得られた他の画像をＰＣで参照した際の距離計測可能範囲を示す図である。

前述のように第２の画像は第１の画像に対してフォーカスブラケット（ＦＢ）量だけフォーカス位置をずらして得られた画像である。そして、当該フォーカスブラケット量は人物７０１から家７０３までの間の距離を計測することができるように設定される。つまり、ＰＣは第１の画像および第２の画像によって距離計測可能範囲１で規定される範囲で距離計測を行うことができる。

一方、第３の画像は、フォーカス位置を図７（ａ）に示す家７０３に合わせて得られた画像であり、第３の画像によってＰＣは距離計測可能範囲２で規定する範囲で距離計測を行うことができる。つまり、ＰＣは第３の画像を参照すれば、合計距離計測可能範囲で規定する範囲で距離計測を行うことができることになる。

なお、ここでは、フォーカス位置を一番奥の被写体である家７０３に合わせて第３の画像を取得したが、フォーカス位置を無限遠又は家７０３の近傍として取得した画像を第３の画像としてもよい。さらに、ＰＣにおいて高画質の深度調整画像を生成するようにしたが、図１に示すカメラで高画質の深度調整画像を生成するようにしてもよい。このようにすれば、カメラにおける処理時間は長くなるものの公衆モバイル通信などを用いることができない閑居においても最終的な処理画像を作成することができる。

このように、本発明の実施の形態では、カメラにおいて被写体を撮像して高解像度の画像を得て、当該カメラとは別のＰＣによってカメラで撮像した高解像度の画像に対して深度調整処理を行う。これによって、カメラをコンパクトとして、しかも深度調整処理を高速に行うことができる。

さらに、カメラにおいてはその処理を高速にするため、撮像の結果得られた高解像度の画像に対して解像度を落とした画像を生成する。そして、解像度を落とした画像に対して深度調整処理を施して記録表示画像として表示する。これによって、カメラにおいて表示用の深度調整画像を高速に生成し、さらに、ＰＣにおいて高画質の記録用の深度調整画像を生成することができる。

上述の説明から明らかなように、図１に示す例では、システム制御部１０５、光学系１０１、撮像部１０２、およびＡ／Ｄ変換部１０３が撮像手段として機能する。また、システム制御部１０５および画像処理部１０４は第１の生成手段および第２の生成手段として機能する。

図２に示す例では、通信部２０５およびシステム制御部２０２が受信手段として機能し、システム制御部２０２および画像処理部２０１が第３の生成手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置又は画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置又は画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１０１ 光学系
１０２ 撮像部
１０３ Ａ／Ｄ変換部
１０４，２０１ 画像処理部
１０５，２０２ システム制御部
１０６，２０３ 表示部
１０７，２０４ 記録部
１０８，２０５ 通信部
１０９，２０６ バス

Claims (13)

1. 被写体を撮像する際に互いにフォーカス位置が異なり、所定の解像度を有する複数の高解像度の画像を撮像する撮像手段と、
   前記複数の高解像度の画像の解像度を低減して前記所定の解像度よりも解像度が低い複数の低解像度の画像を生成する第１の生成手段と、
   前記複数の低解像度の画像を用いてボカシを強調する深度調整処理を行って第１の深度調整画像を生成する第２の生成手段と、
   を有することを特徴とする撮像装置。
2. 前記撮像手段は前記複数の高解像度の画像として第１の画像、第２の画像、および第３の画像を撮像し、
   前記第１の生成手段は、前記第１の画像および前記第３の画像の解像度を低減して、前記複数の低解像度の画像としてそれぞれ第４の画像および第５の画像を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像手段は前記第１の画像と異なるフォーカス位置で撮像を行って前記第２の画像を得るとともに、前記第２の画像と異なるフォーカス位置で撮像を行って前記第３の画像を得る際、前記第２の画像、前記第１の画像、および前記第３の画像の順序で撮像を行うことを特徴とする請求項２に記載の撮像装置。
4. 前記第３の画像におけるフォーカス位置は、前記第２の画像におけるフォーカス位置よりも遠側であることを特徴とする請求項２又は３に記載の撮像装置。
5. 前記第２の生成手段は、前記第４の画像および前記第５の画像を用いて前記撮像手段に備えられたレンズから前記第４の画像および前記第５の画像に存在する被写体まで距離を示す第１の距離情報を得て、前記第１の距離情報に応じて前記第４の画像に前記深度調整処理を行って前記第１の深度調整画像を生成して、当該第１の深度調整画像を表示部に表示することを特徴とする請求項２〜４のいずれか１項に記載の撮像装置。
6. 前記第１の生成手段は、前記第４の画像および前記第５の画像を生成する際、少なくとも周波数特性を合わせて解像度の低減を行うことを特徴とする請求項２〜５のいずれか１項に記載の撮像装置。
7. 請求項１に記載の撮像装置から前記複数の高解像度の画像を受ける受信手段と、
   前記複数の高解像度の画像を用いてボカシを強調する深度調整処理を行って第２の深度調整画像を生成する第３の生成手段と、
   を有することを特徴とする画像処理装置。
8. 請求項２〜６のいずれか１項に記載の撮像装置から前記第１の画像および前記第２の画像を受信する受信手段と、
   前記第１の画像および前記第２の画像を用いてボカシを強調する深度調整処理を行って第２の深度調整画像を生成する第３の生成手段と、
   を有することを特徴とする画像処理装置。
9. 前記第３の生成手段は、前記第１の画像および前記第２の画像を用いて前記撮像手段に備えられたレンズから前記第１の画像および前記第２の画像に存在する被写体まで距離を示す第２の距離情報を得て、前記第２の距離情報に応じて前記第１の画像に前記深度調整処理を行って前記第２の深度調整画像を生成して、当該第２の深度調整画像をメモリに記録することを特徴とする請求項８に記載の画像処理装置。
10. 請求項２〜６のいずれか１項に記載の撮像装置から前記第１の画像、前記第２の画像、および第３の画像を受信する受信手段と、
    前記第１の画像、前記第２の画像、および前記第３の画像を用いてボカシを強調する深度調整処理を行って第２の深度調整画像を生成する第３の生成手段と、
    を有することを特徴とする画像処理装置。
11. 前記第３の生成手段は、前記第１の画像、前記第２の画像、および前記第３の画像を用いて前記撮像手段に備えられたレンズから前記第１の画像、前記第２の画像、および第３の画像に存在する被写体まで距離を示す第２の距離情報を得て、前記第２の距離情報に応じて前記第１の画像に前記深度調整処理を行って前記第２の深度調整画像を生成して、当該第２の深度調整画像をメモリに記録することを特徴とする請求項１０に記載の画像処理装置。
12. 被写体を撮像して画像を得る撮像装置の制御方法であって、
    被写体を撮像する際に互いにフォーカス位置が異なり、所定の解像度を有する複数の高解像度の画像を撮像する撮像ステップと、
    前記複数の高解像度の画像の解像度を低減して前記所定の解像度よりも解像度が低い複数の低解像度の画像を生成する第１の生成ステップと、
    前記複数の低解像度の画像を用いてボカシを強調する深度調整処理を行って深度調整画像を生成する第２の生成ステップと、
    を有することを特徴とする制御方法。
13. 被写体を撮像して画像を得る撮像装置で用いられる制御プログラムであって、
    前記撮像装置が備えるコンピュータに、
    被写体を撮像する際に互いにフォーカス位置が異なり、所定の解像度を有する複数の高解像度の画像を撮像する撮像ステップと、
    前記複数の高解像度の画像の解像度を低減して前記所定の解像度よりも解像度が低い複数の低解像度の画像を生成する第１の生成ステップと、
    前記複数の低解像度の画像を用いてボカシを強調する深度調整処理を行って深度調整画像を生成する第２の生成ステップと、
    を実行させることを特徴とする制御プログラム。