JP2015154112A - 画像処理装置、その制御方法およびプログラム - Google Patents
画像処理装置、その制御方法およびプログラム Download PDFInfo
- Publication number
- JP2015154112A JP2015154112A JP2014023766A JP2014023766A JP2015154112A JP 2015154112 A JP2015154112 A JP 2015154112A JP 2014023766 A JP2014023766 A JP 2014023766A JP 2014023766 A JP2014023766 A JP 2014023766A JP 2015154112 A JP2015154112 A JP 2015154112A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- reconstructed image
- distribution
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】被写界深度を拡張した再構成画像において好適にノイズを低減することが可能な画像処理装置を提供する。【解決手段】画像処理装置は、複数の被写体距離のいずれかに合焦させた再構成画像を生成可能な画素信号を取得して、該画素信号の高周波成分の分布を特定し、該画素信号から再構成画像を生成する。画像処理装置は、高周波数成分が特定された場合に、該分布に基づいて画素信号から画素を選択して再構成画像を生成する。【選択図】図4
Description
本発明は、画像処理装置、その制御方法及びプログラムに関し、特に任意の距離の被写体に合焦した再構成画像を生成する画像処理技術に関する。
デジタルカメラ等の撮像装置の中には、撮像面に入射した被写体の反射光束の強度分布をその入射方向の情報とともに記録するものがある。このような撮像装置により記録された入射方向を含む強度分布の情報は光線空間情報(Light Field Information)とも呼ばれる。光線空間情報は入射方向ごとに反射光の強度情報を有しているため、該情報から任意の被写体距離に対応する面における反射光の強度分布を再現することもできる。従って、光線空間情報からは、任意の被写体距離に合焦した画像(再構成画像)を、光線空間情報の撮影後に生成(再構成)することができる。
また、光線空間情報からは、任意の被写体距離に合焦する再構成画像の生成において、絞り状態を変更した画像を生成することも可能である。具体的には再構成画像の1画素の生成に使用する強度情報を、所望の絞り状態において通過可能な光束に対応するものに制限することで、所望の絞り状態の再構成画像を生成することができる。
特許文献1には、結像光学系の焦点距離近傍に複数のマイクロレンズを二次元に配置することで入射光を複数の入射方向に分離して撮像し、得られたデータから任意の距離の被写体に合焦した画像を生成する方法が開示されている。また特許文献1は、所望の絞り状態の再構成画像を生成する場合に、1画素に対応する入射光に対応する画素データを入射角に応じて重み付け加算する方法を用いることを開示している。
しかしながら、特許文献1のように所望の絞り状態の再構成画像を生成する場合には、完成する再構成画像の画質について以下のような問題があった。
特許文献1の方法では、各マイクロレンズにより分離された入射光を受けた複数の受光素子のうち、中心の受光素子の出力データのみ重み係数を1とし、それ以外の受光素子の出力データに対しては重み係数を極めて小さい値(0)に設定している。このようにすることで絞り値が大きい状態と等価な再構成画像を生成することはできるが、再構成画像の1画素は例えばマイクロレンズに入射した光を分離した1つの光束に対応する光強度となるため、得られる再構成画像は全体的に輝度の低い画像であった。
一方で、このような輝度の低い再構成画像の輝度を適切なレベルに変更するために、全体的にゲインを適用して輝度を引き上げることが考えられるが、画像内にノイズが含まれていた場合、該ノイズも増幅されてしまう可能性があった。即ち、絞り値が大きい状態と等価な再構成画像を生成する場合、ノイズが目立つ画像となる可能性があった。
本発明は、上述の従来技術の問題点に鑑みてなされたものであり、被写界深度を拡張した再構成画像において好適にノイズを低減することが可能な画像処理装置、その制御方法およびプログラムを提供することを目的とする。
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、複数の被写体距離のいずれかに合焦させた再構成画像を生成可能な画素信号を取得する取得手段と、画素信号の高周波成分の分布を特定する特定手段と、画素信号から再構成画像を生成する生成手段と、を有し、生成手段は、特定手段により高周波成分の分布が特定された場合に、該分布に基づいて画素信号から画素を選択して再構成画像を生成することを特徴とする。
本発明によれば、被写界深度を拡張した再構成画像において好適にノイズを低減することが可能になる。
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、被写体からの反射光束の強度及び入射方向の情報を有する画素値から構成される光線空間情報を記録可能なデジタルカメラに本発明を適用した例を説明する。しかし、本発明は光線空間情報を記録可能なデジタルカメラに限らず、記録された光線空間情報から任意の距離の被写体に合焦した再構成画像を生成可能な任意の機器に適用可能である。また、本発明は例えば複数の光学系を備える所謂多眼撮像装置により撮影された複数視点の画像群から、任意の距離の被写体に合焦した画像を生成可能な任意の機器にも適用可能である。これらの機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータなどが含まれてよい。
(1 画像処理装置の構成)
図1は本実施形態のデジタルカメラ100の機能構成例を示すブロック図である。
図1は本実施形態のデジタルカメラ100の機能構成例を示すブロック図である。
本実施形態のデジタルカメラは、カメラボディ1と、着脱可能なレンズ2とから構成される。カメラボディ1とレンズ2とは、レンズマウント(不図示)を通じて機械的に接続されるとともに、互いの有する電気接点11の接触により電気的に接続される。なお、本実施形態ではデジタルカメラは、レンズ交換式であるものとして説明するが、沈胴式等のレンズ2とカメラボディ1とが一体である構成であってもよい。
被写体からの光(光学像)は、撮影光学系3を介して撮像素子6の各受光素子に結像される。本実施形態では撮像素子6と撮影光学系3との間にはマイクロレンズアレイ(MLA)20が配設されており、MLA20上にはマイクロレンズが格子状に並んでいる。1つのマイクロレンズには、撮像素子の複数の光電変換素子が対応付けられており、マイクロレンズに入射した光は該複数の光電変換素子に結像されて光電変換される。即ち、撮影光学系3の射出瞳を通過した光束が各マイクロレンズにて複数の光電変換素子に分離して結像されることになる。このように、1つのマイクロレンズに対応付けられた光電変換素子の各々は、分割された瞳領域の各々を通過した光束に対応した画素信号を出力する。つまり、本実施形態の撮像素子6は、MLA20の各マイクロレンズの位置に結像される光学像を、さらに入射方向ごとに分離して光電変換できるため、上述の光線空間情報を出力することができる。なお、MLA20の機能や配置の詳細については図2を用いて後述する。
また、撮影光学系3は、フォーカスレンズを含むレンズ群や絞りを含んでおり、撮像素子6から出力された信号からカメラシステム制御部5が決定したピント評価値や撮影条件に適した露光量に基づいて制御される。具体的にはカメラシステム制御部5は、ピント評価値や適切な露光量を決定すると、該情報に基づいてフォーカスレンズの駆動位置や絞り量の情報を電気接点を介してレンズシステム制御部12に送信する。そしてレンズシステム制御部12が、該情報に従ってレンズ駆動部13に制御信号を伝送し、フォーカスレンズや絞りの制御を行う。また、図1において4は撮影光学系3の光軸を表しており、撮像素子6は該光軸が有効画素領域の中心となるように配置される。
画像処理部7は、内部にA/D変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有し、入力された画像に対して種々の画像処理を適用する。画像処理部7は、撮像素子6が出力した光線空間情報に対して種々の画像処理を適用し、記録用のデータを生成する。また、本実施形態では画像処理部7は、光線空間情報から任意の被写体距離に合焦させた再構成画像を生成する処理も行う。なお、記録用のデータが予め定められた符号化形式で記録される場合、画像処理部7は光線空間情報、画像、動画、音声などの記録用のデータを圧縮・伸長する回路を有していてもよい。この場合、画像処理部7は記録用のデータを圧縮した後、記録部8に伝送して記録させる、あるいは記録部8に記録されたデータを読み出し、伸長することで例えば後述の表示部9に表示するデータを生成する。
記録部8は、入力されたデータを記録する記録媒体である。記録部8は、記録媒体の他に、該記録媒体へのデータの読み書きをするための回路を備えており、画像処理部7から入力されたデータの記録媒体への記録、及び記録媒体に記録されたデータの読み出しを行う。
表示部9は、例えばLCD等のデジタルカメラが備える表示装置である。表示部9は、例えば撮影時や再生時に、光線空間情報から生成された画像データを表示する。また表示部9に撮影環境や撮影光学系3の状態等の情報を表示する場合、カメラシステム制御部5は該情報を示すGUIデータを不図示のROMから読み出し、表示部9に伝送して表示させる。
操作部10は、デジタルカメラが有するユーザインタフェースである。操作部10は、例えばレリーズボタンになされた操作入力や、合焦距離や絞り等の変更に係る操作入力を検出すると、該操作に対応する制御信号をカメラシステム制御部5に出力する。
カメラシステム制御部5は、例えばCPUやMPUなどのプログラマブルプロセッサである。カメラシステム制御部5は、例えば不図示の不揮発性メモリに記憶されたプログラムを読み出し、RAM(不図示)に展開して実行することにより各ブロックの動作を制御する。
(2 撮影光学系の説明)
次に、このような構成を有する本実施形態のデジタルカメラの撮影光学系3、MLA20、及び撮像素子6の関係について、図2を用いて詳細を説明する。なお、図2の各図では、光軸の被写体に向かう方向がZ軸正の方向、所謂横位置(正位置)にデジタルカメラがある場合の鉛直上向き方向がY軸正の方向、Z軸正の方向に見てデジタルカメラの左方向がX軸正の方向と規定されている。
次に、このような構成を有する本実施形態のデジタルカメラの撮影光学系3、MLA20、及び撮像素子6の関係について、図2を用いて詳細を説明する。なお、図2の各図では、光軸の被写体に向かう方向がZ軸正の方向、所謂横位置(正位置)にデジタルカメラがある場合の鉛直上向き方向がY軸正の方向、Z軸正の方向に見てデジタルカメラの左方向がX軸正の方向と規定されている。
図2(a)は撮像素子6とMLA20の関係を模式的に示している。図2(a)の側面図に示されるように、撮像素子6とMLA20は一体となって構成されている。本実施形態では撮像素子6上のMLA20は、各マイクロレンズの前側主点が撮影光学系3の結像面近傍となるように配置される。また図2(a)の正面図(z軸負の方向にMLA20を見た図)に示されるように、MLA20は撮像素子6の光電変換素子(以下、画素という)を覆うように配置されている。
ここで、MLA20の各マイクロレンズには、図2(b)に示されるように撮像素子6の複数の画素が対応付けられている。図2(b)において格子状の枠は、撮像素子6の各画素を示しており、円20a,20b,20c,20dはマイクロレンズを示している。本実施形態のデジタルカメラでは、図2(b)に示されるように1つのマイクロレンズに対して5行×5列=25個の画素が対応付けられている(すなわち各マイクロレンズの大きさは画素の大きさの5×5倍の大きさに対応する)。
また図2(c)は、MLA20の各マイクロレンズに対応付けられた撮像素子6の画素に結像される光束と、撮影光学系3の瞳領域との対応関係を示している。図2(c)では便宜上、1つのマイクロレンズの主点を通りY軸と直交するXZ断面について示した該マイクロレンズ及びレンズに対応付けられた撮像素子6の画素と、Z軸と直交する射出瞳面30(XY平面)を示した瞳領域とを同一平面に展開して示している。図2(c)において画素21、22、23、24、25は、例えば図2(b)の画素21a乃至25aと対応しており、それぞれ分割瞳領域を通過した光束が結像される。つまり、MLA20のマイクロレンズによって画素21乃至25の各々は撮影光学系3の射出瞳面上の特定の分割瞳領域と共役になるように設計されている。図2(c)の例では、画素21と領域31が、画素22と領域32が、画素23と領域33が、画素24と領域34、画素25と領域35がそれぞれ対応している。従って、マイクロレンズの位置、及び射出瞳面と撮像素子6の距離が定まることにより、該マイクロレンズに対応付けられた画素の各々に入射する光束の入射角度の情報が実質的に取得可能である。
(3 像シフト処理および像生成処理)
本実施形態の記載において「再構成画像の生成」とは、撮像面について得られた光線空間情報から任意の被写体距離に合焦させた画像を生成する処理をいう。
本実施形態の記載において「再構成画像の生成」とは、撮像面について得られた光線空間情報から任意の被写体距離に合焦させた画像を生成する処理をいう。
再構成画像の生成では、合焦させる被写体距離に対応する像面(再構成面)における光線分布を光線空間情報を基に再現し、再構成画像の各画素に対応する光束に基づいて該画素の画素値を決定する。再構成面における光線分布とは、再構成面の位置にMLA20及び撮像素子6を配置して撮影した場合に得られる光線空間情報と等価である。具体的には、画像処理部7はまず、撮像により得られた光線空間情報の各画素に対応する光束が再構成面上のいずれの位置を通過したかを、撮像面と再構成面との位置関係及び光線空間情報の各画素に対応する光束の入射方向により特定する。即ち、画像処理部7は、再構成面に仮想的に撮像素子6を配置して撮影を行った場合に各画素が受光する光束が、記録された光線空間情報のいずれの画素において受光された光束と対応するかを特定する。
例えば、図2(b)のように各マイクロレンズに撮像素子6の5×5の画素が対応付けられている場合の、撮像面について得られた光線空間情報と、再構成面において再現する光線空間情報との対応を図3に示す。なお、撮像面および再構成面上の各画素は2次元に配列されるが、説明の簡略化の目的で、図3にはY軸方向に1次元に並んだ画素の配列が示されている。
図3では、撮像面について得られた光線空間情報の各画素に対し、対応する光束が通過した分割瞳領域を識別可能なように「1」〜「5」の番号を付して示している。MLA20の各マイクロレンズに対応付けられた画素は該マイクロレンズにより分離された光束を受光するため、これらの関係から各画素に入射する光束の光路を特定することができる。図3には、撮像面について得られた光線空間情報の各画素と各画素が対応付けられたマイクロレンズとの位置関係から定まる、各画素に対応する光束の光路が直線で示されている。即ち、撮像面について得られた光線空間情報からはこれらの光路の情報が取得できるため、撮像面と異なる位置に設定された再構成面において光束がいずれの位置を通過したかを特定することができる。図3に示されるように、例えば1つのマイクロレンズに対応付けられた画素群300の「2」の画素に対応する光束は、再構成面1において同一位置のマイクロレンズに対応して配置された仮想的な画素群のうちの異なる画素位置を通過している。図3では、再構成面1、2、3の各々に仮想的に撮像素子を配置した場合に、光線空間情報のいずれの画素に対応する光束が仮想的に配置した撮像素子の各画素を通過するかを明示するため、分割瞳領域を識別する番号を各画素に示している。図からも明らかなように、撮像面について得られた光線空間情報の各画素に対応する光束の光路の情報から、任意の再構成面上に撮像素子を配置した場合に得られる光線空間情報の各画素の対応関係を特定することができる。
再構成画像の生成を行う再構成面について撮像面との光線空間情報の対応関係を特定した後、画像処理部7は光線空間情報の画素の配列(並べ替え)を行い、再構成面において得られる光線空間情報(再現情報)を生成する。本実施形態では該再現情報を生成する処理、即ち再構成面における光線分布を示すように光線空間情報の画素の配列を行う処理を像シフト処理と呼ぶ。
そして画像処理部7は、このように生成した再現情報に基づいて、再構成画像の生成を行う。光線空間情報は、MLA20の各マイクロレンズに結像した光学像を、さらに瞳領域ごとに分割して対応する画素に受光させることで得られたものである。従って、各マイクロレンズに対応付けられた瞳分割数の画素で構成される画素群の画素値を総和することにより、該マイクロレンズに結像した光学像に対応する画素値を得ることができ、撮像面に対応する再構成画像を生成することができる。一方、任意の被写体距離に合焦させた再構成画像を生成する場合は、対応する再構成面に仮想的にMLA20及び撮像素子を配置した際の各マイクロレンズにて、同様の画素値の総和を行えばよい。即ち、任意の被写体距離に合焦させた再構成画像の各画素の画素値は、再現情報に含まれる各マイクロレンズに対応付けられた画素群の画素値を総和することで得られる。従って、MLA20が有するマイクロレンズの数を画素数とする再構成画像を生成することができる。本実施形態では、像シフト処理後の光線空間情報(再現情報)から画素値の合算により再構成画像の各画素の画素値を決定し、再構成画像を生成する処理を像生成処理と呼ぶ。
図3は撮像面上の領域300が瞳分割数分画素を足し合わせることで生成される例を示す。例えば、撮像面上の領域300aにおいては、該領域のマイクロレンズに対応づけられた瞳分割数の画素群、即ち1+2+3+4+5の各画素に入射した光の角度方向の積分値をとることで該マイクロレンズに結像した光学像に対応する画素値を得ることができる。一方、再構成面1における撮像面との光線空間情報の対応関係は、図3の領域300bにつながる線で示すマイクロレンズ下の2、3、4の画素出力と、隣接するマイクロレンズ下の1の画素出力と、隣接する他方のマイクロレンズ下の5のように特定される。そして、再構成面1における領域300bの画素値は、特定された各画素を該300bの領域に配置(像シフト)し、各画素の画素出力を加算して生成される。なお、加算においては、それぞれ重み付け係数を1として加算して生成するものとする。この加算処理は各マイクロレンズに対して順次行われる。これらの処理により、図3に示す再構成面2および再構成面3における像生成も同様に可能となる。また、例えば画素加算時に所定のマイクロレンズ下の3の画素出力のみの重み付け係数を1とした加算画素の出力は、瞳を絞った状態と等価、即ち撮像素子に入射する光束を中央の分割瞳を通過する光束に制限した場合と等価な画像となる。このため、全画素加算して得られる画像よりも被写界深度が深い画像となる。
(4 加算画素制御処理)
上述のように、加算する光線空間情報の画素数を制限することで被写界深度を拡張した再構成画像を生成することができる。被写界深度を深くした再構成画像は、画像内で合焦状態にある被写体をより多くすることができ、多くの被写体を認識できるという面で好適な画像となる。一方で、再構成画像の生成において信号レベル(画素値)の増幅を行わない場合、各画素の信号レベルは加算した光線空間情報の画素数に比例することになる。従って、加算した光線空間情報の画素にノイズを有する画素が含まれていた場合、加算した画素数に対するノイズを有する画素の比率に応じてノイズの目立ちやすさが決まる。
上述のように、加算する光線空間情報の画素数を制限することで被写界深度を拡張した再構成画像を生成することができる。被写界深度を深くした再構成画像は、画像内で合焦状態にある被写体をより多くすることができ、多くの被写体を認識できるという面で好適な画像となる。一方で、再構成画像の生成において信号レベル(画素値)の増幅を行わない場合、各画素の信号レベルは加算した光線空間情報の画素数に比例することになる。従って、加算した光線空間情報の画素にノイズを有する画素が含まれていた場合、加算した画素数に対するノイズを有する画素の比率に応じてノイズの目立ちやすさが決まる。
例えば図4(a)のように、再構成画像の部分領域53において、輝度の低い領域(低輝度領域)55に挟まれた、垂直方向に延びる輝度の高いライン(高輝度ライン)54が存在する場合を考える。即ち、図4(a)のように、水平方向においてコントラスト(輝度値の高低差)が現れる場合を考える。本実施形態では所定方向にコントラストの急峻な起ち上がりがある場合を、「該方向のコントラストが高い」として表現する。例えば図4(a)のように垂直方向に延びるエッジ成分が存在する場合は、水平方向にコントラストが高いことになる。
このとき、部分領域53について被写界深度を深くした再構成画像を生成するために、再構成面における各マイクロレンズに対応付けられた光線空間情報の画素について、例えば図4(b)に示されるようなマスク50を適用するとする。図4(b)は、図2(b)において説明した1つのマイクロレンズに対応付けられた25個の画素に対して与えられる、再構成画像の生成に係る重み付け係数(の2次元位置の分布)を示している。図4(b)においてハッチングで示した領域51は重み付け係数が1である画素を示し、ハッチングなしで示した領域52は重み付け係数が0である画素を示している。即ち、再構成画像の生成において該部分領域53に含まれる画素の生成においてマスク50が適用されると、各画素の信号レベルは1つの分割瞳領域を通過した光束に対応するレベルとなる。この場合、生成された部分領域53のx軸方向の信号レベルは図4(c)のようになり、低輝度領域55の信号レベルに対するノイズの信号レベルの比率が高くなるため、低輝度領域55においてノイズが目立ちやすいことになる。また、部分領域53のy軸方向の信号レベルは図4(d)のようになり、高輝度ライン54の信号レベルに対するノイズの信号レベルの比率は低輝度領域55のものよりは低くなるが、多少のノイズが現れうる。
これに対し、再構成画像の各画素の生成に用いる光線空間情報の画素数を増加させれば、再構成画像の画素の信号レベルを上昇させ、再構成画像におけるノイズの信号レベルの比率を低減することができる。例えば図4(e)に示されるような中央画素を含む垂直方向1×水平方向5の5つの画素について重み付け係数を1とするマスクを適用する場合を考える。この場合、生成される部分領域53の各画素は、図4(b)のマスクを適用した場合よりも加算に用いられる光線空間情報の画素数が多いため、信号レベルが高くなる。即ち、部分領域53のx軸方向及びy軸方向の信号レベルは図4(f)、(g)のようになり、図4(c)、(d)に比べて低輝度領域55及び高輝度ライン54の信号レベルが上昇しているため、ノイズの信号レベルは比率が低く、ノイズは目立ちにくくなる。
しかしながら、図4(f)に示すように部分領域53においてコントラストの高低が現れるx軸方向での信号レベルは、高輝度ライン54と低輝度領域55との境界付近で図4(c)に比べて起ち上がりが緩やかになっている。即ち、高輝度ライン54と低輝度領域55の境界部においてコントラスト差が目立ちにくくなってしまい、エッジがボケた画像となる。従って、マイクロレンズに対応付けられた光線空間情報の画素の全てを加算する場合よりは加算画素数を制限しているものの、エッジが際立たないため被写界深度が浅い印象を与える再構成画像となりうる。これは、部分領域53における画像パターンが垂直方向に伸びた高輝度ラインを有していることによる。即ち、水平方向に1列に並ぶラインに対応する光束を分離した場合に、マイクロレンズの位置によっては対応する画素群の異なる画素にそのパターンが現れるからである。特に部分領域53の輝度差により生じるエッジ部分について、対応する光束は水平方向に分離された場合に例えば低輝度領域55に対応する光束と高輝度ライン54に対応する光束とに分けられて結像されることになる。しかし、この分離態様はマイクロレンズの位置によって異なるため、水平方向に並んだ光線空間情報の画素を加算して再構成画像の画素を生成して並べた場合に、高輝度の画素と低輝度の画素の加算比率によってエッジがボケることになる。例えばエッジ付近の水平方向に並ぶ再構成画像の4つの画素が、それぞれ光線空間情報の水平方向に並んだ5画素のうち、4画素、3画素、2画素、1画素が高輝度ライン54に対応した信号レベルであった場合は、エッジの境界が鮮鋭に現れない。即ち、再構成画像の該4つの画素は、それぞれ高輝度の画素と低輝度の画素の加算比率が異なるため、加算後の画素値が全て異なり、結果的にエッジ付近で信号レベルが段階的に増加/減少することになる。従って、図4(f)のように、エッジ部分の信号レベルが急峻な起ち上がりとならず、エッジのボケにつながる。
一方、図4(e)と同様に再構成画像の各画素の生成に用いる光線空間情報の画素数を増加させたとしても、部分領域53の高輝度ライン54と低輝度領域55の輝度差に応じて画素を選択することにより、図4(f)のボケを防止することができる。
例えば、図4(h)に示されるような中央画素を含む垂直方向5×水平方向1の5つの直線的な画素について重み付け係数を1とするマスクを適用することを考える。この場合、生成される部分領域53の各画素は、図4(b)のマスクを適用した場合よりも加算に用いられる光線空間情報の画素数が多いため、信号レベルが高くなる。また、図4(e)のマスクを適用する場合と比較すると、例えばエッジ付近において、水平方向に並んだ光線空間情報の画素を加算することに依る高輝度の画素と低輝度の画素との加算比率のばらつきを考慮する必要がない。即ち、エッジの方向と同一の垂直方向に並んだ光線空間情報の画素には同様の輝度を示す画素が現れているため、高輝度の画素と低輝度の画素とを混ぜて加算することがない。従って、高輝度ライン54内の画素の生成において低輝度の画素が加算されず、信号レベルの上昇とエッジのボケの解消を実現する、図4(i)及び(j)のような態様になる。
これは、垂直方向に1列に並んだ高輝度ライン54に対応する光束を分離した場合には、各マイクロレンズの分割瞳領域に対応する画素群の全てに同じパターンが現れることによる。部分領域53の輝度差により生じるエッジ部分も同じ画素に現れるため、低輝度領域55に対応する画素と高輝度ライン54に対応する画素とがそれぞれ加算されない。このため、エッジ付近で信号レベルが段階的に変化することがなく、図4(i)のようにエッジの際立った出力となり被写界深度の深い印象を与える再構成画像となる。
このように、図4(a)のようなx軸方向のコントラストが高い画像については、図4(h)のように加算画素の重みが直線的に縦に並ぶように制御することで、ノイズを低減しつつ、絞り値が大きい状態に対応する解像感が高い画像を得ることができる。なお、本実施形態では、光学中心付近の分割瞳領域を通過した光束に対応する一部の画素を含めて再構成画像の生成に用いる重み付けを使用することで、絞り値が大きい状態に対応する解像感が高い画像が得られるものとして説明している。しかしながら、本発明は必ずしも絞り値が大きい状態を仮想的に再現する構成に限定される必要はなく、解像感を高めた、即ち被写界深度を拡張した再構成画像を生成するように加算画素の制御を行うものであれば本発明の目的は達成される。
なお、マスクの重み付けは垂直方向あるいは水平方向に並んだ画素に対して重みを与えるものに限られない。図4(k)は重み付けを1とする画素が斜め方向に一列に並ぶマスクを示している。図4(k)のようなマスクを用いる加算画素の制御は、水平方向に対して45度(偏角)をなす方向のエッジ成分が存在する領域、即ち水平方向に対して−45度をなす方向のコントラストが最も高い領域の再構成画像の生成に有効である。
また、本実施形態ではマイクロレンズ1つあたりに5×5個の画素を配置して説明したが、より密に画素を配置して瞳領域の分割を細かくしてもよい。この場合、マスクの分解能も高くなるため、より様々な方向のコントラストが高い場合にも高精度に解像感の向上が可能である。図4(l)は11x11画素を配置したときの加算画素の例であり、ハッチングに示す画素のみ重み付けが1となっている。図4(l)の例では、水平方向に対して約30度をなす斜線に対して略直交する方向のコントラストが高い領域の再構成画像の生成に有効である。
このように再構成画像の生成において、領域ごとのコントラストが高い方向に応じて、即ち領域ごとの高周波成分の分布に応じて加算画素の重みを制御することにより、各領域において好適に被写界深度を拡張することができる。また、加算に用いる画素数を好適に増加させることができるため、解像感を向上させつつ、再構成画像におけるノイズの低減を実現することができる。
(5 本実施形態における処理の流れ)
図5、図6を用いて本実施形態のデジタルカメラの動作について説明する。図5は絞り状態(被写界深度)の変更対象である主被写体のエッジパターンの分布を示した図である。図5の例では主被写体は奥行きのある建物であり、図には主被写体像のエッジパターンが示されている。画像処理部7は、再構成画像の生成に係る一連の処理の中で再構成画像に対して予め定められた数の検出領域60を定義し、各検出領域60を順に選択して、各領域におけるコントラストが高い方向の検出、即ち領域における高周波成分の分布の把握を行う。図5において領域60aは水平方向のコントラストが高い領域の例を、60bは垂直方向のコントラストが高い領域の例を示している。
図5、図6を用いて本実施形態のデジタルカメラの動作について説明する。図5は絞り状態(被写界深度)の変更対象である主被写体のエッジパターンの分布を示した図である。図5の例では主被写体は奥行きのある建物であり、図には主被写体像のエッジパターンが示されている。画像処理部7は、再構成画像の生成に係る一連の処理の中で再構成画像に対して予め定められた数の検出領域60を定義し、各検出領域60を順に選択して、各領域におけるコントラストが高い方向の検出、即ち領域における高周波成分の分布の把握を行う。図5において領域60aは水平方向のコントラストが高い領域の例を、60bは垂直方向のコントラストが高い領域の例を示している。
次に図6のフローチャートを用いて本実施形態における再構成画像の生成に係る一連の処理を説明する。図6(a)は被写界深度を変更する全体の動作を、図6(b)は像生成処理の動作を、それぞれ示している。なお、合焦させる被写体距離に基づいて再構成面を規定し、再構成画像を生成するものとして説明したが、以下では該被写体距離に対応する撮像光学系の焦点位置を用いて再構成面を規定するものとして説明する。
フローチャートに対応する処理は、カメラシステム制御部5が、例えば不揮発性メモリに記憶されている処理プログラムを読み出し、RAMに展開して実行することにより実現することができる。本処理は、例えばデジタルカメラが撮影モードに設定されている状態で、レリーズボタンの押下等により画像取得指示がなされたことを検出した場合に開始される。なお、本処理は、デジタルカメラが閲覧モードに設定されて起動されている状態で、記録部8に記録された光線空間情報に対する再構成画像の生成指示がなされた場合の処理としても適用可能である。
処理が開始すると、まずS1001において画像処理部7はカメラシステム制御部5の制御の下、撮像により得られた光線空間情報のデータを取得する。具体的にはカメラシステム制御部5により電気接点11を通じてレンズシステム制御部12に指示が出されると、レンズシステム制御部12はレンズ駆動部13にシャッタ兼絞りの動作を制御させ、適切な露出条件で撮像素子6を露光する。さらに、撮像素子6は、露光により各受光素子に蓄積された電荷を読み出し、得られたアナログ画素信号を画像処理部7に出力する。そして画像処理部7は、アナログ画素信号に対してA/D変換や補正等の処理を施すことにより、光線空間情報のデータを取得する。
S1002において画像処理部7は、合焦させる被写体領域を設定するための再構成画像を生成するために、S1001で取得した光線空間情報のデータを用いて像生成処理を実行する。像生成処理の詳細は図6(b)を用いて後述する。なお、本ステップの像生成処理では、加算画素の重み付け係数は例えばマイクロレンズに対応する画素の全てが1となる等、予め決まっていてよい。
S1003において表示部9は、カメラシステム制御部5の指示によりS1002で生成された画像を表示する。
S1004においてカメラシステム制御部5は、ユーザによる、合焦させる被写体領域の選択指示を受け付け、選択された被写体領域の被写体に合焦する焦点位置(合焦位置)を設定する。具体的にはカメラシステム制御部5は、操作部10を通じて表示部9に表示された画像に対するユーザによって選択された画像領域を取得して、領域内の主被写体(被写体61)に合焦する焦点位置を検出して設定する。被写体61に合焦する焦点位置は、例えば光線空間情報から2つの異なる分割瞳を通過した光束に対応する2像を生成し、被写体領域における被写体像の位相差を検出することにより特定されてもよい。あるいは、別途設けられた位相差検出ユニットを有し、分離した2つの光学像の位相差により検出することにより特定されてもよい。他には、レンズ駆動部13によりフォーカスレンズを駆動しながら取得された画像の被写体領域におけるコントラスト状態を検出することにより特定されてもよい。
S1005において画像処理部7は、S1004で設定した焦点位置の情報を用いて、像シフト処理を行う。即ち画像処理部7は、該焦点位置における再構成面の光線分布を示すように光線空間情報の画素の並べ替えを行う。画像処理部7は、上述したように光線空間情報の各画素に対応する光束が通過した再構成面上の位置を、各光束の通過した分割瞳領域及び入射方向の情報に従って特定し、特定した情報に基づいて光線空間情報の各画素のシフト量を算出する。再構成面の像の再構成において、像のシフト量は画素ごとに異なるため、シフト量の算出処理はマイクロレンズごとに瞳分割数分繰り返される。即ち、一つのマイクロアレイに対応する領域が25に分割されているとき、25×マイクロレンズの数だけシフト量の算出が行われる。そして画像処理部7は、算出したシフト量に基づいて光線空間情報の各画素の並べ替えを行う。この処理により、画像処理部7は、光線空間情報の各画素を再構成面上における配置にシフトさせた光線空間情報(像シフト情報)を生成する。また、画像処理部7は、像シフト処理を実行済みであるか否かを後述のS1006において判断するために、像シフト処理を完了した旨の像シフトフラグ(論理型の情報)を立てて(真に設定して)次のS1006へ処理を進める。
S1006において画像処理部7は、S1005で生成した像シフト情報に基づいて、像生成処理を実行し、再構成面に対応する再構成画像を生成する。本ステップで生成される再構成画像はユーザにより選択された被写体領域の被写体61に合焦した画像であり、後述する被写体のコントラストが高い方向を検出する処理は本ステップで生成した再構成画像を用いて行われる。像生成処理の詳細については図6(b)を用いて後述する。カメラシステム制御部5は、像生成処理を終えると、処理をS1007へ進める。
S1007乃至S1009において画像処理部7は、S1006において生成された再構成画像を対象としてコントラストが高い方向を判別する処理を行う。画像処理部7は、画像を分割する複数の分割領域を定義し、各分割領域に対してS1008の処理を行い、該領域に含まれる被写体のコントラストの方向を識別する。本実施形態では画像処理部7は、分割領域を図5の画像の左上端から右下端まで順に選択しながら選択した分割領域(検出領域60)についてコントラストが高い方向を判別する処理を、分割領域数分繰り返して行う。
S1007において画像処理部7は、再構成画像に対して定義した分割領域の数だけS1007乃至S1009のループ処理を実行したか否かを判断する。画像処理部7は、分割領域の数だけループ処理を実行したと判断した場合は、後の像生成処理においてコントラストが高い方向の判別が完了したことを判断するために、該完了を示すコントラスト検出フラグ(論理型の情報)を立て、処理をS1010に移す。また画像処理部7は、分割領域の数だけループ処理をまだ実行していないと判断した場合は、処理をS1008に移す。
S1008において、画像処理部7は、まだループ処理が実行されていない分割領域を検出領域に設定して、検出領域における画像のコントラストが高い方向がいずれであるかを判別する。具体的には画像処理部7は、例えば水平方向と垂直方向の各々についてのエッジパターンを抽出するフィルタを検出領域の画像に対して適用することで水平方向のエッジパターン画像と垂直方向のエッジパターン画像を取得する。そして画像処理部7は、抽出されたエッジパターンの量が多い方向に直交する方向をコントラストが高い方向として認識する。即ち、コントラストの急峻な起ち上がりを生じる高周波成分が現れる量が多い方向をコントラストが高い方向として認識する。画像処理部7は、このように水平方向と垂直方向の対比によりコントラストが高い方向を代表方向として特定し、該方向を示す情報を検出領域である分割領域に付して(タグ付け)記憶する。コントラストが高い方向を示す情報は、検出領域である分割領域に関連づけられて例えばRAMに記録されればよい。本処理により、検出領域における高周波成分の分布からコントラストが高い方向を特定することができる。S1009において画像処理部7は、処理をループ処理の開始端であるS1007に戻す。
S1010において画像処理部7は、再構成画像の各分割領域にタグ付けされたコントラストが高い方向を示す情報に基づいて、像シフト情報(像シフトがなされた光線空間情報)を用いた像生成処理を行う。像生成処理については後述するが、本ステップの像生成処理では被写体領域内の高周波成分の分布に基づいて加算画素を制御することで、被写界深度を拡張した再構成面に対応する再構成画像を生成することができる。
S1011においてカメラシステム制御部5は、像生成処理の結果生成された画像を表示部9に表示させて一連の動作を終了する。記録部8は、カメラシステム制御部5の指示に応じて得られた画像データを記録部8に記録する。
次に、図6(b)を用いて像生成処理の詳細を説明する。本像生成処理は、設定された焦点位置の情報に従って画像処理部7が行う。なお、本像生成処理では、MLA20が有するマイクロレンズの各々について、光線空間情報のデータのうちの対象の画素の画素値を加算することで、該マイクロレンズに対応する再構成画像の画素を生成していく。従って、画像処理部7は、マイクロレンズの数、即ち再構成画像の画素の数だけ以下のS1101乃至S1109の処理を繰り返し行い、設定された焦点位置の再構成画像の全画素を生成する。
S1101において画像処理部7は、MLA20が有するマイクロレンズの数だけS1101乃至S1109のループ処理を実行したか否かを判断する。画像処理部7は、マイクロレンズの数だけループ処理を実行したと判断した場合は、ループを抜けて本像生成処理を完了する。また画像処理部7は、マイクロレンズの数だけループ処理を実行していないと判断した場合は、まだループ処理が実行されていないマイクロレンズ(対象マイクロレンズ)を選択して処理をS1102に移す。
S1102において画像処理部7は、設定された焦点位置に係る像シフト処理後に本像生成処理が呼び出されたか否かを判断する。即ち、画像処理部7は、本像生成処理がS1002で呼び出された処理と、S1006あるいはS1010のいずれで呼び出された処理であるかを判断する。画像処理部7は、例えばRAMに記憶されている像シフトフラグを参照することにより本ステップの判断を行う。画像処理部7は、本像生成処理が像シフト処理前に呼び出された処理であると判断した場合は処理をS1105に進め、像シフト処理後に呼び出された処理であると判断した場合は処理をS1103に進める。
S1103において画像処理部7は、S1005において生成された像シフト情報を読み込み、対象マイクロレンズに対応する光線空間情報の画素の情報を読み出す。即ち、画像処理部7は、設定された焦点位置における再構成面に対象マイクロレンズがある場合に、該マイクロレンズを通過する光束に対応した画素の情報を取得する。そして画像処理部7は、読み出した画素の情報を例えばRAMに格納し、処理をS1104に移す。
S1104において画像処理部7は、設定された焦点位置に係る再構成画像についてのコントラストが高い方向が判別された後に本像生成処理が呼び出されたか否かを判断する。即ち、画像処理部7は、本像生成処理がS1006で呼び出された処理とS1010で呼び出された処理のいずれであるかを判断する。画像処理部7は、例えばRAMに記憶されているコントラスト検出フラグを参照することにより本ステップの判断を行う。画像処理部7は、本像生成処理がコントラストの高い方向が判別される前に呼び出されたと判断した場合は処理をS1106に進め、コントラストが高い方向が判別された後に呼び出されたと判断した場合は処理をS1107に進める。
S1106において画像処理部7は、対象マイクロレンズについて、設定された焦点位置に係るコントラストが高い方向の判別用の再構成画像の画素を生成するために用いる重み付け係数のマスクを決定する。本実施形態の像生成処理では、コントラストが高い方向の判別用の再構成画像には例えば焦点位置が無限遠である状態と等価な画像を用いる。この場合、決定される重み付け係数のマスクは、予め定めた基準に従う、例えば対象マイクロレンズを通過した光束のうち、中央の分割瞳領域を通過して対象マイクロレンズを通過した光束に対応する画素のみを重み付け係数を1とするマスクであってよい。即ち、図3の1つの領域300bにおいて3の画素の重み付け係数のみを1として、その他の画素の重み付け係数を0とするマスクを使用することが本ステップにおいて決定される。なお、本実施形態の像生成処理では、コントラストが高い方向の判別用の再構成画像の生成に上述のような重み付け係数のマスクを使用するものとして説明するが、使用するマスクはこれに限られるものではない。使用するマスクは、少なくとも設定された焦点位置で合焦する被写体のエッジパターンが認識可能な再構成画像を生成可能なものであればどのようなものが用いられてもよい。
一方、S1104で本像生成処理がコントラストの高い方向の判別後に呼び出されたと判断した場合、画像処理部7はS1107において、設定された焦点位置に係る被写界深度の深い再構成画像の画素の生成に用いるマスクを決定する。具体的には画像処理部7は、まず対象マイクロレンズについて生成する再構成画像の画素位置が含まれる検出領域60の、コントラストの方向を識別する識別情報を参照する。そして画像処理部7は、重み付け係数のマスクを該識別情報の示すコントラストの方向に応じて決定する。例えば図5の領域60aのように、コントラストの方向を示す識別情報が水平方向のコントラストが高い、即ち垂直方向に延びるエッジパターンが該領域に存在することを示す場合、図4(h)に示した重み付け係数のマスクを用いることが決定される。また、例えば図5の領域60bのように、識別情報が垂直方向のコントラストが高い、即ち水平方向に延びるエッジパターンが該領域に存在することを示す場合、図4(e)に示した重み付け係数のマスクを画素の生成に用いることが決定される。
つまり、本実施形態の像生成処理では、好適にノイズを低減した被写界深度の深い再構成画像を生成するために、被写体のエッジ等の再構成画像に現れる高周波成分の分布に応じて再構成画像の画素の生成に用いる加算画素を変更する制御を行う。即ち、画像処理部7は、画素の生成に用いる光線空間情報の画素から、エッジ成分と直交する方向に該エッジの像がずれて結像した光束に対応する画素を除外できるので、加算によりエッジがボケることを回避した再構成画像を生成することができる。このようにして生成された再構成画像は、各画素をノイズが目立ちにくい信号レベルするために加算画素を増やしたとしても、高周波成分の分布を保った好適な解像感の画像となる。
またS1102で本像生成処理が像シフト処理前に呼び出されたと判断した場合、画像処理部7はS1105において、対象マイクロレンズについて、撮影時の撮像光学系の焦点位置に係る合焦被写体決定用の再構成画像の画素の生成に用いるマスクを決定する。本実施形態の像生成処理では、合焦被写体決定用に提示する再構成画像には、撮影時の条件で被写界深度の調整等をせずに生成した画像を用いる。この場合、決定される重み付け係数のマスクは、対象マイクロレンズを通過した光束の全てについて重み付け係数を1とするマスクとなる。なお、本実施形態の像生成処理では、合焦被写体決定用に提示する再構成画像の画素の生成に、対応する光束を記録した光線空間情報の全ての画素を使用するマスクを使用するものとして説明するが、本発明の実施はこれに限られるものではない。即ち、合焦被写体決定用に提示される再構成画像は、ユーザの便宜を考えて撮影時の焦点位置に対応するものであることが好ましいが、その被写界深度等はどのように決定されてもよく、重み付け係数のマスクも上述した以外のものが使用されてよい。
S1108において画像処理部7は、S1105、S1106、またはS1107で決定された重み付け係数のマスクを使用し、S1103でRAMに格納した画素の画素値を加算して、対象マイクロレンズについての再構成画像の画素を生成する。
このように、本実施形態の像生成処理では、生成する再構成画像が焦点位置の設定用、コントラストが高い方向の判別用、及び被写界深度を拡張した表示用のいずれであるかに応じて、生成に使用する加算画素の重み付け係数を異ならせて再構成画像を生成する。
なお、上述の像生成処理では、S1104において水平方向及び垂直方向のそれぞれについてコントラスト変化が現れる領域60a及び60bについて、重み付け係数のマスクを説明したが、本発明は他の方向にコントラスト変化が現れる場合にも適用できる。即ち、図4において説明したように、コントラスト変化を検出する方向は垂直方向および水平方向に限定されない。つまり、本発明におけるコントラストが高い方向の情報は、検出領域に含まれる被写体像の高周波成分を好適に再現した再構成画像を生成するために用いられるものであるので、領域における高周波成分の分布を特定できる情報であればよい。従って、コントラスト変化を検出する方向には斜め方向が含まれていてもよく、この場合、コントラストが高い方向が示す角度の情報がコントラストの高い方向の情報として分割領域に付されればよい。また、高周波成分の分布から直線成分を検出してパターンを直線に適用する以外に、検出するパターンを曲線等に適用してもよい。
例えば、図5の領域60cのように水平方向に約45度の角度をなすエッジパターンを有する領域の画素については、図4(k)のような重み付け係数のマスクを使用することで同様の効果を得ることが可能である。また、1つのマイクロレンズに対応付けられている撮像素子6の画素が11×11である場合、例えば図5の領域60dのように水平方向に約30度の角度をなすエッジパターンを有する領域の画素については図4(l)のようなマスクが有効である。即ち、瞳分割の分解能が高くなるようにマイクロレンズと撮像素子6の画素の対応付けがなされている場合は、図4(l)のように任意の角度方向のコントラスト変化が現れる画像に対しても柔軟に重み付け係数のマスクを設定することができる。即ち、被写体のエッジの態様に合わせた自由度の高い加算画素の制御を実現することができ、水平および垂直方向のみの制御に比べて、よりノイズを低減した画像を得ることができる。その場合は、S1006のコントラストが高い方向の検出にあたり、各角度方向のエッジパターンの量を検出する必要がある。
このように加算画素の重み付け係数をエッジパターンに現れる角度に併せて制御、つまり、被写体画像の高周波成分の分布に応じて再構成画像の画素の生成を制御することにより画素値の出力を高めてノイズを低減しつつ、解像感の高い画像を得ることができる。
本実施形態の加算画素の制御は、例えば水平方向のコントラストが高い領域に対して、図4(h)に示すように垂直方向5×水平方向1画素の重み付け係数を1とするものであったが、画像の輝度に合わせて、加算画素の領域をさらに制御してもよい。
図7は加算合成画素の加算画素の重み付けを示した模式的に示した図である。図7(a)は加算画素の重み付け係数を中央の垂直方向3×水平方向1画素を1と設定した場合を、図7(b)は加算画素の重み付け係数を中央の垂直方向5×水平方向3画素を1と設定した場合を示している。例えば、カメラシステム制御部5は、図6(a)のS1001で取得した画像の全体の輝度値と適正露出値とを比較する。その結果、画像全体の輝度値が下回る場合には、加算画素を例えば図7(a)に示すように加算画素を制御して図4(h)よりも重み付け係数を1とする画素を増加させる。これは被写体画像の高周波成分の分布に対して、加算画素の重み付け係数を1にする領域に幅(高さ)を増加させる加算画素の制御である。
これにより、取得画像が低輝度の場合において、加算画素が図4(h)のように制御された場合と比較してノイズを低減することができる。ただし、図7(a)のように、加算画素を制御すると図4(h)に比べると解像感は低下する。そこで、操作部10に加算画素数の大小の別を示すモード、例えば解像度優先モード、ノイズ低減優先モードの切替を設け、ユーザ指示によりどちらかを選択するようにしてもよい。カメラシステム制御部5は、操作部10からの入力に基づいて、解像度優先モードであれば図4(h)のように加算画素を少なく、ノイズ低減モードであれば図7(a)のように加算画素を多くとるように加算合成画素を制御する。このようにすれば、ユーザは被写体の被写界深度とノイズ影響を見ながら、所望の画像を自由に選択することができる。また、輝度が高い場合であれば、カメラシステム制御部5は図7(b)に示す加算合成画素を用いて加算する画素を少なく制御してもよい。これは被写体画像の高周波成分の分布に対して、加算画素の重み付け係数を1にする領域の幅(高さ)を減少させる加算画素の制御である。なお、画像の全体の輝度値については、焦点位置における再構成画像の輝度値に基づいて同様の制御を行ってもよい。
このように、被写体画像の高周波成分の分布に対して、画像の輝度に合わせて加算画素の重み付け係数を1にする領域を増減させる制御する加算画素の制御方法により、ノイズを低減した画像を生成することが可能になる。また、解像度優先またはノイズ低減優先の別に基づいて加算画素を制御することにより、ユーザは被写体の被写界深度とノイズ影響を見ながら、所望の画像を得ることができる。
また、本実施形態ではS1004において、表示部9に表示された画像に対してユーザが主被写体を選択し、カメラシステム制御部5はこれに基づいて該被写体に合焦する焦点位置を設定した。しかし、その他の手法を用いてもよい。例えば、カメラシステム制御部5は、焦点検出処理によって画像内の全領域の被写体距離を検出し、最も撮影者の近傍に存在する被写体を主被写体と判断して該焦点位置を設定してもよい。
以上に説明したように本発明によれば、被写界深度を拡張した再構成画像において好適にノイズを低減することができる。
[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (11)
- 複数の被写体距離のいずれかに合焦させた再構成画像を生成可能な画素信号を取得する取得手段と、
前記画素信号の高周波成分の分布を特定する特定手段と、
前記画素信号から再構成画像を生成する生成手段と、を有し、
前記生成手段は、前記特定手段により前記高周波成分の分布が特定された場合に、該分布に基づいて前記画素信号から画素を選択して前記再構成画像を生成する
ことを特徴とする画像処理装置。 - 前記特定手段は、前記生成手段により生成された再構成画像について前記高周波成分の分布を特定し、
前記生成手段は、
前記高周波成分の分布を特定するための第1の再構成画像を生成する場合に、該第1の再構成画像の各画素について、前記画素信号から予め定めた基準に従って1つ以上の画素を選択し、
前記高周波成分の分布に基づく第2の再構成画像を生成する場合に、該第2の再構成画像の各画素について、前記画素信号から前記高周波成分の分布に基づく複数の画素を選択する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記特定手段は、前記第1の再構成画像のエッジパターンを前記高周波成分の分布として特定し、
前記生成手段は、前記第2の再構成画像の各画素について、前記第1の再構成画像における該画素と対応する位置のエッジパターンに基づいて前記複数の画素を選択する
ことを特徴とする請求項2に記載の画像処理装置。 - 前記特定手段は、前記第1の再構成画像における直線成分の分布を前記高周波成分の分布として特定し、
前記生成手段は、前記第2の再構成画像の各画素について、前記第1の再構成画像における該画素と対応する位置の直線成分の代表方向に基づいて前記複数の画素を選択する
ことを特徴とする請求項2または3に記載の画像処理装置。 - 前記生成手段は、再構成画像の各画素について、該画素に対応する光束を結像した前記画素信号の画素を所定の被写体距離に合焦させた際の光束の分布にあわせて2次元に配列し、該2次元に配列した画素のうちの少なくとも一部の画素を選択することで、再構成画像を生成し、
前記特定手段は、前記第1の再構成画像に設定された部分領域の各々について高周波成分の分布を特定し、
前記生成手段は、前記部分領域に対応する前記第2の再構成画像の領域内の各画素について、該画素に対応する2次元に配列した画素のうち、同一の2次元位置に配列した複数の画素を選択する
ことを特徴とする請求項2乃至4のいずれか1項に記載の画像処理装置。 - 前記画素信号は、撮像によって取得された信号であり、
前記生成手段は、前記画素信号が取得された際の露出が適正露出を下回る場合に、前記第2の再構成画像の各画素について、該画素に対応する2次元に配列した画素のうちの前記高周波成分の分布に基づく画素及び該画素と隣接する位置に配列した画素を選択する
ことを特徴とする請求項5に記載の画像処理装置。 - 前記生成手段は、ユーザによる指示あるいは予め定められた設定に応じて、前記第2の再構成画像の各画素について、該画素に対応する2次元に配列した画素のうちの前記高周波成分の分布に基づく画素及び該画素と隣接する位置に配列した画素を選択することを特徴とする請求項5または6に記載の画像処理装置。
- 前記画素信号を出力する撮像手段と、
請求項1乃至7のいずれか1項に記載の画像処理装置と、を有する
ことを特徴とする撮像装置。 - 前記撮像手段が、瞳分割された撮影光学系を通過した光束を光電変換することにより前記画素信号を出力することを特徴とする請求項8に記載の撮像装置。
- 取得手段が、複数の被写体距離のいずれかに合焦させた再構成画像を生成可能な画素信号を取得する取得工程と、
特定手段が、前記画素信号の高周波成分の分布を特定する特定工程と、
生成手段が、前記画素信号から再構成画像を生成する生成工程と、を有し、
前記生成手段は前記生成工程において、前記特定工程において前記高周波成分の分布が特定された場合に、該分布に基づいて前記画素信号から画素を選択して前記再構成画像を生成する
ことを特徴とする画像処理装置の制御方法。 - コンピュータを、請求項1乃至7のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014023766A JP2015154112A (ja) | 2014-02-10 | 2014-02-10 | 画像処理装置、その制御方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014023766A JP2015154112A (ja) | 2014-02-10 | 2014-02-10 | 画像処理装置、その制御方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015154112A true JP2015154112A (ja) | 2015-08-24 |
Family
ID=53895996
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014023766A Pending JP2015154112A (ja) | 2014-02-10 | 2014-02-10 | 画像処理装置、その制御方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015154112A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024004316A1 (ja) * | 2022-06-28 | 2024-01-04 | 株式会社ジャパンディスプレイ | 撮像装置、被写体奥行き推定方法、およびプログラム |
-
2014
- 2014-02-10 JP JP2014023766A patent/JP2015154112A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024004316A1 (ja) * | 2022-06-28 | 2024-01-04 | 株式会社ジャパンディスプレイ | 撮像装置、被写体奥行き推定方法、およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9516213B2 (en) | Image processing apparatus, image capturing apparatus, and control method thereof | |
JP6838994B2 (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP5914192B2 (ja) | 撮像装置及びその制御方法 | |
JP6220148B2 (ja) | 撮像装置およびその制御方法 | |
US9924155B2 (en) | Imaging apparatus and method for controlling same | |
JP2017055310A (ja) | 撮像装置およびその制御方法 | |
JP6397281B2 (ja) | 撮像装置、その制御方法およびプログラム | |
JP2014153890A (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP6095266B2 (ja) | 画像処理装置及びその制御方法 | |
JP2016001853A (ja) | 画像処理装置、撮像装置、制御方法及びプログラム | |
JP6190119B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP2015154112A (ja) | 画像処理装置、その制御方法およびプログラム | |
JP6752942B2 (ja) | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 | |
JP2017161941A (ja) | 再生装置、撮像装置および再生装置の制御方法 | |
JP6157290B2 (ja) | 再生装置、再生装置の制御方法およびプログラム | |
JP2016220016A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
JP6585890B2 (ja) | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 | |
JP6138222B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP5968081B2 (ja) | 撮像装置及びその制御方法 | |
JP6336316B2 (ja) | 撮像装置、制御方法およびプログラム | |
JP6106026B2 (ja) | 画像処理装置、撮像装置、再生装置、制御方法、及びプログラム | |
JP2014064214A5 (ja) | ||
JP2018107614A (ja) | 動画再生装置、撮像装置、動画再生方法及びプログラム | |
JP6016567B2 (ja) | 相関演算装置、撮像装置、相関演算方法、プログラム及び記憶媒体 | |
JP6491539B2 (ja) | 撮像装置及びその制御方法、システムならびにプログラム |