JP2019003665A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2019003665A JP2019003665A JP2018139684A JP2018139684A JP2019003665A JP 2019003665 A JP2019003665 A JP 2019003665A JP 2018139684 A JP2018139684 A JP 2018139684A JP 2018139684 A JP2018139684 A JP 2018139684A JP 2019003665 A JP2019003665 A JP 2019003665A
- Authority
- JP
- Japan
- Prior art keywords
- microlens
- image
- pixel
- base
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【課題】任意の焦点位置を設定可能な合成画像の解像度をマイクロレンズにより決まる解像度よりも大きくする。【解決手段】画像処理装置は、複数のマイクロレンズ毎に複数設けられた受光部の出力データから任意の焦点面に対応する画像を生成する画像生成部を有し、画像生成部は、受光部の出力データにおいて、複数のマイクロレンズのうちの第1のマイクロレンズ121に対応する第1領域内の第1受光部の出力と、第1のマイクロレンズ121の近くに位置する第2のマイクロレンズ120aに対応する第2領域内の第2受光部の出力と、から前記画像を生成し、前記画像は、複数のマイクロレンズの数より多くの画素を含んでいる。【選択図】図6
Description
本発明は、画像処理装置に関する。
従来から、1つのマイクロレンズに対応して複数の撮像画素を備え、1回の撮影により取得された画像データを撮影後に合成して、任意の焦点位置の画像を生成する撮像装置が知られている(たとえば、特許文献1、2、および非特許文献1)。
Light Field Photography with a Handheld Plenoptic camera, Stanford tech report CTSR2005-02
しかしながら、生成された画像はマイクロレンズの配列数と同じ解像度となり、生成される画像の解像度は撮像画素の配列密度よりも大幅に低下するという問題がある。さらには、合成画像を生成する際の演算処理が非常に煩瑣となるという問題がある。
請求項1に記載の画像処理装置は、複数のマイクロレンズ毎に複数設けられた受光部の出力データから任意の焦点面に対応する画像を生成する画像生成部を有し、前記画像生成部は、前記受光部の出力データにおいて、複数のマイクロレンズのうちの第1のマイクロレンズに対応する第1領域内の第1受光部の出力と、前記第1のマイクロレンズの近くに位置する第2のマイクロレンズに対応する第2領域内の第2受光部の出力と、から前記画像を生成し、前記画像は、前記複数のマイクロレンズの数より多くの画素を含んでいる。
本発明によれば、解像度の高い合成画像データを高速に生成できる。
本実施の形態のデジタルカメラは、マイクロレンズアレイを介して撮影することにより取得された画像信号が奥行き情報等の波面情報を有することを利用して、数値処理によってユーザが所望する被写界深度と焦点位置とを有する画像データを生成する。撮影レンズを介して入射した被写体光束は、マイクロレンズアレイの近傍に結像する。このとき、被写体の位置に応じて光束が結像する位置は撮影レンズの光軸方向に異なるものとなり、さらに被写体が三次元物体であれば被写体光束は同一平面上には結像しない。本実施の形態のデジタルカメラは、ユーザが所望する光軸方向の結像位置に結像する被写体の像を再現した画像を生成する。
さらに、本実施の形態のデジタルカメラは、上記の画像として、マイクロレンズアレイに含まれるマイクロレンズの数よりも大きな解像度を有する合成画像を生成可能に構成されている。すなわち、1つのマイクロレンズに対応して、合成画像の各画素となる画像信号を出力する撮像画素(基点画素)が複数個設けられている。そして、デジタルカメラは、ユーザの選択に応じた焦点位置の合成画像となるように、基点画素から出力された画像信号に対して周辺に配置された撮像画素から出力された画像信号を加算して、合成画像の1画素分の結像領域に相当する合成画像信号を生成し、焦点位置を可変可能な合成画像を作成する。以下、詳細に説明する。
図1は、実施の形態によるデジタルカメラの構成を示す図である。デジタルカメラ1は、撮影レンズL1を有する交換レンズ2が着脱可能に構成されている。デジタルカメラ1は、撮像ユニット100,制御回路101,A/D変換回路102,メモリ103,操作部108,表示器109,LCD駆動回路110およびメモリカードインタフェース111を備える。撮像ユニット100は、多数のマイクロレンズ120が二次元状に配列されたマイクロレンズアレイ12および撮像素子13を備える。なお、以下の説明においては、Z軸を撮影レンズL1の光軸に平行となるように設定され、Z軸と直交する平面内でX軸とY軸とが互いに直交する方向に設定されているものとする。
撮影レンズL1は、複数の光学レンズ群から構成され、被写体からの光束をその焦点面近傍に結像する。なお、図1では撮影レンズL1を説明の都合上1枚のレンズで代表して表している。撮影レンズL1の焦点面近傍に、マイクロレンズアレイ12と撮像素子13とが順に配置される。撮像素子13は、複数の光電変換素子を備えたCCDやCMOSイメージセンサによって構成される。撮像素子13は、撮像面上に結像されている被写体像を撮像し、制御回路101により制御されて被写体像に応じた光電変換信号(画像信号)をA/D変換回路102へ出力する。なお、撮像ユニット100の詳細については説明を後述する。
A/D変換回路102は、撮像素子13が出力する画像信号にアナログ的な処理をしてからデジタル画像信号に変換する回路である。制御回路101は、CPUやメモリその他の周辺回路によって構成される。制御回路101は、制御プログラムに基づいて、デジタルカメラ1を構成する各部から入力される信号を用いて所定の演算を行い、デジタルカメラ1の各部に対する制御信号を送出して、撮影動作を制御する。また、制御回路101は、後述するように絞り値入力ボタン108aの操作に応じて操作部108から入力した操作信号に基づいて、ユーザにより選択された合成画像の絞り値を決定する。制御回路101は、後述するように焦点位置入力ボタン108bの操作に応じて操作部108から入力した操作信号に基づいて合成画像の焦点位置を決定する。
制御回路101は、テーブル生成部105、画像積算部106および画像正規化部107を機能的に備える。テーブル生成部105は、絞り値入力ボタン108aの操作に応じて決定された合成画像の絞り値を用いて合成画素所属テーブルを作成する。画像積算部106は、焦点位置入力ボタン108bの操作に応じて決定された合成画像の焦点位置と、テーブル生成部105で作成された合成画素所属テーブルとを用いて、画像信号から合成画像データを生成する。画像正規化部107は、後述するように画像積算部106で生成された合成画像データに対応する合成画像の縦横比(水平方向と垂直方向の比)が1:1となるように補正する。なお、テーブル作成部105,画像積算部106および画像正規化部107については詳細を後述する。
メモリ103は、A/D変換回路102によりデジタル変換された画像信号や、画像処理、画像圧縮処理および表示用画像データ作成処理の途中や処理後のデータを一時的に格納するために使用される揮発性記憶媒体である。メモリカードインタフェース111は、メモリカード111aが着脱可能なインタフェースである。メモリカードインタフェース111は、制御回路101の制御に応じて、画像データをメモリカード111aに書き込んだり、メモリカード111aに記録されている画像データを読み出すインタフェース回路である。メモリカード111aはコンパクトフラッシュ(登録商標)やSDカードなどの半導体メモリカードである。
LCD駆動回路110は、制御回路101の命令に基づいて表示器109を駆動する回路である。表示器109は、たとえば液晶等により構成され、再生モードにおいてメモリカード111aに記録されている画像データに基づいて制御回路101で作成された表示データの表示を行う。また、表示器109には、デジタルカメラ1の各種動作を設定するためのメニュー画面が表示される。
操作部108は、ユーザの操作を受け付けて、操作内容に応じた各種の操作信号を制御回路101へ出力する。操作部108は、絞り値入力ボタン108a,焦点位置入力ボタン108b,電源ボタン,レリーズボタン,その他の設定メニューの表示切換ボタン、設定メニュー決定ボタン等を含む。絞り値入力ボタン108aは合成画像の絞り値Fを入力する際にユーザにより操作される。ユーザにより絞り値入力ボタン108aが操作され絞り値Fが選択されると、操作部108は操作信号を制御回路101へ出力する。焦点位置入力ボタン108bは合成画像の焦点位置yを入力する際にユーザにより操作される。ユーザにより焦点位置入力ボタン108bが操作され焦点位置yが選択されると、操作部108は操作信号を制御回路101へ出力する。
次に、撮像ユニット100の構成について詳細に説明する。撮像ユニット100は、上述したようにマイクロレンズアレイ12と撮像素子13とを有する。マイクロレンズアレイ12は、二次元状に配列された複数のマイクロレンズ120により構成される。撮像素子13には、上記の各マイクロレンズ120を通過した光を受光する画素配列130が、マイクロレンズ120に対応した配置パターンで配置されている。各々の画素配列130は、二次元状に配列された複数の光電変換素子131(以下、撮像画素131と呼ぶ)により構成される。
図2(a)にマイクロレンズアレイ12に配列されるマイクロレンズ120のXY平面での平面図を示す。図2(a)に示すように、マイクロレンズアレイ12は、XY平面上で、たとえば六角形に形成された複数のマイクロレンズ120がハニカム配列されている。なお、図2(a)はマイクロレンズアレイ12に設けられた複数のマイクロレンズ120のうちの一部のマイクロレンズ120を示す。図2(b)は、撮影レンズL1の光軸方向(Z軸方向)における、撮影レンズL1とマイクロレンズアレイ12と撮像素子13との位置関係を説明する図である。図2(b)に示すように、撮像素子13はマイクロレンズ120の焦点距離fだけ離れた位置に配置される。すなわち、複数の撮像画素131を有する画素配列130は、各画素配列130のそれぞれに対応するマイクロレンズ120の焦点距離fだけ離れた位置に設けられている。なお、図2(b)においては、マイクロレンズアレイ12に設けられた複数のマイクロレンズ120と、撮像素子13に設けられた複数の画素配列130および複数の撮像画素131の一部を示す。
上述した構成を有する撮像素子13から出力された画像信号を用いて、画像積算部106は合成画像データを作成する。画像積算部106は、あるマイクロレンズ120に対応して設けられた画素配列130に含まれる撮像画素131のうち、所定の撮像画素131(以後、基点画素132(図3)と呼ぶ)から出力される画像信号(以後、基点信号と呼ぶ)と、基点画素132に対応するマイクロレンズ120および近傍に設けられたマイクロレンズ120に対応する画素配列130に含まれる撮像画素131から出力された画像信号とを合成する。その結果、画像積算部106は、1画素に相当する合成画像信号を生成する。画像積算部106は、各マイクロレンズ120に対応する基点画素の全てに対して上記の処理を行い、生成されたそれぞれの合成画像信号を加算して合成画像データを生成する。
画像積算部106は、上述したように合成画像信号を生成する際に、テーブル作成部105により作成された合成画素所属テーブルを参照する。合成画素所属テーブルは、基点信号に合成するための画像信号を出力する撮像画素131が、どのマイクロレンズ120に対応する画素配列130のどの位置に配置されているかを示している。以下、画像積算部106が、撮像画素131から出力された画像信号を用いて合成画像信号を生成する処理と、テーブル作成部105が合成画像所属テーブルを作成する処理について説明する。
図3に各マイクロレンズ120、すなわち各画素配列130に対応して設けられる基点画素を示す。図3においても、複数のマイクロレンズ120のうちの一部のマイクロレンズ120を示す。図3に示すように、本実施の形態においては、1つのマイクロレンズ120に対して、たとえば4個の基点画素132a〜132dが設けられている。基点画素132の個数を複数にすることにより、焦点位置が可変にできない領域を減ずることができる。すなわち、基点画素132が1個の場合は上記の領域の大きさは±2f(fはマイクロレンズ120の焦点距離)であるが、基点画素132を複数にすることにより上記の領域の大きさを最少で±fにすることができる。さらには、基点画素132の個数を増やすことにより、合成画像データの画素数を増やすことができる。したがって、図3に示す場合では、合成画像データの画素数はマイクロレンズアレイ12に配列されたマイクロレンズ120の個数の4倍となる。
図3では、基点画素132aはマイクロレンズ120の擬似光軸に対応して配置される。なお、本実施の形態では、擬似光軸を、撮影レンズL1の瞳から入射する光束の中心と、マイクロレンズ120の主面との交点として説明する。図3においては、マイクロレンズ120の幾何学的中心と擬似光軸とが一致している場合を示している。基点画素132b,132cは隣接するマイクロレンズ120の近傍付近に配置され、基点画素132dは隣接するマイクロレンズ120との境界線上に対応して配置される。また、以下の説明では、基点画素132に対応するマイクロレンズ120を基点マイクロレンズ121と呼ぶこととする。
−合成画像信号の生成−
まず、図4(a)に示す被写体の像がマイクロレンズ120の頂点に結像する場合、すなわち焦点面Sがマイクロレンズ120の頂点に存在する場合の合成画像の生成原理について説明する。この場合の被写体からの光束は、マイクロレンズ120に対応して設けられた画素配列130の撮像画素131に入射する。画像積算部106は、図4(a)に示す撮像画素131のうち斜線を施した撮像画素131から出力された画像信号を積算することにより、合成画像データの1画素に相当する合成画像信号を生成する。画像積算部106は、この処理を全てのマイクロレンズ120に対応する画素配列130について行うことにより、合成画像データを生成する。
まず、図4(a)に示す被写体の像がマイクロレンズ120の頂点に結像する場合、すなわち焦点面Sがマイクロレンズ120の頂点に存在する場合の合成画像の生成原理について説明する。この場合の被写体からの光束は、マイクロレンズ120に対応して設けられた画素配列130の撮像画素131に入射する。画像積算部106は、図4(a)に示す撮像画素131のうち斜線を施した撮像画素131から出力された画像信号を積算することにより、合成画像データの1画素に相当する合成画像信号を生成する。画像積算部106は、この処理を全てのマイクロレンズ120に対応する画素配列130について行うことにより、合成画像データを生成する。
次に、ある焦点面(結像面)に結像した被写体の像について合成画像信号を生成する場合の原理を説明する。図4(b)に示すように、焦点面Sがマイクロレンズ120の頂点から離れた位置に存在する場合、被写体からの光束は異なる複数のマイクロレンズ120に入射する。このため、画像積算部106は、合成画像信号を生成するために、基点マイクロレンズ121の近傍に配置されたマイクロレンズ120に対応して配置された撮像画素131からの画像信号をも用いる必要がある。本実施の形態においては、1つの基点マイクロレンズ121に対して複数の基点画素132が設定されている、すなわちマイクロレンズ120の擬似光軸に対応する位置とは異なる位置にも基点画素132が設けられている。
画像積算部106は、合成画像の絞り値に応じて決定される積算領域に含まれる撮像画素131から出力される画像信号を全て積算することにより合成画像データにおける1画素(合成画像の結像領域)に相当する合成画像信号を生成する。なお、積算領域は直径をDとする円で表される。積算領域の直径Dは、絞り値入力ボタン108aの操作に応じて決定された絞り値(合成画像データの絞り値)Fと、マイクロレンズ120の焦点距離fとを用いて以下の式(1)により表される。
D=f/F ・・・(1)
D=f/F ・・・(1)
図5は、積算領域Rsと撮像画素131との関係を示す。上述したように、画像積算部106は、円形領域として表された積算領域Rsに被覆される全ての撮像画素131から出力された画像信号を積算する。図5においては、積算される画像信号を出力する撮像画素131に斜線を付して示している。マイクロレンズ120は、マイクロレンズアレイ12を構成するレンズの1つなので、マイクロレンズ120の配列により許容される各マイクロレンズ120の直径よりも積算領域Rsを大きくすることはできない。したがって、合成画像データで許容される最大の絞り値Fmaxは、以下の式(2)で表される。なお、式(2)において「s」は撮像画素131の一辺の大きさを示す。また、合成画像データにおける最小の絞り値Fminはマイクロレンズ120のF値となる。
Fmax=f/s ・・・(2)
Fmax=f/s ・・・(2)
画像積算部106によって、基点画素132を含む画素配列130から出力された画像信号が積算された合成画像信号、すなわち積算値は以下の式(3)で表される。なお、式(3)においては、Pは撮像画素131から出力される画像信号の出力値を示す。また、式(3)の「i」は合成画像の絞り値Fのときに積算領域Rsに被覆される撮像画素131を示し、「0」は基点画素132が含まれる画素配列130に対応して配置されるマイクロレンズ120であること、すなわち基点マイクロレンズ121であることを表している。
・・・(3)
・・・(3)
上述したように、画像積算部106は、基点マイクロレンズ121の近傍に設けられたマイクロレンズ120に対応する画素配列130に含まれる撮像画素131から出力される画像信号も用いて積算を行う。すなわち、画像積算部106は、合成画像の絞り値Fよって決まる積算領域Rsに被覆される撮像画素131の集合F{i}に含まれる全ての撮像画素131であって、基点マイクロレンズ121を含む近傍のマイクロレンズ120に対応して配置された撮像画素131からの画素信号の出力値を積算する。この場合、出力値Pは以下の式(4)で表される。なお、式(4)の「t」は、基点マイクロレンズ121を含む近傍のマイクロレンズ120を表す。
・・・(4)
・・・(4)
図6は、画像積算部106によって1つの合成画像信号を生成する際に用いられた画像信号を出力した撮像画素131と、基点マイクロレンズ121および近傍に隣接するマイクロレンズ120a〜120fとの関係を示す。なお、図6では、基点画素132aから出力された基点信号に対して合成画像信号を生成した場合を示す。図6に示す基点マイクロレンズ121と隣接するマイクロレンズ120a〜120fに分散する各撮像画素131を集めると、図5に示す合成画像の絞り値Fにより規定される領域、すなわち積算領域Rsで被覆される複数の撮像画素131を構成することになる。
画像積算部106が上述した処理を行って画像信号を積算する際には、基点信号に加える画像信号を出力する撮像画素131が何れのマイクロレンズ120に対応する画素配列130のどの位置に配置されているかが重要となる。そのため、式(3)、(4)において「i」で示される撮像画素131がどのマイクロレンズ120a〜120fに対応して設けられているか、すなわち撮像画素131の分散を示すテーブルが合成画素所属テーブルとして所定の格納領域に格納されている。そして、画像積算部106は合成画像信号を生成する際にこの合成画素所属テーブルを参照する。なお、合成画素所属テーブルは以下の式(5)で表されるものとする。
t=Td(i) ・・・(5)
t=Td(i) ・・・(5)
−合成画素所属テーブルの作成処理−
画像積算部106は、画像信号を積算する際には、合成画素所属テーブルを参照する。上述したように、この合成画素所属テーブルは、基点信号に合成するための画像信号を出力する撮像画素131が、基点マイクロレンズ121および近傍に設けられたマイクロレンズ120に対応する画素配列130のどの位置に配置されているかを特定する。
画像積算部106は、画像信号を積算する際には、合成画素所属テーブルを参照する。上述したように、この合成画素所属テーブルは、基点信号に合成するための画像信号を出力する撮像画素131が、基点マイクロレンズ121および近傍に設けられたマイクロレンズ120に対応する画素配列130のどの位置に配置されているかを特定する。
テーブル生成部105は、合成画像の焦点位置yと合成画像の絞り値F(被写界深度)とが決定されると、基点信号に合成するための画像信号を出力する撮像画素131についての合成画素所属テーブルを作成する。上述したように、何れのマイクロレンズ120に対応する何れの撮像画素131からの画像信号が基点信号に積算されるかは、合成画像の焦点位置により決定される。
図6(a)は、合成画像の焦点位置(焦点面)yがマイクロレンズアレイ12に対して被写体側に存在する場合を示している。また、図6(b)は、合成画像の焦点位置(焦点面)yがマイクロレンズアレイ12に対して撮像素子13側に存在する場合を示している。図6(a)および図6(b)に示すように、マイクロレンズ120aに対応する撮像画素131に関して、焦点面の位置に応じて基点信号に積算される画像信号を出力する撮像画素131の配置が異なっている。他のマイクロレンズ120b〜120fおよび基点マイクロレンズ121についても同様に異なっている。
テーブル作成部105は、基点マイクロレンズ121に複数の基点画素132が存在する場合(たとえば図3の基点画素132a〜132d)には、それぞれの基点画素132に対して合成画素所属テーブルを作成する。ただし、複数の基点画素132が基点マイクロレンズ121の擬似光軸に対して対称(シンメトリック)であれば、画像積算部106はある基点画素132の合成画素所属テーブルを他の基点画素132の合成画素所属テーブルとして利用できる。たとえば、画像積算部106は、図3の基点画素132bの合成画素所属テーブルを基点マイクロレンズ121の擬似光軸に対して対称な基点画素132dの合成画素所属テーブルとして利用できる。
以下、テーブル作成部105による合成画素所属テーブルの作成処理について詳細に説明する。以下の説明においては、代表して、基点マイクロレンズ121の擬似光軸に対応して配置された基点画素132aの合成画素所属テーブルの作成処理について行う。合成画像の焦点面がマイクロレンズアレイ12から距離yの位置に存在する、すなわち焦点距離がyであるとする。さらに、基点マイクロレンズ121からn番目のマイクロレンズ120の擬似光軸を通過する光束は、以下の式(6)で示すように、基点マイクロレンズ121の擬似光軸から距離xの位置に入射する。なお、「d」は各マイクロレンズ120の配列ピッチを示す。
x=fnd/y ・・・(6)
x=fnd/y ・・・(6)
撮像画素131が対応するマイクロレンズ120により結像される光束を受光することを考慮すると、合成画像の焦点位置yからの被写体からの光のうち撮像素子13の撮像面において各マイクロレンズ120により照射される光の幅lは、以下の式(7)により表される。
l=fd/y ・・・(7)
l=fd/y ・・・(7)
上記の光の幅lは、撮像素子13の二次元平面上においては、幅lの輪状の領域(以後、輪帯と呼ぶ)で表わされる。したがって、基点マイクロレンズ121からn番目の位置に配置されたマイクロレンズ120において、合成画像の絞り値Fにより規定された光束はこの輪帯lで示される領域内に入射する。式(7)に示すように、合成画像の焦点位置yが大きくなるほど輪帯lの幅は小さくなる。
本実施の形態においては、それぞれのマイクロレンズ120のxy平面における形状は図3に示すように六角形であり、マイクロレンズアレイ12上にハニカム配列されている。図7に、ある合成画像の絞り値Fに対応する積算領域Rsのうち、n=1の場合の輪帯l1およびn=2の場合の輪帯l2を示す。図7に示すように、n=1の場合の輪帯l1は基点マイクロレンズ121およびマイクロレンズ120a〜120fにより区分されそれぞれ部分領域Rpa〜Rpgを形成する。すなわち、各部分領域Rpa〜Rpgはそれぞれ異なるマイクロレンズ120により被覆されている。したがって、画像積算部106は、輪帯l1の各部分領域Rpa〜Rpgに含まれる撮像画素131からの画像信号の出力値Pi,sを算出する。そして、画像積算部106は、同様にして、積算領域Rs、すなわちすべての輪帯lについて積算すればよいことになる。
基点マイクロレンズ121および各マイクロレンズ120a〜120fに関して、隣接するマイクロレンズ120の関係は基本的に同様である。したがって、テーブル作成部105は、輪帯l1を構成している部分領域Rpa〜Rpgのそれぞれに含まれる各撮像画素131について、ある撮像画素131がいずれの部分領域Rpに属するかを決定する。
基点画素132aに対して、積算される画像信号を出力する撮像画素131が含まれる積算領域Rsの径を(D=f/F)とする。また、各マイクロレンズ120のx軸方向(水平方向)の配列ピッチd、換言すると六角形形状の各マイクロレンズ120のそれぞれに内接する円の径を、積算領域Rsの径の最大値Dmaxに等しいものとする。さらに、合成画像の焦点位置(焦点距離)をマイクロレンズ120の仮想屈曲面を基準としてyとする。この場合に、マイクロレンズアレイ12における各マイクロレンズ120の配列ピッチdを投射倍率であるf/y倍して積算領域Rs上に投影すると、各マイクロレンズ120によって輪帯lが分割された部分領域Rpのそれぞれに相当する。テーブル作成部105は、部分領域Rpに含まれる撮像画素131の位置と、部分領域Rpに対応するマイクロレンズ120とを対応付けして、基点画素132aの合成画素所属テーブルとして作成する。テーブル作成部105は、他の基点画素132b〜132dについても同様にして合成画素所属テーブルを作成する。なお、部分領域Rpに対応するマイクロレンズ120の位置は、基点マイクロレンズ121の位置を基準とした相対位置として特定される。
なお、テーブル作成部105は、基点画素132が基点マイクロレンズ121の擬似光軸上に配置されていない場合、すなわち基点画素132b〜132dについても同様にして合成画素所属テーブルを作成する。たとえば2つのマイクロレンズ120の境界線上に配置された基点画素132cのように基点マイクロレンズ121の擬似光軸から偏芯している場合について説明する。この場合、テーブル作成部105は、図8に示すように、基点マイクロレンズ121の擬似光軸から偏芯した基点画素132cを中心として、マイクロレンズ120の配列ピッチdを投射倍率で拡大または縮小して、積算領域Rs上に投影する。
なお、マイクロレンズ120と撮像画素131との位置関係、すなわちマイクロレンズ120の大きさ(配置間隔)と撮像画素131の配列ピッチとが比例関係であることが望ましい。図3に示すように、マイクロレンズ120の内部が撮像画素131の配列ピッチの整数倍となるように撮像画素131の配列ピッチを決定すると、テーブル作成部105は、マイクロレンズ120ごとに同一の演算を繰り返すことにより合成画素所属テーブルを作成することができる。
以上で説明したデジタルカメラ1の動作を説明する。ユーザによるレリーズスイッチの操作に応じて操作部108から操作信号が出力されると、制御回路101は撮像素子13に被写体像の撮像を開始させ、画像信号を出力させる。撮像素子13から出力された画像信号はA/D変換回路102によりデジタルの画像信号に変換されてメモリ103に格納される。画像積算部106は、このメモリ103に格納された画像信号を用いて合成画像データを生成する。
ユーザによる絞り値入力ボタン108aおよび焦点位置入力ボタン108bの操作に応じて制御回路101が合成画像の絞り値Fおよび焦点位置yを決定すると、テーブル作成部105は、上述したように合成画素所属テーブルを作成する。合成画像の絞り値Fにより積算領域Rsが決まるので、テーブル作成部105は、決定された合成画像の焦点位置yに基づいて投射倍率を算出し、積算領域Rsの部分領域Rpを決定する。そして、テーブル作成部105は、決定した部分領域Rpに含まれる撮像画素131に基づいて合成画素所属テーブルを作成して、所定の格納領域に格納する。
画像積算部106は、格納された合成画素所属テーブルを用いて、メモリ103に格納された画像信号に対して合成画像データの生成処理を行う。このとき、画像積算部106は、各マイクロレンズ120に対応する画素配列130ごとに合成画像信号を生成して合成画像データの生成処理を行ってもよいし、基点画素132の配列順序に従って合成画像信号を生成して合成画像データを生成してもよい。
画像積算部106は、各マイクロレンズ120の中から基点マイクロレンズ121を選択して、基点マイクロレンズ121の擬似光軸を中心として積算領域Rsを決定する。上述したように、本実施の形態では、擬似光軸を、撮影レンズL1の瞳から入射する光束の中心と、マイクロレンズ120の主面との交点としている。通常、マイクロレンズアレイ12の周辺部、すなわち被写体象の像高が高い位置に対応して配置されるマイクロレンズ120ほど、擬似光軸はマイクロレンズ120の幾何学上の中心からずれる。したがって、撮影レンズL1の瞳位置が固定されている場合には、撮像素子13の各撮像画素131とマイクロレンズ120の擬似光軸とが比例関係となるようにマイクロレンズ120を設計しておくことが好ましい。
撮像画素131とマイクロレンズ120の擬似光軸とが比例関係にない場合には、テーブル作成部105は擬似光軸を基準としてマイクロレンズ120ごとに撮像画素131の位置を内挿して正規化を行って、合成画素所属テーブルを作成する。正規化の手法としては、たとえば公知のバイキュービック法やニアレストネイバー法などを用いる。
合成画素所属テーブルは、上述したように正規化された撮像画素131の位置に基づいてテーブル作成部105により作成されている。したがって、画像積算部106は、この合成画素所属テーブルを参照して、合成画像の絞り値Fで決定される積算領域Rs内の撮像画素131から出力された画像信号を積算して合成画像データを生成する。画像積算部106により合成画像データが生成されると、画像正規化部107は合成画像データに対して正規化処理を施す。画像積算部106により生成された合成画像データのピッチは、マイクロレンズ120の配列と撮像画素131の配列との比例関係に基づいて決定されているので、合成画像データの水平方向と垂直方向の画素ピッチが異なる。図3に示すようにマイクロレンズ120が六角形形状を有するハニカム配列であり、各画素配列130に4つの基点画素132を含む場合には、水平方向と垂直方向の比が以下の式(8)ようになる。
…(8)
…(8)
したがって、画像正規化部107は、垂直方向または水平方向に対して、たとえば公知のニアレストネイバー法やバイキュービック法等を用いて内挿演算を行って正規化を行う。その結果、画像正規化部107により、合成画像データの水平方向と垂直方向の比が1:1に変換される。
以上で説明した実施の形態によるデジタルカメラ1によれば、以下の作用効果が得られる。
(1)複数のマイクロレンズ120を撮影レンズL1の焦点面近傍に二次元状に配置し、撮像素子13には撮影レンズL1を通過した被写体からの光束をマイクロレンズ120を介して受光して画像信号を出力する複数の撮像画素131を含む画素配列130が、マイクロレンズ120のそれぞれに対応して二次元状に配置される。画像積算部106は、撮影レンズL1の任意の焦点位置、すなわち結像面における複数の結像領域に対応する合成画像信号を生成するために、結像領域ごとに合成画像信号の生成に使用される画像信号を出力する撮像画素131の位置を特定する合成画素所属テーブルに基づいて、撮像画素131から出力された画像信号を合成する。そして、テーブル作成部105は、任意の焦点位置ごとに合成画素所属テーブルを作成する。
(1)複数のマイクロレンズ120を撮影レンズL1の焦点面近傍に二次元状に配置し、撮像素子13には撮影レンズL1を通過した被写体からの光束をマイクロレンズ120を介して受光して画像信号を出力する複数の撮像画素131を含む画素配列130が、マイクロレンズ120のそれぞれに対応して二次元状に配置される。画像積算部106は、撮影レンズL1の任意の焦点位置、すなわち結像面における複数の結像領域に対応する合成画像信号を生成するために、結像領域ごとに合成画像信号の生成に使用される画像信号を出力する撮像画素131の位置を特定する合成画素所属テーブルに基づいて、撮像画素131から出力された画像信号を合成する。そして、テーブル作成部105は、任意の焦点位置ごとに合成画素所属テーブルを作成する。
従来の技術では、ある焦点面における合成画像データを生成する場合に、マイクロレンズ120の中心位置に対応する座標を通過した光束に対応して出力された画像信号を合成して、合成画像データの1画素に相当する合成画像信号を生成していた。すなわち、合成画像データの画素数、すなわち解像度がマイクロレンズ120の配列数と等しいものとなっていた。1つのマイクロレンズ120の直径が撮像画素131の10画素分に相当する、すなわち1つのマイクロレンズ120に対応して10×10画素の撮像画素131が配列されているものと仮定する。この場合、合成画像データの画素数がマイクロレンズ120の配列数と等しいために、画像密度が1/100となる。すなわち、撮像素子13が1000万画素の撮像画素131を有していたとしても、生成される合成画像データは10万画素となる。
これに対して、本実施の形態のデジタルカメラ1は、合成画像データの1画素に相当する合成画像信号を生成するための基点画素132を、1つのマイクロレンズ120に対して4つ設けている。その結果、従来の技術によるデジタルカメラで生成される合成画像データと比べて解像度を増加させる、すなわちマイクロレンズ120の配列数よりも解像度を増やすことができるので、合成画像の画質が向上される。
さらには、テーブル作成部105が基点画素132からの基点信号に合成する画像信号を出力する撮像画素131の位置を示す合成画素所属テーブルを作成している。すなわち、従来の技術のようにフーリエ変換を用いた複雑な演算を用いることなく合成画像データを生成できる。その結果、特にマイクロレンズ120のxy平面上での形状が矩形配列ではなく(たとえばハニカム配列)、フーリエ変換による演算が煩瑣となる場合であっても、処理負荷を低減し合成画像を高速に生成できる。また、テーブル作成部105は、合成画像の焦点位置yが決定されるごとに合成画素所属テーブルを作成するので、複数の合成画像の焦点位置yと複数の基点画素132とのそれぞれに対応した膨大な数のテーブルを予め記憶させておく必要がないので、メモリ容量を確保することができる。
(2)複数の基点画素132のそれぞれの配置間隔は、複数のマイクロレンズ120のそれぞれの配置間隔と比例関係を有するようにした。すなわち、マイクロレンズ120の大きさが撮像画素131の配列ピッチの整数倍となるように撮像画素131の配列ピッチを決定した。この結果、画像積算部106は、複数のうちのあるマイクロレンズ120に対応する基点画素132に対して行った合成画像生成処理と同一の処理を、他のマイクロレンズ120に対応する基点画素132に対して行うことにより合成画像データを生成できる。したがって、合成画像生成処理に要する負荷を軽くして、合成画像データを高速に生成できる。
(3)テーブル作成部105は、複数の基点画素132a〜132dのそれぞれに対して合成画素所属テーブルを作成する。この合成画素所属テーブルでは、基点画素132に対応する撮像画素131が配置された位置は、マイクロレンズ120の擬似光軸を基準として正規化されている。そして、合成画素所属テーブルは、撮像画素131が配置された位置に対応するマイクロレンズ120が配置された位置を基点マイクロレンズ121を基準として相対的に指定している。したがって、画像積算部106は、基点画素132からの基点画像信号に合成する画像信号を出力する撮像画素131を、合成画素所属テーブルを参照して選択できるので、合成画像データ生成処理の高速化を実現できる。
(4)テーブル作成部105によって作成される合成画素所属テーブルは、基点画素132を基点とした領域であって、マイクロレンズ120の焦点距離fを合成画像の絞り値Fで除した値を直径D(=f/F)とする積算領域Rsに含まれる撮像画素131が配置された位置が、複数のマイクロレンズ120のうちのいずれのマイクロレンズ120に対応しているかを示している。したがって、画像積算部106は、基点画素132からの基点信号に合成する画像信号、すなわち合成画像の絞り値Fに対応する画像信号を、合成画素所属テーブルを参照して選択できるので、合成画像データ生成処理の高速化を実現できる。
(5)画像正規化部107は、画像積算部106により生成された合成画像データを正規化し、水平方向と垂直方向との比率を1に変換するようにした。したがって、マイクロレンズ120のxy平面上での形状が矩形ではない場合であっても、水平方向と垂直方向との比率が合致した合成画像データを生成して、合成画像の画質低下を防止できる。
以上で説明した実施の形態のデジタルカメラ1を、以下のように変形できる。
(1)1つのマイクロレンズ120に対応する4個の基点画素132a〜132dが、マイクロレンズ120の擬似光軸から偏芯した位置に配置されるものでもよい。図9(a)にこの場合の基点画素132の配置例を示す。この場合、基点画素132a〜132dは、マイクロレンズ120の擬似光軸に対して互いに対称(シンメトリック)となる位置に配置されている。基点画素132が図9(a)に示すように配置されている場合、画像積算部106は、1つの基点画素132に対応する合成画素所属テーブルを他の3つの基点画素132に対応する合成画素所属テーブルとして使用できる。たとえば、画像積算部106は、基点画素132aに対応する合成画素所属テーブルを60度ずつ回転させることにより基点画素132b、132c、132dのそれぞれに対応する合成画素所属テーブルとして使用すればよい。すなわち、テーブル作成部105は、1つのマイクロレンズ120について1つの合成画素所属テーブルを作成すればよい。
(1)1つのマイクロレンズ120に対応する4個の基点画素132a〜132dが、マイクロレンズ120の擬似光軸から偏芯した位置に配置されるものでもよい。図9(a)にこの場合の基点画素132の配置例を示す。この場合、基点画素132a〜132dは、マイクロレンズ120の擬似光軸に対して互いに対称(シンメトリック)となる位置に配置されている。基点画素132が図9(a)に示すように配置されている場合、画像積算部106は、1つの基点画素132に対応する合成画素所属テーブルを他の3つの基点画素132に対応する合成画素所属テーブルとして使用できる。たとえば、画像積算部106は、基点画素132aに対応する合成画素所属テーブルを60度ずつ回転させることにより基点画素132b、132c、132dのそれぞれに対応する合成画素所属テーブルとして使用すればよい。すなわち、テーブル作成部105は、1つのマイクロレンズ120について1つの合成画素所属テーブルを作成すればよい。
(2)マイクロレンズ120のxy平面における形状が六角形のハニカム構造であるものに代えて、たとえば正方形のような矩形形状でもよい。図9(b)にこの場合のマイクロレンズ120と基点画素132の配置例を示す。この場合についても、テーブル作成部105は、実施の形態と同様の手法により4つの基点画素132a〜132dに対応する合成画素所属テーブルを作成し、画像積算部106は合成画素所属テーブルを参照しながら合成画像データを生成する。ただし、マイクロレンズ120がハニカム構造を有する場合とは異なり、合成画像データの水平方向と垂直方向の比率が1であるので、画像正規化部107による処理を行う必要はない。
(3)本実施の形態では、4つの基点画素132について合成画素所属テーブルを作成するものとしたが、n個(nは1以上の整数)であってもよい。たとえば、基点マイクロレンズ120に対応する画素配列130に16個の基点画素132が含まれる場合、すなわちマイクロレンズ120の配列に対して16倍の解像度の合成画像データを生成する場合には、テーブル生成部105は16種類の合成画素所属テーブルを作成すればよい。なお、基点マイクロレンズ121に対応する基点画素132の数が1個の場合には、合成画像データの解像度はマイクロレンズ120の配列数と等しくなる。
また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。
12…マイクロレンズアレイ、 120…マイクロレンズ、
121…基点マイクロレンズ、 13…撮像素子、
130…画素配列、 131…撮像画素、
132…基点画素、 101…制御回路、
105…テーブル作成部、 106…画像積算部、
107…画像正規化部、 108…操作部
121…基点マイクロレンズ、 13…撮像素子、
130…画素配列、 131…撮像画素、
132…基点画素、 101…制御回路、
105…テーブル作成部、 106…画像積算部、
107…画像正規化部、 108…操作部
Claims (4)
- 複数のマイクロレンズ毎に複数設けられた受光部の出力データから任意の焦点面に対応する画像を生成する画像生成部を有し、
前記画像生成部は、前記受光部の出力データにおいて、複数のマイクロレンズのうちの第1のマイクロレンズに対応する第1領域内の第1受光部の出力と、前記第1のマイクロレンズの近くに位置する第2のマイクロレンズに対応する第2領域内の第2受光部の出力と、から前記画像を生成し、前記画像は、前記複数のマイクロレンズの数より多くの画素を含んでいる画像処理装置。 - 請求項1に記載の画像処理装置において、
前記第2受光部は、前記焦点面の位置が変わると、前記第2領域内での位置が変わる画像処理装置。 - 請求項1または2に記載の画像処理装置において、
前記第1受光部は、前記第1のマイクロレンズの光軸上に位置している画像処理装置。 - 請求項1から3の何れか一項に記載の画像処理装置において、
前記第1受光部は、前記焦点面の位置にかかわらず、前記第1領域内での位置が変わらない画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018139684A JP2019003665A (ja) | 2018-07-25 | 2018-07-25 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018139684A JP2019003665A (ja) | 2018-07-25 | 2018-07-25 | 画像処理装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016216527A Division JP6376206B2 (ja) | 2016-11-04 | 2016-11-04 | 画像処理装置および撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019003665A true JP2019003665A (ja) | 2019-01-10 |
Family
ID=65006897
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018139684A Pending JP2019003665A (ja) | 2018-07-25 | 2018-07-25 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019003665A (ja) |
-
2018
- 2018-07-25 JP JP2018139684A patent/JP2019003665A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5671842B2 (ja) | 画像処理装置および撮像装置 | |
JP5988790B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム | |
JP2012022307A (ja) | 画像表示装置 | |
JP6376206B2 (ja) | 画像処理装置および撮像装置 | |
JP2013026844A (ja) | 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ | |
JP2014107631A (ja) | 画像生成方法及び装置 | |
US20150287208A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP2013145982A (ja) | 撮像装置、画像処理装置及び方法 | |
JP6036799B2 (ja) | 画像処理装置 | |
US10341580B2 (en) | Image processing device configured to correct an image so as to decrease output data | |
JPWO2017126242A1 (ja) | 撮像装置、及び、画像データ生成方法 | |
JP2019003665A (ja) | 画像処理装置 | |
JP2013179424A (ja) | 画像処理装置 | |
JP2018129682A (ja) | 撮像装置およびその制御方法 | |
JP6195371B2 (ja) | 撮像装置、制御方法およびプログラム | |
JP6628617B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6491539B2 (ja) | 撮像装置及びその制御方法、システムならびにプログラム | |
JP2016001326A (ja) | 画像表示装置 | |
JP2015220600A (ja) | 撮像装置、駆動制御装置、制御方法及びプログラム | |
JP2015154112A (ja) | 画像処理装置、その制御方法およびプログラム | |
JP2015111776A (ja) | 撮像システム及び撮像システムの駆動方法 | |
JP2015025960A (ja) | 焦点検出システム、焦点検出方法およびプログラム、並びに撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180727 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190716 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200225 |