JP2017011364A - 画像撮像装置、画像撮像方法及びコンピュータプログラム - Google Patents

Abstract

【課題】ダイナミックレンジがより広い画像を、より簡易な装置によって生成することを可能とすること。
【解決手段】同一の被写体が撮像された複数の要素画像を有するライトフィールド画像を画像撮像部が撮像し、要素画像毎に、その要素画像において輝度値が偏ってしまっている領域の画素であることを示す条件を満たす補正対象画素を検出し、補正対象画素とは異なる要素画像に含まれる画素であって、補正対象画素に写っている被写体と同じ被写体が写っている画素である代替画素を、補正対象画素毎に１又は複数取得し、補正対象画素の輝度値を、代替画素の輝度値に基づいて補正する。画像撮像部は、メインレンズ及びマイクロレンズを含む光学系において２種以上の透過率の光学系と、受光部と、を有している。
【選択図】図１

Description

本発明は、画像を補正する技術に関する。

デジタルカメラの撮像素子は、メインレンズによって結像される像を記録する。撮像素子が各画素において一度に受光できる光量の範囲は予め決まっている。そのため、撮像素子が取得できる範囲を超えた光量が撮像素子に入光した場合、生成される画像の一部の輝度値がオーバーフローしてしまう。このような現象は“白とび”と呼ばれる。色深度が符号なし８ビットの画像では、白とびが発生した画素の輝度値は最大値の２５５になってしまう。本来なら２５５以上の値で表されるべき画像の情報が、全て２５５になってしまうために表現できなくなってしまう。逆に、極端に少ない光量しか撮像素子に入光しない場合、生成される画像の一部の輝度値がゼロとなってしまう。このような現象は“黒潰れ”と呼ばれる。
このように、撮像素子が一度に取得できる光量には、予め定められた範囲がある。このことが、ダイナミックレンジの広い画像を取得する際の妨げとなっている。ダイナミックレンジを広くした画像を取得するための方法として、非特許文献１に記載された技術や、非特許文献２に記載された技術がある。

Fattal, Raanan, Dani Lischinski, and Michael Werman. "Gradient domain high dynamic range compression." ACM Transactions on Graphics (TOG). Vol. 21. No. 3. ACM, 2002. 宇田早織，坂上文彦，佐藤淳，"可変露光カメラを用いたHDR画像生成"第17回 画像の認識・理解シンポジウム（MIRU2014）,SS1-31

しかしながら、非特許文献１に記載された技術では、一つのシーンに対してレンズ絞りを変えながら複数枚の撮像を行う必要がある。そのため、動的なシーンに用いることができないという問題があった。
また、非特許文献２に記載された技術では、ＬＣｏＳを用いた可変露光カメラによって、画素単位で露光を制御することが可能となっている。そのため、ダイナミックレンジがより広い画像（ＨＤＲ：High Dynamic Range）画像を一度の撮像で生成することが可能である。しかしながら、カメラではない特殊なデバイスを用いる必要があるため、利便性に欠ける。
上記事情に鑑み、本発明は、ダイナミックレンジがより広い画像を、より簡易な装置によって生成することを可能とする技術の提供を目的とする。

本発明の一態様は、同一の被写体が撮像された複数の要素画像を有するライトフィールド画像を撮像する画像撮像部と、前記要素画像毎に、その要素画像において輝度値が偏ってしまっている領域の画素であることを示す条件を満たす補正対象画素を検出する補正対象画素検出部と、前記補正対象画素とは異なる要素画像に含まれる画素であって、前記補正対象画素に写っている被写体と同じ被写体が写っている画素である代替画素を、前記補正対象画素毎に１又は複数取得する代替画素取得部と、前記補正対象画素の輝度値を、前記代替画素の輝度値に基づいて補正する補正部と、を備え、前記画像撮像部は、メインレンズ及びマイクロレンズを含む光学系において２種以上の透過率の光学系と、受光部と、を有している、画像撮像装置である。

本発明の一態様は、上記の画像撮像装置であって、前記画像撮像部は、２種以上の透過率の光学系として、透過率が異なる２種以上のマイクロレンズを備える。

本発明の一態様は、上記の画像撮像装置であって、前記画像撮像部は、２種以上の透過率の光学系として、透過率を変更可能な複数のマスクユニットを、前記メインレンズと前記受光部との間に有している。

本発明の一態様は、上記の画像撮像装置であって、前記代替画素取得部は、前記代替画素のうち、前記条件を満たさない代替画素のみを取得する。

本発明の一態様は、同一の被写体が撮像された複数の要素画像を有するライトフィールド画像を画像撮像部が撮像する画像撮像ステップと、前記要素画像毎に、その要素画像において輝度値が偏ってしまっている領域の画素であることを示す条件を満たす補正対象画素を検出する補正対象画素検出ステップと、前記補正対象画素とは異なる要素画像に含まれる画素であって、前記補正対象画素に写っている被写体と同じ被写体が写っている画素である代替画素を、前記補正対象画素毎に１又は複数取得する代替画素取得ステップと、前記補正対象画素の輝度値を、前記代替画素の輝度値に基づいて補正する補正ステップと、を有し、前記画像撮像部は、メインレンズ及びマイクロレンズを含む光学系において２種以上の透過率の光学系と、受光部と、を有している画像撮像方法である。

本発明の一態様は、上記の画像撮像装置としてコンピュータを機能させるためのコンピュータプログラムである。

本発明により、ダイナミックレンジがより広い画像を、より簡易な装置によって生成することが可能となる。

画像撮像装置の第一実施形態（画像撮像装置１０）の機能構成を示す概略ブロック図である。 第一実施形態の画像撮像部１０１の具体例を示す図である。 平面の被写体モデルを示す図である。 白とびや黒つぶれが生じることなく得られたマイクロレンズ画像の具体例を示す図である。 白とびの補正の具体例を示す図である。 黒潰れの補正の具体例を示す図である。 第一実施形態の画像撮像装置１０の処理の流れを示すフローチャートである。 画像撮像装置の第二実施形態（画像撮像装置１０ａ）の機能構成を示す概略ブロック図である。 第二実施形態の画像撮像部１０１ａの構成を示す図である。 第二実施形態の画像撮像装置１０ａの処理の流れを示すフローチャートである。

[概略]
本実施形態における画像撮像装置は、ライトフィールド画像を撮像する画像撮像部を備える。画像撮像部は、メインレンズ及びマイクロレンズを含む光学系において、２種以上の透過率の光学系を有している。例えば、あるマイクロレンズを通過した光に基づいて撮像された要素画像と、他のマイクロレンズを通過した光に基づいて撮像された要素画像とでは、撮像に際して光が通過した光学系の光の透過率が異なる場合がある。このような画像撮像部によって撮像されたライトフィールド画像を用いることによって、ダイナミックレンジがより広い画像を、より簡易な装置によって生成することが可能となる。以下、本実施形態の画像撮像装置についてより詳細に説明する。

[第一実施形態]
図１は、画像撮像装置の第一実施形態（画像撮像装置１０）の機能構成を示す概略ブロック図である。画像撮像装置１０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備える。画像撮像装置１０のＣＰＵは、画像撮像装置１０のメモリに予め記憶されている画像補正プログラムを実行する。ＣＰＵが画像補正プログラムを実行することによって、画像撮像装置１０は、画像撮像部１０１、マイクロレンズ画像取得部１０２、補正対象画素検出部１０３、代替画素取得部１０４及び補正部１０５を備える装置として機能する。なお、画像撮像装置１０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。画像補正プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。画像補正プログラムは、電気通信回線を介して送信されてもよい。

画像撮像部１０１は、ライトフィールド画像を撮像する。ライトフィールド画像は、同一の被写体を僅かに位置が異なる複数のマイクロレンズを介して撮像された複数の要素画像（以下「マイクロレンズ画像」という。）によって形成される画像である。

図２は、第一実施形態の画像撮像部１０１の具体例を示す図である。第一実施形態の画像撮像部１０１は、メインレンズ２０１、マイクロレンズアレイ２０２及び受光部２０３を備える。メインレンズ２０１は、マイクロレンズアレイ２０２に備えられる個々のマイクロレンズ２０４よりも径が大きいレンズである。メインレンズ２０１は、被写体の表面で反射した光と被写体から発せられた光とを受光部２０３上に結像させる。マイクロレンズアレイ２０２は、複数のマイクロレンズ２０４（例えば２０４−１、２０４−２）を備える。マイクロレンズアレイ２０２に備えられるマイクロレンズ２０４の透過率の値には、２種類以上の値がある。すなわち、マイクロレンズアレイ２０２に備えられるマイクロレンズ２０４には、ａという値の透過率を有するマイクロレンズ２０４−１と、ａとは異なるｂという値の透過率を有するマイクロレンズ２０４−２とがある。例えば、マイクロレンズ２０４は、縦方向又は横方向に隣接する他のマイクロレンズ２０４と異なる透過率を有するように配置されてもよい。例えば、マイクロレンズ２０４は、縦方向及び横方向に隣接する他のマイクロレンズ２０４と異なる透過率を有するように配置されてもよい。なお、透過率の種類は２種類以上であればいくつであってもよい。受光部２０３は、マイクロレンズアレイ２０２を介してメインレンズ２０１によって結像された光の像を撮影する。受光部２０３には、画素に応じた複数の撮像素子が配置されている。受光部２０３によって撮像された画像は、ライトフィールド画像として出力される。

マイクロレンズ画像取得部１０２は、画像撮像部１０１によって入力されたライトフィールド画像から、複数のマイクロレンズ画像を取得する。マイクロレンズ画像取得部１０２は、取得されたマイクロレンズ画像毎に独立した画像座標系を設定する。

補正対象画素検出部１０３は、各マイクロレンズ画像の各画素において、輝度値が補正対象となる所定の条件を満たしているか否か判定する。所定の条件とは、ダイナミックレンジの影響により、そのマイクロレンズ画像において輝度値が偏ってしまっている領域の画素であることを示す条件である。所定の条件は、例えば、白とびと呼ばれる現象が生じていることを示す条件や、黒潰れと呼ばれる現象が生じていることを示す条件である。

より具体的には、所定の条件は、例えば各画素の輝度値が第１閾値以上の値又は第２閾値以下の値であることである。この場合、第１閾値は第２閾値よりも大きい値である。画素の輝度値が例えば０〜２５５の値を取り得る場合、第１閾値は“２５０”、第２閾値は“５”であってもよい。第１閾値及び第２閾値は動的に変化してもよい。例えばマイクロレンズ画像毎に輝度値の統計値（例えば偏差）に基づいて輝度値が偏っていると認められる領域の輝度値が閾値として設定されてもよい。

所定の条件の他の具体例として、周波数成分に関する条件がある。例えば、マイクロレンズ画像において周波数成分が所定の閾値よりも低い領域の画素であることが所定の条件であってもよい。このように周波数成分が低い領域は、白とび又は黒潰れによって輝度変化の乏しい領域になっている可能性があるためである。

補正対象画素検出部１０３は、所定の条件を満たした画素を、補正対象画素として検出する。補正対象画素検出部１０３は、このように補正対象画素を検出する処理を、全てのマイクロレンズ画像に対して実行する。

代替画素取得部１０４は、補正対象画素検出部１０３によって検出された補正対象画素毎に、１又は複数の代替画素を取得する。代替画素は、補正対象画素とは異なるマイクロレンズ画像に含まれる画素であって、補正対象画素に写っている被写体と同じ被写体が写っている画素である。ライトフィールド画像では、各マイクロレンズ画像は、近隣に配置された他のマイクロレンズ画像との間で、互いに重複した範囲の被写体の画像を有している。そのため、複数のマイクロレンズ画像についてステレオマッチングを行うことによって、同一の被写体が写っている画素（以下「代替画素」という。）を示す情報を取得することが可能である。なお、ステレオマッチング処理にはどのような手法が適用されてもよい。ステレオマッチングに用いられる対応評価指標は、輝度の変化に頑健なNomalized Cross Correlation（ＮＣＣ）であってもよいし、これに類する他の方法であってもよい。

なお、厳密には各代替画素にはそれぞれ異なる方向の光線が集光している。しかしながら、各マイクロレンズ画像は非常に密に配置されているため、各マイクロレンズ画像の代替画素に関する光線はほぼ同一であると仮定できる。そのため、もしも同一の透過率をもつレンズを介した場合、各代替画素は同じ輝度値を持つと仮定できる。

補正部１０５は、補正対象画素の輝度値を代替画素の輝度値に基づいて補正する。例えば、補正部１０５は、補正対象画素の輝度値を、代替画素の輝度値に置き換えることによって補正してもよい。例えば、補正部１０５は、補正対象画素の輝度値を以下のような式１に基づいて補正してもよい。

Ｐ＝Ｐ１×ａ＋Ｐ２×ｂ ・・・（式１）
ａ＋ｂ＝１ ・・・（式２）
Ｐ：補正後の輝度値
Ｐ１：補正対象画素の補正前の輝度値
Ｐ２：代替画素の輝度値
ａ：補正対象画素の輝度値に対する重み
ｂ：代替画素の輝度値に対する重み

このような処理によって、ダイナミックレンジが適切ではないために白とび又は黒潰れしてしまった画素の輝度値が、より適切なダイナミックレンジで取得された輝度値に補正される。補正部１０５は、補正対象画素検出部１０３によって検出された全ての補正対象画素に対して補正処理を行うことによって、ライトフィールド画像に対してＨＤＲ処理を実行する。

補正部１０５が実行する補正処理に関してさらに説明する。画像撮像部１０１によって撮像が行われる際、複数種の透過率のマイクロレンズによるマイクロレンズ画像が撮像される。そのため、例えばあるマイクロレンズ画像において被写体が白とびにより観測されていないとしても、異なる透過率を有するマイクロレンズの画像では、同じ被写体が観測されている場合がある。そのため、あるマイクロレンズ画像において白とびが発生していたとしても、代替画素が他のマイクロレンズ画像の画素として検出されていれば、白とびしていない画素の輝度値を用いて補正できる。

図３〜図６は、補正処理の具体例を示す図である。図３は、平面の被写体モデルを示す。図４は、白とびや黒つぶれが生じることなく得られたマイクロレンズ画像の具体例を示す図である。図５は、白とびの補正の具体例を示す図である。図６は、黒潰れの補正の具体例を示す図である。

図４には、２つのマイクロレンズ画像２０（２０−１及び２０−２）が示されている。マイクロレンズ画像２０−１には、被写体モデルのうち“あいう”が写っている。マイクロレンズ画像２０−２には、被写体モデルのうち“あいう”と“え”の一部が写っている。マイクロレンズ画像２０−１の画素２１１には、文字“あ”の左上部分が写っている。マイクロレンズ画像２０−２において、マイクロレンズ画像２０−１の画素２１１に写っている被写体と同じ被写体が写っている画素は、画素２１２である。そのため、もしマイクロレンズ画像２０−１の画素２１１が補正対象画素であった場合、マイクロレンズ画像２０−２の画素２１２は代替画素の一つである。実際には、画素２１１に写っている被写体と同じ被写体が写っている画素を有するマイクロレンズ画像２０は３つ以上存在する場合もある。そのため、代替画素は一つとは限られない。

図５には、２つのマイクロレンズ画像２０（２０−３及び２０−４）が示されている。マイクロレンズ画像２０−３は、被写体モデルとマイクロレンズとの相対的な位置関係が図４におけるマイクロレンズ画像２０−１と同じである。マイクロレンズ画像２０−４は、被写体モデルとマイクロレンズとの相対的な位置関係が図４におけるマイクロレンズ画像２０−２と同じである。そのため、マイクロレンズ画像２０−３には、被写体モデルのうち“あいう”が本来なら写っているはずである。同様に、マイクロレンズ画像２０−４には、被写体モデルのうち“あいう”と“え”の一部が本来なら写っているはずである。しかしながら、マイクロレンズ画像２０−３が撮影された際に光が通過したマイクロレンズ２０４の透過率は、マイクロレンズ画像２０−４が撮影された際に光が通過したマイクロレンズ２０４の透過率よりも高い。そのため、マイクロレンズ画像２０−３は、マイクロレンズ画像２０−４よりも明るい画像として生成されている。その結果、マイクロレンズ画像２０−３では“あ”が白とびにより写っていないのに対し、マイクロレンズ画像２０−４では“あ”が白とびすることなく写っている。そのため、マイクロレンズ画像２０−３において“あ”が表されているべき領域２２１の画素（補正対象画素）を、マイクロレンズ画像２０−４において“あ”が表されている領域２２２の画素（代替画素）を用いて補正することによって、マイクロレンズ画像２０−３において“あ”の文字を復元することができる。

図６には、２つのマイクロレンズ画像２０（２０−５及び２０−６）が示されている。マイクロレンズ画像２０−５は、被写体モデルとマイクロレンズとの相対的な位置関係が図４におけるマイクロレンズ画像２０−１と同じである。マイクロレンズ画像２０−６は、被写体モデルとマイクロレンズとの相対的な位置関係が図４におけるマイクロレンズ画像２０−２と同じである。そのため、マイクロレンズ画像２０−５には、被写体モデルのうち“あいう”が本来なら写っているはずである。同様に、マイクロレンズ画像２０−６には、被写体モデルのうち“あいう”と“え”の一部が本来なら写っているはずである。しかしながら、マイクロレンズ画像２０−５が撮影された際に光が通過したマイクロレンズ２０４の透過率は、マイクロレンズ画像２０−６が撮影された際に光が通過したマイクロレンズ２０４の透過率よりも低い。そのため、マイクロレンズ画像２０−５は、マイクロレンズ画像２０−６よりも暗い画像として生成されている。その結果、マイクロレンズ画像２０−５では“う”が黒潰れにより写っていないのに対し、マイクロレンズ画像２０−６では“う”が黒潰れすることなく写っている。そのため、マイクロレンズ画像２０−５において“う”が表されているべき領域２３１の画素（補正対象画素）を、マイクロレンズ画像２０−６において“う”が表されている領域２３２の画素（代替画素）を用いて補正することによって、マイクロレンズ画像２０−５において“う”の文字を復元することができる。

なお、本実施形態では単純な輝度値の置き換えなどの補正によってハイダイナミックレンジ画像を生成しているが、トーンマッピング等のヒストグラムを用いる方法によってハイダイナミックレンジ画像が生成されてもよい。

図７は、第一実施形態の画像撮像装置１０の処理の流れを示すフローチャートである。まず、画像撮像部１０１がライトフィールド画像を撮像する（ステップＳ１０１）。次に、マイクロレンズ画像取得部１０２は、画像撮像部１０１によって撮像された処理対象となるライトフィールド画像から、処理対象となるマイクロレンズ画像を抽出する（ステップＳ１０２）。次に、補正対象画素検出部１０３は、処理対象となるマイクロレンズ画像に含まれる画素の中から、補正対象画素を検出する（ステップＳ１０３）。次に、代替画素取得部１０４は、補正対象画素検出部１０３によって検出された補正対象画素毎に１又は複数の代替画素を検出する（ステップＳ１０４）。補正部１０５は、補正対象画素の輝度値を、代替画素の輝度値に基づいて補正することによってＨＤＲ処理を実行する（ステップＳ１０５）。補正部１０５は、補正処理が行われたライトフィールド画像を出力する。

このように構成された画像撮像装置１０では、ダイナミックレンジがより広い画像をより簡易な装置によって生成することが可能となる。このような効果について詳細に説明する。

画像撮像装置１０では、一度の撮像で生成された一枚のライトフィールド画像を用いてＨＤＲ処理を実行することができる。そのため、動的なシーンが撮影されたライトフィールド画像に対してもＨＤＲ処理を実行することが可能である。

また、画像撮像装置１０では、ＬＣｏＳ等の特殊な装置を必要としない。

また、画像撮像装置１０による撮像及び補正が行われたライトフィールド画像を用いて再構築画像を生成することによって、ダイナミックレンジがより広い画像を簡易な装置によって生成することが可能となる。すなわち、補正処理が行われたライトフィールド画像を用いて再構築画像を生成する際には、特殊な装置は必要ではなく、ライトフィールド画像から再構築画像を生成できる通常の装置があればよい。なお、再構築画像とは、１つの撮像用レンズ（メインレンズ）によって結像された場合の被写体を表す画像である。

（変形例）
補正部１０５は、ケラレ効果を利用して補正処理を実行してもよい。この場合、補正部１０５は、画像撮像装置１０固有のケラレパラメータを予め記憶している。ケラレパラメータは、例えばケラレキャリブレーションを行うことによって、予め取得される。ケラレキャリブレーションでは、プレノプティックカメラによる被写体の撮影が行われる前に、白い紙や壁などの輝度が均一のものが撮影される。このような処理によって、プレノプティックカメラ毎に固有であるケラレのパラメータが事前に推定される。補正部１０５は、補正処理が行われるよりも前の時点で、ケラレパラメータを記憶している。

補正部１０５は、補正処理を行う際に、代替画素の輝度値に対してケラレパラ-メタに基づいて得られる重み（スケール）をかけあわせてもよい。このように構成されることによって、より自然な輝度値を有したライトフィールド画像を生成することが可能となる。

代替画素取得部１０４は、補正対象画素とは異なる要素画像に含まれる画素であって、補正対象画素に写っている被写体と同じ被写体が写っている画素のうち、補正対象画素の条件を満たさない画素のみを取得してもよい。このように構成されることによって、白とびや黒潰れが生じている画素を代替画素として取得することを抑止できる。そのため、被写体がより明確に写っている代替画素のみに基づいて補正を行うことによってより質の高いハイダイナミックレンジ画像を取得する事が可能となる。

[第二実施形態]
図８は、画像撮像装置の第二実施形態（画像撮像装置１０ａ）の機能構成を示す概略ブロック図である。画像撮像装置１０ａは、画像撮像部１０１に代えて画像撮像部１０１ａを備える点、マスク制御部１１１をさらに備える点、において第一実施形態の画像撮像装置１０と異なる。画像撮像装置１０ａの残る構成は、第一実施形態の画像撮像装置１０と同じである。

図９は、第二実施形態の画像撮像部１０１ａの構成を示す図である。第二実施形態の画像撮像部１０１ａは、マスクアレイ２０５を備える点で第一実施形態の画像撮像部１０１と異なる。マスクアレイ２０５は、メインレンズ２０１とマイクロレンズアレイ２０２との間に設けられる。マスクアレイ２０５は、複数のマスクユニット２０６を備える。各マスクユニット２０６は、自身の透過率を変化させることが可能である。例えば、マスクユニット２０６は、液晶シャッターを用いて構成されてもよい。各マスクユニット２０６は、１又は複数のマイクロレンズ２０４に対応付けて配置される。マスクユニット２０６が透過率を変化させることにより、そのマスクユニット２０６に対応付けられたマイクロレンズ２０４に到達する光の量が変化する。

マスク制御部１１１は、マスクユニット２０６毎に、その透過率の値を制御する。以下、マスク制御部１１１が行う処理の具体例について説明する。

（第一手法）
マスク制御部１１１は、マスクユニット２０６に対応付けられたマイクロレンズ画像に関して、マスクユニット２０６が取りうる各透過率での補正対象画素の総数を判定する。マスク制御部１１１は、最も補正対象画素の数が少ない透過率を、処理対象となっているマスクユニット２０６の透過率として決定する。

（第二手法）
マスク制御部１１１は、マスクユニット２０６に対応付けられたマイクロレンズ画像に関して、他のマイクロレンズ画像に対する代替画素を検出する。マスク制御部１１１は、マスクユニット２０６が取りうる各透過率において、所定の条件を満たさない代替画素の総数を判定する。マスク制御部１１１は、所定の条件を満たさない代替画素の総数が最も少ない透過率を、処理対象となっているマスクユニット２０６の透過率として決定する。マスク制御部１１１は、このような処理を全てのマスクユニット２０６について実行する。マスク制御部１１１は、少なくとも１回以上このような処理を実行することによって透過率を決定する。マスク制御部１１１は、このような処理を所定の回数繰り返し実行した時点の透過率を最終的な透過率として決定してもよい。
以上で、マスク制御部１１１が行う処理の具体例についての説明を終える。

図１０は、第二実施形態の画像撮像装置１０ａの処理の流れを示すフローチャートである。まず、マスク制御部１１１が、画像撮像部１０１によって予備撮影された画像に基づいて、マスクアレイ２０５の透過率を制御する（ステップＳ１１０）。その後、画像撮像部１０１ａが、マスクアレイ２０５によって決定された透過率のマスクアレイ２０５を用いてライトフィールド画像を撮像する（ステップＳ１０１）。ステップＳ１０２以降の処理は第一実施形態と同じであるため説明を省く。

このように構成された画像撮像装置１０ａでも、第一実施形態と同様の効果を奏することができる。特に第二実施形態の画像撮像装置１０ａでは、受光部２０３に到達する光の量がマスクアレイ２０５によって動的に変更される。また、マスクアレイ２０５には複数のマスクユニット２０６があり、マスクユニット２０６毎に透過率が変更される。そのため、より適切な輝度値を有したマイクロレンズ画像を取得することが可能となる。その結果、より精度のよいＨＤＲ処理を実行することが可能となる。

（変形例）
マスクアレイは、マイクロレンズアレイと受光部との間に設けられてもよい。この場合、マスクユニットが透過率を変化させることにより、そのマスクユニットに対応付けられたマイクロレンズアレイを通過して受光部に到達する光の量が変化する。

マスクアレイは、一部のマイクロレンズに対応付けられたマスクユニットが存在しないように構成されてもよい。この場合、マスクユニットが存在しない部分に配置されたマイクロレンズには、メインレンズを通過した光がマスクユニットを通過することなく到達する。

第一手法において、透過率を決定する基準は“最も補正対象画素の数が少ない透過率”に限定される必要は無い。例えば、マスク制御部１１１は以下のように動作してもよい。
マスク制御部１１１は、マスクユニット２０６に対応付けられたマイクロレンズ画像に関して、マスクユニット２０６が取り得る各透過率でのマイクロレンズ画像に属する全ての画素の輝度値のヒストグラムを取得する。マスク制御部１１１は、取得されたヒストグラムに基づいて、処理対象となっているマスクユニット２０６の透過率を決定してもよい。例えば、マスク制御部１１１は、ヒストグラムの度数の最大値や偏りが最も中央（輝度値の取り得る値の中央）にくるような透過率を、処理対象となっているマスクユニット２０６の透過率として決定してもよい。
マスク制御部１１１は、マスクユニット２０６に対応付けられたマイクロレンズ画像に関して、マスクユニット２０６が取り得る各透過率でのマイクロレンズ画像に属する全ての画素の輝度値の平均値を取得する。マスク制御部１１１は、平均値が輝度値の中央値（例えば輝度値が０〜２５５である場合には１２８）に最も近づくときの透過率を、処理対象となっているマスクユニット２０６の透過率として決定してもよい。
第二実施形態の画像撮像装置１０ａは、第一実施形態の画像撮像装置１０と同様に変形されてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１０…画像撮像装置， １０１，１０１ａ…画像撮像部， １０２…マイクロレンズ画像取得部， １０３…補正対象画素検出部， １０４…代替画素取得部， １０５…補正部， １１１…マスク制御部， ２０…マイクロレンズ画像， ２０１…メインレンズ， ２０２…マイクロレンズアレイ， ２０３…受光部， ２０４…マイクロレンズ， ２０５…マスクアレイ， ２０６…マスクユニット

Claims (6)

1. 同一の被写体が撮像された複数の要素画像を有するライトフィールド画像を撮像する画像撮像部と、
   前記要素画像毎に、その要素画像において輝度値が偏ってしまっている領域の画素であることを示す条件を満たす補正対象画素を検出する補正対象画素検出部と、
   前記補正対象画素とは異なる要素画像に含まれる画素であって、前記補正対象画素に写っている被写体と同じ被写体が写っている画素である代替画素を、前記補正対象画素毎に１又は複数取得する代替画素取得部と、
   前記補正対象画素の輝度値を、前記代替画素の輝度値に基づいて補正する補正部と、
   を備え、
   前記画像撮像部は、メインレンズ及びマイクロレンズを含む光学系において２種以上の透過率の光学系と、受光部と、を有している、画像撮像装置。
2. 前記画像撮像部は、２種以上の透過率の光学系として、透過率が異なる２種以上のマイクロレンズを備える、請求項１に記載の画像撮像装置。
3. 前記画像撮像部は、２種以上の透過率の光学系として、透過率を変更可能な複数のマスクユニットを、前記メインレンズと前記受光部との間に有している、請求項１に記載の画像撮像装置。
4. 前記代替画素取得部は、前記代替画素のうち、前記条件を満たさない代替画素のみを取得する、請求項１から３のいずれか一項に記載の画像撮像装置。
5. 同一の被写体が撮像された複数の要素画像を有するライトフィールド画像を画像撮像部が撮像する画像撮像ステップと、
   前記要素画像毎に、その要素画像において輝度値が偏ってしまっている領域の画素であることを示す条件を満たす補正対象画素を検出する補正対象画素検出ステップと、
   前記補正対象画素とは異なる要素画像に含まれる画素であって、前記補正対象画素に写っている被写体と同じ被写体が写っている画素である代替画素を、前記補正対象画素毎に１又は複数取得する代替画素取得ステップと、
   前記補正対象画素の輝度値を、前記代替画素の輝度値に基づいて補正する補正ステップと、
   を有し、
   前記画像撮像部は、メインレンズ及びマイクロレンズを含む光学系において２種以上の透過率の光学系と、受光部と、を有している画像撮像方法。
6. 請求項１から４のいずれか一項に記載の画像撮像装置としてコンピュータを機能させるためのコンピュータプログラム。