JP2015080125A - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】不良画素を含む多視点画像を精度よく補正する。【解決手段】画像処理装置１００において、取得部１１０は、被写体を異なる視点から撮像して得られた複数のサブ画像を含む多視点画像における該複数のサブ画像を構成する画素のうち、いずれの画素が不良画素であるかの情報を取得する。特定部１２０は、複数のサブ画像のうちの取得部１１０が取得した情報により特定した不良画素を含むサブ画像とは別のサブ画像を構成する画素のうちから、不良画素が表すべき被写体の部位と同じ部位を表していると推定される画素を、対応画素として特定する。補正部１３０は、特定部１２０が特定した対応画素の画素値に基づいて不良画素の画素値を書き換えることにより、多視点画像を補正する。【選択図】図４

Description

本発明は、画像処理装置、撮像装置、画像処理方法及びプログラムに関する。

複数の異なる視点から被写体を撮像して、被写体の立体的な情報を取得する技術が知られている。異なる視点から被写体を撮像して得られた複数の画像の集合を多視点画像（ライトフィールド画像）と呼ぶ。多視点画像は、従来の撮像装置で得られる２次元の空間情報に加え、被写体から入射した光の向きの情報も有する画像である。通常のデジタルカメラは光学系として主にメインレンズを有するのに対し、ライトフィールドカメラは、複数のマイクロレンズが二次元状に並べられたマイクロレンズアレイをメインレンズと撮像素子との間に有する。

光の向きの情報を用いることにより、多視点画像の取得後に、カメラから任意の距離にある面を再構成することが可能である。例えば、特許文献１は、異なる視点から被写体を撮像して得られた多視点画像から、焦点距離・被写界深度等を変化させた被写体の画像を再構成する技術を開示している。

特表２００８−５１５１１０号公報

撮像素子を構成する画素の中には、被写体の色情報を適切に取得できない不良状態の画素（不良画素）が生じることがある。不良画素として、例えば、常に輝点又は暗点となってしまう画素や、撮像素子の表面に埃等の不純物が付着して画質を低下させる画素等が挙げられる。

不良画素による画質の低下を緩和するために、例えば通常のデジタルカメラにおいて、隣接画素の色情報を用いて不良画素の色情報を補正する方法がある。具体的に説明すると、撮像により得られた画像データにおける不良画素の位置を特定し、不良画素に隣接する画素の色情報を基に不良画素に対応する色情報を作成し、作成した色情報を不良画素に割り振ることにより、不良画素の色情報を補正する。

しかしながら、ライトフィールドカメラが取得する多視点画像では、通常のデジタルカメラの画像に比べ、被写界領域における離れた位置からの光が隣接する画素に照射されるため、隣接画素の色情報が不良画素に照射されるべき色情報から大きくずれる可能性が高くなる。

また、そもそも隣接画素等の周辺画素の色情報は被写界における不良画素に照射されるべき色情報そのものではないため、例えば不良画素が多色の境界に位置している場合、周辺画素の色情報では不良画素の色情報を適切に再現することはできない。そのため、通常のデジタルカメラの画像とは異なる手法で、不良画素を含む多視点画像を精度よく補正することが必要となる。

本発明は、以上のような課題を解決するためのものであり、不良画素を含む多視点画像を精度よく補正するのに好適な画像処理装置、撮像装置、画像処理方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明に係る画像処理装置は、
被写体を異なる視点から撮像して得られた複数のサブ画像を含む多視点画像における該複数のサブ画像を構成する画素のうち、いずれの画素が不良画素であるかの情報を取得する取得部と、
前記複数のサブ画像のうちの前記取得部が取得した前記情報により特定した不良画素を含むサブ画像とは別のサブ画像を構成する画素のうちから、該不良画素が表すべき前記被写体の部位と同じ部位を表していると推定される画素を、対応画素として特定する特定部と、
前記特定部が特定した対応画素の画素値に基づいて前記不良画素の画素値を書き換えることにより、前記多視点画像を補正する補正部と、
を備えることを特徴とする。

本発明によれば、不良画素を含む多視点画像を精度よく補正することができる。

本発明の実施形態１に係る撮像装置の構成例を示すブロック図である。 撮像部の構成例を示す図である。 多視点画像の例を示す図である。 本発明の実施形態１に係る撮像装置の機能構成を示すブロック図である。 （ａ）は、輝点画素を検出する様子を示す図である。（ｂ）は、暗点画素を検出する様子を示す図である。 不良画素の位置情報の例を示す図である。 不良画素を含む多視点画像の例を示す図である。 （ａ）、（ｂ）共に、多視点画像の一部を画素単位で示した図である。 （ａ）は、多視点画像において対応画素の探索領域を限定する様子を示す図である。（ｂ）は、多視点画像において対応領域を特定する様子を示す図である。 本発明の実施形態１に係る画像処理装置が実行する多視点画像の補正処理の流れを示すフローチャートである。 不良画素の対応画素の特定処理の流れを示すフローチャートである。 本発明の実施形態２に係る撮像装置の機能構成を示すブロック図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、図中同一又は相当する部分には同一符号を付す。

（実施形態１）
本発明の実施形態１に係る撮像装置は、図１に示すように構成される。撮像装置１は、撮像部１０と、メインＣＰＵ（Central Processing Unit）２０と、ＤＲＡＭ（Dynamic Random Access Memory）２と、外部記憶メモリ３と、表示コントローラ４と、表示部５と、操作部６と、ストロボ７と、を備える。

撮像部１０は、メインレンズＭＬと、マイクロレンズ（サブレンズ）アレイＳＬＡと、シャッタ１１と、撮像素子１２と、Ａ／Ｄ（Analog/Digital）変換器１３と、を備える。撮像部１０について、図２を参照してより詳細に説明する。

メインレンズＭＬは、一又は複数の凸レンズ、凹レンズ又は非球面レンズ等によって構成される。メインレンズＭＬは、被写体ＯＢ上の点から射出された光束を集光して結像面ＩＰに結像させる。

マイクロレンズアレイＳＬＡは、メインレンズＭＬと撮像素子１２の間に配置され、２次元の格子状に並んだ複数のマイクロレンズ（サブレンズ）ＳＬによって構成される。マイクロレンズアレイＳＬＡは、被写体ＯＢからメインレンズＭＬを介して入射される光束を入射方向に応じて集光して、撮像素子１２上の撮像面ＩＥにサブ画像として結像させる。個々のマイクロレンズＳＬは、互いに同じ大きさの径をもち、同じ間隔で配置されている。

シャッタ１１は、撮像素子１２への外部光の入射と遮蔽を制御する。また、絞り１４は、メインレンズＭＬに入射する光の量を制御する。

撮像素子１２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等によって構成され、マイクロレンズアレイＳＬＡによって投影された被写体ＯＢの光学像を電圧情報に変換してＡ／Ｄ変換器１３に送る。Ａ／Ｄ変換器１３は、撮像素子１２から電圧情報として送られた被写体ＯＢの画像データをデジタル情報に変換して、ＤＲＡＭ２に保存する。

撮像素子１２によって得られる画像は、複数のマイクロレンズＳＬにより結像された複数のサブ画像によって構成される。この複数のサブ画像のそれぞれは、１つの被写体を複数の異なる視点から見た様子を表すため、複数のサブ画像の集合を多視点画像（ライトフィールド画像）と呼ばれる。多視点画像の一例として、図３に、ブロック状の被写体ＯＢを撮像して得られた多視点画像を示す。

この多視点画像ＬＦＩ１は、格子状に配置された（Ｍ×Ｎ）個のマイクロレンズＳＬのそれぞれに対応するサブ画像Ｓ（１，１）〜Ｓ（Ｍ，Ｎ）によって構成される。例えば、左上のサブ画像Ｓ（１，１）は、被写体ＯＢを左上から撮像した画像に相当し、右下のサブ画像Ｓ（Ｍ，Ｎ）は、被写体ＯＢを右下から撮像した画像に相当する。撮像部１０は、このような被写体ＯＢを異なる視点から撮像して得られた複数のサブ画像Ｓ（１，１）〜Ｓ（Ｍ，Ｎ）を含む多視点画像ＬＦＩ１を、メインレンズＭＬと複数のマイクロレンズＳＬとを用いて被写体ＯＢを撮像することにより、取得する。

図１に示す撮像装置１の説明に戻って、外部記憶メモリ３は、撮像装置１の外部の機器とデータをやり取りするための記憶媒体である。

表示部５は、例えば液晶表示装置や有機ＥＬ（Electro Luminescence）ディスプレイ等によって構成される。表示部５は、表示コントローラ４による制御のもと、撮像装置１によって撮像した画像データや撮像装置１の状態を示すデータ等を表示する。

操作部６は、シャッタボタンや撮像装置１のモード切り替えのためのボタン等のような各種の操作ボタンによって構成され、ユーザからの操作指示を受け付ける。操作部６は、受け付けた操作指示の情報をメインＣＰＵ２０に伝達する。

メインＣＰＵ２０は、ＣＰＵコア２１と、シャッタ制御部２２と、受光制御部２３と、不良画素検出部２４と、フラッシュメモリ２５と、画像処理装置１００と、を備える。メインＣＰＵ２０は、ＣＰＵコア２１を用いて各種の演算処理を実行することにより、撮像装置１全体の動作を制御する。

シャッタ制御部２２と受光制御部２３とは、シャッタスピードや撮像素子１２の感度、ストロボ７の光量等のような撮像部１０による撮像時の各種パラメータを制御する。具体的には、シャッタ制御部２２はシャッタ１１を制御し、受光制御部２３は撮像素子１２とＡ／Ｄ変換器１３とストロボ７とを制御する。

メインＣＰＵ２０は、予め記憶された制御プログラムを読み出して、撮像装置１を、図４に示す各部のように機能させる。具体的には、撮像装置１は、撮像部１０、不良画素検出部２４、記憶部２５１、取得部１１０、特定部１２０、補正部１３０、再構成部１４０、及び出力部３０として機能する。このうち、特に画像処理装置１００は、取得部１１０、特定部１２０、補正部１３０、及び再構成部１４０として機能する。

これらの機能により、撮像装置１は、以下の（１）及び（２）の処理を実行する。以下、撮像装置１の各部の機能によって実行される（１）及び（２）の処理について、図面を参照しながら説明する。
（１）多視点画像内にある不良画素の位置を特定する処理
（２）特定した不良画素の色情報を補正する処理

第１に、（１）多視点画像内にある不良画素の位置を特定する処理について、説明する。この処理は、撮像装置１が実行する通常の撮像処理とは異なる専用の駆動モードで実行される。以下、不良画素の位置を特定する処理を、撮像装置１の製造時又は工場出荷時の製品調整段階において実行することを例として説明するが、一般的なユーザのもとで実行することも可能である。

不良画素とは、常に輝点（白色）となる画素（輝点画素）、常に暗点（黒色）となる画素（暗点画素）等、画像データにおいて異常な色情報を有する画素である。不良画素は、例えば、配線のショートや断線により撮像素子１２が部分的に欠損すること等を原因として発生する。また、撮像素子１２自体は正常であるが撮像素子１２の表面に埃等の不純物が付着して、不純物の影が画像データに写り込んでしまうことによっても発生する。その他にも、不良画素は、各種フィルタ（ローパスフィルタ等）の汚れやレンズ上の汚れや埃等によっても発生しうる。

製造時において図１に示した構成を備えた撮像装置１が組み立て終わり、制御用のプログラムがメインＣＰＵ２０に書き込まれた段階で、不良画素検出部２４は、撮像部１０の撮像により得られた多視点画像を構成する画素のうちから不良画素を検出する。そして、フラッシュメモリ２５は、記憶部２５１として機能し、不良画素検出部２４により検出された不良画素の位置情報を記憶する。より具体的には、不良画素検出部２４の処理は、輝点画素検出部２４１の処理と、暗点画素検出部２４２の処理と、に分けられる。

輝点画素検出部２４１は、不良画素として、撮像部１０のシャッタ１１を閉じた状態での撮像により得られた多視点画像を構成する画素のうちから輝点画素を検出する。輝点画素を検出するため、オペレータは、例えば図５（ａ）に示すように、撮像装置１のシャッタ１１を閉じた状態で撮像を行う。撮像により得られた画像データは、ＤＲＡＭ２に一時的に保存される。

シャッタ１１を閉じた状態では撮像部１０内への入射光が遮られているため、撮像により取得した画像データ内の正常な画素には「０（黒）」の色情報が記録される。一方、この状態においても輝点となってしまう画素、すなわち黒でない色情報を有する画素（輝点画素）が存在することがある。輝点画素検出部２４１は、このような輝点画素を、画像データを構成する画素の中から各画素の色情報に基づいて検出する。そして、検出した輝点画素の座標値を記憶部２５１に記憶する。

なお、不要な光が撮像部１０内に入射しないようにするため、撮像素子１２に入射する光をシャッタ１１で遮断することに加え、メインレンズＭＬを遮光幕等で覆うことが望ましい。また、シャッタ１１や遮光幕により撮像素子１２に照射される光が遮断されたとしても、暗電流等により正常な画素であっても画素値が０にならないことがある。そのため、撮像素子１２内に溜まった不要電荷を掃き出した直後に露光面の電荷を読み出すことで、電荷の読み出しまでに溜まる電荷を極力小さくすることが望ましい。このような工夫により、より精度よく輝点画素を検出することが可能になる。

暗点画素検出部２４２は、不良画素として、撮像部１０に所定の面光源からの光を照射した状態での撮像により得られた多視点画像を構成する画素のうちから暗点画素を検出する。暗点画素を検出するため、オペレータは、例えば図５（ｂ）に示すように、所定の面光源として機能する輝度箱ＬＢの前に撮像装置１を設置し、画角全体に輝度面が投影される状態で撮像を行う。撮像により得られた画像データは、ＤＲＡＭ２に一時的に保存される。

輝度箱ＬＢは、内部に輝度が安定した光源（キセノンランプ、ハロゲンランプ等）を有する検査・校正用の面光源装置である。輝度箱ＬＢの輝度面の前に撮像装置１を設置すると、一定の安定した光がメインレンズＭＬに入射する。

この状態で取得した画像データの色情報は、レンズの鏡筒でケラレが発生している領域では「０（黒）」に近くなり、ケラレが発生していない領域では輝度箱ＬＢから照射された光の色情報になる。このとき、撮像により得られた画像データの中には、輝度箱ＬＢからの光を受光すべき位置にあるにも拘わらず黒色になってしまう等、想定通りの輝度が確保できない画素（暗点画素）が存在することがある。暗点画素検出部２４２は、このような暗点画素を、画像データを構成する画素の中から各画素の色情報に基づいて検出する。そして、検出した暗点画素の座標値を記憶部２５１に記憶する。

なお、画像データにおける輝度箱ＬＢから受けた光の色情報は、絞り１４を固定したとしても、輝度面の輝度と、露光時間と、撮像素子１２の感度と、に依存した量となり、さらにメインレンズＭＬと各マイクロレンズＳＬとの周辺減光（シェーディング）の影響を受ける。そのため、暗点画素の検出の際に各画素が白つぶれしないように、輝度面の輝度と、露光時間と、撮像素子１２の感度と、を調整しておくことが望ましい。

以上のように検出した不良画素の情報は、例えば図６に示すように、検出した不良画素のそれぞれに、輝点画素か暗点画素かの分類と、多視点画像における座標値と、その座標値に対応するサブ画像と、を対応付けて、記憶部２５１に記憶される。

第２に、（２）特定した不良画素の色情報を補正する処理について、説明する。この処理は、ユーザが撮像装置１を用いて被写体を撮像して得られた多視点画像に対して、撮像装置１内部の画像処理装置１００によって実行される。以下、不良画素の色情報を補正する処理を、撮像装置１が被写体を撮像した直後に実行することを例として説明するが、多視点画像から所望の焦点距離で撮像した画像を再構成するとき等、事後的に実行することも可能である。

ユーザが撮像装置１を所望の被写体に向けてシャッタボタンを押すと、撮像処理が実行される。このとき、メインＣＰＵ２０に記憶された制御プログラムにより、ハーフシャッタ時に測光処理等が行われて、撮像素子１２の感度やシャッタスピード等が決定される。

撮像処理が実行されると、メインレンズＭＬ及びマイクロレンズアレイＳＬＡを通過した被写体の光学情報は、撮像素子１２で電圧情報に変換され、さらにＡ／Ｄ変換器１３でデジタル情報に変換されて、画像データとしてＤＲＡＭ２に保存される。この画像データは、被写体を異なる視点から撮像して得られた複数のサブ画像を含む多視点画像の画像データである。画像処理装置１００は、ＤＲＡＭ２から被写体の多視点画像の画像データを取得する。

画像処理装置１００において、被写体の多視点画像を取得すると、取得部１１０は、この多視点画像における複数のサブ画像を構成する画素のうち、いずれの画素が不良画素であるかの情報を取得する。具体的には、取得部１１０は、いずれの画素が不良画素であるかの情報として、記憶部２５１に記憶された不良画素の位置情報を取得する。

特定部１２０は、多視点画像に含まれる複数のサブ画像のうちの取得部１１０が取得した情報に示される不良画素を含むサブ画像とは別のサブ画像を構成する画素のうちから、この不良画素の対応画素を特定する。不良画素の対応画素とは、この不良画素が表すべき被写体の部位と同じ部位を表していると推定される画素、すなわち不良画素が正常な画素であったなら有していたはずの被写体の部位の色情報を有していると考えられる画素である。

特定部１２０の処理は、領域設定部１２１と、領域特定部１２２と、算出部１２３と、画素特定部１２４と、の各処理に分けられる。特定部１２０による対応画素の特定処理の詳細について、具体的に図７〜図９を参照して説明する。

図７は、不純物の影が写り込むことにより、サブ画像Ｓ（ｍ，ｎ）内に不良画素５０を含んだ多視点画像ＬＦＩ２を示している。このような不良画素５０を含む多視点画像ＬＦＩ２に対し、領域設定部１２１は、取得部１１０が取得した位置情報に基づいて不良画素５０の位置を特定する。そして、領域設定部１２１は、不良画素５０を含むサブ画像Ｓ（ｍ，ｎ）内の領域のうち、この不良画素５０を含む所定の形状の領域を、比較対象領域５１として設定する。

図８に、多視点画像ＬＦＩ２の一部を拡大して、画素単位で示す。１つの格子は１つの画素を表し、格子内の数字は画素値を表す。理解を容易にするために、多視点画像に含まれる各画素の色情報は１つの画素値で表される、すなわち各画像データはグレースケールであるとして説明する。

領域設定部１２１は、例えば図８（ａ）に示すように「３画素×２画素」の領域の画素が不良画素５０である場合、この不良画素５０の領域を内包する「５画素×５画素」の大きさの正方形状の領域を、比較対象領域５１として設定する。そして、領域特定部１２２は、不良画素５０を含むサブ画像Ｓ（ｍ，ｎ）とは別のサブ画像内の領域のうちから、領域設定部１２１が設定した比較対象領域５１により表される被写体の部位と同じ部位を表していると推定される領域を、対応領域として特定する。

具体的に説明すると、領域特定部１２２は、対応領域を特定するための別のサブ画像として、多視点画像ＬＦＩ２において不良画素５０を含むサブ画像Ｓ（ｍ，ｎ）と縦方向及び横方向に隣接する４つのサブ画像Ｓ（ｍ−１，ｎ），Ｓ（ｍ，ｎ−１），Ｓ（ｍ＋１，ｎ），Ｓ（ｍ，ｎ＋１）を選択する。

これらの隣接するサブ画像は、マイクロレンズアレイＳＬＡにおいてサブ画像Ｓ（ｍ，ｎ）を撮像したマイクロレンズＳＬに隣接するマイクロレンズＳＬを介して得られている。すなわち、隣接するサブ画像は、これら以外のサブ画像に比べて不良画素５０を含むサブ画像Ｓ（ｍ，ｎ）との視差が小さく、不良画素５０によって失われた被写体の部位の色情報を有している可能性が高い。そのため、領域特定部１２２は、対応領域の探索範囲をこれらのサブ画像に限定する。

対応領域を特定するため、領域特定部１２２は、隣接するサブ画像Ｓ（ｍ−１，ｎ），Ｓ（ｍ，ｎ−１），Ｓ（ｍ＋１，ｎ），Ｓ（ｍ，ｎ＋１）のそれぞれにおいて、対応領域の候補となる比較対象領域５１と同じ形状の複数の比較領域を選択する。比較対象領域５１が「５画素×５画素」の大きさの正方形状の領域である場合には、例えば図８（ｂ）に示す比較領域５２ａ及び比較領域５２ｂのように、領域特定部１２２は、サブ画像Ｓ（ｍ−１，ｎ）内の領域のうちから同じく「５画素×５画素」の大きさの正方形状の領域を順次選択する。

領域特定部１２２が比較領域を選択すると、算出部１２３は、選択した各比較領域について、各比較領域が対応領域であるか否かを判別するための指標を、各比較領域内にある画素の画素値と比較対象領域５１内にある画素の画素値との比較結果に基づいて算出する。そして、領域特定部１２２は、算出部１２３が算出した指標に基づいて、隣接するサブ画像内の領域のうちから対応領域を特定する。

各比較領域が対応領域であるか否かを判別するための指標を算出するために、画像データのパターンマッチングを用いることができる。パターンマッチングの一例として、算出部１２３は、各比較領域内にある複数の画素の画素値と、比較対象領域５１内にある複数の画素の画素値と、の差の２乗和を、算出する。そして、算出部１２３は、算出した値を、各比較領域が対応領域であるか否かを判別するための指標として用いる。

このとき、比較対象領域５１内に含まれている不良画素５０は、指標の算出対象から外す。すなわち、比較対象領域５１と各比較領域とがそれぞれ「５画素×５画素」の２５画素を有し、不良画素５０が「３画素×２画素」の６画素である場合、算出部１２３は、比較対象領域５１内にある不良画素５０を除いた１９画素のそれぞれについて、各比較領域において同じ位置にある画素との画素値の差分を計算し、その２乗和をとる。

このようにして算出された指標は、指標を算出した２つの領域のパターンがマッチしている、すなわち色情報が類似しているほど小さな値になる。そのため、領域特定部１２２は、選択した比較領域の中から算出部１２３が算出した指標がより小さい領域を探索する。そして、領域特定部１２２は、比較領域として選択した領域のうちから算出部１２３が算出した指標が最小となる領域を、比較対象領域５１と同じ被写体の部位を表していると推定される対応領域として特定する。

対応領域を特定すると、画素特定部１２４は、特定した対応領域内にある画素のうち、比較対象領域５１における不良画素５０の位置と対応する位置にある画素を、対応画素として特定する。具体的に図８（ｂ）において、例えば比較領域５２ａが対応領域として特定された場合には、画素特定部１２４は、破線で囲った「３画素×２画素」の領域にある画素値が「５」、「２」、「３」、「８」、「１」、「４」の６画素を、対応画素５３として特定する。

なお、特定部１２０が対応画素５３を探索する範囲は、多視点画像の性質を考慮して限定することができる。例えば、不良画素５０を含むサブ画像Ｓ（ｍ，ｎ）に対して横方向に隣接する２つのサブ画像Ｓ（ｍ−１，ｎ），Ｓ（ｍ＋１，ｎ）では、サブ画像Ｓ（ｍ，ｎ）に対する色情報の縦方向におけるずれは、横方向に比べて小さい。同様に、サブ画像Ｓ（ｍ，ｎ）に対して縦方向に隣接する２つのサブ画像Ｓ（ｍ，ｎ−１），Ｓ（ｍ，ｎ＋１）では、サブ画像Ｓ（ｍ，ｎ）に対する色情報の横方向におけるずれは、縦方向に比べて小さい。

従って、例えば図９（ａ）に示す斜線を付した領域のように、横方向に隣接する２つのサブ画像Ｓ（ｍ−１，ｎ），Ｓ（ｍ＋１，ｎ）では、領域特定部１２２が対応領域を探索する領域を、不良画素５０の位置を基準として横方向に延びた帯状の探索領域５４ａに限定することができる。同様に、縦方向に隣接する２つのサブ画像Ｓ（ｍ，ｎ−１），Ｓ（ｍ，ｎ＋１）では、領域特定部１２２が対応領域を探索する領域を、不良画素５０の位置を基準として縦方向に延びた帯状の探索領域５４ｂに限定することができる。

すなわち、より一般的に説明すると、特定部１２０は、不良画素５０の対応画素を探索する領域として、対応画素を探索する対象となる別のサブ画像内の、不良画素５０を含むサブ画像Ｓ（ｍ，ｎ）における不良画素５０の位置と同じ位置を含む一部の領域であって、且つ、多視点画像ＬＦＩ２において不良画素５０を含むサブ画像Ｓ（ｍ，ｎ）から該別のサブ画像への方向（すなわち不良画素５０を含むサブ画像Ｓ（ｍ，ｎ）と該別のサブ画像との間の視差の方向）と直交する方向に限定した領域を設定する。

そして、このような限定された探索領域の中から領域特定部１２２が対応領域を特定し、画素特定部１２４が対応画素を特定する。このように対応画素を探索する領域をサブ画像内の一部の領域に限定することで、特定部１２０が対応画素５３を特定するために必要な計算量を抑えることができる。

特定部１２０は、以上のような対応画素の特定処理を、サブ画像Ｓ（ｍ，ｎ）に隣接する４つのサブ画像Ｓ（ｍ−１，ｎ），Ｓ（ｍ，ｎ−１），Ｓ（ｍ＋１，ｎ），Ｓ（ｍ，ｎ＋１）のそれぞれについて実行する。その結果、例えば図９（ｂ）に示すように、隣接する４つのサブ画像Ｓ（ｍ−１，ｎ），Ｓ（ｍ，ｎ−１），Ｓ（ｍ＋１，ｎ），Ｓ（ｍ，ｎ＋１）内の４つの対応領域５５ａ〜５５ｄにおいて、４つの対応画素が特定される。

補正部１３０は、特定部１２０が特定した対応画素の画素値に基づいて不良画素５０の画素値を書き換えることにより、多視点画像ＬＦＩ２を補正する。より詳細に説明すると、補正部１３０は、隣接する４つのサブ画像Ｓ（ｍ−１，ｎ），Ｓ（ｍ，ｎ−１），Ｓ（ｍ＋１，ｎ），Ｓ（ｍ，ｎ＋１）のそれぞれについて特定した対応画素の画素値の平均値を計算して、平均値で不良画素５０の画素値を書き換える。これにより、不良画素５０の色情報が補正された多視点画像が生成される。

再構成部１４０は、補正部１３０が補正した多視点画像から、被写体を所望の焦点距離で撮像した画像を再構成する。この再構成処理は、既知の多視点画像の再構成（合成）処理を適用することができる。すなわち、再構成する多視点画像は、不良画素の色情報の補正処理が完了しているため、再構成処理中に不良画素の特定や色情報の作成等の特別な処理を実行する必要がなくなる。

出力部３０は、補正部１３０が補正した多視点画像、又は補正した多視点画像から再構成した後の画像を外部に出力する。例えば、外部記憶メモリ３又は表示部５が、出力部３０として機能する。例えば、出力部３０は、補正した多視点画像又は再構成画像を外部記憶メモリ３に記憶して、外部の機器で処理可能な状態にする。又は、出力部３０は、表示コントローラ４の制御のもと、補正した多視点画像又は再構成画像を表示部５に表示する。

以上のような画像処理装置１００が実行する多視点画像の補正処理の流れについて、図１０及び図１１に示すフローチャートを参照して説明する。

図１０に示すフローチャートの処理は、撮像装置１が被写体を撮像して多視点画像を生成することに応答して、又は、事前に撮像された多視点画像に対する補正の指示を、例えば操作部６を介してユーザから受け付けることに応答して、開始する。

多視点画像の補正処理が始まると、取得部１１０は、撮像装置１により撮像した被写体の多視点画像を取得する（ステップＳ１）。例えば、この補正処理を被写体の撮像直後に実行する場合には、取得部１１０は、ＤＲＡＭ２から多視点画像を取得する。あるいは、この補正処理を事前に撮像された多視点画像に対して実行する場合には、取得部１１０は、外部記憶メモリ３から多視点画像を取得する。

続いて、取得部１１０は、取得した多視点画像に含まれる不良画素の位置情報を取得する（ステップＳ２）。すなわち、取得部１１０は、予め不良画素検出部２４が検出した不良画素の位置情報であって、例えば図６に示したような輝点画素と暗点画素の位置情報を、フラッシュメモリ２５から取得する。

不良画素の位置情報を取得すると、特定部１２０は、取得した位置情報に基づいて特定した不良画素の対応画素を特定する（ステップＳ３）。この対応画素の特定処理の詳細は、図１１に示すフローチャートを参照して説明する。

図１１に示すフローチャートにおいて、領域設定部１２１は、不良画素を含む所定の形状の比較対象領域を設定する（ステップＳ３１）。例えば図８（ａ）に示したように、領域設定部１２１は、「３画素×２画素」の不良画素５０を含むサブ画像Ｓ（ｍ，ｎ）において、この不良画素５０を内包する「５画素×５画素」の領域を、比較対象領域５１として設定する。

比較対象領域を設定すると、特定部１２０は、不良画素を含むサブ画像に隣接するサブ画像を１つ選択する（ステップＳ３２）。そして、特定部１２０は、選択したサブ画像において対応画素の探索領域を設定する（ステップＳ３３）。

例えば図９（ａ）に示した多視点画像ＬＦＩ２において、特定部１２０は、不良画素５０を含むサブ画像Ｓ（ｍ，ｎ）と縦方向及び横方向に隣接する４つのサブ画像Ｓ（ｍ−１，ｎ），Ｓ（ｍ，ｎ−１），Ｓ（ｍ＋１，ｎ），Ｓ（ｍ，ｎ＋１）のうちから１つのサブ画像を選択する。そして、特定部１２０は、選択したサブ画像内の領域をサブ画像Ｓ（ｍ，ｎ）との隣接方向と直交する方向に限定した帯状の探索領域５４ａ，５４ｂを設定する。

探索領域を設定すると、算出部１２３は、探索領域内の比較領域を１つ選択する（ステップＳ３４）。そして、算出部１２３は、選択した比較領域が対応領域か否かを判別するための指標を算出する（ステップＳ３５）。

すなわち、算出部１２３は、ステップＳ３１で設定した比較対象領域と同じ形状の領域を比較領域として探索領域内から選択する。そして、算出部１２３は、選択した比較領域の色情報が、不良画素を含む比較対象領域の色情報と類似しているか否かを示す指標を算出する。

選択した比較領域の指標を算出すると、算出部１２３は、探索領域の探索が終了したか否かを判別する（ステップＳ３６）。算出部１２３は、例えば探索領域内で選択することができる全ての比較領域について指標の算出が完了したときに、探索が終了したと判別する。あるいは、算出部１２３は、いずれかの比較領域について算出した指標の値が予め定められた許容値以下となったときに、探索が終了したと判別してもよい。

探索が終了していない場合（ステップＳ３６；ＮＯ）、フローチャートの処理はステップＳ３４に戻る。そして、算出部１２３は、探索領域内の新たな比較領域を１つ選択して、選択した比較領域についての指標を算出する。算出部１２３は、探索が終了するまで、探索領域内で選択可能な比較領域のそれぞれについて指標の算出を繰り返す。

最終的に探索が終了すると（ステップＳ３６；ＹＥＳ）、領域特定部１２２は、算出した指標に基づいて、比較領域のうちから対応領域を特定する（ステップＳ３７）。例えば、領域特定部１２２は、指標を算出した比較領域のうち、指標が最も小さい比較領域、すなわち色情報が比較対象領域と最も類似している比較領域を、対応領域として特定する。

対応領域を特定すると、画素特定部１２４は、対応領域内にある画素のうちから対応画素を特定する（ステップＳ３８）。すなわち、画素特定部１２４は、対応領域内にある画素のうち、比較対象領域における不良画素と同じ位置にある画素を、不良画素と同じ部位を表していると推定される対応画素として特定する。

対応画素を特定すると、選択した１つのサブ画像における処理は終了する。このとき、特定部１２０は、不良画素を含むサブ画像に隣接する全てのサブ画像について対応画素を特定したか否かを判別する（ステップＳ３９）。

隣接する全てのサブ画像について対応画素を特定し終えていない場合（ステップＳ３９；ＮＯ）、フローチャートの処理はステップＳ３２に戻る。すなわち、特定部１２０は、特定処理を行ったサブ画像とは別のサブ画像を１つ選択して、選択したサブ画像における対応画素を特定する。特定部１２０は、隣接する全てのサブ画像について対応画素の特定が終了するまで、ステップＳ３２〜Ｓ３８の処理を繰り返す。

最終的に、隣接する全てのサブ画像について対応画素を特定すると（ステップＳ３９；ＹＥＳ）、図１１に示すフローチャートは終了する。

図１０に示すフローチャートに戻って、特定部１２０により不良画素の対応画素が特定されると、補正部１３０は、特定した対応画素の画素値に基づいて、不良画素の画素値として書き換えるべき新たな画素値を決定する（ステップＳ４）。不良画素の画素値として書き換えるべき新たな画素値として、補正部１３０は、例えば不良画素を含むサブ画像に隣接する４つのサブ画像において特定した対応画素の画素値の平均値を計算する。

なお、補正部１３０が計算する画素値の平均値は、対応画素の画素値を複数のサブ画像で単純平均した値であってもよい。あるいは、この平均値は、算出部１２３が算出した指標に基づいて、例えば不良画素が表すべき被写体の部位と同じ部位を表しているとの推定度合が高い対応画素ほど重みをつけて加重平均した値であってもよい。

書き換えるべき新たな画素値を決定すると、補正部１３０は、不良画素の画素値を新たな画素値に書き換えて、多視点画像を補正する（ステップＳ５）。以上により、画像処理装置１００が実行する多視点画像の補正処理は終了する。

以上説明したように、本実施形態に係る画像処理装置１００及び撮像装置１は、被写体を撮像して得られた多視点画像に不良画素が含まれている場合、不良画素を含むサブ画像とは別のサブ画像を構成する画素のうちから不良画素と同じ部位を表していると推定される画素を特定し、特定した画素の画素値に基づいて不良画素の画素値を書き換える。

従来の手法により隣接画素等の周辺画素の色情報に基づいて不良画素の色情報を作成した場合は、作成した色情報はあくまで周辺から推測した色情報である。これに対し、本実施形態では、周辺のマイクロレンズＳＬを通過した光の色情報を用いることで、不良画素と同じ被写界の位置から照射された光の色情報を用いることができる。そのため、色の再現性が高くなり、不良画素を含む多視点画像を精度よく補正することが可能となる。

（実施形態２）
次に、本発明の実施形態２について説明する。

実施形態２に係る撮像装置の機能構成を図１２に示す。実施形態２に係る撮像装置１ａは、実施形態１に係る撮像装置１が備えていた不良画素検出部２４により検出された不良画素の位置情報を記憶する記憶部２５１としての機能の代わりに、生成部４０としての機能を新たに有する。

生成部４０は、撮像部１０による撮像により得られた多視点画像と、不良画素検出部２４により検出されたこの多視点画像内にある不良画素の位置情報と、を含む画像データを生成する。そして、画像処理装置１００において、取得部１１０は、多視点画像を構成する画素のうちいずれの画素が不良画素であるかの情報として、生成部４０が生成した画像データに含まれる不良画素の位置情報を取得する。

具体的に説明すると、生成部４０は、撮像部１０による被写体の撮像により多視点画像が得られると、例えば得られた多視点画像データのヘッダ領域に不良画素の位置を示すデータを書き込む。そして、取得部１１０は、生成部４０から取得した多視点画像データのヘッダ領域に書き込まれたデータを読み取って、この多視点画像内にある不良画素の位置情報を取得する。

すなわち、実施形態１では、不良画素検出部２４が検出した不良画素の位置情報は、多視点画像とは別のデータとして、フラッシュメモリ２５等の撮像装置１の内部に保存された。そのため、撮像装置１の外部の機器（一般的なパーソナルコンピュータ等）が多視点画像を再構成する場合に不良画素の位置情報を取り出すことが困難であった。

これに対し、実施形態２では、不良画素の位置情報は、多視点画像と共に１つのデータとして保存される。これにより、多視点画像の画像データのサイズが増加する一方、撮像装置１ａの外部の機器が多視点画像を再構成する場合や、撮像装置１ａが他の撮像装置で得られた多視点画像を再構成する場合に、不良画素の色情報を補正した上で再構成を実施することが容易になる。

なお、実施形態２に係る撮像装置１ａにおいて、生成部４０と取得部１１０以外の機能構成は、実施形態１に係る撮像装置１の機能構成と同様であるため、ここでは説明を省略した。

（変形例）
以上に本発明の実施形態について説明したが、これらの実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、本発明の実施形態は種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。

例えば、上記実施形態では、不良画素を含む多視点画像を補正する機能を有する画像処理装置１００は、この多視点画像を生成した撮像装置１，１ａの内部に搭載されていた。しかし、本発明に係る画像処理装置１００は、撮像装置１，１ａの外部の独立した装置であってもよい。

例えばパーソナルコンピュータ等の一般的な情報処理装置が画像処理装置１００として機能することができる。この場合、画像処理装置１００は、自装置とは独立した撮像装置により得られた多視点画像を外部記憶メモリ等のデータ通信手段を介して取得して、取得した多視点画像に対して上述した不良画素の色情報の補正処理を実行するように構成できる。このときの撮像装置は、多視点画像を取得する機能は有するが不良画素の色情報を補正する機能を有さない一般的なライトフィールドカメラであってもよい。あるいは、画像処理装置１００が撮像装置の内部に搭載されている場合でも、画像処理装置１００は、他の撮像装置によって得られた多視点画像に対し、上述した補正処理を実行してもよい。

また、上記実施形態では、画像処理装置１００が不良画素の色情報の補正する多視点画像は、マイクロレンズアレイＳＬＡを有する１つの撮像装置１，１ａによって得られた画像であった。しかし、本発明では、画像処理装置１００は、複数の撮像装置によってそれぞれ異なる視点から被写体を同時に撮像して得られた多視点画像に対しても、上述した補正処理を実行することができる。

また、上記実施形態では、不良画素検出部２４は、不良画素として、図５（ａ）及び図５（ｂ）に示したような予備的な撮像を行って輝点画素と暗点画素とを検出した。しかし、本発明では、不良画素は、輝点画素又は暗点画素に限らない。すなわち、画像処理装置１００は、他の何らかの方法により正常な色情報を有さないことが判明している画素の位置情報を取得して、輝点画素及び暗点画素と同様に、上述した色情報の補正処理を実行することができる。

また、撮像装置１が多視点画像を取得した際に、画像処理装置１００が、取得した多視点画像内の異なるサブ画像間の視差の方向にある画素同士を比較して、色情報が異常であることが疑われる画素を不良画素に加えてもよい。すなわち、不良画素の位置情報を、撮像装置１による撮像毎に更新できるようにしてもよい。これにより、例えば不良画素がレンズや撮像素子１２に付着した埃等によるものであって、事前に検出した位置から移動する可能性がある場合でも、移動後の不良画素の位置を特定して多視点画像を補正することが可能となる。

また、上記実施形態では、多視点画像はグレースケールの画像であって、各画素は１つの画素値を有するとして説明した。しかし、本発明では、多視点画像は、グレースケールの画像に限らない。例えば、多視点画像の各画素は、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）、の３つの画素値を有してもよい。

多視点画像がこのようなカラーの画像である場合、算出部１２３は、比較領域が対応領域であるか否かを判別するための指標を、ＲＧＢの３つの画素値からそれぞれ独立に算出することができる。そして、領域特定部１２２は、ＲＧＢの３つの画素値からそれぞれ算出された３つの指標の和が最小の領域を、対応領域として特定することができる。

なお、本発明に係る機能を実現するための構成を予め備えた画像処理装置として提供できることはもとより、プログラムの適用により、既存のパーソナルコンピュータや情報端末機器等を、本発明に係る画像処理装置として機能させることもできる。すなわち、上記実施形態で例示した画像処理装置１００による各機能構成を実現させるためのプログラムを、既存のパーソナルコンピュータや情報端末機器等を制御するＣＰＵ等が実行できるように適用することで、本発明に係る画像処理装置１００として機能させることができる。また、本発明に係る画像処理方法は、画像処理装置１００を用いて実施できる。

また、このようなプログラムの適用方法は任意である。プログラムを、例えば、コンピュータが読取可能な記録媒体（ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical disc）等）に格納して適用できる他、インターネット等のネットワーク上のストレージにプログラムを格納しておき、これをダウンロードさせることにより適用することもできる。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
被写体を異なる視点から撮像して得られた複数のサブ画像を含む多視点画像における該複数のサブ画像を構成する画素のうち、いずれの画素が不良画素であるかの情報を取得する取得部と、
前記複数のサブ画像のうちの前記取得部が取得した前記情報により特定した不良画素を含むサブ画像とは別のサブ画像を構成する画素のうちから、該不良画素が表すべき前記被写体の部位と同じ部位を表していると推定される画素を、対応画素として特定する特定部と、
前記特定部が特定した対応画素の画素値に基づいて前記不良画素の画素値を書き換えることにより、前記多視点画像を補正する補正部と、
を備えることを特徴とする画像処理装置。

（付記２）
前記特定部は、
前記不良画素を含むサブ画像内の領域のうち該不良画素を含む所定領域を、比較対象領域として設定する領域設定部と、
前記不良画素を含むサブ画像とは別のサブ画像内の領域のうち、前記領域設定部が設定した比較対象領域により表される前記被写体の部位と同じ部位を表していると推定される領域を、対応領域として特定する領域特定部と、
前記対応領域内にある画素のうち、前記比較対象領域における前記不良画素の位置と対応する位置にある画素を、前記対応画素として特定する画素特定部と、
を含むことを特徴とする付記１に記載の画像処理装置。

（付記３）
前記特定部は、前記別のサブ画像内の前記比較対象領域と同じ形状の各領域について、該各領域が前記対応領域であるか否かを判別するための指標を、該各領域内にある画素の画素値と前記比較対象領域内にある画素の画素値との比較結果に基づいて算出する算出部をさらに含み、
前記領域特定部は、前記算出部が算出した指標に基づいて、前記別のサブ画像内の領域のうちから前記対応領域を特定する、
ことを特徴とする付記２に記載の画像処理装置。

（付記４）
前記算出部は、前記指標として、前記別のサブ画像内の前記比較対象領域と同じ形状の各領域内にある複数の画素の画素値と、前記比較対象領域内にある複数の画素の画素値と、の差の２乗和を算出し、
前記領域特定部は、前記別のサブ画像内の領域のうちから前記算出部が算出した指標が最小の領域を、前記対応領域として特定する、
ことを特徴とする付記３に記載の画像処理装置。

（付記５）
前記特定部は、前記別のサブ画像内の、前記不良画素を含むサブ画像における該不良画素の位置と同じ位置を含む一部の領域であって、該不良画素を含むサブ画像と該別のサブ画像との間の視差の方向と直交する方向に限定した領域内にある画素のうちから、前記対応画素を特定する、
ことを特徴とする付記１から４のいずれか１つに記載の画像処理装置。

（付記６）
前記特定部は、前記多視点画像において前記不良画素を含むサブ画像と縦方向及び横方向に隣接するサブ画像のそれぞれにおいて、前記対応画素を特定し、
前記補正部は、前記特定部が前記隣接するサブ画像のそれぞれにおいて特定した対応画素の画素値の平均値で前記不良画素の画素値を書き換えることにより、前記多視点画像を補正する、
ことを特徴とする付記１から５のいずれか１つに記載の画像処理装置。

（付記７）
前記補正部が補正した前記多視点画像から、前記被写体を所望の焦点距離で撮像した画像を再構成する再構成部をさらに備える、
ことを特徴とする付記１から６のいずれか１つに記載の画像処理装置。

（付記８）
メインレンズと複数のマイクロレンズとを用いて被写体を撮像することにより、該被写体を異なる視点から撮像して得られた複数のサブ画像を含む多視点画像を取得する撮像部と、
前記複数のサブ画像を構成する画素のうち、いずれの画素が不良画素であるかの情報を取得する取得部と、
前記複数のサブ画像のうちの前記取得部が取得した前記情報により特定した不良画素を含むサブ画像とは別のサブ画像を構成する画素のうちから、該不良画素が表すべき前記被写体の部位と同じ部位を表していると推定される画素を、対応画素として特定する特定部と、
前記特定部が特定した対応画素の画素値に基づいて前記不良画素の画素値を書き換えることにより、前記多視点画像を補正する補正部と、
前記補正部が補正した前記多視点画像を出力する出力部と、
を備えることを特徴とする撮像装置。

（付記９）
前記撮像部の撮像により得られた多視点画像を構成する画素のうちから不良画素を検出する不良画素検出部と、
前記不良画素検出部により検出された不良画素の位置情報を記憶する記憶部と、
をさらに備え、
前記取得部は、前記いずれの画素が不良画素であるかの情報として、前記記憶部に記憶された不良画素の位置情報を取得する、
ことを特徴とする付記８に記載の撮像装置。

（付記１０）
前記撮像部の撮像により得られた多視点画像を構成する画素のうちから不良画素を検出する不良画素検出部と、
前記多視点画像と、前記不良画素検出部により検出された該多視点画像内にある不良画素の位置情報と、を含む画像データを生成する生成部と、
をさらに備え、
前記取得部は、前記いずれの画素が不良画素であるかの情報として、前記生成部が生成した画像データに含まれる前記不良画素の位置情報を取得する、
ことを特徴とする付記８に記載の撮像装置。

（付記１１）
前記不良画素検出部は、
前記不良画素として、前記撮像部のシャッタを閉じた状態での撮像により得られた多視点画像を構成する画素のうちから輝点画素を検出する輝点画素検出部と、
前記不良画素として、前記撮像部に所定の面光源からの光を照射した状態での撮像により得られた多視点画像を構成する画素のうちから暗点画素を検出する暗点画素検出部と、
を含むことを特徴とする付記９又は１０に記載の撮像装置。

（付記１２）
被写体を異なる視点から撮像して得られた複数のサブ画像を含む多視点画像における該複数のサブ画像を構成する画素のうち、いずれの画素が不良画素であるかの情報を取得するステップと、
前記複数のサブ画像のうちの前記取得した情報により特定した不良画素を含むサブ画像とは別のサブ画像を構成する画素のうちから、該不良画素が表すべき前記被写体の部位と同じ部位を表していると推定される画素を、対応画素として特定するステップと、
前記特定した対応画素の画素値に基づいて前記不良画素の画素値を書き換えることにより、前記多視点画像を補正するステップと、
を含むことを特徴とする画像処理方法。

（付記１３）
コンピュータに、
被写体を異なる視点から撮像して得られた複数のサブ画像を含む多視点画像における該複数のサブ画像を構成する画素のうち、いずれの画素が不良画素であるかの情報を取得する機能、
前記複数のサブ画像のうちの前記取得した情報により特定した不良画素を含むサブ画像とは別のサブ画像を構成する画素のうちから、該不良画素が表すべき前記被写体の部位と同じ部位を表していると推定される画素を、対応画素として特定する機能、
前記特定した対応画素の画素値に基づいて前記不良画素の画素値を書き換えることにより、前記多視点画像を補正する機能、
を実現させるためのプログラム。

１，１ａ…撮像装置、２…ＤＲＡＭ、３…外部記憶メモリ、４…表示コントローラ、５…表示部、６…操作部、７…ストロボ、１０…撮像部、１１…シャッタ、１２…撮像素子、１３…Ａ／Ｄ変換器、１４…絞り、２０…メインＣＰＵ、２１…ＣＰＵコア、２２…シャッタ制御部、２３…受光制御部、２４…不良画素検出部、２５…フラッシュメモリ、３０…出力部、４０…生成部、５０…不良画素、５１…比較対象領域、５２ａ，５２ｂ…比較領域、５３…対応画素、５４ａ，５４ｂ…探索領域、５５ａ〜５５ｄ…対応領域、１００…画像処理装置、１１０…取得部、１２０…特定部、１２１…領域設定部、１２２…領域特定部、１２３…算出部、１２４…画素特定部、１３０…補正部、１４０…再構成部、２４１…輝点画素検出部、２４２…暗点画素検出部、２５１…記憶部、ＭＬ…メインレンズ、ＳＬＡ…マイクロレンズアレイ、ＳＬ…マイクロレンズ、ＬＦＩ１，ＬＦＩ２…多視点画像、Ｓ（１，１）〜Ｓ（Ｍ，Ｎ）…サブ画像、ＯＢ…被写体、ＩＰ…結像面、ＩＥ…撮像面、ＬＢ…輝度箱

Claims (13)

1. 被写体を異なる視点から撮像して得られた複数のサブ画像を含む多視点画像における該複数のサブ画像を構成する画素のうち、いずれの画素が不良画素であるかの情報を取得する取得部と、
   前記複数のサブ画像のうちの前記取得部が取得した前記情報により特定した不良画素を含むサブ画像とは別のサブ画像を構成する画素のうちから、該不良画素が表すべき前記被写体の部位と同じ部位を表していると推定される画素を、対応画素として特定する特定部と、
   前記特定部が特定した対応画素の画素値に基づいて前記不良画素の画素値を書き換えることにより、前記多視点画像を補正する補正部と、
   を備えることを特徴とする画像処理装置。
2. 前記特定部は、
   前記不良画素を含むサブ画像内の領域のうち該不良画素を含む所定領域を、比較対象領域として設定する領域設定部と、
   前記不良画素を含むサブ画像とは別のサブ画像内の領域のうち、前記領域設定部が設定した比較対象領域により表される前記被写体の部位と同じ部位を表していると推定される領域を、対応領域として特定する領域特定部と、
   前記対応領域内にある画素のうち、前記比較対象領域における前記不良画素の位置と対応する位置にある画素を、前記対応画素として特定する画素特定部と、
   を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記特定部は、前記別のサブ画像内の前記比較対象領域と同じ形状の各領域について、該各領域が前記対応領域であるか否かを判別するための指標を、該各領域内にある画素の画素値と前記比較対象領域内にある画素の画素値との比較結果に基づいて算出する算出部をさらに含み、
   前記領域特定部は、前記算出部が算出した指標に基づいて、前記別のサブ画像内の領域のうちから前記対応領域を特定する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記算出部は、前記指標として、前記別のサブ画像内の前記比較対象領域と同じ形状の各領域内にある複数の画素の画素値と、前記比較対象領域内にある複数の画素の画素値と、の差の２乗和を算出し、
   前記領域特定部は、前記別のサブ画像内の領域のうちから前記算出部が算出した指標が最小の領域を、前記対応領域として特定する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記特定部は、前記別のサブ画像内の、前記不良画素を含むサブ画像における該不良画素の位置と同じ位置を含む一部の領域であって、該不良画素を含むサブ画像と該別のサブ画像との間の視差の方向と直交する方向に限定した領域内にある画素のうちから、前記対応画素を特定する、
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記特定部は、前記多視点画像において前記不良画素を含むサブ画像と縦方向及び横方向に隣接するサブ画像のそれぞれにおいて、前記対応画素を特定し、
   前記補正部は、前記特定部が前記隣接するサブ画像のそれぞれにおいて特定した対応画素の画素値の平均値で前記不良画素の画素値を書き換えることにより、前記多視点画像を補正する、
   ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記補正部が補正した前記多視点画像から、前記被写体を所望の焦点距離で撮像した画像を再構成する再構成部をさらに備える、
   ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. メインレンズと複数のマイクロレンズとを用いて被写体を撮像することにより、該被写体を異なる視点から撮像して得られた複数のサブ画像を含む多視点画像を取得する撮像部と、
   前記複数のサブ画像を構成する画素のうち、いずれの画素が不良画素であるかの情報を取得する取得部と、
   前記複数のサブ画像のうちの前記取得部が取得した前記情報により特定した不良画素を含むサブ画像とは別のサブ画像を構成する画素のうちから、該不良画素が表すべき前記被写体の部位と同じ部位を表していると推定される画素を、対応画素として特定する特定部と、
   前記特定部が特定した対応画素の画素値に基づいて前記不良画素の画素値を書き換えることにより、前記多視点画像を補正する補正部と、
   前記補正部が補正した前記多視点画像を出力する出力部と、
   を備えることを特徴とする撮像装置。
9. 前記撮像部の撮像により得られた多視点画像を構成する画素のうちから不良画素を検出する不良画素検出部と、
   前記不良画素検出部により検出された不良画素の位置情報を記憶する記憶部と、
   をさらに備え、
   前記取得部は、前記いずれの画素が不良画素であるかの情報として、前記記憶部に記憶された不良画素の位置情報を取得する、
   ことを特徴とする請求項８に記載の撮像装置。
10. 前記撮像部の撮像により得られた多視点画像を構成する画素のうちから不良画素を検出する不良画素検出部と、
    前記多視点画像と、前記不良画素検出部により検出された該多視点画像内にある不良画素の位置情報と、を含む画像データを生成する生成部と、
    をさらに備え、
    前記取得部は、前記いずれの画素が不良画素であるかの情報として、前記生成部が生成した画像データに含まれる前記不良画素の位置情報を取得する、
    ことを特徴とする請求項８に記載の撮像装置。
11. 前記不良画素検出部は、
    前記不良画素として、前記撮像部のシャッタを閉じた状態での撮像により得られた多視点画像を構成する画素のうちから輝点画素を検出する輝点画素検出部と、
    前記不良画素として、前記撮像部に所定の面光源からの光を照射した状態での撮像により得られた多視点画像を構成する画素のうちから暗点画素を検出する暗点画素検出部と、
    を含むことを特徴とする請求項９又は１０に記載の撮像装置。
12. 被写体を異なる視点から撮像して得られた複数のサブ画像を含む多視点画像における該複数のサブ画像を構成する画素のうち、いずれの画素が不良画素であるかの情報を取得するステップと、
    前記複数のサブ画像のうちの前記取得した情報により特定した不良画素を含むサブ画像とは別のサブ画像を構成する画素のうちから、該不良画素が表すべき前記被写体の部位と同じ部位を表していると推定される画素を、対応画素として特定するステップと、
    前記特定した対応画素の画素値に基づいて前記不良画素の画素値を書き換えることにより、前記多視点画像を補正するステップと、
    を含むことを特徴とする画像処理方法。
13. コンピュータに、
    被写体を異なる視点から撮像して得られた複数のサブ画像を含む多視点画像における該複数のサブ画像を構成する画素のうち、いずれの画素が不良画素であるかの情報を取得する機能、
    前記複数のサブ画像のうちの前記取得した情報により特定した不良画素を含むサブ画像とは別のサブ画像を構成する画素のうちから、該不良画素が表すべき前記被写体の部位と同じ部位を表していると推定される画素を、対応画素として特定する機能、
    前記特定した対応画素の画素値に基づいて前記不良画素の画素値を書き換えることにより、前記多視点画像を補正する機能、
    を実現させるためのプログラム。