JP2013145979A - 画像生成方法、撮像装置および表示装置、プログラム、記憶媒体 - Google Patents

Abstract

【課題】複数の視差画像から空間解像度の高い撮像画像を生成する。
【解決手段】結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子により取得される入力画像から出力画像を生成する画像生成方法であって、入力画像から、異なる瞳部分領域毎に、複数の視差画像を生成する工程と、撮像素子が配置された撮像面とは異なる結像光学系の仮想結像面に応じて、複数の視差画像毎に異なるシフトを行い複数の画素ずらし画像を生成する工程と、複数の画素ずらし画像から、視差画像の解像度より高い解像度の出力画像を超解像処理により生成する工程とを有する。
【選択図】図８

Description

本発明は、画像生成方法、撮像装置および表示装置に関するものである。

撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影することができる撮像装置が提案されている。

特許文献１では、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる瞳部分領域を受光するように構成され、瞳分割を行っている。これらの分割された光電変換部で受光したそれぞれの信号から、分割された瞳部分領域に応じた複数の視差画像を生成することができる。特許文献２では、分割された光電変換部で受光した信号を、全て加算することにより撮像画像を生成することが開示されている。

撮影された複数の視差画像は、光強度の空間分布および角度分布情報であるＬｉｇｈｔ Ｆｉｅｌｄ（ＬＦ）データと等価である。非特許文献１では、取得されたＬＦデータを用いて撮像面とは異なる仮想結像面における画像を合成することで、撮影後に撮像画像の合焦位置を変更するリフォーカス技術が開示されている。

米国特許第４４１０８０４号公報 特開２００１−０８３４０７号公報

Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２，１（２００５）

しかしながら、上記の従来例では、撮影レンズの射出瞳を複数の領域に瞳分割することで、複数の視差画像を同時に取得することができる一方、複数の視差画像から生成される撮像画像の空間解像度が低下してしまうという課題がある。

本発明は、上述した課題に鑑みてなされたものであり、複数の視差画像から空間解像度の高い撮像画像を生成することを目的とする。

本発明に係わる画像生成方法は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子により取得される入力画像から出力画像を生成する画像生成方法であって、前記入力画像から、前記異なる瞳部分領域毎に、複数の視差画像を生成する工程と、前記撮像素子が配置された撮像面とは異なる前記結像光学系の仮想結像面に応じて、前記複数の視差画像毎に異なる非整数シフトを行い複数の画素ずらし画像を生成する工程と、前記複数の画素ずらし画像から、前記複数の視差画像の各々の解像度より高い解像度の出力画像を超解像処理により生成する工程と、
を有することを特徴とする。

本発明によれば、複数の視差画像から空間解像度の高い撮像画像を生成することが可能となる。

本発明の実施形態における撮像装置の概略構成図。 本発明の実施形態における画素配列の概略図。 本発明の実施形態における画素の概略平面図と概略断面図。 本発明の実施形態における画素と瞳分割の概略説明図。 本発明の実施形態における撮像素子と瞳分割の概略説明図。 本発明の実施形態における副画素と取得できる角度情報の概略関係図。 本発明の実施形態におけるリフォーカス可能範囲の説明図。 本発明の第１の実施形態における画像生成のフローチャート。 本発明の実施形態における視差画像の画素ずらしの説明図。 本発明の実施形態における出力画像と画素ずらし画像の関係式例。 本発明の第２の実施形態における画像生成のフローチャート。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像素子を有する撮像装置であるカメラの構成図を示している。図１において、１０１は結像光学系の先端に配置された第１レンズ群で、光軸方向に進退可能に保持される。１０２は絞り兼用シャッタで、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしても機能する。１０３は第２レンズ群である。そして絞り兼用シャッタ１０２及び第２レンズ群１０３は一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。

１０５は第３レンズ群で、光軸方向の進退により、焦点調節を行なう。１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。１０７は２次元ＣＭＯＳフォトセンサーと周辺回路からなる撮像素子であり、結像光学系の結像面に配置される。

１１１はズームアクチュエータで、不図示のカム筒を回動することで、第１レンズ群１１１乃至第３レンズ群１０５を光軸方向に進退駆動し、変倍操作を行なう。１１２は絞りシャッタアクチュエータで、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。１１４はフォーカスアクチュエータで、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。

１１５は撮影時の被写体照明用の電子フラッシュで、キセノン管を用いた閃光照明装置が好適であるが、連続発光するＬＥＤを備えた照明装置を用いても良い。１１６はＡＦ補助光装置で、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。

１２１は、カメラ本体の種々の制御を司るカメラ内ＣＰＵで、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有し、ＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動する。そして、ＡＦ、撮影、画像生成と記録等の一連の動作を実行する。ＣＰＵ１２１は本発明の画像生成手段、視差画像生成手段、画素ずらし画像生成手段、超解像処理手段である。

１２２は電子フラッシュ制御回路で、撮影動作に同期して電子フラッシュ１１５を点灯制御する。１２３は補助光駆動回路で、焦点検出動作に同期してＡＦ補助光装置１１６を点灯制御する。１２４は撮像素子駆動回路で、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路で、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。

１２６はフォーカス駆動回路で、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。１２８は絞りシャッタ駆動回路で、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。１２９はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。

１３１はＬＣＤ等の表示装置で、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群で、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリで、撮影済み画像を記録する。

本実施形態における撮像素子の画素配列と副画素配列の概略図を図２に示す。

図２は、本実施形態の２次元ＣＭＯＳセンサー（撮像素子）の画素配列を４行×４列画素の範囲で、副画素配列を１６行×１６列副画素の範囲で示したものである。図２に示した４行×４列画素（１６行×１６列副画素）を面上に多数配置し、画像の取得を可能としている。本実施形態では、画素周期ΔＸが２０μｍ、有効画素数ＮＬＦが横１８００列×縦１２０００行＝約２２０万画素（副画素周期Δｘが５μｍ、有効副画素数Ｎが横７２００列×縦４８００行＝約３４６０万画素）の撮像素子として説明を行う。

第１の実施形態において、図２に示した２行×２列の画素群２００は、対角位置の画素にＧ（緑）の分光感度を有する画素２００Ｇを配置し、他の２画素にＲ（赤）の分光感度を有する画素２００ＲとＢ（青）の分光感度を有する画素２００Ｂが配置されている。さらに、各画素には、Ｎθ×Ｎθ（４行×４列）の副画素２０１から副画素２１６が２次元配列されている。

図２に示した撮像素子の１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た平面図を図３（ａ）に示し、図３（ａ）のａ−ａ断面を−ｙ側から見た断面図を図３（ｂ）に示す。

図３に示すように、本実施形態の画素２００Ｇでは、各画素の受光側に入射光を集光するためのマイクロレンズ３０５が形成され、ｘ方向にＮθ分割（４分割）、ｙ方向にＮθ分割（４分割）された光電変換部３０１から光電変換部３１６が形成される。光電変換部３０１から光電変換部３１６が、それぞれ、図２の副画素２０１から副画素２１６に対応する。

光電変換部３０１から光電変換部３１６は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしても良いし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしても良い。

各画素には、マイクロレンズ３０５と光電変換部３０１から光電変換部３１６との間に、カラーフィルター３０６が形成される。また、必要に応じて、各副画素毎にカラーフィルターの分光透過率を変えても良いし、カラーフィルターを省略しても良い。

図３に示した画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルター３０６で分光されたのち、光電変換部３０１から光電変換部３１６で受光される。

光電変換部では、受光量に応じて電子とホールが対生成され、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積され、一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子外部へ排出される。

以下、本実施形態１における瞳分割手段の説明を行う。図４に、複数の光電変換部３０１から光電変換部３１６（副画素２０１から副画素２１６）と瞳分割との対応関係を示した概略図を示す。図３（ａ）に示した画素２００Ｇのａ−ａ断面を＋ｙ側から見た断面図と結像光学系の射出瞳面を図４に示す。図４では、射出瞳面の座標軸と対応を取るため、断面図のｘ軸とｙ軸を図３に対して反転させている。

撮像素子は、撮影レンズ（結像光学系）の結像面近傍に配置され、被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。撮像素子が配置された面を撮像面とする。瞳部分領域５０１から瞳部分領域５１６は、Ｎθ×Ｎθ分割（４×４分割）された光電変換部３０１から光電変換部３１６（副画素２０１から副画素２１６）の受光面と、マイクロレンズによって、概ね、共役関係になっており、光電変換部（副画素）毎に受光可能な瞳部分領域を表している。結像光学系の射出瞳４００は、瞳分割数をＮｐ＝Ｎθ×Ｎθとして、異なる瞳部分領域にＮｐ分割される。結像光学系の絞り値をＦとすると、瞳部分領域の実効絞り値は、概ね、ＮθＦとなる。また、瞳領域５００は、Ｎθ×Ｎθ分割（４×４分割）された光電変換部３０１から光電変換部３１６（副画素２０１から副画素２１６）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。

以下、本実施形態における視差画像の生成について説明する。本実施形態の撮像素子と瞳分割との対応関係を示した概略図を図５に示す。撮像素子の各画素毎に、Ｎθ×Ｎθ分割（４×４分割）された光電変換部３０１から光電変換部３１６（副画素２０１から副画素２１６）は、それぞれ、瞳部分領域５０１から瞳部分領域５１６の異なる瞳部分領域を通過してきた光束を受光する。本実施形態では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子により入力画像が取得される。

各画素毎に、副画素２０１から副画素２１６（光電変換部３０１から光電変換部３１６）の中から特定の副画素の信号を選び出すことで、結像光学系の瞳部分領域５０１から瞳部分領域５１６の中の特定の瞳部分領域に対応した視差画像を得ることができる。例えば、各画素毎に、副画素２０９（光電変換部３０９）の信号を選び出すことで、結像光学系の瞳部分領域５０９に対応した視差画像を得ることができる。他の副画素でも同様である。本実施形態の撮像素子で取得された入力画像より、異なる瞳部分領域毎に、複数（瞳分割数Ｎｐ）の有効画素数の解像度の視差画像を生成することができる。

また、各画素毎に、副画素２０１から副画素２１６の信号を全て加算することで、有効画素数の解像度の撮像画像を生成することができる。

以下、リフォーカス可能範囲について説明する。図６に、本実施形態における副画素と取得できる角度情報の概略関係図を示す。副画素周期Δｘ、１画素あたりの副画素の分割数Ｎｐ＝Ｎθ×Ｎθ分割として、画素周期ΔＸ＝ＮθΔｘである。Δθは角度分解能であり、結像光学系の射出瞳の見込み角をΘとして、Δθ＝Θ／Ｎθである。近軸近似を用いると、結像光学系の絞り値をＦとして、概ね、ＮθＦ≒１／Δθの関係式が成り立つ。画素に入射した全光束のうち、副画素２１２から副画素２０９は、それぞれ、入射角度θ０から入射角度θ３の光束を受光する。各副画素へは、角度分解能Δθの幅を持った入射角度の光束が入射する。

本実施形態におけるリフォーカス可能範囲の概略説明図を図７に示す。図７では、撮像面に配置された撮像素子の画素Ｘｉ（ｉ＝０〜ＮＬＦ−１）を線分で模式的に表している。ｉ番目の画素Ｘｉに、角度θａ（ａ＝０〜ＮΘ−１）で入射した光束は、各副画素で受光される。受光された副画素信号をＬｉ，ａ（ａ＝０〜ＮΘ−１）とする。本実施形態の撮像素子では、光強度の空間分布および角度分布情報であるＬｉｇｈｔ Ｆｉｅｌｄ（ＬＦ）データを取得することができ、上述したように、異なる瞳部分領域毎の複数の視差画像から構成されている。

撮影後に、ＬＦデータ（複数の視差画像）から、撮像素子が配置され副画素信号Ｌｉ，ａが取得された撮像面とは異なる仮想結像面画像を生成（リフォーカス処理）することができる。全ての副画素信号Ｌｉ，ａを、撮像面から仮想結像面まで、それぞれの角度θａに沿って平行移動させ、仮想結像面での各仮想画素に分配して、重み付け加算することにより、仮想結像面でのリフォーカス画像を生成することができる。ここで、重み付け加算に用いる係数は、全ての値が正で総和が１となる。

有効画素数ＮＬＦの解像度を保ったままリフォーカス可能な撮像面から仮想結像面までの距離（最大リフォーカス量）ｄｍａｘは限定されており、最大リフォーカス量ｄｍａｘは、式（１）で、概ね、決定される。

図７に示すように、画素Ｘｉからの副画素信号Ｌｉ，ａを、それぞれの角度θａに沿って平行移動させると、最大リフォーカス量ｄｍａｘを超えたところで、画素周期ΔＸよりも副画素信号Ｌｉ，ａの水平方向の間隔が大きくなってしまう。そのため、本来の光の伝搬であれば、画素Ｘｉからの伝搬光を受光すべき領域であるにもかかわらず、いずれの副画素信号Ｌｉ，ａも到達せずに、情報が欠落する領域が生じてしまう。

本実施形態では、絞り値Ｆであった結像光学系の射出瞳が、Ｎθ×Ｎθに瞳分割されて狭くなり、瞳部分領域の実効絞り値がＮθＦと大きくなる。焦点深度が深くなった分、合焦範囲が広がった複数の視差画像を得ることができ、これらの視差画像から仮想結像面画像が合成される。式（１）の第３項は、瞳部分領域の実効絞り値ＮθＦが大きくなり、焦点深度が深くなった範囲内でリフォーカスが可能であることを示している。撮像面から後ピン方向へのリフォーカス処理で説明したが、前ピン方向へのリフォーカス処理でも同様である。

以下、本実施形態の入力画像から出力画像を生成する画像処理方法について図８のフロー図を用いて説明する。なお、図８のフローにおける動作は本実施形態の画像生成手段、視差画像生成手段、画素ずらし画像生成手段、超解像処理手段であるＣＰＵ１２１によって実行される。

ステップＳ１００では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素（副画素２０１から副画素２１６）が設けられた画素を複数配列した撮像素子により、入力画像が取得される。または、予め上記構成の撮像素子により撮影され、記録媒体に保存されている入力画像を用いても良い。

ステップＳ２００では、入力画像から、各画素毎に、副画素２０１から副画素２１６の中から特定の副画素の信号を選び出すことで、結像光学系の瞳部分領域５０１から瞳部分領域５１６の中の特定の瞳部分領域に対応した視差画像を生成する。入力画像から、異なる瞳部分領域毎に、有効画素数の解像度である複数の視差画像を生成する。

ステップＳ３００では、撮像素子が配置された撮像面とは異なる結像光学系の仮想結像面に応じて、ステップＳ２００で生成された複数の視差画像毎に、異なる非整数シフトを行い複数の画素ずらし画像を生成する。

視差画像の画素ずらしの説明図を図９に示す。以下、説明を分かりやすくするため、ｘ方向で説明するが、ｙ方向も同様である。撮像面上のｘ方向ｉ番目の画素Ｘｉ（ｉ＝０〜ＮＬＦ−１）に、ａ番目の瞳部分領域を通過して角度θａ（ａ＝０〜Ｎθ−１）で入射した光束は、各副画素で受光され副画素信号Ｌｉ，ａとなる。各画素毎に、ａ番目の角度θａで入射した副画素信号Ｌｉ，ａを選び出して生成される画像が、ａ番目の瞳部分領域に対応した視差画像となる。

撮像面では、複数の視差画像は画素ずれがないため、そのままでは画素ずらし超解像処理を行うことはできない。そこで、本実施形態では、撮像面とは異なる仮想結像面まで、視差画像毎に角度θａに沿って平行移動させ、複数の画素ずらし画像を生成する。この時、複数の画素ずらし画像を用いて画素ずらし超解像処理が行えるように、撮像面と仮想結像面との距離ｄは、水平方向のシフト量が非整数となるように設定する。また、解像度を低下させないために、撮像面と仮想結像面との距離ｄを０より大きく最大リフォーカス量ｄｍａｘ＝ＮｐＦΔｘ以下とすることが望ましい。

本実施形態では、撮像面と仮想結像面との距離ｄをｄ＝ｄｍａｘ／Ｎθ＝ＦΔＸと設定する。図９に示すように、撮像面と仮想結像面との距離ｄをｄ＝ｄｍａｘ／Ｎθと設定して視差画像毎に角度θａに沿って平行移動させて画素ずらしを行うと、ｘ方向にＮθ存在する各視差画像間のシフト量が均等にΔＸ／Ｎθである複数の画素ずらし画像を生成することができる。許容錯乱円δは画素周期ΔＸ以上（δ≧ΔＸ）なので、ｄ≦Ｆδである。したがって、必ず、結像光学系の焦点深度Ｆδ以内で、複数の視差画像毎に、非整数シフト（画素周期ΔＸの非整数１／Ｎθ倍シフト）を行って複数の画素ずらし画像を生成することができる。

ステップＳ４００では、ステップＳ３００で生成された複数の画素ずらし画像から、複数の視差画像の各々の解像度より高い解像度の出力画像を超解像処理により生成する。

超解像後のｘ方向のμ＝Ｎθｉ＋ａ（４ｉ＋ａ）番目の超解像画素ｘμ＝ｘｉ，ａ、超解像画素信号ｌμ＝ｌｉ，ａと、超解像前のｘ方向のｉ番目の画素Ｘｉ、副画素信号Ｌμ＝Ｌｉ，ａとの本実施形態における関係を図９に示す。この時、超解像画素信号ｌμと副画素信号Ｌμの間には、式（２）の関係式が成り立つ。行列式Ｍμ、μ’は疎行列である。式（２）を明示的に、図１０に示す。

式（２）は、１次元に配列された超解像画素信号ｌμと副画素信号Ｌμの関係式である。μ＝Ｎθｉ＋ａ、ν＝Ｎθｊ＋ｂ（ｉ，ｊ＝０〜ＮＬＦ−１；ａ，ｂ＝０〜Ｎθ−１）として、２次元に配列された超解像画素信号ｌμ、νと副画素信号Ｌμ、νの間には、式（３）の関係式が成り立つ。行列式Ｍμ、ν、μ’、ν’は疎行列である。本実施形態では、式（３）の関係式が、ステップＳ３００の複数の視差画像毎に非整数シフトを行って複数の画素ずらし画像を生成することに対応している。

したがって、行列式Ｍμ、ν、μ’、ν’の逆行列Ｍ^−１μ、ν、μ’、ν’を用いると、超解像画素信号ｌμ、νと副画素信号Ｌμ、νの間には、式（４）の関係式が成り立つ。

ステップＳ４００では、行列式Ｍμ、ν、μ’、ν’の逆行列Ｍ^−１μ、ν、μ’、ν’を求めて、式（４）の関係式を用いて合成する超解像処理により、出力画像（超解像画素信号ｌμ、ν）を生成する。必要に応じて、逆行列Ｍ^−１μ、ν、μ’、ν’を予め求めておいても良い。

本実施形態では、超解像後のｘ方向のサンプリング周期はΔＸ／Ｎθ＝Δｘとなり、副画素周期と一致する。したがって、有効副画素数の解像度（有効画素数の解像度のＮｐ＝Ｎθ×Ｎθ倍）の出力画像を超解像処理により生成することができる。

必要に応じて、式（３）と式（４）の超解像画素信号ｌμ、ν、逆行列Ｍ^−１μ、ν、μ’、ν’と副画素信号Ｌμ、νを、それぞれフーリエ変換して、周波数空間で超解像処理を行い、その後、逆フーリエ変換しても良い。

必要に応じて、ダーク補正、シェーディング補正、デモザイキング処理などを、入力画像、視差画像、画素ずらし画像、または、出力画像のいずれかもしくは複数の組み合わせに行っても良い。

上述した画像生成方法により生成した出力画像を、表示装置１３１により表示する。

本実施形態は、上述した画像生成方法を行う画像生成手段を有する撮像装置の１例である。また、本実施形態は、上述した画像生成方法を行う画像生成手段を有する表示装置の１例である。

以上の構成により、複数の視差画像から空間解像度の高い撮像画像を生成することができる。

（第２の実施形態）
以下、本発明の第２の実施実施形態の入力画像から出力画像を生成する画像処理方法について図１１のフロー図を用いて説明する。なお、図１１のフローにおける動作は本実施形態の画像生成手段、視差画像生成手段、画素ずらし画像生成手段、超解像処理手段であるＣＰＵ１２１によって実行される。

ステップＳ２００の入力画像から、異なる瞳部分領域毎に、有効画素数の解像度である複数の視差画像を生成するまでは、第１の実施形態と同様である。

本実施形態では、まず、ｘ方向の超解像処理を行った後、次に、ｙ方向の超解像処理を行う。第１の実施形態と同様に、撮像面と仮想結像面との距離ｄをｄ＝ｄｍａｘ／Ｎθと設定する。

まず、ステップＳ３１０で、“ｘ方向のみ”視差画像毎に角度θａに沿って平行移動させて、ｘ方向非整数シフト（画素周期ΔＸの非整数１／Ｎθ倍シフト）による複数のｘ方向画素ずらし画像を生成する。式（５）の関係式が、ステップＳ３１０の複数の視差画像毎にｘ方向非整数シフトを行って複数のｘ方向画素ずらし画像を生成することに対応している。

ステップＳ４１０で、式（５）の連立方程式を超解像画素信号ｌμ、νについて解くことにより、複数のｘ方向超解像画像を生成する。式（５）を明示的に示すと、式（６ａ）から式（６ｄ）の漸化式となる。式（６ａ）から式（６ｄ）の漸化式は、超解像画素信号ｌμ、νについて逐次的に解くことが可能であり、行列式Ｍμ、μ’の逆行列Ｍ^−１μ、μ’を求める必要が無く、演算処理を簡略化できる。このように、Ｓ３１０とＳ４１０により、ｘ方向の超解像処理を行う。

次に、ステップＳ３２０で、“ｙ方向のみ”ｘ方向画素ずらし画像毎に角度θｂに沿って平行移動させて、ｙ方向非整数シフト（画素周期ΔＸの非整数１／Ｎθ倍シフト）による複数のｙ方向画素ずらし画像を生成する。ｙ方向画素ずらし画像と超解像画素信号ｌμ、νとの間にも式（６ａ）から式（６ｄ）と類似の漸化式が成り立つ。

ステップＳ４２０で、ｙ方向画素ずらし画像と超解像画素信号ｌμ、νの関係を表す漸化式を、超解像画素信号ｌμ、νについて逐次的に解くことにより、出力画像（超解像画素信号ｌμ、ν）を生成する。

本実施形態でも、第１の実施形態と同様に、超解像後のｘ方向のサンプリング周期はΔＸ／Ｎθ＝Δｘとなり、副画素周期と一致する。したがって、有効副画素数の解像度（有効画素数の解像度のＮｐ＝Ｎθ×Ｎθ倍）の出力画像を超解像処理により生成することができる。これら以外は、第１の実施形態と同様である。

以上の構成により、複数の視差画像から空間解像度の高い撮像画像を生成することができる。
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

Claims (8)

1. 結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子により取得される入力画像から出力画像を生成する画像生成方法であって、
   前記入力画像から、前記異なる瞳部分領域毎に、複数の視差画像を生成する工程と、
   前記撮像素子が配置された撮像面とは異なる前記結像光学系の仮想結像面に応じて、前記複数の視差画像毎に異なるシフトを行い複数の画素ずらし画像を生成する工程と、
   前記複数の画素ずらし画像から、前記視差画像の解像度より高い解像度の出力画像を超解像処理により生成する工程と、
   を有することを特徴とする画像生成方法。
2. 前記結像光学系の異なる瞳部分領域の数をＮｐ、前記結像光学系の絞り値をＦ、前記副画素の周期をΔｘとしたときに、前記撮像面と前記仮想結像面の距離がＮｐＦΔｘ以下であることを特徴とする請求項１に記載の画像生成方法。
3. 前記結像光学系の絞り値をＦ、許容錯乱円の径をδとしたときに、前記撮像面と前記仮想結像面の距離が焦点深度Ｆδ以内であることを特徴とする請求項１または請求項２に記載の画像生成方法。
4. 前記複数の視差画像毎のシフトは、シフト量が、Δｘであることを特徴とする請求項２に記載の画像生成方法。
5. 請求項１乃至４のいずれか１項に記載の画像生成方法を行う画像生成手段を有することを特徴とする撮像装置。
6. 請求項１乃至４のいずれか１項に記載の画像生成方法を行う画像生成手段を有することを特徴とする表示装置。
7. コンピュータに、請求項１乃至４のいずれか１項に記載の画像生成方法の各工程を実行させるためのプログラム。
8. コンピュータに、請求項１乃至４のいずれか１項に記載の画像生成方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images