JP2012216992A - 画像再構成装置、画像再構成方法、及び画像再構成プログラム - Google Patents

画像再構成装置、画像再構成方法、及び画像再構成プログラム Download PDF

Info

Publication number
JP2012216992A
JP2012216992A JP2011080746A JP2011080746A JP2012216992A JP 2012216992 A JP2012216992 A JP 2012216992A JP 2011080746 A JP2011080746 A JP 2011080746A JP 2011080746 A JP2011080746 A JP 2011080746A JP 2012216992 A JP2012216992 A JP 2012216992A
Authority
JP
Japan
Prior art keywords
image
pixel
sub
lens
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011080746A
Other languages
English (en)
Other versions
JP5170276B2 (ja
Inventor
Koichi Nakagome
浩一 中込
Tomoaki Nagasaka
知明 長坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2011080746A priority Critical patent/JP5170276B2/ja
Priority to CN201210086391.4A priority patent/CN102857677B/zh
Priority to US13/434,024 priority patent/US8542312B2/en
Publication of JP2012216992A publication Critical patent/JP2012216992A/ja
Application granted granted Critical
Publication of JP5170276B2 publication Critical patent/JP5170276B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】ノイズが少ない再構成画像をレンズアレイ画像から再構成する。
【解決手段】画像再構成装置２１０は、被写体のメインレンズによる光学像を複数のサブレンズを配列したレンズアレイで結像させたレンズアレイ画像を取得する。画像再構成装置２１０は、取得したレンズアレイ画像を構成する第１サブ画像と第２サブ画像とに基づいて、第１サブ画像を結像する第１サブレンズと第２サブ画像を結像する第２サブレンズとの間に第３サブレンズを配置した場合に当該第３サブレンズが結像させる第３サブ画像を補間する補間部２１２を備える。画像再構成装置２１０は、補間された第３サブ画像と第１サブ画像と第２サブ画像とを、所定の距離の位置にピントを合わせたメインレンズで結像される被写体の画像へ再構成する再構成部２１５を備える。
【選択図】図５

Description

本発明は、画像再構成装置、画像再構成方法、及び画像再構成プログラムに関する。
特許文献１には、図２２に示すようなメインレンズＬＭによる被写体の結像を、複数のマイクロレンズの配列（以下、マイクロレンズアレイという）ＬＡ１１でさらに結像した画像（以下、レンズアレイ画像という）を撮影するカメラが開示されている。
また、指定された距離だけ離れた面に対してメインレンズＬＭのピントを合わせた状態で（つまり、事後フォーカスした状態で）、メインレンズＬＭで結像される被写体の画像ＯＢを、１枚のレンズアレイ画像から再構成する技術が知られている。
この技術では、再構成される画像（以下、再構成画像という）ＯＢを構成する画素から光が発せられた場合に当該光が撮像素子面ＤＰに到達する到達点を複数特定し、特定した複数の到達点にそれぞれ存在する撮像素子に対応したレンズアレイ画像の画素値を積分することで、再構成画像ＯＢの画素値が特定される。
特表２００９−５３２９９３号公報
ここで、特許文献１のカメラを構成するマイクロレンズアレイＬＡ１１で結像されるそれぞれの画像には、マイクロレンズのレンズピッチ２ｄｒなどに応じた視差が生じる。この視差によって、画像ＯＢの再構成に必要な画素がレンズアレイ画像から抜けて（つまり、画素抜けが生じて）しまうため、図２３のＮｚ部に示すような周期的に画像の明暗が変化するノイズが再構成画像ＯＢに生じてしまうという問題があった。
本発明は、このような点に鑑みてなされたものであり、その目的とするところは、従来よりもノイズが少ない再構成画像をレンズアレイ画像から再構成できる画像再構成装置、画像再構成方法、及び画像再構成プログラムを提供することにある。
上記目的を達成するため、本発明の観点に係る画像再構成装置は、
第１サブレンズと第２サブレンズとを含む複数のサブレンズを配列したレンズアレイで、被写体のメインレンズによる光学像を結像したレンズアレイ画像を表す情報を取得する画像情報取得手段と、
前記取得された情報で表されるレンズアレイ画像を構成する第１サブ画像と第２サブ画像とに基づいて、前記第１サブ画像を結像させた第１サブレンズと前記第２サブ画像を結像させた第２サブレンズとの間に第３サブレンズを配置した場合に当該第３サブレンズが結像させる第３サブ画像を補間する補間手段と、
前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得手段と、
前記補間された第３サブ画像と、前記取得された情報で表される第１サブ画像と第２サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成手段と、
前記再構成された画像を表す情報を出力する画像情報出力手段と、を備える、
ことを特徴とする。
本発明によれば、ノイズが少ない再構成画像をレンズアレイ画像から再構成できる。
本発明の実施形態に係る画像再構成装置を搭載したデジタルカメラの一例を示すハードウェア構成図である。 デジタルカメラが有するレンズアレイの一例を表す図である。 ライトフィールド画像の一例を表す図である。 画像再構成装置が実行する画像再構成処理の一例を表すフローチャートである。 （ａ）は、画像再構成装置が有する機能の一例を表す機能ブロック図である。（ｂ）は、補間部が有する機能の一例を表すブロック図である。 エピポーラ平面の一例を表す図である。 画像再構成装置が実行するエピポーラ画像ＥＳ生成処理の一例を表すフローチャートである。 （ａ）は、エピポーラ画像ＥＳの一例を表す図である。（ｂ）は、エピポーラ画像ＥＴの一例を表す図である。 ライトフィールド画像におけるエピポーラ面上の画素ラインの一例を表す図である。 エピポーラ画像ＥＳｍｋの一例を詳細に表す図である。 補間されるレンズアレイの一例を表す図である。 補間されるライトフィールド画像の一例を表す図である。 補間エピポーラ画像ＣＥＳｍｋの一例を表す図である。 画像再構成装置が実行する角度Ｓ推定処理の一例を表すフローチャートである。 推定角度Ｓテーブルの一例を表す図である。 画像再構成装置が実行する画素Ｓ補間処理の一例を表すフローチャートである。 直線推定方法の一例を説明するための図である。 補間画素テーブルの一例を表す図である。 補間エピポーラ画像ＣＥＴｎｌの一例を表す図である。 画像再構成装置が実行する再構成画像生成処理の一例を表すフローチャートである。 直線推定方法の他例を説明するための図である。 デジタルカメラが備える光学装置の一例を表す図である。 再構成画像に生じるノイズの一例を表す図である。
以下、本発明の実施形態に係る画像再構成装置２１０について、添付図面を参照しつつ説明する。
本発明の実施形態に係る画像再構成装置２１０は、図１（ａ）に示すようなデジタルカメラ１に搭載されている。画像再構成装置２１０は、デジタルカメラ１で撮像された１枚の画像から、任意の距離にピントを合わせた画像を再構成する。
デジタルカメラ１は、図１（ａ）に示すように、撮像部１００、本発明に係る画像再構成装置２１０で構成されるデータ処理部２００、及びインタフェース部（Ｉ／Ｆ部と図示する）３００から構成される。
撮像部１００は、デジタルカメラ１の撮像動作を行う部分であり、光学装置１１０及びイメージセンサ１２０で構成されている。光学装置１１０は、図２２に示すような、メインレンズＬＭと、メインレンズＬＭで結像された光学像をさらに結像するレンズアレイＬＡ１１と、不図示の絞り機構及びシャッタ機構を含み、撮像に係る光学的動作を行う。
レンズアレイＬＡ１１は、図２に示すようなサブレンズ（以下、マイクロレンズという）Ｌ１１からＬＭＮを縦方向に（つまり、副走査方向に）２ｄｒピッチでＭ個、横方向に（つまり、主走査方向に）２ｄｒピッチでＮ個配列されている。
図１（ａ）のイメージセンサ１２０は、例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子）やＣＭＯＳ（Complementally Metal Oxide Semiconductor：相補型金属酸化物半導体）などの撮像素子から構成される。イメージセンサ１２０は、光学装置１１０のレンズアレイＬＡ１１によって集光された入射光に応じた電気信号を生成し、生成した電気信号をデータ処理部２００に出力する。
データ処理部２００は、撮像部１００によって生成されたアナログ電気信号を信号処理することで、レンズアレイＬＡ１１で結像された、図３に示すようなレンズアレイ画像（以下、ライトフィールド画像ともいう）ＬＦ１１を示すデジタルデータ（つまり、画像データ）を生成し、生成した画像に対して各種の画像処理を行う。
データ処理部２００は、画像再構成装置２１０、画像処理部２２０、記憶部２３０、及び画像出力部２４０から構成される。画像再構成装置２１０は、例えば、図１（ｂ）に示すようなＣＰＵ（Central Processing Unit）２１０ａ、ＲＡＭ（Random Access Memory）２１０ｂ、ＲＯＭ（Read Only Memory）２１０ｃ、及びＩ／Ｏポート２１０ｄを備えるＬＳＩ（Large Scale Integration）で構成される。
ＣＰＵ２１０ａは、ＲＯＭ２１０ｃに保存されたプログラムに従ってソフトウェア処理を実行することで、画像再構成装置２１０を含むデジタルカメラ１の各部を制御（つまり、全体制御）する。ＲＡＭ２１０ｂは、ＣＰＵ２１０ａによるプログラムの実行時において、処理対象とする情報（データ）を一時的に記憶する。Ｉ／Ｏポート２１０ｄは、画像再構成装置２１０と接続する各部とＣＰＵ２１０ａとの間でデータの入出力を行う。
画像処理部２２０は、例えば、バッファメモリ、ＡＤ（Analog/Digital）コンバータ、及び画像処理用のプロセッサで構成される。画像処理部２２０のＡＤコンバータは、イメージセンサ１２０から出力されたアナログ電気信号をデジタル信号に変換する。その後、画像処理部２２０のプロセッサは、いわゆる現像処理を行うことで、例えば、ＪＰＥＧ（Joint Photographic Experts Group）やビットマップなどの画像データを生成し、生成した画像データを記憶部２３０へ保存する。
記憶部２３０は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）やフラッシュメモリなどの記憶装置から構成され、画像処理部２２０によって生成された画像データや、画像再構成装置２１０によって生成された画像データなどを記憶する。
画像出力部２４０は、例えば、液晶表示コントローラやＲＧＢ信号の生成回路などから構成され、画像再構成装置２１０から出力された画像データや、記憶部２３０に記憶された画像データをＲＧＢ信号などに変換した後に、ＲＧＢ信号を後述する表示部３２０などに出力する。
インタフェース部３００は、デジタルカメラ１とその使用者（つまり、ユーザ）あるいは外部装置とのインタフェースに係る構成であり、外部インタフェース部３１０、表示部３２０、及び操作部３３０で構成される。
外部インタフェース部３１０は、例えば、ＵＳＢ（Universal Serial Bus）コネクタやビデオ出力端子などから構成され、外部のコンピュータ装置に対する画像データの出力、外部のモニタ装置に対する画像の表示出力、記録媒体からのプログラムのアップロード、画像データの読み出し、及び記録媒体への画像データの書き込み等を行う。
表示部３２０は、例えば、液晶表示装置や有機ＥＬ（Electro Luminescence）ディスプレイなどから構成される。表示部３２０は、デジタルカメラ１を操作するために必要な種々の画面や、画像出力部２４０からの画像信号（ＲＧＢ信号）などに基づいて各種画像等を表示する。
操作部３３０は、デジタルカメラ１の外面上に構成されている各種ボタンなどによって構成され、デジタルカメラ１のユーザによる操作に応じた操作信号を生成し、生成した操作信号を画像再構成装置２１０に入力する。
画像再構成装置２１０の制御部２１０は、図４に示すような画像再構成処理を実行することで、図５（ａ）に示すような画像情報取得部２１１、補間部２１２、距離情報取得部２１４、再構成部２１５、及び画像情報出力部２１６として機能する。尚、図５（ａ）の補間部２１２は、図５（ｂ）に示すような抽出部２１２ａ、生成部２１２ｂ、直線推定部２１２ｃ、画素推定部２１２ｄ、及び画素値決定部２１２ｅを有する。
図４の画像再構成処理を開始すると、図５（ａ）の距離情報取得部２１４は、各種の設定値を取得する設定値取得処理を実行する（ステップＳ０１）。具体的には、距離情報取得部２１４は、ユーザが操作する図１の操作部３３０から、デジタルカメラ１とメインレンズＬＭがピントを合わせるピント位置との距離を表す距離情報を取得する。尚、デジタルカメラ１とピント位置との距離は、図２２のメインレンズＬＭからピント位置までの被写体距離であるとして説明を行う。また、距離情報取得部２１４は、図１（ａ）の記憶部２３０から予め定められた内部パラメタ（つまり、デジタルカメラ１によって定まる定数）を表す各種情報を取得する。
ステップＳ０１の後に、画像情報取得部２１１は、図１の記憶部２３０から、撮像されたライトフィールド画像ＬＦ１１を表す画像データを読み出す（ステップＳ０２）。
ここで、ライトフィールド画像ＬＦ１１について説明を行う。
図３のライトフィールド画像ＬＦ１１は、図２のレンズアレイＬＡ１１を構成するマイクロレンズＬ１１からＬＭＮでそれぞれ結像されたサブ画像（以下、サブイメージという）Ｓ１１からＳＭＮで構成される。このサブイメージＳ１１からＳＭＮには、それぞれ視差が生じている。
具体例として、サブイメージＳｍｎ（但し、ｍ＝１からＭ、ｎ＝１からＮ−１）とサブイメージＳｍｎ＋１との視差について説明する。図２に示すように、サブイメージＳｍｎを結像したレンズＬｍｎの中心は、サブイメージＳｍｎ＋１を結像したレンズＬｍｎ＋１の中心から、主走査方向に（つまり、＋ｓ軸方法に）レンズピッチ２ｄｒだけ離れた点である。すなわち、図６に示すように、レンズＬｍｎ＋１で決まる光学中心Ｏｍｎ＋１は、レンズＬｍｎで決まる光学中心Ｏｍｎからレンズピッチ２ｄｒだけ主走査方向に（つまり、世界座標系の＋ｘ軸方向に）離れた点である。
このため、光学中心Ｏｍｎと、光学中心Ｏｍｎ＋１と、被写体ＯＪ上の点Ｐとで定まるエピポーラ面ＯｍｎＯｍｎ＋１Ｐは、主走査方向（つまり、ｘ軸方向に平行なｕｖ画像座標系のｕ軸）に平行である。このｕ軸に平行なエピポーラ面ＯｍｎＯｍｎ＋１Ｐ上には、当該被写体ＯＪ上の点ＰがサブイメージＳｍｎとして表された点Ｐｍｎと、サブイメージＳｍｎ＋１として表された点Ｐｍｎ＋１とが存在する。この点Ｐｍｎと点Ｐｍｎ＋１とのｕｖ画像座標系における差異が視差である。つまり、サブイメージＳｍｎにおけるエピポーラ面ＯｍｎＯｍｎ＋１Ｐ上の画素列（以下、画素ラインという）と、サブイメージＳｍｎ＋１におけるエピポーラ面ＯｍｎＯｍｎ＋１Ｐ上の画素ラインとでは、視差は、主走査方向（つまり、ｕ軸方向）にのみ生じる。
図４のステップＳ０２の後に、図５（ａ）の補間部２１２は、図７に示すようなエピポーラ画像ＥＳ生成処理を実行する（ステップＳ０３）。ここで、エピポーラ画像ＥＳ生成処理とは、ステップＳ０２で読み出された画像データで表されるライトフィールド画像ＬＦ１１から、図８（ａ）に示すようなエピポーラ画像ＥＳ１１からＥＳＭＫを生成する処理をいう。
ここで、図９に示すように、ライトフィールド画像ＬＦ１１のｓｔ画像座標系の＋ｓ方向（つまり、主走査方向）が、ライトフィールド画像ＬＦ１１のサブイメージＳ１１からＳＭＮにおけるｕｖ画像座標系のｕ軸方向と平行であり、＋ｔ方向（つまり、副走査方向）がｖ軸方向と平行であるとする。このとき、サブイメージＳｍ１からＳｍＮのｓ方向の画素数（つまり、ピクセル数）がＬであり、ｔ方向の画素数がＫであるとする（但し、通常、画素数がＫとＬとは、同じ値である）。このため、ｓ方向に平行なエピポーラ面（以下、エピポーラＳ面という）に対して、ｔ座標値が小さい面ほど小さい番号ｋ（ｋ＝１からＫ）を割り振る。
この場合に、図８（ａ）のエピポーラ画像ＥＳｍｋ（但し、ｍ＝１からＭ、ｋ＝１からＫ）は、図９に示すようなライトフィールド画像ＬＦ１１のサブイメージＳｍ１からＳｍＮにおけるｋ番目のエピポーラＳ面上の画素ラインを、ｓ座標値が小さい画素ラインほど小さい段数となるようにｔ方向に並べた画像（つまり、段数が大きい画素ラインほど、ｓ座標値が大きくなるように並べた画像）となる。
図７のエピポーラ画像ＥＳ生成処理を開始すると、図５（ａ）の補間部２１２が有する抽出部２１２ａは、変数ｍの値を値「1」で初期化する（ステップＳ３１）。次に、抽出部２１２ａは、変数ｍの値が値Ｍ以下（副走査方向に並んだマイクロレンズの数以下）であるか否かを判別する（ステップＳ３２）。
このとき、変数ｍの値が値Ｍ以下であると判別すると（ステップＳ３２；Ｙｅｓ）、抽出部２１２ａは、変数ｋの値を値「1」で初期化する（ステップＳ３３）。次に、抽出部２１２ａは、変数ｋの値が値Ｋ以下（副走査方向のサブイメージの画素数以下）であるか否かを判別する（ステップＳ３４）。
このとき、変数ｋの値が値Ｋ以下であると判別すると（ステップＳ３４；Ｙｅｓ）、抽出部２１２ａは、変数ｎの値を値「1」で初期化する（ステップＳ３５）。次に、抽出部２１２ａは、変数ｎの値が値Ｎ以下（主走査方向に並んだマイクロレンズの数以下）であるか否かを判別する（ステップＳ３６）。
このとき、変数ｎの値が値Ｎ以下であると判別すると（ステップＳ３６；Ｙｅｓ）、抽出部２１２ａは、サブイメージＳｍｎからｋ番のエピポーラＳ面上の画素ラインを抽出し、図５（ｂ）の生成部２１２ｂは、抽出された画素ラインをｎ段目としたエピポーラ画像ＥＳｍｋを生成する（ステップＳ３７）。
次に、抽出部２１２ａは、変数ｎの値を値「1」だけインクリメントした後に（ステップＳ３８）、ステップＳ３６から上記処理を繰り返す。
ステップＳ３６において、変数ｎの値が値Ｎより大きいと判別すると（ステップＳ３６；Ｎｏ）、抽出部２１２ａは、変数ｋの値を値「1」だけインクリメントした後に（ステップＳ３９）、ステップＳ３４から上記処理を繰り返す。
ステップＳ３４において、変数ｋの値が値Ｋより大きいと判別すると（ステップＳ３４；Ｎｏ）、抽出部２１２ａは、変数ｍの値を値「1」だけインクリメントした後に（ステップＳ４０）、ステップＳ３２から上記処理を繰り返す。
ステップＳ３２において、変数ｍの値が値Ｍより大きいと判別すると（ステップＳ３２；Ｎｏ）、抽出部２１２ａは、エピポーラ画像ＥＳ生成処理を終了する。
ここで、エピポーラ画像ＥＳ生成処理の実行によって生成されたエピポーラ画像ＥＳｍｋ（但し、ｍ＝１からＭ、ｋ＝１からＫ）について、図１０を参照しながら説明する。
エピポーラ画像ＥＳｍｋは、サブイメージＳｍ１からＳｍＮにおけるｋ番目のエピポーラＳ面上の画素ラインを、図１０に示すようにＮ段並べたものであり、ｎ段目（但し、ｎ＝１からＮ）の画素ラインは、サブイメージＳｍｎから抽出されたものである。
ここで、サブイメージＳｍｎ（但し、ｎ＝１からＮ−１）とサブイメージＳｍｎ＋１との視差は、図６に示した光学中心Ｏｍｎと光学中心Ｏｍｎ＋１との距離（つまり、マイクロレンズＬｍｎとマイクロレンズＬｍｎ＋１とのレンズピッチ２ｄｒ）と、光学中心Ｏｍｎ及び光学中心Ｏｍｎ＋１から被写体ＯＪ上の点Ｐまでの距離（つまり、被写体距離）と、その他の内部パラメタとで定まる。また、図２に示したように、マイクロレンズＬｍ１からＬｍＮは、それぞれ主走査方向にレンズピッチ２ｄｒで並んでおり、マイクロレンズＬｍ１からＬｍＮの中心（つまり、光学中心）は、それぞれ被写体ＯＪ上の点Ｐまで略同一の距離だけ離れており、その他の内部パラメタは変化しない。
これらのため、同一のエピポーラＳ面におけるサブイメージＳｍｎとサブイメージＳｍｎ＋１との視差は、同一のエピポーラＳ面におけるサブイメージＳｍｎ−１とサブイメージＳｍｎとの視差と略同一である。よって、サブイメージＳｍｎ−１、Ｓｍｎ、及びＳｍｎ＋１に、被写体ＯＪ上の点Ｐを写した点Ｐｍｎ−１、Ｐｍｎ、及びＰｍｎ＋１がある場合には、図１０に示すように、エピポーラ画像ＥＳｍｋのｎ−１段目の画素ラインにおける点Ｐｍｎ−１を表す画素のｕ座標値と、ｎ段目の画素ラインにおける点Ｐｍｎを表す画素のｕ座標値との差異が、当該点Ｐｍｎのｕ座標値と、ｎ＋１段目の画素ラインにおける点Ｐｍｎ＋１を表す画素のｕ座標値との差異に略一致する。このため、これらの点Ｐｍｎ−１、点Ｐｍｎ、及び点Ｐｍｎ＋１は、エピポーラ画像ＥＳｍｋにおいてそれぞれ同一直線上に存在する。
次に、図１１に示すように、レンズアレイＬＡ１１のレンズピッチ２ｄｒをＨ等分したピッチ２ｄｒ／Ｈだけ、レンズアレイＬＡ１１の位置から＋ｓ方向に移動した位置にレンズアレイＬＡ１１と同様のレンズ構成を有するレンズアレイＬＡ１２を配置したと仮定する。同様に、ピッチ２×（２ｄｒ／Ｈ）だけ、レンズアレイＬＡ１１の位置から＋ｓ方向に移動した位置にレンズアレイＬＡ１１と同様のレンズ構成を有するレンズアレイＬＡ１３を配置したと仮定し、以下同様に、レンズアレイＬＡ１Ｈまでを配置したと仮定する。
この場合、レンズアレイＬＡ１１のマイクロレンズＬｍｎ（但し、ｍ＝１からＭ、ｎ＝１からＮ−１）と、レンズアレイＬＡ１１のマイクロレンズＬｍｎ＋１との間に、レンズアレイＬＡ１２のマイクロレンズＬｍｎ、レンズアレイＬＡ１３のマイクロレンズＬｍｎ、・・・及びレンズアレイＬＡ１ＨのマイクロレンズＬｍｎという（Ｈ−１）個のマイクロレンズが、＋ｓ方向に順に等間隔で補間される。
ここで、サブイメージＳ１１からＳＭＮのｓ方向の画素数がＬであるため、配置が仮定されるレンズアレイＬＡ１２からＬＡ１Ｈでそれぞれ結像されるライトフィールド画像ＬＦ１２からＬＦ１Ｈは、図１２に示すように、ライトフィールド画像ＬＦ１１を＋ｓ方向へＬ／Ｈ、２×（Ｌ／Ｈ）、・・・（Ｈ−１）×（Ｌ／Ｈ）だけそれぞれシフトさせた位置に結像される。
つまり、撮像されたライトフィールド画像ＬＦ１１のサブイメージＳｍｎ（但し、ｍ＝１からＭ、ｎ＝１からＮ−１）と、ライトフィールド画像ＬＦ１１のサブイメージＳｍｎ＋１との間に、ライトフィールド画像ＬＦ１２のサブイメージＳｍｎ、ライトフィールド画像ＬＦ１３のサブイメージＳｍｎ、・・・及びライトフィールド画像ＬＦ１ＨのサブイメージＳｍｎという（Ｈ−１）個のサブイメージが＋ｓ方向に順に等間隔で補間される。
このため、（Ｈ−１）個のサブイメージを補間するための処理について以下、説明する。
図４のステップＳ０３の後に、補間エピポーラ画像ＣＥＳ生成処理を実行する（ステップＳ０４）。この処理は、図１３に示すように、図１０のエピポーラ画像ＥＳｍｋ（但し、ｍ＝１からＭ、ｋ＝１からＫ）におけるライトフィールド画像ＬＦ１１のサブイメージＳｍｎ（但し、ｎ＝１からＮ−１）のｋ番目の画素ラインが格納された段と、ライトフィールド画像ＬＦ１１のサブイメージＳｍｎ＋１のｋ番目の画素ラインが格納された段との間の段に、（Ｈ−１）個の段を挿入する。この挿入された（Ｈ−１）個の段には、段数が少ない順に、ライトフィールド画像ＬＦ１２のサブイメージＳｍｎのｋ番目の画素ライン、ライトフィールド画像ＬＦ１３のサブイメージＳｍｎのｋ番目の画素ライン、・・・ライトフィールド画像ＬＦ１ＨのサブイメージＳｍｎのｋ番目の画素ラインであって、未だ画素値が決定されていない（Ｈ−１）個の画素の列が格納されている。この（Ｈ−１）個の画素ラインが挿入された画像を、補間エピポーラ画像ＣＥＳｍｋという。
ここで、ライトフィールド画像ＬＦ１ｈ（但し、ｈ＝１からＨ−１）のサブイメージＳｍｎのｋ番目の画素ラインと、ライトフィールド画像ＬＦ１ｈ＋１のサブイメージＳｍｎのｋ番目の画素ラインとの視差は、レンズアレイＬＡ１ｈのマイクロレンズＬｍｎとレンズアレイＬＡ１ｈ＋１のマイクロレンズＬｍｎとのレンズピッチ２ｄｒ／Ｈと、これらマイクロレンズＬｍｎから被写体ＯＪ上の点Ｐまでの距離（つまり、被写体距離）と、内部パラメタとで定まる。このレンズピッチと点Ｐまでの距離と内部パラメタとは一定であるため、変数ｈが１からＨ−１までのどの値であっても、ライトフィールド画像ＬＦ１ｈのサブイメージＳｍｎのｋ番目の画素ラインと、ライトフィールド画像ＬＦ１ｈ＋１のサブイメージＳｍｎのｋ番目の画素ラインとの視差は略一定である。
ここで、図１３に示すように、ライトフィールド画像ＬＦ１１のサブイメージＳｍｎ及びＳｍｎ＋１に、被写体ＯＪ上の点Ｐを写した点Ｐｍｎ及びＰｍｎ＋１がある場合には、補間されるライトフィールド画像ＬＦ１２のサブイメージＳｍｎ、・・・及びライトフィールド画像ＬＦ１ＨのサブイメージＳｍｎに、被写体ＯＪ上の点Ｐを写した点Ｐ１２ｍｎ、点Ｐ１３ｍｎ、・・・点Ｐ１Ｈｍｎ（以下、これらを点Ｐｍｎの対応点という）が存在する。
ここで、上記のように視差が略一定であるので、補間エピポーラ画像ＣＥＳｍｋにおける点Ｐｍｎを表す画素のｕ座標値と点Ｐ１２ｍｎを表す画素のｕ座標値との差異、点Ｐ１２ｍｎを表す画素のｕ座標値と点Ｐ１３ｍｎを表す画素のｕ座標値との差異、・・・及び点Ｐ１Ｈｍｎを表す画素のｕ座標値と点Ｐｍｎ＋１を表す画素のｕ座標値との差異がそれぞれ略一致する。このため、これらの点Ｐｍｎ、点Ｐ１２ｍｎ、・・・点Ｐ１Ｈｍｎ、及び点Ｐｍｎ＋１は、補間エピポーラ画像ＣＥＳｍｋにおいてそれぞれ同一直線上に存在する。
この直線を、以下、対応画素直線という。対応画素直線は、当該直線が通過する画素と、ｕ座標軸（ｖ座標軸でも良い）とが成す角度θとで特定される。ここで、被写体ＯＪ上の点Ｐが異なれば、マイクロレンズＬｍｎから被写体ＯＪ上の点Ｐまでの距離が異なるので、点Ｐを写した点Ｐｍｎ、点Ｐ１２ｍｎ、点Ｐ１３ｍｎ・・・点Ｐ１Ｈｍｎ、及びＰｍｎ＋１のｕ座標値の差異（つまり、視差）が異なる。このため、対応画素直線の角度θは、当該直線が通過する画素で表される被写体ＯＪ上の点Ｐによって異なる角度となる。
よって、図４のステップＳ０４の後に、図５（ｂ）の直線推定部２１２ｃは、補間エピポーラ画像ＣＥＳｍｋの対応画素直線の角度を推定する、図１４に示すような角度Ｓ推定処理を実行する（ステップＳ０５）。図１４の角度Ｓ推定処理を開始すると、直線推定部２１２ｃは、変数ｍの値を値「1」で初期化する（ステップＳ４１）。次に、直線推定部２１２ｃは、変数ｍの値が値Ｍ以下であるか否かを判別する（ステップＳ４２）。
このとき、変数ｍの値が値Ｍ以下であると判別すると（ステップＳ４２；Ｙｅｓ）、直線推定部２１２ｃは、変数ｋの値を値「1」で初期化する（ステップＳ４３）。次に、直線推定部２１２ｃは、変数ｋの値が値Ｋ以下であるか否かを判別する（ステップＳ４４）。
このとき、変数ｋの値が値Ｋ以下であると判別すると（ステップＳ４４；Ｙｅｓ）、直線推定部２１２ｃは、変数ｎの値を値「1」で初期化する（ステップＳ４５）。次に、直線推定部２１２ｃは、変数ｎの値が値Ｎ以下であるか否かを判別する（ステップＳ４６）。
このとき、変数ｎの値が値Ｎ以下であると判別すると（ステップＳ４６；Ｙｅｓ）、直線推定部２１２ｃは、変数ｌの値を値「1」で初期化する（ステップＳ４７）。次に、直線推定部２１２ｃは、変数ｌの値が値Ｌ以下であるか否かを判別する（ステップＳ４８）。
このとき、変数ｌの値が値Ｌ以下であると判別すると（ステップＳ４８；Ｙｅｓ）、直線推定部２１２ｃは、図１３に示した補間エピポーラ画像ＣＥＳｍｋにおける、ライトフィールド画像ＬＦ１１のサブイメージＳｍｎのｋ番目の画素列のｌ番目の画素（つまり、ｕ座標値がｌ番目に小さい画素）Ｅ１１ｎｌを通る角度θの直線ＥＰＬの評価値Ｌｉｎe（θ）を、以下の式（１）を用いて算出する（ステップＳ４９）。この評価値は、画素Ｅ１１ｎｌを通る角度θの直線ＥＰＬ上の画素ｑが、画素Ｅ１１ｎｌと相違している程度を表す指標である。
但し、ＥＰＩは、画素Ｅ１１ｎｌを通る直線上の画素の集合であり、ｑは、当該集合の要素であり、Ｑは、当該集合の要素数であり、Ｉｑは、要素ｑ（つまり、当該直線上の画素）の画素値であり、Ｉ１１ｎｌは、画素Ｅ１１ｎｌの画素値である。
尚、上記式（１）において、画素Ｅ１１ｎｌの画素値Ｉ１１ｎｌと、直線上の画素ｑの画素値Ｉｑとの差の絶対値の総和を、直線上の画素数Ｑで除算するのは、直線の角度が相違すると、直線上の画素ｑの数が相違するためである（つまり、正規化するためである）。
直線推定部２１２ｃは、複数の角度θについて評価値Ｌｉｎｅ（θ）を算出した後に、最も小さい評価値の算出に用いられた角度θを最適角度θ＊とする。次に、直線推定部２１２ｃは、最適角度θ＊を、画素Ｅ１１ｎｌを通過する対応画素直線の角度と推定する。
ここで、上述したように、画素Ｅ１１ｎｌで表される点Ｐまでの距離（つまり、被写体距離）が異なれば、画素Ｅ１１ｎｌを通過する対応画素直線の角度θが異なるので、最適角度θ＊は、被写体距離（つまり、奥行き情報）を示す指標として機能する。また、評価値Ｌｉｎｅ（θ＊）は、対応画素直線の角度θが角度θ＊であることがどの程度妥当であるかを表す指標値として機能する。
このため、図１４のステップＳ４９の後に、直線推定部２１２ｃは、評価値Ｌｉｎｅ（θ＊）が予め定められた閾値ｔｈ以上であるか否か判別する（ステップＳ５０）。このとき、直線推定部２１２ｃは、評価値Ｌｉｎｅ（θ＊）が予め定められた閾値ｔｈ以上であると判別すると（ステップＳ５０；Ｙｅｓ）、図１（ａ）の記憶部２３０が記憶する、図１５の推定角度Ｓテーブルへ、補間エピポーラ画像ＣＥＳｍｋを識別する情報（以下、補間エピポーラ画像ＩＤという）と、対応画素直線が通る画素Ｅ１１ｎｌ識別する情報（以下、画像ＩＤという）と、推定角度θ＊を表す情報とを対応付けて保存する（ステップＳ５１）。尚、補間エピポーラ画像ＩＤは、変数ｍの値及び変数ｋの値で表される。また、画像ＩＤは、変数ｎの値及び変数ｌの値で表される。
また、閾値ｔｈを表す情報は、記憶部２３０に予め記憶されている。この閾値ｔｈは、当業者が実験により最適な値に定めることができる。また、閾値ｔｈは、ユーザに操作された操作部３３０から出力される信号に基づいて、ユーザによって指定された値に設定されても良い。
図１４のステップＳ５０において、直線推定部２１２ｃは、評価値Ｌｉｎｅ（θ＊）が予め定められた閾値ｔｈより小さいと判別すると（ステップＳ５０；Ｎｏ）、図１５の推定角度Ｓテーブルへ推定角度θ＊を表す情報を保存せず、推定角度θ＊が不明であることを表す情報と、補間エピポーラ画像ＩＤと、画像ＩＤとを対応付けて保存する。
複数のサブイメージＳｍｋにおける複数の画素が同じ被写体ＯＪ上の点Ｐを表すとしても、当該点Ｐが、被写体ＯＪにおけるコントラストが十分高い領域にあれば、点Ｐを表すこれらの画素の画素値の差異が所定値よりも小さくなることは少ない。これに対して、当該点Ｐが、例えば、白い壁などのコントラストが十分高くない領域にあると、当該領域にある異なる複数の点であっても、これらの点を表す画素の画素値の差異は、所定値よりも小さくなる。このため、直線推定部２１２ｃは、評価値Ｌｉｎｅ（θ＊）が予め定められた閾値ｔｈより小さいと判別すると、画素Ｅ１１ｎｌを通過する角度θ＊の直線が、被写体ＯＪ上の同じ点Ｐを表す複数の画素を通過する直線でない可能性があると判断し、図１５の推定角度Ｓテーブルへ推定角度θ＊が不明であることを表す情報を保存する。
その後、又はステップＳ５１の後に、直線推定部２１２ｃは、変数ｌの値を値「1」だけインクリメントした後に（ステップＳ５２）、ステップＳ４８から上記処理を繰り返す。
ステップＳ４８において、変数ｌの値が値Ｌより大きいと判別すると（ステップＳ４８；Ｎｏ）、抽出部２１２ａは、変数ｎの値を値「1」だけインクリメントした後に（ステップＳ５３）、ステップＳ４６から上記処理を繰り返す。
ステップＳ４６において、変数ｎの値が値Ｎより大きいと判別すると（ステップＳ４６；Ｎｏ）、抽出部２１２ａは、変数ｋの値を値「1」だけインクリメントした後に（ステップＳ５４）、ステップＳ４４から上記処理を繰り返す。
ステップＳ４４において、変数ｋの値が値Ｋより大きいと判別すると（ステップＳ４４；Ｎｏ）、抽出部２１２ａは、変数ｍの値を値「1」だけインクリメントした後に（ステップＳ５５）、ステップＳ４２から上記処理を繰り返す。
ステップＳ４２において、変数ｍの値が値Ｍより大きいと判別すると（ステップＳ４２；Ｎｏ）、抽出部２１２ａは、角度Ｓ推定処理を終了する。
図４のステップＳ０５の後に、対応画素直線であると推定された直線（以下、推定直線という）に基づいて、補間されるライトフィールド画像ＬＦ１ｈ（但し、ｈ＝２からＨ）の画素値を決定する、図１６に示すような画素Ｓ補間処理が実行される（ステップＳ０６）。
図５（ｂ）の画素推定部２１２ｄは、図１４のステップＳ４１からステップＳ４８と同様の処理を実行する（ステップＳ６１からステップＳ６８）。
ステップＳ６８において、変数ｌの値が値Ｌ以下であると判別すると（ステップＳ６８；Ｙｅｓ）、画素推定部２１２ｄは、図１５の推定角度Ｓテーブルから、補間エピポーラ画像ＣＥＳｍｋの補間エピポーラ画像ＩＤ（つまり、変数ｍの値及び変数ｋの値）と、画素Ｅ１１ｎｌの画像ＩＤ（つまり、変数ｎの値及び変数ｌの値）とに対応付けられた推定角度θ＊を表す情報を取得する（ステップＳ６９）。
次に、画素推定部２１２ｄは、推定角度θ＊を表す情報を取得したか否か（つまり、変数ｍ、変数ｋ、変数ｎ、及び変数ｌの値に対応した推定角度θ＊を表す情報が保存されているか否か）を判別する（ステップＳ７０）。このとき、画素推定部２１２ｄは、推定角度θ＊を表す情報を取得したと判別すると（ステップＳ７０；Ｙｅｓ）、変数ｈを値「2」で初期化する（ステップＳ７１）。
次に、画素推定部２１２ｄは、変数ｈの値が値Ｈ以下であるか否かを判別する（ステップＳ７２）。このとき、変数ｈの値が値Ｈ以下であると判別すると（ステップＳ７２；Ｙｅｓ）、画素推定部２１２ｄは、ライトフィールド画像ＬＦ１ｈのサブイメージＳｍｎの画素列と、推定直線との交点に基づき対応画素を推定する（ステップＳ７３）。
具体的には、図１７に示すように、画素推定部２１２ｄは、補間エピポーラ画像ＣＥＳｍｋにおける、補間されたライトフィールド画像ＬＦ１ｈのサブイメージＳｍｎのｋ番目の画素列を構成するｌ番目の画素の中心点をＣｈｌとする。画素推定部２１２ｄは、この中心点Ｃｈ１からＣｈＬを通るｕ軸と平行な直線（以下、補間画素ラインという）と、対応画素直線とが交わる点ＣＰｈを特定する。その後、画素推定部２１２ｄは、交点ＣＰｈを挟む２つの中心点Ｃｈａと中心点Ｃｈｂを特定する。画素推定部２１２ｄは、２つの中心点Ｃｈａと中心点Ｃｈｂをそれぞれ中心とする画素Ｅ１ｈｎａと画素Ｅ１ｈｎｂとを、画素Ｅ１１ｎｌで表される点Ｐｎｍの対応点Ｐ１ｈｍｎを表す画素であるとそれぞれ推定する。
図１６のステップＳ７３の後に、図５（ｂ）の画素値決定部２１２ｅは、画素Ｅ１１ｎｌの画素値Ｉ１１ｎｌに基づき、ステップＳ７３で特定された対応画素Ｅ１ｈｎａと画素Ｅ１ｈｎｂの画素値を決定する（ステップＳ７４）。
具体的には、画素値決定部２１２ｅは、特定された中心点Ｃｈａから交点ＣＰｈまでの距離ｒｈａと、中心点Ｃｈｂから交点ＣＰｈまでの距離ｒｈｂとを算出する。次に、画素値決定部２１２ｅは、以下の式（２）及び（３）をそれぞれ用いて、対応画素Ｅ１ｈｎａの画素値Ｉ１ｈｎａに加算する値ΔＩ１ｈｎａと、対応画素Ｅ１ｈｎｂの画素値Ｉ１ｈｎｂに加算する値ΔＩ１ｈｎｂを決定する。
ΔＩ１ｈｎａ＝ｒｈｂ／（ｒｈａ＋ｒｈｂ）×Ｉ１１ｎｌ・・・（２）
ΔＩ１ｈｎｂ＝ｒｈａ／（ｒｈａ＋ｒｈｂ）×Ｉ１１ｎｌ・・・（３）
但し、ｒｈｂ／（ｒｈａ＋ｒｈｂ）と、ｒｈａ／（ｒｈａ＋ｒｈｂ）とは、重み付け係数である。
その後、画素値決定部２１２ｅは、図１の記憶部２３０から、補間されたライトフィールド画像（以下、補間ライトフィールド画像という）ＬＦ１ｈを構成する画素の画素値が保存された、図１８に示すような補間画素テーブルを参照する。この補間画素テーブルには、補間ライトフィールド画像ＬＦ１ｈを構成する画素ラインで構成された補間エピポーラ画像ＣＥＳｍｋ（但し、ｍ＝１からＭ、ｋ＝１からＫ）の補間エピポーラ画像ＩＤと、当該画素ラインを構成する画素の画素ＩＤと、当該画素の画素値を表す情報とが対応付けられて保存されている。
このため、画素値決定部２１２ｅは、変数ｍの値及び変数ｋの値で表される補間エピポーラ画像ＩＤと、変数ｎの値及び特定された値ａとで表される対応画素Ｅ１ｈｎａの画素ＩＤとに対応付けられた画素値Ｉ１ｈｎａを表す情報を取得する。次に、画素値決定部２１２ｅは、画素値Ｉ１ｈｎａに対して加算値ΔＩ１ｈｎａを加算した値を、対応画素Ｅ１ｈｎａの画素値Ｉ１ｈｎａと再決定する。
同様に、画素値決定部２１２ｅは、補間エピポーラ画像ＩＤと、対応画素Ｅ１ｈｎｂの画素ＩＤとに対応付けられた画素値Ｉ１ｈｎｂを表す情報を取得する。次に、画素値決定部２１２ｅは、画素値Ｉ１ｈｎｂに対して加算値ΔＩ１ｈｎｂを加算した値を、対応画素Ｅ１ｈｎｂの画素値Ｉ１ｈｎｂと再決定する（ステップＳ７４）。尚、補間画素テーブルに保存された画素値Ｉ１ｈｎｌ（但し、ｎ＝１からＮ、ｌ＝１からＬ）の一例であるＲ値、Ｇ値、及びＢ値は、画素Ｓ補間処理の開始時に全て値「0」で初期化されている。
その後、画素値決定部２１２ｅは、決定した画素値I１ｈｎａを表す情報で、補間エピポーラ画像ＩＤと、対応画素Ｅ１ｈｎａの画素ＩＤとに対応付けられた情報を更新する。同様に、画素値決定部２１２ｅは、決定した画素値I１ｈｎｂを表す情報で、補間エピポーラ画像ＩＤと、対応画素Ｅ１ｈｎｂの画素ＩＤとに対応付けられた情報を更新する（ステップＳ７５）。
その後、画素推定部２１２ｄは、変数ｈの値を値「1」だけインクリメントした後に（ステップＳ７６）、ステップＳ７２から上記処理を繰り返す。
ステップＳ７０において、推定角度θ＊を表す情報を取得しなかったと判別した場合（ステップＳ７０；Ｎｏ）、又はステップＳ７２において、変数ｈの値が値Ｈより大きいと判別した場合（ステップＳ７２；Ｎｏ）、画素推定部２１２ｄは、図１４のステップＳ５２からステップＳ５５と同様の処理を実行した後に（ステップＳ７７からステップＳ８０）、画素Ｓ補間処理の実行を終了する。
図４のステップＳ０６の後に、補間部２１２は、画素値Ｉ１ｈｎｌ（但し、ｈ＝２からＨ、ｎ＝１からＮ、ｌ＝１からＬ）が決定された補間エピポーラ画像ＣＥＳｍｋ（但し、ｍ＝１からＭ、ｋ＝１からＫ）に基づいて、補間ライトフィールド画像ＬＦ１２からＬＦ１Ｈを生成する補間ライトフィールド画像Ｓ生成処理を実行する（ステップＳ０７）。その後、補間部２１２は、生成した補間ライトフィールド画像ＬＦ１２からＬＦ１Ｈをそれぞれ表す画像データを、図１の記憶部２３０へ保存する。
以上の処理により、レンズアレイＬＡ１１で結像されたライトフィールド画像ＬＦ１１に基づいて、レンズアレイＬＡ１２からＬＡ１Ｈが配置された場合に結像される、図１２に示すような補間ライトフィールド画像ＬＦ１２からＬＦ１Ｈが生成された。
以降の処理では、レンズアレイＬＡ１１のレンズピッチ２ｄｒをＩ等分したピッチ２ｄｒ／Ｉだけ、レンズアレイＬＡ１１の位置から＋ｔ方向に移動した位置にレンズアレイＬＡ１１と同様のレンズ構成を有するレンズアレイＬＡ２１を配置したと仮定する。同様に、レンズアレイＬＡ３１からレンズアレイＬＡＩ１までを配置したと仮定し、レンズアレイＬＡ２１からレンズアレイＬＡＩ１でそれぞれ結像される補間ライトフィールド画像ＬＦ２１からＬＦＩ１が、撮像されたライトフィールド画像ＬＦ１１に基づいて生成される。
その後、レンズアレイＬＡ２２からレンズアレイＬＡＩ２の配置を仮定し、補間ライトフィールド画像ＬＦ２２からＬＦＩ２が補間ライトフィールド画像ＬＦ１２に基づいて生成される。同様に、レンズアレイＬＡ２３からレンズアレイＬＡＩＨの配置を仮定し、補間ライトフィールド画像ＬＦ２３からＬＦＩＨが生成される。
図４のステップＳ０７の後に、補間部２１２は、変数ｈの値を値「1」で初期化する（ステップＳ０８）。次に、補間部２１２は、変数ｈの値が値Ｈ以下であるか否かを判別する（ステップＳ０９）。このとき、補間部２１２は、変数ｈの値が値Ｈ以下であると判別すると（ステップＳ０９；Ｙｅｓ）、ステップＳ０２と同様に、図１の記憶部２３０から、ライトフィールド画像ＬＦ１ｈの画像データを読み出す（ステップＳ１０）。
次に、補間部２１２は、ステップＳ０３と同様のエピポーラ画像ＥＴ生成処理を実行する（ステップＳ１１）。このエピポーラ画像ＥＳ生成処理は、ステップＳ１０で読み出された画像データで表されるライトフィールド画像ＬＦ１ｈから、図８（ｂ）に示すようなエピポーラ画像ＥＴ１１からＥＴＮＬを生成する処理をいう。
具体的には、補間部２１２は、図９に示すように、ｔ方向に平行なエピポーラ面（以下、エピポーラＴ面という）に対して、ｓ座標値が小さい面ほど小さい番号ｌ（ｌ＝１からＬ）を割り振る。この場合に、図８（ｂ）のエピポーラ画像ＥＴｎｌ（但し、ｎ＝１からＮ、ｌ＝１からＬ）は、図９に示すようなライトフィールド画像ＬＦ１ｈのサブイメージＳ１ｎからＳＭｎにおけるｌ番目のエピポーラＴ面上の画素ラインを、ｔ座標値が小さい画素ラインほど小さい段数となるようにｓ方向に並べた画像（つまり、段数が大きい画素ラインほど、ｔ座標値が大きくなるように並べた画像）となる。
図４のステップＳ１１の後に、ステップＳ０４と同様に、補間部２１２は、補間エピポーラ画像ＣＥＴ生成処理を実行する（ステップＳ１２）。この処理は、図１９に示すように、エピポーラ画像ＥＴｎｌ（但し、ｎ＝１からＮ、ｌ＝１からＬ）におけるライトフィールド画像ＬＦ１ｈのサブイメージＳｍｎ（但し、ｍ＝１からＭ−１）のｌ番目の画素ラインが格納された段と、ライトフィールド画像ＬＦ１ｈのサブイメージＳｍ＋１ｎのｌ番目の画素ラインが格納された段との間の段に、（Ｉ−１）個の段を挿入する。この挿入された（Ｉ−１）個の段には、段数が少ない順に、ライトフィールド画像ＬＦ２ｈのサブイメージＳｍｎのｌ番目の画素ライン、ライトフィールド画像ＬＦ３ｈのサブイメージＳｍｎのｌ番目の画素ライン、・・・ライトフィールド画像ＬＦＩｈのサブイメージＳｍｎのｌ番目の画素ラインであって、未だ画素値が決定されていない（Ｉ−１）個の画素の列が格納されている。この（Ｉ−１）個の画素ラインが挿入された画像を、補間エピポーラ画像ＣＥＴｎｌという。
図４のステップＳ１２の後に、図５（ｂ）の直線推定部２１２ｃは、ステップＳ０５と同様に、補間エピポーラ画像ＣＥＴｍｌの対応画素直線の角度を推定する角度Ｔ推定処理を実行する（ステップＳ１３）。
次に、図５（ｂ）の画素推定部２１２ｄ及び画素値決定部２１２ｅで、ステップＳ１３において推定された推定直線に基づいて、補間ライトフィールド画像ＬＦｉｈ（但し、ｉ＝２からＩ）の画素値を決定する画素Ｔ補間処理が実行される（ステップＳ１４）。
その後に、補間部２１２は、ステップＳ１４において、画素値Ｉｉｈｍｋ（但し、ｉ＝２からＩ、ｍ＝１からＭ、ｋ＝１からＫ）が決定された補間エピポーラ画像ＣＥＴｎｌ（但し、ｎ＝１からＮ、ｌ＝１からＬ）に基づいて、補間ライトフィールド画像ＬＦ２ｈからＬＦＩｈを生成する補間ライトフィールド画像Ｔ生成処理を実行する（ステップＳ１５）。
その後、補間部２１２は、変数ｈの値を値「1」だけインクリメントした後に、ステップＳ０９から上記処理を繰り返す。
ステップＳ０９において、変数ｈの値が値Ｈより大きいと判別されると（ステップＳ０９；Ｎｏ）、図５（ａ）の再構成部２１５は、ステップＳ０１で取得された距離情報で表される距離だけ離れたピント位置にピントを合わせた（つまり、事後フォーカスした）メインレンズＬＭで結像される被写体の画像（つまり、再構成画像）ＯＢを、ライトフィールド画像ＬＦ１１からＬＦＩＨに基づいて生成する、図２０に示すような再構成画像生成処理を実行する（ステップＳ１７）。
図２０の再構成画像生成処理を開始すると、再構成部２１５は、再構成画像ＯＢを構成する全ての画素に対して、以下のステップＳ８２などの処理を実行したか否かを判別する（ステップＳ８１）。このとき、再構成部２１５は、全ての画素を処理した訳ではないと判別すると（ステップＳ８１；Ｎｏ）、再構成画像ＯＢを構成する複数の画素の内で、未処理の画素を注目画素とする（ステップＳ８２）。
次に、再構成部２１５は、変数ｈの値を値「1」で初期化する（ステップＳ８３）。次に、再構成部２１５は、変数ｈの値が値Ｈ以下であるか否かを判別する（ステップＳ８４）。このとき、再構成部２１５は、変数ｈの値が値Ｈ以下であると判別すると（ステップＳ８４；Ｙｅｓ）、変数ｉの値を値「1」で初期化する（ステップＳ８５）。次に、再構成部２１５は、変数ｉの値が値Ｉ以下であるか否かを判別する（ステップＳ８６）。
このとき、再構成部２１５は、変数ｉの値が値Ｉ以下であると判別すると（ステップＳ８６；Ｙｅｓ）、変数ｍの値を値「1」で初期化する（ステップＳ８７）。次に、再構成部２１５は、変数ｍの値が値Ｍ以下であるか否かを判別する（ステップＳ８８）。このとき、再構成部２１５は、変数ｍの値が値Ｍ以下であると判別すると（ステップＳ８８；Ｙｅｓ）、変数ｎの値を値「1」で初期化する（ステップＳ８９）。次に、再構成部２１５は、変数ｎの値が値Ｎ以下であるか否かを判別する（ステップＳ９０）。
このとき、再構成部２１５は、変数ｎの値が値Ｎ以下であると判別すると（ステップＳ９０；Ｙｅｓ）、図２２に示すような注目画素の位置ＰＳから光が発せられた場合に、当該光がレンズアレイＬＡｉｈのマイクロレンズＬｍｎを通過して撮像素子面ＥＩへ到達するまでの軌跡を特定し、特定された軌跡を辿る光が撮像素子面ＥＩに到達した到達点ＰＥｍｎに在る撮像素子を特定する（ステップＳ９１）。
具体的には、図２２に示すようなＸ軸方向における注目画素の位置ＰＳと光軸ＯＡとの距離をｘとし、到達点ＰＥｍｎと光軸ＯＡとの距離をｘ’’ｍｎとする。
ここで、ステップＳ０１で取得された内部パラメタには、メインレンズＬＭの焦点距離ｆＭＬ、メインレンズＬＭからマイクロレンズアレイＬＡｉｈまでの距離ｃ１、マイクロレンズアレイＬＡｉｈから撮像素子面ＩＥまでの距離ｃ２、及びレンズピッチ２ｄｒに基づいて算出される光軸ＯＡからマイクロレンズＬｍｎの主点までの距離ｄが含まれている。また、ステップＳ０１で取得された距離情報で表される距離は、メインレンズＬＭからピント位置までの被写体距離ａ１である。
よって、再構成部２１５は、焦点距離ｆＭＬ及び被写体距離ａ１を以下の式（４）に用いて、メインレンズＬＭからメインレンズＬＭの結像面までの距離ｂ１を算出する。
次に、再構成部２１５は、被写体距離ａ１と、上記式（４）を用いて算出された距離ｂ１を以下の式（５）に用いて、光軸ＯＡからメインレンズＬＭの結像点ＰＦまでの距離ｘ’を算出する。
その後、再構成部２１５は、メインレンズＬＭからマイクロレンズアレイＬＡｉｈまでの距離ｃ１と、上記の式（４）を用いて算出された距離ｂ１とを以下の式（６）に用いて、メインレンズＬＭの結像面からマイクロレンズＬｍｎまでの距離ａ２を算出する。
ａ２＝ｃ１−ｂ１・・・（６）
次に、再構成部２１５は、光軸ＯＡからマイクロレンズＬｍｎの主点までの距離ｄ、上記の式（５）を用いて算出された距離ｘ’、マイクロレンズアレイＬＡｉｈから撮像素子面ＩＥまでの距離ｃ２、及び上記の式（６）を用いて算出された距離ａ２を以下の式（７）に用いて、到達点ＰＥｍｎと光軸ＯＡとの距離ｘ’’ｍｎを算出する。
尚、図２２のＺ軸方向の計算式（４）及び（６）は、ガウスの結像公式から導かれる。また、Ｘ軸方法の計算式（５）及び（７）は、三角形の相似関係から導かれる。上記式（５）及び（７）では、記号ｘ、ｘ’、及びｘ’’を用いて、Ｘ軸方向における注目画素の位置ＰＳと光軸ＯＡとの距離、光軸ＯＡからメインレンズＬＭの結像点ＰＦまでの距離、及び到達点ＰＥｍｎと光軸ＯＡとの距離を算出した。これと同様に、上記式（５）及び（７）において記号ｙ、ｙ’、及びｙ’’を用いることで、Ｘ軸及びＺ軸の双方に垂直なＹ軸方向における、注目画素の位置ＰＳと光軸ＯＡとの距離、光軸ＯＡからメインレンズＬＭの結像点ＰＦまでの距離、及び到達点ＰＥｍｎと光軸ＯＡとの距離を算出できる。
図２０のステップＳ９１の後に、再構成部２１５は、特定された到達点ＰＥｍｎに在るイメージセンサ（つまり、撮像素子）１２０に対応するライトフィールド画像ＬＦｉｈのサブイメージＳｍｎ上の画素を特定し、特定された画素の画素値を取得する（ステップＳ９２）。その後、再構成部２１５は、注目画素の画素値に、取得された画素値を加算する（ステップＳ９３）。尚、注目画素の画素値の一例であるＲ値、Ｇ値、及びＢ値は、再構成画像生成処理の開始時に値「0」に初期化されている。
その後、再構成部２１５は、変数ｎの値を値「1」だけインクリメントした後に（ステップＳ９４）、ステップＳ９０から上記処理を繰り返す。
ステップＳ９０において、変数ｎの値が値Ｎより大きいと判別すると（ステップＳ９０；Ｎｏ）、再構成部２１５は、変数ｍの値を値「1」だけインクリメントした後に（ステップＳ９５）、ステップＳ８８から上記処理を繰り返す。
ステップＳ８８において、変数ｍの値が値Ｍより大きいと判別すると（ステップＳ８８；Ｎｏ）、再構成部２１５は、変数ｉの値を値「1」だけインクリメントした後に（ステップＳ９６）、ステップＳ８６から上記処理を繰り返す。
ステップＳ８６において、変数ｉの値が値Ｉより大きいと判別すると（ステップＳ８６；Ｎｏ）、再構成部２１５は、変数ｈの値を値「1」だけインクリメントした後に（ステップＳ９７）、ステップＳ８４から上記処理を繰り返す。
ステップＳ８４において、変数ｈの値が値Ｈより大きいと判別すると（ステップＳ８４；Ｎｏ）、再構成部２１５は、ステップＳ８１から上記処理を繰り返す
ステップＳ８１において、再構成部２１５は、全ての画素を処理したと判別すると（ステップＳ８１；Ｙｅｓ）、再構成画像生成の実行を終了する。
図４のステップＳ１７の後に、図５（ａ）の画像情報出力部２１６は、ステップＳ１７で再構成された再構成画像ＯＢの画像データを、図１（ａ）の表示部３２０へ出力した後に（ステップＳ１８）、画像再構成処理の実行を終了する。尚、画像情報出力部２１６は、図１（ａ）の外部Ｉ／Ｆ部３１０を介して、記録媒体へ再構成画像ＯＢの画像データを格納してもよく、また、他の装置へ再構成画像ＯＢの画像データを出力しても良い。
これらの構成によれば、レンズアレイＬＡ１１のマイクロレンズＬｍｎ（但し、ｍ＝１からＭ、ｎ＝１からＮ−１）とマイクロレンズＬｍｎ＋１との間の位置に、マイクロレンズアレイＬＡ１ｈ（但し、ｈ＝２からＨ）を構成するマイクロレンズＬｍｎが配置されると仮定すると、マイクロレンズアレイＬＡ１１のマイクロレンズＬｍｎとマイクロレンズＬｍｎ＋１とのレンズピッチ２ｄｒよりも、マイクロレンズアレイＬＡ１１のマイクロレンズＬｍｎと、配置が仮定されたマイクロレンズアレイＬＡ１ｈのマイクロレンズＬｍｎとのピッチの方が短くなる。このため、マイクロレンズアレイＬＡ１１のマイクロレンズＬｍｎ及びＬｍｎ＋１でそれぞれ結像されるライトフィールド画像ＬＦ１１のサブイメージＳｍｎとサブイメージＳｍｎ＋１との視差よりも、ライトフィールド画像ＬＦ１１のサブイメージＳｍｎと、補間ライトフィールド画像ＬＦ１ｈのサブイメージＳｍｎとの視差の方が小さくなる。すなわち、これらの構成によれば、ライトフィールド画像ＬＦ１１のサブイメージＳｍｎとサブイメージＳｍｎ＋１との間に、より視差の少ないライトフィールド画像ＬＦ１ｈのサブイメージＳｍｎを補間できる。このため、再構成画像ＯＢのために必要な画素抜けした画素を補間できるので、従来よりも周期的なノイズが少ない再構成画像ＯＢを再構成できる。
また、２つのレンズでそれぞれ結像される画像の視差は、当該２つのレンズのピッチに応じて変化する。このため、これらの構成によれば、ライトフィールド画像ＬＦ１１のサブイメージＳｍｎとサブイメージＳｍｎ＋１との視差に対するライトフィールド画像ＬＦ１１のサブイメージＳｍｎと補間ライトフィールド画像ＬＦ１ｈ（但し、ｈ＝２からＨ）のサブイメージＳｍｎとの視差の比率が、レンズアレイＬＡ１１のマイクロレンズＬｍｎとマイクロレンズＬｍｎ＋１との距離に対するレンズアレイＬＡ１１のマイクロレンズＬｍｎと配置が仮定されるレンズアレイＬＡ１ｈのマイクロレンズＬｍｎとの距離の比率となるようにライトフィールド画像ＬＦ１ｈのサブイメージＳｍｎを補間する。このため、従来よりも精度良くライトフィールド画像ＬＦ１ｈのサブイメージＳｍｎを補間できるので、従来よりもノイズの少ない再構成画像ＯＢを再構成できる。
また、エピポーラ平面上には、被写体ＯＪ上の点Ｐと、当該点Ｐがラインフィールド画像ＬＦ１１のサブイメージＳｍｎに写された点Ｐｍｎと、ラインフィールド画像ＬＦ１１のサブイメージＳｍｎ＋１に写された点Ｐｍｎ＋１とが存在する。また、点Ｐｍｎを表す画素の画素値と、点Ｐｍｎ＋１を表す画素の画素値とは、通常、略同一の画素値である。このため、これらの構成によれば、画素値の相違に基づいて同じ点を表す異なる画像上の画素を精度良く推定できるので、同じ点を表す画素（つまり、点Ｐｍｎを表す画素と点Ｐｍｎ＋１を表す画素と）を通過する直線を従来よりも精度良く推定できる。
また、上記エピポーラ平面上には、点Ｐｍｎ及び点Ｐｍｎ＋１の他に、被写体ＯＪ上の点Ｐが補間ラインフィールド画像ＬＦ１ｈ（但し、ｈ＝２からＨ）のサブイメージＳｍｎに写された点Ｐ１ｈｍｎが存在する。さらに、レンズアレイＬＡ１ｈのマイクロレンズＬｍｎは、レンズアレイＬＡ１１のマイクロレンズＬｍｎとマイクロレンズＬｍｎ＋１との間に配置されると仮定されるので、エピポーラ平面上において、点Ｐ１ｈｍｎは、点Ｐｍｎと点Ｐｍｎ＋１との間に位置する。このため、これらの構成によれば、推定された直線が通過する点Ｐｍｎと点Ｐｍｎ＋１との間にある画素を、点Ｐを表す画素として推定するので、従来よりも精度良く点Ｐを表す画素を推定できる。
またこれらの構成によれば、図１４のステップＳ５０において、評価値Ｌｉｎｅ（θ＊）が予め定められた閾値ｔｈより小さいと判別されると（ステップＳ５０；Ｎｏ）、画素Ｅ１１ｎｌを通過する角度θ＊の直線が、被写体ＯＪ上の同じ点Ｐを表す複数の画素を通過する直線でない可能性があると判断し、図１５の推定角度Ｓテーブルへ推定角度θ＊が不明であることを表す情報を保存する。また、図１６のステップＳ７０において、推定角度Ｓテーブルから推定角度θ＊が取得されないと、画素Ｅ１１ｎｌと同じ被写体ＯＪ上の点Ｐを表した画素（つまり、対応画素）の画素値を決定しない。このため、従来よりも精度良くライトフィールド画像ＬＦ１ｈを補間できるので、ノイズの少ない再構成画像を生成できる。
本実施形態において、図５（ａ）の補間部２１２は、図４のステップＳ０２からステップＳ０７の処理において、撮像されたライトフィールド画像ＬＦ１１に基づいて補間ライトフィールド画像ＬＦ１２からＬＦ１Ｈを生成してから、変数ｈを値「1」とし、ステップＳ１０からステップＳ１６において、補間ライトフィールド画像ＬＦ２１からＬＦＩ１をライトフィールド画像ＬＦ１１に基づいて生成するとして説明した。またその後、補間部２１２は、変数ｈを値「2」としてからステップＳ１０からステップＳ１６の処理を繰り返すことで、補間ライトフィールド画像ＬＦ１２からＬＦ１Ｈに基づいて補間ライトフィールド画像ＬＦｉｈ（但し、ｉ＝２からＩ、ｈ＝２からＨ）を生成するとして説明した。
しかし、これに限定される訳ではなく、補間部２１２は、補間ライトフィールド画像ＬＦ１２からＬＦ１Ｈ及びＬＦ２１からＬＦＩ１を生成した後に、ステップＳ０２からステップＳ０７の処理を繰り返すことで、補間ライトフィールド画像ＬＦ２１からＬＦＩ１に基づいて補間ライトフィールド画像ＬＦｉｈ（但し、ｉ＝２からＩ、ｈ＝２からＨ）を生成しても良い。
また、補間部２１２は、補間ライトフィールド画像ＬＦ１２からＬＦ１Ｈ及びＬＦ２１からＬＦＩ１を生成した後に、補間ライトフィールド画像ＬＦ１ｈの各画素と（但し、ｈ＝２からＨ）、補間ライトフィールド画像ＬＦｉ１の対応する各画素と（但し、ｉ＝２からＩ）を足して値「2」で除算した値を、補間ライトフィールド画像ＬＦｉｈの各画素の画素値とすることで、補間ライトフィールド画像ＬＦｉｈを生成しても良い。具体例として、補間部２１２は、補間ライトフィールド画像ＬＦ１２の各画素と、補間ライトフィールド画像ＬＦ２１の対応する各画素とを足して値「2」で除算した値を、補間ライトフィールド画像ＬＦ２２の各画素の画素値とする例を挙げることができる。また他の具体例として、補間部２１２は、補間ライトフィールド画像ＬＦ１３の各画素と、補間ライトフィールド画像ＬＦ２１の対応する各画素とを足して値「2」で除算した値を、補間ライトフィールド画像ＬＦ２３の各画素の画素値とする例を挙げることができる。
＜変形例＞
本実施形態において、図５（ｂ）の直線推定部２１２ｃは、図１７に示すように、補間エピポーラ画像ＣＥＳｍｋ（但し、ｍ＝１からＭ、ｋ＝１からＫ）を構成するライトフィールド画像ＬＦ１１の画素Ｅ１１ｎｌ（但し、ｎ＝１からＮ、ｌ＝１からＬ）を通る複数の直線から、対応画素直線と推定される直線を特定するとして説明した。また、図５（ｂ）の画素値決定部２１２ｅは、対応画素直線と推定された直線（つまり、推定直線）と、中心点Ｃｈ１からＣｈＬを通る補間画素ラインとの交点ＣＰｈに基づいて決定された画素Ｅ１ｈｎａの画素値Ｉ１ｈｎａと画素Ｅ１ｈｎｂの画素値Ｉ１ｈｎｂとを画素Ｅ１１ｎｌの画素値に基づいて決定するとして説明した。
しかし、直線推定部２１２ｃは、図２１に示すように、補間エピポーラ画像ＣＥＳｍｋを構成する補間ライトフィールド画像ＬＦ１ｈの画素Ｅ１ｈｎｌを通る複数の直線から、対応画素直線と推定される直線を特定する構成を採用できる。この構成において、直線推定部２１２ｃは、画素Ｅ１ｈｎｌを通る角度θの直線ＥＰＬの評価値Ｌｉｎe（θ）を、以下の式（８）及び（９）を用いて算出し、算出した評価値を最小にする最適角度θ＊を特定する。
但し、ＥＰＩは、画素Ｅ１ｈｎｌを通る直線上の画素の集合であり、ｑは、当該集合の要素であり、Ｑは、当該集合の要素数であり、Ｉｑは、要素ｑの画素値である。
また、画素値決定部２１２ｅは、上記の式（９）で算出された最適角度θ＊の平均画素値Ａｖｅｒａｇｅ（θ＊）を画素Ｅ１ｈｎｌの画素値Ｉ１ｈｎｌとして決定しても良い。さらに、再構成部２１５は、最適角度θ＊の評価値Ｌｉｎe（θ＊）が閾値ｔｈより小さい場合には、当該最適角度θ＊で特定される直線が通過する画素の画素値を画像ＯＢの再構成に使用しないとしても良い。
本実施形態の変形例によれば、補間ライトフィールド画像ＬＦ１ｈの画素Ｅ１ｈｎｌを通る推定直線上の画素の画素値Ｉｑに基づいて画素Ｅ１ｈｎｌの画素値を決定するため、本実施形態よりも少ない計算量で精度良く画素Ｅ１ｈｎｌの画素値を決定できる。また、最適角度θ＊の評価値Ｌｉｎe（θ＊）が閾値ｔｈより小さい場合には、当該最適角度θ＊で特定される直線が通過する画素の画素値を画像ＯＢの再構成に使用しないため、ノイズの少ない画像ＯＢを生成できる。
本発明の実施形態及び変形例は、それぞれ互いに組み合わせることができる。
尚、本実施形態又は本実施形態の変形例を実現するための構成を予め備えた画像再構成装置２１０として提供できることはもとより、プログラムの適用により、既存の画像再構成装置を本実施形態又は本実施形態の変形例に係る画像再構成装置２１０として機能させることもできる。すなわち、本実施形態又は本実施形態の変形例で例示した画像再構成装置２１０による各機能構成を実現させるための画像再構成プログラムを、既存の画像再構成装置を制御するコンピュータ（ＣＰＵなど）が実行できるように適用することで、本実施形態又は本実施形態の変形例に係る画像再構成装置２１０として機能させることができる。
このようなプログラムの配布方法は任意であり、例えば、メモリカード、ＣＤ−ＲＯＭ、又はＤＶＤ−ＲＯＭなどの記録媒体に格納して配布できる他、インタネットなどの通信媒体を介して配布することもできる。
また、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。つまり、本発明のいくつかの実施形態を説明したが、上述した実施形態は本発明を説明するためのものであり、本発明の範囲を限定するものではない。本発明の範囲は、実施形態ではなく、特許請求の範囲に記載された発明とその均等の範囲を含む。
以下に本願出願の当初の特許請求の範囲に記載された発明を付記する。
（付記１）
第１サブレンズと第２サブレンズとを含む複数のサブレンズを配列したレンズアレイで、被写体のメインレンズによる光学像を結像したレンズアレイ画像を表す情報を取得する画像情報取得手段と、
前記取得された情報で表されるレンズアレイ画像を構成する第１サブ画像と第２サブ画像とに基づいて、前記第１サブ画像を結像させた第１サブレンズと前記第２サブ画像を結像させた第２サブレンズとの間に第３サブレンズを配置した場合に当該第３サブレンズが結像させる第３サブ画像を補間する補間手段と、
前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得手段と、
前記補間された第３サブ画像と、前記取得された情報で表される第１サブ画像と第２サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成手段と、
前記再構成された画像を表す情報を出力する画像情報出力手段と、を備える、
ことを特徴とする画像再構成装置。
（付記２）
前記補間手段は、前記取得された情報で表される前記第１サブ画像の画素値と前記第２サブ画像の画素値とに基づいて前記第１サブ画像と前記第２サブ画像との視差を特定し、前記特定された視差に対する前記第１サブ画像と前記第３サブ画像との視差の比率が、前記第１サブレンズと前記第２サブレンズとの距離に対する前記第１サブレンズと第３サブレンズとの距離の比率となるように、前記第３サブ画像を補間する、
ことを特徴とする付記１に画像再構成装置。
（付記３）
前記補間手段は、
前記取得された情報で表される前記第１サブ画像と前記第２サブ画像とから同一のエピポーラ平面上の第１画素列と第２画素列とを抽出する抽出手段と、
前記抽出された前記第１画素列、前記第３サブ画像の前記エピポーラ平面上の第３画素列、及び前記第２画素列を、前記エピポーラ平面の法線方向に順に並べたエピポーラ画像を生成する生成手段と、
前記エピポーラ画像を構成する前記第１画素列における第１画素を通過する複数の直線から、前記第２画素列を構成する複数の画素の内で前記第１画素によって表される前記被写体上の点と同じ点を表す第２画素を通過する直線を、前記第１画素の画素値と当該第２画素の画素値との相違に基づいて推定する直線推定手段と、
前記第３画素列を構成する複数の画素の内で、前記推定された直線が通過する画素を、前記第１画素及び前記第２画素によって表される前記被写体上の点と同じ点を表す画素と推定する画素推定手段と、
前記推定された画素の画素値を、前記第１画素の画素値に基づいて決定する画素値決定手段と、を有する、
ことを特徴とする付記１又は２に記載の画像再構成装置。
（付記４）
前記補間手段は、
前記取得された情報で表される前記第１サブ画像と前記第２サブ画像とから同一のエピポーラ平面上の第１画素列と第２画素列とを抽出する抽出手段と、
前記抽出された前記第１画素列、前記第３サブ画像の前記エピポーラ平面上の第３画素列、前記抽出された前記第２画素列を、前記エピポーラ平面の法線方向に順に並べたエピポーラ画像を生成する生成手段と、
前記エピポーラ画像を構成する前記第３画素列上の所定の画素を通過する複数の直線から、前記被写体上の同じ点を表す前記第１画素列上の第１画素と、前記第２画素列上の第２画素とを通過する直線を、前記第１画素の画素値と前記第２画素の画素値との相違に基づいて推定する直線推定手段と、
前記所定の画素の画素値を、前記推定された直線が通過する前記第１画素の画素値と前記第２画素の画素値とに基づいて決定する画素値決定手段と、を有する、
ことを特徴とする付記１又は２に記載の画像再構成装置。
（付記５）
前記直線推定手段は、前記第１画素の画素値と前記第２画素の画素値との相違が所定の閾値よりも小さい場合に、前記第１画素と前記第２画素とを通過する直線を、前記被写体上の同じ点を表す複数の画素を通過する直線でない場合があると推定し、
前記画素値決定手段は、前記第３画素列を構成する画素を、前記被写体上の同じ点を表す複数の画素を通過する直線でない場合があると推定された直線が通過する場合には、当該直線が通過する前記第１画素の画素値及び前記第２画素の画素値に基づいて当該画素の画素値を決定せず、前記被写体上の同じ点を表す複数の画素を通過する直線であると推定された直線が当該画素を通過する場合には、当該直線が通過する前記第１画素列上の画素の画素値及び前記第２画素列上の画素の画素値に基づいて当該画素の画素値を決定する、
ことを特徴とする付記３又は４に記載の画像再構成装置。
（付記６）
前記再構成手段は、前記第３画素列を構成する複数の画素の内で、前記被写体上の同じ点を表す複数の画素を通過する直線でない場合があると推定された直線が通過する画素の画素値を、前記被写体の画像への再構成に利用しない、
ことを特徴とする付記５に記載の画像再構成装置。
（付記７）
第１サブレンズと第２サブレンズとを含む複数のサブレンズを配列したレンズアレイで、被写体のメインレンズによる光学像を結像したレンズアレイ画像を表す情報を取得する画像情報取得ステップと、
前記取得された情報で表されるレンズアレイ画像を構成する第１サブ画像と第２サブ画像とに基づいて、前記第１サブ画像を結像させた第１サブレンズと前記第２サブ画像を結像させた第２サブレンズとの間に第３サブレンズを配置した場合に当該第３サブレンズが結像させる第３サブ画像を補間する補間ステップと、
前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得ステップと、
前記補間された第３サブ画像と、前記取得された情報で表される第１サブ画像と第２サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成ステップと、
前記再構成された画像を表す情報を出力する画像情報出力ステップと、
を含むことを特徴とする画像再構成方法。
（付記８）
コンピュータに、
第１サブレンズと第２サブレンズとを含む複数のサブレンズを配列したレンズアレイで、被写体のメインレンズによる光学像を結像したレンズアレイ画像を表す情報を取得する画像情報取得機能、
前記取得された情報で表されるレンズアレイ画像を構成する第１サブ画像と第２サブ画像とに基づいて、前記第１サブ画像を結像させた第１サブレンズと前記第２サブ画像を結像させた第２サブレンズとの間に第３サブレンズを配置した場合に当該第３サブレンズが結像させる第３サブ画像を補間する補間機能、
前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得機能、
前記補間された第３サブ画像と、前記取得された情報で表される第１サブ画像と第２サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成機能、
前記再構成された画像を表す情報を出力する画像情報出力機能、
を実現させることを特徴とする画像再構成プログラム。
１・・・デジタルカメラ、１００・・・撮像部、１１０・・・光学装置、１２０・・・イメージセンサ、２００・・・データ処理部、２１０ａ・・・ＣＰＵ、２１０ｂ・・・ＲＡＭ、２１０ｃ・・・ＲＯＭ、２１０ｄ・・・Ｉ／Ｏポート、２１０・・・画像再構成装置、２１１・・・画像情報取得部、２１２ａ・・・抽出部、２１２ｂ・・・生成部、２１２ｃ・・・直線推定部、２１２ｄ・・・画素推定部、２１２ｅ・・・画素値決定部、２１２・・・補間部、２１４・・・距離情報取得部、２１５・・・再構成部、２１６・・・画像情報出力部、２２０・・・画像処理部、２３０・・・記憶部、２４０・・・画像出力部、３００・・・インタフェース部、３１０・・・外部インタフェース部、３２０・・・表示部、３３０・・・操作部
この技術では、再構成される画像（以下、再構成画像という）ＯＢを構成する画素から光が発せられた場合に当該光が撮像素子面ＩＥに到達する到達点を複数特定し、特定した複数の到達点にそれぞれ存在する撮像素子に対応したレンズアレイ画像の画素値を積分することで、再構成画像ＯＢの画素値が特定される。
上記目的を達成するため、本発明の観点に係る画像再構成装置は、
被写体のメインレンズによる光学像を、第１サブレンズと第２サブレンズとを含む複数のサブレンズを配列したレンズアレイによって結像したレンズアレイ画像を表す情報を取得する画像情報取得手段と、
前記取得された情報で表されるレンズアレイ画像を構成する第１サブ画像と第２サブ画像とに基づいて、前記第１サブ画像を結像させた第１サブレンズと前記第２サブ画像を結像させた第２サブレンズとの間に第３サブレンズを配置した場合に当該第３サブレンズが結像させる第３サブ画像を補間する補間手段と、
前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得手段と、
前記補間された第３サブ画像と、前記取得された情報で表される第１サブ画像と第２サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成手段と、
前記再構成された画像を表す情報を出力する画像情報出力手段と、を備える、
ことを特徴とする。
具体例として、サブイメージＳｍｎ（但し、ｍ＝１からＭ、ｎ＝１からＮ−１）とサブイメージＳｍｎ＋１との視差について説明する。図２に示すように、サブイメージＳｍｎを結像したレンズＬｍｎの中心は、サブイメージＳｍｎ＋１を結像したレンズＬｍｎ＋１の中心から、主走査方向に（つまり、＋ｓ軸方向に）レンズピッチ２ｄｒだけ離れた点である。すなわち、図６に示すように、レンズＬｍｎ＋１で決まる光学中心Ｏｍｎ＋１は、レンズＬｍｎで決まる光学中心Ｏｍｎからレンズピッチ２ｄｒだけ主走査方向に（つまり、世界座標系の＋ｘ軸方向に）離れた点である。
このため、図１４のステップＳ４９の後に、直線推定部２１２ｃは、評価値Ｌｉｎｅ（θ＊）が予め定められた閾値ｔｈ以上であるか否か判別する（ステップＳ５０）。このとき、直線推定部２１２ｃは、評価値Ｌｉｎｅ（θ＊）が予め定められた閾値ｔｈ以上であると判別すると（ステップＳ５０；Ｙｅｓ）、図１（ａ）の記憶部２３０が記憶する、図１５の推定角度Ｓテーブルへ、補間エピポーラ画像ＣＥＳｍｋを識別する情報（以下、補間エピポーラ画像ＩＤという）と、対応画素直線が通る画素Ｅ１１ｎｌ を識別する情報（以下、画素ＩＤという）と、推定角度θ＊を表す情報とを対応付けて保存する（ステップＳ５１）。尚、補間エピポーラ画像ＩＤは、変数ｍの値及び変数ｋの値で表される。また、画素ＩＤは、変数ｎの値及び変数ｌの値で表される。
図１４のステップＳ５０において、直線推定部２１２ｃは、評価値Ｌｉｎｅ（θ＊）が予め定められた閾値ｔｈより小さいと判別すると（ステップＳ５０；Ｎｏ）、図１５の推定角度Ｓテーブルへ推定角度θ＊を表す情報を保存せず、推定角度θ＊が不明であることを表す情報と、補間エピポーラ画像ＩＤと、画素ＩＤとを対応付けて保存する。
ステップＳ６８において、変数ｌの値が値Ｌ以下であると判別すると（ステップＳ６８；Ｙｅｓ）、画素推定部２１２ｄは、図１５の推定角度Ｓテーブルから、補間エピポーラ画像ＣＥＳｍｋの補間エピポーラ画像ＩＤ（つまり、変数ｍの値及び変数ｋの値）と、画素Ｅ１１ｎｌの画素ＩＤ（つまり、変数ｎの値及び変数ｌの値）とに対応付けられた推定角度θ＊を表す情報を取得する（ステップＳ６９）。
具体的には、図１７に示すように、画素推定部２１２ｄは、補間エピポーラ画像ＣＥＳｍｋにおける、補間されたライトフィールド画像ＬＦ１ｈのサブイメージＳｍｎのｋ番目の画素列を構成するｌ番目の画素の中心点をＣｈｌとする。画素推定部２１２ｄは、この中心点Ｃｈ１からＣｈＬを通るｕ軸と平行な直線（以下、補間画素ラインという）と、対応画素直線とが交わる点ＣＰｈを特定する。その後、画素推定部２１２ｄは、交点ＣＰｈを挟む２つの中心点Ｃｈａと中心点Ｃｈｂを特定する。画素推定部２１２ｄは、中心点Ｃｈａ を中心とする画素Ｅ１ｈｎａと中心点Ｃ ｈｂ を中心とする画素Ｅ１ｈｎｂとを、画素Ｅ１１ｎｌで表される点Ｐ ｍｎ の対応点Ｐ１ｈｍｎを表す画素であるとそれぞれ推定する。
その後、レンズアレイＬＡ２２からレンズアレイＬＡＩ２の配置を仮定し、補間ライトフィールド画像ＬＦ２２からＬＦＩ２が補間ライトフィールド画像ＬＦ１２に基づいて生成される。同様に、レンズアレイＬＡ２Ｈ からレンズアレイＬＡＩＨの配置を仮定し、補間ライトフィールド画像ＬＦ２Ｈ からＬＦＩＨが生成される。
次に、補間部２１２は、ステップＳ０３と同様のエピポーラ画像ＥＴ生成処理を実行する（ステップＳ１１）。このエピポーラ画像ＥＴ生成処理は、ステップＳ１０で読み出された画像データで表されるライトフィールド画像ＬＦ１ｈから、図８（ｂ）に示すようなエピポーラ画像ＥＴ１１からＥＴＮＬを生成する処理をいう。
このとき、再構成部２１５は、変数ｎの値が値Ｎ以下であると判別すると（ステップＳ９０；Ｙｅｓ）、図２２に示すような注目画素の位置ＰＳから光が発せられた場合に、当該光がレンズアレイＬＡｉｈのマイクロレンズＬｍｎを通過して撮像素子面ＩＥへ到達するまでの軌跡を特定し、特定された軌跡を辿る光が撮像素子面ＩＥに到達した到達点ＰＥｍｎに在る撮像素子を特定する（ステップＳ９１）。
尚、図２２のＺ軸方向の計算式（４）及び（６）は、ガウスの結像公式から導かれる。また、Ｘ軸方向の計算式（５）及び（７）は、三角形の相似関係から導かれる。上記式（５）及び（７）では、記号ｘ、ｘ’、及びｘ’’ ｍｎ を用いて、Ｘ軸方向における注目画素の位置ＰＳと光軸ＯＡとの距離、光軸ＯＡからメインレンズＬＭの結像点ＰＦまでの距離、及び到達点ＰＥｍｎと光軸ＯＡとの距離を算出した。これと同様に、上記式（５）及び（７）において記号ｙ、ｙ’、及びｙ’’ ｍｎ を用いることで、Ｘ軸及びＺ軸の双方に垂直なＹ軸方向における、注目画素の位置ＰＳと光軸ＯＡとの距離、光軸ＯＡからメインレンズＬＭの結像点ＰＦまでの距離、及び到達点ＰＥｍｎと光軸ＯＡとの距離を算出できる。
また、エピポーラ平面上には、被写体ＯＪ上の点Ｐと、当該点Ｐがライトフィールド画像ＬＦ１１のサブイメージＳｍｎに写された点Ｐｍｎと、ライトフィールド画像ＬＦ１１のサブイメージＳｍｎ＋１に写された点Ｐｍｎ＋１とが存在する。また、点Ｐｍｎを表す画素の画素値と、点Ｐｍｎ＋１を表す画素の画素値とは、通常、略同一の画素値である。このため、これらの構成によれば、画素値の相違に基づいて同じ点を表す異なる画像上の画素を精度良く推定できるので、同じ点を表す画素（つまり、点Ｐｍｎを表す画素と点Ｐｍｎ＋１を表す画素と）を通過する直線を従来よりも精度良く推定できる。
また、上記エピポーラ平面上には、点Ｐｍｎ及び点Ｐｍｎ＋１の他に、被写体ＯＪ上の点Ｐが補間ライトフィールド画像ＬＦ１ｈ（但し、ｈ＝２からＨ）のサブイメージＳｍｎに写された点Ｐ１ｈｍｎが存在する。さらに、レンズアレイＬＡ１ｈのマイクロレンズＬｍｎは、レンズアレイＬＡ１１のマイクロレンズＬｍｎとマイクロレンズＬｍｎ＋１との間に配置されると仮定されるので、エピポーラ平面上において、点Ｐ１ｈｍｎは、点Ｐｍｎと点Ｐｍｎ＋１との間に位置する。このため、これらの構成によれば、推定された直線が通過する点Ｐｍｎと点Ｐｍｎ＋１との間にある画素を、点Ｐを表す画素として推定するので、従来よりも精度良く点Ｐを表す画素を推定できる。

Claims (8)

  1. 第１サブレンズと第２サブレンズとを含む複数のサブレンズを配列したレンズアレイで、被写体のメインレンズによる光学像を結像したレンズアレイ画像を表す情報を取得する画像情報取得手段と、
    前記取得された情報で表されるレンズアレイ画像を構成する第１サブ画像と第２サブ画像とに基づいて、前記第１サブ画像を結像させた第１サブレンズと前記第２サブ画像を結像させた第２サブレンズとの間に第３サブレンズを配置した場合に当該第３サブレンズが結像させる第３サブ画像を補間する補間手段と、
    前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得手段と、
    前記補間された第３サブ画像と、前記取得された情報で表される第１サブ画像と第２サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成手段と、
    前記再構成された画像を表す情報を出力する画像情報出力手段と、を備える、
    ことを特徴とする画像再構成装置。
  2. 前記補間手段は、前記取得された情報で表される前記第１サブ画像の画素値と前記第２サブ画像の画素値とに基づいて前記第１サブ画像と前記第２サブ画像との視差を特定し、前記特定された視差に対する前記第１サブ画像と前記第３サブ画像との視差の比率が、前記第１サブレンズと前記第２サブレンズとの距離に対する前記第１サブレンズと第３サブレンズとの距離の比率となるように、前記第３サブ画像を補間する、
    ことを特徴とする請求項１に画像再構成装置。
  3. 前記補間手段は、
    前記取得された情報で表される前記第１サブ画像と前記第２サブ画像とから同一のエピポーラ平面上の第１画素列と第２画素列とを抽出する抽出手段と、
    前記抽出された前記第１画素列、前記第３サブ画像の前記エピポーラ平面上の第３画素列、及び前記第２画素列を、前記エピポーラ平面の法線方向に順に並べたエピポーラ画像を生成する生成手段と、
    前記エピポーラ画像を構成する前記第１画素列における第１画素を通過する複数の直線から、前記第２画素列を構成する複数の画素の内で前記第１画素によって表される前記被写体上の点と同じ点を表す第２画素を通過する直線を、前記第１画素の画素値と当該第２画素の画素値との相違に基づいて推定する直線推定手段と、
    前記第３画素列を構成する複数の画素の内で、前記推定された直線が通過する画素を、前記第１画素及び前記第２画素によって表される前記被写体上の点と同じ点を表す画素と推定する画素推定手段と、
    前記推定された画素の画素値を、前記第１画素の画素値に基づいて決定する画素値決定手段と、を有する、
    ことを特徴とする請求項１又は２に記載の画像再構成装置。
  4. 前記補間手段は、
    前記取得された情報で表される前記第１サブ画像と前記第２サブ画像とから同一のエピポーラ平面上の第１画素列と第２画素列とを抽出する抽出手段と、
    前記抽出された前記第１画素列、前記第３サブ画像の前記エピポーラ平面上の第３画素列、前記抽出された前記第２画素列を、前記エピポーラ平面の法線方向に順に並べたエピポーラ画像を生成する生成手段と、
    前記エピポーラ画像を構成する前記第３画素列上の所定の画素を通過する複数の直線から、前記被写体上の同じ点を表す前記第１画素列上の第１画素と、前記第２画素列上の第２画素とを通過する直線を、前記第１画素の画素値と前記第２画素の画素値との相違に基づいて推定する直線推定手段と、
    前記所定の画素の画素値を、前記推定された直線が通過する前記第１画素の画素値と前記第２画素の画素値とに基づいて決定する画素値決定手段と、を有する、
    ことを特徴とする請求項１又は２に記載の画像再構成装置。
  5. 前記直線推定手段は、前記第１画素の画素値と前記第２画素の画素値との相違が所定の閾値よりも小さい場合に、前記第１画素と前記第２画素とを通過する直線を、前記被写体上の同じ点を表す複数の画素を通過する直線でない場合があると推定し、
    前記画素値決定手段は、前記第３画素列を構成する画素を、前記被写体上の同じ点を表す複数の画素を通過する直線でない場合があると推定された直線が通過する場合には、当該直線が通過する前記第１画素の画素値及び前記第２画素の画素値に基づいて当該画素の画素値を決定せず、前記被写体上の同じ点を表す複数の画素を通過する直線であると推定された直線が当該画素を通過する場合には、当該直線が通過する前記第１画素列上の画素の画素値及び前記第２画素列上の画素の画素値に基づいて当該画素の画素値を決定する、
    ことを特徴とする請求項３又は４に記載の画像再構成装置。
  6. 前記再構成手段は、前記第３画素列を構成する複数の画素の内で、前記被写体上の同じ点を表す複数の画素を通過する直線でない場合があると推定された直線が通過する画素の画素値を前記被写体の画像への再構成に利用しない、
    ことを特徴とする請求項５に記載の画像再構成装置。
  7. 第１サブレンズと第２サブレンズとを含む複数のサブレンズを配列したレンズアレイで、被写体のメインレンズによる光学像を結像したレンズアレイ画像を表す情報を取得する画像情報取得ステップと、
    前記取得された情報で表されるレンズアレイ画像を構成する第１サブ画像と第２サブ画像とに基づいて、前記第１サブ画像を結像させた第１サブレンズと前記第２サブ画像を結像させた第２サブレンズとの間に第３サブレンズを配置した場合に当該第３サブレンズが結像させる第３サブ画像を補間する補間ステップと、
    前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得ステップと、
    前記補間された第３サブ画像と、前記取得された情報で表される第１サブ画像と第２サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成ステップと、
    前記再構成された画像を表す情報を出力する画像情報出力ステップと、
    を含むことを特徴とする画像再構成方法。
  8. コンピュータに、
    第１サブレンズと第２サブレンズとを含む複数のサブレンズを配列したレンズアレイで、被写体のメインレンズによる光学像を結像したレンズアレイ画像を表す情報を取得する画像情報取得機能、
    前記取得された情報で表されるレンズアレイ画像を構成する第１サブ画像と第２サブ画像とに基づいて、前記第１サブ画像を結像させた第１サブレンズと前記第２サブ画像を結像させた第２サブレンズとの間に第３サブレンズを配置した場合に当該第３サブレンズが結像させる第３サブ画像を補間する補間機能、
    前記メインレンズがピントを合わせる位置までの距離を表す距離情報を取得する距離情報取得機能、
    前記補間された第３サブ画像と、前記取得された情報で表される第１サブ画像と第２サブ画像とを、前記取得された距離情報で表される距離の位置にピントを合わせた前記メインレンズで結像される前記被写体の画像へ再構成する再構成機能、
    前記再構成された画像を表す情報を出力する画像情報出力機能、
    を実現させることを特徴とする画像再構成プログラム。
JP2011080746A 2011-03-31 2011-03-31 画像再構成装置、画像再構成方法、及び画像再構成プログラム Expired - Fee Related JP5170276B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011080746A JP5170276B2 (ja) 2011-03-31 2011-03-31 画像再構成装置、画像再構成方法、及び画像再構成プログラム
CN201210086391.4A CN102857677B (zh) 2011-03-31 2012-03-28 具有重构图像的功能的装置及方法
US13/434,024 US8542312B2 (en) 2011-03-31 2012-03-29 Device having image reconstructing function, method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011080746A JP5170276B2 (ja) 2011-03-31 2011-03-31 画像再構成装置、画像再構成方法、及び画像再構成プログラム

Publications (2)

Publication Number Publication Date
JP2012216992A true JP2012216992A (ja) 2012-11-08
JP5170276B2 JP5170276B2 (ja) 2013-03-27

Family

ID=46926759

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011080746A Expired - Fee Related JP5170276B2 (ja) 2011-03-31 2011-03-31 画像再構成装置、画像再構成方法、及び画像再構成プログラム

Country Status (3)

Country Link
US (1) US8542312B2 (ja)
JP (1) JP5170276B2 (ja)
CN (1) CN102857677B (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013141100A (ja) * 2011-12-28 2013-07-18 Casio Comput Co Ltd 画像生成装置、デジタルカメラ、方法、及びプログラム
JP2014132433A (ja) * 2012-12-07 2014-07-17 Canon Inc 画像生成装置および画像生成方法
JP2015122588A (ja) * 2013-12-20 2015-07-02 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP2015211372A (ja) * 2014-04-28 2015-11-24 日本電信電話株式会社 画像生成装置及び画像生成プログラム
JP2016116120A (ja) * 2014-12-16 2016-06-23 日本電信電話株式会社 画像補正装置及びコンピュータプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6210687B2 (ja) 2013-01-11 2017-10-11 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351269B1 (en) * 1998-04-17 2002-02-26 Adobe Systems Incorporated Multiple image morphing
JP2007004471A (ja) * 2005-06-23 2007-01-11 Nikon Corp 画像合成方法及び撮像装置
JP2008304331A (ja) * 2007-06-07 2008-12-18 Aruze Corp 三次元座標測定装置及び三次元座標測定装置において実行されるプログラム
JP2009165115A (ja) * 2007-12-12 2009-07-23 Sony Corp 撮像装置
JP2009532993A (ja) * 2006-04-04 2009-09-10 アドビ システムズ インコーポレーテッド 改良型プレノプティック・カメラ

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6606406B1 (en) * 2000-05-04 2003-08-12 Microsoft Corporation System and method for progressive stereo matching of digital images
JP2004120600A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd デジタル双眼鏡
CA2511040A1 (en) * 2004-09-23 2006-03-23 The Governors Of The University Of Alberta Method and system for real time image rendering
WO2007044725A2 (en) * 2005-10-07 2007-04-19 The Board Of Trustees Of The Leland Stanford Junior University Microscopy arrangements and approaches
JP4864632B2 (ja) * 2006-10-12 2012-02-01 株式会社リコー 画像入力装置、画像入力方法、個人認証装置及び電子機器
US8593524B2 (en) * 2006-12-18 2013-11-26 Koninklijke Philips N.V. Calibrating a camera system
US8290358B1 (en) * 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging
US8019215B2 (en) * 2007-08-06 2011-09-13 Adobe Systems Incorporated Method and apparatus for radiance capture by multiplexing in the frequency domain
EP2244484B1 (en) * 2009-04-22 2012-03-28 Raytrix GmbH Digital imaging method for synthesizing an image using data recorded with a plenoptic camera
JP5487298B2 (ja) * 2009-06-11 2014-05-07 株式会社東芝 ３次元画像生成
US8228417B1 (en) * 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
JP2012205015A (ja) * 2011-03-24 2012-10-22 Casio Comput Co Ltd 画像処理装置及び画像処理方法、並びにプログラム
JP5206853B2 (ja) * 2011-09-08 2013-06-12 カシオ計算機株式会社 補間画像生成装置、再構成画像生成装置、補間画像生成方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351269B1 (en) * 1998-04-17 2002-02-26 Adobe Systems Incorporated Multiple image morphing
JP2007004471A (ja) * 2005-06-23 2007-01-11 Nikon Corp 画像合成方法及び撮像装置
JP2009532993A (ja) * 2006-04-04 2009-09-10 アドビ システムズ インコーポレーテッド 改良型プレノプティック・カメラ
JP2008304331A (ja) * 2007-06-07 2008-12-18 Aruze Corp 三次元座標測定装置及び三次元座標測定装置において実行されるプログラム
JP2009165115A (ja) * 2007-12-12 2009-07-23 Sony Corp 撮像装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013141100A (ja) * 2011-12-28 2013-07-18 Casio Comput Co Ltd 画像生成装置、デジタルカメラ、方法、及びプログラム
US8929685B2 (en) 2011-12-28 2015-01-06 Casio Computer Co., Ltd. Device having image reconstructing function, method, and recording medium
JP2014132433A (ja) * 2012-12-07 2014-07-17 Canon Inc 画像生成装置および画像生成方法
JP2015122588A (ja) * 2013-12-20 2015-07-02 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP2015211372A (ja) * 2014-04-28 2015-11-24 日本電信電話株式会社 画像生成装置及び画像生成プログラム
JP2016116120A (ja) * 2014-12-16 2016-06-23 日本電信電話株式会社 画像補正装置及びコンピュータプログラム

Also Published As

Publication number Publication date
US20120249823A1 (en) 2012-10-04
CN102857677B (zh) 2015-06-03
US8542312B2 (en) 2013-09-24
CN102857677A (zh) 2013-01-02
JP5170276B2 (ja) 2013-03-27

Similar Documents

Publication Publication Date Title
JP6347675B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
EP1841207B1 (en) Imaging device, imaging method, and imaging device design method
CN102227746B (zh) 立体图像处理装置、方法和立体成像设备
JP4983905B2 (ja) 撮像装置、３ｄモデリングデータ生成方法、および、プログラム
JP5170276B2 (ja) 画像再構成装置、画像再構成方法、及び画像再構成プログラム
JP2015197745A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
KR101783229B1 (ko) 화상처리장치 및 그 제어 방법
JP2015148532A (ja) 距離計測装置、撮像装置、距離計測方法、およびプログラム
US10356381B2 (en) Image output apparatus, control method, image pickup apparatus, and storage medium
JP6557499B2 (ja) 焦点検出装置およびその制御方法、撮像装置、プログラム、ならびに記憶媒体
TWI508554B (zh) 基於光場相機的影像對焦處理方法及其系統
US10122939B2 (en) Image processing device for processing image data and map data with regard to depth distribution of a subject, image processing system, imaging apparatus, image processing method, and recording medium
WO2020017377A1 (ja) 測距カメラ
JP2007181184A (ja) 撮像装置および撮像方法、並びに撮像装置の設計方法
US10084950B2 (en) Image capturing apparatus
WO2014077024A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5982040B2 (ja) 撮像装置及びその制御方法
JP2016072924A (ja) 画像処理装置及び画像処理方法
JP7113327B1 (ja) 撮像装置
US10769805B2 (en) Method, image processing device, and system for generating depth map
JP2012202942A (ja) 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
JP2013157713A (ja) 画像処理装置および画像処理方法、プログラム
WO2020017209A1 (ja) 測距カメラ
JP5845313B2 (ja) 情報処理装置及びその制御方法
CN117528266A (zh) 图像处理装置、摄像装置、图像处理方法和存储介质

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121217

R150 Certificate of patent or registration of utility model

Ref document number: 5170276

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees