JP2013140450A - 再構成画像生成装置、再構成画像生成方法、及びプログラム - Google Patents
再構成画像生成装置、再構成画像生成方法、及びプログラム Download PDFInfo
- Publication number
- JP2013140450A JP2013140450A JP2011290174A JP2011290174A JP2013140450A JP 2013140450 A JP2013140450 A JP 2013140450A JP 2011290174 A JP2011290174 A JP 2011290174A JP 2011290174 A JP2011290174 A JP 2011290174A JP 2013140450 A JP2013140450 A JP 2013140450A
- Authority
- JP
- Japan
- Prior art keywords
- image
- sub
- reconstructed
- pixel
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
【解決手段】画像取得部3030がライトフィールド画像を取得すると、原型定義部3210が再構成設定記憶部3110が記憶する再構成設定に基づき、再構成画像の原型を定義する。到達点取得部3230が、再構成画素に対応する被写体の部位からの主光線の到達する部位を取得する。MLB重みテーブル取得部3240が、MLBテーブル記憶部3120が記憶するサブレンズの到達した部位と撮影設定と再構成設定とに対応するMLB重みテーブルを取得する。画素値加算部3270が、サブレンズ選択部3250と対応画素特定部3260とが抽出した対応サブ画素を、MLB重みテーブルが定義する重み付け加算して再構成画素の画素値を決定する。
【選択図】図4
Description
被写体を異なる視点から撮影した複数のサブ画像から構成されるライトフィールド画像を取得するライトフィールド画像取得部と、
前記ライトフィールド画像を取得した撮影パラメータを取得する撮影パラメータ取得部と、
前記ライトフィールド画像から再構成した被写体の画像である再構成画像のひな形を定義するひな形定義部と、
前記ひな形定義部が定義した再構成画像を構成する画素である再構成画素と、前記サブ画像の少なくとも一つと、の対応の強さを示す係数である画像重みを定義したテーブルである、前記撮影パラメータ取得部が取得した撮影パラメータに応じるメインテーブルを取得するメインテーブル取得部と、
前記複数のサブ画像を構成するサブ画像画素から、前記ひな形定義部が定義した再構成画像を構成する再構成画素に対応する画素である対応画素を抽出する対応画素抽出部と、
前記再構成画素の画素値を、前記対応画素抽出部が抽出した対応画素の画素値と、前記メインテーブル取得部が取得したメインテーブルが定義する当該再構成画素と当該対応画素の属するサブ画像とに対応する画像重みと、に基づいて求めることにより、前記再構成画像を生成する再構成画像生成部と、
を有することを特徴とする。
実施形態1に係る画像再構成装置30は、図1に示すデジタルカメラ1に搭載されている。デジタルカメラ1は、被写体を撮影して複数のサブ画像からなるライトフィールド画像を得て、任意の再構成画像を生成する機能を備える。画像再構成装置30は、このうち複数のサブ画像からなるライトフィールド画像から再構成画像を生成する機能を担当する。
メインレンズMLは、一又は複数の凸レンズ、凹レンズ、非球面レンズ等から構成され、撮影時の被写体OBの光を光学像としてメインレンズMLとサブレンズアレイSLAとの間の仮想的な結像面MIP上に結像させる。なお、撮影時の被写体OBは一個の物体に限られず、図2に示すようにメインレンズMLからそれぞれ異なる距離だけ離れた複数の構成物であってよい。
有効径EDは、上記フィルタ等の物理構造によって光線が遮られる部位を工場出荷時に測定することで定義できる。
ブロック状の被写体OBを撮影したLFIの一例を図3(a)に示す。
このLFIは、格子状に配置されたM×N個のサブレンズSL(マイクロレンズ)のそれぞれに対応する画像(サブ画像S、S11〜SMN)から構成されている。例えば、左上のサブ画像S11は、被写体OBを左上から撮影した画像に相当し、右下のサブ画像SMNは被写体OBを右下から撮影した画像に相当する。
デジタルカメラ1は、図4(b)に示すように、LFIから本画像として被写体を再構成した再構成画像(RI)を生成する。
なお、本実施形態では各サブ画像Sはグレースケール画像であり、サブ画像を構成する各画素は画素値(スカラー値)を持つ。
画像再構成装置30は、生成した再構成画像を記憶部40の画像記憶部420に記憶する。
主記憶装置は外部記憶装置に記憶されている制御プログラムや情報をロードし、情報処理部20の作業領域として用いられる。
外部記憶装置は、後述する処理を情報処理部20に行わせるための制御プログラムと情報とをあらかじめ記憶し、これらの制御プログラムや情報を情報処理部20の指示に従って主記憶装置に伝達する。また、情報処理部20の指示に従って、情報処理部20の処理に基づく情報とインターフェース部50から伝達された情報とを記憶する。
撮像設定記憶部410は、撮像パラメータを撮像制御部220に伝達する。
また、撮像設定記憶部410は、撮像部10の撮像設定情報を画像処理部210に伝達する。
画像再構成装置30は、図4(a)に示すように情報処理部31aと、主記憶部32と、外部記憶部33と、操作部34と、表示部35と、入出力部36と、内部バス37と、から構成される。
撮影設定情報は、撮像設定情報に含まれる撮像パラメータ(メインレンズMLとサブレンズアレイSLAとの距離、メインレンズの焦点距離fML、露光時間を特定する情報、F値、シャッタ速度)に加え、既存値としてメインレンズの有効径EDと、サブレンズアレイSLAを構成する各サブレンズSLの位置情報と、サブレンズアレイSLAとイメージセンサ120の撮像面IEとの距離とを含む。また、メインレンズMLからサブレンズアレイSLAまでの距離c1、サブレンズアレイSLAから撮像素子の表面(撮像面IE)までの距離c2、各サブレンズの径、各撮像素子のサブレンズに対する相対位置、等の情報を含む。
ここでは、LFIをリフォーカスした画像を再構成する場合について説明する。このとき、再構成設定情報はリフォーカスする旨の情報と、新たな画像のフォーカス点とメインレンズMLとの距離を特定する情報と、を含む。
ここでは、メインレンズMLから距離a1だけ離れた位置に画像をリフォーカスする場合を例にとって説明する。
再構成画像の原型とは、全ての画素値が0(又は未設定)の画像である。
ここで、メインレンズブラー中心MLBCを取得する処理とMLBテーブル記憶部3120が記憶するMLBテーブルの概要を図6及び図7を参照して説明する。
DMLB=ED・a2/b1…(1)
ここで有効径EDは既知の数値である。未知の数値a2とb1は次のように算出する。
b1は既知の数値a1及びfMLを用い、次の式(2)から算出することが出来る。
すなわち、メインレンズブラー径DMLBは、再構成設定が示す再構成面RFとメインレンズMLとの距離a1と、撮影設定情報が示す有効径EDと、メインレンズとサブレンズアレイとの距離c1と、メインレンズの焦点距離fMLによって定まる数である。
その具体的な処理については後述する。
そして、サブレンズSL(0,0)を中心に、Y軸方向にymlX軸方向にxml個だけ移動したサブレンズSLをサブレンズSL(xml,yml)とする。
そこで、本実施形態ではそのサブレンズSLに占めるメインレンズブラーMLBの面積を、各サブレンズSLと注目部位Pとの対応の強さを示す係数(重みWML)として定義する。重みWML(サブ画像重み)は、サブレンズSLに対応するサブ画像と、注目部位に対応する再構成画素と、の対応の強さに相当する。各サブレンズSLが略同一の面積を持つ場合、重みWMLはサブレンズ上でメインレンズブラーが占める割合(0から1までの実数)として定義できる。以下、重みWMLは0から1までの実数であるとして説明する。
なお、各サブレンズが異なる面積を持つ場合は、各レンズの位置情報から、そのサブレンズ上でメインレンズブラーMLBが占める面積を重みWMLとすればよい。
そこで、本実施形態では再構成面への距離a1を示すインデックスであるパラメータaと、中心座標CP(iML,jML)と、に対応するメインレンズブラーの重みWMLのセットを定義したテーブル(MLBテーブル)を定義し、MLBテーブル記憶部3120に予め記憶する。
図7(a)の例では、パラメータaが1〜NaのNa個の値を取り、中心座標CPが(0,0)〜(4,4)の何れかである場合のそれぞれの場合に対応するMLB重みテーブルを示すインデックス(インデックス#01〜インデックス#NaN)を対応付けて記憶している。
図7(b)の例では、MLB重みテーブルは、考慮すべき相対位置にあるサブレンズSL、即ち中心となるサブレンズ(0,0)との相対位置が(+XmlMax,+YmlMax)〜(−XmlMax,−YmlMax)(ここでは(−6,−6)〜(6,6))であるそれぞれのサブレンズSL(xML,yML)について重みWMLを登録したテーブルである。なお、XmlMax及びYmlMaxは予め実験により定められた自然数であり、最大ズームに対応する焦点距離で、設定上可能な最も近い被写体を撮影した場合、すなわち最もメインレンズブラー径が大きくなる場合にメインレンズブラーが覆うサブレンズの数に対応する。
また、再構成面との距離a1が近いほど、メインレンズブラー径DMLBが大きくなるので、より遠いサブレンズSLについて大きい重みWMLが得られる。なお、焦点距離fMLが小さい場合、あるいはメインレンズMLの有効径EDが大きい場合にもメインレンズブラー径DMLBが大きくなるので、その他の条件が同じ場合はより遠いサブレンズSLに大きい重みWMLが対応づけされる。
ユーザが撮像部10を用いて被写体OBを撮影すると、デジタルカメラ1は図8に示す画像出力処理を開始する。
d2=x・c1/a1…(3)
y軸についても同様に計算できる。このようにして、注目部位Pの位置からマイクロレンズブラー中心MLBCの位置を特定する。
被写体距離a1と、距離b1を以下の式(4)に用いて、注目部位PがメインレンズMLを通して結像する点(結像点PF)と光軸OAとの距離x’を算出する
x’=x・b1/a1…(4)
さらに、光軸OAからj番目のサブレンズSLの主点までの距離d、上記の式(4)を用いて算出された距離x’、サブレンズアレイSLAから撮像面IEまでの距離c2、及び結像面MIPからサブレンズアレイSLAまでの距離a2を以下の式(5)に用いて、到達点PEと光軸OAとの距離x’’を算出する。
未処理のサブレンズSLが存在すると判別すると(ステップS305;NO)、カウンタ変数jをインクリメントし(ステップS306)、次のサブレンズを注目サブレンズとしてステップS302から処理を繰り返す。
そして、画素値加算処理1は終了する。
全ての再構成画素について画素値が決定されていないと判別すると(ステップS207;NO)、カウンタ変数iをインクリメントし(ステップS208)、次の注目再構成画素についてステップS202から処理を繰り返す。
一方、全ての再構成画素について画素値を決定したと判別すると(ステップS207;YES)、出力部3040が再構成画素を画像記憶部420に出力して(ステップS209)画像再構成処理は終了する。
そして、デジタルカメラ1及び画像再構成装置30は画像出力処理を終了する。
次に、本発明の実施形態2に係る画像再構成装置31について説明する。画像再構成装置31は、図11に示すデジタルカメラ2に含まれる。
デジタルカメラ2は、実施形態1に係るデジタルカメラ1と比べて、撮像部が図12に示す構成を持つ撮像部11であること、及び画像再構成処理を画像再構成装置31が担う点が異なる。
I/O部300は、実施形態1にかかる画像再構成装置30のI/O部300と同様である。ただし、撮影設定取得部3020が取得する撮影設定情報は、各サブレンズの径(サブレンズ径DSL)と、サブレンズアレイSLAと撮像面IEとの距離c2と、各サブレンズの焦点距離fSBと、を示す情報をさらに含む。サブレンズSLの焦点距離fSBは全て共通であり、デジタルカメラ2に固有の不変値とする。
SLBテーブル記憶部3140は、サブレンズに対応する対応画素に適用される重みWSLを定義するテーブルであるSLBテーブルを記憶する。SLBテーブルについては後述する。
そして、PS(0,0)を中心に、Y軸方向にySlX軸方向にxSl個だけ移動した撮像素子PSをPS(xsl,ysl)とする。
まず既知の数値を変数とする下記式(6)を用いて、サブレンズアレイSLAとサブレンズ結像面SIPとの距離b2を求める。
b2=a2・fSB/(a2−fSB)…(6)
c3=c2−c3…(7)
DSLB=DSL・c3/b2…(8)
図15(a)の例では、SLBインデックステーブルはパラメータaが1〜NaのNa個の値を取り、到達座標EPが(0,0)〜(4,4)の何れかである場合のそれぞれの場合に対応するSLB重みテーブルを示すインデックス(インデックス#01〜インデックス#NaN)を対応付けて記憶している。
また、再構成面との距離a1が小さいほど、メインレンズブラー径DMLBが大きくなるので、より遠いサブレンズSLについて大きい重みWSLが得られる。なお、焦点距離fMLが大きい場合にもサブレンズブラー径DSLBが大きくなるので、その他の条件が同じ場合はより遠い撮像素子PSに大きい重みWSLが対応づけされる。
未処理のサブレンズSLが存在すると判別すると(ステップS407;NO)、カウンタ変数jをインクリメントし(ステップS408)、次のサブレンズを注目サブレンズとしてステップS402から処理を繰り返す。
本発明は、上記実施形態に限定されず、さまざまな変形が可能である。
たとえば、上記実施形態1乃至2では、メインレンズの焦点距離fML及びメインレンズの有効径EDは変化しなかった。しかし、本発明はこれに限らず、焦点距離fML及び有効径EDの何れか、あるいは両方が可変してもよい。
このような場合の光学装置110の構成例を図17に示す。図17の光学装置110は、ユーザが絞り112を操作することにより有効径EDを変化させることが出来る。
このような構成によれば、メインレンズがズームレンズである場合、あるいは絞りを持つ場合でも、撮影時の焦点距離や絞りを考慮して再構成画像を生成することができる。そのため、焦点距離や絞りが変化した場合でも再構成画像の精度が低下しない。
MLBテーブルは、このような条件で重み係数とサブレンズSLとを対応付けた任意のテーブルで代替可能である。
SLBテーブルは、このような条件で重み係数と撮像素子PSとを対応付けた任意のテーブルで代替可能である。
被写体を異なる視点から撮影した複数のサブ画像から構成されるライトフィールド画像を取得するライトフィールド画像取得部と、
前記ライトフィールド画像を取得した撮影パラメータを取得する撮影パラメータ取得部と、
前記ライトフィールド画像から再構成した被写体の画像である再構成画像のひな形を定義するひな形定義部と、
前記ひな形定義部が定義した再構成画像を構成する画素である再構成画素と、前記サブ画像の少なくとも一つと、の対応の強さを示す係数である画像重みを定義したテーブルである、前記撮影パラメータ取得部が取得した撮影パラメータに応じるメインテーブルを取得するメインテーブル取得部と、
前記複数のサブ画像を構成するサブ画像画素から、前記ひな形定義部が定義した再構成画像を構成する再構成画素に対応する画素である対応画素を抽出する対応画素抽出部と、
前記再構成画素の画素値を、前記対応画素抽出部が抽出した対応画素の画素値と、前記メインテーブル取得部が取得したメインテーブルが定義する当該再構成画素と当該対応画素の属するサブ画像とに対応する画像重みと、に基づいて求めることにより、前記再構成画像を生成する再構成画像生成部と、
を有することを特徴とする再構成画像生成装置。
前記ライトフィールド画像は、前記被写体からの光線を捉えるメインレンズと、前記メインレンズが捉えた光線をさらに捉える前記複数の視点のそれぞれに対応する複数のサブレンズと、を用いて撮影され、
前記撮影パラメータは、前記メインレンズの焦点距離を少なくとも含む、
ことを特徴とする付記1に記載の再構成画像生成装置。
前記再構成画像を含む面と前記メインレンズとの距離を示す情報を含む再構成設定を取得する再構成設定取得部をさらに有し、
前記メインテーブル取得部は、前記撮影パラメータ取得部が取得した撮影パラメータと前記再構成設定取得部が取得した再構成設定に応じるメインテーブルを取得する、
ことを特徴とする付記2に記載の再構成画像生成装置。
前記撮影パラメータ取得部が取得した撮影パラメータと前記再構成設定取得部が取得した再構成設定と、予め記憶されている前記メインレンズと前記サブレンズとの相対位置と、から前記再構成画素に対応する被写体の部分から発された光線が前記サブレンズに到達する点であるサブレンズ到達点を取得するサブレンズ到達点取得部をさらに備え、
前記メインテーブル取得部が取得するメインテーブルは、前記サブレンズ到達点取得部が取得したサブレンズ到達点から所定距離以上遠い位置にある前記サブレンズに対応するサブ画像の前記画像重みが小さい、
ことを特徴とする付記3に記載の再構成画像生成装置。
前記再構成設定取得部が取得した再構成設定に含まれる前記再構成画像を含む面と前記メインレンズとの距離が小さいほど、前記メインテーブル取得部が取得するメインテーブルの画像重みに係る所定距離が大きくなる、
ことを特徴とする付記4に記載の再構成画像生成装置。
前記撮影パラメータ取得部が取得した撮影パラメータに含まれる前記メインレンズの焦点距離が小さいほど、前記メインテーブル取得部が取得するメインテーブルの画像重みに係る所定距離が大きくなる、
ことを特徴とする付記4又は5に記載の再構成画像生成装置。
前記撮影パラメータ取得部が取得する撮影パラメータは、前記メインレンズの有効径をさらに含み、
前記撮影パラメータ取得部が取得した撮影パラメータに含まれる前記メインレンズの有効径が大きいほど、前記メインテーブル取得部が取得するメインテーブルの画像重みに係る所定距離が大きくなる、
ことを特徴とする付記4乃至6の何れか1つに記載の再構成画像生成装置。
前記ひな形定義部が定義した再構成画像を構成する画素である再構成画素と、前記サブ画像の一つである注目サブ画像に含まれるサブ画素の少なくとも一つと、の対応の強さを示す係数である画素重みを定義したテーブルである、前記撮影パラメータ取得部が取得した撮影パラメータに応じるサブテーブルを取得するサブテーブル取得部をさらに有し、
前記再構成画像生成部は、前記再構成画素の画素値を、前記対応画素抽出部が抽出した対応画素の画素値と、前記メインテーブル取得部が取得したメインテーブルが定義する当該再構成画素と当該対応画素の属するサブ画像とに対応する画像重みと、前記サブテーブル取得部が取得したサブテーブルが定義する当該再構成画素と当該対応画素とに対応する画素重みに基づいて決定する、
ことを特徴とする付記1乃至7の何れか1つに記載の再構成画像生成装置。
被写体を異なる視点から撮影した複数のサブ画像から構成されるライトフィールド画像を取得する工程と、
前記ライトフィールド画像を取得した撮影パラメータを取得する工程と、
前記ライトフィールド画像から再構成した被写体の画像である再構成画像のひな形を定義する工程と、
前記定義した再構成画像を構成する画素である再構成画素と、前記サブ画像の少なくとも一つと、の対応の強さを示す係数である画像重みを定義したテーブルである、前記取得した撮影パラメータに応じるメインテーブルを取得する工程と、
前記複数のサブ画像を構成するサブ画像画素から、前記定義した再構成画像を構成する再構成画素に対応する画素である対応画素を抽出する工程と、
前記再構成画素の画素値を、前記抽出した対応画素の画素値と、前記取得したメインテーブルが定義する当該再構成画素と当該対応画素の属するサブ画像とに対応する画像重みと、に基づいて求めることにより、前記再構成画像を生成する工程と、
を含むことを特徴とする再構成画像生成方法。
コンピュータに、
被写体を異なる視点から撮影した複数のサブ画像から構成されるライトフィールド画像を取得する処理、
前記ライトフィールド画像を取得した撮影パラメータを取得する処理、
前記ライトフィールド画像から再構成した被写体の画像である再構成画像のひな形を定義する処理、
前記定義した再構成画像を構成する画素である再構成画素と、前記サブ画像の少なくとも一つと、の対応の強さを示す係数である画像重みを定義したテーブルである、前記取得した撮影パラメータに応じるメインテーブルを取得する処理、
前記複数のサブ画像を構成するサブ画像画素から、前記定義した再構成画像を構成する再構成画素に対応する画素である対応画素を抽出する処理、
前記再構成画素の画素値を、前記抽出した対応画素の画素値と、前記取得したメインテーブルが定義する当該再構成画素と当該対応画素の属するサブ画像とに対応する画像重みと、に基づいて求めることにより、前記再構成画像を生成する処理、
を実行させることを特徴とするプログラム。
Claims (10)
- 被写体を異なる視点から撮影した複数のサブ画像から構成されるライトフィールド画像を取得するライトフィールド画像取得部と、
前記ライトフィールド画像を取得した撮影パラメータを取得する撮影パラメータ取得部と、
前記ライトフィールド画像から再構成した被写体の画像である再構成画像のひな形を定義するひな形定義部と、
前記ひな形定義部が定義した再構成画像を構成する画素である再構成画素と、前記サブ画像の少なくとも一つと、の対応の強さを示す係数である画像重みを定義したテーブルである、前記撮影パラメータ取得部が取得した撮影パラメータに応じるメインテーブルを取得するメインテーブル取得部と、
前記複数のサブ画像を構成するサブ画像画素から、前記ひな形定義部が定義した再構成画像を構成する再構成画素に対応する画素である対応画素を抽出する対応画素抽出部と、
前記再構成画素の画素値を、前記対応画素抽出部が抽出した対応画素の画素値と、前記メインテーブル取得部が取得したメインテーブルが定義する当該再構成画素と当該対応画素の属するサブ画像とに対応する画像重みと、に基づいて求めることにより、前記再構成画像を生成する再構成画像生成部と、
を有することを特徴とする再構成画像生成装置。 - 前記ライトフィールド画像は、前記被写体からの光線を捉えるメインレンズと、前記メインレンズが捉えた光線をさらに捉える前記複数の視点のそれぞれに対応する複数のサブレンズと、を用いて撮影され、
前記撮影パラメータは、前記メインレンズの焦点距離を少なくとも含む、
ことを特徴とする請求項1に記載の再構成画像生成装置。 - 前記再構成画像を含む面と前記メインレンズとの距離を示す情報を含む再構成設定を取得する再構成設定取得部をさらに有し、
前記メインテーブル取得部は、前記撮影パラメータ取得部が取得した撮影パラメータと前記再構成設定取得部が取得した再構成設定に応じるメインテーブルを取得する、
ことを特徴とする請求項2に記載の再構成画像生成装置。 - 前記撮影パラメータ取得部が取得した撮影パラメータと前記再構成設定取得部が取得した再構成設定と、予め記憶されている前記メインレンズと前記サブレンズとの相対位置と、から前記再構成画素に対応する被写体の部分から発された光線が前記サブレンズに到達する点であるサブレンズ到達点を取得するサブレンズ到達点取得部をさらに備え、
前記メインテーブル取得部が取得するメインテーブルは、前記サブレンズ到達点取得部が取得したサブレンズ到達点から所定距離以上遠い位置にある前記サブレンズに対応するサブ画像の前記画像重みが小さい、
ことを特徴とする請求項3に記載の再構成画像生成装置。 - 前記再構成設定取得部が取得した再構成設定に含まれる前記再構成画像を含む面と前記メインレンズとの距離が小さいほど、前記メインテーブル取得部が取得するメインテーブルの画像重みに係る所定距離が大きくなる、
ことを特徴とする請求項4に記載の再構成画像生成装置。 - 前記撮影パラメータ取得部が取得した撮影パラメータに含まれる前記メインレンズの焦点距離が小さいほど、前記メインテーブル取得部が取得するメインテーブルの画像重みに係る所定距離が大きくなる、
ことを特徴とする請求項4又は5に記載の再構成画像生成装置。 - 前記撮影パラメータ取得部が取得する撮影パラメータは、前記メインレンズの有効径をさらに含み、
前記撮影パラメータ取得部が取得した撮影パラメータに含まれる前記メインレンズの有効径が大きいほど、前記メインテーブル取得部が取得するメインテーブルの画像重みに係る所定距離が大きくなる、
ことを特徴とする請求項4乃至6の何れか1項に記載の再構成画像生成装置。 - 前記ひな形定義部が定義した再構成画像を構成する画素である再構成画素と、前記サブ画像の一つである注目サブ画像に含まれるサブ画素の少なくとも一つと、の対応の強さを示す係数である画素重みを定義したテーブルである、前記撮影パラメータ取得部が取得した撮影パラメータに応じるサブテーブルを取得するサブテーブル取得部をさらに有し、
前記再構成画像生成部は、前記再構成画素の画素値を、前記対応画素抽出部が抽出した対応画素の画素値と、前記メインテーブル取得部が取得したメインテーブルが定義する当該再構成画素と当該対応画素の属するサブ画像とに対応する画像重みと、前記サブテーブル取得部が取得したサブテーブルが定義する当該再構成画素と当該対応画素とに対応する画素重みに基づいて決定する、
ことを特徴とする請求項1乃至7の何れか1項に記載の再構成画像生成装置。 - 被写体を異なる視点から撮影した複数のサブ画像から構成されるライトフィールド画像を取得する工程と、
前記ライトフィールド画像を取得した撮影パラメータを取得する工程と、
前記ライトフィールド画像から再構成した被写体の画像である再構成画像のひな形を定義する工程と、
前記定義した再構成画像を構成する画素である再構成画素と、前記サブ画像の少なくとも一つと、の対応の強さを示す係数である画像重みを定義したテーブルである、前記取得した撮影パラメータに応じるメインテーブルを取得する工程と、
前記複数のサブ画像を構成するサブ画像画素から、前記定義した再構成画像を構成する再構成画素に対応する画素である対応画素を抽出する工程と、
前記再構成画素の画素値を、前記抽出した対応画素の画素値と、前記取得したメインテーブルが定義する当該再構成画素と当該対応画素の属するサブ画像とに対応する画像重みと、に基づいて求めることにより、前記再構成画像を生成する工程と、
を含むことを特徴とする再構成画像生成方法。 - コンピュータに、
被写体を異なる視点から撮影した複数のサブ画像から構成されるライトフィールド画像を取得する処理、
前記ライトフィールド画像を取得した撮影パラメータを取得する処理、
前記ライトフィールド画像から再構成した被写体の画像である再構成画像のひな形を定義する処理、
前記定義した再構成画像を構成する画素である再構成画素と、前記サブ画像の少なくとも一つと、の対応の強さを示す係数である画像重みを定義したテーブルである、前記取得した撮影パラメータに応じるメインテーブルを取得する処理、
前記複数のサブ画像を構成するサブ画像画素から、前記定義した再構成画像を構成する再構成画素に対応する画素である対応画素を抽出する処理、
前記再構成画素の画素値を、前記抽出した対応画素の画素値と、前記取得したメインテーブルが定義する当該再構成画素と当該対応画素の属するサブ画像とに対応する画像重みと、に基づいて求めることにより、前記再構成画像を生成する処理、
を実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011290174A JP5942428B2 (ja) | 2011-12-28 | 2011-12-28 | 再構成画像生成装置、再構成画像生成方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011290174A JP5942428B2 (ja) | 2011-12-28 | 2011-12-28 | 再構成画像生成装置、再構成画像生成方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013140450A true JP2013140450A (ja) | 2013-07-18 |
JP2013140450A5 JP2013140450A5 (ja) | 2015-02-12 |
JP5942428B2 JP5942428B2 (ja) | 2016-06-29 |
Family
ID=49037842
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011290174A Active JP5942428B2 (ja) | 2011-12-28 | 2011-12-28 | 再構成画像生成装置、再構成画像生成方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5942428B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
-
2011
- 2011-12-28 JP JP2011290174A patent/JP5942428B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5942428B2 (ja) | 2016-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6168794B2 (ja) | 情報処理方法および装置、プログラム。 | |
JP5820257B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JPWO2016076400A1 (ja) | 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法 | |
JP5310837B2 (ja) | 画像生成装置、デジタルカメラ、方法、及びプログラム | |
JP5984493B2 (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
JP2014011526A (ja) | 画像処理装置、撮像装置および画像処理方法 | |
JP6786225B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2015197745A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP7123736B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP5882789B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2018503066A (ja) | 画像ベースの深さ検知システムの精度測定 | |
EP3664433A1 (en) | Information processing device, information processing method, and program, and interchangeable lens | |
US20190355101A1 (en) | Image refocusing | |
JP2013061850A (ja) | ノイズ低減のための画像処理装置及び画像処理方法 | |
JP2016122444A (ja) | 焦点スタックから適応スライス画像を生成する方法および装置 | |
JP6021489B2 (ja) | 撮像装置、画像処理装置およびその方法 | |
JP5900017B2 (ja) | 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム | |
JP5310890B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP2017103695A (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
JP5942428B2 (ja) | 再構成画像生成装置、再構成画像生成方法、及びプログラム | |
JP2023035612A (ja) | 推定装置、方法及びプログラム | |
JP5310895B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP2018017568A (ja) | 距離測定装置、撮像装置、および距離測定方法 | |
JP2014011639A (ja) | 撮像装置 | |
JP2019121972A (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141217 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151020 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160426 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160509 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Ref document number: 5942428 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |