JP2013025649A - 画像処理装置及び画像処理方法、プログラム - Google Patents
画像処理装置及び画像処理方法、プログラム Download PDFInfo
- Publication number
- JP2013025649A JP2013025649A JP2011161431A JP2011161431A JP2013025649A JP 2013025649 A JP2013025649 A JP 2013025649A JP 2011161431 A JP2011161431 A JP 2011161431A JP 2011161431 A JP2011161431 A JP 2011161431A JP 2013025649 A JP2013025649 A JP 2013025649A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- input
- viewpoint
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003672 processing method Methods 0.000 title claims description 5
- 239000002131 composite material Substances 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims description 43
- 239000000203 mixture Substances 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 description 46
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
【課題】 多視点画像データから合成画像データを生成する際に、所望の大きさのボケ量を再現することが可能な画像処理装置を提供することを目的とする。
【解決手段】 複数の視点から撮像された複数の撮像画像データを入力し、ピント情報とボケ量情報とを入力し、それらに基づいて複数の視点以外の視点から撮像された場合に得られる中間画像データを生成する。そして、複数の撮像画像データと生成された中間画像データとを用いて、ピント情報に応じた合成画像データを生成する。
【選択図】 図2
【解決手段】 複数の視点から撮像された複数の撮像画像データを入力し、ピント情報とボケ量情報とを入力し、それらに基づいて複数の視点以外の視点から撮像された場合に得られる中間画像データを生成する。そして、複数の撮像画像データと生成された中間画像データとを用いて、ピント情報に応じた合成画像データを生成する。
【選択図】 図2
Description
本発明は、複数の視点から撮像された複数の撮像画像データから、合成画像データを生成する画像処理装置及び画像処理方法、プログラムに関する。
ある被写体に対して、位置の異なる視点から撮像された画像データ(以下、多視点画像データ)に基づいて、新たな画像データを生成する方法が提案されている。
その一つに、多視点画像データを利用することで撮像後にフォーカス距離や被写界深度を調整した画像データを生成するリフォーカス画像処理がある。リフォーカス画像処理は、まず、多視点画像内の被写体のうち、ピント領域に含まれる被写体の位置が一致するように各画像の変形やシフトを行う。その後、各画像を加算することにより画像データを合成することでリフォーカス画像データが得られる。この場合、非ピント領域の被写体にはズレが生じるためボケとして再現される。
非特許文献1では、多視点画像データから中間視点画像データを推定することで、滑らかなボケを再現することを可能にしている。
その一つに、多視点画像データを利用することで撮像後にフォーカス距離や被写界深度を調整した画像データを生成するリフォーカス画像処理がある。リフォーカス画像処理は、まず、多視点画像内の被写体のうち、ピント領域に含まれる被写体の位置が一致するように各画像の変形やシフトを行う。その後、各画像を加算することにより画像データを合成することでリフォーカス画像データが得られる。この場合、非ピント領域の被写体にはズレが生じるためボケとして再現される。
非特許文献1では、多視点画像データから中間視点画像データを推定することで、滑らかなボケを再現することを可能にしている。
Uncalibrated Synthetic Aperture for Defocus Control, Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on Date:20−25 June 2009
しかしながら、非特許文献1の手法ではボケの大きさを調整することはできない。
そこで本発明では、多視点画像データから合成画像データを生成する際に、所望の大きさのボケを再現することが可能な画像処理装置及び画像処理方法、プログラムを提供することを目的とする。
上記の目的を達成するために、本発明の画像処理装置は、複数の視点から撮像された複数の撮像画像データから、合成画像を示す合成画像データを生成する画像処理装置であって、前記複数の撮像画像データを入力する画像入力手段と、前記合成画像のピントの情報を示すピント情報と前記合成画像のボケの大きさを示すボケ量情報とを入力するパラメータ入力手段と、前記前記パラメータ入力手段で入力したピント情報とボケ量情報とに基づいて、前記複数の撮像画像データから前記複数の視点以外の視点から撮像された場合に得られる中間画像データを生成する中間画像生成手段と、前記画像入力手段で入力された複数の撮像画像データと前記中間画像生成手段で生成した中間画像データとを用いて、前記ピント情報に応じた合成画像データを生成する画像合成手段とを備えることを特徴とする。
本発明によれば、多視点画像データから合成画像データを生成する際に、所望の大きさのボケを再現することが可能になる。
[実施例1]
本実施例における画像処理装置の構成について、図1を参照して説明する。
本実施例における画像処理装置の構成について、図1を参照して説明する。
図1において、画像処理装置はCPU101、RAM102、HDD103、インターフェース(I/F)104、モニタ108、メインバス109を備える。I/F104はカメラなどの撮像装置105や、マウス、キーボードなどの入力装置106、メモリーカードなどの外部メモリ107をメインバス109に接続する。
以下では、CPU101がHDD103に格納された各種ソフトウェア(コンピュータプログラム)を動作させることで実現する各種処理について述べる。
まず、CPU101はHDD103に格納されている画像処理アプリケーションを起動し、RAM102に展開するとともに、モニタ108にユーザインターフェース(UI)を表示する。続いて、HDD103や外部メモリ107に格納されている各種データ、撮像装置105で撮像された画像データ、入力装置106からの指示コマンドなどがRAM102に転送される。さらに、画像処理アプリケーション内の処理に従って、RAM102に格納されているデータはCPU101からの指令に基づき各種演算を行う。演算結果はモニタ108に表示したり、HDD103、外部メモリ107に格納したりする。
以下、画像処理アプリケーションの処理内容に基づいて、CPU101は、多視点画像データを入力して、フォーカス距離や被写界深度を調整し、所望の大きさのボケを再現した合成画像データを生成する処理の詳細について説明する。
図2は、画像処理装置の論理構成を示す図である。尚、前述の通り、本実施例に於いては図2で説明する構成は画像処理アプリケーションソフトウェアにより実現される。図2において、画像処理装置201は多視点画像データや画像処理パラメータ(ピント情報とボケ量情報を含む。)を入力し、画像処理結果をモニタやHDDに出力する。画像入力部202は画像処理装置201に多視点画像データを入力する。ここで、多視点画像データは撮像装置105で撮像された画像データものでもよいし、HDD103や外部メモリ107に記録された画像データでもよい。勿論、撮像装置105で撮像した画像データをHDD103などの記憶装置に一旦記憶した後で入力しても構わない。パラメータ入力部203は画像処理で参照する画像処理パラメータを画像処理装置201に入力する。入力する画像処理パラメータは、生成する画像(合成画像)のフォーカス位置や被写界深度を指示するピント情報及び、ボケの大きさを示すボケ量情報などを含む。これら画像処理パラメータは、入力装置106からの指示に基づいて決定される。中間画像生成部204は、CPU101からの指示に基づいて、合成画像のボケの大きさを調整するための中間画像データを生成する。画像合成部205はCPU101からの指示に基づいて多視点画像データと中間画像データとから合成画像データを生成する。画像出力部206は画像合成部205で生成した画像データをモニタ108に表示したり、HDD103などの記憶装置に格納したりする。尚、合成画像データの出力先はこれに限られるものではなく、例えば、I/F104に接続した外部メモリ107に出力してもよい。
(リフォーカス画像生成処理)
以下では、図2で説明した画像処理における各処理の詳細について図3のフローチャートを参照して説明する。
以下では、図2で説明した画像処理における各処理の詳細について図3のフローチャートを参照して説明する。
ステップS301では、画像入力部202から画像処理装置201に多視点画像データを入力する。多視点画像データは被写体を複数の異なる視点から撮像して得られた画像データである。図4は9視点の多視点画像データが示す画像及び多視点画像データを取得する方法の例を説明する図である。多視点画像データは、図4(a)のような単眼カメラアレイで撮像した画像データでもよいし、図4(b)のような多眼式のカメラのように複数の撮像部を備えたデバイスで撮像した画像データでもよい。また、コンピュータグラフィックスなどで複数視点から作成した画像データや、プレノプティックカメラで撮像した画像データから生成した多視点画像あっても構わない。但し、リフォーカス画像処理において、多視点画像データはパンフォーカスで撮像或いは生成した画像データであることが好ましい。尚、図4は9視点の例を示しているが本実施例で説明する画像処理装置で扱う多視点画像データの視点数はこれに限られるものではなく、2視点以上からの画像データであれば構わない。
ステップS302では、画像処理パラメータをパラメータ入力部203から入力する。画像処理パラメータを指示するUIの例を図5に示す。図5において、501は多視点画像表示部である。502は画像表示部である。503はボケ量調整部である。504は基準画像である。505はフォーカス範囲内の被写体である。506はフォーカス範囲外の被写体である。ユーザは多視点画像表示部501で、出力画像のベースとなる基準画像504を選択する。選択された基準画像504は画像表示部502に表示される。次に、画像表示部502に表示された画像上の点や領域を指示することで、フォーカス距離や被写界深度などのピント情報を決定する。例えば、被写体505上の点をUI上から指示するとフォーカス距離が決まる。また、被写体505を含む領域をUI上から指示することで、所望の領域が含まれるように被写界深度が決まる。そして、ボケ量調整部503で調整したボケ量に応じて、フォーカス範囲外の被写体506をボカした仮想ボケ画像が画像表示部502に示され、所望のボケの大きさを指示することができる。仮想ボケ画像は、図5(b)及び図5(c)のように、ボケ量調整部503の調整量に応じて、基準画像504におけるフォーカス範囲外の被写体506の移動量を変更しながら合成して表示することで仮想ボケ画像を生成する。画像処理演算時に必要なピント情報やボケ量情報を指示可能な形態であれば、UIはこれに限られるものではない。
ステップS303では、中間画像生成部204において、ステップS301で入力した多視点画像データと、ステップS302で入力したピント情報とに基づいて最大ボケ量を算出する。最大ボケ量は多視点画像データから得られる被写体の距離情報とピント情報とから算出される。尚、最大ボケ量算出処理の詳細は後述する。
ステップS304では、ステップS302で入力したボケ量情報とステップS303で算出した最大ボケ量を比較してボケ量情報が示すボケの大きさが再現可能か否かを判定する。入力したボケ量が最大ボケ量より小さい場合、ステップS301で入力した多視点画像データから所望の大きさのボケを再現した合成画像データを生成可能なため、ステップS306に移行する。入力したボケ量が最大ボケ量より大きい場合は、ステップS302で入力した多視点画像データから所望の大きさのボケを再現した合成画像データを生成不可能なため、ステップS305に移行する。
ステップS305では、中間画像生成部204において、ステップS301で入力した多視点画像データと、ステップS302で入力した画像処理パラメータとに基づいて、合成画像データのボケの大きさを調整するための中間画像データを生成する。中間画像データは入力したボケ量に応じて生成される画像データであり、多視点画像データを元に生成される。中間画像データは、多視点画像データを取得する際に視点以外の視点から撮像した場合に得られる画像データである。尚、中間画像生成処理の詳細は後述する。
ステップS306では、画像合成部205において、ステップS301で入力した多視点画像データと、ステップS302で入力した画像処理パラメータと、ステップS305で生成した中間画像データとに基づいて、合成画像データを生成する。合成画像データはステップS302で指定した基準画像を基準として、撮像画像データの画素値に重み付けし、画像中のピント領域(又はピント位置)の被写体が一致するように各画像をシフトしながら加算することで得られる画像である。尚、画像合成処理の詳細は後述する。
ステップS307では、ステップS306で生成した合成画像データを画像出力部206から出力する。
(最大ボケ量算出処理)
以下では、ステップS303における最大ボケ量算出処理の詳細について図6のフローチャートを参照して説明する。
以下では、ステップS303における最大ボケ量算出処理の詳細について図6のフローチャートを参照して説明する。
ステップS601では、ステップS302で指定した基準画像を示す情報を取得する。
ステップS602では、ステップS601で取得した基準画像をベースにデプスマップを作成する。本実施例におけるデプスマップは、基準画像の撮影位置から、基準画像の各画素に対応する被写体までの距離の情報を含む情報である。ここでは、多視点画像データの対応点の位置関係から三角測量の原理に基づいて被写体までの距離を求め、デプスマップを作成する方法について説明する。
図7は三角測量の原理に基づく測距方法を説明する図であり、円筒の被写体701を異なる2つの視点C1,C2から撮像した場合の例を示している。図7において、702は視点C1に対応するレンズであり、703は視点C1に対応するセンサである。また、704は視点C2に対応するレンズであり、705は視点C2に対応するセンサである。被写体701上の点P1は、視点C1ではP1 ’に投影され、視点C2ではP1 ’’に投影される。一方、被写体701上の点P2は、視点C1ではP2 ’に投影され、視点C2ではP2 ’’に投影される。
一般に異なる視点から撮像した画像を重ねても、被写体の投影点P1 ’とP1 ’’及びP2 ’とP2 ’’は一致せずP1 ’P1 ’’の移動量が生じる。ここで、撮像点C1、C2から被写体までの距離L1,L2が焦点距離fより十分大きいとすると、被写体の結像面はC1、C2で一致する。従って、視点C1と視点C2間の基線長をdとすると、相似の関係から次式が成り立つ。
よって、被写体701上の点P1及びP2までの距離L1、L2は次式になる。
以上の原理に基づいて、基準画像とそれ以外の多視点画像との間でマッチングを行うことで被写体上の各対応点の距離が得られるため、デプスマップを生成することができる。
ステップS603では、ステップS602で生成したデプスマップとステップS302で入力したピント情報から非ピント領域を決定する。具体的には、ピント情報としてフォーカス距離と被写界深度を与え、デプスマップを参照することで画像中のピント領域と非ピント領域が分離される。
ステップS604では、ステップS603で求めた非ピント領域から最大ボケ量を求める。ここで、ステップS602におけるデプスマップ生成過程において、被写体上の点P1の移動量P1 ’P1 ’’が得られている。リフォーカス画像処理においては、ステップS603で取得したフォーカス距離の対応点でこの移動量が0(又は0に近い所定の閾値)になるようにシフトしてから各画像を合成する。従って、フォーカス距離から離れるほど移動量が大きくなり、この移動量が大きい領域ほど合成後の画像では大きなボケとして再現される。よって、非ピント領域で最大の移動量となる対応点を探索することで、ステップS301で入力した多視点画像データから生成可能な最大ボケ量が得られる。
(中間画像生成処理)
以下では、ステップS305における中間画像生成処理の詳細について図8のフローチャート及び図9の模式図を参照して説明する。
以下では、ステップS305における中間画像生成処理の詳細について図8のフローチャート及び図9の模式図を参照して説明する。
ステップS801では、ステップS302で指定した基準画像を示す情報とボケ量情報を取得する。
ステップS802では、ステップS801で取得したボケ量に対応した仮想視点位置を求める。仮想視点位置はステップS602におけるデプスマップの作成時と同様に、三角測量の原理に基づいて算出される。図9は円筒の被写体901と、視点C3、視点C4、仮想視点C5の関係を示している。尚、以下では視点C3をステップS801で取得した基準画像に対応した視点であるとして説明する。図9において、902は視点C3に対応するレンズであり、903は視点C3に対応するセンサである。また、904は視点C4に対応するレンズであり、905は視点C4に対応するセンサである。また、906は仮想視点C5に対応するレンズであり、907は仮想視点C5に対応するセンサである。
被写体901上の点P3は、視点C3ではP3 ’に投影され、視点C4ではP3 ’’に投影される。また、仮想視点C5ではP3 ’’’に投影される。ここで、視点から点P3までの距離L3は、ステップS602で生成したデプスマップから得られる。また、点P3の視点C3から仮想視点C5までの移動量P3 ’P3 ’’’はステップS801で取得したボケ量として与えられている。従って、視点C3から仮想視点C4までの距離dxは次式になる。
ステップS803では、ステップS301で入力した多視点画像データを取得する。
ステップS804では、ステップS803で取得した多視点画像データから、ステップS802で算出した仮想視点位置に対応した仮想視点画像データを求める。仮想視点画像の画素値はステップS801で取得した基準画像データと、ステップS803で取得した多視点画像データとから算出される。図9(b)に、図9(a)における視点C3、視点C4に対応するセンサ903及び905、仮想視点C5に対応するセンサ907で撮像されると想定される画像の例を示す。ここで、被写体901上の点P3に対応するP3 ’の座標を(x1、y1)、P3 ’’の座標を(x2、y2)とすると、P3 ’’’の座標(x3、y3)は次式になる。
ステップS804では、ステップS803で取得した多視点画像データから、ステップS802で算出した仮想視点位置に対応した仮想視点画像データを求める。仮想視点画像の画素値はステップS801で取得した基準画像データと、ステップS803で取得した多視点画像データとから算出される。図9(b)に、図9(a)における視点C3、視点C4に対応するセンサ903及び905、仮想視点C5に対応するセンサ907で撮像されると想定される画像の例を示す。ここで、被写体901上の点P3に対応するP3 ’の座標を(x1、y1)、P3 ’’の座標を(x2、y2)とすると、P3 ’’’の座標(x3、y3)は次式になる。
以上の中間画像生成処理により、多視点画像データを取得する際に視点の以外の視点から撮像した場合に得られる中間画像データを生成することができる。特に、本実施例では、撮像画像データを撮像する際の視点(C3、C4)よりも(基準画像を基準として)外側の視点から撮像した場合の中間画像データを生成することができる。この中間画像データによれば、以下の画像合成処理により、より大きなボケを有する合成画像データを生成することが可能となる。
(画像合成処理)
以下では、ステップS306の画像合成処理の詳細について図10のフローチャートを参照して説明する。
以下では、ステップS306の画像合成処理の詳細について図10のフローチャートを参照して説明する。
ステップS1001では、ステップS301で入力した多視点画像データと、ステップS305で生成した中間画像データとを取得する。ここで図11(a)は取得する画像Iu,vの例である。図11(a)において、実線(1≦u≦3且つ1≦v≦3)は多視点画像データが示す多視点画像、破線(u=0、4或いはv=0、4)は中間画像データが示す中間画像を表わす。入力した多視点画像データにより生成されるボケ量、即ち最大ボケ量よりも大きいボケの合成画像データを再現する場合、図11(a)のように中間画像は多視点画像の外側に生成される。
ステップS1002では、ステップS302で入力した基準画像を示す情報とピント情報を取得する。
ステップS1003では、画像合成時の各画像の重み係数を設定する。重み係数は合計が1になるように決定する。図11(b)にステップS1001で入力した画像に対応する重み係数の例を示す。尚、図11(b)は画像I2,2が基準画像となる例であり、対応する係数α2,2が最大となり基準画像からの視差が大きい画像ほど重み係数は小さくなるように設定している。但し、重み係数の設定はこの限りではなく任意に設定しても構わない。
ステップS1004ではピント情報に基づいて、基準画像I2,2以外の多視点画像のシフト量を求める。シフト量はピント領域内の対応点が一致するように各画像をシフトすることで得られる。シフト量算出方法について図12を参照して、基準画像I2,2に対して多視点画像I4、4のシフト量を算出する例で説明する。まず、ステップS1002で取得するピント情報として与えられるフォーカス距離と被写界深度及び、ステップS602で生成したデプスマップを参照することでピント領域が得られる。図12では手前の円筒形の被写体1202がピント領域に含まれるとする。次に、ピント領域内の対応点P4の座標(x4、y4)を取得する。そして、画像I4、4から点P4の対応点P4 ’の座標(x4 ’、y4 ’)を取得する。この時、画像I4、4シフト量(Δx4,4、Δy4,4)は次式になる。
従って、基準画像からの視差が大きい画像ほどシフト量(Δx、Δy)が大きくなる。その結果、非ピント領域のずれが大きくなることで、合成後の画像において大きなボケが生成される。
ステップS1005では、ステップS1003で設定した重み係数αを用いてステップS1004でシフトした多視点画像データを画素ごとに重み付け加算する。合成前の各画像をIu,v(x、y)、対応する重み係数をαu,v、各画像のシフト量を(Δxu,v、Δyu,v)とすると、合成後の合成画像データIは次式になる。
以上、本実施例によれば、複数の視点から撮像した複数の撮像画像データから合成画像データを生成する画像処理において、所望のピント情報とボケ量情報とに応じた合成画像データを生成することが可能になる。特に、本実施例では、撮像画像データを撮像する際の視点よりも外側の視点で撮像した場合の中間画像データを生成してから合成画像データを生成することにより、大きなボケを有する合成画像データを生成することが可能となる。
[実施例2]
実施例1では、入力した多視点画像データを画像処理装置で処理して合成画像データ(リフォーカス画像データ)を生成する方法について説明した。本実施例においては、多視点撮像可能な撮像システムを備えた画像処理装置に於いて実施した場合を説明する。本実施例では多眼カメラを例にとるが、多視点画像データを取得できる画像処理装置であれば何であっても構わない。
実施例1では、入力した多視点画像データを画像処理装置で処理して合成画像データ(リフォーカス画像データ)を生成する方法について説明した。本実施例においては、多視点撮像可能な撮像システムを備えた画像処理装置に於いて実施した場合を説明する。本実施例では多眼カメラを例にとるが、多視点画像データを取得できる画像処理装置であれば何であっても構わない。
まず、多眼カメラの構成例について図13から図15を参照して説明する。
図13において、撮像装置の筐体1311は、カラー画像データを取得する9個の撮像部1301〜1309及び撮像ボタン1310を備えている。9個の撮像部は、正方格子上に均等に配置されている。
ユーザが撮像ボタン1310を押下すると、撮像部1301〜1309が被写体からの光情報をセンサ(撮像素子)で受光し、受光した信号がA/D変換されて、複数のカラー画像データ(デジタルデータ)が取得される。このような多眼方式の撮像装置により、同一の被写体を複数の視点から撮像したカラー画像群を得ることができる。なお、ここでは撮像部の数を9個としたが撮像部の数は9個に限定されない。撮像装置が複数の撮像部を有する限りにおいて本実施例は適用可能である。また、ここでは9個の撮像部が正方格子上に均等に配置される例について説明したが、撮像部の配置は任意である。例えば、放射状や直線状に配置してもよいし、まったくランダムに配置してもよい。
図14は、撮像装置1311の内部構成を説明するブロック図である。
中央処理装置(CPU)1401は、以下に述べる各部を統括的に制御する。
RAM1402は、CPU1401の主メモリ、ワークエリア等として機能する。
ROM1403は、CPU1401で実行される制御プラグラム等を格納している。
バス1404は、各種データの転送経路である。例えば、撮像部1301〜1309によって取得されたデジタルデータはこのバス1404を介して所定の処理部に送られる。
操作部1405は、ユーザの指示を受け付ける機能を有する。操作部1405には、ボタンやモードダイヤルなどが含まれる。
表示部1406は、撮像画像や文字の表示を行う。例えば、液晶ディスプレイが用いられる。表示部1406はタッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザ指示を操作部1405の入力として扱うことも可能である。
表示制御部1407は、表示部1406に表示される撮像画像や文字の表示制御を行う。
撮像部制御部1408は、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなどの、CPU1401からの指示に基づいた撮像系の制御を行う。
デジタル信号処理部1409は、バス1404を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。
エンコーダ部1410は、デジタルデータをJPEGやMPEGなどのファイルフォーマットに変換する処理を行う。
外部メモリ制御部1411は、PCやその他のメディア(例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリ)に繋ぐためのインターフェースである。
画像処理部1412は、撮像部1301〜1309により取得されたカラー画像データ群或いは、デジタル信号処理部1409から出力されるカラー画像データ群から、合成画像データを生成する処理を行う。画像処理部1412における処理の詳細については後述する。
尚、撮像装置の構成要素は上記以外にも存在するが、本件実施例の主眼ではないので、説明を省略する。
図15は、撮像部1301〜1309の内部構成を示す図である。
撮像部1301〜1309は、レンズ1501〜1503、絞り1504、シャッター1505、光学ローパスフィルタ1506、iRカットフィルタ1507、カラーフィルタ1508、センサ1509及びA/D変換部1510で構成される。レンズ1501〜1503は夫々、ズームレンズ1501、フォーカスレンズ1502、ぶれ補正レンズ1503である。センサ1509は、例えばCMOSやCCDなどのセンサである。
センサ1509で被写体の光量を検知すると、検知された光量がA/D変換部1510によってデジタル値に変換され、デジタルデータとなってバス1404に出力される。
以下では、本実施例における多眼カメラの構成に於いて、ボケの大きさを調整した合成画像データを生成する処理の詳細について図16のフローチャートを参照して説明する。
ステップS1601では、撮像部1301〜1309を介して被写体を多視点撮像し、多視点撮像画像データを取得する。撮像した画像はデジタル信号処理部1409において、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を適用後、RAM1402に格納される。
ステップS1602では、操作部1405で指示されたパラメータをパラメータ入力部から入力する。必要な入力パラメータは実施例1と同様のため説明は省略する。
ステップS1603では、画像処理部1412において、ステップ1601で撮像した多視点画像及びステップS1602で入力したパラメータに基づいて、最大ボケ量を算出する。処理の詳細は実施例1におけるS303と同様のため説明は省略する。
ステップS1604では、画像処理部1412において、ステップS1602で入力したボケ量とステップS1603で算出した最大ボケ量を比較して所望のボケの大きさが再現可能か否かを判定する。入力したボケ量が最大ボケ量より小さい場合、ステップS1601で入力した多視点画像から所望の大きさのボケを再現した合成画像を生成可能なため、ステップS1606に移行する。入力したボケ量が最大ボケ量より大きい場合は、ステップS1602で入力した多視点画像から所望の大きさのボケを再現した合成画像を生成不可能なため、ステップS305に移行する。
ステップS1605では、画像処理部1412において、ボケの大きさを調整するための中間画像を生成する。処理の詳細は実施例1におけるS305と同様のため説明は省略する。
ステップS1606では、画像処理部1412において、多視点画像と中間画像を合成する。処理の詳細は実施例1におけるS306と同様のため説明は省略する。
ステップS1607では、ステップS1606で生成した合成画像を出力する。例えば、表示部206に表示してもよいし、外部メモリ制御部211を介して外部記憶装置に記録してもよい。
以上により、多眼カメラのような多視点撮像可能な撮像システムを備えた画像処理装置において、ボケの大きさを調整したリフォーカス画像を生成することが可能になる。
尚、本実施形態では、撮像部1301〜1309で撮像される画像がすべてカラー画像であることを前提に各部の構成や処理を説明した。しかし、撮像部1301〜1309で撮像される画像の一部或いは全部をモノクロ画像に変更しても構わない。その場合には、図15のカラーフィルタ1508は省略される。
[実施例3]
実施例1及び実施例2では、入力した多視点画像データで生成可能なボケの大きさよりも大きなボケを生成する方法について説明した。本実施例においては、入力した多視点画像データで生成可能なボケの大きさよりも小さなボケを生成する方法について説明する。
実施例1及び実施例2では、入力した多視点画像データで生成可能なボケの大きさよりも大きなボケを生成する方法について説明した。本実施例においては、入力した多視点画像データで生成可能なボケの大きさよりも小さなボケを生成する方法について説明する。
本実施例における画像処理装置の構成及び論理構成は実施例2と同様として説明は省略する。勿論、実施例1の画像処理装置の構成でも同様の画像処理を実施可能である。以下では、本実施例における画像処理について図17のフローチャートを参照して説明する。
ステップS1701では、撮像部1301〜1309を介して被写体を多視点撮像し、多視点撮像画像データを取得する。
ステップS1702では、操作部1405で指示された画像処理パラメータをパラメータ入力部から入力する。
ステップS1703では、画像処理部1412において、ステップ1701で撮像した多視点画像及びステップS1702で入力したパラメータに基づいて、最大ボケ量を算出する。処理の詳細は実施例1におけるS303と同様のため説明は省略する。
ステップS1704では、画像処理部1412において、ステップS1702で入力したボケ量とステップS1603で算出した最大ボケ量を比較する。入力したボケ量が最大ボケ量より大きい場合は、ステップS1701で撮像した多視点画像から所望の大きさのボケを再現した合成画像を生成不可能なため、ステップS1705に移行する。入力したボケ量が最大ボケ量より小さい場合、ステップS1706に移行する。
ステップS1705では、画像処理部1412において、大きなボケを生成するための中間画像を生成する。処理の詳細は実施例1におけるS305と同様のため説明は省略する。
ステップS1706では、画像処理部1412において、小さなボケを生成するための中間画像データを生成する。ここで、小さなボケを生成するための中間画像生成処理は、多視点画像データが示す多視点画像の間に中間画像が生成される。つまり、多視点画像を取得する際の視点の外側にある視点で撮像した場合の中間画像データが生成されるステップS305の処理とは異なり、中間画像の周囲の多視点画像を参照することが可能である。従って、仮想視点の近傍の画像を用いるPlane Sweep法などを利用することで高精度に中間画像データを生成可能になるため、より自然なボケ画像データを生成できる。
ステップS1707では、画像合成部205において、ステップS1701で入力した多視点画像データと、ステップS1702で入力した画像処理パラメータと、ステップS1705或いはステップS1706で生成した中間画像データとに基づいて、合成画像データを生成する。合成画像処理は実施例1におけるステップS306とほぼ同様のため相違点のある部分のみ図10のフローチャート及び図18を参照して説明する。ステップS1001では、ステップS301で入力した多視点画像データと、ステップS1705、或いはステップ1706で生成した中間画像データとを取得する。以下では、ステップS1706で生成した中間画像を取得した場合を例に図18を参照して説明する。図18(a)において、実線は多視点画像、破線は中間画像を示す。小さいボケの合成画像を再現する場合、図18(a)のように中間画像は多視点画像の内側に生成される。ステップS1003では、画像合成時の各画像の重み係数を設定する。重み係数は合計が1になるように決定すればよい。図18(b)に重み係数の例を示す。尚、図18(b)は画像I2,2が基準画像となる例であり、対応する係数α2,2が最大となり基準画像からの視差が大きい画像ほど重み係数は小さくなるように設定する。また、小さなぼけを再現する場合、ステップS1706で生成した中間画像より外側の多視点画像の重み係数は0もしくは画像合成処理における寄与が無視できる程度の値に設定すればよい。勿論、重み係数はこの限りではなく任意に設定して構わない。
ステップS1708では、ステップS1704で生成した合成画像を画像出力部206から出力する。
以上の処理により、リフォーカス画像生成処理において、ボケの大きさを調整して、所望の位置にフォーカスを合わせた小さなボケの画像を生成することが可能になる。また、再現するボケの大きさに応じて中間画像生成処理を切り替えることで、より自然な画像を生成することが可能になる。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (7)
- 複数の視点から撮像された複数の撮像画像データから、合成画像を示す合成画像データを生成する画像処理装置であって、
前記複数の撮像画像データを入力する画像入力手段と、
前記合成画像のピントの情報を示すピント情報と前記合成画像のボケの量を示すボケ量情報とを入力するパラメータ入力手段と、
前記パラメータ入力手段で入力したピント情報とボケ量情報とに基づいて、前記複数の撮像画像データから前記複数の視点以外の視点から撮像された場合に得られる中間画像データを生成する中間画像生成手段と、
前記画像入力手段で入力された複数の撮像画像データと前記中間画像生成手段で生成した中間画像データとを用いて、前記ピント情報に応じた合成画像データを生成する画像合成手段とを備えることを特徴とする画像処理装置。 - 前記中間画像生成手段は、前記画像入力手段により入力された複数の撮像画像データに基づいて最大ボケ量を算出する最大ボケ量算出手段と、
前記最大ボケ量と前記パラメータ入力手段により入力するボケ量とを比較する比較手段とを備え、
最大ボケ量よりも入力したボケ量が大きい場合に中間画像データを生成することを特徴とする請求項1に記載の画像処理装置。 - 前記中間画像生成手段は、最大ボケ量よりも入力したボケ量が小さい場合、生成する中間画像の近傍の複数の画像を参照して中間画像を生成することを特徴とする請求項1及び請求項2に記載の画像処理装置。
- 前記ピント情報は、フォーカス距離と被写界深度とを含むことを特徴とする請求項1乃至請求項3の何れか1項に記載の画像処理装置。
- 前記ボケ量は、撮像画像データが示す画像の間における対応点の移動量で与えられることを特徴とする請求項1乃至請求項3の何れか1項に記載の画像処理装置。
- 複数の視点から撮像された複数の撮像画像データから、合成画像を示す合成画像データを生成する画像処理方法であって、
前記複数の撮像画像データを入力する画像入力工程と、
前記合成画像のピントの情報を示すピント情報と前記合成画像のボケの量を示すボケ量情報とを入力するパラメータ入力工程と、
前記前記パラメータ入力工程で入力したピント情報とボケ量情報とに基づいて、前記複数の撮像画像データから前記複数の視点以外の視点から撮像された場合に得られる中間画像データを生成する中間画像生成工程と、
前記画像入力工程で入力された複数の撮像画像データと前記中間画像生成工程で生成した中間画像データとを用いて、前記ピント情報に応じた合成画像データを生成する画像合成工程とを備えることを特徴とする画像処理方法。 - コンピュータを請求項1乃至5の何れか1項に記載の画像処理装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011161431A JP2013025649A (ja) | 2011-07-23 | 2011-07-23 | 画像処理装置及び画像処理方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011161431A JP2013025649A (ja) | 2011-07-23 | 2011-07-23 | 画像処理装置及び画像処理方法、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013025649A true JP2013025649A (ja) | 2013-02-04 |
Family
ID=47783910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011161431A Withdrawn JP2013025649A (ja) | 2011-07-23 | 2011-07-23 | 画像処理装置及び画像処理方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013025649A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014158070A (ja) * | 2013-02-14 | 2014-08-28 | Canon Inc | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
JP2014217036A (ja) * | 2013-04-30 | 2014-11-17 | キヤノン株式会社 | 画像再生装置及び方法 |
JP2014225102A (ja) * | 2013-05-15 | 2014-12-04 | 日本放送協会 | 画像処理装置、及びプログラム |
WO2014204009A1 (en) * | 2013-06-21 | 2014-12-24 | Canon Kabushiki Kaisha | Apparatus, system, and method for processing information and program for the same |
JP2015135661A (ja) * | 2013-12-19 | 2015-07-27 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP2015201722A (ja) * | 2014-04-07 | 2015-11-12 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 |
JP2017097799A (ja) * | 2015-11-27 | 2017-06-01 | 日本電信電話株式会社 | 画像処理装置、画像処理方法及びコンピュータプログラム |
US10957021B2 (en) | 2016-11-30 | 2021-03-23 | Interdigital Ce Patent Holdings | Method for rendering a final image from initial images acquired by a camera array, corresponding device, computer program product and computer-readable carrier medium |
US11651504B2 (en) | 2021-03-16 | 2023-05-16 | Kabushiki Kaisha Toshiba | Learning method, storage medium and image processing device |
-
2011
- 2011-07-23 JP JP2011161431A patent/JP2013025649A/ja not_active Withdrawn
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014158070A (ja) * | 2013-02-14 | 2014-08-28 | Canon Inc | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
JP2014217036A (ja) * | 2013-04-30 | 2014-11-17 | キヤノン株式会社 | 画像再生装置及び方法 |
JP2014225102A (ja) * | 2013-05-15 | 2014-12-04 | 日本放送協会 | 画像処理装置、及びプログラム |
WO2014204009A1 (en) * | 2013-06-21 | 2014-12-24 | Canon Kabushiki Kaisha | Apparatus, system, and method for processing information and program for the same |
JP2015005201A (ja) * | 2013-06-21 | 2015-01-08 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理方法およびプログラム。 |
US9905011B2 (en) | 2013-06-21 | 2018-02-27 | Canon Kabushiki Kaisha | Apparatus, system, and method for processing information and program for the same |
JP2015135661A (ja) * | 2013-12-19 | 2015-07-27 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP2015201722A (ja) * | 2014-04-07 | 2015-11-12 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 |
JP2017097799A (ja) * | 2015-11-27 | 2017-06-01 | 日本電信電話株式会社 | 画像処理装置、画像処理方法及びコンピュータプログラム |
US10957021B2 (en) | 2016-11-30 | 2021-03-23 | Interdigital Ce Patent Holdings | Method for rendering a final image from initial images acquired by a camera array, corresponding device, computer program product and computer-readable carrier medium |
US11651504B2 (en) | 2021-03-16 | 2023-05-16 | Kabushiki Kaisha Toshiba | Learning method, storage medium and image processing device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013025649A (ja) | 画像処理装置及び画像処理方法、プログラム | |
US10699473B2 (en) | System and method for generating a virtual viewpoint apparatus | |
JP6055332B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP6021541B2 (ja) | 画像処理装置及び方法 | |
KR20190021138A (ko) | 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법 | |
JP2019030007A (ja) | 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法 | |
JP2011192228A (ja) | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム | |
CN102959943A (zh) | 立体全景图像合成装置、图像捕获装置、立体全景图像合成方法、记录介质、以及计算机程序 | |
JP2012186790A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP7387434B2 (ja) | 画像生成方法および画像生成装置 | |
JP2013009274A (ja) | 画像処理装置および画像処理方法、プログラム | |
JPWO2018225531A1 (ja) | 画像処理装置および方法 | |
JP2015073185A (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN111108742A (zh) | 信息处理装置、信息处理方法、程序以及可互换透镜 | |
JP2016063248A (ja) | 画像処理装置および画像処理方法 | |
JP6021489B2 (ja) | 撮像装置、画像処理装置およびその方法 | |
JP2004193962A (ja) | 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム | |
JP2010166218A (ja) | カメラシステム及びその制御方法 | |
KR20190098583A (ko) | 이미지 표시를 제어하는 전자 장치 및 방법 | |
JP2013165488A (ja) | 画像処理装置、撮像装置、およびプログラム | |
US8908012B2 (en) | Electronic device and method for creating three-dimensional image | |
JP2009258005A (ja) | 三次元測定装置及び三次元測定方法 | |
JP5889022B2 (ja) | 撮像装置、画像処理装置、画像処理方法及びプログラム | |
JP2013150071A (ja) | 符号化装置、符号化方法、プログラム及び記憶媒体 | |
US8917316B2 (en) | Photographing equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140723 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20150406 |