JP2013069012A - 多眼撮像装置 - Google Patents
多眼撮像装置 Download PDFInfo
- Publication number
- JP2013069012A JP2013069012A JP2011205561A JP2011205561A JP2013069012A JP 2013069012 A JP2013069012 A JP 2013069012A JP 2011205561 A JP2011205561 A JP 2011205561A JP 2011205561 A JP2011205561 A JP 2011205561A JP 2013069012 A JP2013069012 A JP 2013069012A
- Authority
- JP
- Japan
- Prior art keywords
- image
- zoom
- camera
- resolution
- reference camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Processing (AREA)
Abstract
【課題】多眼カメラを用いることによりズーム量の異なる複数の画像を同時に撮影し、それらを用いた高解像度化された画像を生成する多眼撮像装置を提供する。
【解決手段】基準画像を撮影する基準カメラ2と、基準カメラよりもズーム量が高い複数台のズームカメラ3〜6と、ズームカメラ2及び基準カメラ3〜6の画像に所定の画像処理を行う画像処理部7と、画像処理部7で画像処理が行われたズームカメラ3〜6及び記基準カメラ2の画像に基づいて、基準カメラ2の画像よりも高解像度の画像を生成する高解像度化処理部8と、を備える。
【選択図】図1
【解決手段】基準画像を撮影する基準カメラ2と、基準カメラよりもズーム量が高い複数台のズームカメラ3〜6と、ズームカメラ2及び基準カメラ3〜6の画像に所定の画像処理を行う画像処理部7と、画像処理部7で画像処理が行われたズームカメラ3〜6及び記基準カメラ2の画像に基づいて、基準カメラ2の画像よりも高解像度の画像を生成する高解像度化処理部8と、を備える。
【選択図】図1
Description
本発明は、低解像度画像から高周波成分を復元し、高解像度画像を生成する撮像装置に関するものであり、画角の異なる複数のカメラの画像を用いて高解像度画像を生成する多眼撮像装置に関するものである。
近年、低解像度画像から高周波成分を復元し、高解像度画像を生成する超解像技術が盛んに研究されている。これら再構成型の超解像処理では、まず初期高解像度画像を生成し、その画像からカメラモデルに基づき観測された低解像度画像の各画素値を推定する。そして、推定された画素値と実際に観測された画素値との誤差が小さくなるよう高解像度画像の更新を繰り返す(非特許文献1、2)。このような超解像処理では、一般に、位置ずれのある複数枚の低解像度画像が用いられる。低解像度画像はカメラの画角などすべての光学条件を合わせて撮影される。
また、低解像度画像からの高周波成分の復元には限界があるため、ズームカメラを利用することで高精細画像を利用する手法も提案されている(非特許文献3、4)。提案された手法では、単視点のズームカメラを利用し、ズーム量を変えた複数枚の画像を取得し再構成型超解像処理を行う。再構成型超解像処理を行うためには、観測モデルを設定する必要があり、これに関してはさまざまな観測モデルが提案されている(非特許文献5)。
また、簡単な嵌め込み合成処理で、画像の前記一部の解像度が高く、残余部分の解像度は低いが広い画角の画像を得ることができる複眼撮像装置が提案されている(特許文献1)。
また、人物の動作を認識するために、視野撮影用カメラと、超解像技術による注目点の高解像度映像を利用する動作認識装置も提案されている(特許文献2)。
また、簡単な嵌め込み合成処理で、画像の前記一部の解像度が高く、残余部分の解像度は低いが広い画角の画像を得ることができる複眼撮像装置が提案されている(特許文献1)。
また、人物の動作を認識するために、視野撮影用カメラと、超解像技術による注目点の高解像度映像を利用する動作認識装置も提案されている(特許文献2)。
M. Irani and S. Peleg, "Improving Resolution by Image Registration," CVGIP: Graphical Models and Image Processing, Vol. 53, No. 3, pp. 231-239 (1991)
竹島秀則, 加藤宣弘, 金子敏充, "サブピクセルシフト画像を用いた複数枚フレーム超解像技術", 東芝レビュー, Vol. 64, No. 6, pp. 11-14 (2009)
Manjunath V. Joshi, Subhasis Chaudhuri and Rajkiran Panuganti, "Super-resolution Imaging: Use of Zoom as a Cue," Image and Vision Computing, Volume 22, Issue 14, 1 pp.1185-1196 (2004)
Prakash Gajjar, and Manjunath Joshi, "Zoom Based Super-Resolution: A Fast Approach Using Particle Swarm Optimization", IMAGE AND SIGNAL PROCESSING, Vol 6134/2010, pp. 63-70 (2010)
S. C. Park, M. K. Park, and M. G. Kang, "Super-resolution image reconstruction: A technical overview," IEEE Signal Processing Magazine, Vol. 20, No. 3, pp. 21-36 (2003)
しかしながら、従来のシステムによるズーム画像と広角画像の簡単な嵌め込み合成処理では、合成画像の解像度はズーム画像と同等以下になり、画質の点で課題があった。また、ズーム画像と広角画像で視点位置が異なるため、両者の境界での不連続性が生じる可能性があり、画質の点で課題があった。
本発明は、このような事情に鑑みてなされたもので、多眼カメラを用いることによりズーム倍率の異なる複数の画像を同時に撮影し,それらを用いた高解像度化された画像を生成する多眼撮像装置を提供することを目的とする。
本発明の多眼撮像装置は、基準画像を撮影する基準カメラと、該基準カメラよりもズーム倍率が高い複数台のズームカメラと、前記基準カメラ及び前記ズームカメラの画像に所定の画像処理を行う画像処理部と、該画像処理部で画像処理が行われた前記基準カメラ及び前記ズームカメラの画像に基づいて、前記基準カメラの画像よりも高解像度の画像を生成する高解像度化処理部と、を備えることを特徴とする。
また、前記高解像度化処理部は、前記基準カメラの画像から画素値の補間により初期高解像度画像を生成し、該初期高解像度画像から所定の観測モデルに基づいて、前記基準カメラ及び前記ズームカメラの画像に相当する画像をそれぞれ推定し、該推定した画像と実際に前記基準カメラ及び前記ズームカメラで撮影した画像との比較結果を用いて、前記初期高解像度画像を修正することにより、目的とする前記高解像度の画像を生成することを特徴とする。
また、前記高解像度化処理部は、前記基準カメラの前記推定した画像に相当する画像の画素値と、前記基準カメラで撮影した画像の画素値とを比較して誤差を演算し、ズームカメラの前記推定した画像に相当する画像の画素値と、前記ズームカメラで撮影した画像の画素値とを比較して誤差を演算し、演算した各前記誤差を用いて前記初期高解像度画像を修正することを特徴とする。
また、前記高解像度化処理部は、前記各誤差を用いて前記初期高解像度画像を修正した後、修正して得られた高解像度画像に対して各前記誤差を演算し、更に前記高解像度画像を修正する処理を、各前記誤差が所定の値以下になるまで繰り返すことを特徴とする。
また、前記初期高解像度画像から前記基準カメラの画像に相当する画像を推定する観測モデルは、所定の関数により決定した光学ぼけを表す値と、解像度変換のためのダウンサンプリングを表す値とを使用して前記基準カメラの画像に相当する画像を推定するモデルであることを特徴とする。
また、前記初期高解像度画像から前記ズームカメラの画像に相当する画像を推定する観測モデルは、前記初期高解像度画像と前記ズームカメラの画像とのステレオマッチングにより決定した画素の視点移動を表す値と、画像の切り出しを行うトリミング量を表す値とを使用して前記ズームカメラの画像に相当する画像を推定するモデルであることを特徴とする。
本発明によれば、上記構成とすることにより、多眼カメラを用いることによりズーム倍率の異なる複数の画像を同時に撮影し,それらを用いた高解像度化された画像を生成する多眼撮像装置を提供することができる。
特に本発明によれば、ワイド画像とズーム画像を用いて、ズーム倍率に比例した高解像度画像の生成が可能となるという効果が得られる。また、多眼構成にすることにより、複数のワイドとズームの同時撮影(動画撮影)が可能な多眼撮像装置を実現することができる。
また、本発明によれば、高精度なズーム機構が不要、すなわち安価なズーム機構で、ワイドとズームの同時撮影(動画撮影)が可能となる。すなわち、ズーム機構の機械的な精度を必要とせず、安価な装置を実現できるという効果が得られる。
特に本発明によれば、ワイド画像とズーム画像を用いて、ズーム倍率に比例した高解像度画像の生成が可能となるという効果が得られる。また、多眼構成にすることにより、複数のワイドとズームの同時撮影(動画撮影)が可能な多眼撮像装置を実現することができる。
また、本発明によれば、高精度なズーム機構が不要、すなわち安価なズーム機構で、ワイドとズームの同時撮影(動画撮影)が可能となる。すなわち、ズーム機構の機械的な精度を必要とせず、安価な装置を実現できるという効果が得られる。
以下に、本発明の実施形態について、図面を参照して詳細に説明する。
図1は、本発明に係る多眼撮像装置1の構成を示す概略図である。多眼撮像装置1は、基準カメラ2、ズームカメラ3,4,5,6、画像処理部7、及び高解像度化処理部8から基本的に構成されている。
図1は、本発明に係る多眼撮像装置1の構成を示す概略図である。多眼撮像装置1は、基準カメラ2、ズームカメラ3,4,5,6、画像処理部7、及び高解像度化処理部8から基本的に構成されている。
本実施例では、1台の基準カメラ2と、ズーム倍率を変えられる4台のズームカメラ3〜6との計5台のカメラを用いて、同一の画素数の画像を取得する。基準カメラ2が、ズーム倍率を最も低く設定しているため広範囲の撮影が可能であるが、精細な画像は取得できない。他方、ズームカメラ3〜6は、同一のズーム倍率でかつ基準カメラよりもズーム倍率を高く設定する。そのため、基準カメラ2よりも狭い範囲の撮影となるが、精細な画像を取得できる。これらの4台のズームカメラ3〜6で基準カメラ2の撮影範囲を4分割するように各カメラの撮影範囲を調整する。本実施例では、基準カメラと各ズームカメラの光軸は略平行であるものとする。これにより、基準カメラ2によるワイド画像と、ズームカメラ3〜6によるズーム画像とを得る。
画像処理部7は、各カメラで撮影された画像の画質調整、同期処理等の画像処理を行う。ここで行われる画質調整は、各カメラで撮影された画像の色や明るさ等を均一に合わせる補正を意味する。高解像度化処理部8は、画像処理部7で画像処理された画像に基づいて高解像度化された画像を生成し、出力する。以下、高解像度化処理部8で使用される基準低解像度画像やズーム画像は、図1の構成例の場合、各カメラで撮影され画像処理部7で必要な画像処理が行われた画像を指す。
(原理説明)
ここで、高解像度化処理部8における処理の原理について説明する。
再構成型超解像処理を行うために、観測モデルを設定する必要がある。これに関してはさまざまな観測モデルが提案されている。本実施例では、超解像処理を施す低解像度画像である基準低解像度画像と、低解像度画像から高解像度画像への拡大率と等しいズーム量で撮影したズーム画像を用いる。図1の例では、基準低解像度画像は、基準カメラ2で撮影した画像であり、ズーム画像はズームカメラ3〜6で撮影した画像である。ここでは、基準低解像度画像とズーム画像それぞれの観測モデルを設定する。
ここで、高解像度化処理部8における処理の原理について説明する。
再構成型超解像処理を行うために、観測モデルを設定する必要がある。これに関してはさまざまな観測モデルが提案されている。本実施例では、超解像処理を施す低解像度画像である基準低解像度画像と、低解像度画像から高解像度画像への拡大率と等しいズーム量で撮影したズーム画像を用いる。図1の例では、基準低解像度画像は、基準カメラ2で撮影した画像であり、ズーム画像はズームカメラ3〜6で撮影した画像である。ここでは、基準低解像度画像とズーム画像それぞれの観測モデルを設定する。
初めに基準低解像度画像のモデル化を行う。理想の高解像度画像から低解像度画像への加重平均による縮小モデルを用いる。画素数N1×N2の低解像度画像をN1N2次元のベクトルuにより表し、画素数M1×M2の高解像度画像をM1M2次元のベクトルhにより表す。さらに、光学ぼけを表すため、光学ぼけの演算子をM1M2×M1M2行列Bとする。また、縮小におけるダウンサンプリング演算子をN1N2× M1M2 行列Dとする。このとき、式(1)のように定式化する
u=DBh ・・・(1)
u=DBh ・・・(1)
式(1)を用いて、基準カメラにより観測した基準低解像度画像から高解像度画像を推定する。そのためには、光学ぼけの演算子行列Bを推定する必要がある。しかし、低解像度画像の情報から推定することは非常に難しいため、一般的に精度よく求められる点拡がり関数により光学ぼけを決める。本実施例では、点拡がりモデルに分散σ2の2次元ガウス関数を用いる。2次元ガウス関数を式(2)に示す。
次にズーム画像のモデル化を行う。ズーム画像は、倍率が高解像度画像と等しいため、高解像度画像の視点移動を行い、適当な範囲で切り出すことでモデル化できる。画素数N1×N2のズーム画像をN1N2次元のベクトルzにより表し、同様に高解像度画像をM1M2次元のベクトルhにより表す。さらに、画素の任意の視点移動演算子をM1M2×M1M2 行列W、画像の切り出しを行うトリミング演算子をN1N2×M1M2行列Cとする。このとき、式(3)のように定式化する。
z=CWh ・・・(3)
z=CWh ・・・(3)
式(3)を用いて、ズームカメラにより観測したズーム画像から高解像度画像を推定する。
視点移動を表す行列Wの推定は、基準画像を補間処理によりズーム倍率に合わせて拡大した画像と各ズームカメラにおいてステレオマッチングを行い、行列Wを推定する。
視点移動を表す行列Wの推定は、基準画像を補間処理によりズーム倍率に合わせて拡大した画像と各ズームカメラにおいてステレオマッチングを行い、行列Wを推定する。
次に、基準カメラとズームカメラからそれぞれの観測モデルにより生成した高解像度画像に基づいて、高解像度画像を再構成する。
再構成処理にはIBP(Iterative Back-Projection)法を用いる。IBP法では、実際に観測された低解像度画像から補間によって初期高解像度画像を生成し、この初期高解像度画像から観測モデルに応じて基準低解像度画像とズーム画像とを推定する。そしてその推定された基準低解像度画像及びズーム画像と、実際に観測された基準低解像度画像及びズーム画像との間でそれぞれの誤差を算出し、その誤差を減じるように初期高解像度画像を更新する。この誤差が小さくなるように、高解像度画像の更新処理を繰り返す。
再構成処理にはIBP(Iterative Back-Projection)法を用いる。IBP法では、実際に観測された低解像度画像から補間によって初期高解像度画像を生成し、この初期高解像度画像から観測モデルに応じて基準低解像度画像とズーム画像とを推定する。そしてその推定された基準低解像度画像及びズーム画像と、実際に観測された基準低解像度画像及びズーム画像との間でそれぞれの誤差を算出し、その誤差を減じるように初期高解像度画像を更新する。この誤差が小さくなるように、高解像度画像の更新処理を繰り返す。
それぞれ実際に観測された基準低解像度画像1枚と、ズーム画像J枚を用いる場合を考える。基準低解像度画像から補間処理により拡大を行い、初期高解像度画像を生成する。上述した2つの観測モデルを基にする。高解像度画像をM1M2次元のベクトルhとし、基準低解像度画像をN1N2次元のベクトルuとする。高解像度画像から観測モデルに従い求まる低解像度画像と基準低解像度画像の差分(誤差)をN1N2次元のベクトルe0、光学ぼけ演算子をM1M2×M1M2行列Bおよびダウンサンプリング演算子をN1N2× M1M2 行列Dとする。このとき、これらの関係は式(4)により表される。
e0=DBh−u ・・・(4)
DBhは初期高解像度画像から推定された基準低解像度画像を示し、uは実際に観測された基準低解像度画像を示す。
e0=DBh−u ・・・(4)
DBhは初期高解像度画像から推定された基準低解像度画像を示し、uは実際に観測された基準低解像度画像を示す。
また、j枚目のズーム画像をN1N2次元のベクトルzjとし、高解像度画像をM1M2次元のベクトルhにより表す。hを視点変更し切り出しを行った画像とzjとの差分より求まる誤差をN1N2次元のベクトルej、視点移動演算子をM1M2×M1M2行列Wjおよびトリミング演算子をN1N2×M1M2行列Cjとする。このとき、これらの関係は式(5)により表される。
ej=CjWjh−zj j=1, 2, …, J ・・・(5)
CjWjhは、高解像度画像から推定されたズーム画像を示し、zjは実際に観測されたズーム画像を示す。
ej=CjWjh−zj j=1, 2, …, J ・・・(5)
CjWjhは、高解像度画像から推定されたズーム画像を示し、zjは実際に観測されたズーム画像を示す。
次に式(4)、(5)で推定した誤差を減じるように高解像度画像の画素値を決定する。
IBP法による高解像度画像の画素値の決定処理の一例では式(6)を用いる。ここでは、ズーム画像が重複している画素については誤差を平均し、式(6)により更新する。
IBP法による高解像度画像の画素値の決定処理の一例では式(6)を用いる。ここでは、ズーム画像が重複している画素については誤差を平均し、式(6)により更新する。
ただし、添え字Tは転置、kは更新回数、αkおよびβkは第kステップにおける更新の重みを表すパラメータである。行列Φは、M1M2×M1M2の対角行列であり、第i対角成分には高解像度画像の画素iに対して求まる誤差の個数の逆数が置かれる。ただし、個数が0の場合には、逆数はとらずに0を配置することとする。
パラメータαkおよびβkを調整しながら式(6)による処理を誤差が小さくなるまで繰り返し行って、高解像度画像に対する修正を行う。
また、高解像度画像の画素値の決定処理の他の例としてMAP(Maximum A Posteriori)法を用いた処理を適用することができる。この処理例については以下のフローチャートにて後述する。
パラメータαkおよびβkを調整しながら式(6)による処理を誤差が小さくなるまで繰り返し行って、高解像度画像に対する修正を行う。
また、高解像度画像の画素値の決定処理の他の例としてMAP(Maximum A Posteriori)法を用いた処理を適用することができる。この処理例については以下のフローチャートにて後述する。
上記アルゴリズムのフローチャートを図2から図5に示す。図2において、処理S11では、基準カメラにより実際に観測された基準低解像度画像から補間処理により拡大を行い、目的とする理想の解像度の初期高解像度画像を生成する。次に、処理S12では、処理11で生成した初期高解像度画像から観測モデルに合わせたズーム画像を生成し、処理S13では、生成したズーム画像と実際に観測したズーム画像の差分を誤差として算出する。同様に、処理S14では、処理S11で生成した初期高解像度画像から観測モデルに合わせた基準低解像度画像を生成し、処理S15で、生成した基準低解像度画像と実際に観測した基準低解像度画像の差分を誤差として算出する。
そして処理S16では、処理S13で算出した差分と処理S15で算出した差分とから高解像度画像修正値を決定する。処理S17で修正値が0でなければ、処理S18で高解像度画像を修正し、処理S12と処理S14に戻る。処理S17で修正値が0であれば、処理フローを終了する。こうして、差分に基づく高解像度画像修正値が0になるまで、高解像度画像の修正処理を繰り返す。ここでは、修正値=0(所定の値)としたが、これに限定されるものではない。例えば所定の値として、0.1等を設定し、この所定の値以下で処理を終了しても良い。これにより、処理量(処理時間)を低減することが可能となる。
このような再構成型超解像処理の、繰り返し演算により最も適切な高解像度画像を生成する処理を行う事から、ズーム画像側で高解像度画像に応じた精細なズーム位置あわせが不要となる為、安価なズーム機構でズーム倍率に比例した高解像度画像の生成が可能になる。また、従来の技術では、ズーム画像を単にはめ込み処理を行っていた為、その境界部分で画質が大きく変わり、目立つと言う課題があったが、同様に本処理により境界部分が自然な高解像度画像の生成が可能となる。
このような再構成型超解像処理の、繰り返し演算により最も適切な高解像度画像を生成する処理を行う事から、ズーム画像側で高解像度画像に応じた精細なズーム位置あわせが不要となる為、安価なズーム機構でズーム倍率に比例した高解像度画像の生成が可能になる。また、従来の技術では、ズーム画像を単にはめ込み処理を行っていた為、その境界部分で画質が大きく変わり、目立つと言う課題があったが、同様に本処理により境界部分が自然な高解像度画像の生成が可能となる。
図3は、図2に示す処理S12の詳細を説明するフローチャートである。図3において、処理21では、高解像度画像hに視点移動Wを演算(=Wh)する。上記と同様に、高解像度画像は、実際に観測した低解像度画像から補間により生成した初期高解像度画像、またはS18で修正された高解像度画像である。次に処理22では、処理21で得られたWhにトリミングCを演算(=CWh)する。そして処理23では、ズーム画像z=CWhを設定する。
図4は、図2に示す処理S14の詳細を説明するフローチャートである。図3において、処理S31では、高解像度画像hに光学ぼけBを演算(=Bh)する。高解像度画像は、実際に観測した基準低解像度画像から補間により生成した初期高解像度画像、またはS18で修正された高解像度画像である。次に処理S32では、処理31で得られたBhにダウンサンプリングDを演算(=DBh)する。そして処理33では、基準低解像度画像u=DBhを設定する。
図5は、図2に示す処理S16として、IBP法を用いた再構成処理を説明するフローチャートである。この例では修正値の演算に数式(6)を使用した。ここではまずα、βの設定値を読み込み(処理41)、式(6)により高解像度画像の画素値(修正値)を決定する(処理42)。そして更新回数kをk+1とする(処理43)。この処理は、処理17以降の判断に従って、修正値が0になるまで繰り返される。
図6は、図2に示す処理S16の他の例として、MAP法を用いた再構成処理を説明するフローチャートである。MAP法では高解像度画像の修正の演算に次式(7)を用いる。
ここで、P(h) は推定する高解像度画像hに関する事前情報に基づく正則化関数、γは正則化の強さを調整するパラメータ、||・||2はL-2ノルム、Jはズーム画像の枚数を表す。
図6の処理では、まずα、β、γの設定値を読み込み(処理S41´)、式(7)により、高解像度画像の画素値を修正する(処理42´)。そして更新回数kをk+1とする(処理43´)。この処理は、処理17以降の判断に従って、修正値が0になるまで繰り返される。
上記の式(7)において、関数Pとしては、2階の微分フィルタ(ラプラシアンフィルタ)を施した画像ベクトルの2乗ノルム、ハイパスフィルタを施した画像ベクトルの2乗ノルム、全変動ノルムを用いることができる。
図6の処理では、まずα、β、γの設定値を読み込み(処理S41´)、式(7)により、高解像度画像の画素値を修正する(処理42´)。そして更新回数kをk+1とする(処理43´)。この処理は、処理17以降の判断に従って、修正値が0になるまで繰り返される。
上記の式(7)において、関数Pとしては、2階の微分フィルタ(ラプラシアンフィルタ)を施した画像ベクトルの2乗ノルム、ハイパスフィルタを施した画像ベクトルの2乗ノルム、全変動ノルムを用いることができる。
次に検証実験に用いた多眼画像を図7に示す。図7において、図7(A)に示す11は基準カメラの画像、図7(B)〜図7(D)に示す,12,13,14,15はズームカメラの画像である。基準カメラと周囲のズームカメラの基線長はそれぞれ28mmである。また、すべての画像の画素数はQVGA(Quarter Video Graphics Array)の320×240画素である。またズームカメラの倍率は基準カメラの2倍とし、超解像処理による拡大倍率と等しい倍率に設定にする。また、再構成型超解像処理はバイキュービック補間による拡大画像との画質比較を行う。
はじめに基準低解像度画像をバイキュービック補間により2倍に拡大し、初期高解像度画像を生成する。この初期高解像度画像と各ズームカメラの画像とのステレオマッチングにより視点移動演算子Wを推定する。ステレオマッチングとは、一方の画像を基準とし、その画像中の各画素における、他方の画像での対応点を探す処理である。SAD(Sum of absolute differences)やSSD(Sum of Squared Differences)などの複数のマッチング規準が存在し、どの規準を使用しても良い。
再構成処理を行った結果を図8に示す。高解像度画像21を再構成する際に、2次元ガウス関数の特性はσ=0.8とした。また、高解像度画像が更新される度に視点移動演算子Wの再推定を行った。
図9は、高解像度画像の比較例を示す図で、図9(A)は、高解像度の正解画像(理想とする画像)31、図9(B)は本発明に係る再構成型超解像処理により得た高解像度画像32、図9(C)は、低解像度画像からバイキュービック補間による拡大処理を行った画像33を示す。いずれも画像の一部分を示している。
本実施例では、1台の基準カメラと4台のズームカメラ3〜6の計5台のカメラから構成された多眼撮像装置1でズームカメラの倍率が約2倍である例で説明したが、ズームカメラ台数及び倍率はこれに限られるものでなく、異なるカメラ台数やズーム倍率でも実現可能である。
例えば、1台の基準カメラと16台のズームカメラの計17台のカメラから構成し、ズームカメラの倍率が約4倍とした多眼撮像装置も実施可能である。図10に基準カメラで撮影する領域と、16台のズームカメラで撮影する領域との位置関係を示す。図中、実線で囲った領域が基準カメラの撮影領域101で、16個の破線で囲った領域がそれぞれズームカメラの撮影領域102である。図10に示すように、ズームカメラの撮影領域102が、基準カメラの撮影領域101を覆う位置関係となっている。この構成ではズーム倍率4倍で処理するため、5台のカメラでズームカメラのズーム倍率を2倍とする実施例と比較して、更に高解像度な画像の生成が可能な多眼撮像装置が実現可能となる。
他に、基準カメラ1台とズームカメラ4台の計5台のカメラを用いる構成は同じで、ズームカメラのズーム倍率を例えば4倍等の高い倍率に設定した多眼撮像装置も実施可能である。この設定では基準カメラの撮影範囲をズームカメラ4台でカバーすることができないため、図11に示すように基準カメラの撮影領域101の中央部分をズームカメラ4台で撮影するようなカメラの配置とするのが望ましい。この構成にて、5台で2倍ズーム倍率の実施例と比較して撮影中央部分がより高解像度化される多眼撮像装置が実現可能となる。
以上、説明したように、本発明の多眼撮像装置によれば、ワイド画像とズーム画像を用いることにより、ズーム倍率に比例した高解像度画像の生成が可能となるという効果が得られる。また、多眼構成にすることにより、ワイドとズームの同時撮影(動画撮影)が可能な多眼撮像装置を実現することができる。
また、本発明によれば、高精度なズーム機構が不要、すなわち安価なズーム機構で、ワイドとズームの同時撮影(動画撮影)が可能となり、この画像を元に高解像度で自然な画像を生成する事が可能となる。すなわち、ズーム機構の機械的な精度を必要とせず、安価な装置を実現できるという効果が得られる。
また、本発明によれば、高精度なズーム機構が不要、すなわち安価なズーム機構で、ワイドとズームの同時撮影(動画撮影)が可能となり、この画像を元に高解像度で自然な画像を生成する事が可能となる。すなわち、ズーム機構の機械的な精度を必要とせず、安価な装置を実現できるという効果が得られる。
1…多眼撮像装置、2…基準カメラ、3,4,5,6…ズームカメラ、7…画像処理部、8…高解像度化処理部、11…基準カメラの画像、12〜15…ズームカメラの画像、21…高解像度画像、31…正解画像、32…再構成型長解像度処理による高解像度画像(一部分)、33…補間により拡大した画像(一部分)、101…基準カメラの撮影領域、102…ズームカメラの撮影領域。
Claims (6)
- 基準画像を撮影する基準カメラと、
該基準カメラよりもズーム倍率が高い複数台のズームカメラと、
前記基準カメラ及び前記ズームカメラの画像に所定の画像処理を行う画像処理部と、
該画像処理部で画像処理が行われた前記基準カメラ及び前記ズームカメラの画像に基づいて、前記基準カメラの画像よりも高解像度の画像を生成する高解像度化処理部と、を備えることを特徴とする多眼撮像装置。 - 前記高解像度化処理部は、前記基準カメラの画像から画素値の補間により初期高解像度画像を生成し、該初期高解像度画像から所定の観測モデルに基づいて、前記基準カメラ及び前記ズームカメラの画像に相当する画像をそれぞれ推定し、該推定した画像と実際に前記基準カメラ及び前記ズームカメラで撮影した画像との比較結果を用いて、前記初期高解像度画像を修正することにより、前記高解像度の画像を生成することを特徴とする請求項1に記載の多眼撮像装置。
- 前記高解像度化処理部は、前記基準カメラの前記推定した画像に相当する画像の画素値と、前記基準カメラで撮影した画像の画素値とを比較して誤差を演算し、ズームカメラの前記推定した画像に相当する画像の画素値と、前記ズームカメラで撮影した画像の画素値とを比較して誤差を演算し、演算した各前記誤差を用いて前記初期高解像度画像を修正することを特徴とする請求項2に記載の多眼撮像装置。
- 前記高解像度化処理部は、前記各誤差を用いて前記初期高解像度画像を修正した後、修正して得られた高解像度画像に対して各前記誤差を演算し、更に前記高解像度画像を修正する処理を、前記各誤差が所定の値以下になるまで繰り返すことを特徴とする請求項3に記載の多眼撮像装置。
- 前記初期高解像度画像から前記基準カメラの画像に相当する画像を推定する観測モデルは、所定の関数により決定した光学ぼけを表す値と、解像度変換のためのダウンサンプリングを表す値とを使用して前記基準カメラの画像に相当する画像を推定するモデルであることを特徴とする請求項1〜4のいずれか1に記載の多眼撮像装置。
- 前記初期高解像度画像から前記ズームカメラの画像に相当する画像を推定する観測モデルは、前記初期高解像度画像と前記ズームカメラの画像とのステレオマッチングにより決定した画素の視点移動を表す値と、画像の切り出しを行うトリミング量を表す値とを使用して前記ズームカメラの画像に相当する画像を推定するモデルであることを特徴とする請求項1〜5のいずれか1に記載の多眼撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011205561A JP2013069012A (ja) | 2011-09-21 | 2011-09-21 | 多眼撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011205561A JP2013069012A (ja) | 2011-09-21 | 2011-09-21 | 多眼撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013069012A true JP2013069012A (ja) | 2013-04-18 |
Family
ID=48474681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011205561A Withdrawn JP2013069012A (ja) | 2011-09-21 | 2011-09-21 | 多眼撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013069012A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015103885A (ja) * | 2013-11-22 | 2015-06-04 | キヤノン株式会社 | 複眼撮像装置 |
CN106791400A (zh) * | 2016-12-23 | 2017-05-31 | 维沃移动通信有限公司 | 一种图像显示方法及移动终端 |
CN108391059A (zh) * | 2018-03-23 | 2018-08-10 | 华为技术有限公司 | 一种图像处理的方法和装置 |
-
2011
- 2011-09-21 JP JP2011205561A patent/JP2013069012A/ja not_active Withdrawn
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015103885A (ja) * | 2013-11-22 | 2015-06-04 | キヤノン株式会社 | 複眼撮像装置 |
CN106791400A (zh) * | 2016-12-23 | 2017-05-31 | 维沃移动通信有限公司 | 一种图像显示方法及移动终端 |
CN106791400B (zh) * | 2016-12-23 | 2019-08-20 | 维沃移动通信有限公司 | 一种图像显示方法及移动终端 |
CN108391059A (zh) * | 2018-03-23 | 2018-08-10 | 华为技术有限公司 | 一种图像处理的方法和装置 |
WO2019179179A1 (zh) * | 2018-03-23 | 2019-09-26 | 华为技术有限公司 | 一种图像处理的方法和装置 |
US11140329B2 (en) | 2018-03-23 | 2021-10-05 | Huawei Technologies Co., Ltd. | Image processing method and apparatus which determines an image processing mode based on status information of the terminal device and photographing scene information |
US11563897B2 (en) | 2018-03-23 | 2023-01-24 | Huawei Technologies Co., Ltd. | Image processing method and apparatus which determines an image processing mode based on status information of the terminal device and photographing scene information |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7159057B2 (ja) | 自由視点映像生成方法及び自由視点映像生成システム | |
CN107959805B (zh) | 基于混合相机阵列的光场视频成像系统及视频处理方法 | |
ES2847348T3 (es) | Procedimiento y aparato para dar seguimiento a un objeto | |
CN113994366A (zh) | 用于视频超分辨率的多阶段多参考自举 | |
JP2000188680A (ja) | 高解像度画像の生成方法及びシステム | |
KR20140135968A (ko) | 초해상도화를 수행하는 방법 및 장치 | |
JP2007000205A (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラム | |
CN108961163A (zh) | 一种高分辨率卫星影像超分辨重建方法 | |
TWI459325B (zh) | 數位影像處理裝置及其處理方法 | |
JP6462372B2 (ja) | 超解像装置及びプログラム | |
CN111553841B (zh) | 一种基于最佳缝合线更新的实时视频拼接方法 | |
Dai et al. | Dictionary-based multiple frame video super-resolution | |
Jeong et al. | Multi-frame example-based super-resolution using locally directional self-similarity | |
CN106846250B (zh) | 一种基于多尺度滤波的超分辨率重建方法 | |
JP2013069012A (ja) | 多眼撮像装置 | |
JP5566199B2 (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
JP6513941B2 (ja) | 画像処理方法、画像処理装置及びプログラム | |
US8571356B2 (en) | Image processing apparatus, image processing method, and image processing program | |
Al Ismaeil et al. | Dynamic super resolution of depth sequences with non-rigid motions | |
JP4686200B2 (ja) | 画像変換方法および装置 | |
KR20130104410A (ko) | 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법 | |
Sv et al. | Detail warping based video super-resolution using image guides | |
WO2014077024A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
CN112017122A (zh) | 超分辨成像方法 | |
Seyid et al. | Hardware implementation of real-time multiple frame super-resolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20141202 |