JP2017034595A - 画像処理装置、撮像装置および画像処理プログラム - Google Patents
画像処理装置、撮像装置および画像処理プログラム Download PDFInfo
- Publication number
- JP2017034595A JP2017034595A JP2015155150A JP2015155150A JP2017034595A JP 2017034595 A JP2017034595 A JP 2017034595A JP 2015155150 A JP2015155150 A JP 2015155150A JP 2015155150 A JP2015155150 A JP 2015155150A JP 2017034595 A JP2017034595 A JP 2017034595A
- Authority
- JP
- Japan
- Prior art keywords
- image
- exposures
- exposure
- transmittance
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 85
- 238000012545 processing Methods 0.000 title claims abstract description 85
- 238000009826 distribution Methods 0.000 claims abstract description 223
- 238000002834 transmittance Methods 0.000 claims abstract description 175
- 230000007423 decrease Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims 1
- 230000015556 catabolic process Effects 0.000 abstract 1
- 238000006731 degradation reaction Methods 0.000 abstract 1
- 230000003287 optical effect Effects 0.000 description 37
- 239000013598 vector Substances 0.000 description 36
- 238000000034 method Methods 0.000 description 23
- 210000001747 pupil Anatomy 0.000 description 21
- 239000011159 matrix material Substances 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000000059 patterning Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000035699 permeability Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005375 photometry Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000002939 conjugate gradient method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/72—Modifying the appearance of television pictures by optical filters or diffusing screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Processing (AREA)
Abstract
【課題】画像のデータ量の増大と解像度の低下とを抑えて、異なる露出に対応する画像を複数生成する。
【解決手段】画像処理装置106は、撮像により得られる画像であって、互いに異なる透過率分布が与えられた複数の異なる露出によって得られる光強度分布の情報を含む第1の画像を取得する画像取得手段106aと、透過率分布に関する情報を取得する情報取得手段106bと、透過率分布に関する情報を用いた推定により、第1の画像の同一の画素から、複数の露出のうち2以上の露出のそれぞれに対応する画像信号を互いに分離し、該分離した画像信号を用いて2以上の第2の画像を生成する画像推定手段106dとを有する。
【選択図】図2
【解決手段】画像処理装置106は、撮像により得られる画像であって、互いに異なる透過率分布が与えられた複数の異なる露出によって得られる光強度分布の情報を含む第1の画像を取得する画像取得手段106aと、透過率分布に関する情報を取得する情報取得手段106bと、透過率分布に関する情報を用いた推定により、第1の画像の同一の画素から、複数の露出のうち2以上の露出のそれぞれに対応する画像信号を互いに分離し、該分離した画像信号を用いて2以上の第2の画像を生成する画像推定手段106dとを有する。
【選択図】図2
Description
本発明は、異なる露出の画像を複数得るための画像処理技術に関する。
撮像装置の高画素化に伴ってCMOSセンサ等の撮像素子の画素が微細化すると、ダイナミックレンジが狭くなる。ダイナミックレンジが狭まると、撮影画像のシャドー部とハイライト部のそれぞれで、黒潰れや輝度飽和が発生しやすくなり、画質の劣化に繋がる。
また、ダイナミックレンジが狭い撮影画像に対して、Wienerフィルタ等の補正フィルタを用いて画像処理を行う場合、輝度飽和部では情報が正しく取得されていないため、リンギング等の弊害が発生しやすい。
このため、特許文献1および特許文献2では、異なる露出の画像を複数取得し、それらを合成することで、ダイナミックレンジの拡大されたハイダイナミックレンジ(HDR)画像を得る手法が開示されている。
しかしながら、特許文献1,2に開示された異なる露出の画像を複数取得してこれらを合成する手法では、画像データ量の増大や解像度の低下が問題となる。
特許文献1では、撮像装置の露出を変えて複数回撮像を行うことで、異なる露出の複数の画像を取得するため、撮像回数分だけ画像のデータ容量が増大する。また、非常に明暗の差が大きいシーンを撮像する場合には、そのダイナミックレンジをカバーするために撮像回数を増やす必要がある。しかし、この場合には被写体の時間変化を十分小さくするためには、撮像素子から信号を高速に読み出す必要があり、被写体の時間変化の抑制と画像の解像度の確保とを両立することが困難である。
一方、特許文献2では、異なる露出となる小画素を複数備えた画素を配列した撮像素子を用いることで、異なる露出の画像を複数取得する。このため、総画素数(小画素を1画素として数える)に対して、各露出における画像の解像度が低下する。
本発明は、データ量の増大と解像度の低下とを抑えて、異なる露出に対応する画像を複数生成することができるようにした画像処理装置および撮像装置等を提供する。
本発明の一側面としての画像処理装置は、撮像により得られる画像であって、互いに異なる透過率分布が与えられた複数の異なる露出によって得られる光強度分布の情報を含む第1の画像を取得する画像取得手段と、透過率分布に関する情報を取得する情報取得手段と、透過率分布に関する情報を用いた推定により、第1の画像の同一の画素から、複数の露出のうち2以上の露出のそれぞれに対応する画像信号を互いに分離し、該分離した画像信号を用いて2以上の第2の画像を生成する画像推定手段とを有することを特徴とする。
また、本発明の他の一側面としての撮像装置は、撮像素子に対する互いに異なる透過率分布が与えられた複数の異なる露出によって得られる光強度分布の情報を含む撮影画像を生成する撮像手段と、撮影画像を第1の画像として取得する上記画像処理装置とを有することを特徴とする。
さらに、本発明の他の一側面としての画像処理プログラムは、コンピュータに画像処理を実行させるコンピュータプログラムである。画像処理は、撮像により得られる画像であって、互いに異なる透過率分布が与えられた複数の異なる露出によって得られる光強度分布の情報を含む第1の画像を取得し、透過率分布に関する情報を取得し、透過率分布に関する情報を用いた推定により、第1の画像の同一の画素から、複数の露出のうち2以上の露出のそれぞれに対応する画像信号を互いに分離し、該分離した画像信号を用いて2以上の第2の画像を生成することを特徴とする。
本発明によれば、データ量の増大と解像度の低下とを抑えつつ、2以上の異なる露出に対応する画像(第2の画像)を生成することができる。
以下、本発明の実施例について図面を参照しながら説明する。
まず具体的な実施例の説明に先だって、各実施例に共通する事項について説明する。特許文献1,2にて開示されたような従来の手法では、取得する画像の解像度と露出の数との積でデータ量が決定される。これに対して、各実施例では、複数の露出の光強度分布を重ね合わせた状態、つまり1画素内に異なる露出の画像信号が足し合わされた(合成された)状態で取得する。そして、後から画像処理による推定を用いて、該1画素内に足し合わされた各露出の画像信号を分離することで、異なる露出の画像(以下、推定画像という)を生成する。これにより、画像データの増大と解像度の低下を抑制しつつ複数の露出に対応した推定画像を得ることができる。
以下の説明において、上記複数の異なる露出によって得られる光強度分布の情報を含む入力画像を、「複数の露出が合成された入力画像」とか「複数の光強度分布が重ね合わせられた入力画像」等ともいう。
各実施例では、合成された複数の露出(光強度分布)に対応する推定画像を撮像後の画像信号の分離によって生成するため、撮像時には、複数の異なる露出において互いに異なる透過率分布を付与する。そして、これら透過率分布に関する情報を用いて上記推定を行うことで、撮像時に一旦合成された複数の露出に対応する画像信号を後から分離することができる。
なお、透過率分布は、撮像される前の光学像(被写体空間像)に対して付与してもよいし、撮像により得られた信号に対して付与してもよい。また、入力画像において合成される露出の数に対して、生成される推定画像に対応する露出の数は一致していなくてよい。例えば、4つの露出が合成された入力画像から2つの露出に対応する2つの推定画像を生成してもよい。つまり、合成される露出数にかかわらず、推定により生成される推定画像の数は2以上であればよい。
各実施例では、簡単のため、モノクロ画像に対する処理について説明するが、各実施例の処理はカラー画像に対しても同様に行うことができる。
図2(A),(B)にはそれぞれ、実施例1の画像処理装置を備えた撮像装置100の構成および外観を示している。本実施例は、複数の露出の光強度分布に対する異なる透過率分布の付与を空間分割によって行うことを特徴とする。
被写体空間からの光は、撮像部101に入射する。撮像部101は、被写体空間からの光を集光して光学像(被写体空間像)を形成させる結像光学系102と、透過率分布付与部103と、複数の画素が配列された撮像素子104とを有する。撮像素子104は、CCDセンサやCMOSセンサ等の光電変換素子である。透過率分布付与部103の詳細については後述する。
撮像前に結像光学系102を通過した光(被写体空間像)は撮像素子104により受光され、該撮像素子104で被写体空間の光量分布を測定する測光が行われる。測光結果を受けた制御部111は、撮像部101の露出を調整し、撮像を行う。露出の調整は、結像光学系102のF値(絞り値)、シャッタースピードまたは撮像素子104のISO感度のうち少なくとも1つを調整することで行われる。
被写体像の撮像により撮像素子104で得られたアナログ画像信号は、A/Dコンバータ105によりデジタル画像信号に変換されて画像処理部106に入力される。画像処理部106は、デジタル画像信号に対してノイズリダクション等の所定の処理を行って撮影画像を生成し、該撮影画像を半導体メモリ等の画像記録媒体108に所定のフォーマットで保存する。この際、状態検知部109から得られた撮像条件の情報も併せて保存する。撮像条件とは、撮像時の撮影距離および露出、結像光学系102がズームレンズである場合におけるその焦点距離等である。状態検知部109は、システムコントローラ110から撮像条件の情報を得てもよいし、撮像部101に関する情報については制御部111から得てもよい。
画像記録媒体108に保存される撮影画像(入力画像)は、透過率分布付与部103により互いに異なる透過率分布が与えられた複数の露出が合成された(つまりは複数の光強度分布が合成された情報を含む)画像である。表示部112に画像を表示する際は、画像処理部106は、入力画像に対して後述する画像処理を行って互いに異なる露出に対応する画像である推定画像を分離生成する。そして、それら推定画像を用いてダイナミックレンジが拡大されたハイダイナミックレンジ画像(以下、HDR画像という)を生成し、該HDR画像を表示部112に表示する。
画像処理部106は、画像取得部106aと、情報取得部106bと、パラメタ設定部106cと、画像推定部106dと、推定完了判定部106eと、HDR画像生成部106fとを有する。画像処理部106で行われる画像処理の詳細は後述する。なお、画像処理においては、記憶部107に記憶されている透過率分布付与部103で与えた透過率分布の情報が読み出されて使用される。表示部112で表示された画像は、画像記録媒体108に保存してもよい。また、画像表示までを高速化するため、撮像素子104により取得された入力画像を画像記録媒体108に保存せず、入力画像にそのまま画像処理を実行してもよい。
以上の一連の動作および処理は、システムコントローラ110により制御される。撮像部101の機械的な駆動は、システムコントローラ110からの指示に応じて制御部111が制御する。
次に、図3を用いて、本実施例における透過率分布付与部103について説明する。透過率分布付与部103は、撮像素子104上に設けられた光減衰フィルタである。透過率分布付与部103は、図3に示すように、4種類の透過率を撮像素子104の画素103a〜103dに対して与える。図中の濃淡が透過率の大きさを表す。透過率分布付与部103が画素103aに対して与える透過率はt103a=1.0000であり、画素103bに対して与える透過率はt103b=0.1248である。また、画素103cに対して与える透過率はt103c=0.0154であり、画素103dに対して与える透過率はt103d=0.0017である。
透過率分布付与部103において透過率が同一の領域(例えば画素103aに対応する領域)が撮像素子104の1画素に対応しており、透過率分布付与部103には上記4種類の透過率を有する領域が周期的に配列されている。なお、図4に示した透過率の値、種類および配列は例であり、他の透過率の値、種類および配列であってもよい。
次に、撮像素子104を用いて得られる撮影画像としての入力画像について説明する。入力画像s(x,y)を数式で表すと、以下の式(1)のようになる。
次に、撮像素子104を用いて得られる撮影画像としての入力画像について説明する。入力画像s(x,y)を数式で表すと、以下の式(1)のようになる。
xとyはそれぞれ横方向と縦方向での座標であり、η(x,y)はノイズを表す。また、Kは合成される複数の露出の総数であり、本実施例ではK=4である。また、Ik(x,y)は複数の露出のうちk番目の露出において透過率分布が付与されていない被写体空間像の光強度分布を表す。さらに、tk(x,y)は、Ik(x,y)に作用する透過率分布であり、tk(x,y)Ik(x,y)はk番目の露出において透過率分布が付与された被写体空間像の光強度分布を表す。ここでは、露出が小さい(暗い)ものから順にk=1,2,3,4とする。本実施例において、k=1の最小露出に対する他の露出の光量比rkは、r1=1として、r2=8、r3=64、r4=512となっている。例えばr2=8は、k=2の露出の光量がk=1に対して8倍という意味である。
透過率分布付与部103によってk=1〜4のそれぞれの露出に与えられる透過率分布tkを、図4(A),(B)および図5(A),(B)に示す。最も大きい(明るい)k=4の露出によって得られる光強度分布は透過率t103aを持つ画素のみで撮像されるが、最も小さいk=1の露出によって得られる光強度分布は全ての画素により撮像されることとなる。つまり、例えば画素103aでは、4つの露出のそれぞれによって得られる光強度分布が合成されて(重ね合わされて)取得される。
各画素の透過率分布tk(x,y)は、kについて総和をとると、全ての(x,y)に対して1となる。ここで、透過率分布付与部103が各画素に与える透過率は、各露出に与える透過率分布tkと、k=1〜4のそれぞれの露出を制御するための透過率(光量比rkで決まる)の2つによって決定される。例えば、図3における画素103dでは、最も暗いk=1の露出に関する情報だけが取得される。このため、画素103dにおける透過率分布付与部103の透過率は、
t103d=t1(x103d,y103d)×r1/(r1+r2+r3+r4)
のように表される。ただし、(x103d,y103d)は画素103dの座標を表す。
t103d=t1(x103d,y103d)×r1/(r1+r2+r3+r4)
のように表される。ただし、(x103d,y103d)は画素103dの座標を表す。
この式に、t1(x103d,y103d)=1.0000、r1=1、r2=8、r3=64、r4=512を代入すると、
t103d=1.0000×1/(1+8+64+512)
=0.0017
となり、前述した画素103dの透過率の値と一致する。
画素103cでは、k=1の露出とk=2の露出とが合成されている。このため、
t103c={t1(x103c,y103c)+t2(x103c,y103c)}
×(r1+r2)/(r1+r2+r3+r4)
=0.0154
となり、前述した画素103cの透過率と一致する。画素103aおよび画素103bでも同様である。
t103d=1.0000×1/(1+8+64+512)
=0.0017
となり、前述した画素103dの透過率の値と一致する。
画素103cでは、k=1の露出とk=2の露出とが合成されている。このため、
t103c={t1(x103c,y103c)+t2(x103c,y103c)}
×(r1+r2)/(r1+r2+r3+r4)
=0.0154
となり、前述した画素103cの透過率と一致する。画素103aおよび画素103bでも同様である。
式(1)は、行列表記によって以下の式(2)のように書き換えることもできる。
sはベクトル化された撮像素子104で取得される画像(以下、入力画像ベクトルという)を示し、iはベクトル化された各露出によって得られる光強度分布(以下、光強度分布ベクトルという)を示す。ηはベクトル化されたノイズ(以下、ノイズベクトルという)を示す。Hは複数の露出における光強度分布に対する透過率分布の付与とそれらの重ね合わせを表す行列である。
光強度分布ベクトルiは、例えば以下の式(3)のように、k番目の露出によって得られる光強度分布ベクトルikを成分とする列ベクトルである。
光強度分布ベクトルiは、例えば以下の式(3)のように、k番目の露出によって得られる光強度分布ベクトルikを成分とする列ベクトルである。
k番目の露出によって得られる光強度分布Ik(x,y)がM×Nの成分からなる場合は、ikは以下の式(4)で表されるMN×1の成分を持つ列ベクトルである。
入力画像ベクトルsとノイズベクトルηも、それぞれ同様にMN×1の成分を持つ列ベクトルで、以下の式(5)及び式(6)で表される。
行列Hは、以下のような式(7)で与えられるMN×KMNの成分を持つ行列である。
Gkは以下の式(8)で表されるMN×MN成分を持つ行列である。
本実施例において、複数の露出によって得られる複数の光強度分布は互いに位置ずれがないように重ね合わされるため、行列Gkは全て式(8)のように対角成分のみを有する。しかし、これらの複数の光強度分布が互いにずれて重ね合わされている場合には、式(8)はその位置ずれの量に応じた非対角成分に有限な値を持つ。
次に、画像処理部106で行われる画像処理について、図1のフローチャートを用いて説明する。画像処理用コンピュータとして画像処理部106は、コンピュータプログラムである画像処理プログラムに従って画像処理を実行する。画像処理部106は、この画像処理を行うことで、互いに異なる透過率分布が与えられた複数の露出が合成された入力画像(第1の画像)から、2以上の露出のそれぞれに対応する画像信号を互いに分離する。画像信号の分離には、透過率分布に関する情報を用いた推定を行う。そして、これら分離した画像信号を用いて、該2以上の露出のそれぞれに対応する2以上の推定画像(第2の画像)を生成する。
ステップS101において、第1の取得部106aは入力画像を取得する。入力画像は、撮像素子104を用いて取得された撮影画像であり、式(1)に示されたs(x,y)である。本実施例では、4つの異なる透過率分布が与えられた4つの露出(光強度分布)が入力画像にて合成されている。
次にステップS102において、第2の取得部106bは、透過率分布付与部103で付与された4つの透過率分布に関する情報を取得する。透過率分布に関する情報とは、式(1)に示したtk(x,y)でもよいし、該tkが算出可能な透過率分布付与部103の透過率(t103a〜t103d)と各露出間の光量比r-kの情報でもよい。
次にステップS103において、パラメタ設定部106cは、推定に用いるパラメタを設定する。パラメタは、次ステップの説明で述べる正則化項の決定やその重み、繰り返し演算の回数、ステップS105で用いる収束条件等を含む。また、推定によって生成する推定画像の数や条件等の指定をパラメタに含めてもよい。推定によって生成する推定画像の数は、入力画像において合成された露出数に対応する4つでもよいしその一部であってもよい。また、4つの露出のうち少なくとも2つ以上の露出が合成された推定画像を生成してもよい。この場合、対応する透過率分布は、合成される2つの露出に与えられた透過率分布の加重平均となる。本実施例では、4つの露出に対応する4つの推定画像の全てを生成する。
次にステップS104において、画像推定部106dは、推定画像を生成する。推定画像は、4つの露出のそれぞれで被写体空間を観察(撮像)した画像に相当する。推定画像を得るためには、式(2)において入力画像ベクトルsと行列Hとから、各露出によって得られる光強度分布ベクトルiを求めることに相当する。このことは、式(1)または式(2)から分かるように、連立一次方程式の解を得ることに相当する。ただし、未知数(光強度分布ベクトルiの行数)がKMN個あるにもかかわらず、連立方程式の数(行列Hの行数)はMN個に過ぎない。さらに、未知のノイズをあわせると、未知数は(K+1)MN個である。このため、解が一意的に求まることはなく、光強度分布ベクトルiを得るには必然的に推定処理が必要となる。
もし推定処理を用いない場合には、画像の解像度(光強度分布ベクトルiの行数)を落とすことで、光強度分布ベクトルiを求めることができる。つまり、連立方程式の数(行列Hの行数MN)に、未知数(光強度分布ベクトルiの行数)の数を合わせればよい。この場合、各露出の画像の解像度を、M×Nから(M/K0.5)×(N/K0.5)に落とすこととなる。これは、本実施例では、図3において破線で囲んだ4画素内のIk(x,y)の値を全て同一の値とすることに相当する。破線で囲んだ4画素には、それぞれ異なる透過率(係数)で4つの光強度(未知数)Ik(x,y)が足し合わされているため、4つの連立一次方程式が得られる。各一次方程式が独立であれば(つまり独立となるように透過率分布を付与すれば)、方程式の数と未知数の数が一致するため、解である光強度分布ベクトルiが求まる。しかし、この方法では特許文献2と同程度の解像度の低下が発生する。このため、本実施例では推定処理を行うことで、解像度の低下を抑制しつつ、複数の露出に対応する推定画像を得る。
各露出で被写体空間を撮像した画像に相当する推定画像は、以下の式(9)で表される最適化問題の解を求めることで生成される。
vはベクトル化された推定画像(以下、推定画像ベクトルという)であり、Lは損失関数であり、Φは推定画像ベクトルvに対する正則化項である。それぞれの具体的な例については後述する。
損失関数Lは、解をモデル(ここでは式(2)の連立方程式)にフィッティングさせる効果を持つ。ただし、先にも述べたように、式(2)の連立方程式は未知数の数よりも方程式の数が小さいため、解が一意的に求まらない。このため、解を尤もらしい値に収束させる効果を持つ正則化項Φを利用する。正則化項には、事前知識と呼ばれる解(光強度分布ベクトルi)が持つべき性質を用いる。また、正則化項は損失関数のみを考えた際に起こる過剰なフィッティング(ノイズベクトルηの影響を推定画像ベクトルvに反映させること)を防ぐ役割も有する。
推定画像ベクトルvは、以下の式(10)のように、k番目の露出の推定画像ベクトルvkを成分とする列ベクトルである。
k番目の露出に対する推定画像をVk(x,y)とするとき、推定画像ベクトルvkは、式(4)と同様に、以下の式(11)で表されるMN×1の成分を持つ列ベクトルとなる。
式(9)中の損失関数と正則化項の具体例を示す。損失関数としては、以下の式(12)で示される関数が考えられる。
以下の式(13)で表される記号は、p次平均ノルムを表し、p=2のときはユークリッドノルムを指す。
正則化項の例としては、以下の式(14)で示される1次平均ノルムがある。
λは正則化項の重みを表すパラメタである。Ψは画像に対する基底変換を表す行列であり、その例としてはウェーブレット変換や離散コサイン変換等がある。式(14)の正則化項は、画像に対してウェーブレット変換や離散コサイン変換等の基底変換が行われることで、信号成分がスパース(疎)になる、つまり、より少ない数の信号で表せるという性質に基づく。これに関しては、例えば以下の参考文献1に詳細が説明されている。
参考文献1:Richard G.Baraniuk, “Compressive Sensing”, IEEE SIGNAL PROCESSING MAGAZINE [118] JULY 2007
式(14)では各露出に対して同一の重みλを用いているが、kに応じて異なる重みを用いてもよい。
参考文献1:Richard G.Baraniuk, “Compressive Sensing”, IEEE SIGNAL PROCESSING MAGAZINE [118] JULY 2007
式(14)では各露出に対して同一の重みλを用いているが、kに応じて異なる重みを用いてもよい。
また、以下の式(15)および式(16)のそれぞれで示されるTikhonov正則化項やTV(Total Variation)ノルム正則化項を用いてもよい。
∂xVkおよび∂yVkはそれぞれ、推定画像Vkのx方向およびy方向に対する1次微分を表す。
最適化問題である推定式(9)を解くには、繰り返し演算を用いた手法を利用する。例えば、正則化項として式(15)を採用した場合は、共役勾配法等を用いる。また、式(14)または式(16)を正則化項とした場合は、TwIST(Two-step Iterative Shrinkage/Thresholding)等を用いるとよい。TwISTに関しては、以下の参考文献2に詳細が説明されている。
参考文献2:J.M.Bioucas-Dias, et al., “A new TwIST:two-step iterative shrinkage/thresholding algorithms for image restoration”, IEEE Trans. on Image Processing, vol.16, Dec.2007
また望ましくは、複数の露出のうち第1の露出および第2の露出に対応する第1の推定画像および第2の推定画像間の差分を評価値に含む正則化項を用いるとよい。これは、各露出(撮像)では、同じ被写体空間を撮像しているため、2つの推定画像のうち一方のみ情報が失われているシャドー部やハイライト部を除いて、全く同じ形状を取得していることに着目している。つまり、第1および第2の推定画像間で明るさを合わせて差分を取ると、上記シャドー部やハイライト部以外では、値が非常に小さくなる。このため、該差分が小さくなるように推定画像を推定することで、より高い精度で複数の露出に対応する推定画像を生成することができる。
参考文献2:J.M.Bioucas-Dias, et al., “A new TwIST:two-step iterative shrinkage/thresholding algorithms for image restoration”, IEEE Trans. on Image Processing, vol.16, Dec.2007
また望ましくは、複数の露出のうち第1の露出および第2の露出に対応する第1の推定画像および第2の推定画像間の差分を評価値に含む正則化項を用いるとよい。これは、各露出(撮像)では、同じ被写体空間を撮像しているため、2つの推定画像のうち一方のみ情報が失われているシャドー部やハイライト部を除いて、全く同じ形状を取得していることに着目している。つまり、第1および第2の推定画像間で明るさを合わせて差分を取ると、上記シャドー部やハイライト部以外では、値が非常に小さくなる。このため、該差分が小さくなるように推定画像を推定することで、より高い精度で複数の露出に対応する推定画像を生成することができる。
さらに望ましくは、上記差分を取る第1および第2の推定画像は、互いに最も露出が近い第1および第2の露出に対応する推定画像であるとよい。上述したように明るさを合わせた2つの推定画像で差分が非常に小さくなるのは、互いに被写体空間の情報が正しく取得されている領域である。つまり、黒潰れや輝度飽和によって2つの推定画像のうち一方でしか情報が含まれていないシャドー部やハイライト部では、上記差分が大きくなる。しかし、第1および第2の推定画像として、互いに最も近い露出に対応する推定画像を選択することで、この問題を抑制することができる。
第1および第2の推定画像の差分に着目した正則化項の具体例としては、以下の式(17)等がある。
∂jは微分演算子を表す。∂0(j=0)は恒等演算子であり、∂x,∂yがそれぞれ画像の横方向と縦方向の微分を示す。さらに高次の微分は、例えば∂xxや∂xyyのように表されるが、本実施例ではj=x,yのみを考える。
また、式(17)の代わりに、以下の式(18)を用いてもよい。
式(18)では、第1および第2の推定画像Vk,Vk+1の一方を微分し、互いの積を取っているため、明るさを調整する係数(式(17)のrk+1/rk)が不要となる。
式(17)または式(18)を用いて推定式(9)を解く場合には、例えば以下の参考文献3に記載されている手法を用いるとよい。
参考文献3:F.Heide,et al.,“High-Quality Computational Imaging Through Simple Lenses”,ACM Trans.Graph.(Proc.SIGGRAPH 2013)32(5),2013
ここでは幾つかの正則化項を挙げたが、複数の正則化項を組み合わせて使用してもよい。また、繰り返し演算を用いて式(9)を最適化する際に、繰り返し毎に正則化の重みλ等のパラメタを更新してもよい。
ここでは幾つかの正則化項を挙げたが、複数の正則化項を組み合わせて使用してもよい。また、繰り返し演算を用いて式(9)を最適化する際に、繰り返し毎に正則化の重みλ等のパラメタを更新してもよい。
上記のような最適化問題の解法を利用することで、複数の露出における被写体空間の光強度分布を表す複数の推定画像が得られる。
次にステップS105において、推定完了判定部106eは、ステップS104で生成された推定画像が既定の条件を満足するか否かを判定する。既定の条件としては、例えば、ステップS104で行われた繰り返し演算が所定回数以上となっていることや、繰り返し演算によって更新される推定画像の変化が所定値以下となっていることが挙げられる。条件を満足している場合はステップS106に進む。一方、条件を満足していない場合はステップS104に戻り、さらに繰り返し計算の回数を増やして推定画像を生成する。
ステップS106において、HDR画像生成部106fは、複数(4つ)の推定画像を用いて、HDR画像を生成する。なお、HDR画像の生成に用いるのは4つの推定画像でなくてもよく、2以上の推定画像であればよい。
以上のような画像処理により、撮像素子104で取得された入力画像から、データ量の増大と解像度の低下を抑えつつ、複数の異なる露出に対応する複数の推定画像を生成することができる。
次に、上述した画像処理において満足することが望ましい条件について説明する。入力画像に合成された複数の露出のうち最大(最も明るい)の露出によって得られる光強度分布は、最小(最も暗い)の露出によって得られる光強度分布よりも、平均値が小さい透過率分布を用いて得られることが望ましい。最大露出での光強度分布は、他の露出での光強度分布に比べて全体的に光強度が高く、輝度飽和を起こしやすい。本実施例では、1画素内に合成された複数の露出に対応する画像信号を推定によって分離するが、輝度飽和によって露出に対応する画像信号の情報が正しく得られていない場合には、該画像信号の推定精度が大きく低下する。逆に、最小露出での光強度分布は黒潰れを起こしやすいが、黒潰れが起きた画素に他の露出の光強度分布が合成されても、画像信号の値がダイナミックレンジ内に収まるため、輝度飽和のような問題は生じない。このため、最大露出に対しては、輝度飽和が起きやすい領域を減らすように透過率分布を設定するとよい。具体的には、最大露出での光強度分布を与える透過率分布の平均値tave(k=K)を、最小露出における光強度分布を与える透過率分布の平均値tave(k=1)より小さくするとよい。
また、複数の露出によって得られる光強度分布を与える透過率分布のそれぞれの平均値tave(k)が、露出の増加に伴って単調減少することが望ましい。前述したように、露出が大きい光強度分布ほど輝度飽和を起こしやすく、推定画像の推定精度低下を招きやすい。このため、大きい露出ほど、与えられる透過率分布の平均値が小さくなるように設定するとよい。具体的には、以下の式(19)の条件を満足することが望ましい。
式(19)の上限値は、露出が増加するにつれて与えられる透過率分布の平均値tave(k)が単調減少するための条件である。下限値は、分子の平均値tave(k+1)が0とならない限り超えることができず、0の場合はその露出の情報を得ていないことになるため、条件から除外される。
また、最大露出によって得られる光強度分布は、最小露出によって得られる光強度分布よりも、透過率が0.1以下である領域の面積が大きい透過率分布を用いて得られることが望ましい。これにより、前述した輝度飽和による推定精度の低下を抑制することができる。本実施例において、最大露出に与えられた透過率分布(図5(B))において透過率が0.1以下となる領域は、撮像素子104の3/4である。これに対して、最小露出に与えられた透過率分布(図4(A))では撮像素子104の1/2であり、最大露出の方が大面積である。
さらに、最大露出によって得られる光強度分布は、最小露出によって得られる光強度分布よりも、透過率が0.01以下である領域の面積が大きい透過率分布を用いて得られることが望ましい。これにより、より輝度飽和による推定精度の低下を抑制することができる。
また、k番目の露出に与えられた透過率分布の平均値tave(k)が、以下の式(20)に示す条件を満足することが望ましい。
前述したように、輝度飽和による推定画像の推定精度の低下を抑制するためには、大きい露出に与えられる透過率分布の平均値を小さくするとよい。しかし、この際に、露出間で透過率分布の平均値の差が大きすぎると、推定画像の解像度の差も大きくなってしまう。これは、透過率分布の平均値が小さいということは、その露出に関する情報が少ないことを意味し、情報が少ないとその分、推定画像の解像度が低下するからである。このため、推定画像Vk間の解像度の差が大きくならないように、透過率分布の平均値が式(20)の条件を満足することが望ましい。式(20)の上下限値を超えると、解像度の差が大きくなり過ぎて、好ましくない。
式(20)の条件の上下限値を以下の式(20a)に示す値とすることで、より推定画像間の解像度差を抑えることができる。
また、式(20)の条件の上下限値を以下の式(20b)に示す値とすることで、さらに推定画像間の解像度差を抑えることができる。
また、前述したステップS104では、解像度を低下させて連立方程式を解く手法(同ステップ内で図3を用いて説明した手法)に、式(9)で表される推定を加えることで、高解像度な推定画像を生成する。これは逆に言うと、解像度を低下させて連立方程式を解く手法で高精度に解が求められる条件下では、式(9)による推定を加えた処理でも推定精度が向上することを意味する。その条件とは、先にも説明した通り、連立一次方程式が互いに独立であることである。このため、ある画素(xm,yn)(m=1,…,M、n=1,…,N)を含む周辺領域の画素のそれぞれにおいて、各kについての透過率を成分とするベクトルができる限り一次独立となっていることが望ましい。透過率は連立一次方程式の係数を表すため、該ベクトルを係数ベクトルと称し、該係数ベクトル(行ベクトル)を配列した行列をEとする。この際、推定画像の推定精度を向上させるためには、行列Eは以下の式(21)に示す条件を満足することが望ましい。
ただし、以下の式(22)でaを定義したとき、行列Eは本実施例において以下の式(23)で与えられる。
式(22)中のceilは天井関数を表す。行列Eは、図3を用いて説明した解像度を低下させて連立方程式を解く手法における各方程式の係数からなる行列である(本実施例ではEが9×4行列となる)。つまり、行列Eの階数が、1画素あたりの未知数の数であるKに近いほど、推定精度が向上する。このため、透過率分布は全ての画素(xm,yn)に対して、式(21)の条件を満足するような分布となっていることが望ましい。
実施例1では、複数の露出によって得られる複数の光強度分布が互いにずれることなく重ね合わされているため、行列Eにおける行ベクトル(係数ベクトル)の各成分は同一の座標となっている。しかし、複数の光強度分布がずれている場合には、それに合わせて座標もずれることとなる。
式(21)の条件の上下限値を以下の式(21a)に示す値とするとよい。
また、式(21)の条件の上下限値を以下の式(21b)に示す値とするとさらによい。
また、撮像素子104上で重ね合わされる複数の光強度分布を与える透過率分布の和としての分布を総和透過率分布とするとき、総和透過率分布の最小値が0よりも大きいことが望ましい。総和透過率分布tsumは、式(1)の記法を用いると、以下の式(24)で表される。
総和透過率分布tsumの値が0となる画素(xm,yn)が存在する場合には、該画素には光が一切入射しないことを意味する。推定画像ベクトルvを得ることは、先にも述べたように連立一次方程式の解を推定することに相当する。光が入射しない画素が存在すると、該画素では一次方程式の係数(透過率tk)が全て0となるため、連立一次方程式の数が減ることになる。このため、一次方程式の数が減らないように、総和透過率分布の最小値は0よりも大きいことが望ましい。
また、k番目の露出に対してk+1番目の露出は2倍以上大きいことが望ましい。これは、近い露出で被写体空間の光強度分布を取得しても、ダイナミックレンジ外の情報がさほど取得できず、情報取得の効率が良くないためである。ここで、露出の値ζ(k)は、例えば以下の式(25)を用いて算出するとよい。
F(k)はk番目の露出におけるF値であり、T(k)はk番目の露出におけるシャッタースピード(露光時間)である。S(k)はk番目の露出におけるISO感度である。さらに、tmax(k)はk番目の露出に与えられた透過率分布の最大値である。
また、ある露出に与えられた透過率分布を、入力画像における領域ごとに、撮像前の測光により取得した被写体空間の光量分布の情報を用いて変化させてもよい。図6を用いて、その効果について説明する。撮像される被写体空間201にシャドー(暗い)領域203とその他の領域202があるものとする。該その他の領域202には、図4(A),(B)および図5(A),(B)にて示した透過率分布が4つの露出に与えられていると考えて推定の式(9)を解く。
しかし、シャドー領域203では光量が少ないので、最小露出(k=1)では殆ど情報を取ることができない。このため、シャドー領域203では、図6に示すように、小さい露出に対する透過率分布の値を下げ、その分、高い露出の透過率分布の値を上げる。これにより、被写体領域のうちシャドー領域203をより高解像度を実現できるように推定することができる。このことは、被写体空間201のうち明るいハイライト領域に対しても同様に成り立つ。
なお、ここで変化させているのは、複数の露出における光強度分布に与えた透過率分布であり、それぞれの露出ではない。つまり、同一の画素に合成されている互いに異なる露出のそれぞれの割合をどのように考えるかを、被写体空間の光量分布に応じて変化させる。シャドー領域では大きい露出を優先し、ハイライト領域では小さい露出を優先するように透過率分布tkを設定するとよい。
本実施例では、空間分割によって複数の露出に対して互いに異なる透過率分布を与えている。このため、全ての露出において、時間的なずれのない、同一時刻の情報を取得することができる。
以上説明したように、本実施例によれば、データ量の増大と解像度の低下とを抑えつつ、複数の露出に対応する複数(2以上)の推定画像を生成することが可能な撮像装置を実現することができる。
本発明の実施例2である画像処理システムについて説明する。本実施例では、時間分割によって複数の露出に与える透過率分布を異ならせる。また、本実施例では、撮像装置と画像処理装置とが別々の装置としての構成されている。
図7(A)には本実施例の画像処理システムの構成を示し、図7(B)にはその外観を示す。撮像装置301は、被写体空間からの光を集光し、光学像(被写体空間像)を形成させる結像光学系302と、透過率分布付与部303と、複数の画素が配列された撮像素子304とを有する。撮像素子304は、CCDセンサやCMOSセンサ等の光電変換素子である。撮像装置301による撮影画像(入力画像)の取得方法については後述する。
入力画像は、通信部306を介して画像処理装置305に送られる。入力画像は、異なる透過率分布が与えられた複数の露出(光強度分布)が合成された画像である。また、入力画像とともに、透過率分布に関する情報が画像処理装置305内の記憶部307に記憶される。画像処理装置305は、パーソナルコンピュータにより構成され、入力画像に対して画像処理を行うことで、該入力画像から互いに異なる露出に対応する画像である推定画像を分離生成する。この際、記憶部307に記憶された透過率分布の情報が使用される。
画像処理装置305は、画像取得部305aと、情報取得部305bと、パラメタ設定部305cと、画像推定部305dと、推定完了判定部305eとを有する。
画像処理により生成された複数の推定画像は、通信部306を介して表示装置308、記録媒体309および出力装置310のうち少なくとも1つに出力される。表示装置308は、液晶ディスプレイやプロジェクタ等である。ユーザは表示装置308を介して画像処理途中の画像を確認しながら作業を行うことができる。記録媒体309は、半導体メモリ、ハードディスク、ネットワーク上のサーバー等である。出力装置310は、プリンタ等である。画像処理装置305は、必要に応じて現像処理その他の処理を行う機能を有していてよい。ユーザは、複数の推定画像を用いて、HDR画像の合成や、輝度飽和部の近傍でのリンギング等が抑制された高解像化処理(例えば、WienerフィルタやRichardson-Lucy法等を用いた処理)を行うことができる。
撮像装置301の透過率分布付与部303は、撮像素子304の近傍に配置されており、露光時間中に透過率分布のパターンを切り替えることで、複数の露出に互いに異なる透過率分布を与える。透過率分布付与部303によって複数の露出に互いに異なる透過率分布を与える撮像方法について、図8を用いて説明する。
本実施例では、入力画像を得る総露光時間Texを5つに分割し、それぞれで異なる透過率分布tk(x,y)を与える。図8は、横軸を露光時間texの対数で表記している。なお、総露光時間の分割数は5つに限らない。また、それぞれの露出における露光時間は対数時間に対して等ピッチであってもよいし、そうでなくてもよい。また、本実施例で与える透過率分布は、0および1の二値であるが、それ以外の中間値を与えてもよい。
透過率分布tkを時間によって変化させるには、例えば、透過率分布付与部303に透過型LCOS(Liquid Crystal on Silicon)素子を用いればよい。
また、図9に示すように、透過率パターンが固定されたマスクを露光時間中にメカニカルに移動させる方法を用いてもよい。撮像素子304に対してマスク(透過率分布付与部303)が時間的に移動することで、k(=1〜5)に応じて異なる透過率分布を与えることができる。
また、ここではkごとに露光時間を変化させることで異なる露出を実現するが、その他の方法で露出を変化させてもよい。例えば、露光時間中に結像光学系302の絞りを絞ったり、撮像素子304のISO感度を変化させたり、時間的に透過率が変化する光減衰フィルタを用いたりしてもよい。さらに、これらの方法を組み合わせて用いてもよい。
画像取得部305a、情報取得部305b、パラメタ設定部305c、画像推定部305dおよび推定完了判定部305eが行う処理は、図1に示したステップS101〜S105の処理と同様であるので、ここでの説明は省略する。
また、図8で示した撮像方法の使用に代えて、図10に示すように考えて、異なる露出に対応する推定画像を生成(推定)することもできる。図10では、大きい露出が小さい露出の露光時間を含んでいると考えて各露出を定義している。ある露出に与えた透過率分布tkは、例えばk=2の場合には、図10に示すように、図8で与えた透過率分布の時間重み付き平均となる。
本実施例では、時間分割によって複数の露出(光強度分布)に与える透過率分布を異ならせるため、露出間で時間的にずれが生じる。このため、本実施例は、静止している被写体を撮像するのに有効である。一方、移動する被写体に対しては前述した実施例1を用いる方が望ましい。
本実施例によれば、データ量の増大と解像度の低下とを抑えつつ、複数の露出に対応する複数(2以上)の推定画像を生成することが可能な画像処理システムを実現することができる。
本発明の実施例3である画像処理システムについて説明する。本実施例は、実施例2と同様に時間分割によって複数の露出に与える透過率分布を異ならせるが、各露出に与える透過率分布を、各露出の光強度分布が撮像素子で取得された後に与える点が異なっている。
図11(A)には本実施例の画像処理システムの構成を示し、図11(B)にはその外観を示す。画像処理装置としてのサーバー406は通信部407を有し、ネットワーク405を介して撮像装置401と接続されている。この接続は、有線および無線のいずれを用いてもよい。
撮像装置401は、被写体空間からの光を集光し、光学像(被写体空間像)を形成させる結像光学系402と、複数の画素が配列され、かつ信号選択部403を備えた撮像素子404とを有する。撮像素子404の信号選択部403は、複数の露出によって得られる複数の光強度分布(被写体空間像)が画素において光電変換されることでそれぞれ生成される画像信号に対して互いに異なる透過率分布を付与する。撮像素子404の詳しい構成に関しては後述する。
撮像装置401で取得された撮影画像は、自動または手動でサーバー406の通信部407に送信され、入力画像としてサーバー406内の記憶部408および画像処理部409に送られる。記憶部408には、入力画像とともに、信号選択部403で与えた透過率分布に関する情報も記憶される。画像処理部409は、入力画像と透過率分布に関する情報とを用いて画像処理を行うことで、複数の露出に対応する複数の推定画像を生成し、さらに該複数の推定画像を用いてHDR画像を生成する。生成されたHDR画像は、記憶部408に記憶されるか、通信部407を介して撮像装置401に送信される。
次に、本実施例における撮像素子404について詳しく説明する。撮像素子404は、図12に示すCMOSセンサとしての構成を有し、画素配列部421と、垂直走査回路部422と、水平走査回路部423と、A/D変換部424と、信号選択部403と、記憶部425と、出力部426とを有する。また、本実施例の撮像素子404は、図13に示すタイムチャートに従って動作する。
図12に示す画素配列部421には複数の画素が配列されている。露光時間中に画素に入射した光は、各画素でアナログ画像信号に変換される。ここで、複数の画素はそれぞれグローバル電子シャッタを備えており、該複数の画素に対する同時刻の露出が可能となっている。
複数の画素からのアナログ画像信号の読み出しは、垂直走査回路部422と水平走査回路部423によって行われ、該読み出し中にA/D変換部424においてアナログ画像信号がデジタル画像信号に変換される。デジタル画像信号は信号選択部403に入力される。
信号選択部403は、画像信号が読み出された画素の位置に応じてパタニング(信号の取捨選択)を行う。このパタニングを行うことは、画像信号に対して0または1の透過率分布tk=1(x,y)を付与することと等価である。なお、信号選択部403は、画像信号の取捨(0か1か)だけではなく、画像信号を比例倍する等の演算を行ってもよく、これにより0および1以外の透過率を画像信号に付与することもできる。パタニングされた画像信号(画像データ)は、記憶部425に一時的に記憶される。
次に、異なる露出(図13では露出間で露光時間が異なる場合を示している)に対しても同様の処理が行われる。この際、信号選択部403は、前の露光とは異なる透過率分布を付与するパタニングを行う。パタニング後の画像信号は、記憶部425に既に記憶されている画像信号に加算(合成)される。このため、露出が増えても画像データ量は増えない。
こうして合成する露出の数(本実施例では3)だけ前述の処理を繰り返した後、該露出の情報が重ね合わされた画像を出力部426が撮像素子404の外部へ出力する。
サーバー406が画像信号に対して画像処理部409で行う画像処理は、実施例1で図1を用いて説明した画像処理と同様である。
本実施例においても、データ量の増大と解像度の低下とを抑えつつ、複数の露出に対応する複数(2以上)の推定画像を生成することが可能な画像処理システムを実現することができる。
本発明の実施例4である撮像装置について説明する。本実施例の撮像装置は、視差分割によって複数の露出に互いに異なる透過率分布を与える。
本実施例の撮像装置の構成と外観は、図2(A),(B)に示したものと同様である。ただし、本実施例では、図2(A)に示した撮像部101が、図14に示した構成に置き換わっている。
撮像素子504は、複数の画素と、各画素に1つずつ設けられた小レンズからなるマイクロレンズアレイ507とにより構成されている。複数の画素には、フォトダイオード等の光電変換部506a,506b,506c,…(以下の説明ではまとめて506と記す)が1つずつ設けられている。マイクロレンズアレイ507と被写体面511は、結像光学系502を介して共役な関係にある。さらに、結像光学系502の瞳と光電変換部506は、マイクロレンズアレイ507を介して共役な関係にある。ただし、ここにいう共役な関係とは、マイクロレンズアレイ507の焦点距離に対して結像光学系502の瞳とマイクロレンズアレイ507の間隔が非常に大きいため、結像光学系502の瞳と光電変換部506とが完全な共役な関係からある程度ずれた関係も含む。結像光学系502の絞り位置には、図15に示す光減衰フィルタ505が配置されている。このため、結像光学系502の瞳には、光減衰フィルタ505の透過率分布(図中の濃淡が透過率の大きさを表す)に対応する透過率分布が付与される。これによって瞳位置(視点)に応じて、異なる露出の像(光強度分布)が結像されることが分かる。
撮像素子504の各画素には、前述した光電変換部506と透過率分布付与部503(503a,503b,503c,…)が設けられている。以下の説明において、1つの画素に設けられた透過率分布付与部を示す場合は「503a」のように符号を付し、透過率分布付与部の全体を示す場合は「503」を付す。
図16には、透過率分布付与部503の構成を示す。透過率分布付与部503は、図中に白く示した透明部と黒く示した遮光部とを有する。透過率分布付与部503は、撮像素子504の各画素で異なる領域を遮光している。図16中の破線で描かれた円は、各光電変換部506に結像される結像光学系502の瞳の像を表している。図16から分かるように、各画素では瞳の位置に応じて異なる透過率が与えられている。
次に、撮像素子504で得られる撮影画像(入力画像)について説明する。瞳のうちある部分領域(以下、部分瞳という)を通して被写体空間を観察する(つまりは撮像素子に対する露出を与える)場合について説明する。ここでは、図15における右下の部分瞳512を通して観察する場合を例として説明するが、以下の説明は他の部分瞳を通して観察する場合でも同様に成り立つ。
部分瞳512を通して観察したときの被写体空間像は、該部分瞳512を通過した光(瞳は光電変換部に反転した像を形成するので、図15においては各画素の左上の領域に入射する光となる)のみを集めることで再現することができる。その被写体空間像が、図17に示す上段(k=1)に示す光強度分布I1(x,y)であるとする。この光強度分布に対して、透過率分布付与部503で付与される透過率分布t1(x,y)は、図16における各画素の左上の領域の透過率成分を並べることで得られ、それが図17の上段に示す透過率分布である。
他の部分瞳を通した観察においても同様であり、図17の中段k=2は、図15の左下の部分瞳を通して被写体空間を観察したときの光強度分布とそれに与えられた透過率分布とを示している。また、図17の下段k=3は、図15の右上の部分瞳を通して被写体空間を観察したときの光強度分布とそれに与えられる透過率分布とを示している。図17から分かるように、撮像素子504では、複数の部分瞳が複数の露出に対応し、さらに該露出のそれぞれに異なる透過率分布が与えられた光強度分布が合成されて取得されている。こうして光強度分布が合成されることで、図17に示す撮影画像s(x,y)が得られる。なお、撮影画像s(x,y)内の光強度分布は図示を省略している。
また、本実施例では、絞り位置に、異なる透過率を有する複数の領域を含む光減衰フィルタを配置することで互いに異なる複数の露出を可能とする場合について説明したが、透過率分布付与部503に光減衰フィルタの機能を持たせてもよい。図16に描かれた破線の円のそれぞれに、図15に示した透過率を反転させて積を取れば、透過率分布の付与と光減衰フィルタを兼ねた透過率分布付与部503を実現することができる。
本実施例において、異なる露出に対応する推定画像を生成する画像処理は、実施例1と同様であるので、説明を省略する。
本実施例では、視差分割を利用するため、各露出において同時刻の光強度分布を取得することができるが、互いに視差が発生する。図14に示す構成を採る場合、合焦位置では視差はないが、デフォーカス位置では有限の視差が存在するため、複数の露出の光強度分布に物体距離に応じた位置ずれが生じる。このため、本実施例は、結像光学系502の被写界深度に対して被写体空間に存在する物体の距離分布が狭い場合に有効である。一方、物体の距離分布が広い場合には、実施例1の構成を用いることが望ましい。
また、視差分割を利用する他の撮像部として、図18に示す多眼の撮像部を用いてもよい。図18において、複数の正の屈折力を有する結像光学系602a〜602cが配列されている。この場合、結像光学系602a〜602cの各瞳が部分瞳となり、それらを足し合わせたものが図14の結像光学系502の瞳に対応する。結像光学系602a〜602cはそれぞれ露出が異なり、かつ各像面に透過率分布付与部603a〜603cが配置されている。これにより、露出ごとに異なる透過率分布を与えられた被写体空間像が形成される。
結像光学系602a〜602cはそれぞれ光軸がずれているが、反射部607a〜607dと光軸連結部604a,604bとによって、これらの光軸を互いに一致させる。反射部607a〜607dはミラー等により構成され、光軸連結部604a,604bはハーフミラー等により構成される。
また、図18では、結像光学系602a〜602cからリレー光学系605までの光路長が等しくなるように構成されている。結像光学系602a〜602cで結像された被写体空間像はリレー光学系605で再結像され、複数の画素を有する撮像素子606で受光される。異なる露出を与える結像光学系602a〜602cの光軸と光路長とがそれぞれ一致しているため、撮像素子606では、露出ごとに異なる透過率分布を与えられた被写体空間像が互いに重ね合わされて撮像されて撮影画像が取得される。この撮影画像を入力画像として、実施例1にて説明した画像処理を行う。
また、図18に示す構成では、結像光学系602aを通過した光は、ハーフミラーを経る回数が他の結像光学系602b,602cを通過した光に比べて少ないため、結像光学系602b,602cを通過した光よりも光量が大きくなる。これを考慮して、結像光学系602a〜602cの露出を決定するとよい。
以上説明した本実施例の構成によっても、データ量の増大と解像度の低下とを抑えつつ、複数の露出に対応する複数(2以上)の推定画像を生成することが可能な撮像装置を実現することができる。
(その他の実施例
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(その他の実施例
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
103,303,503 透過率分布付与部
106 画像処理部
106a,305a 画像取得部
106b,305b 情報取得部
106d,305d 画像推定部
305 画像処理装置
403 信号選択部
106 画像処理部
106a,305a 画像取得部
106b,305b 情報取得部
106d,305d 画像推定部
305 画像処理装置
403 信号選択部
Claims (11)
- 撮像により生成される画像であって、互いに異なる透過率分布が与えられた複数の異なる露出により得られる光強度分布の情報を含む第1の画像を取得する画像取得手段と、
前記透過率分布に関する情報を取得する情報取得手段と、
前記透過率分布に関する情報を用いた推定により、前記第1の画像の同一の画素から、前記複数の露出のうち2以上の露出のそれぞれに対応する画像信号を分離し、該分離した画像信号を用いて2以上の第2の画像を生成する画像推定手段とを有することを特徴とする画像処理装置。 - 前記画像推定手段は、前記推定を、前記複数の露出のうち第1の露出および第2の露出のそれぞれに対応する前記第2の画像の差分を評価値に含めて行うことを特徴とする請求項1に記載の画像処理装置。
- 前記画像推定手段は、前記推定を、互いに明るさを合わせた前記第2の画像の差分が小さくなるように行うことを特徴とする請求項2に記載の画像処理装置。
- 前記第1および第2の露出は、前記複数の露出のうち明るさが互いに最も近い露出であることを特徴とする請求項2または3に記載の画像処理装置。
- 前記複数の露出のうち最も明るい露出での前記光強度分布を、最も暗い露出での前記光強度分布よりも、平均値が小さい前記透過率分布を用いて得ることを特徴とする請求項1から4のいずれか一項に記載の画像処理装置。
- 前記複数の露出に与えられる前記透過率分布のそれぞれの平均値は、該露出の増加に伴って単調減少することを特徴とする請求項5に記載の画像処理装置。
- 前記複数の露出のうち最も明るい露出での前記光強度分布を、最も暗い露出での前記光強度分布よりも、透過率が0.1以下である領域の面積が大きい前記透過率分布を用いて得ることを特徴とする請求項1から6のいずれか一項に記載の画像処理装置。
- 前記複数の露出の総数をKとし、前記複数の露出のうちk番目に暗い露出に与えられた前記透過率分布の平均値をtave(k)とするとき、
- 前記2以上の第2の画像を用いて、前記第2の画像それぞれよりもダイナミックレンジが拡大されたハイダイナミックレンジ画像を生成する画像生成手段を有することを特徴とする請求項1から8のいずれか一項に記載の画像処理装置。
- 互いに異なる透過率分布が与えられた複数の異なる露出により得られる光強度分布の情報を含む撮影画像を生成する撮像手段と、
前記撮影画像を前記第1の画像として取得する請求項1から9のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。 - コンピュータに画像処理を実行させるコンピュータプログラムであって、
前記画像処理は、
撮像により生成される画像であって、互いに異なる透過率分布が与えられた複数の異なる露出により得られる光強度分布の情報を含む第1の画像を取得し、
前記透過率分布に関する情報を取得し、
前記透過率分布に関する情報を用いた推定により、前記第1の画像の同一の画素から、前記複数の露出のうち2以上の露出のそれぞれに対応する画像信号を互いに分離し、該分離した画像信号を用いて2以上の第2の画像を生成することを特徴とする画像処理プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015155150A JP6611509B2 (ja) | 2015-08-05 | 2015-08-05 | 画像処理装置、撮像装置および画像処理プログラム |
US15/557,293 US10382710B2 (en) | 2015-08-05 | 2016-07-27 | Image processing apparatus, image capturing apparatus, and non-transitory computer-readable storage medium |
PCT/JP2016/003460 WO2017022208A1 (en) | 2015-08-05 | 2016-07-27 | Image processing apparatus, image capturing apparatus, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015155150A JP6611509B2 (ja) | 2015-08-05 | 2015-08-05 | 画像処理装置、撮像装置および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017034595A true JP2017034595A (ja) | 2017-02-09 |
JP6611509B2 JP6611509B2 (ja) | 2019-11-27 |
Family
ID=57942704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015155150A Active JP6611509B2 (ja) | 2015-08-05 | 2015-08-05 | 画像処理装置、撮像装置および画像処理プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10382710B2 (ja) |
JP (1) | JP6611509B2 (ja) |
WO (1) | WO2017022208A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11308592B2 (en) * | 2018-10-04 | 2022-04-19 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, imaging apparatus, and storage medium, that correct a captured image using a neutral network |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004180308A (ja) * | 2002-11-22 | 2004-06-24 | Eastman Kodak Co | 拡張レンジパノラマ合成に用いる画像を生成する方法及び装置 |
JP2009089355A (ja) * | 2007-09-14 | 2009-04-23 | Ricoh Co Ltd | 撮像装置および撮像方法 |
JP2015087401A (ja) * | 2013-10-28 | 2015-05-07 | キヤノン株式会社 | 撮像装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009035148A1 (en) | 2007-09-14 | 2009-03-19 | Ricoh Company, Ltd. | Imaging apparatus and imaging method |
US8248481B2 (en) * | 2009-04-08 | 2012-08-21 | Aptina Imaging Corporation | Method and apparatus for motion artifact removal in multiple-exposure high-dynamic range imaging |
JP5855035B2 (ja) | 2013-02-28 | 2016-02-09 | 株式会社東芝 | 固体撮像装置 |
JP2014220717A (ja) | 2013-05-09 | 2014-11-20 | キヤノン株式会社 | 画像処理装置及び方法 |
-
2015
- 2015-08-05 JP JP2015155150A patent/JP6611509B2/ja active Active
-
2016
- 2016-07-27 WO PCT/JP2016/003460 patent/WO2017022208A1/en active Application Filing
- 2016-07-27 US US15/557,293 patent/US10382710B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004180308A (ja) * | 2002-11-22 | 2004-06-24 | Eastman Kodak Co | 拡張レンジパノラマ合成に用いる画像を生成する方法及び装置 |
JP2009089355A (ja) * | 2007-09-14 | 2009-04-23 | Ricoh Co Ltd | 撮像装置および撮像方法 |
JP2015087401A (ja) * | 2013-10-28 | 2015-05-07 | キヤノン株式会社 | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2017022208A1 (en) | 2017-02-09 |
JP6611509B2 (ja) | 2019-11-27 |
US10382710B2 (en) | 2019-08-13 |
US20180063453A1 (en) | 2018-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7242185B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および、記憶媒体 | |
KR101233013B1 (ko) | 화상 촬영 장치 및 그 거리 연산 방법과 합초 화상 취득 방법 | |
JP6672070B2 (ja) | 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム | |
KR101345012B1 (ko) | 이미지를 전자적으로 캡처하는 장치, 카메라로부터 물체까지의 초점 거리를 추정하는 장치, 카메라―물체 초점 심도의 자동 추정 방법 및 컴퓨터―판독가능 매체 | |
US9305375B2 (en) | High-quality post-rendering depth blur | |
RU2431889C1 (ru) | Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления | |
KR100911890B1 (ko) | 이미지 모델의 컬러 성분의 복원을 위한 방법, 시스템,프로그램 모듈, 및 컴퓨터 프로그램 생성물 | |
JP5470959B2 (ja) | マルチフレーム再構築を行う方法、システム及びソフトウエア | |
US9516242B2 (en) | Method and apparatus for image reconstruction | |
JP5237978B2 (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
JP7234057B2 (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム | |
JP2014138290A (ja) | 撮像装置及び撮像方法 | |
JP2019168862A (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体 | |
JP2012256118A (ja) | 画像復元装置およびその方法 | |
JP2017138199A (ja) | 画像処理装置、撮像装置、および画像処理方法 | |
JP2012003454A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2017208642A (ja) | 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム | |
JP6611509B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP7191588B2 (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体 | |
JP2021140758A (ja) | 学習データの製造方法、学習方法、学習データ製造装置、学習装置、およびプログラム | |
JP6818461B2 (ja) | 撮像装置、画像処理装置、画像処理方法および画像処理プログラム | |
JP7009219B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
JP2015119428A (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
JP6102119B2 (ja) | 相関演算装置、焦点検出装置および電子カメラ | |
JP2018088587A (ja) | 画像処理方法および画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180727 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191029 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6611509 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |