JP2007036714A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2007036714A JP2007036714A JP2005217567A JP2005217567A JP2007036714A JP 2007036714 A JP2007036714 A JP 2007036714A JP 2005217567 A JP2005217567 A JP 2005217567A JP 2005217567 A JP2005217567 A JP 2005217567A JP 2007036714 A JP2007036714 A JP 2007036714A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- luminance distribution
- level
- output
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【課題】輝度分布が任意に多極化されても、夫々の極毎に最適なガンマ特性を割り当てることを可能とし、ダイナミックレンジを向上させる。
【解決手段】CCD撮像素子は、窓越しの屋外を含む屋内のシーンを撮影し、1フィールド毎に交互に長時間露光信号と短時間露光信号とを出力する(図2(b))。これら長時間露光信号と短時間露光信号は、前側の山が屋内の映像信号、後側の山が屋外の映像信号としている。長時間露光信号は、屋外の映像部分が飽和しており、輝度分布に応じて、ガンマ特性Aにより、その飽和した映像部分が抑え込まれ(図2(c),(d))、短時間露光信号は、輝度分布に応じて、ガンマ特性Bにより、屋外の映像部分が増幅される(図2(c),(d))。このようにガンマ補正された長時間露光信号と短時間映像信号とは、フィールド毎に加算される(図2(e),(f))。
【選択図】図2
【解決手段】CCD撮像素子は、窓越しの屋外を含む屋内のシーンを撮影し、1フィールド毎に交互に長時間露光信号と短時間露光信号とを出力する(図2(b))。これら長時間露光信号と短時間露光信号は、前側の山が屋内の映像信号、後側の山が屋外の映像信号としている。長時間露光信号は、屋外の映像部分が飽和しており、輝度分布に応じて、ガンマ特性Aにより、その飽和した映像部分が抑え込まれ(図2(c),(d))、短時間露光信号は、輝度分布に応じて、ガンマ特性Bにより、屋外の映像部分が増幅される(図2(c),(d))。このようにガンマ補正された長時間露光信号と短時間映像信号とは、フィールド毎に加算される(図2(e),(f))。
【選択図】図2
Description
本発明は、室内から窓外の風景などを含むシーンなどの、入射光量が大きい領域と入射光量が小さい領域とを含むシーンを撮影した場合の逆光補正処理機能を備えた撮像装置に関する。
ビデオカメラや電子スチルカメラ(以下、これらを総称して、カメラという)などの撮像装置において、室内からその窓辺に居る人物を撮影するなど、逆光時の撮影の場合、一般的な露光制御を行なうと、目的の人物の映像が黒くつぶれ、窓の外の風景に適切な露光が行なわれる。このようなシーンを撮影する場合には、逆光補正処理を行ない、目的の人物の映像が黒くつぶれないような補正を行なっていた。しかしながら、このような補正を行なうと、逆光補正前に最適な露光であった室外の風景は白く飛んでしまう。逆光補正処理とは、カメラの絞りを通常より開き気味にするか、露光時間を長めに設定し、本来黒くつぶれてしまう領域を明るく撮影する露光処理である。また、監視カメラなどにおいても、1台のカメラで室内と室外の両方を同時に監視する必要がある場合、室内外双方の露光の妥協点で撮影を行なっていた。
上記のような広いダイナミックレンジを必要とするシーンを撮影する場合、逆光撮影時の輝度分布は室内・屋外に二極化(または多極化)する傾向が強く、中間的な輝度レベルを呈する部分の画面占有率は低い(以下、この部分を谷という)ことが多い。図13は輝度分布が二極化した場合を示すものである。なお、かかる輝度分布は、横軸を輝度レベルとし、縦軸を各輝度レベル毎の画素数を表わすものである。ここで、かかる輝度分布のピーク部分を山、山の間の凹み部分を谷ということにする。
図13に示す輝度分布では、極小点を含む谷を境として、極大点を含む2つの山の部分に分けられるものであり、これを輝度分布が二極化されているという。このような二極化された輝度分布では、谷よりも低輝度レベル領域が輝度レベルが低い室内側の総画素数、従って、撮影画面で屋内の領域が占める面積の割合(以下、これを面積占有率という)を表わし、また、谷よりも高輝度レベル領域が撮影画面で屋外の領域の面積占有率を表わしている。
室内と屋外とを含むような明るさが大きく異なる複数の撮影対象領域を含むシーンを撮影する場合、このような輝度分布の多極化に着目して、低輝度の撮影対象領域(以下、室内を例とする)を撮影して得られる映像信号と高輝度の撮影対象領域(以下、屋外を例とする)を撮影して得られた映像信号とに夫々、異なるガンマ特性でもってガンマ補正処理をし、このように処理された夫々の映像信号を加算するようにして、逆光補正処理を行なうようにした技術が知られている(例えば、特許文献1参照)。
この特許文献1に記載の技術では、1フィールド毎にカメラの露光時間を切り替えて、室内撮影に適合させた長時間露光と屋外撮影に適した短時間露光とを交互に切り替えて撮影し、1フィールドおきの長時間露光の撮影によって得られた長時間露光信号に対して、図14(a)に示すように、高輝度レベル領域が抑圧される特性のガンマ特性Aでガンマ補正を行ない、他の1フィールドおきの短時間露光の撮影によって得られる短時間露光信号に対しては、図14(b)に示すように、低輝度レベル領域が抑圧される特性のガンマ特性Bでガンマ補正を行ない、しかる後、これら長時間露光信号と短時間露光信号とが、これらのタイミングが合わされて、加算されるようにしている。
このように加算して得られる映像信号(合成映像信号)の信号量(出力信号量)は、かかる逆光補正処理前の映像信号の信号量(入力信号量)に対し、図13で示すような、谷の極小点を境として、2つの領域に分かれることになる。この場合、極小点よりも入力信号量が低い側が長時間露光信号を図14(a)に示すガンマ特性Aでガンマ補正処理したものであり、極小点よりも入力信号量が高い側が短時間露光信号を図14(b)に示すガンマ特性Bでガンマ補正処理したものである。
ここで、図13に示すように、輝度分布が極小点の存在によって多極化する場合、谷となる中間的な輝度レベルを呈する部分の画面での面積占有率は低い。このことは、この部分が室内と屋外との境をなすことを意味している。また、逆光補正処理された映像信号の輝度分布での出力輝度レベルの谷となる入力輝度レベルは、図13に示す輝度分布での谷となる輝度レベルと一致させることが必要となる。特許文献1に記載の技術では、このようにするために、図14(a),(b)において、矢印で示すように、ガンマ特性Aの変曲点(高輝度レベル側を抑え込むための特性曲線の落ち込み開始点)やガンマ特性Bの変曲点(低輝度レベル側を抑え込むための特性曲線の落ち込み開始点)の位置を変化させるようにしている。
このように、逆光補正処理前の映像信号の輝度分布に応じて、長時間露光信号に対するガンマ特性Aと短時間露光信号に対するガンマ特性Bとの変曲点の位置を調整することにより、合成映像信号の極小点の位置、即ち、谷の位置を輝度分布の谷の位置に一致させ、屋内の映像信号や屋外の映像信号に夫々それらにマッチングした適正とするガンマ補正処理が行なわれるようにしている。
これによると、長時間露光信号と短時間露光信号とに固定したガンマ特性を用いた場合に比べて、輝度分布の谷と山の非単調点とのアンマッチングを防止することができ、従って、輝度レベルが減少から増加へと反転する点を輝度分布の極小点に合致させることができるので、より違和感のない広ダイナミックレンジの映像を得ることができるものである。
特開2002−135649
ところで、上記特許文献1に記載の技術では、輝度分布での山または谷の位置を検出し、かかる山または谷の位置、つまり各極の極大点または極小点の位置に応じてガンマ特性A,Bの変曲点をずらすことにより、かかるガンマ特性A,Bを輝度分布にマッチングさせるため、輝度分布が均等に二極化していない場合などでは、輝度分布に対して最適なガンマ特性を割り当てられないという問題があった。
本発明の目的は、かかる問題を解消し、輝度分布が任意に多極化されても、夫々の極毎に最適なガンマ特性を割り当てることを可能とし、ダイナミックレンジを向上させることができるようにした撮像装置を提供することにある。
上記目的を達成するために、本発明は、被写体像を光電変換して映像信号を出力する撮像素子と、撮像素子の露光時間を所定の時間毎に切り替える制御をする露光時間制御回路と、撮像素子の出力映像信号の輝度分布を検出する輝度分布検出手段と、撮像素子の出力映像信号を、露光時間が異なる毎に異なる入出力特性で非線形処理を行なう非線形処理回路と、非線型増幅回路で非線形処理された映像信号を所定の時間単位で遅延するメモリと、非線形処理回路の出力映像信号とメモリで遅延された映像信号とを加算する加算回路と、輝度分布検出手段で検出された輝度分布に応じて、露光時間が異なる所定の時間毎の映像信号の加算回路での加算比率を制御する制御手段とを有することを特徴とするものである。
また、本発明は、制御手段が、輝度分布に応じて、露光時間が異なる所定の時間単位毎の映像信号に対する入出力特性の出力特性の比率を異ならせることにより、非線形処理回路の出力映像信号とメモリで遅延された映像信号との加算回路での加算比率を異ならせることを特徴とするものである。
さらに、本発明は、撮像素子から、露光時間が長い長時間露光信号と露光時間が短い短時間露光信号とが所定の時間単位で交互に出力され、長時間露光信号に対する第1の入出力特性は、長時間露光信号のレベルが飽和する第1のレベル範囲で長時間露光信号のレベルを抑え込み、第1のレベル範囲より低レベル側の第2のレベル範囲で長時間露光信号を増幅する出力特性を有し、短時間露光信号に対する第2の入出力特性は、短時間露光信号の予め決められた所定レベル以上の第3のレベル範囲で短時間露光信号を増幅し、かつ第3のレベル範囲よりも低レベレ側の第4のレベル範囲で短時間露光信号を抑え込む出力特性を有し、制御手段が、輝度分布検出手段で検出される輝度分布での第1のレベル範囲に対する面積占有率と第2のレベル範囲に対する面積占有率に応じて、第1の入出力特性の出力特性と第2の入出力特性の出力特性との比率を異ならせることを特徴とするものである。
さらに、本発明は、輝度分布検出手段が、輝度分布の第1のレベル範囲での面積占有率と第3のレベル範囲での面積占有率と第1,第3のレベル範囲間の第5のレベル範囲での面積占有率とを検出し、制御手段が、第5のレベル範囲での面積占有率に応じて、第1の入出力特性の第2のレベル範囲での出力特性を異ならせることを特徴とするものである。
さらに、本発明は、制御手段が、第1の入出力特性の第1のレベル範囲での変曲点の位置を輝度分布の第1のレベル範囲での分布の変曲点に一致させ、第2の入出力特性の第3のレベル範囲での変曲点の位置を輝度分布の第3のレベル範囲での分布の変曲点に一致させることを特徴とするものである。
本発明によれば、ガンマ補正された長時間露光信号と短時間露光信号との加算比率を夫々の面積占有率に応じて制御するものであるから、長時間露光信号と短時間露光信号とに最適なガンマ特性を割り当てることができ、ダイナミックレンジがより向上する。
また、本発明によれば、飽和領域を押さえ込む非線形回路の飽和領域部分の入出力特性を制御する事でダイナミックレンジを向上することができる。
以下、本発明の実施形態を図面を用いて説明する。
図1は本発明による撮像装置の第1の実施形態を示すブロック図であって、1はレンズ、2はCCD撮像素子、3はタイミングジェネレータ、4はAGC(自動利得制御)回路、5はA/D(アナログ/デジタル)変換器、6はカメラ信号処理回路、7はガンマ補正回路、8はメモリ回路、9は加算回路、10はD/A(デジタル/アナログ)変換回路、11は輝度分布検出回路、12は切替スイッチ、13は出力端子である。
図2はこの第1の実施形態が逆光状態で撮影を行なったときの図1の各部の信号を示すタイミング図である。
図1において、CCD撮像素子2では、レンズ1を通して受光面に結像される被写体画像が光電変換され、この被写体画像に応じた映像信号が得られる。このCCD撮像素子2は、タイミングジェネレータ3からの駆動パルスによって駆動されるが、屋内から窓越しの屋外を望むシーンなどを撮影する逆光状態で撮影する場合には、タイミングジェネレータ3からの駆動パルスが1フィールド単位で切り替えられることにより、電子シャッタの速度が切り替えられ、図2(a)に示すように、CCD撮像素子2の露光状態が切り替えられ、長時間露光での撮影と短時間露光での撮影とが1フィールド単位で交互に繰り返し行なわれる。これにより、CCD撮像素子2からは、図2(b)に示すように、長時間露光の撮影による映像信号(以下、長時間露光信号という)と短時間露光の撮影による映像信号(以下、短時間露光信号という)とが1フィールド単位で交互に出力されることになる。
なお、電子シャッタとは、タイミングジェネレータ3から供給される駆動パルスによって撮像素子の光電変換量を電子的にコントロールする機能である。
CCD撮像素子2から出力されるかかる映像信号は、AGC回路4で所定のゲインが与えられた後、A/D変換器5でデジタル映像信号へ変換される。このデジタル映像信号は、カメラ信号処理回路6において、輝度信号と色差信号とに分離される。これら輝度信号と色差信号とが非線形処理回路としてのガンマ補正回路7に供給される。このガンマ補正回路7では、長時間露光信号と短時間露光信号とを異なる非線形入出特性で非線形処理するために、ガンマ特性A,Bが切替スイッチ12によって1フィールド毎に交互に切り替えられて供給され、図2(b),(c)から明らかなように、1フィールドおきの長時間露光信号が一方の非線形入出力特性であるガンマ特性Aで非線形処理(ここでは、ガンマ補正処理)され、他の1フィールドおきの短時間露光信号がガンマ特性Bで非線形処理(ここでは、ガンマ補正処理)される。このように、非線形処理されたデジタル映像信号(図2(d))は、加算回路9に供給されるとともに、メモリ回路8で1フィールド時間遅延され、図2(e)に示すように、その長時間露光信号のフィールドがガンマ補正回路7の出力映像信号(図2(d))の短時間露光信号のフィールドとタイミングが一致し、その短時間露光信号のフィールドがガンマ補正回路7の出力映像信号(図2(d))の長時間露光信号のフィールドとタイミングが一致するデジタル映像信号となって加算回路9に供給され、このガンマ補正回路7の出力映像信号(図2(d))と加算される。加算回路9からの加算デジタル映像信号は、D/A変換回路10でアナログ映像信号に変換された後、出力端子13から出力される。
図3はCCD撮像素子2の入射光量(横軸)に対する出力(CCD出力)の特性を示す図であり、Liは長時間露光信号のレベル(CCD出力)が飽和する入射光量(飽和入射光量)である。
同図において、長時間露光時、CCD撮像素子2から出力される長時間露光信号の信号量(CCD出力、即ち、レベル)は、実線で示すように(但し、長時間露光や短時間露光での受光面での受光量は、電子シャッタを介してCCD撮像素子2の撮像面に結像される被写体光像の光量である)、入射光量が低いときには、入射光量に応じて直線的に変化するが、入射光量がある一定レベル(即ち、飽和入射光量Li)を越えると、飽和する。これに対して、短時間露光時、CCD撮像素子2から出力される短時間露光信号の信号量は、点線で示すように、電子シャツタによってCCD撮像素子2の撮像面に結像される画像の光量を低減するようにしているため、入射光量が多い飽和入射光量Liを越える入射光量の範囲でも、入射光量に応じて直線的な変化を示す。しかし、特に入射光量が少ない領域では、ノイズが多くなる。
長時間露光時にCCD撮像素子2から出力される映像信号、即ち、長時間露光信号のレベルが飽和する領域は、屋内からCCD撮像素子2が撮影する視野内のシーン(以下、撮影シーンという)のうちの、主として、窓越しに見る屋外の撮像領域であり、短時間露光時にCCD撮像素子2から出力される映像信号、即ち、短時間露光信号のレベルが特に低い領域は、主として、屋内の撮像領域である。
図4はガンマ補正回路7で長時間露光信号に用いられるガンマ特性Aと短時間露光信号に用いられるガンマ特性Bを示す図である。
同図において、Siは長時間露光信号の飽和レベルに対応するガンマ補正回路7の入力信号量(入力レベル:以下、この入力レベルSiを飽和入力信号量という)であって、図3での飽和入射光量Liに対応する信号量である。この飽和入力信号量Siを境に、低レベル側を屋内領域、高レベル側を窓越しの屋外領域(以下、単に屋外領域という)として、屋内領域に長時間露光信号用のガンマ特性Aを、屋外領域に短時間露光信号用のガンマ特性Bを夫々示している。図3から明らかなように、ガンマ補正回路7に入力される短時間露光信号のレベル(ガンマ入力信号量)も、図4での屋内領域にあるのであるが、便宜上別々の入力レベル領域で示している。換言すると、図4での横軸は、図3の横軸の入射光量に対応したものとしている。
ガンマ補正回路7(図1)で用いるガンマ特性Aは、実線で示すように、長時間露光信号での飽和入力信号量Siを越えるレベル領域を抑え込む入出力特性を有するものであり、また、ガンマ補正回路7で用いるガンマ特性Bは、破線で示すように、短時間露光信号での屋内の映像に対する低レベル領域を抑え込み、かつCCD撮像素子2の撮像面での結像光量が少ない分補うために、屋外の映像に対する高レベル領域を増幅して、より高コントラストな輝度再現が得られるようにした入出力特性を有するものである。
なお、ガンマ特性Aにおいて、飽和入力信号量Siを越えるレベル領域を抑え込むことによる飽和入力信号量Si前後の特性の変化部分をガンマ特性Aの変曲点aといい、また。ガンマ特性Bにおいて、立上り終了部分の特性の変化部分をガンマ特性Bの変曲点bということにする。
ガンマ補正回路7では、長時間露光信号に対し、このようなガンマ特性Aを用いてガンマ補正処理を行ない、短時間露光信号に対し、このようなガンマ特性Bを用いてガンマ補正処理を行なうものであるが、ガンマ特性Aを長露光時間信号にマッチングさせ、ガンマ特性Bを短時間露光信号にマッチングさせることが必要であり、このために、先の特許文献1に記載の技術と同様、加算回路9から出力される合成デジタル映像信号の屋内領域と屋外領域とに二極化された輝度分布での谷(極小点)がCCD撮像素子2から得られる映像信号の二極化された輝度分布での谷に一致するように、ガンマ特性A,Bの変曲点a,b(図4)の位置を移動させる。
さらに、この第1の実施形態では、CCD撮像素子2から得られる映像信号の輝度分布から検出される撮影シーンでの屋内領域と屋外領域との面積占有率に応じてガンマ特性A,Bの比率を変化させ、加算回路9でのガンマ特性Aによってガンマ補正された長時間露光信号とガンマ特性Bによってガンマ補正された短時間露光信号との加算比率を変化させるものである。この輝度分布の検出を、図1において、輝度分布検出回路11により行なう。
ここで、長時間露光信号にマッチングしたガンマ特性Aと短時間露光信号にマッチングしたガンマ特性Bとについて説明する。
図5(a),(b)は輝度分布を模式的に示す特性曲線図である。
輝度分布は映像での輝度レベル毎の画素数(頻度)の分布で表わされるものであって、逆光状態での撮影では、図5(a),(b)に示すように、低輝度レベル側と高輝度レベレ側とに夫々特性曲線の山が現われ、これら山間に頻度の低い特性曲線の谷が現われる。ここで、図5(a),(b)において、谷よりも低輝度レベル側の特性曲線の山の領域が屋内領域の輝度分布特性を示すものであり、谷よりも高輝度レベル側の特性曲線の山の領域が屋外領域の輝度分布特性を示すものである。
ところで、図5(a),(b)に示す輝度分布は、各輝度レベル毎の画素数を表わすものであるから、屋内領域での山の領域の面積は屋内の映像の総画素数に応じたものであり、屋外領域での山の領域の面積は屋外の映像の総画素数に応じたものである。従って、この屋内領域での山の領域の面積は、CCD撮像素子2の撮影シーンでの屋内領域が占める面積の比率(以下、面積占有率という)に相当するものであり、また、この屋外領域での山の領域の面積は、CCD撮像素子2の撮影シーンでの屋外領域の面積占有率に相当するものである。図5(a)に示す輝度分布は、屋内領域の方が面積占有率が大きいから、屋内からの撮影シーンでの屋内の場面が占める面積が窓越しの屋外の場面が占める面積よりも広い場合のものであり、図5(b)に示す輝度分布は、屋外領域の方が面積占有率が大きいから、屋内からの撮影シーンでの窓越しの屋外の場面が占める面積が屋内の場面が占める面積よりも広い場合のものである。
なお、図2(b),(d),(e),(f)に示す映像信号の波形は、便宜的に図5に示す輝度分布に対応させて示しており、長時間露光信号,短時間露光信号ともに、各フィールド期間での先行する山が屋内の映像を表わし、後続の山が屋外の映像を表わしている。また、図2(b)では、長時間露光信号の屋内の映像信号のレベルが飽和していることを示している。
図1における輝度分布検出回路11では、信号処理回路6から供給される輝度信号から図5(a),(b)に示すような輝度分布を求め、その輝度分布から撮像シーンでの屋内領域,屋外領域夫々の面積占有率や図4に示すガンマ特性A,Bの変曲点a,bに対応する屋内領域,屋外領域夫々の変曲点の位置(輝度レベル)を求める。
ガンマ特性A,Bは、これら面積占有率や変曲点の位置に応じて制御される図示しない制御手段により、作成される。即ち、上記の特許文献1に記載の技術のように、加算回路9から出力される合成デジタル映像信号(図2(f))の輝度分布の谷の極小点が輝度分布検出回路11で検出される輝度分布の極小点の位置とほぼ一致するように、ガンマ特性A,Bの上記変曲点a,b(図4)の位置(ガンマ入力信号量)が変更される(具体的には、上記特許文献1に記載のように、ガンマ特性A,Bの変曲点a,bの位置を輝度分布の屋内領域,屋外領域の変曲点の位置に合わせる)とともに、さらに、輝度分布の屋内領域と屋外領域との面積占有率に応じて、ガンマ特性A,Bの出力特性の大小が全体的に、図6(a),(b)に矢印で示すように、変更される。
即ち、いま、輝度分布での屋内領域と屋外領域との面積占有率が等しいときのガンマ特性Aを、図6(a)において、特性A0とし、ガンマ特性Bを、図6(b)において、特性B0とすると、
屋外領域の面積占有率>屋内領域の面積占有率
であるときには、ガンマ特性Aに対しては、図6(a)において、特性A0から出力レベルがこれら面積占有率に応じて全体的に低減した特性A1に変更し、ガンマ特性Bに対しては、図6(b)において、特性B0から出力レベルがこれら面積占有率に応じて全体的に増加した特性B1に変更する。また、
屋外領域の面積占有率<屋内領域の面積占有率
であるときには、ガンマ特性Aに対しては、図6(a)において、特性A0から出力レベルがこれら面積占有率に応じて全体的に増加した特性A2に変更し、ガンマ特性Bに対しては、図6(b)に示すように、特性B0から出力レベルがこれら面積占有率に応じて全体的に低減した特性B2に変更する。
屋外領域の面積占有率>屋内領域の面積占有率
であるときには、ガンマ特性Aに対しては、図6(a)において、特性A0から出力レベルがこれら面積占有率に応じて全体的に低減した特性A1に変更し、ガンマ特性Bに対しては、図6(b)において、特性B0から出力レベルがこれら面積占有率に応じて全体的に増加した特性B1に変更する。また、
屋外領域の面積占有率<屋内領域の面積占有率
であるときには、ガンマ特性Aに対しては、図6(a)において、特性A0から出力レベルがこれら面積占有率に応じて全体的に増加した特性A2に変更し、ガンマ特性Bに対しては、図6(b)に示すように、特性B0から出力レベルがこれら面積占有率に応じて全体的に低減した特性B2に変更する。
このように、ガンマ特性A,Bの出力特性の比率を撮影シーンでの屋内領域と屋外領域との面積占有率に応じて変更することにより、ガンマ特性Aでガンマ補正処理された長時間露光信号とガンマ特性Bでガンマ補正処理された短時間露光信号との加算回路9での加算比率が屋内領域と屋外領域との面積占有率に応じて変更されることになる。
図5(a)に示すように、屋外領域の面積占有率よりも屋内領域の面積占有率が大きい場合には、加算回路9から出力される合成映像信号では、図7(a)に示すように、撮影シーンでの屋内領域の映像信号が増幅されたものとなり、屋内の映像が高輝度で表示されることになる。また、図5(b)に示すように、屋内領域の面積占有率よりも屋外領域の面積占有率が大きい場合には、加算回路9から出力される合成映像信号では、図7(b)に示すように、撮影シーンでの屋内領域の映像信号のレベルが抑え込まれたものとなり、相対的に屋外領域の映像が高輝度で表示されることになる。
このようにして、この第1の実施形態では、図5(a)に示すように、CCD撮像素子2の撮影シーンで屋内領域の面積占有率が大きく、表示画面で屋内領域の映像が占める面積の方が大きい場合には、屋内領域の映像にマッチングした最適なガンマ特性Aで映像信号が補正処理されることになり、良好な階調の表示映像が得られることになる。また、図5(b)に示すように、CCD撮像素子2の撮影シーンで屋外領域の面積占有率が大きく、表示画面で屋外領域の映像が占める面積の方が大きい場合には、屋外領域の映像にマッチングした最適なガンマ特性Bで映像信号が補正処理されることになり、良好な階調の表示映像が得られることになる。なお、室内領域と室外領域との面積占有率が等しい場合には、加算回路9での長時間露光信号と短時間露光信号とが等しい加算比率で加算されるように、ガンマ特性A,Bが設定されることはいうまでもない。
以上のように、この第1の実施形態では、窓越しの屋外領域を含む屋内の撮影シーンなど、屋内領域と屋外領域とを同時に含む撮影シーンのような広いダイナミックレンジを必要とする撮影シーンの場合において、長時間露光と短時間露光を順次切り替え、これら露光時間毎の映像信号を補正処理するガンマ特性を切り替え、かかる補正処理がなされた夫々の映像信号の加算比率を制御することにより、比較的暗い屋内の映像信号は長時間露光による映像信号のノイズの少ない領域を用い、長時間露光で飽和してしまう窓越しなどの屋外の映像信号を短時間露光による映像信号で補うことにより、既存のカメラ信号処理回路から大幅な回路の追加を必要とすることなく、ダイナミックレンジの拡大が実現できるものである。
次に、本発明による撮像装置の第2の実施形態について説明する。
この第2の実施形態は、図1に示す構成をなすものであるが、被写体の輝度分布が、図5に示すように、明確には谷によって二極分布化されておらず、図8に示すように、屋内領域と屋外領域との間の領域が、明確に谷を形成するのではなく、中間的な輝度レベルを有するような場合に対しても、被写体の輝度分布にマッチングしたガンマ特性を設定できるようにしたものである。このような輝度分布は、屋外領域での輝度レベルに対する画素数が少なくて屋内領域での輝度レベルに対する画素数との差が少なく、弱めの逆光撮影などのときに生ずるものである。これは、屋外の被写体であっても、その明るさが低い場合、屋内の映像の輝度レベル範囲に近づくことによるものであり、このような屋外の映像の輝度レベル領域が中間的な輝度レベルの領域(以下、中間レベル領域という)となるのである。極端な場合として、屋外全体の映像の輝度レベル領域が屋内の映像の輝度レベル領域に含まれるような屋外の明るさである場合、輝度分布では、屋外に対応するような輝度レベル領域は存在せず、その輝度分布は二極化されない。
図9はこの第2の実施形態の一連の処理動作の一具体例を示すタイムチャートであり、以下、図1を参照して、この第2の実施形態の動作について説明する。
先の第1の実施形態と同様、CCD撮像素子2は、タイミングジェネレータ3からの駆動パルスによって駆動され、図9(a)に示すように、長時間露光での撮影と短時間露光での撮影とが1フィールド単位で交互に繰り返し行なわれる。これにより、CCD撮像素子2からは、図9(b)に示すように、長時間露光信号と短時間露光信号とが1フィールド単位で交互に出力される。この場合も、これら長時間露光信号と短時間露光信号との波形は、便宜上図8に示す輝度分布に対応させており(即ち、いずれの露光信号も、図面上、左側が屋内領域の映像信号、右側が屋外領域の映像信号としている)、明確には二極分布化されていないことを示している。
CCD撮像素子2から出力されるかかる映像信号は、先の第1の実施形態と同様、AGC回路4,A/D変換器5及びカメラ信号処理回路6で処理されてガンマ補正回路7と輝度分布検出回路11とに供給される。輝度分布検出回路11は、信号処理回路6から供給される輝度信号から輝度分布を求め、その輝度分布からCCD撮像素子2の撮影シーンでの屋内領域,屋外領域やこれら屋内領域,屋外領域間の中間レベル領域夫々の面積占有率やこれら屋内領域,屋外領域での変曲点の位置を求める。そして、これら面積占有率や変曲点の位置に応じて図示しない制御手段が制御され、この制御手段により、長時間露光信号に対するガンマ特性Aと短時間露光信号に対するガンマ特性Bとが形成される。
これらガンマ特性Aとガンマ特性Bとは、後述するように、輝度分布に中間レベル領域が生じても、そのときの長時間露光信号や短時間露光信号にマッチングしたものである。
ガンマ特性A,Bは、図9(c)に示すように、1フィールド毎に交互に選択されてガンマ補正回路7に供給される。このガンマ補正回路7では、図9(d)に示すように、信号処理回路6から供給される長時間露光信号がガンマ特性Aによってガンマ補正され、短時間露光信号がガンマ特性Bによってガンマ補正される。ガンマ補正回路7から出力されるこれら長時間露光信号と短時間露光信号とは、直接加算回路9に供給されるとともに、図9(e)に示すように、メモリ8で1フィールド期間遅延されて加算回路9に供給され、図9(f)に示すように、先の第1の実施形態の場合と同様、各フィールド毎に長時間露光信号と短時間露光信号とが、輝度分布検出回路11で検出された輝度分布での屋内と屋外との面積占有率に応じた比率が加算される。この加算回路9の出力映像信号は、D/A変換回路10でアナログ映像信号に変換された後、出力端子13から出力される。
図10(a)はガンマ特性Aを示すものであって、輝度分布検出回路11で検出される輝度分布が、図5に示すように、屋内領域と屋外領域との間の中間レベル領域のレベルが低く、この中間レベル領域が占める面積の割合、即ち、面積占有率が低く、輝度分布に谷が明確に存在して明確に二極分布化されているときには、先の第1の実施形態の場合と同様、図10(a)において、実線の特性A1として示すように、ガンマ特性AをCCD出力が飽和する(図3)屋外領域の映像信号を抑え込む特性とするものである。そして、この中間レベル領域のレベルが高くなり、この中間レベル領域の面積占有率が高くなるにつれて、屋内領域よりも高輝度レベル領域側の抑え込みを、図10(a)に示す破線の特性A2,A3,A4のように、順次緩めるようにしていく。このように、ガンマ特性Aとしては、屋内と屋外との間の中間レベル領域の面積占有率に応じて、屋内の映像に対する輝度レベル範囲よりも高輝度レベルの領域での出力特性を変化させるものである。
ここで、中間レベル領域は、図8に示す輝度分布おいて、屋内領域の変曲点aと屋外領域の変曲点bとの間とする。かかる中間レベル領域での各輝度レベルに対する画素数が少ない場合には、この中間レベル領域が、図5に示すように、谷となる。
なお、短時間露光信号に対するガンマ特性Bは、図10(b)に示すように、第1の実施形態での図6(b)に示すガンマ特性Bと同様のものである。
図11(a)は中間レベル領域の面積占有率が大きい場合のガンマ特性A,Bを示す特性図であり、図11(b)は中間レベル領域の面積占有率が小さい場合のガンマ特性A,Bを示す特性図である。
また、これらガンマ特性A,Bの出力特性が、図6に示す第1の実施形態でのガンマ特性A,Bのように、輝度分布検出回路11で検出される輝度分布での屋内領域と屋外領域との面積占有率に応じて変更され、加算回路9でのガンマ補正された長時間露光信号と短時間露光信号との加算比率がこの輝度分布での屋内領域と屋外領域との面積占有率に応じたものとし、さらに、ガンマ特性A,Bの変曲点の位置を調整して、加算回路9からの合成デジタル映像信号の輝度分布で、屋内領域と屋外領域との間に中間レベル領域が生ずるようにする。
図12(a)は中間レベル領域の面積占有率が大きい場合の図11(a)に示すガンマ特性A,Bを用いたことによる図1における加算回路9の出力信号の特性を示す図であり、図12(b)は中間レベル領域の面積占有率が大きい場合の図11(b)に示すガンマ特性A,Bを用いたことによる図1における加算回路9の出力信号の特性を示す図である。
図8に示すように、輝度分布で中間レベル領域の面積占有率が大きい場合には、ガンマ特性Aとして、図10(a)で示す特性A3,A4のガンマ特性Aが用いられ、長時間露光信号では、屋内領域よりも高輝度レベル側のレベルが飽和する信号領域が抑え込まれないため、加算回路9から出力される映像信号としては、図12(a)に示すように、長時間露光信号での飽和しているが、抑え込まれていない高輝度レベル領域の信号にガンマ特性Bによって増幅された短時間露光信号が加算されたものとなり、谷が生じない輝度分布の映像信号が得られることになる。これに対し、輝度分布で中間レベル領域の面積占有率が小さい場合には、ガンマ特性Aとして、図10(a)で示す特性A1,A2の高入力信号側が抑え込まれるガンマ特性Aが用いられ、長時間露光信号では、屋内領域よりも高輝度レベル側のレベルが飽和する信号領域が抑え込まれるため、加算回路9から出力される映像信号としては、図12(b)に示すように、上記第1の実施形態での図7(a),(b)に示す特性と同様の谷が生じた輝度分布の映像信号が得られることになる。
このようにして、この第2の実施形態では、輝度分布の谷に相当する中間レベル領域部分に対しても、ガンマ特性をマッチングさせて、最適なガンマ特性を割り当てることが可能となる。
以上のように、中間的な輝度レベルの領域(中間レベル領域)をもつ被写体の場合には、長時間露光信号に対するガンマ特性Aの高輝度レベル側の抑え込み量を変化させることにより、輝度分布の中間レベル領域のレベルの違いによるガンマ特性とのアンマッチングを防止でき、ガンマ、即ち、非線形処理回路による入出力変換をより効率良くすることができるので、より違和感の少ない広ダイナミックレンジ画像を得ることができる。
なお、以上の各実施形態では、長時間露光と短時間露光の切り替えをフィールド単位としたが、他の、例えば、1ライン(水平走査期間)などの所定の時間単位としてもよい。
また、上記実施形態では、輝度分布が二極に分布化された場合について説明したが、三極以上の多極分布についても、夫々の極(山)毎にガンマ特性を設定することにより、同様に適用可能である。
1 レンズ
2 CCD撮像素子
3 タイミングジェネレータ
4 AGC回路
5 A/D変換回路
6 信号処理回路
7 ガンマ補正回路
8 メモリ
9 加算回路
10 D/A変換回路
11 輝度分布検出手段
12 切替スイッチ
13 出力端子
2 CCD撮像素子
3 タイミングジェネレータ
4 AGC回路
5 A/D変換回路
6 信号処理回路
7 ガンマ補正回路
8 メモリ
9 加算回路
10 D/A変換回路
11 輝度分布検出手段
12 切替スイッチ
13 出力端子
Claims (5)
- 被写体像を光電変換して映像信号を出力する撮像素子と、
該撮像素子の露光時間を所定の時間毎に切り替える制御をする露光時間制御回路と、
該撮像素子の出力映像信号の輝度分布を検出する輝度分布検出手段と、
該撮像素子の出力映像信号を、露光時間が異なる毎に異なる入出力特性で非線形処理を行なう非線形処理回路と、
該非線型増幅回路で非線形処理された該映像信号を該所定の時間単位で遅延するメモリと、
該非線形処理回路の出力映像信号と該メモリで遅延された該映像信号とを加算する加算回路と、
該輝度分布検出手段で検出された輝度分布に応じて、露光時間が異なる該所定の時間毎の映像信号の該加算回路での加算比率を制御する制御手段と
を有することを特徴とする撮像装置。 - 請求項1において、
前記制御手段は、前記輝度分布に応じて、露光時間が異なる前記所定の時間単位毎の映像信号に対する前記入出力特性の出力特性の比率を異ならせることにより、前記非線形処理回路の出力映像信号と前記メモリで遅延された映像信号との前記加算回路での加算比率を異ならせることを特徴とする撮像装置。 - 請求項2において、
前記撮像素子からは、露光時間が長い長時間露光信号と露光時間が短い短時間露光信号とが前記所定の時間単位で交互に出力され、
該長時間露光信号に対する第1の前記入出力特性は、該長時間露光信号のレベルが飽和する第1のレベル範囲で該長時間露光信号のレベルを抑え込み、該第1のレベル範囲より低レベル側の第2のレベル範囲で該長時間露光信号を増幅する出力特性を有し、該短時間露光信号に対する第2の前記入出力特性は、該短時間露光信号の予め決められた所定レベル以上の第3のレベル範囲で該短時間露光信号を増幅し、かつ該第3のレベル範囲よりも低レベレ側の第4のレベル範囲で該短時間露光信号を抑え込む出力特性を有し、
前記制御手段は、輝度分布検出手段で検出される前記輝度分布での該第1のレベル範囲に対する面積占有率と該第2のレベル範囲に対する面積占有率に応じて、該第1の入出力特性の出力特性と該第2の入出力特性の出力特性との比率を異ならせることを特徴とする撮像装置。 - 請求項3において、
前記輝度分布検出手段は、前記輝度分布の前記第1のレベル範囲での面積占有率と前記第3のレベル範囲での面積占有率と前記第1,第3のレベル範囲間の第5のレベル範囲での面積占有率とを検出し、
前記制御手段は、該第5のレベル範囲での面積占有率に応じて、前記第1の入出力特性の前記第2のレベル範囲での出力特性を異ならせることを特徴とする撮像装置。 - 請求項3または4において、
前記制御手段は、前記第1の入出力特性の前記第1のレベル範囲での変曲点の位置を前記輝度分布の前記第1のレベル範囲での分布の変曲点に一致させ、前記第2の入出力特性の前記第3のレベル範囲での変曲点の位置を前記輝度分布の前記第3のレベル範囲での分布の変曲点に一致させることを特徴とする撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005217567A JP2007036714A (ja) | 2005-07-27 | 2005-07-27 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005217567A JP2007036714A (ja) | 2005-07-27 | 2005-07-27 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007036714A true JP2007036714A (ja) | 2007-02-08 |
Family
ID=37795412
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005217567A Pending JP2007036714A (ja) | 2005-07-27 | 2005-07-27 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007036714A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009017477A (ja) * | 2007-07-09 | 2009-01-22 | Canon Inc | 撮像装置及び撮像方法 |
JP2009152669A (ja) * | 2007-12-18 | 2009-07-09 | Sony Corp | 撮像装置、撮像処理方法及び撮像制御プログラム |
JP2009231768A (ja) * | 2008-03-25 | 2009-10-08 | Hamamatsu Photonics Kk | 固体撮像装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002135649A (ja) * | 2000-10-20 | 2002-05-10 | Hitachi Ltd | 撮像装置 |
JP2004120205A (ja) * | 2002-09-25 | 2004-04-15 | Sony Corp | 撮像装置,撮像装置の画像出力方法,およびコンピュータプログラム |
JP2004297701A (ja) * | 2003-03-28 | 2004-10-21 | Matsushita Electric Ind Co Ltd | 映像処理装置および撮像システム |
JP2005051695A (ja) * | 2003-07-31 | 2005-02-24 | Fuji Photo Film Co Ltd | 画像合成方法及び固体撮像装置並びにデジタルカメラ |
-
2005
- 2005-07-27 JP JP2005217567A patent/JP2007036714A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002135649A (ja) * | 2000-10-20 | 2002-05-10 | Hitachi Ltd | 撮像装置 |
JP2004120205A (ja) * | 2002-09-25 | 2004-04-15 | Sony Corp | 撮像装置,撮像装置の画像出力方法,およびコンピュータプログラム |
JP2004297701A (ja) * | 2003-03-28 | 2004-10-21 | Matsushita Electric Ind Co Ltd | 映像処理装置および撮像システム |
JP2005051695A (ja) * | 2003-07-31 | 2005-02-24 | Fuji Photo Film Co Ltd | 画像合成方法及び固体撮像装置並びにデジタルカメラ |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009017477A (ja) * | 2007-07-09 | 2009-01-22 | Canon Inc | 撮像装置及び撮像方法 |
JP2009152669A (ja) * | 2007-12-18 | 2009-07-09 | Sony Corp | 撮像装置、撮像処理方法及び撮像制御プログラム |
US8154619B2 (en) | 2007-12-18 | 2012-04-10 | Sony Corporation | Imaging apparatus, imaging processing method, and imaging control program |
JP2009231768A (ja) * | 2008-03-25 | 2009-10-08 | Hamamatsu Photonics Kk | 固体撮像装置 |
KR20100133355A (ko) * | 2008-03-25 | 2010-12-21 | 하마마츠 포토닉스 가부시키가이샤 | 고체 촬상 장치 |
US8415604B2 (en) | 2008-03-25 | 2013-04-09 | Hamamatsu Photonics K.K. | Solid-state imaging device |
KR101588907B1 (ko) | 2008-03-25 | 2016-01-26 | 하마마츠 포토닉스 가부시키가이샤 | 고체 촬상 장치 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8040411B2 (en) | Image pickup device and image pickup method | |
EP0866608B1 (en) | Method for correcting luminance gradation in an image pickup apparatus | |
JP5018770B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
US20030184661A1 (en) | Light exposure control method, light exposure control circuit, image pickup apparatus, program and storage medium | |
US20120162467A1 (en) | Image capture device | |
JP2008048251A (ja) | 撮影装置及び撮影方法 | |
US8325246B2 (en) | Imaging apparatus and imaging method capable of imaging at a low frame rate | |
US7911506B2 (en) | Image sensing apparatus and method of controlling the same | |
JP3297485B2 (ja) | 撮像装置 | |
JP2007036714A (ja) | 撮像装置 | |
JP3748031B2 (ja) | 映像信号処理装置及び映像信号処理方法 | |
JP2012134745A (ja) | 画像信号処理装置 | |
JP5803233B2 (ja) | 撮像装置および撮像方法 | |
JP3658361B2 (ja) | 撮像装置および撮像方法 | |
JP2002135787A (ja) | 撮像装置 | |
JPH07135599A (ja) | 撮像装置とその画像処理方法 | |
JP2000354250A (ja) | 撮像装置 | |
JP3811610B2 (ja) | 撮像装置 | |
JP2000236478A (ja) | 電子カメラ装置 | |
JP2005109579A (ja) | 固体撮像素子を用いた撮像装置 | |
JP2004215063A (ja) | 撮像装置及び輪郭補正方法 | |
JPH1023324A (ja) | 撮像装置 | |
JP2003189315A (ja) | 撮像装置 | |
KR20110014071A (ko) | 촬상장치 및 촬상방법 | |
JP4123888B2 (ja) | 撮像装置,自動露光処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091222 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100420 |