JP2007036714A

JP2007036714A - 撮像装置

Info

Publication number: JP2007036714A
Application number: JP2005217567A
Authority: JP
Inventors: Tsutomu Usui; 勉薄井; Hirotomo Sai; 寛知齋; Junji Kamimura; 順次上村
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2005-07-27
Filing date: 2005-07-27
Publication date: 2007-02-08

Abstract

【課題】輝度分布が任意に多極化されても、夫々の極毎に最適なガンマ特性を割り当てることを可能とし、ダイナミックレンジを向上させる。
【解決手段】ＣＣＤ撮像素子は、窓越しの屋外を含む屋内のシーンを撮影し、１フィールド毎に交互に長時間露光信号と短時間露光信号とを出力する（図２（ｂ））。これら長時間露光信号と短時間露光信号は、前側の山が屋内の映像信号、後側の山が屋外の映像信号としている。長時間露光信号は、屋外の映像部分が飽和しており、輝度分布に応じて、ガンマ特性Ａにより、その飽和した映像部分が抑え込まれ（図２（ｃ），（ｄ））、短時間露光信号は、輝度分布に応じて、ガンマ特性Ｂにより、屋外の映像部分が増幅される（図２（ｃ），（ｄ））。このようにガンマ補正された長時間露光信号と短時間映像信号とは、フィールド毎に加算される（図２（ｅ），（ｆ））。
【選択図】図２

Description

本発明は、室内から窓外の風景などを含むシーンなどの、入射光量が大きい領域と入射光量が小さい領域とを含むシーンを撮影した場合の逆光補正処理機能を備えた撮像装置に関する。

ビデオカメラや電子スチルカメラ（以下、これらを総称して、カメラという）などの撮像装置において、室内からその窓辺に居る人物を撮影するなど、逆光時の撮影の場合、一般的な露光制御を行なうと、目的の人物の映像が黒くつぶれ、窓の外の風景に適切な露光が行なわれる。このようなシーンを撮影する場合には、逆光補正処理を行ない、目的の人物の映像が黒くつぶれないような補正を行なっていた。しかしながら、このような補正を行なうと、逆光補正前に最適な露光であった室外の風景は白く飛んでしまう。逆光補正処理とは、カメラの絞りを通常より開き気味にするか、露光時間を長めに設定し、本来黒くつぶれてしまう領域を明るく撮影する露光処理である。また、監視カメラなどにおいても、１台のカメラで室内と室外の両方を同時に監視する必要がある場合、室内外双方の露光の妥協点で撮影を行なっていた。

上記のような広いダイナミックレンジを必要とするシーンを撮影する場合、逆光撮影時の輝度分布は室内・屋外に二極化（または多極化）する傾向が強く、中間的な輝度レベルを呈する部分の画面占有率は低い（以下、この部分を谷という）ことが多い。図１３は輝度分布が二極化した場合を示すものである。なお、かかる輝度分布は、横軸を輝度レベルとし、縦軸を各輝度レベル毎の画素数を表わすものである。ここで、かかる輝度分布のピーク部分を山、山の間の凹み部分を谷ということにする。

図１３に示す輝度分布では、極小点を含む谷を境として、極大点を含む２つの山の部分に分けられるものであり、これを輝度分布が二極化されているという。このような二極化された輝度分布では、谷よりも低輝度レベル領域が輝度レベルが低い室内側の総画素数、従って、撮影画面で屋内の領域が占める面積の割合（以下、これを面積占有率という）を表わし、また、谷よりも高輝度レベル領域が撮影画面で屋外の領域の面積占有率を表わしている。

室内と屋外とを含むような明るさが大きく異なる複数の撮影対象領域を含むシーンを撮影する場合、このような輝度分布の多極化に着目して、低輝度の撮影対象領域（以下、室内を例とする）を撮影して得られる映像信号と高輝度の撮影対象領域（以下、屋外を例とする）を撮影して得られた映像信号とに夫々、異なるガンマ特性でもってガンマ補正処理をし、このように処理された夫々の映像信号を加算するようにして、逆光補正処理を行なうようにした技術が知られている（例えば、特許文献１参照）。

この特許文献１に記載の技術では、１フィールド毎にカメラの露光時間を切り替えて、室内撮影に適合させた長時間露光と屋外撮影に適した短時間露光とを交互に切り替えて撮影し、１フィールドおきの長時間露光の撮影によって得られた長時間露光信号に対して、図１４（ａ）に示すように、高輝度レベル領域が抑圧される特性のガンマ特性Ａでガンマ補正を行ない、他の１フィールドおきの短時間露光の撮影によって得られる短時間露光信号に対しては、図１４（ｂ）に示すように、低輝度レベル領域が抑圧される特性のガンマ特性Ｂでガンマ補正を行ない、しかる後、これら長時間露光信号と短時間露光信号とが、これらのタイミングが合わされて、加算されるようにしている。

このように加算して得られる映像信号（合成映像信号）の信号量（出力信号量）は、かかる逆光補正処理前の映像信号の信号量（入力信号量）に対し、図１３で示すような、谷の極小点を境として、２つの領域に分かれることになる。この場合、極小点よりも入力信号量が低い側が長時間露光信号を図１４（ａ）に示すガンマ特性Ａでガンマ補正処理したものであり、極小点よりも入力信号量が高い側が短時間露光信号を図１４（ｂ）に示すガンマ特性Ｂでガンマ補正処理したものである。

ここで、図１３に示すように、輝度分布が極小点の存在によって多極化する場合、谷となる中間的な輝度レベルを呈する部分の画面での面積占有率は低い。このことは、この部分が室内と屋外との境をなすことを意味している。また、逆光補正処理された映像信号の輝度分布での出力輝度レベルの谷となる入力輝度レベルは、図１３に示す輝度分布での谷となる輝度レベルと一致させることが必要となる。特許文献１に記載の技術では、このようにするために、図１４（ａ），（ｂ）において、矢印で示すように、ガンマ特性Ａの変曲点（高輝度レベル側を抑え込むための特性曲線の落ち込み開始点）やガンマ特性Ｂの変曲点（低輝度レベル側を抑え込むための特性曲線の落ち込み開始点）の位置を変化させるようにしている。

このように、逆光補正処理前の映像信号の輝度分布に応じて、長時間露光信号に対するガンマ特性Ａと短時間露光信号に対するガンマ特性Ｂとの変曲点の位置を調整することにより、合成映像信号の極小点の位置、即ち、谷の位置を輝度分布の谷の位置に一致させ、屋内の映像信号や屋外の映像信号に夫々それらにマッチングした適正とするガンマ補正処理が行なわれるようにしている。

これによると、長時間露光信号と短時間露光信号とに固定したガンマ特性を用いた場合に比べて、輝度分布の谷と山の非単調点とのアンマッチングを防止することができ、従って、輝度レベルが減少から増加へと反転する点を輝度分布の極小点に合致させることができるので、より違和感のない広ダイナミックレンジの映像を得ることができるものである。
特開２００２−１３５６４９

ところで、上記特許文献１に記載の技術では、輝度分布での山または谷の位置を検出し、かかる山または谷の位置、つまり各極の極大点または極小点の位置に応じてガンマ特性Ａ，Ｂの変曲点をずらすことにより、かかるガンマ特性Ａ，Ｂを輝度分布にマッチングさせるため、輝度分布が均等に二極化していない場合などでは、輝度分布に対して最適なガンマ特性を割り当てられないという問題があった。

本発明の目的は、かかる問題を解消し、輝度分布が任意に多極化されても、夫々の極毎に最適なガンマ特性を割り当てることを可能とし、ダイナミックレンジを向上させることができるようにした撮像装置を提供することにある。

上記目的を達成するために、本発明は、被写体像を光電変換して映像信号を出力する撮像素子と、撮像素子の露光時間を所定の時間毎に切り替える制御をする露光時間制御回路と、撮像素子の出力映像信号の輝度分布を検出する輝度分布検出手段と、撮像素子の出力映像信号を、露光時間が異なる毎に異なる入出力特性で非線形処理を行なう非線形処理回路と、非線型増幅回路で非線形処理された映像信号を所定の時間単位で遅延するメモリと、非線形処理回路の出力映像信号とメモリで遅延された映像信号とを加算する加算回路と、輝度分布検出手段で検出された輝度分布に応じて、露光時間が異なる所定の時間毎の映像信号の加算回路での加算比率を制御する制御手段とを有することを特徴とするものである。

また、本発明は、制御手段が、輝度分布に応じて、露光時間が異なる所定の時間単位毎の映像信号に対する入出力特性の出力特性の比率を異ならせることにより、非線形処理回路の出力映像信号とメモリで遅延された映像信号との加算回路での加算比率を異ならせることを特徴とするものである。

さらに、本発明は、撮像素子から、露光時間が長い長時間露光信号と露光時間が短い短時間露光信号とが所定の時間単位で交互に出力され、長時間露光信号に対する第１の入出力特性は、長時間露光信号のレベルが飽和する第１のレベル範囲で長時間露光信号のレベルを抑え込み、第１のレベル範囲より低レベル側の第２のレベル範囲で長時間露光信号を増幅する出力特性を有し、短時間露光信号に対する第２の入出力特性は、短時間露光信号の予め決められた所定レベル以上の第３のレベル範囲で短時間露光信号を増幅し、かつ第３のレベル範囲よりも低レベレ側の第４のレベル範囲で短時間露光信号を抑え込む出力特性を有し、制御手段が、輝度分布検出手段で検出される輝度分布での第１のレベル範囲に対する面積占有率と第２のレベル範囲に対する面積占有率に応じて、第１の入出力特性の出力特性と第２の入出力特性の出力特性との比率を異ならせることを特徴とするものである。

さらに、本発明は、輝度分布検出手段が、輝度分布の第１のレベル範囲での面積占有率と第３のレベル範囲での面積占有率と第１，第３のレベル範囲間の第５のレベル範囲での面積占有率とを検出し、制御手段が、第５のレベル範囲での面積占有率に応じて、第１の入出力特性の第２のレベル範囲での出力特性を異ならせることを特徴とするものである。

さらに、本発明は、制御手段が、第１の入出力特性の第１のレベル範囲での変曲点の位置を輝度分布の第１のレベル範囲での分布の変曲点に一致させ、第２の入出力特性の第３のレベル範囲での変曲点の位置を輝度分布の第３のレベル範囲での分布の変曲点に一致させることを特徴とするものである。

本発明によれば、ガンマ補正された長時間露光信号と短時間露光信号との加算比率を夫々の面積占有率に応じて制御するものであるから、長時間露光信号と短時間露光信号とに最適なガンマ特性を割り当てることができ、ダイナミックレンジがより向上する。

また、本発明によれば、飽和領域を押さえ込む非線形回路の飽和領域部分の入出力特性を制御する事でダイナミックレンジを向上することができる。

以下、本発明の実施形態を図面を用いて説明する。

図１は本発明による撮像装置の第１の実施形態を示すブロック図であって、１はレンズ、２はＣＣＤ撮像素子、３はタイミングジェネレータ、４はＡＧＣ（自動利得制御）回路、５はＡ／Ｄ（アナログ／デジタル）変換器、６はカメラ信号処理回路、７はガンマ補正回路、８はメモリ回路、９は加算回路、１０はＤ／Ａ（デジタル／アナログ）変換回路、１１は輝度分布検出回路、１２は切替スイッチ、１３は出力端子である。

図２はこの第１の実施形態が逆光状態で撮影を行なったときの図１の各部の信号を示すタイミング図である。

図１において、ＣＣＤ撮像素子２では、レンズ１を通して受光面に結像される被写体画像が光電変換され、この被写体画像に応じた映像信号が得られる。このＣＣＤ撮像素子２は、タイミングジェネレータ３からの駆動パルスによって駆動されるが、屋内から窓越しの屋外を望むシーンなどを撮影する逆光状態で撮影する場合には、タイミングジェネレータ３からの駆動パルスが１フィールド単位で切り替えられることにより、電子シャッタの速度が切り替えられ、図２（ａ）に示すように、ＣＣＤ撮像素子２の露光状態が切り替えられ、長時間露光での撮影と短時間露光での撮影とが１フィールド単位で交互に繰り返し行なわれる。これにより、ＣＣＤ撮像素子２からは、図２（ｂ）に示すように、長時間露光の撮影による映像信号（以下、長時間露光信号という）と短時間露光の撮影による映像信号（以下、短時間露光信号という）とが１フィールド単位で交互に出力されることになる。

なお、電子シャッタとは、タイミングジェネレータ３から供給される駆動パルスによって撮像素子の光電変換量を電子的にコントロールする機能である。

ＣＣＤ撮像素子２から出力されるかかる映像信号は、ＡＧＣ回路４で所定のゲインが与えられた後、Ａ／Ｄ変換器５でデジタル映像信号へ変換される。このデジタル映像信号は、カメラ信号処理回路６において、輝度信号と色差信号とに分離される。これら輝度信号と色差信号とが非線形処理回路としてのガンマ補正回路７に供給される。このガンマ補正回路７では、長時間露光信号と短時間露光信号とを異なる非線形入出特性で非線形処理するために、ガンマ特性Ａ，Ｂが切替スイッチ１２によって１フィールド毎に交互に切り替えられて供給され、図２（ｂ），（ｃ）から明らかなように、１フィールドおきの長時間露光信号が一方の非線形入出力特性であるガンマ特性Ａで非線形処理（ここでは、ガンマ補正処理）され、他の１フィールドおきの短時間露光信号がガンマ特性Ｂで非線形処理（ここでは、ガンマ補正処理）される。このように、非線形処理されたデジタル映像信号（図２（ｄ））は、加算回路９に供給されるとともに、メモリ回路８で１フィールド時間遅延され、図２（ｅ）に示すように、その長時間露光信号のフィールドがガンマ補正回路７の出力映像信号（図２（ｄ））の短時間露光信号のフィールドとタイミングが一致し、その短時間露光信号のフィールドがガンマ補正回路７の出力映像信号（図２（ｄ））の長時間露光信号のフィールドとタイミングが一致するデジタル映像信号となって加算回路９に供給され、このガンマ補正回路７の出力映像信号（図２（ｄ））と加算される。加算回路９からの加算デジタル映像信号は、Ｄ／Ａ変換回路１０でアナログ映像信号に変換された後、出力端子１３から出力される。

図３はＣＣＤ撮像素子２の入射光量（横軸）に対する出力（ＣＣＤ出力）の特性を示す図であり、Ｌｉは長時間露光信号のレベル（ＣＣＤ出力）が飽和する入射光量（飽和入射光量）である。

同図において、長時間露光時、ＣＣＤ撮像素子２から出力される長時間露光信号の信号量（ＣＣＤ出力、即ち、レベル）は、実線で示すように（但し、長時間露光や短時間露光での受光面での受光量は、電子シャッタを介してＣＣＤ撮像素子２の撮像面に結像される被写体光像の光量である）、入射光量が低いときには、入射光量に応じて直線的に変化するが、入射光量がある一定レベル（即ち、飽和入射光量Ｌｉ）を越えると、飽和する。これに対して、短時間露光時、ＣＣＤ撮像素子２から出力される短時間露光信号の信号量は、点線で示すように、電子シャツタによってＣＣＤ撮像素子２の撮像面に結像される画像の光量を低減するようにしているため、入射光量が多い飽和入射光量Ｌｉを越える入射光量の範囲でも、入射光量に応じて直線的な変化を示す。しかし、特に入射光量が少ない領域では、ノイズが多くなる。

長時間露光時にＣＣＤ撮像素子２から出力される映像信号、即ち、長時間露光信号のレベルが飽和する領域は、屋内からＣＣＤ撮像素子２が撮影する視野内のシーン（以下、撮影シーンという）のうちの、主として、窓越しに見る屋外の撮像領域であり、短時間露光時にＣＣＤ撮像素子２から出力される映像信号、即ち、短時間露光信号のレベルが特に低い領域は、主として、屋内の撮像領域である。

図４はガンマ補正回路７で長時間露光信号に用いられるガンマ特性Ａと短時間露光信号に用いられるガンマ特性Ｂを示す図である。

同図において、Ｓｉは長時間露光信号の飽和レベルに対応するガンマ補正回路７の入力信号量（入力レベル：以下、この入力レベルＳｉを飽和入力信号量という）であって、図３での飽和入射光量Ｌｉに対応する信号量である。この飽和入力信号量Ｓｉを境に、低レベル側を屋内領域、高レベル側を窓越しの屋外領域（以下、単に屋外領域という）として、屋内領域に長時間露光信号用のガンマ特性Ａを、屋外領域に短時間露光信号用のガンマ特性Ｂを夫々示している。図３から明らかなように、ガンマ補正回路７に入力される短時間露光信号のレベル（ガンマ入力信号量）も、図４での屋内領域にあるのであるが、便宜上別々の入力レベル領域で示している。換言すると、図４での横軸は、図３の横軸の入射光量に対応したものとしている。

ガンマ補正回路７（図１）で用いるガンマ特性Ａは、実線で示すように、長時間露光信号での飽和入力信号量Ｓｉを越えるレベル領域を抑え込む入出力特性を有するものであり、また、ガンマ補正回路７で用いるガンマ特性Ｂは、破線で示すように、短時間露光信号での屋内の映像に対する低レベル領域を抑え込み、かつＣＣＤ撮像素子２の撮像面での結像光量が少ない分補うために、屋外の映像に対する高レベル領域を増幅して、より高コントラストな輝度再現が得られるようにした入出力特性を有するものである。

なお、ガンマ特性Ａにおいて、飽和入力信号量Ｓｉを越えるレベル領域を抑え込むことによる飽和入力信号量Ｓｉ前後の特性の変化部分をガンマ特性Ａの変曲点ａといい、また。ガンマ特性Ｂにおいて、立上り終了部分の特性の変化部分をガンマ特性Ｂの変曲点ｂということにする。

ガンマ補正回路７では、長時間露光信号に対し、このようなガンマ特性Ａを用いてガンマ補正処理を行ない、短時間露光信号に対し、このようなガンマ特性Ｂを用いてガンマ補正処理を行なうものであるが、ガンマ特性Ａを長露光時間信号にマッチングさせ、ガンマ特性Ｂを短時間露光信号にマッチングさせることが必要であり、このために、先の特許文献１に記載の技術と同様、加算回路９から出力される合成デジタル映像信号の屋内領域と屋外領域とに二極化された輝度分布での谷（極小点）がＣＣＤ撮像素子２から得られる映像信号の二極化された輝度分布での谷に一致するように、ガンマ特性Ａ，Ｂの変曲点ａ，ｂ（図４）の位置を移動させる。

さらに、この第１の実施形態では、ＣＣＤ撮像素子２から得られる映像信号の輝度分布から検出される撮影シーンでの屋内領域と屋外領域との面積占有率に応じてガンマ特性Ａ，Ｂの比率を変化させ、加算回路９でのガンマ特性Ａによってガンマ補正された長時間露光信号とガンマ特性Ｂによってガンマ補正された短時間露光信号との加算比率を変化させるものである。この輝度分布の検出を、図１において、輝度分布検出回路１１により行なう。

ここで、長時間露光信号にマッチングしたガンマ特性Ａと短時間露光信号にマッチングしたガンマ特性Ｂとについて説明する。

図５（ａ），（ｂ）は輝度分布を模式的に示す特性曲線図である。

輝度分布は映像での輝度レベル毎の画素数（頻度）の分布で表わされるものであって、逆光状態での撮影では、図５（ａ），（ｂ）に示すように、低輝度レベル側と高輝度レベレ側とに夫々特性曲線の山が現われ、これら山間に頻度の低い特性曲線の谷が現われる。ここで、図５（ａ），（ｂ）において、谷よりも低輝度レベル側の特性曲線の山の領域が屋内領域の輝度分布特性を示すものであり、谷よりも高輝度レベル側の特性曲線の山の領域が屋外領域の輝度分布特性を示すものである。

ところで、図５（ａ），（ｂ）に示す輝度分布は、各輝度レベル毎の画素数を表わすものであるから、屋内領域での山の領域の面積は屋内の映像の総画素数に応じたものであり、屋外領域での山の領域の面積は屋外の映像の総画素数に応じたものである。従って、この屋内領域での山の領域の面積は、ＣＣＤ撮像素子２の撮影シーンでの屋内領域が占める面積の比率（以下、面積占有率という）に相当するものであり、また、この屋外領域での山の領域の面積は、ＣＣＤ撮像素子２の撮影シーンでの屋外領域の面積占有率に相当するものである。図５（ａ）に示す輝度分布は、屋内領域の方が面積占有率が大きいから、屋内からの撮影シーンでの屋内の場面が占める面積が窓越しの屋外の場面が占める面積よりも広い場合のものであり、図５（ｂ）に示す輝度分布は、屋外領域の方が面積占有率が大きいから、屋内からの撮影シーンでの窓越しの屋外の場面が占める面積が屋内の場面が占める面積よりも広い場合のものである。

なお、図２（ｂ），（ｄ），（ｅ），（ｆ）に示す映像信号の波形は、便宜的に図５に示す輝度分布に対応させて示しており、長時間露光信号，短時間露光信号ともに、各フィールド期間での先行する山が屋内の映像を表わし、後続の山が屋外の映像を表わしている。また、図２（ｂ）では、長時間露光信号の屋内の映像信号のレベルが飽和していることを示している。

図１における輝度分布検出回路１１では、信号処理回路６から供給される輝度信号から図５（ａ），（ｂ）に示すような輝度分布を求め、その輝度分布から撮像シーンでの屋内領域，屋外領域夫々の面積占有率や図４に示すガンマ特性Ａ，Ｂの変曲点ａ，ｂに対応する屋内領域，屋外領域夫々の変曲点の位置（輝度レベル）を求める。

ガンマ特性Ａ，Ｂは、これら面積占有率や変曲点の位置に応じて制御される図示しない制御手段により、作成される。即ち、上記の特許文献１に記載の技術のように、加算回路９から出力される合成デジタル映像信号（図２（ｆ））の輝度分布の谷の極小点が輝度分布検出回路１１で検出される輝度分布の極小点の位置とほぼ一致するように、ガンマ特性Ａ，Ｂの上記変曲点ａ，ｂ（図４）の位置（ガンマ入力信号量）が変更される（具体的には、上記特許文献１に記載のように、ガンマ特性Ａ，Ｂの変曲点ａ，ｂの位置を輝度分布の屋内領域，屋外領域の変曲点の位置に合わせる）とともに、さらに、輝度分布の屋内領域と屋外領域との面積占有率に応じて、ガンマ特性Ａ，Ｂの出力特性の大小が全体的に、図６（ａ），（ｂ）に矢印で示すように、変更される。

即ち、いま、輝度分布での屋内領域と屋外領域との面積占有率が等しいときのガンマ特性Ａを、図６（ａ）において、特性Ａ₀とし、ガンマ特性Ｂを、図６（ｂ）において、特性Ｂ₀とすると、
屋外領域の面積占有率＞屋内領域の面積占有率
であるときには、ガンマ特性Ａに対しては、図６（ａ）において、特性Ａ₀から出力レベルがこれら面積占有率に応じて全体的に低減した特性Ａ₁に変更し、ガンマ特性Ｂに対しては、図６（ｂ）において、特性Ｂ₀から出力レベルがこれら面積占有率に応じて全体的に増加した特性Ｂ₁に変更する。また、
屋外領域の面積占有率＜屋内領域の面積占有率
であるときには、ガンマ特性Ａに対しては、図６（ａ）において、特性Ａ₀から出力レベルがこれら面積占有率に応じて全体的に増加した特性Ａ₂に変更し、ガンマ特性Ｂに対しては、図６（ｂ）に示すように、特性Ｂ₀から出力レベルがこれら面積占有率に応じて全体的に低減した特性Ｂ₂に変更する。

このように、ガンマ特性Ａ，Ｂの出力特性の比率を撮影シーンでの屋内領域と屋外領域との面積占有率に応じて変更することにより、ガンマ特性Ａでガンマ補正処理された長時間露光信号とガンマ特性Ｂでガンマ補正処理された短時間露光信号との加算回路９での加算比率が屋内領域と屋外領域との面積占有率に応じて変更されることになる。

図５（ａ）に示すように、屋外領域の面積占有率よりも屋内領域の面積占有率が大きい場合には、加算回路９から出力される合成映像信号では、図７（ａ）に示すように、撮影シーンでの屋内領域の映像信号が増幅されたものとなり、屋内の映像が高輝度で表示されることになる。また、図５（ｂ）に示すように、屋内領域の面積占有率よりも屋外領域の面積占有率が大きい場合には、加算回路９から出力される合成映像信号では、図７（ｂ）に示すように、撮影シーンでの屋内領域の映像信号のレベルが抑え込まれたものとなり、相対的に屋外領域の映像が高輝度で表示されることになる。

このようにして、この第１の実施形態では、図５（ａ）に示すように、ＣＣＤ撮像素子２の撮影シーンで屋内領域の面積占有率が大きく、表示画面で屋内領域の映像が占める面積の方が大きい場合には、屋内領域の映像にマッチングした最適なガンマ特性Ａで映像信号が補正処理されることになり、良好な階調の表示映像が得られることになる。また、図５（ｂ）に示すように、ＣＣＤ撮像素子２の撮影シーンで屋外領域の面積占有率が大きく、表示画面で屋外領域の映像が占める面積の方が大きい場合には、屋外領域の映像にマッチングした最適なガンマ特性Ｂで映像信号が補正処理されることになり、良好な階調の表示映像が得られることになる。なお、室内領域と室外領域との面積占有率が等しい場合には、加算回路９での長時間露光信号と短時間露光信号とが等しい加算比率で加算されるように、ガンマ特性Ａ，Ｂが設定されることはいうまでもない。

以上のように、この第１の実施形態では、窓越しの屋外領域を含む屋内の撮影シーンなど、屋内領域と屋外領域とを同時に含む撮影シーンのような広いダイナミックレンジを必要とする撮影シーンの場合において、長時間露光と短時間露光を順次切り替え、これら露光時間毎の映像信号を補正処理するガンマ特性を切り替え、かかる補正処理がなされた夫々の映像信号の加算比率を制御することにより、比較的暗い屋内の映像信号は長時間露光による映像信号のノイズの少ない領域を用い、長時間露光で飽和してしまう窓越しなどの屋外の映像信号を短時間露光による映像信号で補うことにより、既存のカメラ信号処理回路から大幅な回路の追加を必要とすることなく、ダイナミックレンジの拡大が実現できるものである。

次に、本発明による撮像装置の第２の実施形態について説明する。

この第２の実施形態は、図１に示す構成をなすものであるが、被写体の輝度分布が、図５に示すように、明確には谷によって二極分布化されておらず、図８に示すように、屋内領域と屋外領域との間の領域が、明確に谷を形成するのではなく、中間的な輝度レベルを有するような場合に対しても、被写体の輝度分布にマッチングしたガンマ特性を設定できるようにしたものである。このような輝度分布は、屋外領域での輝度レベルに対する画素数が少なくて屋内領域での輝度レベルに対する画素数との差が少なく、弱めの逆光撮影などのときに生ずるものである。これは、屋外の被写体であっても、その明るさが低い場合、屋内の映像の輝度レベル範囲に近づくことによるものであり、このような屋外の映像の輝度レベル領域が中間的な輝度レベルの領域（以下、中間レベル領域という）となるのである。極端な場合として、屋外全体の映像の輝度レベル領域が屋内の映像の輝度レベル領域に含まれるような屋外の明るさである場合、輝度分布では、屋外に対応するような輝度レベル領域は存在せず、その輝度分布は二極化されない。

図９はこの第２の実施形態の一連の処理動作の一具体例を示すタイムチャートであり、以下、図１を参照して、この第２の実施形態の動作について説明する。

先の第１の実施形態と同様、ＣＣＤ撮像素子２は、タイミングジェネレータ３からの駆動パルスによって駆動され、図９（ａ）に示すように、長時間露光での撮影と短時間露光での撮影とが１フィールド単位で交互に繰り返し行なわれる。これにより、ＣＣＤ撮像素子２からは、図９（ｂ）に示すように、長時間露光信号と短時間露光信号とが１フィールド単位で交互に出力される。この場合も、これら長時間露光信号と短時間露光信号との波形は、便宜上図８に示す輝度分布に対応させており（即ち、いずれの露光信号も、図面上、左側が屋内領域の映像信号、右側が屋外領域の映像信号としている）、明確には二極分布化されていないことを示している。

ＣＣＤ撮像素子２から出力されるかかる映像信号は、先の第１の実施形態と同様、ＡＧＣ回路４，Ａ／Ｄ変換器５及びカメラ信号処理回路６で処理されてガンマ補正回路７と輝度分布検出回路１１とに供給される。輝度分布検出回路１１は、信号処理回路６から供給される輝度信号から輝度分布を求め、その輝度分布からＣＣＤ撮像素子２の撮影シーンでの屋内領域，屋外領域やこれら屋内領域，屋外領域間の中間レベル領域夫々の面積占有率やこれら屋内領域，屋外領域での変曲点の位置を求める。そして、これら面積占有率や変曲点の位置に応じて図示しない制御手段が制御され、この制御手段により、長時間露光信号に対するガンマ特性Ａと短時間露光信号に対するガンマ特性Ｂとが形成される。

これらガンマ特性Ａとガンマ特性Ｂとは、後述するように、輝度分布に中間レベル領域が生じても、そのときの長時間露光信号や短時間露光信号にマッチングしたものである。

ガンマ特性Ａ，Ｂは、図９（ｃ）に示すように、１フィールド毎に交互に選択されてガンマ補正回路７に供給される。このガンマ補正回路７では、図９（ｄ）に示すように、信号処理回路６から供給される長時間露光信号がガンマ特性Ａによってガンマ補正され、短時間露光信号がガンマ特性Ｂによってガンマ補正される。ガンマ補正回路７から出力されるこれら長時間露光信号と短時間露光信号とは、直接加算回路９に供給されるとともに、図９（ｅ）に示すように、メモリ８で１フィールド期間遅延されて加算回路９に供給され、図９（ｆ）に示すように、先の第１の実施形態の場合と同様、各フィールド毎に長時間露光信号と短時間露光信号とが、輝度分布検出回路１１で検出された輝度分布での屋内と屋外との面積占有率に応じた比率が加算される。この加算回路９の出力映像信号は、Ｄ／Ａ変換回路１０でアナログ映像信号に変換された後、出力端子１３から出力される。

図１０（ａ）はガンマ特性Ａを示すものであって、輝度分布検出回路１１で検出される輝度分布が、図５に示すように、屋内領域と屋外領域との間の中間レベル領域のレベルが低く、この中間レベル領域が占める面積の割合、即ち、面積占有率が低く、輝度分布に谷が明確に存在して明確に二極分布化されているときには、先の第１の実施形態の場合と同様、図１０（ａ）において、実線の特性Ａ₁として示すように、ガンマ特性ＡをＣＣＤ出力が飽和する（図３）屋外領域の映像信号を抑え込む特性とするものである。そして、この中間レベル領域のレベルが高くなり、この中間レベル領域の面積占有率が高くなるにつれて、屋内領域よりも高輝度レベル領域側の抑え込みを、図１０（ａ）に示す破線の特性Ａ₂，Ａ₃，Ａ₄のように、順次緩めるようにしていく。このように、ガンマ特性Ａとしては、屋内と屋外との間の中間レベル領域の面積占有率に応じて、屋内の映像に対する輝度レベル範囲よりも高輝度レベルの領域での出力特性を変化させるものである。

ここで、中間レベル領域は、図８に示す輝度分布おいて、屋内領域の変曲点ａと屋外領域の変曲点ｂとの間とする。かかる中間レベル領域での各輝度レベルに対する画素数が少ない場合には、この中間レベル領域が、図５に示すように、谷となる。

なお、短時間露光信号に対するガンマ特性Ｂは、図１０（ｂ）に示すように、第１の実施形態での図６（ｂ）に示すガンマ特性Ｂと同様のものである。

図１１（ａ）は中間レベル領域の面積占有率が大きい場合のガンマ特性Ａ，Ｂを示す特性図であり、図１１（ｂ）は中間レベル領域の面積占有率が小さい場合のガンマ特性Ａ，Ｂを示す特性図である。

また、これらガンマ特性Ａ，Ｂの出力特性が、図６に示す第１の実施形態でのガンマ特性Ａ，Ｂのように、輝度分布検出回路１１で検出される輝度分布での屋内領域と屋外領域との面積占有率に応じて変更され、加算回路９でのガンマ補正された長時間露光信号と短時間露光信号との加算比率がこの輝度分布での屋内領域と屋外領域との面積占有率に応じたものとし、さらに、ガンマ特性Ａ，Ｂの変曲点の位置を調整して、加算回路９からの合成デジタル映像信号の輝度分布で、屋内領域と屋外領域との間に中間レベル領域が生ずるようにする。

図１２（ａ）は中間レベル領域の面積占有率が大きい場合の図１１（ａ）に示すガンマ特性Ａ，Ｂを用いたことによる図１における加算回路９の出力信号の特性を示す図であり、図１２（ｂ）は中間レベル領域の面積占有率が大きい場合の図１１（ｂ）に示すガンマ特性Ａ，Ｂを用いたことによる図１における加算回路９の出力信号の特性を示す図である。

図８に示すように、輝度分布で中間レベル領域の面積占有率が大きい場合には、ガンマ特性Ａとして、図１０（ａ）で示す特性Ａ₃，Ａ₄のガンマ特性Ａが用いられ、長時間露光信号では、屋内領域よりも高輝度レベル側のレベルが飽和する信号領域が抑え込まれないため、加算回路９から出力される映像信号としては、図１２（ａ）に示すように、長時間露光信号での飽和しているが、抑え込まれていない高輝度レベル領域の信号にガンマ特性Ｂによって増幅された短時間露光信号が加算されたものとなり、谷が生じない輝度分布の映像信号が得られることになる。これに対し、輝度分布で中間レベル領域の面積占有率が小さい場合には、ガンマ特性Ａとして、図１０（ａ）で示す特性Ａ₁，Ａ₂の高入力信号側が抑え込まれるガンマ特性Ａが用いられ、長時間露光信号では、屋内領域よりも高輝度レベル側のレベルが飽和する信号領域が抑え込まれるため、加算回路９から出力される映像信号としては、図１２（ｂ）に示すように、上記第１の実施形態での図７（ａ），（ｂ）に示す特性と同様の谷が生じた輝度分布の映像信号が得られることになる。

このようにして、この第２の実施形態では、輝度分布の谷に相当する中間レベル領域部分に対しても、ガンマ特性をマッチングさせて、最適なガンマ特性を割り当てることが可能となる。

以上のように、中間的な輝度レベルの領域（中間レベル領域）をもつ被写体の場合には、長時間露光信号に対するガンマ特性Ａの高輝度レベル側の抑え込み量を変化させることにより、輝度分布の中間レベル領域のレベルの違いによるガンマ特性とのアンマッチングを防止でき、ガンマ、即ち、非線形処理回路による入出力変換をより効率良くすることができるので、より違和感の少ない広ダイナミックレンジ画像を得ることができる。

なお、以上の各実施形態では、長時間露光と短時間露光の切り替えをフィールド単位としたが、他の、例えば、１ライン（水平走査期間）などの所定の時間単位としてもよい。

また、上記実施形態では、輝度分布が二極に分布化された場合について説明したが、三極以上の多極分布についても、夫々の極（山）毎にガンマ特性を設定することにより、同様に適用可能である。

本発明による撮像装置の第１の実施形態を示すブロック図であって、本発明による撮像装置の第１の実施形態での図１における各部の信号を示すタイミング図である。長時間露光時と短時間露光時とのＣＣＤ撮像素子の入出力特性を示す図である。長時間露光信号と短時間露光信号とに対するガンマ特性を示す図である。輝度分布の一例を模式的に示す図である。本発明による撮像装置の第１の実施形態の輝度分布に応じたガンマ特性の変化を示す図である。図６に示すガンマ特性による図１の出力端子に得られる合成映像信号の特性を示す図である。本発明による撮像装置の第２の実施形態での輝度分布を示す図である。本発明による撮像装置の第２の実施形態での図１における各部の信号を示すタイミング図である。本発明による撮像装置の第２の実施形態の輝度分布に応じたガンマ特性の変化を示す図である。本発明による撮像装置の第２の実施形態での輝度分布の中間レベル領域の面積占有率に応じたガンマ特性Ａ，Ｂを示す特性図である。図１１に示すガンマ特性による図１における加算回路の出力映像信号の特性を示す図である。二極化した輝度分布を模式的に示す図である。従来の撮像装置で用いられるガンマ特性の一例を示す図である。

符号の説明

１レンズ
２ＣＣＤ撮像素子
３タイミングジェネレータ
４ＡＧＣ回路
５Ａ／Ｄ変換回路
６信号処理回路
７ガンマ補正回路
８メモリ
９加算回路
１０Ｄ／Ａ変換回路
１１輝度分布検出手段
１２切替スイッチ
１３出力端子

Claims

被写体像を光電変換して映像信号を出力する撮像素子と、
該撮像素子の露光時間を所定の時間毎に切り替える制御をする露光時間制御回路と、
該撮像素子の出力映像信号の輝度分布を検出する輝度分布検出手段と、
該撮像素子の出力映像信号を、露光時間が異なる毎に異なる入出力特性で非線形処理を行なう非線形処理回路と、
該非線型増幅回路で非線形処理された該映像信号を該所定の時間単位で遅延するメモリと、
該非線形処理回路の出力映像信号と該メモリで遅延された該映像信号とを加算する加算回路と、
該輝度分布検出手段で検出された輝度分布に応じて、露光時間が異なる該所定の時間毎の映像信号の該加算回路での加算比率を制御する制御手段と
を有することを特徴とする撮像装置。
請求項１において、
前記制御手段は、前記輝度分布に応じて、露光時間が異なる前記所定の時間単位毎の映像信号に対する前記入出力特性の出力特性の比率を異ならせることにより、前記非線形処理回路の出力映像信号と前記メモリで遅延された映像信号との前記加算回路での加算比率を異ならせることを特徴とする撮像装置。
請求項２において、
前記撮像素子からは、露光時間が長い長時間露光信号と露光時間が短い短時間露光信号とが前記所定の時間単位で交互に出力され、
該長時間露光信号に対する第１の前記入出力特性は、該長時間露光信号のレベルが飽和する第１のレベル範囲で該長時間露光信号のレベルを抑え込み、該第１のレベル範囲より低レベル側の第２のレベル範囲で該長時間露光信号を増幅する出力特性を有し、該短時間露光信号に対する第２の前記入出力特性は、該短時間露光信号の予め決められた所定レベル以上の第３のレベル範囲で該短時間露光信号を増幅し、かつ該第３のレベル範囲よりも低レベレ側の第４のレベル範囲で該短時間露光信号を抑え込む出力特性を有し、
前記制御手段は、輝度分布検出手段で検出される前記輝度分布での該第１のレベル範囲に対する面積占有率と該第２のレベル範囲に対する面積占有率に応じて、該第１の入出力特性の出力特性と該第２の入出力特性の出力特性との比率を異ならせることを特徴とする撮像装置。
請求項３において、
前記輝度分布検出手段は、前記輝度分布の前記第１のレベル範囲での面積占有率と前記第３のレベル範囲での面積占有率と前記第１，第３のレベル範囲間の第５のレベル範囲での面積占有率とを検出し、
前記制御手段は、該第５のレベル範囲での面積占有率に応じて、前記第１の入出力特性の前記第２のレベル範囲での出力特性を異ならせることを特徴とする撮像装置。
請求項３または４において、
前記制御手段は、前記第１の入出力特性の前記第１のレベル範囲での変曲点の位置を前記輝度分布の前記第１のレベル範囲での分布の変曲点に一致させ、前記第２の入出力特性の前記第３のレベル範囲での変曲点の位置を前記輝度分布の前記第３のレベル範囲での分布の変曲点に一致させることを特徴とする撮像装置。