JP2007049228A - 画像処理装置及び方法 - Google Patents

Abstract

【課題】露光時間の異なる画像を合成して出力する場合に、Ｓ／Ｎの高い高品質のワイドダイナミックレンジ画像を得る。
【解決手段】第１の露光時間にて撮像された長時間露光画像信号と、第１の露光時間よりも短い第２の露光時間にて撮像された短時間露光画像信号とを入力する入力手段１と、短時間露光画像信号において所定値以下の信号を除去する画像信号処理手段６，７と、所定値以下の信号が除去された短時間露光画像信号と長時間露光画像信号とを基に合成画像信号を形成する画像合成手段８〜１３とを有する画像処理装置。
【選択図】図１

Description

本発明は、異なる露光量で被写体を撮像して得られた複数枚の画像を合成して階調性の優れたダイナミックレンジの広い１枚の画像を形成する装置及び方法に関する。

近年、テレビカメラ、ビデオカメラ、デジタルカメラ等の画像入力装置の撮像デバイスとしてＣＣＤ撮像素子、ＣＭＯＳ撮像素子等の固体撮像素子が使用されている。ところが、固体撮像素子のダイナミックレンジは、銀塩カメラのフィルムのダイナミックレンジに比べると狭く、ダイナミックレンジの拡大が望まれていた。

そこで、固体撮像素子のダイナミックレンジの拡大の方式として、同一シーンにおける露光量の異なる複数枚の画像を撮影し、この複数枚の画像を合成して、ダイナミックレンジを拡大した画像を得る手法がある。

特許文献１には、出力装置へ出力する画像データのダイナミックレンジ幅を出力装置のダイナミックレンジ幅あるいは出力特性に合わせる制御方法に関して記載されている。その画像の合成方法として、長時間露光画像と短時間露光画像の双方で、つぶれの無い画素を基準点として、同一画素間の輝度レベルの差を算出する。そして、双方の画像の輝度レベルを合せこみ、長時間露光画像信号の輝度レベルが、設定されたしきい値以上の時は、差分補正された短時間露光画像信号に置き換えることで合成画像を作成する方法が開示されている。

また特許文献２には、長時間露光画像と短時間露光画像を交互に出力する構成が開示されている。短時間露光画像出力時、その輝度値が、所定値以下の画素に関しては、黒つぶれがあると判断し、フレームメモリに記憶されている長時間露光画像信号に切り替える。長時間露光画像出力時、その輝度値が、所定値以上の画素に関しては、白つぶれがあると判断し、フレームメモリに記憶されている短時間露光画像信号に切り替える構成が開示されている。

また特許文献３には、標準輝度映像信号のピーク値から高輝度映像信号と標準輝度映像信号の合成のための加算割合を決定する構成が開示されている。

また特許文献４には、露光比が大きい場合、短時間露光画像信号の信号レベルが低下して、合成画像の中輝度部（長時間露光画像信号と短時間露光画像信号の切り替えポイント付近）のS／Nが悪化する課題に対して、短時間露光画像信号を、複数フィールド分多重加算して中時間露光画像信号を生成する。長時間露光画像信号を低輝度部に、中時間露光画像信号を中輝度部に、短時間露光画像信号を高輝度部に割りあたるように、入力画像信号のレベルによって可変する係数を３種類の露光画像信号に乗算して合成する構成が開示されている。

特開平０７−１３１７０４号公報 特開平０２−１７４４７０号公報 特開２００１−０９４８７０号公報 特開２００４−０５６５７３号公報

しかしながら、特許文献１においては、単純に輝度レベルのオフセット値を短時間露光画像信号に加算して、それを合成画像とする。短時間露光画像信号の低輝度領域のＳ／Ｎの悪い領域が、そのまま合成画像の中輝度から高輝度領域に割り当てられる為、合成画像の中輝度領域のＳ／Ｎが悪化した画像となる。

同様に、特許文献２においても、長時間露光画像の輝度レベルがある閾値以上になったら、短時間露光画像に置き換え、合成画像の中間輝度から高輝度画像としている為、短時間露光画像のレベルの低い部分に相当する合成画像の中輝度領域のＳ／Ｎが悪化した画像となる。

また、前記閾値を基準に、単純に長時間露光画像と短時間露光画像を切り替える為、閾値近傍の輝度レベルにある画素は、ノイズの影響で、選択する画像が変動するため、合成後の画像に不連続な輝度変動が発生するという問題があった。

また特許文献３においては、短時間露光画像信号のピーク値に応じて、合成時の加算の割合を決定する。特にピーク値が低い場合、短時間露光画像の低輝度領域が、合成画像の中輝度から高輝度領域に割り当てられる為、合成画像の中輝度領域のＳ／Ｎは極端に悪化する。

また特許文献４においては、短時間露光画像を複数枚単純に加算して、レベルの大きい中時間露光画像を得ており、これを合成画像の中輝度部に割り当てる事でＳ／Ｎが改善できるとしている。しかし、単純な加算では、信号レベルと一緒にノイズレベルも大きくなる為、合成画像の中輝度部のＳ／Ｎの劇的な改善は困難である。また合成画像の高輝度部には、何のノイズ対策もしていないレベルの低い短時間露光画像を割り当てている為、中輝度から高輝度にかけて、特に高輝度部でＳ／Ｎの悪い合成画像となる。

本発明の目的は、露光時間の異なる画像を合成して出力する場合に、Ｓ／Ｎの高い高品質のワイドダイナミックレンジ画像を得ることである。

本発明の画像処理装置は、第１の露光時間にて撮像された長時間露光画像信号と、前記第１の露光時間よりも短い第２の露光時間にて撮像された短時間露光画像信号とを入力する入力手段と、前記短時間露光画像信号において所定値以下の信号を除去する画像信号処理手段と、前記所定値以下の信号が除去された短時間露光画像信号と前記長時間露光画像信号とを基に合成画像信号を形成する画像合成手段とを有することを特徴とする。

本発明の画像処理方法は、第１の露光時間にて撮像された長時間露光画像信号と、前記第１の露光時間よりも短い第２の露光時間にて撮像された短時間露光画像信号とを入力する入力ステップと、前記短時間露光画像信号において所定値以下の信号を除去する画像信号処理ステップと、前記所定値以下の信号が除去された短時間露光画像信号と前記長時間露光画像信号とを基に合成画像信号を形成する画像合成ステップとを有することを特徴とする。

信号が所定値以下のＳ／Ｎの悪い短時間露光画像信号を除去し、短時間露光画像信号と長時間露光画像信号とを基に合成画像信号を形成することにより、短時間露光画像信号及び長時間露光画像信号のつなぎ目部分のＳ／Ｎが向上したダイナミックレンジの広い画像を合成することができる。

以下、本発明の実施形態における画像処理装置について説明する。
図２は、本実施形態における合成前の短時間露光画像と長時間露光画像のイメージセンサからの出力波形例を示す。左から右にいくほど、明るくなる（輝度が高くなる）被写体を撮影した場合の信号である。画像信号Ｓｉｇ１は、画像信号Ｓｉｇ１−ａ及びＳｉｇ１−ｄを有する。画像信号Ｓｉｇ１−ａは、時間（時刻）ｔ１を始点に、露光時間Ｔａで撮像された短時間露光画像信号である。画像信号Ｓｉｇ１−ｄは、時間（時刻）ｔ２を始点に、露光時間Ｔｂで撮像された長時間露光画像信号である。露光時間Ｔｂは、露光時間Ｔａより長い。

図１は、本実施形態における画像処理装置の構成例を示す。本画像処理装置は、短時間露光で撮像された白とびの無い画像信号（以下、短時間露光画像信号）Ｓｉｇ１−ａと長時間露光で撮像された黒つぶれの無い画像信号（以下、長時間露光画像信号）Ｓｉｇ１−ｄから、白とびも、黒つぶれも無いダイナミックレンジの広い画像を合成する画像処理装置である。１は、カメラ部で撮像デバイスによって、撮像された画像信号Ｓｉｇ１の入力端子であり、短時間露光画像信号Ｓｉｇ１−ａと長時間露光画像信号Ｓｉｇ１−ｄが時系列に入力される。入力端子１には、図２で示した画像信号Ｓｉｇ１が入力される。４はセレクト信号であり、該入力端子１に短時間露光画像信号Ｓｉｇ１−ａが入力された時、第２のスイッチ３がオンし、第１のスイッチ２はオフし、短時間露光画像信号Ｓｉｇ１−ａを該第２のスイッチ３に導く。また、該セレクト信号４は、該入力端子１に長時間露光画像信号Ｓｉｇ１−ｄが入力された時、第２のスイッチ３がオフし、第１のスイッチ２がオンし、長時間露光画像信号Ｓｉｇ１−ｄを該第１のスイッチ２に導く。５はフレームディレイであり、短時間露光画像信号Ｓｉｇ１−ａを１フレーム分、遅延させ、同一時間に短時間露光画像信号Ｓｉｇ１−ａと長期間露光信号Ｓｉｇ１−ｄが存在するようにする。６はレベルリミッタであり、短時間露光画像信号Ｓｉｇ１−ａにおいて、所定の振幅Ｓｏｆｆ以下の信号をカットし、リミットする。この処理により、短時間露光画像信号Ｓｉｇ１−ａのＳ／Ｎの悪い小振幅成分のみを除去し、Ｓ／Ｎの良い短時間露光画像信号Ｓｉｇ１−ａだけを後述する合成処理に利用する。７は、レベルシフト用の減算器であり、該レベルリミッタ６でカットされた短時間露光画像信号Ｓｉｇ１−ａのオフセット分Ｓｏｆｆを、短時間露光画像信号Ｓｉｇ１−ａから減算し、レベルシフトする。１２は、第２の乗算器であり、ゲイン１１で設定される係数Ｇ２を、短時間露光画像信号Ｓｉｇ１−ａに乗算する。８は、第１の乗算器であり、ゲイン９で設定される係数Ｇ１を、長時間露光画像信号Ｓｉｇ１−ｄに乗算する。１０は、ゲインコントロール部（ブロック）であり、短時間露光画像信号Ｓｉｇ１−ａ及び長時間露光画像信号Ｓｉｇ１−ｄを入力し、該ゲイン１１のＧ２、該ゲイン９のＧ１を決定し、短時間露光画像信号Ｓｉｇ１−ａと長時間露光画像信号Ｓｉｇ１−ｄの合成比率を決定する。１３は加算器であり、該ゲイン１１のＧ２が乗算された短時間露光画像信号Ｓｉｇ１−ａと該ゲイン９のＧ１が乗算された長時間露光画像信号Ｓｉｇ１−ｄを加算し、合成する。

合成画像信号の第１の輝度領域（低輝度領域）は、長時間露光画像信号Ｓｉｇ１−ｄを主体に形成され、第１の輝度領域よりも高輝度側の第２の輝度領域（高輝度領域）は、所定値Ｓｏｆｆ以下の信号が除去され、Ｓ／Ｎが改善された短時間露光画像信号Ｓｉｇ１−ａを主体に形成される。

次に、本実施形態の画像合成法について、図３、図４を用いて説明する。
図３は、画像合成前処理の概念を示す図である。Ｓｉｇ１は、撮像デバイスから出力される画像信号であり、短時間露光画像信号Ｓｉｇ１−ａ及び長時間露光画像信号Ｓｉｇ１−ｄを有する。Ｎｏｉｓｅは、撮像デバイス及び増幅器が持つノイズと光ショットノイズからなる撮像画像信号のノイズ成分である。短時間露光画像信号Ｓｉｇ１−ａは、該レベルリミッタ６により、Ｓｏｆｆ以下の信号レベルがゼロにリミットされ削られる。該レベルシフト用の減算器７は、Ｓｏｆｆでリミットされた短時間露光画像信号Ｓｉｇ１−ａから、オフセットとなるＳｏｆｆを引き、レベルシフトする。

図４は、本実施形態によって合成された画像信号である。長時間露光画像信号Ｓｉｇ１−ｄには、該ゲインＧ１が乗じられる。短時間露光画像信号Ｓｉｇ１−ａは、該レベルリミッタ６でＳｏｆｆ以下をゼロにリミットされ、該レベルシフト用減算器７でオフセットＳｏｆｆが減算され、該ゲインＧ２が乗じられる。加算器１３は、短時間露光画像信号Ｇ２×（（Ｓｉｇ１−ａ）−Ｓｏｆｆ）と長時間露光画像信号Ｇ１×（Ｓｉｇ１−ｄ）を合成する。長時間露光画像信号Ｓｉｇ１−ｄと短時間露光画像信号Ｓｉｇ１−ａのつなぎ目である１５のポイントにおける短時間露光画像信号Ｓｉｇ１−ａのＳ／Ｎは、該レベルリミッタ６により所定のＳ／Ｎ以下の信号レベルがカットされている為、極端なＳ／Ｎの劣化はなく、従来問題になっていた合成画像信号のつなぎ目での短時間露光画像信号のノイズによる画質の悪化を抑える事が出来る。また、該ゲインＧ１と該ゲインＧ２を独立に設定する事で、短時間露光画像信号Ｓｉｇ１−ａと長時間露光画像信号Ｓｉｇ１−ｄの合成時の信号の傾きを同じにする事が出来る為、従来問題になっていた合成画像のつなぎ目での信号波形の傾きの違いから発生する擬似輪郭を低減する事ができる。さらに、この処理の為に、短時間露光画像信号Ｓｉｇ１−ａの該ゲインＧ２を大きく設定しても、つなぎ目での短時間露光画像信号Ｓｉｇ１−ａのノイズによる画質の低下を抑える事が出来る。

本実施形態は、所定の振幅レベル以下の短時間露光画像信号Ｓｉｇ１−ａ成分をゼロにリミット（除去）する事で、Ｓ／Ｎの悪い短時間露光画像信号Ｓｉｇ１−ａをカットする。この部分の合成画像は、長時間露光画像信号Ｓｉｇ１−ｄのみで合成する事により、上記特許文献１〜４で問題になっていた合成画像の中輝度領域のＳ／Ｎの悪化を改善できる。また、上記特許文献４で問題になっていた合成画像の高輝度領域のＳ／Ｎの悪化を劇的に改善できる。

また、本実施形態は、所定の振幅レベル以下をカットし、Ｓ／Ｎが改善した短時間露光信号と長時間露光信号を、それぞれ定まられたゲインを乗じて、線形加算により、ワイドダイナミックレンジ画像を合成する事により、単純に閾値から判断して長時間露光画像と短時間露光画像のうち、いずれか一方を合成画像として出力する特許文献２の方式で問題になっていた、合成後の画像に不連続な輝度変動を劇的に改善できる。

Ｓ／Ｎの悪い低振幅時の短時間露光画像信号Ｓｉｇ１−ａをレベルリミッタ６によりカットし、この部分の合成画像を長時間露光画像信号Ｓｉｇ１−ｄから合成する事で、短時間露光画像信号Ｓｉｇ１−ａ及び長時間露光画像信号Ｓｉｇ１−ｄのつなぎ目部分のＳ／Ｎの悪化がないダイナミックレンジの広い画像を合成する事が出来る。また、擬似輪郭の発生を抑える為、短時間露光画像信号Ｓｉｇ１−ａに所定のゲインＧ２で信号を増幅しても、合成後のわいこれにより、階調表現の優れた、かつＳ／Ｎの高い高品質のワイドダイナミックレンジ画像を得る事が出来る。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の実施形態によるワイドダイナミックレンジ画像処理装置の構成例を示す図である。 合成前処理の短時間露光画像信号と長時間露光画像信号を示す図である。 画像合成前処理の概念を示す図である。 本実施形態により合成されたダイナミックレンジの広い画像信号を示す図である。

符号の説明

１ 撮像素子からの画像信号入力端子
２ 第１のスイッチ
３ 第２のスイッチ
４ セレクト信号
５ フレームディレイ
６ レベルリミッタ
７ レベルシフト用減算器
８ 第１の乗算器
９ ゲインＧ１
１０ ゲインコントロール部
１１ ゲインＧ２
１２ 第２の乗算器
１３ 加算器

Claims (5)

1. 第１の露光時間にて撮像された長時間露光画像信号と、前記第１の露光時間よりも短い第２の露光時間にて撮像された短時間露光画像信号とを入力する入力手段と、
   前記短時間露光画像信号において所定値以下の信号を除去する画像信号処理手段と、
   前記所定値以下の信号が除去された短時間露光画像信号と前記長時間露光画像信号とを基に合成画像信号を形成する画像合成手段と
   を有することを特徴とする画像処理装置。
2. 前記画像信号処理手段は、前記短時間露光画像信号から所定値を減算することを特徴とする請求項１記載の画像処理装置。
3. 前記合成画像信号の第１の輝度領域は、前記長時間露光画像信号を主体に形成され、前記第１の輝度領域よりも高輝度側の第２の輝度領域は、前記所定値以下の信号が除去された短時間露光画像信号を主体に形成されることを特徴とする請求項１又は２記載の画像処理装置。
4. 前記画像合成手段は、前記長時間露光画像信号に第１のゲインを乗算し、前記所定値以下の信号が除去された短時間露光画像に第２のゲインを乗算し、それらを加算することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 第１の露光時間にて撮像された長時間露光画像信号と、前記第１の露光時間よりも短い第２の露光時間にて撮像された短時間露光画像信号とを入力する入力ステップと、
   前記短時間露光画像信号において所定値以下の信号を除去する画像信号処理ステップと、
   前記所定値以下の信号が除去された短時間露光画像信号と前記長時間露光画像信号とを基に合成画像信号を形成する画像合成ステップと
   を有することを特徴とする画像処理方法。

Images