JP2008227697A - 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】長時間露光画像および短時間露光画像に基づく品質の高い広ダイナミックレンジ画像を生成する装置および方法を提供する。
【解決手段】長時間露光画像および短時間露光画像を入力して、それぞれの有効な画素値を選択的に組み合わせた広ダイナミックレンジ画像を生成する処理において、輝度変化画素を検出し画素値を置き換える処理を行う。広ダイナミックレンジ画像に基づくぼかし画像と広ダイナミックレンジ画像における輝度変化画素の画素位置に対応する画素値を適用して出力画像の画素値を決定する。本構成により、被写体の移動などによって発生する輝度変化画素の階調不良や偽色の発生が防止され、自然な見た目の高品質画像の出力が可能となる。
【選択図】図１２

Description

本発明は、画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラムに関する。特に、長時間露光画像と短時間露光画像の２種類の画像に基づいて高品質な出力画像を生成する画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラムに関する。

ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサのような固体撮像素子は入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。

このような現象を防止するため、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御して露光時間を調整し、感度を最適値に制御するといった処理が行なわれる。例えば、明るい被写体に対しては、シャッタを高速に切ることで露光時間を短縮し光電変換素子における電荷蓄積期間を短くして蓄積電荷量が飽和レベルに達する以前に電気信号を出力させる。このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。

しかし、明るいところと暗いところが混在するような被写体の撮影においては、シャッタを高速に切ると、暗い部分で十分な露光時間がとれないためにＳ／Ｎが劣化し画質が落ちることになる。このように明るいところと暗いところが混在する被写体の撮影画像において、明るい部分、暗い部分の輝度レベルを正確に再現するためには、イメージセンサ上での入射光が少ない画素では長い露光時間として高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避する処理が必要となる。

このような処理を実現する方法として、例えば非特許文献１記載の技術が知られている。具体的には、図１に示すように、フォトダイオード１０１、転送トランジスタ１０２、リセットトランジスタ１０３、増幅トランジスタ１０４および選択トランジスタ１０５を有する画素１００が行列状に配置されてなる増幅型イメージセンサにおいて、転送トランジスタ１０２をオフとする際に、制御電極に印加する電圧を、通常のような完全なオフにするレベルではなく、あるレベル以上電子が蓄積されていたら余剰分をＦＤ部１０６へ溢れさせるレベルＶｔｒｇに設定する。

フォトダイオード１０１に電子が蓄積し、レベルＶｔｒｇを超えると、サブスレッショルド領域でＦＤ部１０６へリークが始まる。このリークはサブスレッショルド領域で動作しているために、フォトダイオード１０１に残留する電子数は対数応答となる。

図２に示すように、期間Ｔ０でリセット動作後、転送トランジスタ１０２の制御電極に電圧Ｖｔｒｇを印加したまま蓄積を実行する。蓄積電子数が少ない期間Ｔ１の状態では、フォトダイオード１０１に電子が全て保持されているが、蓄積電子数がＶｔｒｇのレベルを超えると、期間Ｔ２のようにＦＤ部１０６へ電子がリークを始める。

サブスレッショルド領域でリークしているために、蓄積を続行（Ｔ３）した場合でも入射光強度に対して対数特性で電子が蓄積されていく。期間Ｔ４でＦＤ部１０６へ溢れた電子をリセットし、完全転送でフォトダイオード１０１に保持されている電子全てを読み出す。このときの入射光強度と出力電子数の関係を図３に示す。電圧Ｖｔｒｇによって設定された線形領域の上限Ｑlinearを超える強度の入射光の場合、対数応答で出力電子数が決定する。

しかし、非特許文献１記載の従来技術では、１２４ｄＢのダイナミックレンジが実現された旨が報告されているが、高Ｓ／Ｎを実現できる線形領域の飽和レベルが、当該報告では通常の飽和レベルＱsの半分以下となっている。また、対数応答によって非常に広いダイナミックレンジを実現しているものの、転送トランジスタ１０２の閾値ばらつきなどを受けやすい対数応答回路であるために、線形領域の固定パターンノイズ０．８ｍＶに対して、閾値ばらつきキャンセル動作を実行しても対数領域で５ｍＶという、大きな固定パターンノイズが広ダイナミックレンジ領域に残る。

IEEE International Solid-State Circuits Conference (ISSCC) 2005,pp.354,Feb.2005

本発明は、例えば明るい部分と暗い部分が混在する被写体の撮影画像において、長時間露光画像と短時間露光画像の２種類の画像を生成して、これらの画像に基づく画像処理を実行することで高輝度部分の白とびの発生を抑制し、低輝度部分においてもＳ／Ｎの良好な高品質な出力画像を得ることを可能とした画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

さらに本発明は長時間露光画像と短時間露光画像の２種類の画像を入力して実行する画像処理に際して被写体の動きなどに起因する輝度レベルなどの変化画素を検出して限定的な処理を施して、これらの画素の階調不良や偽色の発生を抑制し、高品質な画像を生成可能とした画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
長時間露光画像および短時間露光画像を入力する画像入力部と、
前記長時間露光画像および短時間露光画像の画素値解析により長時間露光時間に相当する撮影期間において輝度変化が発生したと判断される輝度変化画素を検出する画像解析部と、
前記画像解析部の解析した輝度変化画素の画素値を補正する処理を実行する画素値補正部を有し、
前記画素値補正部は、
前記長時間露光画像および短時間露光画像の画素値を選択的に組み合わせた合成画像を生成する合成画像生成部と、
前記合成画像のぼかし画像を生成する中間画像生成部と、
前記画像解析部の解析した輝度変化画素の画素値を、前記合成画像と中間画像における対応画素位置の画素値を適用して算出して決定する出力画像生成部と、
を有する構成であることを特徴とする画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記出力画像生成部は、
前記合成画像の前記輝度変化画素に対応する位置の画素値を［Ｄｖ］、
前記中間画像の前記輝度変化画素に対応する位置の画素値を［Ｍｖ］、
としたとき、係数ａ，ｂ（ただし、ａ＋ｂ＝１）を適用し、出力画像の対応画素位置の画素値［Ｒｖ］を、
［Ｒｖ］＝ａ×［Ｄｖ］＋ｂ×［Ｍｖ］
として算出する処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記画像解析部は、前記短時間露光画像から有効な出力値が得られ、前記長時間露光画像からも有効な出力値が得られている画素位置の検出を実行して、検出された画素位置にある画素を輝度が高輝度から低輝度へと変化した輝度変化画素であると判定する処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記画像解析部は、前記長時間露光画像の画素値が飽和しており、前記短時間露光画像から有効な出力値が得られていない画素位置の検出を実行して、検出された画素位置にある画素を輝度が低輝度から高輝度へと変化した輝度変化画素であると判定する処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記画像解析部は、前記輝度変化画素の検出結果に基づく検出結果画像に対して平滑化フィルタを適用した画像変換を実行し、変換結果画像に基づいて誤って検出された輝度変化画素を排除する処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記画像解析部は、前記輝度変化画素の検出結果に基づく検出結果画像に対してフィルタを適用した画像変換を実行し、輝度変化画素領域を拡大する処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記出力画像生成部は、
前記合成画像の前記輝度変化画素に対応する位置の画素値を［Ｄｖ］、
前記中間画像の前記輝度変化画素に対応する位置の画素値を［Ｍｖ］、
としたとき、係数ａ，ｂ（ただし、ａ＋ｂ＝１）を適用し、出力画像の対応画素位置の画素値［Ｒｖ］を、
［Ｒｖ］＝ａ×［Ｄｖ］＋ｂ×［Ｍｖ］
として算出する処理を実行する構成であり、
前記合成画像に基づいて検出された輝度変化画素領域の画素値算出に適用する係数ａ_１，ｂ_１と、
前記フィルタを適用して新たに出現した拡大された輝度変化画素領域の画素値算出に適用する係数ａ_２，ｂ_２とを異なる値に設定して画素値算出処理を実行することを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記中間画像生成部は、前記合成画像に対して平滑化フィルタを適用してぼかし画像を生成する処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記中間画像生成部は、前記合成画像に対して縮小処理および拡大処理を実行してぼかし画像を生成する処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記画素値補正部は、さらに、前記合成画像生成部の生成した合成画像の彩度低下処理を実行する画像補正部を有し、前記中間画像生成部は、前記画像補正部の生成した再度低下画像を入力してぼかし画像を生成する処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記画素値補正部は、さらに、前記出力画像生成部の生成した画像に対してローパスフィルタを施す画像補正処理を実行する画像補正部を有することを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記短時間露光画像を生成する際の露光期間は、前記長時間露光画像を生成する際の露光期間内にあり、前記短時間露光画像、および前記長時間露光画像は単一の撮像素子によって同一の画素からそれぞれ生成された画像であることを特徴とする。

さらに、本発明の第２の側面は、
長時間露光画像および短時間露光画像を生成する撮像デバイスと、
前記長時間露光画像および短時間露光画像の画素値解析により長時間露光時間に相当する撮影期間において輝度変化が発生したと判断される輝度変化画素を検出する画像解析部と、
前記画像解析部の解析した輝度変化画素の画素値を補正する処理を実行する画素値補正部を有し、
前記画素値補正部は、
前記長時間露光画像および短時間露光画像の画素値を選択的に組み合わせた合成画像を生成する合成画像生成部と、
前記合成画像のぼかし画像を生成する中間画像生成部と、
前記画像解析部の解析した輝度変化画素の画素値を、前記合成画像と中間画像における対応画素位置の画素値を適用して算出して決定する出力画像生成部と、
を有する構成であることを特徴とする撮像装置にある。

さらに、本発明の撮像装置の一実施態様において、前記撮像デバイスは、前記短時間露光画像を生成する際の露光期間を、前記長時間露光画像を生成する際の露光期間内とし、前記短時間露光画像、および前記長時間露光画像を単一の撮像素子によって同一の画素からそれぞれ生成する構成であることを特徴とする。

さらに、本発明の第３の側面は、
画像処理装置において画像処理を実行する画像処理方法であり、
画像入力部が、長時間露光画像および短時間露光画像を入力する画像入力ステップと、
画像解析部が、前記長時間露光画像および短時間露光画像の画素値解析により長時間露光時間に相当する撮影期間において輝度変化が発生したと判断される輝度変化画素を検出する画像解析ステップと、
画素値補正部が、前記画像解析ステップにおいて解析した輝度変化画素の画素値を補正する処理を実行する画素値補正ステップを有し、
前記画素値補正ステップは、
前記長時間露光画像および短時間露光画像の画素値を選択的に組み合わせた合成画像を生成する合成画像生成ステップと、
前記合成画像のぼかし画像を生成する中間画像生成ステップと、
前記画像解析部の解析した輝度変化画素の画素値を、前記合成画像と中間画像における対応画素位置の画素値を適用して算出して決定する出力画像生成ステップと、
実行することを特徴とする画像処理方法にある。

さらに、本発明の画像処理方法の一実施態様において、前記出力画像生成ステップは、
前記合成画像の前記輝度変化画素に対応する位置の画素値を［Ｄｖ］、
前記中間画像の前記輝度変化画素に対応する位置の画素値を［Ｍｖ］、
としたとき、係数ａ，ｂ（ただし、ａ＋ｂ＝１）を適用し、出力画像の対応画素位置の画素値［Ｒｖ］を、
［Ｒｖ］＝ａ×［Ｄｖ］＋ｂ×［Ｍｖ］
として算出する処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記画像解析ステップは、前記短時間露光画像から有効な出力値が得られ、前記長時間露光画像からも有効な出力値が得られている画素位置の検出を実行して、検出された画素位置にある画素を輝度が高輝度から低輝度へと変化した輝度変化画素であると判定する処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記画像解析ステップは、前記長時間露光画像の画素値が飽和しており、前記短時間露光画像から有効な出力値が得られていない画素位置の検出を実行して、検出された画素位置にある画素を輝度が低輝度から高輝度へと変化した輝度変化画素であると判定する処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記画像解析ステップは、前記輝度変化画素の検出結果に基づく検出結果画像に対して平滑化フィルタを適用した画像変換を実行し、変換結果画像に基づいて誤って検出された輝度変化画素を排除する処理を実行するステップを含むことを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記画像解析ステップは、前記輝度変化画素の検出結果に基づく検出結果画像に対してフィルタを適用した画像変換を実行し、輝度変化画素領域を拡大する処理を実行するステップを含むことを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記出力画像生成ステップは、
前記合成画像の前記輝度変化画素に対応する位置の画素値を［Ｄｖ］、
前記中間画像の前記輝度変化画素に対応する位置の画素値を［Ｍｖ］、
としたとき、係数ａ，ｂ（ただし、ａ＋ｂ＝１）を適用し、出力画像の対応画素位置の画素値［Ｒｖ］を、
［Ｒｖ］＝ａ×［Ｄｖ］＋ｂ×［Ｍｖ］
として算出する処理を実行するステップ成であり、
前記合成画像に基づいて検出された輝度変化画素領域の画素値算出に適用する係数ａ_１，ｂ_１と、
前記フィルタを適用して新たに出現した拡大された輝度変化画素領域の画素値算出に適用する係数ａ_２，ｂ_２とを異なる値に設定して画素値算出処理を実行することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記中間画像生成ステップは、前記合成画像に対して平滑化フィルタを適用してぼかし画像を生成する処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記中間画像生成ステップは、前記合成画像に対して縮小処理および拡大処理を実行してぼかし画像を生成する処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記画素値補正ステップは、さらに、前記合成画像生成ステップにおいて生成した合成画像の彩度低下処理を実行する画像補正を実行し、前記中間画像生成ステップは、前記画像補正ステップにおいて生成した再度低下画像を入力してぼかし画像を生成する処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記画素値補正ステップは、さらに、前記出力画像生成ステップにおいて生成した画像に対してローパスフィルタを施す画像補正処理を実行する画像補正ステップを有することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記短時間露光画像を生成する際の露光期間は、前記長時間露光画像を生成する際の露光期間内にあり、前記短時間露光画像、および前記長時間露光画像は単一の撮像素子によって同一の画素からそれぞれ生成された画像であることを特徴とする。

さらに、本発明の第４の側面は、
画像処理装置において画像処理を実行させるコンピュータ・プログラムであり、
画像入力部に、長時間露光画像および短時間露光画像を入力させる画像入力ステップと、
画像解析部に、前記長時間露光画像および短時間露光画像の画素値解析により長時間露光時間に相当する撮影期間において輝度変化が発生したと判断される輝度変化画素を検出させる画像解析ステップと、
画素値補正部に、前記画像解析ステップにおいて解析した輝度変化画素の画素値を補正する処理を実行させる画素値補正ステップを有し、
前記画素値補正ステップは、
前記長時間露光画像および短時間露光画像の画素値を選択的に組み合わせた合成画像を生成させる合成画像生成ステップと、
前記合成画像のぼかし画像を生成させる中間画像生成ステップと、
前記画像解析部の解析した輝度変化画素の画素値を、前記合成画像と中間画像における対応画素位置の画素値を適用して算出して決定させる出力画像生成ステップと、
実行させるステップであることを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成によれば、長時間露光画像および短時間露光画像を入力して、それぞれの有効な画素値を選択的に組み合わせた広ダイナミックレンジ画像を生成する処理において、長時間露光時間に相当する撮影期間において輝度変化が発生したと判断される輝度変化画素を検出し、この輝度変化画素の画素値を置き換える画像補正処理を行う構成とした。具体的には、広ダイナミックレンジ画像に基づいてぼかし画像を生成し、生成したぼかし画像と広ダイナミックレンジ画像における輝度変化画素の画素位置に対応するそれぞれの画素値を適用して出力画像の画素値を決定する構成とした。この構成により、被写体の移動などによって発生する輝度変化画素の階調不良や偽色の発生が防止され、自然な見た目の高品質画像の出力が可能となる。

以下、図面を参照しながら、本発明の画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラムについて説明する。

［実施例１］
図４は、本発明の画像処理装置の一例である撮像装置の構成例を示すブロック図である。光学レンズ２０１を通して入射される光は例えばＣＭＯＳイメージセンサによって構成される撮像デバイス２０２に入射し、光電変換による画像データが出力画像生成部２０３に入力される。撮像デバイス２０２では、長時間露光画像２１１と、短時間露光画像２１２の２種類の画像が生成され、これらの２つの画像データが画像処理部２０３に入力される。画像処理部２０３では、これらの異なる露光時間の長時間露光画像２１１と、短時間露光画像２１２に基づいて出力画像を生成する。

まず、撮像デバイス２０２において実行する長時間露光画像２１１と、短時間露光画像２１２の２種類の画像の生成処理について、図５以下を参照して説明する。なお、この撮像デバイス２０２における異なる露光時間の画像の生成処理については、本出願人と同一出願人による特許出願［特願２００６−２８０９５９（２００６年１０月１６日出願）］においても開示している構成である。

撮像デバイス２０２では、撮像デバイス２０２を構成する各画素の飽和レベルを考慮して出力画像を生成する。前述したように撮像デバイスの出力する電気信号は、撮像デバイスに対する入射光量に応じたものとなる。従って、一定の露光時間（長時間露光）とした場合、より明るい被写体に対応する画素の光電変換素子の出力する電気信号が飽和レベルに達してしまう場合がある。結果として、これらの画素については、飽和レベルの電気信号が出力され、諧調差が認識できない、いわゆる白とび画素となってしまう。

撮像デバイス２０２では、このような白とびを防止し、被写体の輝度レベルを反映した出力を得るため、長時間露光の画像データと、短時間露光の画像データを生成する。画像処理部２０３において、これらの２つの画像データの合成、その他の処理を実行して出力画像を得る。例えば、長時間露光を行なった場合に飽和レベルに至ると推測される画素については、短時間露光を行なったデータに基づいて計算した画素値を出力するという処理などを行なうものである。

なお、これらの基本的な処理については、本出願人と同一出願人による特許出願［特願２００６−２８０９５９（２００６年１０月１６日出願）］においても開示している。本発明では、さらに、画像処理部２０３における処理を改良し、長時間露光画像と短時間露光画像の２種類の画像を入力して実行する画像処理に際して被写体の動きなどに起因する輝度レベルなどの変化画素を検出して限定的な処理を施して、これらの画素の階調不良や偽色の発生を抑制し、高品質な画像を生成可能としたものである。

図５を参照して、撮像デバイス２０２における異なる露光時間の画像データ（長時間露光画像２１１と、短時間露光画像２１２）の生成処理について説明する。撮像デバイス２０２は、例えば、動画撮影においては、ビデオレート（３０−６０ｆｐｓ）内に２つの異なる露光時間の画像データを出力する。また、静止画撮影においても、２つの異なる露光時間の画像データを生成して出力する。本発明は、静止画、動画のいずれにも適用できる。

図５は、撮像デバイス２０２が生成する２つの異なる露光時間を持つ画像（長時間露光画像２１１と、短時間露光画像２１２）の特性について説明する図である。横軸は時間（ｔ）であり、縦軸は固体撮像素子の１つの画素に対応する光電変換素子を構成する受光フォトダイオード（ＰＤ）における蓄積電荷量（ｅ）である。

例えば、受光フォトダイオード（ＰＤ）の受光量が多い、すなわち明るい被写体に対応する場合、図５に示す高輝度領域２５１に示すように、時間経過に伴う電荷蓄積量は急激に上昇する。一方、受光フォトダイオード（ＰＤ）の受光量が少ない、すなわち暗い被写体に対応する場合、図５に示す低輝度領域２５２に示すように、時間経過に伴う電荷蓄積量は緩やかに上昇する。

時間ｔ０〜ｔ３が長時間露光画像２１１を取得するための露光時間ＴＬに相当する。この長時間の露光時間ＴＬとしても低輝度領域２５２に示すラインは、時間ｔ３において電荷蓄積量は飽和レベルに達することなく（非飽和点Ｐｙ）、この電荷蓄積量（Ｓａ）に基づいて得られる電気信号を利用して決定する画素の階調レベルにより、正確な階調表現を得ることができる。

しかし、高輝度領域２５１に示すラインは、時間ｔ３に至る以前に、すでに電荷蓄積量は飽和レベルに達することが明らか（飽和点Ｐｘ）である。従って、このような高輝度領域２５１は、長時間露光画像２１１からは飽和レベルの電気信号に対応する画素値となり白とび画素となる。

そこで、このような高輝度領域２５１では、時間ｔ３に至る前の時間、例えば図に示す時間ｔ１（電荷掃き出し開始点Ｐ１）において、一旦、受光フォトダイオード（ＰＤ）の蓄積電荷を掃き出す。電荷掃き出しは、受光フォトダイオード（ＰＤ）に蓄積された全ての電荷ではなく、フォトダイオード（ＰＤ）において制御される中間電圧保持レベルまでとする。この電荷掃き出し処理の後、再度、露光時間ＴＳ（ｔ２〜ｔ３）とした短時間露光を実行する。すなわち、図に示す短時間露光開始点Ｐ２〜短時間露光終了点Ｐ３までの期間の短時間露光を行なう。この短時間露光によって電荷蓄積量（Ｓｂ）が得られ、この電荷蓄積量（Ｓｂ）に基づいて得られる電気信号に基づいて、画素の階調レベルを決定する。

なお、低輝度領域２５２における長時間露光によって得られる電荷蓄積量（Ｓａ）に基づく電気信号と、高輝度領域２５１における短時間露光によって得られる電荷蓄積量（Ｓｂ）に基づく電気信号とに基づいて画素値を決定する際は、同一時間露光を行なった場合の推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値を算出して、算出した結果に基づいて画素値レベルを決定する。

なお、図５に示すように、高輝度領域２５１では、時間ｔ３に至る前の時間、例えば図に示す時間ｔ１（電荷掃き出し開始点Ｐ１）において、一旦、受光フォトダイオード（ＰＤ）の蓄積電荷を掃き出して短時間露光を実行し、短時間露光期間（ｔ１〜ｔ２）における蓄積電荷量（Ｓｂ）に基づく電気信号を得た後、再度、時間ｔ３まで、露光処理が継続され、例えば飽和レベルまでの電荷が蓄積されることになる。長時間露光画像にはこの飽和レベルまで蓄積された電荷に基づく電気信号が得られるが、この画素については、この電気信号は、画素値の決定のためには適用されないことになる。すなわち、撮像デバイス２０２は、各画素について、長時間露光結果または短時間露光結果のいずれか一方の電荷蓄積量に基づく電気信号を有効な画素値を決定するための信号として選択し、各画素値を決定することになる。

各画素について、長時間露光画像、短時間露光画像のいずれの画像の画素値を出力画像に適用するかの判定処理は、例えば、図５に示す時間ｔｊにおいて実行する。図５に示す時間ｔｊにおいて、ある一定の基準電荷量、例えば図に示す電荷量（ｅｖ）以上の電荷が蓄積されている画素については、時間ｔ１（電荷掃き出し開始点Ｐ１）において、一旦、受光フォトダイオード（ＰＤ）の蓄積電荷を掃き出して短時間露光を実行し短時間露光画像から出力画素値を決定し、時間ｔｊにおいて電荷量（ｅｖ）以上の電荷が蓄積されていない画素については電荷掃き出しを実行することなく、長時間露光処理を行ない、長時間露光画像から出力画素値を決定するといった制御を行なう。

このように、例えば図５に示す閾値輝度レベル２５３未満の暗い被写体部分を撮影した画素については長時間露光画像２１１を適用して画素値を決定し、閾値輝度レベル２５３以上の明るい被写体部分を撮影した画素については、短時間露光画像２１２を適用して画素値を決定するという処理を行なうことで、明るい部分と暗い部分とが混在する被写体の撮影画像において、白とびの発生を抑制し、なおかつ低輝度部分のＳ／Ｎも低下させることのない高ダイナミックレンジの品質の高い画像を生成することができる。

しかし、このように暗い被写体部分を撮影した画素については長時間露光画像２１１を適用し、明るい被写体を撮影した画素については、短時間露光画像２１２を適用して画素値を決定するという処理は、撮影期間において被写体の明るさが変化しない場合には問題がないが、例えば撮影期間中の被写体の動きなどによって明るさが変化する場合には問題が発生する。

図５に示す例では、撮影期間中、各画素の明るさが変化しない場合を想定しており、高輝度領域２５１のラインも低輝度領域２５２のラインもその傾きは、時間の経過によって変化することのない設定である。すなわち、この図は撮影期間中、明るさが一定である場合を想定している。そのため、電荷掃き出し処理による電荷蓄積量の低下時を除き、全て１次の右肩上がりの直線となっている。

しかし、例えば撮影期間中に被写体が動いた場合などには、画素に対応する被写体の明るさは一定でなく変化することになる。このように被写体明るさが変化する場合の撮像デバイス２０２の受光フォトダイオード（ＰＤ）における蓄積電荷量（ｅ）の時間推移の例を図６に示す。図６は、図５と同様、横軸が時間（ｔ）であり、縦軸は固体撮像素子の１つの画素に対応する光電変換素子を構成する受光フォトダイオード（ＰＤ）における蓄積電荷量（ｅ）である。

輝度変化領域２６１は撮影途中（図に示すポイントＰｑ）まで低輝度域にあったが、その後、突然明るくなった場合の画素に対応する受光フォトダイオード（ＰＤ）の蓄積電荷量（ｅ）の推移を示すラインである。これは例えば、明るい物体が突然入り込んできた場合や、暗い物体が動いて背景の明るい物体が現われた場合などである。輝度変化領域２６１は、長時間露光期間の終了時間（ｔ３）以前に蓄積電荷量（ｅ）は飽和レベル（図に示すポイントＰｒ）に達してしまっている。

撮像デバイス２０２では、輝度変化領域２６１について、時間ｔｊにおいて電荷量（ｅｖ）以上の電荷が蓄積されていない画素であるとの判定に基づき、電荷掃き出しを実行することなく長時間露光処理を行なう。その結果、輝度変化領域２６１についての画素値は飽和レベルに相当する白とび画素となってしまう。

このように、撮影期間中に被写体の輝度が変化した場合には、長時間露光画像と短時間露光画像を用いても、正確な画素値レベルを表現できない場合が発生する。このような問題は、例えば、Ｒ、Ｇ、Ｂ等のカラーフィルタが配置されたカラー撮像用の固体撮像素子を利用した場合にはより深刻になる。

一般的な単板カラー方式の固体撮像素子は、撮像素子の表面に、各画素において特定の波長成分のみを透過するようなカラーフィルタを貼り付け、複数個の画素の組によって必要な色成分を復元するものである。このとき、カラーフィルタで用いられる色配列は、例えば、図７（ａ）に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）を表現する色配列や、図１（ｂ）に示すように、輝度信号としての白（Ｙ）と赤（Ｒ）、緑（Ｇ）、青（Ｂ）を組み合わせた配列などが用いられる。単板カラー方式の固体撮像素子では、このように各画素は単一の色成分の情報しかもたないため、周囲の画素の色情報を用いて補間処理を行うことによって、各画素において必要な色成分を復元するデモザイク処理が行われる。

このようなＲ、Ｇ、Ｂ等のカラーフィルタが配置されたカラー撮像用の固体撮像素子を利用した場合、Ｒ、Ｇ、Ｂの情報は、通常、固体撮像素子の分光感度、環境光、そして被写体の反射率などの影響で、それぞれ異なった感度となる。そのため、上記したような階調不良が発生する領域は、Ｒ、Ｇ、Ｂの画素でそれぞれ異なった位置に発生することがある。Ｒ、Ｇ、Ｂの内、一つないし二つの情報が正しくない場合は、例えば、実際は無彩色の被写体であっても、Ｒ、Ｇ、Ｂや、これの補色の偽色が発生することとなる。更に、場所によってその偽色の色が変化するようなこともある。

上述したように、暗い被写体部分を撮影した画素については長時間露光画像を適用し、明るい被写体を撮影した画素については、短時間露光画像を適用して画素値を決定するという処理は、撮影期間において被写体の明るさや色などが変化しない場合には問題がないが、例えば撮影期間中の被写体の動きなどによって明るさや色などが変化する場合には問題が発生する。すなわち、被写体が動いていた場合などには、その領域において偽色や、階調不良といった問題が発生する。

本発明における画像処理部２０３では、このような問題を解決するための処理を実行する。すなわち、撮像デバイス２０２において生成された異なる露光時間の２つの画像に基づいて高品質な出力画像を生成する。

画像処理部２０３の構成例について、図８を参照して説明する。画像処理部２０３は、長時間露光画像２１１、短時間露光画像２１２を入力する画像入力部３０１、これらの入力画像に基づいて、動く被写体領域など画素値変化があると判断される画素位置を検出する画像解析部３０２と、画像解析部３０２において、画素値変化があると判断される画素の画素値を、新たな画素値に置き換える画素値補正を実行する画素値補正部３０３である。

図９以下を参照して画像処理部２０３における具体的な処理例について説明する。図９は、図５、図６と同様、横軸が時間（ｔ）であり、縦軸は撮像デバイス２０２としての固体撮像素子の１つの画素に対応する光電変換素子である受光フォトダイオード（ＰＤ）における蓄積電荷量（ｅ）である。

受光フォトダイオード（ＰＤ）における蓄積電荷量（ｅ）の最大値を画像の出力値（０〜２５５のデジタルデータ）の２５５として表す。輝度に時間変化がない場合、点線で示す閾値ライン３２３が低輝度信号と高輝度信号の境界となる。図には２つの輝度変化画素ラインＡ，３２１、輝度変化画素ラインＢ，３２２を示している。輝度変化画素ラインＡ，３２１は、ポイントＰ１において、例えば被写体の動きなどによって高輝度から低輝度に変化し、輝度変化画素ラインＢ，３２２は、ポイントＰ２において低輝度から高輝度に変化している。

撮像デバイス２０２は、前述したように、例えば時間（ｔｊ）において、各画素について閾値ライン３２３に対応する蓄積電荷量（ｅｖ）より多くの電荷を蓄積しているか否かを判定し長時間露光とするか短時間露光とするかの切り分けを行なう。閾値ライン３２３に対応する蓄積電荷量（ｅｖ）より多くの電荷を蓄積している画素対応の受光フォトダイオード（ＰＤ）については、高輝度領域と判定して、図５を参照して説明したと同様の電荷掃き出し処理を実行して中間電圧保持レベルまで蓄積電荷量を減少させた後、期間ｔ１〜ｔ２の短時間露光処理を行ない、短時間露光処理の結果として得られる蓄積電荷量に基づく画素値を設定した短時間露光画像２１２に画素値を設定する。一方、時間ｔｊにおいて、閾値ライン３２３に対応する蓄積電荷量（ｅｖ）以下の電荷を蓄積している受光フォトダイオード（ＰＤ）については、低輝度領域と判定され、電荷掃き出し処理は実行されず、期間ｔ０〜ｔ３の長時間露光処理が行なわれ、長時間露光処理の結果として得られる蓄積電荷量に基づく画素値を設定した長時間露光画像２１１に画素値を設定する。

図８に示す画像処理部２０３の画像入力部３０１は、このような処理によって生成された長時間露光画像２１１と短時間露光画像２１２を入力し、画像解析部３０２に出力する。画像解析部３０２では、これらの２つの入力画像に基づいて、動く被写体領域など画素値変化があると判断される画素位置を検出する。画素値変化の態様としては、
（ａ）被写体の輝度が高輝度から低輝度へと変化する場合、
（ｂ）被写体の輝度が低輝度から高輝度へと変化する場合、
これらの２つの種類がある。
画像解析部２１３では、これらの２つの態様（ａ），（ｂ）の輝度変化画素位置を、それぞれ異なる手法を適用して検出する。

まず、画像解析部３０２において実行する（ａ）被写体の輝度が高輝度から低輝度へと変化する画素位置の検出処理について説明する。図９において、輝度変化画素ラインＡ，３２１は、ポイントＰ１において、例えば被写体の動きなどによって高輝度から低輝度に変化している画素に対応するラインである。

輝度変化画素ラインＡ，３２１に示すような高輝度から低輝度へと変化する輝度変化を起こす画素位置において、短時間露光画像２１２において有効な画素情報が得られている場合、時間ｔ１〜ｔ２における短時間（ＴＳ）の短時間露光処理が実行された画素位置であると判断される。

従って、長時間露光画像２１１において、この画素に対応する位置の画素値は、多くの場合、飽和レベルにあり有効な信号は得られない。すなわち、図９に示すように、時間ｔ１〜ｔ２における短時間（ＴＳ）の短時間露光処理の後、電荷計測（出力）された後、再度、時間（ｔ２）以降において電荷蓄積が開始され、高輝度のままであれば、図に示すポイント（Ｐ３）において、この画素対応の受光フォトダイオード（ＰＤ）の電荷蓄積量は飽和レベルに至り、長時間露光画像におけるこの画素の画素レベルは飽和レベル（画素値＝２５５）、すなわち白とび画素となる。

しかし、この画素に対応する被写体の輝度が撮影期間、すなわち長時間露光時間（ｔ０〜ｔ３）において変化した場合、具体的には、図９に示すポイントＰ１において、被写体の輝度が低くなった場合、輝度変化画素ラインＡ，３２１は、ポイントＰ１以降、傾きは緩くなる。すなわち、受光フォトダイオード（ＰＤ）の電荷蓄積スピートが低下することになる。

本来、被写体の輝度が変化しない場合は、ポイント（Ｐ３）において、受光フォトダイオード（ＰＤ）の電荷蓄積量は飽和レベルに至り、長時間露光画像におけるこの画素の画素レベルは飽和レベル（画素値＝２５５）、すなわち白とび画素となるが、図に示すようにポイントＰ１において、被写体の輝度が低くなり、受光フォトダイオード（ＰＤ）の電荷蓄積スピートが低下すると、長時間露光画像におけるこの画素の画素レベルは飽和レベル（画素値＝２５５）以下となり、有効な画素値出力（画素値＝２５５未満）が得られる。

画像解析部３０２において実行する（ａ）被写体の輝度が高輝度から低輝度へと変化する画素位置の検出処理は、上述した現象の解析に基づいて実行する。すなわち、
［判定条件１：短時間露光画像２１２から有効な出力値が得られ、長時間露光画像２１１からも有効な出力値が得られている］
か否かを判定し、上記［判定条件１］を満足する場合、その画素を、
（ａ）被写体の輝度が高輝度から低輝度へと変化する画素位置、
であると判定する。

なお、短時間露光画像２１２における有効出力値や、長時間露光画像２１１における有効出力値については、予め設定した閾値との比較に基づいて判定する。
例えば、
短時間露光画像２１２の有効な出力値としては、短時間露光により蓄積される電荷量に基づく電気信号から算出される画素値（０〜２２５）と、閾値［１０］を比較して、
検出画素値＞１０、
である場合、有効出力値と判定し、
長時間露光画像２１１の有効な出力値としては、長時間露光により蓄積される電荷量に基づく電気信号から算出される画素値（０〜２２５）と、閾値［２３０］を比較して、
検出画素値＜２３０、
である場合、有効画素値として判定する。

なお、上述した判定式において示した１０や、２３０といった閾値は一例である。短時間露光画像２１２の有効な出力値判定のために適用する閾値は、撮像素子のノイズに比較して優位な出力値が得られていることの確認が可能であるか否かを判定できる値を適用し、長時間露光画像２１１の有効な出力値判定のために適用する閾値は、撮像素子のニー特性を考慮して、階調が正しく表現されていることを確認できる値を適用するのが目安となる。なお、上記のような閾値を用いた判定処理を用いず、または併用して実際の各画像を観察して画像の主観的な評価を行なって、有効画素値が得られているか否かを判定する構成としてもよい。

次に、画像解析部３０２において実行する（ｂ）被写体の輝度が低輝度から高輝度へと変化する画素位置の検出処理について説明する。図９において、輝度変化画素ラインＢ，３２２は、ポイントＰ２において、例えば被写体の動きなどによって低輝度から高輝度に変化している画素に対応するラインである。

この画素は、時間ｔ０〜ｔ３の長時間露光によって生成された長時間露光画像２１１において飽和画素（画素値＝２５５）の白とび画素となってしまい、有効な出力を得ることができない。

長時間露光画像２１１において飽和画素（画素値＝２５５）の白とび画素となっている場合、輝度の変化しない画素領域では、短時間露光画像２１２から有効な画素値を算出することが可能となる。しかし、輝度変化画素ラインＢ，３２２は、ポイントＰ２において、低輝度から高輝度に変化しており、有効な短時間露光画像２１２の画素値を得るための処理、すなわち、図５他を参照して説明した電荷掃き出し処理と短時間露光処理を実行していない。従って、短時間露光画像２１２から有効な画素値を得ることはできない。

画像解析部３０２において実行する（ｂ）被写体の輝度が低輝度から高輝度へと変化する画素位置の検出処理は、上述した現象の解析に基づいて実行する。すなわち、
［判定条件２：長時間露光画像２１１の画素値が飽和しており、短時間露光画像２１２からも有効な出力値が得られていない］
か否かを判定し、上記［判定条件２］を満足する場合、その画素を、
（ｂ）被写体の輝度が低輝度から高輝度へと変化する画素位置
であると判定する。

なお、長時間露光画像２１１の画素値が飽和していることの判定や、短時間露光画像２１２から有効な出力値が得られていないことの判定処理は、予め設定した閾値との比較によって行なう。
例えば、
長時間露光画像２１１の画素値が飽和していることの判定は、長時間露光により蓄積される電荷量に基づく電気信号から算出される画素値（０〜２２５）と、閾値［２４０］を比較して、
検出画素値≧２４０、
である場合、飽和画素値であると判定し、
短時間露光画像２１２から有効な出力値が得られていないことの判定処理は、短時間露光により蓄積される電荷量に基づく電気信号から算出される画素値（０〜２２５）と、閾値［５］を比較して、
検出画素値≦５、
である場合、有効な出力値が得られていないと判定する。

なお、上述した判定式において示した２４０や、５といった閾値は一例である。長時間露光画像２１１の画素値が飽和していることの判定に適用する閾値は、撮像素子のニー特性を考慮して、階調が正しく表現されなくなった領域であることを確認できる値を適用するのが目安となる。また、短時間露光画像２１２から有効な出力値が得られていないことの判定処理に適用する閾値としては、撮像素子のノイズレベルであると判定できる数値とするのが目安となる。なお、上記のような閾値を用いた判定処理を用いず、または併用して実際の各画像を観察して画像の主観的な評価を行なって判定する構成としてもよい。

次に、図１０を参照して、具体的な輝度変化画素の検出処理例について説明する。図１０（Ａ）は、長時間露光期間（ｔ０〜ｔ３）における被写体の移動状態を示している。明るい背景において、暗い四角形状の被写体３５１が横方向に動き、被写体３５２の位置に移動した場合を示している。

図１０（Ｂ）は、上述した画像解析部３０２において実行する、
（ａ）被写体の輝度が高輝度から低輝度へと変化する画素位置の検出処理、
（ｂ）被写体の輝度が低輝度から高輝度へと変化する画素位置の検出処理、
これらの検出処理の処理結果として検出された検出結果を示している。

図１０（Ｂ）の各升目は画素に相当する。図１０（Ａ）に示す被写体３５１は輝度レベルが低いため、進行方向にある領域３６２に相当する領域の撮像画素は、輝度が高輝度から低輝度へと変化する。この画素領域は、前述の
（ａ）被写体の輝度が高輝度から低輝度へと変化する画素位置の検出処理、
すなわち、
［判定条件１：短時間露光画像２１２から有効な出力値が得られ、長時間露光画像２１１からも有効な出力値が得られている］
上記判定条件を満足するか否かの判定処理によって検出される。上記判定条件を満足する画素位置は、図１０（Ｂ）に示す画素位置３７２となる。

また、図１０（Ａ）に示す被写体３５１は輝度レベルが低いため、進行方向の後方となる領域３６１に相当する領域に対応する撮像画素は、輝度が低輝度から高輝度へと変化する。この画素領域は、前述の
（ｂ）被写体の輝度が低輝度から高輝度へと変化する画素位置の検出処理、
すなわち、
［判定条件２：長時間露光画像２１１の画素値が飽和しており、短時間露光画像２１２からも有効な出力値が得られていない］
か否かを判定し、上記［判定条件２］を満足する場合、その画素を、
上記判定条件を満足するか否かの判定処理によって検出される。上記判定条件を満足する画素位置は、図１０（Ｂ）に示す画素位置３７１となる。

このように、図８に示す画像処理部の画像解析部３０２は、長時間露光画像２１１の画素値と、短時間露光画像２１２の画素値に基づいて、
（ａ）被写体の輝度が高輝度から低輝度へと変化する画素位置、
（ｂ）被写体の輝度が低輝度から高輝度へと変化する画素位置、
これらの画素位置の検出処理を実行する。

なお、画像解析部３０２におけるこれらの画素位置検出は、用いる固体撮像素子が先に図７を参照して説明したようなカラー単板式であれば、画素値の補間処理を実行していないモザイクデータ（ロウデータ）を入力して行なってもよいし、画素値補間を行った後のデモザイクデータを入力して行なってもよい。ただし、解析に利用する長時間露光画像２１１と短時間露光画像２１２の組み合わせは、モザイクデータ同士、あるいはデモザイクデータ同士に揃えることが必要である。

次に、図８に示す画像処理部２０３の画素値補正部３０３の実行する画素値補正処理について説明する。画素値補正部３０３は、画像解析部３０２が検出した以下の画素位置、すなわち、
（ａ）被写体の輝度が高輝度から低輝度へと変化する画素位置、
（ｂ）被写体の輝度が低輝度から高輝度へと変化する画素位置、
これらの画素位置にある画素の画素値補正を実行する。

先に説明した本出願人と同一出願人による特許出願［特願２００６−２８０９５９］においても開示している手法では、長時間露光画像と短時間露光画像の２種類の画像を入力し、例えば図５に示す閾値輝度レベル２５３未満の暗い被写体部分を撮影した画素については長時間露光画像２１１を適用して画素値を決定し、閾値輝度レベル２５３以上の明るい被写体部分を撮影した画素については、短時間露光画像２１２を適用して画素値を決定するという二者択一の処理、すなわち、長時間露光画像２１１の画素値または短時間露光画像２１２の画素値のいずれかを選択的に利用して合成画像を生成するという処理を行なう構成としていた。なお、この処理によって得られる合成画像を、以下、「広ダイナミックレンジ画像」と呼ぶ。

しかし、このような処理を行なって生成した「広ダイナミックレンジ画像」は、図９を参照して説明したように、
（ａ）被写体の輝度が高輝度から低輝度へと変化する画素位置、
（ｂ）被写体の輝度が低輝度から高輝度へと変化する画素位置、
これらの画素位置にある画素の画素値が誤った画素値となり、画素の階調不良や偽色の発生した画像となる。本発明に従った画像処理では、画像処理部２０３の画素値補正部３０３において、このような画素の補正を実行して、画素の階調不良や偽色の発生を抑制して高品質な画像を生成する。

画素値補正部３０３は、画像解析部３０２が検出した、
（ａ）被写体の輝度が高輝度から低輝度へと変化する画素位置、
（ｂ）被写体の輝度が低輝度から高輝度へと変化する画素位置、
これらの画素位置にある画素の画素値を補正画素値に置き換える画素値補正処理を行なう。画素値補正処理の実行にあたって考慮する事実として以下の事実がある。

画素値解析部３０２が検出した輝度変化を発生させている画素位置の被写体は、動いている可能性が高いため、画像の高周波成分は重要ではなく、ぼやけた画像としても不自然ではない。この推定に基づいて、画素値補正部３０３は、長時間露光画像２１１の画素値または短時間露光画像２１２の画素値のいずれかを選択的に利用して合成した「広ダイナミックレンジ画像」からぼやけた画像データを作り上げ、これを利用して、輝度変化発生画素位置の画素値を設定する。

画像のぼかし処理には、例えば一般的なローパスフィルタ（ＬＰＦ）を適用する。図１１に適用可能なローパスフィルタ（ＬＰＦ）の２つの例を示す。図１１（Ａ）はサイズ５×５画素の単純な平滑化フィルタであり、例えば、中央の注目画素３８１の画素の画素値を周囲５×５画素の各画素値を均等に１／２５ずつ加算して設定する処理を行なうフィルタである。図１１（Ｂ）はサイズ５×５画素の重み付けフィルタであり、例えば、中央の注目画素３８２の画素の画素値を周囲５×５画素の各画素値を位置に応じた重み１／４５〜５／４５をつけて加算して設定する処理を行なうフィルタである。

なお、適用するフィルタのサイズ（タップ数）に関しては、画像をぼかすのが目的であるため、輝度変化を撮像した画素の２次元的な広がりを考慮する。例えば、図１０のように、輝度変化画素が検出された場合、輝度変化画素領域の長辺側は４画素あるため、このサイズ以上として、５タップ程度あれば良い。ただし、これが５タップ以上であれば、７タップや９タップとなっても最終結果にはそれほど大きな影響はない。検出画素サイズはあくまでも目安である。

以上のような置き換え処理は、用いる固体撮像素子がカラー単板式であればモザイクデータ（ロウデータ）に対して処理しても良いし、画素補間を行った後に処理しても良い。

画素値補正部３０３の詳細構成および処理について、図１２を参照して説明する。画素値補正部３０３は、図４に示す撮像デバイスの生成する２つの露光時間の異なる画像データである長時間露光画像２１１、短時間露光画像２１２は、輝度変化画素の検出処理を実行する画像解析部３０２と、画素値補正部３０３の画像合成部３９１に入力される。

画像解析部３０２は、上述したように、長時間露光画像２１１の画素値と、短時間露光画像２１２の画素値に基づいて、
（ａ）被写体の輝度が高輝度から低輝度へと変化する画素位置、
（ｂ）被写体の輝度が低輝度から高輝度へと変化する画素位置、
これらの画素位置の検出処理を実行する。これらの検出画素位置情報は、画素値補正部３０３の出力画像生成部３９３に入力される。

画素値補正部３０３の画像合成部３９１は、長時間露光画像２１１と、短時間露光画像２１２とに基づく合成画像を生成する。すなわち、先に説明した本出願人と同一出願人による特許出願［特願２００６−２８０９５９］においても開示している手法により、例えば図５に示す閾値輝度レベル２５３未満の暗い被写体部分を撮影した画素については長時間露光画像２１１を適用して画素値を決定し、閾値輝度レベル２５３以上の明るい被写体部分を撮影した画素については、短時間露光画像２１２を適用して画素値を決定するという二者択一の処理により広ダイナミックレンジ画像３９０を生成する。

なお、前述したように、この合成処理において生成する広ダイナミックレンジ画像３９０の各画素の画素値は、同一時間露光を行なった場合の推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値を算出して、算出した結果に基づいて画素値レベルを決定する。例えば長時間露光時間を［１］とした場合に、短時間露光時間が［０．１］である場合、
短時間露光画像２１２の画素値を有効画素値として選択する画素については、短時間露光画像２１２の画素値を１０倍にして広ダイナミックレンジ画像３９０の画素値とする。長時間露光画像２１１の対応画素位置の画素値は破棄する。
一方、長時間露光画像２１１の画素値を有効画素値として選択する画素については、長時間露光画像２１１の画素値をそのまま広ダイナミックレンジ画像３９０の画素値とする。短時間露光画像２１２の対応画素位置の画素値は破棄する。
このような処理によって、長時間露光画像２１１と、短時間露光画像２１２とに基づく合成画像としての広ダイナミックレンジ画像３９０を生成する。生成した広ダイナミックレンジ画像３９０を中間画像生成部３９２、および出力画像生成部３９３に入力する。

中間画像生成部３９２は、例えば図１１を参照して説明したローパスフィルタ（ＬＰＦ）を適用し、広ダイナミックレンジ画像３９０からぼやけた中間画像データを生成する。例えば、図１１（Ａ）に示す平滑化フィルタ、図１１（Ｂ）に示す重み付けフィルタなどを適用して、広ダイナミックレンジ画像３９０からぼやけた中間画像データを生成する。フィルタのサイズ（タップ数）に関しては、画像をぼかすのが目的であるため、画像解析部３０２の検出する輝度変化画素領域の２次元的な面積程度の大きさでよい。生成した中間画像は出力画像生成部３９３に入力される。

出力画像生成部３９３は、
画像合成部３９１から広ダイナミックレンジ画像３９０、
中間画像生成部３９２からぼかし画像としての中間画像データ、
画像解析部３０２から輝度変化画素位置情報、
これらの各データを入力する。

出力画像生成部３９３は、これらの入力データに基づいて出力画像３９５を生成する。画像解析部３０２から入力する輝度変化画素位置以外の画素については、広ダイナミックレンジ画像３９０の画素値を出力画像３９５の画素値として設定する。一方、画像解析部３０２から入力する輝度変化画素位置に対応する画素の画素値は、画像合成部３９１から入力する広ダイナミックレンジ画像３９０と、中間画像生成部３９２から入力するぼかし画像である中間画像データとの対応画素位置の画素値に基づいて決定する。

例えば、輝度変化画素位置に対応する
広ダイナミックレンジ画像の画素値を［Ｄｖ］、
ぼかし画像としての中間画像の画素値を［Ｍｖ］、
としたとき、係数ａ，ｂを適用し、出力画像３９５の対応画素位置の画素値［Ｒｖ］を、
［Ｒｖ］＝ａ×［Ｄｖ］＋ｂ×［Ｍｖ］
として算出する。
ただし、ａ＋ｂ＝１である。

このように、広ダイナミックレンジ画像の画素値［Ｄｖ］と、ぼかし画像としての中間画像の画素値［Ｍｖ］とを予め設定した比率ａ：ｂでミックスして出力画像の画素値［Ｒｖ］を決定する。ａおよびｂはそれぞれの比率を設定するパラメータであるが、この値は、用いる撮像素子の特性や、得られる結果画像の主観評価によって任意に調節する。例えば、ａ＝０．２、ｂ＝０．８のように設定する。

なお、出力画像３９５の画素値の算出に際しては、広ダイナミックレンジ画像と、広ダイナミックレンジ画像から生成したぼかし画像である中間画像を適用するが、これらの画像は、例えば、Ｒ、Ｇ、Ｂからなる単板撮像素子を用いて得られる画像によって生成された画像であってもよいし、ＲＧＢデータの変換によって得られる輝度信号Ｙと色差信号ＣｂＣｒからなるＹＣｂＣｒデータとした後の画像データを対象としてＹ、Ｃｂ、Ｃｒ各信号毎に出力信号値を算出する構成としてもよい。

また、出力画像の画素値［Ｒｖ］の算出において、広ダイナミックレンジ画像の画素値［Ｄｖ］と、広ダイナミックレンジ画像から生成したぼかし画像である中間画像の対応画素の画素値［Ｍｖ］とを予め設定した配分比率で加算し合成（ミックス）する、すなわち、
［Ｒｖ］＝ａ×［Ｄｖ］＋ｂ×［Ｍｖ］
によって決定する際に利用するパラメータａ，ｂについては、輝度信号Ｙと色差信号とに分けた状態で演算しても良い。パラメータａ，ｂについては、Ｒ、Ｇ、Ｂ毎に変更する設定や、Ｙ、Ｃｂ、Ｃｒ毎に変更する設定としてもよい。

中間画像生成部３９２の生成するぼかし画像としての中間画像データは、例えば図１１を参照して説明したようなローパスフィルタにより、周囲の画素情報が加わってぼかされた画像となっており、画像解析部３０２の検出した輝度変化画素位置領域においても、元の階調が残っており、また、広ダイナミックレンジ画像に含まれる可能性のある誤った輝度、偽色も周囲の画素値と混合されることで薄まった状態となっている。従って、輝度変化画素位置の画素の画素値を、このぼかし画像としての中間画像データと、広ダイナミックレンジ画像を混合して決定することで、本来の被写体の画素値と大きなずれを発生させることなく破綻のない出力画像を生成することが可能となる。

以上、説明したように本発明の構成によれば、長時間露光画像と短時間露光画像を入力して、両画像から広ダイナミックレンジ画像を生成する処理において、被写体の移動などに起因する輝度変化画素の画素値を、広ダイナミックレンジ画像と、広ダイナミックレンジ画像から生成したぼかし画像を適用して決定する構成としたので、動く被写体などによって出現する階調不良、偽色を低減した高品質な出力画像を生成することが可能となる。

［実施例２］
次に、本発明の実施例２の構成として、輝度変化画素の誤検出を防止した構成例について説明する。実施例２において、実施例１と異なる点は、画像処理部２０３における画像解析部３０２の構成である。他の構成は、実施例１と同様であり、全体構成は、実施例１で説明した図４と同様の構成であり、画像処理部２０３も基本的には図８を参照して説明した構成を有し、画像処理部２０３内の画素値補正部３０３も図１２を参照して説明したと同様の構成である。

実施例２は、画像処理部２０３における画像解析部３０２の処理が実施例１と異なり、輝度変化画素の検出処理における誤検出を防止した構成を持つ。輝度変化画素の誤検出について図１３を参照して説明する。

図１３は、先の実施例１において輝度変化画素の検出処理例として説明した図１０の（Ｂ）検出結果と同様、画像解析部３０２における輝度変化画素の検出処理の結果を示している。図１３には、検出された輝度変化画素４０１〜４０４を示している。

画像解析部３０２は、前述したように、
（ａ）被写体の輝度が高輝度から低輝度へと変化する画素位置の検出処理、
（ｂ）被写体の輝度が低輝度から高輝度へと変化する画素位置の検出処理、
これらの輝度変化画素の検出を行なう。
（ａ）被写体の輝度が高輝度から低輝度へと変化する画素位置の検出処理、
においては、
［判定条件１：短時間露光画像２１２から有効な出力値が得られ、長時間露光画像２１１からも有効な出力値が得られている］
か否かに基づく判定処理を実行し、
（ｂ）被写体の輝度が低輝度から高輝度へと変化する画素位置の検出処理、
においては、
［判定条件２：長時間露光画像２１１の画素値が飽和しており、短時間露光画像２１２からも有効な出力値が得られていない］
か否かに基づく判定処理を実行する。

しかし、このような判定処理によって輝度変化画素の検出を実行すると、例えば図１３に示すような輝度変化画素４０１〜４０４が検出される。例えば被写体の移動などによって、撮影期間中（長時間露光期間中）に被写体の輝度変化が発生した場合は、ある程度の画素の塊として輝度変化画素４０１のように検出される。一方、画素の製造上のバラツキや、素子の駆動条件のバラツキ（例えば中間電位など）などに起因して、誤検出が発生する。このような誤検出の多くは、図１３に示す輝度変化画素４０２〜４０４のように単体の輝度変化画素として発生する。

実施例２では、画像処理部２０３の画像解析部３０２において、被写体の輝度変化に基づいて検出される正しい輝度変化画素（例えば図１３に示す輝度変化画素４０１）と、画素の製造上のバラツキや、素子の駆動条件のバラツキなどに起因する誤検出された輝度変化画素（例えば図１３に示す輝度変化画素４０２〜４０４）とを区別して正しい輝度変化画素のみを抽出する。

この識別処理を行なうための画像解析部３０２の構成例について図１４を参照して説明する。本実施例において、画像解析部３０２は、図１４に示すように輝度変化画素検出部４２１、画像変換部４２２、輝度変化画素選択部４２３を有する。輝度変化画素検出部４２１では、実施例１と同様、長時間露光画像２１１と、短時間露光画像２１２とを入力して、前述の判定条件１，２に基づいて、
（ａ）被写体の輝度が高輝度から低輝度へと変化する画素位置の検出処理、
（ｂ）被写体の輝度が低輝度から高輝度へと変化する画素位置の検出処理、
これらの輝度変化画素の検出を行なう。

この検出結果として、図１３に示すような検出結果画像を生成する。検出結果画像は、輝度変化画素検出部４２１において検出された輝度変化画素を［１］、その他の画素［０］とした画像として設定する。例えば０〜２５５の画素値レベルとして表記した場合には、輝度変化画素を［０］、その他の画素［２５５］とする設定である。

画像変換部４２２は、この検出結果画像を入力しフィルタを適用したフィルタリング処理を実行する。具体的な処理について図１５を参照して説明する。図１５に示すように、輝度変化画素を１とし、それ以外の画素を０とした検出結果画像４３１に対して、３タップの平滑化フィルタ４３２をかける。これにより、３×３のエリアが画素値［０．１１］となるフィルタ結果４３３を生成する。

図１５に示す例は、単一の孤立した輝度変化画素が検出された領域に対応するフィルタリング処理例を示しており、単一の孤立した輝度変化画素の検出領域に対するフィルタリング結果は、図１５に示す３×３のエリアが画素値０．１１となるフィルタ結果４３３となる。

被写体の移動などに基づく被写体の輝度変化が発生している場合に検出される輝度変化画素は、複数の画素がある程度の塊で存在する。このような領域に対して、図１５に示す平滑化フィルタ４３２を適用すると、フィルタ結果は、図１５に示す３×３のエリアが画素値０．１１となるフィルタ結果４３３とはならず、０．１１よりも画素値が大きくなる結果が得られる。

画像変換部４２２のフィルタ結果は、輝度変化画素選択部４２３に入力される。輝度変化画素選択部４２３では、フィルタ結果に含まれる各画素の画素値に基づいて、正当な輝度変化画素、すなわち被写体の輝度変化に基づいて検出された輝度変化画素と、それ以外の例えばデバイスエラーなどに基づく誤検出輝度変化画素とを判別する。具体的にはフィルタ結果に含まれる各画素の画素値に［０．１１］以下の画素値が検出された場合、これらを誤検出輝度変化画素として判定する。

このようにして、誤検出輝度変化画素を排除して、正当な輝度変化画素、すなわち被写体の輝度変化に基づいて検出された輝度変化画素の画素位置情報のみを抽出して、画素値補正部３０３に出力する。このような処理を実行することで、画素の製造上のバラツキや、素子の駆動条件のバラツキ（例えば中間電位など）などに起因して発生する、誤検出画素を排除し、被写体に起因する正当な輝度変化画素のみの位置情報を画素値補正部３０３に出力することが可能となる。

なお、図１５では、孤立した輝度変化画素を除去する手法として、輝度変化画素選択部４２３が、フィルタ結果に含まれる画素値［０．１１］を閾値として用いて、画素値［０．１１］以下の画素を誤検出領域として判断する処理例を説明したが、例えば輝度変化画素が２つ程度並んでいる場合も除去したい場合には、輝度変化画素選択部４２３が、用いる閾値を変更すればよい。すなわち、［０．１１］よりやや大きめの閾値をもちいれば、２つ程度の輝度変化画素領域の並びについても除去可能となる。

次に、正当な輝度変化画素、すなわち被写体の移動などによって、撮影期間中（長時間露光期間中）に被写体の輝度変化が発生した画素領域である正当な輝度変化画素の検出漏れの防止処理について説明する。この処理を実行する構成も、図１４に示す画像解析部の構成によって実行される。ただし、画像変換部４２２において適用するフィルタが上述の誤検出輝度変化画素の除去に用いたフィルタとは異なる。

例えば、輝度変化画素検出部４２１は、例えば図１３に示す検出結果を出力するが、図１３に示す検出結果に含まれる輝度変化画素４０１が正しい検出画素とした場合、検出漏れは、主にこの正しい輝度変化画素４０１の周囲に発生する。また、上記のように、誤検出画素の除去を行った場合、正しい輝度変化画素４０１の領域が狭くなる可能性がある。すなわち、図１５を参照して説明したフィルタ４３２を適用したフィルタリング処理を実行すると、正しい輝度変化画素４０１の領域が狭くなるフィルタ結果が生成されてしまい、輝度変化画素選択部４２３において、実際の正しい輝度変化画素４０１の領域より狭い領域のみを正しい輝度変化画素であると判断する可能性がある。

このような検出漏れを防止するため、正しい輝度変化画素４０１を広げる処理を行う。この処理には、図１６に示すようなフィルタ４４２を利用する。図１５を参照して説明したと同様、輝度変化画素を１とし、それ以外の画素を０とした検出結果画像４４１に対して、３タップのフィルタ４４２をかける。これにより、３×３のエリアが画素値［１］となるフィルタ結果４４３を生成する。

図１６に示す例は、３タップのフィルタをかけ、中央の画素の画素値を１画素分周囲に広げる処理となる。何画素分広げるかは、検出時の条件設定により任意に決める。広げるサイズは、タップ数に相当する。

画像変換部４２２のフィルタ結果は、輝度変化画素選択部４２３に入力される。輝度変化画素選択部４２３では、フィルタ結果に含まれる各画素の画素値に基づいて、正当な輝度変化画素、すなわち被写体の輝度変化に基づいて検出された輝度変化画素を検出する。具体的にはフィルタ結果に含まれる各画素の画素値が［１］である場合、これらを正当な検出輝度変化画素として判定する。

また、輝度変化画素選択部４２３では、画像変換部４２２のフィルタ結果に基づいて正当な輝度変化画素位置を検出するとともに、フィルタ適用前のオリジナルの検出結果情報を入力して輝度変化画素位置を検出し、これらの２つの検出情報を区別して保持し、これらを、
（１）オリジナルの検出結果に基づく輝度変化画素位置情報、
（２）フィルタ結果に基づく輝度変化画素位置情報、
として、それぞれ画素値性部３０３に出力し、画素値補正部において、これらの情報に基づいてフィルタで広げた輝度変化画素と、最初に検出された輝度変化画素とで、前述した出力画像の生成において適用するパラメータの値を変える設定としてもよい。すなわち、前述したように、
広ダイナミックレンジ画像の画素値を［Ｄｖ］、
ぼかし画像としての中間画像の画素値を［Ｍｖ］、
としたとき、係数ａ，ｂを適用し、出力画像３９５の対応画素位置の画素値［Ｒｖ］を、
［Ｒｖ］＝ａ×［Ｄｖ］＋ｂ×［Ｍｖ］
として算出するが、
例えば、フィルタ適用前の最初に検出された輝度変化領域の画素の画素値決定に際しては、ａ＝０．２、ｂ＝０．８とし、
フィルタを適用して新たに検出された輝度変化領域の画素の画素値決定に際しては、ａ＝０．４、ｂ＝０．６とするといった設定により、出力画像をより滑らかな自然な画像とすることが可能となる。

なお、図１５を参照して説明したフィルタ４３２を適用したフィルタリング処理を実行して、輝度変化画素選択部４２３で誤検出画素を排除した後、その後に図１６を参照して説明したフィルタ４４２を適用したフィルタリング処理を実行して、輝度変化画素選択部４２３で正しい輝度変化画素の選択を行なう構成としてもよいし、いずれか一方の処理のみを実行する構成としてもよい。

［実施例３］
次に、本発明の画像処理の実施例３として、実施例１において説明した図１２に示す画素値補正部３０３中の中間画像生成部（ぼかし処理）３９２において実行していたぼかし画像の生成処理を変更した例について説明する。

実施例１では、図１２に示す画素値補正部３０３中の中間画像生成部（ぼかし処理）３９２では、図１２を参照して説明したように広ダイナミックレンジ画像３９０を入力し、例えば図１１（Ａ），（Ｂ）に示すローパスフィルタを用いて、ぼかした画像の生成処理を実行していた。

しかし、被写体の動きが大きい場合などは、フィルタのタップ数を大きく設定することが必要となり、ハードウェアへの実装が困難となる場合がある。そこで、本実施例では、ぼかし画像の生成を画像の縮小、拡大によって実行する。すなわち、画像の縮小処理によって情報量を削減して、削減データからなる画像を再度、拡大することで、ぼかし処理と同様の効果をもたらすものである。縮小拡大処理には、例えばバイリニア（双一次補間）処理を適用する。

図１７を参照して、本実施例に係る画素値補正部３０３の構成および処理について説明する。本実施例に係る画素値補正部３０３は、実施例１において図１２を参照して説明した画素値補正部３０３中の中間画像生成部３９２の構成を変更したものである。

中間画像生成部３９２は、広ダイナミックレンジ画像３９０を入力して縮小処理を実行する画像縮小部５０１、画像縮小部５０１の生成した縮小画像を格納するメモリ５０２、縮小画像をメモリ５０２から取り出して拡大処理を実行する画像拡大部５０３を有する。

画像縮小部５０１は、広ダイナミックレンジ画像３９０を入力してバイリニア（双一次補間）処理により、例えば縦横を１／１６（面積１／２５６）の縮小画像を生成してメモリ５０２に保存する。画像拡大部５０３は、メモリ５０２に保存された縮小画像を取り出してバイリニア（双一次補間）処理により拡大する。なお、この拡大画像は、広ダイナミックレンジ画像３９０をぼかしたデータとなる。

なお、ぼかし画像データが必要となる画像部分は、出力画像生成部３９３において、ぼかし画像の画素値を利用する輝度変化画素の位置のみであるので、画像拡大部５０３は、メモリ５０２に保存された縮小画像に対する拡大処理を実行する画像領域を輝度変化画素の位置を含む限定領域として部分的な画像を生成してもよい。この場合、画像解析部３０２から輝度変化画素位置情報を入力し、この入力情報に基づいて拡大処理の実行領域を決定して部分的な拡大処理を実行して、生成した拡大画像（ぼかし画像）を出力画像生成部３９３に出力する。

［実施例４］
上述した実施例では、中間画像生成部（ぼかし処理）３９２において、広ダイナミックレンジ画像のぼかし画像の生成を行う際、例えば図１１（Ａ），（Ｂ）に示すローパスフィルタ、あるいは上述したように、画像の縮小、拡大処理を行なうことを説明した。

しかし、撮影の環境（光源、被写体の色、被写体の速度）によっては、動被写体のエリアに彩度の高い偽色が発生し、ぼかした画像においてもその色が目立つような状況がある。これを回避するための構成例を実施例４として説明する。

実施例４に係る画素値補正部３０３の構成例を図１８に示す。本実施例に係る画素値補正部３０３は、実施例１において図１２を参照して説明した画素値補正部３０３中の中間画像生成部３９２の前段に画像補正部（彩度低下処理）５２１を追加したものである。

画像補正部（彩度低下処理）５２１は、広ダイナミックレンジ画像３９０を入力し、彩度低下処理を実行し、彩度低下処理を施した画像を中間画像生成部３９２に入力する。中間画像生成部３９２は彩度低下画像のぼかし処理を実行してぼかし画像を生成する。

画像補正部（彩度低下処理）５２１は、広ダイナミックレンジ画像３９０の彩度を落とす処理を行う。広ダイナミックレンジ画像３９０をＹＣｂＣｒなどの、輝度と色差信号に分け、輝度変化画素の領域のみ、色差信号を低下させる処理を行う。画像解析部３０２から輝度変化画素位置情報を入力し、この入力情報に基づいて輝度変化画素の領域のみ、色差信号を低下させる。

色差信号の低下の割合の一例を図１９に示す。図１９は横軸が入力画像、すなわち広ダイナミックレンジ画像３９０の色差信号ＣｂＣｒの絶対値であり、縦軸が、画像補正部（彩度低下処理）５２１における彩度低下処理結果画像の色差信号ＣｂＣｒの絶対値を示している。この図に示すように広ダイナミックレンジ画像３９０の色差信号ＣｂＣｒの絶対値が０〜Ｖａの区間領域において彩度を低下させる。どの程度の彩度領域でこのような処理を行うかは、撮像素子や撮影条件によって異なるため、それぞれの撮像システムにおいて最適化して実行する。

中間画像生成部３９２は、このような彩度低下画像のぼかし処理を実行してぼかし画像を生成する。このようにぼかし画像の生成前に彩度低下処理を実行することで、動被写体のエリアに彩度の高い偽色が発生しているような場合でも、ぼかした画像においてその色が目立つような状況を低減することが可能となり、最終的な出力画像においても偽色の影響を低減できる。

［実施例５］
実施例５は、出力画像に対する最終的な処理として、ローパスフィルタを作用させる処理を追加した実施例である。本実施例に係る画素値補正部３０３の構成例を図２０に示す。本実施例に係る画素値補正部３０３は、実施例１において図１２を参照して説明した画素値補正部３０３中の出力画像生成部３９３の後段に画像補正部（ローパスフィルタ）５４１を追加したものである。

出力画像生成部３９３では、先に実施例１において説明したように、
画像合成部３９１から広ダイナミックレンジ画像３９０、
中間画像生成部３９２からぼかし画像としての中間画像データ、
画像解析部３０２から輝度変化画素位置情報、
これらの各データを入力し、
画像解析部３０２から入力する輝度変化画素位置以外の画素については、広ダイナミックレンジ画像３９０の画素値を出力画像３９５の画素値として設定とし、画像解析部３０２から入力する輝度変化画素位置に対応する画素の画素値は、画像合成部３９１から入力する広ダイナミックレンジ画像３９０と、中間画像生成部３９２から入力するぼかし画像である中間画像データとの対応画素位置の画素値に基づいて決定する。すなわち、輝度変化画素位置に対応する
広ダイナミックレンジ画像の画素値を［Ｄｖ］、
ぼかし画像としての中間画像の画素値を［Ｍｖ］、
としたとき、係数ａ，ｂを適用し、出力画像の対応画素位置の画素値［Ｒｖ］を、
［Ｒｖ］＝ａ×［Ｄｖ］＋ｂ×［Ｍｖ］
として算出して出力が蔵の画素値を決定する。

しかし、このような出力画像生成部３９３の生成した画像は、画素値の置き換えを行った画素領域や、置き換えを行っていない領域との境界で不自然な階調となることがある。そこで、画像補正部（ローパスフィルタ）５４１は、出力画像生成部３９３の生成したこの画像に対して、ローパスフィルタを施して最終的な出力画像の生成を行う。

なお、画像補正部（ローパスフィルタ）５４１において適用するフィルタの形状は、先に図１１を参照して説明したフィルタと同様のフィルタでよい。すなわち、図１１（Ａ）に示す平滑化フィルタや、図１１（Ｂ）に示す重み付けフィルタなどを適用する。なお、フィルタのサイズ（タップ数）としては、置き換えが行われた画素領域やそれより少し大きめの領域を含むことが可能なサイズとすることが好ましい。画像解析部３０２から入力する輝度変化画素位置情報を入力して、適用するフィルタのサイズ（タップ数）を決定して処理を行なう構成とすることが好ましい。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成によれば、長時間露光画像および短時間露光画像を入力して、それぞれの有効な画素値を選択的に組み合わせた広ダイナミックレンジ画像を生成する処理において、長時間露光時間に相当する撮影期間において輝度変化が発生したと判断される輝度変化画素を検出し、この輝度変化画素の画素値を置き換える画像補正処理を行う構成とした。具体的には、広ダイナミックレンジ画像に基づいてぼかし画像を生成し、生成したぼかし画像と広ダイナミックレンジ画像における輝度変化画素の画素位置に対応するそれぞれの画素値を適用して出力画像の画素値を決定する構成とした。この構成により、被写体の移動などによって発生する輝度変化画素の階調不良や偽色の発生が防止され、自然な見た目の高品質画像の出力が可能となる。

撮像デバイスの回路構成例を示す図である。 撮像デバイスの出力処理例を説明する図である。 撮像デバイスの入射光強度と出力電子数の関係を示す図である。 本発明の画像処理装置の一構成例を示す図である。 長時間露光画像と、短時間露光画像の２種類の画像の生成処理について説明する図である。 長時間露光画像と、短時間露光画像の２種類の画像の生成処理における被写体輝度の変化の影響について説明する図である。 一般的なカラーフィルタで用いられる色配列としてのベイヤー配列の例について説明する図である。 画像処理部２０３の構成例について説明する図である。 画像処理部２０３における具体的な処理例について説明する図である。 具体的な輝度変化画素の検出処理例について説明する図である。 画像のぼかし処理に適用するローパスフィルタ（ＬＰＦ）の例について説明する図である。 画素値補正部３０３の詳細構成および処理について説明する図である。 輝度変化画素の誤検出について説明する図である。 実施例２に係る画像解析部３０２の構成および処理について説明する図である。 実施例２に係る画像解析部３０２の実行するフィルタリング処理について説明する図である。 実施例２に係る画像解析部３０２の実行するフィルタリング処理について説明する図である。 実施例３に係る画素値補正部３０３の構成および処理について説明する図である。 実施例４に係る画素値補正部３０３の構成および処理について説明する図である。 実施例４に係る画素値補正部３０３の実行する彩度低下処理について説明する図である。 実施例５に係る画素値補正部３０３の構成および処理について説明する図である。

符号の説明

１００ 画素
１０１ フォトダイオード
１０２ 転送トランジスタ
１０３ リセットトランジスタ
１０４ 増幅トランジスタ
１０５ 選択トランジスタ
２０１ 光学レンズ
２０２ 撮像デバイス
２０３ 画像処理部
２１１ 長時間露光画像
２１２ 短時間露光画像
３０１ 画像入力部
３０２ 画像解析部
３０３ 画素値補正部
３５１，３５２ 被写体
３９０ 広ダイナミックレンジ画像
３９１ 画像合成部
３９２ 中間画像生成部
３９３ 出力画像生成部
３９５ 出力画像
４２１ 輝度変化画素検出部
４２２ 画像変換部
４２３ 輝度変化画素選択部
４３１ 検出結果
４３２ フィルタ
４３３ フィルタ結果
４４１ 検出結果
４４２ フィルタ
４４３ フィルタ結果
５０１ 画像縮小部
５０２ メモリ
５０３ 画像拡大部
５２１ 画像補正部
５４１ 画像補正部

Claims (27)

1. 長時間露光画像および短時間露光画像を入力する画像入力部と、
   前記長時間露光画像および短時間露光画像の画素値解析により長時間露光時間に相当する撮影期間において輝度変化が発生したと判断される輝度変化画素を検出する画像解析部と、
   前記画像解析部の解析した輝度変化画素の画素値を補正する処理を実行する画素値補正部を有し、
   前記画素値補正部は、
   前記長時間露光画像および短時間露光画像の画素値を選択的に組み合わせた合成画像を生成する合成画像生成部と、
   前記合成画像のぼかし画像を生成する中間画像生成部と、
   前記画像解析部の解析した輝度変化画素の画素値を、前記合成画像と中間画像における対応画素位置の画素値を適用して算出して決定する出力画像生成部と、
   を有する構成であることを特徴とする画像処理装置。
2. 前記出力画像生成部は、
   前記合成画像の前記輝度変化画素に対応する位置の画素値を［Ｄｖ］、
   前記中間画像の前記輝度変化画素に対応する位置の画素値を［Ｍｖ］、
   としたとき、係数ａ，ｂ（ただし、ａ＋ｂ＝１）を適用し、出力画像の対応画素位置の画素値［Ｒｖ］を、
   ［Ｒｖ］＝ａ×［Ｄｖ］＋ｂ×［Ｍｖ］
   として算出する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像解析部は、
   前記短時間露光画像から有効な出力値が得られ、前記長時間露光画像からも有効な出力値が得られている画素位置の検出を実行して、検出された画素位置にある画素を輝度が高輝度から低輝度へと変化した輝度変化画素であると判定する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
4. 前記画像解析部は、
   前記長時間露光画像の画素値が飽和しており、前記短時間露光画像から有効な出力値が得られていない画素位置の検出を実行して、検出された画素位置にある画素を輝度が低輝度から高輝度へと変化した輝度変化画素であると判定する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
5. 前記画像解析部は、
   前記輝度変化画素の検出結果に基づく検出結果画像に対して平滑化フィルタを適用した画像変換を実行し、変換結果画像に基づいて誤って検出された輝度変化画素を排除する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
6. 前記画像解析部は、
   前記輝度変化画素の検出結果に基づく検出結果画像に対してフィルタを適用した画像変換を実行し、輝度変化画素領域を拡大する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
7. 前記出力画像生成部は、
   前記合成画像の前記輝度変化画素に対応する位置の画素値を［Ｄｖ］、
   前記中間画像の前記輝度変化画素に対応する位置の画素値を［Ｍｖ］、
   としたとき、係数ａ，ｂ（ただし、ａ＋ｂ＝１）を適用し、出力画像の対応画素位置の画素値［Ｒｖ］を、
   ［Ｒｖ］＝ａ×［Ｄｖ］＋ｂ×［Ｍｖ］
   として算出する処理を実行する構成であり、
   前記合成画像に基づいて検出された輝度変化画素領域の画素値算出に適用する係数ａ_１，ｂ_１と、
   前記フィルタを適用して新たに出現した拡大された輝度変化画素領域の画素値算出に適用する係数ａ_２，ｂ_２とを異なる値に設定して画素値算出処理を実行することを特徴とする請求項６に記載の画像処理装置。
8. 前記中間画像生成部は、
   前記合成画像に対して平滑化フィルタを適用してぼかし画像を生成する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
9. 前記中間画像生成部は、
   前記合成画像に対して縮小処理および拡大処理を実行してぼかし画像を生成する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
10. 前記画素値補正部は、さらに、
    前記合成画像生成部の生成した合成画像の彩度低下処理を実行する画像補正部を有し、
    前記中間画像生成部は、前記画像補正部の生成した再度低下画像を入力してぼかし画像を生成する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
11. 前記画素値補正部は、さらに、
    前記出力画像生成部の生成した画像に対してローパスフィルタを施す画像補正処理を実行する画像補正部を有することを特徴とする請求項１に記載の画像処理装置。
12. 前記短時間露光画像を生成する際の露光期間は、前記長時間露光画像を生成する際の露光期間内にあり、前記短時間露光画像、および前記長時間露光画像は単一の撮像素子によって同一の画素からそれぞれ生成された画像であることを特徴とする請求項１〜１１いずれかに記載の画像処理装置。
13. 長時間露光画像および短時間露光画像を生成する撮像デバイスと、
    前記長時間露光画像および短時間露光画像の画素値解析により長時間露光時間に相当する撮影期間において輝度変化が発生したと判断される輝度変化画素を検出する画像解析部と、
    前記画像解析部の解析した輝度変化画素の画素値を補正する処理を実行する画素値補正部を有し、
    前記画素値補正部は、
    前記長時間露光画像および短時間露光画像の画素値を選択的に組み合わせた合成画像を生成する合成画像生成部と、
    前記合成画像のぼかし画像を生成する中間画像生成部と、
    前記画像解析部の解析した輝度変化画素の画素値を、前記合成画像と中間画像における対応画素位置の画素値を適用して算出して決定する出力画像生成部と、
    を有する構成であることを特徴とする撮像装置。
14. 前記撮像デバイスは、
    前記短時間露光画像を生成する際の露光期間を、前記長時間露光画像を生成する際の露光期間内とし、前記短時間露光画像、および前記長時間露光画像を単一の撮像素子によって同一の画素からそれぞれ生成する構成であることを特徴とする請求項１３に記載の撮像装置。
15. 画像処理装置において画像処理を実行する画像処理方法であり、
    画像入力部が、長時間露光画像および短時間露光画像を入力する画像入力ステップと、
    画像解析部が、前記長時間露光画像および短時間露光画像の画素値解析により長時間露光時間に相当する撮影期間において輝度変化が発生したと判断される輝度変化画素を検出する画像解析ステップと、
    画素値補正部が、前記画像解析ステップにおいて解析した輝度変化画素の画素値を補正する処理を実行する画素値補正ステップを有し、
    前記画素値補正ステップは、
    前記長時間露光画像および短時間露光画像の画素値を選択的に組み合わせた合成画像を生成する合成画像生成ステップと、
    前記合成画像のぼかし画像を生成する中間画像生成ステップと、
    前記画像解析部の解析した輝度変化画素の画素値を、前記合成画像と中間画像における対応画素位置の画素値を適用して算出して決定する出力画像生成ステップと、
    実行することを特徴とする画像処理方法。
16. 前記出力画像生成ステップは、
    前記合成画像の前記輝度変化画素に対応する位置の画素値を［Ｄｖ］、
    前記中間画像の前記輝度変化画素に対応する位置の画素値を［Ｍｖ］、
    としたとき、係数ａ，ｂ（ただし、ａ＋ｂ＝１）を適用し、出力画像の対応画素位置の画素値［Ｒｖ］を、
    ［Ｒｖ］＝ａ×［Ｄｖ］＋ｂ×［Ｍｖ］
    として算出する処理を実行するステップであることを特徴とする請求項１５に記載の画像処理方法。
17. 前記画像解析ステップは、
    前記短時間露光画像から有効な出力値が得られ、前記長時間露光画像からも有効な出力値が得られている画素位置の検出を実行して、検出された画素位置にある画素を輝度が高輝度から低輝度へと変化した輝度変化画素であると判定する処理を実行するステップであることを特徴とする請求項１５に記載の画像処理方法。
18. 前記画像解析ステップは、
    前記長時間露光画像の画素値が飽和しており、前記短時間露光画像から有効な出力値が得られていない画素位置の検出を実行して、検出された画素位置にある画素を輝度が低輝度から高輝度へと変化した輝度変化画素であると判定する処理を実行するステップであることを特徴とする請求項１５に記載の画像処理方法。
19. 前記画像解析ステップは、
    前記輝度変化画素の検出結果に基づく検出結果画像に対して平滑化フィルタを適用した画像変換を実行し、変換結果画像に基づいて誤って検出された輝度変化画素を排除する処理を実行するステップを含むことを特徴とする請求項１５に記載の画像処理方法。
20. 前記画像解析ステップは、
    前記輝度変化画素の検出結果に基づく検出結果画像に対してフィルタを適用した画像変換を実行し、輝度変化画素領域を拡大する処理を実行するステップを含むことを特徴とする請求項１５に記載の画像処理方法。
21. 前記出力画像生成ステップは、
    前記合成画像の前記輝度変化画素に対応する位置の画素値を［Ｄｖ］、
    前記中間画像の前記輝度変化画素に対応する位置の画素値を［Ｍｖ］、
    としたとき、係数ａ，ｂ（ただし、ａ＋ｂ＝１）を適用し、出力画像の対応画素位置の画素値［Ｒｖ］を、
    ［Ｒｖ］＝ａ×［Ｄｖ］＋ｂ×［Ｍｖ］
    として算出する処理を実行するステップ成であり、
    前記合成画像に基づいて検出された輝度変化画素領域の画素値算出に適用する係数ａ_１，ｂ_１と、
    前記フィルタを適用して新たに出現した拡大された輝度変化画素領域の画素値算出に適用する係数ａ_２，ｂ_２とを異なる値に設定して画素値算出処理を実行することを特徴とする請求項２０に記載の画像処理方法。
22. 前記中間画像生成ステップは、
    前記合成画像に対して平滑化フィルタを適用してぼかし画像を生成する処理を実行するステップであることを特徴とする請求項１５に記載の画像処理方法。
23. 前記中間画像生成ステップは、
    前記合成画像に対して縮小処理および拡大処理を実行してぼかし画像を生成する処理を実行するステップであることを特徴とする請求項１５に記載の画像処理方法。
24. 前記画素値補正ステップは、さらに、
    前記合成画像生成ステップにおいて生成した合成画像の彩度低下処理を実行する画像補正を実行し、
    前記中間画像生成ステップは、前記画像補正ステップにおいて生成した再度低下画像を入力してぼかし画像を生成する処理を実行するステップであることを特徴とする請求項１５に記載の画像処理方法。
25. 前記画素値補正ステップは、さらに、
    前記出力画像生成ステップにおいて生成した画像に対してローパスフィルタを施す画像補正処理を実行する画像補正ステップを有することを特徴とする請求項１５に記載の画像処理方法。
26. 前記短時間露光画像を生成する際の露光期間は、前記長時間露光画像を生成する際の露光期間内にあり、前記短時間露光画像、および前記長時間露光画像は単一の撮像素子によって同一の画素からそれぞれ生成された画像であることを特徴とする請求項１５〜２５いずれかに記載の画像処理方法。
27. 画像処理装置において画像処理を実行させるコンピュータ・プログラムであり、
    画像入力部に、長時間露光画像および短時間露光画像を入力させる画像入力ステップと、
    画像解析部に、前記長時間露光画像および短時間露光画像の画素値解析により長時間露光時間に相当する撮影期間において輝度変化が発生したと判断される輝度変化画素を検出させる画像解析ステップと、
    画素値補正部に、前記画像解析ステップにおいて解析した輝度変化画素の画素値を補正する処理を実行させる画素値補正ステップを有し、
    前記画素値補正ステップは、
    前記長時間露光画像および短時間露光画像の画素値を選択的に組み合わせた合成画像を生成させる合成画像生成ステップと、
    前記合成画像のぼかし画像を生成させる中間画像生成ステップと、
    前記画像解析部の解析した輝度変化画素の画素値を、前記合成画像と中間画像における対応画素位置の画素値を適用して算出して決定させる出力画像生成ステップと、
    実行させるステップであることを特徴とするコンピュータ・プログラム。