JP2015053626A

JP2015053626A - 固体撮像装置

Info

Publication number: JP2015053626A
Application number: JP2013186016A
Authority: JP
Inventors: 田島　哲郎; Tetsuo Tajima; 哲郎田島; 裕介池田; Yusuke Ikeda
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2013-09-09
Filing date: 2013-09-09
Publication date: 2015-03-19
Also published as: US20150070524A1

Abstract

【課題】画素の出力信号に反転現象が発生しても、適切なＨＤＲ化処理行うことのできる固体撮像装置を提供する。【解決手段】実施形態の固体撮像装置は、ゲイン調整部１が、画素データＧＨ、ＧＭ、ＧＬを各画素の感度と最高感度画素の感度との感度比に応じて補正し、ゲイン調整画素データＧＨ、ＧＭｍ、ＧＬｍとして出力する。反転判定部３は、有効判定部２により２つの画素データがともに有効と判定されたときに、出力元の２つの画素の感度の高い方の画素が反転状態かどうかを判定する。ブレンド部４は、反転判定部３が非反転状態と判定したときに、その２つの画素データに対するゲイン調整画素データをブレンドする。選択部５は、有効判定部２の判定結果Ｈ１および反転判定部３の判定結果Ｈ２にもとづき、ゲイン調整画素データＧＨ、ＧＭｍ、ＧＬｍおよびブレンド部４の出力データＭ／Ｈ、Ｌ／Ｍの中からいずれか１つを選択し、ＨＤＲ出力として出力する。【選択図】図１

Description

本発明の実施形態は、固体撮像装置に関する。

撮像素子としてＣＭＯＳイメージセンサを用いる固体撮像装置がある。ＣＭＯＳイメージセンサでは、入射光量に応じた電荷を蓄積し、蓄積電荷量に応じたレベルの電気信号を出力する光電変換が行われる。しかし、一般的に、ＣＭＯＳイメージセンサは、入力光量に対するダイナミックレンジが狭いため、撮像する画像領域の中に低光量領域と高領域が混在するような場合、全画像領域を適切な階調で表現することが困難である。

そこで、入射光量に対するダイナミックレンジを拡大するために、撮像画像に対してＨＤＲ（High Dynamic Range）化処理を施すことがある。

そのＨＤＲ化処理手法の１つとして、１つの画素領域に感度の異なる複数の画素を配置し、それぞれの画素が担当する入力光量範囲を異ならせ、画素領域ごとに、出力信号レベルが予め設定した範囲（有効範囲）に収まっている画素を選択する方法がある。

この方法では、担当する入力光量範囲が隣接する２つの画素の担当光量範囲を重ならせておく。この場合、２つの画素の出力信号がともに有効範囲に収まるので、２つの画素の出力信号の値をブレンドする。

ところで、上述のような感度設計された画素では、それぞれの担当範囲を超える光量が入力されると、出力信号レベルは飽和する。しかし、飽和レベルをさらに超えるような高光量の光が入力されると、画素付近に電荷が溢れ出し、出力信号レベルが逆に低下し始める反転現象が発生することがある。

このような反転現象が発生すると、２つの画素の担当範囲が重なる領域以外でも２つの画素の出力信号レベルがともに有効範囲となることが起きる。その結果、この２つの画素の出力信号をブレンドするという、誤ったＨＤＲ化処理が行われることになる。

特開２０１２−１０５２２５号公報

本発明が解決しようとする課題は、画素の出力信号に反転現象が発生しても、適切なＨＤＲ化処理行うことのできる固体撮像装置を提供することにある。

実施形態の固体撮像装置は、それぞれの画素領域に、入力光量に対する感度の異なる複数の画素が配置されており、前記複数の画素からそれぞれ出力された複数の画素データと、ゲイン調整部と、有効判定部と、反転判定部と、ブレンド部と、選択部とを備える。ゲイン調整部は、前記複数の画素データを各画素の感度と最高感度画素の感度との感度比に応じて補正し、ゲイン調整画素データとして出力する。反転判定部は、前記有効判定部により２つの画素データがともに有効と判定されたときに、その出力元の２つの画素の感度の高い方の画素が反転状態かどうかを判定する。ブレンド部は、前記反転判定部が非反転状態と判定したときに、前記２つの画素データに対するゲイン調整画素データをブレンドする。選択部は、前記有効判定部の判定結果および前記反転判定部の判定結果にもとづき、前記ゲイン調整画素データおよび前記ブレンド部の出力データの中からいずれか１つを選択し、ＨＤＲ出力として出力する。

第１の実施形態の固体撮像装置の構成の例を示すブロック図。高感度画素、中感度画素、低感度画素の感度特性の例を示す図。ゲイン調整部におけるゲイン調整の例を示す図。高感度画素に反転が生じたときの感度特性の例を示す図。反転判定部の動作を説明するための図。第１の実施形態の固体撮像装置の選択部の出力例を示す図。第２の実施形態の固体撮像装置の構成の例を示すブロック図。拡張反転判定部の動作を説明するための図。第２の実施形態の固体撮像装置の選択部の出力例を示す図。

以下、本発明の実施の形態について図面を参照して説明する。なお、ここでは、それぞれの画素領域に、入力光量に対する感度が高感度、中感度、低感度である３つの画素が配置されている場合を例にとって説明する。ただし、それぞれの画素領域に配置される画素の数は、３つに限るものではない。また、図中、同一または相当部分には同一の符号を付して、その説明は繰り返さない。

（第１の実施形態）
図１は、第１の実施形態の固体撮像装置の構成の例を示すブロック図である。

本実施形態の固体撮像装置は、高感度画素、中感度画素、低感度画素からそれぞれ出力された高感度画素データＧＨ、中感度画素データＧＭ、低感度画素データＧＬと、それぞれの画素データを各画素の感度と高感度画素の感度との感度比に応じて補正し、ゲイン調整画素データとして出力するゲイン調整部１と、高感度画素データＧＨ、中感度画素データＧＭ、低感度画素データＧＬのそれぞれの画素値が、予め設定された有効範囲内であるかどうかを判定する有効判定部２と、有効判定部２により２つの画素データがともに有効と判定されたときに、その出力元の２つの画素の感度の高い方の画素が反転状態かどうかを判定する反転判定部３と、反転判定部３が非反転状態と判定したときに、その２つの画素データに対するゲイン調整画素データをブレンドするブレンド部４と、有効判定部２の判定結果および反転判定部３の判定結果にもとづき、ゲイン調整部１から出力されたゲイン調整画素データおよびブレンド部４の出力データの中からいずれか１つを選択し、ＨＤＲ出力として出力する選択部５と、を備える。

図２に、入力光量に対する、高感度画素、中感度画素、低感度画素の感度特性の例を示す。

ここで、高感度画素は低光量領域、中感度画素は中光量領域、低感度画素は高光量領域をそれぞれ担当する。ただし、高感度画素と中感度画素の担当領域および中感度画素と低感度画素の担当領域は、それぞれ一部重なっている。

また、高感度画素データＧＨ、中感度画素データＧＭ、低感度画素データＧＬには、それぞれ低レベル閾値ＨＬと高レベル閾値ＨＴが定められている。高感度画素データＧＨ、中感度画素データＧＭ、低感度画素データＧＬは、低レベル閾値ＨＬ以上で高レベル閾値ＨＴ以下の画素値が有効であり、低レベル閾値ＨＬよりも低い画素値および高レベル閾値ＨＴよりも高い画素値は無効である。

ゲイン調整部１は、高感度画素データＧＨ、中感度画素データＧＭ、低感度画素データＧＬの画素値を、各画素の感度と高感度画素の感度との感度比に応じて補正し、ゲイン調整画素データとして出力する。

ここで、ゲイン調整部１は、高感度画素データＧＨについては、感度比が１であるので、高感度画素データＧＨに対するゲイン調整画素データとして、そのまま高感度画素データＧＨを出力する。

また、ゲイン調整部１は、中感度画素データＧＭ、低感度画素データＧＬに対するゲイン調整画素データとして、ゲイン調整中感度画素データＧＭｍ、ゲイン調整低感度画素データＧＬｍを出力する。

このとき、ゲイン調整部１は、図３に示すように、ゲイン調整中感度画素データＧＭｍ、ゲイン調整低感度画素データＧＬｍが、それぞれ高感度画素データＧＨの外挿データとなるように、中感度画素データＧＭ、低感度画素データＧＬに対するゲイン調整を行う。

有効判定部２は、高感度画素データＧＨ、中感度画素データＧＭ、低感度画素データＧＬのそれぞれの画素値を、低レベル閾値ＨＬ以上および高レベル閾値ＨＴと比較し、それぞれの画素値の有効／無効を判定する。

このとき、上述したように、高感度画素と中感度画素の担当領域、および中感度画素と低感度画素の担当領域が重なっているので、２つの画素データがともに有効と判定されることがある。

その場合、本実施形態では、基本的には、ブレンド部４が、その２つの画素データに対するゲイン調整画素データを、任意のブレンド比でブレンドしてブレンド画素データを出力する。

すなわち、高感度画素データＧＨと中感度画素データＧＭがともに有効と判定されたときは、高感度画素データＧＨの画素値とゲイン調整中感度画素データＧＭｍの画素値をブレンドして、ブレンド画素データＭ／Ｈを出力し、中感度画素データＧＭと低感度画素データＧＬがともに有効と判定されたときは、ゲイン調整中感度画素データＧＭｍの画素値とゲイン調整低感度画素データＧＬｍの画素値をブレンドして、ブレンド画素データＬ／Ｍを出力する。

ところが、高感度画素に反転が生じた場合、図４に示すように、高感度画素の担当領域内の光量Ａのほかに、高感度画素の担当領域外の光量Ｂにおいても、高感度画素データＧＨと中感度画素データＧＭがともに有効と判定されることになる。

この光量Ｂは、本来、中感度画素の担当領域であるので、ブレンド部４でブレンドを行う必要はない。

そこで、本実施形態では、有効判定部２により２つの画素データがともに有効と判定されたときは、反転判定部３が、その出力元の２つの画素の感度の高い方の画素が反転状態かどうかを判定する。

この反転判定部３の判定の方法を、図５を用いて説明する。

高感度画素データＧＨと中感度画素データＧＭがともに有効と判定された場合、反転判定部３は、まず、中感度画素データＧＭの画素値ＧＭに対するゲイン調整中感度画素データＧＭｍの画素値ＧＭｍを求める。

例えば、図５に示す例では、光量Ａに対する中感度画素データＧＭの画素値ＧＭＡに対してゲイン調整中感度画素データＧＭｍの画素値ＧＭｍＡを求め、光量Ｂに対する中感度画素データＧＭの画素値ＧＭＢに対してゲイン調整中感度画素データＧＭｍの画素値ＧＭｍＢを求める。

次に、反転判定部３は、求めたゲイン調整中感度画素データＧＭｍの画素値ＧＭｍを高感度画素データＧＨの高レベル閾値ＨＴと比較する。

ここで、反転判定部３は、ＧＭｍ≦ＨＴであれば、高感度画素は非反転状態と判定し、ＧＭｍ＞ＨＴであれば、高感度画素は反転状態と判定する。

図５に示す例では、反転判定部３は、光量Ａでは、ＧＭｍＡ≦ＨＴであるので、高感度画素は非反転状態と判定し、光量Ｂでは、ＧＭｍＢ＞ＨＴであるので、高感度画素は反転状態と判定する。

ブレンド部４は、反転判定部３が非反転状態と判定したときのみ、その２つの画素データに対するゲイン調整画素データをブレンドする。すなわち、高感度画素データＧＨの画素値とゲイン調整中感度画素データＧＭｍの画素値をブレンドして、ブレンド画素データＭ／Ｈを出力する。

選択部５は、有効判定部２の判定結果Ｈ１および反転判定部３の判定結果Ｈ２にもとづき、ゲイン調整部１から出力された高感度画素データＧＨ、ゲイン調整中感度画素データＧＭｍ、ゲイン調整低感度画素データＧＬｍおよびブレンド部４から出力されたブレンド画素データＭ／Ｈ、Ｌ／Ｍの中からいずれか１つを選択して、ＨＤＲ出力として出力する。

図６に、有効判定部２の判定結果Ｈ１および反転判定部３の判定結果Ｈ２と、選択部５の出力データＨＤＲとの関係を示す。

選択部５は、まず、判定結果Ｈ１にもとづいて、高感度画素データＧＨのみが有効であるときは高感度画素データＧＨ、中感度画素データＧＭのみが有効であるときはゲイン調整中感度画素データＧＭｍ、低感度画素データＧＬのみが有効であるときはゲイン調整低感度画素データＧＬｍを選択し、中感度画素データＧＭと低感度画素データＧＬがともに有効であるときは、ブレンド画素データＬ／Ｍを選択する。

一方、判定結果Ｈ１が、高感度画素データＧＨと中感度画素データＧＭがともに有効であることを示すときは、選択部５は、判定結果Ｈ２にもとづいて、出力するデータを選択する。

このとき、選択部５は、判定結果Ｈ２が非反転であるときはブレンド画素データＭ／Ｈを選択し、判定結果Ｈ２が反転であるときはゲイン調整中感度画素データＧＭｍを選択する。

このような本実施形態によれば、有効判定部２の判定結果Ｈ１が、高感度画素データＧＨと中感度画素データＧＭがともに有効であることを示すときは、反転判定部３により、高感度画素が反転状態であるかどうかを判定し、高感度画素が反転状態であるときは、画素データのブレンドを行わないようにすることができる。これにより、高感度画素が反転状態であるときも、適切なＨＤＲ処理を行うことができる。

（第２の実施形態）
第１の実施形態では、高感度画素に反転現象が発生しても適切なＨＤＲ処理を行うことができる固体撮像装置の例を示したが、反転現象は、中感度画素や低感度画素でも発生することがある。そこで、本実施形態では、中感度画素および低感度画素に反転現象が発生しても、適切なＨＤＲ処理を行うことができる固体撮像装置の例を示す。

図７は、第２の実施形態の固体撮像装置の構成の例を示すブロック図である。

本実施形態の固体撮像装置は、第１の実施形態の構成に対して、拡張反転判定部６を追加し、選択部５を選択部５Ａに変更したものである。

拡張反転判定部６は、有効判定部２によりともに有効と判定された２つの画素データの中に低感度画素データＧＬが含まれるときに、その２つの画素が反転状態であるかどうかを判定する。

ここでは、有効判定部２により、中感度画素データＧＭと低感度画素データＧＬがともに有効、と判定されたときを例にとって説明する。

拡張反転判定部６は、低感度画素データＧＬの画素値ＧＬを中感度画素データＧＭの画素値ＧＭと比較し、低感度画素データＧＬの画素値ＧＬが、中感度画素データＧＭの画素値ＧＭよりも大きいときに、中感度画素および低感度画素が反転状態であると判定する。

図８を用いて、拡張反転判定部６の判定例を説明する。

図８に示すように、中感度画素および低感度画素がともに反転現象を起こす場合、光量Ａおよび光量Ｂにおいて、有効判定部２は、中感度画素データＧＭと低感度画素データＧＬがともに有効と判定する。

このとき、光量Ａでは、中感度画素および低感度画素は、ともに正常動作しているが、光量Ｂでは、中感度画素および低感度画素は、ともに反転状態である。

中感度画素および低感度画素がともに正常動作しているときは、低感度画素データＧＬの画素値ＧＬは中感度画素データＧＭの画素値ＧＭよりも小さく、感度画素および低感度画素がともに反転状態であるときは、低感度画素データＧＬの画素値ＧＬは中感度画素データＧＭの画素値ＧＭよりも大きい。

そこで、拡張反転判定部６は、低感度画素データＧＬの画素値ＧＬは中感度画素データＧＭの画素値ＧＭを比較し、低感度画素データＧＬの画素値ＧＬが中感度画素データＧＭの画素値ＧＭよりも大きいときに、中感度画素および低感度画素がともに反転状態である、と判定する。

図８の例では、光量Ａでは、低感度画素データＧＬの画素値ＧＬＡが中感度画素データＧＭの画素値ＧＭＡよりも小さいので、拡張反転判定部６は、中感度画素および低感度画素がともに非反転状態と判定する。一方、光量Ｂでは、低感度画素データＧＬの画素値ＧＬＡが中感度画素データＧＭの画素値ＧＭＡよりも大きいので、拡張反転判定部６は、中感度画素および低感度画素がともに反転状態と判定する。

選択部５Ａは、有効判定部２の判定結果Ｈ１および反転判定部３の判定結果Ｈ２に拡張反転判定部６の判定結果Ｈ３も加えて、出力するデータを選択する。

図９に、有効判定部２の判定結果Ｈ１、反転判定部３の判定結果Ｈ２および拡張反転判定部６の判定結果Ｈ３と、選択部５の出力データＨＤＲとの関係を示す。

選択部５Ａは、まず、判定結果Ｈ１にもとづいて、高感度画素データＧＨのみが有効であるときは高感度画素データＧＨ、中感度画素データＧＭのみが有効であるときはゲイン調整中感度画素データＧＭｍ、低感度画素データＧＬのみが有効であるときはゲイン調整低感度画素データＧＬｍを選択する。

一方、判定結果Ｈ１が、高感度画素データＧＨと中感度画素データＧＭがともに有効であることを示すときは、選択部５Ａは、判定結果Ｈ２にもとづいて、出力するデータを選択する。

このとき、選択部５Ａは、判定結果Ｈ２が非反転であるときはブレンド画素データＭ／Ｈを選択し、判定結果Ｈ２が反転であるときはゲイン調整中感度画素データＧＭｍを選択する。

また、判定結果Ｈ１が、中感度画素データＧＭと低感度画素データＧＬがともに有効であることを示すときは、選択部５Ａは、判定結果Ｈ３にもとづいて、出力するデータを選択する。

このとき、選択部５Ａは、判定結果Ｈ３が非反転であるときはブレンド画素データＬ／Ｍを選択し、判定結果Ｈ３が反転であるときはゲイン調整低感度画素データＧＬｍを選択するが、このときのゲイン調整低感度画素データＧＬｍの画素値は、飽和値ＧＬｍＳとなる。

このような本実施形態によれば、有効判定部２の判定結果Ｈ１が、中感度画素データＧＭと低感度画素データＧＬがともに有効であることを示すときは、拡張反転判定部６により、中感度画素および低感度画素が反転状態であるかどうかを判定し、中感度画素および低感度画素が反転状態であるときは、画素データのブレンドを行わないようにすることができる。これにより、中感度画素および低感度画素が反転状態であるときも、適切なＨＤＲ処理を行うことができる。

以上説明した少なくとも１つの実施形態の固体撮像装置によれば、画素の出力信号に反転現象が発生しても、適切なＨＤＲ化処理行うことができる。

また、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ゲイン調整部
２有効判定部
３反転判定部
４ブレンド部
５、５Ａ選択部
６拡張反転判定部

Claims

それぞれの画素領域に、入力光量に対する感度の異なる複数の画素が配置された固体撮像装置であって、
前記複数の画素からそれぞれ出力された複数の画素データと、
前記複数の画素データを各画素の感度と最高感度画素の感度との感度比に応じて補正し、ゲイン調整画素データとして出力するゲイン調整部と、
前記複数の画素データのそれぞれの画素値が、予め設定された有効範囲内であるかどうかを判定する有効判定部と、
前記有効判定部により２つの画素データがともに有効と判定されたときに、その出力元の２つの画素の感度の高い方の画素が反転状態かどうかを判定する反転判定部と、
前記反転判定部が非反転状態と判定したときに、前記２つの画素データに対するゲイン調整画素データをブレンドするブレンド部と、
前記有効判定部の判定結果および前記反転判定部の判定結果にもとづき、前記ゲイン調整画素データおよび前記ブレンド部の出力データの中からいずれか１つを選択し、ＨＤＲ出力として出力する選択部と
を備えることを特徴とする固体撮像装置。
前記反転判定部が、
前記２つの画素の感度の低い方の画素データを、その画素の感度に対する前記感度の高い方の画素の感度比で補正する補正部と、
前記補正部の出力を前記感度の高い方の画素の画素データの有効範囲の上限閾値と比較し、前記補正部の出力が前記上限閾値より大きいときは、前記感度の高い方の画素が反転状態であると判定し、
前記補正部の出力が前記上限閾値以下であるときは、前記感度の高い方の画素が非反転状態であると判定する判定部と
を備えることを特徴とする請求項１に記載の固体撮像装置。
前記選択部は、
前記有効判定部が１つの画素データのみが有効と判定したときは、その画素データに対する前記ゲイン調整画素データを選択し、
前記有効判定部が２つの画素データが有効と判定し、かつ前記反転判定部が非反転状態と判定したときは、前記ブレンド部の出力データを選択し、
前記有効判定部が２つの画素データが有効と判定し、かつ前記反転判定部が反転状態と判定したときは、感度の低い方の画素の画素データに対する前記ゲイン調整画素データを選択する
ことを特徴とする請求項１または２に記載の固体撮像装置。
前記有効判定部によりともに有効と判定された２つの画素データの中に前記最低感度画素の画素データが含まれるときに、その２つの画素が反転状態であるかどうかを判定する拡張反転判定部をさらに備え、
前記拡張反転判定部は、
前記最低感度画素の画素データの画素値を前記２つの画素データの残りの画素データの画素値と比較し、前記最低感度画素の画素データの画素値が、前記残りの画素データの画素値よりも大きいときに、前記２つ画素が反転状態であると判定する
ことを特徴とする請求項１乃至３のいずれか１項に記載の固体撮像装置。
前記選択部は、
前記拡張反転判定部が、前記２つの画素が反転状態であると判定したときは、前記最低感度画素の画素データに対する前記ゲイン調整画素データの飽和値を出力する
ことを特徴とする請求項４に記載の固体撮像装置。
前記ゲイン調整部は、
前記ゲイン調整画素データが、前記最高感度画素の画素データの外挿データとなるよう前記補正を行う
ことを特徴とする請求項１乃至５のいずれか１項に記載の固体撮像装置。