JP2006180482A - 拡張された動的範囲を有するイメージセンシング素子およびそれを用いた撮像装置 - Google Patents

Abstract

【課題】 本発明は光学リミッターを用いてイメージセンシング素子の動的範囲が拡張される、拡大された動的範囲を有するイメージセンシング素子およびそれを用いた撮像装置を提供する。
【解決手段】 本発明に係る拡大された動的範囲を有するイメージセンシング装置は、所定の輝度以上において入力映像が輝度に対し非線形特性を有するよう変換する光学リミッターと、非線形特性を有するよう変換された入力映像を電気的な信号に変換するイメージセンサーとを含む。これにより、輝度に対して非線形特性の有する映像を出力させる光学リミッターがイメージセンサーの撮像面に位置されることによりイメージセンシング素子の動的範囲を拡張させることができる。
【選択図】 図１

Description

本発明は、非線形特性を有する光学リミッターを用いることによってイメージセンシング素子の動的範囲（ｄｙｎａｍｉｃ ｒａｎｇｅ）が拡張される、拡張された動的範囲を有するイメージセンシング素子およびそれを用いた撮像装置に関する。

動的範囲は、イメージセンサーの性能を決定付ける項目の１つとして、弱い光信号と強い光信号とを利用し映像で処理できる指数である。即ち、画素の信号ノイズレベルに対する画素飽和レベルを意味し、次式により求められる。

なお、Ｄはイメージセンサーの動的範囲を示し、Ｎｏｉｓｅは信号ノイズ、Ｓａｔｕｒａｔｉｏｎ−ｌｅｖｅｌは画素の飽和レベルを示す。

例えば、イメージセンサーにて飽和時には約２０万個の電子を検出し、ノイズ時には約４０個の電子が検出されれば、その動的範囲はほぼ５０００であり、ｄＢは約-７５ｄＢになる。

一方、一画面に暗い部分と明るい部分が混在している時、それぞれを全部区別するためには入力光に対する露出時間を調節する。しかし、露出時間の調節により暗い部分と明るい部分とを区別するには限界があるので広い動的範囲を有する必要がある。

イメージセンサーの動的範囲を向上させるためには、飽和される時間を出力する方式、画素別に露出時間を相違にする方式、信号電荷の増加率を出力する方式などがある。飽和される時間を出力する方式は、画素の電荷や電圧を読み出すだけでなく、露出時間を出力する方式である。この方式によると、受光素子の出力信号がイメージセンサーのフォトダイオード電位が決まったしきい値電圧、つまり飽和状態に達した時点あるいは達する直前の時間をＡ/Ｄコンバーターの代わりに比較器回路を用いてカウンターから出力される方法である。即ち、Ａ／Ｄコンバーターの代わりに比較器回路を使用することで、いつ予め決定されたしきい値電圧に達するかを判定し、格納された電荷の離散量を読み取って直接デジタルに変換する。しかし、係る方法は比較器回路を必要とする不具合がある。

そして、画素別に露出時間を相違にする方式は、強い光が照射される画素にては露出時間を短くし、暗い映像信号が照射される画素にては露出時間を長くすることによって、信号レベルが維持されると同時に広い動的範囲を具現することができる。しかしながら、係る方法は画素別に露出時間を調節するための別の回路が求められる問題がある。

本発明は前述した問題点を解決するために案出されたもので、本発明の目的は、光学リミッターを用いてイメージセンサーに入力される映像が輝度に対して非線形特性を有する映像になるよう、イメージセンサーの動的範囲を拡張させる、拡張された動的範囲を有するイメージセンシング素子およびそれを用いた撮像装置を提供することにある。

前述した目的を達成するための本発明に係る拡張された動的範囲を有するイメージセンシング素子は、所定の輝度以上において入力映像が輝度に対し非線形特性を有するよう変換する光学リミッターと、前記非線形特性を有するよう変換された入力映像を電気的な信号に変換するイメージセンサーとを含む。

好ましくは、イメージセンサーは、入力される光を集束するマイクロレンズと、前記マイクロレンズから入力される信号のうち特定の色信号を抽出するカラーフィルタと、前記抽出された色信号を電気的な信号に変換する基板とを含む。

また、前記光学リミッターは、前記イメージセンサーの撮像面から所定の距離離隔されることが好ましく、前記イメージセンサーの撮像面上部に蒸着されることが好ましい。

なお、前記イメージセンサーはＣＣＤおよびＣＭＯＳのうちいずれかである。

この時、前記所定の輝度は、前記光学リミッターが存在しない場合の前記イメージセンサーの飽和出力値を有する輝度より小さいことが好ましい。

一方、本発明の拡大された動的範囲を有するイメージセンサーを用いる撮像装置は、所定の輝度以上において入力映像が非線形特性を有する映像に出力されるようにする光学リミッターと、前記光学リミッターから出力される映像を光電変換するイメージセンサーと、前記光電変換された入力映像をデジタル信号に変換し出力する変換部と、前記変換された映像がディスプレーされるべく信号処理を行う信号処理部とを含む。

好ましくは、前記イメージセンサーは、入力される光を集束するマイクロレンズと、前記マイクロレンズから入力される信号にうち特定の色信号を抽出するカラーレンズと、前記抽出された色信号を電気的な信号に変換する基板とを含む。

前記光学リミッターは、前記イメージセンサーの撮像面から所定の距離離隔されており、前記イメージセンサーの撮像面に蒸着されることが好ましい。

なお、前記イメージセンサーはＣＣＤおよびＣＭＯＳのうちいずれかである。

このとき、前記所定の輝度は、前記光学リミッターが存在しない場合の前記イメージセンサーの飽和出力値を有する輝度より小さいことが好ましい。

本発明によると、輝度に対して非線形特性の有する映像が出力されるようにする光学リミッターをイメージセンサーの撮像面に位置することによりイメージセンシング素子の動的範囲が拡張される。

また、輝度に対して非線形特性を有する物質の光学リミッターを用いてイメージセンシング素子の動的範囲を拡張させることによって、別の装置を加えることなく容易にイメージセンシング素子の動的範囲を拡張することができる。

以下、添付の図面に基づいて本発明の好適な実施例を詳述する。

図１は本発明の一実施の形態にかかる拡張された動的範囲を有するイメージセンシング素子を示す図である。同図に示すように、本発明の拡張された動的範囲を有するイメージセンシング素子１００は、光学リミッター２０およびイメージセンサー３０を備えている。

まず、光学リミッター２０は、レンズ１０を透過した入力映像を、輝度に対して非線形特性を有する映像に変換してイメージセンサー３０に出力する。なお、光学リミッター２０はイメージセンサー３０の撮像面から所定の距離離隔されて形成される。ここで、所定の距離は、図１に示すように、レンズ１０を透過した全ての入力映像が光学リミッター２０を通過した後イメージセンサー３０に入力されることのできる距離である。光学リミッター２０がイメージセンサー３０の撮像面から所定の距離以上に離隔されて形成された場合、光学リミッター２０を通過する一部映像が散乱されイメージセンサー３０に入力されないことにより映像の消失が発生する恐れがある。

この光学リミッター２０は、輝度に対して非線形特性を有するべく映像を出力し光学リミッター２０からの出力が入力されるイメージセンサー３０が非線形特性の有する映像を出力するよう施す。従って、光学リミッター２０は、イメージセンサー３０が輝度に対し線形特性を有することにより所定の輝度以上の映像を同一明るさの映像に出力することができることから解像度の低下を抑えることができる。即ち、光学リミッター２０は出力の明るさが飽和される入力輝度の帯域を拡大させる。

イメージセンサー３０には光学リミッター２０の通過した非線形特性を有する映像が入力され、入力された映像を電気的な信号に変換する。なお、イメージセンサー３０は詳細にマイクロレンズ、カラーフィルター、および基板を含む。

マイクロレンズは、画素以外の領域に入力される光信号の受信のために入力される光を画素に集光して光効率を向上させる。カラーフィルタはマイクロレンズから入力される信号のうち特定の色信号を抽出する。そして、基板はフォトダイオードおよび伝送電極を含み、カラーフィルタから入力される信号を光電変換したあと、変換された電気的な信号を外部に伝達する。

なお、イメージセンサー３０は、入力される光により発生した電子をゲートパルスを用いて出力部に至るまで移動させるＣＣＤ型イメージセンサー、入力される光により発生した電子を各画素内で電圧に変換したあと多数のＣＭＯＳスイッチを介して出力するＣＭＯＳ型イメージセンサーなどである。

そして、イメージセンサー３０は輝度に応じて電荷を蓄積し、その蓄積される電荷量に該当する電圧を出力することで映像の明るさを決める。しかし、イメージセンサー３０は一定の輝度以上の電荷を蓄積することができないので、一定の輝度以上の輝度については同一映像の明るさとして決められる。

図２Ａおよび図２Ｂは、本発明の他の実施形態にかかる拡張された動的範囲を有するイメージセンシング素子１００を示す図である。同図は、図１の場合とは相違に光学リミッター２０がイメージセンサー３０の撮像面に蒸着された場合を示している。

図２Ａおよび図２Ｂに示すように、本発明のイメージセンシング素子１００は、イメージセンサー３０およびこのイメージセンサー３０の撮像面に形成される光学リミッター２０を備える。なお、イメージセンサー３０はマイクロレンズ３１、カラーフィルタ３３、基板３５を含む。

同図は、それぞれ本発明におけるイメージセンシング素子１００の撮像面の上部にグラスが形成されていない場合の斜視図および断面図であるが、光学リミッター２０の上部にグラスが形成されることもできる。つまり、イメージセンサー３０とグラスとの間に光学リミッター２０が形成され得る。ここで、グラスはイメージセンシング素子１００の光効率を高めるためのもので、ピクセル単位からなる。

そして、イメージセンサー３０のマイクロレンズ３１、カラーフィルタ３３、基板３５の動作は図１に説明した通りである。つまり、マイクロレンズ３１は画素以外の領域に入力される光信号を受信するため入力される光を画素に集光し光効率を向上させる。また、カラーフィルタ３３はマイクロレンズ３１から入力される信号のうち特定の色信号を抽出する。そして、基板３５はフォトダイオードおよび伝送電極を含み、カラーフィルタ３３から入力される信号を光電変換したあと、変換された電気的な信号を外部に伝達する動作を行う。

光学リミッター２０は、イメージセンサー３０のマイクロレンズ３１の上部に形成され、光学リミッター２０をマイクロレンズ３１の上部にコーティングすることで形成される。

図３は本発明の一実施の形態に係る拡張された動的範囲を有するイメージセンシング素子を用いる撮像装置である。

同図に示したように、本発明に係るイメージセンシング素子を用いる撮像装置は、レンズ１０、光学リミッター２０、イメージセンサー３０、コンバーター４０、および信号処理部５０を備えてなる。なお、光学リミッター２０およびイメージセンサー３０はイメージセンシング素子１００を構成する。

まず、レンズ１０は入力される光を集束し光学リミッター２０に出力する。光学リミッター２０は、レンズ１０から入力される入力映像を輝度に対して非線形特性を有するよう出力する。従って、光学リミッター２０の出力映像が入力されるイメージセンサー３０の出力値を輝度について非線形特性を有するよう施す。

このとき、光学リミッター２０はイメージセンサー３０の撮像面上部に位置し、イメージセンサー３０の撮像面から所定の距離離隔されて形成されたり、イメージセンサー３０の撮像面に蒸着される。ここで、所定の距離はレンズ１０を通過した全ての入力映像が光学リミッター２０を通過した後イメージセンサー３０に入力される距離である。光学リミッター２０がイメージセンサー３０と所定の距離以上に離隔され形成された場合、光学リミッター２０を通過する映像が散乱されイメージセンサー３０に入力されないことにより映像の喪失が生じてしまう。

イメージセンサー３０は光学リミッター２０から入力される映像を電気的な信号に変換する。即ち、イメージセンサー３０は、このイメージセンサー３０に入射した輝度に比例して生成される信号電荷をアナログ電圧に検出する。なお、イメージセンサー３０は線形特性を有する素子であるため、光学リミッター２０へ入力される輝度に対して非線形特性の有する入力映像として出力する。

ここで、イメージセンサー３０の出力値は所定の輝度以上において輝度に対し非線形特性を有するよう出力される値である。即ち、所定の輝度以下では、光学リミッター２０をイメージセンサー３０の撮像面上部に位置させない場合のように、イメージセンサー３０の出力値が輝度に対して線形特性を有する。なお、所定の輝度は、光学リミッター２０がイメージセンサー３０の撮像面上部に位置されない場合に出力値を有する入力輝度より低い輝度である。

これは光学リミッター２０を用いない場合の飽和出力値を有する入力輝度より小さい輝度からイメージセンサー３０の出力値が非線形特性を有することによって、光学リミッター２０を用いる場合の飽和出力値を有する入力輝度が光学リミッター２０を用いない場合の飽和出力値を有する入力輝度より増加するからである。

そして、イメージセンサー３０は、図１および図２Ａないし図２Ｂに示したように、イメージセンサー３０はマイクロセンサー３１、カラーフィルタ３３、基板３５を含む。

コンバーター４０はイメージセンサー３０から変換され入力される電気的な信号をデジタル信号に変換する。つまり、コンバーター４０はＡ／Ｄコンバーターである。

信号処理部５０は、コンバーター４０から入力される映像がディスプレーされるよう信号処理を行う。

図４は本発明の一実施の形態に係るイメージセンシング素子１００による動的範囲の拡張を説明するための図である。同図における横軸はイメージセンシング素子１００に入力される輝度であり、縦軸はイメージセンサー３０の出力値である。そしてＩは光学リミッター２０を利用しない場合のイメージセンサー３０の出力を示したグラフであり、ＩＩは光学リミッター２０を用いた場合のイメージセンサー３０の出力値を示したグラフである。

この時、Ｉ_ｓａｔはイメージセンサー３０の飽和出力値であり、Ｉ_ＣＣＤは光学リミッター２０を利用しなかった場合の飽和出力値を有する輝度のうち最小輝度であり、Ｉ_ＯＬは光学リミッタ−２０を用いた場合の飽和出力値を有する輝度を示した値である。

そして、Ａは光学リミッター３０を用いる場合のグラフＩにて、イメージセンサー３０の出力値が輝度に対して線形特性を有する領域であり、Ｂは非線形特性を有する領域である。Ｄは光学リミッター３０の使用によりイメージセンサー３０の出力値が輝度に対して非線形特性を有することによって動的範囲が拡張されたことを示している。

同図に示したように、光学リミッター２０を使用しない場合のグラフＩにおけるイメージセンサー３０の出力値は、飽和出力値を有する輝度Ｉ_ＣＣＤはまでは輝度に対して線形特性を示し、飽和出力値を有する輝度Ｉ_ＣＣＤ以上では飽和輝度Ｉ_ＣＣＤの出力値と同一飽和出力値を有する。

一方、光学リミッター２０を使用する場合のグラフＩＩにおいて、イメージセンサー３０の出力値は輝度に対して非線形特性を有する。この時、輝度に対して非線形特性を有するイメージセンサー３０の出力値は所定の輝度以上で表れる。つまり、所定の輝度以下であれば、言い換えればＡ区間においては光学リミッター２０をイメージセンサー３０の撮像面上部に位置しない場合と同様にイメージ３０の出力値が輝度に対して線形特性を有する。一方、所定の輝度以上であれば、言い換えればＢ区間においては、光学リミッター２０をイメージセンサー３０の撮像面上部に位置させない場合とは相違に、イメージ３０の出力値が輝度に対して非線形特性を有する。非線形特性を有する区間では線形特性の有する区間に比べて輝度に対して出力値の増加率が減少される。

従って、光学リミッター２０を用いる場合のグラフＩＩにおいて、飽和出力値を有する輝度Ｉ_ＯＬが光学リミッター２０を利用しない場合のグラフＩにて飽和出力値を有する輝度Ｉ_ＣＣＤより大きい。また、光学リミッター２０を使用する場合ＩＩ、Ｉ_ＣＣＤより大きい値を有する輝度での出力値がＩ_ＣＣＤの出力値と同じ出力値を有するのでなく、Ｉ_ＣＣＤの出力値より小さい値を有する。

光学リミッター２０を用いない場合の飽和出力値を有する輝度Ｉ_ＣＣＤからその出力値が非線形的に増加し、光学リミッターを用いる場合の飽和出力値を有するＩ_ＯＬからは光学リミッター２０を用いない場合Ｉの飽和輝度Ｉ_ＣＣＤの出力値と同一になる。つまり、イメージセンサー３０の出力値は次式により求められる。

なお、数（１）のｆ_ＣＣＤは光学リミッター２０が使用されない場合の出力特性を示し、数（２）のｆ_{ＯＬ−ＣＣＤ}は光学リミッター２０が使用された場合の出力特性を示す。

数（１）で示すように、光学リミッター２０が使用されない場合には、飽和出力値を有する輝度であるＩ_ＣＣＤおよびＩ_ＯＬからの出力値はＩ_ｓａｔとして同じである。しかし、数（２）に示すように、光学リミッター２０が使用された場合に飽和出力値を有する輝度であるＩ_ＣＣＤの出力値はＩ_ＯＬの出力値より小さい。即ち、Ｉ_ＯＬの出力値は光学リミッター２０を使用しない場合のＩ_ＣＣＤの出力値と同一であるが、Ｉ_ＣＣＤの出力値はＩ_ＯＬの出力値より小さい値であって、まだ出力値が飽和されていない状態である。

従って、光学リミッター２０を使用する場合において、光学リミッター２０を使用しないときの飽和出力値を有する輝度Ｉ_ＣＣＤから光学リミッター２０を使用するとき飽和出力値を有する輝度Ｉ_ＯＬとの間の輝度区間（Ｄ）の場合、光学リミッター２０を使用することによってイメージセンサー３０の出力値が相違になる。

Ｄ区間において、輝度に対するイメージセンサー３０の出力値が異なるのでＤ区間における輝度に対しても相違した映像明るさをディスプレーすることができる。つまり、弱い光信号と強い光信号を映像で処理することを示す指数であるイメージセンシング素子１００の動的範囲が拡張されるのである。

なお、光学リミッター２０は、入力される輝度に対してその出力の変化率が減少する非線形特性区間は、光学リミッター２０を用いない場合のイメージセンシング素子１００が飽和を引き起こす輝度レベルである飽和出力値を有する輝度を含むべきである。即ち、光学リミッター２０を用いない場合の飽和出力値を有する輝度Ｉ_ＣＣＤより小さい値から非線形特性が表れるべきである。これは光学リミッター２０を用いる場合、非線形特性が表れるＢ区間の開始点の輝度がＩ_ＣＣＤより小さくなければならない。小さい値を有することからＩ_ＣＣＤの出力値が_ｓａｔより小さくなり、Ｉ_ＣＣＤよりは大きい輝度であるＩ_ＯＬにて飽和作用が起こることで動的範囲が拡張する。

一方、イメージセンシング素子１００の拡張される動的範囲は次式から求められる。

なお、ＤＲは動的範囲の拡張率を示す。そして、Ｉ_ＣＣＤは光学リミッター２０が使用されない場合の飽和出力値を有する輝度を示し、Ｉ_ＯＬは光学リミッター２０が使用された場合の飽和出力値を有する輝度を示す。

以上、図面を参照して本発明の好適な実施形態を図示および説明してきたが本発明の保護範囲は、前述の実施形態に限定するものではなく、特許請求の範囲に記載された発明とその均等物にまで及ぶものである。

本発明の一実施の形態に係る拡張された動的範囲を有するイメージセンシング素子を示す図である。 本発明の他の実施形態に係る拡張された動的範囲を有するイメージセンシング素子を示す図である。 本発明の他の実施形態に係る拡張された動的範囲を有するイメージセンシング素子を示す図である。 本発明の一実施の形態に係る拡張された動的範囲を有するイメージセンシング素子を用いる撮像装置である。 本発明の一実施の形態に係るイメージセンシング素子による動的範囲の拡張を説明するための図である。

符号の説明

１０ レンズ
２０ 光学リミッター
３０ イメージセンサー
３１ マイクロレンズ
３３ カラーフィルタ
３５ 基板
４０ コンバーター
５０ 信号処理部
１００ イメージセンシング素子

Claims (17)

1. 所定の輝度以上において入力映像が輝度に対し非線形特性を有するよう変換する光学リミッターと、
   前記非線形特性を有するよう変換された入力映像を電気的な信号に変換するイメージセンサーとを含むことを特徴とする拡大された動的範囲を有するイメージセンシング素子。
2. 前記イメージセンサーは、
   入力される光を集束するマイクロレンズと、
   前記マイクロレンズから入力される信号のうち特定の色信号を抽出するカラーフィルタと、
   前記抽出された色信号を電気的な信号に変換する基板とを含むことを特徴とする請求項１に記載の拡大された動的範囲を有するイメージセンシング素子。
3. 前記光学リミッターは、前記イメージセンサーの撮像面から所定の距離離隔されたことを特徴とする請求項１に記載の拡大された動的範囲を有するイメージセンシング素子。
4. 前記光学リミッターは、前記イメージセンサーの撮像面上部に蒸着されることを特徴とする請求項１に記載の拡大された動的範囲を有するイメージセンシング素子。
5. 前記イメージセンサーはＣＣＤおよびＣＭＯＳのうちいずれかであることを特徴とする請求項１に記載の拡大された動的範囲を有するイメージセンシング素子。
6. 前記所定の輝度は、前記光学リミッターが存在しない場合の前記イメージセンサーの飽和出力値を有する輝度より小さいことを特徴とする請求項１に記載の拡大された動的範囲を有するイメージセンシング素子。
7. 所定の輝度以上において入力映像が非線形特性を有する映像に出力されるようにする光学リミッターと、
   前記光学リミッターから出力される映像を光電変換するイメージセンサーと、
   前記光電変換された入力映像をデジタル信号に変換し出力する変換部と、
   前記変換された映像がディスプレーされるべく信号処理を行う信号処理部とを含むことを特徴とする拡大された動的範囲を有するイメージセンシング素子を用いた撮像装置。
8. 前記イメージセンサーは、
   入力される光を集束するマイクロレンズと、
   前記マイクロレンズから入力される信号にうち特定の色信号を抽出するカラーレンズと、
   前記抽出された色信号を電気的な信号に変換する基板とを含むことを特徴とする請求項７に記載の拡大された動的範囲を有するイメージセンシング素子を用いた撮像装置。
9. 前記光学リミッターは、前記イメージセンサーの撮像面から所定の距離離隔されたことを特徴とする請求項７に記載の拡大された動的範囲を有するイメージセンシング素子を用いた撮像装置。
10. 前記光学リミッターは、前記イメージセンサーの撮像面に蒸着されることを特徴とする請求項７に記載の拡大された動的範囲を有するイメージセンシング素子を用いた撮像装置。
11. 前記イメージセンサーはＣＣＤおよびＣＭＯＳのうちいずれかであることを特徴とする請求項７に記載の拡大された動的範囲を有するイメージセンシング素子を用いた撮像装置。
12. 前記所定の輝度は、前記光学リミッターが存在しない場合の前記イメージセンサーの飽和出力値を有する輝度より小さいことを特徴とする請求項７に記載の拡大された動的範囲を有するイメージセンシング素子を用いた撮像装置。
13. 所定の輝度以上において入力映像が輝度に対して非線形特性を有するよう変換する手段と、
    前記非線形特性を有するよう変換された入力映像を電気的な信号に変換する手段とを含むことを特徴とする拡大された動的範囲を有するイメージセンシング素子。
14. 前記入力映像を電気的な信号に変換する手段は、
    入力される光を集束する手段と、
    前記マイクロレンズから入力される信号のうち特定の色信号を抽出する手段と、
    前記抽出された色信号を電気的な信号に変換する手段とを含むことを特徴とする請求項１３に記載の拡大された動的範囲を有するイメージセンシング素子。
15. 前記非線形特性を有するよう変換する手段は、前記入力映像を電気的な信号に変換する手段の撮像面から所定の距離離隔されたことを特徴とする請求項１３に記載の拡大された動的範囲を有するイメージセンシング素子。
16. 前記非線形特性を有するよう変換する手段は、前記入力映像を電気的な信号に変換する手段の撮像面上部に蒸着されることを特徴とする請求項１３に記載の拡大された動的範囲を有するイメージセンシング素子。
17. 前記入力映像を電気的な信号に変換する手段はＣＣＤおよびＣＭＯＳのうちいずれかであることを特徴とする請求項１３に記載の拡大された動的範囲を有するイメージセンシング素子。

Images