JP2006180500A - 非線形画像を補正する撮像装置及びその方法 - Google Patents

Abstract

【課題】 非線形特性を有する光学素子を用いて、イメージセンサのダイナミックレンジを増加させた場合、画像の非線形による解像度の低下を防止するために、画像が線形特性を有するようにする非線形画像を補正する撮像装置及びその方法を提供する。
【解決手段】 非線形画像を補正する撮像装置は、入力画像を光強度に対して非線形特性を有するように変換する光学素子と、非線形特性を有する入力画像を電気的信号に変換するイメージセンサと、電気的信号を光強度に対して線形特性を有する信号に補正する補正部と、補正された信号をデジタル信号に変換するコンバータと、変換された信号が出力画像にディスプレイされるように信号処理する信号処理部とを含む。
【選択図】 図１Ｂ

Description

本発明は、非線形画像を補正する撮像装置及びその方法に関し、さらに詳細には、非線形特性を有する光学素子により拡大されたダイナミックレンジ（ｄｙｎａｍｉｃ ｒａｎｇｅ）を有するイメージセンサを利用する撮像装置において、画像が光強度に対して線形特性を有するように補正する非線形画像を補正する撮像装置及びその方法に関する。

イメージセンサのダイナミックレンジは、どれくらい弱い光信号と強い光信号を画像に再現できるかを表す数値である。すなわち、画素の信号雑音レベルに対する画素の飽和レベル（ｓａｔｕｒａｔｉｏｎ ｌｅｖｅｌ）を意味し、次の数式で表される。

ここで、Ｄは、イメージセンサのダイナミックレンジを表し、Ｎｏｉｓｅは、信号雑音、Ｓａｔｕｒａｔｉｏｎ‐ｌｅｖｅｌは、画素の飽和レベルを表す。

例えば、飽和の際、約２０万個の電子を検出し、雑音の際、約４０個の電子が検出されれば、ダイナミックレンジは略５，０００であり、ｄＢは、約−７５ｄＢ程度となる。

一方、ある１画面に暗い部分と明るい部分とが混在している時、それぞれを全て区別する方法には、入力光に対する露出時間を調節する方法がある。しかし、露出時間を調節することにより暗い部分と明るい部分とを区別するのには限界があるので、ダイナミックレンジを広くすることが求められる。

イメージセンサのダイナミックレンジを向上させる方法には、飽和される時間を出力する方式、画素別に露出時間を異なるようにする方式、信号電荷の増加率を出力する方式などがある。飽和される時間を出力する方式は、画素の電荷や電圧を読み出すことではなく、露出時間を出力する方式である。これは、受光素子の出力信号をイメージセンサのフォトダイオード（ｐｈｏｔｏｄｉｏｄｅ）電位が決められたしきい電圧、すなわち飽和状態に到達する時点または到達する直前の時間をＡ／Ｄ変換器（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）の代りに比較器回路を使用して、カウンタを介して出力する方法である。すなわち、Ａ／Ｄ変換器の代りに比較器回路を使用して、いつ事前決定されたしきい電圧に到達するかを判定して、格納された電荷の離散量を読み取って、直接デジタル表現に変換する。この方法は、特許文献１と特許文献２とに開示されている。

そして、画素別に露出時間を異なるようにする方式は、強い光が照射される画素では露出時間を短くし、暗い画像信号が照射される画素では露出時間を長くすることで、信号レベルを維持すると共に、広いダイナミックレンジを具現することができる。この方法は、特許文献３に開示されている。

そして、イメージセンサのダイナミックレンジを拡大するために、非線形特性を有する素子をイメージセンサの前段に位置させることによって、イメージセンサに入力される信号が光強度に対して非線形特性を有するようにするケースもある。

線形特性を有するイメージセンサに入力される信号が光強度に対して非線形特性を有することによって、イメージセンサから出力される信号もまた光強度に対して非線形特性を有する。しかし、イメージセンサから出力される信号をデジタル信号に変換する場合、イメージセンサから出力される信号が光強度に対して非線形特性を有するようになって、イメージセンサの出力値を同じ間隔でサンプリングする時、各々の同じ間隔の出力値に該当する光強度の間隔は異なってしまうという問題がある。

すなわち、イメージセンサの出力値が非線形特性を有することによって、入力光強度が増加するほどイメージセンサの出力値の増加割合は減少し、同じ出力値の変化量に該当する入力光強度の変化量は互いに異なる。したがって、相対的に入力光強度の変化量を有する光強度に対して同じ出力値で出力するようになって、解像度が低下するという問題が発生する。
米国登録特許６，０６９，３７７号 日本登録特許２，９５３，２９７号 米国登録特許６，４９８，５７６号

本発明は、上記の問題を鑑みてなされたものであって、その目的は、非線形特性を有する光学素子を利用して、イメージセンサのダイナミックレンジを拡大した場合、画像の非線形による解像度の低下を防止するために、画像が線形特性を有するようにする、非線形画像を補正する撮像装置及びその方法を提供することにある。

上記の目的を達成するため、本発明に係る撮像装置は、非線形特性を有する入力画像を電気的信号に変換するイメージセンサと、該電気的信号を光強度に対して線形特性を有する補正された信号に生成する補正部と、該補正された信号をデジタル信号に変換するコンバータと、該デジタル信号が出力画像にディスプレイされるように信号処理する信号処理部とを含む。

また、入力画像を光強度に対して非線形特性を有するように変換する光学素子をさらに含む。

好ましくは、補正部は、光学素子の非線形特性関数の逆関数を利用して、電気的信号を前記光強度に対して線形特性を有する補正された信号に生成する。

また、補正部は、光学素子の非線形特性関数と逆関数の関係を有するアナログ回路である。

この時、光学素子は、入力光を予定された光強度の範囲内で前記光強度に対して非線形特性を有するように変換し、該変換により前記イメージセンサのダイナミックレンジ（ｄｙｎａｍｉｃ ｒａｎｇｅ）を拡大する。

好ましくは、コンバータは、前記イメージセンサのダイナミックレンジが拡大されたことに比例して、増加したビット数を有する。

ここで、イメージセンサは、ＣＣＤまたはＣＭＯＳを含む。

本発明の目的を達成するための他の撮像装置は、入力光を光強度に対して非線形特性を有するイメージに変換する光学素子と、該非線形特性を有するイメージを電気的信号に変換するイメージセンサと、該電気的信号をデジタル信号に変換するコンバータと、該デジタル信号を前記光強度に対して線形特性を有する補正された信号に生成する補正部と、該補正された信号が出力画像にディスプレイされるように信号処理する信号処理部とを含む。

好ましくは、補正部は、光学素子の非線形特性関数の逆関数を利用して、デジタル信号を光強度に対して線形特性を有する補正された信号に生成する。

また、好ましくは、補正部は、非線形特性を有するデジタル信号を処理するデジタル信号プロセッサを含む。

この時、光学素子は、入力光を予定された光強度の範囲内で光強度に対して非線形特性を有するように変換し、該変換により前記イメージセンサのダイナミックレンジを拡大する。

ここで、イメージセンサは、ＣＣＤまたはＣＭＯＳを含む。

一方、本発明の目的を達成するための非線形画像の補正方法は、非線形特性を有する光学素子、及び非線形特性を有する入力画像を光電子的に変換するイメージセンサを含む撮像装置の非線形画像の補正方法において、前記イメージセンサのダイナミックレンジが拡大されるように、入力光を前記光強度に対して非線形特性を有する前記入力画像に変換するステップと、該非線形特性を有する入力画像を電気的信号に変換するステップと、該電気的信号を前記光強度に対して線形特性を有する補正された信号に生成するように補正するステップと、該補正された信号をデジタル信号に変換するステップと、該デジタル信号が出力画像にディスプレイされるように信号処理するステップとを含む。

好ましくは、補正するステップは、前記光学素子の非線形特性関数の逆関数を利用して、前記電気的信号を前記光強度に対して線形特性を有する補正された信号に生成するように補正する。

また、好ましくは、前記補正するステップは、前記光学素子の非線形特性関数と逆関数の関係を有するアナログ回路を利用して、前記電気的信号を補正する。

また、本発明の目的を達成するための他の非線形画像の補正方法は、非線形特性を有する光学素子、及び前記非線形特性を有する入力画像を光電子的に変換するイメージセンサを含む撮像装置の非線形画像の補正方法において、前記イメージセンサのダイナミックレンジが拡大されるように、入力光を前記光強度に対して非線形特性を有する前記入力画像に変換するステップと、該非線形特性を有する前記入力画像を電気的信号に変換するステップと、該電気的信号をデジタル信号に変換するステップと、該デジタル信号を前記光強度に対して線形特性を有する補正された信号に生成するように補正するステップと、該補正された信号が出力画像にディスプレイされるように信号処理するステップと、を含む。

好ましくは、補正するステップは、前記光学素子の非線形特性関数の逆関数を利用して、前記デジタル信号を前記光強度に対して線形特性を有する補正された信号に生成するように補正する。

本発明によれば、非線形特性を有する光学素子により、イメージセンサのダイナミックレンジが拡大される場合、光強度に対して非線形特性を有する出力を線形特性を有するように補正することによって、画像の解像度を向上させることができる。

以下、添付した図面に基づいて、本発明の好適な実施形態を詳細に説明する。

図１Ａ及び図１Ｂは、それぞれ本発明の一実施形態による非線形画像を補正する撮像装置のブロック図である。図１Ａは、非線形画像の補正が、イメージセンサ３０で変換された電気的信号をデジタル信号に変換する前に行われる場合であり、図１Ｂは、非線形画像の補正が、イメージセンサ３０で変換された電気的信号をデジタル信号に変換した後に行われる場合である。

図１Ａ及び図１Ｂに示すように、本発明に係る非線形画像を補正する撮像装置は、レンズ１０、光学素子２０、イメージセンサ３０、補正部４０、コンバータ５０、及び信号処理部６０を含む。

まず、レンズ１０は、入力される光を集束して光学素子２０に出力する。

光学素子２０は、非線形特性を有する素子であって、光学素子２０の出力を受け取るイメージセンサ３０が、光強度に対して非線形特性を有する画像を出力できるようにする。光学素子２０が光強度に対して非線形特性を有する画像を出力することによって、イメージセンサ３０の出力値が飽和される入力光強度の帯域を広める。

イメージセンサ３０は、光強度に対して線形特性を有するため、所定の光強度以上の画像を同じ明るさの画像で出力する。しかし、光学素子２０が、イメージセンサ３０の出力値が非線形特性を有するようにすることで、所定の光強度以上の光強度でも互いに異なる出力値を有し、出力値が飽和される入力光強度の帯域を広める。すなわち、イメージセンサのダイナミックレンジを拡大する。

イメージセンサ３０は、光学素子２０から入力される画像を電気的信号に変換する。すなわち、イメージセンサ３０は、イメージセンサ３０に入射した光強度に比例して生成される信号電荷をアナログ電圧に検出する。

ここで、イメージセンサ３０は、入力される光により発生した電子を、そのままゲートパルスを利用して出力部まで移動させるＣＣＤ型イメージセンサ、入力される光により発生した電子を各画素内で電圧に変換した後、複数のＣＭＯＳスイッチを介して出力するＣＭＯＳ型イメージセンサなどを用いることができる。

そして、イメージセンサ３０は線形特性を有する素子であって、光学素子２０から入力される画像が光強度に対して非線形特性を有する画像であるから、イメージセンサ３０が前記画像を電気的信号に変換しその出力信号も光強度に対して非線形特性を有する信号である。

補正部４０は、光強度に対して非線形特性を有する画像を、線形特性を有する信号に補正する。この時、補正部４０は、イメージセンサ３０から出力される光強度に対して非線形特性を有する画像がデジタル信号に変換される前または変換された後に動作する。すなわち、補正部４０は、コンバータ５０の前後に位置して、イメージセンサ３０から出力されるアナログ信号を補正するか、コンバータ５０から出力されるデジタル信号を補正する。

非線形特性を有する画像がデジタル信号に変換される前に補正部４０が動作する場合、補正部４０は、光学素子２０の非線形特性関数と逆関数の関係を有するアナログ回路で構成されて、イメージセンサ３０から入力される信号の線形化を行う。これに対し、非線形特性を有する画像がデジタル信号に変換された後に補正部４０が動作する場合、補正部４０は、コンバータ５０から出力されるデジタル信号を信号処理して、非線形信号の線形化を行う。

そして、補正部４０は、光強度に対して非線形の信号を出力するために用いられた光学素子２０の非線形特性関数の逆関数を利用して、入力される信号が光強度に対して線形特性を有するように補正する。

すなわち、イメージセンサ３０のダイナミックレンジを拡大するために、非線形特性を有する光学素子２０を用いる場合、光学素子２０の非線形特性関数により、光強度に対して非線形特性を有する信号を出力する。したがって、光学素子２０の非線形特性関数により、イメージセンサ３０に入力される信号が非線形特性を有するので、光学素子２０の非線形特性関数の逆関数をイメージセンサ３０から出力される信号に適用することによって、線形特性を有する信号に補正することができる。

コンバータ５０は、入力されるアナログ信号をデジタル信号に変換する。非線形特性を有する画像がデジタル信号に変換される前に補正部４０が動作する場合、コンバータ５０は、補正部４０で線形特性を有する信号に補正された信号をデジタル信号に変換する。これに対し、非線形特性を有する画像がデジタル信号に変換された後に補正部４０が動作する場合、コンバータ５０はイメージセンサ３０から出力される信号をデジタル信号に変換した後、変換されたデジタル信号が線形信号に補正されるように補正部４０に出力する。

信号処理部６０は、線形特性を有するように補正されたデジタル信号が画面に出力画像でディスプレイされるように信号処理する。

図２は、図１Ａまたは図１Ｂの光学素子２０により、イメージセンサ３０の拡大されるダイナミックレンジを示す図である。ここで、図２の横軸は、入力される光強度を示し、縦軸は、イメージセンサ３０の出力値を示す。そして、Iは、イメージセンサ３０光学素子２０を用いない場合におけるイメージセンサ３０の出力を示すグラフであり、IIは、イメージセンサ３０光学素子２０を用いる場合におけるイメージセンサ２０の出力を示すグラフである。

この時、I_ＣＣＤ及びI_ＯＬは、それぞれI、IIの場合における飽和出力値を有する光強度を示し、I_ｓａｔは、イメージセンサ３０の飽和出力値を示す。そして、Ａ区間は、IIの場合における出力値が光強度に対して線形特性を有する区間であり、Ｂ区間は、IIの場合における出力値が光強度に対して非線形特性を有する区間である。Ｄ区間は、光学素子２０を用いて、イメージセンサ３０の出力値が光強度に対して非線形特性を有するようになって、ダイナミックレンジが拡大される区間を示す。

図２に示すように、光学素子２０を用いる場合のグラフ（II）において、イメージセンサ３０の出力値は、光強度に対して非線形特性を有する。この時、光強度に対して非線形特性を有するイメージセンサ３０の出力値は、所定の光強度であるI_Ｌ以上で現れる。I_Ｌ以下ではすなわち、Ａ区間では、光学素子２０を用いない場合と同様に、イメージセンサ３０の出力値が光強度に対して線形特性を有する。

そして、I_Ｌ以上ではすなわち、Ｂ区間では、光学素子２０を用いない場合とは異なり、イメージセンサ３０の出力値が光強度に対して非線形特性を有する。非線形特性を有する区間では、線形特性を有する区間に比べて光強度の増加に応じて出力値の増加率が減少する。

Ｂ区間において、光強度の増加に応じて出力値の増加率が減少することによって、光学素子２０を用いない場合とは異なり、Ｄ区間では、光強度の増加に応じてイメージセンサ３０の出力値が異なる。したがって、Ｄ区間の光強度に対しても異なる画像の明るさをディスプレイできるようになる。すなわち、どれくらい弱い光信号と強い光信号を画像で表現できるかを表す数値であるイメージセンシング素子１００のダイナミックレンジが拡大される。

図３Ａは、図１Ａまたは図１Ｂの補正部４０における補正の際に利用される関数を説明するための図である。ここで、Ｄ１及びＤ２は、解像度に応じて区分可能な入力光強度の範囲を示し、Ｃ１及びＣ２は、同じ間隔でサンプリングされたイメージセンサ３０の出力値の範囲を示す。そして、Ｘは、光強度に対して線形特性を有する出力値の中で最大値であって、光強度が０からＸまでの範囲ではイメージセンサ３０の出力値は線形特性を示す。

そして、ｆ（I）は、光学素子２０の非線形特性関数であり、ｇ（I）は、光学素子２０の非線形特性関数の逆関数である。
（外１）

は、非線形特性関数ｆ（I）に非線形特性関数の逆関数ｇ（I）が適用された後、光強度に対して線形特性を有するコンバータ５０の出力値を示す。

図３Ａに示すように、光学素子２０を用いることにより、イメージセンサ３０の出力値が光強度に対して非線形特性を有する場合、同じイメージセンサ３０の出力値の変化量に対して、解像度に応じて区分可能な入力光強度の変化量が異なる場合が発生する。

すなわち、イメージセンサ３０の出力値の非線形特性により、光強度の増加に応じて入力光強度の変化量が増加するにもかかわらず、イメージセンサ３０の出力値の変化量は同一であるため、相対的に大きな入力光強度の変化量に対して同じ出力値で検出する。このような誤ったイメージセンサ３０の出力値を利用して信号処理をすることによって、出力画像の解像度は低下され得る。

例えば、まず低い光強度領域において、入力光強度の差（Ｄ１）が１／２^ｎである時、イメージセンサ３０の出力値の変化量（Ｃ１）は「１」であると仮定する。図３Ａに示すように、高い光強度領域において、入力光強度の差（Ｄ２）が５／２ⁿである時、イメージセンサ３０の出力値の変化量（Ｃ２）は「５」にならなければならないにもかかわらず、出力値が１／２^ｎである時の出力値（Ｄ１）と同じ「１」になる問題が発生する。

すなわち、高い光強度領域と低い光強度領域において、イメージセンサ３０の出力値の変化量は同一間隔でサンプリングされるが、実際入力光強度の変化量は異なる。これは、イメージセンサ３０の出力値が光強度に対して非線形特性を有することによって、所定の光強度（Ｘ）以上で光強度の増加に応じる出力値の増加率が減少するためである。

ここで、イメージセンサ３０の出力値が光強度に対して線形特性を有するように補正するために、非線形特性を有するイメージセンサ３０の出力値に適用される関数が光学素子２０の特性関数の逆関数となることは、次の数式により説明することができる。

ここで、Iは、光強度であり、ｆ（I）は、光学素子２０の非線形特性関数である。そして、ｇ（I）は、イメージセンサ３０の出力値を補正するために用いられる関数、すなわち、光学素子２０の非線形特性関数の逆関数となる。

イメージセンサ３０の出力値が線形特性を有するように補正するために、非線形特性関数が適用されたイメージセンサ３０の出力値に任意の関数を適用した値が線形特性を有するものを利用する。すなわち、式（２）を参照すれば、非線形特性関数が適用されたイメージセンサ３０の出力値に任意の関数を適用した値を入力光強度（Ｉ）にする。

したがって、イメージセンサ３０の出力値が線形特性を有するために、非線形特性関数が適用されたイメージセンサ３０の出力値に適用される関数は、式（３）に表した通り、光学素子２０の非線形特性関数の逆関数となる。

図３Ｂ及び図３Ｃは、それぞれ図１Ａ及び図１Ｂの撮像装置における補正部４０の動作を説明するための図である。すなわち、図３Ｂは、非線形特性を有する画像がデジタル信号に変換される前に補正部４０が動作する場合であり、図３Ｃは、非線形特性を有する画像がデジタル信号に変換された後に補正部４０が動作する場合である。

図３Ａの場合と同様に、Ｆ１及びＦ２と、Ｈ１及びＨ２は、解像度に応じて区分可能な入力光強度の範囲を示し、Ｅ１及びＥ２と、Ｇ１及びＧ２は、同じ間隔でサンプリングされたイメージセンサ３０の出力値の範囲を示す。

そして、Ｘは、光強度に対して線形特性を有する出力値の中で最大値であり、光強度が０からＸまでの範囲ではイメージセンサ３０の出力値は線形特性を示す。Ｙは、イメージセンサ３０の出力値が飽和出力値を有する時の光強度である。

この時、ｆ（Ｉ）は、光学素子２０の非線形特性関数であり、g（Ｉ）は、光学素子２０の非線形特性関数の逆関数である。
（外２）

は、非線形特性関数ｆ（Ｉ）に非線形特性関数の逆関数ｇ（Ｉ）が適用された後、光強度に対して線形特性を有するコンバータ５０の出力値を示す。

図３Ｂに示すように、非線形特性を有する画像がデジタル信号に変換される前に補正部４０が動作する場合、コンバータ４０の出力値は補正部４０により線形特性を有するように補正された後である。したがって、同一間隔でサンプリングしたイメージセンサ３０の各出力値の変化量に対応する入力光強度は同じ変化量を有する。すなわち、低い光強度領域でのサンプリング比率と高い光強度領域でのサンプリング比率とは同一である。この時、補正部４０は、光学素子２０の非線形特性関数と逆関数の関係を有するアナログ回路で構成される。

しかし、非線形特性を有する画像がデジタル信号に変換された後に補正部４０が動作する場合、拡大されたダイナミックレンジを有するイメージセンサ３０の出力値が、線形特性を有するように補正された状態でコンバータ５０に入力されることによって、コンバータ５０はイメージセンサ３０のダイナミックレンジが拡大されることに比例して、ビット数が増加しなければならない。例えば、８ｂｉｔのコンバータ５０を介してダイナミックレンジが拡大されないイメージセンサ３０の出力値がサンプリングされる時、光学素子２０によりイメージセンサ３０のダイナミックレンジが２倍拡大される場合には、イメージセンサ３０の出力値が線形化されることによって、９ｂｉｔの信号が生成されて９ｂｉｔのコンバータ５０が要求される。

図３Ｃに示すように、非線形特性を有する画像がデジタル信号に変換された後に補正部４０が動作する場合、コンバータ４０の出力値は補正部４０により線形特性を有するように補正される前である。したがって、コンバータ５０出力値が光強度に対して線形特性を有するように補正される。

この時、コンバータ５０出力値が入力光強度と線形関係を有するように補正されるために、コンバータ５０出力値の変化量が、図３Ｂの場合と同様に、同一間隔ではなく光強度の変化量が次第に増加することにつれ、コンバータ５０出力値の変化量も次第に増加するようになる。すなわち、低い光強度領域でのサンプリング比率と高い光強度領域でのサンプリング比率は異なる。したがって、低い光強度領域での解像度は高い光強度領域での解像度に比べて高い。

したがって、非線形特性を有する画像がデジタル信号に変換された後に補正部４０が動作する場合、低い光強度領域での解像度が高い光強度領域での解像度より高くて、光強度が低いほどその変化に敏感になり、光強度が高くなるほどその変化に鈍感になる人間の視感と類似した特性を有する。

ここで、非線形特性を有する画像がデジタル信号に変換された後に補正部４０が動作する場合、補正部４０はコンバータ５０から入力されるデジタル信号を補正するために、デジタル信号プロセッサとなる。

図４は、本発明の一実施形態に係る非線形画像を補正する方法を示すフローチャートである。図４に示すように、まずレンズ１０に集束された光は光学素子２０により光強度に対して非線形特性を有する画像で出力される（Ｓ３０１）。ここで、光学素子２０は非線形特性素子であって、非線形特性関数によりレンズ１０から入力される光を非線形特性を有する画像で出力する。

そして、図２に基づいて上述したように、光学素子２０がイメージセンサ３０の前段に位置して、所定の光強度以上で画像が光強度に対して非線形特性を有するようにすることで、イメージセンサ３０のダイナミックレンジは拡大される。しかし、イメージセンサ３０のダイナミックレンジの拡大により、所定の光強度以上では光強度の増加に応じる出力値の増加率が減少する。

次に、イメージセンサ３０は光強度に対して非線形特性を有するように出力された画像を電気的信号に変換する（Ｓ３０３）。すなわち、イメージセンサ３０で入射した光強度に比例して生成される信号電荷をアナログ電圧に検出する。この時、イメージセンサ３０は線形特性を有する素子であるから、光学素子２０に入力される光強度対して非線形特性を有する入力画像を非線形特性を有する画像で出力する。

次に、電気的信号に変換されたアナログ信号はコンバータ５０によりデジタル信号に変換される（Ｓ３０５）。すなわち、このコンバータ５０はＡ／Ｄコンバータである。

この時、イメージセンサ３０の出力値を同一間隔でサンプリングして、サンプリングされたイメージセンサ３０の出力値の変化量に該当する光強度の変化量に対して、同じコンバータ５０出力値で出力する。しかし、イメージセンサ３０の出力値が所定の光強度以上で光強度に対して非線形特性を有するので、サンプリングされた同じイメージセンサ３０の出力値の変化量に該当する光強度の変化量は増加する。

すなわち、光強度が増加するほど大きい光強度の変化量に対して同じイメージセンサ３０の出力値を有するようになって、光強度が増加するほど解像度は低下する。したがって、高解像度の画像がディスプレイされるようにコンバータ５０の出力値が光強度に対して線形特性を有するように補正する必要がある。

次に、コンバータ５０の出力値が光強度に対して線形特性を有するように補正する（Ｓ３０７）。コンバータ５０の出力値に光学素子２０の非線形特性関数の逆関数を適用して、信号処理部６０に入力される値が光強度に対して線形特性を有するように補正する。コンバータ５０出力値が非線形特性を有することは光学素子２０の非線形特性関数によるもので、コンバータ５０出力値が光強度に対して非線形特性を有するために、光学素子２０の非線形特性関数の逆関数を適用し補正する。補正されたコンバータ５０の出力値と光強度との関係は、図３Ｃに基づいて上述した通りである。

次に、補正されたコンバータ５０の出力値が画面にディスプレイされるように信号処理する（Ｓ３０９）。コンバータ５０の出力値が光強度に対して線形特性を有するように補正されることによって、イメージセンサ３０のダイナミックレンジ拡大のために非線形特性を有する画像の解像度が高くなり得る。

一方、ステップＳ３０３において、イメージセンサ３０で入力画像を電気的信号に変換した後デジタル信号に変換することではなく、まずイメージセンサ３０の出力値が線形特性を有するように補正することができる。その後、線形特性を有するように補正された電気的信号をデジタル信号に変換した後、画像がディスプレイされるように信号処理する。この時、線形特性を有するように補正された信号がデジタル信号に変換されるコンバータ５０出力値と光強度との関係は、図３Ｂに基づいて上述した通りである。

本発明は上述した特定の実施形態に限定されるものではない。実際、当業者であれば、上記の説明に基づき、特許請求の範囲に記載されている本発明の技術的範囲を逸脱することなく、本発明の実施形態に対し、種々の変更及び修正を施すことが可能であろう。従って、そのような変更及び修正は当然に、本発明の技術的範囲に含まれるべきである。

本発明の一実施形態による非線形画像を補正する撮像装置のブロック図である。 本発明の一実施形態による非線形画像を補正する撮像装置のブロック図である。 図１Ａまたは図１Ｂの光学素子によりイメージセンサの拡大されるダイナミックレンジを示す図である。 図１Ａまたは図１Ｂの補正部における補正の際に利用される関数を説明するための図である。 図１Ａの撮像装置における補正部の動作を説明するための図である。 図１Ｂの撮像装置における補正部の動作を説明するための図である。 本発明の一実施形態による非線形画像を補正する方法を説明するためのフローチャートである。

符号の説明

１０ レンズ
２０ 光学素子
３０ イメージセンサ
４０ 補正部
５０ コンバータ
６０ 信号処理部

Claims (17)

1. 非線形特性を有する入力画像を電気的信号に変換するイメージセンサと、
   該電気的信号を光強度に対して線形特性を有する補正された信号に生成する補正部と、
   該補正された信号をデジタル信号に変換するコンバータと、
   該デジタル信号が出力画像にディスプレイされるように信号処理する信号処理部とを含むことを特徴とする撮像装置。
2. 前記入力画像を光強度に対して非線形特性を有するように変換する光学素子をさらに含むことを特徴とする請求項１に記載の撮像装置。
3. 前記補正部は、前記光学素子の非線形特性関数の逆関数を利用して、前記電気的信号を前記光強度に対して線形特性を有する補正された信号に生成することを特徴とする請求項２に記載の撮像装置。
4. 前記補正部は、前記光学素子の非線形特性関数と逆関数の関係を有するアナログ回路であることを特徴とする請求項２に記載の撮像装置。
5. 前記光学素子は、入力光を予定された光強度の範囲内で前記光強度に対して非線形特性を有するように変換し、該変換により前記イメージセンサのダイナミックレンジ（ｄｙｎａｍｉｃ ｒａｎｇｅ）を拡大することを特徴とする請求項２に記載の撮像装置。
6. 前記イメージセンサは、ＣＣＤまたはＣＭＯＳを含むことを特徴とする請求項２に記載の撮像装置。
7. 前記コンバータは、前記イメージセンサのダイナミックレンジが拡大されたことに比例して、増加したビット数を有することを特徴とする請求項１に記載の撮像装置。
8. 入力光を光強度に対して非線形特性を有するイメージに変換する光学素子と、
   該非線形特性を有するイメージを電気的信号に変換するイメージセンサと、
   該電気的信号をデジタル信号に変換するコンバータと、
   該デジタル信号を前記光強度に対して線形特性を有する補正された信号に生成する補正部と、
   該補正された信号が出力画像にディスプレイされるように信号処理する信号処理部と、を含むことを特徴とする撮像装置。
9. 前記補正部は、前記光学素子の非線形特性関数の逆関数を利用して、前記デジタル信号を前記光強度に対して線形特性を有する補正された信号に生成することを特徴とする請求項８に記載の撮像装置。
10. 前記補正部は、非線形特性を有する前記デジタル信号を処理するデジタル信号プロセッサを含むことを特徴とする請求項８に記載の撮像装置。
11. 前記光学素子は、前記入力光を予定された光強度の範囲内で前記光強度に対して非線形特性を有するように変換し、該変換により前記イメージセンサのダイナミックレンジを拡大することを特徴とする請求項８に記載の撮像装置。
12. 前記イメージセンサは、ＣＣＤまたはＣＭＯＳを含むことを特徴とする請求項８に記載の撮像装置。
13. 非線形特性を有する光学素子、及び前記非線形特性を有する入力画像を光電子的に変換するイメージセンサを含む撮像装置の非線形画像の補正方法において、
    前記イメージセンサのダイナミックレンジが拡大されるように、入力光を前記光強度に対して非線形特性を有する前記入力画像に変換するステップと、
    該非線形特性を有する前記入力画像を電気的信号に変換するステップと、
    該電気的信号を前記光強度に対して線形特性を有する補正された信号に生成するように補正するステップと、
    該補正された信号をデジタル信号に変換するステップと、
    該デジタル信号が出力画像にディスプレイされるように信号処理するステップとを含むことを特徴とする非線形画像の補正方法。
14. 前記補正するステップは、
    前記光学素子の非線形特性関数の逆関数を利用して、前記電気的信号を前記光強度に対して線形特性を有する補正された信号に生成するように補正することを特徴とする請求項１３に記載の非線形画像の補正方法。
15. 前記補正するステップは、
    前記光学素子の非線形特性関数と逆関数の関係を有するアナログ回路を利用して、前記電気的信号を補正することを特徴とする請求項１３に記載の非線形画像の補正方法。
16. 非線形特性を有する光学素子、及び前記非線形特性を有する入力画像を光電子的に変換するイメージセンサを含む撮像装置の非線形画像の補正方法において、
    前記イメージセンサのダイナミックレンジが拡大されるように、入力光を前記光強度に対して非線形特性を有する前記入力画像に変換するステップと、
    該非線形特性を有する前記入力画像を電気的信号に変換するステップと、
    該電気的信号をデジタル信号に変換するステップと、
    該デジタル信号を前記光強度に対して線形特性を有する補正された信号に生成するように補正するステップと、
    該補正された信号が出力画像にディスプレイされるように信号処理するステップとを含むことを特徴とする非線形画像の補正方法。
17. 前記補正するステップは、前記光学素子の非線形特性関数の逆関数を利用して、前記デジタル信号を前記光強度に対して線形特性を有する補正された信号に生成するように補正することを特徴とする請求項１６に記載の非線形画像の補正方法。

Images