JP2006238412A - 輝度レベル変換装置、輝度レベル変換方法、固体撮像装置、輝度レベル変換プログラム、および記録媒体 - Google Patents

Abstract

【課題】対数変換型固体撮像素子から出力された撮像信号によって表される画像のコントラストを改善して自然な画像とする。
【解決手段】輝度レベル変換装置３は、入射光の光量を対数変換する固体撮像素子２から出力された撮像信号の輝度レベルを変換する。輝度レベル変換装置３では、入力輝度レベルと出力輝度レベルとが、１つの変曲点を含んでいるＳ字型の曲線関係を有している輝度レベル変換関数を用いて、輝度レベル変換部７が、撮像信号の輝度レベルを変換する。したがって、撮像信号における低輝度レベル範囲におけるコントラストは圧縮される。同時に、階調性を適度に保ちながら、高い輝度レベル範囲におけるコントラストが圧縮される。これにより、撮像信号における中間輝度レベル範囲におけるコントラストが、大幅に改善される。したがって、輝度レベル変換後の撮像信号によって表される画像が、より自然な画像となる。
【選択図】 図１

Description

本発明は、対数変換型固体撮像素子から出力された撮像信号の輝度レベルを変換する輝度レベル変換装置、輝度レベル変換方法、固体撮像装置、輝度レベル変換プログラム、および記録媒体に関する。

今日、ディジタルスチルカメラやムービーカメラなどの撮影装置が広く普及している。これらの撮影装置には、被写体を撮像する固体撮像素子として、主に、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）が備えられている。ＣＣＤでは、通常、撮像信号に変換可能な入射光のダイナミックレンジが狭い。そのため、ＣＣＤによって撮像された画像内に、被写体の白とびや黒つぶれなどが生じるおそれがある。これらの白とびや黒つぶれは、画像の品質を損ねるものであるため、出来る限り生じないようにすることが好ましい。

そこで、このような問題を解決するために、対数変換型の固体撮像素子が用いられている。対数変換型固体撮像素子は、入射光量を対数変換して撮像信号を出力する。この種の固体撮像素子は、一般に、ＭＯＳ型トランジスタの弱反転領域における電流特性を利用している。これにより、広い撮像信号の入射光量を変換する。

通常、撮影装置によって撮影された画像を表示させるには、撮像信号を、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）や液晶モニタなどの画像表示装置に入力する。これにより、撮像信号によって表される画像や動画が、画像表示装置に表示される。しかし、このような画像や動画を、画像表示装置にそのまま表示させる場合、以下に説明する問題が生ずる。

一般に、デジタルカメラやビデオカメラでは、通常の狭い光量範囲を有する環境において、被写体を撮影する。ここで、対数変換型固体撮像素子は、画像表示装置の表示ダイナミックレンジに比べて、１０００倍以上も広いダイナミックレンジの光量を圧縮する。そのため、対数変換型固体撮像素子から出力された撮像信号を、画像表示装置にそのまま表示させると、画像表示装置に、コントラストが極めて低い画像や動画が表示されてしまう。このような画像や動画では、画像表示装置に表示されている対象が何であるのか、判別しにくくなるおそれがある。

そこで、このような問題を改善する方法が、特許文献１に開示されている。すなわち、特許文献１には、被写体の輝度範囲と画像再生用の出力装置のダイナミックレンジとが対応するように、対数変換型の光電変換手段から出力された信号のレベル変換を行う信号レベル変換方法が開示されている。この従来方法では、固体撮像素子によって得られた撮像信号における輝度レベル範囲全体から、撮像環境に応じて一部の輝度レベル範囲を切り出し、コントラストを直線的に拡大することによって輝度レベルを変換する。

従来の輝度レベル変換方法の詳細について、以下に、図１１および図１２を参照して説明する。図１１（ａ）は、対数変換型固体撮像素子における、入射光量と輝度レベルとの関係（光応答特性）を示すグラフである。図１１（ｂ）は、対数変換型固体撮像素子における、入射光量と画素数との関係（入射光量分布）の一例を表すヒストグラムである。

図１１（ａ）に示すグラフＧ１１１では、横軸が入射光量を示し、縦軸が輝度レベルを示す。また、ＬＭは、固体撮像素子から得られる撮像信号における最大の輝度レベルを示す。図１１（ａ）に示すように、入射光量と、変換前の輝度レベルとは、対数的な曲線関係を有している。

図１１および図１２に示す例では、固体撮像素子は、画素ごとに入射光量を標本化かつ量子化し、撮像信号として出力する。そのため、図１１（ｂ）に示す曲線Ｇ１１２では、縦軸が画素数を示し、横軸が入射光量を示す。

図１１（ａ）および図１１（ｂ）に示すように、固体撮像素子は、入射光量分布範囲Ｒ１１２に対応した、輝度レベルが範囲Ｒ１１１内にある撮像信号を出力する。図１１（ａ）に示すように、輝度レベル範囲Ｒ１１１は、曲線Ｇ１１１の一部を占めるに過ぎない。そのため、固体撮像素子からの出力撮像信号に基づく画像表示を行う際、固体撮像素子の出力ダイナミックレンジのすべてが画像表示装置のダイナミックレンジ内に収まるようにすると、コントラストが低い映像が表示される問題が生ずる。

そこで特許文献１に開示されている従来方法では、よりコントラストを改善する工夫を施す。具体的には、固体撮像素子から出力された撮像信号の輝度レベルを変換する際、輝度レベル範囲Ｒ１１２が、画像表示装置のダイナミックレンジ全体に収まるようにする。図１２に、このような輝度レベル変換の一例を示す。

図１２（ａ）は、従来方法によって輝度レベル変換された撮像信号における、入射光量と変換後の輝度レベルとの関係を示すグラフである。図１２（ｂ）は、入射光量と、画素数との関係を示すヒストグラムである。ここで、ＬＭは、輝度レベル変換後の撮像信号における、最大の輝度レベルを示す。また、ＩＬは、入射光量の最大値を示す。図１２（ｂ）では、図１１（ｂ）に示すグラフにおける横軸のスケールを一部拡大して表示している。したがって、最大入射光量ＩＬは、図１２（ｂ）に示すグラフにおいては、図１１に比べて横軸の右方向にシフトして表示されている。

輝度レベル変換前の輝度レベル範囲Ｒ１１１は、輝度レベル変換後には、図１２（ａ）に示すように、範囲Ｒ１２４のほぼ全体に相当する範囲に直線的に拡大される。この範囲Ｒ１２４は、固体撮像素子の出力ダイナミックレンジをほぼ完全にカバーしている。これにより、撮像信号によって表される画像が画像表示装置において表示される際、固体撮像素子の出力ダイナミックレンジは、画像表示装置のダイナミックレンジ内にすべて収まる。すなわち、図１２（ｂ）に示す入射光量範囲Ｒ１２１に対応する撮像信号は、画像表示装置のダイナミックレンジ全体を使用して表示される。これにより、画像表示装置には、撮像信号の輝度レベルを変換しない場合に比べて、コントラストがより改善された画像が表示される。
特開２００１−２８７１４号（２００１年（平成１３年）１月３０日公開）

しかし、対数変換型の固体撮像素子では、撮像信号が、対数的に圧縮されている。それゆえ、図１２（ａ）における曲線Ｇ１２１では、入射光量と変換後の輝度レベルとの関係に、固体撮像素子の対数特性に由来する逆ガンマ様の特性が残される。このような撮像信号によって表される画像を画像表示装置において表示させると、つぎに説明する問題が生ずる。

特許文献１の従来方法では、図１２（ｂ）に示す範囲Ｒ１２１内にある輝度レベルのうち、入射光量がより少ない範囲Ｒ１２２内の輝度レベルは、図１２（ａ）に示す範囲Ｒ１２５内の輝度レベルに変換される。一方、範囲Ｒ１２１内にある輝度レベルのうち、入射光量がより多い範囲Ｒ１２３内の輝度レベルは、図１２（ａ）に示す範囲Ｒ１２６内の輝度レベルに変換される。ここで、範囲１２６に比べて、範囲１２５の方が、カバーする輝度レベルの範囲がより広い。したがって、固体撮像素子によって撮像された画像内の暗い領域において、コントラストが強調される一方、より明るい領域において、コントラストが低下する。

また、図１２（ａ）に示すように、入射光量がより少ない範囲において、曲線Ｇ１２１の傾きはより大きくなる。これにより、対数変換型固体撮像素子では、より暗い条件下で被写体を撮像するほど、輝度レベル変換後の輝度レベル範囲が大きく割り当てられることによって、コントラストが強調される。それゆえ、入射光量がより暗い範囲に偏って分布されていない限り、撮像された画像の大部分の領域において、輝度レベル変換後のコントラストが低くなってしまう。

したがって、特許文献１の従来方法を用いて撮像信号の輝度レベルを変換する場合、入射光量と輝度レベルとが直線関係を示す曲線Ｇ１２２を用いて撮像信号の輝度レベルを変換する場合に比べて、全般的に不自然であり、コントラストがぼやけた、印象の悪い画像が得られてしまう。ここで、撮影された画像や動画に含まれる文字や図形などの情報を用いて、人間や機械が、何らかの判断を下す状況が考えられる。この場合、上述した従来方法を用いて輝度レベルを変換すると、輝度レベル変換後に階調性が損なわれている画像に基づき、人間や機械が誤った判断を下すおそれがある。これにより、事故などの重大なトラブルが引き起こされる可能性が生ずる。

同様の問題は、図２７に示す例においても生ずる。図２７は、光量差が大きい暗い被写体と明るい被写体とを、対数変換型の固体撮像素子が同時に撮像したときの画像における、撮像信号の輝度レベルと画素数との関係を表すヒストグラムを示す図である。光量差が大きい２つの被写体には、たとえば、トンネルの出口付近における、トンネルの内部と、太陽光下のトンネル外の景色とがある。また、窓のある室内における、室内と、太陽光下の窓の外の景色とがある。このとき、固体撮像素子は、これらの被写体を同じ撮像面上において同時に撮像する。

固体撮像素子が、トンネルの出口付近の風景を撮像する例を以下に説明する。図２７に、固体撮像素子によって撮像された画像における輝度レベルと画素数の関係を示す。図２７において、曲線Ｇ２７１は、撮像信号における、トンネル内部の画像を表す部分の輝度レベル分布を表す。一方、曲線Ｇ２７２は、撮像信号における、主にトンネル外の景色の画像を表す部分の輝度レベル分布を表す。

光量差が大きい暗い被写体と明るい被写体とを、対数変換型の固体撮像素子が同時に撮像したとき、素子に入射される光量の範囲は非常に広い。そのため、対数変換型の固体撮像素子は、曲線Ｇ２７１および曲線Ｇ２７２に示す輝度レベル分布をそれぞれ含んでいる、非常に広い範囲の輝度レベルを含んでいる撮像信号を得る。これは、ＣＣＤと異なり、対数変換型の固体撮像素子における、入射光のダイナミックレンジが広いからである。

先に説明した特許文献１の従来方法は、図２７に示す輝度レベル分布を有している撮像信号の輝度レベルを、以下の手順に従い変換する。すなわち、図２７のＲ２７１に示す、撮像信号における輝度レベルの全体範囲にわたって、輝度レベルを直線的に変換できる。図２７に示すように、全体範囲Ｒ２７１には、輝度レベル範囲がより狭い部分範囲Ｒ２７２が含まれている。このとき、輝度レベルの変換後においても、全体範囲Ｒ２７１に対する部分範囲Ｒ２７２の割合に変化はない。

そのため、輝度レベルを変換した後における輝度信号を画像表示装置に再生させたとき、曲線Ｇ２７１に示す分布に対応するトンネル内部の画像は、コントラストが小さい暗い部分として表示される。一方、Ｇ２７２の分布に対応するトンネル外の景色は、コントラストが小さい明るい部分として表示される。

したがって、表示される画像における暗い部分と、明るい部分との両方に、いずれもコントラストが不足してしまう。このとき、輝度レベル変換後の被写体画像に含まれている文字や図形などの情報を用いて、人間や機械が、何らかの判断を下す状況が考えられる。この場合もやはり、上述した問題と同様に、輝度レベル変換後に階調性が損なわれている画像に基づき、人間や機械が誤った判断を下すおそれがある。これにより、事故などの重大なトラブルが引き起こされる可能性が生ずる。

本発明は上記の課題を解決するためになされたものであり、その目的は、対数変換型固体撮像素子から出力された撮像信号によって表される画像のコントラストを改善して自然な画像とする輝度レベル変換装置、輝度レベル変換方法、固体撮像装置、輝度レベル変換プログラム、および記録媒体を提供することにある。

上記の課題を解決するために、本発明に係る輝度レベル変換装置は、
入射光の光量を対数変換する固体撮像素子から出力された撮像信号の輝度レベルを変換する輝度レベル変換装置において、
入力輝度レベルと出力輝度レベルとが、少なくとも１つの変曲点を含んでいる曲線関係を有している輝度レベル変換関数を用いて、上記撮像信号の輝度レベルを変換する輝度レベル変換手段を備えていることを特徴としている。

上記の構成によれば、本装置では、輝度レベル変換手段は、入力輝度レベルと出力輝度レベルとが少なくとも１つの変曲点を含んでいる曲線関係を有している輝度レベル変換関数を用いることによって、撮像信号の輝度レベルを変換する。ここでいう「変曲点」とは、入力輝度レベルと出力輝度レベルとの関係を表す曲線において、入力輝度レベルの増分に対する出力輝度レベルの増分が、増加傾向から減少傾向に切り替わる点を意味する。また、変曲点においては、輝度レベル変換関数の２次導関数の値がゼロになる。

したがって、輝度レベル変換手段が用いる輝度レベル変換関数では、入力輝度レベルの変化に応じた出力輝度レベルの変化が、変曲点に近いほど大きくなる。

このように、輝度レベル変換手段は、上述した性質を有する輝度レベル変換関数を用いることによって、輝度レベル変換関数の変曲点における入力輝度レベル付近を除いて、撮像信号のコントラストを圧縮する。同時に、輝度レベル変換関数の変曲点における入力輝度レベル付近のコントラストを大幅に改善する。したがって、撮像信号における一部の輝度レベル領域を切り出して、階調を直線的に拡大した場合に比べて、輝度レベル変換後の撮像信号によって表される画像が、より自然な画像となる効果を奏する。

上記の課題を解決するために、本発明に係る輝度レベル変換方法は、
入射光量を対数変換する固体撮像素子から出力された輝度信号の輝度レベルを変換する輝度レベル変換方法において、
入力輝度レベルと出力輝度レベルとが、少なくとも１つの変曲点を含んでいる曲線関係を有している輝度レベル変換関数を用いて、上記撮像信号の輝度レベルを変換する輝度レベル変換工程を含んでいることを特徴としている。

上記の構成によれば、上述した輝度レベル変換装置と同様の作用、効果を奏する。

また、本発明に係る輝度レベル変換装置では、さらに、
上記輝度レベル変換関数は、上記入力輝度レベルと上記出力輝度レベルとが、１つの変曲点を含んでいるＳ字型の曲線関係を有していることが好ましい。

上記の構成によれば、本装置では、輝度レベル変換手段は、入力輝度レベルと出力輝度レベルとが１つの変曲点を含むＳ字型の曲線関係を有している輝度レベル変換関数を用いることによって、撮像信号の輝度レベルを変換する。すなわち、ここでいうＳ字型の曲線とは、たとえば、変曲点に近いほど曲線の傾きが大きくなる曲線を意味する。換言すると、輝度レベル変換手段が用いる輝度レベル変換関数では、入力輝度レベルの変化に応じた出力輝度レベルの変化が、変曲点に近いほど大きくなる。

このように、輝度レベル変換手段は、上述した性質を有する輝度レベル変換関数を用いることによって、撮像信号における低輝度レベル範囲におけるコントラストを圧縮する。同時に、階調性を適度に保ちながら、高い輝度レベル範囲におけるコントラストを圧縮する。これにより、撮像信号における中間輝度レベル範囲におけるコントラストが、大幅に改善される。したがって、撮像信号における一部の輝度レベル領域を切り出して、階調を直線的に拡大した場合に比べて、輝度レベル変換後の撮像信号によって表される画像が、より自然な画像となる効果を奏する。

上記輝度レベル変換関数は、シグモイド型関数または２次関数であることが好ましい。特に、輝度レベル変換関数が２次関数である場合、シグモイド型の輝度レベル変換関数に比べて、計算式がシンプルである。したがって、２次関数である輝度レベル変換関数を用いる場合、シグモイド型の輝度レベル変換関数を用いる場合に比べて、より少ない計算量で輝度レベルを変換できる。したがって、撮像信号の輝度レベルを、より短い時間で変換できる。さらに、２次関数を用いた輝度レベル変換装置を電子回路等のハードウェアによって構成する場合、シグモイド型の輝度レベル変換関数を用いた輝度レベル変換装置に比べてより小規模のハードウェア構成とすることができるため、より少ない消費電力で駆動する輝度レベル変換装置を実現できる。

また、本発明の輝度レベル変換装置では、
上記撮像信号の特性に基づき、上記輝度レベル変換関数を算出する関数算出手段をさらに備えており、
上記輝度レベル変換手段は、上記関数算出手段によって算出された上記輝度レベル変換関数を用いて、上記撮像信号の輝度レベルを変換することが好ましい。

上記の構成によれば、関数算出手段は、撮像信号によって表される画像の特性に基づき、輝度レベル変換関数を算出する。これにより、輝度レベル変換手段は、画像の特性に基づき算出された輝度レベル変換関数を用いて、撮像信号の輝度レベルを変換する。したがって、輝度レベル変換装置では、画像の特性に応じた最適な輝度レベル変換が行われ、より自然な画像を得ることができる効果を奏する。

また、本発明の輝度レベル変換装置では、
上記撮像信号における輝度レベルと画素数との関係を表すヒストグラムを算出するヒストグラム算出手段をさらに備えており、
上記関数算出手段は、上記ヒストグラム算出手段によって算出された上記ヒストグラムに基づき、上記輝度レベル変換関数を算出することが好ましい。

上記の構成によれば、本装置では、ヒストグラムに基づき、関数算出手段が、輝度レベル変換関数を算出する。これにより、関数算出手段は、被写体の画像に合致した最適な輝度レベル変換関数を算出することができる。したがって、輝度レベル変換手段は、被写体の画像に最適な輝度レベル変換関数を用いて、撮像信号の輝度レベルを変換できる。すなわち、より自然な画像を得ることができる効果を奏する。

また、本発明の輝度レベル変換装置では、
上記ヒストグラムを平滑化するヒストグラム平滑化手段をさらに備えていることが好ましい。

上記の構成によれば、ヒストグラム平滑化手段は、ヒストグラムをたとえば移動平均処理等によって平滑化し、滑らかで凹凸の少ないヒストグラムに変換する。これにより、被写体の急激な変動による、ヒストグラムのゆらぎを低減できる。また、関数算出手段は、平滑化されたヒストグラムに基づき、輝度レベル変換関数を算出する。したがって、輝度レベル変換手段は、ゆらぎの少ないヒストグラムに基づき算出された、パラメータ変動の少ない輝度レベル変換関数を用いて、撮像信号の輝度レベルを変換する。これにより、輝度レベル変換された後に撮像信号を画像表示装置に入力した際、よりフリッカが抑えられた画像を表示できる効果を奏する。

また、本発明の輝度レベル変換装置では、
上記ヒストグラムにおける最低輝度レベル以上、第１基準輝度レベル以下の範囲内の輝度レベルを有する画素の数を累積加算することによって、第１累積画素数を算出する第１累積画素数算出手段と、
上記第１累積画素数が所定の第１基準画素数を超える場合、上記第１基準輝度レベルを第１暗輝度参照レベルとして算出する第１暗輝度参照レベル算出手段と、
上記ヒストグラムにおける第２基準輝度レベル以上、最高輝度レベル以下の範囲内の輝度レベルを有する画素の数を累積加算することによって、第２累積画素数を算出する第２累積画素数算出手段と、
上記第２累積画素数が所定の第２基準画素数を超える場合、上記第２基準輝度レベルを第１明輝度参照レベルとして算出する第１明輝度参照レベル算出手段と、をさらに備えており、
上記関数算出手段は、上記第１暗輝度参照レベルおよび上記第１明輝度参照レベルに基づき、上記輝度レベル変換関数を算出することが好ましい。

ここで、上記所定の第１基準画素数は、上記ヒストグラムにおける全累積画素数の０．０５〜０．５％の値であることが好ましい。また、上記所定の第２基準画素数は、上記ヒストグラムにおける全累積画素数の０．０５〜０．５％の値であることが好ましい。

上記の構成によれば、第１暗輝度参照レベルおよび第１明輝度参照レベルに基づき、輝度レベル変換関数が算出される。ここで、第１暗輝度参照レベルおよび第１明輝度参照レベルは、ヒストグラムにおける累積画素数に基づき、算出される値である。したがって、第１暗輝度参照レベルおよび第１明輝度参照レベルは、統計的により安定したパラメータとなる。すなわち、関数算出手段は、統計的により安定したパラメータに基づき、輝度レベル変換関数を算出する。これにより、算出される輝度レベル変換関数の、時間的な変動を低減できる。したがって、撮像信号の輝度レベルを安定して変換できる効果を奏する。

また、本発明の輝度レベル変換装置では、
所定の暗領域基準輝度レベルよりも小さい輝度レベルを有する画素の、上記撮像信号内の画素アドレスの分散を、暗領域画素アドレス分散として算出する暗領域画素アドレス分散算出手段と、
上記暗領域画素アドレス分散が、所定の第１基準画素アドレス分散よりも大きいか否かを判定する暗領域画素アドレス分散判定手段と、
上記暗領域画素アドレス分散判定手段による判定結果が真であるとき、上記所定の第１基準画素数を、あらかじめ定められている値より大きい値に設定する第１基準画素数設定手段とをさらに備えていることが好ましい。

上記の構成によれば、関数算出手段は、輝度レベル変換の下限がより狭められた輝度レベル変換関数を求めることになる。したがって、輝度レベル変換手段は、輝度レベル変換関数を用いて輝度レベルを変換する際、撮像信号における最暗部領域の階調の割り当てを小さくし、かつ、その他の領域に階調を割り当てることができる。その結果、輝度レベル変換後の撮像信号によって表される画像のコントラストを、全体的に改善できる効果を奏する。

また、本発明の輝度レベル変換装置では、
所定の明領域基準輝度レベルよりも大きい輝度レベルを有する画素の、上記撮像信号によって表される撮像された画像内の画素アドレスの分散を、明領域画素アドレス分散として算出する明領域画素アドレス分散算出手段と、
上記明領域画素アドレス分散が、所定の第２基準画素アドレス分散よりも大きいか否かを判定する明領域画素アドレス分散判定手段と、
上記明領域画素アドレス分散判定手段による判定結果が真であるときに、上記所定の第２基準画素数を、あらかじめ定められている値より大きい値に設定する第２基準画素数設定手段とをさらに備えていることが好ましい。

上記の構成によれば、関数算出手段は、輝度レベル変換の上限がより狭められた輝度レベル変換関数を求めることになる。したがって、輝度レベル変換手段は、輝度レベル変換関数を用いて輝度レベルを変換する際、撮像信号における最明部領域の階調の割り当てを小さくし、かつ、その他の領域に階調を割り当てることができる。その結果、輝度レベル変換後の撮像信号によって表される画像のコントラストを、全体的に改善できる効果を奏する。

また、本発明の輝度レベル変換装置では、
上記ヒストグラムにおける最低輝度レベル以上、第３基準輝度レベル以下の範囲内の輝度レベルの画素数を累積加算することによって、第３累積画素数を算出する第３累積画素数算出手段と、
上記第３累積画素数が所定の第３基準画素数を超える場合、上記第３基準輝度レベルを上記暗領域基準輝度レベルとして算出する暗領域基準輝度レベル算出手段とをさらに備えていることが好ましい。ここで、上記所定の第３基準画素数は、上記ヒストグラムにおける全累積画素数の０．５〜１．５％の値であることが好ましい。

上記の構成によれば、画素の画素アドレスの分散を調べる対象を、被写体の撮像面の合計面積の限定された撮像領域とすることができる。したがって、重要な撮像対象とする最暗部の被写体の撮像面上での最大限の面積を事前に規定できる効果を奏する。

また、本発明の輝度レベル変換装置では、
上記ヒストグラムにおける第４基準輝度レベル以上、最高輝度レベル以下の範囲内の輝度レベルの画素数を累積加算することによって、第４累積画素数を算出する第４累積画素数算出手段と、
上記第４累積画素数が所定の第４基準画素数を超える場合、上記第４基準輝度レベルを上記明領域基準輝度レベルとして算出する明領域基準輝度レベル算出手段とをさらに備えていることが好ましい。ここで、上記所定の第４基準画素数は、上記ヒストグラムにおける全累積画素数の０．５〜１．５％の値であることが好ましい。

上記の構成によれば、画素の画素アドレスの分散を調べる対象を、被写体の撮像面の合計面積の限定された撮像領域とすることができる。したがって、重要な撮像対象とする最明部の被写体の撮像面上での最大限の面積を事前に規定できる効果を奏する。

また、本発明の輝度レベル変換装置では、上記第１明輝度参照レベルと上記第１暗輝度参照レベルとの差分に所定の第１係数を乗じた値を、上記第１暗輝度参照レベルから減算することによって、第２暗輝度参照レベルを算出する第２暗輝度参照レベル算出手段と、
上記第１明輝度参照レベルと上記第１暗輝度参照レベルとの差分に所定の第２係数を乗じた値を、上記第１明輝度参照レベルに加算することによって、第２明輝度参照レベルを算出する第２明輝度参照レベル算出手段とをさらに備えており、
上記関数算出手段は、上記第２暗輝度参照レベルおよび上記第２明輝度参照レベルに基づき、上記輝度レベル変換関数を算出することが好ましい。

ここで、上記所定の第１係数は、０．１〜０．６の範囲内にある値であることが好ましく、特に、約０．５であることがより好ましい。また、上記所定の第２係数は、０．１〜０．６の範囲内にある値であることが好ましく、特に、約０．５であることがより好ましい。

上記の構成によれば、撮像信号における輝度レベルの分布の変動に対応して、算出される輝度レベルの範囲の上限および下限を求めることができる効果を奏する。

また、本発明に係る輝度レベル変換装置では、さらに、
上記輝度レベル変換関数では、
上記入力輝度レベルと上記出力輝度レベルとは、基準輝度レベルより低い上記入力輝度レベルを示す１つの上記変曲点と、上記基準輝度レベルより高い上記入力輝度レベルを示す１つの上記変曲点を含んでいる曲線関係を有していることが好ましい。

上記の構成によれば、輝度レベル変換手段は、入力輝度レベルと出力輝度レベルとが、暗変曲点および明変曲点を含んでいる曲線関係を有している輝度レベル変換関数を用いることによって、撮像信号の輝度レベルを変換する。ここで、暗変曲点とは、基準輝度レベルより低い入力輝度レベルを示す１つの変曲点である。一方、明変曲点とは、基準輝度レベルより高い入力輝度レベルを示す１つの変曲点である。

これにより輝度レベル変換手段は、撮像信号に含まれている、暗い被写体を表す部分の輝度レベルを、輝度レベル変換関数における、暗変曲点を含んでいるＳ字型の曲線関係を有している部分によって、変換する。一方、明るい被写体を表す部分の輝度レベルを、輝度レベル変換関数における、明変曲点を含んでいるＳ字型の曲線関係を有している部分によって、変換する。

以上の輝度レベル変換により、輝度レベル変換手段は、暗被写体における、輝度レベルがより暗変曲点より低い範囲におけるコントラストを圧縮する。同時に、階調性を適度に保ちながら、輝度レベルが暗変曲点より高い範囲におけるコントラストを圧縮する。さらに、明被写体においても、同様に、輝度レベルが明輝度レベルより低い範囲におけるコントラストを圧縮する。同時に、階調性を適度に保ちながら、輝度レベルが明輝度レベルより高い範囲におけるコントラストを圧縮する。

これにより輝度レベル変換手段は、暗被写体および明被写体のいずれにおいても、各被写体における相対的な中間輝度レベルの範囲におけるコントラストを、大幅に改善できる。したがって、暗被写体および明被写体を含んでいる画像を表す撮像信号から、各被写体に対応する輝度レベル領域を抽出し、階調を直線的に拡大する方法に比べて、輝度レベル変換後の撮像信号によって表される画像における各被写体画像が、よりコントラストのはっきりとした自然な被写体画像となる効果を奏する。

また、本発明に係る輝度レベル変換装置では、さらに、
上記輝度レベル変換関数は、
基準輝度レベルよりも低い輝度レベルが属している暗領域において、上記入力輝度レベルと上記出力輝度レベルとが１つの変曲点を含んでいるＳ字型の曲線関係を有している暗領域Ｓ字様関数と、上記基準輝度レベルよりも高い輝度レベルが属している明領域において、上記入力輝度レベルと上記出力輝度レベルとが１つの変曲点を含んでいるＳ字型の曲線関係を有している明領域Ｓ字様関数との重み付け加算関数であることが好ましい。

上記の構成によれば、輝度レベル変換関数は、暗領域Ｓ字様関数と、明領域Ｓ字様関数との重み付け加算関数である。ここで、暗領域Ｓ字様関数では、入力輝度レベルと上記出力輝度レベルとが、暗領域において１つの変曲点を含んでいるＳ字型の曲線関係を有している。この暗領域とは、基準輝度レベルよりも低い輝度レベルを含んでいる領域のことである。すなわち、暗領域Ｓ字様関数は、撮像信号における、基準輝度レベルよりも低い輝度レベルの変換を担当する関数である。

一方、明領域Ｓ字様関数では、入力輝度レベルと出力輝度レベルとが、明領域において１つの変曲点を含んでいるＳ字型の曲線関係を有している。また、明領域とは、基準輝度レベルよりも高い輝度レベルを含んでいる領域である。すなわち明領域Ｓ字様関数は、撮像信号における、基準輝度レベルよりも高い輝度レベルの変換を担当する関数である。

このように、本構成の輝度レベル変換装置が用いる輝度レベル変換関数は、暗領域Ｓ字様関数と明領域Ｓ字様関数との重み付け関数である。したがって、輝度レベル変換装置における、低輝度レベル領域と高輝度レベル領域とにそれぞれ割り当てられる階調範囲は、重み付け加算に用いられる重み付け係数に応じて変化する。したがって輝度レベル変換装置は、このような輝度レベル変換関数を用いることによって、輝度レベル変換後の撮像信号おける、低輝度レベル側のコントラストの改善具合と、高輝度レベル側のコントラストの改善具合とを、バランス良く制御できるという効果を奏する。

なお、上記暗領域Ｓ字様関数およ明領域Ｓ字様関数の少なくともいずれかは、シグモイド型関数であることが好ましい。

また、本発明の輝度レベル変換装置では、
上記撮像信号の特性に基づき、上記暗領域Ｓ字様関数および上記明領域Ｓ字様関数とを所定の重み付け係数によって重み付けることによって、上記輝度レベル変換関数を算出する関数算出手段をさらに備えており、
上記輝度レベル変換手段は、
上記関数算出手段によって算出された上記輝度レベル変換関数を用いて、上記撮像信号の輝度レベルを変換することが好ましい。

上記の構成によれば、関数算出手段は、撮像信号によって表される画像の特性に基づき、暗領域Ｓ字様関数および明領域Ｓ字様関数を所定の重み付け係数によって重み付けることによって、２つの変曲点を有する輝度レベル変換関数を算出する。これにより輝度レベル変換手段は、画像の特性に基づき算出された輝度レベル変換関数を用いて、撮像信号の輝度レベルを変換する。したがって、輝度レベル変換装置は、暗領域（低輝度レベル領域）においても、明領域（高輝度レベル領域）においても、被写体画像の特性に応じた最適な輝度レベル変換を行うため、より自然な画像を得ることができる効果を奏する。

また、本発明の輝度レベル変換装置では、
上記撮像信号における輝度レベルと画素数との関係を表すヒストグラムを算出するヒストグラム算出手段をさらに備えており、
上記関数算出手段は、上記ヒストグラム算出手段によって算出された上記ヒストグラムに基づき、上記輝度レベル変換関数を算出することが好ましい。

上記の構成によれば、本装置では、ヒストグラムに基づき、関数算出手段が、２つの変曲点を有する輝度レベル変換関数を算出する。これにより、関数算出手段は、被写体の画像に合致した最適な輝度レベル変換関数を算出することができる。したがって、輝度レベル変換手段は、暗い被写体画像および明るい被写体画像について、それぞれ最適な輝度レベル変換関数を用いて、撮像信号の輝度レベルを変換できる。したがって、より自然な画像を得ることができる効果を奏する。

また、本発明の輝度レベル変換装置では、
上記ヒストグラムにおける最低輝度レベル以上、第１基準輝度レベル以下の範囲内の輝度レベルを有する画素の数を累積加算することに
よって、第１累積画素数を算出する第１累積画素数算出手段と、
上記第１累積画素数が所定の第１基準画素数を超える場合、上記第１基準輝度レベルを暗輝度参照レベルとして算出する暗輝度参照レベル算出手段と、
上記ヒストグラムにおける第２基準輝度レベル以上、最高輝度レベル以下の範囲内の輝度レベルを有する画素の数を累積加算することによって、第２累積画素数を算出する第２累積画素数算出手段と、
上記第２累積画素数が所定の第２基準画素数を超える場合、上記第２基準輝度レベルを明輝度参照レベルとして算出する明輝度参照レベル算出手段と、
上記画像に含まれている画素のうち、所定の明領域基準輝度レベルよりも大きい上記輝度レベルを有している画素の上記輝度レベルの平均値を、明領域画素平均輝度レベルとして算出する明領域画素平均輝度レベル算出手段と、
上記ヒストグラムにおいて所定の暗領域基準輝度レベルよりも小さい輝度レベルが属する範囲における、最大画素数を表す上記輝度レベルを、暗領域ピーク輝度レベルとして算出する暗領域ピーク輝度レベル算出手段と、
上記明領域画素平均輝度レベルと、上記暗領域ピーク輝度レベルとの中間値である中間輝度レベルを算出する中間輝度レベル算出手段とをさらに備えており、
上記関数算出手段は、上記暗輝度参照レベル、上記明輝度参照レベル、および上記中間輝度レベルに基づき、上記暗領域Ｓ字様関数および明領域Ｓ字様関数を算出し、さらに、上記算出した暗領域Ｓ字様関数と上記算出した明領域Ｓ字様関数とを上記重み付け係数によって重み付けることによって、上記輝度レベル変換関数を算出することが好ましい。

上記の構成によれば、関数算出手段は、暗輝度参照レベル、明輝度参照レベル、および中間輝度レベルに基づき、暗領域Ｓ字様関数および明領域Ｓ字様関数を算出する。これにより、固体撮像素子が撮影した画像に暗い被写体と明るい被写体が同時に含まれ、それらの光量差が大きいとき、関数算出手段は、入力輝度レベルと出力輝度レベルとが、暗被写体における輝度レベル分布のほぼ中心を示す位置に変曲点を含んでいる曲線関係を有している暗領域Ｓ字様関数を算出する。一方、暗被写体における輝度レベル分布のほぼ中心を示す位置に変曲点を含んでいる曲線関係を有している明領域Ｓ字様関数を算出する。

したがって関数算出手段は、算出した暗領域Ｓ字様関数および明領域Ｓ字様関数を重み付け係数によって重み付けることによって、撮像画像に含まれている暗被写体および明被写体の輝度レベルを変換するために適した輝度レベル変換関数を算出する。そのため、輝度レベル変換手段は、撮像画像に含まれている暗被写体および明被写体の両方とも、コントラストがより改善された暗被写体および明被写体にそれぞれ変換する。

これにより輝度レベル変換装置は、暗被写体および明被写体がよりいっそう自然に見える画像を得ることができる効果を奏する。

また、本発明の輝度レベル変換装置では、
上記関数算出手段は、
上記撮像信号の特性に基づき、上記入力輝度レベルと上記出力輝度レベルとが、１つの変曲点を含んでいるＳ字型の曲線関係を有している第１輝度レベル変換関数、または、上記入力輝度レベルと上記出力輝度レベルとが、基準輝度レベルより低い上記入力輝度レベルを示す１つの上記変曲点と、上記基準輝度レベルより高い上記入力輝度レベルを示す１つの上記変曲点とを含んでいる曲線関係を有している第２輝度レベル変換関数を算出し、
上記輝度レベル変換手段は、
上記関数算出手段によって算出された上記第１輝度レベル変換関数または上記第２輝度レベル変換関数を用いることによって、上記撮像信号の輝度レベルを変換することが好ましい。

また、本発明の輝度レベル変換装置では、
上記撮像信号における輝度レベルと画素数との関係を表すヒストグラムを算出するヒストグラム算出手段をさらに備えており、
上記関数算出手段は、上記ヒストグラム算出手段によって算出された上記ヒストグラムに基づき、上記第１輝度レベル変換関数または上記第２輝度レベル変換関数を算出することが好ましい。

上記の構成によれば、本装置では、撮像信号の輝度レベルと画素との関係を示すヒストグラムに基づき、関数算出手段が、第１輝度レベル変換関数または第２輝度レベル変換関数輝度を算出する。たとえばヒストグラムに基づき撮像画像に１つの被写体が含まれていると判定したとき、関数算出手段は、変曲点を１つ有する第１輝度レベル変換関数を算出する。したがって関数算出手段は、被写体が１つだと判定された撮像画像を表す撮像信号の輝度レベルを、第１輝度レベル変換関数を用いることによって変換する。

一方、ヒストグラムに基づき撮像画像に１つの暗被写体と１つの明被写体が共に含まれていると判定したとき、関数算出手段は、変曲点を２つ有する第２輝度レベル変換関数を算出する。したがって関数算出手段は、被写体が２つ含んでいると判定された撮像画像を表す撮像信号の輝度レベルを、第２輝度レベル変換関数を用いることによって変換する。これにより、明被写体および暗被写体ともに、コントラストを最適に制御できる。

このように輝度レベル変換手段は、撮像画像に含まれている各被写体画像の輝度レベル変換に適した輝度レベル変換関数を用いて、撮像信号の輝度レベルを変換できる。これにより輝度レベル変換装置は、よりいっそう自然な画像を得ることができる効果を奏する。

また、本発明の輝度レベル変換装置では、
上記撮像信号によって表される画像を構成する画素のうち、所定の明領域基準輝度レベルよりも大きい上記輝度レベルを有している画素の上記輝度レベルの平均値を、明領域画素平均輝度レベルとして算出する明領域画素平均輝度レベル算出手段と、
上記ヒストグラムにおいて所定の暗領域基準輝度レベルよりも小さい輝度レベルが属する範囲における、最大画素数を表す上記輝度レベルを、暗領域ピーク輝度レベルとして算出する暗領域ピーク輝度レベル算出手段と、
上記明領域画素平均輝度レベルと、上記暗領域ピーク輝度レベルとの中間値である中間輝度レベルを算出する中間輝度レベル算出手段とをさらに備えており、
上記関数算出手段は、
上記ヒストグラムにおける上記中間輝度レベルの画素数が、所定の基準画素数よりも大きいとき、上記第１輝度レベル変換関数を算出することが好ましい。

上記の構成によれば、関数算出手段は、ヒストグラムにおける中間輝度レベルの画素数が所定の基準画素数より大きいとき、撮像画像において、中間輝度レベルの画素が一定以上存在すると判定する。これにより関数算出手段は、撮像画像内に、輝度レベルが中間値に分布している被写体が含まれていると判定する。

このとき関数算出手段は、撮像画像における中間輝度レベル部分のコントラストが低下してしまうと、画像全体のコントラストに支障が生ずると判定する。そこで、入力輝度レベル変換手段と出力輝度レベル変換手段とが、１つの変曲点を含んでいる曲線関係を有している第１輝度レベル変換関数を算出する。したがって輝度レベル変換手段は、被写体画像を１つ含んでいると判定された撮像画像を表す撮像信号の輝度レベルを、第１輝度レベル変換関数を用いることによって変換する。

このように、輝度レベル変換装置は、撮像画像の被写体に応じた最適な輝度レベル変換手段によって、撮像信号の輝度レベルを変換できる効果を奏する。

また、本発明の輝度レベル変換装置では、
所定の第１明領域基準輝度レベルよりも大きい輝度レベルを有する画素の、上記撮像信号によって表される撮像された画像内の画素アドレスの分散を、明領域画素アドレス分散として算出する明領域画素アドレス分散算出手段と、
上記撮像信号によって表される画像を構成する画素のうち、所定の第２明領域基準輝度レベルよりも大きい上記輝度レベルを有している画素の上記輝度レベルの平均値を、明領域画素平均輝度レベルとして算出する明領域画素平均輝度レベル算出手段と、
上記ヒストグラムにおいて所定の暗領域基準輝度レベルよりも小さい輝度レベルが属する範囲における最大画素数を表す上記輝度レベルを、暗領域ピーク輝度レベルとして算出する暗領域ピーク輝度レベル算出手段と、
上記明領域画素平均輝度レベルと、上記暗領域ピーク輝度レベルとの中間値である中間輝度レベルを算出する中間輝度レベル算出手段とをさらに備えており、
上記関数算出手段は、
上記明領域画素アドレス分散が所定の第２基準画素アドレス分散よりも大きいか、または、上記ヒストグラムにおける上記中間輝度レベルの画素数が所定の基準画素数より大きいとき、上記第１輝度レベル変換関数を算出することが好ましい。

上記の構成によれば、関数算出手段は、明領域画素アドレス分散が所定の第２基準画素アドレス分散よりも大きいとき、一定以上の輝度レベルを有する画素が互いに隣接し合わず、散らばった状態になっていると判定する。このとき関数算出手段は、撮像画像内に、輝度レベルが中間値に分布している被写体が含まれていると判定する。また、関数算出手段は、ヒストグラムにおける中間輝度レベルの画素数が所定の基準画素数より大きいとき、撮像画像において、中間輝度レベルの画素が一定以上存在すると判定する。関数算出手段は、このときも、撮像画像内に、輝度レベルが中間値に分布している被写体が含まれていると判定する。

いずれにせよ、輝度レベルが中間値に分布している被写体が撮像画像内に含まれていると判定したとき、関数算出手段は、撮像画像における中間輝度レベル部分のコントラストが低下してしまうと、画像全体のコントラストに支障が生ずると判定する。そこで関数算出手段は、入力輝度レベル変換手段と出力輝度レベル変換手段とが、１つの変曲点を含んでいる曲線関係を有している第１輝度レベル変換関数を算出する。したがって輝度レベル変換手段は、被写体画像を１つ含んでいると判定された撮像画像を表す撮像信号の輝度レベルを、第１輝度レベル変換関数を用いることによって変換する。

このように、輝度レベル変換装置は、撮像画像の被写体に応じた最適な輝度レベル変換手段によって、撮像信号の輝度レベルを変換できる効果を奏する。

また、本発明の輝度レベル変換装置では、
上記撮像信号によって表される画像を構成する画素のうち、所定の明領域基準輝度レベルよりも大きい上記輝度レベルを有している画素の上記輝度レベルの平均値を、明領域画素平均輝度レベルとして算出する明領域画素平均輝度レベル算出手段と、
上記ヒストグラムにおいて所定の暗領域基準輝度レベルよりも小さい輝度レベルが属する範囲における最大画素数を表す上記輝度レベルを、暗領域ピーク輝度レベルとして算出する暗領域ピーク輝度レベル算出手段と、
上記明領域画素平均輝度レベルと、上記暗領域ピーク輝度レベルとの中間値である中間輝度レベルを算出する中間輝度レベル算出手段とをさらに備えており、
上記関数算出手段は、
上記中間輝度レベルに属する上記ヒストグラム上の画素数が、所定の基準画素数より小さいとき、上記第２輝度レベル変換関数を算出することが好ましい。

上記の構成によれば、関数算出手段は、明領域画素アドレス分散が所定の第２基準画素アドレス分散よりも小さいとき、一定以上の輝度レベルを有する画素が撮像画像中において互いに隣接し合い、一塊の状態になって、何らかの意味をなしていると判定する。さらに、ヒストグラムにおける中間輝度レベルの画素数が所定の基準画素数より小さいとき、撮像画像において、中間輝度レベルの画素が十分に存在しないと判定する。これらの条件が成立するとき、関数算出手段は、撮像画像に、暗い被写体の画像と明るい被写体の画像とが両方とも含まれていると判定する。さらに、撮像画像内における、暗い被写体画像の輝度レベルの分布、および明るい被写体画像の輝度レベルの分布の両方とも、一定以上に狭くなっていると判定する。

このとき関数算出手段は、撮像画像における中間輝度レベル部分のコントラストが低下しても、画像全体のコントラストに支障は生じないと判定する。そこで、入力輝度レベルと出力輝度レベルとが、暗い被写体画像の輝度レベル変換に対応した１つの変曲点と、明るい被写体画像の輝度レベル変換に対応した１つの変曲点を含んでいる曲線関係を有している第２輝度レベル変換関数を算出する。したがって輝度レベル変換手段は、被写体が２つだと判定された撮像画像を表す撮像信号の輝度レベルを、第２輝度レベル変換関数を用いることによって変換する。

このように、輝度レベル変換装置は、撮像画像内の被写体画像に応じた最適な輝度レベル変換手段によって、撮像信号の輝度レベルを変換できる効果を奏する。

また、本発明の輝度レベル変換装置では、
所定の第１明領域基準輝度レベルよりも大きい輝度レベルを有する画素の、上記撮像信号によって表される撮像された画像内の画素アドレスの分散を、明領域画素アドレス分散として算出する明領域画素アドレス分散算出手段と、
上記撮像信号によって表される画像を構成する画素のうち、所定の第２明領域基準輝度レベルよりも大きい上記輝度レベルを有している画素の上記輝度レベルの平均値を、明領域画素平均輝度レベルとして算出する明領域画素平均輝度レベル算出手段と、
上記ヒストグラムにおいて所定の暗領域基準輝度レベルよりも小さい輝度レベルが属する範囲における最大画素数を表す上記輝度レベルを、暗領域ピーク輝度レベルとして算出する暗領域ピーク輝度レベル算出手段と、
上記明領域画素平均輝度レベルと、上記暗領域ピーク輝度レベルとの中間値である中間輝度レベルを算出する中間輝度レベル算出手段とをさらに備えており、
上記関数算出手段は、
上記明領域画素アドレス分散が所定の第２基準画素アドレス分散よりも小さく、かつ、上記ヒストグラムにおける上記中間輝度レベルの画素数が所定の基準画素数より小さいとき、上記第２輝度レベル変換関数を算出することが好ましい。

上記の構成によれば、関数算出手段は、明領域画素アドレス分散が所定の第２基準画素アドレス分散よりも小さいとき、一定以上の輝度レベルを有する画素が撮像画像中において互いに隣接し合い、一塊の状態になって、何らかの意味をなしていると判定する。さらに、ヒストグラムにおける中間輝度レベルの画素数が所定の基準画素数より小さいとき、撮像画像において、中間輝度レベルの画素が十分に存在しないと判定する。これらの条件が成立するとき、関数算出手段は、撮像画像に、暗い被写体の画像と明るい被写体の画像とが両方とも含まれていると判定する。さらに、撮像画像内における、暗い被写体画像の輝度レベルの分布、および明るい被写体画像の輝度レベルの分布の両方とも、一定以上に狭くなっていると判定する。

このとき関数算出手段は、撮像画像における中間輝度レベル部分のコントラストが低下しても、画像全体のコントラストに支障は生じないと判定する。そこで、入力輝度レベルと出力輝度レベルとが、暗い被写体画像の輝度レベル変換に対応した１つの変曲点と、明るい被写体画像の輝度レベル変換に対応した１つの変曲点を含んでいる曲線関係を有している第２輝度レベル変換関数を算出する。したがって輝度レベル変換手段は、被写体が２つだと判定された撮像画像を表す撮像信号の輝度レベルを、第２輝度レベル変換関数を用いることによって変換する。

このように、輝度レベル変換装置は、撮像画像内の被写体画像に応じた最適な輝度レベル変換手段によって、撮像信号の輝度レベルを変換できる効果を奏する。

上記の課題を解決するために、本発明に係る固体撮像装置は、上述したいずれかの輝度レベル変換装置を備えていることを特徴としている。

上記の構成によれば、対数変換型の固体撮像素子から出力された撮像信号によって表される画像のコントラストを改善して自然な画像とすることができる固体撮像装置を提供できる効果を奏する。

なお、上記輝度レベル変換装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させることにより上記輝度レベル変換装置をコンピュータにて実現させる輝度レベル変換プログラム、およびその輝度レベル変換プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

以上に説明したように、本発明に係る輝度レベル変換装置は、入力輝度レベルと出力輝度レベルとが、少なくとも１つの変曲点を含んでいる曲線関係を有している輝度レベル変換関数を用いて、撮像信号の輝度レベルを変換する輝度レベル変換手段を備えているため、対数変換型の固体撮像素子から出力された撮像信号によって表される画像のコントラストを改善して自然な画像とすることができる効果を奏する。

〔実施形態１〕
本発明に係る第１の実施形態について、図１〜図１０を参照して以下に説明する。

（固体撮像装置１の概要）
図１は、本発明に係る固体撮像装置１の詳細を示すブロック図である。図１に示すように、固体撮像装置１は、固体撮像素子２および輝度レベル変換装置３を備えている。固体撮像素子２は、対数変換型の固体撮像素子であり、被写体を撮像する。具体的には、固体撮像素子２は、被写体が発するもしくは反射する光がレンズ等の光学系を介して固体撮像素子２面に入射する光量を、輝度レベルに対数変換する。これにより固体撮像素子２は、被写体の画像を表す撮像信号を生成し、出力する。この詳細については、後述する。

（輝度レベル変換装置３の詳細）
輝度レベル変換装置３は、固体撮像素子２から出力された撮像信号の輝度レベルを変換する。この輝度レベル変換装置３は、図１に示すように、画像特性抽出部５、変換関数算出部６（関数算出手段）、および輝度レベル変換部７（輝度レベル変換手段）を備えている。

画像特性抽出部５は、固体撮像素子２によって撮像された画像の特性を抽出する。具体的には、画像特性抽出部５は、固体撮像素子２から出力された撮像信号に基づき、画素の特性を示す各種のパラメータを生成する。変換関数算出部６は、輝度レベル変換装置３において、輝度レベルの変換に用いる輝度レベル変換関数を算出する。これらの処理の詳細については、後述する。

輝度レベル変換部７は、入力輝度レベルと出力輝度レベルとが、１つの変曲点を含んでいるＳ字型の曲線関係を有している輝度レベル変換関数を用いることによって、撮像信号の輝度レベルを変換する。この輝度レベル変換関数は、輝度レベル変換装置３において図示しない記憶装置にあらかじめ格納されており、輝度レベル変換部７が必要に応じて参照する。記憶装置は、輝度レベル変換装置３が備えているものであってもよいし、輝度レベル変換装置３に接続されている外部装置であってもよい。

（輝度レベル変換部７の詳細）
輝度レベル変換装置３では、輝度レベル変換部７は、入力輝度レベルと出力輝度レベルとが１つの変曲点を含んでいるＳ字型の曲線関係を有している輝度レベル変換関数を用いることによって、撮像信号の輝度レベルを変換する。ここでいう「Ｓ字型の曲線」とは、たとえば、変曲点に近いほど曲線の傾きが大きくなる曲線を意味する。換言すると、輝度レベル変換部７が用いる輝度レベル変換関数では、入力輝度レベルの変化（増分）に対する出力輝度レベルの変化（増分）が、変曲点に近いほど大きくなる。

このように、輝度レベル変換部７は、上述した性質を有する輝度レベル変換関数を用いることによって、撮像信号の輝度レベルを変換する。このため、輝度レベル変換部７は、撮像信号における低輝度レベル範囲におけるコントラストを圧縮する。同時に、階調性を適度に保ちながら、高い輝度レベル範囲におけるコントラストを圧縮する。これにより、撮像信号における中間輝度レベル範囲におけるコントラストが、大幅に改善される。したがって、撮像信号における一部の輝度レベル領域を切り出して、階調を直線的に拡大した場合に比べて、輝度レベル変換後の撮像信号によって表される画像が、より自然な画像となる。

（輝度レベル変換関数の詳細）
輝度レベル変換の際に輝度レベル変換部７が用いる輝度レベル変換関数の詳細について、図２〜図５を参照して以下に説明する。図２は、撮像信号の輝度レベルを変換する際に輝度レベル変換部７が用いる輝度レベル変換関数の一例を示す図である。図２には、式（１）に示す、シグモイド型の輝度レベル変換関数を示す。

ここで、ｉは入力輝度レベルを、ｆ（ｉ）は出力輝度レベルを示す。Ｌは出力輝度レベルの最大輝度レベルを、ｅは自然対数の底を示す。ｍａｘは、入力輝度レベルの最大値を示す。ｍｉｄは、ｍａｘの半分の値を示す。μは、式（１）によって表される曲線の傾度を設定するパラメータを示す。

図２において、横軸は入力輝度レベルを示し、縦軸は出力輝度レベルを示す。式（１）に示すμを、４：２：１の比で変化させたときの曲線を、図２において、それぞれ、曲線Ｇ２１、曲線Ｇ２２、および曲線Ｇ２３に示す。図２に示すように、曲線Ｇ２１〜Ｇ２３は、いずれも、１つの変曲点Ｐを有している（入力輝度レベル＝ｍｉｄ、出力輝度レベル＝Ｌ／２）。さらに、曲線Ｇ２１〜Ｇ２３では、μがより小さいほど、変曲点Ｐを中心に、曲線の傾きがより急峻になる。このように、輝度レベル変換装置３では、パラメータμを適宜異なる値に設定する。これにより、図２に示す曲線Ｇ２１〜Ｇ２３のように傾きが異なる複数の輝度レベル変換関数を、適宜切り換えて用いることができる。

（輝度レベル変換の一例）
輝度レベル変換装置３において、図２に示す曲線Ｇ２１〜Ｇ２３の輝度レベル変換関数を用い、撮像信号の輝度レベルを変換した結果の一例を、図３に示す。図３（ａ）は、輝度レベルの変換が行われる前の、撮像信号における入射光量と輝度レベルとの関係を示すグラフである。図３（ｂ）は、図３（ａ）に示す曲線Ｇ３１の特性を有する撮像信号が、図２に示す各曲線の輝度レベル変換関数を用いて変換された後の、撮像信号における入射光量と輝度レベルとの関係を示すグラフである。

輝度レベル変換装置３では、輝度レベル変換部７が、曲線Ｇ２１〜Ｇ２３の輝度レベル変換関数を用いることによって、撮像信号の輝度レベルを変換する。輝度レベル変換された撮像信号における、入射光量と、変換後の輝度レベルとの関係は、図３（ｂ）に示す曲線Ｇ３２〜Ｇ３４によって表される特性を有している。曲線Ｇ３２では、入射光量と輝度レベルとは、逆ガンマ様の特性を有している。曲線Ｇ３３では、入射光量と輝度レベルとは、変曲点Ｐを境に、輝度レベルが低い領域では直線的な関係を有している。一方、輝度レベルが高い領域では、入射光量と輝度レベルとは、緩やかな逆ガンマ様の特性を有している。曲線Ｇ３４では、入射光量と輝度レベルとは、変曲点Ｐを境に、輝度レベルが低い領域ではガンマ様の特性を有している。一方、輝度レベルが高い領域では、入射光量と輝度レベルとは、逆ガンマ様の特性を有している。

このように、輝度レベル変換装置３では、曲線Ｇ２１〜Ｇ２３に示す、様々に異なる輝度レベル変換関数を用いることによって、撮像信号の輝度レベルを変換できる。これにより、輝度レベル変換装置３は、逆ガンマ特性によるＣＲＴのガンマ補正や、信号処理などで扱いやすい逆対数特性による直線化や、液晶モニタで有効なガンマ強調による視覚特性補償などを実行できる。

図３（ｂ）に示す曲線Ｇ３２〜Ｇ３４では、いずれも、変曲点Ｐを境とする高輝度レベルの領域において、入射光量と輝度レベルとが逆ガンマ様の関係を有している。これにより、輝度レベル変換装置３は、曲線Ｇ３２〜Ｇ３４の輝度レベル変換関数を用いて撮像信号の輝度レベルを変換することによって、高い輝度レベルを有する領域の全般において、被写体の白とびを抑えることができる。さらに、高輝度レベルを有する領域の、変曲点に近い範囲においては、被写体のコントラストを強調できる。

また、図３（ｂ）に示す曲線Ｇ３２〜Ｇ３４は、いずれも、低輝度レベル側から高輝度レベル側まで、連続的かつ滑らかなカーブを描いている。これにより、輝度レベル変換装置３は、曲線Ｇ３２〜Ｇ３４に示す輝度レベル変換関数を用いて撮像信号の輝度レベルを変換することによって、輝度レベル変換後の撮像信号によって表される画像に不自然な輪郭が発生することを防止できる。すなわち、輝度レベル変換装置３によって輝度レベル変換された撮像信号を、ＣＲＴや液晶モニタのような画像表示装置に入力すると、自然な輪郭を有する画像が表示される。

（２次関数の利用）
なお、輝度レベル変換装置３では、輝度レベル変換部７は、２次関数である輝度レベル変換関数を用いて、撮像信号の輝度レベルを変換してもよい。この２次関数も、データとして、図示しない記憶装置にあらかじめ格納されている。このとき、輝度レベル変換部７が用いる輝度レベルは、式（２）に示す２次関数であることが好ましい。

式（２）において、ｉは入力輝度レベルを、ｆ（ｉ）は出力輝度レベルを示す。Ｌは、出力輝度レベルの最大輝度レベルを表す。ｘ１は、入力輝度レベルの最小値を表す。ｘ２は、入力輝度レベルの最大値を表す。ｍｉｄは、ｘ１およびｘ２の中間点を表す。

式（２）によって表される、２次関数である輝度レベル変換関数の特性について、図４を参照して以下に説明する。図４は、式（２）によって表される、２次関数である輝度レベル変換関数における、入力輝度レベルと出力輝度レベルとの関係を示すグラフである。図４において、横軸は入力輝度レベルを示し、縦軸は出力輝度レベルを示す。図４に示す曲線Ｇ４１は、１つの変曲点Ｐを有するＳ字型の曲線関係を有している。すなわち、入力輝度レベル＝ｍｉｄである場合に、出力輝度レベル＝Ｌ÷２となる変曲点Ｐが存在する。

輝度レベル変換装置３において、２次関数である輝度レベル変換関数を用い、撮像信号の輝度レベルを変換した結果の一例を、図５に示す。図５は、撮像信号における輝度レベル変換前の入射光量と輝度レベルとの関係を示す曲線Ｇ５１と、この曲線Ｇ５１を図４に示す曲線Ｇ４１を用いて輝度レベル変換した後の曲線Ｇ５２における入射光量と輝度レベルとの関係を示すグラフである。

図５に示すように、曲線Ｇ５２における輝度レベルがＬ÷２より高い領域では、入射光量と輝度レベルとは逆ガンマ様の特性を有している。一方、曲線Ｇ５２における輝度レベルがＬ÷２より低い領域では、入射光量と輝度レベルとは直線関係を有している。すなわち、式（２）に示す輝度レベル変換関数によって撮像信号の輝度レベルが変換されると、撮像信号における入射光量と輝度レベルとの関係は、曲線Ｇ５２において輝度レベルがＬ÷２よりも低い領域では、輝度レベル変換前の逆ガンマ様特性から、輝度レベル変換後の直線関係に補正される。これにより、固体撮像素子２から出力された撮像信号を、ＣＲＴや液晶モニタなどの表示装置に表示させる際、ガンマ補正や逆ガンマ補正を適用しやすい。また、曲線Ｇ５２における輝度レベルがＬ÷２よりも高い領域では、入射光量と輝度レベルとは逆ガンマ様の特性を有している。これにより、表示される画像の、輝度レベルが高い領域の全般において、被写体の白飛びを抑えることができる。さらに、輝度レベルがＬ÷２に近い範囲においては、画像のコントラストを強調できる。

２次関数である輝度レベル変換関数は、シグモイド型の輝度レベル変換関数に比べて、計算式がシンプルである。したがって、輝度レベル変換装置３をマイクロプログラミング方式のコンピュータによって実現したとき、２次関数である輝度レベル変換関数を用いる場合は、シグモイド型の輝度レベル変換関数を用いる場合に比べて、より少ない計算量で輝度レベルを変換できる。したがって、輝度レベル変換装置３は、撮像信号の輝度レベルを、より短い時間でかつ少ない消費電力で変換できる。さらに、２次関数の輝度レベル変換関数を用いた輝度レベル変換装置３を専用の電子回路によるハードウェアによって構成する場合、シグモイド型の輝度レベル変換関数を用いた輝度レベル変換装置３に比べてより小規模のハードウェア構成とすることができるため、より少ない消費電力で駆動する輝度レベル変換装置３を実現できる。

（輝度レベル変換関数の算出）
輝度レベル変換装置３では、記憶装置にあらかじめ格納されている輝度レベル変換関数を用いるかわりに、撮像信号が入力されるたびに輝度レベル変換関数を算出し、当該算出した輝度レベル変換関数を用いて、撮像信号の輝度レベルを変換してもよい。このとき、輝度レベル変換装置３は、撮像信号によって表される画像の特性に基づき、輝度レベル変換関数を算出する。輝度レベル変換装置３では、画像特性抽出部５が、撮像信号に基づき、撮像信号によって表される画像の特性を表すパラメータを算出する。また、変換関数算出部６が、撮像信号によって算出されたパラメータに基づき、輝度レベル変換関数を算出する。これにより、輝度レベル変換部７は、画像の特性に基づき算出された輝度レベル変換関数を用いて、撮像信号の輝度レベルを変換する。したがって、輝度レベル変換装置３では、画像の特性に応じた最適な輝度レベル変換が行われ、より自然な画像を得ることができる。

このような輝度レベル変換関数算出の詳細について、図６〜図９を参照して以下に説明する。輝度レベル変換関数算出の詳細を説明する前に、まず、固体撮像素子２の動作について、以下に詳細に説明する。

固体撮像素子２の撮像面では、複数の光電変換素子が規則的に並んでいる。ここで、固体撮像素子２の撮像面における各光電変換素子が、撮像される画像における各画素に対応する。光電変換素子は、入射光量の輝度レベルに応じた電気信号を生成する。固体撮像素子２は、まず、撮像される画像を構成する各画素の輝度レベルを表す、アナログ電気信号を生成する。なお、固体撮像素子２における光電変換特性は、図３（ａ）に示すような、入射光量と輝度レベルとが、対数関係を有するものである。

（撮像信号の生成）
固体撮像素子２は、光電変換素子によって得られたアナログ電気信号を標本化かつ量子化する、図示しないＡＤ変換回路を内蔵している。これにより、固体撮像素子２は、撮像される画像を構成する各画素の輝度レベルを離散的に示す、輝度レベルデータを生成する。たとえば、固体撮像素子２は、８ビットの分解能を有するＡＤ変換回路を備えている場合、０〜２５５のいずれかの値を取る輝度レベルデータを生成する。

固体撮像素子２は、各光電変換素子によって得られたアナログ電気信号に基づき、撮像される画像を構成する画素の、画像における画素アドレスを示す画素アドレスデータもしくはあらかじめ定められた画素アドレスを算出するために必要な同期信号を生成するか、または、あらかじめ定められた画素アドレスに対応する輝度レベルデータを順次生成するための外部からの同期信号を受け取る。このとき、固体撮像素子２は、画素ごとに、画素アドレスと、輝度レベルデータとを関連づけた画素特性データを生成する。

固体撮像素子２は、このようなデータ生成を、すべての光電変換素子から得られるアナログ電気信号に基づき繰り返す。こうして、固体撮像素子２は、最終的に、撮像された画像を構成するすべての画素に関する各画素特性データを互いに関連づけることによって、撮像信号を生成する。また、固体撮像素子２は、生成した撮像信号を、画像特性抽出部５を構成する画素ブロック輝度レベル算出部３０、および輝度レベル変換部７に出力する。

なお、輝度レベル変換装置３では、固体撮像素子２にＡＤ回路が内蔵されていなくてもよい。この場合、輝度レベル変換装置３では、固体撮像素子２の外部に、ＡＤ変換回路を備える。すなわち、固体撮像素子２は、外部のＡＤ変換回路を用いて、輝度レベルを表すアナログ電気信号を標本化かつ量子化する。これにより、ＡＤ変換回路を内蔵している固体撮像素子２によって生成される撮像信号と、同様の撮像信号が得られる。

（画像特性抽出部５の詳細）
図６は、本発明の輝度レベル変換装置３に備えられる画像特性抽出部５の詳細な内部構成を示すブロック図である。この図に示すように、画像特性抽出部５は、画素ブロック輝度レベル算出部３０、ヒストグラム算出部３１（ヒストグラム算出手段）、ヒストグラム移動平均処理部３２（ヒストグラム平滑化手段）、明領域画素ブロック探索部３３（第４累積画素数算出手段）、明領域アドレス分散算出部３４（明領域画素アドレス分散算出手段）、明輝度参照レベル算出部３５（第２累積画素数算出手段、第１明輝度参照レベル算出手段、明領域画素アドレス分散判定手段、第２基準画素数設定手段）、暗領域画素ブロック探索部３６（第３累積画素数算出手段）、暗領域アドレス分散算出部３７（暗領域画素アドレス分散算出手段）、暗輝度参照レベル算出部３８（第１累積画素数算出手段、第１暗輝度参照レベル算出手段、暗領域画素アドレス分散判定手段、第１基準画素数設定手段）、および、スケーリング演算部３９（第２暗輝度参照レベル算出手段、第２明輝度参照レベル算出手段）を備えている。

（画素ブロックの輝度レベル代表値の算出）
画素ブロック輝度レベル算出部３０は、撮像された画像を構成する画素ブロックの輝度レベル代表値を算出する。この動作について、図７を参照して以下に説明する。

図７は、画素ブロック輝度レベル算出部３０の動作原理を説明する図である。画素ブロック輝度レベル算出部３０は、固体撮像素子２の撮像面７５における、互いに近接する所定の複数の画素７６を、画素ブロック７７として抽出する。たとえば、図７の矢印で示すＸ方向およびＹ方向に繰り返し、撮像された画像を格子状に分割する。

画素ブロック輝度レベル算出部３０は、抽出した画素ブロック７７ごとに、輝度レベル代表値を算出する。このとき、画素ブロック輝度レベル算出部３０は、輝度レベル代表値として、ある画素ブロック７７を構成するすべての画素７６の輝度レベルの平均値を算出する。画素ブロック輝度レベル算出部３０は、算出した輝度レベル代表値を、画素ブロックの輝度レベルとして撮像信号に格納し、ヒストグラム算出部３１に出力する。以下、「画素」を画素ブロックの意味で表し、「輝度レベル」を画素ブロックの輝度レベル代表値の意味で表す。

（ヒストグラムの算出）
ヒストグラム算出部３１は、撮像信号に基づき、輝度レベルと画素数との関係を示す、図８（ａ）に示すヒストグラムＨ１を算出する。具体的には、撮像信号における輝度レベルを１フレームにわたって数えることによって、ヒストグラムＨ１を算出する。具体的には、ヒストグラム算出部３１は、各輝度レベルと、この輝度レベルを有している画素ブロックの数とを互いに関連づけた、ヒストグラムデータを生成する。ヒストグラム算出部３１は、生成したヒストグラムデータを、ヒストグラム移動平均処理部３２に出力する。

後述するように、輝度レベル変換装置３では、このヒストグラムＨ１に基づき、変換関数算出部６が、輝度レベル変換関数を算出する。これにより、変換関数算出部６は、被写体の画像に合致した最適な輝度レベル変換関数を算出することができる。また、輝度レベル変換部７は、被写体の画像に最適な輝度レベル変換関数を用いて、撮像信号の輝度レベルを変換できる。これにより、輝度レベル変換装置３を、特に、動画を撮影するビデオカメラ等の撮像装置に、良好に応用できる。

（ヒストグラムの平均化）
ヒストグラム移動平均処理部３２は、ヒストグラムＨ１を平滑化することによって、滑らかで凹凸の少ない平滑化ヒストグラムＨ２を算出する。具体的には、ヒストグラム移動平均処理部３２は、入力されたヒストグラムデータに基づき、ヒストグラムＨ１における画素数の輝度レベル方向の移動平均値を算出することによって、図８（ｂ）に示す平滑化ヒストグラムＨ２を算出する。さらに、ヒストグラム移動平均処理部３２は、算出した平滑化ヒストグラムＨ２を表すデータを、暗輝度参照レベル算出部３８および明輝度参照レベル算出部３５に出力する。

これによりヒストグラム移動平均処理部３２は、被写体の急激な変動を原因とした、ヒストグラムＨ１のゆらぎを低減できる。また、変換関数算出部６は、平滑化ヒストグラムＨ２に基づき、輝度レベル変換関数を算出する。したがって、輝度レベル変換部７は、ゆらぎの少ない平滑化ヒストグラムＨ２に基づき算出された、パラメータ変動の少ない輝度レベル変換関数を用いて、撮像信号の輝度レベルを変換する。これにより、輝度レベル変換された後に撮像信号を画像表示装置に入力した際、よりフリッカが抑えられた画像を表示できる。

（明領域画素ブロックの探索）
明領域画素ブロック探索部３３および暗領域画素ブロック探索部３６の動作について、図８（ａ）を参照して以下に説明する。

明領域画素ブロック探索部３３は、図８（ａ）の方向Ｄ８１に示すように、ヒストグラムＨ１における最高輝度レベルから低輝度レベル側に向かって画素を累積加算することによって、所定の第４累積画素数を算出する。すなわち、明領域画素ブロック探索部３３は、ヒストグラムＨ１における第４基準輝度レベル以上、最高輝度レベル以下の範囲内の輝度レベルの画素数を累積加算することによって、第４累積画素数を算出する。ここで、明領域画素ブロック探索部３３は、算出した第４累積画素数が所定の第４基準画素数を超える場合、第４基準輝度レベルを明領域探索参照輝度レベルＷＬ（明領域基準輝度レベル）として算出する。なお、所定の第４基準画素数は実験的に定められる値であり、ヒストグラムＨ１における全累積画素数の０．５〜１．５％の値であることが好ましい。

輝度レベル変換装置３では、このように明領域探索参照輝度レベルＷＬを算出することによって、画素ブロックの画素アドレスの分散を調べる対象を、被写体の撮像面の合計面積の限定された撮像領域とすることができる。したがって、重要な撮像対象とする最明部の被写体の撮像面上での最大限の面積を規定できる。

つぎに、明領域画素ブロック探索部３３は、撮像信号から、明領域探索参照輝度レベルＷＬを超える輝度レベルを有する画素ブロックの、ＸアドレスおよびＹアドレスを抽出する。これにより、明領域画素ブロック探索部３３は、撮像信号の中から、実験的に定められた所定の数に相当する画素ブロックの、輝度レベル、Ｘアドレス、およびＹアドレスを抽出する。明領域画素ブロック探索部３３は、抽出した輝度レベル、ＸアドレスおよびＹアドレスを、明領域アドレス分散算出部３４に出力する。明領域アドレス分散算出部３４は、入力されたＸアドレスおよびＹアドレスに基づき、ＸアドレスおよびＹアドレスの分散をそれぞれ算出する。明領域アドレス分散算出部３４は、算出した分散を、明輝度参照レベル算出部３５に出力する。

（暗領域画素ブロックの探索）
暗領域画素ブロック探索部３６は、方向Ｄ８２に示すように、ヒストグラムＨ１における最低輝度レベルから高輝度レベル側に向かって画素を累積加算することによって、第３累積画素数を算出する。すなわち、暗領域画素ブロック探索部３６は、ヒストグラムＨ１における最低輝度レベル以上、第３基準輝度レベル以下の範囲内の輝度レベルの画素数を累積加算することによって、第３累積画素数を算出する。ここで、暗領域画素ブロック探索部３６は、算出した第３累積画素数が所定の第３基準画素数を超える場合、第３基準輝度レベルを暗領域探索参照輝度レベルＢＬ（暗領域基準輝度レベル）として算出する。なお、所定の第３基準画素数は実験的に定められる値であり、ヒストグラムＨ１における全累積画素数の０．５〜１．５％の値であることが好ましい。

輝度レベル変換装置３では、このように暗領域探索参照輝度レベルＢＬを算出することによって、画素ブロックの画素アドレスの分散を調べる対象を、被写体の撮像面の合計面積の限定された撮像領域とすることができる。したがって、重要な撮像対象とする最暗部の被写体の撮像面上での最大限の面積を規定できる。

（各アドレスの抽出）
つぎに、暗領域画素ブロック探索部３６は、撮像信号において、暗領域探索参照輝度レベルＢＬよりも小さい輝度レベルを有する画素ブロックの、ＸアドレスおよびＹアドレスを抽出する。これにより、暗領域画素ブロック探索部３６は、撮像信号の中から、実験的に定められた所定の数に相当する画素ブロックの、輝度レベル、Ｘアドレス、およびＹアドレスを抽出する。暗領域画素ブロック探索部３６は、抽出した輝度レベル、ＸアドレスおよびＹアドレスを、暗領域アドレス分散算出部３７に出力する。暗領域アドレス分散算出部３７は、入力されたＸアドレスおよびＹアドレスに基づき、ＸアドレスおよびＹアドレスの分散（所定の第１基準画素アドレス分散）をそれぞれ算出する。暗領域アドレス分散算出部３７は、算出した分散を、暗輝度参照レベル算出部３８に出力する。

暗輝度参照レベル算出部３８および明輝度参照レベル算出部３５の動作について、図８（ｂ）を参照して以下に説明する。

（明輝度参照レベルの算出）
明輝度参照レベル算出部３５は、図８（ｂ）における方向Ｄ８３に示すように、平滑化ヒストグラムＨ２における最高輝度レベルから低輝度レベル側に向かって画素を累積加算することによって、第２累積画素数を算出する。すなわち、明輝度参照レベル算出部３５は、平滑化ヒストグラムＨ２における第２基準輝度レベル以上、最高輝度レベル以下の範囲内の輝度レベルを有する画素の数を累積加算することによって、第２累積画素数を算出する。ここで、明輝度参照レベル算出部３５は、第２累積画素数が所定の第２基準画素数を超える場合、第２基準輝度レベルを明輝度参照レベルＨＷＬ（第１明輝度参照レベル）として算出する。この所定の第２基準画素数は、ヒストグラムＨ１における全画素ブロック数の０．０５〜０．５％の値であることが好ましい。なお、この前に、明輝度参照レベル算出部３５は、明領域アドレス分散算出部３４によって算出されたＸアドレスおよびＹアドレス（明領域画素アドレス分散）が、いずれも、所定の第２基準画素アドレス分散よりも大きいか否かを判定する。

ここで、この判定結果が真であるとき、明輝度参照レベル算出部３５は、被写体の最明部領域が、撮像面上において分散しており、被写体における最明部領域を、まとまったある程度の空間を占める重要な撮像対象ではないと判断する。そこで、明輝度参照レベル算出部３５は、所定の第２基準画素数を、あらかじめ定められている値より大きい値に設定する。これにより、変換関数算出部６は、輝度レベル変換の上限が狭められた輝度レベル変換関数を求めることになる。したがって、輝度レベル変換部７は、輝度レベル変換関数を用いて輝度レベルを変換する際、撮像信号における最明部領域の階調の割り当てを小さくし、かつ、その他の領域に階調を割り当てることができる。その結果、輝度レベル変換後の撮像信号によって表される画像のコントラストを、全体的に改善できる。また、このとき、変換関数算出部６は、統計的により安定したパラメータに基づき、輝度レベル変換関数を算出する。これにより、算出される輝度レベル変換関数の、時間的な変動を低減できる。

なお、明輝度参照レベル算出部３５は、所定の第２基準画素アドレス分散として、画像におけるＸ方向の全画素数をｘ、Ｙ方向の全画素数をｙとすると、ｘ^２÷２０〜ｘ^２÷２００、およびｙ^２÷２０〜ｙ^２÷２００を用いることが好ましい。明輝度参照レベル算出部３５は、算出した明輝度参照レベルＨＷＬをスケーリング演算部３９に出力する。

（暗輝度参照レベルの算出）
暗輝度参照レベル算出部３８は、図８（ｂ）における方向Ｄ８５に示すように、平滑化ヒストグラムＨ２における最低輝度レベルから高輝度レベル側に向かって画素を累積加算することによって、第１累積画素数を算出する。すなわち、暗輝度参照レベル算出部３８は、ヒストグラムＨ１における最低輝度レベル以上、第１基準輝度レベル以下の範囲内の輝度レベルを有する画素の数を累積加算することによって、第１累積画素数を算出する。ここで、暗輝度参照レベル算出部３８は、第１累積画素数が所定の第１基準画素数を超える場合、第１基準輝度レベルを暗輝度参照レベルＨＢＬ（第１暗輝度参照レベル）として算出する。この所定の第１基準画素数は、ヒストグラムＨ１における全画素ブロック数の０．０５〜０．５％の値であることが好ましい。なお、この前に、暗輝度参照レベル算出部３８は、暗領域アドレス分散算出部３７によって算出されたＸアドレスおよびＹアドレス（暗領域画素アドレス分散）が、いずれも、所定の第１基準画素アドレス分散よりも大きいか否かを判定する。

ここで、この判定結果が真であるとき、暗輝度参照レベル算出部３８は、被写体の最暗部領域が撮像面上において分散しており、被写体における最暗部領域を、まとまったある程度の空間を占める重要な撮像対象ではないと判断する。そこで、暗輝度参照レベル算出部３８は、所定の第１基準画素数を、あらかじめ定められている値より大きい値に設定する。これにより、変換関数算出部６は、輝度レベル変換の下限が狭められた輝度レベル変換関数を求めることになる。したがって、輝度レベル変換部７は、輝度レベル変換関数を用いて輝度レベルを変換する際、撮像信号における最暗部領域の階調の割り当てを小さくし、かつ、その他の領域に階調を割り当てることができる。その結果、輝度レベル変換後の撮像信号によって表される画像のコントラストを、全体的に改善できる。また、このとき、変換関数算出部６は、統計的により安定したパラメータに基づき、輝度レベル変換関数を算出する。これにより、算出される輝度レベル変換関数の、時間的な変動を低減できる。

なお、暗輝度参照レベル算出部３８は、所定の第１基準画素アドレス分散として、画像におけるＸ方向の全画素数をｘ、Ｙ方向の全画素数をｙとすると、ｘ^２÷２０〜ｘ^２÷２００、およびｙ^２÷２０〜ｙ^２÷２００を用いることが好ましい。暗輝度参照レベル算出部３８は、算出した暗輝度参照レベルＨＢＬをスケーリング演算部３９に出力する。

（スケーリング演算）
スケーリング演算部３９は、まず、明輝度参照レベル算出部３５によって算出された明輝度参照レベルＨＷＬと、暗輝度参照レベル算出部３８によって算出された暗輝度参照レベルＨＢＬとの差分を、図８（ｂ）に示すように差分ＨＤＩＦＦとして算出する。つぎに、スケーリング演算部３９は、差分ＨＤＩＦＦに所定の第１係数ＣＷを乗じた値を、明輝度参照レベルＨＷＬに加算することによって、明輝度参照レベルＡＷＬを算出する。この第１係数ＣＷは、図示しない記憶装置に、あらかじめ記憶されている。なお、第１係数ＣＷは、０．１〜０．６の範囲内にある値であることが好ましく、さらには、約０．５であることが好ましい。また、スケーリング演算部３９は、差分ＨＤＩＦＦに所定の第２係数ＣＢを乗じた値を、暗輝度参照レベルＨＢＬから減算することによって、暗輝度参照レベルＡＢＬを算出する。この第１係数ＣＷは、図示しない記憶装置に、あらかじめ記憶されている。なお、第２係数ＣＢは、０．１〜０．６の範囲内にある値であることが好ましく、さらには、約０．５であることが好ましい。

このように、スケーリング演算部３９は、ＡＷＬ＝ＨＷＬ＋ＣＷ（ＨＷＬ−ＨＢＬ）の式を用いることによって、明輝度参照レベルＡＷＬを算出する。また、スケーリング演算部３９は、ＡＢＬ＝ＨＢＬ−ＣＢ（ＨＷＬ−ＨＢＬ）の式を用いることによって、暗輝度参照レベルＡＢＬを算出する。これにより、撮像信号における輝度レベルの分布の変動に対応して、算出される輝度レベルの範囲の上限および下限を求めることができる。なお、スケーリング演算部３９は、算出した明輝度参照レベルＡＷＬおよび暗輝度参照レベルＡＢＬを、いずれも、変換関数算出部６に算出する。

（輝度レベル変換関数の算出）
変換関数算出部６の動作について、以下に説明する。

変換関数算出部６は、明輝度参照レベルＡＷＬおよび暗輝度参照レベルＡＢＬに基づき、入力輝度レベルと出力輝度レベルとが、１つの変曲点Ｐを含んでいるＳ字型の曲線関係を有している輝度レベル変換関数を算出する。具体的には、変換関数算出部６は、式（１）に示すシグモイド型の輝度レベル変換関数を算出する。式（１）におけるパラメータμを適宜適切な値に設定することにより、変換関数算出部６は、図２に示す曲線Ｇ２１〜Ｇ２３のような、様々な傾きを有しているシグモイド関数を算出できる。

なお、変換関数算出部６は、式（１）に示すシグモイド関数を算出する際、式（１）においてｉ＝ＡＷＬのときｆ（ｉ）＝λＬとなるパラメータλを用いる。具体的には、変換関数算出部６は、以下の式（３）によって表される、λによって定義されるμを用いて、輝度レベル変換関数を算出する。

また、変換関数算出部６は、式（１）におけるパラメータｍｉｄを、次の式（４）によって算出する。

変換関数算出部６は、さらに、式（１）に示す輝度レベル変換関数を算出する際、明輝度参照レベルＡＷＬと暗輝度参照レベルＡＢＬとの中間点ｋｄが変曲点となるようにする。

式（１）におけるｆ（ｉ）を、出力輝度レベルの最大輝度レベルであるＬによって正規化すると、ｆ（ｉ）÷Ｌとなる。この値は、０から１のいずれかの値を取る。このように、パラメータλは、入力輝度レベルｉが明輝度参照レベルＡＷＬに等しいときに、出力輝度レベルが最大輝度レベルＬの何％になるかを示す。すなわち、パラメータλは、いわばシグモイド関数の傾度を示すパラメータとなる。

（シグモイド型関数の傾度の制御）
変換関数算出部６においては、パラメータλを適宜適切な値に設定することによって、算出するシグモイド型関数の傾度を制御できる。この例を図９に示す。図９は、変換関数算出部６によって算出される輝度レベル変換関数の一例を示す図である。この図において、λ２＞λ１とする。図９に、λ＝λ１のときの輝度レベル変換曲線である曲線Ｇ９１を示す。また、同じく図９に、λ＝λ２のときの輝度レベル変換曲線である曲線Ｇ９２を示す。ここで、図９に示すように、曲線Ｇ９２の傾度は、曲線Ｇ９１の傾度よりも大きい。すなわち、λの値がより大きいほど、変換関数算出部６によって算出される輝度レベル変換曲線の傾度はより大きくなる。

変換関数算出部６は、上記の方法に基づき、式（３）に示すμを算出する。その後、変換関数算出部６は、上述した式（１）に示すシグモイド関数を算出する。また、変換関数算出部６は、算出した輝度レベル変換関数に基づき、輝度レベルの変換テーブルを作成する。すなわち、変換関数算出部６は、各入力輝度レベルに対応する出力輝度レベルの値を決定することによって、入力輝度レベルと出力輝度レベルとが対応付けられている輝度レベル変換テーブルを作成する。変換関数算出部６は、作成した輝度レベル変換テーブルを、輝度レベル変換部７に出力する。

（輝度レベル変換の詳細）
輝度レベル変換部７について、図１０を参照して以下に説明する。図１０は、輝度レベル変換部の構成を示すブロック図である。図１０に示すように、輝度レベル変換部７は、変換テーブル更新部７０、変換テーブル格納部７１、および変換テーブル適用部７２を備えている。変換テーブル格納部７１は、輝度レベル変換の際に変換テーブル適用部７２が前回適用した輝度レベル変換テーブルを記憶している。変換テーブル更新部７０は、変換テーブル格納部７１に記憶されている前回の輝度レベル変換テーブルと、変換関数算出部６によって算出された輝度レベル変換テーブルとに基づき、今回の輝度レベル変換テーブルを算出する。変換テーブル更新部７０は、また、変換テーブル格納部７１に格納されている前回の輝度レベル変換テーブルを、今回の輝度レベル変換テーブルに更新する。

変換テーブル適用部７２は、変換テーブル格納部７１に格納されている、更新された今回の輝度レベル変換テーブルを用いることによって、固体撮像素子２から出力された撮像信号の輝度レベルを、画素ごとに変換する。また、変換テーブル適用部７２は、輝度レベル変換した撮像信号を、画像表示装置に出力する。画像表示装置では、入力された撮像信号に基づき、撮像信号によって表される画像が表示される。

なお、変換関数算出部６によって算出された変換テーブルを、変換テーブル適用部７２が、毎回、そのまま適用して輝度レベルを変換すると、画面のフリッカが発生するおそれがある。そこで、変換テーブル更新部７０は、ＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ：無限インパルス応答）フィルタを用いることによって、今回の輝度レベル変換テーブルを算出することが好ましい。これにより、変換テーブル更新部７０は、ＩＩＲフィルタ係数を変更することによって、任意の時定数を持たせて輝度レベル変換テーブルを更新できる。それゆえ、画面のフリッカが発生することを抑制できる。

なお、変換関数算出部６は、２次関数である輝度レベル変換関数を算出してもよい。このとき、変換関数算出部６は、入力輝度レベルの下限ｘ１として、画像特性抽出部５が出力した暗輝度参照レベルＡＢＬを用いる。また、出力輝度レベルの下限ｘ２として、画像特性抽出部５が出力した明輝度参照レベルＡＷＬを用いる。

〔実施形態２〕
本発明に係る第２の実施形態について、図１１〜図２０を参照して以下に説明する。

本実施形態における固体撮像装置１の概略的なブロック構成は図１に示すとおりであり、実施形態１における固体撮像装置１と同様である。そのため、詳細な説明を省略する。なお、本実施形態では、輝度レベル変換装置３の詳細な構成および動作が、実施形態１と異なる。そこで以下では、これらの点について詳細に説明する。

輝度レベル変換装置３は、固体撮像素子２から出力された撮像信号の輝度レベルを変換する。この輝度レベル変換装置３は、図１に示すように、画像特性抽出部５、変換関数算出部６（関数算出手段）、および輝度レベル変換部７（輝度レベル変換手段）を備えている。

画像特性抽出部５は、固体撮像素子２によって撮像された画像の特性を抽出する。具体的には、画像特性抽出部５は、固体撮像素子２から出力された撮像信号に基づき、画素の特性を示す各種のパラメータを生成する。変換関数算出部６は、輝度レベル変換装置３において、輝度レベルの変換に用いる輝度レベル変換関数を算出する。これらの詳細については、後述する。

（輝度レベル変換関数の特徴）
輝度レベル変換部７は、入力輝度レベルと出力輝度レベルとが、所定の基準輝度レベルより低い入力輝度レベルを示す１つの変曲点と、基準輝度レベルより高い入力輝度レベルを示す１つの変曲点を含んでいる曲線関係を有している輝度レベル変換関数を用いることによって、撮像信号の輝度レベルを変換する。この輝度レベル変換関数では、入力輝度レベルと出力輝度レベルとが、最も左に位置する変曲点の左側において下に凸となる曲線関係を有している。この輝度レベル変換関数は、図示しない記憶装置にあらかじめ格納されており、輝度レベル変換部７が必要に応じて参照する。

本実施形態において輝度レベル変換部７が用いる輝度レベル変換関数は、暗領域Ｓ字様関数と、明領域Ｓ字様関数との重み付け加算関数である。ここで、暗領域Ｓ字様関数では、入力輝度レベルと上記出力輝度レベルとが、暗領域において１つの変曲点を含んでいるＳ字型の曲線関係を有している。この暗領域とは、基準輝度レベルよりも低い輝度レベルを含んでいる領域のことである。すなわち、暗領域Ｓ字様関数は、撮像信号における、基準輝度レベルよりも低い輝度レベルの変換を担当する関数である。

一方、明領域Ｓ字様関数では、入力輝度レベルと出力輝度レベルとが、明領域において１つの変曲点を含んでいるＳ字型の曲線関係を有している。また、明領域とは、基準輝度レベルよりも高い輝度レベルを含んでいる領域である。すなわち明領域Ｓ字様関数は、撮像信号における、基準輝度レベルよりも高い輝度レベルの変換を担当する関数である。

なお、後述するように、変換関数算出部６が、以上の特性を有する輝度レベル変換関数を算出する。

また、「Ｓ字型の曲線」とは、たとえば、変曲点に近いほど曲線の傾きが大きくなる曲線を意味する。換言すると、輝度レベル変換部７が用いる輝度レベル変換関数では、入力輝度レベルの変化（増分）に応じた出力輝度レベルの変化（増分）が、変曲点に近いほど大きくなる。

（輝度レベル変換の詳細）
図２７に示すように、固体撮像素子によって撮影された画像には、暗い被写体と明るい被写体が同時に含まれ、それらの光量差が非常に大きいことがある。このとき輝度レベル変換部７は、撮像画像の特性に基づき、暗被写体の画像における輝度レベル分布の中心付近に、暗領域Ｓ字様関数の変曲点が当てはまるように、撮像信号の輝度レベルを変換する。さらに、明被写体の画像における輝度レベル分布の中心付近に、明領域Ｓ字様関数の変曲点が当てはまるように、撮像信号の輝度レベルを変換する。

上述したように、輝度レベル変換関数では、変曲点付近において、最も曲線の傾きが大きい。すなわち、そのため輝度レベル変換部７は、暗い被写体および明るい被写体の両方の分布の中心付近において、コントラストを伸張する。このとき、暗被写体の画像、および明被写体の画像の両方において、Ｓ字様の曲線関係を有している輝度レベル変換関数を用いることによって、輝度レベルを変換する。これにより、暗被写体の画像内、および明被写体の画像内の両方において、それぞれ、相対的に低い輝度レベル範囲におけるコントラストを圧縮する。同時に、階調性を適度に保ちながら、相対的な高い輝度レベル範囲におけるコントラストを圧縮する。

これにより輝度レベル変換部７は、暗い被写体内および明るい被写体内の両方における、相対的な中間輝度レベル範囲におけるコントラストが、大幅に改善できる。したがって、暗い被写体および明るい被写体の両方の分布を包含する撮像信号における一部の輝度レベル領域を切り出して、階調を直線的に拡大する方法に比べて、輝度レベル変換後の撮像信号によって表される画像が、よりコントラストのはっきりとした自然な画像となる。

（輝度レベル変換関数の詳細）
輝度レベルを変換するときに輝度レベル変換部７が用いる輝度レベル変換関数の詳細について、図１３、図１４、および図２７を参照して以下に説明する。図１３は、撮像信号の輝度レベルを変換するときに輝度レベル変換部７が用いる輝度レベル変換関数の一例を示す図である。図１３に示す曲線Ｇ１３１は、次式（５）によって表される。

式（５）において、ｉは入力輝度レベルを表し、ｆ（ｉ）は出力輝度レベルを表す。また、Ｌは出力輝度レベルの最大輝度レベルを表し、ｅは自然対数の底を表す。さらに、αは０から１の間のいずれかの値を取る係数である。このαは、出力輝度レベルの領域を分割する役割を有している。そのため、以下では、αを、出力輝度レベル領域分割係数と表現する。

図１３に示す曲線Ｇ１３１は、３つの変曲点を有している。すなわち、輝度レベルの小さい順に、第１変曲点Ｐ１、第２変曲点Ｐ２、および第３変曲点Ｐ３を有している。これらのうち、第２変曲点Ｐ２は、画像のコントラスト調整に大きくは関わっていない。第１変曲点Ｐ１は、撮像画像のうち、基準輝度レベルよりも小さい輝度レベルを有する部分のコントラスト調整に関わっている。第３変曲点Ｐ３は、撮像画像のうち、基準輝度レベルよりも大きい輝度レベルを有する部分のコントラスト調整に関わっている。また、曲線Ｇ１３１の形状は、３つの変曲点のうち輝度レベルが最も小さい第１変曲点Ｐ１を境にした左側の領域、すなわち輝度レベルがより小さい暗領域において、下に凸となる。

（シグモイド関数）
式（５）に示すように、ｆ（ｉ）は、シグモイド関数ｇ（ｉ）と係数αとの積と、シグモイド関数ｈ（ｉ）と係数（１−α）の積との加算によって表される。すなわち、第１項のシグモイド関数ｇ（ｉ）と第２項のシグモイド関数ｈ（ｉ）との重み付け加算によって表される。

ここで、μｇは、曲線Ｇ１３１の第１変曲点Ｐ１における傾度を規定するパラメータを表す。また、μｈは、曲線Ｇ１３１における第３変曲点Ｐ３における傾度を規定するパラメータを表す。

シグモイド関数ｇ（ｉ）は、上述した暗領域Ｓ字様関数として、暗領域の輝度レベル変換を担当する。また、シグモイド関数ｈ（ｉ）は、上述した明領域Ｓ字様関数として、明領域における輝度レベルの変換を担当する。

（輝度レベル変換の一例）
図２７は、光量差が大きい暗い被写体と明るい被写体とを、対数変換型の固体撮像素子２が同時に撮像したときの画像における、撮像信号の輝度レベルと画素数との関係を表すヒストグラムを示す図である。光量差が大きい２つの被写体には、たとえば、トンネルの出口付近における、トンネルの内部と、太陽光下のトンネル外の景色とがある。また、窓のある室内における、室内と、太陽光下の窓の外の景色とがある。このとき、固体撮像素子は、これらの被写体を同じ撮像面上において同時に撮像する。以下では、被写体としてトンネルの出口付近を固体撮像素子２が撮像した例を説明する。

図２７において、曲線Ｇ２７１は、トンネル内部の画像を表す撮像信号の輝度レベル分布を示す。一方、曲線Ｇ２７２は、主にトンネル外の景色の画像を表す撮像信号の輝度レベル分布を示す。対応する。また、輝度レベルＣ２７１は、曲線Ｇ２７１に示す輝度レベル分布における中心輝度レベルを示す。一方、輝度レベルＣ２７２は、曲線Ｇ２７２に示す輝度レベル分布における中心輝度レベルを示す。

輝度レベル変換部７は、輝度レベルＣ２７１の第１変曲点Ｐ１と、輝度レベルＣ２７２の第３変曲点Ｐ３とを有する曲線Ｇ１３１を用いることによって、図２７に示す輝度レベル／画素数特性を有している撮像信号の輝度レベルを変換する。このとき、輝度レベル変換後の撮像信号における、輝度レベルと画素数との関係を示すヒストグラムは、図１４に示す通りになる。図１４は、輝度レベルが変換されたあとの撮像信号における、輝度レベルと画素数との関係を示すヒストグラムの一例である。

輝度レベル変換部７は、曲線Ｇ１３１の輝度レベル変換関数を用いることによって、暗被写体の画像に対応する曲線Ｇ２７１を、図１４に示す曲線Ｇ１４１に変換する。一方、明被写体の画像に対応する曲線Ｇ２７２を、図１４に示す曲線Ｇ１４２に変換する。

その結果、暗被写体の画像に対応する曲線Ｇ１４１の輝度レベル分布は、輝度レベル変換前における曲線Ｇ２７１に比べて、輝度レベルＣ１４１を中心にしてより広がっている。また、明るい被写体に対応する曲線Ｇ１４２の輝度レベル分布は、輝度レベルを変換前における曲線Ｇ２７２に比べて、輝度レベルＣ１４２を中心にしてより広がっている。

したがって、輝度レベルの変換後においては、画素数の少ない輝度レベル範囲Ｒ２７２は、図１４に示すように、より範囲の狭い輝度レベル範囲Ｒ１２２に変換される。したがって、輝度レベル範囲Ｒ１４２の全体輝度レベル範囲Ｒ１４１に対する割合は、輝度レベル範囲Ｒ２７２の全体輝度レベル範囲Ｒ２７１に対する割合よりも小さくなる。また、暗被写体の画像および明被写体の画像を表現する輝度レベルの範囲が、それぞれより大きくなる。

これにより、輝度レベルの変換後における撮像信号（輝度レベル信号）を画像表示装置に再生させたとき、曲線Ｇ１４１に対応するトンネル内部の画像のコントラストは、特許文献１に示す従来方法を用いて撮像信号の輝度レベルを変換した場合よりも、大きくなる。さらに、Ｇ２７２の分布に対応する、トンネル外の景色画像のコントラストについても、同様である。

（まとめ）
以上の輝度レベル変換により、輝度レベル変換部７は、暗被写体における、輝度レベルがより暗変曲点より低い範囲におけるコントラストを圧縮する。同時に、階調性を適度に保ちながら、輝度レベルが暗変曲点より高い範囲におけるコントラストを圧縮する。さらに、明被写体においても、同様に、輝度レベルが明輝度レベルより低い範囲におけるコントラストを圧縮する。同時に、階調性を適度に保ちながら、輝度レベルが明輝度レベルより高い範囲におけるコントラストを圧縮する。

これにより輝度レベル変換部７は、暗被写体および明被写体のいずれにおいても、各被写体における相対的な中間輝度レベルの範囲におけるコントラストを、大幅に改善できる。したがって、暗被写体および明被写体を含んでいる画像を表す撮像信号から、各被写体に対応する輝度レベル領域を抽出し、階調を直線的に拡大する方法に比べて、輝度レベル変換後の撮像信号によって表される画像における各被写体画像が、よりコントラストのはっきりとした自然な被写体画像となる
（輝度レベル変換関数の算出）
輝度レベル変換装置３では、記憶装置にあらかじめ格納されている輝度レベル変換関数を用いるかわりに、撮像信号が入力されるたびに輝度レベル変換関数を算出し、当該算出した輝度レベル変換関数を用いることによって、撮像信号の輝度レベルを変換してもよい。このとき、輝度レベル変換装置３は、撮像信号によって表される画像の特性に基づき、輝度レベル変換関数を算出する。

輝度レベル変換装置３では、画像特性抽出部５が、撮像信号に基づき、撮像信号によって表される画像の特性を表すパラメータを算出する。また、変換関数算出部６が、撮像信号によって算出されたパラメータに基づき、輝度レベル変換関数を算出する。これにより、輝度レベル変換部７は、画像の特性に基づき算出された輝度レベル変換関数を用いて、撮像信号の輝度レベルを変換する。したがって、輝度レベル変換装置３では、画像の特性に応じた最適な輝度レベル変換が行われ、より自然な画像を得ることができる。

このような輝度レベル変換関数算出の詳細について、図１３を参照して以下に説明する。なお、固体撮像素子２の動作については、実施形態１と同様なので説明を省略する。

（画像特性抽出部５の詳細）
図１５は、本実施形態に係る輝度レベル変換装置３に備えられる画像特性抽出部５の詳細な内部構成を示すブロック図である。この図に示すように、画像特性抽出部５は、画素ブロック輝度レベル算出部５００、ヒストグラム算出部５０１（ヒストグラム算出手段）、ヒストグラム移動平均処理部５０２（ヒストグラム平滑化手段）、明領域画素ブロック探索部５０３（第４累積画素数算出手段）、明領域アドレス分散算出部５０４（明領域画素アドレス分散算出手段）、明輝度参照レベル算出部５０５（第２累積画素数算出手段、第１明輝度参照レベル算出手段、明領域画素アドレス分散判定手段、第２基準画素数設定手段）、暗領域画素ブロック探索部５０６（第３累積画素数算出手段）、暗領域アドレス分散算出部５０７（暗領域画素アドレス分散算出手段）、暗輝度参照レベル算出部５０８（第１累積画素数算出手段、第１暗輝度参照レベル算出手段、暗領域画素アドレス分散判定手段、第１基準画素数設定手段）、スケーリング演算部５０９（第２暗輝度参照レベル算出手段、第２明輝度参照レベル算出手段）、ヒストグラムピーク検出部５１０（暗領域ピーク輝度レベル算出手段）、明領域輝度レベル平均算出部５１１（明領域画素平均輝度レベル算出手段）、および中間輝度レベル算出部５１２（中間輝度レベル算出手段）を備えている。

これらのうち、画素ブロック輝度レベル算出部５００、ヒストグラム算出部５０１、ヒストグラム移動平均処理部５０２、明領域画素ブロック探索部５０３、明領域アドレス分散算出部５０４、明輝度参照レベル算出部５０５、暗領域画素ブロック探索部５０６、暗領域アドレス分散算出部５０７、暗輝度参照レベル算出部５０８、およびスケーリング演算部５０９は、実施形態１における画素ブロック輝度レベル算出部３０、ヒストグラム算出部３１、ヒストグラム移動平均処理部３２、明領域画素ブロック探索部３３、明領域アドレス分散算出部３４、明輝度参照レベル算出部３５、暗領域画素ブロック探索部３６、暗領域アドレス分散算出部３７、暗輝度参照レベル算出部３８、およびスケーリング演算部３９とそれぞれ同様に動作する。そのため、説明を省略する。

（ヒストグラムピークの検出）
ヒストグラムピーク検出部５１０は、ヒストグラム移動平均処理部５０２によって算出された平滑化ヒストグラムから、ヒストグラム曲線において画素数がピークとなる輝度レベルを検出する。そこで、ヒストグラムピーク検出部５１０の動作について、図１６および図１７を参照して以下に説明する。

図１６は、光量差が大きい暗被写体および明被写体の画像を、両方とも含んでいる撮像画像を表す撮像信号における、輝度レベルと画素数との関係を示すヒストグラムである。図１６に示すヒストグラムは、ヒストグラム移動平均処理部５０２によって平滑化された後のものである。ヒストグラムピーク検出部５１０は、図１６に示す２つの平滑化ヒストグラム曲線Ｈ１６１およびＨ１６２において、輝度レベルによって示される画素数と、輝度レベルに隣接する隣接輝度レベルによって示される画素数との差分である差分画素数を、輝度レベルごとにそれぞれ算出する。これにより、算出した差分画素数と、輝度レベルとの関係を示す曲線を算出する。

（ゼロクロス輝度レベル点の算出）
図１７は、ヒストグラムピーク検出部５１０によって算出された差分画素数と、輝度レベルとの関係を示す曲線Ｇ１７１およびＧ１７２を表す図である。ヒストグラムピーク検出部５１０は、平滑化ヒストグラム曲線Ｈ１６１から曲線Ｇ１７１を算出し、かつ、平滑化ヒストグラム曲線Ｈ１６２から曲線Ｇ１７２を算出する。ここで、図１７に示すように、ヒストグラムピーク検出部５１０は、曲線Ｇ１７１に含んでいるゼロクロス輝度レベル点ＰＥ１を算出する。ＰＥ１は、曲線Ｇ１７１において、画素数が輝度レベル軸を正から負に横切る点である。同様に、曲線Ｇ１７２に含まれているゼロクロス輝度レベル点ＰＥ２を算出する。ＰＥ２は、曲線Ｇ１７２において、輝度レベル軸を画素数が正から負に横切る点である、
図１７に示す例では、ヒストグラムピーク検出部５１０は、ゼロクロス輝度レベル点を２つ（ＰＥ１およびＰＥ２）算出している。２つであるのは、ヒストグラムの形状に依存してのことである。しかし、固体撮像装置１が撮像する対象の光学状態によっては、ヒストグラムピーク検出部５１０は、２つより多くのゼロクロス輝度レベル点を算出することもできる。すなわちヒストグラムピーク検出部５１０は、ヒストグラムの形状に応じた、任意の数のゼロクロス輝度レベル点を算出できる。

（最大ピーク輝度レベルの検出）
ヒストグラムピーク検出部５１０は、つぎに、平滑化ヒストグラム（曲線Ｈ１６１およびＨ１６２）における、各ゼロクロス輝度レベル点ＰＥ１およびＰＥ２に対応する画素数をそれぞれ検出する。ここで、これらのうち、最も画素数が多いゼロクロス輝度レベル点を、最大ピーク輝度レベルとして検出する。これによりヒストグラムピーク検出部５１０は、ヒストグラムにおいて所定の暗領域基準輝度レベルよりも小さい輝度レベルが属する範囲における、最大画素数を表す上記輝度レベルを、最大ピーク輝度レベル（暗領域ピーク輝度レベル）として算出する。

図１６に示す平滑化ヒストグラムでは、曲線Ｇ１６１上のゼロクロス輝度レベル点ＰＥ１に対応する画素数ＭＰが、最大の画素数である。そのため、ヒストグラムピーク検出部５１０は、最大ピーク輝度レベルとして、図１６に示す輝度レベルｐｂを検出する。このｐｂは、ＰＥ１が示す輝度レベルに一致する。このように、ヒストグラムピーク検出部５１０は、ヒストグラム移動平均処理部５０２によって算出された平滑化ヒストグラムから、図１６に示す最大ピーク輝度レベルｐｂを出力する。

（明領域輝度レベル平均の算出）
つぎに、明領域輝度レベル平均算出部５１１の動作を、図１６および図１８を参照して以下に説明する。画像特性抽出部５では、
画素ブロック輝度レベル算出部５００が、撮像画像を構成する画素ブロックの輝度レベルを、画素ブロックごとに算出し、ヒストグラムピーク検出部５１０に出力する。また、明領域アドレス分散算出部５０４が、明領域探索参照輝度レベルＷＬを算出し、明領域輝度レベル平均算出部５１１に出力する。明領域輝度レベル平均算出部５１１は、
明領域探索参照輝度レベルＷＬを超える輝度レベルを有している画素ブロックを対象として、画素ブロックの輝度レベルの平均値を算出する。

明領域輝度レベル平均算出部５１１の動作について、図１８を参照して以下に説明する。図１８は、明領域輝度レベル平均算出部５１１の動作を説明する図である。図１８において、撮像面１８１は、固体撮像素子２の撮像面を示す。画素ブロック１８２は、画素ブロック輝度レベル算出部５００が輝度レベル代表値を算出する対象とする、撮像面１８１上の画素ブロックの一つを示す。すなわち画素ブロック１８２は、図７に示す画素ブロック７７に相当する。

画素ブロック１８３は、撮像面１８１上の画素ブロックのうち、明領域探索参照輝度レベルＷＬを超える輝度レベルを有している明領域画素ブロックの一つである。明領域輝度レベル平均算出部５１１は、実験的に求められた所定数の明領域画素ブロックが有している輝度レベルの平均値を算出し、明領域輝度レベル平均値として、中間輝度レベル算出部５１２に出力する。

（中間輝度レベルの算出）
つぎに、中間輝度レベル算出部５１２の動作を説明する。中間輝度レベル算出部５１２は、図１６に示す最大ピーク輝度レベルｐｂと、明領域輝度レベル平均値ｂａとを用いて、ｐｂ〜ｂａ間を二分する中心点を算出する。すなわち、ｐｂから中心点までの距離Ｒ１６１と、ｂａから中心点までの距離Ｒ１６２とが等しくなる条件を満たす中心点を算出する。中間輝度レベル算出部５１２は、算出した中心点に対応する輝度レベルを、中間輝度レベルｍｉｄ２として、図１３に示す変換関数算出部６に出力する。この入力輝度レベルｍｉｄ２は、式（５）に示す輝度レベル変換関数における中間輝度レベルを示す。

（変換関数の算出）
変換関数算出部６の動作について、以下に説明する。

変換関数算出部６は、明輝度参照レベルＡＷＬ、暗輝度参照レベルＡＢＬ、および中間輝度レベルｍｉｄ２に基づき、入力輝度レベルと出力輝度レベルとが、３つの変曲点を含んでいる曲線関係を示す輝度レベル変換関数を算出する。このとき算出される輝度レベル変換関数では、最も左に位置する変曲点の左において、曲線の形状が下に凸となる。具体的には、変換関数算出部６は、式（５）に示す輝度レベル変換関数を算出する。

変換関数算出部６は、入力輝度レベルと出力輝度レベルとが、所定の基準輝度レベルより低い入力輝度レベルを示す１つの変曲点と、基準輝度レベルより高い入力輝度レベルを示す１つの変曲点を含んでいる曲線関係を有している輝度レベル変換関数を算出する。この輝度レベル変換関数では、入力輝度レベルと出力輝度レベルとが、最も左に位置する変曲点の左側において下に凸となる曲線関係を有している。

なお、変換関数算出部６は、式（５）に示す輝度レベル変換関数を算出するとき、パラメータλｇおよびλｈを用いる。ここで、λｇは、式（５）におけるシグモイド関数ｇ（ｉ）において、ｉ＝ｍｉｄ２のときにｇ（ｉ）＝λｇＬとなるパラメータである。一方、λｈは、式（５）におけるシグモイド関数ｈ（ｉ）において、ｉ＝ＡＷＬのときにｈ（ｉ）＝λｈＬとなるパラメータである。

さらに、変換関数算出部６は、式（５）の輝度レベル変換関数において、第１変曲点を示す入力輝度レベルｍｉｄ１が、暗輝度参照レベルＡＢＬと中間輝度レベルを示す入力輝度レベルｍｉｄ２との中点となるように、λｈを算出する。また、第３変曲点を示す入力輝度レベルｍｉｄ３が、中間輝度レベルを示す入力輝度レベルｍｉｄ２と明輝度参照レベルＡＷＬとの中点となるように、λｇを算出する。

（パラメータμｈおよびμｇ）
具体的には、変換関数算出部６は、次式（６）に示す、λｇによって定義されるμｇと、次式（７）に示す、λｈによって定義されるμｈとを用いて、３つの変曲点を有する輝度レベル変換関数を算出する。

また、変換関数算出部６は、式（５）に示す輝度レベル変換関数において第１変曲点を示す入力輝度レベルｍｉｄ１を、次式（８）を用いて算出する。さらに、第３変曲点を示す入力輝度レベルｍｉｄ３を、次式（９）を用いて算出する

（ｇ（ｉ）の傾度の制御）
変換関数算出部６は、パラメータλｇを適宜適切な値に設定することによって、シグモイド関数ｇ（ｉ）の傾度を制御する。この一例について、図１９を参照して以下に説明する。図１９は、変換関数算出部６によって算出されるシグモイド関数ｇ（ｉ）の一例を示す図である。この図に示す例では、λｇ２＞λｇ１の条件が成立している。図１９に示す曲線Ｇ１９１は、λｇ＝λｇ１の条件が成立するときにおけるシグモイド関数曲線である。一方、図１９に示す曲線Ｇ１９２は、λｇ＝λｇ２の条件が成立するときにおけるシグモイド関数曲線である。

図１９に示すように、曲線Ｇ１９２の傾度は、曲線Ｇ１９１の傾度よりも大きい。すなわち、変換関数算出部６によって算出されるシグモイド関数曲線の傾度は、λｇの値がより大きいほど、より大きくなる。

（ｈ（ｉ）の傾度の制御）
また、変換関数算出部６は、パラメータλｈを適宜適切な値に設定することによって、シグモイド関数ｈ（ｉ）の傾度を制御する。この一例について、図２０を参照して以下に説明する。図２０は、変換関数算出部６によって算出されるシグモイド関数ｈ（ｉ）の一例を示す図である。この図に示す例では、λｈ２＞λｈ１が成立している。図１９に示す曲線Ｇ２０１は、λｈ＝λｈ１の条件が成立するときにおけるシグモイド関数曲線である。一方、図２０に示す曲線Ｇ２０２は、λｈ＝λｈ２の条件が成立するときにおけるシグモイド関数曲線である。

図２０に示すように、曲線Ｇ２０２の傾度は、曲線Ｇ２０１の傾度よりも大きい。すなわち、変換関数算出部６によって算出されるシグモイド関数曲線の傾度は、λｈの値がより大きいほど、より大きくなる。

（ｆ（ｉ）の一例）
図２１は、変換関数算出部６によって算出される輝度レベル変換関数ｆ（ｉ）の一例を示す図である。上述したように、変換関数算出部６は、シグモイド関数ｇ（ｉ）とシグモイド関数ｈ（ｉ）とを、係数αによって重み付けすることによって、輝度レベル変換関数ｆ（ｉ）を算出する。図１９に示すように、輝度レベル変換関数における各変曲点に対応する入力輝度レベルｍｉｄ１、ｍｉｄ２、およびｍｉｄ３は、ｍｉｄ３＞ｍｉｄ２＞ｍｉｄ１の関係を有している。輝度レベル変換関数ｆ（ｉ）は、シグモイド関数ｇ（ｉ）およびｈ（ｉ）の特性を両方、備えている。すなわち、シグモイド関数ｇ（ｉ）の特性に基づき、低輝度レベルの領域では、ｍｉｄ１を中心とした曲線関係を有する輝度レベルを変換する。一方、シグモイド関数ｈ（ｉ）の特性に基づき、高輝度レベルの領域では、ｍｉｄ３を中心とする曲線関係を有する輝度レベルを変換する。

（ｇ（ｉ）の傾きの制御）
上述したように、変換関数算出部６は、パラメータλｇを適宜適切な値に設定することによって、シグモイド関数ｇ（ｉ）の傾度を制御する。したがって輝度レベル変換部７は、輝度レベル変換関数ｆ（ｉ）を用いるによって、ｍｉｄ１を中心とした低輝度レベル領域におけるコントラストを適切に制御できる。すなわち図２１に示すように、λｇ＝λｇ１の条件が成立するとき、輝度レベル変換関数ｆ（ｉ）は、低輝度レベル領域においてＧ２１１に示す曲線関係を有する。一方、λｇ＝λｇ２の条件が成立するとき、輝度レベル変換関数ｆ（ｉ）は、低輝度レベル領域においてＧ２１２に示す曲線関係を有する。

図２１に示すように、曲線Ｇ２１２の傾度は、曲線Ｇ２１１の傾度よりも大きい。すなわち、変換関数算出部６によって算出される輝度レベル変換関数の、低輝度レベル領域における傾度は、λｇの値がより大きいほど、より大きくなる。

（ｈ（ｉ）の傾きの制御）
また、変換関数算出部６は、パラメータλｈを適宜適切な値に設定することによって、シグモイド関数ｈ（ｉ）の傾度を制御する。これにより、輝度レベル変換関数ｆ（ｉ）において、ｍｉｄ３を中心とする高輝度レベル領域のコントラストを適切に制御する。
図２１に示すように、λｈ＝λｈ１の条件が成立するとき、輝度レベル変換関数ｆ（ｉ）は、高輝度レベル領域においてＧ２１３に示す曲線関係を有する。一方、λｈ＝λｈ２の条件が成立するとき、輝度レベル変換関数ｆ（ｉ）は、高輝度レベル領域においてＧ２１４に示す曲線関係を有する。

図２１に示すように、曲線Ｇ２１４の傾度は、曲線Ｇ２１３の傾度よりも大きい。すなわち、変換関数算出部６によって算出される輝度レベル変換関数の、高輝度レベル領域における傾度は、λｈの値がより大きいほど、より大きくなる。

（階調範囲の制御）
変換関数算出部６は、さらに、式（５）における係数αを適宜適当な値に設定することによって、低輝度レベル領域および高輝度レベル領域に割り当てられる階調の範囲（輝度レベル変換の対象となる範囲）を、それぞれ制御する。具体的には、式（５）におけるαの値をより大きくすることによって、輝度レベル変換関数ｆ（ｉ）に含まれるシグモイド関数ｇ（ｉ）の割合をより大きくする。これにより、輝度レベル変換関数ｆ（ｉ）において、低輝度レベル領域の輝度レベル変換を受け持つ範囲をより大きくする。

一方、式（５）におけるαの値を小さく設定することによって、輝度レベル変換関数ｆ（ｉ）に含まれるシグモイド関数ｈ（ｉ）の割合をより大きくする。これにより、輝度レベル変換関数ｆ（ｉ）において、高輝度レベル領域の輝度レベル変換を受け持つ範囲をより大きくする。

言い換えれば、変換関数算出部６は、αに適宜適当な値を設定することによって、輝度レベル変換関数ｆ（ｉ）の特性を制御する。すなわち変換関数算出部６は、輝度レベル変換部７によって輝度レベルが変換された後の撮像信号における、低輝度レベル側におけるコントラストの改善具合と、高輝度レベル側におけるコントラストの改善具合とのバランスを、制御できる。

〔実施形態３〕
本発明に係る第３の実施形態について、図２２〜図２４を参照して以下に説明する。

本実施形態に係る固体撮像装置１における概略のブロック構成は、実施形態１および実施形態２における固体撮像装置１と同様である。したがって、詳細な説明を省略する。

輝度レベル変換装置３は、固体撮像素子２から出力された撮像信号の輝度レベルを変換する。輝度レベル変換装置３は、図１に示すように、画像特性抽出部５、変換関数算出部６（関数算出手段）、および輝度レベル変換部７（輝度レベル変換手段）を備えている。

画像特性抽出部５は、固体撮像素子２によって撮像された画像の特性を抽出する。具体的には、画像特性抽出部５は、固体撮像素子２から出力された撮像信号に基づき、画素の特性を示す各種のパラメータを生成する。また画像特性抽出部５は、生成したパラメータに基づき、撮影された画像に暗い被写体および明るい被写体が同時に含まれているか否かを判定する。すなわち、撮像信号に対し、実施形態２における輝度レベル変換方式を適用することが好ましいか否かを判定する。画像特性抽出部５は、判定結果を、１ビットの値を有する変換方式判定信号として出力する。以上に説明した判定方法の詳細については、後述する。

（輝度レベル変換関数の算出）
変換関数算出部６は、輝度レベル変換装置３において、輝度レベルの変換に用いる輝度レベル変換関数を算出する。変換関数算出部６は、画像特性抽出部５によって判定された変換方式に基づき、単一領域輝度レベル変換関数または二領域輝度レベル変換関数を算出する。単一領域輝度レベル変換関数は、単一の輝度レベル領域を対象とした変換関数であり、具体的には、実施形態１において説明した、入力輝度レベルと出力輝度レベルとが、１つの変曲点を含んでいるＳ字型の曲線関係を有している関数である。一方、二領域輝度レベル変換関数は、２つに分かれた輝度レベル領域を対象とした変換関数であり、入力輝度レベルと出力輝度レベルとが、３つの変曲点を含み、最も左に位置する変曲点の左では下に凸となる曲線関係を有している関数である。

すなわち変換関数算出部６は、画像特性抽出部５によって算出された各種パラメータを用いて、撮像された画像の特性に応じた、撮像信号の輝度レベル変換に最適な輝度レベル変換関数を算出する。以上の詳細は後述する。

（輝度レベル変換部７）
輝度レベル変換部７は、変換関数算出部６で算出された輝度レベル変換関数を用いて、撮像信号の輝度レベルを変換する。この輝度レベル変換関数は、図示しない記憶装置にあらかじめ格納されており、輝度レベル変換部７が必要に応じて参照する。

輝度レベル変換の際に輝度レベル変換部７が用いる輝度レベル変換関数の詳細については、実施形態１および実施形態２において説明したものと同様である。したがって、詳細な説明を省略する。

（画像特性抽出部５）
つぎに、前述の画像特性抽出部５における変換方式の判定の詳細について、図２２を参照にして以下に説明する。図２２は、実施形態３に係る輝度レベル変換装置３に備えられる画像特性抽出部５の詳細な内部構成を示すブロック図である。

この図に示すように、画像特性抽出部５は、画素ブロック輝度レベル算出部５００、ヒストグラム算出部５０１（ヒストグラム算出手段）、ヒストグラム移動平均処理部５０２（ヒストグラム平滑化手段）、明領域画素ブロック探索部５０３（第４累積画素数算出手段）、明領域アドレス分散算出部５０４（明領域画素アドレス分散算出手段）、明輝度参照レベル算出部５０５（第２累積画素数算出手段、第１明輝度参照レベル算出手段、明領域画素アドレス分散判定手段、第２基準画素数設定手段）、暗領域画素ブロック探索部５０６（第３累積画素数算出手段）、暗領域アドレス分散算出部５０７（暗領域画素アドレス分散算出手段）、暗輝度参照レベル算出部５０８（第１累積画素数算出手段、第１暗輝度参照レベル算出手段、暗領域画素アドレス分散判定手段、第１基準画素数設定手段）、および、スケーリング演算部５０９（第２暗輝度参照レベル算出手段、第２明輝度参照レベル算出手段）、ヒストグラムピーク検出部５１０、明領域輝度レベル平均算出部５１１、中間輝度レベル算出部５１２、変換方式判定部５１３を備えている。

また、ヒストグラムピーク検出部５１０、明領域輝度レベル平均算出部５１１、および中間輝度レベル算出部５１２は、実施形態２におけるヒストグラムピーク検出部５１０、明領域輝度レベル平均算出部５１１、および中間輝度レベル算出部５１２と、それぞれ同様である。したがって、詳細な説明を省略する。

これらの部材のうち、画素ブロック輝度レベル算出部５００、ヒストグラム算出部５０１、ヒストグラム移動平均処理部５０２、明領域画素ブロック探索部５０３、明領域アドレス分散算出部５０４、明輝度参照レベル算出部５０５、暗領域画素ブロック探索部５０６、暗領域アドレス分散算出部５０７、暗輝度参照レベル算出部５０８、スケーリング演算部５０９は、実施形態１における画素ブロック輝度レベル算出部３０、ヒストグラム算出部３１、ヒストグラム移動平均処理部３２、明領域画素ブロック探索部３３、明領域アドレス分散算出部３４、明輝度参照レベル算出部３５、暗領域画素ブロック探索部３６、暗領域アドレス分散算出部３７、暗輝度参照レベル算出部３８、スケーリング演算部３９の動作とそれぞれ同様である。したがって、詳細な説明を省略する。

（変換方式判定部５１３）
つぎに、変換方式判定部５１３の動作について、図２３〜図２５を参照して以下に説明する。

図２３は、画像特性抽出部５に備えられる変換方式判定部５１３の詳細な内部構成を示すブロック図である。この図に示すように、変換方式判定部５１３は、中間輝度レベル頻度判定部５１３１、明領域アドレス分散判定部５１３２、および論理積演算部５１３３を備えている。

（中間輝度レベル頻度判定部５１３１）
中間輝度レベル頻度判定部５１３１について、図２４を参照して以下に説明する。図２４（ａ）は、暗い被写体および明るい被写体のそれぞれにおける輝度分布が狭く、中間的な輝度分布がほとんど存在しない撮像信号における、入射光量と画素数との関係の一例を表すヒストグラムである。一方、図２４（ｂ）は、暗い被写体と明るい被写体のそれぞれのにおける輝度分布がいずれも広く、かつ互いに重なり合い、中間的な輝度分布を有している撮像信号における、入射光量と画素数との関係の一例を表すヒストグラムである。

図２４（ａ）および（ｂ）に示すｐｂは、ヒストグラムピーク検出部５１０によって算出される最大ピーク輝度レベルである。ｂａは、明領域輝度レベル平均算出部５１１によって算出される明領域輝度レベル平均値である。ｍｉｄ２は、中間輝度レベル算出部５１２によって算出される中間輝度レベルである。

中間輝度レベル頻度判定部５１３１には、中間輝度レベル算出部５１２から、中間輝度レベルを示す入力輝度レベルｍｉｄ２が入力される。さらに、ヒストグラム移動平均処理部５０２から、平滑化されたヒストグラムを入力される。

入力輝度レベルｍｉｄ２および平滑化ヒストグラムがそれぞれ入力されると、中間輝度レベル頻度判定部５１３１は、平滑化ヒストグラムにおける入力輝度レベルｍｉｄ２に対応する画素数を算出する。つぎに、算出した画素数が、所定の基準画素数Ｔｖより大きいか否かを判定する。

（判定の一例）
図２４（ａ）に示す平滑化ヒストグラムでは、入力輝度レベルｍｉｄ２に対応する画素数は、基準画素数Ｔｖよりも小さい。したがって、入力輝度レベルｍｉｄ２は基準画素数Ｔｖよりも小さい。このとき中間輝度レベル頻度判定部５１３１は、二値論理において真を表す値である「１」を、変換関数算出部６に出力する。一方、図２４（ｂ）に示す平滑化ヒストグラムでは、入力輝度レベルｍｉｄ２に対応する画素数は、基準画素数Ｔｖよりも大きい。このとき中間輝度レベル頻度判定部５１３１は、二値論理において「偽」を表す値である「０」を、変換関数算出部６に出力する。

このように、中間輝度レベル頻度判定部５１３１は、画像に含まれる暗被写体および明被写体における輝度レベルの分布が、それぞれ共に狭いか否かを判定する。言い換えれば、固体撮像素子２が出力した撮像信号に、中間的な輝度レベルの分布がほとんど存在しないか否かを判定する。これにより、判定結果を示す二値論理値を、変換関数算出部６に出力する。

つぎに、明領域アドレス分散判定部５１３２について、図２５を参照して以下に説明する。図２５（ａ）は、撮像面２５１において、明領域画素ブロック２５３が互いに隣接し、一塊のような状態を示す図である。一方、図２５（ｂ）は、撮像面２５１において、明領域画素ブロック２５３が分散している状態を示す図である。

（明領域アドレス分散判定部５１３２）
図２５（ａ）および（ｂ）に示す撮像面２５１は、固体撮像素子２における撮像面を示す。画素ブロック２５２は、画素ブロック輝度レベル算出部５００によって輝度レベル代表値を算出される、撮像面２５１上の画素ブロックの一つを示す。図７においては、画素ブロック２５２は画素ブロック７７に相当する。画素ブロック２５３は、撮像面２５１上の画素ブロックのうち、明領域探索参照輝度レベルＷＬを超える輝度レベルを有する明領域画素ブロックの一つを示す。

明領域アドレス分散判定部５１３２は、撮像面２５１における、明領域画素ブロック２５３の散らばり具合を判定する。たとえば図２５（ａ）に示す撮像面２５１では、明領域画素ブロック２５３が互いに隣接し、一塊のような状態にあると判定する。このとき明領域アドレス分散判定部５１３２は、二値論理において真を表す値「１」を、論理積演算部５１３３に出力する。

明領域アドレス分散判定部５１３２は、一方で、図２５（ｂ）に示すように、明領域画素ブロック２５３が撮像面２５１において分散していると判定したとき、二値論理において偽を表す値である「０」を、論理積演算部５１３３に出力する。

具体的には、明領域アドレス分散判定部５１３２は、明領域アドレス分散算出部５０４によって算出されたＸアドレス分散値と、あらかじめ定められた基準分散値σＴｘとを比較する。さらに、明領域アドレス分散算出部５０４によって算出されたＹアドレス分散値と、あらかじめ定められた基準分散値σＴｙとを比較する。基準分散値σＴｘおよびσＴｙは、いずれも実験的に定められる値であり、輝度レベル変換装置３における図示しないメモリにあらかじめ格納されている。

明領域アドレス分散判定部５１３２は、Ｘアドレス分散値が基準分散値σＴｘより小さく、かつ、Ｙアドレス分散値が基準分散値σＴｙよりも小さいと判定したとき、値「１」を論理積演算部５１３３に出力する。一方、Ｘアドレス分散値が基準分散値σＴｘより大きいか、または、Ｙアドレス分散値が基準分散値σＴｙよりも大きいか、あるいはそれらの両方が成立する判定したときは、値「０」を論理積演算部５１３３に出力する。

このように、明領域アドレス分散判定部５１３２は、各明領域画素ブロック２５３が互いに隣接し合い、一塊のような状態にあるか否かを判定する。すなわち、明領域画素ブロック２５３のアドレスから分散値を算出し、算出した分散値が基準分散値より小さいか否かを判定する。これにより、明領域画素ブロックが存在する領域に、何らかの意味をなす情報が含まれているか否かを判定する。算出した分散値が基準分散値より小さいとき、意味をなす情報は含まれていないと判定し、二値論理値として「０」を出力する。一方、算出した分散値が基準分散値より大きいとき、意味をなす情報が含まれていると判定し、二値論理値として「１」を出力する。

論理積演算部５１３３には、中間輝度レベル頻度判定部５１３１からの出力と、明領域アドレス分散判定部５１３２からの出力とが入力される。これにより、入力された２つの二値論理値の論理積を演算する。また、演算した結果を、１ビットのデータを有する変換方式判定信号として、変換関数算出部６に出力する。

（まとめ）
以上のように、変換方式判定部５は、撮影された画像に含まれる暗い被写体の輝度レベル分布と、明るい被写体の輝度レベル分布が、いずれも基準分布よりも狭く、中間的な輝度分布がほとんど存在しないことを、中間輝度レベル頻度判定部５１３１が判定し、かつ、各明領域画素ブロック２５３が互いに隣接し合って一塊のような状態にあり、明領域画素ブロック２５３の存在する領域に意味をなす情報が含まれていることを、明領域アドレス分散判定部５１３２が判定したとき、二値論理で真を表す値である「１」を、変換関数算出部６に出力する。それ以外ならば、変換方式判定部５は、二値論理で偽を表す値である「０」を、変換関数算出部６に出力する。

（変換関数の算出）
変換関数算出部６の動作を、図２６を参照して以下に説明する。図２６は、実施形態３に係る変換関数算出部６の構成を示す図である。図２６に示すように、変換関数算出部６は、単一領域輝度レベル変換関数算出部６１、二領域分割輝度レベル変換関数算出部６２、および輝度レベル変換関数選択部６３を備えている。

（単一領域輝度レベル変換関数算出部６１）
単一領域輝度レベル変換関数算出部６１には、暗輝度参照レベルＡＢＬ、明輝度参照レベルＡＷＬ、およびパラメータλが入力される。単一領域輝度レベル変換関数算出部６１は、入力されたデータを用いて、単一の輝度レベル領域を変換するための輝度レベル変換関数を算出する。具体的には、入力輝度レベルと出力輝度レベルとが、１つの変曲点を含んでいるＳ字型の曲線関係を有している単一領域輝度レベル変換関数を算出する。

（二領域分割輝度レベル変換関数算出部６２）
二領域分割輝度レベル変換関数算出部６２には、暗輝度参照レベルＡＢＬ、明輝度参照レベルＡＷＬ、中間輝度レベルを示す入力輝度レベルｍｉｄ２、およびパラメータλｇ、およびλｈが入力される。二領域分割輝度レベル変換関数算出部６２は、２つに分かれた輝度レベル領域を変換するための輝度レベル変換関数を算出する。具体的には、入力輝度レベルと出力輝度レベルとが、基準輝度レベルより低い入力輝度レベルを示す１つの変曲点と、基準輝度レベルより高い入力輝度レベルを示す１つの変曲点とを含んでいる曲線関係を有している二領域分割輝度レベル変換関数（第２輝度レベル変換関数）を算出する。

輝度レベル変換関数選択部６３は、変換方式判定部５からの出力に基づいて、単一領域輝度変換関数および二領域分割輝度変換関数のいずれかを選択する。

変換方式判定部５の出力が「１」であるとき、二領域分割輝度レベル変換関数算出部６２は、二領域分割輝度レベル変換関数を算出する。二領域分割輝度レベル変換関数算出部６２は、算出した二領域分割輝度レベル変換関数を表すデータを生成し、輝度レベル変換関数選択部６３に出力する。これにより輝度レベル変換関数選択部６３は、二領域分割輝度レベル変換関数算出部６２によって算出された輝度変換関数を、輝度レベル変換部７に出力する。

変換方式判定部５の出力が「０」であるとき、単一領域輝度レベル変換関数算出部６１は、単一領域輝度レベル変換関数を算出する。単一領域輝度レベル変換関数算出部６１は、算出した輝度レベル変換関数を表すデータを生成し、輝度レベル変換関数選択部６３に出力する。これにより輝度レベル変換関数選択部６３は、単一領域輝度レベル変換関数算出部６１によって算出された単一領域輝度レベル変換関数を、輝度レベル変換部７に出力する。

輝度レベル変換部７は、入力されたデータによって表される輝度レベル変換関数を用いて、撮像信号の輝度レベルを変換する。すなわち、単一領域輝度レベル変換関数が入力されたとき、単一領域輝度レベル変換関数を用いる。一方、二領域分割輝度レベル変換関数が入力されたとき、二領域分割輝度レベル変換関数を用いる。輝度レベル変換の具体的な処理手順については、実施形態１および２において説明した通りであるため、詳細な説明を省略する。

（まとめ）
このように、本実施形態では、画像特性抽出部５は、固体撮像素子２から入力された撮像信号に基づき、撮像信号の輝度レベルを変換するために適した輝度レベル変換関数が、単一領域輝度レベル変換関数および二領域分割輝度レベル変換関数のいずれであるのかを判定する。この判定結果に基づき、変換関数算出部６は、撮像信号の輝度レベルを変換するのに適した輝度レベル変換関数を、画像特性抽出部５が算出したパラメータを用いて算出する。これにより輝度レベル変換部７は、変換関数算出部６が算出した輝度レベル変換関数を用いて、撮像信号の輝度レベルを変換する。最後に、輝度レベルが変換された撮像信号は画像表示装置４に入力され、画像表示装置４は撮像信号が表す画像を表示する。

以上のように、輝度レベル変換装置３は、光量差が大きい２つの被写体を含んでいる画像を表す撮像信号に対しては、二領域分割輝度レベル変換関数を用いて輝度レベルを変換する。光量差が大きい２つの被写体には、たとえば、トンネルの出口付近における、トンネルの内部と、太陽光下のトンネル外の景色とがある。また、窓のある室内における、室内と、太陽光下の窓の外の景色とがある。一方、１つの被写体や、あるいは光量に大きな差が無い複数の被写体を有している画像を表す撮像信号に対しては、輝度レベル変換部７は、単一領域輝度レベル変換関数を用いて輝度レベルを変換する。

したがって輝度レベル変換装置３は、撮像信号に輝度レベルは変換するとき、被写体画像の光量特性に応じた適切な輝度レベル変換関数を用いる。これにより、各被写体のコントラストを適応的に改善できる。

（プログラムおよび記録媒体）
なお、上述した各部材は、いずれも機能ブロックである。したがって、これらの部材は、ＣＰＵなどの演算手段が、図示しない記憶部に格納された輝度レベル変換プログラムを実行し、図示しない入出力回路などの周辺回路を制御することによって、実現される。

したがって、本発明の目的は、上述した機能を実現するソフトウェアである輝度レベル変換プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータによって読み取り可能に記録している記録媒体を、輝度レベル変換装置に供給し、輝度レベル変換装置に備えられるコンピュータ（またはＣＰＵやＭＰＵ、ＤＳＰ）が、記録媒体に記録されているプログラムコードを読み出し実行することによって、達成可能である。

この場合、記録媒体から読み出されたプログラムコード自体が上述した機能を実現することになり、そのプログラムコードを記録している記録媒体は本発明を構成することになる。

一方で、上述した各部材は、上述したソフトウェアと同様の処理を行うハードウェアとして実現してもよい。この場合、本発明の目的は、ハードウェアとしての輝度レベル変換装置によって達成されることになる。

ここで、プログラムコードを読み出し実行する演算手段は、単体の構成であればよい。または、輝度レベル変換装置内部のバスや各種の通信路を介して接続されている複数の演算手段が、プログラムコードを協同して実行する構成であってもよい。

ここで、演算手段によって直接的に実行可能なプログラムコードは、このプログラムコードを格納しているコンピュータ読み取り可能な記録媒体を通じて、輝度レベル変換装置に配布すればよい。また、プログラムコードを、後述する解凍などの処理によってプログラムコードを生成可能なデータとして、当該データを格納しているコンピュータ読み取り可能な記録媒体に通じて、輝度レベル変換装置に配布してもよい。あるいは、これらのプログラムコードまたはデータを、有線または無線の通信路を介してデータを伝送する通信ネットワークを通じて、輝度レベル変換装置に配布または送信してもよい。いずれの手段によって配布または送信されても、プログラムコードは、輝度レベル変換装置に備えられる演算手段によって実行される。

このとき、特定のものに限定されない各種の通信ネットワークを通じて、プログラムコードまたはデータを伝送できる。このような通信ネットワークの具体例を挙げると、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、電話回線網、移動体通信網、衛星通信網等がある。また、通信ネットワークを構成する伝送媒体（通信路）も、特に限定されない。具体的には、ＩＥＥＥ１３９４規格による回線、ＵＳＢ回線、電力線、ケーブルＴＶ回線、電話線、およびＡＤＳＬ回線等の有線を、伝送媒体として利用できる。また、ＩｒＤＡやリモコンに用いられている赤外線を利用した無線、Ｂｌｕｅｔｏｏｔｈ規格またはＩＥＥＥ８０２．１１無線規格に規定されている無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等を利用した無線も、伝送媒体として利用できる。

なお、プログラムコードを輝度レベル変換装置に配布するための記録媒体は、プログラムコードの配布前には、取り外し可能になっていることが好ましい。しかし、プログラムコードを配布した後には、輝度レベル変換装置から取り外し可能になっていてもよく、輝度レベル変換装置と一体化されて取り外し不可能になっていてもよい。

また、記録媒体は、プログラムコードが記録されてさえいれば、書き換え（書き込み）可能であってもよく、不可能であってもよい。また、揮発性であってもよく、非揮発性であってもよい。また、記録媒体へのプログラムコードの記録方法、および記録媒体の形状も、任意のものでよい。

このような条件を満たす記録媒体を例示すると、磁気テープやカセットテープなどのテープ、フロッピー（登録商標）ディスクやハードディスクなどの磁気ディスク、ＣＤ−ＲＯＭや光磁気ディスク（ＭＯ）、ミニディスク（ＭＤ）、デジタルビデオディスク（ＤＶＤ）などのディスクがある。また、ＩＣカードや光カードのようなカード型メモリ、あるいは、マスクＲＯＭやＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュＲＯＭなどの半導体メモリも該当する。さらに、ＣＰＵなどの演算手段内に形成されているメモリも該当する。

なお、プログラムコードを記録媒体から読み出して主記憶に格納するためのプログラムは、あらかじめ、輝度レベル変換装置内に、コンピュータによって実行可能に格納されている。また、プログラムコードを通信ネットワークを通じて輝度レベル変換装置に配布する場合、通信ネットワークからプログラムコードをダウンロードするプログラムは、あらかじめ、輝度レベル変換装置内に、コンピュータによって実行可能に格納されている。

また、プログラムコードは、上述した各処理の全手段を演算手段へ指示するコードであればよい。なお、コンピュータには、プログラムコードによる各処理の一部または全部を所定の手順で呼び出すことによって実行可能な基本プログラム（たとえば、オペレーティングシステムやライブラリなど）がすでに存在している場合がある。この場合、プログラムコードにおける全手順の一部または全部を、この基本プログラムの呼び出しを演算手段へ指示するコードやポインタなどに置き換えたプログラムコードものを、輝度レベル変換プログラムのプログラムコードとしてもよい。

また、記録媒体には、実メモリにプログラムコードを配置した状態のように、輝度レベル変換プログラムを格納すればよい。具体的には、演算手段が記録媒体にアクセスしてプログラムコードを実行できる形式によって、輝度レベル変換プログラムを記録媒体に格納すればよい。または、実メモリにプログラムコードを配置する前であり、かつ、演算手段が常時アクセス可能なローカルな記録媒体（たとえばハードディスクなど）にインストールした後の格納形式によって、輝度レベル変換プログラムを記録媒体に格納してもよい。あるいは、通信ネットワークや搬送可能な記録媒体などからローカルな記録媒体にインストールする前の格納形式によって、輝度レベル変換プログラムを記録媒体に格納してもよい。

また、輝度レベル変換プログラムは、コンパイルされた後のオブジェクトコードに限られない。たとえば、輝度レベル変換プログラムは、ソースコードとして記録媒体に格納されていてもよい。あるいは、インタプリトまたはコンパイルの途中において生成される中間コードとして、記録媒体に格納されていてもよい。

上述したいずれの場合であっても、記録媒体に格納されているプログラムコード（中間コード）は、演算手段が実行可能な形式に変換可能なものであればよい。

すなわち、プログラムコード（中間コード）は、所定の形式変換プログラムが、圧縮されたプログラムコードを解凍したり、符号化されたプログラムコードを復元したり、ソースコードをインタプリト、コンパイル、リンク、または、実メモリへ配置したりすることによって、あるいはこれらの処理を組み合わせて実行することによって、演算手段が実行可能な形式に変換されるものであればよい。これにより、輝度レベル変換プログラムを記録媒体に格納する際の格納形式にかかわらず、同様の効果を得ることができる。

なお、本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。

たとえば輝度レベル変換装置３は、入力輝度レベルと出力輝度レベルとが、少なくとも１つの変曲点を含む曲線関係を有している輝度レベル変換関数を用いて、上記撮像信号の輝度レベルを変換すればよい。すなわち、変曲点の数は、１つでもよいし、２つ以上でもよい。変換関数算出部６は、撮像画像に含まれている被写体画像の特性に応じて、最適な数の変曲点を含んでいる曲線関係を有している輝度レベル変換関数を算出すればよい。

本発明に係る輝度レベル変換装置は、固体撮像素子から出力された撮像信号の輝度レベルを変換する装置として、デジタルカメラおよびビデオカメラ等の各種撮影装置に組み込んで利用することができる。

本発明に係る固体撮像装置の詳細を示すブロック図である。 撮像信号の輝度レベルを変換する際に輝度レベル変換部が用いる輝度レベル変換関数の一例を示す図である。 （ａ）は、輝度レベルの変換が行われる前の、撮像信号における入射光量と輝度レベルとの関係を示すグラフであり、（ｂ）は、（ａ）に示す曲線の特性を有する撮像信号を、図２に示す各曲線の輝度レベル変換関数を用いて変換された後の、撮像信号における入射光量と輝度レベルとの関係を示すグラフである。 式（２）によって表される、２次関数である輝度レベル変換関数における、入力輝度レベルと出力輝度レベルとの関係を示すグラフである。 撮像信号における輝度レベル変換前の入射光量と輝度レベルとの関係を示す曲線と、この曲線を図４に示す曲線を用いて輝度レベル変換した後の曲線における入射光量と輝度レベルとの関係を示すグラフである。 本発明の輝度レベル変換装置に備えられる画像特性抽出部の詳細な内部構成を示すブロック図である。 図７は、画素ブロック輝度レベル算出部の動作原理を説明する図である。 （ａ）は、ヒストグラム算出部によって算出されるヒストグラムの一例を示すグラフであり、（ｂ）は、ヒストグラム移動平均処理部によって平滑化された平滑化ヒストグラムの一例を示す図である。 輝度レベル変換関数算出部によって算出される輝度レベル変換関数の一例を示す図である。 輝度レベル変換部の構成を示すブロック図である。 （ａ）は、対数変換型固体撮像素子における、入射光量と輝度レベルとの関係（光応答特性）を示すグラフであり、図１１（ｂ）は、対数変換型固体撮像素子における、入射光量と画素数との関係（入射光量分布）の一例を表すヒストグラムである。 （ａ）は、従来方法によって輝度レベル変換された撮像信号における、入射光量と変換後の輝度レベルとの関係を示すグラフであり、（ｂ）は、入射光量と、画素数との関係を示すヒストグラムである。 撮像信号の輝度レベルを変換するときに輝度レベル変換部が用いる輝度レベル変換関数の一例を示す図である。 輝度レベルが変換されたあとの撮像信号における、輝度レベルと画素数との関係を示すヒストグラムの一例である。 実施形態２に係る輝度レベル変換装置に備えられる画像特性抽出部の詳細な内部構成を示すブロック図である。 光量差が大きい暗被写体および明被写体の画像を、両方とも含んでいる撮像画像を表す撮像信号における、輝度レベルと画素数との関係を示すヒストグラムである。 ヒストグラムピーク検出部によって算出された差分画素数と、輝度レベルとの関係を示す曲線を表す図である。 明領域輝度レベル平均算出部の動作を説明する図である。 変換関数算出部によって算出されるシグモイド関数ｇ（ｉ）の一例を示す図である。 変換関数算出部によって算出されるシグモイド関数ｈ（ｉ）の一例を示す図である。 変換関数算出部６によって算出される輝度レベル変換関数ｆ（ｉ）の一例を示す図である。 実施形態３に係る輝度レベル変換装置に備えられる画像特性抽出部の詳細な内部構成を示すブロック図である。 画像特性抽出部に備えられる変換方式判定部の詳細な内部構成を示すブロック図である。 （ａ）は、暗い被写体および明るい被写体のそれぞれにおける輝度分布が狭く、中間的な輝度分布がほとんど存在しない撮像信号における、入射光量と画素数との関係の一例を表すヒストグラムであり、（ｂ）は、暗い被写体と明るい被写体のそれぞれのにおける輝度分布がいずれも広く、かつ互いに重なり合い、中間的な輝度分布を有している撮像信号における、入射光量と画素数との関係の一例を表すヒストグラムである。 （ａ）は、撮像面において、明領域画素ブロックが互いに隣接し、一塊のような状態を示す図であり、（ｂ）は、撮像面において、明領域画素ブロックが分散している状態を示す図である。 実施形態３に係る変換関数算出部の構成を示す図である。 光量差が大きい暗い被写体と明るい被写体とを、対数変換型の固体撮像素子が同時に撮像したときの画像における、撮像信号の輝度レベルと画素数との関係を表すヒストグラムを示す図である。

符号の説明

１ 固体撮像装置
２ 固体撮像素子
３ 輝度レベル変換装置
４ 画像表示装置
５ 画像特性抽出部
６ 変換関数算出部
７ 輝度レベル変換部
３０ 画素ブロック輝度レベル算出部
３１ ヒストグラム算出部
３２ ヒストグラム移動平均処理部
３３ 明領域画素ブロック探索部
３４ 明領域アドレス分散算出部
３５ 明輝度参照レベル算出部
３６ 暗領域画素ブロック探索部
３７ 暗領域アドレス分散算出部
３８ 暗輝度参照レベル算出部
３９ スケーリング演算部
６１ 単一領域輝度レベル変換関数算出部
６２ 二領域分割輝度レベル変換関数算出部
６３ 輝度レベル変換関数選択部
７０ 変換テーブル更新部
７１ 変換テーブル格納部
７２ 変換テーブル適用部
１８１ 撮像面
１８２ 画素ブロック
１８３ 明領域画素ブロック
２５１ 撮像面
２５２ 画素ブロック
２５３ 明領域画素ブロック
５００ 画素ブロック輝度レベル算出部
５０１ ヒストグラム算出部
５０２ ヒストグラム移動平均処理部
５０３ 明領域画素ブロック探索部
５０４ 明領域アドレス分散算出部
５０５ 明領域参照レベル算出部
５０６ 暗領域画素ブロック探索部
５０７ 暗領域アドレス分散算出部
５０８ 暗領域参照レベル算出部
５０９ スケーリング演算部
５１０ ヒストグラムピーク検出部
５１１ 明領域輝度レベル平均算出部
５１２ 中間輝度レベル算出部
５１３ 変換方式判定部
５１３１ 中間輝度レベル頻度判定部
５１３２ 明領域アドレス分散判定部
５１３３ 論理積演算部

Claims (38)

1. 入射光の光量を対数変換する固体撮像素子から出力された撮像信号の輝度レベルを変換する輝度レベル変換装置において、
   入力輝度レベルと出力輝度レベルとが、少なくとも１つの変曲点を含んでいる曲線関係を有している輝度レベル変換関数を用いて、上記撮像信号の輝度レベルを変換する輝度レベル変換手段を備えていることを特徴とする輝度レベル変換装置。
2. 上記輝度レベル変換関数は、上記入力輝度レベルと上記出力輝度レベルとが、１つの変曲点を含んでいるＳ字型の曲線関係を有していることを特徴とする請求項１に記載の輝度レベル変換装置。
3. 上記輝度レベル変換関数は、シグモイド型関数であることを特徴とする請求項２に記載の輝度レベル変換装置。
4. 上記輝度レベル変換関数は、２次関数であることを特徴とする請求項２に記載の輝度レベル変換装置。
5. 上記撮像信号の特性に基づき、上記輝度レベル変換関数を算出する関数算出手段をさらに備えており、
   上記輝度レベル変換手段は、上記関数算出手段によって算出された上記輝度レベル変換関数を用いて、上記撮像信号の輝度レベルを変換することを特徴とする請求項２に記載の輝度レベル変換装置。
6. 上記撮像信号における輝度レベルと画素数との関係を表すヒストグラムを算出するヒストグラム算出手段をさらに備えており、
   上記関数算出手段は、上記ヒストグラム算出手段によって算出された上記ヒストグラムに基づき、上記輝度レベル変換関数を算出することを特徴とする請求項５に記載の輝度レベル変換装置。
7. 上記ヒストグラムを平滑化するヒストグラム平滑化手段をさらに備えていることを特徴とする請求項６に記載の輝度レベル変換装置。
8. 上記ヒストグラムにおける最低輝度レベル以上、第１基準輝度レベル以下の範囲内の輝度レベルを有する画素の数を累積加算することによって、第１累積画素数を算出する第１累積画素数算出手段と、
   上記第１累積画素数が所定の第１基準画素数を超える場合、上記第１基準輝度レベルを第１暗輝度参照レベルとして算出する第１暗輝度参照レベル算出手段と、
   上記ヒストグラムにおける第２基準輝度レベル以上、最高輝度レベル以下の範囲内の輝度レベルを有する画素の数を累積加算することによって、第２累積画素数を算出する第２累積画素数算出手段と、
   上記第２累積画素数が所定の第２基準画素数を超える場合、上記第２基準輝度レベルを第１明輝度参照レベルとして算出する第１明輝度参照レベル算出手段と、をさらに備えており、
   上記関数算出手段は、上記第１暗輝度参照レベルおよび上記第１明輝度参照レベルに基づき、上記輝度レベル変換関数を算出することを特徴とする請求項６に記載の輝度レベル変換装置。
9. 上記所定の第１基準画素数は、上記ヒストグラムにおける全累積画素数の０．０５〜０．５％の値であることを特徴とする請求項８に記載の輝度レベル変換装置。
10. 上記所定の第２基準画素数は、上記ヒストグラムにおける全累積画素数の０．０５〜０．５％の値であることを特徴とする請求項８に記載の輝度レベル変換装置。
11. 所定の暗領域基準輝度レベルよりも小さい輝度レベルを有する画素の、上記撮像信号内の画素アドレスの分散を、暗領域画素アドレス分散として算出する暗領域画素アドレス分散算出手段と、
    上記暗領域画素アドレス分散が、所定の第１基準画素アドレス分散よりも大きいか否かを判定する暗領域画素アドレス分散判定手段と、
    上記暗領域画素アドレス分散判定手段による判定結果が真であるとき、上記所定の第１基準画素数を、あらかじめ定められている値より大きい値に設定する第１基準画素数設定手段とをさらに備えていることを特徴とする請求項８に記載の輝度レベル変換装置。
12. 所定の明領域基準輝度レベルよりも大きい輝度レベルを有する画素の、上記撮像信号によって表される撮像された画像内の画素アドレスの分散を、明領域画素アドレス分散として算出する明領域画素アドレス分散算出手段と、
    上記明領域画素アドレス分散が、所定の第２基準画素アドレス分散よりも大きいか否かを判定する明領域画素アドレス分散判定手段と、
    上記明領域画素アドレス分散判定手段による判定結果が真であるときに、上記所定の第２基準画素数を、あらかじめ定められている値より大きい値に設定する第２基準画素数設定手段とをさらに備えていることを特徴とする請求項８に記載の輝度レベル変換装置。
13. 上記ヒストグラムにおける最低輝度レベル以上、第３基準輝度レベル以下の範囲内の輝度レベルの画素数を累積加算することによって、第３累積画素数を算出する第３累積画素数算出手段と、
    上記第３累積画素数が所定の第３基準画素数を超える場合、上記第３基準輝度レベルを上記暗領域基準輝度レベルとして算出する暗領域基準輝度レベル算出手段とをさらに備えていることを特徴とする請求項１１に記載の輝度レベル変換装置。
14. 上記所定の第３基準画素数は、上記ヒストグラムにおける全累積画素数の０．５〜１．５％の値であることを特徴とする請求項１３に記載の輝度レベル変換装置。
15. 上記ヒストグラムにおける第４基準輝度レベル以上、最高輝度レベル以下の範囲内の輝度レベルの画素数を累積加算することによって、第４累積画素数を算出する第４累積画素数算出手段と、
    上記第４累積画素数が所定の第４基準画素数を超える場合、上記第４基準輝度レベルを上記明領域基準輝度レベルとして算出する明領域基準輝度レベル算出手段とをさらに備えていることを特徴とする請求項１２に記載の輝度レベル変換装置。
16. 上記所定の第４基準画素数は、上記ヒストグラムにおける全累積画素数の０．５〜１．５％の値であることを特徴とする請求項１５に記載の輝度レベル変換装置。
17. 上記第１明輝度参照レベルと上記第１暗輝度参照レベルとの差分に所定の第１係数を乗じた値を、上記第１暗輝度参照レベルから減算することによって、第２暗輝度参照レベルを算出する第２暗輝度参照レベル算出手段と、
    上記第１明輝度参照レベルと上記第１暗輝度参照レベルとの差分に所定の第２係数を乗じた値を、上記第１明輝度参照レベルに加算することによって、第２明輝度参照レベルを算出する第２明輝度参照レベル算出手段とをさらに備えており、
    上記関数算出手段は、上記第２暗輝度参照レベルおよび上記第２明輝度参照レベルに基づき、上記輝度レベル変換関数を算出することを特徴とする請求項８に記載の輝度レベル変換装置。
18. 上記所定の第１係数は、０．１〜０．６の範囲内にある値であることを特徴とする請求項１７に記載の輝度レベル変換装置。
19. 上記所定の第１係数は、約０．５であることを特徴とする請求項１８に記載の輝度レベル変換装置。
20. 上記所定の第２係数は、０．１〜０．６の範囲内にある値であることを特徴とする請求項１７に記載の輝度レベル変換装置。
21. 上記所定の第２係数は、約０．５であることを特徴とする請求項１８に記載の輝度レベル変換装置。
22. 上記輝度レベル変換関数では、
    上記入力輝度レベルと上記出力輝度レベルとは、基準輝度レベルより低い上記入力輝度レベルを示す１つの上記変曲点と、上記基準輝度レベルより高い上記入力輝度レベルを示す１つの上記変曲点を含んでいる曲線関係を有していることを特徴とする請求項１に記載の輝度レベル変換装置。
23. 上記輝度レベル変換関数は、
    上記基準輝度レベルよりも低い輝度レベルが属している暗領域において、上記入力輝度レベルと上記出力輝度レベルとが１つの変曲点を含んでいるＳ字型の曲線関係を有している暗領域Ｓ字様関数と、上記基準輝度レベルよりも高い輝度レベルが属している明領域において、上記入力輝度レベルと上記出力輝度レベルとが１つの変曲点を含んでいるＳ字型の曲線関係を有している明領域Ｓ字様関数との重み付け加算関数であることを特徴とする請求項２２に記載の輝度レベル変換装置。
24. 上記暗領域Ｓ字様関数は、シグモイド型関数であることを特徴とする請求項２３に記載の輝度レベル変換装置。
25. 上記明領域Ｓ字様関数は、シグモイド型関数であることを特徴とする請求項２３に記載の輝度レベル変換装置。
26. 上記撮像信号の特性に基づき、上記暗領域Ｓ字様関数および上記明領域Ｓ字様関数とを所定の重み付け係数によって重み付けることによって、上記輝度レベル変換関数を算出する関数算出手段をさらに備えており、
    上記輝度レベル変換手段は、
    上記関数算出手段によって算出された上記輝度レベル変換関数を用いて、上記撮像信号の輝度レベルを変換することを特徴とする請求項２３に記載の輝度レベル変換装置。
27. 上記撮像信号における輝度レベルと画素数との関係を表すヒストグラムを算出するヒストグラム算出手段をさらに備えており、
    上記関数算出手段は、上記ヒストグラム算出手段によって算出された上記ヒストグラムに基づき、上記輝度レベル変換関数を算出することを特徴とする請求項２３に記載の輝度レベル変換装置。
28. 上記ヒストグラムにおける最低輝度レベル以上、第１基準輝度レベル以下の範囲内の輝度レベルを有する画素の数を累積加算することによって、第１累積画素数を算出する第１累積画素数算出手段と、
    上記第１累積画素数が所定の第１基準画素数を超える場合、上記第１基準輝度レベルを暗輝度参照レベルとして算出する暗輝度参照レベル算出手段と、
    上記ヒストグラムにおける第２基準輝度レベル以上、最高輝度レベル以下の範囲内の輝度レベルを有する画素の数を累積加算することによって、第２累積画素数を算出する第２累積画素数算出手段と、
    上記第２累積画素数が所定の第２基準画素数を超える場合、上記第２基準輝度レベルを明輝度参照レベルとして算出する明輝度参照レベル算出手段と、
    上記画像に含まれている画素のうち、所定の明領域基準輝度レベルよりも大きい上記輝度レベルを有している画素の上記輝度レベルの平均値を、明領域画素平均輝度レベルとして算出する明領域画素平均輝度レベル算出手段と、
    上記ヒストグラムにおいて所定の暗領域基準輝度レベルよりも小さい輝度レベルが属する範囲における、最大画素数を表す上記輝度レベルを、暗領域ピーク輝度レベルとして算出する暗領域ピーク輝度レベル算出手段と、
    上記明領域画素平均輝度レベルと、上記暗領域ピーク輝度レベルとの中間値である中間輝度レベルを算出する中間輝度レベル算出手段とをさらに備えており、
    上記関数算出手段は、上記暗輝度参照レベル、上記明輝度参照レベル、および上記中間輝度レベルに基づき、上記暗領域Ｓ字様関数および明領域Ｓ字様関数を算出し、さらに、上記算出した暗領域Ｓ字様関数と上記算出した明領域Ｓ字様関数とを上記重み付け係数によって重み付けることによって、上記輝度レベル変換関数を算出することを特徴とする請求項２７に記載の輝度レベル変換装置。
29. 上記撮像信号の特性に基づき、上記入力輝度レベルと上記出力輝度レベルとが、１つの変曲点を含んでいるＳ字型の曲線関係を有している第１輝度レベル変換関数、または、上記入力輝度レベルと上記出力輝度レベルとが、基準輝度レベルより低い上記入力輝度レベルを示す１つの上記変曲点と、上記基準輝度レベルより高い上記入力輝度レベルを示す１つの上記変曲点とを含んでいる曲線関係を有している第２輝度レベル変換関数を算出する 関数算出手段をさらに備えており、
    上記輝度レベル変換手段は、
    上記関数算出手段によって算出された上記第１輝度レベル変換関数または上記第２輝度レベル変換関数を用いることによって、上記撮像信号の輝度レベルを変換することを特徴とする請求項１に記載の輝度レベル変換装置。
30. 上記撮像信号における輝度レベルと画素数との関係を表すヒストグラムを算出するヒストグラム算出手段をさらに備えており、
    上記関数算出手段は、上記ヒストグラム算出手段によって算出された上記ヒストグラムに基づき、上記第１輝度レベル変換関数または上記第２輝度レベル変換関数を算出することを特徴とする請求項２９に記載の輝度レベル変換装置。
31. 上記撮像信号によって表される画像を構成する画素のうち、所定の明領域基準輝度レベルよりも大きい上記輝度レベルを有している画素の上記輝度レベルの平均値を、明領域画素平均輝度レベルとして算出する明領域画素平均輝度レベル算出手段と、
    上記ヒストグラムにおいて所定の暗領域基準輝度レベルよりも小さい輝度レベルが属する範囲における、最大画素数を表す上記輝度レベルを、暗領域ピーク輝度レベルとして算出する暗領域ピーク輝度レベル算出手段と、
    上記明領域画素平均輝度レベルと、上記暗領域ピーク輝度レベルとの中間値である中間輝度レベルを算出する中間輝度レベル算出手段とをさらに備えており、
    上記関数算出手段は、
    上記ヒストグラムにおける上記中間輝度レベルの画素数が、所定の基準画素数よりも大きいとき、上記第１輝度レベル変換関数を算出することを特徴とする請求項３０に記載の輝度レベル変換装置。
32. 所定の第１明領域基準輝度レベルよりも大きい輝度レベルを有する画素の、上記撮像信号によって表される撮像された画像内の画素アドレスの分散を、明領域画素アドレス分散として算出する明領域画素アドレス分散算出手段と、
    上記撮像信号によって表される画像を構成する画素のうち、所定の第２明領域基準輝度レベルよりも大きい上記輝度レベルを有している画素の上記輝度レベルの平均値を、明領域画素平均輝度レベルとして算出する明領域画素平均輝度レベル算出手段と、
    上記ヒストグラムにおいて所定の暗領域基準輝度レベルよりも小さい輝度レベルが属する範囲における最大画素数を表す上記輝度レベルを、暗領域ピーク輝度レベルとして算出する暗領域ピーク輝度レベル算出手段と、
    上記明領域画素平均輝度レベルと、上記暗領域ピーク輝度レベルとの中間値である中間輝度レベルを算出する中間輝度レベル算出手段とをさらに備えており、
    上記関数算出手段は、
    上記明領域画素アドレス分散が所定の第２基準画素アドレス分散よりも大きいか、または、上記ヒストグラムにおける上記中間輝度レベルの画素数が所定の基準画素数より大きいとき、上記第１輝度レベル変換関数を算出することを特徴とする請求項３０に記載の輝度レベル変換装置。
33. 上記撮像信号によって表される画像を構成する画素のうち、所定の明領域基準輝度レベルよりも大きい上記輝度レベルを有している画素の上記輝度レベルの平均値を、明領域画素平均輝度レベルとして算出する明領域画素平均輝度レベル算出手段と、
    上記ヒストグラムにおいて所定の暗領域基準輝度レベルよりも小さい輝度レベルが属する範囲における最大画素数を表す上記輝度レベルを、暗領域ピーク輝度レベルとして算出する暗領域ピーク輝度レベル算出手段と、
    上記明領域画素平均輝度レベルと、上記暗領域ピーク輝度レベルとの中間値である中間輝度レベルを算出する中間輝度レベル算出手段とをさらに備えており、
    上記関数算出手段は、
    上記中間輝度レベルに属する上記ヒストグラム上の画素数が、所定の基準画素数より小さいとき、上記第２輝度レベル変換関数を算出することを特徴とする請求項３０に記載の輝度レベル変換装置。
34. 所定の第１明領域基準輝度レベルよりも大きい輝度レベルを有する画素の、上記撮像信号によって表される撮像された画像内の画素アドレスの分散を、明領域画素アドレス分散として算出する明領域画素アドレス分散算出手段と、
    上記撮像信号によって表される画像を構成する画素のうち、所定の第２明領域基準輝度レベルよりも大きい上記輝度レベルを有している画素の上記輝度レベルの平均値を、明領域画素平均輝度レベルとして算出する明領域画素平均輝度レベル算出手段と、
    上記ヒストグラムにおいて所定の暗領域基準輝度レベルよりも小さい輝度レベルが属する範囲における最大画素数を表す上記輝度レベルを、暗領域ピーク輝度レベルとして算出する暗領域ピーク輝度レベル算出手段と、
    上記明領域画素平均輝度レベルと、上記暗領域ピーク輝度レベルとの中間値である中間輝度レベルを算出する中間輝度レベル算出手段とをさらに備えており、
    上記関数算出手段は、
    上記明領域画素アドレス分散が所定の第２基準画素アドレス分散よりも小さく、かつ、上記ヒストグラムにおける上記中間輝度レベルの画素数が所定の基準画素数より小さいとき、上記第２輝度レベル変換関数を算出することを特徴とする請求項３０に記載の輝度レベル変換装置。
35. 入射光量を対数変換する固体撮像素子から出力された撮像信号の輝度レベルを変換する輝度レベル変換方法において、
    入力輝度レベルと出力輝度レベルとが、少なくとも１つの変曲点を含んでいる曲線関係を有している輝度レベル変換関数を用いて、上記撮像信号の輝度レベルを変換する輝度レベル変換工程を含んでいることを特徴とする輝度レベル変換方法。
36. 請求項１〜３４のいずれか１項に記載の輝度レベル変換装置を備えていることを特徴とする固体撮像装置。
37. 請求項１〜３４のいずれか１項に記載の輝度レベル変換装置を動作させる輝度レベル変換プログラムであって、コンピュータを上記の各手段として機能させるための輝度レベル変換プログラム。
38. 請求項３７に記載の輝度レベル変換プログラムを記録しているコンピュータ読み取り可能な記録媒体。
    
    

Images