JP2007251898A

JP2007251898A - 撮像装置

Info

Publication number: JP2007251898A
Application number: JP2006076384A
Authority: JP
Inventors: Koichi Kanbe; 幸一掃部; Kenichi Kakumoto; 兼一角本; Tsuyoshi Iwamoto; 剛志岩本
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2006-03-20
Filing date: 2006-03-20
Publication date: 2007-09-27
Anticipated expiration: 2026-03-20
Also published as: US8013918B2; US20070216957A1; JP4893042B2

Abstract

【課題】第１の光電変換特性と、第１の光電変換特性とは異なる第２の光電変換特性と、第１と第２の光電変換特性との過渡的な特性を示す第３の光電変換特性とを有する撮像素子を備えた撮像装置において、第１と第２と第３の光電変換特性に階調変換処理を施すことにより、階調特性が同一の特性にされた撮像装置を提供すること。
【解決手段】第１の光電変換特性と、第１の光電変換特性とは異なる第２の光電変換特性と、第１と第２の光電変換特性との過渡的な特性を示す第３の光電変換特性とを有する撮像素子を備えた撮像装置において、第１、第２および第３の光電変換特性を基準光電変換特性に変換する特性変換部を備え、第１と第２と第３の光電変換特性に階調変換処理を施すことにより、画像全体の階調特性が同一の特性にされた撮像装置を提供することができる。
【選択図】図１

Description

本発明は、撮像装置に関し、特に、第１の光電変換特性と、第１の光電変換特性とは異なる第２の光電変換特性と、第１と第２の光電変換特性との過渡的な特性を示す第３の光電変換特性とを有する撮像素子を備えた撮像装置に関する。

近年、先進安全自動車（ＡＳＶ：ＡｄｖａｎｃｅｄＳａｆｅｔｙＶｅｈｉｃｌｅ）と呼ばれる安全に配慮した自動車が各方面で開発されているが、中でも車載カメラの画像を用いて安全走行に寄与しようという取り組みが行われている（例えば、非特許文献１参照）。

車載カメラにおいては、太陽光の直射からトンネルの中まで非常に輝度範囲が広く輝度変動も激しい被写体を撮影することが求められるため、撮像素子が扱うことのできる被写体の輝度範囲、すなわちダイナミックレンジ（以下、Ｄレンジと言う）を拡大させることが１つの大きなテーマとなっている。また、自動車の走行速度が早いために通常のフレームレートでは画像が流れてしまうので（例えば時速１００ｋｍの場合、通常の３０フレーム／秒の撮影では、１フレーム間に約９３ｃｍ走行する）被写体を確実に捉えるために高フレームレート（例えば通常の１０倍程度）での撮影が求められている。

上述したＤレンジの拡大に関し、フォトダイオード等の光電変換素子をマトリクス状に配置してなる固体撮像素子に、ＭＯＳＦＥＴ等を備えた対数変換回路を付加し、前記ＭＯＳＦＥＴのサブスレッショルド特性を利用することで、固体撮像素子の出力特性を入射光量に対して電気信号が対数的に変換されるようにした対数変換型撮像素子（以下、ログセンサと言う）が知られている（例えば、特許文献１参照）。

しかし、特許文献１で提案されたログセンサでは、撮像面照度が高い方から低い方へ、すなわち被写体の輝度が明から暗に変化した場合に残像が大きく、例えば夜間の動画撮影の場合、自動車のヘッドライト等の光が人魂のように尾を引いてしまい、画像の認識が困難であった。

そこで、上述したログセンサにおいて、ＭＯＳＦＥＴに特定のリセット電圧を与えることで、固体撮像素子本来の出力特性、すなわち入射光量に応じて電気信号が線形的に変換されて出力される線形動作状態と、前述の対数動作状態とを自動的に切り替えることが可能（以下、リニアログ特性と言う）にされた線形対数変換型撮像素子（以下、リニアログセンサと言う）が提案されている（例えば、特許文献２参照）。これによって、上述した残像の問題が解決されることで、Ｄレンジの拡大と低照度での感度向上が可能となり、高フレームレートでの撮影にも対応できるようになった。

また、ＡＳＶでは、安全走行のために、車載カメラで撮影した画像を画像処理して、例えば前方を走行する車両や障害物等を抽出して追尾するようなことが行われる。このような場合に、上述したリニアログセンサで撮影された画像のように画像内に線形特性の部分と対数特性の部分とが混在した画像では、画像処理が煩雑となって処理時間がかかり、そのままでは高速での処理が必要とされる車載カメラの画像処理には適さない。

そこで、リニアログセンサを用いた撮像装置において、線形特性領域および対数特性領域に応じた階調変換処理を施すことによって画像全体の階調特性を同一の特性にする方法が提案されている（例えば、特許文献３参照）。
特開平１１−２９８７９８号公報特開２００２−７７７３３号公報特開２００５−３４８００５号公報図１１日産自動車株式会社「日産自動車、世界初のレーンキープサポートシステムを新型シーマに搭載」（http://www.nissan-global.com/GCC/Japan/NEWS/20001228_0.html：２００６年２月２２日検索）

上述した特許文献３においては、同文献の図１１に示すように、リニアログセンサでは線形特性領域と対数特性領域との切り替わり点（以下、変曲点と言う）を境に線形特性領域と対数特性領域とが完全に切り替わるとして取り扱われているが、実際には線形特性領域と対数特性領域との境界には両者の間の過渡的な特性を示す領域（以下、Ｔ−Ｌｏｇ領域と言う）が存在する。通常の動作状態ではＴ−Ｌｏｇ領域は狭いために問題とはならず、変曲点を境に線形特性領域と対数特性領域とが完全に切り替わるとして取り扱っても問題ない。しかしながら、本発明の図２２乃至図２６の説明で後述するように、例えば車載カメラで求められているような高フレームレートでの撮影時や、例えば変曲点を撮像素子の出力の高いレベルに設定した時のように線形特性領域が広い場合には、Ｔ−Ｌｏｇ領域が広くなり、線形特性でも対数特性でもないＴ−Ｌｏｇ領域の階調変換処理が必要となってくる。

本発明は、上記事情に鑑みてなされたもので、第１の光電変換特性と、第１の光電変換特性とは異なる第２の光電変換特性と、第１と第２の光電変換特性との過渡的な特性を示す第３の光電変換特性とを有する撮像素子を備えた撮像装置において、第１と第２と第３の光電変換特性に階調変換処理を施すことにより、画像全体の階調特性が同一の特性にされた撮像装置を提供することを目的とする。

本発明の目的は、下記構成により達成することができる。

１．第１の光電変換特性と、前記第１の光電変換特性とは異なる第２の光電変換特性と、前記第１と第２の光電変換特性との過渡的な特性を示す第３の光電変換特性とを有する撮像素子を備えた撮像装置において、
前記第１、第２および第３の光電変換特性を基準光電変換特性に変換する特性変換部を備えたことを特徴とする撮像装置。

２．前記第１の光電変換特性は線形特性で、前記第２の光電変換特性は対数特性であり、前記基準光電変換特性は線形特性であることを特徴とする１に記載の撮像装置。

３．前記第１の光電変換特性は線形特性で、前記第２の光電変換特性は対数特性であり、前記基準光電変換特性は対数特性であることを特徴とする１に記載の撮像装置。

４．前記撮像装置が備える特性変換部は、前記第１および第２の光電変換特性を前記基準光電変換特性に変換する方法とは異なった方法で、前記撮像装置が備える第３の光電変換特性を前記基準光電変換特性に変換することを特徴とする１乃至３の何れか１項に記載の撮像装置。

５．前記撮像装置が備える特性変換部は、前記撮像装置が備える第３の光電変換特性を、切り替わり点を境に前記第１または第２の光電変換特性の何れかと見なして前記基準光電変換特性に変換することを特徴とする１乃至３の何れか１項に記載の撮像装置。

６．前記切り替わり点は、前記第１および第２の光電変換特性の延長線の交点であることを特徴とする５に記載の撮像装置。

７．前記撮像装置が備える特性変換部は、メモリを含むルックアップテーブルから成ることを特徴とする１乃至６の何れか１項に記載の撮像装置。

本発明によれば、第１の光電変換特性と、第１の光電変換特性とは異なる第２の光電変換特性と、第１と第２の光電変換特性との過渡的な特性を示す第３の光電変換特性とを有する撮像素子を備えた撮像装置において、第１、第２および第３の光電変換特性を基準光電変換特性に変換する特性変換部を備え、第１と第２と第３の光電変換特性に階調変換処理を施すことにより、画像全体の階調特性が同一の特性にされた撮像装置を提供することができる。

以下、図面に基づき本発明の実施の形態を説明する。なお、図中、同一あるいは同等の部分には同一の番号を付与し、重複する説明は省略する。

まず、本発明が解決しようとする課題について、図２２乃至図２６を用いて詳述する。

図２２は、撮像素子を構成する各構成要素の配置の一例を示す模式図である。本例では、撮像素子はＣＭＯＳ（相補型金属酸化膜半導体）型撮像素子としている。

撮像素子１６２は、撮像面１６２ａ上に、水平と垂直に配列された複数の画素１６２ｂと、垂直走査回路１６２ｃ、サンプルホールド回路１６２ｄ、出力回路１６２ｅ、水平走査回路１６２ｆ、出力アンプ１６２ｇ、タイミングジェネレータ１６２ｈ等の構成要素を備え、画素１６２ｂの各水平行毎の並びと垂直走査回路１６２ｃとは行選択線１６２ｉで結ばれ、画素１６２ｂの各垂直列毎の並びとサンプルホールド回路１６２ｄとは垂直信号線１６２ｊで結ばれている。

撮像素子１６２の撮像動作は、制御部１５１からの撮像制御信号１５１ａに従って、タイミングジェネレータ１６２ｈによって制御され、撮像素子１６２の出力である撮像データ１６２ｋは、アナログデジタル（Ａ／Ｄ）変換器１６３に向けて入力される。撮像動作の詳細は、図２４で詳述する。

図２３は、撮像素子１６２を構成する、線形特性領域と対数特性領域との２つの光電変換特性を有する画素１６２ｂの回路の第１の実施の形態を示す回路図である。

画素１６２ｂは、埋め込み型フォトダイオードＰＤ（以下、ＰＤ部と言う）と、ＮチャンネルＭＯＳＦＥＴ（金属酸化膜半導体電界効果型トランジスタ：以下、トランジスタと言う）Ｑ１〜Ｑ４とから構成されている。トランジスタＱ１のドレインとＱ２のソースの接続部は、フローティングディフュージョンＦＤ（以下、ＦＤ部と言う）で構成されている。リセット信号φＲＳＴ、転送信号φＴＸ、読出信号φＶは、各トランジスタに対する制御信号（電位）を示し、ＶＤＤは電源、ＧＮＤは接地、ＲＳＢはＦＤ部のリセット電位を示している。

ＰＤ部は、アノードが接地され、カソードがトランジスタＱ１のソースに接続されている。ＰＤ部は光電変換部であり、被写体からの入射光量に応じた光電流Ｉｐが発生され、光電流Ｉｐは光電荷ＱｐとしてＰＤ部の寄生容量Ｃｐに蓄積される。

トランジスタＱ１は転送ゲートと呼ばれ、ソースがＰＤ部のカソードに、ドレインがトランジスタＱ２のソースとトランジスタＱ３のゲートの接続部、つまりＦＤ部に、ゲートが転送信号φＴＸにそれぞれ接続されており、ゲート電位を中間電位ＶＭにすることでＰＤ部の光電流Ｉｐをリニアログ特性で光電変換し、ゲート電位を高電位ＶＨにすることでＰＤ部の寄生容量Ｃｐに蓄積された光電荷ＱｐをＦＤ部に完全転送する。

ＦＤ部は、ＰＤ部の寄生容量Ｃｐに蓄積された光電荷Ｑｐを完全転送して読み出すための容量性の読み出し部であり、その容量値をＣｆｄとする。

トランジスタＱ２はリセットゲートと呼ばれ、ドレインがリセット電位ＲＳＢに、ソースがＦＤ部に、ゲートがリセット信号φＲＳＴにそれぞれ接続され、ゲート電位を電源電位ＶＤＤにすることでＦＤ部をリセット電位ＲＳＢにリセットする。

トランジスタＱ３は、ソースフォロワ増幅回路を構成するもので、ドレインが電源電位ＶＤＤに、ソースがトランジスタＱ４のドレインに、ゲートがＦＤ部にそれぞれ接続され、ＦＤ部の電位Ｖｆｄに対して電流増幅を行うことで、出力インピーダンスを下げる働きをする。

トランジスタＱ４は、出力読出用のトランジスタで、ドレインがトランジスタＱ３のソースに、ソースが垂直信号線ＶＳＬに、ゲートが読出信号φＶにそれぞれ接続され、ゲート電位を電源電位ＶＤＤにすることで、ＦＤ部の電位ＶｆｄをトランジスタＱ３を介して低インピーダンス化して、画素出力Ｖｏｕｔとして垂直信号線ＶＳＬに導出する。

図２４は、図２３に示した画素１６２ｂを、一般的なＣＭＯＳ型撮像素子の駆動方法であるローリングシャッタ方式で駆動する場合のタイミングチャートである。

まず、時間ｔ１〜ｔ２において、リセット信号φＲＳＴが電源電位ＶＤＤにされて、ＦＤ部がリセット電位ＲＳＢにリセット（初期化）される。同時に転送信号φＴＸが中間電位ＶＭにされることで、トランジスタＱ１はリニアログ変換動作状態となり、ＰＤ部で光電変換された光電流Ｉｐがリニアログ特性に変換され、光電荷Ｑｐが時間ｔ１〜ｔ２の間ＰＤ部の寄生容量Ｃｐに蓄積される。時間ｔ２でリセット信号φＲＳＴと転送信号φＴＸがともに接地電位ＧＮＤにされて、ＦＤ部の初期化が終了される。時間ｔ１〜ｔ２が所謂露出時間である。

時間ｔ３〜ｔ４で読出信号φＶが電源電位ＶＤＤにされることで、ＦＤ部の初期化状態の電位ＶｆｄがトランジスタＱ３とＱ４とを介してリセットノイズ信号Ｖｎとして垂直信号線ＶＳＬに出力される。時間ｔ５〜ｔ６で転送信号φＴＸが高電位ＶＨにされることで、ＰＤ部の寄生容量Ｃｐに蓄積された光電荷ＱｐがＦＤ部に完全転送されるとともに、ＰＤ部に蓄積された電荷が０（ゼロ）となり、ＰＤ部が初期化される。

時間ｔ７〜ｔ８で読出信号φＶが電源電位ＶＤＤにされることで、ＦＤ部に転送された光電荷Ｑｐによる電位ＶｆｄがトランジスタＱ３とＱ４とを介して光電変換信号Ｖｓとして垂直信号線ＶＳＬに出力される。垂直信号線ＶＳＬに出力されたリセットノイズ信号Ｖｎと光電変換信号Ｖｓとは、図２２に示したサンプルホールド回路１６２ｄで差分がとられ、画素信号Ｖｐｘとなる（Ｖｐｘ＝Ｖｓ−Ｖｎ）。

画素信号Ｖｐｘの水平１行分が、図２２に示した水平走査回路１６２ｆの図示しない水平走査信号に従って、出力回路１６２ｅからアンプ１６２ｇを介して、水平１行分の撮像データ１６２ｋとしてＡ／Ｄ変換器１６３に向けて出力される。上述した動作が水平画素行毎にタイミングをずらして繰り返される。

リニアログセンサでは、その光電変換特性は線形特性領域と対数特性領域に分けられるが、線形特性領域と対数特性領域をつなぐ部分では、そのどちらでもない（両方の特性の間の過渡的な特性を示す）領域が発生する。次に、その領域についての説明を行う。

時間ｔ１〜ｔ２では、トランジスタＱ１は、ＰＤ部のポテンシャルが、トランジスタＱ１のゲート電位＝転送信号φＴＸ＝ＶＭによって設定されるポテンシャル値からトランジスタＱ１の閾値Ｖｔｈ分低いポテンシャルに達するまでは、カットオフ状態であり、光電流Ｉｐは全て寄生容量Ｃｐへ蓄積されるため、この領域においては光電変換特性は（１式）の線形特性を示す。

ここに、ｔは光電流Ｉｐの蓄積時間、Ｖｐｉは上述した時間ｔ５〜ｔ６でのＰＤ部の初期化電位（転送信号φＴＸの高電位ＶＨによって決まる）である。

光電流Ｉｐの蓄積が進み、ＰＤ部のポテンシャルが、トランジスタＱ１のゲート電位＝転送信号φＴＸ＝ＶＭによって設定されるポテンシャル値からトランジスタＱ１の閾値Ｖｔｈ分低いポテンシャルに達すると、トランジスタＱ１がサブスレッショルド状態となり、トランジスタＱ１に電流Ｉｄが流れ出す。光電流ＩｐとトランジスタＱ１の電流Ｉｄが釣り合った状態になると、（２式）の対数変換特性となる。

ここに、ｎはゲート絶縁膜容量と空乏層容量によって決まる値、ｋはボルツマン定数、Ｔは絶対温度、ｑは：素電荷、ＩＤＯはトランジスタＱ１のサイズにより決まる定数である。

トランジスタＱ１の電流Ｉｄが流れ始めた時から、光電流ＩｐとトランジスタＱ１の電流Ｉｄが釣り合った状態になるまでの間が上述したＴ−Ｌｏｇ領域である。Ｔ−Ｌｏｇ領域では、ＰＤ部の電位Ｖｐは、トランジスタＱ１の電流Ｉｄによる寄生容量Ｃｐの充電と光電流Ｉｐによる寄生容量Ｃｐの放電の差分の電流Ｉｃ（Ｉｃ＝Ｉｐ−Ｉｄ）で決まる。トランジスタＱ１の電流Ｉｄが流れ始めた時点では、光電流ＩｐはトランジスタＱ１の電流Ｉｄに比べて十分大きいため、差分の電流Ｉｃはほぼ光電流Ｉｐに等しく、ＰＤ部の電位Ｖｐはほぼ線形特性を示す。寄生容量Ｃｐの電荷の放電が進むと、トランジスタＱ１の電流Ｉｄが指数的に増加するので、ＰＤ部の電位Ｖｐの線形特性が徐々に鈍り、滑らかに対数特性に移行する。

Ｔ−Ｌｏｇ領域の光電変換特性は、対数変換特性において、光電流が急激に変わった場合の時間応答に関する式を用いて表すことができ、以下のようになる。

ここに、ＩｉはＩｄが流れ始めた時の光電流である。

以上の（１式）から（３式）を図２５に示す。図２５は、光電変換特性の時間変化を示す模式図で、図２５（ａ）は横軸に時間ｔを、縦軸に電流Ｉをとり、光電流ＩｐとトランジスタＱ１の電流Ｉｄと寄生容量Ｃｐの放電電流Ｉｃの関係を示してある。図２５（ｂ）は横軸に時間ｔを、縦軸にＰＤ部の電位Ｖｐをとってある。

図２５（ａ）において、実線で示したＰＤ部の光電流Ｉｐに対して、一点鎖線で示したトランジスタＱ１の電流Ｉｄは、図２４の時間ｔ１ではほとんど０（ゼロ）であり、破線で示した寄生容量Ｃｐの放電電流ＩｃはほぼＰＤ部の光電流Ｉｐに等しい。そのため、図２５（ｂ）に示すように、ＰＤ部の電位Ｖｐは、時間ｔ１での初期値Ｖｐｉから直線的に低下し（線形特性）、トランジスタＱ１のゲートの中間電位ＶＭからトランジスタＱ１の閾値Ｖｔｈ分低い電位に達する時間ｔｘまで線形特性が継続される。時間ｔｘ以降、図２５（ａ）に示すように、トランジスタＱ１の電流Ｉｄは指数関数的に増大し、寄生容量Ｃｐの放電電流Ｉｃは指数関数的に減少する。

よって、図２５（ｂ）に示すように、ＰＤ部の電位Ｖｐは、（３式）に従って、線形特性から徐々に傾きが減少して、トランジスタＱ１の電流Ｉｄが光電流Ｉｐと等しくなる時間ｔｙには傾きが０（ゼロ）になる。時間ｔｙ以降、ＰＤ部の電位Ｖｐは（２式）で表される対数特性となり、ＰＤ部の電位Ｖｐは一定値Ｖｌｏｇを示す。

図２６は、フレームレートを変化させた時の光電変換特性を示す模式図で、横軸に撮像素子１６２ｂのセンサ面照度Ｌを対数軸でとり、縦軸に光電変換出力つまりＰＤ部の電位Ｖｐの初期値Ｖｐｉからの変化分を、図２５とは極性を逆にして示している。

図２６において、通常のフレームレートの例（３０ｆｐｓ）では、低照度側から光電変換特性が線形特性で立ち上がり、変曲点ＴＰで対数特性に切り替わる。変曲点ＴＰ近傍では、図の一点鎖線円内に拡大図を示したように、通常のフレームレートの場合においても線形特性から対数特性に滑らかに切り替わるＴ−Ｌｏｇ領域が存在するが、その範囲は狭いため通常は無視できる程度である。

これに対して、高フレームレートの例（３００ｆｐｓ）では、ＰＤ部の光電流Ｉｐの蓄積時間が通常のフレームレートの場合の１／１０程度と短くなるため、線形特性領域が広くなり、変曲点ＴＰは、通常のフレームレートの場合に比べて、センサ面照度Ｌの高い方に移動する。従って、変曲点でのＰＤ部の光電流Ｉｐは通常のフレームレートの場合よりも大きくなり、図２５の時間ｔｘ、つまりトランジスタＱ１の電流Ｉｄが流れ始める時点での光電流Ｉｐが大きくなるので、Ｔ−Ｌｏｇ領域の範囲が通常のフレームレートの場合よりも広くなる。

その場合、撮影された画面内のＴ−Ｌｏｇ特性で撮影された部分が多くなり、この領域に線形特性あるいは対数特性に適した階調変換処理を行うと誤った画像処理が行われてしまうため、Ｔ−Ｌｏｇ特性領域の存在が無視できなくなる。以上が、本発明が解決しようとする課題の詳細である。

さらに、撮像素子１６２の第２の実施の形態について、図２７を用いて説明する。図２７は、撮像素子１６２を構成する画素１６２ｂの第２の実施の形態を示す模式図で、図２７（ａ）は画素１６２ｂの回路図、図２７（ｂ）は画素１６２ｂの駆動方法を示すタイミングチャートである。

図２７（ａ）に示した画素１６２ｂの回路は、図２３に示した画素回路からトランジスタＱ１を削除したもので、その他は同じ回路構成である。図２７の回路では、図２３のトランジスタＱ１とＱ２の役割をトランジスタＱ２が行っている。図２７（ｂ）において、まず、時間ｔ１〜ｔ２で、トランジスタＱ２のゲート電位ＶＧが電源電位ＶＤＤにされることでＰＤ部のリセット（初期化）が行われる。その後、時間ｔ２でトランジスタＱ２のゲート電位ＶＧが中間電位ＶＭにされることでＰＤ部の光電流Ｉｐがリニアログ特性に変換される状態となり、時間ｔ２〜時間ｔ３でリニアログ特性での光電荷Ｑｐの蓄積が行われる。

時間ｔ３〜ｔ４で読出信号φＶが電源電位ＶＤＤにされることで、ＰＤ部の電位ＶｐがトランジスタＱ３とＱ４とを介して光電変換信号Ｖｓとして垂直信号線ＶＳＬに出力される。時間ｔ５〜ｔ６で再度トランジスタＱ２のゲート電位ＶＧが電源電位ＶＤＤにされることでＰＤ部のリセット（初期化）が行われ、時間ｔ７〜ｔ８で再度読出信号φＶが電源電位ＶＤＤにされることでＰＤ部のリセット電位ＶｐがトランジスタＱ３とＱ４とを介してノイズ信号Ｖｎとして垂直信号線ＶＳＬに出力される。

光電変換信号Ｖｓとノイズ信号Ｖｎとは、例えば図２２に示したサンプルホールド回路１６２ｄにて差分がとられ、撮像データ１６２ｋとしてＡ／Ｄ変換器１６３に向けて出力され、Ａ／Ｄ変換器１６３でデジタル撮像データ１６３ａに変換される。

本撮像素子１６２の第２の実施の形態においても、図２３に示した撮像素子１６２の第１の実施の形態と同様、本発明が解決しようとする課題である、図２６に示したような変曲点近傍の線形特性と対数特性との過渡的な特性を示す領域（Ｔ−Ｌｏｇ領域）が存在する。

次に、上述した課題を解決するための方法について説明する。まず、本発明における撮像装置の構成の一例を、図１を用いて説明する。図１は、撮像装置の内部構成を示すブロック図である。

撮像装置１は、レンズ１３１、レンズ駆動部１３３、絞り１２１、絞り駆動部１２３、制御部１５１、撮像素子１６２、アナログデジタル（Ａ／Ｄ）変換器１６３、画像処理部１６５、記録媒体１８１、操作部１１１および表示部１１３等からなる。撮像素子１６２は、図２２および図２３に示したものである。

被写体からの光はレンズ１３１で集光され、絞り１２１で適正光量にされて撮像素子１６２上に結像される。撮像素子１６２上に結像された被写体からの光は撮像素子で光電変換され、撮像データ１６２ｋとしてＡ／Ｄ変換器１６３に向けて出力され、Ａ／Ｄ変換器１６３でデジタル撮像データ１６３ａに変換される。

デジタル撮像データ１６３ａは画像処理部１６５に入力され、後述する階調変換処理を含む所定の画像処理が施され、画像データ１６５ａとして制御部１５１に向けて出力される。画像データ１６５ａは、制御部１５１により記録媒体１８１に記録され、必要に応じて表示部１１３に表示される。一方、制御部１５１は、レンズ駆動部１３３を介してレンズ１３１のピント調節（所謂ＡＦ動作）を行い、絞り駆動部１２３を介して絞り１２１の制御（所謂ＡＥ動作）を行う。

上述した各動作は、撮影者が操作部１１１を操作することにより操作部１１１から制御部１５１に入力される操作信号１１１ａに従って、制御部１５１により制御される。

次に、本発明の第１の実施の形態について、図２乃至図６を用いて説明する。図２は、デジタル撮像データ１６３ａに階調変換処理を施すための特性変換部２００の構成を示す回路ブロック図である。特性変換部２００は画像処理部１６５に含まれる。

図２において、特性変換部２００は、記憶部２０１と、メモリで構成されるルックアップテーブル（以下、ＬＵＴと言う）２０３とで構成される。記憶部２０１には撮像素子１６２の駆動条件（露出時間、変曲点レベル）に応じた複数の変換テーブルが格納されており、撮影時の撮像素子１６２の駆動条件に応じた変換テーブルの値が変換データ２０１ａとしてＬＵＴ２０３に向けて出力される。変換データ２０１ａ、すなわち変換テーブルは変換前のデータと変換後のデータの組からなり、ＬＵＴ２０３を構成するメモリの、変換前のデータの値が示すアドレスに変換後のデータが格納される。尚、記憶部２０１からＬＵＴ２０３への変換データ２０１ａの出力は、制御部１５１によって制御される。

画像処理部１６５に入力されたデジタル撮像データ１６３ａは、ＬＵＴ２０３に入力される。ＬＵＴ２０３では、デジタル撮像データ１６３ａの値に相当するメモリのアドレスに格納されている変換データ２０１ａが、画像データ１６５ａとして出力されることにより、階調変換が行われる。

図３は、図２に示した記憶部２０１に格納される変換テーブルの作成方法を説明するための光電変換特性の模式図で、ｘ軸に撮像素子１６２のセンサ面照度Ｌを対数軸でとり、ｙ軸にデジタル撮像データ１６３ａを線形軸でとってある。ここでは、理解を助けるためにｘ軸には１ルクスから１０００ルクスまで、ｙ軸には０（ゼロ）から２５５（８ビット）までの目盛を記載してあるが、センサ面照度Ｌの照度範囲およびデジタル撮像データ１６３ａの範囲（ビット数）はこれには限らない。

変換テーブルは、例えば撮像装置１の出荷時の調整において作成され、記憶部２０１に格納される。調整の工程は以下に示す通りである。

（１）光電変換特性測定工程：上述した撮像素子１６２の駆動条件（露出時間、変曲点レベル）毎にセンサ面照度Ｌを変えて光電変換特性を測定し、デジタル撮像データ１６３ａを得る工程である。

具体的な測定方法の一例としては、撮像素子１６２の駆動条件（露出時間、変曲点レベル）を設定し、撮像装置１を輝度箱と呼ばれる均一輝度面を持つ測定装置の輝度面に向けて撮像素子１６２上に均一な光を入射させ、輝度箱の輝度値を変えることでセンサ面照度Ｌを変化させて各照度で撮影を行った後、画像処理部１６５に入力されるデジタル撮像データ１６３ａに画像処理を施さないで画像データ１６５ａを記録媒体１８１に記録し、記録された画像データ１６５ａから不図示のパーソナルコンピュータにて各センサ面照度Ｌにおける画像データ１６３ａの平均値（全画面平均や画面中央部の部分平均等）を算出し、この平均値から以下に示す光電変換特性モデルを算出する。

まず、図３において、得られたデジタル撮像データ１６３ａの低照度側のデータから線形特性のモデル式を算出する。具体的には、（１式）の定数項を記号に置き換えて書き直した線形特性の式

の係数ａとｂとを求める。ここに、ｙ＝Ｖｐ、ｘ＝Ｉｐである。

同様に、高照度側のデータから（２式）の定数項を記号に置き換えて書き直した対数特性のモデル式

の係数ｃとｄとを求める。

求められたモデル式（（４式）と（５式））と測定で得られたデジタル撮像データ１６３ａとを比較し、モデル式から所定値以上外れているデジタル撮像データ１６３ａの範囲をＴ−Ｌｏｇ領域とする。得られた、Ｔ−Ｌｏｇ領域のデジタル撮像データ１６３ａから、（３式）の定数項を記号に置き換えて書き直したＴ−Ｌｏｇ特性のモデル式

の係数ｋ、ｍ、ｎ、ｊを算出する。

（２）変換テーブル作成工程：以上のようにして得られた３つの光電変換特性モデル式（（４式）、（５式）、（６式））に基づき、変換テーブルを作成する工程である。

まず、３つの光電変換特性が切り替わるポイントのデジタル撮像データ１６３ａの値Ｔｈ１およびＴｈ２を求める。Ｔｈ１は線形特性からＴ−Ｌｏｇ特性への切り替わり点で、（４式）と（６式）とが重なるか、もしくは交差する点のデジタル撮像データ１６３ａの値として求められ、Ｔｈ２はＴ−Ｌｏｇ特性から対数特性への切り替わり点で、（５式）と（６式）とが重なるか、もしくは交差する点のデジタル撮像データ１６３ａの値として求められる。

以上で求められた切り替わり点Ｔｈ１およびＴｈ２と３つの光電変換特性モデル式（（４式）、（５式）、（６式））とから変換テーブルが作成される。ここでは、階調変換処理として、（イ）変換後の光電変換特性を撮像素子１６２の対数特性に統一して出力する処理、（ロ）変換後の光電変換特性を撮像素子１６２の線形特性に統一して出力する処理、の２種類を考え、それぞれの変換テーブルを作成する。

まず、（イ）の変換後の光電変換特性を撮像素子１６２の対数特性に統一して出力する処理について、図４を用いて説明する。図４は、図３にデジタル画像データ１６３ａから対数特性の画像データ１６５ａへの変換テーブルを追加した模式図である。

この場合は、変換テーブルは３つの変換特性からなる。第１の変換特性ＣＣ１は線形特性を撮像素子１６２の対数特性に変換するもので、（４式）を入力とし（５式）を出力とした変換テーブルであり、その変換範囲は入力０（ゼロ）〜Ｔｈ１の範囲である。第２の変換特性ＣＣ２はＴ−Ｌｏｇ特性を撮像素子１６２の対数特性に変換するもので、（６式）を入力とし（５式）を出力とした変換テーブルであり、その変換範囲は入力Ｔｈ１〜Ｔｈ２の範囲である。第３の変換特性ＣＣ３は対数特性を撮像素子１６２の対数特性に変換するもので、（５式）を入力とし（５式）を出力とした変換テーブル（ただし、ここでは同じ（５式）のため、入力がそのままスルーされる）であり、その変換範囲は入力Ｔｈ２〜デジタル撮像データ１６３ａの最大値の範囲である。

なお、この例では出力する対数特性を撮像素子１６２の対数特性である（５式）としているが、これに限るものではなく、任意の対数特性であっても良い。その場合は、第３の変換特性ＣＣ３においても（５式）から任意の対数特性への変換を行う必要がある。

次に、（ロ）の変換後の光電変換特性を撮像素子１６２の線形特性に統一して出力する処理について、図５を用いて説明する。図５は、図３にデジタル画像データ１６３ａから線形特性の画像データ１６５ａへの変換テーブルを追加した模式図である。

この場合も、変換テーブルは３つの変換特性からなる。第４の変換特性ＣＣ４は線形特性を撮像素子１６２の線形特性に変換するもので、（４式）を入力とし（４式）を出力とした変換テーブル（ただし、ここでは同じ線形特性のため、入力に係数が乗算されるだけである）であり、その変換範囲は入力０（ゼロ）〜Ｔｈ１の範囲である。第５の変換特性ＣＣ５はＴ−Ｌｏｇ特性を撮像素子１６２の線形特性に変換するもので、（６式）を入力とし（４式）を出力とした変換テーブルであり、その変換範囲は入力Ｔｈ１〜Ｔｈ２の範囲である。第６の変換特性ＣＣ６は対数特性を撮像素子１６２の線形特性に変換するもので、（５式）を入力とし（４式）を出力とした変換テーブルであり、その変換範囲は入力Ｔｈ２〜デジタル撮像データ１６３ａの最大値の範囲である。

なお、この例では出力する線形特性を撮像素子１６２の線形特性である（４式）としているが、これに限るものではなく、任意の線形特性であっても良い。

以上に述べた（イ）と（ロ）の変換テーブルが、撮像素子１６２の駆動条件（露出時間、変曲点レベル）毎に算出され、特性変換部２００内の記憶部２０１に格納される。図６に、撮像素子１６２の駆動条件（露出時間、変曲点レベル）が変更された場合の光電変換特性の変化を模式的に示した。図６では、横軸に撮像素子１６２のセンサ面照度Ｌを対数軸でとり、縦軸にデジタル撮像データ１６３ａを線形軸でとってある。

図６（ａ）は露出時間を可変とし、レンズ絞り値、変曲点レベルは一定とした場合の光電変換特性の変化を示す図である。図６（ａ）において、露出時間が短くなると光電変換特性の線形特性領域が広くなり、変曲点は高照度側に移動する。逆に、露出時間が長くなると光電変換特性の線形特性領域が狭くなり、変曲点は低照度側に移動する。変曲点の位置が変わっても対数特性の傾きは一定で、一本の特性である。図示していないが、変曲点近傍にはＴ−Ｌｏｇ特性領域が存在する。

図６（ｂ）は変曲点レベルを可変とし、レンズ絞り値、露出時間は一定とした場合の光電変換特性の変化を示す図である。図６（ｂ）において、図２４に示したトランジスタＱ１の転送信号φＴＸの中間電位ＶＭを低く設定することにより変曲点が高く設定されると、線形特性の範囲が広がり、変曲点が低く設定されると線形特性の範囲が狭くなる。変曲点の位置が変わっても対数特性の傾きは一定で、一本の特性である。図示していないが、変曲点近傍にはＴ−Ｌｏｇ特性領域が存在する。

以上に示したように、本発明の第１の実施の形態によれば、線形および対数特性領域のみならず、両特性の間の過渡的な特性であるＴ−Ｌｏｇ特性領域においても、実測されたデジタル撮像データを理論式に当てはめて係数を算出し、理論式から階調変換を行うので、精度の高い階調変換が可能となり、画像の階調再現性が向上し、高画質化に寄与することができる。

次に、本発明の第２の実施の形態について、図７乃至図９を用いて説明する。本第２の実施の形態は、上述した第１の実施の形態の図２に示した記憶部２０１に格納される変換テーブルの作成方法を第２の方法に変更したもので、その他については第１の実施の形態と同じである。

図７は、図２の記憶部２０１に格納される変換テーブルの作成方法の第２の方法を説明するための光電変換特性の模式図である。変換テーブルは、第１の実施の形態と同様に、例えば撮像装置１の出荷時の調整において作成され、記憶部２０１に格納される。

図７において、図３の説明で示した（４式）と（５式）とから、両式の切り替わり点のデジタル撮像データ１６３ａの値Ｔｈ３を求める。Ｔｈ３は（４式）と（５式）とが交差する切り替わり点で、Ｔ−Ｌｏｇ特性の範囲の中に設定される。そして、線形特性に近い、すなわちＴｈ３未満のデジタル撮像データ１６３ａの値のＴ−Ｌｏｇ特性は線形特性として、対数特性に近いすなわちＴｈ３以上のデジタル撮像データ１６３ａの値のＴ−Ｌｏｇ特性は対数特性として処理される。この切り替わり点Ｔｈ３と（４式）および（５式）を用いて変換テーブルが作成される。ここでも、（イ）変換後の光電変換特性を撮像素子１６２の対数特性に統一して出力する処理、（ロ）変換後の光電変換特性を撮像素子１６２の線形特性に統一して出力する処理、の２種類の階調変換処理を考え、それぞれの変換テーブルを作成する。

まず、（イ）の変換後の光電変換特性を撮像素子１６２の対数特性に統一して出力する処理について、図８を用いて説明する。図８は、図７にデジタル画像データ１６３ａから対数特性の画像データ１６５ａへの変換テーブルを追加した模式図である。

この場合は、変換テーブルは２つの変換特性からなる。第１の変換特性ＣＣ１１は線形特性を撮像素子１６２の対数特性に変換するもので、（４式）を入力とし（５式）を出力とした変換テーブルであり、その変換範囲は入力０（ゼロ）〜Ｔｈ３の範囲である。第２の変換特性ＣＣ１２は対数特性を撮像素子１６２の対数特性に変換するもので、（５式）を入力とし（５式）を出力とした変換テーブル（ただし、ここでは同じ対数特性のため、入力がそのままスルーされる）であり、その変換範囲は入力Ｔｈ３〜デジタル撮像データ１６３ａの最大値の範囲である。

なお、この例では出力する対数特性を撮像素子１６２の対数特性である（５式）としているが、これに限るものではなく、任意の対数特性であっても良い。その場合は、第２の変換特性ＣＣ２においても（５式）から任意の対数特性への変換を行う必要がある。

次に、（ロ）の変換後の光電変換特性を撮像素子１６２の線形特性に統一して出力する処理について、図９を用いて説明する。図９は、図７にデジタル画像データ１６３ａから線形特性の画像データ１６５ａへの変換テーブルを追加した模式図である。

この場合も、変換テーブルは２つの変換特性からなる。第３の変換特性ＣＣ１３は線形特性を撮像素子１６２の線形特性に変換するもので、（４式）を入力とし（４式）を出力とした変換テーブル（ただし、ここでは同じ線形特性のため、入力に係数が乗算されるだけである）であり、その変換範囲は入力０（ゼロ）〜Ｔｈ３の範囲である。第４の変換特性ＣＣ１４は対数特性を撮像素子１６２の線形特性に変換するもので、（５式）を入力とし（４式）を出力とした変換テーブルであり、その変換範囲は入力Ｔｈ３〜デジタル撮像データ１６３ａの最大値の範囲である。

以上に述べた（イ）と（ロ）の変換テーブルが、撮像素子１６２の駆動条件（露出時間、変曲点レベル）毎に算出され、特性変換部２００内の記憶部２０１に格納される。

以上に示した本発明の第２の実施の形態によれば、Ｔ−Ｌｏｇ特性領域を線形あるいは対数特性で近似することで、第１の実施の形態における（６式）のような複雑な式の算出を必要とせず、比較的軽い負荷で演算が可能である。そのため、例えばパーソナルコンピュータを用いる必要がなく、撮像装置に搭載されているマイクロコンピュータのような演算能力の低い処理装置でも演算が可能で、修理時の調整等にも簡単に対応できる。

次に、本発明の第３の実施の形態について、図１０乃至図１７を用いて説明する。ここでも、（イ）変換後の光電変換特性を撮像素子１６２の対数特性に統一して出力する処理、（ロ）変換後の光電変換特性を撮像素子１６２の線形特性に統一して出力する処理、の２種類の階調変換処理を考える。

まず、（イ）の階調変換後の光電変換特性を撮像素子１６２の対数特性に統一して出力する処理、について、図１０乃至図１３を用いて説明する。

図１０は、（イ）の階調変換後の光電変換特性を撮像素子１６２の対数特性に統一して出力する処理、を行うための特性変換部２００の構成を示す回路ブロック図で、上述した図８の特性変換をハードウェアで実現する一例である。

図１０において、特性変換部２００は、乗算器２１１、ＬＵＴ２１３、加算器２１５、比較器２１７および選択器２１９で構成され、Ａ／Ｄ変換器１６３からのデジタル撮像データ１６３ａと、制御部１５１からのしきい値１５１ｔｈ、ゲイン１５１ｇおよびオフセット１５１ｏｓとが入力され、画像データ１６５ａが出力される。ここに、しきい値１５１ｔｈはデジタル撮像データ１６３ａとＬＵＴ２１３の出力のどちらを画像データ１６５ａとして出力するかを決定するための値で、ゲイン１５１ｇおよびオフセット１５１ｏｓは、デジタル撮像データ１６３ａをＬＵＴ２１３に格納されている変換テーブルに合わせるためのパラメータである。詳細は図１２、図１３、図１５および図１６で後述する。

入力されたデジタル撮像データ１６３ａは乗算器２１１に入力され、基準の線形特性に傾きをあわせるために制御部１５１で設定されたゲイン１５１ｇで乗算処理され、線形特性から対数特性への特性変換を行なうＬＵＴ２１３に入力される。ＬＵＴ２１３はメモリにて構成されており、入力されたデータの値が示すアドレスに格納されている変換データが出力される。変換データには、基準の線形特性から基準の対数特性に変換される変換テーブルが入力されている。

ＬＵＴ２１３から出力された基準の対数特性のデータは、加算器２１５で制御部１５１から設定されたオフセット１５１ｏｓと加算処理されて出力される。加算器２１５から出力されたオフセット付きの基準の対数特性データは選択器２１９に入力される。また、選択器２１９には、デジタル撮像データ１６３ａも入力されている。一方、比較器２１７には、制御部１５１により設定されたしきい値１５１ｔｈとデジタル撮像データ１６３ａが入力されており、両者の比較結果を選択器２１９に入力する。

選択器２１９からは、比較器２１７の比較結果に基づいて、デジタル撮像データ１６３ａがしきい値１５１ｔｈ未満の場合（線形特性領域）は加算器２１５から出力されたオフセット付きの基準の対数特性データが画像データ１６５ａとして出力され、デジタル撮像データ１６３ａがしきい値１５１ｔｈ以上の場合（対数特性領域）はデジタル撮像データ１６３ａが画像データ１６５ａとして出力される。

次に、図１０のＬＵＴ２１３に格納されている変換テーブルの作成方法について、図１１を用いて説明する。変換テーブルは、第１および第２の実施の形態と同様に、例えば撮像装置１の出荷時の調整において作成され、ＬＵＴ２１３に格納される。調整の工程は以下に示す通りである。

（１）光電変換特性測定工程：第１および第２の実施の形態と同じでよい。説明は省略する。

（２）変換テーブル作成工程：図１１に図１０のＬＵＴ２１３に格納される変換テーブルを示す。図１１は、図８と同様に、図７にデジタル画像データ１６３ａから対数特性の画像データ１６５ａへの変換テーブルを追加した模式図である。変換テーブルは、上述した（４式）を入力とし（５式）を出力とした変換特性ＣＣ２１のみからなる。さらに、本実施の形態では、変換テーブルは撮像素子１６２の駆動条件（露出時間、変曲点レベル）のうち基準となる駆動条件での線形特性から対数特性への変換テーブルのみを作成し、図１０の特性変換部２００を用いることで、デジタル撮像データ１６３ａの線形特性の部分を（４式）に変換し、（４式）を（５式）に変換して出力する。

次に、図１０に示したしきい値１５１ｔｈ、ゲイン１５１ｇおよびオフセット１５１ｏｓの３つのパラメータの設定方法について図１２および図１３を用いて説明する。これら３つのパラメータは、撮像素子１６２の駆動条件（露出時間、変曲点レベル）によって異なる。

まず、撮像素子１６２の駆動条件のうち、図６（ａ）に示した露出時間が変化する場合について、図１２を用いて説明する。図１２は、露出時間が変化する場合のパラメータの設定方法を説明するための図で、図１２（ａ）は図６（ａ）に示したと同じ光電変換特性のグラフで、特性Ｄ、Ｅの２本の特性例を示してあり、両特性は線形特性部Ｄ１、Ｅ１と、対数特性部Ｄ２、Ｅ２とからなる。その中で、特性Ｅを基準特性とし、特性Ｅの線形特性部Ｅ１を対数特性に変換した変換特性部をＥ３とする。

特性Ｄ、Ｅの変曲点の光電変換出力（デジタル画像データ１６３ａ）を、それぞれＴｈ２００、Ｔｈ２０１とし、それぞれのセンサ面照度ＬをＬ２００とＬ２０１とする。特性Ｄの対数特性部Ｄ２のＴｈ２０１よりも大きい部分は特性Ｅの対数特性部Ｅ２と同一であり、Ｔｈ２００からＴｈ２０１までの部分は特性Ｅの変換特性部Ｅ３と同一である。

図１２（ｂ）および（ｃ）に特性Ｄの特性変換の手順を示す。まず、図１２（ｂ）において、線形特性部Ｄ１にゲイン１５１ｇを乗算して特性Ｅの線形部Ｅ１に一致させる。ゲイン１５１ｇ＝同一センサ面照度Ｌでの線形特性Ｅ１の値を線形特性Ｄ１の値で除した値である。この変換により、線形特性部Ｄ１は線形特性部Ｅ１のセンサ面照度Ｌ＝Ｌ２００以下の部分に一致する。次に変換後の線形特性Ｅ１を変換特性Ｅ３に変換する。この変換は変換テーブルとしてＬＵＴ２１３に格納されている。

図１２（ｃ）において、変換特性Ｅ３は特性Ｄの対数特性Ｄ２と同じであるから、変換特性を特性Ｄの対数特性Ｄ２に一致させるためのオフセット１５１ｏｓ＝０（ゼロ）である。特性ＤのＴｈ２００以上の部分は変換特性Ｅ３すなわち基準の対数特性Ｅ２と同じであるから、特性Ｄの線形特性Ｄ１を対数特性に変換した変換特性Ｅ３と特性Ｄの対数特性部Ｄ２をそのまま出力する切り替わり点を示すしきい値１５１ｔｈ＝Ｔｈ２００である。以上のようにして、しきい値１５１ｔｈ、ゲイン１５１ｇおよびオフセット１５１ｏｓの３つのパラメータを設定することで、露出時間が変化する場合の階調特性変換が行われる。

次に、撮像素子１６２の駆動条件のうち、図６（ｂ）に示した変曲点レベルが変化する場合について、図１３を用いて説明する。図１３は、変曲点レベルが変化する場合のパラメータの設定方法を説明するための図で、図１３（ａ）は図６（ｂ）に示したと同じ光電変換特性のグラフで、特性Ｋ、Ｍの２本の特性例を示してあり、両特性は線形特性部Ｋ１、Ｍ１と、対数特性部Ｋ２、Ｍ２とからなる。その中で、特性Ｍを基準特性とし、特性Ｍの線形特性部Ｍ１を対数特性に変換した変換特性部をＭ３とする。

特性ＫおよびＭの変曲点の光電変換出力（デジタル画像データ１６３ａ）をそれぞれＴｈ４００およびＴｈ４０１とし、Ｔｈ４００での特性ＫおよびＭのセンサ面照度ＬをＬ４００、Ｔｈ４０１での特性Ｋのセンサ面照度ＬをＬ４０１とする。特性Ｋの対数特性部Ｋ２は特性Ｍの対数特性部Ｍ２と平行である。

図１３（ｂ）および（ｃ）に特性Ｋの特性変換の手順を示す。まず、図１３（ｂ）において、線形特性部Ｋ１とＭ１とは同一特性であるからゲイン１５１ｇ＝１．０である。そこで、線形特性Ｋ１（＝Ｍ１）を変換特性Ｍ３に変換する。この変換は変換テーブルとしてＬＵＴ２１３に格納されている。

図１３（ｃ）において、変換特性Ｍ３は特性Ｋの対数特性Ｋ２と平行であるから、変換特性Ｍ３を特性Ｋの対数特性Ｋ２に一致させるためのオフセット１５１ｏｓは、センサ面照度Ｌ＝Ｌ４０１での対数特性Ｋ２と変換特性Ｍ３の差分である。変換特性Ｍ３にオフセット１５１ｏｓを加算した特性を変換特性Ｋ３とする。この変換により対数特性Ｋ２と変換特性Ｋ３とは同一の特性となり、特性Ｋの線形特性Ｋ１を対数特性に変換した変換特性Ｋ３と特性Ｋの対数特性部Ｋ２をそのまま出力する切り替わり点を示すしきい値１５１ｔｈ＝Ｔｈ４０１である。以上のようにして、しきい値１５１ｔｈ、ゲイン１５１ｇおよびオフセット１５１ｏｓの３つのパラメータを設定することで、変曲点レベルが変化する場合の階調特性変換が行われる。

次に、（ロ）の階調変換後の光電変換特性を撮像素子１６２の線形特性に統一して出力する処理、について、図１４乃至図１７を用いて説明する。

図１４は、（ロ）の階調変換後の光電変換特性を撮像素子１６２の線形特性に統一して出力する処理、を行うための特性変換部２００の構成を示す回路ブロック図で、上述した図９の特性変換をハードウェアで実現する例である。

図１４においても、図１０と同様に特性変換部２００は、乗算器２１１、ＬＵＴ２２３、加算器２１５、比較器２１７および選択器２１９で構成され、Ａ／Ｄ変換器１６３からのデジタル撮像データ１６３ａと、制御部１５１からのしきい値１５１ｔｈ、ゲイン１５１ｇおよびオフセット１５１ｏｓとが入力され、画像データ１６５ａが出力される。

入力されたデジタル撮像データ１６３ａは、基準の対数特性にオフセットをあわせるため、加算器２１５に入力され、制御部１５１から設定されたオフセット１５１ｏｓと加算処理されて、対数特性から線形特性への特性変換を行なうＬＵＴ２２３に入力される。ＬＵＴ２２３はメモリにて構成されており、入力されたデータの値が示すアドレスに格納されている変換データが出力される。変換データは、基準の対数特性から基準の線形特性に変換される変換テーブルが入力されている。

ＬＵＴ２２３から出力された基準の線形特性のデータは、乗算器２１１で制御部１５１から設定されたゲイン１５１ｇにて乗算処理されて出力される。乗算器２１１から出力されたゲインの掛けられた基準の線形特性データは選択器２１９に入力される。また、選択器２１９には、デジタル撮像データ１６３ａも入力されている。一方、比較器２１７には、制御部１５１により設定されたしきい値１５１ｔｈとデジタル撮像データ１６３ａが入力されており、両者の比較結果を選択器２１９に入力する。

選択器２１９からは、比較器２１７の比較結果に基づいて、デジタル撮像データ１６３ａがしきい値１５１ｔｈ未満の場合（線形特性領域）はデジタル撮像データ１６３ａが画像データ１６５ａとして出力され、デジタル撮像データ１６３ａがしきい値１５１ｔｈ以上の場合（対数特性領域）は乗算器２１１から出力されたゲインの掛けられた基準の線形特性データが画像データ１６５ａとして出力される。

次に、図１４のＬＵＴ２２３に格納されている変換テーブルの作成方法について、図１５を用いて説明する。変換テーブルは、第１および第２の実施の形態と同様に、例えば撮像装置１の出荷時の調整において作成され、ＬＵＴ２２３に格納される。調整の工程は以下に示す通りである。

（２）変換テーブル作成工程：図１５に図１４のＬＵＴ２２３に格納される変換テーブルを示す。図１５は、図９と同様に、図７にデジタル画像データ１６３ａから線形特性の画像データ１６５ａへの変換テーブルを追加した模式図である。変換テーブルは、上述した（５式）を入力とし（４式）を出力とした変換特性ＣＣ２２のみからなる。さらに、本実施の形態では、変換テーブルは撮像素子１６２の駆動条件（露出時間、変曲点レベル）のうち基準となる駆動条件での線形特性から対数特性への変換テーブルのみを作成し、図１４の特性変換部２００を用いることで、デジタル撮像データ１６３ａの対数特性の部分を（５式）に変換し、（５式）を（４式）に変換して出力する。

次に、図１４に示したオフセット１５１ｏｓ、ゲイン１５１ｇおよびしきい値１５１ｔｈの３つのパラメータの設定方法について図１５および図１６を用いて説明する。これら３つのパラメータは、撮像素子１６２の駆動条件（露出時間、変曲点レベル）によって異なる。

まず、撮像素子１６２の駆動条件のうち、図６（ａ）に示した露出時間が変化する場合について、図１６を用いて説明する。図１６は、露出時間が変化する場合のパラメータの設定方法を説明するための図で、図１６（ａ）は図６（ａ）に示したと同じ光電変換特性のグラフで、特性Ｄ、Ｅの２本の特性例を示してあり、両特性は線形特性部Ｄ１、Ｅ１と、対数特性部Ｄ２、Ｅ２とからなる。その中で、特性Ｅを基準特性とし、特性Ｅの対数特性部Ｅ２およびその延長線を線形特性に変換した変換特性部をＥ４とする。

特性Ｄ、Ｅの変曲点の光電変換出力（デジタル画像データ１６３ａ）を、それぞれＴｈ２００、Ｔｈ２０１とし、それぞれのセンサ面照度ＬをＬ２００とＬ２０１とする。

図１６（ｂ）および（ｃ）に特性Ｄの特性変換の手順を示す。まず、図１６（ｂ）において、特性Ｄの対数特性部Ｄ２と特性Ｅの対数特性部Ｅ２とは同一特性であるため、オフセット１５１ｏｓは０（ゼロ）である。次に対数特性Ｄ２（＝Ｅ２）を変換特性Ｅ４に変換する。この変換は変換テーブルとしてＬＵＴ２２３に格納されている。

図１６（ｃ）において、変換特性Ｅ４のセンサ面照度Ｌ＝Ｌ２００での値と線形特性Ｄ１のセンサ面照度Ｌ＝Ｌ２００での値とを一致させるようなゲイン１５１ｇを変換特性Ｅ４に乗算する。ゲイン１５１ｇは、線形特性Ｄ１のセンサ面照度Ｌ＝Ｌ２００での値を変換特性Ｅ４のセンサ面照度Ｌ＝Ｌ２００での値で除したもの、である。この変換後の線形特性を変換特性Ｄ４とする。特性ＤのＴｈ２００以下の部分は線形特性Ｄ１であるから、特性Ｄの対数特性部Ｄ２を線形特性に変換した変換特性Ｄ４と特性Ｄの線形特性Ｄ１をそのまま出力する切り替わり点を示すしきい値１５１ｔｈ＝Ｔｈ２００である。以上のようにして、しきい値１５１ｔｈ、ゲイン１５１ｇおよびオフセット１５１ｏｓの３つのパラメータを設定することで、露出時間が変化する場合の階調特性変換が行われる。

次に、撮像素子１６２の駆動条件のうち、図６（ｂ）に示した変曲点レベルが変化する場合について、図１７を用いて説明する。図１７は、変曲点レベルが変化する場合のパラメータの設定方法を説明するための図で、図１７（ａ）は図６（ｂ）に示したと同じ光電変換特性のグラフで、特性Ｋ、Ｍの２本の特性例を示してあり、両特性は線形特性部Ｋ１、Ｍ１と、対数特性部Ｋ２、Ｍ２とからなる。その中で、特性Ｍを基準特性とし、特性Ｍの対数特性部Ｍ２およびその延長線を線形特性に変換した変換特性部をＭ４とする。

図１７（ｂ）および（ｃ）に特性Ｋの特性変換の手順を示す。まず、図１７（ｂ）において、対数特性部Ｋ２と対数特性部Ｍ２とは平行であるから、対数特性部Ｋ２にオフセット１５１ｏｓを加算して縦軸方向に平行移動し、対数特性部Ｍ２に一致させる。オフセット１５１ｏｓは、センサ面照度Ｌ＝Ｌ４０１での対数特性Ｋ２と対数特性Ｍ２の差分である。次に対数特性Ｍ２を変換特性Ｍ４に変換する。この変換は変換テーブルとしてＬＵＴ２２３に格納されている。

図１７（ｃ）において、線形特性部Ｋ１と変換特性部Ｍ４とは同一特性であるからゲイン１５１ｇ＝１．０である。特性Ｋの対数特性Ｋ２を線形特性に変換した変換特性Ｍ４と特性Ｋの線形特性部Ｋ１をそのまま出力する切り替わり点を示すしきい値１５１ｔｈ＝Ｔｈ４０１である。以上のようにして、しきい値１５１ｔｈ、ゲイン１５１ｇおよびオフセット１５１ｏｓの３つのパラメータを設定することで、変曲点レベルが変化する場合の階調特性変換が行われる。

以上に示した本発明の第３の実施の形態によれば、特性変換部２００がハードウェアで構成されているために、階調変換処理の演算時間が短く、高フレームレートで撮像が行われる場合等、短時間に階調変換処理が行われる必要のある場合に特に有効である。

次に、本発明の第４の実施の形態について、図１８乃至図２１を用いて説明する。本第４の実施の形態は、第３の実施の形態に特性変換後の出力を任意の対数特性もしくは線形特性とする回路を付加したものである。

図１８は、（ハ）階調変換後の光電変換特性を任意の対数特性に統一して出力する処理、を行うための特性変換部２００の構成を示す回路ブロック図で、図１０のデジタル撮像データ１６３ａが選択器２１９に入力される前に第２の加算器２１６が付加されたもので、その他は図１０と同じである。ここに、加算器２１５に入力されるオフセットを第１のオフセット１５１ｏｓ１、第２の加算器２１６に入力されるオフセットを第２のオフセット１５１ｏｓ２とする。

これによって、図１９に示すように、例えば図１２（ｃ）の露出時間が変更された場合の特性変換において、ＬＵＴ２１３によって特性変換された変換特性Ｅ３に加算器２１５でオフセット１５１ｏｓ１を加算して変換特性Ｅ５に変換し、デジタル撮像データ１６３ａに第２の加算器２１６で加算器２１５と同じオフセット１５１ｏｓ２（＝オフセット１５１ｏｓ１）を加算して対数特性Ｄ２を変換特性Ｄ５に変換することで、任意の対数特性への階調変換処理を行うことができる。変曲点レベルが変更される場合についても同じである。詳細は省略する。

図２０は、（ニ）階調変換後の光電変換特性を任意の線形特性に統一して出力する処理、を行うための特性変換部２００の構成を示す回路ブロック図で、図１４のデジタル撮像データ１６３ａが選択器２１９に入力される前に第２の乗算器２１２が付加されたもので、その他は図１４と同じである。ここに、乗算器２１１に入力されるゲインを第１のゲイン１５１ｇ１、第２の乗算器２１２に入力されるゲインを第２のゲイン１５１ｇ２とする。

これによって、図２１に示すように、例えば図１６（ｃ）の露出時間が変更された場合の特性変換において、デジタル撮像データ１６３ａに第２の乗算器２１２で第２のゲイン１５１ｏｓ２を乗算して線形特性Ｄ１を変換特性Ｄ６に変換し、ＬＵＴ２２３によって特性変換された変換特性Ｅ４に、センサ面照度Ｌ＝Ｌ２００での変換特性Ｅ４の出力がセンサ面照度Ｌ＝Ｌ２００での変換特性Ｄ６の出力に等しくなるような第１のゲイン１５１ｇ１を乗算器２１１で乗算して変換特性Ｅ６に変換することで、任意の線形特性への階調変換処理を行うことができる。変曲点レベルが変更される場合についても同じである。詳細は省略する。

以上に示した本発明の第４の実施の形態によれば、第３の実施の形態の特徴に加え、任意の対数特性あるいは線形特性への階調変換が行えることで、撮像素子１６２の特性に限定されずに表示あるいは印刷といった再現系の特性に合った階調変換や、所望の部分の階調性の強調といった処理を自由に行うことができる。

以上に述べたように、本発明によれば、第１の光電変換特性と、第１の光電変換特性とは異なる第２の光電変換特性と、第１と第２の光電変換特性との過渡的な特性を示す第３の光電変換特性とを有する撮像素子を備えた撮像装置において、第１、第２および第３の光電変換特性を基準光電変換特性に変換する特性変換部を備え、第１と第２と第３の光電変換特性に階調変換処理を施すことにより、画像全体の階調特性が同一の特性にされた撮像装置を提供することができる。

尚、本発明に係る撮像装置および撮像装置を構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。

本発明における撮像装置の内部構成を示すブロック図である。デジタル撮像データに階調変換処理を施すための特性変換部の構成を示す回路ブロック図である。図２に示した記憶部に格納される変換テーブルの作成方法を説明するための光電変換特性の模式図である。図３にデジタル画像データから対数特性の画像データへの変換テーブルを追加した模式図である。図３にデジタル画像データから線形特性の画像データへの変換テーブルを追加した模式図である。撮像素子の駆動条件が変更された場合の光電変換特性の変化を示す模式図である。図２の記憶部に格納される変換テーブルの作成方法の第２の方法を説明するための光電変換特性の模式図である。図７にデジタル画像データから対数特性の画像データへの変換テーブルを追加した模式図である。図７にデジタル画像データから線形特性の画像データへの変換テーブルを追加した模式図である。階調変換後の光電変換特性を撮像素子の対数特性に統一して出力する処理を行うための特性変換部構成を示す回路ブロック図である。図７にデジタル画像データから対数特性の画像データへの変換テーブルを追加した模式図である。露出時間が変化する場合のパラメータの設定方法を説明するための図である。変曲点レベルが変化する場合のパラメータの設定方法を説明するための図である。階調変換後の光電変換特性を撮像素子の線形特性に統一して出力する処理を行うための特性変換部の構成を示す回路ブロック図である。図７にデジタル画像データから線形特性の画像データへの変換テーブルを追加した模式図である。露出時間が変化する場合のパラメータの設定方法を説明するための図である。変曲点レベルが変化する場合のパラメータの設定方法を説明するための図である。階調変換後の光電変換特性を任意の対数特性に統一して出力する処理を行うための特性変換部の構成を示す回路ブロック図である。露出時間が変化する場合のパラメータの設定方法を説明するための図である。階調変換後の光電変換特性を任意の線形特性に統一して出力する処理を行うための特性変換部の構成を示す回路ブロック図である。変曲点レベルが変化する場合のパラメータの設定方法を説明するための図である。撮像素子を構成する各構成要素の配置の一例を示す模式図である。撮像素子を構成する画素の回路の第１の実施の形態を示す回路図である。図２３に示した画素をローリングシャッタ方式で駆動する場合のタイミングチャートである。光電変換特性の時間変化を示す模式図である。フレームレートを変化させた時の光電変換特性を示す模式図である。撮像素子を構成する画素の回路の第２の実施の形態を示す模式図である。

符号の説明

１撮像装置
１１１操作部
１１３表示部
１２１絞り
１２３絞り駆動部
１３１レンズ
１３３レンズ駆動部
１５１制御部
１６２撮像素子
１６３アナログデジタル（Ａ／Ｄ）変換器
１６５画像処理部
１８１記録媒体
２００特性変換部
２０１記憶部
２０３ルックアップテーブル（ＬＵＴ）
２１１乗算器
２１２第２の乗算器
２１３ルックアップテーブル（ＬＵＴ）
２１５加算器
２１６第２の加算器
２１７比較器
２１９選択器
２２３ルックアップテーブル（ＬＵＴ）

Claims

第１の光電変換特性と、前記第１の光電変換特性とは異なる第２の光電変換特性と、前記第１と第２の光電変換特性との過渡的な特性を示す第３の光電変換特性とを有する撮像素子を備えた撮像装置において、
前記第１、第２および第３の光電変換特性を基準光電変換特性に変換する特性変換部を備えたことを特徴とする撮像装置。
前記第１の光電変換特性は線形特性で、前記第２の光電変換特性は対数特性であり、前記基準光電変換特性は線形特性であることを特徴とする請求項１に記載の撮像装置。
前記第１の光電変換特性は線形特性で、前記第２の光電変換特性は対数特性であり、前記基準光電変換特性は対数特性であることを特徴とする請求項１に記載の撮像装置。
前記撮像装置が備える特性変換部は、前記第１および第２の光電変換特性を前記基準光電変換特性に変換する方法とは異なった方法で、前記撮像装置が備える第３の光電変換特性を前記基準光電変換特性に変換することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
前記撮像装置が備える特性変換部は、前記撮像装置が備える第３の光電変換特性を、切り替わり点を境に前記第１または第２の光電変換特性の何れかと見なして前記基準光電変換特性に変換することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
前記切り替わり点は、前記第１および第２の光電変換特性の延長線の交点であることを特徴とする請求項５に記載の撮像装置。
前記撮像装置が備える特性変換部は、メモリを含むルックアップテーブルから成ることを特徴とする請求項１乃至６の何れか１項に記載の撮像装置。