JP2006339761A - 撮像装置 - Google Patents

Abstract

【課題】 線形特性領域と対数特性領域とからなる光電変換特性を有する撮像素子を用いた撮像に際して、撮像モードと記録モードに関わらず、常に最適な画像を得ることのできる撮像装置を提供すること
【解決手段】 撮像モードと記録モードに合わせて、未処理画像、所定の画像処理と画像圧縮を施した画像、所定の画像処理と広ダイナミックレンジ対応処理と画像圧縮を施した画像のいずれかを記録することで、常に最適な画像を得ることのできる撮像装置を提供することができる。
【選択図】 図１

Description

本発明は、撮像装置に関し、特に、通常撮像と広ダイナミックレンジ撮像の２つの撮像モードと、未処理画像記録と処理画像記録の２つの記録形式を備えた撮像装置に関する。

従来、フォトダイオード等の光電変換素子をマトリクス状に配置してなる固体撮像素子に、ＭＯＳＦＥＴ等を備えた対数変換回路を付加し、前記ＭＯＳＦＥＴのサブスレッショルド特性を利用することで、固体撮像素子の出力特性を入射光量に対して電気信号が対数的に変換されるようにした対数変換型撮像素子が知られている（例えば、特許文献１参照）。

また、対数変換型撮像素子において、ＭＯＳＦＥＴに特定のリセット電圧を与えることで、固体撮像素子本来の出力特性、すなわち入射光量に応じて電気信号が線形的に変換されて出力される線形特性状態と、前述の対数特性状態とを自動的に切り替えることが可能な対数変換型撮像素子が知られている（例えば、特許文献２参照）。さらに、線形特性状態から対数特性状態へ自動的に切り替え可能とすると共に、ＭＯＳＦＥＴのリセット時間を調整することでＭＯＳＦＥＴのポテンシャル状態を調整可能とした撮像装置が開示されている（例えば、特許文献３参照）。

一方、撮像装置の代表例であるデジタルカメラにおいて、撮像した画像の記録に関して、処理画像（画像処理を行った画像）を記録するモードと、未処理画像（画像処理を行わない画像）を記録するモードを備えたものが知られている（例えば、非特許文献１参照）。処理画像には、例えばＪＰＥＧやビットマップ、ＴＩＦＦ等の画像があり、未処理画像にはＲＡＷ画像がある。
特開平１１−２９８７９８号公報 特開２００２−７７７３３号公報 特開２００２−３００４７６号公報 コニカミノルタフォトイメージング株式会社：α−７ＤＩＧＩＴＡＬ カタログ（http://konicaminolta.jp/products/consumer/digital_camera/catalogue/pdf/a-7digital.pdf）９／９ページ「記録部」の「記録形式」欄；２００５年５月１０日検索

しかしながら、特許文献１乃至３に示された撮像素子を線形特性状態で用いた場合、光電変換素子で発生した電荷量に比例した出力が得られることから、低輝度の被写体でも高コントラストな（高い階調性を有した）画像信号が得られる等の利点がある反面、ダイナミックレンジが狭くなってしまうという不都合がある。一方、特許文献１乃至３に示された撮像素子を対数特性状態で用いた場合、入射光量に対して自然対数的に変換された出力が得られることから、広いダイナミックレンジが確保できるという利点がある反面、画像信号が対数圧縮されることからコントラストが低くなるという不都合がある。

また、特許文献１乃至３に示された撮像素子を線形特性状態と対数特性状態が混在する状態で用いた場合、広いダイナミックレンジは確保できるが、対数特性状態の部分のコントラストが低くなるという不都合がある。

さらに、これらの画像を処理画像として記録するか、未処理画像として記録するかによっても、画像処理の内容が大きく異なることになる。

本発明は、上記事情に鑑みてなされたもので、線形特性領域と対数特性領域とからなる光電変換特性を有する撮像素子を用いた撮像に際して、撮像モードと記録モードに応じて適切な画像処理を施すことで、常に最適な画像を得ることのできる撮像装置を提供することを目的とする。

本発明の目的は、下記構成により達成することができる。

（請求項１）
被写体を撮像して画像に対応する電気信号を出力する撮像素子であって、通常撮像モードと該通常撮像モードよりも広いダイナミックレンジで撮像を行う広ダイナミックレンジ撮像モードとで動作可能な撮像素子と、前記撮像素子から出力された電気信号を処理する画像処理部と、前記画像処理部で処理された画像信号を記録媒体に記録する画像記録部とを備えた撮像装置において、
前記画像処理部は、汎用的な画像処理である通常画像処理および広ダイナミックレンジ撮像モードで撮像された画像に特有の画像処理である広ダイナミックレンジ対応処理のうち少なくとも一方の処理を実行可能であり、
前記画像記録部における記録形式として、未処理画像記録又は処理画像記録を選択する記録形式選択手段と、
通常撮像モード又は広ダイナミックレンジ撮像モードを選択する撮像モード選択手段と、
前記撮像モード選択手段で選択された撮像モード及び前記記録形式選択手段で選択された記録形式に基づいて、前記画像処理部で実行する処理を制御する撮像制御部とを有することを特徴とする撮像装置。

（請求項２）
前記撮像制御部は、前記撮像モード選択手段で通常撮像モードが選択され、かつ前記記録形式選択手段で処理画像記録が選択されたときは、前記画像処理部に通常画像処理を実行させることを特徴とする請求項１に記載の撮像装置。

（請求項３）
前記撮像制御部は、前記撮像モード選択手段で広ダイナミックレンジ撮像モードが選択され、かつ前記記録形式選択手段で処理画像記録が選択されたときは、前記画像処理部に通常画像処理及び広ダイナミックレンジ対応処理を実行させることを特徴とする請求項１又は２に記載の撮像装置。

（請求項４）
前記撮像素子は、入射光量に応じた電気信号を発生すると共に、前記入射光量に対して電気信号が線形的に変換されて出力される線形特性領域と、前記入射光量に対して電気信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性を有し、前記線形特性領域と前記対数特性領域の範囲を制御可能であり、
前記撮像制御部は、前記撮像素子の線形特性領域と対数特性領域の範囲の制御を行い、前記撮像モード選択手段で通常撮像モードが選択されたときは、前記撮像素子の光電変換特性が線形特性領域のみとなるように制御し、
前記撮像モード選択手段で広ダイナミックレンジ撮像モードが選択されたときは、前記撮像素子の光電変換特性が少なくとも対数特性領域を有するように制御することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。

（請求項５）
前記広ダイナミックレンジ対応処理は、広ダイナミックレンジ撮像モードで撮像された画像に対応する電気信号を高コントラスト化する処理であることを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。

（請求項６）
前記広ダイナミックレンジ対応処理は、広ダイナミックレンジ撮像モードで撮像された画像に対応する電気信号を通常撮像モードで撮像された画像に変換する処理であることを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。

（請求項７）
前記画像処理部は、前記広ダイナミックレンジ対応処理を行う第１の処理経路と、前記広ダイナミックレンジ対応処理を行わない第２の処理経路を有し、
前記撮像モード選択手段で通常撮像モードが選択されたときは、前記第２の処理経路を用いて画像処理することを特徴とする請求項１または２に記載の撮像装置。

（請求項８）
前記広ダイナミックレンジ対応処理の処理パラメータを設定するパラメータ設定手段を有し、
前記撮像モード選択手段で広ダイナミックレンジ撮像モードが選択されたときは、前記パラメータ設定手段は、広ダイナミックレンジ対応処理が実行されるように処理パラメータを設定し、
前記撮像モード選択手段で通常撮像モードが選択されたときは、前記パラメータ設定手段は、広ダイナミックレンジ対応処理が無効化されるように処理パラメータを設定することを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。

（請求項９）
前記通常画像処理は、前記撮像素子で撮像された画像に対応する電気信号を圧縮処理するデータ圧縮処理であることを特徴とする請求項１乃至８の何れか１項に記載の撮像装置。

（請求項１０）
前記撮像制御部は、前記記録形式選択手段で未処理画像記録が選択されたときは、前記画像処理部に通常画像処理および広ダイナミックレンジ対応処理のいずれも実行させないことを特徴とする請求項１乃至９の何れか１項に記載の撮像装置。

請求項１に記載の発明によれば、通常撮像と広ダイナミックレンジ撮像の２つの撮像モードと、未処理画像記録と処理画像記録の２つの記録形式に合わせて、所定の画像処理と広ダイナミックレンジ対応処理の２つの画像処理を選択的に施すことで、常に最適な画像を得ることのできる撮像装置を提供することができる。

請求項２に記載の発明によれば、通常撮像モードと処理画像記録が選択された場合に、画像処理部で通常画像処理を行うことで、常に最適な画像を得ることのできる撮像装置を提供することができる。
請求項３に記載の発明によれば、広ダイナミックレンジ撮像モードと処理画像記録が選択された場合に、画像処理部で通常画像処理および広ダイナミックレンジ対応処理を行うことで、常に最適な画像を得ることのできる撮像装置を提供することができる。

請求項４に記載の発明によれば、線形特性領域と対数特性領域とを有し、かつ線形特性領域と対数特性領域の範囲を制御可能な撮像素子を用いて、通常撮像モード選択時には線形特性のみに、広ダイナミックレンジ撮像モード選択時には線形特性領域と対数特性領域とを有するように制御することで、常に最適な画像を得ることのできる撮像装置を提供することができる。

請求項５に記載の発明によれば、広ダイナミックレンジ対応処理として、広ダイナミックレンジ撮像モードで撮像された画像を高コントラスト化する処理を用いることで、常に最適な画像を得ることのできる撮像装置を提供することができる。

請求項６に記載の発明によれば、広ダイナミックレンジ対応処理として、広ダイナミックレンジ撮像モードで撮像された画像を通常撮像モードで撮像された画像に変換する処理を用いることで、常に最適な画像を得ることのできる撮像装置を提供することができる。

請求項７に記載の発明によれば、撮像モードに合わせて、広ダイナミックレンジ対応処理を行う画像処理経路と、広ダイナミックレンジ対応処理を行わない画像処理経路を切り換えることで、常に最適な画像を得ることのできる撮像装置を提供することができる。

請求項８に記載の発明によれば、通常撮像モードでは、広ダイナミックレンジ対応処理の処理パラメータを、処理を無効化するように設定することで、常に最適な画像を得ることのできる撮像装置を提供することができる。

請求項９に記載の発明によれば、通常画像処理として、データ圧縮を行うことで、常に最適な画像を得ることのできる撮像装置を提供することができる。

請求項１０に記載の発明によれば、未処理画像記録が選択された場合に、通常画像処理も広ダイナミックレンジ対応処理を行わないことで、常に最適な画像を得ることのできる撮像装置を提供することができる。

以下、図面に基づき本発明の実施の形態を説明する。

図１は、本発明に係る撮像装置の１例であるデジタルカメラ１の外観模式図で、図１（ａ）は正面図、図１（ｂ）は背面図である。

ボディ１０の正面には、交換レンズ２０が取り付けれられている。

ボディ１０の上面には、撮像のための操作部材であるレリーズボタン１０１が設置されており、ボディ１０の内部でレリーズボタン１０１の下部には、レリーズボタン１０１の押し込みの１段目で動作するＡＦ／ＡＥスイッチ１０１ａと、レリーズボタンの押し込みの２段目で動作するレリーズスイッチ１０１ｂを構成する２段スイッチが配置されている。また、ボディ１０の上部には、フラッシュ１０２が内蔵され、デジタルカメラ１の動作モードを設定するモード設定ダイアル１１２が配置されている。

ボディ１０の背面には、デジタルカメラ１の電源をオン／オフするための電源スイッチ１１１、上下左右と中央の５つのスイッチから成り、デジタルカメラ１の各動作モードでの各種設定を行うためのジョグダイアル１１５、ファインダ接眼レンズ１２１ａ、記録された画像を表示するための画像モニタ１３１が配置されている。

図２は、図１に示したデジタルカメラ１の回路の１例を示すブロック図である。図中、図１と同じ部分には同じ番号を付与した。

デジタルカメラ１の制御部であるカメラ制御部１５０は、ＣＰＵ（中央処理装置）１５１、ワークメモリ１５２、記憶部１５３等から構成され、記憶部１５３に記憶されているプログラムをワークメモリ１５２に読み出し、当該プログラムに従ってデジタルカメラ１の各部を集中制御する。

また、カメラ制御部１５０は、電源スイッチ１１１、モード設定ダイアル１１２、ジョグダイアル１１５、ＡＦ／ＡＥスイッチ１０１ａ、レリーズスイッチ１０１ｂ等からの入力を受信し、光学ファインダ１２１上の測光モジュール１２１ｂと交信することで測光動作を制御し、ＡＦモジュール１４４と交信することで合焦動作を制御し、ミラー駆動部１４３を介してレフレックスミラー１４１及びサブミラー１４２を駆動し、シャッタ駆動部１４６を介してシャッタ１４５を制御し、フラッシュ制御部１４７を介してフラッシュ１０２を制御し、撮像制御部１６１と交信することで撮像動作を制御すると共に、撮像された画像データや各種情報を画像モニタ１３１に表示し、インファインダ表示部１３２に各種情報を表示する。

さらに、カメラ制御部１５０は、ボディ１０と交換レンズ２０の間の交信部として機能する、マウント（ボディ側）１７１上に設けられたＢＬ交信部（ボディ側）１７２と、マウント（レンズ側）２７１上に設けられたＢＬ交信部（レンズ側）２７２を介して、交換レンズ２０のレンズインターフェース２５１経由で、レンズ２１１のフォーカスとズームを制御するレンズ制御部２４１、絞り２２１の制御を行う絞り制御部２２２、交換レンズ２０の固有情報を格納しているレンズ情報記憶部２３１と交信を行うことで、交換レンズ２０全体を制御する。

交換レンズ２０のレンズ２１１によって結像される画像は、撮像素子１６２で光電変換された後、アンプ１６３で増幅され、アナログ／デジタル（Ａ／Ｄ）変換器１６４でデジタルデータに変換され、画像処理部１６５で既定の画像処理を施したデジタル画像データに変換され、一旦画像メモリ１８１に記録された後、最終的にはメモリカード１８２に記録される。

撮像素子１６２は、線形特性領域と対数特性領域とからなる光電変換特性を有し、両特性領域の範囲（ダイナミックレンジ）を自由に設定可能である。両特性の切換や両特性領域の範囲（ダイナミックレンジ）は撮像制御部１６１によって制御される。詳細は後述する。

以上の一連の撮像動作は、カメラ制御部１５０の制御下で、撮像制御部１６１によって制御される。カメラ制御部１５０、撮像制御部１６１、画像メモリ１８１およびメモリカード１８２は、本発明における画像記録部として機能する。また、カメラ制御部１５０、モード設定ダイアル１１２およびジョグダイアル１１５は、本発明の画像記録部における未処理画像記録と処理画像記録を選択する記録形式選択手段として機能するとともに、通常撮像モードと広ダイナミックレンジ撮像モードを選択する撮像モード選択手段としても機能する。

また、メモリカード１８２に記録されたデジタル画像データは、図示しないパーソナルコンピュータ（ＰＣ）や携帯情報端末（ＰＤＡ）等に取り込まれることによって、ＰＣやＰＤＡ上のソフトウェアによって更なる画像処理を施されることも可能である。これによって、デジタルカメラ１に搭載されているＣＰＵ１５１よりも強力な処理能力を持つＰＣ等での更に高性能な画像処理が可能となり、更なる高画質化が図れる。

次に、本発明に係る撮像装置の１例であるデジタルカメラ１における撮像モード、記録モードと画像処理の関係について、図３乃至図７を用いて説明する。図３乃至図７は、本発明における撮像動作の流れを示すフローチャートであり、図３がメインルーチン、図４乃至図７が各モードでの動作を示すサブルーチンである。

尚、本例で言う撮像モードとは、通常撮像モードと広ダイナミックレンジ撮像モードのことであり、通常撮像モードとは、撮像素子１６２の線形特性のみで撮像を行うモードであり、広ダイナミックレンジ撮像モードとは、撮像素子の線形特性と対数特性の両方を用いて、あるいは対数特性のみで撮像を行うモードのことである。

また、本例で言う記録モードとは、未処理画像記録モードと処理画像記録モードのことであり、未処理画像記録モードとは、画像処理を施さない画像を記録するモードであり（本例ではＲＡＷ画像記録として説明する）、通常は画像圧縮も施されない場合が多いが、例えばＲＡＷ画像データに可逆圧縮処理を施す等、画像圧縮を施された例もある。処理画像記録モードとは、画像処理を施した画像を記録するモードのことである（本例では、ＪＰＥＧ画像記録として説明する）。通常は画像圧縮が施されることが多いが、例えばビットマップ等の画像圧縮を行わない例もある。

さらに、本例で言う画像処理には、所定の画像処理と、広ダイナミックレンジ対応処理がある。

図３で、ステップＳ１０１で電源スイッチ１１１が操作されてカメラ電源が投入されると、ステップＳ１１１で、モード設定ダイアル１１２で設定されているデジタルカメラ１の動作モードが確認される。カメラモードに設定されている場合（ステップＳ１１１；ＹＥＳ）は、ステップＳ１２１に進む。カメラモード以外（例えば、画像再生モード等）に設定されている場合（ステップＳ１１１；ＮＯ）は、設定に従った各モードの制御に移行する。説明は省略する。

ステップＳ１２１で、デジタルカメラ１のカメラモードでの撮像モードが、広ダイナミックレンジ撮像モードに設定されているかどうかが確認される。広ダイナミックレンジ撮像モードに設定されている場合（ステップＳ１２１；ＹＥＳ）は、ステップＳ１３１に進む。

ステップＳ１３１で、広ダイナミックレンジ撮像モードで、未処理画像記録を行う設定がなされているかどうかが確認される。未処理画像記録を行う設定がなされている場合（ステップＳ１３１；ＹＥＳ）は、ステップＳ１３２に進み、図４の「広Ｄ撮像／未処理記録モード」サブルーチンが実行されて、ステップＳ１３３に戻り、撮像を終了するか否かが確認される。撮像を終了しない場合（ステップＳ１３３；ＮＯ）、ステップＳ１１１に戻り、デジタルカメラ１の動作モードがカメラモードから変更されていないかどうかが確認される。以降、上述の動作の流れを繰り返す。撮像を終了する場合（ステップＳ１３３；ＹＥＳ）、そのままカメラの動作を終了する。

ステップＳ１３１で、未処理画像記録を行う設定がなされていない場合（ステップＳ１３１；ＮＯ）は、ステップＳ１４１に進み、図５の「広Ｄ撮像／処理記録モード」サブルーチンが実行されて、ステップ１３３に戻り、以降、上述の動作の流れを繰り返す。

ステップＳ１２１で、広ダイナミックレンジ撮像モードに設定されていない場合（ステップＳ１２１；ＮＯ）、ステップＳ１５１で通常撮像モードに設定されているかどうかが確認される。通常撮像モードに設定されている場合（ステップＳ１５１；ＹＥＳ）は、ステップＳ１６１に進む。通常撮像モード以外の撮像モード（例えば、連写モード等）に設定されている場合（ステップＳ１５１；ＮＯ）は、設定に従った各モードの制御に移行する。説明は省略する。

ステップＳ１６１で、通常撮像モードで、未処理画像記録を行う設定がなされているかどうかが確認される。未処理画像記録を行う設定がなされている場合（ステップＳ１６１；ＹＥＳ）は、ステップＳ１６２に進み、図６の「通常撮像／未処理記録モード」サブルーチンが実行されて、ステップ１３３に戻り、以降、上述の動作の流れを繰り返す。

ステップＳ１６１で、未処理画像記録を行う設定がなされていない場合（ステップＳ１６１；ＮＯ）は、ステップＳ１７１に進み、図７の「通常撮像／処理記録モード」サブルーチンが実行されて、ステップ１３３に戻り、以降、上述の動作の流れを繰り返す。

図４は、上述のステップＳ１３２の「広Ｄ撮像／未処理記録モード」、すなわち広ダイナミックレンジ撮像を行い、未処理画像記録を行うモードのサブルーチンである。

ステップＳ３０１で、レリーズボタン１０１が操作されて、ＡＦ／ＡＥスイッチ１０１ａがオンされたかどうかが確認される。オンされるまで、ステップＳ３０１で待機する。オンされたら（ステップＳ３０１；ＹＥＳ）、ステップＳ３１１でＡＦ動作が行われて合焦される。ステップＳ３１２で、測光モジュール１２１ｂで測光が行われ、ステップＳ３１３で、測光結果から、露出、すなわち交換レンズ２０の絞り２２１の絞り値とシャッタ１４５のシャッタ速度が設定される。

ステップＳ３１４で、ステップＳ３１３で設定された露出に合わせて、ダイナミックレンジが設定される。ステップＳ３２１で、レリーズボタン１０１が操作されて、レリーズスイッチ１０１ｂがオンされたかどうかが確認される。オンされるまで、ステップＳ３０１からステップＳ３２１の動作の流れが繰り返される。オンされたら（ステップＳ３２１；ＹＥＳ）、ステップＳ３２２で、ステップＳ３１３で設定された絞り値およびシャッタ速度と、ステップＳ３１４で設定されたダイナミックレンジで広ダイナミックレンジ撮像が行われ、ステップＳ３２３で、撮像された未処理画像（ここでは、ＲＡＷデータ）と画像の付属情報（「広Ｄ撮像／未処理記録モード」で撮像されたことを表すフラグ等）が、画像メモリ１８１に一旦記録され、その後、ステップＳ３２４で、画像メモリ１８１に記録された未処理画像とその付属情報がメモリカード１８２に記録され、メインルーチンに戻る。

図５は、上述のステップＳ１４１の「広Ｄ撮像／処理記録モード」、すなわち広ダイナミックレンジ撮像を行い、処理画像記録を行うモードのサブルーチンである。図４と同じステップには同じ番号を付与し、説明は省略する。

「広Ｄ撮像／処理記録モード」では、ステップＳ４１１で、ステップＳ３２２で撮像された広ダイナミックレンジ画像に、本発明における広ダイナミックレンジ対応処理の１例である高コントラスト化処理が施され（詳細は後述する）、ステップＳ４１２で後述する一連の画像処理と画像圧縮（ここでは、ＪＰＥＧ圧縮）が施され、ステップＳ４２３で、ステップＳ４１２で処理された処理画像と画像の付属情報（「広Ｄ撮像／処理記録モード」で撮像されたことを表すフラグ等）が画像メモリ１８１に一旦記録され、ステップＳ４２４で画像メモリ１８１に記録された処理画像とその付属情報がメモリカード１８２に記録され、メインルーチンに戻る。

図６は、上述のステップＳ１６２の「通常撮像／未処理記録モード」、すなわち通常撮像を行い、未処理画像記録を行うモードのサブルーチンである。図４および図５と同じステップには同じ番号を付与し、説明は省略する。

「通常撮像／未処理記録モード」では、ステップＳ５２２で、ステップＳ３１３で設定された絞り値およびシャッタ速度と、ステップＳ３１４で設定されたダイナミックレンジで通常撮像、すなわち撮像素子を線形特性で動作させる撮像が行われる。

図７は、上述のステップＳ１７１の「通常撮像／処理記録モード」、すなわち通常撮像を行い、処理画像記録を行うモードのサブルーチンである。図４乃至図６と同じステップには同じ番号を付与し、説明は省略する。

「通常撮像／処理記録モード」では、ステップＳ５２２で、ステップＳ３１３で設定された絞り値およびシャッタ速度と、ステップＳ３１４で設定されたダイナミックレンジで通常撮像、すなわち撮像素子１６２を線形特性で動作させる撮像が行われる。

以上のように、撮像装置の撮像モードと記録モードに合わせて、所定の画像処理と広ダイナミックレンジ対応処理の２種類の画像処理を適切に選択して適用することで、常に最適な画像を得ることのできる撮像装置を提供することができる。

次に、本発明における、線形特性領域と対数特性領域とからなる光電変換特性を有する撮像素子の１例について、図８乃至図１０を用いて説明する。

図８は、撮像素子１６２の内部構成を示すブロック図である。図中、図２と同じ部分には同じ番号を付与した。撮像素子１６２上には、画素１６２ａが２次元的に配列されている。垂直走査回路１６２ｂによって選択された水平行の画素１６２ａの光電変換出力ＶＰは、垂直信号線１６２ｇに出力され、サンプルホールド回路１６２ｃに１行分同時にホールドされ、水平走査回路１６２ｅの走査により、出力回路１６２ｄから画像出力３０７として順次出力され、アンプ１６３に入力される。撮像素子１６２の各動作は、撮像制御部１６１からの撮像制御信号１６１ａに従って、タイミングジェネレータ（ＴＧ）１６２ｆにより制御される。

図９は、撮像素子１６２を構成する、線形特性領域と対数特性領域とからなる光電変換特性を有する画素１６２ａの回路の１例を示す回路図である。

画素１６２ａは、フォトダイオードＰＤ、ＭＯＳＦＥＴ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｆｉｅｌｄ Ｅｆｆｅｃｔ Ｔｒａｎｓｉｓｔｏｒ）としてのトランジスタＴ１〜Ｔ６、及び積分用のコンデンサとしてのキャパシタＣから構成されている。トランジスタＴ１〜Ｔ６は、本例ではＰチャンネルＭＯＳＦＥＴが採用されている。φＶＤ、φＶ、φＶＰＳ、φＲＳＴ、φＳ及びＲＳＢは、各トランジスタやキャパシタＣに対する信号（電圧）を示し、ＧＮＤは接地を示している。

フォトダイオードＰＤは光電変換部であり、被写体からの入射光量に応じた光電流ＩＰＤを出力する。

トランジスタＴ１は、トランジスタＴ２の製造バラツキに起因して発生する画素間の誤差成分を示す画素バラツキ信号を取り出す際に用いるスイッチであり、通常はオン状態とされており、トランジスタＴ２とフォトダイオードＰＤ間に光電流ＩＰＤが流れるようになっている。画素バラツキ信号を取り出す際には、トランジスタＴ１がオフ状態となりフォトダイオードＰＤの光電流ＩＰＤが遮断され、前記の画素バラツキ信号だけが取り出される。

トランジスタＴ２は、ゲートとドレインが接続されており、ＭＯＳＦＥＴにおけるサブスレッショルド特性（ゲート電圧が閾値以下の時に、サブスレッショルド電流と呼ばれる微小電流が流れる特性）を利用して、同トランジスタのゲートに、光電流ＩＰＤに対して線形変換又は対数変換した電圧を発生させる働きをする。

具体的には、撮像される被写体が暗い場合、すなわち、フォトダイオードＰＤに入射される入射光量が少ない場合には、トランジスタＴ２のゲート電位が同トランジスタのソース電位より高くなっているために、トランジスタＴ２が所謂カットオフ状態であり、トランジスタＴ２にサブスレッショルド電流が流れず、フォトダイオードＰＤで発生する光電流ＩＰＤがフォトダイオードＰＤの寄生容量ＣＰＤに流れて光電流ＩＰＤが積分され、積分電荷量に応じた電圧が発生する。

このときＴ１はオンされているので、寄生容量ＣＰＤに積分された光電流ＩＰＤに応じた電圧が、電圧ＶＧとしてトランジスタＴ２、Ｔ３のゲートに発生する。この電圧ＶＧにより、トランジスタＴ３に電流が流れ、この電圧ＶＧに比例した量の電荷がキャパシタＣに蓄積される（トランジスタＴ３とキャパシタＣとで積分回路を構成している）。そして、トランジスタＴ３とキャパシタＣとの接続ノードａ、すなわち出力ＶＯＵＴには、光電流ＩＰＤの積分値に対して線形的に比例した電圧が現れる。これが線形特性領域における動作である。

一方、撮像される被写体が明るく、フォトダイオードＰＤに入射される入射光量が多い場合には、トランジスタＴ２のゲート電位が同トランジスタのソース電位以下となり、トランジスタＴ２がサブスレッショルド領域で動作するためにサブスレッショルド電流が流れ、光電流ＩＰＤを自然対数的に変換した値の電圧ＶＧがトランジスタＴ２、Ｔ３のゲートに発生する。そして、この電圧ＶＧにより、トランジスタＴ３に電流が流れ、キャパシタＣに、光電流ＩＰＤの積分値を自然対数的に変換した値と同等の電荷が蓄積される。これにより、キャパシタＣとトランジスタＴ３との接続ノードａ（出力ＶＯＵＴ）には、光電流ＩＰＤの積分値を自然対数的に変換した値に比例した電圧が生じる。これが当該撮像素子１６２０の、対数特性領域における動作である。

上述したように、画素１６２ａの動作が線形特性となるか対数特性となるかは、トランジスタＴ２のゲート電位ＶＧとソース電位φＶＰＳの高低の関係によって決まる。ゲート電位ＶＧは上述のように光電流ＩＰＤによって決まるので、ソース電位φＶＰＳを制御することで線形特性と対数特性の切り替わる点（変曲点）を制御することができる。

以上のように、被写体の明るさ、すなわち入射光量に応じて、各画素毎に、光電流ＩＰＤの積分値に線形的又は自然対数的に比例した電圧が発生される。

トランジスタＴ４は、キャパシタＣをリセットするためのトランジスタであり、該トランジスタＴ４のゲートに印加される電圧φＲＳＴに応じてオン、オフされるスイッチとして動作する。トランジスタＴ４がオンされると、キャパシタＣにリセット電圧ＲＳＢが印加され、蓄積されていた電荷が積分開始前の状態に戻される。

トランジスタＴ５は、ソースフォロワ増幅回路を構成するものであり、前述した出力ＶＯＵＴに対する電流増幅を行うことで、出力インピーダンスを下げる働きをする。

トランジスタＴ６は、信号読み出し用のトランジスタであり、ゲートに印加される電圧φＶに応じてオン、オフされるスイッチとして動作する。トランジスタＴ６のソースは、垂直信号線１６２ｇに接続されており、トランジスタＴ６がオンされると、トランジスタＴ５で電流増幅されて低インピーダンス化された光電変換出力ＶＰを、垂直信号線１６２ｇへ導出する。

図１０は、図９に示した画素１６２ａの回路の光電変換特性を示すグラフである。横軸には、被写体輝度を対数軸でとってあり、縦軸には光電変換出力を線形軸でとってある。上述したように、図９のトランジスタＴ２のソース電圧φＶＰＳの制御によって、図１０の特性４０１に示すような対数特性から、特性４０２に示す線形特性までを切り換えることが可能である。特性４０３は、被写体輝度が低輝度の場合は特性４０２と同じ線形特性、被写体輝度が高輝度の場合は特性４０１と同じ対数特性を示す線形／対数特性（リニア／ログ特性とも言う）であり、線形特性と対数特性の切り替わり点４０４は、上述のトランジスタＴ２のソース電位φＶＰＳの制御によって任意に設定可能である。

続いて、図２に示した回路ブロック図の内、画像処理部１６５の構成について、図１１を用いて説明する。図１１は、画像処理部１６５の回路構成の１例を示す回路ブロック図である。

前述したように、撮像素子１６２で光電変換された画像信号は、アンプ１６３で増幅され、アナログ／デジタル（Ａ／Ｄ）変換器１６４でデジタルデータに変換され、画像処理部１６５で既定の画像処理を施したデジタル画像データに変換され、一旦画像メモリ１８１に記録された後、最終的にはメモリカード１８２に記録される。画像処理部１６５に入力されたデジタルデータ５０１は、ホワイトバランス処理部５０２に入力され、ホワイトバランス処理されたＷＢ出力５０２ａは、切換部５０４に直接入力されるとともに、高コントラスト化処理部５０３に入力され、高コントラスト化処理されたＨＣ出力５０３ａも切換部５０４に入力される。

切換部５０４は、撮像制御部１６１の制御に従って、ＷＢ出力５０２ａまたはＨＣ出力５０３ａのいずれかを選択的に切り換えて色補間／色補正部５０５に入力する。色補間／色補正された画像信号は、γ補正部５０６でγ補正され、色空間変換部５０７でＲＧＢデータからＹＣｒＣｂデータに変換され、ＪＰＥＧ圧縮部５０８で画像圧縮されて、ＪＰＥＧ圧縮データ５０８ａとして出力部５０９に入力される。一方、画像処理部１６５に入力されたデジタルデータ５０１は、ＲＡＷデータとして出力部５０９に直接入力されており、出力部５０９によって、撮像制御部１６１の制御に従って、ＪＰＥＧ圧縮データ５０８ａまたはＲＡＷデータ５０１のいずれかが選択的に切り換えられて、デジタル画像データ５１０として撮像制御部１６１に出力される。

次に、図１１に示した画像処理部１６５の各部の動作について、図１２乃至図１５を用いて説明する。

図１２は、ホワイトバランス処理部５０２での処理を示す光電変換特性のグラフである。ホワイトバランス処理は、基本的には基準色（本例ではＧ色）の光電変換特性に、補正対象（本例ではＲ色とＢ色）の光電変換特性を一致させることで成り立つ。Ｒ、Ｇ、Ｂの３色の光電変換特性が同じであれば、３色を合成すれば白になるからである。ところが、実際にはカラーフィルタの透過率の違い等により、例えば図１２（ａ）のようにＧ色に対してＲ色が光電変換特性が高かったり、例えば図１２（ｂ）のようにＧ色に対してＢ色が光電変換特性が低かったりする。

このような場合のホワイトバランス処理を、例えば、図１２（ａ）を例にとって説明する。図１２（ａ）では、被写体輝度領域５１２ａでは、Ｇ色の光電変換特性５１４ａもＲ色の光電変換特性５１３ａも線形特性である。被写体輝度領域５１２ｂでは、Ｇ色の光電変換特性５１４ａは線形特性、Ｒ色の光電変換特性５１３ｂは対数特性である。被写体輝度領域５１２ｃでは、Ｇ色の光電変換特性５１４ｃもＲ色の光電変換特性５１３ｃも対数特性である。一般に、線形特性の場合は、ホワイトバランスは、補正される色の光電変換出力に補正値を乗算することで基準色に一致させることができる。対数特性の場合は、補正される色の光電変換出力に補正値を加算することで基準色に一致させることができる。

そこで、本例では、まず、領域５１２ｂのＲ色の対数特性の光電変換特性５１３ｂが、演算により線形特性５１３ｄに変換されて、被写体輝度領域５１２ａの線形特性５１３ａとつなぎ合わせられる（５１３ａ＋５１３ｄ）。実際の変換にはルックアップテーブル（ＬＵＴ）等を用いて、演算に必要な時間を短縮することが行われる。しかる後に、被写体輝度領域５１２ａと５１２ｂのつなぎ合わせられた線形特性に補正値が乗算されて、線形特性領域の光電変換特性（５１３ａ＋５１３ｄ）が基準のＧ色の光電変換特性５１４ａに一致させられる。被写体輝度領域５１２ｃの対数特性５１３ｃには、補正値が加算（本例では負の補正値を加算）されて基準のＧ色の光電変換特性５１４ｃに一致させられる。これによって、Ｒ色の光電変換特性がＧ色の光電変換特性に一致させられる。

また、図１２（ｂ）の例の場合は、被写体輝度領域５２２ａでは、Ｇ色の光電変換特５２４ａ性もＢ色の光電変換特性５２３ａも線形特性である。被写体輝度領域５２２ｂでは、Ｇ色の光電変換特性５２４ｃは対数特性、Ｂ色の光電変換特性５２３ｂは線形特性である。被写体輝度領域５２２ｃでは、Ｇ色の光電変換特性５２４ｃも、Ｒ色の光電変換特性５２３ｃも対数特性である。そこで、まず、領域５２２ｂのＢ色の線形特性の光電変換特性５２３ｂが、ＬＵＴ等を用いた演算により、対数特性５２３ｄに変換されて、被写体輝度領域５２２ｃの対数特性５２３ｃとつなぎ合わせられる（５２３ｄ＋５２３ｃ）。しかる後に、被写体輝度領域５２２ｂと５２２ｃのつなぎ合わせられた対数特性に補正値が加算されて、対数特性領域の光電変換特性（５２３ｄ＋５２３ｃ）が基準のＧ色に一致させられる。被写体輝度領域５２２ａの線形特性５２３ａは、補正値が乗算されて基準のＧ色の光電変換特性５２４ａに一致させられる。

以上に述べたように、ホワイトバランス処理部５０２では、補正対象色の光電変換特性を基準色の光電変換特性の線形特性領域と対数特性領域に合わせて同じ特性のデータに演算し、線形特性領域と対数特性領域に分けて乗算または加算により光電変換特性を一致させることが行われる。

次に、図１１に示した高コントラスト化処理部５０３における高コントラスト化処理（階調変換処理）について詳述する。

図１３は、高コントラスト化処理部５０３の機能を説明するための機能ブロック図である。同図に示すように、高コントラスト化処理部５０３は、色要素分割部５３１、領域分割部５３２、第１照明成分抽出部５３３、第１照明成分圧縮部５３４、リニア変換部５３５、第２照明成分抽出部５３６、第２照明成分圧縮部５３７、画像合成部５３８及び色要素合成部５３９を備えている。以下、これら各機能部について、具体的な演算方法と併せて説明する。

色要素分割部５３１は、撮像素子１６２からの画像データ、ここでは前段のホワイトバランス処理部５０２からのＷＢ出力５０２ａ（線形／対数画像）を、ベイヤ方式のカラーフィルタ構造によるＧ市松ＲＢ線順次配列における４つの色要素（Ｒ、Ｇｒ、Ｇｂ、Ｂ）毎の画像データに分割する、つまりベイヤ４要素を各要素毎に分けてなる４種類の色画像データ（Ｒ画像、Ｇｒ画像、Ｇｂ画像及びＢ画像）を得るものである。なお、各色画像の画像サイズは、元の画像サイズの１／２サイズとなっている。また、この４種類の各色画像は、それぞれ線形特性及び対数特性情報を含む線形／対数画像となっている。

領域分割部５３２は、色要素分割部５３１から入力された上記４種類の色画像それぞれについて（各色画像を基画像Ｉと表現する）、この基画像Ｉから対数特性領域での画像（画像Ｉ１とする）と、線形特性領域での画像（画像Ｉ２）との画像を分割抽出するものである。

色要素分割部５３１から領域分割部５３２に入力される各色画像毎の基画像Ｉは、例えば図１４に示す光電変換特性５５０を有しており、この光電変換特性５５０は、被写体輝度ｘ（対数値ではない）に対する光電変換出力ｙとして以下の（１−１）、（１−２）式で表される。同図に示す座標Ｘｔｈ及びＹｔｈは、光電変換特性５５０における対数特性領域５５１と線形特性領域５５２ととが切り替わる点、すなわち変曲点５５３における各（ｘ、ｙ）座標の値である。

ｙ＝ａ×ｘ＋ｂ（但し、０≦ｘ≦Ｘｔｈ） ・・・（１−１）
ｙ＝α×ｌｏｇ（ｘ）＋β（但し、Ｘｔｈ≦ｘ）・・・（１−２）
領域分割部５３２では、以下の条件式（２−１）〜（２−４）に示すように、基画像Ｉ（ここでは２次元画像であることを示すべく適宜、画像Ｉ（ｘ，ｙ）と表現する）を構成する各画素に対し、光電変換出力が所定の値θ以上の領域とθ未満の領域とに分割する（θによって基画像Ｉを各特性領域の上限、下限位置で所謂クリップする）。この「θ」のことを適宜、分割パラメータと称する。

ｉｆ（Ｉ（ｘ，ｙ）≧θ）
ｔｈｅｎ
Ｉ１（ｘ，ｙ）＝Ｉ（ｘ，ｙ） ・・・（２−１）
Ｉ２（ｘ，ｙ）＝０（ゼロ） ・・・（２−２）
ｅｌｓｅ
Ｉ１（ｘ，ｙ）＝０（ゼロ） ・・・（２−３）
Ｉ２（ｘ，ｙ）＝Ｉ（ｘ，ｙ） ・・・（２−４）
ｅｎｄｉｆ
これはつまり、画像Ｉ（ｘ，ｙ）において光電変換出力がθ以上となる領域の画像が画像Ｉ１（画像Ｉ１（ｘ，ｙ））であり、光電変換出力がθより小さい（θ未満）となる領域の画像が画像Ｉ２（画像Ｉ２（ｘ，ｙ））となることを示している。

ただし、本例では、図１４に示すように光電変換特性５５０を有する全体画像を、線形特性領域の画像と対数特性領域の画像とに区分することから、分割パラメータθの位置は上記変曲点でのＹｔｈと同じ位置となる（分割パラメータθはＹｔｈの値のみに固定して設定される）。したがって、この分割抽出処理における線形特性と対数特性との境界位置は分割パラメータθを用いて設定せずともよく、例えば単に変曲点Ｙｔｈの位置として設定してもよい。

このように領域分割部５３２は、光電変換特性５５０を有する基画像Ｉが入力されると、該基画像Ｉから、分割パラメータθ（＝Ｙｔｈ；変曲点）の位置を境として領域５５４に示す画像Ｉ１（対数特性画像）と領域５５５に示す画像Ｉ２（線形特性画像）との分割抽出処理を行う。この境界パラメータθの設定情報は、高コントラスト化処理部５０３（例えば領域分割部５３２）に記憶してもよい。

ところで、基画像Ｉは、所謂Ｒｅｔｉｎｅｘ理論によれば、該基画像Ｉにおける照明成分を照明成分Ｌ、反射率成分を反射率成分Ｒとすると、以下の（３−１）式で表される。

Ｉ＝Ｌ×Ｒ ・・・（３−１）
ただし、（３−１）式は、線形特性領域画像としての基画像Ｉに対するものであり、対数特性領域画像としての基画像Ｉに対しては、以下の（４−１）式で表される。

Ｌｏｇ（Ｉ）＝Ｌｏｇ（Ｌ）＋Ｌｏｇ（Ｒ） ・・・（４−１）
図１４に示すように、基画像Ｉにおける光電変換出力がθ（＝Ｙｔｈ）以上となる画像Ｉ１は、領域５５４の上記（１−２）式に相当する対数特性領域５５１の画像であるので、（４−１）式が成立する。書き換えると、以下の（４−２）式となる。画像Ｉ２は、領域５５５の上記（１−１）式に相当する線形特性領域５５２の画像であるので、（３−１）式が成立する。書き換えると、以下の（３−２）式となる。

Ｉ２＝Ｌ２×Ｒ２ ・・・（３−２）
Ｉ１＝Ｌｏｇ（Ｌ１）＋Ｌｏｇ（Ｒ１） ・・・（４−２）
一般的に、照明成分は反射率成分より低周波であることが多いので、照明成分を画像の低周波成分で近似する。低周波成分抽出フィルタ（ローパスフィルタ）ををＦとする。Ｆは、ガウシアンやメディアン、あるいはエッジ維持型ローパスフィルタであるε−フィルタやバイラテラルフィルタなどである。（４−２）式は、Ｆを適用すると、高周波成分Ｌｏｇ（Ｒ１）は除去されて、
Ｌｏｇ（Ｌ１）＝Ｆ（Ｉ１） ・・・（５−１）
となって、照明光が求められる。

第１照明成分圧縮部５３４は、第１照明成分抽出部５３３によって抽出された照明成分画像に対する圧縮処理を行うものである。すなわち、第１照明成分圧縮部５３４は、上記抽出された照明成分Ｌｏｇ（Ｌ１）に対する所定の圧縮処理を行い、当該照明成分Ｌ１を圧縮してなる照明成分Ｌ１’の対数値Ｌｏｇ（Ｌ１’）として出力する。高コントラスト化における圧縮率（ダイナミックレンジ圧縮率）を「ｃ」、再現ダイナミックレンジを制御するパラメータを「ｓ」とすると、第１照明成分圧縮部５３４から出力されるＬｏｇ（Ｌ１’）は、以下の（６−１）式で示されるものとなる。

Ｌｏｇ（Ｌ１’）＝Ｌｏｇ（Ｌ１）×ｃ＋Ｌｏｇ（ｓ） ・・・（６−１）
画像Ｉ１に対する高コントラスト化後の画像を画像Ｉ１’とし、画像Ｉ１における反射率成分をＲ１とすると、上記（４−１）式は以下（７−１）式と表されることから、
Ｌｏｇ（Ｉ１’）＝Ｌｏｇ（Ｌ１’）＋Ｌｏｇ（Ｒ１） ・・・（７−１）
画像Ｉ１’は、（７−１）式の両辺に逆対数をとった以下の（８−１）式で表される。

Ｉ１’＝ｅｘｐ（Ｌｏｇ（Ｌ１’）＋Ｌｏｇ（Ｒ１））
＝Ｌ１’×Ｒ１ ・・・（８−１）
リニア変換部５３５は、領域分割部５３２によって分割抽出され、第１照明成分抽出部５３３や第１照明成分圧縮部５３４により圧縮処理が施された後の対数画像を、線形画像に変換するものである。具体的には、リニア変換部５３５は、上記（７−１）式から（８−１）式への式変換による演算を行うことで、対数画像Ｌｏｇ（Ｉ１’）から線形画像Ｉ１’への変換処理を行う。このようにリニア変換部５３５によって対数画像Ｌｏｇ（Ｉ１’）を線形画像Ｉ１’に変換することで、後述の線形画像である画像Ｉ２’と同じ特性（線形特性）の画像として扱うことが可能となる（ここでは画像Ｉ１’とＩ２’との合成処理が可能となる）。

なお、図１３に示すように、上記Ｌｏｇ（Ｒ１）は、符号５４１に示す減算部（減算部５４１）によって、ルートＡを送信されてくる画像Ｉ１からルートＢを送信されてくる照明成分Ｌｏｇ（Ｌ１）を減算することで得られる。また、画像Ｉ１’は、符号５４２に示す加算部（加算部５４２）によって、第１照明成分圧縮部５３４からの圧縮照明成分Ｌｏｇ（Ｌ１’）と上記減算部５４１からの反射率成分Ｌｏｇ（Ｒ１）とを加算することで得られる。また、上述では、画像がルートを“送信”されると表現しているが、実際の動作としては画像データ信号（映像信号）が該当するルート全体に印加された状態となっている。

領域分割部５３２によって抽出された画像Ｉ１及びＩ２のうち、画像Ｉ２は、第２照明成分抽出部５３６及び第２照明成分圧縮部５３７による下記の方法で高コントラスト化が施され、画像Ｉ２’として画像合成部５３８に入力される。これについて、以下に説明する。

第２照明成分抽出部５３６は、領域分割部５３２によって分割抽出された画像Ｉ２から照明成分Ｌ２を抽出する。当該画像Ｉ２からの照明成分Ｌ２の抽出処理は以下の（９−１）式で示される。

Ｌ２＝Ｆ（Ｉ２） ・・・（９−１）
ここで、上記（９−１）式中の“Ｆ”は、上述と同様、ガウシアン等のフィルタである。一方、画像Ｉ２の反射率成分Ｒ２は、Ｒ２＝Ｉ２／Ｌ２の関係により求められる（（３−２）式参照）。

第２照明成分圧縮部５３７は、第２照明成分抽出部５３６により得られた照明成分Ｌ２に対する所定の圧縮処理を行い、当該照明成分を圧縮してなる照明成分Ｌ２’を出力する。ダイナミックレンジ圧縮率を「ｃ」、再現ダイナミックレンジを制御するパラメータを「ｓ」で表すと、この圧縮照明成分Ｌ２’は以下の（１０−１）式で与えられる。

Ｌ２’＝ｅｘｐ（Ｌｏｇ（Ｌ２）×ｃ＋Ｌｏｇ（ｓ）） ・・・（１０−１）
第２照明成分圧縮部５３７により得られた圧縮照明成分Ｌ２’は、符号５４４に示す乗算部（乗算部５４４）によって反射率成分Ｒ２と乗算され、その結果、画像Ｉ２に対する高コントラスト化処理後の画像Ｉ２’が得られる。反射率成分Ｒ２は、符号５４３に示す除算部（除算部５４３）によって、ルートＥを送信されてくる画像Ｉ２からルートＦを送信されてくる照明成分Ｌ２を除算することで得られる。

画像合成部５３８は、上記高コントラスト化処理後の線形画像と対数画像との合成画像を作成するものである。すなわち画像合成部５３８は、画像Ｉ１に対する高コントラスト化処理により得られた画像Ｉ１’と、画像Ｉ２に対する高コントラスト化処理により得られた画像Ｉ２’とに基づいて合成画像Ｏを作成する（Ｏ＝Ｉ１’＋Ｉ２’）。画像Ｉ１’（対数特性画像）と画像Ｉ２’（線形特性画像）とは、図１５における光電変換特性５６２（Ｏ）に示すように滑らかに接続（合成）される。

色要素合成部５３９は、画像合成部５３８により求められた画像Ｏ、すなわち、上述したベイヤ４要素の各要素毎の各色画像Ｉ（上記Ｒ画像、Ｇｒ画像、Ｇｂ画像及びＢ画像）に対応する４種類の画像Ｏを合成し、元の４要素の画像情報を併せ持つＨＣ出力５０３ａ（線形画像）を得るものである。なお、画像サイズは、各画像Ｏの１／２サイズから等倍サイズのＨＣ出力５０３ａに戻る。また、ＨＣ出力５０３ａは、線形特性情報のみを含む（線形特性の画像データに統一された）画像となっている。

上述の説明は、線形特性と対数特性を持つ撮像素子についての説明であるが、対数特性の撮像素子の場合は、上述のＩ１（対数特性画像）の処理のみを行えばよい。また、線形特性の広ダイナミックレンジ画像を得る方法が種々提案されているが、それらの画像については上述のＩ２（線形特性画像）の処理のみを行えばよい。

上述のように高コントラスト化処理部５０３による高コントラスト化処理（階調変換処理）を行うことで、異なる光電変換特性の画像を、同一の光電変換特性を有する画像に変換することができるとともに、撮影画像の中で低コントラスト部分のコントラスト強調（コントラスト改善）を図ることが可能となる。すなわち、画像の局所空間（線形特性領域及び対数特性領域）毎にベース（照明光成分）を抽出し、該抽出したベースを圧縮し、画像の反射率成分と共に線形特性領域と同一の光電変換特性に変換する処理（リニア変換部５３５での処理）を行うことで、対数特性と線形特性とからなる画像データを線形特性の画像データに統一することができ、これに加えて、対数特性領域でのコントラスト強調（改善）を図ることが可能となる。

いずれにしても、高コントラスト化処理部５０３による高コントラスト化処理により、撮影画像データを低輝度領域の光電変換特性に統一することで、同じ特性の画像データとして扱うことができ、以後の画像処理におけるデータの扱いが容易となる（演算の簡易化或いは処理の高速化を図ることができる）。ここでは、以後の色補間／色補正部５０５、γ補正部５０６および色空間変換部５０７における処理を、従来の色処理方法をそのまま利用して効率良く行うことが可能となる。
次に、画像処理部１６５の切換部５０４以降の各機能について、図１１を用いて説明する。図１１は、前述のように、画像処理部１６５の回路構成の１例を示す回路ブロック図である。

切換部５０４は、図３で説明したデジタルカメラ１の撮像モードに応じて、撮像制御部１６１からの切換制御信号１６１ａに従って、ＷＢ出力５０２ａまたはＨＣ出力５０３ａのいずれかを選択的に切り換えて色補間／色補正部５０５に入力する。撮像モードが通常撮像（線形特性での撮像）モードに設定されている場合には、高コントラスト化処理が行われていないＷＢ出力５０２ａが選択され、広ダイナミックレンジ撮像モードに設定されている場合は、高コントラスト化処理が行われたＨＣ出力５０３ａが選択される。

切換部５０４に続く色補間／色補正部５０５、γ補正部５０６および色空間変換部５０７における処理は、前述したように従来の色処理方法をそのまま利用することが可能であるので、ここでは説明は省略する。また、画像圧縮の１例であるＪＰＥＧ圧縮部５０８についても、ＷＢ出力５０２ａおよびＨＣ出力５０３ａがどちらも線形特性の画像データであるため、既知のＪＰＥＧ圧縮方法が利用可能であるので、説明は省略する。

出力部５０９には、上述のＷＢ出力５０２ａまたはＨＣ出力５０３ａに色補間／色補正部５０５、γ補正部５０６および色空間変換部５０７における処理が施されてＪＰＥＧ圧縮された処理画像データ５０８ａと、画像処理部１６５に入力された未処理画像データ（ＲＡＷデータ）５０１とが入力されている。出力部５０９からは、撮像制御部１６１からの出力制御信号１６１ｂに従って、撮像装置の撮像モードと記録モードに合わせて、処理画像データ５０８ａまたは未処理画像データ（ＲＡＷデータ）５０１の何れかが、デジタル画像データ５１０として撮像制御部１６１に向けて出力され、撮像制御部によって一旦画像メモリ１８１に記録された後、最終的にはメモリカード１８２に記録される。

上述の説明では、切換部５０４は、撮像モードに合わせてＷＢ出力５０２ａとＨＣ出力５０３ａを切り換えて出力するとしたが、切換部５０４を用いないで撮像モードに合わせてＷＢ出力５０２ａとＨＣ出力５０３ａを実質的に切り換える方法について、以下に説明する。

撮像モードが通常撮像（線形特性での撮像）モードの場合に、高コントラスト化処理部５０３の入力信号であるＷＢ出力５０２ａの入力可能範囲の最大値を線形特性と対数特性の切り替わり点の光電変換出力値Ｙｔｈとすることで、図１３の下半分（線形画像Ｉ２の処理系列）のみを使用するように設定が可能となり、領域分割部５３２の入力画像Ｉは、Ｉ＝Ｉ２、画像合成部５３８の出力である合成画像Ｏは、Ｏ＝Ｉ２’となる。

第２照明成分抽出部５３６のフィルタＦ（Ｉ２）の係数を、自画素のみ１、他を０（ゼロ）とすることで、（９−１）式より、Ｌ２＝Ｉ２となり、反射率成分：Ｒ２＝Ｉ２／Ｌ２＝Ｉ２／Ｉ２＝１となる。

従って、（１０−１）式において、ｃ＝１とすると、第２照明成分圧縮部５３７の出力Ｌ２’＝Ｌ２＝Ｉ２となる。よって、合成画像：Ｏ＝Ｉ２’＝Ｒ２×Ｌ２’＝１×Ｉ２＝Ｉ２＝Ｉとなって、合成画像Ｏと入力画像Ｉが等しくなる、つまり、高コントラスト化処理部５０３での処理が実質的に作用しない（無効化された）ことになる。

このように、通常撮像（線形特性での撮像）モードで、高コントラスト化処理部５０３の処理パラメータを適切に制御することで、切換部５０４を不要にすることが可能であり、画像処理部１６５の小型化、低コスト化に寄与することができる。切換部５０４を用いない場合の画像処理部１６５の回路ブロック図を図１６に示す。切換部５０４を削除し、高コントラスト化処理部５０３の処理パラメータの制御のためのパラメータ制御信号１６１ｃを撮像制御部１６１から高コントラスト化処理部５０３に入力するようになした以外は、図１１と同じであるので、説明は省略する。

さらに、画像メモリ１８１あるいはメモリカード１８２に記録された画像処理後の画像は、デジタルカメラ１に搭載された画像モニタ１３１、あるいはデジタルカメラ１やメモリカード１８２の画像を読み込んだＰＣやＰＤＡ等のモニタで確認が可能である。また、プリンタでプリントアウトして確認することも考えられる。

画像を確認した結果、撮像シーンや状況によっては、ダイナミックレンジの圧縮率やダイナミックレンジ再現範囲を変更したい場合や、広ダイナミックレンジ撮像モードで撮像したが、通常撮像モードで撮像した場合の画像の方が望ましい場合も発生する。本発明によれば、このようなときに、前述した高コントラスト化処理部５０３のパラメータを再設定することで、再度撮像を行うことなく、所望の画像を得ることができる。以下に、その方法の１例を、図１７を用いて示す。図１７は、高コントラスト化処理部５０３のパラメータの再設定による画像出力の変化を示すグラフである。

ダイナミックレンジとコントラストに大きな影響を持っているのが、照明成分の圧縮方法と圧縮率であり、その設定により画像は大きく異なる。上述の高コントラスト化処理部５０３での処理は、（６−１）式および（１０−１）式から、結果的に、線形変換した照明成分Ｌに対して以下の（１１−１）式で与えられるダイナミックレンジ圧縮を行ったことに相当する。

Ｌ’＝ｓ×Ｌ^c ・・・（１１−１）
ここで、モニタやプリントの再現可能な再現ダイナミックレンジをＭ、画像中のモニタやプリントに再現したい再現ダイナミックレンジをＳＩとすると、再現ダイナミックレンジを制御するパラメータ「ｓ」は、（１１−１）式から、以下の（１１−２）式で表され、（１１−１）式は（１１−３）式に書き換えられる。

ｓ＝Ｍ／ＳＩ^c ・・・（１１−２）
Ｌ’＝Ｍ×（Ｌ／ＳＩ）^c ・・・（１１−３）
（１１−３）式で、Ｍ＝ＳＩ、ｃ＝１とした場合が、図１７（ａ）のＬ６０１、つまり照明成分を線形変換したものである。Ｌ６０１をモニタに表示する場合は、特性値のＭを超える部分Ｌ６０１ａについてはＭでクリップされた画像Ｌ６０１ｂとなる。これは、通常の線形特性の撮像素子で低輝度部に露出を合わせて撮影した画像、つまり通常撮像画像と同じである。

また、ｃ≦１の場合が図１７（ａ）のＬ６０２である。Ｌ６０２は、ｓ（＝Ｍ／ＳＩ^c）、つまりｃの値によりコントラストを制御でき、ｃが小さいほど高コントラストである。Ｌ６０２の場合は、比較的高コントラストが得やすいが再現範囲（ダイナミックレンジ）は狭い。

さらに、再現ダイナミックレンジＳＩを撮像画像全域に拡大した（ＳＩ＝Ｓ）のが、図１７（ｂ）である。ここで、（１１−３）式でｃ＜１の場合がＬ６０３であり、ダイナミックレンジ圧縮技術により、低輝度部は線形特性の撮像素子並に再現され、高輝度部も白つぶれなく比較的高コントラストが得られる画像である。但し、再現ダイナミックレンジＳＩが広い分、Ｌ６０２に比べるとコントラストは低い。Ｌ６０３も、Ｌ６０２と同じくｃの値によりコントラストを制御でき、ｃが小さいほど高コントラストである。

（１１−３）式で、ＳＩ＝Ｓでｃ＝１の場合が、図１７（ｂ）のＬ６０４である。Ｌ６０４は、通常の線形特性の撮像素子で高輝度部に露出を合わせて撮像した場合と同じ特性であり、全体としては、広ダイナミックレンジ低コントラスト画像となる。

上述のように、撮像され、画像メモリ１８１あるいはメモリカード１８２に記録された画像に対して、再現ダイナミックレンジを制御するパラメータ「ｓ」とダイナミックレンジ圧縮率「ｃ」を再度設定し直すことで、再撮像を行うことなく、再現ダイナミックレンジとコントラストの変化した、見えの異なる画像を自在に得ることが可能となる。

以上に述べたように、本発明によれば、線形特性領域と対数特性領域とからなる光電変換特性を有する撮像素子を用いた撮像に際して、撮像モードと記録モードに応じて適切な画像処理を施すことで、常に最適な画像を得ることのできる撮像装置を提供することができる。

尚、本発明に係る撮像装置および撮像方法を構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。

本発明に係る撮像装置の１例であるデジタルカメラの外観模式図である。 図１に示したデジタルカメラの回路の１例を示すブロック図である。 本発明における撮像動作の流れを示すフローチャートのメインルーチンである。本発明における撮像動作の流れを示すフローチャートであり、図３がメインルーチン、図４乃至図７が各モードでの動作を示すサブルーチンである。 本発明における撮像動作の流れを示すフローチャートのサブルーチン（１／４）である。 本発明における撮像動作の流れを示すフローチャートのサブルーチン（２／４）である。 本発明における撮像動作の流れを示すフローチャートのサブルーチン（３／４）である。 本発明における撮像動作の流れを示すフローチャートのサブルーチン（４／４）である。 本発明に係る撮像装置に用いられる撮像素子の内部構成の１例を示すブロック図である。 撮像素子を構成する、線形特性領域と対数特性領域とからなる光電変換特性を有する画素の回路の１例を示す回路図である。 図９に示した画素の回路の光電変換特性を示すグラフである。 画像処理部の回路構成の１例を示す回路ブロック図である。 ホワイトバランス処理部での処理を示す光電変換特性のグラフである。 高コントラスト化処理部の機能を説明するための機能ブロック図である。 領域分割部の入力画像の光電変換特性を示すグラフである。 画像合成部の出力画像の光電変換特性を示すグラフである。 切換部を用いない形式の画像処理部の回路構成の１例を示す回路ブロック図である。 高コントラスト化処理部のパラメータの再設定による画像出力の変化を示すグラフである。

符号の説明

１ デジタルカメラ
１０ ボディ
２０ 交換レンズ
１０１ レリーズボタン
１０１ａ ＡＦ／ＡＥスイッチ
１０１ｂ レリーズスイッチ
１１１ 電源スイッチ
１１２ モード設定ダイアル
１１５ ジョグダイアル
１２１ ファインダ
１２１ａ ファインダ接眼レンズ
１２１ｂ 測光モジュール
１３１ 画像モニタ
１４５ シャッタ
１５０ カメラ制御部
１５１ ＣＰＵ（中央処理装置）
１５２ ワークメモリ
１５３ 記憶部
１６１ 撮像制御部
１６２ 撮像素子
１６３ アンプ
１６４ アナログ／デジタル（Ａ／Ｄ）変換器
１６５ 画像処理部
１７２ ＢＬ交信部（ボディ側）
１８１ 画像メモリ
１８２ メモリカード
２１１ レンズ
２２１ 絞り
２７２ ＢＬ交信部（レンズ側）
５０２ ホワイトバランス処理部
５０２ａ ＷＢ出力
５０３ 高コントラスト化処理部
５０３ａ ＨＣ出力
５０４ 切換部
５０５ 色補間／色補正部
５０６ γ補正部
５０７ 色空間変換部
５０８ ＪＰＥＧ圧縮部
５０９ 出力部
５１０ デジタル画像データ
５３１ 色要素分割部
５３２ 領域分割部
５３３ 第１照明成分抽出部
５３４ 第１照明成分圧縮部
５３５ リニア変換部
５３６ 第２照明成分抽出部
５３７ 第２照明成分圧縮部
５３８ 画像合成部
５３９ 色要素合成部

Claims (10)

1. 被写体を撮像して画像に対応する電気信号を出力する撮像素子であって、通常撮像モードと該通常撮像モードよりも広いダイナミックレンジで撮像を行う広ダイナミックレンジ撮像モードとで動作可能な撮像素子と、前記撮像素子から出力された電気信号を処理する画像処理部と、前記画像処理部で処理された画像信号を記録媒体に記録する画像記録部とを備えた撮像装置において、
   前記画像処理部は、汎用的な画像処理である通常画像処理および広ダイナミックレンジ撮像モードで撮像された画像に特有の画像処理である広ダイナミックレンジ対応処理のうち少なくとも一方の処理を実行可能であり、
   前記画像記録部における記録形式として、未処理画像記録又は処理画像記録を選択する記録形式選択手段と、
   通常撮像モード又は広ダイナミックレンジ撮像モードを選択する撮像モード選択手段と、
   前記撮像モード選択手段で選択された撮像モード及び前記記録形式選択手段で選択された記録形式に基づいて、前記画像処理部で実行する処理を制御する撮像制御部とを有することを特徴とする撮像装置。
2. 前記撮像制御部は、前記撮像モード選択手段で通常撮像モードが選択され、かつ前記記録形式選択手段で処理画像記録が選択されたときは、前記画像処理部に通常画像処理を実行させることを特徴とする請求項１に記載の撮像装置。
3. 前記撮像制御部は、前記撮像モード選択手段で広ダイナミックレンジ撮像モードが選択され、かつ前記記録形式選択手段で処理画像記録が選択されたときは、前記画像処理部に通常画像処理及び広ダイナミックレンジ対応処理を実行させることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記撮像素子は、入射光量に応じた電気信号を発生すると共に、前記入射光量に対して電気信号が線形的に変換されて出力される線形特性領域と、前記入射光量に対して電気信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性を有し、前記線形特性領域と前記対数特性領域の範囲を制御可能であり、
   前記撮像制御部は、前記撮像素子の線形特性領域と対数特性領域の範囲の制御を行い、前記撮像モード選択手段で通常撮像モードが選択されたときは、前記撮像素子の光電変換特性が線形特性領域のみとなるように制御し、
   前記撮像モード選択手段で広ダイナミックレンジ撮像モードが選択されたときは、前記撮像素子の光電変換特性が少なくとも対数特性領域を有するように制御することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記広ダイナミックレンジ対応処理は、広ダイナミックレンジ撮像モードで撮像された画像に対応する電気信号を高コントラスト化する処理であることを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
6. 前記広ダイナミックレンジ対応処理は、広ダイナミックレンジ撮像モードで撮像された画像に対応する電気信号を通常撮像モードで撮像された画像に変換する処理であることを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
7. 前記画像処理部は、前記広ダイナミックレンジ対応処理を行う第１の処理経路と、前記広ダイナミックレンジ対応処理を行わない第２の処理経路を有し、
   前記撮像モード選択手段で通常撮像モードが選択されたときは、前記第２の処理経路を用いて画像処理することを特徴とする請求項１または２に記載の撮像装置。
8. 前記広ダイナミックレンジ対応処理の処理パラメータを設定するパラメータ設定手段を有し、
   前記撮像モード選択手段で広ダイナミックレンジ撮像モードが選択されたときは、前記パラメータ設定手段は、広ダイナミックレンジ対応処理が実行されるように処理パラメータを設定し、
   前記撮像モード選択手段で通常撮像モードが選択されたときは、前記パラメータ設定手段は、広ダイナミックレンジ対応処理が無効化されるように処理パラメータを設定することを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
9. 前記通常画像処理は、前記撮像素子で撮像された画像に対応する電気信号を圧縮処理するデータ圧縮処理であることを特徴とする請求項１乃至８の何れか１項に記載の撮像装置。
10. 前記撮像制御部は、前記記録形式選択手段で未処理画像記録が選択されたときは、前記画像処理部に通常画像処理および広ダイナミックレンジ対応処理のいずれも実行させないことを特徴とする請求項１乃至９の何れか１項に記載の撮像装置。

Images