JP2007312112A - 撮像装置 - Google Patents

Abstract

【課題】回路を複雑化又は回路コストを増加させることなく、撮影画像の露光制御の追従感度を維持すると共に輝度ちらつきを防止することを可能とする撮像装置を提供する。
【解決手段】撮像装置１に、複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子３と、露光処理制御部２１と、露光処理に用いられる評価輝度値を算出する評価輝度値算出部１６と、評価輝度値と所定の目標輝度値とを比較して両者の輝度差を算出する輝度差算出部１８と、輝度差に対応する露光条件の変更頻度を記憶する設定頻度記憶部２０と、輝度差算出部１８で算出された輝度差に応じ、設定頻度記憶部２０から露光条件の変更頻度を選択して設定する輝度差エリア判定部１９と、輝度差エリア判定部１９で設定された頻度に従って露光処理制御部２１における露光条件を変更するシステム制御部１２とを設ける。
【選択図】図１

Description

本発明は、入射光を電気信号に変換する撮像素子を有する撮像装置に関する。

従来から、デジタルカメラなどの撮像装置には、入射光を電気信号に変換する複数の画素を有する撮像素子が設けられている。また、近年では、複数種類の光電変換特性を有する撮像素子が提案されている。例えば、入射光量に基づいて入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを切り換えるリニアログ変換型センサが提案されている（特許文献１）。

これらの撮像素子のうち例えばＣＣＤは、ダイナミックレンジがフォトダイオードの容量によって制限されるため、一回の撮影で取得した画像データでは適正な露光条件を判断することができなかった。そのため、目標被写体の輝度レベルに合致した露光条件を割り出すために、複数の画像データを利用し、所定の頻度で露光条件を変更して露光時間や絞りなどの制御を繰り返しながら、目標被写体の輝度レベルを推定して最適露光条件を決定していた。
特開２００２−３００４７６号公報

しかし、露光条件を変更するにあたり、露光制御の追従感度を重視して露光条件の変更頻度を高くすると、輝度の変更が頻繁に起こり輝度ちらつきの原因になるという問題があった。その一方で、輝度の安定性を重視して露光条件の変更頻度を低くすると、露光制御の追従感度が低くなり、目標輝度レベルに到達するまでに長時間を要するという問題があった。

本発明の課題は、回路を複雑化又は回路コストを増加させることなく、撮影画像の露光制御の追従感度を維持すると共に輝度ちらつきを防止することを可能とする撮像装置を提供することにある。

上記課題を解決するため請求項１記載の発明は、撮像装置であって、複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子と、前記撮像素子への入射光量又は前記撮像素子における入射光量蓄積時間の少なくともいずれか一方を制御する露光処理制御部と、前記撮像素子の出力信号から露光処理に用いられる評価輝度値を算出する評価輝度値算出部と、前記評価輝度値と所定の目標輝度値とを比較して両者の輝度差を算出する輝度差算出部と、前記輝度差に対応する露光条件の変更頻度を記憶する設定頻度記憶部と、前記輝度差算出部で算出された前記輝度差に応じ、前記設定頻度記憶部から前記露光条件の変更頻度を選択して設定する輝度差エリア判定部と、前記輝度差エリア判定部で設定された頻度に従って前記露光処理制御部における露光条件を変更する制御部と、を備えることを特徴とする。

請求項１記載の発明によれば、評価輝度値と目標輝度値との輝度差に応じ、露光制御の追従感度又は輝度の安定性のいずれかを重視して露光条件の変更頻度を設定することが可能となる。これにより、回路を複雑化又は回路コストを増加させることなく、露光制御の追従感度を維持し又は撮影画像の輝度ちらつきを防止することが可能となる。

請求項２記載の発明は、請求項１記載の撮像装置であって、前記設定頻度記憶部には前記露光条件の変更頻度として何フレームに１回の頻度で露光条件を変更するかを示す設定値が記憶されており、前記設定値は０〜５０とされていることを特徴とする。

請求項２記載の発明によれば、輝度差エリア判定部は設定頻度記憶部から設定値０（露光条件の変更なし）又は設定値１（１フレームに１回の頻度で露光条件を変更）から設定値５０（５０フレームに１回の頻度で露光条件を変更）までを選択して設定することができることから、目標輝度値との輝度差に応じて充分に高い頻度から充分に低い頻度まで設定することが可能となる。

請求項３記載の発明は、請求項１又は請求項２記載の撮像装置であって、前記輝度差エリア判定部は、目標輝度値との輝度差が大きいほど前記露光条件の変更頻度を高く、目標輝度値との輝度差が小さいほど前記露光条件の変更頻度を低くすることを特徴とする。

請求項３記載の発明によれば、露光制御の追従感度と輝度の安定性とはトレードオフの関係にあるが、目標輝度値との輝度差が大きい場合は追従感度を重視して変更頻度を高くし、目標輝度値との輝度差が小さい場合は輝度の安定性を重視して変更頻度を低く設定することにより、露光制御の追従感度を維持しつつ輝度ちらつきを防止することが可能となる。

請求項４記載の発明は、請求項１〜請求項３いずれか一項に記載の撮像装置であって、前記輝度差エリア判定部は、前記制御部が露光条件を変更した後に前記輝度差が変化した場合は、前記輝度差算出部が新たに算出した輝度差に応じて前記露光条件の変更頻度を随時設定することを特徴とする。

請求項４記載の発明によれば、輝度差エリア判定部が露光条件の変更後の輝度差に応じて露光条件の変更頻度を随時設定することから、輝度の頻繁な変動を抑制しつつ、輝度差に応じて露光制御の追従感度を維持し、撮影画像の輝度ちらつきを防止することが可能となる。

請求項５記載の発明は、請求項１〜請求項４いずれか一項に記載の撮像装置であって、前記評価輝度値算出部よりも前段に前記撮像素子の出力信号を一つの変換特性により統一的に変換された状態に変換する特性変換部を備えることを特徴とする。

請求項５記載の発明によれば、撮像素子の出力信号を一つの変換特性で統一的に変換された状態に変換する特性変換部を備えた撮像装置において上記と同様の作用を得ることが可能となる。

請求項６記載の発明は、請求項５記載の撮像装置であって、前記評価輝度値算出部よりも前段に前記特性変換部の出力信号のうち少なくとも一つの階調領域を圧縮する圧縮部を備えることを特徴とする。

請求項６記載の発明によれば、特性変換部の出力信号を圧縮する圧縮部を備えた撮像装置において上記と同様の作用を得ることが可能となる。

請求項７記載の発明は、請求項６記載の撮像装置であって、前記評価輝度値算出部よりも前段に前記圧縮部により圧縮された出力信号の階調領域を伸長する伸長部を備えることを特徴とする。

請求項７記載の発明によれば、圧縮部により圧縮された出力信号を伸長する伸長部を備えた撮像装置において上記と同様の作用を得ることが可能となる。

請求項８記載の発明は、請求項７記載の撮像装置であって、前記評価輝度値算出部は前記伸長部の出力信号の平均値から前記評価輝度値を算出することを特徴とする。

請求項８記載の発明によれば、伸長部の出力信号の平均値に基づいて露光処理に用いられる評価輝度値を正確に算出することが可能となる。

請求項９記載の発明は、請求項１〜請求項８いずれか一項に記載の撮像装置であって、前記複数の画素は入射光を電気信号に線形変換する線形変換特性と入射光を電気信号に対数変換する対数変換特性とを入射光量に応じて切り換え可能に構成されていることを特徴とする。

請求項９記載の発明によれば、撮像素子としてリニアログ変換型センサを備えた撮像装置において上記と同様の作用を得ることが可能となる。

請求項１記載の発明によれば、回路を複雑化又は回路コストを増加させることなく、露光制御の追従感度を維持し又は撮影画像の輝度ちらつきを防止することが可能となる。

請求項２記載の発明によれば、目標輝度値との輝度差に応じて充分に高い頻度から充分に低い頻度まで設定することが可能となる。

請求項３記載の発明によれば、撮影画像の露光制御の追従感度を維持しつつ輝度ちらつきを防止することが可能となる。

請求項４記載の発明によれば、輝度の頻繁な変動を抑制しつつ、輝度差に応じて露光制御の追従感度を維持し、撮影画像の輝度ちらつきを防止することが可能となる。

請求項５記載の発明によれば、撮像素子の出力信号を一つの変換特性で統一的に変換された状態に変換する特性変換部を備えた撮像装置において上記と同様の効果を得ることが可能となる。

請求項６記載の発明によれば、特性変換部の出力信号を圧縮する圧縮部を備えた撮像装置において上記と同様の効果を得ることが可能となる。

請求項７記載の発明によれば、圧縮部により圧縮された出力信号を伸長する伸長部を備えた撮像装置において上記と同様の効果を得ることが可能となる。

請求項８記載の発明によれば、露光処理に用いられる評価輝度値を正確に算出することが可能となる。

請求項９記載の発明によれば、撮像素子としてリニアログ変換型センサを備えた撮像装置において上記と同様の効果を得ることが可能となる。

以下、図面を用いて本発明の実施形態について説明する。

図１に、本実施形態に係る撮像装置１の機能的構成を示す。

図１に示すように、撮像装置１は、撮像調整手段２を介して入射光を受光する撮像素子３を備えている。撮像調整手段２には、例えばレンズ群４、シャッタ５及び絞り６が備えられている。

レンズ群４は、例えばフォーカシングレンズやズームレンズなど、従来から公知のレンズによって構成されている。シャッタ５は、公知のシャッタ機構を用いることができる。絞り６は、複数枚の板により構成され、これらの板を用いて撮像素子の感光部にあたる光の量を調整するようになっている。

撮像素子３は、例えば、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）が用いられ、レンズ群４を透過して結像された被写体光を光電変換するようになっている。撮像素子３は、行列配置（マトリクス配置）された複数の画素を有している。

ここで、本発明の撮像素子は複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子であり、複数の変換特性の出力信号が連続的に変化するようになっている。本実施形態の撮像素子３は、入射光量に基づいて入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを切り換えるリニアログ変換型センサとして構成されている。

図２（a）に示すように、本実施形態の撮像素子３において、各画素は、所定入射光量ｔｈ未満の入射光量に対しては線形変換動作を、所定入射光量ｔｈ以上の入射光量に対しては対数変換動作を行うようになっている。

また、画素の表面には例えば、図示しないＲＧＢカラーフィルタを配設し、撮像素子３の各画素には赤色、緑色またや青色のいずれかの色のフィルタをかけることとしてよい。また、画素の表面にはＹＭＣＫカラーフィルタを配設することとしてもよい。なお、画素の表面にはフィルタを配設しなくてもよく、フィルタが配設されない場合には後述するホワイトバランス処理は不要となる。

以上の撮像素子３には、図１に示すように、アンプ７及びＡＤコンバータ８を介して、黒基準補正部９、信号処理部１０及び画像処理部１１がこの順に接続されている。また、信号処理部１０にはシステム制御部１２が接続されている。

アンプ７は、従来から公知のものが用いられるようになっており、撮像素子３により光電変換された信号を増幅するようになっている。

ＡＤコンバータ８は、アンプ７において増幅された電気信号をアナログ信号からデジタル信号に変換するようになっている。図２（ａ）に示すように、本実施形態のＡＤコンバータ８から出力されるデジタル信号は１２ビットとなっている。なお、ＡＤコンバータ８から出力されるデジタル信号の大きさを１２ビットとすることは一例であり、これに限定されるものではない。

黒基準補正部９は、撮像素子３に設けられた光学的に遮光された光学的黒画素（オプティカルブラック画素）領域から得られる黒基準の基準値に基づいて画像信号における黒基準の基準値の設定、すなわちデジタル信号の最低レベルを設定するようになっている。

信号処理部１０は、撮像素子３の各画素からの電気信号に対して信号処理を行うものであり、線形変換部１３、圧縮部１４、伸長部１５、評価輝度値算出部１６、目標輝度値記憶部１７、輝度差算出部１８、輝度差エリア判定部１９及び設定頻度記憶部２０を備えている。このうち、圧縮部１４には画像処理部１１が接続され、輝度差エリア判定部１９にはシステム制御部１２が接続されている。

線形変換部１３は、図２（a）に矢印Ｚで示すように、撮像素子３から出力される電気信号のうち、対数変換によって生成された電気信号を入射光が線形変換された状態に変換するものである。なお、線形変換部１３はルックアップテーブルを用いて変換を行うこととしてもよいし、指数変換するなどの演算によって変換を行うこととしてもよい。また、本実施形態においては、線形変換部１３で処理された電気信号は全２４ビットとなっている。

圧縮部１４は、図２（a）に矢印Ｗで示すように、線形変換部１３から出力される電気信号のうち、所定の信号値域に対応する所定域成分を圧縮して画像処理部１１に出力するようになっている。本実施形態の圧縮部１４は、電気信号をビットシフトにより１／２⁸倍するようになっている。また、いかなる領域の成分を圧縮するかについて制限はなく、本実施形態では、ＡＤコンバータ８のビット幅以上の高域成分を圧縮するようになっている。

伸長部１５は、圧縮部１４によって圧縮された前記高域成分を伸長して圧縮前の状態に戻すものである。なお、この伸長部１５から出力される伸長後の高域成分と、伸長部１５に伸長されない低域成分とは、伸長部１５と輝度差算出部１８との間で結合されるようになっている。

評価輝度値算出部１６は、伸長部１５で伸長された電気信号から自動露光制御（ＡＥ）処理に用いられる評価輝度値を算出するようになっている。

評価輝度値としては、例えば、撮像素子３を構成する複数の画素それぞれの輝度値の平均値を評価輝度値とする。また、評価輝度値の算出は、例えば、図３に示すように撮像領域を複数の領域に分割して、領域毎に重み付けを行ってもよい。

評価輝度値の算出の仕方としては、例えば、まず撮像素子３の撮像領域を複数の領域に分割し、各領域に含まれる画素の輝度値の和を平均した値（Ｙ_１、Ｙ_２・・・Ｙn）を算出する。その後、目標輝度値記憶部１７から重み付け係数（Ｃ_１、Ｃ_２・・・Ｃn）を読み出して、読み出した重み付け係数を対応する領域の輝度値の和を平均して算出した値に乗算する。そして、乗算して導き出された各領域の値の和を各領域の重み付け係数の和で除算した値を評価輝度値とする。すなわち、以下の式（１）により導き出されるものである。

また、他の例としては、上述の場合と同様に、まず撮像素子３の撮像領域を複数の領域に分割し、各領域に含まれる画素の輝度値の和を平均した値（Ｙ_１、Ｙ_２・・・Ｙn）を算出する。その後、目標輝度値記憶部１７から重み付け係数（Ｃ_１、Ｃ_２・・・Ｃn）を読み出し、読み出した重み付け係数で対応する領域の輝度値の和を平均して算出した値を除算する。そして、除算して導き出された各領域の値の和を各領域の重み付け係数の和の逆数で除算した値を評価輝度値とする。すなわち、以下の式（２）により導き出されるのである。

なお、図３では撮像素子３をＡ〜Ｅの５つの領域に分割しているが、分割領域の数は５つに限られない。また、分割領域の形状や各領域の重み付け係数も上記に限定されるものではない。また、重み付け係数が最も大きい領域は中央の領域に限られない。なお、人物が被写体の場合は、一般的に人物を画像の中央付近に位置させることが多いので、図３に示すように、中心付近の領域の輝度値に周辺領域より大きい係数を掛けることにより、画面全体の中で中心付近をより鮮明に撮影することが可能となる。

目標輝度値記憶部１７は、半導体メモリなどからなる記憶用のメモリを備えており、目標輝度値が記憶されるようになっている。目標輝度値は、最適な露光条件を得られるように評価輝度値がとるべき理想的な値である。また、目標輝度値は複数備えることとしてもよく、その場合はユーザの操作により所望の目標輝度値を設定できることとしてもよい。

また、目標輝度値記憶部１７には、評価輝度値を算出する際に用いる重み付け係数（Ｃ_１、Ｃ_２・・・Ｃn）が記憶されるようになっている。重み付け係数は、分割される領域の数だけ備えられているとともに、どの領域にどの重み付け係数が割り当てられるかは予め定められている。

輝度差算出部１８は、評価輝度値算出部１６で算出された評価輝度値と、目標輝度値記憶部１７に記憶された目標輝度値とを比較して、評価輝度値と目標輝度値との輝度差を算出するようになっている。

輝度差エリア判定部１９は、輝度差算出部１８で算出された目標輝度値との輝度差に応じ、設定頻度記憶部２０から露光条件の変更頻度を選択して設定するようになっている。

輝度差エリア判定部１９には、図４に示すように、目標輝度値との輝度差が小さい方から順に、目標エリア、低頻度エリア、中間頻度エリア、高頻度エリアが設定されている。そして、輝度差エリア判定部１９は、輝度差算出部１８から目標輝度値との輝度差が入力されると、その輝度差がいずれのエリアに属するかを判定し、判定したエリアに応じて設定頻度記憶部２０から露光条件の変更頻度を選択して設定し、システム制御部１２に出力するようになっている。

本実施形態の輝度差エリア判定部１９は、目標輝度値との輝度差が大きいほど設定頻度を高く、目標輝度値との輝度差が小さいほど設定頻度を低く設定するようになっている。

すなわち、輝度差エリア判定部１９は、目標輝度値との輝度差が属するエリアに応じ、目標エリアの場合は低い頻度、低頻度エリア、中間頻度エリア、高頻度エリアの場合はこの順でそれより高い頻度を設定するようになっている。本実施形態では、目標エリアでは露光条件の変更なし（設定値０）、低頻度エリアでは５フレームに１回（設定値５）、中間頻度エリアでは３フレームに１回（設定値３）、高頻度エリアでは１フレームに１回（設定値１）として設定するようになっている。

また、輝度差エリア判定部１９は、システム制御部１２が露光条件を変更した後に目標輝度値との輝度差が変化した場合は、輝度差算出部１８が新たに算出した輝度差に応じて露光条件の変更頻度を随時設定するようになっている。

例えば、目標輝度値との輝度差が高頻度エリアに属すると判定され、露光条件の変更頻度を高い頻度として設定した後に、目標輝度値との輝度差が中間頻度エリアに属すると判定された場合は、中間頻度エリアに応じた露光条件の変更頻度を新たに設定するようになっている。また、同様に、露光条件の変更頻度を中間的な頻度として設定した後に、目標輝度値との輝度差が低頻度エリアに属すると判定された場合は、低頻度エリアに応じた露光条件の変更頻度を新たに設定するようになっている。また、露光条件の変更頻度を低い頻度とした後に、目標輝度値との輝度差が目標エリアに属すると判定された場合は、その後は新たな露光条件を設定しないようになっている。

設定頻度記憶部２０は、目標輝度値との輝度差に対応する露光条件の変更頻度を記憶するようになっている。設定頻度記憶部２０には、何フレームに１回の頻度で露光条件を変更するかを示す設定値が記憶されるようになっており、本実施形態では、設定値０（露光条件の変更なし）と、設定値１（１フレームに１回の頻度で露光条件を変更）から設定値５０（５０フレームに１回の頻度で露光条件を変更）までが記憶されている。

なお、設定頻度記憶部２０にルックアップテーブルを格納し、輝度差エリア判定部１９からの輝度差の入力により、ルックアップテーブルが露光条件の変更頻度を導出する構成としてもよい。

図１に戻り、信号処理部１０の輝度差エリア判定部１９にはシステム制御部１２が電気的に接続されている。システム制御部１２は、撮像装置１の各部を制御するものであり、信号処理部１０のほか、上述のアンプ７、ＡＤコンバータ８、黒基準補正部９及び画像処理部１１と電気的に接続されている。

また、システム制御部１２には、露光処理制御部２１を介して撮像調整手段２及び撮像素子３が接続されており、輝度差エリア判定部１９の出力信号に基づき、これらの各構成部分を制御するようになっている。

露光処理制御部２１は、ズーム制御機構、フォーカス制御機構、シャッタ制御機構、及び絞り制御機構などにより構成されている。露光処理制御部２１は、ズーム位置検出信号やフォーカス位置検出信号、及び輝度差エリア判定部１９の出力信号などのフィードバックを受けながら、システム制御部１２からの制御信号により撮像調整手段２を制御し、撮像素子３への入射光量又は撮像素子３における入射光量蓄積時間の少なくともいずれか一方を制御するようになっている。

システム制御部１２は、輝度差エリア判定部１９で設定された頻度に従って、露光処理制御部２１の露光条件を変更するようになっている。

具体的には、輝度差エリア判定部１９により目標輝度値との輝度差が目標エリアに属すると判定された場合は、システム制御部１２は露光条件を変更せずに露光処理制御部２１に露光処理を行わせるようになっている。

また、輝度差エリア判定部１９により目標輝度値との輝度差が低頻度エリアに属すると判定され、露光条件の変更頻度として低い頻度が設定された場合は、システム制御部１２は低い頻度で露光条件を変更するようになっている。例えば、本実施形態では５フレームに１回の頻度で露光条件を変更するようになっている。

また、輝度差エリア判定部１９により目標輝度値との輝度差が中間頻度エリアに属すると判定され、露光条件の変更頻度として中間的な頻度が設定された場合は、システム制御部１２は中間的な頻度で露光条件を変更するようになっている。例えば、本実施形態では３フレームに１回の頻度で露光条件を変更するようになっている。

また、輝度差エリア判定部１９により目標輝度値との輝度差が高頻度エリアに属すると判定され、露光条件の変更頻度として高い頻度が設定された場合は、システム制御部１２は高い頻度で露光条件を変更するようになっている。例えば、本実施形態では１フレームに１回の頻度で露光条件を変更するようになっている。

また、システム制御部１２は、輝度差エリア判定部１９の設定に従い、露光条件を変更した後に目標輝度値との輝度差が変化した場合は、輝度差エリア判定部１９が新たに設定した変更頻度により露光条件を変更するようになっている。

すなわち、高い頻度で露光条件を変更した後、目標輝度値との輝度差が変化して輝度差エリア判定部１９により新たに中間的な頻度が設定された場合は、中間的な頻度で露光条件を変更し、中間的な頻度で露光条件を変更した後、輝度差エリア判定部１９により新たに低い頻度が設定された場合は、低い頻度で露光条件を変更し、輝度差エリア判定部１９により新たに設定値０が設定された場合は露光条件を変更しないようになっている。

本実施形態では、図４に示すように、目標輝度値との輝度差が高頻度エリアに属する場合は、１フレームに１回の頻度で露光条件を変更し、輝度差が中間頻度エリアに入ると、３フレームに１回の頻度で露光条件を変更し、輝度差が低頻度エリアに入ると、５フレームに１回の頻度で露光条件を変更するようになっている。そして、輝度差が目標エリアに入ると、露光条件を変更せずに露光制御を行うようになっている。

これにより、目標輝度値との輝度差が大きい場合は、露光制御の追従感度を高くすることが可能となり、目標輝度値との輝度差が小さい場合は、輝度の変更の回数を抑えて目標輝度値付近における輝度ちらつきを防止することが可能となる。

例えば、図５は、すべてのエリアにおいて１フレームに１回の頻度で露光条件を変更した場合の評価輝度値の変移を示すグラフである。図５では、露光制御の追従感度のみを重視し、すべてのエリアにおいて露光条件の変更頻度を高くしていることから、目標輝度値付近における輝度変化が頻繁に起こり、これが輝度ちらつきの原因となる。

また、図６は、すべてのエリアにおいて５フレームに１回の頻度で露光条件を変更した場合の評価輝度値の変移を示すグラフである。図６では、輝度の安定性のみを重視し、すべてのエリアにおいて露光条件の変更頻度を低くしていることから、露光制御の追従感度が低く、目標輝度値との輝度差が目標エリア付近に到達するのに時間がかかる。

これに対し、本実施形態では、図４に示すように、目標輝度値との輝度差のエリアごとに露光条件の変更頻度を設定することから、高頻度エリア付近では露光制御の追従感度を重視して短時間で目標輝度値との輝度差を目標エリアに近づける一方で、低頻度エリアから目標エリア付近では輝度の安定性を重視して輝度のちらつきを防止することが可能となる。

次に、画像処理部１１は、圧縮部１４で圧縮された電気信号に対して画像処理を行うものであり、ＡＷＢ（Auto White Balance）処理部２２、色補間部２３、色補正部２４、階調補正部２５及び色空間変換部２６を備えている。これらＡＷＢ処理部２２、色補間部２３、色補正部２４、階調補正部２５及び色空間変換部２６は、信号処理部１０に対してこの順に接続されている。

ＡＷＢ処理部２２は、画像データに対してホワイトバランス処理を行うようになっている。

色補間部２３は、同色の前記フィルタが設けられた複数の近接画素からの電気信号に基づき、これら近接画素間に位置する画素について、この色の電気信号を補間演算するようになっている。

色補正部２４は画像データの色合いを補正するものであり、より詳細には、各色の電気信号を他の色の電気信号に基づき画素毎に補正するものである。

階調補正部２５は画像データの階調補正を行うものである。

色空間変換部２６はＲＧＢ信号をＹＣｂＣｒ信号に変換するものである。

また、システム制御部１２には、撮像装置１の操作を行うための操作部２７、撮影した画像データを記憶させるためのメモリカード２８を接続させるためのメモリカードＩ／Ｆ２９及び撮影した画像データを表示するＬＣＤ（Liquid Crystal Display）３０を接続するためのＬＣＤ表示Ｉ／Ｆ３１が接続されている。

次に本実施形態の作用について、図７のフローチャートを参照して説明する。以下の説明においては、撮像素子３の画素への入射光量が前記所定入射光量ｔｈよりも大きく、撮像素子３が対数変換動作で動作することとして説明する。

また、以下は静止画を撮影する際のプレビュー撮影を行う場合について説明するが、動画を撮影する場合は以下の制御を各フレームに対して繰返し行うことにより、静止画の場合と同様の作用効果を得ることができる。

まず、ユーザは操作部２７の操作により目標輝度値及び変曲点ｔｈなどを設定する。その後、操作部２７を操作して被写体の撮影を行う。

撮影が開始されると、撮像素子３は所定の入射光量ｔｈ未満の入射光量に対して線形変換動作による光電変換を行い、所定の入射光量ｔｈ以上の入射光量に対して対数変換動作による光電変換を行う。続いて、撮像素子３からの出力信号をアンプ７が増幅し、アンプ７からの出力信号をＡＤコンバータ８がデジタル変換すると、黒基準補正部９が電気信号の最低レベルの設定を行い、信号処理部１０に出力する。

次に、信号処理部１０の線形変換部１３は、図２（a）に矢印Ｚで示すように、撮像素子３から出力される電気信号のうち、対数変換によって生成された電気信号を入射光が線形変換された状態に変換する。

続いて、圧縮部１４は、図２（a）に矢印Ｗで示すように、線形変換部１３から出力される電気信号のうち、所定の信号値域に対応する所定域成分を圧縮して、画像処理部１１に出力する。

続いて、伸長部１５は、圧縮部１４によって圧縮された前記高域成分を伸長して圧縮前の状態に戻す。

次に、輝度差算出部１８は、目標輝度値記憶部１７に記憶された目標輝度値を読み出す（ステップＳ１）。続いて、評価輝度値算出部１６が伸長部１５で伸長された電気信号から自動露光制御（ＡＥ）処理に用いられる評価輝度値を算出すると（ステップＳ２）、輝度差算出部１８は評価輝度値算出部１６で算出された評価輝度値と目標輝度値とを比較して、両者の輝度差を算出する（ステップＳ３）。

続いて、輝度差エリア判定部１９は、輝度差算出部１８で算出された目標輝度値との輝度差がいずれのエリアに属するかを判定する（ステップＳ４）。そして、判定したエリアに基づき、設定頻度記憶部２０に記憶された設定頻度を参照して、露光条件の変更頻度を設定する。続いて、システム制御部１２は、設定された頻度に従い、露光処理制御部２１の露光条件を変更する。

具体的には、まず輝度差エリア判定部１９は目標輝度値との輝度差が目標エリアに属するか否かを判定する（ステップＳ５）。その結果、目標エリアに属すると判定された場合は、設定値０を設定し、システム制御部１２は露光条件を変更せずに露光処理制御部２１に露光処理を行わせる。

一方、目標エリアに属しないと判定された場合は、輝度差エリア判定部１９は、目標輝度値との輝度差が低頻度エリアに属するか否かを判定する（ステップＳ６）。その結果、低頻度エリアに属すると判定された場合は、輝度差エリア判定部１９は設定頻度記憶部２０から低い頻度を読み出して（ステップＳ７）、設定する（ステップＳ１１）。これに従い、システム制御部１２は低い頻度で露光条件を変更する（ステップＳ１２）。例えば、本実施形態では５フレームに１回の頻度で露光条件を変更する。

一方、低頻度エリアに属しないと判定された場合は、輝度差エリア判定部１９は、目標輝度値との輝度差が中間頻度エリアに属するか否かを判定する（ステップＳ８）。その結果、中間頻度エリアに属すると判定された場合は、輝度差エリア判定部１９は設定頻度記憶部２０から中間的な頻度を読み出して（ステップＳ９）、設定する（ステップＳ１１）。これに従い、システム制御部１２は中間的な頻度で露光条件を変更する（ステップＳ１２）。例えば、本実施形態では３フレームに１回の頻度で露光条件を変更する。

一方、中間頻度エリアに属しないと判定された場合は、輝度差エリア判定部１９は、目標輝度値との輝度差が高頻度エリアに属するものと判断して、設定頻度記憶部２０から高い頻度を読み出し（ステップＳ１０）、設定する（ステップＳ１１）。これに従い、システム制御部１２は高い頻度で露光条件を変更する（ステップＳ１２）。例えば、本実施形態では１フレームに１回の頻度で露光条件を変更する。

この際、輝度差エリア判定部１９は、システム制御部１２による露光条件の変更後に目標輝度値との輝度差が変化すると、輝度差算出部１８が新たに算出した輝度差に応じて露光条件の変更頻度を随時設定し、システム制御部１２はその設定に従って露光条件を変更する。例えば、図４に示すように、システム制御部１２が１フレームに１回の頻度で露光条件を変更し、輝度差が中間頻度エリアに入ると、３フレームに１回の頻度で露光条件を変更する。また、３フレームに１回の頻度で露光条件を変更し、輝度差が低頻度エリアに入ると、５フレームに１回の頻度で露光条件を変更する。そして、輝度差が目標エリアに入ると、露光条件を変更せずに露光制御を行う。

一方、圧縮部１４の出力信号は、ＡＷＢ処理部２２、色補間部２３、色補正部２４、階調補正部２５及び色空間変換部２６によりそれぞれ画像処理が行われた後、画像データとして出力される。

以上のように本実施形態の撮像装置１によれば、評価輝度値と目標輝度値との輝度差に応じ、露光制御の追従感度又は輝度の安定性のいずれかを重視して露光条件の変更頻度を設定することが可能となる。これにより、回路を複雑化又は回路コストを増加させることなく、露光制御の追従感度を維持し又は撮影画像の輝度ちらつきを防止することが可能となる。

また、輝度差エリア判定部１９は設定頻度記憶部２０から設定値０（露光条件の変更なし）又は設定値１（１フレームに１回の頻度で露光条件を変更）から設定値５０（５０フレームに１回の頻度で露光条件を変更）までを選択して設定することができるため、目標輝度値との輝度差に応じて充分に高い頻度から充分に低い頻度まで設定することが可能となる。

また、露光制御の追従感度と輝度の安定性とはトレードオフの関係にあるが、目標輝度値との輝度差が大きい場合は追従感度を重視して変更頻度を高くし、目標輝度値との輝度差が小さい場合は輝度の安定性を重視して変更頻度を低く設定することにより、露光制御の追従感度を維持しつつ輝度ちらつきを防止することが可能となる。

また、輝度差エリア判定部１９が露光条件の変更後の輝度差に応じて露光条件の変更頻度を随時設定することから、輝度の頻繁な変動を抑制しつつ、輝度差に応じて露光制御の追従感度を維持し、撮影画像の輝度ちらつきを防止することが可能となる。

また、撮像素子３の出力信号を一つの変換特性で統一的に変換された状態に変換する線形変換部１３を備えた撮像装置１において上記と同様の作用を得ることが可能となる。

また、線形変換部１３の出力信号を圧縮する圧縮部１４を備えた撮像装置１において上記と同様の作用を得ることが可能となる。

また、圧縮部１４により圧縮された出力信号を伸長する伸長部１５を備えた撮像装置１において上記と同様の作用を得ることが可能となる。

また、伸長部１５の出力信号の平均値に基づいて露光処理に用いられる評価輝度値を正確に算出することが可能となる。

また、撮像素子３としてリニアログ変換型センサを備えた撮像装置１において上記と同様の作用を得ることが可能となる。

なお、本実施形態においては、ＡＤコンバータ８、線形変換部１３及び圧縮部１４がこの順に配設されていることとして説明したが、他の順序に配設されることとしてもよい。例えば、圧縮部１４、線形変換部１３及びＡＤコンバータ８がこの順に配設される場合には、上述の圧縮工程、線形化工程及びＡＤ変換工程がこの順に行われることとなる。

また、信号処理部１０の圧縮部１４によって圧縮される所定域成分をＡＤコンバータ８のビット幅以上の成分、すなわち上位１２ビットの高域成分として説明したが、図２（ｂ）に示すように、前記所定入射光量ｔｈに対応する信号値以上の高域成分としてもよい。また、この所定域成分を、所定の低域成分や中域成分としてもよい。

以上詳細に説明したように、本発明の撮像装置によれば、回路を複雑化又は回路コストを増加させることなく、撮影画像の露光制御の追従感度を維持すると共に輝度ちらつきを防止することが可能となる。

本実施形態に係る撮像装置の全体構成を示すブロック図である。 本実施形態に係る撮像素子の出力信号を示すグラフである。 撮像領域を分割して重み付けを行う場合の一例を表す図である。 露光制御の抑制を行った場合の評価輝度値の遷移を表すグラフである。 露光制御の抑制を行わない場合の評価輝度値の遷移を表すグラフである。 露光制御の抑制を行わない場合の評価輝度値の遷移を表すグラフである。 本実施形態に係る撮像方法を示すフローチャートである。

符号の説明

１ 撮像装置
２ 撮像調整手段
３ 撮像素子
４ レンズ群
５ シャッタ
６ 絞り
７ アンプ
８ ＡＤコンバータ
９ 黒基準補正部
１０ 信号処理部
１１ 画像処理部
１２ システム制御部
１３ 線形変換部
１４ 圧縮部
１５ 伸長部
１６ 評価輝度値算出部
１７ 目標輝度値記憶部
１８ 輝度差算出部
１９ 輝度差エリア判定部
２０ 設定頻度記憶部
２１ 露光処理制御部
２２ 処理部
２３ 色補間部
２４ 色補正部
２５ 階調補正部
２６ 色空間変換部
２７ 操作部
２８ メモリカード
２９ メモリカードＩ／Ｆ
３０ ＬＣＤ
３１ ＬＣＤ表示Ｉ／Ｆ

Claims (9)

1. 複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子と、
   前記撮像素子への入射光量又は前記撮像素子における入射光量蓄積時間の少なくともいずれか一方を制御する露光処理制御部と、
   前記撮像素子の出力信号から露光処理に用いられる評価輝度値を算出する評価輝度値算出部と、
   前記評価輝度値と所定の目標輝度値とを比較して両者の輝度差を算出する輝度差算出部と、
   前記輝度差に対応する露光条件の変更頻度を記憶する設定頻度記憶部と、
   前記輝度差算出部で算出された前記輝度差に応じ、前記設定頻度記憶部から前記露光条件の変更頻度を選択して設定する輝度差エリア判定部と、
   前記輝度差エリア判定部で設定された頻度に従って前記露光処理制御部における露光条件を変更する制御部と、
   を備えることを特徴とする撮像装置。
2. 前記設定頻度記憶部には前記露光条件の変更頻度として何フレームに１回の頻度で露光条件を変更するかを示す設定値が記憶されており、前記設定値は０〜５０とされていることを特徴とする請求項１記載の撮像装置。
3. 前記輝度差エリア判定部は、目標輝度値との輝度差が大きいほど前記露光条件の変更頻度を高く、目標輝度値との輝度差が小さいほど前記露光条件の変更頻度を低く設定することを特徴とする請求項１又は請求項２記載の撮像装置。
4. 前記輝度差エリア判定部は、前記制御部が露光条件を変更した後に前記輝度差が変化した場合は、前記輝度差算出部が新たに算出した輝度差に応じて前記露光条件の変更頻度を随時設定することを特徴とする請求項１〜請求項３いずれか一項に記載の撮像装置。
5. 前記評価輝度値算出部よりも前段に前記撮像素子の出力信号を一つの変換特性により統一的に変換された状態に変換する特性変換部を備えることを特徴とする請求項１〜請求項４いずれか一項に記載の撮像装置。
6. 前記評価輝度値算出部よりも前段に前記特性変換部の出力信号のうち少なくとも一つの階調領域を圧縮する圧縮部を備えることを特徴とする請求項５記載の撮像装置。
7. 前記評価輝度値算出部よりも前段に前記圧縮部により圧縮された出力信号の階調領域を伸長する伸長部を備えることを特徴とする請求項６記載の撮像装置。
8. 前記評価輝度値算出部は前記伸長部の出力信号の平均値から前記評価輝度値を算出することを特徴とする請求項７記載の撮像装置。
9. 前記複数の画素は入射光を電気信号に線形変換する線形変換特性と入射光を電気信号に対数変換する対数変換特性とを入射光量に応じて切り換え可能に構成されていることを特徴とする請求項１〜請求項８いずれか一項に記載の撮像装置。

Images