JP2006303756A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】 線形変換モードと対数変換モードとを入射光量に基づいて切り換える撮像素子を用いる場合であっても、輝度差に関らずコントラストの良い良好な画像を得る。
【解決手段】 撮像装置１は、入射光を電気信号に線形変換する線形変換モードと、対数変換する対数変換モードとを入射光量に基づいて切り換える複数の画素Ｇ₁₁〜Ｇ_mnを有する撮像素子２と、撮像素子２を制御する制御装置４６とを備える。制御装置４６は、撮影領域９の輝度情報に基づいて当該撮影領域９を高輝度領域９ｂ，低輝度領域９ａに区分し、線形変換モードと対数変換モードとの境界となる変曲点Ｑを、高輝度領域９ｂ，低輝度領域９ａに対応する画素Ｇ₁₁〜Ｇ_mnの間で変えて設定する。
【選択図】図２

Description

本発明は、入射光を電気信号に変換する撮像素子を有する撮像装置と、前記撮像素子を用いた撮像方法とに関する。

従来、入射光を電気信号に変換する撮像素子を用いてデジタル画像を撮影する撮像装置では、輝度差の大きいシーン（例えば、背景が明るく主被写体が暗い、いわゆる逆光シーンなど）を撮影すると、電気信号に変換可能な光量のダイナミックレンジよりも、輝度差に対応する光量の範囲が広くなってしまう結果、背景と主被写体双方に適正な露光が行えずに、背景が白とびした画像が得られたり、逆に、主被写体が黒つぶれした画像が得られたりするという問題が生じていた。

近年、このような問題を解決する手法として、２つの手法が提案されている。
即ち、第１の手法は、前記撮像素子として、入射光量に基づいて入射光を電気信号に線形変換する線形変換モードと、対数変換する対数変換モードとを切り換えるものを用いる手法である（例えば、特許文献１，２参照）。この手法によれば、線形変換モードのみを行う撮像素子を用いる場合と比較して電気信号のダイナミックレンジが広くなる分、広い輝度範囲の輝度情報が電気信号で表現されるため、輝度飽和の少ない画像を撮影することができる。

また、第２の手法は、異なる露光条件で２枚の画像を連続撮影し、輝度飽和せずに撮影された領域を各画像から抜き出して合成することで１枚の画像を得る手法である（例えば、特許文献３参照）。この手法によれば、輝度飽和のない領域同志が１枚の画像に合成されるため、輝度飽和のない画像を得ることができる。
特開２００２−７７７３３号公報 特開２００４−８８３１２号公報 特開２００４−１５９２１１号公報

しかしながら、単純に上記第１の手法で画像を撮影すると、被写体の輝度差によっては輝度情報を電気信号で表現しきれず、画像のコントラストが悪くなってしまう。具体的には、例えば快晴時に屋外で撮影を行う場合には、主被写体の輝度と背景の輝度との輝度差が大きくなるため、一般的には高輝度部分の輝度飽和を防止する観点から、対数変換モードの割合が撮像素子全体で大きくなるよう撮影条件を設定して撮影する結果、線形変換モードの割合が小さくなって主被写体部分の輝度情報が電気信号で表現されにくくなり、コントラストが悪くなってしまう。

また、上記第２の手法で画像を撮影すると、１回目の撮影と２回目の撮影との間にタイムラグがあるため、この間に主被写体が移動したり輝度が変化したりすると、２枚の撮影画像間で被写体の同一性が保たれず、良好な画像を得ることができない。なお、この問題を解決するためには、露光条件の異なる複数の撮像素子を用いて２枚の画像を同時に撮影して合成することも考えられるが、この手法では正確な画像を得ることはできるものの、撮像装置が大型化してしまうため、実用性に乏しい。

本発明の課題は、線形変換モードと対数変換モードとを入射光量に基づいて切り換える撮像素子を用いる場合であっても、輝度差に関らずコントラストの良い良好な画像を得ることができる撮像装置及び撮像方法を提供することである。

請求項１記載の発明は、撮像装置において、
入射光を電気信号に線形変換する線形変換モードと、対数変換する対数変換モードとを入射光量に基づいて切り換える複数の画素を有する撮像素子と、
前記撮像素子を制御する制御装置とを備え、
前記制御装置は、
撮影領域の輝度情報に基づいて当該撮影領域を少なくとも２つの小領域に区分し、
前記線形変換モードと前記対数変換モードとの境界となる変曲点を、各小領域に対応する前記複数の画素の間で変えて設定することを特徴とする。

ここで、各小領域に対応する複数の画素の間で変曲点を変えるとは、１つの小領域に対応する画素と、他の小領域に対応する画素との間で変曲点を変えることを言う。

請求項１記載の発明によれば、輝度情報に基づいて撮影領域を少なくとも２つの小領域に区分し、各小領域に対応する画素の間で変曲点を変えて設定するので、電気信号で表現可能な輝度範囲を小領域間で変えることができる、つまり、異なる撮影条件で各小領域を同時に撮影することができる。従って、前記第１の手法を単純に用いる従来の場合と異なり、線形変換モードと対数変換モードとを入射光量に基づいて切り換える撮像素子を用いる場合であっても、被写体の輝度差に関らずコントラストの良い画像を撮影することができる。また、このように１回の撮影でコントラストの良い画像を撮影することができるため、前記第２の手法を用いる従来の場合と異なり、良好な画像を得ることができる。また、露光条件の異なる複数の撮像素子を用いて２枚の画像を同時に撮影して合成する場合と異なり、撮像装置の大型化を防止することができる。

請求項２記載の発明は、請求項１記載の撮像装置において、
前記制御装置は、予備撮影によって撮影領域で得られた輝度分布を前記輝度情報として用いることを特徴とする。

請求項２記載の発明によれば、予備撮影によって撮影領域で得られた輝度分布に基づいて撮影領域を小領域に区分するので、輝度による撮影領域の区分を正確に行うことができる。従って、区分された小領域に対応する各変曲点での撮影により、コントラストの良い画像を確実に撮影することができる。

請求項３記載の発明は、請求項１または２記載の撮像装置において、
撮影時に発光する照射装置を備え、
前記制御装置は、前記照射装置からの光を撮影領域で反射させた予備撮影によって当該撮影領域で得られた反射光分布を、前記輝度情報として用いることを特徴とする。

請求項３記載の発明によれば、照射装置からの光を撮影領域で反射させた予備撮影によって当該撮影領域で得られた反射光分布に基づいて撮影領域を小領域に区分するので、高反射率の被写体を撮影する場合であっても、輝度による撮影領域の区分を正確に行うことができる。従って、区分された小領域に対応する各変曲点での撮影により、コントラストの良い画像を確実に撮影することができる。

請求項４記載の発明は、請求項１〜３の何れか一項に記載の撮像装置において、
前記撮像素子は、前記変曲点に対応する変曲入射光量未満の入射光量で線形変換モードになるとともに、前記変曲入射光量以上の入射光量で対数変換モードとなり、
前記制御装置は、輝度値の高い前記小領域に対応する画素ほど、前記変曲入射光量が小さくなるように変曲点を設定することを特徴とする。

ここで、変曲入射光量未満の入射光量で線形変換モードを、変曲入射光量以上の入射光量で対数変換モードを用いる撮像素子により、対数変換モードで撮影する場合には、線形変換モードで撮影する場合と比較して、上述のように輝度飽和の少ない画像、特に白飛びのない画像を撮影することができるものの、高輝度領域の輝度飽和を防止すべく対数変換モードの割合を撮像素子全体で大きくするよう変曲点を設定して撮影すると、低輝度の撮影領域では輝度情報が電気信号で表現されにくくなり、コントラストが悪くなってしまう。また、線形変換モードで撮影する場合には、対数変換モードで撮影する場合と異なり、輝度差の小さい撮影領域では輝度情報を電気信号で確実に表現できるため、コントラストの良い画像、特に黒潰れのない画像を撮影することができるものの、輝度差の大きい撮影領域では画像に白飛びの生じる場合がある。

請求項４記載の発明によれば、輝度値の高い小領域に対応する画素ほど変曲入射光量が小さくなるように変曲点を設定するので、輝度値の低い小領域では、輝度値の高い小領域と比較して線形変換モードの用いられる割合が大きくなる結果、コントラストの良い画像を撮影することができる。また、輝度値の高い小領域では輝度値の低い小領域と比較して対数変換モードの用いられる割合が大きくなる結果、白飛びのない画像を撮影することができる。

請求項５記載の発明は、撮像方法において、
入射光を電気信号に線形変換する線形変換モードと、対数変換する対数変換モードとを入射光量に基づいて切り換える複数の画素を有する撮像素子を用いて、
前記線形変換モードと前記対数変換モードとの境界となる変曲点を設定する予備工程と、
前記予備工程で設定された変曲点で画像を撮影する撮影工程とを行い、
前記予備工程では、
撮影領域の輝度情報に基づいて当該撮影領域を少なくとも２つの小領域に区分した後、
前記線形変換モードと前記対数変換モードとの境界となる変曲点を、各小領域に対応する前記複数の画素の間で変えて設定することを特徴とする。

請求項５記載の発明によれば、輝度情報に基づいて撮影領域を少なくとも２つの小領域に区分し、各小領域に対応する画素の間で変曲点を変えて設定することにより、電気信号で表現可能な輝度範囲を小領域間で変えることができる、つまり、異なる撮影条件で各小領域を同時に撮影することができる。従って、前記第１の手法を単純に用いる従来の場合と異なり、線形変換モードと対数変換モードとを入射光量に基づいて切り換える撮像素子を用いる場合であっても、被写体の輝度差に関らずコントラストの良い画像を撮影することができる。また、このように１回の撮影でコントラストの良い画像を撮影することができるため、前記第２の手法を用いる従来の場合と異なり、良好な画像を得ることができる。また、露光条件の異なる複数の撮像素子を用いて２枚の画像を同時に撮影して合成する場合と異なり、撮像装置の大型化を防止することができる。

請求項６記載の発明は、請求項５記載の撮像方法において、
前記予備工程では、画像を予備撮影し、この予備撮影によって撮影領域で得られた輝度分布を前記輝度情報として用いることを特徴とする。

請求項６記載の発明によれば、予備撮影によって撮影領域で得られた輝度分布に基づいて撮影領域を小領域に区分することにより、輝度による撮影領域の区分を正確に行うことができる。従って、区分された小領域に対応する各変曲点での撮影により、コントラストの良い画像を確実に撮影することができる。

請求項７記載の発明は、請求項５または６記載の撮像方法において、
撮影時に発光する照射装置を用い、
前記予備工程では、前記照射装置からの光を撮影領域で反射させて画像を予備撮影するとともに、この予備撮影によって撮影領域で得られた反射光分布を前記輝度情報として用い、
前記撮影工程では、前記照射装置を用いて画像を撮影することを特徴とする。

請求項７記載の発明によれば、照射装置からの光を撮影領域で反射させた予備撮影によって当該撮影領域で得られた反射光分布に基づいて撮影領域を小領域に区分することにより、高反射率の被写体を撮影する場合であっても、輝度による撮影領域の区分を正確に行うことができる。従って、区分された小領域に対応する各変曲点での撮影により、コントラストの良い画像を確実に撮影することができる。

請求項８記載の発明は、請求項５〜７の何れか一項に記載の撮像方法において、
前記撮像素子として、前記変曲点に対応する変曲入射光量未満の入射光量で線形変換モードとなるとともに、前記変曲入射光量以上の入射光量で対数変換モードとなるものを用い、
前記予備工程では、輝度値の高い前記小領域に対応する画素ほど、前記変曲入射光量が小さくなるように変曲点を設定することを特徴とする。

請求項８記載の発明によれば、輝度値の高い小領域に対応する画素ほど変曲入射光量が小さくなるように変曲点を設定することにより、輝度値の低い小領域では、輝度値の高い小領域と比較して線形変換モードの用いられる割合が大きくなる結果、コントラストの良い画像を撮影することができる。また、輝度値の高い小領域では輝度値の低い小領域と比較して対数変換モードの用いられる割合が大きくなる結果、白飛びのない画像を撮影することができる。

請求項１，５記載の発明によれば、前記第１の手法を単純に用いる従来の場合と異なり、線形変換モードと対数変換モードとを入射光量に基づいて切り換える撮像素子を用いる場合であっても、被写体の輝度差に関らずコントラストの良い画像を撮影することができる。また、前記第２の手法を用いる従来の場合と異なり、良好な画像を得ることができる。

請求項２〜４，６〜８記載の発明によれば、請求項１，５記載の発明と同様の効果を得ることができるのは勿論のこと、コントラストの良い画像を確実に撮影することができる。

［実施の形態］
以下、図面を参照しつつ、本発明の実施の形態について説明する。なお、本実施の形態においては、本発明に係る撮像装置を、コンパクトタイプのデジタルカメラとして説明する。

図１（ａ）は、本発明に係る撮像装置１の外観を示す図である。
この図に示すように、撮像装置１が備える筐体１０の前面中央部には、レンズユニット１１が配設されている。

レンズユニット１１は被写体からの光を所定の焦点に集光させるものであり、図２に示すように、レンズ群１１ａ及び絞り１１ｂを備えている。これらレンズ群１１ａ及び絞り１１ｂとしては、従来より公知のものが用いられている。絞り１１ｂには、露光制御処理部４７が接続されており、レンズ群１１ａによって集光される光の量を調整するようになっている。

レンズユニット１１の上部には、図１（ａ）に示すように、照射装置１２及び調光センサ１３が配設されている。
照射装置１２は、撮影時に光を発する補助光源であり、被写体の撮影時に周囲環境の輝度が不足する場合に、所定の発光タイミング及び発光量で被写体に光を照射するようになっている。このような照射装置１２としてはストロボや高輝度ＬＥＤ等があり、本実施の形態においてはストロボが用いられている。なお、照射装置１２は、筐体１０に外付けされていても良い。
調光センサ１３は、照射装置１２の発光量を検知するものである。

また、筐体１０の側面には、ＵＳＢ端子１４が設けられている。このＵＳＢ端子１４にはＵＳＢケーブルが接続可能となっており、これにより撮像装置１はパーソナルコンピュータなどの外部機器（図示せず）と接続可能となっている。

また、筐体１０の上面には、電源スイッチ１５及びレリーズスイッチ１６が配設されている。電源スイッチ１５は撮像装置１の電源をＯＮ（起動）又はＯＦＦ（起動停止）するためのスイッチであり、レリーズスイッチ１６はシャッタレリーズを行うためのスイッチである。なお、本実施の形態においては、レリーズスイッチ１６は、「半押し」によって撮像装置１の各部に撮影の準備動作を開始させ、「全押し」によって撮影動作を開始させるようになっている。撮影の準備動作としては、撮影に必要なパラメータを取得するための動作があり、具体的には被写体の測距などがある。

また、筐体１０の背面には、図１（ｂ）に示すように、モニタ１７が設けられている。このモニタ１７は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）などによって構成されており、被写体のプレビュー画面や撮影画像の他、ユーザが機能選択するためのメニュー画面などを表示するようになっている。

モニタ１７の近傍には、複数の操作キー１８，…及び光学式ファインダ１９が配設されている。
操作キー１８には、操作者から各種の操作指示が入力されるようになっている。光学式ファインダ１９は、筐体１０の背面側から操作者に被写体を確認させるためのものである。

続いて、撮像装置１の内部構成について説明する。
図１，図２に示すように、撮像装置１は、レンズユニット１１を介して入射光を受光する撮像素子２を、筐体１０の内側に備えている。

撮像素子２は、図３に示すように、行列配置（マトリクス配置）された複数の画素Ｇ₁₁〜Ｇ_mn（但し、ｎ，ｍは１以上の整数）を有している。
各画素Ｇ₁₁〜Ｇ_mnは、入射光を光電変換して電気信号を出力するものである。これら画素Ｇ₁₁〜Ｇ_mnは、入射光量に基づいて電気信号への変換モードを切り換えるようになっており、より詳細には、図４に示すように、入射光を電気信号に線形変換する線形変換モードと、対数変換する対数変換モードとを変曲点Ｑを境界として切り換えるようになっている。本実施の形態においては、各画素Ｇ₁₁〜Ｇ_mnは、変曲点Ｑに対応する入射光量（以下、変曲入射光量とする）ｔｈ未満の入射光量に対しては線形変換モードを、変曲入射光量ｔｈ以上の入射光量に対しては対数変換モードを行うようになっている。ここで、本実施の形態においては、入射光を電気信号に線形変換や対数変換するとは、光量の時間積分値を線形的な変化態様の電気信号に変換することや、対数的な変化態様の電気信号に変換することである。また、線形変換モードと対数変換モードとの境界となる変曲点Ｑは、撮像素子２における画素Ｇ₁₁〜Ｇ_mnの駆動条件、例えば撮影時での露光時間や制御電圧などによって変化し、変曲点Ｑが変化して変曲入射光量ｔｈが大きくなると、線形変換モードの行われる割合が大きくなるようになっている。具体的には、図５に示すように、制御電圧（後述の信号φ_VPSの電圧値ＶＬ，ＶＨの差）が「Ｖ₁」〜「Ｖ₃」の順に大きくなるほど、変曲点Ｑに対応する出力信号値（以下、変曲出力信号値Ｈとする）と変曲入射光量ｔｈとは「VＩ」〜「IV」の順に大きくなり、線形変換モードの行われる割合が大きくなる。なお、図５中、「ａ」〜「ｄ」，「ｄ₁」〜「ｄ₃」はそれぞれ定数である。このうち、制御電圧Ｖ₁〜Ｖ₃の駆動条件下での対数変換モードにおける入出力特性の切片ｄ₁〜ｄ₃は、当該制御電圧Ｖ₁〜Ｖ₃に対して比例関係を有している。

これら画素Ｇ₁₁〜Ｇ_mnのレンズ群１１ａ側には、それぞれレッド（Red）、グリーン（Green）及びブルー（Blue）のうち何れか１色のフィルタ（図示せず）が配設されている。また、画素Ｇ₁₁〜Ｇ_mnには、図３に示すように、電源ライン２０や信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cn、信号読出ラインＬ_D1〜Ｌ_Dmが接続されている。なお、画素Ｇ₁₁〜Ｇ_mnには、クロックラインやバイアス供給ライン等のラインも接続されているが、図３ではこれらの図示を省略している。

信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cnは画素Ｇ₁₁〜Ｇ_mnに対して信号φ_v，φ_VD，φ_VPS（図６，図７参照）を与えるようになっている。これら信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cnには、垂直走査回路２１が接続されている。この垂直走査回路２１は、後述の信号生成部４８（図２参照）からの信号に基づいて信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cnに信号を印加するものであり、信号を印加する対象の信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_CnをＸ方向に順次切り換えるようになっている。

信号読出ラインＬ_D1〜Ｌ_Dmには、各画素Ｇ₁₁〜Ｇ_mnで生成された電気信号が導出されるようになっている。これら信号読出ラインＬ_D1〜Ｌ_Dmには定電流源Ｄ₁〜Ｄ_m及び選択回路Ｓ₁〜Ｓ_mが接続されている。
定電流源Ｄ₁〜Ｄ_mは、画素Ｇ₁₁〜Ｇ_mnから信号読出ラインＬ_D1〜Ｌ_Dmに読み出された電気信号を増幅するものである。この定電流源Ｄ₁〜Ｄ_mの一端（図中下側の端部）には、直流電圧Ｖ_PSが印加されるようになっている。

選択回路Ｓ₁〜Ｓ_mは、各信号読出ラインＬ_D1〜Ｌ_Dmを介して画素Ｇ₁₁〜Ｇ_mnから与えられるノイズ信号と撮像時の電気信号とをサンプルホールドするものである。これら選択回路Ｓ₁〜Ｓ_mには、水平走査回路２２及び補正回路２３が接続されている。水平走査回路２２は、電気信号をサンプルホールドして補正回路２３に送信する選択回路Ｓ₁〜Ｓ_mを、Ｙ方向に順次切り換えるものである。また、補正回路２３は、選択回路Ｓ₁〜Ｓ_mから送信されるノイズ信号及び撮像時の電気信号に基づき、当該電気信号からノイズ信号を除去するものである。

なお、選択回路Ｓ₁〜Ｓ_m及び補正回路２３としては、特開平２００１−２２３９４８号公報に開示のものを用いることができる。また、本実施の形態においては、選択回路Ｓ₁〜Ｓ_mの全体に対して補正回路２３を１つのみ設けることとして説明するが、選択回路Ｓ₁〜Ｓ_mのそれぞれに対して補正回路２３を１つずつ設けることとしても良い。

以上の撮像素子２には、図２に示すように、アンプ３０及びＡＤコンバータ３１を介して、黒基準補正部３２及び信号処理部３３がこの順に接続されている。

黒基準補正部３２は、最低輝度値となる黒レベルを基準値に補正するようになっている。これにより、撮像素子２のダイナミックレンジにより黒レベルが異なっても、Ａ／Ｄコンバータ３１から出力されるＲＧＢ各信号の信号レベルに対して、黒レベルとなる信号レベルが減算されて黒基準補正が行われるようになっている。

信号処理部３３は、撮像素子２の各画素Ｇ₁₁〜Ｇ_mnから対数変換モードで出力される電気信号に対して線形変換を行うことにより、撮像素子２からの出力信号を線形変換モード由来の状態に統一するようになっている。なお、この信号処理部３３はルックアップテーブルを用いて変換を行うこととしてもよいし、指数変換する等の演算によって変換を行うこととしてもよい。

この信号処理部３３には、画像処理部４が接続されている。
画像処理部４は、画素Ｇ₁₁〜Ｇ_mnからの電気信号全体によって構成される画像データに対して画像処理を行うものであり、ＡＷＢ（Auto White Balance）処理部４０、色補間部４１、色補正部４２、階調変換部４３及び色空間変換部４４を備えている。これらＡＷＢ処理部４０、色補間部４１、色補正部４２、階調変換部４３及び色空間変換部４４は、信号処理部３３に対してこの順に接続されている。

ＡＷＢ処理部４０は画像データに対してホワイトバランス処理を行うものであり、色補間部４１は、同色の前記フィルタが設けられた複数の近接画素からの電気信号に基づいて、これら近接画素間に位置する画素について、この色の電気信号を補間演算するものである。色補正部４２は画像データの色合いを補正するものであり、より詳細には、各色の電気信号を他の色の電気信号に基づき画素毎に補正するものである。階調変換部４３は画像データの階調変換を行うものであり、色空間変換部４４はＲＧＢ信号をＹＣｂＣｒ信号に変換するものである。

この画像処理部４には、前記モニタ１７と記憶部６０とが接続されている。記憶部６０は記録用のメモリであり、信号処理部３３から入力された画像データを記録する画像データ記録領域を有している。この記憶部６０は、例えばフラッシュメモリやハードディスク等によって内臓型に構成されていても良いし、メモリカードやメモリスティック、フロッピー（登録商標）ディスク等によって着脱可能に構成されていても良い。

また、信号処理部３３には、評価値算出部５及び制御装置４６がこの順に接続されている。
評価値算出部５はＡＷＢ処理部４０でのホワイトバランス処理（ＡＷＢ処理）に用いられるＡＷＢ評価値や、露光制御処理部４７での露出制御処理（ＡＥ処理）に用いられるＡＥ評価値を算出するものである。なお、ここで算出されるＡＥ評価値には、被写体の輝度分布についての情報が含まれている。

制御装置４６は、撮像装置１の各部を制御するものであり、上述のアンプ３０、黒基準補正部３２、画像処理部４、照射装置１２、操作キー１８，…、モニタ１７及び記憶部６０等と接続されている。また、制御装置４６は、前記露光制御処理部４７を介して絞り１１ｂと接続され、信号生成部４８を介して撮像素子２及びＡＤコンバータ３１と接続されている。更に、制御装置４６は、電源部６１と接続されている。

信号生成部４８は、制御装置４６からの撮影制御信号に基づいて所定のタイミングパルス（画素駆動信号や水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号など）を生成し、撮像素子２に出力するものである。この信号生成部４８は、Ａ／Ｄコンバータ３１において用いられるＡ／Ｄ変換用のクロックも生成するようになっている。
電源部６１は、制御装置４６などに電力を供給するものである。

続いて、本実施の形態における画素Ｇ₁₁〜Ｇ_mnについて説明する。
各画素Ｇ₁₁〜Ｇ_mnは、図６に示すように、フォトダイオードＰ、トランジスタＴ₁〜Ｔ₆及びキャパシタＣを備えている。なお、トランジスタＴ₁〜Ｔ₆は、ＰチャネルのＭＯＳトランジスタである。

フォトダイオードＰには、レンズ群１１ａ及び絞り１１ｂを通過した光が当たるようになっている。このフォトダイオードＰのアノードＰ_Aには直流電圧Ｖ_PDが印加されており、カソードＰ_KにはトランジスタＴ₁のドレインＴ_1Dが接続されている。

トランジスタＴ₁のゲートＴ_1Gには信号φ_Sが入力されるようになっており、ソースＴ_1SにはトランジスタＴ₂のゲートＴ_2G及びドレインＴ_2Dが接続されている。

このトランジスタＴ₂のソースＴ_2Sには信号印加ラインＬ_C（図３のＬ_C1〜Ｌ_Cnに相当）が接続されており、この信号印加ラインＬ_Cから信号φ_VPSが入力されるようになっている。ここで、図７に示すように、信号φ_VPSは２値の電圧信号であり、より詳細には、入射光量が変曲入射光量ｔｈを超えたときにトランジスタＴ₂をサブスレッショルド領域で動作させるための電圧値ＶＬと、トランジスタＴ₂を導通状態にする電圧値ＶＨとの２つの値をとるようになっている。

また、トランジスタＴ₁のソースＴ_1SにはトランジスタＴ₃のゲートＴ_3Gが接続されている。
このトランジスタＴ₃のドレインＴ_3Dには、直流電圧Ｖ_PDが印加されるようになっている。また、トランジスタＴ₃のソースＴ_3Sには、キャパシタＣの一端と、トランジスタＴ₅のドレインＴ_5Dと、トランジスタＴ₄のゲートＴ_4Gとが接続されている。

キャパシタＣの他端には、信号印加ラインＬ_B（図３のＬ_B1〜Ｌ_Bnに相当）が接続されており、この信号印加ラインＬ_Bから信号φ_VDが与えられるようになっている。ここで、図７に示すように、信号φ_VDは３値の電圧信号であり、より詳細には、キャパシタＣを積分動作させる際の電圧値Ｖｈと、光電変換された電気信号読み出し時の電圧値Ｖｍと、ノイズ信号読み出し時の電圧値Ｖｌとの３つの値をとるようになっている。

トランジスタＴ₅のソースＴ_5Sには直流電圧Ｖ_RGが、ゲートＴ_5Gには信号φ_RSが入力されるようになっている。

トランジスタＴ₄のドレインＴ_4Dには、トランジスタＴ₃のドレインＴ_3Dと同様に直流電圧Ｖ_PDが印加されるようになっており、ソースＴ_4Sには、トランジスタＴ₆のドレインＴ_6Dが接続されている。

このトランジスタＴ₆のソースＴ_6Sには、信号読出ラインＬ_D（図３のＬ_D1〜Ｌ_Dmに相当）が接続されており、ゲートＴ_6Gには、信号印加ラインＬ_A（図３のＬ_A1〜Ｌ_Anに相当）から信号φ_Vが入力されるようになっている。

続いて、各画素Ｇ₁₁〜Ｇ_mn及び垂直走査回路２１の動作について説明する。
まず、図７に示すように、垂直走査回路２１が画素Ｇ₁₁〜Ｇ_mnのリセット動作を行う。
具体的には、信号φ_SがＬｏｗ、信号φ_VがＨｉ、信号φ_VPSがＶＬ、信号φ_RSがＨｉ、信号φ_VDがＶｈとなっている状態から、垂直走査回路２１が、パルス信号φ_Vと、電圧値Ｖｍのパルス信号φ_VDとを画素Ｇ₁₁〜Ｇ_mnに与えて電気信号を信号読出ラインＬ_Dに出力させた後、信号φ_SをＨｉとしてトランジスタＴ₁をＯＦＦにする。

次に、垂直走査回路２１が信号φ_VPSをＶＨとすることで、トランジスタＴ₂のゲートＴ_2G及びドレインＴ_2D、並びにトランジスタＴ₃のゲートＴ_3Gに蓄積された負の電荷を速やかに再結合させる。また、垂直走査回路２１が信号φ_RSをＬｏｗとしてトランジスタＴ₅をＯＮにすることにより、キャパシタＣとトランジスタＴ₄のゲートＴ_4Gとの接続ノードの電圧を初期化する。

次に、垂直走査回路２１が信号φ_VPSをＶＬとすることでトランジスタＴ₂のポテンシャル状態を基の状態に戻した後、信号φ_RSをＨｉにして、トランジスタＴ₅をＯＦＦにする。次に、キャパシタＣが積分動作を行う。これにより、キャパシタＣとトランジスタＴ₄のゲートＴ_4Gとの接続ノードの電圧が、リセットされたトランジスタＴ₂のゲート電圧に応じたものとなる。

次に、垂直走査回路２１がパルス信号φ_VをトランジスタＴ₆のゲートＴ_6Gに与えることでトランジスタＴ₆をＯＮにするとともに、電圧値Ｖｌのパルス信号φ_VDをキャパシタＣに印加する。このとき、トランジスタＴ₄がソースフォロワ型のＭＯＳトランジスタとして動作するため、信号読出ラインＬ_Dにはノイズ信号が電圧信号として現れる。

そして、垂直走査回路２１がパルス信号φ_RSをトランジスタＴ₅のゲートＴ_5Gに与えてキャパシタＣとトランジスタＴ₄のゲートＴ_4Gとの接続ノードの電圧をリセットした後、信号φ_SをＬｏｗにしてトランジスタＴ₁をＯＮにする。これにより、リセット動作が完了し、画素Ｇ₁₁〜Ｇ_mnが撮像可能状態となる。

次に、画素Ｇ₁₁〜Ｇ_mnが撮像動作を行う。
具体的には、フォトダイオードＰより入射光量に応じた光電荷がトランジスタＴ₂に流れ込むと、光電荷がトランジスタＴ₂のゲートＴ_2Gに蓄積される。

ここで、被写体の輝度が低く、フォトダイオードＰに対する入射光量が前記変曲入射光量ｔｈよりも少ない場合には、トランジスタＴ₂はカットオフ状態であるので、トランジスタＴ₂のゲートＴ_2Gに蓄積された光電荷量に応じた電圧が当該ゲートＴ_2Gに現れる。そのため、トランジスタＴ₃のゲートＴ_3Gには、入射光を線形変換した電圧が現れる。
一方、被写体の輝度が高く、フォトダイオードＰに対する入射光量が前記変曲入射光量ｔｈよりも多い場合には、トランジスタＴ₂がサブスレッショルド領域で動作を行う。そのため、トランジスタＴ₃のゲートＴ_3Gには、入射光を自然対数で対数変換した電圧が現れる。

トランジスタＴ₃のゲートＴ_3Gに電圧が現れると、その電圧量に応じてキャパシタＣからトランジスタＴ₃のドレインＴ_3Dに流れる電流が増幅される。そのため、トランジスタＴ₄のゲートＴ_4Gには、フォトダイオードＰの入射光を線形変換または対数変換した電圧が現れる。

次に、垂直走査回路２１が信号φ_VDの電圧値をＶｍとするとともに、信号φ_VをＬｏｗとする。これにより、トランジスタＴ₄のゲート電圧に応じたソース電流が、トランジスタＴ₆を介して信号読出ラインＬ_Dへ流れる。このとき、トランジスタＴ₄がソースフォロワ型のＭＯＳトランジスタとして動作するため、信号読出ラインＬ_Dには撮像時の電気信号が電圧信号として現れる。ここで、トランジスタＴ₄，Ｔ₆を介して出力される電気信号の信号値はトランジスタＴ₄のゲート電圧に比例した値となるため、当該信号値はフォトダイオードＰの入射光を線形変換または対数変換した値となる。

そして、垂直走査回路２１が信号φ_VDの電圧値をＶｈとするとともに、信号φ_VをＨｉとすることにより、撮像動作が終了する。

ここで、上述の図５で示したように撮像素子２に対する制御電圧が大きくなるほど、つまり、信号φ_VPSの撮像時の電圧値ＶＬが低くなってリセット時の電圧値ＶＨとの差が大きくなるほど、変曲入射光量ｔｈが大きくなって線形変換モードの割合が大きくなるのは、制御電圧が大きくなるほど、トランジスタＴ₂のゲートＴ_2GとソースＴ_2Sとの間のポテンシャルの差が大きくなり、トランジスタＴ₂がカットオフ状態で動作する被写体輝度の割合、つまり線形変換する被写体輝度の割合が大きくなるためである。また、図５では図示していないが、撮像素子２の露光時間が短くなる場合や、温度が低くなる場合にも、線形変換する被写体輝度の割合は大きくなる。そのため、これら制御電圧や露光時間、温度などを変化させることによって、変曲点Ｑをシフトさせる結果、画像信号のダイナミックレンジや、前記変曲点Ｑでの前記変曲入射光量ｔｈ，前記変曲出力信号値Ｈを制御することができる。具体的には、例えば、被写体の輝度範囲が狭い場合には電圧値ＶＬを低くし、変曲点Ｑの変曲入射光量ｔｈを大きくして線形変換する輝度範囲を広くする一方、被写体の輝度範囲が広い場合には電圧値ＶＬを高くし、変曲点Ｑの変曲入射光量ｔｈを小さくして対数変換する輝度範囲を広くすることで、画素Ｇ₁₁〜Ｇ_mnの光電変換特性を被写体の特性に合わせることができる。更に、電圧値ＶＬを最小とするときには常に画素Ｇ₁₁〜Ｇ_mnを線形変換する状態とし、電圧値ＶＬを最大とするときには常に画素Ｇ₁₁〜Ｇ_mnを対数変換する状態とすることもできる。

続いて、本発明に係る撮像方法について、図８を参照しながら説明する。
まず、撮像装置１が予備撮影、いわゆるプレビュー撮影を行う（ステップＳ１）。具体的には、まず制御装置４６が、入射光量に関らず全ての画素Ｇ₁₁〜Ｇ_mnが線形変換モードで光電変換を行うよう変曲点Ｑを設定する。次に、撮像素子２が各画素Ｇ₁₁〜Ｇ_mnへの入射光を光電変換し、線形変換モードまたは対数変換モード由来の電気信号をアナログ信号として出力する。このとき、制御装置４６は、撮影領域全体で白飛びが生じないよう絞り量やシャッタースピード、撮像素子２の感度を調整する。次に、撮像素子２から出力されたアナログ信号をアンプ３０が増幅し、ＡＤコンバータ３１がデジタル信号に変換する。次に、黒基準補正部３２が黒基準補正を行った後、当該デジタル信号を信号処理部３３が線形変換モード由来の状態に統一する。次に、信号処理部３３から出力される電気信号に基づいて評価値算出部５が前記ＡＷＢ評価値，ＡＥ評価値を算出する。次に、ＡＷＢ評価値や、前記黒基準補正部３２で設定された前記最低レベル等に基づいて制御装置４６がＡＷＢ処理部４０を制御し、信号処理部３３から出力される画像データに対してホワイトバランス処理を行わせる。そして、ＡＷＢ処理部４０から出力される画像データに基づいて色補間部４１、色補正部４２、階調変換部４３及び色空間変換部４４がそれぞれ画像処理を行った後、画像データをモニタ１７で表示することにより、予備撮影を終了する。

次に、評価値算出部５で算出されたＡＥ評価値に基づいて制御装置４６が露光制御処理部４７を制御し、撮像素子２に対する露光量を調節させる。また、図９に示すように、制御装置４６が、ＡＥ評価値から撮影領域９の輝度分布を導出した後、この輝度分布に基づいて撮影領域を２つの小領域、つまり低輝度領域９ａ及び高輝度領域９ｂに分割する（ステップＳ２）。このように、予備撮影によって撮影領域で得られた輝度分布に基づいて撮影領域９を低輝度領域９ａ，高輝度領域９ｂに区分することにより、輝度による撮影領域９の区分を正確に行うことができる。なお、高輝度領域９ｂは低輝度領域９ａよりも平均輝度の高い領域であり、本実施の形態においては、主被写体の背景の領域となっている。

次に、制御装置４６は、予備撮影時の絞り量やシャッタースピード、撮像素子２の感度等から低輝度領域９ａの平均輝度値ＥｖＡと高輝度領域９ｂの平均輝度値ＥｖＢとを算出し、これら平均輝度値ＥｖＡ，ＥｖＢが以下の（１）式及び（２）式を満たすか否かを判別する（ステップＳ３）。

ＥｖＢ≧１３ …（１）
ＥｖＢ−ＥｖＡ≧６ …（２）

なお、本実施の形態においては、（１）式の右辺の値は、快晴時に屋外で撮影した場合での背景の下限輝度値となっている。但し、これら（１）式，（２）式の右辺の値は他の値としても良い。

このステップＳ３において平均輝度値ＥｖＡ，ＥｖＢが（１）式及び（２）式を満たすとき（ステップＳ３；Ｙｅｓ）、例えばＥｖＡ＝８、ＥｖＢ＝１４のときには、制御装置４６は、高輝度領域に対応する画素Ｇ₁₁〜Ｇ_mnと、低輝度領域に対応する画素Ｇ₁₁〜Ｇ_mnとの間で変曲点を変えて設定する（ステップＳ４、予備工程）。より詳細には、図１０に示すように、制御装置４６は、高輝度領域９ｂでは低輝度領域９ａと比較して前記変曲入射光量ｔｈが小さくなるように変曲点Ｑを設定する。

このように、低輝度領域９ａ，高輝度領域９ｂに対応する画素Ｇ₁₁〜Ｇ_mnの間で変曲点Ｑを変えて設定することにより、電気信号で表現可能な輝度範囲が低輝度領域９ａ，高輝度領域９ｂの間で変わる結果、後述の撮影工程では、異なる撮影条件で低輝度領域９ａ，高輝度領域９ｂが同時に撮影されることとなる。具体的には、上述のように、輝度値の高い小領域に対応する画素Ｇ₁₁〜Ｇ_mnほど変曲入射光量ｔｈが小さくなるように変曲点Ｑを変えて設定することにより、図１０に示すように、高輝度領域９ｂでは低輝度領域９ａと比較して対数変換モードが多く用いられて撮影が行われ、低輝度領域９ａでは高輝度領域９ｂと比較して線形変換モードが多く用いられて撮影が行われることとなる。なお、高輝度領域９ｂでは対数変換モードのみ、低輝度領域９ａでは線形変換モードのみが用いられるようにしても良い。

そして、設定された変曲点Ｑを用いて撮像装置１が画像を撮影する（ステップＳ５、撮影工程）。なお、この撮影工程は、予備工程で設定された変曲点Ｑを用いる以外には、前記ステップＳ１と同様である。また、この撮影工程の後には、記憶部６０が画像データを記憶することとしても良い。

一方、前記ステップＳ３において平均輝度値ＥｖＡ，ＥｖＢが（１）式または（２）式を満たさないとき（ステップＳ３；Ｎｏ）には、制御装置４６が全ての画素Ｇ₁₁〜Ｇ_mnに対して同一の変曲点Ｑを設定した後、撮像装置１が画像を撮影する（ステップＳ５）。

以上の撮像方法によれば、平均輝度値ＥｖＡ，ＥｖＢが（１）式及び（２）式を満たすときには、低輝度領域９ａに対する撮影で、線形変換モードの用いられる割合を大きくすることができるため、コントラストの良い画像を撮影することができる。つまり、図９に示すように、従来の前記第１の手法を単純に用いて撮影した画像と異なり、線形変換モードと対数変換モードとを入射光量に基づいて切り換える撮像素子２を用いる場合であっても、被写体の輝度差に関らずコントラストの良い画像を撮影することができる。また、高輝度領域９ｂに対する撮影で、対数変換モードの用いられる割合を大きくすることができるため、白飛びのない画像を撮影することができる。

また、１回の撮影でコントラストの良い画像を撮影することができるため、前記第２の手法を用いる従来の場合と異なり、良好な画像を得ることができる。
また、露光条件の異なる複数の撮像素子を用いて２枚の画像を同時に撮影して合成する場合と異なり、撮像装置１の大型化を防止することができる。

一方、平均輝度値ＥｖＡ，ＥｖＢが（１）式及び（２）式を満たさないときには、全ての画素Ｇ₁₁〜Ｇ_mnに対して同一の変曲点Ｑを用いて撮像装置１が画像を撮影するので、複数の変曲点Ｑを用いる場合と比較して、処理を高速化することができる。

［実施の形態の変形例］
次に、上記実施の形態の変形例について説明する。なお、上記実施の形態と同様の構成要素には同一の符号を付し、その説明を省略する。

本変形例における撮像装置１は、前記ステップＳ１において、照射装置１２を消灯時，点灯時に各１回の予備撮影を行うようになっている。なお、照射装置１２の照射量は、主被写体までの距離に応じて所定の量に設定されることが好ましい。

また、図１１に示すように、制御装置４６は、２つの画像データの差を取ることによって、照射装置１２からの光に起因する反射光分布を撮影領域９Ａ内で算出した後、画像データの差が大きく、白飛びが生じているものと判断される領域を高輝度領域９ｃ、差が小さい領域を低輝度領域９ｄとするようになっている。

また、この撮像装置１は、前記ステップＳ５において、照射装置１２を点灯させて撮影を行うようになっている。

このような撮像装置１によれば、照射装置１２からの光を撮影領域９Ａで反射させた予備撮影によって当該撮影領域９Ａで得られた反射光分布に基づいて当該撮影領域９Ａを高輝度領域９ｃ、つまり反射領域と低輝度領域９ｄとに区分することにより、主被写体の反射率が高い場合であっても、輝度による撮影領域９Ａの区分を正確に行うことができる。従って、上記実施の形態と同様の効果を得ることができる。

なお、上記実施の形態及び変形例においては、本発明に係る撮像装置をコンパクトタイプのデジタルカメラとして説明したが、一眼レフタイプのデジタルカメラとしても良いし、カメラ付携帯電話や車載カメラなどの撮影機能を備えた電子機器としても良いし、携帯電話や車載カメラなどの電子機器に組み込まれるカメラユニット等としても良い。

また、画素Ｇ₁₁〜Ｇ_mnは図６のような構成を有することとして説明したが、線形変換モードと対数変換モードとを切り換え可能であれば、例えば上述の特許文献１，２に示されるような構成を有することとしても良い。

更に、各画素Ｇ₁₁〜Ｇ_mnにＲＧＢフィルタを設けることとして説明したが、シアン（Cyan）、マゼンタ（Magenta）及びイエロー（Yellow）などの他の色フィルタを設けることとしても良い。

本発明に係る撮像装置の外観を示す図であり、（ａ）は正面側からの斜視図、（ｂ）は背面側からの斜視図である。 本発明に係る撮像装置の概略構成を示すブロック図である。 撮像素子の構成を示すブロック図である。 画素及び信号処理部の動作を説明するための図である。 制御電圧と変曲点との関係を示す図である。 画素の構成を示す回路図である。 画素のリセット動作を示すタイミングチャートである。 本発明に係る撮像方法を示す図である。 本発明に係る撮像方法を用いた撮影画像を示す図である。 低輝度領域及び高輝度領域での画素の変換特性を示す図である。 高反射率の主被写体を示す図である。

符号の説明

１ 撮像装置
２ 撮像素子
９ 撮影領域
９ａ，９ｃ 高輝度領域（小領域）
９ｂ、９ｄ 低輝度領域（小領域）
１２ 照射装置
４６ 制御装置
Ｇ₁₁〜Ｇ_mn 画素
Ｑ 変曲点

Claims (8)

1. 入射光を電気信号に線形変換する線形変換モードと、対数変換する対数変換モードとを入射光量に基づいて切り換える複数の画素を有する撮像素子と、
   前記撮像素子を制御する制御装置とを備え、
   前記制御装置は、
   撮影領域の輝度情報に基づいて当該撮影領域を少なくとも２つの小領域に区分し、
   前記線形変換モードと前記対数変換モードとの境界となる変曲点を、各小領域に対応する前記複数の画素の間で変えて設定することを特徴とする撮像装置。
2. 請求項１記載の撮像装置において、
   前記制御装置は、予備撮影によって撮影領域で得られた輝度分布を前記輝度情報として用いることを特徴とする撮像装置。
3. 請求項１または２記載の撮像装置において、
   撮影時に発光する照射装置を備え、
   前記制御装置は、前記照射装置からの光を撮影領域で反射させた予備撮影によって当該撮影領域で得られた反射光分布を、前記輝度情報として用いることを特徴とする撮像装置。
4. 請求項１〜３の何れか一項に記載の撮像装置において、
   前記撮像素子は、前記変曲点に対応する変曲入射光量未満の入射光量で線形変換モードになるとともに、前記変曲入射光量以上の入射光量で対数変換モードとなり、
   前記制御装置は、輝度値の高い前記小領域に対応する画素ほど、前記変曲入射光量が小さくなるように変曲点を設定することを特徴とする撮像装置。
5. 入射光を電気信号に線形変換する線形変換モードと、対数変換する対数変換モードとを入射光量に基づいて切り換える複数の画素を有する撮像素子を用いて、
   前記線形変換モードと前記対数変換モードとの境界となる変曲点を設定する予備工程と、
   前記予備工程で設定された変曲点で画像を撮影する撮影工程とを行い、
   前記予備工程では、
   撮影領域の輝度情報に基づいて当該撮影領域を少なくとも２つの小領域に区分した後、
   前記線形変換モードと前記対数変換モードとの境界となる変曲点を、各小領域に対応する前記複数の画素の間で変えて設定することを特徴とする撮像方法。
6. 請求項５記載の撮像方法において、
   前記予備工程では、画像を予備撮影し、この予備撮影によって撮影領域で得られた輝度分布を前記輝度情報として用いることを特徴とする撮像方法。
7. 請求項５または６記載の撮像方法において、
   撮影時に発光する照射装置を用い、
   前記予備工程では、前記照射装置からの光を撮影領域で反射させて画像を予備撮影するとともに、この予備撮影によって撮影領域で得られた反射光分布を前記輝度情報として用い、
   前記撮影工程では、前記照射装置を用いて画像を撮影することを特徴とする撮像方法。
8. 請求項５〜７の何れか一項に記載の撮像方法において、
   前記撮像素子として、前記変曲点に対応する変曲入射光量未満の入射光量で線形変換モードとなるとともに、前記変曲入射光量以上の入射光量で対数変換モードとなるものを用い、
   前記予備工程では、輝度値の高い前記小領域に対応する画素ほど、前記変曲入射光量が小さくなるように変曲点を設定することを特徴とする撮像方法。

Images