JP2008193163A - 固体撮像装置 - Google Patents

Abstract

【課題】画像を取得するための処理時間が長くなることを抑制しながら、固体撮像装置の消費電力が大きくなるのを抑制し、被写体情報に応じて最適な画像を得ることが可能な固体撮像装置を提供する。
【解決手段】この固体撮像装置１００は、感度特性の異なる複数の光センサ１４、１５および１６を備え、被写体情報に応じて、所定の感度特性の光センサ１４、１５または１６の信号を読み出すように構成されている。
【選択図】図２

Description

本発明は、固体撮像装置に関し、特に、感度特性の異なる複数の光センサを備えた固体撮像装置に関する。

従来、感度特性の異なる複数の光センサを備えた固体撮像装置が知られている（たとえば、特許文献１参照）。

上記特許文献１には、高感度の受光素子と、低感度の受光素子とが互いに隣接するように、１対１の割合でハニカム状に配置された固体撮像装置が開示されている。この特許文献１による固体撮像装置では、高感度の受光素子と、低感度の受光素子とによって撮像されたそれぞれの画像を取得し、入射光量に応じて、高感度の受光素子によって撮像された画像と、低感度の受光素子によって撮像された画像とが選択的に切り替えられて画面に表示される。具体的には、入射光量が小さいときには、高感度の受光素子によって撮像された画像を表示し、高感度の受光素子が飽和してしまうような入射光量が大きいときには、低感度の受光素子によって撮像された画像を表示する。これにより、固体撮像装置のダイナミックレンジを広げることが可能となる。

特開２０００−１２５２０９号公報

しかしながら、上記特許文献１に記載の固体撮像装置では、高感度の受光素子と、低感度の受光素子との両方の受光素子によって得られる画像を取得しているので、たとえば入射光量が大きいときには、不必要な高感度の受光素子から得られる画像も取得してしまうという不都合がある。このため、画像を取得するための処理時間が長くなるとともに、固体撮像装置の消費電力が大きくなるという問題点がある。また、上記特許文献１に記載の固体撮像装置の効果は、固体撮像装置のダイナミックレンジを広げることに限られている。

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、画像を取得するための処理時間が長くなることを抑制しながら、固体撮像装置の消費電力が大きくなるのを抑制し、被写体情報に応じて最適な画像を得ることが可能な固体撮像装置を提供することである。

課題を解決するための手段および発明の効果

この発明の一の局面による固体撮像装置は、感度特性の異なる複数の光センサを備え、被写体情報に応じて、所定の感度特性の光センサの信号を読み出すように構成されている。

この一の局面による固体撮像装置では、上記のように、被写体情報に応じて、所定の感度特性の光センサの信号を読み出すように構成することにより、不必要な感度特性の光センサの信号を読み出さないので、その分、画像を取得するための処理時間が長くなることを抑制することができるとともに、固体撮像装置の消費電力が大きくなるのを抑制することができる。また、被写体情報に応じて、所定の感度特性の光センサの信号を読み出すように構成することにより、容易に、被写体情報に応じて最適な画像を得ることができる。なお、光センサは、可視光線のみならず、赤外線や紫外線を含めてセンシングするものであってもよい。

上記一の局面による固体撮像装置おいて、好ましくは、被写体情報は、被写体の輝度、被写体の動体速度および被写体の撮像に適した単位時間当りに更新される画面数のうち少なくとも１つである。このように構成すれば、撮像時の被写体の輝度、被写体の動体速度または被写体の撮像に適した単位時間当りに更新される画面数に基づいて最適な感度特性を有する光センサの信号を読み出すことができるので、被写体情報に応じた最適な輝度、最適な動体速度または最適な単位時間当りに更新される画面数の画像を得ることができる。

上記一の局面による固体撮像装置おいて、好ましくは、光センサの電子増倍の有無、光センサの大きさ、光センサの出力信号を増幅する出力アンプの特性および光センサに含まれるレンズの種類の少なくともいずれかを異ならせることによって感度特性が異なる。このように構成すれば、被写体情報に応じて、光センサの電子増倍の有無、光センサの大きさ、光センサの出力信号を増幅する出力アンプの特性または光センサに含まれるレンズの種類を選択することができるので、被写体情報に適した画像を得ることができる。たとえば、感度特性を光センサの電子増倍の有無によって異ならせる場合、被写体の輝度が低いときは、電子増倍を有する光センサの信号を読み出し、被写体の輝度が高いときは、電子増倍をオフ状態にした電子増倍を有する光センサと電子増倍を有しない光センサとの両方の信号を読み出すように構成することができるので、被写体の輝度が低いときには、高い感度の画像を得ることができるとともに、被写体の輝度が高いときには、高い解像度の画像を得ることができる。また、感度特性を光センサの大きさによって異ならせる場合、たとえば、被写体の輝度が低いときは大きさが大きい光センサの信号を読み出し、被写体の輝度が中程度のときは大きさが中程度の光センサの信号を読み出し、被写体の輝度が高いときは大きさが小さい光センサの信号を読み出すことにより、被写体の輝度が低いとき、中程度のとき、および高いときのいずれにおいても最適な画像を得ることができる。また、光センサの出力信号を増幅する出力アンプの特性によって異ならせる場合、たとえば、被写体の輝度が低いときには線形的に出力が増幅されるアンプを用い、被写体の輝度が高いときには対数関数的に出力が増幅される出力アンプを用いるようにする。このように、輝度が高いときに出力の増幅の度合いが緩やかな対数関数的に出力が増幅される出力アンプを用いることにより、輝度が高いときにでも出力アンプによって出力が過度に増幅されてしまう現象（白とび）を抑制することができる。また、感度特性を光センサに含まれるレンズの種類によって異ならせる場合、たとえば高感度レンズまたは低感度レンズを備えた光センサ、および、レンズなしの光センサを用いることにより、被写体の輝度が低いときは高感度レンズを備えた光センサの信号を読み出し、被写体の輝度が中程度のときは低感度レンズを備えた光センサの信号を読み出し、被写体の輝度が高いときはレンズなしの光センサの信号を読み出すように構成することができるので、被写体の輝度が低いとき、中程度のとき、および高いときのいずれにおいても最適な画像を得ることができる。

上記一の局面による固体撮像装置おいて、好ましくは、感度特性の異なる光センサの数が、それぞれ異なる比率になるように構成され、被写体情報に応じて比率の異なる所定の感度特性の光センサの信号を読み出す。このように構成すれば、たとえば高感度光センサと、高感度光センサよりも数の多い低感度光センサを配置することにより、高感度光センサの露光時間が短いことと、配置された光センサの数が少なく、読み出し時間の短縮が可能なことにより、動体速度が速い被写体の撮像が可能となるとともに、低感度光センサの数が多いので、高い解像度の画像を得ることができる。

上記一の局面による固体撮像装置おいて、好ましくは、感度特性の異なる光センサからなる固体撮像素子は、被写体情報により、固体撮像素子上に設定された領域毎に所定の感度特性の光センサを読み出すように構成されている。このように構成すれば、被写体情報の所定の領域ごとに最適な感度特性の光センサの信号を読み出すように構成することができるので、１つの感度特性の光センサだけの信号を読み出すように構成する場合に比べて、より質の高い画像を得ることができる。たとえば、被写体情報の所定の領域ごとに最適な感度特性の光センサの信号を読み出すことにより、複数の感度特性の光センサの信号を読み出すので、固体撮像装置のダイナミックレンジを広くすることができる。

上記一の局面による固体撮像装置おいて、好ましくは、複数の光センサは、第１の感度を有する第１光センサと、第１の感度よりも大きい第２の感度を有する第２光センサと、第１の感度と、第２の感度との間の大きさの第３の感度を有する第３光センサとを含み、被写体情報に応じて、第１光センサ、第２光センサおよび第３光センサのうちの少なくとも１つの信号が読み出されるように構成されている。このように構成すれば、被写体の輝度が低いときは第２光センサの信号を読み出し、被写体の輝度が中程度のときは第３光センサの信号を読み出し、被写体の輝度が高いときは第１光センサの信号を読み出すように構成することができるので、被写体の輝度が低いとき、中程度のとき、および高いときのいずれにおいても最適な画像を得ることができる。また、不必要な感度特性の光センサの信号を読み出さないので、その分、画像を取得するための処理時間が長くなることを抑制することができるとともに、固体撮像装置の消費電力が大きくなるのを抑制することができる。

以下、本発明の実施形態を図面に基づいて説明する。

（第１実施形態）
図１は、本発明の第１実施形態による固体撮像装置の構成の概略図である。図２は、本発明の第１実施形態による固体撮像素子上に配置された感度特性の異なる光センサの配置図である。図１および図２を参照して、第１実施形態による固体撮像装置１００の構成について説明する。

この第１実施形態による固体撮像装置１００は、図１に示すように、固体撮像素子１１と、アナログ信号処理部１２と、デジタル信号処理部１３とから構成されている。固体撮像素子１１は、高感度光センサ１４、中感度光センサ１５および低感度光センサ１６を含んでいる。なお、高感度光センサ１４は、本発明の「第２光センサ」の一例である。また、中感度光センサ１５は、本発明の「第３光センサ」の一例である。また、低感度光センサ１６は、本発明の「第１光センサ」の一例である。高感度光センサ１４、中感度光センサ１５および低感度光センサ１６は、スイッチ１７ａ、１７ｂおよび１７ｃを介して、それぞれ、アナログ信号処理装置１２に電気的に接続されている。また、アナログ信号処理装置１２は、デジタル信号処理部１３に電気的に接続されている。また、デジタル信号処理部１３には、輝度情報取得部１８が含まれている。

また、図２に示すように、固体撮像素子１１上には、高感度光センサ１４、中感度光センサ１５および低感度光センサ１６がマトリクス状に配置されており、高感度光センサ１４、中感度光センサ１５および低感度光センサ１６は、混在している。

図３は、本発明の第１実施形態による感度特性の異なる光センサの読み出しの選択を表す図である。図４は、本発明の第１実施形態による輝度に応じて読み出される光センサを示す図である。次に、図１、図３および図４を用いて、本発明の第１実施形態による固体撮像装置１００の動作について説明する。

図１に示すように、デジタル信号処理部１３内の輝度情報取得部１８において、現在撮像が行われようとしているフレーム（画面）よりも１フレーム前を撮像する際に取得された１フレーム分の光センサに入力した信号の平均値を計算して被写体の輝度情報が取得される。ここで、第１実施形態では、図３に示す閾値に基づいて、取得された輝度情報に応じて、輝度が低いときには高感度光センサ１４が読み出され（図４の読み出される光センサ（ａ）参照）、輝度が中程度のときには中感度光センサ１５が読み出され（図４の読み出される光センサ（ｂ）参照）、輝度が低いときには低感度光センサ１６が読み出される（図４の読み出される光センサ（ｃ）参照）。なお、図３に示す、読み出される光センサの閾値は、固体撮像装置１００のユーザーによって設定される。

第１実施形態では、上記のように、被写体の輝度情報に応じて、高感度光センサ１４、中感度光センサ１５および低感度光センサ１６の内、１つの光センサの信号を読み出すように構成することにより、不必要な感度特性の光センサの信号を読み出さないので、その分、画像を取得するための処理時間が長くなることを抑制することができるとともに、固体撮像装置１００の消費電力が大きくなるのを抑制することができる。

また、第１実施形態では、上記のように、被写体情報は、被写体の輝度に基づいて取得されるように構成することによって、撮像時の被写体の輝度に基づいて高感度光センサ１４、中感度光センサ１５および低感度光センサ１６の内、最適な感度特性を有する光センサの信号を読み出すことができるので、被写体情報に応じた最適な輝度の画像を得ることができる。

（第２実施形態）
図５は、本発明の第２実施形態による固体撮像装置の構成の概略図である。図２および図５を参照して、この第２実施形態では、上記第１実施形態と異なり、被写体情報が被写体の動体速度である場合の固体撮像装置１０１の構成について説明する。

この第２実施形態による固体撮像装置１０１は、図５に示すように、固体撮像素子２１と、アナログ信号処理部２２と、デジタル信号処理部２３とから構成されている。固体撮像素子２１は、高感度光センサ２４、中感度光センサ２５および低感度光センサ２６を含んでいる。なお、高感度光センサ２４は、本発明の「第２光センサ」の一例である。また、中感度光センサ２５は、本発明の「第３光センサ」の一例である。また、低感度光センサ２６は、本発明の「第１光センサ」の一例である。高感度光センサ２４、中感度光センサ２５および低感度光センサ２６は、スイッチ２７ａ、２７ｂおよび２７ｃを介して、それぞれ、アナログ信号処理装置２２に電気的に接続されている。また、アナログ信号処理装置２２は、デジタル信号処理部２３に電気的に接続されている。また、デジタル信号処理部２３には、動体速度情報取得部２８が含まれている。

また、図２に示すように、固体撮像素子２１上には、第１実施形態と同様に、高感度光センサ２４、中感度光センサ２５および低感度光センサ２６がマトリクス状に配置されており、高感度光センサ２４、中感度光センサ２５および低感度光センサ２６は、混在している。なお、第２実施形態では、高感度光センサ２４の数よりも低感度光センサ２６の数を多く配置するとともに、高感度光センサ２４の数と低感度光センサ２６の数との間の数の中感度光センサ２５を配置する。

図６は、本発明の第２実施形態による感度特性の異なる光センサの読み出しの選択を表す図である。図７は、本発明の第２実施形態による被写体の動体速度に応じて読み出される光センサを示す図である。次に、図５〜図７を用いて、本発明の第２実施形態による固体撮像装置１０１の動作について説明する。

図５に示すように、デジタル信号処理部２３内の動体速度情報取得部２８において、現在撮像が行われようとしているフレーム（画面）よりも以前の複数のフレーム間を撮像する際に取得された光センサに入力した信号を基に被写体の動体速度情報が取得される。ここで、第２実施形態では、図６に示す閾値に基づいて、取得された動体速度情報に応じて、高感度光センサ２４、中感度光センサ２５および低感度光センサ２６の内、１つの光センサに入力した信号が読み出される。なお、図６に示す、読み出される光センサの閾値は、固体撮像装置１０１のユーザーによって設定される。そして、動体速度が速いときには高感度光センサ２４が読み出される（図７の読み出される光センサ（ａ）参照）。高感度光センサ２４は、低感度光センサ２６に比べて感度が高いので、低感度光センサ２６に比べて露光時間を短くすることが可能である。これにより、動体速度が速い被写体の撮像が可能となる。また、動体速度が中程度のときには中感度光センサ２５が読み出され（図７の読み出される光センサ（ｂ）参照）、中程度の動体速度の撮像が可能となるとともに、中感度光センサ２５の数は、高感度光センサ２４の数に比べて数が多いので、高感度光センサ２４によって取得される画像に比べて、高い解像度の画像を得ることが可能となる。また、動体速度が遅いときには低感度光センサ２６が読み出される（図７の読み出される光センサ（ｃ）参照）。低感度光センサ２６の数は、高感度光センサ２４や中感度光センサ２５の数に比べて数が多いので、高感度光センサ２４や中感度光センサ２５によって取得される画像に比べて、高い解像度の画像を得ることが可能となる。

第２実施形態では、上記のように、被写体の動体速度情報に応じて、高感度光センサ２４、中感度光センサ２５および低感度光センサ２６の内、１つの光センサの信号を読み出すように構成することにより、不必要な感度特性の光センサの信号を読み出さないので、その分、画像を取得するための処理時間が長くなることを抑制することができるとともに、固体撮像装置１０１の消費電力が大きくなるのを抑制することができる。

また、第２実施形態では、上記のように、被写体情報は、被写体の動体速度に基づいて取得されるように構成することによって、撮像時の被写体の動体速度に基づいて高感度光センサ２４、中感度光センサ２５および低感度光センサ２６の内、最適な感度特性を有する光センサの信号を読み出すことができるので、被写体情報に応じた最適な動体速度の画像を得ることができる。

また、第２実施形態では、上記のように、高感度光センサ２４、中感度光センサ２５および低感度光センサ２６の数が、それぞれ異なる比率になるように構成されることにより、高感度光センサ２４、中感度光センサ２５および低感度光センサ２６の内、最適な解像度を有する光センサの信号を読み出すことができるので、被写体情報に応じた最適な解像度と動体速度の画像を得ることができる。

（第３実施形態）
図８は、本発明の第３実施形態による固体撮像装置の構成の概略図である。図２および図８を参照して、この第３実施形態では、上記第１実施形態と異なり、被写体情報が被写体の撮像に適した単位時間当りに更新される画面数（以下、フレームレート情報と記載）である場合の固体撮像装置１０２の構成について説明する。

この第３実施形態による固体撮像装置は、図８に示すように、固体撮像素子３１と、アナログ信号処理部３２と、デジタル信号処理部３３とから構成されている。固体撮像素子３１は、高感度光センサ３４、中感度光センサ３５および低感度光センサ３６を含んでいる。なお、高感度光センサ３４は、本発明の「第２光センサ」の一例である。また、中感度光センサ３５は、本発明の「第３光センサ」の一例である。また、低感度光センサ３６は、本発明の「第１光センサ」の一例である。高感度光センサ３４、中感度光センサ３５および低感度光センサ３６は、スイッチ３７ａ、３７ｂおよび３７ｃを介して、それぞれ、アナログ信号処理装置３２に電気的に接続されている。また、アナログ信号処理装置３２は、デジタル信号処理部３３に電気的に接続されている。また、デジタル信号処理部３３には、フレームレート情報取得部３８が含まれている。

また、図２に示すように、固体撮像素子３１上には、第１実施形態と同様に、高感度光センサ３４、中感度光センサ３５および低感度光センサ３６がマトリクス状に配置されており、高感度光センサ３４、中感度光センサ３５および低感度光センサ３６は、混在している。なお、第３実施形態では、第２実施形態と同様に、高感度光センサ３４の数よりも低感度光センサ３６の数を多く配置するとともに、高感度光センサ３４の数と低感度光センサ３６の数との間の数の中感度光センサ３５を配置する。

図９は、本発明の第３実施形態によるフレームレート情報に応じて読み出される光センサを示す図である。次に、図８および図９を用いて、本発明の第３実施形態による固体撮像装置１０２の動作について説明する。

図８に示すように、デジタル信号処理部３３内のフレームレート情報取得部３８において、被写体の撮像に適したフレームレート情報が取得される。ここで、第３実施形態では、フレームレート情報に基づいて、高感度光センサ３４、中感度光センサ３５および低感度光センサ３６の内、１つの光センサに入力した信号が読み出される。被写体情報の撮像に高いフレームレートが要求されたときには光センサの配置数の少ない高感度光センサ３４が読み出される（図９の読み出される光センサ（ａ）参照）。高感度光センサ３４は、低感度光センサ３６に比べて感度が高いので、低感度光センサ３６に比べて露光時間を短くすることができ、配置された光センサの数が少ないため、読み出し時間の短縮が可能である。これにより、高感度光センサ３４は、フレームレートの高い画像を得ることが可能となる。また、被写体の撮像に中程度のフレームレートが要求されたときには中感度光センサ３５が読み出され（図９の読み出される光センサ（ｂ）参照）、中感度光センサ３５の数が高感度光センサ３４の数に比べて数が多いので、中程度のフレームレートの撮像が可能となるとともに、高感度光センサ３４によって取得される画像に比べて高い解像度の画像を得ることが可能となる。また、被写体の撮像に低いフレームレートが要求されたときには低感度光センサ３６が読み出される（図９の読み出される光センサ（ｃ）参照）。低感度光センサ３６の数は、高感度光センサ３４や中感度光センサ３５の数に比べて数が多いので、高感度光センサ３４や中感度光センサ３５によって取得される画像に比べて、高い解像度の画像を得ることが可能となる。

第３実施形態では、上記のように、被写体の撮像に適したフレームレート情報に応じて、高感度光センサ３４、中感度光センサ３５および低感度光センサ３６の内、１つの光センサの信号を読み出すように構成することにより、不必要な感度特性の光センサの信号を読み出さないので、その分、画像を取得するための処理時間が長くなることを抑制することができるとともに、固体撮像装置１０２の消費電力が大きくなるのを抑制することができる。

また、第３実施形態では、上記のように、被写体情報は、被写体の撮像に適したフレームレート情報に基づいて取得されるように構成することによって、被写体の撮像に適したフレームレート情報に基づいて高感度光センサ３４、中感度光センサ３５および低感度光センサ３６の内、最適な感度特性を有する光センサの信号を読み出すことができるので、被写体情報に応じた最適なフレームレートの画像を得ることができる。

また、カメラの目的（監視カメラ、ポートレートなど）があらかじめ分かっているときは、被写体情報を固定することも可能である。たとえば、動体計測を目的としたときは、高いフレームレートの撮影を行う。また、監視を目的としたときは、中程度のフレームレートと、中程度の解像度を有する撮影を行う。また、ポートレートの撮影の時には、高い解像度を有する撮影を行う。

（第４実施形態）
図１０は、本発明の第４実施形態による固体撮像素子上に配置された電子増倍を有する光センサと電子増倍を有しない光センサの配置図である。図１、図５、図８および図１０を参照して、この第４実施形態では、上記第１実施形態〜第３実施形態と異なり、電子増倍を有する光センサを含む固体撮像装置１０３の構成について説明する。

この第４実施形態による固体撮像装置１０３の構成は、図１、図５および図８に示す第１実施形態、第２実施形態および第３実施形態の構成において、固体撮像素子１１、２１および３１に含まれる高感度光センサ１４、２４および３４、中感度光センサ１５、２５、および３５、および、低感度光センサ１６、２６および３６を、後述する電子増倍を有する赤のカラーフィルターを備えた光センサ４２、電子増倍を有する緑のカラーフィルターを備えた光センサ４３、電子増倍を有する青のカラーフィルターを備えた光センサ４４、電子増倍を有しない赤のカラーフィルターを備えた光センサ４５、電子増倍を有しない緑のカラーフィルターを備えた光センサ４６および電子増倍を有しない青のカラーフィルターを備えた光センサ４７に置き換えたものとなっている。

また、図１０に示すように、固体撮像素子４１上には、電子増倍を有する赤のカラーフィルターを備えた光センサ４２、電子増倍を有する緑のカラーフィルターを備えた光センサ４３および電子増倍を有する青のカラーフィルターを備えた光センサ４４と、電子増倍を有しない赤のカラーフィルターを備えた光センサ４５、電子増倍を有しない緑のカラーフィルターを備えた光センサ４６および電子増倍を有しない青のカラーフィルターを備えた光センサ４７とがマトリクス状に配置されており、それぞれの光センサは、混在している。なお、電子増倍を有する赤のカラーフィルターを備えた光センサ４２、電子増倍を有する緑のカラーフィルターを備えた光センサ４３および電子増倍を有する青のカラーフィルターを備えた光センサ４４と、電子増倍を有しない赤のカラーフィルターを備えた光センサ４５、電子増倍を有しない緑のカラーフィルターを備えた光センサ４６および電子増倍を有しない青のカラーフィルターを備えた光センサ４７とは、それぞれ、本発明の「光センサ」の一例である。なお、第４実施形態では、電子増倍を有する光センサ４２、４３および４４の数よりも電子増倍を有しない光センサ４５、４６および４７の数を多く配置する。

図１１は、本発明の第４実施形態による被写体情報に応じて読み出される光センサを示す図である。次に、図１、図５、図８および図１１を用いて、本発明の第４実施形態による固体撮像装置１０３の動作について説明する。

まず、被写体の輝度情報に応じて読み出す光センサを異ならせる場合、図１に示すように、デジタル信号処理部１３内の輝度情報取得部１８において、現在撮像が行われようとしているフレーム（画面）よりも１フレーム前を撮像する際に取得された１フレーム分の光センサに入力した信号の平均値を計算して被写体の輝度情報が取得される。ここで、第４実施形態では、固体撮像装置１０３のユーザーによって設定される閾値に基づいて、輝度が低いときには、電子増倍を有する光センサ４２、４３および４４が読み出される（図１１の読み出される光センサ（ａ）参照）。また、輝度が高いときには、電子増倍をオフ状態にした電子増倍を有する光センサ４２、４３および４４（電子増倍を有しない光センサ４５、４６および４７と同じ感度を有する光センサ）と、電子増倍を有しない光センサ４５、４６および４７とが読み出される（図１１の読み出される光センサ（ｂ）参照）。

また、被写体の動体速度情報に応じて読み出す光センサを異ならせる場合、図５に示すように、デジタル信号処理部２３内の動体速度情報取得部２８において、現在撮像が行われようとしているフレーム（画面）よりも以前の複数のフレーム間を撮像する際に取得された光センサに入力した信号を基に被写体の動体速度情報が取得される。次に、固体撮像装置１０３のユーザーによって設定される閾値に基づいて、動体速度が速いときには電子増倍を有する光センサ４２、４３および４４が読み出される（図１１の読み出される光センサ（ａ）参照）。また、動体速度が遅いときには、電子増倍をオフ状態にした電子増倍を有する光センサ４２、４３および４４（電子増倍を有しない光センサ４５、４６および４７と同じ感度を有する光センサ）と、電子増倍を有しない光センサ４５、４６および４７とが読み出される（図１１の読み出される光センサ（ｂ）参照）。なお、電子増倍を有する光センサ４２、４３および４４は、電子増倍を有しない光センサ４５、４６および４７に比べて感度が高いので、電子増倍を有しない光センサ４５、４６および４７に比べて露光時間を短くすることが可能である。

また、フレームレート情報に応じて読み出す光センサを異ならせる場合、図８に示すように、デジタル信号処理部３３内のフレームレート情報取得部３８において、被写体の撮像に適したフレームレート情報が取得される。被写体の撮像に高いフレームレートが要求されたときには電子増倍を有する光センサ４２、４３および４４が読み出される（図１１の読み出される光センサ（ａ）参照）。また、被写体の撮像に低いフレームレートが要求されたときには、電子増倍をオフ状態にした電子増倍を有する光センサ４２、４３および４４（電子増倍を有しない光センサ４５、４６および４７と同じ感度を有する光センサ）と、電子増倍を有しない光センサ４５、４６および４７とが読み出される（図１１の読み出される光センサ（ｂ）参照）。

第４実施形態では、上記のように、電子増倍を有する光センサ４２、４３および４４と、電子増倍を有しない光センサ４５、４６および４７とを備えることにより、被写体の輝度が低いときは、電子増倍を有する高い感度の光センサ４２、４３および４４の信号を読み出し、被写体の輝度が高いときは、電子増倍をオフ状態にした電子増倍を有する光センサ４２、４３および４４と電子増倍を有しない光センサ４５、４６および４７との両方の信号を読み出すように構成することができる。これにより、被写体の輝度が低いときには、高い感度の画像を得ることができるとともに、被写体の輝度が高いときには、高い解像度の画像を得ることができる。

また、第４実施形態では、上記のように、電子増倍を有する光センサ４２、４３および４４と、電子増倍を有しない光センサ４５、４６および４７とを備えることにより、被写体の動体速度が速いときは、電子増倍を有する光センサ４２、４３および４４の信号を読み出し、被写体の動体速度が遅いときは、電子増倍をオフ状態にした電子増倍を有する光センサ４２、４３および４４と電子増倍を有しない光センサ４５、４６および４７との両方の信号を読み出すように構成することができる。これにより、被写体の動体速度が遅いときには、電子増倍を有する光センサ４２、４３および４４の露光時間が短いことにより動体速度が速い被写体の撮像ができる。また、被写体の動体速度が遅いときには、高い解像度の画像を得ることができる。

また、第４実施形態では、上記のように、電子増倍を有する光センサ４２、４３および４４と、電子増倍を有しない光センサ４５、４６および４７とを備えることにより、高いフレームレートが要求されたときは、電子増倍を有する光センサ４２、４３および４４の信号を読み出し、低いフレームレートが要求されたときは、電子増倍をオフ状態にした電子増倍を有する光センサ４２、４３および４４と電子増倍を有しない光センサ４５、４６および４７との両方の信号を読み出すように構成することができる。これにより、高いフレームレートが要求されたときには、電子増倍を有する光センサ４２、４３および４４の露光時間が短いことと、配置された光センサの数が少なく、読み出し時間の短縮が可能なことにより高いフレームレートの画像を得ることができる。また、低いフレームレートが要求されたときには、高い解像度の画像を得ることができる。

（第５実施形態）
図１２は、本発明の第５実施形態による固体撮像素子上に配置された大きさの異なる光センサの配置図である。図１、図５、図８および図１２を参照して、この第５実施形態では、上記第４実施形態と異なり、大きさの異なる光センサを含む固体撮像装置１０４の構成について説明する。

この第５実施形態による固体撮像装置１０４の構成は、図１、図５および図８に示す第１実施形態、第２実施形態および第３実施形態の構成において、固体撮像素子１１、２１および３１に含まれる高感度光センサ１４、２４および３４、中感度光センサ１５、２５、および３５、および、低感度光センサ１６、２６および３６を、後述する赤、緑、青のいずれかのカラーフィルターを備えた大きさが大きい光センサ５２、赤、緑、青のいずれかのカラーフィルターを備えた大きさが中程度の光センサ５３、赤のカラーフィルターを備えた大きさが小さい光センサ５４、緑のカラーフィルターを備えた大きさが小さい光センサ５５および青のカラーフィルターを備えた大きさが小さい光センサ５６に置き換えたものとなっている。

また、図１２に示すように、固体撮像素子５１上には、赤、緑、青のいずれかのカラーフィルターを備えた大きさが大きい光センサ５２、赤、緑、青のいずれかのカラーフィルターを備えた大きさが中程度の光センサ５３、赤のカラーフィルターを備えた大きさが小さい光センサ５４、緑のカラーフィルターを備えた大きさが小さい光センサ５５および青のカラーフィルターを備えた大きさが小さい光センサ５６がマトリクス状に配置されており、それぞれの光センサは、混在している。なお、赤、緑、青のいずれかのカラーフィルターを備えた大きさが大きい光センサ５２、赤、緑、青のいずれかのカラーフィルターを備えた大きさが中程度の光センサ５３、赤のカラーフィルターを備えた大きさが小さい光センサ５４、緑のカラーフィルターを備えた大きさが小さい光センサ５５および青のカラーフィルターを備えた大きさが小さい光センサ５６は、それぞれ、本発明の「光センサ」の一例である。また、第５実施形態では、大きさが大きい光センサ５２の数よりも大きさが小さい光センサ５４、５５および５６の数を多く配置するとともに、大きさが大きい光センサ５２の数と大きさが小さい光センサ５４、５５および５６の数との間の数の大きさが中程度の光センサ５３を配置する。

図１３は、本発明の第５実施形態による被写体情報に応じて読み出される光センサを示す図である。次に、図１、図５、図８および図１３を用いて、本発明の第５実施形態による固体撮像装置１０４の動作について説明する。

まず、被写体の輝度情報に応じて読み出す光センサを異ならせる場合、図１に示すように、デジタル信号処理部１３内の輝度情報取得部１８において、現在撮像が行われようとしているフレーム（画面）よりも１フレーム前を撮像する際に取得された１フレーム分の光センサに入力した信号の平均値を計算して被写体の輝度情報が取得される。ここで、第５実施形態では、固体撮像装置１０４のユーザーによって設定される閾値に基づいて、輝度が低いときには、大きさが大きい光センサ５２が読み出される（図１３の読み出される光センサ（ａ）参照）。また、輝度が中程度のときには、大きさが中程度の光センサ５３が読み出される（図１３の読み出される光センサ（ｂ）参照）。また、輝度が高いときには、大きさが小さい光センサ５４、５５および５６が読み出される（図１３の読み出される光センサ（ｃ）参照）。

また、被写体の動体速度情報に応じて読み出す光センサを異ならせる場合、図５に示すように、デジタル信号処理部２３内の動体速度情報取得部２８において、現在撮像が行われようとしているフレーム（画面）よりも以前の複数のフレーム間を撮像する際に取得された光センサに入力した信号を基に被写体の動体速度情報が取得される。次に、固体撮像装置１０４のユーザーによって設定される閾値に基づいて、動体速度が速いときには、大きさが大きい光センサ５２が読み出される（図１３の読み出される光センサ（ａ）参照）。また、動体速度が中程度のときには、大きさが中程度の光センサ５３が読み出される（図１３の読み出される光センサ（ｂ）参照）。また、動体速度が遅いときには、大きさが小さい光センサ５４、５５および５６が読み出される（図１３の読み出される光センサ（ｃ）参照）。なお、大きさが大きい光センサ５２は、大きさが小さい光センサ５４、５５および５６に比べて感度が高いので、大きさが小さい光センサ５４、５５および５６に比べて露光時間を短くすることが可能である。また、大きさが中程度の光センサ５３の露光時間は、大きさが大きい光センサ５２の露光時間と、大きさが小さい光センサ５４、５５および５６の露光時間との間の長さとなる。

また、フレームレート情報に応じて読み出す光センサを異ならせる場合、図８に示すように、デジタル信号処理部３３内のフレームレート情報取得部３８において、被写体の撮像に適したフレームレート情報が取得される。被写体の撮像に高いフレームレートが要求されたときには、大きさが大きい光センサ５２が読み出される（図１３の読み出される光センサ（ａ）参照）。また、被写体の撮像に中程度のフレームレートが要求されたときには、大きさが中程度の光センサ５３が読み出される（図１３の読み出される光センサ（ｂ）参照）。また、被写体の撮像に低いフレームレートが要求されたときには、大きさが小さい光センサ５４、５５および５６が読み出される（図１３の読み出される光センサ（ｃ）参照）。

第５実施形態では、上記のように、大きさが大きい光センサ５２と、大きさが中程度の光センサ５３と、大きさが小さい光センサ５４、５５および５６とを備えることにより、被写体の輝度が低いときは大きさが大きい光センサ５２の信号を読み出し、被写体の輝度が中程度のときは大きさが中程度の光センサ５３の信号を読み出し、被写体の輝度が高いときは大きさが小さい光センサ５４、５５および５６の信号を読み出すように構成することができる。これにより、被写体の輝度が低いときには高い感度の画像を得ることができる。また、被写体の輝度が中程度のときには中程度の感度と中程度の解像度の画像を得ることができる。また、被写体の輝度が高いときには、大きさが小さい光センサ５４、５５および５６の数が大きさが大きい光センサ５２および大きさが中程度の光センサ５３の数よりも多いことにより高い解像度の画像を得ることができる。

また、第５実施形態では、上記のように、大きさが大きい光センサ５２と、大きさが中程度の光センサ５３と、大きさが小さい光センサ５４、５５および５６とを備えることにより、被写体の動体速度が速いときは大きさが大きい光センサ５２の信号を読み出し、被写体の動体速度が中程度のときは大きさが中程度の光センサ５３の信号を読み出し、被写体の動体速度が遅いときは大きさが小さい光センサ５４、５５および５６の信号を読み出すように構成することができる。これにより、被写体の動体速度が速いときは大きさが大きい光センサ５２の露光時間が短いことにより、動体速度が速い被写体の撮像ができる。また、被写体の動体速度が中程度のときには動体速度が中程度の被写体の撮像ができるとともに中程度の解像度の画像を得ることができる。また、被写体の動体速度が遅いときには、大きさが小さい光センサ５４、５５および５６の数が大きさが大きい光センサ５２および大きさが中程度の光センサ５３の数よりも多いことにより高い解像度の画像を得ることができる。

また、第５実施形態では、上記のように、大きさが大きい光センサ５２と、大きさが中程度の光センサ５３と、大きさが小さい光センサ５４、５５および５６とを備えることにより、高いフレームレートが要求されたときは大きさが大きい光センサ５２の信号を読み出し、中程度のフレームレートが要求されたときは大きさが中程度の光センサ５３の信号を読み出し、低いフレームレートが要求されたときは大きさが小さい光センサ５４、５５および５６の信号を読み出すように構成することができる。これにより、高いフレームレートが要求されたときは大きさが大きい光センサ５２の露光時間が短いことと、配置光センサの数が少なく、読み出し時間の短縮が可能なことにより、高いフレームレートの画像を得ることができる。また、中程度のフレームレートが要求されたときには中程度のフレームレートの画像が得られるとともに中程度の解像度の画像を得ることができる。また、低いフレームレートが要求されたときには、大きさが小さい光センサ５４、５５および５６の数が大きさが大きい光センサ５２および大きさが中程度の光センサ５３の数よりも多いことにより高い解像度の画像を得ることができる。

（第６実施形態）
図１４は、本発明の第６実施形態による固体撮像素子上に配置された、線形的に出力が増幅される出力アンプを有する光センサと、対数関数的に出力が増幅される出力アンプを有する光センサとの配置図である。図１、図５、図８および図１４を参照して、この第６実施形態では、上記第１実施形態〜第５実施形態と異なり、線形的に出力が増幅される出力アンプを有する光センサ６２、６３および６４と、対数関数的に出力が増幅される出力アンプを有する光センサ６５、６６および６７とを含む固体撮像装置１０５の構成について説明する。

この第６実施形態による固体撮像装置１０５の構成は、図１、図５および図８に示す第１実施形態、第２実施形態および第３実施形態の構成において、固体撮像素子１１、２１および３１に含まれる高感度光センサ１４、２４および３４、中感度光センサ１５、２５、および３５、および、低感度光センサ１６、２６および３６を、後述する線形的に出力が増幅される出力アンプを有する赤のカラーフィルターを備えた光センサ６２、線形的に出力が増幅される出力アンプを有する緑のカラーフィルターを備えた光センサ６３、線形的に出力が増幅される出力アンプを有する青のカラーフィルターを備えた光センサ６４、対数関数的に出力が増幅される出力アンプを有する赤のカラーフィルターを備えた光センサ６５、対数関数的に出力が増幅される出力アンプを有する緑のカラーフィルターを備えた光センサ６６および対数関数的に出力が増幅される出力アンプを有する青のカラーフィルターを備えた光センサ６７に置き換えたものとなっている。

また、図１４に示すように、固体撮像素子６１上には、線形的に出力が増幅される出力アンプを有する赤のカラーフィルターを備えた光センサ６２、線形的に出力が増幅される出力アンプを有する緑のカラーフィルターを備えた光センサ６３、線形的に出力が増幅される出力アンプを有する青のカラーフィルターを備えた光センサ６４、対数関数的に出力が増幅される出力アンプを有する赤のカラーフィルターを備えた光センサ６５、対数関数的に出力が増幅される出力アンプを有する緑のカラーフィルターを備えた光センサ６６および対数関数的に出力が増幅される出力アンプを有する青のカラーフィルターを備えた光センサ６７がマトリクス状に配置されており、それぞれの光センサは、混在している。なお、線形的に出力が増幅される出力アンプを有する赤のカラーフィルターを備えた光センサ６２、線形的に出力が増幅される出力アンプを有する緑のカラーフィルターを備えた光センサ６３、線形的に出力が増幅される出力アンプを有する青のカラーフィルターを備えた光センサ６４、対数関数的に出力が増幅される出力アンプを有する赤のカラーフィルターを備えた光センサ６５、対数関数的に出力が増幅される出力アンプを有する緑のカラーフィルターを備えた光センサ６６および対数関数的に出力が増幅される出力アンプを有する青のカラーフィルターを備えた光センサ６７は、それぞれ、本発明の「光センサ」の一例である。

図１５は、本発明の第６実施形態による被写体情報に応じて読み出される光センサを示す図である。また、図１６は、本発明の第６実施形態による線形的に出力が増幅される出力アンプの輝度と出力との関係を表す図である。また、図１７は、本発明の第６実施形態による対数関数的に出力が増幅される出力アンプの輝度と出力との関係を表す図である。次に、図１、図５、図８、図１５、図１６および図１７を用いて、本発明の第６実施形態による固体撮像装置１０５の動作について説明する。

まず、被写体の輝度情報に応じて読み出す光センサを異ならせる場合、図１に示すように、デジタル信号処理部１３内の輝度情報取得部１８において、現在撮像が行われようとしているフレーム（画面）よりも１フレーム前を撮像する際に取得された１フレーム分の光センサに入力した信号の平均値を計算して被写体の輝度情報が取得される。ここで、第６実施形態では、固体撮像装置１０５のユーザーによって設定される閾値に基づいて、輝度が低いときから中程度のときには、線形的に出力が増幅される出力アンプを有する光センサ６２、６３および６４と、対数関数的に出力が増幅される出力アンプを有する光センサ６５、６６および６７との両方が読み出される（図１５の読み出される光センサ（ａ）参照）。なお、図１６に示すように、線形的に出力が増幅される出力アンプを有する光センサ６２、６３および６４は、輝度が高くなるに従って出力が線形的に大きくなるように構成されている。また、図１７に示すように、対数関数的に出力が増幅される出力アンプを有する光センサ６５、６６および６７は、輝度が高くなるに従って出力が対数関数的に大きくなるように構成されており、輝度が高くなるに従って、出力の増幅の割合は、小さくなってゆく。なお、対数関数的に出力が増幅される出力アンプの出力に対しては、デジタル信号処理により、線形的に出力が増幅される出力アンプの出力と同じ信号レベルとなるように変換処理が行われる。また、輝度が高いときには、対数関数的に出力が増幅される出力アンプを有する光センサ６５、６６および６７が読み出される（図１５の読み出される光センサ（ｂ）参照）。

また、被写体の動体速度情報に応じて読み出す光センサを異ならせる場合、図５に示すように、デジタル信号処理部２３内の動体速度情報取得部２８において、現在撮像が行われようとしているフレーム（画面）よりも以前の複数のフレーム間を撮像する際に取得された光センサに入力した信号を基に被写体の動体速度情報が取得される。次に、固体撮像装置１０５のユーザーによって設定される閾値に基づいて、動体速度が遅いときには、線形的に出力が増幅される出力アンプを有する光センサ６２、６３および６４と、対数関数的に出力が増幅される出力アンプを有する光センサ６５、６６および６７との両方が読み出される（図１５の読み出される光センサ（ａ）参照）。なお、対数関数的に出力が増幅される出力アンプの出力に対しては、デジタル信号処理により、線形的に出力が増幅される出力アンプの出力と同じ信号レベルとなるように変換処理が行われる。また、動体速度が速いときには、対数関数的に出力が増幅される出力アンプを有する光センサ６５、６６および６７が読み出される（図１５の読み出される光センサ（ｂ）参照）。

また、フレームレート情報に応じて読み出す光センサを異ならせる場合、図８に示すように、デジタル信号処理部３３内のフレームレート情報取得部３８において、被写体の撮像に適したフレームレート情報が取得される。被写体の撮像に低いフレームレートが要求されたとときには、線形的に出力が増幅される出力アンプを有する光センサ６２、６３および６４と、対数関数的に出力が増幅される出力アンプを有する光センサ６５、６６および６７との両方が読み出される（図１５の読み出される光センサ（ａ）参照）。なお、対数関数的に出力が増幅される出力アンプの出力に対しては、デジタル信号処理により、線形的に出力が増幅される出力アンプの出力と同じ信号レベルとなるように変換処理が行われる。また、被写体の撮像に高いフレームレートが要求されたときには、対数関数的に出力が増幅される出力アンプを有する光センサ６５、６６および６７が読み出される（図１５の読み出される光センサ（ｂ）参照）。

第６実施形態では、上記のように、線形的に出力が増幅される出力アンプを有する光センサ６２、６３および６４と、対数関数的に出力が増幅される出力アンプを有する光センサ６５、６６および６７とを備えることにより、被写体の輝度が低いときは、線形的に出力が増幅される出力アンプを有する光センサ６２、６３および６４と対数関数的に出力が増幅される出力アンプを有する光センサ６５、６６および６７との両方の信号を読出し、被写体の輝度が高いときは、対数関数的に出力が増幅される出力アンプを有する光センサ６５、６６および６７を読み出すように構成することができる。これにより、被写体の輝度が低いときには、高い解像度の画像を得ることができるとともに、被写体の輝度が高いときには、輝度が高いことにより出力アンプによって出力が過度に増幅されてしまう現象（白とび）を抑制することができる。

また、第６実施形態では、上記のように、線形的に出力が増幅される出力アンプを有する光センサ６２、６３および６４と、対数関数的に出力が増幅される出力アンプを有する光センサ６５、６６および６７とを備えることにより、被写体の動体速度が遅いときは、線形的に出力が増幅される出力アンプを有する光センサ６２、６３および６４と対数関数的に出力が増幅される出力アンプを有する光センサ６５、６６および６７との両方の信号を読み出し、被写体の動体速度が速いときは、対数関数的に出力が増幅される出力アンプを有する光センサ６５、６６および６７の信号を読み出すように構成することができる。これにより、被写体の動体速度が遅いときには、高い解像度の画像を得ることができるとともに、被写体の動体速度が速いときには、対数関数的に出力が増幅される出力アンプを有する光センサ６５、６６および６７のみ読み出すことにより読み出し時間が短いことによって動体速度が速い被写体の撮像ができる。

また、第６実施形態では、上記のように、線形的に出力が増幅される出力アンプを有する光センサ６２、６３および６４と、対数関数的に出力が増幅される出力アンプを有する光センサ６５、６６および６７とを備えることにより、低いフレームレートが要求されたときは、線形的に出力が増幅される出力アンプを有する光センサ６２、６３および６４と対数関数的に出力が増幅される出力アンプを有する光センサ６５、６６および６７との両方の信号を読み出し、高いフレームレートが要求されたときには、対数関数的に出力が増幅される出力アンプを有する光センサ６５、６６および６７の信号を読み出すように構成することができる。これにより、低いフレームレートが要求されたときには、高い解像度の画像を得ることができるとともに、高いフレームレートが要求されたときには、対数関数的に出力が増幅される出力アンプを有する光センサ６５、６６および６７のみ読み出すことにより読み出し時間が短いことによって高いフレームレートの撮像ができる。

（第７実施形態）
図１８は、本発明の第７実施形態による固体撮像素子上に配置された感度の異なるレンズを備えた光センサとレンズを備えない光センサとの配置図である。図１、図５、図８および図１８を参照して、この第７実施形態では、上記第１実施形態〜第６実施形態と異なり、感度の異なるレンズを備えた光センサとレンズを備えない光センサとを含む固体撮像装置１０６の構成について説明する。

この第７実施形態による固体撮像装置１０６の構成は、図１、図５および図８に示す第１実施形態、第２実施形態および第３実施形態の構成において、固体撮像素子１１、２１および３１に含まれる高感度光センサ１４、２４および３４、中感度光センサ１５、２５、および３５、および、低感度光センサ１６、２６および３６を、後述する高感度のレンズを備えた光センサ７２と、低感度のレンズを備えた光センサ７３と、レンズを備えない光センサ７４とに置き換えたものとなっている。

また、図１８に示すように、固体撮像素子７１上には、高感度のレンズを備えた光センサ７２、低感度のレンズを備えた光センサ７３およびレンズを備えない光センサ７４がマトリクス状に配置されており、それぞれの光センサは、混在している。なお、高感度のレンズを備えた光センサ７２、低感度のレンズを備えた光センサ７３およびレンズを備えない光センサ７４は、それぞれ、本発明の「光センサ」の一例である。また、第７実施形態では、高感度のレンズを備えた光センサ７２の数よりもレンズを備えない光センサ７４の数を多く配置するとともに、高感度のレンズを備えた光センサ７２の数とレンズを備えない光センサ７４の数との間の数の低感度のレンズを備えた光センサ７３を配置する。

図１９は、本発明の第７実施形態による被写体情報に応じて読み出される光センサを示す図である。次に、図１、図５、図８および図１９を用いて、本発明の第７実施形態による固体撮像装置１０６の動作について説明する。

まず、被写体の輝度情報に応じて読み出す光センサを異ならせる場合、図１に示すように、デジタル信号処理部１３内の輝度情報取得部１８において、現在撮像が行われようとしているフレーム（画面）よりも１フレーム前を撮像する際に取得された１フレーム分の光センサに入力した信号の平均値を計算して被写体の輝度情報が取得される。ここで、第７実施形態では、固体撮像装置１０６のユーザーによって設定される閾値に基づいて、輝度が低いときには、高感度のレンズを備えた光センサ７２が読み出される（図１９の読み出される光センサ（ａ）参照）。また、輝度が中程度のときには、低感度のレンズを備えた光センサ７３が読み出される（図１９の読み出される光センサ（ｂ）参照）。また、輝度が高いときには、レンズを備えない光センサ７４が読み出される（図１９の読み出される光センサ（ｃ）参照）。

また、被写体の動体速度情報に応じて読み出す光センサを異ならせる場合、図５に示すように、デジタル信号処理部２３内の動体速度情報取得部２８において、現在撮像が行われようとしているフレーム（画面）よりも以前の複数のフレーム間を撮像する際に取得された光センサに入力した信号を基に被写体の動体速度情報が取得される。次に、固体撮像装置１０６のユーザーによって設定される閾値に基づいて、動体速度が速いときには、高感度のレンズを備えた光センサ７２が読み出される（図１９の読み出される光センサ（ａ）参照）。また、動体速度が中程度のときには、低感度のレンズを備えた光センサ７３が読み出される（図１９の読み出される光センサ（ｂ）参照）。また、動体速度が遅いときには、レンズを備えない光センサ７４が読み出される（図１９の読み出される光センサ（ｃ）参照）。なお、高感度のレンズを備えた光センサ７２は、レンズを備えない光センサ７４に比べて感度が高いので、レンズを備えない光センサ７４に比べて露光時間を短くすることが可能である。また、低感度のレンズを備えた光センサ７３の露光時間は、高感度のレンズを備えた光センサ７２の露光時間と、レンズを備えない光センサ７４の露光時間との間の長さとなる。

また、フレームレート情報に応じて読み出す光センサを異ならせる場合、図８に示すように、デジタル信号処理部３３内のフレームレート情報取得部３８において、被写体の撮像に適したフレームレート情報が取得される。被写体の撮像に高いフレームレートが要求されたときには、高感度のレンズを備えた光センサ７２が読み出される（図１９の読み出される光センサ（ａ）参照）。また、中程度のフレームレートが要求されたときには、低感度のレンズを備えた光センサ７３が読み出される（図１９の読み出される光センサ（ｂ）参照）。また、被写体の撮像に低いフレームレートが要求されたときには、レンズを備えない光センサ７４が読み出される（図１９の読み出される光センサ（ｃ）参照）。

第７実施形態では、上記のように、高感度のレンズを備えた光センサ７２と、低感度のレンズを備えた光センサ７３と、レンズを備えない光センサ７４とを備えることにより、被写体の輝度が低いときは高感度のレンズ７２を備えた光センサの信号を読み出し、被写体の輝度が中程度のときは低感度のレンズを備えた光センサ７３の信号を読み出し、被写体の輝度が高いときはレンズを備えない光センサ７４を読み出すように構成することができる。これにより、被写体の輝度が低いときには高い感度の画像を得ることができ、被写体の輝度が中程度のときには中程度の感度と中程度の解像度の画像を得ることができ、被写体の輝度が高いときには高い解像度の画像を得ることができる。

また、第７実施形態では、上記のように、高感度のレンズを備えた光センサ７２と、低感度のレンズを備えた光センサ７３と、レンズを備えない光センサ７４とを備えることにより、被写体の動体速度が速いときは高感度のレンズを備えた光センサ７２の信号を読み出し、被写体の動体速度が中程度のときは低感度のレンズを備えた光センサ７３の信号を読み出し、被写体の動体速度が遅いときはレンズを備えない光センサ７４の信号を読み出すように構成することができる。これにより、被写体の動体速度が速いときは高感度のレンズを備えた光センサ７２の露光時間が短いことにより、動体速度が速い被写体の撮像ができる。また、被写体の動体速度が中程度のときには動体速度が中程度の被写体の撮像ができるとともに中程度の解像度の画像を得ることができる。また、被写体の動体速度が遅いときには、レンズを備えない光センサ７４の数が高感度のレンズを備えた光センサ７２および低感度のレンズを備えた光センサ７３の数よりも多いことにより高い解像度の画像を得ることができる。

また、第７実施形態では、上記のように、高感度のレンズを備えた光センサ７２と、低感度のレンズを備えた光センサ７３と、レンズを備えない光センサ７４とを備えることにより、高いフレームレートが要求されたときは高感度のレンズを備えた光センサ７２の信号を読み出し、中程度のフレームレートが要求されたときは低感度のレンズを備えた光センサ７３の信号を読み出し、低いフレームレートが要求されたときはレンズを備えない光センサ７４の信号を読み出すように構成することができる。これにより、高いフレームレートが要求されたときは高感度のレンズを備えた光センサ７２の露光時間が短いことと、配置された光センサの数が少なく、読み出し時間の短縮が可能なことにより、高いフレームレートの画像を得ることができる。また、中程度のフレームレートが要求されたときには中程度のフレームレートの画像が得られるとともに中程度の解像度の画像を得ることができる。また、低いフレームレートが要求されたときには、レンズを備えない光センサ７４の数が高感度のレンズを備えた光センサ７２および低感度のレンズを備えた光センサ７３の数よりも多いことにより高い解像度の画像を得ることができる。

（第８実施形態）
図２０は、本発明の第８実施形態による固体撮像素子上の１フレーム内の輝度の分布を表す図である。図１、図２および図２０を参照して、この第８実施形態では、上記第１実施形態〜第７実施形態と異なり、各光センサ単位で輝度情報を取得する固体撮像装置１０７の構成について説明する。

この第８実施形態による固体撮像装置１０７の構成および感度特性の異なる光センサ１４、１５および１６の配置は、図１および図２に示す第１実施形態の構成と同様である。

図２１は、本発明の第８実施形態による感度特性の異なる光センサの読み出しの選択を表す図である。次に、図１、図２０および図２１を用いて、本発明の第８実施形態による固体撮像装置１０７の動作について説明する。

図１に示すように、デジタル信号処理部１３内の輝度情報取得部１８において、現在撮像が行われようとしているフレーム（画面）よりも１フレーム前を撮像する際に取得された個々の光センサに入力した信号に基づいて被写体の輝度情報が取得される。ここで、第８実施形態では、固体撮像装置１０７のユーザーによって設定される閾値に基づいて、固体撮像素子８１上の輝度が低い領域８２（図２０参照）では高感度光センサ１４が読み出され（図２１参照）、輝度が中程度の領域８３（図２０参照）では中感度光センサ１５が読み出され（図２１参照）、輝度が高い領域８４（図２０参照）では低感度光センサ１６が読み出される（図２０参照）。なお、カラー処理に必要な十分な所定の感度特性を有する光センサがない領域では、周りに存在する、所定の感度特性を有する光センサとは異なる感度特性を有する光センサに入力される信号量から推測することにより、画像を得ることが可能となる。

第８実施形態では、上記のように、被写体情報は、各光センサ１４、１５および１６ごとに取得され、被写体情報に応じて所定の感度特性の光センサの信号を読み出すように構成することによって、固体撮像素子８１上の領域ごとに最適な所定の感度特性の光センサ１４、１５および１６の信号を読み出すことができるので、１つの感度特性の光センサだけの信号を読み出すように構成する場合に比べて、より質のよい画像を得ることができる。たとえば、輝度に関する被写体情報により、固体撮像素子１１上に設定された領域毎に最適な感度特性の光センサ１４、１５および１６の信号を読み出すことにより、１画面内で複数の感度特性の光センサの信号を読み出すので、固体撮像装置１０７のダイナミックレンジを広くすることができる。また、被写体情報を動体速度やフレームレート情報として、最適な信号を読み出すことにより、１画面の内で複数の異なる光センサの信号を読み出すので、たとえば、高いフレームレートと低いフレームレートとが混在する画像や、長い露光時間による画像と短い露光時間による画像とが混在する画像などの、１画面の内の領域毎の被写体情報に応じた質のよい画像を得ることができる。

なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。

たとえば、上記第１実施形態〜第８実施形態では、被写体情報の取得をデジタル信号処理部によって行う例を示したが、本発明はこれに限らず、被写体情報の取得をアナログ信号処理部によって行ってもよい。

また、上記第１実施形態〜第３実施形態、第７実施形態および第８実施形態では、高感度光センサ、中感度光センサおよび低感度光センサにカラーフィルターを装着しない例を示したが、本発明はこれに限らず、高感度光センサ、中感度光センサおよび低感度光センサに原色カラーフィルターや補色カラーフィルターを装着してもよい。

また、上記第１実施形態〜第７実施形態では、複数の感度特性を有する光センサの内の１つの感度特性の光センサの信号を読み出す例を示したが、本発明はこれに限らず、２つ以上の感度特性の光センサの信号を読み出してもよい。

また、上記第１実施形態〜第８実施形態では、複数の感度特性を有する光センサは、固体撮像装置に対して水平方向と垂直方向とにマトリクス状に配置された例を示したが、本発明はこれに限らず、図２２に示す変形例のように、固体撮像装置に対して約４５°回転させて配置し、水平方向と垂直方向との解像度を向上させた配列にしてもよい。

本発明の第１実施形態による固体撮像装置の構成の概略図である。 本発明の第１実施形態による固体撮像素子上に配置された感度特性の異なる光センサの配置図である。 本発明の第１実施形態による感度特性の異なる光センサの読み出しの選択を表す図である。 本発明の第１実施形態による輝度に応じて読み出される光センサを示す図である。 本発明の第２実施形態による固体撮像装置の構成の概略図である。 本発明の第２実施形態による感度特性の異なる光センサの読み出しの選択を表す図である。 本発明の第２実施形態による被写体の動体速度に応じて読み出される光センサを示す図である。 本発明の第３実施形態による固体撮像装置の構成の概略図である。 本発明の第３実施形態によるフレームレートに応じて読み出される光センサを示す図である。 本発明の第４実施形態による固体撮像素子上に配置された電子増倍を有する光センサと電子増倍を有しない光センサの配置図である。 本発明の第４実施形態による被写体情報に応じて読み出される光センサを示す図である。 本発明の第５実施形態による固体撮像素子上に配置された大きさの異なる光センサの配置図である。 本発明の第５実施形態による被写体情報に応じて読み出される光センサを示す図である。 本発明の第６実施形態による固体撮像素子上に配置された、線形的に出力が増幅される出力アンプを有する光センサと、対数関数的に出力が増幅される出力アンプを有する光センサとの配置図である。 本発明の第６実施形態による被写体情報に応じて読み出される光センサを示す図である。 本発明の第６実施形態による線形的に出力が増幅される出力アンプの輝度と出力との関係を表す図である。 本発明の第６実施形態による対数関数的に出力が増幅される出力アンプの輝度と出力との関係を表す図である。 本発明の第７実施形態による固体撮像素子上に配置された感度の異なるレンズを備えた光センサとレンズを備えない光センサとの配置図である。 本発明の第７実施形態による被写体情報に応じて読み出される光センサを示す図である。 本発明の第８実施形態による固体撮像素子上の１フレーム内の輝度の分布を表す図である。 本発明の第８実施形態による感度特性の異なる光センサの読み出しの選択を表す図である。 本発明の第１実施形態〜第８実施形態の変形例による光センサの配置図である。

符号の説明

１１、２１、３１、４１、５１、６１、７１、８１ 固体撮像素子
１４、２４、３４ 高感度光センサ（第２光センサ）
１５、２５、３５ 中感度光センサ（第３光センサ）
１６、２６、３６ 低感度光センサ（第１光センサ）
４２ 光センサ（電子増倍を有する赤のカラーフィルターを備えた光センサ）
４３ 光センサ（電子増倍を有する緑のカラーフィルターを備えた光センサ）
４４ 光センサ（電子増倍を有する青のカラーフィルターを備えた光センサ）
４５ 光センサ（電子増倍を有しない赤のカラーフィルターを備えた光センサ）
４６ 光センサ（電子増倍を有しない緑のカラーフィルターを備えた光センサ）
４７ 光センサ（電子増倍を有しない青のカラーフィルターを備えた光センサ）
５２ 光センサ（赤、緑、青のいずれかのカラーフィルターを備えた大きさが大きい光センサ）
５３ 光センサ（赤、緑、青のいずれかのカラーフィルターを備えた大きさが中程度の光センサ）
５４ 光センサ（赤のカラーフィルターを備えた大きさが小さい光センサ）
５５ 光センサ（緑のカラーフィルターを備えた大きさが小さい光センサ）
５６ 光センサ（青のカラーフィルターを備えた大きさが小さい光センサ）
６２ 光センサ（線形的に出力が増幅される出力アンプを有する赤のカラーフィルターを備えた光センサ）
６３ 光センサ（線形的に出力が増幅される出力アンプを有する緑のカラーフィルターを備えた光センサ）
６４ 光センサ（線形的に出力が増幅される出力アンプを有する青のカラーフィルターを備えた光センサ）
６５ 光センサ（対数関数的に出力が増幅される出力アンプを有する赤のカラーフィルターを備えた光センサ）
６６ 光センサ（対数関数的に出力が増幅される出力アンプを有する緑のカラーフィルターを備えた光センサ）
６７ 光センサ（対数関数的に出力が増幅される出力アンプを有する青のカラーフィルターを備えた光センサ）
７２ 光センサ（高感度のレンズを備えた光センサ）
７３ 光センサ（低感度のレンズを備えた光センサ）
７４ 光センサ（レンズを備えない光センサ）

Claims (6)

1. 感度特性の異なる複数の光センサを備え、
   被写体情報に応じて、所定の感度特性の前記光センサの信号を読み出すように構成されている、固体撮像装置。
2. 前記被写体情報は、被写体の輝度、被写体の動体速度および被写体の撮像に適した単位時間当りに更新される画面数のうち少なくとも１つである、請求項１に記載の固体撮像装置。
3. 前記感度特性の異なる光センサは、前記光センサの電子増倍の有無、前記光センサの大きさ、前記光センサの出力信号を増幅する出力アンプの特性および前記光センサに含まれるレンズの種類の少なくともいずれかを異ならせることによって感度特性が異なる、請求項１に記載の固体撮像装置。
4. 前記感度特性の異なる光センサの数が、それぞれ異なる比率になるように構成され、前記被写体情報に応じて比率の異なる所定の感度特性の前記光センサの信号を読み出す、請求項１〜３のいずれか１項に記載の固体撮像装置。
5. 前記感度特性の異なる光センサからなる固体撮像素子は、前記被写体情報により、前記固体撮像素子上に設定された領域毎に所定の感度特性の前記光センサを読み出すように構成されている、請求項１〜４のいずれか１項に記載の固体撮像装置。
6. 前記複数の光センサは、
   第１の感度を有する第１光センサと、
   前記第１の感度よりも大きい第２の感度を有する第２光センサと、
   前記第１の感度と、前記第２の感度との間の大きさの第３の感度を有する第３光センサとを含み、
   前記被写体情報に応じて、前記第１光センサ、前記第２光センサおよび前記第３光センサのうちの少なくとも１つの信号が読み出されるように構成されている、請求項１〜５のいずれか１項に記載の固体撮像装置。

Images