JP2010130343A - 撮像装置及びその駆動制御方法 - Google Patents

Abstract

【課題】ダイナミックレンジを拡大した被写体画像を得る場合でもスミアの影響が小さな高品質な画像を得る。
【解決手段】長露光時間の撮影を行う複数の第１画素と該長露光時間の一部分に重複する短露光時間の撮影を行う複数の第２画素とが混在して二次元アレイ状に配列形成される共に前記第１画素，第２画素で構成される複数の画素列の各々に沿って電荷転送路が形成された固体撮像素子と、前記第１画素の露光開始及び露光終了と前記第２画素の露光開始及び露光終了の夫々の動作タイミングを制御する複数の異なる駆動制御モード（図５（ａ）と図５（ｂ））が予め用意され被写体の撮影を行うときの撮影条件に応じて複数の前記駆動制御モードのうちのいずれかを選択して前記固体撮像素子を駆動する撮像素子駆動手段とを備える。
【選択図】図５

Description

本発明は、広ダイナミックレンジの被写体画像を撮像することができる撮像装置及びその駆動制御方法に関する。

広ダイナミックレンジの被写体画像を撮像する撮像装置として、例えば下記の特許文献１記載のものがある。この従来の撮像装置は、ＣＣＤ型の固体撮像素子を備え、全画素を用いて短露光時間撮影を行うと共に、これに連続し全画素を用いて長露光時間撮影を行い、両撮影で得られた画像データを加算することで、被写体画像のダイナミックレンジを広げている。

しかし、この従来の撮像装置では、短露光時間撮影と長露光時間撮影とが時間的に重ならないため、短露光時間撮影による撮像画像と長露光時間撮影による撮像画像との間に時間的なズレが生じてしまう。

これに対し、下記の特許文献２記載の撮像装置では、ＣＣＤ型固体撮像素子の全画素を１行置きに、高感度撮影用画素と低感度撮影用画素とに分け、高感度撮影用画素を長時間露光し、この長時間露光中の短時間だけ低感度撮影用画素を露光し、両方の画素で得られた被写体画像を加算合成することで、被写体画像のダイナミックレンジを広げている。

この撮像装置では、長露光時間と短露光時間とが重なるため、両撮像画像間に時間的なズレは生じない。しかし、短時間露光のシャッタ時間と長時間露光のシャッタ時間とを両方共に電子シャッタで制御しているため、短露光時間の終了で垂直電荷転送路に読み出した信号電荷を、長露光時間の終了までの間に垂直電荷転送路上に待機させている時間が長くなると、短露光時間による撮像信号中に含まれるスミア成分が多くなってしまう。

特開２００３―２１９２８１号公報 特開２００７―２３５６５６号公報

固体撮像素子の画素を、長露光時間用の画素と短露光時間用の画素とに分け、長露光時間による撮像画像とこの長露光時間に重なる短露光時間による撮像画像とを合成する撮像装置の場合、メカニカルシャッタを電子シャッタに併用することで、スミアを減らすことができる。

しかし、メカニカルシャッタは、機械的シャッタのため精度的限界があり、電子シャッタとの組み合わせ方法を撮影条件に合わせて最適に設定する必要がある。

例えば、１０００分の１秒まで動作保証されたメカニカルシャッタを用いて短露光時間をメカニカルシャッタで露光終了する場合、１０００分の１秒以下の短露光時間を精度良く実現することができない。また、「短露光時間：長露光時間＝１：１０」を実現する場合、短露光時間の実施限界が１０００分の１秒のため、長露光時間は１００分の１秒が限界となり、これ以下の長露光時間を実現することができなくなってしまう。

本発明の目的は、メカニカルシャッタと電子シャッタとを撮影条件に合わせて適切に切換設定し、ダイナミックレンジを拡大した被写体画像を得る場合でもスミアの影響が小さな高品質な画像を得ることができる撮像装置及びその駆動制御方法を提供することにある。

本発明の撮像装置は、長露光時間の撮影を行う複数の第１画素と該長露光時間の一部分に重複する短露光時間の撮影を行う複数の第２画素とが混在して二次元アレイ状に配列形成される共に前記第１画素，第２画素で構成される複数の画素列の各々に沿って電荷転送路が形成された固体撮像素子と、前記第１画素の露光開始及び露光終了と前記第２画素の露光開始及び露光終了の夫々の動作タイミングを制御する複数の異なる駆動制御モードが予め用意され被写体の撮影を行うときの撮影条件に応じて複数の前記駆動制御モードのうちのいずれかを選択して前記固体撮像素子を駆動する撮像素子駆動手段とを備える。

本発明の撮像装置の駆動制御方法は、長露光時間の撮影を行う複数の第１画素と該長露光時間の一部分に重複する短露光時間の撮影を行う複数の第２画素とが混在して二次元アレイ状に配列形成される共に前記第１画素，第２画素で構成される複数の画素列の各々に沿って電荷転送路が形成された固体撮像素子を搭載した撮像装置の駆動制御方法であって、前記第１画素の露光開始及び露光終了と前記第２画素の露光開始及び露光終了の夫々の動作タイミングを制御する複数の異なる駆動制御モードが予め用意され被写体の撮影を行うときの撮影条件に応じて複数の前記駆動制御モードのうちのいずれかを選択することを特徴とする。

本発明によれば、ダイナミックレンジを拡大した被写体画像を得る場合でもスミアの影響が小さな高品質な画像を得ることができる。

以下、本発明の実施形態について、図面を参照して説明する。

図１は、本実施形態の撮像装置のブロック構成図である。この撮像装置（この例ではデジタルスチルカメラ）１０は、ＣＣＤ型の固体撮像素子１１と、固体撮像素子１１の前段に置かれたメカニカルシャッタ１２，撮影レンズ１３，絞り（アイリス）１４と、固体撮像素子１１の出力信号（撮像画像信号）をアナログ信号処理するＣＤＳＡＭＰ（相関二重サンプリング（ＣＤＳ），利得制御増幅器（ＡＭＰ））１５と、ＣＤＳＡＭＰ１５の出力信号をデジタル信号に変換するアナログデジタル（Ａ／Ｄ）変換器１６とを備える。

撮像装置１０は、更に、Ａ／Ｄ変換器１６から出力されるデジタル信号でなる撮像画像信号を取り込む画像入力コントローラ２１と、この撮像装置１０の全体を統括制御する演算処理装置（ＣＰＵ）２２と、撮像画像信号を画像処理する画像信号処理回路２３と、露光量，ホワイトバランスを自動検出するＡＥ＆ＡＷＢ検出回路２４と、画像処理用ワークメモリとして使用したり後述の撮像素子駆動信号ファイルを予め保存しておく記憶手段としてのＳＤＲＡＭ２５と、画像処理後の撮像画像データをＪＰＥＧ画像やＭＰＥＧ画像等に圧縮する圧縮処理回路２６と、カメラ背面等に設けられた液晶表示装置２７に撮像画像やスルー画像を表示するビデオエンコーダ２８と、記録メディア２９に撮像画像データを保存するメディアコントローラ３０と、これらを相互接続するバス３１とを備える。

この撮像装置１０は、更に、メカニカルシャッタ１２の駆動モータ１２ａに駆動パルスを供給するモータドライバ３４と、撮影レンズ１３のフォーカスレンズ位置を駆動するモータ１３ａに駆動パルスを供給するモータドライバ３５と、絞り１４の絞り位置制御を行う駆動モータ１４ａに駆動パルスを供給するモータドライバ３６と、固体撮像素子１１に駆動タイミングパルス（電子シャッタパルス，読み出しパルス，転送パルス等）を供給するタイミングジェネレータ３７とを備え、これらは、ＣＰＵ２２から指令に基づいて動作する。また、ＣＤＳＡＭＰ１５もＣＰＵ２２からの指令に基づいて動作する。

ＣＰＵ２２には、更に、撮影モード／再生モードを切り換えるスイッチ３８と、２段シャッタ（Ｓ１，Ｓ２）のシャッタレリーズボタン３９とが接続され、これらスイッチ３８，３９から入力されるユーザ指示に基づき、ＣＰＵ２２は撮像装置１０を制御する。

図２は、図１に示すＣＣＤ型の固体撮像素子１１の表面模式図である。この固体撮像素子１１には、半導体基板の表面部に、複数のフォトダイオード（図中、８角形で示す部分であり、以下、画素ともいう。）４１が二次元アレイ状、図示する例では市松状に配列形成されている。

偶数行のフォトダイオード群を「画素群Ａ」とし、奇数行のフォトダイオード群を「画素群Ｂ」としたとき、画素群Ａと画素群Ｂとは、１／２画素ピッチづつずらして形成され、全体として、所謂ハニカム画素配列となっている。

画素群Ａだけ見れば各画素４１は正方格子配列され、各画素上に、赤（Ｒ），緑（Ｇ），青（Ｂ）の三原色のカラーフィルタがベイヤ配列されている。画素群Ｂだけ見ても各画素４１は正方格子配列され、各画素上に、赤（ｒ），緑（ｇ），青（ｂ）の三原色のカラーフィルタがベイヤ配列されている。「Ｒ，Ｇ，Ｂ」と「ｒ，ｇ，ｂ」は夫々同じ色であるが、画素群Ａと画素群Ｂとを識別するために、カラーフィルタの色を大文字と小文字で区別して表している。

各画素列に沿って垂直電荷転送路（ＶＣＣＤ）４２が蛇行して形成され、各垂直電荷転送路４２の転送方向端部に沿って水平電荷転送路（ＨＣＣＤ）４３が形成され、水平電荷転送路４３の出力端部には、転送されてきた信号電荷の電荷量に応じた電圧値信号を撮像画像信号として出力するアンプ４４が設けられている。

各画素４１には、１画素につき２枚の垂直転送電極が設けられており、この２枚の垂直転送電極のうち、図示する例では下側（ＨＣＣＤ４３側）の転送電極が読出電極兼用となっている。画素群Ａの読出電極には読出パルスＶＡが共通に印加され、画素群Ｂの読出電極には読出パルスＶＢが印加される接続構成となっている。即ち、図中に黒矢印で示した方向に各画素４１の蓄積電荷（信号電荷）が読み出され、読出電極下に形成された電位井戸内に信号電荷が移される。

以下、画素群Ａを長露光時間用の画素とし、画素群Ｂを短露光時間用の画素として説明する。

図３は、図１に示す撮像装置１０が広ダイナミックレンジの被写体画像を撮像するときの撮像素子駆動手段の機能構成図である。メモリ（ＳＤＲＡＭ）２５には、固体撮像素子１１を駆動する駆動信号ファイルとして、予め複数種類のファイルが、ファイルａ（２５ａ），ファイルｂ（２５ｂ），ファイルｃ（２５ｃ）として用意されている。

固体撮像素子１１は、シャッタレリーズボタンが押下されない状態でも１秒間に所定フレーム数の画像データを出力しており、画像信号処理回路２３はこの画像データを逐次信号処理し、画像表示装置２７にスルー画像として表示している。ＡＥ＆ＡＷＢ検出回路２４は、固体撮像素子１１から取り込んだスルー画像用の画像データを解析し、露光時間算出部２４ａが露光量に応じた露光時間を算出している。

本実施形態の撮像装置１０では、この露光時間を画素群Ａ用の露光時間（長露光時間）とし、露光時間算出部２４ｂは、この長露光時間に対する短露光時間を算出する。短露光時間は、ユーザが指定入力したダイナミックレンジ幅、あるいは撮像装置１０がスルー画像データを解析して自動的に定めたダイナミックレンジ幅に応じて時間比「長露光時間：短露光時間＝ｎ：１」を定め、この時間比により短露光時間を算出する。

ＣＰＵ２２の駆動方法選択部２２ａは、ＡＥ＆ＡＷＢ検出回路２４が算出した長露光時間，短露光時間の算出結果に基づき、メモリ２５内の上記ファイルａ，ｂ，ｃのいずれかを選択し、選択したファイルのデータをタイミングジェネレータ３７に出力させる。

タイミングジェネレータ３７は、駆動信号展開部３７ａが、受け取ったファイル内の撮像素子駆動信号を展開し、駆動信号出力部３７ｂが撮像素子駆動パルスを生成して固体撮像素子１１に出力する。

図４は、図１に示す撮像装置１０の撮影手順を示すフローチャートである。ＡＥ＆ＡＷＢ検出回路２４は、上記説明では、ファイルａ，ｂ，ｃのうちの１つを撮影条件に応じて選択するものとして説明したが、図４では、説明を簡単にするため、ファイルａ，ｂの２つのうちの１つを選択するものとする。

先ず、ＣＰＵ２２は、２段シャッタでなるレリーズボタン３９が半押し状態すなわち第１スイッチＳ１が押下されたか否かを判定し（ステップＳ１）、半押しされた場合には次のステップＳ２に進み、測光を行う。この測光は、固体撮像素子１１からスルー画像として出力される画像データを取り込み、解析することで行う。

次のステップＳ３では、測光結果に基づいて、露出を決定する。即ち、画素群Ａの長露光時間（シャッタ速度）と絞り１４の開口量とを決定し、更に、画素群Ｂの短露光時間を決定する。

次のステップＳ４では、ステップＳ３で決定された短露光時間が所定閾値より短いか否かを判定し、判定結果に応じて処理を２分岐する。所定閾値は、搭載しているメカニカルシャッタ１２の動作精度を勘案して決める。

短露光時間が所定閾値より短い場合には、メカニカルシャッタによる高精度の露光終了を行うことができないと判断し、次にシャッタボタンが全押し状態すなわち第２スイッチＳ２が押下されるのを待機する（ステップＳ５）。Ｓ２スイッチが押下されない場合には、即ち、ユーザがシャッタボタンから指を離したり、Ｓ２スイッチ押下までに長時間を要するときはステップＳ１に戻り、ステップＳ２の測光をやり直す。

短露光時間が所定閾値より短く、且つ、シャッタボタンが全押しされた場合には、メモリ２５からファイルａ、即ち、詳細は後述するメカニカルシャッタによる短露光時間の終了を行わない駆動方法を選択し、ファイルａに基づく駆動制御により撮影を行う（ステップＳ６）。そして、撮像された画像データを、ＪＰＥＧデータにする等して記録メディア２９に保存し（ステップＳ７）、この処理を終了する。

ステップＳ４における判定結果が否定、即ち、短露光時間が所定閾値より長い場合には、ステップＳ５と同様の処理（Ｓ２スイッチ押下の待機）を行うステップＳ８に進む。

ステップＳ８でＳ２スイッチが押下されたと判断した場合には、メモリ２５からファイルｂ、即ち、詳細は後述するメカニカルシャッタによる短露光時間の終了を行う駆動制御方法を選択し、ファイルｂに基づく駆動制御により撮影を行う（ステップＳ９）。そして、撮像された画像データを、ＪＰＥＧデータにするなどしてステップＳ７で記録メディア２９に保存し、この処理を終了する。

図５（ａ）は、ファイルａによる駆動制御方法の動作タイミングチャートであり、図５（ｂ）は、ファイルｂによる駆動制御方法の動作タイミングチャートである。

「短露光時間＜所定閾値」の場合（図５（ａ）の場合）、メカニカルシャッタによる短露光時間の終了を行うより、電子的に露光時間を終了させる方が露光時間の制御精度が高くなる。また、露光時間は短いため、メカニカルシャッタを用いなくてもスミア混入が抑制される。

そこで、このファイルａでは、露光開始時刻ｋ１で電子シャッタパルス４５の印加を停止し、長露光時間用の画素群Ａと、短露光時間用の画素群Ｂの露光を開始する。これにより、図５（ａ）画素群Ａ，Ｂの各画素には電荷４６，４７が露光量に応じて蓄積される。

この露光と並行して、図２の垂直電荷転送路４２上の各転送電極に高速掃出パルス４８を印加し、垂直電荷転送路４２上の残留電荷の掃出を行う。この掃出は、短露光時間が短すぎると間に合わない場合があるので、図示するように、露光開始時刻ｋ１に先行して掃出を開始してもよい。

露光開始時刻ｋ１から短露光時間ｔ１が経過した時刻ｋ２では、図２に示す画素群Ｂの読出電極に読出パルス５１を印加する。これにより、画素群Ｂの各画素の蓄積電荷は、対応する垂直電荷転送路の読出電極下の電位井戸内に読み出される。蓄積電荷が垂直電荷転送路上に読み出された画素群Ｂの各画素には読出後にも露光が継続するため電荷５２が蓄積されるが、この電荷５２は、次の撮影時の電子シャッタパルス４５によって基板側に廃棄される。

短露光時間ｔ１が経過し、次に露光開始時刻ｋ１から長露光時間ｔ２が経過した時刻ｋ３で、メカニカルシャッタ１２が「閉」となる。これにより、画素群Ａの各画素の露光時間ｔ２が終了する。

次の時刻ｋ４で画素群Ａの読出電極に読出パルス５４が印加されると、画素群Ａの各画素の蓄積電荷が、対応する読出電極下の電位井戸内に読み出される。以後、垂直転送パルスが垂直電荷転送路４２に印加されると、画素群Ａの信号電荷と、既に垂直電荷転送路４２に読み出されている画素群Ｂの信号電荷とが、転送され、出力される。

画素群Ｂの各画素の信号電荷は、時刻ｋ２から時刻ｋ３までの間、メカニカルシャッタが「開」状態で垂直電荷転送路上で待機されるため、スミア電荷が混入する虞がある。しかし、短露光時間が短い場合にこのファイルａが採用され、短露光時間が短いときは対応する長露光時間も短いため、スミア電荷の混入は少なく、画質劣化に繋がる虞は小さい。

画素群Ａの各画素の信号電荷と、画素群Ｂの各画素の信号電荷とは、固体撮像素子１１から読み出され撮像画像信号となった後に画像処理時に加算合成されても、また、転送中に転送路上で加算合成されてもよく、広ダイナミックレンジの被写体画像データが得られる。

「短露光時間≧所定閾値」の場合（図５（ｂ）の場合）、メカニカルシャッタによって短露光時間の終了を行った方が、スミア混入が原理的になくなる。

そこで、このファイルｂでは、露光開始時刻ｋ１で電子シャッタパルス４５の印加を停止し、長露光時間用の画素群Ａと、短露光時間用の画素群Ｂの露光を開始する。これにより、図５（ａ）画素群Ａ，Ｂの各画素には電荷４６，４７が露光量に応じて蓄積される。

露光開始時刻ｋ１から所要時間（長露光時間ｔ２−短露光時間ｔ１）が経過した時刻ｋ２では、図２に示す画素群Ｂの読出電極に読出パルス５１を印加する。これにより、画素群Ｂの各画素の蓄積電荷は、対応する垂直電荷転送路の読出電極下の電位井戸内に読み出される。そして、この時刻ｋ２から、新たに、画素群Ｂの各画素に信号電荷５２が蓄積される。

時刻ｋ２から短露光時間ｔ１が経過（同時に、露光開始時刻ｋ１から長露光時間ｔ２が経過）した時刻ｋ３で、メカニカルシャッタ１２が「閉」となる。これにより、画素群Ａの長露光時間ｔ２が終了すると共に、画素群Ｂの短露光時間ｔ１が終了する。

この露光終了に先立って、図２の垂直電荷転送路４２上の各転送電極に高速掃出パルス４８を印加し、垂直電荷転送路４２上の残留電荷や時刻ｋ２で読み出された画素群Ｂの蓄積電荷の掃出を行う。

垂直電荷転送路の高速掃出が終了した後の時刻ｋ４で、画素群Ａの読出電極と画素群Ｂの読出電極とに同時に読出パルス５４が印加されると、画素群Ａの各画素の蓄積電荷と、画素群Ｂの各画素の蓄積電荷とが、対応する読出電極下の電位井戸内に読み出される。以後、垂直転送パルスが垂直電荷転送路４２に印加され、画素群Ａの信号電荷と、画素群Ｂの信号電荷とが、転送され、出力される。

画素群Ａの各画素の信号電荷と、画素群Ｂの各画素の信号電荷とは、固体撮像素子１１から読み出され撮像画像信号となった後に画像処理時に加算合成されても、また、転送中に転送路上で加算合成されてもよく、広ダイナミックレンジの被写体画像データが得られる。

本実施形態では、画素群Ａの信号電荷と、画素群Ｂの信号電荷とは、共に、メカニカルシャッタ「閉」の状態下で垂直電荷転送路に読み出され、転送されるため、スミアの混入が原理的にゼロとなり、高画質且つ広ダイナミックレンジの撮像画像を得ることができる。

図６は、ファイルｃによる駆動制御方法を示す動作タイミングチャートである。図４では、ファイルａとファイルｂの２者の切換制御について述べたが、ファイルａとファイルｂとファイルｃの３者の切換制御としても良く、また、ファイルａとファイルｃ，ファイルｂとファイルｃの２者の切換制御とすることも可能である。

ファイルａ（図５（ａ））による駆動制御方法が最も短い短露光時間の制御に好適であり、ファイルｂ（図５（ｂ））による駆動制御方法が長い短露光時間の制御に好適であるのに対し、このファイルｃによる駆動制御方法は、ファイルａ，ｂの中間の短露光時間の制御に向いており、メカニカルシャッタを露光終了制御には用いずに、短露光時間，長露光時間共に、電子的にシャッタを閉じる方法になっている。

先ず、電子シャッタパルス４５が時刻ｋ１で印加停止されると、画素群Ａ，Ｂ共に露光が開始され、長露光時間用の画素と短露光時間用の画素とに、電荷４６，４７が蓄積される。

露光開始時刻ｋ１から所要時間（長露光時間ｔ２−短露光時間ｔ１）が経過した時刻ｋ２では、図２に示す画素群Ｂの読出電極に読出パルス５１を印加する。これにより、画素群Ｂの各画素の蓄積電荷は、対応する垂直電荷転送路の読出電極下の電位井戸内に読み出される。そして、この時刻ｋ２から、新たに、画素群Ｂの各画素に信号電荷５２が蓄積される。時刻ｋ２で垂直電荷転送路に読み出された画素群Ｂの信号電荷は、時刻ｋ２後に垂直電荷転送路４２に印加される高速掃出パルス４８によって廃棄される。

時刻ｋ２から短露光時間ｔ１が経過（同時に、露光開始時刻ｋ１から長露光時間ｔ２が経過）し且つ高速掃出パルス４８後の時刻ｋ３で、垂直電荷転送路の画素群Ａ，Ｂの読出電極に読出パルス５４が印加されると、画素群Ａ，Ｂの各画素の蓄積電荷が対応読出電極下に形成された電位井戸内に読み出され、その直後の時刻ｋ４で、メカニカルシャッタ１２が「閉」となり、スミア電荷が混入しない状態で、垂直電荷転送路上の信号電荷の転送が行われ、上記同様に撮像画像信号が出力され、広ダイナミックレンジの被写体画像データが生成される。

このファイルｃでは、時刻ｋ２と時刻ｋ３の間で高速掃出パルス４８による垂直電荷転送路の掃き出しを行わなければならないが、垂直電荷転送路の転送段数が多いほど高速掃出に時間がかかり、所要時間が必要となる。

即ち、短露光時間ｔ１は、この高速掃出に必要となる時間より短くすることができないという制約があるため、短露光時間の更なる短い制御がファイルａより困難となる。しかし、両露光時間共に制御精度が高くできる電子シャッタで制御するため、ダイナミックレンジ幅、即ち、長露光時間に対する短露光時間の割合を高精度に制御でき、且つ、メカニカルシャッタ「閉」後に信号電荷の転送を行うため、スミア混入を避けることが容易となる。

尚、上述した各実施形態では、画素群Ａの各画素の信号電荷と、画素群Ｂの各画素の信号電荷とを、同時に転送し出力する所謂プログレッシブ読み出しを例に説明したが、メカニカルシャッタ「閉」後に転送を行うため、画素群Ａの信号電荷と、画素群Ｂの信号電荷とを別フィールドで転送し出力する駆動方法でも良いことは言うまでもない。

また、図４のステップＳ４では、短露光時間と所定閾値とを比較して駆動方法を選択したが、短露光時間に加え長露光時間も加味して駆動方法を選択しても良い。また、長露光時間と短露光時間の比は、要求されるダイナミックレンジ幅で決まるため、長露光時間だけによって駆動方法を選択することも可能である。

更に、上述した各実施形態では、画素配置が、図２に示される所謂ハニカム画素配置の固体撮像素子を例に説明したが、本発明はこれに限定されるものではない。例えば、図７（特許文献２の図１と同じ）に示す様に、各画素が正方格子状に配列された固体撮像素子６１にも適用可能である。

この固体撮像素子６１では、画素６２のうち一行置きの画素が長露光時間用の画素（大文字Ｒ，Ｇ，Ｂを記載した画素）とされ、残りの一行置きの画素が短露光時間用の画素（小文字ｒ，ｇ，ｂを記載した画素）となっている。長露光時間用の画素には３原色のカラーフィルタがベイヤ配列され、短露光時間用の画素にもカラーフィルタがベイヤ配列されている。

各画素列に沿って垂直電荷転送路６３が形成され、各垂直電荷転送路６３の転送方向端部に沿って、水平電荷転送路６４が形成され、その出力端部に、アンプ６５が形成されている。この固体撮像素子６１を搭載した撮像装置でも、図３〜図６の実施形態を適用することで、撮影条件，露出条件が異なるシーンでも、高品質且つ広ダイナミックレンジの被写体画像を得ることが可能となる。

上述した様に、本発明の各実施形態は、長露光時間の撮影を行う複数の第１画素と該長露光時間の一部分に重複する短露光時間の撮影を行う複数の第２画素とが混在して二次元アレイ状に配列形成される共に前記第１画素，第２画素で構成される複数の画素列の各々に沿って電荷転送路が形成された固体撮像素子と、前記第１画素の露光開始及び露光終了と前記第２画素の露光開始及び露光終了の夫々の動作タイミングを制御する複数の異なる駆動制御モードが予め用意され被写体の撮影を行うときの撮影条件に応じて複数の前記駆動制御モードのうちのいずれかを選択して前記固体撮像素子を駆動する撮像素子駆動手段とを備えることを特徴とする。

また、上記において、前記第１画素と前記第２画素とが同タイミングで露光開始し該第１画素と該第２画素とが異なるタイミングで露光終了となる第１駆動制御モードと、前記第１画素と前記第２画素とが異なるタイミングで露光開始し該第１画素と該第２画素とが同タイミングで露光終了となる第２駆動制御モードとが予め用意されていることを特徴とする。

また、上記において、前記撮影条件に基づき決定された短露光時間の長さと所定閾値との比較結果により前記駆動制御モードの選択を行うことを特徴とする。

また、上記において、前記撮影条件に基づき決定された長露光時間に基づき、または長露光時間と短露光時間の両方に基づき前記駆動制御モードの選択を行うことを特徴とする。

また、上記において、前記固体撮像素子の前段にメカニカルシャッタが搭載され、前記第１駆動制御モードの前記第１画素の露光終了と、前記第２駆動制御モードの前記第１画素及び前記第２画素の露光終了が前記メカニカルシャッタ「閉」で実行されることを特徴とする。

また、上記において、前記固体撮像素子の前段にメカニカルシャッタが搭載され、前記第１の画素の露光終了直後に該メカニカルシャッタが「閉」となることを特徴とする。

また、上記において、前記固体撮像素子の前段にメカニカルシャッタが搭載され、前記第１画素と前記第２画素とが同タイミングで露光開始し該第２画素が露光終了した後に前記第１画素が前記メカニカルシャッタ「閉」で露光終了となる第１駆動制御モードと、前記第１画素と前記第２画素とが異なるタイミングで露光開始し該第１画素と該第２画素とが前記メカニカルシャッタ「閉」で露光終了となる第２駆動制御モードと、前記第１画素と前記第２画素とが異なるタイミングで露光開始し該第１画素と該第２画素とが同タイミングで露光終了となり該露光終了後に前記メカニカルシャッタが「閉」となる第３駆動制御モードとを備えることを特徴とする。

また、上記において、被写体の撮影時に決定された短露光時間と所定閾値ｔ１，ｔ２（ｔ１＜ｔ２）とを比較し、短露光時間＜ｔ１のとき前記第１駆動制御モードを選択し、ｔ１≦短露光時間＜ｔ２のとき前記第３駆動制御モードを選択し、ｔ２≦短露光時間のとき前記第２駆動モードを選択することを特徴とする。

また、本発明の撮像装置の駆動制御方法は、長露光時間の撮影を行う複数の第１画素と該長露光時間の一部分に重複する短露光時間の撮影を行う複数の第２画素とが混在して二次元アレイ状に配列形成される共に前記第１画素，第２画素で構成される複数の画素列の各々に沿って電荷転送路が形成された固体撮像素子を搭載した撮像装置の駆動制御方法であって、前記第１画素の露光開始及び露光終了と前記第２画素の露光開始及び露光終了の夫々の動作タイミングを制御する複数の異なる駆動制御モードが予め用意され被写体の撮影を行うときの撮影条件に応じて複数の前記駆動制御モードのうちのいずれかを選択することを特徴とする。

本発明の各実施形態によれば、スミアが少なく高品質で且つダイナミックレンジの広い被写体画像を得ることができ、ダイナミックレンジの拡大時におけるユーザビリティを向上させることが可能となる。

本発明の撮像装置及びその駆動制御方法は、撮影条件，露出条件が異なるシーンでも、高品質且つ広ダイナミックレンジの被写体画像を得ることができるという効果を奏し、デジタルカメラやビデオカメラ，カメラ付携帯電話機等のデジタル電子機器等に適用すると有用である。

本発明の一実施形態の撮像装置のブロック構成図である。 図２は、図１に示す固体撮像素子の表面模式図である。 図１の撮像装置のうち広ダイナミックレンジの被写体画像を撮像するときの撮像素子駆動手段の機能構成図である。 図１に示すＣＰＵが実施する撮影手順を示すフローチャートである。 短露光時間＜所定閾値のときに選択され実施される駆動制御の動作タイミングチャート（ａ）と、短露光時間≧所定閾値のときに選択され実施される駆動制御の動作タイミングチャート（ｂ）である。 図５に示す駆動制御とは別の駆動制御を示す動作タイミングチャートである。 図２とは異なる実施形態の固体撮像素子の表面模式図である。

符号の説明

１１，６１ ＣＣＤ型の固体撮像素子
１２ メカニカルシャッタ
２２ ＣＰＵ
２３ 画像処理回路
２４ ＡＥ＆ＡＷＢ検出回路
２５ メモリ
４１，６２ 画素（フォトダイオード）
４２，６３ 垂直電荷転送路
４５ 電子シャッタパルス
４８ 高速掃出パルス
５１，５４ 読出パルス
ｔ１ 短露光時間
ｔ２ 長露光時間

Claims (9)

1. 長露光時間の撮影を行う複数の第１画素と該長露光時間の一部分に重複する短露光時間の撮影を行う複数の第２画素とが混在して二次元アレイ状に配列形成される共に前記第１画素，第２画素で構成される複数の画素列の各々に沿って電荷転送路が形成された固体撮像素子と、前記第１画素の露光開始及び露光終了と前記第２画素の露光開始及び露光終了の夫々の動作タイミングを制御する複数の異なる駆動制御モードが予め用意され被写体の撮影を行うときの撮影条件に応じて複数の前記駆動制御モードのうちのいずれかを選択して前記固体撮像素子を駆動する撮像素子駆動手段とを備える撮像装置。
2. 請求項１に記載の撮像装置であって、前記第１画素と前記第２画素とが同タイミングで露光開始し該第１画素と該第２画素とが異なるタイミングで露光終了となる第１駆動制御モードと、前記第１画素と前記第２画素とが異なるタイミングで露光開始し該第１画素と該第２画素とが同タイミングで露光終了となる第２駆動制御モードとが予め用意されている撮像装置。
3. 請求項１または請求項２に記載の撮像装置であって、前記撮影条件に基づき決定された短露光時間の長さと所定閾値との比較結果により前記駆動制御モードの選択を行う撮像装置。
4. 請求項１または請求項２に記載の撮像装置であって、前記撮影条件に基づき決定された長露光時間に基づき、または長露光時間と短露光時間の両方に基づき前記駆動制御モードの選択を行う撮像装置。
5. 請求項２に記載の撮像装置であって、前記固体撮像素子の前段にメカニカルシャッタが搭載され、前記第１駆動制御モードの前記第１画素の露光終了と、前記第２駆動制御モードの前記第１画素及び前記第２画素の露光終了が前記メカニカルシャッタ「閉」で実行される撮像装置。
6. 請求項１乃至請求項４のいずれかに記載の撮像装置であって、前記固体撮像素子の前段にメカニカルシャッタが搭載され、前記第１の画素の露光終了直後に該メカニカルシャッタが「閉」となる撮像装置。
7. 請求項１に記載の撮像装置であって、前記固体撮像素子の前段にメカニカルシャッタが搭載され、前記第１画素と前記第２画素とが同タイミングで露光開始し該第２画素が露光終了した後に前記第１画素が前記メカニカルシャッタ「閉」で露光終了となる第１駆動制御モードと、前記第１画素と前記第２画素とが異なるタイミングで露光開始し該第１画素と該第２画素とが前記メカニカルシャッタ「閉」で露光終了となる第２駆動制御モードと、前記第１画素と前記第２画素とが異なるタイミングで露光開始し該第１画素と該第２画素とが同タイミングで露光終了となり該露光終了後に前記メカニカルシャッタが「閉」となる第３駆動制御モードとを備える撮像装置。
8. 請求項７に記載の撮像装置であって、被写体の撮影時に決定された短露光時間と所定閾値ｔ１，ｔ２（ｔ１＜ｔ２）とを比較し、短露光時間＜ｔ１のとき前記第１駆動制御モードを選択し、ｔ１≦短露光時間＜ｔ２のとき前記第３駆動制御モードを選択し、ｔ２≦短露光時間のとき前記第２駆動モードを選択する撮像装置。
9. 長露光時間の撮影を行う複数の第１画素と該長露光時間の一部分に重複する短露光時間の撮影を行う複数の第２画素とが混在して二次元アレイ状に配列形成される共に前記第１画素，第２画素で構成される複数の画素列の各々に沿って電荷転送路が形成された固体撮像素子を搭載した撮像装置の駆動制御方法であって、前記第１画素の露光開始及び露光終了と前記第２画素の露光開始及び露光終了の夫々の動作タイミングを制御する複数の異なる駆動制御モードが予め用意され被写体の撮影を行うときの撮影条件に応じて複数の前記駆動制御モードのうちのいずれかを選択することを特徴とする撮像装置の駆動制御方法。

Images