JP2011232658A - Ｃｍｏｓ型固体撮像素子を搭載した撮像装置及びそのプリ発光制御方法並びにフラッシュ発光量調光方法 - Google Patents

Abstract

【課題】フラッシュ発光量の算出までのタイムラグを短くでき、外光（他者のフラッシュ光等）の影響も小さくする。
【解決手段】ＣＭＯＳ型固体撮像素子の複数の画素のうち奇数行又は偶数行の一方の画素行でなるＡ群画素と他方の画素行でなるＢ群画素とに対し別々にグローバルリセット信号を時間差を持って印加し、該時間差内でフラッシュ発光源をプリ発光させ、該プリ発光が行われたときＡ群画素による撮像画像データとＢ群画素による撮像画像データとを交互に読み出し、両撮像画像データの差分から、本撮影時のフラッシュ発光量を調光する。
【選択図】図５

Description

本発明は、ＣＭＯＳ型固体撮像素子を搭載した撮像装置及びそのプリ発光制御方法並びにフラッシュ発光量調光方法に関する。

例えば下記の特許文献１に記載されているＣＭＯＳ型固体撮像素子を搭載した撮像装置で、暗いシーンを撮影する場合、フラッシュ発光を行う必要がある。この場合、どの程度のフラッシュ発光量にするかを決めなければ、フラッシュ発光を行っても暗い画像しか撮影できなかったり、明るすぎて白飛びした画像が撮影されたりする。

フラッシュ発光量をどの程度にするかは、例えば下記の特許文献２に記載されている様に、ユーザがシャッタボタンを押下する前にプリ発光を行うことで決定できる。

固体撮像素子を搭載した撮像装置では、ユーザがシャッタボタンを押下しない状態でも、電源オンの状態であれば、常時、固体撮像素子から出力される被写体画像信号をスルー画像として撮像装置背面等に設けられている液晶表示部に表示している。

このスルー画像となる或る１フレーム分の出力信号を固体撮像素子から取得する前にプリ発光を行ってこの１フレーム分の出力信号を取得し、次の１フレーム分の出力信号は、プリ発光を行わない状態で取得する。この２フレームの撮像画像データを比較すれば、プリ発光が画像に与える影響量を求めることができ、本発光時のフラッシュ発光量を決定することができる。

特開２００７―１２４１３７号公報 特開２０１０―２６２８４号公報

上述した様に、プリ発光有りの画像を１フレーム分取得し、プリ発光無しの画像を１フレーム分取得することで、本発光時のフラッシュ発光量を決めることができる。しかし、２フレーム分の出力信号を固体撮像素子から取得しなければならないため、２フレーム分のタイムラグが発生することになり、シャッタチャンスを逃す虞が生じる。

また、このタイムラグ中に、他者のカメラ撮影によるフラッシュ光が外光として発生すると、この外光による影響を排除できず、正しいフラッシュ発光量を求めることができない。

本発明の目的は、フラッシュ発光量の算出までのタイムラグを短くでき、外光の影響を小さくできるＣＭＯＳ型固体撮像素子を搭載した撮像装置及びプリ発光制御方法並びにフラッシュ発光量調光方法を提供することにある。

本発明の撮像装置は、半導体基板の上に複数の画素が二次元アレイ状に配列形成され各々の画素の上にカラーフィルタが積層されたＣＭＯＳ型固体撮像素子と、前記画素のうち奇数行又は偶数行の一方の画素行でなる第１画素群と他方の画素行でなる第２画素群とに対し別々にグローバルリセット信号を印加するリセット信号印加手段と、該リセット信号印加手段が前記第１画素群と前記第２画素群の夫々に時間差を持って前記グローバルリセット信号を印加させたとき該時間差内でフラッシュ発光源をプリ発光させるフラッシュ発光手段と、該プリ発光が行われたとき前記第１画素群と前記第２画素群からの撮像画像データの読み出しを該第１画素群と該第２画素群で交互に行う撮像素子駆動手段と、前記第１画素群から読み出した前記撮像画像データと前記第２画素群から読み出した前記撮像画像データとの差分から本撮影時のフラッシュ発光量を調光する制御手段とを備えることを特徴とする。

本発明の撮像装置のプリ発光制御方法は、半導体基板の上に複数の画素が二次元アレイ状に配列形成され各々の画素の上にカラーフィルタが積層されたＣＭＯＳ型固体撮像素子を備える撮像装置のプリ発光制御方法であって、前記画素のうち奇数行又は偶数行の一方の画素行でなる第１画素群と他方の画素行でなる第２画素群とに対し別々にグローバルリセット信号を時間差を持って印加したとき、該時間差内でフラッシュ発光源をプリ発光させることを特徴とする。

本発明のフラッシュ発光量調光方法は、上記のいずれかに記載の撮像装置のプリ発光制御方法が実行されたとき、前記プリ発光が行われたときの前記第１画素群による撮像画像データと前記第２画素群による撮像画像データとの差分から本撮影時のフラッシュ発光量を算出することを特徴とする。

本発明によれば、第１画素群と第２画素群とに夫々の時間差を持って印加されたグローバルリセット信号間でプリ発光を行い、第１画素群と第２画素群とからプリ発光有り，無しの２面の画像データを１フレームの撮像画像データから得ることができるため、本撮影時のフラッシュ発光量算出までのタイムラグを短くできる。また、このとき外光が発生しても、第１画素群と第２画素群に外光が共通して入射する可能性が高く、外光の影響をキャンセルすることができる。

本発明の一実施形態に係る撮像装置の機能ブロック構成図である。 図１に示すＣＭＯＳ型固体撮像素子の表面模式図である。 図２に示すＣＭＯＳ型固体撮像素子のカラーフィルタ配列だけを示す図である。 図３に代わるＣＭＯＳ型固体撮像素子のカラーフィルタ配列だけを示す図である。 図１に示す撮像装置の動作を説明する図である。 図５で説明した動作手順を示すフローチャートである。 図５に示すプリ発光のタイミング説明図である。 本発明の別実施形態の撮像装置における撮像画像データの読出動作説明図である。 本発明の別実施形態の撮像装置における動作手順を示すフローチャートである。 本発明の更に別実施形態の撮像装置における動作説明図である。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係る撮像装置（この例ではデジタルスチルカメラ）の機能ブロック構成図である。この撮像装置１は、撮影レンズ１０と、詳細は後述するＣＭＯＳ型固体撮像素子１１と、撮影レンズ１０と固体撮像素子１１との間に置かれた絞り１２，赤外線カットフィルタ１３，光学的ローパスフィルタ１４とを備える。

更に、固体撮像素子２１から出力されるアナログの画像信号をアナログ処理（相関二重サンプリング処理や利得制御処理）する信号処理部２２と、信号処理部２２の出力信号をデジタル信号に変換するＡ／Ｄ変換器２３と、この撮像装置１の全体を統括制御するＣＰＵ１５と、ＣＰＵ１５の制御により撮影レンズ１０のズーム位置やフォーカス位置制御を行うレンズ駆動部１７と、絞り１２の開口量調整を行う絞り駆動部１９と、ＣＰＵ１５の指示により固体撮像素子１１を詳細は後述する様に駆動する撮像素子駆動部２０と、ＣＰＵ１５の指示によりプリ発光制御を行うとき撮像素子駆動部２０による撮像素子駆動制御と連動して行うフラッシュ発光部１６と、ＣＰＵ１５にユーザからの指示を入力する操作部２１とを備える。

操作部２１は、電源スイッチＳＷや、シャッタボタン（Ｓ１スイッチ，Ｓ２スイッチの２段スイッチ）等を含む。フラッシュ発光部１６の光源は、従来型のキセノンランプ等の光源の他に、ＬＥＤ発光源や有機ＥＬ発光源等でも良い。

この撮像装置１の電気制御系は、Ａ／Ｄ変換器２３に接続されたデータバス３４と、ＣＰＵ１５に接続された制御バス３３と、これらバス３３，３４に接続された以下の構成部材とでなる。

バス３３，３４には、メインメモリ２４が接続されたメモリ制御部２５と、デジタルの画像信号に対してオフセット処理，ガンマ処理，ＲＧＢ／ＹＣ変換処理，同時化処理等の周知の画像処理を施すデジタル信号処理部２６と、画像処理されたデジタル画像信号をＪＰＥＧ画像等に圧縮したり逆に伸張したりする圧縮／伸張処理部２７と、マイク３５やスピーカ３６が接続されユーザにカメラ操作案内等を音声で行ったりする音声制御部３７と、ＪＰＥＧ画像データを記録する記録メディア２９が接続されたメディア制御部３８と、撮像装置背面等に設置される液晶表示部３１が接続された表示制御部３２と、電源部３９とが接続され、電源部３９にはバッテリ電池４０が接続される。

図２は、図１に示すＣＭＯＳ型固体撮像素子１１の表面模式図である。半導体基板４１の表面部には、夫々の受光面積が同一の複数のフォトダイオード（画素）４２が二次元アレイ状に配列形成されている。図示する例では、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチづつずらして形成された、所謂ハニカム画素配列となっている。

半導体基板４１の図示の例では右辺側に垂直走査回路４３と制御パルス生成回路４４とが形成されている。垂直走査回路４３は、図１の撮像素子制御部２０からの指示を受けて垂直走査信号を各画素行毎に出力し、制御パルス生成回路４４はこの垂直走査信号を垂直走査回路４３から受けたとき制御パルスを生成して水平信号線４５に出力する。各水平信号線４５は、各画素行に沿って、各画素を避けるように水平方向に蛇行して配線されている。

半導体基板４１の下辺部には、雑音抑制回路４６及び水平走査回路４７が設けられている。各画素列に沿って垂直方向に垂直信号線４８が各画素を避けるように蛇行して配線され、各画素４２の出力信号は垂直信号線４８から雑音抑制回路４６を通して水平走査回路４７に出力され、固体撮像素子１１から図１のアナログ信号処理回路２２に出力される。なお、アナログ信号処理部２２を構成する回路素子を固体撮像素子１１内に形成することも可能である。

各画素４２に隣接して、各画素対応にトランジスタ回路による信号読出回路が形成（図示は省略）されている。このトランジスタ回路は、周知の３トランジスタ構成でも、周知の４トランジスタ構成でも良い。

３トランジスタ構成の場合、各信号読出回路は、リセットトランジスタと出力トランジスタと行選択トランジスタとで構成される。この場合、図２に示す水平信号線４５は、リセットトランジスタにリセット信号を印加するリセット線と、行選択トランジスタに行選択信号を印加する行選択線の２本で形成され、垂直信号線４８は、各信号読出回路の電源線と出力トランジスタの出力端子に接続された出力信号線の２本で形成される。

４トランジスタ構成の場合、３トランジスタ構成に加えて、フォトダイオード４２と出力トランジスタ及びリセットトランジスタとの間に設けた行読出トランジスタを持ち、行読出トランジスタに行読出信号を印加する信号線が水平信号線として追加される。

水平信号線４５や垂直信号線４８は蛇行して配線されるが、この配線は、周知のＣＭＯＳイメージセンサと同様に半導体基板に積層された絶縁層内に配線しても良く、また、特開２００７―８１１４０号公報に記載されている様に、半導体基板上に配線しても良い。

図２の固体撮像素子１１の各画素４２上に、Ｒ，Ｇ，Ｂ，ｒ，ｇ，ｂと記載したのは、カラーフィルタの色を表している。Ｒ＝ｒ（赤），Ｇ＝ｇ（緑），Ｂ＝ｂ（青）であるが、以下の説明で、奇数行の画素と偶数行の画素を区別して説明する関係で、大文字ＲＧＢと小文字ｒｇｂで分けている。

奇数行の画素配列だけみると、各画素４２は正方格子配列されており、偶数行の画素配列だけみると、各画素４２は正方格子配列されている。そこで、奇数行の画素に３原色のカラーフィルタをベイヤ配列し、偶数行の画素にも３原色のカラーフィルタをベイヤ配列している。つまり、奇数行の画素をＡ群画素としてカラーフィルタＲＧＢを積層し、偶数行の画素をＢ群画素としてカラーフィルタｒｇｂを積層している。

この結果、カラーフィルタ配列だけを図示すると、図３に示す様になり、同色２画素が斜め方向に２画素づつ連続し、緑色フィルタ（Ｇ，ｇ）を搭載した画素が斜め１行置きにストライプ状に形成される構成となる。この固体撮像素子１１によれば、Ａ群画素，Ｂ群画素で同一被写体を同時に撮像したとき、Ａ群画素だけによる撮像画像（ＲＡＷデータ）と、Ｂ群画素だけによる撮像画像（ＲＡＷデータ）とは、画素位置が垂直方向，水平方向に共に１／２画素ずれているが、同一となる。

なお、Ａ群画素のカラーフィルタ配列とＢ群画素のカラーフィルタ配列とが同一であればよく、ベイヤ配列に限るものではなく、縦ストライプや横ストライプ等の他のカラーフィルタ配列でも良い。

本実施形態の撮像装置１では、Ａ群画素（奇数行画素）にだけリセット信号を同時に印加してＡ群画素だけをグローバルリセットすることができ、Ｂ群画素にだけリセット信号を同時に印加してＢ群画素だけをグローバルリセットすることができる様になっている。

つまり、ＣＰＵ１５内には、Ａ群画素用のグローバルリセット信号印加手段（機能）と、Ｂ群画素用のグローバルリセット信号印加手段（機能）とが設けられ、Ａ群，Ｂ群で独立にグローバルリセットを制御できる構成になっている。尤も、Ａ群画素に印加するリセット信号の印加タイミングと、Ｂ群画素に印加するリセット信号の印加タイミングとを同一タイミングにすれば、全画素をグローバルリセットすることができる。

図２，図３に示す固体撮像素子１１の実施形態は、画素配列が所謂ハニカム画素配列になっているが、本発明はハニカム画素配列にだけ適用できるのではなく、画素配列が正方格子状に配列された固体撮像素子にも適用可能である。

図４は、正方格子状の画素配列にした固体撮像素子５１のカラーフィルタ配列だけを図示した図である。半導体基板表面部に夫々の受光面積が同一の複数の画素（フォトダイオード）を正方格子状に配列形成し、奇数行の画素行をＡ群画素とし、偶数行の画素行をＢ群画素とする。そして、Ａ群画素に３原色カラーフィルタをベイヤ配列し、Ｂ群画素に３原色カラーフィルタをベイヤ配列する。この構成の固体撮像素子でも、以下に述べる実施形態を同様に適用可能である。

図５は、撮像装置１でフラッシュ発光を行い被写体画像を撮像する場合に、プリ発光により本撮影時のフラッシュ発光量を決定するときの動作方法説明図である。

上述した様に、本実施形態では、Ａ群画素とＢ群画素とが同一の被写体カラー画像を撮像できるカラーフィルタ配列にしているが、本撮影ではＡ群画素とＢ群画素とを区別せずに全画素を用いて被写体画像を撮像する。しかし、フラッシュ発光量決定のためのプリ発光時には、Ａ群画素とＢ群画素とを別々に駆動制御する。

即ち、先ず、Ａ群画素に対してグローバルリセット信号ＧＲａを印加し、このグローバルリセット信号ＧＲａの印加停止タイミングｔ１の後のタイミングｔ２で、プリ発光用のパルスＣを図１のフラッシュ発光部１６に印加する。このパルスＣはタイミングｔ３で印加終了となる。タイミングｔ２以後にプリ発光量Ｋは増大を始め、タイミングｔ３の後の所定時間経過後に、プリ発光量は０（零）となる。

パルスＣとプリ発光量Ｋの減少開始のタイミングやプリ発光量が０となるタイミングｔ４は、フラッシュ発光に用いるキャパシタ容量等の回路素子値やフラッシュ発光源への印加電圧等によって異なるが、撮像装置１のフラッシュ回路に搭載する回路素子や発光源等が決まれば、これらのタイミングは定まった値となる。

プリ発光量が０となったタイミングｔ４の後に、Ｂ群画素にグローバルリセット信号ＧＲｂを印加する。このグローバルリセット信号ＧＲｂの印加終了タイミングをｔ５とする。

このタイミングｔ１，ｔ２，ｔ３，ｔ４，ｔ５の順でＡ群画素とＢ群画素とを駆動することで、Ａ群画素には、プリ発光によって照明された被写体画像データが蓄積される。これに対し、Ｂ群画素は、プリ発光によって照明された被写体画像データがタイミングｔ５のグローバルリセット印加終了時点で廃棄されてしまうため、タイミングｔ５以降の被写体からの入射光量に応じた被写体画像データが蓄積される。つまり、Ａ群画素にはプリ発光量に応じた被写体画像データが蓄積されるのに対し、Ｂ群画素にはプリ発光がされない状態の被写体画像データが蓄積される。

以降、タイミングｔ１の時間ＴＡ後から固体撮像素子１１の１ライン（画素行）毎に被写体画像データ（ＲＡＷデータ）を読み出すことになる。つまり、Ａ群画素の第１画素行，Ｂ群画素の第１画素行（全体の第２画素行），Ａ群画素の第２画素行（全体の第３画素行），Ｂ群画素の第２画素行（全体の第４画素行），…と交互に被写体画像データが読み出されることになる。

この場合、Ｂ群画素のタイミングｔ５後の第１画素行の信号読出開始までの時間ＴＢと、Ａ群画素のタイミングｔ１後の第１画素行の信号読出開始までの時間ＴＡとの関係は、
ＴＡ＝｜ｔ１−ｔ５｜＋ＴＢ−（１ライン分の読出時間）
となる。しかし、｜ｔ１−ｔ５｜は極めて短時間であり、１ライン分の読出時間も極めて短時間であるため、ＴＡ＝ＴＢとして扱っても不具合はない。この場合、Ａ群画素の露光量とＢ群画素の露光量との差がプリ発光の有無の差となる。

従って、Ａ群画素による被写体画像データ（ＲＡＷデータ）とＢ群画素による被写体画像データ（ＲＡＷデータ）とを比較することで、プリ発光量の影響で被写体画像データがどの程度増えるかを求めることができ、本発光時のフラッシュ発光量を、例えばプリ発光量のｎ倍にすれば良いということが計算可能となる。

上述した実施形態では、１ライン（画素行）毎に、Ａ群画素の信号とＢ群画素の信号を交互に読み出したが、あるラインと次ラインで画素毎に、Ａ群画素の信号とＢ群画素の信号を交互に読み出す様にしても良い。つまり、ｎ−１ライン（Ａ群画素とする。）とｎ−２ライン（Ｂ群画素）から信号を読み出すとき、ｎ−１ラインの第１画素から信号を読み出し、次に、ｎ−２ラインの第１画素から信号を読み出し、次に、ｎ−１ラインの第２画素から信号を読み出し、次に、ｎ−２ラインの第２画素から信号を読み出し、……としても良い。以下の実施形態でも同様である。

この様に、Ａ群画素からの信号読出とＢ群画素からの信号読出とを交互に１画素毎に行うことで、Ａ群画素の露光時間とＢ群画素の露光時間とのズレが少なくなる。この結果、Ａ群画素の読出中でかつＢ群画素の露光中に外光の変化があっても、Ａ群画素とＢ群画素の差分をとることで外光の影響を小さくすることが可能となる。

図６は、図５で説明した撮像装置の動作手順を示すフローチャートである。電源オン状態のステップＳ１で、２段シャッタボタンのＳ１スイッチがオンであるか否かを判定し、オンでない場合にはステップＳ１に戻る。

Ｓ１スイッチがオンのときはステップＳ２に進み、ＡＥ／ＡＦを実行して露出量制御と焦点位置制御を行い、次のステップＳ３で、２段シャッタボタンのＳ２スイッチがオンであるか否かを判定する。Ｓ２スイッチがオンでない場合にはステップＳ１に戻り、オンである場合にはステップＳ４に進む。

ステップＳ４では、本撮影時にフラッシュ発光を行うか否かを判定する。フラッシュ発光は、ユーザの指示によって強制発光で行う場合もあり、また、ステップＳ２のＡＥ動作による露出量検出によって自動的に発光を行う場合もある。

フラッシュ発光を行わない場合には、以後のステップＳ５〜ステップＳ９を飛び越してステップＳ１０に進み、フラッシュ発光を行わずに本撮影を行い、この処理を終了する。

フラッシュ発光を行う場合には、ステップＳ５でＡ群画素のグローバルリセットを行い、次のステップＳ６で、プリ発光を行い、ステップＳ７でＢ群画素のグローバルリセットを行う。そして、ステップＳ８で、Ａ群画素，Ｂ群画素からの被写体画像データの読み出しを行う。

次のステップＳ９では、Ａ群画素の露光量からＢ群画素の露光量を減算した値（Ａ群画素の露光量Ａ−Ｂ群画素の露光量Ｂ）に基づいて、本発光時のフラッシュ発光量（調光量）を演算して求める。そして次のステップＳ１０で、このフラッシュ発光量にてフラッシュ撮影を行い、この処理を終了する。

この様に、本実施形態では、タイミングｔ１からタイミングｔ５までの短い時間差中でプリ発光を行い、プリ発光「有り」「無し」の２画面の被写体画像データを１フレームの画像データで取得できるため、必要な調光量データを算出するまでのタイムラグが短くなる。

また、他者のカメラ撮影に起因する外光（他者のフラッシュ光）は、Ａ群画素とＢ群画素に共に入射する蓋然性が高いため、調光量データの演算時に外光の影響がキャンセルされることになる。

なお、実施形態は、メカニカルシャッタ無しの撮像装置として説明しているが、メカニカルシャッタを搭載した撮像装置にも適用可能である。

図７は、図５で説明した動作方法の更なる説明図である。Ａ群画素がプリ発光「有」の画像を撮像し、Ｂ群画素がプリ発光「無」の画像を撮像するが、プリ発光量Ｋの全体が「有」と「無」の画像を夫々の画素群が撮像する方が、調光精度を高める上で望ましい。

このため、図７（図５）のタイミングｔ２（プリ発光のパルスＣが立ち上がるタイミング）から、タイミングｔ４（プリ発光量が０となるタイミング）までが、グローバルリセットＧＲａの終了タイミングｔ１と、グローバルリセットＧＲｂの終了タイミングｔ５との間の時間Ｔ内に完全に入る様に制御する。

前述したように、タイミングｔ４は、キャパシタ容量等の回路素子値が決まれるプリ発光パルスＣの終了タイミングｔ３で決まるため、タイミングｔ１からタイミングｔ３までの時間Ｘを制御することで、調光精度を高くすることができる。

図５の実施形態では、時間ＴＡと時間ＴＢとの関係は、
ＴＡ＝｜ｔ１−ｔ５｜＋ＴＢ−（１ライン分の読出時間）
であり、｜ｔ１−ｔ５｜と（１ライン分の読出時間）は夫々極めて短時間であるため、ＴＡ＝ＴＢとして露光量差（露光量Ａ−露光量Ｂ）を計算することができる、と説明した。

しかし、高精度に調光量制御を行う場合には、Ａ群画素とＢ群画素の露光時間の差を考慮した演算を行う必要がある。図７で説明すると、タイミングｔ１からＡ群画素のｎ画素行目の読出までの時間を「ＴＡｎ」、タイミングｔ５からＢ群画素のｎ画素行目の読出までの時間を「ＴＢｎ」とした場合、実際には、ＴＡｎ≠ＴＢｎとなる。

Ａ群画素の読出開始から読出終了までの時間と、Ｂ群画素の読出開始から読出終了までの時間は、Ａ群画素とＢ群画素を交互に読み出す関係で同じとなる。Ａ群画素のタイミングｔ１〜読出開始までの時間ＴＡと、Ｂ群画素のタイミングｔ５〜読出開始までの時間ＴＢとは、タイミングｔ１〜ｔ５との間にプリ発光を入れる関係で、ＴＡ≠ＴＢとなり、ＴＡｎ＞ＴＢｎとなる。

この露光時間ＴＡｎ，ＴＢｎの差はＡ群画素とＢ群画素の露光時間の差となる。この露光時間の差の間に外光の変化が入り込むと、Ａ群画素の信号とＢ群画素の信号との差はプリ発光の有無だけの差とはならなくなる。

そこで、Ｂ群画素の露光時間ＴＢｎを、Ａ群画素の露光時間ＴＡｎと同じとなるように補正（（ＴＡｎ／ＴＢｎ）を乗算すればよい。）し、プリ発光以外のＡ群画素の露光量とＢ群画素の露光量との差を、
露光量Ａ−露光量Ｂ×（ＴＡｎ／ＴＢｎ）
として演算する。

これにより、高精度な調光量制御が可能となる。もちろん、時間ＴＡｎの間に外光にそれほどの大きな変化がないことが前提である。

図８は、本発明の別実施形態に係る撮像装置の動作説明図である。図５の実施形態では、露光が終了した後、Ａ群画素，Ｂ群画素共に第１画素行（画面の上部側）から第ｎ画素行（画面の下部側）方向に１ラインづつ撮像画像信号（ＲＡＷデータ）をＡ群，Ｂ群交互に読み出した。

しかし、１画面内の被写体画像データにおいて、画面の上部に明るい被写体があるか、画面の下部に明るい被写体があるかにより、明るい被写体がある方から被写体画像データを読み出した方が、露光時間が短くなるため画像の白飛びを回避可能となる。

そこで、図８に示す実施形態では、画面（固体撮像素子１１の受光面：受光面上の画像は、撮影レンズ１０を通しているため倒立像となる。）の下側に所定閾値以上の明るい高輝度被写体があるとき（これは、１フレーム前のスルー画像データのＡＥ評価値で分かる。）、画面の下側のライン（画素行）からＡ群，Ｂ群交互に被写体画像データを読み出す様にしている。

図９は、図８の動作手順を示すフローチャートである。図６の処理ステップが同じステップには同じステップ番号を付してその説明は省略し、異なるステップについて説明する。

ステップＳ１〜ステップＳ７までは図６のフローチャートと同じであり、ステップＳ７の次に行うステップＳ１１では、１フレーム前のＡＥ評価値が「画面下＞画面上」であるか否かを判定する。この判定結果が否定つまり画面上のＡＥ評価値が画面下のＡＥ評価値より大きい場合には、ステップＳ１２に進み、図５に示す様に、画面の上部から順に下部方向に１ラインづつ撮像画像データを読み出し、ステップＳ９に進む。

ステップＳ１１の判定の結果、１フレーム前のＡＥ評価値が「画面下＞画面上」である場合には、ステップＳ１３に進み、図８に示す様に、画面下部から順に上部方向に１ラインづつ撮像画像データを読み出し、ステップＳ９に進む。

これにより、ライン毎の読み出し遅れに起因する画面内での露光時間差による白飛びを軽減することが可能となる。

図１０は、本発明の別実施形態に係る撮像装置の動作説明図である。図５，図７の実施形態では、タイミングｔ１とタイミングｔ５との間にプリ発光が完全に入る様に制御していた。しかし、被写体が真正面に存在するためプリ発光によってＡ群画素の撮像画像データが白飛びしてしまう事態が予想される。この場合に、本実施形態は有効である。

本実施形態では、プリ発光量の全量がＡ群画素に受光される様にするのではなく、その部分光量ｍがＡ群画素に受光される様に、パルスＣ（終了タイミングをｔ７とする。）を、Ａ群画素のグローバルリセットの印加終了タイミングｔ１に先行させ、プリ発光量の制御を行っている。これにより、白飛びし易いシーンにおいても、白飛びを防止した本撮影時のフラッシュ光量制御を行うことが可能となる。

なお、上述した各実施形態を個別に説明したが、複数の実施形態を併用して実施することも可能であることはいうまでもない。例えば図８の読出順と図１０のプリ発光とを併用しても良い。

また、上述した各実施形態は、各画素が半導体基板に形成したフォトダイオードとして説明したが、例えば特開２０１０―６７８２９号公報に記載されている様に、半導体基板にトランジスタ回路による信号読出回路が形成され、その上層として光電変換膜が積層され、その上にカラーフィルタが積層される光電変換膜積層型のＣＭＯＳ型固体撮像素子にも上述した各実施形態を適用可能である。

以上説明した実施形態は、撮像装置が被写体の静止画像を撮像する場合を例に説明したが、動画撮影にも適用可能である。動画像を撮像する場合、例えば１秒間に３０フレームの被写体画像を撮影することになり、１秒間に３０回のフラッシュ発光を行うことになる。

フラッシュ光源として従来のキセノンランプを用いる場合、フラッシュ発光充電用のキャパシタ充電時間は間に合わない。しかし、フラッシュ発光源として、ＬＥＤ発光源や有機ＥＬ発光源を用いる場合には、１フレーム毎の発光は可能である。

この場合、例えばｎフレーム目の撮像におけるフラッシュ発光量の制御に、ｎ−１フレーム目のフラッシュ発光結果を反映させれば良い。つまり、前回フレームにおけるフラッシュ発光を、上述した実施形態の「プリ発光」として取り扱い、このプリ発光の結果を画像解析して今回発光時の調光に用い、今回のフラッシュ発光における結果を画像解析し、次回フレームのフラッシュ発光の調光に用いる、という制御をフレーム毎（垂直同期（ＶＤ）信号毎）に繰り返せばよい。今回のフラッシュ発光の結果演算が次回フレームの発光に間に合わない場合には、今回のフラッシュ発光の結果を、次々回フレームの発光に反映させれば良い。

以上述べた様に、実施形態の撮像装置は、半導体基板の上に複数の画素が二次元アレイ状に配列形成され各々の画素の上にカラーフィルタが積層されたＣＭＯＳ型固体撮像素子と、前記画素のうち奇数行又は偶数行の一方の画素行でなる第１画素群と他方の画素行でなる第２画素群とに対し別々にグローバルリセット信号を印加するリセット信号印加手段と、該リセット信号印加手段が前記第１画素群と前記第２画素群の夫々に時間差を持って前記グローバルリセット信号を印加させたとき該時間差内でフラッシュ発光源をプリ発光させるフラッシュ発光手段と、該プリ発光が行われたとき前記第１画素群と前記第２画素群からの撮像画像データの読み出しを該第１画素群と該第２画素群で交互に行う撮像素子駆動手段と、前記第１画素群から読み出した前記撮像画像データと前記第２画素群から読み出した前記撮像画像データとの差分から本撮影時のフラッシュ発光量を調光する制御手段とを備えることを特徴とする。

また、実施形態の撮像装置の前記制御手段は、前記プリ発光の全発光量を前記時間差内に入れる制御を行うことを特徴とする。

また、実施形態の撮像装置の前記制御手段は、前記プリ発光の部分発光量だけを前記時間差内に入れる制御を行うことを特徴とする。

また、実施形態の撮像装置の前記制御手段は、前記第１画素群の各画素行毎の露光時間に対する前記第２画素群の各画素行毎の露光時間との差に基づいて前記差分を補正し前記フラッシュ発光量の調光を行うことを特徴とする。

また、実施形態の撮像装置の撮像素子駆動手段は、前記第１画素群と前記第２画素群からの前記撮像画像データの読み出しを、該第１画素群と該第２画素群で交互に、かつ１画素行毎に行うことを特徴とする。

また、実施形態の撮像装置の撮像素子駆動手段は、前記第１画素群と前記第２画素群からの前記撮像画像データの読み出しを、該第１画素群と該第２画素群で交互に、かつ１画素毎に行うことを特徴とする。

また、実施形態の撮像装置の前記撮像素子駆動手段は、前記ＣＭＯＳ型固体撮像素子の受光面の上部側から下部側に向かって前記撮像画像データを画素行順に読み出す第１駆動制御と、該受光面の下部側から上部側に向かって前記撮像画像データを画素行順に読み出す第２駆動制御とを切り換えて行うことを特徴とする。

また、実施形態の撮像装置の前記撮像素子駆動手段は、前記上部側の被写体画像の露出値と前記下部側の被写体画像の露出値とを比較し、前記上部側と前記下部側のうち露出値が高い側から低い側に向かって画素行順に前記撮像画像データを読み出すことを特徴とする。

また、実施形態の撮像装置のプリ発光制御方法は、半導体基板の上に複数の画素が二次元アレイ状に配列形成され各々の画素の上にカラーフィルタが積層されたＣＭＯＳ型固体撮像素子を備える撮像装置のプリ発光制御方法であって、前記画素のうち奇数行又は偶数行の一方の画素行でなる第１画素群と他方の画素行でなる第２画素群とに対し別々にグローバルリセット信号を時間差を持って印加したとき、該時間差内でフラッシュ発光源をプリ発光させることを特徴とする。

また、実施形態の撮像装置のプリ発光制御方法は、前記プリ発光の全発光量を前記時間差内に入れることを特徴とする。

また、実施形態の撮像装置のプリ発光制御方法は、前記プリ発光の部分発光量だけを前記時間差内に入れることを特徴とする。

また、実施形態のフラッシュ発光量調光方法は、上記のいずれかに記載の撮像装置のプリ発光制御方法が実行されたとき、前記プリ発光が行われたときの前記第１画素群による撮像画像データと前記第２画素群による撮像画像データとの差分から本撮影時のフラッシュ発光量を算出することを特徴とする。

また、実施形態のフラッシュ発光量調光方法は、前記第１画素群の各画素行毎の露光時間に対する前記第２画素群の各画素行毎の露光時間との差に基づいて前記差分を補正し前記フラッシュ発光量の算出を行うことを特徴とする。

以上述べた実施形態によれば、フラッシュ発光量の算出までのタイムラグを短くでき、外光の影響も小さくすることが可能となる。

本発明に係る撮像装置は、精度の高いフラッシュ発光量の調光が可能となるため、デジタルカメラやカメラ付携帯電話機、ＰＤＡやノートパソコン等のカメラ付電子装置、内視鏡等の撮像装置一般に適用すると有用である。

１ 撮像装置
１１ ＣＭＯＳ型固体撮像素子
１５ システム制御部（ＣＰＵ）
１６ フラッシュ発光部
２０ 撮像素子駆動部
２６ デジタル信号処理部
４１ 半導体基板
４２ 画素（フォトダイオード）
４３ 垂直走査回路
４７ 水平走査回路

Claims (13)

1. 半導体基板の上に複数の画素が二次元アレイ状に配列形成され各々の画素の上にカラーフィルタが積層されたＣＭＯＳ型固体撮像素子と、前記画素のうち奇数行又は偶数行の一方の画素行でなる第１画素群と他方の画素行でなる第２画素群とに対し別々にグローバルリセット信号を印加するリセット信号印加手段と、該リセット信号印加手段が前記第１画素群と前記第２画素群の夫々に時間差を持って前記グローバルリセット信号を印加させたとき該時間差内でフラッシュ発光源をプリ発光させるフラッシュ発光手段と、該プリ発光が行われたとき前記第１画素群と前記第２画素群からの撮像画像データの読み出しを該第１画素群と該第２画素群で交互に行う撮像素子駆動手段と、前記第１画素群から読み出した前記撮像画像データと前記第２画素群から読み出した前記撮像画像データとの差分から本撮影時のフラッシュ発光量を調光する制御手段とを備える撮像装置。
2. 請求項１に記載の撮像装置であって、前記制御手段は、前記プリ発光の全発光量を前記時間差内に入れる制御を行う撮像装置。
3. 請求項１に記載の撮像装置であって、前記制御手段は、前記プリ発光の部分発光量だけを前記時間差内に入れる制御を行う撮像装置。
4. 請求項１乃至請求項３のいずれか１項に記載の撮像装置であって、前記制御手段は、前記第１画素群の各画素行毎の露光時間に対する前記第２画素群の各画素行毎の露光時間との差に基づいて前記差分を補正し前記フラッシュ発光量の調光を行う撮像装置。
5. 請求項１乃至請求項４のいずれか１項に記載の撮像装置であって、前記撮像素子駆動手段は、前記撮像画像データの読み出しを、前記第１画素群と前記第２画素群で交互に、かつ１画素行毎に行う撮像装置。
6. 請求項１乃至請求項４のいずれか１項に記載の撮像装置であって、前記撮像素子駆動手段は、前記撮像画像データの読み出しを、前記第１画素群と前記第２画素群で交互に、かつ１画素毎に行う撮像装置。
7. 請求項５又は請求項６に記載の撮像装置であって、前記撮像素子駆動手段は、前記ＣＭＯＳ型固体撮像素子の受光面の上部側から下部側に向かって前記撮像画像データを画素行順に読み出す第１駆動制御と、該受光面の下部側から上部側に向かって前記撮像画像データを画素行順に読み出す第２駆動制御とを切り換えて行う撮像装置。
8. 請求項７に記載の撮像装置であって、前記撮像素子駆動手段は、前記上部側の被写体画像の露出値と前記下部側の被写体画像の露出値とを比較し、前記上部側と前記下部側のうち露出値が高い側から低い側に向かって画素行順に前記撮像画像データを読み出す撮像装置。
9. 半導体基板の上に複数の画素が二次元アレイ状に配列形成され各々の画素の上にカラーフィルタが積層されたＣＭＯＳ型固体撮像素子を備える撮像装置のプリ発光制御方法であって、前記画素のうち奇数行又は偶数行の一方の画素行でなる第１画素群と他方の画素行でなる第２画素群とに対し別々にグローバルリセット信号を時間差を持って印加したとき、該時間差内でフラッシュ発光源をプリ発光させる撮像装置のプリ発光制御方法。
10. 請求項９に記載の撮像装置のプリ発光制御方法であって、前記プリ発光の全発光量を前記時間差内に入れる撮像装置のプリ発光制御方法。
11. 請求項９に記載の撮像装置のプリ発光制御方法であって、前記プリ発光の部分発光量だけを前記時間差内に入れる撮像装置のプリ発光制御方法。
12. 請求項９乃至請求項１１のいずれか１項に記載の撮像装置のプリ発光制御方法が実行されたとき、前記プリ発光が行われたときの前記第１画素群による撮像画像データと前記第２画素群による撮像画像データとの差分から本撮影時のフラッシュ発光量を算出するフラッシュ発光量調光方法。
13. 請求項１２に記載のフラッシュ発光量調光方法であって、前記第１画素群の各画素行毎の露光時間に対する前記第２画素群の各画素行毎の露光時間との差に基づいて前記差分を補正し前記フラッシュ発光量の算出を行うフラッシュ発光量調光方法。

Images