JP2012080297A - 撮像装置及びその撮像制御方法 - Google Patents

Abstract

【課題】撮影シーンに応じてダイナミックレンジの拡大を行う。
【解決手段】第１画素群と第２画素群とが同一面に混在して形成され、第１画素群に属する第１画素と該画素に隣接する第２画素群に属する第２画素とがペアを構成して同色のカラーフィルタが積層され全体としてカラーフィルタがベイヤ配列される固体撮像素子と、第１画素と第２画素の夫々の露光時間を同一又は別々に制御する手段と、第１画素の出力信号と第２画素の出力信号に対して同一又は別々のゲインで増幅する手段とを備え、露光時間を同一に制御すると共にゲインを別々に制御してペアの出力信号を画素加算する第１のダイナミックレンジ拡大処理（ゲイン差方式）と、露光時間を別々に且つ重複するように制御すると共にゲインを同一に制御してペアの出力信号を画素加算する第２のダイナミックレンジ拡大処理（露光差方式）のいずれか一方を撮影シーンに応じて選択する。
【選択図】図３

Description

本発明は、デジタルカメラ等の撮像装置に係り、特に、被写体の種別に合わせて被写体画像のダイナミックレンジ拡大を行うことができる撮像装置及びその撮像制御方法に関する。

固体撮像素子を搭載するデジタルカメラが普及し、更に、高精細な被写体画像を撮影できるように、固体撮像素子の搭載画素数も近年では１０００万画素以上が普通となっている。この結果、１画素１画素の物理的サイズが小さくなり、１画素の飽和電荷量が少ないため、ダイナミックレンジの広い被写体画像を撮影するのが困難になっている。

そこで、被写体画像のダイナミックレンジを拡大する様々な方法が工夫されている。例えば下記の特許文献１に記載された従来技術では、固体撮像素子から出力される撮像画像信号を複数のアンプに入力し、複数のアンプの夫々のゲインを変え、それらアンプの出力を合成することで、ダイナミックレンジの拡大を図っている。

また、特許文献２記載の従来技術では、固体撮像素子で２回露光を行い、１回目の信号電荷を読み出すときと２回目に信号電荷を読み出すときで電子像倍率を変え、ダイナミックレンジの拡大を図っている。

更に、特許文献３記載の従来技術では、同色の隣接２画素を１単位として固体撮像素子の各画素にカラーフィルタを配列し、各単位の第１画素と第２画素との露光時間に差を設けて加算し、ダイナミックレンジの拡大を図っている。

特開２００９―３０３０１０号公報 特開２００８―２５２７９０号公報 特開２０１０―１３６０７８号公報

特許文献１記載の従来技術では、固体撮像素子の出力信号をアンプで増幅し、複数の増幅率の異なる信号を加算することで、ダイナミックレンジを拡大している。このため、アンプの数が増え、回路が複雑化するという問題がある。

特許文献２記載の従来技術では、２回の撮像を行わなければならないため、２回の撮像画像の同時性がなくなってしまうという問題がある。

特許文献３記載の従来技術では、１単位を構成する２画素の画素加算を基本とし、各々の露光時間を重複させることで同時性を担保し、各々の露光時間に長短を付け加算することダイナミックレンジの拡大を図っている。２画素加算を基本とするため、低輝度被写体を撮像しても感度を高めることができるという利点があるが、長時間露光を行っているときに短時間露光を行っていない期間が存在し、完全な同時性を実現していないという問題がある。

上述した様に、被写体画像のダイナミックレンジを拡大する様々な方法が模索されているが、夫々１長１短があり、どの様な被写体であってもそれに合わせたダイナミックレンジの拡大を行うことができない。完全な同時性を担保でき、しかもＳ／Ｎが良好で低輝度な被写体であっても階調性が優れ高品質な撮像画像が得られるダイナミックレンジの拡大方法の実現が望まれている。

本発明の目的は、被写体に応じた即ち撮影シーンに応じたダイナミックレンジの拡大ができる撮像装置及びその撮像制御方法を提供することにある。

本発明の撮像装置は、平面上に受光素子が２次元に配置されている第１画素群と、前記平面上に受光素子が２次元に配置されている第２画素群と、を含み、
前記第１画素群と前記第２画素群は同一のカラーフィルタ配列をなし、
前記第１画素群の各画素と前記第２画素群の各画素が互いに隣接に配置されてペア画素を構成し、該ペア画素に同色のカラーフィルタが積層されている
固体撮像素子と、
前記第１画素群と前記第２画素群の露光時間を個別に制御する駆動手段と、
前記固体撮像素子から出力される画素信号をゲインで増幅する利得制御手段と、
前記利得制御手段から出力される出力信号を前記ペア画素ごとに加算する出力信号加算手段と、
前記第１画素群の露光時間と前記第２画素群の露光時間を同一に制御すると共に前記第１画素群の出力信号と前記第２画素群の画素信号に対する前記ゲインを異ならせるよう制御して前記出力信号を前記ペア画素ごとに加算する第１のダイナミックレンジ拡大処理と前記第１画素群の露光時間と前記第２画素群の露光時間を異ならせるよう制御すると共に前記第１画素の出力信号と前記第２画素群の画素信号に対する前記ゲインを同一に制御して前記出力信号を前記ペア画素ごとに加算する第２のダイナミックレンジ拡大処理とのいずれか一方を撮影シーンに応じて選択する撮像制御手段と
を備えることを特徴とする。

本発明の撮像装置の撮像制御方法は、平面上に受光素子が２次元に配置されている第１画素群と、前記平面上に受光素子が２次元に配置されている第２画素群と、を含み、
前記第１画素群と前記第２画素群は同一のカラーフィルタ配列をなし、
前記第１画素群の各画素と前記第２画素群の各画素が互いに隣接に配置されてペア画素を構成し、該ペア画素に同色のカラーフィルタが積層されている
固体撮像素子と、
前記第１画素群と前記第２画素群の露光時間を個別に制御する駆動手段と、
前記固体撮像素子から出力される画素信号をゲインで増幅する利得制御手段と、
前記利得制御手段から出力される出力信号を前記ペア画素ごとに加算する出力信号加算手段と、
を備える撮像装置の撮像制御方法であって、
前記第１画素群の露光時間と前記第２画素群の露光時間を同一に制御すると共に前記第１画素群の出力信号と前記第２画素群の画素信号に対する前記ゲインを異ならせるよう制御して前記出力信号を前記ペア画素ごとに加算する第１のダイナミックレンジ拡大処理と前記第１画素群の露光時間と前記第２画素群の露光時間を異ならせるよう制御すると共に前記第１画素の出力信号と前記第２画素群の画素信号に対する前記ゲインを同一に制御して前記出力信号を前記ペア画素ごとに加算する第２のダイナミックレンジ拡大処理とのいずれか一方を撮影シーンに応じて選択する
ことを特徴とする。

本発明によれば、撮影シーンに応じたダイナミックレンジの拡大ができ、高品質な被写体画像を提供することが可能となる。

本発明の一実施形態に係る撮像装置の機能ブロック構成図である。 図１に示す固体撮像素子の表面のカラーフィルタ配列を示す図である。 本発明の実施形態で実行する各種撮像制御方法を説明する図である。 露光差方式とゲイン差方式とアンダーゲイン方式の階調領域を示すグラフである。 露光差方式とゲイン差方式の露光時間を説明する図である。 本発明の第１実施形態の撮像制御方法の処理手順を示すフローチャートである。 動体検出の説明図である。 本発明の第２実施形態の撮像制御方法の処理手順を示すフローチャートである。 フラッシュ光の影響説明図である。 本発明の第３実施形態の撮像制御方法の処理手順を示すフローチャートである。 本発明の第４実施形態の撮像制御方法の処理手順を示すフローチャートである。 本発明の第５実施形態の撮像制御方法の処理手順を示すフローチャートである。 図２に代わる画素配列，カラーフィルタ配列を示す図である。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係る撮像装置の機能ブロック図である。この実施形態の撮像装置は、被写体の静止画像或いは動画像を撮影するデジタルカメラ１０を例としており、撮影レンズ２０と、撮影レンズ２０の背部に置かれその結像面に配置された固体撮像素子２１と、撮影レンズ２０と固体撮像素子２１との間に置かれたレンズシャッタ１９と、固体撮像素子２１から出力されるアナログの画像データを自動利得調整（ＡＧＣ）や相関二重サンプリング処理等のアナログ処理するアナログ信号処理部２２と、アナログ信号処理部２２から出力されるアナログ画像データをデジタル画像データに変換するアナログデジタル変換部（Ａ／Ｄ）２３と、後述のシステム制御部（ＣＰＵ）２９からの指示によってＡ／Ｄ２３，アナログ信号処理部２２，固体撮像素子２１，撮影レンズ２０，レンズシャッタ１９の駆動制御を行う駆動制御部（タイミングジェネレータを含む）２４と、ＣＰＵ２９からの指示によって発光するフラッシュ２５とを備える。

本実施形態のデジタルカメラ１０は更に、Ａ／Ｄ２３から出力されるデジタル画像データを取り込み補間処理やホワイトバランス補正，ＲＧＢ／ＹＣ変換処理等を行うデジタル信号処理部２６と、画像データをＪＰＥＧ形式などの画像データに圧縮したり逆に伸長したりする圧縮／伸長処理部２７と、メニューなどを表示したりスルー画像や撮像画像を表示する表示部２８と、デジタルカメラ全体を統括制御するシステム制御部（ＣＰＵ）２９と、フレームメモリ等の内部メモリ３０と、ＪＰＥＧ画像データ等を格納する記録メディア３２との間のインタフェース処理を行うメディアインタフェース（Ｉ／Ｆ）部３１と、これらを相互に接続するバス４０とを備え、また、システム制御部２９には、ユーザからの指示入力を行う操作部３３が接続されている。

固体撮像素子２１は、上記例ではＣＣＤ型であり、固体撮像素子２１の出力信号を外部に設けたアナログ信号処理部（ＡＦＥ：アナログフロントエンド）２２で処理するが、ＣＭＯＳ型の固体撮像素子でも良い。ＣＭＯＳ型の場合は、このＡＦＥ部分は固体撮像素子内部に設けられるのが普通である。

固体撮像素子２１の画素配列は、正方格子配列ではなく、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチづつずらして配列された、所謂ハニカム画素配列となっている。また、カラーフィルタ配列にも特徴がある。

図２は、固体撮像素子２１の表面模式図である。半導体基板上に形成された各画素（フォトダイオード：図示省略）がハニカム状に画素配列され、その各々の画素の上に、Ｒ＝ｒ＝赤、Ｇ＝ｇ＝緑、Ｂ＝ｂ＝青のカラーフィルタが積層されている。

奇数行の画素行だけみると各画素は正方格子配列され、カラーフィルタＲＧＢがベイヤ配列され、偶数行の画素行だけみても各画素は正方格子配列され、カラーフィルタｒｇｂがベイヤ配列されている。この結果、斜めに隣接する２画素に同色のフィルタ（Ｒｒ）（Ｇｇ）（Ｂｂ）が並ぶことになる。

大文字のＲＧＢで示すカラーフィルタを搭載した画素がＡ面（第１群）画素を構成し、小文字のｒｇｂで示すカラーフィルタを搭載した画素がＢ面（第２群）画素を構成する。Ｒとｒ、Ｇとｇ、Ｂとｂは全く同じカラーフィルタであるが、Ａ面画素だけで撮影した被写体画像と、Ｂ面画素だけで撮影した被写体画像とを区別するために、大文字と小文字で区別している。

本実施形態では、このＡ面画素による被写体画像と、画素位置が１画素の大きさ（例えば２μｍ）程度ずれているＢ面画素による被写体画像とを用いて、ダイナミックレンジの拡大を、以下に述べるように図っている。

図３は、図２に示す画素配列，カラーフィルタ配列の固体撮像素子を駆動する４つの撮像制御方法を概略的に説明する図である。４つの撮像制御方法を、この実施形態では、「通常」の撮像制御方法、「露光（時間）差方式」の撮像制御方法、「アンダーゲイン方式」の撮像制御方法、「ゲイン差方式」の撮像制御方法というものとし、以下に説明する。

（１）通常の撮像制御方法
Ａ面画素とＢ面画素とを同一時間露光し、Ａ面画素の出力信号とＢ面画素の出力信号とを夫々図１のアナログ信号処理部（ＡＦＥ）で増幅する。このとき、Ａ面画素の出力信号とＢ面画素の出力信号とを同一ゲインで利得制御する。これにより、Ａ面画素の信号表現幅（ダイナミックレンジ）とＢ面画素の信号表現幅は同一となる。

通常の撮像制御方法で撮影したＡ面画素による撮像画像とＢ面画素による撮像画像とは、画素位置が一画素の大きさだけずれた同一画像であるため、斜め隣接する同色画素信号同士を加算すれば信号量が２倍となり、高感度撮影も可能となる。しかし、勿論、画素加算をせずに、「Ａ面画素＋Ｂ面画素」の画素数の高解像度の被写体画像を作ることもできる。

この通常の撮像制御方法は、Ａ面画素の信号表現幅とＢ面画素の信号表現幅が同じため、画素加算してもダイナミックレンジを広くすることはできないが、Ａ面画素による撮像とＢ面画素による撮像の同時性は完全同時となる。この通常の撮像制御方法によれば、被写体の高輝度部分の再現性能は高く、解像度も高く、被写体の低輝度部分の階調もとることができ、Ｓ／Ｎも良好な被写体画像を得ることができる。

（２）露光（時間）差方式の撮像制御方法
タイミングｔ１でＡ面画素とＢ面画素の露光を開始し、タイミングｔ２でＢ面画素だけ蓄積電荷を廃棄して露光を再開し、タイミングｔ２で全画素の露光を終了する。これにより、Ａ面画素の露光時間はｔ３−ｔ１となり、Ｂ面画素の露光時間はｔ２−ｔ１となる。

Ａ面画素の出力信号とＢ面画素の出力信号とをアナログ信号処理部（ＡＦＥ）２２にて同一ゲインで増幅すると、Ａ面画素の信号表現幅は通常の撮像制御方法の場合と同じになるが、短時間露光のＢ面画素の信号表現幅はＡ面画素に比べて倍となる。

従って、Ａ面画素とＢ面画素の撮像画像信号の斜めに隣接する同色画素同士を加算することで、被写体画像のダイナミックレンジを拡大することが可能となる。しかし、画素加算するため、解像度は、通常の撮像制御方法で画素加算しない場合に比較し半分になる他、タイミングｔ１とタイミングｔ２との間でＢ面画素の受光データがなく、露光の同時性は若干不完全になる。尤も、長露光時間のＡ面画素の撮像画像が存在するため被写体の低輝度部分の階調をとることができ、短露光時間のＢ面画素の撮像画像が存在するため被写体の高輝度部分の再現性能も高くなり、Ｓ／Ｎも良好な被写体画像を得ることができる。

（３）アンダーゲイン方式の撮像制御方法
通常の撮像制御方法と同じであり、Ａ面画素の出力信号、Ｂ面画素の出力信号とをアナログ信号処理部（ＡＦＥ）２２にて同一ゲインで増幅する。しかし、通常の撮像制御方法のゲインに比べて小さなゲインとしている。これにより、信号表現幅が通常の撮像制御方法と比べて広くなり、広いダイナミックレンジを実現できる。

このアンダーゲイン方式は、ゲインを小さくしているため、被写体の高輝度部分の再現性能が低下し、低輝度部分に関しては階調がとれずらい。しかし、Ａ面Ｂ面の完全同時性は実現でき、高解像度かつ高ダイナミックレンジを実現できる利点がある。

（４）ゲイン差方式
ゲイン差方式は、Ａ面画素とＢ面画素で同一時間の露光を行うが、Ａ面画素の出力信号にアナログ信号処理部（ＡＦＥ）２２にて掛けるゲインに対し、Ｂ面画素の出力信号に掛けるゲインを小さくしている。この結果、Ａ面Ｂ面の完全同時性が実現できると共に、Ｂ面画素の信号表現幅が広くなり、斜めに隣接する同色画素加算を行うことで、広ダイナミックレンジを実現できる。しかし、画素加算が前提のため解像度は低下する。また、Ｂ面画素に対するゲインを小さくしているため被写体の高輝度部分の再現性は低下し、Ａ面画素に対するゲインは大きいため被写体の低輝度部分の階調はとれている。

図４（ａ）は、露光（時間）差方式とゲイン差方式の階調表現範囲を示すグラフである。露光差方式のＡ面画素は長時間露光し、Ｂ面画素は短時間露光するため、Ａ面画素の階調表現範囲は狭いが、Ｂ面画素の階調表現範囲は広くなる。ゲイン差方式も同様であり、Ａ面画素のゲインは大きいため階調表現範囲は狭く、Ｂ面画素の階調表現範囲は広くなる。

４図（ｂ）はアンダーゲイン方式の階調表現範囲を示すグラフであり、Ａ面画素とＢ面画素とを同一時間露光し，同一ゲインで増幅するため、Ａ面画素の出力信号，Ｂ面画素の出力信号共に、その階調表現範囲は同じに、かつ広くなる。

図５は、露光差方式とゲイン差方式の露光時間の差を示す図である。露光差方式では、Ａ面画素とＢ面画素の露光時間を変えて撮像を行うが、ゲイン差方式はＡ面画素とＢ面画素の露光時間は同一である。

なお、図３の露光差方式では、Ａ面画素とＢ面画素の露光時間の終了時点を一致させる制御を行っているが、図５の露光差方式では、露光時間の開始時点をＡ面Ｂ面で一致させ、Ａ面画素の露光時間終了より先にＢ面画素の露光時間を終了させている。図５，図３のどちらの露光差方式でも良く、適宜選択できるようにすることもできる。

以上述べた様に、露光差方式は、Ａ面とＢ面との間に露光時間の差を設け、短時間露光のＢ面画素が高輝度信号を受光しても飽和しないようにでき、長時間露光のＡ面画素が低輝度信号を表現できる。アンダーゲイン方式では、ゲインを下げることでＡ面画素及びＢ面画素が共に低輝度から高輝度の信号を表現できる。ゲイン差方式は、Ａ面とＢ面との間にゲイン差を設けるため、大きいゲインのＡ面画素が低輝度信号を表現でき、小さなゲインのＢ面画素が高輝度信号を表現できる。

これに対し、露光差方式は、露光期間が異なるため、素早い動体などを被写体としたとき、後述の様に正しくダイナミックレンジが表現できない。また、アンダーゲイン方式は、Ａ面とＢ面とが同じ信号量となり、ゲイン差方式と異なり、高輝度や低輝度の階調が出ない。

高輝度の被写体を撮影する場合、もともとシャッタースピードが短くなるため動体が被写体であっても影響が小さく、露光差方式が有利となるが、被写体が低輝度の場合は、露光差方式の長時間露光と短時間露光とが重なっていない時間中に被写体が動いてしまうため、正しいダイナミックレンジが表現できなくなってしまう。

この様に、３つのダイナミックレンジを拡大する撮像制御方法（露光差方式、アンダーゲイン方式、ゲイン差方式）には、撮影シーンや被写体の種別に応じて夫々一長一短がある。そこで、本実施形態では、撮影シーン，被写体種別に応じた最適なダイナミックレンジの拡大を行うことができる様に、ゲイン差方式と他の撮像制御方法とを組み合わせることを特徴としている。以下に述べる実施形態では、上記の３つのダイナミックレンジ拡大を行う撮像制御方法を搭載し、撮影シーン，被写体種別に応じて適宜選択する様にしている。

図６は、本発明の第１実施形態に係る撮像制御方法の処理手順を示すフローチャートであり、図１のＣＰＵ２９が配下のデジタル信号処理部２６等を使って実行する。

先ず、撮影開始即ち撮影モードでの電源投入を待機し（ステップＳ１）、撮影モードが開始したとき次のステップＳ２に進み、固体撮像素子２１からスルー画像状態で出力される撮像画像信号を解析し、露出（ＡＥ）データを取得する。

次のステップＳ３では、ダイナミックレンジを拡大する撮影モードであるか否かを判定する。ユーザ（撮影者）が図１の操作部３３から指示入力している場合や、カメラがスルー画像を解析して撮影シーン等を解析し、自動判別する場合がある。

ダイナミックレンジを拡大する撮影モードでない場合には、ステップＳ３からステップＳ４に進み、上述した「通常」の撮像制御を実行すべく図１のＣＰＵ２９は駆動部２４に固体撮像素子２１等の駆動方法を指示し、ステップＳ５で撮影処理を実行する。

この撮影処理の後は、ステップＳ６に進み、固体撮像素子２１から出力される撮像画像信号に対してガンマ補正処理やＲＧＢ／ＹＣ変換処理などの周知の画像処理を施して被写体画像データを生成すると共に、この画像データをＪＰＥＧ形式等で圧縮し、次のステップＳ７で画像データを記録メディア３２に記録し、この図６の処理を終了する。

ステップＳ３の判定結果が、ダイナミックレンジを拡大する撮影モードであった場合、次にステップＳ１１に進み、ステップＳ２で取得した露出データが一定露出以上（露出値が所定の閾値以上：フローチャート上では「一定」と表現。以下同様。）である否かを判定する。一定露出以上の場合には、ステップＳ１１からステップＳ１２に進み、上述した「露光差方式」の撮像制御を行うべく、ＣＰＵ２９は固体撮像素子２１等の駆動方法を駆動部２４に指示し、ステップＳ５に進む。以下、ステップＳ６，Ｓ７と進み、この図６の処理を終了する。

ステップＳ１１の判定の結果、一定露出未満の場合にはステップＳ１３に進み、今度は被写体の中に動体が存在するか否かを判定する。動体が存在するか否かは、図７に示す様に、スルー画像の第１フレーム（同図（ａ））と第２フレーム（同図（ｂ））との間で、同一被写体画像の位置がずれているか否かで判定できる。この判定処理には、周知の動体検出処理方法を適用できる。

動体が存在する場合には、段落〔００４０〕〔００４１〕で述べた様に、露光差方式では正しいダイナミックレンジの表現ができない虞があるためステップＳ１２には進まず、動体が存在しない場合に、ステップＳ１３からステップＳ１２に進む。

ステップＳ１３の判定の結果、動体が存在する場合には、次にステップＳ１４に進み、被写体の低輝度部分のグラデーションが一定以上あるか否かを判定する。低輝度グラデーションが一定以上の場合には低輝度の階調がとれるゲイン差方式を選択すべくステップＳ１５に進み、ゲイン差方式で固体撮像素子２１等を駆動するようにＣＰＵ２９は駆動部２４に指示を出し、ステップＳ５で撮影処理を実行する。

ステップＳ１４の判定の結果、低輝度部分のグラデーションが一定以上ない場合には、ステップＳ１６に進み、アンダーゲイン方式を選択する。低輝度部分のグラデーションが一定以上ない場合には、ゲイン差方式とアンダーゲイン方式とで低輝度階調における優劣が起きないため、解像度の高い被写体画像が撮像できるアンダーゲイン方式を選択する。ステップＳ１６でＣＰＵ２９は固体撮像素子２１等をアンダーゲイン方式で駆動するように駆動部２４に指令を出し、ステップＳ５で撮影処理を実行する。

本実施形態では、低輝度部分のグラデーションが一定以上の場合にゲイン差方式（ステップＳ１５）を選択し、一定以上ない場合にアンダーゲイン方式（ステップＳ１６）を選択しているのは、解像度より階調表現をゆたかにした方が被写体画像の品質が高くなるためである。

なお、図６の処理ステップのうち、動体検出の判定ステップＳ１３は、ステップＳ１１と順序が逆でも良く、あるいはステップＳ１３は無くても良い。

図８は、本発明の第２実施形態に係る撮像制御方法の処理手順を示すフローチャートである。図６の第１実施形態と同じ処理ステップには同じステップ番号を付けてその詳細な説明は省略し、異なる部分についてのみ説明する。なお、以下で述べる各実施形態のフローチャートでは、「通常」の撮像制御処理に進む部分は省略している。

本実施形態では、ステップＳ２でデータを取得した後に、図６のステップＳ１１の代わりに行うステップＳ２１でフラッシュ発光を行うか否かを判定し、フラッシュ発光無しの場合にステップＳ１２の露光差方式に進む。ステップＳ２で露出データを取得し、明るさが暗いとカメラが判断した場合には、フラッシュ発光が自動的に行われる。

この場合、露光差方式では、図９に示す様に、長時間露光中でかつ短時間露光が開始していない間にフラッシュが発光されると、フラッシュ光は長時間露光画素には入るが、短時間露光画素には入らないことになり、正しいダイナミックレンジを表現することができなくなってしまう。そこで、この様な場合には、露光差方式を選択しないようにする。

図５に示す露光差方式の様に、長時間露光と短時間露光の開始タイミングが同じ場合に長時間露光と短時間露光が重なっている間にフラッシュを焚いても、正しいダイナミックレンジを表現することができない。

長時間露光と短時間露光で露光時間に差を設けているのはダイナミックレンジを拡大するためであるが、撮影シーンが暗くてフラッシュを焚くと、フラッシュ光が長時間露光画素と短時間露光画素の両方に同じ様に入り、長時間露光画素の出力信号レベルと短時間露光画素の出力信号レベルにあまり差はなく、露光時間に差を設けてもその効果は薄いものになってしまうからである。

ステップＳ２１の判定の結果、フラッシュ発光無しと判定された場合、次のステップＳ２２で、ビット精度が一定以上であるか否かを判定する。そして、ビット精度が一定以上の場合にはステップＳ１６のアンダーゲイン方式を選択し、ビット精度が一定以上ない場合にはステップＳ１５のゲイン差方式を選択する。

例えば、高速連写を行う場合、ＡＤ変換やデータ転送に時間がかかるため、被写体画像のビット精度を自動的に落とし、高速連写が可能なようにするのが一般的である。ビット精度を落とすことで、記録メディアに保存できる画像枚数も増える。この様に、高速連写モードの場合、ビット精度は低くなり易く、低輝度部分の階調も落ち易いため、ゲイン差方式を選択して低輝度の階調を改善する。

図１０は、本発明の第３実施形態の撮像制御方法の処理手順を示すフローチャートである。本実施形態は、図８のステップＳ２１の代わりにステップＳ２５を行い、ステップＳ２２の代わりにステップＳ２６を行う点が異なる。

ステップＳ２５では、ステップＳ２で取得したデータに基づいて撮影シーンの明るさを判定し、明るさが一定以上の場合にはステップＳ１２の露光差方式を選択する。明るさが一定以上なく暗い場合にはステップＳ２６に進み、デジタルゲインが一定以上あるか否かを判定する。デジタルゲインが一定以上の場合にはステップＳ１５のゲイン差方式を選択し、デジタルゲインが一定以上ない場合にはステップＳ１６のアンダーゲイン方式を選択する。

固体撮像素子２１の出力信号は、アナログ信号処理部（ＡＦＥ）２２でアナログ的に増幅される。しかし、アナログゲイン以上にゲインが必要な場合には、カメラが自動的にデジタルゲインをかけて増幅を行う。この場合、デジタルゲインによるビット階調が落ちる懸念がある。そこで、本実施形態では、デジタルゲインが一定以上の場合にはゲイン差方式を選択し、低輝度階調を改善する。

図１１は、本発明の第４実施形態の撮像制御方法の処理手順を示すフローチャートである。本実施形態では、図１０のステップＳ２６に代わりにステップＳ２７を行う点のみ異なる。

図１０のステップＳ２６ではデジタルゲインが一定以上あるか否かを判定したが、このステップＳ２７では、ホワイトバランスゲインが一定以上あるか否かを判定する。そして、ホワイトバランスゲインが一定以上のときゲイン差方式（ステップＳ１５）を選択し、ホワイトバランスゲインが一定以上ないときアンダーゲイン方式（ステップＳ１６）を選択する。

色温度が低い場合や高い場合には、ホワイトバランスを調整するためのホワイトバランスゲインが、特定色で大きくなる。このホワイトバランスゲインは、デジタルゲインと同様に、ビット階調を落とす懸念があるため、ある一定以上のホワイトバランスゲインが必要な場合には、ゲイン差方式を採用して、低輝度階調を改善する。

図１２は、本発明の第５実施形態の撮像制御方法の処理手順を示すフローチャートである。本実施形態では、図１１のステップＳ２７に代わりにステップＳ２８を行う点のみ異なる。

ステップＳ２８では、固体撮像素子２１の受光面の周辺部分の信号量が中心部分の信号量より一定以下であるか否かを判定し、一定以下の場合にはステップＳ１５のゲイン差方式を選択し、一定を越える場合にはステップＳ１６のアンダーゲイン方式を選択する。

レンズの特性や固体撮像素子の特性上、固体撮像素子受光面の中心と周辺で信号量が異なる。即ち、受光面周辺の信号量が受光面中央の信号量より小さくなる場合が多い。このため、デジタルゲインで周辺信号量を増幅することがある。特に、Ｆ値が低いレンズの場合、受光面への入射光角度が大きくなるため、周辺光量が低下して信号量が低下しやすくなる。この様な場合、デジタルゲインと同様に、周辺のビット階調が落ちる懸念があり、ある一定以上即ちある閾値以上周辺信号量が落ちたとき、低輝度階調を改善できるゲイン差方式を選択する。

なお、上述した実施形態では、図２に示す画素配列（所謂ハニカム画素配列），カラーフィルタ配列で説明したが、図１３に示す様に、各画素が正方格子配列され、奇数行の各画素にカラーフィルタがベイヤ配列され、偶数行の各画素にカラーフィルタがベイヤ配列される固体撮像素子にも上述した各実施形態をそのまま適用可能である。奇数列に各画素にカラーフィルタがベイヤ配列され、偶数列の各画素にカラーフィルタがベイヤ配列される場合も同様である。

以上述べた様に、実施形態の撮像装置及びその撮像制御方法は、
平面上に受光素子が２次元に配置されている第１画素群と、前記平面上に受光素子が２次元に配置されている第２画素群と、を含み、
前記第１画素群と前記第２画素群は同一のカラーフィルタ配列をなし、
前記第１画素群の各画素と前記第２画素群の各画素が互いに隣接に配置されてペア画素を構成し、該ペア画素に同色のカラーフィルタが積層されている
固体撮像素子と、
前記第１画素群と前記第２画素群の露光時間を個別に制御する駆動手段と、
前記固体撮像素子から出力される画素信号をゲインで増幅する利得制御手段と、
前記利得制御手段から出力される出力信号を前記ペア画素ごとに加算する出力信号加算手段と、
を備える撮像装置において、
前記第１画素群の露光時間と前記第２画素群の露光時間を同一に制御すると共に前記第１画素群の出力信号と前記第２画素群の画素信号に対する前記ゲインを異ならせるよう制御して前記出力信号を前記ペア画素ごとに加算する第１のダイナミックレンジ拡大処理と前記第１画素群の露光時間と前記第２画素群の露光時間を異ならせるよう制御すると共に前記第１画素の出力信号と前記第２画素群の画素信号に対する前記ゲインを同一に制御して前記出力信号を前記ペア画素ごとに加算する第２のダイナミックレンジ拡大処理とのいずれか一方を撮影シーンに応じて選択することを特徴とする。

また、実施形態の撮像装置及びその撮像制御方法は、更に、前記第１画素群の露光時間と前記第２画素群の露光時間を同一に制御すると共に前記ゲインを同一かつ前記第２のダイナミックレンジ拡大処理のゲインに比べて小さく制御し前記出力信号の加算を行わずに被写体画像を生成する第３のダイナミックレンジ拡大処理とを備え、前記第１，前記第２及び前記第３のダイナミックレンジ拡大処理のいずれか１つの処理を前記撮影シーンに応じて選択することを特徴とする。

また、実施形態の撮像装置及びその撮像制御方法は、被写体の露出が所定の閾値以上である場合に前記第１のダイナミックレンジ拡大処理を行い、該露出が該所定の閾値未満である場合に該被写体の低輝度階調の情報を基に前記第２又は前記第３のダイナミックレンジ拡大処理のいずれか１つの選択を行うことを特徴とする。

また、実施形態の撮像装置及びその撮像制御方法は、更に、被写体中に動体を検出したとき前記第１のダイナミックレンジ拡大処理を選択することを特徴とする。

また、実施形態の撮像装置及びその撮像制御方法は、更に、フラッシュ発光が必要なとき前記第１のダイナミックレンジ拡大処理を選択することを特徴とする。

また、実施形態の撮像装置及びその撮像制御方法は、更に、ビット精度が閾値より低いとき前記第１のダイナミックレンジ拡大処理を選択することを特徴とする。

また、実施形態の撮像装置及びその撮像制御方法は、更に、デジタルゲインが閾値より大きいとき前記第１のダイナミックレンジ拡大処理を選択することを特徴とする。

また、実施形態の撮像装置及びその撮像制御方法は、更に、ホワイトバランスゲインが閾値より大きいとき前記第１のダイナミックレンジ拡大処理を選択することを特徴とする。

また、実施形態の撮像装置及びその撮像制御方法は、更に、前記固体撮像素子の受光面の中央の信号量に対して周辺の信号量が閾値以上小さいとき前記第１のダイナミックレンジ拡大処理を選択することを特徴とする。

以上述べた実施形態によれば、撮影シーンに応じたダイナミックレンジ拡大方法が選択されるため、撮影シーンが代わっても最適なダイナミックレンジを表現可能となる。

本発明に係る撮像制御方法は、撮影シーン，被写体種別に応じた適切なダイナミックレンジの拡大を行うことができるため、デジタルスチルカメラやカメラ付携帯電話機，カメラ付小型電子装置，デジタルビデオカメラ等のデジタルカメラに適用すると有用である。

２１ 固体撮像素子
２２ アナログ信号処理部（ＡＦＥ）
２４ 駆動部
２６ デジタル信号処理部
２９ システム制御部
Ｒ，ｒ 赤色フィルタ
Ｇ，ｇ 緑色フィルタ
Ｂ，ｂ 青色フィルタ

Claims (18)

1. 平面上に受光素子が２次元に配置されている第１画素群と、前記平面上に受光素子が２次元に配置されている第２画素群と、を含み、
   前記第１画素群と前記第２画素群は同一のカラーフィルタ配列をなし、
   前記第１画素群の各画素と前記第２画素群の各画素が互いに隣接に配置されてペア画素を構成し、該ペア画素に同色のカラーフィルタが積層されている
   固体撮像素子と、
   前記第１画素群と前記第２画素群の露光時間を個別に制御する駆動手段と、
   前記固体撮像素子から出力される画素信号をゲインで増幅する利得制御手段と、
   前記利得制御手段から出力される出力信号を前記ペア画素ごとに加算する出力信号加算手段と、
   前記第１画素群の露光時間と前記第２画素群の露光時間を同一に制御すると共に前記第１画素群の出力信号と前記第２画素群の画素信号に対する前記ゲインを異ならせるよう制御して前記出力信号を前記ペア画素ごとに加算する第１のダイナミックレンジ拡大処理と前記第１画素群の露光時間と前記第２画素群の露光時間を異ならせるよう制御すると共に前記第１画素の出力信号と前記第２画素群の画素信号に対する前記ゲインを同一に制御して前記出力信号を前記ペア画素ごとに加算する第２のダイナミックレンジ拡大処理とのいずれか一方を撮影シーンに応じて選択する撮像制御手段と
   を備える撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記撮像制御手段は更に、前記第１画素群の露光時間と前記第２画素群の露光時間を同一に制御すると共に前記ゲインを同一かつ前記第２のダイナミックレンジ拡大処理のゲインに比べて小さく制御し前記出力信号の加算を行わずに被写体画像を生成する第３のダイナミックレンジ拡大処理とを備え、前記第１，前記第２及び前記第３のダイナミックレンジ拡大処理のいずれか１つの処理を前記撮影シーンに応じて選択する撮像装置。
3. 請求項１又は請求項２に記載の撮像装置であって、
   前記撮像制御手段は、被写体の露出が所定の閾値以上である場合に前記第１のダイナミックレンジ拡大処理を行い、該露出が該所定の閾値未満である場合に該被写体の低輝度階調の情報を基に前記第２又は前記第３のダイナミックレンジ拡大処理のいずれか１つの選択を行う撮像装置。
4. 請求項１乃至請求項３のいずれか１項に記載の撮像装置であって、前記撮像制御手段は、更に、被写体中に動体を検出したとき前記第１のダイナミックレンジ拡大処理を選択する撮像装置。
5. 請求項１乃至請求項３のいずれか１項に記載の撮像装置であって、前記撮像制御手段は、更に、フラッシュ発光が必要なとき前記第１のダイナミックレンジ拡大処理を選択する撮像装置。
6. 請求項１乃至請求項３のいずれか１項に記載の撮像装置であって、前記撮像制御手段は、更に、ビット精度が閾値より低いとき前記第１のダイナミックレンジ拡大処理を選択する撮像装置。
7. 請求項１乃至請求項３のいずれか１項に記載の撮像装置であって、前記撮像制御手段は、更に、デジタルゲインが閾値より大きいとき前記第１のダイナミックレンジ拡大処理を選択する撮像装置。
8. 請求項１乃至請求項３のいずれか１項に記載の撮像装置であって、前記撮像制御手段は、更に、ホワイトバランスゲインが閾値より大きいとき前記第１のダイナミックレンジ拡大処理を選択する撮像装置。
9. 請求項１乃至請求項３のいずれか１項に記載の撮像装置であって、前記撮像制御手段は、更に、前記固体撮像素子の受光面の中央の信号量に対して周辺の信号量が閾値以上小さいとき前記第１のダイナミックレンジ拡大処理を選択する撮像装置。
10. 平面上に受光素子が２次元に配置されている第１画素群と、前記平面上に受光素子が２次元に配置されている第２画素群と、を含み、
    前記第１画素群と前記第２画素群は同一のカラーフィルタ配列をなし、
    前記第１画素群の各画素と前記第２画素群の各画素が互いに隣接に配置されてペア画素を構成し、該ペア画素に同色のカラーフィルタが積層されている
    固体撮像素子と、
    前記第１画素群と前記第２画素群の露光時間を個別に制御する駆動手段と、
    前記固体撮像素子から出力される画素信号をゲインで増幅する利得制御手段と、
    前記利得制御手段から出力される出力信号を前記ペア画素ごとに加算する出力信号加算手段と、
    を備える撮像装置の撮像制御方法であって、
    前記第１画素群の露光時間と前記第２画素群の露光時間を同一に制御すると共に前記第１画素群の出力信号と前記第２画素群の画素信号に対する前記ゲインを異ならせるよう制御して前記出力信号を前記ペア画素ごとに加算する第１のダイナミックレンジ拡大処理と前記第１画素群の露光時間と前記第２画素群の露光時間を異ならせるよう制御すると共に前記第１画素の出力信号と前記第２画素群の画素信号に対する前記ゲインを同一に制御して前記出力信号を前記ペア画素ごとに加算する第２のダイナミックレンジ拡大処理とのいずれか一方を撮影シーンに応じて選択する
    撮像装置の撮像制御方法。
11. 請求項１０に記載の撮像装置の撮像制御方法であって、
    更に、前記第１画素群の露光時間と前記第２画素群の露光時間を同一に制御すると共に前記ゲインを同一かつ前記第２のダイナミックレンジ拡大処理のゲインに比べて小さく制御し前記出力信号の加算を行わずに被写体画像を生成する第３のダイナミックレンジ拡大処理とを備え、前記第１，前記第２及び前記第３のダイナミックレンジ拡大処理のいずれか１つの処理を前記撮影シーンに応じて選択する撮像装置の撮像制御方法。
12. 請求項１０又は請求項１１に記載の撮像装置の撮像制御方法であって、被写体の露出が所定の閾値以上である場合に前記第１のダイナミックレンジ拡大処理を行い、該露出が該所定の閾値未満である場合に該被写体の低輝度階調の情報を基に前記第２又は前記第３のダイナミックレンジ拡大処理のいずれか１つの選択を行う撮像装置の撮像制御方法。
13. 請求項１０乃至請求項１２のいずれか１項に記載の撮像装置の撮像制御方法であって、更に、被写体中に動体を検出したとき前記第１のダイナミックレンジ拡大処理を選択する撮像装置の撮像制御方法。
14. 請求項１０乃至請求項１２のいずれか１項に記載の撮像装置の撮像制御方法であって、更に、フラッシュ発光が必要なとき前記第１のダイナミックレンジ拡大処理を選択する撮像装置の撮像制御方法。
15. 請求項１０乃至請求項１２のいずれか１項に記載の撮像装置の撮像制御方法であって、更に、ビット精度が閾値より低いとき前記第１のダイナミックレンジ拡大処理を選択する撮像装置の撮像制御方法。
16. 請求項１０乃至請求項１２のいずれか１項に記載の撮像装置の撮像制御方法であって、更に、デジタルゲインが閾値より大きいとき前記第１のダイナミックレンジ拡大処理を選択する撮像装置の撮像制御方法。
17. 請求項１０乃至請求項１２のいずれか１項に記載の撮像装置の撮像制御方法であって、更に、ホワイトバランスゲインが閾値より大きいとき前記第１のダイナミックレンジ拡大処理を選択する撮像装置の撮像制御方法。
18. 請求項１０乃至請求項１２のいずれか１項に記載の撮像装置の撮像制御方法は、更に、前記固体撮像素子の受光面の中央の信号量に対して周辺の信号量が閾値以上小さいとき前記第１のダイナミックレンジ拡大処理を選択する撮像装置の撮像制御方法。

Images