JP2011044966A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】電子シャッタのタイミングを制御して高ダイナミックレンジな撮影をする。
【解決手段】撮像装置１０は、マトリクス状に配列された複数の画素を有する撮像素子１０２を備え、撮像素子１０２に露光して被写体を撮像し、被写体の撮像状態を検出する検出部２０２と、撮像素子１０２を遮光するように走行する幕体１０４の動作を制御する動作制御部２０６と、幕体１０４の走行に先行して、被写体の撮像状態に応じた走査パターンに基づいて撮像素子の露光開始走査を制御する走査制御部２０４と、を備える。
【選択図】図５

Description

本発明は、撮像装置および撮像方法に関し、特に、マトリクス状に配列された複数の画素を有する撮像素子を備える撮像装置および撮像方法に関する。

ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の撮像素子を搭載した撮像装置において、シャッタ動作の先幕を電子シャッタで行い、後幕をメカニカルシャッタで行うことが開示されている（例えば、特許文献１）。また、電子シャッタとメカニカルシャッタを組み合わせる方式において、領域またはラインごとに電荷蓄積を開始するタイミングを変更して、レンズの種類や絞りの値、シャッタ速度の違いで発生する露光ムラを防ぐ技術も開示されている（例えば、特許文献２および３）。

特許文献２および３では、従来のメカニカルな先幕を電子的なリセット機能に置き換えたことにより生じる画質的な不具合を補正することを目的としている。したがって、先幕となる電子シャッタの動作タイミングは、後幕となるメカニカルシャッタの後幕とほぼ同じ特性を有するように設定される。また、レンズの種類や絞りの値など、シャッタの特性を変化させる要因について、補正パラメータを盛り込んで動作タイミングが設定される。

特開平１１−４１５２３号公報 特開２００７−１５９０６１号公報 特開２００７−５３７４２号公報

ところで、一般的に撮像素子のダイナミックレンジはまだ低く、暗所から明所までを１つの画像で再現できない場合が多い。例えば、明るい青空を背景に人物を撮影しようとした場合、人物に露出を合わせると空は飽和していわゆる白飛びを起こし青空が再現できない。一方、青空に露出を合わせると人物が露光不足で黒くつぶれてしまうということがあった。上記した電子シャッタとメカニカルシャッタを併用する方式では、シャッタ速度の違いで領域ごとまたはラインごとに電荷蓄積を開始するタイミングを変更することができる。すなわち、領域ごとまたはラインごとに露光時間を変更可能であるため、当該技術を利用してダイナミックレンジの広い良好な画像を得ることが望まれている。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、電子シャッタとメカニカルシャッタを併用する構成において、電子シャッタのタイミングを制御して高ダイナミックレンジな撮影をすることが可能な、新規かつ改良された 撮像装置および撮像方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、マトリクス状に配列された複数の画素を有する撮像素子を備え、撮像素子に露光して被写体を撮像する撮像装置であって、被写体の撮像状態を検出する検出部と、撮像素子を遮光するように走行する幕体の動作を制御する動作制御部と、幕体の走行に先行して、被写体の撮像状態に応じた走査パターンに基づいて撮像素子の露光開始走査を制御する走査制御部と、を備えることを特徴とする、撮像装置が提供される。

かかる構成によれば、被写体の撮像状態を検出し、該撮像状態に応じた走査パターンに基づいて撮像素子の露光が開始された後、幕体が撮像素子を遮光するように走行する。これにより、撮像状態に応じて撮像素子の露光開始タイミングを調整して高ダイナミックレンジな撮影をすることが可能となる。

また、走査制御部は、撮像素子の露光開始走査を、走査パターンに基づいてリセット信号を各画素に与えることにより撮像素子の露光を開始するシャッタの先幕（以降、電子先幕シャッタとも称する。）として機能させ、動作制御部は、撮像素子を遮光する幕体をシャッタの後幕（以降、メカ後幕シャッタとも称する。）として機能させる。被写体の撮像状態とは、撮影レンズの撮影時における周辺光量、焦点距離、絞り値などが含まれる。これにより、先幕としての電子シャッタと後幕としてのメカニカルシャッタを併用し、先幕となる電子シャッタのタイミングを制御して露光時間を調整することができる。

また、検出部は、被写体の撮像状態が画像を再現する際に適切なダイナミックレンジ内の範囲内となるか否かを検出し、走査制御部は、検出部により被写体の撮像状態がダイナミックレンジ外であることが検出された場合に、走査パターンに基づいて撮像素子の露光開始走査を制御することが好ましい。これにより、撮像状態がダイナミックレンジ外、すなわち、白飛びしていたり黒くつぶれていたりして画像が再現できない場合に露光開始タイミングを調整することができる。

また、走査制御部は、撮像素子の行ごとに順次露光を開始してもよい。また、走査制御部は、撮像素子の領域ごとに順次露光を開始してもよい。これにより、行ごとまたは領域ごとに撮像素子の露光開始タイミングを調整することができる。

また、動作制御部は、幕体を撮像素子の所定の画素ラインの垂直方向に移動させ、走査パターンは、幕体の移動開始位置の画素ラインから移動方向の移動終了位置の画素ラインに向けての露光開始タイミングを示す特性カーブであってもよい。これにより、撮像素子の露光開始タイミングを示す特性カーブに基づいて、撮像素子の露光を開始することができる。

また、走査パターンは、幕体の移動開始位置の画素ラインから移動方向の移動終了位置の画素ラインに向けての露光開始タイミングを決定する所定の関数であってもよい。これにより、撮像素子の露光開始タイミングを決定する所定の関数に基づいて、撮像素子の露光を開始することができる。所定の関数は、１次関数または２次関数などを例示できる。

また、走査制御部は、撮像素子の各画素の読み出し走査を制御し、走査制御部による撮像素子の水平方向の画素の読み出しに同期させて所定の領域ごとにゲインを調整するゲイン調整部を備えることが好ましい。これにより、水平方向のゲインを調整することができる。

ゲイン調整部は、撮像素子の画素単位でゲインを調整し、撮像素子の水平方向の１ラインごとのパラメータテーブルに基づいてゲインを調整してもよい。これにより、水平方向に画素単位でゲインを調整することができる。

ゲイン調整部は、撮像素子の画素単位でゲインを調整し、撮像素子の水平方向の画素の読み出し位置に同期させてゲインの変化幅を示す所定の関数に基づいてゲインを調整してもよい。これにより、ゲインの変化幅を示す所定の関数に基づいて水平方向にゲインを調整することができる。

上記課題を解決するために、本発明の別の観点によれば、マトリクス状に配列された複数の画素を有する撮像素子に露光して被写体を撮像する撮像方法であって、被写体の撮像状態を検出するステップと、被写体の撮像状態に応じた走査パターンに基づいて、撮像素子の露光開始走査を実行するステップと、撮像素子を遮光するように走行する幕体を動作させるステップと、を含むことを特徴とする、撮像方法が提供される。

以上説明したように本発明によれば、電子シャッタとメカニカルシャッタを併用する構成において、電子シャッタのタイミングを制御して高ダイナミックレンジな撮影をすることができる。

本発明の一実施形態にかかる画質改善の具体例について説明する説明図である。 メカニカルシャッタの先幕と後幕の動作について説明する説明図である。 電子先幕シャッタとメカ後幕シャッタの動作について説明する説明図である。 本発明の一実施形態にかかる撮像装置の機能構成を示すブロック図である。 同実施形態にかかるＣＰＵの構成を示すブロック図である。 同実施形態にかかる撮像シーンの検出について説明する説明図である。 同実施形態にかかる撮像シーンの検出について説明する説明図である。 同実施形態にかかるゲインおよびシャッタの調整について説明する説明図である。 同実施形態にかかる電子先幕シャッタによる画像補正の処理の流れを示すフローチャートである。 同実施形態にかかる垂直および水平方向の画像補正の処理について説明する。 同実施形態にかかる垂直および水平方向の画像補正の処理について説明する。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下に示す順序に従って当該「発明を実施するための最良の形態」を説明する。
〔１〕本実施形態の目的
〔２〕撮像装置の概要
〔３〕撮像装置の機能構成
〔４〕撮像装置の動作の詳細

また、以下に示す順序に従って当該「発明を実施するための最良の形態」を説明する。
〔１〕本実施形態の目的
まず、本発明の実施形態の目的について説明する。ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の撮像素子を搭載した撮像装置において、シャッタ動作の先幕を電子シャッタで行い、後幕をメカニカルシャッタで行うことが開示されている。また、電子シャッタとメカニカルシャッタを組み合わせる方式において、領域またはラインごとに電荷蓄積を開始するタイミングを変更して、レンズの種類や絞りの値、シャッタ速度の違いで発生する露光ムラを防ぐ技術も開示されている。

上記技術では、従来のメカニカルな先幕を電子的なリセット機能に置き換えたことにより生じる画質的な不具合を補正することを目的としている。したがって、先幕となる電子シャッタの動作タイミングは、後幕となるメカニカルシャッタの後幕とほぼ同じ特性を有するように設定される。また、レンズの種類や絞りの値など、シャッタの特性を変化させる要因について、補正パラメータを盛り込んで動作タイミングが設定される。

ところで、一般的に撮像素子のダイナミックレンジはまだ低く、暗所から明所までを１つの画像で再現できない場合が多い。例えば、明るい青空を背景に人物を撮影しようとした場合、人物に露出を合わせると空は飽和していわゆる白飛びを起こしてしまう。例えば、青空が青くなかったり、青空に浮かぶ雲が再現できなかったりしてしまう。一方、青空に露出を合わせると、人物が露光不足で黒くつぶれてしまいよい写真が撮れないということがあった。

上記した電子シャッタとメカニカルシャッタを併用する方式では、シャッタ速度の違いで領域ごとまたはラインごとに電荷蓄積を開始するタイミングを変更することができる。すなわち、領域ごとまたはラインごとに露光時間を変更可能であるため、当該技術を利用してダイナミックレンジの広い良好な画像を得ることが望まれている。

そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる撮像装置が創作されるに至った。本実施形態にかかる撮像装置１０によれば、電子シャッタとメカニカルシャッタを併用する構成において、電子シャッタのタイミングを制御して高ダイナミックレンジな撮影をすることが可能となる。

〔２〕駆動制御装置の概要
次に、図１〜図３を参照して、本実施形態にかかる撮像装置１０の概要について説明する。図１を参照して、本実施形態にかかる撮像装置１０による画質改善について説明する。図１は、撮像装置１０による画質改善の具体例について説明する説明図である。図１の画像例５１〜５３は、太陽や山、ススキなどを含む風景を撮影した画像である。画像例５１は、画像下部に露出を合わせて撮影した画像である。画像例５１では、画像下部のススキなどはよく撮影されているが、上部の太陽周辺はいわゆる白飛びを起こしてしまっている。また、画像例５２は、画像上部の太陽に露出を合わせて撮影した画像である。画像例５２では、画像上部の太陽はよく撮影されているが、画像下部のススキなどは露光不足で黒くなってしまっている。

画像例５３は、撮像装置１０により露出調整されて撮影された画像である。画像例５３では、太陽周辺が画像例５１ほど白くなく、画像下部が画像例５２ほど黒くなっておらず、太陽も山もススキもよく撮影されている画像となっている。撮像装置１０は、上記したように、電子シャッタとメカニカルシャッタを併用しており、先幕となる電子シャッタ（電子先幕シャッタ）のタイミングを制御して領域ごとまたはラインごとに露光時間を調整することができる。

具体的には、撮像装置１０は、撮像画面を領域ごとに分割し、領域ごとの明るさの分布を検知して撮像シーンの分析を行う。そして、領域ごとの測光値をもとに、電子先幕シャッタの動作タイミングを記載したタイミングテーブルのパラメータを変更したり、パラメータを生成するための関数を変更したりして、画面内での露光時間を撮影シーンに合わせて調整することができる。例えば、画像例５３では、上部と下部で明るさが異なっている。すなわち、上部は明るく、下部は暗い。そこで、撮像装置１０は、画面の上部は露出時間を短くし、画面の下部では露出時間を長くなるように電子先幕シャッタの動作タイミングを変更する。

ここで、図２および図３を参照して、シャッタの先幕と後幕の動作について説明する。図２は、メカニカルシャッタの先幕と後幕の走行パターンを示した図である。図２のグラフ６１において、横軸は時間、縦軸は撮像素子上の下から上への距離（位置）を表している。

図２のグラフ６１に示したように、メカニカルシャッタは、幕体の移動速度が一定ではなく、移動始端では比較的幕速が遅く、移動終端になるほど加速されて比較的幕速が早くなっている。また、温湿度の変化や姿勢差などによっても、幕速が変化する場合がある。したがって、先幕として電子シャッタを用いた場合、一定な幕速の先幕と、幕速が変化する後幕との間で幕速のずれが発生してしまうこととなる。

先幕として電子シャッタを用いる場合には、撮像素子が備える各画素にリセット動作を行わせるリセット信号を、画素ライン単位で順次与えて当該撮像素子に露光動作を開始させる。そして、設定された露光時間の経過後に幕体を走行させる機械的な遮光を行い当該撮像素子の露光動作を終了させる。

図３を参照して、先幕として電子シャッタを用いた場合の先幕と後幕の動作について説明する。図３のグラフ６２は、電子先幕シャッタのリセット走査の走査パターンとメカ後幕シャッタの走行パターンとの関係を示す図である。グラフ６２に示したように、上記した幕速のずれをなくすために、電子先幕シャッタのリセット走査（露光開始走査）の走査カーブは、メカ後幕シャッタの走行カーブとほぼ同じ形状となっている。すなわち、撮像素子の下から上に渡ってほぼ同じ露光時間となっている。

図３のグラフ６３は、本実施形態にかかる撮像装置１０の電子先幕シャッタの走査パターンとメカ後幕シャッタの走行パターンとの関係を示す図である。上記したように、撮像装置１０では、画面の領域ごとまたはラインごとの測光値をもとに、白飛びしている領域や黒くつぶれている領域など撮像シーンを検知する。そして、検知した撮像シーンに応じて露光時間を調整することができる。

例えば、図３のグラフ６３では、移動始端では露出時間が短く、移動終端では露出時間が長くなっている。これは、検知した撮影シーンの上部が明るく、下部が暗い場合に、グラフ６３の電子先幕シャッタの走査パターンに変更して、上部の露出時間を短くして下部の露出時間を長くしている。このように、撮像装置１０によれば、撮影シーンに応じて露出開始走査のタイミングを調整して、高ダイナミックレンジな撮影をすることが可能となる。

さらに、領域ごとの測光値をもとに、部分的に感度（ゲイン）を変更するようにしてもよい。例えば、白飛びする画面領域と黒くつぶれてしまう画面領域の割合や、コントラスト、それぞれの位置などから、１画面の領域ごとに電子先幕シャッタにより露光時間を調整するか、感度を変更（ゲイン変更）するかのいずれかまたは両方により調整するようにしてもよい。これにより、ダイナミックレンジの広い、良好な画像を取得することが可能となる。

〔３〕撮像装置の機能構成
以上、撮像装置１０の概要について説明した。次に、図４を参照して、撮像装置１０の機能構成について説明する。図４は、撮像装置１０の機能構成を示すブロック図である。図４に示したように、撮像装置１０は、ＣＭＯＳ１０２、シャッタ１０４ａ、１０４ｂ（以降、シャッタユニット１０４とも称する）、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ：アナログフロントエンド）１０６、ＴＧ（タイミングジェネレータ）１０８、撮像信号処理部１１０、メモリコントローラ１１２、メモリ１１４、メモリコントローラ１１６、ＡＥ／ＡＦ／ＡＷＢ１２０、ＣＰＵ１２２、ＬＣＤ／Ｉｍａｇｅ Ｏｕｔｐｕｔ（ＬＣＤ／ＩＯ）１２４、ＬＣＤ１２６、ＲＡＭテーブル１３０、シャッタドライバ１３２、レンズユニット１５などを備える。

ＣＭＯＳ１０２は、本発明のマトリクス状に配列された複数の画素を有する撮像素子の一例であり、レンズユニット１５から入射された光を電気信号に変換するための素子である。詳しくは、ＣＭＯＳ１０２は、レンズユニット１５により結像された被写体の光像をＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分のアナログの電気信号（画像信号）に変換し、Ｒ、Ｇ、Ｂ各色の画像信号として出力する。本実施形態においては、ＣＭＯＳ１０２の各画素に所定のタイミングでリセット信号を与えることで、ＣＭＯＳ１０２の露光動作を開始させて電子先幕シャッタとして機能させている。

シャッタユニット１０４は、ＣＭＯＳ１０２の所定の画素ラインの垂直方向に移動する幕体を備え、ＣＭＯＳ１０２に露光される光の遮断動作を行う後幕として機能する。シャッタユニット１０４の動作は、シャッタドライバ１３２により制御される。

ＡＦＥ１０６は、アナログ前段回路であり、ＣＭＯＳ１０２から出力されたアナログの電気信号を撮像信号処理部１１０に提供する。ＴＧ（タイミングジェネレータ）１０８は、ＣＭＯＳ１０２におよびＡＦＥ１０６にタイミング信号を入力する機能を有する。ＴＧ１０８からのタイミング信号によりシャッタ速度が決定される。つまり、ＴＧ１０８からのタイミング信号によりＣＭＯＳ１０２の駆動が制御され、ＣＭＯＳ１０２が駆動する時間内に被写体からの映像光を入射することで、画像データの基となる電気信号が生成される。

撮像信号処理部１１０は、ＡＦＥ１０６から出力されたアナログの電気信号をデジタル信号に変換した画像の生データを生成する機能を有する。また、撮像信号処理部１１０は、ＣＭＯＳ１０２から得られる画像の生データに対して、光量のゲイン補正やホワイトバランスを調整する。メモリコントローラ１１２は、撮影した画像をメモリ１１４に一時的に記憶させたり、記憶された画像を読み出したりする機能を有する。メモリ１１４は、複数の画像を記憶だけるだけの記憶容量を有している。メモリ１１４としては、例えば、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を用いてもよい。

メモリカードコントローラ１１６は、メモリカード１１８に撮影された画像や合成された画像を記録させる機能を有する。メモリカード１１８は、フラッシュメモリにデータを記録するカード型の記憶装置である。

ＡＥ／ＡＦ／ＡＷＢ１２０は、撮像時における周辺光量（明るさ）や、焦点距離、絞り値（フォーカス）、色温度などを検知して、検知結果をＣＰＵ１２２に提供する機能を有する。ＣＰＵ１２２は、ＣＭＯＳ１０２やＴＧ１０８などに対して信号系の命令を行ったり、操作部１５０に対する操作系の命令を行ったりする。本実施形態では、信号系の命令と走査系の命令を１つのＣＰＵ１２２で行っているが、かかる例に限定されず、２つのＣＰＵでそれぞれ実行するようにしてもよい。ＣＰＵ１２２による電子シャッタによる先幕とメカニカルシャッタによる後幕の制御については後で詳細に説明する。

ＬＣＤ１２６は、撮影操作する前のライブビュー表示や、撮像装置１０の各種設定画面や、撮像した画像を表示する機能を有する。また、ＴＶ１２８は、撮像した画像などをテレビジョン受像機の画面に表示する機能を有する。画像データ等のＬＣＤ１２６やＴＶ１２８への表示は、ＬＣＤ／ＩＯ１２６を介して表示される。

ＲＡＭテーブル１３０は、本発明の走査テーブルを記憶しているテーブルである。ＲＡＭテーブル１３０には、予め複数の走査パターンを記憶しておき撮像シーンに応じた走査パターンを選択するようにしてもよい。また、基準となる走査パターンをＲＡＭテーブル１３０に記憶させておき、撮像シーンの周辺光量等の値と基準値との差異に応じて走査パターンを変更させるようにしてもよい。走査パターンは、電子先幕シャッタによるリセットタイミング（露光開始タイミング）を出力するタイミングである。例えば、図３のグラフ６３に示した走査カーブが記憶されている。

また、走査パターンを記憶するＲＡＭテーブル１３０に代えて、関数発生回路（図示せず）を搭載してもよい。この場合、関数は、単純に２次関数で表現する方法や、１次関数で補間していく方法などが挙げられる。関数発生回路により走査タイミングを出力することにより、搭載回路を小さくすることができる。

操作部１５０は、撮像装置１０の操作を行ったり、撮像時の各種の設定を行ったりするための部材が配置されている。操作部１５０に配置される部材には、電源ボタン、撮影モードや撮影ドライブモードの選択および効果パラメータを設定する十字キーおよび選択ボタン、被写体の撮影動作を開始するシャッタボタン等を含んでいてもよい。

次に、図５を参照して、ＣＰＵ１２２による先幕と後幕の制御について説明する。図５は、ＣＰＵ１２２の構成を示すブロック図である。図５に示したようにＣＰＵ１２２は、検出部２０２、走査制御部２０４、動作制御部２０６、ゲイン調整部２０８などを備える。

検出部２０２は、被写体の撮像状態を検出する機能を有する。具体的には、検出部２０２は、ＡＥ／ＡＦ／ＡＥＢなどの各種センサ１２０により検知された周辺光量（明るさ）や、焦点距離、絞り値、色温度などから撮像状態（撮像シーン）を検出し、撮影シーンが画像を再現する際に適切なダイナミックレンジの範囲内となるか否かを検出する。例えば、露光過多で白飛びしてしまっていたり、露光不足で黒くつぶれてしまったりという、再現できない画像があるか否かを検出する。

ここで、図６および図７を参照して、検出部による撮像シーンの検出について説明する。図６および図７は、検出部による撮像シーンの検出について説明する説明図である。例えば、図６は、画像の上部がいわゆる白飛びを起こしている画像である。例えば、画像の上部が白飛びを起こし、青空が再現できていない場合などである。そこで、検出部２０２は、画面７１内で白飛びしている領域を求める。例えば、説明図７２に示したように、画面７１を所定の領域に分割して、白飛びしている領域を求めるようにしてもよい。この場合、画面７１の上部４つの領域が白飛びしている領域、すなわちダイナミックレンジの上限を超えている領域であることを検出する。

また、図７に示したヒストグラム７３により画面内の白飛びしている領域を求めるようにしてもよい。ヒストグラム７３では、右側に大きな山が現れている。すなわち、画面の一部に特に白飛びしている領域があることがわかる。撮像装置１０では、後述する走査制御部２０４により撮像素子の露光開始走査を制御することにより、画面の領域またはラインごとの露光時間を補正して、白飛びしている領域の露出を抑えることが可能となる。

図５に戻り、ＣＰＵ１２２の構成についての説明を続ける。走査制御部２０４は、検出部２０２により検出された撮像シーンに応じた走査パターンに基づいて、撮像素子（ＣＭＯＳ１０２）の露光開始走査を制御する機能を有する。また、走査制御部２０４は、後述する動作制御部２０６による幕体の走行に先行してＣＭＯＳ１０２の露光を開始する。

走査制御部２０４は、撮像素子が備える各画素にリセット動作を行わせるリセット信号を画素ライン単位で順次与えて撮像素子に露光動作を開始させる。走査制御部２０４は、走査パターン記憶部（ＲＡＭテーブル）１３０に記憶されている走査パターンを調整して、撮像シーンに応じた走査パターンを生成し、走査パターン記憶部１３０に記憶してもよい。走査制御部２０４は、露光開始走査を制御するために、ＴＧ１０８に走査パターンに基づくタイミング信号を提供する。

動作制御部２０６は、ＣＭＯＳ１０２を遮光するように走行する幕体の動作を制御する機能を有する。動作制御部２０６は、シャッタドライバ１３２を介して幕体の動作を制御する。動作制御部２０６は、走査制御部２０４の制御により、ＣＭＯＳ１０２に露光動作を開始させた後、設定された露光時間の経過後に幕体を走行させることにより、機械的な遮光を行いＣＭＯＳ１０２の露光動作を終了させる。

走査制御部２０４は、ＣＭＯＳ１０２の露光開始走査を、走査パターンに基づいてリセット信号を各画素に与えることによりＣＭＯＳ１０２の露光を開始するシャッタの先幕として機能させる。そして、動作制御部２０６は、ＣＭＯＳ１０２を遮光する幕体をシャッタの後幕とて機能させる。このように、走査制御部２０４が撮像シーンに応じた走査パターンに基づいて電子先幕シャッタを制御し、動作制御部２０６がメカ後幕シャッタを制御することにより、図３のグラフ６３のような特性カーブを描いて露出を調整することが可能となる。

ゲイン調整部２０８は、走査制御部２０４により、ＣＭＯＳ１０２の各画素の読み出し操作が制御された場合に、走査制御部２０４によるＣＭＯＳ１０２の水平方向の画素の読み出しに同期させて所定の領域ごとにゲインを調整する機能を有する。ゲイン調整部２０８は、ＣＭＯＳ１０２の画素単位でゲインを調整し、ＣＭＯＳ１０２の水平方向の画素の読み出し位置に同期させてゲインの変化幅を示す所定の関数に基づいてゲインを調整する。

例えば、ゲイン調整部２０８は、ＣＭＯＳ１０２内で水平方向に複数の領域、または画素単位の読み出し回路が搭載され、その各々に利得調整アンプが備わっている場合には、該アンプのゲインを領域毎に調整する。また、ＡＦＥ１０６内にあるゲイン調整回路の利得を、水平方向の画素読み出しに同期させて変更させるようにしてもよい。この場合、水平位置に合わせてゲインを提示する回路は、ＡＦＥ１０６内部にあってもよいし、外部の撮像信号処理部１１０やＴＧ１０８にもたせるようにしてもよい。また、ゲイン調整部２０８は、撮像信号処理部１１０内にあるゲイン調整回路の利得を、水平方向の画素読み出しに同期させて変更させるようにしてもよい。この場合、水平方向の位置によるゲインの変化量を提供する回路を撮像信号処理部１１０にもたせる。

本実施形態では、ゲイン調整部２０８により所定の領域または画素ごとにゲインを調整したが、かかる例に限定されず、領域単位でガンマカーブを変更するようにしてもよい。ガンマカーブは、入力される映像の信号レベルと出力される映像の明るさとの比率を表した特性曲線である。ＣＰＵ１２２は、このガンマカーブを調整することにより画面の露出を調整してもよい。

ここで、図８を参照して、ゲインの調整やシャッタの調整について説明する。図８は、ゲインおよびシャッタの調整について説明する説明図である。図８のグラフ８１は、水平方向に利得を変えた例である。グラフ８１によれば、例えば、画面の右側部分の利得を変更して、露出を調整している。また、グラフ８２は、垂直方向にシャッタのスリット幅を変更させた例である。すなわち、電子先幕シャッタの露出開始タイミングをラインごとに変更して、シャッタのスリット幅を変更させている。グラフ８２によれば、例えば、画面の上部でスリット幅を狭くしている。

また、グラフ８３は、垂直方向にシャッタのスリット幅を広げた例である。グラフ８３によれば、グラフ８２の場合に比べて、画面の下部のスリット幅が広がり、暗部の露光量が多くなっている。このように、撮像装置１０によれば、電子先幕シャッタの露出開始タイミングをラインごとに変更して、シャッタのスリット幅を変えることにより垂直方向の露光量を調整することができる。さらに、シャッタのスリット幅を変えるだけでは調整しきれない水平方向の露光量については、水平方向に利得を変更して調整することが可能となる。したがって、より細かく露出を調整することができる。

〔４〕撮像装置の動作の詳細
以上、撮像装置１０の機能構成について説明した。次に、図９〜図１１を参照して、撮像装置１０の動作の詳細について説明する。図９は、電子先幕シャッタによる画像補正の処理の流れを示すフローチャートである。図９に示したように、まず、検出部２０２は、画面内の測光データを取得する（Ｓ１０２）。

そして、ステップＳ１０２において取得した測光データをもとに、ヒストグラムを算出する（Ｓ１０４）。ステップＳ１０４において算出されるヒストグラムは、例えば、図７に示したグラフを例示できる。そして、ステップＳ１０４において算出したヒストグラムから、垂直方向の輝度分布を分析する（Ｓ１０６）。ステップＳ１０４において算出したヒストグラムによれば、画面内の特に白飛びしている領域や、黒くつぶれている領域など、画面内の輝度分布を分析することができる。

検出部２０２は、ステップＳ１０６における垂直方向の輝度分布の分析の結果、画面内の撮影シーンがダイナミックレンジ（Ｄレンジ）内であるか否かを判定する（Ｓ１０８）。ダイナミックレンジ内であるか否かは、上記したように、画面内に露光過多で白飛びしている部分があるか、露光不足で黒くつぶれている部分があるかにより判定される。

ステップＳ１０８において、画面内の撮影シーンがダイナミックレンジ内ではないと判定された場合には、ステップＳ１０２において取得した測光データを用いて、分割測光アルゴリズムにしたがって露出を算出する（Ｓ１１０）。そして、設定されているモードに応じて絞り値とシャッタスピードを決定する（Ｓ１１２）。

そして、ＣＰＵ１２２は、電子先幕シャッタの露光走査とメカ後幕シャッタの遮光動作により、撮像素子（ＣＭＯＳ）１０２に露光されて蓄積された電荷を読み出して、撮影したり、画像の取り込みをしたりする（Ｓ１２２）。

一方、ステップＳ１０８において、画面内の撮影シーンがダイナミックレンジ内ではないと判定された場合には、検出部２０２は、画面内において白飛びしている領域を求める（Ｓ１１４）。例えば、画面内の明るさ（輝度）が０〜２５５の２５６段階で表す場合には、輝度が２３０〜２４０以上である領域を白飛びしている領域としてもよい。同様に、輝度が１０〜２０以下である領域を黒くつぶれている領域としてもよい。

そして、走査制御部２０４は、ステップＳ１１４において求められた白飛び（または黒つぶれ）している領域の情報から、画面内の垂直方向の補正すべき領域と補正量を決定する（Ｓ１１６）。走査制御部２０４はステップＳ１１６において決定した補正すべき領域と補正量をもとに、走査パターン記憶部１３０に記憶されている走査テーブルの値を書き換える（Ｓ１１８）。そして、ステップＳ１１８において書き換えた走査テーブルのテーブル値にしたがって、先幕シャッタを動作させて露光を開始する（Ｓ１２０）。そして、ステップＳ１２２の処理を実行する。以上、電子先幕シャッタによる画像補正の処理について説明した。

次に、図１０および図１１を参照して、垂直および水平方向の画像補正の処理について説明する。図１０および図１１は、垂直および水平方向の画像補正の処理を示すフローチャートである。図１０に示したように、まず、検出部２０２は、画面内の分割領域毎の測光データを取得する（Ｓ２０２）。そして、ステップＳ２０２において取得した分割領域毎の測光データをもとに、垂直方向のヒストグラムと、水平方向のヒストグラムを算出する（Ｓ２０４）。

ステップＳ２０４において算出した垂直／水平方向のヒストグラムから、水平方向および垂直方向の輝度分布やコントラストなどを分析する（Ｓ２０６）。そして、ステップＳ２０４において算出ヒストグラムから、被写体（撮影シーン）を認識する（Ｓ２０８）。ステップ２０８においては、ＡＥ情報だけでなく、ＡＦ／ＡＷＢ情報を利用してもよい。

そして、ステップＳ２０８において認識した撮影シーンがダイナミックレンジ（Ｄレンジ）内であるか否かを判定する（Ｓ２１０）。

ステップＳ２１０において、画面内の撮影シーンがダイナミックレンジ内ではないと判定された場合には、ステップＳ２０２において取得した測光データを用いて、分割測光アルゴリズムにしたがって露出を算出する（Ｓ２１２）。そして、設定されているモードに応じて絞り値とシャッタスピードを決定する（Ｓ２１４）。そして、電子先幕の露光走査とメカ後幕シャッタの遮光動作により、撮像素子（ＣＭＯＳ）１０２に露光されて蓄積された電荷を読み出して、撮影したり、画像の取り込みをしたりする（Ｓ２１６）。

ステップＳ２１０において、画面内の撮影シーンがダイナミックレンジ内ではないと判定された場合には、次に、カメラの縦／横を検出する（Ｓ２１８）。ステップＳ２１８においては、ユーザがカメラを縦に構えたか、横に構えたかを検出する。この場合、撮像装置１０には、筐体の縦横を検知するセンサが搭載されており、該センサによりカメラの縦横を検出することができる。

ステップＳ２１８において、カメラが縦位置であると判定された場合には、縦位置対応のための基本パラメータを変更する（Ｓ２２０）。具体的には、画面の分割数や、分割範囲、分割比率、利得やシャッタによる調整手段の重み付けなどを変更する。ステップＳ２２０において基本パラメータを変更するのは、撮像装置１０の画面が長方形である場合、カメラが縦か横かで画面の分割比や面積が異なってくるためである。また、シャッタにより露出を調整する場合には、横位置か縦位置かでシャッタの幕速度が異なってくるため、幕速度に応じて電子先幕の走査速度を変更する必要がある。

そして、検出部２０２は、画面内において白飛びしている領域を求める（Ｓ２２２）。さらに、画面内において黒くつぶれている（黒つぶれ）領域を求める（Ｓ２２４）。

図１１を参照して、説明を続ける。走査制御部２０４は、ステップＳ２２２およびステップＳ２２４において求められた白飛び／黒つぶれの情報から、画面内の垂直方向の補正すべき領域と補正量を決定する（Ｓ２２６）。そして、ステップＳ２２６において決定された補正すべき領域と補正量から、電子先幕シャッタによる補正機能を利用して補正する領域と補正量を決定する（Ｓ２２８）。次に、ゲイン調整やガンマカーブにより補正する領域と補正量を決定する（Ｓ２３０）。

そして、ステップＳ２２８において決定した補正領域と補正量により、電子先幕シャッタの走査テーブルの値を書き換え、ステップＳ２３０において決定した補正領域と補正量により水平ゲインテーブルの値を書き換える（Ｓ２３２）。

そして、ステップ２３２において設定された走査テーブルの値に基づいて、電子先幕シャッタを動作させて露光を開始する（Ｓ２３４）。ステップＳ２３４において露光が開始され、メカ後幕シャッタの遮光動作によりＣＭＯＳ１０２に蓄積された電荷の読み出しに同期させて横方向のゲインを補正する（Ｓ２３６）。以上、垂直および水平方向の画像補正の処理について説明した。図９に示したように、撮像装置１０によれば、電子先幕シャッタの露出開始タイミングを変更して垂直方向の露光量を調整することができる。さらに、図１０および図１１に示したように、シャッタのスリット幅の調整だけでは補正しきれない水平方向の露光量についても、水平方向の利得を調整して補正することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本明細書の撮像装置１０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、撮像装置１０の処理における各ステップは、異なる処理であっても並列的に実行されてもよい。

また、撮像装置１０などに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した撮像装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

１０ 撮像装置
１０２ 撮像素子（ＣＭＯＳ）
１０４ａ、１０４ｂ シャッタ
２０２ 検出部
２０４ 走査制御部
２０６ 動作制御部
２０８ ゲイン調整部

Claims (11)

1. マトリクス状に配列された複数の画素を有する撮像素子を備え、前記撮像素子に露光して被写体を撮像する撮像装置であって、
   被写体の撮像状態を検出する検出部と、
   前記撮像素子を遮光するように走行する幕体の動作を制御する動作制御部と、
   前記幕体の走行に先行して、前記被写体の撮像状態に応じた走査パターンに基づいて前記撮像素子の露光開始走査を制御する走査制御部と、
   を備えることを特徴とする、撮像装置。
2. 前記走査制御部は、前記撮像素子の露光開始走査を、前記走査パターンに基づいて前記リセット信号を各画素に与えることにより前記撮像素子の露光を開始するシャッタの先幕として機能させ、
   前記動作制御部は、前記撮像素子を遮光する前記幕体を前記シャッタの後幕として機能させることを特徴とする、請求項１に記載の撮像装置。
3. 前記検出部は、前記被写体の撮像状態が画像を再現する際に適切なダイナミックレンジの範囲内となるか否かを検出し、
   前記走査制御部は、前記検出部により前記被写体の撮像状態が適切なダイナミックレンジ外であることが検出された場合に、前記走査パターンに基づいて前記撮像素子の露光開始走査を制御することを特徴とする、請求項１に記載の撮像装置。
4. 前記走査制御部は、前記撮像素子の行ごとに順次露光を開始することを特徴とする、請求項１に記載の撮像装置。
5. 前記走査制御部は、前記撮像素子の領域ごとに順次露光を開始することを特徴とする、請求項１に記載の撮像装置。
6. 前記動作制御部は、前記幕体を前記撮像素子の所定の画素ラインの垂直方向に移動させ、
   前記走査パターンは、前記幕体の移動開始位置の画素ラインから前記移動方向の移動終了位置の画素ラインに向けての露光開始タイミングを示す特性カーブであることを特徴とする、請求項１に記載の撮像装置。
7. 前記走査パターンは、前記幕体の移動開始位置の画素ラインから前記移動方向の移動終了位置の画素ラインに向けての露光開始タイミングを決定する所定の関数であることを特徴とする、請求項７に記載の撮像装置。
8. 前記走査制御部は、前記撮像素子の各画素の読み出し走査を制御し、
   前記走査制御部による前記撮像素子の水平方向の画素の読み出しに同期させて所定の領域ごとにゲインを調整するゲイン調整部を備えることを特徴とする、請求項１に記載の撮像装置。
9. 前記ゲイン調整部は、前記撮像素子の画素単位でゲインを調整し、
   前記撮像素子の水平方向の１ラインごとのパラメータテーブルに基づいてゲインを調整することを特徴とする、請求項９に記載の撮像装置。
10. 前記ゲイン調整部は、前記撮像素子の画素単位でゲインを調整し、
    前記撮像素子の水平方向の画素の読み出し位置に同期させてゲインの変化幅を示す所定の関数に基づいてゲインを調整することを特徴とする、請求項９に記載の撮像装置。
11. マトリクス状に配列された複数の画素を有する撮像素子に露光して被写体を撮像する撮像方法であって、
    被写体の撮像状態を検出するステップと、
    前記被写体の撮像状態に応じた走査パターンに基づいて、前記撮像素子の露光を開始させるステップと、
    前記撮像素子の露光開始後に前記撮像素子を遮光するように走行する幕体を動作させるステップと、
    を含むことを特徴とする、撮像方法。
    

Images