JP2006050337A - 撮像装置、撮像方法および撮像制御プログラム - Google Patents

Abstract

【課題】 フラッシュ撮影の際に、予備発光時の露光時間をできるだけ短くして、本発光時の適切な光量を外光の大きさに関係なく高精度に演算できるようにする。
【解決手段】 フラッシュの本発光の前に、予備発光前露光動作および予備発光時露光動作を行う。予備発光前露光動作では、タイミングＴ９１で撮像素子の全画素の露光動作を同時に開始した後、タイミングＴ９２で各画素の画素信号を所定の画素間隔で間欠的に読み出す。予備発光時露光動作では、タイミングＴ９４で撮像素子の全画素の露光動作を同時に開始した後、フラッシュの予備発光を行い、タイミングＴ９５で各画素の画素信号を所定の画素間隔で間欠的に読み出す。そして、各露光動作での撮像画像信号を基に画像の明るさを検波し、その差分検波値を基にフラッシュの本発光時の光量を演算する。
【選択図】 図１８

Description

本発明は、各画素の画素信号に対してランダムアクセスが可能な固体撮像素子を用いて画像を撮像する撮像装置、撮像方法および撮像制御プログラムに関し、特に、フラッシュを用いた撮像が可能な撮像装置、撮像方法および撮像制御プログラムに関する。

撮像装置によって低照度の被写体を撮像する場合には、フラッシュを発光させて光量を補うようにするが、固体撮像素子を用いて画像を撮像する撮像装置の中には、事前にフラッシュの予備発光を行って被写体からの反射光を検出し、分析することで、本発光時の適切な発光量を求める機能を備えたものがあった。

また、撮像素子に用いる撮像素子としては、ＣＣＤ（Charge Coupled Device）イメージセンサが最も一般的であったが、近年では、固体撮像素子の一層の多画素化が進むのに従って、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが注目されている。ＣＭＯＳイメージセンサは、画素信号のランダムアクセスが可能である点や、ＣＣＤイメージセンサと比較して読み出しが高速で、高感度、低消費電力といった特徴がある。

しかし、ＣＭＯＳイメージセンサを用いた従来の撮像装置では、露光期間が画素ごとに異なるため、フラッシュの予備発光時には、撮像素子の一部の領域にしか予備発光による反射光を受光することができず、本発光時の光量を精度よく求めることが困難であるという問題があった。このような問題に対して、撮像素子内の一部を測光エリアとして、その測光エリアに含まれる光電変換素子の蓄積時間に予備発光を行うことで、測光エリアの全域で予備発光による反射光を正確に受光するようにした撮像装置があった（例えば、特許文献１参照）。
特開２０００−１９６９５１号公報（段落番号〔００１８〕〜〔００２６〕、図２）

しかし、上記の特許文献１に開示された撮像装置のように、測光エリア内の全域で予備発光による反射光を同時に受光させるためには、露光時間を長くする必要があるので、外光が強いときに予備発光を行うと、ＣＭＯＳイメージセンサのある領域の入力光量が設定されたダイナミックレンジを超える場合があり、その部分では本来の受光量を検出できず、本発光時の光量を高精度に求めることが困難であるという問題があった。

本発明はこのような点に鑑みてなされたものであり、フラッシュ撮影の際に、予備発光時の露光時間をできるだけ短くして、本発光時の適切な光量を外光の大きさに関係なく高精度に演算できるようにした撮像装置を提供することを目的とする。

また、本発明の他の目的は、フラッシュ撮影の際に、予備発光時の露光時間をできるだけ短くして、本発光時の適切な光量を外光の大きさに関係なく高精度に演算できるようにした撮像方法を提供することである。

さらに、本発明の他の目的は、フラッシュ撮影の際に、予備発光時の露光時間をできるだけ短くして、本発光時の適切な光量を外光の大きさに関係なく高精度に演算できるようにした撮像制御プログラムを提供することである。

本発明では上記課題を解決するために、各画素の画素信号に対してランダムアクセスが可能な固体撮像素子を用いて画像を撮像する撮像装置において、被写体に光を照射するフラッシュと、前記固体撮像素子による撮像画像信号から撮像画像の明るさを検波する検波手段と、前記フラッシュの本発光の動作前に前記フラッシュの予備発光を行わせて、前記予備発光時の画像を前記固体撮像素子により撮像させ、前記予備発光時の撮像画像信号を基に前記検波手段により撮像画像の明るさを検波させ、検波された前記予備発光時の明るさに基づいて前記フラッシュの前記本発光時の光量を演算する制御手段とを有し、前記制御手段は、前記予備発光の動作時に、前記固体撮像素子の全画素の露光動作を同時に開始させた後、各画素の画素信号を所定の画素間隔で間欠的に読み出し、前記検波手段に供給することを特徴とする撮像装置が提供される。

このような撮像装置では、フラッシュの本発光の前に、フラッシュの予備発光が行われて画像が撮像され、その画像の明るさの検波結果を基にフラッシュの本発光時の光量が演算される。この予備発光の際には、固体撮像素子の全画素の露光動作を同時に開始させた後、各画素の画素信号を所定の画素間隔で間欠的に読み出すようにしたことで、固体撮像素子上のすべての領域に予備発光の影響が与えられるとともに、予備発光時の固体撮像素子の露光時間が短縮化されて、外光成分の検波量が少なくなる。

また、本発明では、各画素の画素信号に対してランダムアクセスが可能な固体撮像素子を用い、フラッシュを照射して画像を撮像するための撮像方法において、前記フラッシュの本発光の動作前に前記フラッシュの予備発光を行い、前記予備発光時の画像を前記固体撮像素子が撮像する予備発光時撮像ステップと、検波手段が、前記予備発光時に撮像された画像の明るさを検波する予備発光時検波ステップと、演算手段が、前記予備発光時に検波された画像の明るさに基づいて前記フラッシュの前記本発光時の光量を演算する演算ステップとを含み、前記予備発光時撮像ステップでは、前記固体撮像素子の全画素の露光動作を同時に開始した後、各画素の画素信号を所定の画素間隔で間欠的に読み出すようにしたことを特徴とする撮像方法が提供される。

このような撮像方法では、フラッシュの本発光の前に、フラッシュの予備発光が行われて画像が撮像され、その画像の明るさの検波結果を基にフラッシュの本発光時の光量が演算される。この予備発光の際には、固体撮像素子の全画素の露光動作を同時に開始させた後、各画素の画素信号を所定の画素間隔で間欠的に読み出すようにしたことで、固体撮像素子上のすべての領域に予備発光の影響が与えられるとともに、予備発光時の固体撮像素子の露光時間が短縮化され、外光成分の検波量が少なくなる。

本発明によれば、フラッシュの予備発光の際に、固体撮像素子の全画素の露光動作を同時に開始させた後、各画素の画素信号を所定の画素間隔で間欠的に読み出すようにしたことで、固体撮像素子上のすべての領域に予備発光の影響が与えられるとともに、予備発光時の固体撮像素子の露光時間が短縮化されて、外光成分の検波量が少なくなる。このため、外光が比較的強い場合に、予備発光時の検波量がダイナミックレンジを超えてしまうことが少なくなり、予備発光による反射光成分を正確に検波することが可能となるので、本発光の光量の演算精度が向上し、より高画質の画像を得ることができる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、実施の形態に係る撮像装置の要部構成を示す図である。
図１に示す撮像装置は、例えばデジタルスチルカメラ、あるいは静止画像の撮像が可能なデジタルビデオカメラなどとして実現されるものである。この撮像装置は、レンズ１１、絞り１２、撮像素子１３、ＡＧＣ（Auto Gain Control）回路１４、Ａ／Ｄ変換回路１５、カメラ信号処理回路１６、検波回路１７、システム制御部１８、メモリ１９、ドライバ２０、フラッシュ２１、ドライバ２２およびメモリ２３を備える。

レンズ１１は、被写体から入射された反射光を、撮像素子１３の受光面に合焦させる。絞り１２は、レンズ１１を通して得られた入力光量が撮像素子１３の感度に対し適正になるように、その口径を変化させる。また、絞り１２はシャッタの機能を有する。撮像素子１３は、例えばＲ、Ｇ、Ｂのカラーフィルターが配置された複数の画素に対してレンズ１１を通して入射された光を、アナログ画像信号（電荷）に光電変換する。また、撮像素子１３は、ＸＹアドレス型のイメージセンサ、例えばＣＭＯＳイメージセンサからなり、複数の画素のそれぞれの露光動作および読出動作が異なるタイミングにより行われるように構成されている。

ＡＧＣ回路１４は、撮像素子１３により生成された画像信号を増幅する。Ａ／Ｄ変換回路１５は、ＡＧＣ回路１４により増幅されたアナログ画像信号をデジタル画像信号に変換する。カメラ信号処理回路１６は、Ａ／Ｄ変換回路１５により変換されたデジタル画像信号に対して種々の信号処理を施すものであり、例えば、図示しないホワイトバランス回路、Ｙ−Ｃ分離回路、フィルタ回路、アパーチャ・コントローラ、ガンマ補正回路などからなる。なお、図示しないが、このカメラ信号処理回路１６からの出力画像信号は、例えばモニタに撮像画像を表示するための表示系、および、画像信号を所定のデータ形式にエンコードしてメモリカードなどの記録媒体に撮像画像データを記録するための記録系に供給される。検波回路１７は、カメラ信号処理回路１６により処理された画像信号を基に、撮像画面内の明るさおよび色の分布を検波する。明るさを示す検波値としては、例えば画面内における各画素の輝度信号の積分値などが用いられる。

システム制御部１８は、例えばマイクロコンピュータにより構成され、検波回路１７により検波された明るさおよび色の分布、カメラ信号処理回路１６により処理された画像信号などに基づいて、この撮像装置内の各部を統括的に制御するものである。システム制御部１８は、例えば、撮像素子１３の各画素の露光動作および読出動作を制御する露光タイミング制御信号、ＡＧＣ回路１４のゲインを制御するゲイン制御信号、レンズ１１の焦点および絞り１２の口径をドライバ２２を介して制御する光学ブロック制御信号、フラッシュ２１の発光動作をドライバ２０を介して制御するフラッシュ制御信号などを演算して出力する。メモリ１９は、システム制御部１８により演算された制御データを記憶する。

ドライバ２０は、フラッシュ撮影の際、システム制御部１８により演算されたフラッシュ制御信号に従ってフラッシュ２１を駆動する。フラッシュ２１は、ドライバ２０からの駆動信号に従って発光する。ドライバ２２は、システム制御部１８により演算されたレンズ制御信号に従ってレンズ１１および絞り１２を駆動する。メモリ２３は、カメラ信号処理回路１６により処理された、または処理中の画像信号を一時的に記憶する。

この撮像装置における静止画像の撮像時における基本的な動作は以下のようになる。
まず、ユーザによる撮像操作の前には、撮像素子１３によって受光されて光電変換された画像信号が、ＡＧＣ回路１４に順次供給される。この画像信号は、ＡＧＣ回路１４により必要に応じて増幅され、さらにＡ／Ｄ変換回路１５によりデジタル信号に変換された後、カメラ信号処理回路１６により種々の画質補正処理などが施される。そして、処理後の画像信号は図示しない表示系に出力され、これによりカメラスルー画像がモニタに表示されて、ユーザはモニタを見て画角合わせを行うことが可能となる。

この状態で、ユーザにより図示しないシャッタレリーズボタンが押下されると、システム制御部１８は、ドライバ２２や撮像素子１３に対して制御信号を出力してシャッタを動作させる。これにより撮像素子１３からは１フレーム分の画像信号が出力される。なお、このとき、システム制御部１８は、カメラ信号処理回路１６における各種処理結果や検波回路１７の検波結果に応じて、レンズ１１、絞り１２、撮像素子１３、ＡＧＣ１４に対して制御信号を出力し、焦点や露光時間、露光量が適切になるように制御する。

カメラ信号処理回路１６は、撮像素子１３からＡＧＣ回路１４、Ａ／Ｄ変換回路１５を介して供給された１フレーム分の画像信号に画質補正処理などを施し、処理後の画像信号を図示しない記録系に出力する。これにより、１フレーム分の画像信号がエンコードされて静止画像のデータファイルが生成され、メモリカードなどの記録媒体に記録される。

また、この撮像装置は、撮像時において例えばユーザ操作に応じて、あるいは検波回路１７の検波結果に基づく判断により自動的に、フラッシュ２１を発光させることができる。後述するように、フラッシュ撮影を行う際には、システム制御部１８の制御により、フラッシュ２１の本発光の直前に予備発光を行い、予備発光時の撮像画像信号を基に検波回路１７で検波して、その検波結果を基に適切な撮像画像が得られるように、本発光時のフラッシュ２１の発光量を制御する。

ところで、本実施の形態では、撮像素子１３として、光電変換素子の各画素に対してランダムアクセスが可能なものを用いる。以下では、このような撮像素子１３としてＣＭＯＳイメージセンサを用い、必要に応じて、従来から一般的に用いられていたＣＣＤイメージセンサと対比させながら、本実施の形態について説明を行うこととする。

まず、撮像素子１３の基本的な構造について説明する。
図２は、ＣＣＤイメージセンサの概略構成図である。また、図３は、本実施の形態で用いられるＣＭＯＳイメージセンサの概略構成図である。

図２に示すように、ＣＣＤイメージセンサは、２次元の行列状に配置された複数の受光部３１と、複数の受光部３１の列数と同数のＶ転送レジスタ３２と、Ｈ転送レジスタ３３とを備える。各受光部３１は、それぞれに対する入射光をアナログ画像信号（電荷）に光電変換し、各画素の画素信号を生成する。複数のＶ転送レジスタ３２は、光電変換された各画素の画素信号を垂直方向に１画素（１ライン）ごとに転送する。Ｖ転送レジスタ３２は、複数のＶ転送レジスタ３２により転送される１ライン分の画素信号を水平方向に１画素ごとに転送する。

ＣＣＤイメージセンサに光が当てられると、各受光部３１に入射した光が電荷に光電変換される。各受光部３１には、それぞれの入力光量に応じた電荷が蓄積されていく。ＣＣＤイメージセンサに電荷を転送する信号が与えられると、すべての受光部３１に蓄積された電荷が、それぞれのＶ転送レジスタ３２に同時に転送される。Ｖ転送レジスタ３２の電荷は、１画素（１ライン）ごとに垂直方向に転送されて、Ｈ転送レジスタ３３に転送される。Ｈ転送レジスタ３３に転送された１ライン分の画素信号は、１画素ごとに水平方向に転送されて出力される。Ｖ転送レジスタ３２およびＨ転送レジスタ３３は遮光されているため、一旦これらに転送された電荷の量は一定に保持される。

一方、図３に示すように、ＣＭＯＳイメージセンサは、２次元の行列状に配置された複数の受光部４１と、同列の複数の受光部４１が共通して電気的に接続され、各列の何れかの受光部４１から転送された電荷を水平方向に１画素ごとに転送するカラム４２とを備える。ＣＭＯＳイメージセンサは、ＣＣＤイメージセンサのＶ転送レジスタ３２に相当するものを有しない。このため、ＣＭＯＳイメージセンサの各受光部４１は、ＣＣＤイメージセンサの各受光部３１に比べ、その面積を大きくすることができるので、ダイナミックレンジを広げ、感度を向上させることができる。また、ＣＭＯＳイメージセンサは、自由なアドレスの画素を選択して読み出すように構成することができる。

撮像素子の多画素化が進むと画素ピッチが小さくなるが、その場合にも画素信号のダイナミックレンジを比較的大きくすることができ、また多画素化された撮像素子ではその中の必要な画素の信号だけを自由に読み出せる構造が必要となるので、これらの点でＣＭＯＳイメージセンサは有利である。その反面、同列の画素を同時に読み出すことができないため、次に説明するように露光動作および読出動作が複雑になる。

図４は、ＣＣＤイメージセンサの動作を示すタイムチャートである。また、図５は、ＣＭＯＳイメージセンサの動作を示すタイムチャートである。
ＣＣＤイメージセンサでは、図４に示すように、例えばタイミングＴ１１で全画素の露光を開始した後、タイミングＴ１２で全画素の電荷をＶ転送レジスタ３２に移動させることで、全画素の露光を同時に行うことができる。なお、蓄積された電荷は、例えばその後のタイミングＴ１２〜Ｔ１３の期間において、１ライン目のものから順にＨ転送レジスタ３３に転送されていく。

これに対して、ＣＭＯＳイメージセンサは、ＣＣＤイメージセンサのＶ転送レジスタ３２に相当するものを有しないため、ある画素の画素信号が読み出されたとき、他の画素１では外光の影響を受けて電荷が蓄積されてしまう。このため、図５に示すように、ＣＭＯＳイメージセンサの各画素の露光動作は、それぞれの受光部４１からの電荷読出動作に合わせる必要がある。この例では、タイミングＴ２２〜Ｔ２３の１垂直同期期間に、画素信号の読み出しが画面上方から下方に向かって１ラインずつずれて行われるのに合わせて、その直前のタイミングＴ２１〜Ｔ２２の１垂直同期期間において、露光開始タイミングを先頭ラインから１ラインずつずらすことで、全画素の露光時間を同じにしている。

次に、フラッシュ撮影時の動作について説明する。
図６は、フラッシュ撮影の基本的な制御フローを示す図である。
静止画像の撮影モードにおいて、シャッタレリーズボタンが押下されると（ステップＳ３１）、ステップＳ３２以後の処理が開始される。ここで、フラッシュを自動発光する動作モードに設定されていた場合には、撮像素子１３により撮像された画像信号に含まれる輝度信号の積分値が検波回路１７により検波され、システム制御部１８により輝度信号の積分値に基づいて外光の明るさが検出されて、フラッシュを発光するか否かが判断される（ステップＳ３２）。外光が明るいと判断されたときには、ステップＳ３３に進み、フラッシュ２１を発光しない通常撮影が行われて、処理が終了される。一方、ステップＳ３２で、外光が暗いと判断されたときには、ステップＳ３４に進み、フラッシュ撮影が行われる。なお、外光の明暗に関係なく強制的にフラッシュ撮影を行う動作モードがあるときには、ステップＳ３２の判定結果に関係なくステップＳ３４に進んで、フラッシュ撮影が行われる。

フラッシュ撮影の際には、まず、絞り１２の口径や開放時間、撮像素子１３の露光時間（シャッタ速度）およびＡＧＣ回路１４のゲインの設定が行われる（ステップＳ３４）。なお、絞り１２の口径は、フラッシュ２１の予備発光時に近距離の被写体からの入射光量が撮像素子１３のダイナミックレンジを超えないように設定するのが好ましい。予備発光は、本発光の光量を演算するための処理であり、ダイナミックレンジを超える光量が撮像素子１３に入射されると、歪んだ（サーチレーションを起こした）画像信号が得られ、本発光の光量を精度良く演算することができなくなってしまう。また、撮像素子１３の露光時間は、できるだけ短くするのが望ましい。露光時間が長くなると、外光の影響が大きくなり、予備発光の光量を検波するためのダイナミックレンジが狭くなって、本発光の光量の演算精度が低下してしまう。さらに、ＡＧＣ回路１４のゲインは、画像信号のノイズの影響を低減するように低めに設定するのが望ましい。

次に、設定された口径、露光時間およびゲインを固定しながら、フラッシュ２１が発光しない状態で撮像素子１３により予備発光前の露光動作および読出動作が行われ、検波回路１７により画像信号の輝度信号に含まれる積分値である予備発光前検波値（Ｄ１とする）が検波されてメモリ１９に記憶される（ステップＳ３５）。この予備発光前検波値Ｄ１は、予備発光のない外光のみの検波値を意味する。

次に、設定された口径、露光時間およびゲインを固定しながら、フラッシュ２１により所定の発光量で予備発光が行われ（ステップＳ３６）、撮像素子１３により予備発光時の露光動作および読出動作が行われ、検波回路１７により画像信号の輝度信号に含まれる積分値である予備発光時検波値（Ｄ２とする）が検波されてメモリ１９に記憶される（ステップＳ３７）。予備発光時検波値Ｄ２は、予備発光および外光を含む検波値を意味する。

次に、システム制御部１８によりメモリ１９に記憶された予備発光時検波値Ｄ２および予備発光前検波値Ｄ１が読み出され、予備発光時検波値Ｄ２から予備発光前検波値Ｄ１が減算された差分検波値が演算される（ステップＳ３８）。差分検波値は、外光が排除されて予備発光のみを含む検波値を意味する。次に、システム制御部１８により差分検波値に基づいてフラッシュ２１の本発光の発光量が求められ（ステップＳ３９）、求められた発光量に従ってフラッシュ２１の発光が行われ、フラッシュ撮影が行われる（ステップＳ４０）。

このように、本実施の形態の撮像装置では、フラッシュ撮影の予備発光時に、フラッシュの非発光時、発光時の２回の画像信号の取り込みを行って、予備発光前検波値Ｄ１を予備発光時検波値Ｄ２から減算することで、外光の影響を相殺し、本発光時の光量をより正確に求めるようにしている。ここで、ステップＳ３５における撮像素子１３による予備発光前の露光動作、およびステップＳ３７における撮像素子１３による予備発光時の露光動作は、できるだけ短時間に行われるのが好ましい。フラッシュ撮影は、一般に低照度の環境下で行われるが、外光を有しない場合はほとんどなく、例えば、逆光が暗く沈んだ人物撮影のハイライト時にもフラッシュ撮影が行われる。このように外光の量が大きい場合には、以下の図７〜図９で説明するように、その外光の影響により正しい検波値、特に、予備発光時検波値Ｄ２が得られずに、正しい差分検波値が得られない場合がある。

図７は、撮像画像の一例を示す図である。また、図８は、外光のない場合の差分検波値の演算例、図９は、外光のある場合の差分検波値の演算例をそれぞれ示す図である。
図７に示すように、画面の中央部に丸い像Ａがある画像のフラッシュ撮影を行ったものとする。このような場合において、この図７中の垂直方向の点線で示される画面中央位置における画素信号の出力、すなわち検波値に基づく差分検波値の演算結果について、図８および図９を用いて説明する。

図８に示すように、外光のない場合には、予備発光前の撮像素子１３の出力は０であり、予備発光前検波値Ｄ１も０となる。また、予備発光時には、像Ａに相当する部分の出力が大きい予備発光時検波値Ｄ２が得られる。この結果、差分検波値は、予備発光時検波値（Ｄ２）に一致することになる。

一方、図９に示すように、外光のある場合には、予備発光前には、外光に相当する予備発光前検波値Ｄ１が得られる。また、予備発光時には、外光に予備発光が加えられて撮像素子１３に入力される。このとき、撮像素子１３の出力信号（輝度信号成分）のうち、この撮像素子１３のダイナミックレンジを超える成分はクリップされてしまうので、差分検波値は、クリップされた部分が排除され、小さく歪んでしまう。従って、正確な本発光の発光量を演算することができない。前述のように、外光がほとんどない場合のフラッシュ撮影は稀であるので、予備発光前および予備発光時の露光動作をできるだけ短時間にすることにより、外光の影響を小さくし、予備発光時の撮像素子１３のダイナミックレンジに十分に余裕があるようにすることが必要になる。

次に、フラッシュ撮影の予備発光タイミングについて説明する。はじめに、従来のフラッシュ撮影について説明する。
図１０は、従来のＣＣＤイメージセンサのフラッシュ撮影シーケンスの例を示す図である。

図１０に示すように、撮像素子１３にＣＣＤイメージセンサを使用した場合、タイミングＴ５１で予備発光前の露光が開始され、タイミングＴ５２で受光部の信号電荷がＶ転送レジスタに移動されて、その後のタイミングＴ５３までの期間で信号電荷が順次出力読み出され、予備発光前検波値Ｄ１が検波される。続いて、タイミングＴ５４〜Ｔ５５の期間で予備発光時の露光が行われ、その後のタイミングＴ５５〜Ｔ５６までの期間で同様に信号電荷が読み出されて、予備発光時検波値Ｄ２が検波される。このとき、差分検波値が演算されて本発光時のフラッシュ光量が演算された後、タイミングＴ５７以後の所定タイミングで本発光によるフラッシュ撮影が行われる。このように、ＣＣＤイメージセンサでは、全画素の露光タイミングが同じであるので、予備発光時の露光動作における予備発光の影響は、画面内の全領域に一様に与えられる。

一方、図１１は、従来のＣＭＯＳイメージセンサのフラッシュ撮影シーケンスの例を示す図である。また、図１２は、従来のＣＭＯＳイメージセンサにより得られる予備発光時の画像について説明するための図である。

図１１に示すように、撮像素子１３に従来のＣＭＯＳイメージセンサを使用した場合、タイミングＴ６１で予備発光前の露光が開始され、タイミングＴ６２で予備発光時の露光が開始されて、それぞれの検波値が取得され、差分検波値が演算される。ここで、上述したように、ＣＭＯＳイメージセンサでは、画面上方の先頭ラインから下方の最終ラインに向かって露光期間が順にずれていく。例えば、予備発光時には、図中のタイミングＴ６２において先頭ラインの露光が開始されるが、最終ラインの露光はその後のタイミングＴ６３に開始される。これに対して、予備発光の時間は数１０μｓｅｃと短いので、予備発光の反射光は一部の画素でしか受光することができない。例えば、図１２に示すように予備発光が行われた場合には、予備発光時の露光動作における予備発光の影響は、画面内の一部の領域Ｂ（図１２では画面上部）に限られ、残りの領域からは、予備発光の影響のない外光のみの検波値しか求めることができない。従って、予備発光時の検波値を高精度に求めることができず、本発光の光量を高精度に演算することができない。

これに対して、以下の図１３に示すように、予備発光時における露光開始時に全画素の電荷を一度に掃き捨てるようにすることが考えられている。
図１３は、従来のＣＭＯＳイメージセンサのフラッシュ撮影シーケンスの別の例を示す図である。また、図１４は、この場合に得られる予備発光時の画像について説明するための図である。

図１３に示すように、予備発光前の露光を開始する場合（タイミングＴ７１）、および予備発光時の露光を開始する場合（タイミングＴ７２）に、撮像素子１３の全画素の電荷を掃き捨てて、画面内の全画素の露光動作を同時に開始するようにする。これにより、予備発光時の露光動作における予備発光の影響は、画面内の上部から下部まで一様に得られるので、予備発光時の検波値を高精度に求めることができる。また、予備発光の直前の露光期間が短縮されるので、少なくとも画面上方においては外光が大きい場合にもそれによって画素信号が撮像素子１３のダイナミックレンジを超えることが避けられる。

しかし、画面内の全画素を同時に読み出すことはできないので、画面内の各画素信号の読み出しは、１ラインごとにずらされて順次行われる。従って、予備発光前および予備発光時の露光時間は、下方のラインの画素ほど長くなる。例えば、図１４に示すように、タイミングＴ８１〜Ｔ８３の１垂直同期期間にすべての画素信号の読み出しが行われる場合、画面上方の先頭ラインの画素の露光時間（タイミングＴ８１〜Ｔ８２）が最短（例えば１／４０００ｓｅｃ程度）で、最終ラインの画素の露光時間（タイミングＴ８１〜Ｔ８３）が最長（例えば１／数１００ｓｅｃ程度）となる。

ここで、図１４のように全画素の電荷読み出しに１垂直同期期間を要するときに、画面の全領域で同一の外光量を有する一様な被写体を撮像する場合を考える。図１５は、この場合の予備発光前検波値Ｄ１の検波例を示すグラフである。

図１５（Ａ）は、１／２垂直同期期間分だけ露光したときに撮像素子１３の出力信号がダイナミックレンジの５０％に達するような被写体を撮像した場合の検波値を示している。露光時間は画面上の下方のラインの画素ほど長くなり、この場合には、画面中央の画素信号はダイナミックレンジの５０％程度、画面下方の最終ラインの画素信号は１００％程度の出力値となる。

また、図１５（Ｂ）は、１／４垂直同期期間分だけ露光したときに撮像素子１３の出力信号がダイナミックレンジの５０％に達するような被写体を撮像した場合を示しており、この場合には、画面中央の画素信号の出力値がダイナミックレンジの１００％程度に達し、それより下方の画素信号はダイナミックレンジを超えてしまって、正しい外光量を検波することができなくなる。

図１６は、画面下方の画素信号がクリップされる場合の差分検波値の演算例を示す図である。
図１６の例では、撮像素子１３上の先頭ラインの読み出し開始時に、このラインにおける画素信号の出力値が撮像素子１３のダイナミックレンジの２０％程度となる一様な外光が存在しており、最終ラインの読み出し時には、このラインの画素信号の出力値がダイナミックレンジの８０％程度に達している。また、予備発光によって入射される反射光の光量（外光成分を含まない）は、撮像素子１３のダイナミックレンジの５０％程度とされている。なお、ここでは、予備発光の反射光は画面の全域で一様に受光されるものとしている。

このような場合に、予備発光時には、外光成分と予備発光の反射成分とが合成された値（予備発光時検波値Ｄ２）が検波されるので、画面中央より下方の画素信号はダイナミックレンジを超えてしまい、検波値がクリップされる。従って、予備発光時検波値Ｄ２と予備発光前検波値Ｄ１との差分検波値は、検波値がクリップされた領域において、実際の予備発光の反射光成分とは一致しない。このように、露光開始時間を一致させただけでは、本発光時の光量を正確に得るには不十分であった。

このような問題に対して、本実施の形態では、受光部４１からカラム４２に対して画素を間引いて電荷を転送することで、画面全体の画素信号の読み出し時間を短縮し、本発光光量の演算に対する外光の影響を低減する。

図１７は、本実施の形態での予備発光前露光時および予備発光露光時における画素信号の間欠読み出し方法の一例を示す図である。
図１７（Ａ）では、間欠読み出し方法の一例として、撮像素子１３上の受光部４１の画素信号のうち、水平方向、垂直方向ともにｎ画素に１つずつを間欠的に読み出す場合について示している。このときカラム４２には、各列の受光部４１のうちｎ画素（図ではｎ＝４）に１つから信号電荷が間欠的に転送され、出力される。また、図１７（Ａ）のように、読み出す画素の位置をラインごとに１つずつずらした場合には、画面全体では例えば図１７（Ｂ）のように斜め方向に連続する画素から信号電荷が読み出され、全画素のうち１／ｎ（この例では１／４）の画素において信号電荷の読み出しが行われる。

図１８は、本実施の形態のＣＭＯＳイメージセンサのフラッシュ撮影シーケンスの例を示す図である。
図１８では、上述した図１１および図１３と同様に、全画素の電荷読み出しに１垂直同期期間分を要する場合の例を示している。この場合、図１７のように４画素に１つずつ画素信号を間欠的に読み出すと、読み出しにかかる時間は１／４に短縮される。図１８において、予備発光前露光の際には、タイミングＴ９１で撮像素子１３の全画素の電荷を掃き捨ててから、全画素の露光動作を同時に開始させ、タイミングＴ９２で画面上方の先頭ラインから電荷読み出しを開始させる。その後、垂直同期期間の１／４分の時間後に画面全体に対する電荷読み出しが完了する（タイミングＴ９３）。予備発光時露光の際には、タイミングＴ９４で全画素の電荷を掃き捨ててから露光動作を開始させ、電荷読み出しを開始するタイミングＴ９５までの期間内にフラッシュ２１を予備発光させる。そして、先頭ラインからの電荷読み出しを開始してから、垂直同期期間の１／４の時間後のタイミングＴ９６に、画面全体に対する電荷読み出しが完了する。

図１９は、本実施の形態での差分検波値の演算例を示す図である。
図１９では、外光の光量および予備発光の反射光量の条件を図１６と同じとした場合の検波の例を示している。図１６の場合の予備発光前露光では、先頭ラインから最終ラインへ順に電荷を読み出していく間に、画素信号のレベルが撮像素子１３のダイナミックレンズの５０％を超えていたが、図１９の場合では、電荷の読み出し時間が１／４となるので、先頭ラインから最終ラインに向かっての検波値の上昇率が１／４となり、全ラインの画素信号のレベルがダイナミックレンジの５０％以下になっている。このため、予備発光時露光の際にも、撮像素子１３の出力信号レベルがダイナミックレンジを超えず、クリップされることがなくなるので、予備発光時検波値Ｄ２と予備発光前検波値Ｄ１との差分検波値は、実際の予備発光時の反射光成分と等しくなり、正確な値が検波される。従って、本発光時のフラッシュの発光量を正確に求めることができる。

なお、図１８において、撮像素子１３により予備発光前および予備発光時の動作が行われる期間には、撮像素子１３の出力が垂直同期信号の２サイクル分に１回となり、画像信号の出力が途切れる。また、画面内の画素信号が間欠的に読み出されることから、出力される画像も乱れた状態となる。そこで、この間より垂直同期信号の数サイクル分だけ前の出力画像信号をあらかじめメモリ２３に記憶しておき、撮像素子１３により予備発光前の露光動作が開始されたときには、撮像素子１３による撮像画像信号の代わりに、メモリ２３に記憶された以前の画像信号を読み出して、後段の表示系に出力するように構成することが望ましい。これにより、映像の乱れをユーザに認識させないようにすることができる。

図２０は、本実施の形態での予備発光前露光時および予備発光露光時における画素信号の間欠読み出し方法の別の例を示す図である。
図２０では、撮像素子１３上の受光部４１の画素信号のうち、ｎライン（図ではｎ＝４）に１つずつを間欠的に読み出す場合について示している。この場合にも、全画素の１／ｎからのみ信号電荷が読み出されるので、図１７の場合と同様に画面全体の電荷読み出しに要する時間は１／ｎとなって、同様に本発光時のフラッシュの発光量の演算精度を向上させることができる。また、この例ではすべての列について読み出しを行う画素の位置が同じになるので、電荷読み出しのための撮像素子１３の回路構成を単純化することができる。なお、他に例えば、ｎ列に１つの画素から信号電荷を読み出すようにしてもよい。

以上説明したように、本実施の形態の撮像装置によれば、フラッシュの予備発光の動作時には、撮像素子１３の全画素の露光動作を同時に開始するとともに、ｎ画素に１つずつ間欠的に信号電荷を読み出して検波を行う。このため、撮像素子１３の露光時間を画面の全領域に亘って短くしつつ、撮像素子１３の全ての領域に予備発光の影響を与えることができる。従って、特に外光の光量が比較的大きい場合にも、予備発光時の撮像素子１３の受光量がダイナミックレンジを超えることが少なくなるので、検波値の正確性が向上し、本発光時の光量をより高精度に求めることが可能となる。

また、予備発光時検波値に加え、予備発光前検波値を検波することにより、予備発光時検波値から予備発光前検波値を減算し、外光が排除された予備発光のみを含む差分検波値を得ることにより、外光が排除された予備発光のみを含む差分検波値を得ることができるので、本発光時の光量を一層高精度に求めることが可能となる。

なお、予備発光前検波および予備発光時検波の際の画素の間引き量（ｎ）は、そのときに検出される外光の光量に応じて可変としてもよい。例えば、画素の間引き量（ｎ）を大きくすることで、画面全体の電荷読み出しに要する時間が短縮されるので、予備発光前検波値Ｄ１の画面内の画素位置に応じた上昇率がより小さくなる。従って、外光の光量が大きいときには、画素の間引き量（ｎ）を大きくすることで、検波値がクリップされる事態をより確実に回避することができる。

さらに、レンズの移動によるズーム機能を搭載する撮像装置であれば、焦点距離に応じて画素の間引き量（ｎ）を可変とするようにしてもよい。これは、フラッシュを照射する被写体によっては、ズーム倍率を高めたときには、低い場合と比較して検波する画素数を少なくしても、本発光時の発光量に対する十分な演算精度が得られる場合があることを利用したものである。

図２１は、焦点距離と画角との関係を説明するための図である。また、図２２は、焦点距離と画素の間引き量との関係を説明するための図である。
ここでは、被写体２として人物の顔を想定する。図２１（Ａ）において、撮像装置１の撮像面から被写体２までの距離をＬ、垂直方向の撮影範囲の距離を２Ｌｖｅｒとする。また、図２１（Ｂ）において、撮影範囲３の対角方向の距離を２Ｌｓとする。焦点距離ｆが３８ｍｍ（３５ｍｍ換算）の場合の画角２ωは約６０°であり、撮影範囲３の横方向と対角方向とのなす角度θを３７°として、Ｌｓ＝Ｌ＊ｔａｎθ、Ｌｖｅｒ＝Ｌｓ＊ｓｉｎθなる式に代入すると、撮影範囲３の垂直方向距離２Ｌｓは０．７Ｌとなる。このように、焦点距離ｆを基に実際に撮影される範囲の大きさを求めることができる。そして、被写体２が、撮像装置１からフラッシュの届く範囲内の距離Ｌにあるとき、その被写体２が画面にしめる大きさを演算することが可能となる。

ここで、例えば図２２に示すように所定のライン数（ｎ）ごとに画素信号を間欠的に読み出す場合、撮影範囲３ａで被写体２を撮像したときに、例えば画面全体で図２２のように９ライン分の読み出しが必要とされたとする。そして、その状態から焦点距離を大きくすると、撮影範囲３ｂ内に被写体２がズームされて映る。フラッシュ撮影時の予備発光時露光では、その被写体（ここでは人物の顔を想定する）からの予備発光の反射光を受光できれば、本発光の光量を十分な精度で演算することができるので、図２２のように撮影範囲３ａにおいて被写体２の顔からの反射光が３ライン分だけ検出されている場合に、撮影範囲３ｂではその範囲内の９ライン分を検波する必要はなく、被写体２にかかっている３ライン分だけを検波すれば、撮影範囲３ａと同等の演算精度を得ることができる。

一例として、ｎ＝１６としたとき、撮像素子１３の総ライン数が５００とすると、間欠読み出しされる画素領域は画面全体の３％程度となり、被写体２までの距離Ｌが２．５ｍの場合、実際の被写体２上で約５ｃｍの間隔に相当する反射光成分が読み出されることになる。この場合、人間の顎と額との間を２０ｃｍとすると、人間の顔の中で３〜４ライン程度を検波することになる。また、同様に、ｎ＝４のときは、被写体２上で約１ｃｍの間隔となる。

このように、撮像素子１３の具備するライン数、焦点距離ｆ、想定する被写体の大きさ（ここでは垂直方向の長さ）などの値から間引き量（ｎ）を決めることができるので、例えば人物撮影モードといった動作モードごとに広角端での必要な間引き量（ｎ）を設定しておき、フラッシュ撮影時には焦点距離ｆを長くする（すなわちズーム倍率を大きくする）のに応じてその間引き量（ｎ）を大きくすることで、予備発光時の露光時間を短縮して本発光の光量の演算精度を高めることが可能である。

なお、本発明は、デジタルスチルカメラや、静止画像の撮像機能を備えたデジタルビデオカメラなどの撮像装置の他に、同様な機能を備えた携帯電話機およびＰＤＡ（Personal Digital Assistant）などにも適用することができる。

また、外部の撮像素子およびフラッシュが接続されて、その撮像素子およびフラッシュによる撮像動作を制御して、撮像画像を取り込むことが可能なパーソナルコンピュータなどの情報処理機器（コンピュータ）にも本発明を適用することが可能である。その場合、上記の撮像装置が有すべき機能の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。

実施の形態に係る撮像装置の要部構成を示す図である。 ＣＣＤイメージセンサの概略構成図である。 ＣＭＯＳイメージセンサの概略構成図である。 ＣＣＤイメージセンサの動作を示すタイムチャートである。 ＣＭＯＳイメージセンサの動作を示すタイムチャートである。 フラッシュ撮影の基本的な制御フローを示す図である。 撮像画像の一例を示す図である。 外光のない場合の差分検波値の演算例を示す図である。 外光のある場合の差分検波値の演算例を示す図である。 従来のＣＣＤイメージセンサのフラッシュ撮影シーケンスの例を示す図である。 従来のＣＭＯＳイメージセンサのフラッシュ撮影シーケンスの例を示す図である。 従来のＣＭＯＳイメージセンサにより得られる予備発光時の画像について説明するための図である。 従来のＣＭＯＳイメージセンサのフラッシュ撮影シーケンスの別の例を示す図である。 図１３のフラッシュ撮影シーケンスを適用した場合に得られる予備発光時の画像について説明するための図である。 図１３のフラッシュ撮影シーケンスを適用した場合の予備発光前検波値の検波例を示すグラフである。 画面下方の画素信号がクリップされる場合の差分検波値の演算例を示す図である。 本実施の形態での予備発光前露光時および予備発光露光時における画素信号の間欠読み出し方法の一例を示す図である。 本実施の形態のＣＭＯＳイメージセンサのフラッシュ撮影シーケンスの例を示す図である。 本実施の形態での差分検波値の演算例を示す図である。 本実施の形態での予備発光前露光時および予備発光露光時における画素信号の間欠読み出し方法の別の例を示す図である。 焦点距離と画角との関係を説明するための図である。 焦点距離と画素の間引き量との関係を説明するための図である。

符号の説明

１１……レンズ、１２……絞り、１３……撮像素子、１４……ＡＧＣ回路、１５……Ａ／Ｄ変換回路、１６……カメラ信号処理回路、１７……検波回路、１８……システム制御部、１９……メモリ、２０……ドライバ、２１……フラッシュ、２２……ドライバ、２３……メモリ

Claims (13)

1. 各画素の画素信号に対してランダムアクセスが可能な固体撮像素子を用いて画像を撮像する撮像装置において、
   被写体に光を照射するフラッシュと、
   前記固体撮像素子による撮像画像信号から撮像画像の明るさを検波する検波手段と、
   前記フラッシュの本発光の動作前に前記フラッシュの予備発光を行わせて、前記予備発光時の画像を前記固体撮像素子により撮像させ、前記予備発光時の撮像画像信号を基に前記検波手段により撮像画像の明るさを検波させ、検波された前記予備発光時の明るさに基づいて前記フラッシュの前記本発光時の光量を演算する制御手段と、
   を有し、
   前記制御手段は、前記予備発光の動作時に、前記固体撮像素子の全画素の露光動作を同時に開始させた後、各画素の画素信号を所定の画素間隔で間欠的に読み出し、前記検波手段に供給する、
   ことを特徴とする撮像装置。
2. 前記制御手段はさらに、前記予備発光の直前に、前記フラッシュを発光させずに前記固体撮像素子により画像を撮像させ、前記予備発光の直前での撮像画像信号を基に前記検波手段により撮像画像の明るさを検波させ、前記予備発光の直前および前記予備発光時にそれぞれ前記検波手段により検波された明るさの差分値に基づいて前記フラッシュの前記本発光時の光量を演算するようにし、前記予備発光の直前での前記固体撮像素子の撮像においても、前記固体撮像素子の全画素の露光動作を同時に開始させた後、各画素の画素信号を所定の画素間隔で間欠的に読み出し、前記検波手段に供給する、
   ことを特徴とする請求項１記載の撮像装置。
3. 前記制御手段は、前記予備発光の直前および前記予備発光時の各撮像動作では、前記固体撮像素子の画素信号を水平方向のライン単位で読み出すことを特徴とする請求項２記載の撮像装置。
4. 前記制御手段は、前記予備発光の直前および前記予備発光時の各撮像動作において、前記固体撮像素子の画素信号を垂直方向のライン単位で読み出すことを特徴とする請求項２記載の撮像装置。
5. 前記制御手段は、前記予備発光の直前および前記予備発光時の各撮像動作において、外光の光量が大きいほど、前記固体撮像素子から画素信号を間欠的に読み出すための前記画素間隔を大きくすることを特徴とする請求項２記載の撮像装置。
6. レンズを光軸に沿って移動させることで被写体の拡大画像を撮像するズーム機構をさらに有し、
   前記制御手段は、前記予備発光の直前および前記予備発光時の各撮像動作において、前記ズーム機構の焦点距離が大きいほど、前記固体撮像素子から画像信号を間欠的に読み出すための前記画素間隔を大きくすることを特徴とする請求項２記載の撮像装置。
7. 前記予備発光の動作前に前記固体撮像素子により撮像された画像情報を記憶する記憶手段をさらに有し、
   前記制御手段は、前記固体撮像素子により前記予備発光の直前の撮像動作が開始されたとき、当該撮像動作およびその直後の前記予備発光時の撮像動作により撮像される画像の代わりに、前記記憶手段に記憶された画像情報を読み出して、後段の画像表示処理装置に出力することを特徴とする請求項２記載の撮像装置。
8. 前記固体撮像素子は、ＸＹアドレス型のイメージセンサからなることを特徴とする請求項１記載の撮像装置。
9. 前記ＸＹアドレス型のイメージセンサは、ＣＭＯＳイメージセンサからなることを特徴とする請求項８記載の撮像装置。
10. 各画素の画素信号に対してランダムアクセスが可能な固体撮像素子を用い、フラッシュを照射して画像を撮像するための撮像方法において、
    前記フラッシュの本発光の動作前に前記フラッシュの予備発光を行い、前記予備発光時の画像を前記固体撮像素子が撮像する予備発光時撮像ステップと、
    検波手段が、前記予備発光時に撮像された画像の明るさを検波する予備発光時検波ステップと、
    演算手段が、前記予備発光時に検波された画像の明るさに基づいて前記フラッシュの前記本発光時の光量を演算する演算ステップと、
    を含み、
    前記予備発光時撮像ステップでは、前記固体撮像素子の全画素の露光動作を同時に開始した後、各画素の画素信号を所定の画素間隔で間欠的に読み出すようにしたことを特徴とする撮像方法。
11. 前記予備発光時撮像ステップの前に、前記フラッシュを発光させずに前記固体撮像素子が画像を撮像する予備発光前撮像ステップと、
    前記検波手段が、前記予備発光前撮像ステップでの撮像画像信号を基に画像の明るさを検波する予備発光前検波ステップと、
    をさらに含み、
    前記予備発光前撮像ステップでは、前記固体撮像素子の全画素の露光動作を同時に開始した後、各画素の画素信号を所定の画素間隔で間欠的に読み出すようにし、
    前記演算ステップでは、前記予備発光前検波ステップおよび前記予備発光時検波ステップでそれぞれ検波された明るさの差分値に基づいて前記フラッシュの前記本発光時の光量を演算するようにしたことを特徴とする請求項１０記載の撮像方法。
12. 各画素の画素信号に対してランダムアクセスが可能な固体撮像素子を用い、フラッシュを照射して画像を撮像するための撮像制御処理をコンピュータに実行させる撮像制御プログラムにおいて、
    前記フラッシュの本発光の動作前に前記フラッシュの予備発光を行わせて、前記予備発光時の画像を前記固体撮像素子により撮像させ、前記予備発光時の撮像画像信号を基に検波手段により撮像画像の明るさを検波させ、前記予備発光の動作時には、前記固体撮像素子の全画素の露光動作を同時に開始させた後、各画素の画素信号を所定の画素間隔で間欠的に読み出すようにした制御手段、
    前記予備発光時に前記検波手段により検波された画像の明るさに基づいて前記フラッシュの前記本発光時の光量を演算する演算手段、
    として前記コンピュータを機能させることを特徴とする撮像制御プログラム。
13. 前記制御手段はさらに、前記予備発光の直前に、前記フラッシュを発光させずに前記固体撮像素子により画像を撮像させ、前記予備発光の直前での撮像画像信号を基に前記検波手段により撮像画像の明るさを検波させ、
    前記演算手段はさらに、前記予備発光の直前および前記予備発光時にそれぞれ前記検波手段により検波された明るさの差分値に基づいて前記フラッシュの前記本発光時の光量を演算するようにし、
    前記制御手段は、前記予備発光の直前での前記固体撮像素子の撮像においても、前記固体撮像素子の全画素の露光動作を同時に開始させた後、各画素の画素信号を所定の画素間隔で間欠的に読み出すようにしたことを特徴とする請求項１２記載の撮像制御プログラム。

Images