JP2005278061A - 撮像信号処理装置、固体撮像装置、ストロボ発光制御方法 - Google Patents

Abstract

【課題】 適切なストロボ発光制御を実現すると共にシステム設計の容易性を実現する。
【解決手段】
撮像信号処理回路系に内蔵されたコントローラ上で動作するファームウェアにより自動露光調整を行うカメラシステムにおいて、被写体の明るさに応じてストロボ発光制御を行う／行わないという制御を実装するために、容易に発光可否のしきい値を調整及び設定できるようにする。つまりストロボ制御手段は、入射光の光量情報を、記憶手段に記憶された判別値と比較してストロボ発光を行うか行わないかを判断する。この判別値は記憶手段で書き換えることで調整できる。また入射光の光量情報は、露光時間制御値をゲイン値に換算し、該換算したゲイン値と、アナログゲインアンプに対するゲイン値との演算により算出する。
【選択図】 図２

Description

本発明は固体撮像素子を用いた固体撮像装置と、固体撮像装置に内蔵される撮像信号処理装置、及びストロボ発光制御方法に関するものである。

特開平１０−２０３５６号公報 特開２００３−２０２６１１号公報 特開平７−２２２０４９号公報

ＣＣＤセンサ、或いはＣＭＯＳセンサを撮像素子として用いた固体撮像装置が、例えばビデオカメラやスチルカメラなどとして普及している。スチルカメラにおいては、従前の銀塩カメラの場合と同様に、ユーザーのシャッタ操作に同期してストロボ発光が行われるようにされ、特には、被写体の輝度レベル（入射光量）に応じてストロボ発光を行うか否かが自動判別制御されることが多い。
上記特許文献１，２，３にはストロボ発光制御に関する技術が開示されている。

また固体撮像装置においては、ＣＣＤ等のイメージセンサ部で得られた撮像画像信号をアナログゲインアンプで増幅処理する。そして撮像信号処理回路においてＡ／Ｄ変換、クランプ処理、ホワイトバランス調整、輝度処理、色差処理、所定の画像信号フォーマットへのエンコード処理などを行う。
その後、例えばＪＰＥＧエンコード、ＭＰＥＧエンコードなどの所要のエンコードが行われ、動画としてビューファインダに表示されたり、静止画として記録媒体に記録される。
このような撮像信号処理系においては、被写体の輝度レベルに応じて露光調整が行われることが知られている。

例えばＣＣＤイメージセンサを用いたカメラ信号処理システムでは、露光時間とアナログゲインによって露光調整が可能である。即ちＣＣＤイメージセンサに各種タイミング信号を入力し、イメージセンサの蓄積時間（露光時間）を制御する。また、ＣＣＤイメージセンサから出力される電気信号を増幅するゲインアンプのゲイン量を制御する。
そして、上記撮像信号処理部においてマイクロコントローラを内蔵し、ファームウェアにより撮像画像信号の明るさを自動で調整する機能を有する場合、撮像信号処理部が、上記したイメージセンサの蓄積時間や、アンプゲインを、被写体の状況に応じてそれぞれ調整することにより、自動的に撮像画像の明るさ調整を実現する。これを、ＡＥ（オートエクスポージャー）という。

ここで、マイクロコントローラを有するカメラ信号処理システムにおいて、マイクロコントローラ上で動作するファームウエアが、被写体の状況に応じてストロボ発光する／しないを判断して発光制御を行うというストロボ機能を実装する場合を考える。
この場合、ファームウェアが被写体の明るさの情報を取得し、また被写体の明るさの情報を何らかの判定基準に照らし合わせ、例えば判定基準よりも暗い場合はストロボ発光制御を実施する、等の発光可否判断を行う必要がある。

被写体の明るさ情報は、撮像信号処理部においては撮像画像信号から得ることができる。つまり撮像信号処理部におけるマイクロコントローラのファームウエアは、基本的には、撮像画像信号の輝度レベルを検出すれば、被写体の明るさのレベルを判別できる。
但し、イメージセンサからアナログゲインアンプを介して撮像信号処理部に供給される撮像画像信号は、イメージセンサの蓄積時間とアナログゲインアンプのゲイン量によって出力信号量、つまり被写体の明るさが調整されており、ファームウェアで被写体の明るさを判断する場合はこれらの情報も含めて考慮する必要がある。換言すれば、蓄積時間やゲインなどの輝度信号変動要素を考慮したうえで判定を行えば、輝度信号レベルから被写体の明るさを判別できるものである。
そして、被写体の明るさ情報を、ストロボ発光の基準となる判定値と比較することで、ストロボ発光を行うか否かを判定できる。

ところが、上記の蓄積時間やゲイン値の設定は、イメージセンサの感度や、レンズ、絞りなど光量を減少させる部位などの影響をうけるため、ファームウェアの設計段階でこれらの要素を確定できない。つまりは、機器の実装段階においてレンズ系や採用されるイメージセンサの特性などによって蓄積時間やゲイン値の基本設定が異なってしまうため、蓄積時間やゲイン値を考慮した判定を行っても、判定される明るさレベルが上下してしまう。
これを特定の判定値と比較すると、機器によってストロボ発光が実行される明るさレベルが変動してしまうことになる。
このような点で、ファームウエアの設計が困難である。

また、上記した自動露光調整として撮像画像信号の明るさを一定に保つ制御をマイクロコントローラ上で動作するファームウェアが実行する場合を考えると、蓄積時間とアナログゲインアンプのゲイン量は相互に影響を受けることから、これらを考慮して被写体の明るさレベルを判定することが困難となる。つまり自動露光調整による蓄積時間の変動の影響と、自動露光調整によるゲイン量の変動のそれぞれについて、相互の影響を考慮しながら、撮像画像信号の輝度レベルに基づいて被写体の明るさレベルを判定することは複雑な処理となり、これもファームウエアの設計の困難性の要因となるとともに、処理負担が増大する。

そこで本発明では、自動露光調整機能と静止画撮像機能を有するとともに、内蔵マイクロコントローラのファームウェア制御により被写体の明るさを判断してストロボ発光可否を判断／制御するカメラシステムにおいて、適切なストロボ発光制御を実現すると共にシステム設計の容易性を実現することを目的とする。

本発明の撮像信号処理装置は、撮像センサにより光電変換されて読み出され、ゲインアンプでゲイン処理されて供給される撮像画像信号についての輝度信号積分値を得る積分手段と、上記積分手段で得られた積分値に基づいて、上記撮像センサにおける露光時間制御値及び上記ゲインアンプにおけるゲイン値を設定し、露光制御信号として出力する露光制御手段と、上記露光時間制御値をゲイン値に換算し、該換算したゲイン値と、上記ゲインアンプに対するゲイン値との演算により、被写体の光量情報を算出する光量算出手段と、ストロボ発光動作を実行するか否かの基準となる判別値を記憶する記憶手段と、上記光量算出手段で算出された光量情報と、上記記憶手段に記憶された判別値とを比較し、その比較結果によりストロボ発光動作の制御を行うストロボ制御手段とを備える。

本発明の固体撮像装置は、入射光を光電変換して撮像画像信号を読み出す撮像センサ手段と、上記撮像センサ手段で読み出される撮像画像信号に対してゲイン処理を行うゲインアンプ手段と、上記ゲインアンプ手段から供給される撮像画像信号に対して信号処理を行い、所定のフォーマットの撮像画像信号として出力する信号処理手段と、上記信号処理手段の処理において得られる上記撮像画像信号の輝度信号についての積分値を得る積分手段と、上記積分手段で得られた積分値に基づいて、上記撮像センサ手段における露光時間制御値及び上記ゲインアンプ手段におけるゲイン値を設定し、露光制御信号として出力する露光制御手段と、上記露光時間制御値をゲイン値に換算し、該換算したゲイン値と、上記ゲインアンプに対するゲイン値との演算により、被写体の光量情報を算出する光量算出手段と、ストロボ発光手段と、上記ストロボ発光手段において発光動作を実行するか否かの基準となる判別値を記憶する記憶手段と、上記光量算出手段で算出された光量情報と、上記記憶手段に記憶された判別値とを比較し、その比較結果により上記ストロボ発光手段の発光動作の制御を行うストロボ制御手段とを備える。

本発明のストロボ発光制御方法は、撮像センサにより光電変換されて読み出され、ゲインアンプでゲイン処理されて供給される撮像画像信号についての輝度信号積分値を得る積分ステップと、上記積分ステップで得られた積分値に基づいて、上記撮像センサにおける露光時間制御値及び上記ゲインアンプにおけるゲイン値を設定し、露光制御信号として出力する露光制御ステップと、上記露光時間制御値をゲイン値に換算し、該換算したゲイン値と、上記ゲインアンプに対するゲイン値との演算により、被写体の光量情報を算出する光量算出ステップと、ストロボ発光手段において発光動作を実行するか否かの基準となる判別値を記憶手段から読み出す判別値読出ステップと、上記光量算出ステップで算出された光量情報と、上記判別値読出ステップで読み出された判別値とを比較し、その比較結果により上記ストロボ発光手段の発光動作の制御を行うストロボ制御ステップとを備える。

以上の本発明では、撮像信号処理回路系に内蔵されたコントローラ上で動作するファームウェアによりＡＥ機能（自動露光調整）を実現するカメラシステムにおいて、被写体の明るさに応じてストロボ発光制御を行う／行わないという制御を実装するために、容易に発光可否のしきい値を調整及び設定できるようにするものである。つまり、ファームウエアによるストロボ制御手段は、入射光の光量情報を、記憶手段に記憶された判別値と比較してストロボ発光を行うか行わないかを判断する。判別値は記憶手段上で書き換えることで調整できる。
また、入射光の光量情報は、露光時間制御値をゲイン値に換算し、該換算したゲイン値と、ゲインアンプに対するゲイン値との演算により算出することで求める。自動露光調整における２つの要素（露光時間とゲイン）の制御値、つまり露光時間制御値とゲインアンプに対するゲイン値は、被写体の明るさに応じて設定されるため、この２つの要素の制御値は、被写体の明るさの尺度となる。そして、露光時間制御値をゲイン値に換算し、ゲインアンプに対するゲイン値と演算することは、２つの制御値を簡単に統一的に用いて、明るさの情報を得ることができる手法となる。

本発明によれば、被写体の明るさに応じてストロボ発光制御を行う場合において、入射光の光量情報を、記憶手段に記憶された判別値と比較してストロボ発光を行うか行わないかを判断する。この場合、発光有無の基準となる判別値は記憶手段上で書き換えることで調整できる。これによって、個別の機器、或いは各種の機種に対応して適切なストロボ発光制御を行う撮像信号処理装置を実現できる。
例えばカメラ信号処理系（撮像信号処理装置）の開発段階では、レンズ、絞り値などを含めた光学系の感度が、開発完了後にどのようなレベルになるのか、全て想定することが難しいが、本発明では開発済みの撮像信号処理装置に対して、ストロボ発光の基準となる上記判別値を調整することで、ストロボ発光する被写体の明るさのしきい値を容易に調整できるため、機器個別に対応できるものである。そしてこれは撮像信号処理装置及びそのファームウエアの開発効率を向上させる。

また、被写体の明るさとしての光量情報は、露光時間制御値をゲイン値に換算し、該換算したゲイン値と、ゲインアンプに対するゲイン値との演算により算出することで求める。露光時間制御値とゲインアンプに対するゲイン値は、ＡＥ機能により被写体の明るさに応じて設定されるものであるため、それらの制御値は、逆算的に被写体の明るさを表している情報といえる。従って、ＡＥ機能の制御値自体を用いることで光量情報を得ることができる。またこの際、露光時間制御値をゲイン値に換算して、ゲインアンプに対するゲイン値と演算することで、相互に影響しあう２つの制御値を統合的に扱って１つの明るさの尺度とできる。つまり算出される光量情報は、簡易に算出できると共に、２つのＡＥ制御値の相互影響を含めた統合的な値とできる。
つまり簡易且つ正確に被写体の明るさの情報を得ることができ、これもファームウエア設計の容易性を促進する。
また、２つのＡＥ制御値の相互影響を含めた統合的な値として光量情報を得ることは、判別値との比較が容易であり、又、判別値の設定も容易であるという利点を生じさせ、上記した判別値の調整を簡易とするものとなる。

以下、本発明の実施の形態を説明する。図１は、例えばデジタルスチルカメラとされる本実施の形態の固体撮像装置の要部のブロック図である。
撮像センサ部１は、センサ部１１とＡＧＣ（Auto Gain Control）回路１２により構成される。センサ部１１は、ＣＣＤセンサアレイ又はＣＭＯＳセンサアレイとして多数の画素を構成する固体撮像素子部や、固体撮像素子部を駆動する垂直走査回路、水平走査回路、読み出しアンプ等を有する。
そして固体撮像素子部は図示しないレンズ、絞りなどの光学系素子を経て入射される被写体からの光を光電変換し、各画素の信号として出力する。各画素から出力される信号は垂直転送及び水平転送されて１フレームの画像を構成する撮像画像信号ストリームとされる。
センサ部１１で読み出された撮像画像信号は、ＡＧＣ回路１２において可変利得アンプ（アナログゲインアンプ）によりゲイン調整される。
なお、被写体の輝度レベル（入射光量）に応じた自動露光調整が行われるが、公知の通り、この露光調整は、固体撮像素子部における露光時間の調整やＡＧＣ回路１２におけるゲイン調整（ＡＧＣゲイン値の可変制御）によって実現される。
本例では、センサ部１１の固体撮像素子部は撮像信号処理部３より供給される露光時間制御信号ＳAE1により電荷の蓄積時間、つまり露光時間を制御され、入射光を電気信号に変換して出力するものとなる。
またＡＧＣ回路１２は、撮像信号処理部３より供給されるゲイン制御信号ＳAE2により電気信号の増幅量が制御され、電気信号を増幅する。
なお、この例では、ＡＧＣ回路１２は撮像信号処理部３の外部に設置されているが、ＡＧＣ回路１２が撮像信号処理部３に内蔵される構成としても良い。
また、ＡＧＣ回路１２へのゲイン量の設定はデシベル単位で行えるものとする。

撮像センサ部１から出力される撮像画像信号は撮像信号処理部３に供給される。撮像信号処理部３においては、まずプリ処理部３１でＡ／Ｄ変換、クランプ処理、欠陥補正処理、ホワイトバランス処理などが行われる。プリ処理部３１で処理された信号は輝度信号と色差信号に分離され、輝度信号は輝度処理部３２で処理される。また色差信号は色差処理部３３で処理される。
輝度処理部３２で処理された輝度信号と色差処理部３３で処理された色差信号は合成回路３４で合成される。そしてエンコーダ３５で例えばＲＥＣ６５６フォーマットなどの所定のフォーマットの撮像画像信号ＤＴとされて、撮像信号処理部３から出力される。
この撮像信号処理部３から出力された撮像画像信号ＤＴは、後段の画像処理部４において所定のエンコード処理が施される。例えばＪＰＥＧエンコード、ＭＰＥＧエンコードなどの処理が施される。
その後、図示しないビューファインダ等の表示部に供給されて表示されたり、或いは記録部に供給されて固体メモリ、メモリカード、磁気ディスク、光ディスクなどの記録媒体に記録される。或いは送信出力されるようにしてもよい。

撮像信号処理部３は、例えばＤＳＰ（Digital Signal Processer）などによる１チップで形成されるが、その動作はカメラ信号処理コントローラ３０によって制御される。
またカメラ信号処理コントローラ３０は、マスターコントローラ２からのコマンドＣＭに応じた制御を行う。マスターコントローラ２は、固体撮像装置（又は固体撮像装置が搭載される携帯電話や情報処理装置などの電子機器）において装置全体の制御を行う。マスターコントローラ２はユーザーの操作部６からの操作や、動作モード状態に応じて撮像信号処理部３を含めた、機器内の各部の制御を行う。

撮像信号処理部３におけるカメラ信号処理コントローラ３０は、その動作プログラムであるファームウエアにより、マスターコントローラ２からのコマンドＣＭや、各種動作状態に応じて、プリ処理部３１，シグナル／タイミングジェネレータ３７，分周器３８に対する動作設定制御や、撮像センサ部１に対する制御を露光調整制御、解像度制御等を行う。
シグナル／タイミングジェネレータ３７は、カメラ信号処理コントローラ３０による設定制御に基づいて、センサ部１１の動作のための水平同期信号Ｈsync、垂直同期信号Ｖsyncを生成し、センサ部１１の垂直走査回路、水平走査回路に供給する。またセンサ部１１の固体撮像素子における露光時間を制御する信号ＳAE1を生成し、出力する。
またカメラ信号処理コントローラ３０は制御信号Ｓｓにより、センサ部１１の解像度制御を行う。例えば１フレームにおける有効画素数の可変制御、或いは画素間引き等の指示を行うことで、撮像センサ部１１から出力される撮像画像信号の解像度を可変制御する。

露光調整に関しては、輝度処理部３２からの輝度信号と色差処理部３３からの色差信号について処理を行うオプティカルディテクタ(ＯＰＤ)３６が設けられる。ＯＰＤ３６は輝度信号や色差信号をフィールド毎に積分する積分回路を持ち、ここで得られた輝度信号の積分値データＳOPDをカメラ信号処理コントローラ３０に供給する。なお、色差信号の積分値もカメラ信号処理コントローラ３０に供給されるが、カメラ信号処理コントローラ３０は、色差信号の積分値については例えば自動ホワイトバランス調整に用いる。

カメラ信号処理コントローラ３０において機能するファームウェアは、露光制御のために輝度信号の積分値データＳOPDを監視しており、フレーム毎の積分結果が一定レベルを保つように露光調整制御を行う。例えば積分値データＳOPDが一定レベルを下回った場合はセンサ部１１における固体撮像素子が出力する信号量を増加させるよう、また例えば積分値データＳOPDが一定レベルを上回った場合は固体撮像素子が出力する信号量を減少するように制御する。具体的にはカメラ信号処理コントローラ３０は、シグナル／タイミングジェネレータ３７から出力させる露光時間制御信号ＳAE1を制御し、その露光時間制御信号ＳAE1によってセンサ部１１での露光時間が可変調整されるようにする。また露光調整はＡＧＣ回路１２でのゲイン調整でも行うことができ、カメラ信号処理コントローラ３０は、露光調整のためのゲイン制御信号ＳAE2をＡＧＣ回路１２に対して出力する。
以上のように露光時間（蓄積電荷量）やＡＧＣ回路１２におけるアナログアンプのゲイン調整により、撮像センサ部１から出力される撮像画像信号に関する自動露光調整（オートエクスポージャー）を行う。

撮像信号処理部３に対しては動作クロックＭＣＫが供給される。クロックＭＣＫは分周器３８を経由して撮像信号処理部３内の各部に供給される。
分周器３８は、入力信号である動作クロックＭＣＫに対して、指定された分周倍率で分周し、所定の周波数のクロックとして、各部に供給する。撮像信号処理部３内の各部は、分周器３８を介して供給された動作クロックを元に動作し、上述したように撮像センサ部１から供給される撮像画像信号の処理を行って、例えばＲＥＣ６５６フォーマット等の映像信号として出力するものである。
なお、分周器３８の分周比をカメラ信号処理コントローラ３０が切り換え制御できるようにすることで、撮像信号処理部３の動作クロック周波数を可変でき、これにょって撮像画像信号のフレームレートを変化させることができる。

ＥＥＰ−ＲＯＭ５は、カメラ信号処理コントローラ３０のファームウエアプログラムや、各種処理係数、設定値その他の必要な情報が製造時に記憶されるが、ストロボ発光制御の基準となる判別値も書き込まれる。詳しくは後述するが、カメラ信号処理コントローラ３０は、ＥＥＰ−ＲＯＭ５から読み出した判別値を用いてストロボ発光制御を行う。

ストロボ発光部７は、ストロボ発光を行う部位であり、ユーザーのシャッタ操作に同期してストロボ発光を行う。シャッタ操作があった場合に発光を行うか否かは、被写体の明るさに応じて自動制御されるが、その制御はカメラ信号処理コントローラ３０によって行われる。

本例においては、上述したようにカメラ信号処理コントローラ３０はＯＰＤ３６からの輝度信号積分値に基づいてＡＥ制御（自動露光調整）を行う。
またカメラ信号処理コントローラ３０は、ストロボ発光部７における発光するか否かの制御も行うが、この制御のために、ＡＥ制御で出力する露光時間制御信号ＳAE1及びゲイン制御信号ＳAE2を用いる。
以下、この動作について説明する。

まず、ＡＥ機能によってフレーム毎の積分結果を一定レベルに保つ場合の制御を考える。この場合、撮像信号処理部３の入力信号のレベル、すなわちＯＰＤ３６によって得られる輝度信号の積分値データＳOPDが、保ちたい所定レベルとなるよう、撮像信号処理部３への入力信号の増幅率を調整することになる。
増幅率を表現する場合、対数計算を利用し、増幅率をデシベル(ｄＢ)単位で表現する。信号量が２倍になる増幅率は、次式の通りとなる。
増幅率＝２０Log10（出力値／入力値）［ｄＢ］
＝２０Log10（２／１）［ｄＢ］
＝６．０２［ｄＢ］ ・・・・・（式１）

次にＡＧＣ回路１２におけるアナログゲインアンプへの増幅率の設定はデシベル単位で行えるものとし、センサ部１１の固体撮像素子部に対して制御する露光時間について考える。
通常、露光時間は時間で表現されるが、ここでは現在の露光時間と、ある単位露光時間との対数で考える。露光時間によってセンサ部１１の出力信号を２倍にするには、入力信号を２倍にする、すなわち、２倍の露光時間を確保し、入射光量を２倍にすることになる。これを先の式１に当てはめると、次のようになる。
増幅率＝２０Log10（（露光時間Ｔ×２）／露光時間Ｔ）［ｄＢ］
＝２０Log10（２／１）［ｄＢ］
＝６．０２［ｄＢ］ ・・・・・（式２）

増幅率は対数で扱うため、センサ部１１の固体撮像素子部の増幅率と、ＡＧＣ回路１２のアナログゲインアンプの増幅率は、加算して入力信号に対する増幅率としてまとめて扱うことができる。以降、この各増幅率の合計を「出力ゲイン」と表す。出力ゲインは次の式３で表わされる。
出力ゲイン［ｄＢ］＝固体撮像素子部の増幅率＋アナログゲインアンプの増幅率 ・・・・・（式３）

固体撮像装置として、最終的にレンズ固定、絞り固定のカメラシステムとして構成される場合、同一の被写体から得られる入射光量は常に同一なため、一定の出力レベルまで信号を増幅することを考えると、入射光量と上記式３で表される出力ゲインの値は一定の関係をとる。
入射光量Ａの被写体ａと、入射光量Ｂ（＝２×Ａ）の被写体ｂを考える。この場合、被写体ａを撮像した場合の出力ゲインは、被写体ｂを撮像した場合よりも２倍余計に増幅が必要なため、６．０２［ｄＢ］大きくなる。
つまり、ＡＥ機能によって常に露光時間とアンプゲイン量が制御されている状態では、増幅量がどれだけゲインアップされているか、つまり出力ゲインが幾らかで被写体からの入射光量を知ることができる。

次に、出力ゲインの総量を知るため、基準となる出力ゲイン＝０ｄＢを考える。
ＡＧＣ回路１２のアナログゲインアンプの増幅率を考えると、式１において増幅率の最小値は、アンプゲイン量０ｄＢとなる。
また、センサ部１１の固体撮像素子部の増幅率を考えると、式２において増幅率の最小値は、固体撮像素子部が取り得る最短の露光時間に設定されている場合と考えることができ、その場合、式（２）の分子と分母が共に同じ値になり、増幅率０ｄＢとなる。
固体撮像素子部が取り得る最短の露光時間は、撮像信号処理部３に供給される動作クロック周波数が決まれば同様に決定するため、カメラシステムとして装置構成が固定されてしまえば変化することはない。

ＡＥ機能が動作する本例のシステムでは、カメラ信号処理コントローラ３０のファームウェアがＡＧＣ回路１２のゲイン量とセンサ部１１の露光時間を、撮像センサ部１からの出力信号（撮像信号処理部３に入力される撮像画像信号）のレベルをある一定の値に保つように、プログラムされた論理に従い操作する。
なお、ゲイン制御の論理は、実装されるＡＥ機能により異なるが、本例では、出力信号のレベルが一定に保たれていれば出力ゲインが求まる為、以下説明するストロボ発光制御のための動作に対して、ゲイン制御の論理には影響されない。また、ゲイン量、露光時間の両方が露光調整要素となり、それぞれの調整量のバランス、つまりどちらをどの程度調整するかのバランスは、実装されるＡＥ機能により異なるが、ＡＥ機能としての増幅率を、上記のようにゲイン値、露光時間ともにデシベルで表現するようにすることで、以下説明するストロボ発光制御に対して、やはりゲイン制御のバランスは影響しない。

カメラ信号処理コントローラ３０におけるファームウエアは、上記式３の出力ゲイン［ｄＢ］を被写体の光量情報として用いる。
出力ゲイン＝固体撮像素子部の増幅率＋アナログゲインアンプの増幅率であるが、固体撮像素子部の増幅率とは、露光時間制御信号ＳAE1をゲイン（ｄＢ）に換算したものである。またアナログゲインアンプの増幅率は、ゲイン制御信号ＳAE2によるゲイン値（ｄＢ）である。
つまり、ＡＥ機能において生成される露光時間制御信号ＳAE1をゲイン（ｄＢ）に換算するとともに、共に生成されるゲイン制御信号ＳAE2によるゲイン値（ｄＢ）を確認し、それらの値（ｄＢ）を加算することで出力ゲインを求める。つまり現在の被写体の光量情報を得る。
そして光量情報を、ＥＥＰ−ＲＯＭ５に記憶されている判別値と比較することで、現在、被写体はストロボ発光させるべき明るさにあるか否かを判断することになる。

カメラ信号処理コントローラ３０で機能するファームウエアによるストロボ発光制御のための処理を図２に示す。
図２の処理は、例えば垂直同期信号毎に実行される。つまり撮像信号処理部３に入力される撮像画像信号の１フレーム毎に、図２の処理が行われる。
ステップＦ１０１では、ＡＥ機能により輝度信号積分値ＳOPDに基づいて生成された露光時間制御信号ＳAE1を確認し、これを増幅率ｘ［ｄＢ］に換算する。
ステップＦ１０２では、同じくＡＥ機能により輝度信号積分値ＳOPDに基づいて生成されたゲイン制御信号ＳAE2を確認し、そのゲイン制御信号ＳAE2で示されるゲインを増幅率ｙ［ｄＢ］とする。
ステップＦ１０３では、増幅率ｘ［ｄＢ］と増幅率ｙ［ｄＢ］を加算して出力ゲインを求める。
ステップＦ１０４では、ＥＥＰ−ＲＯＭ５の所定アドレスに記憶されている発光制御のための判別値を確認する。
ステップＦ１０５では、出力ゲインと発光制御の判別値を比較する。出力ゲインはゲイン総量を表すので、値が大きいほど被写体が暗いことを表し、値が小さいほど被写体が明るいことを表すものとなる。
そしてステップＦ１０５の比較結果として、出力ゲインが判別値より高ければ、現在の被写体は判別値で示される明るさより暗い状態であるとして、ステップＦ１０６に進み、ストロボ発光処理の準備を行う。
また、比較結果として出力ゲインが判別値以下であれば、現在の被写体は判別値で示される明るさ以上であり、ストロボ発光の必要はないとして、ステップＦ１０７に進み、ストロボ発光処理の準備を解除状態とする。

ある時点でユーザーは操作部６からシャッタ操作を行い、その場合、マスターコントローラ２はカメラ信号処理コントローラ３０にシャッタ操作に応じたコマンド（キャプチャコマンド）を送るが、カメラ信号処理コントローラ３０は、そのキャプチャコマンドを受信した時点において、ストロボ発光処理の準備（ステップＦ１０６）が行われた状態にあれば、ストロボ発光部７による発光動作を実行させる。また、キャプチャコマンドを受信した時点でストロボ発行準備が解除（ステップＦ１０７）された状態にあれば、ストロボ発光部７に対する発光動作制御を行わないものとなる。

ところで、被写体の明るさに応じてストロボを発光させるか否かの判断は、上記ステップＦ１０５のように、出力ゲインと、明るさの判断の基準となる判別値の比較によるものとなるが、この判別値の設定及び比較する値について説明する。
出力ゲインはデシベルで表現されるが、次式の換算により、比較判別の分解能を調整する。
６．０２［ｄＢ］＝１０２４
この換算では、分解能は０．００６［ｄＢ］となり、ファームウェアによる判別値と出力ゲインとの比較精度は高められるが、反面、ストロボ発光判断の為の判別としてはここまでの精度は不要だと考えることも出来る。
１０２４は１６進表現で４００（ｈ）となるが、例えば下位２桁を丸め、３桁目以上の値で考えると、分解能は０．０２４［ｄＢ］となる。ストロボ発光判断の分解能としてこれで充分と判断し、判断の基準となる値はこの単位で設定することもできる。設定及び判断の流れは次のようになる。

例えば、ある被写体を撮像した場合、露光時間がシステムの最小露光時間から１８［ｄＢ］、ゲインアンプが１２［ｄＢ］それぞれ増幅した状態でＡＥが収束していたとする。そしてこの場合の被写体の明るさが、ストロボを発光するか否かのしきい値とする場合を考える。
この場合、出力ゲインは、
１８［ｄＢ］＋１２［ｄＢ］＝３０［ｄＢ］
となり、分解能の換算と丸めを行うと、
３０［ｄＢ］＝６［ｄＢ］×５
＝１０２４×５
＝５１２０
＝１４００（ｈ）
となる。
つまり、発光判断の基準となる判別値としては、１４００（ｈ）という値を設定すればよいが、上記のように下位２桁を丸めて判断するようにする場合は、１４（ｈ）という値を判別値とすればよい。

即ちステップＦ１０５の比較処理としては、出力ゲインを６．０２［ｄＢ］＝１０２４で換算し、その分解能で比較する場合は、判別値１４００（ｈ）と比較して、ストロボ発光を行うか否かを判断し、または分解能を下げる場合は、例えば出力ゲインを６．０２［ｄＢ］＝１０２４で換算した後、下位２桁を丸め、その値を判別値１４（ｈ）と比較して、ストロボ発光を行うか否かを判断すればよい。

以上説明してきたように、カメラシステムがレンズ固定、絞り固定として確定している場合、固体撮像素子の感度、すなわち撮像センサ部１での入射光と出力信号レベル（撮像画像信号レベル）との関係は変化しないため、カメラシステムが確定した状態では被写体の明るさを出力ゲインに置き換えて表現することが可能となり、この出力ゲインをＥＥＰ−ＲＯＭ５に記憶された判別値と比較することで、容易且つ正確にストロボ発光制御が実現できる。
また、記憶する判別値により、レンズ系統を含めたカメラ装置として構成された段階で、適正なストロボ発光基準を設定できる。
撮像信号処理部３の開発段階では、レンズ、絞り値などを含めた光学系の感度が、開発完了後にどのようなレベルになるのか、全て想定することが難しいが、開発済みの本例の撮像信号処理部３に対して、基準となる判別値を調整して記憶させることにより、ストロボ発光させる判断の基準となる被写体の明るさを容易に調整することが可能となる。これにより撮像信号処理部３やストロボ制御のためのファームウエア設計の効率化が実現される。

なお、本例ではＥＥＰ−ＲＯＭ５に判別値を記憶するようにしたが、ＥＥＰ−ＲＯＭに代えて各種のメモリを用いても良いことは言うまでもない。あくまでカメラ信号処理コントローラ３０に、判断基準となる判別値を与えることのできる記憶手段であれば、その具体的な構成は問われない。

本発明の実施の形態の固体撮像装置の要部のブロック図である。 実施の形態のストロボ発光制御のフローチャートである。

符号の説明

１ 撮像センサ部、２ マスターコントローラ、３ 撮像信号処理部、４ 画像処理部、５ ＥＥＰ−ＲＯＭ、７ ストロボ発光部、１１ センサ部、１２ ＡＧＣ回路、３０ カメラ信号処理コントローラ、３６ ＯＰＤ、３７ シグナル／タイミングジェネレータ、３８ 分周器

Claims (3)

1. 撮像センサにより光電変換されて読み出され、ゲインアンプでゲイン処理されて供給される撮像画像信号についての輝度信号積分値を得る積分手段と、
   上記積分手段で得られた積分値に基づいて、上記撮像センサにおける露光時間制御値及び上記ゲインアンプにおけるゲイン値を設定し、露光制御信号として出力する露光制御手段と、
   上記露光時間制御値をゲイン値に換算し、該換算したゲイン値と、上記ゲインアンプに対するゲイン値との演算により、被写体の光量情報を算出する光量算出手段と、
   ストロボ発光動作を実行するか否かの基準となる判別値を記憶する記憶手段と、
   上記光量算出手段で算出された光量情報と、上記記憶手段に記憶された判別値とを比較し、その比較結果によりストロボ発光動作の制御を行うストロボ制御手段と、
   を備えたことを特徴とする撮像信号処理装置。
2. 入射光を光電変換して撮像画像信号を読み出す撮像センサ手段と、
   上記撮像センサ手段で読み出される撮像画像信号に対してゲイン処理を行うゲインアンプ手段と、
   上記ゲインアンプ手段から供給される撮像画像信号に対して信号処理を行い、所定のフォーマットの撮像画像信号として出力する信号処理手段と、
   上記信号処理手段の処理において得られる上記撮像画像信号の輝度信号についての積分値を得る積分手段と、
   上記積分手段で得られた積分値に基づいて、上記撮像センサ手段における露光時間制御値及び上記ゲインアンプ手段におけるゲイン値を設定し、露光制御信号として出力する露光制御手段と、
   上記露光時間制御値をゲイン値に換算し、該換算したゲイン値と、上記ゲインアンプに対するゲイン値との演算により、被写体の光量情報を算出する光量算出手段と、
   ストロボ発光手段と、
   上記ストロボ発光手段において発光動作を実行するか否かの基準となる判別値を記憶する記憶手段と、
   上記光量算出手段で算出された光量情報と、上記記憶手段に記憶された判別値とを比較し、その比較結果により上記ストロボ発光手段の発光動作の制御を行うストロボ制御手段と、
   を備えたことを特徴とする固体撮像装置。
3. 撮像センサにより光電変換されて読み出され、ゲインアンプでゲイン処理されて供給される撮像画像信号についての輝度信号積分値を得る積分ステップと、
   上記積分ステップで得られた積分値に基づいて、上記撮像センサにおける露光時間制御値及び上記ゲインアンプにおけるゲイン値を設定し、露光制御信号として出力する露光制御ステップと、
   上記露光時間制御値をゲイン値に換算し、該換算したゲイン値と、上記ゲインアンプに対するゲイン値との演算により、被写体の光量情報を算出する光量算出ステップと、
   ストロボ発光動作を実行するか否かの基準となる判別値を記憶手段から読み出す判別値読出ステップと、
   上記光量算出ステップで算出された光量情報と、上記判別値読出ステップで読み出された判別値とを比較し、その比較結果によりストロボ発光動作の制御を行うストロボ制御ステップと、
   を備えたことを特徴とするストロボ発光制御方法。

Images