以下、図面に基づいて、本発明の実施形態につき説明する。
(第1実施形態)
図1は、本発明の第1実施形態に係る撮像装置としての携帯電話機の外観を示す斜視図であり、(a)は開いた状態の携帯電話機を正面方向から見た図、(b)は閉じた状態の携帯電話機を斜め上方から見た図を示している。図1(a)、(b)に示すように、携帯電話機1は、電話機能の他にカメラ機能を備えたものとなっており、本体ボディ2の正面側の一端(手前側)或いは本体ボディ2の側面側には、キー入力部3、電源スイッチ4、モード設定スイッチ5及びレリーズスイッチ6等の各種の操作ボタン並びにマイク部7等が、本体ボディ2の正面側の他端には液晶モニター(LCD;Liquid Crystal Display)からなるLCD表示部8や通話用のスピーカ部9等が、背面部には撮影レンズ部10や測光部11等がそれぞれ配置されている。そして本体ボディ2の内部には、被写体輝度を検出する後述の撮像センサ21や記録部25、或いは各種音響効果を出力するスピーカ(図略)等の各種本体機器が配置されている。ただし、記録部25は、記録媒体が携帯電話機1本体に対し、着脱自在となるよう配置されている。なお、携帯電話機1は、本体ボディ2の例えば符号Aに示す略中央位置において折り畳み自在(開閉自在)に構成されている。
キー入力部3は、アルファベット(ひらがな)や数字、記号等の各種文字を入力するためのものであり、例えばEメールやインターネット等の使用時、或いは電話やカメラとしての使用時の各操作指示入力に用いられる。電源スイッチ4は、装置の電源をON(起動)、OFF(駆動停止)するための押下スイッチであり、当該押下動作により電源のON、OFFを順次繰り返すことができる。モード設定スイッチ5は、携帯電話機1に備えるカメラ機能を用いて撮影を行うカメラモードや、このカメラモードにおいて後述する外部フラッシュ光を利用しての撮影を行う外部フラッシュ撮影モード等の各種撮影モード、或いは撮影モードにおける自動露出制御(AE制御)や自動焦点(オートフォーカス)制御(AF制御)を行うモード等、Eメールやインターネット使用に対するモードを含み、電話機能及びカメラ機能に対する各種動作モードを設定するためのスイッチである。
レリーズスイッチ6は、撮影動作を開始させるためのものであり、レリーズスイッチ6が押下されると、撮影動作(後述の撮像センサ21を露光し、その露光によって得られた画像信号に所定の画像処理を施して記録部25に記録するといった一連の撮影動作)が実行される。レリーズスイッチ6は、外部フラッシュ撮影モードにおいて、外部フラッシュ光を利用した撮影に関する動作を開始させるためのスイッチとしても機能する。なお、レリーズスイッチ6は、AF制御に対応する押し動作が可能に構成されていてもよく、この場合、例えば途中まで押し込んだ「半押し状態」の操作と、さらに押し込んだ「全押し状態」の操作とが可能とされた押下スイッチとされており、レリーズスイッチ6が半押しされると、被写体の画像を撮影するための準備動作(AE制御やAF制御等の準備動作)が実行され、全押しされると上記一連の撮影動作が実行される。
撮影レンズ部10は、被写体からの光(光像)を取り込むレンズ窓として機能すると共に、当該光を撮像センサ21へ導くための撮影レンズ系(レンズ群)を構成するものである。測光部11は、被写体の光量を計測して測光を行う所謂装置外部の測光(外部測光)を行うものであって、所定の外部測光素子を備え、外部フラッシュ光を計測(検出)するものである。なお、撮影レンズ部10は所定の絞り機構やシャッタ機構(メカシャッタ)を備えてもよい。また、上記モード設定スイッチ5とは別に外部フラッシュ撮影モード設定専用のスイッチを設けてもよい。
図2は、図1に示す携帯電話機1のカメラ制御システムの一例を示すブロック図である。図2に示すように、カメラ制御システム100は、撮像センサ21、アナログ処理部22、A/D変換部23、デジタル処理部24、記録部25、表示部26、操作部27、タイミングジェネレータ28、光量検出部29及び主制御部30等を備えている。撮像センサ21は、CCD(Charge-Coupled Devices )等の撮像素子を備えた所謂エリアセンサであり、撮影レンズ部10によって結像された被写体光像の光量に応じてR、G、B各色成分の画像信号に光電変換して出力するものである。
アナログ処理部22は、タイミングジェネレータ28からのタイミングパルスに基づいて、撮像センサ21から出力される画像信号(撮像センサ21の各画素から読み出されたアナログ画像信号群)に所定のアナログ信号処理を施すものであり、アナログ画像信号に含まれるリセット雑音を低減するCDS回路(相関二重サンプリング回路)やアナログ画像信号のレベル(ゲイン;Gain)を補正するAGC回路(オートゲインコントロール回路)等を備えている。AGC回路は、適正露出が得られなかった場合等に、A/D変換部23の入力電圧範囲に合うよう、アナログ画像信号を適正な増幅率で増幅して撮影画像のレベル不足を補償するアンプ機能を有している。例えば、アナログ処理部22は、当該AGC回路を用いて、後述のライブビューモードにおいて撮影されたライブビュー画像に対し、表示部26での表示に好適な明るさの画像となるようにゲインを変更する処理や、後述のキャプチャモードにおいて撮影されたキャプチャ画像を、記録部25に記録したり表示部26に表示させたりするのに適したゲインに変更する処理を行う。
A/D変換部23は、アナログ処理部22から出力されるアナログ画像信号を、例えば12ビットのデジタル画像信号(デジタル画像データ)に変換するものである。このA/D変換部23は、タイミングジェネレータ28から入力されるA/D変換用のクロック信号に基づいて、アナログ画像信号をデジタル画像信号に変換する。
デジタル処理部24は、撮像センサ21から送出され、A/D変換部23でデジタルデータに変換されて入力された画像信号に対して所定のデジタル信号処理を施すものである。デジタル処理部24は、例えばデジタル画像信号の黒レベル(暗黒時の画像信号レベル)を基準の値に補正する黒基準補正や画像信号のFPN(固定パターンノイズ)を除去するFPN補正、画像信号の色バランス(ホワイトバランス)を補正するホワイトバランス補正、フレーム画像の不足する画素位置のデータを補間する色補間、或いはガンマ補正や拡大縮小を行う処理といった各種の画像処理を行う。
デジタル処理部24は、撮像センサ21で撮影された画像信号から、AE制御、AF制御、或いはホワイトバランス制御(WB制御)等を行うに際してのベース値となる評価値、すなわちAE評価値、AF評価値、ホワイトバランス評価値(WB評価値)等を検出(算出)する評価値検出機能も備えている。
なお、デジタル処理部24は、当該デジタル処理部24に入力された画像データに対して、上記アナログ処理部22において説明したゲイン変更処理(ライブビューモードやキャプチャモードにおけるゲイン変更を行う処理)を行うことが可能に構成されていてもよい。また、デジタル処理部24は、当該デジタル処理後、画像データを表示部26に出力したり、記録部25へ画像データの書き込み(記録)処理や読み出し処理等を行う。なお、デジタル処理部24は、当該各信号処理を終えるなどした画像データを一時的に記憶(保存)するROMやRAM等の画像メモリを備えている。
記録部25は、例えばメモリカードやメモリスティックの記憶媒体からなり、上述のように撮像センサ21から取り込まれて所定の画像処理が施された画像データ等を記録(保存)するものである。なお、この記憶媒体は、携帯電話機1に対して取り外し自在とされており、例えば外部の記録装置(記録媒体)との画像データ交換を可能としている。
表示部26は、上記LCD表示部8からなり、デジタル処理部24で生成されたLCD表示用画像データに基づいて画像表示を行うものである。表示部26は、例えば撮像センサ21により撮影した画像(例えばライブビューモード設定時のライブビュー画像、或いはキャプチャモード設定時のキャプチャ画像)や、記録部25に記録されている画像を再生する場合の再生画像、或いはEメールやインターネットの画面(文字入力画面)、待ち受け画面(壁紙画像)等、電話機能及びカメラ機能に関する各種の設定・操作画面を表示するものである。操作部27は、上記キー入力部3やレリーズスイッチ6等の各種操作ボタンからなり、主制御部30等に所定の操作指示信号を出力するものである。
タイミングジェネレータ(タイミング生成回路)28は、所定のタイミングパルス(タイミング信号)を発生し、撮像センサ21による撮影動作(露光に基づく電荷蓄積や蓄積電荷の読出し等)、及びアナログ処理部22やA/D変換部23の各処理動作を制御するものである。例えばタイミングジェネレータ28は、主制御部30からの撮影制御信号に基づいて、画素駆動信号、水平同期信号、垂直同期信号、水平走査回路駆動信号及び垂直走査回路駆動信号等のタイミングパルスを生成して撮像センサ21に出力し、撮像センサ21の露光動作に連動して電荷を蓄積させ、すなわち被写体光像を画像信号に光電変換させ、当該撮像センサ21から画像を取り込む。そして、アナログ処理部22及びA/D変換部23に対し、それぞれアナログ処理用及びA/D変換用のクロック(タイミングパルス)を生成して出力し、取り込んだ画像データを、順次、アナログ処理部22及びA/D変換部23を経てデジタル処理部24へ出力させる。光量検出部29は、上記測光部11からなり、被写体の光量(輝度)を計測(検出)するものであり、所謂外部測光を行うものである。
主制御部30は、撮像装置の制御プログラム等の各種プログラムを記憶するROM(Read Only Memory)、一時的にデータを格納するRAM(Random Access Memory)、及び上記制御プログラム等をROMから読み出して実行するCPU(中央演算処理装置)等からなり、装置全体の動作制御を司るものである。主制御部30は、デジタル処理部24とデータの授受を行い、デジタル処理部24に対して上述のような各信号処理を行わせたり、デジタル処理部24からの信号データを受けて種々の演算を行う。また、操作部27からの指示信号や光量検出部29からの検出信号等に基づいて、タイミングジェネレータ28の駆動制御を行う。主制御部30は、外部フラッシュ光の検出に応じて、当該外部フラッシュ光の下で撮像センサ21により撮影された画像(以降、フラッシュ画像という)に所定の画像処理、例えばゲインを下げる(ゲイン値を低くする)処理等を施して記録部25に記録するといった、外部フラッシュ光を利用してのフラッシュ撮像動作を制御する。この他、主制御部30は、装置に備えた各機能に応じた各種駆動制御、例えば撮影レンズ部10のレンズ群に対するズーミング(ズーム)駆動やフォーカシング(フォーカス)駆動、或いは絞りやシャッタの駆動制御等を行う。
図3は、主制御部30の機能を説明するための機能ブロック図である。主制御部30は、モード設定部301、フラッシュ検知部302、光量判別部303、フラッシュ画像特定部304、ゲイン変更制御部305、記録制御部306、表示制御部307、AE/AF/WB演算部308及び駆動制御部309を備えている。
モード設定部301は、携帯電話機1に備えるカメラ機能を用いて撮影を行うカメラモード、外部フラッシュ光を利用して撮影する外部フラッシュ撮影モード(又は上記カメラモードにおける外部フラッシュ撮影モードが設定されていない場合の通常撮影モード)、或いはライブビューモードやキャプチャモードといった各種の動作モードを設定するものである。ところでライブビューモードとは、撮像センサ21からのライブビュー用読み出しを行い、すなわち撮像センサ21による撮影画像から画素を間引いて読み出し、この画素が間引かれた画像を表示部26にモニタ表示(ライブビュー表示)させるモードである。ライブビューモードは、当該画素を間引いた画像を表示することからも、早いフレームレートでの動画表示用(リアルタイムでのモニタ表示)に適したモードであるといえる。また、キャプチャモードとは、撮像センサ21からのキャプチャ用読み出しを行い、すなわち撮影画像から全画素を読み出し、この全画素情報を有する画像を記録部25に記録させるモードであり、所謂一般的にいう「撮影」用の画像取り込み動作を行うモードである。モード設定部301に上記各モードが設定されると、各モードに応じて装置各部の動作開始準備(例えばカメラモードであれば、装置各部がカメラ撮影が可能な状態に設定される)、或いはそのモードでの動作が実行される(例えばライブビューモードであれば、表示部26にライブビュー表示される)。なお、適宜、キャプチャモードにおいて記録部25に記録する画像をキャプチャ画像といい、また、ライブビューモードにおいて表示部26に表示する画像をライブビュー画像という。
フラッシュ検知部302は、外部フラッシュ光(光量)を検知するものである。本実施形態では、フラッシュ検知部302は、光量検出部29からの信号情報を読み取り(検出情報に基づいて)当該外部フラッシュ光の光量を検知する。ただし、フラッシュ検知部302は、外部フラッシュ光に関してのみ検知するのではなく、常時、測光部11から入力される装置外部の光量を検知している。光量判別部303は、フラッシュ検知部302によって検知された外部フラッシュ光の光量が所定の閾値に達したか(或いは閾値以上になったか)否かを判別するものである。フラッシュ画像特定部304は、撮像センサ21により取得された撮影画像における、外部フラッシュ光により露光された画像をフラッシュ画像として特定するものである。
ゲイン変更制御部305は、撮影画像(画像データ)に対するゲイン(アンプゲイン)の変更に関する各種動作(演算)を制御するものである。ゲイン変更制御部305は、フラッシュ検知部302により外部フラッシュ光の光量が検知され、光量判別部303によって当該光量が閾値に達したと判別された場合に、フラッシュ画像特定部304によって特定されたフラッシュ画像に対するゲインが、撮影画像における当該フラッシュ画像以外の画像に対するゲインよりも小さくなるようにゲイン変更させる画像処理を、タイミングジェネレータ28を駆動制御することによりアナログ処理部22に実行させる。ところで、このゲインの高低(大小)について、例えば被写体の輝度が低い状態での撮影に対しては、ゲインは高く設定されているが、外部フラッシュ撮影を行う場合には、当該ゲインよりも低いゲインが設定される。これにより、外部フラッシュ光によって明るく照明された被写体の画像が適切に再現される(画質が良くなる)。なお、当該ゲインの設定を、測光部11により計測される光量情報(光量積分値)に基づいて行ってもよく、これにより、より最適な被写体画像の再現が可能となる。
記録制御部306は、撮影画像の記録部25への記録に関する制御を行うものである。例えば記録制御部306は、デジタル処理部24に当該撮影画像データの記録部25に対する書き込み処理や読み出し処理等を行わせる。表示制御部307は、撮影画像の表示部26への表示に関する動作を制御するものであり、例えばデジタル処理部24にLCD表示用画像データを生成させ、この画像データに基づいて表示部26に所定の画像を表示させる。
AE/AF/WB演算部308は、デジタル処理部24によって検出された各評価値に基づいて、AE/AF/WB制御に関する各種のパラメータ値、例えば絞りの開口面積やシャッタスピードといった露光量設定値や、撮像センサ21の光電変換特性を変更させるための光電変換特性設定値といったダイナミックレンジ設定値、被写体距離情報、ホワイトバランス補正値などの算出(演算)を行うものである。なお、このホワイトバランス補正値の算出は、例えばフラッシュ光(自己発光又は外部フラッシュ光)の色温度(例えば約5000〜6000ケルビン)の情報を用いて行ってもよい。
駆動制御部309は、AE/AF/WB演算部308によって算出された各パラメータに応じて撮像装置(ここでは携帯電話機1)における各駆動部を制御するものであり、例えばズーミング駆動やフォーカシング駆動、或いは絞りやシャッタ駆動を行うための各種アクチュエータの駆動制御、或いは光量検出部29の駆動制御を行う。なお、撮像装置(携帯電話機1)にAEやAF機能を有していない場合もあるが、この場合には、該当するパラメータの算出動作や駆動制御は行われない(以降の実施形態についても同じ)。
図4は、撮像装置(携帯電話機1)に測光部(測光部11)を備え、この測光部による測光に基づき外部フラッシュ光が検知される場合の、撮影動作時における撮像センサ21からの画像データの読み出し動作について説明する図である。なお、測光部を備えた撮像装置における当該画像データの読み出し動作は、後述の第2の実施形態においても同様である。図4において、符号410は撮像センサ21に対する垂直同期信号(パルス信号)を示している(以降、VD信号という)。符号420は暗所での携帯電話機1の外部(外部環境下)における光(以降、撮像装置外部の光を外光という)の光量の変動を示す図であり、符号430は測光部11からの出力、すなわち測光部11の測光による被写体の光量の変動を示す図である。また、符号440は撮像センサ21における画像データの読み出し時の駆動状態を説明する図であり、符号450はメカシャッタを備える場合の当該シャッタの開閉動作を示す図である。
VD信号における信号レベルがハイ「H」からロー「L」となる、或る周期での立下がり点401において撮像センサ21(CCD)の露光が開始される。そして次の立下がり点402において、当該露光による撮像画像データの撮像センサ21からの読み出しが開始されると共に、次の露光動作が開始される。このようにVD信号によって垂直同期し、立下がり点401、402に示す区間を1周期として、撮像センサ21に対する露光/画像データの読み出し動作が繰り返される。同図では、立下がり点401、402の期間を露光期間Aと示し、この露光期間Aにおける露光によって得られた画像データは、次の垂直同期期間に対応する符号403、404間の出力期間Aにおいて読み出されることを示している。なお、上記1周期は撮像センサ21から取り込まれる撮影画像における1フレームの画像に対応しており、この1周期の時間は例えば約1/30秒である。
このようにVD信号に基づく一定の周期で(フレーム毎に)、撮像センサ21から撮影画像の画素を間引いてのライブビュー用読出しが行われる。当該画素を間引くのは、ライブビュー表示を高速に行うことを、高解像度でのライブビュー画像の表示を行うことよりも優先させるためであり、例えば、500万画素位からなる撮影画像に対しては、垂直走査方向に例えば8ライン毎に画像データを読み出すことで画素を間引く。読み出されなかった画像データは次の周期(フレーム)においてリセットされる。
一方、このVD信号は、測光部11の測光素子にも同期しており、上記1フレームの期間に対応する符号405、406間に示す期間を1周期とするような光量積分値のデータが測光部11から出力される。ただし、測光部11はこの1周期毎に(例えば符号405、406の位置に示すように)光量積分値をリセットして初期値に戻す動作を繰り返す。測光部11は、測光素子の露光開始と同時に光量積分値をリセットして積分を開始し、この積分値を読み取ることで当該測光素子の露光量、すなわち外光の光量を検出することができる。暗所においては、例えば符号407に示すように僅かな光量(弱い定常光)が存在する場合が多いが(ここでの暗所とは、例えば夜間や部屋において照明を暗くしたような場合をいう)、測光部11は、符号430の図に示すように定常光を検出する(定常光によって露光される)ことにより、上記リセット位置を開始点として光量積分値が徐々に増加していく。なお、符号420に示す外光(定常光)の光量変動は同図に示すように一定でなくともよく、(ランダムに)変動していてもよい。ただし、このように変動している場合、符号430に示す各周期区間における光量積分値の変化は、同図に示すような鋸状の変化、すなわち各フレームで時間に比例して直線的に増加し且つそれぞれが相似な形状とならなくてもよい。
ところで、VD信号における立下がり点408で露光が開始された後、符号409に示す位置で外部フラッシュ光が発光されると、この外部フラッシュ光が測光部11によって計測され、この計測情報に基づいてフラッシュ検知部302により外部フラッシュ光が検知される。このように検知された外部フラッシュ光の光量(光量積分値)は、例えば符号411に示す位置を境にして急峻に上昇し、符号412に示す所定の閾値に達して、外部フラッシュを利用しての撮影(外部フラッシュ撮影)が可能なレベルになると、上記閾値に対応する符号413に示す位置を開始点として、当該外部フラッシュ光によって露光されたフラッシュ画像の読み出し動作が開始される。
この外部フラッシュ光を受けて得られたフラッシュ画像の読み出しは、上記閾値に達した時点でライブビューモードからキャプチャモードへと切り替えられた後、このキャプチャモードにおけるキャプチャ用読出しによって行われる。キャプチャ用読出しでは、撮影画像の全画素が読み出されるため、ライブビュー用読出しによる出力期間Aよりも長い出力期間Bとなっている。このように、VD信号における、立下がり点408で露光が開始され、外部フラッシュ光を受けて符号414に示す位置でキャプチャ用読出しが開始されるまでの期間を露光期間B(実際に露光される期間としては高速掃出し期間は含まない)とすると、当該露光期間Bにおいて外部フラッシュ撮影に十分な光量が得られた画像データは、出力期間Bで出力される。
ただし、上記フラッシュ画像のキャプチャ用読出しが開始される直前(符号413、414に示す位置間の極短期間)に、高速掃出し(高速転送)が行われる。高速掃出しとは、熱雑音(ノイズ)等によって発生したCCDの転送部などにおける不要な電荷(画像データ)を破棄する動作である。この高速掃出しでは、キャプチャ用読出し動作が行われる直前のフレーム(ライブビュー用読出しが行われていたフレーム)、すなわち符号415に示す露光開始時点から符号413に示す位置までの期間の不要な電荷も併せて掃き出される。このようにキャプチャ用読出しに際しては、まず不要な電荷を高速で掃き出した後に記録用の画像データを読み出すようになっている。一方、このキャプチャ用読出しに対し、上記ライブビュー用読出しでは、掃き出さなければならない不要な電荷が存在せず、このため上記した高速掃出し動作が不要であり、よって、或るフレームに対する画像データの読み出し動作が終了されると直ちに次のフレームに対する画像データの読み出し動作が行われる。符号416に示す位置でキャプチャ用読出し動作が終了すると、再びライブビューモードに切り替えられてライブビュー用読出しが再開され、ライブビュー画像が表示部26に表示される。その後、外部フラッシュ光が検知されると、上記と同様に高速掃出し及びキャプチャ用読出しが行われる。
上述のように撮像センサ21から読み出された画像データは、アナログ処理部22において、ライブビュー用読出しが行われる場合には、表示部26での表示に耐えうる明るさの画像となるようゲインを補正する処理、すなわちゲインを上げる処理が施され、また、キャプチャ用読出しが行われる場合には、外部フラッシュ光によって露出オーバーとならないよう画像のゲインを補正する処理、すなわち撮影画像におけるフラッシュ画像以外の画像に対するゲインよりも小さくなるようゲインを下げる処理が施される。
なお、キャプチャ用読出し時に測光部11において検出される光量積分値は、符号417に示すように、符号409で示す外部フラッシュ光の受光によって得られた光量レベルから、更に定常光を受けて一定の傾きで微増していく。また、撮像センサ21が外部フラッシュ光によって露光された後、メカシャッタによる遮光を必要とする場合には、例えば上記符号403の位置に対応する符号418に示す時点から、上記符号416の位置に対応する符号419の時点まで当該シャッタを閉じてもよい。このようにシャッタを閉じることで、撮像センサ21(CCD)における電荷の輸送中に別の閃光等を受けてしまうことによるスミアの発生を抑えることができる。
図5は、第1実施形態による外部フラッシュ撮影モードでの撮影動作の一例を示すフローチャートである。まずモード設定スイッチ5が操作され、モード設定部301に携帯電話機1のカメラ機能を用いて撮影するカメラモードが設定されてカメラ撮影が可能な状態にされると共に(ステップS1)、外部フラッシュ撮影モードが設定される(ステップS2)。この外部フラッシュ撮影モードにおいてレリーズスイッチ6がONされず(ステップS3のNO)、またステップS1で設定されたカメラモードが終了(解除)されない場合には(ステップS10のNO)、モード設定部301にライブビューモードが設定され(ステップS11)、このライブビューモードに応じて、タイミングジェネレータ28のタイミングパルスに基づきアナログ処理部22にライブビューモード用のゲイン(アナログゲイン)が設定される(ステップS12)。そして、撮像センサ21から取り込まれたライブビュー画像(1フレーム)に対してライブモード用のゲインに変更する画像処理が行われ(他のアナログ信号処理も行われる)、LCD表示部8に当該ライブビュー画像が表示される(ステップS13)。ステップS13での動作が終了するとステップS3に戻り、以降、レリーズスイッチ6がONされず且つカメラモードが終了されない間、ステップS11、S12及びS13の動作が繰り返されてライブビュー表示が行われる。ただし、ステップS11でのライブビューモードの設定は、フレーム画像が読み出される都度、新たに設定されてもよいし、前回のライブビューモードの設定が維持されてもよい。なお、ステップS1で設定されたカメラモードが終了(解除)された場合には(ステップS10のYES)、フロー終了となる。
上記ステップS3においてレリーズスイッチ6がONされた場合には(ステップS3のYES)、上記ステップS11の場合と同様にモード設定部301にライブビューモードが設定される(ステップS4)。一方、測光部11により被写体の光量が計測されると共に、この計測情報がフラッシュ検知部302に出力されて当該光量が検知される(ステップS5)。ただし、このステップS5での光量計測が行われる場合、ライブビューモードの状態で各フレームに同期して測光部11による光量積分値が随時リセットされる。光量判別部303によって、フラッシュ検知部302で検知された光量が所定の閾値に達したと判別されない場合、すなわち当該フレーム画像は光量不足であったと判断された場合には(ステップS6のNO)、上記ステップS12、S13の動作が行われてライブビュー表示がなされる。すなわち、ステップS3でレリーズスイッチ6がONされたとしても、ステップS6において外部フラッシュ光が所定光量に達していなければ、ステップS4、S12及びS13によるライブビューモードでの処理(ライブビュー表示)が継続される。
上記ステップS6において、光量判別部303により外部フラッシュ光の光量が所定の閾値に達したと判別されると(ステップS6のYES)、モード設定部301にキャプチャモードが設定される(ステップS7)と共に、タイミングジェネレータ28のタイミングパルスに基づいてアナログ処理部22にキャプチャモード用のゲイン(低いゲイン)が設定される(ステップS8)。そして、撮像センサ21から画像データのキャプチャ用読出しが行われ、この読み出されたキャプチャ画像に対して、アナログ処理部22におけるゲイン変更や、デジタル処理部24でのホワイトバランス補正や色補間、表示用信号の生成などの各種画像処理が行われ、当該キャプチャ画像が記録部25に記録されてキャプチャモードが終了される(ステップS9)。ただし、キャプチャ画像は記録部25に記録されると共に、LCD表示部8に一時的に(一時的でなくともよい)モニタ表示されてもよい。ステップS9の動作が終了すると、ステップS3に戻る。なお、上記ステップS2で外部フラッシュ撮影モードが設定されない場合には、外部フラッシュ光に関係無く撮影動作が行えるようになっている。この場合、例えば、ステップS1でカメラモードが設定されると直ちにライブビューモードに移行してライブビュー表示が行われ(ライブビュー表示されなくともよい)、その後、レリーズスイッチ6がONされるのに応じて通常の撮影動作(撮影画像の記録)が行われる。
(第2実施形態)
図6は、本発明の第2実施形態に係る撮像装置としてのデジタルカメラの外観を示す概略正面図である。図6に示すように、デジタルカメラ40は、外形視略直方体の本体ボディ41からなり、この本体ボディ41の頂面部及び側面部にはレリーズスイッチ42、モード設定スイッチ43及び電源スイッチ44等の各種の操作ボタンが、正面部には撮影レンズ部45、測光部46及びフラッシュライト47等が、背面部には液晶モニター(LCD)からなるLCD表示部48等がそれぞれ配置されている。本体ボディ41の内部には、後述の図7に示す撮像センサ21や記録部25、或いは操作音などの各種音響効果を出力する音響スピーカ(図略)等の各種の本体機器が配置されている。
本デジタルカメラ40におけるレリーズスイッチ42、電源スイッチ44、撮影レンズ部45、測光部46及びLCD表示部48は、第1実施形態における携帯電話機1と同じであり、その説明を省略する。モード設定スイッチ43は、デジタルカメラ40のフラッシュライト47等の自己発光を除く外部フラッシュ光を利用しての撮影を行う外部フラッシュ撮影モードや、外部フラッシュ撮影モードでない通常撮影モード等の各種撮影モード、AE/AF制御を行うモード等、各種動作モードを設定するためのスイッチである。フラッシュライト47は、キセノンライト等のフラッシュ発光装置からなり、フラッシュ光を発光させるものである。
図7は、図6に示すデジタルカメラ40のカメラ制御システムの一例を示すブロック図である。図7に示すカメラ制御システム100aと、図2に示すカメラ制御システム100とでは、システムにフラッシュ発光させるための構成を有している点が異なる。これらの構成につき以下に説明する。その他の構成は図2に示すカメラ制御システム100と同じであり、その説明を省略する。カメラ制御システム100aは、図1に示すカメラ制御システム100に対してさらに充電/発光回路31及び発光部32を備えている。充電/発光回路31は、フラッシュ発光させるための充電(フラッシュ充電)を行い且つ発光部32をフラッシュ発光させるための回路装置である。なお当該充電状態は主制御部30で検出される。発光部32は上記フラッシュライト47からなり、充電/発光回路31の充電が完了した後、レリーズスイッチ6の押下等によるフラッシュ発光指示信号に応じてフラッシュ発光する。なお、本実施形態では、表示部26はLCD表示部48からなり、また、操作部27はレリーズスイッチ42やモード設定スイッチ43等の操作ボタンからなり、光量検出部29は測光部46からなっている。
カメラ制御システム100aは、このようにフラッシュ発光させるための構成を有しているが、これに応じて主制御部30aは図2に示す主制御部30と構成が一部異なるのでそれを説明する。図8は、主制御部30aの機能を説明するための機能ブロック図である。主制御部30aは、主制御部30の構成に対してさらにフラッシュ制御部310を備えている。フラッシュ制御部310は、発光部32にフラッシュ発光させるべく充電/発光回路31を駆動制御するものであり、充電/発光回路31の充電が完了したか否かを判別する充電判別機能、具体的には例えばコンパレータ等によりフラッシュ充電電圧を検出する圧電モニタなどを有している。
フラッシュ制御部310は、モード設定部301に例えばフラッシュモード(通常の撮影時に発光部32をフラッシュ発光させる撮影モード)が設定されると、充電/発光回路31の充電を開始させ、充電完了後、レリーズスイッチ42の押下に応じて、充電/発光回路31により発光部32をフラッシュ発光させる。モード設定部301に外部フラッシュ撮影モードが設定された場合には、レリーズスイッチ42の押下時に、充電が完了していれば直ちにフラッシュ発光させるが、充電が完了していない場合にはフラッシュ発光させない(当該充電が完了していない場合であっても、外部フラッシュ光があるとそれを受けて撮影動作が開始される)。ただし、この場合のフラッシュ充電は、外部フラッシュ撮影モードが設定された時点で自動的に開始されてもよい。なお、フラッシュ制御部310は、フラッシュ発光動作終了後、自動的に充電/発光回路31をフラッシュ発光可能なレベルまで充電させるよう制御する構成であってもよい。
また、フラッシュ制御部310は、発光部32のフラッシュ発光(自己発光)に基づくフラッシュ撮影が行われる前に、当該フラッシュ撮影を好適に実行させるための絞り、シャッタスピード(露光量;露出)、ホワイトバランス補正、ゲイン補正、フラッシュ発光量等の各種設定を、主制御部30aの各該当する機能部(例えばゲイン変更制御部305やAE/AF/WB演算部308)、或いはタイミングジェネレータ28(アナログ処理部22)やデジタル処理部24に実行させる。なお、上記発光部32によるフラッシュ光の発光量は、例えばAF機能における測距情報に基づいて算出されてもよい。
図9は、第2の実施形態による外部フラッシュ撮影モードでの撮影動作の一例を示すフローチャートである。まず電源スイッチ44がONされてカメラ撮影が可能な状態(カメラモード)にされる(ステップS21)と共に、モード設定スイッチ43が操作されてモード設定部301に外部フラッシュ撮影モードが設定される(ステップS22)。この外部フラッシュ撮影モードにおいてレリーズスイッチ42がONされず(ステップS23のNO)、またステップS21で設定されたカメラモードが終了(解除)されない場合には(ステップS31のNO)、モード設定部301にライブビューモードが設定され(ステップS32)、このライブビューモードに応じて、タイミングジェネレータ28のタイミングパルスに基づきアナログ処理部22にライブビューモード用のゲイン(アナログゲイン)が設定される(ステップS33)。そして、撮像センサ21から取り込まれたライブビュー画像(1フレーム)に対してライブビューモード用のゲインに変更する画像処理が行われ(他のアナログ信号処理も行われる)、LCD表示部48に当該ライブビュー画像が表示される(ステップS34)。ステップS34での動作が終了するとステップS23に戻り、以降、レリーズスイッチ42がONされず且つカメラモードが終了されない間、ステップS32、S33及びS34の動作が繰り返されてライブビュー表示が行われる。ただし、ステップS32でのライブビューモードの設定は、フレーム画像が読み出される都度、新たに設定されてもよいし、前回のライブビューモードの設定が維持されてもよい。なお、ステップS21で設定されたカメラモードが終了(解除)された場合には(ステップS31のYES)、フロー終了となる。
上記ステップS23においてレリーズスイッチ42がONされた場合において(ステップS23のYES)、フラッシュ制御部310によってフラッシュ充電が完了していないと判別されるときには(ステップS24のNO)、上記ステップS32の場合と同様にモード設定部301にライブビューモードが設定される(ステップS25)。一方、測光部46により被写体の光量が計測されると共に、この計測情報がフラッシュ検知部302に出力されて当該光量が検知される(ステップS26)。ただし、このステップS26での光量計測が行われる場合、ライブビューモードの状態で各フレームに同期して測光部46による光量積分値が随時リセットされる。光量判別部303によって、フラッシュ検知部302で検知された光量が所定の閾値に達したと判別されない場合、すなわち当該フレーム画像は光量不足であったと判断された場合には(ステップS27のNO)、上記ステップS33、S34の動作が行われてライブビュー表示がなされる。すなわち、ステップS23でレリーズスイッチ42がONされたとしても、ステップS24でフラッシ充電が完了しておらず、またステップS27において外部フラッシュ光が所定光量に達していなければ、ステップS25、S26、S33及びS34によるライブビューモードでの処理(ライブビュー表示)が継続される。
上記ステップS27において、光量判別部303によりこの光量が所定の閾値に達したと判別されると(ステップS27のYES)、モード設定部301にキャプチャモードが設定される(ステップS28)と共に、タイミングジェネレータ28のタイミングパルスに基づいてアナログ処理部22にキャプチャモード用のゲイン(低いゲイン)が設定される(ステップS29)。そして、撮像センサ21から画像データのキャプチャ用読出しが行われ、当該読み出されたキャプチャ画像に対して、アナログ処理部22におけるゲイン変更や、デジタル処理部28でのホワイトバランス補正や色補間、表示用信号の生成などの各種画像処理が行われ、当該キャプチャ画像が記録部25に記録されてキャプチャモードが終了される(ステップS30)。ただし、キャプチャ画像は記録部25に記録されると共に、LCD表示部48に例えば一時的にモニタ表示されてもよい。ステップS30の処理が終了すると、ステップS23に戻る。
このように、上記ステップS25〜S30のフローを有し、フラッシュ充電が完了していなくても他の光源(外部フラッシュ光)によって撮影が可能であるため、充電が完了するまでの撮影の待ち時間(撮影までのタイムラグ)を減らすことができる。なお、上記ステップS22で外部フラッシュ撮影モードが設定されない場合には、外部フラッシュ光に関係無く撮影動作が行えるようになっている。この場合、例えば、ステップS21でカメラの電源がONされてカメラ撮影が可能な状態とされ、その後、レリーズスイッチ42がONされるのに応じて通常の撮影動作(撮影画像の記録)が行われてもよく、当該レリーズスイッチ42がONされて撮影動作が行われる以外の間にライブビュー表示を行うなど、適宜ライブビュー表示を行ってもよい。
一方、ステップS24においてフラッシュ充電が完了すると(ステップS24のYES)、ステップS28の場合と同様にモード設定部301にキャプチャモードが設定される(ステップS35)。そして、フラッシュ制御部310の制御によって、フラッシュライト47の発光(自己発光)によるフラッシュ撮影に対応する適切な露出、ホワイトバランス、ゲイン等の各種設定が行われる(ステップS36)。そして、この設定に応じてフラッシュライト47が画像(VD信号による撮像動作)と同期せずにフラッシュ発光され(ステップS37)、上記ステップS30と同様に撮像センサ21から画像データのキャプチャ用読出しが行われ、当該読み出されたキャプチャ画像に対して各種画像処理が行われた後、このキャプチャ画像が記録部25に記録されてキャプチャモードが終了される(ステップS38)。ただし、この場合もキャプチャ画像は記録部25に記録されると共に、LCD表示部48にモニタ表示されてもよい。ステップS38の動作が終了すると、ステップS23に戻る。なお、上記ステップS22で外部フラッシュ撮影モードが設定されない場合には、外部フラッシュ光に関係無く撮影動作が行えるようになっている。この場合、レリーズスイッチ42がONされるのに応じて通常の撮影動作が行われる(フラッシュライト47の発光によるフラッシュ撮影を行ってもよい)。ただし当該通常の撮影において適宜ライブビュー表示を行ってもよい。
(第3実施形態)
図10は、本発明の第3実施形態に係る撮像装置としての携帯電話機の外観を示す斜視図であり、(a)は開いた状態の携帯電話機を正面方向から見た図、(b)は閉じた状態の携帯電話機を斜め上方から見た図を示している。図10に示す携帯電話機1aは、図1に示す携帯電話機1において(背面部における)測光部11を備えていない点が異なる。その他各部の構成は、図1に示す携帯電話機1と同じであり、その説明を省略する。
図11は、図10に示す携帯電話機1aのカメラ制御システムの一例を示すブロック図である。図11に示すカメラ制御システム100bは、図2に示すカメラ制御システム100に対して、システムに光量検出部29を備えておらず、また、撮像センサ21からデジタル処理部24aに取り込んだ画像データに基づいて、外部フラッシュ光の検出や当該画像データに対するゲイン変更処理等を行う構成を有している点が異なる。以降、当該異なる点に関し、図2に示すアナログ処理部22、デジタル処理部24及び主制御部30と、本図11に示すアナログ処理部22a、デジタル処理部24a及び主制御部30bとの構成の違いについて説明する。その他の構成については同じであり、その説明を省略する。
アナログ処理部22aは、アナログ処理部22と同様に後述のタイミングジェネレータ28からのタイミングパルスに基づいて、撮像センサ21から出力される画像信号に所定のアナログ信号処理を施すものであるが、本実施形態では、アナログ処理部22aにおいて、ライブビューモードで撮影されたライブビュー画像やキャプチャモードで撮影されたキャプチャ画像等の画像データに対し、表示部26へのライブビュー表示や記録部25への記録を行うのに最適なゲインに調整するゲイン変更処理を行わない構成となっている。ただし、アナログ処理部22aは、上述のAGC回路(アンプ機能)等を備えていてもよく、この場合、撮像センサ21から画像データを所定のゲイン値に固定した状態で(ゲイン値が固定されるようゲイン調整して)取り込み、このゲイン値固定された画像データをデジタル処理部24aへ向けて出力するような構成であってもよい。一方、デジタル処理部24aは、デジタル処理部24と同様に撮像センサ21から送出され、アナログ処理部22aを経てA/D変換部23でデジタルデータに変換されて入力された画像信号に対して所定のデジタル信号処理を施すものであり、本実施形態では、デジタル処理部24aにおいて、当該デジタル処理部24aに入力された画像データ(ライブビュー画像やキャプチャ画像)に対応するゲイン変更処理を行う。
図12は、主制御部30bの機能を説明するための機能ブロック図である。図12に示すように、主制御部30bは、図3に示す主制御部30の各機能部に対し、フラッシュ検知部302a及びゲイン変更制御部305aが異なる。フラッシュ検知部302aは、外部フラッシュ光(光量)を検知するものである。フラッシュ検知部302aは、撮像センサ21から読み出されてアナログ処理部22a及びA/D変換部23を経てデジタル処理部24aに入力された(一旦記憶された)画像データに基づいて外部フラッシュ光を検知する。ただし、フラッシュ検知部302aは外部フラッシュ光に関してのみ検知するのではなく、常時、撮像センサ21からデジタル処理部24aに入力されてくる外光の光量の検知を行っている。
ゲイン変更制御部305aは、画像データに対するゲイン(デジタルゲイン)の変更に関する各種動作(演算)を制御するものである。ゲイン変更制御部305aは、フラッシュ検知部302aにより外部フラッシュ光の光量が検知され、光量判別部303により当該光量が閾値に達したと判別された場合に、フラッシュ画像特定部304によって特定されたフラッシュ画像に対するゲインが、撮影画像における当該フラッシュ画像以外の画像に対するゲインよりも小さくなるようにゲイン変更させる画像処理を上記デジタル処理部24aに実行させる。これにより、外部フラッシュ光によって明るく照明された被写体の画像が適切に再現される(画質が良くなる)。
このように、画像データに対する画像処理(ゲイン変更処理)を、上述のようにデジタル処理部24aにデジタルデータとして保持されたものに対して行う構成であるため、例えば、撮像センサ21から読み出された画像データのゲインを(アナログ処理部22aにて)例えば約1倍として取り込んでおき、その後、任意な時にこのゲインを例えば2倍や3倍と自由に変更させるといったことが可能となり、画像処理の自由度が増す。これは、アナログ処理部22aではデータ保持ができないことから、画像データを取り込む(通過させる)時点でしかゲイン変更等の処理を行うことはできないが、デジタル処理部24aではデータ保持が可能であるため、データを取り込む時点以降でも取り扱うことができることによる。
図13は、撮像装置(携帯電話機1a)に測光部(測光部11)を備えておらず、デジタル処理部に保持された画像データに基づき外部フラッシュ光が検知される場合の、撮影動作時における撮像センサ21からの画像データの読み出し動作について説明する図である。なお、測光部を備えていない撮像装置における当該画像データの読み出し動作は、後述の第4実施形態においても同様である。図13において、符号510は上記のVD信号と同様、撮像センサ21に対する垂直同期信号(パルス信号)を示している。符号520は撮像センサ21における画像データ読み出し時の駆動状態を説明する図であり、符号530は暗所での携帯電話機1aの外光の光量の変動を示す図である。また符号540はVD信号に応じた各フレームに対する光量状態を説明する図であり、符号550は上記符号540に示す各フレームに対応する画像データを示す図である。
VD信号における信号レベルがハイ「H」からロー「L」となる立下がり点501において撮像センサ21(CCD)の露光が開始される。そして次の立下がり点502において、当該露光による撮像画像データの撮像センサ21からの読み出しが開始されると共に次の露光動作が開始される。このようにVD信号によって垂直同期し、立下がり点501、502に示す区間を1周期として、撮像センサ21に対する露光/画像データの読み出し動作が繰り返される。上記1周期は撮像センサ21から取り込まれる撮影画像における1フレームの画像に対応しており、この1周期の時間は例えば約1/30秒である。
このようにVD信号に基づく一定の周期で(フレーム毎に)、符号520の図に示すように、常時、撮像センサ21による撮像画像の全画素(全画像データ)の読み出しが行われる。これはつまり、常時(周期毎に)、撮像センサ21から上述のキャプチャ用読出しが行われていることに相当する。当該読み出された画像データは、アナログ処理部22a、A/D変換部23を経てデジタル処理部24aまで送信されて保持される。主制御部30a(フラッシュ検知部302a)は、当該デジタル処理部24aで保持された画像データに基づいて、例えば符号503に示す定常光(外光)の光量を常時検知している。このように検知されている状態で、例えばVD信号の符号504(符号520の図に示す符号504a)に示す周期目において、符号505に示すように外部フラッシュ光が発光されると、主制御部30aはこの外部フラッシュ光の光量を検知し、光量が所定の閾値に達して外部フラッシュ撮影が可能なレベルになったと判定すると、この外部フラッシュ光によって露光されたフレーム(符号506に示す撮影可能フレーム)での全画像データ(当該撮影可能フレーム506における、外部フラッシュ光が発光される前の画像データを含む全画像データ)を、撮影に十分な露光が得られたとするフラッシュ画像として特定する。そして、特定した画像データ(符号507に示す画像データ)を、デジタル処理部24aにおいてゲインを下げるゲイン変更処理等の画像処理を施すなどした後、記録部25に記録する。なお、当該フラッシュ画像は、例えば撮影画像の確認用として一時的に(一時的でなくともよい)表示部26にモニタ表示してもよい(この場合、フラッシュ画像にモニタ表示用のゲイン変更処理等の画像処理が行われる)。
一方、外部フラッシュ光が発光されたときの画像データ以外の、例えば上記符号503に示すような定常光によって露光されたフレーム(例えば符号508、509に示す光量不足フレーム)での画像データは、光量不足の露光状態であるが、この画像データは、デジタル処理部24aにて、表示部26での表示におけるゲインの不足分を補正するべくゲインを上げるゲイン変更処理等の画像処理が施されるなどした後、順次、表示部26にライブビュー表示される。ただし、当該光量不足の撮影画像を必ずしもライブビュー表示させる必要はなく、この場合、画像データにゲイン変更処理等の画像処理を施さずともよい。なお、画像データは、少なくともキャプチャ用の画像として適か不適かの判断がなされるまではデジタル処理部24aのメモリに記憶される。この場合、複数のフレーム画像を記憶してもよいし、次のフレーム画像が取り込まれてくる都度、更新(書き換え)して記憶してもよい(この観点からすると、光量不足した暗いフレーム画像は、記録部25に記録されずに破棄されるといえる)。
図14は、第3実施形態による外部フラッシュ撮影モードでの撮影動作の一例を示すフローチャートである。まずモード設定スイッチ5が操作され、モード設定部301に携帯電話機1aのカメラ機能を用いて撮影するカメラモードが設定されてカメラ撮影が可能な状態にされると共に(ステップS41)、外部フラッシュ撮影モードが設定される(ステップS42)。そして、撮像センサ21からVD信号に同期してフレーム画像データの全画素読み出し(キャプチャ用読出し)が行われ、当該フレーム画像がデジタル処理部24aに記憶(保持)され(ステップS43)、この保持された画像データに基づいてフラッシュ検知部302aによって撮像センサの露光レベル、すなわち外光の光量が算出(検知)される(ステップS44)。ただし、上記ステップS43において読み出された画像データは、ゲインを上げるなどのゲイン変更処理が施され、ライブビュー画像としてライブビュー表示されてもよい。
上記外部フラッシュ撮影モードにおいてレリーズスイッチ6がONされず(ステップS45のNO)、またステップS41で設定されたカメラモードが終了(解除)されない場合には(ステップS49のNO)、デジタル処理部24aにライブビュー用のゲイン(デジタルゲイン)設定が行われ(ステップS50)。そして、撮像センサ21から取り込まれたライブビュー画像(1フレーム)に対してライブビュー用のゲインに変更する画像処理が行われ(他のデジタル信号処理も行われる)、LCD表示部8に当該ライブビュー画像が表示される(ステップS51)。ステップS51での動作が終了するとステップS43に戻り、以降、レリーズスイッチ6がONされず且つカメラモードが終了されない間、ステップS43、S44、S50及びS51の動作が繰り返されてライブビュー表示が行われる。なお、ステップS41で設定されたカメラモードが終了(解除)された場合には(ステップS49のYES)、フロー終了となる。
上記ステップS45においてレリーズスイッチ6がONされた場合に(ステップS45のYES)、光量判別部303によって、フラッシュ検知部302aで検知された光量が所定の閾値に達したと判別されない場合、すなわち当該フレーム画像は光量不足であったと判断された場合には(ステップS46のNO)、上記ステップS50、S51の動作が行われてライブビュー表示がなされる。すなわち、ステップS45でレリーズスイッチ6がONされたとしても、ステップS46において外部フラッシュ光が所定光量に達しなければ、ステップS43、S44、S50及びS51によるライブビュー表示が継続される。
上記ステップS46において、光量判別部303によりこの光量が所定の閾値に達したと判別されると(ステップS46のYES)、デジタル処理部24aにキャプチャ用のゲイン(低いゲイン)が設定され(ステップS47)、デジタル処理部24aに保持されている画像データに対して、当該キャプチャ用ゲインへのゲイン変更、或いはホワイトバランス補正や色補間、表示用信号の生成などのキャプチャ用の各種画像処理が行われ、当該画像処理が行われた画像が、キャプチャ画像として記録部25に記録される(ステップS48)。なお、キャプチャ画像は記録部25に記録されると共に、LCD表示部8に一時的に(一時的でなくともよい)モニタ表示されてもよい。ステップS48の動作が終了すると、ステップS43に戻る。なお、上記ステップS42で外部フラッシュ撮影モードが設定されない場合には、外部フラッシュ光に関係無く撮影動作が行えるようになっている。この場合、例えば、ステップS41でカメラモードが設定されると直ちにライブビューモードに移行してライブビュー表示が行われ(ライブビュー表示されなくともよい)、その後、レリーズスイッチ6がONされるのに応じて通常の撮影動作(撮影画像の記録)が行われる。
(第4実施形態)
図15は、本発明の第4実施形態に係る撮像装置としてのデジタルカメラの外観を示す概略正面図である。図15に示すデジタルカメラ40aは、図6に示すデジタルカメラ40において(正面部における)測光部46を備えていない点が異なる。その他各部の構成は、図6に示すデジタルカメラ40と同じであり、その説明を省略する。
図16は、図15に示すデジタルカメラ40aのカメラ制御システムの一例を示すブロック図である。図16に示すカメラ制御システム100cは、図7に示すカメラ制御システム100aに対して、システムに光量検出部29を備えておらず、また、撮像センサ21からデジタル処理部24aに取り込んだ画像データに基づいて、外部フラッシュ光の検出や当該画像データに対するゲイン変更処理等を行う構成を有している点が異なる。
光量検出部29の有無以外の上記異なる点に関し、図16と図7とでは、それぞれ、アナログ処理部22a、デジタル処理部24a及び主制御部30cと、アナログ処理部22、デジタル処理部24及び主制御部30aとの構成が異なる。ただし、図16に示すアナログ処理部22a及びデジタル処理部24aは、(上述において図7との構成の違いを説明した)図11に示すアナログ処理部22a及びデジタル処理部24aの構成と同じである。また、主制御部30cについては、図17の機能ブロック図に示すように、当該主制御部30cにおけるフラッシュ検知部302a及びゲイン変更制御部305aが、(上述において図8との構成の違いを説明した)図12に示す主制御部30bにおけるフラッシュ検知部302a及びゲイン変更制御部305aと同じ構成であり、さらに主制御部30cにおけるフラッシュ制御部310が、(上述において図3との構成の違いを説明した)図8に示すフラッシュ制御部310と同じ構成となっており、その説明を省略する。
図18は、第4実施形態による外部フラッシュ撮影モードでの撮影動作の一例を示すフローチャートである。まず電源スイッチ44がONされてカメラ撮影が可能な状態(カメラモード)にされる(ステップS61)と共に、モード設定スイッチ43が操作されてモード設定部301に外部フラッシュ撮影モードが設定される(ステップS62)。そして、撮像センサ21からVD信号に同期してフレーム画像データの全画素読み出し(キャプチャ用読出し)が行われ、当該フレーム画像がデジタル処理部24aに記憶(保持)され(ステップS63)、この保持された画像データに基づいてフラッシュ検知部302aによって撮像センサの露光レベル、すなわち外光の光量が算出(検知)される(ステップS64)。ただし、上記ステップS63において読み出された画像データは、ゲインを上げるなどのゲイン変更処理が施され、ライブビュー画像としてライブビュー表示されてもよい。
上記外部フラッシュ撮影モードにおいてレリーズスイッチ42がONされず(ステップS65のNO)、またステップS61で設定されたカメラモードが終了(解除)されない場合には(ステップS70のNO)、デジタル処理部24aにライブビュー用のゲイン(デジタルゲイン)設定が行われる(ステップS71)。そして、撮像センサ21から取り込まれたライブビュー画像(1フレーム)に対してライブビュー用のゲインに変更する画像処理が行われ(他のデジタル信号処理も行われる)、LCD表示部48に当該ライブビュー画像が表示される(ステップS72)。ステップS72での動作が終了するとステップS63に戻り、以降、レリーズスイッチ42がONされず且つカメラモードが終了されない間、ステップS63、S64、S71及びS72の動作が繰り返されてライブビュー表示が行われる。なお、ステップS61で設定されたカメラモードが終了(解除)された場合には(ステップS70のYES)、フロー終了となる。
上記ステップS65においてレリーズスイッチ42がONされた場合において(ステップS65のYES)、フラッシュ制御部310によってフラッシュ充電が完了していないと判別されるときに(ステップS66のNO)、光量判別部303によって、フラッシュ検知部302aで検知された光量が所定の閾値に達したと判別されない場合、すなわち当該フレーム画像は光量不足であったと判断された場合には(ステップS67のNO)、上記ステップS71、S72の動作が行われてライブビュー表示がなされる。すなわち、ステップS65でレリーズスイッチ42がONされたとしても、ステップS66でフラッシ充電が完了しておらず、またステップS67において外部フラッシュ光が所定光量に達していなければ、ステップS63、S64、S71及びS72によるライブビュー表示が継続される。
上記ステップS67において、光量判別部303によりこの光量が所定の閾値に達したと判別されると(ステップS67のYES)、デジタル処理部24aにキャプチャ用のゲイン(低いゲイン)が設定され(ステップS68)、デジタル処理部24aに保持されている画像データに対して、当該キャプチャ用ゲインへのゲイン変更、或いはホワイトバランス補正や色補間、表示用信号の生成などのキャプチャ用の各種画像処理が行われ、当該画像処理が行われた画像が、キャプチャ画像として記録部25に記録される(ステップS69)。なお、キャプチャ画像は記録部25に記録されると共に、LCD表示部48に一時的に(一時的でなくともよい)モニタ表示されてもよい。ステップS69の動作が終了すると、ステップS63に戻る。このように、上記ステップS67〜S69のフローを有し、フラッシュ充電が完了していなくても他の光源(外部フラッシュ光)によって撮影が可能であるため、充電が完了するまでの撮影の待ち時間(撮影までのタイムラグ)を減らすことができる。
一方、ステップS66においてフラッシュ充電が完了すると(ステップS66のYES)、フラッシュ制御部310の制御によって、フラッシュライト47の発光(自己発光)によるフラッシュ撮影に対応する適切な露出、ホワイトバランス、ゲイン等の各種設定が行われる(ステップS73)。そして、この設定に応じてフラッシュライト47が画像(VD信号による撮像動作)と同期せずにフラッシュ発光され(ステップS74)、上記ステップS69と同様に撮像センサ21から画像データのキャプチャ用読出しが行われ、当該読み出されたキャプチャ画像に対して各種画像処理が行われた後、このキャプチャ画像が記録部25に記録される(ステップS75)。なお、この場合もキャプチャ画像は記録部25に記録されると共に、LCD表示部48にモニタ表示されてもよい。ステップS75の動作が終了すると、ステップS63に戻る。なお、上記ステップS62で外部フラッシュ撮影モードが設定されない場合には、外部フラッシュ光に関係無く撮影動作が行えるようになっている。この場合、レリーズスイッチ42がONされるのに応じて通常の撮影動作が行われる(フラッシュライト47の発光によるフラッシュ撮影を行ってもよい)。ただし、当該通常の撮影において適宜ライブビュー表示を行ってもよい。
以上のように本発明の撮像装置によれば、自己発光によるフラッシュ光を除く外部フラッシュ光がフラッシュ検知部302(302a)によって検知され、フラッシュ検知部302(302a)により検知された外部フラッシュ光の光量が、所定の閾値に達したか否かが光量判別部303によって判別される。そして、撮像センサ21により取得された撮影画像における、外部フラッシュ光により露光された画像がフラッシュ画像としてフラッシュ画像特定部304によって特定され、光量判別部303により外部フラッシュ光の光量が閾値に達したと判別された場合に、当フラッシュ画像特定部304により特定されたフラッシュ画像が記録部25(記録制御部306)によって記録される。このように、所定光量を有する外部フラッシュ光を受けたことに応じて、当該外部フラッシュ光によって露光されたフラッシュ画像が記録される(キャプチャ画像として取り込まれる)ため、フラッシュ機能を備えていない撮像装置であっても、或いはフラッシュ機能を備えてはいるがフラッシュ充電中の場合であっても、暗所において充分な露光量(露出)を有した好適(高画質;綺麗)な撮影画像を得ることが可能となり、ひいては撮影の機会を増すことのできる撮像装置を提供することができる。
また、記録部25によって、フラッシュ画像に対するゲインが、撮影画像におけるフラッシュ画像以外の画像に対するゲインよりも小さくなるよう、アナログ処理部22(22a)或いはデジタル処理部24(24a)によりゲイン変更された状態で当該フラッシュ画像が記録されるため、簡易な方法により、適切な露光状態にし、且つS/N比を下げて(綺麗な画像として)フラッシュ画像を記録することが可能となり、より好適(高画質;綺麗)な撮影画像を得ることができる。
また、撮像装置に備えた光量検出部29(測光部11又は46)によって被写体を測光し、当該得られた測光情報に基づいて外部フラッシュ光の検知を行うため、例えば、一旦、データ処理部(例えばデジタル処理部24(24a))に、デジタルデータとして画像データを取り込んでおき、この画像データを用いて外部フラッシュ光の検知を行うといった動作が不要となり、より直接的にひいては確実に外部フラッシュ光の検知動作を行うことができる。また、当該画像データを取り込む動作とは別に(別の系統;回路によって)、外部フラッシュ光の検知に関する測光情報を得ることができるため、例えば上記デジタルデータとして画像データを取り込む前の、S/N比が良好なアナログ処理においてこの測光情報をフィードバックさせ(ゲイン変更を行い)、より好適な撮影画像(フラッシュ画像)を得るといったことが容易に行えるようになる。
また、撮像センサ21により取得された撮影画像の画像データに基づいてフラッシュ検知部302aによって外部フラッシュ光が検知されるため、外部フラッシュ光(の光量)検出用の測光手段(例えば測光部11や46)を別途備える必要がなく、装置のコンパクト化が図れ、且つ既存の装置を用いた簡易な構成で当該外部フラッシュ光の検知が可能となる。
また、デジタル処理部24aにより、アナログ/デジタル変換が行われた後のデジタル処理においてゲイン変更の画像処理が行われるため、すなわち、一旦、デジタルデータとしてデジタル処理部24aに取り込んだ後の画像データに対してゲイン変更の画像処理が行われるため、例えば画像データを取り込む時点でゲインを約1倍として取り込んでおき、後にこのゲインを所定数倍に変更するといったように、任意な時に且つ任意な大きさにゲインを変更させることができ、ひいては自由度の高い当該画像処理を行うことができる。
また、アナログ処理部22により、アナログ/デジタル変換が行われる前のアナログ処理においてゲイン変更の画像処理が行われるため、良好なS/N比による、より高精度な当該画像処理を行うことができる。
また、撮像装置(携帯電話機1、1a)は、自己発光によるフラッシュ発光を行うフラッシュ発光装置を備えていないため、この分だけ装置を簡易な構成とすることができ、ひいてはコスト低減が図れる。
また、撮像装置(デジタルカメラ40、40a)に、自己発光によるフラッシュ発光を行うフラッシュライト47(発光部32)が備えられ、当該自己発光を行うフラッシュライト47の充電が完了していないとフラッシュ制御部310によって判別された場合においても、外部フラッシュ光を受けたフラッシュ画像が記録部25によって記録される構成であるため、外部フラッシュ光に依存することなく、フラッシュライト47による自己発光のフラッシュ光を用いてフラッシュ画像を得る(記録する)ことができると共に、フラッシュ制御部310を備え、フラッシュライト47が充電中であるか否かが判別でき、充電中であると判別された場合においても、外部フラッシュ光によるフラッシュ画像の記録を行うことができる。よって、充電完了まで待って自己発光させることよりもシャッターチャンスの方を優先させることができ、また、暗所等において閃光(自己発光によるフラッシ光や外部フラッシュ光)を必要とする撮影を行う機会を一層増やすことができる。
また、装置本体外の所定のフラッシュ発光装置をフラッシュ発光させる同期手段(所定の同期装置;同期回路)を備えていない撮像装置(携帯電話機1、1a、デジタルカメラ40、40a)において、装置本体からの発光によるフラッシュ光を除く外部フラッシュ光が、測光部11(46)を用いての測光情報に基づいてフラッシュ検知部302により検知され、フラッシュ検知部302により検知された外部フラッシュ光の光量が、所定の閾値に達したか否かが光量判別部303によって判別される。そして、撮像センサ21により取得された撮影画像における、外部フラッシュ光により露光された画像がフラッシュ画像としてフラッシュ画像特定部304によって特定され、光量判別部303により外部フラッシュ光の光量が閾値に達したと判別された場合に、当該フラッシュ画像特定部304により特定されたフラッシュ画像が記録部25によって記録される。このように、装置本体のフラッシュライト47を用いてフラッシュ発光させる場合だけでなく、装置本体外の所定のフラッシュ発光装置を同期(外部同期)させてフラッシュ発光させる場合も含む所謂「自己発光」での閃光によらない外部フラッシュ光を、測光部11(46)による測光情報に基づいて検知したことに応じて、当該外部フラッシュ光によって露光されたフラッシュ画像が記録される(所謂キャプチャ画像として取り込まれる)ため、フラッシュ機能を備えていない撮像装置であっても、或いはフラッシュ機能を備えてはいるがフラッシュ充電中の場合であっても、暗所において充分な露光量を有した好適(高画質;綺麗)な撮影画像を得ることが可能となり、ひいては撮影の機会を増すことのできる撮像装置を提供することができる。
さらに、装置本体外の所定のフラッシュ発光装置をフラッシュ発光させる同期手段(所定の同期装置;同期回路)を備えていない撮像装置において、装置本体からの発光によるフラッシュ光を除く外部フラッシュ光が、撮像センサ21に取得された撮影画像の画像データに基づいてフラッシュ検知部302aにより検知され、フラッシュ検知部302aにより検知された外部フラッシュ光の光量が、所定の閾値に達したか否かが光量判別部303によって判別される。そして、当該撮像センサ21により取得された撮影画像における、外部閃フラッシュ光により露光された画像がフラッシュ画像としてフラッシュ画像特定部304によって特定され、光量判別部303により外部フラッシュ光の光量が閾値に達したと判別された場合に、当該フラッシュ画像特定部304により特定されたフラッシュ画像が記録部25によって記録される。このように、装置本体のフラッシュ発光装置を用いてフラッシュ発光させる場合だけでなく、装置本体外のフラッシュ発光装置を同期(外部同期)させてフラッシュ発光させる場合も含む所謂「自己発光」での閃光によらない外部フラッシュ光を、撮像センサ21からの(デジタル処理部24aに保持された)画像データに基づいて検知したことに応じて、当該外部フラッシュ光によって露光されたフラッシュ画像が記録される(所謂キャプチャ画像として取り込まれる)ため、フラッシュ機能を備えていない撮像装置であっても、或いはフラッシュ機能を備えてはいるがフラッシュ充電中の場合であっても、暗所において充分な露光量を有した好適(高画質;綺麗)な撮影画像を得ることが可能となり、ひいては撮影の機会を増すことのできる撮像装置を提供することができる。
なお、本発明は、以下の態様をとることができる。
(A)携帯電話機1(1a)にフラッシュ発光装置が設けられていてもよい。また、デジタルカメラ40(40a)にフラッシュ発光装置を備えてなくともよい。携帯電話機1(1a)或いはデジタルカメラ40(40a)に、AF、AE機能、メカシャッタを備えてなくてもよい。
(B)撮像センサ21を、蓄積された電荷を破壊することなく当該電荷量を読み出す、所謂非破壊読み出しが可能な撮像素子、例えばCMOS(Complementary Metal-Oxide Semiconductor )で構成し、当該CMOSからなる撮像センサ21を、例えば図2に示す光量検出部29の代わりに用いる構成であってもよい(撮像センサに現在どれ位の光が当たっているのかを、画像データを破壊することなくCMOSから直接モニタできる)。これにより、光量検出部29(測光部11)を設ける必要がなくなり装置の簡易化を図れる。