JP2004096205A - 電子カメラ - Google Patents
電子カメラ Download PDFInfo
- Publication number
- JP2004096205A JP2004096205A JP2002251504A JP2002251504A JP2004096205A JP 2004096205 A JP2004096205 A JP 2004096205A JP 2002251504 A JP2002251504 A JP 2002251504A JP 2002251504 A JP2002251504 A JP 2002251504A JP 2004096205 A JP2004096205 A JP 2004096205A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image data
- image
- electronic camera
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】被写体像を撮像して得られる信号電荷を読み出して画像データを生成し、その画像データに所定の処理を行う電子カメラに関し、特定のタイミングに負荷を集中させることなく、画像データに対する所定の処理を確実に行うことを目的とする。
【解決手段】撮像手段は、被写体像を撮像して得られる信号電荷を読み出してフレーム単位で画像データを生成し、画像処理手段は、撮像手段によって生成される画像データを所定の同期信号に応じて取り込み画像処理を行い、制御手段は、画像処理手段による画像データの取り込みおよび画像処理を連続する複数のフレームに対応する画像データに対して順次行わせるための連続フレーム制御モードと画像処理手段による画像データの取り込みおよび画像処理を単一のフレームに対応する画像データに対して行わせるための単一フレーム制御モードとを切り換えて画像処理手段を制御する。
【選択図】 図1
【解決手段】撮像手段は、被写体像を撮像して得られる信号電荷を読み出してフレーム単位で画像データを生成し、画像処理手段は、撮像手段によって生成される画像データを所定の同期信号に応じて取り込み画像処理を行い、制御手段は、画像処理手段による画像データの取り込みおよび画像処理を連続する複数のフレームに対応する画像データに対して順次行わせるための連続フレーム制御モードと画像処理手段による画像データの取り込みおよび画像処理を単一のフレームに対応する画像データに対して行わせるための単一フレーム制御モードとを切り換えて画像処理手段を制御する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、被写体像を撮像して得られる信号電荷を読み出して画像データを生成し、その画像データに所定の処理を行う電子カメラに関する。
【0002】
【従来の技術】
従来から、電子カメラでは、信号電荷の全ライン読み出しによって生成される画像データに対し、所定の画像処理を行うことによって、スチル画像撮影が実現されている。また、従来の電子カメラには、全ライン読み出しモードと間引きライン読み出しモードとを切り換えることにより、スチル画像撮影の他、所謂、MotionJPEG撮影による動画撮影や、被写体の構図の確認等に用いることが可能な動画を内蔵のLCD等に表示する電子ビューファインダを実現するものがある。
【0003】
以下、電子ビューファインダを実現しつつスチル画像撮影が可能な撮影モードを「スチル画像撮影モード」と称し、電子ビューファインダを実現しつつMotionJPEG撮影が可能な撮影モードを「MotionJPEG撮影モード」と称する。なお、スチル画像撮影モードには、撮影が行われる度に、撮影確認用の画像を内蔵のLCD等に表示する機能も含まれる。
【0004】
図3は、これらの撮影モードの設定が可能な電子カメラの構成を示す図である。
図3において、電子カメラ100は、不図示のメカシャッター,ズーム用モータ,絞り,AF用モータ等が内蔵された撮影レンズ1と、撮影レンズ1によって受光面上に結像された被写体像を撮像して得られる信号電荷を読み出してアナログの画像データを生成するCCD撮像素子2と、CCD撮像素子2によって生成されたアナログの画像データをディジタルの画像データに変換するA/D変換器3と、CCD撮像素子2およびA/D変換器3に対して、VD(垂直同期信号)等の制御信号を出力して、信号電荷に対する所定の読み出しモード(全ライン読み出しモード,間引きライン読み出しモード)による駆動を実現するTG(タイミングジェネレータ)4とを備えている。
【0005】
なお、電子カメラ100における全ライン読み出しモードは、インターレース読み出しによって実現されるものとする。
また、電子カメラ100には、A/D変換器3から出力される画像データを取り込み、各種の画像処理を行って所定の形式(電子ビューファインダやMotionJPEG撮影に適応した形式、スチル画像の撮影確認や記録に適応した形式)の画像データを得る画像処理部5と、画像処理部5によって得られた画像データに対し、必要に応じてJPEG圧縮を施すJPEG圧縮回路6と、画像処理部5によって得られる画像データやJPEG圧縮回路6によってJPEG圧縮が施された画像データ等を一時的に格納するSDRAM7とが備えられている。画像処理部5およびJPEG圧縮回路6は、ピクチャバスに接続され、バスインタフェース部8を介し、SDRAM7との間で画像データ等のやり取りを行う。また、画像処理部5およびJPEG圧縮回路6は、システムバスにも接続されている。
【0006】
図4は、画像処理部5の構成を示す図である。
図4において、画像処理部5は、欠陥画素補正を行う欠陥補正部50と、黒レベル補正を行うOB(Optical Black)クランプ回路51と、ゲイン調整やWB調整を行うゲイン調整/WB調整部52と、ガンマ補正を行うガンマ補正部53と、補間処理を行う補間処理部54と、色変換(RGB表色系からYCbCr表色系への変換等)や色補正を行う色変換/色補正部55と、解像度変換(画像の拡大/縮小)を行う解像度変換部56と、空間フィルタ処理(エッジ強調等)を行う空間フィルタ57と、間引き処理(Y,Cb,Crの比率を4:4:4から4:2:2に変換する処理等)を行う間引き処理部58とを備えている。
【0007】
また、画像処理部5には、後述するMPUによるAE制御,AF制御,AWB調整を実現するための評価値を抽出する評価値抽出部59が設けられている。
電子カメラ100では、前述したように、全ライン読み出しモードの際、インターレース読み出しが行われるので、画像処理部5は、1ライン置きの画像データ(後述する第1フィールド、第2フィールドに相当する)を取り込むことになるため、この画像データをそのまま後段の補間処理部54に送って、リアルタイムで補間処理を行うことができない。
【0008】
さらに、全ライン読み出しモードで得られた画像データ自身からAWB調整用の評価値を抽出する場合(電子ビューファインダが実現されている際の間引き読み出しモードの画像データから抽出されるAWB調整用の評価値を利用しない場合)は、1画面(1フレーム)分の全ての画像データの取り込みが終了するまでAWB調整用の評価値が確定しないので、ゲイン調整/WB調整部52によるAWB調整も実行できない。
【0009】
よって、第2フィールドの画像データの取り込みが終了するまでは、画像処理部5におけるWB調整以降の処理は実行できず、ゲイン調整までの処理と、AWB調整用の評価値の抽出とが行われるだけである。すなわち、AWB調整用の評価値の抽出は、第1フィールドと第2フィールドとにまたがって行われるのである。
【0010】
そのため、画像処理部5では、全ライン読み出しモードの際、SDRAM7上で1フレーム分の画像データを合成してからWB調整以降の処理を行う必要があり、ゲイン調整/WB調整部52によってゲイン調整が行われた画像データをピクチャバスを介してSDRAM7に供給するための出力バッファ60が設けられている。
【0011】
なお、マニュアルWB調整を行う場合は、予めWB調整の値が決まっているので、全ライン読み出しモードの読み出し期間中には、AWB調整用の評価値の抽出を行う必要がない。しかし、リアルタイムで補間処理が行えないので、画像データをSDRAM7に一旦格納する点は変わらない。
また、画像処理部5は、SDRAM7に格納されている画像データをピクチャバスを介してゲイン調整/WB調整部52に取り込み、WB調整以降の処理を行うために入力バッファ61と、間引き処理までの全ての画像処理が終了した画像データをピクチャバスを介してSDRAM7に供給するための出力バッファ62と、評価値抽出部59によって抽出された評価値をシステムバスを介して後述するMPUへ供給するための出力バッファ63とを備えている。
【0012】
なお、図4では図示を省略しているが、出力バッファ60,入力バッファ61,出力バッファ62を除く画像処理部5内の各部も、システムバスに接続されており、後述するMPUによって制御される。
電子カメラ100は、前述した各部の他、SDRAM7に格納されている表示用の画像データをLCD9に適した形式の信号に変換して表示する表示制御部10と、SDRAM7に格納されている記録用の画像データをメモリカード(カード状のリムーバブルメモリ)11に記録するメモリカードインタフェース部12と、撮影レンズ1,TG4,システムバスに接続されたMPU13と、MPU13によって実行されるプログラムを予め記憶するROM14とを備えている。
【0013】
表示制御部10は、ピクチャバスに接続され、バスインタフェース部8を介してSDRAM7から画像データを取り込み、メモリカードインタフェース部12は、システムバスに接続され、バスインタフェース部8を介し、SDRAM7との間で画像データのやり取りを行う。なお、表示制御部10は、システムバスにも接続されている。
【0014】
また、MPU13は、バスインターフェース部8を介してROM14からプログラムを取り込み、そのプログラムを実行することによって電子カメラ100内の各部を制御する。
例えば、MPU13は、ユーザにより不図示の操作部を介して行われた操作(レリーズスイッチやズームスイッチの押下等)に応じて、不図示のレンズモータドライバを介して撮影レンズ1内の各部を駆動し、メカシャッターの開閉,光学ズーム,AE制御,AF制御等を実現する。
【0015】
また、MPU13は、望遠側の光学ズームが限界に達した場合、表示制御部10内に備えられている不図示の解像度変換部、または、画像処理部5内に備えられている解像度変換部56が有するレジスタ内のパラメータの設定内容を変更することによって、電子ズームを実現する。
さらに、MPU13は、TG4を介してCCD撮像素子2における露光時間を制御して電子シャッターを実現したり、画像処理部5がA/D変換器3から画像データを取り込むタイミングや、JPEG圧縮回路6におけるJPEG圧縮の実行のタイミングや、LCD9における表示のタイミング等をシステムバスを介して制御する。
【0016】
また、MPU13は、ユーザにより不図示の操作部を介して設定された撮影モード(スチル画像撮影モード,MotionJPEG撮影モード)に応じて、TG4による制御信号の出力を制御し、CCD撮像素子2における信号電荷に対する読み出しモード(全ライン読み出しモード,間引きライン読み出しモード)の切り換えを実現する。
【0017】
さらに、MPU13は、画像処理部5が有する不図示のレジスタにシステムバスを介してアクセスし、そのレジスタ内の各種パラメータを設定することによって、ユーザにより不図示の操作部を介して設定された撮影モード(スチル画像撮影モード,MotionJPEG撮影モード)に応じた手順による画像処理を実現する。
【0018】
すなわち、電子カメラ100では、MPU13による各部への指示やパラメータの設定内容に応じて、スチル画像撮影モードと、MotionJPEG撮影モードとが実現されることになる。
図5は、従来のスチル画像撮影モードの動作シーケンスを示す図であり、図6は、従来のMotionJPEG撮影モードの動作シーケンスを示す図である。
【0019】
図5および図6に示すように、電子カメラ100では、CCD撮像素子2における露光時間,CCD撮像素子2からの画像データの出力(図中の「CCD出力」に相当する)のタイミング,画像処理部5における画像データの取り込みおよび画像処理のタイミング,LCD9における画像の表示のタイミングは、VDに同期して制御される。また、電子カメラ100では、JPEG圧縮回路6におけるJPEG圧縮の実行のタイミングについても、VDに同期して制御される。
【0020】
スチル画像撮影モードでは、操作者によるレリーズスイッチの押下によって撮影が開始されるまでは、電子ビューファインダが実現される。
電子ビューファインダは、MPU13によって、TG4が間引きライン読み出しモード用に設定され、かつ、画像処理部5(具体的には、不図示のレジスタ内のパラメータ)が間引きライン読み出しによって得られる画像データに適応した画像処理(以下、「間引きライン用画像処理」)を実行するように設定されている状態で行われる。
【0021】
画像処理部5では、全ライン読み出しモードにおける画像処理が、ゲイン調整までの処理と、WB調整以降の処理との2ステップに分かれて実行されるのに対して、間引きライン用画像処理は、1ステップで全ての処理が行われる。これは、間引きライン読み出しモードでは、1つのVDに対して1フレーム分の画像データ全て(ただし、ライン数は少ない)が取り込まれるからである。よって、間引きライン読み出しモードにおいては、画像処理が施された画像データは、出力バッファ62を介してピクチャバスに出力されて、SDRAM7に一時格納される。
【0022】
間引きライン読み出しに基づき生成された画像データ(図5のフレームA,B,Cに相当する)は、MPU13からの指示によって画像処理部5に取り込まれるが、この指示は、MPU13が画像処理部5内の不図示の制御レジスタの「取り込み実行」ビットをセットすることにより行われる。
画像処理部5では、このような「取り込み実行」ビットがセットされた状態で、最初にTG4から出力されるVDに同期して、画像データの取り込みが行われる。ただし、VDが入力されると、「取り込み実行」ビットはクリアされ、それ以降は再び「取り込み実行」ビットがセットされない限り、画像データの取り込みは行われない。
【0023】
画像処理部5は、このようにして取り込まれた画像データに、間引きライン用画像処理を行って電子ビューファインダに適応した形式の画像データを生成して出力する。
このようにして画像処理部5によって得られた画像データは、TG4から次に出力されるVDに同期し、電子ビューファインダとしてLCD9に表示される。
【0024】
つまり、電子ビューファインダの画像は、CCD出力から1フレーム遅れで表示されるのである。そのため、SDRAM7上には、2フレーム分の表示用の画像データの記憶領域を用意しておき、フレームAの表示(SDRAM7からの読み出しを含む)を行っている間は、フレームBの画像データをもう1つの記憶領域に格納している。
【0025】
今までの説明では、表示制御部10のVDと、TG4のVDとが同期していると仮定していたが、両者が同期していない場合は、LCD9の表示を乱さないために、SDRAM7上の表示用の画像データの記録領域を少なくとも3フレーム分用意する必要がある。そして、画像処理部5が次の表示用の画像データの出力を終えていた場合は、表示制御部10のVDに同期して表示すべきフレームの切り換えを行うのである。
【0026】
TG4のVDの周波数が、表示制御部10のVDの周波数よりも僅かに高い場合は、時々表示されないフレームが発生する「フレーム飛ばし」が行われるが、それと逆の場合は、同一フレームを繰り返して表示する「フレーム挿入」が行われることになる。しかし、このような場合、LCD9の表示が乱れることはない。
MPU13は、電子ビューファインダが実現されている状態において、レリーズスイッチが押下されると、まず、AE/AFの制御をロックし、次いで、その時点のAE制御用の評価値に基づいてスチル画像用の露光時間を決定する。そして、電子シャッターを実現するために、その露光時間をTG4に設定する。その結果、次のVDの入力時からスチル画像用の露光が行われることになる。
【0027】
そして、スチル画像用の露光中(図5のフレームEの露光中)にMPU13は、フレームDの画像データの取り込みを行わずにTG4および画像処理部5(具体的には、不図示のレジスタ内のパラメータ)を全ライン読み出しモード用に設定すると共に、前記「取り込み実行」ビットをセットすることにより、全ライン読み出しに基づき生成されたスチル画像用の画像データ(図5のフレームEに相当する)の取り込みを画像処理部5に指示する。
【0028】
その結果、全ライン読み出しに基づき生成されたスチル画像用の画像データは、TG4から次に出力されるVDに同期して、画像処理部5に取り込まれる。ただし、電子カメラ100では、全ライン読み出しをインターレース読み出しによって実現しているため、スチル画像用の画像データの取り込みは、第1フィールド(Odd Field)と第2フィールド(Even Field)とに分かれて行われる。すなわち、MPU13は、各々のフィールド毎に前記「取り込み実行」ビットをセットする必要がある。
【0029】
画像処理部5によってスチル画像用の画像データの取り込みが開始される前に、MPU13は、表示制御部10を介してLCD9による画像の表示を停止させると共に、撮影レンズ1内のメカシャッターを閉じて露光を停止させる。
そして、画像処理部5によるスチル画像用の画像データの取り込みが終了すると、MPU13は、電子ビューファインダの再実行に備えて、TG4を再び間引きライン読み出しモード用に設定すると共に、撮影レンズ1内のメカシャッターを開く。また、MPU13は、画像処理部5(具体的には、不図示のレジスタ内のパラメータ)を、スチル画像の撮影確認に適応した形式の画像データを得るための画像処理(以下、「確認用画像処理」と称する)を実行するように設定すると共に、画像処理部5が有する不図示の制御レジスタ内の「スチル画像用画像処理実行」ビットをセットして確認用画像処理を行わせる。
【0030】
そして、撮影確認に適応した形式の画像データが得られると、MPU13は、このような画像データを表示制御部10を介してLCD9に表示する。また、MPU13は、画像処理部5(具体的には、不図示のレジスタ内のパラメータ)を、スチル画像の記録に適応した形式の画像データを得るための画像処理(以下、「記録用画像処理」と称する)を実行するように設定すると共に、前記「スチル画像用画像処理実行」ビットをセットして記録用画像処理を実行させる。
【0031】
同時に、MPU13は、画像処理部5によって得られた画像データに対してJPEG圧縮を実行するため、JPEG圧縮回路6が有する不図示の制御レジスタ内の「圧縮実行」ビットをセットしてJPEG圧縮を実行させる。
【0032】
その結果、JPEG圧縮は、記録用画像処理と並行して実行されることになる。なお、JPEG圧縮された画像データは、前述したように、SDRAM7に格納され、その後、メモリカードインタフェース部12を介してメモリカード11に記録される。場合によっては、JPEG圧縮回路6から出力されるJPEG圧縮済みの画像データを、端からメモリカード11に記録しても良い。すなわち、JPEG圧縮と記録とを並列に実行することもできる。
【0033】
記録用画像処理(場合によっては、JPEG圧縮を含む)が終了すると、MPU13は、画像処理部5(具体的には、不図示のレジスタ内のパラメータ)を再び間引きライン用画像処理を実行するように設定すると共に、前記「取り込み実行」ビットをセットして、電子ビューファインダを再実行させる。
したがって、以上説明したような処理を繰り返すことによって、電子カメラ100では、スチル画像撮影モードが実現されることになる。
【0034】
一方、MotionJPEG撮影モードでは、スチル画像撮影モードと同様に、電子ビューファインダが実現される。ただし、MotionJPEG撮影モードにおける電子ビューファインダは、操作者によるレリーズスイッチの押下に応じて撮影が行われる状態であっても実現される。
すなわち、MotionJPEG撮影モードでは、常に、間引き読み出しモードに基づき画像データが生成され、画像処理部5は、このような画像データを、前記「取り込み実行」ビットがMPU13によってセットされた直後にTG4から出力されるVDに同期して、取り込むことになる。
【0035】
電子ビューファインダが実現されている状態において、レリーズスイッチが押下され、その時点に画像処理部5で取り込み中の画像データ(図6のフレームAに相当する)の取り込みが終了すると、MPU13は、前記「取り込み実行」ビットをセットすると共に、JPEG圧縮回路6が有する不図示の制御レジスタ内の「圧縮実行」ビットもセットする。
【0036】
すなわち、MPU13は、画像処理部5に対し、次に生成される画像データ(図6のフレームBに相当する)の取り込みおよび間引きライン用画像処理の実行を指示すると共に、JPEG圧縮回路6に対し、JPEG圧縮の実行を指示する。その結果、間引きライン用画像処理によって得られる画像データは、引き続きJPEG圧縮されてSDRAM7に格納される。また、間引きライン用画像処理によって得られる画像データは、TG4から次に出力されるVDに同期し、電子ビューファインダとしてLCD9に表示される。
【0037】
なお、前記「圧縮実行」ビットは、JPEG圧縮が開始されるとクリアされるようになっている。そのため、JPEG圧縮回路6は、1フレーム分の画像データに対するJPEG圧縮の終了をもって動作を停止する。
したがって、上述したような画像処理部5およびJPEG圧縮回路6に対する指示がMPU13によって繰り返されることにより、電子ビューファインダの実行が継続されつつ、MotionJPEG撮影が実現されることになる。そして、このようなMotionJPEG撮影は、レリーズスイッチが再び押下される(場合によっては、最大記録時間が経過する)まで繰り返される。
【0038】
図6では、フレームBからMotionJPEG撮影が行われることになるが、この時点では、フレームBが未だLCD9に表示されていない。これは、LCD9への表示が1フレーム分遅れているからである。つまり、未だ表示されていないフレームから撮影が始まるのである。しかし、MotionJPEG撮影では、フレームレートが、例えば、30フレーム/秒のように高速なので、1フレーム分の遅れは問題にならない。むしろ、撮影の遅延が少ないという点で好ましいとも言える。
【0039】
なお、MotionJPEG撮影によりSDRAM7に格納された各々のフレームに対応する画像データは、レリーズスイッチが再び押下されてから(場合によっては、最大記録時間が経過してから)、メモリカードインタフェース部12を介してメモリカード11に記録される。
【0040】
以上説明したようにして、電子カメラ100では、MotionJPEG撮影モードが実現される。
【0041】
【発明が解決しようとする課題】
前述したような電子ビューファインダが実現されている状態やMotionJPEG撮影が行われている状態では、常時、AE制御,AF制御,AWB調整が必要である。すなわち、MPU13は、画像処理部5に画像データの取り込みを指示するための前記「取り込み実行」ビットのセットや、JPEG圧縮回路6にJPEG圧縮を指示するための前記「圧縮実行」ビットのセットを繰り返し行うと共に、AE制御,AF制御,AWB調整を実現するための処理を行わなければならない。
【0042】
このような処理は、「取り込み実行」ビットや「圧縮実行」ビットのセットと同様に、TG4からのVDの出力に同期して行われるので、VDが出力される前後におけるMPU13の負荷を増大させてしまう。
また、VDが出力される前後では、前述した以外の処理もバックグランドで行われることが多く、MPU13の負荷が更に増大してしまうことになる。そのため、バックグラウンドの処理は、中断されたり、間に合わなかったり、スキップされたりする場合があった。
【0043】
例えば、望遠側の光学ズームが限界に達して電子ズームが必要となった際、MPU13は、その時点でLCD9の表示対象となっている画像データ(図5のフレームAに相当する)の表示が終了してから、次に表示対象となる画像データ(図5のフレームBに相当する)の表示が開始されるまでの期間に、表示制御部10内に備えられている不図示の解像度変換部が有するレジスタ内のパラメータの設定内容を電子ズーム用に変更しなければならない。または、電子ズームが必要となった時点で画像処理対象となっている画像データ(図5のフレームBに相当する)の画像処理が終了してから、次に画像処理対象となる画像データ(図5のフレームCに相当する)の画像処理が開始されるまでの期間に、画像処理部5内に備えられている解像度変換部56が有するレジスタ内のパラメータの設定内容を電子ズーム用に変更しなければならない。
【0044】
しかし、このようなパラメータの設定内容の変更は、MPU13の負荷の増大によって所定の期間内に終了できない場合があり、その場合、電子ビューファインダの画像が乱れるという不具合が発生してしまう。
また、スチル画像撮影モードでは、電子ビューファインダが実現されている状態において、レリーズスイッチが押下されると、画像処理部5内の不図示のレジスタ内のパラメータを全ライン読み出しモード用に設定する処理を行うが、このような処理に並行して、LCD9による画像の表示を停止させる処理や、撮影レンズ1内のメカシャッターを閉じて露光を停止させる処理が必要である。すなわち、MPU13の負荷が特定のタイミング(VDが出力される前後)に集中しまうことになる。
【0045】
そこで、本発明は、特定のタイミングに負荷を集中させることなく、画像データに対する所定の処理を確実に行うことができる電子カメラを提供することを目的とする。
【0046】
【課題を解決するための手段】
請求項1に記載の電子カメラは、被写体像を撮像して得られる信号電荷を読み出してフレーム単位で画像データを生成する撮像手段と、前記撮像手段によって生成される前記画像データを所定の同期信号に応じて取り込み、画像処理を行う画像処理手段と、前記画像処理手段による画像データの取り込みおよび画像処理を連続する複数のフレームに対応する画像データに対して順次行わせるための連続フレーム制御と、該画像処理手段による画像データの取り込みおよび画像処理を単一のフレームに対応する画像データに対して行わせるための単一フレーム制御とを切り換えて、該画像処理手段を制御する制御手段とを備えたことを特徴とする。
【0047】
請求項2に記載の電子カメラは、請求項1に記載の電子カメラにおいて、前記撮像手段は、画像データの生成に際して、少なくとも間引きライン読み出しモードを含む複数の読み出しモードを切り換えて信号電荷を読み出し、前記制御手段は、前記撮像手段によって前記間引き読み出しモードに基づき画像データが生成されている場合、前記連続フレーム制御によって前記画像処理手段を制御することを特徴とする。
【0048】
請求項3に記載の電子カメラは、請求項1に記載の電子カメラにおいて、前記画像処理手段によって行われる画像処理は、前記画像データに対する圧縮処理を含むことを特徴とする。
請求項4に記載の電子カメラは、請求項3に記載の電子カメラにおいて、前記制御手段は、前記画像処理手段による前記圧縮処理を含む画像処理によって動画撮影が実現されている場合、前記連続フレーム制御によって該画像処理手段を制御することを特徴とする。
【0049】
請求項5に記載の電子カメラは、請求項1に記載の電子カメラにおいて、前記制御手段は、前記連続フレーム制御によって前記画像処理手段を制御する際、画像データの取り込みおよび画像処理についての開始と停止とを該画像処理手段に指示し、前記画像処理手段は、前記制御手段によって画像データの取り込みおよび画像処理の停止が指示された際に、画像データの取り込みおよび画像処理を行っているフレームに対しては、最後まで画像データの取り込みおよび画像処理を継続して行うことを特徴とする。
【0050】
請求項6に記載の電子カメラは、請求項1に記載の電子カメラにおいて、前記画像処理手段は、前記画像処理を行う際に参照すべきパラメータの設定内容が撮影条件毎に変えられる複数のレジスタを有し、前記制御手段は、前記複数のレジスタを実際の撮影条件に応じて切り換えて、前記画像処理手段がパラメータの設定内容の参照を有効にすべきレジスタを決めることを特徴とする。
【0051】
請求項7に記載の電子カメラは、請求項1に記載の電子カメラにおいて、前記画像処理手段は、前記画像処理を行う際に参照するパラメータが設定される第1のレジスタと、該画像処理を行っている間に前記制御手段によるパラメータの設定が可能な第2のレジスタとを有し、前記制御手段は、前記第1のレジスタのパラメータの設定内容を、所定のタイミングで、前記第2のレジスタのパラメータの設定内容に変更することを特徴とする。
【0052】
請求項8に記載の電子カメラは、請求項7に記載の電子カメラにおいて、前記所定のタイミングは、前記画像処理手段による前記画像処理がフレームの最後まで終了した以降のタイミングであることを特徴とする。
請求項9に記載の電子カメラは、請求項6または請求項7に記載の電子カメラにおいて、前記撮影条件は、前記撮像手段による信号電荷の読み出し時の条件であることを特徴とする。
【0053】
請求項10に記載の電子カメラは、請求項6または請求項7に記載の電子カメラにおいて、前記撮影条件は、前記画像処理手段による画像処理の条件であることを特徴とする。
請求項11に記載の電子カメラは、請求項7に記載の電子カメラにおいて、前記画像処理手段によって画像処理が行われた画像データを画像として表示する表示手段を備え、前記所定のタイミングは、前記表示手段に前記画像データが画像として表示されるタイミングであることを特徴とする。
【0054】
【発明の実施の形態】
以下、図面に基づいて、本発明の実施形態について詳細を説明する。
ただし、本発明の実施形態に対応する電子カメラの構成については、レジスタの構成が異なる点を除き、図3および図4と同じであるため、以下では、図示および説明を省略する。また、以下では、本発明の実施形態に対応する電子カメラおよびその各部については、図3および図4に記載の符号を用いて説明を行う。
【0055】
なお、本発明の請求項では、画像処理を広義に捉え、画像処理には圧縮処理等が含まれるが、本実施形態では、画像処理を狭義に捉えてJPEG圧縮を画像処理とは区別して説明する。
図1は、本実施形態のスチル画像撮影モードの動作シーケンスを示す図であり、図2は、本実施形態のMotionJPEG撮影モードの動作シーケンスを示す図である。
【0056】
以下、図1を参照して本実施形態のスチル画像撮影モードの動作を説明する。
スチル画像撮影モードが設定されている状態では、操作者によるレリーズスイッチの押下によって撮影が開始されるまでに、電子ビューファインダが実現されるが、電子ビューファインダは、間引きライン読み出しモードに基づき生成された画像データによって実現される。
【0057】
本実施形態の電子カメラ100において、画像処理部5は、間引きライン読み出し用のパラメータを設定するためのレジスタ(以下、「間引きライン読み出し用レジスタ」と称する)と、全ライン読み出し用のパラメータを設定するためのレジスタ(以下、「全ライン読み出し用レジスタ」と称する)とを有している。これらのレジスタのうち、何れのレジスタのパラメータの参照を有効にするかは、MPU13によって適宜決められる。
【0058】
MPU13は、電子ビューファインダの実現に際し、TG4を間引きライン読み出しモード用に設定すると共に、画像処理部5が有する間引きライン読み出し用レジスタの参照を有効にする。
また、MPU13は、間引きライン読み出しモードに基づき生成された画像データの取り込みを画像処理部5に対して指示するために画像処理部5が有する制御レジスタ内の「取り込み実行」ビットをセットするが、本実施形態における「取り込み実行」ビットは、図1に示すように、操作者によるレリーズスイッチの押下によって撮影が開始されるまで、ホールドされる。なお、画像処理部5では、このようにして取り込まれる画像データに対して、間引きライン用画像処理が行われる。すなわち、このようにホールドされた「取り込み実行」ビットによって、連続する複数のフレーム(図1のフレームA,B,Cに相当する)に対応する画像データの取り込みおよび間引きライン用画像処理の実行が、画像処理部5において実現されることになる。以下、連続する複数のフレームを一括して処理する制御形態を「連続フレーム制御」と称する。
【0059】
なお、画像処理部5による画像データの取り込みの途中でMPU13から取り込みの停止が指示された場合、画像データの取り込み中のフレーム(図1のフレームCに相当する)に対しては、最後まで画像データの取り込みおよび画像処理を継続して行っても良いし、取り込みの停止が指示された時点で取り込みおよび画像処理を中断しても良い。本実施形態では、取り込みおよび画像処理を継続するモード(以下、「取込継続モード」と称する)と、取り込みおよび画像処理を中断するモード(以下、「取込中断モード」と称する)との何れかが選択可能になっており、MPU13によって予め設定されているものとする。
【0060】
画像処理部5は、前記「取り込み実行」ビットがホールドされている状態において、TG4から出力されるVDに同期して画像データを取り込み、間引きライン用画像処理を行って電子ビューファインダに適応した形式の画像データを得る。
ただし、本実施形態では、従来の電子カメラと異なり、「取り込み実行」ビットがVDの入力によってクリアされることがない。そのため、連続フレーム制御が実現されるのである。なお、連続フレーム制御が行われている際に、画像データの取り込みと画像処理とを停止するには、MPU13が「取り込み実行」ビットをクリアすれば良い。
【0061】
そして、このようにして得られた電子ビューファインダに適応した形式の画像データは、TG4から次に出力されるVDに同期し、電子ビューファインダとしてLCD9に表示される。
【0062】
このようにして電子ビューファインダが実現されている状態において、望遠側の光学ズームが限界に達すると、MPU13は、電子ズームを実現するための処理を行う。
本実施形態の電子カメラ100において、表示制御部10内に備えられている不図示の解像度変換部と、画像処理部5内に備えられている解像度変換部56とは、解像度変換時に実際に参照されるレジスタ(以下、「実参照用レジスタ」と称する)を有している他に、MPU13がパラメータの設定内容を変更するためにアクセスするレジスタ(以下、「変更用レジスタ」と称する)を有している。なお、変更用レジスタには、実参照用レジスタと一対一に対応するパラメータを設けても良いし、実参照用レジスタにおいて変更を要するパラメータのみを設けても良い。
【0063】
実参照用レジスタ内のパラメータの設定内容の変更は、変更用レジスタ内のパラメータに予め設定されている内容を、実参照用レジスタにロードすることによって行われる。
したがって、MPU13は、電子ズームが必要となった時点で、変更用レジスタ内のパラメータの設定内容を電子ズーム用に変更し、VDが次に出力される前後(フレームの変わり目)で、変更用レジスタ内のパラメータに設定した内容を実参照用レジスタにロードすることによって、電子ズームを実現することになる。
【0064】
また、電子ビューファインダが実現されている状態において、レリーズスイッチが押下されると、MPU13は、AE/AFの制御をロックし、次いで、電子シャッターを実現するためにTG4に露光時間を設定すると共に、前記「取り込み実行」ビットをクリアして画像データの取り込みを停止させる。
ただし、MPU13は、画像処理部5に対して前述した取込継続モードを予め設定しており、画像処理部5では、取り込みの停止が指示された時点に取り込み中のフレーム(図1のフレームCに相当する)に対応する画像データが、最後まで取り込まれ、間引きライン用画像処理が行われる。その結果、そのフレームに対応する画像データは、TG4から次に出力されるVDに同期し、電子ビューファインダとしてLCD9に表示されることになる。また、そのVDに同期してスチル画像用の露光(図1のフレームEの露光)が開始される。
【0065】
そして、スチル画像用の露光中(図1のフレームEの露光中)にMPU13は、TG4を全ライン読み出しモード用に設定すると共に、画像処理部5が有する全ライン読み出し用レジスタの参照を有効にする。次いで、MPU13は、後述の「単一フレーム制御」に基づいて前記「取り込み実行」ビットをセットすることにより、全ライン読み出しモードに基づき生成されたスチル画像用の画像データ(図1のフレームEに相当する)の取り込みを画像処理部5に指示する。
【0066】
さらに、スチル画像用の画像データの取り込みが行われるのに先立って、MPU13は、従来と同様に、表示制御部10を介してLCD9による画像の表示を停止させると共に、撮影レンズ1内のメカシャッターを閉じて露光を停止させる。
このような状態でTG4から次のVDが出力されると、それに同期して、スチル画像用の画像データの取り込みが行われる。全ライン読み出しモードは、インタレース読み出しによって実現されるので、第1フィールド(図1のフレームE(Odd Field)に相当する)読み出し用のVDと、第2フィールド(図1のフレームE(Even Field)に相当する)読み出し用のVDとの2つのVDが出力される。そのため、本実施形態では、第2フィールド読み出し用のVDが出力されるまで、前記「取り込み実行」ビットをホールドし、これにより、1フレームのスチル画像用の画像データが確実に取り込めるのである。なお、第2フィールド読み出し用のVDが出力されると、前記「取り込み実行」ビットはクリアされ、それ以降のフレームは取り込まれない。
【0067】
そして、スチル画像用の画像データの取り込みが終了すると、MPU13は、電子ビューファインダの再実行に備えて、TG4を再び間引きライン読み出しモード用に設定すると共に、撮影レンズ1内のメカシャッターを開く。
また、MPU13は、従来と同様に、画像処理部5が有する制御レジスタ内の「スチル画像用画像処理実行」ビットをセットして確認用画像処理の実行を指示し、確認用画像処理によって得られた画像データを表示制御部10を介してLCD9に表示する。その後、MPU13は、従来と同様に、画像処理部5に対して記録用画像処理の実行を指示すると共に、記録用画像処理によって得られるスチル画像の記録用の画像データに対するJPEG圧縮の開始をJPEG圧縮回路6に対して指示する。
【0068】
なお、確認用画像処理と記録用画像処理とは、VDのタイミングとは無関係(非同期)に実行されるため、これらの画像処理用のパラメータを設定するレジスタは、1セット持つだけで良い。すなわち、これらのレジスタは、画像処理が行われていなければ、何時でも書き換えができるため、確認用画像処理が終了した時点で、パラメータの設定内容を記録用画像処理用に変更すれば良い。したがって、このようなレジスタの書き換えを行ったとしても、VDが出力される前後におけるMPU13の負荷の増加が回避される。また、レジスタが1セットで済むため、回路規模の増大が抑えられる。
【0069】
JPEG圧縮が終了すると、MPU13は、電子ビューファインダを再開するため、画像処理部5が有する間引きライン読み出し用レジスタの参照を有効にすると共に、前記「取り込み実行」ビットをセットして間引きライン読み出し画像データの取り込みと、間引きライン用画像処理とを実行させる。さらに、MPU13は、JPEG圧縮によって得られた記録用の画像データの圧縮データをSDRAM7から読み出して、メモリカード11に記録する。
【0070】
本実施形態では、前述したような処理を繰り返すことによって、スチル画像撮影モードが実現される。なお、スチル画像撮影は、前述した連続フレーム制御と異なり、フレーム単位で処理を完結させる制御が行われるので、このような制御形態を、「単一フレーム制御」と称する。
以上説明したように、本実施形態のスチル画像撮影モードでは、電子ビューファインダを実現する際、MPU13は、連続する複数のフレームに対応する画像データの取り込みおよび間引きライン用画像処理の開始と停止とを、画像処理部5に対して指示している。すなわち、従来、画像データの取り込みおよび画像処理の指示をフレーム毎に繰り返し行う単一フレーム制御によって実現する必要があった電子ビューファインダを、連続フレーム制御によって実現することができる。そのため、MPU13は、電子ビューファインダの実行中に、AE制御,AF制御,AWB調整等の処理に専念することができる。
【0071】
また、本実施形態の電子カメラ100では、電子ビューファインダが実現されている状態でレリーズスイッチが押下されると、間引きライン読み出しモードに基づき生成された画像データの取り込みおよび間引きライン用画像処理の停止を、画像処理部5に指示する必要があるが、画像処理部5に取込継続モードが設定されているため、MPU13によるこのような指示は、取り込み中の画像データの取り込みの終了を待たずに行うことができる。したがって、VDが出力される前後におけるMPU13の負荷を軽減することができる。
【0072】
さらに、電子ビューファインダが実現されている状態で望遠側の光学ズームが限界に達すると、VDが次に出力される際に、電子ズームを実現するためのパラメータの設定内容の変更が必要となるが、本実施形態のMPU13は、望遠側の光学ズームが限界に達した時点で変更用レジスタ内のパラメータの設定を変更してしまえば、VDが次に出力される際には、変更後のパラメータの設定内容を実参照用レジスタにロードするだけで良い。すなわち、電子ズームが必要となっても、VDが出力される前後におけるMPU13の負荷が極端に増大することがないため、パラメータの設定内容の変更が間に合わずに電子ビューファインダの画像が乱れるという不具合が発生することがない。
【0073】
また、本実施形態の電子カメラ100では、画像処理部5が間引きライン読み出し用レジスタと全ライン読み出し用レジスタとを有しているため、予め全ライン読み出し用レジスタを設定しておくことにより、電子ビューファインダが実現されている状態においてレリーズスイッチが押下されても、全ライン読み出し用レジスタの参照を有効するという簡単な指示だけで、全ライン読み出しモードに基づいて生成されたスチル画像用の画像データの取り込みを直ちに開始することができる。したがって、従来のようにレリーズスイッチが押下されてから全ライン読み出し用にレジスタの設定を変更するのに比べて、MPU13の負荷が集中しまうことがない。
【0074】
以下、図2を参照して本実施形態のMotionJPEG撮影モードの動作を説明する。
MotionJPEG撮影モードが設定されている状態では、前述したスチル画像撮影モードと同様に、電子ビューファインダが実現される。すなわち、MPU13は、画像処理部5が有する制御レジスタ内の「取り込み実行」ビットをセットすることにより、間引きライン読み出しモードに基づき生成された画像データの取り込みの開始と、間引きライン用の画像処理の実行とを、画像処理部5に対して指示する。この場合、前記「取り込み実行」ビットは、ホールドされている。
【0075】
電子ビューファインダが実現されている状態において、レリーズスイッチが押下されると、MPU13は、間引きライン用画像処理によって得られた画像データに対するJPEG圧縮の実行をJPEG圧縮回路6に対して指示するため、JPEG圧縮回路6が有する制御レジスタ内の「圧縮実行」ビットをセットする。ただし、本実施形態における「圧縮実行」ビットは、図2に示すように、レリーズスイッチが再び押下される(場合によっては、最大記録時間が経過する)ことによってMotionJPEG撮影が終了するまでホールドされる。すなわち、このような「圧縮実行」ビットによって、連続する複数のフレーム(図2のフレームB〜フレームIに相当する)に対応する画像データのJPEG圧縮の開始と停止とが、JPEG圧縮回路6に対して指示されることになる。
【0076】
なお、画像処理部5による間引きライン用画像処理の途中で、MPU13からJPEG圧縮の開始が指示された場合、その時点では、画像処理部5からJPEG圧縮回路6への画像データの供給は行われず、その時点以降にTG4から出力されるVDに同期して画像処理部5で得られる画像データがJPEG圧縮回路6へ供給されるものとする。
【0077】
また、JPEG圧縮回路6によるJPEG圧縮の途中でMPU13からJPEG圧縮の停止が指示された場合、JPEG圧縮中のフレーム(図2のフレームIに相当する)に対しては、最後までJPEG圧縮を継続して行っても良いし、JPEG圧縮の停止が指示された時点でJPEG圧縮を中断しても良い。本実施形態では、JPEG圧縮を継続するモード(以下、「圧縮継続モード」と称する)と、JPEG圧縮を中断するモード(以下、「圧縮中断モード」と称する)との何れかが選択可能になっており、MPU13によって予め設定されているものとする。
【0078】
画像処理部5による間引きライン用画像処理によって得られる画像データは、JPEG圧縮回路6によってJPEG圧縮されてSDRAM7に格納される。また、画像処理部5による間引きライン用画像処理によって得られる画像データは、SDRAM7の別領域に格納され、TG4から次に出力されるVDに同期し、電子ビューファインダとしてLCD9に表示される。
【0079】
このようにして、電子ビューファインダとMotionJPEG撮影とが実現されている状態において、レリーズスイッチが再び押下される(場合によっては、最大記録時間が経過する)と、MPU13は、MotionJPEG撮影を終了させるために、前記「圧縮実行」ビットをクリアしてJPEG圧縮の停止をJPEG圧縮回路6に対して指示する。次いで、MPU13は、SDRAM7に格納されている各々のフレームに対応する画像データをメモリカードインタフェース部12を介してメモリカード11に記録する。
【0080】
ただし、MPU13は、JPEG圧縮回路6に対して前述した圧縮継続モードを予め設定しており、JPEG圧縮回路6は、JPEG圧縮の停止が指示された時点にJPEG圧縮中のフレーム(図2のフレームIに相当する)に対応する画像データを、最後までJPEG圧縮する。そして、MPU13は、フレームIの圧縮が終了してから、メモリカード11への画像データの記録を開始する。
【0081】
以上説明したように、本実施形態のMotionJPEG撮影モードでは、MPU13は、連続する複数のフレームに対応する画像データの取り込みおよび間引きライン用画像処理の開始と停止とを、画像処理部5に対して指示したり、連続する複数のフレームに対応する画像データのJPEG圧縮の開始と停止とをJPEG圧縮回路6に対して指示している。すなわち、従来、画像データの取り込み、画像処理、圧縮の指示をフレーム毎に繰り返し行う単一フレーム制御によって実現する必要があった電子ビューファインダやMotionJPEG撮影を、連続フレーム制御によって実現することができる。そのため、MPU13は、電子ビューファインダやMotionJPEG撮影の実行中に、AE制御,AF制御,AWB調整等の処理に専念することができる。
【0082】
また、本実施形態では、レリーズスイッチが再び押下される(場合によっては、最大記録時間が経過する)と、MPU13は、JPEG圧縮の停止をJPEG圧縮回路6に指示する必要があるが、JPEG圧縮回路6に圧縮継続モードが設定されているため、MPU13によるこのような指示は、JPEG圧縮中の画像データのJPEG圧縮の終了を待たずに行うことができる。したがって、VDが出力される前後におけるMPU13の負荷を軽減することができる。
【0083】
なお、本実施形態では、電子ズームを実現する際に、変更用レジスタ内のパラメータの設定が変更され、変更用レジスタ内のパラメータに設定した内容が実参照用レジスタにロードされるが、変更用レジスタおよび実参照用レジスタは、画像処理部5によって選択的に行われる他の処理を実現するために利用することも可能である。
【0084】
例えば、間引きライン読み出し用レジスタと全ライン読み出し用レジスタとを設けずに、変更用レジスタおよび実参照用レジスタを利用することによって、電子ビューファインダ、スチル画像撮影、MotionJPEG撮影を選択的に実現しても良い。
ところで、電子カメラ100では、MotionJPEG撮影の結果を再生する際、メモリカード11に記録された画像データを読み出して伸長し、動画としてLCD9に表示する処理が行われる。画像データをメモリカード11から読み出して伸長する処理は、前述したようなMotionJPEG撮影時における画像データの取り込み、画像処理、JPEG圧縮と同様に、MPU13が開始と停止とを指示することによって実現可能である。
【0085】
したがって、このような指示によってメモリカード11から画像データを読み出して伸長する場合、表示用のVDが出力される際におけるMPU13の負荷を軽減することができる。そのため、MPU13は、伸長済みの画像データを動画として表示するためのタイミング制御に専念することができる。また、伸長済みの画像データを表示する以外の処理についても、MotionJPEG撮影の結果の再生時に、バックグランドで行うことが可能である。
【0086】
【発明の効果】
以上説明したように、本発明の電子カメラによれば、特定のタイミングに負荷を集中させることなく、画像データに対する所定の処理を確実に行うことができる。
【図面の簡単な説明】
【図1】本実施形態のスチル画像撮影モードの動作シーケンスを示す図である。
【図2】本実施形態のMotionJPEG撮影モードの動作シーケンスを示す図
【図3】電子カメラの構成を示す図である。
【図4】画像処理部の構成を示す図である。
【図5】従来のスチル画像撮影モードの動作シーケンスを示す図である。
【図6】従来のMotionJPEG撮影モードの動作シーケンスを示す図である。
【符号の説明】
1 撮影レンズ
2 CCD撮像素子
3 A/D変換器
4 TG
5 画像処理部
6 JPEG圧縮回路
7 SDRAM
8 バスインタフェース部
9 LCD
10 表示制御部
11 メモリカード
12 メモリカードインタフェース部
13 MPU
14 ROM
50 欠陥補正部
51 OBクランプ回路
52 ゲイン調整/WB調整部
53 ガンマ補正部
54 補間処理部
55 色変換/色補正部
56 解像度変換部
57 空間フィルタ
58 間引き処理部
59 評価値抽出部
60、62、63 出力バッファ
61 入力バッファ
100 電子カメラ
【発明の属する技術分野】
本発明は、被写体像を撮像して得られる信号電荷を読み出して画像データを生成し、その画像データに所定の処理を行う電子カメラに関する。
【0002】
【従来の技術】
従来から、電子カメラでは、信号電荷の全ライン読み出しによって生成される画像データに対し、所定の画像処理を行うことによって、スチル画像撮影が実現されている。また、従来の電子カメラには、全ライン読み出しモードと間引きライン読み出しモードとを切り換えることにより、スチル画像撮影の他、所謂、MotionJPEG撮影による動画撮影や、被写体の構図の確認等に用いることが可能な動画を内蔵のLCD等に表示する電子ビューファインダを実現するものがある。
【0003】
以下、電子ビューファインダを実現しつつスチル画像撮影が可能な撮影モードを「スチル画像撮影モード」と称し、電子ビューファインダを実現しつつMotionJPEG撮影が可能な撮影モードを「MotionJPEG撮影モード」と称する。なお、スチル画像撮影モードには、撮影が行われる度に、撮影確認用の画像を内蔵のLCD等に表示する機能も含まれる。
【0004】
図3は、これらの撮影モードの設定が可能な電子カメラの構成を示す図である。
図3において、電子カメラ100は、不図示のメカシャッター,ズーム用モータ,絞り,AF用モータ等が内蔵された撮影レンズ1と、撮影レンズ1によって受光面上に結像された被写体像を撮像して得られる信号電荷を読み出してアナログの画像データを生成するCCD撮像素子2と、CCD撮像素子2によって生成されたアナログの画像データをディジタルの画像データに変換するA/D変換器3と、CCD撮像素子2およびA/D変換器3に対して、VD(垂直同期信号)等の制御信号を出力して、信号電荷に対する所定の読み出しモード(全ライン読み出しモード,間引きライン読み出しモード)による駆動を実現するTG(タイミングジェネレータ)4とを備えている。
【0005】
なお、電子カメラ100における全ライン読み出しモードは、インターレース読み出しによって実現されるものとする。
また、電子カメラ100には、A/D変換器3から出力される画像データを取り込み、各種の画像処理を行って所定の形式(電子ビューファインダやMotionJPEG撮影に適応した形式、スチル画像の撮影確認や記録に適応した形式)の画像データを得る画像処理部5と、画像処理部5によって得られた画像データに対し、必要に応じてJPEG圧縮を施すJPEG圧縮回路6と、画像処理部5によって得られる画像データやJPEG圧縮回路6によってJPEG圧縮が施された画像データ等を一時的に格納するSDRAM7とが備えられている。画像処理部5およびJPEG圧縮回路6は、ピクチャバスに接続され、バスインタフェース部8を介し、SDRAM7との間で画像データ等のやり取りを行う。また、画像処理部5およびJPEG圧縮回路6は、システムバスにも接続されている。
【0006】
図4は、画像処理部5の構成を示す図である。
図4において、画像処理部5は、欠陥画素補正を行う欠陥補正部50と、黒レベル補正を行うOB(Optical Black)クランプ回路51と、ゲイン調整やWB調整を行うゲイン調整/WB調整部52と、ガンマ補正を行うガンマ補正部53と、補間処理を行う補間処理部54と、色変換(RGB表色系からYCbCr表色系への変換等)や色補正を行う色変換/色補正部55と、解像度変換(画像の拡大/縮小)を行う解像度変換部56と、空間フィルタ処理(エッジ強調等)を行う空間フィルタ57と、間引き処理(Y,Cb,Crの比率を4:4:4から4:2:2に変換する処理等)を行う間引き処理部58とを備えている。
【0007】
また、画像処理部5には、後述するMPUによるAE制御,AF制御,AWB調整を実現するための評価値を抽出する評価値抽出部59が設けられている。
電子カメラ100では、前述したように、全ライン読み出しモードの際、インターレース読み出しが行われるので、画像処理部5は、1ライン置きの画像データ(後述する第1フィールド、第2フィールドに相当する)を取り込むことになるため、この画像データをそのまま後段の補間処理部54に送って、リアルタイムで補間処理を行うことができない。
【0008】
さらに、全ライン読み出しモードで得られた画像データ自身からAWB調整用の評価値を抽出する場合(電子ビューファインダが実現されている際の間引き読み出しモードの画像データから抽出されるAWB調整用の評価値を利用しない場合)は、1画面(1フレーム)分の全ての画像データの取り込みが終了するまでAWB調整用の評価値が確定しないので、ゲイン調整/WB調整部52によるAWB調整も実行できない。
【0009】
よって、第2フィールドの画像データの取り込みが終了するまでは、画像処理部5におけるWB調整以降の処理は実行できず、ゲイン調整までの処理と、AWB調整用の評価値の抽出とが行われるだけである。すなわち、AWB調整用の評価値の抽出は、第1フィールドと第2フィールドとにまたがって行われるのである。
【0010】
そのため、画像処理部5では、全ライン読み出しモードの際、SDRAM7上で1フレーム分の画像データを合成してからWB調整以降の処理を行う必要があり、ゲイン調整/WB調整部52によってゲイン調整が行われた画像データをピクチャバスを介してSDRAM7に供給するための出力バッファ60が設けられている。
【0011】
なお、マニュアルWB調整を行う場合は、予めWB調整の値が決まっているので、全ライン読み出しモードの読み出し期間中には、AWB調整用の評価値の抽出を行う必要がない。しかし、リアルタイムで補間処理が行えないので、画像データをSDRAM7に一旦格納する点は変わらない。
また、画像処理部5は、SDRAM7に格納されている画像データをピクチャバスを介してゲイン調整/WB調整部52に取り込み、WB調整以降の処理を行うために入力バッファ61と、間引き処理までの全ての画像処理が終了した画像データをピクチャバスを介してSDRAM7に供給するための出力バッファ62と、評価値抽出部59によって抽出された評価値をシステムバスを介して後述するMPUへ供給するための出力バッファ63とを備えている。
【0012】
なお、図4では図示を省略しているが、出力バッファ60,入力バッファ61,出力バッファ62を除く画像処理部5内の各部も、システムバスに接続されており、後述するMPUによって制御される。
電子カメラ100は、前述した各部の他、SDRAM7に格納されている表示用の画像データをLCD9に適した形式の信号に変換して表示する表示制御部10と、SDRAM7に格納されている記録用の画像データをメモリカード(カード状のリムーバブルメモリ)11に記録するメモリカードインタフェース部12と、撮影レンズ1,TG4,システムバスに接続されたMPU13と、MPU13によって実行されるプログラムを予め記憶するROM14とを備えている。
【0013】
表示制御部10は、ピクチャバスに接続され、バスインタフェース部8を介してSDRAM7から画像データを取り込み、メモリカードインタフェース部12は、システムバスに接続され、バスインタフェース部8を介し、SDRAM7との間で画像データのやり取りを行う。なお、表示制御部10は、システムバスにも接続されている。
【0014】
また、MPU13は、バスインターフェース部8を介してROM14からプログラムを取り込み、そのプログラムを実行することによって電子カメラ100内の各部を制御する。
例えば、MPU13は、ユーザにより不図示の操作部を介して行われた操作(レリーズスイッチやズームスイッチの押下等)に応じて、不図示のレンズモータドライバを介して撮影レンズ1内の各部を駆動し、メカシャッターの開閉,光学ズーム,AE制御,AF制御等を実現する。
【0015】
また、MPU13は、望遠側の光学ズームが限界に達した場合、表示制御部10内に備えられている不図示の解像度変換部、または、画像処理部5内に備えられている解像度変換部56が有するレジスタ内のパラメータの設定内容を変更することによって、電子ズームを実現する。
さらに、MPU13は、TG4を介してCCD撮像素子2における露光時間を制御して電子シャッターを実現したり、画像処理部5がA/D変換器3から画像データを取り込むタイミングや、JPEG圧縮回路6におけるJPEG圧縮の実行のタイミングや、LCD9における表示のタイミング等をシステムバスを介して制御する。
【0016】
また、MPU13は、ユーザにより不図示の操作部を介して設定された撮影モード(スチル画像撮影モード,MotionJPEG撮影モード)に応じて、TG4による制御信号の出力を制御し、CCD撮像素子2における信号電荷に対する読み出しモード(全ライン読み出しモード,間引きライン読み出しモード)の切り換えを実現する。
【0017】
さらに、MPU13は、画像処理部5が有する不図示のレジスタにシステムバスを介してアクセスし、そのレジスタ内の各種パラメータを設定することによって、ユーザにより不図示の操作部を介して設定された撮影モード(スチル画像撮影モード,MotionJPEG撮影モード)に応じた手順による画像処理を実現する。
【0018】
すなわち、電子カメラ100では、MPU13による各部への指示やパラメータの設定内容に応じて、スチル画像撮影モードと、MotionJPEG撮影モードとが実現されることになる。
図5は、従来のスチル画像撮影モードの動作シーケンスを示す図であり、図6は、従来のMotionJPEG撮影モードの動作シーケンスを示す図である。
【0019】
図5および図6に示すように、電子カメラ100では、CCD撮像素子2における露光時間,CCD撮像素子2からの画像データの出力(図中の「CCD出力」に相当する)のタイミング,画像処理部5における画像データの取り込みおよび画像処理のタイミング,LCD9における画像の表示のタイミングは、VDに同期して制御される。また、電子カメラ100では、JPEG圧縮回路6におけるJPEG圧縮の実行のタイミングについても、VDに同期して制御される。
【0020】
スチル画像撮影モードでは、操作者によるレリーズスイッチの押下によって撮影が開始されるまでは、電子ビューファインダが実現される。
電子ビューファインダは、MPU13によって、TG4が間引きライン読み出しモード用に設定され、かつ、画像処理部5(具体的には、不図示のレジスタ内のパラメータ)が間引きライン読み出しによって得られる画像データに適応した画像処理(以下、「間引きライン用画像処理」)を実行するように設定されている状態で行われる。
【0021】
画像処理部5では、全ライン読み出しモードにおける画像処理が、ゲイン調整までの処理と、WB調整以降の処理との2ステップに分かれて実行されるのに対して、間引きライン用画像処理は、1ステップで全ての処理が行われる。これは、間引きライン読み出しモードでは、1つのVDに対して1フレーム分の画像データ全て(ただし、ライン数は少ない)が取り込まれるからである。よって、間引きライン読み出しモードにおいては、画像処理が施された画像データは、出力バッファ62を介してピクチャバスに出力されて、SDRAM7に一時格納される。
【0022】
間引きライン読み出しに基づき生成された画像データ(図5のフレームA,B,Cに相当する)は、MPU13からの指示によって画像処理部5に取り込まれるが、この指示は、MPU13が画像処理部5内の不図示の制御レジスタの「取り込み実行」ビットをセットすることにより行われる。
画像処理部5では、このような「取り込み実行」ビットがセットされた状態で、最初にTG4から出力されるVDに同期して、画像データの取り込みが行われる。ただし、VDが入力されると、「取り込み実行」ビットはクリアされ、それ以降は再び「取り込み実行」ビットがセットされない限り、画像データの取り込みは行われない。
【0023】
画像処理部5は、このようにして取り込まれた画像データに、間引きライン用画像処理を行って電子ビューファインダに適応した形式の画像データを生成して出力する。
このようにして画像処理部5によって得られた画像データは、TG4から次に出力されるVDに同期し、電子ビューファインダとしてLCD9に表示される。
【0024】
つまり、電子ビューファインダの画像は、CCD出力から1フレーム遅れで表示されるのである。そのため、SDRAM7上には、2フレーム分の表示用の画像データの記憶領域を用意しておき、フレームAの表示(SDRAM7からの読み出しを含む)を行っている間は、フレームBの画像データをもう1つの記憶領域に格納している。
【0025】
今までの説明では、表示制御部10のVDと、TG4のVDとが同期していると仮定していたが、両者が同期していない場合は、LCD9の表示を乱さないために、SDRAM7上の表示用の画像データの記録領域を少なくとも3フレーム分用意する必要がある。そして、画像処理部5が次の表示用の画像データの出力を終えていた場合は、表示制御部10のVDに同期して表示すべきフレームの切り換えを行うのである。
【0026】
TG4のVDの周波数が、表示制御部10のVDの周波数よりも僅かに高い場合は、時々表示されないフレームが発生する「フレーム飛ばし」が行われるが、それと逆の場合は、同一フレームを繰り返して表示する「フレーム挿入」が行われることになる。しかし、このような場合、LCD9の表示が乱れることはない。
MPU13は、電子ビューファインダが実現されている状態において、レリーズスイッチが押下されると、まず、AE/AFの制御をロックし、次いで、その時点のAE制御用の評価値に基づいてスチル画像用の露光時間を決定する。そして、電子シャッターを実現するために、その露光時間をTG4に設定する。その結果、次のVDの入力時からスチル画像用の露光が行われることになる。
【0027】
そして、スチル画像用の露光中(図5のフレームEの露光中)にMPU13は、フレームDの画像データの取り込みを行わずにTG4および画像処理部5(具体的には、不図示のレジスタ内のパラメータ)を全ライン読み出しモード用に設定すると共に、前記「取り込み実行」ビットをセットすることにより、全ライン読み出しに基づき生成されたスチル画像用の画像データ(図5のフレームEに相当する)の取り込みを画像処理部5に指示する。
【0028】
その結果、全ライン読み出しに基づき生成されたスチル画像用の画像データは、TG4から次に出力されるVDに同期して、画像処理部5に取り込まれる。ただし、電子カメラ100では、全ライン読み出しをインターレース読み出しによって実現しているため、スチル画像用の画像データの取り込みは、第1フィールド(Odd Field)と第2フィールド(Even Field)とに分かれて行われる。すなわち、MPU13は、各々のフィールド毎に前記「取り込み実行」ビットをセットする必要がある。
【0029】
画像処理部5によってスチル画像用の画像データの取り込みが開始される前に、MPU13は、表示制御部10を介してLCD9による画像の表示を停止させると共に、撮影レンズ1内のメカシャッターを閉じて露光を停止させる。
そして、画像処理部5によるスチル画像用の画像データの取り込みが終了すると、MPU13は、電子ビューファインダの再実行に備えて、TG4を再び間引きライン読み出しモード用に設定すると共に、撮影レンズ1内のメカシャッターを開く。また、MPU13は、画像処理部5(具体的には、不図示のレジスタ内のパラメータ)を、スチル画像の撮影確認に適応した形式の画像データを得るための画像処理(以下、「確認用画像処理」と称する)を実行するように設定すると共に、画像処理部5が有する不図示の制御レジスタ内の「スチル画像用画像処理実行」ビットをセットして確認用画像処理を行わせる。
【0030】
そして、撮影確認に適応した形式の画像データが得られると、MPU13は、このような画像データを表示制御部10を介してLCD9に表示する。また、MPU13は、画像処理部5(具体的には、不図示のレジスタ内のパラメータ)を、スチル画像の記録に適応した形式の画像データを得るための画像処理(以下、「記録用画像処理」と称する)を実行するように設定すると共に、前記「スチル画像用画像処理実行」ビットをセットして記録用画像処理を実行させる。
【0031】
同時に、MPU13は、画像処理部5によって得られた画像データに対してJPEG圧縮を実行するため、JPEG圧縮回路6が有する不図示の制御レジスタ内の「圧縮実行」ビットをセットしてJPEG圧縮を実行させる。
【0032】
その結果、JPEG圧縮は、記録用画像処理と並行して実行されることになる。なお、JPEG圧縮された画像データは、前述したように、SDRAM7に格納され、その後、メモリカードインタフェース部12を介してメモリカード11に記録される。場合によっては、JPEG圧縮回路6から出力されるJPEG圧縮済みの画像データを、端からメモリカード11に記録しても良い。すなわち、JPEG圧縮と記録とを並列に実行することもできる。
【0033】
記録用画像処理(場合によっては、JPEG圧縮を含む)が終了すると、MPU13は、画像処理部5(具体的には、不図示のレジスタ内のパラメータ)を再び間引きライン用画像処理を実行するように設定すると共に、前記「取り込み実行」ビットをセットして、電子ビューファインダを再実行させる。
したがって、以上説明したような処理を繰り返すことによって、電子カメラ100では、スチル画像撮影モードが実現されることになる。
【0034】
一方、MotionJPEG撮影モードでは、スチル画像撮影モードと同様に、電子ビューファインダが実現される。ただし、MotionJPEG撮影モードにおける電子ビューファインダは、操作者によるレリーズスイッチの押下に応じて撮影が行われる状態であっても実現される。
すなわち、MotionJPEG撮影モードでは、常に、間引き読み出しモードに基づき画像データが生成され、画像処理部5は、このような画像データを、前記「取り込み実行」ビットがMPU13によってセットされた直後にTG4から出力されるVDに同期して、取り込むことになる。
【0035】
電子ビューファインダが実現されている状態において、レリーズスイッチが押下され、その時点に画像処理部5で取り込み中の画像データ(図6のフレームAに相当する)の取り込みが終了すると、MPU13は、前記「取り込み実行」ビットをセットすると共に、JPEG圧縮回路6が有する不図示の制御レジスタ内の「圧縮実行」ビットもセットする。
【0036】
すなわち、MPU13は、画像処理部5に対し、次に生成される画像データ(図6のフレームBに相当する)の取り込みおよび間引きライン用画像処理の実行を指示すると共に、JPEG圧縮回路6に対し、JPEG圧縮の実行を指示する。その結果、間引きライン用画像処理によって得られる画像データは、引き続きJPEG圧縮されてSDRAM7に格納される。また、間引きライン用画像処理によって得られる画像データは、TG4から次に出力されるVDに同期し、電子ビューファインダとしてLCD9に表示される。
【0037】
なお、前記「圧縮実行」ビットは、JPEG圧縮が開始されるとクリアされるようになっている。そのため、JPEG圧縮回路6は、1フレーム分の画像データに対するJPEG圧縮の終了をもって動作を停止する。
したがって、上述したような画像処理部5およびJPEG圧縮回路6に対する指示がMPU13によって繰り返されることにより、電子ビューファインダの実行が継続されつつ、MotionJPEG撮影が実現されることになる。そして、このようなMotionJPEG撮影は、レリーズスイッチが再び押下される(場合によっては、最大記録時間が経過する)まで繰り返される。
【0038】
図6では、フレームBからMotionJPEG撮影が行われることになるが、この時点では、フレームBが未だLCD9に表示されていない。これは、LCD9への表示が1フレーム分遅れているからである。つまり、未だ表示されていないフレームから撮影が始まるのである。しかし、MotionJPEG撮影では、フレームレートが、例えば、30フレーム/秒のように高速なので、1フレーム分の遅れは問題にならない。むしろ、撮影の遅延が少ないという点で好ましいとも言える。
【0039】
なお、MotionJPEG撮影によりSDRAM7に格納された各々のフレームに対応する画像データは、レリーズスイッチが再び押下されてから(場合によっては、最大記録時間が経過してから)、メモリカードインタフェース部12を介してメモリカード11に記録される。
【0040】
以上説明したようにして、電子カメラ100では、MotionJPEG撮影モードが実現される。
【0041】
【発明が解決しようとする課題】
前述したような電子ビューファインダが実現されている状態やMotionJPEG撮影が行われている状態では、常時、AE制御,AF制御,AWB調整が必要である。すなわち、MPU13は、画像処理部5に画像データの取り込みを指示するための前記「取り込み実行」ビットのセットや、JPEG圧縮回路6にJPEG圧縮を指示するための前記「圧縮実行」ビットのセットを繰り返し行うと共に、AE制御,AF制御,AWB調整を実現するための処理を行わなければならない。
【0042】
このような処理は、「取り込み実行」ビットや「圧縮実行」ビットのセットと同様に、TG4からのVDの出力に同期して行われるので、VDが出力される前後におけるMPU13の負荷を増大させてしまう。
また、VDが出力される前後では、前述した以外の処理もバックグランドで行われることが多く、MPU13の負荷が更に増大してしまうことになる。そのため、バックグラウンドの処理は、中断されたり、間に合わなかったり、スキップされたりする場合があった。
【0043】
例えば、望遠側の光学ズームが限界に達して電子ズームが必要となった際、MPU13は、その時点でLCD9の表示対象となっている画像データ(図5のフレームAに相当する)の表示が終了してから、次に表示対象となる画像データ(図5のフレームBに相当する)の表示が開始されるまでの期間に、表示制御部10内に備えられている不図示の解像度変換部が有するレジスタ内のパラメータの設定内容を電子ズーム用に変更しなければならない。または、電子ズームが必要となった時点で画像処理対象となっている画像データ(図5のフレームBに相当する)の画像処理が終了してから、次に画像処理対象となる画像データ(図5のフレームCに相当する)の画像処理が開始されるまでの期間に、画像処理部5内に備えられている解像度変換部56が有するレジスタ内のパラメータの設定内容を電子ズーム用に変更しなければならない。
【0044】
しかし、このようなパラメータの設定内容の変更は、MPU13の負荷の増大によって所定の期間内に終了できない場合があり、その場合、電子ビューファインダの画像が乱れるという不具合が発生してしまう。
また、スチル画像撮影モードでは、電子ビューファインダが実現されている状態において、レリーズスイッチが押下されると、画像処理部5内の不図示のレジスタ内のパラメータを全ライン読み出しモード用に設定する処理を行うが、このような処理に並行して、LCD9による画像の表示を停止させる処理や、撮影レンズ1内のメカシャッターを閉じて露光を停止させる処理が必要である。すなわち、MPU13の負荷が特定のタイミング(VDが出力される前後)に集中しまうことになる。
【0045】
そこで、本発明は、特定のタイミングに負荷を集中させることなく、画像データに対する所定の処理を確実に行うことができる電子カメラを提供することを目的とする。
【0046】
【課題を解決するための手段】
請求項1に記載の電子カメラは、被写体像を撮像して得られる信号電荷を読み出してフレーム単位で画像データを生成する撮像手段と、前記撮像手段によって生成される前記画像データを所定の同期信号に応じて取り込み、画像処理を行う画像処理手段と、前記画像処理手段による画像データの取り込みおよび画像処理を連続する複数のフレームに対応する画像データに対して順次行わせるための連続フレーム制御と、該画像処理手段による画像データの取り込みおよび画像処理を単一のフレームに対応する画像データに対して行わせるための単一フレーム制御とを切り換えて、該画像処理手段を制御する制御手段とを備えたことを特徴とする。
【0047】
請求項2に記載の電子カメラは、請求項1に記載の電子カメラにおいて、前記撮像手段は、画像データの生成に際して、少なくとも間引きライン読み出しモードを含む複数の読み出しモードを切り換えて信号電荷を読み出し、前記制御手段は、前記撮像手段によって前記間引き読み出しモードに基づき画像データが生成されている場合、前記連続フレーム制御によって前記画像処理手段を制御することを特徴とする。
【0048】
請求項3に記載の電子カメラは、請求項1に記載の電子カメラにおいて、前記画像処理手段によって行われる画像処理は、前記画像データに対する圧縮処理を含むことを特徴とする。
請求項4に記載の電子カメラは、請求項3に記載の電子カメラにおいて、前記制御手段は、前記画像処理手段による前記圧縮処理を含む画像処理によって動画撮影が実現されている場合、前記連続フレーム制御によって該画像処理手段を制御することを特徴とする。
【0049】
請求項5に記載の電子カメラは、請求項1に記載の電子カメラにおいて、前記制御手段は、前記連続フレーム制御によって前記画像処理手段を制御する際、画像データの取り込みおよび画像処理についての開始と停止とを該画像処理手段に指示し、前記画像処理手段は、前記制御手段によって画像データの取り込みおよび画像処理の停止が指示された際に、画像データの取り込みおよび画像処理を行っているフレームに対しては、最後まで画像データの取り込みおよび画像処理を継続して行うことを特徴とする。
【0050】
請求項6に記載の電子カメラは、請求項1に記載の電子カメラにおいて、前記画像処理手段は、前記画像処理を行う際に参照すべきパラメータの設定内容が撮影条件毎に変えられる複数のレジスタを有し、前記制御手段は、前記複数のレジスタを実際の撮影条件に応じて切り換えて、前記画像処理手段がパラメータの設定内容の参照を有効にすべきレジスタを決めることを特徴とする。
【0051】
請求項7に記載の電子カメラは、請求項1に記載の電子カメラにおいて、前記画像処理手段は、前記画像処理を行う際に参照するパラメータが設定される第1のレジスタと、該画像処理を行っている間に前記制御手段によるパラメータの設定が可能な第2のレジスタとを有し、前記制御手段は、前記第1のレジスタのパラメータの設定内容を、所定のタイミングで、前記第2のレジスタのパラメータの設定内容に変更することを特徴とする。
【0052】
請求項8に記載の電子カメラは、請求項7に記載の電子カメラにおいて、前記所定のタイミングは、前記画像処理手段による前記画像処理がフレームの最後まで終了した以降のタイミングであることを特徴とする。
請求項9に記載の電子カメラは、請求項6または請求項7に記載の電子カメラにおいて、前記撮影条件は、前記撮像手段による信号電荷の読み出し時の条件であることを特徴とする。
【0053】
請求項10に記載の電子カメラは、請求項6または請求項7に記載の電子カメラにおいて、前記撮影条件は、前記画像処理手段による画像処理の条件であることを特徴とする。
請求項11に記載の電子カメラは、請求項7に記載の電子カメラにおいて、前記画像処理手段によって画像処理が行われた画像データを画像として表示する表示手段を備え、前記所定のタイミングは、前記表示手段に前記画像データが画像として表示されるタイミングであることを特徴とする。
【0054】
【発明の実施の形態】
以下、図面に基づいて、本発明の実施形態について詳細を説明する。
ただし、本発明の実施形態に対応する電子カメラの構成については、レジスタの構成が異なる点を除き、図3および図4と同じであるため、以下では、図示および説明を省略する。また、以下では、本発明の実施形態に対応する電子カメラおよびその各部については、図3および図4に記載の符号を用いて説明を行う。
【0055】
なお、本発明の請求項では、画像処理を広義に捉え、画像処理には圧縮処理等が含まれるが、本実施形態では、画像処理を狭義に捉えてJPEG圧縮を画像処理とは区別して説明する。
図1は、本実施形態のスチル画像撮影モードの動作シーケンスを示す図であり、図2は、本実施形態のMotionJPEG撮影モードの動作シーケンスを示す図である。
【0056】
以下、図1を参照して本実施形態のスチル画像撮影モードの動作を説明する。
スチル画像撮影モードが設定されている状態では、操作者によるレリーズスイッチの押下によって撮影が開始されるまでに、電子ビューファインダが実現されるが、電子ビューファインダは、間引きライン読み出しモードに基づき生成された画像データによって実現される。
【0057】
本実施形態の電子カメラ100において、画像処理部5は、間引きライン読み出し用のパラメータを設定するためのレジスタ(以下、「間引きライン読み出し用レジスタ」と称する)と、全ライン読み出し用のパラメータを設定するためのレジスタ(以下、「全ライン読み出し用レジスタ」と称する)とを有している。これらのレジスタのうち、何れのレジスタのパラメータの参照を有効にするかは、MPU13によって適宜決められる。
【0058】
MPU13は、電子ビューファインダの実現に際し、TG4を間引きライン読み出しモード用に設定すると共に、画像処理部5が有する間引きライン読み出し用レジスタの参照を有効にする。
また、MPU13は、間引きライン読み出しモードに基づき生成された画像データの取り込みを画像処理部5に対して指示するために画像処理部5が有する制御レジスタ内の「取り込み実行」ビットをセットするが、本実施形態における「取り込み実行」ビットは、図1に示すように、操作者によるレリーズスイッチの押下によって撮影が開始されるまで、ホールドされる。なお、画像処理部5では、このようにして取り込まれる画像データに対して、間引きライン用画像処理が行われる。すなわち、このようにホールドされた「取り込み実行」ビットによって、連続する複数のフレーム(図1のフレームA,B,Cに相当する)に対応する画像データの取り込みおよび間引きライン用画像処理の実行が、画像処理部5において実現されることになる。以下、連続する複数のフレームを一括して処理する制御形態を「連続フレーム制御」と称する。
【0059】
なお、画像処理部5による画像データの取り込みの途中でMPU13から取り込みの停止が指示された場合、画像データの取り込み中のフレーム(図1のフレームCに相当する)に対しては、最後まで画像データの取り込みおよび画像処理を継続して行っても良いし、取り込みの停止が指示された時点で取り込みおよび画像処理を中断しても良い。本実施形態では、取り込みおよび画像処理を継続するモード(以下、「取込継続モード」と称する)と、取り込みおよび画像処理を中断するモード(以下、「取込中断モード」と称する)との何れかが選択可能になっており、MPU13によって予め設定されているものとする。
【0060】
画像処理部5は、前記「取り込み実行」ビットがホールドされている状態において、TG4から出力されるVDに同期して画像データを取り込み、間引きライン用画像処理を行って電子ビューファインダに適応した形式の画像データを得る。
ただし、本実施形態では、従来の電子カメラと異なり、「取り込み実行」ビットがVDの入力によってクリアされることがない。そのため、連続フレーム制御が実現されるのである。なお、連続フレーム制御が行われている際に、画像データの取り込みと画像処理とを停止するには、MPU13が「取り込み実行」ビットをクリアすれば良い。
【0061】
そして、このようにして得られた電子ビューファインダに適応した形式の画像データは、TG4から次に出力されるVDに同期し、電子ビューファインダとしてLCD9に表示される。
【0062】
このようにして電子ビューファインダが実現されている状態において、望遠側の光学ズームが限界に達すると、MPU13は、電子ズームを実現するための処理を行う。
本実施形態の電子カメラ100において、表示制御部10内に備えられている不図示の解像度変換部と、画像処理部5内に備えられている解像度変換部56とは、解像度変換時に実際に参照されるレジスタ(以下、「実参照用レジスタ」と称する)を有している他に、MPU13がパラメータの設定内容を変更するためにアクセスするレジスタ(以下、「変更用レジスタ」と称する)を有している。なお、変更用レジスタには、実参照用レジスタと一対一に対応するパラメータを設けても良いし、実参照用レジスタにおいて変更を要するパラメータのみを設けても良い。
【0063】
実参照用レジスタ内のパラメータの設定内容の変更は、変更用レジスタ内のパラメータに予め設定されている内容を、実参照用レジスタにロードすることによって行われる。
したがって、MPU13は、電子ズームが必要となった時点で、変更用レジスタ内のパラメータの設定内容を電子ズーム用に変更し、VDが次に出力される前後(フレームの変わり目)で、変更用レジスタ内のパラメータに設定した内容を実参照用レジスタにロードすることによって、電子ズームを実現することになる。
【0064】
また、電子ビューファインダが実現されている状態において、レリーズスイッチが押下されると、MPU13は、AE/AFの制御をロックし、次いで、電子シャッターを実現するためにTG4に露光時間を設定すると共に、前記「取り込み実行」ビットをクリアして画像データの取り込みを停止させる。
ただし、MPU13は、画像処理部5に対して前述した取込継続モードを予め設定しており、画像処理部5では、取り込みの停止が指示された時点に取り込み中のフレーム(図1のフレームCに相当する)に対応する画像データが、最後まで取り込まれ、間引きライン用画像処理が行われる。その結果、そのフレームに対応する画像データは、TG4から次に出力されるVDに同期し、電子ビューファインダとしてLCD9に表示されることになる。また、そのVDに同期してスチル画像用の露光(図1のフレームEの露光)が開始される。
【0065】
そして、スチル画像用の露光中(図1のフレームEの露光中)にMPU13は、TG4を全ライン読み出しモード用に設定すると共に、画像処理部5が有する全ライン読み出し用レジスタの参照を有効にする。次いで、MPU13は、後述の「単一フレーム制御」に基づいて前記「取り込み実行」ビットをセットすることにより、全ライン読み出しモードに基づき生成されたスチル画像用の画像データ(図1のフレームEに相当する)の取り込みを画像処理部5に指示する。
【0066】
さらに、スチル画像用の画像データの取り込みが行われるのに先立って、MPU13は、従来と同様に、表示制御部10を介してLCD9による画像の表示を停止させると共に、撮影レンズ1内のメカシャッターを閉じて露光を停止させる。
このような状態でTG4から次のVDが出力されると、それに同期して、スチル画像用の画像データの取り込みが行われる。全ライン読み出しモードは、インタレース読み出しによって実現されるので、第1フィールド(図1のフレームE(Odd Field)に相当する)読み出し用のVDと、第2フィールド(図1のフレームE(Even Field)に相当する)読み出し用のVDとの2つのVDが出力される。そのため、本実施形態では、第2フィールド読み出し用のVDが出力されるまで、前記「取り込み実行」ビットをホールドし、これにより、1フレームのスチル画像用の画像データが確実に取り込めるのである。なお、第2フィールド読み出し用のVDが出力されると、前記「取り込み実行」ビットはクリアされ、それ以降のフレームは取り込まれない。
【0067】
そして、スチル画像用の画像データの取り込みが終了すると、MPU13は、電子ビューファインダの再実行に備えて、TG4を再び間引きライン読み出しモード用に設定すると共に、撮影レンズ1内のメカシャッターを開く。
また、MPU13は、従来と同様に、画像処理部5が有する制御レジスタ内の「スチル画像用画像処理実行」ビットをセットして確認用画像処理の実行を指示し、確認用画像処理によって得られた画像データを表示制御部10を介してLCD9に表示する。その後、MPU13は、従来と同様に、画像処理部5に対して記録用画像処理の実行を指示すると共に、記録用画像処理によって得られるスチル画像の記録用の画像データに対するJPEG圧縮の開始をJPEG圧縮回路6に対して指示する。
【0068】
なお、確認用画像処理と記録用画像処理とは、VDのタイミングとは無関係(非同期)に実行されるため、これらの画像処理用のパラメータを設定するレジスタは、1セット持つだけで良い。すなわち、これらのレジスタは、画像処理が行われていなければ、何時でも書き換えができるため、確認用画像処理が終了した時点で、パラメータの設定内容を記録用画像処理用に変更すれば良い。したがって、このようなレジスタの書き換えを行ったとしても、VDが出力される前後におけるMPU13の負荷の増加が回避される。また、レジスタが1セットで済むため、回路規模の増大が抑えられる。
【0069】
JPEG圧縮が終了すると、MPU13は、電子ビューファインダを再開するため、画像処理部5が有する間引きライン読み出し用レジスタの参照を有効にすると共に、前記「取り込み実行」ビットをセットして間引きライン読み出し画像データの取り込みと、間引きライン用画像処理とを実行させる。さらに、MPU13は、JPEG圧縮によって得られた記録用の画像データの圧縮データをSDRAM7から読み出して、メモリカード11に記録する。
【0070】
本実施形態では、前述したような処理を繰り返すことによって、スチル画像撮影モードが実現される。なお、スチル画像撮影は、前述した連続フレーム制御と異なり、フレーム単位で処理を完結させる制御が行われるので、このような制御形態を、「単一フレーム制御」と称する。
以上説明したように、本実施形態のスチル画像撮影モードでは、電子ビューファインダを実現する際、MPU13は、連続する複数のフレームに対応する画像データの取り込みおよび間引きライン用画像処理の開始と停止とを、画像処理部5に対して指示している。すなわち、従来、画像データの取り込みおよび画像処理の指示をフレーム毎に繰り返し行う単一フレーム制御によって実現する必要があった電子ビューファインダを、連続フレーム制御によって実現することができる。そのため、MPU13は、電子ビューファインダの実行中に、AE制御,AF制御,AWB調整等の処理に専念することができる。
【0071】
また、本実施形態の電子カメラ100では、電子ビューファインダが実現されている状態でレリーズスイッチが押下されると、間引きライン読み出しモードに基づき生成された画像データの取り込みおよび間引きライン用画像処理の停止を、画像処理部5に指示する必要があるが、画像処理部5に取込継続モードが設定されているため、MPU13によるこのような指示は、取り込み中の画像データの取り込みの終了を待たずに行うことができる。したがって、VDが出力される前後におけるMPU13の負荷を軽減することができる。
【0072】
さらに、電子ビューファインダが実現されている状態で望遠側の光学ズームが限界に達すると、VDが次に出力される際に、電子ズームを実現するためのパラメータの設定内容の変更が必要となるが、本実施形態のMPU13は、望遠側の光学ズームが限界に達した時点で変更用レジスタ内のパラメータの設定を変更してしまえば、VDが次に出力される際には、変更後のパラメータの設定内容を実参照用レジスタにロードするだけで良い。すなわち、電子ズームが必要となっても、VDが出力される前後におけるMPU13の負荷が極端に増大することがないため、パラメータの設定内容の変更が間に合わずに電子ビューファインダの画像が乱れるという不具合が発生することがない。
【0073】
また、本実施形態の電子カメラ100では、画像処理部5が間引きライン読み出し用レジスタと全ライン読み出し用レジスタとを有しているため、予め全ライン読み出し用レジスタを設定しておくことにより、電子ビューファインダが実現されている状態においてレリーズスイッチが押下されても、全ライン読み出し用レジスタの参照を有効するという簡単な指示だけで、全ライン読み出しモードに基づいて生成されたスチル画像用の画像データの取り込みを直ちに開始することができる。したがって、従来のようにレリーズスイッチが押下されてから全ライン読み出し用にレジスタの設定を変更するのに比べて、MPU13の負荷が集中しまうことがない。
【0074】
以下、図2を参照して本実施形態のMotionJPEG撮影モードの動作を説明する。
MotionJPEG撮影モードが設定されている状態では、前述したスチル画像撮影モードと同様に、電子ビューファインダが実現される。すなわち、MPU13は、画像処理部5が有する制御レジスタ内の「取り込み実行」ビットをセットすることにより、間引きライン読み出しモードに基づき生成された画像データの取り込みの開始と、間引きライン用の画像処理の実行とを、画像処理部5に対して指示する。この場合、前記「取り込み実行」ビットは、ホールドされている。
【0075】
電子ビューファインダが実現されている状態において、レリーズスイッチが押下されると、MPU13は、間引きライン用画像処理によって得られた画像データに対するJPEG圧縮の実行をJPEG圧縮回路6に対して指示するため、JPEG圧縮回路6が有する制御レジスタ内の「圧縮実行」ビットをセットする。ただし、本実施形態における「圧縮実行」ビットは、図2に示すように、レリーズスイッチが再び押下される(場合によっては、最大記録時間が経過する)ことによってMotionJPEG撮影が終了するまでホールドされる。すなわち、このような「圧縮実行」ビットによって、連続する複数のフレーム(図2のフレームB〜フレームIに相当する)に対応する画像データのJPEG圧縮の開始と停止とが、JPEG圧縮回路6に対して指示されることになる。
【0076】
なお、画像処理部5による間引きライン用画像処理の途中で、MPU13からJPEG圧縮の開始が指示された場合、その時点では、画像処理部5からJPEG圧縮回路6への画像データの供給は行われず、その時点以降にTG4から出力されるVDに同期して画像処理部5で得られる画像データがJPEG圧縮回路6へ供給されるものとする。
【0077】
また、JPEG圧縮回路6によるJPEG圧縮の途中でMPU13からJPEG圧縮の停止が指示された場合、JPEG圧縮中のフレーム(図2のフレームIに相当する)に対しては、最後までJPEG圧縮を継続して行っても良いし、JPEG圧縮の停止が指示された時点でJPEG圧縮を中断しても良い。本実施形態では、JPEG圧縮を継続するモード(以下、「圧縮継続モード」と称する)と、JPEG圧縮を中断するモード(以下、「圧縮中断モード」と称する)との何れかが選択可能になっており、MPU13によって予め設定されているものとする。
【0078】
画像処理部5による間引きライン用画像処理によって得られる画像データは、JPEG圧縮回路6によってJPEG圧縮されてSDRAM7に格納される。また、画像処理部5による間引きライン用画像処理によって得られる画像データは、SDRAM7の別領域に格納され、TG4から次に出力されるVDに同期し、電子ビューファインダとしてLCD9に表示される。
【0079】
このようにして、電子ビューファインダとMotionJPEG撮影とが実現されている状態において、レリーズスイッチが再び押下される(場合によっては、最大記録時間が経過する)と、MPU13は、MotionJPEG撮影を終了させるために、前記「圧縮実行」ビットをクリアしてJPEG圧縮の停止をJPEG圧縮回路6に対して指示する。次いで、MPU13は、SDRAM7に格納されている各々のフレームに対応する画像データをメモリカードインタフェース部12を介してメモリカード11に記録する。
【0080】
ただし、MPU13は、JPEG圧縮回路6に対して前述した圧縮継続モードを予め設定しており、JPEG圧縮回路6は、JPEG圧縮の停止が指示された時点にJPEG圧縮中のフレーム(図2のフレームIに相当する)に対応する画像データを、最後までJPEG圧縮する。そして、MPU13は、フレームIの圧縮が終了してから、メモリカード11への画像データの記録を開始する。
【0081】
以上説明したように、本実施形態のMotionJPEG撮影モードでは、MPU13は、連続する複数のフレームに対応する画像データの取り込みおよび間引きライン用画像処理の開始と停止とを、画像処理部5に対して指示したり、連続する複数のフレームに対応する画像データのJPEG圧縮の開始と停止とをJPEG圧縮回路6に対して指示している。すなわち、従来、画像データの取り込み、画像処理、圧縮の指示をフレーム毎に繰り返し行う単一フレーム制御によって実現する必要があった電子ビューファインダやMotionJPEG撮影を、連続フレーム制御によって実現することができる。そのため、MPU13は、電子ビューファインダやMotionJPEG撮影の実行中に、AE制御,AF制御,AWB調整等の処理に専念することができる。
【0082】
また、本実施形態では、レリーズスイッチが再び押下される(場合によっては、最大記録時間が経過する)と、MPU13は、JPEG圧縮の停止をJPEG圧縮回路6に指示する必要があるが、JPEG圧縮回路6に圧縮継続モードが設定されているため、MPU13によるこのような指示は、JPEG圧縮中の画像データのJPEG圧縮の終了を待たずに行うことができる。したがって、VDが出力される前後におけるMPU13の負荷を軽減することができる。
【0083】
なお、本実施形態では、電子ズームを実現する際に、変更用レジスタ内のパラメータの設定が変更され、変更用レジスタ内のパラメータに設定した内容が実参照用レジスタにロードされるが、変更用レジスタおよび実参照用レジスタは、画像処理部5によって選択的に行われる他の処理を実現するために利用することも可能である。
【0084】
例えば、間引きライン読み出し用レジスタと全ライン読み出し用レジスタとを設けずに、変更用レジスタおよび実参照用レジスタを利用することによって、電子ビューファインダ、スチル画像撮影、MotionJPEG撮影を選択的に実現しても良い。
ところで、電子カメラ100では、MotionJPEG撮影の結果を再生する際、メモリカード11に記録された画像データを読み出して伸長し、動画としてLCD9に表示する処理が行われる。画像データをメモリカード11から読み出して伸長する処理は、前述したようなMotionJPEG撮影時における画像データの取り込み、画像処理、JPEG圧縮と同様に、MPU13が開始と停止とを指示することによって実現可能である。
【0085】
したがって、このような指示によってメモリカード11から画像データを読み出して伸長する場合、表示用のVDが出力される際におけるMPU13の負荷を軽減することができる。そのため、MPU13は、伸長済みの画像データを動画として表示するためのタイミング制御に専念することができる。また、伸長済みの画像データを表示する以外の処理についても、MotionJPEG撮影の結果の再生時に、バックグランドで行うことが可能である。
【0086】
【発明の効果】
以上説明したように、本発明の電子カメラによれば、特定のタイミングに負荷を集中させることなく、画像データに対する所定の処理を確実に行うことができる。
【図面の簡単な説明】
【図1】本実施形態のスチル画像撮影モードの動作シーケンスを示す図である。
【図2】本実施形態のMotionJPEG撮影モードの動作シーケンスを示す図
【図3】電子カメラの構成を示す図である。
【図4】画像処理部の構成を示す図である。
【図5】従来のスチル画像撮影モードの動作シーケンスを示す図である。
【図6】従来のMotionJPEG撮影モードの動作シーケンスを示す図である。
【符号の説明】
1 撮影レンズ
2 CCD撮像素子
3 A/D変換器
4 TG
5 画像処理部
6 JPEG圧縮回路
7 SDRAM
8 バスインタフェース部
9 LCD
10 表示制御部
11 メモリカード
12 メモリカードインタフェース部
13 MPU
14 ROM
50 欠陥補正部
51 OBクランプ回路
52 ゲイン調整/WB調整部
53 ガンマ補正部
54 補間処理部
55 色変換/色補正部
56 解像度変換部
57 空間フィルタ
58 間引き処理部
59 評価値抽出部
60、62、63 出力バッファ
61 入力バッファ
100 電子カメラ
Claims (11)
- 被写体像を撮像して得られる信号電荷を読み出してフレーム単位で画像データを生成する撮像手段と、
前記撮像手段によって生成される前記画像データを所定の同期信号に応じて取り込み、画像処理を行う画像処理手段と、
前記画像処理手段による画像データの取り込みおよび画像処理を連続する複数のフレームに対応する画像データに対して順次行わせるための連続フレーム制御と、該画像処理手段による画像データの取り込みおよび画像処理を単一のフレームに対応する画像データに対して行わせるための単一フレーム制御とを切り換えて、該画像処理手段を制御する制御手段と
を備えたことを特徴とする電子カメラ。 - 請求項1に記載の電子カメラにおいて、
前記撮像手段は、
画像データの生成に際して、少なくとも間引きライン読み出しモードを含む複数の読み出しモードを切り換えて信号電荷を読み出し、
前記制御手段は、
前記撮像手段によって前記間引き読み出しモードに基づき画像データが生成されている場合、前記連続フレーム制御によって前記画像処理手段を制御する
ことを特徴とする電子カメラ。 - 請求項1に記載の電子カメラにおいて、
前記画像処理手段によって行われる画像処理は、
前記画像データに対する圧縮処理を含む
ことを特徴とする電子カメラ。 - 請求項3に記載の電子カメラにおいて、
前記制御手段は、
前記画像処理手段による前記圧縮処理を含む画像処理によって動画撮影が実現されている場合、前記連続フレーム制御によって該画像処理手段を制御する
ことを特徴とする電子カメラ。 - 請求項1に記載の電子カメラにおいて、
前記制御手段は、
前記連続フレーム制御によって前記画像処理手段を制御する際、画像データの取り込みおよび画像処理についての開始と停止とを該画像処理手段に指示し、
前記画像処理手段は、
前記制御手段によって画像データの取り込みおよび画像処理の停止が指示された際に、画像データの取り込みおよび画像処理を行っているフレームに対しては、最後まで画像データの取り込みおよび画像処理を継続して行う
ことを特徴とする電子カメラ。 - 請求項1に記載の電子カメラにおいて、
前記画像処理手段は、
前記画像処理を行う際に参照すべきパラメータの設定内容が撮影条件毎に変えられる複数のレジスタを有し、
前記制御手段は、
前記複数のレジスタを実際の撮影条件に応じて切り換えて、前記画像処理手段がパラメータの設定内容の参照を有効にすべきレジスタを決める
ことを特徴とする電子カメラ。 - 請求項1に記載の電子カメラにおいて、
前記画像処理手段は、
前記画像処理を行う際に参照するパラメータが設定される第1のレジスタと、該画像処理を行っている間に前記制御手段によるパラメータの設定が可能な第2のレジスタとを有し、
前記制御手段は、
前記第1のレジスタのパラメータの設定内容を、所定のタイミングで、前記第2のレジスタのパラメータの設定内容に変更する
ことを特徴とする電子カメラ。 - 請求項7に記載の電子カメラにおいて、
前記所定のタイミングは、
前記画像処理手段による前記画像処理がフレームの最後まで終了した以降のタイミングである
ことを特徴とする電子カメラ。 - 請求項6または請求項7に記載の電子カメラにおいて、
前記撮影条件は、
前記撮像手段による信号電荷の読み出し時の条件である
ことを特徴とする電子カメラ。 - 請求項6または請求項7に記載の電子カメラにおいて、
前記撮影条件は、
前記画像処理手段による画像処理の条件である
ことを特徴とする電子カメラ。 - 請求項7に記載の電子カメラにおいて、
前記画像処理手段によって画像処理が行われた画像データを画像として表示する表示手段を備え、
前記所定のタイミングは、
前記表示手段に前記画像データが画像として表示されるタイミングである
ことを特徴とする電子カメラ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002251504A JP2004096205A (ja) | 2002-08-29 | 2002-08-29 | 電子カメラ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002251504A JP2004096205A (ja) | 2002-08-29 | 2002-08-29 | 電子カメラ |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004096205A true JP2004096205A (ja) | 2004-03-25 |
Family
ID=32058070
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002251504A Pending JP2004096205A (ja) | 2002-08-29 | 2002-08-29 | 電子カメラ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004096205A (ja) |
-
2002
- 2002-08-29 JP JP2002251504A patent/JP2004096205A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5131257B2 (ja) | 表示制御装置及び表示制御プログラム | |
JP3988461B2 (ja) | 電子カメラ | |
JP2003158653A (ja) | ディジタル・ムービ・カメラおよびその動作制御方法 | |
JP2003158653A5 (ja) | ||
US7830447B2 (en) | Imaging apparatus including a plurality of image pickup elements | |
JP2009159056A (ja) | 撮像装置 | |
JP2008078837A (ja) | 撮像装置、画像表示制御プログラム及び画像表示制御方法 | |
US20170280066A1 (en) | Image processing method by image processing apparatus | |
JP3992659B2 (ja) | 撮像装置 | |
KR20120115119A (ko) | 소정의 종횡비의 합성 화상을 생성하는 화상 처리 장치 | |
KR20120114338A (ko) | 촬상 장치 및 그 제어 방법 | |
JP5909997B2 (ja) | 撮像装置および撮像装置の制御方法 | |
JP2013123172A (ja) | 撮像装置およびプログラム | |
US20040090537A1 (en) | Image sensing apparatus | |
JP2006352229A (ja) | デジタルカメラ | |
JP4059704B2 (ja) | ビデオカメラ | |
JPH07322120A (ja) | 撮像装置 | |
US8610792B2 (en) | Imaging apparatus and imaging method | |
JP2004080376A (ja) | 動画撮像装置及び動画再生装置 | |
JP4429148B2 (ja) | 画像撮影記録装置及び方法 | |
JP2014049882A (ja) | 撮像装置 | |
JP2004096205A (ja) | 電子カメラ | |
JP2004135225A (ja) | 電子カメラ | |
JP2003153093A (ja) | 固体撮像装置、電子スチルカメラ、固体撮像素子の駆動方法及び固体撮像素子を駆動する制御プログラム | |
JP2007259304A (ja) | 撮像装置及びその制御方法、コンピュータプログラム及び記憶媒体 |