JP2005176042A - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP2005176042A
JP2005176042A JP2003414788A JP2003414788A JP2005176042A JP 2005176042 A JP2005176042 A JP 2005176042A JP 2003414788 A JP2003414788 A JP 2003414788A JP 2003414788 A JP2003414788 A JP 2003414788A JP 2005176042 A JP2005176042 A JP 2005176042A
Authority
JP
Japan
Prior art keywords
correction data
image
imaging
data
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003414788A
Other languages
English (en)
Inventor
Toshiro Matsumoto
俊郎 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2003414788A priority Critical patent/JP2005176042A/ja
Publication of JP2005176042A publication Critical patent/JP2005176042A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

【課題】撮像素子の複数出力差補正用データの算出処理がカメラの故障等により正確に動作しないとき、撮影を続行しカメラの故障等を使用者へ報知する画像処理装置及び撮像装置を提供する。
【解決手段】露光せずに電荷蓄積を行う第1撮像モードと露光して電荷蓄積を行う第2撮像モードとを備える撮像手段と、両撮像モードのデータを処理する処理回路手段と、処理された第1撮像モードの画像信号より、第2撮像モードの画像信号を補正する補正データを算出する補正データ算出手段と、該補正データの信頼性を判定する信頼性判定手段と、撮像条件を取得する撮像条件取得手段と、撮像条件毎に補正データを記憶する補正データ記憶手段と、前期信頼性判定手段の出力に基づき、前記算出された補正データ、又は補正データ記憶手段に記憶された補正データを選択する補正データ選択手段と、選択された補正データにより、第2撮像モードの画像信号を補正する画像補正手段とで構成する。
【選択図】 図8

Description

本発明は、デジタルカメラ等における静止画像や動画像を撮像、記録、再生する画像処理装置、及び、画像処理装置制御方法に関するものである。
従来、この種のデジタルスチルカメラは、図14に示すような構成となっている。この図の構成の場合は、撮影者自身によるカメラ操作スイッチ201(カメラのメインSW及びレリーズSWで構成)の状態変化を全体制御回路200が検出し、その他の各回路ブロックへの電源供給を開始する。
撮影画面範囲内の被写体像は、主撮影光学系202、203を通して撮像素子204上に結像し、この撮像素子204からの電気信号をCDS/AGC回路205を介して、各画素毎に順々にA/D変換手段206で所定のデジタル信号に変換する。
ここで撮像素子204は、全体の駆動タイミングを決定しているタイミングジェネレータ208からの信号に基づき、各画素毎の水平駆動並びに垂直駆動の為のドライバー回路207の出力で所定駆動する事により、画像信号出力を発生する。
同様に、撮像素子204からの出力をアナログ的に処理して所定の信号レベルに変換するCDS/AGC回路205、並びにA/D変換回路206も上記タイミングジェネレータ208からのタイミングに基づいて動作する。
A/D変換回路206からの出力は、全体制御CPU200からの信号に基づいて信号の選択を行うセレクタ209を介してメモリーコントローラ215へ入力し、ここでフレームメモリー216へ全ての信号出力を転送する。従って、この場合、各撮影フレーム毎の画素データは、一旦全てフレームメモリー216内に記憶される為、連写撮影等の場合は全てフレームメモリー216への書き込み動作となる。
撮影動作終了後は、メモリーコントローラ215の制御により、撮影データを記憶しているフレームメモリー216の内容を、セレクタ209を介してカメラDSP210へ転送する。このカメラDSP210では、フレームメモリー216に記憶されている各撮影データの各画素データを基にRGBの各色信号を生成する。
通常撮影前の状態では、この結果をビデオメモリー211に定期的(各フレーム毎)に転送する事で、モニター表示手段212を介してファインダー表示等を行っている。
一方、カメラ操作スイッチ201の操作により、撮影動作を撮影者自身が行った場合には、全体制御CPU200からの制御信号によって、1フレーム分の各画素データをフレームメモリー216から読み出し、カメラDSP210で画像処理を行ってから一旦ワークメモリー213に記憶する。
続いて、ワークメモリー213のデータを圧縮・伸張手段214で所定の圧縮フォーマットに基づきデータ圧縮し、その結果を外部不揮発性メモリー217(通常フラッシュメモリー等の不揮発性メモリーを使用)に記憶する。
又、逆に撮影済みの画像データを観察する場合には、上記外部メモリーに圧縮記憶されたデータを、圧縮・伸張手段214を通して通常の撮影画素毎のデータに伸張し、その結果をビデオメモリー211へ転送する事で、モニター表示手段212を通して行う事が出来る。
この様に、通常のデジタルカメラでは、撮像素子204からの出力を、ほぼリアルタイムでプロセス処理回路を通して実際の画像データに変換し、その結果をメモリーないしはモニター回路へ出力する構成となっている。
一方、上記の様なデジタルカメラシステムにおいて、連写撮影等の能力を向上させる(例えば10駒/秒に近い能力を得る)為には、撮像素子からの読み出し速度を上げる事やフレームメモリー等への撮像素子データの書き込み速度を上げる等の撮像素子を含めたシステム的な改善が必要である。
図13はその改善方法の一つとして、CCD等の撮像素子で水平CCDを2分割にした2出力タイプのデバイス構造を簡単に示したものである。
図13のCCDでは、フォトダイオード部190で発生した各画素毎の電荷をある所定のタイミングで一斉に垂直CCD部191へ転送し、次のタイミングで各ライン毎に垂直CCDの電荷を水平CCD192及び193に転送する。
ここで水平CCD192は、転送クロック毎にその電荷を左側のアンプ194へ向かって転送し、水平CCD193は転送クロック毎にその電荷を右側のアンプ195へ向かって転送する事から、このCCDの撮影画像データは画面の中央を境にして左右真っ二つに分割して読み出される事になる。
通常上記アンプはCCDデバイスの中に作り込まれるがレイアウト的にはかなり離れた位置に来る為、両アンプの相対精度は必ずしも完全に一致するとは限らない。その為、アンプ後の出力を左右それぞれ別々のCDS/AGC回路196、198を通した際に、外部調整手段197及び199によって調整する事で左右出力のマッチング性を確保する様にしている(特許文献1参照)。
特開2002−142158号公報
以上の様に高速な読み出しが実現できる撮像素子として、2つ以上の複数出力から同時に信号を読み出す方法は、今後のデジタルカメラをより銀塩カメラ(既に一眼レフタイプの銀塩カメラでは10駒/秒位のスペックの製品は実現されている)に近づける為には、必須の技術である。
しかしながら、複数の出力を持つという事は、スピード的には有利になるものの、出力レベルのマッチング性という観点では、明らかに1出力しかないものに比べて不利になってしまう。
従来のCDS/AGC回路部でのアナログ的な調整やA/D変換後の出力で両チャンネルを合わせ込むデジタル的な調整等の単なるマニュアル的な調整方法では、製造工程上でかなり合わせ込んだとしても、環境の変化によって、例えばVR抵抗そのものの値も変わってくるし、CDS/AGC回路の温度特性の傾向も完全に2つのものが一致する可能性は極めて低い。
通常この様な撮像素子の読み出し方法を行った場合、左右両出力の相対精度としては±1%を超えるようだと、画面上でその境界のアンバランスがはっきりと解ってしまう。
この様な問題点に鑑みて本発明では、デジタルカメラ等において、この様な複数出力を持つ撮像素子を用いた場合、複数出力差の補正用データ取得の為のキャリブレーション動作や、ダークノイズ補正処理等の各種画像補正データの算出処理がカメラの故障等により正確に動作出来ないときであっても、撮影動作に影響を与えることなく撮影を続行し、かつ、この場合に如何に撮影画像を補正するか、また、カメラの故障等を使用者へ知らせることが可能な画像処理装置及び撮像装置を提供することを目的とする。
上記課題を解決するために本発明では、以下の構成を採用している。
即ち、請求項1、8記載の画像処理装置では、撮像した静止画像、動画像を記録媒体に記録する画像処理装置であって、被写体光を露光せずに撮像手段の電荷蓄積を行う第1の撮像モードと被写体光を露光して撮像手段の電荷蓄積を行う第2の撮像モードとを備える撮像手段と、前記第1の撮像モード、第2の撮像モードにより出力された撮像データを処理する処理回路手段と、前記処理回路手段より出力された第1の撮像モードの出力画像信号より、前記第2の撮像モードの出力画像信号を補正する為の補正データを算出する補正データ算出手段と、前記第1の撮像モードの出力画像信号より算出された前記補正データの信頼性を判定する信頼性判定手段と、撮像部の撮像条件を取得する撮像条件取得手段と、前記撮像条件取得手段により取得された撮像条件毎に前記補正データを記憶する補正データ記憶手段と、前記信頼性判定手段の出力に基づき、前記第1の撮像モードの出力画像信号より算出された前記補正データ、又は、前記補正データ記憶手段に記憶された補正データを選択する補正データ選択手段と、前記選択手段により選択された補正データにより、前記第2の撮像モードの出力画像信号を補正する画像補正手段とにより構成することで、カメラの故障等により、キャリブレーション動作が出来ないときは、過去の補正データより、撮影時の撮影条件と同じ条件時の補正データを用いることで、画面合成を行うことが出来ると共に、撮影動作を続行することが出来る為、確実なシャッターチャンスを得ることが出来る。
また、請求項2記載の画像処理装置では、前記選択手段により前記補正データ記憶手段に記憶された補正データを選択された場合には、その旨を告知する告知手段により構成することで、正確な補正データが算出できていないことを警告し、撮影時にカメラの異常をユーザーへ警告が出来ると共に、画像データへ正確な補正データを使用していないことを添付することで、パーソナルコンピュータ(以下、PC)等に画像を取込んだあとでも、ユーザーは、正確な補正が行われていない画像であることが認識可能である。
また、請求項3記載の画像処理装置では、前記選択手段により前記補正データ記憶手段に記憶された補正データを選択された場合には、その旨を前記第2の撮像モードにより撮像された画像データへ付随させる用により構成することで、撮影後であっても、撮影画像を閲覧することで、カメラの異常をユーザーへ警告が出来る。
また、請求項4、8に記載の画像処理装置では、撮像した静止画像、動画像を記録媒体に記録する画像処理装置であって、被写体光を露光せずに撮像手段の電荷蓄積を行う第1の撮像モードと、被写体光を露光して撮像手段の電荷蓄積を行う第2の撮像モードを備える撮像手段と、前記第1の撮像モード及び第2の撮像モードにより出力された撮像データを処理する処理回路手段と、前記処理回路手段より出力された第1の撮像モードの出力画像信号から前記第2の撮像モードの出力画像信号を補正する為の補正データを算出する補正データ算出手段と、前記第1の撮像モードの出力画像信号より算出された前記補正データの信頼性を判定する信頼性判定手段と、前記信頼性判定手段の出力に基づき、前記第1の撮像モードの出力画像信号より算出された前記補正データにより、前記第2の撮像モードの出力画像信号を補正処理する画像補正手段とにより構成することで、カメラの故障等により、キャリブレーションが出来ないときは、撮影動作を中断することなく、撮影時の条件と略同一条件時の補正データをファイルへ添付して、補正処理を行わないように構成することで、不具合があっても撮影動作を行うことを可能とし、確実にシャッターチャンスを得ることが出来る。
また、請求項5記載の画像処理装置は、前記信頼性判定手段により、前記補正データの信頼性が低いと判定された場合には、その旨を告知する告知手段により構成することで、正確な補正データが算出できていないことを警告し、撮影時にカメラの異常をユーザーへ警告が出来るともに、撮影後であっても、撮影画像を閲覧することで、カメラの異常をユーザーへ警告が出来る。
また、請求項6記載の画像処理装置では、前記信頼性判定手段により、前記補正データの信頼性が低いと判定された場合には、前記補正データによる前記第2の撮像モードの出力画像信号の補正処理を禁止すると共に、補正処理が行われなかった事を警告する警告手段を有する用に構成することで、撮影後にPC等へ画像データを取り込み、高精度な補正処理を可能とする専用アプリケーション等にて補正データを参照し、さらに、カメラよりも高度なアルゴリズム処理を行うことで、精度よく画面合成を行わせることが可能となる。
また、請求項7記載の画像処理装置では、前記信頼性判定手段により、前記補正データの信頼性が低いと判定された場合には、前記補正データによる前記第2の撮像モードの出力画像信号の補正処理を禁止すると共にその旨を前記第2の撮像モードにより撮像された画像データへ付随させる用により構成することで、不正確な補正処理による画像不良を防止し、撮影後にPC等へ画像データを取り込み、高精度な補正処理を可能とする専用アプリケーション等にて補正データを参照し、さらに、カメラよりも高度なアルゴリズム処理を行うことで、精度よく画面合成を行わせることが可能となる。
以上説明したように、本発明に係る請求項1記載の画像処理装置により、カメラの故障等によりキャリブレーション動作が出来ないときは、過去の補正データより、撮影時の撮影条件と同じ条件時の補正データを用いることで、画面合成を行うことが出来ると共に、撮影動作を続行することが出来る為、シャッターチャンスを逃すことがない。
また、画像データへ正確な補正データを使用していないことを添付することで、パーソナルコンピュータ(以下、PC)等に画像を取込んだあとでも、ユーザーは、正確な補正が行われていない画像であることが認識可能であり、高精度な補正処理を可能とする専用アプリケーション等にて補正データを参照し、精度よく高度なアルゴリズム処理による補正の再処理を実行することでさらに精度よく画面合成を行わせることが可能となる。
また、正確な補正データが算出できていないことを警告することで、撮影時にカメラの異常をユーザーへ警告が出来るともに、撮影後であっても、撮影画像を閲覧することで、カメラの異常をユーザーへ警告が出来る。
さらに、本発明に係る請求項4記載の画像処理装置は、カメラの故障等により、キャリブレーションが出来ないときは、撮影動作を中断することなく、撮影時の条件と略同一条件時の補正データをファイルへ添付して、不正確な補正処理による画像不良を防止し、不具合があっても撮影動作を行うことを可能とし、シャッターチャンスを逃すことを防止できる。また、撮影後にPC等へ画像データを取り込み、高精度な補正処理を可能とする専用アプリケーション等にて画像データに付随された補正データを参照し、さらに、カメラよりも高度なアルゴリズム処理を行うことで、精度よく画面合成を行わせる。
また、正確な補正データが算出できていないことを警告することで、撮影時にカメラの異常をユーザーへ警告が出来るともに、撮影後であっても、撮影画像を閲覧することで、カメラの異常をユーザーへ警告が出来る。
以下に本発明の実施例について説明する。
以下に、本発明の第1の実施例を図1〜図11に基づいて説明する。
図1、図2は本発明の実施形態である電子カメラを示している。図1はカメラ全体の構成を示しており、図2は図1におけるカメラのシャッタ装置14部分の拡大図である。同図において、1は電子スチルカメラ、2は被写体像を結像面に結像させる撮影レンズで、前記電子スチルカメラ1に着脱可能に構成されている。該撮影レンズ2は、被写体像を結像面に結像させる為の結像レンズ3、及び、該結像レンズ3を駆動するためのレンズ駆動装置4を有すると共に、露出制御を行う為の絞り羽根群5、及び絞り羽根群5を駆動するための絞り駆動装置6により構成されている。尚、結像レンズ2は、図上では簡略化して示してあるが、1枚又は複数枚のレンズで構成され、単一の焦点距離(固定焦点)のレンズでも良いし、ズームレンズやステップズームレンズの如く焦点距離可変のものでもよい。
7は撮影レンズ2により結像される被写体像を、フォーカシングスクリーン8に導くと共に、その一部を透過させ、後述するサブミラー12を通して焦点検出装置13へ導く為のメインミラーである。メインミラー7は、不図示のミラー駆動装置により、ファインダーにて被写体像を観察可能な位置と撮影時に被写体光束の光路から待避する退避位置とに可動自在に構成されている。
8は前記撮影レンズ2により導かれた被写体光束がメインミラー7にて反射し、結像されるフォーカシングスクリーンであり、ファインダー観察時にはフォーカシングスクリーン8に被写体像が形成される。
9はフォーカシングスクリーン8に結像された被写体像を正立正像に変換反射する光学部材であり、本実施例においては、ペンタダハプリズムを使用している。10はペンタダハプリズム9にて正立正像に変換反射された被写体像を撮影者の目に到達させる接眼レンズ装置である。
11は、ファインダー観察時に前記フォーカシングスクリーン8に結像された被写体像の輝度をペンタダハプリズム9を介して測定する測光装置であり、本実施例の電子スチルカメラ1は、測光装置の出力信号に基づいて露光時の露出制御を行うように構成されている。
12はメインミラー7の一部を透過した被写体光を反射させて、不図示のミラーボックス下面に配置された焦点検出装置13へ被写体光を導く為のサブミラーである。サブミラー12は、メインミラー7、及び、メインミラー7の不図示のミラー駆動機構と連動し、メインミラー7がファインダーにて被写体像を観察可能な位置にあるときには、前駆焦点検出装置13へ被写体光を導き位置に、また、撮影時には被写体光束の光路から待避する退避位置に可動自在に構成されている。
13は焦点検出装置であり、焦点検出装置13の出力信号に基づいて撮影レンズ2のレンズ駆動装置4を制御し、結像レンズ3にて焦点調節を行う。
14は被写体光束の結像面へ入射をメカ的に制御するシャッタ装置である。このシャッタ装置14は、ファインダー観察時には被写体光束を遮り、撮像時にはレリーズ信号に応じて被写体光束の光路から待避して露光を開始させる先羽根群14aと、ファインダー観察時には被写体光束の光路から待避しているとともに、撮像時には先羽根群14aの走行開始後所定のタイミングで被写体光束を遮光する後羽根群14bとを有するフォーカルプレーンシャッタである。尚、該シャッタ装置14のアパーチャ開口部近傍には、後述するLED素子17a、17bの発光光束を先羽根群14aへ投光するための切り欠き、または貫通穴が形成されている。
15は撮影レンズ2により結像された被写体像を撮像して電気信号に変換する撮像素子である。撮像素子15は、公知の2次元型撮像デバイスが用いられている。撮像デバイスには、CCD型、MOS型、CID型など様々な形態があり、何れの形態の撮像デバイスを採用しても良いが、本実施の形態においては、光電変換素子(フォトセンサ)が2次元的に配列され、各センサで蓄積された信号電荷が垂直転送路、及び、水平転送路を介して出力されるインターライン型CCD撮像素子が採用される。また、撮像素子15は、各センサに蓄積される電荷の蓄積時間(シャッタ秒時)を制御する、いわゆる電子シャッタ機能を有している。
本発明において、撮像素子15は、図3に示すように、画面全体の撮像領域15aを保護する光学保護部材であるカバーガラス15bにて保護すると共に、画面全体の撮像領域15aを中央部より、右半面15cと左半面15dに縦に2分割して、各々の撮影画像データを同時に出力可能に構成されている。
16は撮像素子15と後述するLED17a、17bとを電気的かつメカ的に結合してこれらを保持すると共に、撮像素子15の全体の駆動タイミングを決定しているタイミングジェネレータや該タイミングジェネレータからの信号に基づき、各画素毎の水平駆動並びに垂直駆動の為のドライバー回路、撮像素子15からの出力をアナログ的に処理を行って所定の信号レベルに変換するCDS/AGC回路等の撮像素子15から出力される画像出力信号を処理する画像出力信号処理回路の一部が構成されている電気基板である。
17a、17bは、撮像素子15の撮影領域15aへ照明光を投光する投光手段であり、本発明ではLED素子を使用している。図2、図3に示すように、LED素子17a、17bは、撮像素子15の上下側面近傍で、撮影領域15aを右半面15cと左半面15dへ分割している分割線15eの延長線上に配置されるとともに、LED素子17a、17bの発光面をシャッタ装置14へ向けて投光するように配置されている。
LED素子17a、17bの発光光束は、シャッタ装置14の先羽根群14aの撮像素子15側を反射面として、撮像素子15の撮影領域15aに投光される。図4は、LED素子17a、17bによる撮像素子15の撮影領域15aへの投光状態を示したものである。同図に示すように、撮像素子15の撮影領域15aの右半面15cと左半面15dの領域に略対象形状にLED素子17a、17bの発光光束が投光される。
通常、銀塩フィルムを記録媒体とするカメラのシャッタ装置の先羽根群は、迷光によるフィルムへのカブリ防止のために反射防止塗装が施されている。しかしながら、本発明における電子スチルカメラにおいては、撮像素子15による電子シャッタ機能により各センサに蓄積される電荷の蓄積時間(シャッタ秒時)を制御し、露出時間制御を行うように構成している為、撮像素子15による蓄積開始時には、先羽根群14aが開放状態になっているので、迷光による撮像領域へのカブリ防止にために前記先羽根群14aへの反射防止塗装が不要となる。
したがって、LED素子17a、17bの発光光束を効率よく撮像素子15の撮影領域15aへ投光する為に、本発明の電子スチルカメラのシャッタ装置14の先羽根群14aは、高反射率の素材にて構成したり、表面処理を反射率の高い塗装、メッキ処理等を行うのが望ましい。また、撮像素子15の撮影領域15aを極力広範囲に照明する為に、シャッタ装置14の先羽根群14aへ拡散特性をもたせることが望ましい。本発明においては、上記の2条件を達成する為に、先羽根群14aの撮像素子15側の面を半艶白色調塗装、または、半艶グレー調塗装が施されているが、どちらか一方の条件が達成されるだけでも十分な照明効果が得られる。
尚、本実施例においては、LED素子17a、17bの発光光束を直接投光し、照明しているが、LED素子17a、17bの発光部近傍へ、特定のパターンを持ったマスク部材と、このパターンを撮像領域上へ結像させる光学部材を配置し、照明光の変わりに、特定のパターンを投光してもよい。
図2に示すように、本発明においてLED素子17a、17bは、撮像素子15の保持部材である電気基板16により保持され、電気的接続を行っているが、LED素子17a、17bの保持部材としては、シャッタ装置14、不図示のカメラ本体等へ保持し、電気的接続は、フレキシブルプリント基板・リード線等により、電気基板16やその他の不図示の回路基板へ接続しても良い。
18はノイズの原因となる撮影光の高周波成分を除去するフィルタ部材であり、撮像素子15のカバーガラス15b上に一体的に保持されている。フィルタ部材18は、水晶、ニオブ酸リチウム等の複屈折特性を持つ材質で作られている。
図5は本発明が適用される電子スチルカメラ1の全体のハードウェアー構成を示す回路ブロック図である。
電子スチルカメラ1は、主として、撮影レンズ2を駆動するレンズ駆動装置4、絞り駆動装置6、シャッタ装置14、撮像素子15、及び撮像素子15からの出力信号を処理する処理回路群、アンバランス量算出回路116、コントロール回路121、中央演算処理装置(以下、CPU)117等から構成される。
同図において、11はAE(自動露出)処理を行うための測光装置であり、前述した様に、撮影レンズ2に入射した光線を一眼レフ方式によって、絞り羽根群5、メインミラー7、そして不図示の測光用レンズを介して、測光装置11に入射させることにより、光学像として結像された画像の露出状態を測定することが出来る。
13はAF(オートフォーカス)処理を行うための前述した焦点検出装置である。
100〜、116、118、及び、120〜125は、該撮像素子15からの画像出力信号を処理する処理回路群である。
同図において、撮影レンズ2を透過してきた被写体光束は、絞り羽根群5とシャッタ装置14とでその光量を規制され、撮像素子15上に投影結像される。2つの出力(CH1及びCH2)を持つ撮像素子15は、ドライバー手段100によって駆動される事で所定の周波数で動作し、画面全体を縦に2分割する形で左右(15c、15d)別々に撮影画像データを出力する構成になっている。又、TG/SSG101は垂直同期信号VD及び水平同期信号HDを出力するタイミング発生回路で、同時に各回路ブロックへのタイミング信号を供給している。
撮像素子15の右半面15dの画像出力は、CH1出力を介してCDS/AGC回路103へ入力し、ここで既知の相関2重サンプリング等の方法を行う事で、CCD等の出力に含まれるリセットノイズ等を除去すると共に、所定の信号レベル迄出力を増幅する為のAGC回路を働かせる。このAGC後の出力をA/D変換回路105へ入力する事で、デジタル信号に変換しAD−CH1なる出力を得る。
同様に撮像素子15の左半面15cの画像出力は、CH2出力を介してCDS/AGC回路102へ入力し、ここで同様の相関2重サンプリング等の方法を行う事で、CCD等の出力に含まれるリセットノイズ等を除去すると共に、所定の信号レベル迄出力を増幅する為のAGC回路を働かせる。このAGC後の出力をA/D変換回路104へ入力する事で、デジタル信号に変換しAD−CH2なる出力を得る。
撮像素子15からの左右両出力を別々にデジタルデータに変換した後、両出力を各々メモリーコントローラー106、108を介して、メモリー107、109に順々に記憶していく。
また、後述するキャリブレーション動作が実行された場合には、AD−CH1、及び、AD−CH2の出力は同時にアンバランス量算出回路116へ入力し、後述する方法によって両出力のアンバランス量を演算すると共に、最適な補正データを決定し、補正データ用メモリー118へ記憶する。この時、前記補正用データは、算出されたときの処理回路系の温度情報、カメラに設定されているISO感度情報と共に補正データ用メモリー118へ記憶され、処理回路系の温度ごと、及び、撮影時のISO感度設定値ごとによる補正データの蓄積を行う。蓄積された補正データは、同一条件(温度・ISO値)であっても、カメラの経時変化を考慮し、その都度、最新のデータに更新されるように蓄積・記録されていく。
尚、この蓄積補正データは、後述するように、キャリブレーション処理が正常に行われなかった場合にのみ使用され、通常の正常な動作では、その都度算出された補正データが使用されるように構成されている。
メモリーコントローラー106、及び、108は、通常時分割でメモリー107、及び、109に対する読み書きを連続して実行できる様になっている為、撮像素子15からの出力をメモリー107、及び、109に書き込みながら、別のタイミングで前記メモリー107、及び、109に書き込んだデータを書き込んだ順に読み出す事が可能である。
まず、撮像素子15のCH1側の出力に対しては、メモリーコントローラー108の制御によりメモリー109から連続してデータを読み出し、オフセット調整回路111へ入力していく。ここでオフセット調整回路111のもう一方の入力には、アンバランス量算出回路116で算出設定された所定のオフセット出力OF1が接続されており、該オフセット調整回路111内部で両信号の加算を行う。
次に前記オフセット調整回路111の出力は、ゲイン調整回路113へ入力するが、ここで該ゲイン調整回路113のもう一方の入力には、アンバランス量算出回路116で算出設定された所定のゲイン出力GN1が接続されており、該ゲイン調整回路113内部で両信号の乗算を行う。
同様に前記撮像素子15のCH2側の出力に対しては、メモリーコントローラー106の制御により、メモリー107から連続してデータを読み出し、オフセット調整回路110へ入力していく。ここで該オフセット調整回路110のもう一方の入力には、前記アンバランス量算出回路116で算出設定された所定のオフセット出力OF2が接続されており、オフセット調整回路116内部で両信号の加算を行う。
次に、前記オフセット調整回路110の出力は、ゲイン調整回路112へ入力するが、ここで該ゲイン調整回路112のもう一方の入力には、前記アンバランス量算出回路116で算出設定された所定のゲイン出力GN2が接続されており、該ゲイン調整回路112内部で両信号の乗算を行う。
この様にして、2つの出力間で生ずるアンバランス量をアンバランス量算出回路116によって補正した後の画像データ出力を、画像合成回路114でもって1つの画像データに変換(左右出力を1つの出力にする)し、次段のカメラDSP115で所定のカラー処理(色補間処理、γ変換)を行う。また、カメラDSP115においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。
カメラDSP115はCPU117からの制御信号によって、1フレーム分の各画素データをメモリー107、109から読み出し、画像合成回路114でもって1つの画像データに変換した後、カメラDSP115で画像処理を行ってから一旦ワークメモリー121へ記憶する。続いて、ワークメモリー121のデータを圧縮・伸張手段122で所定の圧縮フォーマットに基づきデータ圧縮し、その結果を記録媒体である外部不揮発性メモリー123(通常フラッシュメモリー等の不揮発性メモリーを使用)に記憶する。外部不揮発性メモリー123は電子スチルカメラ1に対し、着脱可能に構成されており、記録媒体着脱検知手段132により装着されているか否かが検出可能になっている。
124はビデオメモリー、125はTFT LCD等からなるモニター表示手段であり、カメラDSP115からビデオメモリー124に書き込まれた画像データはモニター表示手段125により、逐一表示可能とされている。又、逆に撮影済みの画像データを観察する場合には、前記外部不揮発性メモリー123に圧縮記憶されたデータを、圧縮・伸張手段122を通して通常の撮影画素毎のデータに伸張し、その結果をビデオメモリー124へ転送する事で、モニター表示手段125を通して表示する事が出来る。
また、モニター表示手段125は前記CPU117の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合には電子スチルカメラ1の電力消費を大幅に低減することが出来る。
このように、通常撮影時には、撮像素子15からの出力を、ほぼリアルタイムで各種プロセス処理回路を通して実際の画像データに変換し、その結果をワークメモリー121、ないしは、ビデオメモリー124へ出力する構成となっている。
次に本発明における画面合成時に必要となるアンバランス量算出回路116による補正量を算出する為のキャリブレーション動作時の制御について説明する。
キャリブレーション動作時には、後述するCPU117によりアンバランス量算出回路116へキャリブレーション動作を開始指示をすると共に、前記ドライバ手段120へキャリブレーション用のLED素子17a、17b素子の所定時間の点灯指令を出力する。
LED素子17a、17bは、ドライバ手段120による撮像素子15への投光を行う。撮像素子15は、LED素子17a、17bの点灯時間に応じて、照明光による画像(図4)の蓄積を開始し、CH1出力、CH2出力を介してCDS/AGC回路103、102へ出力し、前述したように出力信号の処理を行う。また、アンバランス量算出回路116では、LED素子17a、17b素子の投光された照明光の画像(図4)の出力データにより、後述する方法でアンバランス量算出回路116により、アンバランス量を算出し、適切な補正データを決定する。また、算出されたアンバランス量、補正データ等は、アンバランス量算出回路116に接続された補正データ用メモリー118へ格納され、記憶保持される。
また、この時、前記アンバランス量算出回路116は、撮像素子15から出力されたデジタル信号に変換されたAD−CH1、AD−CH2の信号が所定のレベルTHと比較し、所定のレベルTHより低いと判断(画像に明らかな異常があると判断)された場合、例えば、LED素子17a、17bの投光により照明されている部分からの画像出力が得られない場合などには、後述の表示・警告手段133により、撮影者へ適切なキャリブレーションができない旨を伝達する構成になっている。従って、撮影者は、この結果をもって、カメラの何らかの異常(撮像素子、信号処理回路、LED等の故障)等を認識することが可能となる。
ここで、アンバランス量算出回路116のアンバランス量算出に関する具体的構成について、図6に示した回路を用いて説明を行う。
図6において、まず、A/D変換回路の出力であるAD−CH1、及び、AD−CH2が、平均値算出回路140、141、142に入力する。ここで、この平均値算出回路で各画素毎のデータをある所定範囲に渡って平均化するわけだが、この領域設定を領域選択回路143で実行している。
領域選択回路143は、図5に示したTG/SSG101からのVD/HD信号を基準として、撮像素子15から出力される各画素毎のデータの有効範囲を決定し、各平均値算出回路で平均化する為の入力信号を許可するタイミングを設定する。
例えば、平均値算出回路140は、撮像素子15の撮像領域15aで示したLED素子17a、17bによる照明部aの部分に存在する各画素データの平均値を算出し、又、平均値算出回路142は、撮像素子15の撮像領域15aで示したLED素子17a、17bによる照明部bの部分に存在する各画素データの平均値を算出する。
一方、平均値算出回路141は、撮像素子15の撮像領域15aで示したLED素子17a、17bによる照明部aとbの両方の部分に存在する各画素データの平均値を算出する。
従って、この場合、図5で示した撮像素子15の左半分15cに存在する所定範囲の画素データの平均値、撮像素子15の右半分15dに存在する所定範囲の画素データの平均値、並びに、撮像素子15の左と右の両方に存在する所定範囲の画素データの平均値を平均値算出回路140、141、142で算出する事になる。
次に、該平均値算出回路140、141、142のそれぞれの出力をV2、V1+2、V1とし、各出力を次段に接続されている除算回路144、145で各々除算を行う。
まず、除算回路144ではV1+2/V2なる演算を行い、この結果にほぼ比例した値を補正データ算出回路148からGN2信号として出力する。同様に除算回路145ではV1+2/V1なる演算を行い、この結果にほぼ比例した値を補正データ算出回路149からGN1信号として出力する。
上記の方法で算出したGN1、及び、GN2なる信号出力は、それぞれ図5で示したゲイン調整回路113、及び、112に入力する為、ここで両チャンネルからの出力レベルが一致する様に実際の補正を行う。
一方、平均値算出回路140、141、142の各出力を次段に接続されている減算回路146、147で各々減算を行う。
まず、減算回路146ではV1+2−V2なる演算を行い、この結果にほぼ比例した値を補正データ算出回路150からOF2信号として出力する。同様に減算回路147ではV1+2−V1なる演算を行い、この結果にほぼ比例した値を補正データ算出回路151からOF1信号として出力する。
上記の方法で算出したOF1、及び、OF2なる信号出力は、それぞれ図5で示したオフセット調整回路111、110に入力する為、ここで両チャンネルからの出力レベルが一致する様に実際の補正を行う。
尚、上記の方法にて算出されたアンバランス量に関する出力信号GN1、GN2、OF1、OF2は、アンバランス量算出回路に接続された補正データ用メモリー118へ出力し、記憶保持される。
上記の2つの方法は、あく迄、撮像素子から出力される画素データの内、左半分15cに存在するある所定範囲のデータの平均値、右半分15dに存在するある所定範囲のデータの平均値、並びに、左半分15cと右半分15dに存在するある所定範囲のデータの平均値の各値を用いる事で、撮像素子の2つの出力間のアンバランスを補正しようというものである。
上記の方法の場合、2つの出力間のデータに対してゲイン調整を行う場合と、オフセット調整を行う場合との2種類が存在するが、この両方の方法を使ってアンバランス調整を行っても構わないし、何れか一方のみを選択してアンバランス調整を行っても構わない。
117は本発明の電子スチルカメラ1全体を制御するシステム制御回路であるところの中央演算処理装置(以下、CPU)である。CPU117は、測光装置11、焦点検出装置13、コントロール回路119、アンバランス量算出回路116、LED素子17a、17bを駆動するドライバ手段120、レリーズスイッチ(SW1)126、レリーズスイッチ(SW2)127、撮影モード設定128、単写/連写スイッチ129、操作部130、電源スイッチ131、記録媒体着脱検知132、表示・警告手段119等と接続されており、所定のアルゴリズムに従って露出値、撮影レンズ2の焦点位置等の各種演算を行い、自動露光制御、オートフォーカス、オートストロボ等の制御を総括的に管理している。
119はCPU117からの自動焦点情報出力に基づき、撮影レンズ2のレンズ駆動装置4を駆動制御して結像レンズ3を合焦位置へ駆動制御を行なうと共に、露出制御情報出力に基づき、撮影レンズ2の絞り駆動装置6を駆動制御して絞り羽根群5を設定された絞り値に設定し、かつ、撮像素子15の駆動制御情報と連携してシャッタ装置14の開閉タイミングを制御するコントロール回路である。
126、127、128、129、130、131は、CPU117へ各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
ここで、これらの操作手段の具体的な説明を行う。
126はレリーズスイッチ(SW1)で、不図示のシャッターボタンの操作途中でONとなり、撮影前準備動作であるところの、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュ調光)処理等の動作開始を指示する。また、本発明においては、撮像素子15のキャリブレーション動作・処理開始を指示する。
127はレリーズスイッチ(SW2)で、不図示のシャッターボタンの操作完了でONとなり、撮影シーケンスである露光動作開始を指示する。また、本発明においては、撮像素子15のキャリブレーション動作・処理の停止を指示する。
128は撮影モード設定手段であり、モードダイアルスイッチ等で構成され、自動撮影モード、プログラム撮影モード、シャッタ速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、焦点深度優先(デプス)撮影モード、ポートレート撮影モード、風景撮影モード、接写撮影モード、スポーツ撮影モード、夜景撮影モード、パノラマ撮影モード等の各機能撮影モードを切り替え設定することが出来る。
129は単写/連写スイッチで、前記レリーズスイッチ(SW2)127を押した場合に1駒の撮影を行って待機状態とする単写モードと、レリーズスイッチ(SW2)127を押している間は連続して撮影を行い続ける連写モードとを設定することが出来る。
130は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像−(マイナス)ボタン、撮影画質選択ボタン、露出補正ボタン、ISO設定ボタン、日付/時間設定ボタン、パノラマモード等の撮影及び再生を実行する際に各種機能の選択及び切り替えを設定する選択/切り替えボタン、パノラマモード等の撮影及び再生を実行する際に各種機能の決定及び実行を設定する決定/実行ボタン、モニター表示部125のON/OFFを設定する画像表示ON/OFFスイッチ、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するクイックレビューON/OFFスイッチ、JPEG圧縮の圧縮率を選択するため或いは撮像素子の信号をそのままディジタル化して記録媒体に記録するCCDRAWモードを選択するためのスイッチである圧縮モードスイッチ、再生モード、マルチ画面再生・消去モード、PC接続モード等の各機能モードを設定することが出来る再生スイッチ、レリーズスイッチ(SW1)を押したならばオートフォーカス動作を開始し、一旦合焦したならば、その合焦状態を保ち続けるワンショットAFモードとレリーズスイッチ(SW1)を押している間は連続してオートフォーカス動作を続けるサーボAFモードとを設定することが出来るAFモード設定スイッチ等がある。
また、上記プラスボタン、及び、マイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、より軽快に数値や機能を選択することが可能となる。
131は電源スイッチで、電子カメラ1の電源オン、電源オフの各モードを切り替え設定することが出来る。
132は記録媒体であるところの不揮発性メモリー123がカメラに装着されているか否かを検知する記録媒体着脱検知手段である。
133は前記CPU117でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ、警告等を表示する液晶表示装置、スピーカー等の表示・警告部であり、電子カメラ1の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばLCDやLED、発音素子等の組み合わせにより構成されている。
また、表示・警告部133は、その一部の機能が不図示の光学ファインダー内に設置されている。
表示・警告部133の表示内容のうち、LCD等に表示するものとしては、例えば、シングルショット/連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体である不揮発性メモリー123の着脱状態表示、撮影レンズ2の着脱状態表示、通信動作表示、日付け・時刻表示、外部コンピュータとの接続状態を示す表示、キャリブレーションNG表示等がある。
また、表示・警告部133の表示内容のうち、不図示の光学ファインダー内に表示するものとしては、例えば、合焦表示、撮影準備完了表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、シャッタースピード表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示、キャリブレーションNG表示等がある。
さらに、表示・表示部133の表示内容のうち、LED等に表示するものとしては、例えば、合焦表示、撮影準備完了表示、手振れ警告表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、記録媒体書き込み動作表示、マクロ撮影設定通知表示、二次電池充電状態表示、等がある。
そして、表示・警告部133の表示内容のうち、ランプ等に表示するものとしては、例えば、セルフタイマー通知ランプ、等がある。このセルフタイマー通知ランプは、AF補助光と共用して用いても良い。
134は、カメラ内部の温度を検出する温度計であり、本発明においては、電気基板16上に配置され、撮像素子15や撮像素子15の全体の駆動タイミングを決定しているタイミングジェネレータやドライバー回路、撮像素子15からの出力をアナログ的に処理を行って所定の信号レベルに変換するCDS/AGC回路等の撮像動作時の温度を随時モニターし、撮影駒毎に撮影時の温度情報を前記CPU117へ入力する。
次に、図7〜図11を参照して、本発明の実施例の動作を説明する。
図7、及び、図8は本発明の実施例の電子スチルカメラ1の主ルーチンのフローチャートを示す。
図7及び図8を用いて、電子スチルカメラ1の動作を説明する。
電池交換等の電源投入により、CPU117はフラグや制御変数等を初期化し、電子スチルカメラ1の各部において必要な所定の初期設定を行う(S101)。
CPU117は、電源スイッチ131の設定位置を判断し、電源スイッチ131が電源OFFに設定されていたならば(S102)、各表示部の表示を終了状態に変更し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードをCPU117内に実装されている不図示の不揮発性メモリに記録し、電子スチルカメラ1各部の不要な電源を遮断する等の所定の終了処理を行った後(S103)、S102に戻る。
電源スイッチ131が電源ONに設定されていたならば(S102)、CPU117は、電池等により構成される電源の残容量や動作情況が電子スチルカメラ1の動作に問題があるか否かを判断し(S104)、問題があるならば表示・警告部133を用いて画像や音声により所定の警告表示を行った後に(S105)、S102に戻る。
電源に問題が無いならば(S104)、CPU117は撮影モード設定手段128であるところのモードダイアルによるモード設定位置を判断し、モードダイアルが撮影モードに設定されていたならば(S106)、S108に進む。
モードダイアルがその他のモードに設定されていたならば(S106)、CPU117は選択されたモードに応じた処理を実行し(S107)、処理を終えたならばS102に戻る。
CPU117は、記録媒体である不揮発性メモリー123が装着されているかどうかの判断、記録媒体である不揮発性メモリー123に記録された画像データの管理情報の取得、そして、記録媒体である不揮発性メモリー123の動作状態が電子スチルカメラ1の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かの判断を行い(S108)、問題があるならば表示・警告部133を用いて画像や音声により所定の警告表示を行った後に(S105)、S102に戻る。
記録媒体である不揮発性メモリー123が装着されているかどうかの判断、記録媒体である不揮発性メモリー123に記録された画像データの管理情報の取得、そして、記録媒体である不揮発性メモリー123の動作状態が電子スチルカメラ1の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かの判断を行った結果(S108)、問題が無いならば、S109に進む。
CPU117は、単写撮影/連写撮影を設定する単写/連写スイッチ129の設定状態を調べ(S109)、単写撮影が選択されていたならば単写/連写フラグを単写に設定し(S110)、連写撮影が選択されていたならば単写/連写フラグを連写に設定し(S111)、フラグの設定を終えたならばS112に進む。
単写/連写スイッチ129によれば、レリーズスイッチ(SW2)127を押した場合に1駒の撮影を行って待機状態とする単写モードと、レリーズスイッチ(SW2)127を押している間は連続して撮影を行い続ける連写モードとを任意に切り替えて設定切り替えすることが出来る。なお、単写/連写フラグの状態は、CPU117の内部メモリに記憶する。
CPU117は表示・警告部133を用いて画像や音声により電子スチルカメラ1の各種設定状態の表示を行う(S112)。なお、モニター表示部125の画像表示がONであったならば、モニター表示部125も用いて画像や音声により電子スチルカメラ1の各種設定状態の表示を行う。
レリーズスイッチ(SW1)126が押されていないならば(S121)、S102に戻る。
レリーズスイッチ(SW1)126が押されたならば(S121)、CPU117は、測距処理を行って撮影レンズ2の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッター時間を決定する、測距・測光処理を行い(S122)、S123に進む。測光処理において、必要であればフラッシュの設定も行う。この測距・測光処理S122の詳細は図9を用いて後述する。
また、CPU117は、レリーズスイッチ(SW1)126の押下操作に応じて、測距・測光処理(S122)と同時に、温度計134による電気基板16上の処理回路、撮像素子15等の温度測定を開始すると共に、撮像素子15の左右画面の出力端子から同時に出力される左右の画像データのアンバランス量を正確に検出し、補正データを算出する為のキャリブレーション処理(S123)を開始する。
このように、レリーズスイッチ(SW1)126の押下操作に応じて、測距・測光処理(S122)と共にキャリブレーション処理(S123)を行った後にS124へ進むことにより、S124においてレリーズスイッチ(SW2)127が押された時のレリーズタイムラグへの影響をなくすことが可能となる。
キャリブレーション処理(S123)で取り込んだキャリブレーションデータを用いてアンバランス量算出を行ない、補正データの算出処理を行うことにより、撮像素子15の左右の画像データを画面合成回路114による1画面に合成に関して、撮影した画像データを正確に補正することが出来る。
尚、この時、温度計134による温度情報と、カメラに設定されているISO感度情報等の撮影条件がCPU117を介して、アンバランス量算出回路116へ入力され、キャリブレーション処理時の撮影件として、算出された補正データ毎に、補正データと共に記録される。このキャリブレーション処理S123の詳細は図11を用いて後述する。
レリーズスイッチ(SW2)127が押されていないならば(S124)、レリーズスイッチ(SW1)126が放されるまで(S126)、現在のキャリブレーション処理(S123)を繰り返し行う。キャリブレーション処理(S123)は、所定時間間隔にて繰り返し動作させることで、より多くの補正データを蓄積することが可能となり、補正データの信頼性が向上することで、画面合成時の精度が格段に向上することが出来る。
レリーズスイッチ(SW1)126が放されたならば(S126)、図7におけるS102に戻る。
レリーズスイッチ(SW2)127が押されたならば(S125)、CPU117は、キャリブレーション処理(S123)の処理状況(アンバランス量の算出、補正データの算出が終了したか否か)に関わらす、キャリブレーション処理の中止処理(S125)を行い、S127へ進む。
このように、レリーズスイッチ(SW2)127の押下操作に応じて、キャリブレーション処理(S123)を強制的に中止処理し、S127、S129へ進むことにより、レリーズスイッチ(SW2)127が押された時のレリーズタイムラグへの影響をなくすことが可能となる。
次に、撮影した画像データを記憶可能な画像記憶バッファ領域がメモリー107、109にあるかどうかを判断し(S127)、メモリー107、109の画像記憶バッファ領域内に新たな画像データを記憶可能な領域が無いならば、表示・警告部133を用いて画像や音声により所定の警告表示を行った後に(S128)、S102に戻る。
例えば、メモリー107、109の画像記憶バッファ領域内に記憶可能な最大枚数の連写撮影を行った直後で、メモリー107、109から読み出して、画像処理中で記憶媒体であるところの不揮発性メモリー123に書き込むべき最初の画像がまだ記憶媒体であるところの不揮発性メモリー123に未記録な状態であり、まだ1枚の空き領域もメモリー107、109の画像記憶バッファ領域上に確保出来ない状態である場合等が、この状態の一例である。なお、撮影した画像データを圧縮処理してからワークメモリー121の画像記憶バッファ領域に記憶する場合は、圧縮した後の画像データ量が圧縮モードの設定に応じて異なることを考慮して、記憶可能な領域がワークメモリー121の画像記憶バッファ領域上にあるかどうかをS127において判断することになる。
メモリー107、109に撮影した画像データを記憶可能な画像記憶バッファ領域があるならば(S127)、CPU117は、撮像して所定時間蓄積した撮像信号を撮像素子15から読み出して、前述した画像処理プロセスを行ない、メモリー107、109の所定領域に撮影した画像データを書き込む撮影処理を実行する(S129)。この撮影処理S129の詳細は図10を用いて後述する。
撮影処理S129を終えたならば、CPU117は、レリーズスイッチ(SW2)127の操作以前に、キャリブレーション処理(S123)が最低1回以上終了したか否かの判別(S130)を行う。前述した様に、本発明の電子スチルカメラ1においては、レリーズタイムラグを確保するため、キャリブレーション処理(S123)中であっても、レリーズスイッチ(SW2)127の押下操作により、キャリブレーション処理(S123)を中止してしまう。したがって、キャリブレーション処理(S123)による撮影画像データに対するアンバランス量の算出、補正データの算出が行われないまま撮影が行われてしまったか否かの検出を行い、キャリブレーション処理(S123)が最低1回以上終了し、撮影画像データに対するアンバランス量の算出、補正データの算出が行われ、補正データ用メモリ−118にアンバランス量・補正データが記憶されている場合には、S131に進む。
CPU117の内部メモリに記憶される単写/連写フラグの状態を判断し(S131)、連写が設定されていたならばS132に進む。
前記レリーズスイッチ(SW2)127が押されていれば(S132)、CPU117は、連続撮影中である認識する。また、補正データ用メモリー118に記憶されているキャリブレーション処理(S123)により算出されたアンバランス量、補正データは、アンバランス量算出回路126を通して、補正データ用メモリー118を制御することで保持(S133)されると共に、再度、メモリー107、109のチェック(S127)を行い、次駒の撮影処理(S125)を行う。
このように、S130にてキャリブレーション処理(S123)が最低1回以上実行され、アンバランス量、補正データが算出・記憶し、かつ、S131にて連写が設定されていた場合は、撮影駒毎にS123におけるキャリブレーション処理を行う必要がない為、次駒の撮影処理(S129)をすぐに実行することが可能となり、連写駒間隔をほぼ一定に揃えることが可能となる。
単写が設定されていたならば(S131)、S138に進む。また、レリーズスイッチ(SW2)127が押されていなければ(S132)、前記CPU117は連写が中止されたと判断し、S138へ進みキャリブレーション動作が正常に行われ、補正データが算出されているか否かの判定を行う。
撮影処理(S129)終了後、キャリブレーション処理(S123)が最低1回以上終了していない(S130)と判別した場合、撮影画像データに対するアンバランス量の算出、補正データの算出が行わず、補正データ用メモリー118にアンバランス量・補正データが記憶されていないときは、S134に進む。
CPU117の内部メモリに記憶される単写/連写フラグの状態を判断し(S134)、連写が設定されていたならばS135に進む。
レリーズスイッチ(SW2)127が押されていれば(S135)、前記CPU117は、連続撮影中である認識し、再度、メモリー107、109のチェック(S127)を行い、次駒の撮影処理(S129)を行う。
このように、S130にてキャリブレーション処理(S123)の実行が終了せず、アンバランス量、補正データが算出・記憶されていなくても、S134にて連写が設定されていた場合は、撮影駒毎にS123におけるキャリブレーション処理を行わず、撮影処理(S129)を実行する為、連写駒間隔をほぼ一定に揃えることが可能となる。
また、単写が設定されていたならば(S134)、S137に進み、キャリブレーション処理を行い、撮影画像データに対するアンバランス量の算出、補正データの算出し、補正データ用メモリー118にアンバランス量・補正データの記憶を記憶すると共に、S138にてキャリブレーション動作が正常に行われ、補正データが算出されているか否かの判定を行う。
また、レリーズスイッチ(SW2)127が押されていなければ(S135)、CPU117は連写が中止されたと判断し、S137に進み、キャリブレーション処理を行い、撮影画像データに対するアンバランス量の算出、補正データの算出し、補正データ用メモリー118にアンバランス量・補正データの記憶を終了後、S138にてキャリブレーション動作が正常に行われ、補正データが算出されているか否かの判定を行う。
このように、撮影処理(S129)の前にキャリブレーション処理(S123)による、アンバランス量、補正データの算出が出来なくても、撮影処理(S139)終了後、連写、単写に関わらず、撮影を一旦中断した場合には、再度キャリブレーション処理(S127)を実行し、アンバランス量、補正データの算出・記憶を行うので、撮影した画像データを正確に補正することが出来る。このキャリブレーション動作(S137)の詳細は図11を用いて後述する。
S138において、CPU117は、アンバランス量算出回路116を介して、AD−CH1,AD−CH2の信号をモニターすることで、キャリブレーション動作が正常に行われたか否かの判定を行い、キャリブレーション動作が正常に行われたと判断された場合、S139へ進み、CPU117は、アンバランス量算出回路116を制御し、補正データ用メモリー118より、算出・記憶されている撮影画面の合成に必要な補正データの読み出しを行う。(S139)
次に、CPU117は、メモリコントローラー106、108を用いて、メモリー107、109の所定領域に書き込まれた撮影画像データを読み出し、補正データ用メモリーから読み出された、アンバランス量算出回路116より出力された補正データ(OF1、OF2、GN1、GN2)を用い、オフセット調整回路110、111、ゲイン調整回路112、113により、補正処理を行った後、画面合成回路114にて撮影データの画面合成処理を行う。合成された撮影データは、カメラDSP115へ入力され、AWB(オートホワイトバランス)処理、ガンマ変換処理、色変換処理を含む各種現像処理を行う(S140)。
そして、CPU117は、ワークメモリー121の所定領域にカメラDSP115により、書き込まれた画像データを読み出して、設定したモードに応じた画像圧縮処理を圧縮・伸長回路122により行い(S141)、ワークメモリ−121の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データの書き込みを行う。
一連の撮影の実行に伴い、ワークメモリー121の画像記憶バッファ領域に記憶した画像データ、及び、撮影時の撮影条件(露出条件(Tv値、Av値、ISO値、温度情報等)を読み出して、メモリカードやコンパクトフラッシュ(登録商標)カード等の記録媒体であるところの不揮発性メモリー123へ画像データと共に付随データをも書き込みを行う記録処理を開始する(S142)。
この記録開始処理は、ワークメモリー121の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データ/付随データの書き込みが新たに行われる度に、その画像データ/付随データに対して実行される。なお、記録媒体であるところの不揮発性メモリー123へ画像データ/付随データの書き込みを行っている間、書き込み動作中であることを明示するために、表示・警告部133において例えばLEDを点滅させる等の記録媒体書き込み動作表示を行う。
メモリー107、109の所定領域に書き込まれた撮影画像データの全てについて現像処理(S140)が終了し、圧縮処理(S141)、記録開始(S142)の処理が行われると前記画像処理(S140)にて使用した補正データは不要となる為、CPU117は、アンバランス量算出回路116を制御して、現像処理に使用した補正データ(OF1、OF2、GN1、GN2)のキャンセルを行う補正データリセット処理(S143)を行う
次に、CPU117は、次駒への撮影に対応する為に、レリーズスイッチ(SW1)126が押されているかどうかを判断する(S148)。
レリーズスイッチ(SW1)126が放された状態であったならば(S148)、S102に戻る。
レリーズスイッチ(SW1)126が押された状態であったならば(S148)、次駒の撮影に向けて、再度、キャリブレーション処理(S123)を開始し、次の撮影を行う。
レリーズスイッチ(SW1)126が放されたならば(S126)、S102に戻る。
S138において、キャリブレーション動作が正常に行われていないと判断された場合、S144へ進み、CPU117は、アンバランス量算出回路116を制御し、補正データ用メモリー118より、撮影駒と同一の撮影条件時で過去に算出され、蓄積・記憶されている撮影画面の合成に必要な蓄積補正データを後述する補正データテーブルからの読み出しを行う。(S145)
次に、CPU117は、メモリコントローラー106、108を用いて、メモリー107、109の所定領域に書き込まれた撮影画像データを読み出し、補正データ用メモリーから読み出された、蓄積補正データ(OF1、OF2、GN1、GN2)を用い、オフセット調整回路110、111、ゲイン調整回路112、113により、補正処理を行った後、画面合成回路114にて撮影データの画面合成処理を行う。合成された撮影データは、カメラDSP115へ入力され、AWB(オートホワイトバランス)処理、ガンマ変換処理、色変換処理を含む各種現像処理を行う(S145)。
そして、CPU117は、ワークメモリー121の所定領域にカメラDSP115により、書き込まれた画像データを読み出して、設定したモードに応じた画像圧縮処理を圧縮・伸長回路122により行い(S146)、ワークメモリ−121の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データの書き込みを行う。
一連の撮影の実行に伴い、ワークメモリー121の画像記憶バッファ領域に記憶した画像データ、及び、撮影時の撮影条件(露出条件(Tv値、Av値、ISO値、温度情報等)を読み出して、メモリカードやコンパクトフラッシュ(登録商標)カード等の記録媒体であるところの不揮発性メモリー123へ画像データと共に付随データをも書き込みを行う記録処理を開始する(S147)。尚、この時記録される付随データとしては、撮影条件(露出条件(Tv値、Av値、ISO値、温度情報等)のほかに、キャリブレーションが正常に行われず、正確な補正データによる画像合成が行われなかったことを記す補正NG情報も含まれている。
この記録開始処理は、ワークメモリー121の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データ/付随データの書き込みが新たに行われる度に、その画像データ/付随データに対して実行される。なお、記録媒体であるところの不揮発性メモリー123へ画像データ/付随データの書き込みを行っている間、書き込み動作中であることを明示するために、表示・警告部133において例えばLEDを点滅させる等の記録媒体書き込み動作表示を行う。
メモリー107、109の所定領域に書き込まれた撮影画像データ毎の全てについて、毎回、蓄積補正データの読出し(S144)、現像処理(S145)が終了し、圧縮処理(S146)、記録開始(S147)の処理が行われると画像処理(S145)にて使用した蓄積補正データは不要となる為、CPU117は、アンバランス量算出回路116を制御して、前記現像処理に使用した蓄積補正データ(OF1、OF2、GN1、GN2)のキャンセルを行う補正データリセット処理(S143)を行う。
次に、CPU117は、次駒への撮影に対応する為に、レリーズスイッチ(SW1)126が押されているかどうかを判断する(S148)。
レリーズスイッチ(SW1)126が放された状態であったならば(S148)、S102に戻る。
レリーズスイッチ(SW1)126が押された状態であったならば(S148)、次駒の撮影に向けて、再度、キャリブレーション処理(S123)を開始し、次の撮影を行う。レリーズスイッチ(SW1)126が放されたならば(S126)、S102に戻る。
図9は、図8のS122における測距・測光処理の詳細なフローチャートを示す。なお、測距・測光処理においては、焦点検出装置13、測光装置11の出力信号に基き、CPU117がコントロール回路119へ制御信号を出力することで、コントロール回路119が、レンズ駆動装置4、絞り駆動装置6、シャッタ装置14の駆動制御を行う。
CPU117は、焦点検出装置13を用いて、AF(オートフォーカス)処理を開始する(S201)。
CPU117は、撮影レンズ2に入射した光線を、絞り羽根群5、メインミラー7、サブミラー13を介して、焦点検出装置13に入射させることにより、光学像として結像された画像の合焦状態を判断し、測距(AF)が合焦と判断されるまで(S203)、焦点検出手段13を用いて撮影レンズ2の結像レンズ3を駆動しながら、焦点検出装置13を用いて合焦状態を検出するAF制御を実行する(S202)。
測距(AF)が合焦と判断したならば(S203)、CPU117は、撮影画面内の複数の測距点の中から合焦した測距点を決定し、決定した測距点データと共に測距データ及び或いは設定パラメータをCPU117の内部メモリに記憶してS205に進む。
続いて、CPU117は、測光装置11を用いて、AE(自動露出)処理を開始する(S205)。CPU117は、撮影レンズ3に入射した光線を、絞り羽根群5、メインミラー7によりフォーカシングスクリーン8上に結像させた被写体像とし、その輝度をペンタダハプリズム9、不図示の測光用レンズを介して、測光装置11に入射させることにより、光学像として結像された画像の露出状態を測定し、露出(AE)が適正と判断されるまで(S206)、CPU117により、測光処理を行う(S206)。
露出(AE)が適正と判断したならば(S207)、CPU117は、測光データ及び或いは設定パラメータをCPU117の内部メモリに記憶し、測距・測光処理ルーチンS122を終了する。
なお、測光処理S206で検出した露出(AE)結果と、撮影モード設定手段128であるところのモードダイアルによって設定された撮影モードに応じて、CPU117は、絞り値(Av値)、シャッタ速度(Tv値)が決定する。
そして、ここで決定したシャッタ速度(Tv値)に応じて、CPU117は、撮像素子15の電荷蓄積時間を決定し、等しい電荷蓄積時間で撮影処理を行う。
図10は、図8のS129における撮影処理の詳細なフローチャートを示す。なお、撮影処理(S129)においては、CPU117がコントロール回路119へ制御信号を出力することで、コントロール回路119が、絞り駆動装置6、シャッタ装置14の駆動制御を行う。
CPU117は、メインミラー7を不図示のミラー駆動手段によってミラーアップ位置に移動すると共に(S301)、CPU117の内部メモリに記憶されている測光データに従い、コントロール回路119により、絞り駆動装置4が制御されることで絞り羽根群5を所定の絞り値まで駆動する(S302)。
CPU117は、撮像素子15の電荷クリア動作を行った後に(S303)、コントロール回路119により、シャッタ装置14が制御駆動され、先羽根群14aを開放(S304)する。
本発明の電子スチルカメラ1は、前述した様に、電子シャッタ機能を有している為、CPU117の内部メモリに記憶されている測光データに従い設定されたシャッタ秒時の時間だけ、撮像素子15の電荷蓄積を開始する(S305)。
CPU117は、測光データに従って設定されたシャッタ秒時の時間を計測し、撮像素子15の電荷蓄積(露光)終了を待ち(S309)、撮像素子15の電荷蓄積を終了し(S310)、コントロール回路119により、シャッタ装置14の後羽根群14bを閉鎖(S310)することで、撮像素子15による露光を終了する。
CPU117は、コントロール回路119により、絞り駆動装置4が制御されることで絞り羽根群5を開放の絞り値まで駆動すると共に(S311)、メインミラー7を不図示のミラー駆動手段によってミラーダウン位置に移動する(S312)。
設定した電荷蓄積時間が経過したならば、CPU117は、撮像素子15の電荷蓄積を終了した後、撮像素子15から電荷信号を読み出し、CDS/AGC回路102、103を介して、A/D変換手段104、105で所定のデジタル信号へ変換し、メモリーコントローラ−106、108によって、メモリー107、109の所定領域への撮影画像データを書き込む(S313)。
一連の処理を終えたならば、撮影処理ルーチンS129を終了する。
図11は、図8のS123、及び、S137におけるキャリブレーション動作処理の詳細なフローチャートを示す。
CPU117は、撮像素子15の電荷クリア動作を行った後に(S401)、シャッタ装置14の先羽根群14aが閉じた状態で、アンバランス量算出回路116へキャリブレーション動作であることを指示すると共に、撮像素子15を照明するために、ドライバ手段120へキャリブレーションの為の照明用LED素子17a、17bの所定時間の点灯命令を出力し、撮像素子15の撮影画面の照明を行う(S402)。撮像素子15は、照明光による画像(図4)の電荷蓄積を開始する(S403)。
設定した所定の電荷蓄積時間が経過したならば(S404)、CPU117は、LED素子17a、17bを消灯(S405)して撮像素子15の電荷蓄積を終了(S406)させる。
撮像素子15は、左右の撮像領域15b、15cよりCH1出力、CH2出力を介してCDS/AGC回路102、103へ出力し、前述したように出力信号の処理後、A/D変換回路104、105へ入力してデジタル信号へ変換する読み出し処理を行う。(S407)
A/D変換回路104、105より出力されたデジタル信号(AD−CH1、AD−CH2)は、その信頼性を判定する為に所定のレベルTHと比較(S408)し、所定のレベルTHより低いと判断(画像に明らかな異常があると判断)された場合、例えば、LED素子17a、17bの投光により照明されている部分からの画像出力が得られない場合などには、表示・警告手段133により、ファインダー内への表示などにより、撮影者へ適切なキャリブレーションができない旨を伝達(S412)し、その時の撮影条件(温度・ISO値)のみを補正データ用メモリー118へ記憶する(S413)。
A/D変換回路104、105より出力されたデジタル信号(AD−CH1、AD−CH2)が、所定のレベルTHと比較(S408)し、所定のレベルTHより高いと判断された場合には、アンバランス量算出回路116へ入力し、前述した方法により撮像素子15の左右の撮像領域15b、15c出力のアンバランス量を演算・算出(S408)、同時に算出されたアンバランス量より、最適な補正量(補正データ(OF1、OF2、GN1、GN2))を算出(S410)、算出された最適な補正量(補正データ(OF1、OF2、GN1、GN2))、撮影条件(温度・ISO値等)と共に補正データ用メモリー118へ記憶する(S411)。
この時記憶される補正データは、温度計134による温度情報とカメラに設定されているISO感度情報等の撮影条件がCPU117を介して、アンバランス量算出回路116へ入力され、キャリブレーション処理時の撮影件として、算出された補正データ毎に、補正データ用メモリー118へ記録・蓄積されることで、撮影条件(温度・ISO値)に対応した補正データテーブルを作成する。
このキャリブレーション処理による補正データを用いて現像処理を行うことにより、撮像素子15の左右撮像領域15b、15cの出力のアンバランス量を最適に補正し、左右画面を正確に画面合成することが出来る。
なお、このキャリブレーション処理(S123)は、レリーズスイッチ(SW1)が押下されている間は、所定時間間隔で動作を行い、その都度、算出されたアンバランス量、補正量(補正データ)は、補正データ用メモリー118へ蓄積・記憶され、より精度の高い補正データとするように構成されている。
この実施例においては、本発明の前記キャリブレーション処理(S123)を開始させる第1のスイッチ手段を、レリーズスイッチ(SW1)としているが、図7に示す電源SW(S102)であっても構わない。この場合、電源SW(S102)のONにより、キャリブレーション処理(S123)の動作を開始し、キャリブレーション処理(S123)を中止させる第2のスイッチ手段をレリーズスイッチ(SW1)、又はレリーズスイッチ(SW2)として、レリーズスイッチ(SW1)、又はレリーズスイッチ(SW2)の押下がなされるまで、所定時間間隔にてキャリブレーション処理(S123)を繰り返し動作することで、電源ONから露光動作直前まで、その都度、算出されたアンバランス量、補正量(補正データ)は、補正データ用メモリー118へ蓄積・記憶され、より精度の高い補正データとなる。また、露光動作終了後も電源SW(S102)がON中であれば、所定時間間隔にてキャリブレーション処理(S123)を繰り返し動作し、その都度、最新の補正データを算出することが出来る。
また、キャリブレーション処理(S123)を開始させる第1のスイッチ手段を、電源SW(S102)のON後の操作される、各種撮影条件設定手段である、モードダイヤルスイッチ128、単写/連写スイッチ129、操作部130で構成されている各種操作ボタンなどであっても構わない。この場合、電源SW(S102)のON後、撮影者が撮影前準備として、各種撮影条件設定のために、上記操作部材類の操作により、キャリブレーション処理(S123)の動作を開始し、キャリブレーション処理(S123)を中止させる第2のスイッチ手段をレリーズスイッチ(SW1)、又はレリーズスイッチ(SW2)として、レリーズスイッチ(SW1)、又はレリーズスイッチ(SW2)の押下がなされるまで、所定時間間隔にてキャリブレーション処理(S123)を繰り返し動作することで、露光動作直前まで、確実に、アンバランス量、補正量(補正データ)を算出し、より多くのデータを補正データ用メモリー118へ蓄積・記憶し、より精度の高い補正データとすることが出来る。
以下に、本発明の第2の実施例を図12に基づいて説明する。
本発明の電子スチルカメラ1の主ルーチンのフローに関する他の実施例について、図12のフローチャートを用いて説明を行う。尚、同図におけるレリーズスイッチ(SW1)押下以前の動作は、上述の実施例1における図7と同一処理なので説明を省略し、変更部分を記載した図12についてのみ説明する。
図12において、レリーズスイッチ(SW1)126が押されたならば(S501)、CPU117は、測距処理を行って撮影レンズ2の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッタ時間を決定する、測距・測光処理を行い(S502)、S503に進む。測光処理において、必要であればフラッシュの設定も行う。この測距・測光処理S502の詳細は前述した図9と同一処理である。
また、CPU117は、レリーズスイッチ(SW1)126の押下操作に応じて、測距・測光処理(S502)と同時に、温度計134による電気基板16上の処理回路、撮像素子15等の温度測定を開始すると共に、撮像素子15の左右画面の出力端子から同時に出力される左右の画像データのアンバランス量を正確に検出し、補正データを算出する為のキャリブレーション処理(S503)を開始する。
このように、レリーズスイッチ(SW1)126の押下操作に応じて、測距・測光処理(S502)と共にキャリブレーション処理(S503)を行った後にS504へ進むことにより、S504においてレリーズスイッチ(SW2)127が押された時のレリーズタイムラグへの影響をなくすことが可能となる。
キャリブレーション処理(S503)で取り込んだキャリブレーションデータを用いてアンバランス量算出を行ない、補正データの算出処理を行うことにより、撮像素子15の左右の画像データを画面合成回路114による1画面に合成に関して、撮影した画像データを正確に補正することが出来る。
尚、この時、温度計134による温度情報と、カメラに設定されているISO感度情報等の撮影条件がCPU117を介して、アンバランス量算出回路116へ入力され、キャリブレーション処理時の撮影件として、算出された補正データ毎に、補正データと共に記録される。このキャリブレーション処理S503の詳細は前述した図11と同一処理である。
レリーズスイッチ(SW2)127が押されていないならば(S504)、前記レリーズスイッチ(SW1)126が放されるまで(S506)、現在のキャリブレーション処理(S503)を繰り返し行う。キャリブレーション処理(S503)は、所定時間間隔にて繰り返し動作させることで、より多くの補正データを蓄積することが可能となり、補正データの信頼性が向上することで、画面合成時の精度が格段に向上することが出来る。
レリーズスイッチ(SW1)126が放されたならば(S506)、図7におけるS102に戻る。
レリーズスイッチ(SW2)127が押されたならば(S504)、CPU117は、キャリブレーション処理(S503)の処理状況(アンバランス量の算出、補正データの算出が終了したか否か)に関わらす、キャリブレーション処理の中止処理(S505)を行い、S507へ進む。このように、前記レリーズスイッチ(SW2)127の押下操作に応じて、キャリブレーション処理(S123)を強制的に中止処理し、S507、S509へ進むことにより、レリーズスイッチ(SW2)127が押された時のレリーズタイムラグへの影響をなくすことが可能となる。
次に、撮影した画像データを記憶可能な画像記憶バッファ領域がメモリー107、109にあるかどうかを判断し(S507)、メモリー107、109の画像記憶バッファ領域内に新たな画像データを記憶可能な領域が無いならば、表示・警告部133を用いて画像や音声により所定の警告表示を行った後に(S508)、S102に戻る。
例えば、メモリー107、109の画像記憶バッファ領域内に記憶可能な最大枚数の連写撮影を行った直後で、メモリー107、109から読み出して、画像処理中で記憶媒体であるところの不揮発性メモリー123に書き込むべき最初の画像がまだ記憶媒体であるところの不揮発性メモリー123に未記録な状態であり、まだ1枚の空き領域もメモリー107、109の画像記憶バッファ領域上に確保出来ない状態である場合等が、この状態の一例である。
なお、撮影した画像データを圧縮処理してからワークメモリー121の画像記憶バッファ領域に記憶する場合は、圧縮した後の画像データ量が圧縮モードの設定に応じて異なることを考慮して、記憶可能な領域がワークメモリー121の画像記憶バッファ領域上にあるかどうかをS507において判断することになる。
メモリー107、109に撮影した画像データを記憶可能な画像記憶バッファ領域があるならば(S507)、CPU117は、撮像して所定時間蓄積した撮像信号を撮像素子15から読み出して、前述した画像処理プロセスを行ない、メモリー107、109の所定領域に撮影した画像データを書き込む撮影処理を実行する(S509)。この撮影処理S509の詳細は、前述した図10と同一処理である。
撮影処理S509を終えたならば、CPU117は、レリーズスイッチ(SW2)127の操作以前に、キャリブレーション処理(S503)が最低1回以上終了したか否かの判別(S510)を行う。前述した様に、本発明の電子スチルカメラ1においては、レリーズタイムラグを確保するため、キャリブレーション処理(S503)中であっても、レリーズスイッチ(SW2)127の押下操作により、キャリブレーション処理(S503)を中止してしまう。したがって、キャリブレーション処理(S503)による撮影画像データに対するアンバランス量の算出、補正データの算出が行われないまま撮影が行われてしまったか否かの検出を行い、キャリブレーション処理(S503)が最低1回以上終了し、撮影画像データに対するアンバランス量の算出、補正データの算出が行われ、補正データ用メモリー118にアンバランス量・補正データが記憶されている場合には、S511に進む。CPU117の内部メモリに記憶される単写/連写フラグの状態を判断し(S511)、連写が設定されていたならばS512に進む。
レリーズスイッチ(SW2)127が押されていれば(S512)、CPU117は、連続撮影中である認識する。また、補正データ用メモリー118に記憶されているキャリブレーション処理(S503)により算出されたアンバランス量、補正データは、アンバランス量算出回路126を通して、補正データ用メモリー118を制御することで保持(S513)されると共に、再度、メモリー107、109のチェック(S507)を行い、次駒の撮影処理(S509)を行う。
このように、S510にてキャリブレーション処理(S503)が最低1回以上実行され、アンバランス量、補正データが算出・記憶し、かつ、S511にて連写が設定されていた場合は、撮影駒毎にS503におけるキャリブレーション処理を行う必要がない為、次駒の撮影処理(S509)をすぐに実行することが可能となり、連写駒間隔をほぼ一定に揃えることが可能となる。
単写が設定されていたならば(S511)、S518に進む。また、レリーズスイッチ(SW2)127が押されていなければ(S512)、CPU117は連写が中止されたと判断し、S518へ進みキャリブレーション動作が正常に行われ、補正データが算出されているか否かの判定を行う。
撮影処理(S509)終了後、キャリブレーション処理(S503)が最低1回以上終了していない(S510)と判別した場合、撮影画像データに対するアンバランス量の算出、補正データの算出が行わず、補正データ用メモリー118にアンバランス量・補正データが記憶されていないときは、S514に進む。
CPU117の内部メモリに記憶される単写/連写フラグの状態を判断し(S514)、連写が設定されていたならばS515に進む。レリーズスイッチ(SW2)127が押されていれば(S515)、CPU117は、連続撮影中である認識し、再度、メモリー107、109のチェック(S507)を行い、次駒の撮影処理(S509)を行う。
このように、S510にてキャリブレーション処理(S503)の実行が終了せず、アンバランス量、補正データが算出・記憶されていなくても、S514にて連写が設定されていた場合は、撮影駒毎にS503におけるキャリブレーション処理を行わず、撮影処理(S509)を実行する為、連写駒間隔をほぼ一定に揃えることが可能となる。
また、単写が設定されていたならば(S134)、S137に進み、キャリブレーション処理を行い、撮影画像データに対するアンバランス量の算出、補正データの算出し、前記補正データ用メモリー118にアンバランス量・補正データの記憶を記憶すると共に、S138にてキャリブレーション動作が正常に行われ、補正データが算出されているか否かの判定を行う。
また、レリーズスイッチ(SW2)127が押されていなければ(S515)、CPU117は連写が中止されたと判断し、S517に進み、キャリブレーション処理を行い、撮影画像データに対するアンバランス量の算出、補正データの算出し、補正データ用メモリー118にアンバランス量・補正データの記憶を終了後、S518にてキャリブレーション動作が正常に行われ、補正データが算出されているか否かの判定を行う。
このように、撮影処理(S509)の前にキャリブレーション処理(S503)による、アンバランス量、補正データの算出が出来なくても、撮影処理(S519)終了後、連写、単写に関わらず、撮影を一旦中断した場合には、再度キャリブレーション処理(S507)を実行し、アンバランス量、補正データの算出・記憶を行うので、撮影した画像データを正確に補正することが出来る。このキャリブレーション動作(S517)の詳細は、前述した図11と同一処理である。
S518において、CPU117は、アンバランス量算出回路116を会して、AD−CH1,AD−CH2の信号をモニターすることで、キャリブレーション動作が正常に行われたか否かの判定を行い、キャリブレーション動作が正常に行われたと判断された場合、S519へ進み、CPU117は、アンバランス量算出回路116を制御し、補正データ用メモリー118より、算出・記憶されている撮影画面の合成に必要な補正データの読み出しを行う。(S519)
次に、CPU117は、メモリコントローラー106、108を用いて、メモリー107、109の所定領域に書き込まれた撮影画像データを読み出し、補正データ用メモリーから読み出された、アンバランス量算出回路116より出力された補正データ(OF1、OF2、GN1、GN2)を用い、オフセット調整回路110、111、ゲイン調整回路112、113により、補正処理を行った後、画面合成回路114にて撮影データの画面合成処理を行う。合成された撮影データは、カメラDSP115へ入力され、AWB(オートホワイトバランス)処理、ガンマ変換処理、色変換処理を含む各種現像処理を行う(S520)。
そして、CPU117は、ワークメモリー121の所定領域にカメラDSP115により、書き込まれた画像データを読み出して、設定したモードに応じた画像圧縮処理を圧縮・伸長回路122により行い(S521)、ワークメモリー121の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データの書き込みを行う。
一連の撮影の実行に伴い、ワークメモリー121の画像記憶バッファ領域に記憶した画像データ、及び、撮影時の撮影条件(露出条件(Tv値、Av値、ISO値、温度情報等)を読み出して、メモリカードやコンパクトフラッシュ(登録商標)カード等の記録媒体であるところの不揮発性メモリー123へ画像データと共に付随データをも書き込みを行う記録処理を開始する(S522)。
この記録開始処理は、ワークメモリー121の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データ/付随データの書き込みが新たに行われる度に、その画像データ/付随データに対して実行される。
なお、記録媒体であるところの不揮発性メモリー123へ画像データ/付随データの書き込みを行っている間、書き込み動作中であることを明示するために、表示・警告部133において例えばLEDを点滅させる等の記録媒体書き込み動作表示を行う。
メモリー107、109の所定領域に書き込まれた撮影画像データの全てについて現像処理(S520)が終了し、圧縮処理(S521)、記録開始(S522)の処理が行われると前記画像処理(S520)にて使用した補正データは不要となる為、CPU117は、アンバランス量算出回路116を制御して、現像処理に使用した補正データ(OF1、OF2、GN1、GN2)のキャンセルを行う補正データリセット処理(S523)を行う
次に、CPU117は、次駒への撮影に対応する為に、レリーズスイッチ(SW1)126が押されているかどうかを判断する(S528)。
レリーズスイッチ(SW1)126が放された状態であったならば(S528)、S102に戻る。
レリーズスイッチ(SW1)126が押された状態であったならば(S528)、次駒の撮影に向けて、再度、キャリブレーション処理(S503)を開始し、次の撮影を行う。
レリーズスイッチ(SW1)126が放されたならば(S506)、S102に戻る。
S518において、キャリブレーション動作が正常に行われていないと判断された場合、S524へ進み、CPU117は、アンバランス量算出回路116を制御し、補正データ用メモリー118より、撮影駒が撮影されたときの撮影条件、及び、同一の撮影条件時で過去に算出され、蓄積・記憶されている撮影画面の合成に必要な蓄積補正データを前述した補正データテーブルから読み出しを行う。(S525)
次に、CPU117は、メモリコントローラー106、108を用いて、メモリー107、109の所定領域に書き込まれた撮影画像データを読み出し、補正データ用メモリーから読み出された、蓄積補正データ(OF1、OF2、GN1、GN2)を用いずに、画面合成回路114にて撮影データの画面合成処理を行う。合成された撮影データは、カメラDSP115へ入力され、AWB(オートホワイトバランス)処理、ガンマ変換処理、色変換処理を含む各種現像処理を行う(S525)。
そして、CPU117は、ワークメモリー121の所定領域にカメラDSP115により、書き込まれた画像データを読み出して、設定したモードに応じた画像圧縮処理を圧縮・伸長回路122により行い(S526)、ワークメモリー121の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データの書き込みを行う。
一連の撮影の実行に伴い、ワークメモリー121の画像記憶バッファ領域に記憶した画像データ、及び、撮影時の撮影条件(露出条件(Tv値、Av値、ISO値、温度情報等)、補正データ用メモリーから読み出された蓄積補正データを読み出して、メモリカードやコンパクトフラッシュ(登録商標)カード等の記録媒体であるところの不揮発性メモリー123へ画像データと共に付随データをも書き込みを行う記録処理を開始する(S527)。尚、この時記録される付随データとしては、撮影条件(露出条件(Tv値、Av値、ISO値、温度情報等))のほかに、キャリブレーションが正常に行われず、正確な補正データによる画像合成が行われなかったことを記す補正NG情報も含まれている。また、付随データと一緒に前記補正データ用メモリーから読み出された蓄積補正データをも記録書き込みを行う。
この記録開始処理は、ワークメモリー121の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データ/付随データの書き込みが新たに行われる度に、その画像データ/付随データに対して実行される。
なお、記録媒体であるところの不揮発性メモリー123へ画像データ/付随データの書き込みを行っている間、書き込み動作中であることを明示するために、表示・警告部133において例えばLEDを点滅させる等の記録媒体書き込み動作表示を行う。
メモリー107、109の所定領域に書き込まれた撮影画像データ毎の全てについて、毎回、撮影条件、蓄積補正データの読出し(S524)、補正データによる補正処理を行わないで現像処理(S525)が終了し、圧縮処理(S526)、記録開始(S527)の処理が行われると前記画像処理(S525)にて使用した蓄積補正データは不要となる為、CPU117は、アンバランス量算出回路116を制御して、蓄積補正データ(OF1、OF2、GN1、GN2)のキャンセルを行う補正データリセット処理(S523)を行う。
次に、CPU117は、次駒への撮影に対応する為に、レリーズスイッチ(SW1)126が押されているかどうかを判断する(S528)。レリーズスイッチ(SW1)126が放された状態であったならば(S528)、S102に戻る。
レリーズスイッチ(SW1)126が押された状態であったならば(S528)、次駒の撮影に向けて、再度、キャリブレーション処理(S503)を開始し、次の撮影を行う。レリーズスイッチ(SW1)126が放されたならば(S506)、S102に戻る。
尚、実施例1、2においては、キャリブレーション処理の関係について説明したが、キャリブレーション処理の代わりに、ダーク取り込み処理によるダークノイズ補正処理等の各種画像補正データの算出処理を行うか、また、キャリブレーション処理とダーク取り込み処理の両方を行ってもよい。
本発明の実施例1に係る電子カメラの概略断面図である。 図1における電子カメラの部分拡大図である。 撮像素子の斜視図である。 撮像素子の撮像領域の照明状態を示す図である。 本発明の実施例1に係る全体システム構成図である。 本発明の実施例1に係る具体的回路構成を表した図である。 本発明の実施例1に係る電子カメラの動作を示すフローチャートである。 本発明の実施例1に係る電子カメラの動作を示すフローチャートである。 本発明の実施例1に係る電子カメラの測光、測距動作を示すフローチャートである。 本発明の実施例1に係る電子カメラの露光動作を示すフローチャートである。 本発明の実施例1に係る電子カメラのキャリブレーション動作を示すフローチャートである。 本発明の実施例2に係る電子カメラの動作を示すフローチャートである。 本発明の全体に係る撮像素子の読み出し原理を表した図である。 従来のカメラシステムの全体構成を説明した図である。
符号の説明
1 電子スチルカメラ
2 撮影レンズ
3 結像レンズ
4 レンズ駆動装置
5 絞り羽根群
6 絞り駆動装置
7 メインミラー
8 フォーカシングスクリーン
9 ペンタダハプリズム
10 接眼レンズ装置
11 測光装置
12 サブミラー
13 焦点検出装置
14 シャッタ装置
14a 先羽根群
15 撮像素子
16 電気基板
17a、17b LED素子
18 フィルタ部材
101 TG/SSG
102、103 CDS/AGC
104、105 A/D
106、108 メモリーコントローラー
107、109 メモリー
110、111 オフセット調整回路
112、113 ゲイン調整回路
114 画像合成回路
115 カメラDSP
116 アンバランス量算出回路
117 中央演算処理装置(CPU)
118 補正データ用メモリー
119 コントロール回路
120 DRIVER
126 レリーズスイッチ(SW1)
127 レリーズスイッチ(SW2)
128 撮影モード設定
126 連写/単写スイッチ
130 操作部
131 電源スイッチ
133 表示・警告
133 温度計
140、141、142 平均値算出回路
143 領域選択回路
144、145 除算回路
146、147 減算回路
148、149、150、151 補正データ算出回路
190 フォトダイオード
191 垂直CCD
192、193 水平CCD
194、195 アンプ
196、198 CDS/AGC
197、199 外部調整手段

Claims (8)

  1. 撮像した静止画像や動画像を記録媒体に記録する画像処理装置であって、
    被写体光を露光せずに撮像手段の電荷蓄積を行う第1の撮像モードと被写体光を露光して撮像手段の電荷蓄積を行う第2の撮像モードとを備える撮像手段と、
    前記第1の撮像モード及び第2の撮像モードにより出力された撮像データを処理する処理回路手段と、
    前記処理回路手段より出力された第1の撮像モードの出力画像信号から前記第2の撮像モードの出力画像信号を補正する為の補正データを算出する補正データ算出手段と、
    前記第1の撮像モードの出力画像信号より算出された前記補正データの信頼性を判定する信頼性判定手段と、
    撮像部の撮像条件を取得する撮像条件取得手段と、
    前記撮像条件取得手段により取得された撮像条件毎に前記補正データを記憶する補正データ記憶手段と、
    前記信頼性判定手段の出力に基づき、前記第1の撮像モードの出力画像信号より算出された前記補正データ又は前記補正データ記憶手段に記憶された補正データを選択する補正データ選択手段と、
    前記選択手段により選択された補正データにより、前記第2の撮像モードの出力画像信号を補正する画像補正手段とを有することを特徴とする画像処理装置。
  2. 前記選択手段により前記補正データ記憶手段に記憶された補正データを選択された場合には、その旨を告知する告知手段を有することを特徴とする請求項1記載の画像処理装置。
  3. 前記選択手段により前記補正データ記憶手段に記憶された補正データを選択された場合には、その旨を前記第2の撮像モードにより撮像された画像データへ付随させる事を特徴とする請求項1又は2記載の画像処理装置。
  4. 撮像した静止画像、動画像を記録媒体に記録する画像処理装置であって、
    被写体光を露光せずに撮像手段の電荷蓄積を行う第1の撮像モードと被写体光を露光して撮像手段の電荷蓄積を行う第2の撮像モードとを備える撮像手段と、
    前記第1の撮像モード及び第2の撮像モードより出力された撮像データを処理する処理回路手段と、
    前記処理回路手段より出力された第1の撮像モードの出力画像信号より、前記第2の撮像モードの出力画像信号を補正する為の補正データを算出する補正データ算出手段と、
    前記第1の撮像モードの出力画像信号より算出された前記補正データの信頼性を判定する信頼性判定手段と、
    前記信頼性判定手段の出力に基づき、前記第1の撮像モードの出力画像信号より算出された前記補正データにより、前記第2の撮像モードの出力画像信号を補正処理する画像補正手段とを有することを特徴とする画像処理装置。
  5. 前記信頼性判定手段により、前記補正データの信頼性が低いと判定された場合には、その旨を告知する告知手段を有する事を特徴とする請求項1又は4記載の画像処理装置。
  6. 前記信頼性判定手段により、前記補正データの信頼性が低いと判定された場合には、前記補正データによる前記第2の撮像モードの出力画像信号の補正処理を禁止すると共に、補正処理が行われなかった事を警告する警告手段を有する事を特徴とする請求項4記載の画像処理装置。
  7. 前記信頼性判定手段により、前記補正データの信頼性が低いと判定された場合には、前記補正データによる前記第2の撮像モードの出力画像信号の補正処理を禁止すると共にその旨を前記第2の撮像モードにより撮像された画像データへ付随させる事を特徴とする請求項4記載の画像処理装置。
  8. 前記撮像手段は、撮像領域が複数に分割され、分割された撮像データを同時に複数の出力を介して読み出し可能であり、
    前記処理回路は、該撮像手段からの出力を各々個別に処理し、
    該処理回路手段からの出力に対して、ある所定の画像領域中のデータに関する互いの相関関係を判別する判別手段を有し、
    前記第1の撮像モードは、上記撮像手段近傍に配置されると共に撮像手段に対して所定の光量にて投光を行う投光手段を有し、上記投光手段を作動して投光像を上記撮像手段にて撮像するものであり、
    前記補正データ算出手段は、前記第1の撮像モードでの撮像結果を前記処理回路手段を介して処理すると共に、その状態にて上記判別手段からの判別結果に応じて、前記第2の撮像モードでの前記処理回路毎の出力画像信号を補正する補正データを算出することを特徴とする請求項1、4記載の画像処理装置。
JP2003414788A 2003-12-12 2003-12-12 画像処理装置 Pending JP2005176042A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003414788A JP2005176042A (ja) 2003-12-12 2003-12-12 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003414788A JP2005176042A (ja) 2003-12-12 2003-12-12 画像処理装置

Publications (1)

Publication Number Publication Date
JP2005176042A true JP2005176042A (ja) 2005-06-30

Family

ID=34734490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003414788A Pending JP2005176042A (ja) 2003-12-12 2003-12-12 画像処理装置

Country Status (1)

Country Link
JP (1) JP2005176042A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009033510A (ja) * 2007-07-27 2009-02-12 Hitachi Kokusai Electric Inc 高速度カメラ
JP2016118458A (ja) * 2014-12-19 2016-06-30 株式会社リコー 画像処理装置、画像処理方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009033510A (ja) * 2007-07-27 2009-02-12 Hitachi Kokusai Electric Inc 高速度カメラ
JP2016118458A (ja) * 2014-12-19 2016-06-30 株式会社リコー 画像処理装置、画像処理方法およびプログラム

Similar Documents

Publication Publication Date Title
US7876373B2 (en) Camera with viewfinder
JP2006345172A (ja) ファインダ装置及びカメラ
JP2009049810A (ja) 撮像装置及びその制御方法及びプログラム
JP2003101860A (ja) 撮像装置、撮影画像生成方法、プログラムおよび記憶媒体
JP4532819B2 (ja) 撮像装置
US7852395B2 (en) Camera with two image pickup sections
JP5329913B2 (ja) 自動焦点調節装置及び方法
JP2005045552A (ja) 撮像装置及び方法
JP5548490B2 (ja) 撮像装置
JP2012019343A (ja) 撮像装置、その制御方法及びプログラム
JP2003101851A (ja) 撮像装置、撮像方法、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム
JP2008294972A (ja) 撮像装置及びその制御方法
JP2007251656A (ja) 撮像装置、その制御方法およびプログラム
JP2007065334A (ja) レンズ交換式カメラシステム
JP2005292740A (ja) 電子カメラ
JP2005176042A (ja) 画像処理装置
US20080084493A1 (en) Camera, camera unit and camera system
JP2002142158A (ja) 撮像装置及び補正方法
JP2003101873A (ja) 撮像装置、撮影画像生成方法、プログラムおよび記憶媒体
JP2007322895A (ja) 撮像装置及びその制御方法
JP3554267B2 (ja) 撮像装置及びその制御方法、及び信号処理方法
JP2003087648A (ja) 撮像装置、撮影画像生成方法、プログラムおよび記憶媒体
JP2002014405A (ja) 電子カメラ用レンズアダプタおよび電子カメラ
JP2006109162A (ja) 撮像装置、撮像方法、プログラム及び記憶媒体
JP5843457B2 (ja) 撮像装置