以下、図面を参照して本発明の実施の形態を説明する。
図1は、本発明の一実施の形態に係る撮像装置を含むカメラシステムの構成図である。このカメラシステムは、カメラ100とこれに交換可能に装着される撮影レンズ300とを備える。このカメラシステムは、一例としてレンズ交換式のデジタル一眼レフカメラに適用されるが、位相差検出方式の焦点検出に用いる信号を生成可能な撮像素子を有する各種の撮像装置に本発明を適用可能である。このような焦点検出装置を有する撮像装置には、デジタルスチルカメラ、デジタルビデオカメラのほか、カメラ機能を有する携帯電話機、コンピュータ機器、メディアプレーヤ、ロボット機器、ゲーム機器、家電機器などが含まれる。
カメラ100は、複数種類の撮影レンズ300が存在するカメラシステムに対応しており、同一種類のレンズでも製造番号が異なるものが装着可能である。更には、カメラ100は、焦点距離や開放Fナンバーが異なる撮影レンズ300若しくはズーム機能を備える撮影レンズ300なども装着可能で、同種、異種の撮影レンズにかかわらず交換可能な構成を有する。
撮影レンズ300を通過した光束は、マウント106を通過し、メインミラー130により上方へ反射されて光学ファインダ104に入射する。光学ファインダ104により、撮影者は被写体光学像を観察しながら撮影できる。光学ファインダ104内には、表示部54の一部の機能、例えば、合焦表示、手振れ警告表示、絞り値表示、露出補正表示等が設置されている。
メインミラー130の一部は半透過性のハーフミラーで構成され、メインミラー130に入射する光束のうち一部はこのハーフミラー部分を通過し、サブミラー131で下方へ反射されて焦点検出装置105へ入射する。焦点検出装置105は、2次結像光学系とラインセンサを有する位相差検出方式の焦点検出装置であり、得られた光学像(一対の像信号)をAF部(オートフォーカス部)42に出力する。AF部42では、一対の像信号に対して位相差検出演算を行い、撮影レンズ300のデフォーカスの量および方向を求める。この演算結果に基づき、システム制御部50が、撮影レンズ300のフォーカス制御部342(後述)に対して焦点調節処理等の制御を行う。本実施の形態では、焦点検出結果の補正もAF部42が行う。
カメラ100は、撮影レンズ300の焦点調節処理が終了して静止画撮影を行う場合や、電子ファインダ表示または動画撮影を行う場合には、不図示のクイックリターン機構によりメインミラー130とサブミラー131を光路外に退避させる。そうすると、撮影レンズ300を通過してカメラ100に入射する光束は、露光量を制御するためのシャッター12を介して、撮像素子14に入射可能になる。撮像素子14による撮影動作終了後には、メインミラー130とサブミラー131は図示される位置に戻る。
撮像素子14はCCDまたはCMOSイメージセンサであり、画素が複数、2次元的に配置された構成を有する。撮像素子14は被写体光学像に対応する電気信号を出力する。撮像素子14にて光電変換された電気信号はA/D変換器16へ送られ、アナログ信号出力がデジタル信号(画像データ)に変換される。
タイミング発生回路18は、撮像素子14、A/D変換器16、D/A変換器26にクロック信号や制御信号を供給する。タイミング発生回路18はメモリ制御部22及びシステム制御部50により制御される。複数の光電変換領域を有する画素から、一部の光電変換領域の出力を読み出したり、全ての光電変換領域の出力を加算読み出ししたりするための制御信号は、システム制御部50がタイミング発生回路18を制御して撮像素子14に供給する。画像処理部20は、A/D変換器16からの画像データ或いはメモリ制御部22からの画像データに対して画素補間処理、ホワイトバランス調整処理、色変換処理などの所定の処理を適用する。画像処理部20は、画像データを用いて所定の演算処理を行う。
撮像素子14は焦点検出装置の一部を有し、クイックリターン機構によりメインミラー130とサブミラー131が撮影光束外に退避した状態においても位相差検出方式の焦点検出(位相差検出方式AF)を行うことができる。得られた画像データのうち、焦点検出に対応する画像データは、画像処理部20で焦点検出用画像データに変換される。変換後のデータは、システム制御部50を介してAF部42へ送られ、焦点調節装置により撮影レンズ300の焦点合わせが行われる。なお、画像処理部20による撮像素子14の画像データを演算した演算結果に基づき、システム制御部50が、撮影レンズ300のフォーカス制御部342に対して焦点合わせを行う所謂コントラスト方式AFも可能な構成となっている。こうして、電子ファインダ観察時や動画撮影時では、メインミラー130とサブミラー131が撮影光束外に退避するが、撮像素子14による位相差検出方式AFとコントラスト方式AFの両者が可能となっている。特に、位相差検出方式AFが可能であるため高速な焦点合わせが可能となっている。
この様に、カメラ100は、メインミラー130とサブミラー131が撮影光路内にある通常の静止画撮影では、焦点検出装置105による位相差検出方式AFを用いる。また、カメラ100は、メインミラー130とサブミラー131が撮影光束外へ退避する電子ファインダ観察時や動画撮影時では、撮像素子14による位相差検出方式AFとコントラスト方式AFを用いる。従って、静止画撮影、電子ファインダ、動画撮影のどの撮影においても焦点調節が可能である。
メモリ制御部22は、A/D変換器16、タイミング発生回路18、画像処理部20、画像表示メモリ24、D/A変換器26、メモリ30、圧縮伸長部32を制御する。そして、A/D変換器16のデータが画像処理部20およびメモリ制御部22を介して、あるいはメモリ制御部22のみを介して、画像表示メモリ24あるいはメモリ30に書き込まれる。画像表示メモリ24に書き込まれた表示用の画像データは、D/A変換器26を介して液晶モニタ等から構成される画像表示部28に表示される。撮像素子14で撮影した動画像を画像表示部28に逐次表示することで、電子ファインダ機能(ライブビュー表示)が実現される。画像表示部28は、システム制御部50の指示により表示をON/OFFすることが可能であり、表示をOFFにした場合にはカメラ100の電力消費を低減できる。
また、メモリ30は、撮影した静止画像や動画像の一時記憶に用いられ、所定枚数の静止画像や所定時間の動画像を記憶するのに十分な記憶容量を備えている。これにより、連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ30に対して行うことができる。また、メモリ30はシステム制御部50の作業領域としても使用される。圧縮伸長部32は、適応離散コサイン変換(ADCT)等により画像データを圧縮伸長する機能を有し、メモリ30に記憶された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えた画像データをメモリ30に書き戻す。
シャッター制御部36は、測光部46からの測光情報に基づいて、撮影レンズ300の絞り102を制御する絞り制御部344と連携しながら、シャッター12を制御する。インターフェース部38とコネクタ122は、カメラ100と撮影レンズ300とを電気的に接続する。これらは、カメラ100と撮影レンズ300との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。
測光部46は、自動露出制御(AE)処理を行う。カメラ100は、撮影レンズ300を通過した光束を、マウント106、メインミラー130、そして不図示の測光用レンズを介して、測光部46に入射させることにより、被写体光学像の輝度を測定できる。また、測光部46は、フラッシュ48と連携することで調光処理機能も有する。なお、画像処理部20による撮像素子14の画像データを演算した演算結果に基づき、システム制御部50が、シャッター制御部36と撮影レンズ300の絞り制御部344に対してAE制御を行うことも可能である。発光手段(発光部)としてのフラッシュ48は、フラッシュ調光機能だけでなく、焦点調節時の補助的な光源としての機能(AF補助光の投光機能)も有する。
システム制御部50は例えばCPUやMPUなどのプログラマブルプロセッサを有し、予め記憶されたプログラムを実行することによりカメラシステム全体の動作を制御する。不揮発性のメモリ52はシステム制御部50の動作用の定数、変数、プログラム等を記憶する。表示部54はシステム制御部50でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置である。表示部54はカメラ100の操作部近辺の視認し易い位置に単数或いは複数設置され、例えばLCDやLED等の組み合わせにより構成される。表示部54の表示内容のうち、LCD等に表示するものとしては、記録枚数や残撮影可能枚数等の撮影枚数に関する情報や、シャッタースピード、絞り値、露出補正、フラッシュ等の撮影条件に関する情報等がある。その他、電池残量や日付・時刻等も表示される。また、表示部54は、前述した様にその一部の機能が光学ファインダ104内に設置されている。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。符号60、62、64、66、68及び70で示す要素は、システム制御部50の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
モードダイアル60は、電源オフ、オート撮影モード、マニュアル撮影モード、再生モード、PC接続モード等の各機能モードを切り替え設定できる。シャッタースイッチSW1であるスイッチ62は、不図示のシャッターボタンが半押しされるとONとなり、AF処理、AE処理、AWB処理、EF処理等の動作開始を指示する。シャッタースイッチSW2であるスイッチ64は、シャッターボタンが全押しされるとONとなり、撮影に関する一連の処理の動作開始を指示する。撮影に関する一連の処理とは、露光処理、現像処理及び記録処理等のことである。カメラ100は、露光処理では、撮像素子14から読み出した信号をA/D変換器16、メモリ制御部22を介してメモリ30に画像データとして書き込む。カメラ100は、現像処理では、画像処理部20やメモリ制御部22での演算を用いた現像を行う。カメラ100は、記録処理では、メモリ30から画像データを読み出し、圧縮伸長部32で圧縮を行い、記録媒体150、160に画像データとして書き込む。
画像表示ON/OFFスイッチ66は、画像表示部28のON/OFFを設定できる。この機能により、光学ファインダ104を用いて撮影を行う際に、液晶モニタ等から成る画像表示部28への電流供給を遮断することにより、省電力を図ることができる。クイックレビューON/OFFスイッチ68は、撮影した画像データを撮影直後に自動再生するクイックレビュー機能を設定する。操作部70は、各種ボタンやタッチパネル等からなる。各種ボタンには、メニューボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、露出補正ボタン等がある。
電源制御部80は、電池検出回路、DC/DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部80は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部50の指示に基づいてDC/DCコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。コネクタ82及び84は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、リチウムイオン電池等の二次電池、ACアダプタ等からなる電源部86をカメラ100と接続する。
インターフェース90及び94は、メモリカードやハードディスク等の記録媒体との接続機能を有し、コネクタ92及び96は、メモリカードやハードディスク等の記録媒体と物理的接続を行う。記録媒体着脱検知部98は、コネクタ92または96に記録媒体が装着されているかどうかを検知する。なお、本実施形態では、記録媒体を取り付けるインターフェース及びコネクタを2系統持つものとして説明しているが、インターフェース及びコネクタは、単数あるいは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。更に、インターフェース及びコネクタにLANカード等の各種通信カードを接続することで、コンピュータやプリンタ等の他の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
通信部110は、有線通信、無線通信等の各種通信機能を有する。コネクタ112は、通信部110によりカメラ100を他の機器と接続し、無線通信の場合はアンテナである。記録媒体150及び160は、メモリカードやハードディスク等である。記録媒体150及び160は、半導体メモリや磁気ディスク等から構成される記録部152,162、カメラ100とのインターフェース154,164、カメラ100と接続を行うコネクタ156,166を備えている。
次に、撮影レンズ300について説明する。撮影レンズ300は、カメラ100に着脱可能に構成される。撮影レンズ300は、マウント306をカメラ100のマウント106に係合させることにより、カメラ100と機械的並びに電気的に結合される。電気的な結合はマウント106及びマウント306に設けられたコネクタ122及びコネクタ322によって実現される。レンズ311には撮影レンズ300の合焦距離を調節するためのフォーカスレンズが含まれる。絞り102はカメラ100に入射する被写体光の量と角度を調節する。
コネクタ322及びインターフェース338は、撮影レンズ300をカメラ100のコネクタ122と電気的に接続する。そして、コネクタ322は、カメラ100と撮影レンズ300との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給される機能も備えている。コネクタ322は電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。
ズーム制御部340はレンズ311の変倍レンズを駆動し、撮影レンズ300の焦点距離(画角)を調整する。撮影レンズ300が単焦点レンズであればズーム制御部340はなくてもよい。フォーカス制御部342は、フォーカスレンズを光軸に沿って駆動することで撮影レンズ300の焦点調節を行う。フォーカス制御部342の動作は、システム制御部50によりレンズシステム制御部346を通じて制御される。絞り制御部344は、測光部46からの測光情報に基づいて、シャッター12を制御するシャッター制御部36と連携しながら、絞り102を制御する。
レンズシステム制御部346は例えばCPUやMPUなどのプログラマブルプロセッサを有し、予め記憶されたプログラムを実行することにより撮影レンズ300全体の動作を制御する。レンズシステム制御部346は、撮影レンズの動作用の定数、変数、プログラム等を記憶するメモリの機能を備えている。不揮発性メモリ348は、撮影レンズ固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを記憶する。
本実施形態においては、不揮発性メモリ348には、撮影レンズ300の状態に応じたレンズ枠情報も記憶されている。このレンズ枠情報は、撮影レンズを通過する光束を決定する枠開口の半径の情報と、撮像素子14から枠開口までの距離の情報である。絞り102は、撮影レンズを通過する光束を決定する枠に含まれ、他にもレンズを保持するレンズ枠部品の開口などが枠に該当する。また、撮影レンズを通過する光束を決定する枠は、レンズ311のフォーカス位置やズーム位置によって異なるため、レンズ枠情報はレンズ311のフォーカス位置やズーム位置に対応して複数用意されている。そして、カメラ100が焦点検出を行う際には、レンズ311のフォーカス位置とズーム位置に対応した最適なレンズ枠情報が選択され、カメラ100にコネクタ322を通じて送られる。
以上が、カメラ100と撮影レンズ300からなるカメラシステムの構成である。次に、撮像素子14からなる焦点検出装置(焦点検出装置105とは別の)について詳細を説明する。この焦点検出装置は焦点検出装置105と同様に位相差検出方式AFを採用している。その構成について説明する。
次に、撮像素子14の構成を図2(a)、(b)を用いてより詳細に説明する。
図2(a)は、撮像素子14内の画素の構成を示す回路図である。画素211は、光電変換部(フォトダイオード)201a、201b、転送スイッチ202a、202b、フローティングディフュージョン領域203、増幅部204、リセットスイッチ205及び選択スイッチ206を有する。なお、各スイッチはMOSトランジスタ等により構成され得る。以下の説明では各スイッチは一例としてN型のMOSトランジスタであるものとするが、各スイッチはP型のMOSトランジスタであってもよく、その他のスイッチング素子であってもよい。
このように、撮像素子14は、1つの画素211内に、2つのフォトダイオードを有する。ただし、各画素211に設けられるフォトダイオードの個数は2つに限定されず、3つ以上(例えば、4つ)設けられてもよい。光電変換部201a、201bは、後述するように、焦点検出画素として機能するとともに、撮像画素としても機能する。
図2(b)は、撮像素子14に2次元配列された複数の画素のうち、水平n画素、垂直m画素を模式的に示した図である。ここでは、全ての画素が図2(a)に示した構成を有するものとする。各画素にはオンチップマイクロレンズ211iが設けられ、光電変換部201a、201bは同一のマイクロレンズを共有する。光電変換部201a、201bは、同一のマイクロレンズ211iを通過した光を受光し、光電変換によりその受光量に応じた信号電荷を生成する。以下では、光電変換部201aにより得られる信号をA信号、光電変換部201bにより得られる信号をB信号と呼ぶ。従って、AF用A像、AF用B像は、撮像光学系の互いに異なる瞳領域を通過する光束に対応する。
転送スイッチ202aは光電変換部201aとフローティングディフュージョン領域203との間に接続され、転送スイッチ202bは光電変換部201bとフローティングディフュージョン領域203との間に接続される。転送スイッチ202a、202bは、それぞれ光電変換部201a、201bで発生した電荷を共通のフローティングディフュージョン領域203に転送する素子である。転送スイッチ202a、202bは、それぞれ制御信号TX_A、TX_Bによって制御される。
フローティングディフュージョン領域203は、光電変換部201a、201bから転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部として機能する。増幅部204は、ソースフォロワMOSトランジスタである。増幅部204のゲートは、フローティングディフュージョン領域203に接続され、増幅部204のドレインは電源電位VDDを供給する共通電源208に接続される。増幅部204は、フローティングディフュージョン領域203に保持された電荷に基づく電圧信号を増幅して、画像信号として出力する。
リセットスイッチ205は、フローティングディフュージョン領域203と共通電源208との間に接続される。リセットスイッチ205は、制御信号RESによって制御され、フローティングディフュージョン領域203の電位を電源電位VDDにリセットする機能を有する。選択スイッチ206は、増幅部204のソースと垂直出力線207の間に接続される。選択スイッチ206は、制御信号SELによって制御され、増幅部204で増幅された画像信号を垂直出力線207に出力する。
なお、撮像素子14は以下の2種類の読み出しモードを有する。第1の読み出しモードは全画素読み出しモードと称するもので、高精細静止画を撮像するためのモードである。この場合は、全画素の信号が読み出される。第2の読み出しモードは間引き読み出しモードと称するもので、動画記録、もしくはプレビュー画像の表示のみを行うためのモードである。この場合に必要な画素数は全画素よりも少ないため、X方向及びY方向ともに所定比率に間引いた画素のみ読み出される。また、高速に読み出す必要がある場合にも、同様に間引き読み出しモードが用いられる。システム制御部50は、X方向に間引く際には、信号の加算を行ってS/N比の改善を図り、Y方向に対する間引きは、間引かれる行の信号出力を無視する。
図3(a)は、撮像光学系の射出瞳面と、像高ゼロ、すなわち像面中央近傍に配置された撮像素子の光電変換部の共役関係を説明する図である。撮像素子14内の光電変換部と撮像光学系の射出瞳面は、オンチップマイクロレンズによって共役関係となるように設計される。そして撮像光学系の射出瞳は、一般的に光量調節用の虹彩絞りが置かれる面とほぼ一致する。一方、本実施の形態における撮像光学系は、変倍機能を有したズームレンズを含むが、光学タイプによっては変倍操作を行うと射出瞳の像面からの距離や大きさが変化する。図3(a)では、撮影レンズ300の焦点距離が広角端と望遠端の中央(Middle)にある状態を示している。この状態における射出瞳距離Zepを標準値として、オンチップマイクロレンズの形状や、像高(X,Y座標)に応じた偏心パラメータの最適設計がなされる。
図3(a)において、101は第1レンズ群、101bは第1レンズ群を保持する鏡筒部材、103はフォーカスレンズ、103bはフォーカスレンズ103を保持する鏡筒部材である。102は絞りで、102aは絞り開放時の開口径を規定する開口板、102bは絞り込み時の開口径を調節するための絞り羽根である。なお、撮像光学系を通過する光束の制限部材として作用する101b、102a、102b、及び103bは、像面から観察した場合の光学的な虚像を示している。また、絞り102の近傍における合成開口をレンズの射出瞳と定義し、前述したように像面からの距離をZepとしている。
画素211は像面中央近傍に配置されており、本実施の形態ではこれを中央画素と呼ぶ。画素211は、最下層より、光電変換部201a,201b、配線層211e〜211g、カラーフィルタ211h、及びマイクロレンズ211iの各部材で構成される。そして2つの光電変換部はマイクロレンズ211iによって撮像光学系の射出瞳面に投影される。換言すれば、撮像光学系の射出瞳が、マイクロレンズ211iを介して、光電変換部の表面に投影される。
図3(b)は、撮像光学系の射出瞳面上における、光電変換部の投影像を示す図である。光電変換部201a及び201bに対する投影像は、投影像EP1a及びEP1bである。撮像素子14は、2つの光電変換部201aと201bのいずれか一方の出力と、両方の和の出力を得ることができる画素を有している。両方の和の出力は、撮像光学系のほぼ全瞳領域である投影像EP1a、EP1bの両方の領域を通過した光束を光電変換したものである。
図3(a)で、撮像光学系を通過する光束の最外部をLで示すと、光束Lは、絞りの開口板102aで規制されており、投影像EP1a及びEP1bは撮像光学系でケラレがほぼ発生していない。図3(b)では、図3(a)の光束Lを、TLで示している。TLで示す円の内部に、光電変換部の投影像EP1a、EP1bの大部分が含まれていることからも、ケラレがほぼ発生していないことがわかる。光束Lは、絞りの開口板102aでのみ制限されているため、TLは、開口板102aと言い換えることができる。この際、像面中央では各投影像EP1aないしEP1bのケラレ状態は光軸に対して対称となり、各光電変換部201a及び201bが受光する光量は等しい。
図2、図3で説明したように、撮像素子14は撮像機能だけではなく焦点検出装置としての機能も有している。また、撮像素子14は射出瞳を分割した光束を受光する焦点検出用画素を備えているため、位相差検出方式AFも実現可能である。
図4は、撮影範囲400内における焦点検出領域401の例を示す図である。この3つの焦点検出領域内で撮像素子14による位相差検出方式AFが行われる。焦点検出領域401内では、撮影範囲400内の水平方向のコントラスト差を用いて位相差検出が行われる。
なお、撮像素子14上において1画素が複数の光電変換部を持つように構成したが、これに限らない。例えば、撮像素子14が、互いに異なる一部を遮光された光電変換部を持ち、焦点検出専用の画素として配置されるように構成してもよい。
図5は、一対の焦点検出信号の例を示す図である。一対の焦点検出信号430a、430bは、撮像素子14から得られた画素信号(A信号、B信号)に対して、画像処理部20よる各種の画像処理(補正)が施された信号である。一対の焦点検出信号430a、430bは、画像処理後、AF部42へ送られる。
図5において、横軸は連結された信号の画素配列方向、縦軸は信号の強度をそれぞれ示す。図5に示す例では、撮影レンズ300が撮像素子14に対してデフォーカスした状態(非合焦状態)である。このため、焦点検出信号430aは左側にずれ、焦点検出信号430bは右側にずれている。AF部42は、焦点検出信号430a、430bのずれ量(相対ずれ量)を、周知の相関演算などを用いて算出する。これにより、撮像光学系のピント状態を示すデフォーカス量を求めることができる。
システム制御部50は、レンズMPU117から送信されたフォーカスレンズ103の位置情報およびAF部42から得られるデフォーカス量に基づいて、フォーカスレンズ103の駆動量を算出する。その後、システム制御部50は、レンズ311の位置情報に基づいて、レンズシステム制御部346及びフォーカス制御部342に対して、レンズ311を駆動するべき位置情報を送信する。これにより、焦点調節を行うことが可能となる。
次に、焦点調節および撮影工程について説明する。図6は、ライブビュー撮影処理のフローチャートである。このフローチャートの処理は、システム制御部50が、メモリ52に格納されたプログラムをメモリ30に読み出して実行することにより実現される。
ライブビュー撮影が開始されると、まずステップS101において、システム制御部50は、撮像素子14の撮像動作を開始して、撮像データ(画素信号)を取得する。続いてステップS102において、システム制御部50は、ステップS101にて得られた撮像データから、画像データ(撮影信号、すなわち撮影画像)および焦点検出データ(焦点検出信号)を取得する。前述のように、撮像素子14は、1つの画素から、画像データ(撮影画像)を取得する際に用いられる撮影画素信号に加えて、焦点検出信号のデータを取得可能である。
ステップS103において、システム制御部50は、ステップS102にて得られた画像データに基づいて、プレビュー画像を画像表示部28に表示させるライブビュー(LV)表示を行う。撮影者は、このプレビュー画像を目視して撮影時の構図決定を行う。ここで行うライブビュー表示は、撮影者が撮影範囲や撮影条件の確認を行うために行われ、所定の時間間隔(例えば、33.3ms(30fps)や16.6ms(60fps))で更新される。
続いてステップS104において、システム制御部50(AF部42)は、図4に示される3つの焦点検出領域における焦点検出データを用いて焦点検出処理を行う。すなわちAF部42は、図5に示されるような焦点検出信号のずれ量に基づいて、デフォーカス量を算出するまでの処理を焦点検出処理として行う。
続いてステップS105において、システム制御部50は、撮影準備開始を示すシャッタースイッチSW1(スイッチ62)がオンされたか否かを判別する。ステップS105にてシャッタースイッチSW1のオンが検出されない場合、ステップS110に進む。ステップS110において、システム制御部50は、メインスイッチがオフされたか否かを判別する。システム制御部50は、メインスイッチがオフされていない場合、ステップS102に戻る一方、メインスイッチがオフされた場合、本処理を終了する。
一方、ステップS105にてスイッチSW1のオンが検出されると、ステップS106において、システム制御部50は、焦点検出領域を設定する。撮影者は、指示により焦点検出領域を設定することができる。または、ステップS104にて得られた3つの焦点検出領域のデフォーカス量の情報や焦点検出領域の撮影範囲中心からの距離の情報を用いて、システム制御部50が焦点検出領域を設定してもよい。一般に、撮影者が意図する被写体は、より撮影距離の短い位置に存在する確率が高く、撮影範囲内の中央に存在する確率が高い。このため、システム制御部50が焦点検出領域を設定する場合、そのような焦点検出領域が優先的に選択されることが好ましい。
次にステップS107において、システム制御部50(AF部42)は、焦点調節処理(図7)を行う。焦点調節処理の詳細については後述する。焦点調節処理が終了すると、ステップS108において、システム制御部50は、撮影開始指示を示すシャッタースイッチSW2(スイッチ64)のオン/オフを検出し、スイッチSW2のオンが検出されるまで待つ。スイッチSW2のオンが検出されると、ステップS109において、システム制御部50は、撮影サブルーチン(図8)を実行する。撮影サブルーチンの詳細については後述する。ステップS109の後、システム制御部50は、処理をステップS110に進める。
図7は、図6のステップS107で実行される焦点調節処理のフローチャートである。この処理において、システム制御部50は、本発明における取得手段、第1の判定手段、第2の判定手段、制御手段としての役割を果たす。
まず、ステップS201で、システム制御部50は、事前に行われた焦点検出結果を取得する。すなわち、システム制御部50は、図6のステップS104またはステップS106で設定された焦点検出領域のデフォーカス量を取得する。ステップS201ではまた、システム制御部50は、得られたデフォーカス量の信頼性が高い(信頼性が有る)か否かを判別する。ここではシステム制御部50は、信頼性の有無の判定として、公知の手法を用い、相関量の極小値の大きさと極小値近傍の相関量の差分の大きさを用いた判定などを行う。
AF用A像とB像の信号を、A(k)、B(k)(1≦k≦P)と表すと、相関演算で算出する相関量COR(h)は、例えば下記数式1で算出される。
数式1において、W1は、相関量を算出するウィンドウのサイズ(視野内データ数)に相当し、hmaxは、対の信号間でウィンドウの位置を変化させる回数(シフトデータ数)に相当する。システム制御部50は複数対のA像とB像の信号から複数個の相関量を算出した後、相関量を加算する。
相関量とは、一対の焦点検出信号の領域ごとの相関度合いを示すもので、相関が高いほど小さい値を示す。そのため、システム制御部50は、相関量CORの極小値が小さいほどデフォーカス量の信頼性が高い(信頼性が有る)と判定する。理想的には、相関量CORの極小値は、一対の焦点検出信号の波形形状が同一形状である場合に0となる。しかしながら、一対の焦点検出信号は、被写体からの光の拡散特性や光量調整誤差や画素ごとに個別に生じるノイズの影響などの影響で、形状が異なる。そのため、相関量CORの極小値は、正の値となるのが一般的である。一方で、一対の焦点検出信号の形状が異なれば異なるほど、極小値の検出精度が低下し、結果的に焦点検出精度が低下する。ここで行う信頼性判定においては、システム制御部50は、閾値Thr1よりも相関量CORの極小値が小さければ、デフォーカス量の信頼性が高いと判定する。
また、システム制御部50は、相関量が極小値を示す領域(シフト量)近傍で得られた相関量の差分DCORを用いた信頼性判定を行う。相関量の差分DCORは、大きければ大きいほど、シフト量を高精度に算出することができる。これは、相関量が誤差によりばらついた場合でも、相関量の差分が大きければ、シフト量の検出に与える影響が小さいためである。このことから、閾値Thr2より相関量の差分DCORが大きい場合に、デフォーカス量の信頼性が高い(信頼性有り)と判定することができる。
システム制御部50は、相関量CORの差分値の符号が変化するシフト量dhを、相関量COR(h)が最小となるシフト量hとして算出する。システム制御部50は、相関量の差分値DCORを以下の数式2に従って算出する。
[数2]
DCOR(h)=COR(h)−COR(h−1)
そして、システム制御部50は、相関量の差分値DCORを用いて、差分量の符号が変化するシフト量dhを求める。差分量の符号が変化する直前のシフト量hの値をh1、符号が変化したシフト量hの値をh2(h2=h1+1)とすると、システム制御部50は、シフト量dhを、次の数式3に従って算出する。
[数3]
dh=h1+|DCOR(h1)|/|DCOR(h1)−DCOR(h2)|
以上のようにしてシステム制御部50は、A像とB像の相関が最大となるシフト量dhをサブピクセル単位で算出する。なお、2つの1次元像信号の位相差を算出する方法は、ここで説明したものに限らず、公知の任意の方法を用いることができる。
次に、ステップS202で、システム制御部50は、デフォーカス量の信頼性が有る(信頼性の高いデフォーカス量が検出できている)か否かを判別する。デフォーカス量の信頼性が有る場合は、システム制御部50は、ステップS203に進み、検出されたデフォーカス量が所定の閾値以下か否かによって、合焦状態にあるか否かを判別する。そしてシステム制御部50は、合焦状態でない場合は、ステップS204に進み、検出されたデフォーカス量に基づいてフォーカスレンズを駆動する制御を行ってから、ステップS205に進む。一方、ステップS203で、検出されたデフォーカス量が所定の閾値以下で合焦状態にある場合は、ステップS205に進む。ステップS205では、システム制御部50は、画像表示部28に、合焦表示を行う。例えばシステム制御部50は、焦点検出領域と対応した枠を、緑の色で表示したり音を出力したりする。
ステップS202で、デフォーカス量の信頼性が無い(信頼性の高いデフォーカス量が検出できていない)場合は、システム制御部50は、ステップS206に進み、測光部46から、焦点検出領域に対応する領域の測光情報を取得する。次にステップS207で、システム制御部50は、取得した測光情報を用いて、AF補助光の要否を判別する。すなわち、システム制御部50は、測光情報から所定の閾値よりも暗い(低照度)と判定される場合には、AF補助光が必要と判別して処理をステップS212に進める。ステップS212では、システム制御部50は、補助光発光時焦点調節処理のサブルーチン(図9で後述)を実行して、本処理を終了する。
一方、システム制御部50は、測光情報から所定の閾値よりも明るい(高照度)と判定される場合には、処理をステップS208に進める。ステップS208では、システム制御部50は、信頼性の高い枠が選択されるまでフォーカスレンズ103を所定の方向へ駆動させ続けるサーチ駆動を開始し、レンズ駆動を行いながら焦点検出処理を行う。ここで行う焦点検出処理もステップS104で行った処理と同様である。ステップS209では、システム制御部50は、ステップS208の焦点検出処理の結果、焦点検出が可能になったか否かを判別する。そしてシステム制御部50は、焦点検出が可能になった場合は、処理をステップS203に進める。一方、焦点検出が引き続き不可能の場合には、システム制御部50は、ステップS210で、フォーカスレンズ103がレンズ駆動範囲の端部に到達しているかを判別する。そして、システム制御部50は、フォーカスレンズ103がレンズ駆動範囲の端部に到達していない場合には、処理をステップS208に戻す。しかしフォーカスレンズ103がレンズ駆動範囲の端部に到達している場合は、システム制御部50は、合焦可能な被写体はレンズ駆動範囲内に存在しないと判断して、ステップS211で、非合焦表示を行ってから図7の処理を終了する。
図8は、図6のステップS109で実行される撮影サブルーチンのフローチャートである。まず、ステップS301において、システム制御部50は、光量調節のため絞り102を駆動し、露光時間を規定するシャッター12の制御(絞り・シャッタ駆動)を行う。続いてステップS302において、システム制御部50は、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行う。続いてステップS303において、システム制御部50(画像処理部20)は、読み出した画像信号の欠損画素補間、すなわち、事前に記憶された欠陥画素の位置情報に基づき補間を行う。欠陥画素には、画素間の出力オフセットやゲインのバラつきが大きい画素や個別に配置されている場合の焦点検出画素などが含まれる。続いてステップS304において、システム制御部50は、画像信号に対してγ補正、色変換、エッジ強調などの画像処理を行い、撮影画像(画像処理後の画像信号)を得る。そしてステップS305において、システム制御部50は、メモリ30に撮影画像を記録する。
続いてステップ306において、システム制御部50は、ステップS305にて記録した撮影画像に対応させて、カメラ100の特性情報をメモリ30およびシステム制御部50内のメモリに記録する。カメラ100の特性情報とは、露光時間情報、現像時の画像処理情報、撮像素子14の画素の受光感度分布情報、カメラ100内での撮影光束のケラレ情報である。また、カメラ100の特性情報は、カメラ100と撮影レンズ300との取り付け面から撮像素子14までの距離情報、製造誤差情報なども含む。撮像素子14の画素の受光感度分布情報は、マイクロレンズ211iおよび光電変換部201a、201bにより決定されるため、これらの情報を記録してもよい。
続いてステップS307において、システム制御部50は、ステップS305にて記録された撮影画像に対応させて、撮影レンズ300の特性情報をメモリ30とシステム制御部50内のメモリに記録する。撮影レンズ300の特性情報としては、例えば、射出瞳の情報、枠情報、撮影時の焦点距離やFナンバー情報、収差情報、製造誤差情報である。続いてステップS308において、システム制御部50は、撮影画像に関する画像関連情報をメモリ30およびシステム制御部50内のメモリに記録する。画像関連情報とは、撮影前の焦点検出動作に関する情報や、被写体移動情報、焦点検出動作の精度に関わる情報などである。その後、図8の撮影サブルーチンは終了する。
図9は、図7のステップS212で実行される補助光発光時焦点調節処理のサブルーチンのフローチャートである。ステップS401で、システム制御部50は、フラッシュ48を用いたAF補助光の発光と、それと同期して露光により得られた撮像信号を用いた焦点検出とを行う。すなわち、システム制御部50は、AF補助光がある状態で、上記設定された焦点検出領域のデフォーカス量を取得する。ステップS401ではさらに、システム制御部50は、ステップS201と同様に、得られたデフォーカス量の信頼性が高い(信頼性が有る)か否かを判別する。
ここで、焦点検出条件には第1の焦点検出条件と第2の焦点検出条件とがある。第2の焦点検出条件は、第1の焦点検出条件に比し、検出可能なデフォーカス量が拡大され且つフラッシュ48を発光させる焦点検出条件である。図7のステップS201の処理、またはステップS208〜S210の処理では、第1の焦点検出条件によりデフォーカス量が取得される。従って、ステップS202では、第1の焦点検出条件により取得されたデフォーカス量の信頼性の有無が判定される。一方、ステップS212での焦点検出は第2の焦点検出条件により実行され得る。例えば、ステップS409で検出可能なデフォーカス量を拡大させた後に実行されるステップS401の処理では、第2の焦点検出条件によりデフォーカス量が取得される。これにより、検出可能なデフォーカス量が拡大され、補助光を用いた焦点調節を適切に行える。
なお、本実施の形態では、間欠的に発光するフラッシュ48を用いたAF補助光を例にとっているが、AF補助光の種類はこれに限らない。例えば、LEDなどの継続点灯が容易なAF補助光を用いてもよい。そのような場合には、照射範囲や明るさに制限があるものの、常時発光することができるため、補助光未使用時の焦点調節と類似の制御で焦点調節を行うことができる。
ステップSS402では、システム制御部50は、図7のステップS202と同様に、デフォーカス量の信頼性が有るか否かを判別する。システム制御部50は、信頼性の高いデフォーカス量が検出できている場合には、ステップS403に進む。システム制御部50は、ステップS403、S404、S405で、図7のステップS203、S204、S205と同様の処理を実行する。ただし間欠的に発光するAF補助光を用いた焦点検出においては、システム制御部50は、ステップS404で所定量のレンズ駆動を終えた後、レンズを停止し、再び、処理をステップS401に戻して、AF補助光発光と焦点検出を行う。
一方、ステップS402で、デフォーカス量の信頼性が無い(信頼性の高いデフォーカス量が検出できていない)場合、システム制御部50は、処理をステップS406に進める。ステップS406では、システム制御部50は、焦点検出が可能なデフォーカス量に相当する検出デフォーカス(Def)範囲の拡大設定処理(図10で後述)を終えているかを判別する。そしてフォーカスレンズ駆動範囲内の全域で焦点検出を終えていない場合には、システム制御部50は、ステップS409で、検出デフォーカス(Def)範囲の拡大設定処理(図10で後述)を実行する。ステップS409の後、システム制御部50は、処理をステップS401に戻す。これ以降、第2の焦点検出条件により検出可能なデフォーカス量が拡大された状態でデフォーカス量が取得される。
一方、検出デフォーカス範囲の拡大設定済みの場合には、システム制御部50は、ステップS407で、フォーカスレンズ駆動範囲内の全域で焦点検出を終えたか否かを判別する。すなわち、システム制御部50は、無限遠にピントが合う状態から至近側にピントが合う状態まで、フォーカスレンズ103の駆動を終えているか否かを判別する。一方、フォーカスレンズ駆動範囲内の全域で焦点検出を終えた場合には、システム制御部50は、ステップS408に進み、図7のステップS211と同様に非合焦判定表示を行って、本処理を終了する。
一方、ステップS407での判別の結果、フォーカスレンズ駆動範囲内の全域で焦点検出を終えていない場合には、システム制御部50は、ステップS410で、次の焦点検出を行うためのフォーカスレンズ位置までレンズ駆動を行う。その際のレンズ駆動量は、焦点検出が可能なデフォーカス量に応じて適切に設定される。焦点検出が可能なデフォーカス量が大きくなればなるほど、より大きくレンズ駆動量が設定でき、フォーカスレンズ駆動範囲内の全域を、少ない回数の焦点検出で検出を終えることができるため、焦点調節の応答性の向上につながる。LEDなどの継続点灯が容易なAF補助光の場合には、焦点検出が可能なデフォーカス量が大きくなると、レンズ駆動速度を高速に設定することができ、同様に、焦点調節の応答性の向上を実現することができる。その後、システム制御部50は、処理をステップS401に戻す。
図10は、図9のステップS409で実行される検出デフォーカス範囲の拡大設定処理のフローチャートである。まず、ステップS501で、システム制御部50は、焦点検出領域におけるF値ごとの検出可能なデフォーカス量に基づき、検出可能なデフォーカス量が拡大するように、絞り開口を変更する。
図3で説明した通り、F値によって光電変換部の投影像のケラレ具合が変わり、2つの異なる瞳領域の光束の角度差が変化し、従って基線長が変化する。小絞りになるほど、基線長は短くなり、単位デフォーカス量に対する像ずれ量は小さくなる。単位デフォーカス量に対する像ずれ量が小さくなると、対の焦点検出信号430a、430bの検出可能なずれ量と対応するデフォーカス量は大きくなる。そのため、検出可能なデフォーカス量は増大する。
また、撮像素子内における焦点検出領域の位置(像高)によって、撮像光学系によるケラレの影響が異なるため、基線長が変わる。本実施形態では、システム制御部50は、撮像光学系と焦点検出領域の像高を考慮し、F値毎の検出可能なデフォーカス量を算出する。例えばシステム制御部50は、開放絞りがF2.8のレンズの場合、1段毎にF4.0、F5.6、F8.0での検出可能なデフォーカス量を算出する。検出可能なデフォーカス量は、事前にFδ単位でF値毎に記憶し、基線長による換算を行い算出したものを記憶しておけばよい。δは許容錯乱円である。
また、検出可能なデフォーカス量を算出するF値の範囲は、開放から所定のF値までに限定してもよい。上述のとおり、小絞りになると基線長が短くなり焦点検出のばらつきが大きくなる。そのため、絞り値が大きくなり過ぎると、検出可能なデフォーカス量は大きくならない。そこで本実施の形態では、絞り込みにより検出可能なデフォーカス量が拡大する範囲で、絞り値の上限を設ける。現状の絞り値が、上限値よりも大きい場合(絞り込まれている場合)には、システム制御部50は、絞り値の上限まで、絞りを開く(絞り値を小さくする)ように処理する。これにより、絞り値の無駄な変更が回避される。
また、システム制御部50は、検出可能なデフォーカス量を拡大するために、絞りを絞り込む方向に変更した場合は、AF補助光の発光量を絞り込み量に応じて増やしてもよい。それにより、焦点検出信号の信号量を確保したまま、検出可能なデフォーカス量を拡大することができる。AF補助光の発光量を増やすには、例えば、システム制御部50は、フラッシュ48等の発光部への電流値を増加させる。
次に、ステップS502で、システム制御部50は、焦点検出時に行う相関演算で用いる一対の焦点検出信号430a、430bの評価周波数帯域を、より低域側に変更する。一般に、相関演算を行う信号の評価周波数帯域を低域にすると、焦点検出信号のSN比が改善し、より大きなずれ量を検出することが可能となる。一方で、被写体信号のパターン(模様)の主成分が高周波成分の場合に、焦点検出が行えなくなったり、記録画像の最良像面位置に対して誤差の大きい焦点検出結果が得られるようになったりする場合がある。本実施形態では、焦点検出精度を犠牲にすることなく、検出可能なデフォーカス量を拡大するため、合焦近傍まで駆動した後に焦点検出を行う場合には、再度、評価周波数帯域を高域側に変更する。これにより、検出可能なデフォーカス量の拡大と、高精度な焦点調節の両立を実現することができる。
次にステップS503で、システム制御部50は、焦点検出領域を拡大する。AF補助光を発光する状況は、比較的、低照度である場合が多い。そのため、焦点検出信号のSN比が低下し、検出可能なデフォーカス量が確保できない場合がある。そこで本実施の形態では、システム制御部50は、相関演算に用いる信号の量を増加させることで、検出可能なデフォーカス量を拡大する。例えばシステム制御部50は、上述した撮像素子14の読み出しモードを変更する。すなわち、システム制御部50は、通常の焦点検出時には、第2の読み出しモード(間引き読み出しモード)で撮像素子14を駆動するが、補助光発光時には、第1の読み出しモード(全画素読み出しモード)で焦点検出を行う。これにより、図4で示した焦点検出領域401内に含まれる信号量が増え、検出可能なデフォーカス量の拡大を行うことができる。なお、本実施の形態では、間引き量の調整により焦点検出信号の行数を増加させるよう構成したが、信号量を増加させる方法はこれに限らない。例えば、焦点検出に用いる信号を得る領域を、図4の焦点検出領域401の外側まで、水平方向や垂直方向に拡大してもよい。
ステップS504では、システム制御部50は、焦点検出領域数を増加させる。システム制御部50は、AF補助光発光前に、図6のステップS106で設定された焦点検出領域に加えて、他の焦点検出領域の検出結果も用いることにより検出可能なデフォーカス量を拡大する。システム制御部50は、複数の焦点検出領域から得られる検出結果の差が所定の範囲内である場合には同じ距離の被写体に対して焦点検出を行っていると判断し、平均処理などを行う。これにより、上述した場合と同様に焦点検出のバラつきを低減することができる。ステップS504の後、本処理は終了する。
本実施の形態によれば、システム制御部50は、第1の焦点検出条件により取得されたデフォーカス量の信頼性が無く且つ、補助光が必要な場合に、第2の焦点検出条件によりデフォーカス量を取得する。第2の焦点検出条件は、第1の焦点検出条件に比し検出可能なデフォーカス量が拡大され且つフラッシュ48を発光させる条件である。これにより、補助光を用いた焦点検出を行う際に、補助光の発光機会を抑制しつつ高速な焦点検出を行うことができる。
すなわち、図10の処理によれば、補助光発光時に、焦点検出が可能なデフォーカス範囲が拡大される。これにより、間欠的に発光するAF補助光や連続的に発光するAF補助光のいずれの場合でも、焦点調節の応答性の向上を実現することができる。特に、間欠的に発光するAF補助光においては、発光回数を低減することができ、連続的に発光するAF補助光では発光時間を短縮することができる。これにより、不要な補助光の発光を抑制し、消費電力の抑制や被写体の感じる眩しさの低減などを実現することができる。ひいては、消費電力の増大を抑制することができる。
また、ステップS202で、第1の焦点検出条件により前記取得手段が取得したデフォーカス量の信頼性が有る場合は、第2の焦点検出条件に移行することはない(S202→S203)。これにより、検出可能なデフォーカス量の拡大処理を無駄に実施することが回避される。
また、本実施の形態では、検出可能なデフォーカス範囲の拡大処理を行う前に、AF補助光の発光及び焦点検出を行うように構成した(S401)。従って、第2の焦点検出条件によりデフォーカス量を取得する際、検出デフォーカス範囲の拡大前に、補助光を用いてデフォーカス量を取得し、取得したデフォーカス量に信頼性が有る場合は、検出デフォーカス範囲を拡大させる処理を行わない。これにより、例えば絞りの駆動など、不要な検出デフォーカス範囲の拡大処理を省略することができ、絞りの駆動などによる焦点検出の応答性低下などを避けることができる。なお、絞りの駆動などによる焦点検出の応答性低下の懸念が少ない場合には、検出可能なデフォーカス範囲の拡大処理を行う前に、AF補助光の発光及び焦点検出を行う必要はない。その場合、補助光発光時の焦点調節処理の初めに、検出可能なデフォーカス範囲の拡大処理を行えば良い。これにより補助光の発光回数を低減することができる。
なお、検出可能なデフォーカス量を拡大するために、システム制御部50が図10のステップS501〜S504の全てを実行することは必須でなく、少なくとも1つを実行する構成としてもよい。すなわち、第2の焦点検出条件では、第1の焦点検出条件に対して、撮像光学系の絞り値、一対の焦点検出信号430a、430bを評価する帯域、一対の焦点検出信号430a、430bを取得する撮像素子上の領域の少なくとも1つが異なる。例えば、第2の焦点検出条件では、第1の焦点検出条件に対して、撮像光学系の絞り値が小さい。あるいは、第2の焦点検出条件では、第1の焦点検出条件に対して、一対の焦点検出信号430a、430bを評価する帯域が低い。あるいは、第2の焦点検出条件では、第1の焦点検出条件に対して、一対の焦点検出信号430a、430bを取得する撮像素子上の領域が大きい。
なお、検出可能なデフォーカス範囲の拡大処理を行う前に、AF補助光の発光及び焦点検出を行った際に、測光情報や焦点検出信号に変化が見られない場合は、被写体が存在しないと判断し、以降の焦点検出処理やAF補助光の発光などを省略してもよい。これにより、不要なAF補助光の発光や焦点検出処理を回避することができる。
なお、本実施の形態では、検出可能なデフォーカス範囲の拡大処理を終えた後、レンズ駆動を行うことなく、AF補助光の発光及び焦点検出を行うとした。しかし、図9のステップS409の後、直ちにステップS401に移行することは必須でない。すなわち、検出可能なデフォーカス量に応じたレンズ位置へ駆動を行った後、AF補助光の発光及び焦点検出を行ってもよい。例えば、検出デフォーカス範囲の拡大処理を終えた後の検出可能なデフォーカス量と、フォーカスレンズの可動範囲の端までのデフォーカス量を考慮してレンズ駆動を行ってもよい。フォーカスレンズの可動範囲の端までレンズを駆動せず、フォーカスレンズの可動範囲の端から適切に焦点検出が行うことができる。これにより、不要なAF補助光の発光を避け、レンズ駆動回数も抑制し、焦点検出の応答性を向上させることができる。AF補助光発光前のレンズ駆動位置は、例えば、絞り値など、検出デフォーカス範囲の拡大処理の内容に応じて変更すればよい。
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。