JP2006054698A

JP2006054698A - 手振れ補正機能を有する撮像装置

Info

Publication number: JP2006054698A
Application number: JP2004235306A
Authority: JP
Inventors: Masao Shikami; 政雄鹿海
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-08-12
Filing date: 2004-08-12
Publication date: 2006-02-23

Abstract

【課題】撮影時に複数枚に分割して画像撮影を行い、撮影後に位置合わせしながら合成する手振れ補正機能を有する撮像装置において、画像合成完了前の画像確認を容易にする。
【解決手段】画像撮影後、合成完了前に１枚の画像をゲインアップして明るさを補正して表示する。
【選択図】図５

Description

本発明は、手振れを補正して静止画像を撮像、記録するのに好適な撮像装置に関するものである。

従来、銀塩カメラやビデオカメラ、電子スチルカメラなどの手持ち撮影時に発生する手振れを補正する技術についてはさまざまなものが提案され、かつ実用化されている。

たとえば、振動ジャイロなどの角速度センサによって手振れを検知し、光学系を揺動、または光軸と垂直方向に補正光学系を駆動することによって手振れを抑制する技術が、一眼レフ用の交換レンズ、ビデオカメラ、電子スチルカメラに既に用いられている。防振機能により撮影領域は拡大されるので、これらの効果については大きいものがあるが、しかしながら、センサおよび補正光学系の追加のために、手振れ補正機能を持たない交換レンズ、ビデオカメラ、電子スチルカメラに比べて大型化やコスト増が避けられないという問題が有った。

また、ビデオカメラではＮＴＳＣやＰＡＬなどのテレビ方式に合わせて１／６０秒または１／５０秒間隔で撮影が行われるが、手振れ量を測定するために、角速度センサの代わりに、撮像された各画像間での動きベクトルを検知するという技術を用いているものが有り、また補正に関しても撮像素子から画像を取り出す切り出し位置を検知された手ぶれ量に応じて変えるようにすることにより、補正光学系のような可動部分を持たずに手振れ抑制機能を実現しているものもある。これらの技術では大型化やコスト増を回避することが出来る。

しかしながら、電子スチルカメラにおいては、動画と静止画の違いから、このようなビデオカメラの手振れ補正技術をそのまま応用することは困難である。なぜなら、電子スチルカメラでは銀塩カメラと同様に、測光結果によって定まった露光時間中、連続して撮像素子での蓄積が行われており、その期間は蓄積が行われているためにリアルタイムに動きベクトルを得ることができない。また手振れ補正についても、露光中にすでに撮像素子上には手振れ成分が重畳された画像が蓄積されているため、画像の切り出し位置を変えて手振れ補正することができない。

電子スチルカメラに好適な手振れ補正技術として、手振れを生じない程度のシャッター速度で複数枚の画像を連写撮影し、撮影後の処理でそれら複数枚の画像の位置合わせを行いながら合成して手振れのない画像を得るという技術が提示されている。

本出願人から提案している特許文献１によれば、順次撮像した画像を経時的な位置ずれに対応して複数画面の座標変換を行った後に画像の合成を行う技術が開示されている。

また、別の出願人による特許文献２によれば、同様に複数枚の画像を撮影し、ずれを補正しながら合成することでぶれのない画像を得る技術が開示されている。

また、本件では、処理中および処理後の画像の表示について扱っているが、これに関係するものとして、特許文献３では複数の画像を記録しそれを加算平均化して表示する技術が開示されている。

また、特許文献４では複数枚の画像を撮影しそれを画像処理して１枚の画像を合成する技術が開示されており、表示に関しても、合成処理後の画像を表示する、また１枚目に撮影した画像を表示するなどの技術が開示されている。
特許第３１１０７９７号公報特許第３３９５７６９号公報特開平１１−２２４３２４号公報特開２００２−１１２１０３号公報

電子スチルカメラの場合、撮影画像の確認のために撮影直後に撮影したばかりの画像を背面やファインダー内の液晶モニタに表示することが行われる。

しかしながら、複数枚の画像を撮影し、手振れ量を補正しながら合成することでぶれのない画像を得る技術について、手振れ補正および合成のプロセスを電子スチルカメラ内で行う場合、合成処理が終了しないと最終的な手振れの補正が行われた画像を表示することはできない。手振れの補正および合成は一部をハードウェアで行うにしても通常の撮影シークエンスよりは時間が掛かるため、その間に撮影画像の表示が行えず、撮影者が撮影画像の確認を行えないという問題が有った。

先の従来例に関しては、特許文献１で開示されているのはビデオカメラに応用した例であり、静止画像の撮影後の確認に関する技術は開示されていない。

特許文献２は、電子スチルカメラへの応用例が開示され、複数枚撮影時を行い、後処理で多様な処理を行う複数枚撮影モードに関する技術が開示されており、その一技術として画像処理による手振れ補正技術も開示されているが、手振れ補正については処理中の表示に関する技術は開示されていない。

特許文献３は、複数の画像を記録しそれを加算平均化して表示する技術が開示されているが、目的は動体の除去であり、手振れ補正技術については開示されていない。また、手振れ補正の場合は、手振れしないようシャッター秒時を高速として撮影を行うため個々の画像は低露光となり、平均化処理では正しい画像が得られないという問題点が有り、手振れ補正について単純に応用できるものではない。

特許文献４は、複数枚の画像を撮影し、表示に関して１枚目に撮影した画像を表示する技術が開示されているが、前記のように手振れ補正の場合は個々の画像は低露光画像となるので、１枚目に撮影した画像をそのまま表示しても、撮影画像の確認の用途に供するには非常に困難であるという問題点が有った。

本発明の目的は、以上のような問題点を解決し、複数枚の撮影を行い、画像処理により手振れ補正を行う手振れ補正装置において、画像処理が完全に終了する前であっても撮影した画像の確認が容易な手振れ補正装置を提供することにある。

上記の課題を解決し目的を達成するために本発明の請求項１の発明は、撮影時に露光時間を手振れを起こしにくい複数の秒時に分割して複数枚の画像撮影を行い、撮影後に前記複数枚の画像の位置合わせを行いながら合成することで手振れの影響を補正する手振れ補正機能を有する撮像装置であって、少なくとも１枚の画像の撮影が終了した後で、かつ画像合成が完了する前に、撮影した画像の少なくとも１枚から明るさを補正して表示用画像および／またはサムネイル用画像を生成することを特徴とする。

また、本発明の請求項２の発明は、請求項１の発明において、撮影した複数の画像のうち１枚を、略撮影した枚数に応じてゲインアップすることにより、明るさを補正することを特徴とする。

また、本発明の請求項３の発明は、請求項１の発明において、ゲインアップは、画像データを撮影枚数分整数倍することによって行うことを特徴とする。

また、本発明の請求項４の発明は、請求項１から請求項３いずれかの発明において、画像合成が終了後、合成画像より表示用画像および／またはサムネイル用画像を再生成することを特徴とする。

また、本発明の請求項５の発明は、請求項１の発明において、１枚ずつ順に位置合わせおよび合成を行い、１枚合成処理が終了するごとに、合成画像の明るさを補正して表示用画像および／またはサムネイル用画像を生成することを特徴とする。

また、本発明の請求項６の発明は、請求項５の発明において、合成画像の画像データに、（総合成枚数／合成済み画像数）を乗ずることにより明るさを補正することを特徴とする。

また、本発明の請求項７の発明は、請求項１から請求項６いずれかの発明において、ゲインアップおよび／または明るさの補正は、輝度に対して線形に行うことを特徴とする。

また、本発明の請求項８の発明は、請求項１から請求項７いずれかの発明において、低輝度時の露出を補助する補助光を発する補助光閃光装置を有し、複数枚の画像のうち、前記閃光補助装置からの補助光を使用して撮影した画像が有る場合は、前記補助光使用画像を明るさの補正を行わずに表示用画像および／またはサムネイル用画像とすることにより、フラッシュ使用時に主被写体に適正露光された確認表示用画像やサムネイル画像を得られるという効果が有る。

また、本発明の請求項９の発明は、撮影時に露光時間を手振れを起こしにくい複数の秒時に分割して複数枚の画像撮影を行い、撮影後に前記複数枚の画像の位置合わせを行いながら合成することで手振れの影響を補正する手振れ補正機能を有する撮像装置であって、１枚ずつ順に位置合わせおよび合成を行い、１枚合成処理が終了するごとに合成画像を表示用画像として表示することを特徴とする。

本発明の請求項１の発明によれば、撮影時に露光時間を手振れを起こしにくい複数の秒時に分割して複数枚の画像撮影を行い、撮影後に前記複数枚の画像の位置合わせを行いながら合成することで手振れの影響を補正する手振れ補正機能を有する撮像装置であって、少なくとも１枚の画像の撮影が終了した後で、かつ画像合成が完了する前に、撮影した画像の少なくとも１枚から明るさを補正して表示用画像および／またはサムネイル用画像を生成することにより、撮影後の画像の構図やフォーカスなどの確認が撮影者にとって容易に行える効果が有る。

また、本発明の請求項２の発明によれば、請求項１の発明において、撮影した複数の画像のうち１枚を、略撮影した枚数に応じてゲインアップして明るさを補正することにより、請求項１の発明と同様に撮影後の画像の構図やフォーカスなどの確認が撮影者にとって容易に行える効果が有る。

また、本発明の請求項３の発明によれば、請求項１の発明において、ゲインアップは、画像データを撮影枚数分整数倍することにより、合成後の画像に近い露出状態の画像を容易に得られるという効果が有る。

また、本発明の請求項４の発明によれば、請求項１から請求項３いずれかの発明において、画像合成が終了後、合成画像より表示用画像および／またはサムネイル用画像を再生成することにより、合成終了後の画像とサムネイル画像を完全に一致させられるという効果が有る。

また、本発明の請求項５の発明によれば、請求項１の発明において、１枚ずつ順に位置合わせおよび合成を行い、１枚合成処理が終了するごとに、合成画像の明るさを補正して表示用画像および／またはサムネイル用画像を生成することにより、合成処理が進むにつれ、合成終了後の画像により近い画像で構図やフォーカスなどの確認が行える効果が有る。

また、本発明の請求項６の発明によれば、請求項５の発明において、合成画像の画像データに、（総合成枚数／合成済み画像数）を乗じて明るさを補正することにより、合成後の画像に近い露出状態の画像を容易に得られるという効果が有る。

また、本発明の請求項７の発明によれば、請求項１から請求項６いずれかの発明において、ゲインアップおよび／または明るさの補正を輝度に対して線形に行うことにより、合成後の画像に近い露出状態の画像を容易に得られるという効果が有る。

また、本発明の請求項８の発明によれば、請求項１から請求項７いずれかの発明において、低輝度時の露出を補助する補助光を発する補助光閃光装置を有し、複数枚の画像のうち、前記閃光補助装置からの補助光を使用して撮影した画像が有る場合は、前記補助光使用画像を明るさの補正を行わずに表示用画像および／またはサムネイル用画像とすることにより、フラッシュ使用時に主被写体に適正露光された確認表示用画像やサムネイル画像を得られるという効果が有る。

また、本発明の請求項９の発明によれば、撮影時に露光時間を手振れを起こしにくい複数の秒時に分割して複数枚の画像撮影を行い、撮影後に前記複数枚の画像の位置合わせを行いながら合成することで手振れの影響を補正する手振れ補正機能を有する撮像装置であって、１枚ずつ順に位置合わせおよび合成を行い、１枚合成処理が終了するごとに合成画像を表示用画像として表示することにより、合成処理が進行するに連れて表示画像が明るく表示されるようになるため、合成処理の進行度を確認できるという効果が有る。

以下、図面を参照して本発明の実施例を説明する。

図１は、本発明の実施例１の撮像装置の構成を示す図である。

図１において、１００は撮像装置である。

１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。

１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。

また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。

さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

さらに、画像処理回路２０においては、防振モード時、動きベクトル検知回路７２で求められた複数画像間の動きベクトル量により、それら複数画像間の動きベクトル量を補正して加算合成する処理や処理後の画像の階調補正や色変換などの処理も行っている。

さらに、画像処理回路２０においては、防振モード時の表示用画像のデジタルゲインアップ処理も行っている。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。

Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。

画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。

また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することが出来る。

また、メモリ３０上の画像を、メモリ制御回路２２を介して、画像処理回路２０でいったんデジタルゲインアップなどの処理を行ってから、メモリ制御回路２２を介して画像表示メモリ２４に書き込むことで、撮影済みの静止画像に処理を加えた画像の表示をおこなうことができる。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。

これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。

また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は絞り機能を備えるシャッター１２を制御する露光制御手段であり、フラッシュ４８と連携することによりフラッシュ調光機能も有するものである。

４２は撮影レンズ１０のフォーカシングを制御する測距制御手段、４４は撮影レンズ１０のズーミングを制御するズーム制御手段、４６はバリアである保護手段１０２の動作を制御するバリア制御手段である。

４８は低輝度時の補助光閃光手段であるフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。

５０は撮像装置１００全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。

５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部であり、撮像装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。

また、表示部５４は、その一部の機能が光学ファインダー１０４内に設置されている。

表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体１５０及び１６０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示、防振機能表示、等がある。

また、表示部５４の表示内容のうち、光学ファインダー１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。

６０、６２、６４、６６、６８及び７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。

６２はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了でＯＮとなり、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体１５０或いは１６０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。

６６は画像表示ＯＮ／ＯＦＦスイッチで、画像表示部２８のＯＮ／ＯＦＦを設定することが出来る。

この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。

６８は、防振機能ＯＮ／ＯＦＦスイッチで、防振機能の作動／非作動を設定することができる。本実施例では防振機能が非作動の場合は通常撮影が行われ、防振機能を作動させると、通常撮影時の露出に対して、シャッタースピードを速くして、所定枚数の連写撮影が行われるモードとなる。また、撮影後、撮影した複数枚の画像を合成して手振れを補正した画像を作成する処理が行われるが、この処理については後述する。

７０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。

７２は動きベクトル検知回路であり、メモリ制御回路２２を介して読み込まれる複数画像間のデータに対して、画像を小ブロックに分割してその小ブロック間の二次元相関を演算して小ブロック間の動きベクトルを求め、そのようにして求めた画面全体の小ブロックの動きベクトルの最頻値をその画像間の動きベクトルとするような手法、または同様な動きベクトルを求める公知の手法により、画像間の動きベクトルを検出する。

８０は電源制御手段で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２はコネクタ、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる電源手段である。

９０及び９４はメモリカードやハードディスク等の記録媒体とのインターフェース、９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、９８はコネクタ９２及び或いは９６に記録媒体１５０或いは１６０が装着されているか否かを検知する記録媒体着脱検知手段である。

なお、本実施例では記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数でも良いし、或いは２系統以上の任意の数でも良い。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。

インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード、或いはその他種々の記憶媒体の規格に準拠したものを用いて構成して構わない。

さらに、インターフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。

１０２は、撮像装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。

１０４は光学ファインダーであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダーのみを用いて撮影を行うことが可能である。また、光学ファインダー１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。

１１０は通信手段で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。

１１２は通信手段１１０により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

１５０はメモリカードやハードディスク等の記録媒体である。

記録媒体１５０は、半導体メモリや磁気ディスク等から構成される記録部１５２、撮像装置１００とのインターフェース１５４、撮像装置１００と接続を行うコネクタ１５６を備えている。

１６０はメモリカードやハードディスク等の記録媒体である。

記録媒体１６０は、半導体メモリや磁気ディスク等から構成される記録部１６２、撮像装置１００とのインターフェース１６４、撮像装置１００と接続を行うコネクタ１６６を備えている。

次に、図２乃至図６を参照して、第１の実施例の動作を説明する。

図２及び図３は本実施例の撮像装置１００の主ルーチンのフローチャートを示す。

図２及び図３を用いて、撮像装置１００の動作を説明する。

電池交換等の電源投入により、システム制御回路５０はフラグや制御変数等を初期化し（Ｓ１０１）、画像表示部２８の画像表示をＯＦＦ状態に初期設定する（Ｓ１０２）。

システム制御回路５０は、モードダイアル６０の設定位置を判断し、モードダイアル６０が電源ＯＦＦに設定されていたならば（Ｓ１０３）、各表示部の表示を終了状態に変更し、保護手段１０２のバリアを閉じて撮像部を保護し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ５６に記録し、電源制御手段８０により画像表示部２８を含む撮像装置１００各部の不要な電源を遮断する等の所定の終了処理を行った後（Ｓ１０５）、Ｓ１０３に戻る。

モードダイアル６０が撮影モードに設定されていたならば（Ｓ１０３）、Ｓ１０６に進む。

モードダイアル６０がその他のモードに設定されていたならば（Ｓ１０３）、システム制御回路５０は選択されたモードに応じた処理を実行し（Ｓ１０４）、処理を終えたならばＳ１０３に戻る。

システム制御回路５０は、電源制御手段８０により電池等により構成される電源８６の残容量や動作情況が撮像装置１００の動作に問題があるか否かを判断し（Ｓ１０６）、問題があるならば表示部５４を用いて画像や音声により所定の警告表示を行った後に（Ｓ１０８）、Ｓ１０３に戻る。

電源８６に問題が無いならば（Ｓ１０６）、システム制御回路５０は記録媒体１５０或いは１６０の動作状態が撮像装置１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かを判断し（Ｓ１０７）、問題があるならば表示部５４を用いて画像や音声により所定の警告表示を行った後に（Ｓ１０８）、Ｓ１０３に戻る。

記録媒体１５０或いは１６０の動作状態に問題が無いならば（Ｓ１０７）、表示部５４を用いて画像や音声により撮像装置１００の各種設定状態の表示を行う（Ｓ１０９）。なお、画像表示部２８の画像表示がＯＮであったならば、画像表示部２８も用いて画像や音声により撮像装置１００の各種設定状態の表示を行う。

システム制御回路５０は、防振機能ＯＮ／ＯＦＦスイッチ６８の設定状態を調べ（Ｓ１１０）、防振機能ＯＮに設定されていたならば防振機能フラグを設定し、（Ｓ１１１）、防振機能ＯＦＦに設定されていたならば防振機能フラグを解除する（Ｓ１１２）。

なお、防振機能フラグの状態は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶する。

続いて、システム制御回路５０は、画像表示ＯＮ／ＯＦＦスイッチ６６の設定状態を調べ（Ｓ１１３）、画像表示ＯＮに設定されていたならば、画像表示フラグを設定すると共に（Ｓ１１４）、画像表示部２８の画像表示をＯＮ状態に設定し（Ｓ１１５）、さらに撮像した画像データを逐次表示するスルー表示状態に設定して（Ｓ１１６）、Ｓ１１９に進む。

スルー表示状態に於いては、撮像素子１２、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、画像表示メモリ２４に逐次書き込まれたデータを、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８により逐次表示することにより、電子ファインダー機能を実現している。

画像表示ＯＮ／ＯＦＦスイッチ６６が画像表示ＯＦＦに設定されていたならば（Ｓ１１３）、画像表示フラグを解除すると共に（Ｓ１１７）、画像表示部２８の画像表示をＯＦＦ状態に設定して（Ｓ１１８）、Ｓ１１９に進む。

画像表示ＯＦＦの場合は、画像表示部２８による電子ファインダー機能を使用せず、光学ファインダー１０４を用いて撮影を行う。この場合、電力消費量の大きい画像表示部２８やＤ／Ａ変換器２６等の消費電力を削減することが可能となる。

なお、画像表示フラグの状態は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶する。

シャッタースイッチＳＷ１が押されていないならば（Ｓ１１９）、Ｓ１０３に戻る。

シャッタースイッチＳＷ１が押されたならば（Ｓ１１９）、システム制御回路５０はシステム制御回路５０の内部メモリ或いはメモリ５２に記憶される画像表示フラグの状態を判断し（Ｓ１２０）、画像表示フラグが設定されていたならば画像表示部２８の表示状態をフリーズ表示状態に設定して（Ｓ１２１）、Ｓ１２２に進む。

フリーズ表示状態に於いては、撮像素子１２、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介した画像表示メモリ２４の画像データ書き換えを禁止し、最後に書き込まれた画像データを、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８により表示することにより、フリーズした映像を電子ファインダーに表示している。

画像表示フラグが解除されていたならば（Ｓ１２０）、Ｓ１２２に進む。

システム制御回路５０は、測距処理を行って撮影レンズ１０の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッター時間を決定する（Ｓ１２２）。測光処理に於いて、必要であればフラッシュの設定も行う。

この測距・測光処理Ｓ１２２の詳細は図４を用いて後述する。

測距・測光処理Ｓ１２２を終えたならば、システム制御回路５０はシステム制御回路５０の内部メモリ或いはメモリ５２に記憶される画像表示フラグの状態を判断し（Ｓ１２３）、画像表示フラグが設定されていたならば画像表示部２８の表示状態をスルー表示状態に設定して（Ｓ１２４）、Ｓ１２５に進む。なお、Ｓ１２４でのスルー表示状態は、Ｓ１１６でのスルー状態と同じ動作状態である。

シャッタースイッチＳＷ２が押されずに（Ｓ１２５）、さらにシャッタースイッチＳＷ１も解除されたならば（Ｓ１２６）、Ｓ１０３に戻る。

シャッタースイッチＳＷ２が押されたならば（Ｓ１２５）、システム制御回路５０はシステム制御回路５０の内部メモリ或いはメモリ５２に記憶される画像表示フラグの状態を判断し（Ｓ１２７）、画像表示フラグが設定されていたならば画像表示部２８の表示状態を固定色表示状態に設定して（Ｓ１２８）、Ｓ１２９に進む。

固定色表示状態に於いては、撮像素子１２、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して画像表示メモリ２４に書き込まれた撮影画像データの代わりに、差し替えた固定色の画像データを、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８により表示することにより、固定色の映像を電子ファインダーに表示している。

画像表示フラグが解除されていたならば（Ｓ１２７）、Ｓ１２９に進む。

システム制御回路５０は、撮像素子１２、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器から直接メモリ制御回路２２を介して、メモリ３０に撮影した画像データを書き込む露光処理、及び、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて、メモリ３０に書き込まれた画像データを読み出して各種処理を行う現像処理からなる撮影処理を実行する（Ｓ１２９）。

この撮影処理Ｓ１２９の詳細は図５を用いて後述する。

次にシステム制御回路５０は、メモリ３０に書き込まれた撮影画像データを読み出して、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて各種画像処理を、また、圧縮・伸長回路３２を用いて設定したモードに応じた画像圧縮処理を行った後、記録媒体１５０或いは１６０へ画像データの書き込みを行う記録処理を実行する（Ｓ１３２）。

この記録処理Ｓ１３２の詳細は図６を用いて後述する。

記録処理Ｓ１３２が終了した際に、シャッタースイッチＳＷ２が押された状態であったならば（Ｓ１３３）、システム制御回路５０はシステム制御回路５０の内部メモリ或いはメモリ５２に記憶される連写フラグの状態を判断し（Ｓ１３４）、連写フラグが設定されていたならば、連続して撮影を行うためにＳ１２９に戻り、次の撮影を行う。

連写フラグが設定されていないならば（Ｓ１３４）、シャッタースイッチＳＷ２が放されるまで（Ｓ１３３）、現在の処理を繰り返す。

シャッタースイッチＳＷ１が押された状態であったならば（Ｓ１３５）、システム制御回路５０は、Ｓ１２５に戻って次の撮影に備える。

シャッタースイッチＳＷ１が放された状態であったならば（Ｓ１３５）、システム制御回路５０は、一連の撮影動作を終えてＳ１０３に戻る。

図４は、図３のＳ１２２における測距・測光処理の詳細なフローチャートを示す。

システム制御回路５０は、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６を介して画像処理回路２０に撮影画像データを逐次読み込む（Ｓ２０１）。この逐次読み込まれた画像データを用いて、画像処理回路２０はＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理、ＡＦ（オートフォーカス）処理に用いる所定の演算を行っている。

なお、ここでの各処理は、撮影した全画素数のうちの必要に応じた特定の部分を必要個所分切り取って抽出し、演算に用いている。これにより、ＴＴＬ方式のＡＥ、ＥＦ、ＡＷＢ、ＡＦの各処理において、中央重点モード、平均モード、評価モードの各モード等の異なるモード毎に最適な演算を行うことが可能となる。

画像処理回路２０での演算結果を用いて、システム制御回路５０は露出（ＡＥ）が適正と判断されるまで（Ｓ２０２）、露光制御手段４０を用いてＡＥ制御を行う。

ＡＥ制御時、システム制御回路５０はシステム制御回路５０の内部メモリ或いはメモリ５２に記憶される防振機能フラグの状態を判断し（Ｓ２０３）、防振機能ＯＮの場合は防振時ＡＥ制御を行い（Ｓ２０４）、防振機能ＯＦＦ時は通常のＡＥ制御を行う（Ｓ２０５）。

防振機能がＯＮの場合は、複数枚の画像が撮影され、後述するように、その後、画像処理装置にて像の位置ズレを補正しながら加算合成が行われる。このときのシャッター速度は手振れが発生しにくい速度にする必要がある。このようなシャッター速度は次のようにして求めることが出来る。従来３５ｍｍフィルムを使用するカメラでは撮影レンズの焦点距離をｆｍｍとすると、１／ｆ（ｓｅｃ）のシャッター速度であれば手振れが影響しにくいと言われている。一般的に撮像装置１００の撮像素子１４の画面サイズは３５ｍｍフィルムに対して小サイズの撮像素子が使用されるが、３５ｍｍフィルムに対する撮像素子の大きさの比と撮影レンズの実焦点距離から、３５ｍｍフィルムカメラ相当の焦点距離を求め、これをｆ‘とすると、この逆数（１／ｆ’（ｓｅｃ））をシャッター速度とすれば手振れしにくいシャッター速度とすることが出来る。または、ＰＣ用モニタなどで拡大表示して観察されることを考慮して、より高速なシャッター速度としても良い。

このようにして求めたシャッター速度と、ＡＥ制御で決まる適正露光量とカメラ側で設定される絞り値および感度値などから、１枚撮影したときの露光量と適正露光量の比を求めることが出来、この比から適正露光を得るためには、何枚の撮影画像を加算すればいいか求まる。たとえば、１枚あたりの露光量が適正露光量の１／４であれば、撮影枚数は４枚として、４枚の画像を加算することで適正露光となる画像を求められる。

防振時の撮影枚数については、少ないと防振効果が少なく防振機能を使用しないで撮影したときとの差が少なくなり、また、多すぎると１枚あたりの露光量が少なくなりすぎて、後処理での動きベクトル検出の処理などが困難になったり、処理にも時間が掛かったりするようになる。従って、４〜８枚程度が適切である。

以下の実施例の説明においては、防振時の撮影枚数は４枚とした場合について説明するが、任意の枚数にした場合でも以下説明する内容を多少修正することで同様の動作が成り立つことはいうまでもない。

次にＡＥ制御で得られた測定データを用いて、システム制御回路５０はフラッシュ４８の使用が必要か否かを判断し（Ｓ２０６）、フラッシュが必要ならばフラッシュ・フラグをセットし、フラッシュ４８を充電する（Ｓ２０７）。

露出（ＡＥ）が適正と判断したならば（Ｓ２０２）、測定データ及び或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶する。

画像処理回路２０での演算結果及びＡＥ制御で得られた測定データを用いて、システム制御回路５０はホワイトバランス（ＡＷＢ）が適正と判断されるまで（Ｓ２０８）、画像処理回路２０を用いて色処理のパラメータを調節してＡＷＢ制御を行う（Ｓ２０９）。

ホワイトバランス（ＡＷＢ）が適正と判断したならば（Ｓ２０８）、測定データ及び或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶する。

ＡＥ制御及びＡＷＢ制御で得られた測定データを用いて、システム制御回路５０は測距（ＡＦ）が合焦と判断されるまで（Ｓ２１０）、測距制御手段４２を用いてＡＦ制御を行う（Ｓ２１１）。

測距（ＡＦ）が合焦と判断したならば（Ｓ２１０）、測定データ及び或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶し、測距・測光処理ルーチンＳ１２２を終了する。

図５は、図３のＳ１２９における撮影処理の詳細なフローチャートを示す。

システム制御回路５０は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶される測光データに従い、露光制御手段４０によって、絞り機能を有するシャッター１２を絞り値に応じて開放して撮像素子１４を露光する（Ｓ３０１、Ｓ３０２）。

システム制御回路５０はシステム制御回路５０の内部メモリ或いはメモリ５２に記憶される防振機能フラグの状態を判断し（Ｓ３０３）、防振機能ＯＮの場合は防振時連写の何コマ目かを判断し（Ｓ３０４）、１コマ目ならフラッシュ使用の判断（Ｓ３０５）に進み、１コマ目以外の場合は、露光終了判断（Ｓ３０７）に進む。Ｓ３０３にて防振機能ＯＦＦならばフラッシュ使用の判断（Ｓ３０５）に進む。

Ｓ３０５ではフラッシュ・フラグによりフラッシュ４８が必要か否かを判断し、必要な場合はフラッシュを発光させる（Ｓ３０６）。

上記により、防振機能ＯＮかつフラッシュを使用する場合には、防振機能による連写の１コマ目だけ、フラッシュが発光することとなる。１コマ目だけ発光させるのは、フラッシュに関してはフラッシュ光到達距離範囲内の被写体については一度の発光で適正露出が得られるためであり、また、フラッシュを複数コマで発光させようとすると発光後の充電に時間を要するため、各露光間のブレ量（画角変化）が過大となり、後処理での画像処理装置での画像合成が困難になること、また、全体の撮影に長時間かかることになり、被写体が人物の場合など被写体ぶれが大きくなってしまうためである。本実施形のように構成することで、夜景をバックにした人物撮影などの場合、手前の人物には一度のフラッシュ撮影で適正露光が得られ、背景については防振機能を利用してぶれの少ない夜景が撮影できることとなり、非常に有用である。

システム制御回路５０は、測光データに従って撮像素子１４の露光終了を待ち（Ｓ３０７）、シャッター１２を閉じて（Ｓ３０８）、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６から直接メモリ制御回路２２を介して、メモリ３０に撮影画像のデータを書き込む（Ｓ３０９）。

設定された撮影モードに応じて、フレーム処理を行う必要があるならば（Ｓ３１０）、システム制御回路５０は、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて、メモリ３０に書き込まれた画像データを読み出して垂直加算処理や（Ｓ３１１）、色処理（Ｓ３１２）を順次行った後、メモリ３０に処理を終えた画像データを書き込む。

次に防振機能フラグがセットされている場合（Ｓ３１３）は、防振用連写撮影が終了したかどうかを判断し（Ｓ３１４）、終了していない場合はＳ３０１に戻り、防振用連写が終了するまで上記のステップを繰り返す。防振連写が終了した場合は、ここで撮影終了後の画像表示のために表示用画像データを生成するとともに、インデックス表示や再生表示のためのサムネイル画像を生成する。ここでフラッシュ撮影されたか否かで処理を分岐する（Ｓ３１５）。フラッシュを使用していない場合はＳ３１６に進む。防振用連写撮影で得られた個々の画像は手振れしない秒時で撮影され、適正露光よりアンダーとなっている。そのため、そのままでは表示用画像やサムネイル画像として適さない。そこで連写撮影したうちの１コマの画像を略撮影枚数分ゲインアップを行って表示画像データおよびサムネイル画像を生成する（Ｓ３１６）。具体的には、画像データの輝度情報を撮影枚数分乗算する。たとえば４枚を合成する場合は、画像の輝度情報を４倍する。このように整数倍することで、階調性は失われるが、画像表示部２８に使われる液晶上では元画像に対してかなり縮小された画像が表示されるため、階調性が失われていても撮影画像の構図確認などの用途には十分である。また、ここでの画像情報がすでに輝度に対してリニア（線形）でない場合には輝度に対してリニアなデータに変換してから整数倍することが望ましい。そして次のステップ（Ｓ３２０）に進む。

また、Ｓ３１５の判断のステップにおいて、フラッシュを使用した場合は、主被写体に対してフラッシュ光が到達したかどうかが判断される（Ｓ３１８）。フラッシュ光の到達可能範囲内の被写体に対しては一度のフラッシュ発光で十分な露光が得られるため、一連の防振用連写撮影のうち、フラッシュ発光は一コマだけ行えばよい。また、その場合主被写体となる手前の人物に対して露光が得られているのは、フラッシュ発光時のコマだけであるので、フラッシュ光を使用して撮影した画像を主画像としてレビュー画像やサムネイル画像を生成するのが望ましく、かつ、前述のようにフラッシュ発光時の画像のみで主被写体に対して適正な露光が得られているため、フラッシュ光を使わない防振用連写の場合と異なり、ゲインアップはしないで画像をそのまま表示用画像およびサムネイル画像生成に用いることができる。

そのため、Ｓ３１８において、フラッシュ光が到達していないと判断される場合には、フラッシュ光が使用されていない場合と同様の処理を行えばいいのでステップＳ３１６に進む。また、フラッシュ光が到達していると判断された場合は、フラッシュ撮影した画像からゲインアップせずに表示画像、サムネイル画像を作成する（Ｓ３１９）。

フラッシュ光が主被写体に到達したかどうかは、調光できたかどうか、あるいは主被写体の距離とフラッシュのガイドナンバー、撮影時の絞りとの関係から公知の技術により判断することができる。

またＳ３１３にて防振機能フラグがセットされてない場合はゲインアップ処理を行わずに、撮影画像から表示画像データおよびサムネイル画像を生成する（Ｓ３１７）。

そして、システム制御回路５０は、メモリ３０から画像データを読み出し、メモリ制御回路２２を介して画像表示メモリ２４に表示画像データの転送を行う（Ｓ３１７）。

次に、システム制御回路５０は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶される画像表示フラグの状態を判断し（Ｓ３２１）、画像表示フラグが設定されていたならば画像表示を行う（Ｓ３２２）。

画像表示フラグが解除されていたならば（Ｓ３２１）、画像表示を行わずに次のステップＳ３２３に進む。

Ｓ３２３では、再度防振機能がオンされているかどうか、防振機能フラグにより判断される。防振機能フラグがセットされていない場合は、撮影処理ルーチンＳ１２９を終了する。

防振機能フラグがセットされている場合は、防振用画像合成処理を行う。まず、システム制御回路５０がメモリ５２内にある防振用画像処理に用いる変数で何枚目を処理しているかを表す変数ｎを１に初期化する（Ｓ３２４）。

次に、システム制御回路５０は、動きベクトル検知回路７２により防振連写撮影のｎコマ目画像とｎ＋１コマ目画像間の動きベクトルを演算する（Ｓ３２５）。

動きベクトルの検知方法としてはさまざまな手法が公知であり、そのうちどのような手法を用いることも可能である。一例として図７を用いて説明する。図７は動きベクトル検知方法の一例を説明する図である。

図７（ａ）は画面を小ブロックに分割する様子を示した図である。２００は撮影された画像であり、ここでは横３０７２画素、縦２０４８画素、総画素数６，２９１，４５６画素の画像が撮影されるものとする。動きベクトルを求めるためにここでは画面全体を横２５６画素、縦２５６画素の小ブロック２０１に分割する。このようにして図７（ａ）に示すように横１２ブロック、縦８ブロックに分割される。

次に、各小ブロックごとに、動きベクトルを求めるためのもう１枚の画像との二次元相関値を求めていく。相関値としては、小ブロックを画素単位でずらしながら、対応する各画素間の差の絶対値の和を次々に求めていき、その和が最小となるずらし量をその小ブロックの動きベクトルとする。

このようにして、図７（ｂ）に示すように全ての小ブロックにおいてその動きベクトル２０２を求める。

次にそのようにして求めた動きベクトルの頻度を調べる。頻度を最頻値から順にプロットしたヒストグラムが図７（ｃ）である。このようにして求めた最頻値（図７（ｃ）の場合は（２、１））が、この二画像間の動きベクトルとなる。

動きベクトルの検知方法について簡単に述べたが、小ブロックの分割画素数はたとえば１２８画素×１２８画素など任意の大きさのブロックでかまわないし、画面全体の動きベクトルもたとえば頻度順に２〜３の動きベクトル候補値を選び、それらから補間によって求めるようにしてもよい。

また、前記のように他の公知な方法によってもかまわない。たとえば画面から特徴となる点を抽出し、それと対応する点を探しだすことで動きベクトルを求めるようにしても良いし、画面全体を調べるのではなく、演算量を減らすために小ブロックを一部選択してそれらについての動きベクトルから求めるようにしてもよい。このように様々な手法が公知であるがそれらのどの方法によって動きベクトルを求めても良い。

また、直線状の動きだけではなく、アフィン変換など回転を考慮するようにしてもよいことは言うまでもない。

さて、このようにして求められた動きベクトルをもとにシステム制御回路５０は、画像の位置合わせのための座標変換を行う（Ｓ３２６）。

そして画像処理回路２０により位置合わせされた画像を加算合成し（Ｓ３２７）、メモリ３０上に記録する（Ｓ３２８）。

そして変数ｎを＋１し（Ｓ３２９）、防振連写した画像の座標変換および合成が終了したかどうかを判断する（Ｓ３３０）。終了していない場合は、Ｓ３２５に戻って、画像間の動きベクトル検知、座標変換、および合成を繰り返す。

合成処理が終了したなら、合成後の画像を用いて表示用画像などを生成することが可能になるので、表示画像データおよびサムネイル画像の再生成を行う（Ｓ３３１）。

次に、システム制御回路５０は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶される画像表示フラグの状態を判断し（Ｓ３３２）、画像表示フラグが設定されていたならば再生成された表示画像の表示を行う（Ｓ３３３）。

以上で撮影処理ルーチンＳ１２９を終了する。

以上の説明では防振連写の一コマ目でフラッシュ発光させる例を説明したが、フラッシュを発光させるのは連写中の任意のコマでかまわない。たとえば、後幕シンクロ撮影のように連写の最終コマでフラッシュを発光させるようにしても良い。その場合、フラッシュ発光により被写体が撮影終了と思い動いてしまうことによる被写体ブレを防止できるという効果がある。一コマ目以外でフラッシュ発光させる場合も、フラッシュ発光した画像を主画像とし、その画像から表示画像、サムネイル画像を生成することで、主被写体に適正露光された画像を表示、またはサムネイル画像とすることができる。

次に記録処理の動作について図６を用いて説明する。図６は、図３のＳ１３２における記録処理の詳細なフローチャートを示す。図６において、システム制御回路５０は、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて、メモリ３０に書き込まれた撮影画像データを読み出して撮像素子の縦横画素比率を１：１に補間する画素正方化処理を行った後（Ｓ４０１）、メモリ３０に処理を終えた画像データを書き込む。

そして、メモリ３０に書き込まれた画像データを読み出して、設定したモードに応じた画像圧縮処理を圧縮・伸長回路３２により行った後（Ｓ４０２）、インターフェース９０或いは９４、コネクタ９２或いは９６を介して、メモリカードやコンパクトフラッシュ（登録商標）カード等の記録媒体２００或いは２１０へ圧縮した画像データの書き込みを行う（Ｓ４０３）。

記録媒体への書き込みが終わったならば、記録処理ルーチンＳ１３２を終了する。

本実施形で示したように、撮影後、画像合成処理開始前に１枚目に撮影した画像をゲインアップして表示することにより、防振モードに設定されている際も撮影者が画像合成処理の終了を待つことなく撮影画像の構図、概略の露出を確認できるという効果がある。

本実施形では、防振の連写が終了してから画像の表示を行うようにしているが、撮影枚数はあらかじめ分かっているので、１枚目の撮影が終わった直後に所定のゲインアップ処理をして１枚目の画像の表示を行うようにしてもかまわない。

また、実施例では４枚を合成する例で説明したが、８枚合成など、４枚以外の場合でも以上で説明した内容を小修正して応用できることはいうまでもない。

第１の実施例は、画像の合成が終了するまでの間、複数画像のうちの１枚をゲインアップして表示する実施例であったが、画像表示のやり方はこのような手法に限定されるわけではない。

第１の実施例では、画像合成が終了するまで、同じ画像を表示するようにしていたが、合成過程の画像を適正露出になるようゲインアップの度合いを変えて表示するようにしても良い。第２の実施例はそのような実施例である。

以下、図８を用いて第２の実施例を説明する。

図８は第２の実施例の撮像装置１００の撮影時のシークエンスを表す図である。図５と同一動作をするステップについては同一番号を付してあるのでそれらのステップについては説明を省略する。

図８のステップ３０１からステップ３２８までのステップは図５の同番号のステップと同一の動作である。よって、第１の実施例と同様に、防振連写が終了した後、フラッシュを使用していない場合は、画像をゲインアップして表示画像、サムネイル画像を生成し（Ｓ３１６）、フラッシュを使用した場合は、フラッシュ光が到達したかどうかが判断され（Ｓ３１８）、フラッシュ光が到達している場合はフラッシュ使用撮影画像からゲインアップせずに表示画像、サムネイル画像を生成する（Ｓ３１９）。

第１の実施例と同様、本実施例では画像のゲインアップを行うため、フラッシュを使用した場合としない場合とで処理を分けるようにしている。

ステップ３２４からステップ３２８までの処理が行われ、画像が１枚位置合わせ、画像合成処理が行われると、次に撮影時フラッシュが使用されたかどうかが判断され（Ｓ３４１）、フラッシュが使用されていない場合は、合成された画像に対し、ｍ／（ｎ＋１）倍のゲインアップを行う（Ｓ３４３）。ここで、ｍは合成する画像の総枚数、ｎは処理している枚数を表す変数である。Ｓ３４３での処理により、ゲインアップ後の画像は適正露光相当の明るさとなる。

たとえば、４枚合成を行う場合（ｍ＝４）のｎ＝１の処理のとき、Ｓ３４３の時点では１枚目と２枚目の合成が終わっており、適正露光相当にするには、ｍ／（ｎ＋１）＝４／（１＋１）＝２となり、２倍のゲインアップとなる。

また、Ｓ３４１の判断のステップにおいて、フラッシュを使用した場合は、主被写体に対してフラッシュ光が到達したかどうかが判断される（Ｓ３４２）。Ｓ３４２において、フラッシュ光が到達していないと判断される場合には、フラッシュ光が使用されていない場合と同様の処理を行えばいいのでステップＳ３４３に進む。また、フラッシュ光が到達していると判断された場合は、フラッシュ撮影した画像からゲインアップせずに表示画像、サムネイル画像を作成する（Ｓ３４４）。

次に、システム制御回路５０は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶される画像表示フラグの状態を判断し（Ｓ３３２）、画像表示フラグが設定されていたならば画像表示を行う（Ｓ３３３）。

画像表示フラグが解除されていたならば（Ｓ３２２）、画像表示を行わずに次のステップＳ３５５に進む。

そして変数ｎを＋１し（Ｓ３４５）、防振連写した画像の座標変換および合成が終了したかどうかを判断する（Ｓ３４６）。終了していない場合は、Ｓ３２５に戻って、画像間の動きベクトル検知、座標変換、および合成を繰り返す。終了した場合には撮影シークエンスを終了する。

以上のように構成することで、フラッシュを使用していないときは、逐次合成が進むに連れて最新の合成画像を適正露光状態相当で表示できるという効果が有る。

第３の実施例は、画像合成処理の間、途中の処理過程の画像をそのまま表示するようにした実施例である。合成処理が進むと進行度合いに連れて画像の明るさが明るくなっていくため、ユーザーが合成処理の進行度合いを画像で確認することが出来るという効果が有る。

以下、図９から図１０を用いて第３の実施例を説明するが、以降の第３の実施例の説明においては、第１の実施例と共通な構成、シークエンスについては説明を省略する。

図９は第３の実施例の撮像装置１００の撮影時のシークエンスを表す図である。図５と同一動作をするステップについては同一番号を付してあるのでそれらのステップについては説明を省略する。

図９のステップ３０１からステップ３１４までのステップは図５の同番号のステップと同一の動作である。

本実施例では、画像のゲインアップは行わないので、第１の実施例のようにフラッシュを使用した場合と使用しない場合とで処理を分ける必要が無い。そこで、防振撮影が終了すると（Ｓ３１４）、まず防振撮影の１コマ目の画像を表示画像、サムネイル画像とする（Ｓ３５１）。そして、ステップ３２０からステップ３２２までの表示のステップに進み、画像表示フラグがＯＮの場合は、画像表示が行われる（Ｓ３２２）。防振撮影が行われたコマは露出アンダーで撮影されているため、ここでは表示が行われても画像はアンダーな画像がそのまま表示されることになる。

次に、防振撮影であるかどうかが判断され（Ｓ３２３）、防振撮影の場合はステップ３２４以下に進み、防振撮影で無い場合はここで撮影シークエンスを終了する。

ステップ３２４からステップ３２８までは、第１の実施例と同一であり、詳細な説明は省略するがこのステップで、１コマ目の画像から順に位置合わせ、合成処理が行われる。そして、１枚合成されるごとに合成画像から表示画像、サムネイル画像の生成を行い（Ｓ３５２）、画像表示フラグがＯＮの場合（Ｓ３２２）、画像表示が行われる（Ｓ３３３）、そして、何枚目を処理しているかを表す変数ｎを＋１し（Ｓ３５３）、画像合成が終了したかどうかが判断され（Ｓ３５４）、終了していない場合は、Ｓ３２５に戻り、次の画像の位置合わせ、および画像合成の処理が継続される。終了している場合は、撮影処理を終了する。

以上のような動作により、表示動作は具体的には以下のようになる。防振連写として４コマの撮影が行われる場合の表示状態について図１０を用いて説明する。図１０は第３の実施例の防振連写時の表示状態を説明する図で、（ａ）〜（ｄ）の画像はそれぞれ防振連写の１コマ目から４コマ目の撮影後の画像の表示状態を表している。

防振連写の１コマ目の撮影後、最初は図１０（ａ）のように１コマ目の画像のみが表示される。２段アンダーな画像をそのまま表示するのでアンダーで暗い状態で表示される。

次に２コマ目の撮影後、１コマ目と２コマ目が合成されその合成画像が表示される（図１０（ｂ））。この段階では２段アンダーな画像が２枚加算されることになるので、結果的には１段アンダーな画像ということになり、最初のコマよりも明るい画像が表示されることになる。

その次には３コマ目の撮影が行われ、３コマ目の画像の位置合わせ、および１コマ目と２コマ目が合成された画像への加算合成が行われることになり、さらに明るい画像が表示される（図１０（ｃ））。

次に最終の４コマ目の撮影が行われ、４コマ目の画像の位置合わせ、および１コマ目から３コマ目の画像の合成画像への加算合成が行われ、最終的に適正露光の画像が表示されることになる（図１０（ｄ））。

フラッシュが使用された場合は、フラッシュ光が到達していれば被写体については１コマ目のフラッシュ使用コマで適正露出となるため、１コマ目の表示から被写体は適正露出で表示され、背景については合成処理が進むに連れてだんだん明るく表示されるようになる。

このように、合成処理が進むにつれて表示画像は明るく表示されることになり、合成処理の進行度を確認できるという効果が有る。

以上、図１から図１０を用いて本発明の実施例１から実施例３の説明を行った。

本実施例の説明ではレンズや鏡筒が本体と一体化された、いわゆるデジタルコンパクトカメラに適用した実施形について説明したが、レンズ交換式の一眼レフタイプの撮像装置、または静止画撮影機能を有するビデオカメラなどについても本発明が適用可能なことは言うまでもない。

また、シャッター１２は絞りとシャッターを兼用するレンズシャッタータイプで説明を行ったが、絞りとシャッターは独立していても良い。また、シャッターはフォーカルプレーン式のシャッターで構成されても良い。

またズーム機能の無い単焦点レンズ内蔵の撮像装置であっても良いし、バリア１０２を有してなくとも良い。フラッシュ４８も内蔵でなく、外付けフラッシュであってもかまわない。

また、操作系についてもモードダイアルでなく、プッシュＳＷの組み合わせでモードが切り替え可能なように構成しても良い。

また、実施例の説明において、合成する画像間の動きベクトルの検知を、動きベクトル検知回路７２においてハード的に行うようにしているが、これは画像処理回路２０等にその機能を持たせるようにしても良く、また、システム制御回路５０、または別のＣＰＵを設けるなどしてソフト的に動きベクトルの検知を行うよう構成してもかまわない。

また、動きベクトル検知のアルゴリズムについては、さまざまな公知の方式が知られているがそれらのどのような方式を採用しても良いことは言うまでもない。

また、実施例では簡単のため、動きベクトル検知回路７２により画面の平行移動だけを補正して合成するよう説明したが、それだけではなく、画面間の回転をも検出して、撮影時の光軸回りの回転ブレをも補正するよう構成しても良い。また、さらに広角レンズ使用時の歪曲収差による画像の変形や、望遠レンズ使用時の色収差の影響なども考慮して、より精度の良い合成を行うよう構成しても良い。

なお、記録媒体１５０及び１６０は、ＰＣＭＣＩＡカードやコンパクトフラッシュ（登録商標）等のメモリカード、ハードディスク等だけでなく、マイクロＤＡＴ、光磁気ディスク、ＣＤ−ＲやＣＤ−ＷＲ等の光ディスク、ＤＶＤ等の相変化型光ディスク等で構成されていても勿論問題無い。

また、記録媒体１５０及び１６０がメモリカードとハードディスク等が一体となった複合媒体であっても勿論問題無い。さらに、その複合媒体から一部が着脱可能な構成としても勿論問題無い。

そして、実施例の説明に於いては、記録媒体１５０及び１６０は撮像装置１００と分離していて任意に接続可能なものとして説明したが、いずれか或いは全ての記録媒体が撮像装置１００に固定したままとなっていても勿論問題無い。

また、撮像装置１００に記録媒体１５０或いは１６０が、単数或いは複数の任意の個数接続可能な構成であっても構わない。

そして、撮像装置１００に記録媒体１５０及び１６０が装着する構成として説明したが、記録媒体は単数或いは複数の何れの組み合わせによる構成であっても、勿論問題無い。

さらに上記以外の本発明の趣旨に沿った範囲でさまざまな変形例の形態をとってもかまわない。

本発明の請求項１および請求項９に示される撮像装置は、実施例１から実施例３で説明した撮像装置１００である。

また、本発明の請求項１に示される撮像装置の特徴である、少なくとも１枚の画像の撮影が終了した後で、かつ画像合成が完了する前に、撮影した画像の少なくとも１枚から明るさを補正して表示用画像および／またはサムネイル用画像を生成することについては、実施例１の図５におけるＳ３１６、および実施例２の図８におけるＳ３１６、Ｓ３４３のシークエンスによって示される。

また、本発明の請求項２に示される撮像装置の特徴である、撮影した複数の画像のうち１枚を、略撮影した枚数に応じてゲインアップして明るさを補正することについては、実施例１の図５におけるＳ３１６のシークエンスによって示される。

また、本発明の請求項３に示される撮像装置の特徴である、画像データを撮影枚数分整数倍することによってゲインアップすることについては、実施例１の図５におけるＳ３１６のシークエンスの説明中に示される。

本発明の請求項４に示される撮像装置の特徴である、画像合成が終了後、合成画像より表示用画像および／またはサムネイル用画像を再生成することについては、Ｓ３３１に示されている。

本発明の請求項５に示される撮像装置の特徴である、１枚ずつ順に位置合わせおよび合成を行い、１枚合成処理が終了するごとに、合成画像の明るさを補正して表示用画像および／またはサムネイル用画像を生成することについては、実施例２の図８におけるＳ３４３のシークエンスによって示されている。

本発明の請求項６に示される撮像装置の特徴である、合成画像の画像データに、（総合成枚数／合成済み画像数）を乗ずることにより明るさを補正することについては、実施例２の図８におけるＳ３４３のシークエンスによって示されている。

本発明の請求項７に示される撮像装置の特徴である、ゲインアップおよび／または明るさの補正は、輝度に対して線形に行うことについては、実施例１の図５におけるＳ３１６のシークエンスの説明中に示される。

本発明の請求項８に示される補助光閃光装置は、フラッシュ４８である。

また、本発明の請求項８に示される撮像装置の特徴である、複数枚の画像のうち、前記閃光補助装置からの補助光を使用して撮影した画像が有る場合は、前記補助光使用画像を明るさの補正を行わずに表示用画像および／またはサムネイル用画像とすることについては、実施例１の図５、および実施例２の図８中におけるＳ３１５からＳ３１９までのシークエンス、および実施例２の図８中のＳ３４１からＳ３４４までのシークエンス中に示されている。

本発明の請求項９に示される撮像装置の特徴である、１枚ずつ順に位置合わせおよび合成を行い、１枚合成処理が終了するごとに合成画像を表示用画像として表示することについては、実施例３の図９におけるＳ３５２のシークエンス中に示されている。

本発明の実施例１の撮像装置の構成ブロック図本発明の実施例１の撮像装置の主ルーチンのフローチャートの一部本発明の実施例１の撮像装置の主ルーチンのフローチャートの一部本発明の実施例１の撮像装置の測距・測光ルーチンのフローチャート本発明の実施例１の撮像装置の撮影ルーチンのフローチャート本発明の実施例１の撮像装置の記録ルーチンのフローチャート本発明の実施例１の動きベクトル検知回路の一例を示す図本発明の実施例２の撮像装置の撮影ルーチンのフローチャート本発明の実施例３の撮像装置の撮影ルーチンのフローチャート本発明の実施例３の表示動作を示す図

符号の説明

１０撮影レンズ
１２シャッター
１４撮像素子
１６Ａ／Ｄ変換器
１８タイミング発生回路
２０画像処理回路
２２メモリ制御回路
２４画像表示メモリ
２６Ｄ／Ａ変換器
２８画像表示部
３０メモリ
３２画像圧縮・伸長回路
４０露光制御手段
４２測距制御手段
４４ズーム制御手段
４６バリア制御手段
４８フラッシュ
５０システム制御回路
５２メモリ
５４表示部
５６不揮発性メモリ
６０モードダイアルスイッチ
６２シャッタースイッチＳＷ１
６４シャッタースイッチＳＷ２
６６画像表示ＯＮ／ＯＦＦスイッチ
６８防振機能ＯＮ／ＯＦＦスイッチ
７０操作部
７２動きベクトル検知回路
８０電源制御手段
８２コネクタ
８４コネクタ
８６電源手段
９０インターフェース
９２コネクタ
９４インターフェース
９６コネクタ
９８記録媒体着脱検知手段
１００撮像装置
１０２保護手段
１０４光学ファインダー
１１０通信手段
１１２コネクタ（またはアンテナ）
１５０記録媒体
１５２記録部
１５４インターフェース
１５６コネクタ
１６０記録媒体
１６２記録部
１６４インターフェース
１６６コネクタ

Claims

撮影時に露光時間を手振れを起こしにくい複数の秒時に分割して複数枚の画像撮影を行い、撮影後に前記複数枚の画像の位置合わせを行いながら合成することで手振れの影響を補正する手振れ補正機能を有する撮像装置であって、少なくとも１枚の画像の撮影が終了した後で、かつ画像合成が完了する前に、撮影した画像の少なくとも１枚から明るさを補正して表示用画像および／またはサムネイル用画像を生成することを特徴とする手振れ補正機能を有する撮像装置。
撮影した複数の画像のうち１枚を、略撮影した枚数に応じてゲインアップすることにより、明るさを補正することを特徴とする請求項１記載の手振れ補正機能を有する撮像装置。
ゲインアップは、画像データを撮影枚数分整数倍することによって行うことを特徴とする請求項２記載の手振れ補正機能を有する撮像装置。
画像合成が終了後、合成画像より表示用画像および／またはサムネイル用画像を再生成することを特徴とする請求項１から請求項３いずれか記載の手振れ補正機能を有する撮像装置。
１枚ずつ順に位置合わせおよび合成を行い、１枚合成処理が終了するごとに、合成画像の明るさを補正して表示用画像および／またはサムネイル用画像を生成することを特徴とする請求項１記載の手振れ補正機能を有する撮像装置。
合成画像の画像データに、（総合成枚数／合成済み画像数）を乗ずることにより明るさを補正することを特徴とする請求項５記載の手振れ補正機能を有する撮像装置。
ゲインアップおよび／または明るさの補正は、輝度に対して線形に行うことを特徴とする請求項１から請求項６いずれか記載の手振れ補正機能を有する撮像装置。
低輝度時の露出を補助する補助光を発する補助光閃光装置を有し、複数枚の画像のうち、前記閃光補助装置からの補助光を使用して撮影した画像が有る場合は、前記補助光使用画像を明るさの補正を行わずに表示用画像および／またはサムネイル用画像とすることを特徴とする請求項１から請求項７いずれか記載の手振れ補正機能を有する撮像装置。
撮影時に露光時間を手振れを起こしにくい複数の秒時に分割して複数枚の画像撮影を行い、撮影後に前記複数枚の画像の位置合わせを行いながら合成することで手振れの影響を補正する手振れ補正機能を有する撮像装置であって、１枚ずつ順に位置合わせおよび合成を行い、１枚合成処理が終了するごとに合成画像を表示用画像として表示することを特徴とする手振れ補正機能を有する撮像装置。