JP2005012801A - 画像処理に関連する中間データを格納するための不揮発性メモリを有するデジタルカメラおよび画像処理を一時停止および再開するための方法 - Google Patents

Abstract

【課題】 本発明は、デジタルカメラ上での画像の高度な処理における電力消費および電池の消耗を最少限に抑えるための装置および方法である。
【解決手段】 デジタルカメラ（１００）であって、
画像センサ（１０２）と、
前記画像センサ（１０２）に接続され、前記画像センサ（１０２）から画像を受け取り、高度な画像処理の少なくとも１つの形態を実施し、高度に処理された画像を生成するためのファームウェアを有する画像処理サブシステム（１０４）と、
第１の不揮発性メモリ（１０８、１２０）とを備え、
前記画像処理サブシステム（１０４）は、前記第１の不揮発性メモリ（１０８、１２０）に接続され、前記高度な処理に関連する途中結果を前記第１の不揮発性メモリ（１０８、１２０）に保存し（２２２）、前記第１の不揮発性メモリに格納された前記途中結果を用いて、前記高度な処理を一時停止し、かつ前記高度な処理を再開する（３１２）
ファームウェアを有するデジタルカメラ。
【選択図】 図１

Description

本発明は、デジタルカメラの分野に関する。特に、本願は、デジタルカメラ上での画像の高度な処理における電力消費および電池の消耗を最少限に抑えるための装置および方法に関する。

［関連出願］
本願は、「Digital Camera And Method For Slowing, Delay And/Or Suspending Advanced Processing During Low Battery Conditions To Conserve Battery Charge」と題する米国特許出願第１０／４６２，９６１号、および「User Interface For Digital Camera Having Nonvolatile Memory For Storing Intermediate Data For Advanced Processing And Capable Of Slowing, Delaying And/Or Suspending Advanced Processing During Low Battery Conditions」と題する米国特許出願第１０／４６２，９８６号に対する同時係属よび同時提出出願に関する。

現代のデジタルカメラは、一般に、レンズシステムおよび画像を取り込むための画像センサを有する。画像はいったん取り込まれると、デジタル化され、カメラの内蔵画像処理コンピュータシステムに転送されて処理される。デジタルカメラは、通常、数段階の画像処理を行う。最初の前処理段階には、通常、欠陥画素の補正およびカラー処理が含まれる。カラー処理には、通常、生画像センサデータからの３色面の抽出が含まれる。本明細書の目的において、生画像には、デジタル化された画像センサデータ、欠陥画素が補正されたセンサデータ、またはカラー処理を行った画像が含まれる。画像処理の圧縮段階では、通常、画像の圧縮が行われる。処理が行われているとき、または処理が行われた後、内蔵画像処理コンピュータシステムは、処理された画像を不揮発性メモリに保存し、格納および伝送する。

画像処理コンピュータシステムにおけるプロセッサに加えて、カメラ内には、電力管理に関与する管理プロセッサ、トリガーおよび構成ボタンポーリング、フラッシュメモリ制御、電池維持、および帯電モニタリング、ならびに他の機能に関与する管理プロセッサなどの、さらなる内蔵プロセッサが存在し得る。

通常の不揮発性メモリには、「フラッシュ」ＥＥＰＲＯＭメモリが含まれる。強誘電性メモリデバイスおよび電池バックアップＣＭＯＳ ＲＡＭデバイスを含む低電力不揮発性メモリ技術もまた市場で入手可能である。本明細書の目的では、「不揮発性メモリ」という用語は、ＥＥＰＲＯＭの不揮発性メモリ、強誘電性メモリ、電池バックアップＣＭＯＳメモリ、および、主要なシステム電力が除去されてかなりの時間データを保持することが可能な他のメモリデバイスを含む。市販の多くのデジタルカメラは、圧縮された画像を格納するための取り外し可能な不揮発性メモリが設けられている。この取り外し可能な不揮発性メモリは、メモリスティック、コンパクトフラッシュ、スマートメディア、および他の形態などのモジュールであり得る。

米国特許第６，０５２，６９２号（‘６９２号特許）は、取り外し可能な不揮発性媒体上に、異なるファイル名接尾辞を有する２つの形態で静止画像を格納することが可能なカメラについて記載している。‘６９２号特許のカメラは、画像を圧縮されないファイルでまず媒体上に保存し、圧縮が完了すると、再び画像を圧縮ファイルで保存する。画像がいったん圧縮形態で保存されると、‘６９２号特許のカメラは、圧縮されていないファイルを削除する。万一、取り外し可能な不揮発性媒体が‘６９２号特許のカメラから取り外され、再び挿入される場合には、カメラは、取り外し可能な不揮発性媒体上で圧縮されていないファイル内の画像の圧縮を再開することができる。

通常、内蔵画像処理システムによって行われる画像処理は、画像の取り込み前に行われるオートフォーカス動作を含む。画像の取り込み後、内蔵画像処理システムは、カラー処理および画像圧縮を行う。デジタルカメラによる静止画像の画像圧縮は、大抵の場合、ＪＰＥＧ(Joint Picture Experts Group)基準に従って行われる。ＧＩＦ(Graphics Interchange Format)、ＴＩＦＦ(Tagged-Image-File-Format)、およびLempel-Ziv-Welch(LZW)-TIFFを含む他の圧縮基準およびファイル形式基準を用いてもよい。多くのデジタルカメラはまた、一連の画像をビデオとして取り込み、それらをＭＰＥＧ(Motion Picture Experts Group)ビデオ圧縮基準に従って圧縮することができる。繰り返して言うが、カメラによっては、ＡＶＩ(Audio-Video-Interleaved)形式を含む他のビデオ圧縮基準を用いてもよい。

ＪＰＥＧ基準は、いくつかの圧縮オプションを提供する。そのいくつかは、他よりも演算が少なくてよく、ウェーブレット圧縮などのいくつかは、かなりの演算を行ってより良好な圧縮を提供する。

ブレ補正、エッジ部の増強（エンハンスメント）、コントラストおよび輝度調整または増強（エンハンスメント）、ならびにカラー補正および増強（エンハンスメント）を含む、デジタルカメラの内蔵画像処理システムによってさらなる画像処理が行われ得ることが知られている。最新で高速の内蔵画像処理システムを用いたとしても、すべての画像処理には時間がかかる。高度な局所的なコントラストの増強（エンハンスメント）、ブレ補正およびエッジ部の増強（エンハンスメント）アルゴリズムには、１画像当たり数秒から数分かかり得る。すべての画像処理では、カメラの内蔵画像処理システムによりかなりの電力が消費され、高度な画像処理は、カメラの電池における実質的な消耗を表し得る。

たとえば、静止画像に対するブレ補正の方法には、高フレームレートでのいくつかの生画像の取り込みが必要である。高フレームレートは、各生画像におけるブレを最少限に抑えるために用いられる。しかし、高フレームレートでは、各生画像は、かなり露光不足であり得るため、画像の色は低下し、そのノイズは増加し得る。エッジ部検出は、各生画像において行われ得る。生フレームにおける対応領域が決定され、ワーピング関数が確立される。次に、対応領域は、位置合わせおよび平均化されて、長い露光の色および写真ノイズ質を有するとともに、短い露光のブレを有する補正画像が作成される。次に、補正画像は、圧縮されて格納されなければならない。

ブレ補正アルゴリズムでは、中間エッジ部検出画像、ワーピング関数、湾曲した一時画像、補正画像の潜在的に均一な部分は、通常、処理中にＲＡＭに格納されなければならない大きな中間プロダクトである。さらに、ブレ補正に必要なエッジ部検出、ワーピング、および画像平均化プロセスには、かなりの処理時間がかかり得る。

ＭＰＥＧビデオ圧縮基準は、いくつかの圧縮レベルを提供し、圧縮が高度であるほど、一般に、同様の画質を得るのにより多くの処理時間が必要となる。ビデオは、通常、フレームのシーケンスとして取り込まれ、各フレームは、圧縮前に、別個の静止画像である。ＭＰＥＧ法では、Ｉフレーム（すなわち、初期フレーム）は、ＪＰＥＧ静止画像の圧縮と同様に取り込まれて圧縮された全画像である。今日得られる多くのデジタルカメラは、ＩフレームのシーケンスとしてＭＰＥＧビデオを取り込むことができる。ＭＰＥＧビデオのＰフレーム（すなわち、予測フレーム）は、ビデオの現在のフレームと前のフレーム（通常は、Ｉフレーム）との差を決定することによって圧縮され、これらの違いは、符号化されて送信される。ＩおよびＰフレームのシーケンスとして圧縮されるビデオファイルは、通常、同様の画質のＩフレームのシーケンスとして圧縮されるビデオよりもかなり小さい。しかし、ＩフレームおよびＰフレームのシーケンスとしてのビデオの圧縮には、Ｉフレームだけのシーケンスの圧縮よりもかなり多くの画像処理を必要とする。

他のビデオ圧縮基準が存在し、全画像フレームおよび抽出画像フレームに対して異なる用語を用い得る。本明細書の目的では、Ｉフレームは、ビデオの他のフレームから部分的に抽出されていないビデオの任意のフレームである。Ｐフレームは、ビデオの他の任意の１つまたは複数のフレームに基づいて圧縮された任意のフレームである。本明細書の目的では、ＩフレームおよびＰフレームのシーケンスは、Ｉ、Ｐ、およびＢフレームのシーケンスとして圧縮されたＭＰＥＧビデオを含む。

高度な処理は、連続した画像の同様の部分を認識し、露光を調整し、画像をつなぎ合せてより大きな画像を形成することによって、モザイク写真を自動的に生成することを含み得る。モザイク写真の自動生成は、高解像度のパノラマ画像を生成する際に有用であり得る。

高度な処理はまた、露光過度および露光不足の画像などの異なる露光特性を有する画像を、画像センサおよびカメラのアナログ−デジタル変換器を用いて通常得られるよりもより大きなダイナミックレンジを有する単一画像に組み合わせることも含み得る。

本明細書の目的では、初期の取り込み、カラー処理、および画像の圧縮後に行われる画像処理は、高度な画像処理として知られている。高度な画像処理には、画像またはビデオをより高度に圧縮された形態またはよりポータブルな形態への再圧縮、ブレ補正、局所的なコントラストの増強（エンハンスメント）、自動モザイク写真生成、露光組み合わせ、または他の画像増強（エンハンスメント）が含まれ得る。

多くの最新のデジタルカメラは、１画像当たり４００万画素以上を取り込むことができ、市場の勢いは、デジタルカメラ画像センサの画素数の増加に向かっている。なぜなら、画質は、画素数が増加するにつれて向上し得るからである。画素数が高くなるほど、画像処理中および取り込まれた画像の格納中により多くの時間および電池の充電が消費される。

デジタルカメラは、通常、携帯可能で、軽量、かつ電池作動式デバイスとして設計されている。市場の勢いは、物理的に小さなカメラを重要視している。なぜなら小さなカメラはそれに応じて電池も小さいからである。

電池の容量によって、デジタルカメラの有用性が制限される場合が多いが、この理由は、電池の充電がいったん消耗すると、さらなる画像を取り込むことはできないからである。カメラのユーザが、使い切った電池のために画像を取り込むことが妨げられないように、電池の充電を確保することが所望される。

高負荷条件下で、アンペア時で測定される電池容量は、負荷に非常に依存することが知られている。電池が時間ＴだけＡの電流を維持することができる場合、１／２Ｔよりかなり少ない時間だけ、２Ａの電流を維持することが可能であり得る。この現象は、一部には、電池の有効な内部抵抗の結果であり、高負荷の下では、いくらかの電池エネルギーは、負荷内ではなく電池内で熱として放散する。電池放電対時間曲線は、電池の化学的性質およびサイズで著しく変化する。

様々な電池の化学的性質(chemistries)のための電池充電レベルモニター回路は当該技術分野で既知である。電池充電レベルモニター回路は、通常、タイマー、負荷電流モニタリング、および電池電圧測定の組み合わせを用いて、残りの電池充電のおよそのパーセンテージを決定する。

多くのカメラは、画像を取り外し可能な不揮発性メモリに格納する。万一、カメラが不揮発性メモリに書き込んでいる間に不揮発性メモリが除去されると、保存された画像は、不完全になるか、または損なわれ得る。

本発明は、画像処理に関連する中間データを格納するための不揮発性メモリを有するデジタルカメラを提供することを目的とする。

デジタルカメラは、圧縮された画像を格納するための取り外し可能な不揮発性メモリを有する。カメラは、高度な画像処理を行うことが可能であり、部分的に処理されたおよび／または高度な処理の途中結果を格納するための第２の取り外しできない不揮発性メモリを有する。

部分的に処理されたおよび／または途中結果は、電池の電力低下（low battery）を検出すると、定期的に、取り外しできない不揮発性メモリに保存される。電池が交換されるか、または外部電源に接続されると、何らかの条件下では、カメラの画像処理サブシステムは、高度な処理を再開し得る。高度な処理が再開されると、これらの保存された途中結果は、高度な処理の前に行われたいくつかのまたはすべての部分を繰り返すことを避けることによって、処理時間を短縮するために用いられる。

他の実施形態では、カメラは、圧縮画像を格納するために用いられる取り外し可能な不揮発性メモリに途中結果を格納することができる。

図１は、デジタルカメラのブロック図である。デジタルカメラ１００は、画像を取り込むためのレンズおよび画像センサ１０２アセンブリを有する。取り込まれた画像は、画像処理システム１０４に転送されて、圧縮およびカラー処理される。画像処理システム１０４は、中間および部分的に処理された画像の一時的な格納を含む一時的な格納のためにＲＡＭメモリ１０６を用いる。画像処理システムは、初期の圧縮、カラー処理、および高度な処理を画像に施すためのファームウェアを含む。特定の実施形態では、ファームウェアは、高解像度の静止画像および低解像度の動画をともに処理するためのルーチンを含む。画像処理システム１０４は、保存用のファームウェアを有し、圧縮された画像を取り外し可能な不揮発性メモリ１０８に保存し、画像をディスプレイ１０９に転送するためのファームウェアを有する。画像処理システム１０４の動作は、調整可能なクロック回路１０５によって駆動される。

ファームウェアは、プロセッサに関数を実施するように命令するための機械読出し可能コードである。ファームウェアは、通常、読出し専用または不揮発性メモリ内に設けられ、ソフトウェアは、通常、ランダムアクセスメモリ内に設けられる。ファームウェアは、プロセッサ集積回路またはプロセッサ集積回路に接続された別個の集積回路上のメモリ内に設けられてもよい。

カメラ１００はまた、管理プロセッサ１１０を有する。管理プロセッサ１１０は、電池の状態および電圧情報を電池１１２から受け取る。電池１１２には、電池充電残存モニター１１３が設けられている。充電残存モニター１１３は、電池に内蔵部分を有していてもよく、カメラの取り外しできない部分を含んでいてもよい。充電残存モニター１１３のタイマー機能は、管理プロセッサ１１０内で実施され得る。管理プロセッサ１１０はまた、画像をホストコンピュータに転送するためのホストインターフェース１１４を制御し、カメラ構成情報を格納するための不揮発性メモリ１１６を有し、カメラボタン１１８をモニターする。管理プロセッサ１１０はまた、画像処理システム１０４への電力を制御する。

本カメラの実施形態では、内部不揮発性メモリ１２０は、中間データおよび部分的に処理された画像およびビデオを電池１１２の電力低下の貯蔵容量の条件下で格納するために設けられている。不揮発性メモリ１２０はまた、高度な処理が、新しい画像の取り込みなどの他の理由のために一時停止する場合に、中間データおよび部分的に処理された画像を格納するために用いられる。

カメラ１００はまた、外部ＡＣ電力アダプター（図示せず）を接続するための外部電源コネクタ１２４、および電池１１２を充電するための電池充電回路１２６を有する。

図１Ａは、「上」ボタン１５０、「下」ボタン１５２、「シャッター」ボタン１５４、および「メニュー」ボタン１５６を示す、図１のボタン１１８の詳細である。１つまたは複数のさらなるボタン１５８が存在してもよい。

図２は、ユーザが画像の取り込みを引き起こすとき、カメラ１００によって行われる例示的なアクションを示すフローチャートである。レンズおよび画像センサ１０２が画像を取り込んだ（２０２）後、画像は、内蔵画像処理システム１０４に転送されて、カラー処理２０４される。カラー処理２０４は、近傍の画素読出しを用いて、各画素のカラー値を決定する。なぜなら、大抵の画像センサ１０２は、各画素位置において別個の赤、緑、および青の感知素子をもたないからである。

カラー処理（２０４）の後、初期の画像圧縮（２０６）が行われ、画像は、取り外し可能な不揮発性メモリ１０８に保存される（２０８）。内蔵画像処理システム１０４は、カラー処理（２０４）、初期圧縮（２０６）、または他の画像処理動作を行いながら、ＲＡＭメモリ１０６を用い得る。

管理プロセッサ１１０の不揮発性メモリ１１６におけるフラグは、高度な画像処理が可能かどうか（２１０）を決定するためにチェックされる。高度な処理が可能である場合（２１０）には、電池充電は、充電が、管理プロセッサ１１０の不揮発性メモリ１１６における位置によって示される貯蔵充電レベルよりも大きいかどうか（２１２）を決定するためにチェックされる。電池充電が貯蔵充電レベルよりも小さい場合（２１２）には、フラグは、ユーザが電池の貯蔵容量を維持することを望むかどうかを決定するために、管理プロセッサ１１０の不揮発性メモリ１１６においてチェックされる２１４。この電池貯蔵充電位置およびフラグは、電池充電が低い間にさらなる画像を取り込むための電池充電を確保するために用いられる。他の実施形態では、貯蔵容量レベルは、電池の貯蔵容量が必要でないとき、最小レベルに設定され、本実施形態では、貯蔵容量フラグをもつ必要はない。

最小レベルは、カメラが画像を取り込み、初期圧縮し、画像全体を不揮発性メモリに確実に書き込む場合の最小の電池充電レベルとして決定される。電池充電が最小レベル未満に低下すると、カメラは、電池が再充電されるか、交換されるか、または外部電源と接続されるまでさらに写真を「撮影する」ことはできない。

貯蔵容量レベルは、電池充電が最小レベル未満に低下する前に、ユーザが、画像を取り込み、初期圧縮を行い、いくつかのさらなる画像を保存するように選択される。

高度な処理が可能である（２１０）が、電池充電が低い場合（２１２）、フラグは、取り外し可能な不揮発性メモリ１０８において後の高度な処理を行うために、初期圧縮された画像に印をつけて設定される（２１６）。

電池充電が貯蔵容量レベルを上回る（２１２）か、貯蔵充電が必要でない場合（２１４）には、高度な画像処理が開始される（２１８）。高度な処理の間、定期的に、電池の状態が再度チェックされ、充電が最小充電レベルを上回っているかどうか（２２０）を決定する。この最小充電レベルは、カメラに画像を保存（途中結果の保存（２２２）を含む）させ、高度な処理の再開を必要とする画像にフラグを付け（２２４）、電池充電が消耗したときにシャットダウンする（２２５）ように選択される。また、高度な処理の間、定期的に、電池が貯蔵充電レベルを上回っているかどうか（２２６）を決定するために電池の状態がチェックされ、ユーザが貯蔵充電を維持することを望んでいるかどうかを決定するためにフラグがチェックされる。充電が貯蔵容量レベル未満に低下し、貯蔵容量が望まれる場合には、途中結果が保存され（２２２）、画像は、高度な処理の再開を必要としているものとしてフラグが付けられ（２２４）、画像処理システムは、電力を保存するためにシャットダウンされる（２２５）。

中間および部分的に処理された画像などの途中結果は、取り外し可能な不揮発性メモリ１０８上のすべての関連する初期に保存された画像を見つけ出すことができるようにする画像識別情報とともに保存される（２２２）。本明細書で用いられている「途中結果」という用語は高度な処理が開始された後に保存される場合、途中結果を保存する前に完了した段階などの高度な処理の少なくともいくつかの段階が、高度な処理を再開する際に繰り返される必要がないように、高度な処理を再開させ得る情報を意味する。途中結果内の情報は、実行される特定の高度な処理アルゴリズム、および途中結果が保存された高度な処理の段階に依存することが予想される。一実施形態では、途中結果は、部分的に処理された画像を含む。他の実施形態では、途中結果は、ＲＡＭメモリ１０６の各部分の画像を含む。

高度な処理を完了した（２３０）後、カメラ１００は、処理された画像を取り外し可能な不揮発性メモリ１０８に保存し（２３２）、初期に圧縮された画像、すべての関連する中間画像、および一時データを、内部不揮発性メモリ１２０から削除する（２３４）。

特定の実施形態では、初期に圧縮された２０６画像が格納された（２０８）後であって、高度な処理（２１８）が開始される前に、調整可能なクロック回路１０５は、初期の圧縮（２０６）に用いられる速いクロックから高度な処理（２１８、２３０）に用いられる遅いクロックに調整される（２３６）。電池１１２から引き出される電流は、クロックレートが遅いほど少なく、また、大抵の電池は、高電流より低電流において全体として多くのエネルギーを提供するため、遅いクロックレートの使用によって、電池充電の寿命は長くなる。他の実施形態では、調整可能なクロック回路１０５は、ユーザによって設定される高度な処理のクロック値に調整され（２３６）、管理プロセッサ１１０の不揮発性メモリ１１６に格納される。

他の実施形態では、調整可能なクロック回路１０５は、カメラが電池の電力で動作している場合にのみ、ユーザによって設定された値に調整され、高度な処理２１８、２３０がなされる。本実施形態では、万一、電力コネクタ１２４が外部電源に接続されている場合、電池充電器１２６は、電池１１２を充電し、調整可能なクロック回路１０５は、速いクロックに設定され、高度な処理（２１８、２３０）がなされる。

ある実施形態では、高度な処理（２１８、２３０）は、不揮発性メモリ１１６における高度な処理型レジスターに従って選択される。高度な処理に対して得られる選択としては、初期の圧縮（２０６）に用いられるよりもスペース効率がよいが、コンピュータ集約型(computationally intensive)アルゴリズムを用いた画像の再圧縮、他の形式への再圧縮、局所的なコントラストの増強（エンハンスメント）、本明細書の背景セクションで記載されるブレ補正、自動モザイク写真作成、および露光過度および露光不足の画像を組み合わせて、ダイナミックレンジが拡張された画像を作成することが挙げられる。

他の実施形態では、さらなるタイプの高度な処理が可能であると予想される。

他の実施形態では、高度な処理（２１８、２３０）には、取り外し可能な不揮発性メモリ１０８上でＩフレームとして予め保存されたビデオを読み出すこと、Ｉ、ＰおよびおそらくはＢフレームを用いるアルゴリズムでビデオを再圧縮すること、および再圧縮されたビデオを不揮発性メモリ１０８に書き込むことが含まれる。

カメラが、その電池１１２が交換されたことを検出するか（３０２）、または外部電源が外部電源コネクタ１２４に接続されたことを検出すると（３０４）、カメラは、図３に示されるステップを含むファームウェアを実行する。カメラは、不揮発性メモリ１２０内に高度な処理の途中結果が存在するかどうかをチェックする（３６０）。途中結果が不揮発性メモリ１２０内に見出されない場合（３０７）には、それに伴う画像識別情報が、不揮発性メモリ１２０から読み出され、取り外し可能な不揮発性メモリ１０８内に、関連の初期に圧縮された画像を見つける（３０８）ために用いられる。関連の初期に圧縮された画像が見出される場合（３１０）、内蔵画像処理システム１０４は、画像の高度な処理を再開する（３１２）。

高度な処理が再開されると（３１２）、電池１１２の充電および外部電源接続１２４の状態は、図２を参照しながら前述したように、定期的にモニターされる（３１４）。万一、外部電源が接続されていないときに、電池１１２の充電が最小レベル未満に低下するか、または貯蔵容量が可能で、電池の充電が貯蔵容量レベル未満に低下する場合、途中結果が、保存され（３１６）、高度な処理は再び一時停止される。

高度な処理（３１２）が終了すると（３１８）、高度な処理の結果は、取り外し可能な不揮発性メモリ１０８に保存され、途中結果は削除される。

途中結果に対応する初期に圧縮された画像が見つからない場合（３１０）には、取り外し可能な不揮発性メモリ１０８が変更されたと推定される。その画像に対応する途中結果は、その結果が占有するスペースが、新しい途中結果に対して必要になるまで保持され（３２０）、元の取り外し可能な不揮発性メモリ１０８が再挿入される場合に、このような高度な処理が再開され得る。

途中結果が見つからなかった場合（３０７）、対応する初期に圧縮された画像が見つからなかった場合（３１０）、または画像の高度な処理が終了した場合（３１８）、画像処理システム１０４は、高度な処理に対してフラグを付けられた画像について、取り外し可能な不揮発性メモリ１０８を調べる（３２２）。このような画像が見つからない場合には、高度な処理が開始される（３２４）。

他の実施形態では、途中結果は、内部不揮発性メモリ１２０の代わりに、取り外し可能な不揮発性メモリ１０８に保存される。本実施形態では、途中結果は、初期に圧縮され、完全に高度処理がなされた画像が格納される、取り外し可能な不揮発性メモリ１０８上のファイルシステムのディレクトリの途中結果サブディレクトリに保存される。他の実施形態では、途中結果サブディレクトリは、隠れディレクトリである。

取り外し可能な媒体１０８は、以下に開示される警告にもかかわらず、ユーザによっていつでも除去され得る。

電池を接続した際に高度な処理を再開することに関して説明したのと同様のシーケンスは、取り外し可能な不揮発性メモリ１０８の再挿入をカメラが検出した（３２６）際にも呼び出される。不揮発性メモリ１０８が再挿入されると（３２６）、現在進行中の高度な処理は一時停止され（３２８）、途中結果は、上記のように不揮発性メモリ内に保存される。次に、カメラ１００は、不揮発性メモリに予め書き込まれた部分的に処理された、または中間画像をチェックし（３０６）、いくつか見出される場合（３０７）には、カメラは、取り外し可能な不揮発性メモリ１０８内の対応する初期に圧縮された画像を見つけ出す（３０８）。対応する初期に圧縮された画像を有する途中結果が見つかった場合（３１０）には、これらの画像の高度な処理が再開される（３１２）。同様に、カメラは、新しい画像の初期の圧縮が完了した後、「シャッター」ボタンを押下することにより高度な処理が一時停止された画像の高度な処理を再開し得る。

ブレ補正などの高度な処理アルゴリズムのいくつかは、初期に圧縮された２０６画像に保存されている（２０８）データよりも多くのデータを必要とし得る。これらのアルゴリズムは、元の画像で取り込まれた（２０２）データなどの生データまたはさらなるデータを必要とし得る。これらの高度な処理のアルゴリズムが用いられると、必要な生の画像データが保存され（２４０）、途中結果の一部として本明細書に記載されるように処理される。

図２に関連して図４に示される他の実施形態では、高度な処理は、初期の画像のユーザによる承認により条件付けされる。本実施形態では、上記のように、画像が取り込まれ（２０２）、色が処理され（２０４）、画像が初期圧縮され（２０６）、保存される（２０８）。取り込まれた画像は、ディスプレイ１０９に表示される。高度な処理に必要な生データまたはさらなるデータは、カメラが、時間切れ、「シャッター」ボタンの押下、または「モード」ボタンの押下により、取り込まれた画像の高度な処理が所望されることを示すのを待っている間、数秒間、ＲＡＭメモリ１０６内に保持される（４０２）。高度な処理が画像に対して示される場合（４０６）、生データまたはさらなるデータは、上記のように保存され（４０８）、画像は高度な処理を必要とするものとしてマーク付けされ、電池充電が、貯蔵容量レベルを上回る場合（４１４）、高度な処理が開始される（４１６）。高度な処理が画像に対して示されなくなった場合（４０６）、生データまたはさらなるデータは、ＲＡＭ（１０６）から除去される（４１０）。ボタン１１８のうちの「シャッター」ボタンが押下された場合（４１２）、カメラは、命令されるように代替画像を取り込む（２０２）。時間切れになると、生データまたはさらなるデータは除去され、ディスプレイ１０９は、電源を落とされて電力を保存する。ユーザが承認した画像のみに高度な処理を行うことにより、電池の充電が保存されることが予想される。

本カメラは、ディスプレイ１０９およびボタン１１８を用いて管理プロセッサ１１０上で動作するファームウェアで実施されるメニューシステムを有する。図５は、このメニューシステムにおける例示的なサブメニューの動作５００を示し、表示されるメニューは、図９に示される。このサブメニューは、高レベルメニューからの貯蔵容量レベルサブメニューの「メニュー」ボタンを介して選択５０２によって起動される。サブメニューがいったん起動されると、貯蔵容量レベルオプションを不能にすること（９０２）を含む、貯蔵容量レベル選択のリスト（図９）が表示される。リストは、貯蔵容量レベル不能フラグおよび貯蔵容量レベルレジスタの現在の状態を示す強調されたエントリーを有する。「上」１５０および「下」１５２ボタンは、ディスプレイ１０９上でユーザ選択のエントリーに強調されたエントリーを移動させる。ボタン１１８のうちの「メニュー」ボタン１５６は、選択された貯蔵容量レベルフラグおよび管理不揮発性メモリ１１６内の貯蔵容量レベルオプションを起動させる。強調されたエントリーが「不能にされた」貯蔵容量レベル以外の貯蔵容量レベルを特定している間にボタン１１８のうちの「メニュー」ボタンが押下される場合（５０６）、貯蔵容量レベルフラグは、可能にされ、適切な貯蔵容量レベルが設定される（５０８）。貯蔵容量レベル変数は、所望のレベルに設定される（５１０）。強調されたオプションが「不能にされている」間に「メニュー」ボタンが押下される場合（５０６）、貯蔵容量レベルフラグは不能にされ、管理不揮発性メモリ１１６内の貯蔵容量レベル変数は、最小電池レベルと等しくなるように設定される（５１２）。特定の実施形態では、貯蔵容量レベルオプションは、「不能にされた」（９０２）だけでなく、７５％（９０４）、５０％（９０６）、２５％（９０８）、１０％（９１０）を含む。「戻り」オプション（９１２）は、予め存在する貯蔵容量レベルフラグおよび貯蔵容量レベル変数内容に変更がなされないことを示す。

図１０に示される同様のメニューは、図２を参照しながら前述した調整クロックレートステップ２３６において用いられる管理不揮発性メモリ１１６において、クロックレート変数を設定するために用いられる。メニューは、「速い処理」（１００２）オプションを含み、これが選択されると、クロックレートは、高度な処理のために低減されない。メニューは、「電池の寿命を延ばす」オプションを含み、これは、中間クロックレートを選択して、電池電力を保存する。メニューはまた、「特別に電池寿命を延ばす」オプションを含み、これは、高度な処理のために遅いクロックを選択する。

高度な処理が進行している間（３１４、２１８、または２３０）、カメラは、ボタン１１８のうちの「シャッター」ボタンの処理に応答する。万一、「シャッター」ボタンが押下されると、カメラは、不揮発性メモリ１２０内の途中結果として、高度な処理の現在の状態を保存する。途中結果が、取り外し可能な不揮発性メモリ１０８に保存される他の実施形態では、新しい途中結果は、取り外し可能な不揮発性メモリ１０８に保存される。次に、カメラは、新しい画像を取り込む（２０２）。

図１１に示され、図６のフローチャート６００に従って動作する他のサブメニューは、高度な処理を可能または不能にし、適切な高度な処理アルゴリズムを選択するために用いられる。このメニューは、高度なレベルメニューが表示されている間、「メニュー」ボタンを用いて起動される（６０２）。起動されると、メニュー１１０２が表示される。次に、上記で図２を参照しながらチェックされた高度な処理フラグの現在の状態（２１０）は、高度な処理の可能オプション１１０４または高度な処理の不能オプション１１０６を強調することによって表示される。次に、「上」および「下」ボタンは、強調されたオプションを移動させ、可能オプション１１０４、不能オプション１１０６を選択するか、または処理タイプ１１０８オプションを設定するための強調されたオプションまで移動する。不能オプション１１０６が強調されている間に「メニュー」ボタン６０６を押下すると、高度な処理フラグは不能にされた状態で保存される（６０８）。可能オプション１１０４が強調されている間に「メニュー」ボタン６０６を押下すると、高度な処理フラグは、可能状態で保存される（６１０）。タイプオプション１１０８が設定されている間に「メニュー」ボタンを押下すると、図１２に示されるように選択メニュー１２０２に入力され、それによって、ユーザは、画像処理システム１０４のファームウェアによって支持される高度な処理タイプのリストから望まれる高度な処理のタイプを選択し得る（６１２）。高度な処理のタイプの選択６１２は、高度な処理が不能にされているときに許可され、この選択は、図４を参照しながら説明したように、条件付きの高度な処理で用いられる。他の実施形態では、高度な処理タイプの設定は、高度に処理された画像を保存するために、設定可能なタイプの高度な処理および設定可能な形式をともに含み、これにより、ＴＩＦＦなどの圧縮されていないファイルのタイプを有する局所的なコントラストの増強（エンハンスメント）などの高度な処理の動作が可能になる。

高度な処理は、実質的な時間を必要とし得る。この時間内に、ユーザは取り外し可能な不揮発性メモリ１０８を変更したいと思うかも知れない。高度な処理中には、内蔵画像処理システム１０４は、途中結果もしくは部分的に処理された画像、または取り外し可能な不揮発性メモリ１０８上に保存される必要があり得る完了した処理画像を有し得る。内蔵画像処理システム１０４が取り外し可能な不揮発性メモリ１０８に書込みをしている間にユーザにそのメモリ１０８を変更させないようにするために、カメラ１００には、信号発光ダイオード（ＬＥＤ）１３０が設けられている。これらの信号ＬＥＤ１３０の１つは、オレンジＬＥＤである。カメラ１００が高度な処理を行っている間、ユーザは、図７に示される方法７００を介して書込み中の取り外し可能な不揮発性メモリ１０８を変更することを避けるように合図される。

カメラが高度な処理を行っている間、オレンジＬＥＤは、通常、１秒に１度等の遅いレート７０２で点滅する。内蔵画像処理システム１０４は、取り外し可能な不揮発性メモリ１０８の次の書込みまでの遅れ時間を定期的に見積る（７０４）。見積られた時間の遅れが、たとえば、４秒未満である場合（７０６）、ＬＥＤの点滅レートは、増加して、１秒に２「点滅」などの中間レートで点滅する（７０８）。見積られた時間の遅れが約２秒未満である場合（７１０）、ＬＥＤ点滅レートは、増加して、たとえば、１秒に４「点滅」の高いレートで点滅する（７１２）。ＬＥＤは、取り外し可能な不揮発性メモリ１０８の書込み中、定常オン（７１４）に設定される。したがって、ＬＥＤをカメラにより用いて、不揮発性メモリ１０８に書込みをする準備ができていること、または書込み中であることをユーザに示すようになっている。

他の実施形態では、上記の発光ダイオードの代わりに、他の発光デバイスを用いてもよい。たとえば、白熱電球は、他の実施形態で用いられ得る。さらに他の実施形態では、液晶ディスプレイ上の点滅アイコンなどの他の視覚インジケータが用いられ得る。

点滅ＬＥＤはまた、不揮発性メモリへの書込み中に電池を取り外さないようにユーザに知らせるようにも作用する。この理由は、保存されたデータが破壊される可能性があるからである。

ある実施形態では、途中結果は、電池の電力低下が検出されるときだけでなく、定期的に、不揮発性メモリに保存される。万一、ユーザが、高度な処理の進行中に、電池を取り外すことによって高度な処理を乱す場合には、保存されたデータにより、電池交換または外部電源への接続によって高度な処理を再開されるようになっている。

他のサブメニューは、高度な処理の状態とともに取り込まれた画像のリストを表示し、ユーザに、このリストに対して画像を加えたりまたは削除したりさせるために用いられる。このサブメニューは、図８におけるフローチャート８００に従って動作する。第１のメニュー（図示せず）は、より高いレベルのメニューがディスプレイ１０９上に表示されている間に、「メニュー」ボタンを押下することによって起動される。「すべての画像」オプションおよび「待機画像」オプションを含む選択のリストが表示される（８０２）。「上」１５０および「下」１５２ボタンにより、ユーザは、特定のオプションを選択でき（８０４）、選択されたオプションは、そのオプションを強調することによって示される。「すべての画像」または「待機画像」のオプションが選択され、「メニュー」ボタンが押下されると（８０６）、適切なタイプの画像名のリスト１３０２は、図１３に示されるように表示される（８０８）。高度な処理が完了した各画像には、「Ｄ」１３０４などのアイコンでフラグが付けられる。高度な処理のために選択されているが、処理が完了していないこれらの画像には、「Ａ」１３０６などの、高度な処理が必要とされるアイコンで、フラグが付けられる（８１０）。「上」１５０および「下」１５２ボタンにより、ユーザは、画像名１３０８などの画像名を選択することができ（８１２）、画像名が選択され、「メニュー」ボタンが再び押下されると（８１４）、オプションのリストは、図１４および図１５に示されるように表示される（８１６）。

表示されたオプション８１６の中には、「ビュー」オプション１４０４および「削除」オプション１４０６があり、画像が高度な処理のために選択されると、「優先」オプション１４０８および「高度な処理のキャンセル」オプション１４１０が図１４に示されるように表示される。ビューオプションにより、ユーザは、ディスプレイ１０９上の選択された画像を見ることができる。「削除」オプション１４０６により、ユーザは、画像を削除し、高度な処理をキャンセルし、それによって、不揮発性メモリ１０８におけるスペースを再利用することができる。「優先順序付け」オプション１４０８により、ユーザは、高度な処理のために、画像の列（queue）に画像を再配置することができ、これが次に処理される画像となる。「高度な処理のキャンセル」オプション１４１０により、ユーザは、選択された画像の高度な処理をキャンセルできる。

画像が、高度な処理のために選択され、選択された画像の高度な処理のために十分なデータが残存している場合、「高度な処理の選択」オプション１４１２は、図１５に示されるように、オプションのリストに含まれる。

ここでもまた、「上」１５０および「下」１５２ボタンは、上記のオプションの１つを選択するために用いられる。ここでも同様に、「メニュー」ボタン８２０を押下することによって、選択されたオプションが実行され（８２２）、画像名のリストが再び表示される（８０８）。

カメラ１００の実施形態によってもまた、ユーザは、取り外し可能な不揮発性メモリ１０８へ途中結果をカメラに保存させ、高度な処理を後に再開することをできるようにする。これは、カメラが高度な処理を行っている間に、「メニュー」ボタンをユーザが押下することによって成し遂げられる。

電池充電のモニタリングは、電池の状態を定期的に調べること、および電池の電力低下の条件下で発生する高度な処理の一時停止に関して説明したが、他の実施形態では、電池の状態は連続してモニターされることも考えられる。この実施形態では、電池の電力低下は、電池モニター１１３によって検出される。電池の電力低下を検出すると、画像処理システムに対して「電池の電力低下」による中断が起こる。「電池の電力低下」による中断を受けると、画像処理システムは、途中結果を含む高度な処理を再開するのに必要なすべての情報が不揮発性メモリ１０８または１２０に保存されることを確実にする。この情報が保存されると、内蔵画像処理システムは、シャットダウンされ、残りの電池充電が保存される。

上記では、特定のＬＥＤ色に言及した。ＬＥＤ色は、本開示および特許請求の範囲の精神内にある限り、任意に交換可能であり、他の色を代用してもよい。また、音声信号を含む他の形態の警告信号を特定のＬＥＤの代わりに用いてもよいことが考えられる。

不揮発性メモリに書込みを実施しようとして、ユーザが取り外し可能な不揮発性メモリをカメラから取り出すべきではないときを示すために、液晶ディスプレイ上のアイコンを用いてもよいことが考えられる。本明細書における視覚インジケータという用語には、このようなアイコンだけでなく、ＬＥＤが含まれる。

以上本発明の各実施例について説明したが、実施例の理解を容易にするために、実施例ごとの要約を以下に列挙する。
〔１〕 デジタルカメラ（１００）であって、
画像センサ（１０２）と、
前記画像センサ（１０２）に接続され、前記画像センサ（１０２）から画像を受け取り、高度な画像処理の少なくとも１つの形態を実施し、高度に処理された画像を生成するためのファームウェアを有する画像処理サブシステム（１０４）と、
第１の不揮発性メモリ（１０８、１２０）とを備え、
前記画像処理サブシステム（１０４）は、前記第１の不揮発性メモリ（１０８、１２０）に接続され、前記高度な処理に関連する途中結果を前記第１の不揮発性メモリ（１０８、１２０）に保存し（２２２）、前記第１の不揮発性メモリに格納された前記途中結果を用いて、前記高度な処理を一時停止し、かつ前記高度な処理を再開する（３１２）
ファームウェアを有するデジタルカメラ。
〔２〕 前記高度な画像処理（１２０２）の少なくとも１つの形態は、スペース効率圧縮アルゴリズム、ブレ補正、局所的なコントラストの向上、自動モザイク写真作成、ならびに露光過度および露光不足の画像の組み合わせからなる群から選択される〔１〕に記載のデジタルカメラ。
〔３〕 前記途中結果は、前記第１の不揮発性メモリ（１０８、１２０）に保存され（２２２）、前記高度な処理は、電池（１１２）の電力低下を検出した（２２６）際に一時停止される〔２〕に記載のデジタルカメラ。
〔４〕 前記第１の不揮発性メモリは、取り外しできない不揮発性メモリ（１２０）であり、前記高度に処理された画像を格納するための取り外し可能な不揮発性メモリ（１０８）をさらに備える〔１〕に記載のデジタルカメラ。
〔５〕 前記途中結果は、前記画像のそれぞれの前記高度な処理の間に、定期的に前記不揮発性メモリ（１２０）内に保存される〔４〕に記載のデジタルカメラ。
〔６〕 前記途中結果は、前記不揮発性メモリに保存され、前記高度な処理は、電池（１１２）の電力低下を検出した（２２６）際に一時停止される〔４〕に記載のデジタルカメラ。
〔７〕 前記高度な処理に関連する前記途中結果が格納される前記第１の不揮発性メモリ１０８は、取り外し可能な不揮発性メモリであり、該カメラは、前記第１の不揮発性メモリ（１０８）内に高度に処理された画像を格納するためのファームウェアを有する〔１〕に記載のデジタルカメラ。
〔８〕 前記画像処理サブシステム（１０４）は、外部電源が該カメラに接続されたことを検出すると（３０４）前記高度な処理を再開する（３１２）ためのファームウェアを有し、前記途中結果は、前記不揮発性メモリに保存され、前記高度な処理は、電池（１１２）の電力低下を検出すると（２２６）一時停止される〔７〕に記載のデジタルカメラ。
〔９〕 デジタルカメラ（１００）において高度な画像処理を一時停止および再開するための方法であって、
シャッターボタンの押下および電池（１１２）の電力低下からなる群から選択される高度な画像処理の一時停止を必要とする条件を検出するステップ（２２６）と、
第１の不揮発性メモリ（１０８、１２０）に途中結果を格納するステップ（２２２）と、
シャッターボタンの押下で取り込まれた画像の処理の完了、外部電源への接続（３０４）、および充電された電池の挿入（３０２）からなる群から選択される高度な処理の再開を許容する条件を検出するステップ（３０４、３０２）と、
前記第１の不揮発性メモリ（１０８、１２０）に格納された前記途中結果を用いて高度な処理を再開するステップ（３１２）とを含み、
前記高度な画像処理は、スペース効率圧縮アルゴリズム、ブレ補正、局所的なコントラストの向上、自動モザイク写真作成、ならびに露光過度および露光不足の画像の組み合わせからなる群から選択される画像処理である方法。
〔１０〕 前記第１の不揮発性メモリ（１０８、１２０）は、取り外しできない不揮発性メモリ（１２０）であり、該カメラは、高度に処理された画像を格納するための第２の取り外し可能な不揮発性メモリ（１０８）を含む〔９〕に記載の方法。

上記は、特定の実施形態を参照しながら示され、記載されたが、形態および詳細の他の様々な変更が、本発明の精神から逸脱せずに行われ得ることは当業者に理解される。本明細書に開示され、特許請求の範囲に含まれるより広い概念から逸脱することなく、上記の記載を異なる実施形態に適応する際に様々な変更がなされ得ることを理解されたい。

デジタルカメラのブロック図である。 図１のボタン１１８の詳細を示す図である。 デジタルカメラにおける電池充電を確保するための方法の例示的なフローチャートである。 外部電源に接続または電池交換時にデジタルカメラによって行われたアクションの例示的なフローチャートである。 高度な処理が、ユーザによる画像の許可でどのように条件づけられ得るかを例示する画像処理の一部の例示的なフローチャートである。 電池貯蔵レベルが、どのようにして選択され、ユーザによって設定され得るかを例示する例示的なフローチャートである。 高度な処理がどのように可能であり、特定の高度な処理の特性が選択されるのかを例示する簡略化されたフローチャートの例を示す図である。 処理状態ＬＥＤの動作を例示する簡略化されたフローチャートの例を示す図である。 高度な処理が待ち状態になっている画像のリストを表示し、このリスト内の画像に再度優先順位をつけるためのメニューシステムの動作を例示する簡略化されたフローチャートの例を示す図である。 高度な処理に対する貯蔵容量レベルをユーザに選択させるメニュー画面の例を示す図である。 高度な処理に対する低減されたクロックレートをユーザに選択させるメニュー画面の例を示す図である。 ユーザに画像の高度な処理を可能または不能にさせるメニュー画面の例を示す図である。 画像上で実施される高度な処理のタイプをユーザに選択させるメニュー画面の例を示す図である。 ユーザに画像を選択させ、画像の高度な処理の状態をチェックさせるメニュー画面の例を示す図である。 高度な処理が待ち状態にある画像の高度な処理をユーザに削除またはキャンセルさせるか、または優先順位を付けさせるメニュー画面の例を示す図である。 高度な処理が予め要求されていない画像の高度な処理をユーザに削除または要求させるメニュー画面の例を示す図である。

符号の説明

１００ デジタルカメラ
１０２ 画像センサ
１０４ 画像処理サブシステム
１０８，１２０ 第１の不揮発性メモリ
１１２ 電池

Claims (10)

1. 画像センサと、
   前記画像センサに接続され、前記画像センサから画像を受け取り、高度な画像処理の少なくとも１つの形態を実施し、高度に処理された画像を生成するためのファームウェアを有する画像処理サブシステムと、
   第１の不揮発性メモリとを備え、
   前記画像処理サブシステムは、前記第１の不揮発性メモリに接続され、前記高度な処理に関連する途中結果を前記第１の不揮発性メモリに保存し、前記第１の不揮発性メモリに格納された前記途中結果を用いて、前記高度な処理を一時停止し、かつ前記高度な処理を再開する
   ファームウェアを有するデジタルカメラ。
2. 前記高度な画像処理の少なくとも１つの形態は、スペース効率圧縮アルゴリズム、ブレ補正、局所的なコントラストの向上、自動モザイク写真作成、ならびに露光過度および露光不足の画像の組み合わせからなる群から選択される請求項１に記載のデジタルカメラ。
3. 前記途中結果は、前記第１の不揮発性メモリに保存され、前記高度な処理は、電池の電力低下を検出した際に一時停止される請求項２に記載のデジタルカメラ。
4. 前記第１の不揮発性メモリは、取り外しできない不揮発性メモリであり、前記高度に処理された画像を格納するための取り外し可能な不揮発性メモリをさらに備える請求項１に記載のデジタルカメラ。
5. 前記途中結果は、前記画像のそれぞれの前記高度な処理の間に、定期的に前記不揮発性メモリ内に保存される請求項４に記載のデジタルカメラ。
6. 前記途中結果は、前記不揮発性メモリに保存され、前記高度な処理は、電池の電力低下を検出した際に一時停止される請求項４に記載のデジタルカメラ。
7. 前記高度な処理に関連する前記途中結果が格納される前記第１の不揮発性メモリは、取り外し可能な不揮発性メモリであり、該カメラは、前記第１の不揮発性メモリ内に高度に処理された画像を格納するためのファームウェアを有する請求項１に記載のデジタルカメラ。
8. 前記画像処理サブシステムは、外部電源が該カメラに接続されたことを検出すると前記高度な処理を再開するためのファームウェアを有し、前記途中結果は、前記不揮発性メモリに保存され、前記高度な処理は、電池の電力低下を検出すると一時停止される請求項７に記載のデジタルカメラ。
9. デジタルカメラにおいて高度な画像処理を一時停止および再開するための方法であって、
   シャッターボタンの押下および電池の電力低下からなる群から選択される高度な画像処理の一時停止を必要とする条件を検出するステップと、
   第１の不揮発性メモリに途中結果を格納するステップと、
   シャッターボタンの押下で取り込まれた画像の処理の完了、外部電源への接続、および充電された電池の挿入からなる群から選択される高度な処理の再開を許容する条件を検出するステップと、
   前記第１の不揮発性メモリに格納された前記途中結果を用いて高度な処理を再開するステップとを含み、
   前記高度な画像処理は、スペース効率圧縮アルゴリズム、ブレ補正、局所的なコントラストの向上、自動モザイク写真作成、ならびに露光過度および露光不足の画像の組み合わせからなる群から選択される画像処理である方法。
10. 前記第１の不揮発性メモリは、取り外しできない不揮発性メモリであり、該カメラは、高度に処理された画像を格納するための第２の取り外し可能な不揮発性メモリを含む請求項９に記載の方法。

Images