JP2005192251A - 着脱式ソフトウェア改良型記憶装置を用いる電子撮像装置におけるイメージ処理方法 - Google Patents

Abstract

【課題】着脱式メモリカードにより動作改良が可能な電子撮像装置における効率の良いイメージ処理の方法を提供する。
【解決手段】（ａ）ユーザ入力に対応してイメージを取り込み、ディジタル化するステップと、（ｂ）前記取り込まれたイメージを複数のイメージを記憶可能なイメージバッファに記憶するステップと、（ｃ）プログラマブルプロセッサを使って前記記憶したイメージの処理を開始するステップと、（ｄ）処理ステップ（ｃ）の間に別のユーザ入力があれば、前記ユーザ入力に対応して記憶したイメージの処理を中断し、２番目のイメージのためにステップ（ａ），（ｂ）を繰り返すステップと、（ｅ）ステップ（ｄ）の終了後、前記最初に記憶したイメージの処理を続けるステップと、（ｆ）前記処理されたイメージを前記記憶装置に記憶し、イメージバッファに記憶した総てのイメージが処理されるまでステップ（ｃ）を続けるステップと、を含む。
【選択図】図６

Description

本発明は、電子撮像の分野に関し、特に、イメージを記憶する着脱式記憶装置を用いる電子スチルカメラを用いて電子撮像する分野に関する。

従来の技術で理解されているように、ディジタル電子スチルカメラは、イメージを取込む電子センサと、例えば、周囲光の関数として取込まれたイメージ信号を修正し数値的にその信号を表現する信号処理と、数値的イメージデータを保存するある種の記憶装置と、を利用する装置である。一般に、イメージ記憶装置は、イメージデータ用のレセプタクルにすぎない。

さらに、集積回路メモリカードなどの着脱式記憶装置を使用してイメージを記憶するディジタル電子スチルカメラが知られている。例えば、米国特許第 5,016,107号では、イメージ圧縮を行い静的ランダムアクセスメモリを有する着脱式メモリカードにディジタル記憶装置を備える電子スチルカメラが記載されている。電子スチルカメラの動作を制御するソフトウェアは、電子スチルカメラの非着脱式のプログラマブルＲＯＭ（ＰＲＯＭ）集積回路に存在する。このカメラでは、着脱式メモリカード内の集積回路は、イメージデータとイメージデータを位置付けるディレクトリを記憶する。

従来技術に記載されているその他の電子カメラ装置では、ディジタルイメージデータと一緒にイメージヘッダを記憶する。一般に、イメージヘッダは、イメージまたはカメラに関する複数の特徴を表している。例えば、米国特許第 5,018,017号では、このようにヘッダ情報は、情報の分類と、日付および時刻と、圧縮モードと、フラッシュ使用、ホワイトバランスデータ、露光値、シャッタスピードなどのイメージ指定情報を示す。さらに、米国特許第 5,153,729号では、メモリ容量、自由域ポインタと、バッテリ満了日付と、メモリカードのヘッド領域内のホワイトインヒビットフラグ（white inhibit flag）とを示す。一般に、各装置では、このような特性データをメモリカードでデータを一時的に格納してから、電子カメラからプレイヤなどの周辺装置に伝送する。この目的は、下流の周辺装置でイメージデータを後に処理する際にイメージ関連データの利用を許可することによって、装置下流の機能特性を高めることにある。一般に、カメラまたは撮像装置は、記憶装置自体に関するデータである一例、すなわちどれくらいのメモリスペースがさらなる画像のために残っているかを除き、記憶されたイメージ特性データをほとんど利用しない。記憶装置自体に関するデータの場合、カメラは、このようなデータにカメラユーザに対する使用を表示するようにアクセスする。

一般に、カメラとコンピュータとの連係は、1992年12月10日に提出され本発明の共通の譲渡人に譲渡された特許出願第 998,517号の「Electric Camera with Memory Card Interface to a Computer」に示されている。この出願では、ポータブルコンピュータのメモリカードスロットに直接差込むような特殊な形をしたカメラが記載されている。また、このカメラは、ポータブルコンピュータを用いるユニットとして使用することができる。このカメラは、カメラ内のホワイトバランスとγ補正のためのコードを用いるＥＰＲＯＭメモリを含み、コンピュータによってカメラを動作させセンサカラーフィルターアレイ（sensor color filter array ）からのイメージを処理し完全解像度のカラー補正イメージを得るために使用されるコンパイル済コードも格納する。イメージデータは、カメラによって取込まれ、コンピュータに直接ダウンロードされ、コンピュータではデータがカメラから得られたコードによって処理される。従来のメモリカード装置を使用する場合のように、コードはイメージデータを処理するコンピュータ下流で使用される。

特許出願第 988,517号などに記載されたように、コンピュータで使用されるイメージデータを獲得するために意図されたカメラでは、捕捉イメージに対応するデータも、カメラから着脱することができる記憶装置に記憶することができることは十分に理解されている。このような記憶装置は、従来のフィルムカメラのフィルムに類似していると見做されることが多い。フィルムの下流処理で有用なマークを用いてフィルムにコード化することが知られているのと同様に、イメージデータを修正する際に使用する非イメージデータを含む電子イメージ記憶装置についても知られている。フィルムと同様に、付加的なデータは、コンピュータ内などの下流処理でイメージデータを修正するために使用される。但し、フィルムとは異なり、付加的な非イメージデータは、カメラ自体を含む様々な周辺装置によって読込まれる。これによって、撮像における多数の問題を処理する機会ができる。

例えば、最も知られている電子撮像装置では、カメラを制御するソフトウェアは、一般に、レンズ、ＣＣＤイメージセンサを含み全く新しいカメラを購入する以外には、アップデートすることができない（但し、少数の高級フィルムカメラには、カメラが露光アルゴリズムをダウンロードすることができる着脱式プログラムが利用されているものもある）。ソフトウェアは、より高い性能（良画質）またはより多くの機能を提供するように改良することができるので、コンピュータプログラムはコンピュータハードウェアよりも定期的にアップデートされていることは広く知られている。電子カメラでは、ソフトウェアによって制御されたプログラマブルディジタルプロセッサを使用することができる。装置がこのような容易にアップデートすることができる設計であれば、このようなカメラによってソフトウェアをアップデートする機会が与えられる。必要なことは、より高い性能用にカメラのアルゴリズムに関してソフトウェアをアップデートし、カメラに新たな機能を付与する方法である。このような方法は、ユーザにとってすぐに利用できる便利なものであることが望ましく、別の記憶モジュールを使用しなくても良い方法が好ましい。既存のメモリ装置は、メモリスペースアベイラビィリティについて報告するような、電子カメラとの限定された双方向通信をすることができる。このような「上流」通信を改良して電子カメラ用の新たな用途を同時に提供できる可能性はある。

着脱式記憶装置のメモリ容量を上流で使用する従来技術における機械は、本発明によれば、電子撮像装置を動作させるソフトウェアがプレロードされた着脱式記憶装置においてイメージを取込み記憶する電子カメラを有する電子撮像装置によって実現される。電子撮像装置には、光パラメータを設定する光セクションと、光セクションによって供給されたイメージを電気的に取込むイメージ感知セクションと、電気的に取込まれたイメージを処理する信号処理セクションと、電子撮像装置の全セクションを制御するプログラマブルプロセッサと、プログラマブルプロセッサに着脱式記憶装置にプレロードされたソフトウェアをロードし、電子装置のセクションの全セクションの一つ以上の動作を制御する手段とを有する。

結果的に、本発明は、電子スチルカメラと併用してメモリカードなどの着脱式メモリ上に存在するソフトウェアによって制御することができる電子スチル写真装置を提供する。既知のカメラでは、着脱式メモリを使用してイメージと個々のイメージに関するデータ（日付、光源の色温度など）またはカメラに関するデータ（カラーフィルターアレイのタイプ、センサ不良位置など）を利用し、そのデータはイメージ再生装置に伝送される。しかし、本発明に係るカメラでは、着脱式媒体を用いて、イメージまたは特殊アクセスコードを処理する改善型カメラファームウェアなどのメモリカードに予め記録されたソフトウェアをカメラに伝送する。

本発明の電子撮像装置は、イメージを取込み記憶する電子カメラを有する電子撮像装置であって、電子カメラによって取込まれるイメージを記憶し、電子カメラから着脱可能であり、電子カメラを動作させるためのソフトウェアをプレロードされた記憶装置を備え、電子カメラが、イメージを電気的に取込むイメージ感知セクションと、電気的に取込まれたイメージを処理する信号処理セクションと、電子カメラのイメージ感知セクションおよび信号処理セクションを制御するプログラマブルプロセッサと、プログラマブルプロセッサに、着脱式記憶装置にプレロードされたソフトウェアであって、電気的に取込まれるイメージと組合わされる少なくとも１つのあらかじめ存在するイメージファイルを備えるソフトウェアをロードする手段と、を備えることを特徴とする。

また、本発明の電子撮像装置は、あらかじめ存在するイメージファイルが、電子カメラの信号処理セクション内において、プログラマブルプロセッサによって電気的に取込まれたイメージと組合わされることを特徴とする。

また、本発明の電子撮像装置は、着脱式記憶装置にプレロードされたソフトウェアが、複数の選択可能なあらかじめ存在するイメージファイルを有し、電子カメラが更に、電気的に取込まれたイメージと組合わせるために、特定のあらかじめ存在するイメージファイルを選択するための、ユーザ選択手段を備える、ことを特徴とする。

本発明の電子撮像装置は、イメージを取込み記憶する電子カメラを有する電子撮像装置であって、電子カメラによって取込まれるイメージを記憶し、電子カメラから着脱可能であり、電子カメラを動作させるためのソフトウェアをプレロードされた記憶装置を含み、電子カメラが、イメージを電気的に取込むイメージ感知セクションと、電気的に取込まれたイメージを処理する信号処理セクションと、電子カメラの信号処理セクションを制御するプログラマブルプロセッサと、プログラマブルプロセッサに、着脱式記憶装置にプレロードされたソフトウェアであって、複数の選択可能なイメージ処理アルゴリズムを含むソフトウェアをロードするインターフェースと、イメージへの異なる修正を可能にするために、特定のイメージ処理アルゴリズムを選択するユーザ選択手段と、を備えることを特徴とする。

また、本発明の電子撮像装置は、プログラマブルプロセッサが、プロセッサを動作させるためのファームウェアを備え、着脱式記憶装置が電子カメラに接続された時に、着脱式記憶装置にプレロードされたソフトウェアが、ファームウェアのいくつか又は全ての代わりとなることを特徴とする。

本発明の方法は、ディジタルカメラによって取り込まれたイメージを記憶する着脱式記憶装置を有するディジタルカメラのイメージの取り込み、処理する方法であって、（ａ）ユーザ入力に対応してイメージを取り込み、ディジタル化するステップと、（ｂ）取り込まれたイメージを複数のイメージを記憶可能なイメージバッファに記憶するステップと、（ｃ）プログラマブルプロセッサを使って記憶したイメージの処理を開始するステップと、（ｄ）処理ステップ（ｃ）の間に別のユーザ入力があれば、ユーザ入力に対応して記憶したイメージの処理を中断し、２番目のイメージのためにステップ（ａ），（ｂ）を繰り返すステップと、（ｅ）ステップ（ｄ）の終了後、最初に記憶したイメージの処理を続けるステップと、（ｆ）処理されたイメージを記憶装置に記憶し、イメージバッファに記憶した総てのイメージが処理されるまでステップ（ｃ）を続けるステップと、を含むことを特徴とする。

また、本発明の方法において、中断するステップ（ｄ）は、更に、ステップ（ｃ）の処理の中断が行われた所から再開されるように部分的に処理されたイメージを記憶するステップを有することを特徴とする。

したがって、本発明によれば、カメラ購入数年後に、カメラまたは再生装置を動作させる改良型ソフトウェアを含む「拡張」メモリカードを使用することによって、カメラまたは再生装置の動作を改良することができる効果がある。さらに、このような双方向通信によって、選択された方法でイメージデータを修正したり、特殊な状況のためにカメラの性能を修正したり、非取込みイメージ（特殊オーバーレイイメージ）をカメラに通信したりなどして、別の拡張機能可能性に対して記憶装置の使用が開放される効果もある。

電子センサを利用する電子スチルカメラは広く知られているので、本発明の説明は、特に、本発明に係る装置の一部を形成する要素、またはより直接的に本発明に係る装置に連係する要素に当てられる。本文に具体的に指示または記載されていない要素については、当業者らに既知の要素から選択できるものである。

図１は、イメージをコンピュータに入力するために使える既知の電子スチル写真撮像装置である。この電子スチル写真撮像装置は、電子感知セクション１ａと、ディジタル処理セクション１ｂとを有する電子カメラ１と、メモリカードスロット２と、着脱式メモリカード３と、メモリカードリーダ５内蔵のコンピュータ４と、プリンタ６とを有する。イメージは、カメラ１の感知セクション１ａによって取込まれ、処理セクション１ｂで操作され、メモリカード３に記憶され、メモリカード３からコンピュータ４に伝送される。カメラ１の感知セクション１ａおよび処理セクション１ｂを制御するために使用されるソフトウェアは、カメラ１のファームウェアメモリ７に完全に存在し、カメラカバーを開けて、ファームウェアメモリ回路を分離し、アップデートされたコードを含む新たな回路に交換しなければ、アップデートすることができない。コンピュータ４の再生動作を制御するために使用されるアプリケーションソフトウェアは、カメラ製造業者によって少なくとも一部供給される。このソフトウェアは、コンピュータハードディスクドライブ８に格納され、コンピュータランダムアクセスメモリ（ＲＡＭ）９ａにダウンロードされ、プログラムは中央処理装置（ＣＰＵ）９ｂによって使用される。このソフトウェアをアップデートするには、ユーザはフロッピー（登録商標）ディスクに新たなプログラムを提供しなければならない。新たなプログラムは、ハードディスクドライブ８に伝送することができる。例えば、フロッピー（登録商標）ディスクは、カメラに提供された撮像ソフトウェアアプリケーション用の「プラグイン」モジュールを含むことができる。このプラグインモジュールは、イメージをカメラ１からコンピュータ４にダウロードすることができるコードと、カラーイメージをディジタル化カメライメージデータから生成するソフトウェアコードとを含む。ソフトウェアコードは、カメラ１によって供給されたカラーフィルターアレイサンプルイメージデータを処理するアルゴリズムを実現する。このようなアルゴリズムには、色補間、カラーバランス、色補正を含む。一般的な色補間アルゴリズムは、1993年 6月30日に提出され、Eastman Kodak Company に譲渡された米国特許出願第 085,519号「Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradient 」にさらに詳細に説明されている。

本発明は、本来、記憶装置すなわち図１のメモリカード３は、下流すなわちコンピュータ４の処理のためのデータを記憶するためには必要ないという認識に基づいている。この記憶装置は、さらに、イメージデータおよびカメラ性能を上流で修正することができるファイル（データ、コードなど）を含むことができる。これによって、記憶に先立つ取込段階および操作段階中にイメージデータに影響させる機会がもたらされる。さらに、上述のファイルは、カメラ１によって自動的にアクセスすること、または、カメラ１を介してユーザが適切に介入することによって、選択することができる。従って、着脱式記憶装置は、カメラ１と双方向通信が可能である。すなわち、カードスロットインタフェースは、着脱式記憶装置にイメージデータ下流へ「ダンプ」する制限を受けず、着脱式記憶装置上流からカメラ１にも通信することができる。ファイルがカメラ１の動作を向上させるソフトウェアである限りは、ディジタル記憶装置はソアトウェア拡張装置として見做すことができるので、以下の文ではファイルは拡張データファイルと呼ぶこともできる。

このような、双方向通信から、数多くの効果が生じる。拡張ファイルは、それ自体がイメージではないディジタル記憶装置に含むことができる。イメージ処理ソフトウェア、参照テーブル、マトリックス、圧縮テーブル、ダイナミックレンジ最適化テーブルや、取込イメージデータに影響を与えることができるその他のファイルは、ディジタル記憶装置に含めることができる。従って、修正またはアップデートをすることかできる一般的なアルゴリズムは、カラーフィルターアレイ補間アルゴリズム、色再生アルゴリズム、圧縮アルゴリズム、またはダイナミックレンジ最適化アルゴリズムを含む。この方法では、カメラ１は、記憶装置に含まれる関数および変換を実行する能力だけが必要であり、イメージデータの処理を実行するのに必要なすべての情報を含む記憶容量を要求する必要はない。このような非イメージファイルでは、取込イメージデータの処理を行うが、「true-to scene 」再生が達成されるように取込イメージデータを処理しても良いし、イメージをオリジナルシーンからある種の所望の変更を加える種類の特殊な効果を提供しても良い。

ディジタル記憶装置に含めることができる別のタイプの非イメージファイルでは、カメラ１の動作を向上させることができる。露光時間、開口設定、フラッシュ範囲出力などの取込パラメータを制御することができる拡張ファイルを含むことができる。制御パラメータの特定のセットを使用して取込パラメータを取込まれるシーンまたは被写体のタイプに適応させることができる。この種のファイルは、カメラの診断テストによって適切な動作を保証し、カメラ装置の故障条件を検出することもできよう。記憶装置に含まれるさらに別のタイプの拡張ファイルは、既存のイメージデータファイルすなわちカメラ装置によって取込まれないイメージを有するファイルを含む。このようなファイルは、既存のイメージファイルとカメラによって取込まれるイメージをどのように組合わせるかをカメラに指示するコードと併用される。このような機能を適切に実行するには、既存のイメージとオーバーレイイメージとの組合わせを選択するユーザインタフェースと、ユーザが選択オーバーレイイメージを完全にするように取込イメージを構成することに役立つビューファインダーを含んでも良い。イメージ処理、性能改善、または既存のイメージに関しているか否かを問わず、アルゴリズム自体は従来のものであり、本発明に係る要素ではない。但し、どこにイメージが記憶されるか、どのようにイメージが使用されるかは本発明の範囲内である。それに関連して、本発明に係る別の関数は、最初に購入した後に、適切な拡張記憶装置を後に購入することによって、ソフトウェアをアップデートすることができるように、ディジタル記憶装置内において、置換またはアップデートされたソフトウェアファィルを格納するためである。

本発明は、イメージ記憶装置に含まれるファイルによって可能となる動作の実行順序にも関する。イメージの取込は、急速かつ任意あるいはいずれか一方の形式で行われると思われる。イメージ処理に割込み、別の取込を開始することは望ましいと考えられる。そのような場合、初期の記憶を行う以上の処理は、カメラが「ready 」モードでなくなるまでは行われる必要がない。すなわち、カメラがイメージを取込むために使用されて「off 」モードまたは「sleep 」モードでなくなるまでは起こらない。あるいは、カメラは、取込動作を実行する処理操作に介入することができる。取込完了後、カメラは処理動作に戻ることができる。

図２は、本発明によって教示されるように「ソフトウェア強化」記憶装置を用いることができる電子スチルカメラを示す図である。一般に、電子スチルカメラは、入力セクションＡと圧縮・記憶セクションＢとに分類される。入力セクションＡは、被写体（図示せず）からのイメージ光をイメージセンサ１２に向ける露光セクション１０を有する。ストロボユニット１１を使用して、被写体を照射しても良い。図示はしていないが、露光セクション１０は光開口部を調整する絞りと、露光時間を調整するシャッタとを介してイメージ光を誘導する従来の光学機器を有する。イメージセンサ１２は、イメージの画素に対応する２次元配列のフォト配列を有しており、例えば、既知のインタライン転送方式またはフレーム転送方式のいずれかを使用する電荷結合素子（ＣＣＤ）である。イメージセンサ１２には、アナログイメージ電荷情報を個々のフォトサイトに生成するようにイメージが露光される。電荷情報は、出力ダイオード１４に与えられる。出力ダイオード１４は、電荷情報を個々の画素に対応するアナログイメージ信号に変換する。アナログイメージ信号はＡ／Ｄ変換器１６に入力される。Ａ／Ｄ変換器１６は、ディジタルイメージ信号を各画素に対するアナログ入力信号から生成する。

ディジタル信号は、複数のスチルイメージ用の記憶容量を有するランダムアクセスメモリ（ＲＡＭ）として図２に示される、一つ以上のイメージを記憶するイメージバッファ１８に記憶される。一般に、プログラムされた制御プロセッサ２０は、露光セクション１０の絞りおよびシャッタ（図示せず）を動作させて露光を開始及び制御し、ストロボユニット１１を制御し、イメージセンサ１２を駆動しそこからイメージ情報をクロックするために必要な水平クロックおよび垂直クロックを生成し、かつ、イメージバッファ１８と連結したＡ／Ｄ変換器１６に画素に対応する各信号セグメントを与えることによって、カメラの入力セクションＡを制御する（通常、制御プロセッサ２０は、装置タイミング回路と連結されたマイクロプロセッサを含む）。一般に、露光制御はフォトセル（ＰＣ）１９からの周囲光情報を使用することによって影響される。

特定数のディジタルイメージ信号がイメージバッファ１８に蓄積された後、記憶信号はプログラムされたディジタル信号プロセッサ２２に利用される。ディジタル信号プロセッサ２２はカメラの圧縮・記憶セクションＢに対するスループット処理速度を制御する。アルゴリズムおよびプロセッサ２２によって使用されるその他の動作コードは、アルゴリズムメモリ２８に格納される。ディジタル信号プロセッサ２２は、広く知られるＪＰＥＧ（Joint Photographic Experts Group）離散的コサイン変換に基づく圧縮アルゴリズムなどの既知のイメージ圧縮アルゴリズムに従ってイメージバッファ１８に記憶された各スチルイメージを圧縮する。プロセッサ２２は、メモリ２８からの圧縮アルゴリズムをディジタルイメージ信号に適用し、圧縮信号をインタフェース２６経由で着脱式記憶装置に伝送する。メモリカード２４はこの装置では記憶装置として示されいるが、フロッピー（登録商標）ディスク磁気媒体、小型ハードディスクドライブ、または光記憶装置などのその他の装置を使用することができる（後者の場合、磁気読込／書込ヘッドなどの適切な従来の読込／書込装置をカメラに備えることもできる）。代表的なメモリカードは、1991年 9月にカリフォルニア州Sunnyvale 所在のThe Personal Computer Memory Card International Association 出版の、PC Card Standard, Release 2.0 に記載されているようなPCMCIAカードインタフェース基準（PCMCIA card interface standard）に適用されるカードである。さらに、圧縮は、図２のカメラに示されているが、圧縮は本発明に係る機能には必要なく、非圧縮データを代りに記憶することができる。

メモリカード２４は、フラッシュＥＰＲＯＭメモリなどの固体メモリ２４ａを含み、メモリカード２４がイメージデータファイルを記憶するために利用する。さらに、メモリカード２４は、カメラ動作もしくはカメラによって取込まれたイメージを修正するかまたは既存のオーバレイイメージを供給する拡張データファイル２４ｂを格納する別のメモリを含む。通常、このようなソフトウェアの拡張機能は、カードがユーザに販売される以前に製造業者によってプログラムされ、上述のPC Card Standard, Release 2.0 に記載されるthe Card Information Structure (CIS) of the PCMCIAに記憶することができる。「ソフトウェア拡張機能」コードは、メモリカード２４に消去不能メモリに個別に格納することができ、あるいは、固体メモリ２４ａのメモリスペースの一部では、イメージデータを記憶するために使用することができる。

入力セクションＡは、より時間を消費する圧縮を入力速度から相対的に分離することができるが、カメラの通常動作に等しい速度で動作する。露光セクション１０は、イメージセンサ１２をイメージ光に露光必要条件に依存する期間、例えば、1/1000秒から数秒までの期間露光する。イメージセンサ１２のフォトサイトからセンサイメージ電荷が掃引され、ディジタル形式に変換され、イメージバッファ１８に書込まれる。従って、制御プロセッサ２０によってイメージセンサ１２、Ａ／Ｄ変換器１６およびイメージバッファ１８に供給される駆動信号の反復速度は、このような伝送を達成するように生成される。圧縮・記録セクションＢの処理スループット速度は、イメージの特性すなわちディテール対冗長情報（detail versus redundant information ）の量と、ディジタル信号プロセッサ２２の速さによって決定することができる。

動作表示パネル３０は、制御プロセッサ２０に接続され、カメラの動作に有用な情報を表示する。このような情報は、シャッタスピード、開口率、露光バイアス、カラーバランス（自動、タングステン、蛍光、日光）、解像度の高低、バッテリの低さ、光の弱さ、露光モード（選択された開口率、選択されたシャッタ）などの一般的な写真データを含む。さらに、このタイプのカメラに独特なその他の情報が表示される。例えば、通常、メモリカード２４は各記憶イメージの始めと終りを示すディレクトリを含む。これは、記憶されたイメージ数または残存しているかもしくは残存していると評価されるイメージスペースあるいはその両方としてディスプレイ３０に示される。ある種の用途では、電子ビューファインダー２９、記憶の前後に表示するために含まれる。

制御プロセッサ２０は、メモリカード２４の条件および能力に関する重要な情報も生成する。具体的には、インタフェース２６をメモリカード２４の有無について照会し、接続されているカードがなければ、操作ディスプレイ３０に「no card 」と表示される。同様に、カードが存在するがイメージで満たされていた場合、「card full 」と表示される。図示はしていないが、ディスプレイ３０は、「残存イメージ」数を示すこともできる。拡張ファイル２４ｂがメモリカード２４に存在する場合には、操作ディスプレイ３０上で識別することができる。例えば、肖像画専用セットアップなどの性能拡張機能を識別することができ、特殊効果などの処理拡張機能を識別することができ、誕生日や休日の写真縁取などのオーバレイ拡張機能を識別することができる。複数の拡張機能可能性を指定するためまたは従来の取込パラメータをセットするためのユーザ介入は、ユーザ入力セクション２１から得られる。このような入力は、単独または操作ディスプレイ３０もしくは電子ビューファインダー２９からのプロンプトに関連して動作可能な一つ以上のセレクタスイッチが成り得る。

カメラは、カメラ用の動作コードを有するファームウェアメモリ３２と、メモリカード２４からコードを受信するために接続されたＲＡＭインストラクションメモリ３１も含む。メモリカード２４がカメラに挿入された場合、プロセッサ２０はファームウェアアルゴリズムをファームウェアメモリ３２で使用し、メモリカード２４はカメラによって用いられる「ソフトウェア拡張機能」を含むか否かを判定する。含んでいない場合には、ファームウェアメモリ３２においてカメラに供給されたファームウェアアルゴリズムは、プログラマブルプロセッサ２０によって使用される。但し、メモリカード２４が適切な「ソフトウェア拡張機能」を含む場合には、メモリカード２４の拡張ファイルセクション２４ｂからＲＡＭインストラクションメモリ３１にダウンロードされ、ファームウェアメモリ３２からカメラに供給されたファームウェアアルゴリズムのある部分の代わりにプログラマブルプロセッサ２０によって使用される。このようにして、カメラは、より高質の画像または専用の機能を提供する新たに改善されたアルゴリズムを実行することができる。２つ以上のアルゴリズムファイルをダウンロードしても良いし、異なる機能を単一のファイルに組合わせても良い。イメージ処理ファイルの組合わせを問わず使用することができる。

カメラからのイメージをメモリカード２４に記憶した後、メモリカード２４は図１のコンピュータメモリカードリーダ５に挿入される。メモリカード２４がコンピュータによって使用される「ソフトウェア拡張機能」を含むある種の用途では、コンピュータはカメラに供給されたソフトウェアを使用しメモリカード２４が上述のアルゴリズムを含むか否かをチェックする。含んでいない場合には、カメラに供給されハードディスクドライブ８に格納されたソフトウェアは、ＣＰＵ９ｂによって使用されるコンピュータＲＡＭメモリ９ａにダウンされる。但し、メモリカード２４が適切な「ソフトウェア拡張機能」を含む場合は、メモリカード２４からＲＡＭインストラクションメモリ９ａにダウンロードされ、ハードディスクドライブ８からのソフトウェアアルゴリズムのある部分に代わってＣＰＵ９ｂによって使用される。これによって、コンピュータで使用されるアルゴリズムをアップデートする迅速で簡便な方法を、ユーザに専用のアップデートディスクを配布せずに提供できる。このようなイメージ処理アルゴリズムは、初期の処理中、イメージが最初に取込まれ処理され記憶された場合か、取込まれた後のいずれかにカメラによって利用することができる。

図２に示される本発明によれば、イメージはカメラからケーブルインタフェースよりもむしろ着脱式メモリ経由でコンピュータに伝送される。従って、カメラはコンピュータと同じ位置になくても良い。これによって、コンピュータが着脱式メモリを受入れかつイメージデータを正確に処理することができる限りは、多くの異なる位置から、多くの異なるコンピュータ上でイメージを目視することができる。着脱式メモリを使用してコンピュータにイメージデータを処理するコードを格納することができるので、このコードは、色補間、カラーバランス、図１に関連して記載された補正アルゴリズム、またはこのようなアルゴリズムが将来改良されたバージョンを含む。着脱式メモリにアルゴリズムを記憶する効果は、フロッピー（登録商標）ディスクなどのコードを供給する個別の手段を必要としないことにある。PCMCIAなどの着脱式メモリにイメージと一緒にアルゴリズムを供給することによって、メモリカード２４からイメージデータを読込むことができるコンピュータであれば、完全なカラーイメージを生成するためにイメージデータを処理するために必要とされるアルゴリズムをダウンロードし利用することができる。これによって、コンピュータに専用のプラグイン装置を供給しカラーフィルターアレイ補間用などのイメージ処理コードを提供することを必要とせずに、PCMCIAカードコネクタを有するコンピュータのほぼすべてでイメージを目視するためには好都合である。

カメラのアルゴリズムをアップデートすることとは別に、拡張アルゴリズムファイルは、特定のアプリケーションに販売されているメモリカードに用いる特定の方法に適合させることができる。電子スチル撮像装置では、カメラの解像度および写真スピードまたはその一方を、サブサンプリングおよび電気的ゲイン調整またはその一方などによって変更することができる。このような調整を行う非イメージデータファイルのタイプは、特定の撮影用途に設計されたイメージデータ記憶装置に含まれる。特定のフィルムスピードをフィルム用に選択する同様の方法では、イメージ記憶装置を動画（action photography）、肖像画、あるいは子供用の写真（infant photography）用に選択することができよう。イメージ取込用の適切なセットのパラメータは、対応する非イメージデータファイルに取込まれる。可能な用途の一つは、肖像画である。この用途では、非イメージデータファイルは、カラー再生が肌色調に最適であること、エッジの尖鋭化がそれほど厳密ではないこと、カラーフィルターアレイアルゴリズムが尖鋭化の低減を犠牲にしてカラーエイリアジングを最低限にすることを規定する。その他の用途もイメージ化することができる。

イメージ処理アルゴリズムを利用する際に関係するステップは、図３のフローチャート図に示されている。カメラがイメージを取込む用意が整っている場合、カメラ内のプロセッサ２０は、メモリカード２４の拡張ファイル２４ｂにソフトウェア拡張機能が存在するか否かをチェックする。このようなファイルが存在する場合、プロセッサ２０は着脱式メモリカード２４に含まれる拡張ファイル２４ｂに処理アルゴリズムをダウンロードする。２つ以上のアルゴリズムが存在する場合、ユーザはユーザ入力セクションから適切なアルゴリズムを事前選択するか、カメラは検出された画像取込条件に従ってアルゴリズムを１つ選択する。いずれも選択されない場合は、カメラはデフォルトアルゴリズムを使用するかアルゴリズムを使用しない。露光後、処理が開始される。図４は、処理が行われ得る複数の段階を示す取込チェーンのブロック図である。アルゴリズムは、イメージデータがディジタル化された後で段階４０で利用される。ダウンロードされたアルゴリズムに従う処理は、イメージデータが段階４２または４４で初期の記憶用に本来処理されているように選択的に行われるか、イメージの初期の記憶が段階４６で完了した後の遅い時期に利用される。図５は、一定時間経過後を含む図４の段階４６における処理に続くステップを示す。異なるアルゴリズムが最も望ましい結果を達成するために利用できるように、未処理の形態で初期の撮像を記憶する際に有用である。処理アルゴリズム自体の例は、先に示したが、従来のものであり、本発明の一部を構成するものではない。

すべてのイメージデータ操作のために、イメージデータ処理を撮像が図４の処理段階４６によって一般に示されるように行われた後のある時間まで、イメージデータ処理を延期することは有利であると思われる。すなわち、カメラが「sleep 」モードまたは「off 」モードにある場合に、どの処理が初期の記憶に必要であるか以外に、イメージに対して行われる処理のいずれかを行うことができる。これは、カメラが可能な最短時間で次の露光を準備することができ、イメージ撮像がさらに行われる期間中にイメージの処理後に負担がないことが望まれよう。延期された処理に代わる処理は、取込が完了した直後の処理を開始することと、図６に示すように、ユーザが別の取込を行わなければならないことを指示した場合の処理を中断することである。これは、イメージを処理する許容できる手段であるが、多数のイメージが急速に連続して取込まれた場合に、複雑になることもある。図５に示されるように、処理を遅延することが好ましい。イメージファイルヘッダのフラグは、イメージが処理されているか否かを指示するためにセットされる。処理動作の中心となるカメラは、問題のイメージに関する全ての処理を完了した後に限り、「ready 」モードに戻るようにプログラムをすることができる。

完全なソフトウェアアルゴリズムを記憶することに加え、メモリカード２４の拡張ファイル２４ｂに存在するソフトウェア拡張機能は、カメラまたはコンピュータに既に存在するソフトウェアのある機能へアクセスするかまたはカメラまたはコンピュータに存在するソフトウェア用の特定のオプションから選択するために使用されるコードに成り得る。このようなアクセスコードの使用例は、図７のフローチャートで示されている。メモリカード２４がカメラ１に挿入された場合に、カメラ１はチェックをして、カードが通常のメモリカードであるか「ソフトウェア強化」カードであるかを判定する。PCMCIAカードに関して、「ソフトウェア強化」カードの使用は、例えば、Card Information Structureの１部としてディジタル暗号化キーを使用することによって指示することができる。カードは、露光指数、カラー／白黒、カラー再生および肖像画専用のアクセスコードも含む。カメラ１はＩＳＯ露光指数50、100 、200 および400 に対応する可変ゲインを有する。通常のカードでは、カメラスピードはISO 100 にセットされている。ソフトウェア強化カードでは、カメラはどのスピードを写真に使用することが望ましいかを、ユーザがカメラに挿入したカードのバージョンに依存して判定するチェックを行う。この実施例では、カメラは、可変ゲインに必要でありカラーイメージまたはカラーイメージセンサ１２からの白黒記録に必要であるファームウェアメモリ３２のアルゴリズムを有する。ソフトウェア強化カードについては、カードの「白黒」ビットがチェックされ、どのアルゴリズムを使用するのが望ましいかを判定する。次に、ユーザは、所望の写真を取り、メモリカードをコンピュータ４に挿入しプリンタ６のイメージをプリントする。メモリカード２４は、コンピュータ４に挿入された場合、コンピュータ４はCard Information Structureをチェックし、そのメモリカード２４が通常のメモリカードであるか「ソフトウェア強化」カードであるかを判定する。通常のカードの場合は、通常の処理が行われる。「ソフトウェア強化」カードの場合は、より精巧なカラー再生アルゴリズムを利用して高質のイメージを提供することができる。

カードの「肖像画ビット（portrait bit）」もチェックされ、ユーザが肖像画を撮像するカードを選択したか否かを判定する。ユーザが選択した場合には、専用の処理でイメージを和らげ、顔面の染みとして現れるノイズを低減する。次にイメージは、プリンタ６によってプリントされる。

「事前露光」イメージデータファイルは、着脱式イメージデータ記憶装置の拡張ファイル２４ｂに存在することができる。このようなファイルは、図８に図式的に示されたようにユーザが取込んだイメージと組合わせるためのイメージテンプレートまたはオーバレイを含む。これらのファイルは、特定の状況に関してユーザによって取込まれるイメージを強調する目的を有するコンピュータ生成枠であろう。このようなファイルをユーザが取込んだイメージと組合わせる方法は、自動的であっても良いし、ユーザ入力セクション２１を介してユーザが介入しても良い。カメラでは、プロセッサ２０がオーバレイを検索し、ディジタルプロセッサ２２はユーザ取込イメージをオーバレイ枠に挿入する。例えば、所定の着脱式イメージ記憶装置は、クリスマスアルバムとしてラベル付けされ、カメラがユーザ取込イメージをユーザからの入力を受けずに季節のテンプレートに挿入することもできよう。カメラは、図９に示されるように、電子ビューファインダー２９においてキューを用いて適切に枠付をすることをユーザにプロンプトする。テンプレートの輪郭は、ビューファインダー２９に現れ、枠付けを補助する。カメラは、ユーザが枠付けをする援助するために最終的に組合わされたイメージ中のどこに「事前露光」オーバレイが現れるかを理解できることが望ましい。この情報を伝達するファイルはオーバレイデータファイルを伴っていも良いし、この情報はオーバレイデータファイルヘッダに含まれていても良いし。カメラがオーバレイデータファイル自体を読込むことによってオーバレイの位置に割り込むことができるようにしても良い。多種多様なオーバレイを使用することができる。ユーザは、誕生日やスポーツ選手権などの異なる季節や特別のイベントに対して着脱式イメージ記憶装置を明確に選択することもできるであろう。

グラフィックオーバレイの実現は、ユーザが入力することによって達成することもできる。ユーザは、イメージおよびオーバレイをビューファインダー２９やカメラに含まれるビュースクリーン（図示せず）で確認した後、個人の好みに応じて選択することができる。この能力は、カメラによってイメージ記憶装置に含まれるイメージおよびオーバレイをブラウズする能力を意味する。カメラは、イメージを着脱式記憶装置からイメージを読込み表示することができなければならないし、ユーザに双方を独自に選択できなければならない。ある用途では、２つ以上の取込イメージをオーバレイに挿入することもできる。あるいは、イメージを一つだけ挿入することができ、オーバレイに対応してビューファインダー２９のイメージの枠付けには、取込イメージと表示イメージとの間が１対１対応である必要はない。すなわち、取込イメージは、取込イメージ全体がオーバレイを介してディスプレイで目視できるように、縮小することができる。同様に、取込イメージをオーバレイに挿入される以前のイメージについて回転させたり、変形させたりすることができる。さらに、取込イメージはビューファインダー２９においてオーバレイを介して表示することができるが、カメラは実際にこのようなイメージを組合わせなくて良く、むしろコンピュータに適切な組合わせをさせる指示をするスクリプトファイルを作成することができる。バッファ１８に十分な内部メモリがあるかまたはカードスロット２６などの複数の記憶入力があれば、カメラを用いて、一つの着脱式記憶装置からオーバレイを選択し別に存在する取込イメージと組合わせることもできよう。

以上、本発明をさまざまな実施例を特に参考にして説明してきたが、当業者らには、さまざまな変更が可能であり、本発明から逸脱せずに実施例の要素を同等の要素に置換することができることは理解できよう。例えば、着脱式メモリカード２４を用いる代わりに、イメージデータファイル２４ａと拡張ファイル２４ｂとをカメラ内部に位置する非着脱式の電気的にプログラミング可能な不揮発性記憶装置に格納することもできる。図１１に示すように、イメージデータをカメラ１の不揮発性記憶装置３５から、RS232 またはSCSIインタフェース接続装置などの標準的な電気的コンピュータインタフェースケーブル３８を渡ってコンピュータ４にダウンロードすることができる。拡張ファイル２４ｂは、フロッピー（登録商標）ディスクに供給され、コンピュータ４にダウンロードされた後、コンピュータ４によって同じインタフェースケーブル３８経由でカメラ１の電気的に消去可能なファームウェアメモリ３６にアップロードされる。本発明に係るこの別の実施例は、さらに、イメージがコンピュータ４から伝送され、ソフトウェアがコンピュータ４からカメラ１の電気的に消去可能なファームウェアメモリ３６にアップロードされるインタフェースセクション３４に関連して図１０に示されている。図１１は一般に図１０のカメラが標準的電気的コンピュータインタフェースケーブル３８によってコンピュータ４に接続されていることを示す図である。

さらに多くの修正は、本発明に係る本質的な原理を逸脱せずに、特定の状況に適合させるために成される。従って本発明は、本発明に係る真の精神および範囲から逸脱しないように修正および応用などのすべてを網羅すべく意図されたものである。

イメージをコンピュータに入力する電子カメラに採用する既知の電子撮像装置を示す図である。 拡張ファイルを受領し処理するために本発明に従って構成された電子カメラのブロック図である。 図２のカメラに拡張アルゴリズムを適用することに関連するステップのフローチャート図である。 本発明に係る処理が行われ得る段階を示す取込みチェーンを示すブロック図である。 図２のカメラにおいて記憶後しばらく時間を置いた後イメージを処理する際に関連するステップを示すフローチャート図である。 図２のカメラにおける割込処理に関連するステップを示すフローチャート図である。 図２のカメラにおける処理へのアクセスを制御する際に関連するステップを示すフローチャート図である。 既存のオーバーレイイメージを図２のカメラによって取込まれたイメージに応用する絵画図である。 図２のカメラの電子ビューファィンダーを使用してオーバーレイイメージに対応して取込イメージをフレームに収めることを示す絵画図である。 本発明に従って構成された電子カメラの別の実施例を示す図である。 ケーブル接続によって図１０のカメラに採用される電子撮像装置を示す図である。

符号の説明

１ 電子カメラ、１ａ 感知セクション、１ｂ 処理セクション、２ メモリカードスロット、３ メモリカード、４ コンピュータ、５ メモリカードリーダ、６ プリンタ、７ ファームウェアメモリ、８ ハードドライブ、９ａ コンピュータランダムアクセスメモリ、９ｂ 中央処理装置、１０ 露光セクション、１１ ストロボユニット、１２ イメージセンサ、１４ 出力ダイオード、１６ Ａ／Ｄ変換器、１８ イメージバッファ、１９ フォトセル、２０ 制御プロセッサ、２１ ユーザ入力セクション、２２ 信号プロセッサ、２４ メモリカード、２４ａ 固体イメージメモリ、２４ｂ 拡張データファイル、２６ インフェース、２８ アルゴリズムメモリ、２９ 電子ビューファインダー、３０ 操作表示パネル、３１ インストラクションメモリ、３２ ファームウェアメモリ、３４ インタフェース、３６ 電気的に消去可能なファームウェアメモリ、３８ インタフェースケーブル。

Claims (2)

1. ディジタルカメラによって取り込まれたイメージを記憶する着脱式記憶装置を有するディジタルカメラのイメージの取り込み、処理する方法であって、
   （ａ）ユーザ入力に対応してイメージを取り込み、ディジタル化するステップと、
   （ｂ）前記取り込まれたイメージを複数のイメージを記憶可能なイメージバッファに記憶するステップと、
   （ｃ）プログラマブルプロセッサを使って前記記憶したイメージの処理を開始するステップと、
   （ｄ）処理ステップ（ｃ）の間に別のユーザ入力があれば、前記ユーザ入力に対応して記憶したイメージの処理を中断し、２番目のイメージのためにステップ（ａ），（ｂ）を繰り返すステップと、
   （ｅ）ステップ（ｄ）の終了後、前記最初に記憶したイメージの処理を続けるステップと、
   （ｆ）前記処理されたイメージを前記記憶装置に記憶し、イメージバッファに記憶した総てのイメージが処理されるまでステップ（ｃ）を続けるステップと、
   を含むことを特徴とする方法。
2. 請求項１に記載された方法において、
   前記中断するステップ（ｄ）は、更に、ステップ（ｃ）の処理の中断が行われた所から再開されるように部分的に処理されたイメージを記憶するステップを有することを特徴とする方法。
   

Images