【発明の詳細な説明】
デジタルカメラに支持されたメディアタイプを
拡張するための方法及びシステム
発明の分野
本発明は一般にデジタルカメラに関し、更に詳細には、デジタルカメラに支持
されたメディアタイプを拡張するための方法及びシステムに関する。
発明の背景
最近のデジタルカメラは、一般に、コンピュータシステムにより制御される撮
像装置を備えている。コンピュータシステムは撮像装置によって捕捉された生画
像データにアクセスし、次に同データを処理して圧縮し、その後内部メモリに圧
縮データを記憶する。従って、コンピュータの有効な動作は、カメラ設計者及び
製造者にとって重要な検討事項である。一定のコンピュータシステムにおけるメ
モリ構造はデータ記憶技術を決定し、それによって、デジタルカメラシステム全
体の操作上の効率に顕著に影響を与える。
従来のデジタルカメラにおけるユーザインターフェイスは、一般に、ユーザが
複数の画像を同時に見ることができるように、捕捉された画像の縮小バージョン
を表示し得るビューファインダを備えている。それら画像のうちの１つを選択す
ることにより、ユーザは画像のフルサイズバージョンをビューファインダに表示
し得る。
従来のデジタルカメラでは、その構造上の限界により、捕捉された画像からマ
ルチメディアオブジェクトを作製する上でいくつかの不利な点がある。マルチメ
ディアという用語は、従来用いられているように、オブジェクトがグラフィック
ス、音声及びテキストにおける何らかの組み合わせを有していることを意味する
。しかしながら、従来のデジタルカメラのいくつかは録音機能を備えておらず、
当
然ながら、マルチメディアオブジェクトを作製するために捕捉された画像に音声
クリップを付加する機能も備えられていない。
しかしながら、録音機能を有する従来のカメラでは、一般に、ユーザは捕捉さ
れた最新の画像にしか音声を付加することができない。このような音声付加は、
画像を捕捉して画像に付加するための音声クリップを録音し、同音声クリップを
捕捉された画像に付加することによって成される。
捕捉された画像に付加するための音声録音は、録音機能を備えていないカメラ
に比べれば改良であるが、その方法はいくつかの不利な点を有する。不利な点の
１つとしては、カメラによって捕捉された最新の画像にしか音声が付加されない
ことがある。このため、ユーザが画像を捕捉し、次の画像を捕捉する前に音声を
付加し忘れた場合は、前に捕捉された画像に音声を付加することは決してできな
い。
単一の画像に音声を付加することにおける別の不利な点は、画像に音声を付加
した後、ユーザは、画像を見て付加された音声を聞くためには、捕捉された画像
及び付加された音声をパーソナルコンピュータにダウンロードしなければならな
いことである。このため、デジタルカメラがビューファインダを備えている場合
であっても、音声を付加された画像をデジタルカメラで再生することはできない
。
従って、従来のデジタルカメラは、例えば音声と組み合わされた複数の画像を
有するオブジェクト等、複数のメディアタイプの組み合わせを有するオブジェク
トを支持することができない。更に、限定的な音声付加を許容する従来のデジタ
ルカメラでは、デジタルカメラに対してマルチメディア機能を増強させるための
方法は提供されない。
従って、要求されるものは、デジタルカメラに支持されたメディアタイプを拡
張するための改良された方法及びシステムである。本発明は、このような要求に
応えるものである。
発明の要約
本発明は、前に捕捉された画像に対応する複数の画像セルを表示するためのビ
ューファインダを備えると共に、ソフトウェアにより制御されるデジタルカメラ
に支持されたメディアタイプを拡張するための方法及びシステムを提供する。係
る方法及びシステムは、デジタルカメラによって当初から支持されている第１の
メディアタイプを定義するための第１のメディアタイプモジュールを、係るデジ
タルカメラに供与することを含む。デジタルカメラはまた、ソフトウェアが第１
のメディアタイプモジュールにアクセスすることを許容するアプリケーションプ
ログラムインターフェイスを備えている。本発明の方法及びシステムは、更に、
第２のメディアタイプを定義する第２のメディアタイプモジュールをデジタルカ
メラにロードすることを含み、第２のメディアタイプモジュールは、アプリケー
ションプログラムインターフェイスを介してソフトウェアによりアクセス可能で
ある。デジタルカメラによりオブジェクトを捕捉した後、第２のメディアタイプ
はオブジェクトと結合される。
本明細書に開示されているシステム及び方法においては、デジタルカメラにお
ける基本メディアタイプは、アプリケーションプログラムインターフェイス（Ａ
ＰＩ）を用いてモジュール方式でソフトウェアに書き込まれる。本発明のＡＰＩ
によって、カメラ製造者及びデジタルカメラアプリケーション開発者は、デジタ
ルカメラのための新しいメディアタイプを作製することが可能になる。更に、こ
れら新しいメディアタイプは、カメラによって支持されたメディアタイプを拡張
するために、ユーザによってカメラに付加され得る。これにより、デジタルカメ
ラにおいて種々のマルチメディアによる内容を有するオブジェクトを作製するこ
とができる。
図面の簡単な説明
図１は、本発明に基づき動作するデジタルカメラを示すブロック図である。
図２は、図１の撮像装置における好適な実施形態を示すブロック図である。
図３は、図１のコンピュータにおける好適な実施形態を示すブロック図である
。
図４は、デジタルカメラのためのユーザインターフェイスを示すブロック図で
ある。
図５は、画像セルのフォーマットを示すブロック図である。
図６は、捕捉された画像に結合され得るメディアタイプの例と、対応するアイ
コンとを示す表である。
図７は、本発明におけるデジタルカメラのソフトウェアの構成を示すブロック
図である。
図８は、本発明における画像ファイルのフォーマットを示すブロック図である
。
図９は、セルマネジャーソフトウェアモジュールにより管理されるセルの両方
向リストを示すブロック図である。
図１０は、本発明におけるプラグインメディアタイプモジュールのためのアプ
リケーションプログラムインターフェイス（ＡＰＩ）の構成を示すブロック図で
ある。
図１１Ａ及び図１１Ｂは、デジタルカメラのビューファインダに表示されるプ
ラグインメディアタイプを示すブロック図である。
図１２は、テキストをベースとするメディアタイプのデータをデジタルカメラ
に捕捉するための一方法を示すブロック図である。
発明の説明
本発明は、デジタルカメラの改良に関する。以下の説明は、当該技術分野の通
常の技術を有する者が本発明を製造及び使用することができるように記載される
と共に、特許出願及びその要件に従って記載されていろ。好適な実施形態に対し
て種々の変更を成し得ることは当該技術分野の従事者には自明であり、本明細書
に記載されている包括的な原則は、他の実施形態に適用することができる。従っ
て、本発明は記載された実施形態に限定されるものではなく、本明細書に記載さ
れている原則及び特徴と一致する最も広い範囲を適用されるものとする。
本発明は、デジタルカメラに支持されたメディアタイプを拡張するための方法
及びシステムを有するデジタルカメラである。デジタルカメラの構造は、1996年
＿月＿日に出願され、本願譲渡人に譲渡された「デジタルカメラ装置を構成する
ために統一メモリ構造を用いるためのシステム及び方法」と題する同時係属中の
米国特許出願番号第 号に開示されている。本願出願人は係る同時係属中の出
願を参考として援用し、便宜上、係る出願におけるいくつかの部分を、図１〜３
を参照して本明細書に再記載する。
図１には、本発明に基づくカメラ１１０のブロック図を示す。カメラ１１０は
、好ましくは、撮像装置１１４、システムバス１１６及びコンピュータ１１８を
有する。撮像装置１１４はオブジェクト１１２に光学的に接続されると共に、シ
ステムバス１１６を介してコンピュータ１１８に電気的に接続されている。撮影
者がオブジェクト１１２に撮像装置１１４の焦点を当て、捕捉ボタン又はその他
の手段によりオブジェクト１１２の像を捕捉するようにカメラ１１０に指示する
と、コンピュータ１１８は、オブジェクト１１２を示す生画像データを捕捉する
ように、システムバス１１６を介して撮像装置１１４に命令する。捕捉された生
画像データは、画像データを内部メモリに記憶する前に画像データに対して種々
の画像処理機能を実行するコンピュータ１１８に、システムバス１１６を介して
転送される。システムバス１１６はまた、撮像装置１１４とコンピュータ１１８
との間で、種々のステータス信号及び制御信号を交信する。
図２には、撮像装置１１４の好適な実施形態のブロック図を示す。撮像装置１
１４は、好ましくは、アイリスを有するレンズ２２０、フィルタ２２２、画像セ
ンサ２２４、タイミングジェネレータ２２６、アナログ信号プロセッサ（ＡＳＰ
）２２８、アナログからデジタルへの（Ａ／Ｄ）コンバータ２３０、インターフ
ェイス２３２、及び１つ以上のモータ２３４を有する。
1994年12月13日に出願された「撮像装置のためのフォーカスアシストとしてコ
ントラストオーバーレイを生成するためのシステム及び方法」と題する米国特許
出願第08/355,031号を本明細書に参照のために援用し、撮像装置１１４における
好適な要素を詳細に説明する。簡潔に説明すると、撮像装置１１４は、
光路２３６に沿って画像センサ２２４にぶつかる反射光を介して、オブジェクト
１１２の画像を捕捉する。画像センサ２２４はこれに応答して、捕捉された画像
１１２を表す一連の生画像データを生成する。次に、生画像データはＡＳＰ２２
８、Ａ／Ｄコンバータ２３０及びインターフェイス２３２を通過する。インター
フェイス２３２は、ＡＳＰ２２８、モータ２３４及びタイミングジェネレータ２
２６を制御するための出力を有する。インターフェイス２３２からは、生データ
画像はシステムバス１１６を介してコンピュータ１１８に到達する。
図３には、コンピュータ１１８の好適な実施形態のブロック図を示す。システ
ムバス１１６は、撮像装置１１４、パワーマネジャー３４２、中央処理装置（Ｃ
ＰＵ）３４４、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）３４６、入力
／出力インターフェイス（Ｉ／Ｏ）３４８、リードオンリーメモリ（ＲＯＭ）３
５０及びバッファ／コネクタ３５２の間に接続パスを供与する。取り外し可能メ
モリ３５４は、バッファ／コネクタ３５２を介してシステムバス１１６に接続さ
れる。カメラ１１０はまた、取り外し可能メモリ３５４又はバッファ／コネクタ
３５２を備えることなく構成してもよい。
パワーマネジャー３４２は、ライン３６６を介して電源３５６と接続され、カ
メラ１１０のための電源管理操作を調整する。ＣＰＵ３４４は、一般に、カメラ
１１０の操作を制御するための従来のプロセッサ装置を備えている。好適な実施
形態では、ＣＰＵ３４４は、多重スレッド環境にてカメラ１１０の種々の処理を
制御するために、複数のソフトウェアルーティンを同時に実行することができる
。ＤＲＡＭ３４６は、種々の記憶機能に選択的に割り付け可能なダイナミックメ
モリの連続ブロックである。
Ｉ／Ｏ３４８は、コンピュータ１１８との相互コミュニケーションを可能にす
るインターフェイス装置である。例えば、Ｉ／Ｏ３４８によって、外部ホストコ
ンピュータ（図示せず）はコンピュータ１１８に接続されたり、コンピュータ１
１８と通信することができる。また、Ｉ／Ｏ３４８によって、カメラ１１０のユ
ーザは、ビューファインダとして言及される外部ユーザインターフェイスを介し
て、及び外部表示パネルを介して、カメラ１１０と通信することができる。
ＲＯＭ３５０は一般に、カメラ１１０の操作を制御するためのコンピュータに
よって読み取り可能な一連のプログラム指示を記憶する、従来の不揮発性リード
オンリーメモリを備えている。取り外し可能メモリ３５４は更なる画像データ記
憶エリアとして機能し、カメラ１１０のユーザによってバッファ／コネクタ３５
２を介して容易に取り外し可能であると共に交換可能な、不揮発性メモリである
ことが好ましい。従って、複数の取り外し可能メモリ３５４を所有しているユー
ザは、カメラ１１０の撮影能力を効果的に拡張するために、いっぱいになった取
り外し可能メモリ３５４を空の取り外し可能メモリ３５４と交換することができ
る。本発明の好適な実施形態においては、取り外し可能メモリ３５４は一般に、
フラッシュディスクによって構成される。
電源３５６は、カメラ１１０の種々の要素に操作電力を供給する。好適な実施
形態では、電源３５６は主パワーバス３６２と、補助パワーバス３６４とに操作
電力を供給する。主パワーバス３６２は、撮像装置１１４、Ｉ／Ｏ３４８、ＲＯ
Ｍ３５０及び取り外し可能メモリ３５４に電力を供給する。補助パワーバス３６
４はパワーマネジャー３４２、ＣＰＵ３４４及びＤＲＡＭ３４６に電力を供給す
る。
電源３５６は、複数のメインバッテリ３５８と複数のバックアップバッテリ３
６０とに接続されている。好適な実施形態では、カメラ１１０のユーザはまた、
電源３５６を外部電源に接続し得る。電源３５６の通常操作を行っている間、メ
インバッテリ３５８は電源３５６に操作電力を供給し、次に電源３５６は主パワ
ーバス３６２及び補助パワーバス３６４の両方を介して、カメラ１１０に操作電
力を供給する。
メインバッテリ３５８に異常が発生した電源異常モード（メインバッテリ３５
８の出力電圧が最小操作電圧レベルを下回った状態）では、バックアップバッテ
リ３６０が電源３５６に操作電力を供給し、電源３５６は次にカメラ１１０の補
助パワーバス３６４のみに操作電力を供給する。このように、カメラ１１０の選
択された要素（ＤＲＡＭ３４６を含めて）は、メインバッテリ３５８における電
源異常に対して保護されている。
電源３５６はまた、好適には、メインバッテリ３５８から延びる配電線に接続
されたフライホイールコンデンサを備えている。メインバッテリ３５８に突然異
常を来しても、フライホイールコンデンサはメインバッテリ３５８からの電圧を
一時的に十分なレベルに維持することができ、それにより、その時点でカメラ１
１０により処理されているあらゆる画像データを、機能停止が生じる前に保護す
ることが可能になる。
図４は、本願譲渡人に譲渡されると共に参照のために本明細書に援用される「
デジタルカメラのインターフェイスにおいて画像を表示するための方法及びシス
テム」と題する同時係属中の米国特許出願第 号に記載されたデジタルカメラ
のための、ユーザインターフェイス４００を示すブロック図である。１つの好適
な実施形態では、ユーザインターフェイスはビューファインダ４０２、フォトボ
タン４０４と呼ばれる撮像ボタン、四方向ナビゲーション制御ボタン４０６、メ
ニューボタン４０８、ビューファインダ４０２内のメニューエリア４１０及び複
数の機能キー４１２を備えている。ユーザインターフェイス４００はまた、選択
的に音声ボタン４１４及びモードボタン４１６を備えてもよい。
図１及び図４に示すように、ユーザインターフェイス４００は、ライブビュー
ファインダモード及びレビューモードの２つのモードにおいて動作する。好適な
実施形態では、フォトボタン４０４は二位置ボタンである。ライブビューファイ
ンダモードは、ユーザがオブジェクト１１２にカメラを向け、フォトボタン４０
４を押して第１の位置に合わせた時点に開始する。このモードが開始すると、ビ
ューファインダ４０２は、オブジェクト１１２の画像を、カメラの撮像装置１１
４を介して示される状態で表示する。次にユーザは、ビューファインダ４０２に
示された画像を捕捉するために、フォトボタン４０４を押して第２の位置に合わ
せる。レビューモードは、インターフェイス４００のその他任意のボタンを押す
ことによって開始する。
図４に示すように、デジタルカメラ１１０がレビューモードに入ると、ビュー
ファインダ４０２は、デジタルカメラにて既に捕捉された複数のデジタル画像を
示す一連のセル４２０を表示する。ビューファインダ４０２は同図において、９
つの画像セル４２０を表示している状態で示されている。各セル４２０は、捕捉
された画像の１つに対応する縮小画像を表示する。ユーザは四方向ナビゲーショ
ン制御ボタン４０６によって、ビューファインダ４０２に表示された一連のセル
４２０間をナビゲートすることができる。ユーザがセル４２０間をナビゲートす
る際、前の画像セル４０２はビューファインダ４０２からスクロールオフされ、
カメラに記憶されたその他の画像を示す新しい画像セル４２０によって置き換え
られる。
四方向ナビゲーション制御４０６によってその時点で選択されたセル４２０は
、選択を示す長方形として表示されるハイライトエリア４１９によって囲まれる
。その他の形状もまた、ハイライトエリアに適している。セル４２０を選択した
ら、ユーザは、ビューファインダ４０２に画像のフルサイズバージョンを表示す
るために、複数の機能ボタン４１２の１つを押す。
図５は、セル４２０のフォーマットを示すブロック図である。各セル４２０は
画像エリア４２２及びアイコン／情報エリア４２４を有する。アイコン／情報エ
リア４２４は、１つ以上のグラフィックアイコン及び／又はテキスト情報を表示
するためのエリアである。アイコン／情報エリア４２４に表示されたアイコン及
びテキスト情報は、画像エリア４２２に表示された画像にいずれのメディアタイ
プが結合されたかをユーザに示すものである。オブジェクトにいずれのメディア
タイプが結合されたかを示すことは、一定のメディアタイプにおけるいずれの組
み合わせがそのオブジェクトに含まれているかを識別することを意味する。一定
のメディアタイプの例としては、グラフィック画像、テキスト及び音声がある。
図６はメディアタイプの例と、捕捉された画像に結合され得る対応するアイコ
ンとを示す表である。捕捉された画像のメディアタイプは、単一の画像、継時露
出撮影（a time lapse）画像すなわちバースト画像、映画クリップ又はパノ
ラマを示す。メディアタイプはまた音声を示す場合があり、対応するアイコンは
画像エリア４２２に表示された画像に音声クリップが結合されていることを示す
。
図７に示されていないその他のメディアタイプもまた、捕捉された画像に結合
され得る。その例としては、例えば、スライドショーメディアタイプ及びフォル
ダメディアタイプが挙げられる。スライドショーとは音声を伴い同一のファイル
に連続的に記憶された複数の画像から成り、フォルダとはディレクタ又はフォル
ダに記憶された１つ以上の画像である。メディアタイプが複数画像の群から成る
場合、対応するセル４２０の画像エリア４２２には画像群の第１の画像、又は同
画像群の代表的な画像が表示され、アイコン／情報エリア４２４は一定のメディ
アタイプを示すグラフィックアイコン（例えば、スライドショーアイコン又はフ
ォルダアイコン）を表示する。
本発明は、デジタルカメラにより指示された複数のメディアタイプを拡張する
ための方法及びシステムである。本発明においては、カメラ製造者又はカメラの
ためのソフトウェアアプリケーション開発者が新しいメディアタイプを付加し得
るように、デジタルカメラにおける基本メディアタイプはモジュール形式でソフ
トウェアに書き込まれている。
図７には、本発明に基づくデジタルカメラのソフトウェア構成のブロック図を
示す。ソフトウェア４３０は制御アプリケーション４３２、ツールボックス４３
４、一連のドライバ４３６、カーネル４３８及び立ち上げ／構成モジュール４４
０を備えている。
制御アプリケーション４３２はデジタルカメラの機能を制御するメインプログ
ラムであり、ツールボックス４３４の機能とのインターフェイスを受け持ってい
る。ツールボックス４３４は、デジタルカメラによる画像の捕捉及び操作の方法
を制御している。ドライバ４３６は、外部コミュニケーションを行うためにＩ／
Ｏ３４８インターフェイスの制御を補助する。カーネル４３８は基本オペレーテ
ィングシステムの機能を制御する。立ち上げ／構成モジュール４４０はカメラの
ブートアッププロセスを制御する。
図４及び図７に示すように、ツールボックス４３４はセルマネジャー４４２及
びメディアタイプマネジャー４４４を備えている。セルマネジャー４４２は、デ
ジタルカメラのビューファインダ４０２における画像セル４２０の表示、ビュー
ファインダモードにおける捕捉プロセス、及びデータ表示時の検索プロセスを制
御する。メディアタイプマネジャー４４４は、以下により詳細に説明するように
、内蔵メディアタイプモジュール４４６及びオプティカルプラグインメディアタ
イプモジュール４４８とインターフェイスする。
内蔵メディアタイプモジュール４４６は、製造時にデジタルカメラ１１０によ
って当初から支持されているメディアタイプに対応するグラフィックアイコンを
備えている。メディアタイプマネジャー４４４は、内蔵メディアタイプモジュー
ル４４６及びプラグインメディアタイプモジュール４４８によって、アイコン／
情報エリア４２４におけるメディアタイプアイコンの表示を制御する。
本発明において、プラグインメディアタイプモジュール４４８によって、カメ
ラ製造者又はデジタルカメラアプリケーション開発者はデジタルカメラのための
新しいメディアタイプを作製することができる。これらの新しいメディアタイプ
は、その後、カメラにより支持されているメディアタイプを拡張するために、ユ
ーザによってカメラに付加され得る。
より詳細には、本発明は、メディアタイプマネジャー４４４と、内蔵メディア
タイプ４４６及びプラグインメディアタイプモジュール４４８の両者との間に、
アプリケーションプログラムインターフェイス（ＡＰＩ）を定義する。メディア
タイプマネジャー４４４はＡＰＩによって、内蔵メディアタイプモジュール４４
６に含まれると共にカメラによって当初から支持されているメディアタイプにア
ク七スする。また、ＡＰＩによって、メディアタイプマネジャー４４は、プラグ
インメディアタイプモジュール４４８を介してカメラに付加された新しいメディ
アタイプにアクセスすることができる。
図３及び図７の両方を参照し、本発明の作用を以下に説明する。カメラ１１０
が最初にスイッチオンされてブートアップされたとき、立ち上げ／構成４４０要
素は実行開始し、ＤＲＡＭ３４６にドライバ４３６及びカーネル４３８をロード
する。ＲＯＭ３５０に含まれているのは、例えば、どの内蔵メディアタイプ４４
６がカメラ１１０に支持されているかといった、デジタルカメラ１１０の構成情
報を含むシステムファイルである。
カメラ１１０のために書かれたソフトウェアアプリケーションは、取り外し可
能メモリ３５４から（例えば、フラッシュディスクから）、又はアプリケーショ
ンをホストコンピュータからダウンロードすることによって、カメラ１１０にイ
ンストールされ得る。ソフトウェアアプリケーションは、新しいアプリケーショ
ン用にデジタルカメラ１１０を構成するために、ソフトウェアアプリケーション
自体のシステムフォルダを備えている。ソフトウェアアプリケーションが新しい
メディアタイプを必要とする場合、新しいメディアタイプはプラグインメディア
タイプモジュール４４８の形態でシステムフォルダに定義される。
カーネル４３８がロードされた後、立ち上げ／構成モジュール４４０は、ＤＲ
ＡＭ３４６及び取り外し可能メモリ３５４の両方にてシステムフォルダをサーチ
する。ＤＲＡＭ３４６及び取り外し可能メモリ３５４の両方にシステムフォルダ
が存在する場合は、好適な実施形態では、両方のシステムファイルの内容を用い
る。また、取り外し可能メモリ３５４からのシステムファイルは、ＤＲＡＭ３４
６のシステムファイルを上書きするために用いることができる。
内蔵メディアタイプモジュール４４６がＲＯＭ３５０から検索され、プラグイ
ンメディアタイプモジュール４４８が（１つでも存在する場合は、同モジュール
が）システムフォルダから検索された後、プラグインメディアタイプモジュール
４４８は内蔵メディアタイプモジュールとリンクされる。次に、どのようなメデ
ィアタイプの組み合わせがデジタルカメラ１１０によって支持されているかをメ
ディアタイプマネジャー４４４に知らせるために、カメラに存在する全てのメデ
ィアタイプがメディアタイプマネジャー４４４に報告される。
立ち上げプロセスの後、制御アプリケーション４３２が実行開始する。ユーザ
によるカメラの操作時、カメラがレビューモードにある際はビューファインダ４
０２に或る画像セル４２０を表示する等のタスクを実行するために、制御プログ
ラム４３２はツールボックス４３４の種々の要素に対して呼び出しを行う。画像
セル４２０を表示するためには、制御アプリケーション４３２はメディアタイプ
マネジャー４４４に対して呼び出しを行う。
呼び出しに応答して、メディアタイプマネジャー４４４は、必要な情報を検索
するようにセルマネジャー４４２を呼び出す。画像セル４２０に関する情報が返
送された後、メディアタイプマネジャー４４４は、一定のセル４２０における画
像エリア４２２及びセル４２０におけるアイコンエリア４２４内の必要なアイコ
ンの両方を表示する。このような表示を行うために、メディアタイプマネジャー
４４４は最初に、画像に結合された各メディアタイプが内蔵タイプであるかプラ
グインタイプであるかを判断しなければならない。メディアタイプが内蔵である
場合は、メディアタイプマネジャー４４４は、適切なアイコンにアクセスするよ
うに内蔵メディアタイプモジュール４４６に対してＡＰＩ呼び出しを行う。メデ
ィアタイプがプラグインである場合は、メディアタイプマネジャー４４４はプラ
グインメディアタイプモジュール４４８に対してＡＰＩ呼び出しを行う。
本発明におけるデジタルカメラの複数のメディアタイプを拡張するためのＡＰ
Ｉは、種々のファイル構成によって構成され得るが、好適なファイル構成を以下
に説明する。
好適な実施形態では、カメラによって捕捉された各オブジェクトはメモリのメ
ディアタイプファイルに記憶され、２つ以上のメディアタイプから成るオブジェ
クトはファイル又はフォルダのいずれかに記憶される。複数のメディアタイプか
ら成るオブジェクトを支持するためには、各セルは単なる画像データ以外のもの
も含むファイル又はフォルダを参照する。メディアタイプファイルの一例として
、以下に説明するように静止画像を記憶するために用いられるファイルが挙げら
れる。
図８は、本発明における静止画像ファイルのフォーマットを示すブロック図で
ある。ファイルフォーマット４６０は、ヘッダ４６２、画像データ４６４、サム
ネイル（thumb nail）画像４６６及び画像タグフィールド４６８を備えている。
ヘッダ４６２によって一定の画像ファイルが識別される。画像データ４６４は
、圧縮形態における捕捉された画像から成る実際のデータである。サムネイル画
像４６６は捕捉された画像の縮小バージョンである。サムネイル画像４６６を備
えることによって、デジタルカメラは、画像データ４６２を処理及び圧縮解除す
ることなく、セル４２０の画像エリア４２２に直接的に画像を表示することがで
きる。
画像タグフィールド４６８は、画像データ４６４により示される画像に関する
情報を、好適にはタグの形態で備えている。メディアタイプタグは、例えば、画
像が単一の画像であるかパノラマ画像であるかというように、画像に結合された
全てのメディアタイプを示す。メディアタイプタグは、サムネイル画像４６６に
隣接するセル４２０のアイコン／情報エリア４２４に表示されるアイコンの型を
選択するために用いられる。
メディアタグ以外に、画像タグフィールド４６８はまた、画像及び／又はカメ
ラ自体に関連する更なる情報を記憶するために、その他の型のタグを備え得る。
例えば、画像が捕捉された際のカメラの設定、又はカメラ製造者のアイデンティ
ティを示すために、タグを用いてもよい。これらのタグの情報には、カメライン
ターフェイス４００における複数のボタンを介してアクセス可能である。その後
、更なる情報は、テキストとしてアイコン／情報エリア４２４に、又はビューフ
ァインダ４０２に表示されるダイアログボックスに表示され得る。
その他のメディアタイプファイルに対応するファイル及びフォルダのフォーマ
ットは、静止画像のためのファイルフォーマットに類似している。しかしながら
、画像データ４６４の内容は異なり得る。例えば、パノラマ用の画像データ４６
４は、単一画像のデータではなく複数の画像のデータを備え得る。別のメディア
タイプの画像データ４６４では画像データを全く備えておらず、テキストのみを
備えている場合もある。
ユーザがデジタルカメラで画像を捕捉すると、捕捉された画像はメモリにおけ
る種々の領域のファイルシステムに記憶されるが、必ずしも画像の捕捉順に従っ
て記憶されるわけではない。セルマネジャー４４２は、各セルをそれぞれの画像
に対応させたセルのリストを生成及び維持することによって、記憶された画像フ
ァイル４６０の経過を把握している。
図９は、セルマネジャー４２２により管理されているセルのリスト５００を示
すブロック図である。本発明においては、それぞれのセルは種々のポインタを備
えたデータ構造である。好適な実施形態では、セルリスト５００は両方向リスト
として構成されている。従って、各セルのポインタのうち２つは前又は後続のセ
ルを指すために用いられる。リスト５００の開始点はヘッダ５０２と呼ばれ、リ
ストの最終点はフッタ５０４と呼ばれる。図８及び図９の両方に示すように、各
セルのアドレスポインタは、対応する画像ファイル４３０の画像データ４６４、
サムネイル４６６及び画像タグ４６８が記憶されているファイルシステム５０６
の領域を指す。
図４及び図９に示すように、ユーザがビューファインダ４０２内をナビゲート
する際、新しい画像セル４２０がビューファインダ４０２にてスクロールされる
。１つの画像セル４２０が表示のためにビューファインダ４０２に接近する際、
セルリスト５００における対応するセルのポインタは、その画像のサムネイル４
６６及び画像タグ４６８を、ファイルシステムからＤＲＡＭ３４６にコピーする
ために用いられる。その画像セル４２０を表示する時点になったら、セルマネジ
ャー４４２はサムネイル４６８を表示し、画像に結合されたメディアアイコンを
表示させるようにメディアタイプマネジャー４４４を呼び出す。
画像タグ４６８が画像に内蔵メディアタイプが含まれていることを示す場合は
、メディアタイプマネジャー４４４はＡＰＩにより内蔵メディアタイプモジュー
ル４４６を呼び出す。画像タグ４６８が画像にプラグインメディアタイプが含ま
れていることを示す場合は、メディアタイプマネジャー４４４はＡＰＩにより適
切なプラグインメディアタイプモジュール４４８を呼び出す。
図１０は、本発明におけるプラグインメディアタイプモジュール４４８ＡＰＩ
の構成を示すブロック図である。各プラグインメディアタイプモジュール４４８
におけるＡＰＩ５２０は捕捉セクション５２２、ビューセクション５２４及び編
集／再生セクション５２６を備えている。
捕捉セクション５２２は、一定のメディアタイプにおけるカメラによる捕捉及
び記憶方法を制御するための捕捉プロセスコード及びビューファインダ制御コー
ドを備えている。ビューセクション５２４は、メディアタイプを示す画像セルの
レビュー方法を制御するためのセル表示コードを備えている。ＡＰＩ５２０の編
集／再生セクション５２６は、ビューファインダ４２０における一定のメディア
タイプの再生及び編集を行うためのフルスクリーン表示コードを備えている。
これら３つのＡＰＩは、制御アプリケーション４３２が一定のメディアタイプ
におけるカメラによる捕捉及び記憶方法を認識するように、各メディアタイプの
動作を定義する。各セクション５２２、５２４及び５２６はまた、それぞれのメ
ニューコードセクション５２２Ａ、５２４Ａ及び５２６Ａ、並びにアイコンセク
ション５２２Ｂ、５２４Ｂ及び５２６Ｂを有する。メニューコードセクション５
２２Ａ、５２４Ａ及び５２６Ａは、メディアタイプにおける対応するモード（捕
捉、編集／再生、ビュー）の間、ビューファインダ４０２に表示されるメニュー
アイテムを備えている。アイコンセクション５２２Ｂ、５２４Ｂ及び５２６Ｂは
、対応するメディアタイプを有するオブジェクトの画像セルに表示されるアイコ
ンを備えている。
ＡＰＩ５２０は、任意の型の新しいメディアタイプがデジタルカメラ１１０に
付加されることを許容する。また、カメラにより支持されたメディアタイプは必
ずしも画像ベースである必要はなく、テキストベースであってもよい。テキスト
ベースのメディアタイプの例としては、例えば所用リスト（to-do list）及び電
話番号リスト等が挙げられる。
これらのメディアタイプは内蔵されていないと想定すると、ソフトウェア開発
者はＡＰＩ５２０を用いて、所用リスト及び電話番号リストアプリケーションの
ためのプラグインメディアタイプ４４８を開発することができる。新しいメディ
アタイプは、取り外し可能メモリ３５４を介してカメラにロードされるか、又は
カメラに接続されたホストコンピュータからダウンロードされ得る。
新しいメディアタイプがロードされた後、メディアタイプマネジャー４４４は
、新しいメディアタイプアプリケーションを示す単一画像セル４２０の表示を制
御するために、ＡＰＩのビューセクション５２４を呼び出す。あるいは、メディ
アタイプマネジャー４４４は、新しいメディアタイプアプリケーションのビュー
ファインダ４０２における再生方法を制御するために、新しいメディアタイプＡ
ＰＩの編集／再生セクション５２６を呼び出す。
図１１Ａ及び図１１Ｂはデジタルカメラのビューファインダに表示中のプラグ
インメディアタイプの例を示すブロック図である。図１１Ａは、ユーザがカメラ
にて音声メモを録音することができるように付加された所用リストのプラグイン
メディアタイプを示す。各音声メモは、そのメモが録音された日時及びメモの所
要時間と共に示される。所用リストは画像ベースのメディアタイプではなく、音
声ベースのメディアタイプである。
図１１Ｂは、ユーザがカメラに氏名及び電話番号を記録することができるよう
に付加された電話番号リストのプラグインメディアタイプを示す。電話番号リス
トは、テキストベースのメディアタイプの一例である。
電話番号リストのようなメディアタイプがビューファインダ４０２に表示され
、ユーザがカメラを捕捉モードに入れた後、ＡＰＩ５２０の捕捉メニューコード
５２２Ａによって、実行され得るユーザ操作の型のメニューが表示される。
図１２は、テキストベースのメディアタイプのデータをデジタルカメラに捕捉
するための一方法を示すブロック図である。ユーザが氏名及び電話番号等の情報
を入力することができるように、ＡＰＩ５２０の捕捉セクション５２２はビュー
ファインダ４２０にアルファベットメニュー選択ボックスを表示する。ユーザは
所望の文字に繰り返しナビゲートし、文字を入力するために「アクセプト(Accep
t)」ボタンを押す。
テキストベースのメディアタイプのデータを捕捉するための方法における別の
例として、カメラにスキャナを接続してデータを読み取るという方法が挙げられ
る。例えば、電話番号リストのデータを捕捉するため、ユーザは顧客の名刺をス
キャンしてもよい。スキャンによって得られた情報は、ＡＰＩ５２０の捕捉セク
ション５２２によって捕捉され、好適にはＯＣＲモジュールを介してテキストに
変換されてデジタルカメラのファイルシステム５０６に記憶される。
図４に示すように、ユーザが新しいメディアタイプのデータを捕捉した後、新
しいメディアタイプの例（instance）を識別する画像セル４２０が、ビューファ
インダ４２０に表示される。例えば、図４には、図１１Ａ及び図１１Ｂに示す所
用リスト及び電話番号リストに対応する画像セル４２０が示されている。
以上、デジタルカメラに支持されたメディアタイプを拡張する方法及びシステ
ムについて説明した。本発明は、以上に記載した実施形態に基づき説明されてい
るが、それら実施形態に変更を加えることができることは当該技術分野の通常の
技術を有する者には容易に認識可能であり、それらの変更例は本発明の精神及び
範囲のうちに含まれるものである。従って、請求項の精神及び範囲を逸脱するこ
となく、多くの変更例が当該技術分野の通常の技術を有する者によって成され得
る。DETAILED DESCRIPTION OF THE INVENTION
Media types supported by digital cameras
Method and system for extending
Field of the invention
The present invention relates generally to digital cameras, and more particularly to digital cameras.
A method and system for extending a selected media type.
Background of the Invention
Modern digital cameras generally have an imaging system controlled by a computer system.
An imaging device is provided. Computer system is a raw image captured by the imaging device
Access the image data, then process and compress the data, then compress it into internal memory.
The compressed data is stored. Therefore, the effective operation of the computer depends on the camera designer and
This is an important consideration for the manufacturer. In some computer systems,
The memory structure determines the data storage technology and thereby the entire digital camera system
Significantly affects the operational efficiency of the body.
The user interface of a conventional digital camera is generally
A reduced version of the captured image so that multiple images can be viewed simultaneously
Is provided. Select one of those images
Allows the user to view a full size version of the image in the viewfinder
I can do it.
In conventional digital cameras, due to their structural limitations, the
There are several disadvantages in creating multimedia objects. Multimedia
The term media, as is traditionally used, is when an object is
Means having some combination of text, speech and text
. However, some conventional digital cameras do not have a recording function,
This
However, audio is captured in the captured image to create a multimedia object.
There is no function to add clips.
However, with conventional cameras that have a recording function, the user is generally
Sound can only be added to the latest image that was created. Such audio addition
Record an audio clip to capture the image and add it to the image, and then
This is done by adding to the captured image.
Audio recordings to be added to captured images can be recorded on cameras without recording
Although an improvement over the method, the method has several disadvantages. Disadvantaged
For one, audio is only added to the latest image captured by the camera
Sometimes. This allows the user to capture an image and sound before capturing the next image.
If you forget to add it, you can never add sound to a previously captured image.
No.
Another disadvantage of adding audio to a single image is adding audio to the image.
After the user has viewed the image and heard the added audio, the captured image
And the added audio must be downloaded to a personal computer.
That is. For this reason, if the digital camera has a viewfinder
, Even if the image with sound added cannot be played back with a digital camera
.
Therefore, a conventional digital camera can, for example, generate a plurality of images combined with sound.
Object that has a combination of multiple media types, such as an object that has
Can not support him. In addition, conventional digital
Cameras have been added to digital cameras to enhance multimedia capabilities.
No method is provided.
Therefore, what is required is to expand the media types supported by digital cameras.
An improved method and system for tensioning. The present invention meets such a demand.
It responds.
Summary of the Invention
The present invention provides a method for displaying a plurality of image cells corresponding to previously captured images.
Digital camera with viewfinder and controlled by software
Methods and systems for extending supported media types are provided. Person in charge
The first method and system supported by digital cameras is
A first media type module for defining a media type;
Includes providing to Tal Camera. Digital cameras are also software first
Application programs that allow access to the
It has a program interface. The method and system of the present invention further comprises:
A second media type module that defines a second media type;
A second media type module, including loading on the camera.
Software-accessible through the software program interface
is there. After capturing the object with a digital camera, the second media type
Is associated with the object.
In the systems and methods disclosed herein, digital cameras
The basic media type for the application program interface (A
PI) and is written in software in a modular fashion. API of the present invention
Allows camera manufacturers and digital camera application developers to
New media types for digital cameras. In addition,
These new media types extend the media types supported by the camera
Can be added to the camera by the user to do so. This allows digital turtles
Creating objects with various multimedia content in
Can be.
BRIEF DESCRIPTION OF THE FIGURES
FIG. 1 is a block diagram showing a digital camera operating according to the present invention.
FIG. 2 is a block diagram showing a preferred embodiment of the imaging device of FIG.
FIG. 3 is a block diagram showing a preferred embodiment of the computer shown in FIG.
.
FIG. 4 is a block diagram showing a user interface for a digital camera.
is there.
FIG. 5 is a block diagram showing the format of an image cell.
FIG. 6 shows examples of media types that can be combined into captured images and the corresponding eye.
It is a table | surface which shows a con.
FIG. 7 is a block diagram showing a software configuration of a digital camera according to the present invention.
FIG.
FIG. 8 is a block diagram showing a format of an image file according to the present invention.
.
FIG. 9 shows both cells managed by the cell manager software module.
It is a block diagram showing a direction list.
FIG. 10 shows an application for a plug-in media type module in the present invention.
FIG. 2 is a block diagram showing a configuration of an application program interface (API).
is there.
FIG. 11A and FIG. 11B are views showing a screen displayed on a viewfinder of a digital camera.
It is a block diagram showing a lag-in media type.
Figure 12 shows a text-based media type of data transferred to a digital camera.
FIG. 4 is a block diagram showing a method for capturing the information.
Description of the invention
The present invention relates to an improvement of a digital camera. The following description is based on those skilled in the art.
Described so that one of ordinary skill can make and use the present invention
Along with the patent application and its requirements. For the preferred embodiment
It is obvious to those skilled in the art that various changes can be made by
The general principles described in can be applied to other embodiments. Follow
Therefore, the present invention is not limited to the described embodiments, but is described in this specification.
The broadest scope consistent with the principles and characteristics set out shall apply.
The present invention relates to a method for extending media types supported by digital cameras.
And a digital camera having the system. Digital camera structure, 1996
Filed on _ month _ and assigned to the assignee of the present application
And a method for using a unified memory structure for
U.S. Patent Application No. Issue. Applicant filed such co-pending
The application is incorporated by reference, and for convenience, some parts of the application are shown in FIGS.
And re-described herein.
FIG. 1 shows a block diagram of a camera 110 according to the present invention. Camera 110
Preferably, the imaging device 114, the system bus 116 and the computer 118
Have. The imaging device 114 is optically connected to the object 112 and
It is electrically connected to a computer 118 via a stem bus 116. photograph
A person focuses the object 112 on the imaging device 114 and uses the capture button or other
Instructs the camera 110 to capture an image of the object 112 by means of
Computer 118 captures raw image data representing object 112
As described above, the imaging device 114 is instructed via the system bus 116. Raw captured
Before storing the image data in the internal memory, the image data
Via a system bus 116 to a computer 118 executing the image processing function of
Will be transferred. The system bus 116 also includes an imaging device 114 and a computer 118
And various status signals and control signals.
FIG. 2 shows a block diagram of a preferred embodiment of the imaging device 114. Imaging device 1
14 preferably includes a lens 220 having an iris, a filter 222, and an image sensor.
Sensor 224, timing generator 226, analog signal processor (ASP)
) 228, analog to digital (A / D) converter 230, interface
232 and one or more motors 234.
Filed on December 13, 1994,
Patent for "System and method for generating a trust overlay"
Application Ser. No. 08 / 355,031 is hereby incorporated by reference herein and is incorporated herein by reference.
Preferred elements will be described in detail. Briefly, the imaging device 114 includes:
Through reflected light that strikes the image sensor 224 along the optical path 236, the object
Capture 112 images. Image sensor 224 responds by responding to the captured image.
A series of raw image data representing 112 is generated. Next, the raw image data is stored in the ASP22
8. The signal passes through the A / D converter 230 and the interface 232. Inter
The face 232 includes an ASP 228, a motor 234, and a timing generator 2.
26 has an output for controlling 26. Raw data from interface 232
The images reach computer 118 via system bus 116.
FIG. 3 shows a block diagram of a preferred embodiment of the computer 118. System
Bus 116 includes an imaging device 114, a power manager 342, and a central processing unit (C
PU) 344, dynamic random access memory (DRAM) 346, input
/ Output interface (I / O) 348, read only memory (ROM) 3
Provide a connection path between 50 and buffer / connector 352. Removable
The memory 354 is connected to the system bus 116 via the buffer / connector 352.
It is. Camera 110 may also have removable memory 354 or a buffer / connector.
352 may be provided.
Power manager 342 is connected to power supply 356 via line 366 and
Coordinate power management operations for camera 110. The CPU 344 generally includes a camera
A conventional processor device for controlling the operation of 110 is provided. Preferred practice
In an embodiment, the CPU 344 performs various processes of the camera 110 in a multi-thread environment.
Multiple software routines can be executed simultaneously to control
. DRAM 346 is a dynamic memory that can be selectively assigned to various storage functions.
It is a continuous block of moly.
I / O 348 enables intercommunication with computer 118.
Interface device. For example, I / O 348 allows external host
A computer (not shown) is connected to the computer 118 or the computer 1
18 can be communicated. Also, the I / O 348 allows the camera 110 to be used.
User via an external user interface referred to as the viewfinder
And through the external display panel.
ROM 350 generally stores a computer for controlling the operation of camera 110.
A conventional non-volatile read that stores a series of readable program instructions
It has only memory. Removable memory 354 stores additional image data.
It functions as a storage area, and the buffer / connector 35
2 is a non-volatile memory that is easily removable and replaceable via
Is preferred. Therefore, a user having a plurality of removable memories 354
The camera must be filled to effectively expand the shooting capabilities of the camera 110.
The removable memory 354 can be replaced with an empty removable memory 354.
You. In the preferred embodiment of the present invention, the removable memory 354 is generally
It is composed of a flash disk.
Power supply 356 supplies operating power to various elements of camera 110. Preferred practice
In the embodiment, the power supply 356 operates on the main power bus 362 and the auxiliary power bus 364.
Supply power. The main power bus 362 includes the imaging device 114, the I / O 348, the RO
Provides power to M350 and removable memory 354. Auxiliary power bus 36
4 supplies power to the power manager 342, the CPU 344, and the DRAM 346.
You.
The power supply 356 includes a plurality of main batteries 358 and a plurality of backup batteries 3
60. In a preferred embodiment, the user of camera 110 also
Power supply 356 may be connected to an external power supply. During normal operation of the power supply 356,
The in-battery 358 supplies operating power to the power supply 356, which in turn supplies main power.
Operation power to the camera 110 via both the power bus 362 and the auxiliary power bus 364.
Supply power.
A power failure mode in which a failure has occurred in the main battery 358 (main battery 35
8 is below the minimum operating voltage level).
360 supplies operating power to power supply 356, which in turn supplies supplemental power to camera 110.
Operation power is supplied only to the auxiliary power bus 364. Thus, the selection of the camera 110
The selected elements (including DRAM 346) are powered by main battery 358.
Protected against source abnormalities.
Power supply 356 also preferably connects to a power distribution line extending from main battery 358.
With a flywheel condenser. Suddenly different from main battery 358
In normal times, the flywheel capacitor will keep the voltage from the main battery 358
Can be temporarily maintained at a sufficient level, so that the camera 1
10 to protect any image data being processed before an outage occurs.
It becomes possible.
FIG. 4 is assigned to the assignee of the present application and is incorporated herein by reference.
Method and system for displaying images at a digital camera interface
Co-pending U.S. Patent Application No. Digital camera described in the issue
FIG. 3 is a block diagram showing a user interface 400 for the user. One suitable
In some embodiments, the user interface includes a viewfinder 402,
Button 404, a four-way navigation control button 406,
New button 408, menu area 410 in viewfinder 402, and
A number of function keys 412 are provided. The user interface 400 also includes a selection
A sound button 414 and a mode button 416 may be provided.
As shown in FIGS. 1 and 4, the user interface 400 includes a live view.
It operates in two modes, a finder mode and a review mode. Suitable
In an embodiment, photo button 404 is a two-position button. Live view fire
Commander mode is when the user points the camera at the object 112 and the photo button 40
It starts when the user presses 4 to set the first position. When this mode starts,
The viewfinder 402 converts the image of the object 112 into the image pickup device 11 of the camera.
4 is displayed in the state shown through FIG. Next, the user enters the viewfinder 402
Press the photo button 404 to align the second position to capture the image shown.
Let In review mode, press any other button on interface 400
Start by doing.
As shown in FIG. 4, when the digital camera 110 enters the review mode,
The viewfinder 402 converts a plurality of digital images already captured by the digital camera
A series of cells 420 is displayed. The view finder 402 in FIG.
One image cell 420 is shown. Each cell 420 captures
A reduced image corresponding to one of the displayed images is displayed. The user has four-way navigation
A series of cells displayed on the viewfinder 402 by the view control button 406
One can navigate between 420. The user navigates between cells 420
The previous image cell 402 is scrolled off from the viewfinder 402,
Replaced by new image cell 420 showing other images stored in camera
Can be
The cell 420 currently selected by the four-way navigation control 406 is
, Surrounded by a highlight area 419 displayed as a rectangle indicating the selection
. Other shapes are also suitable for highlight areas. Cell 420 selected
The user then displays a full size version of the image on viewfinder 402.
To do so, one of the function buttons 412 is pressed.
FIG. 5 is a block diagram showing the format of the cell 420. Each cell 420
It has an image area 422 and an icon / information area 424. Icon / Information
Rear 424 displays one or more graphic icons and / or text information
It is an area to do. Icons and icons displayed in the icon / information area 424
And text information are stored in the image displayed in the image area 422.
This is to indicate to the user whether the group has been combined. Any media in the object
Indicating which types have been combined means which set in a given media type
Means to identify if the match is included in the object. Constant
Examples of media types include graphic images, text, and audio.
FIG. 6 shows examples of media types and corresponding icons that can be combined with the captured image.
FIG. The media type of the captured image can be single image,
A time lapse image or burst image, movie clip or pano
Show the llama. The media type may also indicate audio, and the corresponding icon
Indicates that an audio clip is combined with the image displayed in image area 422
.
Other media types not shown in FIG. 7 may also be combined with the captured image
Can be done. Examples include slide show media types and folders.
Damed media type. Slide show is the same file with audio
A folder is a director or a folder.
One or more images stored in the memory. Media type consists of groups of multiple images
In this case, the first image of the image group or the
A representative image of the image group is displayed, and the icon / information area 424 has a fixed media.
Graphic icon (e.g., slideshow icon or file
Folder icon).
The invention extends multiple media types indicated by digital cameras
Method and system. In the present invention, the camera manufacturer or the camera
Software application developers can add new media types
As shown, the basic media type in digital cameras is
Has been written to the software.
FIG. 7 is a block diagram of a software configuration of a digital camera according to the present invention.
Show. The software 430 includes the control application 432 and the toolbox 43
4. A series of drivers 436, a kernel 438, and a launch / configuration module 44
0 is provided.
The control application 432 is a main program for controlling the functions of the digital camera.
And is responsible for interfacing with the functionality of the toolbox 434.
You. Toolbox 434 provides a method for capturing and manipulating images with a digital camera.
Is controlling. The driver 436 controls the I / O to perform external communication.
Aids control of O348 interface. Kernel 438 is the basic operator
Controls the functioning of the operating system. The launch / configuration module 440 is
Control the boot-up process.
As shown in FIGS. 4 and 7, the toolbox 434 includes a cell manager 442 and a
And a media type manager 444. The cell manager 442
Display and view of image cell 420 in viewfinder 402 of digital camera
Controls the capture process in finder mode and the search process when displaying data.
I will. The media type manager 444 is configured as described in more detail below.
, Built-in media type module 446 and optical plug-in mediator
Interfaces with IP module 448.
The built-in media type module 446 is provided by the digital camera 110 during manufacturing.
Graphic icon corresponding to the media type supported from the beginning
Have. The media type manager 444 is a built-in media type module.
Icon 446 and plug-in media type module 448
The display of the media type icon in the information area 424 is controlled.
In the present invention, the plug-in media type module
Manufacturers or digital camera application developers
New media types can be created. These new media types
Will then be able to extend the media types supported by the camera.
Can be added to the camera by the user.
More specifically, the present invention provides a media type manager 444 and a built-in media
Between both type 446 and plug-in media type module 448,
Define an application program interface (API). media
The type manager 444 uses the built-in media type module 44 by API.
6 and are supported by the camera from the beginning.
I will do it. Also, the API allows the media type manager 44 to plug
New media added to the camera via the in-media type module 448
Can access the Atype.
The operation of the present invention will be described below with reference to both FIG. 3 and FIG. Camera 110
When the device is first switched on and booted up, startup / configuration 440 is required.
Element starts execution and loads driver 436 and kernel 438 into DRAM 346
I do. The ROM 350 includes, for example, which built-in media type 44
Configuration information of the digital camera 110, such as whether the camera 6 is supported by the camera 110.
This is a system file containing information.
Software application written for camera 110 is removable
From the active memory 354 (eg, from a flash disk) or from an application
By downloading the application from the host computer,
Can be installed. Software applications are new applications
Software application to configure the digital camera 110 for
It has its own system folder. Software applications are new
If you need a media type, the new media type is plug-in media
It is defined in the system folder in the form of a type module 448.
After the kernel 438 is loaded, the launch / configuration module 440 will
Search system folders in both AM 346 and removable memory 354
I do. System folder in both DRAM 346 and removable memory 354
If present, the preferred embodiment uses the contents of both system files.
You. The system file from the removable memory 354 is stored in the DRAM 34
6 can be used to overwrite system files.
The built-in media type module 446 is searched from the ROM 350 and
Media type module 448 (if there is at least one,
Plug-in media type module after being retrieved from the system folder)
448 is linked to the built-in media type module. Then, what
Whether the combination of media types is supported by the digital camera 110.
In order to inform the media type manager 444, all media
The media type is reported to the media type manager 444.
After the startup process, the control application 432 starts executing. A user
Viewfinder 4 when the camera is in review mode
02 to perform a task such as displaying an image cell 420 in the control program.
Ram 432 makes calls to various elements of toolbox 434. image
In order to display cell 420, control application 432 must use media type
Make a call to the manager 444.
In response to the call, the media type manager 444 retrieves the required information
The cell manager 442 is called to execute. Returns information about image cell 420
After being sent, the media type manager 444
Necessary icons in the icon area 424 in the image area 422 and the cell 420
Display both. In order to make such a display, the media type manager
444 first checks whether each media type associated with the image is a built-in type.
You have to judge whether it is a guin type. Built-in media type
If so, the media type manager 444 will access the appropriate icon
An API call is made to the built-in media type module 446 as described above. Mede
If the media type is a plug-in, the media type manager 444
An API call is made to the login media type module 448.
AP for extending multiple media types of a digital camera according to the present invention
I can be composed of various file configurations.
Will be described.
In a preferred embodiment, each object captured by the camera is stored in memory
Objects that are stored in media type files and consist of two or more media types
Events are stored in either files or folders. Multiple media types
Each cell is more than just image data to support objects consisting of
File or folder that also contains As an example of a media type file
Include files used to store still images as described below.
It is.
FIG. 8 is a block diagram showing the format of a still image file according to the present invention.
is there. The file format 460 includes a header 462, image data 464, and a sum.
A thumbnail image 466 and an image tag field 468 are provided.
The header 462 identifies certain image files. Image data 464 is
, The actual data consisting of the captured image in compressed form. Thumbnail picture
Image 466 is a reduced version of the captured image. Equipped with thumbnail image 466
The digital camera processes and decompresses the image data 462
Without displaying the image directly in the image area 422 of the cell 420.
Wear.
The image tag field 468 relates to the image indicated by the image data 464.
The information is provided, preferably in the form of a tag. Media type tags are, for example,
Combined into images, such as whether the image is a single image or a panoramic image
Shows all media types. The media type tag is added to the thumbnail image 466
The type of the icon displayed in the icon / information area 424 of the adjacent cell 420
Used to select.
In addition to media tags, the image tag field 468 may also include images and / or cameras.
Other types of tags may be provided to store additional information related to the line itself.
For example, the camera settings when the image was captured, or the identity of the camera manufacturer
Tags may be used to indicate tees. Information on these tags includes the camera in
Accessible via a plurality of buttons on interface 400. afterwards
, Additional information may be provided as text in the icon / information area 424 or in the view
It can be displayed in a dialog box displayed in the finder 402.
File and folder formats for other media type files
The file is similar to the file format for still images. However
, Image data 464 may be different. For example, panoramic image data 46
4 may comprise data of multiple images instead of data of a single image. Another media
Type image data 464 does not have any image data, only text
May have.
When a user captures an image with a digital camera, the captured image is stored in memory.
Are stored in the file system in various areas, but not necessarily in the order of image capture.
It is not remembered. The cell manager 442 displays each cell with its own image
By generating and maintaining a list of cells corresponding to the stored image files,
The progress of the file 460 is grasped.
FIG. 9 shows a list 500 of cells managed by the cell manager 422.
FIG. In the present invention, each cell has various pointers.
This is the data structure obtained. In the preferred embodiment, cell list 500 is a two-way list.
Is configured as Therefore, two of the pointers in each cell indicate the previous or subsequent cell.
Used to refer to files. The starting point of list 500 is called header 502 and
The last point of the strike is called footer 504. As shown in both FIG. 8 and FIG.
The address pointer of the cell is the image data 464 of the corresponding image file 430,
File system 506 in which thumbnails 466 and image tags 468 are stored
Area.
As shown in FIGS. 4 and 9, the user navigates in viewfinder 402.
The new image cell 420 is scrolled in the viewfinder 402
. As one image cell 420 approaches the viewfinder 402 for display,
The pointer of the corresponding cell in the cell list 500 indicates the thumbnail 4 of the image.
66 and the image tag 468 from the file system to the DRAM 346
Used for When it is time to display the image cell 420,
442 displays a thumbnail 468 and displays the media icon associated with the image.
The media type manager 444 is called to be displayed.
If the image tag 468 indicates that the image contains a built-in media type
, Media type manager 444 is built-in media type module by API
446 is called. Image tag 468 contains the plug-in media type in the image
If the media type manager 444 indicates that the
The plug-in media type module 448.
FIG. 10 shows a plug-in media type module 448 API according to the present invention.
FIG. 3 is a block diagram showing the configuration of FIG. Each plug-in media type module 448
API 520 in capture section 522, view section 524 and
A collection / playback section 526 is provided.
The capture section 522 captures and captures by cameras on certain media types.
Process code and viewfinder control code for controlling storage and storage methods
Equipped. The view section 524 includes an image cell indicating the media type.
A cell display code for controlling the review method is provided. API 520
The collection / playback section 526 is for viewing certain media in the viewfinder 420.
It has full screen display code to play and edit types.
These three APIs allow the control application 432 to use a fixed media type
For each media type so that it knows how to capture and store
Define the behavior. Each section 522, 524 and 526 also has a respective menu.
New code sections 522A, 524A and 526A, and icon sections
522B, 524B and 526B. Menu code section 5
22A, 524A and 526A are the corresponding modes (captures) in the media type.
Menu displayed on the viewfinder 402 during capture, edit / playback, and view)
Have items. Icon sections 522B, 524B and 526B
, The icon displayed in the image cell of the object with the corresponding media type
Equipped.
API 520 allows any type of new media type to be
Allow to be added. Also, the media type supported by the camera is required.
It is not necessary to be image-based, but may be text-based. text
Examples of base media types include, for example, to-do lists and telephones.
And a talk number list.
Assuming these media types are not built-in, software development
The user can use the API 520 to execute the work list and the telephone number list application.
A plug-in media type 448 can be developed. New media
The type is either loaded into the camera via removable memory 354, or
It can be downloaded from a host computer connected to the camera.
After the new media type is loaded, the media type manager 444
Controls display of single image cell 420 to indicate new media type application
Call the view section 524 of the API to control it. Alternatively,
Atype manager 444 provides a view of the new media type application
To control the playback method in the finder 402, a new media type A
Call the PI edit / playback section 526.
FIGS. 11A and 11B show the plug displayed on the viewfinder of the digital camera.
It is a block diagram which shows the example of an in-media type. FIG. 11A shows that the user
Plug-in for the task list added so that voice memos can be recorded at
Indicates the media type. Each voice memo contains the date and time the memo was recorded and the location of the memo.
Shown with time required. The requirements list is not an image-based media type, but a sound list.
A voice-based media type.
FIG. 11B shows that the user can record the name and telephone number on the camera.
Indicates the plug-in media type of the telephone number list added to. Phone number squirrel
Is an example of a text-based media type.
Media types, such as phone number lists, are displayed in viewfinder 402
, After the user puts the camera in capture mode, the capture menu code in API 520
522A displays a menu of the type of user operation that can be performed.
Figure 12 captures text-based media type data to a digital camera
FIG. 4 is a block diagram showing a method for performing the above. Information such as the user's name and telephone number
So that the capture section 522 of the API 520 can be
The finder 420 displays an alphabet menu selection box. The user
Navigate repeatedly to the desired character and click Accept to enter the character.
t) ”button.
Another method for capturing text-based media type data
An example is connecting a scanner to a camera and reading data.
You. For example, to capture data from a phone number list, a user scans a customer's business card.
You may cancel. The information obtained from the scan is stored in the capture section of the API 520.
Captured by the application 522 and preferably to text via the OCR module
The data is converted and stored in the file system 506 of the digital camera.
As shown in FIG. 4, after a user captures data of a new media type,
The image cell 420 identifying the new media type instance is
It is displayed on the Indah 420. For example, FIG. 4 shows the locations shown in FIGS. 11A and 11B.
An image cell 420 corresponding to the application list and the telephone number list is shown.
As described above, a method and a system for extending a media type supported by a digital camera are described.
System was explained. The invention has been described with reference to the embodiments described above.
However, it should be understood that modifications can be made to these embodiments.
Those skilled in the art will readily recognize these modifications,
It is included in the range. Therefore, departures from the spirit and scope of the claims
On the contrary, many modifications may be made by one of ordinary skill in the art.
You.