JP2005253100A

JP2005253100A - カメラ

Info

Publication number: JP2005253100A
Application number: JP2005091986A
Authority: JP
Inventors: Takeshi Suzuki; 猛士鈴木
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2005-03-28
Filing date: 2005-03-28
Publication date: 2005-09-15

Abstract

【課題】コンピュータによる処理、高速な画像再生やデータ伝送を行う際に有用なカメラを提供する。
【解決手段】被写体画像を光電変換する撮像回路と、撮像回路からの電気信号を変換するＡ／Ｄ変換回路と、Ａ／Ｄ変換回路で変換されたデジタルデータを符号化するコーダと、符号化された画像データを記憶手段に記録すると共に前記記憶手段に記録された画像データを読み出すための制御手段と、記憶手段から読み出された画像データを伸長するデコーダと、画像データを伝送する伝送手段と、画像データに対応する主画像と該主画像よりも縮小又は圧縮された副画像とを生成する副画像生成手段とを有し、伝送された副画像のデータを受信した受信側装置からの応答信号を受けて伝送した副画像に対応する主画像データを伝送するか、又は応答信号として作成モードを指定する信号を受けて当該指定信号で指定された作成モードに従って前記副画像を生成して伝送を行う。
【選択図】図１

Description

本発明は、撮像素子を有するカメラでの画像データの記録に関する。

ＩＣメモリカード、磁気媒体（ハードディスクやフロッピーディスク）、光磁気媒体等の記録媒体に画像データ、音声データ、制御データなどをファイルとして記録するデジタルスチルカメラが実用化されている。

上記のようなデジタルスチルカメラは、画像を画像データとして取り込み、コンピュータによる処理や画像データ伝送が簡単に行えるため、今後の利用分野の拡大が期待されている。しかしながら、特に高速な画像再生処理や画像データ伝送に寄与できる具体的な技術の提案はこれまでなされていなかった。

そこで、本発明の目的は、コンピュータによる処理、高速な画像再生やデータ伝送を行う際に有用なカメラを提供することにある。

前述の課題を解決するため本発明によるカメラは次のような特徴的な構成を採用している。

（１）被写体画像を得るための光学系と、
前記光学系を介して得られた被写体画像を光電変換して電気信号に変換する撮像回路と、
前記撮像回路からの電気信号をデジタルデータに変換するＡ／Ｄ変換回路と、
前記Ａ／Ｄ変換回路で変換されたデジタルデータを符号化するコーダと、
前記コーダによって符号化された画像データを記憶手段に記録せしめると共に前記記憶手段に記録された画像データを読み出すための制御手段と、
前記記憶手段から読み出された画像データを伸長処理するためのデコーダと、
画像データを伝送する伝送手段と、
前記画像データに対応する主画像とこの主画像よりも縮小または圧縮された副画像とを生成する副画像生成手段と、
を有し、
前記伝送手段で伝送された副画像のデータを受信した受信側装置からの応答信号を受けて前記伝送した副画像に対応する主画像データを伝送するか、または、前記応答信号として作成モードを指定する信号を受けて当該指定信号で指定された作成モードに従って前記副画像を生成して伝送を行うことを特徴とする画像取扱装置。

（２）前記主画像または副画像を前記記憶手段に記録するに際し、各データの書き込み開始アドレスが２^ｎ（ｎは自然数）で表されるアドレスである上記（１）の画像取扱装置。

本発明では、伝送手段で伝送された副画像のデータを受信した受信側装置からの応答信号を受けて伝送した副画像に対応する主画像データを伝送するか、または、応答信号として作成モードを指定する信号を受けてこの指定信号で指定された作成モードに従って副画像を生成して伝送を行う。

本発明による画像取扱装置では、伝送手段で伝送された副画像のデータを受信した受信側装置からの応答信号を受けて伝送した副画像に対応する主画像データを伝送するか、または、応答信号として作成モードを指定する信号を受けてこの指定信号で指定された作成モードに従って副画像を生成して伝送を行うので、まずサイズの小さい副画像を送り、それから受信側の要望に対応して主画像を送信できたり、受信側の要望に合わせた副画像を作成して伝送できたりする。

次に、本発明の実施例について図面を参照しながら説明する。
図１は、本発明による画像取扱装置のデジタルスチルカメラへの適用例を示す構成ブロック図である。
被写体画像は、光学系（レンズ）１を介して、光電変換手段であるＣＣＤ等の撮像素子を有する撮像回路２で電気信号に変換される。この変換された電気信号は、クランプ回路３で所定のクランプ処理が施された後、Ａ／Ｄ変換回路４でデジタルデータに変換され、フレームメモリ１１に書き込まれる。フレームメモリ１１の書き込みと読み出しは、システムコントローラ１６からの制御を受けたメモリコントローラ１０により制御される。フレームメモリ１１から読み出された画像データは、デジタルプロセス回路５において、キャラクタジェネレータ９から送出されるキャラクタデータとともにデジタル処理された後、Ｄ／Ａ変換回路６でアナログ信号に変換される。変換されたアナログ画像信号は、増幅回路７で増幅された後、外部端子ＥＸＴと電子ビューファインダ８に供給される。

データ記録時には、フレームメモリ１１から読み出された画像データは、ＤＣＴ／ＩＤＣＴ（離散コサイン変換／逆離散コサイン変換）回路１２で直交変換され、得られた直交係数がコーダ／デコーダ１３で符号化され、ＪＰＥＧ方式等に準拠した圧縮方式で圧縮処理が施される。こうして圧縮された画像データが記憶手段としてのＩＣメモリカード１５に記録される。ここでこのメモリカードは、装置本体に対して着脱自在であっても、又、予め内蔵固定されていてもよいものである。

再生時には、ＩＣメモリカード１５から読み出された画像データが、コーダ／デコーダ１３とＤＣＴ／ＩＤＣＴ回路１２の処理を介して伸長処理され、フレームメモリ１１に書き込まれる。フレームメモリ１１から読み出された画像データは、デジタルプロセス回路５、Ｄ／Ａ変換回路６、増幅回路７を経て外部端子ＥＸＴと電子ビューファインダ８とに出力される。

システムコントローラ１６は、データバスＢ１を介してデータを授受し、カメラ動作の全体を制御する。例えば、ＬＣＤ等よりなる表示部１７の表示を制御するとともに、操作部１８からの操作情報に基づいてカメラ動作を制御する。システムコントローラ１６は、またキャラクタジェネレータ９を制御して所望のキャラクタ情報出力を制御し、データバスＢ２とデータ入出力部１９を介して外部との通信を制御する。補助メモリ１４は、データの各種処理の際に用いられるワークメモリである。

図１に示すような構成において、本発明では、一枚の画像（以下、主画像と称する）についての画像情報の一部を取り出した一部画像情報から成る副画像（例えば、間引き画像、縮小画像等）を生成し、生成画像のメモリへの記憶、他の画像取扱装置への伝送等を行なう。

かかる副画像のメモリへの記録は、システムコントローラ１６の動作を介して行なわれ、以下に説明するような各種の記録態様がある。

ところで、メモリカード、磁気媒体（ハードディスクやフロッピーディスク）及び光磁気媒体等の記録媒体に画像データ、音声データ及び制御データ等をファイルとして記録するデジタルスチルカメラでは、記録媒体にデータをもファイル形式で記録する場合がある。このとき、メモリ管理は、例えばデータ互換性の面でパーソナルコンピュータ等で標準的なＤＯＳ（ディスクオペレーティングシステム）形式で行なわれることが望ましい。そして記録媒体には、その動作を制御したり、各ファイル間の関連付けを行なったりするための制御情報を制御ファイル（コントロールファイルまたはリレーショナルファイルとも称するが、以下、リレーショナルファイルと称する）として記録することも検討されている。

第１の記録態様は、上記ファイル形式での記録時に、画像ファイルに主画像データと副画像データを記録するものである。図２には３種類の記録態様例が示されている。かかる画像ファイルへの記録により、コマ番号が従来どおり管理でき、移動、コピー、削除等を主画像と副画像を意識せずに一緒に扱える。
図２（Ａ）では、一枚の画像データを記録する際、画像ファイルにはファイルヘッダー部、主画像データ部、続いて副画像データ部が順次記録される。その結果、副画像だけの消去が容易となり、副画像を複数作成するときには追加が容易で、主画像の再生も容易となる。図２（Ｂ）では、ファイルヘッダー部、副画像データ部、続いて主画像データ部が順次記録される。したがって、副画像再生モードによる検索時に、より高速な検索が可能となる。また、図２（Ｃ）は、副画像が複数枚あるときの記録態様を示し、ファイルヘッダー部に続いて、主データ開始アドレスから主画像データが書き込まれ、副画像データ１開始アドレスから副画像データ１が書き込まれた後、副画像データ２開始アドレスから副画像データ２が書き込まれる。

図３には、ファイルヘッダーの記入例が示されており、規格化されたフォーマットタプル、記録日付タプルに続いて、オプションタプル１に副画像データ１のパラメータが、オプションタプル２には副画像データ２のパラメータが記録され、画像データとして主画像データと副画像データが連続して記録されている。上記副画像データのパラメータとしては、副画像データ開始アドレス、副画像データタイプ（圧縮／非圧縮、画素サイズ等）、更には、主画像に対する縮小率１／（２のｎ乗）を副画像パラメータとすることができる。縮小副画像を作成したとき、画素サイズをパラメータとして記録するよりも、縮小率だけを記録する方が簡単であるし、データ量も少なくて済む。副画像データの作成日付等がある。こうして、上述の効果の他、主画像だけの抜き出しが容易となる。

図４は、ファイルヘッダーへの記録フォーマット例を示す。フォーマットタプル、記録日付タプルに続いて、オプションタプル１には記録されている副画像データのパラメータが記録され、オプションタプル２には副画像データ１の本体が、オプションタプル３には副画像データ２の本体が記録されている。主画像データ本体が画像ファイルのファイルヘッダー以外の領域に記録されている。上記副画像データパラメータの例としては、副画像データの有無や個数、副画像データのタイプ（圧縮／非圧縮、画素サイズ、縮小率等）等がある。

図５は、主画像データがパソコン用画像データフォーマットの一方式であるＪＰＥＧ方式で圧縮され記録される場合の画像ヘッダー（ＪＰＥＧヘッダー）への記録例を示す図である。
ファイルヘッダーに続くＪＰＥＧヘッダーには、ＳＯＩ（Start of Image）マーカー等のデータ、ＡＰＰ（Application Marker）に副画像データ本体が、ＳＯＳマーカーに主画像データ本体がＥＯＩ（End
of Image）マーカー部まで記録されている。こうすることにより、図２に示す例の場合と同様な効果が得られる。パソコン用画像データフォーマットとしては、ＪＰＥＧの他、ＴＩＦＦ、ＰＩＣＴ、ＢＭＰ等があるが、これらの方式にも本発明が適用できる。

図６には、副画像データを主画像データと別ファイルに記録し、上記したリレーショナルファイルに当該データの関連付けデータを記録する例が示されている。別ファイルへの記録により１枚の画像が１つのファイルになるので、ファイル管理イメージで画像管理が行なえる。そして、このリレーショナルファイルによれば、関連付けの情報が一括して管理されるので、データの管理が容易になる。

ファイル（ＦＩＬＥ）１として、同図（Ａ）に示すように、ファイルヘッダーと主画像データ本体から成る主画像ファイルが、ファイル２として、同図（Ｂ）に示すように、ファイルヘッダーと副画像データ１の本体から成る副画像１ファイルが、ファイル３として、同図（Ｃ）に示すように、ファイルヘッダーと副画像データ２の本体から成る副画像２ファイルが、それぞれ用意され、また同図（Ｄ）に示すようなリレーショナルファイルが用意されている。同図（Ｄ）のリレーショナルファイルには、例えば、”ＭＡＩＮ５”は５コマ目の主画像データが同図（Ａ）のファイル（ＦＩＬＥ）１に記録されていることを示し、”ＳＵＢ５”で５コマ目の副画像データが同図（Ｂ）と（Ｃ）のファイル２とファイル３に記録されていることを示している。

図７は、副画像データを主画像データ本体と別ファイルに記録し、主画像データ用のファイル（同図（Ａ））のファイルヘッダーに、副画像データファイルについての関連情報を記録している例を示す。このファイルヘッダーは、フォーマットタプル、記録日付タプル、副画像ファイル名１が記録されているオプションタプル１、副画像ファイル名２が記録されているオプションタプル２を含んでいる。同図（Ｂ）には副画像データ１の本体が記録されているファイルが、同図（Ｃ）には副画像データ２の本体が記録されているファイルがそれぞれ示されている。こうすることによって、主画像を読めば必然的に副画像がわかる。また副画像データのファイルヘッダーと主画像データファイルについての関連情報を記録しておけば副画像から主画像の関連がわかり、余分なファイルを読まなくても良い。

図８は、主画像データと副画像データをそれぞれ別ファイルに記録し、これらデータの識別、関連付けをファイル名により行なう例を示している。本例では、拡張子により主画像データファイルと副画像データファイルを区別している。その結果、主画像だけ再生、または副画像だけ再生する操作が容易となる。またファイルの画像を再生しなくともファイル名から判別できるようになるので、ファイル操作による画像管理がある程度可能となる。

同図左側には、拡張子“Ｊ６Ｉ”が付された主画像データファイル例が示されている。拡張子“Ｊ６Ｉ”のうち“Ｊ”が圧縮方式であるＪＰＥＧを、“６”が６８Pin を、“Ｉ”がImageであることを示す。
また、同図右側には、拡張子“Ｔ６Ｎ”（Ｎは自然数）が付された副画像データファイル例が示されている。拡張子“Ｔ６Ｎ”のうち“Ｔ”が“Thumbnail”（サムネイル）とされる副画像データを、“６”が６８Pinを、”Ｎ”が当該副画像データのコマ番号を示す。

図９は、同様に主画像データと副画像データを別ファイルに記録し、各ファイルの関連付けをディレクトリで行なうディレクトリ構造例を示す。このディレクトリを用いることにより、ファイル名を用いた場合と同様な効果だけでなく、コマ番号の管理も容易となる。これは、他の別ファイル記録の例と異なり、主画像のみ記録されるディレクトリが作成されるので、従来行なっているディレクトリエントリィでのコマ番号管理がそのまま行なえる。

本例では、ディレクトリ“ＭＡＩＮ”に主画像データ群が含まれ、ディレクトリ“ＳＵＢ１”に副画像１のデータ群が含まれ、ディレクトリ“ＳＵＢ２”に副画像２のデータ群が含まれていることを示す。例えば、ファイル“ＤＳＣ００２．Ｊ６Ｉ”の副画像１は“￥ＳＵＢ1 ￥ＤＳＣ００２．Ｊ６Ｔ”で、ファイル“ＤＳＣ００２．Ｊ６Ｉ”の副画像２は“￥ＳＵＢ２￥ＤＳＣ００２．Ｊ６Ｔ”で表示される。

図１０は、主画像データと副画像データを別ファイルに記録し、主画像ファイルは別個のファイルとするが、副画像ファイルは一括ファイルに格納している例を示す。この方法によれば、副画像データを一括ファイルにすることによって、インデックス表示（副画像のみの再生）等が容易に行なえる。又、副画像の一括消去等を容易に行なえる。

同図（Ａ）には、フォーマットタプル、記録日付タプル、オプションタプル、副画像データオフセットアドレスが記録されたヘッダー部に続いて、主画像データが記録された主画像ファイルＤＳＣ００１．Ｊ６Ｉの例が示され、同図（Ｂ）には、フォーマットタプル、記録日付タプル、オプションタプル、副画像データオフセットアドレスが記録されたヘッダー部に続いて、主画像データが記録された主画像ファイルＤＳＣ０１１．Ｊ６Ｉの例が示され、また同図（Ｃ）には、これらの主画像データについての副画像データを記録する唯一つの副画像ファイルが示されている。同図（Ｃ）の副画像ファイルには、ファイルヘッダーに続いて、ファイルＤＳＣ００１．Ｊ６Ｉの副画像が副画像データ１として、以下、同様に、副画像データ２、副画像データ３、…として記録され、例えば、ＤＳＣ０１１．Ｊ６Ｉの副画像が副画像データ１１として記録され、副画像データ１２まで記録されている。

上記副画像一括ファイルのファイルヘッダーとしては、副画像の個数、副画像の画像パラメータ、それぞれの副画像データの先頭アドレスや終了アドレス、それぞれの副画像に対する主画像のファイル名等があり、副画像一括ファイルをインデックスファイルとして用いたとき、副画像から主画像を検索できる。

図１１には、画像データ記録開始アドレスをクラスタ単位で指定する例が示されている。クラスタ１にファイルヘッダーが、クラスタ２，３，…に主画像データが、クラスタ１０，１１，…に副画像データ１が、クラスタ２０，２１，…に副画像データ２が記録されている。本実施例によれば、副画像データ１を消去するときには、副画像データ自体は一切操作することなく、画像ファイルのＦＡＴチェーン中の副画像部分を消去し、ＦＡＴチェーンを書き換えるだけで済む。一方、従来の記録開始アドレスを指定する場合には、副画像データ１だけを消去するには、副画像データ１を消去後、消去した場所へ副画像データ２を詰める作業が必要となる。従って、記録開始アドレスを２のｎ乗バイトにすることにより、画像の高速検索、主画像のみの抜き出しが容易となり、更に、副画像データの消去も容易となる。

次に、本発明の実施例におけるデジタルスチルカメラの動作シーケンスを図１２のフローチャートを参照して説明する。

パワーＯＮ後、ズーミング初期化等、カメラ動作条件の初期化処理をし（ステップＳ１）、副画像作成モードにあるか否かを判定し（ステップＳ２）、あれば、副画像作成モードであることを表示部１７に表示するとともに、その旨を示すフラグをセットした後（ステップＳ３）、主画像から副画像として取り出すべきエリアを選択するエリア選択モードか否かを判定する（ステップＳ４）。ステップＳ２において、副画像作成モードでなければ、後述するステップＳ１３の処理に移行する。

ステップＳ４において、エリア選択モードであれば、エリア選択モードであることを表示するとともに、その旨を示すフラグをセットし（ステップＳ５）、画像を縮小する画像縮小化モードか否かを判定する（ステップＳ６）。またエリア選択モードでないときもステップＳ６に移行する。ここで、画像縮小化モードであれば、画像縮小化モードである旨の表示とフラグセットを行なった後（ステップＳ７）、また、画像縮小化モードでないときは、次に画像圧縮モードか否かを判定する（ステップＳ８）。上記縮小化により、小サイズで全体イメージをつかむことができる。

ステップＳ８において、画像圧縮モードであれば、圧縮の際に用いられる手法として、圧縮率を一定化する手法と、サイズ（データ量）を一定化する手法のいずれの手法が設定されているのかを判定するため、サイズ一定モードか否かを判定する（ステップＳ９）。ここで、サイズ一定モードであれば、圧縮後、サイズ一定である旨を表示するとともにフラグをセットし（ステップＳ１０）、サイズ一定モードでなければ、圧縮率一定モードであるから圧縮率一定モードである旨を表示するとともにフラグをセットする（ステップＳ１１）。ステップＳ８で画像圧縮モードでないと判定されると、非圧縮モードである旨を表示するとともにフラグをセットする（ステップＳ１２）。

ステップＳ１０〜Ｓ１２の処理の後、操作部１８からの操作による操作入力が検出され（ステップＳ１３）、パワーＯＦＦを判定し（ステップＳ１４）、パワーＯＦＦであれば、パワーをＯＦＦとして動作を終了し、パワーＯＦＦでなければ、入力操作に対応する各種の処理を実行して（ステップＳ１５）、ステップＳ１３の処理に戻る。

図１３は、主画像データ記録後に副画像データを記録する場合の画像データ記録処理シーケンスを示すフローチャートである。

例えば、操作部１８からの操作による記録指示を受けて処理が開始され、先ず、図１に示す光学系１、撮像回路２、クランプ回路３、Ａ／Ｄ変換回路４による処理に続く、フレームメモリ１１への書き込み処理を含む撮像処理が実行され（ステップＳ２１）、フレームメモリ１１から読み出した主画像データについてＤＣＴ／ＩＤＣＴ回路１２及びコーダ／デコーダ１３による主画像圧縮処理が実行された後（ステップＳ２２）、圧縮された主画像データがＩＣメモリカード１５に記録される（ステップＳ２３）。次に、副画像を作成するか否かを判定する（ステップＳ２４）。この判定は、例えば、図１２のステップＳ３における副画像作成モードとしてセットされたフラグの有無に基づいて行なわれる。

ステップＳ２４において、副画像を作成すると判定されると、副画像の作成処理が実行され（ステップＳ２５）、ＩＣメモリカードへの副画像記録処理（ステップＳ２６）の後、ファイルメンテナンス処理を実行して（ステップＳ２７）、処理を終了する。ステップＳ２４において、副画像を作成しないと判定されたときには、そのままステップＳ２７のファイルメンテナンス処理が実行される。ファイルメンテナンス処理としては、例えば、ファイルをＤＯＳフォーマットで管理して記録する場合には、ディレクトリエントリ、ＦＡＴ等のフォーマット書込み処理がある。

図１４は、図１３のステップＳ２５における副画像作成処理の作成シーケンスを示すフローチャートである。
先ず、主画像に対する副画像作成エリアを選択するエリア選択モードか否かを判定し（ステップＳ３１）、エリア選択モードであれば、エリアのサイズを変更するエリアサイズ変更処理（ステップＳ３２）し、エリアの位置を変更するエリア位置変更処理（ステップＳ３３）を実行した後、ステップＳ３４の判定を行なうが、この場合、ステップＳ３１において、エリア選択モードでないと判定した場合にも、同様に、画像を縮小するか否かを判定する。ここで、画像を縮小化すると判定されたときには、フレームメモリ１１からの画像データの間引き読み出し等により画像の縮小化処理を実行した後（ステップＳ３５）、またステップＳ３４において、画像を縮小化しないと判定したときは、画像を圧縮するか否かを判定する（ステップＳ３６）。ここで、画像を圧縮すると判定すると、圧縮の際、圧縮率を一定化するかサイズ（データ量）を一定化するかを判別するために、サイズ一定が指示されているか否かを判定する（ステップＳ３７）。

ステップＳ３７において、サイズ一定と判定されれば、圧縮後のサイズを一定とした圧縮処理を実行し（ステップＳ３８）、サイズ一定と判定されなければ、圧縮率を一定として圧縮処理を実行して（ステップＳ３９）、処理を終了する。ステップＳ３６において、画像を圧縮しないと判定されると、フレームメモリ１１から読み出した画像データを圧縮せずに、例えば、パソコン処理に必要なフォーマットへの変換等の非圧縮データ変換処理を実行して（ステップＳ４０）、処理を終了する。この場合、カメラ内で画像データを扱うときには上記変換処理は実行せずに、そのまま画像データはＩＣメモリに書き込まれる。縮小圧縮画像の作成は、ＤＣＴ／ＩＤＣＴ回路１２から出力される直交係数のうちＤＣ成分のみを記録することにより、１／８縮小画像を得ても良い。この処理により、通常の間引き処理による縮小画像よりも再現性の高い、良好な画質が得られるばかりでなく、メモリ制御は主画像も副画像も同様で良いので、回路が簡略化される。

上記した図１４に示す例では、副画像生成手段として、エリア選択手段、画像縮小手段、画像圧縮手段の３つの具体的な副画像生成手段を有しており、操作者が、随時任意にこれらの３つの手段を取捨選択するようにして所望の副画像を生成するように構成してあるが、本発明に於いては上記した例に限定されることなく、例えば上記３つの手段のうちの１つ乃至は２つの手段を有するものや、或いは、上記３つの手段の処理順序を適宜入れ換えて構成しても勿論良いものである。この場合、先に処理される副画像生成手段を第１の副画像生成手段とし、この後に処理される副画像生成手段を第２の副画像生成手段とするものであるが、この第１の副画像生成手段と第２の副画像生成手段による現実のデータの処理タイミングについては、先のフレームメモリ１１上で同時に処理したり又は時分割による処理を行なうことの何れもが含まれる。

この非圧縮データ変換処理の手順が図１５のフローチャートに示されている。図１５において、先ず、当該コンピュータのフォーマットで記憶するか否かを判定し（ステップＳ４１）、当該コンピュータのフォーマットでなければ、そのまま処理を終了し、当該コンピュータのフォーマットであれば、パソコン用フォーマットに変換して（ステップＳ４２）、処理を終了する。
非圧縮時のデータ記録方式としては、ＲＧＢ方式とＹＣbＣr方式の２つが一般的だが、ＲＧＢ時はパソコンでの再生に適し、ＹＣbＣr時はカメラでの再生に適する。

図１３のステップＳ２６における副画像記録処理は、図１６に示すフローチャートの手順で実行される。すなわち、画像書き込みアドレスを作成し（ステップＳ５１）、作成されたアドレスに副画像データを書き込み（ステップＳ５２）、ファイルヘッダーに副画像開始アドレスを書き込み（ステップＳ５３）、迅速な再生を可能とする。

ファイルヘッダーへのデータの書き込みは図４でも説明したが、その処理手順は図１７に示すように、先ず、ファイルヘッダーを解釈し（ステップＳ６１）、副画像毎のオプションタプルを作成し（ステップＳ６２）、このタプルに副画像データを書き込み（ステップＳ６３）、タプルメンテナンスを実行して（ステップＳ６４）、処理を終了する。このタプルメンテナンスは、書き込みが完了した後に定まるファイルヘッダーの大きさを書き込むような処理である。

図１８は、図５に示す副画像データのＪＰＥＧヘッダーへの記録処理手順を示すフローチャートである。先ず、ＪＰＥＧヘッダーを解釈（ＪＰＥＧフォーマットを解釈）し（ステップＳ７１）、アプリケーション（ＡＰＰ）マーカーを作成し（ステップＳ７２）、作成されたＡＰＰマーカに副画像データを書き込む（ステップＳ７３）。

図１９は、図６に示すリレーショナルファイルを用いた画像データ間の関連付けを行なう副画像記録シーケンスを示すフローチャートである。
先ず、副画像データファイルを作成し（ステップＳ８１）、リレーショナルファイルの有無を判定する（ステップＳ８２）、ここで、リレーショナルファイルが有れば、リレーショナルファイルを読み込み、解釈した後（ステップＳ８３）、無ければ、リレーショナルファイルを作成した後（ステップＳ８５）、主画像データとの関連情報を書き込んで（ステップＳ８４）、処理を終了する。

図２０は、図７に示すファイルヘッダーによる関連付けを行なう副画像記録シーケンスを示すフローチャートである。
このシーケンスでは、副画像データファイルを作成し（ステップＳ９１）、主画像データファイルヘッダーを解釈した後（ステップＳ９２）、主画像ファイルヘッダーへ関連情報を書き込んで（ステップＳ９３）、処理を終了する。

図２１は、図８に示すファイル名による関連付けを行なう副画像記録シーケンスを示すフローチャートである。
本シーケンスでは、ファイル名構成を確認して、その構成と矛盾しない適切なファイル名を作成し（ステップＳ１０１）、作成されたファイル名で副画像データファイルを作成して（ステップＳ１０２）、処理を終了する。

図２２は、図９に示すようにディレクトリでの関連付けを行なう副画像記録シーケンスを示すフローチャートである。
先ず、ディレクトリの有無を判定し（ステップＳ１１１）、有れば、副画像用ディレクトリを検索した後（ステップＳ１１２）、副画像の有無を判定する（ステップＳ１１３）。ここで、副画像が有れば、ステップＳ１１１の処理に戻り、次のディレクトリを検索し、無ければ副画像データファイル書き込み処理を実行して（ステップＳ１１４）、処理を終了する。また、ステップＳ１１１において、ディレクトリが無いと判定されると、副画像用ディレクトリを作成して（ステップＳ１１５）、ステップＳ１１４の処理に移行する。

図２３は、図１０に示すように副画像用一括ファイルを利用した副画像データを記録するシーケンスを示すフローチャートである。
本シーケンスでは、先ず、副画像ファイルの有無を判定し（ステップＳ１２１）、有れば、副画像一括ファイルを検索して（ステップＳ１２２）、副画像の枚数やファイルヘッダー中に書き込まれているデータの確認等を行ない、副画像データ記録開始アドレスを作成する（ステップＳ１２３）。ステップＳ１２１において、副画像ファイルが無いと判定されると、副画像一括ファイルを作成して（ステップＳ１２４）、ステップＳ１２３の処理に移行する。ステップＳ１２３の処理の後、副画像データを書き込み（ステップＳ１２５）、主画像データとの関連情報を書き込んで（ステップＳ１２６）、処理を終了する。

次に、デジタルスチルカメラによる連写時の動作について図２４を参照して説明する。
シャッターボタン押下等に応答して記録動作が開始され、先ず、主画像データを得るための撮像処理を実行し（ステップＳ１３１）、得られた主画像データを圧縮し（ステップＳ１３２）、主画像データを記録した後（ステップＳ１３３）、副画像作成モードか否かを判定する（ステップＳ１３４）。ここで、副画像作成モードであれば、連写が設定されているか否かを判定し（ステップＳ１３５）、連写が設定されていれば、副画像の作成条件を判定する（ステップＳ１３６）。この判定は、連写により得られる主画像のうち、どの画像についての副画像を作成するかを決定するための処理である。

その後、副画像を作成するか否かをフラグを検出することにより判定し（ステップＳ１３７）、副画像を作成するのであれば、副画像作成及び記録処理を実行し（ステップＳ１３８）、上述と同様なファイルメンテナンス処理を実行する（ステップＳ１３９）。また、ステップＳ１３４において、副画像作成モードでないと判定された場合及びステップＳ１３７において、副画像を作成しないと判定された場合は、そのままステップＳ１３９の処理に移行し、ステップＳ１３５において、連写でないと判定された場合は、ステップＳ１３８の処理に移行する。ステップＳ１３９においてファイルメンテナンス処理を実行した後、続けて記録するか（連写動作続行）否かを判定し（ステップＳ１４０）、続けて記録すると判定された場合には、ステップＳ１３１の撮像処理に戻り、続けて記録しないと判定された場合には、処理を終了する。

図２５には、図２４のステップＳ１３６の連写時の副画像作成条件を判定するシーケンス例がフローチャートとして示されている。
本例は、連写で得られる複数の主画像のうち１枚目の主画像について副画像を作成する場合の動作を示し、作成する副画像は、複数の主画像のうちどの１枚を対象としても良い。

すなわち、先ず、副画像を作成すべき主画像が得られているか否かを、連写１枚目か否かを判定し（ステップＳ１４１）、連写１枚目であれば副画像作成フラグをセットして（ステップＳ１４２）、処理を終了し、１枚目でなければ、副画像作成フラグをクリアして（ステップＳ１４３）、処理を終了する。尚、この例に於ける副画像を作成すべき主画像を、連写の最後の１枚目に設定してもよいものである。

図２６は、図２５とは異なり、連写速度に合わせて複数の主画像から副画像を作成する主画像を自動的に選択して作成するシーケンスを示すフローチャートである。本例は、連写モードとして高速連写モードと低速連写モードが設定されており、高速連写モードでは４枚に１枚の主画像について、低速連写モードでは２枚に１枚の主画像についての副画像を得る例を示している。

動作開始後、連写が１枚目か否かを判定し（ステップＳ１５１）、１枚目であれば、カウンタの値ｉを０に初期化し（ステップＳ１５２）、連写が高速連写モードか否かを判定する（ステップＳ１５３）。また、ステップＳ１５１において、１枚目でないと判定すると、ステップＳ１５３の処理にそのまま移行する。

ステップＳ１５３において、高速連写モードであると判定されたときには、カウンタ値ｉが２より大きいか否かを判定し（ステップＳ１５４）、大きければ、副画像作成を指示するため副画像作成フラグをセットした後（ステップＳ１５５）、カウンタ値ｉを０に設定して（ステップＳ１５６）処理を終了する。

ステップＳ１５３において、低速連写モードであると判定されると、カウンタ値ｉが０より大きいか否かを判定し（ステップＳ１５７）、大きければ、ステップＳ１５５の処理に移行し、０より大きくなければ、副画像作成フラグをクリアし（ステップＳ１５８）、カウンタ値ｉを１だけインクリメントして（ステップＳ１５９）、処理を終了する。ステップＳ１５４において、カウンタ値ｉが２より大きくなければ、ステップＳ１５８の処理に移行する。

本実施例では、カウンタ値ｉを最初に０にリセットし、高速連写時にはステップＳ１５４で“２”との比較、低速連写時にはステップＳ１５７で“０”との比較を行なうことにより、高速連写時には４枚に１枚、低速連写時には２枚に１枚の副画像記録を自動的に指示、作成することができる。

上述の処理により副画像データがＩＣメモリカード等の記録媒体に記録されるが、記録された副画像データは、図１の電子ビューファインダー８や外部端子ＥＸＴに接続されているモニタ画面上に再生され、記録画像情報の検索性が向上される。

図２７には、モニタ上の主画像が表示されている画面内に副画像を同時に表示させる、いわゆるピクチャーＩＮピクチャーの表示例が示されている。

また、モニタ上に表示されている主画像画面の一部（右上部）にコマ番号と副画像の個数情報をキャラクタ表示する例が図２８に示されている。

更に、モニタ上に表示されている主画像から、所望により副画像として取り出すエリアを選択エリアとしてエリアの大／小とともに設定する例が図２９と図３０に示されている。

図２９（Ａ）の表示主画像に対して、選択エリアで指定されている中央部分の画像が、エリアの大／小指定に基づいて、取り出され副画像として同図（Ｂ）に示すように表示される。

また、図３０（Ａ）の主画像に対して選択された選択エリアの画像がエリア大／小指定及びエリア位置指定に基づいて、同図（Ｂ）に示すように表示される。

図３１は、図２９と図３０が主画像の一部を副画像としているのに対して、主画像を縮小し、更に圧縮処理した画像を副画像として用いる例を示し、同図（Ａ）の主画像を、データサイズ３０ｋＢで縮小した副画像が同図（Ｂ）に、データサイズ３０ｋＢで縮小した副画像を更に圧縮することによってデータサイズ１ｋＢにしたものが同図（Ｃ）に示されている。

図３２は、画像の再生シーケンスを示すフローチャートである。この再生シーケンスについて以下説明する。再生モード（コマ送りを含む）が設定され、再生動作が開始されると、先ず、ファイルの判別処理を行なって（ステップＳ１６１）、再生しようとしている当該コマのファイルを判別し、再生可能か否かを判定する（ステップＳ１６２）。ここで、再生可能であれば、その画像が主画像か否かを判定し（ステップＳ１６３）、主画像であれば、当該主画像を再生処理した後（ステップＳ１６４）、副画像の有無を判定する（ステップＳ１６５）。ステップＳ１６５において、副画像が有ると判定されると、図２７や図２８に示すように副画像情報を表示する処理を行なって（ステップＳ１６６）、処理を終了する。ステップＳ１６５において、副画像が無いと判定されると、副画像無しでの表示処理を実行する（ステップＳ１６７）。

ステップＳ１６３において、主画像でないときは、副画像であるから、副画像のみ再生処理して（ステップＳ１６８）、処理を終了する。また、ステップＳ１６２において、再生が不可能と判定されたときは、当該ファイルは音声ファイルやパソコンのデータファイル等であるから、再生表示が不可能である旨の警告表示処理を実行して（ステップＳ１６９）、処理を終了する。

図３３には、再生時の副画像作成シーケンスのフローチャートが示されている。このシーケンスは、主画像が既に再生、表示されており、これから副画像を作成する例を想定している。この例によれば、装置が記録状態にあるときに副画像を生成するのに比べて、主画像をゆっくり観察しながら副画像を所望に応じて選択できるので、より適確な副画像が得られる。

副画像の作成動作が開始されると、副画像が既に有るか否かを判定し（ステップＳ１７１）、副画像が既に有れば、副画像の追加準備処理を実行する（ステップＳ１７２）。この準備処理は、副画像データの書き込みフォーマット、主画像データへの副画像データの埋め込み等の準備処理である。ステップＳ１７１において、副画像が無いときには、ステップＳ１７２をスキップしてステップＳ１７３へ移行する。副画像作成処理（ステップＳ１７３）、副画像記録処理（ステップＳ１７４）を実行した後、ファイルメンテナンス処理（ステップＳ１７５）を実行して処理を終了する。

ところで、インターバル再生時やマルチ再生時には、副画像のみを再生して、高速再生検索時に有効となり、副画像がないときは、スキップ、ミュート、キャラクタ表示等を行なうことができる。

次に、副画像データの消去シーケンスを図３４のフローチャートを参照して説明する。
消去コマンド入力等により消去動作が開始されると、先ず、副画像のみを消去するモードであるか否かを判定し（ステップＳ１８１）、そうであれば、副画像の有無を判定する（ステップＳ１８２）。ここで、副画像があれば、副画像は１枚か否かを判定し（ステップＳ１８３）、１枚であれば、当該副画像を消去して（ステップＳ１８４）、処理を終了し、１枚でなければ、複数枚の副画像のうちどの副画像を消去するかを選択する副画像選択処理を実行して（ステップＳ１８６）、ステップＳ１８４の処理に移行する。

ステップＳ１８２において、副画像が無いと判定されると、副画像が無い旨をモニタ上に表示して警告する（ステップＳ１８７）。また、ステップＳ１８１において、副画像のみの消去モードでないと判定されると、主画像及び副画像の消去を行なって（ステップＳ１８８）、処理を終了する。
以上の処理において、主画像のみについての消去も可能であることは勿論である。

図３５は、別ファイルで副画像を書き込んだときの一括消去を行なうための実施例についてのシーケンスを示すフローチャートである。

一括ファイルに副画像を記録した場合には、一括ファイルは同時消去可能であるが、別ファイルのときには主画像の消去に伴ない副画像も消去したい要望がある。本実施例は、この要望を満足させるシーケンスである。

先ず、副画像を検索して、消去したい主画像に対応する副画像を検索する処理を、例えば、主画像のファイルヘッダーやリレーショナルファイルを用いて実行する（ステップＳ１９１）。次に、副画像の有無を判定し（ステップＳ１９２）、有れば、当該副画像を消去して（ステップＳ１９３）、ステップＳ１９１の処理に戻る。ステップＳ１９２において、副画像が無いと判定されると、主画像を消去して（ステップＳ１９４）、処理を終了する。

次に、上述のような処理で得られた副画像データを電話回線等の有線回線や無線回線を介して伝送する画像取扱装置の実施例について説明する。

図３６は、副画像データと主画像データの伝送手順を示すフローチャートである。同図において、送信側では、送信動作のスタート後、先ず、副画像データのみを送信する（ステップＳ２０１）。受信側では、この副画像データを受信後、再生して（ステップＳ３０１）、必要な画像を選択し（ステップＳ３０２）、選択した画像のコマ番号やファイル名等の指定情報を送信側に伝送する（ステップＳ３０３）。

この指定情報を受信した送信側では、指定されたコマ番号の主画像データを受信側に送信する（ステップＳ２０２）。受信側では、指定主画像データを受信し、再生して確認した後、動作終了を知らせる終了信号を送信側に送信して（ステップＳ３０４）、処理を終了する。

図３７は、副画像を受信側からの要求に応じてリアルタイムで自動作成して送信する実施例のフローチャートである。

送信側では、縮小した副画像のデータを自動作成し（ステップＳ２１１）、作成した副画像データを送信する（ステップＳ２１２）。受信側では、この副画像を受信後、再生し（ステップＳ３１１）、画像の副画像作成モード（例えば、エリア選択等）を選択し（ステップＳ３１２）、選択した作成モードを送信側に伝送する（ステップＳ３１３）。

送信側では、受信した作成モードで副画像を自動作成し（ステップＳ２１３）、作成した副画像を送信する（ステップＳ２１４）。
受信側では、この副画像を受信後、再生し（ステップＳ３１４）、通信終了信号を送信側に伝送して（ステップＳ３１５）、処理を終了する。

図３７に示すシーケンスについて図３８を参照して具体的に説明すると、送信側で主画像（Ａ１）から間引き処理により縮小画像（Ａ２）を自動作成して副画像として伝送する（ステップＳ２１１，Ｓ２１２）。

受信側では、この副画像を受信、再生し、再生された副画像（Ｂ１）に基づいて必要とする領域部分をエリア選択により選択し（Ｂ２）、エリア選択情報を送信側に伝送する（ステップＳ３１１〜Ｓ３１３）。

送信側では、受信したエリア情報に基づいて、主画像（Ｃ１）のエリア選択部についての副画像（Ｃ２）を自動作成して受信側に伝送する（ステップＳ２１３，Ｓ２１４）。

最後に、受信側では、受信した副画像を再生して（Ｄ）に示すような要求に合致した副画像を再生して、通信終了信号を伝送する（ステップＳ３１４，Ｓ３１５）。

本発明による画像取扱装置のデジタルスチルカメラへの適用例を示す構成ブロック図である。本発明の実施例における３種類の記録態様例を示す図である。本発明の実施例におけるファイルヘッダーの記入例を示す図である。本発明の実施例におけるファイルヘッダーへの記録フォーマット例を示す図である。本発明の実施例における主画像データがＪＰＥＧ方式で圧縮されて記録される場合のＪＰＥＧヘッダーへの記録を示す図である。本発明の実施例における副画像データを主画像データと別ファイルに記録し、リレーショナルファイルに当該データの関連付けデータを記録する例を示す図である。本発明の実施例における副画像データを主画像データと別ファイルに記録し、主画像データ用のファイルのファイルヘッダーに、副画像データファイルについての関連情報を記録する例を示す図である。本発明の実施例における主画像データと副画像データをそれぞれ別ファイルとして記録し、これらデータの識別、関連付けをファイル名により行なう例を示す図である。本発明の実施例における主画像データと副画像データを別ファイルに記録し、各ファイルの関連付けをディレクトリで行なうディレクトリ構造例を示す図である。本発明の実施例における主画像データと副画像データを別ファイルに記録し、主画像ファイルは別個のファイルとするが、副画像ファイルは一括ファイルに格納する例を示す図である。本発明の実施例における画像データ記録開始アドレスをクラスタ単位で指定する例を示す図である。本発明の実施例によるデジタルスチルカメラの動作シーケンスを示すフローチャートである。本発明の実施例における主画像データ記録後に副画像データを記録する場合の画像データ記録処理シーケンスを示すフローチャートである。図１３のステップＳ２５における副画像作成処理の作成シーケンスを示すフローチャートである。図１４における非圧縮データ変換処理の手順を示すフローチャートである。図１３のステップＳ２６における副画像記録処理手順を示すフローチャートである。ファイルヘッダーへのデータの書き込みの処理手順を示すフローチャートである。図１４に示す副画像データのＪＰＥＧヘッダーへの記録処理手順を示すフローチャートである。図６に示すリレーショナルファイルを用いた画像データ間の関連付けを行なう副画像記録シーケンスを示すフローチャートである。図７に示すファイルヘッダーによる関連付けを行なう副画像記録シーケンスを示すフローチャートである。図８に示すファイル名による関連付けを行なう副画像記録シーケンスを示すフローチャートである。図９に示すディレクトリでの関連付けを行なう副画像記録シーケンスを示すフローチャートである。図１０に示す副画像用一括ファイルを利用した副画像データを記録するシーケンスを示すフローチャートである。本発明の実施例におけるデジタルスチルカメラの連写時の動作シーケンスを示すフローチャートである。図２４のステップＳ１３６の連写時の副画像作成条件を判定するシーケンス例を示すフローチャートである。本発明の実施例における連写スピードに合わせて複数の主画像から副画像を作成するシーケンスを示すフローチャートである。本発明の実施例におけるモニタ上の主画像が表示されている画面内に副画像を同時に表示させるピクチャーＩＮピクチャー表示例を示す図である。本発明の実施例におけるモニタ上に表示されている主画像画面の一部（右上部）にコマ番号と副画像の個数情報をキャラクタ表示する例を示す図である。本発明の実施例におけるモニタ上に表示されている主画像から、所望により副画像として取り出すエリアを選択エリアとしてエリアの大／小とともに設定する例を示す図である。本発明の実施例におけるモニタ上に表示されている主画像から、所望により副画像として取り出すエリアを選択エリアとしてエリアの大／小とともに設定する例を示す図である。本発明の実施例における主画像を縮小し、更に圧縮処理した画像を副画像として用いる例を示す図である。本発明の実施例における画像の再生シーケンスを示すフローチャートである。本発明の実施例における再生時の副画像作成シーケンスを示すフローチャートである。本発明の実施例における副画像の消去処理シーケンスを示すフローチャートである。本発明の実施例における別ファイルで副画像を書き込んだときの一括消去を行なうシーケンスを示すフローチャートである。本発明の実施例における副画像データと主画像データの伝送手順を示すフローチャートである。本発明の実施例における副画像を受信側からの要求に応じてリアルタイムで自動作成して送信する処理手順を示すフローチャートである。図３７のシーケンスを具体的に示す図である。

符号の説明

１光学系レンズ
２撮像回路
３クランプ回路
４Ａ／Ｄ変換回路
５デジタルプロセス回路
６Ｄ／Ａ変換回路
７増幅回路
８電子ビューファインダ
９キャラクタジェネレータ
１０メモリコントローラ
１１フレームメモリ
１２ＤＣＴ／ＩＤＣＴ（離散コサイン変換／逆離散コサイン変換）
１３コーダ／デコーダ
１４補助メモリ
１５ＩＣメモリカード
１６システムコントローラ
１７表示部
１８操作部
１９データ入出力部

Claims

被写体画像を得るための光学系と、
前記光学系を介して得られた被写体画像を光電変換して電気信号に変換する撮像回路と、
前記撮像回路からの電気信号をデジタルデータに変換するＡ／Ｄ変換回路と、
前記Ａ／Ｄ変換回路で変換されたデジタルデータを符号化するコーダと、
前記コーダによって符号化された画像データを記憶手段に記録せしめると共に前記記憶手段に記録された画像データを読み出すための制御手段と、
前記記憶手段から読み出された画像データを伸長処理するためのデコーダと、
画像データを伝送する伝送手段と、
前記画像データに対応する主画像とこの主画像よりも縮小または圧縮された副画像とを生成する副画像生成手段と、
を有し、
前記伝送手段で伝送された副画像のデータを受信した受信側装置からの応答信号を受けて前記伝送した副画像に対応する主画像データを伝送するか、または、前記応答信号として作成モードを指定する信号を受けて当該指定信号で指定された作成モードに従って前記副画像を生成して伝送を行うことを特徴とする画像取扱装置。
前記主画像または副画像を前記記憶手段に記録するに際し、各データの書き込み開始アドレスが２^ｎ（nは自然数）で表されるアドレスであることを特徴とする請求項１に記載の画像取扱装置。