JP2011071968A - 静止画像ファイルのデータ構造、画像ファイル生成装置、画像再生装置及び電子カメラ - Google Patents

Abstract

【課題】関連する静止画像ファイルと動画像ファイルとの間で関連する相手側のファイルを容易かつ確実に探し出すことができる静止画像ファイルのデータ構造、画像ファイル生成装置、画像再生装置及び電子カメラを提供する。
【解決手段】動画像生成部４３は撮像素子３１からの画素信号を基に所定解像度（ＶＧＡ又はＱＶＧＡ）の動画データを生成してＲＡＭ３４にストレージする。静止画像生成部４２は、例えば動画撮影中に静止画の撮像が行われると、撮像素子３１からの画素信号を基に例えばフル解像度の静止画像データを生成する。そして、動画切出し処理部４５が、ＲＡＭ３４にストレージされた動画像データＭＤから、その静止画撮像時刻ｔｓの前後ｎ秒の動画像データＭＤcutを切り出す。ファイル生成部４６は、その切り出された動画像データＭＤcutを、静止画像データのヘッダに組み込んで、動画付き静止画像ファイルを生成する。
【選択図】図４

Description

本発明は、静止画像ファイルのデータ構造、静止画像ファイルを生成する画像ファイル生成装置、静止画像ファイルに基づく画像を再生する画像再生装置及び電子カメラに関する。

従来の一電子カメラは、動画を撮影中に静止画を撮影し、その静止画像ファイルと動画像ファイルとを互いに関連付けるための関連付けデータを含むデータ構造を有するように生成し、両画像ファイルを互いに関連付けて記録（保存）する。この関連付けデータには、相手方の画像ファイルのファイル名が識別子として含まれている（例えば、特許文献１参照）。特許文献１の電子カメラは、静止画の再生時には、その静止画の撮影と同時に撮影されていた動画があれば、動画マークを表示させて動画の存在をユーザに知らせる機能と、所定操作に応答して、その静止画に対応する動画を、再生中の静止画の撮影タイミングに対応する途中の再生箇所から再生させる機能なども備えていた。

特開２００４−３０４４２５号公報

ところで、画像ファイルのファイル名は、ユーザにより書き換えられることがあり得る。特許文献１に記載の電子カメラでは、関連付けデータで互いに関連付けられた画像ファイルのうち片方または両方の画像ファイルのファイル名が書き換えられると、書き換え後のファイル名は、関連付けデータで識別子として使用されるファイル名と一致しなくなってしまう。この場合、そのファイル名を識別子とする関連付けデータによっては、動画像と静止画像の関連を識別できなくなるという問題があった。静止画像の再生時に関連する動画像データを利用して静止画像の効果的な再生を行うために必要な動画像は、一般的には、静止画像の撮影時刻を含む比較的短い時間（例えば１０秒程度）の再生時間を有するものである。

本発明の目的は、関連する静止画像ファイルと動画像ファイルとの間で関連する相手側のファイルを容易かつ確実に探し出すことができる静止画像ファイルのデータ構造、画像ファイル生成装置、画像再生装置及び電子カメラを提供することにある。

上記目的を達成するために、本発明は、静止画像ファイルのデータ構造であって、静止画像データと、当該静止画像データに関する情報と、前記静止画像データと関連性を有する動画像データとが一つの静止画像ファイルに組み込まれていることを要旨とする。

また、本発明の静止画像ファイルのデータ構造では、撮影手段を備えたカメラにより動画の撮影中に撮影された静止画の静止画像データと、当該静止画像データに関する前記情報と、当該静止画の撮影時刻を含む撮影時間に前記撮影手段により撮影された前記動画の動画像データとが一つの静止画像ファイルに組み込まれていることが好ましい。

さらに本発明の静止画像ファイルのデータ構造では、前記動画像データのデータ容量が前記静止画像データのデータ容量よりも小さく、前記動画像データは複数枚のフレーム画像を含み、
前記静止画像ファイルには、前記複数枚のフレーム画像と、前記複数枚のフレーム画像と同期した音声データとを含む動画データとが組み込まれていることが望ましい。

また、本発明の静止画像ファイルのデータ構造では、前記静止画像データに関する前記情報は、前記静止画像ファイル中のヘッダに含まれ、前記動画像データは、前記ヘッダに組み込まれていることが望ましい。

また、本発明は、動画の撮影中に静止画の撮影が可能な撮影手段とともに用いられて、静止画像ファイルを生成する画像ファイル生成装置であって、前記撮影手段により撮影された前記動画の動画像データと、当該動画の撮影中に前記撮影手段により撮影された静止画の静止画像データとを取得する画像取得手段と、取得した前記静止画像データに関する情報を取得する情報取得手段と、前記情報と前記動画像データと前記静止画像データとを含む一つの静止画像ファイルを生成するファイル生成手段と、を備えることを要旨とする。

また、本発明の画像ファイル生成装置において、前記画像取得手段は、取得した動画像データの撮影時間内の一撮影時刻に撮影された静止画の静止画像データを取得し、前記画像ファイル生成装置は、前記動画像データのうち、当該静止画像データの前記撮影時刻を含む所定時間分の動画像データを切り出す動画像切出手段を更に備え、前記ファイル生成手段は、前記切り出された前記所定時間分の前記動画像データを前記静止画像ファイル内に組み込むことが好ましい。

本発明の画像ファイル生成装置において、前記動画像データの解像度は、前記静止画像データの解像度より低く、前記動画像データは、前記動画のうち、前記静止画像データの撮影時刻を含む一部の撮影期間に対応していることが好ましい。

本発明は、上記発明に係るデータ構造を有する静止画像ファイルを基に画像を再生する画像再生装置であって、表示装置と、スピーカと、再生させるべき静止画像ファイルを選択するための選択手段と、選択された静止画像ファイル内から動画データの音声データを取得する音声データ取得手段と、選択された前記静止画像ファイル中の静止画像データを前記表示装置に表示させる画像再生を行うと共に、前記静止画像データの再生タイミングに同期させて前記音声データを前記スピーカに再生させる制御手段とを備えたことを要旨とする。

また、本発明の画像再生装置において、前記選択手段が、スライドショーを実行させるために複数の前記静止画像ファイルを選択したのに応答して、前記音声データ取得手段は、選択された複数の静止画像ファイル内に含まれる動画データの音声データを取得し、前記制御手段は、前記選択された複数の静止画像ファイル中にそれぞれ含まれる複数の静止画像データに基づく複数の静止画像を前記表示装置に順番に表示させるスライドショーを行い、表示で使用中の前記静止画像データが組み込まれているものと同一の静止画像ファイルに組み込まれている音声データを用いて音声を前記スピーカに再生させることが好ましい。

また、本発明は、画像再生装置であって、上記発明に係るデータ構造を有する静止画像ファイルを少なくとも１つ含む複数の静止画像ファイルを記憶する記憶手段と、表示装置と、前記記憶手段から読み出した前記複数の静止画像ファイルを基に、複数の画像が一覧表示された選択画面を生成して、前記選択画面を前記表示装置に表示させる表示制御手段と、前記選択画面に一覧表示された前記複数の画像のうちから再生させるべき一又は複数の静止画像を選択するための選択手段と、前記選択手段により選択された前記一又は複数の静止画像を前記表示装置に表示させる画像再生を行う再生手段とを備え、前記表示制御手段は、前記一覧表示に用いる静止画像ファイルのうち動画像データが含まれている静止画像ファイルについては当該動画像データに基づく動画を前記一覧表示の画像として表示させることを要旨とする。

さらに本発明は、電子カメラであって、上記発明に係る上記画像ファイル生成装置と、上記発明に係る上記画像再生装置とのうちの一方又は両方を備えることを要旨とする。

カメラの斜視図。 カメラの背面図。 カメラの電気的構成を示すブロック図。 カメラが内蔵する画像ファイル生成装置及び画像再生装置のブロック図。 動画像データのデータ構造を示す模式図。 動画付き静止画像ファイルのデータ構造を示す模式図。 画像ファイル生成処理ルーチンを示すフローチャート。 静止画像ファイルの選択画面を示す画面図。 静止画マルチ表示処理ルーチンを示すフローチャート。 スライドショー処理を説明する模式図。 スライドショー処理ルーチンを示すフローチャート。 スライドショーの静止画像表示中のカメラを示す背面図。 変形例の表示内容がモニタに表示されたカメラを示す背面図。

以下、本発明の一実施形態に従う電子カメラの一種であるデジタルカメラを図１〜図１２に基づいて説明する。
図１はデジタルカメラ１１の斜視図、図２はその背面図である。図１に示すように、デジタルカメラ（以下、「カメラ」という）１１は、略直方体形状をなすカメラ本体１２を有している。カメラ本体１２の前面（正面）略中央部には撮像レンズ部１３を内装した伸縮自在な鏡筒１３ａが設けられる。鏡筒１３ａよりも上側にはストロボ発光部１４及び合焦動作用の赤外線等を被写体に向けて照射するための照射窓部１５が設けられている。さらに、鏡筒１３ａ付近には音声を録音するためのマイク１６が設けられている。

また、カメラ本体１２の上面には左から、レリーズボタン１７、電源ボタン１８、スピーカ１９が設けられている。レリーズボタン１７はカメラ１１に撮像動作を開始させるときに撮像者により押し下げ操作（すなわち、オン操作）される。電源ボタン１８は、カメラ１１を電源オン状態とするときに撮像者により押し下げ操作される。本実施形態のカメラ１１は、静止画撮影機能の他に動画撮影機能も備える。動画撮影時の音声はマイク１６により録音される。また、動画再生時の音声はスピーカ１９から出力される。

一方、図２に示すように、カメラ本体１２の背面にはモニタ２０が設けられている。モニタ２０の上方位置にはモード選択スイッチ２１が設けられている。モード選択スイッチ２１の切換え操作により、カメラ１１の動作モードは静止画モードと動画モードの間で切り換え可能である。なお、本実施形態のカメラ１１は、動画撮影中にレリーズボタン１７を押し下げ操作すると、その動画撮影と同時に静止画像を撮影できる機能（以下、「動画静止画同時撮影機能」という）を有している。モニタ２０は例えば液晶モニタである。

また、カメラ本体１２の背面にはズームボタン２２、メニューボタン２３、セレクトボタン２４、決定ボタン２５が設けられている。
ズームボタン２２は、主として撮像レンズ部１３をズームアップ又はズームダウンさせるときに操作される。メニューボタン２３は、主としてモニタ２０にメニュー画面を表示させるときに操作される。ユーザがメニューボタン２３を操作すると、現在の動作モードに応じたメニュー画面が表示される。また、セレクトボタン２４は、主としてメニュー画面における項目の選択や設定画面の切り替え及び設定の変更を行う際に操作される。決定ボタン２５は、メニュー画面や設定画面で選択された項目を確定（決定）する際に操作される。ユーザが例えば、メニュー画面で、画像表示枚数を指定してマルチ表示の項目を選択した場合は、モニタ２０の画面２０ａに現在の動作モード（静止画モードまたは動画モード）に応じた画像（静止画または動画）が一覧表示（マルチ表示）されるようになっている。例えば静止画モードであれば、複数枚の静止画像が縮小サイズで一覧表示される。マルチ表示された複数枚の画像の中から、ユーザがセレクトボタン２４を操作して一枚を選択すると、その選択した１枚の画像の再生が可能になっている。

さらに、カメラ本体１２の背面には、再生ボタン２６、停止ボタン２７、早送りボタン２８及び早戻しボタン２９が設けられている。例えば静止画モードでユーザが再生ボタン２６を操作すると、そのとき選択されている静止画像が画面２０ａに表示（再生）される。また、動画モードでユーザが再生ボタン２６を操作すると、そのとき選択されている動画が画面２０ａに再生される。

次に、本実施形態のカメラ１１における回路構成を図３のブロック図に基づき説明する。
図３に示すように、カメラ１１は、カメラ１１における各種動作を統括的に制御するＭＰＵ（Micro Processing Unit）３０を備えている。また、カメラ１１は、撮像レンズ部１３のレンズ群（図３では図面の簡略化のため１つのみ図示）を通過した被写体光を撮像レンズ部１３の像空間側に結像させるための撮像素子３１をカメラ本体１２内に有している。この撮像素子３１は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、又はＣＣＤ（Charge Coupled Device）イメージセンサからなる。撮像素子３１は、その撮像面に結像した被写体像に対応した信号電荷を蓄積し、その蓄積した信号電荷を光電変換してアナログ信号を生成し、生成したアナログ信号を画素信号として出力する。なお、撮像素子３１は、電源ボタン１８が押し下げ操作された後において、レリーズボタン１７が押し下げ操作される前段階の待機モードにおいても、被写体の経時変化するスルー画像の画素信号を出力し得るように構成されている。

撮像素子３１には信号処理回路３２が直列に接続されている。信号処理回路３２は、ＡＦＥ（Analog Front End）部とＡ／Ｄ変換器とを有している。ＡＦＥ部は、撮像素子３１から出力された画素信号を所定のタイミングでサンプリング（相関二重サンプリング）して、例えばＩＳＯ感度に基づく所定の信号レベルとなるように増幅する。Ａ／Ｄ変換器は、ＡＦＥ部から出力された増幅後の画素信号（アナログ信号）をデジタル信号に変換し、このデジタル画素信号をＭＰＵ３０に出力する。

ＭＰＵ３０は、所定の画像処理を行うための画像処理部３３（一例としてＤＳＰ（Digital Signal Processor））を内蔵している。画像処理部３３は、信号処理回路３２から受信したデジタル画素信号に対して、色補間処理、階調補正、ホワイトバランス処理及び輪郭補償等の画像処理を施すことにより所定の画像データを生成する。この画像処理部３３において生成された画像データは、バッファメモリとして機能するＤＲＡＭ等よりなるＲＡＭ３４に一時記憶される。

その後、ＭＰＵ３０は、ＲＡＭ３４から画像データを読出して、例えばＪＰＥＧ方式でデータ圧縮処理を行い、圧縮処理後の画像データを含む画像ファイルを生成し、生成した画像ファイルをカードスロット３５を介してカメラ１１に着脱可能とされた記憶媒体であるメモリカード３６に記憶するようになっている。また、ＭＰＵ３０は、メモリカード３６から画像データを読出して伸張処理を施した後の画像データを、ＲＡＭ３４に記憶させて、ＬＣＤ駆動回路（図示省略）を介してモニタ２０に表示させる。

また、図３に示すように、ＭＰＵ３０には、レリーズボタン１７、電源ボタン１８、モニタ２０及び操作部３７が接続されている。操作部３７は、図２に示すモード選択スイッチ２１、ズームボタン２２、メニューボタン２３、セレクトボタン２４、決定ボタン２５、再生ボタン２６、停止ボタン２７、早送りボタン２８及び早戻しボタン２９等により構成される。モニタ２０は、ＭＰＵ３０による表示制御に従い、動画像及び静止画像を選択的に表示する。

また、ＭＰＵ３０は、カメラ本体１２に内蔵された不図示の自動露出装置（ＡＥ装置）、自動合焦装置（ＡＦ装置）及びシャッタ制御装置等と接続されており、これらの各装置を制御することにより、自動露出制御（ＡＥ制御）、自動合焦制御（ＡＦ制御）及びシャッタ制御などを行う。ＭＰＵ３０は、例えば不揮発性メモリ３８に記憶された制御プログラムコードに従って前述の各種制御（例えば撮影制御、データ処理制御、表示制御など）を行う。

画像処理部３３の画像ファイル生成機能を説明する。カメラ１１は、動画撮影中に静止画の撮像を行うことが可能な動画静止画同時撮像機能を有している。画像ファイル生成機能は、動画撮影中に静止画の撮像が行われて静止画像ファイルを生成する際に、動画像データから静止画撮像時刻ｔｓの前と後の各々ｎ秒（例えばｎは２〜１０秒の範囲内の値）分の動画像データを切り出して動画像ファイルを生成し、さらにその切り出した動画像ファイルを静止画像用のヘッダに組み込むことで静止画像ファイルを生成する。

図４は、画像ファイル生成装置及び画像再生装置の構成を示す。図４に示すように、画像ファイル生成装置４０Ａ及び画像再生装置４０Ｂは、画像処理部３３及びＲＡＭ３４等により構成されている。画像処理部３３は、受信した画素信号に前述の画像処理を施して生成した画像データを基に画像ファイルを生成する画像ファイル生成機能と、画像ファイルに基づき画像を再生する画像再生機能とを有している。画像処理部３３は、画像ファイル生成機能及び画像再生機能を実現するために、各部を統括制御する制御部４１、静止画像生成部４２、動画像生成部４３、計時部４４、動画切出し処理部４５、ファイル生成部４６、判断部４７、マルチ表示処理部４８、静止画再生部４９、動画再生部５０及び音声再生部５１を備えている。本実施形態では、画像ファイル生成装置４０Ａは、制御部４１、静止画像生成部４２、動画像生成部４３、計時部４４、動画切出し処理部４５、ファイル生成部４６及びＲＡＭ３４により構成される。また、画像再生装置４０Ｂは、判断部４７、マルチ表示処理部４８、静止画再生部４９、動画再生部５０及び音声再生部５１により構成される。

静止画モードで静止画を撮像した時は、撮像素子３１から信号処理回路３２（図３を参照）を介して例えばフル解像度（約１０メガピクセル）の画素信号が画像処理部３３内の静止画像生成部４２へ供給される。また、動画モードで動画を撮影した時は、撮像素子３１からの動画撮影時の画素信号と、マイク１６からの音声信号とが、同期したタイミングで画像処理部３３内の動画像生成部４３へ供給される。

静止画像生成部４２は、受信したフル解像度の画素信号に基づき所定の画像処理を施して静止画像データを生成する。また、動画像生成部４３は、受信した画素信号と音声信号とに基づき動画像データを生成し、その生成した動画像データをＲＡＭ３４の所定記憶領域に記憶（ストレージ）する。詳しくは、動画像生成部４３は、動画撮影中に受信した画素信号に所定の画像処理を施してフル解像度より低解像度のフレーム画像を、所定フレームレート（例えば３０ｆｐｓ）で生成し、画素信号に同期してマイク１６から受信した音声信号に基づき音声データを生成し、その生成したフレーム画像と音声データをＲＡＭ３４の所定記憶領域に順次記憶（ストレージ）する。一例では、静止画像データの設定解像度はフル解像度（約１０メガピクセル）であるが、設定解像度はこれより低解像度に変更可能である。動画像データの解像度は、静止画像データの設定解像度より低解像度であり、例えばＶＧＡ（Video Graphics Array）（640×480ピクセル）又はＱＶＧＡ（Quarter Video Graphics Array）（320×240ピクセル）である。

計時部４４は、現在時刻を計時する時計機能と、動画撮影開始時点からの動画の撮影時間を計時する動画撮影時間計時機能とを備える。静止画像ファイルや動画像ファイルのヘッダに格納される静止画撮像時刻や動画撮影時刻は、撮影時点における計時部４４の計時情報より取得される。

図５は、動画像生成部４３が生成する動画像データの構造を示す。図５に示すように、動画像生成部４３は、所定枚数のフレーム画像よりなる単位動画データｍｄと、この単位動画データｍｄに同期した単位音声データａｄとを１つのコンテナ５３に収容し、生成した各コンテナ５３をＲＡＭ３４の所定記憶領域に順次格納する。こうしてＲＡＭ３４には動画像データがストレージされる。図５に示すように、各コンテナ５３には、動画撮影開始時刻を「０」とする撮影時刻がタイムスタンプとして記録されている。例えば単位動画データｍｄ１，ｍｄ２，…，ｍｄｎには、所定時間間隔ΔＴ毎に撮影時刻「０」，「Ｔ１」，…，「Ｔｎ」のタイムスタンプがそれぞれ記録される。このため、動画像データＭＤ中のコンテナ５３のタイムスタンプを検索することにより、所望時刻のコンテナ５３の抽出（切り出し）が可能になっている。

また、静止画の撮像が行われた場合、その静止画撮像時刻ｔｓは計時部４４の計時時刻から取得できる。このため、静止画撮像時刻ｔｓと、ＲＡＭ３４にストレージされた動画像データＭＤの各コンテナ５３のタイムスタンプ（撮影時刻）とを比較し当該タイムスタンプを検索することにより、静止画撮像時刻ｔｓの前ｎ秒分のフレーム画像群及び後ｎ秒分のフレーム画像群の抽出が可能になっている。

制御部４１は、カメラ１１により動画撮影中に静止画の撮像が行われる度に、動画切出し処理部４５に対して動画像データの切出し処理を指示する。動画切出し処理部４５は、制御部４１からの指示により活性化し、動画像生成部４３によりＲＡＭ３４にストレージされた動画像データＭＤから、その静止画撮像時刻ｔｓの前後各ｎ秒分（つまり２ｎ秒分）の動画像データＭＤcutを切り出す処理を行う。この切り出し処理は、動画像データＭＤのコンテナ５３のタイムスタンプを検索して、静止画撮像時刻ｔｓの前後各ｎ秒分の範囲に撮影時間を有するコンテナ５３を特定し、その特定したコンテナ５３を読み出すことにより、動画像データＭＤcutの切り出しを行う。

ファイル生成部４６は、静止画像生成部４２が生成した静止画像データと、動画切出し処理部４５が切り出した動画像データＭＤcutとを受信する。そして、ファイル生成部４６は、受信した静止画像データに静止画像用のヘッダを付けて静止画像ファイルを生成し、受信した動画像データＭＤcutに動画像用のヘッダを付けて動画像ファイルを生成し、生成した動画像ファイルを静止画像用のヘッダに組み込んで動画付き静止画像ファイルＳＦを生成する。このように、ファイル生成部４６は、静止画像データＳＤと関連性を有する動画像データＭＤcutとが一つの静止画像ファイルＳＦに組み込まれている静止画像ファイルを生成する。

図６は、動画付き静止画像ファイルＳＦのデータ構造を示す。図６に示すように、静止画像ファイルＳＦは、静止画像用ヘッダＨｓと静止画像データＳＤとを備える。ヘッダＨｓには、一般的な静止画像ファイルと同様に、静止画像データに関する静止画撮像関連情報と、サムネイル画像データＴＮ（縮小静止画像データ）などが格納される。静止画撮像関連情報としては、撮像日時（年・日・時・分・秒）、撮像条件（シャッタスピード、露出値、ズーム値、撮影モード、姿勢角等）、撮影位置（ＧＳＰ情報等）などの情報が挙げられる。ヘッダＨｓには、動画像ファイルＭＦが組み込まれている。この動画像ファイルＭＦには、動画像用ヘッダＨｍと、動画切出し処理部４５により切り出された動画像データＭＤcutとが含まれる。

動画像データＭＤcutの解像度（例えばＶＧＡ又はＱＶＧＡ）は、静止画像データＳＤの設定解像度（例えば１０メガピクセル）より小さく、かつ動画像データＭＤcutの撮影時間が静止画撮像時刻ｔｓの前後各ｎ秒（＝２ｎ秒）分に制限されているので、動画像データＭＤcutのデータ容量は、ヘッダＨｓへの組込みが可能な程度に小さい。このように動画像ファイルＭＦが静止画像ファイルＳＦのヘッダＨｓに組み込まれることにより、互いに関連する静止画像データと動画像データを１つの静止画像ファイルＳＦ内に保管される。

なお、上記では動画静止画同時撮影機能の場合の例で、動画付き静止画像ファイルＳＦの生成処理を説明したが、静止画モードでも、メニューで「動画入りファイル生成」の項目を選択すれば、同様に、動画付き静止画像ファイルＳＦが生成されるようになっている。

この場合、常時もしくは所定のトリガ（例えばレリーズ半押し操作）が発生した時点から、撮像素子３１からフル解像度（約１０メガピクセル）の画素信号を画像処理部３３が取り込み、ＶＧＡ又はＱＶＧＡの低解像度の動画像データＭＤcutを所定時間（例えば１０〜６０秒の範囲内の値）に亘り、ＲＡＭ３４にストレージし続ける。そして、所定時間が経過し終わる前にレリーズボタン１７が全押し操作されて静止画撮像のトリガが発生すると、制御部４１は、静止画像生成部４２に静止画像データの生成を指示し、動画切出し処理部４５に動画像データＭＤcutの切り出しを指示する。

ファイル生成部４６は、静止画像生成部４２からその静止画撮像時刻ｔｓに撮像されたフル解像度の静止画像データＳＤを受信し、ＲＡＭ３４にストレージされた動画像データＭＤから動画切出し処理部４５が切り出した静止画撮像時刻ｔｓの前後各ｎ秒分の動画像データＭＤcutを受信する。そして、ファイル生成部４６は、静止画像データＳＤにヘッダＨｓを付けて静止画像ファイルを生成し、動画像データＭＤcutに動画像用ヘッダＨｍを付けて動画像ファイルＭＦを生成し、その生成した動画像ファイルＭＦをヘッダＨｓに組み込んで動画付き静止画像ファイルＳＦを生成する。ファイル生成部４６は、この動画付き静止画像ファイルＳＦをメモリカード３６に記憶する。

また、図４に示すファイル生成部４６は、動画モードにおいてＲＡＭ３４にストレージされた動画像データＭＤに基づき動画像ファイルを生成し、静止画モードにおいて「動画入りファイル生成」の項目が非設定とされている場合に、静止画像データに基づき静止画像ファイルを生成する。

次にメモリカード３６に記憶された画像ファイルに基づき画像を再生する画像再生装置４０Ｂの構成を説明する。図４に示すように、画像再生装置４０Ｂは、前述のように、画像処理部３３内に設けられた、制御部４１、判断部４７、マルチ表示処理部４８、静止画再生部４９、動画再生部５０及び音声再生部５１を備えている。本実施形態では、メモリカード３６には、静止画像ファイル、動画像ファイル、動画付き静止画像ファイルＳＦの３タイプの画像ファイルが記憶される。つまり、静止画像ファイルには、ヘッダＨｓ内の動画像ファイルＭＦ（又は動画像データＭＤcut）の有無によって２タイプがある。

判断部４７は、静止画像再生時及びマルチ表示処理時においてメモリカード３６から読み出した再生すべき静止画像ファイルが、動画付き静止画像ファイルＳＦであるか否かを判断する。すなわち、判断部４７は、制御部４１に指示された再生すべき静止画像ファイルをメモリカード３６から読み出し、その読み出した静止画像ファイルのヘッダＨｓ中に動画像データＭＤcutが存在するか否かを判断する。そして、判断部４７は、ヘッダＨｓ内に動画像データＭＤcutが存在すれば、その静止画像ファイルが動画付き静止画像ファイルＳＦであると判断し、ヘッダＨｓ内に動画像データＭＤcutが存在しなければ、その静止画像ファイルが単なる静止画像ファイルであると判断する。

マルチ表示処理部４８は、再生すべき静止画像又は動画像をユーザに選択させるために、複数の画像をマルチ表示させた選択画面の生成処理、及び生成した選択画面をモニタ２０に表示させる表示処理を行う。この選択画面に複数の画像をマルチ表示させる表示処理も、本例では広く画像再生処理に含まれる。ここで、現在の動作モードに応じたマルチ表示の選択画面が表示される。すなわち、静止画モードでは、静止画像ファイルがマルチ表示の対象として選択され、動画モードでは、動画像ファイルがマルチ表示の対象として選択される。単なる静止画像ファイルの場合は、サムネイル画像データＴＮ（図６参照）がマルチ表示の対象とされ、動画付き静止画像ファイルＳＦの場合は、ヘッダＨｓ内の動画像データＭＤcutがマルチ表示の対象とされる。

本例のマルチ表示処理部４８は、静止画モード時の選択画面を表示する際、判断部４７の判断の結果、表示対象の静止画像ファイルが動画付き静止画像ファイルＳＦである場合には、そのヘッダＨｓ中の動画像データＭＤcutに基づく動画像を選択画面に表示する。一方、マルチ表示処理部４８は、判断部４７の判断の結果、表示対象の静止画像ファイルが単なる静止画像ファイルである場合には、そのヘッダＨｓ中のサムネイル画像データＴＮに基づくサムネイル画像を選択画面に表示する。

静止画再生部４９は、例えば選択画面でユーザにより選択操作された１つの静止画像をモニタ２０に再生する静止画再生処理を行う。
動画再生部５０は、例えば選択画面でユーザにより選択操作された１つの動画像をモニタ２０に再生する動画再生処理を行う。

音声再生部５１は、動画再生時において、動画像データ中の音声データに基づく音声を、動画再生部５０によるモニタ２０への動画の再生に同期させてスピーカ１９に再生させる。

また、画像再生装置４０Ｂは、画像再生機能の１つとしてスライドショー機能も備える。スライドショーとは、複数枚の静止画像を所定時間毎に順番に切り替えながらモニタ２０に表示させる機能である。ユーザは、スライドショーに用いる複数の静止画像ファイルを選択する操作を行ってから、スライドショーの実行を指示する操作を行う。このスライドショーの実行指示に応答して、制御部４１は、判断部４７、静止画再生部４９及び必要に応じて音声再生部５１を活性化し、再生させるべき静止画像ファイルを順番に指定して静止画再生部４９に対しその静止画像のモニタ２０への表示を指示することにより、モニタ２０に静止画像を順番に表示させるスライドショーを実行する。このとき、制御部４１は、まず判断部４７に対し、メモリカード３６からの指示した静止画像ファイルの読み出しを行わせ、その読み出した静止画像ファイルのヘッダＨｓ中における動画像データＭＤcutの有無を判断させる。

制御部４１は、判断部４７の判断の結果、ヘッダＨｓ中に動画像データＭＤcutが存在すれば、静止画再生部４９及び音声再生部５１を活性化させる。そして、制御部４１は、静止画再生部４９に静止画像ファイルＳＦ中の静止画像データＳＤに基づく静止画像を再生させ、そのヘッダＨｓ中の動画像データＭＤcut中の音声データに基づく音声を音声再生部５１に再生させる。

なお、本例では、画像ファイル生成装置４０Ａの種々の回路（但しＲＡＭ３４を除く）は、ＭＰＵ３０が不揮発性メモリ３８に記憶された図７にフローチャートで示す画像ファイル生成処理ルーチンのプログラムを実行することによりソフトウェアとして実施することができる。また、画像再生装置４０Ｂは、静止画マルチ表示機能部とスライドショー処理機能部とを有している。画像再生装置４０Ｂのうちの静止画マルチ表示機能部（制御部４１、判断部４７及びマルチ表示処理部４８など）は、ＭＰＵ３０が、不揮発性メモリ３８に記憶された図９にフローチャートで示す静止画マルチ表示処理ルーチンのプログラムコードを実行することによりソフトウェアとして実施することができる。また、画像再生装置４０Ｂのうちのスライドショー処理機能部（制御部４１、判断部４７、静止画再生部４９及び音声再生部５１など）は、ＭＰＵ３０が、不揮発性メモリ３８に記憶された図１１にフローチャートで示すスライドショー処理ルーチンのプログラムコードを実行することによりソフトウェアとして実施することができる。もちろん、画像ファイル生成装置４０Ａ及び画像再生装置４０Ｂは、ソフトウェアにより実現することに限定されず、ＡＳＩＣ等によりハードウェアとして構成したり、ソフトウェアとハードウェアの協働により実現したりすることもできる。

次に、カメラ１１のＭＰＵ３０が実行する画像ファイル生成処理ルーチンの概要を図７のフローチャートに従って説明する。
さて、ＭＰＵ３０は、カメラ１１における電源ボタン１８がオン操作された状態において、動画モードで動画撮影開始操作をトリガとして、あるいは静止画モードでレリーズ半押し操作（撮像準備操作）をトリガとして、ＭＰＵ３０は図７に示す画像ファイル生成処理ルーチンを開始する。ステップＳ１０において、ＭＰＵ３０は、その時点で撮像素子３１の撮像面に結像している被写体像の、経時的に変化する高解像度の画素信号を受信する。非限定的な例では、この画素信号の解像度はフル解像度であり得る。この受信した高解像度の画素信号を基にＭＰＵ３０内の動画像生成部４３が、ＶＧＡ又はＱＶＧＡ等の低解像度の動画像データを生成し、その生成した動画像データのＲＡＭ３４へのストレージを開始する。

次のステップＳ２０において、ＭＰＵ３０は静止画撮像のトリガすなわちレリーズボタン１７の全押し操作があったか否かを判断する。制御フローは、静止画撮像のトリガがあればステップＳ３０に進み、静止画撮像のトリガがなければステップＳ７０に進む。例えばユーザがレリーズボタン１７を操作して時刻ｔｓに静止画撮像を行ったとすると、制御フローはステップＳ３０に進む。

ステップＳ３０において、ＭＰＵ３０は、静止画像生成部４２を活性化して、静止画像生成部４２に静止画像データを生成させる。静止画像生成部４２は、受信したフル解像度の画素信号を基に設定解像度（例えば１０Ｍピクセル）の静止画像データを生成する。

次のステップＳ４０において、ＭＰＵ３０は、動画切出し処理部４５を活性化し、ＲＡＭ３４にストレージされた動画像データＭＤのうち、静止画撮像時刻ｔｓの前後各ｎ秒分の動画像データＭＤcutを切り出して、その動画像データＭＤcutをＲＡＭ３４から取得する（動画切出し処理）。

次のステップＳ５０において、ＭＰＵ３０は、ファイル生成部４６を活性化し、ファイル生成部４６に動画付き静止画像ファイルＳＦを生成させる。このとき、ファイル生成部４６は、制御部４１から静止画撮像関連情報を取得して、ファイルのヘッダＨｓに静止画撮像関連情報を組み込み、このヘッダＨｓを静止画像データＳＤに付けて静止画像ファイルを生成する。次にファイル生成部４６は、制御部４１から動画撮影関連情報を取得して、動画像用ヘッダＨｍに動画撮影関連情報を組み込み、この動画像用ヘッダＨｍを動画像データＭＤcutに付けて動画像ファイルＭＦを生成する。そして、最後に、動画像ファイルＭＦを、静止画像ファイルＳＦのヘッダＨｓに組み込んで、動画付き静止画像ファイルＳＦを完成させる。もちろん、静止画撮像関連情報、動画像データ、及び動画撮影関連情報の組み込み順序は適宜変更できる。

次のステップＳ６０において、ファイル生成部４６は動画付き静止画像ファイルＳＦをメモリカード３６に記憶させる。
一方、ステップＳ２０においてＭＰＵ３０が静止画撮像のトリガがないと判断した場合は、ステップＳ７０において、ＭＰＵ３０は、停止トリガがあったか否かを判断する。例えば動画撮影中であれば、動画撮影停止操作が停止トリガに該当する。また、静止画モードであれば、レリーズ半押し操作（撮像準備操作）時点から全押し操作なしで所定時間（例えば１０〜６０秒の範囲内の値）が経過したことをもって停止トリガが発生したと判断する。この場合、ＭＰＵ３０は、レリーズ半押し操作時点からの経過時間を計時する計時部４４の計時情報に基づき所定時間を経過したか否かを判断することで、停止トリガの有無を判断する。そして、ＭＰＵ３０は、停止トリガが発生していなければステップＳ２０に戻り、その後、Ｓ２０において静止画撮像のトリガが発生するか（Ｓ２０で肯定判定）、Ｓ７０において停止トリガが発生する（Ｓ７０で肯定判定）まで、動画像データのストレージを継続する。

そして、ステップＳ７０において停止トリガが発生したと判断すると、ステップＳ８０において、ＭＰＵ３０は動画像データのＲＡＭ３４へのストレージを終了する。
次のステップＳ８０において、ＭＰＵ３０は、停止トリガが発生した後に行うべき所定処理を行う。例えば停止トリガが動画撮影停止操作であった場合、ＭＰＵ３０内の制御部４１は、ファイル生成部４６を活性化し、ファイル生成部４６に対しそれまでＲＡＭ３４にストレージされた動画像データを基に動画像ファイルを生成させる。そして、ファイル生成部４６は、生成した動画像ファイルをメモリカード３６に記憶する。一方、静止画モードであった場合、ＭＰＵ３０は、ＲＡＭ３４にストレージされた動画像データを消去する。こうして終了前に行うべき所定処理を終えると、ＭＰＵ３０は、この画像ファイル生成処理ルーチンを終了する。

次にマルチ表示処理について図９のフローチャートに従って図４及び図８を参照しつつ説明する。
ＭＰＵ３０は、静止画モードのメニュー画面で「マルチ表示」の項目が選択された操作に応答して、図９のマルチ表示処理ルーチンを実行する。マルチ表示が選択されたときには、ＭＰＵ３０はユーザにより指定されたマルチ表示させる複数の画像の表示枚数Ｋも取得する。

まずステップＳ１１０において、ＭＰＵ３０は、何枚目の静止画像を再生させるべきかを示す番号Ｎを初期値Ｎ＝「１」に設定する。
次のステップＳ１２０において、ＭＰＵ３０は判断部４７を活性化し、判断部４７に対し、指定された画像の静止画像ファイルのヘッダＨｓ中に動画像データＭＤcutがあるか否かを判断させる。判断部４７は、指定された画像の静止画像ファイルのヘッダＨｓ中に動画像データが存在するか否かを判断する。判断の結果、ヘッダＨｓ中に動画像データがあれば、つまり指定された画像が動画付き静止画像ファイルＳＦであれば、制御フローはステップＳ１３０に進み、一方、ヘッダＨｓ中に動画像データＭＤcutがなければ、つまり指定された画像が単なる静止画像ファイルであれば、制御フローはステップＳ１４０に進む。

ステップＳ１３０において、ＭＰＵ３０は、動画再生部５０を活性化し、動画再生部５０に対してヘッダＨｓ中の動画像データＭＤcutに基づく動画像を、選択画面のＮ＝１の表示位置に表示させる。

一方、ステップＳ１４０において、ＭＰＵ３０は、ヘッダＨｓ中に動画像データのない単なる静止画像ファイルに対しては、サムネイル画像データに基づく静止画像を、選択画面のＮ＝１の表示位置に表示させる。

ステップＳ１５０において、ＭＰＵ３０は、Ｎ＝Ｋであるか否かを判断する。すなわち、表示枚数Ｋのすべての画像の表示が終了したか否かを判断する。表示枚数Ｋの画像の表示が終了していなければ、ＭＰＵ３０はステップＳ１６０において、ＮをＮ＋１にインクリメントし、ステップＳ１２０に戻り、２枚目の画像に対し、ステップＳ１２０、Ｓ１３０又はＳ１４０の処理を行うことになる。２枚目の画像が動画付き静止画像ファイルＳＦかどうかに応じて、動画像（ステップＳ１３０）又は静止画像（ステップＳ１４０）が選択画面のＮ＝２に応じた表示位置に表示される。こうして、動画像又は静止画像をＮの値に応じた表示位置に表示する度に、Ｎが「１」ずつインクリメントされ、そのインクリメントされたＮの値に応じた表示位置に順番に動画像又は静止画像が表示される。そして、表示枚数Ｋの画像がすべて表示し終わると、ステップＳ１５０においてＮ＝Ｋが成立し（Ｓ１５０で肯定判定）、ＭＰＵ３０は、この静止画モードにおける静止画マルチ表示処理ルーチンを終了する。

ＭＰＵ３０がこの静止画マルチ表示処理ルーチンを実行した結果、モニタ２０の画面２０ａには、図８に示すように画像がマルチ表示された静止画像ファイル用の選択画面６０が表示される。図８に示すように、この選択画面６０には、動画付き静止画像ファイルＳＦについては低解像度の動画像ＭＩが表示され、単なる静止画像ファイルについてはサムネイル画像の静止画像ＳＩが表示される。

次にスライドショーについて説明する。図１１のフローチャートに従って図４、図１０及び図１２を参照しつつ説明する。ここで、図１０はスライドショー処理を説明するための説明図、図１１はスライドショー処理ルーチンである。ＭＰＵ３０は、ユーザによるスライドショー実行指示操作に応答して、図１１のスライドショー処理ルーチンを実行する。スライドショー機能を使用したいユーザは、例えば図８に示す静止画像ファイルの選択画面６０でスライドショーに用いる静止画像ファイルを選択する操作をした後、あるいは静止画像が格納されたフォルダを選択する操作をした後、スライドショーの実行を指示する操作を行う。図８に示す選択画面６０でスライドショー用の静止画像ファイルを選択する際は、ユーザはその選択画面６０中にマルチ表示された画像が動画か静止画であるかを見ることにより、動画付き静止画像ファイルＳＦであるか単なる静止画像ファイルであるかを判断することができる。

本実施形態のスライドショー機能では、動画付き静止画像ファイルＳＦについては、静止画像のスライドショーを行い、ヘッダＨｓ中の動画像データを構成するコンテナ５３から音声データを抜き出して、静止画像の表示に同期させて対応する音声データに基づく音声をスピーカ１９により再生する。そして、この機能を利用したいユーザは、選択画面６０において動画で表示された静止画像ファイルを選択する。

まずステップＳ２１０では、Ｍ＝１を設定する。ここで、Ｍは、スライドショー中の静止画像ファイルが何番目（何枚目）であるかを示す番号データ（カウントデータ）であり、Ｍ＝１からスライドショー用に指定された静止画像の枚数ｍまでインクリメントされる。最初の１枚目の処理を行う際は、このＳ２１０でＭ＝１を設定する。

次のステップＳ２２０では、静止画像を再生する。詳しくはＭＰＵ３０内の制御部４１は、Ｍ枚目（例えば１枚目）の静止画像ファイル中の静止画像データを取得し、静止画再生部４９にその取得した静止画像データに基づく静止画像のモニタ２０への再生を指示する。この指示に応答して静止画再生部４９は、与えられた静止画像データに基づく静止画像ＳＩをモニタ２０に再生する（図１２参照）。

ステップＳ２３０において、ＭＰＵ３０は、静止画像ファイルのヘッダ中の動画像データから音声データを取得する。なお、指定されたファイル群又はフォルダ内の静止画像ファイル中に動画付き静止画像ファイルＳＦ以外の単なる静止画像ファイルが含まれている可能性がある場合は、ＭＰＵ３０は判断部４７に静止画像ファイル中のヘッダに動画像データが含まれているか否かを判断させる。この判断の結果、動画像データが含まれている場合、ＭＰＵ３０は、その動画像データを含むコンテナ５３内の音声データを取得する。

ステップＳ２４０において、ＭＰＵ３０は、取得した音声データに基づく音声を再生する。この音声の再生処理は、ＭＰＵ３０内の制御部４１が、現在再生中の静止画像のスライドショーの表示と同期をとりながら、取得した音声データに基づく音声を音声再生部５１に再生させることにより行われる。音声再生部５１が制御部４１から指示された音声を再生することにより、図１２に示すように、モニタ２０にスライドショーで表示中の静止画像ＳＩに対応する音声がスピーカ１９から再生される。

ステップＳ２５０では、Ｍ＝ｍであるか否かを判断する。前述のようにｍはスライドショーの枚数であり、Ｍ＝ｍであるか否かを判断することによりスライドショーで表示すべきすべての静止画像を表示し終わったか否かを判断する。Ｍ＝ｍであれば当該ルーチンを終了し、Ｍ＝ｍでなければまだ表示すべき静止画像ファイルが残っているので、ステップＳ２６０に進んでＭをインクリメントした後（Ｍ＝Ｍ＋１）、ステップＳ２２０に戻る。

こうして一枚の静止画像のスライドショーを、対応する音声を同期させながら一緒に再生しつつその一枚の静止画像の表示を終了する度に、次（（Ｍ＋１）枚目）の静止画像ファイルに移り、次の静止画像ファイルについて、静止画像ＳＩの再生（Ｓ２２０）、再生中の静止画像ＳＩに対応する音声データの取得（Ｓ２３０）及び音声データに基づく音声の同期再生（Ｓ２４０）を行う。そして、すべての静止画像ファイルについてスライドショーの表示を終了して、ステップＳ２５０でＭ＝ｍが成立すると、当該ルーチンを終了する。

このスライドショー処理ルーチンの実行により、静止画像が図１０に示すように所定時間（Δｔ）の間その表示が継続され、その表示が継続されている間その再生中の静止画像と対応する動画像データのコンテナ５３内の音声データに基づく音声がスピーカ１９（図１を参照）から再生される。そして、所定の表示切換えタイミングに達する度に再生中の静止画像が次の静止画像に切り換えられることで、ｍ枚の静止画像をモニタ２０に順次表示するスライドショーが行われる。

以上説明した本実施形態によれば、以下に示す効果を得ることができる。
（１）動画付き静止画像ファイルＳＦは、ヘッダＨｓ中にサムネイル画像データＴＮ（サムネイル静止画像）と動画像ファイルＭＦとを組み込んだデータ構造を有する。よって、静止画像データＳＤと関連する動画像データＭＤを簡単に探すことができる。

（２）ヘッダＨｓに組み込まれた動画像データＭＤの解像度は、静止画像データＳＤの解像度よりも小さいので、動画像データＭＤが複数枚のフレーム画像を含む構成であっても、動画像データＭＤをヘッダＨｓに組み込むことができる。また、動画像データＭＤはヘッダＨｓに収まるように静止画撮像時刻ｔｓの前後各ｎ秒分の動画像データ（フレーム画像）を切り出したものなので、静止画像データＳＤのデータ容量より小さなデータ容量として用意されたヘッダＨｓに必ず動画像データＭＤを組み込むことができる。

（３）また、ヘッダＨｓ中の動画像データＭＤは音声データも含むので、例えば静止画像の再生時に関連する音声を一緒に再生することが可能になる。
（４）選択画面６０に静止画像ファイルをマルチ表示する場合、マルチ表示処理部４８は、動画付き静止画像ファイルＳＦについてはヘッダＨｓ中の動画像データに基づく動画を再生する。このため、ユーザは、静止画撮像時刻ｔｓの前後各々の所定時間（例えばｎ秒）の動画を確認して、所望の静止画像ファイルであるかどうかを再生前に適切に判断できることから、ファイル選択ミスを低減できる。よって、正しい静止画像ファイルを選択し直す余分な選択操作などを低減できる。

（５）、マルチ表示の選択画面６０を生成するに当たり、判断部４７は、選択画面６０に含めようとする静止画像ファイルがヘッダＨｓに動画像データＭＤを含む静止画像ファイルＳＦであるか否かを判断する。そして、動画像データＭＤを含む動画付き静止画像ファイルＳＦであれば、マルチ表示処理部４８はヘッダＨｓ中の動画像データＭＤに基づく動画を表示させる。一方、動画像データを含まない単なる静止画像ファイルであれば、マルチ表示処理部４８は、静止画像データに基づく静止画像を表示させる。このように、マルチ表示させる静止画像ファイルに、動画付き静止画像ファイルＳＦと単なる静止画像ファイルとが混在する場合でも、動画付き静止画像ファイルＳＦについてはそのヘッダＨｓ中の動画像データＭＤに基づく動画を選択画面６０の１つの画像として表示させることができる。

（６）動画モードで動画／静止画撮影機能を用いて動画撮影中に静止画の撮像を行った場合と、静止画モードで静止画撮像を行った場合とを、動画付き静止画像ファイルＳＦの生成を行うためのトリガとした。よって、動画モードと静止画モードの両方で動画付き静止画像ファイルＳＦを生成できる。

（７）例えば動画／静止画撮影機能で動画撮影中に静止画の撮像を行った場合、画像ファイル生成装置４０Ａは、動画像撮影開始時点から動画像データをＲＡＭ３４にストレージし始める。そして、画像ファイル生成装置４０Ａは、静止画撮像時点（トリガ発生時点）にそのストレージされた動画像データのうちから静止画撮像時刻ｔｓの前後各ｎ秒の動画像データＭＤcutを切り出してそれをヘッダＨｓに組み込むことで動画付き静止画像ファイルＳＦを生成する。例えば動画モードに切り換えられた時点から動画像データ（スルー画像）をＲＡＭ３４にストレージする構成に比べ、実施形態は、必要な動画像データに絞ってＲＡＭ３４にストレージできるので、無駄な動画像データのＲＡＭ３４へのストレージを排除できる。

（８）また、例えば静止画モードでは、画像ファイル生成装置４０Ａは、レリーズ半押し操作（撮像準備操作）が行われた時点から動画像データ（スルー画像）のＲＡＭ３４へのストレージを開始する。そして、画像ファイル生成装置４０Ａは、静止画撮像時点（トリガ発生時点）にそのストレージされた動画像データのうちから静止画撮像時刻ｔｓの前後各ｎ秒の動画像データＭＤcutを切り出してその動画像データＭＤcutをヘッダＨｓに組み込むことで動画付き静止画像ファイルＳＦを生成する。例えば静止画モードに切り換えられた時点から動画像データ（スルー画像）をＲＡＭ３４にストレージする構成に比べ、実施形態は、必要な動画像データ（スルー画像）に絞ってＲＡＭ３４にストレージできるので、無駄な動画像データのＲＡＭ３４へのストレージを排除できる。

（９）スライドショー実行時には、画像再生装置４０Ｂは、スライドショーの対象となる動画付き静止画像ファイルＳＦ中の静止画像データＳＤに基づき静止画像ＳＩをモニタ２０に再生しつつ、その再生中にヘッダＨｓ中の動画像データＭＤを構成する音声データに基づきその再生中の静止画像ＳＩと対応する音声を一緒に再生する。このため、ユーザはスライドショーを音声と共に楽しむことができる。このとき、静止画像データと音声データとは同一ファイル内に格納されているので、画像再生装置４０Ｂは、再生される静止画像ＳＩと対応する音声データを容易に入手できる。例えば静止画像データと動画像データとが別ファイルで管理されている場合には、静止画像ファイルと関連する動画像ファイルを検索する検索処理が必要になるが、本実施形態のデータ構造であれば、この種の検索処理が不要になり、静止画像データと関連する動画像データ（又は音声データ）を容易に取得できる。

なお、上記実施形態は以下のような別の実施形態に変更してもよい。
・動画付き静止画像ファイルＳＦを用いて静止画像を再生する際に対応する音声も一緒に同期再生する機能は、スライドショーに限定されない。例えばモニタ２０に表示される静止画像をユーザーが操作部３７のセレクトボタン２４を操作する度に切り換える通常の静止画像再生モードにおいて、モニタ２０の静止画像が再生されるときに一緒に対応する音声データに基づく音声をスピーカ１９により再生させる構成も採用できる。この構成の場合、静止画像をその撮像時にマイク１６で録音した音声と共に確認できると共に、音声再生が行われた静止画像ファイルについてはそのヘッダＨｓに動画像データが組み込まれた動画付き静止画像ファイルＳＦであることを音声の有無によって確認することができる。

・動画付き静止画像ファイルＳＦに基づく静止画像をモニタ２０に表示する際の特徴的な表示方法は、選択画面６０のマルチ表示（一覧表示）やスライドショー表示に限定されない。例えば図１３に示すように、カメラ１１のモニタ２０に静止画像ＳＩを再生すると共に、その再生中の静止画像ＳＩと関連する動画像が存在する場合は、その旨を示すマーク６１（関連動画ありマーク）を、再生中の静止画像ＳＩに重畳して表示させる構成も採用できる。もちろんマークは重畳表示ではなく静止画像の外側に別表示してもよいし、マークの図案についても適宜変更できる。この場合、制御部４１が、再生対象の静止画像ファイルのヘッダＨｓを調べ、ヘッダＨｓ中に動画像データＭＤ（又は動画像ファイルＭＦ）が存在すると判断すれば、静止画再生部４９に対しモニタ２０に静止画像ＳＩ及びマーク６１を表示させる表示処理を行わせる。

・マルチ表示の選択画面６０は、動画付き静止画像ファイルＳＦのみが一覧表示される構成でもよい。すなわち、判断部４７がヘッダＨｓに動画像ファイルを含むか否かを判断し、動画像ファイルを含む動画付き静止画像ファイルＳＦのみを一覧表示させる構成でもよい。この場合、動画付き静止画像ファイルＳＦのみが選択画面６０に一覧表示されるので、選択対象が必ず動画付き静止画像ファイルＳＦであることが前提の場合に、選択対象とはなり得ない単なる静止画像ファイルの無駄な表示を排除でき、その分、動画付き静止画像ファイルＳＦの選択がし易くなる。さらに前述のとおり、静止画像撮像時点の前後各々の所定時間の動画を確認することで所望の静止画像ファイルであるかどうかを再生前に適切に判断できることから、再生後に開くべき所望の静止画像ファイルでなかったことに気づくファイル選択ミスを減らし、正しい静止画像ファイルを選択し直す余分な操作を低減できる。

・上記実施形態において、動画像切出し処理で取得する動画像データは、静止画撮像時点における前後各ｎ秒分としたが、このｎ秒は可変な値であってもよい。例えばヘッダＨｓにおいて動画像データ格納用の容量は予め既知であり、動画像の解像度から、その容量の記憶領域に格納可能なｎ秒を制御部４１が内蔵の演算部により計算し、計算されたｎ秒に従って前後各ｎ秒分の動画像データを切り出す構成も採用できる。また、切り出す動画像データは、静止画撮像時点の前後各ｎ秒に限らず、その撮像時点の前のｎ秒のみとしたり、後のｎ秒のみとしてもよい。さらに静止画撮像時点の前と後とで動画像データの取得時間を異ならせ、前のｎ秒分と後のｍ秒分（但しｎ＜ｍ又はｎ＞ｍ）の動画像データを切り出す構成も採用できる。

・上記実施形態において、スライドショーで利用する音声データは、切り出し動画像データの音声データのうちの一部でもよい。例えば静止画撮像時点の前ｎ秒のみの音声を利用したり、後ｎ秒のみの音声を利用する構成でもよい。

・上記実施形態において、ヘッダＨｓ中の動画像データを用いて静止画像の切り換わり過程で動画を表示させる表示効果をもたせてもよい。例えばフェードイン、フェードアウト時の画像としてヘッダＨｓ中の動画像データに基づく動画を表示するとよい。この場合、計時部４４の計時情報に基づき次の静止画像への切り換わり時期に達すると、現在再生中の静止画像ファイルのヘッダＨｓから後ｎ秒分を動画像データを取得し、その取得した後ｎ秒分の動画像データに基づく動画を再生しつつフェードアウトする。その後、次の静止画像ファイルのヘッダＨｓ中の動画像データから前ｎ秒分の動画像データを取得し、その取得した前ｎ秒分の動画像データに基づく動画を再生しつつフェードインし、フェードイン後に次の静止画像データに基づく静止画像の表示に切り換える。この場合、フェードイン時とフェードアウト時の動画再生は、制御部４１が動画再生部５０に対し静止画像ファイルを指定して前ｎ秒又は後ｎ秒の動画像の再生を指示することにより行われる。また、フェードイン後の次の静止画像への表示切換えは、制御部４１が静止画再生部４９に対し静止画像ファイルを指定して静止画像データに基づく静止画像の再生を指示することにより行われる。なお、この構成では、動画再生部５０は、再生中の動画像をフェードアウト及びフェードインするためのフェード処理部を有し、フェード処理部によりフェード処理を施しつつ動画像データに基づく動画像を再生することにより、フェードインとフェードアウトの表示効果が付与される。

・上記実施形態において、動画像データは、静止画像ファイル内のヘッダＨs以外の部分に含まれていても構わない。
・上記実施形態では、画像再生装置はカメラに備えられたが、カメラ以外の電子機器に画像再生装置を設けてもよい。例えばデジタルフォトフレームに画像再生装置を設けてもよい。この場合、画像再生装置は、図４における画像処理部３３の種々の回路のうち、制御部４１、判断部４７、マルチ表示処理部４８、静止画再生部４９、動画再生部５０及び音声再生部５１を備えており、この画像再生装置がデジタルフォトフレームに備えられる。このデジタルフォトフレームはメモリカード用のスロットを備え、カメラ１１内のファイル生成装置により静止画撮像時に生成された動画付き静止画像ファイルＳＦを記憶したメモリカード（この場合、カメラ１１用のメモリカード３６に限定されず動画付き静止画像ファイルＳＦのコピー先のメモリカードを含む）を、デジタルフォトフレームのスロットに挿着する。このスロットに挿着されたメモリカード３６内の動画付き静止画像ファイルＳＦに基づき、デジタルフォトフレーム内のＭＰＵは画像再生装置を制御して（詳しくは画像生成装置を構成する制御部４１が、判断部４７、マルチ表示処理部４８、静止画再生部４９、動画再生部５０及び音声再生部５１のうち一部又は全部に指示を出して）、図９のルーチンや図１１のルーチンを実行する。この結果、デジタルフォトフレームのモニタには、前記実施形態のカメラ１１と同様のマルチ表示の選択画面６０やスライドショーの表示が行われる。もちろん、画像再生装置を備えた電子機器は、カメラ１１及びデジタルフォトフレームに限らず、携帯電話、パーソナルコンピュータ、デジタルビデオカメラ、家庭用ゲーム機などのモニタ等の表示装置を備えた電子機器であればよい。

・画像生成装置を備えた電子機器も、カメラ１１に限定されない。但し、カメラ機能を備える電子機器であることが好ましく、カメラ付き携帯電話、カメラ付きパーソナルコンピュータ、デジタルビデオカメラ、カメラ付き家庭用ゲーム機などを挙げることができる。もちろん、電子機器はカメラが必須である訳ではなく、カメラ装置と通信可能に接続できる入力ポート（入力可能コネクタ）（例えばＵＳＢポート、ＨＤＭＩポート、ブルートゥース(R)等の近距離無線通信ポート等）などの入力手段を備えるものであれば足りる。

・上記実施形態では、ファイル生成装置は、例えばＭＰＵ３０が不揮発性メモリ３８に記憶されたファイル生成用のプログラムコードを実行することにより、ＭＰＵ３０内にソフトウェアとして構築される構成を採用した。もちろん、ファイル生成装置は、ＭＰＵ３０とは別に、ＡＳＩＣ等の集積回路によりハードウェアとして構成することもでき、さらにはソフトウェアとハードウェアとの協働により実現することもできる。

・上記実施形態では、ファイル生成装置は、動画撮影中に記録された静止画データの解像度を動画像データの解像度よりも大きくしている。このような撮影の場合には、ファイル生成装置は、動画撮影を一時停止して静止画撮影を行う。そのため、動画撮影を一時停止してから再度動画撮影を再開するまでの間に動画撮影が行われていない箇所が生じ、動画像データが２つに別れることが生じる。これを回避するために、ファイル生成装置は、動画撮影を一時停止した直前のフレームを用いて、動画撮影を再開した後の動画像データとつなげて一つの動画像データとしてもよい。

・上記の実施形態では、図８に示した選択画面６０には、動画付き静止画像ファイルSFについては、低解像度の動画像MIが表示される。このとき、選択画面６０に表示される動画像は、繰り返し表示をしてもよく、一度のみの表示としてもよい。また、予め定められた所定回数を繰り返し表示してもよい。動画像が一度のみ表示される場合、あるいは所定回数の繰り返し表示の場合は、動画の表示が終了したら動画中のフレームの一部を表示してもよく、静止画像ファイルのサムネイル画像を表示してもよい。

・上記実施形態では、ファイル生成装置は、動画撮影中に記録された静止画データの解像度を動画像データの解像度よりも大きくしているが、動画像データと、静止画像データとの解像度をおなじとしてもよい。このような場合には、ファイル生成装置は、ユーザからの撮影指示を受けた際の動画像データのフレームを取り出して、静止画像ファイルを生成すればよい。このように、ファイル生成装置が、動画像データの解像度と静止画像データの解像度とを同じ解像度として生成した場合は、静止画像ファイルのヘッダＨｓ中には、当該静止画像ファイルと同じ解像度の動画像データが組み込まれる。

・上記の実施の形態では、ファイル生成部は、動画像ファイルが組み込まれた静止画像ファイルを生成するが、少なくとも動画像データを含んでいれば、組み込まれるものは動画像ファイルの形式となっていなくてもよい。

１１…電子カメラの一例としてのカメラ（デジタルカメラ）、１２…カメラ本体、１６…マイク、１７…レリーズボタン、１８…電源ボタン、１９…スピーカ、２０…表示手段の一例としてのモニタ、２０ａ…画面、２３…メニューボタン、２４…選択手段を構成するセレクトボタン、２５…選択手段を構成する決定ボタン、２６…再生ボタン、２７…停止ボタン、３０…ＭＰＵ、３１…撮影手段を構成する撮像素子、３２…信号処理回路、３３…画像処理部、３４…ＲＡＭ、３５…カードスロット、３６…記憶手段の一例としてのメモリカード、３７…操作部、３８…不揮発性メモリ、４０Ａ…画像ファイル生成装置、４０Ｂ…画像再生装置、４１…情報取得手段の一例としての制御部、４２…画像取得手段の一例としての静止画像生成部、４３…動画像生成部、４４…計時部、４５…動画像切出手段の一例としての動画切出し処理部、４６…ファイル生成手段の一例としてのファイル生成部、４７…判断部、４８…表示制御手段の一例としてのマルチ表示処理部、４９…制御手段を構成するとともに再生手段の一例としての静止画再生部、５０…動画再生部、５１…制御手段を構成する音声データ取得手段の一例としての音声再生部、５３…コンテナ、６０…選択画面、６１…マーク、ｔｓ…静止画撮像時刻、ｍｄ，ｍｄ１〜ｍｄｎ…単位動画データ、ａｄ，ａｄ１〜ａｄｎ…単位音声データ、ＳＦ…静止画像ファイルの一例としての動画付き静止画像ファイル、ＳＤ…静止画像データ、Ｈｓ…ヘッダの一例としての静止画像用ヘッダ、Ｓｉ…静止画像データに関する情報の一例としての静止画像関連情報、ＴＮ…サムネイル画像データ、ＭＦ…動画像ファイル、Ｈｍ…動画像用ヘッダ、ＭＤcut…動画像データ、ＳＩ…静止画像。

Claims (11)

1. 静止画像データと、
   当該静止画像データに関する情報と、
   前記静止画像データと関連性を有する動画像データとが一つの静止画像ファイルに組み込まれている静止画像ファイルのデータ構造。
2. 撮影手段を備えたカメラにより動画の撮影中に撮影された静止画の静止画像データと、
   当該静止画像データに関する前記情報と、
   当該静止画の撮影時刻を含む撮影時間に前記撮影手段により撮影された前記動画の動画像データとが一つの静止画像ファイルに組み込まれている請求項１に記載の静止画像ファイルのデータ構造。
3. 前記動画像データのデータ容量が前記静止画像データのデータ容量よりも小さく、前記動画像データは複数枚のフレーム画像を含み、
   前記静止画像ファイルには、前記複数枚のフレーム画像と、前記複数枚のフレーム画像と同期した音声データとを含む動画データとが組み込まれている請求項１の静止画像ファイルのデータ構造。
4. 前記静止画像データに関する前記情報は、前記静止画像ファイル中のヘッダに含まれ、前記動画像データは、前記ヘッダに組み込まれていることを特徴とする請求項１の静止画像ファイルのデータ構造。
5. 動画の撮影中に静止画の撮影が可能な撮影手段とともに用いられて、静止画像ファイルを生成する画像ファイル生成装置であって、
   前記撮影手段により撮影された前記動画の動画像データと、当該動画の撮影中に前記撮影手段により撮影された静止画の静止画像データとを取得する画像取得手段と、
   取得した前記静止画像データに関する情報を取得する情報取得手段と、
   前記情報と前記動画像データと前記静止画像データとを含む一つの静止画像ファイルを生成するファイル生成手段と、
   を備える画像ファイル生成装置。
6. 請求項５に記載の画像ファイル生成装置において、
   前記画像取得手段は、取得した動画像データの撮影時間内の一撮影時刻に撮影された静止画の静止画像データを取得し、
   前記画像ファイル生成装置は、前記動画像データのうち、当該静止画像データの前記撮影時刻を含む所定時間分の動画像データを切り出す動画像切出手段を更に備え、
   前記ファイル生成手段は、前記切り出された前記所定時間分の前記動画像データを前記静止画像ファイル内に組み込むことを特徴とする画像ファイル生成装置。
7. 請求項５又は６に記載の画像ファイル生成装置において、前記動画像データの解像度は、前記静止画像データの解像度より低く、前記動画像データは、前記動画のうち、前記静止画像データの撮影時刻を含む一部の撮影期間に対応していることを特徴とする画像ファイル生成装置。
8. 請求項３に記載のデータ構造を有する静止画像ファイルを基に画像を再生する画像再生装置であって、
   表示装置と、
   スピーカと、
   再生させるべき静止画像ファイルを選択するための選択手段と、
   選択された静止画像ファイル内から動画データの音声データを取得する音声データ取得手段と、
   選択された前記静止画像ファイル中の静止画像データを前記表示装置に表示させる画像再生を行うと共に、前記静止画像データの再生タイミングに同期させて前記音声データを前記スピーカに再生させる制御手段と
   を備えたことを特徴とする画像再生装置。
9. 請求項８に記載の画像再生装置において、
   前記選択手段が、スライドショーを実行させるために複数の前記静止画像ファイルを選択したのに応答して、
   前記音声データ取得手段は、選択された複数の静止画像ファイル内に含まれる動画データの音声データを取得し、
   前記制御手段は、前記選択された複数の静止画像ファイル中にそれぞれ含まれる複数の静止画像データに基づく複数の静止画像を前記表示装置に順番に表示させるスライドショーを行い、表示で使用中の前記静止画像データが組み込まれているものと同一の静止画像ファイルに組み込まれている音声データを用いて音声を前記スピーカに再生させることを特徴とする画像再生装置。
10. 請求項１乃至４のいずれか一項に記載のデータ構造を有する静止画像ファイルを少なくとも１つ含む複数の静止画像ファイルを記憶する記憶手段と、
    表示装置と、
    前記記憶手段から読み出した前記複数の静止画像ファイルを基に、複数の画像が一覧表示された選択画面を生成して、前記選択画面を前記表示装置に表示させる表示制御手段と、
    前記選択画面に一覧表示された前記複数の画像のうちから再生させるべき一又は複数の静止画像を選択するための選択手段と、
    前記選択手段により選択された前記一又は複数の静止画像を前記表示装置に表示させる画像再生を行う再生手段とを備え、
    前記表示制御手段は、前記一覧表示に用いる静止画像ファイルのうち動画像データが含まれている静止画像ファイルについては当該動画像データに基づく動画を前記一覧表示の画像として表示させることを特徴とする画像再生装置。
11. 請求項５乃至７のいずれか一項に記載の画像ファイル生成装置と、
    請求項８乃至１０のいずれか一項に記載の画像再生装置と、
    のうちの一方又は両方を備える電子カメラ。

Images