JP2007159088A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】動画像撮影記録中にも静止画撮影記録を許容し、且つ、その際の静止画撮影記録によって欠落した全欠落フレームのフレームデータの生成及び書き込みを大幅に軽減する。
【解決手段】動画像撮影記録中に静止画撮影記録の指示があると、動画像撮影記録処理を中断し、静止画撮影記録処理の期間に欠落する動画像フレーム数のカウントを開始する（Ｓ２４）。そして、撮像素子より得られた静止画像の撮影及び撮影された静止画像データのメモリカードへの格納処理を行なう（Ｓ２５）。この後、静止画データから擬似的な動画像用のフレームを生成し、中断している動画像ファイルに追記する（Ｓ２７）。そして、動画像撮影記録を再開する（Ｓ２８）。このとき、計数した欠落フレームが擬似的に生成したフレームを指し示すように、オフセットを調整する（Ｓ２９）。
【選択図】図４

Description

本発明は、デジタルカメラ等の撮像装置及びその制御方法に関するものである。

近年、撮像素子等の固体撮像素子が撮像した被写体の画像信号をデジタル信号に変換し、その画像データを記録媒体に記録するデジタルカメラが普及してきている。その中には、通常の静止画撮影機能に加え、動画像と音声とを同時に記録する音声付き撮影機能を備えたものがある。

かかるデジタルカメラでは、通常、撮影モードとして静止画撮影を行う静止画撮影モードと、動画撮影を行う動画撮影モードとを個別に設け、キー操作等のユーザー操作によってモード遷移を行う仕様となっている。

また、動画撮影中に静止画撮影を行う技術も知られている（例えば、特許文献１）。この技術によると、動画撮影記録中に静止画を撮影すると、動画像の記録を中断し、静止画の撮影記録を行なう。そして、静止画の撮影記録処理が完了すると、中断する直前の動画像のフレームデータ、或いは、静止画撮影で得られた静止画を代替フレームデータとし、中断期間のフレーム数分だけ繰り返し使用（コピー）して、動画像撮影記録を継続するものである。
特開２００４−２０１２８２号公報

上記のように静止画を撮影記録するモードと、動画を撮影記録するモードとを有し、且つ、動画撮影記録中に静止画を撮影すると、静止画撮影処理の期間に欠落したフレームを補う必要がある。これまでは、同じフレームデータを繰り返し生成しては格納しているので、最終的に生成される動画像ファイルは冗長なものとなり、まだまだ改善の余地がある。

また、中断した分の複数フレームのデータのメモリへの書き込みと静止画データの書き込みを必要とするので、制御回路やプロセッサにかかる負担も大きくなる。必然、処理能力の高い制御回路やプロセッサを必要とし、コスト的にも問題が残る。

本発明はかかる点に鑑みなされたものである。そして、動画像撮影記録中に静止画撮影記録を行なう場合に、動画像ファイルのサイズが冗長となるのを抑制しつつ、且つ、静止画撮影によって欠落した動画像フレームの記録処理による装置にかかる負担を大幅に軽減させる技術を提供することを目的とする。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
撮像手段で撮像した画像データを所定の記憶媒体に記録する撮像装置であって、
所定のフレームレートに従って前記撮像手段で順次撮像して得られた各画像データを動画像のフレームデータとし、各フレームデータと各フレームの格納アドレスを示すオフセット値とを前記記憶媒体に書き込むことで、前記記憶媒体内に動画像ファイルを生成する動画像撮影記録手段と、
該動画像撮影記録手段による動画像撮影記録中に、静止画撮影記録の指示があったか否かを判断する判断手段と、
該判断手段で静止画撮影記録の指示があったと判断した場合、前記動画像撮影記録手段による動画像撮影記録を中断し、前記撮像手段で得られた画像データを静止画とする静止画ファイルを前記記憶媒体に格納する静止画撮影記録手段と、
該静止画撮影記録手段で得られた静止画像データから擬似動画フレームを生成して前記動画像ファイルの一部として格納すると共に、前記静止画撮影記録手段による静止画撮影時から前記記憶媒体への前記静止画ファイルの格納する期間で撮影されなかった各欠落フレームが前記擬似動画フレームを指し示すようにするため、前記各欠落フレームのオフセットを調整する調整手段と、
該調整手段による調整した後、前記動画像撮影記録手段による動画像撮影記録を再開する再開手段とを備える。

本発明によれば、動画像撮影記録中にも静止画撮影記録を許容し、且つ、その際の静止画撮影記録によって欠落したフレームのフレームデータの生成及び書き込みが従来と比べ大幅に軽減される。従って、生成される動画像ファイルのサイズも小さなものとでき、且つ、装置にかかる負担も大幅に軽減することが可能になる。

以下、添付図面に従って本発明にかかる実施形態を詳細に説明する。

図１は、実施形態における撮像装置としてのデジタルカメラのブロック構成図である。本実施形態におけるデジタルカメラは、通常の静止画撮影記録機能に加え、動画撮影記録機能、音声付きの動画撮影機能を備えたデジタルカメラである。

デジタルカメラは、撮像素子２とＤＳＰ／ＣＰＵ１とを有している。ＤＳＰ／ＣＰＵ１は、画像データの圧縮・伸張、音声データの処理を含む各種のデジタル信号処理機能を有するとともにデジタルカメラの各部を制御するワンチップマイコンである。

ＤＳＰ／ＣＰＵ１には、撮像素子２を駆動するＴＧ（Timing Generator）３が接続されている。また、ＤＳＰ／ＣＰＵ１には、撮像素子２から出力される被写体の光学像に応じたアナログの撮像信号を入力し、デジタルデータに変換するユニット回路５が接続されている。ユニット回路４は、撮像素子２から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路を備える。また、ユニット回路４は、更に、撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅後の撮像信号をデジタル信号に変換するＡ／Ｄ変換器（ＡＤ）を備える。この結果、撮像素子２の出力信号はユニット回路４を経てデジタル信号としてＤＳＰ／ＣＰＵ１に送られることになる。

ＤＳＰ／ＣＰＵ１には、キー入力部５、音声処理部６、表示装置７が接続されるとともに、アドレス・データバス８を介してＤＲＡＭ９、内蔵フラッシュメモリ１０、カード・インターフェイス１１が接続されている。カード・インターフェイス１１には、デジタルカメラの本体の図示しないスロットルに装着された着脱自在な記憶媒体としてのメモリ・カード１２が接続されることになる。

表示装置７はカラーＬＣＤとその駆動回路とを含む。撮影待機状態にあるとき、表示装置７は撮像素子２によって撮像された被写体画像をＥＶＦに表示する（ＥＶＦスルー画像表示処理）。また、表示装置７は、記録画像の再生時には、保存用メモリであるメモリ・カード１２から読み出され伸張された記録画像（静止画又は動画）を表示する。また、表示装置７は、ＤＳＰ／ＣＰＵ１の制御下において、各種設定のためのメニュー表示も行なう。

キー入力部５には、静止画撮影を行なうためのシャッターボタン、動画撮影に使用する録画開始／終了ボタン、電源キー、ＭＥＮＵキー等の複数の操作キーを含み、使用者によるキー操作に応じたキー入力信号をＤＳＰ／ＣＰＵ１に出力する。なお、シャッターボタンは、半押し状態と、全押し状態とにおいて異なる出力信号を出力する２段階スイッチで構成される。

音声処理部６は、内蔵マイク、アンプ、Ａ／Ｄ変換器、内蔵スピーカー、Ｄ／Ａ変換器等を含み、音声付きの静止画又は動画の撮影時には、内蔵マイクに入力した音声をデジタル信号に変換してＤＳＰ／ＣＰＵ１へ送る。ＤＳＰ／ＣＰＵ１へ送られた音声データはＤＲＡＭ９に順次蓄積され、最終的には、ＤＳＰ／ＣＰＵ１によって生成された画像データと共にメモリ・カード１２に記録される。また、音声処理部６は、音声付きの静止画又は動画の再生時には、各画像に付属する音声データに基づく音声を再生して内蔵スピーカから音声出力する。また、必要に応じ、内蔵スピーカーにより各種の報知音を放音する。

ＤＲＡＭ９は、撮像素子２により撮像された後、デジタル化された被写体の画像データ等を一時記憶するバッファメモリであるとともに、ＤＳＰ／ＣＰＵ１のワーキングメモリとしても使用される。内蔵フラッシュメモリ１０には、ＤＳＰ／ＣＰＵ１による各部の制御に必要な制御プログラム、すなわちＡＦ（オートフォーカス制御）やＡＥ（自動露出制御）等を含む各種の制御に必要なプログラムが格納されている。また、この内蔵フラッシュメモリ１０には各制御に必要なデータも記憶されている。ＤＳＰ／ＣＰＵ１は前記プログラムを実行することにより、デジタルカメラとして機能することになる。

上記構成における実施形態のデジタルカメラにおける処理を図２乃至図４、及び図６のフローチャートに従って説明する。実施形態では、撮影モードとして静止画撮影記録モード、動画撮影記録モードを有し、後者においては動画像撮影中にあっても静止画を記録することを許容する。何れのモードを選択するかは、キー入力部５に設けられたＭＥＮＵキーを操作した際に、表示装置７に選択メニューを表示させ、キー入力部５による十字キーや確定キーを操作することで行なう。静止画撮影モードについては、通常のデジタルカメラと同様であるので、ここでは動画像撮影モードが選択された場合について説明する。

ＤＳＰ／ＣＰＵ１は、上記撮影モードが設定されると、撮像素子２による撮像を開始して被写体のＥＶＦ（Electric View Finder）スルー画像を表示装置７への表示を開始する（ステップＳ１）。そして、この表示処理、キー入力部５による録画開始ボタンの操作や、シャッターボタンの半押し操作がない間を繰り返す（ステップＳ２，Ｓ３が共にＮＯ）。その後、録画開始ボタンが操作されると（ステップＳ２でＹＥＳ）、ステップＳ１３以降の音声付き動画撮影記録処理に移行し、シャッターボタンの半押し操作があると（ステップＳ３でＹＥＳ）、図３に示したステップＳ４〜Ｓ１２の静止画撮影処理に移行する。

まず、静止画撮影処理について説明する。ＤＳＰ／ＣＰＵ１は、シャッターボタンの半押し操作を検出すると（ステップＳ３でＹＥＳ）、ＡＦ処理及びＡＥ処理により撮影条件の設定を行う（ステップＳ４）。それが完了したら（ステップＳ５でＹＥＳ）、その旨をユーザーに知らせるため音声処理部６のスピーカによる報知音の放音、及び表示装置７によるメッセージ等の報知表示を行う（ステップＳ６）。このあと、設定した撮影条件で撮像素子２による撮像を開始し、表示装置７にＥＶＦスルー画像を表示させる（ステップＳ７）。ここで、シャッターボタンの全押し操作がなく、シャッターボタンの半押し操作が継続されている間は、ステップＳ７へ戻りＥＶＦスルー画像の表示処理を継続する（ステップＳ８でＮＯ、ステップＳ９でＹＥＳ）。

その後、ＥＶＦスルー画像を表示している間にシャッターボタンの全押し操作を検出すると（ステップＳ８でＹＥＳ）、予め内蔵フラッシュメモリ１０に記憶されている疑似シャッター音を音声処理部６のスピーカから出力する（ステップＳ１０）。そして、撮像素子２による被写体画像の記録用の撮像、及びその画像データの生成等の静止画処理を開始する（ステップＳ１１）。すなわち、静止画処理とは、２つの処理で構成される。１つは、撮像素子２に対し、比較的長い出力撮像タイミングで１画面中の偶数ライン、奇数ラインの画素信号を順に出力させて、撮像信号をデジタル信号に変換する処理である。もう１つは、全画素分のデータをバッファメモリ（ＤＲＡＭ９）に取り込み、取り込んだ画像データを圧縮する処理である。そして、それが完了したら、圧縮した画像データに基づく静止画ファイル（ＪＰＥＧ形式等のファイル）をメモリ・カード１２に記憶する（ステップＳ１２）。以上が静止画ファイル生成処理となる。この後、ステップＳ１へ戻る。

つまり通常の静止画撮影モードでの処理と同様の、ごく一般的な処理により静止画を撮影して記録する。なお、ＥＶＦスルー画像を表示する間にシャッターボタンの半押しが解除された場合には（ステップＳ９でＮＯ）、その時点で直ちに静止画撮影処理を終了しステップＳ１へ戻る。すなわち、静止画撮影処理とは、撮像素子２による被写体画像の記録用の撮像、ＡＥ、ＡＦ処理、ＥＶＦスルー画像表示をし、画像データの生成等の静止画処理を行い、静止画ファイル生成を行う。

次に、音声付き動画撮影処理について説明する。

ＤＳＰ／ＣＰＵ１は、前述した撮影モードの設定直後におけるＥＶＦスルー画像の表示状態でユーザにより動画の録画開始ボタンが操作されたことを検出すると（ステップＳ２でＹＥＳ）、ステップＳ１３に処理を進める。このステップＳ１３では、動画記録処理と、音声処理部６の内蔵マイクに入力した音声信号の音声データへの変換で得られた動画像の各フレームと音声データの記録を開始する。

この動画像処理を詳しく説明すると次の通りである。

実施形態において、最終的にメモリカード１２に格納される動画像ファイルはＭｏｔｉｏｎＪＰＥＧフォーマットとした。これは、動画像を構成する個々のフレームをＪＰＥＧ符号化技術を利用して符号化し、そのＪＰＥＧ符号化して得られた各フレームを順に格納するものである。ＪＰＥＧ自身は可変長符号化であるので、各フレームの符号化サイズは変動する。従って、各フレームのサイズに応じたオフセット（オフセットアドレス）を生成し、次のフレームのアドレスを決定していくことになる。つまり、ＭｏｔｉｏｎＪＰＥＧファイルは、各フレームの符号化データとオフセットとの組み合わせにより構成されることになる。

図１０はオフセットとフレームとの関係を示している。それぞれのオフセット値は、例えば、時間的に隣り合った動画フレームのデータサイズによって決まる。オフセット１の値が１００で、フレーム１のデータサイズが１００のとき、オフセット２の値は２００となる。たとえば、動画撮影で得られた動画フレーム１〜９は、オフセット値はオフセット１〜９となる。従って、ＭｏｔｉｏｎＪＰＥＧの場合、所望とするフレームのアドレスはオフセットから導き出され、且つ、各フレームはそれ単独で復号できるので、所望とするフレームから再生することが可能になる。

さて、ＤＳＰ／ＣＰＵ１が録画開始ボタンが操作されたことを検出すると、メモリカード１２上に、書き込み用の動画像ファイルを新規オープンする。このとき、新規オープンしたファイルのヘッダを作成すると共に、ＤＲＡＭ９の所定エリアに初期オフセットを生成し格納しておく。そして、例えば、フレームレートを３０ｆｐｓとする場合、撮像素子２により得られた１／３０秒間隔で得られた画像データ（動画フレーム）を、ＶＧＡクラスの解像度に落とし（間引き処理を実行し）、バッファメモリ（ＤＲＡＭ９）に一時的に格納する。そして、そのＶＧＡクラスにまで間引かれたフレームをＪＰＥＧ符号化しては、メモリカード１２への書き込みを行なう。

解像度を落とす理由は、一般に、動画像はＴＶ装置等の表示装置に表示することを目的とするものであり、ＴＶ装置の表示解像度が現状ではＶＧＡ（６４０×４８０ドット）程度であるためである。実施形態では、この解像度を落とす処理を少しでも軽減するため、撮像素子２により得られた画像データ中の奇数ラインのデータのみ（偶数ラインは破棄）を抽出し、バッファメモリに書き込み、最初から情報量を少ない状態にする。その上で解像度を落とす処理を行なう。従って、撮像素子で撮像可能な画素数が非常に多い場合には、奇数ラインではなく、Ｎライン中１ラインのみを抽出した後、間引き処理を行なっても構わない。

さて、ＪＰＥＧ符号化が終了すると、現フレームの符号化データをＤＲＡＭ９に確保されたメモリカード１２への書き込み用出力バッファに格納する。このとき、現フレームの符号化データ量が判明しているので、そのデータ量と前フレームオフセット値を加算することで、現フレームのオフセットをＤＲＡＭ９に生成し、格納する。現フレームのオフセット値が、次のフレームの符号化データのオフセットとして利用するためである。

なお、書き込み用出力バッファに格納された符号化データは、そのバッファサイズにもよるが、その充足度が所定値を越えた段階で、ＤＳＰ／ＣＰＵ１の制御によりメモリカード１２に書き込まれる。また、実際には、音声データを含むことになるので、オフセットの値は音声データを加味したものとなる。音声付きＭｏｔｉｏｎＪＰＥＧ形式のファイル構造そのものは公知であるので、ここでの説明は省略する。以上が実施形態における音声付き動画像の記録処理である。

さて、動画像記録処理が開始されると、シャッターボタンの半押し、録画終了ボタンが操作が検出されるまで、ＥＶＦスルー画像表示処理（ステップＳ１４）、動画記録処理および音声録音処理を継続する（ステップＳ１５，Ｓ１６が共にＮＯ）。

ここで、録画終了ボタンが操作されると（ステップＳ１６でＹＥＳ）、処理はステップＳ１７に進む。ここでは、ＤＳＰ／ＣＰＵ１は、ＤＲＡＭ９の書き込み用出力バッファ内に、メモリカード１２への未書き込みデータが残っている場合には、その書き込みを完了させる（フラッシュする）。そして、ＤＲＡＭ９に生成された各フレームのオフセット値についてもメモリカードに書き込む。そして、メモリカード１２上オープンしたファイルをクローズする。これにより音声付き動画ファイルの作成が完了する。すなわち、実施形態における音声付き動画撮影記録処理とは、ＥＶＦスルー表示、所定フレームレート（実施形態では３０ｆｐｓ）で各フレーム及び音声データの圧縮符号化して、出力バッファを介してのメモリカード１２への記録処理のことである。

なお、音声付き動画ファイルの生成時において、音声データは動画のフレーム単位（フレーム周期）で時間軸方向に分割されてファイリングやパケット化が行われるとともに、動画ファイルのヘッダ上の時刻情報によってフレーム画像と同期化される。また、動画ファイルとは別個に音声ファイルを生成し、これらを関連付けて記録するようにしてもよい。

この後は、再び、ステップＳ１へ戻り、次の録画開始やシャッタボタンの操作に備えることになる。

次に、ＤＳＰ／ＣＰＵ１が、音声付き動画撮影記録処理を実行中に、シャッターボタンが操作された場合について説明する。この処理は、図２のステップＳ１５がＹｅｓと判断された場合でもある。

音声付き動画撮影記録処理を実行中に、シャッターボタンの半押しが検出されると、図４のステップＳ１８に処理が進む。ここでは、撮像素子２から出力される撮像信号に基づき静止画撮影用のＡＦ処理及びＡＥ処理を実行し、撮影条件の設定を行う。そして、撮影条件の設定が完了したら（ステップＳ１９でＹＥＳ）、設定完了した旨の報知表示（もしくは所定音の発生）を行い（ステップＳ２０）、設定した撮影条件で撮像素子２による撮像を開始しＥＶＦスルー画像を表示する（ステップＳ２１）。なお、この報知処理は行なわないようにしてもよい。その後、シャッターボタンの全押しが検出された場合（ステップＳ２２でＹＥＳ）、動画撮影処理を中断し、静止画処理を行うことによって欠落する動画フレーム数のカウント処理を開始する（ステップＳ２４）。前述した通常の静止画撮影処理のステップＳ１０における疑似シャッター音の出力処理は行なわない。

ステップＳ２５では、前述したステップＳ１１と同様に、撮像素子２による記録用の被写体画像の撮像、及びその画像データの生成等の静止画処理を実行する（ステップＳ２５）。そして、バッファメモリ上で撮像素子２により得られた全画素データで構成される画像データに基づく静止画ファイル（ＪＰＥＧ形式等のファイル）を生成し、メモリ・カード１２に記憶する（ステップＳ２６）。これにより静止画撮影記録を終了する。

この後、処理はステップＳ２７に進む。ここでは、静止画として撮像された静止画データからＶＧＡサイズの画像データを生成し、それをＪＰＥＧ符号化する。そして、そのＪＰＥＧ符号化された画像データを擬似的な動画像用のフレームとして、動画像保存用にオープンしているファイルに追加書き込むべく、メモリ・カード１２に記録（追記）する。

その後、次の動画フレーム周期の到来を待って動画像撮影記録を再開する（ステップＳ２８）。この理由は、実施形態での動画像の撮影フレームレートを３０ｆｐｓとしているので、動画像の再開タイミングを１／３０秒に同期させるためである。

この後、ステップＳ２９に進んで、動画像撮影記録を中断してから、再開するまでの間に何フレームが欠落したのかに応じて、そのフレーム数のオフセットを設定する。このオフセット設定処理の詳細を示すのが、図６のフローチャートである。

実施形態では、動画像撮影記録が中断し、再開されるまでの間に本来存在するはずであったフレーム（欠落フレーム）を、静止画を撮影した画像データに基づいて作成したフレームを用いるものとした。

このため、まず、初期値として変数ｉに“０”を格納する。次いで、変数ｉが静止画処理により欠落したフレーム数未満である限り、現在のオフセットの値をセットする処理を繰り返す（ステップＳ３１乃至Ｓ３３）。セットするオフセット値は、動画像撮影記録が中断した段階でのオフセット値となる。従って、結局のところ、欠落フレームの最後のフレームを除く、各フレームのオフセットは、ステップＳ２７で保存した静止画データから生成されたフレームのデータを指し示すことになる。そして、変数ｉが欠落した最後のフレームになった場合（ステップＳ３３がＹｅｓ）、静止画より得られたフレームの符号化データ量を足し込んだ値に設定する（ステップＳ３４）。これは、動画像撮影記録が再開した際の最初のフレームのオフセットアドレスを設定するためである。

以上のようにして、動画像撮影記録の再開が行われることになり、図２のステップＳ１４に戻る。

上記の結果、生成される動画像ファイルの構造は例えば図１１に示すものとなる。図示では、フレーム４乃至６までの期間が静止画撮影記録により欠落した場合を示している。フレーム３の記録が完了した場合、次のフレーム４のオフセットアドレスが決定されるので、図示のように、オフセットの番号がずれる。しかし、フレーム４乃至６については、静止画撮影により得られたフレーム（図示の「動画フレームＳ」）が指し示されるようになる。また、動画像撮影記録の再開直後のフレーム７については、静止画撮影で得られたフレームのデータ量だけ増加したアドレスに設定されている。

以上説明したように本実施形態によれば、動画像撮影記録中に、静止画の撮影記録が可能になる。また、静止画の撮影記録が完了するまでの間に欠落した複数フレームについては、静止画撮影で得られた１つのフレームの記憶処理だけになり、複数フレームの格納処理は不要となる。従って、ＤＳＰ／ＣＰＵ１の負担も少なくて済み、且つ、生成される動画像ファイルのサイズも、これまでと比べて小さなものとすることが可能になる。

上記実施形態では、音声付き動画撮影を行うものに本発明を適用したが、音声無し動画撮影であっても構わない。

＜第２の実施形態＞
上記実施形態（第１の実施形態）では、動画処理再開後（ステップＳ２８）の後にオフセット値設定処理（ステップＳ２９）を行った。シャッター全押し操作がなされてから、静止画撮影及びメモリカード１２への書き込みが完了するまでの時間、すなわち、動画像の欠落フレーム数が固定である場合には、欠落数のフレームを算出するため計時が不要にできる。

そこで、本第２の実施形態では、かかる点に対応する例を説明する。本第２の実施形態における装置構成は第１の実施形態と同じであるものとし、以下では、図４に代わる処理を図９のフローチャートに従って説明する。この図９のフローチャートは、図２におけるステップＳＳ１５がＹｅｓとなった場合の処理、すなわち、動画撮影記録処理中に、シャッタボタンが半押しされたことを検出した場合の処理手順であることに注意されたい。

図９のフローチャートにおいて図４と異なる点は、ステップＳ２４に代わってステップＳ２４’、ステップＳ２８に代わってステップＳ２８’をそれぞれ設けた点である。それ以外は図４と同じである。

本第２の実施形態では、シャッター全押しを検出すると、ステップＳ２４’において、動画像の各フレームの取得周期（実際には動画像取得は行なえない）に合わせてオフセット値を格納する処理を開始する。格納するオフセット値は、シャッタ全押し直前のオフセットをそのまま格納するようにする。

この後、ステップＳ２５乃至Ｓ２７にて、静止画撮影記録処理を行なう。そして、ステップＳ２８で動画像用のオフセット設定処理を終了すると共に、ステップＳ２７で得られた静止画から生成された動画像用のフレームデータのサイズ分だけ、従前のオフセットに加算し設定する。そして、動画像撮影記録を再開する。

以上の様に処理することで、第１の実施形態と同様の作用効果を奏することが可能になる。また、第１の実施形態と比べて欠落フレームのカウント処理が不要になるので、ＤＳＰ／ＣＰＵ１にかかる負担も軽減できる。

＜第３の実施形態＞
上記第１、第２の実施形態では、動画像撮影記録中に静止画を撮影したことによって、動画像の欠落フレームを静止画撮影した画像を利用するものとして説明した。すなわち、欠落フレームのオフセットは、静止画撮影した画像（ただし、解像度を落とす処理を行なって得られた画像）を指し示すようにした。

本第３の実施形態では、動画像撮影記録中に静止画撮影記録した場合の、動画像記録中断によって生じた欠落フレームを、静止画撮影記録する直前の動画像のフレームを参照する例を説明する。換言すれば、動画像撮影記録中に静止画撮影した場合の、最後の動画像フレームを、欠落フレームが参照するようにする。

第３の実施形態における装置構成は第１の実施形態と同じとしその説明は省略する。以下では、図４に代わる処理を図５のフローチャートに従って説明する。この図５のフローチャートは、図２におけるステップＳ１５がＹｅｓとなった場合の処理、すなわち、動画撮影記録処理中に、シャッタボタンが半押しされたことを検出した場合の処理手順である。また、図４と実質的に同じ処理については同符号を付した。

音声付き動画撮影記録処理を実行中に、シャッターボタンの半押しが検出されると、図５のステップＳ１８に処理が進む。ここでは、撮像素子２から出力される撮像信号に基づき静止画撮影用のＡＦ処理及びＡＥ処理を実行し、撮影条件の設定を行う。そして、撮影条件の設定が完了したら（ステップＳ１９でＹＥＳ）、設定完了した旨の報知表示（もしくは所定音の発生）を行い（ステップＳ２０）、設定した撮影条件で撮像素子２による撮像を開始しＥＶＦスルー画像を表示する（ステップＳ２１’）。なお、この報知処理は行なわないようにしてもよい。

その後、シャッターボタンの全押しが検出された場合（ステップＳ２２でＹＥＳ）、動画撮影処理を中断し、静止画処理を行うことによって欠落する動画フレーム数のカウント処理を開始する（ステップＳ２４）。ステップＳ２５では、前述したステップＳ１１と同様に、撮像素子２による記録用の被写体画像の撮像、及びその画像データの生成等の静止画処理を実行する（ステップＳ２５）。そして、バッファメモリ上で撮像素子２により得られた全画素データで構成される画像データに基づく静止画ファイル（ＪＰＥＧ形式等のファイル）を生成し、メモリ・カード１２に記憶する（ステップＳ２６）。これにより静止画撮影記録を終了する。

この後、処理はステップＳ２８に進み、動画像撮影記録を中断してから、再開するまでの間に何フレームが欠落したのかに応じて、そのフレーム数分のオフセットを設定する。このオフセット設定処理の詳細を示すのが、図７のフローチャートである。

実施形態では、動画像撮影記録が中断し、再開されるまでの間に本来存在するはずであったフレーム（欠落フレーム）を、静止画撮影記録する直前の動画像フレームを指し示すようにする。

動画撮影記録時では、或る時点で撮像された動画フレームのサイズをオフセットに足し込むことで、次の動画像フレームの格納位置を指し示すようにしている。そのため、先ず、このオフセットの値を、静止画撮影記録の直前のオフセットに戻す必要がある。

そこで、先ず、ステップＳ３００では、最後に得られた動画画像フレームのサイズ分だけ、現オフセット値から減算じることで、オフセットを修正する。

この後、初期値として変数ｉに“０”を格納する（ステップＳ３０１）。次いで、変数ｉが静止画処理により欠落したフレーム数未満である限り、現在のオフセットの値をセットする処理を繰り返す（ステップＳ３０２乃至Ｓ３０４）。セットするオフセット値は、先のステップＳ３００で得られたオフセット値である。従って、結局のところ、欠落フレームの最後のフレームを除く、各フレームのオフセットは、静止画撮影記録する直前の動画像フレームのデータを指し示すことになる。そして、変数ｉが欠落した最後のフレームになった場合（ステップＳ３０４がＹｅｓ）、ステップＳ３０５進み、先のステップＳ３００で減じたフレームのサイズをオフセットに加算することで、動画像撮影記録の再開に備える。

以上のようにして、動画像撮影記録の再開が行われることになり、図２のステップＳ１４に戻る。

先に説明した第１、第２の実施形態では、動画像撮影記録中に静止画撮影記録が行われると、その静止画撮影した画像データを動画像データのフレームとしてメモリカード１２に書き込んだ。本第３の実施形態によれば、動画像撮影記録中に静止画撮影記録が行わると、その静止画撮影記録の直前の動画像のフレームを、各欠落フレームが参照するようにし、欠落フレームのための動画像フレームの生成、書き込みは行なわない。従って、ＤＳＰ／ＣＰＵ１にかかる負担は更に軽減させることが可能になる。

上記をより分かりやすく説明すると次の通りである。

図１２は、動画フレーム４の時点で静止画撮影を施した場合、動画撮影中断による欠落するフレーム数が３フレームの例を示している。オフセット４〜６の全てが、動画撮影中の静止画処理を施す直前の動画フレーム３の参照アドレスを指定するオフセット３のオフセット値に設定している。図１１と比較し、欠落フレーム４乃至６用の静止画フレームを利用することがないので、その分だけ動画像ファイルのサイズを少なくできる。

なお、本第３の実施の形態では、音声付き動画撮影を行うものに本発明を適用したが、音声無し動画撮影に本発明を適用してもよい。

また、本第３の実施の形態では、動画処理再開（図５のステップＳ２８）の後にオフセット値設定処理（ステップＳ２９）を行っている。しかし、シャッター全押し操作がなされ（ステップＳ２２）、あらかじめ静止画処理の直前の動画フレームの位置（オフセット値）が決まっているような場合には、第２の実施形態と同様に処理しても良い。すなわち、図９で示したように静止画処理（ステップＳ２５）を開始する前に、欠落するフレーム周期に同期しながら、静止画処理の直前のフレームデータのオフセット値を設定し始めてもよい（ステップＳ２４’）。

また、オフセット値設定処理（図５のステップＳ２９）は、フレームデータのサイズからオフセット値を設定することも可能なことから、動画撮影終了後に設定してもよい。このようにオフセット値設定処理（ステップＳ２９）は、動画ファイルを作成するまでに設定しておけばよいので、動画撮影処理中及び動画撮影処理終了時など、前後してもよい。

＜第４の実施形態＞
次に第４の実施の形態を説明する。上記第３の実施形態ではオフセット値を設定するフレームデータは、動画撮影を中断する直前のフレームデータを用いていた。本第４の実施形態では、あらかじめ用意された任意の動画フレーム（たとえば、モーションＪＰＥＧ形式の動画フレームＮとする）のオフセット値を指定するものである。そのため、オフセット値設定処理の図８のフローチャートのみを用いて説明する。

本第４の実施形態では、動画ファイルにあらかじめ用意された任意の動画フレームを記憶し、次に示すオフセット値設定処理で得られたインデックスを生成し、メモリ・カード１２に記憶する。

インデックスには、音声や動画フレームなどのデータを参照するためのオフセット値やデータサイズが記録されている。

図８のオフセット値設定処理は動画フレームＮのオフセット値を示すようにインデックスを作成するためのものである。

まず、それまで静止画処理により欠落したフレームをカウントした回数分、繰り返しオフセット値をセットするために初期値として変数ｉ＝０とする（ステップＳ３０１）。そして、欠落したフレームデータの固定のオフセットを示す値をセットする（ステップＳ３０２）。それを欠落した動画フレーム数分、繰り返しセットするためにｉをカウントアップする（ステップＳ３０３）。そして、欠落した動画フレーム数分、カウントアップしたと判断されるまで（ステップＳ３０４でＮｏである限り）、この処理を繰り返す。なお、このオフセット値設定処理は動画フレームＮのオフセット値を指定するものであるので、録画終了後に設定してもよい。

しかる後、前述した図２のステップＳ１４へ戻り、録画終了ボタンが操作されるまでＥＶＦスルー画像表示処理、動画記録処理および音声録音処理を継続する（ステップＳ１５，Ｓ１６が共にＮＯ）。そして、録画終了ボタンが操作されたら（ステップＳ１６でＹＥＳ）、書き込み用バッファに格納されていた未書き込みデータのメモリカードへの書き込みと、バッファメモリに蓄積されている前述したオフセットの書き込みを行なう（ステップＳ１７）。

これにより、動画撮影処理をいったん終了してステップＳ１へ戻り、以後、同様の動作を撮影モードが解除されるまで繰り返す。

以上のように本実施の形態においては、割り込みによる静止画処理によって動画フレームの撮像動作が中断している期間に、フレームデータの記録が必要なく、ファイルサイズの削減やメモリ・カード１２への書き込み負担も軽減されるという利点がある。

なお、本実施の形態では、音声付き動画撮影を行うものに本発明を適用したが、音声無し動画撮影に本発明を適用してもよい。

また、本実施の形態では、動画処理再開後の後にオフセット値設定処理を行う。しかし、シャッター全押し操作がなされ、動画フレームＮの位置（オフセット値）が決まっているような場合、第２の実施形態の図９で示したような処理を行なっても良い。すなわち、静止画処理（ステップＳ２５）を開始する前に、欠落するフレーム周期に同期しながら、動画フレームＮのオフセット値を設定し始めてもよい（ステップＳ２４）。

また、オフセット値設定処理（ステップＳ２８）は、フレームデータのサイズからオフセット値を設定することも可能なことから、動画撮影終了後に任意のオフセット値を設定してもよい。このようにオフセット値設定処理（ステップＳ２８）は、動画ファイルを作成するまでに設定しておけばよいので、動画撮影処理中及び動画撮影処理終了時など、前後してもよい。

本第４の実施形態における動画ファイル上のフレームデータを参照するための値（オフセット値）と動画フレームの関係は図１３に示すようになる。図示は、動画撮影中に、図１０の動画フレーム４の時点で静止画撮影を施した場合、動画撮影中断による欠落したフレーム数が３フレームの場合を示している。オフセット４〜６を、あらかじめ用意された動画フレームＮ（たとえば動画ファイルの先頭０に動画フレームをはめ込まれた動画フレーム）の参照アドレスを指定するオフセット０のオフセット値に設定する。これによって、動画フレーム４の同じデータを参照することになり、動画フレーム４〜６のフレームデータは不要となる。図１３のように、動画フレームＮ、１〜３と７〜９のフレームデータのみメモリ・カード１２に記録するので、動画撮影中断中のフレームデータの削減ができ、メモリ・カード１２への書き込みによる負荷がなくなる。

＜第５の実施形態＞
次に第５の実施の形態を説明する。本第５の実施形態では、動画撮影中に静止画撮影を行うときの動画フレームと音声データがインターリーブされた動画ファイルの生成方法について説明する。

本第５の実施形態では、生成される動画ファイルは編集単位に音声データと動画フレームがインターリーブされている。例えば図１７（ａ）の従来例では、編集単位を１秒とすると、５ｆｐｓの動画では１秒分の音声データと５フレーム分の動画フレームがインターリーブされた動画ファイルなる。つまり、１つの音声データと５つの動画フレームを１セットして、動画ファイルに格納されることになる。図１７（ｂ）、（ｃ）に示す、本第５の実施形態、及び、後述する第６の実施形態でも編集単位を１秒とする音声データと動画フレームがインターリーブされた動画ファイルとなっている。なお、ここでは、編集単位を１秒とし、その中に１つの音声データと、５つの動画フレームが含まれる例を説明する。但し、これらの数字は説明を簡単にするためのものであり、これらの数字によって本発明が限定されるものではない。

さて、本第５の実施形態では、各音声データのオフセット番号を編集単位の最初の番号とする。そして、ＤＳＰ／ＣＰＵ１が編集単位の最初の番号かどうかの判定を行うために、動画撮影開始から動画撮影終了まで、各音声データと各動画フレームのオフセット番号をＤＳＰ／ＣＰＵ１がカウントする。

図１８（ａ）は従来例、同図（ｂ）は第５の実施形態、同図（ｃ）は第６の実施形態の各動画フレームと音声データを参照するためのオフセット値とデータサイズを示すインデックスを表している。

５ｆｐｓの動画では最初の音声データのオフセット番号を１とし、１番目の動画フレームのオフセット番号を２とする。従って、２番目の音声データのオフセット番号は１＋６＝７となる。すなわち、音声データは６Ｎ＋１（Ｎ＝０、１、２…、）が編集単位の最初のオフセット番号となる。

本第５の実施形態を説明するために、図１４のフローチャートを用いて説明する。この図１４の処理は、第１の実施形態における図４に代わる処理である。すなわち、図１４のフローチャートは、図２におけるステップＳ１５がＹｅｓとなった場合の処理、すなわち、動画撮影記録処理中に、シャッタボタンが半押しされたことを検出した場合の処理手順である。

音声付き動画撮影記録処理を実行中に、シャッターボタンの半押しが検出されると、図１４のステップＳ４０１に処理が進む。ここでは、撮像素子２から出力される撮像信号に基づき静止画撮影用のＡＦ処理及びＡＥ処理を実行し、撮影条件の設定を行う。そして、撮影条件の設定が完了したら（ステップＳ４０２でＹＥＳ）、設定完了した旨の報知表示（もしくは所定音の発生）を行う（ステップＳ４０３）。その後、設定した撮影条件で撮像素子２による撮像を開始しＥＶＦスルー画像を表示する（ステップＳ４０４）。なお、この報知処理は行なわないようにしてもよい。その後、シャッターボタンの全押しが検出された場合（ステップＳ４０５でＹＥＳ）、動画撮影処理を中断し、静止画処理とオフセット値設定処理を開始する（ステップＳ４０６）。但し、音声入力及びそのデータの格納処理は継続している。なお、このとき、前述した通常の静止画撮影処理のステップＳ１０における疑似シャッター音の出力処理は行なっても、行わなくてもよい。

ステップＳ４０６の静止画撮影処理では、前述したステップＳ１１と同様に、撮像素子２による記録用の被写体画像の撮像、及びその画像データの生成等の静止画処理を実行する。そして、バッファメモリ上で撮像素子２により得られた全画素データで構成される画像データに基づく静止画ファイル（ＪＰＥＧ形式等のファイル）を生成し、メモリ・カード１２に記録する。これにより静止画撮影記録を終了する。

また、ステップＳ４０６におけるオフセット値設定処理については、図１５のフローチャートに従って更に詳しく説明する。

まず、ステップＳ４１０にて、静止画処理が終了したか否かを判断する。終了したと判断した場合には、本オフセット値設定処理を終了し、図１４のステップＳ４０７で、動画撮影のフレーム周期到来による動画撮影の再開を行う。

また、ステップＳ４１０にて、静止画処理が未完であると判断した場合には、ステップＳ４１１に進み、静止画撮影のために動画像記録中断している期間において、生成すべきデータのオフセット番号が編集単位の最初の番号であるか否かを判断する。つまり、生成しようとするオフセット番号が「６Ｎ＋１」であるか否かを判断する。

このステップＳ４１１の判断結果がＹｅｓの場合、現在のオフセット値にオーディオデータサイズ分を加算し、オーディオデータを参照するためのオフセット値とデータサイズを示すインデックスを作成する（ステップＳ４１２）。これにより、オーディオデータのバッファ領域が確保される。

次に、ステップＳ４１３において、現在のオフセット番号に１を加算し、静止画処理が終了したかどうかのステップＳ４１０の判定処理に戻る。

また、ステップＳ４１１で、生成すべきデータのオフセットが６Ｎ＋１以外、つまり、動画像フレームであると判断した場合、処理はステップＳ４１４に進み、動画撮影のフレーム周期となるのを待つ。そして、その動画像フレームの生成タイミングなったと判断した場合には、次のステップＳ４１５にて、編集単位内に代替フレームがあるか否かを判断する。オフセットが６Ｎ＋２である場合、編集単位の最初の動画像フレームであるので、代替フレーム無しと判断し、ステップＳ４１７に進んで、動画像記録が中断される直前の、符号化済みの動画フレームデータを、代替フレームとして出力バッファメモリに格納する。

そして、ステップＳ４１５において、動画フレームを生成するタイミングでのオフセットの６Ｎ＋２以外であると判断した場合、又は、ステップＳ４１７の処理を終えたと判断した場合、処理はステップＳ４１６に進む。このステップＳ４１６に処理が進むと、既に代替フレームが出力バッファに格納済みであるので、その代替フレームを参照するためのオフセット値とデータサイズを示すインデックスを作成する。

そして、ステップＳ４１３に進んで、現在のオフセット番号に１を加算し、静止画処理が終了したかの判定に戻る。

なお、図１４のステップＳ４０５でシャッターボタンの全押し操作がなく（ステップＳ４０５でＮＯ）、シャッターボタンの半押しが継続されているならば（ステップＳ４０８でＹＥＳ）、ステップＳ４０５に戻り、ＥＶＦスルー画像表示する。

シャッターボタンの半押しが継続していないならば（ステップＳ４０８でＮＯ）、前述した図２のステップＳ１４へ戻る。この結果、録画終了ボタンが操作されるまでＥＶＦスルー画像表示処理、動画記録処理および音声録音処理を継続する（ステップＳ１５，Ｓ１６が共にＮＯ）。そして、録画終了ボタンが操作されたら（ステップＳ１６でＹＥＳ）、書き込み用バッファに格納されていた未書き込みデータのメモリカードへの書き込を行なう。また、このとき、バッファメモリに蓄積されている前述したインデックスの書き込みを行なう（ステップＳ１７）。

これにより、動画撮影処理をいったん終了してステップＳ１へ戻り、以後、同様の動作を撮影モードが解除されるまで繰り返す。

なお、各音声データはステップＳ４１２で確保したデータ領域を音声バッファとして随時記録してもよい。

以上の結果、動画像記録中に静止画を撮影指示した場合、その静止画撮影開始時から静止画データのメモリカードへの書き込みが完了するまでの期間、動画像記録は中断することになる。この期間でのオフセット番号とオフセット値との関係は、図１８（ｂ）に示すようになる。

図示の如く、編集単位である１つの音声データと５つの動画フレームでは、実質的に１つの音声データと１つの動画フレームのみが生成されることになり、５つある動画フレームは共通な１つの動画フレームを参照するように、そのオフセット値を設定できる。

本第５の実施形態では、オフセット値設定処理を静止画処理と並行して行っているが、静止画処理を行っている間は、欠落フレームのカウントを行い、静止画処理を終了後に欠落フレームのカウント数をもとにオフセット値設定処理を行ってもよい。

以上のように本第５の実施の形態においては、図１７（ｂ）のように、割り込みによる静止画処理を行なって動画フレームの撮像処理が中断している期間に、フレームデータの記録が従来と比べて大幅に軽減される。また、ファイルサイズの小さなものとなり、尚且つ、メモリ・カード１２への書き込み負担も軽減されるという利点がある。

なお、図１７（ｂ）において、動画像のフレーム３の次には、実はフレーム４、５が存在する。フレーム４、５の再生時には、フレーム３をそのまま再生することを意味する。従って、図１７（ｂ）では、フレーム４、５については図示してない。

＜第６の実施形態＞
次に第６の実施の形態を説明する。上記第５の実施形態では、動画撮影中に静止画撮影を行うときの動画フレームと音声データがインターリーブされた動画ファイルの生成方法について説明した。これに対し、本第６の実施形態では、動画撮影中に静止画撮影が行われた場合の臨場感を残すために、ブラックアウトフレームと前記記載の擬似的な動画像用のフレームを含んだ動画ファイルの生成方法を説明する。

ブラックアウトフレームとは、シャッターが切られたときの撮像素子２の状態を擬似的に表した黒画像のフレームのことである。また、このブラックアウトフレームは、予め符号化されたデータとして、不揮発性メモリに格納されている。

本第６の実施形態が第５の実施形態と異なる点は、ステップＳ４０６のオフセット値設定処理である。これ以外は、第５の実施形態と同じとして説明は省略する。

説明を簡単なものとするため、本第６の実施形態でも、編集単位は１つの音声データと、５つの動画フレームで構成されるものとする。

本第６の実施形態におけるステップＳ４０６におけるオフセット値設定処理の詳細を図１６のフローチャートに従って説明する。

まず、ステップＳ５０１にて、静止画処理が終了したか否か（静止画ファイルとしてメモリカード１２への格納が完了したか否か）を判断する。終了したと判断した場合には、本オフセット値設定処理を終了し、図１４のステップＳ４０７で、動画撮影のフレーム周期到来による動画撮影の再開を行う。

また、ステップＳ５０１にて、静止画処理が未完であると判断した場合には、ステップＳ５０２に進み、静止画撮影のために動画像記録中断している期間において、生成すべきデータのオフセット番号が編集単位の最初の番号であるか否かを判断する。つまり、生成しようとするオフセット番号が「６Ｎ＋１」であるか否かを判断する。

このステップＳ５０１の判断結果がＹｅｓの場合、現在のオフセット値にオーディオデータサイズ分を加算し、オーディオデータを参照するためのオフセット値とデータサイズを示すインデックスを作成する（ステップＳ５０３）。これにより、オーディオデータのバッファ領域が確保される。

次に、ステップＳ５０４において、現在のオフセット番号に１を加算し、静止画処理が終了したかどうかのステップＳ５０１の判定処理に戻る。

また、ステップＳ５０２で、生成すべきデータのオフセットが６Ｎ＋１以外、つまり、動画像フレームであると判断した場合、処理はステップＳ５０５に進み、動画撮影のフレーム周期となるのを待つ。

そして、その動画像フレームの生成タイミングなったと判断した場合には、次のステップＳ５０６にて、編集単位内に挿入する擬似フレームが生成されたか否かを判断する。より詳しくは、静止画撮影して得られた静止画像データを間引きしてＶＧＡクラスの画像を生成し、更に、その間引きした画像データの符号化処理が完了したか否かを判断する。このタイミングは、静止画ファイルをメモリカード１２に格納する前となる。

このステップＳ５０６の判定がＮｏの場合には、ステップＳ５１０に処理を進め、編集単位内にブラックアウトフレームはあるか否かを判断する。否の場合には、ステップＳ５１２に進み、ブラックアウトフレームを代替フレームとして出力バッファにコピーする。また、ステップＳ５１０にて、編集単位内にブラックアウトフレームが既に存在すると判断した場合、又は、ステップＳ５１２にてブラックアウトフレームを生成した場合には、ステップＳ５１１に処理を進める。このステップＳ５１１では、現動画フレームのオフセット値を、生成したブラックアウトフレームを参照するように設定する。

例えば、図１７（ａ）に示す「フレーム３」の直後のタイミングで静止画撮影を開始したことにより動画像撮影が中断した場合、注目している編集単位は、オーディオ１、動画フレーム１乃至３であり、残りの動画フレーム４、５の２つが不足する。また、注目している編集単位内には、ブラックアウトフレームが存在しない。そこで、動画フレーム４に相当する代替フレームには、ブラックアウトフレームを１つ挿入する。後続する動画フレーム５の挿入タイミングでは、ブラックアウトフレーム（動画フレーム４）を参照するようにオフセット値を設定する。この結果、図１７（ｃ）の「オーディオ２」の直前にブラックアウトフレームが挿入される。

さて、動画フレーム５に相当するインデックスが作成されると、ステップＳ５０４に進み、オフセット番号が１つ増加することになる。この結果、オフセット番号は６Ｎ＋１となり、次の編集単位を着目することになり、先に説明したステップＳ５０３の処理が行われる。また、この後、ステップＳ５０４にて、オフセット番号が“１”だけ増加することで、６Ｎ＋２となる。

従って、オフセット番号が６Ｎ＋２のときに、ステップＳ５０６にて、擬似フレームが生成されていないと判断した場合にも、ステップＳ５１０に進む。この場合、注目している編集単位内には、ブラックアウトフレームが存在しないことになるので、ステップＳ５１２にて、ブラックアウトフレームを出力バッファにコピーすることになる。この結果、図１７（ｃ）の「オーディオ２」の直後にブラックアウトフレームが挿入されることになる。また、オフセット番号が６Ｎ＋３になっても、擬似フレームが生成されていないと判断した場合には、ステップＳ５１０での判断はＹｅｓとなる。従って、この場合には、ステップＳ５１１にて、ブラックアウトフレームの出力バッファへのコピーは行なわず、既にコピー済みのブラックアウトフレームを指し示すオフセットインデックス値を設定する。

こうして、ブラックアウトフレーム又はそれを参照するフレーム、並びに、オフセットインデックスを生成している最中に、静止画撮影処理で得られた静止画から擬似フレームの生成が完了すると、ステップＳ５０６の判断はＹｅｓとなる。この結果、処理はステップＳ５０７に進み、編集単位内に擬似フレームがあるか否かを判断する。擬似フレームが存在しないと判断した場合には、ステップＳ５０９に進んで、擬似フレームを代替フレームとして出力バッファに格納する。この結果、図１７（ｃ）に示すように、オフセット「５４０」の位置に、擬似フレームが挿入されることになる。そして、出力バッファ上に記録された代替フレームを参照するためのオフセット値とデータサイズを示すインデックスを作成する（ステップＳ５０８）。

なお、注目編集単位内に、一度擬似フレームが挿入された場合、残りの動画フレームは、その擬似フレームを指し示すようにオフセットインデックスを生成することになる。

また、各音声データはステップＳ５０３で確保したデータ領域を音声バッファとして随時記録してもよい。

本第６の実施形態では、オフセット値設定処理を静止画処理と並行して行っているが、静止画処理を行っている間は、欠落フレームのカウントを行い、静止画処理を終了後に欠落フレームのカウント数をもとにオフセット値設定処理を行ってもよい。

また、本実施形態では、擬似的な動画像用のフレームが生成されるまで代替フレームとしてブラックアウトフレームを用いている。しかし、ブラックアウトフレームを用いずに、動画撮影を中断したときの欠落フレームは前記記載の擬似的な動画像用のフレームを代替フレームとしてもよいし、任意の動画フレームとしてもよい。

以上のように本第６の実施の形態においては、図１７（ｃ）に示すように、割り込みによる静止画処理によって動画フレームの撮像動作が中断している期間のフレームデータの記録に係るＣＰＵに係る負担が従来と比べて大幅に軽減される。また、ファイルサイズをより小さなものとすることができ、且つ、メモリ・カード１２への書き込みによる、メモリカードの負担も軽減されるという利点がある。また、ブラックアウトフレームの画像を挿入することによって、動画撮影中に静止画撮影されたときの臨場感が得られる。

また、上記第１〜第６の実施形態では、動画撮影中にシャッターボタンが半押しされた場合にＡＦ・ＡＥ処理を実行し、その後、シャッターボタンが全押しされた場合に割り込みによる静止画処理を実行する構成にした。しかし、シャッターボタンの半押し操作（ＡＦトリガ）を検出せずに、全押し操作（シャッタートリガ）のみを検出し、単純に動画撮影中にシャッターボタンが押下された時点でＡＦ・ＡＥ処理及び静止画処理を実行する構成にしてもよい。

また、上記第１〜第６の実施の形態では、動画撮影処理を中断する直前のフレームデータ又は静止画撮影で得られた代替フレームを動画データのオフセット値を欠落箇所に挿入するようにした。しかし、動画撮影処理を再開した直後のフレームデータのオフセット値を欠落箇所に挿入するようにしたり、複数のフレームデータを所定の比率で合成して生成したフレームデータのオフセット値を動画データの欠落箇所に挿入するようにしても良い。また、欠落箇所に挿入するフレームデータのオフセット値を段階的に異なる他のフレームデータに変更していくようにしてもよい。

また、上記第１〜第６の実施の形態では、動画撮影機能付き電子スチルカメラに本発明を適用した。しかしながら、静止画撮影機能付きムービーカメラ、カメラ付き携帯電話、カメラ付きＰＤＡ、カメラ付きパソコン等でもよい。要は、動画撮影機能と静止画撮影機能を兼ね備えた機器であれば本発明を適用することができる。

また、上記第１〜第４の実施の形態では、上記第１〜第４の実施の形態を組み合わせることで動画に変化をもたらすことも可能である。たとえば、動画撮影処理が中断される間にユーザのお気に入りの動画フレームを挿入したりすることも可能であるとする。

その他、本発明は上記実施の形態に限らず、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。

実施形態におけるデジタルカメラのブロック構成図である。 第１の実施形態におけるデジタルカメラの処理手順を示すフローチャートである。 第１の実施形態におけるデジタルカメラの処理手順を示すフローチャートである。 第１の実施形態におけるデジタルカメラの処理手順を示すフローチャートである。 第３の実施形態におけるデジタルカメラの処理手順を示すフローチャートである。 第１の実施の形態におけるオフセット値設定処理を示すフローチャートである。 第３の実施形態におけるオフセット値設定処理を示すフローチャートである。 第４の実施形態におけるオフセット値設定処理を示すフローチャートである。 第２の実施形態におけるデジタルカメラの処理手順を示すフローチャートである。 通常の動画像ファイルのオフセット値と動画フレームの関係を示す図である。 第１の実施形態における動画像ファイルのオフセット値と動画フレームの関係の一例を示す図である。 第３の実施形態における動画像ファイルのオフセット値と動画フレームの関係の一例を示す図である。 第４の実施形態における動画像ファイルのオフセット値と動画フレームの関係の一例を示す図である。 第５の実施形態におけるデジタルカメラの処理手順を示すフローチャートである。 第５の実施形態におけるデジタルカメラの処理手順を示すフローチャートである。 第６の実施形態におけるデジタルカメラの処理手順を示すフローチャートである。 従来例と第５、６の実施形態における動画像ファイルの動画フレーム及び音声データを示す図である。 従来例と第５、６の実施形態における動画像ファイルインデックスの一例を示す図である。

Claims (10)

1. 撮像手段で撮像した画像データを所定の記憶媒体に記録する撮像装置であって、
   所定のフレームレートに従って前記撮像手段で順次撮像して得られた各画像データを動画像のフレームデータとし、各フレームデータと各フレームの格納アドレスを示すオフセット値とを前記記憶媒体に書き込むことで、前記記憶媒体内に動画像ファイルを生成する動画像撮影記録手段と、
   該動画像撮影記録手段による動画像撮影記録中に、静止画撮影記録の指示があったか否かを判断する判断手段と、
   該判断手段で静止画撮影記録の指示があったと判断した場合、前記動画像撮影記録手段による動画像撮影記録を中断し、前記撮像手段で得られた画像データを静止画とする静止画ファイルを前記記憶媒体に格納する静止画撮影記録手段と、
   該静止画撮影記録手段で得られた静止画像データから擬似動画フレームを生成して前記動画像ファイルの一部として格納すると共に、前記静止画撮影記録手段による静止画撮影時から前記記憶媒体への前記静止画ファイルの格納する期間で撮影されなかった各欠落フレームが前記擬似動画フレームを指し示すようにするため、前記各欠落フレームのオフセットを調整する調整手段と、
   該調整手段による調整した後、前記動画像撮影記録手段による動画像撮影記録を再開する再開手段と
   を備えることを特徴とする撮像装置。
2. 前記動画像撮影記録手段で記録する各フレーム画像は、前記撮像手段から所定ライン間隔で抽出された画像を更に間引きして生成することを特徴とする請求項１に記載の撮像装置。
3. 前記調整手段は、予め設定されたオフセット位置に前記擬似動画フレームを格納し、各欠落フレームが前記予め設定されたオフセット位置を示すように調整することを特徴とする請求項１に記載の撮像装置。
4. 更に、音声入力手段を備え、
   前記動画像撮影記録手段は、予め設定された単位時間の前記音声データと前記単位時間に撮像されるべき個数のフレームデータとを１セットし、当該セット内の各データを、それぞれのデータの格納位置を示すオフセット値ともに前記記憶媒体に格納し、
   前記調整手段は、
   前記動画像撮影記録手段による動画像撮影記録を中断してから、前記静止画撮影記録手段により動画像フレームとしての擬似フレームが生成されるまでを第１の期間としたとき、当該第１の期間に含まれる各セットの最初の動画フレームの撮影タイミングにおいては、予め設定されたブラックアウトフレームを格納し、前記第１の期間内での他の動画フレームの撮影タイミングでは前記ブラックアウトフレームの格納アドレスを示すオフセット値を格納し、
   前記擬似フレームが生成されてから、前記静止画撮影記録手段による静止画ファイルが格納するまでの期間を第２の期間としたとき、当該第２の期間に含まれる各セットの最初の動画フレームの撮影タイミングにおいては前記擬似フレームを格納し、前記第２の期間内での他の動画フレームの撮影タイミングでは前記擬似フレームの格納アドレスを示すオフセット値を格納する
   ことを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 撮像手段で撮像した画像データを所定の記憶媒体に記録する撮像装置の制御方法であって、
   所定のフレームレートに従って前記撮像手段で順次撮像して得られた各画像データを動画像のフレームデータとし、各フレームデータと各フレームの格納アドレスを示すオフセット値とを前記記憶媒体に書き込むことで、前記記憶媒体内に動画像ファイルを生成する動画像撮影記録工程と、
   該動画像撮影記録工程による動画像撮影記録中に、静止画撮影記録の指示があったか否かを判断する判断工程と、
   該判断工程で静止画撮影記録の指示があったと判断した場合、前記動画像撮影記録工程による動画像撮影記録を中断し、前記撮像手段で得られた画像データを静止画とする静止画ファイルを前記記憶媒体に格納する静止画撮影記録工程と、
   該静止画撮影記録工程で得られた静止画像データから擬似動画フレームを生成して前記動画像ファイルの一部として格納すると共に、前記静止画撮影記録工程による静止画撮影時から前記記憶媒体への前記静止画ファイルの格納する期間で撮影されなかった各欠落フレームが前記擬似動画フレームを指し示すようにするため、前記各欠落フレームのオフセットを調整する調整工程と、
   該調整工程による調整した後、前記動画像撮影記録工程による動画像撮影記録を再開する再開工程と
   を備えることを特徴とする撮像装置の制御方法。
6. 撮像手段で撮像した画像データを所定の記憶媒体に記録する撮像装置であって、
   所定のフレームレートに従って前記撮像手段で順次撮像して得られた各画像データを動画像のフレームデータとし、各フレームデータと各フレームの格納アドレスを示すオフセット値とを前記記憶媒体に書き込むことで、前記記憶媒体内に動画像ファイルを生成する動画像撮影記録手段と、
   該動画像撮影記録手段による動画像撮影記録中に、静止画撮影記録の指示があったか否かを判断する判断手段と、
   該判断手段で静止画撮影記録の指示があったと判断した場合、前記動画像撮影記録手段による動画像撮影記録を中断し、前記撮像手段で得られた画像データを静止画とする静止画ファイルを前記記憶媒体に格納する静止画撮影記録手段と、
   前記静止画撮影記録手段による静止画撮影時から前記記憶媒体への前記静止画ファイルの格納する期間で撮影されなかった各欠落フレームが、前記静止画撮影記録の指示が入力される直前の動画フレームを指し示すようにするため、前記各欠落フレームのオフセットを調整する調整手段と、
   該調整手段による調整した後、前記動画像撮影記録手段による動画像撮影記録を再開する再開手段と
   を備えることを特徴とする撮像装置。
7. 前記動画像撮影記録手段で記録する各フレーム画像は、前記撮像手段から所定ライン間隔で抽出された画像を更に間引きして生成することを特徴とする請求項６に記載の撮像装置。
8. 撮像手段で撮像した画像データを所定の記憶媒体に記録する撮像装置の制御方法であって、
   所定のフレームレートに従って前記撮像手段で順次撮像して得られた各画像データを動画像のフレームデータとし、各フレームデータと各フレームの格納アドレスを示すオフセット値とを前記記憶媒体に書き込むことで、前記記憶媒体内に動画像ファイルを生成する動画像撮影記録工程と、
   該動画像撮影記録工程による動画像撮影記録中に、静止画撮影記録の指示があったか否かを判断する判断工程と、
   該判断工程で静止画撮影記録の指示があったと判断した場合、前記動画像撮影記録工程による動画像撮影記録を中断し、前記撮像手段で得られた画像データを静止画とする静止画ファイルを前記記憶媒体に格納する静止画撮影記録工程と、
   前記静止画撮影記録工程による静止画撮影時から前記記憶媒体への前記静止画ファイルの格納する期間で撮影されなかった各欠落フレームが、前記静止画撮影記録の指示が入力される直前の動画フレームを指し示すようにするため、前記各欠落フレームのオフセットを調整する調整工程と、
   該調整工程による調整した後、前記動画像撮影記録工程による動画像撮影記録を再開する再開工程と
   を備えることを特徴とする撮像装置の制御方法。
9. 音声入力手段から入力した音声データと、撮像手段で撮像した画像データを所定の記憶媒体に記録する撮像装置であって、
   予め設定された単位時間の前記音声データと前記単位時間に撮像されるべき個数のフレームデータとを１セットし、音声データ及び各フレームデータを、それぞれのデータの格納アドレスを示すオフセット値と共に前記記憶媒体に書き込むことで、前記記憶媒体内に音声付き動画像ファイルを生成する音声付き動画像撮影記録手段と、
   該音声付き動画像撮影記録手段による動画像撮影記録中に、静止画撮影記録の指示があったか否かを判断する判断手段と、
   該判断手段で静止画撮影記録の指示があったと判断した場合、前記音声付き動画像撮影記録手段による動画像撮影記録を中断し、前記撮像手段で得られた画像データを静止画とする静止画ファイルを前記記憶媒体に格納する静止画撮影記録手段と、
   前記静止画撮影記録手段による静止画撮影を開始してから前記記憶媒体への前記静止画ファイルの格納するまでの期間では、音声入力を継続し、各セットにおける音声データとして前記記憶媒体に格納する音声データ格納手段と、
   前記期間における各セット中の最初の動画像のフレームについては、前記静止画撮影記録の指示が入力される直前に撮像して得られたフレームデータを格納し、前記各セット中の前記最初の動画像のフレームを除くフレームについては、該当するセットに格納した動画のフレームのオフセットを格納することで、動画像撮影中断による欠落フレームのオフセットを調整する調整手段と、
   前記音声データ格納手段による音声データの格納処理、及び、前記調整手段による調整処理の後、前記動画像撮影記録手段による動画像撮影記録を再開する再開手段と
   を備えることを特徴とする撮像装置。
10. 音声入力手段から入力した音声データと、撮像手段で撮像した画像データを所定の記憶媒体に記録する撮像装置の制御方法であって、
    予め設定された単位時間の前記音声データと前記単位時間に撮像されるべき個数のフレームデータとを１セットし、音声データ及び各フレームデータを、それぞれのデータの格納アドレスを示すオフセット値と共に前記記憶媒体に書き込むことで、前記記憶媒体内に音声付き動画像ファイルを生成する音声付き動画像撮影記録工程と、
    該音声付き動画像撮影記録工程による動画像撮影記録中に、静止画撮影記録の指示があったか否かを判断する判断工程と、
    該判断工程で静止画撮影記録の指示があったと判断した場合、前記音声付き動画像撮影記録工程による動画像撮影記録を中断し、前記撮像手段で得られた画像データを静止画とする静止画ファイルを前記記憶媒体に格納する静止画撮影記録工程と、
    前記静止画撮影記録工程による静止画撮影を開始してから前記記憶媒体への前記静止画ファイルの格納するまでの期間では、音声入力を継続し、各セットにおける音声データとして前記記憶媒体に格納する音声データ格納工程と、
    前記期間における各セット中の最初の動画像のフレームについては、前記静止画撮影記録の指示が入力される直前に撮像して得られたフレームデータを格納し、各セット中の前記最初の動画像のフレームを除くフレームについては、該当するセットに格納した動画のフレームのオフセットを格納することで、動画像撮影中断による欠落フレームのオフセットを調整する調整工程と、
    前記音声データ格納工程による音声データの格納処理、及び、前記調整工程による調整処理の後、前記動画像撮影記録工程による動画像撮影記録を再開する再開工程と
    を備えることを特徴とする撮像装置の制御方法。

Images