JP2020077917A - 撮像装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】並列して複数のファイルとして画像を記録媒体に記録する場合に、１つのＡＵ（Allocation Unit）内に複数のファイルのデータが混在しない、もしくは混在する割合を少なくして記録を行う技術の提供。【解決手段】撮像部を有し、外記録媒体９１に撮像した画像データを記録する撮像装置１００であって、記録媒体の書き込みに関する規格を示す情報をカードコントローラ９０を介して取得する取得部と、撮像部より得た画像から、少なくとも２種類の画像を別ファイルとして記録する場合、取得部より取得した情報と、記録する異なる２種類の画像の種類に従って、記録媒体への記録処理を行うシステム制御部５０とを有する。【選択図】図２

Description

本発明は撮像装置及びその制御方法及びプログラムに関するものである。

近年、デジタルカメラやデジタルビデオカメラが広く普及し、動画撮影を行う機会が増えている。また、技術の進化に伴い、高解像度化や高画質化が進んでいる。そして、高解像度化、高画質化に合わせて、記録される動画のビットレートも増加するため、安定した高い記録速度が要求されている。

デジタルカメラやデジタルビデオカメラでは、動画データの記録にフラッシュメモリを利用していることが多い。例えば、SD Card Association(SDA)で規定されているＳＤ(Secure Digital)メモリカードでは、動画記録のための速度保証を規定した規格が定められている(非特許文献１)。

また、一方でデジタルカメラやデジタルビデオカメラの機能として、同時に２種類の動画を記録するダブル動画記録や、動画撮影中に静止画を記録するといった高機能な動画記録が提供されている。特許文献１では、動画中の静止画記録を効率的に行う方法が記載されている。

特開２０１６−１３９９２４号公報

Part1 Physical Layer Simplified Specification 6.00 Apr. 10, 2017

ＳＤメモリカードでは、より高速な速度保証として、ビデオスピードクラスと呼ばれる仕様が規定されている。ビデオスピードクラス仕様で速度保証を実現するため、必ずＡＵ（Allocation Unit）と呼ばれる物理的な記録単位での書き込み処理に基づいて記録することで高速な性能保証を実現している。そのため、一部でも記録済みのデータが含まれるＡＵはビデオスピードクラス仕様を適用することができないという制約がある。

また、ビデオスピードクラスでは、複数ファイルの同時記録でも速度保証が可能な仕様となっている。例えば、１つのＳＤメモリカードに対して、ビデオスピードクラス仕様を満たすよう２種類の動画の記録（ダブル動画記録）である。ダブル動画記録処理を行った際の様子を簡略的に図１（ａ）乃至（ｃ）を参照して説明する。図１（ａ）のような状況のＳＤメモリカードに対して、２種類の動画Ａ，Ｂを順次記録する場合を考察する。この場合、ほかのデータで使用されているＡＵに対しては記録を行わず、すべて空き領域からなるＡＵに連続的に記録を行われる。この結果、動画像Ａ，Ｂは図１（ｂ）のように記録される(非特許文献1のFigure4-57参照)。

今、図１（ｂ）のような状況で、動画Ｂのファイルを削除すると、図１（ｃ）のような状況となる。ここで、動画Ｂを削除した後のＳＤメモリカードの記録状況を見ると、すべて空き領域からなるＡＵが存在しなくなる。このため、実際に記録可能な空き領域としては十分にあるにもかかわらず、ビデオスピードクラス仕様で記録できる領域がなくなってしまうという問題が起きる。

本発明はかかる問題に鑑みなされたものであり、並列して複数のファイルとして画像を記録媒体に記録する場合に、１つのＡＵ（Allocation Unit）内に複数のファイルのデータが混在しない、もしくは混在する割合を少なくして記録を行う技術を提供しようとするものである。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
撮像手段を有し、記録媒体に撮像した画像データを記録する撮像装置であって、
前記記録媒体から、当該記録媒体の書き込みに関する規格を示す情報を取得する取得手段と、
前記撮像手段より得た画像から、少なくとも２種類の画像を別ファイルとして記録する場合、前記取得手段より取得した情報と、記録する異なる前記２種類の画像の種類に従って、前記記録媒体への記録処理を行う制御手段とを有する。

本発明によれば、並列して複数のファイルとして画像を記録媒体に記録する場合に、１つのＡＵ（Allocation Unit）内に複数のファイルのデータが混在しない、もしくは混在する割合を少なくして記録を行う。この結果、その記録媒体から一方のファイルを削除しした場合、空のＡＵが発生し易くなり、記録媒体が持つビデオハイスピードクラス、または、ハイスピードクラスを用いた記録が行えるようになる。

記録媒体への記録処理の問題点を説明するための図。 実施形態のデジタルカメラのブロック構成図。 第１の実施形態の動画撮影処理を示すフローチャート。 第１の実施形態のオリジナル動画の記録処理を示すフローチャート。 第１の実施形態のプロキシ動画の記録処理を示すフローチャート。 第１の実施形態の記録媒体の記録状態を示す図。 第１の実施形態の動画の記録処理を示すフローチャート。 第１の実施形態の動画の記録処理を示すフローチャート。 第２の実施形態の動画撮影処理を示すフローチャート。 第２の実施形態の動画の記録処理を示すフローチャート。 第２の実施形態の静止画の記録処理を示すフローチャート。 第１の実施形態の記録媒体の記録状態を示す図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

［第１の実施形態］
図２は、本実施形態が適用する撮像装置１００のブロック構成図である。以下、各構成とその機能について説明する。なお、以下に示す実施形態では、撮像装置１００がデジタルカメラであるものとして説明するが、スマートホン等のように撮像機能と撮像して得た画像データの記録媒体への記録機能を有する装置であれば適用できるので、あくまで例示であると理解されたい。

撮像装置１００は、撮影レンズ１１、絞り機能を備えるシャッター１２、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子１３を有する。撮像素子１３の前面には、Ｒ，Ｇ，Ｂの各色成分のフィルタが配置されていて、フィルタを介して入射した光の強度に応じたアナログ信号を出力する。フィルタの配列は、ベイヤ配列であるものとする。また、外部からの衝撃から保護するため、並びに、汚れを防止するためのバリア１０が撮影レンズ１１の前面に設けられている。Ａ／Ｄ変換器１５は、タイミング発生器１４からの信号に同期して、撮像素子１３からのアナログ信号出力をディジタルの画像データに変換し、画像処理部２０及びメモリ制御部２２に供給する。なお、Ａ／Ｄ変換器１５で得られた画像データは、フィルタの配列に依存するベイヤ配列の画素データの集合であり、ＲＡＷ画像データという。

メモリ制御部２２は、撮影時の情報を基に各ＲＡＷ画像データに対応する現像パラメータを生成し、ＲＡＷ画像データとともにメモリ２５に書き込む。現像パラメータの内容としては、露光設定、ホワイトバランス、色空間、コントラストなどＪＰＥＧ方式などを記録するための画像処理で使用する各種パラメータから構成される。

また、画像処理部２０は、 Ａ／Ｄ変換器１５からのＲＡＷ画像データ或いはメモリ制御回路２２からの画像データに対して所定の画素補間処理、デベイヤ処理（デモザイク処理ともいう）、色変換処理などの各種処理を行う。更に、画像処理部２０は、所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理も行う。更に、画像処理部２０は、メモリ２５に格納された画像を読み込んでＪＰＥＧ方式やMPEG-4 AVC/H.264方式での圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ２５に書き込む。更に、実施形態における画像処理部２０は、システム制御部６０からの指示に従い、撮像素子１３より得たオリジナルの解像度の画像データから、予め設定された解像度まで落とした画像データを生成する機能を有する。この機能を使って、撮像素子１３が持つオリジナルの解像度の画像だけでなく、それよりも低い解像度の画像も記録することが可能になる。

メモリ制御部２２は、Ａ／Ｄ変換器１５、タイミング発生器１４、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２１、メモリ２５を制御する。

Ａ／Ｄ変換器１５を通して生成されたＲＡＷ画像データは、画像処理回路２０、メモリ制御回路２２を介して、或いは、直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ２５に書き込まれる。そして、メモリ制御部２２は、画像表示メモリ２４に書き込まれた表示用の画像データを読み出し、Ｄ／Ａ変換器２１を介して表示部２３に表示させる。表示部２３は、撮像素子１３で撮像した画像データを逐次表示することで、ライブ映像を表示する電子ファインダとして機能する。また、表示部２３は、後述するシステム制御部５０が生成する各種メニューの表示も行う。

メモリ２５は、撮影した静止画像や動画像を一時的に格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。また、メモリ２５はシステム制御部５０の作業領域としても使用することが可能である。

露光制御部４０は、システム制御部５０の制御下で、シャッター１２の開閉を制御する。フォーカス制御部４１は、システム制御部５０の制御下で、撮影レンズ１１のフォーカシングを制御する。ズーム制御部４２は、システム制御部５０の制御下で、撮影レンズ１１のズーミングを制御する。バリア制御部４３は、システム制御部５０の制御下で、バリア１０の開閉を制御する。

システム制御部５０は、不揮発性メモリ５１に格納されているプログラムにしたがって処理することで、デジタルカメラ全体を制御する。なお、この不揮発性メモリ５１は、プログラムだけでなく、各種パラメータや地図情報等も記録されている。

シャッタースイッチ６１は、ユーザによる押下状態に応じた信号ＳＷ１、ＳＷ２を出力する。非押下状態では、シャッタースイッチ６１は信号ＳＷ１＝ＳＷ２＝“０”を出力する。また、半押し状態のとき、シャッタースイッチ６１は信号ＳＷ１＝“１”、信号ＳＷ２＝“０”を出力する。そして、全押しのとき、シャッタースイッチ６１は信号ＳＷ１＝ＳＷ２＝“１”を出力する。この結果、システム制御部５０は、押下状況を検出できる。半押し状態を検出したとき、システム制御部５０はＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。そして、全押し状態を検出したとき、システム制御部５０は、Ａ／Ｄ変換器１５からの画像データのメモリ制御回路２２を介したメモリ２５への書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ２５から画像データを読み出し、画像処理回路２０による圧縮処理してのメモリ２５への書き込み処理、さらには、メモリ２５に格納された符号化画像データのカードコントローラ９０を介した外部記録媒体９１への書き込みである記録処理などの一連の処理を行う。

操作部６２は各種スイッチやボタン、タッチパネルで構成される。この中には、電源ボタン、メニューボタン、撮影モード／再生モード／その他特殊撮影モードの切替えを行うモード切替スイッチ、十字キー、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等ある。また、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせを指示するボタンも含まれる。

動画撮影ボタン７０は、ユーザによる操作により、動画撮影の開始指示、終了指示をシステム制御部５０に与える。動画撮影の開示指示を受け取ると、システム制御部５０は、撮像素子１３により予め設定されたフレームレートで撮影を行い、各フレームの現像処理、符号化を行い、外部記憶媒体９１への格納処理を行うことになる。

マイク７１は、被写体等の外部音声を取り込む。スピーカ７２は、デジタルカメラ１００の操作音やシャッター音、動画再生時の音声を出力する。音声制御部７３は、システム制御部５０の制御下にて、マイク７１、スピーカ７２の制御や入出力される音声データの録音レベルやボリューム、ノイズキャンセル処理、音声圧縮処理などを施す。

電源制御部８１は、電源８０からの電力の供給を制御する。電源８０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源である。

カードコントローラ９０は、外部記録媒体９１とデータの送受信を行う。外部記録媒体９１は、脱着可能なメモリカードであり、実施形態では、SD Card AssociationによるＳＤ規格に準拠したＳＤメモリカードであるものとする。

次に、ＳＤ規格におけるスピードクラス仕様、ビデオスピードクラス仕様について説明する。

スピードクラス仕様やビデオスピードクラス仕様は、記録媒体に連続してデータを記録する際の最低速度を保証する仕様である。ＳＤメモリカードでは、物理的な記録領域の記録単位は、特定の固定サイズを有するＡＵ(Allocation Unit)と呼ばれる単位で管理されている。１つのＡＵは複数のＲＵ(Recording Unit)で構成される。また、ＲＵのサイズは、カードの種類（ＳＤＳＣ、ＳＤＨＣ、ＳＤＸＣ）やスピードクラスの種類によって異なるが、現在の規格では１ＲＵのサイズは、１６ＫＢの倍数であり、最大サイズは５１２ＫＢである。カードごとのＡＵやＲＵに関するサイズなどの情報は、カードコントローラ９０を介して、取得することができる。

なお、本実施形態は、記録領域の管理単位が異なる書き込み方法をサポートする他の規格の記録媒体を用いる記録装置にも適用可能である。このような記録媒体の一例を挙げれば、ＣＦカードがある。ＣＦカードでは、最低記録速度を保証する書き込み方法として、ＶＰＧ (Video Performance Guarantee)が定められている。

ＳＤメモリカードの速度保証の仕様となる「スピードクラス仕様」では、空き領域の比率が多いＡＵにＲＵの倍数単位で記録を実行するほど、記録媒体の性能を引き出すことが可能となっている。最大限の速度を引き出すためには、すべてのＲＵが空き領域となっているＡＵを使用する必要があるが、速度低下が許容できるのであれば、記録済みＲＵを含むＡＵを使用しても構わない。

一方でＳＤメモリカードの「ビデオスピードクラス仕様」の書き込み処理では、データを記録する前にSet Free AUコマンドと呼ばれるコマンドを発行して、使用予定のＡＵをあらかじめ記録媒体に宣言をする必要がある。そのＡＵに、ＲＵの倍数単位で連続的に記録を行うことで速度保証される。そのため、このSet Free AUで指定したＡＵに、記録済みのデータが存在したり、指定したＡＵ以外の場所にデータを書き込むと、ビデオスピードクラスとしての制約違反となり、速度保証がなされない。しかし、この制約を遵守することでスピードクラス仕様以上の速度保証を実現している。

次に、本実施形態の撮像装置１００の複数種類の動画を同時に記録するシステム制御部５０の動画撮影処理を説明するに先立ち、同時動画記録モードについて説明する。

この同時動画記録モードは、ユーザが動画撮影ボタン７０を押下する以前に、操作部６２を介して設定するものであり、２つのモードがある。

第１のモードは、撮像素子１３が持つ解像度をフルに生かしたオリジナル動画のファイルに加え、そのオリジナル動画の編集を簡便化するための素材として利用されるプロキシ動画の別ファイルを記録するモードである。撮像素子１３が、例えば４Ｋの解像度を有する場合、１フレームが４Ｋの解像度の動画がオリジナル動画であり、例えば１フレームが２Ｋ（画素数はオリジナル動画の１／４）の解像度の動画がプロキシ動画に対応する。

ＰＣ等で、動画像におけるシーンカットなどの編集処理を行う場合、その動画像の解像度（画素数）は少ないほど、ＰＣに係る負担は小さくなり、レスポンスの良い編集環境を提供できるのは理解できよう。そこで、ユーザによる編集作業はプロキシ動画を対象にする。そして、最終的に決定した編集結果に従って、ＰＣが自動でオリジナル動画の編集処理を行うものである。かかる点で、オリジナル動画と、プロキシ動画は互いに同じ種類の符号化が適用され、フレームレートも同じであることが望まれる。なお、単位時間当たりの符号量（ビットレート）は、プロキシ動画の方がオリジナル動画よりも小さくなる。

第２のモードは、上記条件を持たない２つの動画を記録するモードである。例えば、一方が、ＲＡＷ画像（ベイヤ配列の画像）の動画として記録され、他方が１画素当たり１個の輝度、２つの色差で構成される画像の動画の場合である。また、フレームレートが異なる場合であっても良い。

以上を踏まえ、本実施形態の撮像装置１００の複数の動画を同時記録（並列記録）に係る処理を、図３のフローチャートに従って説明する。

まず、Ｓ３０１にて、システム制御部５０は、記録対象の２つの画像がオリジナル動画とプロキシ動画であるか否かを判定する。システム制御部５０は、記録対象の画像がオリジナル動画とプロキシ動画であると判定した場合はＳ３０２に、それ以外の場合はＳ３０８に処理を分岐する。

Ｓ３０２にて、システム制御部５０は、動画の記録フレームレートに応じて撮像素子１３から出力される映像データを基にオリジナル動画、プロキシ動画それぞれの記録用画像を生成し、画像処理回路２０に含まれる映像圧縮処理を用いて、符号化データへと圧縮させ、メモリ２５へ格納させる。

Ｓ３０３にて、システム制御部５０は、マイク７１で入力された音声データについても音声制御部７３を用いて、音声データを圧縮し、メモリ２５に格納させる。

Ｓ３０４、Ｓ３０５にて、システム制御部５０は、オリジナル動画とプロキシ動画の記録処理をそれぞれ行う。そして、Ｓ３０６にて、システム制御部５０は、動画撮影ボタン７０の再押下（記録終了指示）があると判定するまで、Ｓ３０２以降の処理を繰り返す。そして、動画撮影ボタン７０の操作による記録終了指示があった場合、システム制御部５０は、Ｓ３０７に処理を進め動画記録を停止する。

ここでＳ３０４のオリジナル動画記録処理を図４のフローチャートを参照して説明する。

Ｓ４０１にて、システム制御部５０は、カードコントローラ９０を介して、外部記録媒体９１から媒体に関する情報を取得し、この情報に基づき、外部記録媒体９１がビデオスピードクラス(ＶＳＣ)仕様に対応しているか判定する。システム制御部５０は、ビデオスピードクラス仕様に対応している場合にはＳ４０２へ、非対応（スピードクラスに対応）であればＳ４０９へ処理を分岐する。

Ｓ４０２にて、システム制御部５０は、Ｓ３０２、Ｓ３０３で作成されたオリジナル動画の映像、音声データが所定サイズ作成されたかを判定する。所定サイズに満たなければ、本処理を終了する。つまり、オリジナル動画の符号化データのメモリ２５への蓄積を継続する。また、所定サイズ以上作成された場合、システム制御部５０は処理をＳ４０３に進める。

Ｓ４０３にて、システム制御部５０は、後述するプロキシ動画記録処理でプロキシ動画の映像・音声データを外部記録媒体９１に記録中か否かを判定する。記録中であれば、オリジナル動画のデータは記録できないので、待機状態にし、本処理を終了する。また、プロキシ動画の記録中でないと判定された場合、システム制御部５０は処理をＳ４０４に進める。

Ｓ４０４にて、システム制御部５０は、これから記録するデータが外部記録媒体９１のＡＵの先頭位置に記録されるか否かを判定する。ＡＵの先頭位置であると判定した場合、システム制御部５０は、そのＡＵをオリジナル動画の映像・音声データだけで記録するようにするため、Ｓ４０５でＡＵ占有フラグを有効に設定する。

Ｓ４０６にて、システム制御部５０は、実際にオリジナル動画の映像・音声データを外部記録媒体９１にＲＵの倍数単位となるサイズ分ビデオスピードクラス仕様で記録する。ある瞬間、外部記録媒体９１は、２種類のデータを書き込むことはできないので、このように、プロキシ動画の記録完了を待って、オリジナル動画の記録を行うことになる。かかる点は、プロキシ動画の記録でも同じである。

Ｓ４０７にて、システム制御部５０は、１つのＡＵ内の全ＲＵが、オリジナル動画の映像・音声データで記録されたかを判定する。全ＲＵへのオリジナル動画の映像・音声データで記録できたと判定した場合、システム制御部５０は、処理をＳ４０８に進め、ＡＵ占有フラグを無効に設定し、本処理を終了する。

一方、Ｓ４０１にてシステム制御部５０は、外部記録媒体９１がビデオスピードクラス仕様に対応していないと判定した場合には処理はＳ４０９に進む。このＳ４０９にて、システム制御部５０は、オリジナル動画の映像、音声データが所定サイズ作成されたか判定し、所定サイズ以上であると判定された場合にはＳ４１０でプロキシ動画の映像・音声データの記録中であるか否かを判定する。そして、プロキシ動画の映像・音声データの記録中ではないと判定した場合、システム制御部５０は、Ｓ４１１にて、外部記録媒体９１にオリジナル動画の映像・音声データＲＵの倍数単位となるサイズ分スピードクラス(ＳＣ)仕様で記録する。

次に、図３のＳ３０５のプロキシ動画記録処理を図５のフローチャートに参照して説明する。

Ｓ５０１にて、システム制御部５０は、カードコントローラ９０を介して、外部記録媒体９１から媒体に関する情報を読み込み、外部記録媒体９１がビデオスピードクラス(ＶＳＣ)仕様に対応しているか判定する。システム制御部５０は、ビデオスピードクラス仕様に対応していると判定した場合にはＳ５０２へ、対応していないと判定した場合はＳ５０５へ処理を分岐する。

Ｓ５０２にて、システム制御部５０は、Ｓ３０２、Ｓ３０３で作成されたプロキシ動画の映像、音声データが所定サイズ作成されたか否かを判定する。所定サイズに満たない場合、システム制御部５０は本処理を終了する。所定サイズ以上作成された場合、システム制御部５０は処理をＳ５０３に進める。

Ｓ５０３にて、システム制御部５０は、オリジナル動画がＡＵを占有しているか否かを、ＡＵ占有フラグの値に基づき判定する。ＡＵ占有フラグが有効の場合、システム制御部５０は、本処理を終了する。つまり、オリジナル動画が１つのＡＵの全領域への格納するのを待つことになる。

一方、ＡＵ占有フラグが無効の場合、システム制御部５０は、処理をＳ５０４に進め、プロキシ動画の映像・音声データをビデオＲＵの倍数単位となるサイズ分で記録を行う。

Ｓ５０１にて、システム制御部５０が、外部記録媒体９１がビデオスピードクラス仕様に対応していないと判定した場合、処理はＳ５０５に進むことになる。このＳ５０５にて、システム制御部５０は、プロキシ動画の映像、音声データが所定サイズ作成されたかを判定する。所定サイズ以上作成されている場合、システム制御部５０は処理をＳ５０６に進める。このＳ５０６にて、システム制御部５０は、オリジナル動画の映像・音声データの記録中か否かを判定する。そして、オリジナル動画の映像・音声データの記録中でない場合、システム制御部５０は、Ｓ５０７に処理を進め、外部記録媒体９１にプロキシ動画の映像・音声データをＲＵの倍数単位となるサイズ分スピードクラス(ＳＣ)仕様で記録する。

プロキシ動画の映像、音声データが所定サイズ作成されていない場合（Ｓ５０５がＮｏ）、或いは、オリジナル動画の映像・音声データの記録中の場合（Ｓ５０６がＹｅｓ）、システム制御部５０は本処理を終える。

図６（ａ）は、スピードクラス仕様でそれぞれの動画が映像・音声データが作成された順に記録された場合の記録媒体９１に記録されるデータのパターンを表している。一方、図６（ｂ）は、本実施形態におけるビデオスピードクラス仕様に対応した外部記録媒体にそれぞれの動画を記録したパターンを表している。

上記で説明したようにビデオスピードクラス仕様に対応した外部記録媒体９１を使用した場合（図６（ｂ）の場合）であって、オリジナル動画を外部記録媒体９１のあるＡＵの先頭から記録した場合には、そのＡＵはオリジナル動画の映像・音声データのみが記録されるようになっている。単純にスピードクラス仕様で記録した場合に比べ、オリジナル動画の映像・音声データのみが記録されているＡＵが多くすることができるのが理解できよう。

図３の説明に戻る。Ｓ３０１にて、マルチ動画記録する動画がオリジナル動画とプロキシ動画とは異なる関係であって、互い同期する等の条件を付けない２種類の動画(ここでは、設定の異なるそれぞれ動画を動画Ａ,動画Ｂと呼ぶ)のマルチ動画記録の場合は、システム制御部５０は処理を３０８に分岐する。

Ｓ３０８にて、システム制御部５０は、動画の記録フレームレートに応じて撮像素子１３から出力される映像データを基に動画Ａ、動画Ｂそれぞれの記録用画像を生成させる。そして、システム制御部５０は、画像処理回路２０に含まれる映像圧縮処理を用いて、それら動画Ａ，Ｂの圧縮符号化を行い、生成された符号化データをメモリ２５に格納する。

Ｓ３０９にて、システム制御部５０は、マイク７１で入力された音声データについても音声制御部７３を用いて、音声を圧縮し、その符号化データをメモリ２５に格納させる。動画Ａと動画Ｂのビットレートに多少の差(上述のオリジナル動画とプロキシ動画のビットレート差よりは小さい)があってもなくてもどちらでも構わない。

そして、システム制御部５０はＳ３１０にて動画Ａの記録処理、Ｓ３１１にて動画Ｂの記録処理を行う。そして、Ｓ３１２にて、システム制御部５０は、動画撮影ボタン７０による記録終了指示の入力が検出されるまで、Ｓ３０８以降の処理を繰り返す。そして。記録終了指示の入力があったとき、システム制御部５０は処理をＳ３０７に進め、動画記録を停止する。

ここで、Ｓ３１０の動画Ａの記録処理を、図７のフローチャートを参照して以下に説明する。

Ｓ７０１にて、システム制御部５０は、カードコントローラ９０を介して、外部記録媒体９１から制御情報を取得し、この情報に基づき、外部記録媒体９１がビデオスピードクラス(ＶＳＣ)仕様に対応しているか否かを判定する。システム制御部５０は、外部記録媒体９１がビデオスピードクラス(ＶＳＣ)仕様に対応している場合はＳ７０２に、非対応の場合にはＳ７０４に処理を分岐する。

Ｓ７０２にて、システム制御部５０は、外部記録媒体９１内に、全て空きＲＵからなるＡＵの数が所定数未満か否かを判定する。システム制御部５０は、空きＡＵ数が所定数未満である場合はＳ７０４に、所定数以上の場合にはＳ７０３に処理を分岐する。

Ｓ７０１にて、ビデオスピードクラスに対応していないと判定された場合、または、Ｓ７０２にて、記録されていないＡＵの数が所定数未満であると判定された場合、システム制御部５０は、Ｓ７０４に処理を進める。

Ｓ７０４にて、システム制御部５０は、動画Ａの映像、音声データが所定サイズ作成されたかを判定する。また、Ｓ７０５にて、システム制御部は、動画Ｂの映像・音声データの記録中であるか否かを判定する。そして、動画Ａの映像、音声データが所定サイズ作成され、かつ、動画Ｂの映像・音声データの記録中でない場合、システム制御部５０はＳ７０６にて、動画Ａの映像・音声データを、ＲＵの倍数単位となるサイズ分スピードクラス(ＳＣ)仕様で記録を行う。

また、Ｓ７０３にて、システム制御部５０は、外部記録媒体９１の１つあたりのＡＵのサイズが所定サイズ未満か判定する。なお、この所定サイズは、ユーザが操作部６２を介して設定できるものとする。ＡＵのサイズが所定サイズ以上である場合、システム制御部５０は、処理をＳ７１４に進める。このＳ７１４にて、システム制御部５０は、動画Ａの映像、音声データが所定サイズ作成されたかを判定する。また、Ｓ７１５にて、システム制御部５０は、動画Ｂの映像・音声データの記録中であるか否かを判定する。そして、動画Ａの映像、音声データが所定サイズ作成され、かつ、動画Ｂの映像・音声データの記録中ではない場合、システム制御部５０は、Ｓ７１６にて、外部記録媒体９１に動画Ａの映像・音声データをＲＵの倍数単位となるサイズ分ビデオスピードクラス(ＳＣ)仕様で記録する。

Ｓ７０３にて、ＡＵのサイズが所定サイズ未満であると判定された場合、システム制御部５０は処理をＳ７０７に進める。

このＳ７０７にて、システム制御部５０は、Ｓ３０８、Ｓ３０９で作成された動画Ａの映像、音声データが所定サイズ作成されたかを判定する。所定サイズに満たなければ、動画Ａの記録処理を終了する。所定サイズ以上作成されている場合、システム制御部５０は処理をＳ７０８に進める。

Ｓ７０８にて、システム制御部５０は、後述する動画Ｂの記録処理でＡＵを占有しているか否かを、動画Ｂの動画記録処理で用いる、動画Ｂ用のＡＵ占有フラグが有効か無効かに基づき判定する。動画Ｂ用のＡＵ占有フラグが有効である場合、システム制御部５０は、動画Ａの記録処理を終了する。また、動画Ｂ用のＡＵ占有フラグが無効である場合、システム制御部５は処理をＳ７０９に進める。

Ｓ７０９にて、システム制御部５０は、これから記録するデータが、外部記録媒体９１のＡＵの先頭位置に記録されるか否かを判定する。記録位置がＡＵの先頭の場合、システム制御部５０は処理をＳ７１０に進める。このＳ７１０にて、着目しているＡＵは、動画Ａの映像・音声データだけで記録するようにする。このため、システム制御部５０は、動画Ａ用のＡＵ占有フラグを有効に設定する。そして、Ｓ７１１にて、システム制御部５０は、実際に動画Ａの映像・音声データを外部記録媒体９１にＲＵの倍数単位となるサイズ分ビデオスピードクラス仕様で記録する。

Ｓ７１２にて、システム制御部５０は、着目ＡＵ内の全ＲＵに対する、動画Ａの映像・音声データの記録が行えたか否かを判定する。着目ＡＵの全ＲＵが、動画Ａの映像・音声データで記録された場合、システム制御部５０はＳ７１３にて、動画Ａ用のＡＵ占有フラグを無効にし、本処理を終える。

次に、図３のＳ３１１の動画Ｂの記録処理を図８のフローチャートにしたがって説明する。この動画Ｂの記録処理は、基本的には、動画Ａの記録処理と同等である。

Ｓ８０１にて、システム制御部５０は、カードコントローラ９０を介して、外部記録媒体９１から制御情報を読み込み、外部記録媒体９１がビデオスピードクラス(ＶＳＣ)仕様に対応しているか否かを判定する。システム制御部５０は、外部記録媒体９１がビデオスピードクラス(ＶＳＣ)仕様に対応している場合はＳ８０２に、非対応の場合にはＳ８０４に処理を分岐する。

Ｓ８０２にて、システム制御部５０は、外部記録媒体９１内に、全て空きＲＵからなるＡＵの数が所定数未満か否かを判定する。システム制御部５０は、空きＡＵ数が所定数未満である場合はＳ８０４に、所定数以上の場合にはＳ８０３に処理を分岐する。

Ｓ８０１にて、ビデオスピードクラスに対応していないと判定された場合、または、Ｓ８０２にて、記録されていないＡＵの数が所定数未満であると判定された場合、システム制御部５０は、Ｓ８０４に処理を進める。

Ｓ８０４にて、システム制御部５０は、動画Ｂの映像、音声データが所定サイズ作成されたかを判定する。また、Ｓ８０５にて、システム制御部は、動画Ａの映像・音声データの記録中であるか否かを判定する。そして、動画Ｂの映像、音声データが所定サイズ作成され、かつ、動画Ａの映像・音声データの記録中でない場合、システム制御部５０はＳ８０６にて、動画Ｂの映像・音声データを、ＲＵの倍数単位となるサイズ分スピードクラス(ＳＣ)仕様で記録を行う。

また、Ｓ８０３にて、システム制御部５０は、外部記録媒体９１の１つあたりのＡＵのサイズが所定サイズ未満か判定する。ＡＵのサイズが所定サイズ以上である場合、システム制御部５０は、処理をＳ８１４に進める。このＳ８１４にて、システム制御部５０は、動画Ｂの映像、音声データが所定サイズ作成されたかを判定する。また、Ｓ８１５にて、システム制御部５０は、動画Ａの映像・音声データの記録中であるか否かを判定する。そして、動画Ｂの映像、音声データが所定サイズ作成され、かつ、動画Ａの映像・音声データの記録中ではない場合、システム制御部５０は、Ｓ８１６にて、外部記録媒体９１に動画Ｂの映像・音声データをＲＵの倍数単位となるサイズ分ビデオスピードクラス(ＳＣ)仕様で記録する。

Ｓ８０３にて、ＡＵのサイズが所定サイズ未満であると判定された場合、システム制御部５０は処理をＳ８０７に進める。

このＳ８０７にて、システム制御部５０は、Ｓ３０８、Ｓ３０９で作成された動画Ｂの映像、音声データが所定サイズ作成されたかを判定する。所定サイズに満たなければ、動画Ｂの記録処理を終了する。所定サイズ以上作成されている場合、システム制御部５０は処理をＳ８０８に進める。

Ｓ８０８にて、システム制御部５０は、後述する動画Ａの記録処理でＡＵを占有しているか否かを、動画Ａの動画記録処理で用いる、動画Ａ用のＡＵ占有フラグが有効か無効かに基づき判定する。動画Ａ用のＡＵ占有フラグが有効である場合、システム制御部５０は、動画Ｂの記録処理を終了する。また、動画Ａ用のＡＵ占有フラグが無効である場合、システム制御部５は処理をＳ８０９に進める。

Ｓ８０９にて、システム制御部５０は、これから記録するデータが、外部記録媒体９１のＡＵの先頭位置に記録されるか否かを判定する。記録位置がＡＵの先頭の場合、システム制御部５０は処理をＳ８１０に進める。このＳ８１０にて、着目しているＡＵは、動画Ｂの映像・音声データだけで記録するようにする。このため、システム制御部５０は、動画Ｂ用のＡＵ占有フラグを有効に設定する。そして、Ｓ８１１にて、システム制御部５０は、実際に動画Ｂの映像・音声データを外部記録媒体９１にＲＵの倍数単位となるサイズ分ビデオスピードクラス仕様で記録する。

Ｓ８１２にて、システム制御部５０は、着目ＡＵ内の全ＲＵに対し、動画Ｂの映像・音声データで記録されたかを判定する。着目ＡＵの全ＲＵが、動画Ｂの映像・音声データで記録できた場合、システム制御部５０はＳ８１３にて、動画Ｂ用のＡＵ占有フラグを無効にし、本処理を終える。

上記で説明したようにビデオスピードクラス仕様に対応した外部記録媒体９１を使用し、ＡＵサイズが所定サイズ未満の場合に２種類の動画を記録する場合は、各ＡＵはどちらか１種類の動画の映像・音声データのみが記録されるようになる。

図１２は、ＡＵのサイズが小さい場合に、実施形態でビデオスピードクラス仕様に対応した外部記録媒体に動画を記録したパターンを表している。上記で説明したようにビデオスピードクラス仕様に対応した外部記録媒体９１を使用した場合は、１つのＡＵには動画Ａまたは動画Ｂのいずれか一方だけが記録され、１つのＡＵに２種類の動画のデータが混在して記録されないように制御できる。

［第２の実施形態］
第２の実施形態における撮像装置１００の構成は、第１の実施形態で示した図２と同じものとし、その説明は省略する。図９は、第２の実施形態の撮像装置１００の動画撮影中の静止画撮影処理を示すフローチャートである。以下、同図を参照して、処理内容を説明する。この処理は、動画撮影ボタン７０で動画記録開始の指示入力があると開始される。

Ｓ９０１にて、システム制御部５０は、動画の記録フレームレートに応じて撮像素子１３から出力される映像データを基に、記録用画像データを生成し、画像処理回路２０に含まれる映像圧縮処理を用いて符号化データを生成させ、メモリ２５に格納する。

Ｓ９０２にて、システム制御部５０は、マイク７１で入力された音声データについても音声制御部７３を用いて符号化データを生成させ、メモリ２５に格納する。

Ｓ９０３にて、システム制御部５０は、圧縮符号化された動画映像・音声データの記録処理を行う。

そして、Ｓ９０４にて、システム制御部５０は、シャッタースイッチ６１からの信号ＳＷ１，ＳＷ２から、ユーザが静止画撮影の指示を行ったか否かを判定する。静止画撮影が指示されていると判定した場合、システム制御部５０は処理をＳ９０５に進める。

Ｓ９０５にて、システム制御部５０は静止画用データを作成する。静止画用データは、動画用に撮像素子１３から出力された映像データや動画用とは別に撮像素子１３を動作させて得る。システム制御部５０は、得られた静止画用データを、画像処理回路２０を用いてＪＰＥＧ方式で圧縮符号化し、その符号化データをメモリ２５に格納する。

Ｓ９０６にて、システム制御部５０は、得られた静止画の符号化データの外部記録媒体９１への記録処理を行う。

Ｓ９０７にて、システム制御部５０は、動画撮影ボタン７０からの再押下による動画記録停止指示があったか否かを判定する。否の場合、システム制御部５０は処理をＳ９０１に戻す。一方、動画記録停止が指示されたと判定した場合、システム制御部５０は処理をＳ９０７からＳ９０８に進める。このＳ９０８にて、システム制御部５０は動画記録の停止処理（動画ファイルのクローズ処理）を行う。

次に、Ｓ９０３の動画記録処理の詳細を、図１０のフローチャートを参照して以下に説明する。

Ｓ１００１にて、システム制御部５０は、カードコントローラ９０を介して、外部記録媒体９１がビデオスピードクラス(ＶＳＣ)仕様に対応しているか否かを判定する。外部記録媒体９１がビデオスピードクラスに対応している場合、システム制御部５０はＳ１００２〜Ｓ１００８の処理を行い、非対応の場合はＳ１００９〜Ｓ１０１１の処理を行う。

Ｓ１００９に処理が進んだ場合、システム制御部５０は、動画の映像、音声データが所定サイズ作成されたかを判定する。また、Ｓ１０１０にて、システム制御部５０は、外部記録媒体９１へ静止画用データの記録中であるか否かを判定する。動画の映像、音声データが所定サイズ作成され、かつ、外部記録媒体９１へ静止画用データの記録中ではない場合、システム制御部５０は、Ｓ１０１１にて、外部記録媒体９１に対し、動画の映像・音声データをＲＵの倍数単位となるサイズ分スピードクラス(ＳＣ)仕様で記録する。

Ｓ１００２にて、システム制御部５０は、Ｓ９０１、Ｓ９０２で作成された動画の映像、音声データが所定サイズ作成されたか否かを判定する。所定サイズに満たなければ、本処理を終了する。また、所定サイズ以上作成されている場合、システム制御部５０は処理をＳ１００３に進める。

Ｓ１００３にて、システム制御部５０は、後述する静止画用データの記録処理でＡＵを占有しているか否かを、静止画用のＡＵ占有フラグの値から判定する。静止画用のＡＵ占有フラグが有効となっている場合は、本処理を終了する。一方、静止画用のＡＵ占有フラグが無効である場合、システム制御部５０は処理をＳ１００４に進める。

Ｓ１００４にて、システム制御部５０は、記録しようとしているデータが外部記録媒体９１のＡＵの先頭位置に記録されるかを判定する。ＡＵの先頭位置の場合は、この着目ＡＵは、動画の映像・音声データだけで記録する。そのため、Ｓ１００５にて、システム制御部５０は、動画像のＡＵ占有フラグを有効に設定する。

Ｓ１００６にて、実際に動画の映像・音声データを外部記録媒体９１にＲＵの倍数単位となるサイズ分ビデオスピードクラス仕様で記録する。

Ｓ１００７にて、システム制御部５０は、着目ＡＵの全ＲＵが、動画の映像・音声データのみで記録されたかを判定する。全ＲＵが動画の映像・音声データで記録できた場合、システム制御部５０は処理をＳ１００８に進め、動画用のＡＵ占有フラグを無効に設定し、本処理を終える。

次に、図９のＳ９０６の静止画記録処理を、図１１のフローチャートを参照して説明する。

Ｓ１１０１にて、システム制御部５０は、カードコントローラ９０を介して、外部記録媒体９１から制御情報を読み込み、その情報に基づき、外部記録媒体９１がビデオスピードクラス(ＶＳＣ)仕様に対応しているか否かを判定する。そして、システム制御部５０は、外部記録媒体９１がビデオスピードクラス(ＶＳＣ)仕様に対応していると判定した場合はＳ１１０２へ、非対応の場合はＳ１００８へ処理を分岐する。

Ｓ１００８にて、システム制御部５０は、記録媒体９１が動画データの記録中であるか否かを判定し、記録中の場合には処理を終える。また、動画データの非記録中の場合、Ｓ１００９にて、システム制御部５０は、外部記録媒体９１に、静止画用データをＲＵの倍数単位となるサイズ分スピードクラス(ＳＣ)仕様で記録する。

静止画データで書き込むサイズとしては、動画の映像・音声データを保持しているメモリ領域が大きければ、１ファイル分の静止画用データを記録しても構わない。その場合、１ファイル分のサイズを超えるＲＵの倍数単位となるサイズ分で記録し、後でファイルサイズを縮小する。メモリ領域に余裕がなければ、所定単位のＲＵの倍数単位となるサイズで分割して記録する。

Ｓ１１０２にて、システム制御部５０は、動画記録処理でＡＵを占有しているか否かを、動画用のＡＵ占有フラグの値に基づき、判定する。動画用のＡＵ占有フラグの値が有効を示している場合、ＡＵを占有していることになる。したがって、この場合、システム制御部５０は、本処理を終了する。

また、動画用のＡＵ占有フラグが無効である場合、システム制御部５０は処理をＳ１１０３に進める。このＳ１１０３にて、システム制御部５０は、これから記録する静止画データが外部記録媒体９１のＡＵの先頭位置に記録されるか否かを判定する。ＡＵの先頭位置の場合は、着目ＡＵが静止画用データだけで記録するようする。このため、システム制御部５０は、Ｓ１１０４にて、静止画用のＡＵ占有フラグを有効に設定する。

Ｓ１１０５にて、システム制御部５０は、実際に静止画用データを外部記録媒体９１にＲＵの倍数単位となるサイズ分、ビデオスピードクラス仕様で記録する。

Ｓ１１１６にて、システム制御部５０は、静止画用データで１つのＡＵがすべて記録されたかを判定する。すべて静止画データで記録できたと判定した場合、システム制御部５０は、Ｓ１１０７にて、静止画用のＡＵ占有フラグを無効に設定し、本処理を終了する。

上記の結果、動画像の記録中に、静止画の記録を行うことができ、かつ、外部記憶媒体がビデオスピードクラス(ＶＳＣ)仕様に対応している場合には、ＡＵには、静止画、或いは、動画の一方の種類のみが格納され易くできる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、１３…撮像素子、２５…メモリ、５０…システム制御部、６１…シャッタースイッチ、７０…動画撮影ボタン、９０…カードコントローラ、９１…外部記録媒体

Claims (10)

1. 撮像手段を有し、記録媒体に撮像した画像データを記録する撮像装置であって、
   前記記録媒体から、当該記録媒体の書き込みに関する規格を示す情報を取得する取得手段と、
   前記撮像手段より得た画像から、少なくとも２種類の画像を別ファイルとして記録する場合、前記取得手段より取得した情報と、記録する異なる前記２種類の画像の種類に従って、前記記録媒体への記録処理を行う制御手段と
   を有することを特徴とする撮像装置。
2. 前記制御手段は、
   前記取得手段で取得した情報から前記記録媒体がビデオスピードクラスに対応し、ビデオスピードクラスで複数の画像ファイルを同時に前記記録媒体に記録する場合に、異なる画像ファイルのデータが混在するＡＵ（Allocation Unit）が少なくなるように、前記複数の画像ファイルを記録するように制御することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、
   前記取得手段で取得した情報から前記記録媒体がビデオスピードクラス仕様に対応し、前記２種類の画像の１つが前記撮像手段の解像度のオリジナル動画であり、もう１つが前記オリジナル動画の編集の簡便さのための素材として利用される、前記オリジナル動画よりも低い解像度のプロキシ動画であって、前記オリジナル動画を記録しようとする位置が、前記記録媒体が持つ空きＡＵ（Allocation Unit）の先頭の位置であるときは、当該ＡＵにおいては前記オリジナル動画のみを記録し、当該ＡＵへの記録完了を待って前記プロキシ動画の記録を行う
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記制御手段は、
   前記取得手段で取得した情報から前記記録媒体がビデオスピードクラス仕様に対応し、前記２種類の画像の一方が前記オリジナル動画、もう一方が前記プロキシ動画であって、前記オリジナル動画を記録しようとする位置が、前記記録媒体が持つ空きＡＵ（Allocation Unit）の先頭の位置にない場合には、当該ＡＵにおいて前記オリジナル動画と前記プロキシ動画の混在を許容する記録を行う
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段は、
   前記取得手段で取得した情報から前記記録媒体がビデオスピードクラス仕様に非対応であって、前記２種類の画像の１つが前記オリジナル動画であり、もう１つが前記プロキシ動画である場合は、前記オリジナル動画、前記プロキシ動画を、前記ＡＵを構成するＲＵ（Recording Unit)を単位に混在を許容して記録する
   ことを特徴とする請求項３又は４に記載の撮像装置。
6. 前記制御手段は、
   前記取得手段で取得した情報から前記記録媒体がビデオスピードクラス仕様に対応し、前記２種類の画像が、前記オリジナル動画、前記プロキシ動画の関係と異なる関係の２つの動画である場合、１つのＡＵを一方の種類のみの動画像で記録し、当該記録が完了するまでは他方の動画の記録を待機させる記録処理を行う
   ことを特徴とする請求項３乃至５のいずれか１項に記載の撮像装置。
7. 前記制御手段は、
   前記取得手段で取得した情報から前記記録媒体がビデオスピードクラス仕様に対応し、前記２種類の画像の１つが動画であり、もう１つが静止画の場合であって、前記動画を記録しようとする位置が、前記記録媒体が持つ空きＡＵ（Allocation Unit）の先頭の位置であるときは、当該ＡＵにおいては前記動画のみを記録し、当該ＡＵへの記録完了を待って前記静止画の記録を行う
   ことを特徴とする請求項１に記載の撮像装置。
8. 前記制御手段は、
   前記取得手段で取得した情報から前記記録媒体がビデオスピードクラス仕様に対応し、前記２種類の画像の１つが動画であり、もう１つが静止画の場合であって、前記動画を記録しようとする位置が、前記記録媒体が持つ空きＡＵ（Allocation Unit）の先頭の位置であるときは、当該ＡＵにおいては前記動画のみを記録し、当該ＡＵへの記録完了を待って前記静止画の記録を行う
   ことを特徴とする請求項１に記載の撮像装置。
9. 撮像手段を有し、記録媒体に撮像した画像データを記録する撮像装置の制御方法であって、
   前記記録媒体から、当該記録媒体の書き込みに関する規格を示す情報を取得する取得工程と、
   前記撮像手段より得た画像から、少なくとも２種類の画像を別ファイルとして記録する場合、前記取得工程より取得した情報と、記録する異なる前記２種類の画像の種類に従って、前記記録媒体への記録処理を行う制御工程と
   を有することを特徴とする撮像装置の制御方法。
10. コンピュータが読み込み実行することで、前記コンピュータに、請求項９に記載の方法の各工程を実行させるためのプログラム。

Images