JP2005109648A - 撮像装置及び動画生成方法 - Google Patents

Abstract

【課題】 任意のタイミングで１コマずつ撮影した複数の静止画から、アニメーションとして表示可能な動画ファイルを生成する撮像装置及び動画生成方法を提供する。
【解決手段】 撮像装置１０は、静止画を撮影する撮像手段１１と、撮像手段１１を介して任意のタイミングで１コマずつ撮影された複数の静止画データを動画生成用データとして格納する記憶手段３０と、記憶手段３０に格納された複数の静止画データを合成して一の動画データに変換する動画変換手段１６とを備える。動画変換手段１６は、動画データから静止画データへの逆変換が可能な画像圧縮技術（例えばモーションＪＰＥＧ）を用いて動画データを生成する。
【選択図】図１

Description

本発明は画像を電子的に撮影して記録する撮像装置であって、特に、静止画像を１コマずつ複数枚撮影し、それらの静止画像を合成して動画像を生成する撮像装置及び動画生成方法に関する。

従来、デジタルスチルカメラ等の撮像装置には、静止画像のみならず、動画像も撮影できるものがある。一例として特許文献１に記載のものがある。

特許文献１には、複数の静止画を１つの動画ファイルに変換するデジタルスチルカメラの記載がある。当該デジタルスチルカメラは、ある一定期間中に連続して動画を撮影するものであり、ある期間において、一定時間間隔毎に連続して静止画を取り込み、時系列で記憶し、これらを一つの動画に変換するものである。

特開平１１−２３１３８５号公報

特許文献１では、時間的に一定間隔毎に撮影された複数の画像を動画に変換するものであり、任意のタイミングで撮影した複数の静止画を動画に編集するものではない。このため、被写体の状態を少しずつ変化させながら任意のタイミングで撮影した複数の静止画から動画を作成し、アニメーションとして表示させることはできなかった。

本発明は、上記問題を解決すべくなされたものであり、その目的とするところは、所望のタイミングで１コマずつ撮影した複数の静止画から、アニメーションとして表示可能な動画ファイルを生成する撮像装置を提供することにある。

本発明に係る第１の撮像装置は、静止画を撮影する撮像手段と、撮像手段を介して任意のタイミングで１コマずつ撮影された複数の静止画データを動画生成用データとして格納する記憶手段と、記憶手段に格納された複数の静止画データを合成して一の動画データに変換する動画変換手段とを備える。動画変換手段は、動画データから静止画データへの逆変換が可能な画像圧縮技術を用いて動画データを生成する。

本発明に係る第２の撮像装置は、静止画を撮影する撮像手段と、撮像手段を介して任意のタイミングで１コマずつ撮影された複数の静止画データを動画生成用データとして特定のデータ領域に格納する記憶手段と、特定のデータ領域に格納された複数の静止画データのみを合成して一の動画データに変換する動画変換手段とを備える。

本発明に係る第１の動画生成方法は、任意のタイミングで１コマずつ撮影された複数の静止画データを動画生成用データとして記憶手段に格納し、格納された複数の静止画データを動画データから静止画データへの逆変換が可能な画像圧縮技術を用いて合成し、一の動画データに変換する。

本発明に係る第２の動画生成方法は、任意のタイミングで１コマずつ撮影された複数の静止画データを動画生成用データとして記憶手段の特定の領域に格納し、特定のデータ領域に格納された複数の静止画データのみを合成し、一の動画データに変換する。

本発明の撮像装置及び動画生成方法によれば、所望のタイミングで１コマずつ撮影した複数の静止画から、アニメーションとして表示できる動画ファイルを生成でき、自由度の高い静止画データから動画データへの変換が実現できる。

以下、添付の図面を参照し、本発明に係る撮像装置及び動画生成方法の実施形態を説明する。

１．撮像装置の構成
図１に、本発明に係る撮像装置の構成を示す。撮像装置１０は、撮像部１１と、操作入力部１２と、表示部１３と、バッファメモリ１４と、メモリインタフェース１５とを備える。なお、撮像装置１０には、デジタルビデオカメラ、デジタルスチルカメラ、カメラ付携帯電話機、カメラ付携帯型パーソナルコンピュータ等が含まれる。

撮像部１１は、レンズ、ＣＣＤ等を含み、光学的に入力した情報を電気信号に変換し、制御部１６に送信する。操作入力部１２は、ユーザがそれを介して撮像装置１０に対する設定や、操作を行うためのものであり、電源スイッチ、シャッタ、各種操作ボタンを含む。操作入力部１２は、ユーザによる操作情報を制御部１６に送信する。操作入力部１２は、リモコンからの制御信号に基づいて、撮像装置１０に対する設定や、操作を行うようにしてもよい。

表示部１３は液晶ディスプレイ等の表示デバイスを含み、ユーザの操作を補助する種々の情報や、撮影した画像（動画、静止画）等を表示する。ユーザは、表示部１３上に表示された内容を参照しながら、操作入力部１２を操作して撮像装置に対して所望の機能を実行させる。

バッファメモリ１４は、画像の記録、再生動作時に一時的に画像データを格納するためのメモリである。メモリインタフェース１５は、脱着可能な外部記録媒体であるメモリカード３０に対し、データの読み出し、書き込みを可能とするためのインタフェースである。

制御部１６は、上記の各部を制御して本撮像装置１０全体の動作を制御する。制御部１６は例えばマイクロコンピュータで構成でき、所定のプログラムを実行することにより、以下に説明する機能、処理を実現する。

２．撮像装置の動作
以下、撮像装置１０の動作を説明する。

（２．１ コマ撮りアニメモードでの記録）
本実施形態の撮像装置１０は、動作モードの１つとして「コマ撮りアニメモード」を有している。コマ撮りアニメモードは、任意のタイミングで静止画像を１コマずつ撮影して記録し、撮影した複数の静止画像（例えば、*.jpg）から一つの動画ファイル（例えば、*.mov）を作成するための動作モードである。例えば、図２Ａに示すように、被写体の状態を少しずつ変化させながら任意のタイミングで静止画Ａ〜Ｄを１コマずつ順に撮影していき、これらを時系列で連結して１つの動画ファイルを生成する。このようにして生成された動画ファイルを再生すると静止画像Ａ〜Ｄがアニメーションとして表示される。

図２Ｂは、コマ撮りアニメモードを選択するための画面の表示例を示している。ユーザが表示部１３上に表示された「コマ撮りアニメ」機能１３ａを操作入力部の操作ボタン１２ａを操作して選択すると、その選択情報が操作入力部１２から制御部１６に送信される。制御部１６はその情報を受信すると、コマ撮りアニメモードの制御を開始する。以下、コマ撮りアニメモードの処理について図３のフローチャートを用いて詳細に説明する。

コマ撮りアニメモードに入ると、ユーザは被写体の状態を変化させながら１コマずつ画像を撮影する。制御部１６はユーザ操作に連動して、撮影された静止画像を取り込み（Ｓ１１）、外部記録媒体であるメモリカード３０の所定領域にＪＰＥＧ形式で格納する（Ｓ１２）。

ここで、メモリカード３０のディレクトリ構造について説明する。図４にメモリカード３０におけるディレクトリ構造を示す。ルートディレクトリ（ＲＯＯＴ）下にＤＣＩＭ、ＭＩＳＣのフォルダが設けられている。これらのフォルダは、カメラフィルシステム規格（ＤＣＦ規格）に準拠して設けられたものである。

本実施形態では、これらのフォルダに加えて、動画生成用の静止画を格納する専用の作業用フォルダとして「ＰＲＩＶＡＴＥ」フォルダをさらに設けている。コマ撮りアニメモードにおいて撮影された動画生成用の静止画は全てこのＰＲＩＶＡＴＥフォルダに格納されるようになっている。また、コマ撮りアニメモードにおいては、静止画は一定の画像サイズ（例えば３２０×２４０画素）に固定されるようになっている。本実施形態の撮像装置では、静止画から動画への変換処理は、ＰＲＩＶＡＴＥフォルダ内に格納されている静止画のみを対象として行う。すなわち、ＰＲＩＶＡＴＥフォルダ内に格納されている全ての静止画を用い、動画再生時に静止画データのデータ作成日時順に表示されるよう、動画データが生成される。このように、動画生成用の静止画を格納する専用のフォルダを設けることにより、動画生成用の静止画の管理が容易となり、動画への変換処理を単純化できる。また、ユーザにおいても、動画を生成する際に、当該フォルダに必要な静止画を格納するだけでよく、作業負担が軽減される。

図３に戻り、ユーザによる静止画データの撮影が終了するまで（Ｓ１３）、静止画像を取り込み、順次、メモリカード３０のＰＲＩＶＡＴＥフォルダに格納する。撮影の終了は、例えば所定の操作がなされたときに決定されてもよい。

ユーザによる静止画の撮影が終了すると、記録した複数の静止画から動画を作成する動画データ変換処理を行う（Ｓ１４）。本処理の詳細は後述する。動画データ変換処理で作成された動画データはメモリカード３０の通常の静止画データと同じフォルダ（例えば、「１００＿ＰＡＮＡ」）に格納される（Ｓ１５）。ユーザは「１００＿ＰＡＮＡ」に格納された動画データを任意のフォルダに移動、コピーすることができる。

図５のフローチャートを用いて上記の動画データ変換処理（ステップＳ１４）を説明する。

ユーザはコマ撮り撮影の終了後、操作入力部１２により記録レートを設定する。制御部１６は、操作入力部１２を介してユーザにより指定された記録レートの設定値を取込む（Ｓ２１）。図２Ｃに、記録レート設定のための表示部１３上の表示例を示す。ここで、記録レートとは、動画データにおいて１秒間に再生される画像数を示す値である。本実施形態では、選択可能な記録レートとして５ｆｐｓ（１秒間に５コマ表示）と１０ｆｐｓ（１秒間に１０コマ表示）の２種類を用意している。

次に、メモリカード３０のＰＲＩＶＡＴＥフォルダ内に格納されている全ての静止画データを読み出し（Ｓ２２）、バッファメモリ１４上に展開する。

動画データは、動画データから静止画データへの変換が可能となる画像圧縮技術（例えば、モーションＪＰＥＧ）を用いた動画形式で生成する。これにより、静止画データを合成して生成した動画から、元の静止画を復元することが可能になる。本実施形態では、動画データは、インターネット上の動画ファイル形式として一般的に知られているQuick Time形式で作成する。図６ＡにQuick Time形式のデータ構造を示す。また、Quick Time形式で扱う動画形式として、動画から静止画への可逆的な変換が可能な画像圧縮技術であるモーションＪＰＥＧを選択する。このため、一定の単位（チャンク単位）毎にデータを生成する（Ｓ２３）。ここで、１チャンクは一定時間（本例では０．５秒）分の表示データを含む単位である。

チャンク単位でデータを作成する際、ステップＳ２１にて設定された記録レートによりデータ生成の方法が異なる。以下、これを説明する。

本実施形態では、５ｆｐｓと１０ｆｐｓの２種類の記録レートが設定可能である。ただし、実際の記録レートは１種類（１０ｆｐｓ）のみである。５ｆｐｓの記録レートで記録される場合と、１０ｆｐｓの記録レートで記録される場合では、一定時間当たりに必要な静止画の枚数が異なる。すなわち、１０ｆｐｓの場合は、５ｆｐｓの場合の２倍の画像枚数を要する。このため、記録レートとして「５ｆｐｓ」が設定された場合、図６Ｂに示すように、１つの画像が２枚ずつになるよう各静止画がコピーされ、不足枚数分が補充される。これにより、「５ｆｐｓ」の記録レートが設定された場合であっても、「１０ｆｐｓ」の記録レートで画像が記録されることになる。ユーザはアニメーションを作成する際、ゆっくりとした動きでアニメーションを再生したい場合があり、そのようなとき、ユーザは記録レートとして「５ｆｐｓ」を選択すると考えられる。その場合でも、本実施形態の撮像装置によれば１０ｆｐｓの記録レートで動画が生成されるため、画像装置が１０ｆｐｓの記録レートにしか対応していなくても、記録レートとして「５ｆｐｓ」が設定されて生成された動画を再生することが可能となる。

なお、本実施形態では、５ｆｐｓと１０ｆｐｓの２つの記録レートを設けたが、記録レートはこれらに限られない。要は、設定された記録レートと、実際の記録レートとが異なる場合は、不足する枚数分を補充するように元の静止画データを適正数コピーするようにすればよい。

また、実際の記録レートの値は後述するように動画データの付帯情報として管理されるが、ユーザによる記録レートの設定値は、ＤＣＦ規格にしたがい動画データの内容を示す情報として動画データと関連して生成される、静止画データの情報として管理されてもよい。

次に、動画データの付帯情報を生成する（Ｓ２４）。付帯情報にはデータオフセットテーブル、記録レート、チャンク単位毎のデータサイズ等の情報が含まれる。そして、メモリカード３０上のQuick Time形式の動画ファイルに対し、チャンク単位で順に画像データを書き出し、最後に付帯情報を書き出す（Ｓ２５）。

一般に静止画データは、本来の画像データに加えて、その前後に付随するヘッダ情報とフッタ情報のような制御情報をも含んでいる。ヘッダ情報には再生に必要な種々の情報が含まれる。例えば、ヘッダ情報には先頭からサムネイル画像までのバイト長や、先頭から、画像データまでのバイト長、撮影状況等が含まれる。フッタ情報にはその画像データの終了を示す情報が含まれる。本実施形態では、図７に示すように、各静止画データのヘッダ情報、フッタ情報を取り除かずに、そのまま連結して動画ファイルを作成している。これにより、動画データから静止画データへの復元を容易に実現することができる。なお、動画ファイル作成時において、ヘッダ情報、フッタ情報を取り除き、本来の画像データ部分のみを連結して動画ファイルを作成してもよい。

また、本実施形態の動画ファイルの作成において、静止画間の補間画像を生成してもよいが、画像処理を簡単化できることから、静止画間の補間画像を生成しないのが好ましい。

以上のように、本実施形態の撮像装置は、任意のタイミングで１コマずつ撮影された静止画から、一つの動画ファイルを作成することができる。

（２．２ 動画データの再生処理）
上記のようにして生成された動画データの再生処理を図８を用いて説明する。
ユーザにより再生すべき動画データが操作入力部１２を介して指定される。制御部１６は、再生すべき動画データの指定情報を操作入力部１２から取得し（Ｓ３１）、動画データの付帯情報を読み出す（Ｓ３２）。その付帯情報に基づいて、メモリカード３０上の動画ファイルに含まれる、一定時間分（例えば１秒分）の静止画データをチャンク単位で、バッファメモリ１４上に読み出す（Ｓ３３）。

付帯情報に含まれる記録レートに基づいて一定時間（例えば０．１秒）毎にバッファメモリ１４上の静止画データ（ＪＰＥＧ形式）をデコードしながら表示部１３上で再生する（Ｓ３４）。このとき、バッファメモリ１４上のデータ量を監視しており（Ｓ３５）、データ量が一定量に満たないときは、メモリカード３０上の動画ファイルに含まれる、次の未ロードの静止画データを読み出し、バッファメモリ１４にロードする（Ｓ３３）。メモリカード３０上の動画ファイルに含まれる、全ての静止画がバッファメモリ１４上にロードされるまで、上記処理を繰り返す（Ｓ３３〜Ｓ３６）。そして、バッファメモリ１４が空になるまで、バッファメモリ１４上のデータを再生し（Ｓ３７）、処理を終了する。

（２．３ 動画データの再生成処理）
本実施形態の撮像装置は、一旦作成した動画データに関し、さらに静止画（シーン）を追加、削除して動画データを再生成する機能を有する。図９に動画データの再生成処理のフローチャートを示す。

制御部１６は、ユーザにより入力された再生成を行う動画データの指定情報を取得する（Ｓ４１）。指定された動画データについて、動画から静止画への逆変換処理を行う（Ｓ４２）。この逆変換処理の詳細は後述する。逆変換処理により、メモリカード３０のＰＲＩＶＡＴＥフォルダ内に動画データを構成していた複数の静止画が展開される。

ユーザは操作入力部１２により、動画に対して、追加、削除されるべき静止画を指定する。制御部１６はこの指定情報を入力し（Ｓ４３）、ＰＲＩＶＡＴＥフォルダ内において、ユーザにより指定された静止画を追加、削除する（Ｓ４４）。前述のように、本実施形態の撮像装置は、ＰＲＩＶＡＴＥフォルダ内に格納された全ての静止画から、１つの動画データを生成するため、動画データに静止画を追加したいときは、ＰＲＩＶＡＴＥフォルダ内に追加したい静止画データを追加すればよく、また、動画データから静止画を削除したいときは、ＰＲＩＶＡＴＥフォルダ内のその静止画データを削除すればよい。なお、静止画を追加する場合は、それを追加（挿入）する位置の情報も合わせて取得する必要がある。

最後に、ＰＲＩＶＡＴＥフォルダ内の静止画データに対し、動画データ変換処理を行い（Ｓ４５）、処理を終了する。動画データ変換処理の内容は図５のフローチャートで示したとおりである。

なお、動画データ変換処理の最初のステップで、ユーザにより設定された記録レートを入力するが、再生成前の記録レートが１０ｆｐｓで、新たに設定された記録レートが５ｆｐｓの場合、静止画の数が不足するため、同じ画像を必要枚数適宜コピーする。図６Ｂに示すように、それぞれ１枚ずつコピーして静止画像数を増やす。このような処理により記録モードの設定変更にも対応できる。

次に、上記ステップＳ４２における、動画から静止画への逆変換処理について図１０のフローチャートを用いて詳細に説明する。

本処理において、制御部１６はまず再生成される動画データの付帯情報を読み出し（Ｓ５１）、バッファメモリ１４上に動画データを読み出す（Ｓ５２）。付帯情報を用いて、動画データ中の静止画データを切り出し、静止画データを１つずつ生成する（Ｓ５３）。付帯情報中には、動画データ中に含まれる各静止画データ先頭位置のオフセット情報が含まれているので、この情報を用いて動画データ中の各静止画データの位置を特定することができる。生成した各静止画データをＰＲＩＶＡＴＥフォルダに格納し（Ｓ５４）、処理を終了する。

（２．４ ユーザにより選択された静止画からの動画生成）
本実施形態の撮像装置は、ユーザが任意に指定した複数の静止画から動画を生成する機能を有する。図１１のフローチャートを用いてこの処理を説明する。

制御部１６は、操作入力部１２より、ユーザにより指定された動画に変換すべき複数の静止画を特定するための情報を入力する（Ｓ６１）。指定された静止画データをコピーしてメモリカード３０のＰＲＩＶＡＴＥフォルダに格納する（Ｓ６２）。このとき、静止画データは種々のサイズを有するため、静止画データをコピーし、動画ファイルの固定サイズ（例えば３２０×２４０画素）にリサイズした後に、ＰＲＩＶＡＴＥフォルダに格納する。このようにリサイズすることにより、任意の静止画データを動画生成用の画像データに変換する。

最後に、ＰＲＩＶＡＴＥフォルダ内に格納されている静止画データに対し、動画データ変換処理を行い（Ｓ６３）、処理を終了する。動画データ変換処理の内容は図５のフローチャートで示したとおりである。

本発明の撮像装置及び動画生成方法は任意のタイミングで１コマずつ撮影された静止画から一つの動画ファイルを作成することができ、アニメーション作成機能を実装するデジタルスチルカメラやデジタルビデオカメラ等に有用である。

本発明の撮像装置の構成を示す図である。 コマ撮りアニメモードにおける処理を説明するための図である。 コマ撮りアニメモード選択のための表示部の表示例を示した図である。 記録レート設定のための表示部の表示例を示す。 コマ撮りアニメモードにおける処理を示すフローチャートである。 メモリカードにおけるディレクトリ構造を示した図である。 静止画データから動画データへの変換処理（動画データ変換処理）を示すフローチャートである。 Quick Time形式のデータ構造を示した図である。 動画データ変換処理において、記録レートに基づいて同じ静止画を複数枚コピーする処理を説明するための図である。 ヘッダ等を取り除かずに動画データを生成する様子を説明した図である。 動画データの再生処理を示すフローチャートである。 一度作成した動画データから動画データを再生成する処理を示すフローチャートである。 動画データから静止画データへの逆変換処理を示すフローチャートである。 ユーザが指定した静止画データから動画データを生成する処理を示すフローチャートである。

符号の説明

１０ 撮像装置
１１ 撮像部
１２ 操作入力部
１３ 表示部
１４ バッファメモリ
１５ メモリインタフェース
１６ 制御部
３０ メモリカード

Claims (12)

1. 静止画を撮影する撮像手段と、
   該撮像手段を介して任意のタイミングで１コマずつ撮影された複数の静止画データを動画生成用データとして格納する記憶手段と、
   該記憶手段に格納された複数の静止画データを合成して一の動画データに変換する動画変換手段とを備え、
   該動画変換手段は、動画データから静止画データへの逆変換が可能な画像圧縮技術を用いて動画データを生成する、ことを特徴とする撮像装置。
2. 一旦生成された動画データを複数の静止画データに逆変換する手段をさらに備えたことを特徴とする請求項１記載の撮像装置。
3. 一旦生成された動画データを複数の静止画データに逆変換する手段と、
   追加、削除する静止画データを指定する指定手段と、
   逆変換された複数の静止画データに対し、指定された静止画データを追加、削除する手段とをさらに備え、
   前記動画変換手段は、指定された静止画データが追加、削除された複数の静止画データから動画データを再生成する、ことを特徴とする請求項１記載の撮像装置。
4. 一旦生成された動画データを複数の静止画データに逆変換する手段と、
   単位時間に表示される静止画数を示す記録レートを設定する手段とをさらに備え、
   前記動画変換手段は、設定された記録レートに基づいて、前記逆変換された静止画データから動画データを再生成する、ことを特徴とする請求項１記載の撮像装置。
5. 前記静止画データは本来の画像データと、該画像データに付随する付随情報とを含み、
   前記動画変換手段は、動画データへの変換時において、静止画データに関する付随情報を含めて動画データを生成する、ことを特徴とする請求項１記載の撮像装置。
6. ユーザが所望の複数の静止画データを指定する指定手段をさらに備え、
   前記動画変換手段は、前記指定手段により指定された複数の静止画データから動画データを生成する、ことを特徴とする請求項１記載の撮像装置。
7. 前記動画変換手段は、動画データへの変換時において、静止画データ間に補間画像を生成しない、ことを特徴とする請求項１記載の撮像装置。
8. 静止画を撮影する撮像手段と、
   該撮像手段を介して任意のタイミングで１コマずつ撮影された複数の静止画データを動画生成用データとして特定のデータ領域に格納する記憶手段と、
   前記特定のデータ領域に格納された複数の静止画データのみを合成して一の動画データに変換する動画変換手段とを備える、ことを特徴とする撮像装置。
9. 任意の画像データを、動画生成用データに関する所定サイズにリサイズし、動画生成用データとして格納する手段をさらに備えたことを特徴とする請求項１または８記載の撮像装置。
10. 前記動画変換手段は、単位時間に表示される静止画数を示す記録レートに基づいて同じ静止画データを複数複写して動画データを生成する、ことを特徴とする請求項１または８記載の撮像装置。
11. 任意のタイミングで１コマずつ撮影された複数の静止画データを動画生成用データとして記憶手段に格納し、
    格納された複数の静止画データを動画データから静止画データへの逆変換が可能な画像圧縮技術を用いて合成し、一の動画データに変換する、ことを特徴とする動画生成方法。
12. 任意のタイミングで１コマずつ撮影された複数の静止画データを動画生成用データとして記憶手段の特定の領域に格納し、
    前記特定のデータ領域に格納された複数の静止画データのみを合成し、一の動画データに変換する、ことを特徴とする動画生成方法。
    

Images