JP2007166553A - 動画像処理装置及び動画像処理方法 - Google Patents

Abstract

【課題】ランダムアクセスされた場合の応答性を向上できるようにする。
【解決手段】映像データ及び音声データを多重化して記録するデータ領域と、前記映像データ及び音声データの付随情報を含む再生情報領域とで構成される動画像ファイル形式でＭＰ４ファイル３０６を生成する動画像ファイル生成手段と、前記動画像ファイル生成手段により生成されたＭＰ４ファイル３０６の中の代表画像をサムネイルデータとして記録したサムネイルファイル３０７を生成し、前記ＭＰ４ファイル３０６と前記サムネイルファイル３０７とを関連付けて管理するファイル管理手段と、前記サムネイルファイル３０７の中に、ＭＰ４ファイル３０６の再生情報を埋め込んで記録する記録手段とを設けて、前記サムネイルファイルを取得した時点で動画像の再生情報を取得できるようにすることにより、支障なく直ちに動画像を再生できるようにする。
【選択図】図１

Description

本発明は動画像処理装置、動画像処理方法、コンピュータプログラム及び記録媒体に関し、特に、動画像を再生する際に用いて好適な技術に関する。

例えば、カメラから入力される動画像情報を符号化して動画像符号化情報を生成する一方、マイクから入力された音声信号を符号化して音声符号化情報を生成し、これら動画像符号化情報と音声符号化情報とを多重化して記録し、またそれを再生する動画像処理装置が知られている。そのような装置において、動画像情報に関し、ＭＰＥＧ−４（Moving Picture Experts Group Phase 4）の圧縮技術を用いたものがある。

ＭＰＥＧ−４の動画像を構成する画像は、Ｉピクチャ（キーフレームともいう）、Ｐピクチャ、Ｂピクチャの３種類に分類することができる。Ｉピクチャは、Intra符号化画像、つまりフレーム内符号化画像である。

Ｐピクチャは、Predictive符号化画像、つまりフレーム間順方向予測符号化画像であり、ＩまたはＰピクチャからの予測を利用して画像が復元される。Ｂピクチャは、Bidirectionally Predictive符号化情報、つまり双方向予測符号化画像であり、順方向フレーム間予測符号と逆方向フレーム間予測符号と内挿的フレーム間予測符号とから画面が復元される。

このようにＩピクチャ、Ｐピクチャ、Ｂピクチャから構成されているＭＰＥＧ−４動画像符号化ストリームの任意の動画像にアクセスして再生する場合、完全な画像が復号されない可能性がある。例えば、ファイル化されたＭＰＥＧ−４動画像符号化ストリームを考えた場合がある。

この場合、ユーザがファイルにランダムアクセスした時（頭出し再生等の特殊再生）、Ｉピクチャの位置から再生を開始すれば、Ｉピクチャはフレーム内符号化画像であり、それ自体で完全な１枚の画像を復号することができるので、問題なく再生することができる。しかし、Ｐピクチャ若しくはＢピクチャの位置から再生を開始しようとすると、これらは予測符号化画像であるため、画像を復元するためにはそのフレーム以前のフレーム情報が必要となり、完全な画像が復元されない。

このような状況を回避するためには、ユーザがランダムアクセスにより、ＰピクチャまたはＢピクチャにアクセスしようとした場合、自動的にその直前のＩピクチャから復号を開始させるように制御する必要がある。

また、前述したＭＰＥＧ−４の動画圧縮技術により生成された動画像符号化ストリームと、音声符号化ストリームとを多重化し、蓄積媒体に一つのファイルとして保存するファイルフォーマットとして、以下のようなものがある。例えば、ＩＳＯ（International Organization for Standardization）においてＭＰＥＧ４ Systems（ＩＳＯ／ＩＥＣ １４４９６−１）で定められるＭＰＥＧ−４ファイルフォーマット（以下、ＭＰ４という）が挙げられる。

ＭＰ４のヘッダには、全てのフレームの位置がファイルの先頭からのオフセットのバイト数で記録されており、またＩピクチャのフレーム番号が列挙されている。このため、前記のランダムアクセスによる再生に対応可能なファイルフォーマットとなっている。ＭＰ４のヘッダ情報は前述した２つの情報（オフセットのバイト数、Ｉピクチャのフレーム番号）の他に様々な情報が含まれる。

一方、ＭＰ４ファイルフォーマットで記録する場合、ストリームデータは時間とともに増大し、そのサイズも非常に大きいため、記録中にもファイルへストリームデータを書き出す必要がある。しかしながら前述の通り、ＭＰ４ヘッダ部分も記録時間に応じてサイズが増加するため、記録が終了するまではＭＰ４ヘッダのサイズも不明なため、ストリームデータのファイル中への書き出しオフセット位置を決定することができない。したがって、一般的な動画処理装置での記録では、ＭＰ４ファイルフォーマットの柔軟性を利用し、以下のような対応を行う。

（１）ストリームデータ（Ｍｄａｔ領域と呼ぶ）をファイル先頭に配置し、記録終了時にＭＰ４ヘッダ（Ｍｏｏｖ領域と呼ぶ）をストリームデータの後ろに配置する（図８（ａ））。

（２）特許文献１に提案されるように、ＭＰ４ヘッダのサイズをあらかじめ決めてしまい、Ｍｄａｔのオフセット位置を決定して、記録を行う（図８（ｂ））。記録時間が短く、ヘッダ領域が余る場合でも、その領域はＦｒｅｅ領域として残す。ヘッダサイズを超えて記録する場合には、随時Ｉピクチャのフレーム番号情報を間引いて記録することで、ヘッダサイズをあらかじめ決定したサイズで維持する。

（３）ＭＰ４ヘッダとストリームデータのペアを、複数に分割して配置する（図８（ｃ）、２つ目以降のヘッダ領域をＭｏｏｆ領域と呼ぶ）。

特開２００３−２８９４９５号公報

しかしながら、前記従来技術（１）から（３）の構成では、再生時に以下のような問題がある。

前記（１）の構成の場合、ファイルの最後に記録されているＭＰ４ヘッダが読み込まれるまで、再生や頭出しが行えない。これは特に、ネットワークを通じてＭＰ４ファイルをダウンロードするような用途の場合、完全にストリームデータをダウンロードした後に、ＭＰ４ヘッダ部分をダウンロードするまで再生できないという問題がある。ＭＰ４ヘッダが前にある場合には、ＭＰ４ヘッダが最初にダウンロードされ、さらに所定量のストリームデータがダウンロードされた時点で、再生を開始することができ、その後はダウンロードと並行して再生を行うことができる。

前記（２）の構成の場合、キーフレーム情報が削減されているため、本来のキーフレーム間隔でのランダムアクセスができなくなり、ユーザが望むアクセス位置と、実際に再生される位置とのずれが大きくなりやすいという問題があった。

前記（３）の構成の場合、ファイルフォーマットとしてはＭＰ４ファイルフォーマットの範囲内であるが、再生装置によっては前記構成に対応できないものもあり、再生互換性の面で劣る。また、領域の分割数が増えれば増えるほど、ランダムアクセスの応答性が悪くなるという問題があった。

本発明は前述の問題点に鑑み、ランダムアクセスされた場合の応答性を向上できるようにすることを目的としている。

本発明の動画像処理装置は、映像データ及び音声データを多重化して記録するデータ領域と、前記映像データ及び音声データの付随情報を含む再生情報領域とで構成される動画像ファイル形式で動画像ファイルを生成する動画像ファイル生成手段と、前記動画像ファイル生成手段により生成された動画像ファイルの中の代表画像をサムネイルデータとして記録したサムネイルファイルを生成し、前記動画像ファイル生成手段によって生成された動画像ファイルと前記サムネイルファイルとを関連付けて管理するファイル管理手段と、前記ファイル管理手段によって管理されているサムネイルファイルの中に、前記動画像ファイルの再生情報を埋め込んで記録する記録手段とを有することを特徴とする。

本発明の動画像処理方法は、映像データ及び音声データを多重化して記録するデータ領域と、前記映像データ及び音声データの付随情報を含む再生情報領域とで構成される動画像ファイル形式で動画像ファイルを生成する動画像ファイル生成工程と、前記動画像ファイル生成工程により生成された動画像ファイルの中の代表画像をサムネイルデータとして記録したサムネイルファイルを生成し、前記動画像ファイル生成工程によって生成された動画像ファイルと前記サムネイルファイルとを関連付けて管理するファイル管理工程と、前記ファイル管理工程によって管理されているサムネイルファイルの中に、前記動画像ファイルの再生情報を埋め込んで記録する記録工程とを有することを特徴とする。

本発明のコンピュータプログラムは、映像データ及び音声データを多重化して記録するデータ領域と、前記映像データ及び音声データの付随情報を含む再生情報領域とで構成される動画像ファイル形式で動画像ファイルを生成する動画像ファイル生成工程と、前記動画像ファイル生成工程により生成された動画像ファイルの中の代表画像をサムネイルデータとして記録したサムネイルファイルを生成し、前記動画像ファイル生成工程によって生成された動画像ファイルと前記サムネイルファイルとを関連付けて管理するファイル管理工程と、前記ファイル管理工程によって管理されているサムネイルファイルの中に、前記動画像ファイルの再生情報を埋め込んで記録する記録工程とを有する動画像処理方法をコンピュータに実行させることを特徴とする。

本発明の記録媒体は、前記に記載のコンピュータプログラムを記録したことを特徴とする。

本発明によれば、サムネイルファイルの中に、動画像ファイルの再生情報を埋め込んで記録するようにしたので、他の装置が通信回線を介して動画像ファイルをダウンロードして再生する場合に、事前にダウンロードするデータ量の小さなサムネイルファイルを取得した時点で再生情報を取得することが可能となり、その後に動画像ファイルをダウンロードしたら直ちに動画像の再生を行なうことが可能となる。
また、サムネイルファイルをダウンロードしてから動画像ファイルをダウンロードするという手順は、従来から用いられている一般的な手順であるため、追加で処理手順を特に設けることなく、ダウンロードと並行して動画像を他の装置において再生することができるようになる。

また、本発明の他の特徴によれば、再生情報のデータサイズが小さくなるように圧縮された圧縮再生情報を生成し、前記圧縮再生情報をサムネイルファイルの中に記録するようにしたので、再生情報のデータサイズが大きい場合においても支障なく直ちに動画像を再生することが可能な動画像ファイルを作成することができる。

また、本発明のその他の特徴によれば、動画像ファイルの形式として、ＭＰＥＧ４ファイルフォーマットを使用し、再生情報として、ＭｏｏｖｉｅＢｏｘを使用するようにしたので、一般的に普及されている動画像ファイル形式、サムネイルファイル形式との互換性を保ったまま、支障なく直ちに動画像を再生することが可能な動画像ファイルを作成することができる。

（第１の実施形態）
（ＭＰ４ファイルの記録）
以下、本発明の実施形態を説明する。ここでは動画像処理装置として、撮像装置を例に挙げて説明する。また、使用するファイルフォーマットについては、従来技術と同様にＭＰ４ファイルフォーマットとする。

まず初めに、本実施形態の特徴である記録処理について、概略を説明する。
本実施形態の撮像装置では、図８（ａ）のフォーマットで記録を行う。（ａ）のフォーマットを使用することで、非常にデータサイズの大きくなるＭｄａｔ部分については撮影しながらファイルに記録する。また、比較的データサイズの小さなＭｏｏｖ領域については、撮影中は本体内のワークメモリ上に保持し、撮影終了時に前記Ｍｄａｔで構成されるファイルにＭｏｏｖを追記する。これにより、ＭＰ４ファイルを記録することができる。

図１に、本発明の動画像処理装置（撮像装置）の構成例を示す。
図１において、符号１０１は撮像装置全体の制御を担う制御部であり、また後述するファイル生成機能を有する。符号１０２は焦点距離や絞りの状態を変更可能なレンズ、符号１０３は例えばＣＣＤ（Charge Coupled Device）のような撮像素子でレンズ１０２により結像した光を電気信号に変換する機能を有する。

符号１０４は信号処理部であり、入力動画像信号に対しホワイトバランスやガンマ補正等の所定の信号処理を行う。符号１０５は動画像信号符号／復号化部であり、１０４より入力された動画像信号を所定のフォーマットに符号化、または所定の符号化データから動画像信号を復号する機能を有する。符号化フォーマットとしては、本実施形態ではＭＰＥＧ４ Ｖｉｄｅｏを用いる。

符号１０７はマイクであり、音声を音声信号に変換する機能を有する。符号１０８は音声信号符号／復号化部であり、マイク１０７より入力された音声信号を所定の符号フォーマットに符号化、または所定の符号化データから音声信号を復号する機能を有する。符号フォーマットとしては、本実施形態ではＭＰＥＧ４ Ａｕｄｉｏ ＡＡＣ（Advance Audio Codec）を用いる。

符号１０９はスピーカであり、音声信号符号／復号化部１０８により復号された音声データを出力する機能を有する。符号１１０はフラッシュメモリであり、制御部１０１で動作させるプログラムの格納及び各種設定データの保存等に利用され、本デバイスに記録されたデータは、本装置の電源が切られた状態でも保持される。

符号１１１はメモリであり、ＭＰＥＧ４−Ｖｉｄｅｏデータバッファ、ＭＰＥＧ４−Ａｕｄｉｏデータバッファ、ワークメモリ等に使用される。符号１１２は表示部であり、復号された映像データの表示デバイスとしての利用、また、表示部１１２は撮影時のビューファインダーとしての機能も有する。また、利用者が本装置を操作する場合の、操作画面としての機能も兼ね備える。

符号１１３、１１４はカードスロット及びメモリカードであり、所定のファイルフォーマットのファイルがメモリカードに格納される。本実施形態のメモリカード１１４にＭＰ４ファイルフォーマットが記録される。符号１１５はデータバスであり、制御部１０１から、各機能ブロックへのアクセス及び、メモリ１１１を介しての各機能ブロック間のデータ転送等に使用される。

図２は記録処理中のメモリ１１１の内容をモデル化したものである。符号２０１はＭＰＥＧ４−Ｖｉｄｅｏ（映像）データバッファであり、動画像信号符号／復号化部１０５から出力されるデータを一時的に保持する領域である。ＭＰＥＧ４−Ｖｉｄｅｏデータは時間とともに増加するので、随時メモリカードへファイルデータとして書き出し、バッファはリング状に再利用する必要がある。

同様に、符号２０２はＭＰＥＧ４−Ａｕｄｉｏ（音声）データバッファであり、音声信号符号／復号化部１０８から出力されるデータを一時的に保持する。一時保持されたデータは、随時メモリカードへファイルデータとして書き出され、バッファはリング状に再利用される。Ｍｄａｔ領域のＭＰＥＧ４−Ｖｉｄｅｏデータと、ＭＰＥＧ４−Ａｕｄｉｏデータは多重化され、ファイルのＭｄａｔ領域に書き出される。ファイル上のＭｄａｔ領域のどの位置にどのようなデータが記録されたかについては、符号２０３のＭＰ４ワークメモリ上にＭｏｏｖの形式で保持される。また、Ｍｏｏｖはさらに細かい領域に分けられている。

図３は、本実施形態におけるファイルの詳細な構成を示す図である。
図３に示すように、例えば、記録フレームのＭｄａｔ先頭アドレスからのオフセットアドレス、フレームのデータサイズ、ＰＴＳ（Presentation Time Stamp）はそれぞれ、「Chunk Offset」領域３０１、「Sample Size」領域３０２、「Time to Sample」領域３０３にそれぞれ格納される。またランダムアクセス時のインデックス情報となるキーフレーム番号は、「Sync Sample」領域３０４に格納される。

記録時間が経過するに従って、それぞれの領域が増加していくため、撮影中に直接ファイル上に記録していくのでは効率が悪い。ＭＰ４ワークメモリ２０３上でＭｏｏｖの各領域をそれぞれ分割した状態で保持し、記録処理の終了時に、Ｍｏｏｖにまとめられる。そして、ファイルのＭｄａｔ領域の後に付加され（３０５）、ＭＰ４ファイル３０６が形成される。また、本装置で記録されたＭＰ４ファイル３０６とは別に、それと対となるサムネイルファイル（動画像１フレーム目のサムネイル画像を画像データとする）３０７が生成される。

次に、ファイル名に関する規則を図４を用いて説明する。サムネイル画像のファイル名本体４０３は、前記サムネイルに対応する動画像ファイルのファイル名本体４０１と同じである。そして、動画像ファイルの拡張子４０２が「ＭＰ４」であるのに対し、拡張子４０４が「ＴＨＭ」であるファイルとして記録される。このようなファイル名を使用することで、動画像ファイルとサムネイルファイルとの対応が取れるようになっている。

サムネイルファイルのファイル形式は、Ｅｘｉｆ（Exchangeable Image File Format）形式となっている。そして、サムネイル画像データの他に様々な情報、例えば撮影日時や撮影時のカメラ情報等をＥｘｉｆヘッダ部分に記録することができる。さらにＥｘｉｆヘッダ部は拡張が可能となっており、独自データ領域を設けることができる。本実施形態の撮像装置では、図３に示すサムネイルファイルのユーザデータ領域３０９に、前述のＭｏｏｖを記録しておく（３０８）。ＭＰ４記録時に、それに対応するサムネイルファイル３０７の中にＭｏｏｖを記録しておく点が、本実施形態の記録時における特徴である。

（ＭＰ４ファイルの再生）
以上により記録されたＭＰ４ファイルを、本実施形態の動画像処理装置（撮像装置）で再生する方法について説明する。
図５は、本実施形態において、サムネイル表示の一例を示す図である。
本装置が再生モードで起動されると、表示部１１２には、記録されているファイルの内容を示すサムネイル表示５０１が示される。符号５０２は、選択カーソルであり、ユーザは選択カーソル５０２を移動させて、所望のコンテンツを指定することによって再生を指示する。符号５０３はページ送りアイコンであり、サムネイル表示ページを移動する場合に使用される。符号５０４はページ表示であり、この場合、ページは全部で６ページあり、そのうちの１ページ目を表示していることを示している。

このサムネイル表示５０１のためのサムネイルデータは、静止画像ファイル（Ｅｘｉｆファイル）中に埋め込まれたサムネイルデータ、または、ＭＰ４ファイル３０６と関連付けられたサムネイルファイル３０７から取得される。同時にサムネイルファイル３０７においては、Ｅｘｉｆヘッダのユーザデータ領域３０９へのＭｏｏｖの記録の有無を確認する。この結果、記録されている場合は、その記録の有無に関する情報も読み込み、ＭＰ４ワークメモリ２０３に保持する。ユーザがＭＰ４ファイル３０６の再生を選択し、すでにサムネイルファイル３０７からＭｏｏｖを取得できている場合には、ＭＰ４ファイル３０６の中のＭｏｏｖを参照せずに、ＭＰ４ワークメモリ２０３中のＭｏｏｖを参照することによって瞬時に再生を行う。

前述したように、本撮像装置で記録されたＭＰ４ファイル３０６は、Ｍｄａｔの後ろにＭｏｏｖが付加されている。すなわち、ＭＰ４ファイル３０６の中のＭｏｏｖを読み込んでいると、読み込みに要するオーバヘッドが大きく、特にＭｄａｔ領域が大きなＭＰ４ファイル３０６では顕著に再生応答性が悪くなってしまうことを回避するためである。また、サムネイルファイル３０７が存在しない場合や、サムネイルファイル３０７の中にＭｏｏｖが記録されていない場合には、ＭＰ４ファイル３０６のＭｏｏｖを参照して再生を実施する。

（ＰＣへのＭＰ４ファイルの転送）
前述したように記録されたＭＰ４ファイル３０６は、再生時に必要となるＭｏｏｖ情報がＭｄａｔ領域の後ろにある。このため、本撮像装置からパーソナルコンピュータ（ＰＣ）へファイル転送する場合に、Ｍｄａｔ領域が完全に転送され、さらにＭｏｏｖ領域が転送されなければ、ＰＣで再生を開始することができない。本実施形態では、撮像装置で記録したＭＰ４ファイル３０６を転送しつつ、ＭＰ４ファイル３０６の再生を実現する方法について図６を用いて説明する。

図６を参照しながら、例えばＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４ケーブルなどのケーブル６０１を用いて撮像装置６０２からＰＣ６０３へファイルを転送する方法について説明する。このファイル転送自体の処理については従来から行われている処理と同じである。ＰＣ６０３には撮像装置６０２と接続する時に必要となるドライバ及びアプリケーションはインストール済みであるものとする。

図６（ａ）に示すように、撮像装置６０２をＰＣ６０３に接続すると、ＰＣ６０３は接続を認識し、撮像装置６０２の情報を問い合わせてくる。撮像装置６０２の問い合わせに対し、撮像装置６０２が正しい情報を応答することによって、ＰＣ６０３は接続された機器を判別し、その機器に対応したドライバ、アプリケーションを起動する。本装置のような撮像装置６０２をＰＣ６０３に接続した場合に起動されるアプリケーションは、撮像装置６０２に記録されている静止画像ファイル、動画像ファイルのＰＣ６０３への取り込み機能及び再生機能を有する。アプリケーションは、記録ファイルの情報取得を起動直後に実行する。一般的には、利用者が内容の把握を容易にできるように、サムネイルデータの取得が実行される。

ＰＣ６０３から送られる取得要求（６０４）に対し、撮像装置６０２では静止画像ファイルに対するサムネイルデータとして、同ファイル中に記録されているサムネイルデータを転送する（６０５）。また、動画像ファイル（ＭＰ４ファイル３０６）に対するサムネイルデータとしては、動画像ファイルに対応付けられているサムネイルファイル３０７を転送する（６０５）。全ファイルに対応するサムネイルデータを取得したＰＣ６０３は、サムネイル一覧を表示して、撮像装置に記録されているファイルを利用者に提示するとともに、ダウンロードすべき静止画像ファイルおよび動画像ファイルの選択を促す。

これにより利用者は、図６（ｂ）に示すように、ダウンロードしたいファイルを選択指定する（６０６）。利用者により選択指定されたサムネイルに対応する静止画像、動画像ファイルのみが、撮像装置６０２からＰＣ６０３に転送される（６０７）。以降は、一般的な撮像装置と、それに対応するアプリケーションとの間で実行される処理である。

前述の一般的な処理に加え、本実施形態の撮像装置とそれに対応するアプリケーションとの間では、以下のような処理を行うことができる。
前述したように、動画像ファイルをダウンロードする前にサムネイルファイル３０７は取得済みであるため、サムネイルファイル３０７中のＭｏｏｖを必要に応じてＭＰ４ワークメモリ２０３中に保持しておく（６０８）ことが可能となる。

したがって、従来のようなサムネイルを表示するだけではなく、Ｍｏｏｖ中の各種情報も同時に表示することが可能であり、利用者がダウンロードファイルを選択する際にこれらの情報も参考に、ダウンロードの必要性を判断することができる。さらに事前にＭｏｏｖを取得しているため、対応するＭＰ４ファイルのＭｄａｔをダウンロードしながらの再生を行うことができる。これにより、ダウンロード待ち時間を有効に活用でき、また再生動画像を確認することによって、ダウンロード不要と判断した場合には、ダウンロード途中でキャンセルすることも可能である。

（第２の実施形態）
（Ｍｏｏｖデータ量の圧縮）
第１の実施形態では、ＭＰ４ファイル中のＭｏｏｖとサムネイルファイル中のＭｏｏｖは全く同じものであったが、Ｍｏｏｖのデータサイズがあまりにも大きな場合は、サムネイルファイル中に記録することは好ましくない場合がある。本実施形態では、ＭＰ４ファイル中に記録するＭｏｏｖのデータ量を圧縮した情報をサムネイルファイル中に記録する方法について、図７を参照しながら説明する。

（１）「Time to Sample」領域３０３の圧縮
「Time to Sample」領域３０３には前述した通り、フレーム毎のＰＴＳが記録されている。したがってフレーム間隔が一定という条件のもとで記録した場合には、一番目のフレームのＰＴＳ７０１と、フレーム間隔情報７０２とがあれば、再生時にＰＴＳを再現することが可能である。このような場合には、サムネイルファイル中のＭｏｏｖからは「Time to Sample」領域を削除し、一番目のフレームのＰＴＳ７０１とフレーム間隔情報７０２のみを記録することで、データ量を圧縮することができる。

（２）「Sync Sample」領域３０４の圧縮
（１）と同様に、キーフレーム間隔が一定であれば、キーフレーム間隔情報７０３のみをサムネイルファイル３０７中に記録し、「Sync Sample」領域を削除することが可能である。またキーフレーム間隔情報７０３は、ランダムアクセス時に必要な情報であり、通常再生時には必要ではないため、ランダムアクセス機能を割り切ることで、「Sync Sample」領域を削除してもよい。また、完全には削除せずに、キーフレーム情報を間引きして、データ量を圧縮してもよい。この場合、一部のキーフレームに対してはランダムアクセスが可能となる。

前記（１）および（２）を適用する事により、記録終了時にＭＰ４ファイル３０６中に記録されるＭｏｏｖをもとに、データ量を圧縮し、サムネイルファイル３０７中に独自情報として記録することができる。

また、ＭＰ４ファイル３０６に記録するＭｏｏｖとは全く別のフォーマットでサムネイルファイル３０７中に再生に必要となる情報を記録してもよい。この場合、さらに高圧縮を行うことも可能ではあるが、記録中にＭｏｏｖとは別の情報としてサムネイル記録用の情報をメモリに保持しておく必要がある。

図９は、本実施形態において、ＭＰ４ファイル３０６の作成中に再生を行う手順の一例を示すフローチャートである。
ステップＳ９０１において、取得された再生情報を圧縮して圧縮再生情報を生成し、サムネイルファイル３０７の中に圧縮再生情報を記録する。

次に、ステップ９０２において、サムネイルファイル３０７の中に圧縮再生情報を利用して動画像の再生を行う。次に、ステップＳ９０３において、ＭＰ４ファイル３０６におけるＭｏｏｖが取得されたか否かを判断する。この判断の結果、Ｍｏｏｖが取得された場合は、ステップＳ９０４において、利用する情報を圧縮再生情報から取得されたＭｏｏｖに切り替えて再生の続きを行い、再生が終了するまで続ける。一方、ステップＳ９０３の判断の結果、まだＭｏｏｖが取得されていない場合は、ステップＳ９０２に戻り、引き続き圧縮再生情報を利用して動画像の再生を行う。

前記のように記録された動画像ファイルを再生する際には、再生応答性を確保するために、まず再生開始時にはサムネイルファイル３０７中の圧縮情報を利用しながら再生する。そして、ＭＰ４ファイル３０６中のＭｏｏｖが取得された以降は、ＭＰ４ファイル３０６中のＭｏｏｖをもとに再生を行うことによって、本来のランダムアクセス性能も確保することが可能である。

（本発明に係る他の実施形態）
前述した本発明の実施形態における動画像処理装置を構成する各手段、並びに動画像処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図９に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の第１の実施形態における動画像処理装置（撮像装置）の構成例を示すブロック図である。 本発明の第１の実施形態におけるメモリ内のデータ配置例を示す図である。 本発明の第１の実施形態におけるファイル生成方法を示す図である。 一般的なファイルネーム規則の一例を示す図である。 本発明の第１の実施形態における再生ファイル指定画面の一例を示す図である。 本発明の第１の実施形態におけるファイルダウンロード方法の一例を示す図である。 本発明の第２の実施形態におけるファイル生成方法を示す図である。 一般的なＭＰ４ファイルの構成例を示す図である。 本発明の第２の実施形態における動画像の再生手順の一例を示すフローチャートである。

符号の説明

１０１ 制御部
１０２ レンズ
１０３ 撮像素子
１０４ 信号処理部
１０５ 動画像信号符号／復号化部
１０７ マイク
１０８ 音声信号符号／復号化部
１０９ スピーカ
１１０ フラッシュメモリ
１１１ メモリ
１１２ 表示部
１１３ カードスロット
１１４ メモリカード
１１５ データバス
２０１ ＭＰＥＧ４−Ｖｉｄｅｏデータバッファ
２０２ ＭＰＥＧ４−Ａｕｄｉｏデータバッファ
２０３ ＭＰ４ワークメモリ
３０１ 「Chunk Offset」領域
３０２ 「Sample Size」領域
３０３ 「Time to Sample」領域
３０４ 「Sync Sample」領域
３０６ ＭＰ４ファイル
３０７ サムネイルファイル
４０１、４０３ ファイル名本体
４０２、４０４ 拡張子
５０２ 選択カーソル
５０３ ページ送りアイコン
５０４ ページ表示
６０１ ケーブル
６０２ 撮像装置
６０３ ＰＣ
７０１ １フレーム目ＰＴＳ
７０２ 固定フレーム間隔情報
７０３ 固定キーフレーム間隔情報

Claims (18)

1. 映像データ及び音声データを多重化して記録するデータ領域と、前記映像データ及び音声データの付随情報を含む再生情報領域とで構成される動画像ファイル形式で動画像ファイルを生成する動画像ファイル生成手段と、
   前記動画像ファイル生成手段により生成された動画像ファイルの中の代表画像をサムネイルデータとして記録したサムネイルファイルを生成し、前記動画像ファイル生成手段によって生成された動画像ファイルと前記サムネイルファイルとを関連付けて管理するファイル管理手段と、
   前記ファイル管理手段によって管理されているサムネイルファイルの中に、前記動画像ファイルの再生情報を埋め込んで記録する記録手段とを有することを特徴とする動画像処理装置。
2. 前記サムネイルファイルの中に記録されている再生情報を参照して前記動画像ファイルを再生する動画像ファイル再生手段を有することを特徴とする請求項１に記載の動画像処理装置。
3. 前記サムネイルファイルはＥｘｉｆ形式であり、前記記録手段は、前記Ｅｘｉｆ形式のヘッダの独自情報記録領域に前記再生情報を埋め込むことを特徴とする請求項１または２に記載の動画像処理装置。
4. 前記記録手段は、前記再生情報のデータサイズが小さくなるように前記再生情報を圧縮して圧縮再生情報を生成して前記サムネイルファイルの中に記録することを特徴とする請求項１に記載の動画像処理装置。
5. 前記再生手段は、前記サムネイルファイルの中に記録されている圧縮再生情報を参照して前記動画像ファイルの再生を行うことを特徴とする請求項４に記載の動画像処理装置。
6. 前記再生手段は、前記サムネイルファイルの中の圧縮再生情報を参照して、前記動画像ファイルの再生を開始するとともに、前記動画像ファイルの再生と並行して前記動画像ファイルの中に記録されている再生情報を読み込み、前記再生情報の読み込みが終了すると、前記圧縮再生情報を参照する処理から前記再生情報を参照する処理に切り替えて前記動画像ファイルの再生を継続することを特徴とする請求項４に記載の動画像処理装置。
7. 前記サムネイルファイルの形式はＥｘｉｆ形式であり、前記記録手段は前記Ｅｘｉｆ形式のヘッダの独自情報記録領域に前記圧縮再生情報を含むことを特徴とする請求項４〜６の何れか１項に記載の動画像処理装置。
8. 前記動画像ファイルの形式はＭＰＥＧ４ファイルフォーマットであり、
   前記再生手段は、前記再生情報としてＭｏｏｖｉｅＢｏｘを使用することを特徴とする請求項１〜７の何れか１項に記載の動画像処理装置。
9. 映像データ及び音声データを多重化して記録するデータ領域と、前記映像データ及び音声データの付随情報を含む再生情報領域とで構成される動画像ファイル形式で動画像ファイルを生成する動画像ファイル生成工程と、
   前記動画像ファイル生成工程により生成された動画像ファイルの中の代表画像をサムネイルデータとして記録したサムネイルファイルを生成し、前記動画像ファイル生成工程によって生成された動画像ファイルと前記サムネイルファイルとを関連付けて管理するファイル管理工程と、
   前記ファイル管理工程によって管理されているサムネイルファイルの中に、前記動画像ファイルの再生情報を埋め込んで記録する記録工程とを有することを特徴とする動画像処理方法。
10. 前記サムネイルファイルの中に記録されている再生情報を参照して前記動画像ファイルを再生する動画像ファイル再生工程を有することを特徴とする請求項９に記載の動画像処理方法。
11. 前記サムネイルファイルの形式はＥｘｉｆ形式であり、前記記録工程は、前記Ｅｘｉｆ形式のヘッダの独自情報記録領域に前記再生情報を埋め込むことを特徴とする請求項９または１０に記載の動画像処理方法。
12. 前記記録工程は、前記再生情報のデータサイズが小さくなるように前記再生情報を圧縮して圧縮再生情報を生成して前記サムネイルファイルの中に記録することを特徴とする請求項９に記載の動画像処理方法。
13. 前記再生工程は、前記サムネイルファイルの中に記録されている圧縮再生情報を参照して前記動画像ファイルの再生を行うことを特徴とする請求項１２に記載の動画像処理方法。
14. 前記再生工程は、前記サムネイルファイルの中の圧縮再生情報を参照して、前記動画像ファイルの再生を開始するとともに、前記動画像ファイルの再生と並行して前記動画像ファイルの中に記録されている再生情報を読み込み、前記再生情報の読み込みが終了すると、前記圧縮再生情報の参照する処理から前記再生情報を参照する処理に切り替えて前記動画像ファイルの再生を継続することを特徴とする請求項１２に記載の動画像処理方法。
15. 前記サムネイルファイルの形式はＥｘｉｆ形式であり、前記記録工程は、前記Ｅｘｉｆ形式のヘッダの独自情報記録領域に前記圧縮再生情報を含むことを特徴とする請求項１２〜１４の何れか１項に記載の動画像処理方法。
16. 前記動画像ファイルの形式はＭＰＥＧ４ファイルフォーマットであり、
    前記再生手段は、前記再生情報としてＭｏｏｖｉｅＢｏｘを使用することを特徴とする請求項９〜１５の何れか１項に記載の動画像処理方法。
17. 映像データ及び音声データを多重化して記録するデータ領域と、前記映像データ及び音声データの付随情報を含む再生情報領域とで構成される動画像ファイル形式で動画像ファイルを生成する動画像ファイル生成工程と、
    前記動画像ファイル生成工程により生成された動画像ファイルの中の代表画像をサムネイルデータとして記録したサムネイルファイルを生成し、前記動画像ファイル生成工程によって生成された動画像ファイルと前記サムネイルファイルとを関連付けて管理するファイル管理工程と、
    前記ファイル管理工程によって管理されているサムネイルファイルの中に、前記動画像ファイルの再生情報を埋め込んで記録する記録工程とを有する動画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
18. 前記請求項１７に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images