JP2012004618A - 動画再生装置、動画記録再生システム、動画制御方法、及びプログラム - Google Patents

Abstract

【課題】フレームデータが連続して配置されたファイル形式において、センサ情報を動画に合わせて再生する。
【解決手段】動画ファイルは、フレームデータの系列上のキーフレームデータの前にセンサ情報が挿入されたデータ系列と、当該データ系列におけるキーフレームデータの位置、及びキーフレームデータと当該キーフレームデータに続くフレームデータとのデータ長を示すフレーム情報とを含む。フレームデータ抽出部１４５は、動画ファイルのフレーム情報をもとに、動画ファイルのデータ系列に含まれるフレームデータを順番に抽出する。センサ情報抽出部１４６は、フレーム情報をもとに、キーフレームデータの始点の位置と当該キーフレームデータの前のフレームデータの終点の位置との差分を算出し、差分がある場合、キーフレームデータの前に挿入されたセンサ情報を抽出する。
【選択図】図１

Description

本発明は、動画再生装置、動画記録再生システム、動画制御方法、及びプログラムに関する。

ビデオカメラ、デジタルカメラ、携帯電話などの録画機器に、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などのセンサを搭載し、録画時にそのセンサにより検出されたセンサ情報を、動画とともに記録する方法が知られている。

例えば、特許文献１記載のカメラ装置は、ファイル形式としてＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ２）を使用し、ＭＰＥＧ２のＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）層内に定義されたユーザデータ領域に、ＧＰＳにより取得した位置情報を挿入する。

また、特許文献２記載の撮像装置は、同様に、ＭＰＥＧ２のファイル形式のシーケンス層、ＧＯＰ層、または、ピクチャ層内に定義されたユーザデータ領域に、ＧＰＳにより取得した位置情報を挿入する。

また、関連技術として、特許文献３には、車両の運転状況に関する画像データとセンサデータとを関連づけて、メモリに記録する方法が開示されている。

また、他の関連技術として、特許文献４には、車載カメラ装置にて撮影された映像を車載ＬＡＮにより車載装置に転送する方法が開示されている。

特開２００９‐１５９２７９号公報 特許第３８７９１７０号公報 特開２０００‐１２８０３０号公報 特開２００７‐３２０３５９号公報

http://msdn.microsoft.com/en-us/library/dd318189(VS.85).aspx ISO/IEC 14496-12:2005 ISO base media file format

上述した特許文献１、２に記載された装置では、動画、音声を収容するマルチメディアのファイル形式（コンテナフォーマット）として、ＭＰＥＧ２を使用している。ＭＰＥＧ２では、ファイル形式に収容される動画データが、シーケンス層、ＧＯＰ層のように階層化されている。ここで、ＧＯＰは、動画再生の基準であるキーフレームのフレームデータ（Ｉピクチャ）とキーフレームに続く他のフレームのフレームデータ（Ｂ、Ｐピクチャ）からなる。ＭＰＥＧ２では、このＧＯＰ毎にユーザデータ領域が定義されている。従って、このユーザデータ領域にセンサ情報を挿入することにより、センサ情報を、キーフレームが発生する頻度で、動画に合わせて分割して記録し、再生することできる。

ところで、ＭＰＥＧ２以外のマルチメディアのファイル形式として、非特許文献１に記載されているようなＡＶＩ−ＲＩＦＦ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ−Ｒｅｓｏｕｒｃｅ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）や非特許文献２に記載されているＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔが知られている。これらのファイル形式では、フレームデータが時系列順に連続して配置されており、ＭＰＥＧ２のＧＯＰ層のようなフレームデータ集合（キーフレームとキーフレームに続く他のフレームのフレームデータの集合）に対してユーザデータ領域が定義されていない。このため、これらのファイル形式では、センサ情報を動画に合わせて再生することができないという課題がある。

本発明の目的は、上述の課題である、フレームデータが連続して配置されたファイル形式において、センサ情報を動画に合わせて再生することができないという問題を解決した動画再生装置、動画記録再生システム、動画制御方法、及びプログラムを提供することである。

本発明の動画再生装置は、映像信号を符号化したフレームデータの系列上のキーフレームの前記フレームデータであるキーフレームデータの前にセンサ情報が挿入されたデータ系列と、当該データ系列における前記キーフレームデータのそれぞれの位置、及び当該キーフレームデータと当該キーフレームデータに続くキーフレーム以外の前記フレームデータとのデータ長を示すフレーム情報と、を含む動画ファイルを入力して、前記フレーム情報をもとに、前記動画ファイルの前記データ系列に含まれる前記フレームデータを順番に抽出し、抽出された前記フレームデータを、前記フレームデータを復号化して前記映像信号を表示手段に出力する動画伸張手段に出力するフレームデータ抽出手段と、前記フレーム情報をもとに、前記動画ファイルの前記データ系列に含まれる前記キーフレームデータの始点の位置と当該キーフレームデータの前の前記フレームデータの終点の位置との差分を算出し、差分がある場合、当該キーフレームデータの前に挿入された前記センサ情報を抽出し、抽出された前記センサ情報を前記表示手段に出力するセンサ情報抽出部とを含む。

本発明の動画再生用プログラムは、第１のコンピュータに、映像信号を符号化したフレームデータの系列上のキーフレームの前記フレームデータであるキーフレームデータの前にセンサ情報が挿入されたデータ系列と、当該データ系列における前記キーフレームデータのそれぞれの位置、及び当該キーフレームデータと当該キーフレームデータに続くキーフレーム以外の前記フレームデータとのデータ長を示すフレーム情報と、を含む動画ファイルを入力して、前記フレーム情報をもとに、前記動画ファイルの前記データ系列に含まれる前記フレームデータを順番に抽出し、抽出された前記フレームデータを、前記フレームデータを復号化して前記映像信号を表示手段に出力する動画伸張手段に出力し、前記フレーム情報をもとに、前記動画ファイルの前記データ系列に含まれる前記キーフレームデータの始点の位置と当該キーフレームデータの前の前記フレームデータの終点の位置との差分を算出し、差分がある場合、当該キーフレームデータの前に挿入された前記センサ情報を抽出し、抽出された前記センサ情報を前記表示手段に出力する処理を実行させる。

本発明の動画再生方法は、映像信号を符号化したフレームデータの系列上のキーフレームの前記フレームデータであるキーフレームデータの前にセンサ情報が挿入されたデータ系列と、当該データ系列における前記キーフレームデータのそれぞれの位置、及び当該キーフレームデータと当該キーフレームデータに続くキーフレーム以外の前記フレームデータとのデータ長を示すフレーム情報と、を含む動画ファイルを入力して、前記フレーム情報をもとに、前記動画ファイルの前記データ系列に含まれる前記フレームデータを順番に抽出し、抽出された前記フレームデータを、前記フレームデータを復号化して前記映像信号を表示手段に出力する動画伸張手段に出力し、前記フレーム情報をもとに、前記動画ファイルの前記データ系列に含まれる前記キーフレームデータの始点の位置と当該キーフレームデータの前の前記フレームデータの終点の位置との差分を算出し、差分がある場合、当該キーフレームデータの前に挿入された前記センサ情報を抽出し、抽出された前記センサ情報を前記表示手段に出力する。

本発明の効果は、フレームデータが連続して配置されたファイル形式において、センサ情報を動画に合わせて再生できることである。

本発明の第一の実施の形態における動画再生装置１０２の特徴的な構成を示すブロック図である。 本発明の第一の実施の形態における動画記録再生システム１００の構成を示すブロック図である。 本発明の第一の実施の形態における動画ファイルのファイル形式の例を示す図である。 本発明の第一の実施の形態におけるデータ系列書き込み部１２２、フレーム情報書き込み部１２３、及び動画ファイル出力部１２４による録画処理を示すフローチャートである。 本発明の第一の実施の形態における動画ファイル入力部１４１、及びデータ系列読み出し部１４２による再生処理を示すフローチャートである。 本発明の第二の実施の形態における動画ファイルのファイル形式の例を示す図である。 本発明の第二の実施の形態におけるデータ系列書き込み部１２２、フレーム情報書き込み部１２３、及び動画ファイル出力部１２４による録画処理を示すフローチャートである。 本発明の第二の実施の形態における動画ファイル入力部１４１、及びデータ系列読み出し部１４２による再生処理を示すフローチャートである。

（第一の実施の形態）
次に、本発明の第一の実施の形態について説明する。はじめに、本発明の第一の実施の形態の構成について説明する。図２は、本発明の第一の実施の形態における動画記録再生システム１００の構成を示すブロック図である。

ここで、動画記録再生システム１００は、動画の撮影及び動画の再生を行う装置であり、例えば、ビデオカメラ、デジタルカメラ、または、携帯電話であってもよい。

図２を参照すると、動画記録再生システム１００は、撮像部１１１、音声入力部１１２、センサ部１１３、動画圧縮部１２１、データ系列書き込み部１２２、フレーム情報書き込み部１２３、動画ファイル出力部１２４、動画ファイル記憶部１３１、動画ファイル入力部１４１、データ系列読み出し部１４２、動画伸張部１４３、表示制御部１４４、表示部１５１、及び音声出力部１５２を含む。

撮像部１１１は、例えば、カメラ等の撮像デバイスであり、撮影対象を撮影し、生成した映像信号を時系列に動画圧縮部１２１へ出力する。

音声入力部１１２は、例えば、マイクロフォン等の音声入力デバイスであり、音声を入力し、音声信号を時系列に動画圧縮部１２１へ出力する。

センサ部１１３は、撮像部１１１に関する状態を示すセンサ情報を取得し、データ系列書き込み部１２２に出力する。センサ部１１３は、使用者または管理者により設定された所定の頻度で、定期的にセンサ情報の取得及び出力を行ってもよい。また、データ系列書き込み部１２２が、使用者または管理者により設定された所定の頻度でセンサ部１１３にセンサ情報の取得及び出力を要求し、センサ部１１３は、データ系列書き込み部１２２からの要求に応じて位置情報の取得及び出力を行ってもよい。使用者または管理者がセンサ情報の取得頻度を調整することにより、センサ情報の取得による電力消費が調整できる。

ここで、撮像部１１１に関する状態とは、撮像部１１１自体の状態、撮像部１１１が設置された物やシステムの状態、撮像部１１１を所持する人物の状態等、撮像部１１１自体、または、撮像部１１１の周辺で検出された状態を示す情報であれば、どのようなものであってもよい。例えば、センサ情報は、撮像部１１１が存在する場所の位置情報であってもよい。この場合、センサ部１１３は、ＧＰＳによる位置検出デバイスであり、センサ情報として位置情報を出力する。

動画圧縮部１２１は、撮像部１１１から出力された映像信号と音声入力部１１２から出力された音声信号とをそれぞれ圧縮（符号化）した符号化データの系列（符号化データ系列）を生成し、データ系列書き込み部１２２に出力する。ここで、映像信号の符号化データは、映像信号をフレーム毎に符号化した符号化データであるフレームデータであるものとする。映像信号の符号化にフレーム間予測を用いる場合、映像信号の符号化データ系列は、フレーム間予測を用いずに符号化したキーフレーム（Ｉフレーム）のフレームデータ（以下、キーフレームデータとする）と、キーフレームデータに続く、キーフレームを基準にフレーム間予測により符号化したキーフレーム以外のフレーム（Ｐフレーム、または、Ｂフレーム）のフレームデータとにより構成される「フレームデータの集合」の系列であってもよい。また、映像信号の符号化にフレーム間予測を用いない場合、映像信号のデータ系列は、キーフレームデータの系列であってもよい。

データ系列書き込み部１２２は、動画圧縮部１２１から出力された符号化データ系列に、センサ部１１３から出力されたセンサ情報を挿入し、動画ファイルに書き込む。

フレーム情報書き込み部１２３は、データ系列書き込み部１２２が生成した符号化データ系列におけるキーフレームデータのそれぞれの位置、及びキーフレームデータとキーフレームデータに続くフレームデータとのデータ長（「フレームデータの集合」のデータ長）を示すフレーム情報を生成し、動画ファイルに書き込む。

動画ファイル出力部１２４は、動画ファイルを動画ファイル記憶部１３１に保存する。

動画ファイル記憶部１３１は、動画ファイルを記憶管理する。

動画ファイル入力部１４１は、動画ファイル記憶部１３１から動画ファイルを読み出す。

データ系列読み出し部１４２は、動画ファイルから符号化データ系列とセンサ情報とを抽出する。ここで、データ系列読み出し部１４２は、フレームデータ抽出部１４５とセンサ情報抽出部１４６とを含む。フレームデータ抽出部１４５は、動画ファイルに含まれるフレーム情報をもとに、動画ファイルから符号化データ系列を抽出し、動画伸張部１４３に出力する。センサ情報抽出部１４６は、動画ファイルに含まれるフレーム情報をもとに、動画ファイルからセンサ情報を抽出し、表示制御部１４４に出力する。

動画伸張部１４３は、符号化データ系列を伸張（復号化）し、映像信号と音声信号とを出力する。

表示制御部１４４は、動画伸張部１４３から出力された映像信号と、データ系列読み出し部１４２から出力されたセンサ情報とを表示部１５１に出力する。

表示部１５１は、例えば、ディスプレイ等の表示デバイスであり、表示制御部１４４から出力された映像信号をもとに動画を再生するとともに、表示制御部１４４から出力されたセンサ情報を表示する。

音声出力部１５２は、例えば、スピーカー等の音声出力デバイスであり、動画伸張部１４３から出力された音声信号をもとに音声を再生する。

なお、動画記録再生システム１００は、プログラムによって動作を行うコンピュータであってもよい。この場合、動画記録再生システム１００は、図示されない記憶部、処理部、及び入出力部を含み、これらは共通バスで電気的に接続される。記憶部は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やフラッシュメモリを含み、動画記録再生システム１００の機能を実現するためのプログラムやデータを記憶する。処理部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成され、記憶部のプログラムを読込んで処理を行うことで動画記録再生システム１００の各機能を実行する。入出力部は、ディスプレイや、キーボード、操作ボタン、マウス、スピーカー等を含み、動画記録再生システム１００のユーザとの入出力インタフェースである。ユーザは、入出力部を使用して録画や再生の操作だけでなく、センサ部１１３によるセンサ情報取得のオン／オフの操作や、表示部１５１におけるセンサ情報表示のオン／オフの操作を行ってもよい。

また、図２に示した動画記録再生システム１００が、データ系列書き込み部１２２とフレーム情報書き込み部１２３と動画ファイル出力部１２４とを含む動画記録装置１０１、及び、動画ファイル入力部１４１とデータ系列読み出し部１４２とを含む動画再生装置１０２を包含していてもよい。この場合、動画記録装置１０１と動画再生装置１０２とのそれぞれが、プログラムによって動作を行うコンピュータであってもよい。

次に、本発明の第一の実施の形態における動画記録再生システム１００の動作について説明する。本発明の第一の実施の形態においては、ファイル形式がＡＶＩ−ＲＩＦＦファイル形式、センサ部１１３が位置検出デバイスの場合について動作を説明する。

はじめに、本発明の第一の実施の形態における動画の録画処理について説明する。

動画記録再生システム１００の使用者が入出力部により録画の開始を指示すると、撮像部１１１は、映像信号の動画圧縮部１２１への出力を開始する。同様に、音声入力部１１２は、音声信号の動画圧縮部１２１への出力を開始する。ここで、使用者は、コーデックの種類、動画の解像度、総フレーム数、ビットレートの最大値等の符号化の属性情報を、録画の開始とともに入力するものとする。また、これらの属性情報は、管理者により、あらかじめ設定されていてもよい。

また、センサ部１１３は、取得した位置情報のデータ系列書き込み部１２２への出力を開始する。ここで、センサ部１１３は、使用者または管理者により設定された所定の頻度（所定の時間間隔）で位置情報を時系列に取得し、出力するものとする。

動画圧縮部１２１は、撮像部１１１から出力された映像信号と音声入力部１１２から出力された音声信号とを、使用者または管理者により設定されたコーデックに従って圧縮（符号化）し、符号化データ系列を生成する。動画圧縮部１２１は、生成した符号化データ系列をデータ系列書き込み部１２２に出力する。

ここで、符号化データ系列は、ＡＶＩ−ＲＩＦＦファイル形式に格納することができる符号化データ系列であればどのようなものであってもよい。例えば、映像の符号化データ系列は、Ｍｏｔｉｏｎ ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）やＤｉｖＸでもよい。また、音声の符号化データ系列は、ＭＰ３（ＭＰＥＧ Ａｕｄｉｏ Ｌａｙｅｒ−３）やＷＭＡ（Ｗｉｎｄｏｗｓ（登録商標） Ｍｅｄｉａ Ａｕｄｉｏ）でもよい。

図３は、本発明の第一の実施の形態における動画ファイルのファイル形式の例を示す図である。ＡＶＩ−ＲＩＦＦファイル形式は、図３に示すように、Ｈｅａｄｅｒ、Ｓｔｒｅａｍ Ｄａｔａ、及びＩｎｄｅｘを含む。なお、図３では、Ｓｔｒｅａｍ Ｄａｔａとして映像の符号化データ系列のみ示したが、音声のＳｔｒｅａｍ Ｄａｔａも同様に動画ファイルに書き込まれる。

Ｈｅａｄｅｒには、コーデックの種類、動画の解像度、総フレーム数、ビットレートの最大値等、符号化の属性情報が含まれる。

Ｓｔｒｅａｍ Ｄａｔａは、符号化データの系列である。図３において、Ｉ、Ｐ、及びＢは、それぞれ、映像の符号化データにおける、Ｉフレーム（キーフレーム）、Ｐフレーム、及びＢフレームのフレームデータを示している。ＡＶＩ−ＲＩＦＦファイル形式では、１つのフレームデータが１つのｃｈｕｎｋであり、１つのＩフレームに続くＰフレーム、Ｂフレームにより、１つのｃｈｕｎｋの集合（フレームデータの集合）が構成される。

本発明の第一の実施の形態では、図３に示すように、映像の符号化データにおける、各Ｉフレーム（キーフレーム）の前に位置情報を挿入することにより、ｃｈｕｎｋの集合（フレームデータの集合）毎に位置情報が挿入される。

Ｉｎｄｅｘには、各ｃｈｕｎｋの種類（キーフレームかどうか）を示すｄｗＦｌａｇｓ、各ｃｈｕｎｋの先頭アドレスを示すｄｗＣｈｕｎｋＯｆｆｓｅｔ、各ｃｈｕｎｋの長さを示すｄｗＣｈｕｎｋＬｅｎｇｔｈが含まれる。

本発明の第一の実施の形態では、Ｉｎｄｅｘを、符号化データ系列におけるキーフレームのフレームデータの位置、及びフレームデータの集合のデータ長を示すフレーム情報として用いる。ここで、キーフレームのフレームデータの位置は、ｄｗＦｌａｇｓがキーフレームを示すｃｈｕｎｋのｄｗＣｈｕｎｋＯｆｆｓｅｔから得られる。また、フレームデータの集合のデータ長は、フレームデータの集合内の各ｃｈｕｎｋについて、ｄｗＣｈｕｎｋＬｅｎｇｔｈを合計することにより算出される。

図４は、本発明の第一の実施の形態におけるデータ系列書き込み部１２２、フレーム情報書き込み部１２３、及び動画ファイル出力部１２４による録画処理を示すフローチャートである。

はじめに、データ系列書き込み部１２２は、使用者または管理者により設定された符号化の属性情報を動画ファイルのＨｅａｄｅｒに書き込む（ステップＳ１０１）。

次に、データ系列書き込み部１２２は、動画圧縮部１２１から符号化データ系列内のｃｈｕｎｋを取得する（ステップＳ１０２）。データ系列書き込み部１２２は、取得したｃｈｕｎｋを動画ファイルのＳｔｒｅａｍ Ｄａｔａに書き込む（ステップＳ１０３）。

フレーム情報書き込み部１２３は、書き込んだｃｈｕｎｋについてｄｗＦｌａｇｓ、ｄｗＣｈｕｎｋＯｆｆｓｅｔを動画ファイルのＩｎｄｅｘに書き込む（ステップＳ１０４）。また、フレーム情報書き込み部１２３は、書き込んだｃｈｕｎｋについてｄｗＣｈｕｎｋＬｅｎｇｔｈをＩｎｄｅｘに書き込む（ステップＳ１０５）。

次のｃｈｕｎｋが存在する場合（ステップＳ１０６／Ｙｅｓ）、データ系列書き込み部１２２は、動画圧縮部１２１から次のｃｈｕｎｋを取得する（ステップＳ１０７）。

取得したｃｈｕｎｋがキーフレームである場合（ステップＳ１０８／Ｙｅｓ）、データ系列書き込み部１２２は、センサ部１１３から取得している最新の位置情報をＳｔｒｅａｍ Ｄａｔａにおける前のｃｈｕｎｋに続けて書き込む（ステップＳ１０９）。ここで、データ系列書き込み部１２２は、位置情報から、必要な情報を抽出し、それをバイト列に変換してＳｔｒｅａｍ Ｄａｔａに書き込む。そして、ステップＳ１０３からＳ１０５に従って、データ系列書き込み部１２２が、取得したキーフレームのｃｈｕｎｋをＳｔｒｅａｍ Ｄａｔａにおける位置情報に続けて書き込み、フレーム情報書き込み部１２３が、書き込んだｃｈｕｎｋについてのｄｗＦｌａｇｓ、ｄｗＣｈｕｎｋＯｆｆｓｅｔ、及びｄｗＣｈｕｎｋＬｅｎｇｔｈをＩｎｄｅｘに書き込む。ここで、ｄｗＣｈｕｎｋＯｆｆｓｅｔには、位置情報が挿入された後のｃｈｕｎｋの先頭アドレスが設定される。

なお、ステップＳ１０９において、データ系列書き込み部１２２は、取得している最新の位置情報が既にＳｔｒｅａｍ Ｄａｔａに書き込み済みの場合は、位置情報の書き込みを行わなくてもよい。

一方、ステップＳ１０８において、取得したｃｈｕｎｋがキーフレームでない場合（ステップＳ１０８／Ｎｏ）、ステップＳ１０３からＳ１０５に従って、データ系列書き込み部１２２が、取得したｃｈｕｎｋをＳｔｒｅａｍ Ｄａｔａにおける前のｃｈｕｎｋに続けて書き込み、フレーム情報書き込み部１２３が、書き込んだｃｈｕｎｋについてのｄｗＦｌａｇｓ、ｄｗＣｈｕｎｋＯｆｆｓｅｔ、及びｄｗＣｈｕｎｋＬｅｎｇｔｈをＩｎｄｅｘに書き込む。

動画記録再生システム１００は、使用者が入出力部により録画の終了を指示するまで、ステップＳ１０３からＳ１０９を繰り返す。

録画が終了し、ステップＳ１０６において、次のｃｈｕｎｋが存在しない場合（ステップＳ１０６／Ｎｏ）、動画ファイル出力部１２４は、Ｈｅａｄｅｒ、Ｓｔｒｅａｍ Ｄａｔａ、及びＩｎｄｅｘを含む動画ファイルを動画ファイル記憶部１３１に保存する（ステップＳ１１０）。

次に、本発明の第一の実施の形態における動画の再生処理について説明する。

図５は、本発明の第一の実施の形態における動画ファイル入力部１４１、及びデータ系列読み出し部１４２による再生処理を示すフローチャートである。

動画記録再生システム１００の使用者が入出力部により再生の開始を指示すると、動画ファイル入力部１４１は、動画ファイルを動画ファイル記憶部１３１から読み出す（ステップＳ２０１）。データ系列読み出し部１４２は、動画ファイルのＨｅａｄｅｒを読み出し、再生に必要なコーデックの情報等を抽出し、動画伸張部１４３へ出力する（ステップＳ２０２）。データ系列読み出し部１４２のフレームデータ抽出部１４５は、動画ファイルのＩｎｄｅｘから、最初のｃｈｕｎｋについて、ｄｗＦｌａｇｓとｄｗＣｈｕｎｋＯｆｆｓｅｔとを読み出す（ステップＳ２０３）。

次に、フレームデータ抽出部１４５は、Ｉｎｄｅｘから、当該ｃｈｕｎｋについて、ｄｗＣｈｕｎｋＬｅｎｇｔｈを読み出す（ステップＳ２０４）。フレームデータ抽出部１４５は、ｄｗＣｈｕｎｋＯｆｆｓｅｔとｄｗＣｈｕｎｋＬｅｎｇｔｈとをもとに、当該ｃｈｕｎｋの終点の位置を算出する（ステップＳ２０５）。

次に、フレームデータ抽出部１４５は、算出した終点の位置までの符号化データ（ｃｈｕｎｋ）を読み出し、動画伸張部１４３に出力する（ステップＳ２０６）。

次のｃｈｕｎｋがある場合（ステップＳ２０７／Ｙｅｓ）、フレームデータ抽出部１４５は、Ｉｎｄｅｘから、次のｃｈｕｎｋのｄｗＦｌａｇｓとｄｗＣｈｕｎｋＯｆｆｓｅｔとを読み出す（ステップＳ２０８）。

フレームデータ抽出部１４５は、ｄｗＦｌａｇｓをもとに、次のｃｈｕｎｋがキーフレームであるかどうかを判定する。次のｃｈｕｎｋが、キーフレームである場合（ステップＳ２０９／Ｙｅｓ）、データ系列読み出し部１４２のセンサ情報抽出部１４６は、ｄｗＣｈｕｎｋＯｆｆｓｅｔで示される次のｃｈｕｎｋの始点の位置（図３における位置Ｂ）とステップＳ２０５で算出された前のｃｈｕｎｋの終点の位置（図３における位置Ａ）に差異があるかどうかを判定する。

次のｃｈｕｎｋの始点の位置と前のｃｈｕｎｋの終点の位置とに差異がある場合（ステップＳ２１０／Ｙｅｓ）、センサ情報抽出部１４６は、次のｃｈｕｎｋの始点の位置と前のｃｈｕｎｋの終点の位置との間にある位置情報を抽出し、表示制御部１４４に送信する（ステップＳ２１１）。ここで、センサ情報抽出部１４６は、次のｃｈｕｎｋの始点の位置と前のｃｈｕｎｋの終点の位置との間にあるデータの内容を解析し、そのデータが位置情報の場合、表示制御部１４４に送信する。また、センサ情報抽出部１４６は、位置情報から日時、標高、緯度、経度等の情報を抽出し、それらを使用者が見やすい形式に変換し、表示制御部１４４に送信してもよい。

そして、フレームデータ抽出部１４５は、ステップＳ２０４からＳ２０６に従って、次のｃｈｕｎｋのｄｗＣｈｕｎｋＬｅｎｇｔｈの読み出し、終点の位置の算出を行い、次のｃｈｕｎｋを動画伸張部１４３へ出力する。

一方、ステップＳ２０９において、次のｃｈｕｎｋがキーフレームでない場合（ステップＳ２０９／Ｎｏ）、または、ステップＳ２１０において、次のｃｈｕｎｋの始点の位置と前のｃｈｕｎｋの終点の位置とに差異がない場合（ステップＳ２１０／Ｙｅｓ）も、フレームデータ抽出部１４５は、ステップＳ２０４からＳ２０６に従って、次のｃｈｕｎｋのｄｗＣｈｕｎｋＬｅｎｇｔｈの読み出し、終点の位置の算出を行い、次のｃｈｕｎｋを動画伸張部１４３へ送信する。

動画記録再生システム１００は、次のｃｈｕｎｋがなくなるまで（ステップＳ２０７／Ｎｏ）、ステップＳ２０４からＳ２１１を繰り返す。

動画伸張部１４３は、ステップＳ２０６で、フレームデータ抽出部１４５からｃｈｕｎｋが出力されると、当該ｃｈｕｎｋを、Ｈｅａｄｅｒで指定されたコーデックで伸張し、映像信号を表示制御部１４４へ、音声信号を音声出力部１５２へ出力する。

表示制御部１４４は、動画伸張部１４３から出力された映像信号とステップＳ２１１でセンサ情報抽出部１４６から出力された位置情報とを、表示部１５１に出力する。

表示部１５１は、表示制御部１４４から出力された映像信号と位置情報とを画面上に表示する。

また、音声出力部１５２は、動画伸張部１４３から出力された音声信号を再生する。

以上により、本発明の第一の実施の形態の動作が完了する。

次に、本発明の第一の実施の形態の特徴的な構成について説明する。

図１は、本発明の第一の実施の形態における動画再生装置１０２の特徴的な構成を示すブロック図である。図１を参照すると、動画再生装置１０２は、フレームデータ抽出部１４５とセンサ情報抽出部１４６とを含む。

ここで、フレームデータ抽出部１４５は、映像信号を符号化したフレームデータの系列上のキーフレームのフレームデータであるキーフレームデータの前にセンサ情報が挿入されたデータ系列と、当該データ系列におけるキーフレームデータのそれぞれの位置、及び当該キーフレームデータと当該キーフレームデータに続くキーフレーム以外のフレームデータとのデータ長を示すフレーム情報と、を含む動画ファイルを入力して、フレーム情報をもとに、動画ファイルのデータ系列に含まれるフレームデータを順番に抽出し、抽出されたフレームデータを、フレームデータを復号化して映像信号を表示部に出力する動画伸張部に出力する。

また、センサ情報抽出部１４６は、フレーム情報をもとに、動画ファイルのデータ系列に含まれるキーフレームデータの始点の位置と当該キーフレームデータの前のフレームデータの終点の位置との差分を算出し、差分がある場合、当該キーフレームデータの前に挿入されたセンサ情報を抽出し、抽出されたセンサ情報を表示部に出力する。

本発明の第一の実施の形態によれば、フレームデータが連続して配置されたファイル形式において、センサ情報を動画に合わせて再生できる。その理由は、動画ファイルが、映像信号を符号化したフレームデータの系列上のキーフレームのフレームデータであるキーフレームデータの前にセンサ情報が挿入されたデータ系列と、当該データ系列におけるキーフレームデータのそれぞれの位置、及び当該キーフレームデータと当該キーフレームデータに続くキーフレーム以外のフレームデータとのデータ長を示すフレーム情報と、を含み、映像の再生時に、センサ情報抽出部１４６が、フレーム情報をもとに、動画ファイルのデータ系列に含まれるキーフレームデータの始点の位置と当該キーフレームデータの前のフレームデータの終点の位置との差分を算出し、差分がある場合、キーフレームデータの前に挿入されたセンサ情報を抽出するためである。

また、本発明の第一の実施の形態によれば、フレームデータが連続して配置されたファイル形式において、センサ情報を動画に合わせて分割して記録できる。その理由は、映像の録画時に、データ系列書き込み部１２２が、フレームデータの系列上のキーフレームデータの前にセンサ情報を挿入したデータ系列を生成し、フレーム情報書き込み部１２３が、データ系列におけるキーフレームデータのそれぞれの位置、及び当該キーフレームデータと当該キーフレームデータに続くフレームデータとのデータ長を示すフレーム情報を生成し、データ系列とフレーム情報とを動画ファイルに書き込むためである。

また、本発明の第一の実施の形態によれば、センサ情報を動画に合わせて記録でき、かつ、センサ情報の抽出に対応していない動画再生装置でも映像の再生が可能な動画ファイルを生成できる。その理由は、上述の通り、データ系列書き込み部１２２が、キーフレームデータの前にセンサ情報を挿入したデータ系列を生成し、フレーム情報書き込み部１２３が、データ系列におけるキーフレームデータのそれぞれの位置、及び当該キーフレームデータと当該キーフレームデータに続くフレームデータとのデータ長を示すフレーム情報を生成するためである。センサ情報の抽出に対応していない動画再生装置は、フレーム情報に含まれるキーフレームデータの位置をもとに、フレームデータを抽出することで、キーフレームデータの前に挿入されたセンサ情報の影響を受けずに、映像の再生を行うことができる。

また、本発明の第一の実施の形態によれば、ＡＶＩ−ＲＩＦＦファイル形式の動画ファイルにおいて、センサ情報を動画に合わせて分割して記録できる。その理由は、映像の録画時に、データ系列書き込み部１２２が、キーフレームのｃｈｕｎｋの前にセンサ情報を挿入したデータ系列を生成し、フレーム情報書き込み部１２３が、フレーム情報として、データ系列におけるｃｈｕｎｋのそれぞれの位置、ｃｈｕｎｋがキーフレームであるかどうかを示す情報、及びｃｈｕｎｋのそれぞれのデータ長を示すＩｎｄｅｘを生成するためである。そして、映像の再生時に、センサ情報抽出部１４６が、Ｉｎｄｅｘをもとに、データ系列に含まれるキーフレームのｃｈｕｎｋの始点の位置と当該キーフレームのｃｈｕｎｋの前のｃｈｕｎｋの終点の位置との差分を算出し、差分がある場合、当該キーフレームのｃｈｕｎｋの前に挿入されたセンサ情報を抽出するためである。

（第二の実施の形態）
次に、本発明の第二の実施の形態について説明する。

本発明の第二の実施の形態においては、ファイル形式がＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔであるものとする。本発明の第二の実施の形態は、ファイル形式がＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔである点で、本発明の第一の実施の形態と異なる。

本発明の第二の実施の形態の構成については、本発明の第一の実施の形態の構成と同様となる。

はじめに、本発明の第二の実施の形態における動画の録画処理について説明する。

撮像部１１１、音声入力部１１２、センサ部１１３、及び動画圧縮部１２１の処理については、本発明の第一の実施の形態と同様となる。

図６は、本発明の第二の実施の形態における動画ファイルのファイル形式の例を示す図である。ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔは、図６に示すように、Ｈｅａｄｅｒ、Ｔｒａｉｌｅｒ、及びＭｅｄｉａ Ｄａｔａを含む。図６において、Ｍｅｄｉａ Ｄａｔａとして映像の符号化データ系列のみ示したが、音声のＭｅｄｉａ Ｄａｔａも同様に動画ファイルに書き込まれる。また、ＴｒａｉｌｅｒとＭｅｄｉａ Ｄａｔａの順序については、ＴｒａｉｌｅｒがＭｅｄｉａ Ｄａｔａの後に存在してもよい。

Ｍｅｄｉａ Ｄａｔａは、符号化データの系列である。図６において、Ｉ、Ｐ、及びＢは、それぞれ、映像の符号化データにおける、Ｉ−ＶＯＰ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）（Ｉフレーム、または、キーフレーム）、Ｐ−ＶＯＰ（Ｐフレーム）、及びＢ−ＶＯＰ（Ｂフレーム）のフレームデータ（サンプル）を示している。ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔでは、１つのＩ−ＶＯＰと当該Ｉ−ＶＯＰ続くＰ−ＶＯＰ、Ｂ−ＶＯＰのフレームデータの集合により、１つのｃｈｕｎｋが構成される。

本発明の第二の実施の形態では、図６に示すように、映像の符号化データにおける、各Ｉフレーム（キーフレーム）の前に位置情報を挿入することにより、ｃｈｕｎｋ（フレームデータの集合）毎に位置情報が挿入される。

Ｔｒａｉｌｅｒには、映像、または、音声の符号化データの再生時間、表示解像度、コーデックの種類、ビットレート等の符号化の属性情報が含まれる。また、Ｔｒａｉｌｅｒには、各ｃｈｕｎｋの属性情報として、各ｃｈｕｎｋの先頭アドレスを示すｓｔｃｏ、各ｃｈｕｎｋ内のフレームデータ（サンプル）の数を示すｓｔｓｃ、及び、各フレームデータ（サンプル）の長さを示すｓｔｓｚが含まれる。

本発明の第二の実施の形態では、Ｔｒａｉｌｅｒを、符号化データ系列におけるキーフレームのフレームデータの位置、及びフレームデータの集合のデータ長を示すフレーム情報として用いる。ここで、キーフレームのフレームデータの位置は、ｓｔｃｏから得られる。また、フレームデータの集合のデータ長は、各ｃｈｕｎｋについて、ｓｔｓｚを合計することにより算出される。

図７は、本発明の第二の実施の形態におけるデータ系列書き込み部１２２、フレーム情報書き込み部１２３、及び動画ファイル出力部１２４による録画処理を示すフローチャートである。

はじめに、データ系列書き込み部１２２は、使用者または管理者により設定された符号化の属性情報を動画ファイルのＴｒａｉｌｅｒに書き込む（ステップＳ３０１）。

次に、データ系列書き込み部１２２は、動画圧縮部１２１から符号化データ系列内のｃｈｕｎｋを取得する（ステップＳ３０２）。データ系列書き込み部１２２は、取得したｃｈｕｎｋを動画ファイルのＭｅｄｉａ Ｄａｔaに書き込む（ステップＳ３０３）。

フレーム情報書き込み部１２３は、書き込んだｃｈｕｎｋについてｓｔｃｏを動画ファイルのＴｒａｉｌｅｒに書き込む（ステップＳ３０４）。また、フレーム情報書き込み部１２３は、書き込んだｃｈｕｎｋについてｓｔｓｃ、ｓｔｓｚをＴｒａｉｌｅｒに書き込む（ステップＳ３０５）。

次のｃｈｕｎｋが存在する場合（ステップＳ３０６／Ｙｅｓ）、データ系列書き込み部１２２は、動画圧縮部１２１から次のｃｈｕｎｋを取得する（ステップＳ３０７）。

データ系列書き込み部１２２は、センサ部１１３から取得している最新の位置情報をＭｅｄｉａ Ｄａｔaにおける前のｃｈｕｎｋに続けて書き込む（ステップＳ３０８）。ここで、データ系列書き込み部１２２は、位置情報から、必要な情報を抽出し、それをバイト列に変換してＭｅｄｉａ Ｄａｔaに書き込む。そして、ステップＳ３０３からＳ３０５に従って、データ系列書き込み部１２２が、取得したｃｈｕｎｋをＭｅｄｉａ Ｄａｔaに書き込み、フレーム情報書き込み部１２３が、書き込んだｃｈｕｎｋについてのｓｔｃｏ、ｓｔｓｃ、及びｓｔｓｚをＴｒａｉｌｅｒ書き込む。ここで、ｓｔｃｏには、位置情報が挿入された後のｃｈｕｎｋの先頭アドレスが設定される。

なお、ステップＳ３０８において、データ系列書き込み部１２２は、取得している最新の位置情報が既にＭｅｄｉａ Ｄａｔaに書き込み済みの場合は、位置情報の書き込みを行わなくてもよい。

動画記録再生システム１００は、使用者が入出力部により録画の終了を指示するまで、ステップＳ３０３からＳ３０８を繰り返す。

録画が終了し、ステップＳ３０６において、次のｃｈｕｎｋが存在しない場合（ステップＳ３０６／Ｎｏ）、動画ファイル出力部１２４は、Ｍｅｄｉａ ＤａｔaとＴｒａｉｌｅｒとを含む動画ファイルを動画ファイル記憶部１３１に保存する（ステップＳ３０９）。

次に、本発明の第二の実施の形態における動画の再生処理について説明する。

図８は、本発明の第二の実施の形態における動画ファイル入力部１４１、及びデータ系列読み出し部１４２による再生処理を示すフローチャートである。

動画記録再生システム１００の使用者が入出力部により再生の開始を指示すると、動画ファイル入力部１４１は、動画ファイルを動画ファイル記憶部１３１から読み出す（ステップＳ４０１）。データ系列読み出し部１４２は、動画ファイルのＴｒａｉｌｅｒを読み出し、再生に必要なコーデックの情報等を抽出し、動画伸張部１４３へ送信する（ステップＳ４０２）。データ系列読み出し部１４２のフレームデータ抽出部１４５は、動画ファイルのＴｒａｉｌｅｒから、最初のｃｈｕｎｋについて、ｓｔｃｏを読み出す（ステップＳ４０３）。

次に、フレームデータ抽出部１４５は、Ｔｒａｉｌｅｒから、当該ｃｈｕｎｋについて、ｓｔｓｃとｓｔｓｚとを読み出す（ステップＳ４０４）。フレームデータ抽出部１４５は、ｓｔｃｏ、ｓｔｓｃ、及びｓｔｓｚをもとに、当該ｃｈｕｎｋの終点の位置を算出する（ステップＳ４０５）。

次に、フレームデータ抽出部１４５は、算出した終点の位置までの符号化データ（ｃｈｕｎｋ）を読み出し、動画伸張部１４３に出力する（ステップＳ４０６）。

次のｃｈｕｎｋがある場合（ステップＳ４０７／Ｙｅｓ）、フレームデータ抽出部１４５は、Ｔｒａｉｌｅｒから、次のｃｈｕｎｋのｓｔｃｏを読み出す（ステップＳ４０８）。

データ系列読み出し部１４２のセンサ情報抽出部１４６は、ｓｔｃｏで示される次のｃｈｕｎｋの始点の位置（図６における位置Ｂ）とステップＳ２０５で算出された前のｃｈｕｎｋの終点の位置（図６における位置Ａ）に差異があるかどうかを判定する。

次のｃｈｕｎｋの始点の位置と前のｃｈｕｎｋの終点の位置とに差異がある場合（ステップＳ４０９／Ｙｅｓ）、センサ情報抽出部１４６は、次のｃｈｕｎｋの始点の位置と前のｃｈｕｎｋの終点の位置との間にある位置情報を抽出し、表示制御部１４４に送信する（ステップＳ４１０）。

そして、フレームデータ抽出部１４５は、ステップＳ４０４からＳ４０６に従って、次のｃｈｕｎｋのｓｔｓｃ、ｓｔｓｚの読み出し、終点の位置の算出を行い、次のｃｈｕｎｋを動画伸張部１４３へ出力する。

動画記録再生システム１００は、次のｃｈｕｎｋがなくなるまで（ステップＳ４０７／Ｎｏ）、ステップＳ４０４からＳ４１０を繰り返す。

動画伸張部１４３、表示制御部１４４、表示部１５１、及び音声出力部１５２の処理は、本発明の第一の実施の形態と同様となる。

以上により、本発明の第二の実施の形態の動作が完了する。

本発明の第二の実施の形態によれば、ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔの動画ファイルにおいて、センサ情報を動画に合わせて分割して記録できる。その理由は、映像の録画時に、データ系列書き込み部１２２が、ｃｈｕｎｋの前にセンサ情報を挿入したデータ系列を生成し、フレーム情報書き込み部１２３が、フレーム情報として、データ系列におけるそれぞれのｃｈｕｎｋ位置、及びデータ長を示すＴｒａｉｌｅｒを生成するためである。そして、映像の再生時に、センサ情報抽出部１４６が、Ｔｒａｉｌｅｒをもとに、データ系列に含まれるｃｈｕｎｋの始点の位置と当該ｃｈｕｎｋの前のｃｈｕｎｋの終点の位置との差分を算出し、差分がある場合、当該ｃｈｕｎｋの前に挿入されたセンサ情報を抽出するためである。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

例えば、本発明の実施の形態では、センサ情報を位置情報としたが、センサ情報は、撮像部１１１が搭載された自動車（移動体）の速度情報、ギアの情報、ガソリンの残量情報等の自動車の制御情報であってもよい。この場合、センサ部１１３は、速度計（速度検出デバイス）、ギア制御装置、ガソリン計（ガソリン残量検出デバイス）等であり、図３、図６に示したファイル形式において、符号化データ系列（Ｓｔｒｅａｍ Ｄａｔa、Ｍｅｄｉａ Ｄａｔａ）に、位置情報の代わりに、これらの制御情報が挿入される。これにより、ドライブレコーダのように、自動車の様々な制御情報を、当該自動車の周辺の映像に合わせて、継続的に記録、または、再生することができる。

また、本発明の実施の形態では、動画ファイルは、動画記録再生システム１００の動画ファイル記憶部１３１に保存されるものとしたが、動画ファイルは、動画記録再生システム１００とネットワークにより接続された動画サーバに保存してもよい。この場合、動画記録再生システム１００は、図２の動画ファイル記憶部１３１の代わりにネットワーク接続部を備え、当該ネットワーク接続部が、動画ファイルを動画サーバに送信、または、動画サーバから受信する。これにより、動画ファイルがネットワークにより接続された動画サーバに格納される場合でも、映像を位置情報とともに記録、または、再生できる。

なお、この場合、動画記録再生システム１００は、動画ファイルを動画サーバに送信、または、動画サーバから受信しながら撮影、または、再生を行ってもよい。すなわち、データ系列書き込み部１２２が、動画圧縮部１２１からｃｈｕｎｋを受信し、ｃｈｕｎｋまたは位置情報をＳｔｒｅａｍ ＤａｔａまたはＭｅｄｉａ Ｄａｔａに書き込むたびに、ネットワーク接続部が、当該ｃｈｕｎｋ、または、位置情報を動画サーバに送信してもよい。また、ネットワーク接続部が、Ｓｔｒｅａｍ ＤａｔａまたはＭｅｄｉａ Ｄａｔａの一部を動画サーバから順番に受信するたびに、データ系列読み出し部１４２が、ｃｈｕｎｋまたは位置情報を抽出し、再生してもよい。

なお、動画ファイルを送信、または、受信しながら撮影、または、再生する場合、ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔのように、再生に必要となるキーフレーム情報が符号化データに先行するファイル形式が用いられる。

また、表示制御部１４４は、データ系列読み出し部１４２から出力された位置情報が示す場所とその移動経路とを地図上に示した地図画像を生成し、当該地図画像を動画伸張部１４３から出力された映像信号とともに表示部１５１に出力してもよい。これにより、使用者は、動画ファイルから再生された映像とともに、その映像が撮影された撮影地点と移動経路とを地図上で確認することができる。

また、本発明の実施の形態では、動画ファイルのファイル形式を、ＡＶＩ−ＲＩＦＦファイル形式、または、ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔとしたが、キーフレームを含むフレームデータの系列を格納する他のファイル形式に対しても、本発明が適用できることはいうまでもない。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
映像信号を符号化したフレームデータの系列上のキーフレームの前記フレームデータであるキーフレームデータの前にセンサ情報が挿入されたデータ系列と、当該データ系列における前記キーフレームデータのそれぞれの位置、及び当該キーフレームデータと当該キーフレームデータに続くキーフレーム以外の前記フレームデータとのデータ長を示すフレーム情報と、を含む動画ファイルを入力して、前記フレーム情報をもとに、前記動画ファイルの前記データ系列に含まれる前記フレームデータを順番に抽出し、抽出された前記フレームデータを、前記フレームデータを復号化して前記映像信号を表示手段に出力する動画伸張手段に出力するフレームデータ抽出手段と、
前記フレーム情報をもとに、前記動画ファイルの前記データ系列に含まれる前記キーフレームデータの始点の位置と当該キーフレームデータの前の前記フレームデータの終点の位置との差分を算出し、差分がある場合、当該キーフレームデータの前に挿入された前記センサ情報を抽出し、抽出された前記センサ情報を前記表示手段に出力するセンサ情報抽出手段と
を含む動画再生装置。

（付記２）
（付記１）記載の動画再生装置、ならびに、
入力した映像信号を符号化することにより前記フレームデータを生成する動画圧縮手段から出力された前記フレームデータの系列上の前記キーフレームデータの前に、センサ手段から出力された前記センサ情報を挿入することにより、前記データ系列を生成し、前記動画ファイルに書き込むデータ系列書き込み手段と、
前記データ系列における前記フレーム情報を生成し、前記動画ファイルに書き込むフレーム情報書き込み手段と
を含む動画記録装置
を包含する動画記録再生システム。

（付記３）
前記動画ファイルのファイル形式は、ＡＶＩ−ＲＩＦＦファイル形式であり、
前記データ系列書き込み手段は、前記フレームデータであるｃｈｕｎｋのうち、キーフレームの前記ｃｈｕｎｋの前に前記センサ情報を挿入した前記データ系列を生成し、
前記フレーム情報書き込み手段は、前記フレーム情報として、前記データ系列における前記ｃｈｕｎｋのそれぞれの位置、前記ｃｈｕｎｋがキーフレームであるかどうかを示す情報、及び前記ｃｈｕｎｋのそれぞれのデータ長を示すＩｎｄｅｘを生成し、
前記フレームデータ抽出手段は、前記Ｉｎｄｅｘをもとに、前記データ系列に含まれる前記ｃｈｕｎｋを順番に抽出し、
前記センサ情報抽出手段は、前記Ｉｎｄｅｘをもとに、前記データ系列に含まれる前記キーフレームの前記ｃｈｕｎｋの始点の位置と当該キーフレームの前記ｃｈｕｎｋの前の前記ｃｈｕｎｋの終点の位置との差分を算出し、差分がある場合、当該キーフレームの前記ｃｈｕｎｋの前に挿入された前記センサ情報を抽出する
（付記２）記載の動画記録再生システム。

（付記４）
前記動画ファイルのファイル形式は、ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔであり、
前記データ系列書き込み手段は、前記キーフレームデータと当該キーフレームデータに続くキーフレーム以外の前記フレームデータの集合であるｃｈｕｎｋの前に、前記センサ情報を挿入した前記データ系列を生成し、
前記フレーム情報書き込み手段は、前記フレーム情報として、前記データ系列における前記ｃｈｕｎｋのそれぞれの位置、及びデータ長を示すＴｒａｉｌｅｒを生成し、
前記フレームデータ抽出手段は、前記Ｔｒａｉｌｅｒをもとに、前記データ系列に含まれる前記ｃｈｕｎｋを順番に抽出し、
前記センサ情報抽出手段は、前記Ｔｒａｉｌｅｒをもとに、前記データ系列に含まれる前記ｃｈｕｎｋの始点の位置と当該ｃｈｕｎｋの前の前記ｃｈｕｎｋの終点の位置との差分を算出し、差分がある場合、当該ｃｈｕｎｋの前に挿入された前記センサ情報を抽出する
（付記２）記載の動画記録再生システム。

（付記５）
前記センサ手段は、前記撮像手段の位置を検出する位置検出デバイスであり、前記データ系列書き込み手段は、前記センサ情報として、前記センサ手段から出力された位置情報を挿入した前記データ系列を生成する
（付記２）記載の動画記録再生システム。

（付記６）
前記センサ手段は、前記撮像手段が搭載された移動体の速度検出デバイスであり、前記データ系列書き込み手段は、前記センサ情報として、前記センサ手段から出力された速度情報を挿入した前記データ系列を生成する
（付記２）記載の動画記録再生システム。

（付記７）
第１のコンピュータに、
映像信号を符号化したフレームデータの系列上のキーフレームの前記フレームデータであるキーフレームデータの前にセンサ情報が挿入されたデータ系列と、当該データ系列における前記キーフレームデータのそれぞれの位置、及び当該キーフレームデータと当該キーフレームデータに続くキーフレーム以外の前記フレームデータとのデータ長を示すフレーム情報と、を含む動画ファイルを入力して、前記フレーム情報をもとに、前記動画ファイルの前記データ系列に含まれる前記フレームデータを順番に抽出し、
抽出された前記フレームデータを、前記フレームデータを復号化して前記映像信号を表示手段に出力する動画伸張手段に出力し、
前記フレーム情報をもとに、前記動画ファイルの前記データ系列に含まれる前記キーフレームデータの始点の位置と当該キーフレームデータの前の前記フレームデータの終点の位置との差分を算出し、差分がある場合、当該キーフレームデータの前に挿入された前記センサ情報を抽出し、
抽出された前記センサ情報を前記表示手段に出力する
処理を実行させる動画再生用プログラム。

（付記８）
前記第１のコンピュータ、または、第２のコンピュータに、
入力した映像信号を符号化することにより前記フレームデータを生成する動画圧縮手段から出力された前記フレームデータの系列上の前記キーフレームデータの前に、センサ手段から出力された前記センサ情報を挿入することにより、前記データ系列を生成し、
前記データ系列を前記動画ファイルに書き込み、
前記データ系列における前記フレーム情報を生成し、
前記フレーム情報を前記動画ファイルに書き込む
処理を実行させる動画記録用プログラム、
ならびに、（付記７）記載の動画再生用プログラムを包含する動画記録再生用プログラム。

（付記９）
前記動画ファイルのファイル形式は、ＡＶＩ−ＲＩＦＦファイル形式であり、
前記第１のコンピュータ、または、前記第２のコンピュータに、
前記データ系列を生成する場合、前記フレームデータであるｃｈｕｎｋのうち、キーフレームの前記ｃｈｕｎｋの前に前記センサ情報を挿入した前記データ系列を生成し、
前記フレーム情報を生成する場合、前記フレーム情報として、前記データ系列における前記ｃｈｕｎｋのそれぞれの位置、前記ｃｈｕｎｋがキーフレームであるかどうかを示す情報、及び前記ｃｈｕｎｋのそれぞれのデータ長を示すＩｎｄｅｘを生成する
処理を実行させ、
前記第１のコンピュータに、
前記フレームデータを抽出する場合、前記Ｉｎｄｅｘをもとに、前記データ系列に含まれる前記ｃｈｕｎｋを順番に抽出し、
前記センサ情報を抽出する場合、前記Ｉｎｄｅｘをもとに、前記データ系列に含まれる前記キーフレームの前記ｃｈｕｎｋの始点の位置と当該キーフレームの前記ｃｈｕｎｋの前の前記ｃｈｕｎｋの終点の位置との差分を算出し、差分がある場合、当該キーフレームの前記ｃｈｕｎｋの前に挿入された前記センサ情報を抽出する
処理を実行させる
（付記８）記載の動画記録再生用プログラム。

（付記１０）
前記動画ファイルのファイル形式は、ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔであり、
前記第１のコンピュータ、または、前記第２のコンピュータに、
前記データ系列を生成する場合、前記キーフレームデータと当該キーフレームデータに続くキーフレーム以外の前記フレームデータの集合であるｃｈｕｎｋの前に、前記センサ情報を挿入した前記データ系列を生成し、
前記フレーム情報を生成する場合、前記フレーム情報として、前記データ系列における前記ｃｈｕｎｋのそれぞれの位置、及びデータ長を示すＴｒａｉｌｅｒを生成する
処理を実行させ、
前記第１のコンピュータに、
前記フレームデータを抽出する場合、前記Ｔｒａｉｌｅｒをもとに、前記データ系列に含まれる前記ｃｈｕｎｋを順番に抽出し、
前記センサ情報を抽出する場合、前記Ｔｒａｉｌｅｒをもとに、前記データ系列に含まれる前記ｃｈｕｎｋの始点の位置と当該ｃｈｕｎｋの前の前記ｃｈｕｎｋの終点の位置との差分を算出し、差分がある場合、当該ｃｈｕｎｋの前に挿入された前記センサ情報を抽出する
処理を実行させる
（付記８）記載の動画記録再生用プログラム。

（付記１１）
前記センサ手段は、前記撮像手段の位置を検出する位置検出デバイスであり、
前記第１のコンピュータ、または、前記第２のコンピュータに、
前記データ系列を生成する場合、前記センサ情報として、前記センサ手段から出力された位置情報を挿入した前記データ系列を生成する
処理を実行させる
（付記８）記載の動画記録再生用プログラム。

（付記１２）
前記センサ手段は、前記撮像手段が搭載された移動体の速度検出デバイスであり、
前記第１のコンピュータ、または、前記第２のコンピュータに、
前記データ系列を生成する場合、前記センサ情報として、前記センサ手段から出力された速度情報を挿入した前記データ系列を生成する
処理を実行させる
（付記８）記載の動画記録再生用プログラム。

（付記１３）
映像信号を符号化したフレームデータの系列上のキーフレームの前記フレームデータであるキーフレームデータの前にセンサ情報が挿入されたデータ系列と、当該データ系列における前記キーフレームデータのそれぞれの位置、及び当該キーフレームデータと当該キーフレームデータに続くキーフレーム以外の前記フレームデータとのデータ長を示すフレーム情報と、を含む動画ファイルを入力して、前記フレーム情報をもとに、前記動画ファイルの前記データ系列に含まれる前記フレームデータを順番に抽出し、
抽出された前記フレームデータを、前記フレームデータを復号化して前記映像信号を表示手段に出力する動画伸張手段に出力し、
前記フレーム情報をもとに、前記動画ファイルの前記データ系列に含まれる前記キーフレームデータの始点の位置と当該キーフレームデータの前の前記フレームデータの終点の位置との差分を算出し、差分がある場合、当該キーフレームデータの前に挿入された前記センサ情報を抽出し、
抽出された前記センサ情報を前記表示手段に出力する
動画制御方法。

（付記１４）
さらに、
入力した映像信号を符号化することにより前記フレームデータを生成する動画圧縮手段から出力された前記フレームデータの系列上の前記キーフレームデータの前に、センサ手段から出力された前記センサ情報を挿入することにより、前記データ系列を生成し、
前記データ系列を前記動画ファイルに書き込み、
前記データ系列における前記フレーム情報を生成し、
前記フレーム情報を前記動画ファイルに書き込む
（付記１３）記載の動画制御方法。

（付記１５）
前記動画ファイルのファイル形式は、ＡＶＩ−ＲＩＦＦファイル形式であり、
前記データ系列を生成する場合、前記フレームデータであるｃｈｕｎｋのうち、キーフレームの前記ｃｈｕｎｋの前に前記センサ情報を挿入した前記データ系列を生成し、
前記フレーム情報を生成する場合、前記フレーム情報として、前記データ系列における前記ｃｈｕｎｋのそれぞれの位置、前記ｃｈｕｎｋがキーフレームであるかどうかを示す情報、及び前記ｃｈｕｎｋのそれぞれのデータ長を示すＩｎｄｅｘを生成し、
前記フレームデータを抽出する場合、前記Ｉｎｄｅｘをもとに、前記データ系列に含まれる前記ｃｈｕｎｋを順番に抽出し、
前記センサ情報を抽出する場合、前記Ｉｎｄｅｘをもとに、前記データ系列に含まれる前記キーフレームの前記ｃｈｕｎｋの始点の位置と当該キーフレームの前記ｃｈｕｎｋの前の前記ｃｈｕｎｋの終点の位置との差分を算出し、差分がある場合、当該キーフレームの前記ｃｈｕｎｋの前に挿入された前記センサ情報を抽出する
（付記１４）記載の動画制御方法。

（付記１６）
前記動画ファイルのファイル形式は、ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔであり、
前記データ系列を生成する場合、前記キーフレームデータと当該キーフレームデータに続くキーフレーム以外の前記フレームデータの集合であるｃｈｕｎｋの前に、前記センサ情報を挿入した前記データ系列を生成し、
前記フレーム情報を生成する場合、前記フレーム情報として、前記データ系列における前記ｃｈｕｎｋのそれぞれの位置、及びデータ長を示すＴｒａｉｌｅｒを生成し、
前記フレームデータを抽出する場合、前記Ｔｒａｉｌｅｒをもとに、前記データ系列に含まれる前記ｃｈｕｎｋを順番に抽出し、
前記センサ情報を抽出する場合、前記Ｔｒａｉｌｅｒをもとに、前記データ系列に含まれる前記ｃｈｕｎｋの始点の位置と当該ｃｈｕｎｋの前の前記ｃｈｕｎｋの終点の位置との差分を算出し、差分がある場合、当該ｃｈｕｎｋの前に挿入された前記センサ情報を抽出する
（付記１４）記載の動画制御方法。

（付記１７）
前記センサ手段は、前記撮像手段の位置を検出する位置検出デバイスであり、前記データ系列を生成する場合、前記センサ情報として、前記センサ手段から出力された位置情報を挿入した前記データ系列を生成する
（付記１４）記載の動画制御方法。

（付記１８）
前記センサ手段は、前記撮像手段が搭載された移動体の速度検出デバイスであり、前記データ系列を生成する場合、前記センサ情報として、前記センサ手段から出力された速度情報を挿入した前記データ系列を生成する
（付記１４）記載の動画制御方法。

１００ 動画記録再生システム
１０１ 動画記録装置
１０２ 動画再生装置
１１１ 撮像部
１１２ 音声入力部
１１３ センサ部
１２１ 動画圧縮部
１２２ データ系列書き込み部
１２３ フレーム情報書き込み部
１２４ 動画ファイル出力部
１３１ 動画ファイル記憶部
１４１ 動画ファイル入力部
１４２ データ系列読み出し部
１４３ 動画伸張部
１４４ 表示制御部
１４５ フレームデータ抽出部
１４６ センサ情報抽出部
１５１ 表示部
１５２ 音声出力部

Claims (10)

1. 映像信号を符号化したフレームデータの系列上のキーフレームの前記フレームデータであるキーフレームデータの前にセンサ情報が挿入されたデータ系列と、当該データ系列における前記キーフレームデータのそれぞれの位置、及び当該キーフレームデータと当該キーフレームデータに続くキーフレーム以外の前記フレームデータとのデータ長を示すフレーム情報と、を含む動画ファイルを入力して、前記フレーム情報をもとに、前記動画ファイルの前記データ系列に含まれる前記フレームデータを順番に抽出し、抽出された前記フレームデータを、前記フレームデータを復号化して前記映像信号を表示手段に出力する動画伸張手段に出力するフレームデータ抽出手段と、
   前記フレーム情報をもとに、前記動画ファイルの前記データ系列に含まれる前記キーフレームデータの始点の位置と当該キーフレームデータの前の前記フレームデータの終点の位置との差分を算出し、差分がある場合、当該キーフレームデータの前に挿入された前記センサ情報を抽出し、抽出された前記センサ情報を前記表示手段に出力するセンサ情報抽出手段と
   を含む動画再生装置。
2. 請求項１記載の動画再生装置、ならびに、
   入力した映像信号を符号化することにより前記フレームデータを生成する動画圧縮手段から出力された前記フレームデータの系列上の前記キーフレームデータの前に、センサ手段から出力された前記センサ情報を挿入することにより、前記データ系列を生成し、前記動画ファイルに書き込むデータ系列書き込み手段と、
   前記データ系列における前記フレーム情報を生成し、前記動画ファイルに書き込むフレーム情報書き込み手段と
   を含む動画記録装置
   を包含する動画記録再生システム。
3. 前記動画ファイルのファイル形式は、ＡＶＩ−ＲＩＦＦファイル形式であり、
   前記データ系列書き込み手段は、前記フレームデータであるｃｈｕｎｋのうち、キーフレームの前記ｃｈｕｎｋの前に前記センサ情報を挿入した前記データ系列を生成し、
   前記フレーム情報書き込み手段は、前記フレーム情報として、前記データ系列における前記ｃｈｕｎｋのそれぞれの位置、前記ｃｈｕｎｋがキーフレームであるかどうかを示す情報、及び前記ｃｈｕｎｋのそれぞれのデータ長を示すＩｎｄｅｘを生成し、
   前記フレームデータ抽出手段は、前記Ｉｎｄｅｘをもとに、前記データ系列に含まれる前記ｃｈｕｎｋを順番に抽出し、
   前記センサ情報抽出手段は、前記Ｉｎｄｅｘをもとに、前記データ系列に含まれる前記キーフレームの前記ｃｈｕｎｋの始点の位置と当該キーフレームの前記ｃｈｕｎｋの前の前記ｃｈｕｎｋの終点の位置との差分を算出し、差分がある場合、当該キーフレームの前記ｃｈｕｎｋの前に挿入された前記センサ情報を抽出する
   請求項２記載の動画記録再生システム。
4. 前記動画ファイルのファイル形式は、ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔであり、
   前記データ系列書き込み手段は、前記キーフレームデータと当該キーフレームデータに続くキーフレーム以外の前記フレームデータの集合であるｃｈｕｎｋの前に、前記センサ情報を挿入した前記データ系列を生成し、
   前記フレーム情報書き込み手段は、前記フレーム情報として、前記データ系列における前記ｃｈｕｎｋのそれぞれの位置、及びデータ長を示すＴｒａｉｌｅｒを生成し、
   前記フレームデータ抽出手段は、前記Ｔｒａｉｌｅｒをもとに、前記データ系列に含まれる前記ｃｈｕｎｋを順番に抽出し、
   前記センサ情報抽出手段は、前記Ｔｒａｉｌｅｒをもとに、前記データ系列に含まれる前記ｃｈｕｎｋの始点の位置と当該ｃｈｕｎｋの前の前記ｃｈｕｎｋの終点の位置との差分を算出し、差分がある場合、当該ｃｈｕｎｋの前に挿入された前記センサ情報を抽出する
   請求項２記載の動画記録再生システム。
5. 第１のコンピュータに、
   映像信号を符号化したフレームデータの系列上のキーフレームの前記フレームデータであるキーフレームデータの前にセンサ情報が挿入されたデータ系列と、当該データ系列における前記キーフレームデータのそれぞれの位置、及び当該キーフレームデータと当該キーフレームデータに続くキーフレーム以外の前記フレームデータとのデータ長を示すフレーム情報と、を含む動画ファイルを入力して、前記フレーム情報をもとに、前記動画ファイルの前記データ系列に含まれる前記フレームデータを順番に抽出し、
   抽出された前記フレームデータを、前記フレームデータを復号化して前記映像信号を表示手段に出力する動画伸張手段に出力し、
   前記フレーム情報をもとに、前記動画ファイルの前記データ系列に含まれる前記キーフレームデータの始点の位置と当該キーフレームデータの前の前記フレームデータの終点の位置との差分を算出し、差分がある場合、当該キーフレームデータの前に挿入された前記センサ情報を抽出し、
   抽出された前記センサ情報を前記表示手段に出力する
   処理を実行させる動画再生用プログラム。
6. 前記第１のコンピュータ、または、第２のコンピュータに、
   入力した映像信号を符号化することにより前記フレームデータを生成する動画圧縮手段から出力された前記フレームデータの系列上の前記キーフレームデータの前に、センサ手段から出力された前記センサ情報を挿入することにより、前記データ系列を生成し、
   前記データ系列を前記動画ファイルに書き込み、
   前記データ系列における前記フレーム情報を生成し、
   前記フレーム情報を前記動画ファイルに書き込む
   処理を実行させる動画記録用プログラム、
   ならびに、請求項５記載の動画再生用プログラムを包含する動画記録再生用プログラム。
7. 前記動画ファイルのファイル形式は、ＡＶＩ−ＲＩＦＦファイル形式であり、
   前記第１のコンピュータ、または、前記第２のコンピュータに、
   前記データ系列を生成する場合、前記フレームデータであるｃｈｕｎｋのうち、キーフレームの前記ｃｈｕｎｋの前に前記センサ情報を挿入した前記データ系列を生成し、
   前記フレーム情報を生成する場合、前記フレーム情報として、前記データ系列における前記ｃｈｕｎｋのそれぞれの位置、前記ｃｈｕｎｋがキーフレームであるかどうかを示す情報、及び前記ｃｈｕｎｋのそれぞれのデータ長を示すＩｎｄｅｘを生成する
   処理を実行させ、
   前記第１のコンピュータに、
   前記フレームデータを抽出する場合、前記Ｉｎｄｅｘをもとに、前記データ系列に含まれる前記ｃｈｕｎｋを順番に抽出し、
   前記センサ情報を抽出する場合、前記Ｉｎｄｅｘをもとに、前記データ系列に含まれる前記キーフレームの前記ｃｈｕｎｋの始点の位置と当該キーフレームの前記ｃｈｕｎｋの前の前記ｃｈｕｎｋの終点の位置との差分を算出し、差分がある場合、当該キーフレームの前記ｃｈｕｎｋの前に挿入された前記センサ情報を抽出する
   処理を実行させる
   請求項６記載の動画記録再生用プログラム。
8. 前記動画ファイルのファイル形式は、ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔであり、
   前記第１のコンピュータ、または、前記第２のコンピュータに、
   前記データ系列を生成する場合、前記キーフレームデータと当該キーフレームデータに続くキーフレーム以外の前記フレームデータの集合であるｃｈｕｎｋの前に、前記センサ情報を挿入した前記データ系列を生成し、
   前記フレーム情報を生成する場合、前記フレーム情報として、前記データ系列における前記ｃｈｕｎｋのそれぞれの位置、及びデータ長を示すＴｒａｉｌｅｒを生成する
   処理を実行させ、
   前記第１のコンピュータに、
   前記フレームデータを抽出する場合、前記Ｔｒａｉｌｅｒをもとに、前記データ系列に含まれる前記ｃｈｕｎｋを順番に抽出し、
   前記センサ情報を抽出する場合、前記Ｔｒａｉｌｅｒをもとに、前記データ系列に含まれる前記ｃｈｕｎｋの始点の位置と当該ｃｈｕｎｋの前の前記ｃｈｕｎｋの終点の位置との差分を算出し、差分がある場合、当該ｃｈｕｎｋの前に挿入された前記センサ情報を抽出する
   処理を実行させる
   請求項６記載の動画記録再生用プログラム。
9. 映像信号を符号化したフレームデータの系列上のキーフレームの前記フレームデータであるキーフレームデータの前にセンサ情報が挿入されたデータ系列と、当該データ系列における前記キーフレームデータのそれぞれの位置、及び当該キーフレームデータと当該キーフレームデータに続くキーフレーム以外の前記フレームデータとのデータ長を示すフレーム情報と、を含む動画ファイルを入力して、前記フレーム情報をもとに、前記動画ファイルの前記データ系列に含まれる前記フレームデータを順番に抽出し、
   抽出された前記フレームデータを、前記フレームデータを復号化して前記映像信号を表示手段に出力する動画伸張手段に出力し、
   前記フレーム情報をもとに、前記動画ファイルの前記データ系列に含まれる前記キーフレームデータの始点の位置と当該キーフレームデータの前の前記フレームデータの終点の位置との差分を算出し、差分がある場合、当該キーフレームデータの前に挿入された前記センサ情報を抽出し、
   抽出された前記センサ情報を前記表示手段に出力する
   動画制御方法。
10. さらに、
    入力した映像信号を符号化することにより前記フレームデータを生成する動画圧縮手段から出力された前記フレームデータの系列上の前記キーフレームデータの前に、センサ手段から出力された前記センサ情報を挿入することにより、前記データ系列を生成し、
    前記データ系列を前記動画ファイルに書き込み、
    前記データ系列における前記フレーム情報を生成し、
    前記フレーム情報を前記動画ファイルに書き込む
    請求項９記載の動画制御方法。

Images