JP2012170054A - 映像記録装置、映像再生装置および映像復旧装置 - Google Patents

Abstract

【課題】複数のチャンネルの映像再生において、すべての映像データに対するインデックス情報を解釈することなしに、映像中の任意の位置の画像を出力することができる機構を提供することが目的である。
【解決手段】映像記録装置３００は、複数のチャンネルの映像データが入力される入力部と、入力部で入力された複数のチャンネルの映像データを可変ビットレートで圧縮符号化する場合、複数のチャンネルの映像データにおいてＧＯＰ構造およびフレームのサイズを同じにし、複数のチャンネルの映像データを圧縮符号化するエンコード部３０２、３０３と、圧縮符号化された複数のチャンネルの映像データを記録する映像書き出し部３０５、３０６を備える。
【選択図】図３

Description

本発明は、映像を記録、再生、復旧する装置に関する。

従来、放送局の番組制作は、カメラレコーダを用いてテープに映像を記録し、テープを用いて編集やアーカイブを行っていた。近年、ＨＤＤやフラッシュメモリなどランダムアクセス可能な記録媒体に映像を記録するカメラレコーダが、登場してきている。それにより、カメラレコーダで映像データをファイル形式で記録し、そのファイルをノンリニア編集機で編集するというスタイルが確立されてきている。

映像ファイルを記録媒体に記録する場合、容量の観点から映像信号を圧縮して記録することが、一般的に行われている。映像データの圧縮符号化方式の代表的な規格の１つとして、ＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２）規格が知られている。ＭＰＥＧ映像データは、何フレームかのデータをまとめたＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）と呼ばれる単位で構成される。

１つのＧＯＰには、予め定められた所定数の原画像それぞれを圧縮符号化して生成される画像データが、含まれる。各画像データは、原画像の圧縮符号化方式によって、３つのピクチャタイプ、Ｉピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ）、およびＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ）に分類される。

Ｉピクチャは、イントラ符号化画像とも呼ばれ、原画像１枚の情報のみを用いて符号化される。したがって、Ｉピクチャは、前後の他の画像データピクチャとは独立している。このため、Ｉピクチャは、単独で復号することが可能である。

Ｐピクチャは、フレーム間順方向予測符号化画像とも呼ばれる。Ｐピクチャは、予測画像（差分を取る基準となる画像）、すなわち時間的に前に既に復号されたＩピクチャまたはＰピクチャを使用して、動き補償された予測画像との差分を符号化する。

Ｂピクチャは、双方向予測符号化画像とも呼ばれる。Ｂピクチャは、ＩピクチャおよびＰピクチャを先に処理した後に、その間に挿入される画像として符号化される。すなわち、Ｂピクチャは、予測画像として、時間的に前に既に復号されたＩピクチャまたはＰピクチャ、時間的に後に既に復号されたＩピクチャまたはＰピクチャ、ならびにこの両方から作られた補間画像の３種類を使用する。

ＭＰＥＧ２のストリームデータにおいて、ＧＯＰの先頭を指し示すインデックス情報を、ビデオやオーディオのストリームファイルとは別のファイルで保持することにより、任意のＧＯＰの先頭に直接アクセスすることが可能な技術が、開示されている（特許文献１参照）。

フレームごとにランダムアクセスを実現するために、フレームごとのインデックス情報を映像データと同一のファイル内に配置できるようなファイルフォーマットが、提案されている。その一つに、ＭＸＦ（Ｍａｔｅｒｉａｌ Ｅｘｃｈａｎｇｅ Ｆｏｒｍａｔ、ＳＭＰＴＥ ３７７Ｍ）がある。ＭＸＦとは、主にプロユースのデジタル映像や音声を扱うためのファイルフォーマットである。カメラレコーダを用いて映像データをＭＸＦで記録する場合、撮影前の時点では記録時間を決定できないため、インデックス情報のデータサイズを事前に決定することができない。このような場合、インデックス情報は、ファイルの先頭（ヘッダ）ではなく、末尾（フッタ）に書くことが、一般的に行われている。

近年、３Ｄ映像の制作を行うことが、増えてきている。３Ｄなどの複数のチャンネルの映像データは、一般的には、各チャンネルの映像の圧縮データに相関はない。そのため、再生時には、各チャンネルの圧縮データを独立にデコード処理を行い、デコードされたデータを同期して出力している。一方で、複数のチャンネルの映像データに相関を持たせるものとして、複数の映像データが同一のＧＯＰ構造を有するように、複数の映像データに対して圧縮符号化を行う方法が、開示されている（特許文献２参照）。

特表２００６−５２４４１０号公報 特開２００５−２６０５６５号公報

しかしながら、映像中の任意の位置の画像を出力する場合、各映像データに対してインデックス情報を解釈する必要があるため、インデックス情報の解釈に要する時間だけ、出画が遅延するという問題がある。

上記課題に鑑みて、本発明の目的は、複数のチャンネルの映像再生において、すべての映像データに対するインデックス情報を解釈することなしに、映像中の任意の位置の画像を出力することができる機構を提供することにある。

本発明の映像記録装置は、入力部と、符号化部と、出力部とを、備えている。入力部には、複数のチャンネルの映像データが入力される。符号化部は、入力部に入力された複数のチャンネルの映像データを可変ビットレートで圧縮符号化する場合、複数のチャンネルの映像データにおいてＧＯＰ構造およびフレームのサイズを同じにし、複数のチャンネルの映像データを圧縮符号化する。出力部は、符号化部にて圧縮符号化された複数のチャンネルの映像データを、出力する。

本発明の映像記録装置では、複数のチャンネルにおいてＧＯＰ構造およびフレームのサイズを同一とすることによって、各チャンネルの映像データのインデックス情報が同一となる。そのため、一つのインデックス情報を解釈するだけで、全ての映像データを再生することができる。すなわち、インデックステーブルの解釈に要する時間を短縮することができ、出画までの遅延を小さくすることができる。また、記録中に障害が発生した際の復旧処理において、一つの映像データからインデックステーブルを抽出し、複数のファイルへ同一内容のインデックステーブルを書き込むことによって、復旧処理を高速化できる。

ＭＸＦファイルフォーマットの説明図 ＭＸＦのインデックス情報の説明図 実施の形態１の映像記録装置の構成を示すブロック図 実施の形態１の映像をエンコードする際のフローチャート 実施の形態１の映像を記録する際のフローチャート 実施の形態１の映像再生装置の構成を示すブロック図 実施の形態１の映像を再生する際のフローチャート 実施の形態１の映像復旧装置の構成を示すブロック図 ＭＰＥＧのピクチャの内部構造を示す図 実施の形態１の映像を復旧する際のフローチャート

（実施の形態１）
実施の形態１では、映像ファイルのファイルフォーマットの一例としてＭＸＦを用いて、映像記録装置３００、映像再生装置６００、および映像復旧装置８００を説明する。ＭＸＦは、ＫＬＶ（Ｋｅｙ−Ｌｅｎｇｔｈ−Ｖａｌｕｅ）と呼ぶデータ要素の集まりで構成されている。ＭＸＦは、メタデータや映像データなどから構成される全てのデータが、ＫＬＶ構造をとっている。ＫＬＶ構造とは、その先頭から、キー（Ｋｅｙ）、レングス（Ｌｅｎｇｔｈ）、バリュー（Ｖａｌｕｅ）が、順次配置された構造である。キーには、バリューに配置されるデータがどのようなデータであるかを表すラベルが、配置される。ラベルには、例えば、ＳＭＰＴＥ ２９８Ｍの規格に準拠した１６バイトのラベルが、用いられる。レングスには、バリューに配置されるデータのデータ長（８バイト）が、ＢＥＲ（Ｂａｓｉｃ Ｅｎｃｏｄｉｎｇ Ｒｕｌｅｓ：ＩＳＯ／ＩＥＣ８８２−１ ＡＳＮ）に基づいて、配置される。バリューには、実データが配置される。

図１にＭＸＦのファイルフォーマットを示す。ＭＸＦは、ファイルヘッダ（Ｆｉｌｅ Ｈｅａｄｅｒ）、ファイルボディ（Ｆｉｌｅ Ｂｏｄｙ）、およびファイルフッタ（Ｆｉｌｅ Ｆｏｏｔｅｒ）から、構成されている。ＭＸＦには、先頭から順に、ファイルヘッダ、ファイルボディ、およびファイルフッタが、配置されている。

ファイルヘッダは、ヘッダパーティションパック（Ｈｅａｄｅｒ Ｐａｒｔｉｔｉｏｎ Ｐａｃｋ）、およびヘッダメタデータ（Ｈｅａｄｅｒ Ｍｅｔａｄａｔａ）から、構成されている。ファイルヘッダには、先頭から順に、ヘッダパーティションパック、およびヘッダメタデータが、配置されている。ヘッダパーティションパックには、ヘッダを特定するためのパターンや、ファイルボディに配置されるデータの形式、ＭＸＦファイルフォーマットであることを表す情報およびヘッダサイズ情報などが、配置される。

ファイルボディは、ボディパーティションパック（Ｂｏｄｙ Ｐａｒｔｉｔｉｏｎ Ｐａｃｋ）、およびエッセンスコンテナ（Ｅｓｓｅｎｃｅ Ｃｏｎｔａｉｎｅｒ）から、構成されている。ファイルボディには、先頭から順に、ボディパーティションパック、およびエッセンスコンテナが、配置されている。エッセンスコンテナには、映像データを構成する画像データが、配置される。ここでは、エッセンスコンテナも、ＫＬＶ構造を有している。このため、エッセンスコンテナには、キーおよびレングスの後に、バリューとして画像データが、配置される。

ファイルフッタは、フッタパーティションパック（Ｆｏｏｔｅｒ Ｐａｒｔｉｔｉｏｎ Ｐａｃｋ）、およびインデックステーブル（Ｉｎｄｅｘ Ｔａｂｌｅ）から、構成されている。ファイルフッタには、先頭から順に、フッタパーティションパック、およびインデックステーブルが、配置されている。インデックステーブルとは、画像データの位置を指し示すデータが格納されている。インデックステーブルの詳細については、図２（ｃ）を参照して後述する。

図２（ａ）は各画像の表示順番を表している。数字の部分が表示の順番、アルファベット（Ｉ、Ｂ、Ｐ）がピクチャタイプを、示している。図２（ａ）では、Ｂ１、Ｉ２、Ｂ３、Ｐ４、Ｂ５、Ｐ６の順番に、各画像が表示されることを示している。図２（ｂ）は、ファイル上における図２（ａ）の画像の格納状態を、示している。Ｂピクチャは双方向予測符号化画像であるため、Ｂピクチャをデコードするためには、その予測画像であるＩピクチャまたはＰピクチャを、事前にデコードしておく必要がある。そのため、ファイルの先頭から順次データを読み出してデコードすることができるようにするために、表示の順番と記録の順番とは異なっている（図２（ａ）及び図２（ｂ）を参照）。たとえば、Ｂ１はＩ２を用いてデコードされるため、図２（ｂ）に示すように、Ｉ２、Ｂ１の順番でファイル上に記録される。同様に、Ｂ３よりもＰ４のほうが前方に、Ｂ５よりＰ６が前方に配置される。よって、Ｉ２、Ｂ１、Ｐ４、Ｂ３、Ｐ６、Ｂ５の順に、画像がファイルに記録される。

図２（ｃ）はＭＸＦのインデックステーブルの詳細である。Ｔｅｍｐｏｒａｌ Ｏｆｆｓｅｔとは、表示順に基づいて記録順を算出するための指標である。１フレーム目のＢ１は、表示のフレーム番号１にＴｅｍｐｏｒａｌ Ｏｆｆｓｅｔの１を加算することによって、２フレーム目のデータとして、ファイルに格納される。同様に、２フレーム目のＩ２は、表示のフレーム番号２にＴｅｍｐｏｒａｌ Ｏｆｆｓｅｔの−１を加算することによって、１フレーム目のデータとして、ファイルに格納される。
Ｋｅｙ−Ｆｒａｍｅ Ｏｆｆｓｅｔとは、当該フレームをデコードするためにどのフレームからデコードする必要があるかを示す情報である。通常では、Ｋｅｙ−Ｆｒａｍｅ Ｏｆｆｓｅｔは、Ｉピクチャを参照する。たとえば、Ｂ３は、表示のフレーム番号３からＫｅｙ−Ｆｒａｍｅ Ｏｆｆｓｅｔの−１を加算することによって、予測画像のフレーム番号２が求められる。すなわち、Ｂ３は、２番目のフレーム（Ｉ２）に基づいてデコードされる。Ｆｌａｇｓとは、先述のピクチャタイプである。
Ｓｔｒｅａｍ Ｏｆｆｓｅｔは、ファイル上のどの位置にフレームが格納されているかを表す情報である。この情報は、記録のフレーム番号に基づいて記録されている。たとえば、Ｂ３が格納されているバイトオフセットを求める場合、表示のフレーム番号３にＴｅｍｐｏｒａｌ Ｏｆｆｓｅｔの１を加算することによって、記録のフレーム番号４を求める。そして、４フレーム目のＳｔｒｅａｍ Ｏｆｆｓｅｔから、Ｂ３が格納されているバイトオフセット６５，０００バイトが、求められる。
任意位置のフレームを出力するためには、キーフレームから出力画像までをデコードすればよい。たとえば、Ｂ３を出力するためには、表示のフレーム番号３にＫｅｙ−Ｆｒａｍｅ Ｏｆｆｓｅｔの−１を加算して、表示のフレーム番号２（Ｉ２）を求める。また、前述のように、Ｔｅｍｐｏｒａｌ ＯｆｆｓｅｔおよびＳｔｒｅａｍ Ｏｆｆｓｅｔから、Ｉ２のバイトオフセット０が求められる。次に、Ｔｅｍｐｏｒａｌ ＯｆｆｓｅｔおよびＳｔｒｅａｍ Ｏｆｆｓｅｔから、Ｂ３のバイトオフセット６５，０００バイトが求められる。
これらの２つのバイトオフセットの情報に基づいて、０バイト目のピクチャ（キーフレームＩ２）から６５，０００バイト目のピクチャ（任意位置のフレームＢ３）までを読み込むことで、Ｉ２、Ｂ１、Ｐ４、Ｂ３の順番でデコードが行われ、Ｂ３が出力される。

本実施の形態の映像記録装置３００の構成を図３に示す。映像記録装置３００は、記録指示部３０１と、エンコード部３０２および３０３と、データサイズ調整部３０４と、映像書き出し部３０５および３０６と、インデックス書き出し部３０７とを、含む。映像記録装置３００は、記録媒体３０８に対してファイルを書き出す。記録媒体３０８は、半導体メモリ、ハードディスク、光ディスク等である。記録媒体３０８は、映像記録装置３００に対して着脱可能に構成されていてもよいし、映像記録装置３００に内蔵されていてもよい。

記録指示部３０１は、ユーザからの記録開始要求をエンコード部３０２、３０３に通知する。エンコード部３０２は３Ｄ映像の左眼用の映像信号に対してフレーム間圧縮を行い、ＭＰＥＧ形式の圧縮データに符号化（エンコード）する。エンコード部３０３は３Ｄ映像の右眼用の映像信号に対してフレーム間圧縮を行い、ＭＰＥＧ形式の圧縮データにエンコードする。エンコード部３０２およびエンコード部３０３は、記録開始されてから同じＧＯＰ構造でエンコードを行う。ＧＯＰは、Ｉ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂからなる１５個のピクチャで構成されたＧＯＰ構造を、有しているものがよく利用される。本実施の形態では、説明を簡単にするため、ＧＯＰが、Ｉ、Ｂ、Ｐ、Ｂ、Ｐ、Ｂからなる６個のピクチャで構成されたＧＯＰ構造を有している場合の例を用いて、説明する。

データサイズ調整部３０４は、エンコード部３０２、３０３から出力された映像データのサイズを、比較する。また、データサイズ調整部３０４は、データサイズが小さい方のデータサイズを、データサイズが大きい方のデータサイズに、切り上げる。さらに、データサイズ調整部３０４は、切り上げ後のデータサイズに基づいて、インデックス情報を算出する。

映像書き出し部３０５は、データサイズ調整部３０４で調整された左眼用の映像データを、映像ファイル３０９として記録媒体３０８上に記録する。映像書き出し部３０６は、データサイズ調整部３０４で調整された右眼用の映像データを、映像ファイル３１０として記録媒体３０８上に記録する。インデックス書き出し部３０７は、データサイズ調整部３０４で算出したインデックス情報を、記録媒体３０８上の映像ファイル３０９、３１０に記録する。

映像記録装置３００の処理の流れを、図４および図５のフローチャートを用いて説明する。図５のエンコード処理Ｓ５０の詳細を、図４に示す。図５では、２つのエンコード処理Ｓ５０および２つのデータ書き出し処理Ｓ５４が示されているが、これら２つのエンコード処理Ｓ５０および２つのデータ書き出し処理Ｓ５４は、左右のデータそれぞれに対する処理である。
図４に示すように、エンコード部３０２、３０３は、データ入力処理Ｓ４２にて、１フレーム目の映像信号を受け取り、非圧縮画像格納処理Ｓ４３にて非圧縮画像保持部Ｄ４４に一時的に格納する。１フレーム目の映像信号はＢピクチャにすることを予定しているので、エンコード部３０２、３０３は、圧縮可否判定Ｓ４５にて、１フレーム目の映像信号のエンコードを遅延させることを決定する（Ｓ４５でＮｏ）。
次に、データ入力処理Ｓ４２にて、２フレーム目の映像信号を受け取り、非圧縮画像格納処理Ｓ４３にて非圧縮画像保持部Ｄ４４に一時的に格納する。２フレーム目の映像信号はＩピクチャにすることが予定されているので、エンコード部３０２、３０３は、圧縮可否判定Ｓ４５にて、２フレーム目の映像信号をエンコードすることを決定する（Ｓ４５でＹｅｓ）。
映像圧縮処理Ｓ４６では、エンコード部３０２、３０３は、まず２フレーム目の映像信号をエンコードする。次に、保持画像圧縮可否判定Ｓ４１にて、非圧縮画像保持部Ｄ４４に保持されている１フレーム目の映像信号をエンコードすることを決定する（Ｓ４１でＹｅｓ）。映像圧縮処理Ｓ４６では、非圧縮画像保持部Ｄ４４に格納されている１フレーム目の映像信号を取り出し、２フレーム目の映像信号を用いてフレーム間圧縮を行う。上記の処理が、各フレームに対して順次実行される。

図４に示したエンコード処理Ｓ５０が終了すると、図５に示すように、データサイズ調整部３０４では、データ付加処理Ｓ５１にて、左右のエンコード処理Ｓ５０から出力された圧縮データのサイズが、取得される。たとえば、１フレーム目の左データが５０，０００バイトであり、右データが４８，０００バイトである場合、左データが右データより２，０００バイト多い。このため、１フレーム目の右データの末尾に、ブランクデータたとえば「０」を、２，０００バイト追加する。これにより、１フレーム目の左右のデータが、５０，０００バイトのデータとなる。
次にインデックス算出処理Ｓ５２にて、データ付加処理Ｓ５１で生成したデータサイズ、たとえば５０，０００バイトに基づいて、インデックス情報が算出され、算出結果がインデックス情報保持部Ｄ５３に格納される。ここでは、図２（ｃ）に示したインデックステーブルの各値の設定について説明する。
映像ファイル３０９上の１フレーム目には、２フレーム目に表示される圧縮データ（Ｉ２）が書かれるので、１フレーム目のＴｅｍｐｏｒａｌ Ｏｆｆｓｅｔは１（＝２−１）になる。キーフレームであるＩピクチャは２フレーム目にあるので、１フレーム目のＫｅｙ−Ｆｒａｍｅ Ｏｆｆｓｅｔは１（＝２−１）になる。また、１フレーム目のＦｌａｇｓがＢ、Ｓｔｒｅａｍ Ｏｆｆｓｅｔが０になる。
映像ファイル３０９上の２フレーム目には、１フレーム目に表示される圧縮データ（Ｂ１）が書かれるので、２フレーム目のＴｅｍｐｏｒａｌ Ｏｆｆｓｅｔは−１（＝１−２）になる。キーフレームであるＩピクチャは２フレーム目にあるので、２フレーム目のＫｅｙ−Ｆｒａｍｅ Ｏｆｆｓｅｔは０（＝２−２）になる。また、Ｉ２のデータサイズが５０，０００バイトなので、２フレーム目のＦｌａｇｓがＩ、Ｓｔｒｅａｍ Ｏｆｆｓｅｔが５０，０００になる。

映像書き出し部３０５は、データ書き出し処理Ｓ５４にて、圧縮データを書き出す前に、図１で示したＭＸＦのファイルヘッダ、ボディパーティションパック、およびエッセンスコンテナのＫ、Ｌのデータを、映像ファイル３０９へ書き出す。その後、データサイズ調整部３０４で調整された左眼用の圧縮データを映像ファイル３０９へ書き出す。映像書き出し部３０６も同様に、データ書き出し処理Ｓ５４にて、ファイルヘッダ、ボディパーティションパック、およびエッセンスコンテナのＫ、Ｌのデータを書き出した後、右眼用の圧縮データを映像ファイル３１０へ書き出す。

記録終了判定Ｓ５５にて、記録の終了が判定されると、インデックス書き出し部３０７では、インデックス書き出し処理Ｓ５６にて、インデックス情報保持部Ｄ５３に蓄積したインデックス情報を、映像ファイル３０９、３１０の映像データの後ろ（図１のファイルフッタのインデックステーブル）に記録する。

図６は本実施の形態の映像再生装置６００の構成を示す。映像再生装置６００は、表示位置指定部６０１と、インデックス解釈部６０２と、デコード画像決定部６０３と、映像読み込み部６０４および６０５と、デコード部６０６および６０７と、表示部６０８とを含む。映像再生装置６００は、記録媒体３０８からファイルを読み込む。記録媒体３０８は、映像再生装置６００に対して着脱可能に構成されていてもよいし、映像再生装置６００に内蔵されていてもよい。

表示位置指定部６０１では、表示させたい映像上のある時点がユーザにより入力される。インデックス解釈部６０２は、記録媒体３０８に記録されている映像ファイル３０９から、インデックス情報を読み込み、図２（ｃ）に示すようなインデックステーブルを作成する。デコード画像決定部６０３は、表示位置指定部６０１で指定された画像を表示するために、インデックス解釈部６０２で解釈したインデックス情報に基づいて、デコードする画像を決定する。映像読み込み部６０４は、映像ファイル３０９から圧縮データを読み込む。デコード部６０６は、デコード画像決定部６０３でデコードすることが決定した画像を、順次映像読み込み部６０４から取得後、デコードする。映像読み込み部６０５は、映像ファイル３１０から圧縮データを読み込む。デコード部６０７は、デコード画像決定部６０３でデコードすることが決定した画像を、順次映像読み込み部６０５から取得後、デコードする。表示部６０８は、デコード部６０６、６０７でデコードした非圧縮データをモニタに３Ｄ映像として表示する。表示部６０８は、映像再生装置６００の表示ディプレイである。表示部６０８は、映像再生装置６００の外部に存在するディスプレイ装置に対して、映像信号を出力するインタフェースであっても良い。

表示位置指定部６０１に図２のＢ３が指定された場合を一例として、処理の流れを図７のフローチャートを用いて説明する。たとえば、表示位置指定部６０１で５フレーム目が指定されると、インデックス解釈部６０２は、インデックス読み込み処理Ｓ７１にて、図２（ｃ）に示すインデックス情報を、図１に示すＭＸＦ形式の映像ファイル３０９のインデックステーブルから取得する。

デコード画像決定部６０３は、キーフレーム算出処理Ｓ７２にて、フレーム番号３にＫｅｙ−Ｆｒａｍｅ Ｏｆｆｓｅｔの−１を加算して、キーフレームＩ２が２フレーム目であることを求める。デコード画像決定部６０３は、記録順算出処理Ｓ７３にて、フレーム番号にＴｅｍｐｏｒａｌ Ｏｆｆｓｅｔを加算し、図２（ｂ）の記録のフレーム番号を求める。図２（ｂ）より、キーフレームＩ２は記録順で１番目、Ｂ３は記録順で４番目であることがわかる。デコード画像決定部６０３は、デコード画像算出処理Ｓ７４にて、キーフレームＩ２の記録順である１番目から、Ｂ３の記録順である４番目までのピクチャに存在するＩまたはＰピクチャを抜き出す。そして、デコード画像決定部６０３は、図２（ｂ）に示すように、記録順で１、３番目がＩまたはＰピクチャであることを認識し、それに相当するＩ２、Ｐ４をデコードに必要なピクチャと判断する。

デコード部６０６は、デコード処理Ｓ７５にて、デコード画像算出処理Ｓ７４でデコードが必要と判断した画像Ｉ２、Ｐ４、Ｂ３を順次デコードすることによって、出画フレームであるＢ３のデコードを完了する。
Ｉ２は記録順では１番目であるので、デコード部６０６は、１番目のＳｔｒｅａｍ Ｏｆｆｓｅｔの０バイトから、２番目のＳｔｒｅａｍ Ｏｆｆｓｅｔの５０，０００バイトまでの５０，０００バイトのデータを、ファイルから読み込み、デコードを行う。Ｐ４は記録順では３番目であるので、デコード部６０６は、３番目のＳｔｒｅａｍ Ｏｆｆｓｅｔの５３，０００バイトから、４番目のＳｔｒｅａｍ Ｏｆｆｓｅｔの６５，０００バイトまでの１２，０００バイトのデータを、ファイルから読み込み、先ほどデコードしたＩ２の非圧縮データを用いてデコードし、非圧縮のＰ４画像を得る。Ｂ３は記録順では４番目であるので、４番目のＳｔｒｅａｍ Ｏｆｆｓｅｔの６５，０００バイトから、５番目のＳｔｒｅａｍ Ｏｆｆｓｅｔの６８，０００バイトまでの３，０００バイトのデータをファイルから読み込み、Ｉ２およびＰ４を用いてデコードする。右側の映像に関しても同様の処理を並列に行うことにより、左右のＢ３の非圧縮データを取得する。

表示部６０８は、表示処理Ｓ７６にて、デコード処理Ｓ７５にてデコードが完了したＢ３の左右のデータを、３Ｄ映像として合成してモニタに出力する。

このように、映像ファイル３１０のインデックス情報を読み込まなくても、映像ファイル３０９のインデックス情報を解釈するだけで、３Ｄ映像を出画することができる。また、１つのインデックス情報（映像ファイル３０９のインデックス情報）だけで、３Ｄ映像を出画することができるので、出画処理を高速化することができる。

図８は本実施の形態の映像復旧装置８００を示す。映像復旧装置８００は、映像記録装置３００において記録中に障害が発生した場合に、正常なファイルを復旧する装置である。詳細には、映像復旧装置８００は、障害時に、未完成の映像ファイルから正常な映像ファイルを復旧する装置である。映像復旧装置８００は、インデックス検出部８０１と、インデックス書き出し部３０７とを含む。映像復旧装置８００は、記録媒体３０８からデータを読み込み、記録媒体３０８へデータを書き出す。記録媒体３０８は、映像復旧装置８００に対して着脱可能に構成されていてもよいし、映像復旧装置８００に内蔵されていてもよい。

インデックス検出部８０１は、左眼用の映像ファイル３０９を走査して、図２に示すインデックス情報を検出する。インデックス書き出し部３０７は、インデックス検出部８０１で検出したインデックス情報を、図１のファイルフッタのインデックステーブルに記録する。

図９は、図１に示したＭＰＥＧのピクチャの内部構成を示した図である。ピクチャは最初にピクチャヘッダ（Ｐｉｃｔｕｒｅ Ｈｅａｄｅｒ）が配置され、その後ろにスライス（Ｓｌｉｃｅ）が配置される。ピクチャヘッダには、スタートコード（Ｓｔａｒｔ Ｃｏｄｅ）、ＧＯＰ内の画像の表示順を示すテンポラルリファレンス（Ｔｅｍｐｏｒａｌ Ｒｅｆｅｒｅｎｃｅ）、およびピクチャタイプ（Ｐｉｃｔｕｒｅ Ｔｙｐｅ）が、含まれる。ここでは、これらピクチャヘッダの内部情報に基づいて、インデックス情報が復旧される。

図１０のフローチャートにて復旧の処理を説明する。インデックス検出部８０１では、データ先頭算出処理Ｓ１０１にて、図１のＰｉｃｔｕｒｅ＃１の先頭位置を検出するために、ファイルヘッダ、ボディパーティションパック、およびエッセンスコンテナのＫ、Ｌの部分が、読み飛ばされる。

次に、インデックス情報作成処理Ｓ１０２にて、インデックス情報が作成され、このインデックス情報がインデックス情報保持部Ｄ１０３に保持される。たとえば、図９のピクチャの内部情報は、図１の各ピクチャに書き込まれている。ここでは、各ピクチャの内部情報を参照することによって、インデックス情報が作成される。
図２（ｂ）を参照すると、１フレーム目のピクチャＩ２のテンポラルリファレンスは１（０基準）であるので、１フレーム目のピクチャＩ２は、ＧＯＰ内において２番目に出力される。具体的には、テンポラルリファレンスは、０が基準である。このため、テンポラルリファレンスが１であるピクチャは、ＧＯＰ内では２番目であると判断できる。
インデックス情報のＴｅｍｐｏｒａｒｙ Ｏｆｆｓｅｔは、０が基準であるため、上記のテンポラルリファレンス１に１を加算し、その加算結果２から記録順におけるＩ２のフレーム番号１を引いた値１（＝２−１）となる。
Ｋｅｙ−Ｆｒａｍｅ Ｏｆｆｓｅｔは、表示順ではＩピクチャが未だに登場していないので（図２（ａ）を参照）、この時点では不明である。Ｓｔｒｅａｍ Ｏｆｆｓｅｔには、ピクチャヘッダの開始位置の０バイトが、設定される。

ファイル終端判断処理Ｓ１０４にて、ファイルの終端ではないことが判断されると、ピクチャヘッダ検索処理Ｓ１０５にて、次のピクチャのスタートコードが検索される。２番目のピクチャのスタートコードは、５０，０００バイト目で見つけられる（図２（ｃ）を参照）。

インデックス情報作成処理Ｓ１０２にて、図２（ｂ）を参照すると、２フレーム目のピクチャＢ１では、テンポラルリファレンスは０である。このため、このテンポラルリファレンス０に１を加算し、その加算結果１から記録順におけるＢ１のフレーム番号２を引いた値−１（＝１−２）が、Ｔｅｍｐｏｒａｒｙ Ｏｆｆｓｅｔに設定される。
表示順では、２番目のピクチャはＩピクチャなので、Ｋｅｙ−Ｆｒａｍｅ Ｏｆｆｓｅｔには０が、設定される。Ｓｔｒｅａｍ Ｏｆｆｓｅｔには、ピクチャヘッダの開始位置の５０，０００バイトが設定される。Ｆｌａｇｓは、表示順でのピクチャタイプであるので、ピクチャタイプＩが設定される。また、１番目のピクチャのＫｅｙ−Ｆｒａｍｅ Ｏｆｆｓｅｔは、Ｉピクチャの表示順でのフレーム番号２からフレーム番号１を引いた値１になる。このようにして図２（ｃ）と同じインデックス情報が、構成される。

最後に、ファイル終端判断処理Ｓ１０４にて、ファイル終端だと判断されると、インデックス書き出し処理Ｓ１０６にて、インデックス情報保持部Ｄ１０３に蓄積したインデックス情報が、映像ファイル３０９、３１０のファイルフッタのインデックステーブルに記録される。

このように、記録中に障害が発生した後の復旧処理において、一方の映像ファイルから抽出したインデックス情報を、他方の映像ファイルに適用できる。すなわち、１つのインデックス情報を生成（復旧）するだけで、他方の映像ファイルのインデックス情報も復旧することができる。また、インデックス情報を復旧する際に、１度のファイル走査でインデックス情報を生成することができるので、復旧の処理を高速化することができる。

本実施の形態にかかる映像記録・再生装置は、３Ｄ映像上の任意位置の映像表示を高速化することができる。さらに、記録途中で障害が発生し、記録が正常に完了しなかった場合に、復旧の処理を高速に完了することができる。このことから、業務用または民生用ビデオカメラ等に適用することにより有用である。

３００ 映像記録装置
３０１ 記録指示部
３０２、３０３ エンコード部
３０４ データサイズ調整部
３０５、３０６ 映像書き出し部
３０７ インデックス書き出し部
３０８ 記録媒体
３０９、３１０ 映像ファイル
６００ 映像再生装置
６０１ 表示位置指定部
６０２ インデックス解釈部
６０３ デコード画像決定部
６０４、６０５ 映像読み込み部
６０６、６０７ デコード部
６０８ 表示部
８００ 映像復旧装置
８０１ インデックス検出部

Claims (6)

1. 複数のチャンネルの映像データが入力される入力部と、
   前記入力部に入力された前記複数のチャンネルの映像データを可変ビットレートで圧縮符号化する場合、前記複数のチャンネルの映像データにおいてＧＯＰ構造およびフレームのサイズを同じにし、前記複数のチャンネルの映像データを圧縮符号化する符号化部と、
   前記符号化部にて圧縮符号化された前記複数のチャンネルの映像データを、出力する出力部と、
   を備える映像記録装置。
2. 前記符号化部にて圧縮符号化された複数の映像データのいずれか１つから、インデック情報を作成するインデックス情報作成部、
   をさらに備え、
   前記出力部は、前記複数のチャンネルの映像データと前記インデックス情報とを、出力する、
   請求項１に記載の映像記録装置。
3. 前記符号化部にて圧縮符号化された前記複数のチャンネルの映像データに、前記インデックス情報を、追記するインデックス記録部、
   をさらに備え、
   前記出力部は、前記インデックス情報が追記された前記複数のチャンネルの映像データを、出力する、
   請求項２に記載の映像記録装置。
4. 前記出力部から出力された複数のチャンネルの映像データを、記録する記録部、
   をさらに備える請求項１から３のいずれかに記載の映像記録装置。
5. 映像記録装置で圧縮符号化された複数のチャンネルの映像データのいずれか１つから、インデックス情報を読み出し解釈するインデックス解釈部と、
   指定位置の画像を出力するために、前記インデック情報に基づいて、復号化が必要なフレームと前記映像データ中の前記フレームの格納位置とを算出する復号化画像決定部と、
   前記フレームの格納位置までの前記複数のチャンネルの映像データを、復号化する復号化部と、
   を備える映像再生装置。
6. 映像記録装置で圧縮符号化された複数のチャンネルの映像データのいずれか１つから、インデックス情報を復旧するインデックス検出部と、
   前記インデックス検出部で復旧した前記インデックス情報を、前記複数のチャンネルの映像データそれぞれに追記するインデックス記録部と、
   を備える映像復旧装置。
   
   

Images