JP2009077110A - メディアファイル復旧装置及びメディアファイル復旧方法 - Google Patents

Abstract

【課題】本発明の課題は、Ｈ．２６４規格のビデオデータが多重化されているとして長さフィールドを用いて復旧に係る処理負荷を大幅に改善したメディアファイル復旧装置及びメディアファイル復旧方法を提供すことを目的とする。
【解決手段】上記課題は、メディアファイルに格納される、長さフィールドと符号化部とで成る第一符号化データと第一符号化データとは異なる形式の第二符号化データとが多重化されたストリームの先頭のデータをその長さフィールドと仮定する長さフィールド仮定手段と、長さフィールドでポイントした次のデータが第一符号化データである場合に取り得る値範囲を用いて第一符号化データの妥当性を判断する第一符号化データ判断手段と、第一符号化データの妥当性が判断された場合、第一符号化データをデコードして成功したときに第一符号化データであると判定する第一デコード判定手段とを備えるメディアファイル復旧装置により達成される。
【選択図】図８

Description

本発明は、Ｈ．２６４規格のビデオデータが多重化されていると仮定して長さフィールドを用いることによって復旧に係る処理負荷を大幅に改善させることができるメディアファイル復旧装置及びメディアファイル復旧方法に関する。

近年、リアルタイムで動画及び音声をデジタル録画したり、インターネットを介して所望の音声付き動画をダウンロードすることが広く普及してきている。このようにデジタル録画したりダウンロードした動画は、情報処理端末で手軽に再生することができるようになった。また、高圧縮率と高品質なマルチメディアを提供できると言う点において、ビデオとオーディオを多重化して格納したＭＰ４ファイルが主流となってきている。

インターネットを介してＭＰ４ファイルをダウンロード中の利便性を高めるため、基本コンテンツと拡張コンテンツとでＭＰ４ファイルが構成される場合、基本コンテンツの総時間長と拡張コンテンツの総時間長とを合算してコンテンツの総時間長として、ダウンロード中の情報処理端末に表示させることを提案している（例えば、特許文献１参照）。

また、ＴＣＰ基盤のダウンロード方式において、ＱｏＳを保障しつつマルチメディアコンテンツファイルを再生するために、クライアント側でメディアデータ（ｍｄａｔ）を蓄積するデコーダバッファを備えるようにし、メディアデータを再生中にストリーミングを順次行うことによって、再生までの待機時間を改善することを提案している（例えば、特許文献２参照）。
特開２００４−７６１０号公報 特開２００５−１１０２４４号公報

ＭＰ４ファイルにはＭＰＥＧ４又はＨ．２６４形式の動画とＡＡＣ（Advanced Audio Coding）形式の音声などが多重化して格納されるため、どのような形式のデータの組み合わせが入っているかは内部を解析して判断される。ＭＰ４ファイルフォーマットでは、主に、オーディオとビデオの多重化された領域（mdat box）とそれぞれのフレーム位置や属性を示すメタ情報を記録した領域（moov box）から構成される。

各フレームのファイル中の位置情報を記録した領域（stbl box）の情報が損失すると再生装置では、オーディオとビデオを分離できずに再生困難な状況になってしまう。リアルタイムでＭＰ４ファイルに録画していく場合、通常、録画が終了した場合にメタ情報を書き込む時に予期せぬ電源停止が発生すると正常に多重分離に必要な位置情報が記録されず、録画データを認識することが困難となってしまう。

また、ネットワーク等からダウンロードしようとしているＭＰ４ファイルで、トラブル等による回線接続の切断等により位置情報とビットストリーム部分の不一致等のデータ障害が起こった状態になると再生困難になる。更に、記録した記憶装置の障害によりストリームの位置情報とビットストリームの不一致が起こった場合にも再生困難となってしまう。

折角記憶させたＭＰ４ファイルを再生したいと願うユーザーにとって、ＭＰ４の前半部分でも、音声の再生が不可能であったとしても動画又は静止画だけでも、或いは動画の再生が不可能であったとしても音声だけでも再生できないものかと思うものである。しかし、上記従来技術では、全体が記憶されていない不完全なＭＰ４ファイル又はデータが損傷しているＭＰ４ファイルを部分的にでも再生することはできない。

よって、本発明の目的は、Ｈ．２６４規格のビデオデータが多重化されていると仮定して長さフィールドを用いることによって復旧に係る処理負荷を大幅に改善させることができるメディアファイル復旧装置及びメディアファイル復旧方法を提供することである。

上記課題を解決するため、本発明は、メディアファイルを復旧するメディアファイル復旧装置であって、前記メディアファイルに格納される、長さフィールドと符号化部とで成る第一符号化データと該第一符号化データとは符号化の異なる形式による第二符号化データとが多重化されたストリームの先頭のデータを、該第一符号化データの長さフィールドと仮定する長さフィールド仮定手段と、該長さフィールドを用いてポイントした次のデータが、該第一符号化データである場合に取り得る値範囲を用いて該第一符号化データであることの妥当性を判断する第一符号化データ判断手段と、前記第一符号化データ判断手段によって前記第一符号化データの妥当性が判断された場合、該第一符号化データをデコードして成功したときに該第一符号化データであると判定する第一デコード判定手段とを備えることを有するように構成される。

前記第一符号化データは、例えばＨ．２６４規格のビデオデータであり、前記第二符号化データは、例えばＡＡＣ規格のオーディオデータである。このようなメディアファイル復旧装置では、メディアファイル（ＭＰ４ファイル）形式においてサンプルの位置情報を含むメタ情報（ｍｏｏｖ情報）を得ることができない状況においても、Ｈ．２６４規格のビデオデータのＮＡＬユニットには長さフィールドが付加されていることに着目して、その長さフィールドを用いることでデータ容量の大きいビデオデータをストリーム内のオーディオデータと容易に分離させることができる。従って、同期コードを用いてオーディオデータを識別する場合に比べて、復旧に係る処理負荷を大幅に改善することができる。

上記手段を機能としてコンピュータに実行させるためのプログラム、そのプログラムを記憶したコンピュータ読み取り可能な記憶媒体、及び、上記手段を機能としてコンピュータが処理する方法とすることもできる。

本願発明は、不測の事態によりメタ情報を損失したため再生困難になったメディアファイルを復旧することができる。

以下、本発明の実施の形態を図面に基づいて説明する。

図１は、ＭＰ４ファイルフォーマットの構成を示す図である。ＭＰ４ファイルは、主に、互換性情報を格納したｆｔｙｐ領域と、ヘッダー情報を格納したｍｏｏｖ領域と、ビデオデータとオーディオデータとを多重化して格納したｍｄａｔ領域とで構成される。

図１（Ａ）は、ｆｔｙｐ領域、ｍｏｏｖ領域、そしてｍｄａｔ領域の順でメディアデータを構成したフォーマットの例を示し、ｍｏｏｖ領域はｍｄａｔ領域より前に位置する。一方で、図１（Ｂ）は、ｆｔｙｐ領域、ｍｄａｔ領域、そしてｍｏｏｖ領域の順でメディアデータを構成したフォーマットの例を示し、ｍｏｏｖ領域はｍｄａｔ領域の後に位置する。ｍｏｏｖ領域には、ビデオとオーディオのサンプルの位置情報等によるメタ情報が格納されるため、ｍｄａｔ領域の内容が決定してｍｏｏｖ領域の内容が作成されることによる。

図１（Ａ）及び図１（Ｂ）に示すＭＰ４のフォーマットの例において、ｍｏｏｖ領域には、メディアオブジェクト個々の符号化ビットストリームで成るエレメンタリストリームのコンフィグ情報が格納されている。

本発明の原理は、ＭＰ４ファイルのようなメディアファイルのｍｄａｔ領域にＨ．２６４形式のビデオデータがオーディオデータと多重化されて格納されている場合、１フレームのピクチャを構成する複数のＮＡＬ（Network Abstraction Layer）ユニットの各先頭にＮＡＬの長さを示す長さフィールド（NAL unit length）が設定されていることに着目して、ＭＰ４ファイルを復旧するというものである。

図２は、ｍｄａｔ領域に格納されるエレメンタリストリームの多重化例を示す図である。図２に示すエレメンタリストリームは、Ｈ．２６４形式のビデオデータとＡＡＣ（Advanced Audio Coding）のオーディオデータとを多重化した例を示している。エンコードされたビデオデータ自体は分割されて、ＮＡＬユニットのＶＣＬ（Video Coding Layer）に夫々格納される。このエンコードされたビデオデータをデコードするためのパラメータを含むＳＥＩ（Supplemental Enhancement Information）が１つのＮＡＬユニットに格納され、続いてＶＣＬを含むＮＡＬユニットが順次出現する。各ＮＡＬユニット内にはＮＡＬヘッダーが存在する。図２に示すように、ＮＡＬユニット間にオーディオデータのフレームが挿入されている場合がある。

本発明では、ｍｏｏｖ領域が損傷しているストリームがＨ．２６４形式であると仮定して、ビデオデータの各ＮＡＬユニットの直前に付加されているＮＡＬの長さフィールドを用いてＮＡＬユニットの終了位置を特定し、オーディオデータの各フレームの先頭の所定ビットからオーディオデータであることを判定してフレーム長を取得してフレームの終了位置を特定する試みを行う。そして、終了位置が特定できたと思われるＮＡＬユニット毎にビデオデコードを試みる。同様にして、終了位置が特定できたと思われるオーディオデータのフレーム毎にオーディオデコードを試みる。Ｈ．２６４形式であると仮定しデコードを完了できた場合にｍｏｏｖ領域の内容を作成し、可能な限り修復できた時点でストリームを完成させる。

図３は、本発明の一実施例に係るメディアデータ復旧装置のハードウェア構成を示す図である。図３において、メディアデータ復旧装置１００は、ＣＰＵ（Central Processing Unit）１１と、メモリユニット１２と、表示ユニット１３と、入力ユニット１４と、通信ユニット１５と、ビデオ再生ユニット１６ａと、オーディオ再生ユニット１６ｂと、音声出力ユニット１７と、記憶装置１８と、ドライバ１９とを有し、システムバスＢで相互に接続される。

ＣＰＵ１１は、メモリユニット１２に格納されたプログラムに従ってメディアデータ復旧装置１００を制御する。メモリユニット１２は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read-Only Memory）等にて構成され、ＣＰＵ１１にて実行されるプログラム、ＣＰＵ１１での処理に必要なデータ、ＣＰＵ１１での処理にて得られたデータ等を格納する。また、メモリユニット１２の一部の領域が、ＣＰＵ１１での処理に利用されるワークエリアとして割り付けられている。

表示ユニット１３は、ＣＰＵ１１の制御のもとに必要な各種情報を表示する。ユーザーからの指示に応じて各種情報を出力するためにプリンタ等を有するようにしてもよい。入力ユニット１４は、マウス、キーボード等を有し、メディアデータ復旧装置１００が処理を行なうための必要な各種情報をユーザーが入力するために用いられる。通信ユニット１５は、メディアデータ復旧装置１００が例えばインターネット、ＬＡＮ（Local Area Network）等を介して他装置と接続する場合に、他装置との間の通信制御をするための装置である。

ビデオ再生ユニット１６ａは、ＣＰＵ１１の制御のもとに、ＮＡＬユニットから取り出されたエンコードされたビデオデータをデコードしてピクチャ再生して表示ユニット１３に表示する。オーディオ再生ユニット１６ｂは、ＣＰＵ１１の制御のもとに、フレーム毎にオーディオデータをデコードして音声出力ユニット１７から出力する。音声出力ユニット１７は、例えばスピーカ又はイヤフォーンジャックなどである。

記憶装置１８は、例えば、ハードディスクユニットにて構成され、各種処理を実行するプログラム等のデータを格納する。

メディアデータ復旧装置１００よって行われる処理を実現するプログラムは、例えば、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）等の記憶媒体２０によってメディアデータ復旧装置１００に提供される。即ち、プログラムが保存された記憶媒体２０がドライバ１９にセットされると、ドライバ１９が記憶媒体２０からプログラムを読み出し、その読み出されたプログラムがシステムバスＢを介して記憶装置１８にインストールされる。そして、プログラムが起動されると、記憶装置１８にインストールされたプログラムに従ってＣＰＵ１１がその処理を開始する。尚、プログラムを格納する媒体としてＣＤ−ＲＯＭに限定するものではなく、コンピュータが読み取り可能な媒体であればよい。本発明に係る処理を実現するプログラムは、通信ユニット１５によってネットワークを介してダウンロードし、記憶装置１８にインストールするようにしても良い
更に、ビデオ再生ユニット１６ａにビデオ録画機能を備え、オーディオ再生ユニット１６ｂにオーディオ録音機能を備えて、カメラやマイクを備えるようにしてもよい。

図４は、メディアデータ復旧装置の機能構成を示す図である。図４において、メディアデータ復旧装置１００は、表示制御部２３と、入力制御部２４と、通信制御部２５と、音声出力制御部２７と、インストーラ２９と、復旧処理部３０と、ビデオ再生部４１と、オーディオ再生部４２と、記憶領域５０とを有する。

表示制御部２３は、表示データを制御して表示ユニット１３への表示制御を行う。入力制御部２４は、入力ユニット１４から入力されたデータの入力制御を行う。通信制御部２５は、通信ユニット１５を介して行われるデータの送受信及び通信制御を行う。音声出力制御部２７は、音声出力ユニット１７へのデコードされたオーディオデータの出力制御を行う。

インストーラ２９は、メディアデータ復旧装置１００に本発明に係る復旧処理部３０を構成するためのプログラムを記憶した記憶媒体２０からそのプログラムを記憶装置１８にロードして、メディアデータ復旧装置１００にインストールする。インストールされたプログラムは、ＣＰＵ１１の制御によってメモリユニット１２に読み出され、ＣＰＵ１１はメモリユニット１２に読み出したプログラムのコードに従って処理を行うことによって、復旧処理部３０を実現する。

ＣＰＵ１１がプログラムを実行することによって実現される復旧処理部３０は、ストリーム解析部３１と、ストリーム再構成部３２と、パラメータ設定部３３と、ビデオデコード検証部３４と、オーディオデコード検証部３５とを有する。

ストリーム解析部３１は、記憶領域５０に格納されている損傷したＭＰ４ファイルのビデオデータとオーディオデータとが多重化されたストリーム（以下、損傷ストリームという）を解析して、損傷ストリーム内のビデオデータとオーディオデータとを識別する。ストリーム再構成部３２は、ストリーム解析部３１の処理結果を用いてＭＰ４ファイルのフォーマットを完成させてストリームを再構成する。パラメータ設定部３３は、ビデオデータとオーディオデータとを再生するためのパラメータをユーザーに設定させるための処理部である。

ビデオデコード検証部３４は、ビデオ再生ユニット１６ａを利用して、ＮＡＬユニット毎にエンコードされたビデオデータをデコードし、デコードが正常に終了するか否かを検証する処理部であり、ビデオ再生ユニット１６ａによってデコードされたビデオデータが表示ユニット１３に表示されることはない。

オーディオデコード検証部３５は、オーディオ再生ユニット１６ｂを利用して、フレーム毎にエンコードされたオーディオデータをデコードし、デコードが正常に終了するか否かを検証する処理部であり、オーディオ再生ユニット１６ｂによってデコードされたオーディオデータが音声出力ユニット１７から出力されることはない。

ビデオ再生部４１とオーディオ再生部４２とは、ユーザーが動画（映像）又は静止画や音声（又は楽曲）を鑑賞するための処理部である。ビデオ再生部４１は、ビデオ再生ユニット１６ａを制御してエンコードされたビデオデータをデコードし、デコードされたビデオデータを表示制御して動画又は静止画を表示ユニットに表示させる。オーディオ再生部４２は、オーディオ再生ユニット１６ｂを制御してエンコードされたオーディオデータをデコードし、デコードされたオーディオデータを出力制御して音声（又は楽曲）を音声出力ユニット１７から出力させる。

記憶領域５０は、復旧処理部３０で処理されるデータ、その処理によって生成されるデータ等を記憶する領域であり、メモリユニット１２や記憶装置１８の所定記憶領域を示している。記憶領域５０には、損傷ストリーム５１と、ビデオ作業領域５２と、オーディオ作業領域５３と、復旧ｍｏｏｖ情報５４と、再構成ストリーム５１とが格納される。

損傷ストリーム５１は、ＭＰ４ファイルのフォーマット形式のエンコードされたビデオデータとオーディオデータとが多重化されたストリームであるが、ストリーム内に損傷があり、鑑賞するために実行されるビデオ再生部４１及びオーディオ再生部４２では再生不可能なストリームである。損傷ストリーム５１は、復旧処理部３０による復旧処理の対象となるストリームである。

ビデオ作業領域５２は、ストリーム解析部３１が判別したＮＡＬユニット毎のビデオデータに関するデータを一時的に格納する領域である。ストリーム解析部３１は、例えば、判別されたＮＡＬユニット毎にビデオデータを、損傷ストリーム５１に出現した順番に格納するためのバッファ領域として使用したり、或いは、ＮＡＬユニット毎にピクチャ情報を対応させたテーブルを格納するために使用したりする。

オーディオ作業領域５３は、ストリーム解析部３１が判別したフレーム毎のオーディオデータに関するデータを一時的に格納する領域である。ストリーム解析部３１は、例えば、判別されたフレーム毎にオーディオデータを、損傷ストリーム５１に出現した順番に格納するためのバッファ領域として使用したり、或いは、フレーム毎にオーディオデータのフレーム情報を対応させたテーブルを格納するために使用したりする。

復旧ｍｏｏｖ情報５４は、ストリーム解析部３１によって作成されるストリームのメタ情報を示すｍｏｏｖ情報であり、ストリーム再構成部３２によって利用され損傷のないＭＰ４ファイルが再構成される。再構成ストリーム５５は、ビデオ再生部４１及びオーディオ再生部４２によって再生可能なＭＰ４ファイルのフォーマットに損傷ストリーム５１が再構成されたストリームである。

以下、復旧処理部３０による復旧処理について説明する。先ず、ＮＡＬユニットの次のデータがビデオであるのかオーディオであるのかを判別する方法について図５で説明する。図５は、ビデオとオーディオの境界判別方法を説明するための図である。本発明では、ＮＡＬユニットの長さフィールド（Length）を用いてＮＡＬユニットの終了をポイントし、続くデータが長さフィールド（Length）を先頭に付加したＮＡＬユニットである、つまりビデオデータであると仮定する（図５（ａ））。そして、長さフィールド（Length）を含めて更にＮＡＬユニットの先頭からの所定ビットまでの簡易チェック領域８を、ビデオデータであるとの仮定の下に解析できた場合には、続くデータはビデオデータであると判別する。

一方、ビデオデータであると仮定の下に解析した場合に矛盾が検出されれば、オーディオデータであると仮定する（図５（ｂ））。オーディオデータのシンタックスを、オーディオデータであるとの仮定の下に解析できた場合には、続くデータはオーディオデータであると判別する。オーディオデータのシンタックスの解析に失敗した場合、つまり、ビデオデータであるともオーディオデータであるとも判別できない場合であるので、エラー処理を実行し、ＭＰ４ファイルの復旧ができなかったことを示すメッセージを表示ユニット１３に表示してユーザーに通知する。

図６は、ビデオデータの判別方法を説明するための図である。図６において、ビデオデータを格納するＮＡＬユニットは、ＮＡＬヘッダー８ｂとＶＣＬに基づく動画像の圧縮データで成るＲＢＳＰ（Raw Byte Sequence Payload）８ｃとで構成される。ＮＡＬヘッダー８ｂは、常にゼロを示す固定ビット（１ビット）、ＮＡＬユニットの復号でリファレンスピクチャの完全性の要否を示すnal_ref_idc（２ビット）、ＮＡＬユニットのペイロードタイプを示すnal_unit_type（５ビット）で構成される。そして、ＮＡＬユニットの開始直前には長さフィールド（Length）８ａが付加されている。

本発明では、長さフィールド８ａとＮＡＬヘッダー８ｂとを簡易チェック領域８とし、簡易チェック領域８の解析が成功した場合、ビデオデータであると判定する。

損傷ストリーム５１の読み取り位置をビデオのサンプルと仮定して、ＮＡＬユニットの長さフィールド８ａを読み取り位置から後方へ４バイト、２バイト、１バイトの順に読み取って次のＮＡＬユニットの長さフィールド８ａへポイントし、次の長さフィールド８ａの値の妥当性を判断する。ＮＡＬユニットの長さフィールド８ａの値の妥当性の判断は、Ｈ．２６４で規定された必要ビット数以上かつＮＡＬユニットの最大ビット数以下を示すことを確認し、更に、ファイルサイズ以下であることを確認する。

図７は、Ｈ．２６４で規定されたＮＡＬユニットの長さの例を示す図である。図７に示すように、少なくとも、Ｈ．２６４の規格レベル１．３の必要ビット数以上かつ規格レベル３．２のＮＡＬユニットの最大ビット数（又はＮＡＬユニットの最大バイト数）以下であることを確認すればよい。この場合、１９ビット以上かつ２０００×１２００ビット（３００００００バイト）以下を確認する。

ＮＡＬユニットの長さフィールド８ａの値の妥当性が判断できたら、ＮＡＬヘッダー８ｂの先頭の固定ビット（１ビット）が「０」であること、及び、nal_unit_type（５ビット）の位置の値が規定されているＮＡＬタイプを示しているか否かを判定する。Ｈ．２６４では、"13..23:Researved 24..31:Unspecified"と定義されていることにより、nal_unit_type（５ビット）の位置の値が１３から３１を示していないことを確認する。nal_unit_type（５ビット）の位置の値が１３から３１のいずれかを示す場合、ＮＡＬユニット（ビデオ）ではないと判断し、オーディオであると仮定する。

このようなビデオ判定方法において、ＮＡＬタイプ、ＳＥＩの内容を取得して、フレームレート、同期コードを取得する。取得したこれら情報は、例えば、ビデオデコード検証部３４に格納され、復旧ｍｏｏｖ情報５４を作成する際に参照される。

オーディオの仮判定として、ＡＡＣサンプル（raw_data_block）の先頭から所定数ビット分がトラック中で一定の値を示すことを利用して判定を行うことにより、簡単な方法でオーディオデータの判定を行うことができる（オーディオの簡易シンタックスチェック）。この所定数ビット分の一定値の例として、メディアデータ復旧装置１００がオーディオ録音機能を備えている場合、オーディオ録画機能が録音する際に設定する値を優先的に比較して判定を行う。或いは、予め想定される所定数ビット分の値を候補として保持し順次比較するようにしてもよい。この場合、位置する候補を比較値として定義し、以後この比較値を用いてオーディオデータであるか否かを判断するようにする。

オーディオの可能性が高いと判断した場合、オーディオデコード検証部３５を実行してオーディオデータとしてデコードすることによってシンタックスのチェックを行う。また、デコードによりサンプリングサイズを取得する。

このようなオーディオ判定方法において、取得したサンプリングサイズは、例えば、デコードしたオーディオデータのフレームに対応させてオーディオ作業領域５３に格納され、復旧ｍｏｏｖ情報５４を作成する際に参照される。

更に、ＭＰ４ファイルに必要なオフセット位置、同期サンプル位置、表示位置等を取得できた場合、ＭＰ４ファイルのフォーマットを完成させる。

しかしながら、Ｈ．２６４のＰＰＳ（Picture Parameter Set）及びＳＰＳ（Sequence Parameter Set）やＡＡＣの再生時に参照されるパラメータ等を含むaudio_specific_info等が取得不可である場合、ビデオデータとオーディオデータとが多重化されているエレメンタリストリームからビデオデータとオーディオデータとを分離させて、パラメータ設定部３３によって、暫定的なＰＰＳ及びＳＰＳフィールド値、audio_specific_infoの値をユーザーに何度か試行変更させて、ユーザーによる目視確認、音声確認ができるフィールド値を推定する。

初期の暫定的なＰＰＳ及びＳＰＳフィールド値は、エンコーダーが同一、また、録画条件が同じ場合は、殆ど同じもので代替可能である。メディアデータ復旧装置１００がビデオ録画機能を備えている場合、ビデオ録画機能が録画する際に設定する値を優先的に設定してもよい。また、予め想定されるフィールド値を候補として保持し順次設定しては再生し、目視確認をするようにしてユーザーによって妥当な値を設定する。この値は、復旧ｍｏｏｖ情報５４の所定位置に設定される。

初期の暫定的なaudio_specific_infoの値は、オーディオの仮判定の際と同様に、オーディオ録画機能が録音する際に設定する値を優先的に設定してユーザーに視聴させる。或いは、予め想定される所定数ビット分の値を候補として保持し順次設定してユーザーに視聴させるようにして妥当な値を設定するようにする。また、ＡＡＣの場合、audio_specific_infoの所定数ビットは２バイト程となる。ユーザーによって確認された値は、復旧ｍｏｏｖ情報５４の所定位置に設定される。

ストリーム再構成部３２は、記憶領域５０に格納されている損傷ストリーム５１，ビデオ作業領域５２、オーディオ作業領域５３、復旧ｍｏｏｖ情報５４のデータを用いてストリームを再構成して、再構成ストリーム５５として記憶領域５０に出力する。

上述した方法に基づいて、ビデオデータ及びオーディオデータを判別して分離するための基本的な処理フローについて図８で説明する。図８は、ビデオデータ及びオーディオデータの分離処理を説明するための図である。

図８において、ストリーム解析部３１は、損傷ストリーム５１のｍｄａｔフィールドの先頭からビデオのサンプルが格納されていると仮定して、ＮＡＬユニットの長さフィールドの値を確認し、その値でポイントされた次のデータを参照する（ステップＳ５１）。

ストリーム解析部３１は、ポイントされた次のデータの読み取り位置をビデオのサンプルと仮定して、再度、ＮＡＬユニットの長さフィールドと仮定して値の妥当性を判断する（ステップＳ５２）。値の妥当性の判断は、図６で説明した方法で判断する。例えば、Ｈ．２６４の規格レベル３．２のＳＤ相当であるとして、必要ビット数「２２」ビット以上かつＮＡＬユニットの最大ビット数「２００００×１２００」ビット（３００００００バイト）以下であることを確認し、更に、損傷ストリーム５１のファイルサイズ以下であることを確認する。

ステップＳ５２において長さフィールドの値が妥当でないと判断した（ＮＡＬユニットでないらしい）場合、ステップＳ５４へと進み、オーディオである可能性を判断する。一方で、ステップＳ５２において長さフィールドの値が妥当であると判断した（ＮＡＬユニットらしい）場合、長さフィールドに続くデータをＮＡＬヘッダーと仮定して妥当性を確認する（ステップＳ５３）。

ステップＳ５３においてＮＡＬヘッダーと仮定し、先頭ビットが固定ビット（１ビット）を示す「０」以外である、又は、ＮＡＬタイプを示す所定位置の値がＨ．２６４で規定されていない値を示す場合、ＮＡＬユニット（ビデオ）ではないと判断し、オーディオデータであると仮定して、ステップＳ５５へと進み、オーディオデコード検証部３０によってオーディオデータとしてデコードを試みる。一方で、ステップＳ５３においてＮＡＬヘッダーと仮定し、先頭ビットが固定ビット（１ビット）を示す「０」であり、かつ、ＮＡＬタイプを示す所定位置の値がＨ．２６４で規定されている値を示す場合、オーディオの簡易シンタックスチェックを行うためステップＳ５４へと進む。

ストリーム解析部３１は、オーディオデータと仮定して、ＡＡＣサンプルのraw_data_blockの先頭部分の所定数ビット分がチャンネル構成、サンプリングレート等の情報を示すためトラック中では同じ値となることを利用して、この所定数ビット分をチェックする（簡易シンタックスチェック）（ステップＳ５４）。この簡易シンタックスチェックによってオーディオでないと判断した場合、ステップＳ５７へ進み、再度ビデオデータであると仮定して、ビデオデコード検証部３４によってデータをデコードしてみる。

一方、ステップＳ５４において、この簡易シンタックスチェックによってオーディオらしいと判断した場合、オーディオデコード検証部３５によって試しにオーディオデータとしてデコードしてみる（ステップＳ５５）。

ストリーム解析部３１は、オーディオデコード検証部３５によるデコードが成功したか否かを判断する（ステップＳ５６）。デコードが成功した場合、オーディオデータであると判定して、フレームの位置情報、フレームの長さ等のフレーム情報を記憶する（ステップＳ５９−２）。そして、ストリーム解析部３１は、損傷ストリーム５１における読み取り位置を更新し（ステップＳ６３）、更新された読み取り位置が損傷ストリーム５１の終了位置を示すか否かを判断する（ステップＳ６４）。終了位置を示す場合、ストリーム解析部３１によるビデオデータ及びオーディオデータの分離処理を終了する。一方、終了位置に到達していない場合、ステップＳ５２へ戻り、上述した同様の処理を繰り返す。

一方、ステップＳ５６においてオーディオデコード検証部３５によるデコードが失敗した場合、ストリーム解析部３１は、ビデオデコード検証部３４によってデコードしてみる（ステップＳ５７）。

ステップＳ５７においてビデオデコード検証部３４によるデコードが成功したか否かを判断する（ステップＳ５８）。デコードが成功した場合、ビデオデータであると判定して、ストリーム解析部３１は、ＮＡＬタイプを記憶しておくと共に、ＮＡＬタイプがＳＥＩを示す場合、ＮＡＬユニットからＳＥＩの内容からフレームレート、同期コードを取得し記憶しておく（ステップＳ５９）。そして、ストリーム解析部３１は、損傷ストリーム５１における読み取り位置を更新し（ステップＳ６３）、更新された読み取り位置が損傷ストリーム５１の終了位置を示すか否かを判断する（ステップＳ６４）。終了位置を示す場合、ストリーム解析部３１によるビデオデータ及びオーディオデータの分離処理を終了する。一方、終了位置に到達していない場合、ステップＳ５２へ戻り、上述した同様の処理を繰り返す。

ステップＳ５８においてビデオデコード検証部３４によるデコードが失敗した場合、オーディオデコード済みであるか否かを判断する（ステップＳ６０）。オーディオデコード済みである場合、ビデオデータであるともオーディオデータであるとも判断できなかったことになるため、エラー処理を実行して（ステップＳ６２−２）、ストリーム解析部３１によるビデオデータ及びオーディオデータの分離処理を終了する。

ステップＳ６２−２におけるエラー処理では、パラメータ設定部３３によってユーザーによるパラメータの設定を行わせるようにしてもよい。

一方、ステップＳ６０にてオーディオデコードがなされていないと判断した場合、ストリーム解析部３１は、オーディオデコード検証部３５によるデコードを実行する（ステップＳ６１）。そして、ストリーム解析部３１は、オーディオデコード検証部３５によるデコードが成功したか否かを判断する（ステップＳ６２）。オーディオデコード検証部３５によるデコードが失敗した場合、エラー処理を実行して（ステップＳ６２−２）、ストリーム解析部３１によるビデオデータ及びオーディオデータの分離処理を終了する。

一方、ステップＳ６１においけるオーディオデコード検証部３５によるデコードが成功した場合、オーディオデータであると判定してステップＳ５９−２へと進み、フレームの位置情報、フレームの長さ等のフレーム情報を記憶する（ステップＳ５９−２）。そして、ストリーム解析部３１は、損傷ストリーム５１における読み取り位置を更新し（ステップＳ６３）、更新された読み取り位置が損傷ストリーム５１の終了位置を示すか否かを判断する（ステップＳ６４）。終了位置を示す場合、ストリーム解析部３１によるビデオデータ及びオーディオデータの分離処理を終了する。一方、終了位置に到達していない場合、ステップＳ５２へ戻り、上述した同様の処理を繰り返す。

次に、上述した基本の処理フローに基づいて損傷ストリーム５１から分離されたビデオデータとオーディオデータの状態例について図９及び図１０で説明する。図９は、バッファを用いて分離した状態例を示す図である。図９に示す分離状態例では、例えば、ビデオ作業領域５２をビデオバッファとして、オーディオ作業領域５３をオーディオバッファとして利用した場合を例示している。

ストリーム解析部３１での処理でビデオデコード検証部３４によってデコードが成功したビデオデータがビデオバッファに出力される。図８のステップＳ５９にてビデオデータと判定した際の処理において、ビデオ作業領域５２のビデオバッファにビデオデータが追加される。その際、各ＮＡＬユニット（各ピクチャ）のサイズ情報もビデオ作業領域５２に損傷ストリーム５１内の出現順に対応させて出力しておく。また、ストリーム解析部３１での処理中に取得したフレームレート、同期コード等を含む録画パラメータ等もビデオ作業領域５２の所定領域に格納しておく。

また、ストリーム解析部３１での処理でオーディオデコード検証部３５によってデコードが成功したオーディオデータがオーディオバッファに出力される。図８のステップＳ５９−２にてオーディオデータと判定した際の処理において、オーディオ作業領域５３のオーディオバッファにオーディオデータが追加される。その際、各フレームのサイズ情報もオーディオ作業領域５３に損傷ストリーム５１内の出現順に対応させて出力しておく。

ストリーム解析部３１は、ビデオ作業領域５２に格納されている録画パラメータ又は類推したパラメータと、ＮＡＬユニットのサイズ情報と、ビデオバッファの先頭アドレスと、オーディオデータの各フレームのサイズ情報とを入力値としてストリーム再構成部３２に与える。

ストリーム再構成部３２は、入力値を用いてビデオバッファ内に格納されているＮＡＬユニットとオーディオバッファ内に格納されているオーディオデータのフレームとを損傷ストリーム５１内での出現順に再構成して再構成ストリーム５５を作成する。再構成するときには、ストリーム形式に従ったｍｏｏｖ情報を復旧ｍｏｏｖ情報５４として完成させて再構成ストリーム５５に付加し、更に、ファイルタイプを示すｆｔｙｐフィールドを先頭に付加する。

更に、パラメータ設定部３３によりユーザーによる目視確認、音声確認をして再構成ストリーム５５を完成させる。この時、パラメータ設定部３３が取得したユーザーが所望するストリーム形式へ、ストリーム再構成部３２によって再構成ストリーム５５を変更してもよい。ストリーム形式として、ＭＰ４、ＭＰＥＧ−２ ＴＳ、ＭＰＥＧ−２ ＰＳ、ＡＳＦ等が考えられる。

図１０は、テーブルを用いて分離した状態例を示す図である。図１０に示す分離状態例では、例えば、ビデオ作業領域５２にピクチャ情報リスト５２ａを格納し、オーディオ作業領域５３にフレーム情報リスト５３ａを格納した場合を例示している。ピクチャ情報リスト５２ａ及びフレーム情報リスト５３ａを用いて、ビデオデータとオーディオデータとを分けて管理することによって、図９に示すデータそのものを格納するバッファと比べると記憶領域５０の使用領域を削減することができる。

ピクチャ情報リスト５２ａには、損傷ストリーム５１における出現順に対応させて、損傷ストリーム５１の先頭からのＮＡＬユニットの前に付加される長さフィールドへの相対アドレスで示されるオフセット位置と、ＮＡＬユニットのサイズを示すサイズ情報とが格納され管理される。図８のステップＳ５９にてビデオデータと判定した際の処理において、ピクチャ情報リスト５２ａにデータが追加される。また、ストリーム解析部３１での処理中に取得したフレームレート、同期コード等を含む録画パラメータ等もビデオ作業領域５２の所定領域に格納される。

フレーム情報リスト５３ａには、損傷ストリーム５１における出現順に対応させて、損傷ストリーム５１の先頭からのオーディオデータ（ＡＡＣ）のフレームへの相対アドレスで示されるオフセット位置と、フレームのサイズを示すサイズ情報とが格納され管理される。図８のステップＳ５９−２にてオーディオデータと判定した際の処理において、フレーム情報リスト５３ａにデータが追加される。

ストリーム解析部３１は、ビデオ作業領域５２に格納されている録画パラメータ又は類推したパラメータと、ピクチャ情報リスト５２ａの先頭アドレスと、フレーム情報リスト５３ａの先頭アドレスとを入力値としてストリーム再構成部３２に与える。

ストリーム再構成部３２及びパラメータ設定部３３については、図９での説明と同様である。

図１０及び図９において、復旧ｍｏｏｖ情報５４には、ビデオのサンプルの位置情報及びオーディオのサンプルの位置情報が、ビデオ作業領域５２及びオーディオ作業領域５３を用いて格納される。また、復旧ｍｏｏｖ情報５４内のビデオデータとオーディオデータの構成に関するconfig情報には、ビデオ特定情報（audio_specific_info）、オーディオ特定情報（audio_specific_info）、Ｈ．２６４のＳＰＳ及びＰＰＳの情報を含むビデオ構成情報AVC_Config等が再構築される。

図１１は、復旧されたＭＰ４ファイルの構成例を示す図である。図１１に示す復旧されたＭＰ４ファイルでは、Ｈ．２６４規格のビデオデータとＡＡＣ規格のオーディオデータとが多重化されたストリームの例が示されている。再構成ストリーム５５から位置情報３−１、３−２、３−３、・・・が取得され格納された復旧ｍｏｏｖ情報５４が再構成ストリーム５５のｍｏｏｖ情報５４ａとして付加されている。

上述したように、本発明では、ＭＰ４ファイル形式においてサンプルの位置情報を示すｍｏｏｖ情報を得ることができない状況においても、Ｈ．２６４規格のビデオデータが多重化されていると仮定することによって、ブロードバンドの普及によって映像配信で広く採用されるようになったＨ．２６４規格のビデオデータが多重化されているＭＰ４ファイルを復旧させることができる。

また、Ｈ．２６４規格のビデオデータが多重化されていると仮定し、ＮＡＬユニットの直前に付加されている長さフィールドを参照して次のデータの先頭をポイントして、そのポイントされたデータがビデオデータらしいか又はオーディオデータらしいかを判定するため、他規格で定義されているような同期コードでストリームの先頭からビット単位でずらして一致を確認する処理に比べると相当に処理能力を改善することができる。このことは、例えば、図７に示すＨ．２６４のレベル３．２で規定されるＮＡＬユニットの最大ビット数（２００００×１２００ビット）を参照することによって、本発明によってＭＰ４ファイルを復旧するための処理能力が相当に改善されることは容易に理解できることである。また、Ｈ．２６４規格のビデオデータが多重化されているＭＰ４ファイルを可能な限り修復し認識できるレベルまで再生可能な状態とすることができる。

以上の説明に関し、更に以下の項を開示する。
（付記１）
メディアファイルを復旧するメディアファイル復旧装置であって、
前記メディアファイルに格納される、長さフィールドと符号化部とで成る第一符号化データと該第一符号化データとは符号化の異なる形式による第二符号化データとが多重化されたストリームの先頭のデータを、該第一符号化データの長さフィールドと仮定する長さフィールド仮定手段と、
該長さフィールドを用いてポイントした次のデータが、該第一符号化データである場合に取り得る値範囲を用いて該第一符号化データであることの妥当性を判断する第一符号化データ判断手段と、
前記第一符号化データ判断手段によって前記第一符号化データの妥当性が判断された場合、該第一符号化データをデコードして成功したときに該第一符号化データであると判定する第一デコード判定手段とを備えることを特徴とするメディアファイル復旧装置。
（付記２）
前記長さフィールドの値が前記第一符号化データであり得るための最小サイズ以上かつ最大サイズ以下であり、かつ、前記メディアファイルのサイズ以下であることを確認する長さ確認手段を備え、
前記長さフィールド仮定手段は、前記長さ確認手段によって前記長さフィールドの値を確認できた場合、前記第一符号化データの長さフィールドと仮定することを特徴とする付記１記載のメディアファイル復旧装置。
（付記３）
前記第一符号化データ判断手段は、
前記次のデータが該第一符号化データであると仮定して、該次のデータでの長さフィールドの値を前記長さ確認手段によって確認し、
前記長さフィールドに続くデータを前記第一符号化データにおける前記符号化データのヘッダーと仮定して、該ヘッダーが取り得る値範囲を用いて該第一符号化データの妥当性を判断することを特徴とする付記２記載のメディアファイル復旧装置。
（付記４）
前記第一符号化データ判断手段は、更に、
前記次のデータにおいて前記第一符号化データの長さフィールドを確認できなかった場合、又は、前記長さフィールドに続くデータを前記第一符号化データにおける前記符号化データのヘッダーと仮定することによる該第一符号化データの妥当性を判断できなかった場合、該次のデータの先頭データ部が前記第二符号化データの先頭データ部が取り得る値範囲を示すかを確認することによって、該第二符号化データの妥当性を判断する第二符号化データ判断手段を備えることを特徴とする付記３記載のメディアファイル復旧装置。
（付記５）
前記第一符号化データ判断手段によって前記次のデータが前記第一符号化データでないと判断された場合、前記次データを前記第二符号化データであると仮定してデコードして成功したときに該第二符号化データであると判定する第二デコード判定手段を備えることを特徴とする付記３又は付記４記載のメディアファイル復旧装置。
（付記６）
前記第二符号化データ判断手段によって前記第二符号化データの妥当性を判断できなかった場合、又は、前記第二デコード判定手段によってデコードが失敗した場合、前記第一符号化データであると仮定してデコードする第一デコード手段を備えることを特徴とする付記４又は付記５記載のメディアファイル復旧装置。
（付記７）
前記第一デコード手段によるデコードが失敗した場合、第二符号化データであると仮定してデコードする失敗後デコード手段と、
前記失敗後デコード手段によるデコードが失敗した場合、エラー処理を実行するエラー手段とを備えることを特徴とする付記６記載のメディアファイル復旧装置。
（付記８）
前記第一デコード判定手段によって前記第一符号化データであると判定された次のデータを順次格納する第一バッファと、
前記第二符号化データ判断手段によって前記第二符号化データであると判定された次のデータを順次格納する第二バッファとを備えることを特徴とする付記４乃至７のいずれか一項記載のメディアファイル復旧装置。
（付記９）
前記第一デコード判定手段によって前記第一符号化データであると判定された次のデータの前記ストリーム内でのオフセット値とサイズ情報とを順次格納する第一リストと、
前記第二デコード判定手段によって前記第二符号化データであると判定された次のデータの前記ストリーム内でのオフセット値とサイズ情報とを順次格納する第二リストとを備えることを特徴とする付記４乃至７のいずれか一項記載のメディアファイル復旧装置。
（付記１０）
前記第一デコード判定手段及び／又は前記第二デコード判定手段によるデコードが成功した前記次データを用いて前記メディアファイルを再構成する再構成手段を備えることを特徴とする付記４乃至９のいずれか一項記載のメディアファイル復旧装置。
（付記１１）
前記再構成されたメディアファイルをユーザーからの入力に応じて所望のファイル形式に変更する手段を備えることを特徴とする付記１０記載のメディアファイル復旧装置。
（付記１２）
メディアファイルを復旧するメディアファイル復旧装置におけるメディアファイル復旧方法であって、該メディアファイル復旧装置が、
前記メディアファイルに格納される、長さフィールドと符号化部とで成る第一符号化データと該第一符号化データとは符号化の異なる形式による第二符号化データとが多重化されたストリームの先頭のデータを、該第一符号化データの長さフィールドと仮定する長さフィールド仮定手順と、
該長さフィールドを用いてポイントした次のデータが、該第一符号化データである場合に取り得る値範囲を用いて該第一符号化データであることの妥当性を判断する第一符号化データ判断手順と、
前記第一符号化データ判断手順によって前記第一符号化データの妥当性が判断された場合、該第一符号化データをデコードして成功したときに該第一符号化データであると判定する第一デコード判定手順とを実行することを特徴とするメディアファイル復旧方法。
（付記１３）
メディアファイルを復旧するメディアファイル復旧装置としてコンピュータを機能させるプログラムであって、該コンピュータを、
前記メディアファイルに格納される、長さフィールドと符号化部とで成る第一符号化データと該第一符号化データとは符号化の異なる形式による第二符号化データとが多重化されたストリームの先頭のデータを、該第一符号化データの長さフィールドと仮定する長さフィールド仮定手段と、
該長さフィールドを用いてポイントした次のデータが、該第一符号化データである場合に取り得る値範囲を用いて該第一符号化データであることの妥当性を判断する第一符号化データ判断手段と、
前記第一符号化データ判断手段によって前記第一符号化データの妥当性が判断された場合、該第一符号化データをデコードして成功したときに該第一符号化データであると判定する第一デコード判定手段として機能させることを特徴とするコンピュータ実行可能なプログラム。

本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

ＭＰ４ファイルフォーマットの構成を示す図である。 ｍｄａｔ領域に格納されるエレメンタリストリームの多重化例を示す図である。 本発明の一実施例に係るメディアデータ復旧装置のハードウェア構成を示す図である。 メディアデータ復旧装置の機能構成を示す図である。 ビデオとオーディオの境界判別方法を説明するための図である。 ビデオデータの判別方法を説明するための図である。 Ｈ．２６４で規定されたＮＡＬユニットの長さの例を示す図である。 ビデオデータ及びオーディオデータの分離処理を説明するための図である。 バッファを用いて分離した状態例を示す図である。 テーブルを用いて分離した状態例を示す図である。 復旧されたＭＰ４ファイルの構成例を示す図である。

符号の説明

８ 簡易チェック領域
８ａ 長さフィールド
８ｂ ＮＡＬヘッダー
８ｃ ＲＢＳＰ
１１ ＣＰＵ
１２ メモリユニット
１３ 表示ユニット
１４ 入力ユニット
１５ 通信ユニット
１６ａ ビデオ再生ユニット
１６ｂ オーディオ再生ユニット
１７ 音声出力ユニット
１８ 記憶装置
１９ ドライバ
２０ 記憶媒体
２３ 表示制御部
２４ 入力制御部
２５ 通信制御部
２７ 音声出力制御部
２９ インストーラ
３０ 復旧処理部
３１ ストリーム解析部
３２ ストリーム再構成部
３３ パラメータ設定部
３４ ビデオデコード検証部
３５ オーディオデコード検証部
４１ ビデオ再生部
４２ オーディオ再生部
５０ 記憶領域
５１ 損傷ストリーム
５２ ビデオ作業域
５２ａ ピクチャ情報リスト
５３ オーディオ作業域
５３ａ フレーム情報リスト
５４ 復旧ｍｏｏｖ情報
５５ 再構成ストリーム

Claims (5)

1. メディアファイルを復旧するメディアファイル復旧装置であって、
   前記メディアファイルに格納される、長さフィールドと符号化部とで成る第一符号化データと該第一符号化データとは符号化の異なる形式による第二符号化データとが多重化されたストリームの先頭のデータを、該第一符号化データの長さフィールドと仮定する長さフィールド仮定手段と、
   該長さフィールドを用いてポイントした次のデータが、該第一符号化データである場合に取り得る値範囲を用いて該第一符号化データであることの妥当性を判断する第一符号化データ判断手段と、
   前記第一符号化データ判断手段によって前記第一符号化データの妥当性が判断された場合、該第一符号化データをデコードして成功したときに該第一符号化データであると判定する第一デコード判定手段とを備えることを特徴とするメディアファイル復旧装置。
2. 前記長さフィールドの値が前記第一符号化データであり得るための最小サイズ以上かつ最大サイズ以下であり、かつ、前記メディアファイルのサイズ以下であることを確認する長さ確認手段を備え、
   前記長さフィールド仮定手段は、前記長さ確認手段によって前記長さフィールドの値を確認できた場合、前記第一符号化データの長さフィールドと仮定することを特徴とする請求項１記載のメディアファイル復旧装置。
3. 前記第一符号化データ判断手段は、
   前記次のデータが該第一符号化データであると仮定して、該次のデータでの長さフィールドの値を前記長さ確認手段によって確認し、
   前記長さフィールドに続くデータを前記第一符号化データにおける前記符号化データのヘッダーと仮定して、該ヘッダーが取り得る値範囲を用いて該第一符号化データの妥当性を判断することを特徴とする請求項２記載のメディアファイル復旧装置。
4. 前記第一符号化データ判断手段は、更に、
   前記次のデータにおいて前記第一符号化データの長さフィールドを確認できなかった場合、又は、前記長さフィールドに続くデータを前記第一符号化データにおける前記符号化データのヘッダーと仮定することによる該第一符号化データの妥当性を判断できなかった場合、該次のデータの先頭データ部が前記第二符号化データの先頭データ部が取り得る値範囲を示すかを確認することによって、該第二符号化データの妥当性を判断する第二符号化データ判断手段を備えることを特徴とする請求項３記載のメディアファイル復旧装置。
5. メディアファイルを復旧するメディアファイル復旧装置におけるメディアファイル復旧方法であって、該メディアファイル復旧装置が、
   前記メディアファイルに格納される、長さフィールドと符号化部とで成る第一符号化データと該第一符号化データとは符号化の異なる形式による第二符号化データとが多重化されたストリームの先頭のデータを、該第一符号化データの長さフィールドと仮定する長さフィールド仮定手順と、
   該長さフィールドを用いてポイントした次のデータが、該第一符号化データである場合に取り得る値範囲を用いて該第一符号化データであることの妥当性を判断する第一符号化データ判断手順と、
   前記第一符号化データ判断手順によって前記第一符号化データの妥当性が判断された場合、該第一符号化データをデコードして成功したときに該第一符号化データであると判定する第一デコード判定手順とを実行することを特徴とするメディアファイル復旧方法。

Images