JP2012060509A

JP2012060509A - 動画像再生装置および方法

Info

Publication number: JP2012060509A
Application number: JP2010203155A
Authority: JP
Inventors: Tatsuya Kusakada; 辰哉日下田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-09-10
Filing date: 2010-09-10
Publication date: 2012-03-22
Anticipated expiration: 2030-09-10
Also published as: JP5683181B2

Abstract

【課題】タイムスタンプ情報を含まない符号化動画像データの再生中にエラーが発生しても、少なくともエラーからの復帰後に、データ欠落等のエラーが発生した期間の情報を表示できるようにする。
【解決手段】符号化動画像データの再生中にエラーを検出した場合、前記符号化動画像データに含まれる画面内符号化ピクチャの記録位置を示す管理情報に基づいて、エラーとなったデータを含むフレームの後続の画面内符号化ピクチャを検索してエラーから復帰する位置を判定するとともに、エラーからの復帰時、検索された画面内符号化ピクチャのフレーム番号に基づいて、表示される経過時間情報を更新するとともに、エラーの発生により欠落したフレーム期間又はエラーの発生により欠落したフレーム数を示すエラー情報を表示する。
【選択図】図５

Description

本発明は、動画像再生装置および方法に関し、特に、再生中に発生したエラーから復帰する技術に関するものである。

動画像データの高能率符号化方式として、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）方式や次世代のＨ．２６４方式が知られている。また、ＭＰＥＧ−２などで圧縮符号化された動画像データを記録および再生する記録再生装置も普及してきている。

ＭＰＥＧ系の符号化方式では、同一フレーム内の画像データのみで符号化を行うフレーム内符号化と、参照フレームとの予測誤差を符号化するフレーム間予測符号化とを用いた符号化処理を行う。例えばＭＰＥＧ−２では、フレーム内符号化データであるＩピクチャ、前方予測符号化データであるＰピクチャ、および、双方向予測符号化データであるＢピクチャを組み合わせた符号化処理を行っている。

また、ＭＰＥＧ−２等には、符号化の単位としてＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅｓ）という概念が導入されている。ＧＯＰは、一般的に１つのＩピクチャと、所定数のＰおよびＢピクチャの並びから構成される。符号化順でＧＯＰの先頭はＩピクチャであり、一定間隔でＰピクチャが挿入され、さらにＩピクチャとＰピクチャの間にＢピクチャが挿入される。入力されたフレームの順番（表示順）とは異なる順番で符号化が行われ、例えば、ＧＯＰ内の符号化順はＩ２、Ｂ０、Ｂ１、Ｐ５、Ｂ３、Ｂ４、Ｐ８、Ｂ６、Ｂ７、Ｐ１１、Ｂ９、Ｂ１０、Ｐ１４、Ｂ１２、Ｂ１３のようになる。ここで、Ｉ、Ｂ、Ｐはピクチャの種類を表し、右側の数字は表示順（先頭は０）を表している。上記のようなＧＯＰ構造は一例であるが、一般的に１５フレームを１ＧＯＰとし、ＩピクチャまたはＰピクチャの出現間隔を３フレームとすることが多い。このようなＧＯＰの連続からなるストリームデータが、記録再生装置によって記録媒体に記録される。

一方、符号化された動画像データを再生する際には、符号化された順に復号化を行い、表示順に並び替えてフレーム画像を出力し、再生表示を行う。例えば、復号化はＩ２、Ｂ０、Ｂ１、Ｐ５、Ｂ３、Ｂ４、Ｐ８、Ｂ６、Ｂ７、Ｐ１１、Ｂ９、Ｂ１０、Ｐ１４、Ｂ１２、Ｂ１３の順に行い、表示はＢ０、Ｂ１、Ｉ２、Ｂ３、Ｂ４、Ｐ５、Ｂ６、Ｂ７、Ｐ８、Ｂ９、Ｂ１０、Ｐ１１、Ｂ１２、Ｂ１３、Ｐ１４の順に行う。

ところで、上述したように、ＭＰＥＧ系の符号化方式ではフレーム間予測符号化を採用しているので、再生フレームのデータにエラーが生じた場合、１フレームの欠落にとどまらずに、数フレームに渡って欠落する場合が考えられる。再生された符号化動画像データのエラー発生時の対策に関する特許提案が、特許文献１に記載されている。特許文献１によると、エラー期間の符号化動画像データを、エラーになる直前の正常なフレーム画像のデータに置き換える技術が提案されている。

特開２００５−２２９３９５号公報

上記の特許文献１の技術は、エラー期間の算出に、システムデータ中に付加された符号化データのタイムスタンプであるＤＴＳ（ＤｅｃｏｄｉｎｇＴｉｍｅＳｔａｍｐ）を参照している。しかしながら、すべての符号化動画像データが、ＤＴＳに代表されるような符号化時間や表示時間などを表すためのタイムスタンプ情報を含んでいるとは限らない。実際のところ、タイプスタンプ情報を含むか否かは、符号化動画像データの記録フォーマットに依存していると言える。例えば、ＭＰＥＧ−２の符号化データをＤＶＤに記録するためのフォーマットには、タイムスタンプの付加を必須と規定しているものがあるが、メモリカードやハードディスクに記録するフォーマットにおいては、そのような必須の要件は必ずしも存在しない。したがって、タイムスタンプ情報を含んでいない符号化動画像データも多数存在する。

ここで、任意の記録媒体から符号化動画像データの再生中に、データ欠落等のエラーが発生した場合を想定する。再生される符号化データが、特許文献１のようにタイムスタンプ情報を含む符号化動画像データの形式であれば、データ欠落から復帰した後の正常なデータのタイムスタンプ情報を見ることで、何フレーム欠落して、復帰後にどのフレームを再生しているか分かる。一方、タイムスタンプ情報を含まない符号化動画像データの形式であれば、正常に再生できている間はフレーム数をカウントアップすることで、どのフレームを再生しているか分かるが、データ欠落から復帰した時点で現在どのフレームを再生しているか不明となる。このとき、再生データのタイムコード（経過時間情報）を表示しているならば、データ欠落から復帰した時点で時間表示の継続が途切れてしまうか、実際に再生されているフレームとは異なる値を表示してしまう可能性がある。また、ユーザーは、符号化動画像データの再生中にデータ欠落が発生した場合に、どの部分が欠落したのか確認したいものであるが、タイムスタンプ情報が無い状況下では、欠落したフレームの位置や数などを識別可能に表示するのは困難である。

したがって、本発明の目的は、タイムスタンプ情報を含まない符号化動画像データの再生中にエラーが発生しても、少なくともエラーからの復帰後に、データ欠落等のエラーが発生した期間の情報を表示することにある。

上記目的を達成するために、本発明の動画像再生装置は、タイムスタンプ情報を含まない符号化動画像データを再生する動画像再生装置であって、前記符号化動画像データを記憶媒体から再生する再生手段と、前記再生手段によって再生されたデータを復号化する復号化手段と、前記復号化手段によって復号化されたデータに基づいて動画像及び当該動画像の経過時間情報を表示する表示手段と、前記再生手段によって再生されたデータのエラーを検出するエラー検出手段と、前記符号化動画像データに含まれる画面内符号化ピクチャの記録位置を示す管理情報を記憶する記憶手段と、前記再生手段による再生中に前記エラー検出手段によって前記エラーを検出した場合、前記記憶手段に記憶された管理情報に基づいて、前記エラーとなったデータを含むフレームの後続の画面内符号化ピクチャを検索して前記エラーから復帰するよう制御する制御手段とを備え、前記エラーからの復帰時、前記表示手段は、前記制御手段によって検索された画面内符号化ピクチャのフレーム番号に基づいて、表示される経過時間情報を更新するとともに、前記エラーの発生により欠落したフレーム期間又は前記エラーの発生により欠落したフレーム数を示すエラー情報を表示することを特徴とする。

また、本発明の動画像再生方法は、タイムスタンプ情報を含まない符号化動画像データを再生する動画像再生方法であって、前記符号化動画像データを記憶媒体から再生する再生工程と、前記再生工程で再生されたデータを復号化する復号化工程と、前記復号化工程で復号化されたデータに基づいて動画像及び当該動画像の経過時間情報を表示する表示工程と、前記再生工程で再生されたデータのエラーを検出するエラー検出工程と、前記符号化動画像データに含まれる画面内符号化ピクチャの記録位置を示す管理情報を記憶する記憶工程と、前記符号化動画像データの再生中に前記エラー検出工程で前記エラーを検出した場合、前記記憶工程で記憶された管理情報に基づいて、前記エラーとなったデータを含むフレームの後続の画面内符号化ピクチャを検索して前記エラーから復帰するよう制御する制御工程とを有し、前記エラーからの復帰時、前記表示工程は、前記制御工程で検索された画面内符号化ピクチャのフレーム番号に基づいて、表示される経過時間情報を更新するとともに、前記エラーの発生により欠落したフレーム期間又は前記エラーの発生により欠落したフレーム数を示すエラー情報を表示することを特徴とする。

本発明によれば、タイムスタンプ情報を含まない符号化動画像データの再生中にエラーが発生しても、少なくともエラーからの復帰後に、データ欠落等のエラーが発生した期間の情報を表示でき、エラー箇所を容易に確認できるようになる。

本発明の実施形態に係る動画像再生装置の概略構成を示すブロック図である。再生動作中の表示の例である。管理情報データの構造を示した図である。記録アライメントと符号化動画像データの関係を示した図である。本発明の実施形態に係る動画像再生装置の再生動作のフローチャートである。符号化動画像データの各フレーム画像の復号タイミングと、表示タイミングを示した図である。エラーが起きたときの各フレーム画像の復号タイミングと、表示タイミングを示した図である。エラーからの復帰後に通知するエラー情報の表示処理を説明するための図である。エラー処理の最中に通知するエラー情報の表示処理を説明するための図である。

以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。

図１は、本発明の実施形態に係る動画像再生装置１０の概略構成を示すブロック図である。動画像再生装置１０は、制御部１００、復号化部１０１、ＲＡＭ部１０２、操作部１０３、表示部１０４、ＲＯＭ部１０５、記憶媒体インタフェース（Ｉ／Ｆ）１０６、記憶媒体１０７、バス１０８を具備する。なお、動画像再生装置１０は、不図示の撮像部（カメラ）をさらに備えたビデオカメラとして実施することもできる。

制御部１００は、上記の各ユニットの動作制御を行うものであって、ＣＰＵ等のコンピュータを備えている。制御部１００によって実行される制御プログラムは、ＲＯＭ部１０５のメモリに格納される。また各ユニット間は、バス１０８を介してデータが伝送される。操作部１０３は、ユーザーとのインタフェースとなる各種操作キーを備える。操作部１０３によって再生動作の実行が指示されると、制御部１００の制御によって再生動作が実行される。このとき、記憶媒体Ｉ／Ｆ１０６が再生手段として機能し、記憶媒体１０７に記憶された符号化動画像データを読み出して、ＲＡＭ部１０２に保存する。ＲＡＭ部１０２は所謂バッファメモリとして機能する。

復号化部１０１は、ＲＡＭ部１０２に保存された符号化動画像データを読み出して、所定の符号化方式に従ってこれを復号化する。所定の符号化方式とは、同一フレーム内の画像データのみで符号化を行うフレーム内符号化と、参照フレームとの予測誤差を符号化するフレーム間予測符号化とを用いた符号化処理を行うＭＰＥＧ−２やＨ．２６４等である。本実施形態で用いる符号化動画像データは、画面内符号化ピクチャ（Ｉピクチャ）、順方向予測符号化ピクチャ（Ｐピクチャ）、および、双方向予測符号化ピクチャ（Ｂピクチャ）を有しているものとする。

復号化部１０１で復号された動画像データは、ＲＡＭ部１０２を介して表示部１０４に表示画像データとして供給される。表示部１０４は、液晶ディスプレイ等から構成されるモニターであり、表示画像データを入力して表示画像を出力する。

復号化部１０１は、圧縮符号化された状態である符号化動画像データを復号する機能を有するとともに、復号されるデータのエラーを検出するエラー検出機能、並びに、表示画像データの一部としてフレーム番号およびタイムコードを生成する機能を具備する。復号化部１０１は、前記エラー検出機能によって、再生データの一部欠落等によるエラーを検出することができる。上記エラーとは、読み出しや記録データの不良等に起因する。

図２は、表示部１０４における再生動作中の表示の例である。表示部１０４のメイン画面には、復号された動画像のフレーム画像を表示する。また、表示部１０４は、再生される動画像の付加情報として、表示しているフレーム画像のフレーム番号表示２００、および、動画像の経過時間情報（再生時間）であるタイムコード表示２０１を表示する。フレーム番号表示２００、および、タイムコード表示２０１は、復号化部１０１によって生成された情報を可視化したものである。なお、フレーム番号表示２００、および、タイムコード表示２０１は、必ずしも両方表示する必要は無く、どちらか一つの表示であっても良い。

図２において、フレーム番号表示２００は、表示しているフレーム画像が１２３番目のフレームであることを示しており、表示部１０４に表示されるフレーム画像が更新されるたびに表示されるフレーム番号も更新される。当該フレーム番号は、復号化部１０１によって、符号化動画像データ中の所定の管理情報（システムデータ）を参照して生成される。当該所定の情報については、図３を用いて後述する。タイムコード表示２０１は、現在が００（時）：００（分）：０４（秒）であることを示している。当該タイムコードは、フレーム番号を基に復号化部１０１によって生成される再生時間を示す情報であって、フレーム番号を秒単位に換算して生成され、１秒が３０フレームの場合、１２３番目のフレーム画像を表示しているときは１２３／３０＝４秒と表示される。なお、符号化動画像データの先頭ではなく、途中から再生された場合には、復号化部１０１が、最初に復号するＩピクチャをオフセットフレームとして定め、当該オフセットフレーム（Ｉピクチャ）のフレーム番号を取得する。そして、当該オフセットフレームのフレーム番号と再生開始以降のフレームのフレーム番号とを足し合わせることにより、表示すべきタイムコードを生成する。

図３は本発明の実施形態に適用される管理情報データの構造を示した図である。このような管理情報データ（システムデータ）は、符号化動画像データに多重化されて、記憶媒体１０７に記憶されている。図３の３００、３０１、３０２、３０３は、それぞれ符号化動画像データに含まれるＩピクチャの情報を示したものである。Ｉピクチャの情報とは、各Ｉピクチャについての記憶媒体１０７上での記録位置を示す“アドレス”、Ｉピクチャのデータサイズを示す“サイズ”、及び、符号化動画像データの先頭からの“フレーム番号”などの情報などが含まれる。再生時、復号化部１０１は、図３の管理情報データを符号化動画像データ（ストリーム）よりも先に再生して取得できる。そして再生中は、予め取得したＩピクチャの情報と、再生されるＩピクチャとの比較を行って、ストリーム進捗やＩピクチャのタイミングを監視することができる。もし、再生中にエラーが発生した場合には、エラーの直前に復号できたフレームの情報から、次以降のＩピクチャの位置を検索することで、エラー発生後にＩピクチャからの復号を再開することができる。なお、図３に記載したＩピクチャの記憶媒体１０７上での記録位置を示すアドレスは、ファイル先頭からのオフセットアドレスなど該当Ｉピクチャの記憶媒体１０７上での記録位置がわかるものであればどれでもよい。

次に図６を参照して、再生の動作概要を説明する。図６は、符号化動画像データの各フレーム画像の復号タイミングと、表示タイミングを示した図である。６００及び６０１は記憶媒体１０７に記憶されている符号化動画像データのＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅｓ）を表しており、それぞれＩ２からＢ１３までの１５個のピクチャの組み合わせから構成されている。図中のＩ、Ｂ、Ｐはピクチャの種類を表し、右側の数字は表示順（先頭は０）を表している。６０２は符号化動画像データ（ＧＯＰ）６００の各フレームを復号するタイミングを示している。６０３は復号化されたフレーム画像を表示するタイミングを示しており、図の例では表示のタイミングは復号化より２フレーム分遅れている。６０４は再生時間及びフレーム番号を表示するタイミングを示している。図６ではフレーム番号のみ表示する例となっており、フレーム番号１から開始されているものとする。再生時間は前述のようにフレーム番号をもとに計算して表示する。

操作部１０３から再生開始の指示がされると、制御部１００は記憶媒体Ｉ／Ｆ１０６を介して記憶媒体１０７から管理情報ファイルを読み込み、管理情報データをＲＡＭ部１０２に格納する。さらに、符号化動画像データ６００、６０１を順に読み込み、ＲＡＭ部１０２に格納していく。符号化動画像データがＲＡＭ部１０２に格納されていくと、制御部１００は復号化部１０１に対し、ＲＡＭ部１０２に格納された符号化動画像データの復号化を指示する。復号化部１０１は、符号化動画像データの復号化を行い、生成したフレーム画像をＲＡＭ部１０２に格納する。制御部１００はＲＡＭ部１０２に格納されたフレーム画像が表示できるタイミングになったときに表示部１０４に対し、フレーム画像の表示を指示する。図６中のＩ２、Ｂ０と復号化を行い、最初に表示すべきＢ０のフレーム画像がＲＡＭ部１０２に格納された直後が最初の表示タイミングとなり、Ｂ０のフレーム画像の表示を表示部１０４に指示する。同時に、表示するフレーム画像の数もカウントし、フレーム番号から再生時間を計算し、表示部１０４に対し、再生時間及びフレーム番号の表示を指示する。表示部１０４はフレーム画像、再生時間及びフレームの番号の表示を行う。符号化動画像データの読み込みからフレーム画像、再生時間及びフレームの番号の表示までの一連の動作は、操作部１０３から再生停止の指示がされるか、または全ての符号化動画像データのフレーム画像が表示されるまで行われる。

次に図７を参照して、再生中にエラーが起こったときの動作について説明する。図７は、エラーが起きたときの各フレーム画像の復号タイミングと、表示タイミングを示した図である。図７の６００と６０１は、図６にて説明した符号化動画像データと同じである。６０５は符号化動画像データ（ＧＯＰ）６００の各フレームを復号化するタイミングを示している。６０６はエラー発生時に検索したＩピクチャを復号化するタイミングを示している。６０７はエラーからの復帰後に再生を再開し、再開後、最初に符号化動画像データ（ＧＯＰ）６０１を復号化するタイミングを示している。６０８は復号化されたフレーム画像を表示するタイミングを示している。６０９は復号化時にエラーの対象となったピクチャ（エラーとなったデータを含むフレーム）を示していて、この例ではＰ８のピクチャにエラーが発生したことを示している。６１０は再生時間及びフレーム番号を表示するタイミングを示している。図７ではフレーム番号のみ表示する例となっており、フレーム番号１から開始されているものとする。再生時間は前述のようにフレーム番号をもとに計算して表示する。

本発明の実施形態は、符号化動画像データ中に、符号化時間や表示時間などのタイムスタンプ情報を含まない符号化動画像データの再生に適用できる。タイムスタンプ情報を含まない符号化動画像データにエラーが発生した場合、エラー中の画像の乱れを最小限に抑えることと、エラーからの復帰に向けた動作（再生再開位置の検索）が重要である。そこで、復号化部１０１が復号時にエラーを検出すると、制御部１００は表示部１０４に対し、正常に復号できているエラー直前のフレームの画像と、そのフレームの再生時間及びフレーム番号を表示し続けるように指示する。表示部１０４は、指示されたフレーム画像、再生時間及びフレーム番号を表示する。図７を例にすると、エラーピクチャ６０９が発生したとき、その直前に正常に復号され、表示可能な最後のフレーム画像はＰ５のフレーム画像であるため、Ｐ５のフレーム画像とその再生時間及びフレーム番号を表示し続けることになる。

さらに、制御部１００は、ＲＡＭ部１０２に格納されている管理情報データに含まれるＩピクチャのアドレス、サイズ、フレーム番号と、正常に復号できたフレームの番号とから次のＩピクチャを検索し、当該Ｉピクチャのデータを記憶媒体１０７から読み出す。そして、読み出したＩピクチャのデータをＲＡＭ部１０２に格納する。制御部１００は、復号化部１０１に当該Ｉピクチャの復号化を指示し、復号化部１０１は当該Ｉピクチャのデータの復号化を行う。図７の例では、エラー発生時にＰ５のフレーム画像を表示している状態なので、次のＩピクチャである符号化動画像データ（ＧＯＰ）６０１のＩ２ピクチャを検索し、Ｉ２ピクチャのデータを読み出してＲＡＭ部１０２に格納する。その後、読み込んだＩ２ピクチャの復号化を６０６のタイミングで行う。制御部１００は復号化の結果、当該Ｉピクチャにエラーがあるか判断する。エラーがある場合、その次のＩピクチャの検索、復号化、エラー判定を行う。エラーがでなくなるまで同様の動作を繰り返し実行する。図７の例では、符号化動画像データ（ＧＯＰ）６０１のＩ２ピクチャの復号化の結果にエラーがなかった場合であるが、エラーがある場合は６０６のタイミングで複数個の異なるＩピクチャの復号化が連続的に実行される。

エラーがなくなったら、エラーのないＩピクチャのフレーム番号を保持し、その位置から再生を再開する。再開したフレーム画像を表示するタイミング６０７で、エラー発生以降表示していたエラー発生前の最後のフレーム画像の表示を終了し、再生再開されたフレーム画像を表示する。図７の例では、６０７の時点で、それまで表示していたＰ５のフレーム画像に替えて、符号化動画像データ（ＧＯＰ）６０１のＩ２から通常の再生表示を行う。このとき、ＧＯＰ６０１のＩ２のフレーム画像から再生再開するため、ＧＯＰ６０１内のＢ０、Ｂ１ピクチャの復号化は行わずに、Ｉ２の次にＰ５、Ｂ３、Ｂ４ピクチャと復号化を行う。符号化動画像データ（ＧＯＰ）６０１の、Ｉ２のフレーム画像の再生開始以降は、表示部１０４にＩ２のフレーム画像とともに再生時間及びフレーム番号の表示を再開して、順次更新する。

なお、ＧＯＰ６０１のＩ２ピクチャは、６０６のタイミングで既に復号化して、ＲＡＭ部１０２に格納されているため、６０７のタイミングでは、ＲＡＭ部１０２内のデータを読み出すことができれば改めて復号化を行わなくてもよい。

また、上記の例では、エラー発生時、以降のＩピクチャを順番に１個ずつ検索する例を説明したが、エラー連続回数に応じて、検索の途中で検索間隔を変化させるようにすると良い。例えば、エラー発生後から９個目までは上記のとおり１個ずつＩピクチャを検索し、１０回目までもエラーが発生したら、次は２０個目のＩピクチャを検索するというように、Ｉピクチャのエラーの連続回数に応じて途中でＩピクチャの検索間隔を広げると良い。

図５は、本発明の実施形態に係る動画像再生装置の再生動作のフローチャートである。本フローチャートは制御部１００が実行する制御プログラムに従って実行される動画像再生方法を示したものである。ステップＳ５００では、操作部１０３から再生開始の指示がされているか否か判断する。再生開始と判断されればステップＳ５０１に進み、そうでなければステップＳ５００に戻り、待機の状態となる。

ステップＳ５０１では、管理情報ファイルを記憶媒体１０７から読み込み、管理情報データをＲＡＭ部１０２に格納し、ステップＳ５０２に進む。ステップＳ５０２では、管理情報データをもとに、再生開始指示されたポイントまたはその近傍のＩピクチャをオフセットフレームとして取得し、ステップＳ５０３に進む。符号化動画像データの先頭から再生するときは、オフセットがゼロとなる。

ステップＳ５０３では、記憶媒体１０７に記録された符号化動画像データから読み込むデータがあるか否か判断する。読み込むデータがあると判断されるとステップＳ５０４に進み、そうでなければステップＳ５０５に進む。読み込むデータがあるか否かの判断は、未再生の符号化動画像データがあり、ＲＡＭ部１０２に空きがあるかで判断する。ステップＳ５０４では、符号化動画像データを記憶媒体１０７から読み込み、ＲＡＭ部１０２に格納し、ステップＳ５０５に進む。

ステップＳ５０５では、復号対象のデータがＲＡＭ部１０２にあるか否か判断する。復号対象のデータがある場合、ステップＳ５０６に進み、なければステップＳ５０７に進む。復号対象のデータがＲＡＭ部１０２にあるか否かの判断は、未復号化のデータが一定量を超えたか（例えば未復号化のデータが１ＧＯＰ分以上あるか）否かによって判断する。ステップＳ５０６では、符号化動画像データの復号化を行い、生成したフレーム画像をＲＡＭ部１０２に格納し、ステップＳ５０７に進む。

ステップＳ５０７では、符号化動画像データの復号時にエラーが発生したか否かを判断する。エラーがないと判断されるとステップＳ５０８に進み、エラーがあると判断されるとステップＳ５１１に進む。ステップＳ５０８では、表示フレームを更新するか否か判断する。表示フレームを更新すると判断されるとステップＳ５０９に進み、そうでなければステップＳ５１０に進む。表示フレームを更新するか否かの判断は、現在表示しているフレームを表示時間分（ＮＴＳＣで一般的なフレームレートである３０ｆｐｓは１秒で３０フレーム表示なので１／３０＝約３３ｍｓ）表示して、かつ次に表示されるフレームが復号済であることで判断する。

ステップＳ５０９では、フレーム画像、再生時間及びフレーム番号の表示（表示の更新）を行う。ここで、表示されるフレームのフレーム番号を保持し、ステップＳ５１０に進む。ステップＳ５１０では、再生終了か否か判断する。再生終了だと判断されるとフローは終了する。そうでなければステップＳ５０３に戻る。再生終了は、操作部１０３からの再生停止指示を受け付けた場合か、再生中の符号化動画像データが終了した場合に発生する。

ステップＳ５１１では、符号化動画像データの最後のＩピクチャデータを復号化したか否かを判断する。最後のＩピクチャを復号化していない場合はステップＳ５１２に進み、最後まで復号化した場合は再生動作を停止し、本フローは終了する。

ステップＳ５１２では、エラー発生時点以降に存在する符号化動画像データ内の後続のＩピクチャデータの位置を検索し、ステップＳ５１３に進む。後続のＩピクチャの検索は前述した手順で管理情報データを基に行われる。ステップＳ５１３では、検索によって抽出された符号化動画像データ内のＩピクチャデータを記憶媒体１０７から読み込み、ＲＡＭ部１０２に格納し、ステップＳ５１４に進む。ステップＳ５１４では、読み込んだＩピクチャデータの復号化を行い、ステップＳ５１５に進む。

ステップＳ５１５では、ステップＳ５１４のＩピクチャデータの復号時にエラーが発生したか否か判断する。エラーがあると判断されるとステップＳ５１１に戻り、次以降のＩピクチャを検索するフローに入る。エラーがないと判断されるとステップＳ５１６に進む。ステップＳ５１６では、エラーが検出されなくなったＩピクチャを、エラーからの復帰時に再生再開する位置と定め、再生再開するフレーム番号を設定し、ステップＳ５０３に戻る。この後、ステップＳ５１６で設定された再生再開位置のＩピクチャとそのフレーム番号とに基づいて、フレーム画像、再生時間及びフレーム番号の更新がステップＳ５０９で行われる。以上が、図５のフローチャートの説明である。

次に、再生中のエラー発生時のＩピクチャの検索に係る変形例として、記憶媒体の記録単位である記録アライメントに応じてＩピクチャの検索方法を変化させる動作について説明する。

図４は記憶媒体１０７における記録アライメントと記憶媒体１０７に記憶されている符号化動画像データの関係を示した図である。図４において、４００は記録アライメントのサイズであり、同じサイズの記録アライメントサイズが並んでいる。本実施形態に係る動画像再生装置が記憶媒体にデータを記録するための記録フォーマットとしては、ＦＡＴ（ＦｉｌｅＡｌｌｏｃａｔｉｏｎＴａｂｌｅ）方式を利用する。ＦＡＴ方式はビデオカメラ等の一般的な記録フォーマットである。記録アライメントとはＦＡＴ方式における書き込み単位のことを示しており、ＲＵ（ＲｅｃｏｒｄｉｎｇＵｎｉｔ）またはＡＵ（ＡｃｃｅｓｓＵｎｉｔ）といったものがある。

図４において、４０１は記憶媒体１０７に記憶されている符号化動画像データである。符号化動画像データ４０１内で黒く塗りつぶされた部分４０２は、符号化動画像データ内のＩピクチャであり、１つの記録アライメント内に複数のＩピクチャが存在していることを示している。このような状態は、低ビットレートの符号化動画像データを記録した場合になることが多い。符号化動画像データ内のＩピクチャが記憶媒体１０７上のどのアドレスにあるかを判断することにより、そのＩピクチャがどの記録アライメントに属しているかが判断できる。

制御部１００は、記憶媒体１０７の記録アライメントを検出する記録アライメント検出部を有する。制御部１００は、再生開始前に記録アライメント検出部により、記憶媒体Ｉ／Ｆ１０６を介して記憶媒体１０７の記録アライメントのサイズを取得する。

再生中にエラーが発生すると、制御部１００は記憶媒体１０７上のどのアドレスの符号化動画像データでエラーが発生したかを判断し、さらにそのアドレスがどの記録アライメントに属しているかを判断する。制御部１００は、当該エラーが発生した記録アライメントの、次の記録アライメントの位置から最初のＩピクチャを検索し、記憶媒体１０７から当該Ｉピクチャデータを読み込み、ＲＡＭ部１０２に格納する。そして、復号化部１０１に読み込んだＩピクチャデータの復号化を指示し、復号化部１０１はＩピクチャデータの復号を行う。制御部１００は、復号化の結果にエラーがあるか判断する。エラーがある場合は、その次の記録アライメントの位置から最初のＩピクチャを検索し、そこで読み出されるＩピクチャを復号化する。エラーがなくなるまで同様の動作を続けて、最終的にエラーのないＩピクチャを再生再開位置と定めることができる。

このような記録アライメント単位でＩピクチャの検索を行う例は、前述した図５のステップＳ５０１とステップＳ５１２の処理工程を変形することで実現される。ステップＳ５０１では、記録アライメント検出部により記録アライメントを取得する動作を追加する。ステップＳ５１２では、エラーが発生した符号化動画像データの記憶媒体１０７上のアドレス及び記録アライメントを取得し、次の記録アライメントの最初のＩピクチャを検索するように変更すればよい。

データのエラーとは、記憶媒体に対するデータの書き込み単位で発生することが多いので、記録アライメントを取得、利用する方法はエラーからの復帰を高速にする点で有効である。

次に、図５のステップＳ５１６の後、すなわちエラーからの復帰後に、データ欠落等のエラーが発生した期間の情報を表示する処理について図８を用いて説明する。図８は、エラーからの復帰後に通知するエラー情報の表示処理を説明するための図である。

上記の如くデータ欠落等の発生した符号化動画像データを、例えば放送用途に使用するような場合、データ欠落部分のシーンは編集によって削除や修整をしておくべきであろう。しかしながら、ユーザーが再生画を注意深く監視していたとしても、データ欠落部で一瞬再生画とタイムコード等が止まって見える程度の現象でしかエラー発生が判断できないのであれば、ユーザーがエラーの発生を確認することは困難である。ましてや、どの程度の区間のデータが欠落したのか把握することもできない。

そこで、本発明の実施形態では、少なくともエラーからの復帰時に、データ欠落等のエラーが発生した区間の情報（エラー情報）の通知として、図８の（ｂ）〜（ｅ）に記載したような表示を表示部１０４が行うものとする。本発明の実施形態では、図８の（ｂ）〜（ｅ）に記載した表示形態のいずれか一つを採用しても良いし、複数の表示形態のうちどれかを選択するよう構成してもよい。

まず、図８（ａ）は、エラー情報を表示していない状態での表示部１０４の表示例である。図８（ａ）において、８００、８０１、８０２はそれぞれ表示中のフレーム画像を時間軸上に示したものであり、８０１のフレーム画像の次のフレーム画像でエラーが起き、８０１のフレーム画像を継続して表示している状態を表している。さらに、８０２のフレーム画像でエラーから復帰している様子を表したものである。図８（ａ）の８００、８０１、８０２の右上に表示されている数字は表示フレームのタイムコードであり、００（時）：０１（分）：１０（秒）：０９Ｆ（フレーム）のように表示している。これは図２のタイムコード表示を秒単位で切り捨てるのではなく、秒単位での余り分をフレーム単位で表示したものである。図８（ａ）の例では、００：０１：１０：０９Ｆ時のフレームは、２１０９番目のフレームであり、１秒が３０フレームの場合、２１０９／３０＝７０秒（余り９フレーム）で７０秒＝１分１０秒となるので、００：０１：１０：０９Ｆとなる。本発明の実施形態においては、先頭のタイムコードは００：００：００：０１Ｆとし、００：００：００：３０Ｆの次は００：００：０１：０１Ｆとなるような表示形態を採用している。なお、この表示形態に限らず、先頭のタイムコードを００：００：００：００Ｆとし、００：００：００：２９Ｆの次に００：００：０１：００Ｆと表示するものであっても構わない。さらに、８０２は正常にＩピクチャデコードができたＩフレームであり、これがエラーから復帰したフレーム画像となり、タイムコードは００：０１：１３：１８Ｆとなっている。

次に、図８（ｂ）は表示部１０４が表示するエラー情報の通知の一例である。表示を行うのはフレーム画像８０２のとき、すなわちエラーからの復帰が確定したタイミングである。図５のフローチャート上では、ステップＳ５１６の後となる。８０３が表示されるエラー情報である。エラー情報８０３は、８０１のフレーム画像の次のフレーム、すなわち００：０１：１０：１１Ｆから８０２のフレーム画像の前のフレーム、すなわち００：０１：１３：１７Ｆまでがエラー処理で再生されなかった欠落したフレーム期間であることを示している。この表示内容は、再生再開するＩピクチャのフレーム番号によって更新されるタイムコードの値に従って、制御部１００によって算出される。

図８（ｃ）は表示部１０４が表示するエラー情報の通知の他の例である。表示を行うのはフレーム画像８０２のとき、すなわちエラーからの復帰が確定したタイミングである。図５のフローチャート上では、ステップＳ５１６の後となる。８０４が表示されるエラー情報である。エラー情報８０４は、８０１のフレーム画像の次のフレーム、すなわち００：０１：１０：１１Ｆから９２フレーム分がエラー処理のため再生されなかった欠落したフレーム数であることを示している。この表示内容は、再生再開するＩピクチャのフレーム番号によって更新されるタイムコードの値とフレーム番号に従って、制御部１００によって算出される。

図８（ｄ）は表示部１０４が表示するエラー情報の通知の他の例である。表示を行うのはフレーム画像８０２のとき、すなわちエラーからの復帰が確定したタイミングである。図５のフローチャート上では、ステップＳ５１６の後となる。８０５及び８０６が表示されるエラー情報である。より具体的には、８０６が再生している符号化動画像データの全区間に相当するバー表示であり、８０５がデータ欠落等で再生されなかったフレーム期間を示している。８０５と８０６を時間軸上にバー表示することによって、符号化動画像データ全体のうち、エラーのあったフレームの位置が分かるようになる。なお、８０６は「符号化動画像データのＩピクチャの数」×「１ＧＯＰのフレーム数（１５）」で求めることができる。８０５は、エラーが発生した時点でのフレーム番号と、再生再開するＩピクチャのフレーム番号とに従って、制御部１００によって算出される。なお、バー表示に限らず、「１４０ＧＯＰから１４７ＧＯＰの間にエラーがあります」等の文字で表示をしてもよい。すなわち、Ｉピクチャのフレーム番号およびＧＯＰから得られるエラー情報はどのような形式に変換して表示してもかまわない。

図８（ｅ）は表示部１０４が表示するエラー情報の通知の他の例である。表示を行うのはフレーム画像８０２のとき、すなわちエラーからの復帰が確定したタイミングである。図５のフローチャート上では、ステップＳ５１６の後となる。８０７が表示されるエラー情報である。エラー情報８０７は複数のエラー区間の情報を併記したものである。エラー情報８０７は、８０２のフレーム画像でエラー処理から復帰するまでに、計３回エラー処理から復帰が行われたことを表している。（１回目のエラーが００：００：５０：１１Ｆから００：００：５３：１７Ｆまで、２回目のエラーが００：０１：００：１１Ｆから００：０１：０３：１７Ｆまで、３回目のエラーが００：０１：１０：１１Ｆから００：０１：１３：１７Ｆまでである。）これはエラー復帰のたびに発生されるエラー情報をＲＡＭ部１０２または記憶媒体１０７に随時記憶しておき、それぞれのエラー情報をまとめて表示することにより実現される。なお、表示の形式も図８（ｃ）や図８（ｄ）のようにしてもかまわない。

図８（ｂ）から（ｅ）のエラー情報の表示は、いずれも表示開始してから一定時間経過したときに自動的に表示終了するよう構成すると良い。また、ユーザーにより操作部１０３から表示終了指示を受けつけることに応じて、表示終了するように構成しても良い。

次に、図９はエラー処理の最中に通知するエラー情報の表示処理を説明するための図である。図９において、８０１はフレーム画像であり、表示部１０４がエラー処理中にフレーム画像８０１を継続して表示している状態である。８０８、８０９、８１０はエラー情報であり、エラー復帰処理の過程でＩピクチャのデコードがエラーしたときに表示部１０４によって表示される時間情報である。８０８、８０９、８１０は、いずれも図５のフローチャート上のステップＳ５１５がＹＥＳとなったタイミングで、デコード・エラーとなったＩピクチャのフレーム番号に従って制御部１００によって算出される。

図９において、８０８はエラーが発生した以降の最初のＩピクチャにあたる００：０１：１０：１８Ｆがデコード・エラーしたときのエラー情報である。８０９は８０８の次のＩピクチャにあたる００：０１：１１：０３Ｆがデコード・エラーしたときのエラー情報である。８１０はエラー処理中に最後にデコード・エラーしたＩピクチャにあたる００：０１：１３：０３Ｆがエラーしたときのエラー情報である。このようにエラー発生中であっても、欠落したＩピクチャのフレームの時間情報が識別できるような表示を追加すると良い。

なお、エラー発生中に取得したエラー情報をＲＡＭ部１０２または記憶媒体１０７に記憶しておけば、エラーからの復帰後、又は、再生が行われていないときでも、当該エラー情報を表示することができる。例えば、ユーザーにより操作部１０３がエラー情報表示の指示を受けつけたときに、表示部１０４がエラー情報を表示することができる。また、エラー情報を管理情報ファイルやメタデータ等のファイル形式にして記憶媒体１０７に記憶しておくことで、記憶媒体１０７を別の再生装置やパソコン等の外部装置に利用した場合にも、ユーザーはエラー情報を表示する機会を得ることができる。

以上のように、本実施形態によれば、タイムスタンプ情報を含まない符号化動画像データの再生中にエラーが発生しても、少なくともエラーからの復帰後に、データ欠落等のエラーが発生した期間の情報を表示でき、エラー箇所を容易に確認できるようになる。

１０動画像再生装置
１００制御部
１０１復号化部
１０２ＲＡＭ部
１０３操作部
１０４表示部
１０５ＲＯＭ部
１０６記憶媒体インタフェース
１０７記憶媒体
１０８バス

Claims

タイムスタンプ情報を含まない符号化動画像データを再生する動画像再生装置であって、
前記符号化動画像データを記憶媒体から再生する再生手段と、
前記再生手段によって再生されたデータを復号化する復号化手段と、
前記復号化手段によって復号化されたデータに基づいて動画像及び当該動画像の経過時間情報を表示する表示手段と、
前記再生手段によって再生されたデータのエラーを検出するエラー検出手段と、
前記符号化動画像データに含まれる画面内符号化ピクチャの記録位置を示す管理情報を記憶する記憶手段と、
前記再生手段による再生中に前記エラー検出手段によって前記エラーを検出した場合、前記記憶手段に記憶された管理情報に基づいて、前記エラーとなったデータを含むフレームの後続の画面内符号化ピクチャを検索して前記エラーから復帰するよう制御する制御手段とを備え、
前記エラーからの復帰時、前記表示手段は、前記制御手段によって検索された画面内符号化ピクチャのフレーム番号に基づいて、表示される経過時間情報を更新するとともに、前記エラーの発生により欠落したフレーム期間又は前記エラーの発生により欠落したフレーム数を示すエラー情報を表示することを特徴とする動画像再生装置。
前記制御手段は、前記後続の画面内符号化ピクチャを所定の順番で検索して前記再生手段に再生させ、前記エラー検出手段によってエラーが検出されなくなった画面内符号化ピクチャを再生再開位置に設定することを特徴とする請求項１に記載の動画像再生装置。
前記表示手段は、前記エラーからの復帰時、前記再生再開位置に設定された画面内符号化ピクチャのフレーム番号に基づいて算出された前記エラー情報を表示することを特徴とする請求項２に記載の動画像再生装置。
前記表示手段は、前記エラー検出手段が前記エラーを検出してから復帰するまでの間に、前記エラーの発生により欠落した画面内符号化ピクチャの時間情報をさらに表示することを特徴とする請求項１乃至３のいずれか１項に記載の動画像再生装置。
タイムスタンプ情報を含まない符号化動画像データを再生する動画像再生方法であって、
前記符号化動画像データを記憶媒体から再生する再生工程と、
前記再生工程で再生されたデータを復号化する復号化工程と、
前記復号化工程で復号化されたデータに基づいて動画像及び当該動画像の経過時間情報を表示する表示工程と、
前記再生工程で再生されたデータのエラーを検出するエラー検出工程と、
前記符号化動画像データに含まれる画面内符号化ピクチャの記録位置を示す管理情報を記憶する記憶工程と、
前記符号化動画像データの再生中に前記エラー検出工程で前記エラーを検出した場合、前記記憶工程で記憶された管理情報に基づいて、前記エラーとなったデータを含むフレームの後続の画面内符号化ピクチャを検索して前記エラーから復帰するよう制御する制御工程とを有し、
前記エラーからの復帰時、前記表示工程は、前記制御工程で検索された画面内符号化ピクチャのフレーム番号に基づいて、表示される経過時間情報を更新するとともに、前記エラーの発生により欠落したフレーム期間又は前記エラーの発生により欠落したフレーム数を示すエラー情報を表示することを特徴とする動画像再生方法。