JP2008536349A - Ｍｐｅｇ映像ストリームにおいて完全な画像を構築するために必要なフレームの動的決定のための方法及び装置 - Google Patents

Abstract

ＭＰＥＧ映像ストリーム（６０）における完全な画像を構築するために必要とされるフレームを動的に決定するための方法は、従属性ベクトル・モデルに従うＭＰＥＧ映像ストリーム（８０）におけるフレームの順序を復号化すること（７０）を含む。従属性ベクトル・モデルは、いくつかのタイプのＭＰＥＧストリームで途切れずに動作する復号化順の映像ストリーム（８０）に応じた従属性ベクトル（１０２）を決定するために構成される。方法は、従属性ベクトル・モデルに従って決定される従属性ベクトルに応じて両方向でのＭＰＥＧストリーム・フレームの正確な表現（１３１）実行することも含む。

Description

本開示は一般にＭＰＥＧ映像ストリームに関連し、より詳細にはＭＰＥＧ映像ストリームにおいて完全な画像を構築するために必要なフレームの動的決定に関連する。

ＭＰＥＧは、国際標準化機構の作業部会である動画専門家集団（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）の略であり、この集団によって開発されたデジタル映像圧縮標準及びファイル形式の群の意味でもある。加えて、ＭＰＥＧファイルは特定のハードウェア又はソフトウェアによって復号化される。

ＭＰＥＧ映像ストリームにおいて、映像データは時間変化をしない部位を除去されて録画され、従ってデータ・ストリームの圧縮率を増加する。この圧縮は、ストリームを順方向で再生することには役立ち、且つストリームを順方向で再生することを可能にするように設計されているが、ストリームを逆方向で再生しようとしたり、ストリームを任意の位置から再生しようとするときに困難が生じる。特にこの問題は、個人用映像レコーダ（ＰＶＲ）への応用において生じる。ＰＶＲシステムはストリームを停止させたり、低速又は高速で再生したり、ＭＰＥＧストリームを逆方向で再生できなくてはならない。これら全ての再生動作に対して、画像を正確に構築する能力が必要とされ、従って、映像ストリームの全ての従属性が必要とされる。

今日のほとんどのＰＶＲはこれらの問題を非常に強引に、コンピュータによる集中的な方法で解決している。例えば、一つの既知の方法は、複数のフレームを巻き戻し、そのストリームを映像復号化装置に入力して、望ましくは妥当なストリームの水準に達することを含む。

従って、当該技術分野において問題を克服するためのＭＰＥＧ映像ストリームの完全な画像を構築するために必要なフレームを決定するための方法を改善することが望ましい。

本開示の実施形態は例示する方法で図示されるが、添付された図面によって制限されない。添付された図面において、同じ参照番号は同じ要素を示す。
異なる図面における同一の参照番号の利用は、類似又は同一の事項を示す。当業者は、図面の要素が単純性及び明白性を目的として図示されており、縮尺どおりに描かれる必要が無いことも認識するであろう。例えば、図面のいくつかの要素の大きさは他の要素に比べて誇張されており、本発明の実施形態の理解を改善することに役立つ。

本開示の実施形態は映像ストリームの所与のフレームに対して従属性を決定するための従属性ベクトルを利用する。このような従属性ベクトルがどのように利用されて再生を単純にしているかを理解することは容易であるが、ベクトルを決定することはより困難である。本開示の実施形態により、個々のフレームが不規則なＭＰＥＧストリームから決定され且つ構築されることが可能になる。

標準的なＭＰＥＧ映像ストリーム（ＩＰＢストリーム）に対して、従属性ベクトルは、映像ストリーム中のストリームの特定の点から発生した最後のＩフレームまでを探すことによって決定される。ストリームのこの点においてＩフレームのために、全ラインがイントラコード化され、完全な画像が表示される。そのフレームと現在のフレーム（Ｐフレーム）との間の逐次変化も必要とされる。

オープンなＧＯＰ（画像のグループ）の場合、決定は若干より困難になる。オープンなＧＯＰが存在するとき、所与のＩフレームの直後に発生するＢフレームは、２つ前のＩフレームまでの従属性を有する。このことにより、従属性ベクトルはこれらのＢフレームに対してむしろ長くなる。簡単に説明できるように見えるが、ストリームにおけるフレームの位置以外で識別されないこの場合、実施形態は少し複雑である。一度決定されると、従属性ベクトルは生成することが妥当である程度に容易である。

最後の場合は、群を抜いて困難である。これはＩスライス・ストリームの場合である。Ｉスライス・ストリームにおいて、ストリームの完全な画像のための絶対基準が存在しない。このような完全な基準は複数のＰフレームによって決定される。全てのＰフレームは、個々のインターコード化されたラインの配置を決定し、かつこれらの個々のインターコード化されたラインがどのように組み合わされて完全なフレームが構築されるかについて調査される。ほとんどのＩスライスＭＰＥＧストリームは順番にイントラコード化されたＰフレームを有するが、このような順序が必要とされていないことも再認識されなければならない。従って、従属性を決定するためのアルゴリズムは、完全なフレームが任意の離間したイントラコード化されたラインから構築される時期を決定することが出来なくてはならず、完全な従属性ベクトル決定は統合された公式を利用して成されなくてはならない。

図１はチャンネル１，２、からＮまでの様々な構成を図示するブロック図１０であり、構成は対応する参照番号１２，１４及び１６各々に対応して指定される。チャンネルの様々な構成は、映像ストリームを生成するために適応され、更に当該技術分野で公知のように、参照番号２８，３４及び４４によって各々指定される。図示されるように、参照番号１２により指定されるチャンネル１は、各々参照番号１８，２０及び２２として示されるように、複数の入力符号化装置（ＥＮＣ１，ＥＮＣ２，…，ＥＮＣＮ）を含む。入力符号化装置はマルチプレクサ２４に結合されて、出力２６で復号化順の映像ストリーム２８に多重化される。言い換えると、符号化装置１８，２０及び２２は映像ストリーム２８として一つの映像プログラムを提供するように利用される。従って、各符号化装置は異なる量の映像ストリーム２８を占有する映像を提供する。例えば、符号化装置１８はメインの番組を提供するために利用され、符号化装置２０はコマーシャル休憩を提供する。更に、符号化装置１８は、対応する符号化された信号を提供するための第一群の設定を有し、符号化装置２０は異なる符号化信号を提供するための符号化装置１８の第一群の設定とは異なる第二群の設定を有する。

参照番号１４によって指定されるチャンネル２に関して、入力符号化装置（ＥＮＣＸ）３０は出力３２を有し、出力３２に復号化順の映像ストリーム３４を提供する。参照番号１６によって指定されるチャンネルＮに関して、チャンネルは、各々参照番号３６及び３８によって指定される２つの入力符号化装置（ＥＮＣＹ，ＥＮＣＺ）を含む。入力符号化装置はマルチプレクサ４０に結合されて出力４２で復号化順の映像ストリームに多重化される。言い換えると、符号化装置３６及び３８は映像ストリーム４４として単一の映像番組出力を提供するために利用される。従って、チャンネル１６に関して、各符号化装置（３６，３８）は異なる量の映像ストリーム４４を占有する映像を提供する。符号化装置３６は対応する符号化された信号を提供するための第一群の設定を有し、符号化装置３８は異なる符号化信号を提供するための符号化装置３６の第一群の設定とは異なる第二群の設定を有する。

符号化装置１８，２０，２２，３０，３６及び３８の一つ以上が異なる構成、すなわち、第二構成とは異なる第一構成、等を有することが可能である。情報制御システムが、チャンネル選択に依存して映像ストリームのチャンネル１，２、又はＮ（各々参照番号１２，１４及び１６によって指定される）の任意の一つを受信することも可能である。更に、符号化装置１８，２０，２２，３０，３６及び３８のうちの一つ以上が、例えば映像信号入力に依存してリアルタイムで符号化装置の設定を変更するように構成され得る。

図２は、本開示の一実施形態に従うフレーム・プロセッサ５２を組み込む情報制御システム５０のブロック図である。情報制御システム５０は復号化順の映像ストリームを入力５８を介して受信する。入力５８は、アンテナから入力５４に受信される無線周波数（ＲＦ）信号から導出される。フロントエンド５６はチューナ、復調装置、増幅器等、当該技術分野で公知のものを含む。これとは別に、入力５８は例えばインターネット、コンピュータ・ネットワーク等の他の入力源から直接提供されてもよい。

フレーム・プロセッサ５２は非圧縮の映像フレームを出力６０に表示順に提供する。出力６０はデジタル映像符号化装置６２の入力である。デジタル映像符号化装置６２は出力６０に応答して、映像信号を出力６４に提供する。映像信号は表示デバイス６５で表示するのに適している。表示デバイス６５は、ＣＲＴ，ＬＣＤ，プラズマ又は類似の任意の適切なディスプレイを含む。

フレーム・プロセッサ５２は、ホスト・プロセッサ６６と、デマルチプレクサ６８と、映像復号化装置７０と、記憶装置７２とを備える。一実施形態において、ホスト・プロセッサ６６は、本明細書で更に説明される本開示の一実施形態に従う、従属性ベクトル決定を実行するための実行可能なコンピュータ・コードを含む。これとは別に、従属性ベクトル決定を実行することは、他のプロセッサのタイプによる具体化、ハードウェアによる具体化、又はハードウェア及びソフトウェアの組み合わせによる具体化でも可能である。

一実施形態においてホスト・プロセッサ６６は、適切なバス６７を介してデマルチプレクサ６８と、映像復号化装置７０と、記憶装置７２とに結合されている。デマルチプレクサ６８は信号ライン６９を介して映像復号化装置７０に結合されている。更に、デマルチプレクサ６８は信号ライン７１を介して記憶装置７２に結合されている。信号ライン６９及び７１は信号バスも含む。他の実施形態も可能である。例えば、ホスト・プロセッサと、デマルチプレクサと、映像復号化装置と、記憶装置との一つ以上の間の結合は上記の説明と異なって構成されてもよい。

一実施形態に従って動作において、映像ストリームは入力５８の信号に含まれて、デマルチプレクサ６８に供給される。入力５８の信号の映像ストリームの検出に応答して、デマルチプレクサ６８は指標を生成する。指標は映像ストリームの従属性を検索するための一方法を提供する。指標は従属性を発見するために決定的に重要なものではないが、本開示の実施形態に従う方法及び装置を具体化する一つの方法を提供する。指標と映像ストリームとは記憶装置７２に記憶される。記憶装置の割当と指標及び映像ストリームの信号のルーティングはホスト・プロセッサ６６によって管理される。ホスト・プロセッサ６６が要求すると、映像ストリームが記憶装置からコピーされてデマルチプレクサを通って、次に映像復号化装置７０に転送される。映像復号化装置７０は映像ストリームを解凍して、本明細書で更に説明されるように解凍された映像ストリームを表示順に並び替える。表示順に解凍された映像ストリームを並び替えることに続いて、映像復号化装置は映像ストリームを出力６０に表示順に提供する。出力６０はデジタル映像符号化装置６２への入力である。

典型的な映像処理では、記憶装置は必要とされない。言い換えると、標準的な映像処理が復号化順に行われているとき、ＭＰＥＧストリームは、入力又はインターフェイス５８を介してフロントエンド５６によって提供される。デマルチプレクサ６８は、ホスト・プロセッサ６６によって要求され、インターフェイス６９を介して映像復号化装置７０に配信される映像ストリームを見出す。映像復号化装置７０はＭＰＥＧを復号化順に圧縮された映像ストリームとして解釈して、インターフェイス６０を介して表示順にデジタル映像符号化装置６２に出力する。

逆方向の映像処理に対して、最小の記憶装置及び蓄積レジスタが必要とされる。言い換えると、圧縮された映像ストリームを逆方向で復号化するとき、映像ストリームは記憶装置７２から送られる。圧縮された映像ストリームが最近記憶装置に配置されたか又は番組を録画することによりその場所に配置されたかは、復号化にとって重要なことではない。ホスト・プロセッサ６６は記憶装置７２から指標を収集する。この指標は、どの映像フレームが映像復号化装置７０によってデジタル映像符号化装置６２に送られる必要があるかを判定するために利用される。ホスト・プロセッサ６６は指標及び蓄積レジスタ７３を利用して、圧縮された映像ストリームのどのセグメントが要求されて、本明細書で説明される方法を利用して適切な映像フレームを出力するか、を判定する。圧縮された映像ストリームのこれらセグメントは記憶装置７２から取得され、デマルチプレクサ６８を介して映像符号化装置７０に渡される。どのように各ブロック（７２，６８及び７０）が圧縮された映像ストリームを処理するかという詳細は、ホスト・プロセッサ６６によって決定され、インターフェイス６７を介して各ブロックに通信される。出力フレームを決定するプロセス及び映像ストリームを構築するために利用される圧縮された映像ストリームのセグメントは、映像ストリームの逆再生が要求される限り続く。

図３は圧縮された映像ストリーム８０の連続した映像フレームを復号化順に示す図である。図３は映像ストリーム８０を映像ストリーム１００によって表される表示順でも図示する。圧縮された映像ストリーム８０はフレームの列を含み、そのうちの８フレームが図示を単純化するために示される。８フレームは参照番号８２〜９６によって指定される。加えて、図示された８フレームの前後のフレームは３点リーダ「…」で指定される。特に映像ストリーム８０において、フレーム８２はＩフレームを備え、フレーム８４はＢフレームを備え、フレーム８６はＰフレームを備え、フレーム８８はＢフレームを備え、フレーム９０はＰフレームを備え、フレーム９２はＢフレームを備え、フレーム９４はＰフレームを備え、フレーム９６はＢフレームを備える。

ＭＰＥＧ標準において、各フレームは、イントラフレーム（Ｉ）と、順方向予測（Ｐ）と、両方向予測（Ｂ）との３つのモードのうち１つに符号化される。Ｉフレームは、従属性を有しない完全に独立なフレームとして定義される。Ｉフレームにおいて、フレームの全マクロブロックはイントラフレーム・モード、すなわち予測を利用しないで符号化されなければならない。従って、Ｉフレームは他のフレームから独立して符号化される。Ｐフレームは前のアンカー・フレーム（Ｉ又はＰフレーム）に基づく予測に従属する。Ｐフレームにおいて、フレームの各マクロブロックは順方向予測又はイントラフレーム・モードで符号化される。Ｂフレームは前及び次のＩ又はＰフレームに従属する。各Ｂフレームは将来のフレームからのデータに従属する、すなわち、将来のフレームは、現在のＢフレームが符（復）号化される前に符（復）号化されなければならないことに注意されたい。このため、符号化順は表示順と区別される。Ｂフレームにおいて、フレームの各マクロブロックは順方向、逆方向、又は双方向の予測で符号化される。一つの運動ベクトル（ＭＶ）は各順及び逆予測マクロブロックを指定するが、二つのＭＶは各双方向に指定されたマクロブロックを指定する。従って、各Ｐフレームは順方向運動ベクトル場と一つのアンカー・フレームとを有し、各Ｂフレームは順及び逆運動ベクトル場と二つのアンカー・フレームとを有する。

従って、ＭＰＥＧはデータ・ストリームに符号化順で配置される符号化された映像データを必要とする。更に、アンカー・フレームはＩフレーム又はＰフレームを含む。いくつかのＭＰＥＧストリームにおいて、最小の映像フレームの内部参照セットを表す論理構造は、画像のグループ（ＧＯＰ）と呼ばれる。ＧＯＰはＧＯＰにおけるＩ，Ｐ又はＢフレームの数を特定せず、ＧＯＰにおけるフレームの順序も特定しない。ＧＯＰの構造はストリームのデータの順序によって完全に決定される。ＧＯＰの大きさ及び構造を制限する規則が存在しないが、バッファの拘束条件が満たされるべきである。

図２及び図３を更に参照すると、映像復号化装置７０がストリーム８０の復号化順のフレームを、各フレームの従属性に応じて表示順のストリーム１００に入れ替えている。特に、表示順の映像ストリーム１００はフレームの列を含み、そのうちの８枚が図示を単純化するために示される。図示された８フレームの前後のフレームは３点リーダ「…」で指定される。ストリーム１００の表示順の８フレームは、８４と，８２と，８８と，８６と，９２と，９０と，９６と，９４とを備える。入れ替えは圧縮された映像ストリームの復号化に応じて実施され、更に、符号化の性質によって判定されるように実施される。例えばフレーム８８はＩフレーム８２とＰフレーム８６とに従属するＢフレームである。

図４は、個々のフレームの相対的従属性及び絶対的従属性を図示する、復号化順の圧縮された映像ストリーム８０の連続した映像フレームを示す図である。上記したように、圧縮された映像ストリーム８０はフレーム列を含み、そのうちの８つが図示を単純化するために示される。８つのフレームは参照番号８２〜９６で指定される。加えて、図示された８フレームの前後のフレームは３点リーダ「…」で指定される。

相対的従属性は、従属性ベクトル１０２で示される。例えば、Ｐフレーム８６はＩフレーム８２に相対的に従属する。Ｂフレーム９２はＰフレーム９０とＰフレーム８６とに相対的に従属する。Ｐフレーム９４はＰフレーム０に従属する、等である。一方で、絶対的的従属性は、従属性ベクトル１０４で示される。例えば、Ｐフレーム８６はＩフレーム８２に絶対的に従属する。Ｂフレーム９２は、Ｐフレーム９０及び８６を介してＩフレーム８２に絶対的に従属する。Ｐフレーム９４はＰフレーム９０に相対的に従属し、Ｐフレーム９０は相対的にＰフレーム８６に従属し、Ｐフレーム８６はＩフレーム８２に相対的に従属する。従って、絶対的従属性はＩフレーム８４に対する。フレーム８８と９０と９６とは同様に、Ｉフレーム８２に絶対的に従属する。しかし、Ｂフレーム８４は、図示されるフレーム以外にも絶対的従属性と同様に相対的従属性も有することに注意されたい。Ｂフレーム８４がＩフレーム８２の直後に配置されることにより、図示されたＧＯＰはオープンなＧＯＰが考えられ、従属性がＧＯＰの外側に必要とされていることを意味する。

絶対的従属性は、各フレームに対して全フレームが表示されるまで従属性の連鎖が続くことにより決定される。圧縮された映像ストリーム８０において、このことは完全にイントラコード化されたフレームであるＩフレーム８２で実施される。例えば、Ｐフレーム９０はＰフレーム８６に従属し、Ｐフレーム８６はＩフレーム８２に従属する。このことにより、Ｐフレーム９０はＩフレーム８２に絶対的に従属する。

図５は、図の左から右へ時刻に応じて復号化順のＩスライス映像ストリーム具体化の連続したＰフレームの図である。図５は、映像ストリーム符号化装置の異なる構成の設定による従属性ベクトルを生成するための異なる要求の一例を図示する。Ｉスライス映像ストリームは、部分的にＩフレームであるＰフレームを含む映像ストリームを一般的に意味し、所与の数の部分的なＩフレームを含むＰフレームが完全なＩフレームを生成するために必要とされる。典型的には、Ｉスライス・ストリームはいかなるＩフレームをも含まない。図５に示されるように、フレーム１０５、１０６、１０７、１０８及び１０９は、部分的なＩフレームを含むＰフレームを表す。この例において、部分的なＩフレームはＩフレームの１／５を備える。更に図５に関連して、図示されたＰフレームの間の参照番号１１１，１１３，１１５及び１１７によって指定される映像ストリームの部位において、（ｉ）０個若しくは（ｉｉ）一つ以上のイントラコーディングの無い（すなわち部分的なＩフレームが無い）（ａ）Ｂフレーム又は（ｂ）Ｐフレームが存在する。従属性ベクトル１１９によって図示されるように、Ｐフレーム１０９はＰフレーム１０８に相対的に従属し、更に従属性ベクトル１２１により示されるように、Ｐフレーム１０５に絶対的に従属する。

逆再生に対して、以下のように考える。所与のＭＰＥＧデータ・ストリームに対して、逆再生のゴールはフレーム・プロセッサの出力のフレームを逆方向で表示することである。符号化されていない映像に対して、解決策は、映像フレームを逆方向で送信する、という単純なものである。このような解決策の単純性は、以下の２つの性質に基づいている。各映像フレームのデータは自己完結しており、且つデータ・ストリームの配置と独立である。しかし、このような性質はＭＰＥＧ符号化された映像データに対しては典型的には有効で無い。

逆再生復号化は、ＭＰＥＧ圧縮がフレームの順序変化（例えばＭＰＥＧビットストリームの出力の順序反転）に対して不変でないため困難である。更に、入力映像フレームの順序反転は、「逆」運動ベクトル場をもたらさない。また、全ストリームが容易に解凍されないような実質的な制限が存在し単純に逆方向に表示される。

図６は、本開示の一実施形態に従って利用される従属性ベクトル決定プロセス１１０のフロー図である。従属性ベクトル決定プロセス１１０は段階１１２から開始され、段階１１４に進む。段階１１４において、プロセスは表示されることを望むフレームを選択する。プロセスは次に、現在のフレームがＢフレームであるかを決定する段階１１５に進む。フレームがＢフレームで無い場合、次にプロセスは１１６に進み、フレームを評価する。一方で、所望のフレームがＢフレームである場合、次にそのＢフレームに相対的従属性のある第一アンカー・フレームが段階１１７で見出される。第一アンカー・フレームは、復号化順でＢフレームのすぐ前のアンカー・フレームに対応するが、アンカー・フレームは所望のＢフレームからａ）０、ｂ）１又はｃ）複数のＢフレームだけ分離される。第一アンカー・フレームを見出すことに続いて、プロセスは段階１１９に続く。段階１１９において、復号化順の次のフレームが見出され、その後段階１１６へ続く。

段階１１６は、選択されたフレームの０個、１個又はそれ以上のイントラコード化された部位が発生する場所に基づいてマーキングされる蓄積バッファを決定することを含む、選択されたフレームの評価を実行する。蓄積バッファは、例えば蓄積レジスタ又はＲＡＭ７３又は記憶装置７２のようなフレーム・プロセッサ５２内の任意の他の適切なメモリを含むことに留意されたい。Ｉフレームが選択され且つ／又は受信される場合、Ｉフレームの全部位がイントラコード化されるため、蓄積バッファは完全にマーキングされる。他の例において、部分的なＩフレームを有するＰフレームは、Ｉフレームのいくつかの部分を含む。Ｉフレームは全体的にイントラコード化されたフレームであることを思い出されたい。このような例において、蓄積バッファは部分的にＩフレームを備えるＰフレームのイントラコード化された部位に応じてマーキングされる。１／４のＩフレーム成分を有するＰフレームの場合、蓄積バッファの１／４が、ＰフレームのＩフレーム成分を表す位置に対応してマーキングされる。同様にして、１／５のＩフレームを有するＰフレームの場合、蓄積バッファの１／５がＰフレームのＩフレーム成分を表す位置に対応してマーキングされる。映像ストリーム内のＢフレームの発生に関連して、Ｂフレームはイントラコード化された部位を含まないので、評価は、蓄積バッファにマーキングが存在しないという結果をもたらす。

時には、映像ストリームのフレーム内のスライスの数が矛盾してもよいことに注意されたい。従って、異なるフレームに異なる数のスライスが存在することを補償するために、調整が必要とされる。必要であれば、そのような調整が段階１１８で実行される。そうでなければ、プロセスは段階１２０に進む。段階１１８において、必要であれば選択されたフレームの実際のスライス数が、異なる数のスライスまで拡大される。スライスの数はスライスの静的な数でもよいし、入力映像ストリームに基づいて動的に決定されてもよい。一様な数のスライスまでスライスの数を拡大することの更なる説明は図７に関連して提供され、以下で更に説明される。

更に図６を参照して、段階１２０において、クエリによって蓄積バッファの状態が、十分なイントラコード化されたスライスが蓄積され、したがって完全なフレーム又は画像を出力することが可能であることを示しているかどうかが判定される。十分性は、特定のフレーム・プロセッサの具体化の要件に従って判定される。すなわち、十分性は映像フレームにおける全スライスの所与の割合に等しい。一実施形態において、十分性は全スライスの９割（９０％）程度の割合に対応する。繰り返すが、上記のように、十分性は、特定のフレーム・プロセッサの具体化の要件に従って判定される。

十分にイントラコード化されたスライスが蓄積されなかったという決定に応答して、プロセスは段階１２２に進む。段階１２２において、プロセスは評価されるべき映像ストリームにおいて、次のフレームを選択する。一実施形態において、復号化順の映像ストリームを順方向又は逆方向に表示するために、次に選択されるフレームは復号化順における前のフレームに対応する。プロセスは次に選択されたフレームと共に、次に段階１１６に続き、その後上で説明されたように続く。

段階１２０において、十分な数のイントラコード化されたスライスが見られるフレーム又は画像を完成するために蓄積されたという判定に応答して、プロセスは段階１２４に進む。段階１２４において、現在選択されているフレームが段階１２４で選択されたフレームに絶対従属するように決定され、プロセスは段階１２６で終了する。

図７は、本開示の実施形態に関連する映像スライスの拡大を示す図である。上記のように、時には映像ストリームのフレームが映像ストリームの様々なフレームの中の異なる数のスライスを含む、ということに留意されたい。すなわち、スライスの数は映像ストリームの画像の間で一様であることを保障されない。従って、調整が、異なるフレームの異なる数のスライスを保障するために必要とされる。

フレームにおけるスライスの数が現在の評価を下回り、蓄積バッファがスライスの数で異なる場合、二つのうち小さいほうが大きい方の大きさに拡大されて、評価目的である一様な数のスライスをもたらす。図７において示されるように、スライスのより小さい数が参照番号１３０によって表される。参照番号１３２，１３４，１３６及び１３８は、蓄積バッファのスライス又はデータの位置を表す。図示されるように、表示１３０は表示１３１まで拡大される。

より詳細には、表現１３０の４スライス又はデータ位置（１３２，１３４，１３６及び１３８）は、表現１３１の７スライス又はデータ位置（１４０，１４２，１４４，１４７，１４８，１５０及び１５２）に拡大される。スライス１３２はスライス１４０とスライス１４２の一部に拡大される。スライス１３４はスライス１４２の一部の残りとスライス１４４とスライス１４６の一部とに拡大される。スライス１３６はスライス１４６の一部の残りとスライス１４８とスライス１５０の一部とに拡大される。最後に、スライス１３８はスライス１５０の一部の残りとスライス１５２とに拡大される。拡大はアップサンプリングの形態を備える。上に示されるように、スライスの一様な数は、スライスの静的な数であってもよく、映像ストリームに基づいて動的に決定されてもよい。

本開示の実施形態は、どのようにＭＰＥＧ映像ストリームを互いに、特に逆方向で関連付けるかを決定するための連続的な方法を有利に提供する。加えて、本開示の実施形態は、映像ストリームにおいて完全な画像を構築するために必要なフレームの動的決定をするためのＭＰＥＧ映像ストリームの局所的なコピーのみを必要とする。従って、実施形態は、どのようにフレームが互いに逆方向で関連するかを決定する目的の最少量の記憶装置のみを必要とする。本開示の実施形態は、映像ストリームの順又は逆再生における小さな飛びも提供する。

図８は、ＭＰＥＧ映像ストリームにおける表示順の表示フレームの相対コストのグラフ１６０を示す。一実施形態において、相対コストは開始フレームからそのフレームに絶対従属するフレームまでのバイト数を利用して決定又は計算される。Ｙ軸１６２は相対コストを表し、棒１７０は復号順ストリーム１６４の各フレームの相対コストを表す。より詳細には、ストリーム１６４からの特定のフレームを表示するためのコストは、特定のフレームであるＩフレームから更に離れて増加するということに留意されたい。また、例えばアンカー・フレームのコストは、Ｂフレーム８６とＰフレーム８８とのコスト間の差によって示されるように、先行するＢフレームよりも少ないということに留意されたい。この理由は、Ｂフレーム８８の二重従属性のためであり、そのうちの一つがＰフレーム８６である。従って、Ｂフレーム８８を表示するために、Ｐフレーム８６の全要求はＢフレーム８８自身のデータに加えて重要である。

図９は、図８のグラフから導出される、表示順のＭＰＥＧ映像ストリームにおいて、フレームを表示する相対コストの修正されたグラフを図示する。グラフ１８０は、グラフ１６０を取得し、各フレームに単純な差分を適用した（すなわち差分フィルタをかけた）結果である。言い換えると、特定のフレーム値はグラフ１６０のエントリの高さとグラフ１６０の前のエントリの高さとの間の差分で置き換えられたものである。全ての差分は規格化される。例えば、グラフ１６０のフレーム８２の値はそこから差し引かれたフレーム８４の値を有し、次に規格化されて新しい値を生成する。新しい値は図９のグラフ１８０におけるフレーム８２の値として利用される。

図９を更に参照して、グラフ１８０は閾値１８４も含む。閾値１８４は一つの値が所与の範囲を超えるように決定される。閾値１８４は、入力ストリーム（例えば入力映像ストリーム１８８）に応じて動的に決定される。閾値１８４を知ることにより、映像ストリームの最適な接合が決定される。グラフ１８０に現れる大きな値の位置がストリーム内の接合点を配置する最適化された位置を識別する。表示ストリームにおいてフレームのコストを計算し、差分フィルタを適用し、閾値を決定することにより、逆再生のための接合点の選択又は決定がストリームに対して最適化される。

圧縮された映像ストリームを逆方向で再生するときに、映像フレーム復号化装置の具体化の制限のために、接合点が必要とされる。このような制限は利用される映像フレーム・プロセッサの詳細に依存し、従って閾値の決定を変える。しかし、全ての場合において、接合は決定されなければならない。例え、圧縮された映像ストリームを逆方向で再生するために必要になる所望のメモリ空間が、利用可能なメモリ空間よりも大きくても、接合（及び従って、対応する接合点）は、メモリ空間の最適な利用が成されることを保障するように構成されることを要する。

他の実施形態に従って、映像復号化装置の入力される接合セグメントの各々は、接合ヘッダで開始される。接合ヘッダは対応するセグメントのフレームの数を示す。しかし、複数のＧＯＰに渡る接合セグメントから、問題が生じ得る。接合セグメントが二つ以上のＧＯＰに渡る場合、従属性のリストは劇的に増加する。従って、本開示の方法は、接合セグメントがあるＧＯＰから他のＧＯＰへの境界を超えないことを必要とすることにより、従属性のリストを、特定のＭＰＥＧ復号化システムの具体化の要求に従って選択される所与の大きさのパラメータ内に維持する。

加えて、フレームのコストを決定することは以下を含み得る。例えば、接合セグメントに外部フレームを加えることはシステムにいくつかの悪影響を与える。第一に、フレーム数の増加は映像復号化装置により多くのフレームを復号化をもたらす。このような実施形態において、映像復号化装置はシステムが表示しないＢフレームを復号化しないので、このことはアンカー・フレームのみに適用する。しかし、このような最適化は本開示に従う実施形態に必要とされない。第二に、外部フレームは、外部データがシステムのハード・ドライブから検索されなければならなず、メモリを介してルーティングされなければならないことも意味する。従って一実施形態において、フレームのコストは送信パケット数に関連付けられ、送信パケット数は、所与の画像が正確に表示されるために必要な送信パケット数に対応する。ハード・ドライブ帯域が数多くのＰＶＲ動作のゲート因子であり、この実施形態の指標のマーキングの方法を利用して計算することが容易であるので、送信パケット数は利用される。

更に、ＧＯＰの大きさを計算することは以下を含む。例えば、一群のフレームが単一のＩフレームに従属するとき、ＧＯＰの個別のフレームに対するコストは対応する個別のフレームのＩフレームへの近接度に伴って減少する。しかし、次のＧＯＰが発生したとき、フレームのコストは劇的に増大する。コストのこの特質を利用して、ＧＯＰの大きさが見出される。一実施形態において、個別のフレームのコストのアレイが生成される。アレイの大きさは決定的に重大ではないが、検出されたＧＯＰよりも大きくなければならない。しかし、ＧＯＰの大きさはアレイが小さい場合に検出されるが、ＧＯＰの大きさの検出はアレイの大きさがＧＯＰよりも大きくない限り保障されない。更に、ＧＯＰの大きさ検出は１Ｘ速度（すなわち、ＧＯＰの終点に達する前に接合ヘッダが無効になる）に対して決定的には重要で無いが、高速時に、全ＧＯＰの検出はより重要である。従って、コスト・アレイの結果は図８に示されるものに類似し、コスト値はアレイを通じて緩慢に増加する。加えて、図８におけるコストグラフの開始近傍で、コストが劇的に低下する点が存在することが見て取れる。コストの大幅な低下はＧＯＰの端を示す。

更に端検出に役立つために、ホスト・プロセッサは端検出フィルタを利用することにより、コストの大幅な変化を見出すように構成される。処理の終わりに、コスト・アレイは、閾値量を下回るコストのアレイを含み、閾値量を上回る少なくとも一つのコストを有する。上記閾値量を発生させるコストはＧＯＰの端に対応する。

本開示の実施例が、正確な逆方向のフレーム及び様々な速度が必要とされる、任意のＰＶＲシステムにおいて利用される。全ＭＰＥＧ映像復号化装置はＰＶＲ型のアプリケーションで利用される必要があり、従来のセットトップ・ボックス環境、セルラーフォンのような小さなキャッシュ環境又は他のエンド・ユーザ・アプリケーションで発生するであろう。

これまでの明細書において、本開示は様々な実施形態を参照して記載されてきた。しかし、当業者は様々な修正及び変更が、以下の請求項で説明されるように本実施形態の範囲から逸脱せずに成されることに気づく。従って、明細書及び図面は制限という意味よりは図説と見なされるべきであり、全てのこのような修正は本実施形態の範囲に含まれることが意図される。例えば、本実施形態はセットトップ・ボックス、セルラーフォン、ＰＤＡ、携帯映像プレーヤ、車載映像システム等に応用可能である。

利益、他の優位性、及び問題の解決策は特定の実施形態に関しては上に記載された。しかし、利益、優位性、問題の解決策、及び任意の利益、優位性又は解決策を思いつく又はより明白にする任意の要素は、全て又は任意の請求項の決定的に重要な、必要な、又は本質的な特徴又は要素として構成されない。本明細書で利用されるように、用語「備える」、「備えている」又はこれらの任意の他の活用形は、要素のリストがこれらの要素を含むだけでなく、明白にリストにあげられていない又は固有のプロセス、方法、物件、又は装置のような非排他的包含を含むことが意図されている。

当該技術分野で既知の映像ストリームを生成するためのチャンネルの様々な構成を示すブロック図。 本開示の一実施形態に従うフレーム・プロセッサを内蔵する情報制御システムのブロック図。 復号化順の圧縮された映像ストリームの連続した映像フレーム及び表示順の関連する映像ストリームの図。 個々のフレームの相対的従属性及び絶対的従属性を図示する、復号化順の圧縮された映像ストリームの連続した映像フレームを示す図。 復号化順のＩスライス映像ストリーム実装の連続した映像フレームの図であって、映像ストリーム符号化装置の異なる構成設定による従属性ベクトルを生成するための異なる要求の一例を示す図。 本開示の一実施形態に従う、従属性ベクトル決定アルゴリズムのフロー図 本開示の他の実施形態に従う映像スライスの拡大を示す図。 表示順のＭＰＥＧ映像ストリームにおける表示フレームの相対コストのグラフ。 図８のグラフから導出される、表示順のＭＰＥＧ映像ストリームにおいて、フレームを表示する相対コストの修正されたグラフ。

Claims (20)

1. ＭＰＥＧ映像ストリームにおける完全な画像を構築するために必要なフレームを動的に決定するための方法であって、
   複数のタイプのＭＰＥＧ映像ストリームで継ぎ目なく動作するように復号化順の映像ストリームに応じた従属性ベクトルを決定するように構成される従属性ベクトル・モデルに従って、前記ＭＰＥＧ映像ストリームのフレームの順序を復号化すること、
   前記従属性ベクトル・モデルに従って決定される前記従属性ベクトルに応じて、両方向での前記ＭＰＥＧストリームのフレームの正確な表現を実行すること
   を備える方法。
2. 前記従属性ベクトル・モデルは前記従属性ベクトルを、完全にイントラコード化された画像が導出されるまで復号化順の映像ストリームを逆方向で再生することにより決定する、請求項１に記載の方法。
3. 再生が
   前記復号化順の映像ストリームの現在のフレームをバッファに読み出すこと、
   現在のフレームの全ラインがイントラコード化されたかどうかクエリを出すこと
   を更に備え、
   前記現在のフレームの全ラインがイントラコード化された場合、前記現在のフレームを絶対従属フレームとして指定し、前記現在のフレームの全ラインがイントラコード化されない場合、前のフレームをバッファに読み出し、その後、前記前のフレームを現在のフレームとして前記クエリを出すことを繰り返すこと
   請求項２に記載の方法。
4. 前記復号化順の映像ストリームは、第一の個数のイントラコード化されたスライスを備える第一画像と、第二の個数のイントラコード化されたスライスを備える第二画像とを含み、前記第一の個数は前記第二の個数とは異なる、請求項３に記載の方法。
5. 前記第一及び第二画像間のスライス数の変化を（ｉ）前記第一画像の少数のスライスを前記第二画像の多数のスライスにアップサンプリングすること又は（ｉｉ）前記第二画像の少数のスライスを前記第一画像の多数のスライスにアップサンプリングすることによって合わせること
   を更に備える、請求項４に記載の方法。
6. 復号化順の映像ストリームの画像間の複数のスライスが非一様である、請求項３に記載の方法。
7. 前記復号化順の映像ストリームの画像間のスライス数の変化を合わせること
   を更に備える、請求項６に記載の方法。
8. ＭＰＥＧストリームの前記タイプは、（ｉ）標準的なＭＰＥＧ映像ストリームと、（ｉｉ）オープンな画像のグループ（ＧＯＰ）と、（ｉｉｉ）Ｉスライス・ストリームとを備える、請求項１に記載の方法。
9. 前記標準的なＭＰＥＧ映像ストリームに対して、クローズ状態の画像のグループ（ＧＯＰ）は、前記復号化順の映像ストリーム内のＢフレームの発生の前に二つのアンカー・フレームが発生することを含み、前記二つのアンカー・フレームはＩフレーム、Ｐフレーム、又はＩ及びＰフレームを含む、請求項８に記載の方法。
10. オープンな画像のグループ（ＧＯＰ）に対して、前記オープンなＧＯＰは前記復号化順の映像ストリーム内でＩフレームの発生直後にＢフレームが発生することを含み、前記Ｂフレームは前のＧＯＰ内で発生したアンカー・フレームに従属し、従って前記復号化順の映像ストリームの前のＧＯＰへの従属性を生成する、請求項８に記載の方法。
11. 前記Ｉスライス・ストリームに対して、前記Ｉスライス・ストリームは、１００％イントラコード化された画像を生成するために必要な複数のＰフレームを含み、各Ｐフレームは所与の割合のイントラコード化されたデータを含む、請求項８に記載の方法。
12. Ｐフレームの数は５枚のＰフレームから成る、請求項１１に記載の方法。
13. 前記従属性ベクトルを決定することは、相対的従属性と絶対的従属性とを含むＭＰＥＧフレームの従属性を決定することを備え、相対的従属性は、前記復号化順の映像ストリーム内で前に発生したアンカー・フレームに従属するアンカー・フレームを含み、更に絶対的従属性は、復号化順の映像ストリーム内で画像のグループ（ＧＯＰ）のＩフレームで終わる従属性を含む、請求項１に記載の方法。
14. 前記ＧＯＰは様々な数のフレームに対応する様々な長さのＧＯＰを含み、Ｉスライス映像ストリームＧＯＰに対応するＩフレームが無いＧＯＰを含む、請求項１３に記載の方法。
15. 表示順のＭＰＥＧ映像ストリームにおいて、表示フレームの相対コストを決定すること、
    表示順のＭＰＥＧ映像ストリームにおいて、表示フレームの前記相対コストを修正するための差分フィルタを利用すること、
    閾値量を超える修正された相対コストを有するフレームに応じて、ＧＯＰの端を示す接合点を選択すること、
    更に備える、請求項１に記載の方法。
16. 前記相対コストは、フレームの開始からそのフレームの絶対従属までのバイト数に応じて決定される、請求項１５に記載の方法。
17. 前記従属性ベクトル決定は、（ｉ）ハードウェアによる具体化、（ｉｉ）ソフトウェアによる具体化、又は（ｉｉｉ）ハードウェアとソフトウェアとの組み合わせによる具体化のうちの一つである、請求項１に記載の方法。
18. 表示順の複数のフレームを備える画像のグループ（ＧＯＰ）内の、フレームの相対的従属性を決定すること
    を更に備える、請求項１に記載の方法。
19. 前記ＧＯＰ内の前記フレームの絶対的な従属性を決定すること、
    を更に備える、請求項１８に記載の方法。
20. 情報制御システムであって、
    チャンネル選択の機能である復号化順の映像ストリームを備える映像ストリームを受信するための入力と、
    出力に対して表示順に非圧縮映像フレームの信号を提供するために前記復号化順の映像ストリームに応答するフレーム・プロセッサと、
    表示順の前記非圧縮映像フレームに応答して、表示デバイスで表示するために適する映像信号を提供するためのデジタル映像符号化装置と
    を備え、前記フレーム・プロセッサは請求項１に記載の方法を実行するように構成される、情報制御システム。

Images