JP2007329858A - 動画像表示装置、動画像表示方法及びプログラム - Google Patents

Abstract

【課題】 パケットロスなどによる画像欠損が複数のストリームで発生して補間処理が間に合わない場合でも、画像劣化を最小限に抑えることを可能とする。
【解決手段】 複数の動画像ストリームを受信する受信工程（ステップＳ２０２）と、圧縮された動画像データを復号する復号工程（ステップＳ２０５）と、復号工程（ステップＳ２０５）により復号された画像データのうち、欠損している領域を検出する欠損領域検出工程（ステップＳ２０６）と、欠損領域検出工程（ステップＳ２０６）により検出された欠損領域を補間する画像補間工程（ステップＳ２０８）と、受信工程（ステップＳ２０２）により受信した動画像ストリームの情報から、欠損部に対して動画像ストリーム毎に画素補間工程（ステップＳ２０８）により補間処理を施す優先順位を決定する補間優先順位決定工程（ステップＳ２０３、Ｓ２１６）とを有する。
【選択図】 図２

Description

本発明は、ネットワークを介して配信された複数の動画を表示する動画像表示装置、動画像表示方法及びプログラムに関する。

ネットワークで動画ストリームデータを配信するシステムでは、ネットワークの経路上で伝送するデータパケットの損失や遅延などが起こり、それによって配信した画像が正しく再生できずに画像劣化が発生する。

従来、この画像劣化を補正して高画質な再生を行うために、劣化部分をフレーム内の画像データを参照して補間処理するフレーム内補間処理や、前のフレーム画像データを参照して補間処理するフレーム間補間処理などの方法がとられていた。

また、一つの受信装置で複数の動画ストリームデータを受信して表示する場合には、復号処理負荷が大きくなるため、複数の復号器を備える方法や、一部のストリームの復号負荷を減らすことで復号処理を実現する方法がとられていた。

例えば、複数の複合器を備え、複数のストリームを同時再生する装置であって、ストリーム数に応じて全体の処理負荷が大きくなった場合に、低品質の復号処理を行う事で全体の処理負荷を抑えて全てのストリームを再生する様に構成しているものがある（例えば、特許文献１参照）。

特開２００１−１９７４３３号公報

しかしながら、復号処理の品質を下げる方法では、高画質な再生が要求される用途に適応できない。また、全ての動画ストリームに対して高画質な再生を行った場合には、補間処理が間に合わず劣化した画像データが表示されてしまう場合がある。この場合、フレーム間参照を行う圧縮方式などでは、画像劣化が複数フレーム続くことになり、著しい画像の劣化が発生する。

本発明は係る実情に鑑みて、パケットロスなどによる画像欠損が複数のストリームで発生して補間処理が間に合わない場合でも、ストリーム毎に優先順位をつけることにより画像劣化を最小限に抑えることが可能な動画像表示装置を提供することを目的とする。

本発明の動画像表示装置は、ネットワーク経由で配信される複数の動画像ストリームを受信する受信手段と、圧縮された動画像データを復号する復号手段と、前記復号手段により復号された画像データのうち、欠損している領域を検出する欠損領域検出手段と、前記欠損領域検出手段により検出された欠損領域を補間する画像補間手段と、前記復号手段により復号された画像データを表示する表示手段とを有する動画像表示装置であって、前記受信手段により受信した動画像ストリームの情報から、欠損部に対して動画像ストリーム毎に前記画像補間手段により補間処理を施す優先順位を決定する補間優先順位決定手段を更に有することを特徴とする。
本発明の動画像表示方法は、ネットワーク経由で配信される複数の動画像ストリームを受信する受信工程と、圧縮された動画像データを復号する復号工程と、前記復号工程により復号された画像データのうち、欠損している領域を検出する欠損領域検出工程と、前記欠損領域検出工程により検出された欠損領域を補間する画像補間工程と、前記復号工程により復号された画像データを表示手段に表示する表示工程とを有する動画像表示方法であって、前記受信工程により受信した動画像ストリームの情報から、欠損部に対して動画像ストリーム毎に前記画像補間工程により補間処理を施す優先順位を決定する補間優先順位決定工程を更に有することを特徴とする。
本発明のプログラムは、上記に記載の方法の各工程をコンピュータにて実施させることを特徴とする。

本発明の動画像表示装置によれば、複数の動画ストリームを受信して表示する動画像表示装置において、パケットロスなどによる画像欠損が複数のストリームで発生して補間処理が間に合わない場合でも、ストリーム毎に優先順位をつけることにより画像劣化を最小限に抑えることが可能である。

（第１の実施の形態）
図１は、第１実施形態の動画像表示装置の概略構成を示すブロック図である。本実施形態の動画像表示装置は、ネットワークを介して複数の動画ストリームデータを受信して表示を行う機器である。

図１において１０１はＣＰＵであり、第１の実施形態の動画像表示装置は、ＣＰＵ１０１によって制御される。ＣＰＵ１０１にはＤＭＡコントローラ（ＤＭＡＣ）１０２、メモリーコントローラ１０３、通信部１０７、表示制御部１０８がバス１０６を介して接続されている。また、表示制御部１０８からは、表示部１０９の表示タイミングを認識するためのＶｓｙｎｃ信号１１０が接続されている。

ＤＭＡＣ１０２は、ＣＰＵ１０１によって行われる設定に従い各モジュール間のデータ転送を実行する。メモリーコントローラ１０３には、ＲＯＭ１０４、ＲＡＭ１０５が接続されており、ＣＰＵ１０１はメモリーコントローラ１０３を介してＲＯＭ１０４、ＲＡＭ１０５にアクセスする。

ＣＰＵ１０１は、ＲＯＭ１０４に格納されている制御プログラムに基づいて各種制御を行う。これらの制御の中には、通信部１０７が受信した動画データをＲＡＭ１０５へ転送する制御、各種デコード処理（ＭＰＥＧ、Ｈ.２６４、Ｍ−ＪＰＥＧ、Ｍ−ＪＰＥＧ２０００など）、パケットロスなどによる欠損領域の検出処理、欠損領域を補間する画像補間処理、表示制御部１０８を動作させＲＡＭ１０５に格納された画像データを表示部１０９に表示する表示制御などが含まれる。

ＲＡＭ１０５は、１０５ａ〜１０５ｄの領域に分けられる。受信バッファ１０５ａの領域は、通信部１０７が受信した通信パケットから通信ヘッダ部を取り除いた圧縮動画データを格納するバッファとして使われる。

画像バッファ１０５ｂの領域は、現在復号処理したデータと前フレームに表示した画像データ、復号時に用いる参照画像データを格納するバッファとして使われる。ＶＲＡＭ１０５ｃの領域は、復号された画像データを表示データとして格納する。１０５ｄのその他の領域は、各種プログラムのワークエリアや各種データを一時退避させる領域として使われる。

通信部１０７は、ネットワーク１２１に接続されており、ＲＴＰプロトコルで送信された動画ストリームデータを受信する。図１において１２０−１、１２０−２〜１２０−ｎは、複数若しくは一つのホストからネットワークを介して送信されるｎ個の動画ストリームデータを表している。

また、通信部１０７はネットワークを介して送信される動画データを受信すると、受信した通信パケットから通信ヘッダ部を取り除き、受信バッファ１０５ａに転送する。通信部１０７は、バスマスターインターフェースを有し、このインターフェースを介して受信データを受信バッファ１０５ａに転送する。

表示制御部１０８は、表示部１０９に接続されており、ＶＲＡＭ１０５ｃに格納された画像データを表示部１０９（ＣＲＴやＬＣＤなど）に対して一定周期で転送する。

次にＣＰＵ１０１の処理のうち動画データ表示処理の流れを示す図２のフローチャートを用いて説明する。

ＣＰＵ１０１は、ステップＳ２０１から処理を開始し、ステップＳ２０２で、ＤＭＡＣ１０２、メモリーコントローラ１０３、通信部１０７、表示制御部１０８などの初期設定を行う。そして、その後に、通信部１０７を介してストリームを送信する少なくともひとつのホストと通信する。その後、ストリーム毎にネゴシエーションを行い、受信する動画ストリームの圧縮方式、フレームレート、画像サイズなどの情報を取得し、複数の動画ストリームの受信を開始する。

ステップＳ２０３では、ステップＳ２０２で取得したストリーム情報を元に初期の補間優先順位を確定し、ＲＡＭ１０５のその他の領域１０５ｄに「補間処理情報」として格納する。ここで、補間優先順位とは、復号された画像データに対して画像補間処理を実行する順番である。

また、ステップＳ２０３で格納する「補間処理情報」について図４−１を用いて説明する。図４−１において、各行に受信する動画ストリーム毎の情報を記載している。項目には、圧縮方式、画像サイズ、フレームレートがあり、この項目情報により初期の優先順位グループが決められる。優先順位は、左の列から重み付けが高く（Ａ ＞ Ｂ ＞ Ｃ）、各列内は次の条件により優先順位が決定される。

Ａ：圧縮方式
フレーム間参照を必要とする圧縮方式 ＞ フレーム間参照を必要としない圧縮方式
Ｂ：画像サイズ
大 ＞ 小
Ｃ：フレームレート
低 ＞ 高

また、同じ条件の画像については、同じ優先順位グループが割り当てられる。その他の項目については、後述する。

次に、ステップＳ２０４で通信部１０７により受信した動画ストリームのデータが格納されている受信バッファ１０５ａを解析し、復号可能なデータが有るかを判断し、復号可能データが無い場合には、ステップＳ２０４の処理を繰り返す。

ステップＳ２０４で復号可能なデータがある場合には、ステップＳ２０５に移行し、各ストリーム毎に圧縮方式に対応した復号プログラムによって復号処理を実行する。フレーム間参照を行う圧縮方式（ＭＰＥＧ２、ＭＰＥＧ４、Ｈ.２６４など）では、参照画像データを画像バッファ１０５ｂに格納し復号処理を行う。

フレーム間参照を伴わない圧縮方式（Ｍ−ＪＰＥＧ、Ｍ−ＪＰＥＧ２０００など）では、ＲＡＭ１０５のその他の領域１０５ｄを一次データ格納領域として使い復号処理を行う。各ストリーム毎に復号されたデータは、参照画像データと区別して画像バッファ１０５ｂにフレーム単位で格納される。

また、復号時において、ネットワーク経路にて通信パケットの損失やデータエラーによって正しく復号されなかった場合には、欠損領域の領域情報をフレーム単位の復号画像データの付帯情報として画像バッファ１０５ｂに格納する。参照画像データの場合も同様に付帯情報を参照画像データと共に格納する。

次のステップＳ２０６では、ステップＳ２０５で復号したフレーム間参照を必要とする圧縮方式で復号した参照画像データ（参照フレーム）に欠損領域があるかを判断する。欠損領域がない場合にはステップＳ２０９に処理を移す。

ステップＳ２０６で欠損領域がある場合には、ステップＳ２０７で欠損領域を含む画像データが次の表示に関連する画像かを判断する。ＭＰＥＧなどのフレーム間補間を行う圧縮方式では、表示順番と復号順番が異なる。そのため、次に表示するフレームを生成するために必要な参照フレームに欠損があった場合には、ステップＳ２０８に処理を移し、欠損が無かった場合にはステップＳ２０９に処理を移す。

ステップＳ２０８では、参照フレームの付帯情報から欠損領域を特定し画像補間処理を行う。画像バッファ１０５ｂに格納されている前フレームの画像データなどから画像補間処理を行う。画像補間処理は、公知の技術であるフレーム内補間方式や前フレームの画像により補間するフレーム間補間方式が適応的に用いられる。

次の、ステップＳ２０９では全てのストリームについて次に表示するフレームの復号処理が終わったかを判断し、終わっていない場合にはステップＳ２０４に処理に移る。そして、ステップＳ２０４〜Ｓ２０９の処理を、全てのストリームについて次に表示するフレームの復号処理が全て終わるまで繰り返す。

ステップＳ２０９で全てのストリームの復号処理が終わるとステップＳ２１０の処理で、次のステップＳ２１１からの補間処理が表示タイミングに間に合わなかった場合に備え、ステップＳ２１０で復号した画像データをＤＭＡＣ１０２を動作させ画像バッファ１０５ｂからＶＲＡＭ１０５ｃに転送する。

ステップＳ２１１では、次に表示を行うフレームに欠損領域が有るかを、復号画像データの付帯情報から判断し、欠損領域がない場合にはステップＳ２０４に処理を戻し次の復号処理を始める。

ステップＳ２１１で欠損領域がある場合には、ステップＳ２１２でストリーム単位で補間処理の優先順位を決定する。ステップＳ２１２の処理を図３を用いて説明する。

ステップＳ２１１に処理が移ると図３のステップＳ３０１から処理を開始し、ステップＳ３０２では、ステップＳ２０３で格納した「補間処理情報」を読み出す。

ステップＳ３０３では、後述するステップＳ２１４で格納した「前フレーム補間情報」を読み出す。「前フレーム補間情報」を図４−２を用いて説明する。図４−２でＥの列には、前フレームに画像補間処理を実行したかの情報が格納されている。

図４−２の例では、ストリーム＃１は、ＭＰＥＧ４なので復号時に優先的に画像補間処理を行っているので補間情報がない場合である。但し、参照画像でない場合にはステップＳ２１３で画像補間処理が実行される。ストリーム＃２は、前フレームで画像補間処理が実行された場合である。ストリーム＃３は、前フレームで画像補間処理を実行したが表示タイミングに間に合わずに失敗した場合である。ストリーム＃４は、画像欠損がなく補間処理が実行されなかった場合である。この様に、「前フレーム補間情報」によって前フレームに補間処理が実行されたか、補間に失敗したかの情報が確認できる。

次のステップＳ３０４〜Ｓ３０６の処理で、「補間処理情報」と「前フレーム補間情報」から次のフレームで表示する画像データの画像補間順位を決定する。

画像補間順位は、まず、ステップＳ２０３で決定した「優先順位グループ」内で順位付けを行う。ステップＳ３０４の処理では、「前フレーム補間情報」から、前フレームに画像補間処理に失敗したストリームの順位を同じ「優先順位グループ」内で最も高くなる様に画像補間順位を設定する。

次のステップＳ３０５の処理では、ステップＳ３０４で設定した順位の次の順位を設定する。ここでは、前フレームで画像補間処理を行ったストリームの順位を同じ「優先順位グループ」内で、ステップＳ３０４で設定した順位の次の順位に画像補間順位を設定する。

次のステップＳ３０６の処理では、前フレームで補間処理が無かったストリームの画像補間順位を最も低い順位に設定する。

また、同じ条件のストリームが存在する場合には、ラウンドロビン方式でフレーム毎に優先順位を割り当てる。この結果と「優先順位グループ」の順位付けから補間優先順位を確定し、図４−２では、「前フレーム補間情報」のＦの列に示す様に決定されステップＳ３０７で「前フレーム補間情報」に格納される。

そして、ステップＳ３０８から、図２のステップＳ２１３に処理を移す。ステップＳ２１３では、優先順位の高い順番から画像バッファ１０５ｂに格納された画像データに対して画像補間処理を行う。画像補間処理は、ステップＳ２０８と同様に、公知の技術であるフレーム内補間方式や前フレームの画像により補間するフレーム間補間方式が適応的に用いられる。

ステップＳ２１３で画像補間処理が行われた後にステップＳ２１４で補間画像をＶＲＡＭ１０５ｃに格納し、補間情報を「前フレーム補間情報」に格納する。また、次のフレームの補間処理に使えるように画像バッファ１０５ｂにも補間した画像を前フレームの画像データとして格納する。

次のステップＳ２１５では、次のフレームの表示が始まったかを、表示制御部のＶｓｙｎｃ信号１１０を参照することで判断し、始まってない場合には処理をステップＳ２２０に移行する。

ステップＳ２２０では、全ての画像補間処理が終了したかを判断し、全ての画像補間処理が終了していない場合には、ステップＳ２１３に処理を戻し、ステップＳ２１３〜Ｓ２１５の処理を全ての画像補間処理が終了するまで繰り返す。但し、ステップＳ２１５で次フレームの表示処理が開始されている場合には、画像補間処理を中断しステップＳ２１６に処理を移す。

ステップＳ２２０で全ての画像補間処理が終了した場合には、処理をステップＳ２１７に移す。

ステップＳ２１６では、画像補間処理されなかったストリームの情報を「前フレーム補間情報」に格納し、ステップＳ２１７に処理を移行する。

ステップＳ２１７では、受信処理を終了するか判断し、受信処理を終了しない場合には、処理をステップＳ２０４に戻し次のフレームの復号処理を開始する。

ステップＳ２１７で、受信処理を終了する場合には、ステップＳ２１８に移行し、表示部１０９の電源ＯＦＦや各モジュールの動作を停止し動画表示処理を終了する。

以上述べた処理により、本実施形態の動画像表示装置では、複数の動画ストリームを受信して表示する動画像表示装置において、パケットロスなどによる画像欠損が複数のストリームで発生して補間処理が間に合わない場合でも、ストリーム毎に効果的に優先順位をつけることにより画像劣化を最小限に抑えることができる。

具体的には、複数フレームに画像欠損が影響するフレーム間圧縮方式、画像サイズが大きい画像、一つのフレームが表示される時間が長いストリーム（低フレームレート画像）の順で補間処理を行う事で補間処理を効果的に行う事ができる。

また、本実施形態では、前フレームでの補間状態を参照して連続して補間処理されないことを防いでいるので更に効果的な補間処理を実現している。

また、本実施形態では、優先順位付けを圧縮方式の種類、画像サイズ、フレームレート、前フレームでの画像補間処理状況などから補間優先順位を決定したがこれに限定されるものではない。ユーザーによって選択されている動画や、複数の動画を重ねて表示した場合に前面に表示される動画を優先的に補間処理するように構成しても効果的である。

更に、使用用途により優先順位を決定することで、どのような条件であっても効果的な補間処理を実現することができる。

（第２実施の形態）
第１の実施形態では、復号処理をＣＰＵ１０１により行ったが、第２の実施形態では、受信したストリーム毎に図５に示す復号部５０１によって復号処理を行う様に構成した。

第２の実施形態では、第１の実施形態の概略構成を示すブロック図１を図５に置き換え、図２に示したＣＰＵ１０１の処理のうちの動画データ表示処理の流れを示すフローチャートを図６に置き換えることで実現する。 以下、図５の概略構成を示すブロック図について説明する。

図５では、図１に対して復号部５０１−１〜５０１−ｎ、復号エラー検出部５０３、ＢＵＳインターフェース（以下「ＢＵＳ／ＩＦ」と記述する。）が追加された構成となっている。

復号部５０１はｎ個の復号部で構成され、それぞれ通信部１０７、「ＢＵＳ／ＩＦ」５０２に接続されている。復号部５０１は、通信部１０７から通信ヘッダ部を取り除いた動画データを受信し復号を行った後に「ＢＵＳ／ＩＦ」５０２を介して画像バッファ１０５ｂに格納する。

また、フレーム間参照を行う圧縮方式の場合には、「ＢＵＳ／ＩＦ」５０２を介して参照フレームの画像を取得し復号処理を行う。

また、復号部５０１は、ネットワーク経路にて通信パケットの損失やデータエラーによって動画データを正しく復号できなかった場合には、欠損領域の領域情報を復号エラー検出部５０３に出力する。

「ＢＵＳ／ＩＦ」５０２は、復号部（１−ｎ）とバス１０６に接続されており、復号部５０１（１−ｎ）がＲＡＭ１０５にデータを読み書きする際にバス１０６とのインターフェース機能と各復号部間の調停処理を行う。

復号エラー検出部５０３は、復号部（１〜ｎ）とバス１０６に接続されており、各復号部が出力する復号エラーを検出すると復号部から出力される復号エラー情報を格納する。

復号エラー情報には、該当する欠損領域の領域情報とフレーム間参照を必要とする圧縮方式の場合には、参照フレームであるかの情報が含まれる。また、この領域情報はバス１０６を介してＣＰＵ１０１から読み出される。

次に、ＣＰＵ１０１の処理のうち動画データ表示処理の流れを示すフローチャート図６について説明する。

ＣＰＵ１０１は、ステップＳ６０１から処理を開始する。ステップＳ６０１〜Ｓ６０３の処理は、図１のステップＳ２０１〜Ｓ２０３の処理と同様な処理を行う。

次に、ステップＳ６０４では、復号エラー検出部５０３に格納されている復号エラー情報を読み込み、フレーム間参照を行う圧縮方式で参照フレームに欠損領域があるかを判断する。

欠損領域がない場合には、ステップＳ６０７に処理を移行する。欠損領域がある場合には、ステップＳ６０５に移行し、その参照フレームが次に表示するフレームを復号するのに必要な参照フレームかを判断する。

ＣＰＵ１０１は、「ＢＵＳ／ＩＦ」５０２を介してそれぞれの復号部の復号処理状態を読み込むことで判断し、次の表示に必要な参照フレームで無かった場合には、ステップＳ６０７に処理を移行する。

ステップＳ６０５で次の表示に必要な参照フレームであった場合には、ステップＳ６０６で欠損領域の補間処理を行う。ここでの補間処理は、図２のステップＳ２０８と同様な方法によって補間処理を行う。

次に、ステップＳ６０７では、全てのストリームについて次に表示するフレームの復号処理が終わったかを判断し、終わっていない場合にはステップＳ６０４に処理に移る。そして、ステップＳ６０４〜Ｓ６０７の処理を、全てのストリームについて次に表示するフレームの復号処理が終わるまで繰り返す。

ステップＳ６０７で全てのストリームの復号処理が終わるとステップＳ６０８の処理で、次のステップＳ６１０からの補間処理が表示タイミングに間に合わなかった場合に備え、復号した画像データをＤＭＡＣ１０２を動作させ画像バッファ１０５ｂからＶＲＡＭ１０５ｃに転送する。

ステップＳ６０９では、次に表示を行うフレームに欠損領域が有るかを、復号エラー検出部５０３に格納された復号エラー情報から判断し、欠損領域がない場合にはステップＳ６０４に処理を戻して次の復号処理を始める。

ステップＳ６０９で欠損領域がある場合には、ステップＳ６１０でストリーム単位で補間処理の優先順位を決定する。ステップＳ６１０の処理は、第１の実施形態の図３と同様な処理を行う。

ステップＳ６１１では、優先順位の高い順番から画像バッファ１０５ｂに格納された画像データに対して画像補間処理を行う。

ステップＳ６１１で画像補間処理が行われた後にステップＳ６１２で補間画像をＶＲＡＭ１０５ｃに格納し、補間情報を「前フレーム補間情報」に格納する。また、次のフレームの補間処理に使えるように画像バッファ１０５ｂにも補間した画像を前フレームの画像データとして格納する。

次のステップＳ６１３では、次のフレームの表示が始まったかを、表示制御部のＶｓｙｎｃ信号１１０を参照することで判断し、次のフレームの表示が始まってない場合には処理をステップＳ６１８に移行する。

ステップＳ６１８では、全ての画像補間処理が終了したかを判断し、全ての画像補間処理が終了していない場合には、ステップＳ６１１に処理を戻し、ステップＳ６１１〜Ｓ６１３の処理を全ての画像補間処理が終了するまで繰り返す。但し、ステップＳ６１３で次フレームの表示処理が開始されている場合には、画像補間処理を中断しステップＳ６１４に処理を移す。

ステップＳ６１８で全ての画像補間処理が終了した場合には、処理をステップＳ６１５に移行する。

ステップＳ６１４では、画像補間処理されなかったストリームの情報を「前フレーム補間情報」に格納し、ステップＳ６１５に処理を移行する。

ステップＳ６１５では、受信処理を終了するか判断し、受信処理を終了しない場合には、処理をステップＳ６０４に戻し次のフレームの復号処理を開始する。

ステップＳ６１５で受信処理を終了する場合には、ステップＳ６１６に移行し、表示部１０９の電源ＯＦＦや各モジュールの動作を停止し動画表示処理を終了する。

（第３の実施の形態）
第１の実施形態では、受信開始時に補間処理の「優先順位グループ」が決定されていたが、第３の実施形態では、受信中にストリームの圧縮方式、画像サイズ、フレームレートなどが変更された場合に、補間処理の「優先順位グループ」を再設定する様に構成した。

第３の実施形態では、第１の実施形態の図２に示したＣＰＵ１０１のうち動画データ表示処理の流れを示すフローチャートを図７に置き換えることで実現する。図７のＣＰＵ１０１の処理のうち動画データ表示処理の流れを示すフローチャートについて説明する。

図７において、ステップＳ７０１〜Ｓ７１６、Ｓ７２３の処理は、第１の実施形態の図２のステップＳ２０１〜Ｓ２１６、Ｓ２２０の処理と同様な処理を行う。

ステップＳ７１６で補間処理情報を格納するとステップＳ７１７で現在受信しているストリームのうち、動画データの情報に変更があるストリームがあるかを判断する。ストリーム情報の変更は、通信部１０７を介して動画ストリームデータとは別にホストから通知される。また、この動画ストリームデータの変更は、動画ストリームの通信ヘッダー情報や動画ストリームヘッダー情報になど埋め込むことで実現しても良い。

ステップＳ７１７でストリーム情報に変更がある場合には、ステップＳ７２１に移行し補間情報を変更する。

次のステップＳ７２２では、ステップＳ７２１で更新された補間情報を元にステップＳ７０３と同様な処理で補間優先順位を再決定し、決定した結果を補間情報内の「優先順位グループ」に格納し、処理をステップＳ７１８に移行する。

また、ステップＳ７１８〜Ｓ７２０の処理は、ステップＳ２１７〜Ｓ２１９と同様な処理を行う。

以上説明したように、第３の実施形態では、受信している動画ストリームの情報が変更されても、その時の状況に合わせて効果的な補間処理を行う事が可能となる。

本発明の第１実施の形態に係る動画像表示装置の構成を示すブロック図である。 本発明の第１の実施の形態に係る動画表示装置における動画データ表示処理の流れを示すフローチャートである。 本発明の第１の実施の形態に係る動画表示装置における補間優先順位決定の処理の流れを示すフローチャートである。 本発明の第１の実施の形態に係る補間処理情報データの構成の一例を示す図である。 本発明の第１の実施の形態に係る前フレーム補間情報データの構成の一例を示す図である。 本発明の第２実施の形態に係る動画像表示装置の構成を示すブロック図である。 本発明の第２の実施の形態に係る動画表示装置における動画データ表示処理の流れを示すフローチャートである。 本発明の第３の実施の形態に係る動画表示装置における動画データ表示処理の流れを示すフローチャートである。

符号の説明

１０１ ＣＰＵ
１０４ ＲＯＭ
１０５ ＲＡＭ
１０７ 通信部
１０８ 表示制御部
１０９ 表示部
１２０−１〜ｎ 動画像ストリーム
１２１ ネットワーク
５０１ 復号器
５０２ 復号エラー検出部
５０３ ＢＵＳ／ＩＦ

Claims (9)

1. ネットワーク経由で配信される複数の動画像ストリームを受信する受信手段と、
   圧縮された動画像データを復号する復号手段と、
   前記復号手段により復号された画像データのうち、欠損している領域を検出する欠損領域検出手段と、
   前記欠損領域検出手段により検出された欠損領域を補間する画像補間手段と、
   前記復号手段により復号された画像データを表示する表示手段とを有する動画像表示装置であって、
   前記受信手段により受信した動画像ストリームの情報から、欠損部に対して動画像ストリーム毎に前記画像補間手段により補間処理を施す優先順位を決定する補間優先順位決定手段を更に有することを特徴とする動画像表示装置。
2. 前記補間優先順位決定手段は、受信した動画像ストリームの圧縮方式の種類により動画像ストリームの補間優先順位を決定することを特徴とする請求項１に記載の動画像表示装置。
3. 前記補間優先順位決定手段は、受信した動画像ストリームの画像サイズにより補間優先順位を決定することを特徴とする請求項１に記載の動画像表示装置。
4. 前記補間優先順位決定手段は、受信した動画像ストリームのフレームレートにより補間優先順位を決定することを特徴とする請求項１に記載の動画像表示装置。
5. 前記表示手段に表示された前フレームの画像データが補間処理されたことを検出する補間処理検出手段を更に有し、前記補間処理検出手段の出力情報により動画像ストリームの補間優先順位を決定することを特徴とする請求項１に記載の動画像表示装置。
6. 前記表示手段に表示された前フレームの画像データの補間処理が失敗したことを検出する補間処理失敗検出手段を更に有し、前記補間処理失敗検出手段の出力情報により動画像ストリームの補間優先順位を決定することを特徴とする請求項１に記載の動画像表示装置。
7. 前記受信手段により受信した動画像ストリームの情報が変更されたことを検出する変更検出手段を更に有し、前記変更検出手段により出力される情報により動画像ストリームの補間優先順位を再決定することを特徴とする請求項１に記載の動画像表示装置。
8. ネットワーク経由で配信される複数の動画像ストリームを受信する受信工程と、
   圧縮された動画像データを復号する復号工程と、
   前記復号工程により復号された画像データのうち、欠損している領域を検出する欠損領域検出工程と、
   前記欠損領域検出工程により検出された欠損領域を補間する画像補間工程と、
   前記復号工程により復号された画像データを表示手段に表示する表示工程とを有する動画像表示方法であって、
   前記受信工程により受信した動画像ストリームの情報から、欠損部に対して動画像ストリーム毎に前記画像補間工程により補間処理を施す優先順位を決定する補間優先順位決定工程を更に有することを特徴とする動画像表示方法。
9. 請求項８に記載の方法の各工程をコンピュータにて実施させることを特徴とするプログラム。

Images