JP2012519444A - ピクチャ系列を表示する方法及び装置 - Google Patents

Abstract

本発明は、第一の解像度及び／又は第一の品質でのピクチャ系列のピクチャを表すベースレイヤと、第二の解像度及び／又は第二の品質でのピクチャ系列のピクチャを表す少なくとも１つのエンハンスメントレイヤとを含むマルチレイヤストリームの形式で到来するピクチャ系列を表示する方法に関する。本方法は、少なくともエンハンスメントレイヤのランダムアクセスポイントの復号化まで、ベースレイヤのランダムアクセスポイントからベースレイヤのピクチャを復号化し、復号化されたベースレイヤのピクチャを再構成するステップ100、再構成されたベースレイヤのピクチャを表示するステップ110、エンハンスメントレイヤのランダムアクセスポイントからエンハンスメントレイヤのピクチャを復号化し、復号化されたエンハンスメントレイヤのピクチャを再構成するステップ130、再構成されたエンハンスメントレイヤのピクチャを表示するステップ150を含む。本方法は、エンハンスメントレイヤのランダムアクセスポイントの時間に対応するベースレイヤのピクチャとエンハンスメントレイヤのピクチャとの間の画像のコンテンツ及びその品質の変動が段階的になるように、エンハンスメントレイヤのピクチャをその表示の前に処理するステップ140を更に含む。

Description

本発明は、ピクチャ系列を表示する方法及び装置に関する。より詳細には、本発明は、マルチレイヤストリームの形式で生成されるピクチャ系列を表示する方法、及び係るピクチャ系列を表示する表示装置に関する。

ユーザがユーザの端末に表示されている番組を変える、すなわち第一のピクチャ系列の表示から第二のピクチャ系列の表示に変えるため、ランダムアクセスポイント（RAP）を第二のピクチャ系列を表すストリームに加えることが知られている。第一のピクチャ系列を表す第一のストリームから第二のストリームへのアクセスの迅速さを増加するため、この第二のストリームのランダムアクセスポイントが接近するようなやり方で分散する必要がある。係る解決策は、これらのランダムアクセスポイントが挿入される第二のストリームのビットレートを増加するという問題がある。

さらに、ベースレイヤのピクチャと呼ばれる、第一の解像度及び／又は品質でのピクチャ系列を表すベースレイヤと、エンハンスメントレイヤのピクチャと呼ばれる、第二の解像度及び／又は品質での前記系列のピクチャを表す少なくとも１つのエンハンスメントレイヤを含むピクチャの系列をマルチレイヤの形式で表現することが知られている。ユーザがユーザの端末に表示するのを望む第二のピクチャ系列がマルチレイヤストリームの形式で到来する特別の場合、ベースレイヤとエンハンスメントレイヤの両者においてランダムアクセスポイントを追加することが知られている。一般に、ランダムアクセスポイントは、マルチレイヤストリームのビットレートの増加を制限し、第二のストリームの表示を加速するため、頻繁なやり方又はエンハンスメントレイヤにおけるのと同じやり方で、ベースレイヤにおいて分散される。たとえば、ランダムアクセスポイントをベースレイヤに２秒毎に、又は迅速なアクセスが要求される場合には500ミリ秒毎に挿入することが勧められ、ランダムアクセスポイントは、平均して少なくとも５秒毎にエンハンスメントレイヤに挿入される。

第二のピクチャの系列を表示するのを望むことをユーザが端末に示すとき、端末は、第二のピクチャ系列のランダムアクセスポイントの到来を待つ。端末は、（たとえばSDTV又はHDTVスクリーンに接続されるセットトップボックス（STB）といった）表示装置に接続される復号化装置を一般に備える。ベースレイヤがエンハンスメントレイヤよりも頻繁にランダムアクセスポイントを有する場合、端末は、エンハンスメントレイヤのランダムアクセスポイントの到来及び復号化まで、ベースレイヤのデータを復号化する。このように復号化されたデータから、復号化装置は、ベースレイヤの対応するピクチャを再構成する。これら再構成されたピクチャは、表示装置で表示される。エンハンスメントレイヤのランダムアクセスポイントの復号化の後、端末は、エンハンスメントレイヤを復号化して、エンハンスメントレイヤのピクチャを再構成する。これら再構成されたピクチャは、表示装置で表示される。

しかし、係るディスプレイは、エンハンスメントレイヤのランダムアクセスポイントが復号化されたときに、端末はベースレイヤのピクチャの表示からエンハンスメントレイヤのピクチャの表示に変わり、この変化は品質及び／又は内容の観点で突然のジャンプに対応するので、視覚的な観点から満足されるものではない。
本発明の目的は、従来技術の少なくとも１つの問題点を解決することにある。

上記目的を達成するため、本発明は、ベースレイヤのピクチャと呼ばれる、第一の解像度及び／又は第一の品質での系列のピクチャを表すベースレイヤと、エンハンスメントレイヤのピクチャと呼ばれる、第二の解像度及び／又は第二の品質での系列のピクチャを表す少なくとも１つのエンハンスメントレイヤとを含む、マルチレイヤストリームの形式で到来するピクチャの系列を表示する方法に関する。ベースレイヤ及びエンハンスメントレイヤは、ランダムアクセスポイントを有する。

本方法は、以下のステップを有する。少なくともエンハンスメントレイヤのランダムアクセスポイントまで、ベースレイヤのランダムアクセスポイントからベースレイヤを復号化し、ベースレイヤのピクチャを再構築するステップ。再構成されたベースレイヤのピクチャを表示するステップ。エンハンスメントレイヤのランダムアクセスポイントからエンハンスメントレイヤを復号化し、エンハンスメントレイヤのピクチャを再構成するステップ。再構成されたエンハンスメントレイヤのピクチャを表示するステップ。

有利なことに、本方法は、エンハンスメントレイヤのランダムアクセスポイントの時間に対応するベースレイヤのピクチャとエンハンスメントレイヤのピクチャとの間のピクチャの内容及び／又はその品質の変動が段階的であるように、エンハンスメントレイヤのピクチャの表示の前に、エンハンスメントレイヤのピクチャを処理するステップを更に含む。

特定の実施の形態によれば、処理ステップは、第一の解像度及び／又は第一の品質から第二の解像度及び／又は第二の品質までの予め定義された時間間隔を通して段階的に増加する中間の解像度及び／又は品質で、エンハンスメントレイヤのピクチャのそれぞれをフィルタリングするステップである。
特定の特性によれば、フィルタリングするステップは、サブサンプリングするステップである。

別の特定の実施の形態によれば、処理ステップは、トリミングウィンドウ（cropping window）によりエンハンスメントレイヤのピクチャのそれぞれを構成し直す（reframing）ステップであり、トリミングウィンドウのサイズは、ベースレイヤのピクチャに関連するトリミングウィンドウのサイズと、エンハンスメントレイヤのピクチャのサイズとの間の予め定義された時間間隔を通して段階的に増加する。

特定の特性によれば、処理ステップは、サブサンプリングステップを更に有する。

また、本発明は、ベースレイヤのピクチャと呼ばれる、第一の解像度及び／又は第一の品質での系列のピクチャを表すベースレイヤと、エンハンスメントレイヤのピクチャと呼ばれる、第二の解像度及び／又は第二の品質での系列のピクチャを表す少なくとも１つのエンハンスメントレイヤとを含む、マルチレイヤストリームの形式で到来するピクチャの系列を表示する装置に関する。ベースレイヤ及びエンハンスメントレイヤは、ランダムアクセスポイントを有する。

本装置は、少なくともエンハンスメントレイヤのランダムアクセスポイントまで、ベースレイヤのランダムアクセスポイントからベースレイヤを復号化し、ベースレイヤのピクチャを再構築し、エンハンスメントレイヤのランダムアクセスポイントからエンハンスメントレイヤを復号化し、エンハンスメントレイヤのピクチャを再構成する復号化モジュールと、再構成されたベースレイヤのピクチャと、再構成されたエンハンスメントレイヤのピクチャを表示する表示モジュールとを備える。

有利なことに、本装置は、エンハンスメントレイヤのランダムアクセスポイントの時間に対応するベースレイヤのピクチャとエンハンスメントレイヤのピクチャとの間のピクチャの内容及び／又はその品質の変動が段階的であるように、表示モジュールによる表示の前に、エンハンスメントレイヤのピクチャを処理する処理モジュールを更に備える。

特定の実施の形態によれば、処理ステップは、第一の解像度及び／又は第一の品質から第二の解像度及び／又は第二の品質までの予め定義された時間間隔を通して段階的に増加する中間の解像度及び／又は品質で、エンハンスメントレイヤのピクチャのそれぞれをフィルタリングするステップである。

本発明は、添付図面を参照して、限定するものではない実施の形態及び有利な実現により良好に理解及び例示される。
トリミングウィンドウと共に、マルチレイヤストリームのエンハンスメントレイヤのピクチャとベースレイヤのピクチャを示す図である、 本発明の第一の実施の形態に係る表示方法のブロック図である。 本発明の第一の実施の形態に係る表示方法を例示する図である。 本発明の第二の実施の形態に係る表示方法のブロック図である。 本発明の第二の実施の形態に係る表示方法を例示する図である。 本発明の第三の実施の形態に係る表示方法のブロック図である。 本発明の第四の実施の形態に係る表示方法のブロック図である。 本発明に係る表示方法を使用したピクチャの系列を変える方法を例示する図である。 本発明に係る表示方法を使用したピクチャの系列を変える方法のブロック図である。 本発明に係る表示装置を示す図である。

本発明は、少なくとも２つのレイヤを有するピクチャの系列を表すマルチレイヤストリームを表示する方法に関する。本発明によれば、マルチレイヤストリームの様々なレイヤは、互いに独立に完全に符号化される。マルチレイヤストリームは、ベースレイヤストリームのピクチャと呼ばれる、第一の解像度及び／又は品質での系列の画像を表すベースレイヤと、エンハンスメントレイヤのピクチャと呼ばれる、第二の解像度及び／又は品質での系列のピクチャを表す少なくとも１つのエンハンスメントレイヤとを含むスケーラブルストリームとすることができる。しかし、本発明は、この構成に限定されるものではなく、用語「マルチレイヤストリーム」は、最も広い意味で理解されるべきである。また、この用語は、同時放送ストリーム及び多視点ストリームを含む。

スケーラブルストリームは、たとえば、2008年10月に公表され、Joint Draft ITU-T Rec. H,264|ISO/IEC 14496-10/Amd.3 Scalable video codingと題されたJVT-AC205文書で記載されたSVCビデオ符号化規格に準拠したストリームである。しかし、本発明はこの規格に限定されるものではなく、特にベースレイヤのピクチャの表示からエンハンスメントレイヤのピクチャの表示に変わるとき、ピクチャの系列の表示間にユーザの視覚的な快適さを改善するため、マルチレイヤストリームと共に使用することができる。ベースレイヤのピクチャは、サイズ（ｗ，ｈ）を有しており、ｗは幅である、ｈは高さであり、エンハンスメントレイヤのピクチャは、サイズ（Ｗ，Ｈ）を有しており、Ｗは幅であり、Ｈは高さである。ベースレイヤのピクチャのピクチャコンテンツは、たとえベースレイヤとエンハンスメントレイヤとが低い解像度を有するとしても、エンハンスメントレイヤのピクチャと同一とすることができる。これは、エンハンスメントレイヤのピクチャのサブサンプリングによりベースレイヤのピクチャが生成されるときに当てはまる。しかし、ピクチャコンテンツは、図１に例示されるのとは異なることができる。これは、エンハンスメントレイヤのピクチャのサブサンプリングを再構成することで、ベースレイヤのピクチャが再構成されるときに当てはまる。この場合、ベースレイヤのピクチャのピクチャコンテンツは、エンハンスメントレイヤの対応するピクチャの一部のみのピクチャコンテンツに対応する。この一部は、サイズ（ｗ’，ｈ’）のトリミングウィンドウにより境界設定され、ｗ’はトリミング窓の幅であり、ｈ’はその高さである。

図２及び図３を参照して記載される第一の実施の形態を以下に説明する。
ステップ１００で、ベースレイヤは、（図３における時間T1に対応する）そのランダムアクセスポイントのうちの１つから、少なくとも（図３における時間T2に対応する）エンハンスメントレイヤのランダムアクセスポイントの復号化まで、ベースレイヤのピクチャを再構成するために復号化される。マルチレイヤストリームがSVC規格に従う場合、ベースレイヤのピクチャは、“ITU-T Rec. H.264|ISO/IEC 14496-10/Amd.3 Scalable video coding”と題されたJVT-AC205に記載されたH.264/MPEG-4AVC復号化方法に従って再構成される。

ステップ１１０で、再構成されたベースレイヤのピクチャが表示される。このステップは、表示装置の解像度にするため、ベースレイヤのピクチャの空間フィルタリングを必要とする。これは、特に、ベースレイヤのピクチャが７２０ｐフォーマットであって、１０８０ｐ高精細（HD）フォーマットでスクリーンに表示される必要がある場合に当てはまる。この特定の場合、ベースレイヤのピクチャは、表示の前にアップサンプリングされる。

ステップ１２０で、エンハンスメントレイヤのランダムアクセスポイントが復号化された場合、本方法は、ステップ１３０に進み、さもなければステップ１００に戻る。

ステップ１３０で、エンハンスメントレイヤは、（図３における時間T2に対応する）ランダムアクセスポイントから復号化され、エンハンスメントレイヤのピクチャが再構成される。マルチレイヤストリームがSVC規格に準拠したスケーラブルストリームである場合、エンハンスメントレイヤのピクチャは、“Joint Draft ITU-T Rec. H.264|ISO/IEC 14496-10/Amd.3 Scalable video coding”と題されたJVT-AC205文献の付属書類Gに記載されたSVC復号化方法に従って再構成される。

ステップ１４０で、再構成されたエンハンスメントレイヤのピクチャが処理される。この再構成されたピクチャは、たとえば５００ｍｓといった予め決定された期間を通して段階的にサブサンプリングされる。図３では、時間T2と時間T3との間で段階的な処理が実行される。時間T2は、エンハンスメントレイヤの第一のランダムアクセスポイントの復号化に対応する。時間T3は、エンハンスメントレイヤの別のランダムアクセスポイントの復号化に対応するが、係るランダムアクセスポイントに対応しない。時間T3は、T2に関して、エンハンスメントレイヤのピクチャの処理時間、従って時間T2の前又は時間T2でのベースレイヤのピクチャの表示と、時間T3の後又は時間T3でのエンハンスメントレイヤのピクチャの表示との間の段階的な遷移の期間を定義する。このステップ１４０は、エンハンスメントレイヤのランダムアクセスポイントの時間T2での又は時間T2の前のベースレイヤのピクチャと、時間T3での又は時間T3の後のエンハンスメントレイヤのピクチャとの間で段階的に表示が行われるのを可能にする。従って、時間T2で再構成される第一のエンハンスメントレイヤは、ベースレイヤのピクチャのサイズ（ｗ，ｈ）でサブサンプリングされる。エンハンスメントレイヤの後続するピクチャは、サイズ（ｗ＋ｄｗ，ｈ＋ｄｈ）、すなわちベースレイヤのピクチャのサイズよりも僅かに大きいサイズでサブサンプリングされる。この目的のため、たとえな１６位相をもつLanczosポリフェーズフィルタを使用することができる。本方法は、エンハンスメントレイヤのピクチャのサイズ（Ｈ，Ｗ）に到達するまで、サブサンプリング後にピクチャのサイズを増加することでエンハンスメントレイヤのそれぞれ再構成されたピクチャに繰り返される。エンハンスメントレイヤのそれぞれ新たなピクチャで、サブサンプリングされたピクチャのサイズは、たとえばｄｈ＝４及びｄｗ＝４といった高さにおけるｄｈ画素及び幅におけるｄｗ画素だけ増加される。従って、ベースレイヤのピクチャとエンハンスメントレイヤのピクチャとの間で表示されるピクチャの品質は、ベースレイヤのピクチャの表示からエンハンスメントレイヤのピクチャの表示に時間T2でダイレクトに変わる場合に、突然変化する代わりに、T2とT3との間の期間を通して段階的に増加する。

ステップ１５０で、エンハンスメントレイヤの処理されたピクチャが表示される。このステップは、表示装置の解像度にするため、エンハンスメントレイヤの処理されたピクチャの空間フィルタリングを必要とする。これは、特に、エンハンスメントレイヤの処理されたピクチャが表示されるスクリーンの解像度よりも低い解像度をエンハンスメントレイヤの処理されたピクチャが有する場合に当てはまる。この特別の場合、エンハンスメントレイヤの処理されたピクチャ、すなわちサブサンプリング後のピクチャは、それらの表示の前にアップサンプリングされる。

この実施の形態は、ベースレイヤのピクチャとエンハンスメントレイヤのピクチャのコンテンツが同じであるとき、すなわち図１に例示されるようにエンハンスメントレイヤのピクチャからベースレイヤのピクチャを生成するために再構成ツールが使用されないときに使用される。

図４及び図５を参照して記載される第二の実施の形態を以下に説明する。
ステップ１００で、ベースレイヤは、（図５における時間T1に対応する）そのランダムアクセスポイントのうちの１つから、少なくとも（図５における時間T2に対応するエンハンスメントレイヤのランダムアクセスポイントの復号化まで）復号化され、ベースレイヤのピクチャが再構成される。

ステップ１１０で、再構成されたベースレイヤのピクチャが表示される。このステップは、表示装置の解像度にするため、ベースレイヤのピクチャの空間フィルタリングを必要とする。これは、特に、ベースレイヤのピクチャが７２０ｐフォーマットであって、１０８０ｐ高精細（HD）フォーマットでスクリーンに表示される必要がある場合に当てはまる。この特別の場合、ベースレイヤのピクチャは、表示の前にアップサンプリングされる。

ステップ１２０で、エンハンスメントレイヤのランダムアクセスポイントが復号化された場合、本方法はステップ１３０に進み、さもなければ本方法はステップ１００に戻る。ステップ１３０で、エンハンスメントレイヤは、（図５における時間T2に対応する）ランダムアクセスポイントから復号化され、エンハンスメントレイヤのピクチャが再構成される。

ステップ１４０で、再構成されたエンハンスメントレイヤのピクチャが処理される。処理された再構成されたピクチャは、たとえば５００ｍｓといった予め定義された期間を通して段階的に再構成される。図５では、段階的な処理は、時間T2と時間T3との間で実行される。時間T2は、エンハンスメントレイヤの第一のランダムアクセスポイントの復号化に対応する。時間T3は、エンハンスメントレイヤの別のランダムアクセスポイントの復号化に対応するが、係るランダムアクセスポイントに対応しない。時間T3は、T2に関して、エンハンスメントレイヤのピクチャの処理時間を定義し、従って、時間T2の前又はおそらく時間T2でのベースレイヤのピクチャの表示と、時間T3の後又はおそらく時間T3でのエンハンスメントレイヤのピクチャの表示との間の段階的な遷移時間の期間を定義する。このステップ１４０は、エンハンスメントレイヤのランダムアクセスポイントの時間T2での又は時間T2の前でのベースレイヤのピクチャと、時間T3での又は時間T3後のエンハンスメントレイヤのピクチャとの間で表示が段階的に行われるのを可能にする。従って、時間T2で再構成された第一のエンハンスメントピクチャは、ベースレイヤのピクチャのサイズ（ｗ，ｈ）で再構成される。この場合、サイズ（ｗ，ｈ）のトリミングウィンドウは、エンハンスメントピクチャの内容が、対応するベースレイヤのピクチャのコンテンツと同一であるか又は少なくとも非常に近いように、エンハンスメントレイヤのピクチャに位置される。特定の実施の形態では、時間T2でエンハンスメントレイヤのピクチャに関連するトリミングウィンドウの位置及びサイズは、それらが送信されるマルチレイヤストリームから復号化される。これは、特に、マルチレイヤストリームがSVCビデオ符号化規格に準拠するスケーラブルストリームである場合に当てはまる。

エンハンスメントレイヤの後続するピクチャは、サイズ（ｗ＋ｄｗ，ｈ＋ｄｈ）、すなわちベースレイヤのピクチャのサイズよりも僅かに大きいサイズで再構成される。本方法は、エンハンスメントレイヤのピクチャのサイズ（Ｈ，Ｗ）に到達するまで、トリミングウィンドウのサイズを増加させることでエンハンスメントレイヤのそれぞれ再構成されたピクチャに繰り返される。エンハンスメントレイヤのそれぞれ新たなピクチャで、トリミングウィンドウのサイズは、たとえばｄｈ＝４及びｄｗ＝４といった高さにおけるｄｈ画素と幅におけるｄｗ画素だけ増加することができる。従って、ベースレイヤのピクチャとエンハンスメントレイヤのピクチャとの間の更なるピクチャコンテンツは、時間T2でベースレイヤのピクチャの表示からエンハンスメントレイヤのピクチャの表示へのダイレクトな変化がある場合に、突然追加される代わりに、T2とT3との間の期間を通して段階的に追加される。

ステップ１５０で、再構成されたエンハンスメントレイヤのピクチャが表示される。このステップは、表示装置の解像度にするため、再構成されたエンハンスメントレイヤのピクチャの空間フィルタリングを必要とする。これは、特に、再構成されたエンハンスメントレイヤのピクチャが表示されるスクリーンの解像度よりも低い解像度を再構成されたエンハンスメントレイヤのピクチャが有する場合に当てはまる。この特別の場合、再構成されたエンハンスメントレイヤのピクチャは、表示の前にアップサンプリングされる。

図６を参照して記載される第三の実施の形態は、第１及び第２の実施の形態を組み合わせたものである。
ステップ１００で、ベースレイヤは、（図３における時間T1に対応する）そのランダムアクセスポイントのうちの１つから、（図３における時間T2に対応するエンハンスメントレイヤ）のランダムアクセスポイントの復号化まで、ベースレイヤのピクチャを再構成するために復号化される。

ステップ１１０で、再構成されたベースレイヤのピクチャが表示される。このステップは、表示装置の解像度にするため、ベースレイヤのピクチャの空間フィルタリングを必要とする。これは、特に、ベースレイヤのピクチャが７２０ｐフォーマットであって、１０８０ｐ高精細（HD）フォーマットでスクリーンに表示される場合に当てはまる。この特別の場合、ベースレイヤのピクチャは、表示の前にアップサンプリングされる。

ステップ１２０で、エンハンスメントレイヤのランダムアクセスポイントが復号化された場合、本方法はステップ１３０に進み、さもなければ本方法はステップ１００に戻る。ステップ１３０で、エンハンスメントレイヤは、（図３における時間T2に対応する）ランダムアクセスポイントから復号化され、エンハンスメントレイヤのピクチャが再構成される。

ステップ１４０で、エンハンスメントレイヤのピクチャが処理される。エンハンスメントレイヤのピクチャは、たとえば５００ｍｓといった予め定義された期間を通して段階的に再構成され、サブサンプリングされる。図３では、段階的な処理は、時間T2と時間T3との間で実行される。時間T2は、エンハンスメントレイヤの第一のランダムアクセスポイントの復号化に対応する。時間T3は、エンハンスメントレイヤの別のランダムアクセスポイントの復号化に対応するが、係るランダムアクセスポイントに対応しない。時間T3は、T2に関して、エンハンスメントレイヤのピクチャの処理時間を定義し、従って、時間T2の前又はおそらく時間T2でのベースレイヤのピクチャと表示と、時間T3の後又はおそらく時間T3でのエンハンスメントレイヤのピクチャの表示との間の段階的な遷移時間を定義する。このステップ１４０は、エンハンスメントレイヤのランダムアクセスポイントの時間T2での又はT2の前のベースレイヤのピクチャと、時間T3での又は時間T3後のエンハンスメントレイヤのピクチャとの間で表示が段階的に行われるのを可能にする。従って、時間T2で再構成されたエンハンスメントレイヤのピクチャは、図１に例示される方法に従ってベースレイヤのピクチャを生成するために使用されるトリミングウィンドウのサイズ（ｗ’，ｈ’）で再構成される。この場合、サイズ（ｗ’，ｈ’）のトリミングウィンドウは、エンハンスメントレイヤのピクチャのコンテンツが対応するベースレイヤのピクチャのコンテンツと同一であるか又は少なくとも非常に近いように、エンハンスメントレイヤのピクチャに位置される。特定の実施の形態では、時間T2でのエンハンスメントレイヤのピクチャに関連するトリミングウィンドウの位置及びサイズは、これらが送信されるマルチレイヤストリームから復号化される。これは、特に、マルチレイヤストリームが、SVCビデオ符号化規格に準拠するスケーラブルストリームである場合に当てはまる。このように再構成されたエンハンスメントレイヤのピクチャは、ベースレイヤのピクチャのサイズ（ｗ，ｈ）でサブサンプリングされる。

エンハンスメントレイヤの後続するピクチャは、サイズ（ｗ’＋ｄｗ，ｈ’＋ｄｈ）で再構成され、サイズ（ｗ＋ｄｗ，ｈ＋ｄｈ）でサブサンプリングされる。本方法は、エンハンスメントレイヤのピクチャのサイズ（Ｈ，Ｗ）に到達するまで、トリミングウィンドウ及びサブサンプリングピクチャのサイズを増加させることで、それぞれ再構成されたエンハンスメントレイヤのピクチャに繰り返される。従って、ベースレイヤのピクチャと、エンハンスメントレイヤのピクチャとの間の更なるピクチャのコンテンツは、時間T2でベースレイヤのピクチャの表示からエンハンスメントレイヤのピクチャの表示までにダイレクトな変化が存在する場合に、突然追加される代わりに、T2とT3との間の期間を通して段階的に追加される。同様に、ベースレイヤのピクチャとエンハンスメントレイヤのピクチャとの間で表示されるピクチャの品質は、時間T2でベースレイヤのピクチャの表示からエンハンスメントレイヤのピクチャの表示までにダイレクトな変化が存在する場合に、突然の変化の代わりに、T2とT3との間の期間を通して段階的に増加する。

ステップ１５０で、エンハンスメントレイヤの処理されたピクチャが表示される。このステップは、表示装置の解像度にするために、処理されたエンハンスメントレイヤのピクチャの空間フィルタリングを必要とする。これは、特に、処理されたエンハンスメントレイヤのピクチャが表示されるスクリーンの解像度よりも低い解像度を処理されたエンハンスメントレイヤのピクチャが有する場合が当てはまる。この特別の場合、再構成されたエンハンスメントレイヤのピクチャは、表示の前にアップサンプリングされる。

これら最後の２つの実施の形態は、ベースレイヤのピクチャのコンテンツとエンハンスメントレイヤのピクチャのコンテンツとが異なるとき、特にベースレイヤのピクチャがエンハンスメントレイヤのピクチャの一部のみから生成されるときに使用され、係る一部は、図１で例示されたトリミングウィンドウによりエンハンスメントレイヤのピクチャで境界が設定される。

第四の実施の形態は、図７を参照して記載される。
ステップ１００で、ベースレイヤは、（図３における時間T1に対応する）そのランダムアクセスポイントのうちの１つから、少なくとも（図３における時間T2に対応する）エンハンスメントレイヤのランダムアクセスポイントの復号化まで、ベースレイヤのピクチャを再構成するために復号化される。

ステップ１１０で、再構成されたベースレイヤのピクチャが表示される。このステップは、表示装置の解像度にするため、ベースレイヤのピクチャの空間フィルタリングを必要とする。これは、特に、ベースレイヤのピクチャが７２０ｐフォーマットであって、１０８０ｐ高精細（HD）フォーマットでスクリーンに表示される場合に当てはまる。この特別の場合、ベースレイヤのピクチャは、表示の前にアップサンプリングされる。

ステップ１２０で、エンハンスメントレイヤのランダムアクセスポイントが復号化される場合、本方法は、ステップ１３０に進み、さもなければ本方法はステップ１００に戻る。

ステップ１３０で、エンハンスメントレイヤは、（図３における時間T2に対応する）ランダムアクセスポイントから復号化され、エンハンスメントレイヤのピクチャが再構成される。

ステップ１４０で、エンハンスメントレイヤのピクチャが処理される。エンハンスメントレイヤのピクチャは、たとえば５００ｍｓといった予め定義された期間を通して段階的にフィルタリングされる。図２では、段階的な処理は、時間T2と時間T3との間で実行される。時間T2は、エンハンスメントレイヤの第一のランダムアクセスポイントの復号化に対応する。時間T3は、エンハンスメントレイヤの別のランダムアクセスポイントの復号化に対応するが、係るランダムアクセスポイントには対応しない。時間T3は、T2に関して、エンハンスメントレイヤのピクチャの処理時間を定義し、従って時間T2の前又はおそらく時間T2でベースレイヤのピクチャの表示と、時間T3の後又はおそらく時間T3でのエンハンスメントレイヤのピクチャの表示との間の段階的な遷移の時間を定義する。このステップ１４０は、エンハンスメントレイヤのランダムアクセスポイントの時間T2で又は時間T2の前でのベースレイヤのピクチャと、時間T3での又は時間T3の後のエンハンスメントレイヤのピクチャとの間での表示が段階的に行われるのを可能にする。従って、時間T2で再構成された第一のエンハンスメントレイヤのピクチャは、ベースレイヤのピクチャの品質に近い品質を得るようにフィルタリングされる。このフィルタリングは、解像度（Ｗ，Ｈ）でのアップサンプリングにより後続される任意の低解像度（ｗ’’，ｈ’’）でのサブサンプリングにより実行される。

エンハンスメントレイヤの後続するピクチャは、ベースレイヤのピクチャの品質と、エンハンスメントレイヤのピクチャの品質との間の中間の品質を得るようにフィルタリングされる。このフィルタリングは、解像度（Ｗ，Ｈ）でのアップサンプリングにより後続される低解像度（ｗ’’＋ｄｗ’’，ｈ’’＋ｄｗ’’）でのサブサンプリングにより実行される。本方法は、エンハンスメントレイヤのピクチャの品質に到達するまで、フィルタリングされたピクチャの品質を増加することで再構成されるエンハンスメントレイヤのそれぞれのピクチャに繰り返される。従って、ベースレイヤのピクチャとエンハンスメントレイヤのピクチャとの間のピクチャの品質は、時間T2でベースレイヤのピクチャの表示からエンハンスメントレイヤのピクチャの表示までダイレクトな変化が存在する場合に、突然に改善される代わりに、T2とT3との間の期間を通して段階的に改善される。

本実施の形態は、ベースレイヤのピクチャとエンハンスメントレイヤのピクチャとが同じ解像度を有するとき、すなわち（ｗ，ｈ）＝（Ｗ，Ｈ）であるときであって、オリジナルの系列（ソース系列）のピクチャと比較してベースレイヤのピクチャの品質／忠実度がエンハンスメントレイヤのピクチャの品質／忠実度よりも低いときに選択的に使用される。T2とT3との間の遷移の期間におけるエンハンスメントレイヤのピクチャの段階的な処理は、処理されたピクチャの品質が、時間T2の前又は時間T2でのベースレイヤのピクチャの品質と、時間T3での又は時間T3後のエンハンスメントレイヤのピクチャの品質との間で段階的に増加するように実行される。

これら４つの実施の形態は、ディスプレイでの視覚的な快適さが改善されるのを可能にする。確かに、ベースレイヤのピクチャの表示とエンハンスメントレイヤのピクチャの表示との間の遷移は、コンテンツ及び／品質の観点、すなわちソース系列ピクチャに対する忠実度の観点で段階的である。なお、これら４つの実施の形態について、対応するベースレイヤのピクチャ、又は処理されたエンハンスメントレイヤのピクチャの何れかを時間T2で表示することが可能である。同様に、処理されたエンハンスメントレイヤのピクチャ又はエンハンスメントレイヤの対応するピクチャを時間T3で表示することもできる。

本発明に係る方法は、ユーザが第一の系列の表示から第二の系列の表示に変えることを望む場合に、視覚的な観点から表示を改善するために使用される。従って、図８及び図９を参照して、ユーザは、ステップ７０で、マルチレイヤ形式で表される、ピクチャの系列Ａの表示からピクチャの系列Ｂの表示に変えることを望むことを示す。

ステップ８０で、ランダムアクセスポイントがベースレイヤで復号化される場合、本方法はステップ１００に進み、さもなければステップ９０に進む。

ステップ９０で、予め定義されたピクチャは、ベースレイヤのランダムアクセスポイントが復号化されない限り、スクリーンに表示される。ステップ１００〜１５０は、上述された実施の形態のうちの１つを参照して先に記載されたステップ１００〜１５０と同じであり、更に記載されない。予め定義されたピクチャは、ブラック画像、又はたとえばユーザが系列を変えることを示す信号の受信の前に表示された系列Ａの最後のピクチャである。

本発明は、図１０を参照して表される表示装置２０に関する。表示装置２０は、ピクチャの系列seqA，seqB及びseqCを受信可能な入力２００を有する。この入力で、表示装置は、どのピクチャ系列をユーザは表示したいかを示す信号sigを受信可能である。表示装置２０は、入力２００に接続され、ベースレイヤのピクチャ及びエンハンスメントレイヤのピクチャを再構成するためにマルチレイヤストリームを復号化する復号化モジュールを更に備える。特に、復号化モジュール２１０は、本発明の実施の形態のうちの１つに従う方法のステップ１００，１２０及び１３０を実現する。表示装置は、復号化モジュール２１０に接続され、本発明の実施の形態のうちの１つに従う方法のステップ１４０に従い、表示の前にエンハンスメントレイヤのピクチャを処理可能な処理モジュール２２０を備える。処理モジュール２２０は、ディスプレイモジュール２３０のスクリーンにベースレイヤのピクチャとエンハンスメントレイヤのピクチャとを表示する表示モジュール２３０に接続される。表示モジュール２３０は、必要に応じて、スクリーンのサイズに、処理モジュール２２０から受信されたピクチャのサイズを適合させるために、該ピクチャに空間フィルタリングを施す。一般に、表示モジュール２３０は、処理モジュール２２０から受信されたピクチャのアップサンプリングを実行する。

Claims (3)

1. ベースレイヤのピクチャと呼ばれる、第一の解像度及び／又は第一の品質でのピクチャ系列のピクチャを表すベースレイヤと、エンハンスメントレイヤのピクチャと呼ばれる、第二の解像度及び／又は第二の品質での前記ピクチャ系列のピクチャを表す少なくとも１つのエンハンスメントレイヤとを含むマルチレイヤストリームの形式で到来する前記ピクチャ系列を表示する方法であって、前記ベースレイヤ及び前記エンハンスメントレイヤは、ランダムアクセスポイントを含み、
   当該方法は、
   少なくとも前記エンハンスメントレイヤのランダムアクセスポイントの復号化まで、前記ベースレイヤのランダムアクセスポイントからベースレイヤのピクチャを復号化し、復号化されたベースレイヤのピクチャを再構成するステップと、
   再構成されたベースレイヤのピクチャを表示するステップと、
   前記エンハンスメントレイヤの前記ランダムアクセスポイントから、前記エンハンスメントレイヤのピクチャを復号化し、復号化されたエンハンスメントレイヤのピクチャを再構成するステップと、
   再構成されたエンハンスメントレイヤのピクチャを表示するステップとを含み、
   当該方法は、トリミングウィンドウにより前記エンハンスメントレイヤの画像を、該画像の表示の前に構成し直すステップを更に含み、
   前記トリミングウィンドウのサイズは、前記ベースレイヤのピクチャに関連するトリミングウィンドウのサイズと前記エンハンスメントレイヤのピクチャのサイズとの間で一期間を通して段階的に増加し、前記一期間の開始は、前記エンハンスメントレイヤのランダムアクセスポイントである、
   ことを特徴とする方法。
2. 前記処理ステップは、サブサンプリングステップを更に含む、
   請求項１記載の方法。
3. ベースレイヤのピクチャと呼ばれる、第一の解像度及び／又は第一の品質でのピクチャ系列のピクチャを表すベースレイヤと、エンハンスメントレイヤのピクチャと呼ばれる、第二の解像度及び／又は第二の品質での前記ピクチャ系列のピクチャを表す少なくとも１つのエンハンスメントレイヤとを含むマルチレイヤストリームの形式で到来する前記ピクチャ系列を表示する表示装置であって、前記ベースレイヤ及び前記エンハンスメントレイヤは、ランダムアクセスポイントを含み、
   当該装置は、
   少なくとも前記エンハンスメントレイヤのランダムアクセスポイントの復号化まで、前記ベースレイヤのランダムアクセスポイントからベースレイヤのピクチャを復号化して、復号化されたベースレイヤのピクチャを再構成し、エンハンスメントレイヤの前記ランダムアクセスポイントからエンハンスメントレイヤのピクチャを復号化して、復号化されたエンハンスメントレイヤのピクチャを再構成する復号化モジュールと、
   前記再構成されたベースレイヤのピクチャと、前記再構成されたエンハンスメントレイヤのピクチャを表示する表示モジュールとを備え、
   当該装置は、トリミングウィンドウにより前記エンハンスメントレイヤの画像を、前記表示モジュールによる該画像の表示の前に構成し直す処理モジュールを更に含み、
   前記トリミングウィンドウのサイズは、前記ベースレイヤのピクチャに関連するトリミングウィンドウのサイズと前記エンハンスメントレイヤのピクチャのサイズとの間で一期間を通して段階的に増加し、前記一期間の開始は、前記エンハンスメントレイヤのランダムアクセスポイントである、
   ことを特徴とする装置。

Images