JP2018511966A - 視聴体験とシステム制約に基づくコーディングパラメタの適合化 - Google Patents

Abstract

可変デコーダパラメータから選択されたデコーダパラメータに基づいてビデオを復号するように構成されたビデオデコーダは、センサデータに基づいてユーザ視聴体験を推定するように構成された推定器を備え、かつ、デコーダパラメータを用いる際に制約を分析するように構成された制約分析器を備える。このビデオデコーダは、推定器および制約分析器に結合される、可変デコーダパラメータから前記デコーダパラメータを選択するように構成された選択器をさらに備える。

Description

本発明は、ビデオデコーダ、ビデオエンコーダおよびビデオシステムに関する。本発明はさらに、ビデオを復号するための方法に関する。

ビデオ復号は今日、できる限り良好に原ソースを再現するように試みる。これは、視聴条件が、映像を記録／編集する際に思い描かれた予想されるシナリオと合致するという想定のもとに行われる。一般的な想定は、平均的な大きさのテレビから「通常の」距離に平均的な能力の視聴者が居る平均的な明るさの部屋を含む。これが平均的な使用シナリオに合うものではあるが、多くの使用事例にとって（圧縮、ユーザ体験、複雑性の観点から）最適であるとは言えない。

既存の解決策は平均的にどんな場合にも合うような解決策を提供するものであり、ここでは、コンテンツ作成者が視聴条件を想定し、この想定に合致するようにコンテンツを作成する。

現代のテレビは、ユーザが特定の視聴プロファイルを手動で選択できるようにすることによって、小規模ではあるが適合可能性を提供するものである。これは、特定の画像処理プロファイルを機能させて、何らかの方法（たとえば、コンテンツのダイナミックレンジを高めようとする「映画」プロファイルなど）で、視聴体験を充実させるものである。この適合は有用であり得るが、ユーザ体験を（わずかに）充実させることに限定され、かつ、手動で構成されることを要する。さらに、これは視聴コンテキストのごく一部分、すなわち視聴デバイス自体に適合するのみである。加えて、これらの後処理ステップは、いかなる先行するコーディングステップおよび構成も考慮に入れず、それゆえ、次善の性能を提供するものである。

スケーラブルビデオの分野では、他の適合メカニズムが一般的である。ビデオの質を向上／低下させるため、帯域幅を犠牲にして、コーデックにおいて異なるレイヤを利用することができる。これらのレイヤの選択は、帯域幅に対して（かつ、暗黙的にはビデオのフリーズの回数を制限することによってユーザ体験に対して）最適化するために、ネットワークによって構成される。他のシステムは、エンドユーザが適切なレイヤを手動で選択できるようにする。ネットワークがネットワーク利用に基づくシステムを構成するか、または、ユーザがコーデックを自身によって手動で構成する必要がある。

本発明の目的は、より最適な方法でユーザにビデオを提供することである。

この目的のために、本発明は、センサデータに基づいてユーザ視聴体験を推定するように構成された推定器を備え、かつ、デコーダパラメータを用いる際に制約を分析するように構成された制約分析器を備える、可変デコーダパラメータから選択されたデコーダパラメータに基づいてビデオを復号するように構成されたビデオデコーダを提供し、このビデオデコーダは、推定器および制約分析器に結合される、可変デコーダパラメータからデコーダパラメータを選択するように構成された選択器をさらに備える。

本発明は、環境がユーザ視聴体験に異なる方法で影響を及ぼす、異なるタイプの環境にユーザが存在し得るという洞察に基づいている。下記に、例が記述される。直接的または間接的にセンサデータに基づいてユーザ視聴体験を測定することによって、可変デコーダパラメータからデコーダパラメータが選択され得る。本発明のビデオデコーダはさらに、デコーダパラメータを用いる際に制約を分析する。これらの要素の組合せは、可変デコーダパラメータから最適なデコーダパラメータを選択できるようにし、ここで、ユーザ視聴体験および制約が考慮される。このことは、ユーザ視聴体験の低下を限定しながらより少ない労力でビデオを復号することができるデコーダパラメータの選択を可能にする。

本発明は、より柔軟な解決策が提供され得るように、圧縮、複雑性またはユーザ体験の観点から潜在的利益を考慮に入れる。それによって、本発明は、エンドユーザコンテキストに基づくコーデック機能の自動構成という解決策を提案する。本発明は、エンドユーザコンテキストに基づいて利用可能なコーデックパラメータを自動的に適合させることを可能にする。視聴条件は急に変化することがあり（たとえば、移動中にコンテンツを視聴するときなど）、本発明は、復号パラメータの適合がこれらの条件に合致できるようにする。

選択器は、所定規則のセットに従ってユーザ視聴体験と制約が均衡されるようにデコーダパラメータを選択するように構成されることが好ましい。それによって、所定規則のセットは、選好およびメカニズムを符号化して、最適なデコーダパラメータを選択できるようにすることができる。

選択器は、選択されたデコーダパラメータをコーデックパラメータに変換するように構成されることが好ましく、ここで、ビデオデコーダは、コーデックパラメータをビデオエンコーダに送信するための通信モジュールをさらに備える。このようにして、エンコーダもまた、デコーダにおいてなされた選択によって統合され、かつ影響を受ける。その結果、デコーダに関連する制約のみならず、エンコーダに関連する制約、および帯域幅のようなネットワーク伝送制約も、デコーダパラメータを選択する際に考慮され得る。

これらの制約は、計算要件、メモリ使用量、バッテリ使用および帯域幅使用の１つまたは複数を含むことが好ましい。これらの制約は分析され得、デコーダパラメータはユーザ視聴体験に照らしてこれらの制約を最適化するように選択され得る。それによって、デコーダパラメータを選択するための規則は、たとえば、バッテリ不足である場合には、バッテリ使用を最小限に抑えるようにデコーダパラメータが選択されることを確実にする規則を含むことができる。

センサデータは環境パラメータを測定するように構成されることが好ましく、ここで、ユーザ視聴体験は、環境パラメータとユーザ視聴体験との所定の相関関係に基づいて推定される。このようにして、センサデータはユーザ視聴体験を推定するために間接的に提供される。所定の相関関係は、たとえば、テストおよびシミュレーションデータに基づいて構築されたデータベースに記憶されてよい。

センサデータは心拍数および／または視線などのユーザ条件を測定するように構成されることが好ましく、ここで、ユーザ視聴体験はユーザ条件の所定の解釈に基づいて推定される。今日では、センサは、ユーザ条件を測定することができる、より一層進歩したものである。将来的には、神経センサがユーザの神経活動を測定し得る。心拍数および視線のようなセンサは、既に市場で入手可能である。これらのユーザ条件センサに基づいて、ユーザ視聴体験は所定の解釈に基づいて推定され得る。このようにして、センサデータは、デコーダパラメータの変更がユーザ視聴体験に及ぼす影響を自動的直接的に測定することができる。このことは、デコーダパラメータの最適化を可能にする。

ビデオデコーダは、デコーダパラメータを変更しながらユーザ視聴体験の変化が観察されるように、センサデータが収集されながらデコーダパラメータが変更されるテストループを含むことが好ましい。このテストループは定期的に実行されるように構成され、デコーダパラメータの変更がユーザ視聴体験に及ぼす影響を測定することができるようにする。詳細には、たとえばユーザが疲れるなどユーザ条件が変化する場合、または環境パラメータが変化する場合、ユーザ視聴体験とデコーダパラメータの変更との相関関係は変化することがある。テストループを定期的に実行することによって、最適なデコーダパラメータが選択され得、かつ、デコーダパラメータは視聴条件の変化に適合され得る。

本発明はさらに、本発明によるビデオデコーダからコーデックパラメータを受信するための通信モジュールを備える、符号化パラメータに基づいてビデオを符号化するように構成されたビデオエンコーダに関する。このビデオエンコーダは、ユーザ視聴体験と制約との間の所定の最適な均衡によることを意味する、より最適な方法でビデオを符号化することができる。

本発明はさらに、本発明によるビデオデコーダを備え、かつ本発明によるビデオエンコーダを備え、このビデオエンコーダがネットワーク機器を介してビデオデコーダと接続されるビデオシステムに関する。

本発明はさらに、デコーダパラメータに基づいてビデオを復号するための方法に関し、この方法は、
センサデータに基づいてユーザ視聴体験を推定するステップと、
デコーダパラメータを用いる際に制約を分析するステップと、
推定および分析ステップに基づいて可変デコーダパラメータからデコーダパラメータを選択するステップとを含む。

この方法によれば、復号パラメータはユーザ視聴体験および制約に基づいて選択され得る。利点および効果については、ビデオデコーダとの関連で上記において記述される。

選択するステップは、所定規則のセットに従って視聴体験と制約を均衡させるステップを含むことが好ましい。この方法は、デコーダパラメータをコーデックパラメータに変換するステップと、このコーデックパラメータをビデオエンコーダに送信するステップとをさらに含むことが好ましい。これらの特徴の利点および効果については、ビデオデコーダとの関連で上記において記述される。

本発明はさらに、本発明の方法を実行するための命令のマシン実行可能プログラムを符号化するデジタル記憶媒体に関する。本発明はさらに、プログラムがコンピュータ上で実行された場合、本発明の方法を実行するためのコンピュータ実行可能命令を含むコンピュータプログラム製品に関する。

ここで、本発明の実施形態による装置および／または方法のいくつかの実施形態について、単なる例として、添付の図面を参照して記述される。

本発明の一実施形態によるエンコーダおよびデコーダの一例を示す図である。 自動化された影響モデルを備える、本発明の一実施形態によるエンコーダおよびデコーダの一例を示す図である。

本発明の第１の実施形態は、ビデオデコーダを、好ましくはメタデータを含む、知覚された視聴条件およびコンテンツ自体に基づいて、利用可能なコーデックパラメータの変更が視聴体験に及ぼす影響の推定を可能にするシステムと結合することを含む。このことは、たとえば複雑性、ユーザ体験、帯域幅、視聴距離のような制約のセットに従ったこれらのパラメータの最適化をさらに可能にする。上位レベルからすると、いくつかのセンサがデコーダ側に配置され、これらは視聴コンテキストを推定するために用いられる。視聴コンテキストは光条件、視聴者の疲労、視線、雑音などのうち１つまたは複数を含むことが好ましい。コンテキストが推定されると、前もって学習された影響モデル、および所与のコーデックモデルを考慮して最適なデコーダパラメータが決定され得る。影響モデルは、知覚スコアλに関して、視聴条件、コーデックパラメータ、および任意選択的にコンテンツパラメータがどのように相互に関連し合うのかについて示す。コーデックモデルは、コーデックパラメータを、計算要件、メモリ使用量、バッテリ影響および帯域幅などのシステムに関連する性能基準のセットに変換する。それによって、下記に記述されるように、帯域幅はビデオエンコーダもまた影響を受けるさらなる実施形態に関連するにすぎないことが留意される。

図１は、本発明の一実施形態を示す。生のセンサデータＳ（ｓ１、ｓ２、．．．、ｓｎ）は、センサ変換器１１によってセンサ非依存バージョンＶに変換されることが好ましい。センサ非依存データＶは、生のセンサデータＳの抽象バージョンである。この変換が好ましいのは、そうでなければ、新しいタイプのセンサが現れたときに新しい影響モデルを訓練することが必要とされ、または、本質的に同一量を測定するセンサが異なるタイプの生の情報を出力する可能性があるからである。このステップを実行することによって、システムの残りの部分から実際の生のセンサを分離することができる。センサモデル１０はこれを容易にし、この目的のために、Ｓｅ（Ｓ）＝Ｖを行うファンクションＳｅが生成される。このモデル１０は、システムによって新しいセンサがサポートされ、一方システムの残りの部分は影響を受けない場合に、更新される。このセンサ非依存データに基づいて、視聴コンテキストが得られる。その結果、視聴コンテキストもまた、それがセンサデータＶに直接的に関連するので、基準Ｖが割り当てられる。

影響モデル１２は、変更を加えることが、特定の視聴コンテキストＶに関するデコーダパラメータＰ、および任意選択的に特定のコンテンツパラメータＣに及ぼす知覚的影響を決定する。コンテンツパラメータＣは、たとえば、時点ｔ−１における場面の統計を表し、さまざまなレベルの詳細を含むことができる。一例として、低レベルのパラメータは平均的な輝度（明るい／暗い）のようなものであり、中間レベルのパラメータはある場面における平均的な動きのようなものを含んでよく、一方、高レベルのパラメータはたとえば人や自然など、その場面における対象のタイプに関する情報を含むことができる。コンテンツパラメータＣは、さらなるレベルの適合を可能にする。たとえばアクション映画の場合、動きの速い場面での時間的な不明瞭化という理由から、フレーム品質を向上させる影響はロマンチック映画の場合に比べて小さいであろう。

影響モデル１２は、ファンクションＩで表される。Ｉ（Ｖ、Ｐ、Ｃ）は、所与の視聴コンテキストＶ、コンテンツ分析器１５によって決定されるコンテンツパラメータＣ、およびデコーダパラメータＰについて知覚スコアλを返す。ベクトルＶ、ＣおよびＰは、選択されたタイムスケールにおける差分情報も含むのが好ましいことに留意されたく、たとえば、ｖ１は１つまたは複数の関連したΔｖ１、ｔｓも有することができる。この差分情報は、システムが絶対値についてのみならず数値の変化も推測できるようにする。

影響モデル１２は、所定規則のセットに基づいてユーザ体験影響Ｉを決定する。それによって、センサデータＶは、ユーザコンテキストを所定規則のセット内で予め定義されたユーザコンテキストと比較して、対応するユーザ体験影響Ｉを抽出するために用いられる。別法として、影響モデル１２はセンサデータＶ自体に基づいてユーザ体験影響Ｉを決定し、ここで、ユーザ体験はセンサによって直接的または間接的に測定される。それによって、所定のユーザ体験のテストループは、少なくとも定期的に実行されて、デコーダパラメータＰを変更しつつユーザ体験影響をテストする。このようなテストループを用いることで、ユーザ体験影響Ｉはリアルタイムまたは少なくとも準リアルタイムで測定可能である。影響モデル１２の構築については、下記においてより詳細に記述される。

制約分析器１３とも呼ばれるコーデックモデル１３は、デコーダパラメータＰの変更がシステム制約Ｍに及ぼす影響を決定する。デコーダに対する計算要件、メモリ使用量およびバッテリなどの測定基準はこのような制約の例である。コーデックモデル１３は、デコーダパラメータの変更の非知覚的影響を決定するためにシステムによって用いられる。たとえば携帯デバイス上でバッテリの消耗が抑えられる必要がある場合、制約分析器１３はこの調整を行うためにどのデコーダパラメータを変更するかを決定する。

影響モデル１２およびコーデックモデル１３とともにセンサ情報Ｓが、最適なデコーダパラメータＰを選択するために選択器１４によって用いられる。携帯デバイス上でバッテリ寿命を節約する例を挙げると、選択器１４はセンサデータＶに基づいて視聴条件を考慮し、バッテリ性能を最大限に活用しつつ知覚品質の低下を抑えるデコーダパラメータＰを決定する。それをさらに一歩進めると、一例において、選択器１４は、特定の特徴を、通常はこれらを正確に示さない視聴条件において、強調することによって知覚品質を向上させることができるであろう。たとえば日光が非常に明るい中で視聴される携帯タブレットの場合、デコーダパラメータのセットの一部であるならば、システムは、細粒度の詳細を取り除きつつ、その場面における対象の縁のコントラストを上げることができる。

一例において、デコーダ１は、エンコーダ２へのバックワードリンク４によらずにフォワードリンク３によってのみで程度の差はあれ独立した方法で動作し、結果として、最適化は複雑性およびユーザ体験を最適化することに限定される。このような例では、帯域幅、とりわけフォワードリンク３の帯域幅は影響を受け得ない。このシナリオは、マルチキャスト向けである。バックワードリンク４がエンコーダ２に対して提供され、かつエンコーダが影響を受け得るさらなる例は、次に考察されるとおりである。

前述の例は、デコーダのみが選択されたパラメータによって影響を受けることを想定した。このことは、エンコーダ２とデコーダ１との間に厳密に一方向の通信経路がある既存のコーデックに関する一般的なシナリオである。しかしながら将来、ビデオ伝送セッション３の間にデコーダ１がエンコーダ２と通信できるようになる可能性は十分にある。このことは、充実したコンテンツ５の相互作用に関して、またはさらには改善された圧縮性能に関して、複雑性をデコーダおよび／またはネットワークに移すことによってエンコーダ２の側での複雑性が改善されることを理由として行われ得る。このようなシナリオでは、推定される視聴コンテキストおよびコンテンツにとって最適なコーデックパラメータをエンコーダ２に伝えるのにも非常に有用である。そのようにして、エンコーダ２は、ユーザ体験および複雑性のみならず帯域幅も最適化するために制御され得る。この例では、選択された最適なパラメータは、デコーダ２だけでなくコーデック６全体にも影響を及ぼす。さらに、エンコーダ２に至る矢印４は「コーデック」ボックス６を通過し、これは、この情報がエンコーダによって定められるチャネル内（帯域内）に送信されるであろうということを意味することに留意されたい。これは必須ではないが、しかしながら、同期およびネットワーク横断に関する潜在的問題を減じるものである（たとえばファイアウォールなど）。

提示された形態においては、１つのレシーバ／デコーダ１はエンコーダ２からの特定の適合を必要とするため、この例はマルチキャストについて最適化されたものではないことに留意されたい。このことは、ビデオ消費はブロードキャストからユニキャストへ徐々に移行するものと思われるので必ずしも問題ではないが、それでもなお、「最適な」コーデックパラメータが複数のユーザ／デコーダ１に対して集められる「ハイブリッドキャスト」システムを構築する可能性があり、ここでは、クラウドにおいてユーザグループは類似のコンテキストを有すると予想され、特定のエンコーダ２のみがユーザのグループごとに必要とされる。

さらに、前処理ステップにおいて先ず一般的動作が実行され、実際の符号化ステップにおいて個人化され得る動作が実行される、段階的なエンコーダ２が用いられることがある。これを図１上にマッピングすると、コンテンツ記憶装置５は実際には前処理されたストリームを包含するであろうし、エンコーダ２はこの前処理された情報を用いて最終のコーディングおよび適合ステップを行う。このように、ユーザ／ユーザグループごとに完全ではないエンコーダが必要とされる。

影響モデル１２の例について、より詳細に記述される。しかしながら、この影響モデル１２は、特定の視聴コンテキストＶ、コーデックパラメータのセットＰおよびコンテンツのタイプＣについて、視聴体験に及ぼす影響が何かを決定するものであるので、簡単なモデルではない。このように、この影響モデル１２は何らかの方法で構築される。一例では、これは手動で行われ、関連する研究から得られる発見的方法を用いる。別の例では、メカニズムは、たとえばさまざまな自由度を与えること、パラメータのセットインスタンスごとにユーザ体験を測定することができるシステムを用いることなどによって、影響モデル１２に自己学習を行わせるように実施される。

影響が手動で決定される影響モデル１２の第１の例では、視聴コンテキストＶがシミュレートされ、コンテンツ記憶装置５は代表的なコンテンツのセットを提供するために選択される。「影響を決定する（Ｄｅｔｅｒｍｉｎｅ ｉｍｐａｃｔ）」と呼ばれるモジュール（図示せず）が加えられて影響モデル１２と通信し、この加えられたモジュールは、特定のパラメータデルタが有するユーザ体験に及ぼす影響を測定し、またはこれをユーザから受信する役割を担う。

それによって、好ましくは異なるパラメータのセットでこれらのクリップ（ｃｌｉｐ）に示される代表的なテスト集団と、これらの観察者がその体験が良くなったか悪くなったかを示すための装置とを用いて、ユーザ体験は影響モデル１２に手動で入力される。この影響は次に複雑性および帯域幅に及ぼす潜在的影響と組み合わされ得、影響モデル１２に配置される。

影響モデル１２の別の実施形態では、ライブ（ｌｉｖｅ）評価システムが実施される。このようなライブ評価システムでは、センサＳによって特定の生理的反応が測定され、特定のパラメータのセットがユーザ体験に及ぼす影響を推定するために用いられる。たとえばウェアラブルデバイスの進歩に伴って、神経活動をライブ方法で監視することが可能になり、そのようにして、たとえば観察者がいつ注意を失うかを決定する。それゆえ、影響モデル１２は、近い将来さらに自動化され得、コーデックを最適化するためにユーザおよびユーザの習慣から学習するシステムを構築する可能性は十分にある。

影響モデル１２の一例が図２に示される。図２は上記に記述された要素を示し、さらにエンコーダ２に対する入力として機能する代表的なコンテンツ記憶装置１６を示す。ブロック１７においてどのように視聴コンテキストがエミュレートされるか、かつデコーダパラメータを介して反復するブロック１８に対する入力として用いられるかを示す。さらに、ブロック１９において影響が決定され、ブロック２０において影響モデルの更新が行われる。このようなメカニズムによって、影響モデル１２は更新され得る。

本発明は、消費者側のコンテキスト特性に基づくコーデックの的確な適合を可能にする。このコンテキストはこれらのコンテキストの変化の影響とともに推定され、これは、視聴体験、帯域幅および／または複雑性を最適化するために、コーデック特性を機能させるのに用いられる。

本発明は、これまで不可能であった多数の最適化を可能にする。このシステムを介して、光条件、注意持続時間、注視、顕著性などによる適合が可能である。このことは結果として、ユーザがシステムに適合しなければならないというよりも、システムがユーザに適合することを可能にし、それゆえビデオデータが消費される方法に重要な進歩をもたらす。

既存の解決策は、視聴者のコンテキストに従ってコーデックパラメータを自動的に適合させるものではない。本発明は、そのような自動化されたコーデック適合を可能にし、ユーザ体験に関してであれ、帯域幅の使用または複雑性に関してであれ、ビデオ配信システムを最適化することができる多数の使用シナリオを可能にする。

当業者であれば、さまざまな上述した方法のステップは、プログラム化されたコンピュータによって実行され得ることを容易に認識するであろう。本明細書において、いくつかの実施形態はまた、たとえばデジタルデータ記憶媒体など、プログラム記憶デバイスにも及ぶことが意図されており、このプログラム記憶デバイスとは、マシンまたはコンピュータ可読であり、マシン実行可能またはコンピュータ実行可能な命令のプログラムを符号化するものであって、前記命令が、前記上述した方法のステップの一部または全部を実行する。プログラム記憶デバイスは、たとえば、デジタルメモリ、磁気ディスクおよび磁気テープなどの磁気記憶媒体、ハードドライブ、または光学的に可読なデジタルデータ記憶媒体であってよい。実施形態はまた、上述した方法の前記ステップを実行するようにプログラム化されたコンピュータにも及ぶことが意図されている。

本記述および図面は、本発明の原理を例証するにすぎない。したがって、本明細書において明示的に記述または図示されていなくても、当業者であれば、本発明の原理を実施し、かつ本発明の趣旨および範囲に含まれるさまざまな構成を考案できるであろうことが認識されよう。さらに、本明細書で列挙されたすべての例は、主に、本発明の原理および当技術を進展させるために発明者により貢献された概念を読み手が理解する際の助けとなる教育上の目的のみであるということが明確に意図されており、これらの例は、そのような特定の列挙された例および条件に限定されることなく解釈されるべきである。さらに、本明細書において本発明の原理、態様および実施形態、ならびにそれらの特定の例を列挙するすべての記載は、それらの均等物を包含することが意図されている。

「プロセッサ」とラベル付けされた任意の機能ブロックを含む、図に示されるさまざまな要素の機能は、専用のハードウェアおよび適切なソフトウェアと関連付けられたソフトウェアを実行することができるハードウェアの使用を通じて提供されてよい。プロセッサにより提供される場合は、これらの機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、または、そのうちのいくつかが共有され得る複数の個別プロセッサによって提供されてよい。さらに、「プロセッサ」または「コントローラ」という用語を明示的に用いることは、ソフトウェアを実行することができるハードウェアを排他的に指すものと解釈されるべきでなく、限定的ではないが、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ネットワークプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ソフトウェアを記憶するための読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、および不揮発性記憶装置を暗黙的に含んでよい。従来のおよび／またはカスタムの他のハードウェアもまた含まれてよい。同様に、図に示されるいずれのスイッチも概念上のものにすぎない。このスイッチの機能は、プログラムロジックの動作によって、専用ロジックによって、プログラム制御と専用ロジックとの相互作用によって、または手動によってさえも実行されることがあり、特定の技術は、実施者によってコンテキストからより具体的に理解されるように選択可能である。

当業者には、本明細書におけるいずれのブロック図も本発明の原理を実施する例証的な回路の概念図を表すということを認識されたい。同様に、いずれのフローチャート、フローダイアグラム、状態遷移図、擬似コードなども、コンピュータ可読媒体において実質的に表され、かつ、そのようなコンピュータまたはプロセッサが明示的に示されているかどうかに関わらずコンピュータまたはプロセッサによってそのように実行され得るさまざまなプロセスを表すことが認識されるであろう。

Claims (14)

1. センサデータに基づいてユーザ視聴体験を推定するように構成された推定器を備え、かつ、デコーダパラメータを用いる際に制約を分析するように構成された制約分析器を備える、可変デコーダパラメータから選択されたデコーダパラメータに基づいてビデオを復号するように構成されたビデオデコーダであって、推定器および制約分析器に結合される、可変デコーダパラメータから前記デコーダパラメータを選択するように構成された選択器をさらに備える、ビデオデコーダ。
2. 選択器が所定規則のセットに従ってユーザ視聴体験と制約が均衡されるようにデコーダパラメータを選択するように構成された、請求項１に記載のビデオデコーダ。
3. 選択器が選択されたデコーダパラメータをコーデックパラメータに変換するように構成され、ビデオデコーダがコーデックパラメータをビデオエンコーダに送信するための通信モジュールをさらに備える、請求項１または２に記載のビデオデコーダ。
4. 制約が、計算要件、メモリ使用量、バッテリ使用および帯域幅使用の１つまたは複数を含む、請求項１から３のいずれか一項に記載のビデオデコーダ。
5. センサデータが環境パラメータを測定するように構成され、ユーザ視聴体験が環境パラメータとユーザ視聴体験との所定の相関関係に基づいて推定される、請求項１から４のいずれか一項に記載のビデオデコーダ。
6. センサデータが心拍数および／または視線などのユーザ条件を測定するように構成され、ユーザ視聴体験がユーザ条件の所定の解釈に基づいて推定される、請求項１から４のいずれか一項に記載のビデオデコーダ。
7. デコーダパラメータを変更しながらユーザ視聴体験の変化が観察されるように、センサデータが収集されながらデコーダパラメータが変更されるテストループを含み、請求項６に記載のビデオデコーダ。
8. 請求項１から７のいずれか一項に記載のビデオデコーダからコーデックパラメータを受信するための通信モジュールを備える、コーデックパラメータに基づいてビデオを符号化するように構成された、ビデオエンコーダ。
9. 請求項１から７のいずれか一項に記載のビデオデコーダを備え、かつ請求項８に記載のビデオエンコーダを備え、ビデオエンコーダがネットワーク機器を介して前記ビデオデコーダと接続される、ビデオシステム。
10. デコーダパラメータに基づいてビデオを復号するための方法であって、
    − センサデータに基づいてユーザ視聴体験を推定するステップと、
    − デコーダパラメータを用いる際に制約を分析するステップと、
    − 前記推定および前記分析に基づいて可変デコーダパラメータから前記デコーダパラメータを選択するステップとを含む、ビデオを復号するための方法。
11. 前記選択するステップが、所定規則のセットに従ってユーザ視聴体験と制約を均衡させるステップを含む、請求項１０に記載の方法。
12. 方法が、前記デコーダパラメータをコーデックパラメータに変換するステップと、前記コーデックパラメータをビデオエンコーダに送信するステップとをさらに含む、請求項１０または１１に記載の方法。
13. 実行されたときに、データ処理装置に請求項１０から１２のいずれか一項に記載の方法のステップを実行させる命令を含む、コンピュータ可読記憶媒体。
14. 実行されたときに、データ処理装置に請求項１０から１２のいずれか一項に記載の方法のステップを実行させる命令を含む、コンピュータプログラム製品。

Images