JP2012120199A - デコーダ側の関心領域ビデオ処理 - Google Patents

Abstract

【課題】デコーダ側の関心領域（ＲＯＩ）ビデオ処理に関する。
【解決手段】ビデオデコーダは、ＲＯＩ支援情報が利用可能であるかどうかを決定する。利用可能でない場合、デコーダは、デコーダ側のＲＯＩ処理をデフォルトにする。デコーダ側のＲＯＩ処理は、ビットストリームドメインにおけるＲＯＩ抽出の信頼性を推定してもよい。ＲＯＩの信頼性が良好である場合、デコーダはビットストリームドメインのＲＯＩ抽出を適用する。ＲＯＩの信頼性が良好でない場合、デコーダは画素ドメインのＲＯＩ抽出を適用する。デコーダは、イントラコード化（Ｉ）データとインターコード化（ＰまたはＢ）データとに対して異なるＲＯＩ抽出のプロセスを適用してもよい。デコーダはイントラコード化データに対して色ベースのＲＯＩ発生を、インターコード化データに対してコード化ブロックパターン（ＣＢＰ）ベースのＲＯＩ発生を使用してもよい。
【選択図】図１

Description

本開示は、デジタルビデオデコーディングに関し、より詳細には、ビデオフレームの関心領域（ＲＯＩ）部分を識別し、処理する技術に関する。

背景

デジタルビデオ機能は、デジタルテレビ、デジタル直接放送システム、ワイヤレス通信デバイス、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、デスクトップコンピュータ、デジタル音楽およびビデオプレイヤー、ハンドヘルドゲームデバイス、ビデオゲームコンソール、デジタルカメラ、デジタル記録デバイス、セルラまたは衛星ラジオ電話機、ならびにこれらに類似するものを含む、幅広い範囲のデバイスに組み込むことができる。帯域幅の効率の増加により、デジタルビデオデバイスは、ビデオシーケンスを処理および送信する際に従来のアナログビデオシステムと比較して著しい向上を提供できる。

異なるビデオエンコーディングの規格が、デジタルビデオシーケンスをエンコード化するために確立されている。例えば、動画像コード化専門家グループ（ＭＰＥＧ）は、ＭＰＥＧ−１、ＭＰＥＧ−２、およびＭＰＥＧ−４を含む多数の規格を開発している。他の例は、国際電気通信連合（ＩＴＵ）−Ｔ Ｈ．２６３規格と、ＩＴＵ−Ｔ Ｈ．２６４規格およびそれに対応する、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４パート１０すなわちＡｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）とを含む。これらのビデオエンコーディングの規格は、圧縮される方法でデータをエンコード化することにより、ビデオシーケンスの送信効率の向上をサポートする。

ＲＯＩコンテンツの検出は、ビデオイベントの解析および編集と、ビデオの検索およびブラウジングと、ビデオ監視と、ビデオ電話通信と、ビデオ放送とを含む、さまざまなビデオアプリケーションにおいて望まれるかもしれない。ビデオシーン内の他のオブジェクトが重要であるかもしれないが、ＲＯＩの１つの例は人間の顔である。テレビ会議において、例えば、ＲＯＩは、参加者の顔の表情またはホワイトボード上の図を与えてもよい。優先のエンコーディングを使用して、ＲＯＩは、他の非ＲＯＩエリアに対してより大きい鮮明度および詳細とともに与えられるかもしれない。

概要

本開示は、デコーダ側のＲＯＩビデオ処理に向けられている。例えば、エンコード化されたビットストリーム中の信号またはコードを検出すること、エンコード化されたビットストリームの特性を検出すること、または、帯域外サイド情報を検出すること、により、ビデオデコーダは、ＲＯＩ支援が利用可能であるかどうかを決定するように構成されていてもよい。例として、ＲＯＩ支援は、ＲＯＩを識別するＲＯＩマップを、または、ＲＯＩ内のクロマ値の範囲を識別するクロマしきい値情報を含んでいてもよい。

ＲＯＩ支援情報は、エンコーダにより提供してもよい。代わりに、ＲＯＩ支援情報は、ネットワーク内の、またはネットワークに結合されている、ネットワークデバイスのような、エンコーダとデコーダとの間の１つ以上の中間デバイスにより提供してもよい。ＲＯＩ支援情報が利用可能である場合、ビデオデコーダは支援型ＲＯＩ処理技術を使用して、優先の、デコーディング、後処理、および／または誤り隠蔽を、ＲＯＩおよび／またはビデオフレームの非ＲＯＩエリアに適用してもよい。エンコーダＲＯＩ支援が利用可能でない場合、ビデオデコーダは、デコーダ側のＲＯＩ処理技術をデフォルトにしてもよい。

デコーダ側のＲＯＩ処理技術は、ビットストリームドメインにおけるＲＯＩ抽出の信頼性を推定する信頼性解析を適用してもよい。ＲＯＩの信頼性が良好である場合、デコーダは、ビデオフレームのデコーディングの前にビットストリームドメインのＲＯＩ抽出プロセスを適用してもよい。ＲＯＩの信頼性が良好でない場合、デコーダは、ビデオフレームのデコーディング後に画素ドメインのＲＯＩ抽出プロセスを適用してもよい。いずれのケースにおいても、優先の、デコーディング、後処理、および／または誤り隠蔽を、結果として生じるＲＯＩおよび／または非ＲＯＩのエリアに適用してもよい。

ビットストリームドメインのＲＯＩ抽出に対して、ビデオデコーダは、粗いＲＯＩを生成させる第１の段階を適用してもよい。第２の段階は、第１の段階からの粗いＲＯＩをさらに正確にして、上質なＲＯＩを生成させる。ビデオデコーダは、イントラコード化された（Ｉ）またはインターコード化された（ＰまたはＢ）ビデオデータに対して異なるＲＯＩ抽出プロセスを適用してもよい。例えば、ビデオデコーダは、イントラコード化データに対して色ベースのＲＯＩマスク発生器を使用し、インターコード化データに対してコード化ブロックパターン（ＣＢＰ）ベースのＲＯＩマスク発生器を使用してもよい。ＲＯＩの改善は、イントラコード化データに対して形状ベースのマスクリファインメントによって達成してもよく、インターコード化データに対して色ベースのマスクリファインメントによって達成してもよい。

１つの観点において、本開示は、関心領域（ＲＯＩ）識別を支援する情報が利用可能である場合に、第１のプロセスを適用して、エンコード化されたビデオデータ中のＲＯＩを識別することと、ＲＯＩ識別を支援する情報が利用可能でない場合に、第２のプロセスを適用して、エンコード化されたビデオデータ中のＲＯＩを識別することとを含む方法を提供する。

別の観点において、本開示は、エンコード化されたビデオデータのビットストリームドメインの解析を使用して、エンコード化されたビデオデータの１つ以上の特性を解析して、関心領域（ＲＯＩ）識別の信頼性を決定することと、決定された信頼性が許容できるとき、エンコード化されたビデオデータのビットストリームドメインの解析を使用してＲＯＩを識別することと、決定された信頼性が許容できないとき、エンコード化されたビデオデータの画素ドメインの解析を使用してＲＯＩを識別することとを含む方法を提供する。

さらなる観点において、本開示は、イントラコード化されたデータに対する、エンコード化されたビデオデータの色の特性に基づいて、エンコード化されたビデオデータ中の関心領域（ＲＯＩ）を識別することと、インターコード化されたデータに対する、エンコード化されたビデオデータのコード化ブロックパターン（ＣＢＰ）の特性に基づいてＲＯＩを識別することとを含む方法を提供する。

別の観点において、本開示は、関心領域（ＲＯＩ）識別を支援する情報が利用可能である場合に、第１のプロセスを適用して、エンコード化されたビデオデータ中のＲＯＩを識別する第１のモジュールと、ＲＯＩ識別を支援する情報が利用可能でない場合に、第２のプロセスを適用して、エンコード化されたビデオデータ中のＲＯＩを識別する第２のモジュールとを備えるデバイスを提供する。

さらなる観点において、本開示は、エンコード化されたビデオデータのビットストリームドメインの解析を使用して、エンコード化されたビデオデータの１つ以上の特性を解析して、関心領域（ＲＯＩ）識別の信頼性を決定する第１のモジュールと、決定された信頼性が許容できるとき、エンコード化されたビデオデータのビットストリームドメインの解析を使用してＲＯＩを識別する第２のモジュールと、決定された信頼性が許容できないとき、エンコード化されたビデオデータの画素ドメインの解析を使用してＲＯＩを識別する第３のモジュールとを備えるデバイスを提供する。

さらなる観点において、本開示は、イントラコード化されたデータに対する、エンコード化されたビデオデータの色の特性に基づいて、エンコード化されたビデオデータ中の関心領域（ＲＯＩ）を識別する第１のモジュールと、インターコード化されたデータに対する、エンコード化されたビデオデータのコード化ブロックパターン（ＣＢＰ）の特性に基づいてＲＯＩを識別する第２のモジュールとを備えるデバイスを提供する。

本開示において記述する技術は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせ、におけるデジタルビデオデコーディング装置において実現してもよい。ソフトウェア中で実現される場合、ソフトウェアは、コンピュータにおいて実行してもよい。ソフトウェアは、命令、プログラムコード、またはこれらに類似するものとして最初に記憶されていてもよい。したがって、開示はまた、コンピュータ読み取り可能媒体を備える、デジタルビデオデコーディングのためのコンピュータプログラムプロダクトを熟慮し、コンピュータ読み取り可能媒体は、本開示にしたがった技術を実行することをコンピュータに生じさせるための命令を含む。

添付図面および以下の記述において、１つ以上の実施形態の詳細を示す。他の機能、目的、および利益は、説明および図面から、ならびに特許請求の範囲から明らかになるだろう。

図１は、デコーダ側のＲＯＩ処理に対して構成されているビデオデコーダを組み込んでいる、ビデオエンコーディングおよびデコーディングシステムを図示するブロック図である。 図２は、ワイヤレス通信デバイスに関係付けられたディスプレイ上で与えられるビデオシーン内のＲＯＩの定義を図示する図である。 図３は、図１のビデオデコーダの例を、より詳細に図示するブロック図である。 図４は、図３のビデオデコーダの部分を形成するデコーダ側ＲＯＩモジュールを図示するブロック図である。 図５は、図４のデコーダ側ＲＯＩモジュール中のＩデータＲＯＩプロセッサの第１段階を形成する色ベースのＲＯＩマスク発生器の動作を図示するフロー図である。 図６は、図４のデコーダ側ＲＯＩモジュールのＩデータＲＯＩプロセッサの第２段階を形成する形状ベースのＲＯＩマスクリファイナーの動作を図示するフロー図である。 図７は、図４のデコーダ側ＲＯＩモジュールのＰ（またはＢ）データＲＯＩプロセッサの第１段階を形成するＣＢＰベースのＲＯＩマスク発生器の動作を図示するフロー図である。 図８は、図４のデコーダ側ＲＯＩモジュールのＰ（またはＢ）データＲＯＩプロセッサの第２段階を形成する動きおよび色ベースのＲＯＩマスクリファイナーの動作を図示するフロー図である。 図９は、ビデオフレーム中のＲＯＩに対する例示的なマクロブロック（ＭＢ）マップを図示する図である。 図１０Ａは、Ｐフレーム中のＲＯＩの定義を図示する図である。 図１０Ｂは、Ｐフレーム中のＲＯＩの定義を図示する図である。 図１１Ａは、第１のビデオシーンを図示する図である。 図１１Ｂは、ビデオシーン中のおおよそのＲＯＩに対するＣＢＰ値の相関を図示する図である。 図１２Ａは、第２のビデオシーンを図示する図である。 図１２Ｂは、第２のビデオシーン中のおおよそのＲＯＩに対するＣＢＰ値の相関を図示する図である。 図１３Ａは、第３のビデオシーンを図示する図である。 図１３Ｂは、第３のビデオシーン中のおおよそのＲＯＩに対するＣＢＰ値の相関を図示する図である。 図１４Ａは、ビデオフレームのＲＯＩ中のＭＢに対する動きベクトル（ＭＶ）の一様性の点で動きベクトルの一貫性を図示する図である。 図１４Ｂは、ビデオフレームのＲＯＩ中のＭＢに対する動きベクトル（ＭＶ）の一様性の点で動きベクトルの一貫性を図示する図である。 図１４Ｃは、ビデオフレームのＲＯＩ中のＭＢに対する動きベクトル（ＭＶ）の一様性の点で動きベクトルの一貫性を図示する図である。 図１５は、図１のビデオデコーダにおける支援型ＲＯＩ抽出またはデコーダ側ＲＯＩ抽出の選択的な起動を図示するフロー図である。 図１６は、ＲＯＩ信頼性解析の適用と、ビットストリームベースおよび画素ドメインのＲＯＩ抽出の選択的適用とを図示するフロー図である。 図１７は、ＩデータおよびＰ（またはＢ）データに対する段階的に行われるＲＯＩ抽出技術の適用を図示するフロー図である。

詳細な説明

本開示は、デコーダ側の関心領域（ＲＯＩ）ビデオ処理に対する技術に向けられている。例えば、エンコード化されたビットストリーム中の信号またはコードを検出すること、エンコード化されたビットストリームの特性を検出すること、または、帯域外サイド情報を検出すること、により、ビデオデコーダは、ＲＯＩ支援情報が利用可能であるかどうかを決定するように構成されていてもよい。一般に、ＲＯＩ支援情報は、エンコード化されたビデオストリームに加えられる、またはＲＯＩを識別する際にデコーダを支援するためのサイド情報として送信される、任意の情報を含んでいてもよい。例として、ＲＯＩ支援情報はＲＯＩマップを含んでいてもよく、ＲＯＩマップは、例えば、ＲＯＩまたは非ＲＯＩブロックとして、ビデオフレーム内のマクロブロック（ＭＢ）のようなブロックにマークすることにより、ＲＯＩを識別する。代替として、支援情報は、ＲＯＩ内のクロマ値の範囲を識別するクロマしきい値情報を含んでいてもよい。ＲＯＩ支援情報は、エンコーダにより提供してもよい。代わりに、ＲＯＩ支援情報は、ネットワーク内の、またはネットワークに結合されている、ネットワークデバイスのような、エンコーダとデコーダとの間の１つ以上の中間デバイスにより提供してもよい。

ＲＯＩ支援が利用可能である場合、ビデオデコーダは、支援型ＲＯＩ処理技術を使用して、ＲＯＩを決定し、優先の、デコーディング、後処理、および／または誤り隠蔽を、ＲＯＩおよび／またはビデオフレームの非ＲＯＩエリアに対して適用してもよい。ＲＯＩ支援が利用可能でない場合、ビデオデコーダは、デコーダ側のＲＯＩ処理技術をデフォルトにしてもよい。デコーディング、後処理、および／または誤り隠蔽は一般に、本開示において処理と呼ぶかもしれない。本開示において使用する用語“優先”は、優先処理を受けない他のエリアの通常の処理に対して、向上される、増加される、またはそうでなければ改善される、デコーディングの、後処理の、および／または誤り隠蔽の、品質および／または量を指してもよい。一般に、優先処理は、それが適用されるエリアの視覚品質を向上させるために公式化してもよく、ビデオフレームのＲＯＩまたは非ＲＯＩエリアに対して適用してもよい。

デコーダ側のＲＯＩ処理技術は、ビットストリームのＲＯＩ抽出の信頼性を推定する信頼性解析を適用してもよい。ＲＯＩの信頼性が良好である場合、デコーダは、ビデオフレームのデコーディングの前にビットストリームドメインのＲＯＩ抽出プロセスを適用してもよい。ＲＯＩの信頼性が良好でない場合、デコーダは、ビデオフレームのデコーディング後に画素ドメインのＲＯＩ抽出を適用してもよい。いずれのケースにおいても、優先の、デコーディング、後処理、および／または誤り隠蔽を、結果として生じるＲＯＩおよび／または結果として生じる非ＲＯＩに適用してもよい。ビットストリームドメインのＲＯＩ抽出は、限定的ではないが、コード化ブロックパターン（ＣＢＰ）値、動きベクトル（ＭＶ）、クロマ値、またはこれらに類似するものを含む、エンコード化されたビデオビットストリームにおいて利用可能なデータを使用するＲＯＩ抽出を指してもよい。コード化ブロックパターン（ＣＢＰ）は、マクロブロック内のどのブロックがコード化されたゼロでない係数を含んでいるかを示す。画素ドメインのＲＯＩ検出は、エンコード化されたビデオストリームがデコードされ、再構築されている後に、利用可能である画素ドメインのデータを使用するＲＯＩ検出を指してもよく、画素ドメインのデータは、画素強度および色値を含む。

圧縮されたドメインのＲＯＩ抽出に対して、ビデオデコーダは、粗いＲＯＩを生成させる第１の段階を適用してもよい。第２の段階は第１の段階からの粗いＲＯＩをさらに正確にして、上質なＲＯＩを生成させる。ビデオデコーダは、イントラコード化（Ｉ）データまたはインターコード化（ＰまたはＢ）データを含むフレームにおけるＲＯＩ抽出に対して異なるプロセスを適用してもよい。Ｐフレームは、単一方向の予測フレームを指し、一方、Ｂフレームは、双方向の予測フレームを指す。ＰまたはＢデータは、インターコード化されるフレーム、またはインターコード化されるフレーム内のデータを指す。Ｉデータは、イントラコード化されるフレーム、またはイントラコード化されるフレーム内のデータを指す。

ビデオデコーダは、イントラコード化データに対して色ベースのＲＯＩマスク発生器を使用してもよく、インターコード化データに対してコード化ブロックパターン（ＣＢＰ）ベースのＲＯＩマスク発生器を使用してもよい。フレームがイントラＭＢを含む場合、フレームはＩフレームとして分類してもよく、一方、フレームが圧倒的多数のインターＭＢを含む場合、フレームはＰフレームとして分類してもよい。いくつかのケースにおいて、色ベースのＲＯＩマスク発生器とＣＢＰベースのＲＯＩマスク発生器とを、インターコード化データとイントラコード化データとの両方を含む共通フレーム内の異なる組のＭＢに対して適用してもよい。

ビデオデコーダは、優先の、デコーディング、後処理、および／または誤り隠蔽を適用して、結果として生じるＲＯＩおよび／ＲＯＩの品質を向上させてもよい。例えば、ビデオデコーダは、優先の、デコーディング、後処理、および／または誤り隠蔽を適用して、ＲＯＩの視覚品質を向上させてもよい。代わりに、または、さらに、ビデオデコーダは、優先の、デコーディング、後処理、および／または誤り隠蔽を適用して、非ＲＯＩエリアの視覚品質を向上させてもよい。一例として、エンコーダまたはいくつかの中間デバイスが、優先エンコーディングをＲＯＩエリアに適用してもよい。したがって、ＲＯＩエリアがすでにより高い品質によりエンコード化されているという認識において、デコーダは追加の処理能力を適用して、エンコーダ側での優先処理からの利益を得ていない非ＲＯＩエリアに対して、優先の、デコーディング、後処理、および／または誤り隠蔽を提供してもよい。

いくつかの観点において、ＲＯＩ支援情報は、ＲＯＩ識別に有用な情報に加えて、エンコーダまたはいくつかの中間デバイスが優先エンコーディングまたは他の処理をＲＯＩに適用しているかどうかを示す情報を含んでいてもよい。ビデオフレームのＲＯＩまたは非ＲＯＩエリアに対して優先処理を適用するかどうかを決定する際に、この情報はデコーダにより使用してもよい。したがって、デコーダは、ＲＯＩ支援情報を解析して、ビデオフレームのＲＯＩまたは非ＲＯＩエリアに対して選択的処理を適用すべきであるかどうかを決定するようにさらに構成されていてもよい。

図１は、発信元デバイス１２と宛先デバイス１４とを含む、ビデオエンコーディングおよびデコーディングシステム１０を図示するブロック図である。発信元デバイス１２は、通信チャネル１６によって、エンコード化されたビデオを宛先デバイス１４に送信する。発信元デバイスは、ビデオエンコーダ１８と送信機（ＴＸ）２０とを含む。宛先デバイス１４は、受信機（ＲＸ）２２と、ＲＯＩが使用可能なビデオデコーダ２４とを含む。通信チャネル１６は、ワイヤードまたはワイヤレス通信媒体であってもよい。システム１０は、例えば、テレビ電話通信のために、チャネル１６により双方向のマルチメディア通信をサポートしてもよい。代わりに、システム１０は、例えば、発信元デバイス１２から宛先デバイス１４への、片方向におけるマルチメディアストリーミングまたはブロードキャスティングに対して構成されていてもよい。いくつかの観点において、例えば、チャネル１６に関係付けられたネットワーク内に、１つ以上の中間デバイスを設けて、ＲＯＩ解析または他のビデオ処理をビデオエンコーダ１８によって発生されるビデオフレームに適用してもよい。

発信元デバイス１２から宛先デバイス１４へのマルチメディアコンテンツの送信は、例示目的のために記載されており、マルチメディアコンテンツの片方向または双方向通信に適用してもよい。双方向通信に対して、相互の、エンコーディングの、デコーディングの、マルチプレキシング（ＭＵＸ）の、およびデマルチプレキシング（ＤＥＭＵＸ）のコンポーネントをチャネル１６の反対端上に設けてもよい。特に、発信元デバイス１２および宛先デバイス１４はそれぞれ、例えば、双方向マルチメディア通信のために、組み合わせられたＣＯＤＥＣ中に配列されているような、エンコーダとデコーダとを含んでいてもよい。このケースにおいて、発信元デバイス１２および宛先デバイス１４は、音声電話通信に対してだけでなく、テレビ電話通信に対しても必要なものを備えている移動ワイヤレス端末であってもよい。

片方向通信に対して、発信元デバイス１２は、１つ以上の加入者デバイスに対してビデオをブロードキャストするか、またはビデオを流すマルチメディアブロードキャストデバイスの一部を形成してもよい。このケースにおいて、宛先デバイス１４は、テレビ電話通信をサポートするためだけでなく、マルチメディアブロードキャストを受信するために必要なものも備えている移動ワイヤレス端末のようなビデオ通信デバイス内に組み入れられていてもよい。ＲＯＩが使用可能なビデオデコーダ２４は、片方向または双方向通信の一環として発信元デバイス１２から受信されるビデオに対してＲＯＩ識別を適用してもよい。各ケースにおいて、宛先デバイス１４によって受信されるビデオは、視覚品質を向上させるための優先処理が望まれるかもしれないＲＯＩを含んでいてもよい。

システム１０は、セッション開始プロトコル（ＳＩＰ）、ＩＴＵ−Ｔ Ｈ．３２３規格、ＩＴＵ−Ｔ Ｈ．３２４規格、または他の規格にしたがって、テレビ電話通信またはビデオストリーミングをサポートしてもよい。ビデオエンコーダ１８は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、または、ＩＴＵ−Ｔ Ｈ．２６４およびそれに対応する、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４パート１０すなわちＡｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇのような、ビデオ圧縮規格にしたがって、エンコード化されたビデオデータを発生させる。図１中に示していないが、ビデオエンコーダ１８およびビデオデコーダ２４は、それぞれ音声のエンコーダおよびデコーダと一体化していてもよく、共通のデータストリームまたは別々のデータストリームにおいて音声およびビデオの両方のエンコーディングを取り扱うために、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含んでいてもよい。該当する場合、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコルに、または、ユーザデータグラムプロトコル（ＵＤＰ）のような他のプロトコルに準拠してもよい。

いくつかの観点において、本開示は、技術規格ＴＩＡ−１０９９（“ＦＬＯ仕様”）として発行されることになっている、“地上移動マルチメディアマルチキャストのためのフォワードリンク専用無線インターフェース仕様”であるフォワードリンク専用（ＦＬＯ）無線インターフェース仕様を使用する地上移動マルチメディアマルチキャスト（ＴＭ３）システムにおける、リアルタイムのビデオサービスを配信するための強化されたＨ．２６４ビデオコーディングに対する適用を熟慮する。ＦＬＯ仕様は、ＦＬＯ無線インターフェースによってサービスを配信するのに適した、ビットストリームの構文および意味論と、デコーディングプロセスとを定義する例を含む。しかしながら、本開示で記述するＲＯＩ技術は、何らかの特定のタイプの、ブロードキャストの、マルチキャストの、またはポイントツーポイントのシステムに限定されない。

ビデオエンコーダ１８およびＲＯＩが使用可能なビデオデコーダ２４はそれぞれ、１つ以上のプロセッサ、デジタル信号プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはこれらの任意の組み合わせとして実現してもよい。ビデオエンコーダ１８およびビデオデコーダ２４のそれぞれは、１つ以上のエンコーダまたはデコーダ中に含まれていてもよく、それらのいずれもが、それぞれの加入者デバイス、ブロードキャストデバイス、サーバ、またはこれらに類似するものにおける、組み合わせられたエンコーダ／デコーダ（ＣＯＤＥＣ）の一部として統合されていてもよい。さらに、送信機２０および受信機２２はそれぞれ、エンコード化されたビデオの送信および受信のために、適切な変調の、復調の、周波数変換の、フィルタリングの、および増幅のコンポーネントを含んでいてもよく、規定通りに、無線周波数（ＲＦ）ワイヤレスコンポーネントおよびアンテナを含んでいる。しかしながら、図示を楽にするために、そのようなコンポーネントは図１中に示していない。

システム１０は、ここで記述するような、ＲＯＩコーディングに対する技術をサポートするように構成されていてもよい。例えば、発信元デバイス１２中のビデオエンコーダ１８は、ビデオフレーム中のＲＯＩを識別し、ＲＯＩを識別する際にビデオデコーダ２４を支援するＲＯＩ支援情報を、エンコード化されたビデオフレームとともに含むように構成されていてもよい。ＲＯＩ支援情報は、エンコード化されたビデオフレームのビットストリーム内に埋め込まれていてもよく、または、帯域外サイド情報として提供されてもよい。ＲＯＩ支援情報は、エンコーダ１８により発生させてもよく、または、発信元デバイス１２および宛先デバイス１５が通信するネットワーク内の、またはそのようなネットワークに結合されている中間デバイスにより発生させてもよい。中間デバイスは、例えば、ビットストリームドメインのＲＯＩ抽出または画素ドメインのＲＯＩ抽出を含むさまざまな技術を使用してＲＯＩを識別するように構成されていてもよい。中間デバイスは、発信元デバイス１２よりも大きな処理能力を有し、いくつかのまたはさまざまな効果的なＲＯＩ検出技術の適用を可能にしてもよい。

一例として、ビデオエンコーダ１８または中間デバイスは、ＲＯＩマップを生成させるように構成されていてもよく、ＲＯＩマップは、例えば、ユーザによる、または肌の色合い検出のような技術を使用する自動ＲＯＩ検出による、ＲＯＩの明確な指定に基づいて、ＲＯＩ内に存在する、ビデオフレーム内のブロックを指定する。ＲＯＩ支援情報の別の例は、例えば、肌の色合いに対応するクロマ値のような、ＲＯＩに対応するクロマ値の範囲を示すクロマしきい値情報である。繰り返すが、そのような情報は、エンコード化されたビデオビットストリーム内に存在してもよく、または、エンコード化されたビデオビットストリームとは別に帯域外サイド情報として送信してもよい。

ＲＯＩを識別するという状況において、抽出、検出、および識別の用語は、一般に、区別なく仕様してもよい。それぞれＲＯＩおよび非ＲＯＩのブロックを指定するために、１または０により、マクロブロック（ＭＢ）のような個々のブロックを識別することにより、ＲＯＩマップを形成してもよい。マクロブロックは、フレームの一部を形成するビデオブロックである。ＭＢのサイズは、１６×１６画素であってもよい。しかしながら、他のサブブロックのサイズが可能である。例えば、Ｈ．２６４規格は、例えば、１６×１６、１６×８、８×１６、８×８、４×４、８×４、および４×８のような、さまざまな異なるサイズを有するブロックのエンコーディングを可能にする。マクロブロックまたは他のビデオブロックがさまざまな異なるサイズを有していてもよいという理解とともに、例示目的のためにここではマクロブロックを記述する。

ＲＯＩマップまたは、受信されるビデオフレーム中のＲＯＩ内に存在するエンコード化されたビデオデータの部分を示す他の情報を使用して、ビデオエンコーダ１８または中間デバイスは、ＲＯＩが使用可能なビデオデコーダ２４によるエンコーダ支援型ＲＯＩ検出をサポートしてもよい。代わりに、ＲＯＩが使用可能なビデオエンコーダ２４は、ビデオエンコーダ１８または何らかの中間デバイスの支援なしに、デコーダ側のＲＯＩ検出を適用してもよい。したがって、デコーダ２４は、エンコード化されたビデオデータがＲＯＩ識別を支援する情報を含む場合、第１のプロセスを適用して、エンコード化されたビデオデータ中の関心領域（ＲＯＩ）を識別してもよく、エンコード化されたビデオデータがＲＯＩ識別を支援するための情報を含まない場合、第２のプロセスを適用して、エンコード化されたビデオデータ中のＲＯＩを識別してもよい。

各ケースにおいて、デコーダ側でのＲＯＩの検出の際に、ビデオデコーダ２４は、優先の、デコーディング、後処理、および／または誤り隠蔽を適用して、ＲＯＩまたは非ＲＯＩのいずれかの視覚品質を向上させてもよく、または、ことによると、異なるレベルのそのような優先処理をＲＯＩおよび非ＲＯＩに適用してもよい。ＲＯＩ支援が利用可能であるかどうかを決定するために、ビデオデコーダ２４は、エンコード化されたビットストリームにおいて信号またはコードを検出してもよく、または、エンコード化されたビットストリームの特性を検出してもよい。したがって、ビデオエンコーダ１８または中間デバイスは、ＲＯＩ支援の利用可能性を示すために、エンコード化されたビットストリーム中に信号またはコードを含めてもよい。いくつかのケースにおいて、エンコード化されたビットストリームにおける、ＲＯＩマップまたは他のＲＯＩ支援情報の存在は、ＲＯＩ支援を示すための信号またはコードとして機能を果たしてもよい。代わりに、ビデオエンコーダ１８または中間デバイスは、帯域外信号を提供して、ビデオビットストリーム中のＲＯＩ支援情報の存在を示してもよく、または、帯域外サイド情報として、帯域外信号およびＲＯＩ支援情報を提供してもよい。例えば、ビデオフレームとともに送信される管理ヘッダまたはフレーム中で、情報を提供してもよい。

ＲＯＩ支援が利用可能でない場合、ビデオデコーダ２４は、デコーダ側のＲＯＩ処理技術を適用する。ビデオデコーダ２４は、信頼性解析を適用して、ビットストリームドメインにおいてＲＯＩ処理を適用するか、または、再構築された画素ドメインにおいてＲＯＩ処理を適用するかどうか決定してもよい。ビットストリームドメインにおいて抽出されるＲＯＩの信頼性がおそらく良好でないものと見出されることになる場合、デコーダ２４は、ビデオフレームのデコーディング後に、画素ドメインのＲＯＩ抽出プロセスを適用してもよい。ＲＯＩ抽出がおそらく信頼できるものであると見出される場合、デコーダ２４は圧縮ドメインのＲＯＩ抽出を選択する。ビットストリームドメインの解析を使用してＲＯＩ識別の信頼性を決定するために、信頼性解析は、エンコード化されたビデオデータの１つ以上の特性の分析を含んでいてもよい。記述するように、例えば、デコーダ２４によって適用される信頼性解析は、評価段階にあるビデオフレームに対する量子化パラメータ（ＱＰ）値の解析に依拠していてもよい。特に、デコーダ２４によって適用される信頼性解析は、フレーム中のエンコード化されたビデオデータのルーマおよびクロマの成分に対する平均のＱＰ値を解析し、平均のＱＰ値がしきい値を超えているとき、信頼性解析は、許容できない信頼性を示してもよい。

信頼性が良好でない場合、デコーダ２４は、ビデオフレームのデコーディング後に、画素ドメインのＲＯＩ抽出プロセスを適用してもよい。デコーダ側での再構築された画素ドメインにおけるＲＯＩ抽出は効果的であるが、移動ワイヤレス通信デバイス内のアプリケーションのような、低電力消費の制約を有するリアルタイムのアプリケーションに対してはあまり望ましくないかもしれない。したがって、ビットストリームにおけるＲＯＩ抽出がおそらく信頼できるものである場合、ビットストリームベースのＲＯＩ抽出が、通常は、より望ましい。特に、ビットストリームドメインにおけるＲＯＩ抽出は、再構築された画素ドメインにおけるＲＯＩ抽出よりも、低減された、計算の複雑さおよび電力消費を与える。しかしながら、ビットストリームドメインのＲＯＩ検出の精度は、ビットストリームを発生させるために使用されるビデオエンコーダの特性によって影響を受けるかもしれない。

したがって、エンコード化されたビデオデータの特性により、ビットストリームドメインのＲＯＩ抽出が、おそらく信頼できないものであるとき、システム１０は、ビットストリームドメインのＲＯＩ抽出から画素ドメインのＲＯＩ抽出に移行できる、ＲＯＩ抽出のための頑強な技術を実現してもよい。さらに、いくつかの観点において、システム１０はＲＯＩ支援情報が利用可能であるという状況を、自動的に、識別し、その状況に適合するという意味において、システム１０はインテリジェントである。ＲＯＩ支援情報が利用可能である場合、デコーダ２４は支援情報を使用して、ＲＯＩを識別してもよい。ＲＯＩ支援情報が利用可能でない場合、上述したように、ビットストリームドメインのＲＯＩ抽出の予測された信頼性に基づいて、デコーダ２４は、ビットストリームドメインまたは再構築される画素ドメインのいずれかにおいて適用される、デコーダ側のＲＯＩ処理技術をデフォルトにしてもよい。

推定される信頼性が許容できる場合、ビデオデコーダ２４は、ビットストリームドメインのＲＯＩ抽出プロセスを適用する。ビットストリームドメインのＲＯＩ抽出プロセスは、イントラコード化（Ｉ）データに対する１つのパスと、インターコード化（ＰまたはＢ）データに対する別のパスとの、２つの異なるパスを含んでいてもよい。１つのパスは、Ｉフレームと、いくつかのケースにおいて、Ｐフレームからのイントラコード化ＭＢとを取り扱う。他のパスは、Ｐフレームと、いくつかのケースにおいて、イントラＭＢとインターＭＢとを含むＰフレーム中のインターコード化ＭＢとを取り扱う。さらに、各パスは、第１の、粗いＲＯＩ推定段階と、第２の、上質なＲＯＩ推定段階との２つの段階を含んでいてもよい。第２の、上質なＲＯＩ推定段階は、第１の段階からの粗いＲＯＩをさらに正確にして、上質なＲＯＩを生成させる。ＩフレームまたはＰフレームにおけるような、イントラコード化データに対して、ビデオデコーダ２４は、色ベースのＲＯＩマスク発生器を使用して粗いＲＯＩを識別してもよく、次に、エンコード化されたビデオデータの形状の特性に基づいて、粗いＲＯＩをさらに正確にしてもよい。ＰまたはＢフレームにおけるような、インターコード化データに対して、ビデオデコーダ２４は、エンコード化されたビデオデータのコード化ブロックパターン（ＣＢＰ）の特性に基づいて、粗いＲＯＩを識別してもよく、次に、エンコード化されたビデオデータの、動きおよび色の特性に基づいて、粗いＲＯＩをさらに正確にしてもよい。ＲＯＩの、支援型のまたはデコーダ側の識別の際に、デコーダ２４は、優先処理と集合的に呼ばれる、優先の、デコーディング、後処理、および／または誤り隠蔽を適用して、結果として生じるＲＯＩまたは非ＲＯＩエリアの品質を向上させてもよい。

図２は、ワイヤレス通信デバイス３４に関係付けられたディスプレイ３２上で与えられるビデオシーン３０内のＲＯＩ２８の定義を図示する図である。図２の例において、ＲＯＩ２８は、人間の頭部３６または顔のようなオブジェクトに実質的にしたがう、丸いまたは不規則な形状を有する、矩形でないＲＯＩとして描写されている。代わりに、矩形のＲＯＩを提供してもよい。いずれのケースにおいても、ＲＯＩ２８は、発信元デバイス１２において、例えば、エンコーダ１８中で、検出し、または、さもなければ識別してもよく、例えば、ネットワーク中の中間デバイスにおいて検出してもよく、あるいは、宛先デバイス１４において、例えば、ＲＯＩ支援とともに、またはＲＯＩ支援なしで、デコーダ２４中で自動的に検出してもよい。

発信元デバイス１２がＲＯＩ支援を提供するように構成されている場合、ユーザからのＲＯＩ入力に基づいて手動で、自動識別技術を使用して自動的に、または手動および自動のＲＯＩ識別の組み合わせを使用して、発信元デバイス１２はＲＯＩ２８を規定してもよい。ＲＯＩ２８は、頭部３６または顔を含むビデオシーン３０の一部を取り囲んでもよい。しかしながら、ＲＯＩ２８を使用して、顔以外のオブジェクトを指定してもよい。ＲＯＩ２８のサイズおよび位置は、固定または調整可能であってもよく、さまざまな方法で規定し、記述し、または調整してもよい。ＲＯＩ２８は優先処理を可能にして、送信されるビデオシーン３０内の個々のオブジェクトの視覚品質を向上させる。この方法において、ＲＯＩ２８により、ビデオの受信者は、受信したビデオシーン３０内の望まれるオブジェクトをよりはっきりと見ることが可能になる。例えば、エンコーダ１８は、優先エンコーディングをＲＯＩに適用して、視覚品質を向上させてもよく、または、デコーダ２４は、優先処理をＲＯＩまたは非ＲＯＩに適用して、視覚品質を向上させてもよい。

いくつかのケースにおいて、エンコーダ１８がＲＯＩ２８を識別する場合、エンコーダは、ビデオシーン３０の背景領域のような非ＲＯＩエリアに対してより高い画像品質によりＲＯＩをエンコード化してもよい。このようにして、宛先デバイス１４に関係付けられたユーザは、エンコーダ１８によってエンコード化されたビデオ内で、顔の表情、唇の動き、眼の動き、およびこれらに類似するものを、よりはっきりと見ることができる。代わりに、または、さらに、宛先デバイス１４中のデコーダ２４は、ＲＯＩ２８の視覚品質を向上させるために、またはＲＯＩ内に存在しないエリアに対して、優先の、デコーディング、後処理、および／または誤り隠蔽を適用してもよい。例えば、ビデオデコーダ２４は、優先の、デコーディング、後処理、および／または誤り隠蔽を適用して、非ＲＯＩエリアの視覚品質を向上させてもよい。一例として、エンコーダ１８またはいくつかの中間デバイスは、優先エンコーディングをＲＯＩエリアに適用してもよい。したがって、ＲＯＩ２８がすでにより高い品質によりエンコード化されているとう認識において、デコーダ２４は、追加の処理能力を適用して、エンコーダ側での優先処理から利益を得なかった非ＲＯＩエリアに対して、優先の、デコーディング、後処理、および／または誤り隠蔽を提供してもよい。いずれのケースにおいても、デコーダ２４は、エンコーダ１８または中間デバイスによって提供されるＲＯＩ支援情報からの支援とともに、またはそのような支援なしに、ＲＯＩ２８を識別してもよい。したがって、デコーダ２４は、さまざまな異なる状況のいずれにおいても、優先処理を適用してもよい。例えば、ＲＯＩ ＭＢマップを使用して、デコーダ２４は、優先の、デコーディング、後処理、および／または誤り隠蔽のために、ＲＯＩ ＭＢを非ＲＯＩ ＭＢと区別してもよい。

第１の代替として、エンコーダ１８は、ＲＯＩ２８を識別し、優先的にエンコード化し、優先の、デコーディング、後処理、および／または誤り隠蔽の適用のために、ＲＯＩの支援型検出に用いる情報をデコーダ２４に渡してもよい。第２の代替として、エンコーダ１８は、ＲＯＩ２８を識別し、ＲＯＩの優先エンコーディングをすることなく、ＲＯＩの支援型検出に用いる情報をデコーダ２４に渡してもよい。第３の代替として、エンコーダ１８は、ＲＯＩ検出を支援する情報をデコーダ２４に渡すことなく、ＲＯＩ２８を識別し、優先的にエンコード化してもよい。第４の代替として、エンコーダ１８は、ＲＯＩを識別せず、それゆえに、優先エンコーディングまたはＲＯＩ検出を支援する情報を提供しなくてもよい。第５の代替として、エンコーダ１８は、ＲＯＩ２８を識別し、ＲＯＩ支援情報をデコーダ２４に渡すが、選択的エンコーディングをＲＯＩに適用しなくてもよい。第６の代替として、例えば、発信元デバイス１２と宛先デバイス１４との間のネットワーク内の中間デバイスが、ＲＯＩを識別し、ＲＯＩ支援情報をデコーダ２４に渡してもよい。いくつかのケースにおいて、エンコーダ１８または中間デバイスからのＲＯＩ支援情報を用いて、ＲＯＩ２８を検出してもよい。他の例において、デコーダ２４は、エンコーダ１８または何らかの中間デバイスからのいかなる支援もなく、ＲＯＩ２８を検出する。

上述したように、ＲＯＩ２８を使用して、頭部３６または顔以外のオブジェクトを指定してもよい。一般的に、テレビ電話通信（ＶＴ）アプリケーションにおけるＲＯＩは、非常に主観的である可能性があり、ユーザごとに異なっているかもしれない。望まれるＲＯＩはまた、ＶＴがどのように使用されるかに依存する。いくつかのケースにおいて、テレビ会議とは異なり、オブジェクトを見て、評価するためにＶＴを使用してもよい。例えば、特に、提示がカメラからそれて、ホワイトボードの方であるとき、ユーザは、プレゼンターの顔ではなく、式または図を含んでいるホワイトボードの部分に焦点を合わせることを望むかもしれない。いくつかのケースにおいて、ビデオシーンは、優先エンコーディングに対して指定される２つ以上のＲＯＩを含んでいてもよい。そのようなケースに対応するために、いくつかの観点において、デコーダ２４は、例えば、ＲＯＩが人物であるか、またはホワイトボードの一部のようなオブジェクトであるかを示すユーザ入力に応答して、異なる状況に適合するように構成されていてもよい。

図３は、図１のＲＯＩが使用可能なビデオデコーダ２４の例をより詳細に図示するブロック図である。図３中で示したように、デコーダ２４は、チャネル１６を介して発信元デバイス１２からエンコード化されたビデオデータを受信する受信機２２を含んでいる。図３の例において、ＲＯＩが使用可能なビデオエンコーダ２４は、ＲＯＩ支援検出器モジュール４０と、支援型ＲＯＩモジュール４２と、デコーダ側ＲＯＩモジュール４４と、デコーディングエンジン４６と、ポストプロセッサ４８とを含んでいる。モジュールとしての異なる機能の描写は、デコーダ２４の異なる機能の観点をハイライトするように向けられており、そのようなモジュールを、別々のハードウェアおよび／またはソフトウェアコンポーネントによって実現しなければならないことを必ずしも意味していない。むしろ、１つ以上のモジュールに関係付けられた機能を、共通のまたは別々のハードウェアおよび／またはソフトウェアコンポーネント内に統合してもよい。

ＲＯＩ支援検出器モジュール４０は、発信元デバイス１２または中間デバイスから受信した、エンコード化されたビデオデータまたはサイド情報がＲＯＩ識別を支援する情報を含んでいるかどうかを決定する。例えば、ＲＯＩ支援検出器モジュール４０は、所定のビデオフレームまたはビデオフレームのシーケンスに対するビットストリーム中に含まれる、ＲＯＩマップの、あるいは、信号またはコードの存在を検出してもよい。エンコード化されたビデオデータまたはサイド情報がＲＯＩ識別を支援する情報を含んでいる場合、ＲＯＩが使用可能なビデオデコーダ２４は第１のプロセスを適用して、エンコード化されたビデオデータ中の関心領域（ＲＯＩ）を識別する。ＲＯＩ識別を支援する情報は、ＲＯＩ内に存在するエンコード化されたビデオデータの部分を識別する情報を含んでいてもよく、優先エンコーディングまたは他の優先処理がＲＯＩに適用されているかどうかを示してもよい。

第１のプロセスは、支援型ＲＯＩモジュール４２と、デコーディングエンジン４６と、ポストプロセッサ４８とによって実行してもよい。例えば、支援型ＲＯＩモジュール４２は、エンコーダ１８によって提供された情報に基づいて、例えば、ＲＯＩ内に入るブロックを識別することにより、ＲＯＩを識別する。デコーディングエンジン４６およびポストプロセッサ４８は次に、優先の、デコーディング、後処理、および／または誤り隠蔽を、支援型ＲＯＩモジュール４２によって識別されたＲＯＩに適用する。例えば、支援型ＲＯＩモジュール４２は、優先処理を適用すべき、例えばＭＢまたはサブパーティションのようなブロックに関する指示を発生させ、デコーディングエンジン４６とポストプロセッサ４８とに指示を渡してもよい。ディスプレイ３８は、デコーディングエンジン４６とポストプロセッサ４８とによって生成された、デコード化されたビデオデータの視覚による表示を宛先デバイス１４のユーザに与える。

エンコード化されたビデオデータがＲＯＩ識別を支援する情報を含まない場合、ＲＯＩが使用可能なビデオデコーダ２４は、第２のプロセスを適用して、エンコード化されたビデオデータ中のＲＯＩを識別する。第２のプロセスは、デコード側ＲＯＩモジュール４４と、デコーディングエンジン４６と、ポストプロセッサ４８とによって実行してもよい。記述するように、デコード側ＲＯＩモジュール４４は、エンコーダ１８または中間デバイスの支援なしに、エンコード化されたビデオデータを解析して、ＲＯＩを自動的に識別してもよい。この意味において、デコード側ＲＯＩモジュール４４は、デコーダ専用ＲＯＩモジュールと考えてよい。デコーダ側ＲＯＩモジュール４４は、エンコード化されたビデオデータのビットストリームドメインの解析を使用して、エンコード化されたビデオデータの１つ以上の特性を解析して、ＲＯＩ識別の信頼性を決定してもよい。

図のように、デコーダ側ＲＯＩモジュール４４は、エンコード化されたビデオデータに対する１つ以上の量子化パラメータ（ＱＰ）値を解析してもよい。ＱＰ値の解析に基づいて、デコーダ側ＲＯＩモジュール４４は、ＲＯＩがエンコード化されたビデオデータのビットストリームドメインから確実に抽出できるかどうかを決定する。特に、デコーダ側ＲＯＩモジュール４４は、エンコード化されたビデオデータのルーマおよびクロマ成分に対する平均のＱＰ値を解析し、平均のＱＰ値がしきい値を超えているとき、許容できない信頼性を示してもよい。ビデオフレームに対する平均のルーマおよびクロマのＱＰ値が高い場合、変換係数の低品質の量子化と、それゆえに、エッジのような重要な信号情報の損失とを示し、正確なＲＯＩを抽出する尤度が低くなる傾向がある。ＱＰ値が高いとき、ビットストリームドメインにおけるＲＯＩの信頼性は低く、ビットストリームドメインではなく画素ドメインにおいてＲＯＩの検出を実行することが望ましい。

そのために、デコーダ側ＲＯＩモジュール４４は、信頼性が許容できるとき、ビットストリームドメインのＲＯＩ検出を適用し、信頼性が許容できないとき、画素ドメインのＲＯＩ検出を適用するように構成されていてもよい。画素ベースのＲＯＩ抽出が適用されるとき、デコーダ側ＲＯＩモジュール４４はデコーディングエンジン４６と対話し、それによりＲＯＩ抽出をデコード化されたビットストリームに適用できる。ビットストリームドメインのＲＯＩ検出が適用されるとき、以前に記述したように、デコーダ側ＲＯＩモジュール４４は、イントラコード化ビデオデータとインターコード化ビデオデータとに対して、２つの異なるＲＯＩ検出のパスを適用してもよい。各パスは、それぞれ、粗いＲＯＩ推定と、上質なＲＯＩ推定とを生成させる２つの異なる段階を含んでいてもよい。デコーダ側ＲＯＩモジュール４４は、各ビデオフレームまたはビデオフレームのシーケンスに対する上質なＲＯＩ表示をデコーディングエンジン４６とポストプロセッサ４８とに渡す。ＲＯＩ表示を使用して、デコーディングエンジン４６およびポストプロセッサ４８は、優先の、デコーディング、後処理、および／または誤り隠蔽を、ビデオデータ中の識別されたＲＯＩに適用する。ディスプレイ３８は、デコーディングエンジン４６とポストプロセッサ４８とによって生成された、デコード化されたビデオデータの視覚による表示を、宛先デバイス１４のユーザに与える。

上述したように、ＲＯＩ支援検出器モジュール４０は、エンコーダ１８または中間デバイスが、ＲＯＩ抽出を支援するために、エンコード化されたビデオビットストリーム中に何らかの情報を、または何らかの帯域外サイド情報を含んでいるかどうかを決定する。そうである場合、ＲＯＩ支援検出器モジュール４０は、ＲＯＩ識別を支援する情報が利用可能であることを決定する。１つの例として、ＲＯＩ支援検出器モジュール４０は、受信したビデオビットストリームを解析して、信号、コード、または固有のパターンが存在しているかどうかを決定してもよい。エンコーダ１８または中間デバイスがエンコーダ側でＲＯＩ抽出を実行していることを信号で伝えるために、固有のパターンを使用してもよい。パターンが、実際のエンコード化されたビデオデータ中で生じないように、またはめったに生じないようにパターンを選んでもよい。例えば、１０００１０００１０００１０００のパターンをエンコード化されたビデオビットストリーム内に埋め込んで、ＲＯＩを抽出する際に、情報がデコーダ２４を支援するために利用可能であることを指示してもよい。

例えば、Ｍ．Ｗｕ氏、Ｈ．Ｙｕ氏およびＡ．Ｇｅｌｍａｎ氏らの、“デジタル画像およびビデオのためのマルチレベルデータ隠蔽”、ＳＰＩＥ、巻３８５４，１９９９に記載されているように、パターンの埋め込みは奇偶法を使用して実施できる。例えば、データは、エンコード化されたビデオビットストリームの、ゼロでない量子化ＡＣ係数中に埋め込むことができる。例えば、埋め込まれるビットが“０”である場合、量子化ＡＣ係数は偶数に変化し、さもなければ、ＡＣ係数は奇数に変化する。エンコード化されたビデオフレームの最初の１６個のＡＣ係数を見ることにより、意図した信号をデコード化できる。パターン１０００１０００１０００１０００が観察される場合、デコーダ２４は、エンコーダ１８がＲＯＩを識別する際にデコーダを支援する情報を埋め込んでいると推論できる。パターンが検出される場合、デコーダ２４はビデオビットストリームを処理して、支援情報を取得する。しかしながら、ビットストリーム中にパターンがない場合、デコーダ２４は、デコーダ側ＲＯＩスキームをデフォルトにする。

デコーダ２４は、エンコーダ１８または中間デバイスからのさまざまなレベルのＲＯＩ支援情報を取り扱うように構成されていてもよい。いったんＲＯＩ支援検出器モジュール４０が、支援信号、コード、またはパターンを検出していると、ＲＯＩ支援検出器モジュールはまた、支援モードを検出してもよく、支援モードは、エンコード化されたビデオビットストリーム中の別のパターンによって示されていてもよい。例えば、エンコーダ１８は、クロマしきい値モードまたは完全マクロブロック（ＭＢ）レベルマップモードにしたがってＲＯＩ支援情報を提供してもよい。例えば、エンコーダ１８がセンサベースのＲＯＩ抽出を実行する場合、エンコーダ１８は、ＲＯＩとして分類されるクロマ値に対するしきい値範囲を送信できる。クロマしきい値範囲は、ＲＯＩと相関がある肌の色合い値の範囲に対応していてもよい。このケースにおいて、ＲＯＩ支援検出器モジュール４０は、ビットストリーム中のパターンに基づいてクロマしきい値モードを検出し、クロマ値のしきい値範囲を適用してＲＯＩを識別するように支援型ＲＯＩモジュール４２に命令する。

代わりに、エンコーダ１８または中間デバイスは、完全ＭＢレベルＲＯＩマップを送ってもよい。このケースにおいて、ビデオフレーム中の各ＭＢに対して、ＭＢがＲＯＩの部分である場合、フラグを１に設定してもよく、またはそうではなくて、ＭＢがＲＯＩの部分ではない場合、フラグを０に設定してもよい。上述した奇偶法のような、さまざまな技術のうちのいずれかを使用して、このＭＢ ＲＯＩマップ情報をデータストリーム中に埋め込むこともできる。ＲＯＩ支援検出器モジュール４０がビットストリーム中のパターンに基づいてＭＢレベルマップモードを検出する場合、ＲＯＩ支援検出器モジュール４０は、ＭＢ ＲＯＩマップ情報を使用してＲＯＩを識別するように支援型ＲＯＩモジュール４２に命令する。いずれのケースにおいても、すなわち、クロマしきい値モードまたはＭＢレベルマップモードのいずれにおいても、支援型ＲＯＩモジュール４２は、優先の、デコーディング、後処理、および／または誤り隠蔽をＲＯＩに適用する際にデコーディングエンジン４６とポストプロセッサ４８とにより用いるＲＯＩ識別を生成させる。代わりに、ＲＯＩ支援検出器モジュール４０が圧縮されたビデオビットストリーム中にエンコーダ支援信号を検出しない場合、ＲＯＩ支援検出器モジュール４０は、ＲＯＩ識別を支援する情報が利用可能でないことを決定する。このケースにおいて、ＲＯＩが使用可能なビデオデコーダ２４は、例えば、デコーダ側ＲＯＩモジュール４４によって適用されるような、デコーダ側ＲＯＩ抽出プロセスをデフォルトにする。

図４は、図３のＲＯＩが使用可能なビデオデコーダ２４の一部を形成するデコーダ側ＲＯＩモジュール４４を図示するブロック図である。図４の例において、デコーダ側ＲＯＩモジュール４４は、ＲＯＩ信頼性解析器５１と、フレームタイプ検出器５２と、画素ドメインＲＯＩ検出器５３と、ＰデータＲＯＩプロセッサ５４と、ＩデータＲＯＩプロセッサ５６と、決定融合ベースのＲＯＩマスク発生器６６とを含んでいてもよい。ＰデータＲＯＩプロセッサ５４は、コード化ブロックパターン（ＣＢＰ）ベースのＲＯＩマスク発生器５８と、動きおよび色ベースのＲＯＩマスクリファイナー６０とを含んでいてもよい。繰り返すが、モジュールとしての異なる機能の描写は、デコーダ２４の異なる機能の観点をハイライトするように向けられており、そのようなモジュールを、別々のハードウェアおよび／またはソフトウェアコンポーネントによって実現しなければならないことを必ずしも意味していない。ＩデータＲＯＩプロセッサ５６は、色ベースのＲＯＩマスク発生器６２と、形状ベースのＲＯＩマスクリファイナー６４とを含んでいてもよい。ビットストリームドメインのＲＯＩ検出の信頼性が許容できるとき、デコーダ側ＲＯＩモジュール４４は、デコーディングエンジン４６とポストプロセッサ４８とにＲＯＩ指示を提供する。代わりに、ビットストリームドメインのＲＯＩ検出の信頼性が許容できないとき、デコーディングエンジン４６はビデオをデコードし、画素ドメインにおいてＲＯＩ検出を適用する。

エンコード化されたビデオデータのビットストリームにおいてビデオフレームを受け取ると、ＲＯＩ信頼性解析器５１は、ビットストリームドメインにおけるＲＯＩ検出がおそらく正確で、それゆえに信頼できるかどうかを決定する。ＲＯＩの信頼性の事前の解析に基づいて、ＲＯＩ信頼性解析器５１は、デコーダ側での、ビットストリームドメインのＲＯＩ抽出または再構築された画素ドメインのＲＯＩ抽出のいずれかを指示することができる。ＲＯＩ信頼性解析器５１が到来するビットストリームを解析し、ＲＯＩ抽出の信頼性がいくぶん高いことを発見する場合、低複雑さの、圧縮ビットストリームドメインのＲＯＩ検出アプローチを使用できる。より低い複雑さのため、ビットストリームドメインにおけるＲＯＩ抽出が望ましい。ＲＯＩ信頼性解析器が、ＲＯＩ抽出の信頼性が高くないことを発見する場合、より高い複雑さの、再構築された画素ドメインのＲＯＩ検出アプローチが使用される。ＲＯＩの信頼性解析に対して、ＲＯＩ信頼性解析器は、ルーマおよびクロマのＱＰ値の組み合わせを使用してもよい。例えば、ＲＯＩ抽出の信頼性は、ビデオフレームに対する平均のＱＰ値を使用して計算してもよい。

ビデオフレームに対する平均のルーマおよびクロマのＱＰが非常に高い場合、すなわち、予め定められているしきい値を上回る場合、ビットストリームドメインにおけるＲＯＩ抽出は、低品質であることが予想される。このケースにおいて、ＲＯＩ信頼性解析器５１は、信頼できないＲＯＩ抽出を示し、再構築された画素ドメインにおいてＲＯＩを抽出するように画素ドメインＲＯＩ検出器５３に指示する。ビデオフレームに対する平均のルーマおよびクロマのＱＰが、予め定められているしきい値を超えていない場合、ビットストリームドメインにおけるＲＯＩ抽出が許容できることが予想される。このケースにおいて、ＲＯＩ信頼性解析器５１は、信頼できるＲＯＩ抽出を示し、例えば、フレームタイプ検出器５２にデコーダ側のＲＯＩビットストリーム処理を開始させることにより、ビットストリームドメインのＲＯＩ抽出を指示する。

したがって、ＲＯＩ信頼性解析器５１によって適用される信頼性解析は、結果として生じるＲＯＩが効果的であるいくつかの環境においては、より低い複雑さの処理を可能にするが、結果として生じるＲＯＩがおそらくあまり正確でないと考えられる他の環境においては、再構築された画素ドメインにおけるより高い複雑さの処理を指示する。この例において、平均ＱＰ値は、ビットストリームドメインのＲＯＩ抽出の有効性を阻む、エンコード化されたビデオコンテンツの表示として機能する。ＲＯＩの信頼性に基づいた、ビットストリームドメインまたは画素ドメインのいずれかにおける適応性のあるＲＯＩ検出は、処理時間の消費と検出精度とのトレードオフのバランスを効果的にとることができ、検出が圧縮ドメインまたは画素ドメインにおいて確実に実行できるかどうかを動的に決定する。ＲＯＩの信頼性解析は、誤ったＲＯＩ抽出を回避することが必要とされるときだけに、画素ドメインのＲＯＩ抽出の追加コストを課してもよい。

図４の例において、ＲＯＩ信頼性解析器５１は、デコーダ側ＲＯＩモジュール４４内に存在している。代替として、信頼性解析は、エンコーダ１８または中間デバイスにより実行できる。例えば、信頼性の表示は、エンコーダ１８または中間デバイスによって、エンコード化されたビデオビットストリームとともに、または、帯域外サイド情報として送信できる。いずれのケースにおいても、デコーダ側ＲＯＩモジュール４４は、受信した信頼性情報を使用して、ビットストリームドメインのＲＯＩ抽出または画素ドメインのＲＯＩ抽出のいずれかを指示できる。

さらに図４中で示したように、ＲＯＩ信頼性解析器５１によって、ビットストリームドメインにおけるＲＯＩ抽出が信頼できると考えられる場合、フレームタイプ検出器５２が、２つの処理のパスのうちのどちらを適用するかを決定する。特に、フレームタイプ検出器５２は、ビデオフレームがイントラコード化（Ｉ）フレームである場合、ＩデータＲＯＩプロセッサ５６を選択し、ビデオフレームがインターコード化（ＰまたはＢ）フレームである場合、ＰデータＲＯＩプロセッサ５４を選択する。しかしながら、多くのケースにおいて、Ｐフレームは、インターコード化ＭＢとイントラコード化ＭＢとの両方を含んでいるかもしれない。Ｐフレームがかなり多数のイントラコード化ＭＢを含んでいる場合、フレームタイプ検出器５２は、ＩデータＲＯＩプロセッサ５６によりイントラコード化ＭＢを処理し、ＰデータＲＯＩプロセッサ５４によりインターコード化ＭＢを処理することを指示してもよい。

例えば、イントラコード化ＭＢの数が予め定められているしきい値を超える場合、ＩデータＲＯＩプロセッサ５６とＰデータＲＯＩプロセッサ５４との両方による結合された処理をＰフレームに適用してもよい。このケースにおいて、決定融合ベースのＲＯＩマップ発生器６６が、イントラコード化ＭＢに対してＩデータＲＯＩプロセッサ５６によって生成されたＲＯＩマップ情報と、インターコード化ＭＢに対してＰデータＲＯＩプロセッサ５４によって生成されたＲＯＩマップ情報とを結合してもよい。しかしながら、Ｐフレームが、しきい値を超える多数のイントラコード化ＭＢを含まない場合、ＰデータＲＯＩプロセッサ５４だけにより、Ｐフレームを処理してもよい。

Ｉフレーム処理またはＰフレーム処理の、各処理のパスに対して、デコーダ側ＲＯＩモジュール４４は、粗いＲＯＩを生成させる第１の段階と、粗いＲＯＩをさらに正確にして最終的なＲＯＩを生成させる第２の段階とを含む２段階のプロセスを適用する。処理のパスは、ＩフレームとＰフレームとに対して違うように作用する。Ｉフレーム、または、かなり多数のイントラコード化ＭＢを有するＰフレームからのイントラコード化ＭＢのような、イントラコード化データに対して、ＩデータＲＯＩプロセッサ５６は、第１の段階として色ベースのＲＯＩマスク発生器６２を、第２の段階として形状ベースのＲＯＩマスクリファイナー６４を適用する。Ｐフレーム、またはかなり多数のインターコード化ＭＢを有するＰフレームからのインターコード化ＭＢに対して、ＰデータＲＯＩプロセッサ５４は、ＣＢＰベースのＲＯＩマスク発生器５８と、動きおよび色ベースのＲＯＩマスクリファイナー６０とを適用する。ＩフレームドメインおよびＰフレームドメインにおける、ハイブリッドの、２段階のＲＯＩ検出は、例えば、ＣＢＰ情報を使用して速く一巡する検出を行うなどの、スケーラビリティの利点を有していてもよい。

イントラコード化データの処理に対して、色ベースのＲＯＩマスク発生器６２は、ビットストリームドメインにおけるビデオフレームを解析し、ＲＯＩを示す粗いＲＯＩ“マスク”を生成させる。色ベースのＲＯＩマスク発生器６２は、ビデオフレームのクロマＤＣ成分に基づいてＲＯＩマクロブロック（ＭＢ）を識別するように構成されていてもよい。肌領域のクロマ成分は、色空間中の特定領域の範囲に入る。この情報を用いて、所定のＭＢ中のＣｒ（赤クロミナンス）およびＣｂ（青クロミナンス）のブロックのＤＣ値に対して適用できるしきい値を生成できる。所定のＭＢ中のＣｒおよびＣｂのブロックのＤＣ値が、所定の肌の色合いの範囲内に入る場合、ＭＢは“１”によりマークされ、ＭＢがＲＯＩの一部であることが示される。

例えば、
Ｔｈ＿Ｃｒ＿ｌｏｗ＜ＤＣ（Ｃｒ）＜Ｔｈ＿Ｃｒ＿ｈｉｇｈ
Ｔｈ＿Ｃｂ＿ｌｏｗ＜ＤＣ（Ｃｂ）＜Ｔｈ＿Ｃｂ＿ｈｉｇｈ
のように、ＣｒのＤＣ値であるＤＣ（Ｃｒ）が、低いＣｒの肌の色合いしきい値である、Ｔｈ＿Ｃｒ＿ｌｏｗと、高いＣｒの肌の色合いしきい値である、Ｔｈ＿Ｃｒ＿ｈｉｇｈとの間に入り、かつ、ＣｂのＤＣ値であるＤＣ（Ｃｂ）が、低いＣｂの肌の色合いしきい値である、Ｔｈ＿Ｃｂ＿ｌｏｗと、高いＣｂの肌の色合いしきい値である、Ｔｈ＿Ｃｂ＿ｈｉｇｈとの間に入る場合、ＭＢは、ＲＯＩの一部として、例えば、０の代わりに１によりマークされる。ＭＢが範囲から外れる場合、ＭＢは、非ＲＯＩ ＭＢを示すゼロによりマークされる。この例は、肌の色合いの範囲または他の色の範囲の解析に基づいたＲＯＩ検出に関係する。ホワイトボード領域や、移動しているオブジェクトや、またはこれらに類似するもののような、異なるタイプのＲＯＩに対して、ＲＯＩ抽出のための（例えば、他の色のしきい値を含む）代替技術を適用してもよい。

したがって、この例において、色ベースのＲＯＩマスク発生器６２は、ビデオフレーム内のそれぞれのＭＢに対して１および０を割り当てるバイナリのＲＯＩマップを生成してもよい。いったんバイナリのＲＯＩマップがビデオフレームに対して取得されていると、色ベースのＲＯＩマスク発生器６２は、１がマークされている隣接するＭＢを有するクラスタを識別してもよい。色ベースのＲＯＩマスク発生器６２は、ｃｌｏｓｉｎｇ演算のようなモルフォロジー演算を使用してクラスタを埋める。すなわち、それぞれのクラスタが、０がマークされたＭＢを含んでいる場合、クラスタ内のすべてのＭＢがＲＯＩ内にあると一般に識別されるように、色ベースのＲＯＩマスク発生器６２は０を１に変更してもよい。クラスタの結果は、１組の可能性のあるＲＯＩ領域であり、１組の可能性のあるＲＯＩ領域は、形状ベースのＲＯＩマスクリファイナー６４によって提供されるような、プロセスの第２段階においてさらに正確にできる。

図５は、図４の色ベースのＲＯＩマスク発生器６２の例示的な動作を図示するフロー図である。図５中で示したように、色ベースのＲＯＩマスク発生器６２は、上述したように、しきい値の比較を適用する（６５）。特に、しきい値の比較は、所定のＭＢに対するＤＣクロマ値（クロマＤＣ）が低いクロマ値のしきい値Ｔｈ＿ｌｏｗと高いクロマ値のしきい値Ｔｈ＿ｈｉｇｈとによって規定される範囲内に入るかどうかを決定する。繰り返すが、上述したように、ＤＣクロマ値の比較は、赤クロミナンス（Ｃｒ）と青クロミナンス（Ｃｂ）とに対するＤＣクロマ値の別々の比較を伴っていてもよい。

ＭＢに対して、適用できるＤＣクロミナンス値が、適用できる範囲内に入る場合、色ベースのＲＯＩマスク発生器６２は、ＭＢがＲＯＩ ＭＢであると結論づけ、ＲＯＩの一部として、例えば“１”によりＭＢにマークする（６６）。ＭＢに対するＤＣクロミナンス値が適用できる範囲内でないことを比較が示す場合、色ベースのＲＯＩマスク発生器６２は、非ＲＯＩとして、例えば、“０”によりＭＢにマークする（６８）。ＲＯＩマーキングプロセスは、適用できるビデオフレーム中の各ＭＢに対して実行してもよく、ＲＯＩ中にあるか、またはＲＯＩ中にないか、のいずれかとしてＭＢを識別するＲＯＩマップを結果として生じさせる。

ＲＯＩマーキングプロセス（６５、６６、６８）が完了すると、色ベースのＲＯＩマスク発生器６２は、例えば、隣接するＭＢがＲＯＩとしてマークされている、ビデオフレーム内の領域のような、隣接するＲＯＩ領域を発見する（７０）。隣接する領域は、小さい穴を生成させる、ＲＯＩとして識別されていないいくつかのＭＢを含んでいてもよい。このケースにおいて、色ベースのＲＯＩマスク発生器６２は、ｃｌｏｓｅ演算のようなモルフォロジー演算を使用して穴を埋める（７２）。ＲＯＩの隣接する領域中の非ＲＯＩ ＭＢのマーキングをＲＯＩ ＭＢとして変更することにより、例えば、隣接するＲＯＩ領域内に存在するＭＢに対して、非ＲＯＩの“０”フラグをＲＯＩの“１”フラグに変更することにより、色ベースのＲＯＩマスク発生器６２は穴を埋めてもよい。次に、色ベースのＲＯＩマスク発生器６２は、結果として生じるＭＢマップすなわち“マスク”を、Ｉフレーム処理のパスの次の段階に渡す。

特に、さらに図４を参照すると、色ベースのＲＯＩマスク発生器６２は、形状ベースのＲＯＩマスクリファイナー６４にＲＯＩを渡し、形状ベースのＲＯＩマスクリファイナー６４は、色ベースのＲＯＩマスク発生器６２によって規定された粗いＲＯＩを処理して、上質なＲＯＩマップを生成させる。図６は、図４のデコーダ側ＲＯＩモジュール４４のＩデータＲＯＩプロセッサ５６の第２段階を形成する形状ベースのＲＯＩマスクリファイナー６４の例示的な動作を図示するフロー図である。形状ベースのＲＯＩマスクリファイナー６４は、形状の制約を使用して、第１の段階において取得した粗いＲＯＩマップをさらに正確にする。形状の制約は、エッジの組み合わせ（例えば、ルーマおよびクロマのエッジの両方）、粗いＲＯＩ領域の周辺、および平滑でない内部に向けられてもよい。これらの制約は、望まれるＲＯＩ領域の予想される形状にしたがって修正できる。ＲＯＩが顔の領域である場合、顔の領域は通常、明確な境界を有しており、明確な境界は、ＲＯＩであるとして識別されるＭＢのクラスタの、すなわち、粗いＲＯＩ ＭＢクラスタの周囲のルーマおよびクロマのエッジの解析によって容易に識別できる。

顔領域の識別は、さまざまなエッジ検出技術のうちのいずれかを使用して実行できる。例えば、適切なエッジ検出技術は、Ｂ Ｓｈｅｎ氏、ＩＫ Ｓｅｔｈｉ氏らの“圧縮画像からの直接の特徴抽出”、ＳＰＩＥの会報、１９９６、１９９６年３月、第４０４頁ないし第４１４頁、ならびに、Ｗｅｎｙｉｎ Ｚｈａｎｇ氏、Ｊｉａｎｇｕｏ Ｔａｎｇ氏、およびＣｈａｏ Ｌｉ氏らの、“画像回復のための画像の凸角点の抽出”、ファジーシステムおよび知識発見２００５、ＬＮＡＩ３６１３、第５４７頁ないし第５５６頁、２００５年に記載されている。代わりに、ブロックが、指定された数の高周波数テクスチャ係数よりも多い高周波数テクスチャ係数を有する場合、粗いＲＯＩ ＭＢクラスタのエッジをブロックに関係付けるヒューリスティック技術を使用して、顔領域の識別を実行できる。エッジに加えて、顔は、色によりＲＯＩとして検出できる１切れの木に対して、内部を非平滑にさせる、眼、鼻、および他の造作を有することが予想される。したがって、高周波数係数を有するクラスタ中のＭＢの数をしきい値と比較することにより、非平滑の内部の制約を課すことができる。

図６中で示したように、１つの例において、形状ベースのＲＯＩマスクリファイナー６４は、粗いＲＯＩ ＭＢクラスタ内の高周波数係数を有する内部ＭＢのパーセンテージを決定してもよい（７５）。このパーセンテージは、α_intとして表してもよい。さらに、形状ベースのＲＯＩマスクリファイナー６４は、ルーマおよびクロマのエッジ内の周囲ＭＢのパーセンテージを決定してもよい。このパーセンテージは、α_perとして表してもよい。内部パーセンテージα_intが、適用できるしきい値Ｔｈ＿ｉｎｔよりも大きく、かつ、周囲パーセンテージα_perが適用できるしきい値Ｔｈ＿ｐｅｒよりも大きい場合（７８）、形状ベースのＲＯＩマスクリファイナー６４は、ＲＯＩクラスタとして、適用できるクラスタにラベルを付ける（８０）。パーセンテージの片方または両方が、関係するしきい値を超えていない場合（７８、８０）、形状ベースのＲＯＩマスクリファイナー６４は、非ＲＯＩクラスタとして、適用できるクラスタにラベルを付ける（８２）。

形状ベースのＲＯＩマスクリファイナー６４は、図６中で図示したプロセスをビデオフレーム中のそれぞれの粗いＲＯＩ ＭＢクラスタに適用し、それゆえに、色ベースのＲＯＩマスク発生器６２によって生成されたＲＯＩマップをさらに正確にして、上質なＲＯＩマップを生成させる。次に、形状ベースのＲＯＩマスクリファイナー６４は、上質なＲＯＩマップを決定融合ベースのＲＯＩマップ発生器６６（図４）に渡して、優先の、デコーディング、後処理、および／または誤り隠蔽を適用する際にデコーディングエンジン４６とポストプロセッサ４８とによって用いる最終的なＲＯＩマップを生成させる。決定融合ベースのＲＯＩマップ発生器６６は、ＩデータＲＯＩプロセッサ５６によって生成されたＲＯＩマップ、または、ＰデータＲＯＩプロセッサ５４によって生成されたＲＯＩマップを受け取り、現在のフレームがＩフレームであるか、または、Ｐフレームであるかに依存する適切なＲＯＩマップを出力する。結果として生じるＲＯＩマップは単に、例えば１および０のようなＲＯＩおよび非ＲＯＩのフラグを有するＭＢの別マップであってもよい。代わりに、ＲＯＩマップは、他の形態を有していてもよい。

いくつかのケースにおいて、決定融合は、ＰデータＲＯＩプロセッサ５４を経るビデオフレームのいくつかのＭＢと、ＩデータＲＯＩプロセッサ５６を経る同じビデオフレームの他のＭＢとの処理を取り扱うように構成されていてもよい。例えば、いくつかのＰフレームは、圧倒的多数のインターコード化ＭＢに加えて、かなりの数のイントラコード化ＭＢを有しているかもしれない。このケースにおいて、フレームタイプ検出器５２は、Ｐフレームがしきい値レベルよりも多いイントラコード化ＭＢを有しているかどうかを決定するように構成されていてもよい。そうである場合、所定のフレームに対するイントラコード化ＭＢをＩデータＲＯＩプロセッサ５６に渡すことができ、同じフレームに対するインターコード化ＭＢをＰデータＲＯＩプロセッサ５４に渡すことができる。決定融合ベースのＲＯＩマップ発生器６６は次に、両方の処理のパスから、すなわち、ＰデータＲＯＩプロセッサ５４およびＩデータＲＯＩプロセッサ５６から取得したＲＯＩ情報を使用して、結合されたＲＯＩマップを構成してもよい。特に、決定融合ベースのＲＯＩマップ発生器によって生成される、結合されたマップは、所定のフレームに対して、ＩデータＲＯＩプロセッサ５６によってイントラコード化ＭＢに適用されるマーキングと、ＰデータＲＯＩプロセッサ５４によってインターコード化ＭＢに適用されるＲＯＩマーキングとを含んでいてもよい。

さらに図４を参照すると、現在のビデオフレームがＰフレームであることをフレーム検出器５２が示す場合、ＰデータＲＯＩプロセッサ５４は、ビデオフレームに対して粗いＲＯＩマップと、上質なＲＯＩマップとを発生させる。ＣＢＰベースのＲＯＩマスク発生器５８が、ビデオフレームに関係付けられたコード化ブロックパターン（ＣＢＰ）を解析して、粗いＲＯＩを識別する。動きおよび色ベースのＲＯＩマスクリファイナー６０が次に、動きおよび色の制約を適用して、粗いＣＢＰベースのＲＯＩマップをさらに正確にする。したがって、ＰデータＲＯＩプロセッサ５４は、ＲＯＩマップの発生のために別々のパスを提供し、ＣＢＰベースのＲＯＩマスク発生器５８と、動きおよび色ベースのＲＯＩマスクリファイナー６０は、それぞれ、そのパスの第１および第２の段階を提供する。

ＣＢＰベースのＲＯＩマスク発生に対して、エンコーダ１８が動き推定において適度な働きを提供することを仮定してもよい。この方法において、動きベクトルが許容できる精度を少なくとも有すると仮定してもよい。ハーフ画素またはさらにクォータ画素のレベルの動き推定をサポートする、ＩＴＵ Ｈ．２６４規格に準拠するＣＯＤＥＣのような、現在の向上したビデオＣＯＤＥＣに対して、そのような仮定が可能である。さらに、テレビ電話通信のような、頭部および肩のＲＯＩビデオアップリケーションにおいて、ＲＯＩは一般に、動く頭部を含む。この設定において、顔の表情における変化は、エンコーダ１８によってコード化されるＣＢＰ値により有効に取り込むことができる。したがって、制約条件をＭＢのＣＢＰに課して、変化し、それゆえにいくつかの重要性を有する、フレームのエリアを決定できる。すなわち、ＣＢＰがＭＢにおいて実質的な変化を示す場合、ＣＢＰベースのＲＯＩマスク発生器５８は、そのような変化がおそらく顔の表情または頭部の動きを変化させることによりもたらされるという前提に基づいて、ＲＯＩの一部としてＭＢを識別する。コード化されていない、または最小限にコード化されている他のＭＢは、前のフレームと比較してあまり新しい情報を含んでおらず、ＲＯＩの計算に対して考慮する必要はない。

フレーム中の各ＭＢに対して、ＣＢＰは、４つのルーマブロックと、ＣｒおよびＣｂのブロックとを含む。以下の表１中で示したように、ルーマ（Ｙ）ブロックのうちの２つ以上がコード化されている場合、ＣＢＰベースのＲＯＩマスク発生器５８は、ＭＢのルーマをコード化すべきであると考える。表１中で示したスキームを使用して、ＣＢＰをランク付けすることができる。クラスタが最小数のＭＢよりも多いＭＢを含むという点でクラスタが大きい場合、ＣＢＰベースのＲＯＩマスク発生器５８は、ランク付けスキームを使用して、フレーム内の、上位２つのランクレベルに一致するＣＢＰを有するＭＢから、ＲＯＩクラスタを形成する。表１によれば、ＭＢがコード化された２つ以上のルーマブロックを有し、かつ、クロマブロック（ＣｂまたはＣｒ）の両方がコード化されている場合、ＭＢは１のランクを有する。２つ以上のルーマブロックがコード化されており、かつ、クロマブロックのうちの少なくとも１つがコード化されている場合、ＭＢは２のランクを有する。

所定のフレーム内の、２つの最も高いランクを有するＭＢだけが、ＲＯＩＭＢであると考えられる。例えば、フレーム中のＭＢに対するＣＢＰの２つの最も高いランクが１および２である場合、ＲＯＩ ＭＢとして指定されるために、ＭＢは、ランク１または２のＣＢＰを有していなければならない。別の例として、フレーム中のＭＢに対するＣＢＰの２つの最も高いランクが２および３である場合、ＲＯＩ ＭＢとして指定されるために、ＭＢは、ランク２または３のＣＢＰを有していなければならない。さらに、上述したように、大きなクラスタだけが、いくつかのランクにおいて考慮される。これらのクラスタは、モルフォロジー演算を使用して処理して、穴を閉じることができる。クラスタ中のＭＢは、“１”によりマークされ、それらが最初の粗いＲＯＩの一部であることが示される。例えば、特定のフレームに対して、２つの最も高いランクより下のより低いランクを有する他のＭＢは、“０”によりマークされ、非ＲＯＩ ＭＢであることが示される。

図７は、図４のＣＢＰベースのＲＯＩマスク発生器５８の動作を図示するフロー図である。図７中で示したように、ＣＢＰベースのＲＯＩマスク発生器５８は、表１におけるスキームにしたがって、所定のＭＢに対してＣＢＰランクを関係付ける（８１）。所定のフレーム中の２つの最も高いランクが考慮され、フレームごとに追跡される（８３）。例えば、ランク２、３、および４のＭＢを有する大きなクラスタがある場合、上位２つのランク（２および３）を有するクラスタがＲＯＩクラスタとして指定される。したがって、ＲＯＩとしてＭＢに資格を与える最も高い２つのランクは、常にランク１および２である必要はない。むしろ、最も高い２つのランクは、コンテンツにしたがってフレームごとに異なっていてもよい。また、２つの最も高いランクを指定するために、ＭＢの大きなクラスタが考慮される。例えば、フレームが、ランク１を有する少ない数のＭＢだけを含む、すなわち、クラスタを含まないか、または小さいクラスタを含む場合、上位のランクは、１であると宣言されない。むしろ、この例において、所定のフレームに対して上位２つのランクを設定する目的を考えるために、いくつかのＭＢは所定のランクを有していなければならない。

ＭＢが上位２つのＣＢＰランクのうちの１つを有する場合（８４）、ＣＢＰベースのＲＯＩマスク発生器５８は、例えば、“１”により、ＲＯＩ ＭＢとしてＭＢにマークする。ＭＢが上位２つのランクよりも低いＣＢＰを有する場合、ＭＢは、例えば“０”フラグにより、非ＲＯＩとしてマークされる（８６）。ＣＢＰベースのＲＯＩマスク発生器５８は、フレームに対する上位２つのＣＢＰランクと関連して、ＭＢの、適用できるＣＢＰに基づいて、ビデオフレーム中のＭＢのそれぞれにＲＯＩまたは非ＲＯＩとしてマークすることを続ける。すべてのＭＢがマークされた後、ＣＢＰベースのＲＯＩマスク発生器５８は、隣接するＲＯＩ領域を、すなわち、隣接するＭＢがＲＯＩ ＭＢとしてマークされている領域を発見し、クローズ機能のようなモルフォロジー演算を使用して、隣接する領域におけるいくつかの穴を埋める（９０）。この時点で、ＣＢＰベースのＲＯＩマスク発生器５８は、さらなる改善のために、結果として生じる粗いＲＯＩマップを動きおよび色ベースのＲＯＩマスクリファイナー６０に渡す。

動きおよび色ベースのＲＯＩマスクリファイナー６０は、ＤＣクロマ値と動きベクトルの一貫性とを使用して、ＣＢＰベースのマスク発生器５８からのＲＯＩをさらに正確にすることができる。例えば、前のフレームからの動き補償されたＤＣクロマ値を使用して、動きおよび色ベースのＲＯＩマスクリファイナー６０は、指定された肌の色合い範囲に適合する色を有するＭＢをサーチできる。さらに、人間の顔の領域におけるＭＢの大部分は、それらが空間を通る３Ｄ剛体の動きにより生成されていることから、類似の動きを経験すると仮定することが合理的である。回転の動きに対して、動きベクトルの大きさは異なるかもしれないが、角度は類似であることから、動きはおおよそ、同じ方向であり、または同じ程度である。例外は、口の領域、および、眼または他の顔の造作のまわりである。しかしながら、ＲＯＩマスクリファイナー６０は、大部分のブロックの動きの一貫性を評価し、それらが類似していることを保証できる。

例えば、ＲＯＩマスクリファイナー６０は、粗いＲＯＩ ＭＢクラスタ中の動きベクトルの角度および大きさの標準偏差を計算し、それが平均と比較して小さいことを保証してもよい。１つの例において、例えば、［σ_angle／μ_angle＜０．２］または［σ_mag／μ_mag＜０．２］のように、動きベクトルの角度に対する標準偏差σ_angleと、動きベクトルの角度の平均μ_angleとの比が０．２によりも小さいことを、または、動きベクトルの大きさに対する標準偏差σ_magと、動きベクトルの大きさの平均μ_magとの比が０．２よりも小さいことを検証することにより、この動作を表してもよい。ＤＣクロマ値と、動きベクトル（ＭＶ）の一貫性とを使用して、ＲＯＩマスクリファイナー６０は、上質なＭＢ ＲＯＩにおいて粗いＭＢを保持するか、またはＭＢのステータスを非ＲＯＩに変更するかを決定する。

図８は、動きおよび色ベースのＲＯＩマスクリファイナー６０の動作を図示するフロー図である。図８中で示したように、ＲＯＩマスクリファイナー６０は、範囲における、すなわち、低いしきい値Ｔｈ＿ｌｏｗと高いしきい値Ｔｈ＿ｈｉｇｈとの間のＤＣクロマ値を有する、クラスタ中のＭＢのパーセンテージ（β＿ｃｏｌｏｒ）（９４）を決定するように構成されていてもよい。さらにＲＯＩマスクリファイナー６０は、例えば、動きベクトルの角度に対する標準偏差σ_angleと、動きベクトルの角度の平均μ_angleとの比が０．２よりも小さいような範囲のＭＶの一貫性を有するＭＢのパーセンテージ（β＿ａｎｇｌｅ）（９６）を決定するように構成されていてもよい。β＿ｃｏｌｏｒが、適用できるＤＣクロマ値のしきい値（Ｔｈ＿ｃｏｌｏｒ）より大きく、かつ、β＿ａｎｇｌｅが、適用できるＭＶの一貫性（Ｔｈ＿ａｎｇｌｅ）より大きい場合、ＲＯＩマスクリファイナー６０は、クラスタがＲＯＩとしてラベル付けすべきであることを確認する（１００）。そうでない場合、ＲＯＩマスクリファイナー６０は、クラスタを非ＲＯＩとして再ラベル付けする（１０２）。

ＲＯＩマスクリファイナー６０は、ビデオフレーム内の、粗いＲＯＩクラスタとしてラベル付けされている各クラスタに対して、このプロセスを実行する。結果は、ＲＯＩの範囲に入るＭＢのクラスタを識別する上質なＲＯＩマップである。動きおよび色ベースのＲＯＩマスクリファイナー６０は、決定融合ベースのＲＯＩマップ発生器６６に対して、さらに正確にされたＲＯＩマップを渡す。決定融合ベースのＲＯＩマップ発生器６６は、デコーディングエンジン４６とポストプロセッサ４８とにより用いる最終的なＲＯＩマップを生成させる。特に、デコーディングエンジン４６およびポストプロセッサ４８は、ＲＯＩマップにより識別されるＲＯＩ ＭＢに、優先の、デコーディング、後処理、および／または誤り隠蔽を適用して、非ＲＯＩ ＭＢに対して視覚品質を向上させる。

図４を参照すると、ビットストリームドメインにおけるＲＯＩ抽出がおそらく信頼できるものであることをＲＯＩ信頼性解析器５１が示す場合、ＰデータＲＯＩプロセッサ５４およびＩデータＲＯＩプロセッサ５６はビデオフレームを処理して、ＲＯＩを検出し、ＲＯＩマップを構築する。しかしながら、ビットストリームドメインにおけるＲＯＩ抽出がおそらく信頼できないものである場合、画素ドメインＲＯＩ検出器５３が画素ドメインにおいてＲＯＩ抽出を実行する。例えば、画素ドメインＲＯＩ検出器５３は、デコーディングエンジン４６と対話して、デコード化された画素ドメインのビデオデータを受け取る。デコーディングエンジン４６は、エンコード化されたビデオビットストリームのデコーディングを実行し、画素ドメインＲＯＩ検出器５３によって使用される画素ドメインデータを生成する。

画素ドメインＲＯＩ検出器５３は、デコーディングエンジン４６から取得した画素データを使用して、肌の色合い検出または他の技術を適用してＲＯＩを識別する。さらに、画素ドメインＲＯＩ検出器５３は、形状ベースの動作を適用して、最初の肌の色合いベースのＲＯＩマップをさらに正確にするか、または検証してもよい。ポストプロセッサ４８は、ＲＯＩ検出器５３から画素ドメインのＲＯＩマップを受け取り、マップを使用して、優先の、後処理、および／または誤り隠蔽を適用する。したがって、画素ドメインのＲＯＩ解析が要求されるとき、エンコード化されたビデオはデコード化されて、画素ドメインデータが生成される。したがって、画素ドメインのＲＯＩ検出がビデオフレームに対して要求されるとき、優先デコーディングは可能でないかもしれない。しかしながら、後処理、誤り隠蔽、またはその両方により、利益はそれでもなお得られるだろう。

画素ドメイン検出器５３によって、さまざまな画素ドメインのＲＯＩ検出技術のうちのいずれかを適用してもよい。一般に、画素ドメインのＲＯＩ検出は、ビットストリームドメインのＲＯＩ検出よりも計算量が多く、電力消費を増加させる。したがって、ビットストリームのＲＯＩ検出が、複雑さおよび電力消費の観点から、より望ましい。しかしながら、ビットストリームドメインのＲＯＩ検出がおそらく許容できる結果を生成しないとき、ＲＯＩ信頼性解析器モジュール５１は、ビットストリームドメインのＲＯＩ検出から画素ドメインのＲＯＩ検出に切り換えることをデコーダ２４に生じさせる。この方法において、ＲＯＩ信頼性解析器は、視覚品質に対する、計算のオーバヘッドおよび電力消費のバランスをとる。

図９は、ビデオフレーム中の、ＲＯＩに対する例示的なマクロブロック（ＭＢ）マップを図示する図である。図９の例において、ＲＯＩ１０４は、人間の顔１０６に関係付けらており、顔の一部と少なくとも部分的にオーバラップする隣接ＭＢのグループを含んでいる。繰り返すが、複数の人間の顔を含む、他のオブジェクトまたは複数のオブジェクトが、ＲＯＩの主体であってもよい。しかしながら、人間の対話を伴うＶＴおよび他のアプリケーションに対して、人間の顔１０６をＲＯＩとして検出することが、最も一般に行われるだろう。ＲＯＩ１０４によって規定される境界内のＭＢは、例えば、“１”によりＲＯＩ ＭＢとしてマークされる。個々のＭＢは、図９中のグリッド線によって規定されるブロックにより識別される。ＲＯＩまたは非ＲＯＩのＭＢのいずれかとしてＭＢにマークすることにより、優先の、デコーディング、後処理、および／または誤り隠蔽をＲＯＩ ＭＢに適用して、視覚品質を向上させることができる。この方法において、観察者は、ＲＯＩの顔の表情または他の特性をよりよく観察することができる。

図９の図は、ＤＣクロマ値とＭＶの一貫性とを使用して、第１の段階からの、すなわち、ＣＢＰベースのＲＯＩマスク発生器５８からのＲＯＩを改善することを図示する。前のフレームＮ−１からの動き補償されたＤＣクロマ値を使用して、動きおよび色ベースのＲＯＩマスクリファイナー６０は、指定された肌の色合い範囲に適合する色を有する、現在のフレームＮ中のＭＢを識別する。これに基づき、ＲＯＩマスクリファイナー６０は、ＣＢＰランクに基づいてＣＢＰベースのＲＯＩマスク発生器によって識別されたＲＯＩ ＭＢのＲＯＩステータスを、クロマ値に基づいて、確認または変更する。

図１０は、ＰフレームにおけるＲＯＩの定義を図示する図である。図１０の図は、ＭＶの一貫性を使用するＲＯＩの改善を図示する。図１０の例において、フレームＮは、参照フレームＮ−１に依拠する。参照フレームＮ−１とフレームＮとの間に、人間の顔１０６の実質的な移動がある。動きベクトルＭＶは、フレームＮ中のブロック１０８Ａと、前のフレームＮ−１中の対応するＭＢ１０８Ｂとの間の動きを示す。動きおよび色ベースのＲＯＩマスクリファイナー６０は、ＭＢ１０８Ａと同じＲＯＩクラスタ内のＭＢに対するＭＶの一貫性を解析する。繰り返すが、顔全体が１つのオブジェクトとして移動する傾向があることから、顔１０６に対応するいずれのブロックの動きも類似するはずである。ＲＯＩ中のＭＢに対するＭＶの角度および大きさの標準偏差が、平均値と比較して小さい場合、ＭＶの一貫性が保証され、ＲＯＩ ＭＢは、ＲＯＩ ＭＢとして維持される。ＭＶの一貫性が存在しておらず、いくつかのＭＢのＭＶがアウトライアーであり、ＭＶの一貫性の欠如に寄与している場合には、それらのＭＢは非ＲＯＩ ＭＢとしてマークしてもよい。図１０Ｂ中の対応するＭＢ（ＣＭＢ）は、現在のフレームにおける考慮中のＭＢ１０８Ａに対して、例えば、２乗誤差に基づいて、最も近く適合している、前のフレーム中のＭＢである。動きは、ＭＢの長さ（１６画素）に必ずしも置き換えていないので、ＣＭＢは前のフレームのどこかに現れ得る。そのため、動きベクトルＭＶが既知である場合、現在のＭＢに最も類似しているように見える、前のフレーム中の位置を識別できる。

図１１Ａおよび１１Ｂは、第１のビデオシーンと、ビデオシーン中のおおよそのＲＯＩに対するＣＢＰの相関とを図示する図である。第１のビデオシーンは、母娘のビデオのテストシーケンからのフレームである。図１２Ａおよび１２Ｂは、第２のビデオシーンと、第２のビデオシーン中のおおよそのＲＯＩに対するＣＢＰの相関とを図示する図である。第２のビデオシーンは、映画のクリップである。図１３Ａおよび１３Ｂは、第３のビデオシーンと、第３のビデオシーン中のおおよそのＲＯＩに対するＣＢＰの相関とを図示する図である。第３のビデオシーンは、卓球のビデオのテストシーケンからのフレームである。図１１Ｂ、１２Ｂ、および１３Ｂは、それぞれ、図１１Ａ、１２Ａ、および１３Ｂ中のビデオフレームに対するＣＢＰマップを描写する。

図１１Ａにおいて、母娘のビデオのテストシーケンからのフレームは、可能性のあるＲＯＩ検出に対して２つの顔の領域を含んでいる。図４のＣＢＰベースのＲＯＩマスク発生器に関して記述したように、ＣＢＰベースのＲＯＩ検出を適用すると、図１１Ａのフレームに対するエンコード化されたビデオは、図１１Ｂ中で示すようなＣＢＰマップを生成させる。ＣＢＰマップにおいて、異なる陰影が付されているブロックは、異なるＣＢＰに対応し、ＲＯＩマップにおけるランク付けおよび包含のために、表１中のＣＢＰと比較できる。例えば、図１１Ｂは、Ｙのコーディングに対応する第１の陰影（ランク３を有する）と、Ｙ、Ｃｂ、およびＣｒのコーディングに対応する第２の陰影（ランク１を有する）と、ＣｂおよびＣｒのコーディングに対応する第３の陰影と、動きがなく、それゆえに何もコード化されていないことを示す別の陰影（他のより低いランクを有する）とを有するさまざまなクラスタを示している。表１にしたがって、２つの最も高いランク、すなわちランク１またはランク３のうちの１つとして資格を得るＣＢＰを有するＭＢは、ＲＯＩ ＭＢとしてマークされる。

図１１Ａ、１１Ｂ、１２Ａ、１２Ｂ、１３Ａ、および１３Ｂは、本開示において記述した技術の設計において実施される仮定の妥当性を実証しており、それらは、ビットストリーム解析器を使用して実験的に確認された。Ｉフレームに対するＤＣクロマ値の使用は、フレームのサブサンプリングされたバージョンを使用する、画素ドメインからのＲＯＩの抽出に類似しており、そこでは、各ＭＢはそのＤＣ値によって置き換えられている。Ｐフレームに対して、おおよそのＲＯＩに対するＣＢＰの相関は、図１１Ａ、１１Ｂ、１２Ａ、１２Ｂ、１３Ａ、および１３Ｂから明白である。図１１Ｂにおいて、支配的なクラスタは、Ｙだけがコード化されていることから、表１からのランク３を有するＭＢによって形成されている。このクラスタは、フレーム中の母および娘の顔領域に対して強い相関性を示している。同様に、図１２Ｂにおいて、支配的なクラスタは、Ｙ、Ｃｂ、およびＣｒがコード化されているランク１のＭＢから形成されている。図１３Ｂにおいて、支配的なクラスタは、アスリートの全身であり、本開示において記述した技術が、顔の領域以外のＲＯＩを有効に検出できることを実証している。そのようなケースに対して、ＲＯＩマスクリファイナー６０によって提供される形状ベースの改善段階を変更して、顔ではないＲＯＩをさらに正確にすることができる。すなわち、ＲＯＩマスクリファイナー６０は、図１３Ｂの例における身体のような、望まれるオブジェクトに対して適合される、エッジおよび平滑でない内部の基準を使用してもよい。

図１４Ａ、１４Ｂ、および１４Ｃは、ビデオフレームのＲＯＩ中のＭＢに対する動きベクトルの一様性の点から動きベクトル（ＭＶ）の一貫性を図示するブロック図である。各図は、関係するＲＯＩ中のＭＢに関係付けられたＭＶの方向および大きさを示す矢印を伴う格子のＭＢを有するビデオフレームを描写する。図１４Ａは、フォアマンのビデオのテストシーケンスからのフレームの顔領域における大部分のＭＢに対する動きベクトルの一様性を示す。図１４Ｂは、母娘のビデオのテストシーケンスからのフレームの顔領域における大部分のＭＢに対する動きベクトルの一様性を示す。図１４Ａおよび１４Ｂにおいては、ＲＯＩにおいて、ＭＢのほとんどは、非常に類似したＭＶの方向および／または大きさを有する。図１４Ｃは、映画のクリップからのフレームにおけるＭＶの一貫性を示している。図１４Ｃの例において、ＲＯＩ、すなわち顔における動きベクトルの大きさおよび角度は、著しく異なってはいない。したがって、２段階のスキームにおいてＣＢＰと動きベクトルの一貫性との組み合わせを使用することにより、所定のフレームにおけるＲＯＩを効果的に識別できる。高いＱＰを有するフレームの場合、ほとんどのＭＢは、“コード化されない”可能性がある。このケースにおいて、ＣＢＰおよびＭＶの情報は信頼できず、提案した２段階スキームは失敗する可能性がある。したがって、これらのケースはＲＯＩ信頼性解析器において検出され、それにより、ビットストリームドメインのＲＯＩ抽出プロセス全体は、画素ドメインのＲＯＩ検出を優先するために回避される。

図１５は、図１のビデオデコーダ２４における、エンコーダ支援型ＲＯＩ抽出またはデコーダ専用ＲＯＩ抽出の選択的な起動を図示するフロー図である。図１５中で示すように、ビデオデコーダ２４は、エンコード化されたビデオビットストリームを受信し（１１２）、例えば、ＲＯＩ信号検出器モジュール４０（図３）により、ビットストリームがＲＯＩ支援信号、コードまたはパターンを含んでいるかどうかを決定する（１１４）。代わりに、以前に記述したように、ＲＯＩ支援信号、コードまたはパターンは、帯域外サイド情報において提供してもよい。ＲＯＩ支援信号が存在する場合（１１４）、デコーダ２４は、支援型ＲＯＩ抽出を適用する（１１８）。例えば、デコーダ２４は、エンコーダ１８または中間デバイスによって提供された、ＲＯＩ ＭＢマップまたは他の情報を利用する。代わりに、ＲＯＩ支援信号または情報が存在しない場合、例えば、図４ないし１０に関連して記述した技術にしたがって、デコーダ２４は、デコーダ側ＲＯＩ抽出を適用する（１１６）。いずれのケースにおいても、デコーダ２４は結果として生じるＲＯＩを使用して、優先の、デコーディング、後処理、および／または誤り隠蔽を、ビデオフレーム中のＲＯＩまたは非ＲＯＩエリアに適用する（１２０）。デコーディング、後処理、および／または誤り隠蔽を行うと、宛先デバイス１２はディスプレイ３８を駆動して（１２２）、デコード化されたビデオの視覚による表示を提供する。

図１６は、ＲＯＩ信頼性解析の適用と、ビットストリームベースのおよび画素ドメインのＲＯＩ抽出の選択的適用とを図示するフロー図である。図１６中で示した動作は、例えば、図４中で示したコンポーネントによって実現してもよい。エンコード化されたビデオフレームを受信し（１２６）、エンコーダのＲＯＩ支援が利用可能でないことを決定すると、デコーダ２４はＲＯＩ信頼性解析を適用して（１２８）、ビットストリームドメインのＲＯＩ抽出が信頼できるかどうかを決定する（１３０）。信頼できない場合、デコーダ２４はエンコード化されたビデオをデコード化し、画素ドメインのＲＯＩ抽出を、デコーディング動作から結果として生じる画素に適用する（１３９）。画素ドメインのＲＯＩ抽出（１３９）を使用して、デコーダ２４は、優先の、後処理、および／または誤り隠蔽をＲＯＩに適用し（１４０）、ディスプレイを駆動して（１３８）、結果として生じるビデオを提示する。

ビットストリームドメインのＲＯＩ抽出が信頼できると考えられる場合（１２８、１３０）、デコーダ２４はビットストリームベースのＲＯＩ抽出を適用する（１３２）。特に、デコーダ２４は、現在のフレームがＩフレームであるかどうかを決定する（１３３）。そうである場合、例えば、色ベースのＲＯＩマスク発生器６２により、デコーダ２４は色ベースのＲＯＩ抽出を適用する（１３４）。そうでない場合、フレームはＰ（またはＢ）フレームであり、例えば、ＣＢＰベースのＲＯＩマスク発生器５８により、デコーダ２４はＣＢＰベースのＲＯＩ抽出を適用する（１３５）。しかしながら、前に記述したように、Ｐフレームが多数のイントラコード化ＭＢを含んでいる場合、Ｐフレーム中のＩ ＭＢは、いくつかのケースにおいて色ベースのＲＯＩ抽出を受けてもよい（１３４）。デコーダ２４は第２の段階のＲＯＩ抽出を適用して、動作１３４および１３５にしたがって生成されたＲＯＩをさらに正確にしてもよい。例えば、本開示中で記述したように、形状ベースの、動きベースの、および／または色ベースの改善技術をＲＯＩに適用してもよい。各ケースにおいて、デコーダ２４は、優先の、デコーディング、後処理、および／または誤り隠蔽を、ビデオフレームのＲＯＩまたは非ＲＯＩエリアに適用し（１３６）、ディスプレイ１３８を駆動して、デコード化されたビデオを提示する（１３８）。

図１７は、ＩフレームおよびＰフレームに対して段階的に行われるＲＯＩ抽出技術の適用を図示するフロー図である。図１７中で示すように、ビデオフレームを受信すると（１４２）、デコーダ側ＲＯＩ抽出に対して、デコーダ２４は、フレームがＩフレームあるいはＰ（またはＢ）フレームであるかどうかを決定する（１４４）。Ｉフレームに対して、デコーダ２４は、第１の段階において色ベースのＲＯＩマスク発生器６２を適用して粗いＲＯＩを生成させ（１４６）、次に形状ベースのＲＯＩマスクリファイナー６４を適用して粗いＲＯＩをさらに正確にする。Ｐ（またはＢ）フレームに対して、デコーダ２４は、ＣＢＰベースのＲＯＩマスク発生器５８を適用して粗いＲＯＩを生成させ（１５０）、次に動きおよび色ベースのＲＯＩマスクリファイナー６０を適用して（１５２）、粗いＲＯＩをさらに正確にする。デコーダ２４は決定融合を適用して、ＩフレームパスまたはＰフレームパスからＲＯＩを選択し、あるいは、両方のパスからのＲＯＩ情報を組み合わせて、フレームに対するＲＯＩマップを発生させる（１５４）。

追加的に、または、代わりに、Ｐフレームがかなり多数のイントラコード化ＭＢを有するケースに対して決定融合を適用してもよい。このケースにおいて、フレームタイプ検出器５２が、Ｐフレームがしきい値レベルよりも多いイントラコード化ＭＢを有しているかどうかを決定するように構成されていてもよい。そうである場合、所定のフレームに対するイントラコード化ＭＢをＩデータＲＯＩプロセッサ５６に渡すことができ、同じフレームに対するインターコード化ＭＢをＰデータＲＯＩプロセッサ５４に渡すことができる。決定融合ベースのＲＯＩマップ発生器６６は、所定のフレームに対して、ＩデータＲＯＩプロセッサ５６によってイントラコード化ＭＢに適用されたＲＯＩマーキングと、ＰデータＲＯＩプロセッサ５４によってインターコード化ＭＢに適用されたＲＯＩマーキングとを使用して、ＲＯＩマップを構成してもよい。さらにいくつかの構成において、決定融合ベースのＲＯＩマップ発生器６６は、例えば、前のフレームからの過去のＲＯＩ情報を使用して、指定されたＲＯＩをさらに確認する知能を含んでいてもよい。いったんＲＯＩマップが利用可能となると（１５４）、デコーダは、優先の、デコーディング、後処理、および／または誤り隠蔽をＲＯＩに適用して（１５６）、ＲＯＩの視覚品質を向上させる。

本開示は、エンコーダの支援が利用可能であるかどうかを決定する技術と、デコーダ側ＲＯＩ検出技術とを含む、ＲＯＩ検出のためのさまざまな技術を記述する。デコーダ側ＲＯＩ検出技術は、ビットストリームドメインのＲＯＩ検出と、画素ドメインの検出と、ビットストリームドメインのＲＯＩ検出を使用するか、または画素ドメインの検出を使用するかを決定する信頼性解析のための技術とを含んでいてもよい。ビットストリームドメインのＲＯＩ検出は、インターコード化情報とイントラコード化情報とに対して、異なる技術を含んでいてもよく、ＣＢＰベースの、色ベースの、動きベースの、および形状ベースのＲＯＩ検出および改善を含む、２または複数の段階のＲＯＩ改善プロセスを含んでいてもよい。

優先の、デコーディング、後処理、および／または誤り隠蔽をＲＯＩに適用して、ＲＯＩの視覚品質を向上させてもよい。高複雑さデコーディングをＲＯＩ領域に用いることができ、低複雑さデコーディングを非ＲＯＩ領域に用いることができる、複雑さスケーラブルデコーダにおいて、ＲＯＩ領域に対する優先のデコーディングは有用となり得る。例えば、非ＲＯＩ領域において、例えば、Ｓ．Ｐｅｎｇ氏の“ＩＤＣＴデータプルーニングによる複雑さスケーラブルビデオデコーディング”、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ、２００１に記述されているように、ＩＤＣＴを計算する前に、ＤＣＴ係数を刈込むことができる。ビデオデコーディングの複雑さスケーラビリティは、ビデオフレームの非ＲＯＩエリアをデコーディングすることに関係する計算費用を節約し、ＲＯＩエリアのデコーディングに対してその計算費用の再配分を行うことができる。

エンコーダ１８がすでに優先のエンコーディングをＲＯＩに適用していることが既知であるか、またはおそらく知られるもとの考えられる場合、デコーダ２４は、代わりに、優先のデコーディングをビデオフレームの非ＲＯＩエリアに適用してもよい。非ＲＯＩエリアの優先処理は、例えば、送信機側における、より少ないエンコーディングビットによる低品質のエンコーディングを補償してもよい。すなわち、ＲＯＩがすでにエンコーダ側での優先処理化から利益を得ている場合、ＲＯＩエリアの代わりに非ＲＯＩエリアに対して追加の処理を当ててもよい。別の例として、優先のＲＯＩ処理がエンコーダ側で適用されているかどうかの決定または仮定に基づいて、デコーダ側で、ＲＯＩおよび非ＲＯＩに対して異なるレベルの処理を適用してもよい。優先エンコーディングをＲＯＩまたは非ＲＯＩに適用するかどうかを決定するために、デコーダ２４は、ＲＯＩおよび非ＲＯＩの量子化パラメータ（ＱＰ）値を解析するモジュールを含んでいてもよい。例えば、予め定められているしきい値により、非ＲＯＩ ＭＢの平均のＱＰが、ＲＯＩ ＭＢの平均のＱＰよりも小さく、非ＲＯＩの低品質の量子化が示される場合、デコーダ２４は、優先の処理がエンコーダまたはネットワーク中の中間デバイスにおいてＲＯＩに対してすでに適用されていることを合理的に結論付けてもよい。このケースにおいて、デコーダ２４は、優先の、デコーディング、後処理、および／または誤り隠蔽のような優先処理を、ビデオフレームの非ＲＯＩエリアに適用してもよい。したがって、上述したように、例えば、図１５、１６、および１７のボックス１２０、１３６、または１５６にしたがった、優先処理の適用はそれぞれ、ＲＯＩおよび非ＲＯＩにおける相対的な平均のＱＰ値のようないくつかの基準に基づいて、優先処理をＲＯＩまたは非ＲＯＩに適用するかどうかを決定することをさらに含んでいてもよい。１つの例において、デコーダ２４は、識別されたＲＯＩの量子化をビデオデータの非ＲＯＩエリアの量子化と比較し、比較がＲＯＩに対して非ＲＯＩの低品質の量子化を示す場合に非ＲＯＩを優先的に処理し、さもなければ、ＲＯＩを優先的に処理してもよい。例えば、デコーダ２４のポストプロセッサモジュール４８内で、または、デコーダ２４内の他の場所で、この機能を実行してもよい。

優先の後処理は、ＲＯＩに対する、または、代わりに非ＲＯＩエリアに対する、デリンギングや、カラーブリーディングの低減のような、高度な後処理スキームの選択的な適用を含んでいてもよい。例えば、そのような後処理スキームを、非ＲＯＩエリアではなくＲＯＩに対して選択的に適用してもよく、または逆に適用してもよく、その結果、そのような処理からより多くの利益を得るであろうエリアに対してより多くの処理リソースが当てられる。したがって、デコーダ側のリソースが限定されており、後処理が高価である状況において、後処理の動作をＲＯＩエリアに選択的に適用できる。これにより、画像の最も重要な領域においてアーティファクトが低減されることが保証される。例えば、カラーブリーディングの低減は、計算コストが高くなり得る。顔領域（すなわち、ＲＯＩ）のまわりにカラーブリーディングの低減を適用することにより、さもなければ支配的に見える色のアーティファクトを低減できる。シャープニングまたはデリンギングのような他の後処理を、ＲＯＩおよび／または非ＲＯＩエリアに対して選択的に適用してもよい。

観察者に対して最も重要なエリア中の、すなわちＲＯＩ中の誤りを削除するために、誤り隠蔽を優先的に適用してもよく、または、ＲＯＩが優先のエンコーダ側処理からすでに利益を得ている場合、非ＲＯＩエリアに対して誤り隠蔽を優先的に適用してもよい。所定のフレームおよび前のフレームのＲＯＩマップに関する知識は、高度な誤り隠蔽を実行する際に役立ち得る。所定のフレームにおけるパケット損失の程度次第で、誤り隠蔽技術は、繊細な動作から積極的な動作にわたっていてもよい。例えば、ＲＯＩの大部分が失われているように、誤りが深刻である場合、前のフレームを繰り返してもよい。代わりに、現在のフレーム中のＲＯＩのいくつかの部分が失われている場合、ＲＯＩを前のフレームからのＲＯＩと取り替えることができる。さらなる代替として、ＲＯＩ領域がパケット損失により著しく影響を受けていない場合、誤り隠蔽動作は、従来の空間的／時間的誤り隠蔽を実行することを含んでいてもよい。

各ケースにおいて、デコーダ側のＲＯＩ検出により、デコーダ２４はビデオフレームの最も視覚的に重要なエリアに、すなわちＲＯＩに追加の処理コストを当てることが可能になる。この方法において、デコーダ２４は、ＲＯＩを視覚的に向上させ、ユーザの全体的な観察体験を改善させるように設計された１つ以上の動作を適用できる。ビットストリームドメインのＲＯＩ抽出が信頼できるものであると考えられるとき、デコーダ２４は、画素ドメインのＲＯＩ抽出よりもはるかに少ない複雑さによりＲＯＩの視覚の向上を達成できる。視覚品質に対して、オーバヘッドの処理および電力消費のバランスを理知的にとる信頼性に基づいて、デコーダ２４は、ビットストリームドメインの、または画素ドメインのＲＯＩ抽出を選択的に適用するように構成できる。

ここで記述した技術は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合わせにおいて実現してもよい。ソフトウェアにおいて実現される場合、コンピュータ読み取り可能媒体上に記憶されているまたは送信されている１つ以上の命令またはコードによって少なくとも部分的に技術を実現してもよい。コンピュータ読み取り可能媒体は、コンピュータ記憶媒体、通信媒体、または両方を含んでいてもよく、１つの場所から別の場所にコンピュータプログラムの転送を容易にする任意の媒体を含んでいてもよい。記憶媒体は、コンピュータによってアクセスできる任意の利用可能な媒体であってもよい。

一例として、限定ではないが、そのようなコンピュータ読み取り可能媒体は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）のようなＲＡＭ、読み出し専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、ＲＯＭ、電気的に消去可能なプログラム可能読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ＣＤＲＯＭまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいは、命令またはデータ構造の形態で所望のプログラムを搬送または記憶するために使用でき、コンピュータによってアクセスできる他の任意の媒体のような、データ記憶媒体を備えることができる。

さらに、何らかの接続が、適切にコンピュータ読み取り可能媒体と呼ばれる。例えば、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または、赤外線や、無線や、マイクロ波のようなワイヤレス技術を使用して、ソフトウェアが、ウェブサイト、サーバ、または他のリモートの情報源から送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または、赤外線や、無線や、マイクロ波のようなワイヤレス技術は、媒体の定義に含まれる。ここで使用するとき、ディスクは、コンパクトディスク（ＣＤ）と、レーザーディスク（登録商標）と、光ディスクと、デジタルバーサタイルディスク（ＤＶＤ）と、フロッピー（登録商標）ディスクと、ブルーレイディスクとを含み、ディスクは通常、磁気的にデータを再生するが、さらにディスクは、例えば、レーザにより光学的にデータを再生する。上記の組み合わせもまた、コンピュータ読み取り可能媒体の範囲内に含まれるべきである。

コンピュータプログラムプロダクトのコンピュータ読み取り可能媒体に関係付けられるコードは、例えば、１つ以上の、デジタル信号プロセッサ（ＤＳＰ）、汎用目的マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラム可能論理アレイ（ＦＰＧＡ）、あるいは、他の等価回路またはディスクリート論理回路のような、１つ以上のプロセッサにより、コンピュータによって実行してもよい。いくつかの観点において、ここで記述した機能は、エンコーディングおよびデコーディングのために構成された、または、組み合わされたビデオエンコーダデコーダ（ＣＯＤＥＣ）中に組み込まれた、専用のソフトウェアモジュールまたはハードウェアモジュール内で提供してもよい。

さまざまな実施形態を記述してきた。これらのおよび他の実施形態は、以下の特許請求の範囲の範囲内である。

さまざまな実施形態を記述してきた。これらのおよび他の実施形態は、以下の特許請求の範囲の範囲内である。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］方法において、
関心領域（ＲＯＩ）識別を支援する情報が利用可能である場合に、第１のプロセスを適用して、エンコード化されたビデオデータ中のＲＯＩを識別することと、
前記ＲＯＩ識別を支援する情報が利用可能でない場合に、第２のプロセスを適用して、前記エンコード化されたビデオデータ中のＲＯＩを識別することとを含む方法。
［２］前記ＲＯＩ識別を支援する情報は、前記ＲＯＩ内に存在する前記エンコード化されたビデオデータの部分を識別する情報を含み、前記第１のプロセスは、前記情報に基づいて前記ＲＯＩを識別することを含む上記［１］記載の方法。
［３］前記第２のプロセスは、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して、前記エンコード化されたビデオデータの１つ以上の特性を解析して、ＲＯＩ識別の信頼性を決定することを含む上記［１］記載の方法。
［４］前記１つ以上の特性を解析することは、前記エンコード化されたビデオデータに対する１つ以上の量子化パラメータ（ＱＰ）値を解析することを含む上記［３］記載の方法。
［５］前記エンコード化されたビデオデータに対する１つ以上の量子化パラメータ（ＱＰ）値を解析することは、前記エンコード化されたビデオデータのルーマおよびクロマ成分に対する平均のＱＰ値を解析することを含み、前記平均のＱＰ値がしきい値を超えているとき、前記方法は許容できない信頼性を示すことをさらに含む上記［４］記載の方法。
［６］前記ＲＯＩを識別することは、前記決定された信頼性が許容できるとき、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して前記ＲＯＩを識別することと、前記決定された信頼性が許容できないとき、前記エンコード化されたビデオデータの画素ドメインの解析を使用して前記ＲＯＩを識別することとを含む上記［３］記載の方法。
［７］前記決定された信頼性が許容できるとき、前記ＲＯＩを識別することは、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して前記ＲＯＩを識別することを含み、前記ビットストリームドメインの解析を使用して前記ＲＯＩを識別することは、イントラコード化されたデータに対する、前記エンコード化されたビデオデータの色の特性に基づいて前記ＲＯＩを識別することを含む上記［３］記載の方法。
［８］前記ビットストリームドメインの解析を使用して前記ＲＯＩを識別することは、前記エンコード化されたビデオデータの形状の特性に基づいて、前記識別されたＲＯＩをさらに正確にすることをさらに含む上記［７］記載の方法。
［９］前記決定された信頼性が許容できるとき、前記ＲＯＩを識別することは、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して前記ＲＯＩを識別することを含み、前記ビットストリームドメインの解析を使用して前記ＲＯＩを識別することは、インターコード化されたデータに対する、前記エンコード化されたビデオデータのコード化ブロックパターン（ＣＢＰ）の特性に基づいて前記ＲＯＩを識別することを含む上記［３］記載の方法。
［１０］前記ビットストリームドメインの解析を使用して前記ＲＯＩを識別することは、前記エンコード化されたビデオデータの動きおよび色の特性に基づいて、前記識別されたＲＯＩをさらに正確にすることをさらに含む上記［９］記載の方法。
［１１］向上した後処理および向上した誤り隠蔽のうちの少なくとも１つを使用して、前記識別されたＲＯＩに基づいて、前記エンコード化されたビデオデータの部分を処理して、前記エンコード化されたビデオデータの他の部分に対してより高い視覚品質を生成させることをさらに含む上記［１］記載の方法。
［１２］前記識別されたＲＯＩの量子化を前記ビデオデータの非ＲＯＩエリアの量子化と比較することをさらに含み、前記処理は、前記比較が前記ＲＯＩに対して前記非ＲＯＩの低品質の量子化を示す場合、前記非ＲＯＩを処理することを、さもなければ、前記ＲＯＩを処理することを含む上記［１１］記載の方法。
［１３］方法において、
エンコード化されたビデオデータのビットストリームドメインの解析を使用して、前記エンコード化されたビデオデータの１つ以上の特性を解析して、関心領域（ＲＯＩ）識別の信頼性を決定することと、
前記決定された信頼性が許容できるとき、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して前記ＲＯＩを識別することと、
前記決定された信頼性が許容できないとき、前記エンコード化されたビデオデータの画素ドメインの解析を使用して前記ＲＯＩを識別することとを含む方法。
［１４］前記１つ以上の特性を解析することは、前記エンコード化されたビデオデータに対する１つ以上の量子化パラメータ（ＱＰ）値を解析することを含む上記［１３］記載の方法。
［１５］前記エンコード化されたビデオデータに対する１つ以上の量子化パラメータ（ＱＰ）値を解析することは、前記エンコード化されたビデオデータのルーマおよびクロマ成分に対する平均のＱＰ値を解析することを含み、前記平均のＱＰ値がしきい値を超えているとき、前記方法は許容できない信頼性を示すことをさらに含む上記［１４］記載の方法。
［１６］前記ビットストリームドメインの解析を使用して前記ＲＯＩを識別することは、イントラコード化されたデータに対する、前記エンコード化されたビデオデータの色の特性に基づいて前記ＲＯＩを識別することを含む上記［１３］記載の方法。
［１７］前記ビットストリームドメインの解析を使用して前記ＲＯＩを識別することは、前記エンコード化されたビデオデータの形状の特性に基づいて、前記識別されたＲＯＩをさらに正確にすることをさらに含む上記［１６］記載の方法。
［１８］前記ビットストリームドメインの解析を使用して前記ＲＯＩを識別することは、インターコード化されたデータに対する、前記エンコード化されたビデオデータのコード化ブロックパターン（ＣＢＰ）の特性に基づいて前記ＲＯＩを識別することを含む上記［１３］記載の方法。
［１９］前記ビットストリームドメインの解析を使用して前記ＲＯＩを識別することは、前記エンコード化されたビデオデータの動きおよび色の特性に基づいて、前記識別されたＲＯＩをさらに正確にすることをさらに含む上記［１８］記載の方法。
［２０］向上した後処理および向上した誤り隠蔽のうちの少なくとも１つを使用して、前記識別されたＲＯＩに基づいて、前記エンコード化されたビデオデータの部分を処理して、前記エンコード化されたビデオデータの他の部分に対してより高い視覚品質を生成させることをさらに含む上記［１３］記載の方法。
［２１］前記識別されたＲＯＩの量子化を前記ビデオデータの非ＲＯＩエリアの量子化と比較することをさらに含み、前記処理は、前記比較が前記ＲＯＩに対して前記非ＲＯＩの低品質の量子化を示す場合、前記非ＲＯＩを処理することを、さもなければ、前記ＲＯＩを処理することを含む上記［２０］記載の方法。
［２２］方法において、
イントラコード化されたデータに対する、エンコード化されたビデオデータの色の特性に基づいて、前記エンコード化されたビデオデータ中の関心領域（ＲＯＩ）を識別することと、
インターコード化されたデータに対する、前記エンコード化されたビデオデータのコード化ブロックパターン（ＣＢＰ）の特性に基づいて前記ＲＯＩを識別することとを含む方法。
［２３］イントラコード化されたデータに対する、前記エンコード化されたビデオデータの形状の特性に基づいて、前記ＲＯＩをさらに正確にすることをさらに含む上記［２２］記載の方法。
［２４］インターコード化されたデータに対する、前記エンコード化されたビデオデータの動きおよび色の特性に基づいて、前記識別されたＲＯＩをさらに正確にすることをさらに含む上記［２２］記載の方法。
［２５］向上した後処理および向上した誤り隠蔽のうちの少なくとも１つを前記識別されたＲＯＩに使用して、前記識別されたＲＯＩに基づいて、前記エンコード化されたビデオデータの部分を処理して、前記エンコード化されたビデオデータの他の部分に対してより高い視覚品質を生成させることをさらに含む上記［２２］記載の方法。
［２６］前記識別されたＲＯＩの量子化を前記ビデオデータの非ＲＯＩエリアの量子化と比較することをさらに含み、前記処理は、前記比較が前記ＲＯＩに対して前記非ＲＯＩの低品質の量子化を示す場合、前記非ＲＯＩを処理することを、さもなければ、前記ＲＯＩを処理することを含む上記［２５］記載の方法。
［２７］デバイスにおいて、
関心領域（ＲＯＩ）識別を支援する情報が利用可能である場合に、第１のプロセスを適用して、エンコード化されたビデオデータ中のＲＯＩを識別する第１のモジュールと、
前記ＲＯＩ識別を支援する情報が利用可能でない場合に、第２のプロセスを適用して、前記エンコード化されたビデオデータ中のＲＯＩを識別する第２のモジュールとを具備するデバイス。
［２８］前記ＲＯＩ識別を支援する情報は、前記ＲＯＩ内に存在する前記エンコード化されたビデオデータの部分を識別する情報を含み、前記第１のプロセスは、前記情報に基づいて前記ＲＯＩを識別することを含む上記［２７］記載のデバイス。
［２９］前記第２のモジュールは、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して、前記エンコード化されたビデオデータの１つ以上の特性を解析して、ＲＯＩ識別の信頼性を決定する上記［２７］記載のデバイス。
［３０］前記第２のモジュールによって解析される１つ以上の特性は、前記エンコード化されたビデオデータに対する１つ以上の量子化パラメータ（ＱＰ）値を含む上記［２９］記載のデバイス。
［３１］前記第２のモジュールは、前記エンコード化されたビデオデータのルーマおよびクロマ成分に対する平均のＱＰ値を解析し、前記平均のＱＰ値がしきい値を超えているとき、許容できない信頼性を示す上記［２９］記載のデバイス。
［３２］前記第２のモジュールは、前記決定された信頼性が許容できるとき、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して前記ＲＯＩを識別し、前記決定された信頼性が許容できないとき、前記エンコード化されたビデオデータの画素ドメインの解析を使用して前記ＲＯＩを識別する上記［２９］記載のデバイス。
［３３］前記決定された信頼性が許容できるとき、前記第２のモジュールは、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して前記ＲＯＩを識別し、イントラコード化されたデータに対する、前記エンコード化されたビデオデータの色の特性に基づいて前記ＲＯＩを識別する上記［２９］記載のデバイス。
［３４］前記第２のモジュールは、前記エンコード化されたビデオデータの形状の特性に基づいて、前記識別されたＲＯＩをさらに正確にする上記［３３］記載のデバイス。
［３５］前記決定された信頼性が許容できるとき、前記第２のモジュールは、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して前記ＲＯＩを識別し、インターコード化されたデータに対する前記エンコード化されたビデオデータのコード化ブロックパターン（ＣＢＰ）の特性に基づいて前記ＲＯＩを識別する上記［３３］記載のデバイス。
［３６］前記第２のモジュールは、前記エンコード化されたビデオデータの動きおよび色の特性に基づいて、前記識別されたＲＯＩをさらに正確にする上記［３５］請求項３５記載のデバイス。
［３７］向上した後処理および向上した誤り隠蔽のうちの少なくとも１つを使用して、前記識別されたＲＯＩに基づいて、前記エンコード化されたビデオデータの部分を処理して、前記エンコード化されたビデオデータの他の部分に対してより高い視覚品質を生成させるポストプロセッサモジュールをさらに具備する上記［２７］記載のデバイス。
［３８］前記ポストプロセッサモジュールは、前記識別されたＲＯＩの量子化を前記ビデオデータの非ＲＯＩエリアの量子化と比較し、前記比較が前記ＲＯＩに対して前記非ＲＯＩの低品質の量子化を示す場合、前記非ＲＯＩを処理し、さもなければ、前記ＲＯＩを処理する上記［３７］記載のデバイス。
［３９］デバイスにおいて、
エンコード化されたビデオデータのビットストリームドメインの解析を使用して、前記エンコード化されたビデオデータの１つ以上の特性を解析して、関心領域（ＲＯＩ）識別の信頼性を決定する第１のモジュールと、
前記決定された信頼性が許容できるとき、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して前記ＲＯＩを識別する第２のモジュールと、
前記決定された信頼性が許容できないとき、前記エンコード化されたビデオデータの画素ドメインの解析を使用して前記ＲＯＩを識別する第３のモジュールとを具備するデバイス。
［４０］前記第１のモジュールによって解析される１つ以上の特性は、前記エンコード化されたビデオデータに対する１つ以上の量子化パラメータ（ＱＰ）値を含む上記［３９］記載のデバイス。
［４１］前記第１のモジュールは、前記エンコード化されたビデオデータのルーマおよびクロマ成分に対する平均のＱＰ値を解析し、前記平均のＱＰ値がしきい値を超えているとき、許容できない信頼性を示す上記［４０］記載のデバイス。
［４２］前記第２のモジュールは、イントラコード化されたデータに対する、前記エンコード化されたビデオデータの色の特性に基づいて前記ＲＯＩを識別する上記［３９］記載のデバイス。
［４３］前記第２のモジュールは、前記エンコード化されたビデオデータの形状の特性に基づいて、前記識別されたＲＯＩをさらに正確にする上記［４２］記載のデバイス。
［４４］前記第２のモジュールは、インターコード化されたデータに対する、前記エンコード化されたビデオデータのコード化ブロックパターン（ＣＢＰ）の特性に基づいて前記ＲＯＩを識別する上記［３９］記載のデバイス。
［４５］前記第２のモジュールは、前記エンコード化されたビデオデータの動きおよび色の特性に基づいて、前記識別されたＲＯＩをさらに正確にする上記［４４］記載のデバイス。
［４６］向上した後処理および向上した誤り隠蔽のうちの少なくとも１つを使用して、前記識別されたＲＯＩに基づいて、前記エンコード化されたビデオデータの部分を処理して、前記エンコード化されたビデオデータの他の部分に対してより高い視覚品質を生成させる後処理モジュールをさらに具備する上記［３９］記載のデバイス。
［４７］前記ポストプロセッサモジュールは、前記識別されたＲＯＩの量子化を前記ビデオデータの非ＲＯＩエリアの量子化と比較し、前記比較が前記ＲＯＩに対して前記非ＲＯＩの低品質の量子化を示す場合、前記非ＲＯＩを処理し、さもなければ、前記ＲＯＩを処理する上記［４６］記載のデバイス。
［４８］イントラコード化されたデータに対する、エンコード化されたビデオデータの色の特性に基づいて、前記エンコード化されたビデオデータ中の関心領域（ＲＯＩ）を識別する第１のモジュールと、
インターコード化されたデータに対する、前記エンコード化されたビデオデータのコード化ブロックパターン（ＣＢＰ）の特性に基づいて前記ＲＯＩを識別する第２のモジュールとを具備するデバイス。
［４９］前記第１のモジュールは、イントラコード化されたデータに対する、前記エンコード化されたビデオデータの形状の特性に基づいて、前記ＲＯＩをさらに正確にする上記［４８］記載のデバイス。
［５０］前記第２のモジュールは、インターコード化されたデータに対する、前記エンコード化されたビデオデータの動きおよび色の特性に基づいて、前記識別されたＲＯＩをさらに正確にする上記［４８］記載のデバイス。
［５１］向上した後処理および向上した誤り隠蔽のうちの少なくとも１つを使用して、前記識別されたＲＯＩに基づいて、前記エンコード化されたビデオデータの部分を処理して、前記エンコード化されたビデオデータの他の部分に対してより高い視覚品質を生成させる後処理モジュールをさらに具備する上記［４８］記載のデバイス。
［５２］前記ポストプロセッサモジュールは、前記識別されたＲＯＩの量子化を前記ビデオデータの非ＲＯＩエリアの量子化と比較し、前記比較が前記ＲＯＩに対して前記非ＲＯＩの低品質の量子化を示す場合、前記非ＲＯＩを処理し、さもなければ、前記ＲＯＩを処理する上記［５１］記載のデバイス。
［５３］デバイスにおいて、
エンコード化されたビデオデータを受信する手段と、
関心領域（ＲＯＩ）識別を支援する情報が利用可能である場合に、第１のプロセスを適用して、前記エンコード化されたビデオデータ中のＲＯＩを識別する手段と、
前記ＲＯＩ識別を支援する情報が利用可能でない場合に、第２のプロセスを適用して、前記エンコード化されたビデオデータ中のＲＯＩを識別する手段とを具備するデバイス。
［５４］デバイスにおいて、
エンコード化されたビデオデータのビットストリームドメインの解析を使用して、前記エンコード化されたビデオデータの１つ以上の特性を解析して、関心領域（ＲＯＩ）識別の信頼性を決定する手段と、
前記決定された信頼性が許容できるとき、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して前記ＲＯＩを識別する手段と、
前記決定された信頼性が許容できないとき、前記エンコード化されたビデオデータの画素ドメインの解析を使用して前記ＲＯＩを識別する手段とを具備するデバイス。
［５５］デバイスにおいて、
イントラコード化されたデータに対する、エンコード化されたビデオデータの色の特性に基づいて、前記エンコード化されたビデオデータ中の関心領域（ＲＯＩ）を識別する手段と、
インターコード化されたデータに対する、前記エンコード化されたビデオデータのコード化ブロックパターン（ＣＢＰ）の特性に基づいて前記ＲＯＩを識別する手段とを具備するデバイス。
［５６］コンピュータ読み取り可能媒体において、
エンコード化されたビデオデータを受信することと、
関心領域（ＲＯＩ）識別を支援する情報が利用可能である場合に、第１のプロセスを適用して、前記エンコード化されたビデオデータ中のＲＯＩを識別することと、
前記ＲＯＩ識別を支援する情報が利用可能でない場合に、第２のプロセスを適用して、前記エンコード化されたビデオデータ中のＲＯＩを識別することと、
をプロセッサに生じさせる命令を具備するコンピュータ読み取り可能媒体。
［５７］コンピュータ読み取り可能媒体において、
エンコード化されたビデオデータのビットストリームドメインの解析を使用して、前記エンコード化されたビデオデータの１つ以上の特性を解析して、関心領域（ＲＯＩ）識別の信頼性を決定することと、
前記決定された信頼性が許容できるとき、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して前記ＲＯＩを識別することと、
前記決定された信頼性が許容できないとき、前記エンコード化されたビデオデータの画素ドメインの解析を使用して前記ＲＯＩを識別することと、
をプロセッサに生じさせる命令を具備するコンピュータ読み取り可能媒体。
［５８］コンピュータ読み取り可能媒体において、
イントラコード化されたデータに対する、エンコード化されたビデオデータの色の特性に基づいて、前記エンコード化されたビデオデータ中の関心領域（ＲＯＩ）を識別することと、
インターコード化されたデータに対する、前記エンコード化されたビデオデータのコード化ブロックパターン（ＣＢＰ）の特性に基づいて前記ＲＯＩを識別することと、
をプロセッサに生じさせる命令を具備するコンピュータ読み取り可能媒体。

Claims (58)

1. 方法において、
   関心領域（ＲＯＩ）識別を支援する情報が利用可能である場合に、第１のプロセスを適用して、エンコード化されたビデオデータ中のＲＯＩを識別することと、
   前記ＲＯＩ識別を支援する情報が利用可能でない場合に、第２のプロセスを適用して、前記エンコード化されたビデオデータ中のＲＯＩを識別することとを含む方法。
2. 前記ＲＯＩ識別を支援する情報は、前記ＲＯＩ内に存在する前記エンコード化されたビデオデータの部分を識別する情報を含み、前記第１のプロセスは、前記情報に基づいて前記ＲＯＩを識別することを含む請求項１記載の方法。
3. 前記第２のプロセスは、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して、前記エンコード化されたビデオデータの１つ以上の特性を解析して、ＲＯＩ識別の信頼性を決定することを含む請求項１記載の方法。
4. 前記１つ以上の特性を解析することは、前記エンコード化されたビデオデータに対する１つ以上の量子化パラメータ（ＱＰ）値を解析することを含む請求項３記載の方法。
5. 前記エンコード化されたビデオデータに対する１つ以上の量子化パラメータ（ＱＰ）値を解析することは、前記エンコード化されたビデオデータのルーマおよびクロマ成分に対する平均のＱＰ値を解析することを含み、前記平均のＱＰ値がしきい値を超えているとき、前記方法は許容できない信頼性を示すことをさらに含む請求項４記載の方法。
6. 前記ＲＯＩを識別することは、前記決定された信頼性が許容できるとき、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して前記ＲＯＩを識別することと、前記決定された信頼性が許容できないとき、前記エンコード化されたビデオデータの画素ドメインの解析を使用して前記ＲＯＩを識別することとを含む請求項３記載の方法。
7. 前記決定された信頼性が許容できるとき、前記ＲＯＩを識別することは、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して前記ＲＯＩを識別することを含み、前記ビットストリームドメインの解析を使用して前記ＲＯＩを識別することは、イントラコード化されたデータに対する、前記エンコード化されたビデオデータの色の特性に基づいて前記ＲＯＩを識別することを含む請求項３記載の方法。
8. 前記ビットストリームドメインの解析を使用して前記ＲＯＩを識別することは、前記エンコード化されたビデオデータの形状の特性に基づいて、前記識別されたＲＯＩをさらに正確にすることをさらに含む請求項７記載の方法。
9. 前記決定された信頼性が許容できるとき、前記ＲＯＩを識別することは、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して前記ＲＯＩを識別することを含み、前記ビットストリームドメインの解析を使用して前記ＲＯＩを識別することは、インターコード化されたデータに対する、前記エンコード化されたビデオデータのコード化ブロックパターン（ＣＢＰ）の特性に基づいて前記ＲＯＩを識別することを含む請求項３記載の方法。
10. 前記ビットストリームドメインの解析を使用して前記ＲＯＩを識別することは、前記エンコード化されたビデオデータの動きおよび色の特性に基づいて、前記識別されたＲＯＩをさらに正確にすることをさらに含む請求項９記載の方法。
11. 向上した後処理および向上した誤り隠蔽のうちの少なくとも１つを使用して、前記識別されたＲＯＩに基づいて、前記エンコード化されたビデオデータの部分を処理して、前記エンコード化されたビデオデータの他の部分に対してより高い視覚品質を生成させることをさらに含む請求項１記載の方法。
12. 前記識別されたＲＯＩの量子化を前記ビデオデータの非ＲＯＩエリアの量子化と比較することをさらに含み、前記処理は、前記比較が前記ＲＯＩに対して前記非ＲＯＩの低品質の量子化を示す場合、前記非ＲＯＩを処理することを、さもなければ、前記ＲＯＩを処理することを含む請求項１１記載の方法。
13. 方法において、
    エンコード化されたビデオデータのビットストリームドメインの解析を使用して、前記エンコード化されたビデオデータの１つ以上の特性を解析して、関心領域（ＲＯＩ）識別の信頼性を決定することと、
    前記決定された信頼性が許容できるとき、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して前記ＲＯＩを識別することと、
    前記決定された信頼性が許容できないとき、前記エンコード化されたビデオデータの画素ドメインの解析を使用して前記ＲＯＩを識別することとを含む方法。
14. 前記１つ以上の特性を解析することは、前記エンコード化されたビデオデータに対する１つ以上の量子化パラメータ（ＱＰ）値を解析することを含む請求項１３記載の方法。
15. 前記エンコード化されたビデオデータに対する１つ以上の量子化パラメータ（ＱＰ）値を解析することは、前記エンコード化されたビデオデータのルーマおよびクロマ成分に対する平均のＱＰ値を解析することを含み、前記平均のＱＰ値がしきい値を超えているとき、前記方法は許容できない信頼性を示すことをさらに含む請求項１４記載の方法。
16. 前記ビットストリームドメインの解析を使用して前記ＲＯＩを識別することは、イントラコード化されたデータに対する、前記エンコード化されたビデオデータの色の特性に基づいて前記ＲＯＩを識別することを含む請求項１３記載の方法。
17. 前記ビットストリームドメインの解析を使用して前記ＲＯＩを識別することは、前記エンコード化されたビデオデータの形状の特性に基づいて、前記識別されたＲＯＩをさらに正確にすることをさらに含む請求項１６記載の方法。
18. 前記ビットストリームドメインの解析を使用して前記ＲＯＩを識別することは、インターコード化されたデータに対する、前記エンコード化されたビデオデータのコード化ブロックパターン（ＣＢＰ）の特性に基づいて前記ＲＯＩを識別することを含む請求項１３記載の方法。
19. 前記ビットストリームドメインの解析を使用して前記ＲＯＩを識別することは、前記エンコード化されたビデオデータの動きおよび色の特性に基づいて、前記識別されたＲＯＩをさらに正確にすることをさらに含む請求項１８記載の方法。
20. 向上した後処理および向上した誤り隠蔽のうちの少なくとも１つを使用して、前記識別されたＲＯＩに基づいて、前記エンコード化されたビデオデータの部分を処理して、前記エンコード化されたビデオデータの他の部分に対してより高い視覚品質を生成させることをさらに含む請求項１３記載の方法。
21. 前記識別されたＲＯＩの量子化を前記ビデオデータの非ＲＯＩエリアの量子化と比較することをさらに含み、前記処理は、前記比較が前記ＲＯＩに対して前記非ＲＯＩの低品質の量子化を示す場合、前記非ＲＯＩを処理することを、さもなければ、前記ＲＯＩを処理することを含む請求項２０記載の方法。
22. 方法において、
    イントラコード化されたデータに対する、エンコード化されたビデオデータの色の特性に基づいて、前記エンコード化されたビデオデータ中の関心領域（ＲＯＩ）を識別することと、
    インターコード化されたデータに対する、前記エンコード化されたビデオデータのコード化ブロックパターン（ＣＢＰ）の特性に基づいて前記ＲＯＩを識別することとを含む方法。
23. イントラコード化されたデータに対する、前記エンコード化されたビデオデータの形状の特性に基づいて、前記ＲＯＩをさらに正確にすることをさらに含む請求項２２記載の方法。
24. インターコード化されたデータに対する、前記エンコード化されたビデオデータの動きおよび色の特性に基づいて、前記識別されたＲＯＩをさらに正確にすることをさらに含む請求項２２記載の方法。
25. 向上した後処理および向上した誤り隠蔽のうちの少なくとも１つを前記識別されたＲＯＩに使用して、前記識別されたＲＯＩに基づいて、前記エンコード化されたビデオデータの部分を処理して、前記エンコード化されたビデオデータの他の部分に対してより高い視覚品質を生成させることをさらに含む請求項２２記載の方法。
26. 前記識別されたＲＯＩの量子化を前記ビデオデータの非ＲＯＩエリアの量子化と比較することをさらに含み、前記処理は、前記比較が前記ＲＯＩに対して前記非ＲＯＩの低品質の量子化を示す場合、前記非ＲＯＩを処理することを、さもなければ、前記ＲＯＩを処理することを含む請求項２５記載の方法。
27. デバイスにおいて、
    関心領域（ＲＯＩ）識別を支援する情報が利用可能である場合に、第１のプロセスを適用して、エンコード化されたビデオデータ中のＲＯＩを識別する第１のモジュールと、
    前記ＲＯＩ識別を支援する情報が利用可能でない場合に、第２のプロセスを適用して、前記エンコード化されたビデオデータ中のＲＯＩを識別する第２のモジュールとを具備するデバイス。
28. 前記ＲＯＩ識別を支援する情報は、前記ＲＯＩ内に存在する前記エンコード化されたビデオデータの部分を識別する情報を含み、前記第１のプロセスは、前記情報に基づいて前記ＲＯＩを識別することを含む請求項２７記載のデバイス。
29. 前記第２のモジュールは、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して、前記エンコード化されたビデオデータの１つ以上の特性を解析して、ＲＯＩ識別の信頼性を決定する請求項２７記載のデバイス。
30. 前記第２のモジュールによって解析される１つ以上の特性は、前記エンコード化されたビデオデータに対する１つ以上の量子化パラメータ（ＱＰ）値を含む請求項２９記載のデバイス。
31. 前記第２のモジュールは、前記エンコード化されたビデオデータのルーマおよびクロマ成分に対する平均のＱＰ値を解析し、前記平均のＱＰ値がしきい値を超えているとき、許容できない信頼性を示す請求項２９記載のデバイス。
32. 前記第２のモジュールは、前記決定された信頼性が許容できるとき、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して前記ＲＯＩを識別し、前記決定された信頼性が許容できないとき、前記エンコード化されたビデオデータの画素ドメインの解析を使用して前記ＲＯＩを識別する請求項２９記載のデバイス。
33. 前記決定された信頼性が許容できるとき、前記第２のモジュールは、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して前記ＲＯＩを識別し、イントラコード化されたデータに対する、前記エンコード化されたビデオデータの色の特性に基づいて前記ＲＯＩを識別する請求項２９記載のデバイス。
34. 前記第２のモジュールは、前記エンコード化されたビデオデータの形状の特性に基づいて、前記識別されたＲＯＩをさらに正確にする請求項３３記載のデバイス。
35. 前記決定された信頼性が許容できるとき、前記第２のモジュールは、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して前記ＲＯＩを識別し、インターコード化されたデータに対する前記エンコード化されたビデオデータのコード化ブロックパターン（ＣＢＰ）の特性に基づいて前記ＲＯＩを識別する請求項３３記載のデバイス。
36. 前記第２のモジュールは、前記エンコード化されたビデオデータの動きおよび色の特性に基づいて、前記識別されたＲＯＩをさらに正確にする請求項３５記載のデバイス。
37. 向上した後処理および向上した誤り隠蔽のうちの少なくとも１つを使用して、前記識別されたＲＯＩに基づいて、前記エンコード化されたビデオデータの部分を処理して、前記エンコード化されたビデオデータの他の部分に対してより高い視覚品質を生成させるポストプロセッサモジュールをさらに具備する請求項２７記載のデバイス。
38. 前記ポストプロセッサモジュールは、前記識別されたＲＯＩの量子化を前記ビデオデータの非ＲＯＩエリアの量子化と比較し、前記比較が前記ＲＯＩに対して前記非ＲＯＩの低品質の量子化を示す場合、前記非ＲＯＩを処理し、さもなければ、前記ＲＯＩを処理する請求項３７記載のデバイス。
39. デバイスにおいて、
    エンコード化されたビデオデータのビットストリームドメインの解析を使用して、前記エンコード化されたビデオデータの１つ以上の特性を解析して、関心領域（ＲＯＩ）識別の信頼性を決定する第１のモジュールと、
    前記決定された信頼性が許容できるとき、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して前記ＲＯＩを識別する第２のモジュールと、
    前記決定された信頼性が許容できないとき、前記エンコード化されたビデオデータの画素ドメインの解析を使用して前記ＲＯＩを識別する第３のモジュールとを具備するデバイス。
40. 前記第１のモジュールによって解析される１つ以上の特性は、前記エンコード化されたビデオデータに対する１つ以上の量子化パラメータ（ＱＰ）値を含む請求項３９記載のデバイス。
41. 前記第１のモジュールは、前記エンコード化されたビデオデータのルーマおよびクロマ成分に対する平均のＱＰ値を解析し、前記平均のＱＰ値がしきい値を超えているとき、許容できない信頼性を示す請求項４０記載のデバイス。
42. 前記第２のモジュールは、イントラコード化されたデータに対する、前記エンコード化されたビデオデータの色の特性に基づいて前記ＲＯＩを識別する請求項３９記載のデバイス。
43. 前記第２のモジュールは、前記エンコード化されたビデオデータの形状の特性に基づいて、前記識別されたＲＯＩをさらに正確にする請求項４２記載のデバイス。
44. 前記第２のモジュールは、インターコード化されたデータに対する、前記エンコード化されたビデオデータのコード化ブロックパターン（ＣＢＰ）の特性に基づいて前記ＲＯＩを識別する請求項３９記載のデバイス。
45. 前記第２のモジュールは、前記エンコード化されたビデオデータの動きおよび色の特性に基づいて、前記識別されたＲＯＩをさらに正確にする請求項４４記載のデバイス。
46. 向上した後処理および向上した誤り隠蔽のうちの少なくとも１つを使用して、前記識別されたＲＯＩに基づいて、前記エンコード化されたビデオデータの部分を処理して、前記エンコード化されたビデオデータの他の部分に対してより高い視覚品質を生成させる後処理モジュールをさらに具備する請求項３９記載のデバイス。
47. 前記ポストプロセッサモジュールは、前記識別されたＲＯＩの量子化を前記ビデオデータの非ＲＯＩエリアの量子化と比較し、前記比較が前記ＲＯＩに対して前記非ＲＯＩの低品質の量子化を示す場合、前記非ＲＯＩを処理し、さもなければ、前記ＲＯＩを処理する請求項４６記載のデバイス。
48. イントラコード化されたデータに対する、エンコード化されたビデオデータの色の特性に基づいて、前記エンコード化されたビデオデータ中の関心領域（ＲＯＩ）を識別する第１のモジュールと、
    インターコード化されたデータに対する、前記エンコード化されたビデオデータのコード化ブロックパターン（ＣＢＰ）の特性に基づいて前記ＲＯＩを識別する第２のモジュールとを具備するデバイス。
49. 前記第１のモジュールは、イントラコード化されたデータに対する、前記エンコード化されたビデオデータの形状の特性に基づいて、前記ＲＯＩをさらに正確にする請求項４８記載のデバイス。
50. 前記第２のモジュールは、インターコード化されたデータに対する、前記エンコード化されたビデオデータの動きおよび色の特性に基づいて、前記識別されたＲＯＩをさらに正確にする請求項４８記載のデバイス。
51. 向上した後処理および向上した誤り隠蔽のうちの少なくとも１つを使用して、前記識別されたＲＯＩに基づいて、前記エンコード化されたビデオデータの部分を処理して、前記エンコード化されたビデオデータの他の部分に対してより高い視覚品質を生成させる後処理モジュールをさらに具備する請求項４８記載のデバイス。
52. 前記ポストプロセッサモジュールは、前記識別されたＲＯＩの量子化を前記ビデオデータの非ＲＯＩエリアの量子化と比較し、前記比較が前記ＲＯＩに対して前記非ＲＯＩの低品質の量子化を示す場合、前記非ＲＯＩを処理し、さもなければ、前記ＲＯＩを処理する請求項５１記載のデバイス。
53. デバイスにおいて、
    エンコード化されたビデオデータを受信する手段と、
    関心領域（ＲＯＩ）識別を支援する情報が利用可能である場合に、第１のプロセスを適用して、前記エンコード化されたビデオデータ中のＲＯＩを識別する手段と、
    前記ＲＯＩ識別を支援する情報が利用可能でない場合に、第２のプロセスを適用して、前記エンコード化されたビデオデータ中のＲＯＩを識別する手段とを具備するデバイス。
54. デバイスにおいて、
    エンコード化されたビデオデータのビットストリームドメインの解析を使用して、前記エンコード化されたビデオデータの１つ以上の特性を解析して、関心領域（ＲＯＩ）識別の信頼性を決定する手段と、
    前記決定された信頼性が許容できるとき、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して前記ＲＯＩを識別する手段と、
    前記決定された信頼性が許容できないとき、前記エンコード化されたビデオデータの画素ドメインの解析を使用して前記ＲＯＩを識別する手段とを具備するデバイス。
55. デバイスにおいて、
    イントラコード化されたデータに対する、エンコード化されたビデオデータの色の特性に基づいて、前記エンコード化されたビデオデータ中の関心領域（ＲＯＩ）を識別する手段と、
    インターコード化されたデータに対する、前記エンコード化されたビデオデータのコード化ブロックパターン（ＣＢＰ）の特性に基づいて前記ＲＯＩを識別する手段とを具備するデバイス。
56. コンピュータ読み取り可能媒体において、
    エンコード化されたビデオデータを受信することと、
    関心領域（ＲＯＩ）識別を支援する情報が利用可能である場合に、第１のプロセスを適用して、前記エンコード化されたビデオデータ中のＲＯＩを識別することと、
    前記ＲＯＩ識別を支援する情報が利用可能でない場合に、第２のプロセスを適用して、前記エンコード化されたビデオデータ中のＲＯＩを識別することと、
    をプロセッサに生じさせる命令を具備するコンピュータ読み取り可能媒体。
57. コンピュータ読み取り可能媒体において、
    エンコード化されたビデオデータのビットストリームドメインの解析を使用して、前記エンコード化されたビデオデータの１つ以上の特性を解析して、関心領域（ＲＯＩ）識別の信頼性を決定することと、
    前記決定された信頼性が許容できるとき、前記エンコード化されたビデオデータのビットストリームドメインの解析を使用して前記ＲＯＩを識別することと、
    前記決定された信頼性が許容できないとき、前記エンコード化されたビデオデータの画素ドメインの解析を使用して前記ＲＯＩを識別することと、
    をプロセッサに生じさせる命令を具備するコンピュータ読み取り可能媒体。
58. コンピュータ読み取り可能媒体において、
    イントラコード化されたデータに対する、エンコード化されたビデオデータの色の特性に基づいて、前記エンコード化されたビデオデータ中の関心領域（ＲＯＩ）を識別することと、
    インターコード化されたデータに対する、前記エンコード化されたビデオデータのコード化ブロックパターン（ＣＢＰ）の特性に基づいて前記ＲＯＩを識別することと、
    をプロセッサに生じさせる命令を具備するコンピュータ読み取り可能媒体。

Images