JP2009505589A - ビデオテレフォニーのためのピクチャーインピクチャー処理 - Google Patents

Abstract

この開示は、ビデオテレフォニー（ＶＴ）のためのピクチャーインピクチャーのための技術に向けられている。開示された技術によれば、ローカルビデオ通信装置は、ＰＩＰ情報をリモートビデオ通信装置に送信する。ＰＩＰ情報を用いて、リモートビデオ通信装置は、ローカルビデオ通信装置に送信されたビデオの非ＰＩＰ領域に優先的エンコーディングを適用する。

Description

この開示はデジタルエンコーディングおよびデコーディングに関し、特に、ピクチャーインピクチャー（ＰＩＰ）プレゼンテーションを含むビデオテレフォニー（ＶＴ）アプリケーションのための情報を処理するための技術に関する。

デジタルビデオシーケンスを符号化するために多数の異なるビデオエンコーディング規格が確立された。例えば、ムービングピクチャーイクスパーツグループ（ＭＰＥＧ）はＭＰＥＧ−１、ＭＰＥＧ−２、およびＭＰＥＧ−４を含む多数の規格を開発してきた。

他の例は国際電気通信連合（ＩＴＵ） Ｈ．２６３規格、および新生のＩＴＵ Ｈ．２６４規格を含む。これらのビデオエンコーディング規格は一般的にデータを圧縮された方法で符号化することによりビデオシーケンスの改良された送信効率をサポートする。

ビデオテレフォニー（ＶＴ）は、ユーザーがテレビ会議のようなアプリケーションをサポートするためにビデオ情報およびオーディオ情報を共有することを可能にする。例示ビデオテレフォニー規格は、セッションイニシエーテッドプロトコル（ＳＩＰ）、ＩＴＵ Ｈ．３２３規格、およびＩＴＵ Ｈ．３２４規格により定義された規格を含む。双方向のＶＴにおいて、ユーザーはビデオ情報を送信し受信する。いくつかのＶＴシステムは、リモートユーザーから入力されたビデオおよびリモートユーザーに送信された出力ビデオの両方を見ることを可能にするピクチャーインピクチャー（ＰＩＰ）特徴を提供する。

ＰＩＰ特徴を用いることにより、出力ビデオは、入力ビデオを含むより大きなピクチャー上に重ね撮りされたより小さなピクチャーに提示されてもよい。より大きなピクチャーは典型的にビデオフレーム全体を占有する。より小さなピクチャーはビデオフレームのおおよそ２０パーセント乃至２５パーセントを占有し、より大きなピクチャーの一部をカバーしてもよい。ＰＩＰ特徴は、適切なカメラ配置を保証するためにユーザーが出力ビデオを見ることができるようにしてもよい。例えば、ユーザーは、自分の顔、または他の物体が出力ビデオフレーム内で完全に目に見えることを保証することを望んでいるかもしれない。ＰＩＰ特徴を用いて、ユーザーは、カメラをより良い位置に配置することができ、出力ビデオの内容を改良することができる。

この開示は、ビデオテレフォニー（ＶＴ）のためのピクチャーインピクチャー（ＰＩＰ）処理のための技術に向けられている。開示された技術によれば、ローカルビデオ通信装置はＰＩＰ情報をリモートビデオ通信装置に送信する。ＰＩＰ情報を用いて、リモートビデオ通信装置は、ローカルビデオ通信装置に送信されたビデオの非ＰＩＰ領域に優先的エンコーディングを適用する。

ＰＩＰ特徴がイネーブルになると、ローカルビデオ通信装置は、リモートビデオ通信装置から受信した入力ビデオおよびリモートビデオ通信装置に送信された出力ビデオを含むビデオフレームを提示する。入力ビデオは実質的に全ビデオフレームを占有する。出力ビデオは、ＰＩＰ領域と呼ばれる、ビデオフレームのより小さな領域を占有する。ローカルビデオ通信装置はＰＩＰ情報をリモートビデオ通信装置に送信する。

ＰＩＰ情報は、出力ビデオがローカルビデオ通信装置のユーザーに提示されるＰＩＰ領域を識別する。ＰＩＰ情報は、符号化された出力ビデオ内に埋め込まれてもよいし、または帯域外シグナリング技術により送信されてもよい。いくつかの実施形態において、ＰＩＰコンテンツとＰＩＰ情報は、中間のネットワークサーバーから供給されてもよい。

ＰＩＰ情報を用いて、リモート通信ビデオ装置は、ＰＩＰ領域外にある入力ビデオのエリアを優先的に符号化する。リモートビデオ通信装置はより低い品質を有したＰＩＰ領域内にある入力ビデオのエリアを符号化してもよい。あるいは、リモートビデオ通信装置は、ＰＩＰ領域内にある入力ビデオのエリアの符号化をスキップしてもよい。いずれの場合にも、ローカルビデオ通信装置からリモートビデオ通信装置へのＰＩＰ情報の送信は、入力ビデオの非ＰＩＰ領域が強化されたビジュアル品質で符号化されることを可能にする。

ＰＩＰ情報の交換は、リモートビデオ通信装置に、ローカルビデオ通信装置により指定されたＰＩＰに気づかせる。この意味において、ビデオ通信装置は、他のビデオ通信装置からの遠隔的に指定されたＰＩＰ情報を処理することができる「ＰＩＰアウェア(aware)」ビデオエンコーダー−デコーダー（ＣＯＤＥＣ）を内蔵し、ＰＩＰ情報に基づいて出力ビデオを符号化する。また、いくつかの実施形態において、ビデオ通信装置は、例えばより低い複雑性誤り隠蔽をスキップまたは適用することによりまたはＰＩＰ領域におけるポスト処理により、ローカルに指定されたＰＩＰ情報に基づいて入力ビデオの非ＰＩＰ領域を優先的にデコードしてもよい。

一実施形態において、この開示は、ピクチャーインピクチャー（ＰＩＰ）情報を受信することと、ＰＩＰ情報に基づいてリモートビデオ通信装置に送信されるビデオを符号化することとを備えた方法を提供する。

他の実施形態において、この開示は、リモートビデオ通信装置に送信されるビデオを符号化することと、ビデオおよびピクチャーインピクチャー（ＰＩＰ）情報をリモートビデオ通信装置に送信することとを備えた方法を提供する。

さらなる実施形態において、この開示は、ピクチャーインピクチャー（ＰＩＰ）情報を受信するモジュールと、ＰＩＰ情報に基づいてリモートビデオ通信装置に送信されるビデオを符号化するビデオエンコーダーとを備えたビデオ通信装置を提供する。

さらなる実施形態において、この開示は、リモートビデオ通信装置に送信されるビデオを符号化するエンコーダーと、ピクチャーインピクチャー（ＰＩＰ）情報をリモートビデオ通信装置に送信するシグナリングモジュールとを備えたビデオ通信装置を提供する。

他の実施形態において、この開示は、ローカルビデオ通信装置とリモートビデオ通信装置とを備えたビデオ通信システムを提供する。リモートビデオ通信装置はリモートピクチャーインピクチャー（ＰＩＰ）情報をローカルビデオ通信装置に送信し、ローカルビデオ通信装置は、リモートＰＩＰ情報に基づいてリモートビデオ通信装置に送信するためにビデオを符号化する。

本明細書に記載された技術はハードウエア、ソフトウエア、ファームウエアまたはそれらの任意の組み合わせ内において実施されてもよい。ソフトウエア内で実施されるなら、この技術は、プロセッサーにより実行されたとき、本明細書に記載された方法の１つまたはそれ以上を実行する命令を含むプログラムコードを備えたコンピューター読み取り可能媒体により一部分実現されてもよい。

１つ以上の実施形態の詳細は、添付図面と以下の記述において述べられる。他の特徴、目的、および利点は記述と図面およびクレームから明白になるであろう。

図１はＰＩＰ−アウェア(aware)ビデオエンコーダー−デコーダー（ＣＯＤＥＣｓ）を内蔵するビデオエンコーディングおよびデコーディングシステム１０を図解するブロック図である。以下に記載するように、システム１０は、ＰＩＰ特徴がビデオテレフォニー(video telephony)（ＶＴ）に使用されるときビデオ品質を強化してもよい。システム１０は、ビデオフレームの一部がＰＩＰ領域でオーバーレイされるときビデオフレームを符号化する問題を解決する。ＰＩＰ領域は、リモートディスプレイ上で見るときより小さなローカルプレビューウインドウであってもよい。

図１に示すように、システム１０は第１のビデオ通信装置１２と第２のビデオ通信装置１４を含む。通信装置１２、１４は送信チャネル１６により接続される。送信チャネル１６は有線または無線媒体であってよい。システム１０はビデオテレフォニーのためのビデオ通信装置１２、１４間の双方向のオーディオおよびビデオ送信をサポートする。装置１２、１４は実質的に対称な方法で動作してもよい。相互交換のエンコーディング、デコーディング、多重化（ＭＵＸ）および逆多重化（ＤＥＭＵＸ）コンポーネントはチャネル１６の反対端上に供給されてもよい。

図１の例において、ビデオ通信装置１２はＭＵＸ／ＤＥＭＵＸコンポーネント１８、ＰＩＰ−アウェアビデオＣＯＤＥＣ２０およびオーディオＣＯＤＥＣ２２を含む。同様に、ビデオ通信装置１４は、ＭＵＸ／ＤＥＭＵＸコンポーネント２６、ＰＩＰ−アウェアビデオＣＯＤＥＣ２８およびオーディオＣＯＤＥＣ３０を含む。各ＣＯＤＥＣ２０、２８は、他のビデオ通信装置１２、１４からまたは中間サーバーから遠隔的に供給されるＰＩＰ情報を処理することができるという意味において「ＰＩＰ−アウェア(aware)」である。このようにして、各ＣＯＤＥＣ２０、２８は、ビデオフレームの可視領域のビデオ品質を改良するために、受け手装置におけるＰＩＰフレームオーバーレイを考慮することによりビデオフレームを符号化する。いくつかの実施形態において、ＣＯＤＥＣ２０、２８はまた、自身のビデオ通信装置内でローカルに指定されたＰＩＰ情報、または中間サーバーにより供給されたＰＩＰ情報に応答してもよい。

ビデオ通信装置１２、１４は、ビデオストリーミング、ビデオテレフォニーまたはその両方に適するように装備された無線モバイル端末または有線端末として実施されてもよい。その目的のために、ビデオ通信装置１２、１４はさらに、無線通信をサポートするために適切な送信、受信、モデム、および処理装置を含んでいてもよい。無線モバイル端末の例は、移動無線電話、モバイルパーソナルデジタルアシスタンツ（ＰＤＡｓ）、モバイルコンピューター、または、無線通信能力とビデオエンコーディングおよび／またはデコーディング能力を備えた他のモバイル装置を含む。有線端末の例は、デスクトップコンピューター、テレビ電話、ネットアプライアンス、セットトップボックス、インタラクティブテレビジョン、または同種のものを含む。いずれか一方のビデオ通信装置１２、１４は、オーディオ情報に加えて、ビデオ情報を送信するように、またはビデオ情報を受信するようにまたはビデオ情報を送受信するように構成されていてもよい。

開示された技術によれば、ローカルビデオ通信装置１２は、リモートビデオ通信装置１４から受信した入力ビデオと、リモートビデオ通信装置に送信された出力ビデオを含むビデオフレームを表示する。入力ビデオは実質的に全体のビデオフレームを占有する。

出力ビデオは、局所的に表示されるビデオフレームのより小さな領域を占有する。

このより小さな領域はＰＩＰ領域と呼ばれる。ローカルビデオ通信装置１２はＰＩＰ情報をリモートビデオ通信装置１４に送信する。ＰＩＰ情報は、ローカルビデオ通信装置１２のユーザーがＰＩＰ特徴をアクティブにしたことを示す。この表示を用いて、リモートビデオ通信装置１４は、ローカルビデオ通信装置１２のユーザーにより見られるであろうＰＩＰ領域のためのデフォルト位置とサイズを仮定してもよい。あるいは、ＰＩＰ領域の特性が可変であるなら、ＰＩＰ情報はまた、出力ビデオがローカルビデオ通信装置１２のユーザーに提示されるＰＩＰ領域を、例えば位置とサイズに関して指定してもよい。ＰＩＰ情報は、符号化された出力ビデオ内に埋め込まれてもよいし、または帯域外シグナリング技術により送信されてもよい。

ＰＩＰ情報を用いて、リモートビデオ通信装置１４は、ＰＩＰ領域以外にある入力ビデオのエリアを優先的に符号化する。ＰＩＰ領域は出力ビデオがＰＩＰコンテンツとして表示される領域である。リモートビデオ通信装置１４は、より低い品質を有するＰＩＰ領域内部にある入力ビデオのエリアを符号化してもよい。あるいは、入力ビデオは典型的にＰＩＰ領域において完全に分かりにくくするので、リモートビデオ通信装置１４はより好ましくは、ＰＩＰ領域内にある入力ビデオのエリアの符号化をスキップする。いずれの場合においても、ローカルビデオ通信装置１２からリモートビデオ通信装置１４へのＰＩＰ情報の送信は、入力ビデオの非ＰＩＰ領域が機能強化された品質で符号化されることを可能にする。

ＰＩＰ情報の交換は、リモートビデオ通信装置１４に、ローカルビデオ通信装置１２により指定されたＰＩＰに気づかさせる。この意味において、リモートビデオ通信装置１４は、ビデオ通信装置１２から指定されたＰＩＰ情報を遠隔的に処理することができる「ＰＩＰアウェア」ビデオエンコーダー−デコーダー（ＣＯＤＥＣ）を内蔵し、ＰＩＰ情報に基づいて出力ビデオを符号化する。ローカルビデオ通信装置１２は相互機能性を含んでいてもよい。いくつかの実施形態において、ビデオ通信装置１２、１４はまた、例えば、ＰＩＰ領域における入力ビデオのより低い複雑性隠蔽または後処理をスキップまたは適用することにより、局所的に指定されたＰＩＰ情報に基づいて入力ビデオの非ＰＩＰ領域を優先的にデコードしてもよい。

ローカルビデオ通信装置１２により送信されたＰＩＰ情報は、ビデオフレーム内の座標を指定してもよい。座標は出力ビデオが提示されるであろうＰＩＰ領域の境界を定義してもよい。ＰＩＰ領域の座標は、ビデオフレーム内のｘ−ｙ座標であってもよい。しかしながら、ｘ−ｙ座標はＰＩＰマップを生成するために処理されてもよい。特に、座標は、ＰＩＰマクロブロック（ＭＢ）マップのようなビデオブロックマップの形態で提示されてもよい。ＭＢマップはビデオフレームのＰＩＰ領域内に存在するＭＢｓを識別する。ＰＩＰ ＭＢマップは、ＰＩＰ内にあるＭＢｓに１のフラッグを立て、ＰＩＰ外部のＭＢｓに０のフラッグを立て、ＰＩＰに含まれるＭＢｓ（１）とＰＩＰから除外されるＭＢｓ（０）を容易に識別する。あるいは、ＰＩＰ情報は、ＰＩＰ ＭＢマップに基づいていてもよいが、リモートビデオ通信装置１４のためのＰＩＰ領域を識別するのに十分なより少ない情報量を含む。ＭＢはフレームの一部を形成するビデオブロックである。ＭＢのサイズは１６×１６ピクセルであってもよい。しかしながら、他のＭＢサイズも可能である。従って、ＭＢは、これらに限定されないが、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｈ．２６３、ＩＴＵ Ｈ．２６４または任意の他の規格のような特定のビデオコーディング規格内で定義されるマクロブロックを含む任意のビデオブロックに言及してもよい。

ＰＩＰは関連のあるＰＩＰ領域の座標に最も密接に一致するＭＢ境界を選択してもよい。例えば、ＰＩＰ領域がＭＢを横切るなら、ＰＩＰ ＭＢマップは、ＰＩＰ領域境界を関連するＭＢの外縁または内端に配置してもよい。言い換えれば、ＰＩＰ ＭＢは、完全にＰＩＰ領域内にあるＭＢｓのみを含むように構成してもよいし、または一部がＰＩＰ領域内にあるＭＢｓを含んでいてもよい。いずれにしても、ＰＩＰ ＭＢマップは、指定されたＰＩＰ領域を最も密接に近似する完全ＭＢｓのセットを識別する。ビデオエンコーダー４４またはビデオデコーダー５０は、ＭＢレベルで動作し、一般にＭＢマップへのＰＩＰ領域情報の変換を必要とするであろう。ＰＩＰ領域に含まれるものとしてまたはＰＩＰ領域から除外されるものとして個々のＭＢｓを指定することにより、ＰＩＰ ＭＢマップはまた不規則なまたは非長方形の形状でＰＩＰ領域の定義を可能にしてもよい。

ローカルビデオ通信装置１２により送信されたＰＩＰ情報を用いて、リモートビデオ通信装置は、優先ビット割り当てまたは量子化により、入力ビデオの対応するＰＩＰ領域および非ＰＩＰ領域に優先エンコーディングを適用する。特に、さらなるエンコーディングビットは、非ＰＩＰ領域に割り当てられてもよいし、一方、減少された量のエンコーディングビットまたはゼロエンコーディングビットはＰＩＰ領域に割り当てられてもよく、それにより入力ビデオの非ＰＩＰ領域の画像品質を改良する。このように、ローカルビデオ通信装置１２は、リモートビデオ通信装置１４により遠隔的にビデオエンコーディングに影響を及ぼすことができる。リモートビデオ通信装置１４による優先エンコーディングは、ローカルビデオ通信装置１２のユーザーが非ＰＩＰ領域内の入力ビデオをより明瞭に見ることを可能にする。

また、ローカルビデオ通信装置１２は、入力ビデオの領域を優先的にデコードするためにＰＩＰ情報を局所的に適用してもよい。リモートビデオ通信装置１４がＰＩＰアウェアであるなら、（ａ）入力ビデオのＰＩＰ領域が出力ビデオにより不明瞭になるであろうおよび（ｂ）入力ビデオのＰＩＰ領域はエンコードされなくてもよいという知識を用いて、ローカルビデオ通信装置１２は、より低い複雑性エラー隠蔽技術または後処理技術を入力ビデオのＰＩＰ領域に適用するために優先デコーディングを適用してもよい。この場合、ローカルビデオ通信装置１２は、標準またはより高次の複雑性エラー隠蔽または後処理を、リモートビデオ通信装置１３から受信した入力ビデオの非ＰＩＰ領域に適用してもよい。従って、ＰＩＰ情報は、優先デコーディングのためにローカルビデオ通信装置１２内で局所的におよび優先エンコーディングのためにリモートビデオ通信装置１４内で遠隔的にの両方で使用されてもよい。

システム１０は、セッションイニシエーテッドプロトコル（ＳＩＰ）、ＩＴＵ Ｈ．３２３規格、ＩＴＵ Ｈ．３２４規格または他の規格に従ってビデオテレフォニーをサポートしてもよい。各ビデオＣＯＤＥＣ２０、２８は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ Ｈ．２６３またはＩＴＵ Ｈ．２６４のようなビデオ圧縮規格に従って符号化されたビデオデータを発生する。図１にさらに示されるように、ビデオＣＯＤＥＣｓ２０、２８はそれぞれのオーディオＣＯＤＥＣｓ２２、３０と統合されてもよく、データストリームのオーディオ部分およびビデオ部分を処理するために適切なＭＵＸ／ＤＥＭＵＸコンポーネント１８、２６を含む。ＭＵＸ−ＤＥＭＵＸユニット１８、２６は、ＩＴＵ Ｈ．２２３マルチプレクサープロトコルまたはユーザーデータグラムプロトコル（ＵＤＰ）のような他のプロトコルに準拠してもよい。

図２は、無線ビデオ通信装置１２に関連するディスプレイ３８上に提示されたビデオフレーム３６内のＰＩＰ領域のプレゼンテーションを図解する図である。図２の例において、ＰＩＰ領域３４は、符号化され装置１２により送信される出力ビデオを含む方形領域である。ＰＩＰ領域３４は、装置１２のユーザーが他の装置に送信される出力ビデオを見ることを可能にする。ＰＩＰ領域３４は、任意の画像または物体を含むことができるけれども、ＰＩＰ領域内に提示される物体はしばしばローカルビデオ通信装置１２のユーザーの顔、または頭および肩であろう。ユーザーは、他の有線または無線ビデオ通信装置のユーザーとのテレビ会議のメンバーである人である。

ＰＩＰ領域３４は、ビデオフレーム３６内に提示された入力ビデオの小さな領域をカバーする。例えば、ＰＩＰ領域３４は、ビデオフレーム３６のほぼ２０乃至２５パーセントをカバーしてもよい。ＰＩＰ領域３４のサイズ、形状および位置は固定であってもよいし調節可能であってもよく、手動でまたは自動で種々の方法で定義され、記載され、または調節されてもよい。局所的に見る目的のためにローカルビデオ通信装置１２上に提示されるＰＩＰ領域３４の内容はまたローカルビデオ通信装置４０からの出力ビデオとして符号化され、リモートビデオ通信装置１４に送信される。次に、リモートビデオ通信装置１４は、フルサイズビデオフレーム内のローカルビデオ通信装置から受信された出力ビデオを提示する。同様に、ローカルビデオ通信装置１２はＰＩＰ領域３４を有したビデオフレーム内にフルサイズで提示するために入力ビデオを受信する。

ＰＩＰ領域３４の内容は、ローカルビデオ通信装置１２に関連するビデオキャプチャー装置により捕捉されてもよい。あるいは、ＰＩＰ領域３４の内容は、ビデオアーカイブから生成されてもよい。例えば、局所的に捕捉されたビデオの代わりに、ＰＩＰ領域３４は、広告、呼ステータス、ネットワークステータス、または他のグラフィックまたはテキスト情報のような情報オーバーレイ(informational overlay)を含んでいてもよい。いずれにしても、ＰＩＰ領域３４の位置とサイズを定義するＰＩＰ情報は、ローカルビデオ通信装置１２に送信される入力ビデオの非ＰＩＰカバーされた領域を優先的に符号化する際にリモートビデオ通信装置１４を支援する。

図３はＰＩＰ−アウェアＣＯＤＥＣ２０を内蔵するビデオ通信装置１２を図解するブロック図である。図３は、図１のビデオ通信装置１２を描画するけれども、ビデオ通信装置１４は同様に構成されてもよい。ビデオ通信装置１２または１４はビデオテレフォニーをサポートするための受け手装置および送り手装置として機能してもよい。しかしながら、動作は説明のために入力ビデオの受け手および出力ビデオの送り手としてビデオ通信装置１２の観点から記載されるであろう。図３に示されるように、ビデオ通信装置１２はＰＩＰ−アウェアＣＯＤＥＣ２０、ビデオ捕捉装置４０、およびユーザーインターフェース４２を含む。通信チャネル１６が図３に示されるけれども、説明を容易にするためにＭＵＸ−ＤＥＭＵＸコンポーネントおよびオーディオコンポーネントは省略されている。ビデオキャプチャー装置４０はビデオ通信装置１２と統合されたまたは動作可能に接続されたビデオカメラであってもよい。例えば、いくつかの実施形態において、ビデオキャプチャー装置４０は、携帯電話と統合され、いわゆるビデオカメラ電話またはビデオ電話を形成してもよい。このように、ビデオキャプチャー装置４０はモバイルＶＴアプリケーションをサポートする。

ユーザーインターフェース４２は、ビデオ通信装置１２に統合されてもよい、または動作可能に接続されてもよい、液晶ディスプレイ（ＬＣＤ）、プラズマスクリーン、プロジェクトディスプレイ、または任意の他のディスプレイ装置のようなディスプレイ装置を含んでいてもよい。ディスプレイ装置はビデオ通信装置１２のユーザーにビデオイメージを提示する。ビデオイメージは、ビデオキャプチャー装置４０により局所的に得られＰＩＰ領域３４に提示される出力ビデオを含んでいてもよい。ビデオイメージはまたリモートビデオ通信装置１４から受信された入力ビデオを含んでいてもよい。さらに、ユーザーインターフェース４２は、ビデオ通信装置１２のユーザーによる情報の入力のために、ハードキー、ソフトキー、種々のポインティングデバイス、スタイラスペン、及び同類のものを含む種々のユーザー入力媒体のいずれかを含んでいてもよい。いくつかの実施形態において、ユーザーインターフェース４２のディスプレイ装置とユーザー入力媒体は、携帯電話と統合されていてもよい。ビデオ通信装置１２のユーザーは、ＰＩＰ領域３４において入力ビデオおよび出力ビデオを見るためにユーザーインターフェース４２に依存する。さらに、ユーザーは、ＰＩＰ領域３４のサイズ、形状または位置の定義のために情報を入力するためにユーザーインターフェース４２に依存してもよい。

図３にさらに示されるように、ＰＩＰ−アウェアＣＯＤＥＣ２０は、ＰＩＰ−アウェアビデオエンコーダー４４、ＰＩＰ情報抽出モジュール４６、ＰＩＰ情報シグナリングモジュール４８、およびＰＩＰ−アウェアビデオデコーダー５０を含む。ＰＩＰ−アウェアビデオエンコーダー４４は、リモート受け手装置に送信するためにビデオキャプチャー装置４０から取得した局所的に発生されたビデオ（「ＬＯＣＡＬ ＶＩＤＥＯ」）を符号化する。ビデオ通信装置１４のようなリモートビデオ通信装置から受信される「リモート」ビデオとは対照的に「ローカル」という用語は、ビデオ通信装置１２内に局所的に発生されるビデオを指す。図３の例において、ＰＩＰ−アウェアビデオエンコーダー４４はリモートビデオ通信装置１４から取得したＰＩＰ情報を用いてローカルビデオを優先的に符号化し、チャネル１６を介してリモートビデオ通信装置１４に送信するために出力ビデオ（「ENCODED OUTGOING VIDEO」）を生成する。

ＰＩＰ情報抽出モジュール４６はリモートビデオ通信装置１４から入力ＰＩＰ情報（「INCOMING INFO」）を受信する。入力ＰＩＰ情報は帯域内シグナリングまたは帯域外シグナリングにより受信されてもよい。帯域内シグナリングの場合、入力ＰＩＰ情報は、入力ビデオストリーム内に埋め込まれてもよい。この場合、ＰＩＰ情報抽出モジュール４６は、ＰＩＰ−アウェアデコーダー５０と協働して動作し、デコードされた入力ビデオ内のＰＩＰ情報を探してもよい。帯域外シグナリングの場合、入力ＰＩＰ情報は、例えば、リアルタイムトランスポートコントロールプロトコル（ＲＴＣＰ）リポーティング、ＩＴＵ Ｈ．２４５プロトコルメッセージングまたはセッションイニシエーションプロトコル（ＳＩＰ）メッセージングにより入力ビデオビットストリームとは別個に送信されてもよい。デフォルトサイズ及び位置が適用可能であると知られていない限り、入力ＰＩＰ情報は、リモートビデオ通信装置１４のユーザーに提示されたＰＩＰの領域のサイズと位置を定義してもよい。

帯域内シグナリングの場合、上述したように、ＰＩＰ情報は、リモートビデオ通信装置１４から受信される符号化されたビデオビットストリーム内に埋め込まれてもよい。例えば、ＭＰＥＧ４ビットストリームフォーマットにおいて、そのビットストリームを記載する情報を埋め込むために使用することができる"user_data"と呼ばれるフィールドがある。"user_data"フィールドまたは他のビットストリーム内の類似のフィールドを用いてビットストリームコンプライアンスを破ることなくＰＩＰ情報を埋め込んでもよい。あるいは、ＰＩＰ情報は、ステガノグラフィーのようないわゆるデータ秘匿技術によりビデオビットストリーム内に埋め込んでもよい。いずれの場合においても、ＰＩＰ情報抽出モジュール４６は、リモート装置１４からの入力ビデオ内のuser_dataフィールドまたは他の場所内にあるＰＩＰ情報を探すように構成されてもよい。

入力ＰＩＰ情報は、ＰＩＰ領域内に入るビデオフレーム内の座標またはマクロブロック（ＭＢｓ）に関してＰＩＰ領域を定義してもよい。あるいは、入力ＰＩＰ情報は、ＰＩＰ特徴がアクティブになり、ＰＩＰ領域のためのデフォルトサイズおよび位置が仮定されなければならないことを単に示してもよい。図３の例において、入力ＰＩＰ情報に基づいて、ＰＩＰ情報抽出モジュール４６はリモートビデオ通信装置１４のＰＩＰ領域内に入るＭＢｓを識別するＰＩＰ ＭＢマップを発生する。例えば、以前に述べたように、ＰＩＰ情報はＰＩＰ領域によりカバーされるものとしてまたはＰＩＰ領域にカバーされないものとしてＭＢｓにフラッグを付けてもよい。

ＰＩＰＭＢマップを用いて、ＰＩＰ−アウェアビデオエンコーダー４４は、ＰＩＰ ＭＢマップにより識別されたＰＩＰ領域内にないローカルビデオの領域を優先的に符号化する。例えば、ＰＩＰ ＭＢは、ＰＩＰ−アウェアビデオエンコーダー４４に、それらがＰＩＰ領域内に存在するならＭＢｓをコード化しないように強制することを命令してもよい。

このようにして、代わりに運動ベクトルとテクスチャビットをコーディングするために費やされたであろうビットはセーブされ、ＰＩＰ領域内にあるＰＩＰ ＭＢマップにより識別されるこれらのＭＢｓを符号化することができる。結果は、非ＰＩＰ領域、すなわち、ＰＩＰコンテンツでオーバーレイされないビデオフレームの領域における改良されたビデオ品質である。

優先エンコーディングは、ＰＩＰ領域内部にあるローカルビデオの領域と、ＰＩＰ領域外部にあるローカルビデオの領域との間のエンコーディングビットの重み付けされた割り当てを含んでいてもよい。しかしながら、ＰＩＰ領域内部にあるローカルビデオの領域は完全に不明瞭になるであろう。それゆえ、ＰＩＰ領域内にあるローカルビデオのＭＢｓのエンコーディングをスキップすることがより望ましい。いずれにしても、ＰＩＰ領域により不明瞭とされるローカルビデオに通常使用されるであろうビットはその代わりにローカルビデオの残余に使用することができ、それによりローカルビデオの可視領域の視認品質を改良することができる。

リモートビデオ通信装置１４は、相互機能性、すなわち、ＰＩＰ−アウェアＣＯＤＥＣを含んでいてもよい。ＰＩＰ情報をリモートビデオ通信装置１４に送信するために、ローカルビデオ通信装置１２はＰＩＰ情報シグナリングモジュール４８を含む。ＰＩＰ情報シグナリングモジュール４８は、ユーザーインターフェース４２からローカルＰＩＰ情報("LOCAL PIP INFO")を受信してもよく、チャネル１６を介してリモートビデオ通信装置１４に送信するために出力ＰＩＰ情報("OUTGOING PIP INFO")を発生する。ユーザーがＰＩＰ特徴をアクティブにすると、ＰＩＰ情報シグナリングモジュール４８は自動的にアクティブになってもよい。入力ＰＩＰ情報のように、リモートビデオ通信装置１４に供給される出力ＰＩＰ情報は、帯域内または帯域外シグナリングを介して送信されてもよい。帯域内信号の場合には、ＰＩＰ情報シグナリングモジュール４８は、ＰＩＰ−アウェアビデオエンコーダー４４と連携して、出力ＰＩＰ情報を符号化された出力ビデオビットストリーム内に配置してもよい。

入力ＰＩＰ情報同様に、出力ＰＩＰ情報はＰＩＰ領域の位置とサイズを定義してもよい。しかしながら、出力ＰＩＰ情報は、ローカルビデオ通信装置１２により提示されたＰＩＰ領域に向けられている。ローカルビデオ通信装置１２により提示されたＰＩＰ領域は、リモートビデオ通信装置１４から受信した入力ビデオのごく一部をカバーする。出力ＰＩＰ情報を用いて、リモートビデオ通信装置１４は、ＰＩＰ−アウェアビデオデコーダー５０により受信された符号化された入力ビデオ("ENCODED INCOMING VIDEO")に優先エンコーディングを適用する。このようにして、ローカルビデオ通信装置１２のユーザーに視認可能な入力ビデオの一部の視認品質は改良することができる。

オプションとして、出力ＰＩＰ情報はまた、符号化された入力ビデオの非ＰＩＰ領域の優先デコーディングに使用するためにＰＩＰ−アウェアビデオデコーダー５０に供給されてもよい。例えば、出力ＰＩＰ情報をリモートビデオ通信装置１４に送信することに加えて、ＰＩＰ情報シグナリングモジュール４８はＰＩＰ ＭＢマップをＰＩＰ−アウェアビデオデコーダー５０に供給してもよい。ＰＩＰ ＭＢマップは、局所的に提示されたＰＩＰ領域によりカバーされまたは不明瞭にされるであろう入力ビデオ内のＭＢｓを識別する。

ＰＩＰ−アウェアデコーダー５０はＰＩＰ ＭＢマップを用いて、ＰＩＰ領域内に無い入力ビデオの領域を優先的にデコードする。特に、ＰＩＰ−アウェアビデオデコーダー５０は、高次の品質エラー隠蔽技術または後処理技術を入力ビデオの非ＰＩＰ領域に適用してもよいし、または局所的に提示されたＰＩＰ領域によりカバーされるであろう入力ビデオの領域に対してエラー隠蔽または後処理を完全にスキップしてもよい。一般にＰＩＰ−アウェアビデオデコーダー５０は、入力ビデオのＰＩＰＭＢｓに対してよりも非ＰＩＰＭＢｓに対してより良いエラー隠蔽または後処理を適用する。場合によっては、ＰＩＰ ＭＢｓのデコーディング、エラー隠蔽または後処理は完全にスキップされる。

入力ＰＩＰ情報と出力ＰＩＰ情報は、周期的にまたは間欠的にローカルビデオ通信装置１２とリモートビデオ通信装置１４との間で交換されてもよい。例えば、帯域内シグナリングの場合には、ＰＩＰ情報は、周期的にすべてのフレームまたは選択されたフレームに埋め込まれてもよい。あるいは、帯域外シグナリングの場合、ＰＩＰ情報は、周期的なまたは間欠的なメッセージにより送信されてもよい。しかしながら、ＰＩＰ領域の位置とサイズは、固定されていてもよいし、まれに相対的に変化してもよい。従って、帯域幅および処理効率のために、まれに相対的に、または関連するＰＩＰ領域のサイズまたは位置に変化があるときのみＰＩＰ情報を送信することは望ましいかもしれない。

いくつかの実施形態によれば、可能ならＰＩＰ領域のサイズまたは位置が変化されるまで、ビデオ通信装置１２、１４は、固定のデフォルトのＰＩＰ領域を前提とするように構成されてもよい。さらなる考察として、ＰＩＰ特徴は必ずしもアクティブでなくてもよい。ＰＩＰ情報は、ＰＩＰ特徴がアクティブかどうかの表示を単に含んでいてもよい。それは周期的にまたはアクティブのときに送信されてもよい。ＰＩＰ領域が固定なら、ＰＩＰ情報は、ＰＩＰ特徴アクティブの表示を含むだけでもよい。ＰＩＰ領域が調節可能なら、ＰＩＰ情報は、ＰＩＰ特徴アクティブの表示プラスＰＩＰ領域のためのサイズと位置を含んでいてもよい。いずれにしても、ＰＩＰ情報は、視認品質を機能強化するためにビデオ通信装置１２、１４に、ビデオの非ＰＩＰ領域を優先的に符号化することを可能にする。

ＰＩＰ−アウェアビデオエンコーダー４４、ＰＩＰ情報抽出モジュール４６、ＰＩＰ情報シグナリングモジュール４８、およびＰＩＰ−アウェアビデオデコーダー５０は、ディスクリート機能モジュールまたは各モジュールに割り当てられた機能性を含むモノリシックモジュールとして種々の方法で形成されてもよい。いずれにしても、ＰＩＰ−アウェアＣＯＤＥＣ２０の種々のコンポーネントは、ハードウエア、ソフトウエア、ファームウエアまたはそれらの組み合わせにおいて実現されてもよい。例えば、そのようなコンポーネントは、１つ以上のマイクロプロセッサーまたはデジタルシグナルプロセッサー（ＤＳＰｓ）上で実行されるソフトウエアプロセス、１つ以上の特定用途向け集積回路（ＡＳＩＣｓ）、１つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）、または他の等価な集積またはディスクリートロジック回路として動作してもよい。ソフトウエアで実施されるなら、技術は、ＤＳＰのようなプロセッサーで実行されると本明細書に記載された１つ以上の方法を実行する命令を含むプログラムコードを備えたコンピューター読み取り可能媒体により一部分実現されてもよい。

図４は、ユーザーに提示されたビデオフレーム内の入力ビデオのＰＩＰ領域および非ＰＩＰ領域を図解する図である。図４の例において、ディスプレイ３８に提示される出力ビデオのフレーム３６は、リモートビデオ通信装置１４によりカバーされないであろう非ＰＩＰカバー領域５２と、ＰＩＰコンテンツによりカバーされるであろうＰＩＰカバー領域５４を含む。リモートビデオ通信装置１４により発生されたＰＩＰコンテンツの位置とサイズを示すＰＩＰ情報を用いて、ローカルビデオ通信装置１２のＰＩＰ−アウェアビデオエンコーダー４６は優先エンコーディングを非ＰＩＰ領域５２に適用する。この場合も先と同様に、ＰＩＰ情報はＰＩＰ ＭＢマップを含んでいてもよい。ＰＩＰ−アウェアビデオエンコーダー４６は、ＰＩＰカバー領域内のＭＢｓを符号化するために通常使用されるであろうエンコーディングビットを再捕捉する。浪費される代わりに、再捕捉されたビットは、より大きな視認品質を得るために非ＰＩＰカバー領域５２内のＭＢｓを符号化するために使用することができる。ＰＩＰカバー領域５４はより低い品質でまたは完全にスキップされて符号化されてもよい。ＰＩＰコンテンツがＰＩＰカバー領域５４を完全に不明瞭にするなら、エンコーディングのスキッピングは一般的に望ましい。ＰＩＰコンテンツが半不明瞭な方法で提示されるなら、ＰＩＰカバー領域５４の低品質エンコーディングが望ましいかもしれない。

図５は出力ビデオの非ＰＩＰカバー領域を優先的に符号化するためのＰＩＰ情報の処理を図解するためのフロー図である。図５に示される動作は、図３に示されるコンポーネントを参照して記載されるであろう。図５に示されるように、入力ビデオを受信すると（５６）、ＰＩＰ−アウェアビデオデコーダー５０は入力ビデオをデコードする（５８）。次に、ユーザーインターフェース４２に関連するディスプレイはデコードされたビデオをローカルビデオ通信装置１２のユーザーに表示する（６０）。

ＰＩＰ情報抽出モジュール５０は、入力ビデオビットストリーム内の帯域内で、またはシグナリングプロトコルを介して帯域外で入力ＰＩＰ情報を探索する。入力ＰＩＰ情報が入手できないなら（６２）、ＰＩＰ情報抽出モジュール４８はＰＩＰ−アウェアビデオエンコーダー４６に通知する。この場合、ＰＩＰ−アウェアビデオエンコーダー４６は優先エンコーディングなしに、出力ビデオの各フレームを全体として符号化する（６４）。入力ＰＩＰ情報が入手可能なら、ＰＩＰ情報抽出モジュール４８は、ＰＩＰ情報を抽出し（６６）、リモートＰＩＰ領域によりカバーされるであろうＭＢｓを識別するＰＩＰ ＭＢマップを発生する（６８）。

ＰＩＰ ＭＢマップを用いて、ＰＩＰ−アウェアビデオエンコーダー４６は出力ビデオの非ＰＩＰカバー領域を符号化し（７０）、出力ビデオのＰＩＰカバー領域のエンコーディングをスキップする（７２）。出力ビデオのＰＩＰカバー領域に通常使用されるエンコーディングビットは代わりに出力ビデオの非ＰＩＰカバー領域を符号化するために使用され、それにより視認品質を強化する。出力ビデオの優先エンコーディングがフレームに対して完了すると、ＰＩＰ情報シグナリングモジュール４８は、ローカルビデオ通信装置１２が指定されたローカルＰＩＰ情報を有するかどうか決定する（７５）。そうなら、ＰＩＰ情報シグナリングモジュール４８はＰＩＰ情報を出力ビデオ内に埋め込むか、またはＰＩＰ情報をリモートビデオ通信装置１４に送信する（７７）。ローカルＰＩＰが指定されないなら、プロセスは次のフレームに続く。

入力および出力ＰＩＰ情報はフレーム毎に、または周期的にまたは間欠的に提供されてもよい。入力ＰＩＰ情報が取得されると、それは、リモートビデオ通信装置１４がそうでないことを示すまで出力ビデオを符号化するためにローカルビデオ通信装置１２により使用され続けてもよい。あるいは、図５の例で示すように、ＰＩＰ情報抽出モジュール５０は、処理されるフレーム毎に、すなわち各ループ反復毎に入力ＰＩＰ情報を受信してもよい。通常ＰＩＰ境界はＭＢ境界に入ってもよい。いくつかの実施形態において、ＰＩＰ境界がＭＢｓを二等分するなら、設計の好みに応じて、ＭＢｓは、ＰＩＰ領域内に含まれるものとして考えてもよいしまたはＰＩＰ領域から除外されるものとして考えてもよい。

図６は、出力ビデオの非ＰＩＰカバー領域を優先的に符号化しおよび入力ビデオの非ＰＩＰカバー領域を優先的にデコードするためのＰＩＰ情報の処理を図解するフロー図である。図６に示される動作は、図３に示されるコンポーネントを参照して記載されるであろう。図６に示されるように、入力ビデオを受信すると（７４）、ＰＩＰ情報シグナリングモジュール４８は、ローカルビデオ通信装置１２がローカルＰＩＰ情報を指定したかどうかを決定する（７６）。そうならば、以下に記載されるように、ローカルＰＩＰ情報は、出力ＰＩＰ情報としてリモートビデオ通信装置１４に送信される。さらに、ローカルＰＩＰ情報は、入力ビデオの一部がローカルＰＩＰ領域により不明瞭になるであろうという知識を用いて入力ビデオのデコーディングにおいて使用されてもよい。

ローカルＰＩＰが指定されないなら（７６）、ＰＩＰ−アウェアビデオデコーダー５０は、任意の優先デコーディングなしに入力ビデオをデコードし（７８）、ユーザーインターフェース４２はデコードされたビデオを表示する（８０）。しかしながら、ローカルＰＩＰが指定されるなら（７６）、ＰＩＰ情報抽出モジュール４６は、ローカルＰＩＰ情報からＰＩＰ情報を抽出し（８２）、リモートビデオ通信装置１４から受信した入力ビデオをデコードする際にＰＩＰ−アウェアビデオデコーダー５０により使用するためにＰＩＰ ＭＢマップを発生する（８４）。特に、ＰＩＰ−アウェアビデオデコーダー５０は、例えば標準エラー隠蔽(concealment)および後処理を用いて入力ビデオの非ＰＩＰカバー領域をデコードする。しかしながら、入力ビデオのＰＩＰカバー領域のために、ＰＩＰ ＭＢマップを用いて、ＰＩＰ−アウェアビデオデコーダー５０は、エラー隠蔽および後処理をスキップするかまたは低品質エラー隠蔽および後処理を適用する（８８）。次に、ＰＩＰ情報シグナリングモジュール４８は、リモートビデオ通信装置１４により使用するために出力ＰＩＰ情報を送信するかまたは埋め込み（９０）、デコードされたビデオはユーザーインターフェース４２により表示される（８０）。

入力ビデオのＰＩＰカバーエリアに対してデコーディングをスキップすることは意味をなす。なぜならば、ローカルＰＩＰ領域がそのエリアを不明瞭にするであろうからである。リモートビデオ通信装置１４がＰＩＰアウェアであるなら、入力ビデオのＰＩＰカバーエリアはどのみち符号化されないであろう。しかしながら、また、ローカルビデオ通信装置１２がＰＩＰアウェアでないリモートビデオ通信装置から入力ビデオを受信しているとき、優先デコーディングは適用されてもよい。それゆえ、ＰＩＰアウェア処理は、出力ビデオを受信する装置のためのリモートＰＩＰ情報に基づいて出力ビデオのエンコーディングに適用されてもよいし、または、入力ビデオを受信する装置のためのローカルＰＩＰ情報に基づいて入力ビデオのデコーディングに適用してもよいし、または両方に適用してもよい。ＰＩＰアウェア処理は、テレビ会議のいずれかの側でＰＩＰが提示されるテレビ会議に関係する１つまたは両方の装置により使用することができる。

図６にさらに示されるように、ＰＩＰ情報抽出モジュール４６は、入力ＰＩＰ情報が帯域内または帯域外シグナリングのいずれかによりリモートビデオ通信装置１４により送信されたかどうかを決定する（９２）。送信されなかったなら、ＰＩＰ情報抽出モジュール４６はＰＩＰ ＭＢマップをＰＩＰアウェアビデオエンコーダー４４に供給しないかまたはＰＩＰ ＭＢマップは、ゼロエリアのＰＩＰ領域を示す。いずれにしても、出力ビデオは、ＰＩＰカバー領域および非ＰＩＰカバー領域の優先エンコーディングなしに全体として符号化される（９４）。しかしながら、入力ＰＩＰ情報が利用可能なら（９２）、ＰＩＰ情報抽出モジュール４６は、ＰＩＰ情報を抽出し（９６）、ＰＩＰアウェアビデオエンコーダー４４により使用するためにＰＩＰ ＭＢマップを発生する（９８）。抽出は、ＰＩＰ領域によりカバーされるビデオフレーム内においてＭＢｓを識別するための座標または他の値の変換を含んでいてもよい。ＰＩＰアウェアビデオエンコーダー４４はＰＩＰ ＭＢマップを用いて出力ビデオの非ＰＩＰカバー領域を符号化し（１００）、出力ビデオのＰＩＰカバー領域のエンコーディングをスキップする（１０２）。

図７は、ＰＩＰコンテンツと情報が中間ネットワークサーバーにより提供されるビデオエンコーディングおよびデコーディングシステム１０４を図解するブロック図である。この開示において、ＰＩＰコンテンツは出力ビデオのような、ビデオ通信装置１２、１４により生成されるコンテンツとして一般的に記載されてきた。しかしながら、ＰＩＰコンテンツは、出力ビデオに代わるものとしてまたは出力ビデオに加えて他の情報を含んでいてもよい。例えば、時間、日付、経過したテレビ会議時間、ネットワークステータスおよび同類のもののような情報を伝達するテキスト情報またはグラフィック情報は、ＰＩＰ領域に提示されてもよい。そのような情報は、ビデオ通信装置１２、１４内で局所的に発生されてもよい。あるいは、そのようなＰＩＰコンテンツは中間ＰＩＰサーバー１０６により発生されてもよい。この場合、ＰＩＰサーバー１０６と通信しているネットワークインフラストラクチャー装置１０８を、ビデオ通信装置１２、１４間で送信された符号化されたビデオにＰＩＰコンテンツを追加するために設けられてもよい。

そのためには、ネットワーク装置１０８は、ビデオストリーム内のＰＩＰコンテンツの配置を可能にするのに十分なエンコーダーコンポーネントおよびデコーダーコンポーネントを含んでいてもよい。あるいは、ＰＩＰコンテンツは、ネットワーク装置１０８からそれぞれのビデオ通信装置１２、１４に送信され、デコードされたビデオ内に設置されてもよい。ステータス情報に代わるものとして、ＰＩＰサーバー１０６により供給されるＰＩＰコンテンツは、商品または商業サービスのための広告情報、または情報公開サービスメッセージを含んでいてもよい。実際には、ＰＩＰコンテンツは、任意の特定のタイプのコンテンツに限定されず、送り手のビデオ、広告、パブリックまたはプライベートな情報、またはデコードされたビデオの一部上のオーバーレイ(overlay)として提示される任意のコンテンツを含んでいてもよい。どんな場合でも、ＰＩＰサーバー１０６により生成されたＰＩＰコンテンツは、デコードされたビデオの一部上にオーバーレイされるＰＩＰ領域に表示される。従って、デコードされたビデオの一部はＰＩＰ領域により不明瞭とされ、本明細書に記載したように、優先エンコーディングまたはデコーディングを望ましいものにさせる。優先エンコーディング、デコーディングまたは両方をサポートするために、ネットワーク装置１０８は、ローカルビデオ通信装置１２からビデオを受信し、ＰＩＰサーバー１０６からのＰＩＰコンテンツを加え、ビデオおよびＰＩＰコンテンツをリモートビデオ通信装置１４に送信する。

さらに、ネットワーク装置１０８は、ＰＩＰ領域によりカバーされないビデオの優先エンコーディングまたはデコーディングにおいて使用するために、帯域内または帯域外シグナリングにより、ＰＩＰ領域のサイズと位置を指定するＰＩＰ情報をリモートビデオ通信装置１４に送信する。図７から明らかなように、ネットワーク装置１０８は、ローカルおよびリモートビデオ通信装置１２、１４に対して相互に動作してもよい。特に、ネットワーク装置１０８は、ＰＩＰ情報とともに、ビデオ通信装置１２からのビデオおよびＰＩＰサーバー１０６からのＰＩＰコンテンツをビデオ通信装置１４に供給する。同様に、ネットワーク装置１０８は、ＰＩＰ情報とともに、ビデオ通信装置１４からのビデオおよびＰＩＰサーバー１０６からのＰＩＰコンテンツをビデオ通信装置１２に供給する。ＰＩＰコンテンツ、並びにＰＩＰコンテンツのサイズと位置は、ビデオ通信装置１２、１４にとって、同じであってもよいし、異なっていてもよい。

本明細書に記載された技術は、ハードウエア、ソフトウエア、ファームウエア、または任意のそれらの組み合わせにおいて実施されてもよい。ソフトウエアにおいて実施されるなら、この技術は、実行されるとき、上で述べた１つ以上の方法を実行する命令を含むプログラムコードを備えたコンピューター読み取り可能媒体により一部が実現されてもよい。この場合、コンピューター読み取り可能媒体は、同期型ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、リードオンリメモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光学データ記憶媒体、および同類のものを備えていてもよい。

プログラムコードは、１つ以上のデジタルシグナルプロセッサー（ＤＳＰｓ）、汎用マイクロプロセッサー、特定用途向け集積回路（ＡＳＩＣｓ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡｓ）、または他の等価な集積またはディスクリートロジック回路のような１つ以上のプロセッサーにより実行されてもよい。いくつかの実施形態において、本明細書に記載された機能性は、エンコーディングまたはデコーディングのための専用ソフトウエアモジュールまたはハードウエアユニットを備えていてもよく、または結合されたビデオエンコーダー−デコーダー（ＣＯＤＥＣ）に内蔵されていてもよい。

種々の実施形態が記載された。

これらのおよび他の実施形態は、以下のクレームの範囲内である。

図１はＰＩＰアウェアビデオエンコーダー−デコーダー（ＣＯＤＥＣｓ）を内蔵するビデオエンコーディングおよびデコーディングシステムを図解するブロック図である。 図２は、無線ビデオ通信装置に関連するディスプレイ上に表示されるビデオフレーム内のＰＩＰ領域の表示を図解する図である。 図３はＰＩＰアウェアＣＯＤＥＣを内蔵するビデオ通信装置を図解するブロック図である。 図４はユーザーに提示されるビデオフレーム内のＰＩＰ領域と非ＰＩＰ領域を図解する図である。 図５は出力ビデオの非ＰＩＰ領域を優先的に符号化するためのＰＩＰ情報の処理を図解するフロー図である。 図６は出力ビデオの非ＰＩＰ領域を優先的に符号化し、入力ビデオの非ＰＩＰ領域を優先的にデコードするためのＰＩＰ情報の処理を図解するフロー図である。 図７は、ＰＩＰコンテンツおよび情報が中間ネットワークサーバーにより供給されるビデオエンコーディングおよびデコーディングシステムを図解するブロック図である。

Claims (48)

1. 下記を具備する方法：
   ピクチャーインピクチャー（ＰＩＰ）情報を受信する；
   前記ＰＩＰ情報に基づいてリモートビデオ通信装置に送信されるビデオを符号化する。
2. ＰＩＰ情報を受信することは、サーバーからＰＩＰ情報を受信することを含む、請求項１の方法。
3. 前記ＰＩＰ情報は、広告、ステータス情報、経過テレビ会議時間の少なくとも１つを含む、請求項２の方法。
4. ＰＩＰ情報を受信することは、前記リモートビデオ通信装置から前記ＰＩＰ情報を受信することを含む、請求項１の方法。
5. 前記ＰＩＰ情報は、前記リモートビデオ通信装置により提示されるＰＩＰ領域のサイズおよび位置を示す、請求項４の方法。
6. 符号化することは、前記リモートビデオ通信装置により提示されるＰＩＰ領域によりカバーされないビデオの領域を優先的に符号化することを含む、請求項４の方法。
7. 優先的に符号化することは、前記ＰＩＰ領域によりカバーされるビデオの領域よりも高品質なＰＩＰ領域によりカバーされない前記ビデオの領域を符号化することを含む、請求項６の方法。
8. 優先的に符号化することは、前記ＰＩＰ領域によりカバーされない前記ビデオの領域を符号化することと、前記ＰＩＰ領域によりカバーされる前記ビデオの領域の符号化をスキップすることとを含む、請求項６の方法。
9. 優先的に符号化することは、そうでなければ前記ＰＩＰ領域によりカバーされる前記ビデオの領域を符号化するために使用されるであろうさらなる符号化ビットを有したＰＩＰ領域によりカバーされない前記ビデオの領域を符号化することを含む、請求項８の方法。
10. 前記ＰＩＰ情報に基づいてＰＩＰマクロブロック（ＭＢ）マップを発生することをさらに具備し、前記ＰＩＰ ＭＢマップは、前記ＰＩＰ領域によりカバーされる前記ビデオ内のＭＢｓを識別し、符号化することは前記識別されたＭＢｓの符号化をスキップすることを含む、請求項１の方法。
11. 下記をさらに具備する請求項１の方法：
    前記リモートビデオ通信装置から符号化されたビデオを受信する；
    ローカルビデオ通信装置からローカルＰＩＰ情報を受信する；
    前記ローカルＰＩＰ情報に基づいて前記符号化されたビデオをデコードする；
    前記ローカルビデオ通信装置において前記デコードされたビデオを提示する。
12. 前記ローカルＰＩＰ情報は、前記ローカルビデオ通信装置により提示されるローカルＰＩＰ領域のサイズと位置を示す、請求項１１の方法。
13. デコードすることは、前記ローカルビデオ通信装置により提示されるローカルＰＩＰ領域によりカバーされない前記受信したビデオの領域を優先的にデコードすることを含む、請求項１１の方法。
14. 優先的にデコードすることは、前記ローカルＰＩＰ領域によりカバーされる前記受信されたビデオの領域に対するエラー隠蔽と後処理の少なくとも１つをスキップすることを含む、請求項１３の方法。
15. ビデオを符号化することは、ローカルビデオ通信装置において前記ビデオを符号化することを含み、前記ローカルビデオ通信装置と前記リモートビデオ通信装置の少なくとも１つはビデオテレフォニーに関与するモバイルワイヤレスデバイスを含む請求項１の方法。
16. 前記モバイルワイヤレスデバイスは、ビデオカメラとビデオディスプレイを有する携帯電話を含む、請求項１５の方法。
17. 下記を具備する方法：
    リモートビデオ通信装置に送信されるビデオを符号化する；
    前記ビデオとピクチャーインピクチャー（ＰＩＰ）情報を前記リモートビデオ通信装置に送信する。
18. 前記ＰＩＰ情報は、ローカルビデオ通信装置により提示されたＰＩＰ領域のサイズと位置を示す、請求項１７の方法。
19. 前記リモートビデオ通信装置からリモートＰＩＰ情報を受信することをさらに具備し、符号化することは前記リモートＰＩＰ情報に基づいて前記ビデオを符号化することを含む、請求項１７の方法。
20. 前記リモートＰＩＰ情報は、前記リモートビデオ通信装置により提示されるＰＩＰ領域のサイズと位置を示し、符号化することは、前記リモートビデオ通信装置により提示される前記ＰＩＰ領域によりカバーされない前記ビデオの領域を優先的に符号化することを含む、請求項１９の方法。
21. ビデオを符号化することは、ローカルビデオ通信装置において前記ビデオを符号化することを含み、前記ローカルビデオ通信装置と前記リモートビデオ通信装置の少なくとも１つがビデオテレフォニーに関与するモバイルワイヤレスデバイスを含む、請求項１７の方法。
22. 下記を具備するビデオ通信装置：
    ピクチャーインピクチャー（ＰＩＰ）情報を受信するモジュール；
    前記ＰＩＰ情報に基づいてリモートビデオ通信装置に送信されるビデオを符号化するビデオエンコーダー。
23. 前記モジュールは、サーバーからＰＩＰ情報を受信する、請求項２１の装置。
24. 前記ＰＩＰ情報は広告、ステータス情報、および経過されたテレビ会議時間の少なくとも１つを含む、請求項２２の装置。
25. 前記モジュールは前記リモートビデオ通信装置からＰＩＰ情報を受信する、請求項２１の装置。
26. 前記ＰＩＰ情報は、前記リモートビデオ通信装置により提示されたＰＩＰ領域のサイズと位置を示す、請求項２４の装置。
27. 前記ビデオエンコーダーは、前記リモートビデオ通信装置により提示されたＰＩＰ領域によりカバーされない前記ビデオの領域を優先的に符号化する、請求項２４の装置。
28. 前記ビデオエンコーダーは、前記ＰＩＰ領域によりカバーされる前記ビデオの領域よりも高い品質を有する前記ＰＩＰ領域によりカバーされない前記ビデオの領域を優先的に符号化する、請求項２６の装置。
29. 前記ビデオエンコーダーは、前記ＰＩＰ領域によりカバーされない前記ビデオの領域を符号化し、前記ＰＩＰ領域によりカバーされる前記ビデオの領域の符号化をスキップする、請求項２６の装置。
30. 前記ビデオエンコーダーは、そうでなければ前記ＰＩＰ領域によりカバーされる前記ビデオの領域を符号化するために使用されるであろうさらなる符号化ビットを有する前記ＰＩＰ領域によりカバーされない前記ビデオの領域を符号化する、請求項２８の装置。
31. 前記モジュールは、前記ＰＩＰ情報に基づいてＰＩＰマクロブロック（ＭＢ）マップを発生し、前記ＰＩＰ ＭＢマップは、前記ＰＩＰ領域によりカバーされる前記ビデオ内のＭＢｓを識別し、前記ビデオエンコーダーは、前記識別されたＭＢｓの符号化をスキップする、請求項２４の装置。
32. 前記装置は、前記リモートビデオ通信装置からの符号化されたビデオを受信するローカルビデオ通信装置であり、前記装置はさらに下記を具備する、請求項２４の装置：
    前記ローカルビデオ通信装置のためのローカルＰＩＰ情報を受信するモジュール；
    前記ローカルＰＩＰ情報に基づいて前記リモートビデオ通信装置からの前記符号化されたビデオをデコードするデコーダー。
33. 前記ローカルＰＩＰ情報は、前記ローカルビデオ通信装置により提示されたローカルＰＩＰ領域のサイズと位置を示す、請求項３１の装置。
34. 前記デコーダーは、前記ローカルビデオ通信装置により提示されたローカルＰＩＰ領域によりカバーされない前記受信されたビデオの領域を優先的にデコードする、請求項３１の装置。
35. 前記デコーダーは、前記ローカルＰＩＰ領域によりカバーされる前記受信されたビデオの領域に対するエラー隠蔽と後処理の少なくとも１つをスキップする、請求項３３の装置。
36. 前記装置は、ビデオテレフォニーに関与するモバイルワイヤレスデバイスを含む、請求項２４の装置。
37. ビデオカメラとビデオディスプレイをさらに具備する、請求項２１の装置。
38. 下記を具備するビデオ通信装置：
    リモートビデオ通信装置に送信されるビデオを符号化するエンコーダー；
    ピクチャーインピクチャー（ＰＩＰ）情報を前記リモートビデオ通信装置に送信するシグナリングモジュール。
39. 前記ＰＩＰ情報は、前記ビデオ通信装置により提示されたＰＩＰ領域のサイズと位置を示す、請求項３７の装置。
40. 前記リモートビデオ通信装置からリモートＰＩＰ情報を受信するモジュールをさらに具備し、前記エンコーダーは、前記リモートＰＩＰ情報に基づいて前記ビデオを符号化する、請求項３７の装置。
41. 前記リモートＰＩＰ情報は、前記リモートビデオ通信装置により提示されるＰＩＰ領域のサイズと位置を示し、前記エンコーダーは、前記リモートビデオ通信装置により提示された前記ＰＩＰ領域によりカバーされない前記ビデオの領域を優先的に符号化する、請求項３９の装置。
42. 下記を具備するビデオ通信システム：
    ローカルビデオ通信装置；
    リモートビデオ通信装置；
    前記リモートビデオ通信装置は、リモートピクチャーインピクチャー（ＰＩＰ）情報を前記ローカルビデオ通信装置に送信し、前記ローカルビデオ通信装置は、前記リモートＰＩＰ情報に基づいて前記リモートビデオ通信装置に送信するためにビデオを符号化する。
43. 前記ＰＩＰ情報は、前記リモートビデオ通信装置により提示されるＰＩＰ領域のサイズと位置を示す、請求項４１のシステム。
44. 前記ローカルビデオ通信装置は、前記リモートビデオ通信装置により提示されたＰＩＰ領域によりカバーされない前記ビデオの領域を優先的に符号化する、請求項４１のシステム。
45. 前記ローカルビデオ通信装置は、前記ＰＩＰ領域によりカバーされる前記ビデオの領域の符号化をスキップし、そうでなければ前記ＰＩＰ領域によりカバーされる前記ビデオの領域を符号化するために使用されるであろうさらなる符号化ビットを有する前記ＰＩＰ領域によりカバーされない前記ビデオの領域を符号化する、請求項４１のシステム。
46. 前記ローカルビデオ通信装置は、ローカルＰＩＰ情報を前記リモートビデオ通信装置に送信し、前記リモートビデオ通信装置は、前記ローカルＰＩＰ情報に基づいて前記ローカルビデオ通信装置に送信するためにビデオを符号化する、請求項４１のシステム。
47. 前記ローカルビデオ通信装置は、前記ローカルＰＩＰ情報に基づいて前記リモートビデオ通信装置から受信されたビデオをデコードする、請求項４１のシステム。
48. 前記ローカルビデオ通信装置および前記リモートビデオ通信装置の少なくとも一方は、モバイルワイヤレス通信装置である、請求項４１のシステム。

Images