JP2004282762A - 遠隔映像処理回路の制御方法およびそのシステム - Google Patents

Abstract

【課題】テレビ電話通信が受信する映像信号を最適化するためのパラメータ追加やカメラの遠隔操作命令を含むプロトコルの適用が互換性のある電動カメラの使用を伴うという不都合を取り除くこと。
【解決手段】伝送されるビデオストリームに作用するために、端末装置に伝送されるビデオストリームを生成する遠隔映像処理回路２０に命令するためのプロセスに関するものである。このプロセスは、端末装置が、伝送されるビデオストリームを修正する遠隔映像処理回路への命令を伝送するステップと、映像処理回路が、ビデオストリームを端末装置に伝送する前に、このビデオストリームに関する命令を実行するステップとを含んでいる。ビデオストリーム処理命令は、伝送されるビデオストリームに含まれる画像の画像領域を規定する命令を含んだ映像処理回路２０によって実行できる。また、このビデオストリーム処理命令は、画像領域に適用される処理の規定に関連している。
【選択図】図２

Description

本発明は、遠隔映像処理回路の制御方法およびその装置に関するものである。

この発明は、特に、テレビ電話通信（videophone telecommunications）に用いられるが、これに限定されるものではない。

従来、テレビ電話通信は、捕獲モジュールと、符号化モジュールと、伝送モジュールとを含んだ遠隔映像処理回路を使用する。

テレビ電話通信では、テレビ電話通信が受信する映像信号を最適化するために、少しのパラメータを通信に加えることによって、これらのパラメータを修正できる。上記パラメータを、２つのカテゴリーに分類できる。

パラメータの第１のカテゴリーには、第１のカテゴリーの特定のパラメータに作用することにより、ビデオストリーム伝送機（video stream transmitter）の符号化モジュールの動作を遠隔修正できる全ての命令が収集されている。例えば、ＩＰネットワーク（インターネットプロトコル）のマルチメディア通信システムに適用されるプロトコルＨ．３２３を用いて、遠隔符号器に作用することのできる命令を送信することができる。これにより、流動性は低下するが、伝送されるビデオストリームの画像の質が上がる。また、その逆も言える。このカテゴリーの命令は、非常に限定されており、伝送される映像信号を全体的に処理できるだけである。

第２のカテゴリーには、カメラ用の遠隔操作命令が収集されている。これらの命令は、遠隔カメラ（remote camera）に伝送される標準化された命令を蓄える複数のプロトコルに、規定されている。これにより、遠隔カメラの方向およびズームに機械的に作用することにより、遠隔カメラの撮影領域を修正する。テレビ電話通信へのこれらのプロトコルの適用は、互換性のある電動カメラの使用を伴う。

本発明の目的は、これらの不都合を取り除くことにある。この目的を、ビデオストリームに基づいて、端末装置に伝送されるビデオストリームを生成する遠隔映像処理回路の制御方法を提供することにより、達成する。この方法には、ビデオストリームを修正するために、端末装置が遠隔映像処理回路に命令を伝送している間のステップと、遠隔映像処理回路が、端末装置にビデオストリームを伝送する前に、ビデオストリームに対して命令を実行する間のステップとが含まれている。

本発明によると、遠隔映像処理回路を用いて実行できる、ビデオストリーム処理命令は、伝送されるビデオストリームに含まれる画像の画像領域を規定している、画像領域に適用される処理命令を含んでいる。また、上記命令は、画像領域に適用される処理動作の規定に関連している。また、この命令は、遠隔映像回路による処理命令の実行を含んでいる。なお、この処理命令は、命令によって規定されたビデオストリームの画像領域を選択するための選択ステップを含んだ、画像領域に適用されるものである。また、この命令は、ビデオストリームにおいて選択された画像領域に対する命令によって規定された処理動作を用いるための処理ステップを含んでいる。

本発明に特有な１つの特徴によると、このプロセスは、端末装置によって与えられた命令を少なくとも一部実行するための映像処理回路の中で任意のモジュールを起動する起動ステップも、含んでいる。

本発明に特有な他の特徴によると、映像処理回路によって実行できるビデオストリーム処理命令は、画像領域を拡大するために、画像領域に関連したズーム命令と、このズーム命令の実行に続いて、ビデオストリームにおいて伝送される画像領域を移動するための移動命令と、任意に、ビデオストリームにおいて伝送される画像の残り（remainder）に損失を与えて、画像領域の解像度を上げるための、画像領域に関係のある解像度上昇命令とを含んでいる。

また、映像処理回路が、ビデオストリーム処理命令の実行時間から始まる時間間隔後に、ビデオストリームによって初期状態の画像構成（default image configuration）を修復することが有利である。

また、映像処理回路によって実行できるビデオストリーム処理命令は、このビデオストリームによって伝送される画像の初期状態の画像構成を修復するための修復命令を含んでいることが好ましい。

本発明に特有の他の特徴によると、伝送されるビデオストリーム用の処理命令の伝送は、メッセージ中の（in messages）プロトコルＨ．３２３またはＳＩＰに基づいて実行される。なお、これらのメッセージは、端末装置がこれらのメッセージに対応していない場合にこの端末装置によって拒否される。

本発明は、ビデオストリームを生成する第１遠隔映像処理回路を制御するためのシステムに関するものでもある。なお、このビデオストリームは、伝送される影像の流れに影響を与えるために、通信ネットワークを介して第１端末装置に伝送される。このシステムは、伝送されるビデオストリームに適用される命令を処理する第１遠隔映像処理回路に伝送するための第１端末装置に設置される伝送手段、および、第１処理回路によって、伝送されるビデオストリームに対するビデオストリーム処理命令を受信し実行するために、第１遠隔映像処理回路に設置された命令受信手段と実行手段とが含まれている。

本発明によると、第１遠隔映像処理回路を用いて実行できるビデオストリーム処理命令は、ビデオストリームに含まれる画像の画像領域を規定している、画像領域に適用される処理命令を含んでいる。また、上記命令は、画像領域に適用される処理動作の規定に関連している。また、第１遠隔映像処理回路に設置された命令受信実行手段は、上記画像領域に適用される処理命令に規定された画像領域をビデオストリームにおいて選択するための選択手段と、ビデオストリームにおいて選択される画像領域に対する命令に規定された処理動作を適用するための適用手段とを含んでいる。

本発明に特有な一つの特徴によると、このシステムは、伝送されるビデオストリームにおいて画像領域に適用される処理動作を規定する命令の少なくとも１部分を実行するための第１映像処理回路に挿入される付加的なモジュールを含んでいる。

これらの付加的なモジュールは、再構成モジュール（reframing module）を含んでいることが有効である。

本発明に特有な他の特徴によると、第１映像処理回路は、伝送手段を含んだ第２端末装置に設置される。この伝送手段は、第２映像処理回路によって伝送されるビデオストリームを修正するために、第１端末装置に設置された第２映像処理回路に命令を伝送するための手段である。この第２映像処理回路には、伝送されるビデオストリームを修正するための命令受信実行手段が含まれている。

以下に、本発明の１つの好ましい実施形態を、添付図面を参照しながら、それにより限定されることの無い例を用いて記載する。図１は、本発明の方法が適用されるテレビ電話通信システムの１例を概略的に示す図である。図２は、端末装置に集積された、本発明の映像処理・命令処理回路をより詳述した図である。図３は、端末装置に組込まれたプログラムのソフトウェア構成を示す図である。

図１に、テレビ電話通信が間に配置されている２つの端末装置２、３を含んだテレビ電話通信システムを示す。各端末装置は、表示画面５、キーボード４およびマウス６のような命令要素（command members）、カメラ７、マイクロフォン８、および、少なくとも１つのスピーカー９を備えている。

図１に示した例では、端末装置２は、ローカルネットワーク１０およびローカルサーバ１１を介して、公衆通信ネットワーク１に接続されている。一方、端末装置３は、ネットワーク１に直接接続されている。

テレビ電話通信を行っている間、ネットワーク１、１０およびサーバ１を経由する端末装置２、３は、カメラ７によって撮影された画像を含んだビデオストリームと、マイクロフォン８によって捕獲された音声とを転換する。転換されたビデオストリームは、例えば、プロトコルＨ．２６３＋およびＱＣＩＦ画像形式（四分の一共通中間形式（Quarter Common Intermediate）、テレビ電話で頻繁に用いられる映像画面形式、および、テレビ会議通信に適合している。また、明らかに、本発明はＳＱＣＩＦ、ＣＩＦ、４ＣＩＦ、１６ＣＩＦのような他の映像形式に適用されてもよい。

上記ビデオストリームを生成するために、各端末装置２、３は、図２に示したような映像処理回路を設けている。この回路は、命令処理回路２１に接続されている。また、映像処理回路２０は、映像伝送部と、映像受信部とを設けている。この映像伝送部は、カメラで撮影される、あるいは、他の映像源１９から得られる映像画像を伝送するためのものである。また、映像受信部は、他の端末装置によって放出されたビデオストリームを受信し、それを画面５に表示するためのものである。また、命令処理回路は、命令伝送部と、命令受信部とを設けている。命令伝送部を、上記他の端末装置の映像処理回路に命令を伝送するように設計する。また、命令受信部を、上記他の端末装置によって放出された命令を受信して、受信された命令に応じて映像処理回路の伝送部を操作するように設計する。

より正確には、映像伝送部は、捕獲モジュール２２と、符号化モジュール２４と、伝送モジュール２６とを設けている。捕獲モジュール２２は、端末装置のカメラ７で撮影されるかまたは他の映像源から得られる映像画像２１を受信する。符号化モジュール２４は、捕獲モジュール２２から供給されたビデオストリームを符号化するように設計されており、特に、この流れを、指定された伝送率に合わせるように圧縮するように設計されている。また、伝送モジュール２６は、符号化モジュール２４によって生じた符号化されたビデオストリームを、伝送するためにパケットの形で配列するように、端末装置の通信モジュールに接続されている。

また、映像受信部は、映像受信モジュール２９と、映像復号化モジュール３０と、表示モジュール３１とを設けている。映像受信モジュールは、端末装置によって受信されたパケットからビデオストリームを再編成するように、設計されている。映像復号化モジュールは、上記受信モジュールに接続されており、ビデオストリームを復号化するように設計されている。表示モジュールは、一方では復号化モジュールに接続され、もう一方では復号化されたビデオストリームを再編成するために端末装置の表示画面５に接続されている。

本発明によると、任意のモジュール２３、２５はまた、符号化モジュール２４から上流および／または下流へ映像処理回路２０の伝送部に挿入され、および／または、端末装置２、３の構成に応じて符号化モジュール２４に集積される。

また、命令処理回路の受信部は、受信された命令を制御モジュール２７に供給する、命令受信モジュール２８を設けている。制御モジュール２７は、映像処理回路の放出部に接続されており、特に捕獲モジュール、任意のモジュール２３、２５、および、符号化モジュール２４、並びに、適用できる場合は映像源１９に接続されている。

命令処理回路の伝送部は、命令モジュール３２および命令伝送モジュール３３を設けている。命令モジュール３２は、端末装置の制御要素（control members）４、６に接続されており、端末装置制御要素（terminal control members）４、６を用いてユーザーによって与えられた命令から命令を生成する。また、命令伝送モジュール３３は、命令モジュール３２に接続されており、このモジュール３２によって生成された命令を伝送する。

図３に示したように、２つの処理回路（映像および命令）２０、２１は、応用ソフトウェア層（applicative software layer）から成っている。命令処理層２１は、例えばプロトコルＨ．３２３、または、遠隔端末装置からの命令を送受信するためのＳＩＰ（セッション初期化プロトコル）を実行する、ソフトウェア層４１を使用する。プロトコルＨ．３２３を用いる場合、これらの命令を、オーナーデータの伝送が可能な「機能」メッセージの形状で伝送する。また、ＳＩＰプロトコルを用いる場合、これらの命令を、「ＩＮＦＯ」メッセージを用いて伝送してもよい。これら２つのタイプのメッセージの利点は、アドレス端末装置がこれらのメッセージに対応していない場合に、この端末装置によって拒否される点にある。これにより、複数の端末装置の相互運用性を維持することができる。

また、映像処理層２０は、パケットの形状でビデオストリームを送受信するために、プロトコルＲＴＰ（実時間プロトコル）またはそのようなものを実行するソフトウェア層４０を使用する。これら２つの層４０、４１は、インターネット網に用いられるプロトコルを集めるプロトコルＴＣＰ／ＩＰ（伝送制御プロトコル／インターネットプロトコル）を実行する層４２と組み合わさる（interlaced）ように設計されている。層４２を、トランスポート層４３を用いるネットワークに物理的にアクセスするために使用できる。

例えば端末装置２と３との間でのテレビ電話通信中に、端末装置２は、映像処理回路２０の受信部によって処理されるＱＣＩＦ形式でのビデオストリームＨ２６３＋を受信する。本発明を通じて、ユーザーは、キーボード４および／またはマウス６によって、命令処理回路２１の伝送部に命令を適用する（applying）ことにより、受信されたビデオストリームに、作用することができる。これらの命令を、他の端末装置３の命令処理回路２１の受信部によって受信および処理するとともに、端末装置３の映像処理回路の伝送部を操作するために使用する。

命令モジュール３２によって生成される操作命令（piloting commands）は、例えば以下の形式をしている。
領域＜画像領域の仕様＞、
＜この領域に適用される命令＞）
通常、画像領域は、その形およびサイズによって規定される（例えば“「ＲＥＣＴＡＮＧＬＥ（＜左上の点の座標＞、＜右下の点の座標）」）"。

伝送された画像の質、および、それゆえに伝送率に影響を与える従来の命令に加えて、これらの命令が、
命令によって指定された領域を拡大するためのＺＯＯＭ、
命令によって指定された領域の解像度を改善するためのＢＥＴＴＥＲ＿ＲＥＳＯＬＵＴＩＯＮ
拡大される領域を基本画像の他の部分に移動するためのＧＯ
であってもよい。

ユーザーが、例えば画像の特定領域を拡大するために“領域（ＲＥＣＴＡＮＧＬＥ（（８０、８０）、（１７６、１４４））、ＺＯＯＭ）"の形状でズーム命令を与えると、制御モジュール２７は、この命令を実行するために様々な解答を供給できる。

また、カメラをズーム命令にしたがって駆動する（motorized）場合、制御モジュール２７は、命令によって指示された領域を最もよい構成にする（framing）ためのカメラに適用される命令を、伝送する。

また、カメラを駆動しない場合、または、命令をカメラによって十分に実行できない場合（例えば、要求された拡大倍率がカメラのズーム容量を超える場合）、制御モジュール２７が、画像を入力する（incoming）ための形式変更命令を捕獲モジュール２２に適用することにより、解像度が上がる（例えば、以前に選択されたＱＣＩＦ（１７６×１４４ピクセル）の代わりに、形式ＣＩＦ（３５２×２８８ピクセル）を要求する）。次に、制御モジュール２７が、捕獲モジュール２２と符号化モジュールとの間の任意抑制モジュール（optional refraining module）２３を起動することにより、捕獲された画像の１部分のみを選択する。より正確には、受信された命令によって指示された領域に含まれる画像の部分を選択する。この符号化モジュール２４が対応している（compliant）場合、制御モジュール２７は、その出力形式（outgoing format）を指示された領域の形式、つまり上記命令の例では９６×６４ピクセルに相当するように修正してもよい。

通常、ビデオストリームの解像度を上げるために、復号化モジュール３０に伝送されるデータが大きくなると伝送率を上げる必要がある。この問題を解決するために、本発明の目的は、画像の１部分のみに利用できる伝送の流れの全てまたは部分を指定することにより、映像画像の解像度を局部的に上げることにある。このとき、映像処理回路の伝送部は、遠隔地にいるユーザーが要求した領域に伝送部の（its）資源を集中し、これにより、要求した領域の外側に位置するそれらの（those）ゾーンを下げるか符号化しないで、最良の質を提供することができる。

これにより、画像の特定領域の解像度を上げるために、受信モジュール２８が、解像度を上げるための命令（例えば、“領域（ＲＥＣＴＡＮＧＬＥ（（８０、８６）、（１７６、１４４））、ＢＥＴＴＥＲ＿ＲＥＳＯＬＵＴＩＯＮ）"）を受信する場合、制御モジュール２７は、画像の残りに損失を与えて、命令によって指示された領域を符号化するために最大の資源（流れ）を割り当てる符号化モジュール２４に作用するだろう。

受信された映像の画像に関して画像の部分が静止画像である場合、ユーザーは、したがって、この命令を用いる遠隔映像回路に作用することができる。これにより、もはや、この静止部分を受信しないし、所望の画像部分に映像伝送回路の資源を集中させない。

撮影領域を移動するために、ユーザーは、以下の形状をした命令を与えることができる。例えば、
領域（ＲＥＣＴＡＮＧＬＥ（（−１７６、−２０）、（０、１２４））、ＧＯ）
この命令において、要求された画像領域の座標は、新しい画像領域に関連して表される。

この命令を処理するために、捕獲資源を移動できるかどうかに応じた、様々な可能性がある。この捕獲資源は、電動のカメラ、または、静止画像における画面（例えばコンピュータ表示画面）を捕獲するためのモジュールであってもよい。捕獲資源を移動できる場合、命令モジュールは、受信された命令によって指定された領域に達するために、資源に直接的に作用する。捕獲資源を移動できない場合、制御モジュール２７は、任意抑制モジュール２３を起動し、このモジュールに命令し、このモジュールに伝送される画像の領域を供給する。

映像処理回路の伝送部に適用される、伝送部の修正に寄与するためのものを、一時的な性質（temporary nature）を有し、この時間間隔後に消滅するように、設けてもよい。このとき、伝送部は初期設定の構成に戻る。

それに代わるものとして、これらの修正は、他の命令を受信するまでは確実に残る。この場合、初期設定の構成を復元するための復元命令に寄与するものを設けてもよい。

明らかに、上述の命令とは異なる命令を本発明の範囲から逸脱することなく設けてもよい。例えば、遠隔端末装置は、テレビ会議用の様々なビデオストリームを収集する映像画像を生成するサーバであってもよい。この場合、命令を、特にビデオストリームのうちの１つ、および、この画像におけるビデオストリームの提示に作用するために設けてもよい。

本発明の方法が適用されるテレビ電話通信システムの１例を概略的に示す図である。 端末装置に集積された、本発明の映像処理・命令処理回路をより詳述した図である。 端末装置に設置されたプログラムのソフトウェア構成を示す図である。

Claims (12)

1. ビデオストリームに作用するために、端末装置（２・３）に伝送される上記ビデオストリームを生成する遠隔映像処理回路（２０）を制御するための方法であって、
   上記端末装置が、伝送されるビデオストリームを修正するための遠隔映像処理回路に命令を伝送するステップと、
   上記遠隔映像処理回路が、端末装置にビデオストリームを伝送する前に、ビデオストリームに対する命令を実行するステップとを含んだ処理を行う方法において、
   上記遠隔映像処理回路（２０）を用いて実行できるビデオストリーム処理命令が、伝送されるビデオストリームに含まれる画像の画像領域を規定している、画像領域に適用される処理命令から成り、
   上記処理命令が、画像領域に適用される処理の規定に関連しており、
   上記処理命令が、遠隔映像処理回路による処理命令の実行を含んでおり、
   上記処理命令が、命令によって規定された画像領域を選択するための選択ステップから成る画像領域に適用され、
   上記処理命令が、命令において規定された処理を、ビデオストリームにおいて選択される画像領域に対して適用する処理ステップを含んでいることを特徴とする、遠隔映像処理回路の制御方法。
2. 上記遠隔映像処理回路の制御方法が、遠隔映像処理回路（２０）の中で任意のモジュール（２３・２５）を起動するステップも含んでいることにより、端末装置（２・３）によって伝送される命令を少なくとも一部実行することを特徴とする、請求項１に記載の方法。
3. 上記遠隔映像処理回路（２０）によって実行できるビデオストリーム処理命令が画像領域に関連したズーム命令を含むことにより、画像領域を拡大することを特徴とする、請求項１または２に記載の方法。
4. 上記遠隔映像処理回路（２０）によって実行できるビデオストリーム処理命令が、ズーム命令の実行に続いて、ビデオストリームによって伝送された画像領域を移動するための移動命令を含んでいることを特徴とする、請求項３に記載の方法。
5. 上記遠隔映像処理回路（２０）によって実行できるビデオストリーム処理命令が、画像領域に関係のある解像度上昇命令を含んでいることにより、ビデオストリームによって伝送される画像の残りに損失を与えて、画像領域の解像度を上げることを特徴とする、請求項１〜４のいずれか１項に記載の方法。
6. 上記遠隔映像処理回路（２０）が、ビデオストリーム処理命令の実行時間から始まる時間間隔後に、ビデオストリームにおいて初期状態の画像構成に戻すことを特徴とする、請求項１〜５のいずれか１項に記載の方法。
7. 上記遠隔映像処理回路によって実行できるビデオストリーム処理命令が、ビデオストリームによって伝送される画像を初期状態の構成に戻すための命令を含んでいることを特徴とする、請求項１〜６のいずれか１項に記載の方法。
8. 上記ビデオストリーム処理命令の伝送が、メッセージ中のプロトコルＨ．３２３またはＳＩＰに基づいて実行され、端末装置（２・３）が上記メッセージに対応していない場合に、メッセージがこの端末装置（２・３）によって拒否されることを特徴とする、請求項１〜７のいずれか１項に記載の方法。
9. ビデオストリームを生成する第１遠隔映像処理回路（２０）を制御するためのシステムであって、
   上記ビデオストリームは、伝送されるビデオストリームに作用するために、通信ネットワークを介して第１端末装置（２）に伝送され、
   伝送されるビデオストリームに適用される命令を処理する、第１遠隔映像処理回路に伝送するための第１端末装置に設置される伝送手段（３３）と、第１遠隔映像処理回路によって伝送されるビデオストリームに対するビデオストリーム処理命令を受信し実行するために、第１遠隔映像処理回路に設置された受信手段（２８）および実行手段（２７）とを含むシステムにおいて、
   上記第１遠隔映像処理回路（２０）を用いて実行できるビデオストリーム処理命令が、伝送されるビデオストリームに含まれる画像の画像領域を規定している、画像領域に適用される処理命令から成り、
   上記処理命令が、画像領域に適用される処理の規定に関連しており、
   上記第１遠隔映像処理回路に設置された実行手段（２７）が、画像領域に適用される処理命令に規定されたビデオストリームにおいて画像領域を選択するための選択手段と、命令に規定された処理動作を、ビデオストリームにおいて選択される画像領域に対して適用するための適用手段とを含んでいることを特徴とする、第１遠隔映像処理回路の制御システム。
10. 上記第１遠隔映像処理回路の制御システムが、第１遠隔映像処理回路（２０）に挿入される付加的なモジュール（２３・２５）を含んでいることにより、伝送されるビデオストリームによって画像領域に適用される処理を規定する命令の少なくとも１部分を実行することを特徴とする、請求項９に記載のシステム。
11. 上記付加的なモジュール（２３・２５）が、再構成モジュールを含んでいることを特徴とする、請求項９に記載のシステム。
12. 上記第１遠隔映像処理回路（２０）は、伝送手段（３３）を含んだ第２端末装置（３）に設置され、上記伝送手段（３３）が、第２遠隔映像処理回路によって伝送されるビデオストリーム処理命令を、第１端末装置（２）に設置された第２遠隔映像処理回路（２０）に伝送するための手段であり、上記第２遠隔映像処理回路は、ビデオストリーム処理命令を受信および実行するための受信手段（２８）および実行手段（２７）を含んでいることを特徴とする、請求項９または１０に記載のシステム。

Images