JP2000507418A - ビデオ処理 - Google Patents

Abstract

(57)【要約】 ｎを３以上の整数とするとき、ｎのビデオ会議端末から入力信号を受けるための入力手段（５１）を含み、各入力信号はビデオ信号のフレームを表わしており、また入力信号の少くとも２つの異なる組合せを各々が表わしているｎの複合信号を形成するための処理手段と、この複合信号を関連するビデオ会議端末へ送るための手段とを備えた画像処理装置。

Description

【発明の詳細な説明】 ビデオ処理 この発明はテレコンファレンス（遠隔会議）、とくに３以上の場所間でビデオ 会議ができるようにするシステムに関する。 ビデオ会議は対面した（フェース・トウ・フェース）会合に対する技術的代替 として考えることができる。２つの場所間での会合（ミーテング）に対しては、 現在の技術は一方の組の参加者が他の組の参加者を見ることができるようにして いる。２を超えた場所が相互接続される場合（いわゆるマルチポイント（多点） ビデオ会議）では、現行のシステムは一般にコストと技術的な拘束条件とが原因 で、一時には１つの他の場所だけが眺められるようにしている。 ビデオ会議の分野に関する多数の規格が採用されてきており、とくに、ＩＴＵ −Ｔ勧告Ｈ．２６１“ｐｘ６４ｋｂｉｔ／ｓでのオーディオ・ビジュアルサービ ス用のコーデック”が知られている。Ｈ．２６１は共通の中間フォーマット（Ｃ ＩＦ）を提唱した。ＣＩＦは毎秒３０映像で、映像当り２８８のインターレース していないラインに基づいている。このフォーマットは慣行的なフォーマットと して日本、及び北アメリカで使われているものと、欧州で使われているものとの 両立性問題を解決するために見付けられたもので、ビデオ会議で使用するために 良品質映像を用意する。第２の映像フォーマットが二次元でのＣＩＦの分解能の 半分をもつものとして含まれてもいた。このフォーマットがクオータ−(1/4)Ｃ ＩＦ（ＱＣＩＦ）として知られている。 他の関連する国際規格はＭＰＥＧ（Moving Picture Expert Group:動画専門家 集団）によって設定された、ＩＳＯ／ＩＥＣ ＩＳ１１１７２−１（普通ＭＰＥ Ｇ１として知られている）とＩＳＯ／ＩＥＣ／１３８１３（普通ＭＰＥＧ２とし て知られている）の両方である。これら規格は両方が共通の中間フォーマット（ ＣＩＦ）を利用し、個々の映像は３５２ピクセル×２８８ライン映像内でどんな 寸法をもとることができる。 マルチポイントビデオ会議は一般にマルチポイント制御ユニット（ＭＣＵ）に よって制御され、これが個別に各場所からのオーディオとビデオ信号を処理する 。ＭＣＵは普通は装置の個別部品として用意されるが、関与している端末の１つ に ついての一体化された部分として形成されてもよい。ＭＣＵは一般に開かれたオ ーディオ・ミキサシステムを用意して、全参加者が他の全部の参加者を聞けるけ れど自分達は聞けないようにする。しかし、各端末は他の関与している端末の１ つを見ることだけができるので、ＭＣＵは他の端末で見ることになる、選ばれた 端末からのビデオを切換えることになる。特定の端末で見られている者を選ぶた めの各種の方法が知られている。一番普及している２つは、誰かが発言している 端末から自動的に映像を選ぶか、あるいは誰によってどの映像が見られているか を制御する座長を置くようにすることを含んでいる。 欧州特許出願Ｎｏ．５２３６２９はマルチポイント遠隔会議システムに関する 。議長が端末の１つに位置していて、どの映像が参加者によって眺められるかを 制御する。各参加者は表示用として他の参加者と同じビデオ信号を受ける。欧州 特許出願Ｎｏ．６４２２７１記載のビデオ会議装置は、マルチポイント制御ユニ ットが到来するビデオ信号の毎ｎ番目のフィールドを選んで単一の出力信号を得 てそれを参加者に向けて送る。これもまた全参加者が同じビデオ信号を受取る。 これら現行のシステムは映像切換えプロセスによる侵襲を受けることになり、 ある瞬間に全部の参加者が見れないことにより、現場感を失うことになる。“現 場感の喪失”の例は参加者がとくに静かで、単に聞くだけであるときに生ずる； この参加者が遠隔会議に出席していることを忘れるのは容易なことである。 マルチポイントビデオ会議でもっと望ましいやり方は参加者が会議の間いつま でも見聞きできるようにして、ビデオ会議がもっと現実的な対面会合に近づくよ うにすることである。 この発明によると、画像処理装置が、ｎを３以上の整数とするとき、ｎ端末か らそれぞれが１つのビデオ信号を表わすような入力信号を受取るための入力手段 と、少くとも２つのこの入力信号の異なる組合せをそれぞれが表わしているｎの 複合信号を形成するための処理手段と、関連する端末に対して複合信号を送るた めの手段とで構成されている。 好ましいのは、この処理手段が各入力信号内の制御データを識別するための手 段と、複合信号内に含めるための制御データを再び定義するための手段と、入力 信号からのビデオデータを複合信号内に挿入するための手段とを含んでいること である。 ビデオ信号自体は処理されないから、装置を通る伝搬遅延は比較的小さく、し たがって使用者に受入れられる程度のサービスを提供する。 好ましいのは、複合信号のフレームレートが入力信号の最高フレームレートに 等しいか、予め定めた一定のレートに等しいことである。 好ましいのは、入力信号がクオーターＣＩＦと同じものであり、複合信号がＣ ＩＦと同じであることである。 この発明を別な観点でとらえると、複数の端末からの画像データを処理する方 法であって、その構成は、ｎを３以上の整数とするとき、ｎの端末から入力信号 を受けて、少くとも２つの入力信号の組合せを表わすｎの複合信号を作るために 入力信号を処理して各複合信号が異なるものとし、また複合信号を関連の端末へ 送るようにして成るものである。 ｎが５よりも大きいときは、複合信号は４つの入力信号の組合せを表わしても よく、入力信号はどの端末が最新の発話者を擁していたかに基づいて選択される のが好ましい。 この方法は各入力信号内の制御データを識別し、複合信号内に含めるための制 御信号を再定義し、入力信号からのビデオデータを複合信号内に挿入することを 含むのが好ましい。 この発明をここで例としてのみの目的で添付の図面を参照して記述して行くと し： 図１はマルチポイントビデオ会議を模式的に示す； 図２はビデオ画像がブロックに分けられた領域を示す； 図３ａは４つの明度と２つの色相ブロックで成るマクロブロックを示す； 図３ｂは一群のブロック（ＧＯＢ）を示す； 図３ｃは共通中間フォーマット（ＣＩＦ）に従った１２群のブロックとクオータ ーＣＩＦ（ＱＣＩＦ）に従った３群のブロックとで成る全体画像の構造を示す； 図４はＨ．２６１符号化した映像についてのフレーム用構造を示す； 図５はこの発明による装置の機能素子を示す； 図６はこの発明により、ＱＣＩＦから形成されたＣＩＦ映像を模式的に示す； 図７は各出力に対してビデオデータの新しいＧＯＢ番号付けを定義するルックア ップ表の例を示す； 図８はこの発明による装置の別の実施例の機能素子を示す。 図１に示すように、マルチポイント（多点）ビデオ会議には少くとも３つの場 所を包含し、各場所にはビデオ会議端末１２が備えられている。場所は同じ国内 であってもよいし、多数の国に分散されていてもよい。図１に示した実施例では 、マルチポイント制御ユニット（ＭＣＵ）１４がビデオ会議を制御し、必要とさ れているオーディオとビデオの混合と、スイッチングと制御信号の発振とのすべ てを実行する。各端末１２は広帯域ディジタルリンク（例えば総合サービスディ ジタル網ＩＳＤＮ Ｂチャンネル）を経由してＭＣＵ１４に接続されている。連 合王国ではＢチャンネルは６４ｋｂｉｔ／ｓｅｃの容量を有している。 各端末１２はＨ．２６１規格に適したものでＣＩＦ又はＱＣＩＦ映像を送るこ とができる。ビデオ会議の開始の際に、全部の関与する端末はＭＣＵに対してそ の能力について信号を送り、そこでＭＣＵは端末に対して信号を送ってＱＣＩＦ フォーマットでデータを要求する。 Ｈ．２６１規格によると、画像は図２に示すように後の処理のためにブロック ２２に分けられる。一番小さいブロックの大きさは８×８ピクセルブロックであ るが他の大きさのブロックを採用してもよい。４つのこのようなルミナンス（Ｙ ）ブロックと、２つの対応するクロミナンス（Ｃ_b及びＣ_r）ブロックであって半 分のルミナンス分解能で同じ領域をカバーするものとが、図３ａに示すようにマ クロブロック（ＭＢ）とまとめて呼ばれている。３３のマクロブロックが図３ｂ に示したように群編成されて番号が付けられて、一群のブロック（ＧＯＢ）とし て知られている。図３ｃに示すように群編成されて番号を付けられたものは全Ｃ ＩＦまたは（クオーター）ＱＣＩＦ映像を形成する。 Ｈ．２６１符号化したデータの１フレームに対するフレーム形成構造は図４に 示されている。この構造は一連の層として組織されていて、各々は継続する層と 関連性のある情報を含んでいる。これらの層は次のように配列されている：映像 層４０１；ＧＯＢ層４０３；ＭＢ層４０５；及びブロック層４０７である。各層 にはヘッダがある。映像ヘッダ４０２には符号化された映像の映像番号と、映像 の類型（例えば、その映像がフレーム内符号化されたものかフレーム間符号化さ れたか）及びフォワード誤り補正（ＦＥＣ）符号に関係する情報を含む。ＧＯＢ ヘッダ４０４はフレーム内部のＧＯＢ番号に関係する情報と、ＧＯＢを符号化す るために使用される量子化段階サイズに関係する情報とを含む。ＭＢヘッダ４０ ６はＭＢ番号とＭＢの類型（すなわち、内部／相互間、前方／後方予測、ルミナ ンス／クロミナンス等）に関する情報を含む。 図５はこの発明による装置であって、４つのＱＣＩＦコードとした映像を単一 の全ＣＩＦ映像に組合せるためのものである。このような装置がＭＣＵ１４内に 用意される。各個別端末１２でビデオ会議に関与しているものはＱＣＩＦ Ｈ． ２６１フォーマット形成したビデオデータをＭＣＵ１４に送る。 図５に示した装置は関与している端末から５つのＱＣＩＦ映像を受けて各々が ４つのＱＣＩＦ映像をＱＣＩＦコードとした映像の２×２アレイに組合せたもの を表わしているＣＩＦ信号を作る。結果として得られたＣＩＦ信号は次に適当な 関与している端末１２に送られて、ＣＩＦ解像度映像を表示することができるデ ィスプレイ上で表示することとする。図示の装置は端末１２からのビデオ信号に 対してだけ動作する：オーディオと、使用者データ情報と、シグナリングとは通 常のやり方でこの装置が置かれているホストＭＳＵ１４によって制御される。 この装置は５つの入力５１ａ−ｅがあって、５つの関与している端末１２から ＱＣＩＦフォーマット信号を受ける。各入力信号はフォワード誤り補正（ＦＥＣ ）デコーダ５２ａ−ｅに入力され、そこで各信号の映像ヘッダ４０２内に含まれ ている各ＦＥＣコードをデコードし、通常のやり方で信号のビデオデータを誤り 補正して、各入力信号上でフレーム用ロックを確立する。一度フレーム形成があ る特定の信号に対して確立されると、各FＥＣデコーダ５２はこれを制御手段５ ４に向けて信号として送る。制御手段５４はマイクロプロセッサによって用意さ れてもよい。誤り補正されたＱＣＩＦ信号は次に先入れ先出し（ＦＩＦＯ）入力 バッファ５３ａ−ｅに入力される。 制御手段５４は次に貢献している誤り補正されたＱＣＩＦ信号の各々を探査し て、ヘッダコードワード（例えばＧＯＢヘッダ４０４とかＭＢヘッダ４０６）を 識別するようにする。これはデバイス５５によって行なわれ、そこでは入力バッ ファ５３から出力されたＦＥＣ補正されたＱＣＩＦ信号内の属性データをデコー ドする。デバイス５５は一連の比較器（図示せず）と最長コードワードを保持す るのに十分な長さをもつシフトレジスタ（図示せず）とで成る。この比較器はデ ータがシフトレジスタに入るときに比較して、コードワードが識別されたときに はバス５５ａを経て制御手段５４にそれを送る。このシフトレジスタは直列から 並列への変換を実行して入力ビデオデータをバス５５ｂを経ての出力のためのバ イトに組織し、ＲＡＭ５６内の便利なメモリに送る。これらの動作を実行するの に適したデバイス５５はXylinxデバイスのようなフィールド・プログラマブル・ ゲート．アレイ（ＦＰＧＡ）である。 各ＧＯＢはしたがって、多数のワード（１６ビット又は３２ビット）で新しく 指定されたバイト境界をもつものに再組織されるが、Ｈ．２６１信号はもともと バイトで組織されていないことによる。こうして、特定のＧＯＢに割当てられた データのバイトはそのＧＯＢと関係のないデータを含むことが避けられない。こ のデータは関係するＧＯＢの最初と最後のバイトの部分を形成する。これら最初 と最後のバイトはそれが含んでいる有効ビットの数を記述するようにマークが付 けられる。制御手段５４は入力制御デバイス６０（ＥＰＧＡのようなもの）を介 して個々の入力バッファ５３ａ−ｅのデータ内容の状態を監視して、バッファ内 にデータのオーバーフローやアンダーフローがないことを確かなものとする。 各ＧＯＢのビデオデータはＲＡＭ５６の一部分に割当てられる。フレーム内及 びフレーム間コーデングがＨ．２６１で使用されるので、ＧＯＢ内部のビデオデ ータの量は大きく変ってもよい。そこで、各ＧＯＢのビデオデータはＨ．２６１ の下で許されている最大可能ＧＯＢを保持するのに十分な容量のＲＡＭの部分を 割当てられる。特定のＱＣＩＦ映像（で３つのＧＯＢを含むもの）に対するＧＯ ＢはＲＡＭ内で論理的に群とされる。 ビデオデータと一緒に、各ＧＯＢと関係する各種のコードもまたＲＡＭ内に記 憶される。これらのコードは：データのソース（すなわち、そこの端末１２から 原ビデオが発せられた）；特定のソースからのＲＡＭ内に保持されている現在の 映像の映像番号（ＰＩＣ）；特定のＰＩＣ内のＧＯＢの原群番号（ＯＧＮ）（１ ，２，３）；ＧＯＢ内のバイト数（Ｎバイト）；ＧＯＢ内の第１のバイトの有効 デ ータ内容（ＶＦバイト）；及びＧＯＢの最終バイトの有効データ内容（ＶＬバイ ト）と関係している。 また、各ＧＯＢと関係して、多数のポインタがあって、フレーム内のヘッダの 位置を位置決めしている。例えば、これらはＣＩＦフォーマット信号を形成する ためにビデオデータをコンパイルするのに先立って、編集目的でＯＧＮコードワ ード位置を位置決めするために使用される。 次のプロセスがとられて、ＲＡＭ５６内に記憶されている原個別成分ＱＣＩＦ 映像データから各新しいＣＩＦ映像データシーケンスを編成する： ・出力ＣＩＦフレーム用に適当なＣＩＦ映像ヘッダを指定する；これはデータ のＧＯＢの先頭に出力される。 ・データが送られることになる与えられた出力にとって必要とされるＣＩＦ構 造内で各ＧＯＢの新しい位置にかなうように各ＧＯＢヘッダコードを編集する。 ・（ＲＡＭ５６）内に保存されている各成分ＱＣＩＦ映像からの必要とされい いるＧＯＢデータをＣＩＦ映像ヘッダの後で正しいシーケンスで転送して、各出 力に対して要求されている出力ＣＩＦフレームデータシーケンスを形成する。要 求されているシーケンスの例は図６に示されている。 例えば、出力３’は出力３にとって必要とされているＨ．２６１シーケンスで あるが、これが（入力３を除く）他の映像のすべてからのＧＯＢデータ（新しい ＣＩＦ映像ヘッダ後のもの）を次のシーケンスで必要とする。 <Pic1,GOB1><Pic2,GOB1><Pic1,GOB2><Pic2,GOB2><Pic 1,GOB3><Pic2,GOB3><Pic4,GOB1><Pic5,GOB1><Pic4,GOB 2><Pic5,GOB2><Pic4,GOB3><Pic5,GOB3> ここでPic ｘ，GOB ｙは入力番号ｘからのＧＯＢ番号ｙを表わしている。（図７ に示すように）必要とされるヘッダ編集のルックアップ表は制御モジュール５４ を誘導するために使用される。 ＲＡＭの各部分の内容は各制御手段５４によって最高の許容されているＨ．２ ６１映像レート、約３０Ｈｚ、でポーリングされる。端末１２からの個々のＱＣ ＩＦ信号に対するデータの完全なフレームが使用可能であれば、それが出力デー タＦＩＦＯ５７に転送される。ＣＩＦフレームのいずれかのＱＣＩＦセグメント に対する必要とされるデータがＲＡＭからまだ入手できないときは、データの空 のＧＯＢ（ただヘッダのみのもの）が代りに転送される。これは指向先端末があ る画像を、新しいフレームがＭＣＵによって送られるよう準備ができるまでの間 、表示してよいことにする。制御手段５４はＲＡＭの個々の領域の状態を監視し て、上述のプロセスが継続するのを確かなものとする。 使用された出力のすべてがポーリングをした継続するサイクルでデータと一緒 にロードされる：言い換えると、各ＣＩＦフレーム出力は１度には１つのＧＯＢ を各出力バッファ５７に順に転送してから始めのものに戻って再出発をするよう に構築される。図６から分るように、いくつかの出力はＣＩＦ編集（コンパイル ）シーケンスではある一時に同じ映像データを要求する傾向にあり、データ転送 では大規模な並列関係が許される。 ＲＡＭ５６は、必要であれば、いずれかの単一ソースからデータの一連の数Ｑ ＣＩＦフレームを記憶するのに十分な容量をもつものであり、正規動作では平均 してデータの僅か２つのＱＣＩＦフレームが必要とされるのと異なる。ＲＡＭの ある領域が必要とされた出力バッファ５７ａ−ｅのすべてに転送されると、その ときはその領域は新しいＱＣＩＦフレームを記憶するために使用可能とされる。 新しいＭＢアドレススタッフ（詰め込み）用コードが省略又は挿入されて、出力 データレートを制御してＣＩＦ映像のためにＨ．２６１に適うものにする。 出力バッファ５７は原ＱＣＩＦデータＧＯＢからまとめられたデータを貯えて からフォワード誤り補正コーデングを行なう。データの全ＦＥＣフレー（４９２ ビット）を形成するのに十分なデータが出力ＦＩＦＯ５７内に一度ロードされて しまうと、そのデータは次段のＦＥＣエンコーダ（５８ａ−ｅ）にフォワード誤 り補正フレーム形成のために送られる。 出力バッファ５７はオーバーフローなしにデータのローデングが行なえるよう にするのに十分な容量をもっており、同時にアンダーフローもないように要求さ れた場合にはデータをＦＥＣエンコーダ５８に提供する。バッファ５７へのバッ ファ５９からのデータの流れとＦＥＣとは出力制御６２によって制御され、これ はまたＦＰＧＡデバイスであってよい。フォワード誤り補正された信号出力でエ ンコーダ５８からのものがＣＩＦ出力バッファ５９ａ−ｅへ入力され、そこでＣ ＩＦ信号を関連する関与している端末１２へ伝送するためにバッファする。ＣＩＦ出力フレームレート 会議に参加（関与）している各個々の端末１２は自律的である。これが意味す るところは異なっている傾向があることと各個々のＱＣＩＦコード化した映像内 の情報量が違っている傾向があることである；各端末１２は異なる映像レートを （映像のドロッピングを介して）作り出すことができる。この最後の事項は大き な問題をかもし出す可能性がある。異なるフレームレートで映像を組合わせて１ つのフレームレートの大きな映像にするときにとり得る選択肢と代替手段とは以 下に記述される。 組合せたＣＩＦ映像は最大４つの貢献するＱＣＩＦ映像から編成される。もし 異なる映像レートが異なるＱＣＩＦ映像供給で使用されると、そのときは、組合 されたＣＩＦ映像が例えば現在の最高のＱＣＩＦ映像レートを用いるか、あるい は固定の所定レートを使って形成されてもよい。 もし最高の映像レートをもつＱＣＩＦソースが使用されてＣＩＦ出力フレーム レートを決めるのであれば、このレートは各関与している端末１２でエンコード された変化する情景内容で動的に変ってもよい。最高の現在の映像レートのトラ ックを維持して、それによってＣＩＦ出力フレームレートを修正することは可能 である。 代って最高映像レート（２９．９７Ｈｚ）も可能であるし、あるいは別の予め 定めたレートを使ってＣＩＦ出力フレームレートを設定する。この場合、個々の ＱＣＩＦデータ映像レートは出力レートを決めるために使用されない。この選択 肢は前の選択肢よりもデータ容量を僅かながら余分に無駄にし、余計に‘オーバ ーヘッド’を必要とするが、装置の動作を単純にし、Ｈ．２６１フォーマット信 号の各個々の時間的基準（ＴＲ）の使用についての可能性をもたらす、このＴＲ コードは一連のＣＩＦフレームの内部で各ＱＣＩＦ映像の相対的な時間位置を決 めるために使用でき、表示の際に動きの表現の強調に通ずる可能性をもっている 。端末１２の１又は複数は特により低いレートで映像を受けるだけとすることも 許される。この場合、このより低いレートは全参加者に対して予め定められたＣ ＩＦ映像レートの許容最大のものに制限を設定することになり、制御用ＭＣＵ１ ４ は全参加端末に対して最大映像レートを課することができる。 新しく形成されたＣＩＦフォーマット信号は平均のデータレートを有し、それ が成分ＱＣＩＦ映像のデータレートの和に、（上述のように）異なる映像レート で映像を組合せる処理のための追加の‘オーバーヘッド’容量を加えたものであ る。各ＣＩＦフレームは、省略したデータに対してさえも、成分Ｇ０Ｂヘッダの 全部を含んでいなければならない。到来するＱＣＩＦ供給間の映像レート間のデ ィスパリティ（パリティ違い）に依存して、比例して高くなるデータレートが出 力ＣＩＦチャンネルに対して必要となろう。必要とされるオーバーヘッドを判断 するために‘最悪の場合の’シナリオ（筋書き）を推定すると次のようになる。 最悪の場合のシナリオ 例えばＱＣＩＦソース映像レートが３０Ｈｚであり、また他の３つがＨｚであ るとする。これは毎３０について２９の挿入映像があることになり、ここでは追 加のＧＯＢヘッダで関連するデータのないものが挿入されてＣＩＦ出力を形成す ることになる。例えば２６ビットが各ＧＯＢヘッダに割当てられるとする。それ 故に追加のＧＯＢヘッダビットで３つのＱＣＩＦ映像に対するものの全数は(各 々が３つのＧＯＢを含んでいるので)、 ３×３×２６＝２３４ビット／ＣＩＦフレーム となる。 これら余分のビットが毎秒３０の外に２９フレームに対して加えられることに なり：２９×２３４＝６，７８６余分ビットのオーバーヘッド／秒となる。 したがって、一定量の‘オーバーヘッド’６．７８６キロビット／秒が必要と なる。この量はより低いデータレートに対しては全体のデータレートの大部分と いうことになる。 各端末１２は異なるチャンネル容量（Ｒ）をビデオデータに対してＭＣＵへ向 けての伝送用に割当てることができる。この発明のＭＣＵ内の画像プロセッサは 呼に対して許されている最高映像レートで伝送するために組合せたＣＩＦコード 化したビデオ信号を作る。何も拘束条件が設定されていなければ、これは３０Ｈ ｚ（事実は２９．９７Ｈｚ±５０ｐｐｍ）であり；拘束条件は、望ましいか要求 されていればＭＣＵ１４から（例えば、Ｈ．２２２１フォーマットシグナリング を用いて）例えば、より低い１５，１０又は７．５Ｈｚへ送ることができる。こ れはこの発明の画像プロセッサがすべての到来するＱＣＩＦレートを取扱うこと ができるようにし、いずれかのソースからのビデオデータが十分でないときには 、空のＧＯＢが送られるようにする。 空のＧＯＢが送られるときは、追加の情報がＧＯＢヘッダデータ用に必要とさ れて、（前に述べたように）各端末１２への出力に必要とされるデータ容量の追 加の‘オーバーヘッド’ということになる。‘最悪の場合’の条件の下では（３ ０Ｈｚの１つのＱＣＩＦソースと、他の３つで１Ｈｚのものとが３０ＨｚのＣＩ Ｆフレームに組合されるとき）、このオーバーヘッドはほぼ追加の６．８キロビ ット／秒となり、包含されている全体のチャンネル容量とは独立したものとなる 。Ｈ．２２１時間スロットに基づいて検討すると、このオーバーヘッドは８×８ ０ビットのＢチャンネルのすべてのもので約６８ビットになると計算される：こ のオーバーヘッドは単一の８キロビット／秒サブチャンネル（８０ビット）内に あてはまることになる。 （ＭＣＵから端末１２へ向う）ダウンリンクチャンネル容量として求められる ものはそこで４つのＱＣＩＦ容量の和で、これが新しいＣＩＦ映像にオーバーヘ ッド、オーディオ、データ、フレーム整列信号及びビット割当て信号を加えたも のを形成することになる。データヘッダの修正 前述のように、各新しいＣＩＦフレームでもとの（原の）貢献しているＱＣＩ Ｆデータから編成されることになるものと関係しているデータヘッダ情報に対し て修正が加えられる。この修正はＲＡＭ内に保持されているデータについて実行 されてから、出力バッファ５７ａ−ｅへ向けての継続的な転送が行なわれる。 前に概要を述べたが、各到来するＨ．２６１コード化したＱＣＩＦ映像は自体 のデータ構造をもつ自律的なものである。内部構造は一連の層として組織されて いることは図４に示した通りであり、各々が後続の層に関連した情報を含んでい る。修正としてＣＩＦフォーマットフレームを編成するためにこれらの層につい て行なわれるものを下記に概観する。 映像層 個々の成分ＱＣＩＦマクロブロックはマクロブロックの新しいＣＩＦアレイ内 のある場所に指定される。新しい映像層映像始めコード（ＰＳＣ）は新しいＣＩ Ｆフォーマットとフラグの組とに適うように指定され、このフラグ組はコード化 された映像出力に対するＣＩＦを宣言するためにソースフォーマットを定義して いる（０：ＱＣＩＦ，１：ＣＩＦ）。時間的な基準（ＴＲ）コードはすべての貢 献から‘平均された’か、新しいＣＩＦフレームにデータの各ＱＣＩＦセグメン トを時間的に位置決めするために使用されたかの、貢献しているＱＣＩＦ映像の １つとして採用することができる。 ＧＯＢ層 各個々のＱＣＩＦ ＧＯＢヘッダ群番号（ＣＮ）（４ビットの位置的なロケー タ番号コード）が編集されて、図７の表に示したように、新しいＣＩＦ構造に対 して再定義がされるようにする。 ＭＢ層 マクロブロックスタッフィング（詰め込み）（ＭＢＡスタッフィング）コード ワードが使用可能で、望むならばデータ内容を‘パッデングアウト（埋込み）’ のために採用できる。 図６はビデオ会議で５つの端末を含むものに対する結果として得られるＣＩＦ 映像を示している。各ＣＩＦ映像は４つのＱＣＩＦ映像から成り立っている。最 後のＣＩＦ映像で図６のものは端末１，２，３及び４からのＱＣＩＦ信号の組合 せを表わしており、ＭＣＵからＮｏ．５端末へ送られている。したがって、Ｎｏ ．５端末は他の参加端末１２の４つすべてからの画像で成る複合画像を表示する ことになる。 この発明の画像プロセッサは１，２，３または４のＱＣＩＦ映像からＣＩＦ映 像を作ることができる。この方法はまたＣＩＦフォーマット形成された映像を‘ 複数のＣＩＦ”フォーマット形成したもの（例えば、４つのＣＩＦ画像を１つの 複合信号に組合せる）に組合せるために使用することこともできる。また同じよ うに、僅かな変更を伴うだけで、ＭＰＥＧ（Ｈ．２６２）映像を複数の映像に組 合せることもできる。 Ｈ．２６１データヘッダ内に含まれている位置情報は望み通りに、使用可能な 表示フィールド内のどこにでも個々の映像セグメントを位置決めするように編集 されてもよい。これは４つの参加者よりも少い場合に貢献しているＱＣＩＦ映像 の配列を主観的にみてもっと満足されるものとすることに使用できる。例えば、 もし最終のＣＩＦ映像がたった２つの貢献しているＱＣＩＦ映像から編成される とすると、すなわち３ウェイ会議の場合であるとすると、そのときは２つの映像 を例えばスクリーンの中央に横並べとする方が隅に置くよりも主観的に良いであ ろう。これは各ＱＣＩＦ映像に対して、例えばＣＩＦアレイ内で位置３，５，７ と４，６，８とを占有するように成分ＧＯＢの再番号付けをすることによって容 易に達成できる。代って、この画像をディスプレイ等の一番上で、それぞれの上 に置くようにしてもよい。 上述の特定の記載はＨ．２６１規格に適合するビデオ信号に焦点をあててきた が、この発明をこの類型のビデオ信号に限定する積りはない。例えば、この発明 はまたＭＰＥＧ標準の１つに適合するビデオ信号にも応用できる。この場合には 、映像はＱＣＩＦ及びＣＩＦ映像に限定されないので、複合信号は４を超えた数 のＱＣＩＦ映像を表わすものとして生成されてよい。例えば使用者のスクリーン の分解能が３５２ピクセル×２８８ラインであり、各参加者端末がこの発明によ る中央の画像処理用装置に全分解能（すなわち、３５２×２８８）をもつ映像を 送るのである。もし画像処理用装置が４つの画像を表示するようにされていれば 、（図８に示したように）前置プロセッサ８０は、そのときは、各到来信号を前 処理してその分解能を各寸法について５０％だけ減縮する。（図８では、図５に 示したのと同じ参照番号を類似要素がもつものとして示した。）

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＫＥ，ＬＳ，ＭＷ，Ｓ Ｄ，ＳＺ，ＵＧ)，ＵＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ， ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，Ｇ Ｂ，ＧＥ，ＧＨ，ＨＵ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ， ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，Ｎ Ｏ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ， ＵＳ，ＵＺ，ＶＮ，ＹＵ

Claims (1)

1. 【特許請求の範囲】 １．ｎを３以上の整数とするとき、ｎの端末からビデオ信号のフレームを表わ している入力信号を受けるための手段と、この入力信号の少くとも２つの組合せ を表わすｎの、それぞれが異なっている複合信号を形成するための処理手段と、 この複合信号を適切な端末に送るための手段とから成る画像処理用装置。 ２．前記処理手段が各入力信号内の制御データを識別するための手段と、複合 信号内に含めるための制御データを再定義するための手段と、入力信号からのビ デオデータを複合信号内に挿入するための手段とを含む請求項１記載の装置。 ３．前記複合信号のフレームレートが入力信号の最高フレームレートに等しい 請求項１又は２記載の装置。 ４．前記複合信号のフレームレートが所定の固定レートに等しい請求項１又は ２記載の装置。 ５．入力信号がクオーター共通中間フォーマット（ＱＣＩＦ）に適ったもので あり、また複合信号が共通中間フォーマット（ＣＩＦ）に適ったものである請求 項１ないし４のいずれか１項に記載の装置。 ６．入力信号と複合信号とが同じフォーマットに適うものであり、さらに入力 信号を前処理するための前置プロセッサを含んでいる請求項１ないし４のいずれ か１項記載の装置。 ７．複数の端末からの画像データを処理する方法であって、この方法の構成が 、ｎを３以上の整数とすると、ｎの端末からビデオ信号のフレームを表わしてい る入力信号を受けることと、少くとも２つのこの入力信号の組合せを表わすｎの 、それぞれが異なっている複合信号を形成するために入力信号を処理することと 、この複合信号を適切な端末に送ることとから成る方法。 ８．ｎが５よりも大きいときには、複合信号が４つの入力信号の組合せを表わ し、かつどの端末に一番最近の話者がいかに基いて選ばれるか、会議の議長によ り制御されるかして入力信号が選ばれるようにした請求項７記載の方法。 ９．さらにその構成に各入力信号内の制御データを識別することと、複合信号 内に包含させるために制御データを再定義することと、入力信号からのビデオデ ータを複合信号内に挿入することとを含む請求項７又は８記載の方法。 10．前記複合信号のフレームレートが入力信号の最高フレームレートに等しい 請求項７ないし９のいずれか１項に記載の方法。 11．前記複合信号のフレームレートが所定の固定レートに等しい請求項７ない し９のいずれか１項に記載の方法。