JP2021034900A - 処理装置、処理プログラム、及び処理方法 - Google Patents

Abstract

【課題】テレビ会議において、主として参加者を被写体とする映像を選択する場合に、会議の進行に則った映像を適宜切り替えて提供する会議サーバを提供する。【解決手段】テレビ会議システムにおいて、会議サーバは、映像処理部と音声処理部との処理によって、会議の参加者に注目される人物（例えば、話者）を、比較的大きいサイズの注目対象者表示領域３２に表示させ、その他の会議の参加者は、比較的小さいサイズの時系列表示領域３４に時系列で表示させるように、各端末装置に情報を配信することで、会議の全体を把握しつつ（参加者の特定）、会議の進行に応じた表示形態とする。【選択図】図３

Description

本発明は、処理装置、処理プログラム、及び処理方法に関する。

ビデオ会議システム等の会議システムでは、参加者全員を被写体として表示するためには、全ての参加者分の映像を分割画面で表示することになるが、参加者数（画面数）が多くなればなるほど、処理能力に負担をかけ、かつ、１画面サイズが小さくなる。

このため、ビデオ会議システム等の会議システムでは、被写体の切り替え（映像の切り替え）のきっかけとして、話者を特定して、当該話者が被写体の中心となるように映像を切り替えることが一般的に行われている。

特許文献１には、発言者（話者）が発話した際に音声が一定時間以上継続した場合、発言者が発話したと判断することが記載されている。

より詳しくは、マイクを介して各会議参加者からの音声は、しきい値と比較され、しきいを超えた場合は、３０秒以内で連続して発話している時間が長い話者にカメラを向けるようになっている。なお、マイクは、話者に決定した者の音声のみを出力している。

また、特許文献２には、テレビ会議中において、設定された単一時間毎に映像を切り替えることが記載されている。

さらに、特許文献３には、テレビ会議における議長等の代表者が、表示する映像を手動で切り替えることが記載されている。

特開平０５−２４１５８８号公報 特開平０４−３１２０９０号公報 特開２００６−０３３６５７号公報

しかしながら、特許文献１のように、参加者が発話したタイミング、すなわち、発話者の音声によって映像を切り替える場合、発言した参加者（発話者）の映像は表示されるものの、発言していない参加者の映像は見ることができない。

また、特許文献２のように、全員を万遍なく表示するために、単一時間で全ての映像を切り替える場合、その時点の映像に表示されている参加者と話者とが一致しない場合がある。

さらに、特許文献３のように、議長等の代表者が特定のユーザを選択して映像を表示させる場合、表示する映像の選択が代表者に委ねられるため、切り替えを行う手間が必要であり、必ずしも全ての参加者の映像が表示されるわけではなく、他の参加者が見たい映像が表示されるわけではない。

ここで、１回のテレビ会議で、異なるきっかけで映像を切り替える複数の切り替えシステムを単純に併用しようとしても、いつ、どのようなタイミングで、各切り替えシステムに切り替えの権利を与えるか等が確立しておらず、かえって、それぞれに切り替えシステムの課題が冗長される場合がある。

本発明は、テレビ会議において、主として参加者を被写体とする映像を選択する場合に、会議の進行に則った映像を適宜切り替えて提供することができる処理装置、処理プログラム、処理方法を得ることを目的とする。

本発明の処理装置は、複数の制御装置の各々から受信した複数の映像情報に基づいて、前記複数の制御装置の各々の表示領域に表示する共通の表示情報を配信する処理装置であって、前記複数の映像情報の内、予め定めた注目対象者が含まれる映像情報を選択する選択部と、前記表示領域の注目度の異なる第１領域及び第２領域に前記映像情報を割り当てる場合に、前記選択部で選択された映像情報を前記第１領域に割り当て、かつ、前記選択部で選択されなかった映像情報以外の一部を前記第２領域に割り当てて、前記表示情報を生成する生成部と、前記選択部で選択された注目対象者が含まれる映像情報が変更された場合に、前記第１領域に割り当てる映像情報を更新する更新部と、前記第２領域に割り当てる映像情報を、所定条件の基づき入れ替える入れ替え部と、を有することを特徴としている。

本発明の処理プログラムは、コンピュータを、前記処理装置の、前記選択部、前記生成部、前記更新部、及び前記入れ替え部、として機能させることを特徴としている。

本発明に係る処理方法は、複数の制御装置の各々から受信した複数の映像情報に基づいて、前記複数の制御装置の各々の表示領域に表示する共通の表示情報を配信する処理方法であって、前記複数の映像情報の内、予め定めた注目対象者が含まれる映像情報を選択し、前記表示領域の注目度の異なる第１領域及び第２領域に前記映像情報を割り当てる場合に、選択された映像情報を前記第１領域に割り当て、かつ、選択されなかった映像情報以外の一部を前記第２領域に割り当てて、前記表示情報を生成し、選択された注目対象者が含まれる映像情報が変更された場合に、前記第１領域に割り当てる映像情報を更新し、前記第２領域に割り当てる映像情報を、所定条件の基づき入れ替える、ことを特徴としている。

本発明によれば、テレビ会議において、主として参加者を被写体とする映像を選択する場合に、会議の進行に則った映像を適宜切り替えて提供することができるという効果が得られる。

第１の実施の形態に係るテレビ会議システムが構築されたネットワーク構成図である。 第１の実施の形態に係る会議サーバ１４及び端末装置１２の制御ブロック図である。 （Ａ）はモニタに表示される表示形態の一例を示す正面図、（Ｂ）は非表示状態の参加者の映像の正面図である。 第１の実施の形態に係る映像処理部及び映像処理部の機能ブロック図である。 第１の実施の形態に係る会議サーバ１４で実行されるテレビ会議映像切替制御ルーチンを示すフローチャートである。 第２の実施の形態に係る映像処理部及び映像処理部の機能ブロック図である。 第２の実施の形態に係り、（Ａ）は会議サーバ１４で実行されるテレビ会議映像切替制御ルーチンを示すフローチャート、（Ｂ）は特定者選択時割込ルーチンを示す制御フローチャートである。 変形例に係るモニタの正面図であり、（Ａ）は変形例１に係る注目対象者領域と時系列表示領域の配置状態、（Ｂ）は変形例２に係る注目対象者領域と時系列表示領域の配置状態、（Ｃ）は変形例３に係る注目対象者領域と時系列表示領域の配置状態を示す。

「第１の実施の形態」

図１には、第１の実施の形態に係るテレビ会議システムが構築されたネットワーク構成図が示されている。

テレビ会議システムは、ネットワーク１０に会議参加用の複数の端末装置１２が接続されている。第１の実施の形態では、１８台の端末装置１２（必要に応じて、符号１２の末尾に、アルファベット順にＡからＲを付す。）が接続され、それぞれの端末装置１２Ａ〜１２Ｒには、会議に参加する参加者が対峙して操作するようになっている。

第１の実施の形態のテレビ会議システムは、端末装置１２を介して、参加者を撮影した映像と、参加者の発話時の音声を共有し、会議を進行していくシステムである。

各端末装置１２は、予め定めた通信プロトコル等により、会議サーバ１４によって管理されるようになっている。すなわち、会議サーバ１４には、各端末装置１２から映像と音声が集約され、各端末装置１２のモニタ３０Ａ（図３参照）に表示する映像を配信する。

図２は、会議サーバ１４及び端末装置１２の制御ブロック図である。

（会議サーバ１４）

会議サーバ１４は、メインコントロール部１６を備えている。メインコントロール部１６は、ＣＰＵ（Central Processing Unit）１６Ａ、ＲＡＭ（Random access memory）１６Ｂ、ＲＯＭ（Read only memory）１６Ｃ、入出力部（Ｉ／Ｏ）１６Ｄ、及びこれらを接続するデータバスやコントロールバス等のバス１６Ｅで構成されている。

Ｉ／Ｏ１６Ｄには、ネットワークＩ／Ｆ１８を介して、ネットワーク１０が接続されている。このため、メインコントロール部１６には、ネットワーク１０を介して、各端末装置１２からの映像情報及び音声情報が入力されるようになっている。

また、Ｉ／Ｏ１６Ｄには、映像処理部２０、音声処理部２２、及び大規模記憶装置２４がそれぞれ接続されている。

大規模記憶装置２４には、例えば、厳重なセキュリティ管理の下、会議に参加する参加者の個人情報や、顔認識に必要な画像情報等を記憶しておくことができるようになっている。

メインコントロール部１６では、各端末装置１２から受信した映像情報及び音声情報を、映像処理部２０及び音声処理部２２で処理し、処理後の映像情報及び音声情報をネットワーク１０を介して、各端末装置１２へ送信するようになっている。なお、映像処理部２０及び音声処理部２２については、後述する。

（端末装置１２）

端末装置１２は、マイクロコンピュータ２６を備えており、マイクロコンピュータ２６は、ＣＰＵ２６Ａ、ＲＡＭ２６Ｂ、ＲＯＭ２６Ｃ、Ｉ／Ｏ２６Ｄ、及びこれらを接続するデータバスやコントロールバス等のバス２６Ｅで構成されている。

Ｉ／Ｏ２６Ｄには、入力デバイス２８及び出力デバイス３０が接続されている。

入力デバイス２８は、キーボード及びマウスに代表されるユーザ依存で情報を入力するための操作部２８Ａ、端末装置１２の操作者（第１の実施の形態における、会議の参加者）を撮影可能なカメラ２８Ｂ、及び操作者が発話した音声を受信するマイク２８Ｃを備えている。

出力デバイス３０は、モニタ３０Ａ（第１の実施の形態において、会議サーバ１４から送られる映像を表示するデバイスとなり得る。）、スピーカ３０Ｂ（第１の実施の形態において、会議サーバ１４から送られる音声を出力するデバイスとなり得る。）を備えている。

また、Ｉ／Ｏ２６Ｄには、ネットワークＩ／Ｆ３１を介して、ネットワーク１０が接続されている。このため、マイクロコンピュータ２６には、ネットワーク１０を介して、会議サーバ１４の映像処理部２０で処理された映像情報、及び音声処理部２２で処理された音声情報が入力されるようになっている。

ここで、第１の実施の形態の会議サーバ１４では、会議に参加する参加者の顔（又は上半身）を中心とした映像を、各端末装置１２のモニタ３０Ａを分割して表示する際に、注目対象者（第１の実施の形態では、話者）を設定し、他の参加者よりも大きいサイズの領域（図３（Ａ）に示す、注目対象者表示領域３２）に表示するように制御する（注目対象者表示制御）。

また、第１の実施の形態の会議サーバ１４では、モニタ３０Ａに、注目対象者表示領域３２とは別に、固定数の時系列表示領域３４を設け、会議の参加者が固定数よりも多い場合に、一定時間毎に表示する参加者を選択し、時系列表示領域３４に表示するように制御する（時系列表示制御）。

図３（Ａ）は、モニタ３０Ａに表示される表示形態の一例を示している。

図３（Ａ）では、モニタ３０Ａの表示画面が、２領域の注目対象者表示領域３２と、８領域の時系列表示領域３４とに分類されている。

注目対象者表示領域３２の１領域分は、モニタ３０Ａの画面サイズの約１／４とされ、モニタ３０Ａの上半分に並列表示されるようになっている。

また、時系列表示領域３４の１領域分は、モニタ３０Ａの画面サイズの約１／１６とされ、モニタ３０Ａの下半分に格子状に表示されるようになっている。

ここで、第１の実施の形態では、注目対象者を話者（会議で発話している者）に特化しているが、話者を拡大解釈して直前まで話者であった者を含め話者と定義し、注目対象者を表示する場合に、モニタ３０Ａの図３（Ａ）の左側に現在の話者を表示し、図３（Ａ）の右側に直前までの話者を表示するようにした。なお、話者は１名（現在の話者）のみでもよく、この場合は、１領域の注目対象者表示領域とし、それ以外の領域が時系列表示領域３４とすればよい。

一方、時系列表示領域３４は８領域あり、例えば、会議の参加者が、モニタ３０Ａに表示される数よりも多い場合に、予め定めた順序で、参加者を切り替えながら表示する。

図３（Ａ）では、各領域の右上に映像番号を付しており、ここでの、会議の参加者は１８名としている。

２領域の注目対象者表示領域３２には、話者及び直前の話者として設定された「映像３」と、「映像１３」が表示されている。

映像番号の若い順に表示することとすると、初期では、時系列表示領域３４には、「映像１」から順に、「映像３」を除く参加者が表示される（「映像１」、「映像２」、「映像４」、「映像５」、「映像６」、「映像７」、「映像８」、「映像９」）。

「映像３」は、重複表示されないように、スキップ（飛ばして）表示されることになる。「映像１３」は、今回の時系列表示領域３４の表示対象となっていない。

なお、発話者が変更ないことを条件に、次の時期の表示は、「映像１」が消え、新たに「映像１０」が表示される。表示位置は、入れ替えでもよいし、シフトさせてもよい。

上記制御（注目対象者表示制御及び時系列表示制御）は、第１の実施の形態の会議サーバ１４に設けられた映像処理部２０及び音声処理部２２によって実現される。

（映像処理部２０）

図４に示される如く、会議サーバ１４のメインコントロール部１６に接続されている映像処理部２０は、映像受信部３６、映像デコード部３８、切替判定部４０、映像選択部４２、映像合成部４４、映像エンコード部４６、及び映像送信部４８を備えている。基本的には、上記の記載順（図４の上から降順）に処理が実行される。

すなわち、映像受信部３６では、各端末装置１２から送られてくる映像情報（会議参加者の顔や上半身を中心とする動画）をメインコントロール部１６から受信し、映像デコード部３８によって複合化して、切替判定部４０へ送出する。

切替判定部４０では、後述する音声処理部２２からの指示に応じた、注目対象者表示領域３２（図３（Ａ）参照）に表示するべき映像情報の切り替えの要否を判定すると共に、映像選択部４２では、各端末装置１２から送られてくる映像情報の中から、限られた表示領域（図３（Ａ）に示す、８個の時系列表示領域３４）に表示する映像情報を選択し、映像合成部４４で各映像を合成し、映像エンコード部４６へ送出する。映像エンコード部４６では、映像を符号化して映像送信部４８によって、会議サーバ１４のメインコントロール部１６へ送信する。

（音声処理部２２）

図４に示される如く、会議サーバ１４のメインコントロール部１６に接続されている音声処理部２２は、音声受信部５０、音声デコード部５２、音量判定部５４、音声選択部５６、音声合成部５８、音声エンコード部６０、及び音声送信部６２を備えている。基本的には、上記の記載順（図４の上から降順）に処理が実行される。

すなわち、音声受信部５０では、各端末装置１２から送られてくる音声情報（会議参加者の発話）をメインコントロール部１６から受信し、音声デコード部５２によって複合化して、音量判定部５４へ送出する。

音量判定部５４では、例えば、予め定めたしきい値よりも大きく、かつ、最も大きい値となる音量を判定すると共に、音声選択部５６では、判定された音量の発信源の端末装置１２を選択し、音声合成部５８へ送出すると共に、選択された発信源の端末装置１２から送られてくる映像情報が、注目対象者表示領域３２へ表示されるように、メインコントロール部１６へ指示情報を出力する。

また、音声合成部５８では、選択した発信源の端末装置１２の音声を主体として、音声合成部５８で音声を合成し、音声エンコード部６０では、音声を符号化して音声送信部６２によって、会議サーバ１４のメインコントロール部１６へ送信する。

以下に第１の実施の形態の作用を、図５のフローチャートに従い説明する。

ステップ１００では、初期設定として、参加者人数Ｎを設定し、ステップ１０２へ移行して、変数Ｐを１に設定して、ステップ１０４へ移行する。

ステップ１０４では、各端末装置１２から参加者全員の音声情報を取り込み、次いでステップ１０６へ移行して音量比較処理を実行する。

音量比較処理としては、各端末装置１２から取り込んだ音量を、予め定めたしきい値と比較して、当該しきい値よりも大きく、かつ、最も音量が大きい音声情報が送られてきた端末装置１２を管理する参加者を注目対象者（ここでは、話者）として選択する。

次のステップ１０８では、Ｐ番目（初期値はＰ＝１）の参加者が注目対象者か否かを判断する。

このステップ１０８で肯定判定された場合は、ステップ１１０へ移行して、注目対象者表示領域３２への表示対象に設定し、ステップ１１４へ移行する。

また、ステップ１０８で否定判定された場合は、ステップ１１２へ移行して、時系列表示領域３４への表示対象に設定し、ステップ１１４へ移行する。

ステップ１１４では、変数Ｐをインクリメント（Ｐ←Ｐ＋１）し、次いで、ステップ１１６へ移行して、Ｐ＞Ｎか否かを判断する。

ステップ１１６で否定判定された場合は、注目対象者か否かを判定する参加者が残っていると判断し、ステップ１０８へ戻り、上記工程を繰り返す。

また、ステップ１１４で肯定判定された場合は、全ての参加者に対して注目対象者か否かの判定が終了したと判断し、ステップ１１８へ移行して、注目対象者表示領域３２ヘ映像を割り当てる。第１の実施の形態では、今回選択された注目対象者を話者として認識すると共に、直前の話者を注目対象者とし、図３（Ａ）のモニタ３０Ａの２領域分の注目対象者表示領域３２に割り当てる。

次のステップ１２０では、現時間帯の時系列表示領域表示対象者情報に基づき、８領域の時系列表示領域３４のそれぞれに、参加者の映像を割り当てて、ステップ１２２へ移行する。

ステップ１２２では、ステップ１１８及びステップ１２０での割り当て情報を、話者の音声情報と共に、各参加者の端末装置１２へ配信し、ステップ１２４へ移行する。

ステップ１２４では、テレビ会議が終了したか否かを判断し、否定判定された場合は、ステップ１０２へ戻り、上記工程を繰り返す。また、ステップ１２４で肯定判定された場合は、このルーチンは終了する。

以上の映像及び音声の割り当て制御により、例えば、図３（Ａ）の左側の注目対象者表示領域３２には、今回の話者の映像（「映像３」）が表示され、図３（Ａ）の右側の注目対象者表示領域３２には、直前の話者の映像（「映像１３」）が表示される。

また、図３（Ａ）では、最初の８領域の時系列表示領域３４に、「映像１」、「映像２」、「映像４」、「映像５」、「映像６」、「映像７」、「映像８」、「映像９」が割り当てられ、参加者が表示される。

その後、図３（Ｂ）に示されている、非表示の参加者（「映像１０」、「映像１１」、「映像１２」、「映像１４」、「映像１５」、「映像１６」、「映像１７」、「映像１８」）が、予め定められた時間及び順序に従い、最も長く表示されていた参加者に代わり、時系列表示領域３４に表示される。

以上説明したように、第１の実施の形態では、会議サーバ１４における、映像処理部２０と音声処理部２２との処理によって、会議の参加者に注目される人物（例えば、話者）は、比較的大きいサイズの注目対象者表示領域３２に表示され、その他の会議の参加者は、比較的小さいサイズの時系列表示領域３４に時系列で表示されるように、各端末装置１２に情報を配信することで、会議の全体を把握しつつ（参加者の特定）、会議の進行に応じた表示形態とすることが可能となる。

「第２の実施の形態」

以下に本発明の第２の実施の形態について説明する。

なお、第１の実施の形態と同一構成部分については、同一の符号を付して、その構成等の説明を省略する。

第２の実施の形態の特徴は、注目対象者の範疇に、話者（及び直前の話者）以外に、後述する特定者を含ませるようにした点にある。

特定者とは、会議の中で、議題の決裁を司る決裁者（例えば、議長等）、会議において、予め定めた個人情報に該当する者（例えば、司会者、当該会議の重要人物等）等が挙げられる。

特定者は、テレビ会議に参加する参加者の端末装置１２を特定すればよいが、特定が不可能な場合は、特定者の個人情報を用いて選択する。すなわち、会議サーバ１４の大規模記憶装置２４には、会議に参加する参加者の個人情報が記憶されている。なお、個人情報には、顔認識に必要な識別情報が含まれている。

例えば、特定者を選択するとき、特定者の顔写真等があれば、これをスキャニングすることで（顔画像を入力することで）、大規模記憶装置２４に記憶された個人情報に基づいて、特定者を検索することができる。

図６は、第２の実施の形態に係る会議サーバ１４のメインコントロール部１６には、映像処理部２０及び音声処理部２２に加え、特定者管理部７０が接続されている。

図６に示される如く、特定者管理部７０は、特定者情報取得部７２、特定者選択部７４、及び特定者登録部７６を備えている。基本的には、上記の記載順（図６の上から降順）に処理が実行される。

すなわち、特定者管理部７０では、特定者情報取得部７２でメインコントロール部１６で受け付けた特定者の識別情報を取得すると、特定者選択部７４において、大規模記憶装置２４とアクセスすることで、当該識別情報を基づいて特定者を選択し、特定者登録部７６において、選択した特定者を登録する。登録された特定者情報（例えば、会議に参加している端末装置１２の情報等）は、メインコントロール部１６へ通知される。

第２の実施の形態に係る会議サーバ１４では、主として、映像処理部２０及び音声処理部２２で実行される第１の実施の形態のテレビ会議映像切替制御ルーチン（図５参照）と同様の、テレビ会議映像切替制御ルーチン（図７（Ａ）参照）に加え、特定者管理部７０で実行される特定者選択制御プログラムを構築した（図７（Ｂ）参照）。

以下に本実施の形態の作用を図７（Ａ）及び（Ｂ）のフローチャートに従い説明する。なお、図７（Ａ）は、第１の実施の形態で説明した図５と同一ステップ部分には、符号の末尾に「Ａ」を付して、そのステップの処理の説明を省略する。

図７（Ａ）に示される如く、ステップ１１６Ａから移行するステップ１５０では、注目対象者として特定者の登録があるか否かを判断し、肯定判定された場合は、ステップ１５２へ移行して、当該特定者を、映像割り当てする注目対象者に設定し、ステップ１１８Ａへ移行する。また、ステップ１５０で否定判定された場合は、ステップ１１８Ａへ移行する。

図７（Ｂ）は、特定者選択時割込ルーチンを示す制御フローチャートである。

この特定者選択時割込ルーチンとされ、特定者を選択する場合、会議前、及び会議中であっても特定者を選択ことができる。

ステップ１５４では、特定者の識別情報を取得する。例えば、決裁者を特定者とする場合、決定した決裁者の識別情報（個人情報、顔画像等）を取得する。

次のステップ１５６では、取得した識別情報に基づいて、大規模記憶装置２４にアクセスして、特定者を選択する。例えば、大規模記憶装置２４には、特定者になり得る人物の顔画像が登録されており、顔認証によって特定者を選択する。なお、顔認証以外には、特定者と端末装置の型番等を紐付けておく、或いは、個人情報（指名、住所、勤務先等）から絞り込んでいく等の他の選択も可能である。

次のステップ１５８では、選択した特定者を、注目対象として登録する。この登録によって、図７（Ａ）のステップ１１８Ａにおける、注目対象者表示領域へ映像を割り当てる際に、特定者が割り当てられることになる。

第２の実施の形態では、注目対象者が、話者、直前の話者、特定者となるため、以下のような表示パターンが選択可能となる。

（表示パターン１） 注目対象者表示領域が１領域の場合で、話者を選択
（表示パターン２） 注目対象者表示領域が１領域の場合で、特定者を選択
（表示パターン３） 注目対象者表示領域が２領域の場合で、話者と直前の話者とを選択
（表示パターン４） 注目対象者表示領域が２領域の場合で、話者と特定者とを選択

仮に、モニタ３０Ａの表示形態を、第１の実施の形態と同一とした場合、注目対象者表示領域３２は２領域であるため、表示パターン３、又は表示パターン４が選択されることになる。

（変形例）

第１の実施の形態及び第２の実施の形態では、モニタ３０Ａへ分割形態として、モニタ３０Ａの上半分に、画面サイズの約１／４とされた２領域の注目対象者表示領域３２を設定し、モニタ３０Ａの下半分に、画面サイズの約１／１６とされた８領域の時系列表示領域３４を設定したが、この画面分割は限定されるものではなく、注目対象者表示領域３２が、時系列表示領域３４よりも強調される形態であれば、どのような配置であってもよい。なお、注目対象者表示領域３２は、特定者の有無等によって変動する場合がある。また、時系列表示領域３４の数は、８領域に限定されず、７領域以下又は９領域以上であってもよい。

図８（Ａ）は、変形例１に係るモニタ３０Ａの分割形態である。中央に１領域分の注目対象者表示領域３２Ａを設定し、その周囲に、１０領域の時系列表示領域３４Ａを設定した。

図８（Ｂ）は、変形例２に係るモニタ３０Ａの分割形態である。モニタ３０Ａの左半分が２領域分の注目対象者表示領域３２Ｂであり、モニタ３０Ａの右半分が８領域分の時系列表示領域３４Ｂである。２つの注目対象者表示領域３２は、相対的に画面サイズを異ならせており、優先順位（役職順、登録順等）を付けて表示することで、画面サイズによって、主となる注目対象者を認識することができる。

図８（Ｃ）は、変形例３に係るモニタの分割形態である。モニタ３０Ａの表示画面の上側２／３の領域が注目対象者表示領域３２Ｃであり、モニタ３０Ａの表画面の下側１／３がスクロール形式の時系列表示領域３４Ｃである。すなわち、時系列表示領域３４は、固定配置で切り替えるのではなく、順次スクロール表示されることで、参加者全員を万遍なく表示することができる。スクロール方向は、左方向に限らず、右方向、上方向、下方向、或いは渦巻状等のランダムな方向のいずれであってもよい。

１０ ネットワーク
１２（１２Ａ〜１２Ｒ） 端末装置
１４ 会議サーバ
１６ メインコントロール部
１６Ａ ＣＰＵ
１６Ｂ ＲＡＭ
１６Ｃ ＲＯＭ
１６Ｄ 入出力部（Ｉ／Ｏ）
１６Ｅ バス
１８ ネットワークＩ／Ｆ
２０ 映像処理部
２２ 音声処理部
２４ 大規模記憶装置
２６ マイクロコンピュータ
２６Ａ ＣＰＵ
２６Ｂ ＲＡＭ
２６Ｃ ＲＯＭ
２６Ｄ Ｉ／Ｏ
２６Ｅ バス
２８ 入力デバイス
３０ 出力デバイス
２８Ａ 操作部
２８Ｂ カメラ
２８Ｃ マイク
３０Ｂ スピーカ
３１ ネットワークＩ／Ｆ
３２ 注目対象者表示領域
３４ 時系列表示領域
３６ 映像受信部
３８ 映像デコード部
４０ 切替判定部
４２ 映像選択部
４４ 映像合成部
４６ 映像エンコード部
４８ 映像送信部
５０ 音声受信部
５２ 音声デコード部
５４ 音量判定部
５６ 音声選択部
５８ 音声合成部
６０ 音声エンコード部
６２ 音声送信部
（第２の実施の形態）
７０ 特定者管理部
７２ 特定者情報取得部
７４ 特定者選択部
７６ 特定者登録部
（変形例）
３２Ａ 注目対象者表示領域
３４Ａ 時系列表示領域
３２Ｂ 注目対象者表示領域
３４Ｂ 時系列表示領域
３２Ｃ 注目対象者表示領域
３４Ｃ 時系列者表示領域

Claims (7)

1. 複数の制御装置の各々から受信した複数の映像情報に基づいて、前記複数の制御装置の各々の表示領域に表示する共通の表示情報を配信する処理装置であって、
   前記複数の映像情報の内、予め定めた注目対象者が含まれる映像情報を選択する選択部と、
   前記表示領域の注目度の異なる第１領域及び第２領域に前記映像情報を割り当てる場合に、前記選択部で選択された映像情報を前記第１領域に割り当て、かつ、前記選択部で選択されなかった映像情報以外の一部を前記第２領域に割り当てて、前記表示情報を生成する生成部と、
   前記選択部で選択された注目対象者が含まれる映像情報が変更された場合に、前記第１領域に割り当てる映像情報を更新する更新部と、
   前記第２領域に割り当てる映像情報を、所定条件の基づき入れ替える入れ替え部と、
   を有する処理装置。
2. 前記注目対象者が、前記複数の制御装置の各々から映像情報と共に受信する音声情報に基づいて選択される現在発話している第１話者、発話している話者の直前に発話していた第２話者、又は、予め識別情報に基づいて識別された特定者から選択される、請求項１記載の処理装置。
3. 前記第１領域の表示面積が、前記第２領域の表示領域よりも大きい面積とされ、表示面積の差によって前記注目度を異ならせている、請求項１又は請求項２記載の処理装置。
4. 前記入れ替え部が、前記第２領域に割り当てる映像情報を、予め定めた順序で定期的に入れ替える請求項１から請求項３の何れか１項記載の処理装置。
5. 前記制御装置が、当該制御装置に対峙している参加者の少なくとも顔画像を撮影するカメラと、前記参加者が発話した音声を取り込むマイクとを備え、
   前記処理装置が、ネットワークを介して、複数の制御装置間で、相互に発話して議論するときの映像情報及び音声情報を集約し、映像情報及び音声情報を配信するテレビ会議システムのサーバとして機能する、請求項１から請求項４の何れか１項記載の処理装置。
6. コンピュータを、
   請求項１〜請求項５の何れか１項記載の処理装置の、前記選択部、前記生成部、前記更新部、及び前記入れ替え部、
   として機能させるための処理プログラム。
7. 複数の制御装置の各々から受信した複数の映像情報に基づいて、前記複数の制御装置の各々の表示領域に表示する共通の表示情報を配信する処理方法であって、
   前記複数の映像情報の内、予め定めた注目対象者が含まれる映像情報を選択し、
   前記表示領域の注目度の異なる第１領域及び第２領域に前記映像情報を割り当てる場合に、選択された映像情報を前記第１領域に割り当て、かつ、選択されなかった映像情報以外の一部を前記第２領域に割り当てて、前記表示情報を生成し、
   選択された注目対象者が含まれる映像情報が変更された場合に、前記第１領域に割り当てる映像情報を更新し、
   前記第２領域に割り当てる映像情報を、所定条件の基づき入れ替える、
   処理方法。