JP2013183293A

JP2013183293A - 多地点会議接続装置、多地点会議システム、多地点会議接続方法および多地点会議接続プログラム

Info

Publication number: JP2013183293A
Application number: JP2012045877A
Authority: JP
Inventors: Shuhei Miura; 周平三浦; Kazushige Mitsufuji; 一茂三藤; Takahiro Miki; 隆宏三木
Original assignee: NEC Corp; NEC System Technologies Ltd
Current assignee: NEC Corp; NEC Solution Innovators Ltd
Priority date: 2012-03-01
Filing date: 2012-03-01
Publication date: 2013-09-12

Abstract

【課題】アスペクト比が異なる場合でも、特定端末の映像の表示領域が極端に狭くなることを抑制する。
【解決手段】合成部１３０−２は、第２グループ（１１：９）に属する「ＣＩＦ」を第２代表画像サイズとする。一方、テレビ会議端末２００−１から送信されてきた映像（画像サイズ１０８０）はリサイズ部１３１−２にて画像サイズ「ＣＩＦ」へリサイズされる（ステップ３）。このとき、アスペクト比が「１６：９」である映像の上下に、「１１：９」のアスペクト比に合わせるための黒い帯（レターボックス）を挿入する。
そして、ミキシング部１３２−２にて、「ＣＩＦ」の映像と、リサイズされた映像とが所定のレイアウトで合成される（ステップＳ１３）。合成映像の画像サイズは「ＣＩＦ」となる。合成映像はミキシング部１３２−２から送信部１４０へ出力され、テレビ会議端末２００−２へ送信される。
【選択図】図１４

Description

本発明は、多地点に位置する複数の通信端末を用いて会議を行うための多地点会議接続装置、多地点会議システム、多地点会議接続方法および多地点会議接続プログラムに関する。

近年、会議を行う際に、参加者全員が１つの会議室に集まることなく、複数の拠点に設けられた通信端末を用いて行う多地点会議システム（テレビ会議システム）が普及してきている。

この多地点会議システムで用いられる通信端末には、撮影機能および映像表示機能が具備されており、各拠点の映像が互いに送受信されて表示されることにより、あたかも１つの場所で行われている会議のように、当該会議を進行することができる。

説多地点会議システムは、複数のテレビ会議端末とＭＣＵ（ＭｕｌｔｉｐｏｉｎｔＣｏｎｔｒｏｌＵｎｉｔ）から構成される。ＭＣＵ（多地点会議接続装置）は、互いに異なる拠点に設置されている各テレビ会議端末を接続する。テレビ会議端末は、撮影機能および映像表示機能が具備された、一般的な多地点会議システムで用いられる通信端末である。

ＭＣＵは、各テレビ会議端末から送信されてきた映像信号を受信し、合成可能な信号形式にデコードする。合成とは各テレビ会議端末から送信されてきた映像を、あらかじめ設定されたレイアウトで合成することである。そして、合成映像をエンコードし、各テレビ会議端末へ送信する。

ＭＣＵと接続する各テレビ会議端末において、それぞれの画像サイズが互いに同じであることが好ましい。しかし実際は、テレビ会議端末の画像サイズが互いに異なることも多い。多地点会議を実現するために各端末の映像を合成する際には、それらを特定の映像サイズに統一するためにリサイズする必要がある。この合成処理において、各端末に応じたレイアウトや符号化を行うことにより、映像を合成する技術が考えられている（例えば、特許文献１）。しかし、この従来技術は画像サイズ毎に合成するものであり、合成処理がその画像サイズの数（種類）分、必要となり、装置に大きな処理負荷がかかってしまうという問題点がある。

特開２００９−１１７８９６号公報

この従来技術の問題点を改善する技術として、複数の通信端末それぞれにあらかじめ設定された画像サイズのうちのいずれか１つの画像サイズを代表画像サイズとし、代表画像サイズ以外の画像サイズの映像を代表画像サイズへリサイズして合成し、代表画像サイズと設定された通信端末へ、合成映像を送信し、代表画像サイズ以外の画像サイズが設定された通信端末へは、合成映像を該通信端末に設定された画像サイズへリサイズしてから送信するものが、考えられる。

代表画像サイズの映像はリサイズする必要がないため、画像サイズ毎に合成処理を要する従来技術に比べて、処理負荷が少ないという効果が得られる。

しかし、この改善技術にも以下のような課題がある。

上記の様に、映像サイズの種類は多数存在する。さらに、アスペクト比が異なる場合もある。アスペクト比が異なる映像を合成する場合、映像を横方向または縦方向に拡大縮小することも考えられるが、映像の正確性が損なわれるだけでなく、処理負荷が増えるため、好ましくない。

そこで、アスペクト比を保持しつつ、レターボックス（映像上下に配置される横長の黒帯）やサイドパネル（映像左右に配置される縦長の黒帯）を挿入して、代表画像サイズのアスペクト比に適合するようにした後、リサイズする。

しかし、画像サイズの組み合わせによっては、レターボックスやサイドパネルによって、特定端末の映像の表示領域が極端に狭くなってしまうという課題が生じる。

本発明は上記課題を解決するものであり、多地点会議を行う際、画像サイズが互いに異なるテレビ会議端末を用いた場合であっても、それによる映像の合成処理の負荷の増加を抑えつつ、更に、アスペクト比が異なる場合でも、特定端末の映像の表示領域が極端に狭くなることを抑制する。

上記課題を解決する本発明は、複数の通信端末と接続された多地点会議接続装置であって、前記複数の通信端末から送信されてきた映像を、前記複数の通信端末それぞれにあらかじめ設定された画像サイズであって、表示アスペクト比に基づいて分類される第１グループに属する画像サイズのうち、いずれか１つの画像サイズを第１代表画像サイズとし、該第１代表画像サイズ以外の画像サイズが設定された通信端末から送信されてきた映像を、該第１代表画像サイズへリサイズし、第１合成映像として合成する第１合成部と、前記複数の通信端末から送信されてきた映像を、前記複数の通信端末それぞれにあらかじめ設定された画像サイズであって、表示アスペクト比に基づいて分類される第２グループに属する画像サイズのうち、いずれか１つの画像サイズを第２代表画像サイズとし、該第２代表画像サイズ以外の画像サイズが設定された通信端末から送信されてきた映像を、該第２代表画像サイズへリサイズし、第２合成映像として合成する第２合成部とを含む、各グループに対応して合成映像を作成する複数の合成部と、前記各代表画像サイズの画像サイズが設定されている通信端末へ、前記各合成映像を送信し、同一グループのうち代表画像サイズ以外の画像サイズが設定されている通信端末へ、該合成映像を該通信端末に設定された画像サイズへリサイズしてから送信する送信部と有することを特徴とする多地点会議接続装置である。

本発明は、グループ毎に合成処理を行う。同一グループ内の合成の場合、画像サイズ毎に合成処理を行う従来技術に比べて、合成処理の負荷の増加を抑えることができる。

また、異なるグループ間で合成する場合、グループ毎に合成処理を行うため、表示領域が極端に狭くなることを抑制できる。

上記課題を解決する本発明は、撮影機能および映像表示機能を具備した複数の通信端末と、該複数の通信端末と接続された多地点会議接続装置とから構成された多地点会議システムにおいて、前記多地点会議接続装置は、前記複数の通信端末から送信されてきた映像を、表示アスペクト比に基づいて分類されるグループ毎に、前記複数の通信端末それぞれにあらかじめ設定された画像サイズであって各グループの属する画像サイズうちのいずれか１つの代表画像サイズで合成映像として合成し、該各代表画像サイズの画像サイズが設定されている通信端末へ、該各合成映像を送信し、同一グループのうち代表画像サイズ以外の画像サイズが設定されている通信端末へ、該合成映像を該通信端末に設定された画像サイズへリサイズしてから送信し、前記複数の通信端末は、前記撮影機能を用いて撮影した映像を前記多地点会議接続装置へ送信し、前記多地点会議接続装置から送信されてきた前記合成映像を前記映像表示機能を用いて表示することを特徴とする多地点会議システムである。

上記課題を解決する本発明は、多地点それぞれに位置する複数の通信端末を用いて会議を行うための多地点会議接続方法であって、多地点会議接続装置が、前記複数の通信端末から送信されてきた映像を、表示アスペクト比に基づいて分類されるグループ毎に、前記複数の通信端末それぞれにあらかじめ設定された画像サイズであって各グループの属する画像サイズのうちのいずれか１つの代表画像サイズで合成映像として合成する合成処理と、前記各代表画像サイズの画像サイズが設定されている通信端末へ、前記各合成映像を送信し、同一グループのうち代表画像サイズ以外の画像サイズが設定されている通信端末へ、該合成映像を該通信端末に設定された画像サイズへリサイズしてから送信する送信処理とを行うことを特徴とする多地点会議接続方法である。

上記課題を解決する本発明は、複数の通信端末と接続された多地点会議接続装置に、前記複数の通信端末から送信されてきた映像を、表示アスペクト比に基づいて分類されるグループ毎に、前記複数の通信端末それぞれにあらかじめ設定された画像サイズであって各グループの属する画像サイズのうちのいずれか１つの代表画像サイズで合成映像として合成する合成処理と、前記各代表画像サイズの画像サイズが設定されている通信端末へ、前記各合成映像を送信し、同一グループのうち代表画像サイズ以外の画像サイズが設定されている通信端末へ、該合成映像を該通信端末に設定された画像サイズへリサイズしてから送信する送信処理とを実行させることを特徴とする多地点会議接続プログラムである。

本発明によれば、多地点会議を行う際、画像サイズが互いに異なるテレビ会議端末を用いた場合であっても、それによる映像の合成処理の負荷の増加を抑えつつ、更に、アスペクト比が異なる場合でも、特定端末の映像の表示領域が極端に狭くなることを抑制できる。

多地点会議システムの基本構成ＭＣＵ（多地点会議接続装置）の内部構成受信部の内部構成合成部の内部構成送信部の内部構成記憶部の内容フローチャート（代表画像サイズ以外）フローチャート（代表画像サイズ）撮影映像（代表画像サイズ）撮影映像（代表画像サイズ以外）合成映像合成映像（別レイアウト）撮影映像（別グループ）動作２にかかる概念図合成映像（１６：９）合成映像（１１：９）ＭＣＵ内部構成（従来技術）ＭＣＵ内部構成（改善技術）合成映像（１１：９）（改善技術の課題）多地点会議システムの構成（変形例）

以下に、本発明の実施の形態について図面を参照して説明する。

〜構成〜
図１は、本発明の多地点会議システムの一実施形態の基本構成を示す図である。

本実施形態は、ＭＣＵ（多地点会議接続装置）１００と、テレビ会議端末２００−１，２００−２とから構成されている。ここでは、２台のテレビ会議端末２００−１，２００−２間でテレビ会議が行われる場合を例に挙げて示すが、テレビ会議端末が３台以上であっても良い。

ＭＣＵ（ＭｕｌｔｉｐｏｉｎｔＣｏｎｔｒｏｌＵｎｉｔ）１００は、互いに異なる拠点に設置されているテレビ会議端末２００−１とテレビ会議端末２００−２とを接続するための多地点会議接続装置である。

テレビ会議端末２００−１，２００−２は、撮影機能および映像表示機能が具備された、一般的な多地点会議システムで用いられる通信端末である。

図２は、図１に示したＭＣＵ１００の内部構成の一例を示す図である。

ＭＣＵ１００には、ポート１１０−１，１１０−２と、受信部１２０と、合成部１３０と、送信部１４０と、制御部１５０と、記憶部１６０とが設けられている。

ポート１１０−１，１１０−２は、テレビ会議端末２００−１，２００−２とそれぞれ接続され、テレビ会議端末２００−１，２００−２との間で、信号を送受信するためのポート（例えば、接続端子）である。なお、ここでは、ポート１１０−１とテレビ会議端末２００−１とが接続されており、またポート１１０−２とテレビ会議端末２００−２とが接続されている場合を例に挙げて説明する。また、図２に示した形態では、ポートの数が２つである場合を例に挙げて示しているが、３つ以上であっても良い。

受信部１２０は、テレビ会議端末２００−１，２００−２から送信されてきた映像信号を、ポート１１０−１，１１０−２を介して受信する。また、受信部１２０は、受信した映像信号を合成部１３０が合成可能な信号形式にデコードし、デコードした信号を合成部１３０へ出力する。

図３は、図２に示した受信部１２０の内部構成の一例を示す図である。

受信部１２０には、上述したデコード処理を行うデコーダ１２１が設けられている。

デコーダ１２１は、デコード処理を行う際、受信した映像信号の画像サイズに応じたデコード処理を行う。この画像サイズは、テレビ会議端末２００−１，２００−２それぞれにあらかじめ設定されたものであり、テレビ会議端末２００−１，２００−２から送信されてきた呼制御信号に含まれる（呼制御信号を用いて取得した）情報にて示されているものを用いる。例えば、テレビ会議端末２００−１から送信されてきた呼制御信号に含まれる情報にて示されている画像サイズが「１０８０」である場合、テレビ会議端末２００−１からポート１１０−１を介して送信されてくる映像信号に対して、画像サイズ「１０８０」に応じたデコード処理を行う。また、テレビ会議端末２００−２から送信されてきた呼制御信号に含まれる情報にて示されている画像サイズが「７２０」である場合、テレビ会議端末２００−２からポート１１０−２を介して送信されてくる映像信号に対して、画像サイズ「７２０」に応じたデコード処理を行う。これらのデコード処理は、一般的に行われているもので良い。

なお、画像サイズ「１９２０×１０８０」を「１０８０」と称し、画像サイズ「１２８０×７２０」を「７２０」と称する。この「１９２０×１０８０」および「１
２８０×７２０」として表わされる画像サイズは、一般的な画像（映像）の解像度を示すものでもある。

また、このとき、デコーダ１２１は、呼制御信号に含まれている、テレビ会議端末２００−１，２００−２に設定されている映像品質の違いを示す規格として用いられる「ｉ（インターレース方式）」や「ｐ（プログレッシブ方式）」に応じたデコード処理を行う。例えば、テレビ会議端末２００−１に設定されている規格が「１０８０ｉ」である場合、テレビ会議端末２００−１から送信されてきた映像に対して、「１０８０ｉ」に応じたデコード処理を行う。また、テレビ会議端末２００−２に設定されている規格が「７２０ｐ」である場合、テレビ会議端末２００−２から送信されてきた映像に対して、「７２０ｐ」に応じたデコード処理を行う。

また、デコーダ１２１は、テレビ会議端末２００−１，２００−２から送信されてきた呼制御信号を制御部１５０へ出力する。

また、デコーダ１２１は、デコード処理を施した映像データを合成部１３０へ出力する。

合成部１３０は、受信部１２０から出力されてきた信号を合成する。この合成とは、テレビ会議端末２００−１から送信されてきた映像と、テレビ会議端末２００−２から送信されてきた映像とを、あらかじめ設定されたレイアウトで合成することである。

合成部１３０は、画像グループ１〜３に対応する複数の合成部１３０−１〜３から構成される。各画像サイズは表示アスペクト比に基づいて、例えば下記の様な画像グループに分類される。
第１グループ（１６：９グループ）：画像サイズ「1080i(1920×1080)」，「720p(1280×720)」
第２グループ（１１：９グループ）：画像サイズ「CIF(352×288)」，「QCIF(176×144)」
第３グループ（４：３グループ）：画像サイズ「VGA(640×480)」，「QVGA(320×240)」

合成部１３０−１は、第１グループ（１６：９）に属する画像サイズのうち、いずれか１つの画像サイズを第１代表画像サイズとする。合成部１３０−２は、第２グループ（１１：９）に属する画像サイズのうち、いずれか１つの画像サイズを第２代表画像サイズとする。合成部１３０−３は、第３グループ（４：３）に属する画像サイズのうち、いずれか１つの画像サイズを第３代表画像サイズとする。

図４は、図２に示した合成部１３０−１の内部構成の一例を示す図である。

合成部１３０−１には、リサイズ部１３１−１と、ミキシング部１３２−１とが設けられている。

リサイズ部１３１−１は、テレビ会議端末２００−１，２００−２に設定された画像サイズのうちの特定の画像サイズ（第１代表画像サイズ）以外の画像サイズが設定されたテレビ会議端末から送信されてきた映像を、第１代表画像サイズへリサイズしてミキシング部１３２−１へ出力する。一方、第１代表画像サイズが設定されたテレビ会議端末から送信されてきた映像については、リサイズは行わずに、ミキシング部１３２−１へ出力する。

ミキシング部１３２−１は、リサイズ部１３１−１から出力されてきた映像を、第１代表画像サイズで合成映像として合成する。つまり、テレビ会議端末２００−１から送信されてきた映像と、テレビ会議端末２００−２から送信されてきた映像とを、最大の画像サイズ（第１代表画像サイズ）で合成する。このとき、ミキシング部１３２−１は、これらの映像をあらかじめ設定されたレイアウトで合成する。そのレイアウトについては、後述する。また、ミキシング部１３２−１は、合成映像を送信部１４０へ出力する。

合成部１３０−２および合成部１３０−３も合成部１３０−１と同様な構成であり、内部構成の図示を省略する。すなわち、合成部１３０−２には、リサイズ部１３１−２と、ミキシング部１３２−２とが設けられ、合成部１３０−３には、リサイズ部１３１−３と、ミキシング部１３２−３とが設けられている。

また、図２に示した形態では、画像グループ１〜３に対応して合成部が３つである場合を例に挙げて示しているが、４つ以上であっても良い。

なお、代表画像サイズは、アスペクト比の観点によるグループに属する画像サイズのうち最大の画像サイズを用いることが望ましい。それは、この代表画像サイズは、ミキシング部１３２−１にて映像を合成する際にも使用するため、最大の画像サイズとしておけば、合成した映像の解像度が下がることによる画質の劣化を防ぐことができるからである。

例えば、テレビ会議端末２００−１に設定された画像サイズが「１０８０」であり、またテレビ会議端末２００−２に設定された画像サイズが「７２０」である場合、どちらも第１グループ（１６：９）に属するため、第１代表画像サイズは、「１０８０」が用いられる。

また、この画像サイズおよびグループ属性は、制御部１５０から通知されてきたものを使用する。

送信部１４０は、ミキシング部１３２−１から出力されてきた合成映像を、ポート１１０−１，１１０−２を介してテレビ会議端末２００−１，２００−２それぞれへ送信する。

図５は、図２に示した送信部１４０の内部構成の一例を示す図である。

送信部１４０には、リサイズ部１４１と、エンコーダ１４２とが設けられている。

リサイズ部１４１は、代表画像サイズ以外の画像サイズが設定されたテレビ会議端末へ送信する合成映像を、当該テレビ会議端末に設定された画像サイズへリサイズしてエンコーダ１４２へ出力する。一方、代表画像サイズが設定されたテレビ会議端末へ送信する合成映像については、リサイズは行わずに、エンコーダ１４２へ出力する。なお、ここで用いる代表画像サイズは、合成部１３０にて用いた代表画像サイズと同じものである。

エンコーダ１４２は、リサイズ部１４１から出力されてきた合成映像を、テレビ会議端末２００−１，２００−２それぞれへ送信するためのエンコードを行う。例えば、テレビ会議端末２００−１の画像サイズが「１０８０」である場合、画像サイズ「１０８０」に応じたエンコード処理を行う。また、テレビ会議端末２００−２の画像サイズが「７２０」である場合、画像サイズ「７２０」に応じたエンコード処理を行う。これらのエンコード処理は、一般的に行われているもので良い。

また、このとき、エンコーダ１４２は、上述したデコーダ１２１と同様に、「ｉ（インターレース方式）」や「ｐ（プログレッシブ方式）」に応じたエンコード処理を行う。例えば、テレビ会議端末２００−１に設定されている規格が「１０８０ｉ」である場合、テレビ会議端末２００−１へ送信する合成映像に対して、「１０８０ｉ」に応じたエンコード処理を行う。また、テレビ会議端末２００−２に設定されている規格が「７２０ｐ」である場合、テレビ会議端末２００−２へ送信する合成映像に対して、「７２０ｐ」に応じたエンコード処理を行う。

また、エンコーダ１４２は、エンコード処理を行った合成映像を、ポート１１０−１，１１０−２を介してテレビ会議端末２００−１，２００−２それぞれへ送信する。

なお、リサイズ部１４１およびエンコーダ１４２で使用する画像サイズは、制御部１５０から通知されてきたものを使用する。

制御部１５０は、デコーダ１２１から出力されてきた、テレビ会議端末２００−１，２００−２それぞれから送信されてきた呼制御信号から、画像サイズおよび該画像サイズの属するグループに係る情報（グループ属性）を抽出し、抽出した画像サイズおよびグループ情報を合成部１３０および送信部１４０へ通知する。また、制御部１５０は、デコーダ１２１から出力されてきた、テレビ会議端末２００−１，２００−２それぞれから送信されてきた呼制御信号から、上述した規格を示す情報を抽出し、抽出した情報が示す規格を送信部１４０へ通知する。

また、制御部１５０は、呼制御信号から抽出した画像サイズおよびグループ属性をポート１１０−１，１１０−２ごとに記憶部１６０に記憶させておくものであっても良い。この場合、画像サイズを合成部１３０または送信部１４０へ通知する必要があるときに、記憶部１６０から読み出して通知する。

記憶部１６０は、ポート１１０−１，１１０−２ごとに画像サイズを記憶する。

図６は、図２に示した記憶部１６０に記憶された画像サイズおよびグループ属性の一例を示す図である。

記憶部１６０には、ポート番号と画像サイズおよびグループ属性とが対応付けられて記憶されている。

ポート番号は、ポート１１０−１とポート１１０−２とを識別可能な識別情報である。このポート番号と画像サイズとが対応付けられることにより、当該ポート番号に相当するポートと接続されているテレビ会議端末の画像サイズを認識することができる。

例えば、図６に示すように、ポート番号「１１０−１」と、画像サイズ「１０８０」，第１グループとが対応付けられて記憶されている。これは、ポート番号「１１０−１」であるポート１１０−１と接続されたテレビ会議端末（ここでは、テレビ会議端末２００−１）の画像サイズが「１０８０」であり、画像サイズ「１０８０」が第１グループに属することを示している。また、ポート番号「１１０−２」と、画像サイズ「７２０」，第１グループとが対応付けられて記憶されている。これは、ポート番号「１１０−２」であるポート１１０−２と接続されたテレビ会議端末（ここでは、テレビ会議端末２００−２）の画像サイズが「７２０」であり、画像サイズ「７２０」が第１グループに属することを示している。

制御部１５０は、このように記憶部１６０に記憶されている画像サイズを、ポート番号を検索キーとして読み出すことにより、合成部１３０および送信部１４０へ通知することができる。

〜動作１〜
次に、ＭＣＵ１００の動作の一例を説明する。まず、各映像の画像サイズが、同一グループに属する場合の一例について説明する。例えば、テレビ会議端末２００−１の画像サイズが「１０８０」であり、テレビ会議端末２００−２の画像サイズが「７２０」である場合、ともに第１グループ（１６：９）に属する。

図７は、テレビ会議端末２００−２から送信されてきた映像を受信して合成し、合成映像をテレビ会議端末２００−２へ送信するまでの処理を示すフローチャートである。

まず、テレビ会議端末２００−２から送信されてきた映像が、ポート１１０−２にて受信されると（ステップＳ１）、受信した映像についてデコーダ１２１にてデコード処理が行われる（ステップＳ２）。この場合、テレビ会議端末２００−２から送信されてきた映像に対してデコード処理が行われるため、規格「７２０ｐ」に応じたデコード処理が行われる。

デコード処理された映像がデコーダ１２１からリサイズ部１３１−１へ出力されると、本映像は第１代表画像サイズ以外が設定されたテレビ会議端末２００−２から送信されてきた（ポート１１０−２にて受信した）ものであるため、リサイズ部１３１−１にて画像サイズ「１０８０」へリサイズされる（ステップ３）。

すると、ミキシング部１３２−１にて、当該映像と、テレビ会議端末２００−１から送信されてきて後述するステップＳ１１およびＳ１２の処理が行われた映像とが所定のレイアウトで合成される（ステップＳ４）。合成された合成映像はミキシング部１３２−１から送信部１４０へ出力される。

この合成映像が送信部１４０からテレビ会議端末２００−２へ送信される。テレビ会議端末２００−２の画像サイズは代表画像サイズではないため、テレビ会議端末２００−２へ送信される合成映像は、リサイズ部１４１にて画像サイズ「７２０」へリサイズされる（ステップＳ５）。

リサイズされた合成映像は、エンコーダ１４２にて、テレビ会議端末２００−２に設定されている規格「７２０ｐ」に応じたエンコード処理が行われる（ステップＳ６）。

そして、エンコード処理された合成映像が、エンコーダ１４２からポート１１０−２を介してテレビ会議端末２００−２へ送信される（ステップＳ７）。

このように送信された合成映像は、テレビ会議端末２００−２の画像サイズおよび規格に応じたものとなっているため、テレビ会議端末２００−２にて表示することができる。

図８は、テレビ会議端末２００−１から送信されてきた映像を受信して合成し、合成映像をテレビ会議端末２００−１へ送信するまでの処理を示すフローチャートである。

まず、テレビ会議端末２００−１から送信されてきた映像が、ポート１１０−１にて受信されると（ステップＳ１１）、受信した映像についてデコーダ１２１にてデコード処理が行われる（ステップＳ１２）。この場合、テレビ会議端末２００−１から送信されてきた映像に対してデコード処理が行われるため、規格「１０８０ｉ」に応じたデコード処理が行われる。

デコード処理された映像がデコーダ１２１からリサイズ部１３１−１へ出力されると、本映像は第１代表画像サイズが設定されたテレビ会議端末２００−１から送信されてきた（ポート１１０−１にて受信した）ものであるため、リサイズ部１３１−１におけるリサイズ処理は行われない。

そして、ミキシング部１３２−１にて、当該映像と、テレビ会議端末２００−２から送信されてきて上述したステップＳ１〜Ｓ３の処理が行われた映像とが所定のレイアウトで合成される（ステップＳ１３）。合成された合成映像はミキシング部１３２−１から送信部１４０へ出力される。

すると、この合成映像が送信部１４０からテレビ会議端末２００−１へ送信される。テレビ会議端末２００−１の画像サイズは第１代表画像サイズであるため、テレビ会議端末２００−１へ送信される合成映像は、リサイズ部１４１におけるリサイズ処理は行われない。

その後、この合成映像は、エンコーダ１４２にて、テレビ会議端末２００−１に設定されている規格「１０８０ｉ」に応じたエンコード処理が行われる（ステップＳ１４）。

そして、エンコード処理された合成映像が、エンコーダ１４２からポート１１０−１を介してテレビ会議端末２００−１へ送信される（ステップＳ１５）。

このように送信された合成映像は、テレビ会議端末２００−１の画像サイズおよび規格に応じたものとなっているため、テレビ会議端末２００−１にて表示することができる。

図７に示したフローチャートによる処理と、図８に示したフローチャートによる処理とを比較すると、第１代表画像サイズ以外の画像サイズが設定されたテレビ会議端末２００−２に対しては、画像サイズを「リサイズ」する必要がある。しかし、第１代表画像サイズが設定されたテレビ会議端末２００−１に対しては、画像サイズを「リサイズ」する必要がない。これにより処理負担が軽減されるというメリットがある。

次に、合成映像のレイアウトについて説明する。

図９は、テレビ会議端末２００−１から送信されてきた映像の一例を示す図である。テレビ会議端末２００−１からは、テレビ会議端末２００−１を用いて会議に参加している男性の映像が送信されてきている。

図１０は、図１に示したテレビ会議端末２００−２から送信されてきた映像の一例を示す図である。テレビ会議端末２００−２からは、テレビ会議端末２００−２を用いて会議に参加している女性の映像が送信されてきている。

図１１は、２つの映像が合成された合成映像の一例を示す図である。

図１１に示すように、合成映像を表示する領域が、互いに同じ大きさの４つの表示領域３００−１〜３００−４に分割されたレイアウトで、所定の位置に図９に示した映像と、図１０に示した映像とが合成される。ここでは、図９に示した映像が表示領域３００−１に、また図１０に示した映像が表示領域３００−２にレイアウトされて合成される。

より詳細には、表示領域３００−１に画像サイズ「１０８０」の映像を配置し、表示領域３００−２に画像サイズ「１０８０」にリサイズされた（Ｓ３）映像を配置し、縦横それぞれ１／２に縮小し、画像サイズ「１０８０」の合成映像を作成する。

図１２は、合成映像の他の例を示す図である。

図１２に示すように、合成映像を表示する領域が、１つの表示領域３０１−１と、表示領域３０１−２の大きさとは異なり、互いに同じ大きさの５つの表示領域３０１−２〜３０１−６とに分割されたレイアウトで、所定の位置に図９に示した映像と、図１０に示した映像とが合成される。ここでは、図９に示した映像が表示領域３０１−１に、また図１０に示した映像が表示領域３０１−２にレイアウトされて合成される。

なお、図１１および図１２に示した以外のレイアウトであっても良い。また、図１１および図１２に示したように、それぞれの映像が合成される領域があらかじめ設定されているものであっても良いし、外部から設定できるものであっても良い。

以上、画像サイズが「１０８０」や「７２０」である場合を例に挙げて説明した。これらの画像の表示のアスペクト比は「１６：９」であり、アスペクト比の観点によるグループは同一グループ（第１グループ）に属する。

〜動作２〜
次に、ＭＣＵ１００の別の動作の例を説明する。すなわち、各映像の画像サイズが、異なるグループに属する場合の一例について説明する。例えば、テレビ会議端末２００−１の画像サイズが「１０８０」である場合、「１０８０」は第１グループ（１６：９）に属し、テレビ会議端末２００−２の画像サイズが「ＣＩＦ」である場合、「ＣＩＦ」は第２グループ（１１：９）に属する。ＣＩＦ（ＣｏｍｍｏｎＩｎｔｅｒｍｅｄｉａｔｅＦｏｒｍａｔ）は、近年、携帯端末等で使用されている規格である。

図１３は、アスペクト比が「１１：９」であるテレビ会議端末２００−２から送信されてきた映像の一例を示す図である。

図１４は、動作２に係る概念図である。図７および図８に示すフローチャートの処理に対応するステップを追記している。

まず、テレビ会議端末２００−１から送信されてきた映像（画像サイズ１０８０）が、ポート１１０−１にて受信されると（ステップＳ１１）、受信した映像についてデコーダ１２１にてデコード処理が行われる（ステップＳ１２）。この場合、テレビ会議端末２００−１から送信されてきた映像に対してデコード処理が行われるため、規格「１０８０ｉ」に応じたデコード処理が行われる。

一方、テレビ会議端末２００−２から送信されてきた映像（画像サイズＣＩＦ）が、ポート１１０−２にて受信されると（ステップＳ１）、受信した映像についてデコーダ１２１にてデコード処理が行われる（ステップＳ２）。この場合、テレビ会議端末２００−２から送信されてきた映像に対してデコード処理が行われるため、規格「ＣＩＦ」に応じたデコード処理が行われる。

このとき、「１０８０」のアスペクト比は１６：９であるのに対して、「ＣＩＦ」のアスペクト比は「１１：９」である。そのため、アスペクト比が「１１：９」である映像を「１６：９」のアスペクト比の映像へ合わせる必要がある。

アスペクト比が「１１：９」である映像を「１６：９」のアスペクト比の映像へ合わせるには、横方向に当該映像を引きのばす方法があるが、映像の正確性が損なわれるだけでなく、処理負荷が増えるため、好ましくない。

そこで、アスペクト比が「１１：９」である映像の左右に、「１６：９」のアスペクト比に合わせるための黒い帯（サイドパネル）を挿入する。

そして、ミキシング部１３２−１にて、「１０８０」の映像と、テレビ会議端末２００−２から送信され上述したステップＳ１〜Ｓ３の処理が行われた映像とが所定のレイアウトで合成される（ステップＳ１３）。合成映像の画像サイズは「１０８０」となる。合成映像はミキシング部１３２−１から送信部１４０へ出力される。

そして、この合成映像が送信部１４０からテレビ会議端末２００−１へ送信される。テレビ会議端末２００−１の画像サイズは第１代表画像サイズであるため、テレビ会議端末２００−１へ送信される合成映像は、リサイズ部１４１におけるリサイズ処理は行われない。

図１５は、テレビ会議端末２００−１に表示される合成映像（１６：９）である。

上記動作において、合成部１３０−１は、第１グループ（１６：９）に属する「１０８０」を第１代表画像サイズとしている。

これに対し、合成部１３０−２は、第２グループ（１１：９）に属する「ＣＩＦ」を第２代表画像サイズとする。

まず、テレビ会議端末２００−２から送信されてきた映像（画像サイズＣＩＦ）が、ポート１１０−２にて受信されると（ステップＳ１１）、受信した映像についてデコーダ１２１にてデコード処理が行われる（ステップＳ１２）。この場合、テレビ会議端末２００−１から送信されてきた映像に対してデコード処理が行われるため、規格「ＣＩＦ」に応じたデコード処理が行われる。

デコード処理された映像がデコーダ１２１からリサイズ部１３２−２へ出力されると、本映像は第２代表画像サイズが設定されたテレビ会議端末２００−２から送信されてきた（ポート１１０−２にて受信した）ものであるため、リサイズ部１３２−２におけるリサイズ処理は行われない。

一方、テレビ会議端末２００−１から送信されてきた映像（画像サイズ１０８０）が、ポート１１０−１にて受信されると（ステップＳ１）、受信した映像についてデコーダ１２１にてデコード処理が行われる（ステップＳ２）。この場合、テレビ会議端末２００−１から送信されてきた映像に対してデコード処理が行われるため、規格「１０８０ｉ」に応じたデコード処理が行われる。

デコード処理された映像がデコーダ１２１からリサイズ部１３１−２へ出力されると、本映像は第２代表画像サイズ以外が設定されたテレビ会議端末２００−１から送信されてきた（ポート１１０−１にて受信した）ものであるため、リサイズ部１３１−２にて画像サイズ「ＣＩＦ」へリサイズされる（ステップ３）。

このとき、「ＣＩＦ」のアスペクト比は「１１：９」であるのに対して、「１０８０」のアスペクト比は１６：９である。そのため、アスペクト比が「１６：９」である映像を「１１：９」のアスペクト比の映像へ合わせる必要がある。

アスペクト比が「１６：９」である映像を「１１：９」のアスペクト比の映像へ合わせるには、縦方向に当該映像を引きのばす方法があるが、映像の正確性が損なわれるだけでなく、処理負荷が増えるため、好ましくない。

そこで、アスペクト比が「１６：９」である映像の上下に、「１１：９」のアスペクト比に合わせるための黒い帯（レターボックス）を挿入する。

そして、ミキシング部１３２−２にて、「ＣＩＦ」の映像と、テレビ会議端末２００−１から送信され上述したステップＳ１〜Ｓ３の処理が行われた映像とが所定のレイアウトで合成される（ステップＳ１３）。合成映像の画像サイズは「ＣＩＦ」となる。合成映像はミキシング部１３２−２から送信部１４０へ出力される。

そして、この合成映像が送信部１４０からテレビ会議端末２００−２へ送信される。テレビ会議端末２００−２の画像サイズは第２代表画像サイズであるため、テレビ会議端末２００−２へ送信される合成映像は、リサイズ部１４１におけるリサイズ処理は行われない。

その後、この合成映像は、エンコーダ１４２にて、テレビ会議端末２００−２に設定されている規格「ＣＩＦ」に応じたエンコード処理が行われる（ステップＳ１４）。

そして、エンコード処理された合成映像が、エンコーダ１４２からポート１１０−２を介してテレビ会議端末２００−２へ送信される（ステップＳ１５）。

図１６は、テレビ会議端末２００−２に表示される合成映像（１１：９）である。

以上のように、各映像の画像サイズが異なるグループに属する場合は、グループ毎に代表画像サイズを設定して、合成処理を行う。

〜効果〜
本実施形態と、従来技術および改善技術とを比較することにより、本実施形態の効果について説明する。

図１７は、従来技術に係るＭＣＵ１００１の内部構成の一例を示す図である。ＭＣＵ１００１は、画像サイズ毎に合成処理を行うため、画像サイズに対応する合成部１３０１−１〜３を備えている。

合成部１３０１−１は、画像サイズ「１０８０」で、テレビ会議端末２００−１から送信されてきた映像と、テレビ会議端末２００−２から送信されてきた映像とを合成する。合成画像は、画像サイズ「１０８０」であるテレビ会議端末２００−１にて表示される。

合成部１３０１−２は、画像サイズ「７２０」で、テレビ会議端末２００−１から送信されてきた映像と、テレビ会議端末２００−２から送信されてきた映像とを合成する。合成画像は、画像サイズ「７２０」であるテレビ会議端末２００−２にて表示される。

合成部１３０１−３は、他の画像サイズを総括している。

このように、画像サイズ毎に合成処理を行うと、装置に大きな処理負荷がかかる。

図１８は、改善技術に係るＭＣＵ１００２の内部構成の一例を示す図である。ＭＣＵ１００２において、１つの代表画像サイズを設定し、すべての合成処理を合成部１３０２が行う。これにより、合成処理の負荷の増加を抑えることができる。

しかし、アスペクト比が異なる映像を合成する場合、レターボックスやサイドパネルによって、特定端末の映像の表示領域が極端に狭くなってしまう恐れがある。

図１９は、特定端末の映像の表示領域が極端に狭くなってしまう一例である。

本実施形態の動作２と同様に、第１グループ（１６：９）に属する画像サイズ「１０８０」の映像と、第２グループ（１１：９）に属する画像サイズ「ＣＩＦ」の映像を合成する。合成部１３０２は「１０８０」を代表画像サイズとする。

テレビ会議端末２００−１には、本実施形態と同様に、図１５で示す合成映像（１６：９）が表示される。

一方、アスペクト比が「１６：９」である合成映像の上下に黒い帯（レターボックス）を挿入して、リサイズ「１１：９」のアスペクト比に合わせ、図１９で示す合成映像（１１：９）がテレビ会議端末２００−２に表示される。

図１９において、とくに、表示領域３００−２が極端に狭くなっている。

従来技術および改善技術には、上記のような課題があった。本実施形態は、課題を解決し、以下の効果を得る。

従来技術は画像サイズ毎に合成処理を行うのに対し、本実施形態はグループ毎に合成処理を行う。これにより、動作１で示したように同一グループ内で合成する場合、改善技術と同様に、合成処理の負荷の増加を抑えることができる。

一方、動作２で示したように異なるグループ間で合成する場合、改善技術では、表示領域３００−２が極端に狭くなる（図１９参照）のに対し、本実施形態では、極端に狭くなることを抑制できる（図１６参照）。

〜変形例〜
本願発明は、上記実施形態に限定されず、本願発明の技術思想の範囲で種々の変形が可能である。

図２０は、変形例に係る多地点会議システムである。

変形例では、図１に示したシステムに加えて、予約サーバ４００が設けられている。

予約サーバ４００は、会議の予約を受け付け、管理するサーバである。予約サーバ４００は、テレビ会議端末２００−１，２００−２からあらかじめ送信されてきた内容（会議を行う時間情報や会議を行う端末情報等）を登録して管理する。管理方法は、一般的なものであれば良く、互いに異なる複数の会議が重ならないように制御したり、会議のキャンセルや、時間の延長等を制御したりして管理する。

なお、以上の説明において、送受信される音声信号については、一般的な多地点会議システムにおける音声処理と同じ処理が行われるものであり、本発明に特化したものではないため、記載を省略した。

上述したＭＣＵ１００に設けられた各構成要素が行う処理は、目的に応じてそれぞれ作製された論理回路で行うようにしても良い。また、処理内容を手順として記述したコンピュータプログラム（以下、プログラムと称する）をＭＣＵ１００にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムをＭＣＵ１００に読み込ませ、実行するものであっても良い。ＭＣＵ１００にて読取可能な記録媒体とは、フロッピー（登録商標）ディスク、光磁気ディスク、ＤＶＤ、ＣＤなどの移設可能な記録媒体の他、ＭＣＵ１００に内蔵された記憶部１６０、ＲＯＭ、ＲＡＭ等のメモリやＨＤＤ等を指す。この記録媒体に記録されたプログラムは、ＭＣＵ１００に設けられた制御部１５０にて読み込まれ、制御部１５０の制御によって、上述したものと同様の処理が行われる。ここで、制御部１５０は、プログラムが記録された記録媒体から読み込まれたプログラムを実行するコンピュータとして動作するものである。

１００ＭＣＵ
１１０−１，１１０−２ポート
１２０受信部
１２１デコーダ
１３０合成部
１３０−１合成部（第１）
１３０−２合成部（第２）
１３０−３合成部（第３）
１３１−１〜３リサイズ部
１３２−１〜３ミキシング部
１４０送信部
１４１リサイズ部
１４２エンコーダ
１５０制御部
１６０記憶部
２００−１，２００−２テレビ会議端末
３００−１〜３００−４，３０１−１〜３０１−６表示領域
４００予約サーバ

Claims

複数の通信端末と接続された多地点会議接続装置であって、
前記複数の通信端末から送信されてきた映像を、前記複数の通信端末それぞれにあらかじめ設定された画像サイズであって、表示アスペクト比に基づいて分類される第１グループに属する画像サイズのうち、いずれか１つの画像サイズを第１代表画像サイズとし、該第１代表画像サイズ以外の画像サイズが設定された通信端末から送信されてきた映像を、該第１代表画像サイズへリサイズし、第１合成映像として合成する第１合成部と、
前記複数の通信端末から送信されてきた映像を、前記複数の通信端末それぞれにあらかじめ設定された画像サイズであって、表示アスペクト比に基づいて分類される第２グループに属する画像サイズのうち、いずれか１つの画像サイズを第２代表画像サイズとし、該第２代表画像サイズ以外の画像サイズが設定された通信端末から送信されてきた映像を、該第２代表画像サイズへリサイズし、第２合成映像として合成する第２合成部と
を含む、各グループに対応して合成映像を作成する複数の合成部と、
前記各代表画像サイズの画像サイズが設定されている通信端末へ、前記各合成映像を送信し、同一グループのうち代表画像サイズ以外の画像サイズが設定されている通信端末へ、該合成映像を該通信端末に設定された画像サイズへリサイズしてから送信する送信部と
を有することを特徴とする多地点会議接続装置。
請求項１に記載の多地点会議接続装置において、
前記合成部は、前記複数の通信端末それぞれに設定された画像サイズであって、各グループに属する画像サイズのうち、最大の画像サイズを前記代表画像サイズとして用いる
ことを特徴とする多地点会議接続装置。
請求項１に記載の多地点会議接続装置において、
前記合成部は、前記映像を所定のレイアウトで合成する
ことを特徴とする多地点会議接続装置。
請求項１に記載の多地点会議接続装置において、
前記複数の通信端末それぞれから送信されてきた呼制御信号に含まれる前記画像サイズおよび該画像サイズの属するグループに係る情報を前記合成部と前記送信部とへ通知する制御部
を更に有することを特徴とする多地点会議接続装置。
撮影機能および映像表示機能を具備した複数の通信端末と、該複数の通信端末と接続された多地点会議接続装置とから構成された多地点会議システムにおいて、
前記多地点会議接続装置は、前記複数の通信端末から送信されてきた映像を、表示アスペクト比に基づいて分類されるグループ毎に、前記複数の通信端末それぞれにあらかじめ設定された画像サイズであって各グループの属する画像サイズうちのいずれか１つの代表画像サイズで合成映像として合成し、該各代表画像サイズの画像サイズが設定されている通信端末へ、該各合成映像を送信し、同一グループのうち代表画像サイズ以外の画像サイズが設定されている通信端末へ、該合成映像を該通信端末に設定された画像サイズへリサイズしてから送信し、
前記複数の通信端末は、前記撮影機能を用いて撮影した映像を前記多地点会議接続装置へ送信し、前記多地点会議接続装置から送信されてきた前記合成映像を前記映像表示機能を用いて表示する
ことを特徴とする多地点会議システム。
多地点それぞれに位置する複数の通信端末を用いて会議を行うための多地点会議接続方法であって、
多地点会議接続装置が、
前記複数の通信端末から送信されてきた映像を、表示アスペクト比に基づいて分類されるグループ毎に、前記複数の通信端末それぞれにあらかじめ設定された画像サイズであって各グループの属する画像サイズのうちのいずれか１つの代表画像サイズで合成映像として合成する合成処理と、
前記各代表画像サイズの画像サイズが設定されている通信端末へ、前記各合成映像を送信し、同一グループのうち代表画像サイズ以外の画像サイズが設定されている通信端末へ、該合成映像を該通信端末に設定された画像サイズへリサイズしてから送信する送信処理と
を行うことを特徴とする多地点会議接続方法。
複数の通信端末と接続された多地点会議接続装置に、
前記複数の通信端末から送信されてきた映像を、表示アスペクト比に基づいて分類されるグループ毎に、前記複数の通信端末それぞれにあらかじめ設定された画像サイズであって各グループの属する画像サイズのうちのいずれか１つの代表画像サイズで合成映像として合成する合成処理と、
前記各代表画像サイズの画像サイズが設定されている通信端末へ、前記各合成映像を送信し、同一グループのうち代表画像サイズ以外の画像サイズが設定されている通信端末へ、該合成映像を該通信端末に設定された画像サイズへリサイズしてから送信する送信処理と
を実行させることを特徴とする多地点会議接続プログラム。