JP2016174282A - テレビ会議用通信装置 - Google Patents

Abstract

【課題】テレビ会議用通信装置において、視聴者にとって見苦しい画面になることを防ぐこと。
【解決手段】通信制御部１０３は、各相手装置２、３、４とネットワーク５を介して接続し、各相手装置２、３、４から送信された映像データを受信する。映像・音声合成部１０５および映像・音声出力制御部１０６は、表示装置９に、通信制御部１０３より映像データを受信する前にテレビ会議を行う拠点の総数に分割した分割画面を表示させ、通信制御部１０３より受信した映像データを分割画面の各領域に順次表示させる。
【選択図】図１

Description

本発明は、ホスト拠点に設けられ、ホスト拠点と異なる複数の拠点の相手装置と同時に接続可能なテレビ会議用通信装置に関する。

従来、複数の拠点の相手装置と同時に接続してテレビ会議を行うことが可能なテレビ会議システムが知られている（例えば、特許文献１）。かかるテレビ会議システムでは、各相手装置から送信されたデータを相手装置毎にデコードし、デコードを完了する毎に映像データを合成し、合成映像データを表示する。

特開２０１４−２４１５２５号公報

しかしながら、従来のテレビ会議用通信装置は、デコードを完了する毎に画面のレイアウトを変更しながら合成映像を表示するので、視聴者には見苦しい画面になってしまっている。

本発明の目的は、視聴者にとって見苦しい画面になることを防ぐことができるテレビ会議用通信装置を提供することである。

本発明のテレビ会議用通信装置は、ホスト拠点に設けられ、前記ホスト拠点と異なる複数の拠点の相手装置と同時に接続可能なテレビ会議用通信装置であって、前記各相手装置とネットワークを介して接続し、前記各相手装置から送信された映像データを受信する通信制御部と、前記通信制御部より前記映像データを受信する前に、前記テレビ会議を行う拠点の総数に分割した分割画面を表示させ、前記通信制御部より受信した前記映像データを前記分割画面の各領域に順次表示させる表示制御部と、を具備する構成を採る。

本発明によれば、起動時から画面のレイアウトを変更せずに合成映像を表示することができるので、視聴者にとって見苦しい画面になることを防ぐことができる。

本発明の実施の形態１に係るテレビ会議用通信装置の構成を示すブロック図 本発明の実施の形態１に係る映像・音声出力制御部の構成を示すブロック図 本発明の実施の形態１に係るテレビ会議システムの状態の遷移を示す状態遷移図 本発明の実施の形態１に係るテレビ会議用通信装置の動作を示すフロー図 本発明の実施の形態１に係る画面に表示される映像の一例を示す模式図 本発明の実施の形態２に係るテレビ会議システムの構成を示すブロック図 本発明の実施の形態２に係るテレビ会議用通信装置の動作を示すフロー図

以下、図面を適宜参照して、本発明の実施の形態につき、詳細に説明する。

（実施の形態１）
＜テレビ会議用通信装置の構成および接続関係＞
まず、本発明の実施の形態１に係るテレビ会議用通信装置１の構成および接続関係について、図１を参照しながら詳細に説明する。

テレビ会議用通信装置１および相手装置（会議参加拠点）２、３、４は、それぞれ、互いに異なる拠点に設置されている。テレビ会議用通信装置１は、相手装置２、３、４とネットワーク５を介して接続及び切断することができる。なお、テレビ会議用通信装置１が接続する相手装置の数は、３つに限らず、必要に応じて２つ又は４つ以上の数に変更することができる。

テレビ会議用通信装置１は、各相手装置２、３、４との間で、接続完了後において、ネットワーク５を介して音声データ及び映像データの送信／受信を行う。ネットワーク５は、典型的にはインターネットである。

テレビ会議用通信装置１は、ユーザ操作入力装置６、映像入力装置７、音声入力装置８および表示装置９と接続している。

ユーザ操作入力装置６は、ユーザによる拠点を選択する操作を検出し、選択された拠点を示す選択拠点情報を含む信号を有線又は無線によりテレビ会議用通信装置１に送信する。ユーザ操作入力装置６は、典型的にはリモコン又はタッチパネルである。

映像入力装置７は、テレビ会議用通信装置１が設置されている拠点（以下、「ホスト拠点」という）を撮影して得られた映像データ等をテレビ会議用通信装置１に出力する。なお、映像入力装置７が出力する映像データには、カメラが撮像した映像データの他に、ＰＣに保存された映像データ、ＤＶＤプレーヤにより再生された映像データ等がある。

音声入力装置８は、ホスト拠点の音声を収音して得られた音声データ等をテレビ会議用通信装置１に出力する。なお、音声入力装置８が出力する音声データには、マイクが収音した音声データの他に、ＰＣに保存された映像データとセットの音声データ、ＤＶＤプレーヤにより再生された映像データとセットの音声データ等がある。

表示装置９は、テレビ会議用通信装置１から出力された映像データを画面に表示すると共に、テレビ会議用通信装置１から出力された音声データを図示しないスピーカから出力する。

テレビ会議用通信装置１は、ユーザ指示受信部１０１と、会議制御部１０２と、通信制御部１０３と、映像・音声符号化／復号部１０４と、映像・音声合成部１０５と、映像・音声出力制御部１０６と、静止画保持部１０７と、映像入力制御部１０８と、音声入力制御部１０９と、から主に構成される。なお、映像・音声合成部１０５と映像・音声出力制御部１０６とにより、表示制御部が構成される。

ユーザ指示受信部１０１は、ユーザ操作入力装置６から送信された信号を受信し、受信信号に含まれている選択拠点情報を抽出し、会議制御部１０２に出力する。

会議制御部１０２は、ユーザ指示受信部１０１から入力した選択拠点情報に基づいて、通信制御部１０３と、映像・音声符号化／復号部１０４と、映像・音声合成部１０５と、におけるデータの入出力のタイミングを制御する。また、会議制御部１０２は、ユーザ指示受信部１０１から入力した選択拠点情報を映像・音声合成部１０５に出力する。また、会議制御部１０２は、選択拠点情報に基づいて、通信制御部１０３における発信処理及び呼の確立処理を制御すると共に、映像データを受信したか否かを監視する。

通信制御部１０３は、会議制御部１０２の制御に従ったタイミングで動作する。通信制御部１０３は、相手装置２、３、４との間で呼を確立する。そして、通信制御部１０３は、呼を確立した後、各相手装置２、３、４が送信した映像データ及び音声データを、ネットワーク５を介して受信し、映像・音声符号化／復号部１０４に出力する。また、通信制御部１０３は、呼を確立した後、映像・音声符号化／復号部１０４から入力した映像データ及び音声データを、ネットワーク５を介して各相手装置２、３、４に送信する。なお、通信制御部１０３は、所定の通信プロトコルに従って動作する。通信プロトコルは、典型的にはＳＩＰ又はＨ．３２３である。

映像・音声符号化／復号部１０４は、会議制御部１０２の制御に従ったタイミングで動作する。映像・音声符号化／復号部１０４は、映像・音声合成部１０５から入力した映像データ、および、音声入力制御部１０９から入力した音声データを符号化して通信制御部１０３に出力する。また、映像・音声符号化／復号部１０４は、通信制御部１０３から入力した相手装置２、３、４からの映像データおよび音声データを復号して映像・音声合成部１０５に出力する。

映像・音声合成部１０５は、会議制御部１０２の制御に従ったタイミングで動作する。映像・音声合成部１０５は、映像・音声符号化／復号部１０４から入力した映像データと、映像入力制御部１０８から入力した映像データと、静止画保持部１０７から読み出した静止画データと、に基づいて、会議制御部１０２から入力した選択拠点情報の拠点数に応じて映像を合成して表示するための合成映像データを生成し、映像・音声出力制御部１０６に出力する。また、映像・音声合成部１０５は、映像・音声符号化／復号部１０４から入力した相手装置２、３、４からの音声データと、音声入力制御部１０９から入力した音声データを合成した合成音声データを生成し、映像・音声出力制御部１０６に出力する。また、映像・音声合成部１０５は、映像入力制御部１０８から入力した映像データを映像・音声符号化／復号部１０４に出力する。なお、映像・音声合成部１０５の構成の詳細については後述する。

映像・音声出力制御部１０６は、映像・音声合成部１０５から入力した合成映像データを表示装置９の画面に表示させると共に、合成音声データを表示装置９のスピーカから音声として出力させる。

静止画保持部１０７は、所定の静止画を表示装置９の画面に表示させるための静止画データを予め保持している。所定の静止画は、それぞれの相手装置２、３、４から映像データを受信するまでの当該相手装置との現在の通信状況を報知する画像である。

映像入力制御部１０８は、映像入力装置７から入力した映像データを映像・音声合成部１０５に出力する。

音声入力制御部１０９は、音声入力装置８から入力した音声データを映像・音声符号化／復号部１０４および映像・音声合成部１０５に出力する。

＜映像・音声合成部の構成＞
次に、映像・音声合成部１０５の内部構成について、図２を参照しながら説明する。図２に示すように、映像・音声合成部１０５は、画面レイアウト部２０１と、複製部２０２と、データ割当部２０３と、を有している。

画面レイアウト部２０１は、会議制御部１０２から入力した選択拠点情報の拠点（相手装置）数の合計値を算出して複製部２０２に出力する。また、画面レイアウト部２０１は、拠点数の合計値に「１」（ホスト拠点）を加算したテレビ会議を行う拠点の総数に分割した分割画面を表示させる画面レイアウトを設定するレイアウト設定処理を実行し、画面レイアウトを示す画面レイアウト情報をデータ割当部２０３に出力する。なお、レイアウト設定処理は、各相手装置からの映像データを表示する画面領域を決定する処理を含む。

複製部２０２は、起動時において、静止画保持部１０７から読み出した静止画データを、画面レイアウト部２０１から入力した合計値と同じ数だけ複製してデータ割当部２０３に出力する。

データ割当部２０３は、画面レイアウト部２０１から入力した画面レイアウト情報の画面レイアウトに対して、複製部２０２から入力した静止画データを割り当てて合成映像データを生成し、映像・音声出力制御部１０６に出力する。また、データ割当部２０３は、映像・音声符号化／復号部１０４から、相手装置２、３、４からの映像データを入力する毎に、静止画データを映像データに切り替えて新たな合成映像データを生成する。この際、データ割当部２０３は、画面レイアウトを変更せずに合成映像データを更新する。

＜テレビ会議用通信装置の接続状態の遷移＞
次に、テレビ会議用通信装置１の接続状態の遷移について、図３を参照しながら詳細に説明する。

テレビ会議用通信装置１は、電源ＯＮとなることにより動作を開始する。

テレビ会議用通信装置１は、電源ＯＮされた直後では非通信状態である（Ｓ１）。

テレビ会議用通信装置１は、非通信状態（Ｓ１）において、１つの相手装置２と接続する場合、相手装置２に対して発信を行い、相手装置２から着信することにより、相手装置２と一対一の通信状態（１：１通信状態）になる（Ｓ２）。そして、テレビ会議用通信装置１は、１：１通信状態（Ｓ２）において、通信状態である相手装置２との接続を切断すると非通信状態になる（Ｓ１）。なお、テレビ会議用通信装置１は、非通信状態（Ｓ１）において、電源ＯＦＦとなることにより動作を終了する。

また、テレビ会議用通信装置１は、１：１通信状態（Ｓ２）から、さらに他の相手装置３と接続する場合、相手装置３に対して発信を行い、相手装置３から着信することにより、複数の拠点の相手装置２及び相手装置３と通信状態（ＭＣＵ通信状態）になる（Ｓ３）。

そして、テレビ会議用通信装置１は、通信状態にある相手装置３との接続を切断すれば一対一の通信状態になり（Ｓ２）、さらに通信状態にある相手装置２との接続を切断すれば非通信状態になる（Ｓ１）。

また、テレビ会議用通信装置１は、非通信状態（Ｓ１）において、相手装置２、３、４に対して一斉に発信することにより相手装置２、３、４と通信状態（ＭＣＵ通信状態）になる（Ｓ３）。そして、テレビ会議用通信装置１は、相手装置２、３、４との接続を一斉に切断すれば非通信状態になる（Ｓ１）。

一斉に発信する方法としては、ユーザが発信時に発信先をテレビ会議用通信装置１に手入力する方法、又は、テレビ会議用通信装置１に予め記憶させておいた複数の発信先情報を登録したリストをユーザに選択させる方法等が考えられる。また、発信先を特定する方法としては、ＩＰアドレス、電話番又は識別コード等が考えられる。

＜テレビ会議用通信装置の動作＞
次に、テレビ会議用通信装置１の動作について、図４及び図５を参照しながら詳細に説明する。なお、図５は、テレビ会議用通信装置１が、相手装置２、３、４に対して一斉に発信する場合の例を示す。

まず、ユーザ指示受信部１０１は、ユーザ操作入力装置６から信号を受信し、受信した信号に含まれる選択拠点情報を抽出して会議制御部１０２に出力する。

会議制御部１０２は、選択拠点情報のＮ（Ｎは２以上の整数、図５ではＮ＝３）拠点の相手装置２、３、４に一斉発信を行うように通信制御部１０３を制御する。これにより、通信制御部１０３は、相手装置２、３、４に一斉発信を行う（Ｓ１１）。具体的には、会議制御部１０２は、選択拠点情報が複数の発信先情報を記録した１つのリストの情報である場合、そのリストに登録されている発信先情報の発信先の数により拠点数Ｎを認識することができる。

また、映像・音声合成部１０５は、会議制御部１０２から入力した選択拠点情報に基づいて、（Ｎ＋１）個の分割画面となる画面レイアウトを決定する（Ｓ１２）。

次に、映像・音声合成部１０５は、静止画保持部１０７から静止画データを読み出して、読み出した静止画データを分割画面の各々に表示させるように映像・音声出力制御部１０６を制御する（Ｓ１３）。映像・音声合成部１０５は、全ての拠点が応答前である場合、図５（ａ）に示すように、分割画面Ｂ１にはホスト拠点の映像を表示し、残りの分割画面Ｂ２、Ｂ３、Ｂ４には「発信中」の静止画を表示する。

会議制御部１０２は、映像データを受信していない拠点があるとの条件を満たしている場合、映像データを受信していないｎ番目（ｎはＮ以下の整数）の拠点の相手装置に発信を行うように通信制御部１０３を制御する。これにより、通信制御部１０３は、ｎ番目の拠点の相手装置に発信を行う（Ｓ１４）。

次に、会議制御部１０２は、通信制御部１０３において呼を確立したか否かを判定する（Ｓ１５）。

会議制御部１０２は、ｎ番目の拠点の相手装置が電源ＯＦＦである等により、通信制御部１０３において呼を確立していない場合（Ｓ１５：ＮＯ）、映像・音声合成部１０５に対して静止画を表示させる制御を行う。これにより、映像・音声合成部１０５は、静止画保持部１０７から静止画データを読み出す。そして、映像・音声合成部１０５は、図５（ｂ）に示すように表示装置９の分割画面Ｂ２に「接続準備中」の静止画を表示させるための制御を行う（Ｓ１６）。その後、フローはＳ１４の処理に戻る。

一方、会議制御部１０２は、通信制御部１０３において呼を確立している場合（Ｓ１５：ＹＥＳ）、映像・音声符号化／復号部１０４に対して映像データ及び音声データの符号化及び復号を開始し（Ｓ１７）、映像データの受信待ちを行うように制御する。

次に、会議制御部１０２は、ｎ番目の拠点の相手装置から映像データを受信したか否かを判定する（Ｓ１８）。

会議制御部１０２は、低帯域であるためにパケットロスを生じる等により、ｎ番目の拠点の相手装置から映像データを受信していない場合（Ｓ１８：ＮＯ）、映像・音声合成部１０５に対して静止画を表示させる制御を行う。これにより、映像・音声合成部１０５は、静止画保持部１０７から静止画データを読み出す。そして、映像・音声合成部１０５は、図５（ｃ）に示すように、表示装置９の分割画面Ｂ３、Ｂ４に「映像準備中」の静止画を表示させるための制御を行う（Ｓ１９）。その後、フローはＳ１４の処理に戻る。

一方、会議制御部１０２は、ｎ番目の拠点の相手装置から映像データを受信している場合（Ｓ１８：ＹＥＳ）、映像・音声合成部１０５に対してｎ番目の拠点の相手装置からの映像データを表示させる制御を行う（Ｓ２０）。これにより、映像・音声合成部１０５は、図５（ｄ）に示すように、表示装置９の分割画面Ｂ３、Ｂ４に映像を表示させる制御を行う。

会議制御部１０２、通信制御部１０３、映像・音声符号化／復号部１０４及び映像・音声合成部１０５は、Ｓ１００の処理を行う条件を満たさなくなるまで、Ｓ１００（Ｓ１４からＳ２０）の処理を繰り返す。

これにより、全ての拠点からの映像データを受信した場合には、図５（ｅ）に示すように、全ての分割画面Ｂ１、Ｂ２、Ｂ３、Ｂ４に映像が表示される。

このように、本実施の形態によれば、テレビ会議を行う拠点の総数に分割した分割画面を、映像データを受信する前に表示させ、受信した映像データを分割画面の各々に順次表示させることにより、起動時から画面のレイアウトを変更せずに合成映像を表示することができる。これにより、視聴者にとって見苦しい画面になることを防ぐことができる。

また、本実施の形態によれば、各相手装置から映像データを受信するまで、現在の通信状況を報知する静止画を分割画面の各々に表示させることにより、視聴者は各拠点の映像を表示するまでの現在の状態を認識することができる。

（実施の形態２）
＜テレビ会議用通信装置の構成および接続関係＞
次に、本発明の実施の形態２に係るテレビ会議用通信装置１ａの構成について、図６を参照しながら、以下に詳細に説明する。なお、図６に示すテレビ会議用通信装置１ａにおいて、図１に示したテレビ会議用通信装置１と共通する構成部分については同一符号を付して、その説明を省略する。

図６に示すテレビ会議用通信装置１ａは、図１に示したテレビ会議用通信装置１に対して、録画・録音制御部３０１を追加した構成を採る。また、図６に示すテレビ会議用通信装置１ａにおいて、映像・音声合成部１０５ａが、図１の映像・音声合成部１０５の代わりに追加される。

また、テレビ会議用通信装置１ａは、録画・録音制御部３０１において、録画・録音装置１０と接続する。

録画・録音装置１０は、テレビ会議用通信装置１ａ（録画・録音制御部３０１）から入力した音声データ及び映像データを記録する。

映像・音声合成部１０５ａは、全ての拠点の相手装置２、３、４から映像データを受信し、合成映像データを生成したタイミングで、録画・録音制御部３０１に対して合成映像データ及び合成音声データを出力する。その他の映像・音声合成部１０５ａの機能は、映像・音声合成部１０５のものと同一である。

録画・録音制御部３０１は、映像・音声合成部１０５ａから入力した合成映像データ及び合成音声データを、録画・録音装置１０に記録させる。

＜テレビ会議用通信装置の動作＞
次に、テレビ会議用通信装置１ａの動作について、図７を参照しながら詳細に説明する。なお、図７において、図２と共通するステップについては同一符号を付して、その説明を省略する。

図７は、図２と比較して、ステップＳ１００の後に、ステップＳ２１を追加した構成を採る。

Ｓ１００までの処理が完了し、全ての拠点の相手装置２、３、４から受信した映像データの合成映像データが生成されたタイミングで、録画・録音制御部３０１は、映像・音声合成部１０５ａから入力した合成映像データおよび合成音声データの記録を、録画・録音装置１０に開始させる（Ｓ２１）。

このように、本実施の形態によれば、複数の拠点の全ての映像を表示させた後に、合成映像データおよび合成音声データの記録を開始することができるので、不必要な映像データ、音声データを記録してしまうことを防止することができる。

なお、本実施の形態では、実施の形態１のように、画面レイアウトを変更せずに相手装置から映像データを受信する毎に表示装置の分割画面に各々表示する場合に限らず、映像データを受信する毎に映像データを合成して、映像データを受信する毎に画面のレイアウトを変更しながら合成した映像データを表示する場合においても上記の効果を得ることができる。

また、本実施の形態では、全ての拠点の映像データの復号が完了した時点や、レイアウト設定処理における処理が所定の割合（例えば８０％）まで終了した時点等、映像データの記録を開始するタイミングよりも少し先行して、音声データの記録を開始してもよい。また、本実施の形態では、音声データの記録を開始するタイミングを、ユーザにより任意に設定できるようにしてもよい。

なお、本発明は、部材の種類、配置、個数等は前述の実施の形態に限定されるものではなく、その構成要素を同等の作用効果を奏するものに適宜置換する等、発明の要旨を逸脱しない範囲で適宜変更可能であることはもちろんである。

具体的には、上記実施の形態１及び実施の形態２では、映像を表示するまでに静止画を表示する場合について説明したが、本発明はこれに限られず、静止画以外のメッセージ等の文字情報を表示するようにしてもよい。

また、上記実施の形態１及び実施の形態２では、同一の大きさに分割した分割画面を表示する場合について説明したが、本発明はこれに限られず、画面レイアウトを変更しなければ、異なる大きさに分割した分割画面又は一部重なった分割画面を表示するようにしてもよい。また、本発明では、画面の一部に分割画面を表示し、分割画面を割り当てない領域を黒画にしてもよいし、表示装置の画面における分割画面を割り当てない領域に静止画を表示してもよい。

また、上記実施の形態１及び実施の形態２では、「発信中」、「接続準備中」、「映像準備中」の順に静止画を変化させたが、本発明はこれに限られず、映像が表示されまで全て同じ静止画でもよい。また、本発明では、静止画で報知する内容も現在の通信状況が分かる情報が含まれていれば上記以外の静止画でもよい。

本発明は、ホスト拠点に設けられ、ホスト拠点と異なる複数の拠点の相手装置と同時に接続可能なテレビ会議用通信装置に用いるに好適である。

１、１ａ テレビ会議用通信装置
２、３、４ 相手装置（会議参加拠点）
６ ユーザ操作入力装置
７ 映像入力装置
８ 音声入力装置
９ 表示装置
１０ 録画・録音装置
１０１ ユーザ指示受信部
１０２ 会議制御部
１０３ 通信制御部
１０４ 映像・音声符号化／復号部
１０５、１０５ａ 映像・音声合成部
１０６ 映像・音声出力制御部
１０７ 静止画保持部
１０８ 映像入力制御部
１０９ 音声入力制御部
２０１ 画面レイアウト部
２０２ 複製部
２０３ データ割当部
３０１ 録画・録音制御部

Claims (2)

1. ホスト拠点に設けられ、前記ホスト拠点と異なる複数の拠点の相手装置と同時に接続可能なテレビ会議用通信装置であって、
   前記各相手装置とネットワークを介して接続し、前記各相手装置から送信された映像データを受信する通信制御部と、
   前記通信制御部より前記映像データを受信する前に、前記テレビ会議を行う拠点の総数に分割した分割画面を表示させ、前記通信制御部より受信した前記映像データを前記分割画面の各領域に順次表示させる表示制御部と、
   を具備するテレビ会議用通信装置。
2. 前記表示制御部は、
   前記相手装置から前記映像データを受信するまで、前記相手装置との現在の通信状況を報知する静止画を前記分割画面の各領域に表示させる、
   請求項１記載のテレビ会議用通信装置。

Images