JP2016192610A - 遠隔会議プログラム、制御装置及び遠隔会議方法 - Google Patents

Abstract

【課題】端末装置で表示される大きさに合わせた適切な解像度の画像データの生成によって通信負荷を低減することができる遠隔会議プログラム、制御装置及び遠隔会議方法を提供する。【解決手段】サーバのＣＰＵは、受信側の端末で表示される送信側の端末の映像の表示解像度に変更があった場合、送信側の端末に、撮影データを映像データにエンコードするエンコード解像度を変更する要求を送信する。例えば、端末Ａが送信側の端末である場合、サーバは、端末Ｂ〜Ｈで表示される端末Ａの映像の縦解像度を大きさ順に並べ替え、隣り合う縦解像度同士で差分値を算出し、差分値の大きい順に、グループ分割位置を設定する。サーバは端末ＡのＣＰＵスペックに応じてグループの数を設定し、端末Ｂ〜Ｈを分割位置で分けたグループに分類する。サーバは各グループの最大の表示解像度をエンコード解像度に決定し、端末Ａにエンコード解像度を変更する要求を送信する。【選択図】図１０

Description

本発明は、ネットワークを介して複数の端末装置と接続し、各種データの送受信を管理して遠隔会議を行うための遠隔会議プログラム、制御装置及び遠隔会議方法に関する。

従来、ネットワークを介して携帯端末、パーソナルコンピュータ（ＰＣ）等、複数の端末装置と接続し、画像データを含む各種データの送受信を制御して、遠隔会議を進行する制御装置が知られている。例えば、特許文献１に記載の会議コントローラは、送信側端末装置のカメラで撮影された動画像データを送信側端末装置から受信し、受信側端末装置に転送する。受信側端末装置は、会議コントローラから受信した動画像データをモニタに表示する。

特許文献１において、送信側端末装置は、基準表示サイズ以下の表示サイズで動画像データを表示する受信側端末装置があれば、低解像度の動画像データを生成する。同様に、送信側端末装置は、基準表示サイズより大きい表示サイズで動画像データを表示する受信側端末装置があれば、高解像度の動画像データを生成する。送信側端末装置は、低解像度の動画像データ及び高解像度の動画像データのうち少なくとも一方の動画像データを生成したら、会議コントローラに送信する。会議コントローラは、受信側端末装置における表示サイズに合わせた低解像度又は高解像度の動画像データを、夫々の受信側端末装置に転送する。

特開２０１２−１６９６９４号公報

しかしながら、特許文献１において、送信側端末装置が生成する低解像度の動画像データと高解像度の動画像データの解像度は、夫々、予め設定されている。このため、送信側端末装置の表示サイズが基準表示サイズより僅かに大きなサイズであった場合でも、送信側端末装置は、高解像度の動画像データを生成する。動画像データの送受信において、高解像度の動画像データは、低画質動画像データよりも大きな帯域を使用するため、通信負荷が高くなるという問題があった。

本発明は、端末装置で表示される大きさに合わせた適切な解像度の画像データの生成によって通信負荷を低減することができる遠隔会議プログラム、制御装置及び遠隔会議方法を提供することを目的とする。

本発明の第一態様によれば、ネットワークを介して複数の端末装置と接続する制御装置のコンピュータが実行可能な遠隔会議プログラムであって、前記制御装置のコンピュータに、前記複数の端末装置のうちの１つである第一端末に接続されたカメラで撮影された撮影データに基づき前記第一端末で符号化され、ストリーミング形式で送信される映像データを、前記第一端末とは異なる複数の第二端末が前記制御装置を介して受信し、前記第二端末に接続されたモニタの夫々に前記映像データを復号して表示する映像の表示解像度を示す表示解像度情報を、前記複数の第二端末の夫々から取得する第一取得ステップと、前記第一取得ステップにおいて取得した前記表示解像度情報に示される前記表示解像度のうちの最大の表示解像度と最小の表示解像度との差が、所定の第一差分値以上か否か判断する第一判断ステップと、前記第一判断ステップにおいて前記最大の表示解像度と前記最小の表示解像度との差が前記第一差分値未満と判断した場合、前記第一端末に、前記撮影データに基づき前記最大の表示解像度以下、且つ前記最小の表示解像度以上の解像度で符号化された１つの前記映像データをストリーミング形式で送信させ、前記第一差分値以上と判断した場合には、前記第一端末に、解像度が異なる２以上の前記映像データであって、前記撮影データに基づき夫々前記最大の表示解像度以下、且つ前記最小の表示解像度以上の解像度で符号化された前記２以上の映像データをストリーミング形式で送信させる設定情報を設定する設定ステップと、前記設定ステップにおいて設定した前記設定情報を、前記第一端末に送信する送信ステップとを実行させることを特徴とする遠隔会議プログラムが提供される。

異なる解像度で符号化された２つの映像データがストリーミング送信される場合、送信に使用される帯域は、１つの映像データのみがストリーミング送信される場合と比べて大きい。第一態様において、最大の表示解像度と最小の表示解像度との差が第一差分値未満の場合、第一端末が送信する映像データは、１つの映像データである。従って、第一態様に係る遠隔会議プログラムを実行する制御装置は、映像データの送受信に使用される帯域を小さくし、通信負荷を低減することができる。

本発明の第二態様によれば、ネットワークを介して複数の端末装置と接続する制御装置であって、前記複数の端末装置のうちの１つである第一端末に接続されたカメラで撮影された撮影データに基づき前記第一端末で符号化され、ストリーミング形式で送信される映像データを、前記第一端末とは異なる複数の第二端末が前記制御装置を介して受信し、前記第二端末に接続されたモニタの夫々に前記映像データを復号して表示する映像の表示解像度を示す表示解像度情報を、前記複数の第二端末の夫々から取得する第一取得手段と、前記第一取得手段が取得した前記表示解像度情報に示される前記表示解像度のうちの最大の表示解像度と最小の表示解像度との差が、所定の第一差分値以上か否か判断する第一判断手段と、前記第一判断手段が、前記最大の表示解像度と前記最小の表示解像度との差が前記第一差分値未満と判断した場合、前記第一端末に、前記撮影データに基づき前記最大の表示解像度以下、且つ前記最小の表示解像度以上の解像度で符号化された１つの前記映像データをストリーミング形式で送信させ、前記第一差分値以上と判断した場合には、前記第一端末に、解像度が異なる２以上の前記映像データであって、前記撮影データに基づき夫々前記最大の表示解像度以下、且つ前記最小の表示解像度以上の解像度で符号化された前記２以上の映像データをストリーミング形式で送信させる設定情報を設定する設定手段と、前記設定手段が設定した前記設定情報を、前記第一端末に送信する送信手段とを備えたことを特徴とする制御装置が提供される。

第二態様に係る制御装置は、複数の第二端末のモニタに表示される映像の最大の表示解像度と最小の表示解像度との差に基づいて第一端末に映像データを生成させることで、第一態様と同様の効果を得ることができる。

本発明の第三態様によれば、ネットワークを介して複数の端末装置と接続する制御装置のコンピュータがプログラムに従って実行可能な遠隔会議方法であって、前記複数の端末装置のうちの１つである第一端末に接続されたカメラで撮影された撮影データに基づき前記第一端末で符号化され、ストリーミング形式で送信される映像データを、前記第一端末とは異なる複数の第二端末が前記制御装置を介して受信し、前記第二端末に接続されたモニタの夫々に前記映像データを復号して表示する映像の表示解像度を示す表示解像度情報を、前記複数の第二端末の夫々から取得する第一取得ステップと、前記第一取得ステップにおいて取得した前記表示解像度情報に示される前記表示解像度のうちの最大の表示解像度と最小の表示解像度との差が、所定の第一差分値以上か否か判断する第一判断ステップと、前記第一判断ステップにおいて前記最大の表示解像度と前記最小の表示解像度との差が前記第一差分値未満と判断した場合、前記第一端末に、前記撮影データに基づき前記最大の表示解像度以下、且つ前記最小の表示解像度以上の解像度で符号化された１つの前記映像データをストリーミング形式で送信させ、前記第一差分値以上と判断した場合には、前記第一端末に、解像度が異なる２以上の前記映像データであって、前記撮影データに基づき夫々前記最大の表示解像度以下、且つ前記最小の表示解像度以上の解像度で符号化された前記２以上の映像データをストリーミング形式で送信させる設定情報を設定する設定ステップと、前記設定ステップにおいて設定した前記設定情報を、前記第一端末に送信する送信ステップとを含むことを特徴とする遠隔会議方法が提供される。

制御装置のコンピュータがプログラムに従って第三態様に係る方法を実行し、複数の第二端末のモニタに表示される映像の最大の表示解像度と最小の表示解像度との差に基づいて第一端末に映像データを生成させることで、第一態様と同様の効果を得ることができる。

遠隔会議システム１００の全体構成図である。 端末３が実行する会議参加プログラムのフローチャートである。 サーバ１が実行する遠隔会議プログラムのフローチャートである。 遠隔会議プログラムにおけるエンコーダ設定決定処理のフローチャートである。 エンコーダ設定決定処理における解像度グループ決定処理のフローチャートである。 解像度グループ決定処理におけるグループ振り分け処理のフローチャートである。 端末情報及び表示解像度情報を記憶する記憶領域５０の模式的な構成を示す図である。 縦解像度の差分値が算出された記憶領域６０の模式的な構成を示す図である。 グループ分割位置の候補が設定された記憶領域６０の模式的な構成を示す図である。 エンコード解像度が決定された記憶領域６０の模式的な構成を示す図である。

以下、本発明の一実施形態について、図面を参照して説明する。参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。

図１を参照し、サーバ１及び端末３を含む遠隔会議システム１００について説明する。サーバ１は、本発明に係る「制御装置」の一例である。端末３は、本発明に係る「端末装置」の一例である。遠隔会議システム１００は、サーバ１が仮想的に構築する会議室に複数の端末３がネットワーク１０を介して夫々仮想的に参加し、映像及び音声を用いた遠隔会議（テレビ会議）を開催できるシステムである。サーバ１及び複数の端末３は、ネットワーク１０を介して互いに接続する。端末３は、遠隔会議に参加するユーザが使用する。サーバ１は、複数の端末３の間で実行される遠隔会議を制御する。

図１に示す遠隔会議システム１００は、一例として、１つのサーバ１と８つの端末３が、夫々ネットワーク１０に接続して構成するシステムである。サーバ１は、複数の端末３を用いて行われる遠隔会議の場として仮想的な会議室を構築する。サーバ１は、各端末３の会議室への入退室を管理する。仮想的な会議室は、所定の会議室ＩＤで識別される。複数の端末３は、所定の会議室ＩＤで識別される同一の遠隔会議に参加する。また、複数の端末３は、夫々、ユーザＩＤによって識別される。会議室ＩＤとユーザＩＤは互いに関連付けられて、例えば、サーバ１のハードディスクドライブ（以下、「ＨＤＤ」という。）１７に保存される。

複数の端末３は、ネットワーク１０を介してサーバ１に接続する。端末３は、モニタ４１、マイク４３、カメラ４４、スピーカ４５等が接続される端末装置である。例えばＰＣが、端末３として用いられる。端末３として、スマートフォン、タブレット端末の携帯端末が用いられてもよい。サーバ１のＨＤＤ１７には、複数の端末３がサーバ１に対して接続して遠隔会議を行うことを可能にする各処理のプログラムが記憶される。この点を除き、サーバ１の構成は、公知の構成のワークステーションやパーソナルコンピュータ（ＰＣ）と同様の構成である。

複数の端末３は、夫々が送信側の端末３として機能し、且つ、夫々が受信側の端末３として機能する。送信側の端末３は、遠隔会議時に、カメラ４４が撮影した撮影データとマイク４３が収音した収音データを取得する。送信側の端末３は、取得した撮影データと収音データをエンコードして、映像データと音声データを生成する。送信側の端末３は、会議室ＩＤとともに、映像データと音声データをストリーミング形式でサーバ１に送信する。サーバ１は、受信した映像データと音声データを、受信側の端末３の夫々に、ストリーミング形式で再送信する。なお、受信側の端末３は、会議室ＩＤに関連付けられ、送信側の端末３とは異なるユーザＩＤで識別される。受信側の端末３は、サーバ１から受信した映像データと音声データを復号する。受信側の端末３は、映像データに基づく映像をモニタに表示する。受信側の端末３は、映像データに基づく音声をスピーカから出力する。この構成により、複数の端末３は映像データと音声データを互いに送受信し、リアルタイムな会話による遠隔会議を実行することができる。遠隔会議システム１００は、遠隔会議の参加者（端末３のユーザ）のすべてが同一の場所にいなくとも、参加者同士による円滑な会議の場を提供することができる。

サーバ１の電気的構成について説明する。サーバ１は、例えば、公知の構成のＰＣである。サーバ１は、サーバ１の制御を司るＣＰＵ１１を備える。ＣＰＵ１１はチップセット１５に接続し、チップセット１５を介してＲＯＭ１２、ＲＡＭ１３、及び表示制御部１４と電気的に接続する。チップセット１５はチップセット１６と接続する。ＣＰＵ１１は、チップセット１６を介し、ＨＤＤ１７、通信Ｉ／Ｆ１８、ＵＳＢ Ｉ／Ｆ１９と電気的に接続する。

チップセット１５は、ＣＰＵ１１と、ＲＯＭ１２、ＲＡＭ１３、及び表示制御部１４との間でデータの送受信を管理する一連の回路群である。ＲＯＭ１２は、ブートプログラム、ＢＩＯＳ等を記憶する。ＲＡＭ１３は、種々の一時データを記憶する。表示制御部１４は、モニタ２１への映像の表示を制御する。チップセット１６は、ＣＰＵ１１と、ＨＤＤ１７、通信Ｉ／Ｆ１８及びＵＳＢ Ｉ／Ｆ１９との間でデータの送受信を管理する一連の回路群である。ＨＤＤ１７は、ＯＳ、サーバ１をサーバとして機能させるためのソフトウェア（後述する遠隔会議プログラム）、その他各種アプリケーション、データ等を記憶する。通信Ｉ／Ｆ１８は、有線又は無線によってネットワーク１０に接続し、データ通信を行うためのインターフェイスである。ＵＳＢ Ｉ／Ｆ１９は、ＵＳＢ規格に基づく通信を行うためのインターフェイスである。ＣＰＵ１１は、ＵＳＢ Ｉ／Ｆ１９を介し、入力部２２と電気的に接続する。入力部２２は、キーボード、マウス等、サーバ１に対する操作の入力を行う装置である。

なお、後述する遠隔会議プログラムは、サーバ１のＣＰＵ１１に応じたコードにコンパイルされ、ファイルサーバ（図示略）等に設けられたコンピュータが読み取り可能な記憶装置に記憶されている。コンピュータが読み取り可能な記憶装置は、一時的な記憶媒体（例えば、伝送信号）を含まない、非一時的な記憶媒体であってもよい。遠隔会議プログラムは、ファイルサーバ等からサーバ１にネットワーク１０等の電気通信回線を通じて伝送信号として送信されて提供される。あるいは、遠隔会議プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フラッシュＲＯＭ等の非一時的な記録媒体（図示略）に記憶されてもよい。この場合、サーバ１のＣＰＵ１１が、サーバ１に接続可能な読取装置（図示略）で記録媒体から読み取ることで、遠隔会議プログラムが提供されてもよい。ＣＰＵ１１は、サーバ１が備えるコンピュータで読み取り可能な記憶装置に、遠隔会議プログラムを記憶する。本実施形態の記憶装置はＨＤＤ１７であるが、ＨＤＤ１７に限らず、例えば、ＳＳＤ（Solid State Drive）、フラッシュＲＯＭ等、データを記憶する時間の長さに関わらずにデータを保持できる不揮発性の記憶装置を用いることが好ましい。

端末３の電気的構成について説明する。モニタ４１、マイク４３、カメラ４４、及びスピーカ４５は、内蔵又は外付けによって端末３に接続される。端末３は、後述する会議参加プログラムの実行によって、遠隔会議のクライアントとして機能することができる構成を有すればよい。以下では端末３がＰＣである場合の電気的構成を説明するが、端末３がスマートフォンやタブレット端末である場合の電気的構成は、便宜上、ＰＣの電気的構成に準ずるものとする。

端末３は、端末３の制御を司るＣＰＵ３１を備える。ＣＰＵ３１はチップセット３５に接続し、チップセット３５を介してＲＯＭ３２、ＲＡＭ３３、及び表示制御部３４と電気的に接続する。チップセット３５はチップセット３６と接続する。ＣＰＵ３１は、チップセット３６を介し、ＨＤＤ３７、通信Ｉ／Ｆ３８、ＵＳＢ Ｉ／Ｆ３９と電気的に接続する。

チップセット３５は、ＣＰＵ３１と、ＲＯＭ３２、ＲＡＭ３３、及び表示制御部３４との間でデータの送受信を管理する一連の回路群である。ＲＯＭ３２は、ブートプログラム、ＢＩＯＳ等を記憶する。ＲＡＭ３３は、種々の一時データを記憶する。表示制御部３４は、映像データをデコードした表示データに基づく映像のモニタ４１への表示を制御する。チップセット３６は、ＣＰＵ３１と、ＨＤＤ３７、通信Ｉ／Ｆ３８及びＵＳＢ Ｉ／Ｆ３９との間でデータの送受信を管理する一連の回路群である。ＨＤＤ３７は、ＯＳ、端末３をクライアントとして機能させるためのソフトウェア（後述する会議参加プログラム）、その他各種アプリケーション、データ等を記憶する。通信Ｉ／Ｆ３８は、有線又は無線によってネットワーク１０に接続し、データ通信を行うためのインターフェイスである。

なお、後述する会議参加プログラムは、端末３に応じたコードにコンパイルされ、ファイルサーバ（図示略）、サーバ１等に設けられたコンピュータが読み取り可能な記憶装置に記憶されている。コンピュータが読み取り可能な記憶装置は、一時的な記憶媒体（例えば、伝送信号）を含まない、非一時的な記憶媒体であってもよい。会議参加プログラムは、ファイルサーバ、サーバ１等から端末３にネットワーク１０等の電気通信回線を通じて伝送信号として送信されて提供される。あるいは、会議参加プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フラッシュＲＯＭ等の非一時的な記録媒体（図示略）に記憶されてもよい。この場合、端末３のＣＰＵ３１が、端末３に接続可能な読取装置（図示略）で記録媒体から読み取ることで会議参加プログラムが提供されてもよい。ＣＰＵ３１は、端末３が備えるコンピュータで読み取り可能な記憶装置に、会議参加プログラムを記憶する。端末３の記憶装置の一例はＨＤＤ３７であるが、ＨＤＤ３７に限らず、例えば、ＳＳＤ、フラッシュＲＯＭ等、データを記憶する時間の長さに関わらずにデータを保持できる不揮発性の記憶装置を用いることが好ましい。

ＵＳＢ Ｉ／Ｆ３９は、ＵＳＢ規格に基づく通信を行うためのインターフェイスである。ＣＰＵ３１は、ＵＳＢ Ｉ／Ｆ３９を介し、入力部４２、マイク４３、カメラ４４、及びスピーカ４５と電気的に接続する。入力部４２は、キーボード、マウス、タッチパネル等、端末３に対する操作の入力を行う装置である。マイク４３は、端末３の周囲の音声を収音してＡ／Ｄ変換（サンプリング）した収音データを、ＵＳＢ Ｉ／Ｆ３９を介してＯＳに送信する。カメラ４４は、端末３の周囲の景色を撮影してＡ／Ｄ変換した撮影データを、ＵＳＢ Ｉ／Ｆ３９を介してＯＳに送信する。カメラ４４は、例えばＣＣＤやＣＭＯＳなどの撮像素子と、その撮像素子に対して外界光を結像させるレンズ系とを含む。カメラ４４は、さらに、撮像素子から出力されるアナログデータを増幅し、Ａ／Ｄ変換してデジタルデータである撮影データを生成する変換回路を含む。スピーカ４５は、音声データをデコードした再生データをＵＳＢ Ｉ／Ｆ３９を介してＯＳから受信し、Ｄ／Ａ変換して音声を出力する。

遠隔会議システム１００において、サーバ１のＣＰＵ１１及び端末３のＣＰＵ３１は、夫々、遠隔会議プログラム及び会議参加プログラムに従って、概略、以下の各処理を行う。送信側の端末３のＣＰＵ３１は、公知の音声用エンコーダを用い、マイク４３で収音した収音データを所定の音声パラメータに従ってエンコードし、音声データを生成する。音声パラメータは、例えば、「コーデックにＨＥ−ＡＡＣ ｖ２を用い、ビットレートを４８ｋｂｐｓ（ＣＢＲ）とし、サンプリングレート２４ｋＨｚでエンコードする」等のエンコード条件である。ＣＰＵ３１は、生成した音声データをサーバ１にストリーミング形式で送信する。

同様に、端末３のＣＰＵ３１は、公知の映像用エンコーダを用い、カメラ４４で撮影した撮影データを所定の映像パラメータに従ってエンコードし、映像データを生成する。映像パラメータは、例えば、「コーデックにＭＰＥＧ−４ ＡＶＣを用い、解像度６４０×３６０、３０ｆｐｓ、ビットレート１Ｍｂｐｓでエンコードする」等のエンコード条件である。ＣＰＵ３１は、生成した映像データをサーバ１にストリーミング形式で送信する。

上記の音声用エンコーダと映像用エンコーダは、ＣＰＵ３１が、会議参加プログラムの実行において適宜呼び出して処理を行わせるプログラムモジュールの一つである。音声用エンコーダと映像用エンコーダは、会議参加プログラムに含めて予めインストールされている。ＰＣの基本ソフトはマルチタスク型のＯＳである。基本ソフトは、会議参加プログラム、エンコーダ、デコーダ等を、並列処理によって実行することができる。なお、基本ソフトがマルチタスク型のＯＳでない場合、各プログラムモジュールは、ハードウェアからのイベント割込み等を契機に起動してもよい。

サーバ１は、送信側の端末３からストリーミング受信した映像データと音声データを、受信側の端末３の夫々に再送信（即ち、転送）する。受信側の端末３のＣＰＵ３１は、サーバ１からストリーミング受信する映像データを公知の映像用デコーダでデコードして表示データを生成する。受信側の端末３のＣＰＵ３１は、表示データに基づく映像をモニタ４１に表示する。同様に、受信側の端末３のＣＰＵ３１は、サーバ１からストリーミング受信する音声データを公知の音声用デコーダでデコードした再生データを生成する。受信側の端末３のＣＰＵ３１は、再生データに基づく音声をスピーカ４５から再生する。表示データに基づく映像と、再生データに基づく音声は、同期して表示及び再生される。

送信側の端末３のＣＰＵ３１は、受信側の端末３夫々のモニタ４１に表示される送信側の端末３の映像データの表示解像度に基づいて、映像データをエンコードする。本実施形態のサーバ１のＣＰＵ１１は、送信側の端末３のＣＰＵ３１にエンコードさせる映像データの映像パラメータを設定することができる。詳細は後述するが、ＣＰＵ１１は、受信側の端末３から、夫々のモニタ４１に表示される送信側の端末３の映像データの表示解像度を取得する。ＣＰＵ１１は、受信側の端末３を表示解像度の大きさに応じたグループに分類する。ＣＰＵ１１は、グループごとに映像データの適切なエンコード解像度を決定する。ＣＰＵ１１は、送信側の端末３に、決定したエンコード解像度を含む映像パラメータを送信する。なお、説明の簡略化のため、本実施形態のＣＰＵ１１は、送信側の端末３に対し、映像パラメータのうち映像データのエンコード解像度に対する要求を行うものとする。映像パラメータのうちコーデックの種類、フレームレート、ビットレート等、その他のパラメータについては予め固定されているものとする。また、音声パラメータについても予め固定されているものとする。以下の説明では、映像データの送受信における制御について説明を行い、音声データの送受信の制御については、説明を省略する。

ＣＰＵ１１は、グループに応じて夫々異なるエンコード解像度を設定した映像パラメータを、送信側の端末３に送信する。送信側の端末３のＣＰＵ３１は、受信した映像パラメータにおいて指定されるエンコード解像度でエンコードした複数の映像データを生成する。ＣＰＵ３１は、生成した複数の映像データを、サーバ１に対してストリーミング形式で送信する。サーバ１のＣＰＵ１１は、受信側の端末３に対し、夫々が分類されたグループに応じて適切な解像度の映像データを、ストリーミングによって再送信する。なお、ストリーミング形式による映像データの送受信では、異なる解像度でエンコードされた複数の映像データが、夫々個別のストリーム（例えば、ＭＰＥＧ−４／ＡＶＣ）で送受信されてもよい。或いは、異なる解像度でエンコードされた複数の映像データが多重化され、１つのストリーム（例えば、ＭＰＥＧ−４／ＳＶＣ）で送受信されてもよい。このように、サーバ１は、送信側の端末３がエンコードする映像データのエンコード解像度を、受信側の端末３のモニタ４１における表示解像度に合わせて設定した映像パラメータを、送信側の端末３に送信する。これにより、サーバ１は、映像データの送受信に使用される帯域を小さくし、通信負荷を低減することができる。

遠隔会議システム１００においてサーバ１のＣＰＵ１１及び端末３のＣＰＵ３１が行う具体的な処理について、以下に説明する。まず、図２を参照し、端末３のＣＰＵ３１が会議参加プログラムの実行に従って行う処理について説明する。端末３のＣＰＵ３１は、入力部４２に対して入力される操作に基づき、会議参加プログラムをＨＤＤ３７から読み込んで実行する。ＣＰＵ３１は、会議参加プログラム実行時の初期設定を行う（Ｓ１）。ＣＰＵ３１は、撮影バッファ、送信バッファ及び受信バッファの記憶領域をＲＡＭ３３に夫々確保する。撮影バッファは、カメラ４４が撮影した撮影データを一時的に記憶する記憶領域である。ＣＰＵ３１は、カメラドライバにカメラ４４を起動させ、撮影バッファに撮影データの一時的な記憶を開始する。送信バッファは、端末３のＣＰＵ３１が、送信側の端末３として機能する場合に、サーバ１を介して受信側の端末３に送信する映像データを一時的に記憶する記憶領域である。受信バッファは、端末３のＣＰＵ３１が、受信側の端末３として機能する場合に、サーバ１を介して送信側の端末３から受信する映像データを一時的に記憶する記憶領域である。

ＣＰＵ３１は、ユーザが参加を希望する仮想的な会議室のＩＤの入力を、入力部４２を介して受け付ける。例えば、遠隔会議の開催予定日時以前に、遠隔会議に参加予定の端末３の各電子メールアドレスを宛先として、サーバ１から電子メールが送信される。この電子メールは、端末３による遠隔会議のためのＵＲＬ（Uniform Resource Locator）を含む。このＵＲＬは、例えば、仮想的な会議室のＩＤをクエリパラメータとして含む。このＵＲＬを選択する操作が入力部４２によって受け付けられることで、ＣＰＵ３１は、ユーザが入力した会議室ＩＤを取得する。

ＣＰＵ３１は、ネットワーク１０を介し、サーバ１との接続を試みる。ＣＰＵ３１は、サーバ１との接続が確立したら、サーバ１に対し、会議室ＩＤとユーザＩＤを含む入室リクエストを送信する。サーバ１のＨＤＤ１７には、サーバ１が開催する複数の遠隔会議の会議室ＩＤが保存されている。入室リクエストに含まれるユーザＩＤは、入室リクエストに含まれる会議室ＩＤが所定の会議室ＩＤと一致すれば所定の会議室ＩＤに関連付けられ、ＨＤＤ１７に保存される。そして、サーバ１において、所定の会議室ＩＤによって識別される既存の会議室への参加を許可する通知が入室リクエストに基づいて生成される。また、サーバ１において、入室リクエストに含まれる会議室ＩＤがＨＤＤ１７に保存されていなければ、入室リクエストに含まれるユーザＩＤと会議室ＩＤとが関連付けられ、ＨＤＤ１７に保存される。そして保存された会議室ＩＤに基づき仮想的な会議室が作成され、その会議室への参加を許可する通知が入室リクエストに基づいて生成される。ＣＰＵ３１は、入室リクエストに対するレスポンスとしてサーバ１から送信される、会議室への参加を許可する通知を受信する。ＣＰＵ３１は、遠隔会議に参加して、サーバ１が仮想的に作成した会議室にユーザを入室させる（Ｓ２）。詳細は省略するが、サーバ１は、遠隔会議に新たに端末３が参加する度に、遠隔会議に参加する全参加者のユーザＩＤを、全ての端末３に通知する。また、遠隔会議から１つの端末３が離脱する度に、遠隔会議に参加する全参加者のユーザＩＤを、全ての端末３に通知する。

ＣＰＵ３１は、端末情報を収集し、サーバ１に送信する（Ｓ３）。端末情報は、例えば、ＣＰＵ３１のスペック（コア数（スレッド数）、クロック周波数、命令セット等）である。後述するが、サーバ１のＣＰＵ１１は、送信側となる端末３にエンコードさせる解像度の異なる映像データのエンコード数を、夫々のＣＰＵ３１のスペックに応じて設定する。

ＣＰＵ３１は、モニタ４１の画面に、他の端末３から受信する映像データに基づく映像を表示しているか否か判断する（Ｓ４）。ＣＰＵ３１は、モニタ４１に映像が表示されていない場合（Ｓ４：ＮＯ）、処理をＳ６に進める。ＣＰＵ３１は、映像表示がない旨を報せる情報を、夫々の端末３のユーザＩＤに関連付けて、サーバ１に送信する（Ｓ６）。具体的には、ＣＰＵ３１は、他の端末３夫々の映像が非表示であることを報せる表示解像度情報を、サーバ１に通知する。なお、受信側の端末３は、送信側の端末３の映像データを受信せず、モニタ４１に映像が非表示であっても、サーバ１から通知される全参加者のユーザＩＤに基づき、その送信側の端末３が遠隔会議に参加しており、その送信側の端末３からの映像データを受信可能な状態であることを認識することができる。

ＣＰＵ３１は、サーバ１からエンコード解像度が設定された映像パラメータを受信したか否か判断する（Ｓ７）。ＣＰＵ３１は、サーバ１からエンコード解像度が設定された映像パラメータを受信していなければ（Ｓ７：ＮＯ）、処理をＳ９に進める。ＣＰＵ３１は、撮影バッファに記憶する撮影データをデフォルトで設定された映像パラメータの設定に従ってエンコードし、映像データを生成する。ＣＰＵ３１は、生成した映像データを送信バッファに記憶し、サーバ１に対してストリーミング方式で送信する（Ｓ９）。

ＣＰＵ３１は、サーバ１を介して他の端末３が送信した映像データを受信した場合、ＯＳに従って受信バッファに記憶する。ＣＰＵ３１は、受信バッファに映像データが記憶されているか否か判断する（Ｓ１０）。ＣＰＵ３１は、ＯＳがサーバ１から受信した映像データが受信バッファに記憶されていなければ（Ｓ１０：ＮＯ）、処理をＳ１２に進める。ＣＰＵ３１は、映像データが受信バッファに記憶されている場合（Ｓ１０：ＹＥＳ）、映像データを受信バッファから読み出す。ＣＰＵ３１は、映像データを映像用デコーダに入力し、所定の映像パラメータに従って伸張された表示データを取得する。ＣＰＵ３１は、表示データを表示制御部３４に送信し、表示データに基づく映像をモニタ４１に表示させる（Ｓ１１）。

ＣＰＵ３１は、モニタ４１に表示する映像の表示解像度が変更されたか否か判断する（Ｓ１２）。例えば、遠隔会議に新たに参加した端末３のＣＰＵ３１は、それまで映像表示のなかったモニタ４１に、他の端末３が送信した映像データに基づく映像を表示する。この場合に、モニタ４１に表示する映像の表示解像度が変更されるので（Ｓ１２：ＹＥＳ）、ＣＰＵ３１は処理をＳ４に戻す。例えば、他の端末３の１つが新たに遠隔会議に参加した場合、ＣＰＵ３１は、新たに参加した端末３が送信する映像データに基づく映像を、モニタ４１に新たに表示する。この場合もモニタ４１に表示する映像の表示解像度が変更されるので（Ｓ１２：ＹＥＳ）、ＣＰＵ３１は処理をＳ４に戻す。また、例えば、遠隔会議から他の端末３の１つが離脱した場合、ＣＰＵ３１は、離脱した端末３の映像データを受信しなくなる。この場合にもモニタ４１に表示する映像の表示解像度が変更されるので（Ｓ１２：ＹＥＳ）、ＣＰＵ３１は処理をＳ４に戻す。

なお、ＣＰＵ３１は、ユーザの操作を受け付けて、他の端末３から受信する映像データに基づきモニタ４１に表示する映像の表示解像度を、夫々、ユーザが設定した表示解像度に変更して表示することができる。ユーザの操作に基づく表示解像度の変更は、他の端末３が送信する映像データを受信しながらも、その映像データに基づく映像のモニタ４１への表示をオン（表示）からオフ（非表示）にする変更、及びオフからオンにする変更も含む。ユーザの操作によって表示解像度が変更された映像が１つでもあれば（Ｓ１２：ＹＥＳ）、ＣＰＵ３１は処理をＳ４に戻す。

モニタ４１に映像が表示されている場合（Ｓ４：ＹＥＳ）、ＣＰＵ３１は、モニタ４１に表示されている他の端末３の映像の表示解像度を夫々取得する（Ｓ５）。ＣＰＵ３１は、取得した他の端末３の表示解像度を報せる表示解像度情報を、夫々の端末３のユーザＩＤに関連付けて、サーバ１に送信する（Ｓ６）。前述したように、ＣＰＵ３１は、他の端末３の映像表示を非表示にした場合、その端末３の表示解像度情報を非表示としてサーバ１に送信する。

ＣＰＵ３１は、表示解像度の変更がなければ（Ｓ１２：ＮＯ）、遠隔会議を終了する指示の入力があるか否か判断する（Ｓ１３）。ＣＰＵ３１は、遠隔会議を終了する指示の入力がない場合（Ｓ１３：ＮＯ）、処理をＳ７に戻す。ＣＰＵ３１は、Ｓ７〜Ｓ１３の処理を繰り返して、他の端末３から受信した映像データに基づく映像をモニタ４１に表示する。

Ｓ７の処理において、サーバ１からエンコード解像度が設定された映像パラメータを受信した場合（Ｓ７：ＹＥＳ）、ＣＰＵ３１は、エンコード設定をリセットする（Ｓ８）。ＣＰＵ３１は、撮影データのエンコード条件を、サーバ１から指示された映像パラメータに変更する。ＣＰＵ３１は、変更後の映像パラメータに従って撮影データをエンコードした映像データを生成し始める。ＣＰＵ３１は、処理をＳ９に進め、上記同様、Ｓ７〜Ｓ１３の処理を繰り返して、他の端末３から受信した映像データに基づく映像をモニタ４１に表示する。

例えば、遠隔会議の管理者権限を有するユーザの操作する端末３において遠隔会議を終了する操作の入力が受け付けられた場合、サーバ１は、遠隔会議を終了する通知を全ての端末３に送信する。ＣＰＵ３１は、サーバ１から遠隔会議を終了する通知を受信した場合（Ｓ１３：ＹＥＳ）、ＣＰＵ３１は、サーバ１に対して仮想的な会議室からの退室するリクエストを送信する。また、端末３において遠隔会議を終了する操作を受け付けた場合にも、ＣＰＵ３１は、サーバ１に対して仮想的な会議室からの退室するリクエストを送信する。ＣＰＵ３１は、サーバ１との接続を切断して遠隔会議への参加を終了し、会議参加プログラムの実行を終了する。

次に、図３〜図１０を参照し、サーバ１のＣＰＵ１１が遠隔会議プログラムの実行に従って行う処理について説明する。サーバ１のＣＰＵ１１は、入力部２２に対して入力される操作に基づき、遠隔会議プログラムをＨＤＤ１７から読み込んで、図３に示すメイン処理を実行する。ＣＰＵ１１は、遠隔会議プログラム実行時の初期設定で、ＲＡＭ１３に、記憶領域５０（図７参照）と、記憶領域６０（図８参照）を確保する（Ｓ２１）。図７に示す、記憶領域５０は、遠隔会議に参加する端末３の端末情報及び表示解像度情報を記憶する領域である。記憶領域５０には、ユーザＩＤ記憶エリア５１、端末情報記憶エリア５２及び解像度情報記憶エリア５３が設けられる。図８に示す、記憶領域６０は、エンコード解像度の設定に用いるグループを決定するための演算に用いられる領域である。記憶領域６０は、後述する解像度グループ決定処理（図５参照）で使用される。記憶領域６０には、ユーザＩＤ記憶エリア６１、縦解像度記憶エリア６２、差分値記憶エリア６３、分割位置記憶エリア６４、グループ記憶エリア６５、表示解像度記憶エリア６６及びエンコード解像度記憶エリア６７が設けられる。記憶領域６０は、遠隔会議に参加する端末３の夫々に対応して設けられる。

図３に示すように、ＣＰＵ１１は、遠隔会議の開始を待機する（Ｓ２２：ＮＯ）。図示しないが、ＣＰＵ１１は、端末３から入室リクエストを受信すると、端末３を遠隔会議に参加させる処理を行う図示外のプログラムを、遠隔会議プログラムとの並列処理によって実行する。上記したように、ＣＰＵ１１は、入室リクエストに含まれる会議室ＩＤと一致する会議室ＩＤがＨＤＤ１７に保存されていなければ、仮想的な会議室を作成する。ＣＰＵ１１は、入室リクエストに含まれるユーザＩＤと会議室ＩＤとを関連付けて、ＨＤＤ１７に保存する。また、ＣＰＵ１１は、入室リクエストに含まれるユーザＩＤを、ＲＡＭ１３の記憶領域５０のユーザＩＤ記憶エリア５１に記憶する。ＣＰＵ１１は、入室リクエストに対するレスポンスを端末３に送信する。ＣＰＵ１１は、仮想的な会議室を作成し、遠隔会議を開始したら（Ｓ２２：ＹＥＳ）、処理をＳ２３に進める。なお、前述したように、ＣＰＵ１１は、端末３が新たに遠隔会議に参加したり、遠隔会議から離脱したりする度に、遠隔会議に参加する全参加者のユーザＩＤを、全ての端末３に通知する。

ＣＰＵ１１は、会議室に新たに参加した端末３から端末情報を受信した場合（Ｓ２３：ＹＥＳ）、受信した端末情報を、ＲＡＭ１３の記憶領域５０のユーザＩＤ記憶エリア５１に記憶する端末３のユーザＩＤに関連付けて、端末情報記憶エリア５２に記憶する（Ｓ２４）。例えば、図７に示すように、ユーザＩＤが「００１」の端末Ａから端末情報を受信した場合、ＣＰＵ１１は、クロック周波数３．２ＧＨｚ、コア数２（スレッド数４）、命令セットＢＷＹ搭載等の端末情報を、ユーザＩＤ「００１」に関連付けて端末情報記憶エリア５２に記憶する。同様に、ＣＰＵ１１は、ユーザＩＤ「００２」〜「００８」の端末Ｂ〜Ｈから端末情報を受信した場合、夫々の端末情報をユーザＩＤ「００２」〜「００８」に関連付けて端末情報記憶エリア５２に記憶する。

図３に示すように、ＣＰＵ１１は、会議室に新たに参加した端末３から端末情報に次いで送信される表示解像度情報を受信する。ＣＰＵ１１は、ＲＡＭ１３の記憶領域５０の解像度情報記憶エリア５３に、端末３のユーザＩＤに関連付けて表示解像度情報を記憶する（Ｓ２６）。会議室に参加した直後の端末３は、デフォルトで設定された映像パラメータの設定に従ってエンコードした映像データを送信する。会議室に新たに参加した端末３の映像が、会議室に既に参加する端末３のモニタ４１に表示される。会議室に既に参加する端末３は、モニタ４１に表示された映像の表示解像度を示す表示解像度情報を、サーバ１に送信する。例えば、図７に示すように、ユーザＩＤが「００１」の端末Ａから表示解像度情報を受信した場合、ＣＰＵ１１は、端末Ａのモニタ４１に表示される端末Ｂ〜Ｈの映像の表示解像度を、ユーザＩＤ「００１」に関連付けて解像度情報記憶エリア５３に記憶する。なお、図７に示す例は、ＣＰＵ１１が、端末Ａから、モニタ４１に端末Ｂの映像を表示せず、端末Ｃの映像を１９２０×１０８０の表示解像度で表示し、端末Ｄ〜Ｈの映像を夫々３２０×２４０の表示解像度で表示することを示す表示解像度情報を受信した例である。なお、表示解像度は、横解像度（横のドット数）×縦解像度（縦のドット数）で表されるものとする。ＣＰＵ１１は、同様に、ユーザＩＤ「００２」〜「００８」の端末Ｂ〜Ｈから表示解像度情報を受信した場合、夫々のモニタ４１に表示される映像の表示解像度を、ユーザＩＤ「００２」〜「００８」に関連付けて解像度情報記憶エリア５３に記憶する。

なお、前述したように、端末３は、ユーザの操作によって表示解像度が変更された場合にも、変更後の表示解像度情報をサーバ１に送信する。図３に示すように、ＣＰＵ１１は、既に会議室に参加しており端末情報を送信済みの端末３から表示解像度情報を受信した場合にも（Ｓ２３：ＮＯ，Ｓ２５：ＹＥＳ）、受信した端末３のユーザＩＤに関連付けて、ＲＡＭ１３の解像度情報記憶エリア５３に表示解像度情報を記憶する（Ｓ２６）。

ＣＰＵ１１は、処理をＳ２７に進め、エンコーダ設定決定処理（図４参照）を実行する（Ｓ２７）。図４に示すように、ＣＰＵ１１は、記憶領域５０のユーザＩＤ記憶エリア５１に記憶する端末３のユーザＩＤを、１つ選択する（Ｓ４１）。選択対象のユーザＩＤは、表示解像度情報を受信した端末３のユーザＩＤを除く未選択の端末３のユーザＩＤである。ＣＰＵ１１は、選択したユーザＩＤに関連付けられた端末３の端末情報を端末情報記憶エリア５２から読み込む（Ｓ４２）。ＣＰＵ１１は、ユーザＩＤ記憶エリア５１に記憶するユーザＩＤの数を、全端末数として算出する（Ｓ４３）。ＣＰＵ１１は、全端末数から、１、即ち表示解像度情報を受信した端末３を差し引いた数を、作動上限数として算出する。ＣＰＵ１１は、作動上限数と、選択した端末３の端末情報とに基づいて、選択した端末３において作動させるエンコーダの最大数（最大作動数）を決定する（Ｓ４５）。

選択した端末３において同時に作動可能なエンコーダの数は、コア数又はスレッド数に依存する。コア数又はスレッド数が複数有る場合、ＣＰＵ１１は、選択した端末３のＣＰＵ稼働率が１００％とならないように、コア数又はスレッド数から１引いた数を最大作動数として仮に設定する。また、クロック周波数が所定の周波数より低かったり、命令セットが所定の命令を含まないものだったりする等、撮影データのエンコード処理において所定のパフォーマンスが得られにくい場合、ＣＰＵ１１は、仮に設定する最大作動数を、更に１減らす。但し、最大作動数は１以上に設定する。更に、ＣＰＵ１１は、最大作動数が作動上限数より大きければ、最大作動数を作動上限数に決定し、作動上限数以下なら、仮に設定した最大作動数に決定する。

例えば、図７に示すように、端末Ａが選択された場合、ＣＰＵ１１は、遠隔会議に参加する端末３の数が、端末Ａを除くと端末Ｂ〜Ｈの７であるので、作動上限数を７に設定する。端末ＡのＣＰＵ３１のクロック周波数３．２ＧＨｚが所定の周波数より高く、命令セットＢＷＹが所定の命令を含む場合、スレッド数が４であるので、ＣＰＵ１１は、端末Ｃの最大作動数を３に仮に設定する。ＣＰＵ１１は、仮に設定した最大作動数３が作動上限数７以下なので、最大作動数を３に決定する。

図４に示すように、ＣＰＵ１１は、解像度グループ決定処理（図５参照）を実行する（Ｓ４５）。図５に示すように、ＣＰＵ１１は、記憶領域５０の解像度情報記憶エリア５３から、選択外の端末３のモニタ４１に夫々表示される、選択した端末３の映像の表示解像度のうちの縦解像度（縦のドット数）を抽出する（Ｓ６１）。モニタ４１に表示される映像のアスペクト比は様々であるが、１６：９又は４：３が一般的である。本実施形態では、処理の簡易化のため、ＣＰＵ１１は、表示解像度の縦解像度を抽出する。ＣＰＵ１１は、選択した端末３に対応する記憶領域６０（図８参照）のユーザＩＤ記憶エリア６１と縦解像度記憶エリア６２との夫々に、選択外の端末３のユーザＩＤと、抽出した縦解像度とを関連付けて記憶する。例えば、図８に示すように、ユーザＩＤが「００１」の端末ＡがＳ４１で選択された場合、ＣＰＵ１１は、ユーザＩＤ「００２」〜「００８」と、端末Ｂ〜Ｈの夫々のモニタ４１に表示される端末Ａの映像の縦解像度とを抽出し、記憶領域６０に記憶する。なお、図８において、縦解像度記憶エリア６２における縦解像度の並びの状態は、後述するＳ７１の処理においてソート後の状態を模式的に示したものであり、Ｓ６１における抽出時には、例えばユーザＩＤ順に縦解像度が並べられた状態である。

なお、選択外の端末３のモニタ４１に、選択した端末３の映像が非表示である場合、ＣＰＵ１１は、縦解像度を抽出せず、無効として処理する。例えば、ユーザＩＤが「００２」の端末ＢがＳ４１で選択された場合、ＣＰＵ１１は、ユーザＩＤ「００３」，「００４」，「００７」，「００８」と、端末Ｃ，Ｄ，Ｇ，Ｈの夫々のモニタ４１に表示される端末Ｂの映像の縦解像度とを抽出する。ＣＰＵ１１は、端末Ｂの映像を非表示とする端末Ａ，Ｅ，ＦのユーザＩＤと縦解像度を抽出対象にしない。

図５に示すように、ＣＰＵ１１は、最大作動数が１より大きいか否か判断する（Ｓ６２）。最大作動数、即ち選択した端末３において作動可能なエンコーダの数が１である場合（Ｓ６２：ＮＯ）、ＣＰＵ１１は、選択外の端末３を１つのグループに設定し（Ｓ６４）、処理をＳ６６に進める。最大作動数が１より大きい場合（Ｓ６２：ＹＥＳ）、ＣＰＵ１１は、記憶領域６０の縦解像度記憶エリア６２から、最大の縦解像度と最小の縦解像度とを抽出する。ＣＰＵ１１は、最大の縦解像度と最小の縦解像度との差分値を求め、所定の第一差分値と比較する（Ｓ６３）。第一差分値は、２つの受信側の端末３において同じ解像度の映像データを異なる表示解像度で表示しても、表示される映像の品質に対する影響が小さい値に、予め設定される。本実施形態では、第一差分値に、例えば２４０が設定されている。差分値が第一差分値未満の場合（Ｓ６３：ＮＯ）、ＣＰＵ１１は、選択外の端末３を１つのグループに設定し（Ｓ６４）、処理をＳ６６に進める。差分値が第一差分値以上の場合（Ｓ６３：ＹＥＳ）、ＣＰＵ１１は、グループ振り分け処理（図６参照）を実行する（Ｓ６５）。

図６に示すように、ＣＰＵ１１は、選択した端末３に対応する記憶領域６０において、縦解像度記憶エリア６２に記憶された縦解像度を大きさ順に並べ替え、ユーザＩＤ記憶エリア６１のユーザＩＤと関連付けて記憶する（Ｓ７１）。図８の例では、選択された端末Ａの映像が端末Ｂ〜Ｈの夫々において表示される縦解像度が、大きい順に、１０８０（端末Ｄ）、７２０（端末Ｆ）、７２０（端末Ｇ）、４８０（端末Ｂ）、４８０（端末Ｃ）、１６０（端末Ｅ）、１４４（端末Ｈ）の順に並べ替えられる。ＣＰＵ１１は、縦解像度記憶エリア６２において、並べ替えによって並びの順番が隣り合う縦解像度同士の差分を夫々算出する（Ｓ７２）。算出結果は、記憶領域６０の差分値記憶エリア６３に記憶される。図８の例では、端末Ｄの縦解像度１０８０と、端末Ｆの縦解像度７２０との差分３６０が、差分値記憶エリア６３に記憶される。同様に、縦解像度記憶エリア６２における並びの順に隣り合う他の縦解像度同士の差分も夫々算出され、差分値記憶エリア６３に記憶される。

ＣＰＵ１１は、差分値記憶エリア６３に記憶する差分値のうち、最も大きい差分値を抽出する（Ｓ７３）。図８の例では、端末Ｄの縦解像度１０８０と端末Ｆの縦解像度７２０との差分値である３６０が、他の差分値よりも大きいので、抽出される。ＣＰＵ１１は、抽出した差分値を、差分値記憶エリア６３から削除する（Ｓ７４）。ＣＰＵ１１は、抽出した差分値を、所定の第二差分値と比較する（Ｓ７５）。第二差分値は、第一差分値と同様に、２つの受信側の端末３において同じ解像度の映像データを異なる表示解像度で表示しても、表示される映像の品質に対する影響が小さいとして、予め設定された値である。本実施形態では、第二差分値にも、例えば２４０が設定されている。なお、第一差分値と第二差分値は、異なる値が設定されてもよい。

抽出した差分値が第二差分値以上の場合（Ｓ７５：ＹＥＳ）、ＣＰＵ１１は、抽出した差分値の算出対象となった縦解像度の間の位置をグループの分割位置の候補に設定し、記憶領域６０の分割位置記憶エリア６４に記憶する（Ｓ７６）。ＣＰＵ１１は、第二差分値との比較がまだ行われていない差分値があり、差分値記憶エリア６３に差分値が記憶されていれば（Ｓ７７：ＮＯ）、処理をＳ７３に進める。ＣＰＵ１１は、Ｓ７３〜Ｓ７７の処理を繰り返し、上記同様、第二差分値以上の差分値の算出対象となった縦解像度の間の位置を、グループの分割位置の候補に設定する。ＣＰＵ１１は、分割位置記憶エリア６４に、候補を設定した順を記憶する。例えば、図９に示すように、端末Ｄと端末Ｆの間の位置、端末Ｃと端末Ｅの間の位置、及び端末Ｇと端末Ｂの間の位置が、順に、グループ分割位置に設定され、分割位置記憶エリア６４に設定順が記憶される。

図６に示すように、抽出した差分値が第二差分値未満の場合（Ｓ７５：ＮＯ）、ＣＰＵ１１は、処理をＳ７８に進める。ＣＰＵ１１は、グループ数が最大作動数、即ち選択した端末３において作動可能なエンコーダの数と同数になるように、最大作動数から１少ない数分のグループ分割位置を、設定した順に分割位置記憶エリア６４から抽出する（Ｓ７８）。図９の例では、選択された端末Ａの最大作動数が３であるので、１番目に設定された端末Ｄと端末Ｆの間の位置と、２番目に設定された端末Ｃと端末Ｅの間の位置が、夫々、グループ分割位置として抽出される。端末Ｇと端末Ｂの間に設定されたグループの分割位置は、破棄される。

ＣＰＵ１１は、抽出したグループ分割位置において各端末３を分類したグループを設定し、記憶領域６０のグループ記憶エリア６５に、各端末３が分類されたグループの識別子（例えばグループ番号）を記憶する（Ｓ７９）。図１０に示す例では、グループ１に端末Ｄが分類され、グループ２に端末Ｆ，Ｇ，Ｂ，Ｃが分類され、グループ３に端末Ｅ，Ｈが分類される。ＣＰＵ１１は、処理を解像度グループ決定処理（図５参照）のＳ６６に進める。

図５に示すように、ＣＰＵ１１は、記憶領域５０の解像度情報記憶エリア５３から、選択外の端末３で表示される選択した端末３の映像の表示解像度を夫々読み込んで、記憶領域６０の表示解像度記憶エリア６６に記憶する（Ｓ６６）。ＣＰＵ１１は、処理をエンコーダ設定決定処理（図４参照）のＳ４６に進める。

図４に示すように、ＣＰＵ１１は、グループ記憶エリア６５に記憶するグループの識別子を、１つ選択する（Ｓ４６）。ＣＰＵ１１は、表示解像度記憶エリア６６に記憶された表示解像度のうち、選択したグループに対応する表示解像度を抽出する。ＣＰＵ１１は、抽出した表示解像度のうち、縦解像度が最も大きな表示解像度を抽出する。ＣＰＵ１１は、抽出された縦解像度が最も大きな表示解像度の中から、横解像度が最も大きな表示解像度をさらに抽出する。ＣＰＵ１１は、抽出した表示解像度を、そのグループに属する端末３に対応するエンコード解像度として決定する。ＣＰＵ１１は、抽出した表示解像度を、記憶領域６０のエンコード解像度記憶エリア６７に記憶する（Ｓ４７）。ＣＰＵ１１は、エンコード解像度がまだ決定されていないグループがあれば（Ｓ４８：ＮＯ）、処理をＳ４６に戻す。ＣＰＵ１１は、Ｓ４６〜Ｓ４８の処理を繰り返し、上記同様、各グループのエンコード解像度を決定する。

例えば図１０に示すように、端末Ｄが属するグループ１では、端末Ｄの表示解像度１９２０×１０８０が、グループ１のエンコード解像度に決定される。端末Ｆ，Ｇ，Ｂ，Ｃが属するグループ２では、端末Ｆの表示解像度１２８０×７２０が最も大きいので、グループ２のエンコード解像度に決定される。端末Ｅ，Ｈが属するグループ３では、端末Ｅの表示解像度２８４×１６０が端末Ｈより大きいので、グループ３のエンコード解像度に決定される。

図４に示すように、ＣＰＵ１１は、全てのグループに対してエンコード解像度を決定したら（Ｓ４８：ＹＥＳ）、処理をＳ４９に進める。ＣＰＵ１１は、未選択の端末３があれば（Ｓ４９：ＮＯ）、処理をＳ４１に戻し、Ｓ４１〜Ｓ４９を繰り返す。Ｓ２５の処理で表示解像度情報を受信した端末３を除く端末３の全てに対し、上記同様のグループの分類とエンコード解像度の決定を行ったら（Ｓ４９：ＹＥＳ）、ＣＰＵ１１は、処理を遠隔会議プログラムのメイン処理（図３参照）のＳ２８に進める。

ＣＰＵ１１は、記憶領域６０に記憶する夫々の端末３に対し、エンコード解像度記憶エリア６７に記憶するグループごとのエンコード解像度を設定した映像パラメータを送信する（Ｓ２８）。例えば、図１０に示すように、端末Ａに対しては、「１９２０×１０８０」と「１２８０×７２０」と「２８４×１６０」の３つのエンコード解像度で撮影データをエンコードする指示がサーバ１から送信される。前述したように、端末ＡのＣＰＵ３１は、エンコード設定をリセットし、撮影データのエンコード条件を変更して、上記３つのエンコード解像度でエンコードした映像データの生成を開始する。

図３に示すように、ＣＰＵ１１は、処理をＳ２９に進め、各端末３がＳ９の処理（図２参照）でストリーミング送信する映像データを、いずれの端末３からも受信していなければ（Ｓ２９：ＮＯ）、処理をＳ３１に進める。ＣＰＵ１１は、いずれかの端末３から映像データを受信した場合（Ｓ２９：ＹＥＳ）、受信した端末３に対応する記憶領域６０に記憶されたユーザＩＤと、そのユーザＩＤに対応するエンコード解像度とに基づいて、受信した映像データを各端末３にストリーミング形式で再送信する（Ｓ３０）。即ち、ＣＰＵ１１は、ユーザＩＤで識別される各端末３に、夫々のユーザＩＤに対応付けられたエンコード解像度と同じ解像度の映像データを、受信した映像データの中から選択して再送信する。

例えば、図１０に示すように、端末ＡのＣＰＵ３１は、解像度が「１９２０×１０８０」、「１２８０×７２０」及び「２８４×１６０」の３つの映像データをサーバ１に対してストリーミング送信する。サーバ１のＣＰＵ１１は、受信した映像データのうち、解像度が「１９２０×１０８０」の映像データを、端末Ｄに再送信する。また、ＣＰＵ１１は、端末Ｆ，Ｇ，Ｂ，Ｃに対して「１２８０×７２０」の映像データを夫々再送信し、端末Ｅ，Ｈに対しては、「２８４×１６０」の映像データを夫々再送信する。

なお、前述したように、受信側の端末３において送信側の端末３の映像を非表示とした場合、サーバ１のＣＰＵ１１は、送信側の端末３の映像パラメータの設定において、受信側の端末３における表示解像度を無効として処理する。この場合、ＣＰＵ１１は、受信側の端末３に、送信側の端末３の映像データを再送信しない。受信側の端末３は、送信側の端末３の映像データを受信せず、映像が非表示である場合、送信側の端末３が遠隔会議に未参加であって映像データを受信しない状態なのではなく、受信側の端末３において送信側の端末３の映像を非表示に設定したため映像データを受信しない状態であることを、参加者情報に基づいて判断することができる。従って、受信側の端末３は、送信側の端末３の映像データを受信していなくても、その送信側の端末３の映像を、非表示から表示に変更することができる。受信側の端末３において映像が非表示から表示に変更された場合、モニタ４１には、映像を表示する枠だけが変更後の表示解像度に合わせた大きさに表示される。このとき、枠内に映像は表示されない。しかし、サーバ１のＣＰＵ１１は、受信側の端末３における表示解像度の変更に基づいて送信側の端末３に映像パラメータの変更を要求する。よって、受信側の端末３は、サーバ１が再送信する送信側の端末３の映像データを受信し、枠内に送信側の端末３の映像を表示することができる。

ＣＰＵ１１は、処理をＳ３１に進め、遠隔会議が終了したか否か判断する（Ｓ３１）。前述したように、ＣＰＵ１１は、遠隔会議プログラムとの並列処理によって、端末３を遠隔会議に参加・退室させる処理等を含む図示外のプログラムを実行する。ＣＰＵ１１は、そのプログラムの実行において、管理者権限を有するユーザの端末３において遠隔会議を終了する操作を受け付けた場合、または、全ての端末３から仮想的な会議室からの退室するリクエストを受信した場合に、遠隔会議を終了する。遠隔会議を終了しない場合（Ｓ３１：ＮＯ）、ＣＰＵ１１は処理をＳ２３に戻してＳ２３〜Ｓ３１を繰り返し、受信側の端末３における表示解像度の変更に応じて送信側の端末３の映像データの解像度を変更させる処理を継続する。遠隔会議を終了する場合（Ｓ３１：ＹＥＳ）、ＣＰＵ１１は処理をＳ２１に戻し、新たに遠隔会議が開始されるのを待機する。

以上説明したように、異なる解像度で符号化された２つの映像データがストリーミング送信される場合、送信に使用される帯域は、１つの映像データのみがストリーミング送信される場合と比べて大きい。最大の表示解像度と最小の表示解像度との差が第一差分値未満の場合（Ｓ６３：ＮＯ）、グループが１つに設定されるので、送信側の端末３が送信する映像データは、１つの映像データである。従って、サーバ１は、映像データの送受信に使用される帯域を小さくし、通信負荷を低減することができる。

受信側の端末３には、同じグループに属する受信側の端末３の表示解像度に基づき決定された解像度でエンコードされた映像データが送信される。即ち、複数の受信側の端末３が表示解像度の差分に基づいてグループ分けされることによって、送信側の端末３は、複数の受信側の端末３夫々の表示解像度に合わせて複数の異なる解像度の映像データを生成せずに済む。言い換えると、送信側の端末３は、１つのグループにつき１つの解像度の映像データを生成すればよいので、映像データの生成数を抑制できる。

また、従来、例えば、所定の表示解像度を基準に、予め決められた高解像度の映像データと低解像度の映像データが生成される場合がある。この場合において、１つのグループが所定の表示解像度に近い表示解像度の受信側の端末３を含む場合、所定の表示解像度よりも僅かに大きい受信側の端末３が１つでも含まれるだけで、そのグループの受信側の端末３には、高解像度の映像データが送信される。これに対し、本実施形態では、グループに属する受信側の端末３の表示解像度に基づいて映像データの解像度が設定される。このため、そのグループに属する受信側の端末３に対しては、所定の表示解像度と同じ又はそれに近い解像度の映像データが生成され、送信される。従って、サーバ１は、例えば高解像度の映像データが送信される場合と比べ、映像データの送受信に使用される帯域を小さくでき、通信負荷を低減できる。

１つのグループに属する全ての受信側の端末３には、そのグループに属する受信側の端末３の最大の表示解像度と同じ解像度でエンコードされた映像データが送信される。よって、そのグループの受信側の端末３は、表示解像度に合わせて映像データを等倍又縮小してモニタに表示すればよい。従って、サーバ１は、受信側の端末３における映像データ表示の処理負荷を、映像データを拡大表示する場合と比べて低減できる。

表示解像度の差分が第二差分値以上の２つの受信側の端末３は、異なるグループに分類される。従って、サーバ１は、受信側の端末３に、夫々の表示解像度に適した解像度で生成された映像データを配信することができる。

送信側の端末３は、異なる解像度の映像データをデータ処理の性能に応じて適した負荷で生成することができる。従って、サーバ１は、送信側の端末３において、映像データの生成における処理負荷が高くなることを抑制できる。

送信側の端末３は、会議に参加する受信側の端末３の数（作動上限数）以上のエンコーダを起動せずに済む。従って、サーバ１は、送信側の端末３において、映像データの生成における処理負荷が高くなることを抑制することができる。

送信側の端末３は、サーバ１が表示解像度情報又は端末情報を取得したときにのみ、設定情報を受信し、映像データの生成数、解像度等を変更する。従って、サーバ１は、送信側の端末３において、映像データの生成数、解像度等の変更に伴うエンコーダのリセット処理が行われる頻度を低減することができる。

なお本発明は上記実施形態に限定されず、種々の変更が可能である。例えば、端末３は、ラップトップ型、タワー型のＰＣに限らず、ノート型のＰＣであってもよいし、スマートフォン、タブレット型端末等であってもよい。即ち端末３は、遠隔会議プログラムを実行でき、且つネットワーク１０に接続でき、カメラ４４による撮影と、モニタ４１への映像の表示ができる端末装置であればよい。また、端末３は、マイク４３、スピーカ４５、カメラ４４、モニタ４１のうちの少なくとも一つを内蔵してもよい。

ＣＰＵ１１は、Ｓ２６で表示解像度情報を受信し、解像度情報記憶エリア５３に保存する際に、表示解像度に変更のあった端末３のみを抽出し、抽出した端末３を、Ｓ４１における選択対象の端末３としてもよい。記憶領域５０及び記憶領域６０は、ＨＤＤ１７に設けてもよい。

ＣＰＵ１１は、選択外の端末３のモニタ４１に、選択した端末３の映像が非表示である場合、選択した端末３の表示解像度が０×０であるものとして各処理を行ってもよい。この場合、ＣＰＵ１１は、Ｓ６１で、選択外の端末３のモニタ４１に、選択した端末３の映像が非表示である場合、縦解像度を０として抽出すればよい。

受信側の端末３において送信側の端末３の映像を非表示とした場合、本実施形態のサーバ１のＣＰＵ１１は、受信側の端末３に送信側の端末３の映像データを再送信しないとしたが、これに限らず、解像度が最も小さいグループに対応する映像データを再送信してもよい。即ち、受信側の端末３は、モニタ４１に表示可能な送信側の端末３の映像データを受信しながらも、非表示の状態とすることができる。故に、受信側の端末３は、送信側の端末３の映像が非表示から表示に変更された場合、直ちに、モニタ４１に送信側の端末３の映像を表示することができる。

受信側の端末３のモニタ４１に表示される送信側の端末３の映像は、任意のアスペクト比で表示されてもよい。例えば、縦解像度が横解像度より大きい、いわゆる縦長画面の映像データの場合、表示解像度の大きさの比較において、画面を９０度回転させ、縦解像度と横解像度とを入れ替えた状態で比較すればよい。また、本実施形態では、表示解像度の大きさの比較を縦解像度で行ったが、横解像度で比較してもよい。あるいは、解像度の代わりに、対辺の長さ、画素数等で、大きさの比較を行ってもよい。

ＣＰＵ１１は、Ｓ７１において、縦解像度の並び替えを小さい順に行ってもよい。ＣＰＵ１１は、Ｓ２４において、端末情報として、ＣＰＵ３１のコア数（スレッド数）、クロック周波数、命令セット等を取得したが、必ずしも全ての情報を取得しなくてもよく、例えばスレッド数だけを取得してもよい。

本発明においては、端末３が、「端末装置」に相当し、サーバ１が、「制御装置」に相当する。送信側の端末３が、「第一端末」に相当し、受信側の端末３が、「第二端末」に相当する。Ｓ２５の処理が、「第一取得ステップ」に相当する。Ｓ６３の処理が、「第一判断ステップ」に相当する。エンコーダ設定決定処理（図４参照）が、「設定ステップ」に相当する。映像パラメータが、「設定情報」に相当する。Ｓ２８の処理が、「送信ステップ」に相当する。ＲＡＭ１３が、「所定の記憶部」に相当する。Ｓ６１の処理が、「記憶ステップ」に相当する。グループ振り分け処理（図６参照）が、「分類ステップ」に相当する。Ｓ４７の処理が、「第一決定ステップ」に相当する。Ｓ７２の処理が、「演算ステップ」に相当する。Ｓ７５の処理が、「第二判断ステップ」に相当する。Ｓ２３の処理が、「第二取得ステップ」に相当する。Ｓ４４の処理が、「第二決定ステップ」に相当する。Ｓ４３の処理が、「第三取得ステップ」に相当する。

１ サーバ
３ 端末
１０ ネットワーク
１１ ＣＰＵ
１３ ＲＡＭ
４１ モニタ
４４ カメラ
５０，６０ 記憶領域

Claims (9)

1. ネットワークを介して複数の端末装置と接続する制御装置のコンピュータが実行可能な遠隔会議プログラムであって、
   前記制御装置のコンピュータに、
   前記複数の端末装置のうちの１つである第一端末に接続されたカメラで撮影された撮影データに基づき前記第一端末で符号化され、ストリーミング形式で送信される映像データを、前記第一端末とは異なる複数の第二端末が前記制御装置を介して受信し、前記第二端末に接続されたモニタの夫々に前記映像データを復号して表示する映像の表示解像度を示す表示解像度情報を、前記複数の第二端末の夫々から取得する第一取得ステップと、
   前記第一取得ステップにおいて取得した前記表示解像度情報に示される前記表示解像度のうちの最大の表示解像度と最小の表示解像度との差が、所定の第一差分値以上か否か判断する第一判断ステップと、
   前記第一判断ステップにおいて前記最大の表示解像度と前記最小の表示解像度との差が前記第一差分値未満と判断した場合、前記第一端末に、前記撮影データに基づき前記最大の表示解像度以下、且つ前記最小の表示解像度以上の解像度で符号化された１つの前記映像データをストリーミング形式で送信させ、前記第一差分値以上と判断した場合には、前記第一端末に、解像度が異なる２以上の前記映像データであって、前記撮影データに基づき夫々前記最大の表示解像度以下、且つ前記最小の表示解像度以上の解像度で符号化された前記２以上の映像データをストリーミング形式で送信させる設定情報を設定する設定ステップと、
   前記設定ステップにおいて設定した前記設定情報を、前記第一端末に送信する送信ステップと
   を実行させることを特徴とする遠隔会議プログラム。
2. 前記設定ステップは、
   前記第一取得ステップにおいて前記複数の第二端末の夫々から取得した前記表示解像度情報を、前記第二端末の夫々と対応付けて、所定の記憶部に記憶する記憶ステップと、
   前記記憶ステップにおいて記憶した前記表示解像度情報に示される前記表示解像度に基づいて、前記複数の第二端末を１以上のグループに分類する分類ステップと、
   前記分類ステップにおいて分類した前記グループごとに、前記グループに属する前記第一端末に送信する前記映像データの解像度を、そのグループに属する前記複数の第二端末の前記表示解像度に基づいて決定する第一決定ステップと
   を含み、
   前記設定情報は、前記第一決定ステップにおいて決定した前記映像データの解像度を、前記撮影データに基づき前記第一端末に生成させる前記映像データの解像度として設定する情報を含むことを特徴とする請求項１に記載の遠隔会議プログラム。
3. 前記第一決定ステップでは、前記グループに属する前記第二端末に送信する前記映像データの解像度を、そのグループに属する前記第二端末の前記表示解像度のうち、最大の解像度に決定することを特徴とする請求項２に記載の遠隔会議プログラム。
4. 前記分類ステップは、
   前記複数の第二端末の夫々の前記表示解像度の大きさ順に、２つの第二端末の前記表示解像度の差分を演算する演算ステップと、
   前記演算ステップにおいて演算した前記差分が、所定の第二差分値以上か否か判断する第二判断ステップと
   を含み、
   前記分類ステップでは、前記第二判断ステップにおいて前記差分が前記第二差分値以上と判断した場合、前記２つの第二端末を異なる前記グループに分類することを特徴とする請求項２又は３に記載の遠隔会議プログラム。
5. 前記制御装置のコンピュータに、
   前記第一端末のデータ処理の性能を示す端末情報を取得する第二取得ステップと、
   前記第二取得ステップにおいて取得した前記端末情報に基づいて、前記第一端末が前記映像データを異なる解像度で生成するため同時に実行するエンコーダの数を決定する第二決定ステップと
   を更に実行させ、
   前記分類ステップでは、前記複数の第二端末を分類する前記グループの数を、前記第二決定ステップにおいて決定した前記エンコーダの数を上限に決定することを特徴とする請求項２から４のいずれかに記載の遠隔会議プログラム。
6. 前記制御装置のコンピュータに、ネットワークを介して前記制御装置に接続する前記複数の第二端末の接続数を取得する第三取得ステップを更に実行させ、
   前記第二決定ステップでは、前記第三取得ステップにおいて取得した前記接続数を上限に、前記エンコーダの数を決定することを特徴とする請求項５に記載の遠隔会議プログラム。
7. 前記設定ステップでは、前記第一取得ステップにおいて前記表示解像度情報を取得した場合、又は、前記第二取得ステップにおいて前記端末情報を取得した場合に、前記設定情報を設定することを特徴とする請求項５又は６に記載の遠隔会議プログラム。
8. ネットワークを介して複数の端末装置と接続する制御装置であって、
   前記複数の端末装置のうちの１つである第一端末に接続されたカメラで撮影された撮影データに基づき前記第一端末で符号化され、ストリーミング形式で送信される映像データを、前記第一端末とは異なる複数の第二端末が前記制御装置を介して受信し、前記第二端末に接続されたモニタの夫々に前記映像データを復号して表示する映像の表示解像度を示す表示解像度情報を、前記複数の第二端末の夫々から取得する第一取得手段と、
   前記第一取得手段が取得した前記表示解像度情報に示される前記表示解像度のうちの最大の表示解像度と最小の表示解像度との差が、所定の第一差分値以上か否か判断する第一判断手段と、
   前記第一判断手段が、前記最大の表示解像度と前記最小の表示解像度との差が前記第一差分値未満と判断した場合、前記第一端末に、前記撮影データに基づき前記最大の表示解像度以下、且つ前記最小の表示解像度以上の解像度で符号化された１つの前記映像データをストリーミング形式で送信させ、前記第一差分値以上と判断した場合には、前記第一端末に、解像度が異なる２以上の前記映像データであって、前記撮影データに基づき夫々前記最大の表示解像度以下、且つ前記最小の表示解像度以上の解像度で符号化された前記２以上の映像データをストリーミング形式で送信させる設定情報を設定する設定手段と、
   前記設定手段が設定した前記設定情報を、前記第一端末に送信する送信手段と
   を備えたことを特徴とする制御装置。
9. ネットワークを介して複数の端末装置と接続する制御装置のコンピュータがプログラムに従って実行可能な遠隔会議方法であって、
   前記複数の端末装置のうちの１つである第一端末に接続されたカメラで撮影された撮影データに基づき前記第一端末で符号化され、ストリーミング形式で送信される映像データを、前記第一端末とは異なる複数の第二端末が前記制御装置を介して受信し、前記第二端末に接続されたモニタの夫々に前記映像データを復号して表示する映像の表示解像度を示す表示解像度情報を、前記複数の第二端末の夫々から取得する第一取得ステップと、
   前記第一取得ステップにおいて取得した前記表示解像度情報に示される前記表示解像度のうちの最大の表示解像度と最小の表示解像度との差が、所定の第一差分値以上か否か判断する第一判断ステップと、
   前記第一判断ステップにおいて前記最大の表示解像度と前記最小の表示解像度との差が前記第一差分値未満と判断した場合、前記第一端末に、前記撮影データに基づき前記最大の表示解像度以下、且つ前記最小の表示解像度以上の解像度で符号化された１つの前記映像データをストリーミング形式で送信させ、前記第一差分値以上と判断した場合には、前記第一端末に、解像度が異なる２以上の前記映像データであって、前記撮影データに基づき夫々前記最大の表示解像度以下、且つ前記最小の表示解像度以上の解像度で符号化された前記２以上の映像データをストリーミング形式で送信させる設定情報を設定する設定ステップと、
   前記設定ステップにおいて設定した前記設定情報を、前記第一端末に送信する送信ステップと
   を含むことを特徴とする遠隔会議方法。

Images