JP2017118281A - プログラム及び遠隔会議方法 - Google Patents

Abstract

【課題】端末装置のユーザが聞き逃した他のユーザの発言内容を、遠隔会議の進行中に端末装置のユーザに認識させることが可能な、遠隔会議用のプログラムと遠隔会議方法を提供する。【解決手段】第一端末装置では、第一取得処理と第一送信処理と第二取得処理と第一ミキシング処理と再生処理が実行される。第一取得処理は、第二端末装置で集音された第一タイミングの第一音に少なくとも対応する第一音データを取得する処理である。第一送信処理は、第二端末装置で集音された第一タイミングより前の第二タイミングの第二音に対応する第二音データの送信を要求する第一リプレイ要求を送信させる処理である。第二取得処理は、第二音データを取得する処理である。第一ミキシング処理は、第一音データと第二音データを合成した第一合成データを生成する処理である。再生処理は、第一合成データを再生し、第一合成音を出力させる処理である。【選択図】図３

Description

本発明は、第一端末装置と第二端末装置によるネットワークを介した遠隔会議において第一端末装置を制御するコンピュータに所定の処理を実行させるプログラムと、サーバ装置を制御するコンピュータに所定の処理を実行させるプログラムと、遠隔会議方法に関する。

ネットワークを介した遠隔会議に関する技術が提案されている。例えば、特許文献１には、通信会議システムに関する技術が開示されている。通信会議システムでは、次のような機能が実現される。即ち、音声の発言内容が文字データに変換され、話者が識別される。モニタ画面上に、文字データが表示される。文字データは、所望の時間遅延されてモニタ画面に表示される。

特開２００８−１６０６６７号公報

複数の端末装置による遠隔会議の開催中に、他の端末装置のユーザの発言を聞き逃すことがある。特許文献１に開示の技術では、ユーザの発言を文字データに変換し、これに基づき文字を表示することで、聞き逃した発言の内容を認識することができる。但し、そのためには、文字を読む必要がある。遠隔会議では、例えば、各端末装置で撮影された映像データに対応する撮影画像及び／又は各端末装置で共有される資料画像の確認が必要になることがある。このような場合、撮影画像及び／又は資料画像を確認しつつ、更に、文字を読み、聞き逃した内容を認識することは、困難な作業であると思われる。発言を文字データとするためには、音声認識の処理が必要である。従って、映像データを用いる遠隔会議では、端末装置での処理負荷が高くなることもある。

本発明は、端末装置のユーザが聞き逃した他のユーザの発言内容を、遠隔会議の進行中に端末装置のユーザに認識させることが可能な、遠隔会議用のプログラムと遠隔会議方法を提供することを目的とする。

本発明の一側面は、ネットワークに接続された第一端末装置を制御するコンピュータに、前記第一端末装置と、前記ネットワークに接続された第二端末装置と、による前記ネットワークを介した遠隔会議を実行するサーバ装置から送信される、前記第二端末装置で集音された第一タイミングの第一音に少なくとも対応する第一音データを取得する第一取得処理と、前記第二端末装置で集音された前記第一タイミングより前の第二タイミングの第二音に対応する第二音データの送信を要求する第一リプレイ要求を、前記サーバ装置へと送信させる第一送信処理と、前記サーバ装置から送信される前記第二音データを取得する第二取得処理と、前記第一音データと前記第二音データとを合成した第一合成データを生成する第一ミキシング処理と、前記第一合成データを再生し、再生された第一合成音を出力させる再生処理と、を実行させるプログラムである。

このプログラムによれば、第二端末装置で集音された第一タイミングの第一音と第二タイミングの第二音を含む第一合成音を出力させることができる。第一端末装置のユーザに、第一音を聞き取らせつつ、第二音を聞き取らせることが可能となる。

本発明の他の側面は、ネットワークに接続されたサーバ装置を制御するコンピュータに、前記ネットワークに接続された第一端末装置と、前記ネットワークに接続された第二端末装置と、前記ネットワークに接続された第三端末装置と、による前記ネットワークを介した遠隔会議において、前記第二端末装置から送信される、前記第二端末装置で集音された第四音に対応する第四音データを取得する第四取得処理と、取得された前記第四音データを記憶部に記憶させる第一記憶処理と、前記遠隔会議において、前記第三端末装置から送信される、前記第三端末装置で集音された第五音に対応する第五音データを取得する第五取得処理と、第一タイミングの前記第四音に対応する前記第四音データと、前記第一タイミングの前記第五音に対応する前記第五音データと、を合成した第二合成データを生成する第二ミキシング処理と、前記第二合成データを、前記第一端末装置へと送信させる第三送信処理と、前記第一端末装置から送信される、前記第一タイミングより前の第二タイミングの前記第四音に対応する前記第四音データの送信を要求する第二リプレイ要求を取得する第六取得処理と、前記第二リプレイ要求が取得された場合、前記第二タイミングの前記第四音に対応する前記第四音データを、前記第一端末装置に送信させる第四送信処理と、を実行させるプログラムである。

このプログラムによれば、第二端末装置で集音された第一タイミングの第四音に対応する第四音データと、第三端末装置で集音された第一タイミングの第五音に対応する第五音データによる第二合成データを、第一端末装置に送信させ、第二リプレイ要求に応じて、第二タイミングの第四音に対応する第四音データを、第一端末装置に送信させることができる。第一端末装置のユーザに、第一タイミングの第四音及び第五音を聞き取らせつつ、第二タイミングの第四音を聞き取らせることが可能となる。

本発明の更に他の側面は、ネットワークに接続された、第一端末装置と第二端末装置と第三端末装置とサーバ装置と、を含む遠隔会議システムで実行される遠隔会議方法であって、前記第一端末装置と前記第二端末装置と前記第三端末装置とによる前記ネットワークを介した遠隔会議において、前記第二端末装置から送信される、前記第二端末装置で集音された第六音に対応する第六音データを取得する工程と、取得された前記第六音データを記憶する工程と、前記遠隔会議において、前記第三端末装置から送信される、前記第三端末装置で集音された第七音に対応する第七音データを取得する工程と、第一タイミングの前記第六音に対応する前記第六音データと、前記第一タイミングの前記第七音に対応する前記第七音データと、を合成した第三合成データを生成する工程と、前記第三合成データを再生し、再生された第二合成音を出力する工程と、前記第一タイミングより前の第二タイミングの前記第六音の再生を要求するリプレイ要求を取得する工程と、前記リプレイ要求が取得された場合、前記第三合成データと、前記第二タイミングの前記第六音に対応する前記第六音データと、を合成した第四合成データを生成する工程と、前記第四合成データを再生し、再生された第三合成音を出力する工程と、を含む遠隔会議方法である。

この遠隔会議方法によれば、第二端末装置で集音された第一タイミングの第六音と、第三端末装置で集音された第一タイミングの第七音と、第二端末装置で集音された第二タイミングの第六音を含む第三合成音を出力させることができる。ユーザに、第一タイミングの第六音及び第七音を聞き取らせつつ、第二タイミングの第六音を聞き取らせることが可能となる。

本発明によれば、端末装置のユーザが聞き逃した他のユーザの発言内容を、遠隔会議の進行中に端末装置のユーザに認識させることが可能な、遠隔会議用のプログラムと遠隔会議方法を得ることができる。

遠隔会議システムの一例を示す図である。 遠隔会議画面の一例を示す図である。 音処理のフローチャートである。 変換処理のフローチャートである。 ミキシング処理のフローチャートである。 中継処理のフローチャートである。

本発明を実施するための実施形態について、図面を用いて説明する。本発明は、以下に記載の構成に限定されるものではなく、同一の技術的思想において種々の構成を採用することができる。例えば、以下に示す構成の一部は、省略し又は他の構成等に置換してもよい。他の構成を含むようにしてもよい。

＜遠隔会議システム＞
遠隔会議システム１０の概略について、図１を参照して説明する。遠隔会議システム１０は、図１に示すように、サーバ装置２０と、端末装置を含む。図１では、３台の端末装置が図示されている。端末装置の台数は、実施される遠隔会議のシチュエーションに応じて変化する。実施形態では、３台の端末装置による遠隔会議を例として説明する。図１に図示された３台の端末装置のそれぞれを、端末装置４１，４２，４３という。端末装置４１，４２，４３は、同一の遠隔会議に出席しているユーザによってそれぞれ操作される。サーバ装置２０と端末装置４１，４２，４３は、ネットワーク９０に接続されている。ネットワーク９０は、例えば、インターネット又はローカルエリアネットワーク（ＬＡＮ）のようなネットワークである。遠隔会議システム１０では、端末装置４１，４２，４３による遠隔会議は、サーバ装置２０と端末装置４１，４２，４３のそれぞれとの間でセッションが確立された状態で行われる。

サーバ装置２０は、端末装置４１，４２，４３の間を送受信されるデータを中継する。端末装置４１，４２，４３の間を送受信されるデータとしては、映像データと音データが例示される。映像データは、端末装置４１，４２，４３のそれぞれで撮影された撮影画像６１（後述する図２参照）に対応するデータである。音データは、端末装置４１，４２，４３のそれぞれで集音された音に対応するデータである。サーバ装置２０は、端末装置４１，４２，４３からそれぞれ送信された映像データを受信し、受信された各映像データを、その映像データの送信元の端末装置を除く端末装置に送信する。例えば、サーバ装置２０は、端末装置４２から送信された映像データを、端末装置４２を除く端末装置４１，４３に送信する。但し、サーバ装置２０は、端末装置４１，４２，４３からそれぞれ送信された全ての映像データを、全ての端末装置４１，４２，４３に送信するようにしてもよい。

サーバ装置２０は、端末装置４１，４２，４３からそれぞれ送信された音データを受信し、受信された複数の音データを合成する。実施形態では、サーバ装置２０で、複数の音データを合成して生成された音データを、「合成データ」という。例えば、端末装置４２，４３からの音データを端末装置４１に送信する場合、サーバ装置２０は、端末装置４２，４３からの音データを合成し、前述の各音データを含む合成データを生成する。その後、サーバ装置２０は、生成された合成データを、端末装置４１に送信する。つまり、サーバ装置２０は、端末装置４１，４２，４３のうち、合成データの送信先となる端末装置からの音データを除く複数の音データを合成し、生成された合成データを、前述の送信先の端末装置に送信する。これに伴い、ユーザが自身が発した声を直接聞き取りつつ、自装置から出力される自身の声と同じ音が、重複して聞き取れるといった、事態の発生を防止することができる。サーバ装置２０から端末装置４１，４２，４３への映像データと合成データの送信は、公知の遠隔会議システムと同様、ストリーミング方式によって行われる。

この他、サーバ装置２０は、資料データを中継する。資料データは、遠隔会議で用いられる資料画像６２（後述する図２参照）に対応するデータである。遠隔会議システム１０では、公知の遠隔会議システムと同様、端末装置４１，４２，４３の間で同一の資料データに対応する資料画像６２が共有された状態で、遠隔会議を進行することができる。サーバ装置２０は、端末装置４１，４２，４３のうちの何れか１台の端末装置から送信された資料データを、他の２台の端末装置に送信する。端末装置４１，４２，４３では、資料データに対応する資料画像６２が表示される。

サーバ装置２０を介して実行される遠隔会議は、会議ＩＤによって識別される。即ち、端末装置４１，４２，４３による遠隔会議は、会議ＩＤによって、サーバ装置２０を介して実行される他の遠隔会議と識別される。会議ＩＤによって識別される遠隔会議において、端末装置４１，４２，４３は、端末ＩＤにより識別される。実施形態では、端末装置４１，４２，４３の各端末ＩＤは、次の通りとする。端末装置４１の端末ＩＤは、「ＵＳＥＲ４１」とする。端末装置４２の端末ＩＤは、「ＵＳＥＲ４２」とする。端末装置４３の端末ＩＤは、「ＵＳＥＲ４３」とする。

遠隔会議システム１０では、所定のユーザによって、事前に遠隔会議の開催が予約される。予約は、サーバ装置２０によって提供される所定のサイトに登録される。予約の際、例えば、遠隔会議の開催を、出席者に通知することができる。この通知は、例えば、電子メールを用いて行われる。即ち、電子メールの本文には、遠隔会議の開催日時と、サーバ装置２０のＵＲＬが含められる。サーバ装置２０のＵＲＬには、例えば、予約された遠隔会議を識別する会議ＩＤに関する情報が含められる。

＜サーバ装置＞
サーバ装置２０について、図１を参照して説明する。サーバ装置２０は、ＣＰＵ２１と、記憶装置２２と、ＲＡＭ２３と、通信部２４を備える。ＣＰＵ２１と記憶装置２２とＲＡＭ２３と通信部２４は、バス２５に接続される。ＣＰＵ２１は、演算処理を実行する。記憶装置２２は、コンピュータが読み取り可能な記憶媒体である。記憶装置２２としては、ハードディスク及び／又はフラッシュメモリが例示される。この他、記憶装置２２は、ＲＯＭを含むものであってもよい。記憶装置２２には、各種のプログラムが記憶される。例えば、ＯＳ（Operating System）と各種のアプリケーションが記憶装置２２に記憶される。記憶装置２２に記憶されるアプリケーションには、サーバプログラムが含まれる。サーバプログラムは、所定のサーバ装置を、遠隔会議システム１０におけるサーバ装置２０として動作させる遠隔会議用のプログラムである。サーバプログラムには、後述する中継処理（図６参照）のプログラムが含まれる。

サーバプログラムは、記憶装置２２に事前にインストールされる。事前のインストールは、例えば、半導体メモリ等のコンピュータが読み取り可能な記憶媒体に記憶されたサーバプログラムが、サーバ装置２０の読取部（不図示）によって読み取られることで行われる。サーバ装置２０が、例えば、光学ドライブ（不図示）を備えている場合、事前のインストールは、光学メディアに記憶されたサーバプログラムが、光学ドライブによって読み取られることで行われるようにしてもよい。この他、事前のインストールは、ネットワーク９０に接続されるサーバ装置２０とは別のサーバ装置のハードディスク等のコンピュータが読み取り可能な記憶媒体に記憶されたサーバプログラムが、通信部２４で伝送信号として受信されることで行われるようにしてもよい。記憶装置２２へのサーバプログラムのインストールについて、上述した何れの形態とするかは、諸事情を考慮して適宜決定される。コンピュータが読み取り可能な記憶媒体は、一時的な記憶媒体（例えば、伝送信号）を含まない、非一時的な記憶媒体であってもよい。非一時的な記憶媒体は、情報を記憶する期間に関わらず、情報を記憶可能な記憶媒体であればよい。

ＲＡＭ２３は、ＣＰＵ２１が各種のプログラムを実行する際に利用される記憶領域となる。ＲＡＭ２３には、処理の実行途中に、処理で利用される所定のデータ及び情報が所定の領域に記憶される。例えば、接続リストがＲＡＭ２３に記憶される。但し、接続リストは、記憶装置２２に記憶されるようにしてもよい。接続リストには、例えば、会議ＩＤによって識別される遠隔会議において、セッションが確立されている端末装置４１，４２，４３の端末ＩＤが登録されている。サーバ装置２０では、ＣＰＵ２１が記憶装置２２に記憶されたＯＳと中継処理のプログラムを含むサーバプログラムを実行する等して、サーバ装置２０を制御する。これにより、サーバ装置２０では、各種の処理が実行される。

通信部２４は、サーバ装置２０をネットワーク９０に接続し、ネットワーク９０を介したデータ通信を行う。サーバ装置２０では、通信部２４を介して、端末装置４１，４２，４３のそれぞれとの間で各種のデータが送受信される。通信部２４は、例えば、イーサネット（登録商標）規格に適合するインターフェース回路である。通信部２４によるネットワーク９０への接続は、有線接続とされる。但し、通信部２４によるネットワーク９０への接続は、無線接続であってもよい。

サーバ装置２０は、中継処理のプログラムを含むサーバプログラムが記憶装置２２に記憶されている点が、公知のサーバ装置と相違する。但し、サーバ装置２０は、ハードウェア的には、公知のサーバ装置と同じである。従って、サーバ装置２０は、更に、公知のサーバ装置が備える構成を備える。

＜端末装置＞
端末装置４１，４２，４３は、ネットワーク９０を介した通信機能を有する同一又は同種の端末装置である。例えば、端末装置４１，４２，４３は、パーソナルコンピュータ、スマートフォン又はタブレット端末である。実施形態では、端末装置４１，４２，４３として、パーソナルコンピュータが例示されている（図１参照）。端末装置４１，４２，４３の説明は、図１及び図２を参照しつつ、端末装置４１を例として説明する。この説明では、図２に示す遠隔会議画面６０は、端末装置４１で表示されている遠隔会議画面とする。端末装置４２，４３は、次に説明する端末装置４１が備える構成と同じ構成を備える。端末装置４２，４３では、図２に示す遠隔会議画面６０と同じ態様の遠隔会議画面が表示される。

端末装置４１は、ＣＰＵ４７と、記憶装置４８と、ＲＡＭ４９と、表示部５０と、操作部５１と、スピーカ５２と、通信部５３と、接続インターフェース５４を備える。ＣＰＵ４７と記憶装置４８とＲＡＭ４９と表示部５０と操作部５１とスピーカ５２と通信部５３と接続インターフェース５４は、バス５５に接続される。実施形態では、接続インターフェース５４を「接続Ｉ／Ｆ５４」と記載する。接続Ｉ／Ｆ５４には、カメラ５６とマイク５７が接続される。

ＣＰＵ４７は、演算処理を実行する。記憶装置４８は、コンピュータが読み取り可能な記憶媒体である。記憶装置４８としては、ハードディスク及び／又はフラッシュメモリが例示される。この他、記憶装置４８は、ＲＯＭを含むものであってもよい。記憶装置４８には、各種のプログラムが記憶される。例えば、ＯＳと各種のアプリケーションが記憶装置４８に記憶される。記憶装置４８に記憶されるアプリケーションには、クライアントプログラムが含まれる。クライアントプログラムは、所定の端末装置を、遠隔会議システム１０における端末装置４１，４２，４３として動作させる遠隔会議用のプログラムである。クライアントプログラムには、後述する音処理（図３参照）と変換処理（図４参照）とミキシング処理（図５参照）のプログラムが含まれる。

クライアントプログラムは、記憶装置４８に事前にインストールされていてもよい。事前のインストールは、例えば、半導体メモリ等のコンピュータが読み取り可能な記憶媒体に記憶されたクライアントプログラムが、端末装置４１の読取部（不図示）により読み取られることで行われる。端末装置４１が、例えば、光学ドライブ（不図示）を備えている場合、事前のインストールは、光学メディアに記憶されたプログラムが、光学ドライブにより読み取られることで行われるようにしてもよい。この他、事前のインストールは、ネットワーク９０を介して端末装置４１に接続されるサーバ装置（サーバ装置２０又は不図示のサーバ装置）のハードディスク等のコンピュータが読み取り可能な記憶媒体に記憶されたクライアントプログラムが、通信部５３で伝送信号として受信されることで行われるようにしてもよい。クライアントプログラムは、遠隔会議への接続に際し、端末装置４１がサーバ装置２０にアクセスした場合に、サーバ装置２０からネットワーク９０を介して伝送信号として端末装置４１に送信されてもよい。クライアントプログラムは、そのタイミングで、記憶装置４８にインストールされるようにしてもよい。この場合、クライアントプログラムは、ＲＡＭ４９に記憶されてもよい。記憶装置４８又はＲＡＭ４９へのクライアントプログラムのインストールについて、上述した何れの形態とするかは、諸事情を考慮して適宜決定される。コンピュータが読み取り可能な記憶媒体は、一時的な記憶媒体（例えば、伝送信号）を含まない、非一時的な記憶媒体であってもよい。非一時的な記憶媒体は、情報を記憶する期間に関わらず、情報を記憶可能な記憶媒体であればよい。

ＲＡＭ４９は、ＣＰＵ４７が各種のプログラムを実行する際に利用される記憶領域となる。ＲＡＭ４９には、処理の実行途中に、処理で利用される所定のデータ及び情報が所定の領域に記憶される。端末装置４１では、ＣＰＵ４７が記憶装置４８に記憶されたＯＳと音処理と変換処理とミキシング処理を含むクライアントプログラムを実行する等して、端末装置４１を制御する。これにより、端末装置４１では、各種の処理が実行される。

表示部５０は、例えば液晶ディスプレイである。表示部５０には、各種の情報が表示される。表示部５０には、遠隔会議画面６０が表示される。遠隔会議画面６０は、図２に示すように、撮影画像６１と、資料画像６２と、操作情報６３と、報知情報６４と、終了ボタン６５を含む。

撮影画像６１は、端末装置４１，４２，４３のうちの何れかの端末装置で撮影された映像データに対応する画像である。図２では、端末装置４２の撮影画像６１と端末装置４３の撮影画像６１が例示されている。遠隔会議画面６０では、自装置（端末装置４１）の撮影画像６１を表示することもできる。実施形態では、サーバ装置２０は、端末装置４１からの映像データを端末装置４１に送信しない。従って、端末装置４１では、自装置の撮影画像６１は、自装置で撮影された映像データから直接表示される。但し、サーバ装置２０が、端末装置４１からの映像データを端末装置４１にも送信する場合、端末装置４１では、自装置の撮影画像６１は、端末装置４２，４３の撮影画像６１と同様、サーバ装置２０から送信される映像データに従い表示される。

遠隔会議画面６０では、撮影画像６１の表示又は非表示を設定することができる。撮影画像６１の表示又は非表示は、端末装置４１，４２，４３の各撮影画像６１に対して個別に設定することができる。図２に示す遠隔会議画面６０に基づけば、端末装置４１の撮影画像６１は、非表示に設定され、端末装置４２，４３の撮影画像６１は、表示に設定されている。遠隔会議画面６０では、端末装置４２，４３の撮影画像６１に対する表示の設定に従い、２個の撮影画像６１が表示されている。

遠隔会議画面６０では、表示に設定された撮影画像６１と共にその撮影画像６１に対応する端末ＩＤが表示される。従って、図２では、端末装置４２の撮影画像６１と共に端末ＩＤ「ＵＳＥＲ４２」が表示され、端末装置４３の撮影画像６１と共に端末ＩＤ「ＵＳＥＲ４３」が表示されている。遠隔会議画面６０において、端末装置４２，４３の各ユーザをそれぞれ含む撮影画像６１及び／又は撮影画像６１と共に表示される端末ＩＤは、端末装置４２，４３に対応する相手先情報となる。即ち、端末装置４１のユーザは、撮影画像６１及び端末ＩＤの一方又は両方に基づき、遠隔会議に出席している他のユーザを認識することができる。

操作情報６３は、例えば、リプレイ要求の送信に対応する操作ボタンである。リプレイ要求は、操作情報６３と関連付けられた撮影画像６１及び端末ＩＤの端末装置からサーバ装置２０に送信された音データの送信を、サーバ装置２０に対して要求する指示である。送信要求の対象となる音データは、次に記載のタイミングより前に、端末装置４１，４２，４３のうちの何れかの端末装置で取得された音に対応する音データである。前述のタイミングは、現在、受信されている合成データの生成時に合成対象とされた、この合成データに含まれる音データに対応する音が取得されたタイミングである。操作情報６３は、撮影画像６１及び端末ＩＤに関連付けられた状態で表示される。例えば、端末ＩＤが「ＵＳＥＲ４２」である端末装置４２の撮影画像６１と共に表示されている操作情報６３は、次に記載のタイミングより前に、端末装置４２で取得された音に対応する音データの送信を、サーバ装置２０に対して要求するリプレイ要求の送信に対応する。前述のタイミングは、現在、受信されている合成データに含まれる端末装置４２からの音データに対応する音が端末装置４２で取得されたタイミングである。以下では、リプレイ要求に応じてサーバ装置２０から送信される音データを、他の音データ（合成データ及び後述する再合成データを含む）と区別する場合、「リプレイデータ」という。

報知情報６４は、リプレイ情報が取得されたことを示す情報である。端末装置４１で表示される遠隔会議画面６０を対象とした場合、リプレイ情報は、自装置で過去に取得された音に対応するリプレイデータが、サーバ装置２０から端末装置４２，４３の何れかの端末装置に送信されていることを示す情報である。端末装置４１のリプレイデータは、端末装置４２，４３の何れかの端末装置で、端末装置４１の撮影画像６１及び端末ＩＤに関連付けられた操作情報６３に対応する入力が受け付けられた場合に、サーバ装置２０から送信される。リプレイ情報は、リプレイデータの送信先（リプレイ要求の送信元）である端末装置の端末ＩＤを含む。実施形態では、報知情報６４は、「リプレイ中」とされている。報知情報６４は、撮影画像６１及び端末ＩＤに関連付けられた状態で表示される。例えば、端末装置４２で端末装置４１の撮影画像６１及び端末ＩＤに関連付けられた操作情報６３が押下され、端末装置４１のリプレイデータが、サーバ装置２０から端末装置４２に送信されているとする。この場合、端末装置４１で表示中の遠隔会議画面６０では、報知情報６４が、図２に示すように、端末ＩＤが「ＵＳＥＲ４２」である端末装置４２の撮影画像６１と共に表示される。操作情報６３が押下された端末装置の撮影画像６１が非表示である場合、リプレイ情報の取得に応じて、操作情報６３が押下された端末装置の撮影画像６１及び／又は端末ＩＤと報知情報６４が、互いに関連付けられた状態で遠隔会議画面６０の所定の領域に表示される。

終了ボタン６５は、遠隔会議の終了に対応する操作ボタンである。端末装置４１のユーザは、遠隔会議を終了する場合、終了ボタン６５を押下する。この場合、遠隔会議は終了し、サーバ装置２０との間で確立されたセッションは、切断される。

操作部５１は、端末装置４１に対する各種の指示等の入力を受け付ける。操作部５１は、キーボード及びマウスを含む。詳細は省略するが、キーボード及びマウスへの各操作に対応する入力情報を生成する処理は、公知のパーソナルコンピュータで採用されている技術であり、端末装置４１でも採用される。スピーカ５２は、音を出力する音出力部である。スピーカ５２での出力対象は、例えば、上述したサーバ装置２０から送信される合成データに対応する合成音である。通信部５３は、端末装置４１をネットワーク９０に接続し、ネットワーク９０を介したデータ通信を行う。端末装置４１では、通信部５３を介してサーバ装置２０との間で各種のデータが送受信される。通信部５３は、例えば、イーサネット（登録商標）規格に適合するインターフェース回路である。通信部５３によるネットワーク９０への接続は、無線接続又は有線接続の何れであってもよい。

接続Ｉ／Ｆ５４は、端末装置４１に所定の装置を接続するインターフェースである。接続Ｉ／Ｆ５４は、例えば、ＵＳＢ（Universal Serial Bus）ポートを含むインターフェースである。接続Ｉ／Ｆ５４は、無線通信モジュールを含むものであってもよい。無線通信モジュールとしては、Ｂｌｕｅｔｏｏｔｈ（登録商標）に対応した通信モジュールが例示される。接続Ｉ／Ｆ５４に接続されたカメラ５６は、外界像を撮影する。端末装置４１は、カメラを内蔵する構成であってもよい。接続Ｉ／Ｆ５４に接続されたマイク５７は、外界音を集音する集音部である。例えば、マイク５７は、端末装置４１のユーザが発した音声を集音する。

端末装置４１は、音処理と変換処理とミキシング処理を含むクライアントプログラムが記憶装置４８又はＲＡＭ４９に記憶されている点が、公知の端末装置と相違する。但し、端末装置４１は、ハードウェア的には、公知の端末装置と同じである。従って、端末装置４１は、更に、公知の端末装置が備える構成を備える。

＜遠隔会議システムで実行される処理＞
遠隔会議システム１０で、端末装置４１，４２，４３による遠隔会議が行われる場合、端末装置４１で実行される音処理と変換処理とミキシング処理と、サーバ装置２０で実行される中継処理について説明する。端末装置４１では、操作部５１を介して、サーバ装置２０のＵＲＬを対象とした操作が入力される。この操作が入力された場合、ＣＰＵ４７は、クライアントプログラムを起動する。このプログラムの起動に伴い、端末装置４１は、サーバ装置２０にアクセスし、サーバ装置２０との間でセッションを確立する。サーバ装置２０との間でセッションを確立する場合に端末装置４１で実行される手順は、公知の遠隔会議システムにおける手順と同様である。従って、これに関する説明は、省略する。

サーバ装置２０との間でセッションが確立されることで、端末装置４１は、会議ＩＤによって識別される遠隔会議に参加した状態となる。即ち、端末装置４１のユーザは、会議ＩＤによって識別される遠隔会議が開催されるバーチャルな会議室に入室した状態となる。端末装置４１では、サーバ装置２０との間でセッションが確立されると、カメラ５６で撮影された映像データとマイク５７で集音された音に対応する音データが、通信部５３からサーバ装置２０に送信される。映像データと音データには、送信元を示す端末ＩＤがそれぞれ含められる。例えば、端末装置４１から送信される映像データと音データには、端末ＩＤ「ＵＳＥＲ４１」が含められる。

サーバ装置２０は、端末装置４１，４２，４３との間でセッションが確立された場合、映像データを中継すると共に、所定の２台の端末装置からの音データを合成し、他の１台の端末装置に合成データを送信する。なお、端末装置４１，４２とセッションが確立され、端末装置４３とはセッションが確立されていない場合、サーバ装置２０から端末装置４１に送信される合成データは、実質的には、端末装置４２で集音された音に対応する音データであり、サーバ装置２０から端末装置４２に送信される合成データは、実質的には、端末装置４１で集音された音に対応する音データである。即ち、前述した場合、サーバ装置２０は、端末装置４２からの音データを、そのまま端末装置４１に送信し、端末装置４１からの音データを、そのまま端末装置４２に送信する。

端末装置４１では、サーバ装置２０との間でセッションが確立されると、表示部５０に遠隔会議画面６０が表示される。端末装置４１では、サーバ装置２０を経由して送信される、セッションが確立された端末装置（端末装置４２，４３の両方又は一方）からの映像データと合成データが、通信部５３で受信される。表示部５０に表示されている遠隔会議画面６０では、受信された映像データに対応する撮影画像６１が表示される。スピーカ５２では、受信された合成データに対応する合成音が出力される。遠隔会議画面６０では、撮影画像６１に対して、その撮影画像６１に対応する端末ＩＤが表示される。更に、撮影画像６１と端末ＩＤに対する操作情報６３が表示される。例えば、端末装置４１では、ＣＰＵ４７は、撮影画像６１と端末ＩＤと操作情報６３の表示指令を表示部５０に出力する。これに伴い、表示部５０には、例えば、図２に示すような遠隔会議画面６０が表示される。但し、資料データが取得されていない場合、資料画像６２は、表示されない。

遠隔会議を終了させる場合、端末装置４１では、操作部５１が操作され、終了ボタン６５が押下される。この場合、端末装置４１では、セッションを切断する手順が、サーバ装置２０との間で実行される。セッションの切断によって、端末装置４１での遠隔会議は、終了する。サーバ装置２０との間のセッションを切断する場合に端末装置４１で実行される手順は、公知の遠隔会議システムにおける手順と同様である。従って、これに関する説明は、省略する。

以下では、サーバ装置２０と端末装置４２，４３との間でも、セッションが確立されているとする。端末装置４２，４３でも、端末装置４１と同様、以下に説明する、音処理と変換処理とミキシング処理が実行される。従って、端末装置４２，４３でも、端末装置４１と同様、遠隔会議画面６０が表示され、合成データに対応する合成音と後述する再合成データに対応する再合成音が出力される。映像データを対象とする処理に関する説明は、公知の遠隔会議システムと同様であるため、省略する。

＜音処理＞
端末装置４１で実行される音処理について、図３を参照して説明する。音処理は、サーバ装置２０とのセッションが確立されたタイミングで開始される。ＣＰＵ４７は、リプレイ操作が受け付けられたかを判断する（Ｓ１１）。リプレイ操作は、操作部５１を介して遠隔会議画面６０に含まれる操作情報６３を押下する操作であり、操作部５１によって受け付けられる。ＣＰＵ４７は、リプレイ操作の受け付けに応じて操作部５１から出力される指令が取得された場合、リプレイ操作が受け付けられたと判断する。ＣＰＵ４７は、リプレイ操作と共に、押下された操作情報６３が関連付けられた端末ＩＤを取得する。リプレイ操作が受け付けられていない場合（Ｓ１１：Ｎｏ）、ＣＰＵ４７は、処理をＳ１５に移行する。

リプレイ操作が受け付けられた場合（Ｓ１１：Ｙｅｓ）、ＣＰＵ４７は、リプレイ要求と要求元端末ＩＤと要求先端末ＩＤを送信させる（Ｓ１３）。要求元端末ＩＤは、リプレイ要求の送信元の端末装置の端末ＩＤである。要求先端末ＩＤは、Ｓ１１でリプレイ操作と共に取得された端末ＩＤである。要求元端末ＩＤと要求先端末ＩＤは、例えば、リプレイ要求に含まれてもよい。リプレイ要求と要求元端末ＩＤ及び要求先端末ＩＤの送信先は、サーバ装置２０とされる。ＣＰＵ４７は、リプレイ要求と要求元端末ＩＤと要求先端末ＩＤの送信指令を通信部５３に出力する。送信指令に従い、リプレイ要求と要求元端末ＩＤと要求先端末ＩＤが、通信部５３からサーバ装置２０へと送信される。その後、ＣＰＵ４７は、処理をＳ１５に移行する。

Ｓ１５でＣＰＵ４７は、合成データを取得する。合成データは、サーバ装置２０から送信され、通信部５３で受信される。ＣＰＵ４７は、通信部５３を介して合成データを取得する。取得された合成データは、ＲＡＭ４９の領域Ａに記憶される。続けて、ＣＰＵ４７は、リプレイデータが取得されたかを判断する（Ｓ１７）。リプレイデータは、後述する図６のＳ７９でサーバ装置２０から送信される。リプレイデータが取得されていない場合（Ｓ１７：Ｎｏ）、ＣＰＵ４７は、処理をＳ２３に移行する。

上記では説明を省略したが、遠隔会議システム１０において、端末装置４１，４２，４３では、集音された音をＡ／Ｄ変換した波形データがエンコードされて音データが生成され、サーバ装置２０に送信される。エンコードの方式としては、Ｇ．７２２．１とＳｐｅｅｘとＯＰＵＳが例示される。サーバ装置２０では、端末装置４１，４２，４３からの各音データがデコードされ、デコードされた状態で音データが合成されて合成データが生成される（後述する図６のＳ７３参照）。その後、サーバ装置２０では、合成データがエンコードされ、上述したように、所定の端末装置へと送信される。ＣＰＵ４７は、Ｓ１５で取得されたエンコードされた合成データをデコードし、デコードされた合成データを、ＲＡＭ４９の領域Ａに記憶させる。

リプレイデータが取得された場合（Ｓ１７：Ｙｅｓ）、ＣＰＵ４７は、変換処理を実行する（Ｓ１９）。リプレイデータは、通信部５３で受信される。ＣＰＵ４７は、通信部５３を介してリプレイデータを取得する。取得されたリプレイデータは、ＲＡＭ４９の領域Ｂに記憶される。サーバ装置２０からのリプレイデータは、合成データと同様、エンコードされた状態である。そのため、ＣＰＵ４７は、エンコードされたリプレイデータをデコードし、デコードされたリプレイデータを、ＲＡＭ４９の領域Ｂに記憶させる。変換処理は、取得されたリプレイデータの再生に影響する状態を、第一状態から第二状態へと変換する処理である。変換処理に関する説明は、後述する。その後、ＣＰＵ４７は、ミキシング処理を実行する（Ｓ２１）。詳細は後述するが、ミキシング処理では、合成データ（Ｓ１５参照）とリプレイデータ（Ｓ１７：Ｙｅｓ参照）が合成され、新たな合成データが生成される（後述する図５のＳ５５参照）。実施形態では、ミキシング処理で新たに生成される合成データを、「再合成データ」という。再合成データは、ＲＡＭ４９の領域Ｃに記憶される。ミキシング処理に関するこの他の説明は、後述する。Ｓ２１を実行した後、ＣＰＵ４７は、処理をＳ２３に移行する。

Ｓ２３でＣＰＵ４７は、再生処理を実行する。再生処理の対象は、ＲＡＭ４９の領域Ａに記憶された合成データ（Ｓ１５参照）又はＲＡＭ４９の領域Ｃに記憶された再合成データ（Ｓ２１参照）とされる。Ｓ１７が否定されていた場合（Ｓ１７：Ｎｏ）、ＣＰＵ４７は、ＲＡＭ４９の領域Ａに記憶された合成データを再生し、再生された合成音の出力指令をスピーカ５２に出力する。Ｓ１７が肯定されていた場合（Ｓ１７：Ｙｅｓ）、ＣＰＵ４７は、ＲＡＭ４９の領域Ｃに記憶された再合成データを再生し、再生された再合成音の出力指令をスピーカ５２に出力する。これに伴い、スピーカ５２から合成音又は再合成音が出力される。

Ｓ２３を実行した後、ＣＰＵ４７は、リプレイ情報が取得されたかを判断する（Ｓ２５）。リプレイ情報は、後述する図６のＳ８１でサーバ装置２０から送信され、通信部５３で受信される。ＣＰＵ４７は、通信部５３を介してリプレイ情報を取得する。リプレイ情報が取得された場合（Ｓ２５：Ｙｅｓ）、ＣＰＵ４７は、報知情報６４を表示させる（Ｓ２７）。ＣＰＵ４７は、取得されたリプレイ情報に含まれる端末ＩＤを特定する。ＣＰＵ４７は、報知情報６４の表示指令を表示部５０に出力する。表示指令では、特定された端末ＩＤに一致する端末ＩＤと共に表示されている撮影画像６１の領域の所定の位置が指定される。表示部５０では、表示指令に従い、報知情報６４が、前述した撮影画像６１と重ね合わされた状態で表示される（図２参照）。リプレイ情報が取得されていない場合（Ｓ２５：Ｎｏ）又はＳ２７を実行した後、ＣＰＵ４７は、処理をＳ１１に戻す。その後、ＣＰＵ４７は、再度、Ｓ１１以降の処理を実行する。音処理は、サーバ装置２０とのセッションが切断されるまで継続される。

＜変換処理＞
図３のＳ１９で実行される変換処理について、図４を参照して説明する。変換処理は、デコードされた状態のリプレイデータを対象として実行される。ＣＰＵ４７は、ＲＡＭ４９の領域Ｂに記憶されたリプレイデータ（図３のＳ１７：Ｙｅｓ参照）を、ＲＡＭ４９の領域Ｄに記憶させる（Ｓ３１）。ＲＡＭ４９の領域Ｂに記憶されたリプレイデータは、ＲＡＭ４９の領域Ｄに記憶された後、ＲＡＭ４９の領域Ｂから消去される。続けて、ＣＰＵ４７は、速度変換処理を実行する（Ｓ３３）。速度変換処理は、ＲＡＭ４９の領域Ｄに記憶されたリプレイデータを対象として実行される。速度変換処理は、リプレイデータのテンポを変換させる処理である。ここで、テンポの変換は、再生速度の変換に対応する。再生速度の変換とは、変換されたリプレイデータを再生した場合に、リプレイデータの再生に必要な時間が、変換前と比較して変化することを意味する。例えば、リプレイデータの再生速度を速くさせる場合、リプレイデータは、時間方向に間引かれた状態へと変換される。速度変換処理としては、例えば、タイムストレッチと称される公知の変換処理を採用することができる。従って、速度変換処理に関するこの他の説明は、省略する。

次に、ＣＰＵ４７は、振幅変換処理を実行する（Ｓ３５）。振幅変換処理は、ＲＡＭ４９の領域Ｄに記憶された速度変換処理後のリプレイデータを対象として実行される。振幅変換処理は、速度変換処理後のリプレイデータのボリューム（ｄＢ）を増幅させる処理である。振幅変換処理は、リプレイデータの振幅を増幅させる公知の処理を採用することができる。従って、振幅変換処理に関するこの他の説明は、省略する。振幅変換処理に伴い、ＲＡＭ４９の領域Ｄには、この処理の実行前のリプレイデータと比較し、ボリューム（ｄＢ）が増幅されたリプレイデータが記憶される。このリプレイデータは、デコードされた状態のままとされる。Ｓ３５を実行した後、ＣＰＵ４７は、変換処理を終了する。

＜ミキシング処理＞
図３のＳ２１で実行されるミキシング処理について、図５を参照して説明する。ミキシング処理は、デコードされた状態の合成データ及びリプレイデータを対象として実行される。ＣＰＵ４７は、ＲＡＭ４９の領域Ａに記憶された合成データ（図３のＳ１５参照）を、ＲＡＭ４９の領域Ｃに記憶させる（Ｓ４１）。ＲＡＭ４９の領域Ａに記憶された合成データは、ＲＡＭ４９の領域Ｃに記憶された後、ＲＡＭ４９の領域Ａから消去される。ＣＰＵ４７は、再合成データにおける合成データの音チャネルを、第一チャネルに設定する（Ｓ４３）。例えば、再合成データがステレオのデータである場合、第一チャネルは、左右の音チャネルのうちの一方の音チャネル（例えば、右チャネル）である。

続けて、ＣＰＵ４７は、第一減衰処理を実行する（Ｓ４５）。第一減衰処理は、ＲＡＭ４９の領域Ｃに記憶された合成データを対象として実行される。第一減衰処理は、合成データのボリューム（ｄＢ）を減衰させる処理である。第一減衰処理における減衰比率は、第一比率とされる。第一比率については、後述する。第一減衰処理は、上述した振幅変換処理と同様、公知の処理を採用することができる。従って、第一減衰処理に関するこの他の説明は、省略する。

次に、ＣＰＵ４７は、ＲＡＭ４９の領域Ｄに記憶された変換処理後のリプレイデータ（図４のＳ３５参照）を、ＲＡＭ４９の領域Ｃに記憶させる（Ｓ４７）。ＲＡＭ４９の領域Ｄに記憶された変換処理後のリプレイデータは、ＲＡＭ４９の領域Ｃに記憶された後、ＲＡＭ４９の領域Ｄから消去される。ＣＰＵ４７は、再合成データにおけるリプレイデータの音チャネルを、第二チャネルに設定する（Ｓ４９）。例えば、再合成データがステレオのデータである場合、第二チャネルは、左右の音チャネルのうちの他方の音チャネル（例えば、左チャネル）である。続けて、ＣＰＵ４７は、第二減衰処理を実行する（Ｓ５１）。第二減衰処理は、ＲＡＭ４９の領域Ｃに記憶された合成データを対象として実行される。第二減衰処理は、合成データのボリューム（ｄＢ）を減衰させる処理である。第二減衰処理における減衰比率は、第二比率とされる。

第一減衰処理（Ｓ４５参照）での第一比率と第二減衰処理の第二比率の関係は、「第一比率＞第二比率」とされる。第一比率と第二比率の関係は、「第一比率＋第二比率＝１００％」としてもよい。例えば、第一比率は７５％で、第二比率は２５％とされる。第一減衰処理と第二減衰処理は、処理対象となるデータが相違するが、技術的には同一の処理である。第二減衰処理は、上述した振幅変換処理と同様、公知の処理を採用することができる。従って、第二減衰処理に関するこの他の説明は、省略する。

Ｓ５１を実行した後、ＣＰＵ４７は、再合成データを生成する（Ｓ５３）。ＣＰＵ４７は、ＲＡＭ４９の領域Ｃに記憶された、第一減衰処理後の合成データと第二減衰処理後のリプレイデータを合成する。このとき、合成データの音チャネルは、Ｓ４３で設定された第一チャネルとされる。リプレイデータの音チャネルは、Ｓ４９で設定された第二チャネルとされる。Ｓ５３の実行後、合成データとリプレイデータは、ＲＡＭ４９の領域Ｃから消去され、ＲＡＭ４９の領域Ｃには、再合成データが記憶される。再合成データを生成する処理としては、複数の音データを合成する公知の処理を採用することができる。従って、再合成データの生成に関するこの他の説明は、省略する。Ｓ５３を実行した後、ＣＰＵ４７は、ミキシング処理を終了する。

＜中継処理＞
サーバ装置２０で実行される中継処理について、図６を参照して説明する。中継処理は、端末装置４１，４２，４３のうちの何れかの端末装置とセッションが確立されたタイミングで開始される。実施形態では、上述した通り、端末装置４１，４２，４３の全てとセッションが確立されているとする。ＣＰＵ２１は、端末装置４１，４２，４３のうちの何れかの端末装置から送信された音データを取得する（Ｓ６１）。音データは、通信部２４で受信される。ＣＰＵ２１は、通信部２４を介して音データを取得する。ＣＰＵ２１は、上述した通り、取得された音データをデコードする。取得された音データは、デコードされた状態で、ＲＡＭ２３の所定の領域に記憶される。

ＣＰＵ２１は、Ｓ６１と後述するＳ６３〜Ｓ７１の各処理を、セッションが確立されている端末装置４１，４２，４３のそれぞれに対応させて実行する。即ち、サーバ装置２０と端末装置４１，４２，４３の間でセッションが確立されている場合、ＣＰＵ２１は、Ｓ６１〜Ｓ７１を３回繰り返す。例えば、１サイクル目のＳ６１では、ＣＰＵ２１は、端末装置４１からの音データを取得し、その後、Ｓ６３〜Ｓ７１を順次実行する。１サイクル目のＳ７１を実行した後、ＣＰＵ２１は、処理をＳ６１に戻し、２サイクル目のＳ６１で端末装置４２からの音データを取得し、Ｓ６３〜Ｓ７１を順次実行する。２サイクル目のＳ７１を実行した後、ＣＰＵ２１は、再度、処理をＳ６１に戻し、３サイクル目のＳ６１で端末装置４３からの音データを取得し、Ｓ６３〜Ｓ７１を順次実行する。ＣＰＵ２１は、セッションが確立されている端末装置の数分、Ｓ６１〜Ｓ７１を実行した後、処理をＳ７３に移行する。

従って、中継処理では、ＲＡＭ２３に、接続リストに登録された端末ＩＤ毎に、音データを記憶する領域が確保される。実施形態では、端末装置４１からの音データが記憶されるＲＡＭ２３の領域を、「領域Ｅ」という。端末装置４２からの音データが記憶されるＲＡＭ２３の領域を、「領域Ｆ」という。端末装置４３からの音データが記憶されるＲＡＭ２３の領域を、「領域Ｇ」という。領域Ｅは、端末ＩＤ「ＵＳＥＲ４１」に関連付けられる。領域Ｆは、端末ＩＤ「ＵＳＥＲ４２」に関連付けられる。領域Ｇは、端末ＩＤ「ＵＳＥＲ４３」に関連付けられる。例えば、取得された音データが端末ＩＤ「ＵＳＥＲ４２」を含む音データである場合、この音データは、デコードされてＲＡＭ２３の領域Ｆに記憶される。

Ｓ６１を実行した後、ＣＰＵ２１は、Ｓ６１で取得された音データが無音状態の音データであるかを判断する（Ｓ６３）。音データが無音状態であるかは、例えば、次のようにして判断される。判断対象とされる音データは、デコードされた状態の音データ（波形データ）である。無音状態は、取得された音データの振幅値が基準時間連続して基準値未満である状態に対応する。換言すれば、無音状態でない状態（有音状態）は、取得された音データの振幅値が基準時間連続して基準値以下とならない状態に対応する。基準時間は、例えば、ユーザが発言している場合の１音１音の間隔を考慮して予め決定される。基準値は、例えば、ユーザが、発言していると判断できる音のボリュームを考慮して予め決定される。基準値を、無音状態又は有音状態の何れとするかは、諸条件を考慮して適宜決定される。基準時間と基準値は、中継処理のプログラムに登録されている。解析される音データの振幅値としては、全ての周波数の波形の振幅値が解析の対象とされる。但し、特定の帯域の周波数の波形の振幅値を解析の対象としてもよい。特定の帯域としては、人が発する声の周波数帯域が例示される。この場合、取得された音データが音声以外の音が集音された音に対応する音データであった場合に、無音状態であると判断することができる。

音データが無音状態でない場合（Ｓ６３：Ｎｏ）、ＣＰＵ２１は、この音データを記憶装置２２の所定の領域に記憶させる（Ｓ６５）。実施形態では、端末装置４１からの音データが記憶される記憶装置２２の領域を、「領域Ｈ」という。端末装置４２からの音データが記憶される記憶装置２２の領域を、「領域Ｉ」という。端末装置４３からの音データが記憶される記憶装置２２の領域を、「領域Ｊ」という。領域Ｈは、端末ＩＤ「ＵＳＥＲ４１」に関連付けられる。領域Ｉは、端末ＩＤ「ＵＳＥＲ４２」に関連付けられる。領域Ｊは、端末ＩＤ「ＵＳＥＲ４３」に関連付けられる。例えば、取得された音データが端末ＩＤ「ＵＳＥＲ４２」を含む音データである場合、この音データは、記憶装置２２の領域Ｉに記憶される。既に記憶済みの音データがある場合、新たに記憶される今回の音データは、記憶済みの音データと結合するようにしてもよい。この場合、今回の音データの結合位置は、記憶済み音データの終端とされる。記憶装置２２の領域Ｈ，Ｉ，Ｊに記憶された音データは、後述するＳ７９でリプレイデータとして送信される。実施形態では、記憶装置２２の領域Ｈ，Ｉ，Ｊに記憶された、要求元端末ＩＤの端末装置に送信される前の音データについても、「リプレイデータ」という。Ｓ６５におけるリプレイデータの記憶先は、ＲＡＭ２３としてもよい。

音データが無音状態である場合（Ｓ６３：Ｙｅｓ）、ＣＰＵ２１は、記憶装置２２の所定の領域に記憶された音データを消去する（Ｓ６７）。消去対象となる音データは、取得された音データに含まれる端末ＩＤに対応する音データである。例えば、取得された音データが端末ＩＤ「ＵＳＥＲ４３」を含む音データである場合、記憶装置２２の領域Ｊに記憶されている音データは、消去される。

Ｓ６５又はＳ６７を実行した後、ＣＰＵ２１は、リプレイ要求が取得されたかを判断する（Ｓ６９）。リプレイ要求は、上述した図３のＳ１３で送信され、通信部２４で受信される。このとき、通信部２４では、要求先端末ＩＤと要求元端末ＩＤも受信される。ＣＰＵ２１は、通信部２４を介してリプレイ要求と要求先端末ＩＤと要求元端末ＩＤを取得する。続けて、ＣＰＵ２１は、リプレイ要求に従い、取得された要求先端末ＩＤを接続リストに登録する（Ｓ７１）。ＣＰＵ２１は、リプレイ要求と共に取得される要求元端末ＩＤに一致する接続リストに登録されている端末ＩＤに関連付けて、要求先端末ＩＤを登録する。

ＣＰＵ２１は、セッションが確立されている端末装置４１，４２，４３の数分（３回）、Ｓ６１〜Ｓ７１を実行した後、処理をＳ７３に移行する。Ｓ７３でＣＰＵ２１は、合成データを生成する。合成データは、ＲＡＭ２３の領域Ｅ，Ｆ，Ｇに記憶された音データのうちの２個の音データを合成して生成される。例えば、ＣＰＵ２１は、ＲＡＭ２３の領域Ｆ及び領域Ｇに記憶された端末装置４２，４３からの音データを合成し、端末装置４１に送信される合成データを生成する。生成された合成データは、ＲＡＭ２３の領域Ｋに記憶される。領域Ｋに記憶される合成データには、送信先となる端末装置の端末ＩＤ（前述した例に基づけば、端末ＩＤ「ＵＳＥＲ４１」）が関連付けられる。Ｓ７３の実行後、ＲＡＭ２３の領域Ｅ，Ｆ，Ｇに記憶された音データは、領域Ｅ，Ｆ，Ｇから消去される。Ｓ７３では、Ｓ６３で無音状態と判断（Ｓ６３：Ｎｏ）される音データについては、合成対象から除外するようにしてもよい。この場合、端末装置４１，４２，４３に対応させて３回繰り返されるＳ６１で取得された音データが、全て無音状態である場合、Ｓ７３及び後述するＳ７５は、スキップされる。合成データを生成する処理としては、複数の音データを合成する公知の処理を採用することができる。従って、合成データの生成に関するこの他の説明は、省略する。

続けて、ＣＰＵ２１は、合成データを送信させる（Ｓ７５）。合成データの送信先は、セッションが確立されている端末装置４１，４２，４３とされる。ＣＰＵ２１は、端末ＩＤ「ＵＳＥＲ４１」が関連付けられた端末装置４１への合成データの送信指令を通信部２４に出力する。ＣＰＵ２１は、端末ＩＤ「ＵＳＥＲ４２」が関連付けられた端末装置４２への合成データの送信指令を通信部２４に出力する。ＣＰＵ２１は、端末ＩＤ「ＵＳＥＲ４３」が関連付けられた端末装置４３への合成データの送信指令を通信部２４に出力する。前述した各送信指令に従い、合成データが、通信部２４から端末装置４１，４２，４３へと順次送信される。送信に際し、合成データは、エンコードされる。Ｓ７５の実行後、合成データは、ＲＡＭ２３の領域Ｋから消去される。

次に、ＣＰＵ２１は、接続リストに要求先端末ＩＤが記憶されているかを判断する（Ｓ７７）。ＣＰＵ２１は、接続テーブルにアクセスする。要求先端末ＩＤが登録されている場合（Ｓ７７：Ｙｅｓ）、ＣＰＵ２１は、リプレイデータを送信させる（Ｓ７９）。ＣＰＵ２１は、接続テーブルから、セッションが確立されている端末装置４１，４２，４３の端末ＩＤ「ＵＳＥＲ４１，４２，４３」とこれら端末ＩＤに関連付けられた要求先端末ＩＤを特定する。リプレイデータの送信先は、接続テーブルで、要求先端末ＩＤが関連付けられた端末ＩＤの端末装置とされる。ＣＰＵ２１は、記憶装置２２の領域Ｈ，Ｉ，Ｊのうち、要求先端末ＩＤに一致する端末ＩＤに関連付けられた記憶装置２２の領域に記憶されているリプレイデータを読み出す。続けて、ＣＰＵ２１は、読み出されたリプレイデータの送信指令を通信部２４に出力する。送信指令に従い、リプレイデータが、通信部２４から、送信先として設定された端末装置へと送信される。送信に際し、リプレイデータは、エンコードされる。

続けて、ＣＰＵ２１は、リプレイ情報を送信させる（Ｓ８１）。リプレイ情報には、Ｓ７９で特定された要求先端末ＩＤが関連付けられた端末ＩＤ（要求元端末ＩＤ）が含められる。リプレイ情報の送信先は、Ｓ７９で特定された要求先端末ＩＤの端末装置に設定される。ＣＰＵ２１は、リプレイ情報の送信指令を通信部２４に出力する。送信指令に従い、リプレイ情報が、通信部２４から送信先として設定された端末装置へと送信される。要求先端末ＩＤが登録されていない場合（Ｓ７７：Ｎｏ）又はＳ８１を実行した後、ＣＰＵ２１は、処理をＳ６１に戻す。その後、ＣＰＵ２１は、再度、Ｓ６１以降の処理を実行する。中継処理は、全ての端末装置４１，４２，４３とのセッションが切断されるまで継続される。

＜実施形態の効果＞
実施形態によれば、次のような効果を得ることができる。この説明では、端末装置４１，４２，４３による遠隔会議に関する内容は、端末装置４１を主体として記載する。

（１）遠隔会議システム１０で実施される端末装置４１，４２，４３による遠隔会議において、サーバ装置２０では、端末装置４１，４２，４３から順次送信される音データが取得される（図６のＳ６１参照）。順次取得される端末装置４１からの音データは、記憶装置２２の領域Ｈに繰り返して記憶され、順次取得される端末装置４２からの音データは、記憶装置２２の領域Ｉに繰り返して記憶され、順次取得される端末装置４３からの音データは、記憶装置２２の領域Ｊに繰り返して記憶される（図６のＳ６５参照）。サーバ装置２０では、例えば、端末装置４２，４３からの音データを合成した合成データが生成され、この合成データが、端末装置４１に送信される（図６のＳ７３、Ｓ７５参照）。

端末装置４１では、遠隔会議画面６０に、端末装置４２の撮影画像６１及び端末ＩＤ「ＵＳＥＲ４２」に関連付けて操作情報６３が表示され、端末装置４３の撮影画像６１及び端末ＩＤ「ＵＳＥＲ４３」に関連付けて操作情報６３が表示される（図２参照）。端末装置４１では、操作部５１を介した操作情報６３の押下に伴い、リプレイ操作が受け付けられた場合、リプレイ要求と要求元端末ＩＤと要求先端末ＩＤがサーバ装置２０に送信される（図３のＳ１１：Ｙｅｓ、Ｓ１３参照）。サーバ装置２０では、リプレイ要求と共に取得される要求先端末ＩＤに対応するリプレイデータが、端末装置４１に送信される（図６のＳ７９参照）。端末装置４１では、リプレイデータが取得され、合成データとリプレイデータを合成した再合成データが生成される（図３のＳ１７：Ｙｅｓ、図５のＳ５３参照）。端末装置４１では、再合成データが再生され、合成データに対応する合成音とリプレイデータに対応する音を含む再合成音が、スピーカ５２から出力される（図３のＳ２３参照）。

そのため、遠隔会議システム１０では、例えば、端末装置４１で、端末装置４２，４３でそれぞれ現在取得されている最新の音と、端末装置４２，４３の何れかの端末装置で過去に取得された音を、同時に出力させることができる。端末装置４１のユーザに、端末装置４２，４３の各ユーザの現在の発言内容を認識させつつ、端末装置４１のユーザが聞き逃した端末装置４２，４３の何れかのユーザの過去の発言内容を、認識させることができる。実施形態におけるリプレイ要求は、端末装置４１で、端末装置４２，４３の何れかの端末装置で過去に取得された音が出力される点を考慮すると、次のような指示ということもできる。即ち、リプレイ要求は、最新の音が取得されたタイミングより前に端末装置４２，４３のうちの何れかの端末装置で取得された過去の音の再生を要求する指示ということもできる。

（２）端末装置４１では、リプレイデータが取得された場合、変換処理が実行される（図３のＳ１７：Ｙｅｓ、Ｓ１９及び図４参照）。変換処理では、リプレイデータは、速度変換処理によって再生速度が速くなる状態へと変換される（図４のＳ３３参照）。そのため、再合成データを対象とした再生処理（図３のＳ２３参照）において、リプレイデータに対応する音の再生時間を短くすることができる。端末装置４１のユーザに、聞き逃した端末装置４２，４３の何れかのユーザの過去の発言内容を、迅速に認識させることができる。

（３）端末装置４１では、リプレイデータが取得された場合、ミキシング処理が実行される（図３のＳ１７：Ｙｅｓ、Ｓ２１及び図５参照）。ミキシング処理では、合成データは、第一比率だけ減衰され、リプレイデータは、第二比率だけ減衰される（図５のＳ４５、Ｓ５１参照）。第二比率は、第一比率より小さな値とされる。第一比率だけ減衰された合成データと第二比率だけ減衰されたリプレイデータが合成され、再合成データが生成される（図５のＳ５３参照）。その際、合成データの音チャネルは、第一チャネルとされ、リプレイデータの音チャネルは、第二チャネルとされる（図５のＳ４３、Ｓ４９参照）。そのため、再合成データを対象とした再生処理（図３のＳ２３参照）において、リプレイデータに対応する音を、第一チャネルから出力される合成データに対応する合成音より大きなボリュームで、第二チャネルから出力させることができる。端末装置４１のユーザに、聞き逃した端末装置４２，４３の何れかのユーザの過去の発言内容を、スムーズに認識させることができる。

（４）例えば、端末装置４２から、リプレイ要求と要求元端末ＩＤ「ＵＳＥＲ４２」と要求先端末ＩＤ「ＵＳＥＲ４１」が送信され、サーバ装置２０で、これらが取得された場合、サーバ装置２０では、端末装置４１に、リプレイ情報が送信される（図６のＳ８１参照）。端末装置４１では、リプレイ情報の取得に応じて、報知情報６４が表示される（図３のＳ２７参照）。その際、報知情報６４は、取得されたリプレイ情報に含まれる端末ＩＤ「ＵＳＥＲ４２」と共に表示されている撮影画像６１の領域の所定の位置に表示される（図２参照）。そのため、端末装置４１のユーザに、端末装置４２で、自身の発言内容が聞き直されていることを報知することができる。

（５）サーバ装置２０では、取得された音データが無音状態であるかが判断され、音データが無音状態でない場合、音データが、記憶装置２２の領域Ｈ，Ｉ，Ｊのうち、音データに含まれる端末ＩＤに対応する領域に記憶される（図６のＳ６３：Ｎｏ、Ｓ６５参照）。これに対して、取得された音データが無音状態である場合、それまでに記憶された音データが消去される（図６のＳ６３：Ｙｅｓ、Ｓ６７参照）。そのため、リプレイ要求に応じて送信される音データを、無音状態ではない音データとすることができる。音データの記憶を、無音状態から無音状態までの期間とすることができる。

＜変形例＞
実施形態は、次のようにすることもできる。以下に示す変形例のうちの幾つかの構成は、適宜組み合わせて採用することもできる。以下では、上記とは異なる点を説明することとし、同様の点についての説明は、適宜省略する。

（１）上記では、サーバ装置２０で、合成データが生成され、生成された合成データが、端末装置４１，４２，４３に適宜送信される（図６のＳ７３、Ｓ７５参照）。サーバ装置２０は、音データを合成することなく、取得された音データを、音データの送信元以外の端末装置に送信するようにしてもよい。例えば、サーバ装置２０は、端末装置４２，４３からの音データを、合成することなく、端末装置４１に送信する。この場合、図６の中継処理では、Ｓ６３〜Ｓ７９は省略される。

端末装置４１，４２，４３では、次のような処理が実行される。ここでは、端末装置４１を例として説明する。端末装置４１では、サーバ装置２０から送信される端末装置４２，４３からの２個の音データが、受信される。ＣＰＵ４７は、通信部５３を介して前述の２個の音データを取得する。ＣＰＵ４７は、取得された各音データをデコードし、デコードされた各音データを対象として、図６のＳ６３〜Ｓ６７に対応する処理を実行する。ＣＰＵ４７は、リプレイ操作が受け付けられた場合（図３のＳ１１：Ｙｅｓ参照）、自装置の記憶装置４８の所定の領域から、操作情報６３が関連付けられた端末ＩＤの音データを取得し（図３のＳ１７：Ｙｅｓ参照）、上記同様、Ｓ１９以降の処理を実行する。ＣＰＵ４７は、自装置の端末ＩＤ（上記に準じて「要求元端末ＩＤ」という）と、操作情報６３が関連付けられた端末ＩＤ（上記に準じて「要求先端末ＩＤ」という）を含むリプレイ情報を、サーバ装置２０に送信する。

サーバ装置２０では、ＣＰＵ２１は、通信部２４を介して、このリプレイ情報を取得する。続けて、ＣＰＵ２１は、リプレイ情報を送信させる。リプレイ情報の送信先は、要求先端末ＩＤの端末装置とされる。この端末装置では、リプレイ情報に含まれる要求元端末ＩＤに従い、図３のＳ２７が実行される。

（２）上記では説明を省略したが、遠隔会議システム１０では、公知の遠隔会議システムと同様、端末装置４１，４２，４３のそれぞれに対して、所定の役割が設定される。役割としては、主催者と発表者と参加者が例示される。これら３つの役割について、主催者は最上位の役割であり、発表者と参加者は、主催者より下位の役割である。発表者は、参加者より上位の役割である。図６のＳ６３では、例えば、判断条件となる基準時間及び／又は振幅値の基準値は、役割に応じて適宜変更するようにしてもよい。例えば、上位の役割程、基準時間を長く設定するようにしてもよい。この他、無音状態であるかに関わらず、一定時間、音データを記憶するようにしてもよい。この場合も、前述した一定時間は、役割に応じて変更するようにしてもよい。例えば、上位の役割程、音データを長い時間記憶させるようにしてもよい。

（３）上記では、音データが取得される毎に、取得された音データが無音であるかが判断され、取得された１個の音データが、無音状態である場合、それまでに記憶された音データが消去される（図６のＳ６１、Ｓ６３：Ｙｅｓ、Ｓ６７参照）。Ｓ６３の判断は、同一の端末装置から取得される音データが、例えば、予め定めた回数又は時間連続して無音状態であった場合、否定（図６のＳ６３：Ｙｅｓ参照）されるようにしてもよい。この場合、端末装置毎に、無音状態の音データが連続して取得された回数、又は無音状態の音データの時間がカウントされる。サーバ装置２０と端末装置４１，４２，４３の間を送受信される音データを、一定時間（例えば、２０ｍｓｅｃ）のデータとした場合、無音状態の音データが連続して取得された回数をカウントすることで、無音状態である時間を計測することができる。無音状態の判断条件となる基準時間は、上記の場合と比較し、長い時間に設定される。

（４）上記では、変換処理（図４参照）では、Ｓ３３で速度変換処理が実行される。速度変換処理は、省略してもよい。速度変換処理は、リプレイデータの再生速度を遅くする処理（テンポを遅くする処理）であってもよい。変換処理では、Ｓ３５で振幅変換処理が実行される。ミキシング処理（図５参照）では、Ｓ５１で第二減衰処理が実行される。振幅変換処理又は第二減衰処理の一方は、省略してもよい。例えば、振幅変換処理は、省略してもよい。

１０ 遠隔会議システム
２０ サーバ装置
２１ ＣＰＵ
２２ 記憶装置
２３ ＲＡＭ
２４ 通信部
２５ バス
４１，４２，４３ 端末装置
４７ ＣＰＵ
４８ 記憶装置
４９ ＲＡＭ
５０ 表示部
５１ 操作部
５２ スピーカ
５３ 通信部
５４ 接続インターフェース（接続Ｉ／Ｆ）
５５ バス
５６ カメラ
５７ マイク
６０ 遠隔会議画面
６１ 撮影画像
６２ 資料画像
６３ 操作情報
６４ 報知情報
６５ 終了ボタン
９０ ネットワーク

Claims (11)

1. ネットワークに接続された第一端末装置を制御するコンピュータに、
   前記第一端末装置と、前記ネットワークに接続された第二端末装置と、による前記ネットワークを介した遠隔会議を実行するサーバ装置から送信される、前記第二端末装置で集音された第一タイミングの第一音に少なくとも対応する第一音データを取得する第一取得処理と、
   前記第二端末装置で集音された前記第一タイミングより前の第二タイミングの第二音に対応する第二音データの送信を要求する第一リプレイ要求を、前記サーバ装置へと送信させる第一送信処理と、
   前記サーバ装置から送信される前記第二音データを取得する第二取得処理と、
   前記第一音データと前記第二音データとを合成した第一合成データを生成する第一ミキシング処理と、
   前記第一合成データを再生し、再生された第一合成音を出力させる再生処理と、を実行させるプログラム。
2. 前記プログラムは、前記コンピュータに、前記第二音データの再生に影響する状態を第一状態から第二状態へと変換する変換処理を実行させ、
   前記第一ミキシング処理は、前記第一音データと、前記第二状態へと変換された前記第二音データと、を合成する処理である、請求項１に記載のプログラム。
3. 前記変換処理は、前記第一状態の前記第二音データを、前記第二音データの再生速度が前記第一状態より速い前記第二状態へと間引く処理である、請求項２に記載のプログラム。
4. 前記第一合成データは、複数の音チャネルから構成され、
   前記第一ミキシング処理は、前記第一音データを、前記複数の音チャネルのうちの第一チャネルに合成し、前記第二音データを、前記複数の音チャネルのうちの第二チャネルに合成する処理である、請求項１から請求項３の何れか１項に記載のプログラム。
5. 前記プログラムは、前記コンピュータに、
   前記第一音データを、第一比率だけ減衰させる第一減衰処理と、
   前記第二音データを、前記第一比率より小さな第二比率だけ減衰させる第二減衰処理と、を実行させ、
   前記第一ミキシング処理は、減衰された前記第一音データと、減衰された前記第二音データと、を合成する処理である、請求項１から請求項４の何れか１項に記載のプログラム。
6. 前記プログラムは、前記コンピュータに、前記第二端末装置に対応する相手先情報と、前記第一リプレイ要求の送信に対応する操作情報と、を関連付けて表示させる第一表示処理を実行させ、
   前記第一送信処理は、前記相手先情報と前記操作情報とが表示されている状態で、前記操作情報に対する入力が受け付けられた場合、前記第一リプレイ要求と、前記遠隔会議で前記第二端末装置を識別する端末情報と、を前記サーバ装置へと送信させる処理である、請求項１から請求項５の何れか１項に記載のプログラム。
7. 前記プログラムは、前記コンピュータに、
   前記第一端末装置で集音された第三音に対応する第三音データを、前記サーバ装置へと送信させる第二送信処理と、
   前記サーバ装置から送信される、前記第一端末装置で集音された、前記第一タイミングより前の第三タイミングの前記第三音に対応する前記第三音データが前記サーバ装置から前記第二端末装置に送信されていることを示すリプレイ情報を取得する第三取得処理と、
   前記リプレイ情報が取得された場合、前記第二端末装置に対応する相手先情報と、前記リプレイ情報の取得を示す報知情報と、を関連付けて表示させる第二表示処理と、を実行させる、請求項１から請求項６の何れか１項に記載のプログラム。
8. ネットワークに接続されたサーバ装置を制御するコンピュータに、
   前記ネットワークに接続された第一端末装置と、前記ネットワークに接続された第二端末装置と、前記ネットワークに接続された第三端末装置と、による前記ネットワークを介した遠隔会議において、前記第二端末装置から送信される、前記第二端末装置で集音された第四音に対応する第四音データを取得する第四取得処理と、
   取得された前記第四音データを記憶させる第一記憶処理と、
   前記遠隔会議において、前記第三端末装置から送信される、前記第三端末装置で集音された第五音に対応する第五音データを取得する第五取得処理と、
   第一タイミングの前記第四音に対応する前記第四音データと、前記第一タイミングの前記第五音に対応する前記第五音データと、を合成した第二合成データを生成する第二ミキシング処理と、
   前記第二合成データを、前記第一端末装置へと送信させる第三送信処理と、
   前記第一端末装置から送信される、前記第一タイミングより前の第二タイミングの前記第四音に対応する前記第四音データの送信を要求する第二リプレイ要求を取得する第六取得処理と、
   前記第二リプレイ要求が取得された場合、前記第二タイミングの前記第四音に対応する前記第四音データを、前記第一端末装置に送信させる第四送信処理と、を実行させるプログラム。
9. 前記第一記憶処理は、取得された前記第四音データを第一期間分記憶させる処理である、請求項８に記載のプログラム。
10. 前記第一記憶処理は、取得された前記第四音データを、前記第四音データの振幅値が、基準時間連続して基準値以下又は未満とならない前記第一期間分記憶させる処理である、請求項９に記載のプログラム。
11. ネットワークに接続された、第一端末装置と第二端末装置と第三端末装置とサーバ装置と、を含む遠隔会議システムで実行される遠隔会議方法であって、
    前記第一端末装置と前記第二端末装置と前記第三端末装置とによる前記ネットワークを介した遠隔会議において、前記第二端末装置から送信される、前記第二端末装置で集音された第六音に対応する第六音データを取得する工程と、
    取得された前記第六音データを記憶する工程と、
    前記遠隔会議において、前記第三端末装置から送信される、前記第三端末装置で集音された第七音に対応する第七音データを取得する工程と、
    第一タイミングの前記第六音に対応する前記第六音データと、前記第一タイミングの前記第七音に対応する前記第七音データと、を合成した第三合成データを生成する工程と、
    前記第三合成データを再生し、再生された第二合成音を出力する工程と、
    前記第一タイミングより前の第二タイミングの前記第六音の再生を要求するリプレイ要求を取得する工程と、
    前記リプレイ要求が取得された場合、前記第三合成データと、前記第二タイミングの前記第六音に対応する前記第六音データと、を合成した第四合成データを生成する工程と、
    前記第四合成データを再生し、再生された第三合成音を出力する工程と、を含む遠隔会議方法。

Images