JP2007274020A - 通信端末装置および通信制御装置 - Google Patents

Abstract

【課題】Ｎ対Ｎ通信において、注目する端末装置からの音声を聞き逃すことのない通信端末装置および通信制御装置を提供する。
【解決手段】複数の通信端末装置の中から少なくとも１つの通信端末装置を指定すると、指定した通信端末装置に対応する音声および／または画像データを強調して出力し、指定した通信端末装置から当該指定に対応する応答を受信すると、指定した通信端末装置以外の音声および／または画像データの出力を下げる。
【選択図】図１

Description

本発明は、複数の通信端末装置との間で通話が可能な通信端末装置および通信制御装置に関する。

従来のテレビ会議システムは、図１のシステム構成図に示すように、ＷＡＮなどに接続できる機能を備えた端末装置が、ＶｏＩＰプロトコルであるＨ３２３／Ｈ３２０を利用し、ＩＰネットワーク網やＩＳＤＮ網を使用して音声データと映像データをサーバーに転送し、サーバーが、各端末装置に映像を中継し、音声データを各端末装置に送信する構成となっている。また、会議における会話から文書を作成して表示するというシステムも存在している（特許文献１参照）。
特開平５−１２２４６号公報 特開平１１−１５４９９８号公報 特開平５−７５７４５号公報

従来のテレビ会議システムでは、各端末装置の音声は音声レベルを同じにして配信される。例えば、従来のＭＣＵ（多地点会議システム）では、各端末装置が話した音声をそのまま合成して各端末装置に配信する。各端末装置から同時に会話をすると、各端末装置の音声レベルが同一であるため、注目している端末装置の音声が聞き取りにくいという課題がある。また、その課題を解決する手段として、各端末装置が同時に会話したときに、時間をずらして音声を配信するという方法もあるが、各端末装置から同じ音声レベルで連続的に会話が聞こえると、注目する音声が区別しにくいために、聞き逃してしまうという課題がある。

特許文献２では、周囲の雑音を除去し、話者の音声のみを抽出するという方法を提案している。発言する者の音声を聞き取りやすくするという目的は同じであるが、多人数が同時に話すということは想定されておらず、音声が重なったときにはやはり同様の問題が起こる。

特許文献３では、電話で通話中の話者の無音声状態を検出し、ミュートするという方法を提案している。ＭＣＵの中には、無音声状態の端末装置を検知し、該当する端末装置を無音にするという機能はあるが、音声が重なったときには同様の問題が発生する。

本発明は、このような問題点に鑑みてなされたものであり、本発明の目的は、Ｎ対Ｎ通信において、注目する通信端末装置からの音声を聞き逃すことのない通信端末装置および通信制御装置を提供することにある。

上記目的を達成するため、本発明の通信端末装置は、複数の通信端末装置間の通信を制御する通信制御装置に接続して複数の通信端末装置との間で通話が可能な通信端末装置において、音声および／または画像データを送信する送信手段と、前記複数の通信端末装置の音声および／または画像データを受信する受信手段と、該受信手段により受信した音声および／または画像データを出力する出力手段と、前記複数の通信端末装置の中から少なくとも１つの通信端末装置を指定する指定手段と、該指定手段により前記通信端末を指定した旨の情報を前記通信制御装置に対して前記送信手段を介して送信するように制御する制御手段とを備えることを特徴とする。

前記出力手段は、前記指定手段により指定した通信端末装置に対応する音声および／または画像データを強調して出力することが好ましく、前記指定手段により指定した通信端末装置から当該指定に対応する応答を前記受信手段が受信すると、前記出力手段は、前記指定手段により指定した通信端末装置以外の音声および／または画像データの出力を下げることが好ましく、また、前記受信手段が、前記複数の通信端末装置の中の少なくとも１つの通信端末装置から自通信端末装置を指定した旨の情報を受信すると、前記出力手段は、前記指定した通信端末装置の音声および／または画像データを強調して出力することが好ましい。

また、本発明の通信制御装置は、複数の通信端末装置間の通信を制御する通信制御装置において、前記複数の通信端末装置からの音声および／または画像データを受信する受信手段と、該受信手段により受信した音声および／または画像データを合成する合成手段と、該合成手段が合成した音声および／または画像データを前記複数の通信端末装置に対して送信する送信手段と、前記複数の通信端末装置の中の第１の通信端末装置から、複数の通信端末装置の中の第２の通信端末装置を指定する旨の情報を受信すると、前記第２の通信端末装置の音声および／または画像データを強調して合成するとともに前記第１の通信端末装置に対して送信し、前記第１の通信端末装置の音声および／または画像データを強調して合成するとともに前記第２の通信端末装置に対して送信するように制御する制御手段とを備えることを特徴とする。

また、本発明の通信端末装置の出力制御方法は、複数の通信端末装置の中から少なくとも１つの通信端末装置を指定すると、指定した通信端末装置に対応する音声および／または画像データを強調して出力し、指定した通信端末装置から当該指定に対応する応答を受信すると、指定した通信端末装置以外の音声および／または画像データの出力を下げることを特徴とする。

また、本発明の通信制御装置の通信制御方法は、複数の通信端末装置間の通信を制御する通信制御装置の通信制御方法において、複数の通信端末装置の中の第１の通信端末装置から、複数の通信端末装置の中の第２の通信端末装置を指定する旨の情報を受信すると、前記第２の通信端末装置の音声および／または画像データを強調して合成するとともに前記第１の通信端末装置に対して送信し、前記第１の通信端末装置の音声および／または画像データを強調して合成するとともに前記第２の通信端末装置に対して送信するように制御することを特徴とする。

本発明では、Ｎ対Ｎ通信において、注目している通信端末装置の音声データは通信端末装置全体の音声に対し相対的に高いレベルになるように制御され、その他の通信端末装置の音声は相対的に低いレベルまたは無音になるように制御されるので、注目している通信端末装置からの音声を聞き逃すことがなくなる。

本発明の実施の形態について図面を参照して説明する。本発明におけるＮ対Ｎ通信システムは、図１に示すように、通信端末装置が、ＩＰネットワーク網を使用して、音声データと映像データを通信制御装置であるサーバーに転送し、ＩＰネットワーク網を通して、中継した映像や音声を各通信端末装置に配信する構成となっている。本発明は、ユーザが注目したい通信端末装置を選択すると、注目した通信端末装置の音声を他の通信端末装置の音声と比べ強調する制御を行うことで、各通信端末装置のユーザが同時に会話したときにも、聞き逃すことがないようにするものである。

図２は、本発明の通信端末装置のブロック図である。通信端末装置１は、ユーザ画像を撮影するカメラ部２と、ＩＰネットワークを利用してデータを送受信する送受信部３と、ＩＰデータを転送するために必要な情報、ユーザの注目選択パラメータ情報、音声データや画像データの表示方法を記憶しておく記憶部４と、記憶部４に保存されている設定に従いデータを処理し、各部の制御を行う制御部７と、制御部７によって制御された映像データや字幕データ等を表示させるデータ出力手段としての表示部５と、複数の通信端末装置の中から少なくとも１つの通信端末装置を指定する操作部６により構成されている。

図３は、複数の通信端末装置間の通信を制御する通信制御装置であるサーバーのブロック図である。サーバー１１は、各端末装置のＩＰアドレス、配信方法、データの制御方法などを記憶しておく記憶部１３と、記憶部１３に保存されている設定に従って各端末装置のデータを処理する制御部１４と、ＩＰネットワーク網から各端末装置の音声、映像、ＩＰ通信に必要なデータを受信し、制御部１４によって制御された映像や音声データ、ＩＰ通信に必要なデータを各端末装置に配信する送受信部１２により構成されている。

図４は、本発明のプロトコル構成図である。図４のプロトコル構成図では、図５の従来のプロトコル構成図を比較すると、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）の上位に注目選択パラメータのプロトコル層が追加され、音声と映像の符号化や復号に影響を与えるように構成されていることがわかる。

図６は、上述した注目選択パラメータが格納される注目選択ヘッダーの構成図である。注目選択ヘッダーの情報は、通信端末装置１の記憶部４に記憶されており、また、パケットにより他の通信端末装置に送信される。注目選択ヘッダーの情報は、注目選択ヘッダー情報を送信するための特別のメッセージにより、またはパケットのヘッダーフィールド内に注目選択ヘッダー情報の識別子を設け、この識別子により他の通信端末装置に送信することが好ましい。

図６において、端末ナンバーは、各端末装置に振り分けられた端末装置のナンバーを示し、注目ナンバーは、端末装置が注目選択している端末装置のナンバーを示し、被注目ナンバーは、その端末装置が注目されている端末装置のナンバーを示し、グループナンバーは、現在その端末装置がどの会話グループに属しているかを示すものである。ここでは、ヘッダーは４ｂｙｔｅずつに区切られているので最大３２人が同時に接続することができる。ヘッダー情報の大きさは必ずしも４ｂｙｔｅずつに区切る必要はない。

図７は、端末Ａと端末Ｂが会話グループを構成しているときの各端末の注目選択ヘッダーの状態を示す図である。端末Ａと端末Ｂは、互いに注目し合って注目ナンバーと被注目ナンバーが一致したときに会話グループを構成する。会話グループを構成しているときは、端末Ａと端末Ｂでは、互いに相手の音声の音声レベルは大きくなっている。端末Ａと端末Ｃとの間では、端末Ｃは端末Ａを注目しているが、端末Ａは端末Ｃを注目していないので、端末Ｃでは、端末Ａの音声レベルは大きくなっている。端末Ａでは、端末Ｃの音声はやや低いレベルで聞こえる。

次に、本発明の第１の実施例について説明する。第１の実施例は、サーバーで音声を合成して音量を制御する場合である。図８は、サーバーで音声を合成して音量を制御する場合のタイミングチャートである。

端末装置Ａにおいて端末装置Ｂが注目選択されると、端末装置Ａは、図６に示す注目選択ヘッダーの注目ナンバーに端末装置Ｂを加えて、サーバーに追加要求を通知する。サーバーは、端末装置Ｂの音量が他の端末装置に比べて強調するように合成した音声データを端末装置Ａに配信し、さらに、端末装置Ａより配信されたパケットの注目選択ヘッダーの注目ナンバーの端末装置Ｂを確認して、変化させた端末装置Ａの中継映像のデータと、端末装置Ａの音量が他の端末装置に比べて強調するように合成した音声データを端末装置Ｂに配信すると共に、注目選択ヘッダーの被注目ナンバーに端末装置Ａを付け加えて端末装置Ｂが注目されたことを端末装置Ｂに通知する。

端末装置Ｂでは、サーバーより配信されたパケットの注目選択ヘッダーの被注目ナンバーを確認し、端末装置Ａを会話グループに入れるかを判定する。許可した場合、即ち端末装置Ａが注目選択された場合、端末装置Ｂは、注目選択ヘッダーの注目ナンバーに端末装置Ａを加えて、サーバーに追加要求を通知する。サーバーは、端末装置Ａが注目されたことを端末装置Ａに通知すると共に、変化させた端末装置Ｂの中継映像を端末装置Ａに配信する。このとき端末装置Ａの注目選択ヘッダーの被注目ナンバーに端末装置Ｂを付け加え、端末装置と同じグループであることを示すグループナンバーを付け加える。それ以降は、注目ナンバーと被注目ナンバーが一致し、同グループなので、注目する端末装置からの音声は大きな音量で配信する。

そして、この状態において、他の端末装置から注目がある場合は、注目している端末装置よりも低いが聞き取るのに支障のない音声で配信する。例えば、端末装置Ｃが複数の端末装置Ａ、Ｂを注目したときは、端末装置Ｃの音量が他の端末装置に比べて強調するように合成した音声データを端末装置Ａ、Ｂに配信する。その他の端末装置（Ａ、Ｂ、Ｃ以外）からの音声は低い音量（無音を含む）で配信する。このように、複数の通信端末装置の中の少なくとも１つの通信端末装置から自通信端末装置を指定した旨の情報を受信すると、指定した通信端末装置の音声および／または画像データを強調して出力する。サーバーで音声を合成する場合は、配信されてきた音声をそのまま再生するため、端末装置側で音量を制御するということが不要になる。

次に、本発明の第２の実施例について説明する。第２の実施例は、端末装置側で音量を制御する場合である。図９は、サーバーで音声を合成せずに端末装置側で音量を制御する場合のタイミングチャートである。

端末装置Ａにおいて端末装置Ｂが注目選択されると、端末装置Ａは、図６に示す注目選択ヘッダーの注目ナンバーに端末装置Ｂを加えて、サーバーに追加要求を通知する。これ以降、端末装置Ａでは、自分の注目ナンバーである端末装置Ｂの音声データが来たときは音声レベルを強調するようにすると共に、端末装置Ｂの映像を変化させる。サーバーは、端末装置Ａより配信されたパケットの注目選択ヘッダーの注目ナンバーの端末装置Ｂを確認し、注目選択ヘッダーの被注目ナンバーに端末装置Ａを付け加えて、端末装置Ａの中継映像と端末装置Ａの音声データを端末装置Ｂに配信する。基本的にサーバーは注目選択ヘッダーの管理を行って、音声と中継映像をそのまま各端末装置に配信するだけである。

端末装置Ｂでは、サーバーより配信されたパケットの注目選択ヘッダーを処理し、端末装置Ａの音声レベルを強調すると共に、端末装置Ａの映像を変化させる。端末装置Ｂが端末装置Ａを注目した場合、サーバーは、端末装置Ａに端末装置Ｂが注目したことを通知する。通知を受けた端末装置Ａでは、端末装置Ｂの映像を更に変化させる。このときサーバーは、端末装置Ｂと同じグループであることを示す会話グループナンバーを付け加える。端末装置Ｃが端末装置Ａ、Ｂを注目してきたときは、端末装置Ａ、Ｂは、端末装置Ｃの音量を他の端末装置に比べて強調する。その他の端末装置からの音声は低い音量（無音を含む）で配信する。このように、複数の通信端末装置の中の少なくとも１つの通信端末装置から自通信端末装置を指定した旨の情報を受信すると、指定した通信端末装置の音声および／または画像データを強調する。

図１０は、図９に示す端末装置Ｂが、サーバーより配信されたパケットの注目選択ヘッダーを処理するときのフロー図である。

端末装置は、サーバーから注目選択ヘッダーを有するパケットを受信すると（ステップ１００）、端末装置の記憶部に記憶されている自己の注目選択ヘッダーの端末ナンバーを確認する（ステップ１１０）。次に、受信した注目選択ヘッダーの注目ナンバーと自己の注目選択ヘッダーの端末ナンバーが一致しているか否かを判断し（ステップ１２０）、一致していないならば、注目してきた端末装置の音声レベルを注目外レベルにし（ステップ２００）、一致しているならば、自己の注目選択ヘッダーの注目ナンバーと受信した注目選択ヘッダーの端末ナンバーが一致しているか否かを判断する（ステップ１３０）。自己の注目選択ヘッダーの注目ナンバーと受信した注目選択ヘッダーの注目ナンバーが一致していないならば、注目してきた端末装置の音声レベルを被注目音声レベルにする（ステップ１４０）。

次に、注目してきた端末装置を注目するか否かを判断する（ステップ１５０）。注目してきた端末装置を注目しない場合は、自己の注目選択ヘッダーの被注目ナンバーに、受信した注目選択ヘッダーの端末ナンバーを追加する（ステップ１９０）。注目してきた端末装置を注目する場合は、自己の注目選択ヘッダーの注目ナンバーに、受信した注目選択ヘッダーの端末ナンバーを追加する（ステップ１６０）。次に、注目したことを注目してきた端末装置に通知し（ステップ１７０）、注目してきた端末装置の音声レベルを注目音声レベルにする。

音声レベルの割合は、注目音声レベル＞被注目音声レベル＞注目外レベル（無音を含む）という関係に定める。被注目音声レベルとは、注目していない端末装置から注目された端末装置が、注目している端末装置の音声レベルを聞き取ることに支障がないほどに大きくしたレベルである。

次に具体例により本発明を説明する。図１１は、Ｎ対Ｎ通信を説明する図である。ここではユーザＡ〜Ｆが同時にテレビ電話をすると仮定する。ユーザＡ〜Ｆの音声データ、映像データ、ＩＰ通信に必要なデータ、各ユーザの注目選択ヘッダーがサーバーに送られる。注目選択ヘッダーは、ユーザがどの端末装置に注目しているか、またどの端末装置に注目されているかという設定値である。注目ナンバーと被注目ナンバーが各端末装置で一致した時に会話グループを形成し、グループ外の端末装置の音声データは、例えば無音とする。グループ外にいた場合でも注目していなかった端末装置より注目選択を受けた場合には、その端末装置の音声は被注目音声レベルとなる。注目選択していない端末装置の音声は字幕で表示させることもできる。

図１２は、テレビ電話をしているときの通信端末装置を示す図である。通信端末装置は、受話部２０、表示部２１、カメラ２３、注目選択キー２４、送話部２５を備えている。注目選択キー２４は、どのユーザを注目するのかを選択・決定できる。表示部に２１には、注目選択がされた場合に表示が変化する注目選択エリア２２を備え、ここでは、ユーザがある端末装置を指定したときに「注目」と表示され、他のユーザから注目されたときは「被注目」と表示され、ユーザ間で注目し合った場合は「注目」表示がメッシュとなる。

図１３は、ユーザＡとユーザＢが注目し合って会話グループを構成しているときにユーザＣがユーザＡを注目した場合における会話グループの推移を示す図である。ここでは、会話視聴可能エリアは、ユーザＡの会話グループ外を示している。自分のいる会話グループ外を会話視聴可能エリアといい、会話視聴可能エリアにいる端末装置の音声は低いレベルまたは無音として合成される。このように会話グループと会話視聴可能エリアを利用することで、例え大多数が同時に発言して音声が重なっても注目するターゲットやグループ音声を聞き逃すことがない。同じ回線を利用しつつ、複数のグループが存在することになっても違和感なく話し合うということが可能となる。

図１４は、ユーザＡとユーザＢが注目し合うときのユーザＡ、Ｂの端末装置の音声レベルの推移と画面遷移を表す図である。初期状態では、全てのユーザの音声レベルは均一な状態にある。初期状態からユーザＡが、ユーザＢに注目選択を行った場合、ユーザＢの端末装置ではユーザＡを会話グループに加えるかの判定が行われる。この時は、ユーザＢの端末装置は、どの端末装置も注目していないので、ユーザＡの表示が変化し、ユーザＡの音量が他の端末装置に比べて強調される。ユーザＡの端末装置はＢの端末装置を注目しているので注目選択以降は、ユーザＢの音声レベルは高くなっている。

ユーザＢが端末装置Ａを注目した場合には、Ａ，Ｂ端末装置とも映像が変化し、他の端末装置よりも相対的に高い音声レベルで会話することができる。その他は、会話視聴可能エリアにいるため無音でユーザＡ，Ｂに配信されることとなる。このとき、会話視聴可能エリアの端末装置は字幕で表示され、注目していない端末装置であっても確実に情報を得ることができる。

図１５は、ユーザＡとユーザＢが会話グループを構成しているときに、ユーザＣがユーザＡを注目したときのユーザＡ、Ｂの端末装置の音声レベルの推移と画面遷移を表す図である。ユーザＡ，Ｂが会話している初期状態であるときに、ユーザＣがユーザＡに注目した場合、ユーザＡの端末装置は、ユーザＣから注目されたことがわかるように映像が変化して、被注目レベルの音声で聞こえるようになる。同じ会話グループであるＢさんは注目されていないため変化はない。このとき端末装置Ａには少し高い音声レベルでＣの音声が聞こえる。

ユーザＡがユーザＣを認証した場合、ユーザＡには、ユーザＢ，Ｃは同じくらい高いレベルで音声が聞こえる。ユーザＢには、ユーザＡがユーザＣと会話グループができたことがわかるように映像を変化し、ユーザＣの音声が被注目レベルの音声で聞こえるように配信される。このとき、ユーザＢにもユーザＣを注目するかを決定することができる。これは、ユーザＡがユーザＢと会話グループを形成していたためである。

本発明は、上述した実施の形態により説明したが、この実施の形態に限定されるものではない。従って、本発明の趣旨を逸脱することなく変更態様として実施するものも含むものである。

テレビ会議システムのシステム構成図である。 本発明の通信端末装置のブロック図である。 通信制御装置であるサーバーのブロック図である。 本発明のプロトコル構成図である。 従来のプロトコル構成図である。 注目選択ヘッダーの構成図である。 各端末の注目選択ヘッダーの状態を示す図である。 サーバーで音声を合成して音量を制御する場合のタイミングチャートである。 端末装置側で音量を制御する場合のタイミングチャートである。 端末装置Ｂが、サーバーより配信されたパケットの注目選択ヘッダーを処理するときのフロー図である。 Ｎ対Ｎ通信を説明する図である。 テレビ電話をしているときの通信端末装置を示す図である。 ユーザＡとユーザＢが注目し合って会話グループを構成しているときにユーザＣがユーザＡを注目した場合における会話グループの推移を示す図である。 ユーザＡとユーザＢが注目し合うときのユーザＡ、Ｂの端末装置の音声レベルの推移と画面遷移を表す図である。 ユーザＡとユーザＢが会話グループを構成しているときに、ユーザＣがユーザＡを注目したときのユーザＡ、Ｂの端末装置の音声レベルの推移と画面遷移を表す図である。

符号の説明

１ 通信端末装置
２ カメラ部
３，１２ 送受信部
４，１３ 記憶部
５，２１ 表示部
６ 操作部
７，１４ 制御部
１１ サーバー
２０ 受話部
２２ 注目選択エリア
２３ カメラ
２４ 注目選択キー
２５ 送話部

Claims (7)

1. 複数の通信端末装置間の通信を制御する通信制御装置に接続して複数の通信端末装置との間で通話が可能な通信端末装置において、
   音声および／または画像データを送信する送信手段と、
   前記複数の通信端末装置の音声および／または画像データを受信する受信手段と、
   該受信手段により受信した音声および／または画像データを出力する出力手段と、
   前記複数の通信端末装置の中から少なくとも１つの通信端末装置を指定する指定手段と、
   該指定手段により前記通信端末を指定した旨の情報を前記通信制御装置に対して前記送信手段を介して送信するように制御する制御手段と、
   を備えることを特徴とする通信端末装置。
2. 前記出力手段は、前記指定手段により指定した通信端末装置に対応する音声および／または画像データを強調して出力することを特徴とする請求項１に記載の通信端末装置。
3. 前記指定手段により指定した通信端末装置から当該指定に対応する応答を前記受信手段が受信すると、前記出力手段は、前記指定手段により指定した通信端末装置以外の音声および／または画像データの出力を下げることを特徴とする請求項１または２に記載の通信端末装置。
4. 前記受信手段が、前記複数の通信端末装置の中の少なくとも１つの通信端末装置から自通信端末装置を指定した旨の情報を受信すると、前記出力手段は、前記指定した通信端末装置の音声および／または画像データを強調して出力することを特徴とする請求項１〜３のいずれかに記載の通信端末装置。
5. 複数の通信端末装置間の通信を制御する通信制御装置において、
   前記複数の通信端末装置からの音声および／または画像データを受信する受信手段と、
   該受信手段により受信した音声および／または画像データを合成する合成手段と、
   該合成手段が合成した音声および／または画像データを前記複数の通信端末装置に対して送信する送信手段と、
   前記複数の通信端末装置の中の第１の通信端末装置から、複数の通信端末装置の中の第２の通信端末装置を指定する旨の情報を受信すると、前記第２の通信端末装置の音声および／または画像データを強調して合成するとともに前記第１の通信端末装置に対して送信し、前記第１の通信端末装置の音声および／または画像データを強調して合成するとともに前記第２の通信端末装置に対して送信するように制御する制御手段と、
   を備えることを特徴とする通信制御装置。
6. 複数の通信端末装置の中から少なくとも１つの通信端末装置を指定すると、指定した通信端末装置に対応する音声および／または画像データを強調して出力し、指定した通信端末装置から当該指定に対応する応答を受信すると、指定した通信端末装置以外の音声および／または画像データの出力を下げることを特徴とする通信端末装置の出力制御方法。
7. 複数の通信端末装置間の通信を制御する通信制御装置の通信制御方法において、
   複数の通信端末装置の中の第１の通信端末装置から、複数の通信端末装置の中の第２の通信端末装置を指定する旨の情報を受信すると、前記第２の通信端末装置の音声および／または画像データを強調して合成するとともに前記第１の通信端末装置に対して送信し、前記第１の通信端末装置の音声および／または画像データを強調して合成するとともに前記第２の通信端末装置に対して送信することを特徴とする通信制御装置の通信制御方法。