JP2017212610A - 端末、通信システム、及びプログラム - Google Patents

Abstract

【課題】音声データに含まれる不快な音の影響を適切に評価し、利用者に認識させる。【解決手段】ネットワークを介して複数の端末間で、音声データを含むデータを相互に送受信する通信システムにおける端末であって、前記端末と通信中の他の端末により検出された前記音声データに含まれる不快音の情報を、該他の端末から受信する受信部と、受信した前記不快音の情報を、画面に表示する表示制御部と、を有する端末が提供される。【選択図】図１１

Description

本発明は、端末、通信システム、及びプログラムに関する。

インターネット等の通信ネットワークを介して、企業等の拠点間で遠隔会議を行うテレビ会議システムが普及している。このようなテレビ会議システムでは、各拠点に設置された端末が通信ネットワークを介して、音声データ及び映像データの送受信をする。音声データ及び映像データを受信した端末は、これらのデータを出力する。

拠点間で良好な音質でテレビ会議を行うために、一の端末からテスト用の音声データを他の端末に送信し、他の端末でテスト用の音声データを再生し、音声データの品質の評価をすることが提案されている（例えば、特許文献１）。

提案されているテスト用の音声データを用いて音声の品質を確認する場合、端末間の通信ネットワークの状況、及び端末のハードウエアの特性等による音声データへの影響を評価することができるものの、端末の周辺の環境や利用状況から発生する不快な音がマイクに集音されることによる影響を評価し、利用者に認識させることができなかった。

本発明は上記の課題に鑑みてされたものであって、音声データに含まれる不快な音の影響を適切に評価し、利用者に認識させることを目的とする。

一つの態様によれば、ネットワークを介して複数の端末間で、音声データを含むデータを相互に送受信する通信システムにおける端末であって、前記端末と通信中の他の端末により検出された前記音声データに含まれる不快音の情報を、該他の端末から受信する受信部と、受信した前記不快音の情報を、画面に表示する表示制御部と、を有する端末が提供される。

音声データに含まれる不快な音の影響を適切に評価し、利用者に認識させることができる。

一実施形態に係る通信システムのシステム構成図の一例を示す図である。 一実施形態に係る端末のハードウエア構成の一例を示す図である。 一実施形態に係る中継装置のハードウエア構成の一例を示す図である。 一実施形態に係る通信システムの機能構成の一例を示す図である。 一実施形態に係る受信優先度管理ＤＢの一例を示す図である。 一実施形態に係る不快音情報ＤＢの一例を示す図である。 一実施形態に係るセッション管理ＤＢの一例を示す図である。 一実施形態に係る転送要求管理ＤＢの一例を示す図である。 一実施形態に係るセッションの確立シーケンスの一例を示す図である。 一実施形態に係るデータの送受信シーケンスの一例を示す図である。 一実施形態に係る不快音の情報の送信シーケンスの一例を示す図である。 一実施形態に係る不快音の検出結果の記載の一例を示す図である。 一実施形態に係る不快音の検出の動作フローの一例を示す図である。 一実施形態に係るバックグラウンドノイズの検出処理の動作フローの一例を示す図である。 一実施形態に係る衝撃性ノイズの検出処理の動作フローの一例を示す図である。 一実施形態に係る高周波ノイズの検出処理の動作フローの一例を示す図である。 一実施形態に係る不快音の検出結果の画面表示の一例を示す図である。

＜システム構成＞
図１を用いて実施形態に係る通信システム１のシステム構成について説明する。通信システム１には、一方の伝送端末から他方の伝送端末に一方向でコンテンツデータを伝送するデータ提供システムや、複数の伝送端末１０間で情報や感情等を相互に伝達するコミュニケーションシステムが含まれる。このコミュニケーションシステムは、複数のコミュニケーション端末（「伝送端末」に相当）間で情報や感情等を相互に伝達するためのシステムであり、テレビ会議システムやテレビ電話システム等が例として挙げられる。

実施形態では、コミュニケーションシステムの一例としてのテレビ会議システム、及びコミュニケーション端末の一例としてのテレビ会議端末を想定した上で、通信システム１、及び伝送端末について説明するが、伝送端末及び通信システム１は、テレビ会議システムへの適用に限定されないことは勿論である。

通信システム１は、複数の伝送端末（１０ａｃ、１０ａｂ等）、複数の伝送端末に接続されるディスプレイ（１２０ａｃ、１２０ａｂ等）、及び中継装置３０を有する。以下では、「伝送端末」を「端末」と記載する。また、複数の端末のうち任意の端末を端末１０と記載し、複数のディスプレイ１２０のうち任意のディスプレイをディスプレイ１２０と記載する。テレビ会議の開始を要求する端末１０は、要求元端末１０と表される。

複数の端末１０の各々、及び中継装置３０は、通信ネットワーク２を介して接続される。複数の端末１０の各々は、通信ネットワーク２を介して、コンテンツデータの送受信を行う。ここで、コンテンツデータとは、例えば、画像データ及び音声データ等である。画像データには、静止画データと、動画データとを含む。

中継装置３０は、複数の端末１０の間で送受信されるコンテンツデータの中継を行う。なお、テレビ会議に参加する端末１０が少ない場合、システム構成を簡略化するため、中継装置３０を介さずに、端末１０間で直接コンテンツデータの送受信を行ってもよい。

通信ネットワーク２は、各地域（地域Ａ、地域Ｂ）にＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、２ａ、２ｂ、２ｃ、２ｄ）が構築され、ＬＡＮの間は専用線（２ａｂ、２ｃｄ）、及びインターネット２ｉ等を用いて接続される。また、通信ネットワーク２内には、コンテンツデータを転送するためのルータ（７０ａ、７０ｂ、７０ｃ等）が設けられる。なお、以下では任意のルータは、単にルータ７０と記載する。

地域は、国単位等の地理的に広い領域を表している。例えば、地域Ａは、「日本」であり、地域Ｂは、「米国」である。ＬＡＮは、地域内の拠点単位に構築される。例えば、ＬＡＮ２ａは東京の事業所に構築され、ＬＡＮ２ｂは大阪の事業所に構築される。また、例えば、ＬＡＮ２ｃはニューヨークの事業所に構築され、ＬＡＮ２ｄはワシントンＤ．Ｃ．の事業所に構築される。

なお、通信ネットワーク２には、有線だけでなく、ＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、及びＢｌｕｅｔｏｏｔｈ（登録商標）、携帯電話網等の無線によりデータが送受信される区間がある場合がある。

図１において、端末１０、中継装置３０、及びルータ７０の下に示されている４組の数字は、ＩＰｖ４によるＩＰアドレスを簡易的に示している。例えば、端末１０ａｃのＩＰアドレスは「１．２．１．５」である。各装置にＩＰｖ６のＩＰアドレスが割り当てられてもよいことは勿論である。

各端末１０は、複数の事業所間での通信に加えて、事業者内での通信も可能である。

テレビ会議中に、端末１０は、不快音を収集し、収集した不快音に係る情報を他の端末１０に送信する。他の端末１０は、受信した不快音に係る情報をディスプレイ１２０に表示する。不快音とは、端末１０の周辺の環境や、利用状況から発生する音であって、テレビ会議の利用者が不快と感じる音のことである。不快音の収集及びディスプレイ１２０への表示方法については後述する。

＜ハードウエア構成＞
次に、実施形態に係る装置のハードウエア構成について説明する。

（１）端末
図２は、実施形態に係る端末１０のハードウエア構成の一例を示す図である。なお、端末１０のハードウエア構成は図２の構成に限定されない。例えば、端末１０には、図２に記載されていない構成が含まれていても、図２に記載の構成の一部が含まれていなくても良い。また、図２に記載の構成の一部は端末１０に接続可能な外部装置等であっても良い。

図２に示されているように、本実施形態の端末１０は、端末１０全体の動作を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＩＰＬ（Ｉｎｉｔｉａｌ Ｐｒｏｇｒａｍ Ｌｏａｄｅｒ）等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、端末１０の各種端末用のプログラム、画像データ、及び音データ等の各種データを記憶するフラッシュメモリ１０４、ＣＰＵ１０１の制御にしたがってフラッシュメモリ１０４に対する各種データの読み出し又は書き込みを制御するＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）１０５、フラッシュメモリやＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ Ｃａｒｄ）等の記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアＩ／Ｆ１０７、宛先を選択する場合などに操作される操作ボタン１０８、端末１０の電源のＯＮ／ＯＦＦを切り換えるための電源スイッチ１０９、通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１１１を備えている。

また、端末１０は、ＣＰＵ１０１の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ１１２、このカメラ１１２の駆動を制御する撮像素子Ｉ／Ｆ１１３、音を入力する内蔵型のマイク１１４、音を出力する内蔵型のスピーカ１１５、ＣＰＵ１０１の制御に従ってマイク１１４及びスピーカ１１５との間で音信号の入出力を処理する音入出力Ｉ／Ｆ１１６、ＣＰＵ１０１の制御に従って外付けのディスプレイ１２０に画像データを伝送するディスプレイＩ／Ｆ１１７、各種の外部機器を接続するための外部機器接続Ｉ／Ｆ１１８、及び上記各構成要素を図２に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。

ディスプレイ１２０は、被写体の画像や操作部等を表示する液晶や有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）によって構成された表示部である。また、ディスプレイ１２０は、ケーブル１２０ｃによってディスプレイＩ／Ｆ１１７に接続される。このケーブル１２０ｃは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）やＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｉｎｔｅｒａｃｔｉｖｅ）信号用のケーブルであってもよい。

カメラ１１２は、レンズや、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子を含み、固体撮像素子として、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）や、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等が用いられる。

外部機器接続Ｉ／Ｆ１１８には、筐体１１００の接続口１１３２に差し込まれたＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ電気的に接続可能である。外付けカメラが接続された場合には、ＣＰＵ１０１の制御に従って、内蔵型のカメラ１１２に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、ＣＰＵ１０１の制御に従って、それぞれが内蔵型のマイク１１４や内蔵型のスピーカ１１５に優先して、外付けマイクや外付けスピーカが駆動する。

なお、記録メディア１０６は、端末１０に対して着脱自在な構成となっている。また、ＣＰＵ１０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ１０４に限らず、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）等を用いてもよい。

（２）中継装置
図３は、実施形態に係る中継装置３０のハードウエア構成の一例を示す図である。中継装置３０は、中継装置３０全体の動作を制御するＣＰＵ２０１、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶したＲＯＭ２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３、中継装置３０用のプログラム等の各種データを記憶するＨＤ２０４、ＣＰＵ２０１の制御にしたがってＨＤ２０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２０５、フラッシュメモリ等の記録メディア２０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ２０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ２０８、通信ネットワーク２を利用してデータ通信するためのネットワークＩ／Ｆ２０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード２１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス２１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１３に対する各種データの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ２１４、及び、上記各構成要素を図３に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン２１０を備えている。

＜機能構成＞
次に、図４を用いて実施形態に係る通信システム１の機能構成について説明する。図４は、実施形態に係る通信システム１の機能構成の一例を示す図である。

（１）端末
端末１０は、送受信部１１、操作受付部１２、セッション制御部１３、撮像部１４、音声入力部１５ａ、音声出力部１５ｂ、表示制御部１７、記憶・読出処理部１９、優先順位決定部２０、不快音検出部２１を有する。これらの機能は、ＲＯＭ１０２等に格納された１以上のプログラムをＣＰＵ１０１に実行させることにより実現される。また、端末１０は記憶部１０００を有し、記憶部１０００は、受信優先度管理ＤＢ（Ｄａｔａ Ｂａｓｅ）１００２、及び不快音情報ＤＢ１００３を有する。記憶部１０００は、例えば、ＲＡＭ１０３及びフラッシュメモリ１０４により実現される。

送受信部１１は、通信ネットワーク２を介して他の端末１０、及び中継装置３０等と各種データの送受信を行う。

操作受付部１２は、利用者による各種操作を受け付ける。例えば、送受信部１１は、利用者から端末１０の起動指示、テレビ会議の開始指示、及びテレビ会議の接続先の選択指示等を受け付ける。

セッション制御部１３は、他の端末１０との間で、音声データ、及び画像データ等の送受信を行うときの、セッション制御を行う。具体的には、セッション制御部１３は、中継装置３０、及び他の端末１０との間でセッションの確立処理、セッションの維持に係る処理、及び、セッションの解放処理を実行する。また、セッション制御部１３は、セッションの確立に伴い、データの送受信のための通信経路の設定を行う。

セッション制御部１３は、他の端末１０宛ての音声データ及び画像データを、送受信部１１に送信させる。

セッション制御部１３は、他の端末１０宛ての不快音に係る情報（不快音の発生状況）を、送受信部１１に送信させる。また、他の端末１０から不快音に係る情報を受信すると、セッション制御部１３は、受信した不快音に係る情報を、不快音情報ＤＢ１００３に記憶させる。

撮像部１４は、被写体を撮像して、撮像により得られた画像データを生成する。生成された画像データは、送受信部１１を介して他の端末１０に送信される。また、生成された画像データは、ディスプレイ１２０に表示される。

音声入力部１５ａは、マイク１１４により変換された利用者の音声信号を取得する。音声入力部１５ａは、取得した音声信号に係る音声データを送受信部１１、及び不快音検出部２１等に入力する。

音声出力部１５ｂは、音声データに係る音声信号をスピーカに出力する。

表示制御部１７は、画像データをディスプレイ１２０に表示させる。また、表示制御部１７は、テレビ会議の操作、及び実行状態を示す情報を、ディスプレイ１２０に表示する。表示制御部１７は、他の端末１０から受信した不快音に関する情報を、ディスプレイ１２０に表示させる。

記憶・読出処理部１９は、記憶部１０００に各種データを記憶したり、記憶部１０００から各種データを読み出したりする処理を行う。

優先順位決定部２０は、参加中のテレビ会議において共有されているデータに対する受信優先度を決定し、受信優先度管理ＤＢ１００２に記憶させる。受信優先度を決定するときに、優先順位決定部２０は、利用者の入力操作、及び参加者の通話履歴等を基に受信優先度を決定する。受信優先度は動的に変更される。

不快音検出部２１は、入力された音声データを分析する。不快音検出部２１は、音声データの中に、他の端末１０で該音声データが出力された場合に、不快音となり得る成分を検出する。不快音とは、利用者が不快に感じる音声であり、例えば、聞き取り理解の妨げの要因になり得る音である。

不快音検出部２１は、１以上の種類の不快音の成分の抽出し、不快音の発生状態を検出する。例えば、不快音検出部２１は、広い周波数成分を有するバックグラウンドノイズ、キーボードの打鍵音や物を落としたときに生じる衝撃性ノイズ、及びハウリング等の高周波数成分のノイズ（高周波ノイズ）等の検出を行う。不快音検出部２１は、不快音の検出処理を、所定のタイミングで実行してもよいし、定期的に実行してもよいし、操作受付部１２が利用者からの指示を受けたことに応じて実行してもよい。

記憶部１０００は、各種データを記憶する。記憶部１０００は、端末１０を識別するための端末ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）等を記憶する。更に、記憶部１０００は、他の端末１０から受信した音声データ及び画像データを記憶する。記憶部１０００は、他の端末１０から新たに音声データ及び画像データを受信する度に、受信されている音声データ及び画像データを上書きする。上書きされる前の画像データがディスプレイ１２０に表示され、上書きされる前の音声データがスピーカ１１５から出力される。

受信優先度管理ＤＢ１００２は、端末１０が参加しているテレビ会議において接続されている端末１０の各々において共有しているデータの一覧と、優先度とが対応付けられて記憶される。

図５は、実施形態に係る受信優先度管理ＤＢ１００２の一例を示す図である。図５の受信優先度管理ＤＢ１００２では、ＩＰアドレス「４．０．０．２」の送信元の端末１０のデータＩＤが「ＲＳ００２」であり、優先度が最も高い（優先度１）であることを示している。また、図５の受信優先度管理ＤＢ１００２では、ＩＰアドレス「４．０．０．３」の送信元の端末１０のデータＩＤが「ＲＳ００３」であり、優先度が２番目に高い（優先度２）であることを示している。受信優先度管理ＤＢ１００２では、映像データの優先順位を管理してもよいし、映像データに加えて、音声データ、その他コンテンツの優先順位を管理してもよい。

不快音情報ＤＢ１００３は、他の端末１０から受信した不快音に係る情報を記憶する。新たな不快音に係る情報を受信した場合、不快音情報ＤＢ１００３は、記憶している情報を更新する。不快音に係る情報が更新されたタイミングで、表示制御部１７は、不快音に係る情報を画面に表示してもよい。図６は、実施形態に係る不快音情報ＤＢ１００３の一例を示す図である。データＩＤがＲＳ００１、及びＲＳ００２で特定されるデータの不快音に係る情報が記憶されている。不快音のレベルが所定のレベルより大きい場合は、「問題あり」と記憶され、不快音のレベルが所定のレベルより小さい場合は、「問題なし」と記憶される。

（２）中継装置
中継装置３０は、送受信部３１、転送制御部３２、及び記憶・読出管理部３９を有する。これらの機能は、ＨＤ２０４に記憶された１以上のプログラムをＣＰＵ２０１に実行させることにより実現される。また、中継装置３０は、記憶部３０００を有する。記憶部３０００は、転送要求管理ＤＢ３００３、及びセッション管理ＤＢ３００２を有する。記憶部３０００は、例えば、ＨＤ２０４により実現される。

送受信部３１は、通信ネットワーク２を介して他の端末１０等と各種データの送受信を行う。

転送制御部３２は、端末１０から受信したデータを他の端末１０への転送する制御を実行する。具体的には、転送制御部３２は、転送先に関する情報を記憶しているＤＢである転送要求管理ＤＢ３００３を参照して、端末１０から受信したデータの転送先の端末１０を特定し、データを転送する。また、転送制御部３２は、セッションに関する情報を記憶しているＤＢであるセッション管理ＤＢ３００２を参照して、端末１０との間で、セッションの確立、維持、及び解放等に関する処理を実行する。

記憶・読出管理部３９は、記憶部３０００に各種データを記憶したり、記憶部３０００から各種データを読み出したりする処理を行う。

記憶部３０００は、各種データを記憶する。セッション管理ＤＢ３００２は、中継装置３０でセッションの管理及びデータの転送の処理が行われているセッションに関する情報を記憶している。図７は、実施形態に係るセッション管理ＤＢ３００２の一例を示す図である。中継装置３０で管理しているセッションの識別子が「選択用セッションＩＤ」の欄に記憶され、各セッションに参加している端末１０のＩＰアドレスが「参加端末ＩＰアドレス」の欄に記憶されている。

転送要求管理ＤＢ３００３は、中継装置３０において管理及びデータの転送の処理が行われているセッションに参加する端末１０間で送受信しているデータの扱いに関する情報が記憶される。具体的には、転送要求管理ＤＢ３００３は、各セッションで送受信されるデータの転送の停止を要求している端末１０のＩＰアドレスを記憶している。図８は、実施形態に係る転送要求管理ＤＢ３００３の一例を示す図である。セッションの識別子である「セッションＩＤ」と、セッションで送受信されるデータの識別子「データＩＤ」と、転送の要求を停止している「転送停止要求端末ＩＰアドレス」とが対応付けられて記憶されている。「転送停止要求端末ＩＰアドレス」の欄にＩＰアドレスが設定されている端末１０には、セッションに係るデータが転送されない。

＜動作シーケンス＞
（１）セッションの確立シーケンス
図９を用いて、複数の端末１０間で、テレビ会議等のコミュニケーションを行うためのセッションを確立するシーケンスについて説明する。図９は、実施形態に係るセッションの確立シーケンスの一例を示す図である。図９では２台の端末１０の間でテレビ会議に係るセッションが確立されるまでのシーケンスを示しているが、３台以上の端末１０の間でセッションが確立される場合であっても同様のシーケンスが適用できる。

ステップＳ１１で、端末１０ａａは、利用者から接続先の選択を受け付ける。この際に、任意の中継装置３０と、任意のセッションＩＤが選択されたものとする。

ステップＳ１２で、端末１０ａａは、セッションの開始要求を中継装置３０に送信する。開始要求には、セッションＩＤと、要求元端末ＩＰアドレスを含む。ここで要求元端末ＩＰアドレスは、端末１０ａａに割り当てられているＩＰアドレスである。

ステップＳ１３で、中継装置３０は、セッション参加処理を実行する。具体的には、中継装置３０は、セッション管理ＤＢ５００５を検索し、要求されたセッションＩＤがセッション管理ＤＢ５００５に記憶されているか否かを判断する。要求されたセッションＩＤが存在する場合、中継装置３０は、要求元端末ＩＰアドレスを、セッションＩＤへの参加端末１０として、該セッションＩＤと要求元端末ＩＰアドレスとを対応付けて、セッション管理ＤＢ５００５に記憶させる。

一方、要求されたセッションＩＤが存在しない場合、中継装置３０は、セッションＩＤを新たに生成し、セッション管理ＤＢ５００５にセッションＩＤと要求元端末ＩＰアドレスとを対応付けて記憶させる。

ここでセッション管理ＤＢ５００５は、セッションＩＤとセッションに参加する端末１０のＩＰアドレスを対応付けて記憶するデータベースであって、通信ネットワーク２内に配備される。

ステップＳ１４で、中継装置３０は、セッションの開始要求応答を、端末１０ａａに送信する。開始要求応答には、セッションＩＤ及び参加処理結果を含む。ここでは、正常に参加処理が完了したものとする。

ステップＳ１５乃至ステップＳ１８では、中継装置３０と端末１０ｄｂとの間でステップＳ１１乃至ステップＳ１４と同様の処理が実行される。ステップＳ１１で受け付けたセッションＩＤとステップＳ１５で受け付けたセッションＩＤとが同じ場合、端末１０ａａと端末１０ｄｂとの間でセッションが確立される。

（２）データ転送のシーケンス
図１０を用いて、セッション確立中の複数の端末１０間で、データを送受信する処理について説明する。図１０は、実施形態に係るデータの送受信シーケンスの一例を示す図である。

ステップＳ２１で、端末１０ａａは、中継装置３０に映像データを送信する。

ステップＳ２２で、中継装置３０は、映像データを端末１０ｄｂに送信する。

図１０では、端末１０ａａから端末１０ｄｂに映像データが送信される様子を示しているが、端末１０ｄｂから端末１０ａａにも同様に映像データが送信される。

端末１０では、利用者の操作を受けて、データの優先順位を動的に変更し、変更結果を受信優先度管理ＤＢ１００２に記憶させる。

また、端末１０は、利用者によって指定されたレイアウトモードと、通信ネットワーク２の利用可能帯域と、受信優先度管理ＤＢ１００２で記憶されている優先順位とを基に、受信する映像データと、受信を停止するデータとを決定する。

ここで、レイアウトモードとは、ディスプレイ１２０に、一拠点から受信した映像データを表示するか、複数の拠点から受信した映像データを表示するかを設定するモードである。また、利用可能帯域は、端末１０がリアルタイムに利用可能な通信ネットワーク２の帯域を推定することにより特定されてもよい。

例えば、受信する映像データの数については次のように求められる。端末１０は、利用可能帯域から制御信号及び音声の受信に必要な帯域を減算し、映像データに利用可能な帯域を算出する。次に、端末１０は、映像データに利用可能な帯域を所定の値で除算して、受信可能な映像データ数Ｎ（Ｎは自然数）を特定する。ここで、所定の値は、１つの映像データを受信した際に占有する帯域等も基に設定されてもよい。そして、端末１０は、受信優先度管理ＤＢ１００２で記憶されている優先順位に従って、受信可能な映像データ数Ｎの範囲内で映像データを受信すること、及び、優先順位がＮ＋１以降に設定されている映像データを受信しないことを決定する。

ここでは、端末１０ｄｂで、端末１０ａａからの映像データの受信を停止することが決定されたものとして説明を進める。

ステップＳ２３で、端末１０ｄｂは、転送停止要求を中継装置３０に送信する。転送停止要求には、要求元端末ＩＰアドレスと、受信を停止する映像データのＩＤであるデータＩＤとを含む。この場合、要求元端末ＩＰアドレスは、端末１０ｄｂに割り当てられているＩＰアドレスであり、データＩＤは、端末１０ａａから送信される映像データのＩＤである。

ステップＳ２４で、中継装置３０は、転送停止処理を実行する。具体的には、中継装置３０は、端末１０ｄｂに端末１０ａａから送信される映像データを送信しないように、転送要求管理ＤＢ３００３に記憶し、端末１０ａａからの映像データの端末１０ｄｂへの転送を停止する。

ステップＳ２５で、端末１０ａａは、中継装置３０に端末１０ｄｂ宛ての映像データを送信する。この場合、転送停止処理が実行中であるため、中継装置３０は、受信した映像データを端末１０ｄｂに転送しない。

その後、端末１０ｄｂが利用者から端末１０ａａからの映像データの受信を再開する指示を受け付けたものとして、以降の説明を続ける。

ステップＳ２６で、端末１０ｄｂは、転送開始要求を、中継装置３０に送信する。転送開始要求には、要求元端末ＩＰアドレス、及びデータＩＤを含む。この場合、要求元端末ＩＰアドレスは、端末１０ｄｂに割り当てられているＩＰアドレスであり、データＩＤは、端末１０ａａから送信される映像データのＩＤである。

ステップＳ２７で、中継装置３０は、転送再開処理を実行する。具体的には、中継装置３０は、端末１０ｄｂに端末１０ａａから送信される映像データを送信するように、転送要求管理ＤＢ３００３に記憶されているデータを更新する。

ステップＳ２８で、端末１０ａａは、中継装置３０に端末１０ｄｂ宛ての映像データを送信する。

ステップＳ２９で、転送再開処理が実行されているため、中継装置３０は、映像データを端末１０ｄｂに送信する。

（３）不快音の情報の送信シーケンス
次に、図１１を用いて、不快音の情報の送信シーケンスについて説明する。図１１は、実施形態に係る不快音の情報の送信シーケンスの一例を示す図である。

ステップＳ３１で、端末１０ａａは、不快音の検出処理を実行する。端末１０ａａは、音声入力部１５ａで収集された一定期間の音声データに対して不快音の検出処理を行う。処理の詳細については後述する。

ステップＳ３２で、端末１０ａａは、不快音の検出処理の実行対象となった音声データを、中継装置３０に送信する。

ステップＳ３３で、端末１０ａａは、不快音の検出結果を送信する。不快音の検出結果には、データＩＤと、検出結果とを含む。データＩＤは、不快音の検出処理を実行した音声データを特定する識別子である。検出結果には、不快音の種類毎に、所定のレベル以上の不快音が含まれているか否かを示す情報が含まれる。

ステップＳ３４で、中継装置３０は、ステップＳ３２で受信した音声データを端末１０ｄｂに転送する。

ステップＳ３５で、中継装置３０は、ステップ３３で受信した不快音の検出結果を端末１０ｄｂに転送する。

ステップＳ３６で、不快音の検出結果を受信すると、端末１０ｄｂは、受信した不快音の検出結果を、不快音情報ＤＢ１００３に記憶する。また、端末１０ｄｂは、ディスプレイ１２０に不快音の検出結果を表示する。

上述した動作シーケンスを実行することにより、端末１０ｄｂの利用者は自身が聞いている音を不快に感じる場合、不快に感じる音の音声データを送信している端末１０を容易に特定することが可能になる。そして、不快に感じる音を発生している端末１０の利用者に対して、場所の移動、端末１０の変更、及び端末１０のマイクのミュート等をさせることにより、不快に感じる音の発生を抑えることが可能となる。

不快音の検出結果の情報フォーマットは任意のフォーマットを用いることができるが、ＪＳＯＮ（ＪａｖａＳｃｒｉｐｔ（登録商標） Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）形式のフォーマットを用いてもよい。図１２に、不快音の検出結果をＪＳＯＮ形式で記載したフォーマット例を示す。図１２では、バックグラウンドノイズ（ＢａｃｋｇｒｏｕｎｄＮｏｉｓｅ）と、衝撃性ノイズ（ＩｍｐｕｌｓｅＮｏｉｓｅ）と、高周波ノイズ（ＨｉｇｈＦｒｅｑｕｅｎｃｙＮｏｉｓｅ）の検出結果が送信される場合の情報フォーマットを示している。値が「０」と設定されている場合、不快音が所定のレベルより小さい、つまり、不快音を発生していない（問題ない）ことを示しており、値が「１」と設定されている場合、不快音が所定のレベル以上である、つまり、不快音を発生していることを示している。

なお、上述した動作シーケンスでは、音声データと不快音の検出結果とが、端末１０ａａから端末１０ｄｂに送信される場合について説明したが、その他の端末１０がセッションに参加している場合、その他の端末１０にも音声データと不快音の検出結果とが送信され、他の端末１０において、ステップＳ３６と同様の処理が実行される。また、端末１０は、不快音の検出結果の送信の処理を、不快音の発生状況が変わったときのみに実行し、冗長な処理を削減してもよいし、所定のタイミングで実行してもよい。

＜動作フロー＞
次に、端末１０における不快音の検出の動作フローについて説明する。

（１）全体動作フロー
図１３を用いて、端末１０で実行される不快音の検出の動作フローについて説明する。図１３は、不快音の検出の動作フローの一例を示す図である。

不快音検出部２１は、音声入力部１５ａから入力された所定の時間単位の音データに対して、複数の不快音検出の処理を実行する。

ステップＳ４１で、不快音検出部２１は、バックグラウンドノイズの検出処理を実行する。

ステップＳ４２で、不快音検出部２１は、衝撃性ノイズの検出処理を実行する。

ステップＳ４３で、不快音検出部２１は、高周波ノイズの検出処理を実行する。

ステップＳ４４で、不快音の検出結果を生成する。例えば、不快音の検出結果は、ＪＳＯＮ形式で生成される（図１２参照）。

ステップＳ４１乃至ステップＳ４３の処理は、同じ音に対して行う。また、ステップＳ４１乃至ステップＳ４３の処理は順序が入れ替わってもよいし、一部の処理が省略されてもよいし、他の種類の不快音の検出の処理が追加されてもよい。

以降、各々の不快音の検出処理について説明する。

（２）バックグラウンドノイズの検出処理
図１４を用いて、端末１０で実行されるバックグラウンドノイズの検出処理について説明する。図１４は、バックグラウンドノイズの検出処理の動作フローの一例を示す図である。

ステップＳ５１で、不快音検出部２１は、所定の時間帯の音声データに対して周波数成分に変換する処理を実行する。例えば、不快音検出部２１は、高速フーリエ変換を用いて、所定の時間帯の音声データを周波数成分に変換する。

ステップＳ５２で、不快音検出部２１は、周波数成分のボリューム（周波数成分の大きさ）が、所定の値を上回るか否かを判断する。全周波数成分で、ボリュームが所定の値を越えている場合（ステップＳ５２ Ｙｅｓ）、ステップＳ５４に進む。全周波数成分で、ボリュームが所定の値以下の場合（ステップＳ５２ Ｎｏ）、ステップＳ５３に進む。

ステップＳ５３で、不快音検出部２１は、バックグラウンドノイズが発生していないと判定する。

ステップＳ５４で、不快音検出部２１は、バックグラウンドノイズが発生していると判定する。

バックグラウンドノイズの中でも特にホワイトノイズと呼ばれるノイズが全周波数成分に対して一定のボリュームを有するという特性を持つため、上述したバックグラウンドノイズの検出処理の方法を実行することにより、適切にバックグラウンドノイズの検出処理を実行することができる。

（３）衝撃性ノイズの検出処理
図１５を用いて、端末１０で実行される衝撃性ノイズの検出処理について説明する。図１５は、衝撃性ノイズの検出処理の動作フローの一例を示す図である。

ステップＳ６１で、不快音検出部２１は、所定の時間帯の音声データに対して周波数成分に変換する処理を実行する。例えば、不快音検出部２１は、高速フーリエ変換を用いて、所定の時間帯の音声データを周波数成分に変換する。

ステップＳ６２で、不快音検出部２１は、所定の時間帯の音声データを周波数成分に変換した結果であるボリュームを、周波数と時間とを対応付けて記憶部１０００に記憶させる。ここで、時間ｔ、周波数ｆにおけるボリュームはＶ（ｔ、ｆ）で表されるものとする。また、ｔ＝０のＶ（０、ｆ）が最新の周波数成分への変換結果のボリュームＶを表し、ｔ＝１のＶ（１、ｆ）が１回前の周波数成分への変換結果を表すものとする。

ステップＳ６３で、周波数ｆ＝ｉの周波数成分に対する衝撃性ノイズ検出処理を開始する。ここで、周波数ｆは０〜Ｍ（最大値）で表され、ｉの初期値は０とする。

ステップＳ６４で、不快音検出部２１は、ｔ＝０において、Ｖ（０、ｉ）が所定の閾値Ｔｈ１以上であるか否かを判断する。Ｖ（０、ｉ）が所定の閾値Ｔｈ１以上の場合（ステップＳ６４ Ｙｅｓ）、ステップＳ６５に進む。一方、Ｖ（０、ｉ）が所定の閾値Ｔｈ１を下回る場合（ステップＳ６４ Ｎｏ）、ステップＳ６６に進む。

ステップＳ６５で、不快音検出部２１は、Ｖ（０、ｉ）に隣接する周波数及び隣接する時間におけるボリュームＶが所定の閾値Ｔｈ２を下回るか否かを判断する。所定の閾値Ｔｈ２を下回ると判断された場合（ステップＳ６５ Ｙｅｓ）、ステップＳ６９に進む。一方、所定の閾値Ｔｈ２を下回ると判断されなかった場合（ステップＳ６５ Ｎｏ）、ステップＳ６６に進む。

例えば、不快音検出部２１は、Ｖ（１、ｉ）が所定の閾値Ｔｈ２を下回るか否かを判断し（判断１）、Ｖ（０、ｉ＋１）が所定の閾値Ｔｈ２を下回るか否かを判断し（判断２）、Ｖ（０、ｉ―１）が所定の閾値Ｔｈ２を下回るか否かを判断し（判断３）してもよい。そして、判断１乃至判断３の全てで、閾値Ｔｈ２を下回ると判断された場合、不快音検出部２１は、隣接する周波数及び隣接する時間におけるボリュームＶが、所定の閾値Ｔｈ２を下回ると判断してもよい。ここで閾値Ｔｈ１と閾値Ｔｈ２とは異なる値であっても、同じ値であってもよい。

ステップＳ６６で、不快音検出部２１は、ｉの値を１増加させる。

ステップＳ６７で、不快音検出部２１は、ｉの値が最大値Ｍを上回るか否かを判断する。ここで、ｉの値が最大値を上回る場合、ｔ＝０における全周波数（０〜Ｍ）で、衝撃性ノイズ検出処理が実行されたことを示している。ｉの値が最大値Ｍを上回る場合（ステップＳ６７ Ｙｅｓ）、ステップＳ６８に進む。ｉの値が最大値Ｍを上回らない場合（ステップＳ６７ Ｎｏ）、ステップＳ６３に戻り、不快音検出部２１は、他の周波数における衝撃性ノイズ検出処理を実行する。

ステップＳ６８で、不快音検出部２１は、衝撃性ノイズ無しと判定し、処理を終了する。

ステップＳ６９で、不快音検出部２１は、衝撃性ノイズ有りと判定し、処理を終了する。

上述した、衝撃性ノイズの検出処理を実行することにより隣接する時間及び隣接する周波数におけるボリュームＶに対して、突出しているボリュームＶを特定することができる。これにより、衝撃性ノイズの有無を適切に判断することができる。

（４）高周波ノイズの検出処理
図１６を用いて、端末１０で実行される衝撃性ノイズの検出処理について説明する。図１６は、高周波ノイズの検出処理の動作フローの一例を示す図である。

ステップＳ７１で、不快音検出部２１は、所定の時間帯の音声データに対して周波数成分に変換する処理を実行する。例えば、不快音検出部２１は、高速フーリエ変換を用いて、所定の時間帯の音声データを周波数成分に変換する。

ステップＳ７２で、不快音検出部２１は、所定の周波数Ｆより高い周波数成分において、ボリュームが所定の閾値を超えているか否かを判断する。ボリュームが所定の閾値を超えている場合（ステップＳ７２ Ｙｅｓ）、ステップＳ７３に進む。一方、ボリュームが所定の閾値を超えていない場合（ステップＳ７２ Ｎｏ）、ステップＳ７４に進む。所定の周波数Ｆは、例えば、１０ｋＨｚ等に設定される。

ステップＳ７３で、不快音検出部２１は、高周波ノイズ有りと判定する。

ステップＳ７４で、不快音検出部２１は、高周波ノイズ無しと判定する。

通常の会話に必要がない周波数帯において、ボリュームが大きい周波数成分が存在する場合、利用者が不快音と感じるおそれがある。上述した、高周波ノイズの検出処理を実行することにより、高周波ノイズの有無を適切に判断することができる。

＜画面表示例＞
次に、図１７を用いて、不快音の検出結果の画面表示について説明する。図１７は、不快音の検出結果の画面表示の一例を示す図である。

図１７は、拠点Ａに配置された端末１０ａａが、他の拠点Ｂに配置された端末１０ｄｂ及び他の拠点Ｃに配置された端末１０ｃｃとテレビ会議に係るセッションを確立しているときの、端末１０ａａのディスプレイ１２０ａａの画面の一例を示している。端末１０ａａにより撮影された映像データが、ディスプレイ１２０ａａの領域８１Ａに表示され、端末１０ｄｂから受信した映像データ等が領域８１Ｂに表示され、端末１０ｃｃから受信した映像データ等が領域８１Ｃに表示される。

端末１０ｄｂから受信した不快音の検出結果は、領域８２Ｂに表示され、端末１０ｃｃから受信した不快音の検出結果は、領域８２Ｃに表示される。図１７では、領域８２Ｂに「衝撃性ノイズ：大 高周波ノイズ：大」と表示され、領域８２Ｃに「高周波ノイズ：大」と表示されている。例えば、端末１０ａａは、端末１０ｄｂから｛"ＢａｃｋｇｒｏｕｎｄＮｏｉｓｅ"：０，"ＩｍｐｕｌｓｅＮｏｉｓｅ"：１，"ＨｉｇｈＦｒｅｑｕｅｎｃｙＮｏｉｓｅ"：１｝との不快音の検出結果を受信し、端末１０ｃｃから｛"ＢａｃｋｇｒｏｕｎｄＮｏｉｓｅ"：０，"ＩｍｐｕｌｓｅＮｏｉｓｅ"：０，"ＨｉｇｈＦｒｅｑｕｅｎｃｙＮｏｉｓｅ"：１｝との不快音の検出結果を受信した場合にこれらの警告を表示する。

領域８２Ｂ及び領域８２Ｃに表示される不快音の検出結果は、新たな検出結果を受信する度に更新される。

［その他］
送受信部１１は、送信部又は受信部の一例である。不快音検出部２１は、検出部の一例である。

上述した実施の形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体を、端末１０に供給してもよい。そして、端末１０が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、上述の実施形態が、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は、いずれかの実施の形態を構成することになる。ここで、記憶媒体は、記録媒体または非一時的な記憶媒体である。

また、コンピュータ装置が読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではない。そのプログラムコードの指示に従って、コンピュータ装置上で動作しているオペレーティングシステム（ＯＳ）等が実際の処理の一部または全部を行ってもよい。さらに、その処理によって前述した実施形態の機能が実現されてもよいことは言うまでもない。

以上、本発明の好ましい実施形態について説明したが、本発明はこうした実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１ 通信システム
２ 通信ネットワーク
１０ 伝送端末
１１ 送受信部
１２ 操作受付部
１３ セッション制御部
１４ 撮像部
１５ａ 音声入力部
１５ｂ 音声出力部
１７ 表示制御部
１９ 記憶・読出処理部
２０ 優先順位決定部
２１ 不快音検出部
３０ 中継装置
３１ 送受信部
３２ 転送制御部
３９ 記憶・読出管理部
７０ ルータ
１０００ 記憶部 （伝送端末）
３０００ 記憶部 （中継装置）

特許第４５６７５４３号公報

Claims (9)

1. ネットワークを介して複数の端末間で、音声データを含むデータを相互に送受信する通信システムにおける端末であって、
   前記端末と通信中の他の端末により検出された前記音声データに含まれる不快音の情報を、該他の端末から受信する受信部と、
   受信した前記不快音の情報を、画面に表示する表示制御部と、を有する端末。
2. 前記表示制御部は、前記他の端末の各々から受信した前記不快音の情報を、前記他の端末の各々に対応付けられた前記画面の領域に表示する、請求項１に記載の端末。
3. 前記不快音は、前記他の端末が集音時した音の信号に含まれ、
   前記不快音の情報には、検出された複数の種類の不快音の発生状態を含む、請求項１又は２に記載の端末。
4. 前記不快音の情報には、バックグラウンドノイズの発生状態、衝撃性ノイズの発生状態、高周波ノイズの発生状態、又はこれらの一以上の発生状態の組み合わせを含む、請求項３に記載の端末。
5. ネットワークを介して複数の端末間で、音声データを含むデータを相互に送受信する通信システムにおける端末であって、
   他の端末に送信する前記音声データに含まれる不快音を検出する検出部と、
   検出された前記不快音の情報を前記他の端末に送信する送信部と、を有し、
   前記不快音の情報には、複数の種類の不快音の発生状態を含む、端末。
6. 前記検出部は、所定のタイミングで、前記不快音を検出する処理を実行し、
   前記不快音の発生状態が変化した場合、前記送信部は、前記不快音の情報を前記他の端末に送信する、請求項５に記載の端末。
7. ネットワークを介して複数の端末間で、音声データを含むデータを相互に送受信する通信システムであって、
   第１の端末は、
   第２の端末に送信する前記音声データに含まれる不快音を検出する検出部と、
   検出された前記不快音の情報を前記第２の端末に送信する送信部と、を有し、
   前記第２の端末は、
   前記第２の端末と通信中の前記第１の端末から、前記音声データに含まれる前記不快音の情報を受信する受信部と、
   受信した前記不快音の情報を、画面に表示する表示制御部と、を有する、通信システム。
8. ネットワークを介して複数の端末間で、音声データを含むデータを相互に送受信する通信システムにおける端末に実行させるプログラムであって、
   前記端末と通信中の他の端末により検出された前記音声データに含まれる不快音の情報を、該他の端末から受信するステップと、
   受信した前記不快音の情報を、画面に表示するステップと、を端末に実行させるプログラム。
9. ネットワークを介して複数の端末間で、音声データを含むデータを相互に送受信する通信システムにおける端末に実行させるプログラムであって、
   他の端末に送信する前記音声データに含まれる不快音を検出するステップと、
   前記不快音の情報を前記他の端末に送信するステップと、を端末に実行させ、
   前記不快音の情報には、検出された複数の種類の不快音の発生状態を含む、プログラム。

Images