JP2008079024A - 会議システム、会議サーバ及び会議システムの配信音声制御方法 - Google Patents

Abstract

【課題】 ミキシングに供する音声信号を一部の音声信号に制御する場合において、優先度が高い音声信号をミキシング対象に含めることを確度良く行うことができるようにする。
【解決手段】 本発明に係る会議サーバは、複数の会議端末からの音声信号のうち、所定数の音声信号だけを合成し、合成音声信号を全ての会議端末に送信すると共に、現周期の各音声信号のレベルに基づいて、次周期で合成対象となる所定数の音声信号を定めるものである。そして、現周期において、合成対象でない各音声信号について、合成対象への変更の必要性を判別する合成対象見直し手段と、合成対象への変更の必要性があると判別された音声信号がある場合に、判別された以降の現周期において、判別された音声信号を合成対象に追加する合成対象追加手段とを有している。
【選択図】 図１

Description

本発明は会議システム、会議サーバ及び会議システムの配信音声制御方法に関し、例えば、音声会議システムや、テレビ会議システムにおける音声信号の処理系に適用し得るものである。

一般に、音声会議システムにおいて、参加者に、その人以外の全員の音声をミキシングして配布すると、各員の声が聞き取りにくくなる。そのため、会議が多数参加のもと行われていても、会議サーバにおいて、数名の音声のみを優先的にミキシングして配信することも考えられている。ミキシングに供する数名の音声は、例えば、以下のように決定される。ある一定時間の音声サンプル（パケットに挿入されている分）で捉えた音声レベルが高い上位数名の音声を抽出し、次周期では、その上位数名の音声のみをミキシングして、会議者に通知する（特許文献１参照）。
特表２００５−５０４４５０号公報

しかしながら、一定周期のサンプルから、次周期にミキシングして配布する音声信号を決定する方式では、例えば、ある参加者が大声で主張したとしても、前周期に声が小さければ、現周期でミキシング対象とならず、そのため、主張発言の冒頭がミキシングされない。

このような急激な音声レベルの変化時に変化直後の音声がミキシングされない事態を防ぐために、一定周期の期間を短くし、ミキシングされない期間を短くすることも考えられる。しかし、このようにすると、会議サーバや会議クライアントの処理負荷を増大させるという課題が生じ、また、ミキシングに供する音声が短い周期で見直されるため、ミキシングに供する複数の音声の組み合わせの切り替えが頻繁に行われることを生じ、会議参加者に違和感を抱かせ、若しくは、音質劣化と取らえられることも十分に考えられる。

また、音声レベルに基づいたミキシング対象の決定では、議長などによる会議進行に関する音声信号も、音声レベルが低ければミキシング対象から除外され、会議進行の通知を不十分となる恐れもある。

そのため、ミキシングに供する音声信号を一部の音声信号に制御する場合において、優先度が高い音声信号をミキシング対象に含めることを確度良く行うことができる、しかも、ミキシング対象について十分な品質を確保することができる会議システム、会議サーバ及び会議システムの配信音声制御方法が望まれている。

第１の本発明は、複数の会議端末からの音声信号のうち、所定数の音声信号だけを合成し、合成音声信号を全ての会議端末に送信すると共に、現周期の各音声信号のレベルに基づいて、次周期で合成対象となる所定数の音声信号を定める会議サーバであって、（１）現周期において、合成対象でない各音声信号について、合成対象への変更の必要性を判別する合成対象見直し手段と、（２）合成対象への変更の必要性があると判別された音声信号がある場合に、判別された以降の現周期において、判別された音声信号を合成対象に追加する合成対象追加手段とを有することを特徴とする。

第２の本発明は、音声信号を送信すると共に合成音声信号を受信する複数の会議端末と、複数の会議端末からの音声信号のうち、所定数の音声信号だけを合成し、合成音声信号を全ての会議端末に送信する会議サーバとを含む会議システムにおいて、上記会議サーバとして、第１の本発明の会議サーバを適用したことを特徴とする。

第３の本発明の会議システムの配信音声制御方法は、会議サーバが、複数の会議端末からの音声信号のうち、所定数の音声信号だけを合成し、合成音声信号を全ての会議端末に送信すると共に、現周期の各音声信号のレベルに基づいて、次周期で合成対象となる所定数の音声信号を定める会議システムにおいて、上記会議サーバが、現周期において、合成対象でない各音声信号について、合成対象への変更の必要性を判別し、合成対象への変更の必要性があると判別された音声信号がある場合に、判別された以降の現周期において、判別された音声信号を合成対象に追加することを特徴とする。

本発明によれば、ミキシングに供する音声信号を一部の音声信号に制御する場合において、優先度が高い音声信号をミキシング対象に含めることを確度良く行うことができ、しかも、ミキシング対象について十分な品質を確保することができる。

（Ａ）第１の実施形態
以下、本発明による会議システム、会議サーバ及び会議システムの配信音声制御方法を、音声会議システムに適用した第１の実施形態を、図面を参照しながら説明する。

（Ａ−１）第１の実施形態の構成
図２は、第１の実施形態の音声会議システムの全体構成を示すブロック図である。

図２において、第１の実施形態の音声会議システム１は、複数（図２は５個の場合を示している）の会議クライアント１０−１〜１０−５と、会議サーバ２０とを有する。会議サーバ２０には、全ての会議クライアント１０−１〜１０−５からの音声信号（例えばＲＴＰパケットに挿入されて送信される）がネットワーク２を介して到来し、会議サーバ２０は、参加者総数より少ない所定数の音声信号を選択してミキシングし、そのミキシング音声信号（例えばＲＴＰパケットに挿入されて送信される）がネットワーク２を介して各会議クライアント１０−１〜１０−５に配信される。

図２では、会議クライアント１０−２、１０−４及び１０−５からの音声信号Ｂ、Ｅ及びＦがミキシングに供するものとして選択された例を示している。

会議クライアント１０（１０−１〜１０−５）は、例えば、会議専用端末であっても良く、ヘッドフォンを着脱可能な情報処理装置（例えば、パソコン）、若しくは、マイクロフォン及びスピーカを装備した情報処理装置上に音声会議用ソフトウェアが組み込まれたものであっても良く、その構成は、既存の会議クライアントの構成と同様で良い。会議クライアント１０は、機能的には、図３に例示するような構成を有する。

図３において、マイクロフォン１１は会議参加者の音声を捕捉して音声信号を出力するものであり、アナログ／デジタル変換部（Ａ／Ｄ）１２は捕捉音声信号（アナログ信号）をデジタル信号に変換するものである。

通信制御部１３は、アナログ／デジタル変換部１２からの音声信号（音声ストリーム）を所定サンプル数毎に切り分け、各ＲＴＰパケットのペイロードに挿入してＲＴＰパケットを次々と会議サーバ２０に向けて送信するものである。また、通信制御部１３は、会議サーバ２０から到来したＲＴＰパケットに挿入されている音声信号を抽出して音声ストリームに戻してデジタル／アナログ変換部（Ｄ／Ａ）１４に与えるものである。

デジタル／アナログ変換部１４は、与えられた音声信号（デジタル信号）をアナログ信号に変換するものであり、スピーカ１５はデジタル／アナログ変換部１４から出力された音声信号を発音出力するものである。

会議制御部１６は、図示しないキー入力部からの指令等に応じて会議の参加や会議からの離脱の際の制御を行うものであり、例えば、この制御によって、通信制御部１３が、会議サーバ２０側と音声信号（ＲＴＰパケット）を授受し合う状態になったり、音声信号を授受し合う状態を終了させたりする。

この第１の実施形態の場合、会議クライアント１０−１〜１０−５の通信制御部１３は、会議参加時点の会議サーバ２０とのネゴシエーション等により、同一時間帯の音声信号を含むＲＴＰパケットを送信するようになされている。言い換えると、全ての会議クライアント１０−１〜１０−５は、ＲＴＰパケットを同期して送信するようになされている。

会議サーバ２０は、ネットワーク上の任意のサーバによって実現されても良い。例えば、ＩＳＰが音声会議のサービスを提供する場合であれば、プロバイダサーバが会議サーバとして機能するようにしても良い。会議サーバ２０は、機能的には、図１に示すような構成を有する。

図１において、音声受信部２１−１〜２１−５はそれぞれ、対応する会議クライアント１０−１〜１０−５からのＲＴＰパケットを受信し、挿入されている音声信号を抽出するものである。音声受信部２１−１〜２１−５はそれぞれ、音声バッファを内蔵し、抽出した音声信号を音声バッファに一時蓄積すると共に、対応する音声レベル測定部２２−１〜２２−５やミキシング部２４に所定のタイミングで与えるものである。

音声レベル測定部２２−１〜２２−５はそれぞれ、対応する音声受信部２１−１〜２１−５が受信して得た音声信号の長期間及び短期間の音声レベル（音声パワー）を測定するものである。例えば、長期間の音声レベルとしては、１ＲＴＰパケットに係る全ての音声サンプルの２乗和を適用できる。また、短期間の音声レベルは、ミキシング部２４に与える現時点の音声レベルといえるものである。例えば、ミキシング部２４に与えようとする現時点の音声サンプルを含め、その直前の極少ないサンプル数（例えば１０サンプル程度）の音声サンプルの２乗和を適用できる。

ミキシング対象決定部２３は、音声レベル測定部２２−１〜２２−５からの長期間の音声レベルに基づいて、ミキシング部２４でのミキシングに供する次のＲＴＰパケット期間に係る所定数の音声信号を決定すると共に、短期間の音声レベルに基づいて、現ＲＴＰパケット期間に係る音声信号でミキシングすべきものがあるかを見直すようになされている。以下では、所定数を３として説明するが、所定数はこれに限定されるものではなく、また、所定数自体が、長期間の音声レベルに応じて変化するものであっても良い（例えば、長期間の音声レベルが閾値を超えた音声信号を全てミキシング対象とするようにしても良い）。

ミキシング対象決定部２３は、音声レベル測定部２２−１〜２２−５からの５種類の長期間の音声レベルのうち、レベルが大きい方の３種類の音声信号をミキシングに供するものと決定する。ミキシング対象決定部２３は、ミキシングに供していない残りの音声信号については、その短期間の音声レベルを監視し、短期間の音声レベルが閾値を超えたと判断した場合には、その判断時点から、その音声信号をミキシングに供する音声信号に切り替える。なお、条件を満たすならば、ミキシング対象へ切り替える音声信号は複数あっても良い。

ここで、ミキシングするように切り替えられた音声信号は、今までミキシングしていた３種類の音声信号に追加してミキシングするようにしても良く、今までミキシングしていた３種類の音声信号の中で長期間の音声レベルが最も小さい（ミキシング順位が最下位の）ものに置き換えてミキシング対象（この場合においてミキシング順位は最上位）とするようにしても良い。また、短期間の音声レベルと比較される閾値は固定値であっても良く、ミキシング対象の３種類の音声信号に係る長期間音声レベルに応じて、適応的にかえるものであっても良い。例えば、３種類の長期間音声レベルの平均値のα（αは一定；例えばαは１より大きい）倍を閾値にするようにしても良い。

ミキシング部２４は、ミキシング対象決定部２３がミキシング対象と決定した複数種類の音声信号をミキシングするものである。

混合音声送信部２５は、ミキシング部２４から出力された混合音声信号をペイロードに含むＲＴＰパケットを組み立て、そのＲＴＰパケットを全ての会議クライアント１０−１〜１０−５に同報送信するものである。

なお、図１では省略しているが、会議サーバ２０は、会議クライアント１０−１〜１０−５の会議への参加や離脱などに伴う制御を行う部分も有している。

（Ａ−２）第１の実施形態の動作
次に、第１の実施形態に係る音声会議システム１の動作を説明する。

各会議クライアント１０−１〜１０−５はそれぞれ、自己に係る会議参加者の音声信号を含むＲＴＰパケットを同期して会議サーバ２０に送信する。

会議サーバ２０において、会議クライアント１０−１〜１０−５からのＲＴＰパケットはそれぞれ、対応する音声受信部２１−１〜２１−５で受信され、ＲＴＰパケットに挿入されていた音声信号が抽出される。

音声受信部２１−１〜２１−５で抽出された音声信号はそれぞれ、対応する音声レベル測定部２２−１〜２２−５に与えられ、長期間及び短期間の音声レベル（音声パワー）が測定されてミキシング対象決定部２３に与えられる。ミキシング対象決定部２３においては、全種類の長期間の音声レベルのうち、レベルが大きい方の３種類の音声信号を、次のＲＴＰパケットの受信時には、ミキシングするものと決定される。ミキシング対象決定部２３によって、ミキシングに供していない音声信号の短期間の音声レベルが監視され、短期間の音声レベルが閾値を超える、その判断時点から、その音声信号をミキシングに供するものに切り替える。

すなわち、短期間の音声レベルが閾値を超えないような状況においては、前のＲＴＰパケットの受信時における長期間の音声レベルに基づいて決定された所定種類の音声信号がミキシング部２４においてミキシングされ、ミキシングに供していない音声信号の短期間の音声レベルが閾値を超えると、その音声信号もミキシング部２４においてミキシングされる。

ミキシング部２４から出力された混合音声信号は、混合音声送信部２５において、ＲＴＰパケットのペイロードに挿入され、そのＲＴＰパケットが全ての会議クライアント１０−１〜１０−５に同報送信される。

各会議クライアント１０−１〜１０−５においては、受信したＲＴＰパケットから音声信号（混合音声信号）を抽出して発音出力させる。

（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、過去の長期間の音声レベルに基づいた決定ではミキシング対象となっていない音声信号において、現時点の音声レベルを監視し、音声レベルが急に大きくなった際には、その時点から、ミキシング対象に変更するようにしたので、急に大声を出して主張を始めた会議参加者の音声信号も、ほぼ主張を始めた時点よりミキシング対象とすることができ、そのための構成追加もごく僅かである。これにより、レベル測定周期を縮めることをせずに、主張を始めた参加者の声を、漏らすことなくミキシングできる。

また、基本的には、過去の長期間の音声レベルに基づいてミキシング対象を決定しているので、上述のような場合を除けば、安定してミキシング対象を決定でき、ミキシング対象について十分な品質を確保することができる。

（Ｂ）第２の実施形態
次に、本発明による会議システム、会議サーバ及び会議システムの配信音声制御方法を、音声会議システムに適用した第２の実施形態を、図面を参照しながら説明する。

第２の実施形態の音声会議システムは、会議サーバ２０Ａが、第１の実施形態のものと変更されている。図４は、第２の実施形態の会議サーバ２０Ａの機能的構成を示すブロック図である。

図４において、第２の実施形態の会議サーバ２０Ａは、第１の実施形態の構成に加えて特定パターン認識部２６−１〜２６−５を有すると共に、ミキシング対象決定部２３Ａの決定方法も第１の実施形態のものから多少変更されている。

特定パターン認識部２６−１〜２６−５はそれぞれ、対応する音声受信部２１−１〜２１−５が受信ＲＴＰパケットから抽出した現音声信号に、特定パターンが含まれていれば、その特定パターンを認識するものであり、認識結果をミキシング対象決定部２３Ａに与えるものである。ここで、特定パターンとしては、「会議開始」、「会議終了」、「休憩開始」、「休憩終了」などの議長発言等を示す文言である。

例えば、特定パターン認識部２６−１〜２６−５は、特定パターンに係る基準の音声信号波形を記憶しており、この基準の音声信号波形と、処理対象の音声信号波形との照合によって、特定パターンを認識する。また例えば、特定パターン認識部２６−１〜２６−５は、入力音声信号をテキスト列に変換し、形態素解析を行って特定パターンを認識する。

なお、特定パターンは、１個の受信ＲＴＰパケットから抽出した音声信号に限らず、複数の受信ＲＴＰパケットから抽出した音声信号の時系列から認識しても良く、その認識した時点で、認識結果をミキシング対象決定部２３Ａに与え留ようにしても良い。

第２の実施形態のミキシング対象決定部２３Ａは、第１の実施形態と同様に、ミキシング対象を決定すると共に、さらに、特定パターン認識部２６−１〜２６−５の認識結果に基づいても、現ＲＴＰパケット期間に係る音声信号でミキシングすべきものがあるかを見直す。ミキシング対象決定部２３Ａは、過去の長期間の音声レベルに基づいた決定ではミキシング対象となっていない音声信号でも、現ＲＴＰパケット期間に係る音声信号について特定パターンが認識された際には、ミキシング対象への切り替えを行う。

第２の実施形態によっても、第１の実施形態と同様な効果を奏することができ、さらに、以下の効果を奏することができる。

すなわち、会議においてある特定の役割をもった参加者の特定パターンの音声信号を認識して、ミキシング対象に変更するようにしたので、自然な会議を実現でき、しかも、システム負荷にもそれほど影響を与えない。

（Ｃ）他の実施形態
上記各実施形態における会議サーバは、ソフトウェアによって特徴的な制御を実現しても、ハードウェアによって特徴的な制御を実現しても良い。ハードウェアによって実現する場合において、ＩＣチップ化すれば、より処理負荷、スピードが速いものになる。

上記第２の実施形態においては、短期間の音声レベルに基づいたミキシング対象の見直しと、特定パターンに基づいたミキシング対象の見直しとの双方を行うものを示したが、後者だけを行うように会議サーバを構築しても良い。

また、上記各実施形態においては、会議に参加可能な上限の数だけミキシング対象の見直しに必要な構成（例えば、短期間の音声レベルの測定構成や、特定パターン認識部）を備えるものを示したが、このような構成を、上限数から、ミキシング対象数との差だけ設け、これら構成にミキシング対象となっていない参加者の音声信号を入力させるスイッチを設けるようにしても良い。

第１の実施形態に係る会議サーバの機能的構成を示すブロック図である。 第１の実施形態に係る音声会議システムの全体構成を示すブロック図である。 第１の実施形態に係る会議クライアントの機能的構成を示すブロック図である。 第２の実施形態に係る会議サーバの機能的構成を示すブロック図である。

符号の説明

１…音声会議システム、１０−１〜１０−５…会議クライアント、２０…会議サーバ、２１−１〜２１−５…音声受信部、２２−１〜２２−５…音声レベル測定部、２３、２３Ａ…ミキシング対象決定部、２４…ミキシング部、２５…混合音声送信部、２６−１〜２６−５…特定パターン認識部。

Claims (5)

1. 複数の会議端末からの音声信号のうち、所定数の音声信号だけを合成し、合成音声信号を全ての会議端末に送信すると共に、現周期の各音声信号のレベルに基づいて、次周期で合成対象となる所定数の音声信号を定める会議サーバであって、
   現周期において、合成対象でない各音声信号について、合成対象への変更の必要性を判別する合成対象見直し手段と、
   合成対象への変更の必要性があると判別された音声信号がある場合に、判別された以降の現周期において、判別された音声信号を合成対象に追加する合成対象追加手段と
   を有することを特徴とする会議サーバ。
2. 上記合成対象見直し手段は、合成対象でない各音声信号について、上記周期より十分に短い短期間のレベルが閾値を超えたか否かを確認し、閾値を越えた音声信号を合成対象への変更の必要性有りと判別することを特徴とする請求項１に記載の会議サーバ。
3. 上記合成対象見直し手段は、合成対象でない各音声信号について、その音声信号の波形パターンが予め格納している特定パターンに合致するか否かを確認し、特定パターンに合致する音声信号を合成対象への変更の必要性有りと判別することを特徴とする請求項１又は２に記載の会議サーバ。
4. 音声信号を送信すると共に合成音声信号を受信する複数の会議端末と、複数の会議端末からの音声信号のうち、所定数の音声信号だけを合成し、合成音声信号を全ての会議端末に送信する会議サーバとを含む会議システムにおいて、
   上記会議サーバとして、請求項１〜３のいずれかに記載のものを適用したことを特徴とする会議システム。
5. 会議サーバが、複数の会議端末からの音声信号のうち、所定数の音声信号だけを合成し、合成音声信号を全ての会議端末に送信すると共に、現周期の各音声信号のレベルに基づいて、次周期で合成対象となる所定数の音声信号を定める会議システムにおいて、
   上記会議サーバは、
   現周期において、合成対象でない各音声信号について、合成対象への変更の必要性を判別し、
   合成対象への変更の必要性があると判別された音声信号がある場合に、判別された以降の現周期において、判別された音声信号を合成対象に追加する
   ことを特徴とする会議システムの配信音声制御方法。

Images