JP2007096555A - 音声会議システム、端末装置及びそれに用いる話者優先レベル制御方法並びにそのプログラム - Google Patents

Abstract

【課題】 複数の参加者が同時に喋っていても、合成した音声の明瞭度を確保することが可能な音声会議システムを提供する。
【解決手段】 話中判定回路１１は会議参加者の音声信号を話中判定閾値と比較して話中と非話中との判断を行う。話者統計情報管理回路１２は話者判定の結果を監視し、話者と判定した時間を統計情報として管理する。会話状態判断回路１４は話者判定の結果から喋っているのか、喋っていない状態から喋り始めたのか、喋っていないのかを監視する。優先度判定回路１３は話者統計情報と喋っている状態と直前の話者非話者の判定結果とから話者としての優先順位を判断する。話者非話者判定回路２は会議参加者の人数に合わせて予め定めた話者と判定する人数を基に話者を判定し、話者判定レベル制御回路３は非話者と判断された会議参加者に対して、話者よりもレベルが低くなるようにレベル調整を行う。
【選択図】 図１

Description

本発明は音声会議システム、端末装置及びそれに用いる話者優先レベル制御方法並びにそのプログラムに関し、特に音声会議システムにおいて話者を優先するように会議参加者の音声レベルを制御する方法に関する。

従来、音声会議システムにおいては、通信交換回路網を介して多数の会議参加者による会議通話を行っている。この音声会議システムにおいては、音声信号レベル制御機能を持つシステムもある。例えば、この種のシステムとしては、Ｎ−１加算回路を持つ会議トランク装置において、会議参加者個々の音声レベルを適正化することで明瞭な音声を提供することを目的とするシステムがある。

このシステムでは、タイムスロット毎の入れ替えが行える時分割スイッチ、中央制御処理装置、中央制御処理装置からの制御情報をドロップするドロッパ、音声信号の並列変換を行う直列並列変換回路、その逆変換を行う並列直列変換回路、会議参加者数を判別する無音信号検出回路、入力信号の音声レベルを個々の会議参加者について制御を行う音声減衰回路、音声信号制御情報を作成して音声信号減衰回路を制御する会議トランク制御回路、Ｎ−１加算を行う会議トランク回路によって構成されている。

まず、時分割スイッチによって時分割多重された音声信号と中央制御処理装置からの会議トランク制御信号とが入力ハイウェイを通って会議トランク回路に入力される。この場合には、会議トランク制御情報のみがドロッパによってドロップされ、会議トランク制御回路で受信される。また、音声信号は直列並列変換回路によって並列信号に変換され、無音信号検出回路によって無音信号が検出されて会議参加者数が算出される。会議トランク制御回路は会議トランク制御情報と会議参加者数とによって音声信号制御情報を作成し、個々の会議参加者について制御を行う。

しかしながら、上記のシステムでは、個々の会議参加者について音声レベルを制御するために会議参加者人数を検出する無音検出回路及び中央制御処理装置からの制御信号によって音声レベルを設定しているが、この制御信号を作成するための制御方式が大規模かつ複雑なものとなる。

この問題を解決するために、従来の音声会議システムとしては、自己の音声を加算しないＮ−１加算方式を用いた会議通話方式において、多数の会議参加者の音声信号を制御できる音声信号レベル調整回路と、音声信号レベル調整回路を制御するための制御情報を作成して送出する音声信号制御部とを持ち、音声信号制御回路が、Ｎ−１加算された音声信号を受けてその音声信号がオーバフローしているか否かを検出し、オーバフローが検出された時に会議者全体の音声信号レベルを減衰させるように制御し、オーバフローが検出された時に特定会議者の音声信号が過大である場合にその特定会議者の音声信号についてのみ減衰させるように制御するシステムが提案されている（例えば、特許文献１参照）。

特開平７−３２７０８６号公報

上述した従来の音声会議システムでは、上記の特許文献１に記載の技術の場合、話者それぞれの音声レベルに対して、オーバフローしないようにレベルを最適に調整するため、オーバフローするような非常に大きな声も、オーバフローしない程度の声も同程度のレベルに調整され、これらを合成することで、話者それぞれの音声成分が重なってしまい、話者固有の音声特性がうもれてしまうため、明瞭度が下がってしまう。

そのため、従来の音声会議システムでは、Ｎ−１加算を採用している多者会議において、自己以外の全ての参加者の音声を合成しており、少数の参加者が同時に喋る場合よりも、複数の参加者が同時に喋った場合に合成された音声が不明瞭になるという問題がある。

そこで、本発明の目的は上記の問題点を解消し、複数の参加者が同時に喋っていても、合成した音声の明瞭度を確保することができる音声会議システム、端末装置及びそれに用いる話者優先レベル制御方法並びにそのプログラムを提供することにある。

本発明による音声会議システムは、自己の音声を加算しないＮ−１加算方式を用いる複数の端末装置を含む音声会議システムであって、前記複数の端末装置各々は、話者の優先度判定を行う優先度判定回路と、前記優先度判定回路の優先度判定結果に応じて音声レベルの調整を行うか否かを判断する判断回路と、前記判断回路の判断結果を基に会議参加者それぞれの音声に対して合成前にレベル制御を行うレベル制御回路とを備えている。

本発明による端末装置は、自己の音声を加算しないＮ−１加算方式を用いる端末装置であって、話者の優先度判定を行う優先度判定回路と、前記優先度判定回路の優先度判定結果に応じて音声レベルの調整を行うか否かを判断する判断回路と、前記判断回路の判断結果を基に会議参加者それぞれの音声に対して合成前にレベル制御を行うレベル制御回路とを備えている。

本発明による話者優先レベル制御方法は、自己の音声を加算しないＮ−１加算方式を用いる複数の端末装置を含む音声会議システムに用いる話者優先レベル制御方法であって、前記複数の端末装置各々が、話者の優先度判定を行う処理と、その優先度判定結果に応じて音声レベルの調整を行うか否かを判断する処理と、この判断結果を基に会議参加者それぞれの音声に対して合成前にレベル制御を行う処理とを実行している。

本発明による話者優先レベル制御方法のプログラムは、自己の音声を加算しないＮ−１加算方式を用いる複数の端末装置を含む音声会議システムに用いる話者優先レベル制御方法のプログラムであって、前記複数の端末装置各々のコンピュータに、話者の優先度判定を行う処理と、その優先度判定結果に応じて音声レベルの調整を行うか否かを判断する処理と、この判断結果を基に会議参加者それぞれの音声に対して合成前にレベル制御を行う処理とを実行させている。

すなわち、本発明の音声会議システムは、Ｎ−１加算方式を用いた音声会議において、Ｎ−１の音声を合成する回路の前段に、話者の優先度を判定する回路と、話者の優先度の判定結果に応じて音声信号のレベル調整を行う回路とを設け、話者の優先度を判定する回路からの情報によって会議参加者のうち、話者を優先したレベル調整を行う手段を有している。

また、本発明の音声会議システムでは、話者の優先度を判定する回路において、多数の会議参加者の音声信号レベルを話中判定閾値と比較する回路と、話中判定結果を基に喋っている状態を判断する回路と、話中判定結果から統計情報を管理する回路と、喋っている状態と統計情報とから優先度判定を行う回路とを備え、参加者に対して話者としての優先度を判定する手段を有している。

本発明の音声会議システムでは、会議参加者からの音声信号を全て入力し、出力する参加者以外の音声信号を合成することで、会議機能を実現しており、音声を合成する回路の前段に位置する話者の優先度を判定する回路において特定の話者の優先度を判定し、その判定した会議参加者からの音声信号を、非話者と判断した会議参加者からの音声信号よりも、大きくなるようにレベル調整し、音声を合成する回路に入力することで、複数の参加者が同時に話した場合の合成結果よりも、絞り込んだ話者の音声が強調され、会議の会話としての明瞭度が確保される。

従来、多くの参加者による音声会議システムにおいては、複数の参加者が同時に喋った場合、それぞれの音声信号がそのまま合成されるため、喋っている参加者の人数が多いほど、合成された音声では、参加者それぞれの音声成分が重なり合ってしまうため、音声信号として明瞭に聞こえないということになる。

そこで、本発明の音声会議システムでは、同時に喋っている会議参加者に対して、優先度を付与し、優先度の高い話者のほうが、優先度の低い話者よりも音声レベルを高くすることで、合成された音声の中に埋もれることがなくなり、会議通話としての明瞭度が確保可能となるため、多くの会議参加者が同時に喋っても、音声信号同士が重なって、不明瞭になることを防ぎ、音声会議としての品質を確保することが可能となる。

本発明は、以下に述べるような構成及び動作とすることで、複数の参加者が同時に喋っていても、合成した音声の明瞭度を確保することができるという効果が得られる。

次に、本発明の実施の形態について図面を参照して説明する。図１は本発明の実施の形態による音声会議システムに用いられる端末装置の構成を示すブロック図である。図１において、本発明の実施の形態による端末装置は、話中優先度判定ブロック１と、話者非話者判定回路２と、話者判定レベル制御回路３と、音声合成回路４とから構成され、話中優先度判定ブロック１は話中判定回路１１と、話者統計情報管理回路１２と、優先度判定回路１３と、会話状態判断回路１４とから構成されている。

図２は本発明の実施の形態による音声会議システムに用いられる端末装置の動作を示すフローチャートである。これら図１及び図２を参照して本発明の実施の形態による音声会議システムに用いられる端末装置の動作について説明する。尚、図２に示す処理は、端末装置を構成するＣＰＵ（中央処理装置）（図示せず）がプログラムを実行することでも実現可能である。

本発明の実施の形態による音声会議システムでは、Ｎ者の音声信号を、音声合成回路４においてＮ−１加算を行い、自己以外の会議参加者の音声が合成された信号をそれぞれの会議参加者に返信することで、Ｎ者の音声会議を行うシステムである。

本発明の実施の形態による端末装置では、音声合成回路４の前段に、話中優先度判定ブロック１を設け、そこで判定した結果を、会議参加者であるＮ人のそれぞれが話者か非話者かを割り当てる話者非話者判定回路２に伝達する。

本発明の実施の形態による端末装置に入力されるＮ者の音声信号は、話者判定レベル制御回路３に入力され、話者非話者判定回路２によって判定された結果に基づいてそれぞれの音声信号に対応したレベル調整を行い、音声合成回路４に入力することで、話者非話者の判定結果に基づいた音声レベルでの音声合成が行われる。

音声会議の開始によって、会議参加者の音声信号が音声会議システムの端末装置に入力される（図２ステップＳ１）。端末装置に入力されたＮ者の音声信号は、話者判定レベル制御回路３に入力されるとともに、話中優先度判定ブロック１の話中判定回路１１に入力される。

話中判定回路１１は会議参加者それぞれの音声信号を、予め定められた話中判定閾値と比較し（図２ステップＳ２）、音声信号入力が閾値を超えている場合に話中と判断し（図２ステップＳ３，Ｓ４）、閾値以下の場合に非話中と判断する（図２ステップＳ３，Ｓ６）。ここではリアルタイムで音声信号の状態が検出されて出力される。話中判定回路１１で判断された会議参加者それぞれの結果は、話者統計情報管理回路１２と喋っている状態を判断する会話状態判断回路１４とに出力される。

話者統計情報管理回路１２は話者判定の結果を監視し、話者と判定した時間を統計情報として管理する（図２ステップＳ５）。会話状態判断回路１４は話者判定回路１１の結果から、喋っているのか、喋っていない状態から喋り始めたのか、喋っていないのかを監視し（図２ステップＳ７）、会議参加者それぞれの状態を判定して出力する。話者統計情報管理回路１２及び会話状態判断回路１４各々から出力される情報は優先度判定回路１３に入力される。また、後段の話者非話者判定回路２の結果もフィードバックされ、優先度判定回路１３に入力される。

優先度判定回路１３は話者統計情報と喋っている状態と直前の話者非話者の判定結果とから話者としての優先順位を判断し、話者非話者判定回路２に対して会議参加者毎の優先情報を通知する（図２ステップＳ８）。話者非話者判定回路２は会議参加者の人数に合わせ、話者と判定する人数を予め定めておき、その条件において話者を判定し、会議参加者毎の話者か非話者かを判定した結果を話者判定レベル制御回路３に通知する（図２ステップＳ９）。

話者判定レベル制御回路３は非話者と判断された会議参加者に対して、話者よりもレベルが低くなるようにレベル調整を行う（図２ステップＳ１０）。話者判定レベル制御回路３からは話者の優先順位によって調整された会議参加者それぞれの音声信号が出力され、音声合成回路４に入力される。音声合成回路４はＮ−１加算を行い、会議参加者に自己以外の会議参加者の音声信号の加算結果を出力する（図２ステップＳ１１）。上記の各回路の処理は音声会議の終了まで繰り返し行われる（図２ステップＳ１〜Ｓ１２）。

これによって、本発明の実施の形態では、同時に喋っている会議参加者に対して、優先度を付与し、優先度の高い話者のほうが、優先度の低い話者よりも音声レベルを高くすることで、合成された音声の中に埋もれることがなくなり、会議通話としての明瞭度を確保することができる。よって、本発明の実施の形態では、多くの会議参加者が同時に喋っても、音声信号同士が重なって、不明瞭になることを防ぎ、音声会議としての品質を確保することができる。

図３は本発明の一実施例による音声会議システムでの３者会議における２者の優先判定を行う場合の遷移を示す図である。本発明の一実施例による音声会議システムは上述した図１に示す構成の端末装置から構成され、端末装置内の各回路は上述した本発明の実施の形態と同様の動作を行う。そこで、図１及び図３を参照して本発明の一実施例による音声会議システムを構成する端末装置の動作について説明する。

図３には参加者Ａ，Ｂ，Ｃという３人の会議において、２者を優先と判断する場合の動作を示している。まず、３人の会議参加者による会議が開始し、それぞれの話者判定が行われるが、図３においては、初期状態から、会議開始時点、会議中、会議終了時点までの話者判定結果を示している。

初期状態において、話者非話者判定回路２には話者判定情報がないため、初期値として「Ａ」と「Ｂ」とを話者とする。会議開始直後から、参加者Ｂが喋り始めており、話中判定回路１１では、参加者Ｂが話中で、参加者Ａ，Ｃが非話中であることを検出する。

この結果によって、話者統計情報管理回路１２では、参加者Ｂを話中として統計情報を更新する。同時に、会話状態判断回路１４においても、参加者Ｂが喋っている時間を計測し、参加者Ａ，Ｃの喋り始めの監視を継続する。優先度判定回路１３は話者統計情報管理回路１２から参加者Ｂが話中として継続しているという情報を受ける。

それと同時に、優先度判定回路１３は会話状態判断回路１４からも参加者Ｂが喋っている状態であるという情報を受ける。但し、初期値として、参加者Ａ，Ｂが話者となっており、参加者Ｃは喋っていない状態であるため、話者として判定されている参加者が変更とならないため、話者非話者判定回路２では話者を参加者Ａ，Ｂ、非話者を参加者Ｃとして継続する。その後、参加者Ｃが喋り始めることで、話中判定回路１１で話中と判断され、会話状態判断回路１４でも参加者Ｃが喋り始めたことを検出し、優先度判定回路１３に通知する。

優先度判定回路１３は話者非話者判定回路２から、それまで参加者Ｃが非話者であることも受けており、その時点での話者である参加者Ａ，Ｂと優先度の比較検証を行う。参加者Ｂは話中を継続しているが、参加者Ａは話中ではないため、直前の非話者が喋っている状態になったことで、話者から非話者への状態遷移候補となる。

優先度判定回路１３は参加者Ａを話者から非話者へと優先度を下げ、参加者Ｃの優先度を上げることで、優先度の上位２者である、参加者Ｂ，Ｃを話者として判定し、話者判定レベル制御回路３に通知する。これによって、話者判定レベル制御回路３では、参加者Ａの音声信号レベルを減衰させ、参加者Ｃの音声信号レベルを増幅する。

その後、参加者Ａが喋り始めるが、既に話者として判定されている参加者Ｂ，Ｃが喋り続けているため、話者統計情報管理回路１２では参加者Ｂ，Ｃが話者として継続している情報を更新しており、話者非話者判定回路２内では、話者から非話者への候補とはならない。これによって、話者非話者判定回路２においても、参加者Ｂ，Ｃが話者として判断され、参加者Ａの音声信号レベルは変更されない。

さらにその後、参加者Ｃが喋ることを止めると、話中判定回路１１及び会話状態判断回路１４が参加者Ｃが非話中の状態になったことを検出するので、優先度判定回路１３においては参加者Ｃが話者から非話者への候補となる。また、その時点でも参加者Ａが喋り続けていることが、話者統計情報管理回路１２や会話状態判断回路１４で検出されているため、非話者から話者への状態遷移候補となる。

これを受けて、優先度判定回路１３では参加者Ａを話者に、参加者Ｃを非話者にする優先順位を判断する。この結果、話者判定レベル制御回路３では参加者Ａの音声信号を増幅し、参加者Ｃの音声信号を減衰する。

上述したように、本実施例では、各参加者の話中状態を基に、３者中の２者に対して優先制御を行い、３者が同時に喋っても、統計情報や直前の状態を条件に、常に２者を優先させることが可能となる。

このように、本実施例では、参加者の音声信号によって話中であるかを判断し、それまでの話中状態の統計情報と喋り始めや喋り終わりの変化検出とによって、話者と判断するための優先度を決定している。また、本実施例では、予め参加者中の何人を優先するかを決めておき、喋っている参加者の中から、条件に合う参加者の優先順位を判断する。

本実施例では、その判断結果によって、話者と判断された参加者の音声レベルを大きくし、非話者と判断された参加者の音声レベルを小さく制御し、会議のための合成時に非話者よりも話者の音声成分が大きく残るようにすることで、会議通話の明瞭度を確保している。

したがって、本実施例では、同時に喋っている会議参加者に対して、優先度を付与し、優先度の高い話者のほうが、優先度の低い話者よりも音声レベルを高くすることで、合成された音声の中に埋もれることがなくなり、会議通話としての明瞭度を確保することができる。よって、本実施例では、多くの会議参加者が同時に喋っても、音声信号同士が重なって、不明瞭になることを防ぎ、音声会議としての品質を確保することができる。

本発明の実施の形態による音声会議システムに用いられる端末装置の構成を示すブロック図である。 本発明の実施の形態による音声会議システムに用いられる端末装置の動作を示すフローチャートである。 本発明の一実施例による音声会議システムでの３者会議における２者の優先判定を行う場合の遷移を示す図である。

符号の説明

１ 話中優先度判定ブロック
２ 話者非話者判定回路
３ 話者判定レベル制御回路
４ 音声合成回路
１１ 話中判定回路
１２ 話者統計情報管理回路
１３ 優先度判定回路
１４ 会話状態判断回路

Claims (10)

1. 自己の音声を加算しないＮ−１加算方式を用いる複数の端末装置を含む音声会議システムであって、前記複数の端末装置各々は、話者の優先度判定を行う優先度判定回路と、前記優先度判定回路の優先度判定結果に応じて音声レベルの調整を行うか否かを判断する判断回路と、前記判断回路の判断結果を基に会議参加者それぞれの音声に対して合成前にレベル制御を行うレベル制御回路とを有することを特徴とする音声会議システム。
2. 前記優先度判定回路は、多数の会議参加者の音声信号レベルを話中判定閾値と比較する話中判定回路と、前記話中判定回路の話中判定結果を基に喋っている状態を判断する判断回路と、前記話中判定回路の話中判定結果から統計情報を管理する管理回路と、前記判断回路の判断結果と前記管理回路で管理する統計情報とから前記優先度判定を行う判定回路とを含むことを特徴とする請求項１記載の音声会議システム。
3. 前記レベル制御回路は、話者と判断された参加者の音声レベルを大きくし、非話者と判断された参加者の音声レベルを小さくし、会議のための合成時に非話者よりも話者の音声成分が大きく残るようにすることを特徴とする請求項１または請求項２記載の音声会議システム。
4. 自己の音声を加算しないＮ−１加算方式を用いる端末装置であって、話者の優先度判定を行う優先度判定回路と、前記優先度判定回路の優先度判定結果に応じて音声レベルの調整を行うか否かを判断する判断回路と、前記判断回路の判断結果を基に会議参加者それぞれの音声に対して合成前にレベル制御を行うレベル制御回路とを有することを特徴とする端末装置。
5. 前記優先度判定回路は、多数の会議参加者の音声信号レベルを話中判定閾値と比較する話中判定回路と、前記話中判定回路の話中判定結果を基に喋っている状態を判断する判断回路と、前記話中判定回路の話中判定結果から統計情報を管理する管理回路と、前記判断回路の判断結果と前記管理回路で管理する統計情報とから前記優先度判定を行う判定回路とを含むことを特徴とする請求項４記載の端末装置。
6. 前記レベル制御回路は、話者と判断された参加者の音声レベルを大きくし、非話者と判断された参加者の音声レベルを小さくし、会議のための合成時に非話者よりも話者の音声成分が大きく残るようにすることを特徴とする請求項４または請求項５記載の端末装置。
7. 自己の音声を加算しないＮ−１加算方式を用いる複数の端末装置を含む音声会議システムに用いる話者優先レベル制御方法であって、前記複数の端末装置各々が、話者の優先度判定を行う処理と、その優先度判定結果に応じて音声レベルの調整を行うか否かを判断する処理と、この判断結果を基に会議参加者それぞれの音声に対して合成前にレベル制御を行う処理とを実行することを特徴とする話者優先レベル制御方法。
8. 前記複数の端末装置各々が、前記優先度を判定する際に、多数の会議参加者の音声信号レベルを話中判定閾値と比較する処理と、その話中判定結果を基に喋っている状態を判断する処理と、その話中判定結果から統計情報を管理する処理と、前記喋っている状態の判断結果と前記統計情報とから前記優先度判定を行う処理とを実行することを特徴とする請求項７記載の話者優先レベル制御方法。
9. 前記複数の端末装置各々が、前記レベル制御を行う際に、話者と判断された参加者の音声レベルを大きくし、非話者と判断された参加者の音声レベルを小さくし、会議のための合成時に非話者よりも話者の音声成分が大きく残るようにすることを特徴とする請求項７または請求項８記載の話者優先レベル制御方法。
10. 自己の音声を加算しないＮ−１加算方式を用いる複数の端末装置を含む音声会議システムに用いる話者優先レベル制御方法のプログラムであって、前記複数の端末装置各々のコンピュータに、話者の優先度判定を行う処理と、その優先度判定結果に応じて音声レベルの調整を行うか否かを判断する処理と、この判断結果を基に会議参加者それぞれの音声に対して合成前にレベル制御を行う処理とを実行させるためのプログラム。

Images