JP2008116534A

JP2008116534A - 音声通信装置

Info

Publication number: JP2008116534A
Application number: JP2006297474A
Authority: JP
Inventors: Takuya Tamaru; 卓也田丸; Katsuichi Osakabe; 勝一刑部
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2006-11-01
Filing date: 2006-11-01
Publication date: 2008-05-22
Anticipated expiration: 2026-11-01
Also published as: JP4840082B2

Abstract

【課題】話者を識別可能な程度で補正して、聞き手にとって聞き取り易い音で放音させることができる音声通信装置を提供する。
【解決手段】音声信号補正部１９は収音音声補正制御信号をメイン制御部１０から受け付けると、ホルマント検出部１９１で、収音音声信号のホルマントを検出する。補正制御用ＣＰＵ１９０は、検出されたホルマントと、ＥＱテーブル１９４から読み出した各音声特徴量グループに対応するホルマントとを比較する。補正制御用ＣＰＵ１９０は、最も類似性の高いホルマントに対応するグループＧのＥＱ補正係数を読み出し、収音用ＥＱ処理部１９２に与える。収音用ＥＱ処理部１９２は、与えられたＥＱ補正係数に従い、収音音声信号をイコライザ処理して通信制御部１１に出力する。
【選択図】図３

Description

この発明は、自装置の収音音声信号を相手先装置に送信し、相手先装置からの放音用音声信号を受信して放音する音声通信装置に関するものである。

現在、互いに離れた複数地点間をネットワークで接続して音声会議等を行う音声通信システムが各種考案されている。

例えば、特許文献１には、それぞれの地点にメインユニットと、会議者数に応じたマイク、スピーカ、ＲＦＩＤ読み取り装置とを、備え、各メインユニット間をネットワークで接続して音声会議を行う音声会議システムが開示されている。

ところで、このような音声会議システムでは、いろいろな声質や声量の会議者が参加するため、声質および声量によっては相手先の会議者が聞こえ難い場合がある。これを解決する方法として、特許文献１では、ユーザ毎に予め音声補正量を記憶しておき、会議の際にはＲＦＩＤ等で話者識別を行い、識別した話者毎に特有の音声補正を行っている。また、音質補正の方法として、特許文献２には、話者のホルマントを検出して、聞きやすいホルマントに変形する方法が開示されている。
特開２００５−８０１１０公報特開平１−９３７９６号公報

しかしながら、特許文献１の方法では、会議に参加し得るユーザ全ての識別情報および音声補正量を予め記憶しておかなければならず、ユーザ識別処理が煩雑になってしまう。また、新たなユーザが会議に参加する場合には、その都度ユーザ毎の識別情報取得処理を行わなければならず、ユーザにとって使い勝手が悪かった。

また、特許文献２の方法では、ホルマントを完全に変形してしまうことで、聞き手にとっては話者が誰なのかを確実に識別することができなかった。

したがって、本発明の目的は、聞き取り難い声質や声量の話者からの音声であっても、当該話者を識別可能な程度で補正して、聞き手にとって聞き取り易い音で放音させることができる音声通信装置を構成することにある。

この発明の音声通信装置は、自装置周りの会議者の発声音を収音する収音手段と、収音音声信号の音声特徴量を解析して、予め設定された複数の音声特徴量グループから該当する音声特徴量グループを検出する収音音声特徴量検出手段と、検出した音声特徴量グループに応じた音声補正処理を行う収音音声補正手段と、音声補正処理後の収音音声信号を相手先装置に送信する通信手段と、を備えたことを特徴としている。

この構成では、収音手段が収音した収音音声信号の音声特徴量を収音音声特徴量検出手段が検出し、該当する音声特徴量グループが決定される。収音音声補正手段は、決定された音声特徴量グループに応じた音声補正を行い、通信手段は、補正後の収音音声信号を相手先装置に送信する。このような音声補正を行うことで、音質、音量に応じて適当な幅を持たせたグループ単位で補正量が設定される。

また、この発明の音声通信装置は、相手先装置から放音用音声信号を受信する通信手段と、受信した放音用音声信号の音声特徴量を解析して、予め設定された複数の音声特徴量グループから該当する音声特徴量グループを検出する放音用音声特徴量検出手段と、検出した音声特徴量グループに応じた音声補正処理を行う放音用音声補正手段と、音声補正処理後の放音用音声信号に基づいて放音する放音手段と、を備えたことを特徴としている。

この構成では、通信手段が受信した放音用音声信号の音声特徴量を放音用音声特徴量検出手段が検出し、該当する音声特徴量グループが決定される。放音用音声補正手段は、決定された音声特徴量グループに応じた音声補正を行い、放音手段は、補正後の放音用音声信号に基づいて放音する。このような音声補正を行うことでも、音質、音量に応じて適当な幅を持たせたグループ単位で補正量が設定される。

また、この発明の音声通信装置は、前述の収音・収音音声補正・送信機能に加え、通信手段で相手先装置からの放音用音声信号を受信するとともに、受信した放音用音声信号の音声特徴量を解析して、予め設定された複数の音声特徴量グループから該当する音声特徴量グループを検出する放音用音声特徴量検出手段と、検出した音声特徴量グループに応じた音声補正処理を行う放音用音声補正手段と、音声補正処理後の放音用音声信号に基づいて放音する放音手段と、を備えたことを特徴としている。

この構成では、前述の収音音声信号の音質補正と放音用音声信号の音質補正とをともに実行することが可能な音声通信装置が得られる。この際、音声特徴量の解析と、音声特徴量グループの識別は一つの素子で実現が可能となる。

また、この発明の音声通信装置は、音声特徴量グループを、言語種類による分類、性別による分類、世代による分類の少なくとも一種または複数の組み合わせにより設定することを特徴としている。

この構成では、音声特徴量グループが、「日本語」と「英語」、「女」と「男」、「子供」と「成人（青年期）」と「成人（老年期）」、のように、それぞれに音声特徴量の違いが取得可能な基準で分類される。そして、このグループ毎に個別の音声補正特性を与えることで、どのグループに属する音声が収音されたり、音声信号を受信したりしても、適宜聞きやすいように補正される。

この発明によれば、自装置の収音音声信号や相手装置からの放音用音声信号が音声特徴量により分類され、分類毎に応じた音質補正が行われることで、補正を行わなければ聞き取り難い音声を含むどのような音声であっても、聞き取り易い音声に補正してユーザに放音することができる。これにより、ユーザは常に聞き取り易い音声を聞くことができ、快適な音声会議を行うことができる。

本発明の実施形態に係る音声通信装置と当該音声通信装置を用いた音声通信システムについて図を参照して説明する。
図１は本実施形態の音声通信システムの構成図である。
図２は本実施形態の音声通信装置の主要構成を示すブロック図である。

図１に示すように、本実施形態の音声通信システムは、各地点ａ，ｂに設置された各音声通信装置１１１Ａ，１１１Ｂを、ネットワーク１００で接続した構成からなる。

地点ａに設置された音声通信装置１１１Ａは、自装置の周囲に在席する会議者Ａ〜会議者Ｇの発言を収音して収音音声信号を生成し、音声データに変換してネットワーク１００経由で送信する。また、音声通信装置１１１Ａは、ネットワーク１００経由で取得した音声データから放音用音声信号（相手装置（例えば、音声通信装置１１１Ｂ）の収音音声信号）を取得し、会議者Ａ〜会議者Ｇに聞こえるように放音する。一方、地点ｂに設置された音声通信装置１１１Ｂは、自装置の周囲に在席する会議者Ｈ〜会議者Ｌの発言を収音して収音音声信号を生成し、音声データに変換してネットワーク１００経由で送信する。また、音声通信装置１１１Ｂは、ネットワーク１００経由で受信した音声データから放音用音声信号（相手装置（例えば、音声通信装置１１１Ａ）の収音音声信号）を取得し、会議者Ｈ〜会議者Ｌに聞こえるように放音する。

二地点ａ，ｂに設置された音声通信装置１１１Ａ，１１１Ｂは、同じ構成からなり、図２に示す構造からなる。以下、音声通信装置１１１Ａ，１１１Ｂに共通する機能に関しては音声通信装置１１１として説明する。

図２に示すように、音声通信装置１１１は、メイン制御部１０、通信制御部１１、放音制御部１２、Ｄ／Ａコンバータ１３、放音用アンプ（ＡＭＰ）１４、スピーカＳＰ１〜ＳＰ１６、マイクＭＩＣ１０１〜ＭＩＣ１１６，ＭＩＣ２０１〜ＭＩＣ２１６、収音アンプ（ＡＭＰ）１５、Ａ／Ｄコンバータ１６、収音制御部１７、エコーキャンセル部１８、音声信号補正部１９、操作部２０を備える。

本実施形態の音声通信装置１１１は、筐体が一方向に長尺な略直方体形状からなる。なお、以下の説明では、筐体の四側面のうち、長尺な面を長尺面、短尺な面を短尺面と称する。

筐体の上面における長尺な方向の一方端には、複数のボタンや表示画面からなる操作部２０が設置されている。これら操作部２０は筐体内に設置されたメイン制御部１０に接続し、会議者からの操作入力を受け付けて、メイン制御部１０に出力するとともに、操作内容や実行モード等を表示画面に表示する。また、筐体における操作部２０が設置された側の短尺面には、図示しないが、ネットワーク接続端子等の各種入出力インターフェース端子が設置されている。

音声通信装置１１１の筐体の下面には、同形状からなるスピーカＳＰ１〜ＳＰ１６が設置されている。これらスピーカＳＰ１〜ＳＰ１６は長尺方向に沿って一定の間隔で直線状に設置されており、これによりスピーカアレイが構成される。筐体の一方の長尺面には、同形状からなるマイクＭＩＣ１０１〜ＭＩＣ１１６が設置されている。これらマイクＭＩＣ１０１〜ＭＩＣ１１６は長尺方向に沿って一定の間隔で直線状に設置されており、これによりマイクアレイが構成される。また、筐体の他方の長尺面にも、同形状からなるマイクＭＩＣ２０１〜ＭＩＣ２１６が設置されている。これらマイクＭＩＣ２０１〜ＭＩＣ２１６も長尺方向に沿って一定の間隔で直線状に設置されており、これによりマイクアレイが構成される。そして、筐体の下面側には、これらスピーカアレイおよびマイクアレイを覆う形状で形成され、パンチメッシュされた下面グリル（図示せず）が設置されている。なお、本実施形態では、スピーカアレイのスピーカ数を１６本とし、各マイクアレイのマイク数をそれぞれ１６本としたが、これに限ることなく、仕様に応じてスピーカ数およびマイク数は適宜設定すればよい。

メイン制御部１０は、音声会議装置の全体制御を行うとともに、操作部２０から入力される電源オン／オフ等の制御や、その他信号処理系の各種制御を行う。また、メイン制御部１０は、操作部２０を介して会議者から放音用音声補正制御を受け付けると、放音用音声補正制御信号を音声信号補正部１９に与える。また、メイン制御部１０は、操作部２０を介して会議者から収音音声補正制御を受け付けると、収音音声補正制御信号を音声信号補正部１９に与える。また、メイン制御部１０は、後述する収音制御部１７から、話者方位データを取得すると、通信制御部１１に与える。

通信制御部１１は、受信側の機能として、ネットワーク１００に接続し、ネットワーク１００を介して受信した他装置からの音声データから話者方位データと放音用音声信号とを復調して、話者方位データをメイン制御部１０へ、放音用音声信号を音声信号補正部１９に出力する。

音声信号補正部１９は、受信側機能として、メイン制御部１０から放音用音声補正制御信号を受け付けると、通信制御部１１からの放音用音声信号を補正して、エコーキャンセル部１８を介して放音制御部１２に補正後の放音用音声信号を出力する。一方、音声信号補正部１９は、メイン制御部１０から放音用音声補正制御信号を受けなければ、通信制御部１１からの放音用音声信号をそのままエコーキャンセル部１８を介して放音制御部１２に出力する。なお、音声信号補正部１９の詳細な構成および動作は後述する。

放音制御部１２は、相手装置からの話者方位データに基づいてメイン制御部１０が設定した放音制御データを取得すると、入力された放音用音声信号に対して遅延処理や振幅処理等を行って、音声会議装置の周りに在席する全ての会議者へ同等に放音する特性で放音ビームを形成するように、各スピーカＳＰ１〜ＳＰ１６に対応する個別放音信号を生成する。

各Ｄ／Ａコンバータ１３は、入力された個別放音信号をディジタル−アナログ変換して、各放音アンプ１４に与え、各放音アンプ１４はアナログ化された個別放音信号を増幅して、各スピーカＳＰ１〜ＳＰ１６に与える。各スピーカＳＰ１〜ＳＰ１６は、入力された電気的な個別放音信号を音声に変換して放音する。

マイクＭＩＣ１０１〜ＭＩＣ１１６、ＭＩＣ２０１〜ＭＩＣ２１６は、自装置の周囲に在席する話者からの発声音を含む周囲の音を収音して電気的な収音信号に変換し、収音アンプ１５に与える。収音アンプ１５は収音信号を増幅してＡ／Ｄコンバータ１６に与え、Ａ／Ｄコンバータ１６は、アナログ形式の収音信号をディジタル変換して、収音制御部１７に出力する。

収音制御部１７は、各マイクＭＩＣ１０１〜ＭＩＣ１１６，ＭＩＣ２０１〜ＭＩＣ２１６の収音信号に対して遅延処理等を行い、各会議者の方位を含む所定方位に強い指向性を有する収音ビーム信号を生成する。収音制御部１７は、生成した各方位の収音ビーム信号の振幅を比較し、最も振幅の大きい収音ビーム信号を選択して、収音音声信号としてエコーキャンセル部１８に出力する。また、収音制御部１７は、選択した収音ビーム信号に対応する収音方位を抽出して、前記話者方位データとしてメイン制御部１０に与える。

エコーキャンセル部１８は、適応型フィルタとポストプロセッサとを備え、適応型フィルタで放音用音声信号に基づく擬似回帰音信号を生成して、収音制御部１７の収音音声信号から擬似回帰音信号を減算して、音声信号補正部１９に出力する。このようなエコーキャンセル処理を行うことで、スピーカＳＰからマイクＭＩＣへの回り込み音が抑圧される。

音声信号補正部１９は、送信側機能として、メイン制御部１０から収音音声補正制御信号を受け付けると、エコーキャンセル部１８から出力された収音音声信号を補正して、通信制御部１１に出力する。一方、音声信号補正部１９は、メイン制御部１０から収音音声補正制御信号を受けなければ、エコーキャンセル部１８から出力された収音音声信号をそのまま通信制御部１１に出力する。なお、音声信号補正部１９の詳細な構成および動作は後述する。

通信制御部１１は、送信側機能として、音声信号補正部１９からの収音音声信号に対して、メイン制御部１０からの話者方位データと、装置ＩＤデータとを添付して、ネットワーク通信形式の音声データに変換し、ネットワーク１００に送信する。

次に、音声信号補正部１９の構成および動作処理について、より具体的に説明する。
図３は図２に示した音声信号補正部１９の主要構成を示すブロック図である。また、図４はＥＱテーブル１９４に記憶されている音声特徴量グループの例を示す図である。

図３に示すように、音声信号補正部１９は、補正制御用ＣＰＵ１９０、ホルマント検出部１９１、収音用ＥＱ処理部１９２、放音用ＥＱ処理部１９３、メモリであるＥＱテーブル１９４を備える。

ＥＱテーブル１９４には、ホルマントの特徴が異なる組み合わせ毎に分類された音声特徴量グループが記憶されている。例えば、図４に示すように、「日本語と英語」、「女性と男性」、「子供、成人（青年期）、成人（老年期）」をそれぞれホルマントの異なる三種類の組み合わせとして設定し、これら三種類より分類される１２通りの音声特徴量グループＧ１１〜Ｇ１３，Ｇ２１〜Ｇ２３，Ｇ３１〜Ｇ３３，Ｇ４１〜Ｇ４３が記憶されている。各音声特徴量グループＧに対応して記憶されている内容は、グループ名称Ｇと、各グループの特徴となるホルマントと、音声信号のＥＱ補正特性である。例えば、グループＧ１２であれば、グループ名称Ｇ１２と、「日本語」、「女性」、「成人（青年）」の組み合わせを代表する一般的なホルマントと、当該ホルマントの音声信号を一般的な人が聞きやすいフラットな周波数特性の音声信号に変換するためのＥＱ補正係数が記憶されている。なお、組み合わせ基準は、この例に限らず、さらに、「早口」と「ゆっくり」との組み合わせによる基準等のさらに細かい基準を追加して設定してもよい。また、ホルマント以外の基本周波数、ピッチ、イントネーション、ケプストラム等の音声特徴パラメータを設定するようにしてもよい。

＜放音用音声信号を音声補正する場合＞
ホルマント検出部１９１は、放音用音声補正制御信号をメイン制御部１０から受け付けると、通信制御部１１から入力される放音用音声信号を所定タイミング毎に所定時間長で区切ってホルマントを検出し、補正制御用ＣＰＵ１９０に与える。
補正制御用ＣＰＵ１９０は、放音用音声補正制御信号をメイン制御部１０から受け付けると、放音用音声補正処理を行う。具体的には、補正制御用ＣＰＵ１９０は、ホルマント検出部１９１が検出したホルマントと、ＥＱテーブル１９４に記憶された各グループＧのホルマントとの類似性を検出して、最も類似性が高いグループを選択する。補正制御用ＣＰＵ１９０は、選択したグループＧのＥＱ補正係数を読み出し、放音用ＥＱ処理部１９３に与える。

放音用ＥＱ処理部１９３は、与えられたＥＱ補正係数を用いて、通信制御部１１からの放音音声信号をイコライザ処理して、例えば、略平坦な周波数特性からなる放音音声信号に変換して放音制御部１２に出力する。

＜収音音声信号を音声補正する場合＞
ホルマント検出部１９１は、収音音声補正制御信号をメイン制御部１０から受け付けると、エコーキャンセル部１８から出力された収音音声信号を所定タイミング毎に所定時間長で区切ってホルマントを検出し、補正制御用ＣＰＵ１９０に与える。
補正制御用ＣＰＵ１９０は、収音音声補正制御信号をメイン制御部１０から受け付けると、収音音声補正処理を行う。具体的には、補正制御用ＣＰＵ１９０は、ホルマント検出部１９１が検出したホルマントと、ＥＱテーブル１９４に記憶された各グループＧのホルマントとの類似性を検出して、最も類似性が高いグループを選択する。補正制御用ＣＰＵ１９０は、選択したグループＧのＥＱ補正係数を読み出し、収音用ＥＱ処理部１９２に与える。

収音用ＥＱ処理部１９２は、与えられたＥＱ補正係数を用いて、エコーキャンセル部１８からの収音音声信号をイコライザ処理して、例えば、略平坦な周波数特性からなる放音音声信号に変換して通信制御部１１に出力する。

このようなイコライザ処理により放音音声信号を補正することで、オリジナル音声が聞き難い場合でも明確に音声を聞き取ることができる。さらに、従来のように直接ホルマントを修正するよりも、元の音声の余韻を残すことができるので、聞き手は、話者を判別しやすい。

また、従来のように話者同定を行ってから、話者毎に補正特性を読み出して補正を行うよりも、簡素な処理で音質を補正することができる。これにより、より確実で且つ素早く音質補正を行うことができる。

なお、前述の装置では、放音用音声信号の補正処理を行う機能部と収音音声信号の補正処理を行う機能部とを同時に備える構成を示した。しかしながら、収音側の音声通信装置と放音側の音声通信装置とが分かれているような場合には、収音側の音声通信装置は収音音声信号の補正処理を行う機能部のみを備え、放音側の音声通信装置は放音用音声信号の補正処理を行う機能のみを備えるようにすればよい。

また、前述の装置では、放音用音声信号を一括で音質補正して、全ての会議者に対して同じ音質で放音する場合を示した。しかしながら、会議者の全てが同じ聴覚特性を有するわけではないので、会議者毎に音質補正特性を設定しても良い。この場合、前述のＥＱ補正特性に追加して、会議者から操作部２０等により入力される追加補正特性に基づくＥＱ補正を実行することで、会議者毎に個別の音質補正を行うことができる。このような構成とすることで、各会議者は、さらに自分に合った音質で相手装置の会議者の発言を聞き取ることができる。

本発明の音声通信システムの構成図である。本発明の実施形態の音声通信装置の主要構成を示すブロック図である。図２に示した音声信号補正部１９の主要構成を示すブロック図である。ＥＱテーブル１９４に記憶されている音声特徴量グループの例を示す図である。

符号の説明

１００−ネットワーク、１１１，１１１Ａ，１１１Ｂ−音声通信装置、１０−メイン制御部、１１−通信制御部、１２−放音制御部、１３−Ｄ／Ａコンバータ、１４−放音用アンプ、１５−収音アンプ、１６−Ａ／Ｄコンバータ、１７−収音制御部、１８−エコーキャンセル部、１９−音声信号補正部、１９０−補正制御用ＣＰＵ、１９１−ホルマント検出部、１９２−収音用ＥＱ処理部、１９３−放音用ＥＱ処理部、１９４−ＥＱテーブル、２０−操作部

Claims

自装置周りの会議者の発声音を収音する収音手段と、
収音音声信号の音声特徴量を解析して、予め設定された複数の音声特徴量グループから該当する音声特徴量グループを検出する収音音声特徴量検出手段と、
検出した音声特徴量グループに応じた音声補正処理を行う収音音声補正手段と、
音声補正処理後の収音音声信号を相手先装置に送信する通信手段と、を備えた音声通信装置。
相手先装置から放音用音声信号を受信する通信手段と、
受信した放音用音声信号の音声特徴量を解析して、予め設定された複数の音声特徴量グループから該当する音声特徴量グループを検出する放音用音声特徴量検出手段と、
検出した音声特徴量グループに応じた音声補正処理を行う放音用音声補正手段と、
音声補正処理後の放音用音声信号に基づいて放音する放音手段と、を備えた音声通信装置。
前記通信手段は、相手先装置からの放音用音声信号を受信するとともに、
受信した放音用音声信号の音声特徴量を解析して、予め設定された複数の音声特徴量グループから該当する音声特徴量グループを検出する放音用音声特徴量検出手段と、
検出した音声特徴量グループに応じた音声補正処理を行う放音用音声補正手段と、
音声補正処理後の放音用音声信号に基づいて放音する放音手段と、を備えた請求項１に記載の音声通信装置。
前記音声特徴量グループは、言語種類による分類、性別による分類、世代による分類の少なくとも一種または複数の組み合わせにより設定される請求項１〜３のいずれかに記載の音声通信装置。