JP2006343642A

JP2006343642A - 音声認識方法、音声認識装置、プログラム、記録媒体

Info

Publication number: JP2006343642A
Application number: JP2005170826A
Authority: JP
Inventors: Satoru Kobashigawa; 哲小橋川; Atsunori Ogawa; 厚徳小川
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2005-06-10
Filing date: 2005-06-10
Publication date: 2006-12-21

Abstract

【課題】クロストークが起きがちな電話による会話の音声認識率を向上する。
【解決手段】
受話信号に送話信号が回り込む側音を抑圧処理する側音抑圧処理過程と、送信信号の音声区間を検出する送話音声区間検出過程と、側音抑圧処理過程で抑圧処理後の受話信号の音声区間を検出する受話音声区間検出過程と、送話音声区間検出過程及び受話音声区間検出過程で検出した各音声区間情報を管理し、送話音声区間では同時に受話音声区間でなく、受話音声区間では同時に送話音声区間でないことを判定する音声区間情報管理過程と、この音声区間情報管理過程で管理されている音声区間情報に従って音声区間の音声信号を抽出する音声信号抽出過程と、抽出された音声信号を音声認識処理する音声認識処理過程とを含む。
【選択図】図１

Description

本発明は電話機から送話信号と受話信号とを取り出し、これら送話信号と受話信号とを別々に音声認識するための音声認識方法、音声認識装置、音声認識プログラム、このプログラムを記録した記録媒体に関する。

図３に示すように電話機１９とハンドセット１８の間の回線から、ハンドセット１８のマイク部１１に接続した送話信号に相当する回路と、ハンドセット１８のスピーカ部１２に接続した受話信号に相当する回線を分岐する分岐装置２０（例えば特許文献１）があり、この分岐装置２０の送話端子及び受話端子をそれぞれ分けて送話信号と受話信号とを別々に音声認識する音声認識装置１１０は容易に考えられる。この従来の分岐装置２０により送話信号のみを取り出すことは可能である。通常の電話機１９で電話機１９の内部の側音回路１５で送話信号が受話信号に回り込んだ側音が受話信号に重畳することになり、受話信号のみを取り出すのは難しい課題があるが、これについてはエコーキャンセラや種々の音源分離技術を用いることで受話信号から側音信号をある程度除去することができる。
特開昭６０−２２３３７０号公報

ところで、送話側の話者と受話側の話者が同時に発言するクロストーク状態の場合、それぞれの発話は通常の発話とは異なり乱れた発話となる。音声認識方法では、この乱れた発話が誤認識の要因となり、発話全体に対する誤認識性能の劣化を招く。特にクロストークの場面で、途中から割り込んだ方の発話を認識する場合は、文頭が誤認識となるため、前の単語や音素に依存した尤度を用いる一般的な音声認識処理方式では、クロストーク外の発話にまで悪影響を及ぼしてしまうおそれがある。また、クロストーク状態の場合、受話側の信号には、エコーキャンセラ等で除去しきれない側音の消し残り信号が重畳しているため、この消し残り信号のため、認識性能が劣化する可能性が高い。

この発明による音声認識方法は送信部と受信部とを備えた電話機の送話信号と受話信号とを別々に音声認識処理するための音声認識方法において、受話信号に送話信号が回り込む側音を抑圧処理する側音抑圧処理過程と、送話信号の音声区間を検出する送話音声区間検出過程と、側音抑圧処理過程で抑圧処理後の受話信号の音声区間を検出する受話音声区間検出過程と、送話音声区間検出過程及び受話音声区間検出過程で検出した各音声区間情報を管理する音声区間情報管理過程と、この音声区間情報管理過程で管理されている音声区間情報に従って音声区間の音声信号を抽出する音声信号抽出過程と、抽出された音声信号を音声認識処理する音声認識処理過程とを含むことを特徴とする。

更に、この発明による音声認識方法は音声区間情報管理過程で送話音声区間検出過程と、受話音声区間検出過程で検出した各音声区間に従って、送話音声区間が同時に受話音声区間でないことを判定し、この送話音声区間を送話信号抽出区間と定める送話信号抽出区間決定過程と、受話音声区間が同時に送話音声区間でないことを判定し、この受話音声区間を受話信号抽出区間と定める受話信号抽出区間決定過程とを含むことを特徴とするものである。

従来では送話と受話が共に発話状態となるクロストーク状態の音声も認識処理に送り込まれてしまったのに対して、この発明によれば送話と受話毎に音声区間の検出を行い、その片方のみが発話状態の区間を検出して音声認識処理を行うことにより、通常の発話に近い信号の音声区間が得られ、発話全体として高い認識性能が得られる。特に、送話信号に対して認識処理を行う場合、側音信号と送話信号の間の時間遅れは比較的少なく、送話音声が無い区間は、受信信号にあまり側音信号が重畳していないため、この区間の送話信号の音声認識性能が高く、認識対象としての区間を絞ることで、送話信号全体の認識性能改善が得られる。また、信頼性の低いクロストーク区間の信号を認識処理しないことで、全体の認識処理における計算量の削減やメモリ使用量を低減できる利点が得られる。

この発明による音声認識方法及び音声認識装置はハードウェアによって実現し、実行することができる。しかしながら、それより簡素に実現するにはコンピュータにこの発明による音声認識方法で提案する手順に従って音声認識処理を実行させる形態が最良の実施形態である。
コンピュータによりこの発明による音声認識方法を実行させるには、コンピュータに受話信号に送話信号が回り込む側音を抑圧処理する側音抑圧部と、送話信号の音声区間を検出する送話音声区間検出部と、側音抑圧部で抑圧処理後の受話信号の音声区間を検出する受話音声区間検出部と、送話音声区間検出部及び受話音声区間検出部で検出した各音声区間情報を管理する音声区間情報管理部と、この音声区間情報管理部で管理されている音声区間情報に従って各音声区間の音声信号を抽出する音声信号抽出部と、この音声信号抽出部で抽出した音声信号を音声認識処理する音声認識処理部とを構築し、音声認識装置として機能させる。

ここで特にこの発明では音声区間情報管理部に、送話音声区間検出部と、受話音声区間検出部で検出した各音声区間に従って、送話音声区間が同時に受話音声区間でないことを判定し、この送話音声区間を送話信号抽出区間と定める送話信号抽出区間決定部と、受話音声区間が同時に送話音声区間でないことを判定し、この受話音声区間を受話信号抽出区間と定める受話信号抽出決定部とを構築し、音声認識装置として機能させる。

図１にこの発明による音声認識方法に従って動作する音声認識装置の実施例を示す。図３と対応する部分に同一符号を付して示す。ここでも分岐装置２０で分岐した送話信号と受話信号とをそれぞれ音声認識装置１１０へ入力する点は図３の説明と同じである。
この発明では音声認識装置１１０に例えばエコーキャンセラ等で構成した側音抑圧処理部２１を設け、この側音抑圧処理部２１で受話信号に回り込む側音信号を除去する。これと共に、送話信号は送話音声区間検出部２２で音声区間と非音声区間とに仕分けるする。また受話音声区間検出部２３では側音抑圧処理された受話信号の音声区間と非音声区間とに仕分けされる。これら送話音声区間検出部２２と受話音声区間検出部２３で検出された音声区間情報はそれぞれ音声区間情報管理部２４へ入力され、音声区間情報管理部２４で管理される。

音声区間情報管理部２４には送話音声区間と判定された区間に関して同時に受話音声区間でないことを判定し、この音声区間を送話音声抽出区間と決定する送話信号抽出区間決定部２４Ａと、受話音声区間と判定された区間に関して同時に送話音声区間でないことを判定し、その音声区間を受話音声抽出区間と決定する受話信号抽出区間決定部２４Ｂとを備え、これら送話信号抽出区間決定部２４Ａと、受話信号抽出区間決定部２４Ｂで決定した信号抽出区間に従って送話信号抽出部２５と受話信号抽出部２６で送話音声信号と受話音声信号とを抽出し、その抽出した送話音声信号と受話音声信号をそれぞれ送話信号録音部１６と受話信号録音部１７で録音し、その録音した送話信号と受話信号を用いて音声認識処理部１１１で音声認識処理を行なう。

図２にこの発明による音声認識プログラムで実行される処理手順を示す。側音抑圧処理部２１で送話信号の入力に対する受話信号への側音信号の回り込みを抑圧する（ステップＳ１）。
送話信号及び受話信号のそれぞれに対して音声区間検出部２２と２３で音声区間を検出する（ステップＳ２）。
この各音声区間情報から音声区間情報管理部２４で送話音声のみ及び受話音声のみの区間を決定する（ステップＳ３〜Ｓ４）。

音声区間抽出部２５と２６で送話音声信号のみ及び受話音声信号のみを抽出する（ステップＳ５〜Ｓ６）。
音声認識処理部１１１で音声認識を行なう（ステップＳ７）。
上述したように、この発明による音声認識方法によれば音声認識対象となる音声にはクロストーク部分を含まないから、クロストーク部分に起因する誤認識の発生率を低減することができる。この結果として全体として正解率が高い音声認識結果を得ることができる。また、音声認識する音声区間にクロストーク部分を含まないことから、全体の認識処理における計算量の低減やメモリの使用量を低減できる利点も得られる。

上述したこの発明による音声認識方法及びこの音声認識方法で定める手順に従って動作する音声認識装置はハードウェアによって構成することもできるが、最も簡素に実現するにはコンピュータにこの発明による音声認識プログラムをインストールし、コンピュータに音声認識装置として機能させる実施形態が最良である。
この発明による音声認識プログラムはコンピュータが解読可能なプログラム言語によって記述され、コンピュータが読み取り可能な磁気ディスク或いはＣＤ−ＲＯＭのような記録媒体に記録され、これらの記録媒体から或いは通信回線を通じてコンピュータにインストールされる。インストールされたプログラムがコンピュータに備えられたＣＰＵで解読されることにより、コンピュータは図２に示した手順に従って音声認識動作を実行する。

この発明による音声認識方法及び音声認識装置は電話を用いた音声自動案内装置或いは音声自動予約等の分野で活用される。

この発明による音声認識装置の実施例を説明するためのブロック図。この発明による音声認識方法の手順を説明するためのフローチャート。従来の技術を説明するためのブロック図。

符号の説明

１１マイク部２２送話音声区間検出部
１２スピーカ部２３受話音声区間検出部
１３送信部２４音声区間情報管理部
１４受信部２４Ａ送話信号抽出区間決定部
１５側音回路２４Ｂ受話信号抽出区間決定部
１６送話信号録音部２５送話信号抽出部
１７受話信号録音部２６受話信号抽出部
２０分岐装置１１０音声認識装置
２１側音抑圧処理部１１１音声認識処理部

Claims

送信部と受信部とを備えた電話機の送話信号と受話信号とを別々に音声認識処理するための音声認識方法において、
受話信号に送話信号が回り込む側音を抑圧処理する側音抑圧処理過程と、
送話信号の音声区間を検出する送話音声区間検出過程と、
上記側音抑圧処理過程で抑圧処理後の受話信号の音声区間を検出する受話音声区間検出過程と、
上記送話音声区間検出過程及び受話音声区間検出過程で検出した各音声区間情報を管理する音声区間情報管理過程と、
この音声区間情報管理過程で管理されている音声区間情報に従って音声区間の音声信号を抽出する音声信号抽出過程と、
抽出された音声信号を音声認識処理する音声認識処理過程と、
を含むことを特徴とする音声認識方法。
請求項１記載の音声認識方法において、上記音声区間情報管理過程では上記送話音声区間検出過程と、受話音声区間検出過程で検出した各音声区間に従って、送話音声区間が同時に受話音声区間でないことを判定し、この送話音声区間を送話信号抽出区間と定める送話信号抽出区間決定過程と、受話音声区間が同時に送話音声区間でないことを判定し、この受話音声区間を受話信号抽出区間と定める受話信号抽出区間決定過程とを含むことを特徴とする音声認識方法。
送信部と受信部とを備えた電話機の送話信号と受話信号とを別々に音声認識処理するための音声認識装置において、
受話信号に送話信号が回り込む側音を抑圧処理する側音抑圧部と、
送話信号の音声区間を検出する送話音声区間検出部と、
上記側音抑圧部で抑圧処理後の受話信号の音声区間を検出する受話音声区間検出部と、
上記送話音声区間検出部及び受話音声区間検出部で検出した各音声区間情報を管理する音声区間情報管理部と、
この音声区間情報管理部で管理されている音声区間情報に従って各音声区間の音声信号を抽出する音声信号抽出部と、
この音声信号抽出部で抽出した音声信号を音声認識処理する音声認識処理部と、
を備えたことを特徴とする音声認識装置。
請求項３記載の音声認識装置において、上記音声区間情報管理部は、上記送話音声区間検出部と、上記受話音声区間検出部で検出した各音声区間に従って、送話音声区間が同時に受話音声区間でないことを判定し、この送話音声区間を送話信号抽出区間と定める送話信号抽出区間決定部と、受話音声区間が同時に送話音声区間でないことを判定し、この受話音声区間を受話信号抽出区間と定める受話信号抽出決定部とを備えることを特徴とする音声認識装置。
コンピュータが解読可能なプログラム言語によって記述され、コンピュータに請求項３又は４の何れかに記載の音声認識装置として機能させる音声認識プログラム。
コンピュータが読み取り可能な記録媒体によって構成され、この記録媒体に請求項５記載の音声認識プログラムを記録した記録媒体。