JP2011259127A - 通話単位検出装置、方法及びプログラム - Google Patents

Abstract

【課題】より正確に通話単位を検出することができる技術を提供する。
【解決手段】入電フレーズを構成する単語が各発話に含まれる割合である入電フレーズ一致率、及び、切電フレーズを構成する単語が各発話に含まれる割合である切電フレーズ一致率を計算する。入電フレーズ一致率が第一閾値よりも高い発話を入電発話とし、切電フレーズ一致率が第二閾値よりも高い発話を切電発話とする。仮検出された各通話を構成する発話の中に入電発話が含まれる場合にはその入電発話の直前でその各通話を分割し、各通話を構成する発話の中に切電発話が含まれる場合にはその切電発話の直後でその各通話を分割し、直前の通話を構成する最後の発話が切電発話ではなくかつ最初の発話が入電発話でない通話がある場合にはその通話とその直前の通話とを結合する。
【選択図】図１

Description

この発明は、通話単位を検出する技術に関する。

複数チャネルの音声区間及び非音声区間の情報を用いて通話単位を検出する技術が、特許文献１に記載されている。

特許文献１の技術では、あるチャネルで音声区間が検出された時、一定時間以内に別のチャネルで音声区間が検出された場合には、その別のチャネルの音声区間が通話単位に含まれると判定する。また、あるチャネルで音声区間が検出された時、一定時間以内に別のチャネルで音声区間が検出されなかった場合には、そのあるチャネルの音声区間は通話単位を構成しないか、そのあるチャネルの音声区間を含む通話は終了したと判定する。

特開２００８−２１６２７３号公報

しかしながら、あるチャネルで音声が継続して存在するが別のチャネルで音声が継続して存在しない場合、すなわち例えば一方の話者がしゃべり続け他方の話者が黙って話しを聞いている場合、通話が終了したと誤って判定する可能性があった。

また、例えば通話の保留により複数のチャネルで音声が継続して存在しない場合も、通話が終了したと誤って判定する可能性があった。

さらに、通話が終了したが一定時間を経過する前に音声区間が検出された場合、すなわち例えば通話終了後すぐに着信して通話が開始した場合、通話の終了を見過ごしてしまう可能性があった。

上記の課題を解決するために、入力された音声信号から通話を仮検出する。音声信号の音声特徴量を抽出する。音声特徴量、音響モデル及び言語モデルを用いて各通話の音声認識を行いその各通話を構成する発話を検出すると共に、各発話の音声認識結果を得る。音声認識結果を用いて、通話の開始時に用いられる典型的な単語の集合である入電フレーズを構成する単語が各発話に含まれる割合である入電フレーズ一致率、及び、通話の終了時に用いられる典型的な単語の集合である切電フレーズを構成する単語が各発話に含まれる割合である切電フレーズ一致率を計算し、入電フレーズ一致率が第一閾値よりも高い発話を入電発話とし、切電フレーズ一致率が第二閾値よりも高い発話を切電発話とする。各通話を構成する発話の中に入電発話が含まれる場合にはその入電発話の直前でその各通話を分割し、各通話を構成する発話の中に切電発話が含まれる場合にはその切電発話の直後でその各通話を分割し、直前の通話を構成する最後の発話が切電発話ではなくかつ最初の発話が入電発話でない通話がある場合にはその通話とその直前の通話とを結合する。

通話の開始時に用いられる典型的な単語の集合である入電フレーズ、通話の終了時に用いられる典型的な単語の集合である切電フレーズを考慮することにより、より正確に通話単位を検出することができる。

通話単位検出装置の例の機能ブロック図。 通話単位検出方法の例を示す流れ図。 ステップＳ５の例を示す流れ図。 ステップＳ６の例を示す流れ図。 通話の仮検出の例を示す図。 通話単位検出の例の概要を示す図。

以下、図面を参照してこの発明の一実施形態を説明する。

通話単位検出装置は、図１に示すように、音声信号取得部１、通話仮検出部２、音声特徴量算出部３、音声認識部４、定型表現抽出部５、通話単位調整部６を例えば含む。この通話単位検出置が、図２に例示する通話単位検出方法の各ステップを実行する。

音声取得部１は、入力されたアナログ音声信号をＡ／Ｄ変換して、ディジタル音声信号を生成する（ステップＳ１）。ディジタル音声信号は、通話仮検出部２及び音声特徴量抽出部３に送られる。音声取得部１に入力されるアナログ音声信号は、複数チャネルにそれぞれ対応する複数のアナログ音声信号である。この例では、チャネル数は２であり、一方がオペレータの音声のチャネルＡ、他方が顧客の音声のチャネルＢであるとする。

通話仮検出部２は、入力された音声信号から通話を仮検出する（ステップＳ２）。通話の仮検出は、既存の通話検出技術を用いればよい。例えば、特許文献１に記載された通話検出技術を用いることができる。仮検出された通話についての情報は、通話単位調整部６に送られる。通話についての情報とは、例えば各通話の開始時刻Ｔｓ１，Ｔｓ２，…と、終了時刻Ｔｅ１，Ｔｅ２，…についての情報である。図５に、オペレータの音声のチャネルＡの音声信号及び顧客の音声のチャネルＢの音声信号の例、及び、検出された通話の例を示す。

音声特徴量抽出部３は、ディジタル音声信号の音声特徴量を抽出する（ステップＳ３）。抽出された音声特徴量についての情報は、音声認識部４に送られる。音声特徴量は、例えばＭＦＣＣ（Mel-Frequency Cepstrum Coefficient）、ＭＦＣＣの変化量であるΔＭＦＣＣであり、後述する音声認識部４で用いることができるものであればよい。音声特徴量の抽出は、既存の技術を用いればよい。

音声認識部４は、音声特徴量、音響モデル及び言語モデルを用いて仮検出された各通話の音声認識を行いその各通話を構成する発話を検出すると共に、各発話の音声認識結果を得る（ステップＳ４）。検出された発話についての情報及び音声認識結果は、定型表現抽出部５に送られる。音声認識は、既存の技術を用いればよい。後述する入電フレーズ及び切電フレーズが認識できれば十分であるため、比較的軽い処理の音声認識技術を用いればよい。

発話についての情報とは、例えば、顧客の各発話Ｕｃｉ（ｉ＝１，２，…）の開始時刻Ｓｃｉ及び終了時刻Ｅｃｉ、オペレータの各発話Ｕｏｉ（ｉ＝１，２，…）の開始時刻Ｓｏｉ及び終了時刻Ｅｏｉについての情報である。音声認識結果は、例えば、顧客の各発話Ｕｃｉ（ｉ＝１，２，…）を構成するＭｃｉ個の単語の表記Ｗｃｉ１，Ｗｃｉ２，…，ＷｃｉＭｃｉ、これらの単語の品詞情報Ｐｃｉ１，Ｐｃｉ２，…，ＰｃｉＭｃｉ、オペレータの各発話Ｕｏｉ（ｉ＝１，２，…）を構成するＭｏｉ個の単語の表記Ｗｏｉ１，Ｗｏｉ２，…，ＷｏｉＭｏｉ、これらの単語の品詞情報Ｐｏｉ１，Ｐｏｉ２，…，ＰｏｉＭｃｉについての情報である。

定型表現抽出部５は、音声認識結果を用いて、入電フレーズ一致率及び切電フレーズ一致率を計算し、入電フレーズ一致率が第一閾値Ｔｈ１よりも高い発話を入電発話とし、切電フレーズ一致率が第二閾値Ｔｈ２よりも高い発話を切電発話とする（ステップＳ５）。入電発話及び切電発話についての情報は、通話単位調整部６に送られる。

入電フレーズは、通話の開始時に用いられる典型的な単語の集合である。切電フレーズは、通話の終了時に用いられる典型的な単語の集合である。入電フレーズはＩＮ＿ＣＡＬＬ個の単語から構成されるとし、切電フレーズはＯＵＴ＿ＣＡＬＬ個の単語から構成されるとする。「お電話ありがとうございます」「会社名」「人名」等はコンタクトセンタによらず通話の開始時に用いられる典型的なフレーズ及び単語である。したがって、例えばこれらのフレーズが入電フレーズとされる。また、「今後ともよろしくお願い致します」は通話の終了時に用いられる典型的なフレーズである。したがって、例えばこのフレーズが切電フレーズとされる。

入電フレーズ一致率は、入電フレーズを構成する単語がある発話に含まれる割合である。すなわち、ある発話に含まれる、入電フレーズを構成する単語の数をＩＮ＿ＣＡＬＬ＿ＨＩＴとすると、入電フレーズ一致率ＣＲ＿ＩＮ＝ＩＮ＿ＣＡＬＬ＿ＨＩＴ／ＩＮ＿ＣＡＬＬとなる。

切電フレーズ一致率は、切電フレーズを構成する単語がある発話に含まれる割合である。ある発話に含まれる、切電フレーズを構成する単語の数をＯＵＴ＿ＣＡＬＬ＿ＨＩＴとすると、切電フレーズ一致率ＣＲ＿ＯＵＴ＝ＯＵＴ＿ＣＡＬＬ＿ＨＩＴ／ＯＵＴ＿ＣＡＬＬとなる。

単語がある発話に含まれるかどうかは、例えばその単語の表記及び品詞情報と同一の表記及び品詞情報を持つ単語がその発話の中に含まれるかどうかにより判定する。または、品詞情報を無視して、その単語の表記と同一の表記を持つ単語がその発話の中に含まれるかどうかにより判定してもよい。

入電フレーズが「お電話ありがとうございます。横須賀コールセンター相談窓口担当の○○です」である場合を例にあげて説明する。この入電フレーズは、「お：冠名詞」「電話：名詞：動作」「ありがとうございます：独立詞」「横須賀：名詞：地名」「コールセンター：名詞」「相談：名詞：動作」「窓口：名詞：地名」「担当：名詞：動作」「の：格助詞」「○○：名詞：固有：姓」「です：判定詞：終止」のように１１個の単語から構成され、各単語の表記及び品詞情報は「表記：品詞情報」と表される。これらの表記、品詞情報の少なくとも一方を用いて、単語が発話に含まれているかどうかを判定する。

第一閾値Ｔｈ１及び第二閾値Ｔｈ２は、適切な結果が得られるように適宜設定される定数である。入電フレーズ、切電フレーズを構成する単語の数が多い場合には、それぞれ入電フレーズ一致率、切電フレーズ一致率は上がりづらいため、低めに設定して、入電フレーズ、切電フレーズの取りこぼしを防ぐとよい。例えば、０．２から０．３程度とする。逆に、入電フレーズ、切電フレーズを構成する単語の数が少ない場合には、それぞれ入電フレーズ一致率、切電フレーズ一致率を高めに設定して、誤検出を防ぐ必要がある。例えば、０．７程度とする。

このように、フレーズの完全一致ではなく、一致している単語の割合に基づいて入電発話、切電発話を検出することで、より正確に検出を行うことができる。

図３を参照して、定型表現抽出部５の処理の詳細を説明する。この例では、オペレータの発話Ｕｏｉ（ｉ＝１，２，…，Ｎｏ）のみを対象として定型表現の抽出を行っている。もちろん、顧客の発話Ｕｃｉのみを対象として定型表現の抽出を行ってもよいし、オペレータの発話Ｕｏｉと顧客の発話Ｕｃｉの両方を対象として定型表現の抽出を行ってもよい。

定型表現抽出部５は、ｉ＝１とする（ステップＳ５１）。

定型表現抽出部５は、ｉ＞Ｎｏであるか判定する（ステップＳ５２）。Ｎｏは、ある通話に含まれるオペレータの発話の総数である。ｉ＞Ｎｏであれば、その通話についての処理を終了し、別の通話について同様の処理を繰り返し、仮検出されたすべての通話について同様の処理を行う。

定型表現ｉ＞Ｎｏでなければ、定型表現抽出部５は、オペレータの発話Ｕｏｉに含まれる、入電フレーズを構成する単語の数ＩＮ＿ＣＡＬＬ＿ＨＩＴ、切電フレーズを構成する単語の数ＯＵＴ＿ＣＡＬＬ＿ＨＩＴをカウントする（ステップＳ５３）。

定型表現抽出部５は、入電フレーズ一致率ＣＲ＿ＩＮ＝ＩＮ＿ＣＡＬＬ＿ＨＩＴ／ＩＮ＿ＣＡＬＬ、切電フレーズ一致率ＣＲ＿ＯＵＴ＝ＯＵＴ＿ＣＡＬＬ＿ＨＩＴ／ＯＵＴ＿ＣＡＬＬを計算する（ステップＳ５４）。

定型表現抽出部５は、入電フレーズ一致率ＣＲ＿ＩＮ＜第一閾値Ｔｈ１、かつ、切電フレーズ一致率ＣＲ＿ＯＵＴ＜第二閾値Ｔｈ２であるか判定する（ステップＳ５５）。

ＣＲ＿ＩＮ＜Ｔｈ１、かつ、ＣＲ＿ＯＵＴ＜Ｔｈ２であれば、定型表現抽出部５は、ｉ＝ｉ＋１として、すなわちｉを１だけインクリメントして（ステップＳ５６）、ステップＳ５２に進む。

「ＣＲ＿ＩＮ＜Ｔｈ１、かつ、ＣＲ＿ＯＵＴ＜Ｔｈ２」でなければ、定型表現抽出部５は、ＣＲ＿ＩＮ≧Ｔｈ１、かつ、ＣＲ＿ＯＵＴ＜Ｔｈ２であるか判定する（ステップＳ５７）。すなわち、入電フレーズ一致率ＣＲ＿ＩＮのみが第一閾値Ｔｈ１以上であるか判定する。

ＣＲ＿ＩＮ≧Ｔｈ１、かつ、ＣＲ＿ＯＵＴ＜Ｔｈ２であれば、定型表現抽出部５は、発話Ｕｏｉを入電発話とし、発話Ｕｏｉの位置ｉを入電発話位置ＦＬＡＧ＿ＳＴＡＲＴとして記憶する（ステップＳ５８）。その後ステップＳ５６に進む。

「ＣＲ＿ＩＮ≧Ｔｈ１、かつ、ＣＲ＿ＯＵＴ＜Ｔｈ２」でなければ、定型表現抽出部５は、ＣＲ＿ＩＮ＜Ｔｈ１、かつ、ＣＲ＿ＯＵＴ≧Ｔｈ２であるか判定する（ステップＳ５９）。すなわち、切電フレーズ一致率ＣＲ＿ＯＵＴのみが第二閾値Ｔｈ２以上であるか判定する。

ＣＲ＿ＩＮ＜Ｔｈ１、かつ、ＣＲ＿ＯＵＴ≧Ｔｈ２であれば、定型表現抽出部５は、発話Ｕｏｉを切電発話とし、発話Ｕｏｉの位置ｉを切電発話位置ＦＬＡＧ＿ＥＮＤとして記憶する（ステップＳ５１０）。その後ステップＳ５５に進む。

通話単位調整部６は、各通話を構成する発話の中に入電発話が含まれる場合にはその入電発話の直前でその各通話を分割し、各通話を構成する発話の中に切電発話が含まれる場合にはその切電発話の直後でその各通話を分割し、直前の通話を構成する最後の発話が切電発話ではなくかつ最初の発話が入電発話でない通話がある場合にはその通話とその直前の通話とを結合する（ステップＳ６）。

図６に例示するように、各通話は、入電発話の直前、及び、切電発話の直後で分割される（ステップＳ６１、図４）。図６において、入電発話は○、切電発話は□で表されている。そして、分割後の各通話に対して、通話単位調整部６は、直前の通話を構成する最後の発話が切電発話ではなくかつ最初の発話が入電発話でない通話がある場合にはその通話とその直前の通話とを結合する処理を行うことにより、通話区間の調整を行う（ステップＳ６２）。例えば、通話Ｕ３の直前の発話Ｕ２を構成する最後の発話は切電発話ではなく、かつ、通話Ｕ３の最初の発話は入電発話ではないため、通話Ｕ３と直前の発話Ｕ２とは結合される。これに対して、通話Ｕ２の直前の通話Ｕ１を構成する最後の発話は切電発話であり、通話Ｕ２の最初の発話は入電発話であるため、通話Ｕ２と直前の発話Ｕ１とは結合されない。

このように、通話の開始時に用いられる典型的な単語の集合である入電フレーズ、通話の終了時に用いられる典型的な単語の集合である切電フレーズを考慮することにより、より正確に通話単位を検出することができる。

通話単位検出装置及び方法は、コンピュータによって実現することができる。この場合、この装置の各部の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、この装置における各部が、この方法における各ステップがコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、これらの装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

この発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

１ 音声取得部
２ 通話仮検出部
３ 音声特徴量抽出部
４ 音声認識部
５ 定型表現抽出部
６ 通話単位調整部

Claims (4)

1. 入力された音声信号から通話を仮検出する通話仮検出部と、
   上記音声信号の音声特徴量を抽出する音声特徴量抽出部と、
   上記音声特徴量、音響モデル及び言語モデルを用いて各上記通話の音声認識を行いその各通話を構成する発話を検出すると共に、各発話の音声認識結果を得る音声認識部と、
   上記音声認識結果を用いて、通話の開始時に用いられる典型的な単語の集合である入電フレーズを構成する単語が各上記発話に含まれる割合である入電フレーズ一致率、及び、通話の終了時に用いられる典型的な単語の集合である切電フレーズを構成する単語が各上記発話に含まれる割合である切電フレーズ一致率を計算し、入電フレーズ一致率が第一閾値よりも高い発話を入電発話とし、切電フレーズ一致率が第二閾値よりも高い発話を切電発話とする定型表現抽出部と、
   各上記通話を構成する発話の中に入電発話が含まれる場合にはその入電発話の直前でその各通話を分割し、各上記通話を構成する発話の中に切電発話が含まれる場合にはその切電発話の直後でその各通話を分割し、直前の通話を構成する最後の発話が切電発話ではなくかつ最初の発話が入電発話でない通話がある場合にはその通話とその直前の通話とを結合する通話単位調整部と、
   を含む通話単位検出装置。
2. 請求項１に記載の通話単位検出装置において、
   上記通話を構成する発話は、上記通話を構成するオペレータの発話である、
   ことを特徴とする通話単位検出装置。
3. 入力された音声信号から通話を仮検出する通話仮検出ステップと、
   上記音声信号の音声特徴量を抽出する音声特徴量抽出ステップと、
   上記音声特徴量、音響モデル及び言語モデルを用いて各上記通話の音声認識を行いその各通話を構成する発話を検出すると共に、各発話の音声認識結果を得る音声認識ステップと、
   上記音声認識結果を用いて、通話の開始時に用いられる典型的な単語の集合である入電フレーズを構成する単語が各上記発話に含まれる割合である入電フレーズ一致率、及び、通話の終了時に用いられる典型的な単語の集合である切電フレーズを構成する単語が各上記発話に含まれる割合である切電フレーズ一致率を計算し、入電フレーズ一致率が第一閾値よりも高い発話を入電発話とし、切電フレーズ一致率が第二閾値よりも高い発話を切電発話とする定型表現抽出ステップと、
   各上記通話を構成する発話の中に入電発話が含まれる場合にはその入電発話の直前でその各通話を分割し、各上記通話を構成する発話の中に切電発話が含まれる場合にはその切電発話の直後でその各通話を分割し、直前の通話を構成する最後の発話が切電発話ではなくかつ最初の発話が入電発話でない通話がある場合にはその通話とその直前の通話とを結合する通話単位調整ステップと、
   を含む通話単位検出方法。
4. 請求項３に記載の通話単位検出方法の各ステップをコンピュータに実行させるための通話単位検出プログラム。

Images