JP2007033754A - 音声監視システムと方法並びにプログラム - Google Patents

Abstract

【課題】
顧客とオペレータ間の通話の監視・評価の精度を向上させるシステムの提供。
【解決手段】
顧客とオペレータの音声を入力する第１及び第２の音声入力手段（１００_１、１００_２）よりそれぞれ入力された第１及び第２の入力音声信号の音声処理を行い第１及び第２の処理結果（パワー、又は、音声区間長と無音区間長）を出力する第１及び第２の音声処理手段（１１０_１、１１０_２）と、第１及び第２の音声処理手段からの第１及び第２の処理結果から評価値を求め、前記評価値を予め定められた閾値と比較し、比較結果に応じてパラメータをセットして出力するパラメータ計算手段（１２０）と、パラメータ計算手段からのパラメータのセットの有無に応じて警告の有無を示す信号を出力する状態判断手段（１３０）と、状態判断手段からの信号に基づき警告を出力する警告手段（１４０）を備える。
【選択図】
図１２

Description

本発明は、音声監視システムに関し、特に、コールセンターでのオペレータ監視・評価に用いて好適なシステムと方法並びにプログラムに関する。

コールセンターにおけるオペレータの監視を行うシステムとして、例えば特許文献１には、電話端末からの電話の状態を解析して電話端末を利用する顧客の心理状態を推定したパラメータを生成する解析手段を備えたCTIサーバが開示されている。このCTIサーバでは、電話端末の１回の対応において、会話、無音及び保留の各々について当該項目の最新の秒数、累積の秒数が当該１回の対応に占める割合、回数等を格納し、無音の割合が多かったり、保留回数が多いと、顧客の心理状態は概ね不快だろうと推定される。また、転送回数が多かったり、あるいは、未対応回数やコール回数が多いと、顧客の心理状態は概ね不快だろうと推定される。そして、アイコンを用いて、推定した顧客の心理状態を視覚的に表示したり、顧客の心理状態に基づいて、オペレータに対してアドバイスを行う。例えば未対応データにおける着信回数または未対応の回数が多いと、電話端末に電話を掛けなおすように指示する。

また特許文献２には、音声を利用した音声応答サービスを行う音声対話装置において、利用者の応答状態に対応した応答サービスを行うため、音声対話時の音声入力者の心理状態を示す対話応答内容を検出する音声認識部と、対話応答内容を解析して該心理状態を所定の入力状態情報に分類する入力状態解析部とを備えた音声対話装置が開示されている。対話応答内容は、キーワード、不要語、キーワード及び不要語のいずれでもない未知語、及び、無音状態のいずれか１つである。キーワードは、対話音声入力時に音声入力者から応答されることを期待しているキーワードであり、例えばホテル案内、観光案内における「ホテル」等である。不要語は、対話音声入力時に音声入力者から応答されることを期待していない、「あれっ」、「かな」等であり、利用者の心理状態をそのまま示す「自信がない」、「困った」等も含まれる。入力状態情報は迷い、戸惑い、不安のいずれか１つである。利用者が理解できない状態、不完全な対話応答内容で音声対話装置で受け付けられていない状態、誤った入力に対して迅速に訂正できない状態、意思決定に躊躇している状態に対応する対話を行うことを可能としている。

特開２００２−５１１５３号公報 特開２００３−３３０４９０号公報

しかしながら、従来のシステムは、顧客とオペレータ間の通話の監視・評価を正しく行うことができない、という課題がある。これは、従来のシステムでは、もっぱら、心理状態しか推定していず、オペレータの音声通話を監視していないためである。また、従来のシステムでは、保留、転送回数、未対応回数、コール回数等に基づき、心理状態を推定しており、心理状態の推定にあたり、音声信号の解析が慮されていない。

したがって、本発明の目的は、顧客とオペレータ間の通話の監視・評価を正しく行うことを可能とするシステムと方法並びにプログラムを提供することにある。

本願で開示される発明は、上記課題を解消するため、概略以下の構成とされる。

本発明の１つのアスペクトに係るシステムは、音声入力手段で入力された入力音声信号から音声認識処理を行い認識結果を出力する音声処理手段と、前記音声処理手段からの音声認識結果を受け、前記音声認識結果から、予め定められた特定の単語の出現頻度、及び／又は、語彙の種類の数を求め、パラメータとして出力するパラメータ計算手段と、前記パラメータ計算手段からの前記パラメータを受け、前記パラメータを予め定められた閾値と比較して警告を発すべき状況であるか否かを判断し警告の有無を示す信号を出力する状態判断手段と、前記状態判断手段からの前記信号に基づき、警告を出力する警告手段と、を備えている。

本発明の他のアスペクトに係るシステムは、音声入力手段で入力された入力音声信号からパワー、ピッチ、及び、話速のうちの少なくとも１つを抽出して出力する音声処理手段と、前記音声処理手段で処理されたパワー、ピッチ、及び、話速のうちの少なくとも１つを入力し、予め定められた閾値と比較し、比較結果に応じてパラメータフラグをセットして出力するパラメータ計算手段と、前記パラメータ計算手段からのパラメータフラグを受け取り前記パラメータフラグのセットの有無に対応して警告の有無を示す信号を出力する状態判断手段と、前記状態判断手段からの前記信号に基づき、警告を出力する警告手段と、を備えている。本発明において、前記音声処理手段が前記入力音声信号のパワーを抽出し、前記パラメータ計算手段が、パワー、又はパワーの変化を予め定められた閾値と比較し、比較結果に応じてパラメータフラグをセットして出力する、構成としてもよい。本発明において、前記音声処理手段が前記入力音声信号のピッチを抽出し、前記パラメータ計算手段が、ピッチの変化を予め定められた閾値と比較し、比較結果に応じてパラメータフラグをセットして出力する、構成としてもよい。

本発明の他のアスペクトに係るシステムは、第１及び第２の音声入力手段よりそれぞれ入力された第１及び第２の入力音声信号の音声処理を行い第１及び第２の処理結果を出力する第１及び第２の音声処理手段と、前記第１及び第２の音声処理手段からの第１及び第２の処理結果から評価値を求め、前記評価値を予め定められた閾値と比較し、比較結果に応じてパラメータフラグをセットして出力するパラメータ計算手段と、前記パラメータ計算手段からのパラメータフラグを受け取り前記パラメータフラグのセットの有無に対応して警告の有無を示す信号を出力する状態判断手段と、前記状態判断手段からの前記信号に基づき、警告を出力する警告手段と、を備えている。本発明において、前記第１及び第２の音声処理手段は、前記第１及び第２の入力音声信号のパワーを求めそれぞれ第１及び第２のパワーを前記第１及び第２の処理結果として出力し、前記パラメータ計算手段は、前記第１及び第２のパワーの比を、予め定められた閾値と比較し、比較結果に応じてパラメータフラグをセットして出力する、構成としてもよい。本発明において、前記第１及び第２の音声処理手段は、前記第１及び第２の入力音声信号の音声区間長と無音区間長を求め、音声区間長と無音区間長を前記第１及び第２の処理結果として出力し、前記パラメータ計算手段は、前記音声区間長と前記無音区間長の比を、予め定められた閾値と比較し、比較結果に応じてパラメータフラグをセットして出力する、構成としてもよい。

本発明において、前記閾値を学習する閾値計算部を備えた構成としてもよい。

本発明に係る方法は、音声処理手段が、音声入力手段で入力された入力音声信号から音声認識処理を行い認識結果を出力する工程と、
パラメータ計算手段が、前記処理結果に基づき、音声認識結果のうちの特定単語の頻度、音声認識結果の語彙の種類の数を求めパラメータとして出力する工程と、
状態判断手段が、前記パラメータを閾値と比較して警告を発すべき状況か否かを判断し警告の有無を示す信号を出力する工程と、
警告手段が、前記信号に基づき、警告を出力する工程と、を含む。あるいは、音声処理手段が、音声入力手段で入力された入力音声信号からパワー、ピッチ、話速のうちの少なくとも１つを抽出して出力する工程と、
パラメータ計算手段が、前記抽出されたパワー、ピッチ、話速のうちの少なくとも１つを入力し、予め定められた閾値と比較し、比較結果に応じてパラメータフラグをセットして出力する工程と、
状態判定手段が、前記パラメータフラグのセットの有無に対応して警告の有無を示す信号を出力する工程と、
警告手段が、前記信号に基づき、警告を出力する工程と、を含む構成としてもよい。

本発明に係るコンピュータプログラムは、音声入力手段で入力された入力音声信号から音声認識処理を行い認識結果を出力する処理と、
前記処理結果に基づき、音声認識結果のうちの特定単語の頻度、音声認識結果の語彙の種類の数を求めパラメータとして出力する処理と、
前記パラメータを閾値と比較して警告を発すべき状況か否かを判断し警告の有無を示す信号を出力する処理と、
前記信号に基づき、警告を出力する処理と、
をコンピュータに実行させるプログラムよりなる。

本発明に係るコンピュータプログラムは、音声入力手段で入力された入力音声信号からパワー、ピッチ、話速のうちの少なくとも１つを抽出して出力する処理と、
前記抽出されたパワー、ピッチ、話速のうちの少なくとも１つを入力し、予め定められた閾値と比較し、比較結果に応じてパラメータフラグをセットして出力する処理と、
前記パラメータフラグのセットの有無に対応して警告の有無を示す信号を出力する処理と、
前記信号に基づき、警告を出力する処理と、
をコンピュータに実行させるプログラムよりなる。

本発明に係るコンピュータプログラムは、第１及び第２の音声入力手段よりそれぞれ入力された第１及び第２の入力音声信号の音声処理を行い第１及び第２の処理結果を出力する処理と、
前記第１及び第２の処理結果から評価値を求め、前記評価値を予め定められた閾値と比較し、比較結果に応じてパラメータフラグをセットして出力する処理と、
前記パラメータフラグのセットの有無に対応して警告の有無を示す信号を出力する処理と、
前記信号に基づき、警告を出力する処理と、
をコンピュータに実行させるプログラムよりなる。本発明に係るプログラムにおいて、
前記第１及び第２の入力音声信号のパワーを求め、第１と第２のパワーの比を閾値と比較し、比較結果に応じてパラメータフラグをセットして出力する、ようにしてもよい。あるいは、前記第１及び第２の入力音声信号の音声区間長と無音区間長を求め、前記音声区間長と前記無音区間長の比を、予め定められた閾値と比較し、比較結果に応じてパラメータフラグをセットして出力するようにしてもよい。

本発明によれば、音声認識結果、ピッチ、パワー、話速、発話時間のうちの少なくとも１つ又はこれら組合わせを、パラメータとして用いて顧客及びオペレータの心理状態を推定することで、コールセンターに適用した場合、オペレータの状態を精度よく監視・評価することができる。

次に、本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明の一実施の形態の装置構成を示す図である。図１を参照すると、本発明の一実施の形態に係る装置１０は、話者（例えばオペレータ等）の音声を電気信号として入力する音声入力手段１００と、音声入力手段１００から入力された音声を処理する音声処理手段１１０と、音声処理手段１１０での処理結果を受けパラメータを計算するパラメータ計算手段１２０と、パラメータ計算手段１２０で計算されたパラメータを受け警告とすべき状態か否かを判断する状態判断手段１３０と、状態判断手段１３０からの指示を受け、不図示の端末画面、ファイル等に警告を出力する警告手段１４０とを備えている。

図２は、本発明の一実施形態の処理を示す流れ図である。音声が音声入力手段１００に入力されると（ステップＳ１１）、音声処理手段１１０は、音声処理を行う（ステップＳ１２）。音声処理手段１１０の処理結果に基づきパラメータ計算手段１２０がパラメータを計算し（ステップＳ１３）、状態判断手段１３０は、パラメータ計算手段１２０から出力されるパラメータが閾値以上であるか、あるいはパラメータフラグが設定されている場合（ステップＳ１４のYES）、警告手段１４０に警告出力を指示する信号を出力し、警告手段１４０は警告を発する（ステップＳ１５）。監視・評価の処理は、待ち受け時等に入力される停止コマンドにより停止するようにしてもよいし、任意の時点で停止するようにしてもよい。

音声処理手段１１０は、例えば、
・音声認識処理、
・パワー抽出処理、
・ピッチ抽出処理、
・音声区間抽出処理、
等のうちの任意の１つ又は複数の組合わせを行うようにしてもよい。

音声処理手段１１０の処理結果を受けるパラメータ計算手段１２０で計算されるパラメータとして、例えば、
・認識結果の特定単語の頻度、
・認識結果の語彙の種類の数、
・パワー、
・パワー比、
・ピッチ、
・ピッチ変化、
・音声区間長、
・音声区間の比、
等のうち、該処理結果に対応した１つ又は組合わせを用いるようにしてもよい。なお、図１及び図２を参照して説明した装置１０は、コンピュータ上で動作するプログラムによりその処理、制御を実現するようにしてもよい。以下、本発明をコールセンターのオペレータの監視・評価に適用した実施例に即して説明する。

＜第１の実施例＞
本発明の第１の実施例について説明する。本実施例の基本構成及び動作は、図１、図２に示したものである。本実施例において、図１の音声入力手段１００は、オペレータの音声を電気信号として入力する。

音声処理手段１１０は、入力された音声の音声認識を行い、認識結果をテキストとして出力する。

本実施例において、パラメータ計算手段１２０は、図３に示した構成とされている。図３を参照すると、パラメータ計算手段１２０は、認識結果判定手段１２０１と、回数記憶手段１２０２と、回数初期化手段１２０３とを備えている。

認識結果判定手段１２０１は、予め定められた文字列と、音声処理手段１１０による音声認識結果が一致するかどうか判定する。予め定められた文字列としては、
・「えー」、「あのー」といったフィラー（間投語、不要語、付加語）や、
・「はい」、「ええ」といった相槌、
等が用いられる。

回数記憶手段１２０２は、認識結果判定手段１２０１により一致した回数を記憶する。認識結果がフィラー又は相槌と一致した場合、フィラー又は相槌の回数を１つインクリメントしてもよいし、監視期間終了時に、一致した回数を記憶するようにしてもよい。

回数初期化手段１２０３は、予め定められた条件で、回数記憶手段１２０２に記憶されている回数を０にリセットする。予め定められた条件の項目として、例えば、
・認識結果と予め定められた文字列（フィラーや相槌）が一致しなかった場合や、
・認識結果と予め定められた文字列との不一致が何回か（予め定められた回数）連続して発生した場合、
等を用いることができる。

入力音声の認識結果がフィラーや相槌と一致しない場合（あるいは連続して一致しない場合）、回数データは０にリセットされる。例えば、以前にオペレータが連続してフィラーや相槌を使用した際に、その回数が記憶され、つづいて今回、フィラーや相槌を使用しなかった場合、その回数はリセットされるといった制御が行われる。すなわち、今回の発話（フィラー、相槌でない）により、それまでのフィラーや相槌の履歴がクリアされる。

本実施例では、回数記憶手段１２０２に記憶されている回数をパラメータとして出力する。

本実施例において、状態判断手段１３０は、パラメータ計算手段１２０の回数記憶手段１２０２に記憶されている回数（パラメータ）が予め定められた値以上となると、警告手段１４０に信号を送り、警告手段１４０は、状態判断手段１３０から信号を受けると、警告を発する。例えばオペレータが続けて使用するフィラーや相槌の出現回数（頻度）が多すぎる場合に、警告を発する。

＜第２の実施例＞
次に、本発明の第２の実施例について説明する。本実施例の基本構成及び動作は、図１、図２に示したものである。本実施例において、図１の音声入力手段１００は、例えばオペレータの音声を電気信号として入力する。音声処理手段１１０は、入力された音声の音声認識を行い、認識結果をテキストとして出力する。パラメータ計算手段１２０は、図４に示すように、認識結果初期化手段１２０４と、認識結果記憶手段１２０５を備えている。

認識結果記憶手段１２０５は、記憶部（不図示）に既に記憶された認識結果（音声処理手段１１０での認識結果）と、今回、音声処理手段１１０で得られた認識結果とが一致するか否か判定し、一致している場合、その累積回数を１増やして記憶する。認識結果初期化手段１２０４は、予め定められた条件で、認識結果記憶手段１２０５に記憶されている情報をリセットする。

本実施例において、認識結果記憶手段１２０５に記憶されている認識結果の種類が、予め定められた個数以上になった場合、累積回数をリセットする。

本実施例において、認識結果記憶手段１２０５に記憶されている認識結果すべての累積回数の和をパラメータとする。

状態判断手段１３０は、パラメータ計算手段１２０で計算されたパラメータが予め定められた値以上になれば警告手段１４０に信号を送り、警告手段１４０は信号を受けると、警告を発する。

本実施例では、オペレータが続けて使用する語彙の種類が少なすぎる場合に警告を発する。すなわち、オペレータが同一の語彙を多用する場合、まず、該語彙の最初の認識結果が、認識結果記憶手段１２０５に記憶され、この後、該記憶された語彙と同一の語彙が認識された場合、その都度、最初の認識結果に対応する回数が１つインクリメントされる。オペレータの使う語彙がいくつかの語彙に限定される場合、記憶された当該語彙に関する累積回数は増大する。このため、オペレータの発話内容から、語彙の種類が少なすぎる状況を検出することができる。

前記第１、第２の実施例における音声処理手段１１０の構成の一例を図９に模式的に示す。図９を参照すると、音声入力手段１００をなすマイクロフォンより入力された時間連続アナログ信号波形をＡ／Ｄ変換部１１０１で離散時間のデジタル信号にサンプリングし、特徴抽出部１１０２では、デジタル音声信号に対して、ウインドウ処理、フーリエ変換等を施し、音声認識に必要な特徴量を抽出する。本実施例では、特徴抽出部１１０２は、例えばデジタル音声信号からケプストラムを求め（例えばウインドウ処理しフーリエ変換したスペクトラムの対数を逆フーリエ変換して得られる）、低次N次元を特徴ベクトルとする。サーチ処理部１１０３では、特徴抽出部１１０２で抽出された特徴量に基づいて、音声認識結果のテキストを出力する。音響モデル１１０４は、特徴量と発音との対応が格納されており、例えば特徴ベクトルで表現された音声の標準パタン（例えばHMM（Hidden Markov Model））が格納されている。言語モデル１１０５は、辞書にある単語についての確率（認識対象の単語とそのつながり方）を表したものであり（例えばN-gram）、音声認識結果の文章をテキスト化する際に用いられる。サーチ処理部１１０３は、特徴ベクトル列に対して、言語モデルで規定される文字列のうち音響モデルを参照して、最も可能性の高い文字列を選択する。なお、音声認識を行い、認識結果をテキストに変換する処理を行う音声処理手段１１０の構成としては、上記以外にも、任意の公知の手法を用いてもよいことは勿論である。なお、音声処理手段１１０のＡ／Ｄ変換部１１０１を除く特徴抽出部１１０２、サーチ処理部１１０３は、コンピュータのプログラムによりその処理を実現するようにしてもよい。

＜第３の実施例＞
次に、本発明の第３の実施例について説明する。本実施例の基本構成及び動作は、図１、図２に示したものである。本実施例において、音声処理手段１１０は、入力された音声のパワーを抽出し、パラメータ計算手段１２０は、図５に示すように、パワー判定手段１２０６を備えている。

パワー判定手段１２０６は、音声処理手段１１０より入力された音声パワーと、予め定められた値との関係を判定する。入力音声のパワーが予め定められた値(閾値)よりも大きい場合、または、小さい場合、または、その差（予め定められた値と音声パワーとの差の絶対値）が大きい場合に、パラメータ（フラグ）をセットする（例えばフラグを１にセットする）。状態判断手段１３０は、パラメータ計算手段１２０からのパラメータ（フラグ）がセットされている場合、警告手段１４０に信号を送り、警告手段１４０は信号を受けると、警告を発する。

なお、本実施例では、パラメータ計算手段１２０から状態判断手段１３０に出力されるパラメータは、１又は０の値をとるフラグ情報であるが、変形例として、状態判断手段１３０内にパワー判定手段１２０６を設け、音声処理手段１００で得られたパワーを、パラメータ（数値）として入力し、該パラメータ（パワー）を閾値と比較することで、警告を発するべきか否かを判断する構成としてもよい。

本実施例では、例えばオペレータの音声が大きすぎるか、又は、小さすぎる場合、警告を発する。

本実施例の変形例として、音声入力手段１００が、顧客の音声を電気信号として入力するようにしてもよい。この場合、顧客の音声が大きすぎるか、小さすぎる場合に警告を発する。

本発明の第３の実施例及び後述する第５の実施例において、パワーの計算処理を行う音声処理手段１１０の構成を、図１０に示す。なお、パワーの計算には、公知の任意の手法を用いることができる。パワー計算部１１０６は、サンプリングされたデジタル信号を所定区間にわたるRMS（実効値）を計算しパワーとする。なお、音声処理手段１１０のＡ／Ｄ変換部１１０１を除くパワー計算部１１０６は、コンピュータのプログラムによりその処理を実現するようにしてもよい。

＜第４の実施例＞
次に、本発明の第４の実施例について説明する。本実施例の基本構成及び動作は、図１、図２に示したものである。本実施例において、音声入力手段１００は、顧客の音声を電気信号として入力する。音声処理手段１１０は、入力された音声区間の終端付近のピッチ変化を抽出する。パラメータ計算手段１２０は、図６に示すように、ピッチ変化判定手段１２０７を備えている。

ピッチ変化判定手段１２０７は、音声処理手段１１０より入力されたピッチ変化と、予め定められた値との関係を判定し、ピッチ変化が予め定められた値よりも大きい場合に、パラメータ（フラグ）をセットする（例えばフラグを１にセットする）。状態判断手段１３０は、パラメータ計算手段１２０からのパラメータがセットされている場合に、警告手段１４０に信号を送り、警告手段１４０は信号を受けると、警告を発する。

なお、本実施例では、パラメータ計算手段１２０から状態判断手段１３０に出力されるパラメータは、１又は０の値をとるフラグであるが、変形例として、状態判断手段１３０内にピッチ変化判定手段１２０７を設け、音声処理手段１００で得られたピッチ変化を、パラメータ（数値）として入力し、該パラメータ（パワー）を閾値と比較することで、警告を発するべきか否かを判断する構成としてもよい。

本実施例では、例えば、顧客の発声末のピッチが高くなっている、すなわち、音声の語尾が特に上がっている場合（疑問文の場合）、に警告を発する。

本実施例において、ピッチ計算を行う音声処理手段１１０は、図１１のような構成とされる。ピッチ抽出部１１０７におけるピッチ抽出処理は、公知の任意の手法を用いることができる。例えば離散時間デジタル信号からウインドウ処理しフーリエ変換したスペクトラムの対数を逆フーリエ変換して得られたケプストラムから、高次のピークをピッチとする。

＜第５の実施例＞
次に、本発明の第５の実施例について説明する。本実施例の基本構成及び動作は、図１、図２に示したものである。本実施例において、音声処理手段１１０は、入力された音声区間の終端付近のパワーの変化を抽出する。パラメータ計算手段１２０は、図７に示すように、パワー変化判定手段１２０８を備えている。パワー変化判定手段１２０８は、音声処理手段１１０より入力されたパワー変化と、予め定められた値との関係を判定し、パワー変化が予め定められた値よりも大きい場合に、パラメータ（フラグ）をセットする。状態判断手段１３０は、パラメータ計算手段１２０からのパラメータがセットされていれば警告手段１４０に信号を送り警告手段１４０は信号を受けると、警告を発する。

なお、本実施例では、パラメータ計算手段１２０から状態判断手段１３０に出力されるパラメータは、１又は０の値をとるフラグであるが、変形例として、状態判断手段１３０内にパワー変化判定手段１２０８を設け、音声処理手段１００で得られたパワーの変化を、パラメータ（数値）として入力し、該パラメータ（パワー）を閾値と比較することで、警告を発するべきか否かを判断する構成としてもよい。

本実施例において、例えば顧客の音声の語尾が大きくなっている場合に警告を発する。

＜第６の実施例＞
次に、本発明の第６の実施例について説明する。本実施例の基本構成及び動作は、図１、図２に示したものである。本実施例において、音声処理手段１１０は、入力された音声の話速を抽出する。パラメータ計算手段１２０は、図８に示すように、話速判定手段１２０９を備えている。話速判定手段１２０９は、入力された話速と、予め定められた値との関係を判定し、入力された話速が予め定められた第１の値よりも大きい場合、または、第２の間よりも小さい場合に、パラメータ（フラグ）をセットする。状態判断手段１３０はパラメータがセットされている場合、警告手段１４０に信号を送り、警告手段１４０は信号を受けると、警告を発する。

本実施例では、例えばオペレータが早口すぎる、あるいは、ゆっくりすぎる場合に警告を発する。

＜第７の実施例＞
次に、本発明の第７の実施例について説明する。図１２は、本発明の第６の実施例の構成を示す図である。図１２を参照すると、本実施例の装置１０は、第１の音声入力手段１００_１と、第２の音声入力手段１００_２と、第１の音声処理手段１１０_１と、第２の音声処理手段１１０_２と、パラメータ計算手段１２０と、状態判断手段１３０と、警告手段１４０を備えている。第１、第２の音声入力手段１００_１、１００_２は、オペレータ、顧客の音声を、電気信号としてそれぞれ入力する。第１、第２の音声処理手段１１０_１、１１０_２は、第１、第２の音声入力手段１００_１、１００_２にそれぞれ入力された音声のパワーを抽出する。

パラメータ計算手段１２０は、図１３に示すように、パワー比判定手段１２１０を備えている。パワー比判定手段１２１０は、入力された２つ（オペレータと顧客）のパワー比と、予め定められた値との関係を判定し、パワー比が予め定められた値よりも大きい場合に、パラメータ（フラグ）をセットする。状態判断手段１３０は、パラメータがセットされている場合、警告手段１４０に信号を送り、警告手段１４０は信号を受けると、警告を発する。

本実施例においては、例えばオペレータと顧客の音声の大きさに顕著な差がある場合に警告を発する。

なお、第１の音声処理手段１１０_１と、第２の音声処理手段１１０_２を含む１つの処理手段で構成してもよい。

＜第８の実施例＞
次に、本発明の第８の実施例について説明する。本実施例の基本構成は、図１２に示した前記第７の実施例と同様とされる。第１、第２の音声処理手段１１０_１、１１０_２は、第１、第２の音声入力手段１００_１、１００_２にそれぞれ入力された音声の発声区間の長さと無音区間の長さを抽出する。パラメータ計算手段１２０は、図１４に示すように、発声区間比判定手段１２１１を備えている。

発声区間比判定手段１２１１は、入力されたそれぞれの発声区間の長さと、他方の無音区間の長さの比と、予め定められた値との関係を判定し、一方の発声区間の長さと他方の無音区間の比が、予め定められた値よりも大きい場合に、パラメータ（フラグ）をセットする。状態判断手段１３０は、パラメータ計算手段１２０からのパラメータがセットされていれば警告手段１４０に信号を送り、警告手段１４０は信号を受けると、警告を発する。

なお、本実施例においても、それぞれの音声処理手段１１０_１、１１０_２が音声認識を行い、パラメータ計算手段１２０が、音声処理手段１１０_１、１１０_２での音声認識結果に基づき、特定単語の頻度、認識結果の語彙の種類の数を求め、状態判断手段１３０が警告の有無を判断するようにしてもよい。また、音声処理手段１１０_１、１１０_２が、パワー、ピッチを抽出し、パラメータ計算手段１２０が、音声処理手段１１０_１、１１０_２の処理結果から、パワー変化、ピッチ変化を求め、状態判断手段１３０が警告の有無を判断するようにしてもよい。

＜第９の実施例＞
図１５は、本発明の第９の実施例の構成を示す図であり、図１２に示した構成に、閾値計算手段１５０を備えたものである。閾値計算手段１５０は、警告を発する状況とその際のパラメータのサンプルを教師として閾値（例えばオペレータと顧客のパワー比に対する予め定められた値）を学習する。閾値計算手段１５０で計算された閾値は、状態判断手段１３０に供給される。前記第１、第２の実施例の変形例として、閾値計算手段１５０を備え、状態判断手段１３０に、閾値計算手段１５０で計算した閾値を供給してもよい。あるいは、パラメータ計算手段１２０でパワー又はピッチと閾値を比較する場合、閾値計算手段１５０で計算された閾値はパラメータ計算手段１２０に供給される。例えば前記第３、第４の実施例の変形例として、閾値計算手段１５０を備え、パラメータ計算手段１２０に、閾値計算手段１５０で計算した閾値を供給してもよい。

＜第１０の実施例＞
図１６は、図１２に示した実施例の音声の監視装置を、コールセンタに実装したシステム構成を示す図である。公衆網１６に接続するPBX（構内交換機）１７から内線網１８を介してオペレータの音声端末１２が接続されている。受話部（レシーバ）１１と、送話部（マイク）１３が音声端末１２に接続され、オペレータからの通話内容は、送話部（マイク）１３から音声端末１２を介してPBX１７に伝送され、顧客の端末１５に伝送され、顧客の端末１５からの通話内容は、音声端末１２を介して受話部１１で再生させる。音声端末１２で受信した顧客の通話（有音、無音区間を含む）、送話部１３からのオペレータの通話内容（有音、無音区間を含む）は、監視・評価装置１０の２つの音声処理手段１１０_１、１１０_２に入力される。この例では、オペレータの入力を受ける送話部１３が、図１２の音声入力手段１００_１をなし、顧客からの入力を受話部１１に伝送する音声端末１２の出力が音声入力手段１００_２の出力に対応している。警告手段１４０からの警告は、画像端末１４に表示される。特に制限されないが、画像端末１４は、オペレータ業務を統括する管理者端末とされる。あるいは、オペレータの端末の画面に表示するようにしてもよい。

本実施例では、例えばオペレータと顧客の発声時間の比に顕著な差がある場合に、警告を発する。コールセンターのオペレータが不適切な言動を行っている場合に管理者に警告を出すといった用途に適用できる。また、オペレータ白身に警告を出すといった用途にも適用可能である。さらに、コールセンターのオペレータが困っている状態の場合に管理者に警告を出すといった用途にも適用可能である。コールセンターのオペレータの質を評価するといった用途にも適用可能である。

以上、本発明を上記実施例に即して説明したが、本発明は、上記実施例に限定されるものでなく、本発明の範囲内で、当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

本発明の一実施の形態の構成を示す図である。 本発明の一実施の形態の動作を示す流れ図である。 本発明の第１の実施例のパラメータ計算手段の構成を示す図である。 本発明の第２の実施例のパラメータ計算手段の構成を示す図である。 本発明の第３の実施例のパラメータ計算手段の構成を示す図である。 本発明の第４の実施例のパラメータ計算手段の構成を示す図である。 本発明の第５の実施例のパラメータ計算手段の構成を示す図である。 本発明の第６の実施例のパラメータ計算手段の構成を示す図である。 本発明の第１、第２の実施例の音声処理手段の構成を示す図である。 本発明の第３、第５の実施例の音声処理手段の構成を示す図である。 本発明の第４の実施例の音声処理手段の構成を示す図である。 本発明の第７の実施例の構成を示す図である。 本発明の第７の実施例の構成を示す図である。 本発明の第８の実施例の構成を示す図である。 本発明の第９の実施例の構成を示す図である。 本発明の第１０の実施例の構成を示す図である。

符号の説明

１０ 監視・評価装置
１１ 受話部
１２ 音声端末
１３ 送話部
１４ 画像端末
１５ 端末
１６ 公衆網
１７ PBX
１８ 内線網
１００ 音声入力手段
１１０ 音声処理手段
１２０ パラメータ計算手段
１３０ 状態判断手段
１４０ 警告手段
１５０ 閾値計算手段
１１０１ A/D変換部
１１０２ 特徴抽出部
１１０３ サーチ処理部
１１０４ 音響モデル
１１０５ 言語モデル
１１０６ パワー計算部
１１０７ ピッチ抽出部
１２０１ 認識結果判定手段
１２０２ 回数記憶手段
１２０３ 回数初期化手段
１２０４ 認識結果初期化手段
１２０５ 認識結果記憶手段
１２０６ パワー判定手段
１２０７ ピッチ変化判定手段
１２０８ パワー変化判定手段
１２０９ 話速判定手段
１２１０ パワー比判定手段
１２１１ 発声区間比判定手段

Claims (18)

1. 少なくとも１つの音声入力手段より入力された入力音声信号について、
   音声認識処理、
   パワー抽出処理、
   ピッチ抽出処理、及び、
   音声区間抽出処理、
   のうちの少なくとも１つの音声処理を行い、前記少なくとも１つの音声入力手段に対応する音声処理結果を出力する手段と、
   前記音声処理結果に対応したパラメータを導出し、前記パラメータの値に基づき、警告を発すべき状況であるか否かを判定する手段と、
   を備えている、ことを特徴とする音声監視システム。
2. 音声入力手段で入力された入力音声信号から音声認識処理を行い認識結果を出力する音声処理手段と、
   前記音声処理手段からの音声認識結果を受け、前記音声認識結果から、予め定められた特定の単語の出現頻度、及び／又は、語彙の種類の数を求め、パラメータとして出力するパラメータ計算手段と、
   前記パラメータ計算手段からの前記パラメータを受け、前記パラメータを予め定められた閾値と比較して警告を発すべき状況であるか否かを判断し警告の有無を示す信号を出力する状態判断手段と、
   前記状態判断手段からの前記信号に基づき、警告を出力する警告手段と、
   を備えている、ことを特徴とする音声監視システム。
3. 音声入力手段で入力された入力音声信号からパワー、ピッチ、及び、話速のうちの少なくとも１つを抽出して出力する音声処理手段と、
   前記音声処理手段で抽出された、パワー、ピッチ、及び話速のうちの少なくとも１つを入力し、予め定められた閾値と比較し、比較結果に応じてパラメータをセットして出力するパラメータ計算手段と、
   前記パラメータ計算手段からの前記パラメータを受け、前記パラメータのセットの有無に応じて警告の有無を示す信号を出力する状態判断手段と、
   前記状態判断手段からの前記信号に基づき、警告を出力する警告手段と、
   を備えている、ことを特徴とする音声監視システム。
4. 前記音声処理手段が、前記入力音声信号のパワーを抽出して前記パラメータ計算手段に出力し、
   前記パラメータ計算手段が、前記パワー又はパワーの変化を、予め定められた閾値と比較し、比較結果に応じて、パラメータをセットして出力する、ことを特徴とする請求項３記載の音声監視システム。
5. 前記音声処理手段が、前記入力音声信号のピッチを抽出して前記パラメータ計算手段に出力し、
   前記パラメータ計算手段が、ピッチの変化を予め定められた閾値と比較し、比較結果に応じてパラメータをセットして出力する、ことを特徴とする請求項３記載の音声監視システム。
6. 第１及び第２の音声入力手段よりそれぞれ入力された第１及び第２の入力音声信号の音声処理を行い、第１及び第２の処理結果をそれぞれ出力する第１及び第２の音声処理手段と、
   前記第１及び第２の音声処理手段からの前記第１及び第２の処理結果から評価値を求め、前記評価値を予め定められた閾値と比較し、比較結果に応じてパラメータをセットして出力するパラメータ計算手段と、
   前記パラメータ計算手段からのパラメータを受け、前記パラメータのセットの有無に応じて警告の有無を示す信号を出力する状態判断手段と、
   前記状態判断手段からの前記信号に基づき、警告を出力する警告手段と、
   を備えている、ことを特徴とする音声監視システム。
7. 第１及び第２の音声入力手段よりそれぞれ入力された第１及び第２の入力音声信号の音声処理を行い第１及び第２の処理結果をそれぞれ出力する第１及び第２の音声処理手段と、
   前記第１及び第２の音声処理手段からの第１及び第２の処理結果から評価値を求め、前記評価値を予め定められた閾値と比較し、比較結果に応じてパラメータをセットして出力するパラメータ計算手段と、
   前記パラメータ計算手段からのパラメータを受け取り前記パラメータのセットの有無に応じて警告の有無を示す信号を出力する状態判断手段と、
   前記状態判断手段からの前記信号に基づき、警告を出力する警告手段と、
   を備えている、ことを特徴とする音声監視システム。
8. 前記第１及び第２の音声処理手段は、前記第１及び第２の入力音声信号のパワーを求めそれぞれ第１及び第２のパワーをそれぞれ前記第１及び第２の処理結果として出力し、
   前記パラメータ計算手段は、前記第１及び第２のパワーの比を求め、前記第１及び第２のパワーの比を予め定められた閾値と比較し、比較結果に応じてパラメータをセットして出力する、ことを特徴とする請求項６記載の音声監視システム。
9. 前記第１及び第２の音声処理手段は、前記第１及び第２の入力音声信号の音声区間長と無音区間長をそれぞれ求め、前記音声区間長と前記無音区間長をそれぞれ前記第１及び第２の処理結果として出力し、
   前記パラメータ計算手段は、前記音声区間長と前記無音区間長の比を求め、前記音声区間長と前記無音区間長の比を予め定められた閾値と比較し、比較結果に応じてパラメータをセットして出力する、ことを特徴とする請求項６記載の音声監視システム。
10. 前記閾値を学習する閾値計算部を備えている、ことを特徴とする請求項１乃至８のいずれか一に記載の音声監視システム。
11. 請求項１乃至９のいずれか一に記載の音声監視システムを備え、前記音声監視システムにより、オペレータの音声の監視が行われる、ことを特徴とするコールセンター。
12. 音声処理手段が、音声入力手段で入力された入力音声信号から音声認識処理を行い認識結果を出力する工程と、
    パラメータ計算手段が、音声認識結果から予め定められた特定単語の出現頻度、及び／又は、語彙の種類の数を求め、パラメータとして出力する工程と、
    状態判断手段が、前記パラメータを予め定められた閾値と比較して警告を発すべき状況下か否かを判断し警告の有無を示す信号を出力する工程と、
    警告手段が、前記信号に基づき、警告を出力する工程と、
    を含む、ことを特徴とする音声監視方法。
13. 音声処理手段が、音声入力手段で入力された入力音声信号からパワー、ピッチ、及び話速のうちの少なくとも１つを抽出して出力する工程と、
    パラメータ計算手段が、前記抽出されたパワー、ピッチ、及び話速のうちの少なくとも１つを入力し、予め定められた閾値と比較し、比較結果に応じてパラメータをセットして出力する工程と、
    状態判定手段が、前記パラメータのセットの有無に応じて警告の有無を示す信号を出力する工程と、
    警告手段が、前記信号に基づき、警告を出力する工程と、
    を含む、ことを特徴とする音声監視方法。
14. 音声入力手段で入力された入力音声信号から音声認識処理を行い認識結果を出力する処理と、
    前記音声認識結果から、予め定められた特定の単語の出現頻度、及び／又は、語彙の種類の数を求め、パラメータとして出力する処理と、
    前記パラメータを予め定められた閾値と比較して警告を発すべき状況であるか否かを判断し警告の有無を示す信号を出力する処理と、
    前記信号に基づき、警告を出力する処理と、
    をコンピュータに実行させるプログラム。
15. 音声入力手段で入力された入力音声信号からパワー、ピッチ、及び、話速のうちの少なくとも１つを抽出して出力する処理と、
    前記抽出されたパワー、ピッチ、及び、話速のうちの少なくとも１つを入力し、予め定められた閾値と比較し、比較結果に応じてパラメータをセットして出力する処理と、
    前記パラメータのセットの有無に応じて警告の有無を示す信号を出力する処理と、
    前記信号に基づき、警告を出力する処理と、
    をコンピュータに実行させるプログラム。
16. 第１及び第２の音声入力手段よりそれぞれ入力された第１及び第２の入力音声信号の音声処理を行い第１及び第２の処理結果を出力する処理と、
    前記第１及び第２の処理結果から評価値を求め、前記評価値を予め定められた閾値と比較し、比較結果に応じてパラメータをセットして出力する処理と、
    前記パラメータのセットの有無に応じて警告の有無を示す信号を出力する処理と、
    前記信号に基づき、警告を出力する処理と、
    をコンピュータに実行させるプログラム。
17. 請求項１５記載のプログラムにおいて、
    前記第１及び第２の処理結果を出力する処理が、前記第１及び第２の入力音声信号のパワーを求め、
    前記パラメータをセットして出力する処理は、それぞれ第１及び第２のパワーとして出力し、前記第１及び第２のパワーの比を、予め定められた閾値と比較し、比較結果に応じてパラメータをセットして出力する、ことを特徴とするプログラム。
18. 請求項１５記載のプログラムにおいて、
    前記第１及び第２の処理結果を出力する処理が、前記第１及び第２の入力音声信号の音声区間長と無音区間長を求め、前記音声区間長と無音区間長を前記第１及び第２の処理結果として出力し、
    前記パラメータをセットして出力する処理は、前記音声区間長と前記無音区間長の比を、予め定められた閾値と比較し、比較結果に応じてパラメータをセットして出力する、ことを特徴とするプログラム。

Images