JP2007286097A - Voice reception claim detection method and device, and voice reception claim detection program and recording medium - Google Patents

Voice reception claim detection method and device, and voice reception claim detection program and recording medium Download PDF

Info

Publication number
JP2007286097A
JP2007286097A JP2006109779A JP2006109779A JP2007286097A JP 2007286097 A JP2007286097 A JP 2007286097A JP 2006109779 A JP2006109779 A JP 2006109779A JP 2006109779 A JP2006109779 A JP 2006109779A JP 2007286097 A JP2007286097 A JP 2007286097A
Authority
JP
Japan
Prior art keywords
detection
evaluation value
utterance
start time
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006109779A
Other languages
Japanese (ja)
Inventor
Satoru Kobashigawa
哲 小橋川
Noboru Miyazaki
昇 宮崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2006109779A priority Critical patent/JP2007286097A/en
Publication of JP2007286097A publication Critical patent/JP2007286097A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To promptly detect the generation of a claim and to smoothly process the claim in reception work by voice. <P>SOLUTION: A voice reception claim detection method includes a reception start time detection process for detecting reception start time from the utterance level of key input or voice input; a response utterance start time detection process for detecting the response utterance start time; a claim detection evaluation value measurement process for detecting response time which is the difference of response utterance start time and reception start time, as a claim detection evaluation value; a claim detection process for determining it to be claim processing, if the claim detection evaluation value is less than a threshold; and an output processing for outputting operator information under processing, when it is determined as being a claim in the claim detection processing. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は電話やインターネットを介する音声受付システムに適用して好適な音声受付クレーム検出方法に関し、特にコールセンタ管理者が顧客の状態を判断することのできる音声受付クレーム検出方法、装置、プログラム、記録媒体に関する。   The present invention relates to a voice reception complaint detection method suitable for application to a voice reception system via a telephone or the Internet, and more particularly, a voice reception complaint detection method, apparatus, program, and recording medium that allow a call center administrator to determine a customer's condition. About.

音声受付クレーム検出装置としては、例えば特許文献1のように、顧客が話す言葉、速度、音量を測定し、通常の顧客の状態と比較照合することにより、顧客の感情の状態を顧客の音声から推定する技術がある。
特開2004−37989号公報
As a voice reception complaint detection device, for example, as disclosed in Patent Document 1, the words, speed, and volume spoken by a customer are measured, and compared with the normal customer's state, the customer's emotional state is determined from the customer's voice. There are techniques to estimate.
JP 2004-37989 A

従来の技術では、下記の課題がある。
(1)顧客の話す言葉を検出することがむずかしい
・顧客の音声は、電話回線を通じることにより、音声が歪んでいたり、顧客側の背景雑音の影響、オペレータ側の回り込み等で、音声認識性能が悪く話す言葉を特定できない。
・顧客が怒っている場合に、どんな言葉を話すか分からないため、予め音声認識の検出対象の単語を用意するのが難しい。
(2)顧客の話す速度による顧客の状態を検出することが難しい
・特に、興奮しているからといって話速が早くなるとは限らない。
・興奮して話速が早くなったとしても、話速の計算が困難である。
(3)音量の測定精度が高くない
・音量は、顧客の電話端末、顧客の口元から電話端末のマイクまで距離などによって変わるため、音量だけでは興奮度は推定出来ない。
The conventional techniques have the following problems.
(1) It is difficult to detect the words spoken by the customer. ・ Voice recognition performance is due to the customer's voice being distorted by the telephone line, the influence of background noise on the customer side, the wraparound on the operator side, etc. Can't identify words that speak badly.
-When a customer is angry, it is difficult to prepare words to be detected in advance for voice recognition because it is not known what words are spoken.
(2) It is difficult to detect the customer's condition based on the customer's speaking speed. Particularly, the excitement does not necessarily increase the speaking speed.
・ Even if excitement increases the speaking speed, it is difficult to calculate the speaking speed.
(3) Volume measurement accuracy is not high ・ Volume varies depending on the distance from the customer's phone terminal and customer's mouth to the microphone of the phone terminal, so the degree of excitement cannot be estimated by volume alone.

これらの課題を解消するために、本発明による音声受付クレーム検出方法はキー入力または発話レベルから受話開始時刻を検出する受話開始時刻検出処理と、相槌発話開始時刻を検出する相槌発話開始時刻検出処理と、相槌発話開始時刻と受話開始時刻の差で得られる応答時間をクレーム検出評価値として検出するクレーム検出評価値測定処理と、クレーム検出評価値が閾値以下であればクレームの応対と判定するクレーム検出処理と、クレーム検出処理でクレームと判定された場合に応対中のオペレータ情報を出力する出力処理と、を含むことを特徴とする。   In order to solve these problems, the voice reception claim detection method according to the present invention includes a reception start time detection process for detecting a reception start time from a key input or an utterance level, and a conflict utterance start time detection process for detecting a conflict utterance start time. And a claim detection evaluation value measurement process for detecting a response time obtained as a difference between the start time of the utterance and the reception start time as a claim detection evaluation value, and a claim for determining that the claim is handled if the claim detection evaluation value is equal to or less than a threshold value It includes a detection process and an output process for outputting operator information being received when it is determined as a complaint in the complaint detection process.

本発明では更に入力される音声の認識を行い、予め登録してある相槌単語の検出と相槌単語の開始時刻と終了時刻を得る相槌発話認識処理と、登録済みの相槌単語の音節数または音素数を相槌単語継続時間で除算することで得られる相槌発話速度をクレーム検出評価値として測定するクレーム検出評価値測定処理と、クレーム検出評価値が閾値以上であればクレームの応対と判定するクレーム検出処理と、クレーム検出処理でクレームと判定された場合に応対中のオペレータ情報を出力する出力処理とを含むことを特徴とする。
本発明では更に入力される音声の認識処理を行い、予め登録してある相槌単語を検出するとともに、相槌単語の開始時刻と終了時刻を得る相槌発話認識処理と、相槌単語収録時の相槌発話の音量を測定する音量測定処理と、相槌発話の音量を、相槌単語継続時間で除算することで得られる相槌発話音量レベルをクレーム検出評価値として測定するクレーム検出評価値測定処理と、相槌発話音量レベルが閾値以上であればクレームの応対と判定するクレーム検出処理とクレーム検出処理でクレームと判定された場合に応対中のオペレータ情報を出力する出力処理とを含むことを特徴とする。
In the present invention, further recognition of input speech is performed to detect a pre-registered conflict word, to obtain a start time and an end time of the conflict word, and the number of syllables or phonemes of the registered conflict word Claim detection evaluation value measurement processing for measuring the speech utterance speed obtained by dividing the word by the word duration of the complaint as a claim detection evaluation value, and claim detection processing for determining that the claim is handled if the claim detection evaluation value is equal to or greater than a threshold value And an output process for outputting the operator information being received when it is determined that the complaint is detected in the complaint detection process.
In the present invention, recognition processing of input speech is further performed to detect a pre-registered companion word, and a companion utterance recognition process for obtaining a start time and an end time of the companion word; Volume measurement processing for measuring the volume, claim detection evaluation value measurement processing for measuring the volume of the utterance utterance by dividing the volume of the utterance utterance by the duration of the utterance word as a complaint detection evaluation value, and the volume of the utterance utterance volume And claim output processing for outputting operator information during response when it is determined as a complaint in the claim detection processing.

本発明では更に入力される音声の認識処理を行い、予め登録してある相槌単語を検出するとともに、相槌単語の開始時刻と終了時刻を得る相槌発話認識処理と、当該相槌発話開始時刻から、一つ前の相槌発話の終了時刻を減算することで得られる相槌発話間隔を測定する相槌発話間隔測定処理と、一定時間の間に発生する相槌の相槌発話間隔の平均値をクレーム検出評価値として測定するクレーム検出評価値測定処理と、クレーム検出評価値が閾値以下であればクレームの応対と判定するクレーム検出処理と、クレーム検出部でクレームと判定された場合に応対中のオペレータ情報を出力する出力処理とを含むことを特徴とする。   In the present invention, the input speech recognition process is further performed to detect a pre-registered conflict word, and to obtain a start time and an end time of the conflict word, and from the conflict utterance start time, Measures the relative speech interval measurement process to measure the relative speech interval obtained by subtracting the end time of the previous relative speech, and measures the average value of the relative speech intervals generated during a certain time as the claim detection evaluation value Claim detection evaluation value measurement processing to be performed, claim detection processing to determine that a complaint is handled if the complaint detection evaluation value is equal to or less than a threshold value, and output to output operator information during response when the complaint detection unit determines a complaint Processing.

本発明では更にクレーム検出評価値のうち2つ以上を重み付き線形和で統合した統合クレーム評価値でクレーム検出を行う統合クレーム検出処理を含むことを特徴とする。
本発明では更に入力される音声の応答時間、相槌発話速度、相槌発話音量レベル、相槌発話間隔のクレーム検出評価値のうち少なくとも2つ以上がクレームと判定した場合に、クレームと判定する統合クレーム検出処理を含むことを特徴とする。
本発明では更にクレーム検出評価値または統合クレーム評価値および閾値を入力される音声種毎に平均値で正規化して検出を行うクレーム検出処理を含むことを特徴とする。
The present invention further includes an integrated claim detection process for detecting a claim using an integrated claim evaluation value obtained by integrating two or more of the claim detection evaluation values with a weighted linear sum.
In the present invention, the integrated claim detection that determines a claim when at least two or more of the claim detection evaluation values of the response time of the input speech, the relative speech speed, the relative speech volume level, and the relative speech interval are determined to be a complaint. Including processing.
The present invention further includes a claim detection process in which a claim detection evaluation value or an integrated claim evaluation value and a threshold value are normalized by an average value for each input voice type and detected.

本発明では更にクレーム検出評価値または統合クレーム評価値の平均値およびそれらの検出用閾値を一定時間経過後に基準値に戻す検出パラメータ更新処理を含むことを特徴とする。
本発明による音声受付クレーム検出装置はキー入力または発話レベルから受話開始時刻を検出する受話開始時刻検出部と、相槌発話開始時刻を検出する相槌発話開始時刻検出部と、相槌発話開始時刻と受話開始時刻の差で得られる応答時間をクレーム検出評価値として検出するクレーム検出評価値測定部と、クレーム検出評価値が閾値以下であればクレームの応対と判定するクレーム検出部と、クレーム検出処理でクレームと判定された場合に応対中のオペレータ情報を出力する出力部とを備えることを特徴とする。
The present invention further includes a detection parameter update process for returning the average value of the claim detection evaluation value or the integrated claim evaluation value and the detection threshold value to the reference value after a lapse of a predetermined time.
The voice reception claim detection device according to the present invention includes a reception start time detection unit that detects a reception start time from a key input or a speech level, a conflict speech start time detection unit that detects a conflict speech start time, a conflict speech start time, and a speech start A claim detection evaluation value measuring unit that detects a response time obtained as a time difference as a claim detection evaluation value, a claim detection unit that determines that a claim is handled if the claim detection evaluation value is equal to or less than a threshold value, and a claim detection process And an output unit that outputs the operator information being received when it is determined.

本発明による音声受付クレーム検出装置は入力される音声の認識を行い、予め登録してある相槌単語の検出と相槌単語の開始時刻と終了時刻を得る相槌発話認識部と、登録済みの前記相槌単語の音節数または音素数を相槌単語継続時間で除算することで得られる相槌発話速度をクレーム検出評価値として測定するクレーム検出評価値測定部と、クレーム検出評価値が閾値以上であればクレームの応対と判定するクレーム検出部と、クレーム検出部でクレームと判定された場合に応対中のオペレータ情報を出力する出力部とを備えることを特徴とする。   The speech reception claim detection apparatus according to the present invention recognizes input speech, detects a pre-registered conflict word, obtains a start time and end time of the conflict word, and the registered conflict word A complaint detection evaluation value measuring unit that measures the speech utterance speed obtained by dividing the number of syllables or phonemes by the word duration of complaints as a complaint detection evaluation value; A complaint detection unit, and an output unit that outputs operator information in response to a complaint detected by the complaint detection unit.

本発明による音声受付クレーム検出装置は更に入力される音声の認識処理を行い、予め登録してある相槌単語を検出するとともに、相槌単語の開始時刻と終了時刻を得るオペレータ相槌発話認識部と、相槌単語収録時の相槌発話の音量を測定する音量測定部と、相槌発話の音量を、相槌単語継続時間で除算することで得られる相槌発話音量レベルをクレーム検出評価値として測定するクレーム検出評価値測定部と、クレーム検出評価値が閾値以上であればクレームの応対と判定するクレーム検出部と、クレーム検出部でクレームと判定された場合に応対中のオペレータ情報を出力する出力部とを備えることを特徴とする。   The voice reception claim detection apparatus according to the present invention further performs a process of recognizing input voice, detects a pre-registered conflict word, obtains a start time and an end time of the conflict word, A volume measurement unit that measures the volume of the utterance utterance during word recording, and a claim detection evaluation value measurement that measures the utterance volume level obtained by dividing the volume of the utterance utterance by the duration of the utterance word as a claim detection evaluation value. A claim detection unit that determines that a complaint is handled if the complaint detection evaluation value is equal to or greater than a threshold value, and an output unit that outputs operator information during response when the complaint detection unit determines that the complaint is a complaint. Features.

本発明による音声受付クレーム検出装置は入力される音声の認識処理を行い、予め登録してある相槌単語を検出するとともに、相槌単語の開始時刻と終了時刻を得るオペレータ相槌発話認識部と、当該相槌発話開始時刻から、一つ前の相槌発話の終了時刻を減算することで得られる相槌発話間隔を測定する相槌発話間隔測定部と、一定時間の間に発生する相槌の相槌発話間隔の平均値をクレーム検出評価値として測定するクレーム検出評価値測定部と、クレーム検出評価値が閾値以下であればクレームの応対と判定するクレーム検出部と、クレーム検出部でクレームと判定された場合に応対中のオペレータ情報を出力する出力部とを備えることを特徴とする。   The voice reception claim detection apparatus according to the present invention performs a process for recognizing input voice, detects a pre-registered conflict word, obtains a start time and an end time of the conflict word, and The average value of the relative utterance intervals of the relative utterances generated during a certain period of time and the relative utterance interval measurement unit that measures the relative utterance interval obtained by subtracting the end time of the previous utterance utterance from the utterance start time. A claim detection evaluation value measuring unit that measures as a claim detection evaluation value, a claim detection unit that determines that a claim is handled if the claim detection evaluation value is less than or equal to a threshold value, and a response that is being handled when the claim detection unit determines a claim And an output unit for outputting operator information.

本発明による音声受付クレーム検出装置はクレーム検出評価値のうち少なくとも2つ以上を重み付き線形和で統合した統合クレーム評価値でクレーム検出を行う統合クレーム検出部を備えることを特徴とする。
本発明による音声受付クレーム検出装置は更にクレーム検出評価値のうち少なくとも2つ以上がクレームと判定した場合に、クレームと判定する統合クレーム検出部を備えることを特徴とする。
本発明による音声受付クレーム検出装置は更にクレーム検出評価値または統合クレーム評価値およびこれらの閾値を、入力される音声種毎の平均値で正規化して検出を行うクレーム検出部を備えることを特徴とする。
The voice reception claim detection apparatus according to the present invention includes an integrated claim detection unit that detects a claim using an integrated claim evaluation value obtained by integrating at least two of the claim detection evaluation values with a weighted linear sum.
The voice reception claim detection apparatus according to the present invention further includes an integrated claim detection unit that determines a claim when at least two of the claim detection evaluation values are determined to be a claim.
The voice reception claim detection apparatus according to the present invention further includes a claim detection unit that performs detection by normalizing the claim detection evaluation value or the integrated claim evaluation value and their threshold values with an average value for each input voice type. To do.

本発明による音声受付クレーム検出装置は更にクレーム検出評価値または統合クレーム評価値の平均値およびそれらの検出用閾値を一定時間経過後に基準値に戻す検出パラメータ更新部を含むことを特徴とする。
本発明による音声受付クレーム検出プログラムはコンピュータが解読可能なプログラム言語によって記述され、コンピュータに前記何れかに記載の音声受付クレーム検出方法を実行させることを特徴とする。
本発明による音声受付クレーム検出プログラムを記録した記録媒体はコンピュータが読み取り可能な記録媒体によって構成され、この記録媒体に前記の音声受付クレーム検出プログラムを記録したことを特徴とする。
The voice reception claim detection apparatus according to the present invention further includes a detection parameter update unit that returns the average value of the claim detection evaluation value or the integrated claim evaluation value and the detection threshold value to a reference value after a predetermined time has elapsed.
The voice reception claim detection program according to the present invention is described in a computer-readable program language, and causes the computer to execute any one of the voice reception claim detection methods described above.
The recording medium on which the voice reception claim detection program according to the present invention is recorded is constituted by a computer-readable recording medium, and the voice reception claim detection program is recorded on the recording medium.

一般に顧客が興奮しているかどうかは応対しているオペレータが受話直後に顧客の声質から判断し、ちゃんと応対していることを示すため、すぐに「はい」などの相槌発話を行う傾向がある。また、この時の応対発話の速度は通常時より早くなり、また、オペレータの相槌などの応答発話は、話速が早く、音量も大きくなることに着目する。更に、クレームを受けているオペレータの相槌発話の間隔は、通常の間隔よりも短くなることにも着目する。
このため本発明では検出対象をオペレータ音声に限り、「受話直後からオペレータが話すまでの時間の長さ(受話後応答時間)」と、「相槌発話の話速の速さ(相槌発話速度)」と「相槌発話の声の大きさ(相槌発話音量)」および「相槌発話の間隔(相槌発話間隔)」から、当該オペレータが応対している顧客が興奮状態にあるか否かを検出し、コールセンタ運営者(スーパバイザ)に通知し、傍聴やオペレータを助け円滑に応対することが可能となる。
In general, whether the customer is excited or not is judged from the voice quality of the customer immediately after receiving the call and shows that the customer is responding properly. Also, attention is paid to the fact that the response utterance speed at this time is faster than normal, and that the response utterance such as the operator's interaction is faster and the volume is higher. Further, attention is paid to the fact that the interval between competing utterances of the operator receiving the complaint is shorter than the normal interval.
For this reason, in the present invention, the detection target is limited to the operator voice, and “the length of time from the time immediately after receiving the call until the operator speaks (response time after receiving the call)” and “the speed of the talk utterance speed (the answer utterance speed)” And “the volume of the voice of the sumo utterance (the sumo utterance volume)” and “the interval of the sumo utterance (the sumo utterance interval)”, it is detected whether or not the customer who is responding to the operator is in an excited state. The operator (supervisor) is notified, and it becomes possible to help the hearing and the operator and respond smoothly.

更に、検出対象をオペレータ音声に限るため、オペレータの話す相槌言葉は典型的な言葉なので容易に検出対象語彙を選択可能である。また、オペレータの音声は音質も良く認識率が高いため、検出性能が高い。つまり、オペレータのヘッドセット装着後は平均的な声の音量レベルのレンジは限られるため、音量に基づく検出性能が高い。
また、受話直後の相槌発話で検出が可能なため、検出処理にかかる時間が少ない。さらに、オペレータ毎に過去の「受話後応答時間」「相槌発話速度」「相槌発話音量」「相槌発話間隔」を保存しておき、それらの平均値で正規化することによりさらに検出性能を上げることが出来る。
Furthermore, since the detection target is limited to the operator's voice, since the companion word spoken by the operator is a typical word, the detection target vocabulary can be easily selected. In addition, the operator's voice has high sound quality and a high recognition rate, so that the detection performance is high. In other words, since the range of the average voice volume level is limited after the operator wears the headset, the detection performance based on the volume is high.
In addition, since detection is possible with the utterances immediately after the reception, the time required for the detection process is small. In addition, the past “response time after reception”, “conflict utterance speed”, “conflict utterance volume”, and “interference utterance interval” are saved for each operator, and the detection performance is further improved by normalizing them with the average value. I can do it.

従って、本発明によれば従来技術に比べ、顧客の興奮(クレーム)検出性能が高い。また、興奮(クレーム)検出用の相槌言葉の登録が容易である。さらには興奮(クレーム)検出にかかる時間を短くすることができる。   Therefore, according to the present invention, the customer excitement (claim) detection performance is higher than that of the prior art. In addition, it is easy to register a companion word for excitement (claim) detection. Furthermore, the time required for detecting excitement (claim) can be shortened.

本発明による音声受付クレーム検出方法及び装置は全てをハードウェアによって構成し、実現することもできるが、最も簡素に実現するにはコンピュータに本発明で提案する音声受付クレーム検出プログラムをインストールし、コンピュータに音声受付クレーム検出装置として機能させ、本発明による音声受付クレーム検出方法を実行させる実施形態が最良である。
コンピュータに本発明による音声受付クレーム検出装置として機能させるには、コンピュータにインストールした音声受付クレーム検出プログラムによりキー入力または音声入力の発話レベルから受話開始時刻を検出する受話開始時刻検出部と、相槌発話開始時刻を検出する相槌発話開始時刻検出処理と、相槌発話開始時刻と受話開始時刻の差から得られる応答時間をクレーム検出評価値として検出するクレーム検出評価値測定部と、クレーム検出評価値が閾値以下であればクレームの応対と判定するクレーム検出部と、クレーム検出部で「クレーム」と判定された場合に応対中のオペレータ情報を出力する出力部とをコンピュータに構築し、音声受付クレーム装置として機能させる実施形態と、
入力される音声の認識を行い、相槌単語の検出と相槌単語の開始時刻と終了時刻を得る相槌発話認識部と、相槌単語の音節数または音素数を相槌単語継続時間で除算することで得られる相槌発話速度クレーム検出評価値として測定するクレーム検出評価値測定部と、クレーム検出評価値測定部の測定結果に応じて「クレーム」の応対と判定するクレーム検出部と、「クレーム」と判定された場合に応答中のオペレータ情報を出力する出力部とを構築し、音声受付装置として機能させる実施形態と、
相槌単語を検出し、相槌単語の開始時刻と終了時刻を得る相槌発話認識部と、相槌発話の音量を測定する音量測定部と、相槌発話の音量を相槌単語継続時間で除算することで得られる相槌発話音量レベルをクレーム検出評価値として測定するクレーム検出評価値測定部と、クレーム検出評価値測定部の測定結果に応じて「クレーム」の応対と判定するクレーム検出部と、「クレーム」と判定された場合に応答中のオペレータ情報を出力する出力部とを構築し、音声受付装置として機能させる実施形態と、
入力される音声から相槌単語を検出し、相槌単語の開始時刻と終了時刻を得る相槌発話認識部と、相槌発話開始時刻から、一つ前の相槌発話の終了時刻を減算することで得られる相槌発話間隔を測定する相槌発話間隔測定部と、一定時間の間に発生する相槌の相槌発話間隔の平均値をクレーム検出評価値として測定するクレーム検出評価値測定部と、クレーム検出評価値の測定結果に応じて「クレーム」の応答と判定するクレーム検出部と、「クレーム」と判定された場合に応答中のオペレータ情報を出力する出力部とを構築し、音声受付クレーム検出装置として機能させる実施形態とが考えられる。
The voice reception claim detection method and apparatus according to the present invention can be realized entirely by hardware, but in order to realize the simplest, the voice reception claim detection program proposed in the present invention is installed in a computer, and the computer The embodiment that allows the voice reception complaint detection apparatus to execute the voice reception complaint detection method according to the present invention is the best.
In order for a computer to function as a voice reception complaint detection device according to the present invention, a voice reception complaint detection program installed in a computer detects a reception start time from a key input or voice input speech level by using a voice reception complaint detection program; A conflict utterance start time detection process for detecting a start time, a claim detection evaluation value measuring unit for detecting a response time obtained from a difference between the conflict utterance start time and the reception start time as a claim detection evaluation value, and the claim detection evaluation value is a threshold value As a voice reception claim device, a complaint detection unit that determines a response to a complaint if it is below, and an output unit that outputs operator information during response when the complaint detection unit determines “complaint”. An embodiment to function;
It is obtained by recognizing the input speech, detecting the conflicting word and obtaining the start time and end time of the conflicting word, and dividing the number of syllables or phonemes of the conflicting word by the duration of the conflicting word. A complaint detection evaluation value measuring unit that measures as a conflicting speech rate complaint detection evaluation value, a claim detection unit that determines a response to a “claim” according to the measurement result of the claim detection evaluation value measurement unit, and a “claim” An embodiment for constructing an output unit that outputs operator information in response to a case, and functioning as a voice reception device;
It is obtained by detecting the companion word and obtaining the start time and end time of the companion word, the volume measuring unit for measuring the volume of the companion utterance, and dividing the volume of the companion utterance by the companion word duration. A complaint detection evaluation value measurement unit that measures the volume level of the utterance utterance as a complaint detection evaluation value, a complaint detection unit that determines the response of the “claim” according to the measurement result of the complaint detection evaluation value measurement unit, and a determination as “claim” An output unit that outputs operator information in response to the response, and an embodiment for functioning as a voice reception device;
A companion utterance recognition unit that detects a companion word from the input speech and obtains the start time and end time of the companion word, and a subtraction obtained by subtracting the end time of the previous companion utterance from the start of the companion utterance Conflict utterance interval measurement unit that measures the utterance interval, complaint detection evaluation value measurement unit that measures the average value of the relative utterance intervals of the conflicts that occur during a certain time as a claim detection evaluation value, and measurement results of the claim detection evaluation value An embodiment for constructing a complaint detection unit that determines a response of a “claim” according to a response, and an output unit that outputs operator information that is being answered when it is determined to be a “claim”, and functions as a voice reception complaint detection device You could think so.

本実施例1では、受話直後からオペレータが話し始めるまでの時間の長さ(受話後応答時間RT:Response Time)を用いて、クレームか否かを判定する方法を説明する。
実施例1の機能構成図を図1に、処理手順を図2に示す。
本実施例1では、音声入力端子12に入力されるオペレータまたはユーザ音声のレベルや、入力端子11に与えられるオペレータのキーボード或いはマウス入力や受話操作信号から受話開始時刻検出部13で受話開始時刻を検出する(ステップSP21、SP22)。次に、オペレータの音声から相槌発話開始時刻と受話開始時刻の差分(「相槌発話開始時刻−受話開始時刻」)で得られる受話後応答時間RT(Response Time)をクレーム検出評価値としてクレーム検出評価値測定部15で測定する(ステップSP24)。
In the first embodiment, a method for determining whether or not a complaint is made using a length of time from immediately after receiving a call until the operator starts speaking (response time after receiving RT: Response Time) will be described.
A functional configuration diagram of the first embodiment is shown in FIG. 1, and a processing procedure is shown in FIG.
In the first embodiment, the reception start time detection unit 13 determines the reception start time from the level of the operator or user voice input to the audio input terminal 12, the operator's keyboard or mouse input given to the input terminal 11, or the reception operation signal. It detects (step SP21, SP22). Next, the claim detection evaluation using the response time RT (Response Time) after reception obtained by the difference between the start time and the reception start time of the operator from the voice of the operator (“interaction speech start time−reception start time”) as the claim detection evaluation value The value is measured by the value measuring unit 15 (step SP24).

応答時間RTで求めたクレーム検出評価値が閾値以下であればクレーム検出部16でクレームの応答と判定する(ステップSP25)。そして、クレーム応対と判定された場合は応対中のオペレータ情報を出力部17から出力する。出力したオペレータ情報は例えば出力部17からスーパバイザ(コールセンタ)に送信する(ステップSP26)。
また、オペレータの応答時間RTの平均値を応答時間平均メモリ(図11クレーム検出評価値平均メモリ111参照)に保存しておき、応答時間RTや検出用応答時間閾値を応答時間平均で正規化することにより検出精度の頑健性を高めることが出来る。
If the claim detection evaluation value obtained by the response time RT is equal to or less than the threshold value, the claim detection unit 16 determines that the response is a complaint (step SP25). If it is determined that a complaint is received, the operator information during the response is output from the output unit 17. For example, the output operator information is transmitted from the output unit 17 to the supervisor (call center) (step SP26).
Further, the average value of the response time RT of the operator is stored in the response time average memory (see the claim detection evaluation value average memory 111 in FIG. 11), and the response time RT and the detection response time threshold are normalized by the response time average. As a result, robustness of detection accuracy can be improved.

相槌発話開始時刻検出部14では、オペレータ/ユーザ音声分離部18で、まず既存の分離アダプタ等のハードウェアや音源分離技術により、オペレータ音声とユーザ音声を分離した後(ステップSP27)、オペレータ音声の音声レベルで発話レベルを検出するオペレータ/ユーザ音声分離に基づく方法が考えられる。また、オペレータ音声とユーザ音声を分離しない場合でも、相槌発話認識部19で、予め想定したオペレータ特有の相槌発話単語(例えば、「はい」「そうです」「申し訳ありません」)を音声認識で検出することにより、オペレータ相槌発話を検出する音声認識(ステップSP28)に基づく方法も可能である。オペレータ/ユーザ音声分離に基づく方法と音声認識に基づく方法の両者を組み合わせることでさらに検出精度を改善することが出来る。   In the utterance start time detection unit 14, the operator / user voice separation unit 18 first separates the operator voice and the user voice by using hardware such as an existing separation adapter or a sound source separation technique (step SP27), and then the operator voice. A method based on operator / user voice separation that detects the speech level at the voice level is conceivable. Further, even when the operator voice and the user voice are not separated, the talk utterance recognition unit 19 detects the voice talk words specific to the operator that are assumed in advance (for example, “Yes”, “Yes”, “Sorry”) by voice recognition. Thus, a method based on voice recognition (step SP28) for detecting operator-interactive speech is also possible. The detection accuracy can be further improved by combining both the method based on operator / user speech separation and the method based on speech recognition.

また、音声認識に基づく方法は、話者(オペレータ)が既知であるから、音声認識に用いる音声や言語のモデルを話者毎に特定話者用にチューニングすることで更に検出性能を高めることが可能となる。   In addition, since the method based on speech recognition is already known by the speaker (operator), the detection performance can be further improved by tuning the speech or language model used for speech recognition for a specific speaker for each speaker. It becomes possible.

本実施例2では、相槌発話の話速の早さ(相槌発話速度SR:Speech Rate)を用いて、クレームか否かを判定する。
実施例2の機能構成図を図3に、処理手順を図4に示す。
本実施例2では、まずオペレータの音声から相槌発話認識部19で相槌単語を検出する。相槌発話認識部19では、オペレータの音声の認識を行い、予め登録してある相槌単語を検出するとともに、相槌単語の開始時刻と終了時刻を得る(ステップSP41)。次に、クレーム検出評価値測定部15では、登録済みの相槌単語の音節数または音素数を相槌単語継続時間(「相槌単語の終了時間−開始時間」)で除算することで得られる相槌発話速度SRをクレーム検出評価値として測定する(ステップSP42)。そして、クレーム検出評価値として得られた相槌発話速度SRが閾値以上であればクレーム検出部16でクレームの応対と判定する(ステップSP43)。そして、クレーム応対と判定された場合に出力部17で応対中のオペレータ情報を出力する。オペレータ情報はスーパバイザに送信する(ステップSP44)。
In the second embodiment, it is determined whether or not a complaint is made by using the speed of speaking speech (Speech Rate SR).
FIG. 3 shows a functional configuration diagram of the second embodiment, and FIG. 4 shows a processing procedure.
In the second embodiment, the conflicting speech recognition unit 19 first detects the conflicting word from the operator's voice. The companion utterance recognition unit 19 recognizes the operator's voice, detects a preregistered companion word, and obtains the start time and end time of the companion word (step SP41). Next, the complaint detection evaluation value measurement unit 15 divides the number of syllables or phonemes of the registered reference word by the reference word duration (“completion word end time−start time”) to obtain the reference speech speed. SR is measured as a claim detection evaluation value (step SP42). If the competing speech rate SR obtained as the complaint detection evaluation value is equal to or higher than the threshold, the complaint detection unit 16 determines that the complaint is handled (step SP43). When it is determined that the complaint is received, the output unit 17 outputs the operator information being handled. The operator information is transmitted to the supervisor (step SP44).

また、オペレータ発話速度の平均値をメモリ(図11参照)に保存しておき、相槌発話速度やクレーム検出発話速度閾値を発話速度平均で正規化することにより検出精度の頑健性を高めることが出来る。発話速度平均は、相槌発話に限らず、通常のオペレータ発話を含めて検出することでより安定した正規化を行える。
相槌発話認識部19の処理は、実施例1と同様に受話開始時刻検出部13とオペレータ/ユーザ音声分離部18の動作に基づく方法を組み合わせて精度を高めることができる(ステップSP45、SP46)。また、相槌発話認識部19の処理をオペレータ向けにチューニングすることができる。
In addition, the average value of the operator utterance speed is stored in a memory (see FIG. 11), and the robustness of the detection accuracy can be improved by normalizing the utterance speed and the complaint detection utterance speed threshold with the utterance speed average. . The utterance speed average is not limited to the conflicting utterance, but can be normalized more stably by detecting it including the normal operator utterance.
As in the first embodiment, the process of the interaction speech recognition unit 19 can improve accuracy by combining methods based on the operations of the reception start time detection unit 13 and the operator / user voice separation unit 18 (steps SP45 and SP46). In addition, the process of the interaction speech recognition unit 19 can be tuned for the operator.

更に、受話開始時刻検出(ステップSP45)で、受話開始時刻以降を認識対象(ステップSP41)とすることで、相槌発話認識精度を高めることが出来る。   Furthermore, by detecting the reception start time (step SP45), the recognition target (step SP41) after the reception start time is used as the recognition target (step SP41), so that the accuracy of recognizing the utterance can be improved.

本実施例3では、相槌発話の声の大きさ(相槌発話音量レベルPL:Power Level)を用いて、クレームか否かを判定する。
実施例3の機能構成例を図5に、処理手順を図6に示す。
本実施例3では、まずオペレータの音声から相槌発話認識部19で相槌単語を検出する(ステップSP61)。相槌発話認識部19では、オペレータの音声の認識を行い、予め登録してある相槌単語を検出するとともに、相槌単語の開始時刻と終了時刻を得る。これと同時に、音量測定部20で相槌単語収録時の相槌発話音量レベルPLを測定しておく(ステップSP61)。
In the third embodiment, it is determined whether or not the claim is a complaint using the volume of the voice of the companion utterance (interference utterance volume level PL: Power Level).
FIG. 5 shows a functional configuration example of the third embodiment, and FIG. 6 shows a processing procedure.
In the third embodiment, first, the conflicting speech recognition unit 19 detects the conflicting word from the operator's voice (step SP61). The companion utterance recognition unit 19 recognizes the operator's voice, detects a preregistered companion word, and obtains the start time and end time of the companion word. At the same time, the volume utterance volume level PL at the time of recording the conflicting word is measured by the volume measuring unit 20 (step SP61).

次に、クレーム検出評価値測定部15では、相槌発話音量レベルPLを、相槌単語継続時間(「相槌単語の終了時刻−開始時刻」)で除算することで得られる相槌発話音量レベルをクレーム検出評価値として測定する(ステップSP62)。
クレーム検出評価値として得られた相槌発話音量レベルPLが閾値以上であればクレーム検出部16でクレームの応対と判定する(ステップSP63)。クレーム応対と判定された場合に出力部17で応対中のオペレータ情報をスーパバイザに送信する(ステップSP64)。
Next, the claim detection evaluation value measuring unit 15 performs claim detection and evaluation on the companion utterance volume level PL obtained by dividing the companion utterance volume level PL by the companion word duration (“completion word end time−start time”). Measured as a value (step SP62).
If the competing speech volume level PL obtained as the complaint detection evaluation value is equal to or greater than the threshold value, the complaint detection unit 16 determines that the complaint is handled (step SP63). If it is determined that the response is a complaint, the output unit 17 transmits the operator information being received to the supervisor (step SP64).

また、オペレータ発話音量の平均値をメモリ(図11平均値メモリ111参照)に保存しておき、相槌発話量や検出用発話音量閾値を発話音量平均で正規化することにより検出精度の頑健性を高めることが出来る。発話音量平均は、相槌発話に限らず、通常のオペレータ発話を含めて検出することでより安定した正規化を行える。
さらには、オペレータの離席入力信号やヘッドセットの着脱を検出する度に、オペレータ発話音量の閾値をデフォルト値に変更することで、ヘッドセットの装着位置による影響を低減することが出来る。
Further, the average value of the operator utterance volume is stored in a memory (refer to the average value memory 111 in FIG. 11), and the robustness of the detection accuracy is improved by normalizing the utterance volume and the detection utterance volume threshold with the utterance volume average. Can be increased. The utterance volume average can be normalized more stably by detecting the utterance volume average including not only the utterance utterance but also the normal operator utterance.
Furthermore, the influence of the headset mounting position can be reduced by changing the threshold value of the operator utterance volume to the default value every time the operator's absence input signal or the attachment / detachment of the headset is detected.

オペレータの相槌発話認識部19の処理は、実施例1と同様に受話開始時刻検出部13とオペレータ/ユーザ音声分離部18の動作に基づく方法を組み合わせて精度を高めることができる(ステップSP65、66)また、相槌発話認識部19の処理をオペレータ向けにチューニングすることができる。   As in the first embodiment, the processing of the operator's conflict speech recognition unit 19 can be combined with methods based on the operations of the reception start time detection unit 13 and the operator / user voice separation unit 18 to improve accuracy (steps SP65 and SP66). In addition, the process of the interaction speech recognition unit 19 can be tuned for the operator.

本実施例4では、相槌発話の間隔(相槌発話間隔RI:Response Interval)を用いて、クレームか否かを判定する。
実施例4の機能構成例を図7に、処理手順を図8に示す。
本実施例4では、まずオペレータの音声から相槌発話認識部19で相槌単語を検出する。相槌発話認識部19では、オペレータの音声の認識を行い、予め登録してある相槌単語を検出するとともに、相槌単語の開始時刻と終了時刻を得る(ステップSP81)。
相槌発話間隔測定部21ではこの相槌単語の開始時刻と終了時刻を用いて各相槌の発生毎に相槌の相槌発話間隔RIを測定する(ステップSP82)。
In the fourth embodiment, it is determined whether or not it is a complaint by using the interval of the interaction utterance (interaction utterance interval RI: Response Interval).
FIG. 7 shows a functional configuration example of the fourth embodiment, and FIG. 8 shows a processing procedure.
In the fourth embodiment, the conflicting utterance recognition unit 19 first detects a conflicting word from the operator's voice. The companion utterance recognition unit 19 recognizes the operator's voice, detects a preregistered companion word, and obtains the start time and end time of the companion word (step SP81).
The interaction utterance interval measurement unit 21 measures the interaction utterance interval RI of the interaction for each occurrence of the interaction using the start time and the end time of the interaction word (step SP82).

次に、クレーム検出評価値測定部15では、一定時間の間に発生する相槌の相槌発話間隔RIの平均値をクレーム検出評価値として測定する(ステップSP83)。クレーム検出評価値である相槌発話間隔の平均値が閾値以下であればクレーム検出部16でクレームの応対と判定する(ステップSP84)。そして、クレーム応対と判定された場合に出力部17で応対中のオペレータ情報をスーパバイザに送信する(ステップSP85)。
相槌発話認識部19の処理は、実施例1と同様に受話開始時刻検出部13とオペレータ/ユーザ音声分離部18の動作に基づく方法を組み合わせて精度を高めることができる(ステップSP86、87)。また、相槌発話認識部19の処理をオペレータ向けにチューニングすることができる。
Next, the claim detection evaluation value measurement unit 15 measures the average value of the conflict utterance intervals RI of the conflicts generated during a predetermined time as the claim detection evaluation value (step SP83). If the average value of the conflicting speech intervals, which is the complaint detection evaluation value, is equal to or less than the threshold value, the complaint detection unit 16 determines that the complaint is handled (step SP84). Then, when it is determined that the response is a complaint, the output unit 17 transmits the operator information being received to the supervisor (step SP85).
Similar to the first embodiment, the process of the utterance utterance recognition unit 19 can improve the accuracy by combining methods based on the operations of the reception start time detection unit 13 and the operator / user voice separation unit 18 (steps SP86 and 87). In addition, the process of the interaction speech recognition unit 19 can be tuned for the operator.

本実施例5では実施例1〜4で個別に扱われていたクレーム検出評価値測定部の測定結果を統合する統合クレーム検出部を設けた構成を提案する。
実施例5の機能構成例を図9に、処理手順を図10に示す。
本実施例5では実施例1で用いたクレーム検出評価値測定部15を第1クレーム検出評価値測定部15−1と称し、ここでは応答時間RTを測定する(ステップSP100−1)。
実施例2で用いたクレーム検出評価値測定部15を第2クレーム検出評価値測定部15−2と称し、ここでは相槌発話速度SRを測定する(ステップSP100−2)。
In the fifth embodiment, a configuration is proposed in which an integrated complaint detecting unit that integrates the measurement results of the complaint detection evaluation value measuring unit individually handled in the first to fourth embodiments is provided.
FIG. 9 shows a functional configuration example of the fifth embodiment, and FIG. 10 shows a processing procedure.
In the fifth embodiment, the claim detection evaluation value measurement unit 15 used in the first embodiment is referred to as a first claim detection evaluation value measurement unit 15-1, and here the response time RT is measured (step SP100-1).
The claim detection evaluation value measurement unit 15 used in the second embodiment is referred to as a second claim detection evaluation value measurement unit 15-2, and here, the conflicting speech rate SR is measured (step SP100-2).

実施例3で用いたクレーム検出評価値測定部15を第3クレーム検出評価値測定部15−3と称し、ここでは相槌発話音量PLを測定する(ステップSP100−3)。
実施例4で用いたクレーム検出評価値測定部15を第4クレーム検出評価値測定部15−4と称し、ここでは相槌発話間隔RIを測定する(ステップSP100−4)。
これらの第1クレーム検出評価値測定部15−1〜第4クレーム検出評価値測定部15−4の各測定値を統合クレーム検出部91へ入力する。統合クレーム検出部91では第1クレーム検出評価値測定部15−1〜第4クレーム検出評価値測定部15−4で測定される受話後応答時間RT、相槌発話速度SR、相槌発話音量レベルPL、相槌発話間隔RIのうち少なくとも2つ以上を、重み付き線形和で統合した統合クレーム評価値(例えば、V=w1*(1/RT)+w2*(SR)+w3*(PL)+w4*(1/RI),wiは重み、i=1,2,3,4)を計算し、この統合クレーム評価値Vが統合クレーム評価閾値以上であれば、クレームの応答と判定する(ステップSP101)。そして、クレーム応答と判定された場合に出力部17で応対中のオペレータ情報をスーパバイザに送信する(ステップSP102)。
The claim detection evaluation value measurement unit 15 used in the third embodiment is referred to as a third claim detection evaluation value measurement unit 15-3, and here, the conflicting speech volume PL is measured (step SP100-3).
The claim detection evaluation value measurement unit 15 used in the fourth embodiment is referred to as a fourth claim detection evaluation value measurement unit 15-4, and here, the conflicting speech interval RI is measured (step SP100-4).
The measurement values of the first claim detection evaluation value measurement unit 15-1 to the fourth claim detection evaluation value measurement unit 15-4 are input to the integrated complaint detection unit 91. In the integrated complaint detection unit 91, the response time after reception RT, the relative speech speed SR, the relative speech volume level PL, which are measured by the first complaint detection evaluation value measurement unit 15-1 to the fourth complaint detection evaluation value measurement unit 15-4, Integrated complaint evaluation value obtained by integrating at least two of the mutual speech intervals RI with a weighted linear sum (for example, V = w1 * (1 / RT) + w2 * (SR) + w3 * (PL) + w4 * (1 / RI), wi calculates the weight, i = 1, 2, 3, 4), and if this integrated claim evaluation value V is equal to or greater than the integrated claim evaluation threshold, it is determined as a claim response (step SP101) . Then, when it is determined that the response is a complaint response, the operator information being received by the output unit 17 is transmitted to the supervisor (step SP102).

統合クレーム評価は、重み付き線形話の他、受話後応答時間RT、相槌発話速度SR、相槌発話音量レベルPLの検出評価値のうち、クレームとして検出した個数が例えば2以上としても良い。   In the integrated complaint evaluation, the number of detected claims may be, for example, two or more among the detected evaluation values of the response time RT after reception, the utterance speed SR, and the utterance volume level PL in addition to the weighted linear talk.

本実施例6では、実施例1〜実施例5で扱われていた受話後応答時間RT、相槌発話速度SR、相槌発話音量レベルPL、相槌発話間隔RI、統合クレーム評価値(以下、まとめてクレーム検出評価値)を話者毎のチューニングやリセットを行うことで検出精度を高めるようにした実施例を示す。
実施例6の機能構成例を図11に示す。
本実施例6では、クレーム検出評価値測定部15におけるクレーム検出評価値の測定までは、実施例1〜5と同様である。クレーム検出評価値の平均をクレーム検出評価値平均メモリ111に蓄積しておく。クレーム評価値正規化部112ではクレーム検出評価値平均メモリ111に蓄積したクレーム検出評価値の平均値を用いてクレーム検出評価値およびクレーム検出閾値を話者毎、つまりオペレータ毎に正規化を行う。
In the sixth embodiment, the response time after reception RT, the utterance utterance speed SR, the utterance utterance volume level PL, the utterance utterance interval RI, and the integrated claim evaluation value (hereinafter collectively referred to as the claims) handled in the first to fifth embodiments. An embodiment in which detection accuracy is improved by tuning or resetting the detection evaluation value for each speaker will be described.
An example of the functional configuration of the sixth embodiment is shown in FIG.
In the sixth embodiment, the process up to the measurement of the complaint detection evaluation value in the complaint detection evaluation value measuring unit 15 is the same as that of the first to fifth embodiments. The average of the complaint detection evaluation values is stored in the complaint detection evaluation value average memory 111. The claim evaluation value normalization unit 112 normalizes the claim detection evaluation value and the claim detection threshold for each speaker, that is, for each operator, using the average value of the claim detection evaluation values stored in the claim detection evaluation value average memory 111.

この正規化によりクレーム検出部16で用いるクレーム検出評価値およびクレーム検出閾値は平準化され、大きくかけ離れた値の発生が阻止されクレーム検出精度が向上する。
また、クレーム検出評価値平均更新部113では、離席検出部114或いは経過時間測定部116の検出信号を用いてオペレータの離席時や一定時間経過毎にクレーム検出評価値平均をデフォルト値に戻す(リセットする)ことで、検出精度の劣化を低減する。オペレータの離席検出には、オペレータのキーボードやボタン操作の一定時間無入力状態を検出することで可能である。
By this normalization, the claim detection evaluation value and the claim detection threshold value used in the claim detection unit 16 are leveled, and generation of values that are significantly different from each other is prevented, thereby improving the claim detection accuracy.
Further, the complaint detection evaluation value average updating unit 113 uses the detection signal of the absence detection unit 114 or the elapsed time measurement unit 116 to return the complaint detection evaluation value average to the default value when the operator leaves the seat or every time a fixed time elapses. (Reset) reduces detection accuracy degradation. An operator's absence detection can be performed by detecting a no-input state of the operator's keyboard or button operation for a certain period of time.

以上説明した本発明による音声受付クレーム検出方法・装置は、各実施例で説明した処理手順に従ってコンピュータを動作させる音声受付クレーム検出プログラムをコンピュータにインストールし、コンピュータに備えられたCPUによって解読させ音声受付クレーム検出プログラムを実行させることにより実現される。
本発明による音声受付クレーム検出プログラムはコンピュータが解読可能なプログラム言語によって記述され、コンピュータが読み取り可能な例えば磁気ディスク或いはCD−ROM、半導体メモリのような記録媒体に記録される。コンピュータへのインストールはこれら記録媒体から、或いは通信回線を通じて行われる。
The method and apparatus for detecting a voice reception claim according to the present invention described above installs a voice reception claim detection program for operating a computer in accordance with the processing procedure described in each embodiment, and decodes it by a CPU provided in the computer. This is realized by executing a claim detection program.
The voice reception claim detection program according to the present invention is written in a computer-readable program language, and is recorded in a computer-readable recording medium such as a magnetic disk, a CD-ROM, or a semiconductor memory. Installation on the computer is performed from these recording media or through a communication line.

電話による受付業務に活用される。   Used for telephone reception.

この発明の実施例1を説明するための機能構成図。The function block diagram for demonstrating Example 1 of this invention. 実施例1の動作手順を説明するためのフローチャート。3 is a flowchart for explaining an operation procedure according to the first embodiment. この発明の実施例2を説明するための機能構成図。The function block diagram for demonstrating Example 2 of this invention. 実施例2の動作手順を説明するためのフローチャート。9 is a flowchart for explaining an operation procedure according to the second embodiment. この発明の実施例3を説明するための機能構成図。The function block diagram for demonstrating Example 3 of this invention. 実施例3の動作手順を説明するためのフローチャート。10 is a flowchart for explaining an operation procedure of the third embodiment. この発明の実施例4を説明するための機能構成図。The function block diagram for demonstrating Example 4 of this invention. 実施例4の動作手順を説明するためのフローチャート。10 is a flowchart for explaining an operation procedure of the fourth embodiment. この発明の実施例5を説明するための機能構成図。The function block diagram for demonstrating Example 5 of this invention. 実施例5の動作手順を説明するためのフローチャート。10 is a flowchart for explaining an operation procedure of the fifth embodiment. この発明の実施例6を説明するための機能構成図。The function block diagram for demonstrating Example 6 of this invention.

符号の説明Explanation of symbols

11 キーボード、マウス入力端子 20 音量測定部
12 音声入力端子 91 統合クレーム検出部
13 受話開始時刻検出部 110 クレーム評価値正規化部
14 相槌発話開始時刻検出部 111 クレーム検出評価値平均メモリ
15 クレーム検出評価値測定部 112 クレーム検出閾値正規化部
16 クレーム検出部 113 クレーム検出評価値平均更新部
17 出力部 114 離席検出部
19 相槌発話認識部 116 経過時間測定部
DESCRIPTION OF SYMBOLS 11 Keyboard, mouse | mouth input terminal 20 Sound volume measuring part 12 Audio | voice input terminal 91 Integrated claim detection part 13 Reception start time detection part 110 Claim evaluation value normalization part 14 Competitive speech start time detection part 111 Claim detection evaluation value average memory 15 Claim detection evaluation Value measurement unit 112 Complaint detection threshold normalization unit 16 Complaint detection unit 113 Complaint detection evaluation value average update unit 17 Output unit 114 Away detection unit 19 Affinity speech recognition unit 116 Elapsed time measurement unit

Claims (18)

キー入力または音声入力の発話レベルから受話開始時刻を検出する受話開始時刻検出処理と、
相槌発話開始時刻を検出する相槌発話開始時刻検出処理と、
前記相槌発話開始時刻と前記受話開始時刻の差で得られる応答時間をクレーム検出評価値として測定するクレーム検出評価値測定処理と、
前記クレーム検出評価値が閾値以下であればクレームの応対と判定するクレーム検出処理と、
前記クレーム検出処理でクレームと判定された場合に応対中のオペレータ情報を出力する出力処理と、
を含むことを特徴とする音声受付クレーム検出方法。
A reception start time detection process for detecting a reception start time from the utterance level of key input or voice input;
A mutual utterance start time detection process for detecting a mutual utterance start time;
A claim detection evaluation value measurement process for measuring a response time obtained as a difference between the summoning utterance start time and the reception start time as a claim detection evaluation value;
If the claim detection evaluation value is less than or equal to a threshold value, a claim detection process that determines that the claim is handled,
An output process for outputting operator information in response to a complaint in the claim detection process;
A method for detecting a voice reception claim, comprising:
入力される音声の認識を行い、予め登録してある相槌単語の検出と前記相槌単語の開始時刻と終了時刻を得る相槌発話認識処理と、
登録済みの前記相槌単語の音節数または音素数を相槌単語継続時間で除算することで得られる相槌発話速度をクレーム検出評価値として測定するクレーム検出評価値測定処理と、
前記クレーム検出評価値が閾値以上であればクレームの応対と判定するクレーム検出処理と、
前記クレーム検出処理でクレームと判定された場合に応対中のオペレータ情報を出力する出力処理と、
を含むことを特徴とする音声受付クレーム検出方法。
Recognition of input speech, detection of a pre-registered conflict word, and a conflict speech recognition process for obtaining a start time and an end time of the conflict word;
A claim detection evaluation value measurement process for measuring a speech utterance speed obtained by dividing the number of syllables or phonemes of the registered conflict word by the conflict word duration, as a claim detection evaluation value;
If the claim detection evaluation value is greater than or equal to a threshold value, a claim detection process that determines that the claim is handled,
An output process for outputting operator information in response to a complaint in the claim detection process;
A method for detecting a voice reception claim, comprising:
入力される音声の認識処理を行い、予め登録してある相槌単語を検出するとともに、相槌単語の開始時刻と終了時刻を得る相槌発話認識処理と、
相槌単語収録時の相槌発話の音量を測定する音量測定処理と、
前記相槌発話の音量を、前記相槌単語継続時間で除算することで得られる相槌発話音量レベルをクレーム検出評価値として測定するクレーム検出評価値測定処理と、
前記クレーム検出評価値が閾値以上であればクレームの応対と判定するクレーム検出処理と、
前記クレーム検出処理でクレームと判定された場合に応対中のオペレータ情報を出力する出力処理と、
を含むことを特徴とする音声受付クレーム検出方法。
Recognizing input speech, detecting pre-registered companion words, and competing utterance recognition processing to obtain the start time and end time of the companion word;
Volume measurement processing to measure the volume of the sumo utterance at the time of summon word recording,
A claim detection evaluation value measurement process for measuring a volume of the utterance utterance by dividing the volume of the utterance utterance by the duration of the affair word duration as a claim detection evaluation value;
If the claim detection evaluation value is greater than or equal to a threshold value, a claim detection process that determines that the claim is handled,
An output process for outputting operator information in response to a complaint in the claim detection process;
A method for detecting a voice reception claim, comprising:
入力される音声の認識処理を行い、予め登録してある相槌単語を検出するとともに、相槌単語の開始時刻と終了時刻を得る相槌発話認識処理と、
当該相槌発話開始時刻から、一つ前の相槌発話の終了時刻を減算することで得られる相槌発話間隔を測定する相槌発話間隔測定処理と、
一定時間の間に発生する相槌の相槌発話間隔の平均値をクレーム検出評価値として測定するクレーム検出評価値測定処理と、
前記クレーム検出評価値が閾値以下であればクレームの応対と判定するクレーム検出処理と、
前記クレーム検出部でクレームと判定された場合に応対中のオペレータ情報を出力する出力処理と、
を含むことを特徴とする音声受付クレーム検出方法。
Recognizing input speech, detecting pre-registered companion words, and competing utterance recognition processing to obtain the start time and end time of the companion word;
A mutual utterance interval measurement process for measuring a mutual utterance interval obtained by subtracting the end time of the previous mutual utterance from the relevant utterance start time;
A claim detection evaluation value measurement process for measuring an average value of the interaction utterance intervals of the conflicts generated during a certain time as a claim detection evaluation value;
If the claim detection evaluation value is less than or equal to a threshold value, a claim detection process that determines that the claim is handled,
An output process for outputting the operator information in response when the claim detection unit determines that the claim is a complaint;
A method for detecting a voice reception claim, comprising:
請求項1乃至4記載のクレーム検出評価値のうち少なくとも2つ以上を重み付き線形和で統合した統合クレーム評価値でクレーム検出を行う統合クレーム検出処理を含むことを特徴とする音声受付クレーム検出方法。   5. A voice reception claim detection method comprising: integrated claim detection processing for detecting a claim using an integrated claim evaluation value obtained by integrating at least two or more of claim detection evaluation values according to claim 1 with a weighted linear sum. . 請求項1乃至4記載のクレーム検出評価値のうち少なくとも2つ以上がクレームと判定した結果を統合クレーム評価値と規定し、この統合クレーム評価値に従ってクレームと判定する統合クレーム検出処理を含むことを特徴とする音声受付クレーム検出方法。   A result of determining that at least two of the claim detection evaluation values of claims 1 to 4 are claims is defined as an integrated claim evaluation value, and includes integrated claim detection processing for determining a claim according to the integrated claim evaluation value. A voice reception claim detection method as a feature. 請求項1乃至4記載のクレーム検出評価値または請求項5または6記載の統合クレーム評価値およびこれらの閾値を、入力される音声種毎の平均値で正規化して検出を行うクレーム検出処理を含むことを特徴とする音声受付クレーム検出方法。   Claim detection processing for performing detection by normalizing the claim detection evaluation value according to any one of claims 1 to 4 or the integrated claim evaluation value according to claim 5 or 6 and their threshold values with an average value for each input voice type A voice reception claim detection method characterized by the above. 請求項1乃至4記載のクレーム検出評価値または請求項5または6記載の統合クレーム評価値の平均値およびそれらの検出用閾値を一定時間経過後に基準値に戻す検出パラメータ更新処理を含むことを特徴とする音声受付クレーム検出方法。   5. A detection parameter update process for returning the average value of the claim detection evaluation value according to claim 1 or the integrated claim evaluation value according to claim 5 or 6 and the detection threshold value to a reference value after a predetermined time has elapsed. Voice reception claim detection method. キー入力または発話レベルから受話開始時刻を検出する受話開始時刻検出部と、
相槌発話開始時刻を検出する相槌発話開始時刻検出部と、
前記相槌発話開始時刻と前記受話開始時刻の差で得られる応答時間をクレーム検出評価値として検出するクレーム検出評価値測定部と、
前記クレーム検出評価値が閾値以下であればクレームの応対と判定するクレーム検出部と、
前記クレーム検出処理でクレームと判定された場合に応対中のオペレータ情報を出力する出力部と、
を備えることを特徴とする音声受付クレーム検出装置。
A reception start time detection unit for detecting a reception start time from a key input or a speech level;
A mutual utterance start time detection unit for detecting a mutual utterance start time;
A claim detection evaluation value measuring unit that detects a response time obtained as a difference between the start time of the utterance and the reception start time as a claim detection evaluation value;
If the claim detection evaluation value is equal to or less than a threshold value, a claim detection unit that determines that the claim is handled,
An output unit that outputs operator information in response when it is determined to be a complaint in the claim detection process;
A voice reception claim detection apparatus comprising:
入力される音声の認識を行い、予め登録してある相槌単語の検出と前記相槌単語の開始時刻と終了時刻を得る相槌発話認識部と、
登録済みの前記相槌単語の音節数または音素数を相槌単語継続時間で除算することで得られる相槌発話速度をクレーム検出評価値として測定するクレーム検出評価値測定部と、
前記クレーム検出評価値が閾値以上であればクレームの応対と判定するクレーム検出部と、
前記クレーム検出処理でクレームと判定された場合に応対中のオペレータ情報を出力する出力部と、
を備えることを特徴とする音声受付クレーム検出装置。
A speech recognition unit that recognizes the input speech and detects a pre-registered conflict word and obtains a start time and an end time of the conflict word;
A claim detection evaluation value measurement unit that measures a speech utterance speed obtained by dividing the number of syllables or phonemes of the registered conflict word by the conflict word duration, as a claim detection evaluation value;
If the claim detection evaluation value is greater than or equal to a threshold, a claim detection unit that determines that the claim is handled,
An output unit that outputs operator information in response when it is determined to be a complaint in the claim detection process;
A voice reception claim detection apparatus comprising:
入力される音声の認識処理を行い、予め登録してある相槌単語を検出するとともに、相槌単語の開始時刻と終了時刻を得る相槌発話認識部と、
相槌単語収録時の相槌発話の音量を測定する音量測定部と、
前記相槌発話の音量を、前記相槌単語継続時間で除算することで得られる相槌発話音量レベルをクレーム検出評価値として測定するクレーム検出評価値測定部と、
前記クレーム検出評価値が閾値以上であればクレームの応対と判定するクレーム検出部と、
前記クレーム検出部でクレームと判定された場合に応対中のオペレータ情報を出力する出力部と、
を備えることを特徴とする音声受付クレーム検出装置。
A recognition speech recognition unit that performs input speech recognition processing, detects pre-registered conflict words, and obtains the start time and end time of the conflict words;
A volume measuring unit that measures the volume of the companion utterance when recording the companion word;
A claim detection evaluation value measuring unit that measures the volume of the utterance utterance as a claim detection evaluation value obtained by dividing the volume of the utterance utterance by the duration of the affair word; and
If the claim detection evaluation value is greater than or equal to a threshold, a claim detection unit that determines that the claim is handled,
An output unit that outputs operator information in response when the claim detection unit determines that the claim is a complaint;
A voice reception claim detection apparatus comprising:
入力される音声の認識処理を行い、予め登録してある相槌単語を検出するとともに、相槌単語の開始時刻と終了時刻を得る相槌発話認識部と、
当該相槌発話開始時刻から、一つ前の相槌発話の終了時刻を減算することで得られる相槌発話間隔を測定する相槌発話間隔測定部と、
一定時間の間に発生する相槌の相槌発話間隔の平均値をクレーム検出評価値として測定するクレーム検出評価値測定部と、
前記クレーム検出評価値が閾値以下であればクレームの応対と判定するクレーム検出部と、
前記クレーム検出部でクレームと判定された場合に応対中のオペレータ情報を出力する出力部と、
を備えることを特徴とする音声受付クレーム検出装置。
A recognition speech recognition unit that performs input speech recognition processing, detects pre-registered conflict words, and obtains the start time and end time of the conflict words;
A mutual speech interval measuring unit for measuring a mutual speech interval obtained by subtracting the end time of the previous mutual speech from the relevant speech start time;
A claim detection evaluation value measuring unit that measures an average value of the interaction speech intervals of the conflicts generated during a certain time as a claim detection evaluation value;
If the claim detection evaluation value is equal to or less than a threshold value, a claim detection unit that determines that the claim is handled,
An output unit that outputs operator information in response when the claim detection unit determines that the claim is a complaint;
A voice reception claim detection apparatus comprising:
請求項9乃至12記載のクレーム検出評価値のうち少なくとも2つ以上を重み付き線形和で統合した統合クレーム評価値でクレーム検出を行う統合クレーム検出部を備えることを特徴とする音声受付クレーム検出装置。   13. A voice reception claim detection device comprising an integrated claim detection unit for detecting a claim using an integrated claim evaluation value obtained by integrating at least two or more of claim detection evaluation values according to claim 9 with a weighted linear sum. . 請求項9乃至12記載のクレーム検出評価値のうち少なくとも2つ以上がクレームと判定した結果を統合クレーム評価値と規定し、この統合クレーム評価値に従ってクレームと判定する統合クレーム検出部を備えることを特徴とする音声受付クレーム検出装置。   A result of determining that at least two of the claim detection evaluation values of claims 9 to 12 are claims is defined as an integrated claim evaluation value, and an integrated claim detection unit for determining a claim according to the integrated claim evaluation value is provided. A voice reception claim detection device as a feature. 請求項9乃至12記載のクレーム検出評価値または請求項5または6記載の統合クレーム評価値およびこれらの閾値を、入力される音声種毎の平均値で正規化して検出を行うクレーム検出部を備えることを特徴とする音声受付クレーム検出装置。   A claim detection unit that performs detection by normalizing the claim detection evaluation value according to any one of claims 9 to 12 or the integrated claim evaluation value according to claim 5 or 6 and their threshold values with an average value for each input voice type. A voice reception complaint detection apparatus characterized by the above. 請求項9乃至12記載のクレーム検出評価値または統合クレーム評価値の平均値およびそれらの検出用閾値を一定時間経過後に基準値に戻す検出パラメータ更新部を備えることを特徴とする音声受付クレーム検出装置。   13. A voice reception claim detection device comprising: a detection parameter update unit for returning the average value of claim detection evaluation values or integrated claim evaluation values according to claim 9 to 12 and their detection threshold values to a reference value after a predetermined time has elapsed. . コンピュータが解読可能なプログラム言語によって記述され、コンピュータに請求項1乃至8の何れかに記載の音声受付クレーム検出方法を実行させる音声受付クレーム検出プログラム。   A voice reception claim detection program, which is written in a computer-readable program language, and causes the computer to execute the voice reception claim detection method according to any one of claims 1 to 8. コンピュータが読み取り可能な記録媒体によって構成され、この記録媒体に請求項17記載の音声受付クレーム検出プログラムを記録した記録媒体。   A recording medium comprising a computer-readable recording medium, wherein the voice reception claim detection program according to claim 17 is recorded on the recording medium.
JP2006109779A 2006-04-12 2006-04-12 Voice reception claim detection method and device, and voice reception claim detection program and recording medium Pending JP2007286097A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006109779A JP2007286097A (en) 2006-04-12 2006-04-12 Voice reception claim detection method and device, and voice reception claim detection program and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006109779A JP2007286097A (en) 2006-04-12 2006-04-12 Voice reception claim detection method and device, and voice reception claim detection program and recording medium

Publications (1)

Publication Number Publication Date
JP2007286097A true JP2007286097A (en) 2007-11-01

Family

ID=38757960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006109779A Pending JP2007286097A (en) 2006-04-12 2006-04-12 Voice reception claim detection method and device, and voice reception claim detection program and recording medium

Country Status (1)

Country Link
JP (1) JP2007286097A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010041507A1 (en) * 2008-10-10 2010-04-15 インターナショナル・ビジネス・マシーンズ・コーポレーション System and method which extract specific situation in conversation
JP2011242755A (en) * 2010-04-22 2011-12-01 Fujitsu Ltd Utterance state detection device, utterance state detection program and utterance state detection method
WO2012120624A1 (en) * 2011-03-07 2012-09-13 富士通株式会社 Operator evaluation support apparatus and operator evaluation support program
JP2013109635A (en) * 2011-11-22 2013-06-06 Nippon Telegr & Teleph Corp <Ntt> Word importance calculation device and method and program thereof
WO2014069122A1 (en) * 2012-10-31 2014-05-08 日本電気株式会社 Expression classification device, expression classification method, dissatisfaction detection device, and dissatisfaction detection method
US8908856B2 (en) 2011-03-17 2014-12-09 Fujitsu Limited Operator evaluation support device and operator evaluation support method
EP3136388A1 (en) 2015-08-31 2017-03-01 Fujitsu Limited Utterance condition determination apparatus and method
WO2019187397A1 (en) * 2018-03-29 2019-10-03 京セラドキュメントソリューションズ株式会社 Information processing device
CN114242040A (en) * 2021-12-21 2022-03-25 中国第一汽车股份有限公司 Vehicle-mounted interactive system evaluation method, device, equipment and storage medium
CN115565535A (en) * 2022-09-21 2023-01-03 深圳琪乐科技有限公司 Intelligent voice customer service system

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9269357B2 (en) 2008-10-10 2016-02-23 Nuance Communications, Inc. System and method for extracting a specific situation from a conversation
WO2010041507A1 (en) * 2008-10-10 2010-04-15 インターナショナル・ビジネス・マシーンズ・コーポレーション System and method which extract specific situation in conversation
JP2011242755A (en) * 2010-04-22 2011-12-01 Fujitsu Ltd Utterance state detection device, utterance state detection program and utterance state detection method
US9099088B2 (en) 2010-04-22 2015-08-04 Fujitsu Limited Utterance state detection device and utterance state detection method
WO2012120624A1 (en) * 2011-03-07 2012-09-13 富士通株式会社 Operator evaluation support apparatus and operator evaluation support program
JPWO2012120624A1 (en) * 2011-03-07 2014-07-07 富士通株式会社 Operator evaluation support apparatus and operator evaluation support program
JP5790757B2 (en) * 2011-03-07 2015-10-07 富士通株式会社 Operator evaluation support device, operator evaluation support method, and operator evaluation support program
US8908856B2 (en) 2011-03-17 2014-12-09 Fujitsu Limited Operator evaluation support device and operator evaluation support method
JP2013109635A (en) * 2011-11-22 2013-06-06 Nippon Telegr & Teleph Corp <Ntt> Word importance calculation device and method and program thereof
WO2014069122A1 (en) * 2012-10-31 2014-05-08 日本電気株式会社 Expression classification device, expression classification method, dissatisfaction detection device, and dissatisfaction detection method
JPWO2014069122A1 (en) * 2012-10-31 2016-09-08 日本電気株式会社 Expression classification device, expression classification method, dissatisfaction detection device, and dissatisfaction detection method
EP3136388A1 (en) 2015-08-31 2017-03-01 Fujitsu Limited Utterance condition determination apparatus and method
JP2017049364A (en) * 2015-08-31 2017-03-09 富士通株式会社 Utterance state determination device, utterance state determination method, and determination program
US10096330B2 (en) 2015-08-31 2018-10-09 Fujitsu Limited Utterance condition determination apparatus and method
WO2019187397A1 (en) * 2018-03-29 2019-10-03 京セラドキュメントソリューションズ株式会社 Information processing device
JPWO2019187397A1 (en) * 2018-03-29 2020-04-30 京セラドキュメントソリューションズ株式会社 Information processing equipment
CN114242040A (en) * 2021-12-21 2022-03-25 中国第一汽车股份有限公司 Vehicle-mounted interactive system evaluation method, device, equipment and storage medium
CN115565535A (en) * 2022-09-21 2023-01-03 深圳琪乐科技有限公司 Intelligent voice customer service system
CN115565535B (en) * 2022-09-21 2024-04-12 南京浮点智算数字科技有限公司 Intelligent voice customer service system

Similar Documents

Publication Publication Date Title
JP2007286097A (en) Voice reception claim detection method and device, and voice reception claim detection program and recording medium
US20220093111A1 (en) Analysing speech signals
US20200227071A1 (en) Analysing speech signals
US9666183B2 (en) Deep neural net based filter prediction for audio event classification and extraction
EP3210205B1 (en) Sound sample verification for generating sound detection model
EP2773137B1 (en) Microphone sensitivity difference correction device
US9959886B2 (en) Spectral comb voice activity detection
KR20160115944A (en) Systems and methods for evaluating strength of an audio password
US7797157B2 (en) Automatic speech recognition channel normalization based on measured statistics from initial portions of speech utterances
JPWO2007080886A1 (en) Speech recognition device, speech recognition method, speech recognition program, and interference reduction device, interference reduction method, and interference reduction program
JP5431282B2 (en) Spoken dialogue apparatus, method and program
US20180144740A1 (en) Methods and systems for locating the end of the keyword in voice sensing
JP2007288242A (en) Operator evaluation method, device, operator evaluation program, and recording medium
US9548065B2 (en) Energy post qualification for phrase spotting
JP5803125B2 (en) Suppression state detection device and program by voice
JP2016061888A (en) Speech recognition device, speech recognition subject section setting method, and speech recognition section setting program
JP2015161718A (en) speech detection device, speech detection method and speech detection program
WO2017085815A1 (en) Perplexed state determination system, perplexed state determination method, and program
JP2016080767A (en) Frequency component extraction device, frequency component extraction method and frequency component extraction program
WO2019073233A1 (en) Analysing speech signals
KR101336203B1 (en) Apparatus and method for detecting voice activity in electronic device
KR101059892B1 (en) Multichannel Speaker Identification System and Multichannel Speaker Identification Method
JP2020024338A (en) Sound source direction estimation program, sound source direction estimation method and sound source direction estimation device
US11195545B2 (en) Method and apparatus for detecting an end of an utterance
JP2010230994A (en) Reception device