JP2010113167A - 有害顧客検知システム、その方法及び有害顧客検知プログラム - Google Patents
有害顧客検知システム、その方法及び有害顧客検知プログラム Download PDFInfo
- Publication number
- JP2010113167A JP2010113167A JP2008285862A JP2008285862A JP2010113167A JP 2010113167 A JP2010113167 A JP 2010113167A JP 2008285862 A JP2008285862 A JP 2008285862A JP 2008285862 A JP2008285862 A JP 2008285862A JP 2010113167 A JP2010113167 A JP 2010113167A
- Authority
- JP
- Japan
- Prior art keywords
- registered
- speaker
- information
- voiceprint
- harmful
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Telephonic Communication Services (AREA)
Abstract
【課題】 通話中の話者が予め登録された全有害顧客のそれぞれに該当するか否かを実時間内で検知し、電話応対者に警告する。
【解決手段】 声紋データベースを参照して、発信元話者の声紋情報と、声紋データベースに登録された各グループの基準者の声紋情報との間でのみ、相対距離を算出し、該相対距離が最も小さい声紋情報を有する基準者が属するグループを選択するグループ選択部と、発信元話者の声紋情報と、選択されたグループに属する、基準者以外の被登録話者の声紋情報との間の相対距離を算出し、この相対距離の算出を基準者以外の全被登録話者について繰り返し、選択されたグループ内で相対距離が最も小さい声紋情報を有し、かつ該相対距離が、前記第1の閾値より小さい第2の閾値内にある被登録話者を選択する被登録話者選択部とを備える。
【選択図】 図1
【解決手段】 声紋データベースを参照して、発信元話者の声紋情報と、声紋データベースに登録された各グループの基準者の声紋情報との間でのみ、相対距離を算出し、該相対距離が最も小さい声紋情報を有する基準者が属するグループを選択するグループ選択部と、発信元話者の声紋情報と、選択されたグループに属する、基準者以外の被登録話者の声紋情報との間の相対距離を算出し、この相対距離の算出を基準者以外の全被登録話者について繰り返し、選択されたグループ内で相対距離が最も小さい声紋情報を有し、かつ該相対距離が、前記第1の閾値より小さい第2の閾値内にある被登録話者を選択する被登録話者選択部とを備える。
【選択図】 図1
Description
本発明は、有害顧客検知システム、その方法及び有害顧客検知プログラムに関する。より詳しくは、例えば顧客の電話と応対担当者の電話との間でなされた通話を録音蓄積して管理するCustomer Relationship Management(CRM)システムにおいて、円滑な電話応対業務を阻害するような有害顧客を、例えば話者識別技術により検知して応対担当者に自動的に警告するための技術に関する。
顧客と事業者との間でなされた音声通話を事業者側において録音して管理する各種技術が提案されている。
例えば、特許文献1は、顧客からの電話応対部署であるコールセンタにおけるオペレータの通話内容をデータ化して録音すると共に検索するための、中央集中型通話録音システムを開示する。
一般に、事業者が運営するコールセンタ等の構内には、公衆電話交換回線網(Public Switched Telephone Network:PSTN)からの発信及び着信が集中する交換機(PBX)が設置され、この交換機により音声通話が、コールセンタ構内の複数の固定電話に分配される。このため、この交換機から分岐する通話録音サーバを設ければ、通話を録音蓄積することができる。オペレータ側には、電話応対用内線電話と共に、PCなどの端末装置が設けられてよく、このオペレータ端末装置には、発話者が告げた顧客名をキーとして顧客情報を検索する機能や、当該顧客の過去の通話履歴を表示する機能が備えられてよい。
一方、特許文献2は、事業者から顧客へ発呼されるアウトバウンドコールを大量に行なうための分散型通話録音システムを開示する。
特開2006−94260号公報
特開2005−210227号公報
ところで、一般にコールセンターでは、凡そ事業者が製造販売するあらゆる製品を購入した顧客に対して、また場合によっては製品購入者に限らず一般消費者に対して、広く電話受け付けの対象としている。このため、事業者の製品の問題点を過剰に誇張して非難したり、或いは接客態度やサービスの不手際を過剰に追及する有害顧客、いわゆるクレーマーからの苦情電話であっても、コールセンタのオペレータが電話応対せざるを得ない。
しかしながら、こうした有害顧客からの電話は長時間に亘り通話を占有することも多く、さらに執拗に多数回の通話がなされることも多いため、オペレータの円滑な電話応対業務が阻害され、オペレータの電話応対の効率が著しく低下してしまう。他方、有害顧客からのときに脅迫的な苦情に電話応対する際に、その応対を誤ると、これを奇貨としてさらに不当な金銭賠償を求められたり、法的措置に及ばれたりすることにより、事業者を訴訟リスクに晒し、さらに事業者の信用を毀損する情報をインターネット上で流布されればその社会的信用も損ないかねない。特に、コールセンターオペレータが社員でなく、アウトソース先の社外の契約者であった場合には、有害顧客に対するオペレータの電話応対の質及び効率を同時に維持することは一層困難となる。
このため、受け付けた通話が上記のような有害顧客からの通話であることを、コールセンタのオペレータに、電話応対の初期段階で通知、警告することが強く要請される。
ここで、通常の顧客からの通話であれば、電話を受け付けた際に、オペレータが、顧客名や住所、製品シリアル番号その他の顧客を特定するための1つ又は複数の識別子を顧客に告げさせ、この告げられた識別子をキーとして、顧客データベースを検索し、検索された顧客情報や過去の通話履歴情報をオペレータ端末に表示することによって、当該顧客が誰であり、過去にどのような電話応対がされたのかを容易に把握することができる。また、通信キャリアから得られる発信者電話番号をキーに顧客データベースを検索することによっても、顧客名を特定することができる。
しかしながら、上記の有害顧客は、その苦情内容が悪質であればあるほど、過去にも苦情を申し立てた有害顧客であると特定されることを避けようとする言動及び行動パターンを有する。このため、たとえオペレータが電話受付の際に名前を尋ねたとしても、真正な名前を名乗らないことが多いため、顧客データベースを検索することによって過去に特定された有害顧客と同定することができない。さらに、有害顧客は、通話にあたって、過去の有害顧客であると特定されることを避けるため、顧客データベースに登録された自宅電話や携帯電話以外の電話を使用したり、或いは発信者電話番号を非通知モードにして通話することも多い。このため、顧客データベースを参照することによって、或いは通信キャリアから得られる発信者電話番号によって顧客名を特定することもできない。
本発明は、上記課題に鑑みてされたものであり、その目的は、顧客の電話と応対担当者の電話との間でなされた通話を録音蓄積し管理するCRMシステムにおいて、円滑な電話応対業務を阻害するような有害顧客を、電話応対の初期段階でリアルタイムに検知し、警告することの可能な有害顧客検知システム、その方法及び有害顧客検知プログラムを提供する点にある。
本発明の他の目的は、発信元の有害顧客自身に気付かれることなく、通話中にリアルタイムで、発話者が有害顧客であることを同定することを可能にする点にある。
本発明の他の目的は、真正な顧客名を名乗らない有害顧客や、コールセンタにおいて既登録である電話以外の電話から通話を行なう有害顧客であっても、通話中にリアルタイムで、発話者が有害顧客であることを同定することを可能にする点にある。
コールセンタ業務の文脈における有害顧客は、コールセンター対する通話において、一般に、過去にコールセンタ宛に苦情電話を架けた履歴が存在することが多いが、他方、真正な顧客名を名乗らず、また登録された電話番号による特定が困難であると特徴付けられる。
なお、本明細書及び請求項において、「有害顧客」とは、典型的には事業者の製品の問題点を過剰に誇張して非難したり、或いは接客態度やサービスの不手際を過剰に追及する顧客であり、いわゆる「クレーマー」もこれに含まれるものであるが、これに限られず円滑な電話応対業務を阻害する可能性のある行動パターンをとり得るあらゆる利用者を広く意味するものであり、例えばいわゆる「不審者」等、有害顧客の候補となり得る者も含むものとする。
このような特徴を持つ話者を特定するために利用可能な技術として、事前に登録した話者の録音音声と、認証時に入力された音声との間で声紋を照合することにより、誰が発声している音声であるかを特定する声紋照合技術が公知である。しかしながら、この声紋照合は、識別対象となる発話者が予め登録されたN人の話者中の誰であるかを、N回の比較処理を行なって判断するものであるため、コンピュータ処理が不可避的に高負荷となり、相当数(一例として100名以上であるがこれに限定されない)の有害顧客の声紋を登録した場合、入力された音声と全件の声紋との照合を、有害顧客に気付かれることなく、リアルタイムで実現することは著しく困難である。
本願発明においては、入力された音声の登録された音声との一致判定を、コールセンターにおける通話中にリアルタイムで実行するため、被登録者数の増加にも耐え得る複数段階(例えば二段階)での音声照合処理を実行する。発信元話者が有害顧客と思しき場合に、電話応対する担当者に注意喚起できれば足りるため、一致判定処理は実用的精度であればよい。また、入力された音声の発話テキストと、予め登録された音声の発話テキストとは、必ずしも一致しなくてもよい。
本発明のある特徴によれば、通話中の話者が予め登録された全有害顧客のそれぞれに該当するか否かを実時間内で検知する、有害顧客検知システムであって、予め特定された被登録話者の録音音声信号を記憶装置から読み出してそれぞれの被登録話者を特徴付ける声紋情報を抽出する声紋情報抽出部と、全被登録話者相互の声紋情報の相対距離を算出し、該相対距離が第一の閾値内にある声紋情報を有する被登録話者をグループ化するグルーピング部と、各グループに属する他の被登録話者の声紋情報との相対距離の総和が最小となる声紋情報を有する被登録話者を当該グループ内の基準者に設定する基準者設定部と、抽出された声紋情報を、当該被登録話者の識別子、当該被登録話者の属するグループ識別子、基準者の情報と共に記憶する声紋データベースと、発信元話者の通話音声を取得して、該発信元話者の声紋情報を抽出する音声取得部と、前記声紋データベースを参照して、前記発信元話者の声紋情報と、前記声紋データベースに登録された各グループの基準者の声紋情報との間でのみ、相対距離を算出し、該相対距離が最も小さい声紋情報を有する基準者が属するグループを選択するグループ選択部と、前記発信元話者の声紋情報と、選択されたグループに属する、基準者以外の被登録話者の声紋情報との間の相対距離を算出し、この相対距離の算出を基準者以外の全被登録話者について繰り返し、選択されたグループ内で相対距離が最も小さい声紋情報を有し、かつ該相対距離が、前記第1の閾値より小さい第2の閾値内にある被登録話者を選択する被登録話者選択部と、選択された被登録話者の識別子を含む警告メッセージを、前記発信元話者と通話する着信先話者により、通話中に視認或いは音声認識可能に出力するメッセージ出力部とを具備することを特徴とする有害顧客検知システムが提供される。
上記有害顧客検知システムは、さらに、前記グルーピング部により1のグループにグループ化された被登録話者の数が、所定の登録者数を超えた場合に、前記第1の閾値を減少させ、減少された第1の閾値内にある声紋情報を有する被登録話者を再度グループ化するグループ再構成部を具備してよい。
前記声紋データベースは、さらに、抽出された声紋情報に対応付けて、当該被登録話者の有害顧客の程度を示す有害顧客ランク情報を共に記憶し、前記メッセージ出力部は、選択された被登録話者の有害顧客ランク情報が所定値以下の場合に第1の警告メッセージを、前記有害顧客ランク情報が前記所定値より大きい場合に第2の警告メッセージを、それぞれ出力してよい。
上記有害顧客検知システムは、さらに、利用者の電話敷設履歴情報を、当該電話の電話番号と共に記憶する電話番号データベースと、前記電話番号データベースを参照して、発信元呼情報から得られる発信元電話番号の電話敷設履歴情報に基づいて発信元話者の与信チェックを実行し、該与信チェックの結果を与信チェックメッセージとして、通話開始前に、前記着信先話者により視認或いは音声認識可能に出力する第2のメッセージ出力部とを具備してよい。
上記有害顧客検知システムは、さらに、前記入力された通話音声の揺らぎ発生を検出してメッセージ出力部に通知する感情解析部を具備してよい。
本発明の他の特徴によれば、通話中の話者が予め登録された全有害顧客のそれぞれに該当するか否かを実時間内で検知する、声紋情報抽出部と、グルーピング部と、基準者設定部と、声紋データベースと、音声取得部と、グループ選択部と、被登録話話者選択部と、メッセージ出力部とを具備する有害顧客検知システムが実行する有害顧客検知方法であって、予め特定された被登録話者の録音音声信号を記憶装置から読み出してそれぞれの被登録話者を特徴付ける声紋情報を抽出する声紋情報抽出ステップと、全被登録話者相互の声紋情報の相対距離を算出し、該相対距離が第一の閾値内にある声紋情報を有する被登録話者をグループ化するグルーピングステップと、各グループに属する他の被登録話者の声紋情報との相対距離の総和が最小となる声紋情報を有する被登録話者を当該グループ内の基準者に設定する基準者設定ステップと、抽出された声紋情報を、当該被登録話者の識別子、当該被登録話者の属するグループ識別子、基準者の情報と共に声紋データベースに記憶する声紋情報記憶ステップと、発信元話者の通話音声を取得して、該発信元話者の声紋情報を抽出する音声取得ステップと、前記声紋データベースを参照して、前記発信元話者の声紋情報と、前記声紋データベースに登録された各グループの基準者の声紋情報との間でのみ、相対距離を算出し、該相対距離が最も小さい声紋情報を有する基準者が属するグループを選択するグループ選択ステップと、前記発信元話者の声紋情報と、選択されたグループに属する、基準者以外の被登録話者の声紋情報との間の相対距離を算出し、この相対距離の算出を基準者以外の全被登録話者について繰り返し、選択されたグループ内で相対距離が最も小さい声紋情報を有し、かつ該相対距離が、前記第1の閾値より小さい第2の閾値内にある被登録話者を選択する被登録話者選択ステップと、選択された被登録話者の識別子を含む警告メッセージを、前記発信元話者と通話する着信先話者により、通話中に視認或いは音声認識可能に出力するメッセージ出力ステップとを含むことを特徴とする有害顧客検知方法が提供される。
本発明の他の特徴によれば、通話中の話者が予め登録された全有害顧客のそれぞれに該当するか否かを実時間内で検知する有害顧客検知処理をコンピュータに実行させるための有害顧客検知プログラムであって、該プログラムは、前記コンピュータに、予め特定された被登録話者の録音音声信号を記憶装置から読み出してそれぞれの被登録話者を特徴付ける声紋情報を抽出する声紋情報抽出処理と、全被登録話者相互の声紋情報の相対距離を算出し、該相対距離が第一の閾値内にある声紋情報を有する被登録話者をグループ化するグルーピング処理と、各グループに属する他の被登録話者の声紋情報との相対距離の総和が最小となる声紋情報を有する被登録話者を当該グループ内の基準者に設定する基準者設定処理と、抽出された声紋情報を、当該被登録話者の識別子、当該被登録話者の属するグループ識別子、基準者の情報と共に声紋データベースに記憶する声紋情報記憶処理と、発信元話者の通話音声を取得して、該発信元話者の声紋情報を抽出する音声取得処理と、前記声紋データベースを参照して、前記発信元話者の声紋情報と、前記声紋データベースに登録された各グループの基準者の声紋情報との間でのみ、相対距離を算出し、該相対距離が最も小さい声紋情報を有する基準者が属するグループを選択するグループ選択処理と、前記発信元話者の声紋情報と、選択されたグループに属する、基準者以外の被登録話者の声紋情報との間の相対距離を算出し、この相対距離の算出を基準者以外の全被登録話者について繰り返し、選択されたグループ内で相対距離が最も小さい声紋情報を有し、かつ該相対距離が、前記第1の閾値より小さい第2の閾値内にある被登録話者を選択する被登録話者選択処理と、選択された被登録話者の識別子を含む警告メッセージを、前記発信元話者と通話する着信先話者により、通話中に視認或いは音声認識可能に出力するメッセージ出力処理とを含む処理をコンピュータに実行させるためのものであることを特徴とする有害顧客検知プログラムが提供される。
本発明によれば、声紋分析サーバは、予め登録され、グルーピングされた複数の有害顧客の音声モデルの中から、各グループの基準話者と、電話受け付けされた入力音声との照合のみを実行し、最も類似する音声と判定された基準話者が属するグループに属する音声モデルと入力音声との照合を実行し、入力音声との類似度が所定の閾値内にある音声モデルを特定し、この音声モデルに対応する有害顧客を同定して、電話応対を行なう対応者に通話中に通知する。
これにより、顧客の電話と応対担当者の電話との間でなされた通話を録音蓄積し管理するCRMシステムにおいて、円滑な電話応対業務を阻害するような有害顧客を、電話応対の初期段階でリアルタイムに検知し、警告することができる。
また、発信元の有害顧客自身に気付かれることなく、通話中にリアルタイムで、発話者が有害顧客であることを同定することができる。
さらに、真正な顧客名を名乗らない有害顧客や、コールセンタにおいて既登録である電話以外の電話から通話を行なう有害顧客であっても、通話中にリアルタイムで、発話者が有害顧客であることを同定することができる。
従って、本発明に係る有害顧客検知システム、その方法及び有害顧客検知プログラムによれば、コールセンタ業務において、追加的設備を要することなく、有害顧客を電話応対の初期段階で自動的に把握することができ、電話応対業務の効率化が図られるため、事業者のCRM向上に資する。
以下、添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能及び構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
<本実施形態の構成>
図1は、本発明の実施形態に係る有害顧客検知システムのネットワーク構成の非限定的一例を示す。有害顧客検知システムは、PBX(交換機)1、音声取得サーバ2、声紋分析サーバ3、電話番号分析サーバ4、感情解析サーバ5、制御サーバ6、顧客電話端末7、PSTN(公衆電話網)8、オペレータ電話端末9a、オペレータPC端末9b、通話録音サーバ10を具備する。有害顧客検知システム中、PBX(交換機)1、音声取得サーバ2、声紋分析サーバ3、電話番号分析サーバ4、感情解析サーバ5、制御サーバ6、オペレータ電話端末9a、オペレータPC端末9b、通話録音サーバ10の全部或いは一部は、コールセンタ内に設置され、LAN/WAN等のイントラネット11d等のIP(Internet Protocol)網により相互接続されてよい。或いは代替的に、音声取得サーバ2、声紋分析サーバ3、電話番号分析サーバ4、感情解析サーバ5、制御サーバ6、通話録音サーバ10、及びこれらサーバが備える通話録音データベース101、声紋データベース31、電話番号データベース41等の全部或いは一部は、インターネット等の遠隔IP接続を介して適宜コールセンタ外部に設置されてもよい。
図1は、本発明の実施形態に係る有害顧客検知システムのネットワーク構成の非限定的一例を示す。有害顧客検知システムは、PBX(交換機)1、音声取得サーバ2、声紋分析サーバ3、電話番号分析サーバ4、感情解析サーバ5、制御サーバ6、顧客電話端末7、PSTN(公衆電話網)8、オペレータ電話端末9a、オペレータPC端末9b、通話録音サーバ10を具備する。有害顧客検知システム中、PBX(交換機)1、音声取得サーバ2、声紋分析サーバ3、電話番号分析サーバ4、感情解析サーバ5、制御サーバ6、オペレータ電話端末9a、オペレータPC端末9b、通話録音サーバ10の全部或いは一部は、コールセンタ内に設置され、LAN/WAN等のイントラネット11d等のIP(Internet Protocol)網により相互接続されてよい。或いは代替的に、音声取得サーバ2、声紋分析サーバ3、電話番号分析サーバ4、感情解析サーバ5、制御サーバ6、通話録音サーバ10、及びこれらサーバが備える通話録音データベース101、声紋データベース31、電話番号データベース41等の全部或いは一部は、インターネット等の遠隔IP接続を介して適宜コールセンタ外部に設置されてもよい。
PBX1は、コールセンタ内の内線電話同士を接続すると共に、各オペレータ電話端末9aを、構内回線11a、11b、11c・・・を介してPSTN(公衆電話網)8に回線交換接続して、各オペレータ電話端末9aと顧客電話端末7との通話を実現する。
音声取得サーバ2は、PBX1に分岐接続され、各オペレータ電話端末9aと顧客電話端末7との通話音声を取得すると共に、取得された音声をオペレータ電話端末9aの番号(例えば内線番号)と対応付けて各サーバに供給する。
代替的に、この音声取得サーバ2は、PSTN8の終端装置(DSU)とPBX1との間の回線に分岐接続されてもよい。
声紋分析サーバ3は、音声取得サーバ2から供給される取得音声を、声紋データベース31内に予め登録された有害顧客の音声モデル(声紋パターン)と比較し、この比較結果をオペレータ電話端末9aの内線番号と共に制御サーバ6に供給する。
電話番号分析サーバ4は、PBX1から供給される発信元の顧客電話端末7の電話番号をキーとして、予め顧客電話番号ごとに与信情報を登録する電話番号データベース41を検索して得られる与信チェックの結果をオペレータ電話端末9aの内線番号と共に制御サーバ6に供給する。
感情解析サーバ5は、音声取得サーバ2から供給される取得音声の声の揺らぎや感情の高ぶり、落ち着きのなさ等を検出することにより得られる感情解析結果をオペレータ電話端末9aの内線番号と共に制御サーバ6に供給する。
制御サーバ6は、声紋分析サーバ3から供給される比較結果、電話番号分析サーバ4から供給される与信チェック結果、及び感情解析サーバ5から供給される感情解析結果の全部又は一部に基づいて、取得された音声が有害顧客か否かを判定してこの判定結果を、リアルタイムにオペレータPC端末装置9b上に警告表示する。好適には、この分析結果は有害顧客の程度を示すランク情報と共に警告表示されてよい。また好適には、オペレータPC端末装置9bは、ブラウザ機能を有し、通話録音データベース101に蓄積された録音音声データ、及び電話番号データベース41ないし声紋データベース31に記憶された利用者情報ないし有害顧客情報を適宜検索及び表示させることができる。代替的に、或いはこれに加えて、制御サーバ6は、オペレータ電話端末9aに、通話中の発信者が有害顧客に該当した場合に、発信者である顧客側には聴取されない警告音をトーン等により割り込み音声出力してもよい。
通話録音サーバ10は、制御サーバ6の制御の下、着呼後の音声取得サーバ2から供給される取得音声を、例えばNAS(Network Appliance Storage)等の大規模外部記憶装置により構成される通話録音データベース101に蓄積保存する。
なお、図1におけるPBX1は、PSTN1等の公衆電話交換回線網を介して顧客通話端末4に接続されているが、これに替えて、或いはこれに加えて、IP網接続機能を備えることにより、VoIP(Voice Over Internet Protocol)ネットワーク等の音声パケット通信ネットワークを介して、IP電話機能を備える顧客IP通話端末に接続されてよく、この場合、音声取得サーバ2は、顧客IP通話端末及びオペレータ電話端末9a間の音声通話を取得することができる。顧客電話端末7は、固定電話機或いは携帯電話機のいずれであってもよい。
なお、請求項における声紋情報抽出部、グルーピング部、基準者設定部は、声紋分析サーバ3ないし制御サーバ6に、請求項における音声取得部は、音声取得サーバ2ないし制御サーバ6に、請求項におけるグループ選択部及び被登録話者選択部は、声紋分析サーバ3に、請求項におけるメッセージ出力部は、制御サーバ6ないしオペレータ端末装置9bに、それぞれ相当する。
また、図1に示すネットワーク及びハードウエアの構成は一例に過ぎず、各サーバ及びデータベースを必要に応じて一体としてもよく、各コンポーネントをASP(Application Service Provider)等の外部に設置してもよい。
<本実施形態における有害顧客検知処理概要>
図2は、制御サーバ6による制御の下実行される、第1の実施形態に係る有害顧客検知システムにおける、顧客電話端末7からコールセンタのオペレータ電話端末9aへの着呼から、通話中の顧客が有害顧客であることをオペレータ端末9bないし電話端末9aに通知して振り分け処理を行なうまでの処理シーケンスの非限定的一例を示す。
図2は、制御サーバ6による制御の下実行される、第1の実施形態に係る有害顧客検知システムにおける、顧客電話端末7からコールセンタのオペレータ電話端末9aへの着呼から、通話中の顧客が有害顧客であることをオペレータ端末9bないし電話端末9aに通知して振り分け処理を行なうまでの処理シーケンスの非限定的一例を示す。
図2において、まず顧客電話端末7からPBX1に着呼する(ステップS1)。PBX1は、着呼により、呼情報を取得する。取得される呼情報とは、例えば、着信開始情報(着信開始タイムスタンプを含む)、発信開始情報(発信開始タイムスタンプを含む)、通話開始情報(通話開始タイムスタンプを含む)、通話終了情報(通話終了タイムスタンプを含む)等の呼制御情報と、発信元電話番号、発信先電話番号、発信元チャネル番号、発信者番号、着信チャネル番号、着信電話番号(着信先内線番号等)等の呼識別情報とを含み、好適には、CTI(Computer Telephony Integration)プロトコルを実装した制御サーバ6上ないしオペレータPC端末装置9b上で稼動するCTIプログラムと連動して、これらの表示装置上に呼情報をリアルタイムに表示してよい。PBX1は、取得される呼情報の全部又は一部、少なくとも発信元の顧客電話端末7の番号と、オフフックしたオペレータ電話端末9aの内線番号とを対応付けて、この発信元電話番号とオペレータ内線番号とを電話番号分析サーバ4に送出する(ステップS2)。好適には、電話番号分析サーバ4は、さらに、呼情報から、発信元顧客電話端末が発信者番号を非通知としたか否かを示すフラグを取得する。
図3は、電話番号分析サーバ4により参照される電話番号データベース41の構成の一例を示す。図3において、電話番号データベース41は、利用者データベース411と電話敷設データベース412を含む。利用者データベース411は、例えば表形式で構成され、一例として、各利用者毎に、利用者(顧客)を一意に識別するための利用者ID、利用者名、電話敷設データベース412中の電話番号へのリンク、電話番号変更履歴の情報、電話料金滞納履歴の情報を含む。電話敷設データベース412は、例えば表形式で構成され、一例として、各電話番号毎に、電話番号、電話敷設年月日の情報を含む。代替的に、利用者データベース411と電話敷設データベース412とは、例えば電話番号をキーとして一体に構成されてもよい。
図2に戻り、電話番号分析サーバ4は、取得された発信元電話番号をキーとして電話番号サーバ41を検索することにより、発信元電話番号に基づく電話番号分析処理、すなわち簡易的な与信チェック処理を行ない(ステップS3)、この与信チェック結果を、制御サーバ6を介して、取得されたオペレータ内線番号に対応するオペレータPC端末装置9bに出力する(ステップS4)。
一例として、電話番号分析サーバ4は、発信元電話番号が通知されたか否かを示すフラグを参照し、かつ電話敷設年月日を参照して、発信者電話番号が通知され、かつ発信元電話が敷設されて所定期間経過したものであれば(すなわち固定電話ないし携帯電話の契約期間が長期間経過していれば)、与信チェック結果として、異常なしと判断する。他方、発信者番号が通知されたが発信元電話が敷設されて間もないものであった場合(すなわち固定電話ないし携帯電話の契約期間が短期間であれば)、或いは発信者番号が非通知であった場合には、与信チェック結果として、警告ありと判断する。
好適には、電話番号分析サーバ4は、警告ありと判断した場合には、当該発信元話者を不審者の可能性ある者として、その録音音声の声紋情報を抽出して声紋データベース31に登録するよう、制御サーバ6に指示してもよい。また、好適には、複数の警告レベルを予め設定し、例えば発信者番号が非通知であった場合には、発信者番号が通知されたが発信元電話が敷設されて間もないものであった場合よりも警告レベルを上げてもよい。顧客とオペレータとの通話が開始される前に、オペレータPC端末装置9bに有害顧客可能性ありとの警告を表示することができ、これにより、通話開始前にオペレータに注意喚起することができる(ステップS5)。
次に、顧客電話端末7とオペレータ電話端末9aとの間で音声通話が開始され(ステップS6、S7)、この音声が音声取得サーバ2により取得され、声紋分析サーバ3に供給される。
図4は、声紋分析サーバ3により参照される声紋データベース31の構成の一例を示す。図4において、声紋データベース31は、有害顧客データベース311と声紋グループデータ312を含む。有害顧客データベース311は、例えば表形式で構成され、一例として、予め有害顧客と特定された各顧客毎に、有害顧客を一意に識別するための有害顧客ID、有害顧客個人情報、有害顧客ランク、声紋グループデータへのリンク、当該有害顧客が属する声紋情報のグループIDの情報を含む。声紋グループデータ312は、一例として、予め類似度の高い声紋データをグルーピングして、各声紋グループ毎に構成され、当該声紋グループに属する有害顧客の声紋データを含み、この声紋データにはそれぞれ、個人情報へのリンクと、当該声紋データを有する有害顧客が当該グループ内の基準者であるか否かを占めす情報が対応付けられている。
図2に戻り、声紋分析サーバ3は、通話により取得された音声を所定時間分(例えば3秒間以上)切り出して、この切り出された取得音声の声紋データ(後述する声紋パターン)と、声紋データベース31に事前に登録された有害顧客の声紋データとを照合することにより、取得音声の話者が登録された有害顧客に該当するか否かを判定し(ステップS8)、この声紋分析結果を、制御サーバを介して、取得されたオペレータ内線番号に対応するオペレータPC端末9bに出力する(ステップS9)。好適には、出力される声紋分析結果には、検出された有害顧客名、有害である程度を示す有害顧客ランクを含み、また表示された有害顧客名等をオペレータが選択すると、当該有害顧客の過去の通話履歴や電話対応履歴が続けてオペレータPC端末9bに表示されるよう構成されてよい。代替的に、入力音声とその類似度が一定の閾値内にある複数の有害顧客名を、該当有害顧客候補者リストとして表示させてもよい。この声紋分析処理の詳細は後述される。
次に、感情解析サーバ5は、音声取得サーバ2から供給される取得音声の声の揺らぎや感情の高ぶり、落ち着きのなさ等を検出することにより得られる感情解析結果を、制御サーバ6を介して、取得されたオペレータ内線番号に対応するオペレータPC端末9bに出力する(ステップS10、ステップS11)。入力音声の感情分析結果を、オペレータPC端末9bに表示することによって、過去にクレームを申し立てた履歴のない顧客についても、電話対応の初期段階で潜在的な有害顧客として識別することができる。
電話番号分析サーバ4からの電話番号分析結果、声紋分析サーバ3からの声紋分析結果、及び感情分析サーバ5からの感情分析結果は、結果が得られた都度、制御サーバ6を介して、オペレータPC端末装置9bに出力されてもよく、代替的に、或いはこれに加えて、制御サーバ6において、これら複数の分析結果に基づき総合判断結果を合成し、例えば現在通話中の話者が有害顧客であると判定された場合には、通話中の顧客が有害顧客に該当することを注意喚起するメッセージと共に最適な対処方法をポップアップメッセージ等でオペレータPC端末9b上に表示してもよい。好適には、この注意喚起メッセージと共に、或いはこのメッセージ出力に呼応したオペレータの表示要求に応答して、オペレータPC端末9b上に、電話番号データベース41及び声紋データベース31中に記憶された顧客情報を参照し、例えば、顧客名、住所、登録電話番号、現在の発信元電話番号、声紋チェックの結果、顧客属性、商品購入履歴等が表示されてもよい。
好適には、例えば、類似する登録有害顧客名が得られなかった場合には、通常どおりの電話対応を指示し、或いは何もメッセージを表示せず、類似する登録有害顧客名が得られた場合には、得られた有害顧客ランクに応じて、有害顧客ランクが低ければ通話中のオペレータに有害顧客向け電話応対マニュアルどおりの対応を指示し、有害顧客ランクが高ければ特に慎重な対応を要するとして通話中のオペレータのスーパーバイザーや熟練オペレータ等に呼を転送してもよく、代替的にこれらスーパーバイザーのPC端末等に直接警告メッセージを表示して割り込み通話を促してもよい(ステップS12)。
変形例として、オペレータ電話端末9aに着呼した際には、例えば公知のIVR(Interactive Voice Response)機能を利用して、自動応答音声を発信元電話端末に音声出力してから、オペレータが電話応対を開始するよう構成してもよい。例えば、着呼時には、自動応答音声で、問い合わせ内容や顧客名などを発信元顧客が発話するよう促し、これに応答して入力された音声の声紋分析結果及び感情分析結果が得られ、オペレータPC端末装置9bに表示された後に、オペレータが電話応対を開始すれば、発信元顧客に不自然さを抱かせることなく声紋チェックをより詳細に実行することが可能であるし、例えば顧客名や問い合わせ内容など予め決められた発話内容とこれと同様の発話内容をテンプレート化した登録声紋パターン(音声モデル)との間で声紋チェックを行なうことにより、声紋分析の精度も向上する利点が得られる。
他の変形例として、電話番号分析サーバ4により、発信元電話番号に基づく電話番号分析処理の結果、発信元話者について「警告あり」と判断された場合にのみ、声紋分析サーバ3が発信元話者の声紋分析処理を実行し、発信元話者について「異常なし」と判断された場合には、声紋分析サーバ3による声紋分析処理を実行しないよう、本実施形態を構成してもよい。このように構成すれば、「異常なし」と判断された顧客との電話応対に当たっての声紋分析に係るシステムの負荷が軽減されると共に、オペレータの電話応対も迅速化され得る。
<本実施形態における有害顧客声紋データ登録処理>
図5は、第1の実施形態に係る有害顧客の音声モデルを、予め声紋データベース31に登録する処理手順の一例を示す。
図5は、第1の実施形態に係る有害顧客の音声モデルを、予め声紋データベース31に登録する処理手順の一例を示す。
図5において、通話録音データベース11から、過去に通話録音された通話音声データの中から、有害顧客として登録されるべき特定話者の通話音声データを読み出し(ステップS31)、この特定話者の通話音声データからその特徴を示す声紋情報(声紋パターンのデータ)を抽出する(ステップS32)。この有害顧客として登録されるべき話者の特定は、電話応対を行なったオペレータにより指定されてもよく、或いは通話履歴中のキーワードや個人情報等に基づき自動的に選択されてもよい。代替的に、オペレータと被登録話者との間の電話応対において、被登録話者の本人確認がされた後、例えば個人情報を、新たに録音してもよい。
なお、本明細書において「個人情報」とは、顧客の個人情報であって、例えば顧客氏名、住所、登録された電話番号、生年月日、顧客属性、製品購入履歴等を含むものとし、オペレータPC端末9b上に、警告と共に或いはオペレータの指示入力に応じて、適宜表示され得る。また、顧客属性としては、例えば「有害顧客(+有害顧客ランク)」、「重要顧客(VIP)」等を識別可能とする。さらに、入力音声との照合のため必要な音声モデルは、例えば10秒程度発話している音声から生成することができるが、この必要秒数は、プロセッサの処理能力や外部記憶装置の容量及びデータ構造に依存して変動し得る。
ここで、本実施形態で声紋分析サーバ3及び制御サーバ6により実行される音声モデル登録処理及び声紋分析処理が使用し得る話者認識技術、とりわけ話者識別技術につき説明する。話者が何を話しているかを認識する音声認識処理とは異なり、話者の声が誰の声であるかを識別するのが話者認識(Speaker Recognition)であり、この話者認識においては、人間の音声から、男女の性別、咽喉や口の大きさや形状等の解剖学的特徴、発話スピードやスタイル等の言語環境等に起因して特徴付けられる音響パターンを声紋情報として抽出しモデル化して、個人の声の認識を行なう。この話者認識のうち、本実施形態においては、入力された話者の音声を、記憶されている多数の音声モデルとそれぞれ照合することにより、誰であるか分からない音声を誰の音声か識別するものであり、これを話者識別(Speaker Identification)という。また、本実施形態に係る話者識別においては、有害顧客自身に気付かれることなく、その発話音声を録音して照合用声紋情報を抽出する必要があるため、話者の発話内容を予め制限することが困難である。このため声紋情報が抽出された録音音声の発話テキストと、入力音声の発話テキストとは一致する場合はもとより、一致しない場合も前提として、話者の一般的音声特徴に基づき話者識別を実行する。
図6ないし図12を参照して、録音音声から声紋情報を抽出する処理の詳細を説明する。録音された音声は、音素単位で、ラベリングされる。すなわち音素単位に、母音であれば、「a」、「i」、「u」、「e」、「o」であり、子音であれば、「k」、「s」、「t」、「n」、「h」、「m」、「j」、「r」、「w」、「g」、「z」、「d」、「b」、「p」のいずれかがラベルとして付与される。図6は、「電子(denshi)」と発音した場合の、空気振動の大きさを縦軸に、時間を横軸に示したグラフであり、音素ごとに異なる波形パターンが表れている。
次に、ラベリングされた音声を、音の高さ、大きさ、速度により正規化(統一化)する。音声は個人によって音の高さ(音声ピッチ)が異なるため、図7に示すように、元の信号を間引き、更に時間軸上縮めることにより、このピッチを変化させて音の高さを正規化する。また、音声は発声毎に大きさ及び速度が異なるため、図8に示すように、基準音声の速度に合うよう、音声波形を伸縮させて、音声の大きさ及び速度を正規化する。これらの正規化処理は、音素単位で実行される。
次に、サウンドスペクトログラムを生成することにより、声紋情報を抽出する。音声周波数のスペクトルは、話者の声紋を特徴付ける。この周波数スペクトルは、時間信号をフーリエ変換(Fourier Transform)することで求めることができ、例えば、プロセッサでの処理に適する高速フーリエ変換(Fast Fourier Transform:FFT)処理を音声の時間波形信号に適用することにより実現することができる。図9は、音声信号にFFT処理を適用することによって得られる、ある音がどのくらいの周波数をどの程度含んでいるかを、横軸に周波数(Hz)、縦軸に音の大きさ(dB)をとってグラフに示した音声スペクトル、すなわち音声スペクトグラムである。
図10は、この音声スペクトグラム上の包絡線を示したもので、この包絡線には、複数のピークが表れている。この音声スペクトル上のピークのそれぞれを、フォルマント(formant)といい、このフォルマントの時間軸上の変化が、個体差に由来する声紋上の特徴を示すものとなる。
人間は、音声を連続して発声するときに、その個体差が音声に表れてくる。例えば、滑舌の良い話者の発声は音ごとの区切りが明瞭となり、滑舌の悪い話者の発声は音ごとの区切りが曖昧となる。音声スペクトルの時間軸上の変化を観察すれば、図11は、X軸に時間、Y軸に周波数、Z軸に音の大きさをとって、「電子(denshi)」と発声した音声信号について、時間を少しずつずらしながら各時点でのスペクトルを計算してグラフ化することにより、音声スペクトルの時間軸上の変化を三次元で示したものであり、図12は、Z軸の時間の大きさを色の濃淡で示すことにより、図11の三次元グラフを二次元表示に変換したものである。図12を参照すれば、音素ごとに模様が異なることが表されていることが理解される。図13は、図12で得られた音声スペクトグラム、すなわち声紋パターンを、話者Aのパターンと話者Bのパターンとを対比してその個体差を示したものであり、本実施形態において声紋分析サーバ3が実行する声紋照合処理は、入力音声の声紋パターンが予め登録された被登録者の声紋パターンのいずれに最も類似するかを算出する。
図5に戻り、このように得られた音素毎のスペクトルを、声紋情報として、被登録者の個人情報と共に、声紋データベース31に登録する(ステップS33)。
<本実施形態における有害顧客音声モデルグルーピング処理及び更新処理>
図5において、さらに声紋データベース31に登録された各話者(被登録有害顧客)について、他の被登録有害顧客との間の類似指数を算出する(ステップS34)。
図5において、さらに声紋データベース31に登録された各話者(被登録有害顧客)について、他の被登録有害顧客との間の類似指数を算出する(ステップS34)。
図14は、声紋データベース31に登録された被登録者の音素毎の時間軸上のスペクトル信号に基づいて、算出された類似指数の模式的一例を示し、例えば声紋データベースに被登録者AないしKが登録されているとした場合に、各登録者間について、0ポイントから100ポイントの範囲でのスケーリングで算出された類似指数がマトリクス上記載されている。図15は、図15で算出された類似指数に基づき、(100−類似指数)をそれぞれ算出することにより、被登録者間の声紋パターンの相対的距離を算出した一例を示す。図16及び図17は、図15で得られた各登録者間の声紋パターンの相対距離に基づき、例えば相対距離40ポイントをグルーピング用閾値とした場合に、被登録話者AないしKについて、グルーピングを行なった結果を示すものである。例えば、被登録話者A、B、C、D、Eの間の相対距離は、―40≦A−B≦40、−40≦A−C≦40、・・・、−40≦D−E≦40であるから、被登録話者A、B、C、D、Eは相互の相対距離絶対値がグルーピング用閾値である40ポイント以内にあり、これをグループ1とする。同様に、被登録話者F、G、H、I、Jの間の相対距離は、−40≦F−G≦40、−40≦F−H≦40、・・・、−40≦I−J≦40であるから、被登録話者F、G、H、I、Jは相互の相対距離絶対値がグルーピング用閾値である40ポイント以内にあり、これをグループ2とする。被登録話者Kについては、他の被登録話者との相対距離がいずれもグルーピング用閾値を上回る(55ないし75)であるため、K単独をグループ3とする。
図5に戻り、他登録話者間との間の声紋パターン(声紋情報)の相対距離の絶対値(本明細書において、特記しない限り、「相対距離」とは相対距離の絶対値を示すものとする)がグルーピング用閾値内にある被登録者をグループ化する(ステップS35)。
次に、各グループ内で他のグループ内被登録話者との間の相対距離の総和が最小の被登録話者を、当該グループの基準者と設定する(ステップS36)。例えば、図14ないし図17の例においては、グループ1内基準者をB、グループ2内基準者をH,グループ3内基準者をKとする。このようにして得られたグループの情報及び各グループの基準者の情報を、声紋データベース31に登録する(ステップS37)。
ここで、1グループに属する被登録者の数が、所定のグループ内被登録者数閾値、例えば一例として10人を超えた場合には、1グループに属する被登録者数(グループ内話者数閾値)が10人以内に納まるよう、声紋パターンの相対距離(絶対値)のグルーピング用閾値を減少させる(ステップS38)。このように1グループに属する被登録者の数について閾値を設けて、グループ内被登録者数を所定数内に維持することによって、1つのグループ内の全被登録者について実行される声紋照合の所要時間を所定時間内に留め、入力音声声紋照合におけるリアルタイム性を維持することができる。
なお、上記の例では、グルーピング用閾値を40ポイント、グループ内話者数閾値を10人として説明したが、これらの閾値を決定するには、本実施形態に係る話者識別に要するトータル時間が、通話中に許容される応答インターバル時間を超えるか否かに基づき決定することが好適である。一例として、例えば、通話中に許容される応答インターバル時間は5秒以内、より好適には2秒以内とし、1件の被登録話者の声紋情報と入力された声紋情報との間の比較処理に0.2秒を要するとすると、トータルで10人分の比較処理を行なうことが実用的時間内で許容されるため、(グループ数+(グループ内話者数閾値−1))が10となるようグループ内話者数閾値を決定し、これに基づき相対距離のグルーピング用閾値を決定すればよい。
<本実施形態における声紋照合処理>
図18は、本実施形態に係る入力音声の声紋照合の処理手順の一例を示す。
図18は、本実施形態に係る入力音声の声紋照合の処理手順の一例を示す。
図18において、各グループの基準者の声紋情報(図16、図17の例においては、被登録者B,H,K)と、オペレータが電話応対中である発信元話者の入力音声の声紋情報との照合を実行する(ステップS61)。この声紋照合を行なうために、入力音声は、好適には例えば3秒間程度録音され、声紋データベース31への登録処理において既に説明したのと同様に、音声信号に対して音素毎ラベリングされ、音のピッチ、大きさ、速度について正規化された上で、音声スペクトグラム(声紋パターン)が抽出される。
ステップS61における基準者との声紋照合処理の結果、入力音声の声紋情報と最も相対距離が近い(すなわち類似指数が最も大きい)基準者が属するグループを選択する(ステップS62)。
選択されたグループ内で、既に声紋照合がされた基準者を除く全被登録話者の声紋情報と、入力音声の声紋情報との照合を実行する(ステップS63)。
この声紋照合の結果、選択されたグループ内の全被登録者(基準者+ステップS63で照合の対象とされた被登録者)を母集団として、入力音声の声紋情報との相対距離が最も小さく、かつ、一致判定用閾値内にある声紋情報を有する被登録者を特定する(ステップS64)。なお、この一致判定用閾値は、好適には、上記のグルーピング用閾値(例えば40ポイント)より小さい値であり、例えば20ポイントであってよい。
このようにして、声紋分析サーバ3は、ステップS64で特定された有害顧客名等の有害顧客識別子をその登録された個人情報と共に、制御サーバ6に送出する。他方、ステップS64において被登録者が特定されなかった場合には、声紋分析サーバ3は、該当者なしの旨を示すデータを制御サーバ6に送出する。制御サーバ6は、例えば受信した有害顧客名及び有害顧客ランクをオペレータPC端末9b上に表示させ、好適には、オペレータからの指示入力に応答して、受信した有害顧客識別子をキーとしてさらに利用者データベース及び通話録音データベースを適宜参照し、オペレータPC端末9b上に過去の対応履歴や通話履歴等を表示させる。
<本実施形態に係る有害顧客検知システムのハードウエア構成>
図19は、本実施形態に係る各サーバ装置のハードウエア構成の一例を示すブロック図である。図19に示されるコンピュータ装置110である各サーバ装置において、CPU111は、ROM114および/またはハードディスクドライブ116に格納されたプログラムに従い、RAM115を一次記憶用ワークメモリとして利用して、システム全体を制御する。さらに、CPU111は、マウス112aまたはキーボード112を介して入力される利用者の指示に従い、ハードディスクドライブ116に格納されたプログラムに基づき、第1の実施形態に係る有害顧客検知処理を実行する。ディスプレイインタフェイス113には、CRTやLCDなどのディスプレイが接続され、CPU111が実行する有害顧客検知処理のための入力待ち受け画面、処理経過や処理結果、検索結果などが表示される。リムーバブルメディアドライブ117は、主に、リムーバブルメディアからハードディスクドライブ116へファイルを書き込んだり、ハードディスクドライブ116から読み出したファイルをリムーバブルメディアへ書き込む場合に利用される。リムーバブルメディアとしては、フロッピディスク(FD)、CD−ROM、CD−R、CD−R/W、DVD−ROM、DVD−R、DVD−R/W、DVD−RAMやMO、あるいはメモリカード、CFカード、スマートメディア、SDカード、メモリスティックなどが利用可能である。
図19は、本実施形態に係る各サーバ装置のハードウエア構成の一例を示すブロック図である。図19に示されるコンピュータ装置110である各サーバ装置において、CPU111は、ROM114および/またはハードディスクドライブ116に格納されたプログラムに従い、RAM115を一次記憶用ワークメモリとして利用して、システム全体を制御する。さらに、CPU111は、マウス112aまたはキーボード112を介して入力される利用者の指示に従い、ハードディスクドライブ116に格納されたプログラムに基づき、第1の実施形態に係る有害顧客検知処理を実行する。ディスプレイインタフェイス113には、CRTやLCDなどのディスプレイが接続され、CPU111が実行する有害顧客検知処理のための入力待ち受け画面、処理経過や処理結果、検索結果などが表示される。リムーバブルメディアドライブ117は、主に、リムーバブルメディアからハードディスクドライブ116へファイルを書き込んだり、ハードディスクドライブ116から読み出したファイルをリムーバブルメディアへ書き込む場合に利用される。リムーバブルメディアとしては、フロッピディスク(FD)、CD−ROM、CD−R、CD−R/W、DVD−ROM、DVD−R、DVD−R/W、DVD−RAMやMO、あるいはメモリカード、CFカード、スマートメディア、SDカード、メモリスティックなどが利用可能である。
プリンタインタフェイス118には、レーザビームプリンタやインクジェットプリンタなどのプリンタが接続される。ネットワークインタフェイス119は、コンピュータ装置をネットワークへ接続するためのインターフェースである。
なお、第1の実施形態に係る各サーバ装置及びオペレータPC端末9bに対する入力手段は、マウス112aあるいはキーボード112に限定されることなく、任意のポインティングデバイス、例えばトラックボール、トラックパッド、タブレットなどを適宜用いることができる。携帯情報端末を本実施形態に係るサーバ装置及びオペレータPC端末9bに接続される入出力装置として用いる場合には、入力部をボタンやモードダイヤル等で構成してもよい。
また、図19に示した本実施形態に係る各サーバのハードウエア構成は一例に過ぎず、その他の任意のハードウエア構成を用いることができることはいうまでもない。
殊に、本実施形態に係る有害顧客検知処理の全部又は一部は、上記コンピュータ端末装置110あるいはPDA等の携帯情報端末装置等によって実現されてもよく、コンピュータ端末装置等とサーバー装置とをBluetooth(登録商標)等の無線、あるいはインターネット(TCP/IP)、公共電話網(PSTN)、統合サービス・ディジタル網(ISDN)等の有線通信回線で相互接続した、インターネットあるいは任意の周知のローカル・エリア・ネットワーク(LAN)またはワイド・エリア・ネットワーク(WAN)からなるネットワークシステムによって通話録音処理の一部又は全部が実現されてもよい。
以上のとおり、本実施形態によれば、顧客の電話と応対担当者の電話との間でなされた通話を録音蓄積し管理するCRMシステムにおいて、円滑な電話応対業務を阻害するような有害顧客を、電話応対の初期段階でリアルタイムに検知し、警告することができる。
また、発信元の有害顧客自身に気付かれることなく、通話中にリアルタイムで、発話者が有害顧客であることを同定することができる。
さらに、真正な顧客名を名乗らない有害顧客や、コールセンタにおいて既登録である電話以外の電話から通話を行なう有害顧客であっても、通話中にリアルタイムで、発話者が有害顧客であることを同定することができる。
本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含み、その要旨を逸脱しない範囲で多様な改良ないし変更が可能である。例えば、本実施形態において開示された電話番号分析処理、声紋分析処理、及び感情解析処理は、それぞれ本実施形態に係る有害顧客検知システムに単独で実装されてもよく、任意の組み合わせで実装されてもよい。
また本発明は、重要顧客(VIP)をオペレータが電話応対の初期段階で識別することにも適用され得る。この場合、「顧客属性」として、「重要顧客」であること及びその内容を示す属性値を設け、発信元話者識別の結果として、例えばオペレータPC端末9b等に、重要顧客であることを示すメッセージを表示すればよい。例えば発信元話者が、単に「鈴木だが」と名乗ったとすると、話者識別の結果から、オペレータが即時に「○○商事の鈴木一郎様ですね」等と電話応対することが可能となる。さらに、本発明の範囲は、請求項1により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。
PBX 1
音声取得サーバ 2
声紋分析サーバ 3
電話番号分析サーバ4
感情解析サーバ 5
制御サーバ 6
顧客電話端末 7
PSTN 8
オペレータ電話端末 9a
オペレータPC端末 9b
通話録音サーバ 10
構内回線 11a,11b,11c
声紋データベース 31
電話番号データベース 41
通話録音データベース 10
音声取得サーバ 2
声紋分析サーバ 3
電話番号分析サーバ4
感情解析サーバ 5
制御サーバ 6
顧客電話端末 7
PSTN 8
オペレータ電話端末 9a
オペレータPC端末 9b
通話録音サーバ 10
構内回線 11a,11b,11c
声紋データベース 31
電話番号データベース 41
通話録音データベース 10
Claims (15)
- 通話中の話者が予め登録された全有害顧客のそれぞれに該当するか否かを実時間内で検知する、有害顧客検知システムであって、
予め特定された被登録話者の録音音声信号を記憶装置から読み出してそれぞれの被登録話者を特徴付ける声紋情報を抽出する声紋情報抽出部と、
全被登録話者相互の声紋情報の相対距離を算出し、該相対距離が第一の閾値内にある声紋情報を有する被登録話者をグループ化するグルーピング部と、
各グループに属する他の被登録話者の声紋情報との相対距離の総和が最小となる声紋情報を有する被登録話者を当該グループ内の基準者に設定する基準者設定部と、
抽出された声紋情報を、当該被登録話者の識別子、当該被登録話者の属するグループ識別子、基準者の情報と共に記憶する声紋データベースと、
発信元話者の通話音声を取得して、該発信元話者の声紋情報を抽出する音声取得部と、
前記声紋データベースを参照して、前記発信元話者の声紋情報と、前記声紋データベースに登録された各グループの基準者の声紋情報との間でのみ、相対距離を算出し、該相対距離が最も小さい声紋情報を有する基準者が属するグループを選択するグループ選択部と、
前記発信元話者の声紋情報と、選択されたグループに属する、基準者以外の被登録話者の声紋情報との間の相対距離を算出し、この相対距離の算出を基準者以外の全被登録話者について繰り返し、選択されたグループ内で相対距離が最も小さい声紋情報を有し、かつ該相対距離が、前記第1の閾値より小さい第2の閾値内にある被登録話者を選択する被登録話者選択部と、
選択された被登録話者の識別子を含む警告メッセージを、前記発信元話者と通話する着信先話者により、通話中に視認或いは音声認識可能に出力するメッセージ出力部とを具備する
ことを特徴とする有害顧客検知システム。 - 上記有害顧客検知システムは、さらに、
前記グルーピング部により1のグループにグループ化された被登録話者の数が、所定の登録者数を超えた場合に、前記第1の閾値を減少させ、減少された第1の閾値内にある声紋情報を有する被登録話者を再度グループ化するグループ再構成部を具備する
ことを特徴とする請求項1に記載の有害顧客検知システム。 - 前記声紋データベースは、さらに、抽出された声紋情報に対応付けて、当該被登録話者の有害顧客の程度を示す有害顧客ランク情報を共に記憶し、
前記メッセージ出力部は、選択された被登録話者の有害顧客ランク情報が所定値以下の場合に第1の警告メッセージを、前記有害顧客ランク情報が前記所定値より大きい場合に第2の警告メッセージを、それぞれ出力する
ことを特徴とする請求項1または2に記載の有害顧客検知システム。 - 上記有害顧客検知システムは、さらに、
利用者の電話敷設履歴情報を、当該電話の電話番号と共に記憶する電話番号データベースと、
前記電話番号データベースを参照して、発信元呼情報から得られる発信元電話番号の電話敷設履歴情報に基づいて発信元話者の与信チェックを実行し、該与信チェックの結果を与信チェックメッセージとして、通話開始前に、前記着信先話者により視認或いは音声認識可能に出力する第2のメッセージ出力部とを具備する
ことを特徴とする請求項1ないし3のいずれか記載の有害顧客検知システム。 - 上記有害顧客検知システムは、さらに、
前記入力された通話音声の揺らぎ発生を検出してメッセージ出力部に通知する感情解析部を具備する
ことを特徴とする請求項1ないし4のいずれか記載の有害顧客検知システム。 - 通話中の話者が予め登録された全有害顧客のそれぞれに該当するか否かを実時間内で検知する、声紋情報抽出部と、グルーピング部と、基準者設定部と、声紋データベースと、音声取得部と、グループ選択部と、被登録話話者選択部と、メッセージ出力部とを具備する有害顧客検知システムが実行する有害顧客検知方法であって、
予め特定された被登録話者の録音音声信号を記憶装置から読み出してそれぞれの被登録話者を特徴付ける声紋情報を抽出する声紋情報抽出ステップと、
全被登録話者相互の声紋情報の相対距離を算出し、該相対距離が第一の閾値内にある声紋情報を有する被登録話者をグループ化するグルーピングステップと、
各グループに属する他の被登録話者の声紋情報との相対距離の総和が最小となる声紋情報を有する被登録話者を当該グループ内の基準者に設定する基準者設定ステップと、
抽出された声紋情報を、当該被登録話者の識別子、当該被登録話者の属するグループ識別子、基準者の情報と共に声紋データベースに記憶する声紋情報記憶ステップと、
発信元話者の通話音声を取得して、該発信元話者の声紋情報を抽出する音声取得ステップと、
前記声紋データベースを参照して、前記発信元話者の声紋情報と、前記声紋データベースに登録された各グループの基準者の声紋情報との間でのみ、相対距離を算出し、該相対距離が最も小さい声紋情報を有する基準者が属するグループを選択するグループ選択ステップと、
前記発信元話者の声紋情報と、選択されたグループに属する、基準者以外の被登録話者の声紋情報との間の相対距離を算出し、この相対距離の算出を基準者以外の全被登録話者について繰り返し、選択されたグループ内で相対距離が最も小さい声紋情報を有し、かつ該相対距離が、前記第1の閾値より小さい第2の閾値内にある被登録話者を選択する被登録話者選択ステップと、
選択された被登録話者の識別子を含む警告メッセージを、前記発信元話者と通話する着信先話者により、通話中に視認或いは音声認識可能に出力するメッセージ出力ステップとを含む
ことを特徴とする有害顧客検知方法。 - 上記有害顧客検知方法は、さらに、
グループ再構成部により、前記グルーピング部により1のグループにグループ化された被登録話者の数が、所定の登録者数を超えた場合に、前記第1の閾値を減少させ、減少された第1の閾値内にある声紋情報を有する被登録話者を再度グループ化するグループ再構成ステップを含む
ことを特徴とする請求項6に記載の有害顧客検知方法。 - 前記声紋データベースは、さらに、抽出された声紋情報に対応付けて、当該被登録話者の有害顧客の程度を示す有害顧客ランク情報を共に記憶し、
前記メッセージ出力ステップは、選択された被登録話者の有害顧客ランク情報が所定値以下の場合に第1の警告メッセージを、前記有害顧客ランク情報が前記所定値より大きい場合に第2の警告メッセージを、それぞれ出力する
ことを特徴とする請求項6または7に記載の有害顧客検知方法。 - 上記有害顧客検知方法は、さらに、
利用者の電話敷設履歴情報を、当該電話の電話番号と共に電話番号データベースに記憶する電話番号記憶ステップと、
第2のメッセージ出力部により、前記電話番号データベースを参照して、発信元呼情報から得られる発信元電話番号の電話敷設履歴情報に基づいて発信元話者の与信チェックを実行し、該与信チェックの結果を与信チェックメッセージとして、通話開始前に、前記着信先話者により視認或いは音声認識可能に出力する第2のメッセージ出力ステップとを含む
ことを特徴とする請求項6ないし8のいずれか記載の有害顧客検知方法。 - 上記有害顧客検知方法は、さらに、
感情解析部により、前記入力された通話音声の揺らぎ発生を検出してメッセージ出力部に通知する感情解析ステップを含む
ことを特徴とする請求項6ないし9のいずれか記載の有害顧客検知方法。 - 通話中の話者が予め登録された全有害顧客のそれぞれに該当するか否かを実時間内で検知する有害顧客検知処理をコンピュータに実行させるための有害顧客検知プログラムであって、該プログラムは、前記コンピュータに、
予め特定された被登録話者の録音音声信号を記憶装置から読み出してそれぞれの被登録話者を特徴付ける声紋情報を抽出する声紋情報抽出処理と、
全被登録話者相互の声紋情報の相対距離を算出し、該相対距離が第一の閾値内にある声紋情報を有する被登録話者をグループ化するグルーピング処理と、
各グループに属する他の被登録話者の声紋情報との相対距離の総和が最小となる声紋情報を有する被登録話者を当該グループ内の基準者に設定する基準者設定処理と、
抽出された声紋情報を、当該被登録話者の識別子、当該被登録話者の属するグループ識別子、基準者の情報と共に声紋データベースに記憶する声紋情報記憶処理と、
発信元話者の通話音声を取得して、該発信元話者の声紋情報を抽出する音声取得処理と、
前記声紋データベースを参照して、前記発信元話者の声紋情報と、前記声紋データベースに登録された各グループの基準者の声紋情報との間でのみ、相対距離を算出し、該相対距離が最も小さい声紋情報を有する基準者が属するグループを選択するグループ選択処理と、
前記発信元話者の声紋情報と、選択されたグループに属する、基準者以外の被登録話者の声紋情報との間の相対距離を算出し、この相対距離の算出を基準者以外の全被登録話者について繰り返し、選択されたグループ内で相対距離が最も小さい声紋情報を有し、かつ該相対距離が、前記第1の閾値より小さい第2の閾値内にある被登録話者を選択する被登録話者選択処理と、
選択された被登録話者の識別子を含む警告メッセージを、前記発信元話者と通話する着信先話者により、通話中に視認或いは音声認識可能に出力するメッセージ出力処理とを含む処理をコンピュータに実行させるためのものである
ことを特徴とする有害顧客検知プログラム。 - 上記有害顧客検知プログラムは、さらに、
前記グルーピング処理により1のグループにグループ化された被登録話者の数が、所定の登録者数を超えた場合に、前記第1の閾値を減少させ、減少された第1の閾値内にある声紋情報を有する被登録話者を再度グループ化するグループ再構成処理を含む
ことを特徴とする請求項11に記載の有害顧客検知プログラム。 - 前記声紋データベースは、さらに、抽出された声紋情報に対応付けて、当該被登録話者の有害顧客の程度を示す有害顧客ランク情報を共に記憶し、
前記メッセージ出力処理は、選択された被登録話者の有害顧客ランク情報が所定値以下の場合に第1の警告メッセージを、前記有害顧客ランク情報が前記所定値より大きい場合に第2の警告メッセージを、それぞれ出力する
ことを特徴とする請求項11または12に記載の有害顧客検知プログラム。 - 上記有害顧客検知プログラムは、さらに、
利用者の電話敷設履歴情報を、当該電話の電話番号と共に電話番号データベースに記憶する電話番号記憶処理と、
前記電話番号データベースを参照して、発信元呼情報から得られる発信元電話番号の電話敷設履歴情報に基づいて発信元話者の与信チェックを実行し、該与信チェックの結果を与信チェックメッセージとして、通話開始前に、前記着信先話者により視認或いは音声認識可能に出力する第2のメッセージ出力処理とを含む
ことを特徴とする請求項11ないし13のいずれか記載の有害顧客検知プログラム。 - 上記有害顧客検知プログラムは、さらに、
前記入力された通話音声の揺らぎ発生を検出してメッセージ出力部に通知する感情解析処理を含む
ことを特徴とする請求項11ないし14のいずれか記載の有害顧客検知プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008285862A JP4438014B1 (ja) | 2008-11-06 | 2008-11-06 | 有害顧客検知システム、その方法及び有害顧客検知プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008285862A JP4438014B1 (ja) | 2008-11-06 | 2008-11-06 | 有害顧客検知システム、その方法及び有害顧客検知プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4438014B1 JP4438014B1 (ja) | 2010-03-24 |
JP2010113167A true JP2010113167A (ja) | 2010-05-20 |
Family
ID=42193848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008285862A Expired - Fee Related JP4438014B1 (ja) | 2008-11-06 | 2008-11-06 | 有害顧客検知システム、その方法及び有害顧客検知プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4438014B1 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012242590A (ja) * | 2011-05-19 | 2012-12-10 | Nippon Telegr & Teleph Corp <Ntt> | 話者分類装置、話者分類方法、プログラム |
JP2013037108A (ja) * | 2011-08-05 | 2013-02-21 | Nippon Telegr & Teleph Corp <Ntt> | 話者クラスタリング方法、話者クラスタリング装置、プログラム |
CN103730113A (zh) * | 2013-12-27 | 2014-04-16 | 黄伟 | 去除声纹识别情感语音干扰的方法及系统 |
JP2014095753A (ja) * | 2012-11-07 | 2014-05-22 | Hitachi Systems Ltd | 音声自動認識・音声変換システム |
JP2015191076A (ja) * | 2014-03-28 | 2015-11-02 | セコム株式会社 | 音声識別装置 |
JP2016130993A (ja) * | 2015-01-15 | 2016-07-21 | Necフィールディング株式会社 | 制御装置、情報管理システム、情報管理方法、及びプログラム |
CN106228990A (zh) * | 2016-07-15 | 2016-12-14 | 北京光年无限科技有限公司 | 面向智能机器人的登录方法及操作系统 |
WO2020171040A1 (ja) | 2019-02-18 | 2020-08-27 | 日本電気株式会社 | 声認証装置、声認証方法、及び、記録媒体 |
JP2020154061A (ja) * | 2019-03-19 | 2020-09-24 | 株式会社フュートレック | 話者識別装置、話者識別方法およびプログラム |
JP2020173381A (ja) * | 2019-04-12 | 2020-10-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 話者認識方法、話者認識装置、話者認識プログラム、データベース作成方法、データベース作成装置、及びデータベース作成プログラム |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109634554B (zh) * | 2018-12-18 | 2023-05-26 | 三星电子(中国)研发中心 | 用于输出信息的方法和装置 |
JP2020161130A (ja) | 2019-03-19 | 2020-10-01 | 株式会社インテグレス | 有害顧客管理システム及び有害顧客管理プログラム |
JP2020161131A (ja) | 2019-03-19 | 2020-10-01 | 株式会社インテグレス | 有害顧客管理システム及び有害顧客管理プログラム |
CN113327620A (zh) * | 2020-02-29 | 2021-08-31 | 华为技术有限公司 | 声纹识别的方法和装置 |
CN111933138B (zh) * | 2020-08-20 | 2022-10-21 | Oppo(重庆)智能科技有限公司 | 语音控制方法、装置、终端及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10301937A (ja) * | 1997-04-23 | 1998-11-13 | Nippon Telegr & Teleph Corp <Ntt> | 多次元ベクトル空間内の近傍検索方法とそのプログラムの記録媒体 |
JP2001514768A (ja) * | 1997-03-13 | 2001-09-11 | テリア アクティエ ボラーグ | 話者証明システム |
JP2002221991A (ja) * | 2001-01-29 | 2002-08-09 | Animo:Kk | データ照合システム及び方法 |
JP2004040520A (ja) * | 2002-07-04 | 2004-02-05 | Oki Electric Ind Co Ltd | コール受付システム |
JP2007334402A (ja) * | 2006-06-12 | 2007-12-27 | Hitachi Ltd | クラスタリングされたベクトルデータを検索するサーバ、システム及び方法 |
JP2008165714A (ja) * | 2007-01-05 | 2008-07-17 | Kddi Corp | 情報検索方法、装置およびプログラム |
JP2008271310A (ja) * | 2007-04-23 | 2008-11-06 | Canon Inc | 撮像装置及び撮像装置の制御方法、プログラム、及び記憶媒体 |
JP2009259085A (ja) * | 2008-04-18 | 2009-11-05 | Takumi Vision株式会社 | 生体認証システム及び認証方法 |
-
2008
- 2008-11-06 JP JP2008285862A patent/JP4438014B1/ja not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001514768A (ja) * | 1997-03-13 | 2001-09-11 | テリア アクティエ ボラーグ | 話者証明システム |
JPH10301937A (ja) * | 1997-04-23 | 1998-11-13 | Nippon Telegr & Teleph Corp <Ntt> | 多次元ベクトル空間内の近傍検索方法とそのプログラムの記録媒体 |
JP2002221991A (ja) * | 2001-01-29 | 2002-08-09 | Animo:Kk | データ照合システム及び方法 |
JP2004040520A (ja) * | 2002-07-04 | 2004-02-05 | Oki Electric Ind Co Ltd | コール受付システム |
JP2007334402A (ja) * | 2006-06-12 | 2007-12-27 | Hitachi Ltd | クラスタリングされたベクトルデータを検索するサーバ、システム及び方法 |
JP2008165714A (ja) * | 2007-01-05 | 2008-07-17 | Kddi Corp | 情報検索方法、装置およびプログラム |
JP2008271310A (ja) * | 2007-04-23 | 2008-11-06 | Canon Inc | 撮像装置及び撮像装置の制御方法、プログラム、及び記憶媒体 |
JP2009259085A (ja) * | 2008-04-18 | 2009-11-05 | Takumi Vision株式会社 | 生体認証システム及び認証方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012242590A (ja) * | 2011-05-19 | 2012-12-10 | Nippon Telegr & Teleph Corp <Ntt> | 話者分類装置、話者分類方法、プログラム |
JP2013037108A (ja) * | 2011-08-05 | 2013-02-21 | Nippon Telegr & Teleph Corp <Ntt> | 話者クラスタリング方法、話者クラスタリング装置、プログラム |
JP2014095753A (ja) * | 2012-11-07 | 2014-05-22 | Hitachi Systems Ltd | 音声自動認識・音声変換システム |
CN103730113A (zh) * | 2013-12-27 | 2014-04-16 | 黄伟 | 去除声纹识别情感语音干扰的方法及系统 |
JP2015191076A (ja) * | 2014-03-28 | 2015-11-02 | セコム株式会社 | 音声識別装置 |
JP2016130993A (ja) * | 2015-01-15 | 2016-07-21 | Necフィールディング株式会社 | 制御装置、情報管理システム、情報管理方法、及びプログラム |
CN106228990A (zh) * | 2016-07-15 | 2016-12-14 | 北京光年无限科技有限公司 | 面向智能机器人的登录方法及操作系统 |
WO2020171040A1 (ja) | 2019-02-18 | 2020-08-27 | 日本電気株式会社 | 声認証装置、声認証方法、及び、記録媒体 |
JP2020154061A (ja) * | 2019-03-19 | 2020-09-24 | 株式会社フュートレック | 話者識別装置、話者識別方法およびプログラム |
JP2020173381A (ja) * | 2019-04-12 | 2020-10-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 話者認識方法、話者認識装置、話者認識プログラム、データベース作成方法、データベース作成装置、及びデータベース作成プログラム |
JP7266448B2 (ja) | 2019-04-12 | 2023-04-28 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 話者認識方法、話者認識装置、及び話者認識プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4438014B1 (ja) | 2010-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4438014B1 (ja) | 有害顧客検知システム、その方法及び有害顧客検知プログラム | |
US10127928B2 (en) | Multi-party conversation analyzer and logger | |
JP4089148B2 (ja) | 通訳サービス方法および通訳サービス装置 | |
US10083686B2 (en) | Analysis object determination device, analysis object determination method and computer-readable medium | |
JP5311348B2 (ja) | 音声データ内の音声キーワード照合システム、その方法及び音声データ内の音声キーワード照合プログラム | |
WO2014069076A1 (ja) | 会話分析装置及び会話分析方法 | |
WO2014069122A1 (ja) | 表現分類装置、表現分類方法、不満検出装置及び不満検出方法 | |
JP2009175336A (ja) | コールセンターのデータベースシステム、その情報管理方法及び情報管理プログラム | |
JP2011087005A (ja) | 通話音声要約生成システム、その方法及び通話音声要約生成プログラム | |
US20130253932A1 (en) | Conversation supporting device, conversation supporting method and conversation supporting program | |
JP2020071675A (ja) | 対話要約生成装置、対話要約生成方法およびプログラム | |
JP2009175943A (ja) | コールセンターのデータベースシステム、データベースの情報管理方法及びデータベースの情報管理プログラム | |
JP6183841B2 (ja) | Ngワードの兆候を把握するコールセンタ用語管理システム及びその方法 | |
JP4067481B2 (ja) | 電話受付システム | |
US9875236B2 (en) | Analysis object determination device and analysis object determination method | |
WO2023090380A1 (ja) | プログラム、情報処理システム及び情報処理方法 | |
JP2010002973A (ja) | 音声データ主題推定装置およびこれを用いたコールセンタ | |
JP6873935B2 (ja) | テキスト分析装置、テキスト分析方法及びテキスト分析プログラム | |
JP5691174B2 (ja) | オペレータ選定装置、オペレータ選定プログラム、オペレータ評価装置、オペレータ評価プログラム及びオペレータ評価方法 | |
JP2019186707A (ja) | 電話システムおよびプログラム | |
CN110765242A (zh) | 一种客服信息的提供方法,装置及系统 | |
WO2014069443A1 (ja) | 不満通話判定装置及び不満通話判定方法 | |
JP7334467B2 (ja) | 対応支援装置および対応支援方法 | |
JP7170013B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム | |
JP7262362B2 (ja) | 判定装置、判定方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091225 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130115 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140115 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |