JP2015094811A - 通話録音可視化システムおよび通話録音可視化方法 - Google Patents

Abstract

【課題】通話音声の確認を行うために、関連する通話を自動的に分類したい。
【解決手段】通話録音可視化システムは、複数の通話録音データを保持する記憶部と、前記複数の通話録音データから、前記通話録音データに含まれる音声の個人性に関する音響特徴量を抽出する個人性抽出部と、前記抽出された音響特徴量に基づいて、指定された通話録音データに含まれる音声の話者の組と同一の組によって発声された音声を含む一つ以上の通話録音データを特定する話者組特定部と、前記特定された一つ以上の通話録音データを識別する情報を出力する出力部と、を有する。
【選択図】図１

Description

本発明は、通話録音可視化システムおよび通話録音可視化方法に関する。

現在、多くのコールセンタにおいて、オペレータと顧客が話している内容は通話録音装置で録音されており、通話録音のデータ量は年々増加を続けている。通話録音データから、その内容を自動的に抽出することができれば、コールセンタ業務の品質および効率の向上、マーケティングへの活用に繋がると期待される。

ところで、コールセンタにおいて、一つの問合せ案件が、一回の通話で完了しないことは珍しくない。例えば、まず受付担当者が、顧客の用件を聞き、後ほど専門担当者から顧客へ折り返しの電話を行うようなケースがある。その間には、受付担当者と専門担当者の間での引き継ぎの内線通話や、専門担当者間で対応を議論するための内線通話がある。

このように、複数の通話で構成される問合せ案件の内容を効率的に確認するためには、それぞれの通話が誰と誰による通話であったかを分かりやすく表示することが求められる。例えば、確認対象の問合せ案件を構成する通話を、「受付担当者と顧客」、「受付担当者と専門担当者」、「顧客と専門担当者」、「専門担当者同士」といった形に分類することができると、各分類に応じて異なる観点からの通話内容確認を効率的に行うことが可能となる。例えば、顧客の最初の用件のみを確認したい場合は、「受付担当者と顧客」に分類される通話を確認すればよく、また、専門担当者の顧客への応対態度を確認したいときは、「顧客と専門担当者」に分類される通話のみを確認すればよい。

従来、このような分類を実現するためには、電話終了後に、問合せ案件を管理するデータベースに人手で入力する必要があった。

あるいは、話者を特定する手段を用いてこれらの分類を自動的に決定する方法が考えられる。例えば、通話録音が送信用と受信用の２回線であることを利用して、それぞれの回線に話者を割り当て、その回線を識別する電話番号等の情報と結びつけることによって、話者を特定する方法がある（特許文献１）。

また、別の方法として、話者認識技術が挙げられる。話者認識では、音声に含まれる特徴量を抽出し、２つの音声の特徴量間の類似度を算出し、閾値によって、２つの音声の話者が同一であるか否かを判定する方法が用いられる。

特開２００７−６８０４４号公報

しかしながら、従来の方法では、通話が２人で行われていることを想定し、２人の話者組について分類し、その結果を表示する方法はなかった。回線識別による方法では、電話で実際に話している話者が同一であるかを識別することができない。顧客側、コールセンタ側ともに、同じ回線を複数人が共有するケースがあり、また一方では、同一の話者が異なる電話番号を用いるケースもあるためである。また、話者認識による方法では、話者に関する情報をあらかじめ登録しておかない限り、同一と判定された話者の分類（例えば受付担当者か専門担当者か顧客か）を判断できない。また、通話の中の一人だけが同一だと判定されるだけでは、通話録音の確認対象を十分に絞り込めない。

一方、通話に関わる二人の話者がともに同一と判定される場合は、同じ分類に属する通話録音であることが明らかとなるため、そのような判定結果は確認対象の絞込みにとって有用である。

本発明は、このような点に鑑みてなされたものであり、その目的は、複数の通話が格納された通話録音データベースから、通話に含まれる２人の話者の組合せに関する同一性に基づいて分類し、その結果を表示することで、通話録音を確認する作業の効率化を可能とする通話録音可視化システムおよび方法を提供することにある。

上記の課題を解決するために、本発明は、複数の通話録音データを保持する記憶部と、前記複数の通話録音データから、前記通話録音データに含まれる音声の個人性に関する音響特徴量を抽出する個人性抽出部と、前記抽出された音響特徴量に基づいて、指定された通話録音データに含まれる音声の話者の組と同一の組によって発声された音声を含む一つ以上の通話録音データを特定する話者組特定部と、前記特定された一つ以上の通話録音データを識別する情報を出力する出力部と、を有することを特徴とする。

本発明によれば、指定された通話と同一の話者の組によって発話された音声を含む通話を表示することで、内容を確認する通話を効率的に絞り込むことができる。

上記以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

実施例１の通話録音可視化システムおよびその周辺のシステムからなるシステム全体の構成を示すブロック図である。 実施例１の通話録音可視化システムおよびその周辺のシステムからなるシステム全体のハードウェア構成を示すブロック図である。 実施例１の通話録音可視化システムによる通話検索ＤＢ作成動作を示すフローチャートである。 実施例１の通話録音可視化システムが保持する通話録音ＤＢの例を説明する図である。 実施例１の通話録音可視化システムが保持する通話検索ＤＢの例を説明する図である。 実施例１の通話録音可視化システムによる通話可視化動作を示すフローチャートである。 実施例１のディスプレイに表示される検索画面の例を示す説明図である。 実施例１のディスプレイに表示される結果表示画面の例を示す説明図である。 実施例２の通話録音可視化システムおよびその周辺のシステムからなるシステム全体の構成を示す機能ブロック図である。 実施例２の通話録音可視化システムによる通話可視化動作を示すフローチャートである。 実施例２のディスプレイに表示される結果表示画面の例を示す説明図である。

以下、実施例を、図面を用いて説明する。

本発明による通話録音可視化システムの例を説明する。

図１は、実施例１の通話録音可視化システムおよびその周辺のシステムからなるシステム全体の構成を示す機能ブロック図である。

通話録音可視化システム１は、コールセンタ５における顧客６１とオペレータ５１の間の通話音声を録音する通話録音装置２と、その通話録音の内容をクエリによって検索可能とする通話検索装置３とを備え、通話録音可視化端末装置４を用いて、利用者が通話録音の確認に利用できるように構成される。

通話録音装置２は、顧客６１とオペレータ５１とがそれぞれ顧客電話６２およびオペレータ電話５２を用いて行う通話を録音する通話録音部２１と、通話録音がオペレータの発話（送信）であるか顧客の発話（受信）であるかを決定する送受信種別取得部２２と、通話録音と送受信種別を対応付けて管理する通話録音ＤＢ２３と、外部からの要求を受け付けて通話録音ＤＢ２３の情報を送信する通話録音ＤＢ管理部２４と、を備える。

通話検索装置３は、通話録音装置２に保存された通話録音を取得する通話録音取得部３１と、通話録音中の音声区間を検出する音声区間検出部３３と、通話録音中の個人性を抽出する個人性抽出部３４と、音声区間検出および個人性抽出の結果を管理する通話検索ＤＢ３５と、外部からクエリを受けつけるクエリ受付部３６と、受け付けたクエリに基づいて通話検索ＤＢ３５から検出対象となる通話録音を検索する通話録音検索部３７と、検出対象となる通話録音の個人性抽出の結果に基づいて、通話録音に含まれる音声を発声した話者の組を特定する話者組特定部３８と、話者組を特定した結果を送信する結果送信部３９と、を備える。

通話録音可視化端末装置４は、通話録音を特定するためのクエリを通話検索装置３に送信するクエリ送信部４１と、話者組特定結果に基づく表示を行う結果表示部４２と、を備える。通話録音可視化システム１の利用者は、通話録音可視化端末装置４を操作して、クエリを入力し、結果表示部４２によって表示された内容を参照する。この利用者は、例えば、オペレータ５１による通話内容をチェックするスーパーバイザ４３である。なお、通話録音可視化端末装置４が通話録音可視化システム１に含まれてもよい。

図２は、実施例１の通話録音可視化システムおよびその周辺のシステムからなるシステム全体のハードウェア構成を示すブロック図である。

本システムは、ＶｏＩＰ（Voice over Internet Protocol）ゲートウェイ２０１、ＩＰ（Internet Protocol）交換機２０２、複数のＩＰ電話機２０３、およびＩＰネットワーク中継装置２０４を備え、公衆電話回線網２００の先の電話機（例えば図１の顧客電話６２）を用いる顧客と、コールセンタ内のＩＰ電話機２０３（例えば図１のオペレータ電話５２に相当）を用いるオペレータとが通話できるように構成されている。

通話録音装置２は、ＣＰＵ２０５、メモリ２０６、ＨＤＤ（Hard Disk Drive）２０７、および、ＩＰネットワーク中継装置２０４と接続する通信部２０８を備える。メモリ２０６には、それぞれが通話録音部２１、送受信種別取得部２２および通話録音ＤＢ管理部２４の処理を行うプログラムが格納され、ＨＤＤ２０７には通話録音ＤＢ２３が格納される。以下に説明する通話録音部２１、送受信種別取得部２２および通話録音ＤＢ管理部２４の処理は、ＣＰＵ２０５がメモリ２０６に格納されたプログラムを実行することによって実現される。

通話検索装置３は、ＣＰＵ２１５、メモリ２１６、ＨＤＤ２１７、および、ＩＰネットワーク中継装置２０４と接続する通信部２１８を備える。メモリ２１６には、それぞれが通話録音取得部３１、音声区間検出部３３、個人性抽出部３４、クエリ受付部３６、通話録音検索部３７、話者組特定部３８および結果送信部３９の処理を行うプログラムが格納され、ＨＤＤ２１７には、通話検索ＤＢ３５が格納される。以下に説明する通話録音取得部３１、音声区間検出部３３、個人性抽出部３４、クエリ受付部３６、通話録音検索部３７、話者組特定部３８および結果送信部３９の処理は、ＣＰＵ２１５がメモリ２１６に格納されたプログラムを実行することによって実現される。

通話録音可視化端末装置４は、ＣＰＵ２２５、メモリ２２６、ＨＤＤ２２７、ＩＰネットワーク中継装置２０４と接続する通信部２２８、キーボード２２９、ディスプレイ２３０、マウス２３１、スピーカ２３２とを備える。メモリ２０６には、それぞれがクエリ送信部４１および結果表示部４２の処理を行うプログラムが格納される。以下に説明するクエリ送信部４１および結果表示部４２の処理は、ＣＰＵ２２５がメモリ２２６に格納されたプログラムを実行することによって実現される。

なお、図２には通話録音可視化システム１を構成する通話録音装置２、通話検索装置３およびそれに接続される通話録音可視化端末装置４がそれぞれ独立した計算機によって構成される例を示したが、これらのうち任意の二つ又は三つ全てが一つの計算機によって構成されてもよい。例えば、メモリ２０６にさらに通話録音取得部３１〜結果送信部３９の処理を行うプログラムを格納し、ＨＤＤ２０７にさらに通話検索ＤＢ３５を格納することで、通話録音装置２および通話検索装置３の機能を有する計算機（すなわち通話録音可視化システム１の全ての機能を有する計算機）が実現される。この計算機に、さらに、ディスプレイ２３０等を追加し、メモリ２０６にクエリ送信部４１および結果表示部４２の処理を行うプログラムを追加することによって、通話録音可視化端末装置４の機能をさらに有する計算機が実現される。また、メモリ２０６〜メモリ２２６、ＨＤＤ２０７およびＨＤＤ２１７は、いずれもそれぞれの用途に適した任意の種類の記憶装置によって置き換えることができる。

次に、上記のように構成される、本実施例による通話録音可視化システム１の動作を説明する。

本システムの動作は、通話検索ＤＢ作成動作と、通話ＤＢ検索動作とに分けられる。

まず、図３〜図５を参照して、通話検索ＤＢ作成動作を説明する。

図３は、実施例１の通話録音可視化システム１による通話検索ＤＢ作成動作を示すフローチャートである。また、図４は、実施例１の通話録音可視化システム１が保持する通話録音ＤＢ２３の例を説明する図である。

通話録音ＤＢ２３は、通話録音部２１および送受信種別取得部２２によって追加および更新されるレコードを含むデータベースであり、公知のリレーショナルデータベースを用いて構築できる。通話録音ＤＢ２３のレコードは、録音ＩＤ４０１、案件ＩＤ４０２、オペレータＩＤ４０３、電話番号４０４、録音時刻４０５、送信音声４０６、および受信音声４０７からなる。

録音ＩＤ４０１は、一つの通話に関する音声の録音を一意に識別する。案件ＩＤ４０２は、それぞれの通話に関する案件を識別する。一つの案件に関する複数の通話が行われた場合は、それらの通話の録音について同一の案件ＩＤ４０２が与えられる。

オペレータＩＤ４０３は、それぞれの通話を行ったオペレータ５１を識別する。このオペレータ５１は、例えば、顧客６１からの電話を最初に受けて応対する受付担当者であってもよいし、それぞれの案件に関する専門的な知識を有する専門担当者であってもよい。なお、一般に、専門担当者はコールセンタ５の外にいる場合もあるが、本実施例ではそのような場合も含めて、顧客６１と通話する者をオペレータ５１と記載する。

オペレータＩＤ４０３は、例えばそれぞれのオペレータ５１が通話に使用したオペレータ電話５２の番号であってもよいし、後述するようにオペレータ５１自身によって入力されてもよい。ただし、実際には一人のオペレータ５１が複数のオペレータ電話５２を使い分けたり、複数のオペレータが一つのオペレータ電話５２を共用したりする場合があるため、ある通話録音に含まれる音声を実際に発声した話者が、その通話録音に関するオペレータＩＤ４０３によって識別されるオペレータ５１であるとは限らない。

電話番号４０４は、それぞれの通話においてオペレータ５１が通話した相手先の電話番号である。すなわち、電話番号４０４は、オペレータ５１が顧客６１と通話した場合には顧客電話６２の番号、オペレータ５１が別のオペレータ５１と通話した場合（例えば受付担当者が専門担当者と通話した場合、又は専門担当者が別の専門担当者と通話した場合）にはその通話相手のオペレータ電話５２の番号である。

録音時刻４０５は、通話録音が行われた時刻である。

送信音声４０６および受信音声４０７には、通話を録音することによって作成された音声データを含む実際の音声ファイルの保存場所を示すファイルパスが保存される。送信音声４０６によって特定される音声ファイルには、送信音声、すなわち、オペレータによって発声された音声のデータが含まれる。受信音声４０７によって特定される音声ファイルには、受信音声、すなわち、オペレータ５１の通話相手によって発声された音声のデータが含まれる。

通話録音ＤＢ２３は、オペレータのＩＰ電話機２０３の操作に従って、案件ＩＤ４０２およびオペレータＩＤ４０３を決定・修正することができるように構成される。

まず、通話録音取得部３１は、通話録音装置２に新規の通話録音が存在するか問い合わせる（ステップＳ３０１）。このとき、通話録音ＤＢ管理部２４は、新規の通話録音が存在するかの問い合わせを受け付け、所定の時刻よりあとに録音された通話録音があれば、その録音ＩＤを通話録音取得部３１に返す。通話録音がない場合は、通話録音取得部３１は所定の時間待機する（ステップＳ３０２）。

通話録音が存在する場合、通話録音取得部３１は、通話録音装置２から新規の録音ＩＤ４０１に対応する通話録音の送信音声４０６および受信音声４０７のそれぞれによって特定される音声ファイルを取得する（ステップＳ３０３）。

次に、音声区間検出部３３は、取得した音声ファイルに含まれる送信音声および受信音声における音声区間を検出する（ステップＳ３０４）。音声区間を検出する方法は公知の技術により実現できる。例えば、音声パワーの閾値に基づく方法、または、音響特徴量のパタン識別に基づく方法などがある。通話音声中には、人間の発声のほか、無音区間、保留音などがあるが、音声区間検出によって、人間の発声部分のみを取り出す。音声区間検出部３３は、送信音声と受信音声それぞれから検出した音声区間の開始時刻と終了時刻から、音声開始時刻系列５０４および音声終了時刻系列５０５を構成し、通話検索テーブル５００に追加する。ここで、通話検索ＤＢ３５に含まれる通話検索テーブル５００について説明する。

図５は、実施例１の通話録音可視化システム１が保持する通話検索ＤＢ３５の例を説明する図である。

通話検索ＤＢ３５は、通話検索テーブル５００を含む。通話検索テーブル５００の各レコードは、各録音に含まれる送信音声または受信音声の一方に対応し、それぞれ、録音ＩＤ５０１、案件ＩＤ５０２、種別５０３、音声開始時刻系列５０４、音声終了時刻系列５０５および個人性特徴ファイル５０６を含む。

録音ＩＤ５０１および案件ＩＤ５０２は、それぞれ通話録音ＤＢ２３の録音ＩＤ４０１および案件ＩＤ４０２に対応する識別情報である。

種別５０３は、各レコードが送信音声または受信音声のいずれに対応するかを示す。音声開始時刻系列５０４および音声終了時刻系列５０５は、ステップＳ３０４において検出された音声区間を示す。個人性特徴ファイル５０６は、後述する手順で抽出される個人性特徴の情報を含むファイルを示す。

例えば、図５に例示する通話検索テーブル５００の先頭のレコードは、案件ＩＤ「Ａ００１」および録音ＩＤ「１２３４」によって識別される通話録音に含まれる送信音声から、２．１１秒から４．５０秒まで、９．１０秒から１４．９秒まで、および、１６．１秒から２０．０秒までの三つの区間が音声区間として検出され、それらの音声区間から抽出された個人性の情報の保存場所のファイルパスが１２３４＿ｓｅｎｄ．ｍｏｄｅｌであることを示している。

次に、個人性抽出部３４は、送信音声と受信音声における個人性を抽出する（ステップＳ３０５）。音声から個人性を抽出する方法としては、例えば混合ガウスモデルに基づく方法がある。この方法では、まず、通話検索テーブル５００を参照して、音声区間を取得し、音声区間のみの音響特徴量を抽出する。音響特徴量としては、メル周波数ケプストラム係数を用いる。抽出した音響特徴量が混合ガウス分布からの標本であると仮定し、期待値最大化法を用いて混合ガウス分布を学習する。個人性抽出部３４は、こうして学習された混合ガウス分布を個人性特徴ファイルとして通話検索テーブル５００に追加する。図５の個人性特徴ファイル５０６には、ステップＳ３０５で追加された実際の個人性特徴ファイルの保存場所を示すファイルパスが保存される。

ここで、個人性抽出部３４は、全ての音声区間を用いて個人性を抽出するのではなく、一部の音声区間のみから抽出するように構成することもできる。送信音声と受信音声には、おおむねそれぞれ１人の話者によって発声された音声が含まれると想定されるが、実際には、送信音声と受信音声のいずれかまたは両方に、話者の交代または機械音声による保留などに起因する、主たる話者以外の発声による音声区間が含まれる可能性がある。このような区間は、個人性抽出において誤りを生じる可能性があるため、あらかじめ音声区間から取り除いておくことが望ましい。例えば、混合ガウス分布を学習する前に、それぞれの音声区間を音響特徴量に基づいてクラスタリングし、最も出現頻度の高いクラスタに所属する区間のみを用いて混合ガウス分布を学習することで、主たる話者（言い換えると、当該送信音声又は受信音声において最も長時間発声した話者）のみの音声区間に基づいて個人性が抽出される。

また、個人性抽出部３４では、送信音声と受信音声の構成によっては、通話者の分離を行って２人の話者の音声区間を同定し、それぞれの区間の個人性を抽出するように構成することもできる。例えば、受信音声が全て無音、あるいは存在しない場合が考えられる。ここでは、通話録音装置に接続される電話機等の構成によって、送信音声と受信音声が分離できないまま録音されるケース、言い換えると、ステップＳ３０４によって音声区間が検出された時点で、それぞれの音声区間が送信音声または受信音声のいずれを含んでいるかが特定されていないケースを想定している。

例えば、一般に、図２に示すようなＩＰ電話に本発明を適用する場合には、送信音声と受信音声が分離して取得されるが、従来の電話交換機を用いたアナログの電話網に本発明を適用する場合には、送信音声と受信音声を分離できず、それらが混在する一つの音声ファイルが取得される。ここでは、例として、例えば送信音声ファイルに送信音声と受信音声の両方が含まれ、受信音声ファイルに音声が含まれないかまたは受信音声ファイル自体が存在しない場合を例として説明する。

このようなときは、個人性抽出部３４は、送信音声ファイルに含まれる音声区間を、音響特徴量に基づくクラスタリングによって２つのクラスタに分割し、それぞれのクラスタに所属する区間を用いて混合ガウス分布を学習することで、送信音声のみから通話を行った２人の話者の音声に関する２つの個人性特徴を抽出することができる。なお、本実施例では送信音声の話者と受信音声の話者の組を特定できれば十分であり、それぞれの話者が送信音声または受信音声のいずれの話者であるかを特定する必要はない。

上記のように、送信音声ファイルに送信音声と受信音声の両方が含まれる場合において、さらに、送信音声と受信音声の少なくとも一方に、話者の交代または機械音声による保留などに起因する、主たる話者以外の発声による音声区間が含まれる可能性がある。この場合、個人性抽出部３４は、送信音声ファイルに含まれる音声区間を、音響特徴量に基づくクラスタリングによって３つ以上のクラスタに分割し、出現頻度の高さの順に、上位２つのクラスタに所属する区間を用いて混合ガウス分布を学習してもよい。これによって、送信音声と受信音声が分離されていない場合であって、かつ、３人以上の話者の音声が通話録音に含まれる場合であっても、通話を行った主たる２人の話者の個人性特徴を抽出することができる。

なお、上記の音声区間のクラスタリングは、例えば、音声区間を十分に短い所定の時間の区間に分割し、それぞれの区間の音響特徴量をクラスタリングすることによって実行されてもよい。上記の区間の総数に対する、それぞれのクラスタに所属すると推定される区間の数の割合が、それぞれのクラスタの出現頻度に相当する。クラスタリングの具体的な方法としては、任意の公知の方法を用いることができる。

以上の通話検索ＤＢ作成動作によって、通話録音に含まれる２人の話者によって発声された音声のそれぞれに対応する個人性特徴が付与される。

次に、図６〜図８を参照して、通話可視化動作を説明する。

図６は、実施例１の通話録音可視化システム１による通話可視化動作を示すフローチャートである。また、図７は、実施例１のディスプレイ２３０に表示される検索画面７０１の例を示す説明図である。

まず、クエリ送信部４１は、利用者（例えば、スーパーバイザ４３）が入力したクエリを送信する（ステップＳ６０１）。ここでクエリ送信部４１は、利用者にクエリの入力を促すために、図７のような検索画面７０１をディスプレイ２３０に表示する。利用者は、ディスプレイ２３０上に表示されるクエリ入力ボックス７０２をマウス２３１で選択し、キーボード２２９を用いてクエリを入力する。最後に検索実行ボタン７０３をマウス２３１でクリックすると、クエリ送信部４１が通話検索装置３に対してクエリを送信する。ここでは、一例として、録音ＩＤが１２３４である通話を指定するクエリを入力した場合について説明する。

次に、クエリ受付部３６は、クエリを受信する（ステップＳ６０２）。

次に、通話録音検索部３７は、受け付けたクエリの録音ＩＤの１２３４に対応する通話録音を通話検索ＤＢ３５から検索する（ステップＳ６０３）。

次に、話者組特定部３８は、指定された通話録音の話者組と同一の話者組である通話録音を特定する（ステップＳ６０４）。

ここで、話者組特定部３８は、録音ＩＤが１２３４である通話録音に対し、案件ＩＤが同一でかつ別の録音ＩＤを持つ通話録音を比較対象とする。例えば、ここでは通話検索テーブル５００中の、録音ＩＤが２３４５の通話録音と録音ＩＤが３４５６の通話録音を対象とする。

ここで、比較をするために、話者組特定部３８は、個人性特徴ファイルを取得する。個人性特徴ファイルは混合ガウス分布を保存したものであるため、モデル間の比較は、例えば、カルバックライブラー距離などを用いて行う。例えば、指定された通話録音の送信音声の個人性特徴をx_send.model、比較対象の通話録音の送信音声の個人性特徴をy_send.model、それらの間で算出した個人性特徴間の距離をD_send(x,y)と記載し、同様に、指定された通話録音の受信音声の個人性特徴をx_recv.model、比較対象の通話録音の受信音声の個人性特徴をy_recv.model、それらの間で算出した個人性特徴間の距離をD_recv(x,y)と記載する場合、話者組の同一性は、あらかじめ設定した閾値Ｔを用いて次の式（１）の条件で判定することができる。すなわち、式（１）の条件が満たされる場合、指定された通話録音に含まれる音声の話者の組と、比較対象の通話録音に含まれる音声の話者の組とが同一であると判定される。

D_send(x,y) + D_recv(x,y) < T ・・・（１）

なお、既に説明したように一つの通話録音に含まれるそれぞれの音声区間の音声が送信音声であるか受信音声であるか特定できない場合には、それらの一方が送信音声であると仮定した場合とそれが受信音声であると仮定した場合について式（１）の条件を判定し、いずれかの場合に条件が満たされれば話者の組が同一であると判定することができる。

次に、結果送信部３９は、話者組特定部の判定結果を通話録音可視化端末装置４に送信する（ステップＳ６０５）。判定結果は、例えば（2345, false）(3456, true)のように録音ＩＤと判定結果（false：同一でない、true：同一である）の組を符号化したものである。

次に、結果表示部４２は、受信した判定結果に基づいて、結果をディスプレイ２３０に表示する（ステップＳ６０６）。

図８は、実施例１のディスプレイ２３０に表示される結果表示画面８０１の例を示す説明図である。

結果表示部４２は、通話録音ＤＢ２３への問い合わせによって、案件ＩＤ４０２、オペレータＩＤ４０３、電話番号４０４および録音時刻４０５を検索した結果８０３を同時に結果表示画面８０１に表示する。また、結果表示部４２は、音声ファイルを取得し、音声再生を制御するためのプレイヤー８０２を表示する。さらに、結果表示部４２は、取得した音声ファイルを音声認識し、その結果８０４（例えばテキスト情報）を表示する。続いて、結果表示部４２は、関連通話リスト８０５として、通話録音ＤＢの別の録音ＩＤに関する情報も表示する。

例えば、図８に示すように、結果表示部４２は、指定された録音ＩＤの通話録音と同一の案件ＩＤが与えられた通話録音の録音ＩＤのリストを関連通話リスト８０５として表示し、さらに、話者組特定結果に基づいて、指定された録音ＩＤの通話録音と同一の話者組の音声を含むと判定された通話録音の録音ＩＤを、その前にチェックマークを表示することで、強調表示する。利用者がいずれかの録音ＩＤをクリックすることによって、その録音ＩＤをクエリとして通話を可視化することができる。

例えば、利用者が録音ＩＤ「３４５６」をクリックすると、クエリ送信部４１がその録音ＩＤをクエリとして通話録音可視化システム１に送信し、通話録音可視化システム１が録音ＩＤ「３４５６」の通話録音の音声認識結果を通話録音可視化端末装置４に送信し、結果表示部４２が受信した音声認識結果（例えばテキスト情報）を結果表示画面８０１に表示してもよい。

なお、上記のチェックマークの表示は、強調表示の方法の一例であり、複数の通話録音のうち、指定された通話録音と同一の話者組の音声を含む通話録音を、それ以外の通話録音と区別可能に表示する方法である限り、どのような方法が使用されてもよい。例えば、チェックマーク以外の付加的な表示によって区別されてもよいし、表示される文字の形状、大きさ、色彩、または文字の背景の色彩等によって区別されてもよい。

こうして、利用者は、話者組判定結果を利用して、同じ分類の通話を簡単に発見し、その通話の内容を可視化することによって、通話内容の確認を効率的に行うことが可能となる。例えば、録音ＩＤ「１２３４」の通話録音の内容を確認する場合に、さらにそれと同一の話者組による他の通話録音の内容も確認する必要が生じる場合があるが、本実施例によれば同一の話者組による他の通話録音が区別可能に表示されるため、利用者はそれらを容易に選択して内容を確認することができる。

次に、本発明による話者組が属する属性を特定する話者組属性特定部を有する通話録音可視化システムの例を説明する。以下に説明する相違点を除き、実施例２の通話録音可視化システムの各部は、図１〜図８に示された実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。

図９は、実施例２の通話録音可視化システムおよびその周辺のシステムからなるシステム全体の構成を示す機能ブロック図である。

図９に示す通話録音可視化システム１は、実施例１の構成に加え、話者組属性特定部９０１を有する。話者組属性特定部９０１は、話者組特定部３８による特定結果と通話検索ＤＢ３５とを用いて、話者組の属性を特定する。

実施例２の通話録音可視化システム１のハードウェア構成は、メモリ２１６に話者組属性特定部９０１の処理を行うプログラムが格納される点を除いて、実施例１（図２）と同様であるので、説明を省略する。

次に、上記のように構成される、本実施例による通話録音可視化システム１の動作を説明する。ここで、通話検索ＤＢ作成動作は、実施例１（図３〜図５）と同一であるので説明を省略する。

図１０は、実施例２の通話録音可視化システム１による通話可視化動作を示すフローチャートである。

話者組特定部３８が話者組を特定するまでの処理、すなわちステップＳ６０１からステップＳ６０４までは実施例１と同一であるので説明を省略する。

話者組を特定したのち、話者組属性特定部９０１は、話者組の属性を付与する（ステップＳ１００５）。話者組の属性は、話者組が同一である複数の通話に共通に付与できる属性であり、話者組属性特定部９０１は、通話録音ＤＢ２３および通話検索ＤＢ３５に保存されている情報から取得した属性を付与する。

図１０の例では、指定された通話の電話番号４０４と、その通話と同一の話者組による通話であると判定された通話の電話番号４０４との組から、それらの通話が外線通話であるか内線通話であるかを判定する。それらの通話の話者組が同一であれば、それらが外線通話であるか内線通話であるかが決定できる。ここでは、録音ＩＤ「１２３４」と録音ＩＤ「３４５６」に対応する電話番号４０４がともに０から開始していることから、これらの録音ＩＤの通話はいずれも外線通話であると判定される。また、この例ではオペレータＩＤ４０３も同一であるため、オペレータＩＤ４０３の情報（この例では「ＡＡＡ」）も付与できる。一方、録音ＩＤ「２３４５」に対応する電話番号４０４が４桁の内線番号であることから、録音ＩＤ「２３４５」の通話が内線通話であると判定される。

なお、上記のように、通話録音ＤＢ２３は、それぞれの通話録音の属性に関する情報を含み、話者組属性特定部９０１は、その情報に基づいて、話者組の属性を特定することができる。例えば、オペレータＩＤ４０３および電話番号４０４は通話録音の属性に関する情報として扱うことができ、話者組属性特定部９０１は、これらに基づいて、それぞれの話者組による通話が外線通話または内線通話のいずれであるかを特定することができる。

さらに、通話録音可視化システム１は、通話録音ＤＢ２３の一部として、またはそれとは別の情報として、より詳細な属性に関する情報をＨＤＤ２０７等に保持してもよい。例えば、電話番号４０４の値と、それが外線番号または内線番号のいずれであるかを示す情報をと対応付ける情報が保持されてもよいし、電話番号４０４が内線番号である場合に、その内線番号をそれが属する部署と対応付ける情報が保持されてもよい。前者の場合、話者組属性特定部９０１は、保持された情報に基づいて、それぞれの話者組による通話が外線通話または内線通話のいずれであるかを、話者組属性として特定することができる。後者の場合、話者組属性特定部９０１は、保持された情報に基づいて、それぞれの話者組の少なくとも一方の話者の所属を、話者組属性として特定することができる。

次に、結果送信部３９は、話者組特定部３８による判定結果に話者組属性特定部９０１によって特定された属性を加えて通話録音可視化端末装置４に送信する（ステップＳ６０５）。送信される判定結果は、例えば（2345, false, 外線；オペレータＡＡＡ）(3, true，内線)といったように録音ＩＤと判定結果と話者組の属性を符号化したものである。

次に、結果表示部４２は、受信した判定結果に基づいて、結果をディスプレイ２３０に表示する（ステップＳ６０６）。

図１１は、実施例２のディスプレイ２３０に表示される結果表示画面１１０１の例を示す説明図である。

結果表示部４２は、結果表示画面１１０１内に、関連通話リスト１１０２として、通話録音ＤＢ２３に格納された別の録音ＩＤに関する情報も表示する。ここで、結果表示部４２は、話者組判定結果に基づいて、同一の話者組と判定された録音ＩＤ同士を同一の色または形で表示するなどして、確認対象の分類を強調する。また、結果表示部４２は、指定された録音ＩＤと同一の話者組と判定された録音ＩＤの前に丸印を表示してさらに強調する。実施例１の場合と同様に、利用者がいずれかの録音ＩＤをクリックすることによって、その録音ＩＤをクエリとして通話を可視化することができる。さらに、結果表示部４２は、話者組属性判定結果に基づいて、関連通話の話者組属性を表示する。

図１１の例において、関連通話リスト１１０２に表示されている録音ＩＤ「１２３４」、「２３４５」および「３４５６」は、いずれも、同一の案件ＩＤが与えられた通話録音の録音ＩＤである。これらのうち、録音ＩＤ「１２３４」は、利用者によって指定された通話録音のＩＤであり、録音ＩＤ「３４５６」は、指定された通話録音について特定された話者組と同一の話者組による音声を含む通話録音のＩＤである。このため、録音ＩＤ「１２３４」および「３４５６」は、それらの左側の丸印によって強調表示される。さらに、これらの話者組に共通する属性として、通話録音ＤＢ２３から抽出された「外線、オペレータＡＡＡ」が、それぞれの録音ＩＤに関連付けて表示される。

一方、録音ＩＤ「２３４５」によって識別される通話録音は、指定された通話録音と同一の案件ＩＤが与えられているという点では、指定された通話録音と関連しているが、その話者の少なくとも一人が指定された通話録音の話者と異なるという点で、指定された通話録音との関連性が低い。この場合、録音ＩＤ「２３４５」は強調表示されないが、録音ＩＤ「２３４５」の通話録音の話者組の属性として、通話録音ＤＢ２３から抽出された「内線」が、録音ＩＤ「２３４５」に関連付けて表示される。

さらに、図１１の例では、関連通話リスト１１０２が各録音ＩＤに関連する属性に応じて分類して表示される。図１１では録音ＩＤ「２３４５」およびそれに関連する属性が斜体字によって表示されているが、実際には、例えばそれらの文字色または背景色を属性に応じて決定するなど、任意の方法で分類表示することができる。

図１１の関連通話リスト１１０２には、指定された通話録音と同一の案件ＩＤが与えられているが話者組が異なる通話録音のＩＤとして「２３４５」一つのみを表示しているが、そのような通話録音が複数個存在する場合には、それらの録音ＩＤが関連通話リスト１１０２に含めて表示される。それらの通話録音についても、同様に、例えば「内線」または「外線」のような属性が特定され、通話録音のＩＤがそれぞれの属性に応じて文字色等によって分類表示される。

上記のように、話者組判定結果に加えて話者組属性判定結果を利用して、指定された通話に関連する通話の分類が可視化されることで、利用者は、確認すべき通話録音を効率的に選択可能となる。例えば、指定された通話録音と同一の案件ＩＤが与えられた通話録音であって、指定された通話録音とは異なる話者組による通話録音のうち、内線通話の録音は確認する必要がないが、外線通話の録音は確認したい、という場合、利用者は、強調表示されていない録音ＩＤのうち、話者組属性として「内線」が与えられたものを、関連通話リスト１１０２を参照して容易に選択して、その内容を確認することができる。

なお、上述した実施例では、各サーバのＣＰＵ上で実行されるプログラムにより、音声検索システムの各種機能を実現しているが、それらの一部又は全部が、例えば集積回路等の電子部品を用いたハードウェアにより実現されてもよい。

本発明は上述した実施形態に限定されるものではなく、様々な変形例が含まれる。本実施例では、コールセンタにおける通話録音装置と連携した問題発話検索システムを想定したが、例えば、多拠点ビデオ会議における拠点間の通話録音に基づく議事録検索システム、または、放送録画における番組検索システムなど、様々なシステムに適用することが出来る。

また、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

上記の各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。

また、図面には、実施形態を説明するために必要と考えられる制御線及び情報線を示しており、必ずしも、本発明が適用された実際の製品に含まれる全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

１ 通話録音可視化システム
２ 通話録音装置
３ 通話検索装置
４ 通話可視化端末装置
５ コールセンタ

Claims (12)

1. 複数の通話録音データを保持する記憶部と、
   前記複数の通話録音データから、前記通話録音データに含まれる音声の個人性に関する音響特徴量を抽出する個人性抽出部と、
   前記抽出された音響特徴量に基づいて、指定された通話録音データに含まれる音声の話者の組と同一の組によって発声された音声を含む一つ以上の通話録音データを特定する話者組特定部と、
   前記特定された一つ以上の通話録音データを識別する情報を出力する出力部と、を有することを特徴とする通話録音可視化システム。
2. 請求項１に記載の通話録音可視化システムであって、
   前記出力部は、前記複数の通話録音データを識別する情報を表示し、前記特定された一つ以上の通話録音データを識別する情報を区別可能に表示することを特徴とする通話録音可視化システム。
3. 請求項１に記載の通話録音可視化システムであって、
   前記各通話録音データに含まれる音声の話者の組の属性を特定する属性特定部をさらに有し、
   前記出力部は、前記複数の通話録音データを識別する情報を、前記特定された属性に基づいて分類して表示することを特徴とする通話録音可視化システム。
4. 請求項３に記載の通話録音可視化システムであって、
   前記記憶部は、前記各通話録音データに対応する属性情報を保持し、
   前記属性特定部は、前記属性情報に基づいて、前記各通話録音データに含まれる音声の話者の組の属性を特定することを特徴とする通話録音可視化システム。
5. 請求項１に記載の通話録音可視化システムであって、
   前記各通話録音データは、一つの通話に関する送信側録音データおよび受信側録音データを含み、
   前記個人性抽出部は、前記各通話録音データに含まれる前記送信側録音データおよび前記受信側録音データの各々に含まれる音声の音響特徴量に基づいて、前記送信側録音データおよび前記受信側録音データの少なくとも一方に含まれる、複数の話者によって発声された音声のうち、発声時間が最も長い話者の音声の個人性に関する音響特徴量を抽出することを特徴とする通話録音可視化システム。
6. 請求項１に記載の通話録音可視化システムであって、
   前記各通話録音データは、一つの通話における複数の話者の音声の録音データを含み、
   前記個人性抽出部は、前記各通話録音データに含まれる音声の音響特徴量に基づいて、第１の話者の音声の区間と、第２の話者の音声の区間と、を特定し、前記特定されたそれぞれの音声の区間の音響特徴量を抽出することを特徴とする通話録音可視化システム。
7. プロセッサと、前記プロセッサに接続される記憶装置と、を有する通話録音可視化システムが実行する通話録音可視化方法であって、
   前記記憶装置は、複数の通話録音データを保持し、
   前記通話録音可視化方法は、
   前記複数の通話録音データから、前記通話録音データに含まれる音声の個人性に関する音響特徴量を抽出する個人性抽出手順と、
   前記抽出された音響特徴量に基づいて、指定された通話録音データに含まれる音声の話者の組と同一の組によって発声された音声を含む一つ以上の通話録音データを特定する話者組特定手順と、
   前記特定された一つ以上の通話録音データを識別する情報を出力する出力手順と、を含むことを特徴とする通話録音可視化方法。
8. 請求項７に記載の通話録音可視化方法であって、
   前記出力手順は、前記複数の通話録音データを識別する情報を表示し、前記特定された一つ以上の通話録音データを識別する情報を区別可能に表示する手順を含むことを特徴とする通話録音可視化方法。
9. 請求項７に記載の通話録音可視化方法であって、
   前記各通話録音データに含まれる音声の話者の組の属性を特定する属性特定手順をさらに有し、
   前記出力手順は、前記複数の通話録音データを識別する情報を、前記特定された属性に基づいて分類して表示する手順を含むことを特徴とする通話録音可視化方法。
10. 請求項９に記載の通話録音可視化方法であって、
    前記記憶装置は、前記各通話録音データに対応する属性情報を保持し、
    前記属性特定手順は、前記属性情報に基づいて、前記各通話録音データに含まれる音声の話者の組の属性を特定する手順を含むことを特徴とする通話録音可視化方法。
11. 請求項７に記載の通話録音可視化方法であって、
    前記各通話録音データは、一つの通話に関する送信側録音データおよび受信側録音データを含み、
    前記個人性抽出手順は、前記各通話録音データに含まれる前記送信側録音データおよび前記受信側録音データの各々に含まれる音声の音響特徴量に基づいて、前記送信側録音データおよび前記受信側録音データの少なくとも一方に含まれる、複数の話者によって発声された音声のうち、発声時間が最も長い話者の音声の個人性に関する音響特徴量を抽出する手順を含むことを特徴とする通話録音可視化方法。
12. 請求項７に記載の通話録音可視化方法であって、
    前記各通話録音データは、一つの通話における複数の話者の音声の録音データを含み、
    前記個人性抽出手順は、前記各通話録音データに含まれる音声の音響特徴量に基づいて、第１の話者の音声の区間と、第２の話者の音声の区間と、を特定し、前記特定されたそれぞれの音声の区間の音響特徴量を抽出する手順を含むことを特徴とする通話録音可視化方法。

Images