JP2003316374A - 音声データへの注釈付与方法と音声注釈システム - Google Patents

Abstract

(57)【要約】 【構成】 電話音声データをＡＤ変換し圧縮し、注釈デ
ータと共に、ハードディスクなどに保存する。注釈デー
タには、通話日時、通話時間、発信番号などの通話レコ
ードと、受信側の特定話者の音声データを音声認識した
特定話者データと、発信元の不特定の話者の音声データ
を音声認識した不特定話者データ、並びに特定話者が通
話と同時にキーボード入力したキーボードデータとを含
める。不特定話者の会話に対して特定話者が復唱して、
音声認識を容易にする。 【効果】 大量の電話音声データを低コストに保存で
き、しかも特定話者の音声データを音声認識した注釈デ
ータやキーボード入力した注釈データで、音声ファイル
を検索できるので、検索やデータマイニングが容易にな
る。

Description

【発明の詳細な説明】

【０００１】

【発明の利用分野】この発明は、電話音声に注釈を付し
て記憶するためのシステムに関する。

【０００２】

【従来技術】発明者は、コールセンター業務などの効率
化のために、電話音声データ（以下「音声データ」）を
保存することを検討した。このためには当然、音声デー
タへの注釈が必要である。しかし日本語音声への音声認
識の現状は低レベルで、そのままでは保存した音声デー
タを再利用するのが難しい。また音声データに注釈を付
与して保存するシステムを構築するには、オペレータや
ユーザになるべく注釈システムの存在を意識させないよ
うにする必要がある。用いるハードウェアもなるべく既
存の電話設備をそのまま用い、録音機能の付加のため
に、電話機や交換機を更新しないことが好ましい。

【０００３】

【発明の課題】この発明の課題は、日本語音声に対して
も、信頼性のある注釈データを自動的に付与して、音声
データを保存・検索できるようにすることにある（請求
項１〜９）。請求項２，６の発明での追加の課題は、汎
用の電話機を用いて音声データの録音ができるようにす
ることにある。請求項３，８，９の発明での追加の課題
は、音声データの検索をより容易にすることにある。請
求項４、７の発明での追加の課題は、コールセンター業
務で、容易に注釈データを付与できるようにすることに
ある。

【０００４】

【発明の構成】この発明の音声データへの注釈付与方法
は、電話音声データを圧縮し、注釈データを付与して保
存する方法において、通話レコード自体と、マイクロホ
ンからの特定話者の音声データを音声認識したデータと
を、注釈データとして付与して、圧縮した特定話者並び
に通話先の不特定話者双方の音声データと共に保存する
ことを特徴とする（請求項１）。

【０００５】好ましくは、前記音声データを電話機のコ
ードからピックアップする（請求項２）。

【０００６】また好ましくは、特定話者の音声データと
不特定話者の音声データとに共に音声認識を施して注釈
データを得るようにする（請求項３）。

【０００７】好ましくは、コールセンターでの電話音声
データを圧縮し、注釈データを付与して保存するように
すると共に、オペレータがコールセンター業務でキーボ
ードに入力したキーボードデータを、注釈データの一部
として付与する（請求項４）。この発明において、コー
ルセンターはコンピュータテレフォニーインテグレーシ
ョンを用いたものに限らず、電話を用いて外部と会話し
ながら、パーソナルコンピュータなどのコンピュータの
端末からデータを入力する場所や業務を意味する。なお
実施例では、物品やサービスの予約や販売、提供などの
業務を、電話と端末とを用いて行う場所や業務をコール
センターと呼んで、狭義の意味で用いることがある。

【０００８】この発明の音声注釈システムは、電話音声
データを圧縮し、注釈データを付与して保存するための
システムにおいて、通話レコード自体を注釈データの一
部として付与するための手段と、マイクロホンからの特
定話者の音声データを音声認識して、注釈データの一部
として付与するための手段とを設けて、圧縮した特定話
者並びに通話先の不特定話者双方の音声データと共に保
存するようにしたことを特徴とする（請求項５）。

【０００９】好ましくは、音声データを電話機のコード
からピックアップする（請求項６）。

【００１０】また好ましくは、キーボードを設けて、特
定話者がキーボード入力したテキストデータを、注釈デ
ータの一部として付与するための手段を設ける（請求項
７）。

【００１１】好ましくは、音声注釈システムを接続した
側のスピーカからの不特定話者の音声データを音声認識
して、注釈データの一部として付与するための手段を設
ける（請求項８）。特に好ましくは、不特定話者の音声
データを音声認識した注釈データを検索するために、求
めるキーワードを類似音に展開して検索するためのホモ
ロジー検索手段を設ける（請求項９）。

【００１２】

【発明の作用と効果】この発明では、電話音声を圧縮し
て保存すると共に、通話先の電話番号や通話日時と通話
時間などの通話レコードを自動的に注釈データに含め、
かつ音声認識が容易な特定話者の音声データを音声認識
して注釈データに含めるので、自動的に注釈データ付き
の音声ファイルを作成して保存できる。音声ファイルは
電話音声から圧縮されているのでデータ量が少なく保存
が容易で、通話レコードや特定話者への音声認識結果な
どの信頼性のある注釈データから、容易に音声ファイル
を検索できる（請求項１，５）。

【００１３】請求項２，６の発明では音声データを電話
機のコードからピックアップするので、専用の電話機を
用いる必要がない。

【００１４】請求項４，７の発明では、コールセンター
業務で、オペレータが会話中にキーボードでデータを入
力することを利用して注釈データを作成するので、簡単
に主要な事項への注釈データを作成できる。

【００１５】請求項３，８の発明では、不特定話者の音
声データも音声認識するので、注釈データの幅が広が
り、特に請求項９の発明では、認識率の低い不特定話者
の音声認識データをホモロジー検索するので、認識率が
低くても有効に検索できる場合が増す。

【００１６】

【実施例】図１〜図５に実施例を示す。これらの図にお
いて、２は電話網で、公衆電話回線網（ＰＳＴＮ）やイ
ンターネットあるいは専用線などでもよい。なおこの明
細書において、電話はインターネット電話を含むものと
する。４はＰＢＸなどの交換機で、ＩＰ（インターネッ
トプロトコール）電話サーバやターミナルアダプタなど
でも良く、６は電話機である。電話機６は、パーソナル
コンピュータに設けたマイクロホンとスピーカなどのイ
ンターネット電話手段を含んでいる。実施例は、コール
センターでのほぼ全ての電話での通話を圧縮して音声フ
ァイルとし、注釈データを付与して保存することを想定
している。７はヘッドホンとスピーカ付きのヘッドセッ
トで、オペレータ（特定話者）が装着するもので、８は
ヘッドセットと電話機６とを接続するコードである。ヘ
ッドセット７の場合、コード８は送話線と受話線とを分
離した４本線からなるが、ヘッドセット７に代えて通常
の送受話器を用いる場合、コード８では送話信号と受話
信号とが分離されていない。交換機４や電話機６は、音
声データの録音や保存に対応していない既存の設備でよ
く、また電話機６は家庭用の電話機でも良く、あるいは
ＰＨＳや携帯電話などの移動電話でも良い。

【００１７】１０は音声ファイル作成部で、１２はライ
ンピックアップでコード８に取り付けられて、コード８
の信号をピックアップする。ただしコード８の中間や端
部にラインピックアップ１２を接続したアダプタを設け
て、コード８を流れる信号をピックアップできるように
しても良い。コード８に直接取り付け、あるいはアダプ
タを介してラインピックアップ１２を接続することを、
コード８にラインピックアップ１２を取り付けるとい
う。

【００１８】ＡＤコンバータ１４は音声データをＡＤ変
換し、非音声データの発信元電話番号などのシーケンス
信号は、適宜のフォーマットのバイナリデータとして出
力する。連続録音部１６は、音声検出部１８で有音を検
出すると録音を開始し、無音を検出すると録音を中断す
る。録音媒体は、ＲＡＭやフラッシュＲＯＭなどを用い
る。２０は時計で、通話の開始時期と終了時期等のタイ
ムスタンプを行い、ウィンドウ切り出し部２２は、シー
ケンスデータと、連続録音部１６で有音の期間のみ録音
した音声データとを、１つのセッションデータとして切
り出す。圧縮部２４は、音声データを適宜の圧縮法で圧
縮する。圧縮した音声データにシーケンスデータとタイ
ムスタンプとを付加して、ファイル生成部２６で音声フ
ァイルを作成し、フラッシュＲＯＭなどの不揮発性メモ
リ２８に保存する。ヘッドセット７を用いる場合は、特
定話者（ヘッドセット７への話者で例えばコールセンタ
ーなどでのオペレータ）と、不特定話者（電話機６へ電
話をかけてきた人、あるいは電話機６から電話をかけた
先の人）とで、音声データを区別して保存する。通常の
送受話器を用いる場合は、特定話者の音声データと不特
定話者の音声データとを、音声データの特徴を用いて区
別して保存しても、区別せずに保存しても良い。

【００１９】３０はＵＳＢインターフェースで、他のイ
ンターフェースでも良く、３２はオペレータ（特定話
者）の業務用のパーソナルコンピュータで、３４は音声
ファイルの管理用のサーバで、ＬＡＮなどを介してパー
ソナルコンピュータ３２に接続され、音声ファイルなど
を保存するためのハードディスク等の補助記憶を備えて
いる。３６はオペレータ（特定話者）のキーボード、３
８はオペレータの表示部で、パーソナルコンピュータ３
２に接続されている。音声ファイル作成部１０は、パー
ソナルコンピュータ３２の電源がオフしている際にも録
音して音声ファイルを作成できるように、パーソナルコ
ンピュータ３２から独立した電源を持つことが好まし
い。移動電話の場合、音声ファイル作成部１０は電話機
と例えば一体にし、圧縮した音声ファイルを移動電話か
ら、注釈データ付与用の情報処理装置へ転送する。

【００２０】サーバ３４の構成を図２に示すと、キーボ
ード３６からはオペレータ（特定話者）入力のテキスト
データとして注釈データが送られ、ＵＳＢインターフェ
ース３０からは圧縮済みの音声ファイルが送られてく
る。サーバ３４は、音声認識部４０を備え、これは特定
話者の音声を認識する特定話者認識部４１と不特定話者
の音声を認識する不特定話者認識部４２とからなってい
る。音声認識結果は、テキストデータの形態のキーワー
ドとして注釈データの一部となる。注釈データは、通信
レコード、特定話者及び不特定話者双方の音声データを
音声認識したテキストデータ、及びキーボードからの入
力データである。注釈を付与した音声ファイルは、ハー
ドディスクなどを利用したデータベース３５に保存（記
憶）される。

【００２１】検索部４４は注釈データを検索して該当す
る音声ファイルを検索し、該当する音声ファイルを解凍
部４９で圧縮を解除し、パーソナルコンピュータ３２に
転送すると、そのスピーカなどから電話音声を再生でき
る。検索部４４はホモロジー処理部４６を備え、これは
音声認識率の低い不特定話者の音声データへの認識結果
（注釈データ）を検索するためのものである。ホモロジ
ー処理部４６は、検索したいキーワード（例えばここで
は飛行機の予約業務を行っているものとして「羽田」）
に対する類似音「カネダ」、「ハナタ」、「ハネタ」、
「ハネザ」などを、日本語の音間の類似度のテーブルな
どを用いて求める。このテーブルでは、日本語の各音に
対する類似音のリストを記憶し、キーワード、例えば
「ハネダ」が入力されると、構成音の「ハ」、「ネ」、
「ダ」の各音に付いて類似音を求めて、「カネダ」、
「ハネタ」などの類似音を出力する。このようにホモロ
ジー処理部４６は、検索したいキーワードを、発音の類
似性の点から、類似音のリストに展開する。そして不特
定話者の音声認識データを検索する場合に、キーワード
を類似音のリストに展開して検索すると、音声認識の精
度が低くても、ヒット率が著しく向上する。

【００２２】データマイニング部４８は、音声ファイル
への検索結果を利用して、データマイニングを行う。例
えば物品の販売やサービスの提供を行うコールセンター
の場合、キーワードＸＸが用いられた会話の件数と、Ｘ
Ｘに関して成約した件数とを比較すると、 ・ＸＸには顧客の関心があるが、価格その他が不適切で
成約率は低く、ＸＸへの顧客の引き合いは、別のサービ
スや物品ＹＹと競合している、 ・ＸＸは顧客の関心も低く成約件数も少ない、 などのことを抽出できる。またＺＺの全成約件数はＸＸ
の全成約件数よりも少ないが、ＸＸとＺＺとが共に用い
られた会話では、ＸＸよりもＺＺの成約件数が多い場
合、ＸＸの需要の一部がＺＺの需要に流れていると推定
できる。これらの結果、音声データから新たな付加価値
を得ることができる。

【００２３】図３に、音声ファイル５２と注釈ファイル
５４とからなる、ファイル群５０の構成を示す。音声フ
ァイル５２と注釈ファイル５４を合体して１つのファイ
ルとしても良く、あるいは注釈ファイル５４から音声フ
ァイル５２へリンクするようにしても良い。音声ファイ
ル５２では、特定話者の音声データと不特定話者の音声
データとを、データを採取したラインの違い、周波数帯
の違いなどにより、区別して記録することが好ましい。
また通話時のシーケンス情報やタイムスタンプは、通話
レコード５６として注釈ファイルに含めてある。インタ
ーネット電話の場合、発信元のＵＲＬなどを、電話番号
の代わりに記憶する。オペレータ（特定話者）音声認識
の結果得られた注釈データは、テキスト形式で発生時間
などの補助データを付加して、特定話者データ５８とし
て記憶する。不特定話者への音声認識データは、同様に
発生時間などの補助データを付加して、不特定話者デー
タ６０として記憶する。不特定話者データ６０は設けな
くても良い。

【００２４】図３では不特定話者への音声認識にほとん
ど失敗した例を示しているが、ホモロジー検索によりこ
のようなデータでも、意味のある検索ができることがあ
る。キーボードデータ６２は、オペレータが不特定話者
と会話しながらキーボードに入力したデータを注釈デー
タとしたもので、例えば飛行機の空席状況の問い合わ
せ、予約の入力などでキーボードを操作する毎に、入力
値（あるいは入力値＋予約サーバなどからの回答値）が
注釈データに加えられる。キーボードデータは、成約／
問い合わせなどの種別がキーボード操作から判明するの
で、このような種別データを加えて、データマイニング
しやすいようにしておくことが好ましい。

【００２５】以上のようにして注釈データを作成する
と、オペレータは注釈データを作成していることを意識
する必要が無く、会話の妨げとならない。オペレータの
音声は、業務上繰り返して音声認識され、また発声の訓
練を受けた音声で、会話内容もある範囲に限定されてい
るので、音声認識は容易である。業務用の電話音声外の
場合でも、特定話者、例えば家庭用電話機を用いる人の
音声は、家族の人数分程度しかなく、音声認識は容易で
ある。

【００２６】図４に復唱を利用した音声認識率の向上を
示す。コールセンター業務などの場合、重要な事項はオ
ペレータ（特定話者）が復唱して確認するものである。
家庭用や移動用の電話機での電話音声に注釈を付与して
保存する場合でも、特定話者が重要事項を復唱するよう
にする。特定話者の電話音声は音声認識が容易なので、
不特定話者側の発言を復唱を利用して注釈データに加え
ることができる。音声認識部４０は復唱した音声を認識
して注釈データとして付与する。検索時には、不特定話
者の音声に対する認識結果が信頼性が低くても、特定話
者が重要事項を復唱しているので容易にキーワード検索
でき、検索結果をデータマイニング部４８などで処理で
きる。

【００２７】図５はホモロジー検索を模式的に示し、例
えば先に特定話者データ（特定話者の音声に対して、音
声認識により付与した注釈データ）を用いて、検索対象
を絞り込む。次に不特定話者データ（不特定話者の音声
に対して、音声認識により付与した注釈データ）を検索
するためのキーワードが入力されると、これを類似音
（ホモロジー）の集合に展開し、類似音の集合を用いて
検索し、不特定話者認識での認識率の低さを補う。以
下、図４と同様にデータマイニングなどを行う。

【００２８】以上のように実施例には、以下の特徴があ
る。 ・既存の電話設備を利用することができ、注釈システム
用に専用の電話機などを導入する必要がない。これは電
話機のコードから、電話音声データを取得するからであ
る。 ・特定話者（オペレータ）は、注釈を付与することを意
識する必要がない。 ・無言電話などを除き、会話を伴う電話は全数保存し、
必要時に検索できる。簡単な試算では、２０ブースを備
えたコールセンターで、オンフック率が３０％、圧縮率
が５０％として、通話時のデータ量が２ＫＢ／secで２
０ＧＢ／yearとなり、２０ブースで２年分のデータを保
存するのに、１テラバイト程度のハードディスクがあれ
ばよいことになる。なおこの明細書でのコールセンター
は、電話での応対を行いながら、会話に応じて端末に入
出力を行う業務を行う場所を意味する。 ・音声ファイルは、通話の日時、通話時間、発信元の番
号などの通信レコードと、音声認識データ、並びにキー
ボードデータにより検索できる。重要な事項には特定話
者の復唱やキーボード入力が期待できるので、主な事項
をほぼ確実に検索できる。 ・不特定話者の音声でも、ホモロジー検索により検索で
きる。 ・これらの結果、業務上のトラブルを減少でき、保存し
た音声ファイルを検索して再生でき、検索結果を利用し
てデータマイニングができる。これらの結果、電話音声
データに付加価値を持たせて保存できる。 ・業務用の電話に限らず、家庭電話などでも同様に注釈
データを付与して音声ファイルを保存できる。

【図面の簡単な説明】

【図１】 実施例の音声注釈システムでの、音声ファイ
ルの作成と記憶までを示すブロック図

【図２】 実施例の音声注釈システムでの注釈の付与と
検索とを示すブロック図

【図３】 実施例でのファイル構成を模式的に示す図

【図４】 実施例での復唱を利用した注釈データの入力
を示す図

【図５】 実施例でのホモロジー検索を模式的に示す図

【符号の説明】

２ 電話網 ４ 交換機 ６ 電話機 ７ ヘッドセット ８ コード １０ 音声ファイル作成部 １２ ラインピックアップ １４ ＡＤコンバータ １６ 連続録音部 １８ 音声検出部 ２０ 時計 ２２ ウィンドウ切り出し部 ２４ 圧縮部 ２６ ファイル生成部 ２８ 不揮発性メモリ ３０ ＵＳＢインターフェース ３２ パーソナルコンピュータ ３４ サーバ ３５ データベース ３６ キーボード ３８ 表示部 ４０ 音声認識部 ４１ 特定話者認識部 ４２ 不特定話者認識部 ４４ 検索部 ４６ ホモロジー処理部 ４８ データマイニング部 ４９ 解凍部 ５０ ファイル群 ５２ 音声ファイル ５４ 注釈ファイル ５６ 通話レコード ５８ 特定話者データ ６０ 不特定話者データ ６２ キーボードデータ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 15/28 Ｇ１０Ｌ 3/00 ５４５Ａ 17/00 ５３７Ｚ (72)発明者 小金澤 健司 大阪市西区新町１丁目33番23号 株式会社 アイティ・コミュニケーションズ内 (72)発明者 安川 正勝 大阪市西区新町１丁目33番23号 株式会社 アイティ・コミュニケーションズ内 Ｆターム(参考） 5D015 AA02 AA04 KK02 KK04 LL06 LL08 5D045 AB04

Claims (9)

【特許請求の範囲】
1. 【請求項１】 電話での音声データを圧縮し、注釈デー
   タを付与して保存する方法において、 通話レコード自体と、マイクロホンからの特定話者の音
   声データを音声認識したデータとを注釈データとして付
   与して、圧縮した特定話者並びに通話先の不特定話者双
   方の音声データと共に保存することを特徴とする、音声
   データへの注釈付与方法。
2. 【請求項２】 前記音声データを電話機のコードからピ
   ックアップすることを特徴とする、請求項１の音声デー
   タへの注釈付与方法。
3. 【請求項３】 特定話者の音声データと不特定話者の音
   声データとに共に音声認識を施して注釈データを得るよ
   うにしたことを特徴とする、請求項２の音声データへの
   注釈付与方法。
4. 【請求項４】 コールセンターでの電話音声データを圧
   縮し、注釈データを付与して保存するようにすると共
   に、オペレータがコールセンター業務でキーボードに入
   力したキーボードデータを、注釈データの一部として付
   与するようにしたことを特徴とする、請求項１〜３のい
   ずれか音声データへの注釈付与方法。
5. 【請求項５】 電話での音声データを圧縮し、注釈デー
   タを付与して保存するためのシステムにおいて、 通話レコード自体を注釈データの一部として付与するた
   めの手段と、 マイクロホンからの特定話者の音声データを音声認識し
   て、注釈データの一部として付与するための手段とを設
   けて、 圧縮した特定話者並びに通話先の不特定話者双方の音声
   データと共に保存するようにしたことを特徴とする、音
   声注釈システム。
6. 【請求項６】 音声データを電話機のコードからピック
   アップするようにしたことを特徴とする、請求項５の音
   声注釈システム。
7. 【請求項７】 キーボードを設けて、特定話者がキーボ
   ード入力したテキストデータを、注釈データの一部とし
   て付与するための手段を設けたことを特徴とする、請求
   項５または６の音声注釈システム。
8. 【請求項８】 不特定話者の音声データを音声認識し
   て、注釈データの一部として付与するための手段を設け
   たことを特徴とする、請求項５〜７のいずれかの音声注
   釈システム。
9. 【請求項９】 不特定話者の音声データを音声認識した
   注釈データを検索するために、求めるキーワードを類似
   音に展開して検索するためのホモロジー検索手段を設け
   たことを特徴とする、請求項８の音声注釈システム。