JP2006276754A - オペレータ業務支援システム - Google Patents

Abstract

【課題】オペレータの作業効率を向上するオペレータ業務支援システムを提供する。
【解決手段】オペレータ業務支援システム１００は、通話内容をオペレータ音声とユーザ音声とに分離して記録するとともに音声認識してテキストデータに変換し、画面に表示する。テキストを表示する際、あらかじめ指定されたキーワードを強調表示する。テキストが表示されたセルをクリックすることにより、対応する音声が再生され、聞き起こし作業を行うことができる。
【選択図】図１

Description

本発明は、オペレータ業務支援システムに関する。

コールセンター業務において、運用コスト削減のために、１件あたりの処理時間をいかに短くするかが大きな命題となっている。受発注系の業務（たとえば通販などにおけるもの）の定型化された業務では、応対マニュアルや顧客情報を、着信と同時に画面ヘポップアップするシステムなど、様々な支援ツールが開発・適用されている。一方、家電やＰＣなどの、操作方法や障害対処などの問合せ窓口である技術サポート系のコールセンターでは、応対内容が多岐に渡り、また１通話が数十分に渡るなど長くなる場合もある。このため、応対シナリオを定型化しにくく、オペレータのスキルに頼っている部分が多い。

これらの業務において、オペレータは、通話終了後にはユーザからの問い合わせ内容、回答内容などを業務ログとして一件一葉で作成するのが通常である。しかしながら、ユーザへ操作説明する場合は、オペレータも同時に操作、表示内容を確認しながら通話しているケースも多く、通話中に会話の内容を逐一記録しておくことは困難である。そのため、業務ログ作成作業はユーザとの会話を思い出しながら実施しなければならず、多大な負荷と時間がかかっていた。このため、通話中の音声データを文字列に変換して記録するためのシステムが開発されてきた。このようなオペレータ業務支援システムの例は、特許文献１に開示される。

特開平１１−３３８４９４号公報

しかしながら、従来のオペレータ業務支援システムにおいては、音声認識の結果得られたテキストがそのまま表示されるだけであるため、オペレータの作業効率が向上しないという問題があった。たとえば、オペレータがそのテキストを短時間に把握することを助けるための表示機能や、オペレータがそのテキストに関連して参照したい情報を得るための機能は備えられていない。

この発明は、このような問題点を解決するためになされたものであり、オペレータの作業効率を向上するオペレータ業務支援システムを提供することを目的とする。

上述の問題点を解決するため、この発明に係るオペレータ業務支援システムは、電話を介した通話を記録するとともに、通話に伴うオペレータ業務を支援する、オペレータ業務支援システムであって、通話の音声データをテキストデータに変換する音声認識部と、テキストデータを表示する出力部とを備え、音声認識部は、音声データをテキストデータに変換する際に、あらかじめ指定されたキーワードについては、マーキングを施したテキストデータに変換し、出力部は、マーキングされたキーワードを強調表示する。

また、この発明に係るオペレータ業務支援システムは、電話を介した通話を記録するとともに、通話に伴うオペレータ業務を支援する、オペレータ業務支援システムであって、通話の音声データをテキストデータに変換する音声認識部と、テキストデータに加工を施す応対ログ処理部と、加工を施されたテキストデータを表示する出力部とを備え、応対ログ処理部は、テキストデータに含まれる、あらかじめ指定されたキーワードにマーキングを施し、出力部は、マーキングされたキーワードを強調表示する。

オペレータの操作を受け付ける入力部をさらに備え、出力部は、キーワードに関して入力部が受け付けた操作に応じて、あらかじめキーワードに関連付けられた情報を表示してもよい。
キーワードがあらかじめ指定された不要語である場合、出力部は、不要語の表示形式を変更するか、または、不要語の表示を削除してもよい。

また、この発明に係るオペレータ業務支援システムは、電話を介した通話を記録するとともに、通話に伴うオペレータ業務を支援する、オペレータ業務支援システムであって、
音声データをステレオ形式で格納する音声記憶部と、通話のオペレータの音声であるオペレータ音声をステレオの一方のチャネルに割り当て、オペレータの通話相手の音声であるユーザ音声をステレオの他方のチャネルに割り当てて録音する録音部と、オペレータ音声を認識してテキストデータに変換すると共に、認識において区切られた文単位に開始時間と終了時間を付加するオペレータ音声認識部と、を備える。

ユーザ音声を認識してテキストデータに変換すると共に、認識において区切られた文単位に開始時間と終了情報を付加するユーザ音声認識部をさらに備えてもよい。
テキストデータに加工を施す応対ログ処理部と、オペレータの操作を受け付ける入力部と、加工を施されたテキストデータを表示する出力部とをさらに備え、応対ログ処理部は、テキストデータに含まれる、あらかじめ指定された直後参照用キーワードにマーキングを施し、出力部は、マーキングされた直後参照用キーワードを強調表示し、出力部は、直後参照用キーワードに関して入力部が受け付けた操作に応じて、直後参照用キーワードを含む文に付加された終了時間を参照し、終了時間の直後のオペレータ音声またはユーザ音声を、音声記憶部から取得して出力してもよい。

オペレータの操作を受け付ける入力部と、一方の軸に時間を他方の軸にユーザとオペレータを持つ音声認識結果表示領域と、オペレータ音声に係る波形を表示するオペレータ音声領域と、ユーザ音声に係る波形を表示するユーザ音声領域とを同一画面上に表示し、音声認識結果表示領域には、文単位に、オペレータの開始時間及び対応するテキストデータと、オペレータの終了時間及びその直後のユーザ音声に対応する空のテキストデータとを繰り返して表示する出力部とをさらに備え、入力部は、音声認識結果表示領域において、時間と、ユーザまたはオペレータいずれかの組み合わせであるセル、または複数のセルの指定を受け付けると、セルに対応するオペレータ音声領域、及びユーザ音声領域の一部の指定も受け付けたと判断してもよい。

オペレータの操作を受け付ける入力部と、一方の軸に時間を他方の軸にユーザとオペレータを持つ音声認識結果表示領域と、オペレータ音声に係る波形を表示するオペレータ音声領域と、ユーザ音声に係る波形を表示するユーザ音声領域とを同一画面上に表示し、音声認識結果表示領域には、文単位に、オペレータの開始時間及び対応するテキストデータと、ユーザの開始時間及び対応するテキストデータとを繰り返して表示する出力部とをさらに備え、入力部は、音声認識結果表示領域において、時間と、ユーザまたはオペレータいずれかの組み合わせであるセル、または複数のセルの指定を受け付けると、セルに対応するオペレータ音声領域、及びユーザ音声領域の一部の指定も受け付けたと判断してもよい。
出力部は、入力部からオペレータの操作を受け付けると、音声認識結果表示領域において、ユーザまたはオペレータのセルの表示幅を拡大、縮小、または消去してもよい。

また、この発明に係るオペレータ業務支援システムは、電話を介した通話を記録するとともに、通話に伴うオペレータ業務を支援する、オペレータ業務支援システムであって、通話の音声データを録音する録音部と、通話の音声データを認識してテキストデータに変換する音声認識部と、テキストデータを表示する出力部とを備え、録音部と音声認識部とは、通話を並行して受信し、音声認識部は、認識において区切られた文単位に、テキストデータを変換後、直ちに出力部に送信し、出力部は、テキストデータを直ちに出力する。

オペレータの操作を受け付ける入力部をさらに備え、入力部が中断の指示を受付けてから、再開の指示を受付けるまでの間、録音部は、録音を一時中断し、音声認識部は、音声データからテキストデータへの変換を一時中断してもよい。

また、この発明に係るオペレータ業務支援システムは、電話を介した通話を記録するとともに、通話に伴うオペレータ業務を支援する、オペレータ業務支援システムであって、通話の音声データをテキストデータに変換する音声認識部と、オペレータを特定するオペレータ名と、オペレータの性別とを関連付けて格納する通話ログ管理情報記憶部と、オペレータの操作を受け付ける入力部とを備え、入力部がオペレータ名の指定を受け付けると、音声認識部は、通話ログ管理情報記憶部に格納されたオペレータ名に関連付けられた性別を取得し、性別に合致する音響辞書を用いて音声認識を行う。

オペレータが使用する、スピーカおよびマイクを有するヘッドセットと、ヘッドセットのスピーカと、ヘッドセットのマイクと、電話のスピーカと、電話のマイクと、ステレオの一方のチャネルと、ステレオの他方のチャネルとを接続する切り替え部とをさらに備え、切り替え部は、切り替え部の連動リレーが通話側に設定時、ヘッドセットのマイクからステレオの一方のチャネルへと音声データを流し、電話のスピーカからステレオの他方のチャネルとヘッドセットのスピーカへと音声データを流し、切り替え部の連動リレーが聞き起こし側に設定時、音声記憶部に記憶された音声の一方のチャネルと他方のチャネルとから、ヘッドセットのスピーカへと音声データを流してもよい。
前記出力部は、テキストデータとは異なる領域に、マーキングされたキーワードを、まとめてリスト表示してもよい。

この発明に係るオペレータ業務支援システムは、上記のオペレータ業務支援システムを実行するコンピュータと、コンピュータへの音声の入出力のためにオペレータが使用する、スピーカおよびマイクを有するヘッドセットとを含むものである。
また、スピーカを、コンピュータの音声出力または外部の電話機のスピーカに選択的に接続する切り替え部をさらに含んでもよい。
本ソフトウェア及びシステムは、オペレータ席に配置された個々のＰＣに実装されても、全オペレータの音声をサーバで一括集中処理する方式でも、どちらでもよい。

この発明によれば、オペレータ業務支援システムは、あらかじめ指定されたキーワードを強調表示するので、作業効率を向上させることができる。

以下、この発明の実施の形態を添付図面に基づいて説明する。
実施の形態１．
図１は、本発明の実施の形態１に係る音声認識エンジンおよびオペレータ業務支援ツールを含む、オペレータ業務支援システム１００を含む構成を示す図である。
公衆交換電話網（Public Switched Telephone Network, PSTN)２に、コールセンター用の構内交換機(Private Branch eXchange, PBX)４が接続されている。この構内交換機４は、たとえばＡＶＡＹＡ社のＤｅｆｉｎｉｔｙである。

構内交換機４には、オペレータ２０宛の通話を受けるオペレータ用電話機である電話機１２が接続される。さらに電話機１２は、オペレータ２０が業務に使用するオペレータ用ＰＣであるＰＣ１６およびヘッドセット１８に、プラグアダプタ１９と切り替え部であるスイッチボックス１４を介して接続される。
この電話機１２は、構内交換機４からの信号を受信して、プラグアダプタ１９を介してスイッチボックス１４に送信するスピーカ出力端子１２ａと、スイッチボックス１４からの信号を受信して構内交換機４に送信するマイク出力端子１２ｂとを備えており、たとえばＡＶＡＹＡ社のＣａｌｌｍａｓｔｅｒ ＩＶが使用される。なお、電話機の種類によってはプラグアダプタの機能を包含している場合や、通常のモジュラジャックの場合もある。

ヘッドセット１８は、スイッチボックス１４からの信号を音声に変換してオペレータ２０に伝えるスピーカ１８ａと、オペレータ２０が発する音声を信号に変換してスイッチボックス１４に送るマイク１８ｂとを備えており、たとえばＶＸＩ社のＴｕｆｆＳｅｔシリーズ、Ｐａｓｓｐｏｒｔシリーズが使用される。

ＰＣ１６は、演算装置および記憶装置を有する、周知の構成を持つコンピュータであり、出力装置としてのディスプレイおよびスピーカ出力端子と、入力装置としてのキーボード、マウス、およびライン入力端子とを備える。たとえば、演算装置としてクロック周波数３ＧＨｚで作動するＰｅｎｔｉｕｍ（登録商標）４プロセッサを備え、記憶装置として１ＧＢの容量を持つメモリおよび１６０ＧＢの容量を持つハードディスクドライブを備えるものである。また、ＰＣ１６は、これ以外の周知の入出力装置、たとえばネットワークインタフェース等を備えてもよい。
なお、ＰＣ１６は、ライン入力端子を通して、２つの音声入力、たとえばステレオ音声のＬチャネルとＲチャネルのような独立した音声データである信号を同時に受け付け、単一のファイルとして記憶装置に格納することが可能である。ただし、このファイル中において、ＬチャネルおよびＲチャネルはそれぞれ独立に記録され、後に独立してスピーカ出力端子を通して再生できる形式となっている。

図３は、ＰＣ１６の論理的な構成の概略を示す。ＰＣ１６は、入力された音声を受け付けて音声認識を行う音声認識エンジン３０を備える。
また、ＰＣ１６の記憶装置は、音声認識処理を行う際に必要となる音声認識辞書を業務に応じて格納および提供する業務向け辞書記憶部４０を含む。
業務向け辞書記憶部４０は、たとえばオペレータが担当する業務ごとの複数の音声認識辞書を有し、通話内容に適した言語モデルが登録されており、さらに各業務において状況に応じて必要となる社名、製品名等の単語が追加登録されており、強調表示用キーワード、不要語キーワードが追加登録されており、またさらに強調表示用キーワードに係る説明文が登録されていてもよい。これらの、単語、強調表示用キーワード、不要語キーワード、および説明文は、オペレータ業務支援ツール３９に含まれないシステムまたはプログラムを使用し、簡単に登録、変更、および削除できる。

また、ＰＣ１６の記憶装置は、キーワード辞書記憶部４５を有する。キーワード辞書記憶部４５は、音声認識処理後に抽出する強調表示用キーワード、不要語キーワード、および直後参照用キーワードを有する。さらに、強調表示用キーワードに係る説明文が登録されていてもよい。これらの、強調表示用キーワード、不要語キーワード、直後参照用キーワード、および説明文は、オペレータ業務支援ツール３９に含まれないシステムまたはプログラムを使用し、簡単に登録、変更、および削除できる。

前述の音声認識辞書では、音声認識に使用する単語単位にキーワードが登録されており、音声認識時に合致するキーワードが抽出されるが、キーワード辞書では、単語に限らず文書のキーワードの登録が可能であり、音声認識結果に対して、さらにキーワードを抽出するのに用いられる。
強調表示用キーワードは、音声認識結果の該当キーワードを強調表示するために用いられる。
不要語キーワードは、そのキーワードの表示形式を変更するか、または、不要語の表示を削除するために用いられる。
直後参照用キーワードは、そのキーワードの後に続く音声を再生するために用いられる。
説明文は、強調表示用キーワードの説明に用いられる。
また、ＰＣ１６の記憶装置は、図示しない音響辞書を含む。音響辞書は、例えば男性、女性、男女共用などの複数の音響辞書を有し、音素レベルの認識に用いられる。

音声認識エンジン３０は、電話機１２からの出力に漏れこんだオペレータ２０の音声を削減してユーザ音声を明瞭にするエコーキャンセル部３１と、エコーキャンセル部３１の出力の録音を行う録音部３２と、エコーキャンセル部３１の出力のうちのオペレータ音声と、業務向け辞書記憶部４０と、図示しない音響辞書とを入力として音声認識処理を行うオペレータ音声認識部３３と、エコーキャンセル部３１の出力のうちのユーザ音声と、業務向け辞書記憶部４０と、図示しない音響辞書とを入力として音声認識処理を行うユーザ音声認識部３４とを含む。
なお、音声認識エンジン３０は、エコーキャンセル部３１を含まない構成でもよい。例えばオペレータ音声認識部３３のみで、ユーザ音声認識部３４を含まない構成の場合や、電話機１２またはスイッチボックス１４からの音声出力において、ユーザ音声とオペレータ音声が音声認識可能な程度に分離できている場合は、エコーキャンセル部３１は不要である。

ＰＣ１６の記憶装置は、録音部３２、オペレータ音声認識部３３、およびユーザ音声認識部３４それぞれの出力を格納するための、音声記憶部４１、オペレータ音声認識結果記憶部４２、およびユーザ音声認識結果記憶部４３を含む。
オペレータ業務支援ツール３９は、応対ログ処理部３５、通話管理部３８、出力部３６、および入力部３７を含む。
出力部３６は、オペレータ２０に対する出力、たとえばディスプレイへの表示、およびスイッチボックス１４を経由してスピーカ１８ａへの音声再生等を行う。
入力部３７は、オペレータ２０からたとえばキーボード、またはマウスを用いた入力を受け付ける。

応対ログ処理部３５は、図８〜１０で後述する応対ログ画面を出力部３６により表示し、入力部３７を通してユーザの指示を受け付け、通話中または過去のひとつの応対ログについて、音声記憶部４１を参照し、オペレータ音声認識結果記憶部４２、ユーザ音声認識結果記憶部４３、および通話ログ管理情報記憶部４４を参照および更新し、キーワード辞書記憶部４５を参照する。
通話管理部３８は、図１１で後述する設定画面を出力部３６により表示し、入力部３７を通してユーザの指示を受け付け、通話ログ管理情報記憶部４４に格納されたオペレータに係る情報を管理する。また、通話管理部３８は、図１２で後述する辞書設定画面を出力部３６により表示し、入力部３７を通してユーザの指示を受け付け、通話ログ管理情報記憶部４４に格納された応対ログと音声認識辞書との関係を管理する。また、通話管理部３８は、図１３で後述する応対ログ一覧画面を出力部３６により表示し、入力部３７を通してユーザの指示を受け付け、通話ログ管理情報記憶部４４に格納された各応対ログの属性情報を管理する。

また、ＰＣ１６の記憶装置は、通話管理部３８が通話ログを管理する際に使用する情報を格納する、通話ログ管理情報記憶部４４を含む。
エコーキャンセル部３１を介して、リアルタイムで入力されるオペレータとユーザの音声は、録音部３２により音声記憶部４１に格納されると共に、並行してオペレータ音声認識部３３およびユーザ音声認識部３４に送信される。オペレータ音声認識部３３、およびユーザ音声認識部３４は、送信された音声を直ちに認識して、結果をリアルタイムで応対ログ処理部３５に送信すると共に、並行してオペレータ音声認識結果記憶部４２、およびユーザ音声認識結果記憶部４３に送信する。これにより、応対ログ処理部３５では、通話中に音声認識結果をリアルタイムで参照することができる。なお、図３では、オペレータ音声認識部３３およびユーザ音声認識部３４から、オペレータ音声認識結果記憶部４２およびユーザ音声認識結果記憶部４３に、直接認識結果を送信しているが、オペレータ音声認識部３３およびユーザ音声認識部３４から、応対ログ処理部３５を介して、オペレータ音声認識結果記憶部４２、およびユーザ音声認識結果記憶部４３に送信してもよい。

また、エコーキャンセル部３１に入力される音声は、オペレータ音声はＲチャネルに、ユーザ音声はＬチャネルに割り当てて入力される。オペレータ音声とユーザ音声は共に、エコーキャンセル部３１から録音部３２に送信されて、音声記憶部４１にひとつのファイルとして録音される。並行して、オペレータ音声はオペレータ音声認識部３３に送信されて音声認識されると共に、文単位で開始時間と終了時間が付加される。並行して、ユーザ音声はユーザ音声認識部３４に送信されて音声認識されると共に、文単位で開始時間と終了情報が付加される。このような構成により、音声記憶部４１に記憶されたオペレータ音声とユーザ音声と、オペレータ音声認識結果記憶部４２に記憶された認識結果に含まれる開始時間と、終了時間と、ユーザ音声認識結果記憶部４３に記憶された認識結果に含まれる開始時間と終了時間との間で、時間の整合性が保たれる。
このように、録音部３２、オペレータ音声認識部３３、およびユーザ音声認識部３４は、通話を並行して受信する。
なお、オペレータ音声認識部３３、およびユーザ音声認識部３４は、いずれかひとつのみの構成でもよい。一般的には、オペレータ音声はマイク音声のため明瞭であり、認識しやすいように訓練された発声であるので、認識率が高く、ユーザ音声は電話音声のため不明瞭であり発声も個人差が多く、認識率が低い。このような場合には、ユーザ音声認識部３４は設けず、オペレータ音声認識部３３のみの構成としてもよい。

なお、上述のＰＣ１６の構成は、一台のＰＣでなく、複数のコンピュータ等に分散して設けられてもよい。また、上述のＰＣ１６の構成は、オペレータ席に配置された個々のＰＣに実装されるのではなく、全オペレータの音声をサーバで一括集中処理する方式でもよい。

図４に、音声記憶部４１、オペレータ音声認識結果記憶部４２、およびユーザ音声認識結果記憶部４３に格納されるデータ形式を示す。
音声記憶部４１は、たとえば．ｗａｖという拡張子をファイル名の末尾に含む、ＷＡＶＥ形式の音声ファイルを格納する。この音声ファイルは、オペレータ２０とユーザとの通話の音声データを含み、一回の通話について一つ作成される。また、一つのファイルの中に、ユーザ音声はＬチャネルのデータとして、またオペレータ音声はＲチャネルのデータとして、独立して取り出せる形式で記憶される。

オペレータ音声認識結果記憶部４２は、テキスト形式のファイル（テキストファイル）を格納する。このテキストファイルは、通話におけるオペレータ音声に対応するテキストデータ、たとえば音声認識結果のテキストデータを含み、一回の通話について一つ作成される。また、それぞれのテキストファイルは、音声記憶部４１に記憶される音声ファイルと一対一に対応しており、たとえば音声記憶部４１のファイル「通話１．ｗａｖ」に含まれるオペレータ音声のデータは、オペレータ音声認識結果記憶部４２のファイル「通話ログ１オペレータ．ｄｃｔ」に含まれるテキストに対応する。
ユーザ音声認識結果記憶部４３は、オペレータ音声認識結果記憶部４２と同様に、通話におけるユーザ音声に対応するテキストデータを格納する。また同様に、たとえば音声記憶部４１のファイル「通話１．ｗａｖ」に含まれるユーザ音声のデータは、ユーザ音声認識結果記憶部４３のファイル「通話ログ１ユーザ．ｄｃｔ」に含まれるテキストに対応する。

図５に、通話ログ管理情報記憶部４４に格納される通話ログ管理情報のデータ形式を示す。
通話ログ管理情報は、一回の通話に関連するデータを一行とする表形式で格納される。各行は、該当の通話について、開始および終了した時刻と、対応したオペレータ２０のオペレータ名と、オペレータ２０によって指定される通話のカテゴリと、音声認識に使用された辞書名と、音声データが記憶されている音声ファイル名と、オペレータ音声およびユーザ音声の音声認識結果がそれぞれ記憶されるファイル名とを含む。

図６に、通話ログ管理情報記憶部４４に格納されるオペレータ情報のデータ形式を示す。各行は、オペレータの識別名であるオペレータ名、オペレータの性別を含み、その他の情報、例えば登録日、備考などを含んでいてもよい。これらの情報は、ＣＳＶ形式のテキストで格納されていてもよいし、データベース形式で格納されていてもよい。
図７に、オペレータ音声認識結果記憶部４２に格納される通話ログデータのデータ形式を示す。各行は、開始時間、終了時間、認識結果のテキストを含み、その他の情報を含んでいても良い。開始時間、および終了時間は、音声記憶部４１に格納された音声データの始まりからの相対時間である。なお、開始時間、および終了時間は、必ずしも時間である必要はなく、画面に表示する開始時間および終了時間を算出可能であり、かつ、音声データへのポインタとなり得る値であればよい。これらの情報は、ＣＳＶ形式のテキストで保管されていてもよいし、データベース形式に保管されていてもよい。

図１のスイッチボックス１４とＰＣ１６間の接続は、オーディオ形式およびＵＳＢ形式のいずれでもよい。なお、ＵＳＢ形式の場合は、スイッチボックス内でデジタル化を行い、ＰＣ１６にサウンドカードを具備する必要は無くなる。

オペレータ業務支援システム１００は、スイッチボックス１４、ＰＣ１６、およびヘッドセット１８を備える。また、オペレータ業務支援システム１００は、オペレータ２０が、ヘッドセット１８、電話機１２、およびＰＣ１６を使用して、電話機１２経由の通話を行うか、またはＰＣ１６に格納された通話の聞き起こしを行うかを切り替えられるようになっている。この切り替えはスイッチボックス１４のスイッチ１４ａを操作することによって行われる。スイッチ１４ａが「通話」側に設定されているときは、ヘッドセット１８、電話機１２のスピーカ出力端子１２ａ、電話機１２のマイク入力端子１２ｂ、およびＰＣ１６の接続は、電話機１２経由の通話を行うように構成される。このとき、オペレータ２０は、構内交換機４によって割り振られた呼すなわち通話において、電話機１２を通して外部の通話相手すなわちユーザと会話することができる。また、スイッチ１４ａが「聞き起こし」側に設定されているときは、これらの接続は、ＰＣ１６に格納された通話の聞き起こしを行うように構成される。
以下、本明細書において、スイッチ１４ａが通話側に設定されている状態を「通話時」、聞き起こし側に設定されている状態を「聞き起こし時」と称する。

図２にスイッチボックス１４の構成を示す。
スイッチボックス１４は、ヘッドセット１８、電話機１２、およびＰＣ１６の接続を切り替えるための連動リレー１４ｂを備える。この連動リレー１４ｂは、ヘッドセットのスピーカ１８ａおよびマイク１８ｂを、スイッチ１４ａの状態に応じて、通話側および聞き起こし側のどちらかに切り替える。スピーカ１８ａおよびマイク１８ｂの切り替えは連動しており、通話時すなわちスピーカ１８ａが通話側に接続されているときは、マイク１８ｂも通話側に接続され、聞き起こし時すなわちスピーカ１８ａが聞き起こし側に接続されているときは、マイク１８ｂも聞き起こし側に接続される。
さらに、スイッチボックス１４は、その回路の各所において音声信号を増幅するための複数の増幅器１４ｃを備える。

図１のスイッチボックス１４に電話機１２のスピーカから入力される信号は、増幅器１４ｃで増幅された後、ＰＣ１６の音声入力のＬチャネルに出力される。また、この信号は、通話時にはヘッドセット１８のスピーカ１８ａに出力されるが、聞き起こし時にはスピーカ１８ａには出力されない。
スイッチボックス１４にＰＣ１６の音声出力のＬチャネルおよびＲチャネルからそれぞれ入力される信号は、まずそれぞれ増幅器１４ｃで増幅され、合成された後、さらに別の増幅器１４ｃによって増幅される。最終的に増幅された信号は、聞き起こし時にはヘッドセット１８のスピーカ１８ａに出力されるが、通話時にはスピーカ１８ａには出力されない。
スイッチボックス１４にヘッドセット１８のマイク１８ｂから入力される信号は、増幅器１４ｃによって増幅された後、ＰＣ１６の音声入力のＲチャネルに出力される。また、この信号は、通話時には電話機１２のマイクに出力されるが、聞き起こし時には電話機１２のマイクには出力されない。

次に、図８〜１０を用いて、ＰＣ１６がオペレータ業務支援ツール３９の応対ログ処理部３５を実行することによって表示される画面の例である、応対ログ画面について説明する。
図８は、通話中でない場合の応対ログ画面５０を示す。応対ログ画面５０は、オペレータ２０が操作する（たとえばクリックする）ことによってＰＣ１６に指示を伝えるためのボタンである、通話開始ボタン５２、確定ボタン６０、再生ボタン６２、ポーズボタン６４、停止ボタン６６、拡大ボタン６８、縮小ボタン７０、フルボタン７２、一覧表示ボタン７４、および設定ボタン７６が含まれる。画面左上には、聞き起こし対象の応対ログに係る通話開始時間、通話終了時間、応対オペレータが表示される。

また、応対ログ画面５０は、オペレータ２０が操作する（たとえばクリックして選択肢を表示させ、さらにクリックして選択を行う）ことによって応対ログの種類を指示する、カテゴリ選択ボックス８０を含む。さらに、応対ログ画面５０は、通話内容が文字によって行単位で表示される応対ログ表示部９２と、通話内容の音声波形が表示される波形表示部９４とを含む。応対ログ表示部９２は、時間欄９２ａと、ユーザ欄９２ｂと、オペレータ欄９２ｃと、スクロールバー９２ｄとを含み、波形表示部９４は、オペレータ欄９４ａと、ユーザ欄９４ｂと、スクロールバー９４ｄとを含む。
このように、応対ログ画面５０では、一方の軸に時間を他方の軸にユーザとオペレータを持つ音声認識結果表示領域である応対ログ表示部９２と、オペレータ音声に係る波形を表示するオペレータ音声領域およびユーザ音声に係る波形を表示するユーザ音声領域を含む波形表示部９４とが同一画面上に表示される。
また、応対ログ画面５０は、オペレータ名および音声認識辞書をそれぞれ選択する、オペレータ入力ボックス７７および音声認識辞書選択ボックス７８を含む。 さらに、応対ログ画面５０は、応対ログおよび、通話のカテゴリを、オペレータ音声認識結果記憶部４２、ユーザ音声認識結果記憶部４３、および通話ログ管理情報記憶部４４に格納するための保存ボタン８１と、オペレータ業務支援ツール３９の実行を終了させるための終了ボタン９８とを含む。

図９は、通話中かつ音声認識実行中である場合の応対ログ画面５０を示す。図８と比較して、通話開始ボタン５２、確定ボタン６０、および終了ボタン９８は表示されず、通話終了ボタン５８および中断ボタン５４が表示される。
図１０は、通話中かつ音声認識中断中である場合の応対ログ画面５０を示す。図８と比較して、通話開始ボタン５２、確定ボタン６０、および終了ボタン９８は表示されず、通話終了ボタン５８および再開ボタン５６が表示される。

以上のように構成されるオペレータ業務支援システム１００の動作を、オペレータ業務支援ツール３９の動作とともに、図８〜図１３に示す画面例、および、図１４に示すフローチャートを用いて、以下に説明する。
図１４のフローチャートは、外部のユーザからの通話にオペレータ２０が応対する際の、オペレータ業務支援ツール３９の処理の流れを示す。
電話機１２は通話中ではなく、ＰＣ１６のディスプレイには図８に示す応対ログ画面５０が表示されている（ステップＳ１１）。スイッチ１４ａは通話側に設定されている。

外部のユーザからの通話が電話機１２に着信すると、オペレータ２０は、スイッチ１４ａが通話側に設定されていることを確認する。聞き起こし側に設定されていれば、通話側に切り替える。
オペレータ２０は、ヘッドセット１８によって通話を受けるとともに、通話開始ボタン５２をクリックする（ステップＳ１３）。この入力を受けて、出力部３６は、それまで応対ログ表示部９２および波形表示部９４に表示されていた通話内容および波形があればそれらを消去する（ステップＳ１４）。

続いて、録音部３２は、通話内容の記録を開始する（ステップＳ１６）。通話内容の記録において、録音部３２は、スイッチボックス１４から音声入力のＬチャネルに入力されるユーザ音声と、同じくＲチャネルに入力されるオペレータ音声とを、ステレオ音声の形式で記録すなわち録音し、さらに、後述の音声認識によって得られるテキストおよび関連する時刻も記録する。に示すエコーキャンセル部３１が、電話機１２からの出力に漏れこんだオペレータ音声をキャンセルしてユーザ音声を明瞭にし、録音部３２がオペレータ音声およびユーザ音声を音声記憶部４１に格納する。

オペレータ音声認識部３３は、オペレータ２０の発話の区切り、たとえば３００ｍｓ以上の時間にわたってオペレータ音声の音量が一定未満である部分を検出する（ステップＳ１７）。この区切りを検出すると、オペレータ音声認識部３３は、直前に検出された区切りあるいは記録開始時点と、新たに検出された区切りとの間に入力されたオペレータ音声を一つの文として受け取り、これを単位として音声認識を行ってテキストのデータに変換するとともに、業務向け辞書記憶部４０に登録された、該当する業務にとって重要なキーワードと照合し、一致するキーワードが含まれていれば、そのキーワードの前後に予め定められた予約語を置くなどしてマーキングする（ステップＳ１８）。このようにして、音声認識とキーワード検出を行った結果は、オペレータ音声認識結果記憶部４２に格納される。

応対ログ処理部３５は、キーワード辞書記憶部４５に記憶されたキーワードの検出を行ってステップＳ１８と同様にマーキングするとともに、出力部３６を介して、認識結果を応対ログ表示部９２のオペレータ欄９２ｃに表示する。このとき、直前の発話の区切りあるいは記録開始時点の時刻を、そのテキストと同じ行の時間欄に表示する（ステップＳ１９）。
このように、ＰＣ１６は、通話中に、通話の進行に伴ってリアルタイムで、オペレータ２０の発話内容を記憶し、かつディスプレイに表示する。
音声データ入力が一定間隔以上空くと、変換されたテキストデータもその時点で区切られ、時系列的に並んだ複数のテキストデータ列として管理されていく。

また、応対ログ表示部９２のユーザ欄９２ｂには、同様にしてユーザ音声の音声認識結果であるテキストが表示される。ユーザ音声の音声認識は、ユーザ音声認識部３４によって行われ、結果であるテキストはユーザ音声認識結果記憶部４３に格納される。同様にして、ユーザ音声認識部３４および応対ログ処理部３５が、ユーザ音声のテキストにおけるキーワード検出を行う。
このとき、オペレータ音声のテキストとユーザ音声のテキストとは、１行おきに交互に表示されてもよいし、出力部３６が通話の状況に応じて表示行の制御を行ってもよい。さらに、上述のステップＳ１７〜１９と、後述のステップＳ２０とは、オペレータ音声に対応する処理と、ユーザ音声に対応する処理、二つの処理がそれぞれ独立して同時に実行されることになる。
また、表示される行は、応対ログ表示部９２の上から下へと進み、最下行に到達するとそれ以降は最新のテキストが常に最下行に表示され、それ以前の表示内容が順次上にスクロールして表示される。

次に、出力部３６は、ステップＳ１８およびステップＳ１９において検出したキーワードを強調表示する（ステップＳ２０）。
強調表示は、単にキーワードを目立つように強調表示するだけでもよいが、強調表示された文字列が選択されると、説明文が表示されてもよい。また、詳しくは、聞き起こし支援処理において説明するが、強調表示された文字列が選択されると、直後の音声が再生できてもよい。
強調表示は、たとえば図８に示すように、キーワードを墨付きカッコで囲むことによってなされるが、これはキーワードの色、フォントの種類、大きさ等を変更したり、下線を付したり、太字や斜体にすることによってなされてもよい。前述の強調表示の種類に応じて、異なる形式で表示されてもよい。
登録されるキーワードの例としては以下のようなものがある。
・社名
・「ＤＶＤ−ＲＡＭ」等の、製品の一般名称
・製品名
・製品の型番
・「フォーマットできない」等の、現象を表す表現
・「お電話番号を頂戴したいのですが」「型番をお願いします」「お名前をお願いします」「お名前を復唱いたします」等の、その直後にユーザの個人情報や製品名等、重要な情報が現れることを示す文字列

なお、オペレータ２０は、音声認識の実行ならびにテキストおよび時刻の記録に影響を与えることなく、応対ログ表示部９２のスクロールバー９２ｄを操作して、過去に記録された所望の時刻のテキストを表示させることができる。
また、オペレータ２０は、上述のステップＳ１７〜ステップＳ２０の過程において、通話終了ボタン５８をクリックすることにより、ＰＣ１６内の各部に通話が終了したことを指示することができる。
さらに、オペレータ２０は、上述のステップＳ１７〜ステップＳ２０の過程において、カテゴリ選択ボックス８０を操作することにより、応対ログに関連して図３の通話ログ管理情報記憶部４４に記録されるカテゴリを指定することができる。指定されたカテゴリは後述するステップＳ２２の終了時に、通話ログ管理情報記憶部４４に格納する。カテゴリは、通常は、通話を開始する前には分からないので、運用の形態としては、通話の終了直前、および、聞き起こし時に入力する場合が多い。特に指定がなければデフォルトのカテゴリを格納する。

また、オペレータ２０は、上述のステップＳ１７〜ステップＳ２０の過程において、図９の中断ボタン５４をクリックすることにより、録音部３２、オペレータ音声認識部３３、およびユーザ音声認識部３４に一時中断指示を与え、通話内容の記録、音声認識、テキストの表示処理を一時中断させることができる。また、この一時中断した状態において、図１０の再開ボタン５６をクリックすることにより、再開指示を与え、これらの処理を再開させることができる。オペレータ音声認識部３３、およびユーザ音声認識部３４は、この一時中断および再開の操作がなされると、一時中断前と再開後との間に、オペレータ音声の区切りが検出されたものと認識する。

この一時中断および再開は、たとえば、ユーザとの通話中に記録する必要のない会話が長時間にわたって続く場合等に使用される。また、この一時中断および再開は、オペレータ音声認識部３３、またはユーザ音声認識部３４が発話の区切りを誤って検出し、その区切り検出の誤りが連鎖的に続くことが想定されるときに、オペレータ音声認識部３３、およびユーザ音声認識部３４に強制的に発話の区切りを検出させることにより、所望のタイミングで発話の区切りを設定させるためにも使用される。

ステップＳ２０の後、入力部３７は、オペレータ２０によって通話終了ボタン５８がクリックされたかどうかを判定する（ステップＳ２１）。通話開始ボタン５２が最後にクリックされてから通話終了ボタン５８がクリックされていない場合、すなわちまだ通話中である場合は、ＰＣ１６の処理はステップＳ１７に戻る。

通話終了ボタン５８がクリックされていた場合、すなわちオペレータ２０から通話終了の指示があった場合は、録音部３２、オペレータ音声認識部３３、およびユーザ音声認識部３４は、ステップＳ１６において開始された通話内容の記録と音声認識を終了する（ステップＳ２２）。音声認識の結果として得られたテキストすなわち応対ログと、オペレータ音声およびユーザ音声の録音データとは、互いに関連付けられ、通話管理部３８によって、セットとして、通話ログ管理情報記憶部４４に格納される。なお、ステップＳ１７からステップ２１までの音声認識および結果表示の繰り返し処理と並行して、ステップＳ１６で開始した音声の録音は、途中で一時中断された期間を除き、記録終了であるステップＳ２２まで、実行される。なお、一時中断時は、録音部３２、オペレータ音声認識部３３、およびユーザ音声認識部３４すべてを一時中断すると、オペレータ音声認識結果記憶部４２、およびユーザ音声認識結果記憶部４３に格納される音声データは、一時中断中の相対時間は進まないことになる。また、一時中断時は、録音部３２は録音を続け、オペレータ音声認識部３３、およびユーザ音声認識部３４を一時中断する方式でもよく、この場合は、オペレータ音声認識結果記憶部４２、およびユーザ音声認識部４３に格納される音声データは、一時中断中も相対時間が進むことになる。

次に、応対ログ処理部３５は、ステレオ音声を含む音声ファイル形式で記録されている通話内容を読み込み、オペレータ音声およびユーザ音声それぞれの波形を得る。得られた波形は、出力部３６を介して、それぞれ波形表示部９４のオペレータ欄９４ａおよびユーザ欄９４ｂに表示される（ステップＳ２３）。表示は時刻とともに波形表示部９４の左から右へと進むが、通話が長く波形表示部９４に収まらない場合は、その一部のみが表示される。オペレータ２０は、波形表示部９４のスクロールバー９４ｄを操作して、所望の時間帯の波形を表示させることができる。

その後、応対ログ処理部３５は、オペレータ２０の操作に応じて聞き起こし支援処理を行う（ステップＳ２４）。
オペレータ２０は、応対ログ表示部９２を確認しながら、オペレータ業務支援ツール３９に含まれないシステムまたはプログラムを使用し、通話に関する業務ログの入力を行う。この業務ログは、通話相手であるユーザの個人情報、ユーザからの問い合わせ内容、それに対するオペレータ２０の回答内容等が含まれる。この際、聞き起こし、すなわち通話時の音声の確認が必要となる場合があるが、この作業に伴って実行されるのがステップＳ２４の聞き起こし支援処理である。これは、応対ログ処理部３５、出力部３６、入力部３７が協働して行う。
なお、応対ログ画面５０において、任意のタイミングで通話カテゴリを選択し、保存ボタンにより、保存することができる。

以下、聞き起こし支援処理の内容を説明する。
まず、オペレータ２０は、スイッチ１４ａを聞き起こし側に切り替える。
オペレータ２０自身の発話内容を実音声で確認したい場合は、オペレータ２０は、まずスクロールバー９２ｄを操作して、応対ログの所望の部分を表示させる。次に、応対ログ表示部９２内の対応するセル（該当のテキストが表示されている行の、オペレータ欄９２ｃ）をクリックする。出力部３６は、図８に示すように、応対ログ表示部９２内のクリックされたセルの背景に着色表示をするとともに、音声ログ編集用ウィンドウ９３に対応するテキストを表示し、波形表示部９４においてそのテキストに対応する部分の音声波形の背景も着色表示する。なお、この着色表示がなされている部分は、図８においては斜線によって示す。この状態で再生ボタン６２がクリックされると、出力部３６は該当部分の音声を再生してオペレータ２０に提供する。これによってオペレータ２０は、オペレータ音声を簡単に聞き起こすことができる。
なお、オペレータ２０は、連続した複数のセルを指定することもできる。オペレータ２０が、応対ログ表示部９２のオペレータ欄９２ｃの連続した複数のセルを選択すると、出力部３６は、波形表示部９４のオペレータ欄９４ｂの対応する音声波形の背景を着色表示し、音声ログ編集用ウィンドウ９３に、最初のセルに対応するテキストを表示する。オペレータ２０が、応対ログ表示部９２のユーザ欄９２ｂの連続した複数のセルを選択すると、出力部３６は、波形表示部９４のユーザ欄９４ａの対応する音声波形の背景を着色表示し、音声ログ編集用ウィンドウ９３に、最初のセルに対応するテキストを表示する。オペレータ２０が、応対ログ表示部９２のユーザ欄９２ｂおよびオペレータ欄９２ｃの連続した複数のセルを選択すると、出力部３６は、波形表示部９４のユーザ欄９４ａおよびオペレータ欄９４ｂの対応する音声波形の背景を着色表示し、音声ログ編集用ウィンドウ９３に、最初のセルに対応するテキストを表示する。この状態で再生ボタン６２がクリックされると、出力部３６は該当部分の音声を再生してオペレータ２０に提供する。

このように、それぞれのテキストデータ列は、その開始時間、終了時間が音声と紐付けられているため、１つのテキストデータを指定して、その部分に該当する録音音声を、一発で頭出し再生する機能を有する。

この際、オペレータ２０は、音声波形の背景が着色されている部分の右端あるいは左端をマウスポインタで指示し、ドラッグアンドドロップ操作によって移動させることにより、背景が着色表示される部分、すなわち再生される部分の範囲を変更することができる。
同様に、オペレータ２０は、応対ログ表示部９２のユーザ欄９２ｂおよびオペレータ欄９２ｃの右端あるいは左端をマウスポインタで指示し、ドラッグアンドドロップ操作によって移動させることにより、それぞれの表示幅を変更したり、一方を非表示にしたりできる。

オペレータ音声の再生中、オペレータ２０は、ポーズボタン６４をクリックすることによって、再生をポーズすなわち一時停止状態にすることができる。このポーズは、再びポーズボタン６４をクリックすることにより解除され、音声の再生が再開される。また、オペレータ２０は、停止ボタン６６をクリックすることによって、再生を停止することができる。

また、オペレータ２０は、応対ログすなわち音声認識の結果として表示されているテキストの内容を修正することができる。この修正を行う場合、まずオペレータ２０は上記のようにセルおよび該当する波形部分の背景を着色表示し、音声ログ編集用ウィンドウ９３に対応するテキストを表示させる。音声ログ編集用ウィンドウ９３は、テキストデータを編集するためのテキスト編集領域である。
この音声ログ編集用ウィンドウ９３では、応対ログ表示部９２において背景が着色されていたセルのテキストが編集可能である。オペレータ２０はキーボード等の入力装置を介してテキストの修正等の編集を行い、終了後に確定ボタンをクリックする。確定ボタンがクリックされると、編集されたテキストの内容を、応対ログ表示部９２の該当セルおよびオペレータ音声認識結果記憶部４２に反映する。

また、ユーザの発話内容を実音声で確認したい場合も、同様にして、対応するセル（該当の時刻が表示されている行の、ユーザ欄９２ｂ）をクリックする。出力部３６は、クリックされたセルの背景を着色するとともに、対応する部分の音声波形も背景を着色表示させる。この状態で再生ボタン６２がクリックされると、出力部３６は、該当部分、すなわち直前のオペレータ音声の発声終了時点から、次のオペレータ音声の発声開始時点までの部分を再生する。これによってオペレータ２０は、前後のオペレータ音声に挟まれたユーザ音声部分を簡単に聞き起こすことができる。
図３の構成図において、ユーザ音声認識部３４を含まない場合についても、ユーザの発話内容を実音声で確認できる。この場合、応対ログ表示部９２のユーザ欄９２ｂは空白のまま表示されるが、波形表示部９４のユーザ欄９４ｂには、前述と同様にユーザ音声の波形が表示される。

オペレータ２０は、ユーザの発話内容を実音声で確認したい場合は、オペレータ欄９２ｃに表示されたオペレータの解析結果を目印に、近接するユーザ欄９２ｂの再生したいセルをクリックする。出力部３６は、応対ログ表示部９２内のクリックされたセルの背景に着色表示をするとともに、音声ログ編集用ウィンドウ９３に対応するテキスト（ただし、空欄）を表示し、波形表示部９４においてそのテキストに対応する部分の音声波形の背景も着色表示する。この状態で再生ボタン６２がクリックされると、出力部３６は該当部分のユーザの音声を再生してオペレータ２０に提供する。また、オペレータ２０が、空欄となっている音声ログ編集用ウィンドウ９３にテキストの入力を行い、確定ボタンをクリックすると、入力されたテキストの内容を、応対ログ表示部９２の該当セルおよびユーザ音声認識結果記憶部４３に反映する。

また、「お電話番号を頂戴したいのですが」「型番をお願いします」「お名前をお願いします」「お名前を復唱いたします」等の、その直後にユーザの個人情報や製品名等、重要な情報が現れることを示す文字列（直後参照用キーワード）を選択することにより、直後の音声を再生できるようにしてもよい。この場合、応対ログ処理部３５は、選択された直後参照用キーワードを含む文の終了時間を取得し、出力部３６は、この直後のオペレータ音声またはユーザ音声について、波形表示部９４の対応する部分の音声波形の背景を着色表示する。この状態で再生ボタン６２がクリックされると、出力部３６は該当部分の音声を再生してオペレータ２０に提供する。

また、このステップＳ２４の聞き起こし支援処理において、オペレータ２０は、拡大ボタン６８、縮小ボタン７０、およびフルボタン７２をそれぞれクリックすることにより、波形の表示形式を変更することができる。拡大ボタン６８がクリックされると、出力部３６は、表示される波形を横方向に拡大する。すなわち、より短時間の波形変化がより詳細に表示される。縮小ボタン７０がクリックされると、出力部３６は逆に、表示される波形を横方向に縮小する。すなわち、より長時間の波形変化が表示される。フルボタン７２がクリックされると、出力部３６は、処理中の通話の開始から終了までの波形をすべて画面内に表示する。
また、このステップＳ２４の聞き起こし支援処理において、オペレータ２０は、聞き起こした問合せの内容が、現状設定されているカテゴリと合致しない場合には、カテゴリ選択ボックス８０によりカテゴリを変更することができる。

以上は、外部のユーザからの通話を終了した直後に聞き起こしを行う際の処理の流れであるが、オペレータ業務支援システム１００は、オペレータ２０の操作に応じて、過去に記録された通話内容の聞き起こし支援を行うこともできる。
過去に記録された通話の聞き起こしを行う場合、オペレータ２０は、上記の聞き起こし時と同様にしてスイッチ１４ａを聞き起こし側に設定した後に、応対ログ画面５０の一覧表示ボタン７４をクリックする。

一覧表示ボタン７４がクリックされると、出力部３６は、図１３に示す応対ログ一覧画面をディスプレイに表示する。応対ログ一覧画面には、過去に記録された通話のそれぞれについて、図５に示す通話ログ管理情報記憶部の内容の一部である、記録開始時刻、記録終了時刻、通話時間、対応オペレータ名、および上述のカテゴリ選択ボックス８０によって指定された通話のカテゴリが表示される。オペレータ２０は、聞き起こし作業の対象となる通話を選択して背景を着色表示させ、ＯＫボタンをクリックする。ＯＫボタンがクリックされると、出力部３６は、応対ログ一覧画面を消去し、選択された通話内容の記録を読み込んで応対ログ画面５０に表示し、上述のステップＳ２４と同様にして聞き起こし支援処理を行う。
もしくは、オペレータ２０は、キャンセルボタンをクリックすることにより、選択を中止して応対ログ画面５０に戻ることができる。

なお、オペレータ２０は、通話内容の記録が進行中である間を除き、上記の処理の流れにかかわらずいつでも、オペレータ２０自身に関する設定を行うことができる。この設定は、応対ログ画面５０の、設定ボタン７６をクリックすることにより開始される。
設定ボタン７６がクリックされると、出力部３６は、図１１に示す設定画面をディスプレイに表示する。この設定画面には、通話ログ管理情報記憶部４４に格納されたオペレータ情報、すなわち、オペレータ業務支援ツール３９に対するオペレータの識別名であるオペレータ名、オペレータの性別が表示される。

この設定画面に対して、キーボードおよびマウス等の入力装置を介して、編集したいオペレータに該当する行を選択して編集ボタンをクリックした後に、オペレータ名欄の表示を編集する、または性別選択ボタンをクリックする等の入力を行うことにより、オペレータ２０は設定を変更することができる。新規ボタンをクリックすることで、新たなオペレータを追加することもできる。
設定変更を終了すると、オペレータ２０は、図１１に示す設定画面のＯＫボタンをクリックする。これによって、通話管理部３８は、入力された変更内容を反映させ、それ以降のオペレータ業務支援ツール３９の実行を変更された内容を用いて行う。
もしくは、オペレータ２０は、キャンセルボタンをクリックすることにより、選択を中止して応対ログ画面５０に戻ることができる。
この設定画面において、辞書の編集ボタンをクリックすると、図１２に示す辞書設定画面が新たに表示される。この辞書設定画面において、所望の辞書を選択してＯＫボタンをクリックすることにより、音声認識に使用すべき業務向け辞書記憶部４０に格納された音声認識辞書を選択することができる。また、音声認識辞書を選択して編集ボタンをクリックすることにより、該当の辞書の登録内容等の編集を行うことができる。
もしくは、オペレータ２０は、キャンセルボタンをクリックすることにより、選択を中止して図１１の設定画面に戻ることができる。

なお、図８の応対ログ画面で設定ボタン７６をクリックし、図１１の設定画面、および図１２の辞書設定画面で設定されたオペレータと音声認識辞書は、以後の通話で有効となる。すなわち、通話開始ボタン５２により音声認識を始めると、オペレータ音声認識部３３は設定されたオペレータの性別を通話ログ管理情報記憶部４４のオペレータ情報から取得して、該当の性別に合致した音響辞書を使用し、かつ設定された音声認識辞書を使用して、音声認識を行う。
ユーザ音声認識部３４は、男女共用の音響辞書を使用し、かつ設定された音声認識辞書を使用して、音声認識を行う。終了ボタン９８をクリックし終了する際には、設定されたオペレータと音声認識辞書は、通話ログ管理情報記憶部４４の通話ログ管理情報に格納する。

このように、本発明に係るオペレータ業務支援システムは、通話内容のテキストを表示する際、あらかじめ指定されたキーワードを強調表示するので、オペレータ２０はその通話において重要な部分をより短時間で認識でき、作業効率を向上させることができる。
リアルタイムで音声認識して、同時に強調表示するキーワードを抽出した後に、音声認識結果に対して、さらに別のキーワードについて強調表示することができる。また、音声認識時には、認識単位の単語についてキーワードを検出できなくとも、音声認識後に、認識単位とは無関係の文章についてもキーワード検出をすることができる。
不要語を目立たなくしたり、削除できるので、限られた画面の中で、効率よく、音声認識結果を確認できる。
ステレオ録音にオペレータ音声とユーザ音声を割り当てることにより、音声データと認識結果との時間整合性をとることができる。
音声データと認識結果の時間整合性が取れているために、あらかじめ定められたキーワードの直後の音声を再生することができる。
音声データと認識結果の時間整合性が取れているために、音声認識結果と音声の波形とを同期をとって、画面で表示することができる。ユーザの音声を認識していなくても、オペレータの音声認識結果と、オペレータ音声とユーザ音声との時間整合性が取れているため、オペレータ音声の間に存在するユーザ音声を再生することができ、音声認識結果を修正することができる。
オペレータ認識結果、またはユーザ認識結果の表示幅を変更したり、削除したりできるので、限られた画面の中で、見やすい表示を行うことができる。

また、オペレータ音声とユーザ音声とをそれぞれ別のチャネルのデータとして分離して記録するので、それぞれの音声を独立して聞き起こすことができ、発話が重なって聞き起こしにくい状態を回避することができる。このため、オペレータ２０の作業効率を向上させることができる。

さらに、オペレータ２０が発声した内容をリアルタイムで音声認識して自動的にテキスト化するので、オペレータ２０がテキストを入力する必要がなく、作業効率を向上させることができる。また、音声認識の結果が誤っていたとしても、テキストをみながら該当部分を選択し、その部分だけをスポット的に簡単に聞き起こして確認することができるので、通話の全音声を再生して該当する音声部分を探す必要がなく、作業効率を向上させることができる。

また、オペレータ２０は、中断ボタン５４および再開ボタン５６によって、通話のうち不要と判断した部分の記録を抑制できるので、聞き起こし作業において不要部分を処理する手間が省け、作業効率を向上させることができる。
さらに、この中断ボタン５４および再開ボタン５６によって、通話中にリアルタイムで発話の区切りを強制的に認識させ設定させることができるので、正確な音声認識結果を記録させることができ、聞き起こし作業の効率を向上させることができる。
また、通話ログ管理情報記憶部４４は、オペレータ名と性別との対応を記憶しているので、音声認識時に、オペレータ名が指定されていれば、対応する性別に合致する音響辞書を用いて音声認識を行うことができる。

また、本発明に係るオペレータ業務支援システム１００において、オペレータ２０は、スイッチボックス１４のスイッチ１４ａによる切り替えによって、単一のヘッドセット１８を通話にも聞き起こしにも共通して使用することができるので、ヘッドセットを作業別に装着しなおして使い分ける必要がなく、オペレータ２０の作業効率を向上させることができる。

上記の実施の形態１において、さらに以下のような機能を実行可能であってもよい。
たとえば、出力部３６は、聞き起こしにおいて重要でない文字列を不要語として認識し、不要語を表示から自動削除する機能を有してもよい。この不要語は業務向け辞書記憶部４０、またはキーワード辞書記憶部４５に登録され、ステップＳ１８、またはステップＳ１９と同様にして、音声認識されたテキストと照合されることにより判定される。この照合は、出力部３６によって、応対ログ処理部３５、オペレータ音声認識部３３、またはユーザ音声認識部３４のいずれかを経由して行われる。不要語の例としては、「はい」、「さようでございますか」等が挙げられる。また、不要語の自動削除を行うかどうかを、オペレータ２０が随時変更可能であってもよい。さらに、不要語を削除するのではなく、他のテキストとは異なる表示形式、たとえば薄い色で表示されるようにしてもよい。
これにより、聞き起こしにおいて重要でないキーワードが画面に表示されなくなるか、または瞬間的に判別しやすくなるので、オペレータ２０が重要な部分を認識および理解するのが容易になり、作業効率を向上することができる。

さらに、表示されるテキスト中において、強調表示されたキーワード部分がクリックされることに応じて、そのキーワードに関連付けられた情報、たとえばマニュアル等をポップアップ表示する機能や、キーワードの直後の音声を再生する機能を有してもよい。この情報は、あらかじめそれぞれのキーワードに関連付けられて指定され、業務向け辞書記憶部４０、またはキーワード辞書記憶部４５に記憶される。これにより、オペレータ２０がキーワードに関する情報を得るための手間が省け、作業効率を向上することができる。
なお、オペレータ音声のテキスト表示およびキーワードの強調表示は、上述のようにリアルタイムで行われる。このため、オペレータ２０は、たとえば、通話で製品名を発声し、その直後にキーワードとして強調表示される該当製品名をクリックすることにより、マニュアルを表示させ、通話しながらそのマニュアルを参照することができる。

また、キーワード部分のクリックに応じて、過去の通話記録の中から、そのキーワードを含むものをリストアップする機能を有してもよい。このリストアップは、たとえば図１３の応対ログ一覧画面と同様の形式でなされ、その中から一つの通話を選択して、図８の応対ログ表示画面を新たに作成して表示し、内容の確認を行うことができる。こうすることにより、関連する複数の通話内容にわたる作業が容易になり、作業効率を向上することができる。

また、キーワードのうち一部を、直後参照用キーワードとして、他のキーワードと区別してもよい。直後参照用キーワードとは、たとえば、「お電話番号を頂戴したいのですが」「型番をお願いします」「お名前をお願いします」等の、その直後のユーザ音声に重要な情報が現れることを示す文字列である。この直後参照用キーワードがクリックされると、そのセルのテキストの最後に相当する発話の区切りを基準として再生開始点が決定され、その時点以降のユーザ音声が再生される。この再生開始点は、たとえば発話の区切りそのものである。
こうすることにより、オペレータ２０は、見つけやすく強調表示された、決まった文字列をもとに、重要な情報を含むユーザ音声を確認できるので、応対ログ表示部９２を全文にわたって読みなおす必要がなく、作業効率を向上することができる。さらに、変換されたテキストデータが曖昧な場合でも、その前後を簡単に聞き起こすことが可能なため、応対内容を正確に把握することができる。

さらに、キーワードは応対ログ表示部９２中で強調表示されるだけでなく、これに加えて別画面にリスト表示されてもよい。また、リスト表示されたキーワードが応対ログ表示部９２と関連付けられてもよい。たとえば、キーワードリスト表示画面がディスプレイに表示され、そこには通話に現れるキーワードがその順にリストアップされ、各キーワードをオペレータ２０がクリックすることにより、応対ログ表示部９２中で該当するセルおよび波形表示部９４中で該当する部分の背景が着色表示され、かつ自動的に該当する波形部分の音声が再生されてもよい。また、キーワードはオペレータが簡単に登録、変更、削除できる。
こうすることにより、オペレータが必要とする情報を含む部分を瞬時に確認できるので、オペレータは応対ログ表示部９２を全文にわたって読みなおす必要がなく、作業効率を向上することができる。

本発明の実施の形態１に係るオペレータ業務支援システム１００を含む構成を示す図である。 本発明の実施の形態１に係るスイッチボックス１４の構成を示す図である。 オペレータ業務支援システム１００の構成を示す図である。 音声記憶部４１、オペレータ音声認識結果記憶部４２、およびユーザ音声認識結果記憶部４３に格納されるデータ形式を示す図である。 通話ログ管理情報記憶部４４に格納される通話ログ管理情報のデータ形式を示す図である。 通話ログ管理情報記憶部４４に格納されるオペレータ情報のデータ形式を示す図である。 オペレータ音声認識結果記憶部４２に格納されるオペレータ情報のデータ形式を示す図である。 本発明の実施の形態１において、通話中でない場合に表示される応対ログ画面５０を示す図である。 本発明の実施の形態１において、通話中かつ音声認識実行中である場合に表示される応対ログ画面５０を示す図である。 本発明の実施の形態１において、通話中かつ音声認識中断中である場合に表示される応対ログ画面５０を示す図である。 本発明の実施の形態１において表示される設定画面を示す図である。 本発明の実施の形態１において表示される辞書設定画面を示す図である。 本発明の実施の形態１において表示される応対ログ一覧画面を示す図である。 本発明の実施の形態１に係るオペレータ業務支援ツールの処理の流れを示すフローチャートである。

符号の説明

１２ 電話機、１４ 切り替え部（スイッチボックス）、２０ オペレータ、１８ ヘッドセット、１８ａ スピーカ、１８ｂ マイク、３３ 音声認識部（オペレータ音声認識部）、３４ 音声認識部（ユーザ音声認識部）、３５ 応対ログ処理部、３６ 出力部、３７ 入力部、１００ オペレータ業務支援システム。

Claims (15)

1. 電話を介した通話を記録するとともに、前記通話に伴うオペレータ業務を支援する、オペレータ業務支援システムであって、
   前記通話の音声データをテキストデータに変換する音声認識部と、
   前記テキストデータを表示する出力部と
   を備え、
   前記音声認識部は、音声データをテキストデータに変換する際に、あらかじめ指定されたキーワードについては、マーキングを施したテキストデータに変換し、
   前記出力部は、前記マーキングされたキーワードを強調表示する
   オペレータ業務支援システム。
2. 電話を介した通話を記録するとともに、前記通話に伴うオペレータ業務を支援する、オペレータ業務支援システムであって、
   前記通話の音声データをテキストデータに変換する音声認識部と、
   前記テキストデータに加工を施す応対ログ処理部と、
   加工を施された前記テキストデータを表示する出力部と
   を備え、
   前記応対ログ処理部は、前記テキストデータに含まれる、あらかじめ指定されたキーワードにマーキングを施し、
   前記出力部は、前記マーキングされたキーワードを強調表示する
   オペレータ業務支援システム。
3. 前記オペレータの操作を受け付ける入力部をさらに備え、
   前記出力部は、前記キーワードに関して前記入力部が受け付けた前記操作に応じて、あらかじめ前記キーワードに関連付けられた情報を表示する、請求項１または２に記載のオペレータ業務支援システム。
4. 前記キーワードがあらかじめ指定された不要語である場合、前記出力部は、前記不要語の表示形式を変更するか、または、前記不要語の表示を削除する、請求項１または２に記載のオペレータ業務支援システム。
5. 電話を介した通話を記録するとともに、前記通話に伴うオペレータ業務を支援する、オペレータ業務支援システムであって、
   音声データをステレオ形式で格納する音声記憶部と、
   前記通話のオペレータの音声であるオペレータ音声をステレオの一方のチャネルに割り当て、前記オペレータの通話相手の音声であるユーザ音声をステレオの他方のチャネルに割り当てて録音する録音部と、
   前記オペレータ音声を認識してテキストデータに変換すると共に、認識において区切られた文単位に開始時間と終了時間を付加するオペレータ音声認識部と、
   を備えたオペレータ業務支援システム。
6. 前記ユーザ音声を認識してテキストデータに変換すると共に、認識において区切られた文単位に開始時間と終了情報を付加するユーザ音声認識部
   をさらに備えた請求項５に記載のオペレータ業務支援システム。
7. 前記テキストデータに加工を施す応対ログ処理部と、
   前記オペレータの操作を受け付ける入力部と、
   加工を施された前記テキストデータを表示する出力部と
   をさらに備え、
   前記応対ログ処理部は、前記テキストデータに含まれる、あらかじめ指定された直後参照用キーワードにマーキングを施し、
   前記出力部は、前記マーキングされた直後参照用キーワードを強調表示し、
   前記出力部は、前記直後参照用キーワードに関して前記入力部が受け付けた前記操作に応じて、前記直後参照用キーワードを含む文に付加された前記終了時間を参照し、前記終了時間の直後の前記オペレータ音声または前記ユーザ音声を、前記音声記憶部から取得して出力する、
   請求項５または６に記載のオペレータ業務支援システム。
8. 前記オペレータの操作を受け付ける入力部と、
   一方の軸に時間を他方の軸にユーザとオペレータを持つ音声認識結果表示領域と、前記オペレータ音声に係る波形を表示するオペレータ音声領域と、前記ユーザ音声に係る波形を表示するユーザ音声領域とを同一画面上に表示し、前記音声認識結果表示領域には、前記文単位に、前記オペレータの前記開始時間及び対応する前記テキストデータと、前記オペレータの前記終了時間及びその直後の前記ユーザ音声に対応する空のテキストデータとを繰り返して表示する出力部と
   をさらに備え、
   前記入力部は、前記音声認識結果表示領域において、前記時間と、前記ユーザまたは前記オペレータいずれかの組み合わせであるセル、または複数の前記セルの指定を受け付けると、前記セルに対応する前記オペレータ音声領域、及び前記ユーザ音声領域の一部の指定も受け付けたと判断する
   請求項５に記載のオペレータ業務支援システム。
9. 前記オペレータの操作を受け付ける入力部と、
   一方の軸に時間を他方の軸にユーザとオペレータを持つ音声認識結果表示領域と、前記オペレータ音声に係る波形を表示するオペレータ音声領域と、前記ユーザ音声に係る波形を表示するユーザ音声領域とを同一画面上に表示し、前記音声認識結果表示領域には、前記文単位に、前記オペレータの前記開始時間及び対応する前記テキストデータと、前記ユーザの前記開始時間及び対応する前記テキストデータとを繰り返して表示する出力部と
   をさらに備え、
   前記入力部は、前記音声認識結果表示領域において、前記時間と、前記ユーザまたは前記オペレータいずれかの組み合わせであるセル、または複数の前記セルの指定を受け付けると、前記セルに対応する前記オペレータ音声領域、及び前記ユーザ音声領域の一部の指定も受け付けたと判断する
   請求項６に記載のオペレータ業務支援システム。
10. 前記出力部は、前記入力部からオペレータの操作を受け付けると、前記音声認識結果表示領域において、ユーザまたはオペレータのセルの表示幅を拡大、縮小、または消去する
    請求項８または９に記載のオペレータ業務支援システム。
11. 電話を介した通話を記録するとともに、前記通話に伴うオペレータ業務を支援する、オペレータ業務支援システムであって、
    前記通話の音声データを録音する録音部と、
    前記通話の音声データを認識してテキストデータに変換する音声認識部と、
    前記テキストデータを表示する出力部と
    を備え、
    前記録音部と前記音声認識部とは、前記通話を並行して受信し、
    前記音声認識部は、認識において区切られた文単位に、前記テキストデータを変換後、直ちに前記出力部に送信し、
    前記出力部は、前記テキストデータを直ちに出力する
    オペレータ業務支援システム。
12. 前記オペレータの操作を受け付ける入力部をさらに備え、
    前記入力部が中断の指示を受付けてから、再開の指示を受付けるまでの間、
    前記録音部は、録音を一時中断し、
    前記音声認識部は、音声データからテキストデータへの変換を一時中断する請求項１１に記載のオペレータ業務支援システム。
13. 電話を介した通話を記録するとともに、前記通話に伴うオペレータ業務を支援する、オペレータ業務支援システムであって、
    前記通話の音声データをテキストデータに変換する音声認識部と、
    オペレータを特定するオペレータ名と、オペレータの性別とを関連付けて格納する通話ログ管理情報記憶部と、
    前記オペレータの操作を受け付ける入力部と
    を備え、
    前記入力部が前記オペレータ名の指定を受け付けると、
    前記音声認識部は、前記通話ログ管理情報記憶部に格納された前記オペレータ名に関連付けられた性別を取得し、前記性別に合致する音響辞書を用いて音声認識を行う
    オペレータ業務支援システム。
14. 前記オペレータが使用する、スピーカおよびマイクを有するヘッドセットと、
    前記ヘッドセットのスピーカと、前記ヘッドセットのマイクと、前記電話のスピーカと、前記電話のマイクと、前記ステレオの一方のチャネルと、前記ステレオの他方のチャネルとを接続する切り替え部と
    をさらに備え、
    前記切り替え部は、
    前記切り替え部の連動リレーが通話側に設定時、前記ヘッドセットのマイクから前記ステレオの一方のチャネルへと音声データを流し、前記電話のスピーカから前記ステレオの他方のチャネルと前記ヘッドセットのスピーカへと音声データを流し、
    前記切り替え部の連動リレーが聞き起こし側に設定時、前記音声記憶部に記憶された音声の一方のチャネルと他方のチャネルとから、前記ヘッドセットのスピーカへと音声データを流す
    請求項５または６に記載のオペレータ業務支援システム。
15. 前記出力部は、前記テキストデータとは異なる領域に、前記マーキングされたキーワードを、まとめてリスト表示する
    請求項１または２に記載のオペレータ業務支援システム。

Images