JP2011112854A - オペレータ支援装置、オペレータ支援プログラム及びオペレータ支援方法 - Google Patents

Abstract

【課題】手順説明語句に対応した補足語句を抽出すること。
【解決手段】オペレータ支援装置１は、対応関係記憶部２、操作時間取得部３、区間推定部４、補足語句抽出部５を有する。対応関係記憶部２は、手順説明語句と、該手順説明語句に係る操作部位とを対応付けて記憶する。操作時間取得部３は、切替操作時刻ごとにそこから操作対象となった操作部位を対応付けて記憶するＰＣ操作ログ記憶部から所定の操作部位が切替操作された時点を示す操作時間を取得する。区間推定部４は、対応関係記憶部２から切替後の操作部位に係る手順説明語句を抽出する。区間推定部４は、音声記録から、手順説明語句出現の発話区間から先の操作時間以降に発話が開始された時点の発話区間の次に現れる、所定期間より長い発話区間の開始までを、手順説明語句の音声区間と推定する。補足語句抽出部５は、推定済みの音声区間から手順説明語句の補足語句を抽出する。
【選択図】図１

Description

本願の開示する技術は、オペレータ支援装置、オペレータ支援プログラム及びオペレータ支援方法に関する。

多くの企業には、顧客からの電話問合せに応対するためにコールセンタが設置される。このコールセンタでは、応対業務専門のエージェント（以下、オペレータと表記）が顧客からの問合せに応対する。オペレータは、顧客から問合せを受け付けた場合に、問合せ内容に対応する電子マニュアルを端末装置を用いて検索し、その検索結果を参照しながら回答を顧客に説明する。

この電子マニュアルとしては、例えば、ＱＡ（Question and Answer）事例が使用される。かかるＱＡ事例は、問合せ事項（Ｑ）と、その問合せ事項が解決に至るまでの手順を示す回答事項（Ａ）とが対応付けられたものである。この回答事項の手順には、１つの手順を説明する場合にキー（重要）となる語句（以下、手順説明語句と表記）が含まれる。オペレータは手順説明語句を中心に一つ一つの手順を説明することにより応対業務を行う。

ところで、コールセンタに問い合わせてくる顧客の知識レベルは様々である。このため、オペレータが端末装置に表示されるＱＡ事例の回答事項を読み上げたとしても、顧客が必ずしもその内容を理解できるとは限らない。そして、顧客の理解が円滑に進まない場合には応対時間が長時間となり、顧客満足度が低下してしまうおそれがある。このため、オペレータには、顧客の知識レベルに応じて回答事項の説明の仕方を変えるなど臨機応変な応対が求められる。しかし、初心者のオペレータにはかかる応対を行うことが難しい。

このことから、手順説明語句を補足する語句（以下、補足語句と表記）を支援キーワードとして提示するオペレータ支援装置が提案されている。このオペレータ支援装置は、同一の事例であって異なるオペレータによって応対された事例の音声データを対象に補足語句を抽出する。すなわち、オペレータ支援装置は、熟練のオペレータが発話したキーワードと初心者のオペレータが発話したキーワードとを突き合わせる。このとき、オペレータ支援装置は、手順説明語句が発話された時刻の近傍で発話されたキーワードであり、かつ熟練のオペレータ及び初心者のオペレータのうち熟練のオペレータだけが発話したキーワードを補足語句として抽出する。このように、オペレータ支援装置は、ＱＡ事例を表示する場合に、手順説明語句とともに補足語句を表示させることで、オペレータの応対業務を支援する。

特開２００８−３３８３５号公報 特開２００１−５１８７６号公報 特開平１０−６９３８１号公報 特開２００５−２９３１８０号公報

しかしながら、上述した従来の技術は、必ずしも手順説明語句に対応した補足語句を抽出することができないという問題がある。

この点を図２１及び図２２を用いて説明する。図２１及び図２２は、従来技術における補足語句の抽出要領を説明するための説明図である。図２１及び図２２の例では、コールセンタでパーソナルコンピュータ（以下、ＰＣと表記）の操作に関する問合せを受け付ける例を想定する。これら図２１及び図２２は、いずれも顧客からの問合せ事項「ブラウザの設定方法を教えて」に対して、手順Ｘ「インターネットオプションの接続タブを開く」を説明する対話の一例を示す。このうち、図２１の例では、インターネットオプションが中心となる対話に分岐した場合の対話を示す。また、図２２の例では、接続タブが中心となる対話に分岐した場合の対話を示す。ここで、手順Ｘの手順説明語句は「インターネットオプション」「接続タブ」となる。なお、図２１及び図２２における横軸は、時間軸を指し、右方向に進むにしたがって時間が進むことを示す。また、図中の「ｕ」は、「utterance」の略記であり、「ｕ１」から「ｕ１１」までのブロックはオペレータ又は顧客の発話を示し、これらブロックの横方向の大きさは発話区間の長さを示す。さらに、横軸の上方に図示するブロックは顧客の発話を示し、横軸の下方に図示するブロックはオペレータの発話を示すものとする。

図２１に示す例では、以下の会話が行われたものとする。オペレータは「では、インターネットオプションの接続タブを開いて下さい」（ｕ１）と発話する。顧客は「何それ？」（ｕ２）と発話する。オペレータは「メニューバーの右から二番目の・・・」（ｕ３）と発話する。顧客は「メニューバー？」（ｕ４）と発話する。オペレータは「一番上に、ファイル、編集などと並んでいる・・・」（ｕ５）と発話する。顧客は「あ、はいはい」（ｕ６）と発話する。オペレータは「その右から二番目に、ツールとあるのでクリックして下さい」（ｕ７）と発話する。顧客は「二番目・・・はい」（ｕ８）と発話する。オペレータは「すると、一番下にインターネットオプションというものがあります」（ｕ９）と発話する。顧客は「あ、これね」（ｕ１０）と発話する。オペレータは「そこの接続タブを選択して下さい」（ｕ１１）と発話する。

図２１に示す例で言えば、オペレータ支援装置は、ｕ１からｕ１１までの対話を含む音声データの中から、「予め登録されたＱＡ事例の手順説明語句」を抽出する音声認識を行う。図２１の例では、オペレータ支援装置は、ｕ１の発話から「インターネットオプション」及び「接続タブ」を手順説明語句として抽出する。また、オペレータ支援装置は、ｕ９の発話から「インターネットオプション」を手順説明語句として抽出し、ｕ１１の発話から「接続タブ」を手順説明語句として抽出する。ここで、仮に熟練のオペレータだけが行った発話としてｕ３の発話における「メニューバー」及びｕ７の発話における「２番目」を補足語句として抽出したとする。従来技術より、「メニューバー」および「２番目」は、手順Ｘの手順説明語句である「インターネットオプション」および「接続タブ」の近傍に出現しているため、手順Ｘの補足語句として抽出される。実際には、ｕ２からｕ９までの発話では、手順説明語句「インターネットオプション」に関する対話が行われており、手順説明語句「接続タブ」の補足語句ではない。しかし、従来技術では、一手順に対して手順説明語句が複数ある場合、どの手順説明語句の補足語句となるかを特定することができない。

図２２に示す例では、以下の会話が行われたものとする。オペレータは「では、インターネットオプションの接続タブを開いて下さい」（ｕ１）と発話する。顧客は「接続タブって何？」（ｕ２）と発話する。オペレータは「インターネットオプションは開きましたか？」（ｕ３）と発話する。顧客は「開いたよ」（ｕ４）と発話する。オペレータは「一番上に、全般、セキュリティなどと並んでいる・・・」（ｕ５）と発話する。顧客は「あ、これか」（ｕ６）と発話する。オペレータは「はい、そこの接続タブを開いてください」（ｕ７）と発話する。顧客は「はい」（ｕ８）と発話する。

図２２に示す例で言えば、オペレータ支援装置は、ｕ１の発話から「インターネットオプション」及び「接続タブ」を手順説明語句として抽出する。また、オペレータ支援装置は、ｕ３の発話から「インターネットオプション」を手順説明語句として抽出する。さらに、オペレータ支援装置は、ｕ７の発話から「接続タブ」を手順説明語句として抽出する。ここで、仮に熟練のオペレータだけが行った発話としてｕ５の発話における「１番上」を補足語句として抽出したとする。従来技術より、「１番上」は、手順Ｘの手順説明語句である「インターネットオプション」および「接続タブ」の近傍に出現しているため、手順Ｘの補足語句として抽出される。実際には、接続タブの画面上の表示位置を説明するための語句であるため、「インターネットオプション」の補足語句ではないのだが、従来技術では「接続タブ」のみの補足語句であると特定することができない。

このように、上記の従来技術では、１つの手順の中に複数の手順説明語句が存在する場合には、それら複数の手順説明語句の補足語句であるとしか対応づけることができず、補足語句をどの手順説明語句と対応付けるのかを特定できない。

開示の技術は、上記に鑑みてなされたものであって、手順説明語句に対応した補足語句を抽出することができるオペレータ支援装置、オペレータ支援プログラム及びオペレータ支援方法を提供することを目的とする。

本願の開示する技術は、一つの態様において、所定の手順を説明するための語句である手順説明語句と、端末に表示される操作部位のうち該手順説明語句に関係して操作される操作部位とを対応付けて記憶する対応関係記憶部を有する。さらに、本願の開示する技術は、前記端末に表示される操作部位のうち所定の操作部位を切り替える操作が行われた時点を示す操作時間を取得する操作時間取得部を有する。前記操作時間取得部は、操作部位が他の操作部位に切替操作された切替操作時刻ごとにその時刻から操作対象となった操作部位を対応付けて記憶するＰＣ操作ログ記憶部から操作時間を取得する。さらに、本願の開示する技術は、区間推定部を有する。前記区間推定部は、前記対応関係記憶部から前記所定の操作部位から切り替えられた操作部位に関係する手順説明語句を抽出する。前記区間推定部は、音声記録から、前記操作時間取得部によって取得された操作時間より以降に発話が開始された時点を抽出する。前記区間推定部は、手順説明語句が出現した発話区間から当該抽出した時点の発話区間の次に現れる、予め定めた期間よりも長い発話区間の開始時刻に至るまでの音声区間を、前記対応関係記憶部から抽出した手順説明語句に関する音声区間として推定する。さらに、本願の開示する技術は、前記音声記録のうち前記区間推定部によって推定された音声区間から、前記手順説明語句を補足するための語句である補足語句を抽出する補足語句抽出部を有する。

本願の開示する技術の一つの態様によれば、手順説明語句に対応した補足語句を抽出することができるという効果を奏する。

図１は、実施例１に係るオペレータ支援装置の構成を示すブロック図である。 図２は、実施例２に係るオペレータ支援装置の構成を示すブロック図である。 図３は、対応関係記憶部に記憶される情報の構成例を示す図である。 図４は、応対履歴リストの一例を示す図である。 図５は、オペレータに係る韻律データリストの一例を示す図である。 図６は、顧客に係る韻律データリストの一例を示す図である。 図７は、オペレータに係る発話区間情報の一例を示す図である。 図８は、顧客に係る発話区間情報の一例を示す図である。 図９は、認識キーワードリストの一例を示す図である。 図１０は、操作時間リストの一例を示す図である。 図１１は、手順対応区間の推定結果の一例を示す図である。 図１２は、手順説明語句の対応区間の推定結果の一例を示す図である。 図１３は、補足語句リストの一例を示す図である。 図１４は、実施例２に係るオペレータ支援装置における処理の流れを示すフローチャートである。 図１５は、実施例２に係る手順対応区間の推定処理の手順を示すフローチャートである。 図１６は、実施例２に係る手順説明語句の対応区間の推定処理の手順を示すフローチャートである。 図１７は、実施例２に係る補足語句抽出処理の手順を示すフローチャートである。 図１８は、実施例２に係る補足語句の抽出要領を説明するための説明図である。 図１９は、実施例２に係る補足語句の抽出要領を説明するための説明図である。 図２０は、オペレータ支援プログラムを実行するコンピュータを示す図である。 図２１は、従来技術における補足語句の抽出要領を説明するための説明図である。 図２２は、従来技術における補足語句の抽出要領を説明するための説明図である。

以下に、図面を参照しつつ、本願の開示するオペレータ支援装置、オペレータ支援プログラム及びオペレータ支援方法の一実施形態について詳細に説明する。なお、本願の開示するオペレータ支援装置、オペレータ支援プログラム及びオペレータ支援方法の一実施形態として以下に説明する実施例により、本願の開示する技術が限定されるものではない。

図１は、実施例１に係るオペレータ支援装置の構成を示すブロック図である。同図に示すように、実施例１に係るオペレータ支援装置１は、記憶部２と、操作時間取得部３と、区間推定部４と、補足語句抽出部５とを有する。

対応関係記憶部２は、所定の手順を説明するための語句である手順説明語句と、端末に表示される操作部位のうち手順説明語句に関係して操作される操作部位とを対応付けて記憶する。操作時間取得部３は、端末に表示される操作部位のうち所定の操作部位を切り替える操作が行われた時点を示す操作時間を取得する。この操作時間取得部３は、操作部位が他の操作部位に切替操作された切替操作時刻ごとにその時刻から操作対象となった操作部位を対応付けて記憶するＰＣ操作ログ記憶部から、操作時間を取得する。

区間推定部４は、対応関係記憶部２から、所定の操作部位から切り替えられた操作部位に関係する手順説明語句を抽出するとともに、音声記録から、操作時間取得部３によって取得された操作時間より以降に発話が開始された時点を抽出する。そして、区間推定部４は、手順説明語句が出現した発話区間から抽出した時点の発話区間の次に現れる、予め定めた期間よりも長い発話区間の開始時刻に至るまでの音声区間を、対応関係記憶部２から抽出した手順説明語句に関する音声区間として推定する。補足語句抽出部５は、音声記録のうち区間推定部４によって推定された音声区間から、手順説明語句を補足するための語句である補足語句を抽出する。

このように、操作時間より以降に発話が開始された時点に至るまでの音声区間を手順説明語句に関する音声区間として推定するのは、オペレータが行う端末の操作と、オペレータ及び顧客の対話の間に関連性があるからである。

つまり、オペレータは、回答事項の手順を説明する場合に、１つの手順で到達目標とする操作部位、すなわち手順説明語句に対応する操作部位に至るまで操作部位を操作しながら説明を行う。そして、到達目標とする操作部位へ至った段階で、オペレータは、顧客を到達目標とする操作部位まで誘導できたか否かを確認するために、操作部位（手順説明語句）に関する確認発話を行うのが応対の定石である。かかる確認発話が行われた場合には、その確認発話で登場した操作部位に関する説明をそれ以前にオペレータが行っていたのは明らかであり、それ以前の対話を確認発話で登場した手順説明語句に関する対話とみなすことができる。

このように、本実施例に係るオペレータ支援装置１では、かかる知見に基づく区間推定を行うので、手順説明語句に対応する音声区間を推定できる。このため、本実施例に係るオペレータ支援装置１によれば、手順説明語句に対応した補足語句を抽出することが可能になる。

［オペレータ支援装置の構成］
図２は、実施例２に係るオペレータ支援装置の構成を示すブロック図である。なお、本実施例では、コールセンタでパーソナルコンピュータの操作に関する問合せを受け付ける場合を想定したオペレータ支援装置を説明する。なお、以下では、パーソナルコンピュータをＰＣと略記することとする。

図２に示すように、オペレータ支援装置１００は、ＰＣ操作ログ記憶部１１０と、事例データ記憶部１２０と、対応関係記憶部１２５と、音声データ記憶部１３０と、対応関係設定部１４０と、韻律情報抽出部１５０と、発話区間抽出部１５５とを有する。さらに、オペレータ支援装置１００は、音声認識部１６０と、操作時間取得部１７０と、区間推定部１８０と、補足語句抽出部１９０とを有する。

ＰＣ操作ログ記憶部１１０は、オペレータが使用するＰＣにおけるＰＣ操作ログを記憶する。ＰＣ操作ログ記憶部１１０は、操作部位が他の操作部位に切替操作された切替操作時刻ごとにその時刻から操作対象となった操作部位を対応付けて記憶する。ここで言う「操作部位」とは、ＯＳ（Operating System）やアプリケーションによって生成される画面そのものに加え、画面内でのマウス操作やキーボード操作といった操作に応答して表示されるタブやプルダウンメニューなども含む。なお、かかるＰＣ操作ログは、既存の操作ログ取得ソフト又はＯＳの機能を用いることにより取得できる。

事例データ記憶部１２０は、オペレータが応対時に参照する事例データを記憶する。この事例データ記憶部１２０は、事例ＩＤ（Identification）ごとにＱＡ（Question and Answer）事例の問合せ事項及び回答事項を対応付けて記憶する。一例を挙げれば、事例ＩＤ「ＱＡ１２３」には、問合せ事項「ブラウザの設定方法を教えて」、回答事項に含まれる各手順が対応付けられる。この回答事項は、手順１「インターネットオプションの接続タブを開く」、手順２「ＬＡＮ（Local Area Network）の設定を開く」、手順３「プロキシサーバーの設定を確認する」を含む。なお、回答事項の各手順には、それぞれの手順番号に対応する数字を枝番とした事例手順ＩＤが付与されるものとする。

対応関係記憶部１２５は、回答事項に含まれる１つの手順を説明する場合にキー（重要）となる手順説明語句と、その手順説明語句に関係して操作される操作部位との対応関係を記憶する。対応関係記憶部１２５は、手順説明語句、事例手順ＩＤ及び操作部位を対応付けて記憶する。なお、手順説明語句及び操作部位の対応関係は、後述の対応関係設定部１４０によって設定される。

図３は、対応関係記憶部に記憶される情報の構成例を示す図である。図３に示すように、対応関係記憶部１２５は、手順説明語句「インターネットオプション」に事例手順ＩＤ「ＱＡ１２３−１」及び操作部位「インターネットオプションwindow−全般タブ画面」を対応付けて記憶する。また、対応関係記憶部１２５は、手順説明語句「接続タブ」に事例手順ＩＤ「ＱＡ１２３−１」及び操作部位「インターネットオプションwindow−接続タブ画面」を対応付けて記憶する。さらに、対応関係記憶部１２５は、手順説明語句「ＬＡＮ」に事例手順ＩＤ「ＱＡ１２３−２」及び操作部位「ローカルエリアネットワーク（ＬＡＮ）の設定window」を対応付けて記憶する。この図３に示す例では、「インターネットオプション」及び「接続タブ」が同一の事例であり、かつ同じ手順に含まれる手順説明語句である状況を示す。

音声データ記憶部１３０は、過去の応対業務において録音された音声データを記憶する。例えば、音声データ記憶部１３０には、１人の顧客の応対で顧客とオペレータの電話の呼が接続されてからその接続が切られるまでの１つのコールが音声データとして録音される。音声データ記憶部１３０は、後述する機能部から任意の音声データの呼び出しが可能となるように、コールを一意に識別するためのコールＩＤに対応付けて音声データを記憶する。また、音声データ記憶部１３０は、後述の機能部で時刻換算可能なように、コールＩＤに対応付けて録音開始時点の時刻を記憶する。なお、音声データは、例えば、オペレータの音声データ及び顧客の音声データそれぞれを異なる系統から入力されたステレオデータであるものとするが、単一系統から入力されるモノラルデータであってもかまわない。また、音声データの録音区間は、呼の接続から切断までに限定されるものではなく、開始時刻が呼の接続から前後してもよく、また、終了時刻が呼の接続から前後してもかまわない。

また、音声データ記憶部１３０は、応対履歴リストを記憶する。この応対履歴リストは、コールＩＤごとにそのコールに係る応対業務でオペレータが参照した事例データを対応付けたリストである。図４は、応対履歴リストの一例を示す図である。図４に示す例で言えば、コールＩＤ「ｃａｌｌ ００１」の応対では、事例ＩＤ「ＱＡ１２３」に関する問合せを受け付けたことを示す。コールＩＤ「ｃａｌｌ ００２」の応対では、事例ＩＤ「ＱＡ４５６」に関する問合せを受け付けたことを示す。また、コールＩＤ「ｃａｌｌ ００３」の応対では、事例ＩＤ「ＱＡ１３５」に関する問合せを受け付けたことを示す。なお、これらコールＩＤ及び事例ＩＤは、応対業務終了後にオペレータが使用する端末で両者が対応付けて入力されるものとする。また、ここでは、１つのコールで問合せを受け付ける事例が１つである場合を例示したが、１つのコールで複数の事例に関する問合せを受け付けることもできる。

対応関係設定部１４０は、事例データ記憶部１２０に記憶されたＱＡ事例のうち回答事項の各手順に含まれる手順説明語句と、ＰＣの操作全般に関する操作部位との対応関係を設定する。かかる設定の一例として、対応関係設定部１４０は、事例データ記憶部１２０に記憶された事例手順ＩＤの昇順または降順にその手順に含まれる事例データを読み出す。このとき、対応関係設定部１４０は、事例データのうち回答事項に含まれる各手順の文書に対して形態素解析技術などを用いて解析することで、所定の条件、例えば文書中に網かけを施した語などを満たすキーワードを手順説明語句として抽出する。そして、対応関係設定部１４０は、コールセンタの管理者や熟練のオペレータなどから図示しない入力デバイス等を介して、先に抽出した手順説明語句への対応付け先とする操作部位を選択させる。その後、対応関係設定部１４０は、このようにして対応付け先として選択された操作部位及び手順説明語句とともにその手順説明語句が含まれる手順に対応する事例手順ＩＤを対応付けて対応関係記憶部１２５に設定登録する。なお、ここでは、コールセンタの関係者による入力操作によって対応関係を設定する場合を説明したが、ネットワークを介して対応関係を取得してもよい。また、ここでは、回答事項に含まれる各手順の手順説明語句を形態素解析技術を用いて抽出することとしたが、コールセンタ関係者による指定や同一事例で発話頻度が閾値以上のものなど、任意の基準で抽出できる。

韻律情報抽出部１５０は、音声データ記憶部１３０に記憶された音声データから韻律データリストを生成する。例えば、韻律情報抽出部１５０は、韻律情報が未抽出のコールＩＤが存在する場合に、音声データ記憶部１３０から音声データを読み出す。そして、韻律情報抽出部１４０は、ステレオデータである音声データのうちオペレータの音声データから所定の時間間隔でパワー値をサンプリングすることでオペレータの韻律データを抽出する。そして、韻律情報抽出部１５０は、抽出したオペレータの韻律データからオペレータの韻律データリストを生成する。また、韻律情報抽出部１５０は、顧客の音声データに対してもオペレータの場合と同様にパワー値をサンプリングする処理を実行し、顧客の韻律データリストを生成する。なお、パワー値は、音声データから取得される信号波形の振幅の大きさから算出される。

図５は、オペレータに係る韻律データリストの一例を示す図である。図５に示すように、オペレータの韻律データリストは、一定時間ごとにパワー値が対応付けられた情報である。図５では、１２．８［ｍｓｅｃ］ごとにサンプリングした場合を例示する図５に示すオペレータの韻律データリストによれば、時間「０」のパワー値が−６０．００８１５２であることを示す。時間「１２．８」のパワー値が−５１．８０１００６であることを示す。時間「２５．６」のパワー値が−４９．１７１９２１であることを示す。時間「３８．４」のパワー値が−５０．００５３４４であることを示す。時間「５１．２」のパワー値が−５２．４２２９７７であることを示す。時間「６４．０」のパワー値が−５７．１８０４７３であることを示す。時間「７６．８」のパワー値が−６２．３０３６３８であることを示す。時間「８９．６」のパワー値が−５７．４６８８２６であることを示す。時間「１０２．４」のパワー値が−５３．０６８７１４であることを示す。また、時間「１１５．２」のパワー値が−５１．６５５３９６であることを示す。なお、ここで言う時間とは、音声データの録音の開始時刻をゼロとした場合の経過時間を指すが、標準時刻のタイムスタンプなどの他の時刻を用いることもできる。

図６は、顧客に係る韻律データリストの一例を示す図である。図６に示すように、顧客の韻律データリストは、一定時間ごとにパワー値が対応付けられた情報である。図６では、１２．８［ｍｓｅｃ］ごとにサンプリングした場合を例示する図６に示す顧客の韻律データリストによれば、時間「０」のパワー値が−５７．１８０４７３であることを示す。時間「１２．８」のパワー値が−６２．３０３６３８であることを示す。顧客の韻律データリストには、時間「２５．６」のパワー値が−５７．４６８８２６であることを示す。時間「３８．４」のパワー値が−５３．０６８７１４であることを示す。時間「５１．２」のパワー値が−５１．６５５３９６であることを示す。時間「６４．０」のパワー値が−６０．００８１５２であることを示す。時間「７６．８」のパワー値が−５１．８０１００６であることを示す。時間「８９．６」のパワー値が−４９．１７１９２１であることを示す。時間「１０２．４」のパワー値が−５０．００５３４４であることを示す。また、時間「１１５．２」のパワー値が−５２．４２２９７７であることを示す。

発話区間抽出部１５５は、韻律情報抽出部１５０より抽出された韻律データから発話区間情報を抽出する。例えば、発話区間抽出部１５５は、オペレータの韻律データリストから所定の閾値以上のパワー値が連続する区間を検出し、検出した区間の期間が所定の期間以上持続する区間の開始時刻及び終了時刻をオペレータの発話区間として抽出する。そして、発話区間抽出部１５５は、このようにして抽出したオペレータの発話区間に発話区間を識別するための発話区間ＩＤを採番し、採番した発話区間ＩＤに発話区間を対応付けたオペレータの発話区間情報を生成する。

図７は、オペレータに係る発話区間情報の一例を示す図である。オペレータの発話区間情報は、図７に示すように、発話区間ＩＤごとに開始時刻及び終了時刻が対応付けられた情報である。図７に示すように、発話区間ＩＤ「ｃａｌｌ００１−１」の例では、オペレータが開始時刻「１０ｍｓｅｃ」から終了時刻「１４３２０ｍｓｅｃ」まで発話したことを示す。発話区間ＩＤ「ｃａｌｌ００１−３」の例では、オペレータが開始時刻「・・・ｍｓｅｃ」から終了時刻「・・・ｍｓｅｃ」まで発話したことを示す。なお、これら開始時刻及び終了時刻は、音声データの録音の開始時刻をゼロとした場合の経過時間を指すが、標準時刻のタイムスタンプなどの他の時刻を用いることもできる。

また、発話区間抽出部１５５は、顧客の韻律データリストについてもオペレータの韻律データリストと同様にして顧客の発話区間情報を抽出する。図８は、顧客に係る発話区間情報の一例を示す図である。図８に示すように、発話区間ＩＤ「ｃａｌｌ００１−２」の例では、顧客が開始時刻「１４３５０ｍｓｅｃ」から終了時刻「１７８００ｍｓｅｃ」まで発話したことを示す。発話区間ＩＤ「ｃａｌｌ００１−４」の例では、顧客が開始時刻「・・・ｍｓｅｃ」から終了時刻「・・・ｍｓｅｃ」まで発話したことを示す。

音声認識部１６０は、音声データ記憶部１３０に記憶された音声データに音声認識を行って認識キーワードリストを作成する。例えば、音声認識部１６０は、音声データ記憶部１３０に記憶された音声データのうち処理対象とするコールＩＤに対応する音声データを読み出すとともに応対履歴リストのうちコールＩＤに対応する事例ＩＤを読み出す。さらに、音声認識部１６０は、先に読み出した事例ＩＤに対応する手順説明語句を対応関係記憶部１２５から読み出す。このようにして、音声認識部１６０は、オペレータが実際に応対を行ったＱＡ事例の回答事項に含まれる手順説明語句とその発話を含む音声データとを読み出す。その後、音声認識部１６０は、手順説明語句を認識対象とする認識キーワードとし、認識キーワードに基づく音声認識を音声データに行って手順説明語句の発話が開始された時刻（以下、出現時刻とする）を特定する。このようにして手順説明語句の出現時刻を特定すると、音声認識部１６０は、コールＩＤ、認識キーワード（手順説明語句）、事例手順ＩＤ及び出現時刻を含むレコードを追加することにより認識キーワードリストを生成する。なお、音声認識部１６０は、補足語句が未抽出である音声データが音声データ記憶部１３０に存在し、かつその音声データに対応する応対履歴リストが音声データ記憶部１３０に登録されているコールＩＤを音声認識の処理対象とすることができる。

図９は、認識キーワードリストの一例を示す図である。図９に示すように、「ｃａｌｌ ００１」の音声データの録音開始時刻から「１０５５０ｍｓｅｃ」が経過した時点でＱＡ事例１２３の手順１に含まれる手順説明語句「インターネットオプション」の発話が開始されたことを示す。「ｃａｌｌ ００１」の音声データの録音開始時刻から「１２８７０ｍｓｅｃ」が経過した時点でＱＡ事例１２３の手順１に含まれる「接続タブ」の発話が開始されたことを示す。「ｃａｌｌ ００１」の音声データの録音開始時刻から「９９１８０ｍｓｅｃ」が経過した時点でＱＡ事例１２３の手順１に含まれる「インターネット」の発話が開始されたことを示す。また、「ｃａｌｌ ００１」の音声データの録音開始時刻から「１１０３００ｍｓｅｃ」が経過した時点でＱＡ事例１２３の手順２に含まれる「ＬＡＮ」の発話が開始されたことを示す。

操作時間取得部１７０は、ＰＣ操作ログ記憶部１１０に記憶されるＰＣ操作ログから、オペレータが使用するＰＣで表示される操作部位のうち所定の操作部位を切り替える操作が行われた時点を示す操作時間を取得する。

ここで、ＰＣ操作ログとして記憶された切替操作時刻は、操作部位の切替操作が行われた時刻である。この切替操作時刻は、音声データの録音時間と対比されるが、音声データとは別系統で操作ログ取得ソフトを用いて収集されたログであるため、音声データの経過時間とは同一視することはできない。このままでは、後述の区間推定部１８０で操作部位の切替操作時刻と音声データの経過時間を対比できないので、操作時間取得部１７０は、両者の対比が可能となるように、時刻を経過時間へ換算するか、或いは経過時間を時刻へ換算する。

このような換算を成立させるには、ＰＣ操作ログ記憶部１１０又は音声データ記憶部１３０のいずれかに音声データの経過時間及び操作部位の切替操作時刻の対応関係を持たせておくのが好ましい。一例としては、音声データの記録を行う録音ソフトは、音声データの録音時に、音声データの録音開始時点の時刻を音声データのコールＩＤに対応付けて音声データ記憶部１３０に登録する。なお、ここでは、音声データとともに録音開始時点の時刻を音声データ記憶部１３０へ登録させることとしたが、コールＩＤに対応付けてそのコールの録音開始時点からの切替操作時刻までの時間差をＰＣ操作のログ取得ソフトに登録させるようにしてもよい。

このようにして予め登録された録音開始時点の時刻を用いて、操作時間取得部１７０は、音声データ記憶部１３０に記憶された音声データの録音区間を切出し範囲とし、ＰＣ操作ログ記憶部１１０からＰＣ操作ログを切り出す。すなわち、操作時間取得部１７０は、音声データの録音開始時刻から録音終了時刻までの区間に切替操作時刻が含まれるＰＣ操作ログを切り出す。そして、操作時間取得部１７０は、各々の切替操作時刻と録音開始時点の時刻との間で差分を求めることにより、切替操作時刻ごとにその切替操作の録音開始時点からの経過時間（操作時間）を算出する。その上で、操作時間取得部１７０は、ＰＣ操作ログの切出しに使用された音声データのコールＩＤ、切替後の操作部位及びその切替操作が行われた時点を示す操作時間を対応付けて操作時間リストを生成する。なお、操作時間取得部１７０は、補足語句が未抽出である音声データのコールＩＤであれば任意のコールＩＤを操作時間の取得対象とすることができる。

図１０は、操作時間リストの一例を示す図である。操作時間リストは、コールＩＤごとに操作部位及び操作時間が対応付けられた情報である。図１０に示す例では、コールＩＤ「ｃａｌｌ ００１」の音声データの録音開始時刻からの経過時間が「１７５６０ｍｓｅｃ」になった時点で操作部位が「ブラウザｗｉｎｄｏｗ」に切り替えられたことを示す。図１０に示す例では、コールＩＤ「ｃａｌｌ ００１」の音声データの録音開始時刻からの経過時間が「１００２３０ｍｓｅｃ」になった時点で操作部位が「インターネットオプションｗｉｎｄｏｗ−全般タブ画面」に切り替えられたことを示す。

区間推定部１８０は、手順説明語句に関する音声区間を推定する。区間推定部１８０は、補足語句が未抽出である音声データのコールＩＤを対象に、音声データに含まれるオペレータの発話を時系列に追従することにより、その音声データに含まれる手順説明語句に関する音声区間の開始時刻及び終了時刻を推定する。

この区間推定部１８０は、手順説明語句に関する音声区間を推定するに際して、音声認識部１６０による認識キーワードリストを用いて、回答事項に含まれる１つの手順が説明された手順対応区間を推定する。その上で、区間推定部１８０は、操作時間取得部１７０によって取得された操作時間を用いて、手順説明語句の対応区間を推定する。なお、ここでは、（１）手順対応区間の推定を説明してから、（２）手順説明語句の対応区間の推定を説明する。

（１）手順対応区間の推定
ここでは、区間推定部１８０による手順対応区間の推定を説明する。区間推定部１８０は、音声認識部１６０によって出力された認識キーワードリスト及び発話区間抽出部１５５によって出力されたオペレータの発話区間情報を用いて、ＱＡ事例の回答事項に含まれる手順ごとにその手順に関する説明の開始時刻を推定する。つまり、区間推定部１８０は、手順説明語句が出現した時点をその手順説明語句が含まれる手順の説明が開始された時点と推定する。

これを順を追って説明すると、区間推定部１８０は、認識キーワードリストから事例手順ＩＤ及び出現時刻（図９参照）を取得するとともに、その出現時刻が含まれるオペレータの発話区間情報（図７参照）を取得する。

このとき、区間推定部１８０は、認識キーワードリストから事例手順ＩＤ及び出現時刻を最初に取得した場合には、出現時刻を含む発話区間の開始時刻を、その事例手順ＩＤに対応する音声区間の開始時刻として推定する。例えば、図７及び図９に示す例で言えば、区間推定部１８０は、図９に示す認識キーワードリストから事例手順ＩＤ「ＱＡ１２３−１」及び出現時刻「１０５５０ｍｓｅｃ」を最初に取得する。このため、区間推定部１８０は、この出現時刻「１０５５０ｍｓｅｃ」を発話区間に含む発話の開始時刻「１０ｍｓｅｃ」（図７参照）を事例手順ＩＤ「ＱＡ１２３−１」に対応する音声区間の開始時刻とそのまま推定する。

また、区間推定部１８０は、認識キーワードリストから取得する事例手順ＩＤ及び出現時刻が最初でない場合には、今回に取得する事例手順ＩＤが前回に取得した事例手順ＩＤと同一であるか否かを判定する。このとき、区間推定部１８０は、今回に取得した事例手順ＩＤが前回に取得した事例手順ＩＤと同じである場合には、同じ事例手順ＩＤの説明が継続しているものとみなし、認識キーワードリストから次の事例手順ＩＤ及び出現時刻を取得する。例えば、図７及び図９に示す例で言えば、区間推定部１８０は、図９に示す認識キーワードリストにおける上から１番目から３番目の事例手順ＩＤ及び出現時刻を取得し終えるまでは、事例手順ＩＤ「ＱＡ１２３−１」の説明が継続しているとみなす。

一方、区間推定部１８０は、今回に取得した事例手順ＩＤが前回に取得した事例手順ＩＤと異なる場合には、今回に取得した出現時刻を含む発話区間の開始時刻を、今回に取得した事例手順ＩＤに対応する音声区間の開始時刻として推定する。例えば、区間推定部１８０は、図９に示す認識キーワードリストから事例手順ＩＤ「ＱＡ１２３−２」及び出現時刻「１１０３００ｍｓｅｃ」を取得した場合に、次の手順の発話に移ったものとみなす。つまり、区間推定部１８０は、事例手順ＩＤ「ＱＡ１２３−１」の説明が終了して事例手順ＩＤ「ＱＡ１２３−２」が開始されたものとみなす。なお、この場合には、事例手順ＩＤ「ＱＡ１２３−２」に対応する音声区間の開始時刻とみなすので、この開始時刻が事例手順ＩＤ「ＱＡ１２３−１」に対応する音声区間の終了時刻と仮に推定されることになる。

このように、区間推定部１８０は、１つのコールＩＤの音声データの音声認識結果として得られた認識キーワードリストのレコード全てに上述の処理を行うことにより、手順対応区間の推定結果を得る。つまり、区間推定部１８０は、１つのコールＩＤの音声データを手順説明語句の出現時刻で区切ることにより、回答事項に含まれる１つの手順が説明されている区間ごとに区切る処理を行う。なお、ここでは、手順説明語句の出現時刻で区切っただけであり、実際の音声区間の終了時刻が次の手順説明の開始時刻とは限らない。

図１１は、手順対応区間の推定結果の一例を示す図である。例えば、図１１に示すように、手順対応区間の推定結果は、コールＩＤごとに事例手順ＩＤ、手順対応区間の開始時刻［ｍｓｅｃ］及び終了時刻［ｍｓｅｃ］が対応付けられた情報である。図１１に示す例で言えば、事例手順ＩＤ「ＱＡ１２３−１」に関する対話が開始時刻「１０」から終了時刻「１３１０５０」まで行われたことを示す。また、事例手順ＩＤ「ＱＡ１２３−２」に関する対話が開始時刻「１３１０５０」から終了時刻「・・・」まで行われたことを示す。なお、ここでは、コール「ｃａｌｌ ００１」に関する手順対応区間だけを例示したが、補足語句が未抽出である音声データのコールＩＤすべてに同様の処理が行われる。

（２）手順説明語句の対応区間の推定
次に、区間推定部１８０による手順説明語句の対応区間の推定を説明する。区間推定部１８０は、操作時間取得部１７０によって出力された操作時間リストを用いて、手順説明語句の対応区間を推定する。なお、区間推定部１８０は、ＱＡ事例の回答事項に含まれる１つの手順を処理単位とし、先に推定した手順対応区間全てに対して手順説明語句の対応区間を推定し終えるまで繰り返し処理を行う。

この点を順を追って説明すると、区間推定部１８０は、先に推定した手順対応区間の開始時刻と終了時刻を取得する。その後、区間推定部１８０は、操作時間取得部１７０によって出力された操作時間リストのうち、操作時間（録音開始時刻からの経過時間）が最も短い操作時間から順に操作時間及び切替後の操作部位を取得する。そして、区間推定部１８０は、切替後の操作部位との間で対応関係を有する手順説明語句を対応関係記憶部１２５から抽出する。

さらに、区間推定部１８０は、オペレータの発話区間情報を参照して、切替操作が行われた操作時間に対応するオペレータの発話（Ｎ）を取得するとともに取得したオペレータの発話の次のオペレータの発話（Ｎ＋１）を取得する。ここで、区間推定部１８０は、操作時間を含むオペレータの発話が存在する場合には、そのオペレータの発話（Ｎ）を取得するとともに、取得したオペレータの発話の次のオペレータの発話（Ｎ＋１）を取得する。一方、区間推定部１８０は、操作時間を含むオペレータの発話が存在しない場合には、その直後のオペレータの発話（Ｎ）を取得するとともに、取得したオペレータの発話の次のオペレータの発話（Ｎ＋１）を取得する。

このとき、区間推定部１８０は、次のオペレータの発話区間（Ｎ＋１の発話区間）が所定の期間よりも長い場合には、次のオペレータの発話（Ｎ＋１）の開始時刻を手順説明語句に関する音声区間の終了時刻と推定する。また、次のオペレータの発話区間（Ｎ＋１の発話区間）が所定の期間よりも短い場合には、次々回のオペレータの発話（Ｎ＋２）を取得し、次々回のオペレータの発話（Ｎ＋２）が所定の期間よりも短いか否かをさらに判定する。このようにして、区間推定部１８０は、所定の期間より長いオペレータの発話が見つかるまでオペレータの発話をサーチする。なお、ここで言う所定期間は、オペレータが顧客の発話に対して「はい」や「うん」などの応答発話を行う期間として予想される期間をコールセンタ関係者が任意に設定することができる。

このように、区間推定部１８０は、操作時間取得部１７０によって出力された操作時間リストレコード全てに上述の処理を行うことにより、手順説明語句の対応区間の推定結果を得る。つまり、区間推定部１８０は、操作部位が切り替えられた操作時間を用いて、先に推定した手順対応区間の中を手順説明語句の対応区間で区切る。

図１２は、手順説明語句の対応区間の推定結果の一例を示す図である。例えば、図１２に示すように、手順説明語句の対応区間の推定結果は、コールＩＤごとに事例手順ＩＤ、手順説明語句及び終了時刻が対応付けられた情報である。図１２に示す例では、事例手順ＩＤ「ＱＡ１２３−１」に含まれる手順説明語句「インターネットオプション」の対話が終了時刻「１１０２８０（ｍｓｅｃ）」に終了したことを示す。また、事例手順ＩＤ「ＱＡ１２３−１」に含まれる手順説明語句の対話が終了時刻「・・・（ｍｓｅｃ）」に終了したことを示す。

図２の説明に戻り、補足語句抽出部１９０は、区間推定部１８０により推定された手順説明語句の音声区間の推定結果と、発話区間抽出部１５５により抽出されたオペレータの発話区間情報とを用いて、手順説明語句を補足するための補足語句を抽出する。この補足語句抽出部１９０は、補足語句が未抽出であるコールＩＤの音声データであり、区間推定部１８０によって推定された手順説明語句の音声区間が存在する音声データのコールＩＤを補足語句の抽出対象とすることができる。

具体的に説明すると、補足語句抽出部１９０は、発話区間抽出部１５５により抽出されたオペレータの発話区間情報のうち、区間推定部１８０により推定された手順説明語句の音声区間に含まれるオペレータの発話の発話区間を取得する。例えば、図１１及び図１２に示す例で言えば、補足語句抽出部１９０は、手順説明語句「インターネットオプション」に関する音声区間「１０（ｍｓｅｃ）」〜「１１０２８０（ｍｓｅｃ）」に含まれるオペレータの各発話の発話区間を取得する。

その上で、補足語句抽出部１９０は、先に取得したオペレータの発話の発話区間の音声データを補足語句の抽出範囲とし、その補足語句の抽出範囲の音声データに音声認識を行って補足語句を抽出する。例えば、音声データから補足語句となり得る語句を抽出する音素認識技術としては、韻律データから未知語を検索して抽出する技術やその他の公知の技術を任意に選択して使用できる。また、補足語句となり得る語句から補足語句とする語句を抽出する技術としては、特開２００８−３３８３５号公報に開示される技術やその他の公知の技術を任意に選択して使用できる。

その後、補足語句抽出部１９０は、このようにして抽出した補足語句をその補足語句の抽出範囲を定めるのに使用した音声区間の手順説明語句及びその事例手順ＩＤに対応付けることにより、補足語句リストを生成する。

図１３は、補足語句リストの一例を示す図である。例えば、図１３に示すように、補足語句リストは、事例手順ＩＤごとに手順説明語句及び補足語句を対応付けられた情報である。図１３に示す例で言えば、事例手順ＩＤ「ＱＡ１２３−１」の手順説明語句「インターネットオプション」として補足語句「メニューバー」が対応付けたことを示す。また、手順ＩＤ「ＱＡ１２３−１」の手順説明語句「インターネットオプション」として補足語句「２番目」が対応付けられたことを示す。また、手順ＩＤ「ＱＡ１２３−１」の手順説明語句「接続タブ」として補足語句「１番上」が対応付けられたことを示す。また、手順ＩＤ「ＱＡ１２３−２」の手順説明語句「ＬＡＮ」として補足語句「１番下」が対応付けられたことを示す。

なお、図２に示したオペレータ支援装置１００は、上記の韻律情報抽出部１５０、発話区間抽出部１５５、音声認識部１６０、操作時間取得部１７０、区間推定部１８０及び補足語句抽出部１９０の各機能を情報処理装置に搭載することで実現することもできる。この情報処理装置としては、既知のパーソナルコンピュータ、ワークステーション、ＡＳＰ（Application Service Provider）サーバ装置、携帯電話、ＰＨＳ端末、移動体通信端末またはＰＤＡなどが挙げられる。

また、ＰＣ操作ログ記憶部１１０、事例データ記憶部１２０、対応関係記憶部１２５及び音声データ記憶部１３０は、以下に示すような記憶装置である。例えば、記憶装置とは、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、ハードディスクや光ディスクなどである。また、対応関係設定部１４０、韻律情報抽出部１５０、発話区間抽出部１５５、音声認識部１６０、操作時間取得部１７０、区間推定部１８０及び補足語句抽出部１９０は、集積回路や電子回路により実現される。集積回路としては、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などを適用できる。また、電子回路としては、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などを適用できる。

［オペレータ支援装置による処理］
次に、本実施例に係るオペレータ支援装置の処理の流れを説明する。なお、ここでは、（１）オペレータ支援装置１００における処理の流れを説明しながら、区間推定部１８０によって行われる（２）手順対応区間の推定処理を説明し、（３）手順説明語句の対応区間の推定処理を説明する。その後、（１）オペレータ支援装置１００における処理の流れを説明しながら、補足語句抽出部１９０によって行われる（４）補足語句抽出処理を説明する。

（１）オペレータ支援装置における処理の流れ
図１４を用いて、本実施例に係るオペレータ支援装置における処理の流れについて説明する。図１４は、実施例２に係るオペレータ支援装置における処理の流れを示すフローチャートである。なお、オペレータ支援装置１００は、音声データ記憶部１３０に記憶された応対履歴リストに補足語句が未抽出であるコールＩＤ及び事例ＩＤが存在する場合に処理を起動する。

図１４に示すように、オペレータ支援装置１００は、補足語句が未抽出であるコールＩＤの音声データを対象に、ステップＳ１０１Ａ〜Ｓ１０４Ａの音声データ系の処理と、ステップＳ１０１Ｂ〜Ｓ１０２Ｂの操作履歴系の処理とを並列して行うことができる。

音声データ系の処理について説明すると、韻律情報抽出部１５０は、音声データ記憶部１３０に記憶された音声データからオペレータの韻律データリスト（図５参照）を生成する（ステップＳ１０１Ａ）。そして、発話区間抽出部１５５は、韻律情報抽出部１５０より抽出されたオペレータの韻律データリストから発話区間情報（図７参照）を生成する（ステップＳ１０２Ａ）。その後、音声認識部１６０は、音声データ記憶部１３０に記憶された音声データに音声認識を行って手順説明語句の出現時刻を含む認識キーワードリスト（図９参照）を生成する（ステップＳ１０３Ａ）。なお、ここでは、韻律情報の抽出、発話区間の抽出を行った後に音声認識を行う場合を説明したが、音声認識については、韻律情報の抽出及び発話区間の抽出と並列して行うこともできる。

このようにしてステップＳ１０１Ａ〜Ｓ１０３Ａの音声データ系の処理が終了した後に、区間推定部１８０は、発話区間情報及び認識キーワードリストを用いて、音声区間の開始時刻を推定する処理を行う（ステップＳ１０４Ａ）。

（２）手順対応区間の推定処理
ここで、図１５を用いて、図１４のステップＳ１０４Ａで示した手順対応区間の推定処理について説明する。図１５は、実施例２に係る手順対応区間の推定処理の手順を示すフローチャートである。

図１５に示すように、区間推定部１８０は、認識キーワードリストから事例手順ＩＤ及び出現時刻を順次取得する（ステップＳ２０１）。そして、区間推定部１８０は、認識キーワードリストから取得した出現時刻を含むオペレータの発話の発話区間情報を取得する（ステップＳ２０２）。

このとき、区間推定部１８０は、今回に取得する事例手順ＩＤが前回に取得した事例手順ＩＤと同一であるか否かを判定する（ステップＳ２０３）。そして、今回及び前回の事例手順ＩＤが同じである場合（ステップＳ２０３Ｎｏ）には、区間推定部１８０は、今回に取得した出現時刻を含む発話区間の開始時刻を、今回に取得した事例手順ＩＤに対応する手順対応区間の開始時刻として推定する（ステップＳ２０４）。なお、認識キーワードリストから事例手順ＩＤ及び出現時刻を最初に取得した場合にも、区間推定部１８０は、出現時刻を含む発話区間の開始時刻を、その事例手順ＩＤに対応する手順対応区間の開始時刻として推定する。また、今回及び前回の事例手順ＩＤが同じである場合にだけ、出現時刻を含むオペレータの発話の発話区間情報を取得するステップＳ２０２の処理を行うこととしてもかまわない。

一方、今回及び前回の事例手順ＩＤが同じである場合（ステップＳ２０３Ｙｅｓ）には、区間推定部１８０は、同じ事例手順ＩＤの説明が継続しているものとみなし、手順対応い区間の開始時刻を推定することなく、ステップＳ２０５へ移行する。

そして、区間推定部１８０は、認識キーワードリストとして登録された全てのレコードに対して上記のステップＳ２０１〜ステップＳ２０４までの処理を行うまで（ステップＳ２０５Ｎｏ）、上記のステップＳ２０１〜ステップＳ２０４までの処理を繰り返し行う。その後、認識キーワードリストとして登録された全てのレコードに対する処理が終了すると（ステップＳ２０５Ｙｅｓ）、区間推定部１８０は、手順対応区間の推定を終了する。

図１４の説明に戻り、音声データ系の処理を行う一方で、操作時間取得部１７０は、補足語句が未抽出であるコールＩＤの音声データの録音区間をＰＣ操作ログの切出し範囲とし、ＰＣ操作ログ記憶部１１０から操作時間リストを生成する（ステップＳ１０１Ｂ）。

このようにしてステップＳ１０１Ａ〜Ｓ１０４Ａ及びステップＳ１０１Ｂが終了した後に、区間推定部１８０は、操作時間リストを用いて、手順説明語句の対応区間を推定する処理を行う（ステップＳ１０５）。

（３）手順説明語句の対応区間の推定処理
ここで、図１６を用いて、図１４のステップＳ１０５で示した手順説明語句の対応区間の推定処理について説明する。図１６は、実施例２に係る手順説明語句の対応区間の推定処理の手順を示すフローチャートである。なお、区間推定部１８０は、ＱＡ事例の回答事項に含まれる１つの手順を処理単位として以下の処理を実行するものとし、ステップＳ１０４Ａで推定された手順対応区間を全て処理するまで繰り返し処理を実行する。

図１６に示すように、区間推定部１８０は、先の手順対応区間の推定で得た手順対応区間の開始時刻と終了時刻を取得する（ステップＳ３０１）。その後、区間推定部１８０は、操作時間取得部１７０によって出力された操作時間リストのうち、操作時間（録音開始時刻からの経過時間）が最も短い操作時間から順に操作時間及び切替後の操作部位を取得する（ステップＳ３０２）。

そして、区間推定部１８０は、切替後の操作部位との間で対応関係を有する手順説明語句を対応関係記憶部１２５から抽出する（ステップＳ３０３）。このとき、手順説明語句が抽出された場合（ステップＳ３０４Ｙｅｓ）には、区間推定部１８０は、オペレータの発話区間情報を参照して、切替操作が行われた操作時間に対応するオペレータの発話（Ｎ）を取得する（ステップＳ３０５）。さらに、区間推定部１８０は、取得したオペレータの発話の次のオペレータの発話（Ｎ＋１）を取得する（ステップＳ３０６）。なお、ステップＳ３０５では、操作時間を含むオペレータの発話が存在する場合には、そのオペレータの発話（Ｎ）を取得し、また、操作時間を含むオペレータの発話が存在しない場合には、その直後のオペレータの発話（Ｎ）を取得する。

このとき、次のオペレータの発話区間（Ｎ＋１の発話区間）が所定の期間よりも長い場合（ステップＳ３０７Ｙｅｓ）には、区間推定部１８０は、次のオペレータの発話（Ｎ＋１）の開始時刻を手順説明語句の音声区間の終了時刻と推定する（ステップＳ３０８）。

一方、次のオペレータの発話区間（Ｎ＋１の発話区間）が所定の期間よりも短い場合（ステップＳ３０７Ｎｏ）には、区間推定部１８０は、次々回のオペレータの発話（Ｎ＋２）を取得する（ステップＳ３０６）。そして、区間推定部１８０は、次々回のオペレータの発話（Ｎ＋２）が所定の期間よりも短いか否かをさらに判定する。このようにして、区間推定部１８０は、所定の期間より長いオペレータの発話が見つかるまで（ステップＳ３０７Ｙｅｓ）オペレータの発話をサーチする。

また、手順説明語句が抽出されなければ（ステップＳ３０４Ｎｏ）、区間推定部１８０は、切替後の操作部位の遷移が手順説明語句に関係のない操作部位であるため、手順説明語句の対応区間を推定することなく、ステップＳ３０９へ移行する。

そして、操作時間リストとして登録された全てのレコードに対して上記のステップＳ３０２〜ステップＳ３０８までの処理を行うまで（ステップＳ３０９Ｎｏ）、上記のステップＳ３０２〜ステップＳ３０８までの処理を繰り返し行う。

その後、操作時間リストとして登録された全てのレコードに対する処理が終了すると（ステップＳ３０９Ｙｅｓ）、区間推定部１８０は、手順説明語句に関する対応区間の推定結果を補足語句抽出部１９０へ出力する（ステップＳ３１０）。なお、上記のステップＳ３０１〜ステップＳ３１０の処理は、全ての手順対応区間に対して処理が行われるまで繰り返し行われる。

図１４の説明に戻り、補足語句抽出部１９０は、区間推定部１８０により推定された手順説明語句の音声区間の推定結果と、発話区間抽出部１５５により抽出されたオペレータの発話区間情報とを用いて、補足語句を抽出する（ステップＳ１０６）。

（４）補足語句抽出処理
ここで、図１７を用いて、図１４のステップＳ１０６で示した手順説明語句の対応区間の推定処理について説明する。図１７は、実施例２に係る補足語句抽出処理の手順を示すフローチャートである。なお、補足語句抽出部１９０は、１つの音声区間の推定結果を処理単位として以下の処理を実行するものとし、ステップＳ１０５で推定された音声区間の推定結果を全て処理するまで繰り返し処理を実行する。

図１７に示すように、補足語句抽出部１９０は、発話区間抽出部１５５により抽出されたオペレータの発話区間情報のうち、区間推定部１８０により推定された手順説明語句の音声区間に含まれるオペレータの発話の発話区間を取得する（ステップＳ４０１）。

そして、補足語句抽出部１９０は、先に取得したオペレータの発話の発話区間の音声データを補足語句の抽出範囲とし、その補足語句の抽出範囲の音声データに音声認識を行って補足語句を抽出する（ステップＳ４０２）。

その後、補足語句抽出部１９０は、このようにして抽出した補足語句をその補足語句の抽出範囲を定めるのに使用した音声区間の手順説明語句及びその事例手順ＩＤに対応付けることにより、補足語句リストを生成する（ステップＳ４０３）。なお、上記のステップＳ４０１〜ステップＳ４０３の処理は、全ての音声区間の推定結果に対して処理が行われるまで繰り返し行われる。

［補足語句の抽出例］
上述してきたオペレータ支援装置１００が音声データから補足語句を抽出する例について、図１８及び図１９を用いて説明する。図１８及び図１９は、実施例２に係る補足語句の抽出例を説明するための説明図である。図１８及び図１９の例では、コールセンタでＰＣの操作に関する問合せを受け付ける場合を想定する。これら図１８及び図１９は、いずれも顧客からの問合せ事項「ブラウザの設定方法を教えて」に対して、手順「インターネットオプションの接続タブを開く」を説明する対話の一例を示す。このうち、図１８の例では、インターネットオプションが中心となる対話に分岐した場合の対話を示す。また、図１９の例では、接続タブが中心となる対話に分岐した場合の対話を示す。

また、図１８及び図１９における横軸は、時間軸を指し、右方向に進むにしたがって時間が経過することを示す。また、図中の「ｕ」は、「utterance」の略記であり、「ｕ１」から「ｕ１２」までのブロックはオペレータ又は顧客の発話を示し、これらブロックの横方向の大きさは発話区間の長さを示す。また、時間軸の上下のブロックのうち横軸の上方に図示するブロックは顧客の発話を示し、横軸の下方に図示するブロックはオペレータの発話を示すものとする。また、図１８及び図１９の時間軸の下方の「操作部位」には、ＰＣ操作ログから取得された切替後の操作部位を示し、矢印が示す範囲の横方向の大きさは操作部位が操作の対象となった時間の長さを示す。また、図１８及び図１９の時間軸のさらに下方の「対応区間」には、区間推定部１８０により推定された手順説明語句に関する音声区間を示し、矢印が示す範囲の横方向の大きさは推定された手順説明語句に関する音声区間の長さを示す。

図１８に示す例では、以下の会話が行われたものとする。オペレータは「では、インターネットオプションの接続タブを開いて下さい」（ｕ１）と発話する。顧客は「何それ？」（ｕ２）と発話する。オペレータは「メニューバーの右から二番目の・・・」（ｕ３）と発話する。顧客は「メニューバー？」（ｕ４）と発話する。オペレータは「一番上に、ファイル、編集などと並んでいる・・・」（ｕ５）と発話する。顧客は「あ、はいはい」（ｕ６）と発話する。オペレータは「その右から二番目に、ツールとあるのでクリックして下さい」（ｕ７）と発話する。顧客は「二番目・・・はい」（ｕ８）と発話する。オペレータは「すると、一番下にインターネットオプションというのがあります」（ｕ９）と発話する。顧客は「あ、これね」（ｕ１０）と発話する。オペレータは「はい」（ｕ’）と発話する。オペレータは「そこの接続タブを選択して下さい」（ｕ１１）と発話する。オペレータは「次に、ＬＡＮの設定を開いて下さい」（ｕ１２）と発話する。

また、図１８に示す例では、ｕ１からｕ１２までの対話を含む音声データの中から、以下の手順説明語句が抽出されるものとする。ｕ１の発話から「インターネットオプション」及び「接続タブ」が手順説明語句として抽出される。ｕ９の発話から「インターネットオプション」が手順説明語句として抽出される。ｕ１１の発話から「接続タブ」が手順説明語句として抽出される。ｕ１２の発話から「ＬＡＮ」が手順説明語句として抽出される。

また、図１８に示す例では、時間経過に伴って操作部位が「接続タブ」、「ブラウザウィンドウ」、「インターネットオプション」、「接続タブ」の順に切り替えられたことを示す。また、図１８に示す例では、時刻ｔ１はｕ３の発話開始時刻を指し、時刻ｔ２はインターネットオプション画面に遷移した時刻を指し、時刻ｔ３はｕ１１の発話開始時刻を指し、また、時刻ｔ４はｕ１２の発話開始時刻を指す。

図１８に示す例を用いて、手順説明語句「インターネットオプション」に関する音声区間を推定する場合の推定要領を説明する。まず、オペレータ支援装置１００は、操作部位が「ブラウザウィンドウ」から「インターネットオプション」へ変化した時刻「ｔ２」を取得する。そして、オペレータ支援装置１００は、「ｔ２」を含むオペレータの発話、すなわち「ｕ９」を取得する。そして、オペレータ支援装置１００は、さらに次のオペレータの発話、すなわち「ｕ’」を取得する。ここで、オペレータ支援装置１００は、取得した発話の期間が所定の期間よりも短い場合には、さらに次の発話を取得する。これは、次の音声区間の開始時刻が相槌などの意味の無い発話から始まることを防止するためである。ここで、「ｕ’」が所定の期間より短いと仮定すると、オペレータ支援装置１００は、次の発話「ｕ１１」を取得する。ここで、「ｕ１１」は所定の期間より長いものとする。そして、オペレータ支援装置１００は、「ｕ１１」の開始時刻、すなわち「ｔ３」を取得して、手順説明語句「インターネットオプション」の説明に関する音声区間の終了時刻として推定する。このようにして、オペレータ支援装置１００は、「インターネットオプション」の説明に関する音声区間を「ｔ１からｔ３まで」と推定する。

図１９に示す例では、以下の会話が行われたものとする。オペレータは「では、インターネットオプションの接続タブを開いて下さい」（ｕ１）と発話する。顧客は「接続タブって何？」（ｕ２）と発話する。オペレータは「インターネットオプションは開きましたか？」（ｕ３）と発話する。顧客は「開いたよ」（ｕ４）と発話する。オペレータは「一番上に、全般、セキュリティなどと並んでいる・・・」（ｕ５）と発話する。顧客は「あ、これか」（ｕ６）と発話する。オペレータは「はい、そこの接続タブを開いてください」（ｕ７）と発話する。顧客は「はい」（ｕ８）と発話する。オペレータは「次に、ＬＡＮの設定を開いて下さい」（ｕ９）と発話する。

また、図１９に示す例では、ｕ１からｕ９までの対話を含む音声データの中から、以下の手順説明語句が抽出されるものとする。ｕ１の発話から「インターネットオプション」及び「接続タブ」が手順説明語句として抽出される。ｕ３の発話から「インターネットオプション」が手順説明語句として抽出される。ｕ７の発話から「接続タブ」が手順説明語句として抽出される。ｕ９の発話から「ＬＡＮ」が手順説明語句として抽出される。

また、図１９に示す例では、時間経過に伴って操作部位が「接続タブ」、「インターネットオプション」、「接続タブ」の順に切り替えられたことを示す。また、図１９に示す例には、時刻ｔ１はｕ５の発話開始時刻を指し、時刻ｔ２は接続タブ画面に遷移した時刻を指し、時刻ｔ３はｕ９の発話開始時刻を指す。

図１９に示す例を用いて、手順説明語句「接続タブ」に関する音声区間を推定する場合の推定要領を説明する。まず、オペレータ支援装置１００は、操作部位が「インターネットオプション」から「接続タブ」へ変化した時刻「ｔ２」を取得する。そして、オペレータ支援装置１００は、時刻「ｔ２」を含むオペレータの発話の取得を試みるが、対応する発話が存在しない場合には、さらに次の発話「ｕ７」を取得する。そして、オペレータ支援装置１００は、さらに次のオペレータの発話「ｕ９」を取得する。ここで、「ｕ９」は所定の期間より長いと仮定する。そして、オペレータ支援装置１００は、「ｕ９」の開始時刻「ｔ３」を取得して、手順説明語句「接続タブ」の説明に関する音声区間の終了時刻として推定する。このように、「ｕ７」における発話の終了時刻ではなく次の発話「ｕ９」の開始時刻を終端とするのは、次の音声区間の開始時刻が無音区間から開始されてしまうことを防止するためである。このようにして、オペレータ支援装置１００は、「接続タブ」の説明に関する音声区間を「ｔ１からｔ３まで」と推定する。

［実施例２による効果］
上述してきたように、実施例２に係るオペレータ支援装置１００は、画面に表示される操作部位のうち所定の操作部位の操作によって遷移した画面に関係する手順説明語句を抽出する。また、所定の操作部位を操作した時刻より以降に発話が開始された時刻を抽出し、抽出した時刻に至るまでの音声区間を、抽出した手順説明語句の説明に関係する音声区間として推定する。このため、オペレータ支援装置１００は、手順説明語句に対応した補足語句を適切に抽出することができる。

また、実施例２に係るオペレータ支援装置１００によれば、相槌などの意味の無い発話を手順説明語句の音声区間の末尾に含めることができ、次に推定する手順説明語句の音声区間の開始時刻を実質的な手順説明語句の説明から開始させることが可能になる。

なお、本実施例に係るオペレータ支援装置１００では、区間推定部１８０によって推定された音声区間を用いて補足語句を抽出する場合を説明したが、開示の装置の構成がこれに限定されるものではない。例えば、区間推定部１８０によって推定された音声区間の長さは、１つの手順に要した所要時間と等価である。このため、応対業務の所要時間を統計する場合には、本実施例に係るオペレータ支援装置１００では、従来のように１つの応対業務の単位で統計するのではなく応対業務を回答事項の手順単位に細分化し、手順単位で所要時間を統計することが可能となる。さらに、本実施例に係るオペレータ支援装置１００では、区間推定部１８０によって推定された音声区間の長さをオペレータのスキルの推定・評価をはじめ、マニュアルとするＱＡ事例の見直しなどにも使用することもできる。この結果、本実施例に係るオペレータ支援装置１００によれば、オペレータによる応対業務の改善方針を分析することも可能になる。

さて、これまで開示の装置に関する実施例について説明したが、開示の装置は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、開示の装置に含まれる他の実施例を説明する。

（１）ＰＣの操作説明以外への適用
上記の実施例２では、ＰＣ操作に関する問合せを受け付けるコールセンタでの応対を想定して説明したが、本願の開示する技術はこれに限定されない。例えば、所定の機器やソフトウェアに関する問合せをコールセンタで受け付け、その機器やソフトウェアを操作して操作ログを残しつつ回答できる場合には、本願の開示する技術を同様に適用できる。

（２）装置構成等
また、図２に示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、例えば、韻律情報抽出部１５０、発話区間抽出部１５５の各機能を集約して統合できる。また、対応関係設定部１４０、韻律情報抽出部１５０、発話区間抽出部１５５、音声認識部１６０、操作時間取得部１７０、区間推定部１８０又は補足語句抽出部１９０の一部又は全部をオペレータ支援装置の外部装置としてネットワーク経由で接続してもよい。また、対応関係設定部１４０、韻律情報抽出部１５０、発話区間抽出部１５５、音声認識部１６０、操作時間取得部１７０、区間推定部１８０又は補足語句抽出部１９０の一部又は全部を別の装置が有する構成を採用する。その上で、別の装置がネットワーク接続されて協働することで、上記のオペレータ支援装置１００の機能を実現するようにしてもよい。また、ＰＣ操作ログ記憶部１１０、事例データ記憶部１２０、対応関係記憶部１２５、音声データ記憶部１３０の一部又は全部を別の装置がそれぞれ有する構成を採用する。その上で、別の装置がネットワーク接続されて協働することで、上記のオペレータ支援装置１００の機能を実現するようにしてもかまわない。

（３）オペレータ支援プログラム
また、上記の実施例で説明したオペレータ支援装置１００の各種の処理（例えば、図１４参照）は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、図２０を用いて、上記の実施例で説明したオペレータ支援装置と同様の機能を有するオペレータ支援プログラムを実行するコンピュータの一例を説明する。図２０は、オペレータ支援プログラムを実行するコンピュータを示す図である。

図２０に示すように、オペレータ支援装置としてコンピュータ２００は、通信制御部２１０、ＨＤＤ２２０、ＲＡＭ２３０及びＣＰＵ２４０をバス３００で接続して構成される。

ここで、通信制御部２１０は、各種情報のやり取りに関する通信を制御する。ＨＤＤ２２０は、ＣＰＵ２４０による各種処理の実行に必要な情報を記憶する。ＲＡＭ２３０は、各種情報を一時的に記憶する。ＣＰＵ２４０は、各種演算処理を実行する。

そして、ＨＤＤ２２０には、図２０に示すように、上記の実施例で説明したオペレータ支援装置１００の各処理部と同様の機能を発揮するオペレータ支援プログラム２２１と、オペレータ支援用データ２２２とがあらかじめ記憶されている。なお、このオペレータ支援プログラム２２１を適宜分散させて、ネットワークを介して通信可能に接続された他のコンピュータの記憶部に記憶させておくこともできる。

そして、ＣＰＵ２４０が、このオペレータ支援プログラム２２１をＨＤＤ２２０から読み出してＲＡＭ２３０に展開することにより、図２０に示すように、オペレータ支援プログラム２２１はオペレータ支援プロセス２３１として機能するようになる。

すなわち、オペレータ支援プロセス２３１は、オペレータ支援用データ２２２等をＨＤＤ２２０から読み出して、ＲＡＭ２３０において自身に割り当てられた領域に展開し、この展開したデータ等に基づいて各種処理を実行する。

なお、オペレータ支援プロセス２３１は、例えば、図２に示したオペレータ支援装置１００の対応関係設定部１４０、韻律情報抽出部１５０、発話区間抽出部情報１５５、音声認識部１６０及び操作時間取得部１７０において実行される処理に対応する。また、オペレータ支援プロセス２３１は、例えば、図２に示したオペレータ支援装置１００の区間推定部１８０及び補足語句抽出部１９０において実行される処理に対応する。

なお、上記したオペレータ支援プログラム２２１については、必ずしも最初からＨＤＤ２２０に記憶させておく必要はない。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００がこれらから各プログラムを読み出して実行するようにしてもよい。

さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ２００に接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておく。そして、コンピュータ２００がこれらから各プログラムを読み出して実行するようにしてもよい。

１ オペレータ支援装置
２ 記憶部
３ 操作時間取得部
４ 区間推定部
５ 補足語句抽出部
１００ オペレータ支援装置
１１０ ＰＣ操作ログ記憶部
１２０ 事例データ記憶部
１２５ 対応関係記憶部
１３０ 音声データ記憶部
１４０ 対応関係設定部
１５０ 韻律情報抽出部
１５５ 発話区間抽出部
１６０ 音声認識部
１７０ 操作時間取得部
１８０ 区間推定部
１９０ 補足語句抽出部

Claims (3)

1. 所定の手順を説明するための語句である手順説明語句と、端末に表示される操作部位のうち該手順説明語句に関係して操作される操作部位とを対応付けて記憶する対応関係記憶部と、
   操作部位が他の操作部位に切替操作された切替操作時刻ごとにその時刻から操作対象となった操作部位を対応付けて記憶するＰＣ操作ログ記憶部から、前記端末に表示される操作部位のうち所定の操作部位を切り替える操作が行われた時点を示す操作時間を取得する操作時間取得部と、
   前記対応関係記憶部から前記所定の操作部位から切り替えられた操作部位に関係する手順説明語句を抽出するとともに、音声記録から、前記操作時間取得部によって取得された操作時間より以降に発話が開始された時点を抽出し、該手順説明語句が出現した発話区間から当該抽出した時点の発話区間の次に現れる、予め定めた期間よりも長い発話区間の開始時刻に至るまでの音声区間を、前記対応関係記憶部から抽出した手順説明語句に関する音声区間として推定する区間推定部と、
   前記音声記録のうち前記区間推定部によって推定された音声区間から、前記手順説明語句を補足するための語句である補足語句を抽出する補足語句抽出部と
   を有することを特徴とするオペレータ支援装置。
2. コンピュータに、
   操作部位が他の操作部位に切替操作された切替操作時刻ごとにその時刻から操作対象となった操作部位を対応付けて記憶するＰＣ操作ログ記憶部から、端末に表示される操作部位のうち所定の操作部位を切り替える操作が行われた時点を示す操作時間を取得する操作時間取得手順と、
   所定の手順を説明するための語句である手順説明語句と、前記端末に表示される操作部位のうち該手順説明語句に関係して操作される操作部位とを対応付けて記憶する対応関係記憶部から、前記所定の操作部位から切り替えられた操作部位に関係する手順説明語句を抽出するとともに、音声記録から、前記操作時間取得手順によって取得された操作時間より以降に発話が開始された時点を抽出し、該手順説明語句が出現した発話区間から当該抽出した時点の発話区間の次に現れる、予め定めた期間よりも長い発話区間の開始時刻に至るまでの音声区間を、前記対応関係記憶部から抽出した手順説明語句に関する音声区間として推定する区間推定手順と、
   前記音声記録のうち前記区間推定手順によって推定された音声区間から、前記手順説明語句を補足するための語句である補足語句を抽出する補足語句抽出手順と
   を実行させることを特徴とするオペレータ支援プログラム。
3. コンピュータが、
   操作部位が他の操作部位に切替操作された切替操作時刻ごとにその時刻から操作対象となった操作部位を対応付けて記憶するＰＣ操作ログ記憶部から、端末に表示される操作部位のうち所定の操作部位を切り替える操作が行われた時点を示す操作時間を取得する操作時間取得ステップと、
   所定の手順を説明するための語句である手順説明語句と、前記端末に表示される操作部位のうち該手順説明語句に関係して操作される操作部位とを対応付けて記憶する対応関係記憶部から、前記所定の操作部位から切り替えられた操作部位に関係する手順説明語句を抽出するとともに、音声記録から、前記操作時間取得ステップによって取得された操作時間より以降に発話が開始された時点を抽出し、該手順説明語句が出現した発話区間から当該抽出した時点の発話区間の次に現れる、予め定めた期間よりも長い発話区間の開始時刻に至るまでの音声区間を、前記対応関係記憶部から抽出した手順説明語句に関する音声区間として推定する区間推定ステップと、
   前記音声記録のうち前記区間推定ステップによって推定された音声区間から、前記手順説明語句を補足するための語句である補足語句を抽出する補足語句抽出ステップと
   を実行することを特徴とするオペレータ支援方法。

Images