JP2010230829A - 音声監視装置、その方法、及び、そのプログラム - Google Patents

Abstract

【課題】検出したイベント及び監視音声に応じて適応するルールを更新することができること。
【解決手段】音声監視装置は、イベントを検出し、前記イベントに対応して監視が必要な監視音声の内容を表した監視内容と前記監視内容に関するキーワードとを含むルールを取得し、前記ルールに含まれる前記監視内容を出力部に通知し、取得した前記監視音声と前記ルールに含まれる前記キーワードとの合致の有無を確認し、この合致した前記ルールに含まれる前記監視内容を、通知した前記監視内容から消去して前記出力部の表示を更新させる。
【選択図】 図１

Description

本発明は、監視対象の音声を監視する音声監視装置、その方法、及び、そのプログラムに関する。

コールセンタなどでは事前に決められた音声内容をオペレータに正しく音声させ、重要事項の伝達もれのないようにすることを目的とするために、オペレータの音声内容を監視し、未音声の事項に対しては確認を促すといった管理手段を備えた装置が製品化されている。

一方、対面販売の場面では、店員（オペレータ）とお客とのやり取りは、予め決められた応対とは限らず、様々なイベントや会話の流れによって動的に変化するものである。そのため、予め決められた音声監視レールに基づいて監視を行うだけではなく、動的に監視すべき伝達、確認事項を生成する必要がある。

また、特許文献１には、複数の対話シナリオを用意し、各音声が行われるたびに音声内容を分析し、関連する対話シナリオを参照して、次に発言すべき内容を提示する方法が提案されている。

特開２００５−３４５６８１号公報

上記したように、従来技術の装置をコンビニエンスストアなどの直接対面して接客や受付行う現場に適応した場合には、音声だけでなくの様々なイベントによって変化する監視内容への対応ができないという問題点があった。

また、特許文献１の方法においては、イベントと店員の音声は必ずしも同期していない可能性があり、イベント発生以前の発言も確認する必要がある。このような、正確な監視を行わなければ、発言すべき内容は既に発言されているにもかかわらず検出がされないため、不要な警告が出力されるという問題点があった。

そこで本発明は、上記問題点を解決するためになされたものであって、検出したイベント及び監視音声に応じて適応するルールを更新することができる音声監視装置、その方法、及び、そのプログラムを提供する。

本発明の一側面は、イベントを検出するイベント検出部と、前記イベントに対応して監視が必要な監視音声の内容を表した監視内容と前記監視内容に関するキーワードとを含むルールを取得し、前記ルールに含まれる前記監視内容を出力部に通知するルール更新部と、取得した前記監視音声と前記ルールに含まれる前記キーワードとの合致の有無を確認する音声確認部と、を具備し、前記ルール更新部は、合致した前記ルールに含まれる前記監視内容を、通知した前記監視内容から消去して前記出力部の表示を更新する、ことを特徴とする音声監視装置である。

本発明によれば、検出したイベント及び監視音声に応じて適応するルールを更新することができる。

本発明の第１の実施形態の音声監視装置の構成を示すブロック図である。 音声監視装置のフローチャートである。 ルールの一覧を示す図である。 音声確認部の構成を示すブロック図である。 監視内容の表示を示す図である。 ルールの一覧の変更例の図である。 監視内容の表示の変更例を示す図である。 イベントと監視音声の関係を示すタイムチャートである。 第２の実施形態の音声確認部の構成を示すブロック図である。 第２の実施形態の音声監視装置のフローチャートである。 第２の実施形態におけるイベントと監視音声の関係を示す第１のタイムチャートである。 第２の実施形態におけるイベントと監視音声の関係を示す第２のタイムチャートである。

以下、本発明の一実施形態の音声監視装置１０について図面に基づいて説明する。

（第１の実施形態）
本発明の第１の実施形態の音声監視装置１０について、図１〜図８に基づいて説明する。

本実施形態の音声監視装置１０は、コンビニエンスストアなどのレジに設置され、店員とお客との間で使用される場合を例に説明する。

本実施形態の音声監視装置１０の構成について図１に基づいて説明する。図１は本実施形態の音声監視装置１０に関するブロック図である。

音声監視装置１０は、監視音声取得部１２、イベント検出部１４、音声確認部１６、ルール記憶部１８、ルール更新部２０、出力部２２を有する。

なお、この音声監視装置１０は、例えば、汎用のコンピュータを基本ハードウェアとして用いることでも実現することが可能である。すなわち、監視音声取得部１２、イベント検出部１４、音声確認部１６、ルール更新部２０、出力部２２は、上記のコンピュータに搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、音声監視装置１０は、上記のプログラムをコンピュータに予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、又はネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータに適宜インストールすることで実現してもよい。

次に、音声監視装置１０の各部１２〜２２について説明する。

監視音声取得部１２は、音声監視装置１０に接続されたマイクより音声を取得するか、又は、音声取得可能な他の機器よりライン入力された音声を取得する。コンビニエンスストアなどで、店員の音声を監視する場合は、店員の声が取得できる位置にマイクを設置することが好ましい。なお、ヘッドセットマイクや胸などに装着するピンマイクがより好ましい。また、ワイヤレス接続可能なマイクでもよい。以下、店員の音声を監視音声として説明する。

イベント検出部１４は、レジの操作情報（例えば、お金の支払いである）、バーコードの読み取り情報（例えば、お弁当を購入する場合のレジの入力である）、又は、マイクからのお客の音声情報（例えば、タバコの注文である）などより、イベントを検出する。すなわち、「イベント」とは、例えば、商品バーコード読み取り、支払い、お客の発言などである。

ルール記憶部１８は、図３に示すように、店員とお客の会話の場面に応じて適応するルールの一覧がイベントに対応して記憶されている。なお、「ルール」とは、あるイベントを検出した場合に、前記イベントに対応して監視が必要な店員の音声内容を表した規則である。このルールは、イベントの内容、このイベントの検出方法、監視内容、監視内容と監視音声との合致を判断するためのキーワード、及び、フラグのＯＮ／ＯＦＦの情報が含まれている。「監視内容」とは、イベントに対応して監視が必要な店員の音声内容を表したものであり、例えば台詞で示されている。「フラグ」とは、イベントを検出した場合に、前記イベントと対応し、かつ、店員の確認が必要な監視内容が含まれるルールを判別するためのフラグであり、ＯＮが対応し、かつ、確認が必要なルールであり、ＯＦＦが対応しないか、又は、対応はしているが確認が不要なルールである。なお、このフラグのＯＮ／ＯＦＦは、後から説明するルール更新部２０が行う。

音声確認部１６は、イベントを検出した後に取得した監視音声と、イベントに対応するルールに含まれるキーワードとが合致するか否かを確認する。

図４は、音声確認部１６のブロック図である。音声確認部１６は、音声取得部１６１、音声認識部１６２、ルール取得部１６３、合致判定部１６４を有する。

音声取得部１６１は、監視音声を監視音声取得部１２から取得する。

音声認識部１６２は、音声取得部１６１が取得した監視音声を音声認識し、テキスト情報に変換する。なお、音声認識部１６２は、音声監視装置１０に記憶されたプログラムを実行して監視音声からテキスト情報を取得しても良く、監視音声の情報を音声認識が実行できる装置に転送し、当該装置でプログラムを実行して得られた音声認識結果を取得してもよい。

ルール取得部１６３は、ルール更新部２０によってフラグがＯＮになったルールをルール記憶部１８より取得し、その取得したルールに含まれるキーワードを出力する。

合致判定部１６４は、音声認識部１６２からのテキスト情報と、ルール取得部１６３から出力されたキーワードとを比較し、両者が合致した場合には、前記取得したルールを出力し、両者が合致しない場合には合致したルールがないという情報を出力する。なお、「合致」とは、テキスト情報にキーワードが含まれている場合をいう。

ルール更新部２０は、イベント検出部１４がイベントを検出すると、そのイベントに対応するルールがルール記憶部１８に記憶されているか否かを検索する。この場合に、ルールに含まれているイベントの検出方法と、イベント検出部１４がイベントを検出した方法が合致するか否かで検索する。この検索の結果、検出したイベントに対応するルールがあれば、そのルールのフラグをＯＮにする共に、そのルールに含まれる監視内容を取得して、出力部２２に通知する。

また、ルール更新部２０は、音声確認部１６で合致したルールがあれば、ルール記憶部１８におけるフラグをＯＦＦにして更新し、また、このＯＦＦにしたルールに含まれる監視内容に関して、出力部２２に前記通知した監視内容から消去して更新するように通知する。音声確認部１６から合致したルールがないという情報が入力すれば、ルール記憶部１８におけるフラグをＯＮのままにして更新せず、また、出力部２２への通知も行わない。

出力部２２は、ルール更新部２０から通知された監視内容を、店員に伝わるように出力する。出力方法としては、店員のみに見える画面などで表示することが望ましい。また、ルール更新部２０から消去して更新するように通知された監視内容は、その表示を消去して、表示内容を更新する。

例えば、図５に示すように、フラグがＯＮになったルールに含まれる監視内容を時間順に表示装置に表示する。

また、図６に示すように、各監視内容に重要度を設定し、監視内容の重要度によって、出力部２２における表示装置の表示位置を決定して表示してもよい。すなわち、図７に示すように、重要度の高い「お弁当あたためますか」といった監視内容を一番上に表示する。また、重要度の高い監視内容は、表示色を変更して出力してもよい。

音声監視装置１０の処理手順について、図２のフローチャートに基づいて説明する。

ステップ１では、イベント検出部１４は、イベントを検出する。イベントの検出があればステップ２に進み、検出がなければこのステップを続ける。

ステップ２では、ルール更新部１８は、イベント検出部１４が検出したイベントが、ルール記憶部１８に記憶されているか否かを検索し、記憶されていればステップ３に進み、記憶されていなければ終了する。

ステップ３では、ルール更新部１８は、前記イベントに対応するルールのフラグをＯＮにして、そのルールに含まれる監視内容を取得して、出力部２２に出力する。そしてステップ４に進む。

ステップ４では、出力部２２が、監視内容を表示して、ステップ５に進む。

ステップ５では、監視音声取得部１２が、イベント検出後の監視音声を取得して、ステップ６に進む。

ステップ６では、音声確認部が１６が、イベントの検出後の監視音声と、フラグがＯＮであるルールに含まれるキーワードとが合致するか否かを判断する。合致すればステップ７に進み、合致しなければステップ５に戻る。

ステップ７では、ルール更新部２０は、合致したルールに関して、ルール記憶部１８のフラグをＯＦＦにして更新し、ステップ８に進む。

ステップ８では、出力部２２が合致したルールの表示を消去して更新し、終了する。

本実施形態によれば、イベントに対応して監視内容を出力し、監視音声に合わせてその監視内容が更新されるので、店員は、出力部２２の表示内容を確認するだけでよい。

上記実施形態では、出力部２２は監視内容を表示装置で表示していたが、これに加えて、表示後に一定時間が経過するか、特定のイベントを検出したときに店員の注意を引くように警告してもよい。警告方法としては、表示されている監視内容の領域の色を変更してもよく、また、店員に聞こえるように音声出力するか、又は、ブザーや警告音を出力してもよい。これにより、例えば、図８に示すように、「お弁当あたためますか」という監視内容が支払いのための合計金額を通知しても検出されなかった場合には、お客の支払いの前に店員に警告することが可能となる。

上記実施形態では、コンビニエンスストアにおける音声を監視対象として説明し、そして、店員の音声を監視対象として説明をした。しかし、お客の音声も監視対象に含めても良い。例えば、お客の「お弁当あたためて」という音声を監視することにより、店員から「お弁当あたためますか」といった監視内容が検出されなかった場合でも、ルールの更新が行われるため、不要な監視内容の適用を避けることができ、また不要な監視内容の出力をさけることができる。

また、監視対象の音声は、店員やお客以外の音声から取得してもよい。

また、本実施形態では、コンビニエンスストアにおけるレジと接続する形態として説明したが、レジ機能と会話監視機能を備えた音声監視装置１０という構成で具体化してもよい。

また、本実施形態はコンビニエンスストアのレジで説明したが、これに限らず、ファーストフード店のレジや金融機関の窓口で適応してもよい。また、音声電話やテレビ電話などでやり取りを行う装置に対して会話監視を行うために、音声監視装置１０を適応することも可能である。さらに、自動受付装置など、機械と人間が会話する場面の会話を監視することもできる。

また、本実施形態の音声確認部１６は、音声認識を行い、取得した音声をテキスト情報に変換して、テキスト情報とキーワードとを比較していた。しかし、テキスト情報に変換せず、予め決まったキー音声をルールとしてルール記憶部１８に記憶しておき、キー音声と監視音声の類似度が閾値より高かった場合に合致したと判断するようにしてもよい。

また、上記実施形態では、ルール記憶部１８を設けて、ルール記憶部１８に記憶されているルールの中でイベントに対応し、かつ、確認が必要なルールについてはフラグをＯＮにした。しかし、これに限らず、ルール記憶部１８を設けず、イベントに対応し、監視が必要なルールを外部からルール更新部２２が取得し、この取得したルールと監視音声と合致した場合には、そのルールをルール更新部２０が消去して更新する構成にしてもよい。

（第２の実施形態）
本発明の第２の実施形態の音声監視装置１０について、図９〜図１２に基づいて説明する。

本実施形態の音声監視装置１０は、第１の実施形態と同様にコンビニエンスストアなどのレジに設置され、店員とお客との間で使用される場合を例に説明する。

本実施形態の音声監視装置１０の構成は、第１の実施形態の構成と同様に監視音声取得部１２、イベント検出部１４、音声確認部１６、ルール記憶部１８、ルール更新部２０、出力部２２を有する。そして、監視音声取得部１２、イベント検出部１４、ルール記憶部１８、出力部２２は、第１の実施形態と同様の動作を行うので、説明を省略し、異なる部分のみを説明する。

音声確認部１６では、第１の実施形態の動作に加えて、イベント検出前の監視音声を確認するために、監視音声取得部１２によって取得した監視音声の音声データを予め記憶し、イベント検出後に、記憶した監視音声を確認する。

図９は、音声確認部１６のブロック図である。音声確認部１６は、音声取得部１６１、音声認識部１６２、ルール取得部１６３、合致判定部１６４に加えて、音声記憶部１６５を有する。

具体的には、次のように行う。

音声記憶部１６５は、監視音声を予め記憶する。ここで、記憶する監視音声としては、前回のお客が支払いを済ませたイベントが検出されると、その前回のお客に関する監視音声を全て消去した後、その消去後に取得した監視音声を今回のお客の情報として記憶する。また、イベント検出時から一定時間前の監視音声を記憶してもよい。

音声取得部１６１は、記憶した監視音声を音声記憶部１６５から取得する。

音声認識部１６２は、記憶した監視音声を音声認識し、テキスト情報に変換する。

ルール取得部１６３は、ルール更新部２０によりフラグがＯＮになったルールをルール記憶部１８より取得し、その取得したルールに含まれるキーワードを出力する。

合致判定部１６４は、音声認識部１６２からのテキスト情報と、ルール取得部１６３から出力されたキーワードとを比較し、両者が合致した場合には、前記取得したルールを出力し、両者が合致しない場合には合致結果がないという情報を出力する。

また、音声確認部１６が行う、イベント検出後の監視音声とルールに含まれるキーワードとの合致の判断については、第１の実施形態と同様であるので、説明は省略する。

ルール更新部２０は、イベント検出部１４がイベントを検出すると、そのイベントに対応するルールがルール記憶部１８に記憶されているか否かを検索する。検索の結果、検出したイベントに対応するルールがあれば、そのルールのフラグをＯＮにする。

また、ルール更新部２０は、音声確認部１６で、イベント検出前に記憶していた監視音声に関して合致したルールがあれば、ルール記憶部１８におけるフラグをＯＦＦにして更新する。そして、このＯＦＦにしたルール以外のＯＮのままのルールに含まれる監視内容を出力部２２に通知する。

また、ルール更新部２０は、音声確認部１６で、イベント検出後に取得した監視音声と合致したルールがあれば、ルール記憶部１８におけるフラグをＯＦＦにして、このＯＦＦにしたルールに含まれる監視内容の出力を消去して更新するように出力部２２に通知する。

音声監視装置１０の処理手順について、図１０のフローチャートに基づいて説明する。

ステップ１０では、イベント検出部１４は、イベントを検出するとステップ２０に進み、検出しなければこのステップを続ける。

ステップ２０では、ルール更新部１８は、イベント検出部１４が検出したイベントが、ルール記憶部１８に記憶されているか否かを検索し、記憶されていればステップ３０に進み、記憶されていなければ終了する。

ステップ３０では、ルール更新部１８は、前記イベントに対応するルールのフラグをＯＮにする。そしてステップ４０に進む。

ステップ４０では、音声確認部１６が、イベント検出前の記憶された監視音声を取得する。

ステップ５０では、音声確認部１６が、記憶された監視音声と、フラグがＯＮであるルールに含まれるキーワードとが合致するか否かを判断する。合致すればステップ６０に進み、合致しなければステップ７０に進む。

ステップ６０では、ルール更新部２０は、合致したルールに関して、ルール記憶部１８のフラグをＯＦＦにして、フラグがＯＮのルールを出力部２２に通知して、ステップ７０に進む。

ステップ７０では、出力部２２が、フラグがＯＮのルールに含まれる監視内容を表示して、ステップ９０に進む。

ステップ９０〜１１０は、第１の実施形態の図２のステップ５〜８と同様である。

本実施形態によれば、例えば、図１１に示すように、「お弁当あたためますか」という監視内容が、お弁当の入力のイベント検出前に音声されていても、その内容を監視することができる。そのため、不要なルールの出力を出力部２２が行わないため、店員は不必要な監視内容を見ることがない。一方、図１２に示すように、「お弁当あたためますか」という監視内容が支払い終了しても検出されなかった場合には、店員に警告することができる。

本実施形態によれば、動的なイベントに対応する音声監視手段を備えることにより、動的に変化する会話を行うコンビニエンスストアなどで店員の音声を監視することが可能となる。また、イベント検出時に、イベント検出前の監視音声の内容の確認を行うことにより、正確な監視と不要な警告の抑制を実現する。

上記実施形態では、音声確認部１６が監視音声の音声データを記憶し、記憶された音声を音声確認部１６において取得して音声認識を行う構成を示したが、監視音声を記憶する前段で音声認識を行い、この音声認識したテキスト情報を記憶し、記憶された監視音声のテキスト情報を取得して、合致判定を行うように構成してもよい。

なお、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０ 音声監視装置
１２ 監視音声取得部
１４ イベント検出部
１６ 音声確認部
１８ ルール記憶部
２０ ルール更新部
２２ 出力部

Claims (5)

1. イベントを検出するイベント検出部と、
   前記イベントに対応して監視が必要な監視音声の内容を表した監視内容と前記監視内容に関するキーワードとを含むルールを取得し、前記ルールに含まれる前記監視内容を出力部に通知するルール更新部と、
   取得した前記監視音声と前記ルールに含まれる前記キーワードとの合致の有無を確認する音声確認部と、
   を具備し、
   前記ルール更新部は、合致した前記ルールに含まれる前記監視内容を、通知した前記監視内容から消去して前記出力部の表示を更新する、
   ことを特徴とする音声監視装置。
2. 前記音声確認部は、前記イベントの検出前の前記監視音声と前記ルールに含まれる前記キーワードとの合致の有無を確認し、
   前記ルール更新部は、合致した前記ルールに含まれる前記監視内容以外の前記監視内容を前記出力部に通知する、
   ことを特徴とする請求項１に記載の音声監視装置。
   
3. 前記音声確認部は、前記監視音声を音声認識してテキスト情報に変換し、
   前記音声確認部は、前記監視音声の前記テキスト情報と前記ルールに含まれる前記キーワードとの合致の有無を確認する、
   ことを特徴とする請求項１に記載の音声監視装置。
4. イベント検出部が、イベントを検出するイベント検出ステップと、
   ルール更新部が、前記イベントに対応して監視が必要な監視音声の内容を表した監視内容と前記監視内容に関するキーワードとを含むルールを取得し、前記ルールに含まれる前記監視内容を出力部に通知するルール更新ステップと、
   音声確認部が、取得した前記監視音声と前記ルールに含まれる前記キーワードとの合致の有無を確認する音声確認ステップと、
   を具備し、
   前記ルール更新ステップは、合致した前記ルールに含まれる前記監視内容を、通知した前記監視内容から消去して前記出力部の表示を更新する、
   ことを特徴とする音声監視方法。
5. コンピュータに、
   イベントを検出するイベント検出機能と、
   前記イベントに対応して監視が必要な監視音声の内容を表した監視内容と前記監視内容に関するキーワードとを含むルールを取得し、前記ルールに含まれる前記監視内容を出力部に通知するルール更新機能と、 取得した監視音声と前記ルールに含まれる前記キーワードとの合致の有無を確認する音声確認機能と、
   を実現させ、
   前記ルール更新機能は、合致した前記ルールに含まれる前記監視内容を、通知した前記監視内容から消去して前記出力部の表示を更新する、
   ことを特徴とする音声監視プログラム。

Images