JP2007172423A - 発話状態検出装置および方法 - Google Patents

Abstract

【課題】所在情報に加えて発話情報を用いることで精度良く利用者の活動を把握する。
【解決手段】利用者が発信装置２０を携帯する。発信装置２０のＩＤ保持部２１は、発信装置固有のＩＤを情報として保持する。音声検出部２２は、マイクロホンや骨伝導など音を検知する手段である。情報送信部２３は、電波や赤外線などによりＩＤ情報と音声レベル情報を送信する。受信装置３０は各所に設置される。受信装置３０の情報受信部３１は、設置箇所の検知範囲内に所在する発信装置２０からの情報を受信する。ＩＤ抽出部３２は、発信装置の固有のＩＤを抽出する。発話判別部３３は、音声レベル情報に基づいて、ＩＤのユーザが発話中かどうかを判断する。履歴記憶部３４は、受信装置および発信装置のＩＤ情報と発話判別情報とを履歴データとして記録する。履歴分析部３５は、記録された履歴の分析を行う。
【選択図】図１

Description

この発明は、人が他の人と対話している対話情報を検出する技術に関する。

現在、種々の位置検出用のデバイスが提供されている。これらデバイスを用いて利用者の位置情報を測定し、その情報を利用したサービスが考案されている。例えば特許文献１はＧＰＳを利用し、特許文献２は携帯電話を利用し、特許文献３はＰＨＳを利用し、特許文献４はＲＦＩＤタグを利用している。

また他の特許文献は、このような技術を応用して、コミュニケーションの発生を支援する装置を提案している（特許文献５、特許文献６、特許文献７など）。

これらの提案を用いれば、利用者が検出される場所によって、例えば会議室であれば、会議中であるため割り込めないが、会議室を出れば割り込めるというように状態を推定することも可能になる。

ところで、利用者が会議中に割り込まれても良い状態かどうかなど、状況の検出精度を向上するためには、対話中かどうかの情報を明確にする必要がある。

しかし、位置情報から得られる情報だけでは、精度に限界があり、例えば会議室に同時間にいることが検出されたＡ，Ｂの２人の人間は、コミュニケーションをとっている可能性が非常に高いものの、他の場所では、廊下でたまたますれ違っただけか、立ち話をしているのか、他の人と話をしているのかというように、同じ時間に同じ場所に検出されても、コミュニケーションをとっているかどうかは不明である。
特開２００１−３３８３７３公報 特開２００２−３１６７７公報 特開２０００−３６９７９公報 特開２００３−４４９７０公報 特開２００４−２４６７１３公報 特開２００５−０８５２３５公報 特開２００５−０７１１４６公報

この発明は、以上の事情を考慮してなされたものであり、利用者の位置を検出するシステムの位置情報に加え、発話のための音声を検知してこの情報を用い、対話中であるかどうかの状態を検出して、物理的な位置情報からのみ推定するよりも状況を精度良く判別できる会話状態検出技術を提供することを目的としている。

この発明の原理的な構成例では、上述の目的を達成するために、アクティブＲＦＩＤ、ＰＨＳ、赤外線バッジなどの位置特定手段と音声センサを組み合わせる。位置特性手段と音声センサは一体型でもよいし、組み合わせ型でもよい。音声センサは、マイクロホンの音量を検出できれば良い。装着方法（例えば眼鏡型など）によっては、マイクに指向性を持たせたり、骨伝導を利用しても良い。発話しているかどうかは、例えばこれまでの平均音量など、ある基準音量を超えたかどうかを基準にする。騒がしい場所、会議体による差などがあるため、位置情報と組み合わせて基準音量を区別したり、集まるメンバにより基準音量を区別したりしてもよい。また、既存のノイズキャンセラ技術を導入しても良い。検出精度の向上のため、例えば３ＫＨｚ以下というように周波数フィルターを入れても良い。

ＩＤ情報と発話の有無の情報とを受信装置に送信するのでなく、ＩＤ情報と音量情報を受信装置に送信し、受信装置側で音量の変化を判別しても良い。現在の位置情報（の変化）を携帯する装置自体が知ることができれば、基準音量は装置内部で演算しても構わない。

音声は出続けるわけではないので、オン・オフをともなう信号は高周波成分を取り除く方が好ましい。

位置と発話開始が判別できれば、場所に据えつけたカメラなどを起動するようなシステムも考えられる。対象者が発話している状態かどうかがわかり、対話中かどうかによって異なる適切なサービスを提供したり、会議中で発言量の多いキーメンバを特定したりできる。例えば、発話中または対話中には携帯電話機がかからないようにしたり、あるいは、非発話中または非対話中に紹介サービスを提供したりしても良い。

さらにこの発明を説明する。

この発明の一側面によれば、上述の目的を達成するために、発話状態検出装置が、利用者が携帯する発信装置と、各領域にそれぞれ設置される受信装置とを有し、上記発信装置は、識別情報を保持する識別情報保持手段と、音声を検出する音声検出手段と、検出された音声の情報および上記識別情報を含む発信情報を発信する発信手段とを有し、上記受信装置は、発信された発信情報を受信し、さらに、上記受信装置で受信した発信情報に含まれる識別情報および音声の情報に基づいて利用者の発話状態を検出する発話状態判別手段を有するようにしている。

この構成においては、利用者の所在と利用者の発話状態とを併せて検出することができ、所在に関連する活動情報に加えて発話に関連する活動情報を取得して利用者の活動を詳細に把握できる。

この構成において、上記発話状態検出手段により検出された発話状態に基づいて複数の利用者の間の会話状態を判別する判別手段を有してもよい。この場合、複数の利用者が同一の場所にいるという所在情報だけでは、会話状態を精度良く検出することが困難であるが、発話状態の検出情報を利用して精度良く会話状態を判別できる。

また、上記発信装置は、典型的には、ＲＦＩＤタグ、ＰＨＳおよび赤外線バッジからなるグループから選択される。受信装置はこれに対応するものである。

また、上記音声検出装置は典型的にはマイクロホンからの音量を検出する。

また、上記音声検出装置は、骨伝導で音声を伝達し、伝達された音量を検出するものでもよい。

また、上記音声検出手段は、発話レベルの音声かどうかを検出してもよい。

また、上記発話状態判別手段が、上記発信情報に含まれる上記音声の情報に基づいて発話レベルかどうかを判別してもよい。

なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品もこの発明の技術的な範囲に含まれることも当然である。

この発明の上述の側面および他の側面は特許請求の範囲に記載され以下実施例を用いて詳述される。

この発明によれば、所在情報に加えて発話情報を用いることで精度良く利用者の活動を把握できる。

以下、この発明の実施例について説明する。

図１は、この発明の実施例の発話状態検出システム１０を全体として示しており、この図において、発信装置２０は利用者が携帯するものであり、受信装置３０は各領域（地域的な位置）に設置されるものである。発信装置２０および受信装置３０はそれぞれ１つずつしか示さないが、通常は複数ある。発信装置２０は、典型的にはアクティブＲＦＩＤタグであるが、これに限定されず、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）を含む、移動通信システムの移動局、赤外線バッジ（ＩＤタグ）等の任意の位置検知システムの発信装置であってよい。受信装置３０は発信装置２０に対応して発信装置２０からの送信信号を受信するものである。

発信装置２０は、ＩＤ保持部２１、音声検出部２２および情報送信部２３を含んで構成されている。ＩＤ保持部２１は、個々の発信装置２０に特有のＩＤを情報として保持する。音声検出部２２は、マイクロホンや骨伝導など音を検知する手段であり、周波数フィルターやノイズキャンセラ−を組み込んでも良い。情報送信部２３は、電波（ＲＦＩＤの場合等）や赤外線（赤外線バッジの場合）などによりＩＤ情報と音声レベル情報を送信する。送信データは例えば図３に示すようなものであり、発信装置ＩＤおよび音量情報を含む。

受信装置３０は、情報受信部３１、ＩＤ抽出部３２、発話判別部３３、履歴記憶部３４および履歴分析部３５を含んで構成されている。受信装置３０は上述のとおり各所に設置されるが、少なくとも、情報受信部３１を各所に設置し、その他の部分は、ネットワーク上のサーバ装置に機能部として構成してもよい。この例では、例えば、情報受信部３１、ＩＤ抽出部３２、発話判別部３３、および履歴記憶部３４を、設置箇所に配置し、履歴分析部３５はサーバ装置上の機能部として構成する。もちろんこれに限定されない。

情報受信部３１は、設置箇所の検知範囲内に所在する発信装置２０の情報送信部２３により送られた情報を受信し電気信号に変換する。ＩＤ抽出部３２は、発信装置２０の固有のＩＤを受信した情報から取り出す。発話判別部３３は、発信装置２０から送られた音声レベル情報に基づいて、ＩＤのユーザが発話中かどうかを判断する。履歴記憶部３４は、発信装置２０の固有ＩＤ情報と、受信装置３０の位置情報と発話判別情報を履歴データとして記録する。履歴データは例えば図５に示すようなものである。

履歴分析部３５は、発話量の多いキーメンバを抽出したり、対話によるコミュニケーション量を集計したりというように、記録された履歴の分析を行う。

履歴記憶部３４の代わりに通信部を設け、サーバ装置などに送り、サーバ装置上で記録、集計を行ってもよい。

なお、具体的な実装例は図１９に示すようなものである。図１９の例では、ネットワーク４０を利用したシステム構成例で、受信装置３０を、会議室など会場に設置し、発信装置２０を検出したい利用者が携帯し、ネットワーク４０を経由してサーバ装置５０上で履歴を収集、分析する。

つぎに実施例の動作について説明する。

図２は発信装置２０の発信動作の例を示している。この図において、まず立ち上げ時に初期設定を行う（Ｓ１０）。次に、送信するタイミングかどうかを調べ、送信タイミングでなければ待つ（Ｓ１１）。送信タイミングであれば、音量を測定し、発信装置特有のＩＤと音量を送信し、送信タイミングのチェックに戻る（Ｓ１２〜Ｓ１４）。送信データは上述のとおり、図３に示すようなものであり、典型的には、発信装置ＩＤと音量情報を含む。

図４は受信装置３０の受信動作の例を示している、この図において、まず立ち上げ時に初期設定を行う（Ｓ２０）。次に、受信信号があるかどうかをチェックし、受信信号が来るまで待つ（Ｓ２１）。受信信号がある場合、受信時刻を記録し、受信信号から発信装置特有のＩＤを取り出し、さらに音量情報を取り出す（Ｓ２２〜Ｓ２４）。取り出した音量情報に基づいて発話の判断を行う（Ｓ２５）。その後、発話状態履歴データを記憶して（Ｓ２６）、ステップＳ２１に戻り処理を繰り返す。発話状態履歴データは、例えば、図５に示すように受信装置ＩＤ、発信装置ＩＤ、受信時刻、および発話状態フラグ（「１」が発話状態を示す）を含んでいる。

図６は発話判定処理（Ｓ２５）の例を示す。図６において、まず初期設定を行う（Ｓ３０）。次に、判定基準値を算出する（Ｓ３１）。判定基準値は、予め設定された固定値でも可能である。また、これまでの音量データの平均を取り、判定基準値とすることができる。この場合は、平均値と受信データ数などのデータを残しておく必要がある。平均値とデータ数の場合は、以下の式で平均値を更新することができる。

続いて、現在の音量において発話が発生しているかどうかを判定し、結果を返す（Ｓ３２）。

なお、場所によって騒がしい場所があったり、集まるメンバによって盛り上がったりして、一定の基準値では判定しにくいことがある。そこで、騒がしい場合を避けるために、ノイズキャンセラの技術などを利用したり、位置情報を使って、場所によって判定基準値を区別したり、メンバ情報を利用して区別してもよい。

図７は、履歴分析部３５の分析動作の例を示している。この図において、ここでは、履歴分析処理の簡単な例として、発信装置ＩＤごとの発話量の集計を考える。まず、履歴分析処理を開始すると、初期設定を行う（Ｓ４０）。次に集計対象とする発信装置ＩＤの履歴を検索する（Ｓ４１）。続いて、検索した履歴データの中で発話がオンになっている回数を集計する（Ｓ４２）。次の発信装置ＩＤが残っていれば、発信装置ＩＤの検索処理に戻る（Ｓ４３）。ここで次の発信装置ＩＤがなければ、集計結果を出力し、履歴分析処理を終了する（Ｓ４４）。履歴分析結果（集計結果）は例えば図８に示すようになる。

ここでは、全データ中の発話量を集計したが、例えばある会議だけを対象にしても良いし、ある特定のグループの打合せを全て対象にして集計したりしても良い。

また、集計期間を１ヶ月というように区切って、時間変化を見るような方法も可能である。

つぎに他の履歴分析処理の例を説明する。ここでは、履歴分析処理の他の例として、発信装置２０を携帯するユーザ同士の対話状況の検出を行うものとする。

図９はこの履歴分析処理の例を示しており、この図において、まず、初期設定を行った後（Ｓ５０）、場所に滞在する時間帯を抽出する処理を行う（Ｓ５１）。続いて滞在時間帯のデータの中から、対話中のデータ群を判定し、結果を出力する（Ｓ５２、Ｓ５３）。

図１０は、時間帯抽出処理（Ｓ５１）の処理例を示しており、この図において、まず初期設定を行った後（Ｓ６０）、発話状態履歴を読み出す（Ｓ６１）。次に、発話状態履歴をユーザごとの履歴に分割する（Ｓ６２）。ユーザごとに分割したデータの例を図１１に示す。続いて、ユーザごとの履歴を連続して検出される場所ごとに分割する（Ｓ６３）。場所ごとに特定ユーザのデータを分割した例を図１２に示す。図１２のデータを用いて複数のユーザが同一の場所にいるかどうかを判別できる。このデータは、１のユーザが特定の場所に所在し続ける一連の動作に対応し、後の処理で元データとして利用し、図示しないが、元データ番号が付与されている。区別したい場所には、受信装置が一つである必要はなく、複数あっても構わない。その場合は、同じ場所にある受信装置ＩＤ全てのデータをまとめて扱えばよい。分割するユーザが残っていれば、次のユーザの履歴を分割する処理（Ｓ６３）に戻り、全てのユーザに関しての処理が終われば終了する（Ｓ６４）。

図１３は、対話判定処理（Ｓ５２）の処理例を示しており、この図において、まず初期設定を行った後（Ｓ７０）、場所ごとのユーザ履歴を場所毎に抽出する（Ｓ７１）。続いて、場所ごとのユーザ履歴（図１２参照）のそれぞれから、図１４に示すように到着時刻と退去時刻を算出し、到着時刻順に並べる（Ｓ７２）。次に、図１５および図１６、図１７に示すように、到着時刻と退去時刻の重なるデータを求める（Ｓ７３）。重なりがあるデータにおける発話状態を参照し、図１８に示すように、発話の開始時刻と終了時刻を算出する（Ｓ７４）。全ての重なりデータの発話を調べたら、次の場所の履歴の処理に戻る（Ｓ７５、Ｓ７６）。全ての場所に関する判定が終了したら、処理を終了する（Ｓ７６）。

上述の処理を具体例を挙げてさらに説明する。到着時刻と退去時刻の重なるデータの抽出は、データが到着時刻順に並んでいるものとして、２つの発信装置をＡ，Ｂ、それぞれの到着時刻をＴａ（Ａ），Ｔａ（Ｂ）、それぞれの退去時刻をＴｌ（Ａ），Ｔｌ（Ｂ）として、
Ｔａ（Ａ）≦Ｔａ（Ｂ）＜Ｔｌ（Ａ）
を満たすデータを探せばよい。

また、同時検出時間（対話時間）は、ｍａｘ（Ｔａ（Ａ），Ｔａ（Ｂ））からｍｉｎ（Ｔｌ（Ａ），Ｔｌ（Ｂ））となる。３者以上の場合も同様に求められる。

図１５の例では、発信装置ＩＤが００００００８０ＡＢＣＤと００００００８０ＡＢＣＥの２つの発信装置が、２００５／０８／３０ １０：４０：１０〜１０：４９：３０の間に同じ場所で検出され、同様に、発信装置ＩＤが００００００８０ＡＢＣＤと００００００８０ＢＢＢＢの２つの発信装置が、２００５／０８／３１ ９：１３：００〜１２：０７：４０の間に同じ場所で検出されていることがわかる。

いくつかの発信装置が、同じ場所で検出されていることがわかった場合、実際に対話があったとみなせるかどうかを元データの発話状態から判別し、対話期間を求める。

ここでの例は、発信装置ＩＤの００００００８０ＡＢＣＤと００００００８０ＡＢＣＥが同時に検出された、２００５／０８／３０ １０：４０：１０〜１０：４９：３０の間の対話期間を算出する例を示す。まず、元データの中の重なり部分のみを抽出し、その中で最も早く発話状態になる時刻（例では元データＩＤ＝２の２００５／０８／３０ １０：４０：１０。図１６）を対話の開始時刻、最後の発話状態の時刻（例では元データＩＤ＝２の２００５／０８／３０ １０：４９：１０。図１７）を対話の終了時刻とする。これにより、発信装置ＩＤの００００００８０ＡＢＣＤと００００００８０ＡＢＣＥの対話期間は、２００５／０８／３０ １０：４０：１０〜２００５／０８／３０ １０：４９：１０と求めることができる。

以上で実施例の説明を終了する。

なお、この発明は上述の実施例に限定されるものではなくその趣旨を逸脱しない範囲で種々変更が可能である。例えば、上述の例の発話状態情報または対話状態情報を実質的にリアルタイムで取得してその情報を用いて所定のサービスを提供したり禁止したりしても良い。例えば、発話時または対話時に携帯電話の着信を禁止しても良いし、非発話時または非対話時に紹介情報を提供するようにしても良い。また、上述の例では、定期的に発信情報を送信するようにしているが、振動検出装置を設けて移動時に送信を禁止するようにしても良い。また、図２０に示すように。発話状態を検出したときに発信を行なうようにしてもよい。例えば、音量レベルが発話レベルに達しない場合には発信制御部２４が発信を禁止するようにしても良い。もちろん発話中でも音声が途切れることがあるので、一定の、積分処理等を行なって、短い無音期間があっても発話状態として扱うことが好ましい。また、音声が実質的に所定レベルの場合に発信をイネーブルにするか、それと関係なく発信をイネーブルにするか切り替えるようにしても良い。音声が実質的に所定レベルの場合に発信をイネーブルにすれば、発話や対話に着目して人の所在情報を分析可能になる。また、利用者ごとにモードを切り替えても良い。図２０の発信装置は、各部を一体にＲＦＩＤタグ等の発信装置に実装しても良いし、コネクタを用いて発信装置本体に音声検出部等を接続するような構成を採用しても良い。

この発明の実施例の構成を全体として示すブロック図である。 上述実施例の発信装置の発信処理の例を説明するフローチャートである。 上述実施例の送信データの例を説明する図である。 上述実施例の受信装置の受信処理の例を説明するフローチャートである。 上述実施例の発話状態履歴の例を説明する図である。 上述実施例の受信装置に発話判定処理の例を説明するフローチャートである。 上述実施例の受信装置に履歴分析処理の例を説明するフローチャートである。 上述実施例の履歴分析結果の例を説明する図である。 上述実施例の受信装置に履歴分析処理の他の例を説明するフローチャートである。 上述実施例の受信装置に時間抽出処理の例を説明するフローチャートである。 上述実施例のユーザ毎の履歴のデータ構造の例を説明する図である。 上述実施例の場所毎のユーザ履歴のデータ構造の例を説明する図である。 上述実施例の受信装置に対話判定処理の例を説明するフローチャートである。 上述の実施例において到着および退去時間を求める例を説明する図である。 上述の実施例において場所ごとの到着時間と退去時間の組の例を説明する図である。 上述実施例において、元データ１についての滞在時間の例を示す図である。 上述実施例において、元データ２についての滞在時間の例を示す図である。 上述実施例における対話時間抽出結果の例を説明する図である。 上述実施例の通信ネットワークを用いた実装例を説明する図である。 上述実施例の変形例である。

符号の説明

１０ 発話状態検出システム
２０ 発信装置
２１ ＩＤ保持部
２２ 音声検出部
２３ 情報送信部
２４ 発信制御部
３０ 受信装置
３１ 情報受信部
３２ ＩＤ抽出部
３３ 発話判別部
３４ 履歴記憶部
３５ 履歴分析部
４０ ネットワーク
５０ サーバ装置

Claims (11)

1. 利用者が携帯する発信装置と、各領域にそれぞれ設置される受信装置とを有し、
   上記発信装置は、
   識別情報を保持する識別情報保持手段と、
   音声を検出する音声検出手段と、
   検出された音声の情報および上記識別情報を含む発信情報を発信する発信手段とを有し、
   上記受信装置は、発信された発信情報を受信し、
   さらに、上記受信装置で受信した発信情報に含まれる識別情報および音声の情報に基づいて利用者の発話状態を検出する発話状態判別手段を有することを特徴とする発話状態検出装置。
2. 上記発話状態検出手段により検出された発話状態に基づいて複数の利用者の間の会話状態を判別する判別手段を有する請求項１記載の発話状態検出装置。
3. 上記発信装置は、ＲＦＩＤタグ、ＰＨＳおよび赤外線バッジからなるグループから選択された請求項１または２記載の発話状態検出装置。
4. 上記音声検出装置はマイクロホンからの音量を検出する請求項１、２または３記載の発話状態検出装置。
5. 上記音声検出装置は、骨伝導で音声を伝達し、伝達された音量を検出する請求項１、２または３記載の発話検出装置。
6. 上記音声検出手段は、発話レベルの音声かどうかを検出する請求項１〜５のいずれかに記載の発話検出装置。
7. 上記発話状態判別手段が、上記発信情報に含まれる上記音声の情報に基づいて発話レベルかどうかを判別する請求項１〜５のいずれかに記載の発話検出装置。
8. 利用者が携帯する発信装置と、各領域にそれぞれ設置される受信装置とを有し、
   上記発信装置は、
   識別情報を保持する識別情報保持手段と、
   音声を検出する音声検出手段と、
   検出された音声に基づいて上記識別情報を含む発信情報を発信する発信手段とを有し、
   上記受信装置は、発信された発信情報を受信して上記発信情報に含まれる識別情報を取得することを特徴とする識別情報検出装置。
9. 上記発信手段は、検出された音声に基づいて、発信機能をイネーブルにする請求項８記載の識別情報検出装置。
10. 識別情報を保持する識別情報保持手段と、
    音声を検出する音声検出手段と、
    検出された音声に基づいて上記識別情報を含む発信情報を発信する発信手段とを有することを特徴とする発信装置。
11. 利用者が携帯する発信装置と、各領域にそれぞれ設置される受信装置とを用いて発話状態を検出する方法において、
    上記発信装置の音声検出手段が、音声を検出するステップと、
    上記発信装置の発信手段が、検出された音声の情報および上記発信装置の識別情報保持手段に保持されている識別情報を含む発信情報を発信するステップと、
    上記受信装置が、上記発信装置から発信された発信情報を受信するステップと、
    発話状態判別手段が、上記受信装置で受信した発信情報に含まれる識別情報および音声の情報に基づいて利用者の発話状態を検出するステップとを有することを特徴とする発話状態検出方法。

Images