JP2017009826A - グループ状態判定装置およびグループ状態判定方法 - Google Patents

Abstract

【課題】会話を行っている複数の話者からなるグループに対して適切な介入を行えるように、当該グループの状態を判定する。【解決手段】会話を行っている複数の話者からなるグループの状態を判定するグループ状態判定装置は、複数の話者によって行われている同一の会話テーマと推定される一連の発話群に関するデータである会話状況データを取得する取得手段と、複数のグループ種別について、前記会話状況データに基づく判定基準を記憶した記憶手段と、前記複数の話者からなるグループのグループ状態として、前記会話状況データと前記判定基準に基づいて前記複数の話者からなるグループの種別及びグループ状態を取得する判定手段と、を備える。【選択図】図１０

Description

本発明は、会話を行っている複数の話者からなるグループの状態を判定する技術に関する。

近年、コンピュータから人間に対して提案や援助などの種々の介入を行う技術の研究・開発が進められている。例えば、特許文献１，２では、会話データからユーザが発話中のキーワードを選出して発話の内容を把握し、発話内容に応じた応答をすることを開示する。その他にも、個人の状態や嗜好に応じた情報を提供するシステムも知られている。

特開２００９−３６９９８号公報 特開２００９−３６９９９号公報 特許第３２８０８２５号公報

特許文献１，２の手法は、一人の話者とコンピュータによる対話を想定しており、複数の話者からなるグループの会話に対して介入することは想定されていない。

グループの会話では、行き先を決めるなどの意思決定のための会話が行われることがある。このような会話に対して、個人の状態や嗜好に着目して介入するとしても、各メンバーの意見が異なる場合に誰の意見を尊重すべきなのかが分からない。発話内容のみに基づいて介入内容を決定すると、提案内容が明確でより具体的な主張をしているメンバーの意見が優先される傾向があるが、そうすると明確な意見が述べられない人は不満を募らせることになる。

上記のような問題を考慮して、本発明は、会話を行っている複数の話者からなるグループに対して適切な介入を行えるように、当該グループの状態を判定することを目的とする。本発明は、このように判定されたグループ状態に応じて適切な介入を行うことを目的とする。

上記目的を達成するために、本発明の第一の態様は、会話を行っている複数の話者からなるグループの状態を判定するグループ状態判定装置であって、複数の話者によって行われている同一の会話テーマと推定される一連の発話群に関するデータである会話状況データを取得する取得手段と、複数のグループ種別について、前記会話状況データに基づく判定基準を記憶した記憶手段と、前記複数の話者からなるグループのグループ状態として、前記会話状況データと前記判定基準に基づいて前記複数の話者からなるグループの種別を取得する判定手段と、を備える。

グループ種別は、グループを構成するメンバーがどのような関係性を有するかを示す類型である。グループ種別の定義は任意に行われてよいが、例えば、「フラットな関係で親密度が高く、メンバー同士が互いに遠慮なく意見を言いあえるようなグループ」、「上下関係があるが、親密度が高く、特定のメンバーがグループの意思決定を主導しているようなグループ」、「上下関係があり、親密度が低く、特定のメンバーがグループの意思決定
を主導しているようなグループ」などが挙げられる。記憶手段には、会話状況データに基づいて、グループがどのグループ種別に該当するのかを判定するための判定基準が記憶される。

ここで、会話状況データは、一連の発話群に関するデータとして、例えば、各発話の話者、発話間の対応関係、各発話の意味と意図、各発話時の話者の感情、各話者の発話頻度、各話者の発話特徴量、話者間の関係などを含むことができる。

例えば、会話状況データに一連の発話群における各話者の発話特徴量が含まれる場合は、判定基準として、発話特徴量に基づいてグループ種別を判定する基準を採用することができる。この場合、判定手段は、会話状況データに含まれる発話特徴量と記憶手段に記憶されている判定基準に基づいて、グループがどのグループ種別に該当するかを判定することができる。

また、会話状況データに一連の発話群における発話間の関係性と発話の意図がさらに含まれる場合には、判定手段は、これらの情報からグループにおける意見交換状況を推定し、意見交換状況も考慮してグループ種別を判定することも好ましい。ここで、判定手段は、意見交換状況として、グループ内における意見交換の活発さ、提案に対する賛成と反対の比率、意思決定における主導者の有無の少なくともいずれかを判定するとよい。

本発明において、判定手段は、発話間の関係性と発話の意図に基づいて、グループに含まれる複数の話者の関係性をさらにグループ状態として判定することも好ましい。話者の関係性とは、意思決定における主導者と追従者、上位者と下位者、親と子、友人同士、などが挙げられる。話者の関係性は、グループ内における各話者の役割を表すとも捉えることができる。

話者の関係性は、発話における言葉づかいに基づいて判定することができる。例えば、グループ内に命令調で話す人とそれに対して敬語等で返答する人がいれば、これらの話者は上位者と下位者であると判断できる。また、お互いにくだけた語を使っている話者同士は、対等な関係の話者であると判断できる。また、一方が子供が使う語で話し、他方が子供に対する語で話す場合には、大人と子供あるいは親と子であると判断できる。

本発明において、判定手段は、グループ状態として、グループの状態変化を取得することができる。グループの状態変化として、発話の停滞発生が挙げられる。発話の停滞発生は、発話特徴量に基づいて判定することができる。なお、発話の停滞には、特定の話者の発話停滞と、グループ全体での発話停滞の両方が含まれる。

本態様に係るグループ状態判定装置によれば、複数の話者からなるグループがどのような状態にあるのかを適確に判定することができる。

本発明の第二の態様は、複数の話者からなるグループによって行われる会話に介入して支援を行う支援装置である。本態様に係る支援装置は、上述したグループ状態判定装置と、グループ状態と介入ポリシーの対応を記憶する介入ポリシー記憶手段と、前記グループ状態判定装置から得られるグループ状態に対応する介入ポリシーに基づいて、前記グループの会話への介入の内容を決定し、前記会話への介入を行う介入手段と、を備える。

本態様において、介入ポリシーには、グループの種別ごとに、グループ内のいずれのメンバーを優先的に支援するかが定義されることが好ましい。ここで、グループ内のメンバーの特定は、グループ内におけるメンバーの関係性または役割に基づいて行われることができる。例えば、介入ポリシーとして、グループ内の主導者を優先的に支援したり、追従
者を優先的に支援したりするものとして定義できる。また、優先的に支援するメンバーを、ある状態変化が生じたメンバーとして特定することもできる。例えば、介入ポリシーとして、発話頻度が低下したメンバーを優先的に支援するものとして定義できる。

本態様に係る支援装置によれば、グループ状態に応じて適確な支援を行うことができる。

なお、本発明は、上記手段の少なくとも一部を備えるグループ状態判定装置あるいは支援装置として捉えることができる。また、本発明は、上記手段が行う処理の少なくとも一部を実行する会話状況分析方法あるいは支援方法として捉えることもできる。また、本発明は、これらの方法をコンピュータに実行させるためのコンピュータプログラム、あるいはこのコンピュータプログラムを非一時的に記憶したコンピュータ可読記憶媒体として捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

本発明によれば、複数の話者からなるグループがどのような状態にあるのかを適確に判定することができる。また、本発明によれば、このように適確に判定されたグループ状態に基づいて、適切な支援を行うことができる。

第１の実施形態に係る会話介入支援システムの構成例を示す図である。 第１の実施形態に係る会話介入支援システムの機能ブロック例を示す図である。 第１の実施形態に係る会話介入支援システムが行う会話介入支援方法の全体的な処理の流れの例を示すフローチャートである。 会話介入支援方法における会話状況分析処理（Ｓ３０３）の流れの例を示すフローチャートである。 話者ごとおよび発話区間ごとに分離された発話の例を示す図である。 発話ごとに抽出されたジャンル・話題の場所・意図の例を示す図である。 同一の会話テーマを有する一連の発話群の例を示す図である。 会話状況データの例を示す図である。 （Ａ）会話状況データに含まれる、発話間の対応関係、各発話の会話テーマ・発話の意図・話者の感情と（Ｂ）会話における話者間の発話発生状況と話者間の関係性の例を説明する図である。 会話介入支援方法におけるグループ状態判定処理（Ｓ３０４）の流れの例を示すフローチャートである。 （Ａ）グループ種別と（Ｂ）グループ種別の推定条件の例を示す図である。 会話介入支援方法における介入内容決定処理（Ｓ３０５）の流れの例を示すフローチャートである。 （Ａ）グループ種別に応じた介入ポリシーと（Ｂ）グループの状態変化に応じた介入方法の例を説明する図である。

（第１の実施形態）
＜システム構成＞
本実施形態は、車両内の複数人の会話に対して介入して情報提供や意思決定支援を行う会話介入支援システムである。本実施形態は、複数人特に３人以上の会話に対しても適切な介入を行えるように構成される。

図１は本実施形態に係る会話介入支援システムの構成の一例を示す図である。ナビゲーション装置１１１がマイクを介して取得した乗員の会話音声は、通信装置１１４を経由してサーバ装置１２０に送られる。サーバ装置１２０は、車両１１０から送信された会話音声を分析して、状況に応じて適切な情報提供や意思決定支援などの介入を行う。サーバ装置１２０は、会話音声を分析してどのような方針で介入を行うかを決定し、その方針に従った情報をレコメンドシステム１２１、店舗広告情報ＤＢ１２２、関連情報ＷＥＢサイト１３０から取得する。サーバ装置１２０は介入指示を車両１１０に送信し、車両１１０はナビゲーション装置１１１のスピーカーやディスプレイを通じて音声再生あるいはテキストや画像の表示を行う。また、車両１１０は、現在位置を取得するＧＰＳ装置１１２および乗員（話者）の顔や体を撮影するカメラ１１３も備える。

図２は本実施形態に係る会話介入支援システムの機能ブロック図である。会話介入支援システムは、マイク（音声入力部）２０１、雑音除去部２０２、音源分離部（話者分離部）２０３、会話状況分析部２０４、音声認識用コーパス・辞書２０５、語彙意図理解用コーパス・辞書２０６、グループ状態判定部２０７、グループモデル定義記憶部２０８、介入・調停部２０９、介入ポリシー定義記憶部２１０、関連情報ＤＢ２１１、出力制御部２１２、スピーカー（音声出力部）２１３、ディスプレイ（画像表示部）２１４を含む。これらの各機能部が行う処理の詳細は、以下でフローチャートともに説明する。

本実施形態では、図２で示す各機能のうち、マイク２０１による音声入力と、出力制御部２１２、スピーカー２１３、ディスプレイ２１４による介入内容の出力を車両１１０にて行う。その他の機能は、サーバ装置１２０で行うように構成する。しかしながら、これらの機能を車両１１０とサーバ装置１２０でどのように分担するかは特に限定されない。例えば、車両１１０で、雑音除去や音源分離などを行ってもよいし、さらに音声認識処理まで行ってもよい。また、サーバ装置１２０は介入ポリシーの決定までを行い、決定された介入ポリシーに従ってどのような情報を提示するかは車両１１０で決定してもよい。さらには、全ての機能を車両１１０内で実現しても構わない。

なお、ナビゲーション装置１１１およびサーバ装置１２０は、いずれも、ＣＰＵなどの演算装置、ＲＡＭやＲＯＭなどの記憶装置、入力装置、出力装置、通信インタフェースなどを備えるコンピュータであり、記憶装置に記憶されたプログラムを演算装置が実行することによって、上記の各機能を実現する。ただし、上記の機能の一部または全部を専用のハードウェアによって実現しても構わない。また、サーバ装置１２０は、１台の装置である必要はなく、通信回線を介して結合された複数の装置（コンピュータ）から構成されそれぞれの装置間で機能を分担しても構わない。

＜全体処理＞
図３は、本実施形態に係る会話介入支援システムが行う会話介入支援方法の全体的な流れを示すフローチャートである。図３を参照しながら、会話介入支援方法の全体について説明する。

ステップＳ３０１において、ナビゲーション装置１１１が、マイク２０１を介して車両１１０内の複数の乗員による会話音声を取得する。本実施形態では、取得された音声に対する以降の処理はサーバ装置１２０において行われるので、ナビゲーション装置１１１は取得した会話音声を、通信装置１１４を介してサーバ装置１２０へ送信する。なお、使用するマイクの数や配置は特に限定されないが、マイクあるいはマイクアレイを複数用いることが好ましい。

ステップＳ３０２において、サーバ装置１２０は、雑音除去部２０２と音源分離部２０
３を用いて、会話音声から話者ごとのそれぞれの発話を抽出する。なお、「発話」とは言語を音声として発生すること、およびその結果として発生された音声を意味する。ここでの処理は、雑音除去部２０２による雑音除去と、音源分離部２０３による音源分離（話者分離）が含まれる。雑音除去部２０２は、例えば、雑音発生源近くに配置されたマイクから得られる音声と、その他のマイクから得られる音声との相違から、雑音を特定して除去する。雑音除去部２０２は、また、複数のマイクに入力される発話の相関を利用して、雑音を除去する。音源分離部２０３は、複数のマイクに音声が入力される時間差から各話者のマイクに対する方向および距離を検出して、話者を特定する。

ステップＳ３０３において、会話状況分析部２０４が、複数人による会話の状況を分析する。複数人、特に３人以上の会話の状況を分析するためには、それぞれの話者による発話に相関があるか、また、相関がある場合にはどのような関係があるか、などを認識する必要がある。そこで、会話状況分析部２０４は、同一の会話テーマに関する発話群を一連の発話群として抽出し、さらにその発話群の中での発話間の関係性を把握して、発話間の関係性を考慮して会話の状況や話者間の関係を分析する。会話状況分析部２０４による具体的な処理内容については、後述する。

ステップＳ３０４において、グループ状態判定部２０７は、会話状況分析部２０４による会話状況データをもとに、同一の会話に参加している話者グループがどのようなグループであるかあるいはこのグループがどのような状態にあるかを判定する。グループの例として、例えば、「フラットな関係で親密度が高く、メンバー同士が互いに遠慮なく意見を言いあえるようなグループ」、「上下関係があるが、親密度が高く、特定のメンバーがグループの意思決定を主導しているようなグループ」、「上下関係があり、親密度が低く、特定のメンバーがグループの意思決定を主導しているようなグループ」などが挙げられる。また、グループの状態変化の例として、特定のメンバーの発話頻度が低下した、グループ全体の発話頻度が低下した、特定のメンバーの感情が変化した、グループの主導者が変化した、などが挙げられる。グループ状態判定部２０７による具体的な処理内容については後述する。

ステップＳ３０５において、介入・調停部２０９は、グループ状態判定部２０７によるグループ状態に応じて介入ポリシーを決定し、介入ポリシーと現在の会話の内容にしたがって具体的な介入のタイミングと内容を決定する。例えば、フラットな関係で親密度が高く、メンバー同士が互いに遠慮なく意見を言いあえるようなグループであれば、全員に対してほぼ均等に詳しい参考情報を提示して活発な討議を促すという介入ポリシーを採用することが考えられる。また、例えば、特定の話者あるいはグループ全体の発話頻度が低下した場合には、会話を活発化させるような話題に誘導する介入ポリシーを採用することが考えられる。介入・調停部２０９は、介入ポリシーを決定したら、現在の話題にしたがって、レコメンドシステム１２１、店舗広告情報ＤＢ１２２、あるいは関連情報ＷＥＢサイト１３０から提示すべき情報を取得して、介入指示を行う。介入・調停部２０９による具体的な処理内容については後述する。

ステップＳ３０６では、出力制御部２１２が、介入・調停部２０９から出力される介入指示に従って、出力すべき合成音声あるいはテキストを生成して、スピーカー２１３やディスプレイ２１４において再生する。

以上のようにして、車両１１０内の複数の話者による会話に対する介入が行える。なお、図３のフローチャートに示す処理は繰り返し実行される。会話介入支援システムは、会話音声を随時取得して、会話状況や話者間の関係やグループ状態を監視し続け、介入が必要と判断した場合に介入を行う。

＜会話状況分析処理＞
次に、ステップＳ３０３における会話状況分析処理の詳細について説明する。図４は、会話状況分析処理の流れを示すフローチャートである。なお、図４に示すフローチャートの処理は図示されたとおりの順序で行う必要はなく、また一部の処理を省略しても構わない。

ステップＳ４０１において、会話状況分析部２０４は、音源分離された音声データから発話区間を検出し、発話区間ごとに区間ＩＤとタイムスタンプを付加する。なお、発話区間は音声が発話されている１連続の区間である。発話区間の終了は、例えば、１５００ミリ秒以上の無発話が生じる前までとする。この処理により、会話音声を、話者ごとおよび発話区間ごとに複数の音声データに分離できる。以下では、１つの発話区間における発話の音声のことを、単に発話とも称する。図５は、ステップＳ４０１において分離されたそれぞれの発話を示す。

ステップＳ４０２では、会話状況分析部２０４が、それぞれの発話について発話特徴量（音声特徴量）を算出する。発話特徴量として、発話音量、ピッチ、トーン、持続時間、発話速度（平均モーラ長）が挙げられる。発話音量は、発話の音圧レベルである。トーンは、音の高低や音そのものであり、音の高低は音波の１秒間あたりの振動回数（周波数）によって特定される。ピッチは、知覚される音の高さであり、音の物理的な高さ（基本周波数）によって特定される。平均モーラ長は、１モーラあたりの発話の長さ（時間）として算出される。なお、モーラは拍数である。ここで、発話音量、ピッチ、トーン、発話速度については、発話区間内の平均値、最大値、最小値、変動幅、標準偏差などを求めるとよい。本実施形態ではこれらの発話特徴量を算出するが、ここで例示した発話特徴量の全てを算出しなくてもよいし、ここで例示した以外の発話特徴量を算出してもよい。

ステップＳ４０３において、会話状況分析部２０４は、それぞれの発話についての話者の感情を、発話特徴量の変化から求める。求める感情の例として、満足、不満足、興奮、怒り、悲しみ、期待、安心、不安などが挙げられる。感情は、例えば、発声の音量、ピッチ、トーンの平常時からの変化に基づいて求めることができる。各話者の平常時の発話特徴量は、これまでに得られた発話特徴量から求めてもよいし、あるいはユーザ情報・利用履歴ＤＢ１２３に格納されている情報を用いてもよい。なお、話者の感情は、発話（音声データ）のみに基づいて決定する必要はない。話者の感情は発話の内容（テキスト）からも求めることができる。また、話者の感情は、例えば、カメラ１１３から撮影される話者の顔画像から顔特徴量を算出し、顔特徴量の変化に基づいて求めることもできる。

ステップＳ４０４において、会話状況分析部２０４は、それぞれの発話について、音声認識コーパス用・辞書２０５を用いた音声認識処理を施して、発話内容をテキスト化する。音声認識処理には既存の技術を適用すればよい。図５に示す発話内容（テキスト）は、ステップＳ４０４の処理によって求められる。

ステップＳ４０５において、会話状況分析部２０４は、それぞれの発話の内容（テキスト）から、語彙意図理解用コーパス・辞書２０６を参照して、発話の意図および話題を推定する。発話の意図は、例えば、話題の切り出し、提案、提案への賛成・反対、意見の集約などを含む。発話の話題は、例えば、発話のジャンル、場所、ものなどを含む。発話のジャンルは、例えば、飲食、旅行、音楽、天候などを含む。話題となっている場所は、例えば、地名、ランドマーク、店舗名、施設名などが含まれる。語彙意図理解用コーパス・辞書２０６は、「話題を切り出す、提案する、質問する、賛成する、反対する、物事を集約する」といった場合にそれぞれ使われる語彙や、発話のジャンルを特定するための「飲食、旅行、音楽、天候など」に関する語彙や、話題となっている場所を特定するための「地名、ランドマーク、店舗名、施設名など」に関する語彙の辞書を含む。なお、発話意図
の推定においては、テキストだけでなく話者の感情を考慮することも好ましい。例えば、発話内容（テキスト）は提案に対する同意を示している場合に、話者の感情を考慮することで、喜んで同意しているのか渋々同意しているのかなどをより詳細な発話意図を推定することができる。

ステップＳ４０５の処理の結果、各発話について、「何をどうしたいか」といった話者の意図と、話題となっているジャンルを推定することができる。例えば、図５における発話ＩＤ２の「北鎌倉のイタリアンはどぉー」というテキストについては、辞書との照合により、「イタリアン」という語からジャンルが「飲食（料理）」であること、「北鎌倉」という語から話題の場所が「鎌倉」であること、「どぉー」という語から発話の意図が「提案」であることが推定できる。

図６は、図５に示すそれぞれの発話に対する、話題となっているジャンル、話題となっている場所、および発話の意図の抽出結果を示す。本実施形態において、意図等を推定した「発話ｎ（Ｓ）」は、例えば、以下のような式で示される。

発話ｎ（Ｓ）＝（Ｇ_ｎ，Ｐ_ｎ，Ｉ_ｎ）

ここで、ｎは発話ＩＤ（１〜ｋ）であり、発話の発生順に発話ＩＤを付与するとする。Ｓは話者（Ａ、Ｂ、Ｃ．．．）であり、Ｇ_ｎ、Ｐ_ｎ、Ｉ_ｎは、それぞれ、推定された発話のジャンル、話題となっている場所、発話の意図を示す。

例えば、話者Ａの発話１を語彙意図理解用コーパス・辞書２０６と照合し、「Ｇ_１：飲食」、「Ｐ_１：鎌倉」、「Ｉ_１：話題の切り出し」とマッチした場合は、次のように示す。

発話１（Ａ）＝（"飲食"，"鎌倉"，"話題の切り出し"）

なお、それぞれの発話に対する、話題となっているジャンル、話題の場所、および発話の意図といった情報は、発話の内容（テキスト）以外の情報を考慮して求めることも好ましい。特に、発話の意図は、発話特徴量から求められる話者の感情を考慮して求めることも好ましい。発話内容が提案への賛成を表している場合であっても、発話特徴量から喜んで同意しているのか、渋々同意しているのかを判別できる。また、発話によっては、発話内容（テキスト）から上記の情報を抽出できない場合もある。このような場合には、会話状況分析部２０４は、時系列で発生している前後の発話意図の抽出結果あるいは発話内容（テキスト）を考慮して、当該発話の意図を推定するとよい。

ステップＳ４０６において、会話状況分析部２０４は、ステップＳ４０５にて得られた各発話のジャンルと発話の時系列的な結果を考慮して、同一テーマと推定される発話を抽出し、その結果得られた発話群を一連の会話に含まれる発話群であると特定する。この処理により、１つの会話の開始から終了までに含まれる発話を特定することができる。

会話テーマの同一性判定では、発話のジャンルや話題の場所の類似性が考慮される。例えば、発話ＩＤ５は抽出語「魚」からジャンルが「飲食」で、抽出語「海」から話題の場所が「海」であると判定されているが、いずれもジャンルが「飲食」であり、同一の会話テーマを有すると判定できる。また、発話には発話ＩＤ１のように「話題の切り出し」を判定する語（「決めよう」）や、発話ＩＤ９のように「集約」を判定する語（「決まり」）が含まれている場合があり、それぞれの発話を、同じテーマの会話の開始時あるいは終了時の発話と推定することもできる。また、発話の時間的関係も考慮して、発話のジャン
ルや話題の場所などが同一であったとしても、発話間の時間間隔が長すぎる場合には異なる会話テーマと判断してもよい。また、発話の中には、意図やジャンルなどを抽出できる語彙を含まない発話もある。このような場合は、時系列的な発話の流れを考慮し、同一の会話の開始と終了の間に発生している同じ話者の発話は同じ会話に含まれるとみなすとよい。

図７は、図６に示した各発話のジャンル、話題の場所、および発話意図から、一連の発話群を特定した結果を示す図である。ここでは、３つの会話が抽出されている。会話１は、「飲食（昼食）」「飲食（料理）」「鎌倉」に関する会話であり、発話ＩＤ１，２，３，５，７，９が含まれる。会話２は、「天候」「スポーツ（運動会）」に関する会話であり、発話ＩＤ４，６，８が含まれる。なお、「天候」と「スポーツ（運動会）」は異なるジャンルであるが、「天候」に関する発話の直後に「スポーツ（運動会）」に関する発話が連続して発生する場合、それらの発話は「天候」に関する会話に含まれると判断する。会話３は、「音楽」に関する会話であり、発話ＩＤ１０，１１が含まれる。

図５に示す発話は、話者Ａ〜Ｅの合計５人によって行われているが、全員が同じ会話に参加しているわけではない。ここでは、話者Ａ〜Ｃの３人が飲食に関する会話１を行っており、話者Ｄ，Ｅが天候に関する会話２を行っている。本実施形態における会話状況分析部２０４は、各発話のジャンルや、話題となっている場所（もの）や、発話の意図に着目しているので、複数の会話が同時に進行している場合であっても、適切に一連の会話に含まれる発話群を特定できる。

本実施形態において、このようにして特定された一連の「会話ｍ」は、例えば、以下のような式で示される。

会話ｍ（Ｓ_Ａ，Ｓ_Ｂ，Ｓ_Ｃ… ）
＝｛発話１（Ｓ_Ａ），発話２（Ｓ_Ｂ），発話３（Ｓ_Ｃ）… ｝
＝Ｔ_ｍ｛（Ｇ_Ａ，Ｐ_Ａ，Ｉ_Ａ），（Ｇ_Ｂ，Ｐ_Ｂ，Ｉ_Ｂ），（Ｇ_Ｃ，Ｐ_Ｃ，Ｉ_Ｃ）… ｝

ここで、ｍは会話ＩＤ（１〜ｋ）、であり、会話の発生順に会話ＩＤを付与するとする。Ｓ_A,B,C…は話者（Ａ、Ｂ、Ｃ．．．）であり、Ｔ_ｍ、Ｇ_ｎ、Ｐ_ｎ、Ｉ_ｎは、それぞれ
、推定された会話のテーマ、発話のジャンル、発話で話題となっている場所、発話の意図を示す。

例えば，話者Ａ、Ｂ、Ｃのテーマ「飲食」の発話群が会話１に特定された場合は、次のように示される。

会話１（Ａ，Ｂ，Ｃ）
＝Ｔ_"食事"｛（"飲食（昼食）"，"鎌倉"，"話題の切り出し"）,
（"飲食（料理）"，"鎌倉"，"提案"）,
（"飲食（料理）"，"ｎａ"，"否定／提案"）… ｝

ステップＳ４０７において、会話状況分析部２０４は、上記の分析結果を統合した会話状況データを生成して出力する。例えば、会話状況データは、直近の所定期間（例えば、３分間）における同一会話内の発話について、図８に示すような情報を含む。発話が多い話者は、期間内における発話回数と発話時間の両方が所定値以上（例えば、１回と１０秒）の話者である。発話が少ない話者は、期間内における発話回数が発話時間の両方が所定値未満の話者である。話者間の平均発話間隔あるいは重なりは、話者ペアごとに発話区間の間の無音期間の時間または発話区間が重なっている時間である。発話音量、トーン、ピ
ッチ、発話速度は、話者別と全話者について求められる。それぞれ、期間内の平均値、最大値、最小値、変動幅、標準偏差のいずれかまたは複数によって表し、特に変動が顕著に測定された場合には該当する発話内容などの情報と結び付けて示す。また、会話状況データは、期間内の各発話について、発話内容のテキスト、会話テーマ、推定話者名、発話の意図、発話の話題（ジャンル、場所、ものなど）、話者の感情も含む。また、会話状況データは、発話間の対応関係や話者間の関係も含む。

図９（Ａ）は、発話間の対応関係と、各発話の会話テーマ・発話の意図・話者の感情を表示した例である。図９（Ａ）では、話者Ａ〜Ｅについてそれぞれ発話区間が時系列に示されており、発話間の対応関係が矢印で示されている。また、発話ごとに、発話の意図と話者の感情が示されている（利用可能な場合）。例えば、話者Ａによる話題の切り出し（発話ＩＤ１）に対し、話者Ｂが提案（発話ＩＤ２）を行い、これら両方の発話を受けて話者Ｃが提案への反対と再提案（発話ＩＤ３）をしていることなどが分かる。なお、発話間の対応関係は、必ずしも発話（音声データ）のみに基づいて決定する必要はない。例えば、カメラ１１３から取得される話者の視線や顔や体の向きから、ある発話が特定のメンバーに対するものであるか否かを判定し、この判定結果を基に発話間の対応関係を求めてもよい。

図９（Ｂ）では、話者Ａ〜Ｅの会話において、どのような発話がどの程度発生していて、当該話者間の上下関係や親密性がどのように推定されるかなどを示している。任意の２人の話者間の発話において、発話の意図や、発話特徴量（発話回数、発話時間、発話の重なり、テンションレベル）、言葉づかい（丁寧度）から、２話者間の親密度や関係性（フラットであるか上下関係があるか）を求めることができる。なお、図９（Ｂ）には示していないが、話者間に上下関係などがある場合には、どちらが上位者でありどちらが下位者であるかも求めることができる。

会話状況分析部２０４は上述のような会話状況データをグループ状態判定部２０７へ出力する。会話状況データを用いることで、会話の流れと各発話の特徴量変化を紐付けることが可能となり、会話を行っているグループの状態を適確に推定できる。

＜グループ状態判定処理＞
次に、図３のステップＳ３０４におけるグループ状態判定処理の詳細について説明する。図１０は、グループ状態判定処理の流れを示すフローチャートである。

ステップＳ１００１において、グループ状態判定部２０７は、会話状況分析部２０４が出力した会話状況データを取得する。グループ状態判定部２０７は、この会話状況データに基づく以下の処理によって、グループ種別、各メンバーの役割（関係性）、グループの状態変化などを含むグループ状態を分析する。

ステップＳ１００２において、グループ状態判定部２０７は、会話における話者間のつながりを判定する。会話状況データには、各発話の話者と、発話間のつながり、発話の意図（提案、賛成、反対など）が含まれる。したがって、会話状況データに基づいて、話者ペアの間の会話の頻度（例えば「話者Ａと話者Ｂは頻繁に直接会話している」、「話者Ａと話者Ｂの間では直接の会話がない」など）や、話者ペアの間でどの程度、提案・賛成・反対の発話がなされているか（「話者Ａは話者Ｂに対して提案をＸ回、賛成意見をＹ回、反対意見をＺ回述べている」など）を把握することができる。グループ状態判定部２０７は、グループ内のそれぞれの話者ペアについて、これらの情報を求める。

ステップＳ１００３において、グループ状態判定部２０７は、メンバー間の意見交換状況を判定する。意見交換状況には、グループ内における意見交換の活発さ、提案に対する
賛成と反対の比率、意思決定における主導者の有無などの情報が含まれる。意見交換の活発さは、例えば、提案から最終的な意思決定までの間の発話回数または賛成意見あるいは反対意見の数などによって評価できる。また、意思決定における主導者の有無は、特定の話者の提案に対して反対意見が少なく同意や賛成意見のみが発生しているか否か、特定の話者の提案や意見が高い割合で最終的な意見として採用されるか否か、などによって評価できる。会話状況データには、各発話の話者と、発話間のつながり、発話の意図、発話の内容などが含まれるので、グループ状態判定部２０７は会話状況データに基づいてこれらの意見交換状況を判定できる。

ステップＳ１００４において、グループ状態判定部２０７は、会話状況データに含まれる発話特徴量および発話内容の言葉づかいと、ステップＳ１００２において求めた話者間のつながり、ステップＳ１００３において求めた話者間の意見交換状況に基づいて、グループ種別（グループモデル）を推定する。グループ種別はあらかじめ定義されており、例えば図１１（Ａ）に示すような、グループ種別Ａ：「フラットな関係で親密度が高く、メンバー同士が互いに遠慮なく意見を言いあえるようなグループ」、グループ種別Ｂ：「上下関係があるが、親密度が高く、特定のメンバーがグループの意思決定を主導しているようなグループ」、グループ種別Ｃ：「上下関係があり、親密度が低く、特定のメンバーがグループの意思決定を主導しているようなグループ」などが例として挙げられる。グループ種別Ａは、親友同士のような全員がフラットに繋がっているグループを想定したものである。グループ種別Ａには、主導者（特に意思決定への影響力を持つメンバー）が含まれる場合も含まれない場合もある。グループ種別Ｂは、家族のような、メンバー間のつながりが強く上下関係を持つグループを想定したものである。グループ種別Ｂには、主導者（例えば親）がいる。グループ種別Ｃは、職場の上司と部下のような、比較的ドライなつながりで上下関係を持つグループを想定している。グループ種別Ｃには、主導者（最上位者）がいる。ここでは例として３つのみ挙げているが、グループ種別の数はいくつであってもよい。

グループモデル定義記憶部２０８には、それぞれのグループ種別の判定基準が格納される。グループモデル定義記憶部２０８には、発話特徴量、発話内容の言葉づかい、話者間のつながり、意見交換情報などに基づく、複数個の判定基準が格納される。図１１（Ｂ）は、発話特徴量に基づく判定基準の例を示す。グループ種別Ａは「フラットな関係で親密度が高く、メンバー同士が互いに遠慮なく意見を言いあえるようなグループ」なので、例えば、「全話者が活発に発話している」、「発話が重なる傾向にある」、「各発話のトーンやピッチの変動が大きい」、「発話音量の変動が大きい」、「提案に対して反対意見がある程度発生する」という特徴を有することが多い。そこで、グループモデル定義記憶部２０８には、発話特徴量に基づくグループ種別Ａの判定基準として、例えば、「発話回数が３分間に３回以上または合計２０秒以上発話している話者が全体の６０％以上である」、「発話の重なりが３分間に３回以上または合計５秒以上」、「各話者のトーン、ピッチまたは音圧レベルの変動幅が所定の閾値以上」などの判定基準を含む。グループ状態判定部２０７は、現在のグループがこれらの判定基準をどの程度満たすかを評価し、現在のグループがグループ種別Ａである確からしさを示す評価値を求める。その他のグループ種別Ｂ，Ｃについても同様に評価値が求められる。

グループ状態判定部２０７は、ここで求めた評価値のみを用いて、すなわち発話特徴量のみに基づいてグループの種別を判定してもよいが、判定精度をより向上させるためにその他の要素も考慮してグループ種別を判定する。

グループ状態判定部２０７は、例えば、会話における発話内容（テキスト）を解析し、各話者の発話に含まれる命令語、敬語・丁寧語・謙譲語、くだけた語（親しい間柄で使う言葉）、子供が使う語、子供に対して使う語などをどの程度の頻度で現れるかを取得する
。これにより、会話における各話者の言葉づかいが分かる。グループ状態判定部２０７は、言葉づかいも考慮してグループ種別を推定する。例えば、「グループ内に命令調で話す人がいて、それに対して敬語・丁寧語・謙譲語で返答する人がいる」場合は、グループ種別Ｃである可能性が高いと判断できる。また、「グループ内に命令調で話す人がいるが、それに対してくだけた言葉で返答する人がいる」場合は、グループ種別Ａの可能性が高いと判断できる。また、「グループ内のほとんど話者がくだけた言葉を多く使う」場合は、グループ種別ＡまたはＢの可能性が高いと判断できる。また、「グループ内に親（大人）が子供に対して使う言葉づかいで話す人と、子供が使う言葉づかいで話す人がいる」場合には、グループ種別Ｂの可能性が高いと判断できる。ここで挙げた例は一例であり、グループ種別と言葉づかいの関連性があらかじめ定義されていれば、グループ状態判定部２０７は、現在のグループがどのグループ種別に該当するか可能性が高いかを判定できる。

また、グループ状態判定部２０７は、会話における意見交換状況からもグループ種別を判断できる。例えば、グループ内において意見交換が活発な場合や、提案に対して拒否や反対意見が比較的多く発生している場合は、グループ種別ＡまたはＢの可能性が高いと判断できる。また、グループ内において意見交換が活発でない場合や、グループ内に主導者が存在する場合は、グループ種別Ｃの可能性が高いと判断できる。ここで挙げた例は一例であり、グループ種別と意見交換状況の関連性があらかじめ定義されていれば、グループ状態判定部２０７は、現在のグループがどのグループ種別に該当するか可能性が高いかを判定できる。

グループ状態判定部２０７は、上記のように、発話特徴量、言葉づかい、意見交換状況、話者間のつながりに基づいて推定されるグループ種別を統合して、最も良く合致するグループ種別を、現在のグループの種別として決定する。

ステップＳ１００５において、グループ状態判定部２０７は、ステップＳ１００２，Ｓ１００３などの解析結果やその他の会話状況データを用いて、グループにおける各メンバーの役割を推定する。グループにおける役割として、意思決定における主導者、主導者に対する追従者が挙げられる。また、役割として、上位者、下位者、親、子、などを推定してもよい。メンバーの役割推定において、ステップＳ１００４において決定したグループ種別を考慮することも好ましい。

ステップＳ１００６において、グループ状態判定部２０７は、グループの状態変化を推定する。グループの状態には、発話の頻度、会話への参加者、会話における主導者が誰であるかなどが含まれる。ステップＳ１００６において推定される状態変化は、例えば、特定話者の発話頻度の低下、全体的な発話頻度の低下、会話グループの分離、主導者の変化などが挙げられる。

ステップＳ１００７において、グループ状態判定部２０７は、ステップＳ１００４において推定したグループ種別、ステップＳ１００５において推定した各メンバーの役割、およびステップＳ１００６に推定したグループの状態変化をまとめてグループ状態データとして、介入・調停部２０９へ出力する。介入・調停部２０９は、グループ状態データを参照することで、会話中のグループがどのような状態であるのかを把握でき、それにしたがった適切な介入が行える。

＜介入／調停処理＞
次に、図３のステップＳ３０５における介入内容決定処理の詳細について説明する。図１２は、介入内容決定処理の流れを示すフローチャートである。

ステップＳ１２０１において、介入・調停部２０９は、会話状況分析部２０４が出力し
た会話状況データとグループ状態判定部２０７が出力したグループ状態データを取得する。介入・調停部２０９は、これらのデータに基づく以下の処理によって、介入や調停を行う際に提示する情報の内容を決定する。

ステップＳ１２０２において、介入・調停部２０９は、グループ状態データに含まれるグループ種別やグループ状態変化に応じた介入ポリシーを、介入ポリシー定義記憶部２１０から取得する。介入ポリシーとは、グループ状態に応じて、グループ内のどのメンバーを優先的に支援するか、また、どのように支援するかを表す情報である。介入ポリシー定義記憶部２１０に定義される介入ポリシーの例を、図１３（Ａ）（Ｂ）に示す。

図１３（Ａ）は、グループ種別に応じた介入ポリシーの例である。例えば、フラットな関係で親密度が高く、メンバー同士が互いに遠慮なく意見を言いあえるようなグループ種別Ａに対する介入ポリシーの一例として、メンバー間で討議して決められるように促すために、「メンバー全員に対して、選択要素（例えば、食事場所を決める場合は、その候補となる店舗など）に関する情報を提示する」というポリシーが定義される。また、上下関係があるが、親密度が高く、特定のメンバーがグループの意思決定を主導しているようなグループ種別Ｂに対する介入ポリシーの一例として、意見の表明ができないような弱い立場にあるメンバーの意見を引き出して採用されるように促すために、「ファシリティター的なメンバーに対して、いずれのメンバーの意見を引き出すのが好ましいかという情報と、選択要素に関する情報を提示し、該当メンバーから意見を引き出し、その意見が採用されるように支援する」というポリシーが定義される。また、上下関係があり、親密度が低く、特定のメンバーがグループの意思決定を主導しているようなグループ種別Ｃに対する介入ポリシーの一例として、特定のメンバーの意見ばかりが採用されないように支援するために、「1番目の意思決定事項では上位メンバーの意見を優先扱いするが、2番目以降では、ファシリティター的なメンバーに対して、いずれのメンバーの意見を引き出すのが好ましいかという情報と、選択要素に関する情報を提示し、順次、該当メンバーから意見を引き出し、その意見が採用されるように支援する」というポリシーが定義される。なお、これらのポリシーにおけるファシリティター的なメンバーとは、特に意見の表明ができないような弱い立場にあるメンバーに寄り添って、該当メンバーの意見を引き出し、該当意見が採用されるように支援できるような人を意図する。また、図１３（Ａ）では、グループ種別ごとに１つの介入ポリシーが定義されるように記載しているが、グループ種別ごとに複数の介入ポリシーが定義されてもよい。

図１３（Ｂ）は、グループの状態変化に応じた介入ポリシーの例である。例えば、特定話者の発話停滞（発話頻度の低下）が発生している場合は、それが話題の変化に伴って発生していれば、停滞前の話題に関連する情報を提示する。また、全体的な発話の停滞が発生している場合には、停滞前の話題に関連する情報を提示する。また、グループが２つのサブグループに分離してそれぞれが異なる会話をしている場合には、いずれかのサブグループでの話題に関連する情報を、他のグループの人にも興味を持ってもらえるように提示する。また、主導者が変化した場合には、新しい主導者が話題を先導できるように情報提供を行う。なお、図１３（Ｂ）では、グループの状態変化ごとに１つの介入ポリシーが定義されているように記載しているが、状態変化ごとに複数の介入ポリシーが定義されてもよい。

上記のような介入ポリシーは、グループの種別やグループの状態変化に応じて、グループ内の各メンバーに対する介入の優先度と、どのような介入を行うかを定義した情報といえる。ここで、介入の優先度の設定は、メンバー個人に対して行われるというよりは、グループ内における役割（主導者など）を有するメンバーに対して設定されたり、特定の条件（発話頻度低下）を満たすメンバーに対して設定されたりする。ただし、全ての介入ポリシーが介入優先度を含んでいる必要はない。

ステップＳ１２０３において、介入・調停部２０９は、ステップＳ１２０２において取得された介入ポリシーに基づいて介入対象メンバーと介入方法を決定する。例えば、介入・調停部２０９は、主導者に対してその他のメンバーの嗜好にあった情報を提供するように決定したり、発話が停滞した話者が好む話題に関連する情報を提供するように決定したりする。なお、ステップＳ１２０３では、現時点では介入を行わないという決定がされることもある。ステップＳ１２０３の決定は、介入ポリシーのみに基づいて行う必要はなく、会話状況データなどその他の情報に基づいて行うことも好ましい。例えば、会話状況データに含まれる発話の意図などからグループ内で意思決定のための意見交換がされていると判断した場合に、意思決定を支援する介入ポリシーに基づいて介入対象と介入方法を決定するとよい。

ステップＳ１２０４において、介入・調停部２０９は、介入対象メンバーおよび介入方法に応じた提示情報を生成・取得する。例えば、主導者に対してその他のメンバーの嗜好にあった情報を提供する場合には、まず、他のメンバーの嗜好を、それまでの会話テーマおよび当該メンバーの感情（興奮度など）に基づいて取得したり、あるいはユーザ情報・利用履歴ＤＢ１２３から取得したりして決定する。昼食の場所についての会話をしているときに、当該メンバーがイタリアン料理を好む場合には、イタリアン料理店についての情報を関連情報ＷＥＢサイト１３０などから取得する。この際、車両１１０のＧＰＳ装置１１２から得られる位置情報も考慮して提示する店舗を絞り込むとよい。

ステップＳ１２０５において、介入・調停部２０９は、ステップＳ１２０４にて生成・取得した提示情報を含む介入指示データを生成して、出力する。本実施形態では、サーバ装置１２０から車両１１０のナビゲーション装置１１１に対して、介入指示データが送信される。ナビゲーション装置１１１の出力制御部２１２は、介入指示データに基づいて、合成音声や表示テキストを生成して、スピーカー２１３やディスプレイ２１４から情報の提示を行う（Ｓ３０６）。

上記で説明した一連の会話介入支援処理（図３）は繰り返し実行される。発話に対して適切なタイミングで介入が行えるように、繰り返し間隔は短いことが好ましい。ただし、繰り返し処理において全ての処理を毎回行う必要はない。例えば、会話状況分析Ｓ３０３やグループ状態判定Ｓ３０４はある程度の間隔（例えば３分）を空けて行うようにしてもよい。また、グループ状態の判定においても、グループ種別の判定とグループの状態変化の判定を異なる実行間隔で行ってもよい。

＜本実施形態の有利な効果＞
本実施形態においては、会話状況分析部２０４が、複数の話者によって行われる会話において、同一の会話テーマからなる発話群を特定し、さらに各発話間の関係があるかどうか、さらに関係がある場合にどのような関係があるかなどを把握できる。さらに、同一の会話における話者間の発話の間隔や重なり度合いから、会話状況が推定できる。本実施形態による会話状況の解析手法では、多数の話者が異なるグループに分かれて同時に会話を行っている場合であっても、それぞれの会話についての状況を把握することができる。

また、本実施形態では、グループ状態判定部２０７が、会話状況データなどに基づいて、会話を行っているグループの種別や状態変化、あるいはグループ内の各話者の役割や互いの関係性などを把握することができる。このような把握ができることによって、システムが会話に介入する際に、どの話者をより優先的に支援するかを決定したり、グループの状態に応じた適切な介入が行えたりする。

＜変形例＞
上記の説明では、会話介入支援システムを、車両とサーバ装置とが連携するテレマティクスサービスとして構成する例を示したが、具体的なシステムの形態はこれに限られない。例えば、会議室などの室内における会話を取得して、この会話に介入するシステムとして構成することができる。

２０１：マイク ２０２：雑音除去部 ２０３：音源分離部 ２０４：会話状況分析部 ２０５：音声認識用コーパス・辞書 ２０６：語彙意図理解用コーパス・辞書
２０７：グループ状態判定部 ２０８グループモデル定義記憶部 ２０９：介入・調停部 ２１０：介入ポリシー定義記憶部 ２１１：関連情報データベース ２１２：出力制御部 ２１３：スピーカー ２１４：ディスプレイ

Claims (12)

1. 会話を行っている複数の話者からなるグループの状態を判定するグループ状態判定装置であって、
   複数の話者によって行われている同一の会話テーマと推定される一連の発話群に関するデータである会話状況データを取得する取得手段と、
   複数のグループ種別について、前記会話状況データに基づく判定基準を記憶した記憶手段と、
   前記複数の話者からなるグループのグループ状態として、前記会話状況データと前記判定基準に基づいて前記複数の話者からなるグループの種別を取得する判定手段と、
   を備える、グループ状態判定装置。
2. 前記会話状況データには、発話特徴量が含まれており、
   前記判定基準は、前記発話特徴量に基づくグループ種別の判定基準であり、
   前記判定手段は、前記会話状況データに含まれる発話特徴量と前記判定基準に基づいて、前記グループの種別を判定する、
   請求項１に記載のグループ状態判定装置。
3. 前記会話状況データには、発話間の関係性と発話の意図が含まれており、
   前記判定手段は、前記会話状況データに含まれる発話間の関係性と発話の意図を考慮して前記グループにおける意見交換状況を推定し、当該意見交換状況も考慮して前記グループの種別を判定する、
   請求項２に記載のグループ状態判定装置。
4. 前記判定手段は、前記意見交換状況として、グループ内における意見交換の活発さ、提案に対する賛成と反対の比率、意思決定における主導者の有無の少なくともいずれかを判定する、
   請求項３に記載のグループ状態判定装置。
5. 前記判定手段は、グループ状態として、発話間の関係性と発話の意図に基づいて、前記グループに含まれる複数の話者の関係性をさらに判定する、
   請求項３または４に記載のグループ状態判定装置。
6. 前記判定手段は、発話における言葉づかいも考慮して、前記グループの種別を判定する、
   請求項２から５のいずれか１項に記載のグループ状態判定装置。
7. 前記判定手段は、グループ状態として、発話における言葉づかいに基づいて、前記グループに含まれる複数の話者の関係性をさらに取得する、
   請求項６に記載のグループ状態判定装置。
8. 前記判定手段は、前記グループに含まれる複数の話者の関係性として、前記グループにおける上位者または意思決定の主導者を推定する、
   請求項５または７に記載のグループ状態判定装置。
9. 前記判定手段は、グループ状態として、前記発話特徴量に基づいて、発話の停滞の発生有無を取得する、
   請求項２から８のいずれか１項に記載のグループ状態判定装置。
10. 複数の話者からなるグループによって行われる会話に介入して支援を行う支援装置であ
    って、
    請求項１から９のいずれか１項に記載のグループ状態判定装置と、
    グループ状態と介入ポリシーの対応を記憶する介入ポリシー記憶手段と、
    前記グループ状態判定装置から得られるグループ状態に対応する介入ポリシーに基づいて、前記グループの会話への介入の内容を決定し、前記会話への介入を行う介入手段と、
    を備える、支援装置。
11. 前記グループ状態には、グループの種別と、グループのメンバー間の関係性が含まれ、
    前記介入ポリシー記憶手段には、グループの種別ごとに、グループ内のいずれのメンバーをより優先的に支援するかが定義される、
    請求項１０に記載の支援装置。
12. 会話を行っている複数の話者からなるグループの状態を判定するグループ状態判定方法であって、コンピュータが、
    複数の話者によって行われている同一の会話テーマと推定される一連の発話群に関するデータである会話状況データを取得する取得ステップと、
    前記複数の話者からなるグループのグループ状態として、前記会話状況データと、記憶手段に記憶されている複数のグループ種別についての前記会話状況データに基づく判定基準に基づいて前記複数の話者からなるグループの種別を取得する判定ステップと、
    を実行する、グループ状態判定方法。

Images