JP2022038487A - コミュニケーションシステム - Google Patents

Abstract

【課題】情報処理コストを低減させつつも、検出精度の低下を抑制して、ユーザの周囲とのコミュニケーション参加度合いを検出できるコミュニケーションシステムを提供すること。【解決手段】本開示のコミュニケーションシステム１は、判定装置２０を含む。判定装置２０は、少なくとも３台のウェアラブル端末と接続する。判定装置２０は、接続されるウェアラブル端末が検知した音声データに基づいて、ウェアラブル端末の各ユーザのうち、発話している発話者を判定する発話判定部２２と、ウェアラブル端末が検知した加速度データに基づいて、ウェアラブル端末の各ユーザの頷きを判定する興味動作判定部２３と、所定時間における頷きの回数である頷き密度の時間的推移を発話者の発話区間において算出し、非発話者の間で頷き密度の時間的推移の相関を算出する興味関心判定部２４と、を備える。【選択図】図１

Description

本発明はコミュニケーションシステムに関する。

特許文献１には、ユーザの周囲とのコミュニケーション参加度合いを、画像情報等を用いて検出する技術が開示されている。

特開２００８－０４６８０１号公報

情報処理コストの高い画像情報を用いない場合であっても、検出精度の低下を抑制して、ユーザの周囲とのコミュニケーション参加度合いを検出できるコミュニケーションシステムを実現したいという課題があった。

本開示では、そのような課題を解決するためになされたものであり、情報処理コストを低減させつつも、検出精度の低下を抑制して、ユーザの周囲とのコミュニケーション参加度合いを検出できるコミュニケーションシステムを提供することを目的とする。

少なくとも３台のウェアラブル端末と接続する判定装置を含むコミュニケーションシステムであって、前記判定装置は、
前記接続されるウェアラブル端末が検知した音声データに基づいて、前記ウェアラブル端末の各ユーザのうち、発話している発話者を判定する発話判定部と、
前記ウェアラブル端末が検知した加速度データに基づいて、前記ウェアラブル端末の各ユーザの頷きを判定する興味動作判定部と、
所定時間における前記頷きの回数である頷き密度の時間的推移を前記発話者の発話区間において算出し、非発話者の間で前記頷き密度の時間的推移の相関を算出する興味関心判定部と、を備える
コミュニケーションシステム。

本開示によって、情報処理コストを低減させつつも、検出精度の低下を抑制して、ユーザの周囲とのコミュニケーション参加度合いを検出できるコミュニケーションシステムを提供できる。

第１の実施形態に係るコミュニケーションシステムの構成を示すブロック図である。 第１の実施形態に係る判定装置の動作を示すフローチャートである。 第１の実施形態に係る判定装置における、発話者に対する非発話者間における興味関心の類似度を推定する方法の具体例を示す図である。

以下では、本開示を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。

（第１の実施形態）
まず、第１の実施形態に係るコミュニケーションシステム１を説明する。図１は、第１の実施形態に係るコミュニケーションシステム１の構成を示すブロック図である。図１に示すように、コミュニケーションシステム１は、少なくとも３台以上のウェアラブル端末１０と、判定装置２０（コミュニケーション判定装置２０）と、を備えている。まず、コミュニケーションシステム１において、ウェアラブル端末１０及び判定装置２０の各構成を説明する。その後、コミュニケーションシステム１の動作を説明する。

＜ウェアラブル端末１０の構成＞
ウェアラブル端末１０は、ユーザに装着される。例えば、１人のユーザは、１つのウェアラブル端末１０を装着する。よって、複数のウェアラブル端末１０は、複数のユーザに装着される。なお、図１では、３台のウェアラブル端末１０が示されているが、これに限らず、ウェアラブル端末１０は、４台以上でもよい。

ウェアラブル端末１０は、例えば、バッジである。なお、ウェアラブル端末１０は、ユーザに装着されるものであれば、バッジに限らず、ヘッドセット、イヤホン、メガネ、ネックレス、ペンダント等でもよい。ウェアラブル端末１０は、センサ１１を備える。

センサ１１は、ウェアラブル端末１０のユーザの物理情報を検知する。例えば、センサ１１は、ユーザの発声を検知するマイクを備え、ウェアラブル端末１０のユーザの発話、すなわち音声を検知する。また、センサ１１は、ユーザの動きを検知する加速度センサを備え、ウェアラブル端末１０のユーザの加速度を検知する。

各ウェアラブル端末１０は、図示しない送受信器を有している。各ウェアラブル端末１０は、無線または有線の通信回線により、判定装置２０に接続されている。例えば、各ウェアラブル端末１０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信により、判定装置２０と通信可能に接続されてもよい。各ウェアラブル端末１０は、インターネット等のネットワークを介して、判定装置２０に接続されてもよい。各ウェアラブル端末１０は、通信回線を介して、判定装置２０に検知した情報を送信する。また、各ウェアラブル端末１０は、通信回線を介して、判定装置２０から、制御信号等の情報を受信する。

また、各ウェアラブル端末１０は、時刻を同期させてもよい。例えば、各ウェアラブル端末１０は、インターネットに接続した判定装置２０から、ネットワークタイムプロトコル（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ、ＮＴＰ）の時刻を受信して、時刻を同期させてもよい。

各ウェアラブル端末１０は、無線または有線の通信回線により、相互に接続されてもよい。各ウェアラブル端末１０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信により、相互に通信可能に接続されてもよいし、インターネット等のネットワークを介して、相互に接続されてもよい。各ウェアラブル端末１０は、ウェアラブル端末１０同士で相互に各種の情報を送受信してもよい。判定装置２０は、各ウェアラブル端末１０間の近距離無線通信により、各ウェアラブル端末１０間の距離を取得してもよい。

＜判定装置２０の構成＞
判定装置２０は、無線または有線の通信回線により各ウェアラブル端末１０に接続されている。判定装置２０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、サーバ（Ｓｅｒｖｅｒ）、スマートフォン等の情報処理装置である。判定装置２０は、インターネット経由で各ウェアラブル端末１０が取得した情報を収集できるように、クラウド上に設けられてもよい。

判定装置２０は、複数のウェアラブル端末１０を用いて取得した情報に基づき、ウェアラブル端末１０のユーザ間の興味・関心の類似度を推定する。判定装置２０は、記憶部２１、発話判定部２２、興味動作判定部２３及び興味関心判定部２４を備える。

記憶部２１は、例えばウェアラブル端末１０のセンサ１１が検知した情報を記憶する。記憶部２１は、センサ１１が検知した発話の音声データ、及び、センサ１１が検知した加速度データ等を記憶する。

発話判定部２２は、発話の発話者及び発話区間を判定する。発話者を判定する方法は、以下に示すいくつかの例が挙げられる。例えば、発話判定部２２は、センサ１１により検知された音圧の大きさが閾値を超えているかどうかで発話者を判定してもよい。また、例えば、発話判定部２２は、まず、近距離無線通信等を用いて取得したウェアラブル端末１０間の距離をもとに、距離が近い複数のユーザで仮想的にグループを形成する。その上で、その仮想的なグループの中で音圧が一番大きく、さらに、他のユーザの音圧よりも一定以上の差をもっている一人を発話者と判定してもよい。

さらに、発話者の判定精度を向上させる方法として、発話判定部２２は、発話者かどうか判定する対象の対象ウェアラブル端末１０のセンサ１１が取得した音声データに発話区間がある場合には、対象ウェアラブル端末１０を装着したユーザを発話者と判定する。

具体的には、発話判定部２２は、対象ウェアラブル端末１０のセンサ１１が取得した音声データにおいて、音圧が定常ノイズの閾値よりも小さい区間を、定常ノイズの影響を反映した第１非発話区間と判定する。定常ノイズは、周囲の環境から由来する音であって、エアコンの稼働音や周囲のざわつき等、一定の範囲内で音圧が継続的に発生しているものである。

発話判定部２２は、対象ウェアラブル端末１０のセンサ１１が取得した音声データにおいて、音圧が、定常ノイズの閾値以上であり、対象ウェアラブル端末１０から所定距離内に位置する比較ウェアラブル端末１０のセンサ１１が取得した音声データの音圧と類似する場合には、突発的な非定常ノイズの影響を反映した第２非発話期間と判定する。突発的な非定常ノイズは、ウェアラブル端末１０を装着したユーザの発声以外に由来する音であって、周囲の人の突発的な大声や、大きな物音等、突発的に発声するものである。

発話判定部２２は、対象ウェアラブル端末１０のセンサ１１が取得した音声データにおいて、音圧が、定常ノイズの閾値以上であり、比較ウェアラブル端末１０の音圧と類似せず、比較ウェアラブル端末１０までの距離に応じて減少すべき閾値よりも小さい場合には、他者の発話が混入した第３非発話区間と判定する。

そして、発話判定部２２は、対象ウェアラブル端末１０のセンサ１１が取得した音声データにおいて、第１～第３非発話区間以外の区間を、対象ウェアラブル端末１０を装着したユーザが発話した発話区間と判定する。このようにして、発話判定部２２は、対象ウェアラブル端末１０のユーザが発話者かどうか判定する。なお、発話者を判定する方法は、上記の方法に限らない。また、上述した発話者を判定する方法をいくつか組み合わせてもよい。

興味動作判定部２３は、センサ１１が取得したウェアラブル端末１０のユーザの動きのデータから興味関心を表す特徴的動作を判定する。具体的には、興味動作判定部２３は、センサ１１が検知した加速度からウェアラブル端末１０を装着したユーザの「頷き」を判定する。なお、興味動作は、頷きに限らず、拍手等でもよい。

興味動作判定部２３は、以下のような方法で、「頷き」を判定する。例えば、興味動作判定部２３は、センサ１１が取得した加速度のＸＹＺの３軸の時系列データのうち、鉛直方向の値を所定の時間区間ごとに抽出する。そして、その時間区間の平均値と標準偏差を算出する。算出した標準偏差が所定の値よりも小さい場合に、その時間区間で頷きが発生したと判定する。ただし、この場合には、歩行や姿勢変更といった大きな動作を伴わないことが必要条件である。また、興味動作判定部２３は、算出した平均値から、所定の偏差よりも外れている点が存在する場合に、その時間区間で頷きが発生したと判定してもよい。ただし、単発的な鉛直方向の動作が出ることが必要条件である。

また、「頷き」を検出する別の方法として、興味動作判定部２３は、センサ１１が取得した加速度のＸＹＺの３軸の時系列データを、所定の時間区間ごとに抽出する。その時間区間の値を深層学習の畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）にかけ、出力値が所定の値以上であれば、その区間で頷きが発生したと判定してもよい。

興味関心判定部２４は、発話判定部２２及び興味動作判定部２３が判定した情報に基づいて、発話者に対する非発話者間における興味関心の類似度を推定する。具体的には、発話判定部２２が判定した発話者の発話区間内で、非発話者の頷き密度の時間的推移を算出する。ここで、頷き密度は、例えば所定時間におけるウェアラブル端末１０のユーザの頷き回数である。そして、興味関心判定部２４は、非発話者間で頷き密度の時間的推移の相関を算出する。したがって、当該相関の大きさに基づいて、非発話者における発話者に対する興味関心の類似度が推定できる。

＜ハードウェア構成＞
ウェアラブル端末１０又は判定装置２０は、例えば、算出処理、判定処理、制御処理等を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＣＰＵによって実行される演算プログラム、制御プログラム等が記憶されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、各種のデータなどを記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部と信号の入出力を行うインターフェイス部（Ｉ／Ｆ）、などからなるマイクロコンピュータを中心にして、ハードウェアで構成されてもよい。ＣＰＵ、ＲＯＭ、ＲＡＭ及びインターフェイス部は、データバスなどを介して相互に接続されている。

＜判定装置２０の動作＞
続いて、第１の実施形態に係るコミュニケーションシステム１の動作を説明する。ここで、コミュニケーションシステム１の判定装置２０の動作を中心に説明する。図２は、第１の実施形態に係る判定装置２０の動作を示すフローチャートである。

少なくとも３人以上のユーザが会話をする状況を想定する。１人のユーザは、１つのウェアラブル端末１０を用いる。よって、複数のウェアラブル端末１０は、複数のユーザに用いられる。ウェアラブル端末１０のユーザは、例えばグループワークなどの参加者である。

判定装置２０の記憶部２１は、ウェアラブル端末１０のセンサ１１が検知した情報を記憶している。検知した情報とは、ウェアラブル端末１０のユーザが発話を検知した音声データ、及び、ウェアラブル端末１０のユーザの動きを検知した加速度データ等である。

まず、図２に示すように、ステップＳ１０１において、判定装置２０の発話判定部２２は、ウェアラブル端末１０が取得した音声データに基づいて、ウェアラブル端末１０のユーザの中から発話者を判定し、さらに発話者の発話区間を判定する。発話区間は、発話者が発話している時間に対応する。ここで、発話判定部２２は、記憶部２１からウェアラブル端末１０を用いる各ユーザの音声データを取得する。

次に、ステップＳ１０２において、興味動作判定部２３は、ウェアラブル端末１０が取得した加速度データに基づいて、ウェアラブル端末１０のユーザの頷きを判定する。ここで、発話判定部２２は、記憶部２１からウェアラブル端末１０を用いる各ユーザの加速度データを取得する。

次に、興味関心判定部２４は、発話判定部２２及び興味動作判定部２３が判定した情報に基づいて、非発話者における発話者に対する興味関心の類似度を推定する。まず、ステップＳ１０３において、興味関心判定部２４は、発話判定部２２が判定した発話者の発話区間内で、非発話者の頷き密度の時間的推移を算出する。ここで、頷き密度は、例えば所定時間におけるウェアラブル端末１０のユーザの頷き回数である。次に、ステップＳ１０４において、興味関心判定部２４は、非発話者間で頷き密度の時間的推移の相関を算出する。したがって、興味関心判定部２４は、当該相関の大きさに基づいて、非発話者における発話者に対する興味関心の類似度が推定できる。

続いて、図２及び図３を用いて、ステップＳ１０３～ステップＳ１０４に示した発話者に対する非発話者間における興味関心の類似度を推定する方法の具体例を説明する。図３は、第１の実施形態に係る判定装置２０における、発話者に対する非発話者間における興味関心の類似度を推定する方法の具体例を示す図である。

図３に示す一例において、ユーザＡ～ユーザＤは、それぞれウェアラブル端末１０を用いる。ユーザＡは発話者である。一方、ユーザＢ、ユーザＣ又はユーザＤは、非発話者である。ユーザＡは、発話開始点Ｉ～発話終了点ＩＩまで発話し、発話開始点Ｉ～発話終了点ＩＩまでの時間は発話区間である。

まず、ステップＳ１０３において、興味関心判定部２４は、発話者（ユーザＡ）の発話区間内で、非発話者（ユーザＢ～ユーザＤ）ごとに頷き密度の時間的推移を算出する。ここで、頷き密度は、例えば所定時間におけるウェアラブル端末１０のユーザの頷き回数である。

次に、ステップＳ１０４において、興味関心判定部２４は、非発話者間で頷き密度の時間的推移の相関を算出する。したがって、興味関心判定部２４は、当該相関の大きさに基づいて、非発話者における発話者に対する興味関心の類似度を推定できる。例えば、興味関心判定部２４は、ユーザＢとユーザＣでは、時間的推移の相関が高いと判定する。そうすると、興味関心判定部２４は、ユーザＡに対するユーザＢとユーザＣとの興味関心が似ていると推定する。一方、興味関心判定部２４は、ユーザＢとユーザＤでは、時間的推移の相関が低いと判定する。そうすると、興味関心判定部２４は、ユーザＡに対するユーザＢとユーザＤとの興味関心が異なると推定する。

第１の実施形態に係るコミュニケーションシステム１は、情報量が多く情報処理コストの高い画像情報を用いず、情報処理コストの低い音声データや加速度データなどの情報を用いて非発話者における発話者に対する興味関心の類似度を推定する。興味関心の類似度から、興味関心の類似度から非発話者の発話者を中心としたコミュニケーションへの参加度合いを検出できる。例えば、発話者に対して同様の興味関心を持つ非発話者が多い程、非発話者が発話者を中心としたコミュニケーションに参加していることが推定できる。したがって、情報処理コストを低減させつつも、検出精度の低下を抑制して、ユーザの周囲とのコミュニケーション参加度合いを検出できるコミュニケーションシステムを提供できる。

また、特許文献１では、ユーザの周囲とのコミュニケーション参加度合いが画像情報を用いて検出される場合、ユーザの動作はカメラ等で撮像される。そうすると、さらに、以下の（１）～（３）の課題も生じる。（１）撮影可能な範囲外や顔の角度が後ろ向きなどになった場合にコミュニケーション参加度合いが判定できない。（２）ユーザは、撮影されることに対する心理的抵抗感を持つ。（３）カメラの敷設コストが必要となる。第１の実施形態に係るコミュニケーションシステム１は、画像情報を用いずに非発話者における発話者に対する興味関心の類似度を推定する。したがって、上記（１）～（３）の課題を解決するとともに、検出精度の低下を抑制して、ユーザの周囲とのコミュニケーション参加度合いを検出できるコミュニケーションシステムを提供できる。

また、特許文献１では、情報提供者が情報取得者に対面して説明対象物に関連する情報を提供しており、情報取得者が説明対象物に直接アクセス可能な状況において、情報取得者の興味傾向を示す情報である興味傾向情報を取得し、出力する興味傾向情報出力装置を提供する。具体的には、特許文献１の興味傾向情報出力装置は、情報取得者の動きを示すモーション情報を受け付けるモーション情報受付部と、情報取得者の発した音声に関する音声情報を受け付ける音声情報受付部と、モーション情報と音声情報とから、情報取得者の興味傾向に関する情報である興味傾向情報を生成する興味傾向情報生成部と、興味傾向情報を出力する興味傾向情報出力部とを備える。そして、特許文献１の興味傾向情報出力装置は、このような構成により、グループワークといったコミュニケーションの場において、関係性を深く知るために、興味・関心が似ている人を把握したいニーズに対応しようとしている。

しかしながら、特許文献１の興味傾向情報出力装置は、発話者の発話内容を把握し、それに対する反応の紐づけから興味・関心を推定している。よって、発話内容や映像といった大きい情報量を扱う必要があり、手軽なシステムで簡便に興味・関心を知ることはできない。また、発話者が発話内容を取られることに対して心理的な抵抗感がある。

これに対して、第１の実施形態に係るコミュニケーションシステム１は、発話者の発話内容を把握し、それに対する反応の紐づけから興味・関心を推定する必要がないので、情報処理コストを低減することができる。また、発話者が発話内容を取られることに対しての心理的な抵抗感を抑制することができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

上述の実施形態における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。各装置の機能（処理）を、ＣＰＵやメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に実施形態における方法を行うためのプログラムを格納し、各機能を、記憶装置に格納されたプログラムをＣＰＵで実行することにより実現してもよい。

これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random Access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１ コミュニケーションシステム
１０ ウェアラブル端末
１１ センサ
２０ 判定装置（コミュニケーション判定装置）
２１ 記憶部
２２ 発話判定部
２３ 興味動作判定部
２４ 興味関心判定部

Claims (1)

1. 少なくとも３台のウェアラブル端末と接続する判定装置を含むコミュニケーションシステムであって、前記判定装置は、
   前記接続されるウェアラブル端末が検知した音声データに基づいて、前記ウェアラブル端末の各ユーザのうち、発話している発話者を判定する発話判定部と、
   前記ウェアラブル端末が検知した加速度データに基づいて、前記ウェアラブル端末の各ユーザの頷きを判定する興味動作判定部と、
   所定時間における前記頷きの回数である頷き密度の時間的推移を前記発話者の発話区間において算出し、非発話者の間で前記頷き密度の時間的推移の相関を算出する興味関心判定部と、を備える
   コミュニケーションシステム。

Images