JP2012155374A - 情報処理装置、情報処理方法、プログラムおよび情報処理システム - Google Patents

情報処理装置、情報処理方法、プログラムおよび情報処理システム Download PDF

Info

Publication number
JP2012155374A
JP2012155374A JP2011011415A JP2011011415A JP2012155374A JP 2012155374 A JP2012155374 A JP 2012155374A JP 2011011415 A JP2011011415 A JP 2011011415A JP 2011011415 A JP2011011415 A JP 2011011415A JP 2012155374 A JP2012155374 A JP 2012155374A
Authority
JP
Japan
Prior art keywords
information
conversation
user
voice
meal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011011415A
Other languages
English (en)
Inventor
Yasunori Oto
康紀 大戸
Shinako Matsuyama
科子 松山
Naoya Sazuka
直也 佐塚
Takuya Ishioka
卓也 石岡
Tomohiro Tsunoda
智弘 角田
Naoki Kamimaeda
直樹 上前田
Takehiro Hagiwara
丈博 萩原
Naoto Tsuboi
直人 坪井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011011415A priority Critical patent/JP2012155374A/ja
Publication of JP2012155374A publication Critical patent/JP2012155374A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】不特定の人物の間で不定期に発生する会話を解析する。
【解決手段】情報処理装置100は、ユーザの発話および1または複数の他の人物の発話の音声情報を取得する音声取得部112と、音声情報を外部装置200に送信し、音声情報に基づいて1または複数の他の人物の中から抽出される会話メンバーとユーザとを含む会話グループの情報を用いて生成される会話グループ関連情報を外部装置200から受信する通信部170とを含み、会話メンバーは、1または複数の他の人物のうち、音声情報の音声特徴量と類似した音声特徴量を有する音声情報を外部装置200に送信する他の情報処理装置を保持する1または複数の人物である。
【選択図】図1

Description

本技術は、情報処理装置、情報処理方法、プログラムおよび情報処理システムに関し、特に、複数の人物の間の会話を解析する情報処理装置、情報処理方法、プログラムおよび情報処理システムに関する。
会議の参加者の発話による音声情報を取得し、発話者および発話回数などを抽出することによって、参加者の会話の状態および会議の活性度などを算出する技術が知られている。かかる技術では、例えば、音声情報から抽出した音声特徴量データに加えて、参加者の動きを示す加速度データ、および参加者の着席位置を示す測位データも用いて、会話の状態を可視化した情報が生成される(例えば、特許文献1を参照)。
特開2008−262046号公報
しかし、上記の技術は、開始、終了、および参加者などが予め特定された会議の場における会話の状態を解析するものである。それゆえ、不特定の人物の間で不定期に発生する一般的な会話に上記の技術を適用することは難しい。
そこで、本技術は、上記問題に鑑みてなされたものであり、本技術の目的とするところは、不特定の人物の間で不定期に発生する会話を解析することが可能な、新規かつ改良された情報処理装置、プログラムおよび情報処理システムを提供することにある。
上記課題を解決するために、本技術のある観点によれば、ユーザの発話および1または複数の他の人物の発話の音声情報を取得する音声取得部と、上記音声情報を外部装置に送信し、上記音声情報に基づいて上記1または複数の他の人物の中から抽出される会話メンバーと上記ユーザとを含む会話グループの情報を用いて生成される会話グループ関連情報を上記外部装置から受信する通信部とを含み、上記会話メンバーは、上記1または複数の他の人物のうち、上記音声情報の音声特徴量と類似した音声特徴量を有する音声情報を上記外部装置に送信する他の情報処理装置を保持する1または複数の人物である情報処理装置が提供される。
かかる構成によれば、端末装置によって取得された音声情報に基づいて、不特定の他の人物の中から、ユーザと会話している会話メンバーを抽出し、ユーザと会話メンバーとを含む会話グループを特定することができる。また、特定された会話グループ情報に関連する会話グループ関連情報が生成され、ユーザは会話グループ関連情報を端末装置によって取得することができる。
上記情報処理装置は、上記ユーザの位置を示す位置情報を取得する位置取得部をさらに含み、上記通信部は、上記位置情報を上記外部装置に送信し、上記会話メンバーは、上記1または複数の他の人物のうち、上記ユーザの位置と近接した位置を示す位置情報を上記外部装置に送信する上記他の情報処理装置を保持する1または複数の人物である会話メンバー候補の中から抽出されてもよい。
上記通信部は、上記会話グループ関連情報として、上記会話グループによる会話の雰囲気の良し悪しを示す雰囲気パラメータを用いて生成される情報を受信し、上記雰囲気パラメータは、上記通信部および上記他の情報処理装置によって上記外部装置に送信される音声情報から抽出された、上記会話メンバーおよび上記ユーザの間での発話頻度、上記会話メンバーおよび上記ユーザの間での発話順序、または上記会話メンバーもしくは上記ユーザによる笑いの頻度のうちの少なくとも1つに基づいて算出されてもよい。
上記通信部は、上記会話グループ関連情報として、上記ユーザが喫食した食事のうち、食事の間の会話について上記雰囲気パラメータによって雰囲気が良かったことが示される食事を優先的に推薦する食事推薦情報を受信してもよい。
上記情報処理装置は、上記ユーザが喫食した食事の情報を画像情報または文字情報として入力する入力部をさらに含み、上記通信部は、上記ユーザが喫食した食事の情報を上記外部装置に送信してもよい。
上記ユーザが喫食した食事の時間は、上記ユーザが喫食した食事の情報が入力されたタイミングと、上記ユーザの加速度データから認識された上記ユーザの行動とに基づいて推定された時間であってもよい。
上記通信部は、上記会話グループ関連情報として、上記ユーザが喫食した食事に含まれる頻度が高い喫食アイテム、または摂取カロリーが上記ユーザにとって適正な喫食アイテムを優先的に推薦する上記食事推薦情報を受信してもよい。
上記通信部は、上記会話グループ関連情報として、上記ユーザと上記1または複数の他の人物との間の友人関係を、上記雰囲気パラメータに基づいて推定した友人関係情報を受信してもよい。
また、上記課題を解決するために、本技術の別の観点によれば、ユーザの発話および1または複数の他の人物の発話の音声情報を取得するステップと、上記音声情報を外部装置に送信し、上記音声情報に基づいて上記1または複数の他の人物の中から抽出される会話メンバーと上記ユーザとを含む会話グループの情報を用いて生成される会話グループ関連情報を上記外部装置から受信するステップとを含み、上記会話メンバーは、上記1または複数の他の人物のうち、上記音声情報の音声特徴量と類似した音声特徴量を有する音声情報を上記外部装置に送信する情報処理装置を保持する1または複数の人物である情報処理方法が提供される。
また、上記課題を解決するために、本技術の別の観点によれば、ユーザの発話および1または複数の他の人物の発話の音声情報を取得する音声取得部と、上記音声情報を外部装置に送信し、上記音声情報に基づいて上記1または複数の他の人物の中から抽出される会話メンバーと上記ユーザとを含む会話グループの情報を用いて生成される会話グループ関連情報を上記外部装置から受信する通信部と、としてコンピュータを動作させ、上記会話メンバーは、上記1または複数の他の人物のうち、上記音声情報の音声特徴量と類似した音声特徴量を有する音声情報を上記外部装置に送信する情報処理装置を保持する1または複数の人物であるプログラムが提供される。
また、上記課題を解決するために、本技術のさらに別の観点によれば、複数のユーザの発話の音声情報を取得する音声取得部と、上記音声情報を第2の情報処理装置に送信し、上記音声情報に基づいて上記複数のユーザの中から抽出される会話グループの情報を用いて生成される会話グループ関連情報を上記第2の情報処理から受信する通信部とを含む第1の情報処理装置と、上記複数のユーザが保持する上記第1の情報処理装置がそれぞれ送信する音声情報を受信し、上記会話グループ関連情報を少なくとも1つの上記第1の情報処理装置に送信する通信部と、上記複数のユーザのうち、互いに類似する音声特徴量を有する音声情報を送信する上記第1の情報処理装置をそれぞれ保持するユーザを、上記会話グループとして抽出するグループ抽出部と、上記会話グループの情報を用いて上記会話グループ関連情報を生成するグループ関連情報生成部とを含む第2の情報処理装置と、
を含む情報処理システムが提供される。
また、上記課題を解決するために、本技術のなおも別の観点によれば、複数の端末装置がそれぞれ送信する音声情報を受信し、会話グループ関連情報を少なくとも1つの上記端末装置に送信する通信部と、上記複数の端末装置のうち、互いに類似する音声特徴量を有する音声情報を送信する端末装置をそれぞれ保持するユーザを、会話グループとして抽出するグループ抽出部と、上記会話グループの情報を用いて上記会話グループ関連情報を生成するグループ関連情報生成部とを含む情報処理装置が提供される。
以上説明したように本技術によれば、不特定の人物の間で不定期に発生する会話を解析することができる。
本技術の一実施形態に係る情報処理システムの機能構成を示すブロック図である。 本技術の一実施形態における会話グループ候補の抽出について説明するための図である。 本技術の一実施形態における会話グループ候補の時系列変化の例を示す図である。 本技術の一実施形態において音声情報から抽出される音声特徴量の例を示す図である。 本技術の一実施形態において音声特徴量に基づいて決定される類似度代表値の例を示す図である。 本技術の一実施形態において類似度代表値を用いて抽出される会話グループについて説明するための図である。 本技術の一実施形態において食事推薦情報を生成するためのデータの流れの一例を示す図である。 本技術の一実施形態において用いられるユーザの行動情報について説明するための図である。 本技術の一実施形態において食事時間を推定する処理の例を示す図である。 本技術の一実施形態において会話の雰囲気に関連するパラメータを取得する処理の例を示す図である。 本技術の一実施形態における好物度の取得処理の例を示すフローチャートである。 本技術の一実施形態における食事アイテムの重み付け処理の例を示すフローチャートである。 本技術の一実施形態において推薦メニューを出力するためのデータの流れの一例を示す図である。 本技術の一実施形態において生成される可能メニューと推薦メニューの例を示す図である。 本技術の一実施形態において出力される食事推薦情報の例を示す図である。 本技術の一実施形態において生成される友人関係情報の例を示す図である。
以下に添付図面を参照しながら、本技術の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.情報処理システムの構成
1−1.端末装置の構成
1−2.サーバ装置の構成
2.会話グループの抽出
2−1.会話グループ候補の抽出
2−2.会話グループの抽出
3.会話グループ関連情報の生成
3−1.食事推薦情報の生成
3−2.友人関係情報の生成
4.補足
<1.情報処理システムの構成>
まず、図1を参照して、本技術の一実施形態に係る情報処理システムの概略構成について説明する。
図1は、本技術の一実施形態に係る情報処理システム10の機能構成を示すブロック図である。図1を参照すると、情報処理システム10は、第1の情報処理装置である端末装置100と、第2の情報処理装置であるサーバ装置200とを含む。端末装置100と、サーバ装置200とは、互いに通信する。
情報処理システム10は、複数の人物によってそれぞれ保持される複数の端末装置100を含む。以下の説明では、複数の端末装置100のうちの1つに着目し、この端末装置100を単に「端末装置100」、それ以外の端末装置100を「他の端末装置」と呼ぶ場合がある。また、以下の説明では、端末装置100を保持する人物を「ユーザ」とし、他の端末装置を保持する人物を「1または複数の他の人物」と呼ぶ場合がある。
また、情報処理システム10は、それぞれが1または複数の端末装置100と通信する複数のサーバ装置200を含んでもよい。この場合、複数のサーバ装置200は互いに通信し、以下で説明する単一のサーバ装置200と同様の機能を実現する。
(1−1.端末装置の構成)
端末装置100は、CPU110、GPS信号処理部120、マイク130、LCD140、入力装置150、記憶部160、および通信部170を含む。端末装置100は、例えば、携帯電話、PDA(Personal Digital Assistant)、タブレット型PC(Personal Computer)など、ユーザが携帯することが可能なあらゆる情報処理装置でありうる。
CPU(Central Processing Unit)110は、記憶部160に格納されたプログラムに従って動作し、位置取得部111、音声取得部112、および画面表示部113の機能を実現する。CPU110は、上記各部の機能に加えて、端末装置100の全体を制御する機能を有する。なお、プログラムは、記憶部160に予め書き込まれたものであってもよいし、リムーバブル記憶媒体に格納して提供され、端末装置100が有するドライブによってリムーバブル記憶媒体から読み出されて記憶部160に一時的または持続的に格納されるものであってもよい。また、プログラムは、通信部170を介してネットワークからダウンロードされ、記憶部160に一時的または持続的に格納されるものであってもよい。
位置取得部111は、端末装置100を保持するユーザの位置情報を取得する。位置取得部111は、位置情報をGPS信号処理部120などの測位装置から取得する。位置取得部111による位置情報の取得は、端末装置100が起動している間継続的または間欠的に実行されてもよいし、ユーザが位置取得部111を利用する所定のアプリケーションを起動した場合に実行されてもよい。また、位置取得部111による位置情報の取得は、音声取得部112によって音声が取得されたことをトリガーとして実行されてもよい。
音声取得部112は、端末装置100を保持するユーザ、および1または複数の他の人物の発話の音声情報を取得する。音声取得部112は、音声情報をマイク130などの音声入力装置から取得する。音声取得部112による音声情報の取得は、端末装置100が起動している間継続的に実行されてもよいし、ユーザが音声取得部112を利用する所定のアプリケーションを起動した場合に実行されてもよい。また、音声取得部112による音声情報の取得は、位置取得部111によってユーザが1または複数の他の人物に近接したことが検知されたことをトリガーとして実行されてもよい。
画面表示部113は、LCD140などの表示装置を用いて、ユーザに対して情報を表示する。画面表示部113によって表示される情報は、通信部170によってサーバ装置200から受信される会話グループ関連情報を含む。後述するように、会話グループ関連情報とは、1または複数の他の人物のうち、ユーザと会話した1または複数の会話メンバー、およびユーザを含む会話グループの情報を用いて生成される情報であり、例えば、食事推薦情報、または友人関係情報などである。
GPS(Global Positioning System)信号処理部120は、位置取得部111にユーザの位置情報を提供する測位装置である。GPS信号処理部120は、図示しないGPS受信アンテナで受信されたGPS信号に基づいて、端末装置100がGPS信号を受信した場所の位置情報を算出し、この位置情報を、ユーザの位置情報として位置取得部111に提供する。なお、GPS信号処理部120は、PlaceEngine(登録商標)など他の方法を用いた測位装置によって代替されうる。
マイク130は、音声取得部112に音声情報を提供する音声入力装置である。マイク130は、端末装置100に内蔵されていてもよく、また、端末装置100の外部にあって、ケーブル等で端末装置100に接続されてもよい。また、マイク130は、端末装置100に複数設けられていてもよい。
LCD(Liquid Crystal Display)140は、画面表示部113から提供される情報をユーザに対して表示する表示装置である。上述のように、LCD140に表示される情報は、例えば食事推薦情報または友人関係情報などの会話グループ関連情報を含む。なお、LCD140は、PDP(Plasma Display Panel)または有機EL(Electro-Luminescence)ディスプレイなど他の表示装置によって代替されうる。
入力装置150は、ユーザによる画像情報または文字情報の入力を受け付ける入力部である。入力装置150は、例えば、画像情報の入力を受け付けるためのカメラ、および、文字情報の入力を受け付けるためのボタン、キーボード、またはLCD140上に設けられたタッチパネルを含む。入力装置150によって入力される文字情報には、ユーザがLCD140に表示された文字または画像を選択することによって入力される情報が含まれる。ユーザは、入力装置150を用いて、例えば、ユーザが喫食した食事の情報を画像情報または文字情報として入力しうる。
記憶部160には、端末装置100において用いられる情報が一時的または持続的に格納される。記憶部160は、半導体メモリのRAM(Random Access Memory)またはROM(Read Only Memory)、ハードディスクドライブ、フラッシュメモリなどの記憶装置によって実現されうる。記憶部160には、CPU110を動作させるためのプログラムの他に、例えば、位置取得部111がGPS120取得した位置情報、音声取得部112がマイク130から取得した音声情報、および画面表示部113が通信部170を介してサーバ装置200から取得した会話グループ関連情報が、一時的または持続的に格納されうる。
通信部170は、端末装置100がサーバ装置200と通信するための通信インターフェースである。通信部170は、有線または無線のLAN(Local Area Network)、インターネットなどの各種ネットワークを介してサーバ装置200と通信する。通信部170は、サーバ装置200以外のネットワーク上の装置と通信し、例えばCPU110が動作するためのプログラムをダウンロードしてもよい。通信部170は、位置取得部111によって取得されたユーザの位置情報、および音声取得部112によって取得された音声情報をサーバ装置200に送信する。さらに、通信部170は、入力装置150によって入力された、ユーザが喫食した食事の情報をサーバ装置200に送信してもよい。
また、通信部170は、音声情報に基づいて1または複数の他の人物の中から抽出された会話メンバーおよびユーザを含む会話グループの情報を用いて生成された会話グループ関連情報をサーバ装置200から受信する。会話メンバーは、端末装置100が音声取得部112によって取得した音声情報の音声特徴量と類似した音声特徴量を有する音声情報をサーバ装置200に送信する他の端末装置を保持する人物でありうる。会話グループ関連情報は、例えば、食事推薦情報、または友人関係情報などである。なお、食事推薦情報および友人関係情報の詳細については後述する。
(1−2.サーバ装置の構成)
サーバ装置200は、CPU210、記憶部220、および通信部230を含む。サーバ装置200の機能は、インターネットなどのネットワーク上に設けられた1または複数のサーバ装置によって提供されうる。
CPU210は、記憶部220に格納されたプログラムに従って動作し、グループ候補抽出部211、グループ抽出部212、雰囲気パラメータ取得部213、食事推薦情報生成部214、および友人関係情報生成部215の機能を実現する。CPU210は、上記各部の機能に加えて、サーバ装置200の全体を制御する機能を有する。なお、プログラムは、記憶部220に予め書き込まれたものであってもよいし、リムーバブル記憶媒体に格納して提供され、サーバ装置200が有するドライブによってリムーバブル記憶媒体から読み出されて記憶部220に一時的または持続的に格納されるものであってもよい。また、プログラムは、通信部230を介してネットワークからダウンロードされ、記憶部220に一時的または持続的に格納されるものであってもよい。
グループ候補抽出部211は、端末装置100および他の端末装置が送信し、通信部230によって受信される位置情報に基づいて、1または複数の他の人物から会話メンバー候補を抽出する。具体的には、グループ候補抽出部211は、端末装置100および他の端末装置が送信する位置情報によって示される位置を用いて、端末装置100を保持するユーザと、他の端末装置を保持する1または複数の他の人物との間の距離を算出する。ユーザと、1または複数の他の人物のうちのある人物との位置が互いに近接した場合、グループ候補抽出部211は、この人物を会話メンバー候補として抽出しうる。ここで、ユーザと会話メンバー候補とを含むグループが、会話グループになる候補、すなわち会話グループ候補である。なお、グループ候補抽出部211の処理の詳細については後述する。
グループ抽出部212は、端末装置100および他の端末装置が送信し、通信部230によって受信される音声情報に基づいて、グループ候補抽出部211によって抽出された会話メンバー候補から会話メンバーを抽出する。具体的には、グループ抽出部212は、端末装置100および他の端末装置が送信する音声情報から音声特徴量を抽出し、端末装置100が送信する音声情報の音声特徴量と類似した音声特徴量を有する音声情報を送信する端末装置を保持する1または複数のユーザを、会話メンバーとして抽出する。ここで、ユーザと会話メンバーとを含むグループが、会話グループである。なお、グループ抽出部212の処理の詳細については後述する。
雰囲気パラメータ取得部213は、端末装置100および他の端末装置が送信し、通信部230によって受信される音声情報に基づいて、グループ抽出部212によって抽出された会話メンバーおよびユーザを含む会話グループにおける会話の雰囲気に関連するパラメータを取得する。会話の雰囲気に関連するパラメータは、例えば、会話の楽しさを示すパラメータでありうる。雰囲気パラメータ取得部213は、例えば、端末装置100および他の端末装置が送信する音声情報から、会話メンバーおよびユーザの間での発話頻度の分布、会話メンバーおよびユーザの間での発話順序の分布、または会話メンバーもしくはユーザによる笑いを示す音声の頻度のうちの少なくとも1つを抽出し、これに基づいて会話の雰囲気に関連するパラメータを取得してもよい。なお、雰囲気パラメータ取得部213の処理の詳細については後述する。
食事推薦情報生成部214は、グループ抽出部212によって抽出された会話メンバーおよびユーザを含む会話グループによる会話が食事の間の会話である場合に、雰囲気パラメータ取得部213が取得したその会話の雰囲気に関連するパラメータに基づいて食事を推薦する食事推薦情報を生成する。食事推薦情報は、会話グループの情報を用いて生成される会話グループ関連情報である。具体的には、食事推薦情報生成部214は、食事の間の会話の雰囲気に関連するパラメータによって、食事が楽しい会話を伴うものであったことが示される場合に、その食事を優先的に推薦する情報を生成しうる。食事推薦情報生成部214は、例えば、適正摂取カロリー情報、喫食履歴、および運動履歴のような、食事の推薦に関する他のパラメータと組み合わせて、食事の間の会話の雰囲気に関連するパラメータを用いて食事推薦情報を生成する。なお、食事推薦情報生成部214の処理の詳細については後述する。
友人関係情報生成部215は、雰囲気パラメータ取得部213が取得した会話の雰囲気に関連するパラメータに基づいて、ユーザと1または複数の他の人物との間の友人関係を推定し、推定された友人関係を示す友人関係情報を生成する。友人関係情報は、会話グループの情報を用いて生成される会話グループ関連情報である。具体的には、友人関係情報生成部215は、雰囲気パラメータ取得部213が取得した会話の雰囲気に関連するパラメータによって、楽しい会話がされたことが示される会話グループについて、ユーザと会話メンバーとの間に友人関係が存在すると推定しうる。友人関係情報生成部215は、会話の雰囲気に関連するパラメータによって示される会話の楽しさの度合い、または楽しい会話がされた回数もしくは頻度に基づいて、友人関係のレベルを推定し、友人関係のレベルを含む友人関係情報を生成してもよい。なお、友人関係情報生成部215の処理の詳細については後述する。
なお、食事推薦情報生成部214と、友人関係情報生成部215とは、必ずしも両方がサーバ装置200に含まれなくてもよい。つまり、サーバ装置200は、食事推薦情報または友人関係情報のいずれか一方を、会話グループ関連情報として生成してもよい。
記憶部220には、サーバ装置200において用いられる情報が一時的または持続的に格納される。記憶部220は、半導体メモリのRAMまたはROM、ハードディスクドライブ、フラッシュメモリなどの記憶装置によって実現されうる。記憶部220には、CPU210を動作させるためのプログラムの他に、例えば、グループ候補抽出部211が抽出した会話グループ候補、グループ抽出部212が抽出した会話グループ、雰囲気パラメータ取得部213が取得した会話の雰囲気に関連するパラメータ、食事推薦情報生成部214が生成した食事推薦情報、および友人関係情報生成部215が生成した友人関係情報が、一時的または持続的に格納されうる。
通信部230は、サーバ装置200が端末装置100と通信するための通信インターフェースである。通信部230は、有線または無線のLAN、インターネットなどの各種ネットワークを介して端末装置100と通信する。通信部230は、端末装置100以外のネットワーク上の装置と通信し、例えば、CPU210が動作するためのプログラム、または食事推薦情報生成部214が食事推薦情報を生成するために用いられる喫食アイテム情報および食事パターン情報などをダウンロードしてもよい。通信部230は、端末装置100、および他の端末装置がそれぞれ送信する位置情報および音声情報を受信する。また、通信部230は、食事推薦情報生成部214または友人関係情報生成部215によって生成された、食事推薦情報または友人関係情報などの会話グループ関連情報を、少なくとも端末装置100に送信する。通信部230は、会話グループ関連情報を、他の端末装置に送信してもよい。
なお、サーバ装置200には、必ずしもグループ候補抽出部211が設けられなくてもよい。グループ候補抽出部211が設けられない場合、グループ抽出部212は、通信部230によって受信される音声情報に基づいて、1または複数の他の人物から直接会話メンバーを抽出する。また、この場合、通信部230は、端末装置100から位置情報を受信しなくてもよい。さらに、この場合、端末装置100は、位置取得部111およびGPS信号処理部120を有さず、通信部170は位置情報をサーバ装置200に送信しなくてもよい。
<2.会話グループの抽出>
次に、図2〜7を参照して、本技術の一実施形態における会話グループの抽出について説明する。
なお、以下の会話グループの抽出についての説明では、複数のユーザによってそれぞれ保持される端末装置100が送信する位置情報および音声情報に基づいて、これらのユーザの一部または全部からなる会話グループが抽出される。ここで、「複数のユーザ」は、上記の端末装置100およびサーバ装置200の説明において言及された「ユーザ」および「1または複数の他の人物」の両方を含む。つまり、「複数のユーザ」のうちの任意のユーザを「ユーザ」とした場合、「複数のユーザ」のうちのそれ以外のユーザが「1または複数の他の人物」である。また、同様に「会話グループ」は、「ユーザ」および「会話メンバー」の両方を含む。従って、以下の説明において「会話グループ」が抽出される処理は、上記の端末装置100およびサーバ装置200の説明において「会話メンバー」が抽出される処理と同一の処理でありうる。
また、以下で説明する会話グループの抽出の処理は、サーバ装置200において、例えば5分から10分おきなどでリアルタイムに実行されてもよいし、また、1日分、1週間分などが一括して実行されてもよい。
(2−1.会話グループ候補の抽出)
本技術の一実施形態では、まず、サーバ装置200のグループ候補抽出部211が、端末装置100から送信された位置情報に基づいて、会話グループ候補を抽出する。
図2は、本技術の一実施形態における会話グループ候補の抽出について説明するための図である。図2を参照すると、ユーザu1が保持する端末装置100からサーバ装置200に送信された位置情報の軌跡tr1と、ユーザu2が保持する端末装置100からサーバ装置200に送信された位置情報の軌跡tr2とが図示されている。
サーバ装置200のグループ候補抽出部211は、複数の端末装置100が送信する位置情報に基づいて、複数のユーザの中から会話グループ候補となるユーザの組み合わせを抽出する。図示された例において、グループ候補抽出部211は、ユーザu1とユーザu2との間の距離を算出し、距離の時系列変化に基づいて、ユーザu1とユーザu2との組み合わせが会話グループ候補になりうるか否かを判定する。例えば、グループ候補抽出部211は、所定の時間以上の間連続して、ユーザu1とユーザu2との間の距離が所定の距離以下である場合に、ユーザu1とユーザu2との組み合わせが会話グループ候補になりうると判定する。図では、ユーザu1とユーザu2との組み合わせが会話グループ候補になる区間が、軌跡tr1と軌跡tr2とが互いに接近している区間Aとして表されている。
図3は、本技術の一実施形態における会話グループ候補の時系列変化の例を示す図である。図3を参照すると、複数のユーザu1〜u4の間で、それぞれ異なるユーザの組み合わせが会話グループ候補として抽出される時間t1〜t5が図示されている。
ここで、時間t1において、サーバ装置200のグループ候補抽出部211は、ユーザu3とユーザu4との間の距離が所定の距離以下であり、その状態が所定の時間以上連続していることを検出している。この場合、時間t1において、ユーザu3とユーザu4との組み合わせは、会話グループ候補として抽出されうる。
また、時間t2において、グループ候補抽出部211は、ユーザu3およびユーザu4にユーザu2を加えた3人のユーザの相互間の距離が所定の距離以下であり、その状態が所定の時間以上連続していることを検出している。この場合、時間t2において、ユーザu2、ユーザu3およびユーザu4の組み合わせは、会話グループ候補として抽出されうる。
以下同様に、時間t3では、ユーザu2およびユーザu4の組み合わせが、会話グループ候補として抽出されうる。また、時間t4では、ユーザu1、ユーザu2およびユーザu4の組み合わせが、会話グループ候補として抽出されうる。さらに、時間t5では、ユーザu1およびユーザu2の組み合わせが、会話グループ候補として抽出されうる。
このように、グループ候補抽出部211は、時系列で変化する会話グループ候補を順次抽出する。グループ抽出部212などによる後続の処理は、ここで抽出された会話グループ候補のユーザの組み合わせを対象として実行されうる。従って、グループ候補抽出部211によって会話グループ候補が抽出される時間の区分は、後続の処理においても時間の区分として用いられうる。つまり、図示された例では、後続の処理においても、時間t1〜t5の区分で処理が実行されうる。
(2−2.会話グループの抽出)
本技術の一実施形態では、次に、サーバ装置200のグループ抽出部212が、端末装置100から送信された音声情報vから単位時間kについての音声特徴量fxkを抽出する。また、グループ抽出部212は、会話グループ候補として抽出されたユーザの組み合わせのそれぞれについて、時間tの間の音声特徴量fxkの類似度Sijkの分布から、類似度代表値Sijを決定する。さらに、グループ抽出部212は、会話グループ候補として抽出されたユーザの組み合わせのそれぞれについての類似度代表値Sijに基づいて、会話グループを抽出する。
図4は、本技術の一実施形態において音声情報から抽出される音声特徴量の例を示す図である。図4を参照すると、各ユーザが保持する端末装置100からサーバ装置200にそれぞれ送信される音声情報を、単位時間kについて音声周波数fvの範囲で周波数分解することによって抽出される音声特徴量ベクトルfikが図示されている。
図示された例において、ハッチングで示される部分は、音声情報に含まれる周波数成分を示す。サーバ装置200のグループ抽出部212は、単位時間kの間の音声情報に含まれる周波数成分を要素とするベクトルを音声特徴量ベクトルfikとして抽出する。単位時間kにおいて、複数の端末装置100からそれぞれ送信される複数の音声情報に同様の周波数成分が含まれる場合、これらの音声情報から抽出される音声特徴量ベクトルfikは、互いに類似するベクトルになる。
なお、グループ抽出部212は、音声特徴量ベクトルfikの要素である各周波数成分が、いずれも所定の値よりも小さいものである場合、音声特徴量ベクトルfikを無視してもよい。つまり、この場合、端末装置100によって送信された音声情報には、ユーザまたは他者の発話による音声は含まれないものと判定される。
図5は、本技術の一実施形態において音声特徴量に基づいて決定される類似度代表値の例を示す図である。図5を参照すると、所定時間tの間の類似度Sijkの分布に基づいて決定される類似度代表値Sijが図示されている。類似度Sijkは、各ユーザが保持する複数の端末装置100からサーバ装置200にそれぞれ送信される音声情報のうち、2つの音声情報v,vからそれぞれ抽出される単位時間kの音声特徴量ベクトルfik,fjkの類似度である。図示された例において、類似度Sijkの分布はピークp1,p2を有する分布であり、類似度代表値Sijはピークp1を示す分布の平均値である。
類似度代表値Sijを決定する処理において、まず、グループ抽出部212は、単位時間kについて、音声特徴量ベクトルfikと音声特徴量ベクトルfjkとの間の類似度Sijkを算出する。類似度Sijkは、例えば、音声特徴量ベクトルfik,fjkの内角として、以下の数式(1)によって算出されうる。
Figure 2012155374
この場合、音声特徴量ベクトルfik,fjkのなす角度が小さい、すなわち音声特徴量ベクトルfik,fjkの向きがほぼ同じである場合、類似度Sijkは1に近づき、比較的大きな値になる。一方、音声特徴量ベクトルfik,fjkのなす角度が大きい、すなわち音声特徴量ベクトルfik,fjkの向きが大きく異なる場合、類似度Sijkは0に近づき、比較的小さな値になる。つまり、音声特徴量ベクトルfik,fjkの要素として、同様の周波数成分が含まれていれば、類似度Sijkは比較的大きな値になる。また、音声特徴量ベクトルfik,fjkの要素として、それぞれ異なる周波数成分が含まれていれば、類似度Sijkは比較的小さな値になる。
次に、グループ抽出部212は、所定時間tの類似度Sijkの分布に基づいて、類似度代表値Sijを決定する。類似度代表値Sijは、例えば、所定時間tの間の類似度Sijkの中央値であってもよい。また、類似度代表値Sijは、類似度Sijkの平均値であってもよい。類似度代表値Sijが類似度Sijkの平均値である場合、類似度代表値Sijは、類似度Sijkの分布の形状によって異なる値であってもよい。例えば、類似度Sijkの分布をスムージングした形状が1つのピークを有する形状である場合の類似度代表値Sijは、類似度Sijkの全体の平均値でありうる。また、分布をスムージングした形状が、図示された例のように2つのピークp1,p2を有する形状である場合の類似度代表値Sijは、類似度の値がより高いピーク、すなわちピークp1をなす部分の類似度Sijkの平均値でありうる。これは、類似度の値が低い方のピークは、例えば同一の会話グループ内でもまれに生じる会話の衝突によるものと考えられるためである。
図6は、本技術の一実施形態において類似度代表値を用いて抽出される会話グループについて説明するための図である。図6を参照すると、複数のユーザu1〜u12の間に、それぞれのユーザの間の類似度代表値Sijの値に基づいてリンクが生成され、その結果としてクリーク(clique)が形成されているユーザが、会話グループg1〜g3として抽出されることが図示されている。
ここで、ユーザ間のリンクは、相互間の類似度代表値Sijが所定の閾値よりも大きい2人のユーザの間に生成されうる。類似度代表値Sijは、類似度Sijkの代表値であるため、上述の類似度Sijkの特徴と同様の特徴を有する。すなわち、音声特徴量ベクトルfik,fjkの要素として、同様の周波数成分が含まれていれば、類似度代表値Sijは比較的大きな値になる。また、音声特徴量ベクトルfik,fjkの要素として、それぞれ異なる周波数成分が含まれていれば、類似度代表値Sijは比較的小さな値になる。
さらに、上記の類似度代表値Sijの特徴を、実際の会話の状態にあてはめて説明する。例えば、音声情報v,vが、同一の会話における発話によるものである場合、発話するユーザの間では、発話が衝突しないように制御される。その結果、音声情報v,vには、レベルの差はあるとしても、ユーザと他のユーザとの発話が交互に含まれる。従って、音声特徴量ベクトルfik,fjkの要素には、同様の周波数成分がそれぞれ含まれることになり、類似度代表値Sijは比較的大きな値になる。
一方、音声情報v,vが、別々の会話における発話によるものである場合、発話するユーザの間では、発話が衝突しないように制御がされることはない。従って、音声情報v,vには、異なる会話の間で衝突した発話が含まれる。その結果、音声情報v,vには、衝突した発話が互いに干渉することによって生じたノイズが、それぞれ異なる周波数成分で含まれうる。従って、音声特徴量ベクトルfik,fjkの要素には、それぞれ異なる周波数成分が含まれることになり、類似度代表値Sijは比較的小さな値になる。
グループ抽出部212は、上記のような類似度代表値Sijの特徴を利用して、会話グループ候補として抽出された組み合わせに含まれるユーザが、会話グループを形成しているか否かを判定する。会話グループ候補として抽出されたものの、会話グループを形成していないユーザの組み合わせは、例えば、近くにはいるものの、別々のグループで会話をしているユーザの組み合わせでありうる。
図示された例では、ユーザu1〜u3の間の各組み合わせについて、いずれも類似度代表値Sijが所定の閾値よりも大きく、リンクが生成されている。その結果、ユーザu1〜u3の間では、リンクが局所的に全結合となる、すなわちクリークが形成されている。従って、グループ抽出部212は、ユーザu1〜u3を含むグループを、会話グループg1として抽出する。
同様に、ユーザu4〜u7の間の各組み合わせについても、いずれも類似度代表値Sijが所定の閾値よりも大きく、リンクが生成されている。その結果、ユーザu4〜u7の間では、クリークが形成されている。また、ユーザu8〜u12の間の各組み合わせについても、いずれも類似度代表値Sijが所定の閾値よりも大きく、リンクが生成されている。そ結果、ユーザu8〜u12の間では、クリークが形成されている。従って、グループ抽出部212は、ユーザu4〜u7を含むグループを会話グループg2として、ユーザu8〜u12を含むグループを会話グループg3として、それぞれ抽出する。
一方、ユーザu6とユーザu9の組み合わせでも、類似度代表値Sijが所定の閾値よりも大きく、リンクが生成されている。しかし、ユーザu6が属する会話グループg2、およびユーザu9が属する会話グループg3のその他のユーザの間では、類似度代表値Sijが所定の閾値以下であり、リンクが生成されていない。それゆえ、グループ抽出部212は、会話グループg2に属するユーザu4〜7と、会話グループg3に属するユーザu8〜u12とは、別々の会話グループに属すると判定する。
このように、複数のユーザが互いに異なる会話グループに属する場合、一部のユーザ間では、類似度代表値Sijが偶然高い値になることもありうるが、全体としては、ユーザ間の発話の衝突が多く、類似度代表値Sijは低くなる。それゆえ、クリークが形成されるには至らない。グループ抽出部212は、かかる傾向を利用して、同じ会話グループに属するユーザとそうでないユーザとを判別している。
なお、グループ抽出部212は、例えば、類似度代表値Sijがより大きいリンクを強いリンク、類似度代表値Sijがより小さいリンクを弱いリンクとするなどして、リンクに強弱をつけてもよい。この場合、グループ抽出部212は、強いリンクが生成されているユーザの組み合わせによるグループを、会話グループとして抽出してもよい。また、グループ抽出部212は、例えばリンクが生成されたユーザ同士を同一のクラスタに分類するなどして、階層クラスタリングによるグルーピングによって会話グループを抽出してもよい。
<3.会話グループ関連情報の生成>
次に、図7〜16を参照して、本技術の一実施形態における会話グループ関連情報の生成について説明する。なお、以下で説明される会話グループ関連情報には、食事推薦情報と友人関係情報とが含まれるが、そのどちらか一方が生成されてもよく、また両方が生成されてもよい。
(3−1.食事推薦情報の生成)
本技術の一実施形態では、サーバ装置200の食事推薦情報生成部214によって、食事推薦情報が生成され、端末装置100に送信される。食事推薦情報は、端末装置100のユーザに対して、食事を推薦する情報である。例えば、ユーザは、外食時、注文の前に、端末装置100を用いて食事推薦情報を参照することによって、食事の摂取カロリー、過去に喫食した食事から分析されたユーザの嗜好、および過去に同様の食事を取った際の雰囲気などに基づいて、適切な喫食アイテムを推薦する食事推薦情報を取得することが可能である。例えば、食事推薦情報では、雰囲気パラメータ取得部213によって取得される雰囲気パラメータによって雰囲気が良かったことが示される食事に含まれる喫食アイテムが優先的に推薦されてもよい。さらに、食事推薦情報では、ユーザが喫食した食事に含まれる頻度が高い喫食アイテム、または摂取カロリーがユーザにとって適正な喫食アイテムが優先的に推薦されてもよい。
喫食頻度に現れるユーザの好み、および摂取カロリーと同様に、過去の食事における雰囲気も、ユーザにとって適切な喫食アイテムを推薦するためには重要な要素である。そこで、本技術の一実施形態では、食事時の会話についての雰囲気パラメータを用いて喫食アイテムを推薦する食事推薦情報を生成することによって、ユーザの心理的な面も考慮して適切な喫食アイテムを推薦する。
図7は、本技術の一実施形態において食事推薦情報を生成するためのデータの流れの一例を示す図である。図7を参照すると、食事情報入力(T1010)、音声情報取得(T1020)、行動情報取得(T1030)、および身体情報入力(T1040)を入力として、推薦情報出力(T1050)が出力される。
食事情報入力(T1010)は、ユーザが喫食した食事の情報の入力である。食事情報入力(T1010)は、具体的には、決済情報取得(T1011)、食事画像入力(T1012)、または手入力(T1013)のいずれかでありうる。
決済情報取得(T1011)は、例えばレジでIC(Integrated Circuit)カードを利用して食事の決済をするような場合に用いられうる。例えば、ユーザが利用するICカードのIDを参照することによって、ユーザがICカードによって決済した食事のメニューの情報が、食堂の決済サーバなどからサーバ装置200に送信される。サーバ装置200の食事推薦情報生成部214は、この情報を、通信部230を介して取得することによって、ユーザが喫食した食事の情報を取得する。
食事画像入力(T1012)は、端末装置100の入力装置150が画像情報の入力を取得可能である場合に用いられうる。例えば、ユーザは、喫食する食事の画像を、端末装置100の入力装置150であるカメラを用いて撮像する。この画像情報は、通信部170を介してサーバ装置200に送信される。食事推薦情報生成部214は、この画像情報を、通信部230を介して取得する。食事推薦情報生成部214は、画像情報の解析によって、画像に含まれる食事のメニューを推定し、推定されたメニューをユーザが喫食した食事の情報として取得する。なお、食事推薦情報生成部214は、通信部230を介して、画像を解析する機能を有する他のサーバ装置を利用してもよい。
手入力(T1013)は、端末装置100の入力装置150が文字情報の入力を取得可能である場合に用いられうる。例えば、ユーザは、喫食する食事の内容を、端末装置100の入力装置150であるキーボードを用いてテキスト入力する。入力された文字情報は、通信部170を介してサーバ装置200に送信される。食事推薦情報生成部214は、この文字情報を、通信部230を介して取得することによって、ユーザが喫食した食事の情報を取得する。
喫食アイテム・入力タイミング特定(P1110)は、食事情報入力(T1010)によって取得される、ユーザが喫食した食事の情報と、喫食アイテムDB(D1210)から取得される喫食アイテム情報とを用いて、喫食アイテムおよび入力タイミングの情報を生成する処理である。
ここで、喫食アイテムの情報は、ユーザが喫食した食事の情報を、喫食アイテム情報として予め登録されているアイテムに合わせて分類することによって、食事の場所または食事情報の入力方法にかかわらず共通のフォーマットで表現した情報である。
また、入力タイミングの情報は、ユーザが喫食した食事の情報が入力されたタイミングの情報である。例えば、食事情報が食事画像入力(T1012)および手入力(T1013)によって入力される場合、入力タイミングは、画像情報または文字情報がサーバ装置200に送信されたタイミングでありうる。一方、食事情報が決済情報取得(T1011)によって入力される場合、ユーザが決済した食事のメニューの情報が営業終了後の一括処理などによってサーバ装置200に送信されることもあるため、入力タイミングは、ユーザの決済のデータが食堂の決済サーバに生成されたタイミングでありうる。
雰囲気情報取得(P1120)は、喫食アイテム・入力タイミング特定(P1110)によって生成される喫食アイテムおよび入力タイミングの情報、音声ログDB(D1220)から取得される音声情報、および行動ログDB(D1230)から取得される行動情報を用いて、「楽しい食事」情報を生成する処理である。「楽しい食事」情報は、食事の雰囲気情報に基づいて、食事がどの程度楽しい食事であったかを判定し、食事が楽しい食事であった場合に、食事に対して付加される情報でありうる。それゆえ、雰囲気情報取得(P1120)では、まず、食事の雰囲気情報が取得され、次に、食事の雰囲気情報に基づいて、「楽しい食事」情報が喫食アイテムの情報に付加される。
ここで、音声情報は、携帯端末における音声情報取得(T1020)によって入力されたものでありうる。音声情報取得(T1020)は、例えば、端末装置100においてマイク130を用いて音声情報を取得し、通信部170を介してサーバ装置200に送信することである。また、行動情報は、携帯端末における行動情報取得(T1030)によって入力されたものでありうる。行動情報取得(T1030)は、例えば、端末装置100が有する加速度センサを用いて行動情報を取得し、通信部170を介してサーバ装置200に送信することである。
(食事の雰囲気情報の取得)
ここで、図8〜10を参照して、食事の雰囲気情報を取得する処理について、詳しく説明する。本技術の一実施形態において、食事の雰囲気情報は、食事の間の会話の雰囲気に関連するパラメータである。それゆえ、サーバ装置200の食事推薦情報生成部214は、まず、食事データの入力タイミングの情報、およびユーザの行動ログから、ユーザの食事時間を特定する。次に、食事推薦情報生成部214は、特定された食事時間について、雰囲気パラメータ取得部213によって取得された、会話の雰囲気に関連するパラメータを取得する。特定された食事時間について、会話の雰囲気に関連するパラメータが取得さた場合、食事推薦情報生成部214は、食事の間に会話がされたと判定する。さらに、食事の間の会話の雰囲気に関連するパラメータによって、食事が楽しい会話を伴うものであったことが示される場合、食事推薦情報生成部214は、食事の雰囲気情報として、「楽しい食事」情報を、喫食アイテムの情報に付加する。
図8は、本技術の一実施形態において用いられるユーザの行動情報について説明するための図である。図8を参照すると、ユーザの行動ログは、加速度データと行動ラベルとの間の関係を機械学習し、この機械学習によって得られた学習データに基づいて、取得された加速度データを認識/分類することによって取得される。
ここで、加速度データは、行動情報取得(T1030)において、例えば端末装置100が有する加速度センサを用いて取得されうる。この加速度センサは、例えば3次元加速度センサでありうる。端末装置100は、加速度センサを用いて、例えば50ミリ秒などの所定の時間ごとに加速度を計測し、記憶部160に保存してもよい。
また、加速度データと行動ラベルとの間の関係の機械学習には、例えばSVM(Support Vector Machine)などが用いられうる。行動ラベルは、加速度データに対応付けられるユーザの行動の種類を与えるものである。この機械学習によって、学習データが生成され、例えばサーバ装置200の記憶部220に格納されてもよい。また、学習データは、サーバ装置の外部のサーバに蓄積されてもよい。
この学習データを用いて、行動情報取得(T1030)によって新たに入力された加速度データが、ユーザのどの行動に相当するかが認識/分類される。図示された例では、入力された加速度データから、「走る」、「歩く」および「座る」の3種類の行動の種類が認識/分類されている。
さらに、認識された行動の種類に基づいて、ユーザの運動量が算出されてもよい。ユーザの運動量は、例えば、(行動の種類)×(行動の単位時間あたり運動量)×(行動の持続時間)によって求められうる。算出された運動量は、運動履歴DB(D1270)に蓄積されて、推薦情報生成(P1140)で利用されてもよい。
図9は、本技術の一実施形態において食事時間を推定する処理の例を示す図である。図9を参照すると、食事の際に想定されるユーザの挙動と、この想定に基づいて、食事情報の入力タイミングおよび行動情報から推定される食事時間とが図示されている。
図示されている例は、食事情報を決済情報取得(T1011)によって取得し、かつ、食事の決済が、食事の前に決済する前決済方式である場合の例である。この場合、想定されるユーザの挙動は、まず決済をし、次にテーブルまで移動し、着席し、食事し、離席するという挙動である。この場合、着席から離席までの時間が食事時間になる。
上記の例において、行動ログにおいて、ユーザの行動が、図示されているように「走る」、「歩く」および「座る」に分類されているものとする。また、食事情報の入力タイミングが、「決済」の時刻として特定されているものとする。この場合、「決済」の時刻の後に、所定の時間以上継続する「座る」の時間が、食事時間として特定されうる。
これに対して、食事情報を決済情報取得(T1011)によって取得し、かつ、食事の決済が、食事の後に決済する後決済方式である場合、「決済」の時刻の前に、所定の時間以上継続する「座る」の時間が、食事時間として特定されうる。このように、決済の方式が前決済であるか後決済であるかは、食事時間の特定に影響する。それゆえ、決済の方式が前決済であるか後決済であるかの情報は、予め食堂の決済サーバなどからサーバ装置200に提供されていてもよい。
一方、食事情報が食事画像入力(T1012)によって取得される場合、ユーザは食事をする前に食事の画像情報をサーバ装置200に送信すると推定される。そのため、画像情報がサーバ装置200に送信されたタイミングである入力タイミングの後の所定の時間が、食事時間として特定されうる。
また、食事情報が手入力(T1013)によって取得される場合、ユーザは食事をする前に食事の文字情報を入力するか、食事をした後に食事の文字情報を入力するかわからない。そこで、この場合、文字情報がサーバ装置200に送信されたタイミングである入力タイミングの前の所定の時間を食事時間とするか、または文字情報がサーバ装置200に送信されたタイミングである入力タイミングの後の所定の時間を食事時間とするかを、ユーザの入力によって選択してもよい。
続いて、サーバ装置200の雰囲気パラメータ取得部213による会話の雰囲気に関連するパラメータの取得について、詳しく説明する。
図10は、本技術の一実施形態において会話の雰囲気に関連するパラメータを取得する処理の例を示す図である。図10を参照すると、解析時間窓におけるユーザごとの発話状況が入力され、発話頻度、発話のばらつき、および笑いの解析結果を統合することによって、会話時の雰囲気レポートが出力される。
図示されている例では、ユーザu1〜u6の6人のユーザが同じ会話グループに属する。各ユーザの発話は、時系列の発話チャートにトラックとして表される。雰囲気パラメータ取得部213は、この発話チャートに例えば10〜30分など所定の長さの解析時間窓を設定し、この解析時間窓を順次移動させながら、解析時間窓に含まれる各ユーザの発話を解析する。
ここで、雰囲気パラメータ取得部213は、「楽しい会話」について、3つの条件を設定して各ユーザの発話を解析する。
まず、「楽しい会話は発言チャンスが平等」という条件がある。この条件は、各ユーザの発話回数の分散σを用いて、以下の数式(2)によって発話頻度fkとして数値化されうる。
Figure 2012155374
次に、「楽しい会話は会話順序がばらける」という条件がある。この条件は、各ユーザの間での発話順序対の分散σを用いて、以下の数式(3)によって発話ばらつきrdとして数値化されうる。
Figure 2012155374
ここで、発話順序対とは、会話において発話者が変わった場合の、変わる前と変わる後の発話者を対にしたものである。図示された例における発話順序対は、例えば、
(1,5),(5,6),(6,4),(4,2),(2,3),(3,4),(4,2),(2,6),(6,3),(3,5),(5,6),(6,5),(5,4)
のように生成されうる。なお、会話が重複する部分と、会話が途切れた部分とについては、発話順序対が生成されなくてもよい。
次に、「楽しい会話は笑いが多い」という条件がある。この条件は、例えば、音声情報から人間の感情を読み取る技術、または、端末装置100の入力装置150によって取得された画像情報を用いた各ユーザの表情の解析による笑顔の検出を用いて、笑い度smによって数値化されうる。笑い度smは、例えば、各ユーザの間での笑いの頻度でありうる。画像情報を用いた各ユーザの表情の解析には、例えばスマイルシャッター(登録商標)などの技術が応用されてもよい。
雰囲気パラメータ取得部213は、上記の条件を統合して、例えば以下の数式(4)によって雰囲気パラメータmを算出しうる。なお、a,b,cは定数である。
Figure 2012155374
雰囲気パラメータ取得部213は、例えば、雰囲気パラメータmが所定の閾値以上である場合に、会話を「楽しい雰囲気の会話」と判定し、図示されているような会話時の雰囲気レポートを出力しうる。会話時の雰囲気レポートは、各ユーザ単位で出力されうる。図示された例では、ユーザ1についての会話時の雰囲気レポートが示されている。会話時の雰囲気レポートには、例えば、時間区分、会話グループに含まれるユーザ以外の会話メンバー、会話の雰囲気などが含まれてもよい。
再び図7を参照して、適正摂取カロリー取得(P1130)は、身長履歴DB(D1240)から取得される身長情報、および体重履歴DB(D1250)から取得される体重情報に基づいて、ユーザの適正摂取カロリー情報を取得する処理である。身長情報および体重情報は、携帯端末における身体情報入力(T1040)によって入力されたものでありうる。身体情報入力(T1040)は、例えば、ユーザが端末装置100において入力装置150を用いて身長および体重の情報を入力することでありうる。
ここで、適正摂取カロリーは、例えば、身長(m)に基づいて(身長)×22で求められる目標体重(kg)に基づいて算出されうる。目標体重(kg)に基づいて、(推定エネルギー必要量)×(目標体重)/(基準体重)によって、目標体重(kg)での基礎代謝量が算出されうる。さらに、(目標体重での基礎代謝量)×(身体活動レベル)によって、目標体重での適正摂取カロリーが算出されうる。なお、推定エネルギー必要量(kcal/日)は、年齢と性別に基づいて算出されうる。
推薦情報生成(P1140)は、喫食アイテム・入力タイミング特定(P1110)によって生成される喫食アイテムの情報、雰囲気情報取得(P1120)によって取得される「楽しい食事」情報、適正摂取カロリー取得(P1130)によって取得されるユーザの適正摂取カロリー情報、喫食履歴DB(D1260)から取得される喫食履歴情報、および運動履歴DB(D1270)から取得される運動履歴情報を用いて、食事推薦情報を生成する処理である。
(食事推薦情報におけるメニューの重み付け)
ここで、図11〜14を参照して、食事推薦情報の生成時に食事アイテムを重み付けする処理について、詳しく説明する。本技術の一実施形態において、食事アイテムは、喫食履歴情報および「楽しい食事」情報から取得される、「好物度」および「楽しい食事度」に基づいて重み付けされて、食事推薦情報の生成に用いられる。
図11は、本技術の一実施形態における好物度の取得処理の例を示すフローチャートである。以下で説明するステップは、主にサーバ装置200の食事推薦情報生成部214によって実行される。本技術の一実施形態において、「好物度」は、ユーザの喫食アイテム履歴に含まれる頻度が高い単語に基づいて算出される。
まず、取得された食事情報に基づいて、喫食アイテムが特定される(ステップS101)。このステップは、図7における喫食アイテム・入力タイミング特定(P1110)に相当する。このステップによって、ユーザが喫食したアイテムは、食事の場所または食事情報の入力方法にかかわらず、共通のフォーマットの喫食アイテム情報で表される。
次に、喫食アイテム情報から、単語が抽出される(ステップS103)。このステップでは、喫食アイテム情報に含まれる単語を抽出することによって、喫食アイテムを素材または調理法などの属性に分解する。例えば、喫食アイテムを素材に分解する場合、「ブロッコリーとツナのマヨネーズ和え」という喫食アイテムから、「ブロッコリー」、「ツナ」および「マヨネーズ」という単語が抽出されうる。
次に、抽出された単語が格納される(ステップS105)。このステップでは、ステップS103で抽出された単語が、ユーザの情報と関連付けられて格納される。抽出された単語は、例えば、サーバ装置200の記憶部220に格納されてもよい。この場合、記憶部220には、ユーザの喫食アイテムの履歴が、単語単位で蓄積される。
次に、所定期間が経過したか否かが判定される(ステップS107)。好物度の取得には、例えば3ヶ月などの所定の期間における喫食アイテム履歴が用いられる。それゆえ、喫食アイテム履歴が取得され始めてから所定期間が経過していない場合、好物度は取得されない。従って、ステップS107において所定期間が経過していないを判定された場合、引き続き次の食事の食事情報を取得し、喫食アイテムを特定する処理が実行される(ステップS101)。
一方、ステップS107において所定期間が経過していると判定された場合、喫食アイテム履歴における単語の出現比率が取得される(ステップS109)。例えば、単語「ブロッコリー」の出現比率は、例えば、(喫食アイテム履歴に含まれる単語「ブロッコリー」の数)/(喫食アイテム履歴に含まれる全単語数)によって求められうる。
次に、単語の出現比率に応じて、単語ごとに「好物度」が付与される(ステップS111)。このステップでは、出現比率がより高い単語に、より大きい「好物度」が付与されうる。付与された「好物度」は、食事推薦情報の生成においてメニューを重み付けするために用いられうる。
図12は、本技術の一実施形態における食事アイテムの重み付け処理の例を示すフローチャートである。以下で説明するステップは、主にサーバ装置200の食事推薦情報生成部214によって実行される。
まず、予定メニューアイテムが取得される(ステップS201)。予定メニューアイテムは、例えば、ユーザが食事をする食堂で1週間に提供されうるメニューアイテムの情報でありうる。
次に、食事パターンに基づいて可能メニューが作成される(ステップS203)。可能メニューは、予定メニューアイテムを、例えば「主食+主菜+副菜」のような食事パターンに基づいて組み合わせることによって作成される、食事として提供することが現実的に可能なメニューである。可能メニューは、提供することが可能なメニューであるため、複数作成されうる。また、可能メニューは、例えば1週間分の組み合わせとして作成されてもよい。
次に、作成された可能メニューが、適正摂取カロリーに基づいて重み付けされる(ステップS205)。このステップでは、ステップS203において作成された可能メニューについて、メニューの摂取カロリーが適正摂取カロリー取得(P1130)によって取得された適正摂取カロリーに近いほど、重みが大きくなるような重み付けがなされる。
次に、ステップS205において適正摂取カロリーに基づいて重み付けされた可能メニューが、メニューに含まれる食事アイテムの「好物度」および「楽しい食事度」に基づいてさらに重み付けされる(ステップS207)。このステップでは、メニューに含まれる単語単位で、「好物度」および「楽しい食事度」に基づいた重み付けがなされる。「好物度」に基づく重み付けと「楽しい食事度」に基づく重み付けとは、いずれも、重みが最大になるメニューに付加される重みが1になるように規格化されている。
次に、上記各ステップにおける重み付けを反映して、可能メニューの中から推薦メニューがランダム選択される(ステップS209)。このステップにおいて選択された推薦メニューが、サーバ装置200の通信部230から端末装置100の通信部170に送信され、例えば端末装置100のLCD140に表示されることによってユーザに提供される。
図13は、本技術の一実施形態において推薦メニューを出力するためのデータの流れの一例を示す図である。なお、以下で説明するデータの流れは、図7を参照して説明したデータの流れの中では推薦情報生成(P1140)の処理に含まれる。また、以下で説明するデータの流れは、図12を参照して説明した処理におけるデータの流れに相当する。
可能メニュー生成(P2110)は、予定メニューDB(D2210)から取得される予定メニュー情報、および食事パターンDB(D2220)から取得される食事パターン情報を用いて、可能メニュー情報を生成する処理である。予定メニュー情報は、例えば、ユーザが食事をする食堂で1週間に提供されうるメニューアイテムの情報でありうる。この場合、予定メニューDB(D2210)は、食堂のメニューを管理するサーバ装置に含まれるデータベースであり、予定メニュー情報は、サーバ装置200の通信部230によって上記のサーバ装置から受信されうる。また、食事パターン情報は、例えば、「主食+主菜+副菜」のような、想定されうる食事のパターンの情報でありうる。この場合、食事パターンDB(D2220)は、サーバ装置200の記憶部220に格納されるデータベースであってもよいし、またサーバ装置200の通信部230と通信するネットワーク上の他の装置に格納されるデータベースであってもよい。
重み付け(P2120)は、可能メニュー生成(P2110)によって生成される可能メニュー、食事アイテムDB(D2230)から取得される好物度・楽しい食事度情報、および適正摂取カロリー取得(T2010)によって取得される適正摂取カロリー情報を用いて、重み付けされた可能メニュー情報を生成する処理である。好物度・楽しい食事度情報は、例えば、ユーザが喫食した食事アイテムごとに付加された、好物度および楽しい食事度の情報でありうる。上述のように、好物度は、喫食アイテム履歴における単語の出現頻度に基づいて算出されうる。また、楽しい食事度は、食事時の会話の雰囲気に関連するパラメータに基づいて算出されうる。適正摂取カロリー情報は、端末装置100から送信されるユーザの身長情報および体重情報に基づいて取得されうる。
推薦メニュー生成(P2130)は、重み付け(P2120)によって生成される、重み付けされた可能メニュー情報を用いて推薦メニュー情報を生成する処理である。推薦メニューは、例えば可能メニューからのランダム選択によって生成されうる。
推薦メニュー出力(T2020)は、推薦メニュー生成(P2130)によって生成された推薦メニュー情報の出力である。推薦メニュー情報は、例えば、サーバ装置200の食事推薦情報生成部214から食事推薦情報として出力されうる。
図14は、本技術の一実施形態において生成される可能メニューと推薦メニューの例を示す図である。図14を参照すると、1週間分の可能メニューセット500が複数組生成されており、これらの可能メニューセット500の中から、1つの可能メニューセット500が選択されて、推薦メニューとして出力される。
図示された例において選択されている1週間分の可能メニューセット500は、可能メニュー500a,500b,500c,・・・を含む。例えば、可能メニュー500aは、食事アイテムとして「ご飯」、「酢豚」および「ブロッコリーとツナのマヨネーズ和え」を含む。それぞれの食事アイテムには、単語ごとに、「好物度」による重み付け510a〜510eと、「楽しい食事度」による重み付け520a〜520eが設定されている。
再び図7を参照して、推薦情報出力(T1050)は、推薦情報生成(P1140)で生成された食事推薦情報の出力である。例えば、推薦情報出力(T1050)は、生成された食事推薦情報が、サーバ装置200の通信部230から端末装置100の通信部170に送信され、端末装置100の画面表示部113によってLCD140に表示されることによってユーザに提供されることでありうる。生成された食事推薦情報は、例えば、サーバ装置200の記憶部220に格納され、ユーザが端末装置100から送信するリクエストに応じて端末装置100に送信されてもよい。
図15は、本技術の一実施形態において出力される食事推薦情報の例を示す図である。図15を参照すると、端末装置100のLCD140に表示される食事推薦情報画面600が図示されている。食事推薦情報画面600は、推薦メニュー情報610、おすすめ度情報620、バランスチャート630、喫食履歴ボタン640を含みうる。
推薦メニュー情報610は、上述のように、食事推薦情報生成の処理において、可能メニューの中から選択された推薦メニューを示す情報である。図示された例では、12月1日について、複数のメニューが、推薦メニュー情報610a〜610cとして提示されている。このように、推薦メニューは、可能メニューの中から複数選択されて、おすすめ度情報620の順に配列して表示されてもよい。
おすすめ度情報620は、推薦メニュー情報610のおすすめ度を示す情報である。おすすめ度情報は、おすすめの理由として、好物度情報621、バランス情報622、雰囲気情報623とともに表示されてもよい。好物度情報621は、推薦メニューの「好物度」による重み付けに基づいて表示される。バランス情報622は、推薦メニューの栄養バランスに基づいて表示される。雰囲気情報623は、推薦メニューの「楽しい食事度」による重み付けに基づいて表示される。
図示された例のように、推薦メニュー情報610として複数の推薦メニュー情報610a〜610cが表示される場合、それぞれの推薦メニュー情報610に対応するおすすめ度情報620a〜620cが表示されうる。この場合、おすすめの理由も、好物度情報621a〜621c、バランス情報622a〜622c、雰囲気情報623a〜623cのように、それぞれのおすすめ度情報620に対応して複数表示されうる。なお、図示された例では、好物度情報621b,621c、バランス情報622a,622b、および雰囲気情報623b,623cは、折りたたみ表示されていることによって表示されていない。
ここで、雰囲気情報623は、推薦メニューに含まれる食事アイテムが過去に喫食されたときの会話の雰囲気に基づく情報である。会話の雰囲気は、食事の間にユーザと会話していた会話メンバーを特定し、ユーザと会話メンバーとを含む会話グループにおける会話の状態を解析することによって取得される。従って、かかる雰囲気情報623を含む食事推薦情報画面600は、会話グループの情報を用いて生成された会話グループ関連情報を表示する画面である。
バランスチャート630は、過去1週間の食事の摂取状況に基づいた、栄養および摂取カロリーのバランスチャートである。栄養のバランスは、例えば、たんぱく質、脂質、炭水化物、ビタミン、ミネラル、食物繊維などの栄養素ごとのバランスとして表されうる。また、摂取カロリーのバランスは、例えば、最適BMI(=22)に基づいて算出された適正摂取カロリーに対する実際の摂取カロリーのバランスとして表されうる。バランスチャート630には、さらに、「バランスが偏っています 気をつけましょう」などのアドバイスが表示されてもよい。
喫食履歴ボタン640は、過去に喫食した食事に関する情報を表示させるためのボタンである。食事推薦情報画面600は、喫食履歴ボタン640のように、他の情報を表示するためのボタンまたはリンクを含んでもよい。
(3−2.友人関係情報の生成)
本技術の一実施形態では、サーバ装置200の友人関係情報生成部215によって、友人関係情報が生成され、端末装置100に送信される。友人関係情報は、端末装置100のユーザに対して、推定される友人関係を提示する情報である。
図16は、本技術の一実施形態において生成される友人関係情報の例を示す図である。図16を参照すると、友人関係情報は、複数のユーザu1〜u13の間で、友人関係が存在すると推定されるユーザの間をリンクさせた形で表されうる。例えば、ユーザは、端末装置100を用いて友人関係情報を参照することによって、自分では気づいていない友人同士の関係を知ることが可能である。
図示された例のような友人関係情報を生成するために、友人関係情報生成部215は、各ユーザの組み合わせのそれぞれについて、友達レベルを算出しうる。例えば、ユーザuiとユーザujとの組み合わせについての友達レベルflijは、ユーザuiとユーザujとが同一の会話グループに属した回数cijと、ユーザuiとユーザujとが同一の会話グループに属した場合の会話の雰囲気パラメータmの平均値mijによって、以下の数式(5)によって算出されうる。
Figure 2012155374
この場合、ユーザuiとユーザujとが同一の会話グループに属したことがなければ、cij=0であるためflij=0になる。また、ユーザuiとユーザujとが同一の会話グループに属した場合の会話の雰囲気が楽しいものではないことが多かった場合、mijの値が小さくなるため、flijの値は小さくなる。
友人関係情報生成部215は、ユーザuiについて、他のいずれかのユーザとの間の友達レベルflのうちの最大値を1として、友達レベルflを規格化する。さらに、友人関係情報生成部215は、ユーザuiについて規格化された友達レベルflのうち、ユーザujとの間の友達レベルであるflijが所定の閾値以上である場合に、ユーザuiとユーザujとの間に友人関係が存在すると判定し、ユーザuiとユーザujとをリンクさせる。
ここで、友人関係情報は、複数のユーザの間の会話の雰囲気に基づいて算出される友達レベルによって推定される、ユーザ間の友人関係を示す情報である。会話の雰囲気は、グループ抽出部212によって抽出された会話グループを単位の1つとして取得される。従って、友人関係情報は、会話グループの情報を用いて生成された会話グループ関連情報である。
<4.補足>
以上、添付図面を参照しながら本技術の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本技術の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本技術の技術的範囲に属するものと了解される。
例えば、上記実施形態では、端末装置およびサーバ装置の各部の機能がCPUによって実現されるものとしたが、本技術はかかる例に限定されない。例えば、端末装置およびサーバ装置の各部の機能の一部または全部は、DSP(Digital Signal Processor)、または専用のハードウェアによって実現されてもよい。
また、例えば、上記実施形態では、会話グループ関連情報として食事推薦情報および友人関係情報が、サーバ装置によって生成されて端末装置に提供されたが、本技術はかかる例に限定されない。例えば、食事推薦情報または友人関係情報のいずれか一方が生成および提供されてもよい。また、食事推薦情報または友人関係情報の一方または両方とともに、またはこれらの情報に代えて、別の情報が生成および提供されてもよい。別の情報としては、例えば、雰囲気が良い会話のときに流れていた音楽を推薦するBGM推薦情報などがある。
なお、本技術が以下のような構成をとることも可能である。
(1)
ユーザの発話および1または複数の他の人物の発話の音声情報を取得する音声取得部と、
前記音声情報を外部装置に送信し、前記音声情報に基づいて前記1または複数の他の人物の中から抽出される会話メンバーと前記ユーザとを含む会話グループの情報を用いて生成される会話グループ関連情報を前記外部装置から受信する通信部と、
を備え、
前記会話メンバーは、前記1または複数の他の人物のうち、前記音声情報の音声特徴量と類似した音声特徴量を有する音声情報を前記外部装置に送信する他の情報処理装置を保持する1または複数の人物である、情報処理装置。
(2)
前記ユーザの位置を示す位置情報を取得する位置取得部をさらに備え、
前記通信部は、前記位置情報を前記外部装置に送信し、
前記会話メンバーは、前記1または複数の他の人物のうち、前記ユーザの位置と近接した位置を示す位置情報を前記外部装置に送信する前記他の情報処理装置を保持する1または複数の人物である会話メンバー候補の中から抽出される、
前記(1)に記載の情報処理装置。
(3)
前記通信部は、前記会話グループ関連情報として、前記会話グループによる会話の雰囲気の良し悪しを示す雰囲気パラメータを用いて生成される情報を受信し、
前記雰囲気パラメータは、前記通信部および前記他の情報処理装置によって前記外部装置に送信される音声情報から抽出された、前記会話メンバーおよび前記ユーザの間での発話頻度、前記会話メンバーおよび前記ユーザの間での発話順序、または前記会話メンバーもしくは前記ユーザによる笑いの頻度のうちの少なくとも1つに基づいて算出される、
前記(1)または(2)に記載の情報処理装置。
(4)
前記通信部は、前記会話グループ関連情報として、前記ユーザが喫食した食事のうち、食事の間の会話について前記雰囲気パラメータによって雰囲気が良かったことが示される食事に含まれる喫食アイテムを優先的に推薦する食事推薦情報を受信する、
前記(3)に記載の情報処理装置。
(5)
前記ユーザが喫食した食事の情報を画像情報または文字情報として入力する入力部をさらに備え、
前記通信部は、前記ユーザが喫食した食事の情報を前記外部装置に送信する、
前記(4)に記載の情報処理装置。
(6)
前記ユーザが喫食した食事の時間は、前記ユーザが喫食した食事の情報が入力されたタイミングと、前記ユーザの加速度データから認識された前記ユーザの行動とに基づいて推定された時間である、
前記(4)または(5)に記載の情報処理装置。
(7)
前記通信部は、前記会話グループ関連情報として、前記ユーザが喫食した食事に含まれる頻度が高い喫食アイテム、または摂取カロリーが前記ユーザにとって適正な喫食アイテムを優先的に推薦する前記食事推薦情報を受信する、
前記(4)〜(6)のいずれか1項に記載の情報処理装置。
(8)
前記通信部は、前記会話グループ関連情報として、前記ユーザと前記1または複数の他の人物との間の友人関係を、前記雰囲気パラメータに基づいて推定した友人関係情報を受信する、
前記(3)〜(7)のいずれか1項に記載の情報処理装置。
(9)
ユーザの発話および1または複数の他の人物の発話の音声情報を取得するステップと、
前記音声情報を外部装置に送信し、前記音声情報に基づいて前記1または複数の他の人物の中から抽出される会話メンバーと前記ユーザとを含む会話グループの情報を用いて生成される会話グループ関連情報を前記外部装置から受信するステップと、
を含み、
前記会話メンバーは、前記1または複数の他の人物のうち、前記音声情報の音声特徴量と類似した音声特徴量を有する音声情報を前記外部装置に送信する情報処理装置を保持する1または複数の人物である、情報処理方法。
(10)
ユーザの発話および1または複数の他の人物の発話の音声情報を取得する音声取得部と、
前記音声情報を外部装置に送信し、前記音声情報に基づいて前記1または複数の他の人物の中から抽出される会話メンバーと前記ユーザとを含む会話グループの情報を用いて生成される会話グループ関連情報を前記外部装置から受信する通信部と、
としてコンピュータを動作させ、
前記会話メンバーは、前記1または複数の他の人物のうち、前記音声情報の音声特徴量と類似した音声特徴量を有する音声情報を前記外部装置に送信する情報処理装置を保持する1または複数の人物である、プログラム。
(11)
複数のユーザの発話の音声情報を取得する音声取得部と、
前記音声情報を第2の情報処理装置に送信し、前記音声情報に基づいて前記複数のユーザの中から抽出される会話グループの情報を用いて生成される会話グループ関連情報を前記第2の情報処理から受信する通信部と、
を備える第1の情報処理装置と、
前記複数のユーザが保持する前記第1の情報処理装置がそれぞれ送信する音声情報を受信し、前記会話グループ関連情報を少なくとも1つの前記第1の情報処理装置に送信する通信部と、
前記複数のユーザのうち、互いに類似する音声特徴量を有する音声情報を送信する前記第1の情報処理装置をそれぞれ保持するユーザを、前記会話グループとして抽出するグループ抽出部と、
前記会話グループの情報を用いて前記会話グループ関連情報を生成するグループ関連情報生成部と、
を備える第2の情報処理装置と、
を含む情報処理システム。
(12)
複数の端末装置がそれぞれ送信する音声情報を受信し、会話グループ関連情報を少なくとも1つの前記端末装置に送信する通信部と、
前記複数の端末装置のうち、互いに類似する音声特徴量を有する音声情報を送信する端末装置をそれぞれ保持するユーザを、会話グループとして抽出するグループ抽出部と、
前記会話グループの情報を用いて前記会話グループ関連情報を生成するグループ関連情報生成部と、
を備える情報処理装置。
100 端末装置
111 位置取得部
112 音声取得部
113 画面表示部
150 入力装置
160 記憶部
170 通信部
200 サーバ装置
211 グループ候補抽出部
212 グループ抽出部
213 雰囲気パラメータ取得部
214 食事推薦情報生成部
215 友人関係情報生成部
220 記憶部
230 通信部
600 食事推薦情報画面
620 おすすめ度情報
621 好物度情報
622 バランス情報
623 雰囲気情報

Claims (12)

  1. ユーザの発話および1または複数の他の人物の発話の音声情報を取得する音声取得部と、
    前記音声情報を外部装置に送信し、前記音声情報に基づいて前記1または複数の他の人物の中から抽出される会話メンバーと前記ユーザとを含む会話グループの情報を用いて生成される会話グループ関連情報を前記外部装置から受信する通信部と、
    を備え、
    前記会話メンバーは、前記1または複数の他の人物のうち、前記音声情報の音声特徴量と類似した音声特徴量を有する音声情報を前記外部装置に送信する他の情報処理装置を保持する1または複数の人物である、情報処理装置。
  2. 前記ユーザの位置を示す位置情報を取得する位置取得部をさらに備え、
    前記通信部は、前記位置情報を前記外部装置に送信し、
    前記会話メンバーは、前記1または複数の他の人物のうち、前記ユーザの位置と近接した位置を示す位置情報を前記外部装置に送信する前記他の情報処理装置を保持する1または複数の人物である会話メンバー候補の中から抽出される、
    請求項1に記載の情報処理装置。
  3. 前記通信部は、前記会話グループ関連情報として、前記会話グループによる会話の雰囲気の良し悪しを示す雰囲気パラメータを用いて生成される情報を受信し、
    前記雰囲気パラメータは、前記通信部および前記他の情報処理装置によって前記外部装置に送信される音声情報から抽出された、前記会話メンバーおよび前記ユーザの間での発話頻度、前記会話メンバーおよび前記ユーザの間での発話順序、または前記会話メンバーもしくは前記ユーザによる笑いの頻度のうちの少なくとも1つに基づいて算出される、
    請求項1に記載の情報処理装置。
  4. 前記通信部は、前記会話グループ関連情報として、前記ユーザが喫食した食事のうち、食事の間の会話について前記雰囲気パラメータによって雰囲気が良かったことが示される食事に含まれる喫食アイテムを優先的に推薦する食事推薦情報を受信する、
    請求項3に記載の情報処理装置。
  5. 前記ユーザが喫食した食事の情報を画像情報または文字情報として入力する入力部をさらに備え、
    前記通信部は、前記ユーザが喫食した食事の情報を前記外部装置に送信する、
    請求項4に記載の情報処理装置。
  6. 前記ユーザが喫食した食事の時間は、前記ユーザが喫食した食事の情報が入力されたタイミングと、前記ユーザの加速度データから認識された前記ユーザの行動とに基づいて推定された時間である、
    請求項4に記載の情報処理装置。
  7. 前記通信部は、前記会話グループ関連情報として、前記ユーザが喫食した食事に含まれる頻度が高い喫食アイテム、または摂取カロリーが前記ユーザにとって適正な喫食アイテムを優先的に推薦する前記食事推薦情報を受信する、
    請求項4に記載の情報処理装置。
  8. 前記通信部は、前記会話グループ関連情報として、前記ユーザと前記1または複数の他の人物との間の友人関係を、前記雰囲気パラメータに基づいて推定した友人関係情報を受信する、
    請求項3に記載の情報処理装置。
  9. ユーザの発話および1または複数の他の人物の発話の音声情報を取得するステップと、
    前記音声情報を外部装置に送信し、前記音声情報に基づいて前記1または複数の他の人物の中から抽出される会話メンバーと前記ユーザとを含む会話グループの情報を用いて生成される会話グループ関連情報を前記外部装置から受信するステップと、
    を含み、
    前記会話メンバーは、前記1または複数の他の人物のうち、前記音声情報の音声特徴量と類似した音声特徴量を有する音声情報を前記外部装置に送信する情報処理装置を保持する1または複数の人物である、情報処理方法。
  10. ユーザの発話および1または複数の他の人物の発話の音声情報を取得する音声取得部と、
    前記音声情報を外部装置に送信し、前記音声情報に基づいて前記1または複数の他の人物の中から抽出される会話メンバーと前記ユーザとを含む会話グループの情報を用いて生成される会話グループ関連情報を前記外部装置から受信する通信部と、
    としてコンピュータを動作させ、
    前記会話メンバーは、前記1または複数の他の人物のうち、前記音声情報の音声特徴量と類似した音声特徴量を有する音声情報を前記外部装置に送信する情報処理装置を保持する1または複数の人物である、プログラム。
  11. 複数のユーザの発話の音声情報を取得する音声取得部と、
    前記音声情報を第2の情報処理装置に送信し、前記音声情報に基づいて前記複数のユーザの中から抽出される会話グループの情報を用いて生成される会話グループ関連情報を前記第2の情報処理から受信する通信部と、
    を備える第1の情報処理装置と、
    前記複数のユーザが保持する前記第1の情報処理装置がそれぞれ送信する音声情報を受信し、前記会話グループ関連情報を少なくとも1つの前記第1の情報処理装置に送信する通信部と、
    前記複数のユーザのうち、互いに類似する音声特徴量を有する音声情報を送信する前記第1の情報処理装置をそれぞれ保持するユーザを、前記会話グループとして抽出するグループ抽出部と、
    前記会話グループの情報を用いて前記会話グループ関連情報を生成するグループ関連情報生成部と、
    を備える第2の情報処理装置と、
    を含む情報処理システム。
  12. 複数の端末装置がそれぞれ送信する音声情報を受信し、会話グループ関連情報を少なくとも1つの前記端末装置に送信する通信部と、
    前記複数の端末装置のうち、互いに類似する音声特徴量を有する音声情報を送信する端末装置をそれぞれ保持するユーザを、会話グループとして抽出するグループ抽出部と、
    前記会話グループの情報を用いて前記会話グループ関連情報を生成するグループ関連情報生成部と、
    を備える情報処理装置。
JP2011011415A 2011-01-21 2011-01-21 情報処理装置、情報処理方法、プログラムおよび情報処理システム Withdrawn JP2012155374A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011011415A JP2012155374A (ja) 2011-01-21 2011-01-21 情報処理装置、情報処理方法、プログラムおよび情報処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011011415A JP2012155374A (ja) 2011-01-21 2011-01-21 情報処理装置、情報処理方法、プログラムおよび情報処理システム

Publications (1)

Publication Number Publication Date
JP2012155374A true JP2012155374A (ja) 2012-08-16

Family

ID=46837079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011011415A Withdrawn JP2012155374A (ja) 2011-01-21 2011-01-21 情報処理装置、情報処理方法、プログラムおよび情報処理システム

Country Status (1)

Country Link
JP (1) JP2012155374A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014044172A (ja) * 2012-08-28 2014-03-13 Fuji Xerox Co Ltd 位置特定システムおよび端末装置
WO2014097752A1 (ja) * 2012-12-19 2014-06-26 日本電気株式会社 価値可視化装置、価値可視化方法、及びコンピュータ読み取り可能な記録媒体
JP2015127929A (ja) * 2013-12-27 2015-07-09 昭仁 島田 会話を記録された成員から或る主題を討議するのに最適な班構成を判別する方法
JP2015215601A (ja) * 2014-04-24 2015-12-03 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 複数の端末による会議向け収音システムの構成方法およびサーバ装置
WO2016178327A1 (ja) * 2015-05-01 2016-11-10 ソニー株式会社 情報処理システム、通信デバイス、制御方法、および記憶媒体
US9519672B2 (en) 2013-06-28 2016-12-13 Facebook, Inc. User activity tracking system and device
US9531824B2 (en) 2013-06-28 2016-12-27 Facebook, Inc. User activity tracking system
EP3276622A4 (en) * 2015-03-27 2018-10-03 Sony Corporation Information processing device, information processing method, and program
JP2019032843A (ja) * 2013-03-14 2019-02-28 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド 自動車又は携帯電子装置を使用した能動的且つ自動的なパーソナルアシスタンスを提供するコンピュータベースの方法及びシステム
WO2019123776A1 (ja) * 2017-12-21 2019-06-27 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014044172A (ja) * 2012-08-28 2014-03-13 Fuji Xerox Co Ltd 位置特定システムおよび端末装置
WO2014097752A1 (ja) * 2012-12-19 2014-06-26 日本電気株式会社 価値可視化装置、価値可視化方法、及びコンピュータ読み取り可能な記録媒体
JP2019032843A (ja) * 2013-03-14 2019-02-28 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド 自動車又は携帯電子装置を使用した能動的且つ自動的なパーソナルアシスタンスを提供するコンピュータベースの方法及びシステム
JP2017086855A (ja) * 2013-06-28 2017-05-25 フェイスブック,インク. ユーザ活動追跡システム及び装置
US9519672B2 (en) 2013-06-28 2016-12-13 Facebook, Inc. User activity tracking system and device
US9531824B2 (en) 2013-06-28 2016-12-27 Facebook, Inc. User activity tracking system
JP2015127929A (ja) * 2013-12-27 2015-07-09 昭仁 島田 会話を記録された成員から或る主題を討議するのに最適な班構成を判別する方法
JP2015215601A (ja) * 2014-04-24 2015-12-03 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 複数の端末による会議向け収音システムの構成方法およびサーバ装置
EP3276622A4 (en) * 2015-03-27 2018-10-03 Sony Corporation Information processing device, information processing method, and program
JPWO2016178327A1 (ja) * 2015-05-01 2018-02-22 ソニー株式会社 情報処理システム、通信デバイス、制御方法、および記憶媒体
WO2016178327A1 (ja) * 2015-05-01 2016-11-10 ソニー株式会社 情報処理システム、通信デバイス、制御方法、および記憶媒体
US11392979B2 (en) 2015-05-01 2022-07-19 Sony Corporation Information processing system, communication device, control method, and storage medium
WO2019123776A1 (ja) * 2017-12-21 2019-06-27 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Similar Documents

Publication Publication Date Title
JP2012155374A (ja) 情報処理装置、情報処理方法、プログラムおよび情報処理システム
Vinciarelli et al. Bridging the gap between social animal and unsocial machine: A survey of social signal processing
CN104813311B (zh) 用于多人的虚拟代理推荐的系统和方法
Cabrera-Quiros et al. The MatchNMingle dataset: a novel multi-sensor resource for the analysis of social interactions and group dynamics in-the-wild during free-standing conversations and speed dates
US10909386B2 (en) Information push method, information push device and information push system
Schmid Mast et al. Social sensing for psychology: Automated interpersonal behavior assessment
Pentland Automatic mapping and modeling of human networks
CN106910513A (zh) 情绪智能聊天引擎
US20170140054A1 (en) Computerized systems and methods for offline interpersonal facilitation
CN107491929A (zh) 数据驱动的自然语言事件检测和分类
Dogrucu et al. Moodable: On feasibility of instantaneous depression assessment using machine learning on voice samples with retrospectively harvested smartphone and social media data
US20070186165A1 (en) Method And Apparatus For Electronically Providing Advertisements
Pentland et al. Human dynamics: computation for organizations
CN105843825A (zh) 影响者得分
US20170078224A1 (en) Generating conversations for behavior encouragement
JP2010067240A (ja) アバター画像の自動生成並びに成長システム
EP3726453A1 (en) Information processing device, information processing method, and program
Paradiso et al. Identifying and facilitating social interaction with a wearable wireless sensor network
US20230138557A1 (en) System, server and method for preventing suicide cross-reference to related applications
US20230336694A1 (en) Tagging Characteristics of an Interpersonal Encounter Based on Vocal Features
Pantic et al. Social signal processing
CN110032685A (zh) 馈送优化
KR20210105024A (ko) 사용자 맞춤형 유명인 제작 콘텐츠 제공 서버 및 방법
US10587690B2 (en) Systems and methods for utilizing athlete data to increase athlete performance
Knoblock-Hahn et al. Perceptions of adolescents with overweight and obesity for the development of user-centered design self-management tools within the context of the chronic care model: a qualitative study

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140401