JP2004177990A - Information presentation system, information presentation method, program, and storage medium - Google Patents

Information presentation system, information presentation method, program, and storage medium Download PDF

Info

Publication number
JP2004177990A
JP2004177990A JP2002339861A JP2002339861A JP2004177990A JP 2004177990 A JP2004177990 A JP 2004177990A JP 2002339861 A JP2002339861 A JP 2002339861A JP 2002339861 A JP2002339861 A JP 2002339861A JP 2004177990 A JP2004177990 A JP 2004177990A
Authority
JP
Japan
Prior art keywords
information
user
presentation
presentation method
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2002339861A
Other languages
Japanese (ja)
Inventor
Keitoku Isoda
佳徳 礒田
Masaru Ota
賢 太田
Masaharu Kurakake
正治 倉掛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2002339861A priority Critical patent/JP2004177990A/en
Publication of JP2004177990A publication Critical patent/JP2004177990A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technology capable of finely presenting information according to a condition of a user. <P>SOLUTION: This information presentation system 1 is provided with a means, which computes a user condition grasping information for grasping the condition of the user positioned inside a house 2 on the basis of an image of the user detected by a sensor 50 installed inside the house 2, and a means selecting a presentation method expressed by presentation method information data 936 according to received information data and the user condition grasping information data and making selection for actuating, interrupting, or completing presentation of the received information data based on the presentation method. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、通信により受信した情報を提示する技術に関する。
【0002】
【従来の技術】
電子メールの着信や電話の着呼やプッシュ型の通信により到来した情報を身の周りの機器を用いて提示する従来の方法として、以下の3つが挙げられる。
第1は、携帯端末を使った方法である。この方法は代表的な携帯端末である携帯電話機にて広く実施されている。携帯電話機において、情報の到着は、音、振動および光の少なくとも一つの手段によってユーザに通知される。この通知を受けたユーザは、手元の携帯電話機を操作することで、通話を開始したり電子メールを読んだりすることができる。
第2は、パーソナルコンピュータ等の情報処理装置が、情報を出力する出力機器の位置を記憶・管理し、到着した情報の出力に用いる出力機器を、センサによって検出されたユーザの位置に応じて決定し、決定された出力機器から当該情報を出力させる方法である。例えば、ユーザの近くにスピーカ/ディスプレイが存在することをセンサが検知した場合には、到着した情報は当該スピーカ/ディスプレイから音声/画像によって提示される(例えば、非特許文献1、2参照)。
第3は、現在及び過去のユーザの状況を勘案し、パーソナルコンピュータに到着した電子メール等の情報を、最も適した方法を選択してユーザに提示する方法である(例えば、特許文献1参照)。この方法では、パーソナルコンピュータは、状況把握を行うための処理を実行することで、ユーザの状況の履歴(現在および過去の機器使用状況と現在および過去の位置と注目している位置と当該位置に着目している時間と注目していた位置と当該位置に着目していた時間)を取得する。次に、パーソナルコンピュータは、最も適した情報の提示手段をユーザの状況の履歴に基づいて選択し、情報提示に使用可能な機器をユーザの現在の状況に基づいて一つ選択するというものである。
【0003】
【非特許文献1】
J.Bacon, J.Bates, and D.Halls, ”Location−oriented multimedia”, IEEE Personal Communications, Vol. 4, No. 5, pp. 48 − 57, 1997
【非特許文献2】
太田賢、吉川貴、中川智尋、磯田佳徳、杉村利明:シームレスなサービス実現のためのモバイルマルチメディアミドルウェア、情処研報 MBL−18, Vol. 2001,No. 83, pp. 261 − 268 (2001. 9)
【特許文献1】
特開2002−268781号公報
【0004】
【発明が解決しようとする課題】
しかしながら、第1の方法では、携帯端末がユーザに携帯されない場合に問題が生じる。例えば、ユーザが在宅時に携帯端末を充電器の上に置きっ放しにしているときに情報が到着した場合には、この到着をユーザが知るのは困難である。また、携帯端末がユーザに携帯されている場合であっても、到着した情報の提示方法は画一的であり、ユーザの置かれている状況に適した提示は行われない。
これらの問題は、第2の方法では生じない。しかし、第2の方法では、ユーザ及び他者が出力機器の近くにいるときに、他者に開示したくない情報が到来した場合、この出力機器(例えばスピーカ)から情報の提示が行われてしまう。これは、意図せぬ情報漏洩につながる。
本願出願人は、このような情報漏洩を回避するためには、ユーザの状況をより詳細に把握して木目細かに情報の提示を行う技術が必要と考え、特許文献を調査した。しかし、この調査でヒットした特許文献1に開示された第3の方法では、やはり、情報漏洩を回避できる程度に木目細かく情報を提示することはできない。
本発明は、上記問題点に鑑みてなされたものであり、ユーザの状況に応じてより木目細かく情報を提示することができる技術を提供することを目的とする。
【0005】
【課題を解決するための手段】
上述した課題を解決するために、本発明は、特定の区画内の状況を表すデータを入力し、該データに基づいて、前記区画内に位置するユーザの状況を把握するためのユーザ状況把握情報を算出するユーザ状況把握手段と、送信されてきた前記ユーザ宛の情報を受信する受信手段と、前記受信手段により受信された情報の前記ユーザへの提示方法を表す提示方法情報を複数記憶する提示方法記憶手段と、前記提示方法記憶手段により記憶された提示方法情報で表される提示方法で前記受信手段により受信された情報の提示を要求する起動手段と、前記提示方法記憶手段により記憶された提示方法情報で表される提示方法で前記受信手段により受信された情報の提示を実行しているときに前記実行を中断し、別の提示方法による前記情報の提示を要求する中断手段と、前記提示方法記憶手段により記憶された提示方法情報で表される前記提示方法で前記受信手段により受信された情報の提示を実行しているときに前記実行を終了する完了手段と、前記起動手段を実行する条件、前記中断手段を中断する条件及び前記完了手段を実行する条件を表す条件情報を複数記憶する条件情報記憶手段と、前記受信手段により受信された情報と、前記ユーザ状況把握手段により算出されたユーザ状況把握情報とに応じて、前記条件情報記憶手段より条件情報を選択する提示方法選択手段と、前記提示方法選択手段により選択された条件情報に従って、前記起動手段、前記中断手段、又は前記終了手段を実行する実行手段と、を有することを特徴とする情報提示システムを提供する。
【0006】
また、本発明は、特定の区画内の状況を表すデータを入力し、該データに基づいて、前記区画内に位置するユーザの状況を把握するためのユーザ状況把握情報を算出するユーザ状況把握ステップと、送信されてきた前記ユーザ宛の情報を受信する受信ステップと、前記受信ステップで受信された情報の前記ユーザへの提示方法を表す提示方法情報を複数記憶する提示方法記憶ステップと、前記受信ステップで受信された情報と前記ユーザ状況把握ステップにより算出されたユーザ状況把握情報とに応じて、前記提示方法記憶ステップで記憶された提示方法情報で表される提示方法を選択し、該提示方法による前記情報の提示を起動するか、中断するか、又は完了するかを選択する選択ステップと、前記選択ステップにおいて、起動が選択された場合には、前記提示方法情報で表される提示方法での前記情報の提示を要求し、中断が選択された場合には、前記提示方法での前記情報の提示の実行を中断するとともに、別の提示方法を選択して該提示方法での前記情報の提示を要求し、終了が選択された場合には、前記提示方法での前記情報の提示の実行を終了するステップと、を有することを特徴とする情報提示方法を提供する。
【0007】
また、本発明は、コンピュータを、特定の区画内の状況を表すデータを入力し、該データに基づいて、前記区画内に位置するユーザの状況を把握するためのユーザ状況把握情報を算出するユーザ状況把握手段と、送信されてきた前記ユーザ宛の情報を受信する受信手段と、前記受信手段により受信された情報の前記ユーザへの提示方法を表す提示方法情報を複数記憶する提示方法記憶手段と、前記提示方法記憶手段により記憶された提示方法情報で表される提示方法で前記受信手段により受信された情報の提示を要求する起動手段と、前記提示方法記憶手段により記憶された提示方法情報で表される提示方法で前記受信手段により受信された情報の提示を実行しているときに前記実行を中断し、別の提示方法による前記情報の提示を要求する中断手段と、前記提示方法記憶手段により記憶された提示方法情報で表される前記提示方法で前記受信手段により受信された情報の提示を実行しているときに前記実行を終了する完了手段と、前記起動手段を実行する条件、前記中断手段を中断する条件及び前記完了手段を実行する条件を表す条件情報を複数記憶する条件情報記憶手段と、前記受信手段により受信された情報と、前記ユーザ状況把握手段により算出されたユーザ状況把握情報とに応じて、前記条件情報記憶手段より条件情報を選択する提示方法選択手段と、前記提示方法選択手段により選択された条件情報に従って、前記起動手段、前記中断手段、又は前記終了手段を実行する実行手段として機能させるためのプログラムを提供する。
【0008】
上記発明によれば、情報提示システムは、受信されたユーザ宛の情報と前記ユーザ状況把握情報とに応じて、前記提示方法情報で表される提示方法を選択し、該提示方法による前記情報の提示を起動するか、中断するか、又は完了するかを選択する。情報提示システムは、起動が選択された場合には、前記提示方法情報で表される提示方法での前記情報の提示を要求し、中断が選択された場合には、前記提示方法での前記情報の提示の実行を中断するとともに、別の提示方法を選択して該提示方法での前記情報の提示を要求し、終了が選択された場合には、前記提示方法での前記情報の提示の実行を終了する。
【0009】
【発明の実施の形態】
以下、図面を参照して、この発明の実施形態について説明する。
[1.構成]
図1は、本発明の一実施形態に係る情報提示システム1の構成を説明するための図である。この情報提示システム1は、一般家庭の家屋2内に構築されている。また、情報提示システム1は、情報配信サーバ装置4を有しており、当該情報配信サーバ装置4は、ネットワーク3と家屋2内の図示せぬケーブルとを介して、家屋2内に設置されているパーソナルコンピュータである情報提示装置90と接続されている。
家屋2は、4つの区画(エリア)に仕切られており、1Fには、玄関10、リビング20、寝室30、2Fには書斎40が設けられている。
【0010】
2F書斎40には、2F書斎40内の人の位置や動作を認識するためのセンサ504と、情報配信サーバ装置4より受信した電子メール等の受信情報データを提示するための出力機器と、椅子や机等の家具とが設置されている。上記出力機器としては、スピーカ604、ディスプレイ704、LED(Light Emitting Diode)804、及び情報提示装置90が設置されている。
情報提示装置90は、センサ504、スピーカ604、ディスプレイ704及びLED804と図示せぬケーブルで接続されている。
情報提示装置90は、家屋2の住人(以下、「ユーザ」という)宛の電子メールや各種情報を情報配信サーバ装置4よりネットワーク3を介して受信する機能を有する。また、情報処理装置90は、センサ504から受信した、ユーザに関する情報(位置情報や動作等の情報)を基に、受信した受信情報をどのように上記出力機器から出力してユーザに受信情報を提示するかを決定し、この決定された提示方法に従って上記出力機器から情報提示を行う。
【0011】
センサ504は、ユーザの位置や動きを検出するためのセンサ5041や、音声認識を行うためのセンサ5042とを有する。センサ504に入力され解析されたデータは、逐次、情報提示装置90に送信される。
センサ5041は、2F書斎40のエリア内の全領域を網羅して撮像するための複数のカメラと、当該複数のカメラから撮像された画像の処理や解析を行う画像解析部から構成される。画像解析部は、カメラによって撮影された画像データの時間変化による差分を算出することにより、人の像を認識する。そして、画像解析部は、算出された画像データの差分と、予め記憶されているカメラの位置や向きと、エリア内の空間座標を表すデータとから、人の位置を表す位置データを算出する。また画像解析部は、算出された画像データの差分から、人の動作を識別する。例えば、画像解析部は、人の像内の上部において、周期的な差分変化がある場合には、人が手を振っていると判断する。また、画像解析部は画像の差分の変化がなく、人の像が横方向に長いと認識された場合には、人が寝ていると判断する。
【0012】
センサ5042は、ユーザの音声を入力するためのマイクと、当該マイクから入力された音声データを認識するための音声認識部から構成される。マイクは、入力されたユーザの音声を電気信号に変換する。音声認識部は、電気信号の時間変化による周波数を解析し、当該周波数に対応するデータを予め記憶された音声認識辞書用のデータの中から抽出することで、入力されたユーザの音声の認識を行う。
【0013】
スピーカ604と、ディスプレイ704と、LED804は、情報提示装置90が受信した受信情報データを、選択された提示方法で提示するための出力機器である。
【0014】
次に、1F玄関10のエリアについて説明する。玄関10には、位置を認識するセンサ5011と音声を認識するセンサ5012とを有するセンサ501、スピーカ601、ディスプレイ701、LED801及びユーザ登録パーソナルコンピュータ(以下「ユーザ登録PC」という)100が設置されている。ユーザ登録PC100は、センサ501と図示せぬケーブルで接続されている。
ユーザ登録PC100には、ユーザを識別するためのユーザIDがユーザによって入力される。ユーザ登録PC100は、当該入力されたユーザIDを表すユーザIDデータとセンサ5011で検出される人の像の位置データとを対応付ける処理を行う。
ユーザ登録PC100は、キーボード等の入力部より入力されたユーザIDデータを受信し、センサ5011に送信する機能を有する。センサ5011は、ユーザIDデータを受信し、当該ユーザIDデータをユーザ登録PC100の前でユーザIDを入力しているユーザの像の位置データと対応づけて、時間経過によるユーザの像の位置変化を追跡する。
【0015】
また、1Fリビング20のエリアには、他のエリアと同様に、位置を認識するセンサ5021と音声を認識するセンサ5022とを有するセンサ502、スピーカ602、ディスプレイ702及びLED802が設置されている他、テーブルや椅子や冷蔵庫が設置されている。
また、1F寝室30には、他のエリアと同様に、センサ503、スピーカ603、ディスプレイ703及びLED803が設置されている他、ベッドが設置されている。
【0016】
なお、上記各エリアに設置されている出力機器は、機能、構成とも共通するため、以下の説明では、特に区別して説明する場合を除き、センサ50、スピーカ60、ディスプレイ70及びLED80として同一の符号で説明する。
【0017】
[1.1.情報提示装置]
以下、情報提示装置90について、詳細に説明する。
図2は、情報提示装置90のハードウェア構成を示すためのブロック図である。
情報提示装置90は、CPU91、通信インターフェース92、ハードディスク装置93を有しており、これらはバスで接続されている。CPU91は、装置各部を制御する。通信インターフェース92は、ネットワーク3を介して情報配信サーバ装置4から電子メールや音声データ等の受信情報データを受信したり、センサ50からユーザに関する位置、動作等の各種データを受信したり、各種出力機器60、70、80に対して受信情報データを送信するための中継装置である。
【0018】
ハードディスク装置93は、地図データ931、ユーザ位置履歴データ932、ユーザ状況把握データ933、情報提示履歴データ934、出力機器管理データ935、情報提示方法データ936、提示方法優先関係データ937及びプログラム938を記憶している。
地図データ931は、家屋2内の各エリア(1F玄関10、1Fリビング20、1F寝室30及び2F書斎40)の広さや、家具等の物体や出入り口の配置を示すための地図データである。具体的には、地図データ931には、各々のエリアが占める空間領域を表す3次元座標データと、家具、センサ50、出力機器、出入り口が配置されている位置を表す3次元座標データが含まれている。
【0019】
ユーザ位置履歴データ932は、センサ50によって検出された、ユーザ位置データの履歴である。ここで、ユーザ位置データとは、センサ50で検出された3次元座標データである。
【0020】
ユーザ状況把握データ933は、ユーザの状況を把握するためのデータである。ユーザ状況把握データ933には、図3に示すように、ユーザ位置データ、動作データ、エリア名データ、予測位置データ、隣接関係データが含まれる。動作データは、座る・寝る・歩く、手振り、発話等のユーザの動作を表す。エリア名データは、ユーザの位置するエリアの名称を表す。予測位置データは、ユーザが現在時刻における位置から次にユーザが移動すると予測される位置を3次元座標で表したデータである。隣接関係データは、ユーザに最も近い位置に位置する他のユーザのユーザ名を表すデータと当該他のユーザのユーザ位置データである。このユーザ状況把握データ933は、センサ50から逐次送信されてくるデータによって逐次更新される。
【0021】
情報提示履歴データ934は、受信した受信情報データと、受信情報データのユーザへの提示状況を管理するための履歴データとを含んでいる。具体的には、情報提示履歴データ934には、受信情報データを受信した日時を表すデータ、選択された提示方法を表すデータ、提示を起動、実行、中断、終了した日時を表すデータ、現在の提示状態を表すデータ、受信情報データが、音声データや動画データの場合に、現在までに受信情報データの提示がどこまで完了しているかを表すデータが含まれている。
【0022】
出力機器管理データ935は、受信情報データを選択された提示方法で出力するための出力機器であるスピーカ60、ディスプレイ70及びLED80を管理するためのデータである。具体的には、図4に示すように、出力機器管理データ935には、出力機器の名称を表す機器名称データ、設置場所を表す設置場所データ、出力機器が設置されているエリアを表すエリア名データ、利用状況を表す利用状況データが含まれている。設置場所データは、出力機器が設置されている場所の3次元座標を表すデータである。この3次元座標は、例えば、出力機器の底面における外接円の中心座標である。利用状況データは、出力機器が故障していたり電源が切断されていたり、情報を出力中である場合には、“利用不可”の内容を表しており、出力機器から情報を出力できる状態である場合には、“利用可能”の内容を表している。出力機器が利用可能か否かの情報は、出力機器から逐次情報提示装置90に送信され、情報提示装置90は出力機器管理データ935に含まれる利用状況データを更新する。また、センサ50から、情報提示装置90に出力機器の位置情報データが逐次送信され、出力機器管理データ935に含まれる設置場所データとエリア名データが更新される。このため、出力機器を移動させたり、電源を切断したり等の変化に応じて、出力機器管理データ935の内容は即座に更新される。
【0023】
情報提示方法データ936は、受信情報データの提示方法を起動、中断、完了するときの条件を表すデータである。具体的には、図5に示すように、情報提示方法データ936には、起動条件を表す起動条件データ、中断条件を表す中断条件データ、完了条件を表す完了条件データ、提示方法を表す提示方法データが含まれている。
起動条件データは、受信情報データとセンサ50から受信され算出された状況把握データとが、当該データで表される受信情報条件データと状況把握情報条件データに該当したときに、出力機器条件データで表される出力機器を用いて、提示方法データで表される提示方法で出力するための要求を送信する条件を表すデータである。起動条件を表すデータには、どのような種類や内容を表すデータを誰から誰宛に受信したかを表す受信情報条件データと、ユーザの状況を把握するための状況把握条件データと、受信情報データを提示方法データで表される提示方法で出力するための出力機器を表す出力機器条件データとが含まれている。受信情報条件データには、メールや音声データ等の受信情報の種類を表す情報種類データ、受信情報の内容を表す情報内容データ、受信情報の送信元を表す送信元情報データ、受信情報の送信先を表す送信先情報データとが含まれている。状況把握情報条件データは、ユーザの状況を表すデータである。具体的には、状況把握情報条件データには、ユーザ位置の条件や、ユーザの動作の条件や、ユーザが位置するエリア名の条件や、ユーザの予測位置の条件や、ユーザと最も近い位置に位置するユーザの条件を表すデータが含まれている。
中断条件データは、提示方法データで指定された提示方法で受信情報データの提示が実行されている最中に、当該情報提示を中断する条件を表すデータである。中断条件データは、状況把握条件データを含んでいる。ここで、「中断」とは、中断条件によって中断した情報提示が中断した箇所から後に再開されることを前提とした概念である。
完了条件データは、提示方法データで指定された提示方法で受信情報データの提示が実行されている最中に、当該提示を完了させる条件を表すデータである。ここで「完了」とは、完了条件によって中断した情報提示が再開させないことを前提とした概念である。完了条件データには、中断条件データと同様に、状況把握条件データが含まれている。
例えば、図5は、情報提示方法データ936の例であるが、識別番号が“1”の情報提示方法データ936は、ユーザPからユーザB宛のメールが情報提示装置90に送信されてきたときに、ユーザBが2F書斎40に居た場合、ユーザBの近くのスピーカ604を用いてメールの内容を音声で出力するという提示方法を示している。また、このデータは、メールの内容をスピーカ604から音声で出力している最中に、ユーザBに他のユーザが3m以内の距離に近づいてきた場合には、音声出力を中断するという提示方法を示している。また、このデータは、メールの内容をスピーカ604から音声で出力している最中に、ユーザが“終了”と発声することにより、音声出力を終了するという提示方法を示している。
【0024】
また、識別番号が“2”の情報提示方法データ936は、ユーザOからユーザA宛のメールを受信したときに、ユーザAの予測位置近くのLED80を点滅させるという提示方法を表している。また、このデータは、ユーザAが手振りの動作を行ったときに、LED80の点滅を終了させるという提示方法を示している。
【0025】
また、識別番号が“3”の情報提示方法データ936は、情報提示装置90がユーザA宛の株価変動を通知するメールを受信し、かつ、ユーザAに最も距離が近いユーザとの距離が3m以内の場合は、ユーザAの近くのLED80を点滅させて、株価情報が着信したことをユーザAに通知し、ユーザが“終了”と発声することにより、LED80の点滅を終了させるという提示方法を示している。
【0026】
識別番号が“4”の情報提示方法データ936は、情報提示装置90がユーザA宛に株価変動を通知するメールを受信し、かつユーザAが2F書斎40にいる場合は、ユーザAの近くのディスプレイ704を使って株価変動をグラフ表示し、当該ディスプレイ704に備えられた消去ボタンが押されたら、ディスプレイ704上のグラフ表示を消去するという提示方法を表している。
【0027】
また、識別番号が“5”の情報提示方法データ936は、情報提示装置90がユーザA宛の株価変動を通知するための音声データを受信し、かつ、ユーザAに最も距離が近いユーザとの距離が5m以上離れている場合は、ユーザAの近くのスピーカ60から株価変動の情報を音声によって出力し、他のユーザが3m以内に近づいたら情報提示を中断し、ユーザAが“終了”と発声したきにスピーカ60からの音声出力を終了するという提示方法を表している。
【0028】
また、識別番号が“6”の情報提示方法データ936は、情報提示装置90がユーザA宛の株価変動を通知するためのメールを受信し、かつ、ユーザAが歩いていた場合には、ユーザAの近くのLED80を点滅させ、“中断”という音声によってLED80の点滅を中断し、ユーザAの手振りによってLED80の点滅を終了するという提示方法を表している。
【0029】
また、識別番号が“7”の情報提示方法データ936は、情報提示装置90がユーザA宛の株価変動を通知するための音声データを受信し、かつ、ユーザAが歩いていた場合には、ユーザAの近くのスピーカ60から、株価変動情報の一部を音声出力、例えば、株価変動の音声データを15秒間のみ出力し、“中断”という音声によって、スピーカ60からの音声出力を中断し、“終了”という音声によって、スピーカ60からの音声出力を終了するという提示方法を表している。
【0030】
また、識別番号が“8”の情報提示方法データ936は、情報提示装置90がユーザA宛の株価変動を通知するための音声データを受信し、かつ、ユーザAが歩いていた場合には、ユーザAの近くのスピーカ60から株価変動の情報の要約のみを音声で出力し、“中断”という音声によって、スピーカ60からの音声出力を中断し、“終了”という音声によって、スピーカ60からの音声出力を終了するという提示方法を表している。
【0031】
また、識別番号が“9”の情報提示方法データ936は、情報提示装置90がユーザA宛の株価変動を通知するための音声データを受信し、かつ、ユーザAが座っていた場合には、ユーザAの近くのスピーカ60から株価変動の情報を音声で出力し、“中断”という音声によって、スピーカ60からの音声出力を中断し、“終了”という音声によって、スピーカ60からの音声出力を終了するという提示方法を表している。
【0032】
次に、提示方法優先関係データ937は、受信情報データの提示方法が2つ選択された場合に、優先して選択する提示方法を表すデータである。例えば、ユーザA宛の株価変動のメールを受信した場合に、ユーザAが2F書斎40に居て、かつ、他のユーザとの距離が3m以下であった場合には、識別番号が“3”と“4”の情報提示方法データ936が選択されるが、図6に示す提示方法優先関係データ937により、ディスプレイ70よりLED80の方が優先度が高いことが示されているため、識別番号“3”の情報提示方法データ936が選択され、ユーザAの近くのLED80を点滅させるという提示が行われる。
【0033】
また、プログラム938は、CPU91の制御のもと、センサ50よりユーザ位置データや動作等のデータを受信してユーザの状況を把握する機能を有する。また、プログラム938は、ユーザ宛に到着した情報である受信情報データを受信する機能を有する。また、プログラム938は、センサ50より受信したデータを基に、隣接関係データや予測位置データを算出し、ユーザ状況を把握する。また、プログラム938は、把握したユーザ状況を基に、受信情報データを提示するのに適した提示方法を選択し、選択された提示方法によって受信情報データを提示する機能を有する。
【0034】
[1.2.情報提示装置の機能]
以上説明した、情報提示装置90の構成によって、図7に示す機能が実現される。
以下、CPU91がプログラム938を実行することで情報提示装置90に実現される機能について、図7を参照して説明する。
図7において、出力機器管理手段94は、エリア内に設置されている受信情報の提示を行うスピーカ60、ディスプレイ70、LED80等の出力機器が利用可能か否かを管理する。出力機器管理手段94は、提示方法選択手段96に対して、出力機器が利用可能か否かを示す利用状況データを送信する。
【0035】
ユーザ状況把握手段95は、ユーザ位置予測部951と隣接関係把握部952とを備えており、センサ50から受信するデータと、地図データ931と、ユーザ位置履歴データ932とによって、ユーザの状況把握を行う。
ユーザ状況把握手段95は、センサ50より、ユーザの位置を表すユーザ位置データ、座る・寝る・歩く・発声等のユーザの動作を表す動作データを逐次受信する。ユーザ状況把握手段95は、センサ50より受信したユーザ位置データがどのエリア内に属しているかを地図データ931より判定することにより、ユーザの位置するエリアを表すエリア名データを決定する。また、ユーザ位置予測部951は、センサ50から受信したユーザ位置データと、ユーザ位置履歴データ932と、各エリアの構造を表す地図データ931とから、HMM(隠れマルコフモデル)の手法を用いて、ユーザの移動方向を推定し、ユーザが次に移動すると予測される位置を表す予測位置データを出力する。また、隣接関係把握部952は、受信した複数のユーザ位置データが表す3次元座標同士の差を算出することにより、複数のユーザ間の距離を算出する。そして、隣接関係把握部952は、特定のユーザと他のユーザとの距離を比較することにより、特定のユーザに最も距離が近い他のユーザを判定し、当該他のユーザ名と他のユーザ位置を表すデータ含んだ隣接関係データを算出する。
そして、ユーザ状況把握手段95は、ユーザ位置情報データ、動作データ、エリア名データ、予測位置データ及び隣接関係データを含んだ状況把握データを提示方法選択手段96に逐次送信する。
【0036】
提示方法選択手段96は、ユーザ状況把握手段95から受信した状況把握データと、受信情報管理手段97から受信した受信情報データと、出力機器管理手段94から受信した出力機器の利用状況データと、ハードディスク装置93に記憶されている情報提示方法データ936とにより、受信情報データの提示方法を選択し、選択された提示方法で受信情報を出力要求するためのデータを出力機器管理手段94に出力する機能を有する。
提示方法選択手段96は、提示方法登録手段961と優先関係登録手段962とを有している。提示方法登録手段961は、ユーザによって入力された情報提示方法データ936をハードディスク装置93に記憶する。優先関係登録利用手段962は、2つ以上の情報提示方法が選択された場合に、提示方法優先関係データ937を参照し、最優度が高い出力機器を有する提示方法を選択して情報提示を実行する。2つの出力機器間で優先度が指定されておらず情報提示方法の優先順位が付けられない場合には、複数の情報提示方法が同時に実行される場合もあり得る。
【0037】
受信情報管理手段97は、受信したメール等の受信情報データの提示状態を管理する。受信情報管理手段97は、実行状態把握部971と提示方法記録・参照部972を備えている。
実行状態把握部971では、受信情報データの提示状態に関する情報を管理している。具体的には、実行状態把握部971は、選択された提示方法の識別番号、起動された日時、実行された日時、中断された日時、完了された日時等の履歴情報や、受信情報データが音声データや動画データであった場合に、現時点までに受信情報データの提示がどこまで完了しているかを管理している。これにより、ユーザの状況が変化したことにより提示方法が変更されたり、また、情報提示の実行中に中断条件が成立したことにより情報提示が中断された場合であっても、受信情報データの提示がどこまで完了したかが実行状態把握部971により管理されているため、受信情報データの途中から提示を再開することが可能となる。
また、提示方法記録・参照部972は、実行状態把握部971で管理されているデータを情報提示履歴データ934としてハードディスク装置93に記憶したり、情報提示履歴データ934を情報提示装置90に備えられたディスプレイに表示する機能を有する。ユーザやシステム開発者が、ディスプレイに表示された情報提示履歴データ934を参照することで、各提示方法の実行頻度や起動、実行、中断、完了に関する情報を知ることができ、情報提示方法データ936を新たに追加したり、提示方法の起動条件や中断条件等の各種条件を修正したりすることができる。
【0038】
[1.3.情報提示システムの機能]
次に、図8を参照して、情報提示システム1が備える機能を説明する。
まず、受信情報管理手段97は、ネットワーク3を介して、情報提供サーバ装置4より受信情報データを受信する(ステップS101)。
受信情報管理手段97は、受信情報データを提示方法選択手段96に送信する。提示方法選択手段96は、受信情報データを受信し、当該受信情報データと、ユーザ情報把握手段95から逐次受信する状況把握データと、出力機器管理手段94から逐次受信する利用状況データとを基に、情報提示方法を選択して起動する(ステップS102)。具体的には、提示方法選択手段96は、受信情報データが、起動条件データに含まれる受信情報条件データに合致する情報提示方法データ936を抽出する。そして、提示方法選択手段96は、抽出した情報提示方法データ936に含まれている出力機器条件データで指定される出力機器が利用可能か否かを、出力機器管理手段94から逐次受信する利用状況データによって判断する。提示方法選択手段96は、受信した利用状況データが“利用可能”を表していることにより、指定された出力機器が利用可能と判断した場合には、抽出された情報提示方法データ936で表される情報提示方法を起動する。ここで、「起動」とは、提示方法選択手段96が、抽出された情報提示方法データ936で表される情報提示方法を実行するための要求を優先関係登録利用手段962に送信することにより、選択された提示方法を実行可能な状態とすることをいう。
【0039】
次に、優先関係利用手段962は、ステップS102において複数の情報示方法が起動された場合に、ハードディスク装置93に記憶されている提示方法優先関係データ937を読み出して、複数の情報提示方法の優先関係を判定することにより、情報提示方法の選択を行う(ステップS103)。
【0040】
優先関係登録利用手段962は、選択された情報提示方法で表される出力機器に対して、指定された提示方法で受信情報データを提示することを要求するためのデータを送信する。出力機器は、当該データを受信し、情報提示の実行を開始し(ステップS104)、実行を継続する(ステップS105)。具体的には、情報提示方法が、画像表示である場合には、ディスプレイ70は受信情報データを表す画像を表示し続け、音声データによる提示の場合には、スピーカ60より音声データをリピート再生し続け、LED80の点滅によって受信情報データが到着したことを報知するのみの場合には、LED80を点滅し続ける。
【0041】
提示方法選択手段96は、情報提示の実行を継続している間、選択された提示方法の中断条件が成立するか否かを判定する(ステップS106)。具体的には、提示方法選択手段96は、ユーザ状況把握手段95から逐次受信する状況把握データが、選択された情示方法に対応する情報提示方法データ936に含まれる中断条件データと一致するか否かを判定する。一致した場合には、中断条件が成立する。
中断条件が成立した場合には(ステップS106;Yes)、提示方法選択手段96は、現在の選択された提示方法による提示を中断し、受信情報データとユーザ状況把握手段95から受信した状況把握データとが、起動条件データに該当する情報提示方法データ936を抽出する。そして、提示方法選択手段96は、受信情報管理手段97で管理されている、受信情報データの提示がどこまで終了しているかを表すデータを参照して、受信情報データの提示が中断した箇所から、抽出された情報提示方法データ936で表される情報提示方法による情報提示方法を再開する(ステップS102)。
中断条件が成立しない場合には(ステップS106;No)、提示方法選択手段96は、完了条件が成立しているか否かを判定する(ステップS107)。具体的には、提示方法選択手段96は、ユーザ状況把握手段95から逐次受信する状況把握データが、情報提示方法データ936に含まれる完了条件データと一致するか否かを判定する。一致した場合には、完了条件が成立する。
完了条件が成立している場合には(ステップS107;Yes)、提示方法選択手段96は情報提示を終了する。具体的には、情報提示方法が、画像表示である場合には、ディスプレイ70は受信情報データを表す画像を消去し、音声データによる提示の場合には、スピーカ60からの音声データの出力を停止し、LED80の点滅によって受信情報データが到着したことを報知するのみの場合には、LED80の点滅を中止する。完了条件が成立していない場合には(ステップS107;No)、提示方法選択手段96は情報提示の実行を継続する。
【0042】
[2.動作]
次に、上記構成における実施形態の動作について説明する。
前提として、提示方法登録手段961により、情報提示装置90のハードディスク装置93に、図5に示す情報提示方法データ936が記憶されているものとする。
また、提示方法優先関係データ937には、図6に示すように、スピーカ60やディスプレイ70よりLED80による情報提示を優先するデータが記憶されているものとする。
また、出力機器管理データ935は、以下で説明するステップS102を実行する際に、図4に示すデータ内容であるものとする。
【0043】
まず、家屋2の住人であるユーザAは、屋外から家屋2に入り、家屋2の1F玄関10に設置されているユーザ登録用PC100に、自己を識別するためのユーザIDを入力する。
ユーザ登録用PC100は、入力されたユーザIDを表すユーザIDデータを、センサ5011に送信する。センサ5011は、カメラで撮影した画像を解析して、ユーザAの像を認識する。そして、センサ5011は、ユーザAの像と受信したユーザIDデータとを対応づける。以後、センサ50は、ユーザAの像とユーザIDとを対応づけてユーザAの像を追跡しながら、ユーザAの像の画像の差分からユーザAのユーザ位置データとユーザAの動作を表す動作データを逐次解析、算出する。センサ501は、ユーザ位置データと動作データとを、逐次、情報提示装置90に送信する。
【0044】
[2.1.実施例1]
ユーザAが2F書斎40に入り、ユーザBがユーザAと3m以内の距離に位置しているときに、ユーザA宛の株価変動データを情報提示装置90が受信したときの動作を、図8を参照して説明する。
この実施例では、情報提示の実行が継続されている最中に、ユーザAが“終了”と発声するものとする。
まず、受信情報管理手段97は、ユーザA宛の株価変動データを受信する(ステップS101)。
受信情報管理手段97は、株価変動データを提示方法選択手段96に送信する。提示方法選択手段96は、株価変動データを受信し、株価変動データとユーザ状況把握手段95より受信した状況把握データとが、起動条件データに含まれる受信情報条件データに合致する情報提示方法データ936を抽出し、さらに抽出された情報提示方法データ936で指定される出力機器が使用可能である情報提示方法データ936を抽出する。ここでは、受信情報データが、ユーザA宛の株価変動データであり、状況把握データが、ユーザAは2F書斎40におり、かつユーザAの3m以内の距離に他のユーザBが存在しており、ユーザの近くのディスプレイ704とLED804が利用可能であるという条件のため、情報提示方法データ936のうち、識別番号“4”で識別される、ディスプレイ704を使って株価の変化をグラフ表示する情報提示方法と、識別番号“3”で識別される、LED803を点滅させることによって、株価変動データの着信があったことをユーザAに伝える情報提示方法が起動される(ステップS102)。
【0045】
次に、優先関係利用手段962は、提示方法優先関係データ937を基に、複数の情報提示方法の優先関係を判定することにより、情報提示方法の選択を行う(ステップS103)。ここでは、提示方法優先関係データ937には、図6に示すように、ディスプレイ70よりLED80を使用する提示方法を優先するデータが記憶されているため、ディスプレイ704を使用する識別番号“4”の情報提示方法は選択されずに、LED804を使用する識別番号“3”の情報提示方法が選択される。
【0046】
優先関係登録利用手段962は、LED804に対して、LED804を点滅させることを要求するためのデータを送信する。LED804は、当該データを受信し、LED804の点滅を開始し(ステップS104)、LED804の点滅を継続する(ステップS105)。
【0047】
提示方法選択手段96は、LED804の点滅を継続している間、選択された提示方法の中断条件が成立するか否かを判定する(ステップS106)。ここでは、識別番号“3”の情報提示方法データ936は、中断条件データが指定されていないため、中断条件は成立しない(ステップS106;No)。
中断条件が成立しない場合には、提示方法選択手段96は、完了条件が成立しているか否かを判定する(ステップS107)。
ここで、上述した前提の通り、ユーザAが“終了”と発声すると、センサ5042が当該音声を受信して音声信号に変換し、当該音声信号から“終了”という発話を認識する。そして、センサ5042は、“終了”という発話を認識したことを表すデータを情報提示装置90に送信する。情報提示装置90のユーザ状況把握手段95は、センサ5042より当該データを受信し、当該データを含んだ状況把握データを提示方法選択手段96に送信する。提示方法選択手段96は、受信した状況把握データが、識別番号“3”の情報提示方法データ936に含まれる完了条件データに該当するため、完了条件が成立したと判断し(ステップS107;Yes)、LED804に対して点滅の終了を要求するための情報を送信し、処理を終了する。
【0048】
[2.2.実施例2]
次に、ユーザA宛の株価変動を表す情報を受信した際に、ユーザAは1Fリビング20におり、ユーザAと最も近い位置にいるユーザBとの距離が6mであり、かつ、ユーザAの近くのスピーカ602が利用可能であり、かつ受信情報データの提示を実行している途中でユーザBがユーザAに3m以内の距離に近づいてきた場合の動作を説明する。
【0049】
まず、受信情報管理手段97は、ネットワーク3を介して、情報提供サーバ4よりユーザA宛の株価変動に関する音声データを受信し(ステップS101)、提示方法選択手段96に送信する。
ここでは、提示方法選択手段96は、ユーザ状況把握手段95より、ユーザAは1Fリビング20に居り、最も近い他のユーザとの距離が5m以上であることを表す状況把握データを受信しているため、識別番号“5”の情報提示方法データ936で表される提示方法を抽出する。そして、提示方法選択手段96は、抽出された識別番号“5”の情報提示方法データ936に含まれている出力機器条件データで指定されているユーザA近くのスピーカ602が利用可能か否かを、出力機器管理手段94から逐次受信するスピーカ602の利用状況データによって判断する。図4より、スピーカ602の利用状況データは“利用可能”を表しているため、スピーカ602は利用可能と判断され、抽出された情報提示方法データ936に含まれる提示方法データで表される音声読み上げという提示方法を起動する(ステップS102)。ここでは、起動された提示方法が、複数ではなく、スピーカ602より音声読み上げという提示方法のひとつであるため、優先関係利用手段962は、提示方法に優先順位を付けるまでもなく、音声読み上げという提示方法を選択し(ステップS103)、スピーカ602に対して、株価変動の音声データを送信する。スピーカ602は、受信した音声データをデジタルからアナログに変換し、音声の再生を開始し(ステップS104)、再生を継続する(ステップS105)。
【0050】
前述の前提の通り、スピーカ602から株価変動の音声データが出力されている間に、ユーザAにユーザBが3mの距離に近づいてきたものとする。
ユーザ状況把握手段95は、センサ5021から受信するデータを基に、“3m”を表す隣接関係データを算出し、当該隣接関係データを含んだ状況把握データを提示方法選択手段96に送信する。提示方法選択手段96は、ユーザ状況把握手段95から受信する状況把握データが、識別番号“5”の情報提示方法データ936に含まれる中断条件データと一致するか否かを判定する(ステップS106)。
ここでは、識別番号“5”の情報提示方法データ936に含まれる、他ユーザとの距離が3m以下であるという中断条件データと一致するため(ステップS106;Yes)、提示方法選択手段96は、現在のスピーカ602から株価変動の音声データを出力するという提示方法を中断する。そして、提示方法選択手段96は、他の提示方法により提示するために、以下の処理を行う。すなわち、提示方法選択手段96は、株価変動データとユーザ状況把握手段95から受信した状況把握データとが、起動条件データに該当する情報提示方法データ936を検索する。ここでは、ユーザA宛の株価変動データであるという受信情報条件データを有し、かつ、他ユーザとの距離が3m以内であるという起動条件データを有するデータは、識別番号“3”の情報提示方法データ936であるため、提示方法選択手段96は、識別番号“3”の情報提示方法データ936を抽出し、当該データに含まれる提示方法データで表されるLED点滅という提示方法を起動し(ステップS102)、以下、上記と同様にステップS103からの処理を行う。
【0051】
このように、情報提示方法データ936をユーザのニーズに合わせて情報提示装置90に登録しておくことで、受信情報データの種類や、ユーザの様々な状況(ユーザの移動方向・他のユーザとの距離・ユーザの動作(歩行、座る等)等)に応じて、ユーザに受信情報データを提示する方法(起動条件、中断条件、完了条件や、提示方法を実行するための出力機器等)をきめ細かに制御できる。
これにより、ユーザが家屋2内でどのような状況であっても、ユーザに対して快適な情報提示の環境を提供することができる。
【0052】
[3.変形例]
本発明は上述した実施形態に限定されず、以下のような種々の変更が可能である。
(1)上記実施形態においては、一般家庭の家屋2に情報提示システム1を構築したとして説明したが、家屋2に限定されず、例えば、高層ビルや病院でもよい。
また、上記実施形態においては、情報提示装置90は、情報配信サーバ装置4より音声データや電子メールを受信することとしたが、受信情報データはこれに限定されない。例えば、情報提示装置90は、携帯電話機から着呼を受信してもよい。
また、上記実施形態における出力機器は、スピーカ603、ディスプレイ703、LED803以外にも、例えば、テレビ電話を使用してもよい。
また、上記実施形態においては、情報提示装置90は、2F書斎40に設けたが、これは、一例であり、例えば、1F玄関10に設置しても、家屋2の外に設けてもよい。
【0053】
(2)上記実施形態においては、ユーザの動作やユーザ位置を認識するためのセンサ50としてカメラを用いたが、これは一例である。例えば、ユーザに無線タグ(RFID;Radio Frequency Identification)を携帯させることによって、ユーザ位置を認識してもよい。また、磁気センサやGPS(Global Positioning Systems)を用いることもできる。
【0054】
(3)上記実施形態においては、HMMの手法を用いて、ユーザの移動方向を推定し、ユーザ位置の予測位置を算出したが、ユーザ位置を予測する方法は、最適な方法を用いることができる。例えば、ファジィ理論を用いてもよい。
【0055】
【発明の効果】
以上説明した通り、ユーザの状況に応じて、ユーザに情報を提示する方法をきめ細かに制御できる。
【0056】
【図面の簡単な説明】
【図1】本発明の実施形態に係る情報提示システムの構成を説明するための図である。
【図2】同実施形態に係る情報提示装置のハードウェア構成を示すブロック図である。
【図3】同実施形態に係るユーザ状況把握データのデータ構成を示す図である。
【図4】同実施形態に係る出力機器管理データのデータ構成を示す図である。
【図5】同実施形態に係る情報提示方法データのデータ構成を示す図である。
【図6】同実施形態に係る提示方法優先関係データのデータ構成を示す図である。
【図7】同実施形態に係るCPUがプログラムを実行することにより実現される情報提示システムの機能を説明するための図である。
【図8】同実施形態に係る情報提示の流れを説明するためのフローチャートである。
【符号の説明】
1……情報提示システム、2……家屋、3……ネットワーク、4……情報配信サーバ装置、10……1F玄関、20……1Fリビング、30……1F寝室、40……2F書斎、50、501、5011、5012、502、5021、5022、503、5031、5032、504、5041、5042……センサ、60、601、602、603、604……スピーカ、70、701、702、703、704……ディスプレイ、80、801、802、803、804……LED、90……情報提示装置、91……CPU、92……通信インターフェース、93……ハードディスク装置、931……地図データ、932……ユーザ位置履歴データ、933……ユーザ状況把握データ、934……情報提示履歴データ、935……出力機器管理データ、936……情報提示方法データ、937……提示方法優先関係データ、938……プログラム。
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a technique for presenting information received by communication.
[0002]
[Prior art]
There are the following three conventional methods for presenting information arriving by incoming e-mail, incoming telephone call, or push-type communication using devices around the user.
The first is a method using a mobile terminal. This method is widely practiced in a mobile phone which is a typical mobile terminal. In a mobile phone, the arrival of information is notified to the user by at least one of sound, vibration and light. The user receiving this notification can start a telephone call or read an e-mail by operating the mobile phone at hand.
Second, an information processing device such as a personal computer stores and manages the position of an output device that outputs information, and determines an output device to be used for outputting arriving information according to the position of the user detected by the sensor. Then, the information is output from the determined output device. For example, when the sensor detects that a speaker / display is present near the user, the arrived information is presented by voice / image from the speaker / display (for example, see Non-Patent Documents 1 and 2).
A third method is to present information such as an e-mail arriving at a personal computer to a user by selecting the most suitable method in consideration of current and past user situations (for example, see Patent Document 1). . In this method, the personal computer executes a process for grasping the situation, and thereby records the history of the user's situation (current and past device usage, current and past locations, the noted location, and the relevant location). (Attention time, attention position, and attention time). Next, the personal computer selects the most suitable information presenting means based on the history of the user's situation, and selects one device that can be used for information presentation based on the current situation of the user. .
[0003]
[Non-patent document 1]
J. Bacon, J .; Bates, and D.S. Halls, "Location-oriented multimedia", IEEE Personal Communications, Vol. 4, No. 5, pp. 48-57, 1997
[Non-patent document 2]
Satoshi Ota, Takashi Yoshikawa, Tomohiro Nakagawa, Yoshinori Isoda, Toshiaki Sugimura: Mobile Multimedia Middleware for Seamless Service Realization, Jikken Kenho MBL-18, Vol. 2001, no. 83 pp. 261-268 (2001. 9)
[Patent Document 1]
JP-A-2002-268787
[0004]
[Problems to be solved by the invention]
However, the first method has a problem when the mobile terminal is not carried by the user. For example, when information arrives when the user leaves the portable terminal on the charger at home, it is difficult for the user to know the arrival. Further, even when the portable terminal is carried by the user, the presentation method of the arrived information is uniform, and the presentation suitable for the situation where the user is placed is not performed.
These problems do not arise with the second method. However, in the second method, when information that the user and another person do not want to disclose to another person arrives near the output device, the information is presented from this output device (for example, a speaker). I will. This leads to unintended information leakage.
In order to avoid such information leakage, the applicant of the present application considered that a technique for grasping the situation of the user in more detail and presenting the information in a detailed manner was necessary, and investigated patent documents. However, according to the third method disclosed in Patent Document 1 hit in this survey, it is still impossible to present information with sufficient detail to avoid information leakage.
The present invention has been made in view of the above problems, and has as its object to provide a technology capable of presenting information in a more detailed manner according to the situation of a user.
[0005]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, the present invention provides a user situation grasping information for grasping a situation of a user located in a section based on inputting data representing a situation in a specific section and based on the data. Calculating means, a receiving means for receiving the transmitted information addressed to the user, and a presentation storing a plurality of presentation method information indicating a method of presenting the information received by the receiving means to the user. Method storage means, activation means for requesting presentation of the information received by the receiving means in a presentation method represented by the presentation method information stored by the presentation method storage means, and storage by the presentation method storage means. When the presentation of the information received by the receiving unit is being performed in the presentation method represented by the presentation method information, the execution is interrupted, and the presentation of the information by another presentation method is performed. Suspending means for requesting, and completing means for ending the execution when the information received by the receiving means is being presented in the presentation method represented by the presentation method information stored in the presentation method storage means Condition information storage means for storing a plurality of condition information representing conditions for executing the activation means, conditions for interrupting the interruption means, and conditions for executing the completion means, information received by the reception means, A presentation method selecting means for selecting condition information from the condition information storage means in accordance with the user situation grasp information calculated by the user situation grasping means; and the activation means in accordance with the condition information selected by the presentation method selecting means. And an execution unit that executes the interruption unit or the termination unit.
[0006]
Also, the present invention provides a user situation grasping step of inputting data representing a situation in a specific section and calculating user situation grasping information for grasping a situation of a user located in the section based on the data. A receiving step of receiving the transmitted information addressed to the user; a presentation method storing step of storing a plurality of presentation method information representing a method of presenting the information received in the receiving step to the user; Selecting a presentation method represented by the presentation method information stored in the presentation method storage step in accordance with the information received in the step and the user situation grasp information calculated in the user situation grasp step; A step of selecting whether to start, suspend, or complete the presentation of the information according to the above, and in the selecting step, the start is selected. Requesting the presentation of the information in the presentation method represented by the presentation method information, and suspending the presentation of the information in the presentation method when interruption is selected, Requesting the presentation of the information in the presentation method by selecting the presentation method, and ending the presentation of the information in the presentation method when the end is selected. An information presentation method is provided.
[0007]
Also, the present invention provides a computer which inputs data representing a situation in a specific section and calculates user situation grasp information for grasping the situation of a user located in the section based on the data. Status grasping means, receiving means for receiving the transmitted information addressed to the user, and presentation method storage means for storing a plurality of presentation method information representing a method of presenting the information received by the receiving means to the user; Starting means for requesting presentation of the information received by the receiving means in a presentation method represented by the presentation method information stored by the presentation method storage means; and presentation method information stored by the presentation method storage means. When the presentation of the information received by the receiving means is being executed by the presented presentation method, the execution is interrupted, and the presentation of the information by another presentation method is requested. Disconnecting means, and completion means for ending the execution when the presentation of the information received by the receiving means in the presentation method represented by the presentation method information stored by the presentation method storage means, Condition information storage means for storing a plurality of condition information indicating conditions for executing the activation means, conditions for interrupting the interruption means, and conditions for executing the completion means; information received by the reception means; A presentation method selecting means for selecting condition information from the condition information storage means in accordance with the user situation grasp information calculated by the grasp means; A program is provided for causing the program to function as an interrupting unit or an executing unit that executes the ending unit.
[0008]
According to the invention, the information presentation system selects a presentation method represented by the presentation method information according to the received information addressed to the user and the user situation grasping information, and Choose to launch, interrupt, or complete the presentation. The information presentation system requests the presentation of the information in a presentation method represented by the presentation method information when activation is selected, and when the interruption is selected, the information in the presentation method Suspends the execution of the presentation of the information, requests the presentation of the information by the other presentation method by selecting another presentation method, and when the end is selected, the execution of the presentation of the information by the presentation method To end.
[0009]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[1. Constitution]
FIG. 1 is a diagram for explaining a configuration of an information presentation system 1 according to an embodiment of the present invention. This information presentation system 1 is built in a house 2 of a general household. The information presentation system 1 also includes an information distribution server device 4, which is installed in the house 2 via the network 3 and a cable (not shown) in the house 2. Connected to an information presentation device 90 which is a personal computer.
The house 2 is divided into four sections (areas), and a entrance 10, a living 20, a bedroom 30, and a study 40 are provided on the first and second floors, respectively.
[0010]
The 2F study 40 includes a sensor 504 for recognizing the position and movement of a person in the 2F study 40, an output device for presenting reception information data such as an e-mail received from the information distribution server device 4, and a chair. And furniture such as desks. As the output device, a speaker 604, a display 704, an LED (Light Emitting Diode) 804, and an information presentation device 90 are installed.
The information presentation device 90 is connected to the sensor 504, the speaker 604, the display 704, and the LED 804 via a cable (not shown).
The information presentation device 90 has a function of receiving an e-mail and various information addressed to a resident of the house 2 (hereinafter, referred to as “user”) from the information distribution server device 4 via the network 3. Also, the information processing apparatus 90 outputs the received information from the output device based on the information (position information, operation, and the like) about the user received from the sensor 504, and transmits the received information to the user. It is determined whether to present the information, and information is presented from the output device according to the determined presentation method.
[0011]
The sensor 504 includes a sensor 5041 for detecting the position and movement of the user, and a sensor 5042 for performing voice recognition. The data input to and analyzed by the sensor 504 is sequentially transmitted to the information presentation device 90.
The sensor 5041 includes a plurality of cameras for capturing an image covering the entire area in the area of the 2F study 40, and an image analysis unit for processing and analyzing images captured by the plurality of cameras. The image analysis unit recognizes a human image by calculating a difference due to a time change of image data captured by the camera. Then, the image analysis unit calculates position data representing the position of the person from the difference between the calculated image data, the position and orientation of the camera stored in advance, and data representing the spatial coordinates in the area. The image analysis unit identifies a human motion from the difference between the calculated image data. For example, when there is a periodic difference change in the upper part of the image of the person, the image analysis unit determines that the person is waving. The image analysis unit determines that the person is sleeping when there is no change in the difference between the images and the image of the person is recognized to be long in the horizontal direction.
[0012]
The sensor 5042 includes a microphone for inputting a user's voice, and a voice recognition unit for recognizing voice data input from the microphone. The microphone converts the input user's voice into an electric signal. The voice recognition unit analyzes the frequency of the electric signal over time and extracts data corresponding to the frequency from data for a voice recognition dictionary stored in advance, thereby recognizing the input user voice. Do.
[0013]
The speaker 604, the display 704, and the LED 804 are output devices for presenting the received information data received by the information presenting device 90 in a selected presentation method.
[0014]
Next, the area of the first floor entrance 10 will be described. At the entrance 10, a sensor 501 having a sensor 5011 for recognizing a position and a sensor 5012 for recognizing voice, a speaker 601, a display 701, an LED 801 and a user registration personal computer (hereinafter, referred to as "user registration PC") 100 are installed. I have. The user registration PC 100 is connected to the sensor 501 via a cable (not shown).
A user ID for identifying the user is input to the user registration PC 100 by the user. The user registration PC 100 performs a process of associating the user ID data representing the input user ID with the position data of the image of the person detected by the sensor 5011.
The user registration PC 100 has a function of receiving user ID data input from an input unit such as a keyboard and transmitting the user ID data to the sensor 5011. The sensor 5011 receives the user ID data, associates the user ID data with the position data of the image of the user who is inputting the user ID in front of the user registration PC 100, and detects a change in the position of the image of the user over time. Chase.
[0015]
In the area of the 1F living room 20, a sensor 502 having a sensor 5021 for recognizing a position and a sensor 5022 for recognizing a voice, a speaker 602, a display 702, and an LED 802 are provided in the same manner as the other areas. Tables, chairs and refrigerators are provided.
In the 1F bedroom 30, similarly to the other areas, a sensor 503, a speaker 603, a display 703, and an LED 803 are installed, and a bed is installed.
[0016]
The output devices installed in each of the above areas have the same functions and configurations. Therefore, in the following description, the same reference numerals are used as the sensor 50, the speaker 60, the display 70, and the LED 80, unless otherwise specified. Will be described.
[0017]
[1.1. Information presentation device]
Hereinafter, the information presentation device 90 will be described in detail.
FIG. 2 is a block diagram showing a hardware configuration of the information presentation device 90.
The information presentation device 90 has a CPU 91, a communication interface 92, and a hard disk device 93, and these are connected by a bus. The CPU 91 controls each unit of the device. The communication interface 92 receives received information data such as e-mail and voice data from the information distribution server device 4 via the network 3, receives various data such as the position and operation of the user from the sensor 50, and outputs various data. It is a relay device for transmitting reception information data to the devices 60, 70, and 80.
[0018]
The hard disk device 93 stores map data 931, user position history data 932, user status grasp data 933, information presentation history data 934, output device management data 935, information presentation method data 936, presentation method priority relationship data 937, and a program 938. are doing.
The map data 931 is map data for indicating the size of each area (1F entrance 10, 1F living 20, 1F bedroom 30, and 2F study 40) in the house 2, the arrangement of objects such as furniture, and entrances and exits. Specifically, the map data 931 includes three-dimensional coordinate data representing a space area occupied by each area, and three-dimensional coordinate data representing positions where furniture, sensors 50, output devices, and entrances are arranged. ing.
[0019]
The user position history data 932 is a history of the user position data detected by the sensor 50. Here, the user position data is three-dimensional coordinate data detected by the sensor 50.
[0020]
The user situation grasp data 933 is data for grasping the situation of the user. As shown in FIG. 3, the user status grasping data 933 includes user position data, operation data, area name data, predicted position data, and adjacent relation data. The motion data represents the motion of the user such as sitting / sleeping / walking, hand gesture, utterance, and the like. The area name data indicates the name of the area where the user is located. The predicted position data is data representing three-dimensional coordinates of a position where the user is predicted to move next from the position at the current time. The adjacency relationship data is data representing the user name of another user located closest to the user and user position data of the other user. The user status grasping data 933 is sequentially updated by data sequentially transmitted from the sensor 50.
[0021]
The information presentation history data 934 includes received reception information data and history data for managing the status of presentation of the reception information data to the user. Specifically, the information presentation history data 934 includes data representing the date and time at which the received information data was received, data representing the selected presentation method, data representing the date and time when the presentation was started, executed, suspended, and terminated, When the data indicating the presentation state and the reception information data are audio data or moving image data, the data includes the data indicating how far the presentation of the reception information data has been completed up to the present.
[0022]
The output device management data 935 is data for managing the speaker 60, the display 70, and the LED 80, which are output devices for outputting the received information data in the selected presentation method. Specifically, as shown in FIG. 4, the output device management data 935 includes device name data indicating the name of the output device, installation location data indicating the installation location, and area name indicating the area where the output device is installed. Data and usage status data indicating usage status are included. The installation location data is data representing three-dimensional coordinates of the location where the output device is installed. The three-dimensional coordinates are, for example, the center coordinates of a circumscribed circle on the bottom surface of the output device. When the output device is out of order, the power is turned off, or the information is being output, the usage status data indicates "unusable" and the output device can output the information. In this case, the contents of “available” are shown. Information on whether or not the output device is available is sequentially transmitted from the output device to the information presenting device 90, and the information presenting device 90 updates the usage status data included in the output device management data 935. Further, the position information data of the output device is sequentially transmitted from the sensor 50 to the information presentation device 90, and the installation location data and the area name data included in the output device management data 935 are updated. Therefore, the contents of the output device management data 935 are immediately updated according to a change such as moving the output device or turning off the power.
[0023]
The information presentation method data 936 is data representing conditions for starting, suspending, and completing the presentation method of the reception information data. Specifically, as shown in FIG. 5, the information presentation method data 936 includes start condition data representing a start condition, interruption condition data representing an interruption condition, completion condition data representing a completion condition, and a presentation method representing a presentation method. Contains data.
The start condition data is output device condition data when the reception information data and the situation grasp data received and calculated from the sensor 50 correspond to the reception information condition data and the situation grasp information condition data represented by the data. This is data representing conditions for transmitting a request to output using the presentation method represented by the presentation method data using the represented output device. The data indicating the activation condition includes reception information condition data indicating from whom to whom the data indicating what kind and content is received, condition grasping condition data for grasping the situation of the user, and reception information. And output device condition data representing an output device for outputting the data in the presentation method represented by the presentation method data. The reception information condition data includes information type data indicating the type of reception information such as mail and voice data, information content data indicating the content of the reception information, transmission source information data indicating a transmission source of the reception information, and a transmission destination of the reception information. And destination information data representing the destination information. The situation grasp information condition data is data representing the situation of the user. Specifically, the condition grasping information condition data includes a condition of a user position, a condition of a user operation, a condition of an area name where the user is located, a condition of a predicted position of the user, and a position closest to the user. It contains data representing the conditions of the located user.
The interruption condition data is data representing a condition for interrupting the information presentation while the reception information data is being presented by the presentation method specified by the presentation method data. The interruption condition data includes situation grasp condition data. Here, “interruption” is a concept based on the premise that the information presentation interrupted by the interruption condition is restarted later from the interrupted point.
The completion condition data is data representing a condition for completing the presentation while the reception information data is being presented by the presentation method specified by the presentation method data. Here, “completion” is a concept on the premise that information presentation interrupted by a completion condition is not restarted. The completion condition data includes the situation grasping condition data, similarly to the interruption condition data.
For example, FIG. 5 shows an example of the information presentation method data 936. The information presentation method data 936 having the identification number “1” is generated when the mail addressed to the user B from the user P is transmitted to the information presentation apparatus 90. 2 shows a presentation method in which, when the user B is in the 2F study 40, the content of the mail is output by voice using the speaker 604 near the user B. Also, this data is presented in such a manner that the voice output is interrupted when another user approaches the distance of less than 3 m to the user B while the content of the mail is being output by voice from the speaker 604. Is shown. Further, this data indicates a presentation method in which the voice output is ended by the user saying “end” while the contents of the mail are being output by voice from the speaker 604.
[0024]
The information presentation method data 936 having the identification number “2” indicates a presentation method of blinking the LED 80 near the predicted position of the user A when receiving a mail addressed to the user A from the user O. This data also indicates a presentation method in which the blinking of the LED 80 is terminated when the user A performs a hand gesture.
[0025]
The information presenting method data 936 having the identification number “3” indicates that the information presenting device 90 receives the mail notifying the stock price fluctuation addressed to the user A, and the distance to the user closest to the user A is 3 m. If not, the LED 80 near the user A blinks to notify the user A that the stock price information has arrived, and the user speaks “end” to stop the blinking of the LED 80. Is shown.
[0026]
The information presenting method data 936 having the identification number “4” indicates that the information presenting device 90 receives a mail notifying the stock price fluctuation to the user A and the user A is in the 2F study 40 when the user A is in the 2F study 40. This shows a presentation method in which the stock price fluctuation is displayed in a graph using the display 704, and when the delete button provided on the display 704 is pressed, the graph display on the display 704 is deleted.
[0027]
The information presenting method data 936 having the identification number “5” indicates that the information presenting device 90 receives the audio data for notifying the user A of the stock price fluctuation, and the information presenting method data 936 indicates that the user A is closest to the user. When the distance is 5 m or more, the information of the stock price fluctuation is output by voice from the speaker 60 near the user A, and when another user approaches within 3 m, the information presentation is interrupted, and the user A determines that "end". This represents a presentation method in which the sound output from the speaker 60 is terminated when the user speaks.
[0028]
Further, the information presentation method data 936 having the identification number “6” indicates that the information presentation device 90 receives the mail for notifying the stock price fluctuation addressed to the user A and the user A is walking when the user A is walking. This indicates a presentation method in which the LED 80 near A is blinked, the blinking of the LED 80 is interrupted by the voice of “interruption”, and the blinking of the LED 80 is ended by the hand of the user A.
[0029]
Also, the information presentation method data 936 having the identification number “7” indicates that the information presentation device 90 receives voice data for notifying the stock price change addressed to the user A and that the user A is walking. From the speaker 60 near the user A, a part of the stock price fluctuation information is output as voice, for example, the voice data of the stock price fluctuation is output only for 15 seconds, and the voice output from the speaker 60 is interrupted by the voice of “pause”. The presentation method of terminating the sound output from the speaker 60 is indicated by the sound “end”.
[0030]
Also, the information presentation method data 936 having the identification number “8” indicates that, when the information presentation device 90 receives the voice data for notifying the stock price fluctuation addressed to the user A and the user A is walking, From the speaker 60 near the user A, only the summary of the information on the stock price fluctuation is output by voice, the voice output from the speaker 60 is interrupted by the voice of “interruption”, and the voice from the speaker 60 is output by the voice of “end”. This indicates a presentation method of terminating the output.
[0031]
Further, the information presentation method data 936 having the identification number “9” indicates that the information presentation device 90 receives the voice data for notifying the stock price change addressed to the user A, and the user A is sitting. The information of the stock price fluctuation is output by voice from the speaker 60 near the user A, the voice output from the speaker 60 is interrupted by the voice of “interruption”, and the voice output from the speaker 60 is ended by the voice of “end”. It shows the presentation method of doing.
[0032]
Next, the presentation method priority relationship data 937 is data indicating a presentation method to be preferentially selected when two presentation methods of the reception information data are selected. For example, if the user A receives a stock price fluctuation mail addressed to the user A, and the user A is in the 2F study 40 and the distance to another user is 3 m or less, the identification number is “3”. And the information presentation method data 936 of “4” are selected. Since the presentation method priority relationship data 937 shown in FIG. 6 indicates that the LED 80 has a higher priority than the display 70, the identification number “ The information presentation method data 936 of 3 ″ is selected, and a presentation is made to blink the LED 80 near the user A.
[0033]
Further, the program 938 has a function of receiving user position data and data such as operation from the sensor 50 and grasping the situation of the user under the control of the CPU 91. Further, the program 938 has a function of receiving reception information data that is information arriving at the user. Further, the program 938 calculates the adjacency data and the predicted position data based on the data received from the sensor 50, and grasps the user situation. In addition, the program 938 has a function of selecting a presentation method suitable for presenting the reception information data based on the grasped user situation, and presenting the reception information data according to the selected presentation method.
[0034]
[1.2. Function of information presentation device]
The function shown in FIG. 7 is realized by the configuration of the information presentation device 90 described above.
Hereinafter, a function realized in the information presentation device 90 by the CPU 91 executing the program 938 will be described with reference to FIG.
In FIG. 7, an output device management unit 94 manages whether or not output devices such as a speaker 60, a display 70, and an LED 80 that are provided in the area and present reception information are available. The output device management unit 94 transmits, to the presentation method selection unit 96, usage status data indicating whether or not the output device is available.
[0035]
The user situation grasping means 95 includes a user position predicting section 951 and an adjacent relation grasping section 952, and grasps the situation of the user based on data received from the sensor 50, map data 931 and user position history data 932. Do.
The user situation grasping means 95 sequentially receives, from the sensor 50, user position data indicating the position of the user, and operation data indicating the user's operation such as sitting, sleeping, walking, and speaking. The user situation grasping means 95 determines area name data representing an area where the user is located by determining from the map data 931 which area the user position data received from the sensor 50 belongs to. Further, the user position prediction unit 951 uses the HMM (Hidden Markov Model) method from the user position data received from the sensor 50, the user position history data 932, and the map data 931 representing the structure of each area. The moving direction of the user is estimated, and predicted position data representing the position where the user is predicted to move next is output. Further, the adjacent relationship grasping unit 952 calculates a distance between a plurality of users by calculating a difference between the three-dimensional coordinates represented by the received plurality of user position data. Then, the adjacent relationship grasping unit 952 compares the distance between the specific user and another user to determine the other user closest to the specific user, and determines the other user name and the other user position. Is calculated including adjacency data.
Then, the user situation grasping means 95 sequentially transmits the situation grasping data including the user position information data, the operation data, the area name data, the predicted position data and the adjacent relation data to the presentation method selecting means 96.
[0036]
The presentation method selecting means 96 includes: status grasping data received from the user situation grasping means 95; received information data received from the received information managing means 97; output device use status data received from the output device managing means 94; A function of selecting a presentation method of the reception information data based on the information presentation method data 936 stored in the device 93 and outputting data for requesting the output of the reception information to the output device management means 94 according to the selected presentation method Having.
The presentation method selection unit 96 includes a presentation method registration unit 961 and a priority relationship registration unit 962. The presentation method registration means 961 stores the information presentation method data 936 input by the user in the hard disk device 93. When two or more information presentation methods are selected, the priority relationship registration use means 962 refers to the presentation method priority relationship data 937, selects a presentation method having an output device with the highest priority, and presents information. Execute. If the priority is not specified between the two output devices and the priorities of the information presentation methods cannot be assigned, a plurality of information presentation methods may be executed simultaneously.
[0037]
The reception information management unit 97 manages the presentation state of the reception information data such as the received mail. The reception information management unit 97 includes an execution state grasping unit 971 and a presentation method recording / referencing unit 972.
The execution state grasping unit 971 manages information on the presentation state of the reception information data. Specifically, the execution state grasping unit 971 stores history information such as the identification number of the selected presentation method, the date and time of activation, the date and time of execution, the date and time of interruption, the date and time of completion, and the like. In the case of audio data or moving image data, it manages how far the presentation of the received information data has been completed up to the present time. As a result, even if the presentation method is changed due to a change in the user's situation, or even if the information presentation is interrupted due to the suspension condition being satisfied during the execution of the information presentation, the presentation of the received information data is performed. Is completed is managed by the execution state grasping unit 971, so that the presentation can be restarted in the middle of the received information data.
The presentation method recording / referencing unit 972 stores data managed by the execution state grasping unit 971 in the hard disk drive 93 as information presentation history data 934, and the information presentation history data 934 is provided in the information presentation device 90. Display on the display. By referring to the information presentation history data 934 displayed on the display, a user or a system developer can know the execution frequency of each presentation method and information on activation, execution, interruption, and completion, and information presentation method data 936 Can be newly added, and various conditions such as a start condition and a suspension condition of the presentation method can be corrected.
[0038]
[1.3. Function of information presentation system]
Next, the functions of the information presentation system 1 will be described with reference to FIG.
First, the reception information management unit 97 receives reception information data from the information providing server device 4 via the network 3 (step S101).
The reception information management means 97 transmits the reception information data to the presentation method selection means 96. The presentation method selection means 96 receives the reception information data, and based on the reception information data, the situation grasp data sequentially received from the user information grasp means 95, and the use situation data sequentially received from the output device management means 94. Then, an information presentation method is selected and activated (step S102). Specifically, the presentation method selection unit 96 extracts information presentation method data 936 whose reception information data matches the reception information condition data included in the activation condition data. Then, the presentation method selection unit 96 sequentially receives from the output device management unit 94 whether or not the output device specified by the output device condition data included in the extracted information presentation method data 936 is available. Judge by data. The presentation method selection means 96, when it is determined that the specified output device is available because the received usage status data indicates “available”, is represented by the extracted information presentation method data 936. Activate the information presentation method. Here, “activation” means that the presentation method selection unit 96 transmits a request for executing the information presentation method represented by the extracted information presentation method data 936 to the priority relationship registration and use unit 962, It means that the selected presentation method can be executed.
[0039]
Next, when a plurality of information indicating methods are activated in step S102, the priority relation using means 962 reads out the presentation method priority relation data 937 stored in the hard disk device 93, and reads the priority of the plurality of information presenting methods. The information presentation method is selected by determining the relationship (step S103).
[0040]
The priority relationship registration and use unit 962 transmits data for requesting the output device represented by the selected information presentation method to present the received information data by the designated presentation method. The output device receives the data, starts execution of information presentation (step S104), and continues execution (step S105). Specifically, when the information presentation method is an image display, the display 70 continuously displays an image representing the received information data, and when the information presentation method is the presentation by audio data, the audio data is repeatedly reproduced from the speaker 60. Subsequently, when only the arrival of the reception information data is notified by the blinking of the LED 80, the LED 80 is kept blinking.
[0041]
The presentation method selection means 96 determines whether or not the interruption condition of the selected presentation method is satisfied while the execution of the information presentation is continued (step S106). Specifically, the presentation method selection means 96 determines whether the situation grasp data sequentially received from the user situation grasp means 95 matches the interruption condition data included in the information presentation method data 936 corresponding to the selected information method. Determine whether or not. If they match, the interruption condition is satisfied.
When the interruption condition is satisfied (Step S106; Yes), the presentation method selection unit 96 suspends the presentation by the currently selected presentation method, and receives the reception information data and the situation grasp data received from the user situation grasp unit 95. Extracts information presentation method data 936 corresponding to the activation condition data. Then, the presentation method selection unit 96 refers to the data managed by the reception information management unit 97 and indicates how far the presentation of the reception information data has been completed. The information presentation method based on the information presentation method represented by the extracted information presentation method data 936 is restarted (step S102).
If the suspension condition is not satisfied (step S106; No), the presentation method selection unit 96 determines whether the completion condition is satisfied (step S107). Specifically, the presentation method selection unit 96 determines whether the situation grasp data sequentially received from the user situation grasp unit 95 matches the completion condition data included in the information presentation method data 936. If they match, the completion condition is satisfied.
When the completion condition is satisfied (Step S107; Yes), the presentation method selection unit 96 ends the information presentation. Specifically, when the information presentation method is an image display, the display 70 deletes the image representing the received information data, and when the information presentation method is the presentation by audio data, the output of the audio data from the speaker 60 is stopped. However, if only the arrival of the received information data is notified by the blinking of the LED 80, the blinking of the LED 80 is stopped. When the completion condition is not satisfied (Step S107; No), the presentation method selection unit 96 continues to execute the information presentation.
[0042]
[2. motion]
Next, the operation of the embodiment in the above configuration will be described.
It is assumed that information presentation method data 936 shown in FIG. 5 is stored in the hard disk device 93 of the information presentation device 90 by the presentation method registration unit 961.
It is also assumed that the presentation method priority relationship data 937 stores data that prioritizes information presentation by the LED 80 over the speaker 60 and the display 70 as shown in FIG.
It is assumed that the output device management data 935 has the data contents shown in FIG. 4 when executing step S102 described below.
[0043]
First, the user A who is a resident of the house 2 enters the house 2 from outside and inputs a user ID for identifying himself / herself to the user registration PC 100 installed at the entrance 10 of the house 2.
The user registration PC 100 transmits user ID data representing the input user ID to the sensor 5011. The sensor 5011 analyzes an image captured by the camera and recognizes an image of the user A. Then, the sensor 5011 associates the image of the user A with the received user ID data. Thereafter, the sensor 50 tracks the user A's image by associating the user A's image with the user ID, and displays the user A's user position data and the user A's operation from the difference between the images of the user A. Analyze and calculate data sequentially. The sensor 501 sequentially transmits the user position data and the operation data to the information presentation device 90.
[0044]
[2.1. Example 1]
FIG. 8 shows the operation performed when the information presenting device 90 receives the stock price fluctuation data addressed to the user A when the user A enters the 2F study 40 and the user B is located within a distance of 3 m from the user A. It will be described with reference to FIG.
In this embodiment, it is assumed that the user A utters “end” while the execution of the information presentation is continued.
First, the reception information management unit 97 receives stock price fluctuation data addressed to the user A (step S101).
The reception information management means 97 transmits the stock price fluctuation data to the presentation method selection means 96. The presentation method selection means 96 receives the stock price fluctuation data, and the information presentation method data 936 in which the stock price fluctuation data and the situation grasp data received from the user situation grasp means 95 match the reception information condition data included in the activation condition data. Is extracted, and the information presentation method data 936 that can be used by the output device specified by the extracted information presentation method data 936 is extracted. Here, the received information data is stock price fluctuation data addressed to the user A, the situation grasping data is that the user A is in the study 40 on the second floor, and another user B exists within a distance of 3 m from the user A. Due to the condition that the display 704 and the LED 804 near the user are available, information indicating the change in the stock price using the display 704, which is identified by the identification number “4” in the information presentation method data 936, using the display 704 The presentation method and the information presentation method of notifying the user A that the stock price fluctuation data has been received is activated by blinking the LED 803 identified by the identification number “3” (step S102).
[0045]
Next, the priority relationship using unit 962 selects an information presentation method by determining a priority relationship among a plurality of information presentation methods based on the presentation method priority relationship data 937 (step S103). Here, as shown in FIG. 6, the presentation method priority relationship data 937 stores data that prioritizes the presentation method using the LED 80 over the display 70, and thus the identification number “4” using the display 704 is used. The information presentation method of the identification number “3” using the LED 804 is selected without selecting the information presentation method.
[0046]
The priority relationship registration / utilization unit 962 transmits data for requesting the LED 804 to blink the LED 804. The LED 804 receives the data, starts blinking the LED 804 (Step S104), and continues blinking the LED 804 (Step S105).
[0047]
The presentation method selection means 96 determines whether or not the interruption condition of the selected presentation method is satisfied while the LED 804 continues to blink (step S106). Here, in the information presentation method data 936 of the identification number “3”, since the interruption condition data is not specified, the interruption condition is not satisfied (Step S106; No).
If the interruption condition is not satisfied, the presentation method selection unit 96 determines whether the completion condition is satisfied (step S107).
Here, as described above, when the user A utters “end”, the sensor 5042 receives the sound, converts it into a sound signal, and recognizes the utterance “end” from the sound signal. Then, the sensor 5042 transmits data indicating that the utterance “end” has been recognized to the information presenting apparatus 90. The user situation grasping means 95 of the information presenting device 90 receives the data from the sensor 5042 and transmits situation grasping data including the data to the presentation method selecting means 96. The presentation method selection unit 96 determines that the completion condition is satisfied because the received situation grasp data corresponds to the completion condition data included in the information presentation method data 936 of the identification number “3” (Step S107; Yes). Then, information for requesting the end of the blinking to the LED 804 is transmitted, and the process ends.
[0048]
[2.2. Example 2]
Next, when receiving the information indicating the stock price fluctuation addressed to the user A, the user A is in the first floor living room 20, the distance between the user A and the user B closest to the user A is 6 m, and the user A An operation in a case where the nearby speaker 602 is available and the user B approaches the user A within a distance of 3 m during the presentation of the reception information data will be described.
[0049]
First, the reception information management means 97 receives voice data on stock price fluctuations addressed to the user A from the information providing server 4 via the network 3 (step S101), and transmits it to the presentation method selection means 96.
Here, the presentation method selecting means 96 receives, from the user situation grasping means 95, situation grasping data indicating that the user A is in the 1F living room 20 and the distance from the nearest other user is 5 m or more. Therefore, the presentation method represented by the information presentation method data 936 having the identification number “5” is extracted. Then, the presentation method selection unit 96 determines whether or not the speaker 602 near the user A specified by the output device condition data included in the extracted information presentation method data 936 of the identification number “5” is available. The determination is made based on the usage status data of the speaker 602 sequentially received from the output device management unit 94. As shown in FIG. 4, since the use status data of the speaker 602 indicates “available”, the speaker 602 is determined to be usable, and is read aloud by the presentation method data included in the extracted information presentation method data 936. Is activated (step S102). Here, the activated presentation method is not a plurality of presentation methods but one of the presentation methods of voice reading out from the speaker 602. Therefore, the priority relation using unit 962 does not need to give a priority to the presentation method, and the presentation of voice reading out is not required. A method is selected (step S103), and voice data of stock price fluctuation is transmitted to the speaker 602. The speaker 602 converts the received audio data from digital to analog, starts reproducing the audio (step S104), and continues the reproduction (step S105).
[0050]
As described above, it is assumed that the user B is approaching the distance of 3 m to the user A while the sound data of the stock price change is being output from the speaker 602.
The user situation grasping means 95 calculates the adjacent relation data representing “3m” based on the data received from the sensor 5021, and transmits the situation grasp data including the adjacent relation data to the presentation method selecting means 96. The presentation method selection means 96 determines whether or not the situation grasp data received from the user situation grasp means 95 matches the interruption condition data included in the information presentation method data 936 of the identification number “5” (Step S106). .
Here, since it matches with the interruption condition data indicating that the distance to another user is 3 m or less included in the information presentation method data 936 of the identification number “5” (step S106; Yes), the presentation method selection unit 96 The presentation method of outputting the voice data of the stock price fluctuation from the current speaker 602 is interrupted. Then, the presentation method selecting means 96 performs the following processing in order to present by another presentation method. That is, the presentation method selection means 96 searches the information presentation method data 936 in which the stock price fluctuation data and the situation grasp data received from the user situation grasp means 95 correspond to the activation condition data. Here, the data having the reception information condition data that is the stock price fluctuation data addressed to the user A and the activation condition data that the distance to the other user is within 3 m is the information presentation information of the identification number “3”. Since the data is the method data 936, the presentation method selection unit 96 extracts the information presentation method data 936 having the identification number “3” and activates a presentation method called “LED blinking” represented by the presentation method data included in the data. Step S102) Thereafter, the processing from step S103 is performed in the same manner as described above.
[0051]
As described above, by registering the information presentation method data 936 in the information presentation device 90 according to the needs of the user, the type of the received information data and various situations of the user (the moving direction of the user, the The method of presenting the reception information data to the user (starting condition, interruption condition, completion condition, output device for executing the presenting method, etc.) according to the distance of the user and the motion of the user (walking, sitting, etc.) Can be finely controlled.
Accordingly, a comfortable information presentation environment can be provided to the user regardless of the situation of the user in the house 2.
[0052]
[3. Modification]
The present invention is not limited to the embodiments described above, and various modifications as described below are possible.
(1) In the above embodiment, the information presentation system 1 is described as being constructed in a house 2 of a general household. However, the present invention is not limited to the house 2 and may be, for example, a high-rise building or a hospital.
Further, in the above embodiment, the information presenting device 90 receives audio data and electronic mail from the information distribution server device 4, but the received information data is not limited to this. For example, the information presentation device 90 may receive an incoming call from a mobile phone.
The output device in the above embodiment may use, for example, a videophone in addition to the speaker 603, the display 703, and the LED 803.
Further, in the above embodiment, the information presentation device 90 is provided in the 2F study 40, but this is merely an example. For example, the information presentation device 90 may be provided in the first floor entrance 10 or outside the house 2.
[0053]
(2) In the above embodiment, a camera is used as the sensor 50 for recognizing a user's operation and a user position, but this is an example. For example, the user's position may be recognized by carrying a wireless tag (RFID; Radio Frequency Identification) to the user. In addition, a magnetic sensor or GPS (Global Positioning Systems) can be used.
[0054]
(3) In the above embodiment, the moving direction of the user is estimated using the HMM method, and the predicted position of the user position is calculated. However, the method of predicting the user position can use an optimal method. . For example, fuzzy logic may be used.
[0055]
【The invention's effect】
As described above, the method of presenting information to the user can be finely controlled according to the situation of the user.
[0056]
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of an information presentation system according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a hardware configuration of the information presentation device according to the embodiment.
FIG. 3 is a diagram showing a data configuration of user situation grasp data according to the embodiment.
FIG. 4 is a diagram showing a data configuration of output device management data according to the embodiment.
FIG. 5 is a diagram showing a data configuration of information presentation method data according to the embodiment.
FIG. 6 is a diagram showing a data configuration of presentation method priority relation data according to the embodiment.
FIG. 7 is a diagram for explaining functions of the information presentation system realized by the CPU according to the embodiment executing a program.
FIG. 8 is a flowchart for explaining a flow of information presentation according to the embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Information presentation system, 2 ... House, 3 ... Network, 4 ... Information distribution server apparatus, 10 ... 1F entrance, 20 ... 1F living, 30 ... 1F bedroom, 40 ... 2F study, 50 , 501, 5011, 5012, 502, 5021, 5022, 503, 5031, 5032, 504, 5041, 5042 ... sensors, 60, 601, 602, 603, 604 ... speakers, 70, 701, 702, 703, 704 ...... display, 80, 801, 802, 803, 804 ... LED, 90 ... information presenting device, 91 ... CPU, 92 ... communication interface, 93 ... hard disk device, 931 ... map data, 932 ... User position history data, 933... User status grasp data, 934... Information presentation history data, 935. Management data, 936 ...... information presentation method data, 937 ...... presentation method priority relationship data, 938 ...... program.

Claims (12)

特定の区画内の状況を表すデータを入力し、該データに基づいて、前記区画内に位置するユーザの状況を把握するためのユーザ状況把握情報を算出するユーザ状況把握手段と、
送信されてきた前記ユーザ宛の情報を受信する受信手段と、
前記受信手段により受信された情報の前記ユーザへの提示方法を表す提示方法情報を複数記憶する提示方法記憶手段と、
前記提示方法記憶手段により記憶された提示方法情報で表される提示方法で前記受信手段により受信された情報の提示を要求する起動手段と、
前記提示方法記憶手段により記憶された提示方法情報で表される提示方法で前記受信手段により受信された情報の提示を実行しているときに前記実行を中断し、別の提示方法による前記情報の提示を要求する中断手段と、
前記提示方法記憶手段により記憶された提示方法情報で表される前記提示方法で前記受信手段により受信された情報の提示を実行しているときに前記実行を終了する完了手段と、
前記起動手段を実行する条件、前記中断手段を中断する条件及び前記完了手段を実行する条件を表す条件情報を複数記憶する条件情報記憶手段と、
前記受信手段により受信された情報と、前記ユーザ状況把握手段により算出されたユーザ状況把握情報とに応じて、前記条件情報記憶手段より条件情報を選択する提示方法選択手段と、
前記提示方法選択手段により選択された条件情報に従って、前記起動手段、前記中断手段、又は前記終了手段を実行する実行手段と、
を有することを特徴とする情報提示システム。
User status grasping means for inputting data representing a situation in a specific section and calculating user situation grasp information for grasping the situation of a user located in the section based on the data,
Receiving means for receiving the transmitted information addressed to the user;
Presentation method storage means for storing a plurality of presentation method information representing a method of presenting the information received by the receiving means to the user;
Activation means for requesting presentation of the information received by the receiving means in a presentation method represented by the presentation method information stored by the presentation method storage means;
When the presentation of the information received by the receiving unit is being performed in the presentation method represented by the presentation method information stored by the presentation method storage unit, the execution is interrupted, and the execution of the information by another presentation method is interrupted. Interruption means for requesting presentation;
Completion means for terminating the execution when the presentation of the information received by the receiving means is being performed in the presentation method represented by the presentation method information stored by the presentation method storage means,
Condition information storage means for storing a plurality of condition information representing conditions for executing the activation means, conditions for interrupting the interruption means, and conditions for executing the completion means;
Presentation method selecting means for selecting condition information from the condition information storage means, according to the information received by the receiving means and the user situation grasp information calculated by the user situation grasp means;
An execution unit that executes the activation unit, the interruption unit, or the termination unit according to the condition information selected by the presentation method selection unit;
An information presentation system comprising:
前記ユーザ状況把握情報は、前記ユーザの位置を表す位置情報と、前記ユーザの位置する区画を表すエリア情報と、前記ユーザの動作を表す動作情報と、前記ユーザと最も近い位置に位置する他のユーザとの距離を表す隣接関係情報と、前記ユーザが次に移動すると予測された位置を表す予測位置情報とを内包し、
前記条件情報は、前記ユーザ状況把握情報による条件によって構成されていることを特徴とする請求項1に記載の情報提示システム。
The user situation grasping information includes position information indicating a position of the user, area information indicating a section where the user is located, operation information indicating an operation of the user, and other information located at a position closest to the user. Adjacent relation information indicating the distance to the user, and predicted position information indicating a position where the user is predicted to move next,
The information presentation system according to claim 1, wherein the condition information is configured by a condition based on the user situation grasp information.
前記情報提示システムは、前記出力機器を管理するための機器管理情報を記憶する出力機器管理手段を有しており、
前記機器管理情報は、前記出力機器が設置されている位置を表す設置場所情報と、前記出力機器が設置されている場所が属する区画を表すエリア情報と、前記出力機器が使用可能な状態にあるか否かを表す利用情報とを内包し、
前記提示方法選択手段は、前記機器管理情報に応じて、前記条件情報記憶手段より条件情報を選択することを特徴とする請求項1に記載の情報提示システム。
The information presentation system has an output device management unit that stores device management information for managing the output device,
The device management information includes installation location information indicating a position where the output device is installed, area information indicating a section to which a location where the output device is installed, and a state in which the output device can be used. And usage information indicating whether or not
The information presentation system according to claim 1, wherein the presentation method selection unit selects condition information from the condition information storage unit according to the device management information.
前記情報提示システムは、前記起動手段、前記中断手段及び前記完了手段の実行状況及び実行された履歴を記憶する受信情報管理手段を有しており、
前記中断手段は、前記受信手段により受信された情報の提示の実行を中断したときの実行状況を前記受信情報管理手段より取得し、前記実行状況で表される前記情報の提示が中断された箇所から別の提示方法で前記情報の提示の再開を要求することを特徴とする請求項1に記載の情報提示システム。
The information presentation system includes a reception information management unit that stores an execution status and an execution history of the activation unit, the interruption unit, and the completion unit,
The interruption unit acquires the execution status when the execution of the presentation of the information received by the reception unit is interrupted from the reception information management unit, and a location where the presentation of the information represented by the execution status is interrupted. 2. The information presentation system according to claim 1, wherein a request to restart presentation of the information is made from another presentation method.
前記情報提示システムは、前記条件情報の優先度を記憶する優先関係記憶手段を有しており、
前記提示方法選択手段は、前記優先関係記憶手段に記憶されている優先度に応じて前記条件情報記憶手段より条件情報を選択することを特徴とする請求項1に記載の情報提示システム。
The information presentation system has a priority relationship storage unit that stores the priority of the condition information,
The information presentation system according to claim 1, wherein the presentation method selection unit selects condition information from the condition information storage unit according to the priority stored in the priority relationship storage unit.
前記情報提示システムは、前記区画の地形の構造を表す地図情報と、前記ユーザの位置の履歴を記憶したユーザ位置記憶手段と、ユーザが次に移動する前記ユーザの位置を予測するユーザ位置予測手段とを有し、
前記ユーザ位置予測手段は、前記地図情報と前記ユーザ位置記憶手段に記憶されたユーザの位置の履歴から、前記ユーザの移動方向を予測することにより、前記ユーザの予測位置情報を算出することを特徴とする請求項2に記載の情報提示システム。
The information presentation system includes a map information representing a terrain structure of the section, a user position storage unit storing a history of the position of the user, and a user position prediction unit for predicting a position of the user to which the user will move next. And having
The user position prediction unit calculates the predicted position information of the user by predicting a moving direction of the user from the map information and a history of the position of the user stored in the user position storage unit. The information presentation system according to claim 2, wherein
前記情報提示システムは、前記センサより検出された前記ユーザの像より算出された前記ユーザの位置から、前記ユーザと最も近い位置に位置する他のユーザとの距離を表す隣接関係情報を算出する隣接関係把握手段を有することを特徴とする請求項2に記載の情報提示システム。The information presenting system calculates, from a position of the user calculated from an image of the user detected by the sensor, an adjacent relationship that calculates adjacent relation information indicating a distance to another user located closest to the user. The information presentation system according to claim 2, further comprising a relation grasping unit. 前記提示方法記憶手段には、前記受信手段により受信された情報が受信されたことを前記ユーザに報知するという第1の提示方法が記憶されており、
前記条件情報は、前記ユーザ状況把握手段により、前記ユーザと最も近い位置に位置する他のユーザとの距離が一定距離以内であると判断されたことが、前記第1の提示方法による起動手段を実行する条件であることを特徴とする請求項2に記載の情報提示システム。
The presenting method storing means stores a first presenting method of notifying the user that the information received by the receiving means has been received,
The condition information indicates that the user status grasping unit has determined that the distance to another user located closest to the user is within a certain distance, and that the activation unit according to the first presentation method has 3. The information presentation system according to claim 2, wherein the condition is an execution condition.
前記提示方法記憶手段には、前記出力機器より前記受信手段により受信された情報の一部又は要約を出力するという第2の提示方法が記憶されており、
前記条件情報は、前記ユーザ状況把握手段により、前記ユーザが歩行中であると判断されたことが、前記第2の提示方法による起動手段を実行する条件であることを特徴とする請求項2に記載の情報提示システム。
The presentation method storage means stores a second presentation method of outputting a part or summary of the information received by the reception means from the output device,
3. The condition information according to claim 2, wherein the condition that the user is determined to be walking by the user status grasping unit is a condition for executing the activation unit according to the second presentation method. Information presentation system described.
特定の区画内の状況を表すデータを入力し、該データに基づいて、前記区画内に位置するユーザの状況を把握するためのユーザ状況把握情報を算出するユーザ状況把握ステップと、
送信されてきた、前記ユーザ宛の情報を受信する受信ステップと、
前記受信ステップで受信された情報の前記ユーザへの提示方法を表す提示方法情報を複数記憶する提示方法記憶ステップと、
前記受信ステップで受信された情報と前記ユーザ状況把握ステップにより算出されたユーザ状況把握情報とに応じて、前記提示方法記憶ステップで記憶された提示方法情報で表される提示方法を選択し、該提示方法による前記情報の提示を起動するか、中断するか、又は完了するかを選択する選択ステップと、
前記選択ステップにおいて、起動が選択された場合には、前記提示方法情報で表される提示方法での前記情報の提示を要求し、
中断が選択された場合には、前記提示方法での前記情報の提示の実行を中断するとともに、別の提示方法を選択して該提示方法での前記情報の提示を要求し、
終了が選択された場合には、前記提示方法での前記情報の提示の実行を終了するステップと、
を有することを特徴とする情報提示方法。
Inputting data representing a situation in a specific section, based on the data, a user situation grasping step of calculating user situation grasping information for grasping a situation of a user located in the section,
A receiving step of receiving the transmitted information addressed to the user;
A presentation method storage step of storing a plurality of presentation method information representing a presentation method to the user of the information received in the receiving step,
According to the information received in the receiving step and the user situation grasp information calculated in the user situation grasp step, select a presentation method represented by the presentation method information stored in the presentation method storage step, A step of selecting whether to start, suspend, or complete the presentation of the information by the presentation method,
In the selecting step, when activation is selected, request the presentation of the information in a presentation method represented by the presentation method information,
When the interruption is selected, the execution of the presentation of the information in the presentation method is suspended, and another presentation method is selected to request the presentation of the information in the presentation method,
When the end is selected, ending the execution of the presentation of the information in the presentation method,
An information presentation method, comprising:
コンピュータを、
特定の区画内の状況を表すデータを入力し、該データに基づいて、前記区画内に位置するユーザの状況を把握するためのユーザ状況把握情報を算出するユーザ状況把握手段と、
送信されてきた前記ユーザ宛の情報を受信する受信手段と、
前記受信手段により受信された情報の前記ユーザへの提示方法を表す提示方法情報を複数記憶する提示方法記憶手段と、
前記提示方法記憶手段により記憶された提示方法情報で表される提示方法で前記受信手段により受信された情報の提示を要求する起動手段と、
前記提示方法記憶手段により記憶された提示方法情報で表される提示方法で前記受信手段により受信された情報の提示を実行しているときに前記実行を中断し、別の提示方法による前記情報の提示を要求する中断手段と、
前記提示方法記憶手段により記憶された提示方法情報で表される前記提示方法で前記受信手段により受信された情報の提示を実行しているときに前記実行を終了する完了手段と、
前記起動手段を実行する条件、前記中断手段を中断する条件及び前記完了手段を実行する条件を表す条件情報を複数記憶する条件情報記憶手段と、
前記受信手段により受信された情報と、前記ユーザ状況把握手段により算出されたユーザ状況把握情報とに応じて、前記条件情報記憶手段より条件情報を選択する提示方法選択手段と、
前記提示方法選択手段により選択された条件情報に従って、前記起動手段、前記中断手段、又は前記終了手段を実行する実行手段と
して機能させるためのプログラム。
Computer
User status grasping means for inputting data representing a situation in a specific section and calculating user situation grasp information for grasping the situation of a user located in the section based on the data,
Receiving means for receiving the transmitted information addressed to the user;
Presentation method storage means for storing a plurality of presentation method information representing a method of presenting the information received by the receiving means to the user;
Activation means for requesting presentation of the information received by the receiving means in a presentation method represented by the presentation method information stored by the presentation method storage means;
When the presentation of the information received by the receiving unit is being performed in the presentation method represented by the presentation method information stored by the presentation method storage unit, the execution is interrupted, and the execution of the information by another presentation method is interrupted. Interruption means for requesting presentation;
Completion means for terminating the execution when the presentation of the information received by the receiving means is being performed in the presentation method represented by the presentation method information stored by the presentation method storage means,
Condition information storage means for storing a plurality of condition information representing conditions for executing the activation means, conditions for interrupting the interruption means, and conditions for executing the completion means;
Presentation method selecting means for selecting condition information from the condition information storage means, according to the information received by the receiving means and the user situation grasp information calculated by the user situation grasp means;
A program for functioning as an execution unit that executes the activation unit, the interruption unit, or the termination unit according to the condition information selected by the presentation method selection unit.
請求項11に記載のプログラムを記憶したコンピュータ読み取り可能な記録媒体。A computer-readable recording medium storing the program according to claim 11.
JP2002339861A 2002-11-22 2002-11-22 Information presentation system, information presentation method, program, and storage medium Withdrawn JP2004177990A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002339861A JP2004177990A (en) 2002-11-22 2002-11-22 Information presentation system, information presentation method, program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002339861A JP2004177990A (en) 2002-11-22 2002-11-22 Information presentation system, information presentation method, program, and storage medium

Publications (1)

Publication Number Publication Date
JP2004177990A true JP2004177990A (en) 2004-06-24

Family

ID=32702711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002339861A Withdrawn JP2004177990A (en) 2002-11-22 2002-11-22 Information presentation system, information presentation method, program, and storage medium

Country Status (1)

Country Link
JP (1) JP2004177990A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146291A (en) * 2004-11-16 2006-06-08 Hitachi Ltd Sensor driving control method and radio terminal equipment with sensor
JP2013254395A (en) * 2012-06-07 2013-12-19 Ricoh Co Ltd Processing apparatus, processing system, output method and program
WO2014193040A1 (en) * 2013-05-31 2014-12-04 삼성에스디에스 주식회사 System and method for analyzing sensing data
JP2016040687A (en) * 2014-08-12 2016-03-24 株式会社富士通アドバンストエンジニアリング Information processing method, information processing program, information processing system, and information processing device
JP2016071192A (en) * 2014-09-30 2016-05-09 株式会社Nttドコモ Interaction device and interaction method
WO2017175442A1 (en) * 2016-04-08 2017-10-12 ソニー株式会社 Information processing device and information processing method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146291A (en) * 2004-11-16 2006-06-08 Hitachi Ltd Sensor driving control method and radio terminal equipment with sensor
US7986243B2 (en) 2004-11-16 2011-07-26 Hitachi, Ltd. Sensor drive control method and sensor-equipped radio terminal device
JP2013254395A (en) * 2012-06-07 2013-12-19 Ricoh Co Ltd Processing apparatus, processing system, output method and program
WO2014193040A1 (en) * 2013-05-31 2014-12-04 삼성에스디에스 주식회사 System and method for analyzing sensing data
JP2016040687A (en) * 2014-08-12 2016-03-24 株式会社富士通アドバンストエンジニアリング Information processing method, information processing program, information processing system, and information processing device
JP2016071192A (en) * 2014-09-30 2016-05-09 株式会社Nttドコモ Interaction device and interaction method
WO2017175442A1 (en) * 2016-04-08 2017-10-12 ソニー株式会社 Information processing device and information processing method

Similar Documents

Publication Publication Date Title
US20210050013A1 (en) Information processing device, information processing method, and program
EP3258336B1 (en) Robot control system and a program
CN106257355B (en) Equipment control method and controller
CN107850443B (en) Information processing apparatus, information processing method, and program
JP6053097B2 (en) Device operating system, device operating device, server, device operating method and program
CN106297781B (en) Control method and controller
US20130300546A1 (en) Remote control method and apparatus for terminals
JP6767206B2 (en) Response system
US8736228B1 (en) Charging an electronic device including traversing at least a portion of a path with an apparatus
EP3419020B1 (en) Information processing device, information processing method and program
KR102421824B1 (en) Electronic device for providing voice based service using external device and operating method thereof, the external device and operating method thereof
CN108326875B (en) Communication control method and apparatus, telepresence robot, and storage medium
JP2005103722A (en) Cooperative robot device and system, and navigation robot device
JP6619488B2 (en) Continuous conversation function in artificial intelligence equipment
JP7077375B2 (en) Response system
JP2004177990A (en) Information presentation system, information presentation method, program, and storage medium
JP2012060235A (en) Operating condition setting system, user apparatus, setting server and operating condition setting method
JP2020052856A (en) Rescue support server, rescue support system and program
KR20230156929A (en) Robotic computing device with adaptive user interaction
JP2014056333A (en) Communication control method, information processing system and program
EP3809712A1 (en) Information processing device and information processing method
JP2017152913A (en) Communication system, communication terminal, server device, and information processing method
CN115065747A (en) Reminding method, intelligent terminal and storage medium
CN113452831A (en) Display device
JP2020061050A (en) Communication system

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20060207