JP2015043148A - 行動支援装置、行動支援方法、プログラム、および記憶媒体 - Google Patents

行動支援装置、行動支援方法、プログラム、および記憶媒体 Download PDF

Info

Publication number
JP2015043148A
JP2015043148A JP2013174603A JP2013174603A JP2015043148A JP 2015043148 A JP2015043148 A JP 2015043148A JP 2013174603 A JP2013174603 A JP 2013174603A JP 2013174603 A JP2013174603 A JP 2013174603A JP 2015043148 A JP2015043148 A JP 2015043148A
Authority
JP
Japan
Prior art keywords
user
support
preference
action
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013174603A
Other languages
English (en)
Other versions
JP6111932B2 (ja
JP2015043148A5 (ja
Inventor
宮島 靖
Yasushi Miyajima
靖 宮島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013174603A priority Critical patent/JP6111932B2/ja
Priority to US14/337,340 priority patent/US20150058319A1/en
Priority to CN201410409926.6A priority patent/CN104424353B/zh
Publication of JP2015043148A publication Critical patent/JP2015043148A/ja
Publication of JP2015043148A5 publication Critical patent/JP2015043148A5/ja
Application granted granted Critical
Publication of JP6111932B2 publication Critical patent/JP6111932B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

【課題】ユーザ情報に基づいて自動的に判断されたユーザの好みに対応する支援内容を、好みレベルに応じた方法で実行することが可能な行動支援装置、行動支援方法、プログラム、および記憶媒体を提供する。
【解決手段】ユーザの情報を取得する取得部と、前記取得部により取得された前記ユーザの情報に基づいて判断されたユーザの好みを支援するための支援内容を決定する支援内容決定部と、前記好みのレベルに応じた方法で前記支援内容を実行する実行部と、を備える、行動支援装置。
【選択図】図1

Description

本開示は、行動支援装置、行動支援方法、プログラム、および記憶媒体に関する。
近年、ユーザの行動を支援する装置として、音声対話型のエージェントタイプのサービスが提案されている。また、スマートフォンや携帯電話端末等のモバイル端末において、現在地からおすすめのスポットやレストランを提示する等、位置情報と連動した行動支援アプリケーションも数多く提案されている。ユーザは、指示されたルートに従って移動することで、目的地にたどり着くことができる。
また、下記特許文献1では、指定された場所の飲食店や映画などのガイド情報を提示するシステムにおいて、不要なガイド情報が選択・表示されてしまうことを防止できるガイド情報提示システムが提案されている。ガイド情報表示後、「ここへ行く」の項目が選択されると、ガイド情報提示システムは、現在値から店舗までのルートを探索し、目的地までのルート案内を開始する。
また、上述したルート誘導の他、ユーザの体重、摂取カロリー、運動量等を日々記録し、記録データに基づいてダイエット支援(ダイエットのアドバイスや目標数値等の提示)を行うアプリケーションも提案されている。
特開2009−145234号公報
しかしながら、上述した行動支援アプリケーションでは、ユーザにとって有益な結果をもたらす目的をユーザが自ら考えて判断し、設定しなければならず、ユーザにとって負担であった。
また、上述した行動支援アプリケーションでは、ユーザの行動を支援するためのアドバイス等が明示的に提示されるので、例えばダイエットのように自分の欲求を抑制しなくてはならない場合、やる気がないユーザにとってアドバイス等が出され続けることはストレスになる。また、ダイエットのためのアドバイスや数値を提示しても効果があるか否かは本人の意思に負うところが大きい。また、支援内容が的確でなかったり間違えていたりする場合も、ユーザにとってはストレスになるという問題があった。
さらに、上述した行動支援アプリケーションでは、行動を支援するための明示的な提示が随時行われるが、例えばユーザが周囲に知られたくない好み(趣味、嗜好)に対する行動支援は、支援が行われるタイミング等によっては、ユーザにとって好ましくない場合も想定された。ユーザの趣味、嗜好といった好みは、不特定多数に知られてもよいもの、誰にも知られたくないもの、また、ユーザ自身が自覚していない好みといった複数のレベルに分けられる。
そこで、本開示では、ユーザ情報に基づいて自動的に判断されたユーザの好みに対応する支援内容を、好みレベルに応じた方法で実行することが可能な行動支援装置、行動支援方法、プログラム、および記憶媒体を提案する。
本開示によれば、ユーザの情報を取得する取得部と、前記取得部により取得された前記ユーザの情報に基づいて判断されたユーザの好みを支援するための支援内容を決定する支援内容決定部と、前記好みのレベルに応じた方法で前記支援内容を実行する実行部と、を備える、行動支援装置を提案する。
本開示によれば、ユーザの情報を取得するステップと、取得された前記ユーザの情報に基づいて前記ユーザの好みを判断するステップと、当該ユーザの好みを支援するための支援内容を決定するステップと、前記好みの種類に応じた方法で、プロセッサにより前記支援内容を実行するステップと、を含む、行動支援方法を提案する。
本開示によれば、コンピュータを、ユーザの情報を取得する取得部と、前記取得部により取得された前記ユーザの情報に基づいて前記ユーザの好みを判断し、当該ユーザの好みを支援するための支援内容を決定する支援内容決定部と、前記好みの種類に応じた方法で前記支援内容を実行する実行部と、として機能させるためのプログラムを提案する。
本開示によれば、コンピュータを、ユーザの情報を取得する取得部と、前記取得部により取得された前記ユーザの情報に基づいて前記ユーザの好みを判断し、当該ユーザの好みを支援するための支援内容を決定する支援内容決定部と、前記好みの種類に応じた方法で前記支援内容を実行する実行部と、として機能させるためのプログラムが記憶された、記憶媒体を提案する。
以上説明したように本開示によれば、ユーザ情報に基づいて自動的に判断されたユーザの好みに対応する支援内容を、好みレベルに応じた方法で実行することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による行動支援システムの概要について説明するための図である。 第1の実施形態によるHMDの構成の一例を示すブロック図である。 本実施形態による好みレベルについて説明するための図である。 本実施形態による好みレベルを判断する動作処理を示すフローチャートである。 本実施形態による『好き度』の算出処理を示すフローチャートである。 ユーザの好みレベルを判断する動作処理を示すフローチャートである。 本実施形態による瞳孔サイズに基づく『好き度』の算出処理を示すフローチャートである。 本実施形態による好みレベルとユーザの周囲の環境をスコア化した表の一例を示す図である。 第1の実施形態による行動支援処理を示すフローチャートである。 第1の実施形態による行動支援処理を示すフローチャートである。 実空間を撮像した撮像画像の一部を変化して提示することで間接的な行動支援を行う場合の一例を示す図である。 地図画像の一部を変化して提示することで間接的な行動支援を行う場合について説明するための図である。 第2の実施形態による行動支援システムの全体構成を説明するための図である。 第2の実施形態による行動支援サーバの構成の一例を示すブロック図である。 第2の実施形態による間接的な行動支援の一例を説明するための図である。 第2の実施形態による行動支援処理を示すフローチャートである。 第3の実施形態によるHMDの構成を示すブロック図である。 第3の実施形態におけるルート支援について説明するための図である。 第3の実施形態による行動支援装置の動作処理を示すフローチャートである。 第3の実施形態の応用例による行動支援システムの全体構成を説明するための図である。 第3の実施形態の応用例による行動支援システムの動作処理を示すフローチャートである。 第3の実施形態の応用例による行動支援システムの動作処理を示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による行動支援システムの概要
2.第1の実施形態
2−1.構成
2−2.動作処理
2−3.間接的な行動支援方法
3.第2の実施形態
4.第3の実施形態
5.まとめ
<<1.本開示の一実施形態による行動支援システムの概要>>
まず、本開示の一実施形態による行動支援システムの概要について図1を参照して説明する。本実施形態による行動支援装システムを実現する行動支援装置は、例えば図1に示すようなHMD(Head Mounted Display)1であってもよい。HMD1は、図1に示すような眼鏡型であって、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを有し、両耳殻にかけられることでユーザに装着される。また、HMD1は、装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部2が配置される構成となっている。表示部2には、例えば撮像レンズ3aで撮像された現実空間の撮像画像が表示される。また、表示部2は透過型であってもよく、HMD1により表示部2がスルー状態、即ち透明または半透明の状態とされることで、ユーザがHMD1を眼鏡のように常時装着しても通常の生活には支障がない。
上述した撮像レンズ3aは、図1に示すように、ユーザに装着された状態で、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて配置されている。さらに、撮像レンズ3aによる撮像方向に対して照明を行う発光部4aが設けられる。発光部4aは例えばLED(Light Emitting Diode)により形成される。
また、図1では左耳側しか示されていないが、装着状態でユーザの右耳孔および左耳孔に挿入できる一対のイヤホンスピーカ5aが設けられる。また、右眼用の表示部2の右方と、左眼用の表示部2の左方に、外部音声を集音するマイクロホン6a、6bが配置される。
なお、図1に示すHMD1の外観は一例であり、HMD1をユーザが装着するための構造は多様に考えられる。HMD1は、一般に眼鏡型、あるいは頭部装着型とされる装着ユニットで形成されればよく、少なくともユーザの眼の前方に近接して表示部2が設けられていればよい。また表示部2は、両眼に対応して一対設けられる他、片側の眼に対応して1つ設けられる構成でもよい。
また、撮像レンズ3a、照明を行う発光部4aは、図1に示す例では右眼側に前方に向けて配置されているが、左眼側に配置されてもよいし、両側に配置されてもよい。また、イヤホンスピーカ5aは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために1つ設けられるのみでもよい。また、マイクロホンも、マイクロホン6a、6bのうちの一方でもよい。さらに、マイクロホン6a、6b、イヤホンスピーカ5a、または発光部4aを備えない構成も考えられる。
HMD1は、目的地までの誘導を行うための画像を表示部2に表示したり、音声をイヤホンスピーカ5aから再生したりすることで、ユーザを目的地に誘導すること(行動支援の一例)が可能である。
(背景)
ここで、上述したように、従来の行動支援アプリケーションでは、ユーザにとって有益な結果をもたらす目的をユーザが自ら考えて判断し、設定しなければならなかったので、ユーザにとって負担になっていた。また、上述した行動支援アプリケーションでは、ユーザの行動を支援するためのアドバイス等が明示的に提示されるので、アドバイス等が出され続けることがユーザにとってストレスになる場合もあった。
さらに、提示されるアドバイス等がユーザにとって有益であるのかユーザが判断したり、複数のアドバイス等が提示された場合は意識的に選択を行ったりしなくてはならなかった。
また、ユーザが周囲に知られたくない好み(趣味、嗜好)に対する行動支援は、支援が行われるタイミング等によっては、ユーザにとって好ましくない場合も想定された。ユーザの趣味、嗜好といった好みは、上述したように、不特定多数に知られてもよいものから、誰にも知られたくないもの、また、ユーザ自身が自覚していない好みといった複数のレベルに分けられ得る。
そこで、上記事情を鑑みて、ユーザ情報に基づいて自動的に判断したユーザの好みに対応する支援内容を、好みレベルに応じた方法で実行することができる行動支援装置を提供する。
具体的には、本開示による行動支援装置は、SNS(Social Networking Service)、ブログ、メール等へのユーザの書き込み内容や、ユーザのスケジュール情報、生体情報等のユーザ情報に基づいて、ユーザの好みを判断し、好みに対応する行動支援内容を決定する。これにより、ユーザは、自ら目的を考えて設定する必要がなく、ユーザの手間や負担が解消される。
また、本開示による行動支援装置は、ユーザの行動支援を、明示的な提示ではなく、アフォーダンスや錯覚、心理誘導などを用いてユーザの潜在意識に働きかけるよう、間接的(暗黙的)な方法で実行することで、行動支援によるユーザのストレスを省くことができる。
人間の意識には、顕在意識と潜在意識(無意識とも称す)があり、これらは「海に浮かんだ氷山」に例えられる。具体的には、水面から突き出している部分が顕在意識、水面下に隠れている部分が潜在意識であって、潜在意識の占める部分が圧倒的に大きく、潜在意識は全体の約9割を占め、自分自身では自覚することができない。
通常の行動支援は、人間が意識して考えたり判断したりする顕在意識に働きかける直接的(明示的)な方法で行われる。例えば、アドバイスを画面に表示したり、アドバイスを音声で出力したりする方法である。しかし、本実施形態では、このような直接的な方法に限定されず、行動支援の目的によっては、潜在意識に働きかけるよう、間接的(暗黙的)な方法で行動支援を行うことも可能である。これにより、本実施形態による行動支援システムは、ユーザが無意識のうちに、ある行動を選択するよう、自然でストレスの少ない支援を行うことができる。
具体的には、表示部2を介してユーザが見ている風景において、部分的に明度を変化させたり、変形させたりすることで、ユーザが無意識に所定の道を選択するよう誘導する。例えば図1に示すように、左右に道が分かれている現実空間の撮像画像P1に対して、HMD1は、右側の道D2をユーザに無意識に選択させるために、左側の道D1が上り坂に見えるよう画像の一部を変形させた画像P2を生成し、表示部2に表示する。この場合、ユーザは、無意識に上り坂(左側の道D1)よりも平地(右側の道D2)を選択する傾向があるので、自然でストレスの少ない支援を行うことができる。また、本実施形態による行動支援システムは、上り坂より平地を選ぶといった人間の傾向の他、暗い道よりも明るい道を選ぶ、視界が遠くまで開けている道を選ぶといったその他の傾向を利用した支援も同様に行うことができる。
さらに、画像ではなく、特定の方向から耳障りな音が聞こえるように音声制御を行うことで、不安になる音から遠ざかるという人間の傾向を利用して、自然でストレスの少ない支援を行うことができる。
このように、本実施形態による行動支援システムでは、潜在意識(無意識)に働きかける刺激をユーザの感覚器官(視覚、聴覚、嗅覚、味覚、触覚)に与えることで、自然でストレスの少ない支援を行うことができる。
以上、本開示の一実施形態による行動支援システムの概要について説明した。続いて、本開示による行動支援システムについて、複数の実施形態を用いて具体的に説明する。
<<2.第1の実施形態>>
<2−1.構成>
図2は、第1の実施形態によるHMD1の構成の一例を示すブロック図である。なおHMD1は、行動支援装置の一例であって、本実施形態による行動支援装置は、HMD1の他、例えばスマートフォン、携帯電話端末、タブレット端末等のモバイル装置(情報処理装置)であってもよい。
図2に示すように、本実施形態によるHMD1は、主制御部10−1、実世界情報取得部11、各種生体センサ12、スケジュール情報DB13、ユーザ情報記録部14、支援パターンDB(データベース)15、および提示デバイス16を含む。
(主制御部)
主制御部10−1は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、HMD1の各構成を制御する。
具体的には、本実施形態による主制御部10−1は、図2に示すように、ユーザ情報取得部101、ユーザ情報記録制御部102、好み判断部103、支援内容決定部104、および実行部105として機能する。
ユーザ情報取得部101は、ユーザに関する情報を、実世界情報取得部11や各種生体センサ12、スケジュール情報DB13等から取得する。具体的には、ユーザ情報取得部101は、実世界情報取得部11から、ユーザの現在位置や移動速度、運動量、ユーザによるSNS/ブログ、電子掲示板、電子メール等への書き込み内容、音声入力内容、インターネットを利用したネットショッピングの履歴、Web閲覧履歴等を取得する。また、ユーザ情報取得部101は、各種生体センサ12から、ユーザの心拍数や発汗量等(生体情報、感情情報)を取得する。また、ユーザ情報取得部101は、スケジュール情報DB13から、ユーザのスケジュール情報(行動情報)を取得する。
ユーザ情報記録制御部102は、ユーザ情報取得部101により取得されたユーザ情報をユーザ情報記録部14に記録するよう制御する。また、ユーザ情報記録制御部102は、ユーザの性別、年齢といった属性情報等もユーザ情報記録部14に記録する。ユーザの性別、年齢等の属性情報は、音声入力によりユーザが入力した内容に基づいてもよいし、各種生体センサ12や、撮像部3から取得した情報に基づいて判断されてもよい。
好み判断部103は、ユーザ情報記録部14に記録されているユーザ情報に基づいて、ユーザの好みを判断する。例えば、好み判断部103は、SNS/ブログへの書き込み内容や、ネットショッピングの購入履歴等から、ユーザの好みを判断する。さらに、好み判断部103は、撮像部3により撮像されたユーザの眼の撮像画像に基づいて算出される瞳孔の大きさの変化や、各種生体センサ12から取得される心拍数、発汗量等に基づいて、ユーザが自覚していない潜在意識レベルでの好みを判断することができる。
また、好み判断部103は、ユーザ情報に基づいて判断したユーザの好みのレベルを設定する。本実施形態における好みレベルについて、図3を参照して説明する。図3は、本実施形態による好みレベルについて説明するための図である。図3に示すように、人間の好みは、他人に知られても構わない好み(パブリックレベルL1)と、他人に知られたくない好み(プライベートレベルL2)と、潜在意識レベルで本人も自覚していない好み(潜在レベルL3)が含まれる。なお、好み判断部103は、他人に知られても構わない好み(パブリックレベルL1)のうち、図3に示すように、特定範囲(グループ)の他人に知られても構わない好み(リミテッドパブリックレベルL1’)を設定することも可能である。このように、本実施形態による好みレベルは、ユーザ自身が自覚している好みであるか否か、および他者に公開可能な好みであるか否かに応じたレベルに応じている。
好み判断部103は、ユーザ個人が特定され得るSNS/ブログ等における不特定多数に公開されているページで、例えばハワイに関してポジティブな表現がなされている場合、「ハワイが好き」と判断し、パブリックレベルに設定する。また、好み判断部103は、ユーザ個人が特定され得るSNS/ブログ等では書込みがないが、ネットショッピング履歴やインターネットの検索履歴、Web閲覧履歴等では「焼き芋」の購入履歴や検索履歴等がある場合、「実は焼き芋が好き」と判断し、プライベートレベルに設定する。また、好み判断部103は、生体情報に基づいて、特定の人物といる場合の緊張度が高い場合、「〜さんが好き」と判断し、潜在レベルに設定する。
支援内容決定部104は、好み判断部103により判断されたユーザの好みを支援するための支援内容を決定する。例えば、支援内容決定部104は、ユーザの好みに合った商品またはサービスに関する情報を表示する支援内容に決定してもよいし、ユーザの好みに合った商品またはサービスの提供場所にユーザを誘導する支援内容に決定してもよい。ユーザの好みに合った商品、サービスに関する情報、提供場所等の情報は、ユーザの好みを検索キーワードとしてネットワーク上の各種ニュースサイト、掲示板、SNS、Webサイト等にアクセスすることで収集され得る。この際、支援内容決定部104は、支援パターンDB15を照合して、ユーザの好みに関連する用語を導き出して検索キーワードとして用いてもよい。例えばユーザの好みが「ハワイ」の場合、支援内容決定部104は、支援パターンDB15を照合して、「ハワイ」に紐付けられる関連用語「ワイキキ」、「ハワイアンジュエリー」、「キラウエア火山」等を導き出し、導き出した関連用語を検索キーワードに含めてWebサイト等にアクセスし、ユーザの好みである「ハワイ」に関連する情報を収集する。
実行部105は、支援内容決定部104により決定された支援内容を、提示デバイス16を用いて実行する。この際、実行部105は、好み判断部103により設定された好みレベルに応じた方法で、支援内容を実行する。ここで、支援内容を実行する方法には、支援内容を表示部2に提示したり音声出力部5から再生したりする直接的な方法と、ユーザが無意識に所定の行動を行うよう潜在意識に働きかける間接的な方法とがある。
実行部105は、ユーザ自身が自覚している不特定多数に公開可能な好みレベル(すなわち「パブリック」レベルL1)の場合、ユーザの周囲に人がいるか否かに関わらず、直接的に支援内容を実行する。
また、実行部105は、ユーザ自身が自覚している特定範囲に公開可能な好みレベル(すなわち「リミテッドパブリック」レベルL1’)の場合、ユーザの周囲に居る人が特定範囲の人であるとき(または周囲に人がいないとき)に直接的に支援内容を実行する。なおユーザの周囲に特定範囲の人がいるか否かは、撮像レンズ3aで撮像された撮像画像の顔認識や、音声入力部6により収音された音声の話者認識等に基づいて判断され得る。
また、実行部105は、ユーザ自身が自覚している不特定多数に非公開の好みレベル(すなわち「プライベート」レベルL2)の場合、ユーザの周囲に人(または知人)がいないとき(ユーザが独りでいるとき)に直接的に支援内容を実行する。なおユーザの周囲に人(または知人)がいるか否かは、撮像レンズ3aで撮像された撮像画像や、音声入力部6により収音された環境音/騒音等に基づいて認識され得る。
さらに、実行部105は、ユーザ自身が自覚していない好みレベル(すなわち「潜在」レベルL3)の場合、潜在意識に働きかけてユーザに意識させないよう間接的に支援内容を実行する。また、潜在的な嗜好は他人に知られたくない場合も想定されるので、実行部105は、「プライベート」レベルL2の場合と同様に、ユーザの周囲に人(または知人)がいないとき(ユーザが独りでいるとき)に間接的に支援内容を実行するようにしてもよい。
ここで、表示部2や音声出力部5を用いた間接的な支援内容の実行方法としては、例えば、明度変更、彩度変更、アスペクト比変更、回転、エコー/ディレイ、ディストーション/フランジャー等を用いる方法が考えられる。以下、表1に、画像/音声処理方法とその用途の一例について示す。なお下記表1の各画像処理(明度変更、彩度変更等)における用途例は、本実施形態による行動支援装置がHMD1で実現されている場合に、ユーザの視線方向を撮像レンズ3aで撮像した撮像画像の少なくとも一部を処理して表示部2に表示することで間接的に支援する場合を前提とする。
Figure 2015043148
以上、実行部105により支援内容を実行する際に、好み判断部103により設定された好みレベルL1、L1’、L2、L3に応じて、ユーザの周囲の環境(人がいるか否か等)の考慮の有無および支援内容の実行方法(直接的/間接的)について説明した。なお、ユーザが他のことに集中している場合に支援内容を実行しても効果が低いことが想定されるので、実行部105は、ユーザが他のことに集中していないときに支援内容を提示するようにすることで効果を高めることも可能である。
(実世界情報取得部)
実世界情報取得部11は、ユーザの周囲状況、環境情報、ネットワーク上の所定サーバに格納されている情報等の実世界(外界)情報を取得する。具体的には、実世界情報取得部11は、図2に示すように、撮像部3、音声入力部6、位置測定部7、加速度センサ8、および通信部9を含む。
撮像部3は、図1に示す撮像レンズ3a、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイにより実現されてもよい。撮像レンズ3aは、図1に示すように、HMD1がユーザに装着された状態においてユーザの視線方向を撮像するよう前方に向けて設置されている。
音声入力部6は、図1に示したマイクロホン6a、6bと、そのマイクロホン6a、6bで得られた音声信号を増幅処理するマイクアンプ部やA/D変換器および音声信号処理部を有する。音声入力部6は、収音した音声データに対して、音声信号処理部によりノイズ除去、音源分離等の処理を行う。そして音声入力部6は、処理した音声データを主制御部10−1に供給する。本実施形態によるHMD1は、音声入力部6を備えることで、例えばユーザによる音声入力を可能にする。
位置測定部7は、外部からの取得信号に基づいてHMD1の現在位置情報を取得する機能を有する。位置測定部7は、例えばGPS(Global Positioning System)測位部により実現される。GPS測位部は、GPS衛星からの電波を受信して、HMD1が存在している位置(現在位置)を測位する。なお、位置測定部7は、GPS測位部の他、Wi−Fi(登録商標)や、他の携帯電話・PHS・スマートフォン等との送受信、または近距離通信等により現在位置情報を取得して現在位置を測定することも可能である。
加速度センサ8は、HMD1の動きを検出するためのモーションセンサの一例である。HMD1は、加速度センサ8の他、さらにジャイロセンサを有していてもよい。また、加速度センサ8やジャイロセンサの検知結果により、ユーザが徒歩、自転車、または自動車のいずれで移動しているかが判定され、また、ユーザの運動量も検出され得る。
通信部9は、外部機器との間でのデータの送受信を行う。通信部9は、例えば無線LAN(Local Area Network)、Wi−Fi(Wireless Fidelity、登録商標)、赤外線通信、Bluetooth(登録商標)等の方式で、外部機器と直接、またはネットワーク20を介して通信する。具体的には、通信部9は、図2に示すように、SNS/ブログサーバ30や環境情報サーバ40と、ネットワーク20を介して通信する。なお環境情報サーバ40には、環境情報として、各地の天候、気温、湿度、降水量、風向き、風力等の情報が記憶されている。
(各種生体センサ)
各種生体センサ12は、ユーザの生体情報を検知するためのセンサであって、具体的には、脳波センサ、心拍(脈拍)センサ、発汗センサ、体温センサ、筋電センサ等により実現される。また、上述した撮像部3も生体センサの一例として用いることが可能である。具体的には、HMD1がユーザに装着された状態において、ユーザの眼を撮像するよう内側に向けて撮像レンズが設置されている場合、当該撮像レンズから取得される撮像画像に基づいて、瞳孔の大きさ(生体情報の一例)や眼球運動が検出され得る。また、各種生体センサ12は、HMD1に設けられる他、HMD1とは別体に設けられ、ユーザに直接装着されていてもよい。この場合、各種生体センサ12は、検知した生体情報をHMD1に送信する。
ここで、各種生体センサ12が検知する指標に基づいて取得され得る情報の一例を、下記表2に示す。
Figure 2015043148
(スケジュール情報DB)
スケジュール情報DB13は、予め入力されたユーザのスケジュール情報を格納する。
(ユーザ情報記録部)
ユーザ情報記録部14は、ユーザ情報記録制御部102による制御にしたがって、ユーザ情報取得部101で取得されたユーザ情報を記録する。
(支援パターンDB)
支援パターンDB15は、支援内容決定部104が支援内容を決定する際に、ユーザの好みに関する情報を収集するために利用される検索キーワードを関連付けて格納する。例えば、「ハワイ」という用語に、「ワイキキ」、「ハワイアンジュエリー」、「キラウエア火山」等のキーワードが関連付けて格納されている。
(提示デバイス16)
提示デバイス16は、実行部105による制御にしたがって、支援内容を直接的/間接的に提示する。具体的には、提示デバイス16は、図2に示すように、表示部2、照明部4、および音声出力部5を含む。
表示部2は、例えば液晶ディスプレイにより実現され、図1に示すように、HMD1がユーザに装着された状態で、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対で配置される。また、表示部2は、実行部105の制御にしたがって、スルー状態または非スルー状態としたり、画像を表示したりする。
照明部4は、図1に示した発光部4aとその発光部4aを発光させる発光回路から成る。照明部4における発光部4aが図1に示したように前方に対する照明を行うものとして取り付けられていることで、照明部4はユーザの視界方向に対する照明動作を行うことになる。
音声出力部5は、図1に示した一対のイヤホンスピーカ5aと、そのイヤホンスピーカ5aに対するアンプ回路を有する。また、音声出力部5は、いわゆる骨伝導スピーカとして構成されてもよい。音声出力部5は、主制御部10−1による制御に従って、音声信号データを出力(再生)する。
以上、本実施形態によるHMD1の構成について具体的に説明した。続いて、本実施形態による行動支援の動作処理について詳細に説明する。
<2−2.動作処理>
上述したように本実施形態によるHMD1は、ユーザの好みおよび好みレベルを判断し、好みレベルに応じた方法で、ユーザの好みに応じた行動支援を行う。ここで、まず図4〜図7を参照して、ユーザの好みレベルの判断処理について具体的に説明する。
(2−2−1.好みレベル判断処理)
図4は、ユーザの好みレベルの一例である「パブリック」(他人に知られても構わない好みレベル)および「プライベート」(他人に知られたくない好みレベル)を判断する動作処理を示すフローチャートである。図4に示す動作処理は、定期的/不定期的に行われ、好みレベルの判断が常に最新の状態にされていてもよい。
図4に示すように、まず、ステップS103において、HMD1の主制御部10−1に含まれる好み判断部103は、好みレベル判断処理のトリガを検出し、検索ワードを特定する。好み判断部103は、定期的/不定期的に、ユーザ情報記録部14に記録されるユーザ情報から新たな(まだ好み判断を行っていない)キーワードが抽出された場合、好みレベル判断処理のトリガを検出したと認識し、抽出したキーワードを検索ワードに特定する。ユーザ情報記録部14に記録されるユーザ情報は、例えばスケジュール情報、撮像画像に基づくユーザの視認対象情報、ユーザの発言を収音した音声入力情報、通信部9を介して取得されるSNS/ブログへのユーザによる書込み情報、メール送信内容等である。
次いで、ステップS106において、好み判断部103は、ユーザのSNS、ブログ、メール等の情報から検索ワード「焼き芋」に関する書込みがあるか否かを判断する。SNSやブログ、メール等は、特定または不特定多数の他人に内容が公開されるものであるので、このような形式で検索ワード「焼き芋」についてユーザが自ら書き込んでいる場合、「焼き芋」に関するユーザの思想は、他人に知られてもよいものであると判断される。
検索ワード「焼き芋」に関する書込みがある場合(S109/Yes)、ステップS112において、好み判断部103は、「焼き芋」の『好き度』を判断する。好み判断部103による『好き度』の算出処理については、図5を参照して後述する。
次に、ステップS115において、好み判断部103は、算出した『好き度』が閾値を超えているか否かを判断する。
次いで、『好き度』が閾値を超えている場合(S115/Yes)、ステップS118において、好み判断部103は、検索ワード「焼き芋」についての書き込みがあったSNSの公開相手や、検索ワード「焼き芋」についての書き込みがあったメールの送信相手の情報を取得する。
続いて、ステップS121において、好み判断部103は、「焼き芋」の好みレベルを『パブリック』に設定する。上述したように、SNS等は特定または不特定多数の他人に内容が公開されるものであるので、SNS等において検索ワード「焼き芋」についてポジティブな内容をユーザが自ら書き込んでいる場合、「焼き芋」が好きであることは他人に知られてもよいものであると判断される。
次に、ステップS124において、好み判断部103は、上記S118で取得した公開可能な相手をリスト(ホワイトリストとも称す)に追加する。
一方、上記S109でSNS等に検索ワード「焼き芋」に関する書込みがなかった場合(S109/No)、または、上記S115で算出した『好き度』が閾値を超えなかった場合(S115/No)、ステップS127において、好み判断部103はネットの検索履歴等を検索する。具体的には、好み判断部103は、ユーザ情報記録部14に記録されているユーザのネットショッピングの購入履歴、ネットの検索履歴、またはWeb閲覧先等の情報から検索ワード「焼き芋」を検索する。
次いで、ステップS130において、好み判断部103は、検索ワード「焼き芋」の購入履歴、検索履歴、または閲覧履歴等が複数回あるか否かを判断する。
次に、検索ワード「焼き芋」の購入履歴等が複数回ない場合(S130/No)、ステップS133において、好み判断部103は、購入履歴、ネットの検索履歴、Web閲覧先、プライベートメモデータ等から、検索ワード「焼き芋」に関するユーザによる書込みがあるか否かを判断する。
続いて、「焼き芋」に関する書込みがある場合(S130/Yes)、ステップS136において、好み判断部103は、検索ワード「焼き芋」の『好き度』を算出する。好み判断部103による『好き度』の算出処理については、図5を参照して後述する。
次に、ステップS139において、好み判断部103は、算出した『好き度』が閾値を超えているか否かを判断する。
次いで、『好き度』が閾値を超えている場合(S139/Yes)、および上記S130において「焼き芋」の購入履歴等が複数回ある場合(S130/Yes)、ステップS142において、好み判断部103は、「焼き芋」の好みレベルを『プライベート』に設定する。ネットショッピング履歴やプライベートメモデータ等は、内容が他人に非公開のものであるので、このような非公開の手段で検索ワード「焼き芋」についてポジティブな内容をユーザが自ら書き込んでいる場合、「焼き芋」が好きであることは他人に知られたくないものであると判断される。
以上、本実施形態によるパブリックおよびプライベートを判断する処理について具体的に説明した。次に、上記S112、S136における好み判断部103による『好き度』の算出について、図5を参照して具体的に説明する。
図5は、本実施形態による『好き度』の算出処理を示すフローチャートである。図5に示すように、まず、ステップS203において、好み判断部103は、検索ワード「焼き芋」が検出された文章を形態素解析する。具体的には、好み判断部103は、上記S112における『好き度』算出の場合では、検索ワード「焼き芋」が検出されたSNSやブログ等の文章を解析し、上記S136における『好き度』算出の場合では、検索ワード「焼き芋」が検出されたネット検索履歴やプライベートメモ等の文章を解析する。
次いで、ステップS206において、好み判断部103は、形態素解析により分解した単語の意味に基づいて、各単語のネガティブ/ポジティブを判断する。
続いて、ステップS209において、好み判断部103は、ネガティブ/ポジティブ単語の係り受けに基づいて文章全体のネガティブ/ポジティブを判断する。
そして、ステップS212において、好み判断部103は、ネガティブ/ポジティブ単語や、ネガティブ/ポジティブな言い回しの数、文章全体のネガティブ/ポジティブ、また、各ネガティブ/ポジティブ度合いに応じて、『好き度』を数値化する。
以上、上記S112、S136における好み判断部103による『好き度』の算出について詳細に説明した。続いて、好み判断部103による他の好みレベルの判断処理について図6を参照して説明する。
図6は、ユーザの好みレベルの一例である「潜在」(潜在意識レベルで本人も自覚していない好みレベル)を判断する動作処理を示すフローチャートである。図6に示す処理は、リアルタイムで取得した生体情報に基づいて行われる。また、本フローでは、生体情報の一例として心拍数、発汗量(皮膚電気抵抗)、および瞳孔の大きさを用いているが、この他脳波等を用いてもよい。
図6に示すように、まず、ステップS153において、好み判断部103は、ユーザ情報記録部14に記録された、撮像レンズ3aでユーザの視線方向を撮像した撮像画像に基づいて、ユーザの視認対象を認識する。なお、HMD1において、ユーザの眼を撮像するよう内側に向けて他の撮像レンズが設けられている場合、好み判断部103は、ユーザの眼の画像に基づくユーザの視線方向を考慮して、より正確にユーザの視認対象を認識することができる。また、好み判断部103は、視認対象が人物の場合、顔認識等を行い、人物の識別を行う。
次に、ステップS156において、好み判断部103は、ユーザ情報記録部14に記録された、各種生体センサ12の一例である心拍センサによりリアルタイムで検知されたユーザの心拍数を取得する。
次いで、ステップS159において、好み判断部103は、取得した心拍数が閾値を超えるか否か判断する。
次に、心拍数が閾値を超えない場合(S159/No)、ステップS162において、好み判断部103は、ユーザ情報記録部14に記録された、各種生体センサ12の一例である発汗センサによりリアルタイムで検知されたユーザの発汗量(皮膚電気抵抗値)を取得する。
次いで、ステップS165において、好み判断部103は、取得した皮膚電気抵抗値が閾値以下か否か判断する。ここで、発汗量が多い程、皮膚電気抵抗値は低くなる。したがって、皮膚電気抵抗値が閾値以下か否かを判断することで、発汗量が所定量以上(平常時以上)であるか否かを判断することができる。
続いて、皮膚電気抵抗値が閾値以下の場合(S165/Yes)、又は心拍数が閾値を超える場合(S159/Yes)、ステップS168において、好み判断部103は、ユーザ情報記録部14に記録された、加速度センサ8による検知結果に基づいて過去所定時間分(例えば数分から数十分)の運動量を取得する。
次いで、ステップS171において、好み判断部103は、取得した運動量が閾値以下か否か判断する。通常、運動量が多い程、汗が出たり心拍数が上がったりするので、運動量が多い場合、検知した発汗量や心拍数のデータは本処理の『好き度』の算出に用いないためである。
次に、運動量が閾値以下の場合(S171/Yes)、ステップS174において、好み判断部103は、心拍数および発汗量(皮膚電気抵抗)に応じて、上記S153で認識した対象物(ユーザの視認対象)に対するユーザの緊張度を(一時的に)記録する。
次いで、ステップS177において、好み判断部103は、ユーザの瞳孔サイズに基づいて『好き度』を算出する。かかるユーザの瞳孔サイズに基づく『好き度』の算出処理については、図7を参照して後述する。
次に、ステップS178において、好み判断部103は、算出した『好き度』に、上記S174で記録した緊張度に応じた係数をかける。なお上記S171で、運動量が閾値を上回ると判断されたために(S171/No)緊張度が記録されていない場合、好み判断部103は、何ら係数はかけない。
続いて、ステップS180において、好み判断部103は、『好き度』が閾値を超えているか否かを判断する。
そして、閾値を超えている場合、ステップS183において、好み判断部103は、認識した対象物(ユーザの視認対象)の好みレベルを『潜在』に設定する。本処理では、心拍数、発汗量、瞳孔の大きさといった、ユーザが顕在意識でコントロールすることができない生体情報に基づいて、視認対象に対する『好き度』を算出し、好みであるか否かを判断している。したがって、このように判断された好みは、ユーザ自身は気付いていない潜在レベルでの好みであると言える。
以上、本実施形態による潜在レベルの好みを判断する処理について具体的に説明した。次に、上記S177における瞳孔サイズに基づく『好き度』の算出について、図7を参照して具体的に説明する。ここで、人間の瞳孔は、興味のある異性や物を見ているときに大きくなることが、Chicago大学のHessらの一連の研究により知られている。したがって、本実施形態による好み判断部103は、瞳孔の大きさの変化に基づいて、ユーザが無意識に興味を示す(潜在意識レベルで好む)対象(物/人物)を推定することができる。
図7は、本実施形態による瞳孔サイズに基づく『好き度』の算出処理を示すフローチャートである。図7に示すように、まず、ステップS233において、好み判断部103は、ユーザ情報記録部14に記録された、過去所定時間分のユーザの瞳孔の大きさの変化を取得する。ユーザの瞳孔の大きさの変化は、HMD1において、ユーザの眼を撮像するよう内側に向けて設けられた撮像レンズ(不図示)により継続的に撮像されたユーザの眼の画像に基づいて取得される。
次に、ステップS236において、好み判断部103は、ユーザ情報記録部14に記録された、過去所定時間分の環境光の大きさの変化を取得する。環境光の変化は、実世界情報取得部11の一例である照度センサ(不図示)に基づいて継続的に検知されてもよいし、撮像レンズ3aにより継続的に撮像された撮像画像に基づいて取得されてもよい。
次いで、ステップS239において、好み判断部103は、環境光の大きさの変化が閾値以上であるか否かを判断する。
次に、環境光の大きさの変化が閾値以上である場合(S239/Yes)、ステップS242において、好み判断部103は、『好き度』の算出数値として「0」を返す。すなわち、人間の瞳孔は、通常、光の量に反応し、暗い所では大きく、明るい所で小さくなるので、環境光の変化によって瞳孔の変化が生じた場合、感情に反応した瞳孔の変化とは言えないためである。
一方、環境光の大きさの変化が閾値を下回る場合(S239/No)、ステップS245において、好み判断部103は、瞳孔が閾値以上開いたか否かを判断する。すなわち、環境光の大きさの変化が小さいにも関わらず瞳孔の大きさが変化した場合、感情に反応した瞳孔の変化と言える。上述したように、人間の瞳孔は、興味のある異性や物を見ているときに大きくなるので、好み判断部103は、瞳孔が閾値以上開いたか否かを判断することで、ユーザが視線対象を好んでいるか否かを判断することができる。
そして、瞳孔が閾値以上開いた場合(S245/Yes)、ステップS248において、好み判断部103は、瞳孔の拡大量に応じて数値化(算出)した『好き度』を返す。
以上、本実施形態の好み判断部103による好みの判断と、好みレベル(パブリックレベル、プライベートレベル、潜在レベル)の設定について、図4〜図7を参照して具体的に説明した。続いて、本実施形態による行動支援処理について図8〜図10を参照して説明する。
(2−2−2.行動支援処理)
本実施形態による行動支援処理では、一例として、好みレベルとユーザの周囲に人がいるか否かといった環境をスコア化する。図8は、好みレベルとユーザの周囲に人がいるか否かといった環境をスコア化した表の一例を示す図である。図8左に示すスコア表は、好みレベルをスコア化したLS(Level Score)表31である。LS表31に示すように、例えばパブリックレベルL1のスコアを2、リミテッドパブリックレベルL1’のスコアを1、プライベートレベルL2および潜在レベルL3のスコアを0とする。
図8右に示すスコア表は、ユーザの周囲の人の状況をスコア化したAOS(Around One Score)表32である。AOS表32に示すように、例えばユーザの周囲に不特定多数の人がいる場合のスコアを2、特定範囲の人がいる場合のスコアを1、人がいない、すなわちユーザが独りでいる場合のスコアを0とする。
図9および図10は、第1の実施形態による行動支援処理を示すフローチャートである。ここでは、ユーザの好みの一例として「焼き芋」を用いて、「焼き芋」に関する行動支援(「焼き芋」の店の情報提示や「焼き芋」の店までの誘導等)を実行する際の処理について説明する。図9に示すように、まず、ステップS303において、支援内容決定部104は、好み判断部103に設定された「焼き芋」の好みレベルのスコア(LS)を取得する。
次に、ステップS306において、実行部105は、ユーザの周囲の人の状況のスコア(AOS)を取得する。ユーザの周囲の人の状況は、撮像レンズ3aで撮像された撮像画像の顔認識や、音声入力部6により収音された音声の話者認識等に基づいて認識され得る。
次いで、ステップS309において、実行部105は、好みレベルのスコア(LS)がユーザの周囲の人の状況のスコア(AOS)以上か否かを判断する。LSがAOS以上ではない場合(S309/No)、本実施形態による行動支援は行わない。すなわち、好みレベルがリミテッドパブリックレベルL1’(LS=1)や、プライベートレベルL2(LS=0)および潜在レベル(LS=0)の場合に、ユーザの周囲に不特定多数の人が居る場合(AOS=2)、本実施形態による行動支援は行わない。また、好みレベルがプライベートレベルL2(LS=0)および潜在レベル(LS=0)の場合に、ユーザの周囲に特定範囲の人が居る場合も(AOS=1)、本実施形態による行動支援は行わない。
続いて、ステップS312において、実行部105は、ユーザの周囲の人の状況のスコア(AOS)が0であるか否かを判断する。
次に、ユーザの周囲の人の状況のスコア(AOS)が0である場合、すなわちユーザの周囲に人がいない(ユーザが独りでいる)場合(S312/Yes)、ステップS315において、実行部105は、好み判断部103により設定された「焼き芋」の好みレベルを取得する。
次いで、「焼き芋」の好みレベルが潜在レベルL3である場合(S318/Yes)、ステップS321において、実行部105は、ユーザの集中度を取得する。ユーザの集中度は、例えば各種生体センサ12により検知される脳波や、ユーザの視線方向などに基づいて取得される。
そして、ユーザの集中度が閾値以下の場合(S324/Yes)、ステップS327において、実行部105は、支援内容決定部104により決定された支援内容(「焼き芋」の店への誘導等)を、ユーザの潜在意識に働きかけるよう間接的に実行する。実行部105による間接的な支援内容の実行方法については、後述の「2−3.間接的な行動支援方法」において具体的に説明する。なお図9に示すフローでは、集中度が閾値以下の場合に支援内容を実行することにより、より効果的に潜在意識への働きかけを行っているが、本実施形態による行動支援処理は図9に示すフローに限定されず、例えば集中度を考慮せずに支援内容を実行してもよい。
一方、上記S318において、好みレベルが潜在レベルL3ではない場合(S318/No)、かつユーザの集中度が閾値以下であれば(S330、S333/Yes)、ステップS336において、実行部105は、支援内容を直接的に実行する。好みレベルが潜在レベルL3ではない場合とは、ここでは、好みレベルがプライベートレベルL2、リミテッドパブリックレベルL1’、またはパブリックレベルL1であることが想定される。
次に、上記S312において、ユーザの周囲の人の状況のスコア(AOS)が0ではない場合、すなわちユーザの周囲に人がいる場合(S312/No)、図10に示すステップS339において、実行部105は「焼き芋」の好みレベルを取得する。
次いで、「焼き芋」の好みレベルがリミテッドパブリックレベルL1’である場合(S342/Yes)、ステップS345において、実行部105は、ユーザの周囲にいる人の情報(周囲にいる人が誰であるかを示す情報)を取得する。ユーザの周囲にいる人の情報は、撮像レンズ3aで撮像された撮像画像の顔認識や、音声入力部6により収音された音声の話者認識等に基づいて認識され得る。
次に、ステップS348において、実行部105は、「焼き芋」の好みを知られてもよい相手を示すホワイトリストを取得する。当該ホワイトリストは、図4に示すステップS124において公開可能な相手を追加することで作成されるリストである。
次いで、ステップS351において、実行部105は、ユーザの周囲にいる人が全員ホワイトリストに含まれているか否かを判断する。
続いて、全員ホワイトリストに含まれている場合(S351/Yes)、ステップS354において、実行部105は、現在のユーザにとって「焼き芋」に関する促進方向の行動支援(「焼き芋」の店の情報提示や「焼き芋」の店までの誘導等)が利益的であるか否かを判断する。例えば、ユーザの身体に害がある、経済的な損害を与える、ユーザがダイエット中である場合等は、「焼き芋」に関する促進方向の行動支援はユーザにとって不利益であると判断する。
不利益であると判断した場合(S354/No)、ステップS360において、実行部105は、抑制方向の支援内容を直接的に実行する。抑制方向の支援内容とは、「焼き芋」の存在をユーザに気付かせない支援であって、具体的には、例えば「焼き芋」の店を避ける道に誘導する内容等である。
一方、利益であると判断した場合(S354/Yes)、ステップS357において、実行部105は、促進方向の支援内容を直接的に実行する。促進方向の支援内容とは、「焼き芋」の存在をユーザに気付かせる支援であって、具体的には、例えば「焼き芋」の店を通る道に誘導する内容等である。
続いて、上記ステップS342でリミテッドパブリックレベルL1’ではないと判断された場合(S342)、ステップS363において、実行部105は、(促進方向の)支援内容を直接的に実行する。なお好みレベルがリミテッドパブリックレベルL1’ではない場合とは、ここでは、好みレベルがパブリックレベルL1であることが想定される。
<2−3.間接的な行動支援方法>
次に、ユーザの潜在意識に働きかける間接的な行動支援方法の一例について図11〜図12を参照して説明する。
図11は、実空間を撮像した撮像画像の一部を変化して提示することで間接的な行動支援を行う場合の一例を示す図である。ここでは、実行部105は、左右に道が分かれる状況において、右側の道D2をユーザに無意識に選択させるという行動支援を行う。
具体的には、実行部105は、図11左に示すように、撮像画像に写る左側の道D1が上り坂に見えるよう画像の一部(領域22)を変形した画像P2を生成し、表示部2に表示する。この場合、ユーザは、無意識に上り坂(左側の道D1)よりも平地(右側の道D2)を選択する傾向があるので、実行部105は、自然でストレスの少ない支援を行うことができる。
また、実行部105は、図11右に示すように、撮像画像に写る左側の道D1が暗く見えるよう画像の一部(領域23)の明度を変化させた画像P3を生成し、表示部2に表示する。この場合、ユーザは、無意識に暗い道(左側の道D1)よりも明るい道(右側の道D2)を選択する傾向があるので、実行部105は、自然でストレスの少ない支援を行うことができる。
図12は、地図画像の一部を変化して提示することで間接的な行動支援を行う場合について説明するための図である。図12左に示す地図画像P4は、実行部105による画像処理前の画像である。地図画像P4を見た場合、通常、ユーザは、現在地Sから目的地Gまでの道が最短距離となるルートR1を選択する。
しかしながら、支援内容決定部104が、ルートR1ではなく、ユーザが潜在的に好むと判断された物が提供されている店舗24の前を通るルートR2にユーザを誘導するという行動支援内容に決定した場合、実行部105は、図12右に示す地図画像P5を生成する。
具体的には、実行部105は、元画像である地図画像P4の一部を歪めて、ルートR2が、現在地Sから目的地Gまでの最短距離のように見え、ルートR1は、ルートR2より長い距離であるように見える地図画像P5を生成して表示部2に表示する。また、図12右に示す地図画像P5は、ルートR2の道幅が他の道幅より太くなるよう変形されている。この場合、ユーザは、目的地Gまでの距離が長く見えるルートR1よりも、目的地Gまでの距離が最短に見え、また、幹線道路のように道幅の広いルートR2を無意識に選択する傾向があるので、実行部105は、自然でストレスの少ない支援を行うことができる。
<<3.第2の実施形態>>
以上説明した第1の実施形態による行動支援装置は、個人の行動支援が主であったが、本開示による行動支援装置は個人の行動支援に限定されず、例えば別々に行動している複数人に対して、それぞれの関係性に基づいて最適な行動支援を行う行動支援システムも実現可能である。以下、図13〜図16を参照して具体的に説明する。
<3−1.全体構成>
図13は、第2の実施形態による行動支援システムの全体構成を説明するための図である。図13に示すように、行動支援システムは、複数のHMD1A、1B、および行動支援サーバ50(本開示による行動支援装置の一例)を含む。複数のHMD1A、1Bは、それぞれ異なるユーザ60A、60Bに装着されている。また、複数のHMD1A、1Bは、ネットワーク20を介して行動支援サーバ50と無線接続し、データの送受信を行う。なおネットワーク20には、SNS/ブログサーバ30および環境情報サーバ40等の各種サーバが接続され得る。
行動支援サーバ50は、HMD1Aからユーザ60Aの情報を取得し、また、HMD1Bからユーザ60Bの情報を取得し、各ユーザ情報に基づいて二人の関係性に応じた行動支援を実行するようHMD1A、1Bを制御する。例えば、未婚の男女で互いの好みがマッチする組み合わせを見つけ、二人が自然に出会うよう、HMD1A、1Bで同じ店や場所に間接的に誘導することで、二人が出会う確率を高めることができる。
また、行動支援サーバ50は、ユーザ60A、60Bが互いにやりとりしているメールの内容や、SNSまたはブログでの書き込み、二人の共通の友人の書き込み等から二人の関係の良し悪しを判断することも可能である。これにより、例えば二人が喧嘩している(関係が悪い)と判断した場合、行動支援サーバ50は、互いが鉢合わせしないよう、HMD1A、1Bで、別々の道や場所、店等に間接的に誘導する。一方、仲が良い(関係が良好)と判断した場合、行動支援サーバ50は、互いを引き合わせるよう、HMD1A、1Bで、同じ道や場所、店等に間接的に誘導する。
以上、第2の実施形態による行動支援システムの概要について説明した。続いて、本実施形態による行動支援システムに含まれる行動支援サーバ50の構成について図14を参照して説明する。なおHMD1A、1Bの構成は第1実施形態において説明したHMD1の構成と同様であるのでここでの説明は省略する。
<3−2.行動支援サーバ50の構成>
図14は、第2の実施形態による行動支援サーバ50の構成の一例を示すブロック図である。図14に示すように、行動支援サーバ50(行動支援装置の一例)は、主制御部51、通信部52、ユーザ情報記録部54、および支援パターンDB(データベース)55を含む。また、各ユーザの関係性に応じた行動支援を行う場合、行動支援サーバ50は、さらに関係性判断部516を含んでいてもよい。
(主制御部)
主制御部51は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、行動支援サーバ50の各構成を制御する。
具体的には、本実施形態による主制御部51は、図14に示すように、ユーザ情報取得部511、ユーザ情報記録制御部512、好み判断部513、支援内容決定部514、および実行部515として機能する。
ユーザ情報取得部511は、ユーザに関する情報を、通信部52を介して、各HMD1A、1Bから取得する。各HMD1A、1Bは、それぞれユーザ情報記録部14に記録されているユーザ情報を、通信部9を介して行動支援サーバ50に送信する。
ユーザ情報記録制御部512は、ユーザ情報取得部511により取得されたユーザ情報(性別、年齢、既婚/未婚といった属性情報や現在位置情報等も含む)をユーザ情報記録部54に記録するよう制御する。
好み判断部513は、ユーザ情報記録部54に記録されている各ユーザ情報に基づいて、各ユーザ60A、60Bの好みを判断する。具体的には、好み判断部103は、ユーザの趣味嗜好といった好みや、異性の好みを判断する。かかる好みは、SNSやブログへのユーザによる書込み等に基づいて、ユーザが自ら意識している好み(パブリックレベル、プライベートレベルの好み)の他、ユーザが意識していない潜在意識レベルの好みも判断され得る。
関係性判断部516は、ユーザ情報記録部54に記録されている各ユーザ情報に基づいて、各ユーザの関係性の良し悪しを判断する。具体的には、関係性判断部516は、各ユーザのSNSやブログ、メール等の書き込み内容を解析し、ユーザ同士の関係(仲が良い/悪い(喧嘩中)、プライベートの友人関係、仕事関係等)を判断する。
支援内容決定部514は、好み判断部513により判断された各ユーザの好みに基づいて、趣味嗜好が一致する組み合わせや、互いに異性の好みが一致する未婚の異性の組み合わせを特定し、特定した組み合わせの二人(または二人以上)が出会うよう二人の行動を支援する内容に決定する。
この際、支援内容決定部514は、ユーザ情報に含まれる生体情報や属性情報等から各ユーザの状態を考慮した上で、支援パターンDB55を参照し、二人が出会う場所の情報を検索するための検索キーワードを抽出してもよい。例えば、互いの異性の好みが一致し、同じ好み(例えば「酒」)を有するユーザ60A、60Bが出会うよう二人の行動支援する内容に決定する場合、支援内容決定部514は、ユーザ情報記録部54に記録されているユーザ情報と、好み判断部513により判断された好みに基づいて、以下のように検索キーワードを抽出する。
まず、支援内容決定部514は、ユーザ60Aのユーザ情報に基づいて、ユーザ60Aは未婚の男性であって、リアルタイムで検知された生体情報に基づくと現在仕事のストレスが溜まっている状態であり、また、現在地がX地区であることを把握する。一方、支援内容決定部514は、ユーザ60Bのユーザ情報に基づいて、ユーザ60Bは未婚の女性であって、リアルタイムで検知された生体情報に基づくと現在仕事で疲れが溜まっている状態であり、また、現在地がY地区であることを把握する。
この場合、支援内容決定部514は、「酒」「女性」「疲れ」「一人」「X地区」「Y地区」という状況から、支援パターンDB55を参照し、「女性一人で気軽に入れるバー/飲み屋」「X地区およびY地区から近い」といった検索キーワードを抽出し、当該検索キーワードを用いて二人を引き合わせる場所の情報を収集する。
また、支援内容決定部514は、関係性判断部516により判断された各ユーザの関係性に応じて、特定のユーザ同士を引き合わせる、または特定のユーザ同士が出会わないよう支援する内容に決定することも可能である。
実行部515は、支援内容決定部514により決定された支援内容を、各HMD1A、1Bの提示デバイス16で実行させるための制御信号を生成し、通信部52を介して各HMD1A、1Bに送信する。この際、実行部515は、二人が出会うための行動であることを各ユーザに意識させずに、自然に出会うための行動を選択するよう各ユーザの潜在意識に働きかける間接的な方法を用いる。このような間接的な方法の一例を、図15を参照して説明する。
図15は、第2の実施形態による間接的な行動支援の一例を説明するための図である。図15に示すように、ユーザ60A、60Bが閲覧しているWeb画面P6のバナー広告スペース26A、26Bやストリーミング放送の広告スペースに、特定の同じバーの広告を表示させる。Web画面P6は、HMD1の表示部2に表示されてもよいし、HMD1とペアリングされたユーザのスマートフォンや携帯電話端末、PC端末等の表示部に表示されてもよい。これにより、ユーザ60A、60Bは、二人が出会うための行動であることを意識せずに、仕事の疲れやストレスが溜まっている状況下において仕事帰りに広告のバーにでも寄ろうかという気持ちが起き、無意識に決めたバーで互いの好みが一致した異性と出会うことができる。
(通信部)
通信部52は、外部機器との間でのデータの送受信を行う。本実施形態による通信部52は、HMD1A、1Bと直接、またはネットワーク20を介して通信する。
(ユーザ情報記録部)
ユーザ情報記録部54は、ユーザ情報記録制御部512による制御にしたがって、ユーザ情報取得部511で取得された各ユーザのユーザ情報を記録する。
(支援パターンDB)
支援パターンDB55は、支援内容決定部514が支援内容を決定する際の情報収集に利用される検索キーワードを関連付けて格納する。例えば、「酒」「女性」「疲れ」「一人」「〜地区」という用語に、「女性一人で気軽に入れるバー/飲み屋」「〜地区から近い」等のキーワードが関連付けて格納されている。
<3−3.動作処理>
以上、第2の実施形態による行動支援サーバ50の構成について説明した。次に、本実施形態による行動支援処理について図16を参照して具体的に説明する。
図16は、第2の実施形態による行動支援処理を示すフローチャートである。図16に示す動作処理は、定期的/不定期的に行われる。
図16に示すように、まず、ステップS403、S406において、各HMD1A、1Bは、各ユーザ情報記録部14に格納されるユーザ情報(SNS、ブログ、メール等の書き込み内容やスケジュール情報、現在位置情報、ユーザ属性情報等)を行動支援サーバ50に送信する。
次に、ステップS409において、行動支援サーバ50は、各HMD1A、1Bから取得したユーザ情報に基づいて、好み判断部513により各ユーザの好みを判断、または関係性判断部516により各ユーザの関係性を判断する。
次いで、ステップS412において、行動支援サーバ50の支援内容決定部514は、好み判断部513により判断された各ユーザの好みに応じて、または、関係性判断部516により判断された各ユーザの関係性に応じて、各ユーザの行動支援内容を決定する。具体的には、例えば支援内容決定部514は、異性の好みが一致する複数のユーザが出会うよう各ユーザの行動を支援する内容に決定する。また、支援内容決定部514は、関係性が良い複数のユーザが所定距離内に居る場合、当該ユーザが出会うよう各ユーザの行動を支援する内容に決定し、関係性が悪い複数のユーザが所定距離内に居る場合、当該ユーザが出会わないよう各ユーザの行動を支援する内容に決定する。
続いて、ステップS412において、行動支援サーバ50の実行部515は、支援内容決定部514により決定された行動支援内容を、各HMD1A、1Bの提示デバイス16で間接的に実行するための制御信号を生成する。
次に、ステップS418、S421において、行動支援サーバ50の通信部52は、実行部515により生成された制御信号を各HMD1A、1Bに送信する。
次いで、ステップS424、S427において、各HMD1A、1Bは、行動支援サーバ50から送信された制御信号にしたがって提示デバイス16により行動支援内容を間接的に実行する。
以上説明したように、第2の実施形態による行動支援システムでは、複数のユーザの異性の好みや関係性に応じて、各ユーザが互いに出会うよう、または出会わないよう複数のユーザの行動を支援することで、ユーザは、より快適な生活を送ることができる。また、このような行動支援の方法を、ユーザの潜在意識に働きかけるよう間接的に行うことで、直接的なアドバイスの提示による煩わしさやストレスを解消し、ユーザが無意識のうちにより快適な生活を送ることができる。
<<4.第3の実施形態>>
以上説明した第2、第3の実施形態では、ユーザの好みを判断し、ユーザの好みに応じた行動支援内容に決定し、また、ユーザの好みレベルに応じた方法で行動支援内容を実行している。特に、ユーザの潜在意識に働きかけるよう間接的に行動支援を行うことで、ユーザにストレスを与えずに自然に行動支援を行うことができる。ここで、本開示による行動支援装置は、上述した各実施形態に限定されず、例えばユーザがこれから行う行動を推定した上で、その行動に伴う不利益を避けるよう間接的に支援する行動支援装置も実施可能である。これにより、ユーザは、明確な目的を入力する手間をかけずに、また、煩わしいアドバイス等を受けることなく、より安全で快適な生活を送ることができる。
<4−1.HMD100の構成>
図17は、第3の実施形態によるHMD100(行動支援装置の一例)の構成を示すブロック図である。図17に示すように、HMD100は、主制御部10−2、実世界情報取得部11、各種生体センサ12、スケジュール情報DB13、ユーザ情報記録部14、支援パターンDB15、および提示デバイス16を含む。実世界情報取得部11、各種生体センサ12、スケジュール情報DB13、ユーザ情報記録部14、支援パターンDB15、および提示デバイス16の機能は、第1の実施形態と同様であるので、ここでの説明は省略する。
主制御部10−2は、図17に示すように、ユーザ情報取得部101、ユーザ情報記録制御部102、ユーザ行動推定部107、支援内容決定部108、および実行部109として機能する。ユーザ情報取得部101およびユーザ情報記録制御部102の機能は、第1の実施形態と同様であるのでここでの説明は省略する。
ユーザ行動推定部107は、ユーザ情報記録部14に記録されたユーザのスケジュール情報、SNS、ブログ、メール、チャットツール等のコミュニケーションツールから得られた情報に基づいて、ユーザの未来の行動を推定する。例えば、2013年6月14日の送信メールから「明日夜10時頃に横浜に着くよ」「直接家に行くからね」という内容が見つかった場合、ユーザ行動推定部107は、2013年の6月15日の夜10時に、ユーザは横浜駅から送信相手の家に行くという未来の行動を推定できる。
支援内容決定部108は、ユーザ行動推定部107で推定されたユーザの未来の行動において想定される不利益な状況を避ける行動(利益的な行動)を支援する内容に決定する。この際、支援内容決定部108は、ユーザ情報記録部14に記録されたユーザの現在の状態や、ユーザの属性情報等、および実世界情報取得部11により取得された実世界の情報(危険地帯の情報等)に基づいて、ユーザにとって不利益な状況を想定することができる。
例えば、支援内容決定部108は、ユーザの属性情報から「若い女性」、推定された行動の内容から「夜10時」「横浜駅」、実世界情報から「雨」、ユーザの現在の状態から「徒歩」といった検索キーワードを特定し、支援パターンDB15を参照して関連キーワードを抽出する。支援内容決定部108は、特定した検索キーワードと抽出した関連キーワードを用いて「横浜駅、治安、安全な通り」「横浜駅、明るい通り」「横浜駅、雨、水たまり」といったキーワードでネットワーク上のニュースサイト、掲示板、SNS等にアクセスして情報を収集する。これにより、支援内容決定部108は、治安のよい/悪い通りの位置や、明るい/暗い通りの位置、および水たまりができやすい場所等を特定することできる。そして、支援内容決定部108は、治安の悪い通りや暗い道、水たまりのできやすい場所等を避けるルートを支援する内容に決定することで、ユーザの未来の行動において想定される不利益な状況を避ける支援を行うことができる。ここで、図18を参照して支援内容決定部108による支援内容の決定の一例について説明する。
図18は、第3の実施形態におけるルート支援について説明するための図である。図18に示すように、ユーザが現在地S(例えば横浜駅)から目的地G(例えば友人宅)まで行くことが推定された場合、支援内容決定部108は、ネットワーク上から現在地S付近の情報を収集し、暗くて治安のよくない通り27や水たまりができやすい場所28を特定する。そして、支援内容決定部108は、暗くて治安のよくない通り27および水たまりができやすい場所28を回避するルートR3にユーザを誘導する支援内容に決定する。
なおネットワーク上から収集した情報の信ぴょう性を高めるために、支援内容決定部108は、検索結果が複数ある場合には多数決をとったり、古い情報よりも新しい情報の方が信ぴょう性が高くなるように重み付けをしてもよい。
実行部109は、支援内容決定部108により決定された支援内容を実行するよう提示デバイス16を制御する。ここで、実行部109は、ユーザの潜在意識に働きかけるよう間接的に支援内容を実行することで、直接的なアドバイスの提示による煩わしさやストレスを解消し、ユーザは無意識のうちにより快適で安全な生活を送ることができる。
<4−2.動作処理>
次に、図19を参照して本実施形態による動作処理について説明する。図19は、第3の実施形態による行動支援装置の動作処理を示すフローチャートである。図19に示すように、まず、ステップS503において、ユーザ情報取得部101は、ユーザ情報を取得し、ユーザ情報記録制御部102により、取得したユーザ情報をユーザ情報記録部14に記録する。ここで、ユーザ情報とは、SNS、ブログ、メール等の書き込み内容や、ユーザの属性情報、現在位置情報等である。
次に、ステップS506において、ユーザ行動推定部107は、ユーザ情報記録部14に記録されているユーザ情報に基づいて、ユーザの未来の行動を推定する。例えば、ユーザの現在位置が横浜駅であって、現在時刻が夜10時頃であり、昨日ユーザが送信したメールに「明日夜10時に横浜に着くよ。直接家に行くね」といった書込みがある場合、ユーザがメールの送信相手の家に行くことが推定される。ここでメールの送信相手の家(友人宅)の場所については、アドレス帳データに登録されている住所情報に基づいて特定され得る。
次いで、ステップS509において、支援内容決定部108は、推定されたユーザの未来の行動において想定される不利益な状況を避ける行動(利益的な行動)を支援する内容に決定する。例えば支援内容決定部108は、現在地の横浜駅から友人宅まで、暗くて治安の悪い道を避けるルートで誘導する支援内容に決定する。
そして、ステップS512において、実行部109は、決定された支援内容を実行する。この際、実行部109は、ユーザの潜在意識に働きかけるよう間接的に支援内容を実行することで、直接的なアドバイスの提示による煩わしさやストレスを解消し、ユーザは無意識のうちにより快適で安全な生活を送ることができる。
以上、本実施形態による動作処理について具体的に説明した。なお支援内容決定部108は、治安のよい/悪いに限らず、環境情報に基づいてユーザがより快適に過ごせるルートで誘導する支援内容に決定することも可能である。具体的には、例えば気温/湿度に基づいて、暑さ/寒さや不快指数を特定したり、風力/風向きに基づいて、ビル風の強いエリアや、そよ風が気持ちいいエリアを特定したりすることで、ユーザがより快適に過ごせるルートに誘導する支援内容に決定することができる。
<4−3.応用例>
上述した第3の実施形態は個人の行動支援が主であるが、本開示による行動支援装置は個人の支援に限定されず、複数のユーザに対して、それぞれの関係性に基づいて、推測される未来の行動に伴う不利益を避けるよう支援を行う行動支援システムも実現可能である。具体的には、図20に示すように、ユーザ60Aに装着されるHMD100Aと、ユーザ60Bに装着されるHMD100Bと、行動支援サーバ500を含む行動支援システムにより実現され得る。
行動支援サーバ500は、図20に示すように、通信部52、主制御部51’、および関係性リストDB56を含む。主制御部51’は、HMD100A、100Bから通知された関係性リストに基づいて、関係性リストDB56に格納されるデータの更新を行う。また、主制御部51’は、一のHMD100から通知されたユーザの行動予定を、他のHMD100に通知する。
(動作処理)
続いて、図21〜図22を参照して本実施形態による動作処理について説明する。図21および図22は、第3の実施形態の応用例による行動支援システムの動作処理を示すフローチャートである。ここでは、一例として、関係性が悪い複数のユーザが、それぞれ推測される未来の行動において互いに鉢合わせしないよう支援する。複数のユーザの関係性については、各HMD100A、100Bの主制御部10−2が、第2の実施形態による関係性判断部516と同様の機能を有することで、判断し得る。
図21に示すように、まず、ステップS603、S609において、各HMD100A、100Bは、SNS、ブログ、メール等の書き込み内容に基づいて、関係性が悪い他のユーザを推定してリストに保持する。
次いで、ステップS606、S611において、各HMD100A、100Bは、リストを行動支援サーバ500に送信する。各HMD100A、100Bは上記処理(S603〜S611)を定期的/不定期的に行う。
次に、ステップS612において、行動支援サーバ500は、各HMD100A、100Bから送信されたリストに応じて、関係性リストDB56を更新する。これにより、関係性リストDB56に格納されている各ユーザの関係性を示すリストを常に最新状態にすることができる。
次いで、ステップS615、S618において、各HMD100A、100Bは、リストに載る関係性が悪い他ユーザの一定時間内の行動予定を取得する。他ユーザの行動予定は、他ユーザが装着しているHMDから取得してもよいし、行動支援サーバ500から取得してもよい。具体的には、例えばHMD100Aは、HMD100Aの利用者であるユーザ60Aと関係性が悪いユーザ60Bの行動予定を行動支援サーバ500から取得する。
続いて、ステップS621、S624において、各HMD100A、100Bは、ユーザの行動予定と、他リストに載る他ユーザの行動予定とを照合する。具体的には、例えばHMD100Aは、ユーザ60Aの行動予定をユーザ行動推定部107により推定し、支援内容決定部108により、推定されたユーザ60Aの行動予定と上記S615で取得したユーザ60Bの行動予定とを照合する。
次に、ステップS627、S630において、各HMD100A、100Bは、同時刻に所定距離内の行動予定があるか否かを判断する。具体的には、例えばHMD100Aは、支援内容決定部108により、ユーザ60Aとユーザ60Bの行動予定に、同時刻に所定距離内となる行動予定が含まれているか否かを判断する。
次いで、同時刻に所定距離内の行動予定があると判断された場合(S627/Yes、S630/Yes)、図22に示すステップS633、S636において、各HMD100A、100Bは、ユーザが他ユーザと鉢合わせにならないルートを支援する。具体的には、例えばHMD100Aの支援内容決定部108は、同時刻に所定距離内の行動予定がある場合、ユーザ60Aがユーザ60Bと会ってしまう可能性が高いので、関係性の悪い両者が会わないよう、ユーザ60Aにユーザ60Bと会わないための行動を支援する内容に決定する。そして、実行部109により、決定された行動支援内容を実行する。この際、実行部109は、ユーザの潜在意識に働きかけるよう間接的に支援内容を実行することで、直接的なアドバイスの提示による煩わしさやストレスを解消し、ユーザは無意識のうちに関係性の悪い他ユーザを避けた行動をとることができる。
次に、ステップS639、S642において、各HMD100A、100Bは、ユーザの行動予定の変更を行動支援サーバ500に送信する。
次いで、ステップS646において、行動支援サーバ500の主制御部51’は、行動予定の変更が送信されたユーザに対応する関係性リストを、関係性リストDB56から取得する。具体的には、例えば主制御部51’は、HMD100Aからユーザ60Aの行動予定の変更が送信された場合、ユーザ60Aと他ユーザの関係性を示す関係性リストを関係性リストDB56から取得する。
そして、ステップS649において、行動支援サーバ500の主制御部51’は、取得したリストに載る他ユーザに対して、ユーザの行動予定変更を通知する。かかる行動予定変更の通知により、上記S615、S618において、各HMD100A、100Bは、他ユーザの新たな行動予定を取得することができる。例えば、行動支援サーバ500の主制御部51’は、ユーザ60Aと他ユーザの関係性リストに載るユーザ60Bに対して、ユーザ60Aの行動予定変更を通知することで、ユーザ60Bに装着されたHMD100Bは、他ユーザ60Aの新たな行動予定を取得することができる。
以上、第3の実施形態の応用例による行動支援システムについて具体的に説明した。かかる行動支援システムによれば、各ユーザの未来の行動予定を推定した上で、各ユーザの関係性の良し悪しに応じて、ユーザと他ユーザが出会わない、または出会うようにユーザの行動を支援することができる。なお、上記図21に示すステップS603、S609の処理(ユーザと関係性が悪い他のユーザのリスト化)は、HMD100A、100Bとは非同期に定期的に行動支援サーバ500側で行ってもよい。
<<5.まとめ>>
上述したように、本開示の実施形態による行動支援装置は、ユーザの好みのレベルに応じた方法でユーザの好みに対応する支援内容を実行することができる。
具体的には、上記第1の実施形態では、例えばユーザの好みのレベルが他人に非公開のプライベートレベルまたはユーザ本人も自覚していない潜在レベルの場合、ユーザの潜在意識に働きかけるよう間接的に行動支援することで、行動支援によるユーザのストレスや負担を省くことができる。
また、上記第2の実施形態によれば、複数のユーザに対して各ユーザの異性の好みがマッチする組み合わせを見つけ、二人が自然に出会うよう間接的に誘導する行動支援を行うことができる。また、上記第2の実施形態によれば、複数のユーザに対して、各ユーザの関係性の良し悪しに応じて、複数のユーザが自然に出会うよう、または自然に出会わないよう間接的に誘導する行動支援を行うことができる。
さらに、上記第3の実施形態によれば、ユーザの未来の行動を推定し、推定した行動に伴う不利益を回避するための支援を行うことができる。この際、ユーザの潜在意識に働きかけるよう間接的に行動支援することで、ユーザは無意識に、アドバイス等の提示によるストレスなく、より快適な生活を送ることができる。
また、上記第3の実施形態の応用例によれば、複数のユーザに対して、各ユーザの関係性の良し悪しに応じて、推定される各ユーザの未来の行動に伴う不利益を回避するための支援を行うことができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、HMD1、HMD100、行動支援サーバ50、または行動支援サーバ500に内蔵されるCPU、ROM、およびRAM等のハードウェアに、上述したHMD1、HMD100、行動支援サーバ50、または行動支援サーバ500の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本明細書の各実施形態の動作処理における各ステップは、必ずしも添付したフローチャートにおいて開示された順序に沿って時系列に処理する必要はない。例えば、各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。具体的には、例えば図4に示すステップS118〜S124は並列的に処理されてもよい。
なお、上述した第1の実施形態では、実行部105は、ユーザの好みレベルがパブリックレベルL1、リミテッドパブリックレベルL1’、またはプライベートレベルL2の場合、直接的に支援内容を実行する旨を説明したが、本実施形態はこれに限定されない。例えば実行部105は、特定の場合は例外的に間接系に支援内容を実行してもよい。具体的には、例えばダイエットのように自分の欲求を抑制しなくてはならない等、支援内容がユーザにとってストレスになることが想定される場合、実行部105は、間接系に支援内容を実行する。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
ユーザの情報を取得する取得部と、
前記取得部により取得された前記ユーザの情報に基づいて判断されたユーザの好みを支援するための支援内容を決定する支援内容決定部と、
前記好みのレベルに応じた方法で前記支援内容を実行する実行部と、
を備える、行動支援装置。
(2)
前記好みのレベルは、ユーザ自身が自覚している好みであるか否か、および他者に公開可能な好みであるか否かに応じたレベルである、前記(1)に記載の行動支援装置。
(3)
前記実行部は、表示部または音声出力部により前記支援内容を実行する、前記(1)または(2)に記載の行動支援装置。
(4)
前記実行部は、前記好みのレベルが、ユーザ自身が自覚していない好みであることを示す潜在レベルの場合、前記ユーザの潜在意識に働きかけるよう間接的に前記支援内容を実行する、前記(1)〜(3)のいずれか1項に記載の行動支援装置。
(5)
前記実行部は、アフォーダンス、錯覚、または心理誘導を用いて、間接的に前記支援内容を実行する、前記(4)に記載の行動支援装置。
(6)
前記実行部は、画像信号の明度変更、彩度変更、アスペクト比変更、回転処理、拡大/縮小処理、形状変形、合成、モザイク/ぼかし、または色変換といった画像処理、若しくは、音声信号のエコー/ディレイ加工、ディストレーション/フランジャー加工、サラウンド化/チャンネル交換といった音声処理の少なくともいずれかにより、間接的に前記支援内容を実行する、前記(4)に記載の行動支援装置。
(7)
前記支援内容決定部は、前記ユーザの好みに対応する商品またはサービスに関する情報を表示する支援内容に決定し、
前記実行部は、前記商品またはサービスに関する情報を、表示画面中の広告欄に表示することで、間接的に前記支援内容を実行する、前記(4)に記載の行動支援装置。
(8)
前記支援内容決定部は、前記ユーザの好みに対応する商品またはサービスの提供場所に前記ユーザを誘導する支援内容に決定し、
前記実行部は、誘導ルートが最適なルートに認識されるよう、地図画像またはユーザの視界方向を撮像した撮像画像の一部を変更して表示することで、間接的に前記支援内容を実行する、前記(4)に記載の行動支援装置。
(9)
前記実行部は、前記撮像画像において、誘導ルート以外の道を暗く、または上り坂に加工して、前記ユーザが装着しているHMDの表示部に表示することで、間接的に前記支援内容を実行する、前記(8)に記載の行動支援装置。
(10)
前記実行部は、前記地図画像において、誘導ルートが他のルートより短くなるよう加工することで、間接的に前記支援内容を実行する、前記(8)に記載の行動支援装置。
(11)
前記実行部は、前記好みレベルが、ユーザ自身が自覚している好みであって不特定多数に非公開であることを示すプライベートレベルの場合、前記ユーザの周囲に人がいない時に直接的に前記支援内容を実行する、前記(1)〜(10)のいずれか1項に記載の行動支援装置。
(12)
前記実行部は、前記好みレベルが、ユーザ自身が自覚している好みであって特定範囲に公開可能であるリミテッドパブリックレベルの場合、前記ユーザの周囲に居る人が、前記特定範囲に含まれる人である時に直接的に前記支援内容を実行する、前記(1)〜(11)のいずれか1項に記載の行動支援装置。
(13)
前記実行部は、前記好みレベルが、ユーザ自身が自覚している好みであって不特定多数に公開可能であるパブリックレベルの場合、前記ユーザの周囲に人が居るか否かに関わらず、直接的に前記支援内容を実行する、前記(1)〜(12)のいずれか1項に記載の行動支援装置。
(14)
前記取得部が取得する前記ユーザの情報は、前記ユーザの生体情報、スケジュール情報、属性情報、および前記ユーザにより入力された電子メール、電子掲示板、ブログ、SNS等の内容の少なくともいずれかである、前記(1)〜(13)のいずれか1項に記載の行動支援装置。
(15)
前記取得部は、複数のユーザの情報を取得し、
前記支援内容決定部は、好みが一致する特定の複数ユーザを同じ場所に誘導する支援内容に決定し、
前記実行部は、前記特定の複数ユーザに対して、潜在意識に働きかけるよう間接的に前記支援内容を実行する、前記(1)〜(14)のいずれか1項に記載の行動支援装置。
(16)
前記取得部は、複数のユーザの情報を取得し、
前記支援内容決定部は、複数のユーザの関係性の良し悪しに応じた支援内容に決定し、
前記実行部は、複数のユーザに対して、潜在意識に働きかけるよう間接的に前記支援内容を実行する、前記(1)〜(15)のいずれか1項に記載の行動支援装置。
(17)
前記支援内容決定部は、推定された前記ユーザの未来の行動に伴う不利益を回避するよう支援する内容に決定する、前記(1)〜(16)のいずれか1項に記載の行動支援装置。
(18)
ユーザの情報を取得するステップと、
取得された前記ユーザの情報に基づいて前記ユーザの好みを判断するステップと、
当該ユーザの好みを支援するための支援内容を決定するステップと、
前記好みの種類に応じた方法で、プロセッサにより前記支援内容を実行するステップと、
を含む、行動支援方法。
(19)
コンピュータを、
ユーザの情報を取得する取得部と、
前記取得部により取得された前記ユーザの情報に基づいて前記ユーザの好みを判断し、当該ユーザの好みを支援するための支援内容を決定する支援内容決定部と、
前記好みの種類に応じた方法で前記支援内容を実行する実行部と、
として機能させるためのプログラム。
(20)
コンピュータを、
ユーザの情報を取得する取得部と、
前記取得部により取得された前記ユーザの情報に基づいて前記ユーザの好みを判断し、当該ユーザの好みを支援するための支援内容を決定する支援内容決定部と、
前記好みの種類に応じた方法で前記支援内容を実行する実行部と、
として機能させるためのプログラムが記憶された、記憶媒体。
1、1A、1B、100 HMD
2 表示部
3 撮像部
3a 撮像レンズ
4 照明部
4a 発光部
5 音声出力部
5a イヤホンスピーカ
6 音声入力部
6a、6b マイクロホン
7 位置測定部
8 加速度センサ
9 通信部
10−1、10−2 主制御部
101 ユーザ情報取得部
102 ユーザ情報記録制御部
103 判断部
104、108 支援内容決定部
105、109 実行部
107 ユーザ行動推定部
11 実世界情報取得部
12 各種生体センサ
13 スケジュール情報DB
14 ユーザ情報記録部
15 支援パターンDB
16 提示デバイス
20 ネットワーク
26A、26B バナー広告スペース
30 ブログサーバ
40 環境情報サーバ
50、500 行動支援サーバ
51、51’ 主制御部
511 ユーザ情報取得部
512 ユーザ情報記録制御部
513 判断部
514 支援内容決定部
515 実行部
516 関係性判断部
52 通信部
54 ユーザ情報記録部
55 支援パターンDB
56 関係性リストDB
60A、60B ユーザ

Claims (20)

  1. ユーザの情報を取得する取得部と、
    前記取得部により取得された前記ユーザの情報に基づいて判断されたユーザの好みを支援するための支援内容を決定する支援内容決定部と、
    前記好みのレベルに応じた方法で前記支援内容を実行する実行部と、
    を備える、行動支援装置。
  2. 前記好みのレベルは、ユーザ自身が自覚している好みであるか否か、および他者に公開可能な好みであるか否かに応じたレベルである、請求項1に記載の行動支援装置。
  3. 前記実行部は、表示部または音声出力部により前記支援内容を実行する、請求項1に記載の行動支援装置。
  4. 前記実行部は、前記好みのレベルが、ユーザ自身が自覚していない好みであることを示す潜在レベルの場合、前記ユーザの潜在意識に働きかけるよう間接的に前記支援内容を実行する、請求項1に記載の行動支援装置。
  5. 前記実行部は、アフォーダンス、錯覚、または心理誘導を用いて、間接的に前記支援内容を実行する、請求項4に記載の行動支援装置。
  6. 前記実行部は、画像信号の明度変更、彩度変更、アスペクト比変更、回転処理、拡大/縮小処理、形状変形、合成、モザイク/ぼかし、または色変換といった画像処理、若しくは、音声信号のエコー/ディレイ加工、ディストレーション/フランジャー加工、サラウンド化/チャンネル交換といった音声処理の少なくともいずれかにより、間接的に前記支援内容を実行する、請求項4に記載の行動支援装置。
  7. 前記支援内容決定部は、前記ユーザの好みに対応する商品またはサービスに関する情報を表示する支援内容に決定し、
    前記実行部は、前記商品またはサービスに関する情報を、表示画面中の広告欄に表示することで、間接的に前記支援内容を実行する、請求項4に記載の行動支援装置。
  8. 前記支援内容決定部は、前記ユーザの好みに対応する商品またはサービスの提供場所に前記ユーザを誘導する支援内容に決定し、
    前記実行部は、誘導ルートが最適なルートに認識されるよう、地図画像またはユーザの視界方向を撮像した撮像画像の一部を変更して表示することで、間接的に前記支援内容を実行する、請求項4に記載の行動支援装置。
  9. 前記実行部は、前記撮像画像において、誘導ルート以外の道を暗く、または上り坂に加工して、前記ユーザが装着しているHMDの表示部に表示することで、間接的に前記支援内容を実行する、請求項8に記載の行動支援装置。
  10. 前記実行部は、前記地図画像において、誘導ルートが他のルートより短くなるよう加工することで、間接的に前記支援内容を実行する、請求項8に記載の行動支援装置。
  11. 前記実行部は、前記好みレベルが、ユーザ自身が自覚している好みであって不特定多数に非公開であることを示すプライベートレベルの場合、前記ユーザの周囲に人がいない時に直接的に前記支援内容を実行する、請求項1に記載の行動支援装置。
  12. 前記実行部は、前記好みレベルが、ユーザ自身が自覚している好みであって特定範囲に公開可能であるリミテッドパブリックレベルの場合、前記ユーザの周囲に居る人が、前記特定範囲に含まれる人である時に直接的に前記支援内容を実行する、請求項1に記載の行動支援装置。
  13. 前記実行部は、前記好みレベルが、ユーザ自身が自覚している好みであって不特定多数に公開可能であるパブリックレベルの場合、前記ユーザの周囲に人が居るか否かに関わらず、直接的に前記支援内容を実行する、請求項1に記載の行動支援装置。
  14. 前記取得部が取得する前記ユーザの情報は、前記ユーザの生体情報、スケジュール情報、属性情報、および前記ユーザにより入力された電子メール、電子掲示板、ブログ、SNS等の内容の少なくともいずれかである、請求項1に記載の行動支援装置。
  15. 前記取得部は、複数のユーザの情報を取得し、
    前記支援内容決定部は、好みが一致する特定の複数ユーザを同じ場所に誘導する支援内容に決定し、
    前記実行部は、前記特定の複数ユーザに対して、潜在意識に働きかけるよう間接的に前記支援内容を実行する、請求項1に記載の行動支援装置。
  16. 前記取得部は、複数のユーザの情報を取得し、
    前記支援内容決定部は、複数のユーザの関係性の良し悪しに応じた支援内容に決定し、
    前記実行部は、複数のユーザに対して、潜在意識に働きかけるよう間接的に前記支援内容を実行する、請求項1に記載の行動支援装置。
  17. 前記支援内容決定部は、推定された前記ユーザの未来の行動に伴う不利益を回避するよう支援する内容に決定する、請求項1に記載の行動支援装置。
  18. ユーザの情報を取得するステップと、
    取得された前記ユーザの情報に基づいて前記ユーザの好みを判断するステップと、
    当該ユーザの好みを支援するための支援内容を決定するステップと、
    前記好みの種類に応じた方法で、プロセッサにより前記支援内容を実行するステップと、
    を含む、行動支援方法。
  19. コンピュータを、
    ユーザの情報を取得する取得部と、
    前記取得部により取得された前記ユーザの情報に基づいて前記ユーザの好みを判断し、当該ユーザの好みを支援するための支援内容を決定する支援内容決定部と、
    前記好みの種類に応じた方法で前記支援内容を実行する実行部と、
    として機能させるためのプログラム。
  20. コンピュータを、
    ユーザの情報を取得する取得部と、
    前記取得部により取得された前記ユーザの情報に基づいて前記ユーザの好みを判断し、当該ユーザの好みを支援するための支援内容を決定する支援内容決定部と、
    前記好みの種類に応じた方法で前記支援内容を実行する実行部と、
    として機能させるためのプログラムが記憶された、記憶媒体。


JP2013174603A 2013-08-26 2013-08-26 行動支援装置、行動支援方法、プログラム、および記憶媒体 Active JP6111932B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013174603A JP6111932B2 (ja) 2013-08-26 2013-08-26 行動支援装置、行動支援方法、プログラム、および記憶媒体
US14/337,340 US20150058319A1 (en) 2013-08-26 2014-07-22 Action support apparatus, action support method, program, and storage medium
CN201410409926.6A CN104424353B (zh) 2013-08-26 2014-08-19 行动支持设备、行动支持方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013174603A JP6111932B2 (ja) 2013-08-26 2013-08-26 行動支援装置、行動支援方法、プログラム、および記憶媒体

Publications (3)

Publication Number Publication Date
JP2015043148A true JP2015043148A (ja) 2015-03-05
JP2015043148A5 JP2015043148A5 (ja) 2016-02-12
JP6111932B2 JP6111932B2 (ja) 2017-04-12

Family

ID=52481327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013174603A Active JP6111932B2 (ja) 2013-08-26 2013-08-26 行動支援装置、行動支援方法、プログラム、および記憶媒体

Country Status (3)

Country Link
US (1) US20150058319A1 (ja)
JP (1) JP6111932B2 (ja)
CN (1) CN104424353B (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015225025A (ja) * 2014-05-29 2015-12-14 株式会社日立システムズ 眼鏡型のウェアラブル端末および該ウェアラブル端末を使用する建屋内行先誘導システム
JP2017015485A (ja) * 2015-06-30 2017-01-19 明伸興産株式会社 装着型ナビゲーションシステム
JP2017146707A (ja) * 2016-02-16 2017-08-24 日本電信電話株式会社 道路特性理解装置、方法、及びプログラム
JP6215441B1 (ja) * 2016-12-27 2017-10-18 株式会社コロプラ 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および、コンピュータ装置
JP2018013872A (ja) * 2016-07-19 2018-01-25 ヤフー株式会社 決定装置、決定方法および決定プログラム
JP6479950B1 (ja) * 2017-12-19 2019-03-06 Bhi株式会社 アカウント名寄せシステム
JP2019109739A (ja) * 2017-12-19 2019-07-04 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2020508440A (ja) * 2017-02-21 2020-03-19 ブラスウェイト ヘイリーBRATHWAITE,Haley パーソナルナビゲーションシステム
JP2020166555A (ja) * 2019-03-29 2020-10-08 株式会社三井住友銀行 Arプラットフォームシステム、方法およびプログラム
JP2022089734A (ja) * 2020-12-04 2022-06-16 株式会社メタリアル メガネ型ウェアラブル端末、広告表示制御方法、広告表示制御プログラム、広告提供装置、広告提供方法、広告提供プログラムおよび広告提供システム
JP7464788B2 (ja) 2020-11-30 2024-04-09 グーグル エルエルシー 環境信号に基づくプライバシーに配慮したクエリ活動を提示するための方法およびシステム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430985B2 (en) 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
KR20160024143A (ko) * 2014-08-25 2016-03-04 삼성전자주식회사 영상 처리 방법 및 전자 장치
US9844119B2 (en) * 2015-02-10 2017-12-12 Daqri, Llc Dynamic lighting for head mounted device
US9949091B1 (en) * 2015-12-11 2018-04-17 Massachusetts Mutual Life Insurance Company Path storage and recovery using wireless devices
US9721451B1 (en) 2015-12-11 2017-08-01 Massachusetts Mutual Life Insurance Company Location-based warning notification using wireless devices
FR3046898B1 (fr) * 2016-01-18 2019-05-10 Sagemcom Broadband Sas Procede de diffusion d'un contenu multimedia mesurant l'attention d'un utilisateur
CN108780228B (zh) 2016-01-19 2021-04-20 奇跃公司 利用映像的增强现实系统和方法
AU2017257549B2 (en) 2016-04-26 2021-09-09 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems
JP6440910B2 (ja) * 2016-07-29 2018-12-19 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
CN106297605A (zh) * 2016-08-25 2017-01-04 深圳前海弘稼科技有限公司 多媒体信息的播放方法、播放装置和种植设备
US10345902B1 (en) * 2018-04-24 2019-07-09 Dell Products, Lp Method and apparatus for maintaining a secure head-mounted display session
WO2019207896A1 (ja) * 2018-04-25 2019-10-31 ソニー株式会社 情報処理システム、情報処理方法、および記録媒体
JP7363685B2 (ja) * 2020-07-01 2023-10-18 トヨタ自動車株式会社 情報処理装置、情報処理システム、プログラム及び情報処理方法
CN113014982B (zh) * 2021-02-20 2023-06-30 咪咕音乐有限公司 视频分享方法、用户设备及计算机存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004021923A (ja) * 2002-06-20 2004-01-22 Matsushita Electric Ind Co Ltd 情報処理装置と情報処理方法
JP2004070510A (ja) * 2002-08-02 2004-03-04 Sharp Corp 情報選択提示装置,情報選択提示方法,情報選択提示プログラム及び該情報選択提示プログラムの記録媒体
JP2005084770A (ja) * 2003-09-05 2005-03-31 Sony Corp コンテンツ提供システムおよび方法、提供装置および方法、再生装置および方法、並びにプログラム
WO2006080344A1 (ja) * 2005-01-26 2006-08-03 Matsushita Electric Industrial Co., Ltd. 誘導装置及び誘導方法
JP2009140051A (ja) * 2007-12-04 2009-06-25 Sony Corp 情報処理装置、情報処理システム、推薦装置、情報処理方法および記憶媒体
US20130127980A1 (en) * 2010-02-28 2013-05-23 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display
JP2015504616A (ja) * 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3749821B2 (ja) * 1999-09-30 2006-03-01 株式会社東芝 歩行者用道案内システムおよび歩行者用道案内方法
US8751957B1 (en) * 2000-11-22 2014-06-10 Pace Micro Technology Plc Method and apparatus for obtaining auditory and gestural feedback in a recommendation system
JP4713129B2 (ja) * 2004-11-16 2011-06-29 ソニー株式会社 音楽コンテンツの再生装置、音楽コンテンツの再生方法および音楽コンテンツおよびその属性情報の記録装置
US20100017118A1 (en) * 2008-07-16 2010-01-21 Apple Inc. Parking & location management processes & alerts
CN102667839A (zh) * 2009-12-15 2012-09-12 英特尔公司 在用户行为的趋势分析和简档建立以及基于模板的预测中使用概率技术以便提供推荐的系统、装置和方法
US9124651B2 (en) * 2010-03-30 2015-09-01 Microsoft Technology Licensing, Llc Controlling media consumption privacy settings
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9501573B2 (en) * 2012-07-30 2016-11-22 Robert D. Fish Electronic personal companion
US9146124B2 (en) * 2012-12-18 2015-09-29 Nokia Technologies Oy Helmet-based navigation notifications
CN103092919A (zh) * 2012-12-24 2013-05-08 北京百度网讯科技有限公司 搜索引导方法和搜索引擎

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004021923A (ja) * 2002-06-20 2004-01-22 Matsushita Electric Ind Co Ltd 情報処理装置と情報処理方法
JP2004070510A (ja) * 2002-08-02 2004-03-04 Sharp Corp 情報選択提示装置,情報選択提示方法,情報選択提示プログラム及び該情報選択提示プログラムの記録媒体
JP2005084770A (ja) * 2003-09-05 2005-03-31 Sony Corp コンテンツ提供システムおよび方法、提供装置および方法、再生装置および方法、並びにプログラム
WO2006080344A1 (ja) * 2005-01-26 2006-08-03 Matsushita Electric Industrial Co., Ltd. 誘導装置及び誘導方法
JP2009140051A (ja) * 2007-12-04 2009-06-25 Sony Corp 情報処理装置、情報処理システム、推薦装置、情報処理方法および記憶媒体
US20130127980A1 (en) * 2010-02-28 2013-05-23 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display
JP2015504616A (ja) * 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015225025A (ja) * 2014-05-29 2015-12-14 株式会社日立システムズ 眼鏡型のウェアラブル端末および該ウェアラブル端末を使用する建屋内行先誘導システム
JP2017015485A (ja) * 2015-06-30 2017-01-19 明伸興産株式会社 装着型ナビゲーションシステム
JP2017146707A (ja) * 2016-02-16 2017-08-24 日本電信電話株式会社 道路特性理解装置、方法、及びプログラム
JP2018013872A (ja) * 2016-07-19 2018-01-25 ヤフー株式会社 決定装置、決定方法および決定プログラム
JP6215441B1 (ja) * 2016-12-27 2017-10-18 株式会社コロプラ 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および、コンピュータ装置
JP2018106498A (ja) * 2016-12-27 2018-07-05 株式会社コロプラ 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および、コンピュータ装置
WO2018123553A1 (ja) * 2016-12-27 2018-07-05 株式会社コロプラ 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および、コンピュータ装置
JP2020508440A (ja) * 2017-02-21 2020-03-19 ブラスウェイト ヘイリーBRATHWAITE,Haley パーソナルナビゲーションシステム
US11705018B2 (en) 2017-02-21 2023-07-18 Haley BRATHWAITE Personal navigation system
JP2019109742A (ja) * 2017-12-19 2019-07-04 Bhi株式会社 アカウント名寄せシステム
JP2019109739A (ja) * 2017-12-19 2019-07-04 富士ゼロックス株式会社 情報処理装置及びプログラム
JP6479950B1 (ja) * 2017-12-19 2019-03-06 Bhi株式会社 アカウント名寄せシステム
JP2020166555A (ja) * 2019-03-29 2020-10-08 株式会社三井住友銀行 Arプラットフォームシステム、方法およびプログラム
JP7464788B2 (ja) 2020-11-30 2024-04-09 グーグル エルエルシー 環境信号に基づくプライバシーに配慮したクエリ活動を提示するための方法およびシステム
JP2022089734A (ja) * 2020-12-04 2022-06-16 株式会社メタリアル メガネ型ウェアラブル端末、広告表示制御方法、広告表示制御プログラム、広告提供装置、広告提供方法、広告提供プログラムおよび広告提供システム
JP7113926B2 (ja) 2020-12-04 2022-08-05 株式会社メタリアル メガネ型ウェアラブル端末、広告表示制御方法、広告表示制御プログラム、広告提供装置、広告提供方法、広告提供プログラムおよび広告提供システム

Also Published As

Publication number Publication date
CN104424353B (zh) 2020-01-21
US20150058319A1 (en) 2015-02-26
JP6111932B2 (ja) 2017-04-12
CN104424353A (zh) 2015-03-18

Similar Documents

Publication Publication Date Title
JP6111932B2 (ja) 行動支援装置、行動支援方法、プログラム、および記憶媒体
US10595072B2 (en) Systems and methods for recognizing faces using non-facial information
US11024070B2 (en) Device and method of managing user information based on image
US10387898B2 (en) Crowd-based personalized recommendations of food using measurements of affective response
CN109074117B (zh) 提供基于情绪的认知助理系统、方法及计算器可读取媒体
CN110996796B (zh) 信息处理设备、方法和程序
CN111465991A (zh) 信息处理设备、信息处理方法和程序
EP3660688A1 (en) Information processing system, information processing device, information processing method, and recording medium
JP2015043148A5 (ja)
US20230336694A1 (en) Tagging Characteristics of an Interpersonal Encounter Based on Vocal Features
CN111465949A (zh) 信息处理设备、信息处理方法和程序
US20200057486A1 (en) Information processing apparatus, information processing method, and program
WO2017029848A1 (ja) 情報処理システム、および情報処理方法
JP2020052847A (ja) 感情管理システム、感情管理方法及びプログラム
US20220318550A1 (en) Systems, devices, and/or processes for dynamic surface marking
US10679190B1 (en) Context-dependent inferred social network
JP2022046316A (ja) 情報提示システム、その制御方法、および、プログラム
US11270682B2 (en) Information processing device and information processing method for presentation of word-of-mouth information
US20220318549A1 (en) Systems, devices, and/or processes for dynamic surface marking

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160920

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170227

R151 Written notification of patent or utility model registration

Ref document number: 6111932

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250