JP2009187233A - 情報呈示方法、情報呈示装置およびサーバ - Google Patents

情報呈示方法、情報呈示装置およびサーバ Download PDF

Info

Publication number
JP2009187233A
JP2009187233A JP2008025885A JP2008025885A JP2009187233A JP 2009187233 A JP2009187233 A JP 2009187233A JP 2008025885 A JP2008025885 A JP 2008025885A JP 2008025885 A JP2008025885 A JP 2008025885A JP 2009187233 A JP2009187233 A JP 2009187233A
Authority
JP
Japan
Prior art keywords
information
user
presentation
target
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008025885A
Other languages
English (en)
Inventor
Masamichi Asukai
正道 飛鳥井
Yoichiro Sako
曜一郎 佐古
Akane Sano
あかね 佐野
Daiji Ito
大二 伊藤
Akinobu Sugino
彰信 杉野
Yoshiteru Kabaya
美輝 蒲谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008025885A priority Critical patent/JP2009187233A/ja
Publication of JP2009187233A publication Critical patent/JP2009187233A/ja
Withdrawn legal-status Critical Current

Links

Images

Abstract

【課題】ユーザが、実際に当該の場所に出かけて、または自宅などに居ながら、当該の場所での他の人の状況や状態を体験して、その人との間に緩やかな繋がりを感じることができ、または当該の場所での過去の自分の状況や状態を追体験して、思い出を想起することができるようにする。
【解決手段】ユーザ端末で現在位置が計測または指示され、サーバに送信されたとき、サーバは、その現在位置に対して一定の距離内の位置で撮影された写真の画像情報、撮影位置を示す情報、および撮影時の撮影者の生体情報を当該ユーザ端末に送信する。当該ユーザ端末では、その送信された情報を、空間表現によって表示し、または振動や光の点滅によって呈示する。
【選択図】図9

Description

この発明は、写真や人の生体情報などの情報を呈示する方法および装置、および情報呈示のために情報を収集し提供するサーバに関する。
ユーザが、街中や旅行先などで撮影した写真を、画像情報としてPC(Personal Computer)や記録メディアなどに記録しておき、数日後、数月後、数年後などに、その写真画像情報を呼び出し、写真を表示して、撮影当時の状況や感動を思い出すことは、一般的に行われている。
また、人の脈拍や呼吸などの生体情報は、医療的な診断のためだけでなく、人の感情などを示すものとして、画像や音楽などのコンテンツに準じる情報としても利用されている。
例えば、特許文献1(特開2004−219914号公報)には、コンサート会場やライブ会場などの雰囲気を再現するために、音楽や映像の情報に演奏者や出演者の生体情報を多重して情報を伝送し、受信側で生体情報によって視聴者に感覚的な刺激を与えることが示されている。
また、特許文献2(特開2007−280485号公報)には、コンテンツ再生時のユーザの生体情報を、ユーザの感情の変化を示すものとして測定して記録媒体に記録し、その記録媒体から再生した生体情報に応じて再生態様を変化させて、コンテンツを再生することが示されている。
上に挙げた先行技術文献は、以下の通りである。
特開2004−219914号公報 特開2007−280485号公報
上記のように、写真画像情報を再生し、写真を表示することによって、ユーザは、自分が過去に体験した状況や状態を追体験することができる。
しかしながら、単に写真画像情報を再生し、写真を表示するだけでは、ある地域内の各場所で写真を撮影したときの、各場所での各写真ごとの状況や状態を、十分に追体験することは難しい。
ユーザ自身ではなく、他の人が過去に体験した、または現に体験している状況や状態を、ユーザが体験しようとする場合にも、単に、ユーザが他の人から、他の人が撮影した写真の画像情報を受信して、写真を表示するだけでは、各場所での各写真ごとの状況や状態を、十分に追体験することができない。
さらに、ユーザが、例えば、街中や旅行先などで、自分と同じ感情を持っている、または持っていた人を見つけ、その人との間に緩やかな繋がりを感じたいと思っても、単に他の人との間で情報を送受する方法では、実現が困難である。
そこで、この発明は、ユーザが、実際に当該の場所に出かけて、または自宅などに居ながら、当該の場所での他の人の状況や状態を体験して、その人との間に緩やかな繋がりを感じることができ、または当該の場所での過去の自分の状況や状態を追体験して、思い出を想起することができるようにしたものである。
この発明の情報呈示方法は、
位置情報によって特定される対象位置での人の行動または状況によって得られた情報を複数、それぞれ呈示対象情報として、それぞれ上記位置情報を付加して、記憶装置に記録する工程と、
ユーザの要求によって、現在位置として計測または指示された位置と上記対象位置との間の物理的距離を判断要素の少なくとも1つとする判断基準に従って、上記記憶装置に記録されている複数の呈示対象情報の中から、1つまたは複数の呈示対象情報を選択する工程と、
その選択された呈示対象情報を、情報呈示手段によって呈示する工程と、
を備えることを特徴とする。
上記の情報呈示方法では、例えば、記録工程では、当該ユーザとは別の人が各場所で撮影した写真や、その撮影時の撮影者の生体情報が、それぞれ呈示対象情報として、それぞれ撮影場所(対象位置)を特定する位置情報が付加されて、サービス提供者のサーバ上のデータベースに記録される。
そして、選択工程では、当該ユーザの端末で現在位置が計測され、または当該ユーザによって任意の位置が現在位置として指示された上で、当該ユーザの端末からサーバに呈示対象情報の送信を要求することによって、サーバは、データベースに記録されている複数の呈示対象情報の中から、対象位置(撮影場所)が現在位置に近い1つまたは複数の呈示対象情報を選択して、当該ユーザの端末に送信する。
さらに、呈示工程では、当該ユーザの端末において、写真画像情報によって写真が表示され、生体情報によって当該ユーザに振動が与えられる、などというように、サーバで選択された呈示対象情報が当該ユーザに呈示される。
したがって、ユーザは、実際に当該の場所に出かけて、または自宅などに居ながら、当該の場所での他の人の状況や状態を体験して、その人との間に緩やかな繋がりを感じることができる。
また、例えば、記録工程では、ユーザ自身が各場所で撮影した写真や、その撮影時のユーザ自身の生体情報が、それぞれ呈示対象情報として、それぞれ撮影場所(対象位置)を特定する位置情報が付加されて、ユーザ自身の端末に記録され、選択工程では、ユーザ自身の端末で現在位置が計測され、またはユーザによって任意の位置が現在位置として指示されることによって、ユーザ自身の端末で、対象位置(撮影場所)が現在位置に近い1つまたは複数の呈示対象情報が選択されるようにすることもできる。
これによれば、ユーザは、実際に当該の場所に出かけて、または自宅などに居ながら、当該の場所での過去の自分の状況や状態を追体験して、思い出を想起することができる。
以上のように、この発明によれば、ユーザは、実際に当該の場所に出かけて、または自宅などに居ながら、当該の場所での他の人の状況や状態を体験して、その人との間に緩やかな繋がりを感じることができ、または当該の場所での過去の自分の状況や状態を追体験して、思い出を想起することができる。
[1.システム構成:図1〜図3]
(1−1.システム全体:図1)
図1は、この発明のシステムの一例を示し、多数のユーザ端末がネットワークを介してサーバと接続されて情報提供システムを構成する場合である。
ユーザ端末11,12,13‥‥17は、それぞれ、例えば、後述のような構成の携帯電話端末であり、一方では、ユーザが各場所で写真を撮影することによって写真画像情報を取得し、かつ、その撮影時のユーザの生体情報を測定取得して、呈示対象情報としてサーバ100に送信するとともに、他方では、ユーザの指示によってサーバ100に呈示対象情報の送信を要求し、その要求に応じてサーバ100から送信された呈示対象情報を呈示するものである。
ユーザ端末は、図1では便宜上、7個しか示していないが、実際上は、それぞれのユーザの物として多数、有するものである。
サーバ100は、情報提供サービスを行う者によって設置される。ネットワーク200は、インターネットなどの汎用の広域ネットワーク、または当該の情報提供システムに専用の広域ネットワークで、それぞれのユーザ端末が携帯電話端末である場合には携帯電話用のネットワークを含むものである。
(1−2.ユーザ端末:図2)
図2に、ユーザ端末の一例をユーザ端末10として示す。
この例のユーザ端末10は、携帯電話端末であり、CPU21を備え、そのバス22にROM23およびRAM24が接続されて、制御部25が構成される。
ROM23には、携帯電話端末としての各種プログラムおよび後述の情報提供や情報呈示に係る各種プログラムと、必要な各種データとが格納される。RAM24には、プログラムおよびデータが展開される。
バス22には、記憶装置部27および操作部28が接続される。記憶装置部27は、記憶容量の大きいディスク状またはカード状の記録媒体や半導体メモリである。操作部28は、各種ボタン(キー)やダイヤルなどである。
バス22には、送話用などのマイクロホン31が、音声処理部32を介して接続され、受話用や音楽再生用などのスピーカ33が、音声処理部34を介して接続される。
音声処理部32は、マイクロホン31からのアナログ音声信号を、デジタル音声データに変換し、圧縮するものであり、音声処理部34は、デジタル音声データを、圧縮されているデータについては伸長して、アナログ音声信号に変換し、スピーカ33に供給するものである。
バス22には、ディスプレイ35が、画像処理部36を介して接続される。ディスプレイ35は、液晶ディスプレイや有機ELディスプレイなどであり、画像処理部36は、ディスプレイ35上に表示される画像や画面のデータを処理し、ディスプレイ駆動用アナログ信号に変換するものである。
バス22には、携帯電話端末としての無線通信部37が接続され、無線通信部37に、携帯電話用のアンテナ38が接続される。
また、カメラ付き携帯電話端末として、バス22には、撮像部41が画像処理部42を介して接続される。画像処理部42は、撮像部41のCCD(Charge Coupled Device)撮像素子やCMOS(Complementary Metal−Oxide Semiconductor)撮像素子などの固体撮像素子から出力された画像データを処理するものである。
また、GPS(Global Positioning System)による測位機能を有する携帯電話端末として、バス22には、位置計測部43が接続され、位置計測部43に、GPS衛星からの信号電波を受信するアンテナ44が接続される。
さらに、この例では、生体センサ45が、信号処理部46を介してバス22に接続されるとともに、バイブレータ47が、駆動回路部48を介してバス22に接続される。
生体センサ45は、ユーザの生体情報、例えば脈拍を測定するものである。信号処理部46は、その脈拍を示す信号を処理して、1分あたりの脈拍数を示すデータを生成するものである。
バイブレータ47は、駆動回路部48からの駆動信号によって駆動されて、後述のように生体情報としての脈拍数に応じた周波数の振動を発生し、ユーザに与えるものである。
(1−3.サーバ:図3)
図3に、サーバ100の一例を示す。
この例では、サーバ100は、ユーザデータベース101、写真データベース102、制御部103、通信部104および検索部105を備えるものとして構成される。
ユーザデータベース101には、後述のように当該の情報提供システムに登録された各ユーザのUID(ユーザ識別情報:ユーザを特定する情報)などが記録される。
写真データベース102には、後述のように、各ユーザが撮影した写真の画像情報(画像データ)、撮影場所を示す位置情報、および撮影時のユーザ(撮影者)の生体情報(脈拍数)などが蓄積される。
制御部103は、サーバ100全体を制御するものであり、通信部104は、上記のネットワーク200に接続して各ユーザ端末との間で情報を送受信するものであり、検索部105は、制御部103の指示によって、ユーザデータベース101および写真データベース102を検索し、情報を選択抽出するものである。
[2.各ユーザによる写真撮影とサーバへの情報提供:図4および図5]
(2−1.データベースの内容:図4)
上記の情報提供システムでは、各ユーザが、それぞれのユーザ端末によってサーバ100に、自身と他のユーザとの間の親密度を申告することによって、サーバ100のユーザデータベース101には、図4(A)に示すような内容が登録される。
図4(A)の左側は、あるユーザAから見た他のユーザBとの間の親密度として、UID(ユーザ識別情報)が001のユーザから見た、それぞれUIDが002,007‥‥のユーザとの間の親密度を示したものであり、図4(A)の右側は、あるユーザAから見た他のユーザBとの間の親密度として、UIDが002のユーザから見た、それぞれUIDが001,009‥‥のユーザとの間の親密度を示したものである。
親密度は、例えば、親族やごく親しい友人などの場合には、最大値の“3”とし、親密さの程度がそれ以下である場合には、親密さの程度に応じて“2”または“1”とする。
図4(A)は、UIDが001のユーザから見た、UIDが002のユーザとの間の親密度と、UIDが002のユーザから見た、UIDが001のユーザとの間の親密度とが、異なる場合である。
サーバ100の写真データベース102には、後述のような各ユーザによる情報提供によって、図4(B)に示すような内容が蓄積される。
撮影日時は、当該ユーザ(当該UIDによって特定されるユーザ)によって当該写真(当該の写真ID(ファイル名などの識別情報)によって特定される写真)が撮影された日時を秒単位まで示すものである。
撮影位置は、当該写真が撮影された場所の、GPS測位機能によって計測された緯度および経度(北緯および東経)を示すものである。
生体情報は、当該写真の撮影時の当該ユーザ(撮影者)の脈拍数を示すものである。ただし、生体情報としての脈拍数は、当該写真を撮影した瞬間(シャッタを押した瞬間)のものではなく、当該写真を撮影した直後に測定したもの、または当該写真を撮影する直前に測定してユーザ端末10に記録しておいたものでもよい。
脈拍数は、一般には、高いほど驚きや興奮が大きく、低いほどリラックスしていることを示す。
写真データベース102には、当該の写真IDで特定される当該写真の画像情報(画像データ)も記録される。
(2−2.各ユーザ端末による情報取得および情報提供:図5)
サーバ100で上記のように写真データベース102に情報を蓄積するために、各ユーザは、街中や旅行先などでユーザ端末10によって写真を撮影したときには、以下のようにユーザ端末10からサーバ100に情報を送信する。
図5は、この場合にユーザ端末10が実行する一連の処理の一例を示す。
まず、ユーザ端末10は、ステップ51で、ユーザのシャッタ操作に基づいて、撮像部41によって写真を撮影し、JPEG(Joint Photographic Experts Group)などの圧縮方式で圧縮された、または非圧縮の写真画像データに撮影日時などの情報が付加された写真画像ファイルを生成する。
次に、ユーザ端末10は、ステップ52で、位置計測部43によって撮影位置を計測し、撮影位置を示す位置情報を取得する。
次に、ユーザ端末10は、ステップ53で、生体センサ45によってユーザ(撮影者)の生体情報として脈拍を測定し、脈拍数を取得する。
次に、ユーザ端末10は、ステップ54で、UID、ステップ52で取得された撮影位置情報、ステップ53で取得された生体情報(脈拍数)、およびステップ51で生成された写真画像ファイルを、無線通信部37およびアンテナ38によって、ネットワーク200を通じてサーバ100に送信する。
サーバ100は、このように各ユーザのユーザ端末から、その都度、送信された情報を、その都度、受信して、写真データベース102に蓄積する。
[3.ユーザ端末からの情報要求とユーザ端末での情報呈示:図6〜図12]
図1の情報提供システムでは、図4(B)のようにサーバ100の写真データベース102に情報が蓄積されている状態で、以下のように、あるユーザがサーバ100に呈示対象情報の送信を要求すると、サーバ100は、呈示対象情報を選択して、要求元のユーザ端末に送信し、要求元のユーザ端末は、その呈示対象情報をユーザに呈示する。
(3−1.リアルな移動による場合の一連の処理:図6および図7)
呈示対象情報の送信を要求する方法としては、
(a)ユーザがユーザ端末10を携帯して実際に移動し、ある場所でユーザ端末10に現在位置を計測させ、呈示対象情報の取得および呈示を指示する方法、
および、
(b)ユーザが実際に移動することなく、自宅などに居ながら、例えば、ユーザ端末10のディスプレイ35上に地図を表示させ、ポインタやカーソルによって、その地図上のある場所を現在位置として指示して、ユーザ端末10に呈示対象情報の取得および呈示を指示する方法、
が考えられる。
以下では、上記(a)をリアルな移動とし、上記(b)をバーチャルな移動として、リアルな移動による場合を先に示し、バーチャルな移動による場合を後で示す。
図6および図7に、リアルな移動による場合に要求元のユーザ端末(ユーザ端末10とする)およびサーバ100が実行する一連の処理の一例を示す。
まず、ユーザ端末10は、ユーザが呈示対象情報の取得および呈示を指示することによって、ステップ61で、位置計測部43によって現在位置を計測し、現在位置を示す位置情報を取得する。
次に、ユーザ端末10は、ステップ62で、生体センサ45によってユーザの生体情報として脈拍を測定し、脈拍数を取得する。
次に、ユーザ端末10は、ステップ63で、UID、ステップ61で取得された現在位置情報、およびステップ62で取得された生体情報(脈拍数)を、無線通信部37およびアンテナ38によって、ネットワーク200を通じてサーバ100に送信して、サーバ100に呈示対象情報の送信を要求する。
サーバ100は、ステップ111で、その送信された各情報を受信し、次にステップ112で、ユーザデータベース101から、当該ユーザ(要求元のユーザ)から見て他のユーザのリストを取得する。
当該ユーザのUIDが001であるとすると、図4(A)の左側に示すようなリストが取得され、当該ユーザのUIDが002であるとすると、図4(A)の右側に示すようなリストが取得される。
次に、サーバ100は、ステップ113で、写真データベース102から、そのリストに存在する他のユーザが撮影した写真のリストを抽出する。
次に、サーバ100は、ステップ114で、後述のような定められた判断基準に従って、そのリストに搭載されている写真の中から、送信する写真を選択する。
次に、サーバ100は、ステップ115で、その選択した各写真についての、撮影者UID、撮影日時情報、撮影位置情報、生体情報(脈拍数)および写真画像データを、要求元のユーザ端末(ユーザ端末10とする)に送信する。
ユーザ端末10は、ステップ65で、その送信された各情報を受信し、次にステップ66で、後述の方法によって呈示対象情報を呈示する。
(3−2.サーバでの呈示対象情報の選択:図8)
図6のステップ114でのサーバ100における情報(写真)選択のための判断基準としては、それぞれの写真画像情報に付加されている撮影位置情報で示される、それぞれの写真の撮影位置と、要求元のユーザ端末から送信された現在位置情報で示される現在位置との間の物理的距離を、判断要素の少なくとも1つとする。
図8(A)に示すように、ある点(位置)Pの経度(東経)および緯度(北緯)をλ1およびφ1とし、別の点Qの経度および緯度をλ2およびφ2とすると、点P,Q間の物理的距離L、および点Qの点Pに対する方位角θは、それぞれ図8(B)の式(11)および式(12)で表される。
式(11)および式(12)中のΔxおよびΔyは、それぞれ図8(B)の式(3)および式(4)で表され、式(3)および式(4)中のΔλおよびΔφは、それぞれ図8(A)の式(1)および式(2)で表される。
<第1の例>
判断要素としては、第1の例として、図8(B)の式(11)で表される物理的距離Lと、上記の親密度Dとを用いる。
具体的に、図8(C)の式(21)で表される値Laを評価上の距離として、この距離Laが所定値Lo以下の写真を選択する。Loは、例えば1kmとする。
これによれば、要求元のユーザから見た親密度Dが“3”の他のユーザが撮影した写真は、物理的距離Lが3Lo以下の写真まで、すなわち現在位置からより離れた位置で撮影された写真まで、選択呈示されるのに対して、要求元のユーザから見た親密度Dが“1”の他のユーザが撮影した写真は、物理的距離LがLo以下の写真しか、すなわち現在位置に近い位置で撮影された写真しか、選択表示されないことになる。
<第2の例>
判断要素としては、第2の例として、式(11)で表される物理的距離Lと、要求元のユーザの写真に対する嗜好度(興味の程度)Eとを用いる。
この場合、各ユーザは、あらかじめ、または情報要求時、サーバ100に対して嗜好度Eを申告する。嗜好度Eも、例えば、3,2,1の3段階とされる。
具体的に、図8(C)の式(22)で表される値Laを評価上の距離として、この距離Laが所定値Lo以下の写真を選択する。
これによれば、要求元のユーザの写真に対する嗜好度Eが“3”である場合には、物理的距離Lが3Lo以下の写真まで、すなわち現在位置からより離れた位置で撮影された写真まで、選択呈示されるのに対して、要求元のユーザの写真に対する嗜好度Eが“1”である場合には、物理的距離LがLo以下の写真しか、すなわち現在位置に近い位置で撮影された写真しか、選択表示されないことになる。
<第3の例>
判断要素としては、第3の例として、式(11)で表される物理的距離Lと、上記の嗜好度Eおよび親密度Dとを用いる。
具体的に、図8(C)の式(23)または式(24)で表される値Laを評価上の距離として、この距離Laが所定値Lo以下の写真を選択する。
これによれば、例えば、要求元のユーザの写真に対する嗜好度Eが“2”である場合、要求元のユーザから見た親密度Dが“3”の他のユーザが撮影した写真は、式(23)によるときには、物理的距離Lが5Lo以下の写真まで選択呈示され、式(24)によるときには、物理的距離Lが6Lo以下の写真まで選択呈示される。
(3−3.情報呈示方法:図9〜図12)
ユーザ端末での写真や生体情報の呈示方法としては、以下のように、空間表現による方法、振動伝達や発光による方法、これらを組み合わせた方法、などを用いることができる。
<第1の例:図9>
図9に、第1の例を示す。
この例では、表示画面35aの上部に地図71を、現在位置として計測された位置が地図71の中心位置となるように表示し、その地図71上の中心位置(現在位置)に、当該ユーザ(要求元のユーザ)を示すキャラクタ73を表示し、地図71上の各写真が撮影された位置に、カメラアイコン77a,77b‥‥を表示し、カメラアイコン77a,77b‥‥に重ねて、当該写真を撮影したユーザの当該写真を撮影した時の生体情報(脈拍数)から判断される感情(喜んでいる、怒っている、悲しんでいる、など)を示すアイコン75a,75b‥‥を表示する。ユーザの違いは、例えば、カメラアイコンの色の違いによって表示される。
また、この例では、表示画面35aの下部に、写真1a,1b,1c‥‥が表示される。写真は、例えば、上記の評価上の距離Laが近い順に、または撮影日時が近い順に、表示される。
さらに、この例では、当該ユーザが居る位置(現在位置)に最も近い位置で写真を撮影したユーザの、または当該ユーザがカメラアイコンや写真を指示することによって選択したユーザの、撮影時の脈拍数を、上記のバイブレータ47によって振動として当該ユーザに伝達する。
この場合、例えば、脈拍数が多いほど、振動の周期を短く(振動周波数を高く)する。例えば、振動の周期を脈拍の周期と同じにする。
また、この場合、上記の親密度Dが高いほど、または物理的距離Lが小さいほど、振動を強くするなど、親密度Dや物理的距離Lに応じて振動のパターンを変えると、当該ユーザに強い印象を与えることができ、例えば、当該ユーザが他のユーザが写真を撮影した場所を通りかかると、そのことを教えてくれるレーダーのような役割を果たすようになる。
さらに、この場合、当該ユーザの写真に対する嗜好度Eに応じて振動のパターンを変えるようにしてもよい。
図9の例は、感情を示すアイコンを表示する場合であるが、これに代えて、またはこれに加えて、写真を撮影したユーザを示すキャラクタを表示してもよい。ユーザのキャラクタを表示するためのデータは、あらかじめ当該ユーザ端末に記憶され、またはサーバ100から当該ユーザ端末に送信される。
また、図9の例は、現在位置が地図71の中心位置となるように地図71を表示する場合であるが、例えば、当該ユーザが北の方向に移動しているときには、現在位置が地図の中心位置より南側となって、地図として現在位置の北側のエリアが広範囲に表示され、当該ユーザが東の方向に移動しているときには、現在位置が地図の中心位置より西側となって、地図として現在位置の東側のエリアが広範囲に表示されるように、当該ユーザの移動方向に応じて地図上の現在位置を変えるようにしてもよい。
<第2の例:図10>
図10に、第2の例を示す。
この例では、図9の例と同様に、表示画面上に地図71を、現在位置として計測された位置が地図71の中心位置となるように表示し、その地図71上の中心位置に、当該ユーザを示すキャラクタ73を表示し、地図71上の、当該ユーザが居る位置(現在位置)に近い、各写真が撮影された位置に、カメラアイコン77u,77v,77w、および当該写真を撮影したユーザを示すキャラクタ75u,75v,75wを表示するとともに、キャラクタ73とキャラクタ75u,75v,75wとを、それぞれライン79u,79v,79wで結ぶ。
各写真は、例えば、図9の例と同様に、地図71の下方に表示する。生体情報(脈拍数)の呈示は、例えば、図9の例と同じである。
この場合、上記の親密度Dが高いほど、または物理的距離Lが小さいほど、ラインを太くし、またはラインを目立つ明るさや色にするなど、親密度Dや物理的距離Lに応じてラインのパターンを変え、あるいは、親密度Dが高いほど、または物理的距離Lが小さいほど、キャラクタを大きくし、またはキャラクタを目立つ明るさや色にするなど、親密度Dや物理的距離Lに応じてキャラクタのパターンを変えると、親密度Dが高いことや、物理的距離Lが小さいことを、当該ユーザに強く印象づけることができる。
また、この場合、例えば、当該ユーザが居る位置(現在位置)に対して所定距離内の位置で写真を撮影したユーザ、または当該ユーザが居る位置に最も近い位置で写真を撮影したユーザにつき、そのキャラクタを動かすようにしてもよい。
さらに、この場合、当該ユーザの写真に対する嗜好度Eに応じて、ラインやキャラクタのパターンを変えるようにしてもよい。
<第3の例:図11>
図9および図10の例は、地図を表示する場合であるが、図11に、地図表示によらない空間表現として、情報をレーダー状に表示する場合の一例を示す。
この例では、表示画面上に円81aを表示し、円81aの中心Pcを当該ユーザが居る位置(現在位置)として、円81aの中心Pcに当該ユーザを示すキャラクタ73を表示するとともに、円81aの内側に円81aと同心の円81bおよび81cを表示し、円81aの内側の、各写真が撮影された位置の当該ユーザが居る位置に対する方位および距離に応じた位置に、カメラアイコン77x,77yを表示し、カメラアイコン77x,77yの近傍位置に、当該写真を撮影したユーザを示すキャラクタ75x,75yを表示する。
この例によれば、当該ユーザは、誰が、自分が居る位置に対して、どの方位の、どの程度離れた位置で、写真を撮影したかを、ひと目で知ることができる。
図11では省略したが、各写真は、例えば、表示画面上の円81aの下方に表示する。生体情報(脈拍数)の呈示は、例えば、図9の例と同じである。
図11の例は、写真を撮影したユーザのキャラクタを表示する場合であるが、これに代えて、またはこれに加えて、カメラアイコンに重ねて、写真を撮影したユーザの写真を撮影した時の生体情報(脈拍数)から判断される感情を示すアイコンを表示してもよい。
<第4の例:図12>
図12に、地図表示によらない空間表現として、情報をレーダー状に表示する場合の他の例を示す。
図12(A)は、当該ユーザ(要求元のユーザ)の生体情報(脈拍数)から、当該ユーザが怒っていると判断される場合であり、図12(B)は、当該ユーザの生体情報から、当該ユーザが悲しんでいると判断される場合である。
図12(A)の例では、表示画面上に円81を表示し、円81の中心を当該ユーザが居る位置(現在位置)として、円81の中心に当該ユーザが怒っていることを示すアイコン83を表示するとともに、円81の内側の、それぞれ生体情報から怒っていると判断される他のユーザが写真を撮影した位置の当該ユーザが居る位置に対する方位および距離に応じた位置に、それぞれ他のユーザが怒っていることを示すアイコン85a,85b,85cおよび85dを表示する。
図12(B)の例では、表示画面上に円81を表示し、円81の中心を当該ユーザが居る位置(現在位置)として、円81の中心に当該ユーザが悲しんでいることを示すアイコン87を表示するとともに、円81の内側の、それぞれ生体情報から悲しんでいると判断される他のユーザが写真を撮影した位置の当該ユーザが居る位置に対する方位および距離に応じた位置に、それぞれ他のユーザが悲しんでいることを示すアイコン89a,89b,89c,89dおよび89eを表示する。
図12の例によれば、当該ユーザは、自分と同じ感情を持った他のユーザが、自分が居る位置に対して、どの方位の、どの程度離れた位置で、写真を撮影したかを、ひと目で知ることができる。
図12では省略したが、各写真は、例えば、表示画面上の円81の下方に表示する。
<他の例>
生体情報については、例えば、図9、図10または図11の例で、当該ユーザが居る位置(現在位置)に最も近い位置で写真を撮影したユーザの、または当該ユーザがカメラアイコン、感情アイコン、キャラクタまたは写真を指示することによって選択したユーザの、撮影時の脈拍数を、上記のようにバイブレータ47によって振動として呈示する代わりに、図2では省略したLED(発光ダイオード)などの発光素子によって光の点滅として呈示するようにしてもよい。
この場合、例えば、脈拍数が多いほど、点滅の周期を短くする。例えば、点滅の周期を脈拍の周期と同じにする。
また、この場合、上記の親密度Dが高いほど、または物理的距離Lが小さいほど、発光強度を強くするなど、親密度Dや物理的距離Lに応じて発光のパターンを変えると、当該ユーザに強い印象を与えることができる。
(3−4.バーチャルな移動による場合)
上記の例は、リアルな移動による場合、すなわち、上記(a)のように、ユーザがユーザ端末10を携帯して実際に移動し、ある場所でユーザ端末10に現在位置を計測させ、呈示対象情報の取得および呈示を指示する場合であるが、バーチャルな移動による場合、すなわち、上記(b)のように、ユーザが実際に移動することなく、自宅などに居ながら、例えば、ユーザ端末10のディスプレイ35上に地図を表示させ、ポインタやカーソルによって、その地図上のある場所を現在位置として指示して、ユーザ端末10に呈示対象情報の取得および呈示を指示する場合も、同様である。
具体的に、この場合、当該ユーザは、ディスプレイ35上に地図を表示させて、地図上で任意の位置を指示し、または、地図を表示させることなく、文字入力や音声入力によって、「北緯35°58′、東経139°75′」または「銀閣寺」などというように任意の位置を指示する。
これによって、ユーザ端末10の制御部25は、図6のステップ61で、その指示された位置を現在位置として、上記の例と同様に以後の処理を実行し、サーバ100も、上記の例と同様に処理を実行する。
ユーザ端末10でのサーバ100から送信された情報の呈示も、上記の例と同じである。
したがって、当該ユーザは、自宅などに居ながら、上記のように実際に移動する場合と同様に、それぞれの場所での他の人の状況や状態を体験して、その人との間に緩やかな繋がりを感じることができる。
[4.システムおよび方法の他の実施形態:図2および図13]
上述した実施形態は、多数のユーザ端末がネットワーク200を介してサーバ100と接続されて情報提供システムを構成し、あるユーザ端末がサーバ100に情報の提供を要求することによってサーバ100から当該ユーザ端末に情報が送信され、当該ユーザ端末において情報が呈示される場合であるが、この発明は、このようなネットワークシステムではなく、ユーザ端末のみによってシステムを構成する場合にも適用することができる。
この場合のユーザ端末は、携帯電話端末やPCなどとすることができ、携帯電話端末とする場合には、図2に示したような構成として、その記憶装置部27をデータベースとする。
すなわち、この場合、ユーザ端末10の記憶装置部27には、ユーザ自身が撮影した写真の画像情報(画像データ)が複数、それぞれ、撮影場所を示す位置情報、および撮影時のユーザ自身の生体情報(脈拍数)が付加されて蓄積される。
この場合のユーザのユーザ端末10に対する情報呈示の指示としても、リアルな移動による場合とバーチャルな移動による場合とが考えられる。
リアルな移動による場合には、ユーザが情報呈示を指示することによって、ユーザ端末10は、位置計測部43によって現在位置を計測して、以後の処理を実行する。
バーチャルな移動による場合には、上記のようにユーザが任意の位置を指示することによって、ユーザ端末10は、その指示された位置を現在位置として、以後の処理を実行する。
以後の処理は、図1の情報提供システムでサーバ100が実行する処理も全てユーザ端末10が実行する点を除いて、上述した実施形態と同じである。
図13に、この場合の情報呈示方法の一例を示す。この例は、ユーザが、表示画面35a上に、過去にユーザ自身が行って写真を撮影した地域の地図91を表示させた場合である。
このとき、ユーザ端末10は、地図91上のユーザが写真を撮影した各位置に、カメラアイコン97p,97q‥‥を表示し、カメラアイコン97p,97q‥‥に重ねて、当該写真を撮影した時のユーザの生体情報(脈拍数)から判断される感情を示すアイコン95p,95q‥‥を表示する。
この状態で、ユーザが、あるカメラアイコンまたは感情アイコンを指示すると、例えば、地図91上に、当該の指示されたアイコンに対応する写真3がポップアップ表示されるとともに、その写真3を撮影した時のユーザの脈拍数が、上記のバイブレータ47によって振動として、またはLEDなどの発光素子によって光の点滅として、呈示される。
さらに、この例では、ユーザが写真を撮影しながら移動したルート(軌跡)がライン99によって地図91上に表示され、ユーザがライン99を指示すると、そのルートの各位置で撮影された写真が順次、地図91上にポップアップ表示されると同時に、ルートの各位置で写真を撮影した時のユーザの脈拍数が順次、上記のバイブレータ47によって振動として、またはLEDなどの発光素子によって光の点滅として、呈示される。
したがって、ユーザは、実際に当該の場所に出かけて、または自宅などに居ながら、当該の場所での過去の自分の状況や状態を追体験して、思い出を想起することができる。
[5.呈示対象情報の他の例]
上記の例は、呈示対象情報の1つとして、撮影された写真を呈示する場合であるが、撮影された動画を呈示するようにしてもよい。
また、上記の例は、生体情報として脈拍を測定し、脈拍数を振動や光の点滅によって呈示する場合であるが、生体情報としては、そのほか、心拍、心電図、筋電、呼吸、発汗、GSR、血圧、血中酸素飽和濃度、皮膚表面温度、脈波、血流変化、体温などの生理的・生化学的な情報、または、歩行や走行のテンポやリズム、頭の動き、眼の動き、身体全体の動き、身体の重心位置などの体動的な情報を、測定し呈示するようにしてもよい。
さらに、呈示対象情報は、写真などの画像と生体情報とのいずれか一方でもよく、また、位置情報によって特定される対象位置での人の行動または状況によって得られた情報であれば、写真などの画像または生体情報に限らない。
この発明のシステムの一例を示す図である。 ユーザ端末の一例を示す図である。 サーバの一例を示す図である。 サーバのデータベースの内容の一例を示す図である。 ユーザ端末が実行する情報取得および情報提供の処理の一例を示す図である。 ユーザ端末が情報を取得呈示する場合にユーザ端末およびサーバが実行する一連の処理の一例の一部を示す図である。 ユーザ端末が情報を取得呈示する場合にユーザ端末およびサーバが実行する一連の処理の一例の一部を示す図である。 サーバでの情報選択の説明に供する図である。 情報呈示方法の第1の例を示す図である。 情報呈示方法の第2の例を示す図である。 情報呈示方法の第3の例を示す図である。 情報呈示方法の第4の例を示す図である。 情報呈示方法の他の例を示す図である。
符号の説明
主要部については図中に記述したので、ここでは省略する。

Claims (15)

  1. 位置情報によって特定される対象位置での人の行動または状況によって得られた情報を複数、それぞれ呈示対象情報として、それぞれ上記位置情報を付加して、記憶装置に記録する工程と、
    ユーザの要求によって、現在位置として計測または指示された位置と上記対象位置との間の物理的距離を判断要素の少なくとも1つとする判断基準に従って、上記記憶装置に記録されている複数の呈示対象情報の中から、1つまたは複数の呈示対象情報を選択する工程と、
    その選択された呈示対象情報を、情報呈示手段によって呈示する工程と、
    を備えることを特徴とする情報呈示方法。
  2. 請求項1の情報呈示方法において、
    上記記録工程は、それぞれのユーザ端末がネットワークを介して接続されるサーバが、それぞれのユーザ端末から送信された情報を受信することによって実行し、
    上記選択工程は、上記サーバが上記ユーザのユーザ端末からの要求に応じて実行し、
    上記呈示工程は、上記ユーザのユーザ端末が上記サーバから送信された情報を受信することによって実行する、
    ことを特徴とする情報呈示方法。
  3. 請求項2の情報呈示方法において、
    上記選択工程では、上記判断要素の1つとして、上記ユーザと上記対象位置に居る人または居た人との間の親密度を用いて、上記物理的距離が同じ複数の人の間では上記親密度が高い方の人に係る呈示対象情報を優先的に選択することを特徴とする情報呈示方法。
  4. 請求項1の情報呈示方法において、
    上記記録工程、上記選択工程および上記呈示工程は、上記ユーザのユーザ端末が実行することを特徴とする情報呈示方法。
  5. 請求項1の情報呈示方法において、
    上記呈示対象情報の少なくとも1つは、上記対象位置で撮影された写真であることを特徴とする情報呈示方法。
  6. 請求項5の情報呈示方法において、
    上記呈示工程では、表示画面上に地図を表示して、その地図上の上記対象位置に、当該対象位置で写真が撮影されたことを示すアイコン、または当該対象位置で写真を撮影した人を示すキャラクタを表示し、上記表示画面上の上記地図上または上記地図外の部分に、その撮影された写真を表示することを特徴とする情報呈示方法。
  7. 請求項5の情報呈示方法において、
    上記呈示工程では、表示画面上のある座標位置を中心位置として、その中心位置に対して、上記対象位置の上記現在位置に対する方位に応じた方向の、上記物理的距離に応じた距離の座標位置に、当該対象位置で写真が撮影されたことを示すアイコン、または当該対象位置で写真を撮影した人を示すキャラクタを表示し、上記表示画面上に、その撮影された写真を表示することを特徴とする情報呈示方法。
  8. 請求項1の情報呈示方法において、
    上記呈示対象情報の少なくとも1つは、上記対象位置に居る人または居た人の生体情報であることを特徴とする情報呈示方法。
  9. 請求項8の情報呈示方法において、
    上記呈示工程では、表示画面上に地図を表示して、その地図上の上記対象位置に、当該対象位置に居る人または居た人を示すキャラクタ、または当該対象位置に居る人または居た人の上記生体情報から判断される感情または状態を示すアイコンを表示することを特徴とする情報呈示方法。
  10. 請求項8の情報呈示方法において、
    上記呈示工程では、表示画面上のある座標位置を中心位置として、その中心位置に対して、上記対象位置の上記現在位置に対する方位に応じた方向の、上記物理的距離に応じた距離の座標位置に、当該対象位置に居る人または居た人を示すキャラクタ、または当該対象位置に居る人または居た人の上記生体情報から判断される感情または状態を示すアイコンを表示することを特徴とする情報呈示方法。
  11. 請求項8の情報呈示方法において、
    上記呈示工程では、表示画面上のある座標位置を中心位置として、その中心位置に、上記ユーザの生体情報から判断される上記ユーザの感情または状態を示すアイコンを表示し、上記中心位置に対して、それぞれ生体情報から判断される感情または状態が上記ユーザの感情または状態と同じ人についての対象位置の、上記現在位置に対する方位に応じた方向の、上記物理的距離に応じた距離の座標位置に、上記ユーザと同じ感情または状態の人が居ること、または居たことを示すアイコンを表示することを特徴とする情報呈示方法。
  12. 請求項8の情報呈示方法において、
    上記呈示工程では、上記生体情報を振動または光の点滅によって呈示することを特徴とする情報呈示方法。
  13. ネットワークを介してサーバに接続して、当該サーバに情報を送信し、当該サーバから送信された情報を受信する通信部と、情報呈示手段と、制御部とを備え、
    上記サーバは、位置情報によって特定される対象位置での人の行動または状況によって得られた情報を複数、それぞれ呈示対象情報として、それぞれ上記位置情報を付加して、データベースに記録するものであり、
    上記制御部は、ユーザの要求によって、現在位置として計測または指示された位置を示して、上記通信部によって上記サーバに、呈示対象情報の送信を要求するとともに、その要求に応答して上記サーバにおいて、上記現在位置と上記対象位置との間の物理的距離を判断要素の少なくとも1つとする判断基準に従って、上記データベースに記録されている複数の呈示対象情報の中から選択され、送信された1つまたは複数の呈示対象情報を、上記通信部によって受信して、上記情報呈示手段によって呈示する、
    ことを特徴とする情報呈示装置。
  14. 位置情報によって特定される対象位置での人の行動または状況によって得られた情報が複数、それぞれ呈示対象情報として、それぞれ上記位置情報が付加されて記録されるデータベースと、制御部と、通信部とを備えるサーバであって、
    上記制御部は、ネットワークを介して当該サーバと接続されたユーザ端末からの要求によって、そのユーザ端末で現在位置として計測または指示された位置と上記対象位置との間の物理的距離を判断要素の少なくとも1つとする判断基準に従って、上記データベースに記録されている複数の呈示対象情報の中から、1つまたは複数の呈示対象情報を選択し、上記通信部によって上記ユーザ端末に送信することを特徴とするサーバ。
  15. 位置情報によって特定される対象位置での人の行動または状況によって得られた情報が複数、それぞれ呈示対象情報として、それぞれ上記位置情報が付加されて記録される記憶装置部と、情報呈示手段と、制御部とを備え、
    上記制御部は、ユーザの要求によって、現在位置として計測または指示された位置と上記対象位置との間の物理的距離を判断要素の少なくとも1つとする判断基準に従って、上記記憶装置部に記録されている複数の呈示対象情報の中から、1つまたは複数の呈示対象情報を選択し、上記情報呈示手段によって呈示する、
    ことを特徴とする情報呈示装置。
JP2008025885A 2008-02-06 2008-02-06 情報呈示方法、情報呈示装置およびサーバ Withdrawn JP2009187233A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008025885A JP2009187233A (ja) 2008-02-06 2008-02-06 情報呈示方法、情報呈示装置およびサーバ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008025885A JP2009187233A (ja) 2008-02-06 2008-02-06 情報呈示方法、情報呈示装置およびサーバ

Publications (1)

Publication Number Publication Date
JP2009187233A true JP2009187233A (ja) 2009-08-20

Family

ID=41070412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008025885A Withdrawn JP2009187233A (ja) 2008-02-06 2008-02-06 情報呈示方法、情報呈示装置およびサーバ

Country Status (1)

Country Link
JP (1) JP2009187233A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011076427A (ja) * 2009-09-30 2011-04-14 Casio Computer Co Ltd 表示端末、サーバ装置、画像共有システム、及び画像共有方法
JP2011145407A (ja) * 2010-01-13 2011-07-28 Olympus Imaging Corp 画像表示装置および画像表示処理プログラム
WO2012137397A1 (ja) * 2011-04-01 2012-10-11 パナソニック株式会社 コンテンツ処理装置、コンテンツ処理方法、コンテンツ処理プログラム、及び集積回路
WO2013180343A1 (ko) * 2012-05-29 2013-12-05 주식회사 포비커 위치기반 소셜 네트워크 서비스의 사용자 감정 및 행동 정보 입력 시스템, 방법 및 위치기반 사용자 감정 및 행동 정보 획득 방법
WO2014129042A1 (ja) 2013-02-21 2014-08-28 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9384494B2 (en) 2013-01-09 2016-07-05 Sony Corporation Information processing apparatus, information processing method, and program
WO2017203834A1 (ja) * 2016-05-26 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2020044478A1 (ja) * 2018-08-29 2020-03-05 ソニー株式会社 情報処理装置および情報処理方法
US10922838B2 (en) 2016-02-26 2021-02-16 Nec Corporation Image display system, terminal, method, and program for displaying image associated with position and orientation
US11647370B2 (en) 2018-02-16 2023-05-09 Maxell, Ltd. Mobile information terminal, information presentation system and information presentation method

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011076427A (ja) * 2009-09-30 2011-04-14 Casio Computer Co Ltd 表示端末、サーバ装置、画像共有システム、及び画像共有方法
JP2011145407A (ja) * 2010-01-13 2011-07-28 Olympus Imaging Corp 画像表示装置および画像表示処理プログラム
US8949335B2 (en) 2011-04-01 2015-02-03 Panasonic Intellectual Property Corporation Of America Content processing device, content processing method, computer-readable recording medium, and integrated circuit for processing at least one of more contents
CN102918535A (zh) * 2011-04-01 2013-02-06 松下电器产业株式会社 内容处理装置、内容处理方法、内容处理程序以及集成电路
WO2012137397A1 (ja) * 2011-04-01 2012-10-11 パナソニック株式会社 コンテンツ処理装置、コンテンツ処理方法、コンテンツ処理プログラム、及び集積回路
WO2013180343A1 (ko) * 2012-05-29 2013-12-05 주식회사 포비커 위치기반 소셜 네트워크 서비스의 사용자 감정 및 행동 정보 입력 시스템, 방법 및 위치기반 사용자 감정 및 행동 정보 획득 방법
US9384494B2 (en) 2013-01-09 2016-07-05 Sony Corporation Information processing apparatus, information processing method, and program
US10990613B2 (en) 2013-01-09 2021-04-27 Sony Corporation Information processing apparatus and information processing method
WO2014129042A1 (ja) 2013-02-21 2014-08-28 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9990585B2 (en) 2013-02-21 2018-06-05 Sony Corporation Information processing apparatus, information processing method and computer-readable storage medium for generating course information
US10922838B2 (en) 2016-02-26 2021-02-16 Nec Corporation Image display system, terminal, method, and program for displaying image associated with position and orientation
WO2017203834A1 (ja) * 2016-05-26 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US11647370B2 (en) 2018-02-16 2023-05-09 Maxell, Ltd. Mobile information terminal, information presentation system and information presentation method
WO2020044478A1 (ja) * 2018-08-29 2020-03-05 ソニー株式会社 情報処理装置および情報処理方法
US11528420B2 (en) 2018-08-29 2022-12-13 Sony Corporation Information processing apparatus and information processing method

Similar Documents

Publication Publication Date Title
JP2009187233A (ja) 情報呈示方法、情報呈示装置およびサーバ
US10716968B2 (en) Information processing system
EP1522256A1 (en) Information recording device and information recording method
JPWO2019021575A1 (ja) 情報処理システム、情報処理装置、情報処理方法、および記録媒体
JP6379424B2 (ja) 画像記録装置
US20170256283A1 (en) Information processing device and information processing method
JP2015028686A (ja) ソーシャルタイムラインを作成する方法、ソーシャル・ネットワーク・サービスシステム、サーバー、端末並びにプログラム
US20170329855A1 (en) Method and device for providing content
JP5651939B2 (ja) 画像処理装置及びプログラム
WO2022037479A1 (zh) 一种拍摄方法和拍摄系统
JP2008178110A (ja) カラーマーカーを用いたコンテンツ提供方法およびそれを実行するためのシステム
JP6375597B2 (ja) ネットワークシステム、サーバー、プログラム、並びにトレーニング支援方法
JP4421929B2 (ja) サーバシステム
JP2010045436A (ja) カメラ及び撮影システム
JP6241495B2 (ja) トレーニング支援装置、トレーニング支援方法、及びプログラム
JP2013021473A (ja) 情報処理装置、情報取得方法およびコンピュータプログラム
JP6435595B2 (ja) トレーニング支援システム、サーバー、端末、カメラ、方法並びにプログラム
CN107547783B (zh) 显示装置、显示方法、记录介质以及显示系统
JP6474749B2 (ja) 情報提示方法、情報提示プログラム、及び情報提示装置
JP6451110B2 (ja) 撮影装置、画像生成方法及びプログラム
JP6063697B2 (ja) 画像表示のための装置、方法及びプログラム
US20210149952A1 (en) Information processing apparatus, information processing method, and program
JP6754893B2 (ja) 画像生成装置及び画像生成方法
WO2023188940A1 (ja) 画像ファイル、情報処理装置、撮像装置、及び生成方法
JP5249805B2 (ja) 画像合成システム及び画像合成方法

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090810

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091006

A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20110510