JP2010134802A - 情報処理装置、及び情報処理方法 - Google Patents

情報処理装置、及び情報処理方法 Download PDF

Info

Publication number
JP2010134802A
JP2010134802A JP2008311628A JP2008311628A JP2010134802A JP 2010134802 A JP2010134802 A JP 2010134802A JP 2008311628 A JP2008311628 A JP 2008311628A JP 2008311628 A JP2008311628 A JP 2008311628A JP 2010134802 A JP2010134802 A JP 2010134802A
Authority
JP
Japan
Prior art keywords
data
user
unit
behavior
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008311628A
Other languages
English (en)
Other versions
JP5551867B2 (ja
JP2010134802A5 (ja
Inventor
Makoto Murata
誠 村田
Masatomo Kurata
雅友 倉田
Takashi Ogata
崇 小形
Masanori Katsu
正範 勝
Mitsuo Okumura
光男 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008311628A priority Critical patent/JP5551867B2/ja
Priority to US12/629,213 priority patent/US8508536B2/en
Priority to CN2009102536347A priority patent/CN101751220B/zh
Publication of JP2010134802A publication Critical patent/JP2010134802A/ja
Publication of JP2010134802A5 publication Critical patent/JP2010134802A5/ja
Priority to US13/933,009 priority patent/US9189136B2/en
Application granted granted Critical
Publication of JP5551867B2 publication Critical patent/JP5551867B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/26Devices for calling a subscriber
    • H04M1/27Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/274Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
    • H04M1/2745Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips
    • H04M1/27453Directories allowing storage of additional subscriber data, e.g. metadata
    • H04M1/2746Sorting, e.g. according to history or frequency of use
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/26Devices for calling a subscriber
    • H04M1/27Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/274Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
    • H04M1/2745Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips
    • H04M1/27467Methods of retrieving data
    • H04M1/27475Methods of retrieving data using interactive graphical means or pictorial representations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/013Force feedback applied to a game
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】複数のユーザの行動や位置などの情報を一目で把握できる情報処理装置を提供すること。
【解決手段】第一のユーザにより登録された上記第一のユーザ及び第二のユーザに関する所定の情報を記録する記憶部と、上記所定のデータに基づいて上記第一のユーザ及び上記第二のユーザのオブジェクトを距離を置いて2次元の表示画面上に表示する映像信号を生成するデータ制御部と、上記映像信号を上記2次元の表示画面上に表示する表示制御部と、を有する、情報処理装置。
【選択図】図4

Description

本発明は、情報処理装置、及び情報処理方法に関する。
近年、携帯電話等の情報処理装置は、多機能化している。そのため、ユーザは、情報処理装置に搭載された様々な機能を用いて多様な情報を得ることができる。情報処理装置に搭載される機能としては、ユーザの行動を把握することができる機能が例として挙げられる。例えば、下記の特許文献1、2には、加速度センサ及びジャイロセンサを用いて、歩いたり、走ったり、立ち止まったりしているユーザの行動を認識して、当該行動をオブジェクトとして表示する技術が開示されている。
特開2006−340903号公報 特開2008−003655号公報
しかしながら、上記機能が用いられても、他の複数のユーザの行動を一度に把握することはできないでいた。また、当該他の複数のユーザの行動以外の情報を同時に把握することもできないでいた。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、2次元上に複数ユーザの行動を表示するオブジェクトを所定の情報に基づいて配置することが可能な、新規かつ改良された情報処理装置、及び情報処理方法を提供することにある。
上記課題を解決するために、本発明のある観点によれば、第一のユーザにより登録された第一のユーザ及び第二のユーザに関する所定の情報を記録する記憶部と、上記第一のユーザ及び上記第二のユーザに対応するオブジェクトを上記所定の情報に基づいて算出された距離を置いて2次元の表示画面上に表示する映像信号を生成するデータ制御部と、上記映像信号を上記2次元の表示画面上に表示する表示制御部と、を有する情報処理装置が提供される。
また、上記情報処理装置は、上記第一のユーザの行動を感知する行動感知部と、上記行動感知部から上記第一のユーザの行動に関する情報である行動情報を受信して、上記第一のユーザの行動情報に関するセンサデータを生成するセンサデータ生成部と、上記センサデータから行動を特徴づける行動パラメータを抽出する行動パラメータ抽出部と、動画像若しくは静止画像を用いて表現される行動表現データを上記行動パラメータに基づいて生成する行動表現データ生成部と、を更に有し、上記データ制御部は、上記所定のデータに基づいて上記行動表現データを上記オブジェクトとして上記2次元の表示画面上に距離を置いて表示する映像信号を生成してもよい。
また、上記情報処理装置は、上記行動表現データをサーバに送信するデータ送信部と、上記第二のユーザの上記行動表現データをサーバから受信するデータ受信部と、を更に有し、上記データ制御部は、上記所定のデータに基づいて上記第一のユーザ及び上記第二のユーザの行動表現データを上記オブジェクトとして上記2次元の表示画面上に距離を置いて表示する映像信号を生成してもよい。
また、上記情報処理装置は、上記第一のユーザの存在位置を認識する位置認識部と、上記位置認識部より取得した上記第一のユーザの存在位置に関する情報である存在位置情報により位置データを生成する位置データ生成部と、を更に有し、上記データ送信部は、上記位置データ生成部により生成された上記第一のユーザの位置データをサーバに送信し、データ制御部は、上記第一のユーザの位置データと、上記データ受信部が受信した少なくとも1以上の上記第二のユーザの上記位置データに基づいて、上記第一のユーザおよび上記第二のユーザの行動表現データを上記オブジェクトとして上記2次元の表示画面上に距離を置いて表示する映像信号を生成してもよい。
また、上記情報処理装置では、上記所定のデータは、ユーザ各自が所有する情報処理装置を用いてユーザ間で通信した履歴に関する通信履歴データであり、上記データ制御部が、上記通信履歴データに基づいて上記第一のユーザ及び上記第二のユーザの行動表現データを上記オブジェクトとして距離を置いて上記2次元の表示画面上に表示する映像信号を生成してもよい。
また、上記情報処理装置は、上記表示画面に表示された上記オブジェクトに外部オブジェクトが当接することで、上記データ制御部が、当接した上記外部オブジェクトの移動に追従して上記オブジェクトを移動させてもよい。
また、上記情報処理装置では、上記ユーザ毎の所定のデータは、ユーザに関するパーソナルデータであり、上記データ送信部は、上記パーソナルデータをサーバに送信し、上記データ制御部は、上記第一のユーザの上記パーソナルデータおよび上記データ受信部がサーバから受信した上記第二のユーザの上記パーソナルデータに基づいて、上記第一のユーザ及び上記第二のユーザの行動表現データを上記オブジェクトとして距離を置いて上記2次元の表示画面上に表示する映像信号を生成してもよい。
また、上記データ制御部は、上記ユーザのオブジェクトに対して上記第一のユーザにより所定の方式に基づいたジェスチャーが行われると、自装置と上記第二のユーザが所有する上記情報処理装置との間で行われる通信を開始してもよい。
また、上記情報処理装置は、上記行動パラメータ抽出部が、上記センサデータを受信するセンサデータ受信部と、上記センサデータを時系列に表示した場合に、上記センサデータの出力値が表すピークが発生する周期に基づいて当該ピークを分類する行動分類部と、上記周期が所定値以下である上記ピークを抽出して、抽出した上記ピークに関するデータを非日常行動データとして行動表現データ生成部に送信する非日常行動抽出部と、を有していてもよい。
また、上記情報処理装置は、上記行動パラメータ抽出部が、上記センサデータを受信するセンサデータ受信部と、複数の上記センサデータを取得して行動パターンを生成する行動パターン生成部と、上記行動パターン生成部から受信した上記行動パターン、及び上記センサデータ受信部から受信した上記センサデータの相関係数を求めて、所定の相関係数の範囲に入らない上記センサデータを行動表現データ生成部に送信する行動パターン評価部と、を有してもよい。
また、上記課題を解決するために、本発明の別の観点によれば、第一のユーザにより予め登録されている上記第一のユーザ及び第二のユーザに関する所定の情報に基づいて、上記第一のユーザ及び上記第二のユーザに対応するオブジェクトを上記所定の情報に基づいて算出された距離を置いて2次元の表示画面上に表示する映像信号を生成するデータ制御ステップと、上記映像信号を上記2次元の表示画面上に表示する表示制御ステップと、を有する、情報処理方法が提供される。
また、上記課題を解決するために、本発明の更に別の観点によれば、上記の情報処理装置が有する機能をコンピュータに実現させるためのプログラムが提供されうる。さらに、当該プログラムが記録されたコンピュータにより読み取り可能な記録媒体が提供されうる。
以上説明したように本発明によれば、2次元上に複数のユーザの行動を表示するオブジェクトを所定の情報に基づいて配置することができる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
[説明の流れについて]
本稿における説明の流れは次の通りである。まず、図1を参照しながら、本発明の一実施形態に係る情報処理装置を含むネットワークの構成について説明する。次いで図2を参照しながら、同実施形態に係る情報処理装置の構成例について説明する。次いで、図3を参照しながら、同実施形態に係る情報処理装置の機能構成について説明する。
次いで、図4〜図55を参照しながら、本発明の情報処理方法の応用例について説明する。最後に、同実施形態の技術的思想について纏め、当該技術的思想から得られる作用効果について簡単に説明する。
1.ネットワークの構成例
2.情報処理装置100の構成例
3.情報処理装置100の機能構成
4.情報処理方法の応用例
5.非日常行動抽出技術
6.情報処理装置100のハードウェア構成例
7.まとめ
[1.ネットワークの構成例]
まず、図1を参照しながら、本発明の一実施形態に係る情報処理装置を含むネットワークの構成について説明する。図1は、同実施形態に係る表示システム1のシステム構成例を示す説明図である。
図1に示すように、表示システム1は、主に情報処理装置100と、サーバ102と、通信網104とを有する。
情報処理装置100は、サーバ102から受信した行動表現データを表示画面上にオブジェクトとして表示するために所定のデータに基づいて処理を行う。また、情報処理装置100は、ユーザの行動に基づく行動表現データを生成してサーバ102に送信する。情報処理装置100は、上記の処理以外にも様々な処理を行うことが可能である。この情報処理装置100については、以下で改めて詳細に説明する。また、上記の所定のデータとして、例えば、ユーザのパーソナルデータ、位置データ等が挙げられる。この所定のデータについても、以下で詳細に説明する。
サーバ102は、情報処理装置100から伝送される行動表現データを他の情報処理装置100に対して提供する。この行動表現データは、例えば、XML形式のデータである。また、サーバ102は、情報処理装置100から伝送される上記の所定のデータを他の情報処理装置100に提供する。この所定のデータも、例えば、XML形式のデータである。
通信網104は、情報処理装置100およびサーバ102をそれぞれ双方向通信又は一方向通信可能に接続する通信回線網である。この通信網104は、例えば、インターネット、NGN(Next Generation Network)網、電話回線網、衛星通信網、同報通信路等の公衆回線網や、WAN(Wide Area Network)、LAN(Local Area Network)、IP−VPN(Internet Protocol−Virtual Private Network)、Ethernet(登録商標)、ワイヤレスLAN等の専用回線網などで構成されており、有線/無線を問わない。
サーバ102が、通信網104を介して情報処理装置100から取得した行動表現データ、パーソナルデータ、位置データを他の情報処理装置100に提供する。情報処理装置100は、サーバ102から取得した行動表現データ、パーソナルデータ、位置データ、及び自装置100で生成した行動表現データ、パーソナルデータ、位置データを処理することによって複数のユーザがオブジェクトとして表示された映像信号を作成する。
を有する。
[2.情報処理装置100の構成例]
ここで、図2を参照しながら、情報処理装置100の構成例について説明する。図2は、情報処理装置100の構成例を示す説明図である。図2では、本発明の効果を発揮するために望ましい携帯電話を情報処理装置100の例として説明する。但し、図2には、同実施形態に係る入力操作に用いられる主要なキーのみが描画されている。
図2に示すように、情報処理装置100は、表示画面150と、入力キー152と、通話キー154と、クリアキー156と、電源キー158と、メニューキー160と、メールキー162と、メモリーキー164と、通信キー166と、十字キー168とを有する。
まず、情報処理装置100には、表示画面150が設けられている。表示画面150は、送受信した電子メールの表示をしたり各種の情報が表示されたりするためのものである。また、表示画面150は、タッチパネルの機能を有することもできる。
また、情報処理装置100には、入力キー152が設けられている。入力キー152は、電子メールを作成する場合に文字などが入力されるためのものである。また、入力キー152は、通話する場合の通話相手の番号が入力されるためのものでもある。
また、情報処理装置100には、通話キー154が設けられている。通話キー154は、通話を可能にするためのものである。また、情報処理装置100には、クリアキー156が設けられている。クリアキー156は、各種の情報をクリアにするためのものである。さらに、情報処理装置100には、電源キー158が設けられている。電源キー158は、情報処理装置100の電源の入力を行うためのものである。
また、情報処理装置100には、メニューキー160が設けられている。メニューキー160は、各種のメニューを表示するためのものである。例えば、本発明に係る複数のユーザを二次元の表示画面上に表示させるための機能がメニューとして表示されてもよい。また、情報処理装置100には、メールキー162が設けられている。メールキー162は、メールを作成するための表示画面を出力するためのものである。さらに、情報処理装置100には、メモリーキー164が設けられている。メモリーキー164には、ユーザが登録しておいた他のユーザの電話番号やメールアドレスを表示させるためのものである。
また、情報処理装置100には、通信キー166が設けられている。通信キー166は、インターネット接続を可能にするためのものである。さらに、情報処理装置100には、十字キー168が設けられている。十字キー168は、表示画面上に出力した各種の情報をカーソルで選択するためのものである。
なお、情報処理装置100の一例である携帯電話は、上記説明してきた形態や機能を有するものには限られない。
[3.情報処理装置100の機能構成例]
次に、図3を参照しながら、本実施形態に係る情報処理装置100の機能構成について説明する。図3は、本実施形態に係る情報処理装置100の機能構成例を示す説明図である。情報処理装置100は、自装置が提供する所定の表示情報により、映像信号が有するオブジェクトを所定の情報に基づいて配置する機能に特徴を有する。
図3に示すように、情報処理装置100は、主に、行動感知部106と、センサデータ生成部108と、行動パラメータ抽出部110と、行動表現データ生成部112と、データ送信部114とを有する。また、情報処理装置100は、データ受信部116と、データ制御部118と、表示制御部120と、表示画面150と、記録部124と、記憶部126と、位置認識部128と、位置データ生成部130とを有する。
行動感知部106は、ユーザ行動134を感知し、ユーザが行動していることを表す信号をセンサデータ生成部108に伝送する。センサデータ生成部108は、当該ユーザが行動している旨が伝送されると、ユーザ行動に関する情報であるセンサデータを生成する。なお、ここで言うユーザ行動に関する情報とは、ユーザが歩いている、座っている、立っている、走っている、電話している、跳んでいる、メールしているなどといった、情報処理装置100を付随しているユーザの行動を表した情報を指す。
次に、センサデータ生成部108は、センサデータを行動パラメータ抽出部110に送信する。行動パラメータ抽出部110は、受信したセンサデータに基づいて行動パラメータを抽出する。この行動パラメータとは、センサデータのうちユーザが取った行動における特徴的なデータであり、例えば、センサデータのうち所定の基準値以上の値を持ったピークの集まりである。
次に、行動パラメータ抽出部110は、抽出した行動パラメータを行動表現データ生成部112に送信する。行動表現データ生成部112は、受信した行動パラメータに基づき、ユーザが行った行動を認識した結果である行動表現データを生成する。この行動表現データは、加速度データやジャイロデータなどを基に導き出された、具体的な行動を表現したデータである。この行動表現データには、歩いていることを示すデータ、座っていることを示すデータ、立っていることを示すデータ、走っていることを示すデータ、電話していることを示すデータ、跳んでいることを示すデータ、メールしていることを示すデータなどがある。この行動表現データは、例えばXML形式のデータである。
次に、行動表現データ生成部112は、行動表現データをデータ送信部114に送信する。データ送信部114は、行動表現データをサーバ102に送信する。サーバ102は、受信した行動表現データを上述してきた情報処理装置100とは別の本実施形態に係る情報処理装置100にも送信することができる。そのため、後で詳述するように、情報処理装置100は、他のユーザの行動表現データを取得することができ、所定の情報に基づいて複数のユーザの当該行動表現データに関するオブジェクトを配置して映像信号として表示することができる。
データ受信部116は、サーバ102から他のユーザの行動表現データを受信することができる。データ受信部116は、受信した当該他のユーザの行動表現データをデータ制御部118に送信する。データ制御部118は、他のユーザの行動表現データをデータ受信部116から受信する。また、データ制御部118は、情報処理装置100を所有するユーザの行動表現データをデータ送信部114から受信する。また、データ受信部116が、サーバ102から情報処理装置100を所有するユーザの行動表現データを受信して、データ制御部118が、当該ユーザの行動表現データをデータ受信部116から受信してもよい。
データ制御部118は、受信した情報処理装置100を所有するユーザの行動表現データと、他のユーザの行動表現データとをオブジェクトとして所定のデータに基づいて二次元の表示画面上に配置するための映像信号を生成する。情報処理装置100は、異なる当該所定のデータを複数有することができる。上記の所定のデータは、ユーザ操作によって選択されてもよい。また、上記の所定のデータは、時間毎に選択されるものが設定されていても良い。
ここで、上記の所定のデータについて図4を参照しながら詳述する。所定のデータとは、例えば、位置データである。以下、位置データについて説明する。
まず、位置認識部128が情報処理装置100を所有するユーザの位置を認識する。位置認識部128がユーザの位置を認識する方法としては、GPS(Global Positioning System)方式であってもよいし、その他の方式であってもよい。ユーザの位置を認識した位置認識部128は、位置に関する情報を位置データ生成部130に送信する。
次に、位置データ生成部130は、上記ユーザの存在位置に関する位置データを生成する。位置データ生成部130は、上記位置データをデータ送信部114に送信する。データ送信部114は、上記位置データをサーバ102に送信する。そのため、情報処理装置100は、サーバ102から他のユーザの位置データを取得することができ、位置データに基づいて複数のユーザの当該行動表現データに関するオブジェクトを配置して映像信号として表示することができる。
データ受信部116は、サーバ102から他のユーザの位置データを受信することができる。データ受信部116は、受信した当該他のユーザの位置データをデータ制御部118に送信する。データ制御部118は、他のユーザの位置データをデータ受信部116から受信する。また、データ制御部118は、情報処理装置100を所有するユーザの位置データをデータ送信部114から受信する。また、データ受信部116が、サーバ102から情報処理装置100を所有するユーザの位置データを受信して、データ制御部118が、当該ユーザの位置データをデータ受信部116から受信してもよい。
データ制御部118は、受信した情報処理装置100を所有するユーザの位置データと、他のユーザの位置データとに基づいて行動表現データをオブジェクトとして二次元の表示画面上に配置することができる。また、データ制御部118は、上記の行動表現データを二次元の表示画面上にオブジェクトとして配置した映像信号を生成する。なお、上記のオブジェクトは、ユーザ操作132によって移動させることも可能である。例えば、ユーザが、表示画面上でタッチパネル操作を行うことによって、オブジェクトを移動させることが可能である。データ制御部118は、表示したオブジェクト同士の距離を制御する表示距離制御部(図示せず)を有する。
次に、データ制御部118は、上記の映像信号を表示制御部120に送信する。表示制御部120は、当該映像信号を表示画面150に表示する。このように、位置データに基づいて二次元の表示画面上にオブジェクトとして他のユーザの行動表現データを配置することで、複数のユーザが実際にどれ位の距離を隔てて存在しているのかを一目で把握することができる。
また、所定のデータは、情報処理装置100を介してユーザ間で行われたメールや電話などの連絡の頻度等を表す連絡履歴データであってもよい。以下、連絡履歴データについて説明する。
記憶部126には、情報処理装置100を介してユーザ間で行われたメールや電話などの連絡についての履歴を記録しておくことができる。データ制御部118は、上記の履歴に関する連絡履歴データを記憶部126から受信する。また、データ制御部118は、当該連絡履歴データをデータ送信部114に送信することができる。データ送信部114は、受信した連絡履歴データをサーバ102に送信することができる。そのため、情報処理装置100は、他のユーザの連絡履歴データを取得することができ、連絡履歴データに基づいて複数のユーザの当該行動表現データに関するオブジェクトを配置して映像信号として表示することができる。
一方、データ受信部116は、サーバ102から他のユーザの連絡履歴データを受信することができる。データ受信部116は、受信した当該他のユーザの連絡履歴データをデータ制御部118に送信する。データ制御部118は、他のユーザの連絡履歴データをデータ受信部116から受信する。データ制御部118は、当該他のユーザの連絡履歴データと記憶部126から受信した連絡履歴データに基づいて行動表現データをニ次元の表示画面上にオブジェクトとして配置する。また、データ制御部118は、上記の行動表現データを二次元の表示画面上にオブジェクトとして配置した映像信号を生成する。なお、上記のオブジェクトは、ユーザ操作132によって移動させることも可能である。例えば、ユーザが、表示画面上でタッチパネル操作を行うことによって、オブジェクトを移動させることが可能である。
次に、データ制御部118は、上記の映像信号を表示制御部120に送信する。表示制御部120は、当該映像信号を表示画面150に表示させる。このように、連絡履歴データに基づいて二次元の表示画面上にオブジェクトとして他のユーザの行動表現データを配置することで、複数のユーザが実際にどれ位連絡を取り合っているのかを一目で把握することができる。そのため、一目で、複数のユーザの関係の親密さを把握することができ、親密なユーザ程、表示画面の中央に寄せておくことができる。また、上述したように、ユーザ操作132によって、上記オブジェクトを移動させることが可能であるため、例えば、実際には親密ではないのに親密であると表示画面上で表示されるユーザを親密ではない位置に移動させることができる。一方、実際には親密ではあるのに親密でないと表示画面上で表示されるユーザを親密である位置に移動させることもできる。
上述した連絡履歴データは、例えばメールや電話の回数であってもよい。より具体的には、メールや電話の回数が多いほどユーザ間は親密であると評価することができる。また、上述した連絡履歴データは、例えばメールの文字数の多さであってもよい。より具体的には、特定のユーザとの各メール毎の文字数の総和を求めて、当該総和が多いほどユーザ間は親密であると評価することができる。また、上述した連絡履歴データは、例えば電話に通話時間の長さであってもよい。より具体的には、特定のユーザとの各通話毎の通話時間の総和を求めて、当該総和が多いほどユーザ間は親密であると評価することができる。
また、所定のデータは、情報処理装置100に記憶されたユーザ毎のパーソナルデータであってもよい。パーソナルデータとは、例えばユーザの趣味や嗜好に関する情報であり、ユーザが情報処理装置100に入力したデータが含まれる。以下、パーソナルデータについて説明する。
記憶部126には、ユーザ毎のパーソナルデータを記録しておくことができる。データ制御部118は、上記のパーソナルデータを記憶部126から受信する。また、データ制御部118は、当該パーソナルデータをデータ送信部114に送信することができる。データ送信部114は、受信したパーソナルデータをサーバ102に送信することができる。そのため、情報処理装置100は、他のユーザのパーソナルデータを取得することができ、パーソナルデータに基づいて複数のユーザの当該行動表現データに関するオブジェクトを配置して映像信号として表示することができる。
一方、データ受信部116は、サーバ102から他のユーザのパーソナルデータを受信することができる。データ受信部116は、受信した当該他のユーザのパーソナルデータをデータ制御部118に送信する。データ制御部118は、他のユーザのパーソナルデータをデータ受信部116から受信する。データ制御部118は、当該他のユーザのパーソナルデータと記憶部126から受信したパーソナルデータに基づいて行動表現データをニ次元の表示画面上にオブジェクトとして配置する。また、データ制御部118は、上記の行動表現データを二次元の表示画面上にオブジェクトとして配置した映像信号を生成する。なお、上記のオブジェクトは、ユーザ操作132によって移動させることも可能である。例えば、ユーザが、表示画面上でタッチパネル操作を行うことによって、オブジェクトを移動させることが可能である。
次に、データ制御部118は、上記の映像信号を表示制御部120に送信する。表示制御部120は、当該映像信号を表示画面150に表示させる。このように、パーソナルデータに基づいて二次元の表示画面上にオブジェクトとして他のユーザの行動表現データを配置することで、例えば複数のユーザが実際にどのような趣味を共有しているのかを一目で把握することができる。そのため、一目で、例えば複数のユーザの趣味の共通性を把握することができ、共通の趣味を有するユーザ同士を表示画面の中央に寄せておくことができる。また、上述したように、ユーザ操作132によって、上記オブジェクトを移動させることも可能である。また、上述したパーソナルデータは、例えばメールで使用頻度の高い言葉であってもよい。
[4.情報処理方法の応用例]
次に、図4〜図34を参照しながら、複数のユーザのオブジェクトを二次元の表示画面上に表示する方法について説明する。
(ユーザ間の親密度でオブジェクトの距離間を制御する)
図4は、複数のユーザに関するオブジェクトを二次元表示した表示画面を示す。情報処理装置100は、表示画面150を有する。データ制御部118は、表示画面150にオブジェクト1000と、オブジェクト1002と、オブジェクト1004と、オブジェクト1006と、オブジェクト1008と、オブジェクト1010とが表示できる。表示画面の中央に位置するオブジェクト1000が、情報処理装置100を所有するユーザ(以下、管理ユーザと称す。)のオブジェクトを示している。オブジェクト1002と、オブジェクト1004と、オブジェクト1006と、オブジェクト1008と、オブジェクト1010は、管理ユーザが情報処理装置100に登録したユーザに関するオブジェクトであってよい。また、特にオブジェクト1002と、オブジェクト1004と、オブジェクト1006と、オブジェクト1008と、オブジェクト1010は、管理ユーザが登録したユーザのうち、管理ユーザに対して図4に示すような表示を合意したもののみに関するオブジェクトであってもよい。また、オブジェクト1000と、オブジェクト1002と、オブジェクト1004と、オブジェクト1006と、オブジェクト1008と、オブジェクト1010には、イニシャルが表示される。そのため、ユーザは、配置されているオブジェクトが誰に関するオブジェクトであるかを一目で把握することができる。また、このような表示は、図4に示すようなイニシャルには限られない。例えば、姓名が表示されてもよいし、ニックネームが表示されてもよい。
また、図4に示すような各ユーザのオブジェクト1000、1002、1004、1006、1008、1010は、各ユーザの現在の行動を示すオブジェクトである。このようなオブジェクトについてオブジェクト1000を例に詳述する。オブジェクト1000に関する管理ユーザは、現在寝転がる行動を取っている。その管理ユーザの寝転がる行動を、行動感知部106は感知し、ユーザが行動していることを表す信号をセンサデータ生成部108に伝送する。そして、センサデータ生成部108は、当該ユーザが行動している旨が伝送されると、ユーザ行動に関する情報であるセンサデータを生成する。センサデータ生成部108は、行動パラメータ抽出部110にこのセンサデータを送信する。
行動パラメータ抽出部110は、このセンサデータのうち、現在取っている行動(すなわち、管理ユーザが寝転がる行動)に関する行動パラメータを抽出する。具体的には、行動パラメータ抽出部110は、加速度センサデータ及びジャイロセンサデータから、所定の基準値以上の値を持ったデータである行動パラメータを抽出する。次に、行動表現データ生成部112は、この行動パラメータを受信する。行動表現データ生成部112は、受信したこの行動パラメータを基にして行動表現データを生成する。具体的には、行動表現データ生成部112は、寝転がることを示す行動パラメータを基に寝転がることを示す行動表現データを生成する。データ送信部114は、この行動表現データを受信する。データ送信部114は、サーバにこの行動表現データを送信することができる。その結果、他の情報処理装置100は、上記の行動表現データを基に、他のユーザが現在行っている行動をオブジェクトとして表示させることができる。図4に示すように、オブジェクト1002に関するユーザは、歩いている。オブジェクト1004に関するユーザは、しゃがんでいる。オブジェクト1006に関するユーザは、走っている。オブジェクト1008に関するユーザは、しゃがんでいる。オブジェクト1010に関するユーザは、走っている。オブジェクトが示す行動は、上記のものに限られない。例えばオブジェクトに関するユーザが立ち止まっている状態、跳んでいる状態、エレベータで上昇若しくは下降している状態、座っている状態、電車に乗っている状態、写真等を撮っている状態、電話若しくはメールしている状態等を示すことも可能である。
一方、データ制御部118は、上記データ送信部114から行動表現データを受信することができる。また、データ制御部118は、データ受信部116がサーバから受信した他のユーザの行動表現データをも受信することができる。データ制御部118は、管理ユーザの行動表現データをオブジェクト1000として二次元上の表示画面150に表示する映像信号を生成する。その結果、表示制御部120は、表示画面150に管理ユーザのオブジェクトとして寝転がっているオブジェクト1000を表示させることができる。他のユーザのオブジェクト1002、1004、1006、1008、1010については、データ受信部116がサーバから他のユーザの行動表現データを受信して、当該行動表現データに基づいてデータ制御部118が管理ユーザのオブジェクト1000と同様に生成する。
次に、図5を参照しながら各ユーザのオブジェクト1000、1002、1004、1006、1008、1010が二次元の表示画面上でどのように配置されるのかについて説明する。データ制御部118は、管理ユーザのオブジェクト1000を表示画面150の中心に配置する。管理ユーザ以外の各ユーザのオブジェクト1002、1004、1006、1008、1010は、管理ユーザのオブジェクト1000との距離が短いほど親密であることを示している。具体的に、管理ユーザのオブジェクト1000を中心とする円1100、1102、1104、1106を仮想的に用いて説明する。例えば、オブジェクト1008は、円1102上に位置する。つまり、オブジェクト1008は、他のオブジェクト1002、1004、1006、1010よりもオブジェクト1000との距離が短い。そのためオブジェクト1002、1004、1006、1008、1010についてのユーザ間の中でオブジェクト1008は、オブジェクト1000についての管理ユーザと親密であることになる。
また、オブジェクト1002は、円1102と円1104の間に位置する。つまり、オブジェクト1002についてのユーザは、オブジェクト1008についてのユーザの次にオブジェクト1000についての管理ユーザと親密であることになる。また、オブジェクト1006、1010についてのユーザは、共に円1104上に位置する。そのため、オブジェクト1006、1010についてのユーザは、オブジェクト1000についての管理ユーザと同程度に親密であることになる。また、オブジェクト1004は、円1106上に位置する。つまり、オブジェクト1004についてのユーザは、オブジェクト1002、1004、1006、1008、1010についてのユーザ間の中でオブジェクト1000についての管理ユーザと最も親密でないことになる。
ここで、データ制御部118は、どのようなデータに基づいてオブジェクト1000、1002、1004、1006、1008、1010が二次元画面上に配置されるのかについては、多様な方法が用いられうる。図4、図5に示すオブジェクト1000、1002、1004、1006、1008、1010は、オブジェクトに関するユーザ間の親密度に応じて配置される。ここで言う、親密度とは、上記のユーザ間で行われたメールや電話などの連絡の頻度等を表す連絡履歴データに基づいて求められるものを指す。具体的には、データ制御部118が、管理ユーザと他のユーザとの間で行われたメールや電話などの連絡についての連絡履歴データを記憶部126から受信する。
連絡履歴データは、例えばメールや電話の回数であってもよい。より具体的には、メールや電話の回数が多いほどユーザ間は親密であると評価することができる。また、上述した連絡履歴データは、例えばメールの文字数の多さであってもよい。より具体的には、特定のユーザとの各メール毎の文字数の総和を求めて、当該総和が多いほどユーザ間は親密であると評価することができる。また、上述した連絡履歴データは、例えば電話に通話時間の長さであってもよい。より具体的には、特定のユーザとの各通話毎の通話時間の総和を求めて、当該総和が多いほどユーザ間は親密であると評価することができる。このように、連絡履歴データに基づいて二次元の表示画面上にオブジェクトとして他のユーザの行動表現データを配置することで、複数のユーザが実際にどれ位連絡を取り合っているのかを一目で把握することができる。そのため、一目で、複数のユーザの関係の親密度を把握することができ、親密なユーザ程、表示画面の中央に寄せておくことができる。
次に、図6、図7を参照しながら、ユーザが、各ユーザのオブジェクト1000、1002、1004、1006、1008、1010をタッチパネル操作により表示画面150上で移動させられる機能について説明する。図6は、ユーザが、あるユーザのオブジェクト1008をタッチパネル操作により表示画面150の中央から外側に移動させていく様子を説明した図である。
図6では、説明を単純にするためにユーザに関するオブジェクト1008を一つだけ表示画面150上に表示したものを示す。図6の(A)では、上述したような連絡履歴データに基づいて、ユーザのオブジェクト1008が表示画面150上に配置される。そのオブジェクト1008をユーザの指170が任意の位置に移動させられることができる。図6の(B)では、ユーザの指170がオブジェクト1008を表示画面150の外側に移動させた様子を示している。さらに図6の(C)で示すように、ユーザの指170がオブジェクトを表示画面150で表示されない位置に移動させてもよい。このように、ユーザの判断によって、表示画面150に表示されたユーザのオブジェクトを移動させられる。そのため、例えば、実際には親密ではないのに親密であると表示画面150上で表示されるオブジェクトを親密ではない位置、すなわち外側に移動させることができる。
図7は、ユーザが、あるユーザのオブジェクト1008をタッチパネル操作により表示画面150の外側から中央に移動させていく様子を説明した図である。図7の(A)では、上述したような連絡履歴データに基づいて、ユーザのオブジェクト1008が表示画面150上に配置される。そのオブジェクト1008をユーザの指170が任意の位置に移動させられることができる。図7の(B)では、ユーザの指170がオブジェクト1008を表示画面150の内側に移動させた様子を示している。さらに図7の(C)で示すように、ユーザの指170がオブジェクトを表示画面150の内側にさらに移動させてもよい。このように、ユーザの判断によって、表示画面150に表示されたユーザのオブジェクトを移動させられる。そのため、例えば、実際には親密ではあるのに親密でないと表示画面150上で表示されるユーザを親密である位置、すなわち中心側に移動させることもできる。
(ユーザ間の親密度で通信の可否を決定する)
更に、データ制御部118は、管理ユーザとの上述した親密度に応じてユーザ間での各種の通信手段を使用できなくすることも可能である。図8は、このような機能について説明したフロー図である。まず、データ制御部118は、S100に示すように上述してきたような手法でユーザに関するオブジェクト1002(1004、1006、1008、1010であってもよい。以下、同じ。)を表示画面150上に表示する。次に、データ制御部118は、S102に示すように、オブジェクト1002が、円1102の外側に位置するのか内側に位置するのかを判断する。上記内側にオブジェクト1002が位置する場合、オブジェクト1002に関するユーザと管理ユーザは非常に親密であるということであり、S104に示すようにユーザからの振動、電話、メールの全てを受け付ける。振動とは、後で詳述するが、タッチパネル操作によりオブジェクト1002に接触することで、指に伝わる振動のことを指す。当該振動の周期等によって、オブジェクト1002に関するユーザの行動を把握することができる。振動を受け付けるとは、管理ユーザがオブジェクト1002に関する他のユーザによって、当該管理ユーザの行動を振動で把握されることを許容することを指す。電話を受け付けるとは、管理ユーザがオブジェクト1002に関する他のユーザからかかってくる電話を着信可能な状態にすることを指す。また、メールを受けつけるとは、管理ユーザがオブジェクトに関する他のユーザから送られてくる電子メールを受信可能な状態にすることを指す。
オブジェクト1002が、円1102の外側に位置する場合、次にデータ制御部118は、S106に示すように、オブジェクト1002が、円1104の外側に位置するのか内側に位置するのかを判断する。上記円1104の内側にオブジェクト1002が位置する場合、S108に示すようにユーザからの電話、メールを受け付けるが、振動は受け付けない。一方、オブジェクト1002が、円1104の外側に位置する場合、次にデータ制御部118は、S110に示すように、オブジェクト1002が、円1106の外側に位置するのか内側に位置するのかを判断する。上記円1106の内側にオブジェクト1002が位置する場合、S112に示すようにユーザからの電話、メールを受け付けるが、振動は受け付けない。また、オブジェクト1002が、円1106の外側に位置する場合、データ制御部118は、オブジェクト1002に関するユーザの振動、電話、メールの全てを受け付けない。このような通信の可否の設定については、上述してきたものに限られない。
(ユーザとの距離間を一定期間後に更新する)
次に、図9を参照しながら、表示画面150上のオブジェクト1002、1004、1006、1008、1010の配置位置の更新について説明する。更新する期間の間隔については、例えば一日毎であってもよいし、一週間毎であってもよいし、一ヶ月毎であってもよい。ユーザが嗜好に応じて上記更新する期間の間隔を設定してよい。例えば、データ制御部118が、ある一定の期間毎に連絡履歴データを更新していくことで、オブジェクト1002、1004、1006、1008、1010の配置位置の更新をすることができる。
図9は、表示画面150が更新されているときの様子を示す説明図である。例えば、オブジェクト1002は、表示画面150の中心位置に向かっている。すなわち、オブジェクト1002と管理ユーザとの親密度が、更新前よりも更新後で向上したことを示している。更新後の親密度とは、ある特定の期間の親密度を評価したものである。また、更新前の親密度とは、前記ある特定の期間の一つ前の特定の期間の親密度を評価したものである。一方、オブジェクト1010は、表示画面150の外側に向かっている。すなわち、オブジェクト1002と管理ユーザとの親密度が、更新前よりも更新後で低下したことを示している。この親密度の変化について、図10のフロー図を参照しながら説明する。
図10は、親密度の変化について説明したフロー図である。まず、S120に示すように、データ制御部118は、オブジェクト1002(1004、1006、1008、1010であってもよい。以下、同じ。)に関するユーザと管理ユーザの親密度をスコアとして計算する。この親密度のスコアは、例えば以下の数式1のようにして求められる。
スコアA=W1×Cmail+W2×Ctalk+W3×Cmeet ・・・(数式1)
上記数式1におけるCmailは、ある特定の期間におけるメールの回数である。Ctalkは、上記特定の期間における電話の回数である。Cmeetは、上記特定の期間における実際に会った回数である。W1、W2、W3は、Cmail、Ctalk、Cmeetを重み付けするためのウェイト係数である。
次に、S122に示すように、データ制御部118は、数式1より求められた更新前の親密度(Acurrと称す。)と、数式1より求められた更新後の親密度(Alastと称す。)とを比較する。次に、S124に示すように、親密度が向上している場合には、S126に示すように、オブジェクト1002は中心に向かって歩く。親密度が向上するとは、Acurr−Alast>0であることを指す。また、S124に示すように、親密度が低下する場合には、S128に示すように、オブジェクト1002は中心から離れるように外側に向かって歩く。親密度が低下するとは、Acurr−Alast<0であることを指す。また、親密度が変化しない場合には(図示せず)、オブジェクトは移動しない。親密度が変化しないとは、Acurr−Alast=0であることを指す。
(他のユーザ間の親密度でオブジェクトの距離間を制御する)
図11は、管理ユーザ以外の他のユーザ間の親密度についての説明した図である。データ制御部118は、管理ユーザと他のユーザの距離間のみならず、他のユーザ間の親密度を制御することもできる。まず、上述したように、管理ユーザと他のユーザとの親密度は、管理ユーザに関するオブジェクト1000からの距離の長さによって把握される。そして、他のユーザ間の親密度については、まず、オブジェクト1002、及びオブジェクト1006を含む2つのオブジェクト1110を例にして説明する。オブジェクト1002とオブジェクト1006に関するユーザ同士の親密度は、オブジェクト1000を中心とした場合の角度の大きさによって評価する。より具体的に、図12を参照しながら説明する。
図12は、表示画面150上のオブジェクト1000、1002、1004、1008、1010の配置位置を簡単に説明した図である。図12では、オブジェクト1000、1002、1004、1008、1010の内、オブジェクト1000、1002、1008、1010のみを黒丸表示してある。オブジェクト1002とオブジェクト1006に関するユーザ同士の親密度は、オブジェクト1000を中心とした角度1114の大きさによって評価される。つまり、オブジェクト1008、1010に関するユーザ同士の親密度は、角度1116の大きさによって評価される。角度1114の大きさが角度1116の大きさよりも小さい場合には、オブジェクト1002、1006に関するユーザ同士の方が、オブジェクト1008、1010に関するユーザ同士よりもより親密であることになる。図11、図12を参照しながら説明してきた他のユーザ間の親密度についても、上述してきたように数式1を用いてデータ制御部118が算出することによって求められる。このように、ユーザは、管理ユーザ、及び他のユーザそれぞれの親密度をオブジェクト1000、1002、1004、1008、1010の距離間によって一目で把握することができる。
(位置データで距離間を調整する)
次に、図13を参照しながら、本実施形態に係る情報処理装置100が、オブジェクト1000、1002、1004、1008、1010を位置データに基づいて二次元の表示画面150上に表示する方法について説明する。図13は、オブジェクト1000、1002、1004、1008、1010が位置データに基づいて表示された表示画面150を説明する図である。
まず、位置データについて説明する。最初に、位置認識部128が管理ユーザの位置を認識する。位置認識部128がユーザの位置を認識する方法としては、GPS(Global Positioning System)方式であってもよいし、その他の方式であってもよい。ユーザの位置を認識した位置認識部128は、位置に関する情報を位置データ生成部130に送信する。
次に、位置データ生成部130は、上記ユーザの存在位置に関する位置データを生成する。位置データ生成部130は、上記位置データをデータ送信部114に送信する。データ送信部114は、上記位置データをサーバ102に送信する。そのため、情報処理装置100は、サーバ102から他のユーザの位置データを取得することができ、位置データに基づいて複数のユーザのオブジェクト1000、1002、1004、1008、1010を配置して映像信号として表示することができる。
次に、データ受信部116は、サーバ102から他のユーザの位置データを受信する。データ受信部116は、受信した当該他のユーザの位置データをデータ制御部118に送信する。データ制御部118は、他のユーザの位置データをデータ受信部116から受信する。また、データ制御部118は、管理ユーザの位置データをデータ送信部114から受信する。また、データ受信部116が、サーバ102から管理ユーザの位置データを受信して、データ制御部118が、当該管理ユーザの位置データをデータ受信部116から受信してもよい。
データ制御部118は、受信した情報処理装置100を所有するユーザの位置データと、他のユーザの位置データとに基づいてユーザに関するオブジェクト1000、1002、1004、1006、1008、1010を二次元の表示画面150上に配置することができる。オブジェクト1000、1002、1004、1008、1010は、上述した行動表現データに基づくオブジェクトであることが望ましい。また、データ制御部118は、上記のオブジェクト1000、1002、1004、1008、1010を二次元の表示画面150上に配置した映像信号を生成する。
次に、データ制御部118は、上記の映像信号を表示制御部120に送信する。表示制御部120は、当該映像信号を表示画面150に表示する。図13は、表示画面150上に表示された上記映像信号の一例である。
上述したように、図13では、表示画面150は、管理ユーザに関するオブジェクト1000を中心に地図上に配置された、各ユーザに対するオブジェクト1002、1004、1008、1010を表示している。オブジェクト1002、1004、1008、1010は、各ユーザが実際にどの位置に存在しているのかを表示している。このように、位置データに基づいて二次元の表示画面上にオブジェクトとして他のユーザの行動表現データを配置することで、複数のユーザが実際にどれ位の距離を隔てて存在しているのかを一目で把握することができる。なお、図9を参照しながら説明してきたように、データ制御部118は、位置データに基づいて表示されたオブジェクト1000、1002、1004、1006、1008、1010を、ある特定の期間毎に更新することができる。
(パーソナルデータで距離間を調整する)
次に、図14を参照しながら、本実施形態に係る情報処理装置100が、オブジェクト1000、1002、1004、1006、1008、1010をパーソナルデータに基づいて二次元の表示画面150上に表示する方法について説明する。図14は、オブジェクト1000、1002、1004、1006、1008、1010がパーソナルデータに基づいて表示された表示画面150を説明する図である。
まず、パーソナルデータについて説明する。記憶部126が、ユーザ毎のパーソナルデータを記録しておくことができる。データ制御部118は、上記のパーソナルデータを記憶部126から受信する。また、データ制御部118は、当該パーソナルデータをデータ送信部114に送信することができる。データ送信部114は、受信したパーソナルデータをサーバ102に送信することができる。そのため、情報処理装置100は、他のユーザのパーソナルデータを取得することができ、パーソナルデータに基づいて複数のユーザのオブジェクト1000、1002、1004、1006、1008、1010を配置して映像信号として表示することができる。
一方、データ受信部116は、サーバ102から他のユーザのパーソナルデータを受信することができる。データ受信部116は、受信した当該他のユーザのパーソナルデータをデータ制御部118に送信する。データ制御部118は、他のユーザのパーソナルデータをデータ受信部116から受信する。データ制御部118は、当該他のユーザのパーソナルデータと記憶部126から受信したパーソナルデータに基づいてオブジェクト1000、1002、1004、1006、1008、1010を二次元の表示画面上に配置する。また、データ制御部118は、上記の行動表現データを二次元の表示画面上にオブジェクト1000、1002、1004、1006、1008、1010として配置した映像信号を生成することができる。
次に、データ制御部118は、上記の映像信号を表示制御部120に送信する。表示制御部120は、当該映像信号を表示画面150に表示させる。図14は、表示画面150に表示された上記映像信号の一例である。
上述したように、図14に示す例では、表示画面150は、管理ユーザに関するオブジェクト1000を中心に他のユーザがどれ位行動的であるかを表示している。図14では、軸1120に対して、「アクティブ」という方向に存在するオブジェクトに関するユーザ程、行動的であることを示している。図14の場合、パーソナルデータは、具体的には例えば特定の数日間で何回電話をしたかという情報であってよい。つまり、電話が多いほどアクティブであるということになる。図14に示す例の場合、メールに関する情報など、当然パーソナルデータは他の情報であってもよい。このように、パーソナルデータに基づいて二次元の表示画面150上にオブジェクト1000、1002、1004、1006、1008、1010を配置することで、例えば複数のユーザが実際にどれ位行動的であるのかを一目で把握することができる。このように、一目で、例えば複数のユーザの趣味の共通性を把握することができ、管理ユーザと共通の趣味を有するユーザを表示画面の中央に寄せておくことができる。
次に、図15を参照しながら、本実施形態に係る情報処理装置100が、オブジェクト1000、1002、1004、1006、1008、1010をパーソナルデータに基づいて二次元の表示画面150上に表示する別の方法について説明する。図15は、オブジェクト1000、1002、1004、1006、1008、1010がパーソナルデータに基づいて表示された表示画面150を説明する図である。
図15に示すパーソナルデータに基づいて表示画面150上に表示する方法としては、データ制御部118が、二つのパーソナルデータに基づいて表示画面150上に表示すること以外は図14を参照しながら説明してきた例と全く同じであってよい。図15に示す例では、表示画面150は、軸1122の方向に対して管理ユーザに関するオブジェクト1000を中心に他のユーザがどれ位行動的であるかを表示している。また、表示画面150は、軸1124の方向に対して管理ユーザに関するオブジェクト1000を中心に他のユーザがどれくらいラーメンが好きであるかを表示している。
図15に示す例では、オブジェクト1006に関するユーザは、管理ユーザに比べてラーメンが好きであり、且つ行動的ではないことになる。また、オブジェクト1002に関するユーザは、管理ユーザに比べてラーメンが好きであり、且つ行動的であることになる。また、オブジェクト1004に関するユーザは、管理ユーザに比べてラーメンが嫌いであり、且つ行動的でないことになる。また、オブジェクト1010に関するユーザは、管理ユーザに比べてラーメンが嫌いであり、且つ行動的であることになる。図15に示す例において、ラーメンが好きか嫌いかといったパーソナルデータは、例えばユーザ毎が、各自の情報処理装置100の記憶部126にプロフィールとして5段階評価でラーメンがどれ位好きかを評価したデータであってもよい。また、上記のパーソナルデータは、例えば、ユーザが送受信したメールで使用された語句からラーメンについて検索をかけて検索された数であってもよい。
このように、パーソナルデータに基づいて二次元の表示画面150上にオブジェクト1000、1002、1004、1006、1008、1010を配置することで、例えば複数のユーザが実際にどのような趣味を共有しているのかを一目で把握することができる。また、パーソナルデータに基づいて二次元の表示画面150上にオブジェクト1000、1002、1004、1006、1008、1010を配置することで、例えば複数のユーザが実際にどれ位行動的であるのかも一目で把握することができる。つまり、複数のユーザについての行動力や趣味などの複数の情報を一度に把握することができる。そのため、一目で、例えば複数のユーザの複数の情報の共通性を把握することができる。
次に、図16〜図18を参照しながら、本実施形態に係る情報処理装置100が、オブジェクト1000、1002、1004、1006、1008、1010をパーソナルデータに基づいて二次元の表示画面150上に表示する別の方法について説明する。図16は、オブジェクト1000、1002、1004、1006、1008、1010がパーソナルデータに基づいて表示された表示画面150を説明する図である。
図16に示す例では、オブジェクト1010に指170が接触することで、データ制御部118が、オブジェクト1010に関するユーザの趣味についてのパーソナルデータ1130を表示させる。そのため、オブジェクト1010に指170が接触することで、ユーザは、オブジェクト1010に関するユーザがラーメンが好きであることが分かる。また、表示画面150上の複数のユーザに関するオブジェクト1000、1002、1004、1006、1008、1010は、ラーメンが好きであるといったパーソナルデータ1130以外のパーソナルデータに基づいて配置されていてもよい。すなわち、ユーザは、オブジェクト1000、1002、1004、1006、1008、1010が表示画面150上でどのように配置されているかで、まず複数のユーザの複数の情報の共通性を把握することができる。そして、オブジェクト1010に指170が接触することで、更に別のパーソナルデータを把握することができる。なお、図16に示す例では、指170がオブジェクト1010に接触することで、データ制御部118がパーソナルデータを表示させるには、ユーザの別の操作が必要であってもよい。例えば、一方の手の指170がオブジェクト1010を接触して、他方の手が情報処理装置100の入力キーを押すことで、データ制御部118が、パーソナルデータを表示させてもよい。パーソナルデータは、図16を参照してきた例に限られない。例えばパーソナルデータは、送受信したメールでの使用頻度の高い言葉の数などであってもよい。また、図16を参照しながら説明した例において、オブジェクト1000、1002、1004、1006、1008、1010の表示画面150上での配置は、パーソナルデータに基づいてなくてもよい。換言すると、オブジェクト1000、1002、1004、1006、1008、1010の表示画面150上での配置は、上述した位置データ、連絡履歴データなどであってもよい。つまり、ユーザは、例えばオブジェクト1000、1002、1004、1006、1008、1010に関するユーザの存在位置を把握しつつ、当該ユーザのパーソナルデータをも把握できる。
また、図17に示す例でも、オブジェクト1006に指170が接触することで、データ制御部118が、オブジェクト1006に関するユーザの趣味についてのパーソナルデータ1032を表示させる。図17は、オブジェクト1000、1002、1004、1006、1008、1010がパーソナルデータに基づいて表示された表示画面150を説明する図である。そのため、オブジェクト1006に指170が接触することで、ユーザは、オブジェクト1006に関するユーザがサッカーが好きであることが分かる。オブジェクト1000、1002、1004、1006、1008、1010が表示画面150上でどのように配置されているかは、図16を参照しながら説明してきた内容と全く同じように説明されるので、ここでは説明を省略する。
また、図18に示す例でも、オブジェクト1002に指170が接触することで、データ制御部118が、オブジェクト1002に関するユーザの趣味についてのパーソナルデータ1034を表示させる。図18は、オブジェクト1000、1002、1004、1006、1008、1010がパーソナルデータに基づいて表示された表示画面150を説明する図である。そのため、オブジェクト1006に指170が接触することで、ユーザは、オブジェクト1006に関するユーザがギターが好きであることが分かる。オブジェクト1000、1002、1004、1006、1008、1010が表示画面150上でどのように配置されているかは、図16を参照しながら説明してきた内容と全く同じように説明されるので、ここでは説明を省略する。
(タッチパネルで簡易メッセージを送る)
次に、図19〜図21を参照しながら、オブジェクトに対するタッチパネル操作で、簡易メッセージを送信する機能について説明する。
図19は、管理ユーザが、オブジェクト1010に関するユーザに対して簡易メッセージを送信することを説明する図である。上述したように、タッチパネル操作で、データ制御部118は、オブジェクト1010に関するパーソナルデータ1036を表示させることができる。図19では、オブジェクト1010に関するユーザが、ラーメン好きであるというパーソナルデータ1036が表示画面150上に表示される。そして、ユーザは、上記パーソナルデータ1036のオブジェクトにオブジェクト1010をタッチパネル操作でドラッグ&ドロップすることができる。その結果、データ制御部118は、データ送信部114に簡易メッセージを送ることができる。そして、データ送信部114は、当該簡易メッセージをサーバ102に送信する。そして、次に、サーバ102は、上記簡易メッセージをオブジェクト1010に関するユーザに送信する。上記簡易メッセージは、例えば、「ラーメンを食べに行こう。」といった簡単なメッセージであってよい。受信するユーザは、例えば上記簡易メッセージを電子メールと同じ手段で受信することができる。上記簡易メッセージは、記憶部126に記録されているものであってよい。
図20は、管理ユーザが、オブジェクト1006に関するユーザに対して簡易メッセージを送信することを説明する図である。図20では、オブジェクト1006に関するユーザが、サッカーの試合を観にいきたいというパーソナルデータ1038が表示画面150上に表示される。そして、ユーザは、上記パーソナルデータ1038のオブジェクトにオブジェクト1006をタッチパネル操作でドラッグ&ドロップすることができる。そして図19で説明してきたものと全く同じようにして、オブジェクト1006に関するユーザに対して、例えば「サッカーの試合を観にいこう。」といった簡単なメッセージを送信することができる。
図21は、管理ユーザが、オブジェクト1002に関するユーザに対して簡易メッセージを送信することを説明する図である。図21では、オブジェクト1010に関するユーザが、ギターが得意であるというパーソナルデータ1040が表示画面150上に表示される。そして、ユーザは、上記パーソナルデータ1040のオブジェクトにオブジェクト1002をタッチパネル操作でドラッグ&ドロップすることができる。そして図19で説明してきたものと全く同じようにして、オブジェクト1002に関するユーザに対して、例えば「ギターを弾いて下さい。」といった簡単なメッセージを送信することができる。
(ユーザの現在の行動をタッチパネルによって把握する)
次に、図22〜図26を参照しながら、オブジェクトに接触することで、ユーザは当該オブジェクトに関するユーザの行動を把握することができる機能について説明する。図22は、ユーザの指170がオブジェクト1010に接触することで、ユーザがオブジェクト1010に関するユーザの行動を把握することができることを説明した図である。
図22に示すように、ユーザの指170がオブジェクト1010に接触することで、オブジェクト1010に関するユーザの行動表現データを取得しているデータ制御部118が、ユーザの指170に所定の振動を伝達する。ユーザは、当該所定の振動によりオブジェクト1010に関するユーザの行動を把握することができる。つまり、ユーザは、行動表現データに基づいたオブジェクトと振動によって、視覚的にも触覚的にもユーザの行動を把握することができる。
図23を参照しながら、ユーザの各行動毎の上記振動の周期、振幅についての一例を説明する。図23は、ユーザの各行動毎の上記振動の周期、振幅についての一例を示した図である。図23の(A)は、ユーザが座っていることを伝えるための振動の一例である。図23の(B)は、ユーザが歩いていることを伝えるための振動の一例である。図23の(C)は、ユーザが走っていることを伝えるための振動の一例である。図23の(D)は、ユーザが電車に乗って移動していることを伝えるための振動の一例である。各振動パターンは、記憶部126に記録されていてもよい。
図23の(A)は、ユーザが座っているときの振動を示しており、座っているときは一般的には比較的動作が少ない。そのため、座っていることを示す振動は、周期が遅く振幅も小さいものであることで、ユーザは、実際の行動を連想しやすい。次に図23の(B)は、ユーザが歩いているときの振動を示しており、歩いているときは一般的に単調なリズムの動作である。そのため、歩いていることを示す振動は、周期が一定で適度な振幅を有し、ユーザは、実際の行動を連想しやすい。
次に図23の(C)は、ユーザが走っているときの振動を示しており、走っているときは歩いているときよりも動作は大きい。そのため、走っていることを示す振動は、歩いていることを示す振動よりも周期が早く振幅も大きく設定されている。その結果、ユーザは実際の行動を連想しやすい。次に図23の(D)は、ユーザが電車に乗って移動しているときの振動を示しており、電車に乗って移動しているときは一般的にユーザは電車の揺れを強く感じるものである。そのため、電車に乗っていることを示す振動は、「ガタン、ゴトン」と電車の揺れが連想される周期及び振幅に設定されている。その結果、ユーザは実際の行動を連想しやすい。
また、図24に示すように、ユーザの指170がオブジェクトを囲むように接触することで、オブジェクトに関するユーザがターンをしていること(行動する向きを変えること)を把握することもできる。図24の(a)は、ユーザの指170がオブジェクト1010を囲むように接触することで、ユーザがオブジェクト1010に関するユーザのターンを把握することができることを説明した図である。また、図24の(b)は、上記のターンを伝えるための振動の一例である。
図24(a)に示すように、ユーザの指がオブジェクト1010を囲むように接触することで、オブジェクト1010に関するユーザの行動表現データを取得しているデータ制御部118が、ユーザの指170に図24(b)に示すような振動を伝達する。ユーザは、図24(b)に示すような振動によりオブジェクト1010に関するユーザのターンを把握することができる。つまり、ユーザは、行動表現データに基づいたオブジェクトと振動によって、視覚的にも触覚的にもユーザの行動を把握することができる。図24の(b)は、ユーザがターンしているときの振動をしめしている。
次に図25(a)は、ユーザの指170、270が同時に複数のオブジェクト1004、1010に接触することで、ユーザが複数のオブジェクト1004、1010に関する複数のユーザの行動を把握することができることを説明した図である。図25(b)は、オブジェクト1010に関するユーザが走っていること、及びオブジェクト1004に関するユーザが電車に乗って移動していることを示す振動の一例である。このように、ユーザは、指毎に異なる振動を感じとり、複数のオブジェクト1004、1010(他のオブジェクトの組み合わせでもよい。)の行動を異なる振動から同時に把握することもできる。
(タッチパネル操作によりユーザに電話、メール等をする)
図26〜図32を参照しながら、オブジェクトに対するタッチパネル操作によりユーザ間で電話、メール等の様々な機能を可能とする方法について説明する。
図26は、ユーザがオブジェクト1006を指170でダブルクリックすることで、オブジェクト1006に関するユーザと通信可能な状態にあるか否かを確認することができることを説明する図である。図26の(A)に示すように、管理ユーザの指170がオブジェクト1006をダブルクリックする。それにより、データ制御部118は、データ送信部114に信号を送信する。次にデータ送信部114は、サーバ102に信号を送信する。次に、オブジェクト1006に関するユーザが所有する情報処理装置100のデータ制御部118が、サーバ102から信号を受信する。それにより、当該データ制御部118が、通信可能であることを知らせる信号を送信してくる。そして、サーバ102を介して、管理ユーザの情報処理装置100のデータ制御部118が、当該信号を受信する。そして、図26の(B)に示すように、データ制御部118は、表示画面150上のオブジェクト1006に「呼んだぁ?」という音声を出力部(図示せず)に出力させる。そのため、ユーザは、通信したいユーザが通信可能である状態にあることを予め簡易な手法で把握しておくことができる。
図27は、管理ユーザが所定のタッチパネル操作を行うことで、オブジェクト1010に関するユーザに電話をかけられることを説明する図である。管理ユーザの指170が、オブジェクト1010を囲むように操作することで、データ制御部118が、通話するための信号である通話信号をデータ送信部114に送信する。データ送信部114は、上記通話信号をサーバ102に送信する。サーバは、通話信号をオブジェクト1010に関するユーザの情報処理装置100のデータ制御部118に送信する。そして、当該データ制御部118が、通話が可能であることを示す信号である通話可能信号をサーバを介して管理ユーザの情報処理装置100のデータ制御部118に送信する。それにより、管理ユーザの情報処理装置100と、オブジェクト1010に関するユーザの情報処理装置100の間で通話が可能になる。このように非常に単純な操作で、ユーザ間の通話が可能となる。
図28は、管理ユーザが所定のタッチパネル操作を行うことで、オブジェクト1010に関するユーザにメール作成画面が表示されることを説明する図である。管理ユーザの指170が、オブジェクト1010上でペンを走らせるような操作をすることで、データ制御部118が、メールを作成可能な画面を表示画面150上に表示させる。それにより、管理ユーザの情報処理装置100は、オブジェクト1010に関するユーザの情報処理装置100に対するメール作成が可能な状態になる。このように非常に単純な操作で、メール作成が可能な状態となる。
図29は、管理ユーザが所定のタッチパネル操作を行うことで、オブジェクト1000、1008、1010に関するユーザ間でチャットを行えるようになることを説明する図である。管理ユーザの指170が、オブジェクト1000、1008、1010を囲むように操作することで、データ制御部118が、チャットするための信号であるチャット信号をデータ送信部114に送信する。データ送信部114は、上記チャット信号をサーバ102に送信する。サーバは、チャット信号をオブジェクト1008、1010に関するユーザの情報処理装置100のデータ制御部118にそれぞれ送信する。そして、それぞれの当該データ制御部118が、チャットが可能であることを示す信号であるチャット可能信号をサーバを介して管理ユーザの情報処理装置100のデータ制御部118に送信する。それにより、管理ユーザの情報処理装置100と、オブジェクト1008、1010に関するユーザの情報処理装置100の間でチャットが可能になる。このように非常に単純な操作で、ユーザ間のチャットが可能となる。
図30は、ユーザが所定のタッチパネル操作を行うことで、オブジェクト1004、1010に関するユーザ、及びオブジェクト1000に関する管理ユーザ間でチャットを行えるようになることを説明する図である。管理ユーザの指170が、オブジェクト1000、1004、1010を囲むように操作することで、データ制御部118が、チャットするための信号であるチャット信号をデータ送信部114に送信する。データ送信部114は、上記チャット信号をサーバ102に送信する。サーバは、チャット信号をオブジェクト1004、1010に関するユーザの情報処理装置100のデータ制御部118にそれぞれ送信する。そして、それぞれの当該データ制御部118が、チャットが可能であることを示す信号であるチャット可能信号をサーバを介して管理ユーザの情報処理装置100のデータ制御部118に送信する。それにより、管理ユーザの情報処理装置100と、オブジェクト1004、1010に関するユーザの情報処理装置100の間でチャットが可能になる。このように非常に単純な操作で、ユーザ間のチャットが可能となる。
図31は、ユーザが所定のタッチパネル操作を行うことで、オブジェクト1000に関する管理ユーザと、オブジェクト1006に関するユーザとの間の実空間上での位置関係、及び上記ユーザ間の道順を示すことができるようになることを説明する図である。図31の(a)に示すように、管理ユーザの指170が、オブジェクト1000からオブジェクト1006をなぞるように操作することで、データ制御部118が、サーバ102を介してオブジェクト1006に関するユーザの位置データを受信する。そして、データ制御部118が、管理ユーザの位置データと、オブジェクト1006に関するユーザの位置データとを表示画面150上に表示させる。そして、データ制御部118は、記憶部126から上記の管理ユーザの実空間上での存在位置からオブジェクト1006に関するユーザの実空間上での存在位置までの道のりについてのデータを受信する。そして、図31の(b)に示すように、データ制御部118は、管理ユーザの存在位置からオブジェクト1006に関するユーザの存在位置までの道のり190が表示された表示画面150が出力される。このように、非常に単純な操作で、会いたいユーザまでの実際の道のり190が容易に表示可能となる。
図32は、ユーザが所定のタッチパネル操作を行うことで、オブジェクト1006に関するユーザに画像データ180を送信することができるようになることを説明する図である。管理ユーザの指170が、オブジェクト1000からオブジェクト1006をなぞるように操作することで、データ制御部118が、記憶部126から上記の画像データ180を受信する。次にデータ制御部118は、上記の画像データ180をサーバ102を介して、オブジェクト1006に関するユーザの情報処理装置100のデータ受信部116に送信する。それにより、オブジェクト1006に関するユーザは、画像データ180を当該ユーザ自身の情報処理装置100の表示画面150上に表示させることができる。このように非常に単純な操作で、ユーザ間のデータ等の送受信が可能となる。このように送信可能なデータは画像データに限られない。例えば、上記送信可能なデータは、ウェブページのURLについてのデータや、メッセージなどであってもよい。
なお、これまで上述してきたタッチパネル操作中は、行動感知部106はユーザの行動を感知しないように設定されていることが望ましい。
次に図33、図34を参照しながら、表示画面150上に最新の位置データや連絡履歴データやパーソナルデータに基づいた配置のみならず、過去の位置データや連絡履歴データやパーソナルデータに基づいたオブジェクトの配置も可能であることを説明する。また、未来に予測される位置データや連絡履歴データに基づいたオブジェクトの配置も可能である。
まず、図33の(b)は、単数のユーザにのみクローズアップして、データ制御部118が、表示画面155上にオブジェクト1050を表示した説明図である。図33(a)は、図33(b)に対して、所定の時間だけ過去の表示画面55上でのオブジェクト950が表示可能であることを説明する図である。管理ユーザの指170がオブジェクト1050の上から左側になぞられることで、データ制御部118は、特定の時間だけ過去のデータを記憶部126から受信する。そして、データ制御部は、受信したデータに基づいて表示画面150上にオブジェクト950を表示する。現在を示すオブジェクト1050は行動認識データに基づいて、現在の行動を示している。また、過去を示すオブジェクト950は、過去の行動認識データに基づいて、過去の行動を示している。
図33(c)は、図33(b)に対して、所定の時間だけ未来の表示画面255上でのオブジェクト1050が表示可能であることを説明する図である。図33の(c)は、管理ユーザの指170がオブジェクト1050の上から右側になぞられることで、データ制御部118は、特定の時間だけ未来に予測されるデータを受信する。なお、特定の時間だけ未来に予測されるデータは以下に詳述する非日常行動抽出システムを基に生成される。
図34の(b)は、これまで説明してきたような現在の複数のユーザのオブジェクトが表示画面150上に表示された様子を示した説明図である。図34の(a)は、図34(b)に対して、所定の時間だけ過去の表示画面50が表示可能であることを説明する図である。管理ユーザの指170が表示画面150の上から左側になぞられることで、データ制御部118は、特定の時間だけ過去のデータを記憶部126から受信する。そして、データ制御部118は、受信したデータに基づいて過去の表示画面50上を表示する。現在を示す表示画面150上のオブジェクトは行動認識データに基づいて、現在の行動を示している。また、過去を示す表示画面50上のオブジェクトは、過去の行動認識データに基づいて、過去の行動を示している。
図34(c)は、図34(b)に対して、所定の時間だけ未来の表示画面250上が表示可能であることを説明する図である。図34の(c)は、管理ユーザの指170が表示画面150の上から右側になぞられることで、データ制御部118は、特定の時間だけ未来に予測されるデータを受信する。なお、特定の時間だけ未来に予測されるデータは以下に詳述する非日常行動抽出システムを基に生成される。
このように、表示制御部120は、過去のデータを表示画面150上に表示できる。また、以下に詳述する非日常行動抽出技術により、表示制御部120は、未来に予測されるデータを表示画面150上に表示できる。
[5.非日常行動抽出技術]
(課題の整理)
上述してきたように、現在のユーザの行動を記録したり、複数のユーザの行動を情報処理装置の一つの表示画面上で表示したりすることは可能である。例えば、加速度センサなどが搭載された携帯電話などの情報処理装置100において、ユーザの負担をかけずに、行動履歴を記録し、その記録から得られる行動パラメータを用いて行動履歴を自動生成するアプリケーションを実現する手法が提案されている。
しかしながら、このようなシステムを用いてデータを取りためていき、そのデータから目的のデータを検索することは煩雑な作業である。また、その日の行動等を振り返るのに、膨大なデータを検出していくことも非常に煩雑である。更に、過去の行動履歴については、データから検出することができるが、未来の行動をある程度、装置が自動で予測するということもできないでいた。
本実施形態に係る情報処理装置100が有する非日常行動抽出技術は、上記のような課題に鑑みてなされたものであり、その目的は、多量の行動記録に関するデータから特徴的な行動、時間帯のみを抽出することにある。また、上記目的は、ユーザにその日の行動や、未来の行動を想起させたりすることにもある。
(効果)
本実施形態に係る情報処理装置100が有する非日常行動抽出技術によれば、多量の行動記録に関するデータから特徴的な行動、時間帯のみを抽出が可能となる。また、上記非日常行動抽出技術によれば、ユーザにその日の行動や、未来の行動を想起させたりすることも可能となる。
(機能構成)
次に、図35を参照しながら、本実施形態に係る非日常行動抽出技術を有する情報処理装置100の機能構成について説明する。特に図35では、行動パラメータ抽出部が有する非日常行動抽出機能について説明して、図3を参照しながら説明してきた機能構成と重複する部分については省略する。図35は、本実施形態に係る情報処理装置100の機能構成例を示す説明図である。情報処理装置100は、自装置が提供する所定の表示情報により、映像信号が有するオブジェクトを所定の情報に基づいて二次元の表示画面上に配置する機能に特徴を有する。更に、情報処理装置100は、自装置が提供する所定の表示情報により、ユーザの行動における非日常行動のみを抽出して表示する機能に特徴を有する。
センサデータ生成部108は、センサデータを行動パラメータ抽出部110に送信する。センサデータ生成部108が有する機能については、図3を参照しながら説明してきたセンサデータ生成部108が有する機能と全く同じである。図35に示すように、行動パラメータ抽出部110は、センサデータ受信部212と、行動パターン生成部214と、行動パターン評価部216と、行動分類部218と、非日常行動抽出部220と、ユーザ特性記憶部222とを有する。
センサデータ受信部212は、センサデータをセンサデータ生成部108から受信する。センサデータ受信部212は、センサデータを行動パターン生成部214と行動パターン評価部216に送信する。行動パターン生成部214は、センサデータ受信部212から複数のセンサデータを受信する。行動パターン生成部214は、複数のセンサデータを基に行動パターンを生成する。具体的には、例えば行動パターン生成部214が、例えば複数のセンサデータの加算平均を求めることによって当該行動パターンを生成する。
行動パターン評価部216は、上記の行動パターンを行動パターン生成部214から受信する。また、行動パターン評価部216は、センサデータをセンサデータ受信部212から受信する。行動パターン評価部216は、上記行動パターンと上記センサデータとの相関係数を求める。相関係数は、数分単位で求められてもよいし、数時間単位で求められてもよい。行動パターン評価部216は、行動表現データ生成部112に上記の相関係数が重畳したセンサデータを送信する。当該相関係数が重畳したセンサデータは、行動表現データ生成部112に送信される。また、上記相関係数が所定の範囲外であるセンサデータのみが行動表現データ生成部112に送信されてもよい。
行動表現データ生成部112は、上記の相関係数が重畳したセンサデータを基にして、上記の相関係数が重畳した行動表現データを生成する。そして、データ送信部114が、上記の相関係数が重畳した行動表現データを受信して、データ制御部118に送信する。データ制御部118は、図3を参照しながら説明してきたように、所定のデータに基づいて行動表現データを二次元の表示画面150上に表示することもできる。また、データ制御部118は、当該相関係数に基づいてユーザの所定の時間毎の非日常的な行動を示すパラメータとなる非日常度を算出して、表示画面150上に表示させることができる。
また、センサデータ受信部212は、センサデータを行動分類部218に送信する。行動分類部218は、上記のセンサデータを時系列に表示した場合に、上記センサデータの出力値が表すピークが発生する周期に基づいて当該ピークを分類する。上記周期に基づいて分類されたピークを受信した非日常行動抽出部220は、上記周期が所定値以下であるピークを抽出して、抽出した上記ピークに関するデータを非日常行動データとして行動表現データ生成部112に送信する。また、上記非日常行動データと、センサデータの双方が行動表現データ生成部112に送信されてもよい。
行動表現データ生成部112は、上記非日常行動データを基にして、行動表現データを生成する。そして、データ送信部114が、上記の非日常行動データを受信して、データ制御部118に送信する。データ制御部118は、行動表現データを基にして表示画面150上に、非日常行動に関する行動表現データを表示することができる。
また、上記の行動パターン、上記の相関係数が重畳したセンサデータ、上記センサデータが上記周期に基づいて分類されたピーク、非日常行動データは、ユーザ特性記憶部222に記録されておくことも可能である。
(非日常行動抽出技術の応用例)
次に、図36〜図54を参照しながら、非日常行動抽出技術を用いて表示画面上にオブジェクト等を表示する方法について説明する。
図36は、アプリケーションの一例として、あるユーザの行動履歴の比較観察ができる表示状態を示した説明図である。図36に示す例では、同一ユーザの一月分の行動履歴をカレンダ1200上に配置してある。カレンダ1200は、一日毎の記録データ1202を含む。記録データ1202は、日付1204、活動度1206、オブジェクト1208、非日常度1210、非日常度1212、非日常度1214、非日常行動データ1216を含む。また、記録データ1202は、測定不可表示1218を含む場合もある。また、カレンダ1200は、年月表示1220、時計1222、時間変換キー1224をも含む。
また、図37は、上記カレンダ1200のうちの、ある一日の記録データ1202のみに着目したことを示す図である。
カレンダ1200は、一日毎の記録データ1202を一月分、一般的なカレンダ状にまとめたものである。記録データ1202は、一日毎の活動度1206、非日常度1210などが記載されたデータである。日付1204は、記録データ1202を記録した日付である。活動度1206は、一日にどれだけ活動したかを示す度合いであり、後で説明する。オブジェクト1208は、上述した行動表現データに基づいて表現されたユーザの行動状態である。非日常度1210、非日常度1212、非日常度1214は、行動パターン評価部216がセンサデータに基づいて算出した非日常的な行動の度合いを示し、後で説明する。非日常行動データ1216は、それぞれの日において、どれだけ非日常的な行動を行ったかを示し、3段階評価で示される。測定不可表示1218は、諸事情により記録データの記録を行うことができなかったことを示す表示である。
年月表示1220は、カレンダ1200が表示されている年と月を表示したものである。時計1222は、表示されている現在の時刻を表示したものである。時間変換キー1224は、オブジェクトの表示によって、行動表現データを把握したい時間に表示を変換するためのキーである。
まず、上記の活動度1206について図38を参照しながら説明する。図38は、活動度1206の表示方法についてのフロー図である。一日分の活動度を求める行動データとしては、例えば、歩数、合計歩行時間などが挙げられる。また、電車に乗っている、という行動の認識結果からは電車に乗っている時間、駅数等も考えられる。これらの指標は単独に用いられてもよいし、組み合わせて用いられてもよい。上記の行動データは、行動感知部106が感知することができる。上記の行動データは、行動感知部106からデータ制御部118に送信される。一日分の行動データを基に、データ制御部118は、まず記録開始時刻から表示時刻までの積分値を計算する(S1000)。次に、データ制御部118は、積分値を高さとして表示する(S1002)。次に、データ制御部118は、活動度1206がある閾値(1)以上であるか否かを判断する(S1004)。閾値(1)以上である場合には、データ制御部118は、カレンダ1200上で表示する色を黒色にする(S1006)。次に、閾値(1)以上でない場合には、データ制御部118は、活動度1206がある閾値(2)以上であるか否かを判断する(S1008)。閾値(2)以上である場合には、データ制御部118は、カレンダ1200上で表示する色を濃灰色にする(S1010)。次に、閾値(2)以上でない場合には、データ制御部118は、カレンダ1200上で表示する色を濃灰色にする(S1012)。
次に、上記の閾値の設定方法について図39を参照しながら説明する。図39は、閾値の設定方法についてのフロー図である。まず、データ制御部118が、一日分の行動データを複数取得する。そして、データ制御部118は、それぞれのデータに対して、一日全体の活動度を計算して、活動度の分布を求める(S1020)。次に、データ制御部118は、上記の分布の平均値を閾値(2)とする(S1022)。次に、データ制御部118は、平均値+標準偏差が複数の一日分の行動データの最大値以下か否かを判断する(S1024)。上記最大値以下の場合、データ制御部118は、閾値(1)として平均+標準偏差の値を用いる(S1026)。また、S1024における判断で最大値以下ではない場合、平均と最大値に対して重心を求め、閾値(1)とする(S1028)。また、例えばn個の閾値を定義する場合、I番目の閾値を平均値+標準偏差のようにしたり、平均値と最大値のI/n:(n−I)/nの内分点とすることもできる。
次に、非日常行動データ1216の算出方法について説明する。まず、図40を参照しながら、非日常行動データについての処理の概要について説明する。図40の(A)は、センサデータ生成部108が生成したセンサデータについて、特定の時間毎に連続して一つの行動を行っている区間(以下ユニットと称す。)毎に区切ったデータを示す図である。図40の(A)では、一つのユニットであるW1が60sであることを示している。
そして、図40(B)に示すように、行動分類部218が閾値処理を行う。つまり、行動分類部218は、一つのユニットが長いものを(B−1)の方に分類して、短いものを(B−2)の方に分類する。次に、図40(C)に示すように、行動分類部218は、(B−2)の方に分類したユニットについて、ある周期の範囲内に収まっているユニット同士を結合する。そして、図40(C)に示すように、行動分類部218は、結合数の異なる行動A、行動B、行動Cに分類する。そして、非日常行動抽出部220は、行動Aを例えば3段階評価で2にする。そして、非日常行動抽出部220は、行動Bを例えば3段階評価で1にする。そして、非日常行動抽出部220は、カレンダ1200上に上記評価のうちで最大値である2を非日常行動データ1216として表示する。また、上記非日常行動データ1216は、上記最大値でなくてもよく、例えば、測定日の全ユニットのスコアの平均値や合計値などが用いられてもよい。
次に、図41を参照しながら、非日常行動データ1216の具体的な算出方法について説明する。まず、図41は、上記の行動A,行動B,行動Cの分類についてのフロー図である。まず、一日分の行動データを基に、行動分類部218は、連続行動時間がある閾値(1)よりも長いか否かを判断する(S1030)。連続行動時間が閾値(1)よりも長い場合、非日常行動抽出部220は、そのユニットを行動Aとする(S1032)。
そして、行動分類部218は、連続行動時間が閾値(1)よりも長くない場合、結合したカウント数を0に初期化する(S1034)。次に、行動分類部218は、時系列的に直後のユニットとの距離が閾値(2)以下であるか否かを判断する(S1036)。直後のユニットとの距離が閾値(2)以下である場合、行動分類部218は、直後のユニットと結合させる(S1038)。そして、行動分類部218は、nに1を加算する(S1040)。そして、再び、S1036に戻り、同様の判断をする。直後のユニットとの距離が、閾値(2)以上である場合、nが閾値(3)よりも大きいか否か判断する(S1042)。そして、nが閾値(3)よりも大きい場合、そのユニットを行動Bとする。nが閾値(3)よりも大きくない場合、そのユニットを行動Cとする。例えば、閾値(1)〜(3)は、後述する手法で求める。
次に、図42を参照しながら、上記の閾値の算出例について説明する。図42は、上記の閾値の算出方法を示すフロー図である。まず、一日分の行動データを基に、行動分類部218は、あるパラメータの大きさでユニットをソートする(i=1,2,3、・・・nとする。)(S1050)。次に、行動分類部218は、Score、Thを初期化する(S1052)。次に行動分類部218は、i<nであるか否か判断する(S1054)。i<nである場合、行動分類部218は、1〜i、i+1〜nのデータに対してそれぞれ直線近似して、誤差を求める(S1056)。次に、行動分類部218は、誤差が最小の場合には、そのときの二直線の交点の値をThとして保持する(S1058)。次に、行動分類部218は、iに1を加算して(S1060)、S1054の判断を再び行う。一方、i<nではない場合、行動分類部218は、Thを閾値とする(S1070)。
ここで、閾値の算出方法について、より具体的に図43のグラフを参照しながら説明する。図43はデータ数に対するある行動のユニット長をプロットしたグラフを示している。まず、行動分類部218は、i番目のデータで二つに分け、それぞれを(a)及び(b)のように、線形近似する。そして、行動分類部218は、各点に対して二直線を算出して、二乗誤差が最も小さい場合の二直線の交点のユニット長を閾値(1)とすることができる。
次に、図44を参照しながら、非日常行動データ1216の算出方法について説明する。ここでは、上記の行動Bに対する処理を例として示す。
まず、行動分類部218は、行動Bのユニットの判定スコアが閾値(4)以上であるか否かを判断する(S1080)。判定スコアが閾値(4)以上である場合、非日常行動抽出部220は、ユニットのスコアを3にする(S1082)。すなわち、データ制御部118は、カレンダ1200上で非日常行動データ1216の星の数は3つ表示させる。
ここで、行動分類部218は、判定スコアを一例として次の数式2のようにして求める。
判定スコア=W1×ユニット長+W2×カウント数 ・・・(数式2)
ここで、W1、W2は所定の重み付けのためのウェイト係数である。カウント数とは、上記の行動Bに含まれる結合前のユニット数である。
再び、図44のフロー図に戻り説明する。上記S1080で行われた判断で、判定スコアが閾値(4)以上ではない場合、行動分類部218は、判定スコアが閾値(5)以上であるか否かを判断する(S1084)。判定スコアが閾値(5)以上である場合、非日常行動抽出部220は、ユニットのスコアを2にする(S1086)。一方、判定スコアが閾値(5)以上ではない場合、非日常行動抽出部220は、ユニットのスコアを1とする(S1088)。上記の例では、3段階評価で説明してきたが、閾値の数を更に増やし、より細かく段階別に評価してもよい。
上記のように例により、非日常行動データ1216は求められる。再び、図36を参照しながら説明するが、例えば非日常行動データ1216の星の数が3つである場合、所定の操作で、図45に示すようなコメント記入欄1230が表示されてもよい。ユーザは、枠1232内部にコメントを記入することができる。また、ユーザはコメント記入後、所定の選択ボタン1234、1236を押すことができる。上記の例では、星の数が3つの場合について説明したが、この星の数については、ユーザが設定できるようにしてもよい。
上述してきたような、非日常的な行動を検出することで、例えば「歩く」といった行動一つを取ってみても、より詳細に分類が可能である。例えば、「どこかに向かうためにただ歩いている」場合や、「何かをしながら歩いている」場合などに分類されうる。すなわち、ユーザは、非日常的な行動の検出により、過去の行動についてより詳細な情報を得ることができる。
次に、非日常度1210(1212、1214であってもよい。以下同じ。)の算出方法について説明する。まず、図46、図47を参照しながら、非日常度についての処理の概要を説明する。
図46A、図46Bは、日ごとの行動パターンのずれを説明した図である。まず、センサデータ生成部108が、図46Aに示すようにある一日の特定時間のセンサデータ(1)を生成する。説明を簡単にするために、センサデータをユニット毎に分類した(A)を基にして説明する。(B)、(C)、(D)は時間についての軸を揃えて表示した、(A)とは別の日における行動に関するユニットのデータである。(A)、(B)、(C)においては、ユーザがほぼ同様の行動を取っていることを示している。(D)においては、(A)、(B)、(C)と比べると異質な行動パターンであることを示している。以下で説明する、非日常度についての処理においては、例えば(A)、(B)、(C)はユーザ毎に有する許容される時間ズレであり、非日常的ではないと判断される。そして、(D)は、ユーザが非日常的な行動であると例えば判断される。
また、図47は、グラフを基に非日常度を算出する方法を説明する図である。まず、図47の(A)に示すように、まず、行動パターン生成部214が、センサデータを数日分加算して平均する。そして、行動パターン生成部214は、特に注目する時間帯を抽出する。そして、図47の(B)に示すように、行動パターン生成部214は、上記注目する時間帯についてのテンプレート、つまり行動パターンを生成する。次に、行動パターン評価部が、上記行動パターンと受信したセンサデータとの相関係数を求める。この相関係数が非日常度を示すものとなる。図47の(C)については、図46の(A)〜(D)をより詳細に説明したものである。この図47の(C)に示した黒く塗りつぶされたプロットとそれ以外の実線のプロットが得られた場合、両者は相関係数の挙動が他のものと異なるため、この相関係数が非日常度を示すものとなる。
上述した注目する時間帯の検出方法について、図48を参照しながら説明する。図48は、注目する時間帯の検出方法についてのフロー図である。
まず、行動パターン生成部214は、センサデータ全てを時間方向の軸を揃えて加算して、平均値を求める(S1100)。次に、行動パターン生成部214は、連続してある閾値(1)を超えている時間帯を一つのユニットとみなす(S1102)。そして次に、行動パターン生成部214は、上記ユニットの時系列において直後のユニットとの距離がある閾値(2)以下であるか否かを判断する(S1104)。閾値(2)以下である場合、行動パターン生成部214は直後のユニットと上記ユニットを結合させる(S1106)。そして、再び行動パターン生成部214は、S1104の処理を行う。
一方、S1104において閾値(2)以下ではない場合、行動パターン生成部214は、ユニット長が閾値(3)よりも大きいか否かを判断する(S1108)。ユニット長が閾値(3)よりも大きい場合、行動パターン生成部214は、ユニットを所定量引き伸ばして注目時間帯とする。また、上記のS1108においえ、ユニット長が閾値(3)よりも大きくない場合、行動パターン生成部214は、ユニットを破棄する(S1112)。なお、閾値(1)、閾値(2)、閾値(3)は、平均値、標準偏差などの統計値から求められる。
次に、図49を参照しながら、上述した注目する時間帯の検出方法について更に説明する。図49は、異なる日における時間に対するユニットを基に、注目する時間帯の検出方法についての加算、及び加算後の処理方法を説明した図である。
図49の(A)で示すように、三日分の異なるユニットが存在する。行動パターン生成部214は、(B)で示すように3つのデータを加算する。行動パターン生成部214は、(C)で示すように、閾値を超えた時間帯を抽出する。そして行動パターン生成部214は、(D)に示すように許容すべき時間ズレについては結合する。さらに、行動パターン生成部214は、(E)で示すような時間ズレをも考慮して(B)のユニットよりもユニットを拡張して注目する時間帯を検出する。
次に、行動パターンの算出方法について説明する。まず、図50を参照しながら、行動パターンの算出方法について説明する。図50は、行動パターンの算出方法を説明したフロー図である。
行動パターン評価部216は、処理に用いるセンサデータの全ての組み合わせに対して、相互相関係数を求める(S1120)。行動パターン評価部216は、センサデータがn個あるのならば、上記の操作をnC2回繰り返す(S1120)。そして、行動パターン生成部214は、相互相関係数のピーク値Pが大きいものから10個の組み合わせ(UiとUj)を求める(S1122)。上記の10個はこの値に限られるものではない。
次に行動パターン評価部216は、UiとUjの相互相関係数の時間ズレdを求め、dだけ時間方向に対して移動させたものをUi’とする(S1124)。次に、行動パターン評価部216は、UiとUj’を加算して、Wkを生成する。行動パターン生成部214は、W1を基準として、W2〜W10をW1との時間ズレ分だけ移動させる。行動パターン生成部214は、上記のように時間ズレを加味したW1〜W10’までの合計値を取り、その時間帯のテンプレート、つまり行動パターンとする。
図51は、上記の相互相関係数の時間ズレdと相互相関係数のピーク値Pを説明するための図である。図51は相互相関係数の時間ズレに対するプロットをした一例である。このように時間ズレを考慮することで、複数のセンサデータを集めた場合にも、計測日による多少の時間ズレについては吸収することができるようになる。その結果、多くのデータを加算することができるようになり、SN比の向上が得られる。
図52は、上記の行動パターンの算出方法を簡単に説明したものである。つまり、行動パターン評価部216は、W1に対して、Wiでは、時間ズレ補正をdiだけ行う。また、行動パターン評価部216は、W1に対して、W10では、時間ズレ補正をd10だけ行う。行動パターン評価部216は、W1とWi’(iは2〜9の整数)とW10’の加算を取り、テンプレート、つまり行動パターンを生成する。
図53は、典型行動パターンからのはずれ度合いを計算する方法を説明するためのフロー図である。まず、センサデータとして一日分の行動データを受信した行動パターン生成部214は、一日のデータを注目時間毎にユニット化して、注目時間帯同士の間(注目時間帯以外の時間)も一つのユニットとみなす(S1140)。次に行動パターン生成部214は、上記ユニットが注目時間帯であったか否かを判断する(S1142)。上記判断が正しい場合には、行動パターン評価部216は、注目時間帯における、テンプレート(行動パターン)と個別データの規格化した相互相関値を算出する(S1144)。次に、行動パターン評価部216は、1からピーク値を引き、その値をそのユニットの特別度(U1)とする(S1146)。
一方、上記S1142において、判断が正しくなかった場合、注目の時間帯でない時間帯における、時間帯内の行動の平均値をそのユニットの特別度(U2)とする(S1148)。そして、行動パターン評価部216は、同ユニットの時間帯を表すバーの高さを特別度とする(S1150)。このようにして、U1、U2が算出され、図37で示したような非日常度1210が、データ制御部118によってカレンダ1200上に表示される。
図54は、一日の時間毎の行動スコア、すなわちセンサデータを示した図である。このデータを基にして、非日常度、行動パターンなどが算出されるようになる。その結果、ユーザは、非日常的な行動、及び日常的な行動によるある程度の未来の行動の予測も可能となる。
[6.情報処理装置100のハードウェア構成例]
上記装置が有する各構成要素の機能は、例えば、図 に示すハードウェア構成を有する情報処理装置により、上記の機能を実現するためのコンピュータプログラムを用いて実現することが可能である。図 は、上記装置の各構成要素が有する機能を実現することが可能な情報処理装置のハードウェア構成を示す説明図である。この情報処理装置の形態は任意である。例えば、パーソナルコンピュータ、携帯電話、PHS(Personal Handy−phone System)、PDA(Personal Digital Assistant)等の携帯情報端末、ゲーム機、又は各種情報家電等の形態がこれに含まれる。
図55に示すように、上記の情報処理装置は、主に、CPU(Central Processing Unit)902と、ROM(Read Only Memory)904とにより構成される。また、上記の情報処理装置はRAM(Random Access Memory)906と、ホストバス908と、ブリッジ910と、外部バス912と、インターフェース914とにより構成される。さらに上記の情報処理装置は入力部916と、出力部918と、記憶部126と、ドライブ922と、接続ポート924と、通信部926とにより構成される。
CPU902は、例えば、演算処理装置又は制御装置として機能し、ROM904、RAM906、記憶部126、又はリムーバブル記録媒体928に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ROM904は、例えば、CPU902に読み込まれるプログラムや演算に用いるデータ等を格納する。RAM906は、例えば、CPU902に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等を一時的又は永続的に格納する。これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス908によって相互に接続されている。また、ホストバス908は、例えば、ブリッジ910を介して比較的データ伝送速度が低速な外部バス912に接続されている。
入力部916は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等の操作手段である。また、入力部916は、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントロール手段(所謂、リモコン)であってもよい。なお、入力部916は、上記の操作手段を用いて入力された情報を入力信号としてCPU902に伝送するための入力制御回路等により構成されている。
出力部918は、例えば、CRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)等のディスプレイ装置が挙げられる。又、出力部918は、PDP(Plasma DisplayPanel)、ELD(Electro−Luminescence Display)等のディスプレイ装置が挙げられる。又、出力部918は、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
記憶部126は、各種のデータを格納するための装置であり、例えば、ハードディスクドライブ(HDD;Hard Disk Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。
ドライブ922は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体928に記録された情報を読み出し、又はリムーバブル記録媒体928に情報を書き込む装置である。リムーバブル記録媒体928は、例えば、DVDメディア、Blu−rayメディア、HD DVDメディア、メモリースティック、又はSDメモリカード(Secure Digital memory card)等である。もちろん、リムーバブル記録媒体928は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit Card)、又は電子機器等であってもよい。
接続ポート924は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、等のような外部接続機器930を接続するためのポートである。又、接続ポート924は、例えば、SCSI(Small Computer System Interface)、RS−232Cポート、又は光オーディオ端子等のような外部接続機器930を接続するためのポートである。外部接続機器930は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
通信部926は、ネットワーク932に接続するための通信デバイスであり、例えば、有線又は無線LAN(Local Area Network)、又はWUSB(Wireless USB)用の通信カードである。又、通信部926は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。また、通信部926に接続されるネットワーク932は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内LAN、赤外線通信、可視光通信、放送、又は衛星通信等である。
[7.まとめ]
最後に、本実施形態の情報処理装置100が有する機能構成と、当該機能構成により得られる作用効果について簡単に纏める。
まず、本実施形態に係る情報処理装置100の機能構成は次のように表現することができる。当該情報処理装置100は、記憶部126と、データ制御部118と、表示制御部120とを有する。記憶部126は、第一のユーザにより登録された上記第一のユーザ及び第二のユーザに関する所定の情報を記録する。また、データ制御部118は、上記所定のデータに基づいて上記第一のユーザ及び上記第二のユーザのオブジェクトを距離を置いて2次元の表示画面上に表示する映像信号を生成する。そのため、複数のユーザを表示画面上に二次元に配置でき、ユーザは一目で簡単に上記ユーザ間の所定の関係性を把握できる。表示制御部120は、上記映像信号を上記2次元の表示画面上に表示する。
また、本実施形態に係る情報処理装置100の機能構成は次のように表現することもできる。当該情報処理装置100は、行動感知部106と、センサデータ生成部108と、行動パラメータ抽出部110と、行動表現データ生成部112も有する。行動感知部106は、上記第一のユーザの行動を感知する。センサデータ生成部108は、上記行動感知部106から上記第一のユーザの行動に関する情報である行動情報を受信して、上記第一のユーザの行動情報に関するセンサデータを生成する。行動パラメータ抽出部110は、上記センサデータから行動を特徴づける行動パラメータを抽出する。行動表現データ生成部112は、動画像若しくは静止画像を用いて表現される行動表現データを上記行動パラメータに基づいて生成する。また、上記データ制御部118は、上記所定のデータに基づいて上記行動表現データを上記オブジェクトとして距離を置いて上記2次元の表示画面上に表示する映像信号を生成する。そのため、第一のユーザが現在行っている行動にもとづいて、第一のユーザのオブジェクトが表示されることとなる。つまり、ユーザはさらに複数の情報を一度に把握することができる。
また、本実施形態に係る情報処理装置100の機能構成は次のように表現することもできる。当該情報処理装置は、データ送信部114と、データ受信部116も有する。データ送信部114は、上記行動表現データをサーバに送信する。データ受信部116は、上記第二のユーザの上記行動表現データをサーバから受信する。上記データ制御部118は、上記所定のデータに基づいて上記第一のユーザ及び上記第二のユーザの行動表現データを上記オブジェクトとして距離を置いて上記2次元の表示画面上に表示する映像信号を生成する。つまり、複数のユーザ全てのオブジェクトを行動表現データに基づいたものとすることができるため、ユーザは、またさらに複数の情報を一目で把握することができる。
また、本実施形態に係る情報処理装置100の機能構成は次のように表現することもできる。当該情報処理装置は、位置認識部128と、位置データ生成部130も有する。位置認識部128は、上記第一のユーザの存在位置を認識する。位置データ生成部130は、上記位置認識部128より取得した上記第一のユーザの存在位置に関する情報である存在位置情報により位置データを生成する。上記所定のデータは、上記位置データである。上記データ送信部が、上記位置データをサーバに送信して、上記データ受信部が、少なくとも1以上の上記第二のユーザの上記位置データをサーバから受信する。そして、上記データ制御部は、上記第一のユーザの上記位置データを上記データ送信部114から受信し、上記第二のユーザの上記位置データを上記データ受信部116から受信する。そのため、ユーザは、複数のユーザの存在位置を把握することができ、かつ各ユーザがどのような行動を取っているのかを把握することもできる。
また、本実施形態に係る情報処理装置100の機能構成は次のように表現することもできる。上記所定のデータは、ユーザ各自が所有する情報処理装置100を用いてユーザ間で通信した履歴に関する通信履歴データである。上記データ制御部118が、上記通信履歴データに基づいて上記第一のユーザ及び上記第二のユーザの行動表現データを上記オブジェクトとして距離を置いて上記2次元の表示画面上に表示する映像信号を生成する。そのため、ユーザは、ユーザ間の親密度を把握しつつ、各ユーザが現在どのような行動を取っているのかを把握することもできる。
また、本実施形態に係る情報処理装置100の機能構成は次のように表現することもできる。上記表示画面に表示された上記オブジェクトに外部オブジェクトが当接することで、上記データ制御部が、当接した上記外部オブジェクトの移動に追従して上記オブジェクトを移動させる。そのため、必要に応じて各ユーザに関するオブジェクトの配置位置の調整等ができる。
また、本実施形態に係る情報処理装置100の機能構成は次のように表現することもできる。上記ユーザ毎の所定のデータは、ユーザに関するパーソナルデータである。上記データ送信部114は、上記パーソナルデータをサーバに送信する。上記データ受信部116は、上記第二のユーザの上記パーソナルデータをサーバから受信する。上記データ制御部118は、上記パーソナルデータに基づいて上記第一のユーザ及び上記第二のユーザの行動表現データを上記オブジェクトとして距離を置いて上記2次元の表示画面上に表示する映像信号を生成する。そのため、ユーザは、各ユーザの趣味などを一目で把握することができる。
また、本実施形態に係る情報処理装置100の機能構成は次のように表現することもできる。上記データ制御部118が、上記ユーザのオブジェクトに上記第一のユーザが所定の方式のジェスチャーをすることで上記第一のユーザと上記第二のユーザとの通信が開始される。そのため、非常に簡易な操作で電話やメールをすることができる。
また、本実施形態に係る情報処理装置100の機能構成は次のように表現することもできる。上記行動パラメータ抽出部110は、センサデータ受信部212と、行動分類部218と、非日常行動抽出部220も有する。センサデータ受信部212は、上記センサデータを受信する。行動分類部と218は、上記センサデータを時系列に表示した場合に、上記センサデータの出力値が表すピークが発生する周期に基づいて当該ピークを分類する。非日常行動抽出部220は、上記周期が所定値以下である上記ピークを抽出して、抽出した上記ピークに関するデータを非日常行動データとして行動表現データ生成部に送信する。そのため、各ユーザの行っている行動のうち、非日常的な行動を抽出することができる。
また、本実施形態に係る情報処理装置100の機能構成は次のように表現することもできる。上記行動パラメータ抽出部110は、センサデータ受信部212と、行動パターン生成部214と、行動パターン評価部216も有する。センサデータ受信部212は、上記センサデータを受信する。行動パターン生成部214は、複数の上記センサデータを取得して行動パターンを生成する。行動パターン評価部216は、上記行動パターン生成部214から受信した上記行動パターン、及び上記センサデータ受信部212から受信した上記センサデータの相関係数を求める。そして所定の相関係数の範囲に入らない上記センサデータを行動表現データ生成部112に送信する。そのため、各ユーザの行っている行動のうち、非日常的な行動を抽出することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
本発明の実施形態に係る技術を適用可能なネットワークを示す説明図である。 同実施形態に係る情報処理装置の構成を示す説明図である。 同実施形態に係る情報処理装置の機能構成を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面上のオブジェクトの移動方法に関する流れを示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面上のオブジェクトの移動方法に関する流れを示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面上のオブジェクトに関するユーザの関係性を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置が振動する機能を示す説明図である。 同実施形態に係る情報処理装置が振動する機能を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置が振動する機能を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の機能構成を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の機能に関する流れを示す説明図である。 同実施形態に係る情報処理装置の機能に関する流れを示す説明図である。 同実施形態に係る情報処理装置の処理に関する流れを示す説明図である。 同実施形態に係る情報処理装置の機能に関する流れを示す説明図である。 同実施形態に係る情報処理装置の機能に関する流れを示す説明図である。 同実施形態に係る情報処理装置の処理に関して用いられるグラフ図を示す説明図である。 同実施形態に係る情報処理装置の機能に関する流れを示す説明図である。 同実施形態に係る情報処理装置の表示画面を示す説明図である。 同実施形態に係る情報処理装置の処理に関して用いられるグラフ図を示す説明図である。 同実施形態に係る情報処理装置の処理に関して用いられるグラフ図を示す説明図である。 同実施形態に係る情報処理装置の処理に関して用いられるグラフ図を示す説明図である。 同実施形態に係る情報処理装置の処理に関して用いられるグラフ図を示す説明図である。 同実施形態に係る情報処理装置の処理に関して用いられるグラフ図を示す説明図である。 同実施形態に係る情報処理装置の機能に関する流れを示す説明図である。 同実施形態に係る情報処理装置の処理に関して用いられるグラフ図を示す説明図である。 同実施形態に係る情報処理装置の機能に関する流れを示す説明図である。 同実施形態に係る情報処理装置の処理に関して用いられるグラフ図を示す説明図である。 同実施形態に係る情報処理装置の処理に関して用いられるグラフ図を示す説明図である。 同実施形態に係る情報処理装置の機能に関する流れを示す説明図である。 同実施形態に係る情報処理装置の処理に関して用いられるグラフ図を示す説明図である。 同実施形態に係る情報処理装置のハードウェア構成例を示す説明図である。
符号の説明
100 情報処理装置
102 サーバ
104 通信網
106 行動感知部
108 センサデータ生成部
110 行動パラメータ抽出部
112 行動表現データ生成部
114 データ送信部
116 データ受信部
118 データ制御部
120 表示制御部
124 記録部
126 記憶部
128 位置認識部
130 位置データ生成部
132 ユーザ操作
134 ユーザ行動
55、150、155、255 表示画面
170 指
180 画像データ
212 センサデータ受信部
214 行動パターン生成部
216 行動パターン評価部
218 行動分類部
220 非日常行動抽出部
222 ユーザ特性記憶部
950、1000、1002、1004、1006、1008、1010、1050、1208 オブジェクト
1100、1102、1104、1106 円
1110 2つのオブジェクト
1114、1116 角度
1120、1122、1124 軸

Claims (11)

  1. 第一のユーザにより登録された前記第一のユーザ及び第二のユーザに関する所定の情報を記録する記憶部と、
    前記第一のユーザ及び前記第二のユーザに対応するオブジェクトを前記所定の情報に基づいて算出された距離を置いて2次元の表示画面上に表示する映像信号を生成するデータ制御部と、
    前記映像信号を前記2次元の表示画面上に表示する表示制御部と、
    を有する、情報処理装置。
  2. 前記第一のユーザの行動を感知する行動感知部と、
    前記行動感知部から前記第一のユーザの行動に関する情報である行動情報を受信して、前記第一のユーザの行動情報に関するセンサデータを生成するセンサデータ生成部と、
    前記センサデータから行動を特徴づける行動パラメータを抽出する行動パラメータ抽出部と、
    動画像若しくは静止画像を用いて表現される行動表現データを前記行動パラメータに基づいて生成する行動表現データ生成部と、
    を更に有し、
    前記データ制御部は、前記所定のデータに基づいて前記行動表現データを前記オブジェクトとして前記2次元の表示画面上に距離を置いて表示する映像信号を生成する、請求項1に記載の情報処理装置。
  3. 前記行動表現データをサーバに送信するデータ送信部と、
    前記第二のユーザの前記行動表現データをサーバから受信するデータ受信部と、
    を更に有し、
    前記データ制御部は、前記所定のデータに基づいて前記第一のユーザ及び前記第二のユーザの行動表現データを前記オブジェクトとして前記2次元の表示画面上に距離を置いて表示する映像信号を生成する、請求項2に記載の情報処理装置。
  4. 前記第一のユーザの存在位置を認識する位置認識部と、
    前記位置認識部より取得した前記第一のユーザの存在位置に関する情報である存在位置情報により位置データを生成する位置データ生成部と、
    を更に有し、
    前記データ送信部は、前記位置データ生成部により生成された前記第一のユーザの位置データをサーバに送信し、
    前記データ制御部は、前記第一のユーザの位置データと、前記データ受信部が受信した少なくとも1以上の前記第二のユーザの前記位置データに基づいて、前記第一のユーザおよび前記第二のユーザの行動表現データを前記オブジェクトとして前記2次元の表示画面上に距離を置いて表示する映像信号を生成する、請求項3に記載の情報処理装置。
  5. 前記所定のデータは、ユーザ各自が所有する情報処理装置を用いてユーザ間で通信した履歴に関する通信履歴データであり、
    前記データ制御部が、前記通信履歴データに基づいて前記第一のユーザ及び前記第二のユーザの行動表現データを前記オブジェクトとして距離を置いて前記2次元の表示画面上に表示する映像信号を生成する、請求項3に記載の情報処理装置。
  6. 前記表示画面に表示された前記オブジェクトに外部オブジェクトが当接することで、前記データ制御部が、当接した前記外部オブジェクトの移動に追従して前記オブジェクトを移動させる、請求項3に記載の情報処理装置。
  7. 前記ユーザ毎の所定のデータは、ユーザに関するパーソナルデータであり、
    前記データ送信部は、前記パーソナルデータをサーバに送信し、
    前記データ制御部は、前記第一のユーザの前記パーソナルデータおよび前記データ受信部がサーバから受信した前記第二のユーザの前記パーソナルデータに基づいて、前記第一のユーザ及び前記第二のユーザの行動表現データを前記オブジェクトとして距離を置いて前記2次元の表示画面上に表示する映像信号を生成する、請求項3に記載の情報処理装置。
  8. 前記データ制御部は、前記ユーザのオブジェクトに対して前記第一のユーザにより所定の方式に基づいたジェスチャーが行われると、自装置と前記第二のユーザが所有する前記情報処理装置との間で行われる通信を開始する、請求項3に記載の情報処理装置。
  9. 前記行動パラメータ抽出部は、
    前記センサデータを受信するセンサデータ受信部と、
    前記センサデータを時系列に表示した場合に、前記センサデータの出力値が表すピークが発生する周期に基づいて当該ピークを分類する行動分類部と、
    前記周期が所定値以下である前記ピークを抽出して、抽出した前記ピークに関するデータを非日常行動データとして行動表現データ生成部に送信する非日常行動抽出部と、
    を有する、請求項3に記載の情報処理装置。
  10. 前記行動パラメータ抽出部は、
    前記センサデータを受信するセンサデータ受信部と、
    複数の前記センサデータを取得して行動パターンを生成する行動パターン生成部と、
    前記行動パターン生成部から受信した前記行動パターン、及び前記センサデータ受信部から受信した前記センサデータの相関係数を求めて、所定の相関係数の範囲に入らない前記センサデータを行動表現データ生成部に送信する行動パターン評価部と、
    を有する、請求項3に記載の情報処理装置。
  11. 第一のユーザにより予め登録されている前記第一のユーザ及び第二のユーザに関する所定の情報に基づいて、前記第一のユーザ及び前記第二のユーザに対応するオブジェクトを前記所定の情報に基づいて算出された距離を置いて2次元の表示画面上に表示する映像信号を生成するデータ制御ステップと、
    前記映像信号を前記2次元の表示画面上に表示する表示制御ステップと、
    を有する、情報処理方法。

JP2008311628A 2008-12-05 2008-12-05 情報処理装置、及び情報処理方法 Expired - Fee Related JP5551867B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008311628A JP5551867B2 (ja) 2008-12-05 2008-12-05 情報処理装置、及び情報処理方法
US12/629,213 US8508536B2 (en) 2008-12-05 2009-12-02 Information processing apparatus and information processing method
CN2009102536347A CN101751220B (zh) 2008-12-05 2009-12-07 信息处理装置和信息处理方法
US13/933,009 US9189136B2 (en) 2008-12-05 2013-07-01 Information processing apparatus and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008311628A JP5551867B2 (ja) 2008-12-05 2008-12-05 情報処理装置、及び情報処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013125467A Division JP5660161B2 (ja) 2013-06-14 2013-06-14 情報処理装置、及び情報処理方法

Publications (3)

Publication Number Publication Date
JP2010134802A true JP2010134802A (ja) 2010-06-17
JP2010134802A5 JP2010134802A5 (ja) 2012-01-19
JP5551867B2 JP5551867B2 (ja) 2014-07-16

Family

ID=42232474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008311628A Expired - Fee Related JP5551867B2 (ja) 2008-12-05 2008-12-05 情報処理装置、及び情報処理方法

Country Status (3)

Country Link
US (2) US8508536B2 (ja)
JP (1) JP5551867B2 (ja)
CN (1) CN101751220B (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013065519A1 (ja) 2011-10-31 2013-05-10 ソニー株式会社 発電制御システム、発電制御プログラムおよび電子機器
JP2013516945A (ja) * 2010-12-28 2013-05-13 ▲華▼▲為▼終端有限公司 連絡先を処理するための方法および移動端末
WO2014080678A1 (ja) 2012-11-22 2014-05-30 ソニー株式会社 情報処理装置、システム、情報処理方法およびプログラム
WO2014136466A1 (ja) 2013-03-08 2014-09-12 ソニー株式会社 情報処理装置、システム、情報処理方法およびプログラム
WO2014203597A1 (ja) 2013-06-18 2014-12-24 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2015022769A1 (en) 2013-08-12 2015-02-19 Sony Corporation Information processing apparatus, information processing method, and program
WO2015098215A1 (ja) 2013-12-24 2015-07-02 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
WO2015107737A1 (ja) 2014-01-20 2015-07-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JPWO2014038323A1 (ja) * 2012-09-06 2016-08-08 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2016184416A (ja) * 2016-05-20 2016-10-20 ソニー株式会社 情報処理装置、情報処理方法および記憶媒体
JP2020030469A (ja) * 2018-08-20 2020-02-27 Zホールディングス株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
US10740057B2 (en) 2011-06-13 2020-08-11 Sony Corporation Information processing device, information processing method, and computer program

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105141735B (zh) * 2010-12-28 2019-01-18 华为终端(东莞)有限公司 对联系人进行处理的方法及移动终端
CN102439955A (zh) * 2011-10-26 2012-05-02 华为技术有限公司 一种呈现联系热度的方法及设备
WO2013076359A1 (en) * 2011-11-24 2013-05-30 Nokia Corporation Method, apparatus and computer program product for generation of animated image associated with multimedia content
JP5895716B2 (ja) * 2012-06-01 2016-03-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP5935516B2 (ja) 2012-06-01 2016-06-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
USD738889S1 (en) * 2013-06-09 2015-09-15 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD755240S1 (en) 2013-06-09 2016-05-03 Apple Inc. Display screen or portion thereof with graphical user interface
USD755843S1 (en) 2013-06-10 2016-05-10 Apple Inc. Display screen or portion thereof with graphical user interface
USD759035S1 (en) * 2013-08-01 2016-06-14 Sears Brands, L.L.C. Display screen or portion thereof with icon
USD745558S1 (en) * 2013-10-22 2015-12-15 Apple Inc. Display screen or portion thereof with icon
USD789382S1 (en) * 2013-11-25 2017-06-13 Apple Inc. Display screen or portion thereof with graphical user interface
USD753692S1 (en) * 2014-04-04 2016-04-12 Adp, Llc Display screen or portion thereof with graphical user interface
USD771112S1 (en) 2014-06-01 2016-11-08 Apple Inc. Display screen or portion thereof with graphical user interface
USD752624S1 (en) 2014-09-01 2016-03-29 Apple Inc. Display screen or portion thereof with graphical user interface
USD771123S1 (en) 2014-09-01 2016-11-08 Apple Inc. Display screen or portion thereof with multi-state graphical user interface
USD752623S1 (en) 2014-09-01 2016-03-29 Apple Inc. Display screen or portion thereof with graphical user interface
USD753696S1 (en) 2014-09-01 2016-04-12 Apple Inc. Display screen or portion thereof with graphical user interface
USD762659S1 (en) 2014-09-02 2016-08-02 Apple Inc. Display screen or portion thereof with graphical user interface
USD735754S1 (en) 2014-09-02 2015-08-04 Apple Inc. Display screen or portion thereof with graphical user interface
USD762660S1 (en) 2014-09-03 2016-08-02 Apple Inc. Display screen or portion thereof with graphical user interface
US9652685B2 (en) * 2014-09-30 2017-05-16 Disney Enterprises, Inc. Generating story graphs with large collections of online images
USD817980S1 (en) * 2015-02-03 2018-05-15 Api Healthcare Corporation Display screen or portion thereof with graphical user interface
USD762671S1 (en) 2015-03-06 2016-08-02 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD760746S1 (en) 2015-06-04 2016-07-05 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD773515S1 (en) 2015-11-18 2016-12-06 Domo, Inc. Display screen or portion thereof with a graphical user interface
CN105709418A (zh) * 2015-12-31 2016-06-29 联想(北京)有限公司 电子设备及其信息处理方法和信息处理装置
USD796543S1 (en) 2016-06-10 2017-09-05 Apple Inc. Display screen or portion thereof with graphical user interface
USD804502S1 (en) 2016-06-11 2017-12-05 Apple Inc. Display screen or portion thereof with graphical user interface
USD796547S1 (en) 2016-06-11 2017-09-05 Apple Inc. Display screen or portion thereof with graphical user interface
TWI672625B (zh) 2017-08-01 2019-09-21 奇景光電股份有限公司 傳感器佈局以及電容式觸控螢幕
USD843442S1 (en) 2017-09-10 2019-03-19 Apple Inc. Type font
USD870774S1 (en) 2017-09-29 2019-12-24 Apple Inc. Wearable device with animated graphical user interface
USD910708S1 (en) 2018-05-08 2021-02-16 Apple Inc. Electronic device with graphical user interface
USD863337S1 (en) 2018-06-03 2019-10-15 Apple Inc. Electronic device with animated graphical user interface
USD868094S1 (en) 2018-08-30 2019-11-26 Apple Inc. Electronic device with graphical user interface
USD962244S1 (en) 2018-10-28 2022-08-30 Apple Inc. Electronic device with graphical user interface
USD914756S1 (en) 2018-10-29 2021-03-30 Apple Inc. Electronic device with graphical user interface
USD902221S1 (en) 2019-02-01 2020-11-17 Apple Inc. Electronic device with animated graphical user interface
USD900871S1 (en) 2019-02-04 2020-11-03 Apple Inc. Electronic device with animated graphical user interface
USD910050S1 (en) 2019-03-22 2021-02-09 Apple Inc. Electronic device with graphical user interface
USD913324S1 (en) * 2019-05-29 2021-03-16 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD951287S1 (en) 2020-06-19 2022-05-10 Apple Inc. Display screen or portion thereof with graphical user interface
USD942509S1 (en) 2020-06-19 2022-02-01 Apple Inc. Display screen or portion thereof with graphical user interface
USD954732S1 (en) 2020-06-20 2022-06-14 Apple Inc. Display screen or portion thereof with graphical user interface

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH085394A (ja) * 1994-06-21 1996-01-12 Hitachi Ltd 携帯端末装置及びそれを用いた通信システム
JPH1173271A (ja) * 1997-08-28 1999-03-16 Sharp Corp 指示装置、処理装置および記憶媒体
JP2005102773A (ja) * 2003-09-29 2005-04-21 Microstone Corp 学生の行動管理システム
JP2005234882A (ja) * 2004-02-19 2005-09-02 Oki Electric Ind Co Ltd 通信端末装置および通信端末用プログラム
JP2006345269A (ja) * 2005-06-09 2006-12-21 Sony Corp 情報処理装置および方法、並びにプログラム
JP2007129609A (ja) * 2005-11-07 2007-05-24 Sony Ericsson Mobilecommunications Japan Inc 通信端末装置およびコンピュータプログラム
JP2008107895A (ja) * 2006-10-23 2008-05-08 Nomura Research Institute Ltd 仮想空間提供サーバ、仮想空間提供システム及びコンピュータプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
JP4543496B2 (ja) 2000-05-10 2010-09-15 ソニー株式会社 通信システム
JP2005345269A (ja) 2004-06-03 2005-12-15 Oval Corp 部品交換時期通知機能を有する計測装置
JP5028751B2 (ja) 2005-06-09 2012-09-19 ソニー株式会社 行動認識装置
US7450003B2 (en) * 2006-02-24 2008-11-11 Yahoo! Inc. User-defined private maps
JP5041202B2 (ja) 2006-06-20 2012-10-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US8122356B2 (en) * 2007-10-03 2012-02-21 Eastman Kodak Company Method for image animation using image value rules

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH085394A (ja) * 1994-06-21 1996-01-12 Hitachi Ltd 携帯端末装置及びそれを用いた通信システム
JPH1173271A (ja) * 1997-08-28 1999-03-16 Sharp Corp 指示装置、処理装置および記憶媒体
JP2005102773A (ja) * 2003-09-29 2005-04-21 Microstone Corp 学生の行動管理システム
JP2005234882A (ja) * 2004-02-19 2005-09-02 Oki Electric Ind Co Ltd 通信端末装置および通信端末用プログラム
JP2006345269A (ja) * 2005-06-09 2006-12-21 Sony Corp 情報処理装置および方法、並びにプログラム
JP2007129609A (ja) * 2005-11-07 2007-05-24 Sony Ericsson Mobilecommunications Japan Inc 通信端末装置およびコンピュータプログラム
JP2008107895A (ja) * 2006-10-23 2008-05-08 Nomura Research Institute Ltd 仮想空間提供サーバ、仮想空間提供システム及びコンピュータプログラム

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013516945A (ja) * 2010-12-28 2013-05-13 ▲華▼▲為▼終端有限公司 連絡先を処理するための方法および移動端末
US8611968B2 (en) 2010-12-28 2013-12-17 Huawei Device Co., Ltd. Method and mobile terminal for processing contacts
KR101382517B1 (ko) * 2010-12-28 2014-04-07 후아웨이 디바이스 컴퍼니 리미티드 연락처를 처리하는 방법 및 모바일 단말
US8761839B2 (en) 2010-12-28 2014-06-24 Huawei Device Co., Ltd. Method and mobile terminal for processing contacts
US10740057B2 (en) 2011-06-13 2020-08-11 Sony Corporation Information processing device, information processing method, and computer program
WO2013065519A1 (ja) 2011-10-31 2013-05-10 ソニー株式会社 発電制御システム、発電制御プログラムおよび電子機器
JPWO2014038323A1 (ja) * 2012-09-06 2016-08-08 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10469416B2 (en) 2012-09-06 2019-11-05 Sony Corporation Information processing device, information processing method, and program
WO2014080678A1 (ja) 2012-11-22 2014-05-30 ソニー株式会社 情報処理装置、システム、情報処理方法およびプログラム
US11080310B2 (en) 2012-11-22 2021-08-03 Sony Corporation Information processing device, system, information processing method, and program
US10037342B2 (en) 2012-11-22 2018-07-31 Sony Corporation Information processing device, system, information processing method, and program
WO2014136466A1 (ja) 2013-03-08 2014-09-12 ソニー株式会社 情報処理装置、システム、情報処理方法およびプログラム
US10969924B2 (en) 2013-03-08 2021-04-06 Sony Corporation Information processing apparatus, method, and non-transitory computer readable medium that controls a representation of a user object in a virtual space
WO2014203597A1 (ja) 2013-06-18 2014-12-24 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10601935B2 (en) 2013-08-12 2020-03-24 Sony Corporation Information processing apparatus, information processing method, and program
US10972562B2 (en) 2013-08-12 2021-04-06 Sony Corporation Information processing apparatus, information processing method, and program
JP2015036836A (ja) * 2013-08-12 2015-02-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2015022769A1 (en) 2013-08-12 2015-02-19 Sony Corporation Information processing apparatus, information processing method, and program
WO2015098215A1 (ja) 2013-12-24 2015-07-02 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
US10592812B2 (en) 2014-01-20 2020-03-17 Sony Corporation Information processing apparatus and information processing method
WO2015107737A1 (ja) 2014-01-20 2015-07-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JPWO2015107737A1 (ja) * 2014-01-20 2017-03-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2016184416A (ja) * 2016-05-20 2016-10-20 ソニー株式会社 情報処理装置、情報処理方法および記憶媒体
JP2020030469A (ja) * 2018-08-20 2020-02-27 Zホールディングス株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
JP7082008B2 (ja) 2018-08-20 2022-06-07 ヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Also Published As

Publication number Publication date
US9189136B2 (en) 2015-11-17
US8508536B2 (en) 2013-08-13
CN101751220B (zh) 2012-07-04
JP5551867B2 (ja) 2014-07-16
CN101751220A (zh) 2010-06-23
US20100146433A1 (en) 2010-06-10
US20130305168A1 (en) 2013-11-14

Similar Documents

Publication Publication Date Title
JP5551867B2 (ja) 情報処理装置、及び情報処理方法
CN108351750B (zh) 用于处理与触摸输入相关联的强度信息的设备、方法、以及图形用户界面
CN105183443B (zh) 用于媒体和位置内容的捕获和传输的消息用户界面
CN105264477B (zh) 用于移动用户界面对象的设备、方法和图形用户界面
CN104685470B (zh) 用于从模板生成用户界面的设备和方法
CN102819314B (zh) 声音控制设备和控制方法
CN103403705B (zh) 使用媒体文件加载移动计算设备
CN108347704A (zh) 信息推荐方法及移动终端
CN107924264A (zh) 用于调节用户界面对象的设备、方法、和图形用户界面
CN109154859A (zh) 用于提供触觉反馈的设备、方法和图形用户界面
WO2015127825A1 (zh) 表情输入方法、装置及电子设备
WO2016110182A1 (zh) 匹配表情图像的方法、装置及终端
CN106415542A (zh) 结构化建议
CN107229348A (zh) 一种输入纠错方法、装置和用于输入纠错的装置
CN110377194A (zh) 用于从相应应用程序分享内容的设备、方法和图形用户界面
JP2016004375A (ja) 表示制御装置、表示制御方法及びコンピュータプログラム
WO2017113131A1 (zh) 一种多媒体文件的管理方法、电子设备及图形用户界面
WO2017012423A1 (zh) 一种显示即时通信消息的方法和终端
CN107491283A (zh) 用于动态地调整音频输出的呈现的设备、方法和图形用户界面
US8868550B2 (en) Method and system for providing an answer
US11863954B2 (en) Wireless headphone interactions
US20220131822A1 (en) Voice communication method
CN109582817A (zh) 一种歌曲推荐方法、终端及计算机可读存储介质
CN108712321A (zh) 一种消息的提示方法及移动终端
US20140067861A1 (en) Device and content searching method using the same

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130614

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130624

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20130712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140523

R150 Certificate of patent or registration of utility model

Ref document number: 5551867

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees