JP2006293535A - 情報表示システム - Google Patents

情報表示システム Download PDF

Info

Publication number
JP2006293535A
JP2006293535A JP2005111044A JP2005111044A JP2006293535A JP 2006293535 A JP2006293535 A JP 2006293535A JP 2005111044 A JP2005111044 A JP 2005111044A JP 2005111044 A JP2005111044 A JP 2005111044A JP 2006293535 A JP2006293535 A JP 2006293535A
Authority
JP
Japan
Prior art keywords
information
user
state
sensor
information display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005111044A
Other languages
English (en)
Other versions
JP4759304B2 (ja
Inventor
Seiji Tatsuta
成示 龍田
Ryohei Sugihara
良平 杉原
Yoichi Iba
陽一 井場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2005111044A priority Critical patent/JP4759304B2/ja
Priority to US11/396,217 priority patent/US7996177B2/en
Publication of JP2006293535A publication Critical patent/JP2006293535A/ja
Application granted granted Critical
Publication of JP4759304B2 publication Critical patent/JP4759304B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055Simultaneously evaluating both cardiovascular condition and temperature
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1112Global tracking of patients, e.g. by using GPS
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G01C22/006Pedometers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0242Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021Measuring pressure in heart or blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531Measuring skin impedance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4504Bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6824Arm or wrist
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6829Foot or ankle
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Pulmonology (AREA)
  • Navigation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】使用者の活動状態を同定し、同定された活動状態に基づいて使用者が必要とする情報をタイムリーに表示できる情報表示システムを提供すること。
【解決手段】ユーザ100の身体の各部分の状態を計測するセンサ110等と、計測結果に基づいて、ユーザ100の活動状態を同定する活動状態同定部303と、活動状態同定部303により同定された活動状態に基づいて、ユーザ100が必要とする情報を推定する情報推定部304と、情報推定部304により推定された、ユーザ100が必要とする情報を少なくとも格納しているデータベース309等と、情報推定部304により推定されたユーザ100が必要とする情報を、データベース309等に格納されている複数の情報の中から選択する情報選択部305と、情報選択部305により選択されたユーザ100が必要とする情報を表示する情報表示部101とを有する。
【選択図】 図1

Description

本発明は、ユーザの身体に装着可能なセンサによりユーザの活動状態を計測し、ユーザの状況に合わせた情報表示を行う情報表示システムに関する。
従来の案内情報サービスとして、使用者が案内してほしい場所に至るまでの経路や途中の地点を柔軟に案内するシステムが、例えば特許文献1に提案されている。特許文献1に提案されているシステムでは、地点、経路、施設等の情報だけでなく、ある場所までの経路に沿った実際的な案内あるいは仮想的な案内を行うことができる。また、このシステムでは、場所の移動だけではなく、時間の経過に伴った案内を行うことができる。
特開2000−215211号公報
ここで、使用者は、例えば、所定時刻の電車に乗車しようとするとき、時間的余裕がある場合は、駅までゆっくり歩くことが多い。これに対して、使用者は、所定時刻の電車に乗車しようとするとき、時間的余裕が少ない場合は、駅まで走ることもある。このように、使用者がゆっくり歩いているときと、走っているときとでは、使用者が必要とする情報も異なってくる。例えば、使用者が天気の良い日にゆっくり歩いて駅へ向かっている場合は、「その日の気温、湿度」の情報を提供する。これに対して、使用者が駅へ向かって走っているときは、「あと5分で駅に着きます」等の情報を提供する。これらの情報は、使用者が必要とする情報を意図的に取得する行為を行わずに供給されること、いわゆるプッシュ情報として供給されることが望ましい。
また、他の例として、天候が良好なときは、使用者は駅へ行く際に地下道よりも地上を選択して歩きたいこともある。このように、使用者が存在する位置、時間等の情報だけでは、使用者に関する状況を正確に認識することはできない。
しかしながら、特許文献1に提案されているシステムでは、単に、使用者の位置、及び時間の経過に応じて、所定の情報を提供するものである。このため、使用者が必要としている情報を的確に選択して表示することは困難である。
本発明は、上記に鑑みてなされたものであって、使用者の活動状態を同定し、同定された活動状態に基づいて使用者が必要とする情報をタイムリーに表示できる情報表示システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、第1の本発明によれば、少なくとも使用者の身体の各部分の状態を計測する計測手段と、計測手段による計測結果に基づいて、使用者の活動状態を同定する活動状態同定手段と、活動状態同定手段により同定された活動状態に基づいて、使用者が必要とする情報を推定する情報推定手段と、情報推定手段により推定された、使用者が必要とする情報を少なくとも格納している情報格納手段と、情報推定手段により推定された使用者が必要とする情報を、情報格納手段に格納されている複数の情報の中から選択する情報選択手段と、情報選択手段により選択された使用者が必要とする情報を表示する情報表示手段と、を有することを特徴とする情報表示システムを提供できる。
また、本発明の好ましい態様によれば、計測手段は、使用者の位置及び方向を計測する位置計測手段を含むことが望ましい。
また、本発明の好ましい態様によれば、位置計測手段は、GPS機能を有することが望ましい。
また、本発明の好ましい態様によれば、計測手段により計測される使用者の身体の各部分の状態には、少なくとも使用者の、腕の動きと、足の動きと、音声と、体内音とのいずれか一つを含むことが望ましい
また、本発明の好ましい態様によれば、計測手段は、使用者が屋内に存在するか、屋外に存在するかを計測することが望ましい。
また、本発明の好ましい態様によれば、計測手段は、少なくとも使用者の足裏の圧力を検出することで使用者の足の動きを計測することが望ましい。
また、本発明の好ましい態様によれば、活動状態同定手段は、計測手段により計測された計測データ(計測信号)と、予め格納されている使用者の予定行動データとに基づいて使用者の活動状態を同定することが望ましい。
また、第2の本発明によれば、少なくとも使用者の身体の各部分の状態を計測する計測手段と、使用者に対して所定の情報を表示する情報表示手段と、少なくとも情報表示手段に表示される所定の情報を選択するサーバーコンピュータと、情報表示手段とサーバーコンピュータとの間でデータの送受信を行うモバイルゲートウエイと、を有する情報表示システムであって、モバイルゲートウエイは、計測手段からの計測信号を受信する計測信号受信手段と、計測信号受信手段により受信された複数の計測信号を集約する計測信号集約手段と、計測信号集約手段により集約された計測信号をサーバーコンピュータへ送信するサーバーコンピュータ用送信手段と、サーバーコンピュータから送信される情報を受信する受信手段と、受信手段により受信した情報を情報表示手段へ送信する情報表示用送信手段と、を有し、サーバーコンピュータは、モバイルゲートウエイから送信される計測信号を受信する受信手段と、受信手段により受信した計測信号に基づいて、使用者の活動状態を同定する活動状態同定手段と、活動状態同定手段により同定された活動状態に基づいて、使用者が必要とする情報を推定する情報推定手段と、情報推定手段により推定された使用者が必要とする情報を、サーバーコンピュータが格納している情報、またはサーバーコンピュータとは異なる他のコンピュータが格納している情報の中から選択する情報選択手段と、情報選択手段により選択された使用者が必要とする情報をモバイルゲートウエイへ送信する情報送信手段と、を有することを特徴とする情報表示システムを提供できる。
本発明に係る情報表示システムでは、計測手段は、少なくとも使用者の身体の各部分の状態、例えば、腕の動きや足の動きを計測する。活動状態同定手段は、計測手段による計測結果に基づいて、使用者の活動状態、例えば座っている状態、走っている状態等を同定する。情報推定手段は、活動状態同定手段により同定された活動状態に基づいて、使用者が必要とする情報を推定する。情報格納手段、例えばデータベースは、情報推定手段により推定された、使用者が必要とする情報を少なくとも格納している。次に、情報選択手段は、情報推定手段により推定された使用者が必要とする情報を、情報格納手段に格納されている複数の情報の中から選択する。情報表示手段は、情報選択手段により選択された使用者が必要とする情報を表示する。このように本発明では、情報推定手段は、活動状態同定手段により同定された活動状態に基づいて、使用者が必要とする情報を推定している。これにより、使用者の活動状態に応じた最適な内容の情報を推定できる。そして、情報表示手段は、情報選択手段により選択された使用者が必要とする情報を表示する。このため、使用者に対して必要な情報が表示される。この結果、使用者が意図的に所定の情報を選択、取得することなく、必要な情報を取得することが可能である。すなわち、本発明によれば、使用者の活動状態を同定し、同定された活動状態に基づいて使用者が必要とする情報をタイムリーに表示できる。
以下に、本発明に係る情報表示システムの実施例を図面に基づいて詳細に説明する。なお、この実施例により、この発明が限定されるものではない。
図1は、本発明の実施例1に係る情報表示システムの機能ブロックを示す。本情報表示システムは、ユーザ100が装着する各種センサ群と、モバイルゲートウエイ200と、サーバーコンピュータ300とから構成されている。図2は、情報表示システムの概略構成を示す。
まず、ユーザ100が装着するデバイス、センサ群について説明する。ユーザ100は、屋内外センサ110と、GPS(Global Positioning System;全地球測位システム)111と、足圧力センサ112と、発話・咀嚼センサ113と、腕装着型運動計測センサ114とを、身体に装着している。これらのセンサを、以下、適宜「センサ110等」という。センサ110等は、計測手段に対応する。また、使用者100は、情報表示部101を頭部の一方の眼の近傍に装着している。以下、屋内外センサ110と、GPS111と、足圧力センサ112と、発話・咀嚼センサ113と、腕装着型運動計測センサ114との概略構成と機能を説明する。なお、それぞれのセンサの詳細な判定手順については、フローチャートを用いて後述する。
(屋内外センサ)
屋内外センサ110は、使用者100が屋内に存在するか、または屋外に存在するかの検出、判定を行う。屋内外センサ110は、照射部と受信部と判定部とを備えている。照射部は、超音波を反射対象物、例えば天井へ向かって照射する。受信部は、天井から反射してきた超音波を受信する。そして、判定部は、照射された超音波が反射して戻ってくるまでの時間、反射された超音波の強度等に基づいて、ユーザ100が屋内に存在するか、屋外に存在するかの判定を行う。
また、ユーザ100が傘を使用しているときは、照射部からの超音波は、反射対象物である傘の内側で反射されて戻ってくる。このときは、屋内外センサ110と、反射対象物との距離が、例えば40cm以内のときは、反射対象物は天井ではないと判定する。さらに、受信部のサンプリング時間、蓄積時間を調整することで、判定結果をさらに最適化できる。
また、屋内外センサ110は、超音波に限られず、以下の方式を用いるものでも良い。
(1)レーザーや赤外領域の光を照射して、その反射を検出するアクティブ光方式(一般的な距離センサの応用)、
(2)紫外領域の光を検出するパッシブ紫外線方式(屋内外で紫外線量が異なることを利用)、
(3)焦電センサにより、上方向の空間温度(雲などからの赤外線量)を測定するパッシブ赤外線方式(天井と空とで温度が異なることを利用)、
(4)マイクにより騒音を測定するパッシブ騒音方式(屋内外で騒音スペクトルパターンが異なることを利用)。
(GPS)
ユーザ100は、GPS111を身体に装着している。GPS111により、ユーザ100の所在位置と方向を検出できる。また、GPS111の代わりに、携帯電話の位置情報サービスを用いることできる。GPSは、位置計測手段に対応する。
(足圧力センサ)
足圧力センサ112は、ユーザ100が履いている靴にかかる足裏の圧力分布を検出する。そして、足圧力センサ112は、使用者100の立ち状態、座り状態、歩行状態を同定する。歩行状態には、歩いている状態、早歩きの状態、小走りの状態、走っている状態が含まれる。
(発話・咀嚼センサ)
発話・咀嚼センサ113は、使用者100が発話している状態か、または咀嚼している状態、即ち食事中であるかを同定する。発話・咀嚼センサ113は、ユーザ100の一方の耳に装着するイヤホン型センサである。イヤホン型センサの一つの筐体内には、骨伝導マイクと外界音マイクとが内蔵されている。
骨伝導マイクは、体内音を検出する。体内音とは、ユーザ100の発話・咀嚼時に体内から生じ、体内を伝播する振動である。体内音の具体例は、声帯振動や歯が食物を噛み切る音、食物が咽喉を通過する音、あご関節が動く音等である。
外界音マイクは、ユーザのいる環境の外界音を検出する。外界音には、環境の雑音に加え、ユーザ100の発声に応じて、体外へ伝播する振動、即ち音声が含まれる。そして、発話・咀嚼センサ113は、骨伝導マイクと外界音マイクとの検出結果に基づいて、後述する判定手順に従ってユーザ100が発話状態であるか、咀嚼状態であるかを同定する。
(腕装着型運動計測センサ)
腕装着型運動計測センサ114(以下、適宜「運動計測センサ」という。)は、ユーザ100の腕の動きを検出する。運動計測センサ114は、加速度センサや角速度センサを備えている。そして、上述した足圧力センサ112の検出結果と合わせてユーザ100の日常動作、歩行状態をさらに正確に同定することができる。なお、腕に装着する方法は、例えば腕時計タイプ、または腕に貼付するタイプ等が挙げられる。
(情報表示部)
使用者100は、後述する情報を表示する情報表示部101を頭部に装着している。情報表示部101は、頭部に装着する小型、軽量のディスプレイ・ユニットである。ユーザ100が情報表示部101を装着した状態では、ユーザ100の一方の眼の前方に数mm角程度以下の大きさのディスプレイ部(不図示)が位置するように構成されている。ディスプレイ部の大きさは、ユーザ100の瞳孔の大きさよりも小さい。このため、ディスプレイ部の面積は、ユーザ100の視野領域に対して占める割合が非常に小さい。これにより、ユーザ100は、通常の視野からの情報を認識し、かつ必要に応じてディスプレイ部に表示される情報を認識できる。換言すると、いわゆるシースルービューアのような使用感覚で、情報表示部101を使用できる。なお、以下、「情報表示部」のことを適宜「MEG(メグ)」(Mobiler Eye Glass)という。
図3は、情報表示部101のディスプレイ部に表示される情報の例を示す。ユーザ100は、屋外を歩行しているとき、その日の気温、降水確率等を認識できる。このような、天気情報は、後述する手順により選択されて表示される情報、いわゆるプッシュ情報である。この結果、ユーザ100は意図的に天気情報を取得する必要は無い。即ち、ユーザはいちいち面倒な操作を行わずとも、必要な情報を状況に応じて随時取得することが可能となる。
また、情報表示部101と、屋内外センサ110と、GPS111と、足圧力センサ112と、発話・咀嚼センサ113と、腕装着型運動計測センサ114とは、それぞれ無線通信のためのBluetoothチップ(不図示)を搭載している。そして、センサ110等の計測信号は、デジタルデータ化されて後述するモバイルゲートウエイ200へ送信される。
(モバイルゲートウエイ)
モバイルゲートウエイ200について説明する。モバイルゲートウエイ200は、3つの機能を有する。1番目の機能は、上述した各種センサ群からの情報を集約することである。2番目の機能は、後述するサーバーコンピュータ300との通信を行うことである。3番目の機能は、情報表示部101との通信を行うことである。そして、モバイルゲートウエイ200は、例えば、ユーザ100が所持する鞄の中に収納されている。
図1において、モバイルゲートウエイ200の計測信号受信部201は、Bluetoothの受信部である無線タグ(Bluetoothチップ)を備えている。計測信号受信部201は、上述した屋内外センサ110と、GPS111と、足圧力センサ112と、発話・咀嚼センサ113と、腕装着型運動計測センサ114とからの計測信号を受信する。計測信号集約部202は、これらのセンサからの複数の計測信号を一つに集約する。サーバーコンピュータ用送信部203は、集約された計測信号をサーバーコンピュータ300へ送信する。受信部204は、後述するサーバーコンピュータ300からの信号を受信する。また、制御部205、例えばCPUは、計測信号受信部201と、計測信号集約部202と、サーバーコンピュータ用送信部203と、受信部204とを制御する。
(サーバーコンピュータ)
サーバーコンピュータ300について説明する。サーバーコンピュータ300は、ユーザ100とは異なる位置に設置されている。サーバーコンピュータ300の受信部301は、モバイルゲートウエイ200のサーバーコンピュータ用送信部203から送信された計測信号を受信する。活動状態同定部303は、受信した計測信号に基づいて、ユーザ100の活動状態を同定する。情報推定部304は、活動状態同定部303により同定された活動状態に基づいて、ユーザ100が必要とする情報を推定する。
活動状態同定部303と情報推定部304とは、それぞれ予定表306、外部状況307を参照する。予定表306は、ユーザ100の行動予定、スケジュールが記憶されている。また、外部状況307は、天候情報、道路混雑情報等を含んでいる。
データベース309、個人データベース310、履歴データベース311は、ユーザ100が必要とする情報、あるいは情報選択部305で情報を選択する際の判断基準となる情報を格納している。個人データベース310は、ユーザ100の趣味・嗜好や興味の対象、行動目標(ダイエットとか生活習慣の改善など)等の情報を格納している。個人データベース310には、ユーザ100自身が情報を入力する。また、履歴データベース311は、例えば、ユーザ100が前日に居た場所、前日の行動内容等に関する情報を格納している。これらデータベース群が格納している情報の詳細は後述する。なお、データベース群は、サーバーコンピュータ300が内蔵する構成には限られない。例えば、サーバーコンピュータ300とは異なる外部にデータベース群を設ける構成でも良い。データベース309、個人データベース310、履歴データベース311は、情報格納手段に対応する。
そして、情報選択部305は、情報推定部304により推定されたユーザ100が必要とする情報を、データベース309、個人データベース310、履歴データベースに格納されている複数の情報の中から、あるいはこれらの情報に基づいて他のコンピュータから選択する。ここで、情報選択部305は、例えばインターネット400や専用回線を介して他のコンピュータ401と通信可能に構成されている。これにより、情報選択部305は、他のコンピュータ401を介してユーザ100に必要な情報を取得することができる。また、情報選択部305は、インターネット400を介して、情報・サービスベンダ(情報・サービス提供会社)から情報を取得することもできる。
情報選択部305が、ユーザ100に必要な情報を選択するとき、メタデータを用いる。メタデータとは、データについての内容を記述したデータである。メタデータは、膨大なデータの中から目的のデータを探し出す手助けとするために作成される。例えば、情報選択部305が、「ニュース」情報を選択するとき、ユーザ100の興味の対象として、個人データベース310に“スポーツ”が登録されていれば、スポーツというメタデータが付与されたニュースを検索し、優先的に選択する。これにより、ユーザ100が欲していると推定された情報のうち、ユーザに最適なものを的確に選択(フィルタリング)することが可能となる。
また、情報選択部305で選択された情報に対して、制御・演算部308により表示情報最適化が行われる。ここで、情報表示部101を用いて、詳細な文字情報等を表示すると、却ってユーザ100の情報認識が困難になってしまうことがある。このため、情報表示部101に表示する情報は、表示情報最適化により簡略化された簡潔な情報へ要約される。
情報送信部302は、情報選択部により選択された情報をモバイルゲートウエイ200へ送信する。また、制御・演算部308は、受信部301と、情報送信部302と、活動状態同定部303と、情報推定部304と、情報選択部305との制御を行う。
ここでは、モバイルゲートウエイ200は、例えば、モバイル通信 カードを搭載しており、サーバーコンピュータ300とインターネット経由で繋がっているが、高性能モバイルPCを用いることによって、モバイルゲートウエイ200とサーバーコンピュータ300を1つのモバイルPCに統合することも可能である。また、各センサとモバイルゲートウエイ200との間の通信データ量を削減するために、計測データそのものではなく、前処理により、例えば、足圧センサからは、足の運動状態を識別した結果のみを送信するように構成することもできる。あるいは、モバイルゲートウエイ200とサーバーコンピュータ300との間の通信データ量を削減するために、計測信号集約部202で、同様の前処理を行うように構成することもできる。
図4は、情報表示システムが情報を表示する手順を大まかに示すフローチャートである。各ステップの詳細な内容については後述する。まず、ステップS401において、屋内外センサ110と、GPS111と、足圧力センサ112と、発話・咀嚼センサ113と、腕装着型運動計測センサ114とは、それぞれユーザ100の身体の状態を計測する。
ステップS402において、活動状態同定部303は、センサ110等からの計測信号に基づいてユーザ100の活動状態を同定する。ステップ403において、情報推定部304は、同定された活動状態と、例えば、予定表306等とを参照して、ユーザ100が要求すると思われる情報を推定する。ステップS404において、情報選択部305は、例えば、データベースの中から上記要求にマッチした情報を選択する。ステップS405において、情報表示部101は、選択された情報を表示する。
次に、上述のフローチャートで示した手順を、さらに、具体例を用いて詳細に説明する。
(活動状態同定部の機能)
図5は、活動状態同定部303が予定表306や計時情報を参照して活動状態を同定する手順を示すフローチャートである。以下、ユーザ100が予定している項目を、適宜「イベント」という。イベントの例は、「T大学における打ち合わせ」、「銀座○○における懇親会」等である。
ステップS501において、ユーザ100の行動予定が予定表306内に記憶されている。予定表306は、サーバーコンピュータ300内のメモリ(不図示)に記憶することができる。ステップS502において、例えば、サーバーコンピュータ300の制御・演算部308は、予定表306に基づいて、さらに詳細な内容の副次予定表を生成する。
図6は、生成された副次予定表の構成例を示す。ある日のユーザ100の予定では、以下のイベント(1)、(2)、(3)が予め入力されている。
(1)午前中:O会社へ出勤、
(2)14時00分〜17時00分:T大学において打合わせ、
(3)18時30分〜21時30分:銀座○○において懇親会
ここで、ユーザ100が勤務しているO会社の最寄り駅はS駅である。また、午後に予定されているT大学での打合せへ出席するためには、T大学前駅まで行く必要がある。制御・演算部308は、S駅からT大学前駅へ行くための複数の経路を候補とする。ユーザ100は、複数の経路から、任意の経路を選択することができるが、個人データベース310に格納されている情報に基づいて、例えば、ユーザ100の嗜好に応じて、所要時間が最短な経路や、運賃が最安な経路、歩く距離が最短な経路、乗換が最少な経路など、選択的に候補とすることもできる。本副次予定表では、電車のS線とN線とを乗り換えて使用する経路を選択している。
T大学での打合せ開始時刻(14時00分)を基準として、制御・演算部308は、O会社を出発する準備を開始する時間、S駅までの移動時間、電車による移動時間、T大学前駅から打合せ場所までの移動時間等を見積もり、これらの副次予定表を自動的に生成する。
さらに、制御・演算部308は、T大学での打合せの終了から懇親会の終了までの副次予定表を自動的に生成する。これにより、ユーザ100は、副次予定表で生成された時刻表に基づいてT大学前駅からM線を使ってG駅まで行けば良いことがわかる。
同様に、制御・演算部308は、懇親会が開催された店からユーザ100の自宅までの副次予定表を自動的に生成する。これにより、ユーザ100は、自宅の最寄駅であるMN駅に最終電車により確実に帰宅できるようになる。
図5に戻って説明を続ける。ステップS504において、時計により現在の時刻を取得する。時計は、ユーザ100が装着すること、モバイルゲートウエイ200が内蔵していること、及びサーバーコンピュータ300が内蔵していることのいずれでも良い。
ステップS503において、取得された時刻に基づいて、イベント開始時刻Tmin前か否かを判定する。イベント開始時刻Tminは、ユーザ100が予め設定すること、または制御・演算部308がユーザ100の行動を学習機能により記憶することで設定できる。ステップS503の判定結果が偽(No)のときは、ステップS503の判定を繰り返す。ステップS503の判定結果が真(Yes)のとき、ステップS505において、ユーザ100は、少なくとも当該イベントの準備状態にあると同定され、ステップS507へ進む。
ステップS507において、ステップS506で取得された時間に基づいて、イベント開始時間か否かを判定する。ステップS507の判定結果が偽のとき、ステップS507を繰り返す。ステップS507の判定結果が真のとき、ステップS508において、ユーザ100は、少なくとも当該イベントの開始状態にあると同定され、ステップS510へ進む。
ステップS510においては、上述したセンサ110等からの計測結果に基づいてステップS509において同定されたユーザ100の活動状態に基づいて、当該イベントが開始されたか否かを判定する。ステップS510の判定結果が偽のとき、ステップS511へ進む。ステップS511において、予定が変更されたか否かを判定する。ステップS511の判定結果が真のとき、ステップS512において、当該イベントはキャンセルされたと同定される。ステップS510の判定結果が真のとき、ステップS513において、ユーザ100は、少なくとも当該イベントの実施状態であると同定され、ステップS515へ進む。
ステップS515においては、上述したセンサ110等からの計測結果に基づいてステップS514において同定されたユーザ100の活動状態に基づいて当該イベントが終了したか否かを判定する。ステップS515の判定結果が偽のとき、ステップS515を繰り返す。ステップS515の判定結果が真のとき、ステップS516において、ユーザ100は、少なくとも当該イベントの完了状態であると同定される。
本フローチャートにおけるイベントは単一の項目に限定されない。同一時刻に複数の異なる内容のイベントの状態をとることもできる。例えば、同一の時刻にイベントAの実施状態であり、かつイベントBの準備状態である場合である。
上述した図5に示す手順に従って、活動状態同定部303は、時計や予定表306に基づいて、活動状態、例えば「イベント準備状態」、「イベント開始状態」、「イベントキャンセル状態」、「イベント実施状態」、「イベント完了状態」を同定できる。
(屋内外センサ、GPSによる位置状態判別)
次に、図7に基づいて、屋内外センサ110と、GPS111とからの計測信号に基づいて、活動状態同定部303がユーザ100の活動状態を同定する手順を説明する。ステップS701において、使用者100は屋内外センサ110を装着する。ステップS702において、屋内外センサ110により使用者100が存在する位置における天井までの距離Dを測定する。
ステップS703において、
Dmin<D<Dmax
を満足するか否かを判定する。ここで、Dmin、Dmaxはそれぞれ天井識別用の閾値で、屋内外センサの床上高さが120cm程度の場合(大人のユーザが胸ポケットに装着したと想定)、Dminは70cm程度(傘などの障害物)、Dmaxは280cm程度(スーパーなどの天井高3〜4m程度)である。ステップS703の判定結果が真のとき、ステップS704において、ユーザ100は直前に検出された屋外位置近傍の屋内に存在すると同定され、ステップS705へ進む。ただし、予定表306に基づいてユーザ100が交通機関を利用していると同定されるときは、それ以降、屋内状態が継続して検出されても、ユーザ100は予定表306や上述の副次予定表の内容に従って移動しているものとして同定される。
ステップS705において、GPS111からの計測信号が取得されているか否かを判定する。ステップS705の判定結果が偽のとき、ステップS706においてユーザ100は屋外で、かつビルの谷間等GPSの利用できない環境に存在すると同定される。
ステップS705の判定結果が真のとき、ステップS710へ進む。ステップS710において、ステップS707のGPS111からの計測信号と、ステップS708の時計による計時情報と、ステップS709の予定表306と副次予定表とを参照して、現在位置が近傍のイベント定義位置とどういう関係にあるのか相関を調べる。
ステップS710の相関結果に応じて、ユーザ100がイベント定義位置に存在すること(ステップS711)、イベント間位置に存在すること(ステップS712)、またはその他の位置に存在すること(ステップS713)を判定する。ステップS711のイベント定義位置とは、例えば、自宅、駅、会社等をいい、例えば、現在位置が、直前のイベント定義位置“会社”と直後のイベント定義位置“駅”との間である場合には、ステップS712でユーザ100がイベント間位置にいると同定され、ユーザ100がイベント定義位置間を移動中であることがわかる。
(足圧力センサ)
足圧力センサ112は、図2に示すように、例えばユーザ100が履いている靴の中敷に設けられている。足圧力センサ112は、少なくとも踵部分の圧力を検出するように構成されている。また、踵部分に加えて他の足裏部分の圧力を検出することで、さらに検出精度を向上できる。なお、足圧力センサ112は、靴自体に形成されている構成、ユーザ100の足裏に貼付する構成とすることもできる。
図8は、足圧力センサ112により活動状態を同定する手順を示すフローチャートである。ステップS801において、ユーザ100は足圧力センサ112を内蔵する靴を履く。ステップS802において、圧力変動はPTH1以上か否かを判定する。ここで、PTH1は、移動識別用の圧力変動閾値である。ステップS802の判定結果が真のとき、ステップS803へ進む。ステップS803において、圧力変動は周期的か否かを判定する。ステップS803の判定結果が真のとき、ステップS804へ進む。
ステップS804において、
τ<αTH
を満足するか否かを判定する。ここで、
τ:1周期中に踵に圧力がかかる時間の割合、
αTH:歩行/走行識別用のデューティ閾値をそれぞれ示す。デューティ閾値αTHは、個人差はあるが、略30〜40%程度である。
ステップS804の判定結果が真のとき、ステップS805において、WTH2/min以上か否かを判定する。ここで、WTH2/minは1分間の歩数閾値である。
ステップS805の判定結果が真のとき、ステップS806において、ユーザ100が走っている状態であると同定される。また、ステップS805の判定結果が偽のとき、ステップS807においてユーザ100が小走りの状態であると同定される。
ステップS802の判定結果が偽のとき、ステップS812へ進む。ステップS812において踵への圧力がPTH2以上であるか否かを判定する。ここで、PTH2は座り/立ち識別用の圧力閾値で、ユーザ100の体重に応じて設定される。
ステップS812の判定結果が真のとき、ステップS813において、ユーザ100が立っている状態であると同定される。また、ステップS812の判定結果が偽のとき、ステップS814においてユーザ100は座っている状態であると同定される。
さらに、ステップS803の判定結果が偽のとき、ステップS811においてユーザ100は運動状態であると同定される。また、ステップS804の判定結果が偽のとき、ステップS808へ進む。ステップS808において、WTH1/minであるか否かを判定する。ここで、WTH1/minは1分間の歩数閾値である。
ステップS808の判定結果が真のとき、ステップS809において、ユーザ100が早歩きの状態であると同定される。また、ステップS808の判定結果が偽のとき、ステップS810において、ユーザ100が歩いている状態であると同定される。
上述した各閾値PTH1、PTH2、αTH、WTH1、WTH2は、それぞれユーザ100ごとに設定すること、またはユーザ100の行動を学習機能により記憶して設定することができる。以上説明したように、足圧力センサ112の計測信号に基づいて、ユーザ100の活動状態、例えば「走り状態」、「小走り状態」、「早歩き状態」、「歩き状態」、「運動状態」、「立ち状態」、「座り状態」を同定できる。
(発話・咀嚼センサ)
図9は、発話・咀嚼センサ113により活動状態を同定する手順を示すフローチャートである。発話・咀嚼センサ113は、上述したように、骨伝導マイクと外界音マイクとからなるイヤホン型センサである。まず、ステップS901において、骨伝導マイクからの計測信号を取得する。ステップS902において、骨伝導マイクからの信号のパワーPinを算出する。パワーPinは、単位時間内での骨伝導音のパワーである。
ステップS903において、
Pinmin<Pin<Pinmax
を満足するか否かを判定する。ここで、Pinmin、Pinmaxは、それぞれノイズ除去のための骨伝導音パワー閾値であり、Pinminは、咀嚼・発話が無いときの背景雑音をカットするように設定し、Pinmaxは、骨伝導マイクに触れたときなどの大きな雑音をカットするように設定する。ステップS903の判定結果が真のとき、ステップS904、S908へ進む。また、ステップS903の判定結果が偽のとき、ステップS909、S910へ進む。
一方、ステップS905において、外界音マイクからの計測信号を取得する。ステップS906において、外界音マイクからの信号のパワーPexを算出する。パワーPexは、単位時間内での外界音パワーである。
ステップS907において、
Pexmin<Pex<Pexmax
を満足するか否かを判定する。ここで、Pexmin、Pexmaxは、それぞれノイズ除去のための外界音パワー閾値であり、Pexminは、咀嚼・発話が無いときの背景雑音をカットするように設定し、Pexmaxは、外界音マイクに触れたときなどの大きな雑音をカットするように設定する。ステップS907の判定結果が真のとき、ステップS904、S909へ進む。また、ステップS907の判定結果が偽のとき、ステップS908、S910へ進む。
ステップS904において、ステップS903の判定結果(真)と、ステップS907の判定結果(真)とが取得される。そして、ステップS911において、ユーザ100が発話している状態であると同定される。
ステップS908において、ステップS903の判定結果(真)と、ステップS907の判定結果(偽)とが取得される。そして、ステップS912において、ユーザ100が咀嚼している状態であると同定される。
ステップS909において、ステップS903の判定結果(偽)と、ステップS907の判定結果(真)とが取得される。そして、ステップS913において、外界音が検出された状態であると同定される。
ステップS910において、ステップS903の判定結果(偽)と、ステップS907の判定結果(偽)とが取得される。そして、ステップS914において、有効な音が検出されていない状態であると同定される。
図10は、さらに図9に示す手順で得られた結果に基づいて会話状態、食事状態を同定する手順を示すフローチャートである。図9のステップS911で発話状態であるとき、さらにステップS1001へ進む。ステップS1001において、一定時間内の発話検出数>N1か否かを判定する。ここで、N1は、会話識別用の発話検出閾値である。ステップS1001の判定結果が真のとき、ユーザ100が会話中であると同定される。例えば、毎秒8回発話検出処理を行うとしたとき、60秒間で120回(15秒相当)以上発話が検出された場合にユーザ100が会話中であると同定される。なお、図示しないが、ステップS1001の判定結果が偽のときは、発話を検出したものの、ユーザ100は、会話はしていない状態であると同定される。
また、図9のステップS912で咀嚼状態であるとき、さらにステップS1002へ進む。ステップS1002において、一定時間内の咀嚼検出数>N2か否かを判定する。ここで、N2は、食事識別用の咀嚼検出閾値である。ステップS1002の判定結果が真のとき、ユーザ100が食事中であると同定される。例えば、毎秒8回咀嚼検出処理を行うとしたとき、60秒間で120回(15秒相当)以上咀嚼が検出された場合にユーザ100が食事中であると同定される。なお、図示しないが、ステップS1002の判定結果が偽のときは、咀嚼は検出したものの、ユーザ100は、食事していない状態であると同定される。
(腕装着型の運動計測センサ)
運動計測センサ114は、図2に示すように、ユーザ100が腕に装着している。そして、上述したように運動計測センサ114は加速度センサや角速度センサで構成されている。図11は、運動計測センサ114により活動状態を同定する手順を示すフローチャートである。
ステップS1101において、ユーザ100は運動計測センサ114を装着する。ステップS1102において、加速度はATH1以上か否かを判定する。ATH1は、腕振り識別用の腕加速度閾値である。ステップS1102の判定結果が真のとき、ステップS1103へ進む。ステップS1103において、加速度変動は周期的か否かを判定する。ステップS1103の判定結果が真のとき、ステップS1104へ進む。ステップS1104において、AP>ATH2か否かを判定する。ここで、
Pは1周期内での加速度のピーク値、
TH2は歩行/走行識別用のピーク閾値をそれぞれ示す。
ステップS1104の判定結果が真のとき、ステップS1105に進む。ステップS1105において、W≧WTH2か否かを判定する。Wは単位時間あたりの歩数で、WTH2は、“走り”と“小走り”を識別するための単位時間あたりの歩数閾値である。ステップS1105の判定結果が真のとき、ステップS1106において、ユーザ100が走っている状態であると同定される。ステップS1105の判定結果が偽のとき、ステップS1107において、ユーザ100が小走りの状態であると同定される。
また、ステップS1102の判定結果が偽のとき、ステップS1112において、ユーザ100の腕の動きは無いと同定される。ステップS1103の判定結果が偽のとき、ステップS1111において、ユーザ100の腕の動きがあると同定される。例えば、ユーザ100がなにか手を動かすような作業をしている状態、食事している状態、身振り手振りで会話している状態等である。
ステップS1104の判定結果が偽のとき、ステップS1108へ進む。ステップS1108において、W≧WTH1か否かを判定する。Wは単位時間あたりの歩数で、WTH1は、“早歩き”と“普通の歩き”を識別するための単位時間あたりの歩数閾値である。ステップS1108の判定結果が真のとき、ステップS1109において、ユーザ100が早歩きの状態であると同定される。また、ステップS1108の判定結果が偽のとき、ステップS1110において、ユーザ100が歩きの状態であると同定される。
上述した各閾値ATH1、ATH2、WTH1、WTH2は、それぞれユーザ100ごとに設定すること、またはユーザ100の行動を学習機能により記憶して設定することができる。以上説明したように、運動計測センサ114の計測信号に基づいて、ユーザ100の活動状態、例えば「走り状態」、「小走り状態」、「早歩き状態」、「歩き状態」、「腕動きあり状態」、「腕動きなし状態」を同定できる。
上述の図7〜図11のフローチャートでは、各センサ110等ごとに同定できる活動状態を説明している。ここで、ユーザ100は、図2に示すように、複数のセンサ110等を装着している。このため、活動状態同定部303は、計測信号集約部202で集約された複数の計測信号に基づいて活動状態を同定する。以下、図12、図13、図14を用いて、複数のセンサ110等からの計測信号に基づいて、ユーザ100の活動状態を同定する例を説明する。
図12の(a)は、ユーザ100の予定表と副次予定表とのうち、O会社を出発してからT大学で打合せを開始する部分を示す。ここで、現在時刻13時20分において、ユーザ100がO会社からS駅へ向かって小走りで移動している状態を考える。
図12の(b)は、このときのセンサ110等に基づく活動状態の同定結果を示す。足圧力センサ112からの計測信号に基づいて、「小走り」の状態であると同定される。運動計測センサ114からの計測信号に基づいて、「小走り」の状態であると同定される。発話・咀嚼センサ113からの計測信号に基づいて、「外界音検出」の状態であると同定される。GPS111及び屋内外センサ110からの計測信号に基づいて、ユーザ100は「イベント間位置」の状態、例えばイベント定義位置である「O会社」と「S駅」との間に存在する状態であると同定される。そして、時計、予定表306に基づいて、「イベント実施」の状態、例えばイベント「O会社→S駅の移動」の実施状態であると同定される。
活動状態同定部303は、上記各状態の同定結果に基づいて、ユーザ100は“O会社からS駅へ向かって小走りに移動している状態である”と同定する。
図13の(a)は、ユーザ100の予定表と副次予定表とのうち、O会社を出発してからT大学で打合せを開始する部分を示す。ここで、現在時刻13時45分において、ユーザ100が電車内で同僚と話をしている状態を考える。
図13の(b)は、このときのセンサ110等に基づく活動状態の同定結果を示す。足圧力センサ112からの計測信号に基づいて、「座り」の状態であると同定される。運動計測センサ114からの計測信号に基づいて、「腕動きなし」の状態であると同定される。発話・咀嚼センサ113からの計測信号に基づいて、「会話中」の状態であると同定される。GPS111及び屋内外センサ110からの計測信号に基づいて、ユーザ100は「イベント間位置」状態、例えばイベント定義位置である「I駅」と「T大学前駅」との間に存在する状態であると同定される。そして、時計、予定表306に基づいて、「イベント実施」の状態、例えばイベント「I駅→T大学前駅の電車移動」の実施状態であると同定される。
活動状態同定部303は、各状態の同定結果に基づいて、ユーザ100が“I駅からT大学前駅へ向かって移動中、座席に座って会話をしている状態である”と同定する。さらに、腕の動きも検出されたときは、身振り手振りを交えて熱心に会話している状態であると同定される。
図14の(a)は、ユーザ100の予定表と副次予定表とのうち、懇親会が終了してから帰宅のための移動を開始する部分を示す。ここで、現在時刻22時00分において、予定時間よりも延びていた懇親会が終了して、ユーザ100が話をしながら店を出てきた状態を考える。
図14の(b)は、このときのセンサ110等に基づく活動状態の同定結果を示す。足圧力センサ112からの計測信号に基づいて、「歩き」の状態であると同定される。運動計測センサ114からの計測信号に基づいて、「歩き」の状態であると同定される。発話・咀嚼センサ113からの計測信号に基づいて、「会話中」の状態であると同定される。GPS111及び屋内外センサ110からの計測信号に基づいて、ユーザ100は「イベント定義位置」の状態、例えばイベント定義位置である「懇親会会場・銀座○○」前に存在する状態であると同定される。そして、時計、予定表306に基づいて、「イベント実施」の状態、例えばイベント「銀座○○→G駅への徒歩による移動」の実施状態であると同定される。活動状態同定部303は、各状態の同定結果に基づいて、ユーザ100は“懇親会場を出発して、話をしながら歩き始めた状態である”と同定する。
ここで、予め生成されている副次予定表では、帰宅予定が登録されていなかったので、図6に示すように最終電車で帰宅する副次予定を自動生成し、遅くとも店を出なければいけない時間を案内できるようにしている。これに対して、ここで説明しているように、ユーザ100が、最終電車よりも早い時間の電車で帰宅するために店を出ることもある。このときは、サーバーコンピュータ300の制御・演算部308は、ユーザ100の移動開始が検出されたことで、副次予定表の帰宅に伴うイベント時刻を自動的に修正する。
(情報の推定、選択)
次に、ユーザ100が必要としている情報を推定、選択、表示する手順の具体例を図15、図16、図17を参照して説明する。図15は、情報を推定、選択する第1の例の手順を示すフローチャートである。ステップS1501において、活動状態同定部303は、ユーザ100の現在の活動状態を同定する。例えば、第1の例では、図12の場合と同様の予定表上で行動しているユーザ100が現在時刻13時20分において、O会社からS駅へ向かって小走りに移動している状態を考える。
ステップS1502において、活動状態同定部303は、予定表、および副次予定表の中から現在時刻において関連するイベントを抽出する。例えば、イベント「O会社からS駅への徒歩による移動」については実施状態にあるイベントとして抽出し、イベント「S駅からI駅への電車による移動」については準備状態イベントとして抽出する。このように、現在時刻において、関連するイベントは複数抽出されることがある。また、イベントのどのくらい前から準備状態に入るかは、イベントの内容や個人によって異なるので、予め設定しておくものとする。
ステップS1503において、情報推定部304は、抽出されたイベントに関するユーザ100が必要とする情報(以下、適宜「付帯情報」という。)を推定する。ここでは、イベント、及びその状態に基づいて推定される付帯情報を予め登録した図18のような付帯情報データベースを用いて推定している。付帯情報の詳細は、後述するが、例えば、「O会社からS駅への徒歩による移動」の実施状態における付帯情報は、「経路案内」、「到着予定時刻」、「到着予想時刻との差違」などである。ここで、例えば、自宅、会社などよく行く場所については、通常、経路案内などは不要なので、適宜非表示に設定することもできる。また、「S駅からI駅への電車による移動」の準備状態における付帯情報は、「乗換案内(乗車/降車駅、発車/到着時間、所要時間、運賃)」、「電車運行情報」などである。
情報選択部305は、ステップS1504において、現在時刻と現在位置と歩行速度とに基づいて、ユーザ100がS駅に到着する予想時刻を推定する。なお、現在時刻は、時計により得られる。現在位置は、GPS111により得られる。歩行速度は、単位時間における位置の変化、あるいは、足圧力センサ112、運動計測センサ114等により得られる歩行状態から判断される。
さらに情報選択部305は、S駅到着予想時刻に基づいて、乗車可能な時刻発で、I駅に向かうS線の乗換案内を検索する。乗換案内の検索は、サーバーコンピュータ300内のデータベース309やインターネット400を介した他のコンピュータを参照して行う。また、情報選択部305は、該当する経路の運行情報、例えば、「現在、正常に運行しています」、「車両故障のため、10分遅れが生じています」等をさらに検索する。
そして、図1に示すように、検索、選択された情報(以下、適宜「提示情報」という)は、サーバーコンピュータ300の情報送信部302へ送られる。モバイルゲートウエイ200の受信部204は、サーバーコンピュータ300から送信される提示情報を受信する。そして、ステップS1505において、情報表示部101は、提示情報を表示する。これにより、ユーザ100は、S駅に向かって歩いているとき、S駅で乗る電車の情報を得ることができる。このように、ユーザ100は、意図的に、これからの自分の予定を調べて、必要な電車の時刻表、乗換案内を自ら検索する必要がない。
図16は、ユーザが必要としている情報を推定、選択、表示する第2の例の手順を示すフローチャートである。ステップS1601において、活動状態同定部303は、ユーザ100の現在の活動状態を同定する。例えば、第2の例では、図13の場合と同様の予定表上で行動しているユーザ100が現在時刻13時45分において、I駅からT大学前駅へ向かって移動中、座席に座って会話をしている状態を考える。
ステップS1602において、活動状態同定部303は、予定表、および副次予定表の中から現在時刻において関連するイベントを抽出する。例えば、イベント「I駅からT大学前駅への電車による移動」については実施状態にあるイベントとして抽出し、イベント「T大学前駅からT大学への徒歩による移動」及び「T大学での打合せ」については準備状態イベントとして抽出する。
ステップS1603において、情報推定部304は、抽出されたイベントに関する付帯情報を推定する。例えば、「I駅からT大学前駅への電車による移動」の実施状態における付帯情報は、「降車駅」、「到着時刻」、「メール・ニュース等ユーザが設定した情報」などである。また、「T大学前駅からT大学への徒歩による移動」の準備状態における付帯情報は、「出発/到着地」、「出発/到着時間」、「所要時間」「経路案内」などである。「T大学での打合せ」の準備状態における付帯情報は、「準備時間通知」、「資料」などである。なお、「資料」などの付帯情報は、ユーザ100が予め設定しておくことができる。
ステップS1604において、「降車駅」、「到着時刻」は、準備状態時に調べた乗換案内から引用し、「メール・ニュース等ユーザが設定した情報」は、サーバーコンピュータ300内のデータベース309や個人データベース310、インターネット400などから検索する。また、到着時刻と、駅からの経路と、予め設定、もしくは過去の歩行速度から学習によって取得した通常の歩行速度とに基づいて、ユーザ100がT大学に到着する予想時刻を推定する。
情報選択部305は、打合せの準備状態において、ユーザ100が予め設定している「資料」があるときは、サーバーコンピュータ300内のデータベース309、個人データベース310等から検索する。
そして、図1に示すように、検索、選択された提示情報は、サーバーコンピュータ300の情報送信部302へ送られる。モバイルゲートウエイ200の受信部204は、サーバーコンピュータ300から送信される提示情報を受信する。そして、ステップS1605において、情報表示部101は、提示情報を表示する。これにより、ユーザ100は、I駅からT大学前駅に向かって電車移動しているとき、「降車駅」、「到着時刻」、「降車してからの経路案内」、「打合せの資料」等の情報を自動的に得ることができ、乗換の心配もなく、乗車時間を有効に過ごすことができる。
図17は、情報を推定、選択する第3の例の手順を示すフローチャートである。ステップS1701において、活動状態同定部303は、ユーザ100の現在の活動状態を同定する。例えば、第3の例では、図14の場合と同様の予定表上で行動しているユーザ100が現在時刻22時00分において、懇親会会場を出発して、話をしながら歩き始めた状態を考える。
ステップS1702において、活動状態同定部303は、予定表、および副次予定表の中から現在時刻において関連するイベントを抽出する。例えば、イベント「銀座○○からG駅への徒歩による移動」については実施状態にあるイベントとして抽出し、イベント「G駅からMN駅への電車による移動」、「MN駅から自宅への徒歩による移動」については準備状態イベントとして抽出する。
ステップS1703において、情報推定部304は、抽出されたイベントに関する付帯情報を推定する。例えば、「銀座○○からG駅への徒歩による移動」の実施状態における付帯情報は、「経路案内」、「到着予定時刻」、「到着予想時刻との差違」などである。「G駅〜MN駅への電車による移動」の準備状態における付帯情報は、「乗換案内」、「電車運行情報」などである。「MN駅から自宅への徒歩による移動」の準備状態における付帯情報は、「経路案内」、「到着予定時刻」、「到着予想時刻との差違」などであるが、これらは通常不要なので、非表示に設定しておくのが望ましい。
ステップS1704において、情報選択部305はデータベース309や他のコンピュータ401を参照して、銀座○○からG駅への「経路案内地図」を取得する。また、現在時刻と現在位置と歩行速度とに基づいて、ユーザ100がG駅に到着する予想時刻を推定する。そして、乗車可能な時刻発で、MN駅までの「乗換案内」を検索する。また、情報選択部305は、該当する経路の「運行情報」をさらに検索する。そして、MN駅に到着する時刻に基づいて「自宅到着予想時刻」を推定する。
図1に示すように、検索、選択された提示情報は、サーバーコンピュータ300の情報送信部302へ送られる。モバイルゲートウエイ200の受信部204は、サーバーコンピュータ300から送信される提示情報を受信する。そして、ステップS1705において、情報表示部101は、提示情報を表示する。これにより、ユーザ100は、「経路案内地図」、「乗換案内」、「運行情報」、「MN駅到着時刻」などを自動的に得ることができる。このように、ユーザ100は、意図的に、これらの情報を自ら検索する必要がなく、検索の煩わしさから解放される。
(付帯情報)
次に、抽出されたイベントに関する付帯情報の詳細について説明する。図18は、イベントと当該イベントの各状態とに応じて、各場面で必要になる情報を予め推定し、設定した「付帯情報」の例を示す。ここでは、イベントとして、「起床」、「電車による移動」、「徒歩による移動」、「会議・打合せ」、「仕事」、「仕事合間の休憩」、「食事」、「施設内の移動」、「映画等の鑑賞」、「ジョギング」、「就寝」とを掲げる。
所定のイベントとその状態が検出されると図18において対応する付帯情報がわかり、その内容を検索し、表示するが、「時計情報」、「背景情報(いわゆる壁紙)」等の基本的な情報については、ユーザ100が予め設定し、常に表示するようにもできる。また、緊急情報は、ユーザ100が予め設定し、常に割込表示するようにもできる。緊急情報は、例えば、ユーザの安全に関わる情報、災害・事故などの緊急ニュース、重要メール着信通知等である。さらに好ましくは、ユーザ100のストレスとなること、または危険を伴うことを回避するように表示を設定するのが望ましい。回避の例は、ユーザ100が走っているときは、情報をアイコン化したり、割込レベルの高いものだけを表示する等である。
以下、図18に示す付帯情報のうち、主要なものを適宜説明する。
まず、イベント「起床」について説明する。イベント「起床」の準備状態では、ユーザは眠っているため、情報の表示は意味がない。しかし、予定表や天候、交通機関の運行状況に合わせて最適な起床時間を設定できることから、本システムでは特に明示してはいないが、快適な目覚めのための環境制御を行うように構成することもできる。例えば、サーバーコンピュータ300は、同定された「起床」の準備状態に基づいて、ユーザ100の寝室の照明の明るさ制御、寝室の環境温度の制御等を行うこともできる。また、イベント実施状態では、現在時刻、その日の天気予報、外の様子、ユーザ100の健康状態、その日の予定等が、付帯情報となる。このときの実施状態とは、例えば、目覚ましのアラームを止めてから起きあがって動き始めるまで、もしくは、寝室を出るまでをいう。
次に、イベント「電車での移動」について説明する。このときの実施状態とは、電車への乗車から降車までをいう。イベント準備状態では、乗車/降車駅、発車/到着時間、所要時間、運賃、運行状況、乗り場等が付帯情報となる。イベント実施状態では、降車駅、到着時刻、メール・ニュース等ユーザが設定した情報が付帯情報となる。イベント完了状態では、降車通知(アラーム)が付帯情報となる。このようにしておくと、例えば、降車時刻になるとユーザ100は、MEG101を介して、「降車駅に着きました。電車を降りましょう。」という提示情報を認識できる。
イベント「徒歩での移動」について説明する。イベント準備状態では、出発/到着地、出発/到着時間、所要時間、経路案内等が付帯情報となる。イベント開始状態では、出発時間通知(アラーム)が行われる。イベント実施状態では、経路案内、到着予定時刻、到着予想時刻との差違が付帯情報となる。このようにして、例えば、15時待ち合わせのスケジュールのとき、到着予定時刻は「15時」、移動がスムーズならば到着予想時刻は「2分前」などと表示される。同時に経路案内(ナビゲーション)も表示されるが、自宅や会社等のユーザ100が熟知している場所については、経路案内などの情報は予め非表示に設定することで、不要な情報が表示されるのを防ぐこともできる。
このときの具体例を掲げる。例えば、A駅15時発の電車でB駅へ行くために、A駅に向かって歩いているとき、イベント「A駅への徒歩による移動」の開始状態であり、かつイベント「A駅からB駅への電車での移動」の準備状態となる。そして、表1のような情報表示が行われる。
(表1)
次の信号を右(または地図によるナビゲーション)
A駅到着予定時刻(14:58)、2分前到着予想
乗換案内:
A駅(15:00)→B駅(15:26) 所要時間:26分
運賃:210円 運行状況:良好
イベント「会議・打合せ」について説明する。イベント準備状態では、準備時間通知(アラーム)・資料、用意するもの等予めユーザが設定したもの等が付帯情報となる。イベント開始状態では、開始時間通知(アラーム)が付帯情報となる。イベント実施状態では、資料等予めユーザが設定したもの、情動制御情報が付帯情報となる。情動制御情報とは、本システムでは特に明示していないが、ユーザ100が極度に緊張していたり、激昂しているときなどを、脈拍や血圧等の生体信号計測により検出し、それに応じて表示する気分を落ち着かせるための情報をいう。こういう場合には自分を見失っている場合が多いが、このような情報を認識することで、冷静になることができる。イベント完了状態では、そのイベント以降の予定などが付帯情報となる。
イベント「仕事」について説明する。イベント準備状態では、以降の予定、タスク等が付帯情報となる。イベント開始状態では、仕事モードへの移行通知(アラーム)が表示される。イベント実施状態では、仕事モードが付帯情報となる。ここで、情報推定部304において、付帯情報として仕事モードが推定された場合、制御・演算部308は、緊急情報を除き、仕事以外の情報表示を禁止するなど、予めユーザ100が設定した条件で、情報を選択するよう情報選択部305を制御する。イベント完了状態では、仕事モードからの復帰が表示される。
イベント「仕事合間の休憩」について説明する。イベント実施状態では、予めユーザが設定した気分転換情報が付帯情報となる。イベント完了状態では、完了喚起通知が表示される。これにより、休憩しすぎの防止アラームの機能を果たすことができる。
イベント「食事」について説明する。イベント準備状態では、健康状態、食事制限、履歴・嗜好等に応じた食事アドバイス、外出中は付近の食事場所案内等が付帯情報となる。イベント開始状態では、推奨メニューが表示される。イベント実施状態では、メール・ニュース等のユーザ100が設定した情報が付帯情報となる。なお、外出時はお店に入ったことで「イベント開始状態」に遷移する。イベント完了状態では、食事以降の予定が表示される。
イベント「施設内の移動」について説明する。施設とは、駅、ホテル、テーマパーク等をいう。イベント準備状態では、施設のHP(テナント、催し等)、現在地に近い入り口の案内、施設案内等が付帯情報となる。イベント実施状態では、テナント、エレベータ、エスカレータ、トイレ等の施設内案内が付帯情報となる。なお、ここでは、さらに個人の嗜好や行動履歴に基づいてテナント情報等を表示することが望ましい。
イベント「映画等の鑑賞」について説明する。イベント準備状態では、ユーザ100が設定した情報等が付帯情報となる。イベント開始状態では、スリープモードへの移行通知(アラーム)が表示される。イベント実施状態では、スリープモードとなる。ここで、情報推定部304において、付帯情報としてスリープモードが推定された場合、制御・演算部308は、緊急情報以外の表示を禁止するなど、予めユーザ100が設定した条件で、情報を選択するよう情報選択部305を制御する。「イベント完了状態」では、スリープモードから復帰する。
イベント「ジョギング」について説明する。イベント準備状態では、モチベーション刺激情報が付帯情報となる。イベント開始状態では、開始時間通知(アラーム)が表示される。イベント実施状態では、ペース、運動負荷、モチベーション維持情報が付帯情報となる。イベント完了状態では、完了喚起通知(運動しすぎの防止アラーム)、努力効果の表示、報償等が付帯情報となる。
イベント「就寝」について説明する。イベント準備状態では、翌日の予定、天気、起床予定時間が付帯情報となる。イベント開始状態では、就寝時間通知が表示される。これにより、不本意な夜更かしを防止できる。
次に、図19を参照して、活動状態の同定と提示情報との具体的な関係を簡単な例を用いてさらに説明する。ここでは、センサとして、GPS、足圧力センサなどの歩行状態センサ、時計のみを用いて、自宅を出発して、最寄り駅へ向かう場合を想定している。
ユーザ100が自宅から最寄り駅までの屋外に存在し、かつ急ぎ歩きであるとき、例えば、ユーザ100はイベント「最寄り駅からO会社への電車での移動」の準備状態で、かつイベント「最寄り駅への徒歩での移動」の実施状態で、「駅に急いでいる」状態と同定される。このとき、例えば「時刻表」を表示する。この概念を図19を用いて説明する。
図19において、ユーザ100の場所を示す軸と、移動を示す軸と、予定表(スケジュール)上の時間を示す軸との直交3軸座標系(以下、適宜「TPO要素軸」という。)を用いる。ユーザ100が、自宅から最寄り駅への移動時間中に駅へ向かって小走りである状態を考える。
活動状態同定部303は、TPO要素軸で定義される3次元空間において、ユーザ100は太線で囲った状態にあると同定する。そして、この時に関連するイベントとして、現在時刻と予定表を参照してイベント「最寄り駅からO会社への電車での移動」の準備状態と、イベント「最寄り駅への徒歩での移動」の実施状態であることを同定する。
このとき、情報推定部304は、「このような状態においては、ユーザ100は次の乗り換え電車を気にしているはず」であるという推定に基づいて、予め設定された付帯情報「次の電車の発車時刻」により情報選択部305は、該当する時刻表を選択する。
このように本システムでの活動状態の同定は、時間(Time)、場所(Place)、場合(Occasion)に基づいて行うので、以下適宜「TPO推定」と呼び、単に、場所と時間だけに寄らないため、よりユーザの意向に添った情報の提示が可能となる。また、ここでは説明を簡単にするために、Occasionとしては歩行の状態のみを使っているが、先述したように、咀嚼・発話の状態など、複数の軸を組み合わせることで、より詳細な状況判断が可能となる。
図20は、センサ110等からの計測信号と、同定される活動状態とのさらに別の関係を示す。図20において、センサとして、「時計・予定表」、「GPS」、「屋内外センサ」、「運動計測センサ」、「外界音マイク」、「骨伝導マイク」、「足圧力センサ」の7つのセンサを用いる。これらの7つのセンサからの計測信号に基づいて、タイミングとして「会話」、「休日」、日時として「日常生活時間」、「日常仕事時間」、「非日常時間」、空間として「場所」、「移動」を同定する。
同定される「会話」の内容の例は、「話をしている」、「聞いている」、「なし」である。「休日」の内容の例は、「平日」、「休日前」、「休日」、「休み明け」である。「日常生活時間」の内容の例は、「起床」、「朝食」、「昼食」、「夕食」、「就寝」である。「日常仕事時間」の内容の例は、「出勤」、休憩や会議の「仕事」、「帰宅」である。「非日常時間」の内容の例は、「出発」、「移動」、出張やレジャーの「イベント」、「移動」、「帰着」である。
また、同定される「場所」の内容の例は、寝室、リビング、ダイニング、その他の「自宅」、「駅」、「店舗」、「病院」、居室、会議室、休憩所、その他の「会社」、「映画館」、「屋内競技場」、「観光地」、「街中」、「海・山」、「その他屋外」である。
また、同定される「移動」の内容の例は、「公共交通機関」、車や自転車を「自分で運転」、「ゆっくり」や「疾走」の「歩行」、「移動なし」である。そして、上述した7つのセンサ110等からの計測信号に基づいて、これらの活動状態が同定される。
次に、同定された活動状態の内容に基づいて、ユーザ100が必要とする情報を推定、選択する。図21は、「活動状態」と「付帯情報」との関係を示す。付帯情報としての「ナビゲーション」情報、具体的には目的地までの地図情報について説明する。活動状態が「非日常時間」のうちの「出張」で、かつ「不慣れな土地」、「歩行移動」として同定されたときを考える。これらの同定が同時に実行されたとき、情報推定部304は、「目的地までの地図情報」を推定する。他の項目である「ニュース」や「メール」についても、図21のTPO要素軸欄に掲げる各「活動状態」が同定されたとき、対応する付帯情報が推定、選択される。
このように、本実施例によれば、ユーザ100の活動状態を同定し、同定された活動状態に基づいてユーザ100が必要とする情報をタイムリーに表示できる。
本発明の実施例2に係る情報表示システムについて説明する。図22は、実施例2に係る情報表示システムの概略構成を示す。実施例1では、センサ110等からの計測信号は、モバイルゲートウエイ200を介してサーバーコンピュータ300へ送られる。また、サーバーコンピュータ300からの提示情報は、モバイルゲートウエイ200を介してユーザ100のMEG101へ送られる。これに対して、本実施例では、ノート型(ラップトップ型)のパーソナルコンピュータ450が、実施例1におけるモバイルゲートウエイ200とサーバーコンピュータ300との機能を兼用している点が実施例1と異なる。実施例1と同一の部分には同一の符号を付し、重複する説明は省略する。
図23は、実施例2に係る情報表示システムの機能ブロックを示す。本情報表示システムは、ユーザ100が装着する各種センサ群と、ノート型パーソナルコンピュータ450とから構成されている。
まず、ユーザ100が装着するセンサ群について説明する。ユーザ100は、屋内外センサ110と、GPS111と、足圧力センサ112と、発話・咀嚼センサ113と、腕装着型運動計測センサ114とを、身体に装着している。これらのセンサ110等は、実施例1で述べたデバイスと同一の構成である。
本実施例では、ユーザ100は、さらに、循環器状態センサ2201と、呼吸器状態センサ2202と、眼状態センサ2203と、体温センサ2204と、GSR・発汗センサ2205と、他のセンサ2206とを装着している。
(循環器状態センサ)
循環器状態センサ2201は、例えばパルスオキシメータ、腕に装着する型の血圧計等である。パルスオキシメーターは、採血すること無しに、血液の色から、心拍毎に指先やその他の末梢組織に送り込まれる動脈血酸素飽和度を測定する。人間の血液中のヘモグロビンは、酸素と結合していないとき、赤い色を吸収する。これに対して、ヘモグロビンは、酸素と結合しているとき、赤色をあまり吸収しない。パルスオキシメータは、この性質を利用して、血液中のヘモグロビンの内、どれだけ酸素を含んでいるかを測定する。これにより、動脈血酸素飽和度を知ることができる。この結果、パルスオキシメータにより、ユーザ100の循環器、例えば心臓や血管の状態を検出できる。
(呼吸器状態センサ、眼状態センサ)
また、呼吸器状態センサ2202は、呼吸センサである。呼吸センサは、ユーザ100の呼吸量、呼吸頻度を検出する。眼状態センサ2203は、例えばアイカメラである。アイカメラは、ユーザ100の眼球運動や瞳孔反射など検出する。
(GSR・発汗センサ)
GSR・発汗センサ2205は、GSR(Galvanic Skin Response;皮膚電気抵抗値)を測定するセンサである。GSRの計測は、ユーザ100の体表面、例えば掌や足の裏に所定間隙をおいて一対の電極を装着する。両電極間に微弱電流を流し、その電位差と電流値を計測する。計測値を用いて、抵抗値を計算する。これにより、ユーザ100の発汗状態を検出できる。
(他のセンサ)
他のセンサ2206は、例えば、ユーザ100の緊張状態を検出する。ユーザ100の、覚醒状態、緊張状態、疲労状態、体調状態、空腹状態などをセンシングする方法は、心拍や体温などを利用するものが一般的である。これらの状態は、いずれも動作などと異なり直接的に測定できる状態ではない。ユーザ100の緊張状態等を検出するものとして脳波計が挙げられる。
なお、図22においては、理解の容易にため、これらの循環器状態センサ2201と、呼吸器状態センサ2202と、眼状態センサ2203と、体温センサ2204と、GSR・発汗センサ2205と、他のセンサ2206との図示を省略している。
上述の各種のセンサ110等は、それぞれ無線通信のためのBluetoothチップ(不図示)を搭載している。そして、センサ110等の計測信号は、デジタルデータ化されてノート型パーソナルコンピュータ450へ送信される。
(ノート型パーソナルコンピュータ)
ノート型パーソナルコンピュータ450について説明する。ノート型パーソナルコンピュータ450は、ユーザ100が手に持っている鞄の中に収納できる大きさである。ノート型パーソナルコンピュータ450の計測信号受信部201は、センサ110等から送信された計測信号を受信する。
計測信号集約部202は、これらのセンサ110等からの複数の計測信号を一つに集約する。活動状態同定部303は、受信した計測信号に基づいて、ユーザ100の活動状態を同定する。情報推定部304は、活動状態同定部303により同定された活動状態に基づいて、ユーザ100が必要とする情報を推定する。
活動状態同定部303と情報推定部304とは、それぞれ予定表306、外部状況307を参照する。予定表306は、ユーザ100の行動予定、スケジュールが含まれている。また、外部状況307は、天候情報、道路混雑情報等が含まれている。
データベース2207は、ユーザ100が必要とする情報を含む各種の情報を格納している。なお、データベース2207は、ノート型パーソナルコンピュータ450が内蔵する構成には限られない。例えば、ノート型パーソナルコンピュータ450とは異なる外部にデータベースを設ける構成でも良い。
そして、情報選択部305は、情報推定部304により推定されたユーザ100が必要とする情報を、データベース2207に格納されている複数の情報の中から選択する。また、情報選択部305は、例えばインターネット400や専用回線を介して他のコンピュータ401と通信可能に構成されている。これにより、情報選択部305は、他のコンピュータ401を介してユーザ100に必要な情報を取得することもできる。
情報送信部302は、情報選択部により選択された情報を情報表示部であるMEG101の受信部102へ送信する。また、制御・演算部308は、計測信号受信部201と、計測信号集約部202と、活動状態同定部303と、情報推定部304と、情報選択部305と、情報送信部302との制御を行う。
そして、センサ110等とノート型パーソナルコンピュータ450は、Bluetoothの送受信部である無線タグ(Bluetoothチップ)を備えている。これにより、センサ110等とノート型パーソナルコンピュータ450とは、Bluetoothによる無線通信を行うことができる。
活動状態同定部303の機能、情報推定部304の機能、情報選択部305の機能は、それぞれ実施例1と同一であるため、その説明は省略する。本実施例では、実施例1に比較して、さらに、循環器状態センサ2201と、呼吸器状態センサ2202と、眼状態センサ2203と、体温センサ2204と、GSR・発汗センサ2205と、他のセンサ2206とを用いている。このため、活動状態同定部303は、実施例1よりも詳細な活動状態の項目を同定できる。
(ユーザの一日のシナリオ)
例えば、ユーザ100の職業が営業職であるときを考える。図24〜図31は、本情報表示システムを用いるユーザ100の一日の生活の流れを示す。「ユーザの生活シーン」欄は、活動状態と、MEG101に表示された情報に対する反応等を掲げる。「システムの機能」欄は、ユーザ100に提示する情報、ユーザ100の周囲の環境制御等を掲げる。「環境制御」とは、本情報表示システムに、さらに環境制御システムを連動させることにより、ユーザ100の周辺機器、例えば、エアコン、照明器具等を制御することをいう。
「利用するセンサ系データ」欄は、活動状態の同定等に参照するセンサ110等を示す。図24〜図31において、「利用するセンサ系データ」欄の丸印は、該当するセンサからの計測信号が、活動状態の同定に有効であることを示す。また、「利用するセンサ系データ」欄の三角印は、センサによる検出が容易でない場合、例えば、ユーザ100の負担になる場合、計測信号の検出が容易でない場合等を示す。従って、三角印で示すセンサからの計測信号は、活動状態の同定に必要であれば利用することもできる、という状態を示す。さらに、「利用する非センサ系データ」は、活動状態の同定に用いるデータ、表示する提示情報等を示す。以下、ユーザ100の複数の生活シーンのうちの一部について説明する。
また、図24〜図31の「利用するセンサ系データ」欄において、「時刻・場所」は、時計、および予定表により検出できる。「位置・場所」は、屋内外センサ110やGPS111により検出できる。「歩行・運動状態」は、足圧力センサ112や運動計測センサ114により検出できる。
(出発前、自宅で)
図24の最左欄の番号1の項目について説明する。ユーザ100の起床時において、活動状態同定部303は、「時刻・時間」と、「循環器状態」と、「呼吸器状態」と「体温」と、他センサにより検出された「覚醒状態」とに基づいて、ユーザ100の活動状態を同定する。例えば、活動状態同定部303は、ユーザ100が、「朝、ベッドの上で目覚めた状態」であると同定する。そして、制御・演算部308は、寝室の照明を明るくすること、寝室の温度を起床に快適な温度に制御すること、起床に好適な香りを供給すること、起床に好適な音(音楽等)を供給すること等を行う。これにより、ユーザ100は、「目覚ましのベルにたたき起こされることも無く、今日も自然で快適な目覚めだ」と感じることができる。
(通勤途中で)
図25の最左欄の番号10の項目について説明する。ユーザ100が通勤するとき、活動状態同定部303は、「時刻・時間」と、「位置・場所」と、「歩行・運動状態」とに基づいて、ユーザ100が移動していることを同定する。情報推定部304は、その後のスケジュールに応じて、行動を支援する情報を推定する。情報選択部305は、「地図情報」、「スケジュール」、「時刻表・乗換」に関する最適な情報を選択する。例えば、「時刻表・乗換」に関する情報は、実施例1で説明したような、具体的な電車発車時刻に加えて、「運行状況」の情報も含まれる。例えば、通常の通勤経路では、電車が事故のために遅れているとき、他の私鉄を利用した通勤経路を選択する。MEG101は、これらの情報を、適宜表示する。
これにより、ユーザ100は、「駅に向かって歩き始めると、乗換案内が表示された。事故の影響で私鉄回りが提案されている。会議に遅れたくないから、そうすることにしよう。」と認識することができる。
ここで、MEG101を用いて、詳細な文字情報等を表示すると、却ってユーザ100の情報認識が困難になってしまうことがある。このため、MEG101に表示する情報は、実施例1で上述した表示情報最適化により簡略化、要約した簡潔な情報であることが望ましい。
(会社で)
図26の最左欄の番号16の項目について説明する。ユーザ100が会社にいるとき、活動状態同定部303は、「時刻・時間」と、「位置・場所」とに基づいて、ユーザ100の活動状態を同定する。情報推定部304は、スケジュールに応じた行動時間の設定等の行動を支援する情報を推定する。情報選択部305は、「スケジュール」に関する最適な情報を選択する。これにより、ユーザ100が会議のための資料をそろえているとき、MEG101に提示情報である会議開催が近付いていることを示すアイコンが表示される。この結果、ユーザ100は、「そろそろ会議の時間だ。移動しよう。」と認識できる。
(営業先への移動)
図27の最左欄の番号22の項目について説明する。ユーザ100が外出しているとき、活動状態同定部303は、「時刻・時間」と、「位置・場所」と、「歩行・運動状態」とに基づいて、ユーザ100が移動していることを同定する。情報推定部304は、行動に合わせて、それを支援する情報、例えばユーザ100の移動に合わせたナビゲーション情報を推定する。情報選択部305は、「地図情報」、「時刻表・乗換」に関する最適な情報を選択する。MEG101は、これらの情報を、適宜表示する。
これにより、ユーザ100は、「初めての所でも、最適な乗り場や地下鉄の出口まで必要に応じて案内してくれるから安心だ。」と認識することができる。
(営業先で)
図28の最左欄の番号26の項目について説明する。ユーザ100が外出しているとき、活動状態同定部303は、「時刻・時間」と、「位置・場所」と、「歩行・運動状態」とに基づいて、ユーザ100が移動していることを同定する。情報推定部304は、行動に合わせて、それを支援する情報、例えばユーザ100の移動に合わせたナビゲーション情報を推定する。情報選択部305は、「地図情報」、「時刻表・乗換」に関する最適な情報を選択する。MEG101は、これらの情報を、適宜表示する。
これにより、ユーザ100は、「初めての所でもMEGが営業先まで案内してくれるから、もう地図を持ってうろうろ道に迷うこともない。」と認識することができる。
(レセプション会場で)
図29の最左欄の番号31の項目について説明する。ユーザ100が外出しているとき、活動状態同定部303は、「位置・場所」に基づいて、ユーザ100が予定されているレセプションが開催される商業施設内に入場していることを同定する。情報推定部304は、ユーザ100が商業施設内に入ったことを検出し、施設内案内に切替わる。そして、情報推定部304は、商業施設内情報を推定する。情報選択部305は、「店舗・施設情報」に関する最適な情報を選択する。MEG101は、これらの情報を、適宜表示する。
これにより、ユーザ100は、「ホテルに到着。会場に入る前にフィルムを買いたいが・・・と思ったら、表示が施設内案内に切り替わった。」と認識することができる。
(会社に戻って)
図30の最左欄の番号35の項目について説明する。ユーザ100が会社に戻っているとき、活動状態同定部303は、「時刻・時間」と、「位置・時間」と、「循環器状態」と、「呼吸器状態」と、「眼状態」と、「体温」と、他センサにより検出された「疲労状態」とに基づいて、ユーザ100の活動状態、特に過労を防止するために仕事中も体調をモニタリングする。情報推定部304は、適宜休憩を促す情報を推定する。MEG101は、これらの情報を、適宜表示する。
これにより、ユーザ100は、「資料は7割方完成。休憩指示も出たので一息入れよう。」と認識することができる。
(自宅へ)
図31の最左欄の番号41の項目について説明する。ユーザ100が帰宅するとき、活動状態同定部303は、「位置・場所」と、「位置・場所」と、「歩行・運動状態」とに基づいて、ユーザ100が帰宅する途中の状態であることを同定する。情報推定部304は、ユーザ100が帰宅途中である状態に基づいて、優先度の高い情報から順に推定する。情報選択部305は、「時刻表・乗換」、「メール・ニュース」に関する最適な情報を選択する。MEG101は、これらの情報を、適宜表示する。
これにより、ユーザ100は、「電車の待ち時間や移動時間を利用して、今日一日のニュースが表示されてくる。不在中の訪問者の映像も表示されてきた。昼間は家を空けているので助かる。」と認識することができる。
以上、ユーザ100の起床から帰宅に至るまでの、生活シーンのうち、代表的な生活シーンについて、本情報表示システムによる情報表示、環境制御、行動支援について説明した。なお、図24〜図31において、他の生活シーンについては、図中に記載されている内容に従って、本情報表示システムによる情報表示、環境制御、行動支援が行われる。このため、他の生活シーンに関する詳細な説明は省略する。本実施例によれば、ユーザ100の活動状態を同定し、同定された活動状態に基づいてユーザ100が必要とする情報を表示すること、ユーザ100の環境状態を制御すること、及びユーザ100の行動を支援することができる。
(変形例)
本発明の変形例に係る情報表示システムについて説明する。なお、実施例1、実施例2と同一の部分には同一の符号を付し、重複する説明は省略する。図32は、変形例に係る情報表示システムの概略構成を示す。本情報表示システムでは、ユーザ100の生活習慣をモニタできる。
ユーザ100は、屋内外センサ110と、GPS111と、足圧力センサ112と、発話・咀嚼センサ113と、脈拍・血圧センサ3201等を装着している。脈拍・血圧センサ3201は、腕に装着する腕時計型のセンサである。脈拍・血圧センサは、ユーザ100の脈拍数、脈拍の遅速、整不整、血圧等を検出する。そして、センサ110等からの計測信号は、モニタ端末500へ送られる。モニタ端末500は、計測信号に基づいて、ユーザ100の生活習慣をモニタリングする。
本変形例によりモニタできる生活習慣の内容を説明する。例えば、「睡眠」に関しては、タイミング、時間、質である。「食事」に関しては、タイミング、時間、質(咀嚼回数)である。「運動」に関しては、運動時間、継続時間、手足等のバランスである。「睡眠」に関しては、タイミング、時間、質である。「行動パターン」に関しては、外出時間、発話量である。これらの生活習慣をモニタすることにより、生活習慣病を予防すること、高齢化にともなう心身の不調の早期発見を行うこと等ができる。この結果、医療費を削減できる。また、近年指摘されている若年性健忘症やうつなどの精神性の疾患は、他人との会話時間や外出時間と関連性が深いという指摘もあり、本変形例は、精神性疾患予防のための健康管理・改善支援ツールとしても用いることができる。
(応用例)
図33、図34に基づいて、本発明に係る情報表示システムの応用例について説明する。図33は、同定された活動状態と、応用分野との関係を示す。ユーザ100の活動状態(図33では「生体・環境状態」に対応する)は、例えば、「時間移動」、「屋外位置」、「屋内外」、「屋内位置」、「身体運動」、「歩行状態」、「咀嚼状態」等がある。そして、実施例1、実施例2で説明したようなセンサ110等を用いる。ここで、さらに、RFID(Radio Frequency Identification)を用いることもできる。RFIDは、耐環境性に優れたタグにデータを記憶し、電波や電磁波で読み取り器と交信する。タグは、ラベル型、カード型、コイン型、スティック型等様々な形状があり、用途に応じて選択できる。このようなRFIDを用いることで、微小な無線チップによりユーザ100を識別・管理できる。
そして、ユーザ100の「行動予定」、「行動・位置」、「屋内/屋外」、「周囲のモノ・ヒト」、「歩行/走行」、「立ち/座り」、「会話の有無」、「食事中」等の情報を同定(モニタリング)できる。これにより、本情報表示システムにより、「行動支援」、「活動度評価」、「健康管理」、「行動管理」、「行動学習」、「リハビリ支援」等を行うことができる。
図34は、さらに、本情報表示システムによるサービスの応用例を示す。マーケティング情報収集3401は、例えば、ユーザの嗜好、行動/動線、関心度、興奮度、快適性を検出することで行われる。これにより、例えば、ユーザが所持する買い物かごにPHS(Personal Handyphone System)を入れておくこと、またはお客様ガイダンス用のPDA(Personal Digital Assistance)を用いることで、大規模小売店の顧客嗜好を分析できる。また、展示会でユーザ反応を収集すること、または車の試乗時にユーザのフィーリング情報を収集することで客観的なアンケートを取得できる。
ヘルスケア3402は、例えば、ユーザの運動量・行動のパターンのログ(記録)を収集すること、生体情報ログを収集することで行われる。これにより、効率的トレーニングの支援、ダイエットサポート、健康食生活支援、肉体のリハビリ支援、環境制御による熟眠サポート、健康モニタサービス、血栓防止、疲労防止等を行うことができる。特に、例えば、効果的なトレーニングの支援等では、トレーニング中にリアルタイム・レコメンデーション、即ち実時間で有益な提示情報による勧告を行うことができる。
メンタルケア3403は、例えば、TPOや緊張度のログ、会話ログ、行動パターンログ、神経バランスログにより行われる。これにより、精神カウンセリング、バイオフィードバック、ストレスバロメータ表示、安全サポートやリハビリ支援等の老人メンタルケア、プロスポーツ選手用の治療効果の客観的評価、占い・今日の格言等のランダムな配信サービスの高付加価値化を行うことができる。
能力活性化3404は、例えば、脳状態検出、脳刺激等により行われる。これにより、右脳トレーニング、集中力育成、瞑想支援、呼吸法支援等を行なうことができる。また、エンターティメント3405では、例えば、ユーザの動き検出ログにより、フィールドでの体感ゲームを行うことができる。
快適環境サポート3406は、例えば、時計、GPS等によるTPO検出、スケジュール解釈、オートスケジューラー等により行われる。これにより、空調制御、照明制御、香り制御、BGM(Back Ground Music)制御等を行うことができる。
状況適用型行動支援3407は、例えば、時計、GPS等によるTPO検出、スケジュール解釈、オートスケジューラー等により行われる。これにより、忘れ物防止、目覚まし、時刻表表示等を行うことができる。
現場作業支援3408では、例えば、看護支持支援、安全運転支援、作業環境の悪化、体調異常を検出することによる危険作業支援、業務効率化支援、料理段取り支援、レストラン給仕タイミング支援等を行うことができる。看護支持支援では、患者を看護する看護婦、看護士は、治療現場において医師の指示に従った行為を行う。このとき、医師の指示が直前に変更されることもある。このようなとき、本情報表示システムを用いることで、即時的に情報が得られる。また、MEGを用いることで両手を空けた状態で、円滑な治療支援行為を行うことができる。
情報配信3409は、例えば、感性・TPO検出、嗜好検出等により行われる。これにより、スケジュール、位置・移動方向、商業施設内案内等のナビゲーション、お店情報等の嗜好適用型情報、新聞・株式等の仕事情報、プライベート情報、リマインダー、対人情報、メール等を取得できる。
このように、本発明に係る情報表示システムは、極めて多様な応用範囲に好適に用いることができる。また、MEG等を用いて、ユーザの日常生活のすべての場面において認識できるシームレスな情報表示を行うことができる。そして、シームレスな情報表示を通じて、ユーザの行動支援、健康管理等が達成される。
(プログラム)
情報表示システムのハードウエアのためのプログラムとして、情報表示システム用のプログラムであり、コンピュータにより読み取り可能なプログラムであって、少なくとも使用者の身体の各部分の状態を計測する計測手段と、計測手段による計測結果に基づいて、使用者の活動状態を同定する活動状態同定手段と、活動状態同定手段により同定された活動状態に基づいて、使用者が必要とする情報を推定する情報推定手段と、情報推定手段により推定された、使用者が必要とする情報を少なくとも格納している情報格納手段と、情報推定手段により推定された使用者が必要とする情報を、情報格納手段に格納されている複数の情報の中から選択する情報選択手段と、情報選択手段により選択された使用者が必要とする情報を表示する情報表示手段としてコンピュータを機能させることを特徴とするプログラムを用いることが望ましい。
活動状態同定部303、情報推定部304、情報選択部305、制御・演算部308の機能は、例えば、CPUを用いて実現できる。なお、活動状態同定部303、情報推定部304、情報選択部305、制御・演算部308の機能を情報記憶媒体からサーバーコンピュータ300にプログラムを読み取らせて実現することも可能である。
また、情報記憶媒体としては、例えば、フレキシブルディスク、CD−ROM、光磁気ディスク、ICカード、ROMカートリッジ、パンチカードやバーコード等の符号が印刷された印刷物、コンピュータの内部記憶装置(RAMやROM等のメモリ)及び外部記憶装置等、コンピュータによって読み取ることができる種々の媒体を用いることができる。そのプログラムの読み取り方式は接触方式であっても、非接触方式であっても良い。
さらに、情報記憶媒体に代えて、上述した各機能を実現するためにプログラムを、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実現することも可能である。
また、以上説明した実施例1、実施例2では、Bluetoothを利用したネットワーク通信を用いている。しかしながら、これに限られず、モバイルゲートウエイとサーバーコンピュータとの通信形態、及びセンサ110等とノート型パーソナルコンピュータとの通信形態は、PHS回線、携帯電話回線、無線LAN、赤外線通信等のデータ転送を行なえるものであれば良い。このように、本発明は、その趣旨を逸脱しない範囲で、適宜変形が可能である。
以上のように、本発明に係る情報表示システムは、使用者の活動状態を同定し、必要な情報を表示するシステム、特にMEGのような小型な情報表示部を備えるシステムに有用である。
実施例1に係る情報表示システムの機能ブロックを示す図である。 実施例1に係る情報表示システムの概略構成を示す図である。 表示される情報の例を示す図である。 実施例1に係る情報表示システムの処理手順を示すフローチャートである。 時計等による活動状態の同定手順を示すフローチャートである。 予定表、およびそこから生成される副次予定表を示す図である。 GPS等による活動状態の同定手順を示すフローチャートである。 足圧力センサによる活動状態の同定手順を示すフローチャートである。 発話・咀嚼センサによる活動状態の同定手順を示すフローチャートである。 発話・咀嚼センサによる活動状態の同定手順を示す他のフローチャートである。 運動計測センサによる活動状態の同定手順を示すフローチャートである。 活動状態の第1の同定例を示すフローチャートである。 活動状態の第2の同定例を示すフローチャートである。 活動状態の第3の同定例を示すフローチャートである。 情報の第1の推定例を示すフローチャートである。 情報の第2の推定例を示すフローチャートである。 情報の第3の推定例を示すフローチャートである。 付帯情報の設定例を示す図である。 TPO要素軸による活動状態の同定例を示す図である。 センサの計測信号とTPO要素軸との関係を示す図である。 表示する情報とTPO要素軸との関係を示す図である。 実施例2に係る情報表示システムの概略構成を示す図である。 実施例2に係る情報表示システムの機能ブロックを示す図である。 実施例2におけるユーザの一日の第1のシナリオを示す図である。 実施例2におけるユーザの一日の第2のシナリオを示す図である。 実施例2におけるユーザの一日の第3のシナリオを示す図である。 実施例2におけるユーザの一日の第4のシナリオを示す図である。 実施例2におけるユーザの一日の第5のシナリオを示す図である。 実施例2におけるユーザの一日の第6のシナリオを示す図である。 実施例2におけるユーザの一日の第7のシナリオを示す図である。 実施例2におけるユーザの一日の第8のシナリオを示す図である。 変形例に係る情報表示システムの概略構成を示す図である。 本発明の情報表示システムの応用例を示す図である。 本発明の情報表示システムの応用例を示す他の図である。
符号の説明
100 ユーザ
101 情報表示部
110 屋内外センサ
111 GPS
112 足圧力センサ
113 発話・咀嚼センサ
114 運動計測センサ
200 モバイルゲートウエイ
201 計測信号受信部
202 計測信号集約部
203 サーバーコンピュータ用送信部
204 受信部
205 制御部
300 サーバーコンピュータ
301 受信部
302 情報送信部
303 活動状態同定部
304 情報推定部
305 情報選択部
306 予定表
307 外部状況
308 制御・演算部
309 データベース
310 個人データベース
311 履歴データベース
400 インターネット
401 他のコンピュータ
450 ノート型パーソナルコンピュータ
500 モニタ端末
2201 循環器状態センサ
2202 呼吸器状態センサ
2203 眼状態センサ
2204 体温センサ
2205 GSR・発汗センサ
2206 他のセンサ
2207 データベース
3201 脈拍・血圧センサ
3401 マーケティング情報収集
3402 ヘルスケア
3403 メンタルケア
3405 能力活性化
3405 エンターティメント
3406 快適環境サポート
3407 状況適用型行動支援
3408 現場作業支援
3409 情報配信

Claims (8)

  1. 少なくとも使用者の身体の各部分の状態を計測する計測手段と、
    前記計測手段による計測結果に基づいて、前記使用者の活動状態を同定する活動状態同定手段と、
    前記活動状態同定手段により同定された前記活動状態に基づいて、前記使用者が必要とする情報を推定する情報推定手段と、
    前記情報推定手段により推定された、前記使用者が必要とする情報を少なくとも格納している情報格納手段と、
    前記情報推定手段により推定された前記使用者が必要とする前記情報を、前記情報格納手段に格納されている複数の情報の中から選択する情報選択手段と、
    前記情報選択手段により選択された前記使用者が必要とする前記情報を表示する情報表示手段と、
    を有することを特徴とする情報表示システム。
  2. 前記計測手段は、前記使用者の位置及び方向を計測する位置計測手段を含むことを特徴とする請求項1に記載の情報表示システム。
  3. 前記位置計測手段は、GPS機能を有することを特徴とする請求項2に記載の情報表示システム。
  4. 前記計測手段により計測される前記使用者の身体の各部分の状態には、少なくとも前記使用者の、腕の動きと、足の動きと、音声と、体内音とのいずれか一つを含むことを特徴とする請求項1〜3のいずれか一項に記載の情報表示システム。
  5. 前記計測手段は、前記使用者が屋内に存在するか、屋外に存在するかを計測することを特徴とする請求項1〜4のいずれか一項に記載の情報表示システム。
  6. 前記計測手段は、少なくとも前記使用者の足裏の圧力を検出することで前記使用者の前記足の動きを計測することを特徴とする請求項1〜5のいずれか一項に記載の情報表示システム。
  7. 前記活動状態同定手段は、前記計測手段により計測された計測データと、予め格納されている前記使用者の予定行動データとに基づいて前記使用者の前記活動状態を同定することを特徴とする請求項1〜6のいずれか一項に記載の情報表示システム。
  8. 少なくとも使用者の身体の各部分の状態を計測する計測手段と、
    前記使用者に対して所定の情報を表示する情報表示手段と、
    少なくとも前記情報表示手段に表示される前記所定の情報を選択するサーバーコンピュータと、
    前記情報表示手段と前記サーバーコンピュータとの間でデータの送受信を行うモバイルゲートウエイと、を有する情報表示システムであって、
    前記モバイルゲートウエイは、
    前記計測手段からの計測信号を受信する計測信号受信手段と、
    前記計測信号受信手段により受信された複数の前記計測信号を集約する計測信号集約手段と、
    前記計測信号集約手段により集約された前記計測信号を前記サーバーコンピュータへ送信するサーバーコンピュータ用送信手段と、
    前記サーバーコンピュータから送信される情報を受信する受信手段と、
    前記受信手段により受信した情報を前記情報表示手段へ送信する情報表示用送信手段と、を有し、
    前記サーバーコンピュータは、
    前記モバイルゲートウエイから送信される前記計測信号を受信する受信手段と、
    前記受信手段により受信した前記計測信号に基づいて、前記使用者の活動状態を同定する活動状態同定手段と、
    前記活動状態同定手段により同定された前記活動状態に基づいて、前記使用者が必要とする情報を推定する情報推定手段と、
    前記情報推定手段により推定された前記使用者が必要とする情報を、前記サーバーコンピュータが格納している情報、または前記サーバーコンピュータとは異なる他のコンピュータが格納している情報の中から選択する情報選択手段と、
    前記情報選択手段により選択された前記使用者が必要とする前記情報を前記モバイルゲートウエイへ送信する情報送信手段と、
    を有することを特徴とする情報表示システム。
JP2005111044A 2005-04-07 2005-04-07 情報表示システム Active JP4759304B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005111044A JP4759304B2 (ja) 2005-04-07 2005-04-07 情報表示システム
US11/396,217 US7996177B2 (en) 2005-04-07 2006-03-31 Information display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005111044A JP4759304B2 (ja) 2005-04-07 2005-04-07 情報表示システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011014497A Division JP2011138530A (ja) 2011-01-26 2011-01-26 情報表示システム

Publications (2)

Publication Number Publication Date
JP2006293535A true JP2006293535A (ja) 2006-10-26
JP4759304B2 JP4759304B2 (ja) 2011-08-31

Family

ID=37084322

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005111044A Active JP4759304B2 (ja) 2005-04-07 2005-04-07 情報表示システム

Country Status (2)

Country Link
US (1) US7996177B2 (ja)
JP (1) JP4759304B2 (ja)

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008262251A (ja) * 2007-04-10 2008-10-30 Mitsubishi Electric Corp 情報処理装置及び情報処理方法及び情報処理プログラム
WO2008153132A1 (ja) * 2007-06-15 2008-12-18 Olympus Corporation 制御システム、プログラム及び情報記憶媒体
WO2008153131A1 (ja) * 2007-06-15 2008-12-18 Olympus Corporation 携帯型電子機器、プログラム及び情報記憶媒体
JP2009053911A (ja) * 2007-08-27 2009-03-12 Seiko Instruments Inc 歩数計
JP2009176130A (ja) * 2008-01-25 2009-08-06 Olympus Corp 情報提示システム、プログラム及び情報記憶媒体
JP2009181478A (ja) * 2008-01-31 2009-08-13 Ntt Docomo Inc コンディション推定装置、及び、コンディション推定プログラム
JP2009181476A (ja) * 2008-01-31 2009-08-13 Ntt Docomo Inc シチュエーション推定装置、及び、シチュエーション推定プログラム
JP2009190668A (ja) * 2008-02-18 2009-08-27 Toyota Motor Corp 交通機関情報取得装置、車載装置、交通機関情報提供システム
JP2009224898A (ja) * 2008-03-13 2009-10-01 Toshiba Corp 移動通信装置
JP2009282442A (ja) * 2008-05-26 2009-12-03 Hyogo College Of Medicine 手指衛生励行システム
JP2010061402A (ja) * 2008-09-03 2010-03-18 Olympus Corp 情報提示システム、プログラム及び情報記憶媒体
JP2010072811A (ja) * 2008-09-17 2010-04-02 Olympus Corp 情報処理システム、プログラム及び情報記憶媒体
JP2010165112A (ja) * 2009-01-14 2010-07-29 National Institute Of Information & Communication Technology モバイル端末用センサー情報システム
JP2010194140A (ja) * 2009-02-26 2010-09-09 Hitachi Ltd データ解析装置及びプログラム
JP2011002890A (ja) * 2009-06-16 2011-01-06 Nec Fielding Ltd 通信端末を用いた案内方法、そのシステム、その通信端末、そのデータセンタ及びそのプログラム
JP2011018123A (ja) * 2009-07-07 2011-01-27 Toshiba Corp 端末装置及びコンテンツのレコメンド方法
WO2011049001A1 (ja) * 2009-10-21 2011-04-28 オムロンヘルスケア株式会社 体動検出装置
JP2011106866A (ja) * 2009-11-13 2011-06-02 Nakayo Telecommun Inc スケジュール管理装置
JP2011210075A (ja) * 2010-03-30 2011-10-20 Equos Research Co Ltd 情報提供装置
JP2012104127A (ja) * 2009-06-16 2012-05-31 Intel Corp 携帯型無線機器のインテリジェントなグラフィックスインタフェース
JP2012212364A (ja) * 2011-03-31 2012-11-01 Sony Corp 情報処理装置、情報処理方法、プログラム、及び記録媒体
JP2013020655A (ja) * 2012-11-01 2013-01-31 Zenrin Datacom Co Ltd 属性特定システム、属性特定方法、および、コンピュータプログラム
JP2013513138A (ja) * 2009-09-29 2013-04-18 テルコーディア テクノロジーズ インコーポレイテッド リソースが有限であるストリーム計算アプリケーション向けの、関連のある因果的なコンテキスト履歴の捕捉、送信、および再構築の可能化
JP2013157686A (ja) * 2012-01-27 2013-08-15 Nec Access Technica Ltd 情報収集装置、情報提供システム、情報提供方法および情報提供プログラム
JP2014506089A (ja) * 2011-02-21 2014-03-06 エンパイア テクノロジー ディベロップメント エルエルシー ワイヤレス通信を改良するための帯域外情報の使用
WO2014083779A1 (ja) * 2012-11-30 2014-06-05 パナソニック株式会社 情報提供方法
JP2014160304A (ja) * 2013-02-19 2014-09-04 Casio Comput Co Ltd 情報処理装置、情報処理方法及びプログラム
JP2014527222A (ja) * 2011-07-14 2014-10-09 クアルコム,インコーポレイテッド 動的包摂推理
JP2015011699A (ja) * 2013-06-28 2015-01-19 ヒョンデ エムエヌソフト インコーポーレイティッドHYUNDAI MNSOFT,Inc. コンテンツ提供装置、その提供方法及びサーバ
JP2016183895A (ja) * 2015-03-26 2016-10-20 株式会社ゼンリンデータコム 経路案内装置
JP2017076382A (ja) * 2011-03-14 2017-04-20 株式会社ニコン 装置およびプログラム
JP2017111158A (ja) * 2017-01-31 2017-06-22 株式会社ゼンリン ナビゲーションシステム
JP2017517829A (ja) * 2015-04-29 2017-06-29 シャオミ・インコーポレイテッド 情報提示の方法及び装置
CN107580292A (zh) * 2016-07-04 2018-01-12 卡西欧计算机株式会社 电子设备、选择控制系统、选择方法以及记录介质
JP2018128747A (ja) * 2017-02-06 2018-08-16 ソフトバンク株式会社 データ処理装置、データ処理方法及びプログラム
JP2018151735A (ja) * 2017-03-10 2018-09-27 新日鉄住金ソリューションズ株式会社 情報処理装置、システム、情報処理方法及びプログラム
JP2018166641A (ja) * 2017-03-29 2018-11-01 トヨタ自動車株式会社 睡眠管理システム
US10574756B2 (en) 2016-07-04 2020-02-25 Casio Computer Co., Ltd. Electronic device, selection control system, selection method, and recording medium
JP2020106953A (ja) * 2018-12-26 2020-07-09 セコム株式会社 警備システム
WO2020209117A1 (ja) * 2019-04-08 2020-10-15 日本電気株式会社 ストレス推定装置、ストレス推定方法およびコンピュータ読み取り可能な記録媒体
US11392992B2 (en) 2012-11-30 2022-07-19 Panasonic Intellectual Property Corporation Of America Information providing method

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1712176B1 (en) * 2004-02-06 2011-04-06 Olympus Corporation Receiver
US7876906B2 (en) 2006-05-30 2011-01-25 Sonitus Medical, Inc. Methods and apparatus for processing audio signals
EP2129999B1 (en) * 2007-03-23 2019-09-04 QUALCOMM Incorporated Multi-sensor data collection and/or processing
US9145153B2 (en) * 2007-11-07 2015-09-29 At&T Intellectual Property I, L.P. Method, system and computer program products for real-time departure estimations for transportation systems
US8023676B2 (en) * 2008-03-03 2011-09-20 Sonitus Medical, Inc. Systems and methods to provide communication and monitoring of user status
KR101532932B1 (ko) * 2009-03-02 2015-07-01 엘지전자 주식회사 이동 단말기 및 이를 이용한 스케쥴 관리 방법 및 위치 정보 관리 방법
JP5599156B2 (ja) * 2009-04-02 2014-10-01 任天堂株式会社 情報処理システム、プログラム、および情報処理装置
JP5552252B2 (ja) * 2009-04-02 2014-07-16 任天堂株式会社 情報処理システム、プログラム、および情報処理装置
JP2011065455A (ja) * 2009-09-17 2011-03-31 Toshiba Tec Corp 商品管理システム
EP2484125B1 (en) 2009-10-02 2015-03-11 Sonitus Medical, Inc. Intraoral appliance for sound transmission via bone conduction
WO2011082645A1 (zh) 2010-01-06 2011-07-14 华为终端有限公司 显示图片/界面的方法及终端
CN101782875B (zh) * 2010-01-29 2012-01-04 成都市华为赛门铁克科技有限公司 存储设备和数据存储方法
JP5742340B2 (ja) * 2011-03-18 2015-07-01 ソニー株式会社 咀嚼検出装置および咀嚼検出方法
US9053483B2 (en) 2011-09-30 2015-06-09 Microsoft Technology Licensing, Llc Personal audio/visual system providing allergy awareness
SG195431A1 (en) * 2012-05-28 2013-12-30 Trinax Private Ltd Intelligent mirror cum display solution
JP5904021B2 (ja) * 2012-06-07 2016-04-13 ソニー株式会社 情報処理装置、電子機器、情報処理方法、及びプログラム
US9189021B2 (en) * 2012-11-29 2015-11-17 Microsoft Technology Licensing, Llc Wearable food nutrition feedback system
CN103845064B (zh) * 2012-12-05 2018-06-05 深圳迈瑞生物医疗电子股份有限公司 一种肌松测量装置及监护设备
EP2752623B1 (en) * 2013-01-08 2020-09-09 Electrolux Home Products Corporation N.V. Cooking hob with illumination
JP2016024669A (ja) * 2014-07-22 2016-02-08 セイコーエプソン株式会社 身体状況提示装置、身体状況提示システム、提示情報出力方法及び提示情報出力プログラム
WO2016088027A1 (en) * 2014-12-04 2016-06-09 Koninklijke Philips N.V. Calculating a health parameter
CN105045393B (zh) * 2015-07-16 2018-02-13 广东小天才科技有限公司 一种提醒方法、装置及系统
US9903755B2 (en) 2015-10-05 2018-02-27 Microsoft Technology Licensing, Llc Indoors / outdoors detection
US10152947B2 (en) 2016-04-06 2018-12-11 Microsoft Technology Licensing, Llc Display brightness updating
US10617362B2 (en) 2016-11-02 2020-04-14 International Business Machines Corporation Machine learned optimizing of health activity for participants during meeting times
JP7015748B2 (ja) * 2018-08-03 2022-02-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報収集方法、情報収集システム、及び情報収集プログラム
US11281289B2 (en) * 2020-02-21 2022-03-22 Honda Motor Co., Ltd. Content adjustment based on vehicle motion and eye gaze
CN114052685B (zh) * 2020-08-06 2023-10-13 华为技术有限公司 电子设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002034073A (ja) * 2000-07-14 2002-01-31 Railway Technical Res Inst 利用者案内システム
JP2003050867A (ja) * 2001-08-08 2003-02-21 Nippon Signal Co Ltd:The 歩行者等健康チェック支援方法及びその装置
JP2003167900A (ja) * 2001-11-29 2003-06-13 Ntt Docomo Inc プッシュ型情報提供方法、プッシュ型情報提供システム及び利用者情報管理装置
JP2003303265A (ja) * 2002-02-08 2003-10-24 Mitsubishi Electric Information Systems Corp 施設情報配信サーバ及び施設情報配信方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム
JP2005024517A (ja) * 2003-07-04 2005-01-27 Railway Technical Res Inst 移動者案内サーバ
JP2005050050A (ja) * 2003-07-31 2005-02-24 Nippon Telegr & Teleph Corp <Ntt> 情報通知方法及びシステム、情報通知サーバ及びプログラム、情報通知プログラムを記録した記録媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3548459B2 (ja) 1998-11-20 2004-07-28 富士通株式会社 案内情報提示装置,案内情報提示処理方法,案内情報提示プログラムを記録した記録媒体,案内用スクリプト生成装置,案内情報提供装置,案内情報提供方法および案内情報提供プログラム記録媒体
JP3400961B2 (ja) 1999-09-27 2003-04-28 株式会社国際電気通信基礎技術研究所 人物像の姿勢推定装置および人物像の姿勢推定プログラムを記録した記録媒体
JP2001092878A (ja) 1999-09-27 2001-04-06 Fujitsu Ltd スケジュール提示およびそれに応じたアクション提案・実行装置,その処理方法,その処理のためのプログラムを記録した記録媒体,スケジュール記録媒体,および自動スケジュール生成装置
JP2001344352A (ja) 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
US7787886B2 (en) * 2003-02-24 2010-08-31 Invisitrack, Inc. System and method for locating a target using RFID
KR101114722B1 (ko) * 2005-02-11 2012-02-29 삼성전자주식회사 걸음을 기반으로 하는 경로 안내 장치 및 방법
US20070135225A1 (en) * 2005-12-12 2007-06-14 Nieminen Heikki V Sport movement analyzer and training device
US8055469B2 (en) * 2006-03-03 2011-11-08 Garmin Switzerland Gmbh Method and apparatus for determining the attachment position of a motion sensing apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002034073A (ja) * 2000-07-14 2002-01-31 Railway Technical Res Inst 利用者案内システム
JP2003050867A (ja) * 2001-08-08 2003-02-21 Nippon Signal Co Ltd:The 歩行者等健康チェック支援方法及びその装置
JP2003167900A (ja) * 2001-11-29 2003-06-13 Ntt Docomo Inc プッシュ型情報提供方法、プッシュ型情報提供システム及び利用者情報管理装置
JP2003303265A (ja) * 2002-02-08 2003-10-24 Mitsubishi Electric Information Systems Corp 施設情報配信サーバ及び施設情報配信方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム
JP2005024517A (ja) * 2003-07-04 2005-01-27 Railway Technical Res Inst 移動者案内サーバ
JP2005050050A (ja) * 2003-07-31 2005-02-24 Nippon Telegr & Teleph Corp <Ntt> 情報通知方法及びシステム、情報通知サーバ及びプログラム、情報通知プログラムを記録した記録媒体

Cited By (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008262251A (ja) * 2007-04-10 2008-10-30 Mitsubishi Electric Corp 情報処理装置及び情報処理方法及び情報処理プログラム
WO2008153132A1 (ja) * 2007-06-15 2008-12-18 Olympus Corporation 制御システム、プログラム及び情報記憶媒体
WO2008153131A1 (ja) * 2007-06-15 2008-12-18 Olympus Corporation 携帯型電子機器、プログラム及び情報記憶媒体
JP2008310680A (ja) * 2007-06-15 2008-12-25 Olympus Corp 制御システム、プログラム及び情報記憶媒体
JP2008312047A (ja) * 2007-06-15 2008-12-25 Olympus Corp 携帯型電子機器、プログラム及び情報記憶媒体
JP2009053911A (ja) * 2007-08-27 2009-03-12 Seiko Instruments Inc 歩数計
JP2009176130A (ja) * 2008-01-25 2009-08-06 Olympus Corp 情報提示システム、プログラム及び情報記憶媒体
JP2009181478A (ja) * 2008-01-31 2009-08-13 Ntt Docomo Inc コンディション推定装置、及び、コンディション推定プログラム
JP2009181476A (ja) * 2008-01-31 2009-08-13 Ntt Docomo Inc シチュエーション推定装置、及び、シチュエーション推定プログラム
JP2009190668A (ja) * 2008-02-18 2009-08-27 Toyota Motor Corp 交通機関情報取得装置、車載装置、交通機関情報提供システム
JP2009224898A (ja) * 2008-03-13 2009-10-01 Toshiba Corp 移動通信装置
JP2009282442A (ja) * 2008-05-26 2009-12-03 Hyogo College Of Medicine 手指衛生励行システム
JP2010061402A (ja) * 2008-09-03 2010-03-18 Olympus Corp 情報提示システム、プログラム及び情報記憶媒体
JP2010072811A (ja) * 2008-09-17 2010-04-02 Olympus Corp 情報処理システム、プログラム及び情報記憶媒体
US8229877B2 (en) 2008-09-17 2012-07-24 Olympus Corporation Information processing system, information processing method, and computer program product
JP2010165112A (ja) * 2009-01-14 2010-07-29 National Institute Of Information & Communication Technology モバイル端末用センサー情報システム
JP2010194140A (ja) * 2009-02-26 2010-09-09 Hitachi Ltd データ解析装置及びプログラム
JP2012104127A (ja) * 2009-06-16 2012-05-31 Intel Corp 携帯型無線機器のインテリジェントなグラフィックスインタフェース
JP2011002890A (ja) * 2009-06-16 2011-01-06 Nec Fielding Ltd 通信端末を用いた案内方法、そのシステム、その通信端末、そのデータセンタ及びそのプログラム
JP2011018123A (ja) * 2009-07-07 2011-01-27 Toshiba Corp 端末装置及びコンテンツのレコメンド方法
JP2013513138A (ja) * 2009-09-29 2013-04-18 テルコーディア テクノロジーズ インコーポレイテッド リソースが有限であるストリーム計算アプリケーション向けの、関連のある因果的なコンテキスト履歴の捕捉、送信、および再構築の可能化
JP2011090426A (ja) * 2009-10-21 2011-05-06 Omron Healthcare Co Ltd 体動検出装置
WO2011049001A1 (ja) * 2009-10-21 2011-04-28 オムロンヘルスケア株式会社 体動検出装置
CN102481128A (zh) * 2009-10-21 2012-05-30 欧姆龙健康医疗事业株式会社 体动检测装置
US9766090B2 (en) 2009-10-21 2017-09-19 Omron Healthcare Co., Ltd. Body movement detection device
CN102481128B (zh) * 2009-10-21 2014-07-09 欧姆龙健康医疗事业株式会社 体动检测装置
JP2011106866A (ja) * 2009-11-13 2011-06-02 Nakayo Telecommun Inc スケジュール管理装置
JP2011210075A (ja) * 2010-03-30 2011-10-20 Equos Research Co Ltd 情報提供装置
JP2014506089A (ja) * 2011-02-21 2014-03-06 エンパイア テクノロジー ディベロップメント エルエルシー ワイヤレス通信を改良するための帯域外情報の使用
US8903325B2 (en) 2011-02-21 2014-12-02 Empire Technology Development Llc Using out-band information to improve wireless communications
JP2019091486A (ja) * 2011-03-14 2019-06-13 株式会社ニコン 装置およびプログラム
JP2017076382A (ja) * 2011-03-14 2017-04-20 株式会社ニコン 装置およびプログラム
JP2012212364A (ja) * 2011-03-31 2012-11-01 Sony Corp 情報処理装置、情報処理方法、プログラム、及び記録媒体
JP2014527222A (ja) * 2011-07-14 2014-10-09 クアルコム,インコーポレイテッド 動的包摂推理
JP2013157686A (ja) * 2012-01-27 2013-08-15 Nec Access Technica Ltd 情報収集装置、情報提供システム、情報提供方法および情報提供プログラム
JP2013020655A (ja) * 2012-11-01 2013-01-31 Zenrin Datacom Co Ltd 属性特定システム、属性特定方法、および、コンピュータプログラム
WO2014083779A1 (ja) * 2012-11-30 2014-06-05 パナソニック株式会社 情報提供方法
US10318994B2 (en) 2012-11-30 2019-06-11 Panasonic Intellectual Property Corporation Of America Information providing method
JPWO2014083779A1 (ja) * 2012-11-30 2017-01-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報提供方法
JPWO2014083778A1 (ja) * 2012-11-30 2017-01-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報提供方法
US11392992B2 (en) 2012-11-30 2022-07-19 Panasonic Intellectual Property Corporation Of America Information providing method
JP2017191611A (ja) * 2012-11-30 2017-10-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報処理方法
US10373208B2 (en) 2012-11-30 2019-08-06 Panasonic Intellectual Property Corporation Of America Information providing method
WO2014083778A1 (ja) * 2012-11-30 2014-06-05 パナソニック株式会社 情報提供方法
JP2014160304A (ja) * 2013-02-19 2014-09-04 Casio Comput Co Ltd 情報処理装置、情報処理方法及びプログラム
JP2015011699A (ja) * 2013-06-28 2015-01-19 ヒョンデ エムエヌソフト インコーポーレイティッドHYUNDAI MNSOFT,Inc. コンテンツ提供装置、その提供方法及びサーバ
JP2016183895A (ja) * 2015-03-26 2016-10-20 株式会社ゼンリンデータコム 経路案内装置
JP2017517829A (ja) * 2015-04-29 2017-06-29 シャオミ・インコーポレイテッド 情報提示の方法及び装置
JP2018010620A (ja) * 2016-07-04 2018-01-18 カシオ計算機株式会社 電子機器、選択制御システム、選択方法、及びプログラム
CN107580292A (zh) * 2016-07-04 2018-01-12 卡西欧计算机株式会社 电子设备、选择控制系统、选择方法以及记录介质
US10574756B2 (en) 2016-07-04 2020-02-25 Casio Computer Co., Ltd. Electronic device, selection control system, selection method, and recording medium
JP2017111158A (ja) * 2017-01-31 2017-06-22 株式会社ゼンリン ナビゲーションシステム
JP2018128747A (ja) * 2017-02-06 2018-08-16 ソフトバンク株式会社 データ処理装置、データ処理方法及びプログラム
JP2018151735A (ja) * 2017-03-10 2018-09-27 新日鉄住金ソリューションズ株式会社 情報処理装置、システム、情報処理方法及びプログラム
JP2018166641A (ja) * 2017-03-29 2018-11-01 トヨタ自動車株式会社 睡眠管理システム
JP2020106953A (ja) * 2018-12-26 2020-07-09 セコム株式会社 警備システム
JP7128109B2 (ja) 2018-12-26 2022-08-30 セコム株式会社 警備システム
WO2020209117A1 (ja) * 2019-04-08 2020-10-15 日本電気株式会社 ストレス推定装置、ストレス推定方法およびコンピュータ読み取り可能な記録媒体
JPWO2020209117A1 (ja) * 2019-04-08 2020-10-15
JP7136341B2 (ja) 2019-04-08 2022-09-13 日本電気株式会社 ストレス推定装置、ストレス推定方法およびプログラム

Also Published As

Publication number Publication date
US7996177B2 (en) 2011-08-09
JP4759304B2 (ja) 2011-08-31
US20060230108A1 (en) 2006-10-12

Similar Documents

Publication Publication Date Title
JP4759304B2 (ja) 情報表示システム
JP2011138530A (ja) 情報表示システム
US10262449B2 (en) Information processing apparatus, system, and method for displaying bio-information or kinetic information
JP3846844B2 (ja) 身体装着型生活支援装置
JP4327825B2 (ja) 身体装着型生活支援装置および方法
US8795184B2 (en) Wireless plethysmogram sensor unit, a processing unit for plethysmogram and a plethysmogram system
CA2942852C (en) Wearable computing apparatus and method
US8684922B2 (en) Health monitoring system
JP3931889B2 (ja) 画像表示システム、画像表示装置、画像表示方法
US6942615B2 (en) Life support apparatus and method for providing advertisement information
EP3918816A1 (en) Detection of physical abuse or neglect using data from ear-wearable devices
US20130141235A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with data-capable band
US20100070456A1 (en) Information processing system, information processing method, and computer program product
US20140129007A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
US20140129243A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
JP6803299B2 (ja) システム及び方法
WO2019021653A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2007212421A (ja) 自動車用もてなし情報提供システム
US20140129242A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
CA2795978A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
US20140125493A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
US20140125480A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
US20140127649A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
US20140125481A1 (en) General health and wellness management method and apparatus for a wellness application using data associated with a data-capable band
Arakawa Sensing and changing human behavior for workplace wellness

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101001

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110126

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110525

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110606

R151 Written notification of patent or utility model registration

Ref document number: 4759304

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140610

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250