JP2008009504A - Information display system - Google Patents

Information display system Download PDF

Info

Publication number
JP2008009504A
JP2008009504A JP2006176547A JP2006176547A JP2008009504A JP 2008009504 A JP2008009504 A JP 2008009504A JP 2006176547 A JP2006176547 A JP 2006176547A JP 2006176547 A JP2006176547 A JP 2006176547A JP 2008009504 A JP2008009504 A JP 2008009504A
Authority
JP
Japan
Prior art keywords
information
measurement
user
display
measurement result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006176547A
Other languages
Japanese (ja)
Other versions
JP4961172B2 (en
Inventor
Ryohei Sugihara
良平 杉原
Seiji Tatsuta
成示 龍田
Yoichi Iba
陽一 井場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2006176547A priority Critical patent/JP4961172B2/en
Publication of JP2008009504A publication Critical patent/JP2008009504A/en
Application granted granted Critical
Publication of JP4961172B2 publication Critical patent/JP4961172B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Generation (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To vary the display of a constructed object on a PC according to a user's behavior and emotional movements and his or her ambient environment. <P>SOLUTION: This information display system has at least one means selected from among an action measuring part 201 for measuring the movement of each body part of the user U, a biological information measuring part 202 for measuring biological information about the body of the user U, and an environment measuring part 203 for measuring the ambient environment of the user U; a measurement result storage part 204 for storing measurement results from the at least one means; a computing part 205 for using some or all of the measurements from the at least one means and/or some or all of the numerical values included in measurement result storage information stored in the measurement result storage part 204 for computing; an information database 208 for storing predetermined information; and a display part 210 for displaying an avatar. The details of the avatar displayed by the display part 210 varies according to the output of the computing part 205. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、使用者の身体に装着可能な計測手段により使用者の状態・環境を計測し、使用者の状況に合わせて構築物の表示内容を変化させる情報表示システムに関するものである。   The present invention relates to an information display system that measures the state / environment of a user by a measuring means that can be worn on the user's body, and changes the display content of a structure in accordance with the user's situation.

従来、ソフトウエアによる構築物を表示する方法が知られている(例えば、特許文献1、2参照。)。一例を挙げると、例えばパーソナル・コンピュータ(PC)上に一般的にキャラクターまたはアバタと称する構築物が構成される。そして、利用者の指示に従ってキャラクターやアバタの表情、服装を変化させる表示方法がある。また、ゲーム等では利用者の腕や足に装着したセンサを用いてその動きを構築物の動きに反映させる表示方法やシステムがある。   Conventionally, a method for displaying a structure by software is known (for example, see Patent Documents 1 and 2). For example, a structure generally called a character or an avatar is constructed on a personal computer (PC), for example. There is a display method in which the character and avatar's facial expression and clothes are changed according to the user's instructions. In addition, in a game or the like, there is a display method or system in which the movement is reflected on the movement of the structure using a sensor attached to the user's arm or leg.

特開2002−233507号公報JP 2002-233507 A 特開平10−319831号公報JP-A-10-319831

しかしながら、従来技術のシステムにおいては、利用者の感情的な起伏に応じてPC上の構築物の表示を変化させ、表示させる方法がなかった。   However, in the prior art system, there is no method for changing the display of the structure on the PC in accordance with the emotional undulation of the user.

また、利用者の周囲環境に応じてPC上の構築物の表示を変化させ、表示させる方法もなかった。   Further, there is no method for changing the display of the structure on the PC according to the surrounding environment of the user.

さらに、複数の利用者の利用者の行動、身体の生体情報と、周囲環境により一つの構築物がその表示を変化させることも行っていない。   Furthermore, one structure does not change the display according to the behaviors of a plurality of users, the biological information of the body, and the surrounding environment.

本発明は、上記に鑑みてなされたものであって、利用者の行動、感情的な動きや周囲環境に応じてソフトウエア上の構築物の表示を変化させること、または複数の利用者の行動、感情的な動きや周囲環境に応じてソフトウエア上の構築物の表示を変化させることにより、情報表示システムが有する情報提供の性能を一段と向上させることを目的とする。   The present invention has been made in view of the above, and changes the display of the structure on the software according to the user's behavior, emotional movement and surrounding environment, or the behavior of a plurality of users, An object is to further improve the information providing performance of the information display system by changing the display of the structure on the software according to the emotional movement and the surrounding environment.

上述した課題を解決し、目的を達成するために、本発明によれば、使用者の身体に付けるか、使用者が携帯する計測手段によって、使用者の身体の各部分の動きを計測する行動計測手段と、前記使用者の身体の生体情報を計測する生体情報計測手段と、前記使用者の周囲環境を計測する環境計測手段との少なくとも一つの手段と、前記行動計測手段と前記生体情報計測手段と前記環境計測手段との少なくとも一つからの計測結果を計測結果記憶情報として記憶する計測結果記憶手段と、前記行動計測手段と前記生体情報計測手段と前記環境計測手段との少なくとも一つからの計測結果の一部または全部、及び/または前記計測結果記憶手段に記憶されている前記計測結果記憶情報の一部または全部の数値を用いて演算する演算手段と、ソフトウエアとして構成された構築物を少なくとも表示するための表示手段と、を有し、前記表示手段により表示される前記構築物の表示内容が、前記演算手段の出力に基づいて変化することを特徴とする情報表示システムを提供できる。   In order to solve the above-described problems and achieve the object, according to the present invention, the action of measuring the movement of each part of the user's body with the measuring means attached to the user's body or carried by the user. At least one means of a measuring means, a biological information measuring means for measuring biological information of the user's body, and an environmental measuring means for measuring the surrounding environment of the user, the behavior measuring means, and the biological information measurement Measurement result storage means for storing measurement results from at least one of the means and the environment measurement means as measurement result storage information; from at least one of the behavior measurement means, the biological information measurement means, and the environment measurement means A calculation means for calculating using a part or all of the measurement results and / or a part or all of the numerical values of the measurement result storage information stored in the measurement result storage means, and software Display means for displaying at least a structure configured as air, and the display content of the structure displayed by the display means changes based on the output of the calculation means A display system can be provided.

また、本発明によれば、複数の使用者の身体に付けるか、使用者が携帯する計測手段によって、使用者の身体の各部分の動きを計測する行動計測手段と、複数の前記使用者の身体の生体情報を計測する生体情報計測手段と、複数の前記使用者の周囲環境を計測する環境計測手段との少なくとも一つの手段と、前記行動計測手段と前記生体情報計測手段と前記環境計測手段との少なくとも一つからの計測結果を計測結果記憶情報として記憶する計測結果記憶手段と、前記行動計測手段と前記生体情報計測手段と前記環境計測手段との少なくとも一つからの計測結果の一部または全部、及び/または前記計測結果記憶手段に記憶されている前記計測結果記憶情報の一部または全部の数値を用いて演算する演算手段と、ソフトウエアとして構成された構築物を少なくとも表示するための表示手段と、を有し、前記表示手段により表示される前記構築物の表示内容が、複数の前記使用者に対応した前記演算手段の出力に基づいて変化することを特徴とする情報表示システムを提供できる。   Further, according to the present invention, the action measuring means for measuring the movement of each part of the user's body by the measuring means attached to or carried by the user, the plurality of the user's bodies, At least one of biological information measuring means for measuring biological information of the body and environmental measuring means for measuring the surrounding environment of the plurality of users, the behavior measuring means, the biological information measuring means, and the environmental measuring means A part of the measurement results from at least one of the measurement result storage means for storing measurement results from at least one of the measurement results as measurement result storage information, the behavior measurement means, the biological information measurement means, and the environment measurement means Or a calculation means for calculating using all or a part or all of the measurement result storage information stored in the measurement result storage means, and software. Display means for displaying at least a structure, and the display content of the structure displayed by the display means changes based on outputs of the computing means corresponding to a plurality of the users. An information display system can be provided.

また、本発明の好ましい態様によれば、前記表示手段は、前記構築物を開示する相手と前記使用者との関係に応じて、前記構築物の構成内容を変えて表示することが望ましい。   Moreover, according to a preferable aspect of the present invention, it is desirable that the display means displays the structure by changing the content of the structure according to the relationship between the user who discloses the structure and the user.

また、本発明の好ましい態様によれば、さらに、係数を記憶する係数記憶手段を有し、前記演算手段は、乗算機能と加算機能を備え、前記演算手段は、前記計測結果、及び/または前記計測結果記憶手段に記憶されている前記計測結果記憶情報の一部または全部の値に前記係数記憶手段の係数を乗算し、その乗算結果を加算し、多次元の演算結果を出力することが望ましい。   Further, according to a preferred aspect of the present invention, there is further provided coefficient storage means for storing a coefficient, wherein the calculation means includes a multiplication function and an addition function, and the calculation means includes the measurement result and / or the It is desirable to multiply a part or all of the values of the measurement result storage information stored in the measurement result storage means by the coefficient of the coefficient storage means, add the multiplication results, and output a multidimensional calculation result. .

また、本発明の好ましい態様によれば、前記計測結果記憶手段は、前記行動計測手段と前記生体情報計測手段と前記環境計測手段との少なくとも一つからの前記計測結果、及び前記計測結果が計測された日時情報を共に記憶することが望ましい。   According to a preferred aspect of the present invention, the measurement result storage unit is configured to measure the measurement result from at least one of the behavior measurement unit, the biological information measurement unit, and the environment measurement unit, and the measurement result. It is desirable to store the date and time information that has been recorded together.

また、本発明の好ましい態様によれば、さらに第二の記憶手段を有し、前記第二の記憶手段は、前記表示手段により表示される前記構築物の前記演算手段の出力に基づいて変化した前記表示内容、及び前記計測結果が計測された日時情報を記憶することが望ましい。   Further, according to a preferred aspect of the present invention, the apparatus further comprises second storage means, and the second storage means changes based on the output of the calculation means of the structure displayed by the display means. It is desirable to store the display contents and date / time information when the measurement result is measured.

本発明に係る情報表示システムによれば、利用者の行動、感情的な動きや周囲環境に応じてソフトウエア上の構築物の表示を変化させること、または複数の利用者の行動、感情的な動きや周囲環境に応じてソフトウエア上の構築物の表示を変化させることにより、情報表示システムが有する情報提供の性能を一段と向上させることができる。   According to the information display system of the present invention, the display of the structure on the software is changed according to the user's behavior, emotional movement and the surrounding environment, or the behavior and emotional movement of a plurality of users. The information display performance of the information display system can be further improved by changing the display of the structure on the software according to the surrounding environment.

以下に、本発明に係る情報表示システムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。   Embodiments of an information display system according to the present invention will be described below in detail with reference to the drawings. Note that the present invention is not limited to the embodiments.

図1は、本発明の実施例に係る情報表示システムの概略構成を示している。本情報表示システムは、ユーザUが装着する各種センサ群と、情報表示部102と、モバイルコンピュータ101とから構成されている。図2は、情報表示システム100の機能ブロックを示している。   FIG. 1 shows a schematic configuration of an information display system according to an embodiment of the present invention. The information display system includes various sensor groups worn by a user U, an information display unit 102, and a mobile computer 101. FIG. 2 shows functional blocks of the information display system 100.

まず、ユーザUが装着するデバイス、センサ群について説明する。ユーザUは、屋内外センサ110と、GPS(Global Positioning System;全地球測位システム)111と、足圧力センサ112と、発話・咀嚼・特定環境音センサ113と、腕時計型運動計測センサ114と、心拍数センサ115、体温センサ116、抹消皮膚温度センサ117、発汗センサ118、顔色センサ119、瞳孔の大きさセンサ120、周囲温度センサ121、周辺湿度センサ122、周辺光度センサ123を身体に装着している。   First, a device and a sensor group worn by the user U will be described. The user U includes an indoor / outdoor sensor 110, a GPS (Global Positioning System) 111, a foot pressure sensor 112, a speech / mastication / specific environmental sound sensor 113, a wristwatch-type motion measurement sensor 114, a heart rate Number sensor 115, body temperature sensor 116, peripheral skin temperature sensor 117, sweat sensor 118, facial color sensor 119, pupil size sensor 120, ambient temperature sensor 121, ambient humidity sensor 122, and ambient light intensity sensor 123 are worn on the body. .

これらのセンサを、以下、適宜「センサ110等」という。センサ110等は、行動計測手段、生体情報計測手段、環境計測手段に対応する。また、ユーザUは、情報表示部102を頭部の一方の眼の近傍に装着している。次に、各種センサについて説明する。   These sensors are hereinafter referred to as “sensor 110 etc.” as appropriate. The sensor 110 and the like correspond to behavior measuring means, biological information measuring means, and environment measuring means. The user U wears the information display unit 102 in the vicinity of one eye of the head. Next, various sensors will be described.

(屋内外センサ)
屋内外センサ110は、ユーザUが屋内に存在するか、または屋外に存在するかの検出、判定を行う。屋内外センサ110は、照射部と受信部と判定部とを備えている。照射部は、例えば超音波を反射対象物、天井へ向かって照射し、反射して戻ってくるまでの時間で判定・計測する。また、屋内外センサ110は、超音波に限られず、以下の方式を用いるものでも良い。
(1)レーザーや赤外領域の光を照射してその反射を検出するアクティブ光方式(一般的な距離センサの応用)、
(2)紫外領域の光を検出するパッシブ紫外線方式(屋内外で紫外線量が異なることを利用)、
(3)焦電センサにより、上方向の空間温度(雲などからの赤外線量)を測定するパッシブ赤外線方式(天井と空とで温度が異なることを利用)、
(4)マイクにより騒音を測定するパッシブ騒音方式(屋内外で騒音スペクトルパターンが異なることを利用)。
(Indoor / outdoor sensor)
The indoor / outdoor sensor 110 detects and determines whether the user U exists indoors or outdoors. The indoor / outdoor sensor 110 includes an irradiation unit, a reception unit, and a determination unit. For example, the irradiating unit irradiates ultrasonic waves toward the object to be reflected and the ceiling, and determines and measures the time until the light is reflected and returned. The indoor / outdoor sensor 110 is not limited to ultrasonic waves, and may use the following method.
(1) Active light method (application of general distance sensors) that detects reflection by irradiating laser or infrared light.
(2) Passive UV method for detecting light in the UV region (utilizing different amounts of UV light indoors and outdoors),
(3) Passive infrared method (utilizing the difference in temperature between the ceiling and the sky) that measures the upward space temperature (the amount of infrared rays from clouds, etc.) with a pyroelectric sensor,
(4) A passive noise method in which noise is measured with a microphone (utilizing that the noise spectrum pattern is different indoors and outdoors).

(GPS)
ユーザUは、GPS111を身体に装着している。GPS111により、ユーザUの所在位置を検出できる。また、GPS111の代わりに、携帯電話の位置情報サービスを用いることできる。
(GPS)
User U wears GPS 111 on his body. The location of the user U can be detected by the GPS 111. Further, a location information service of a mobile phone can be used instead of the GPS 111.

(足圧力センサ)
足圧力センサ112は、ユーザUが履いている靴にかかる足裏の圧力分布を検出する。そして、足圧力センサ112は、ユーザUの立ち状態、座り状態、歩行状態を計測・判定する。
(Foot pressure sensor)
The foot pressure sensor 112 detects the pressure distribution of the sole applied to the shoes worn by the user U. The foot pressure sensor 112 measures and determines the standing state, the sitting state, and the walking state of the user U.

(発話・咀嚼・特定環境音センサ)
発話・咀嚼・特定環境音センサ113は、ユーザUが発話している状態か、すなわち会話中か、または咀嚼している状態か、即ち食事中であるかの可能性を計測する。さらにあらかじめ登録した複数の環境のどこにユーザUがいるかの可能性を計測する。発話・咀嚼・特定環境音センサ113は、ユーザUの一方の耳に装着するイヤホン型センサである。イヤホン型センサの一つの筐体内には、骨伝導マイクと外界音マイクとが内蔵されている。
(Speech / mastication / specific environmental sound sensor)
The utterance / mastication / specific environmental sound sensor 113 measures the possibility that the user U is speaking, that is, talking, or chewing, ie, eating. Further, the possibility of where the user U is in a plurality of previously registered environments is measured. The utterance / mastication / specific environmental sound sensor 113 is an earphone sensor that is worn on one ear of the user U. A bone conduction microphone and an external sound microphone are built in one housing of the earphone type sensor.

骨伝導マイクは、体内音を検出する。体内音とは、ユーザUの発話・咀嚼時に体内から生じ、体内を伝播する振動である。体内音の具体例は、声帯振動や歯が食物を噛み切る音、食物が咽喉を通過する音、あご関節が動く音等である。外界音マイクは、ユーザのいる環境の外界音を検出する。外界音には、環境の雑音に加え、ユーザUの発声に応じて、体外へ伝播する振動、即ち音声が含まれる。   The bone conduction microphone detects body sounds. The body sound is vibration that is generated from the body and propagates through the body when the user U speaks and chews. Specific examples of body sounds are vocal cord vibration, the sound of teeth biting food, the sound of food passing through the throat, the sound of movement of the chin joint, and the like. The external sound microphone detects external sound in the environment where the user is present. In addition to environmental noise, the external sound includes vibration that propagates outside the body in response to the voice of the user U, that is, sound.

骨伝導マイク、および、外界音マイクの捕らえる音の第1の単位時間T(例えば100ms)におけるパワーをそれぞれP、Pとするとき、Pが第1の閾値Cよりも大きく、かつ、Pが第2の閾値Cよりも小さい場合は、咀嚼に伴う音を検出したものとし、咀嚼検出数Nを加算する。そして、第2の単位時間T(例えば2s)における咀嚼検出率(N×T/T)を計測値とすることで、この計測値は第2の単位時間Tにおける咀嚼可能性を示すことが出来る。
同様に、Pが第3の閾値Cよりも大きく、かつ、Pが第4の閾値Cよりも大きい場合は、発話に伴う音を検出したものとし、発話検出数Nを加算する。そして、第2の単位時間T(例えば2s)における咀嚼検出率(N×T/T)を計測値とすることで、この計測値は第2の単位時間Tにおける発話可能性を示すことが出来る。
さらに、外界音マイクの捕らえる音のレベルと周波数を解析することで、ユーザUを取り巻く環境をある程度推定出来る。例えば電車の中、バスの中、飛行機の中の外界音マイクで捕らえた騒音の、レベルの揺らぎパターンと周波数分布をあらかじめ計測しておき、実際にユーザUが身につけた外界音マイクの捕らえた音を、あらかじめ計測した前記の揺らぎや周波数分布と比較をすることで、ユーザがどの乗り物の中にいるかを推定することができるので、例えば飛行機の中の騒音との相関係数を計測値とすれば、飛行機の中にいる可能性を示すことができる。
When the power in the first unit time T 1 (for example, 100 ms) of the sound captured by the bone conduction microphone and the external sound microphone is P 1 and P 2 , respectively, P 1 is larger than the first threshold C 1 , and, the P 2 when the second is smaller than the threshold value C 2 is assumed that detected the sound associated with chewing, adds the mastication detection number N 1. Then, by using the mastication detection rate (N 1 × T 1 / T 2 ) in the second unit time T 2 (for example, 2 s ) as a measurement value, this measurement value is the possibility of mastication in the second unit time T 2 . Can be shown.
Similarly, when P 1 is larger than the third threshold C 3 and P 2 is larger than the fourth threshold C 4 , it is assumed that the sound accompanying the utterance is detected, and the utterance detection number N 2 is added. To do. Then, by using the mastication detection rate (N 2 × T 1 / T 2 ) in the second unit time T 2 (for example, 2 s ) as a measurement value, this measurement value can be uttered in the second unit time T 2 . Can be shown.
Furthermore, the environment surrounding the user U can be estimated to some extent by analyzing the level and frequency of the sound captured by the external sound microphone. For example, the level fluctuation pattern and frequency distribution of noise captured by an external sound microphone in a train, bus, or airplane were measured in advance, and the external sound microphone actually worn by the user U was captured. By comparing the sound with the previously measured fluctuation and frequency distribution, it is possible to estimate which vehicle the user is in. For example, the correlation coefficient with the noise in the airplane is used as the measured value. Then you can show the possibility of being in an airplane.

(腕装着型運動計測センサ)
腕装着型運動計測センサ114(以下、適宜「運動計測センサ」という。)は、ユーザUの腕の動きを検出する。運動計測センサ114は、加速度センサや角速度センサを備えている。そして、上述した足圧力センサ112の検出結果と合わせてユーザUの日常動作、歩行状態をさらに正確に同定することができる。なお、腕に装着する方法は、例えば腕時計タイプ、または腕に貼付するタイプ等が挙げられる。
(Arm-mounted motion measurement sensor)
The arm-mounted motion measurement sensor 114 (hereinafter referred to as “motion measurement sensor” as appropriate) detects the movement of the user U's arm. The motion measurement sensor 114 includes an acceleration sensor and an angular velocity sensor. Then, it is possible to more accurately identify the daily action and walking state of the user U together with the detection result of the foot pressure sensor 112 described above. Examples of the method of wearing on the arm include a wristwatch type or a type attached to the arm.

(心拍数センサ)
心拍数計測センサ115は、指または耳に装着し、拍動に伴う血流の変化を赤外光の透過率や反射率の変化で計測する。
(Heart rate sensor)
A heart rate measurement sensor 115 is attached to a finger or ear and measures changes in blood flow associated with pulsation by changes in infrared light transmittance and reflectance.

(体温センサ)
体温センサ116は、例えば、サーミスタ、放射温度計、熱電対による温度センサを用いて体温を計測する。
(Body temperature sensor)
The body temperature sensor 116 measures body temperature using, for example, a thermistor, a radiation thermometer, or a temperature sensor using a thermocouple.

(抹消皮膚温度センサ)
抹消皮膚温度センサ117は、例えば、サーミスタ、放射温度計、熱電対による温度センサを用いて抹消皮膚温度を計測する。
(Erase skin temperature sensor)
The peripheral skin temperature sensor 117 measures the peripheral skin temperature using, for example, a thermistor, a radiation thermometer, or a thermocouple temperature sensor.

(発汗センサ)
発汗センサ118は、例えば、皮膚の表面抵抗の変化により皮膚の発汗を計測する。
(Sweating sensor)
The perspiration sensor 118 measures the perspiration of the skin by, for example, a change in the surface resistance of the skin.

(顔色センサ)
顔色センサ119は、例えば、顔面近くに光センサを配置し、複数の光学的バンドパスフィルタ通過後の光度を比較して計測する。
(Face color sensor)
The face color sensor 119, for example, arranges an optical sensor near the face, and measures the light intensity after passing through a plurality of optical bandpass filters.

(瞳孔の大きさセンサ)
瞳孔の大きさセンサ120は、例えば、瞳孔近くにカメラを設置し、カメラからの信号を解析し瞳孔の大きさを計測する。
(Pupil size sensor)
The pupil size sensor 120, for example, installs a camera near the pupil, analyzes a signal from the camera, and measures the size of the pupil.

(周辺温度センサ)
周辺温度センサ121は、例えば、サーミスタ、放射温度計、熱電対による温度センサを用いて外界温度を計測する。
(Ambient temperature sensor)
The ambient temperature sensor 121 measures the ambient temperature using, for example, a thermistor, a radiation thermometer, or a temperature sensor using a thermocouple.

(周辺湿度センサ)
周辺湿度センサ122は、例えば、湿度によって電気抵抗が変化するセンサを用いた湿度センサによって計測する。
(Ambient humidity sensor)
For example, the ambient humidity sensor 122 is measured by a humidity sensor using a sensor whose electrical resistance changes depending on humidity.

(周辺光度センサ)
周辺光度センサ123は、例えば、光電素子を用いたセンサによって周囲の光度を計測する。
(Ambient light intensity sensor)
The ambient light intensity sensor 123 measures the ambient light intensity using, for example, a sensor using a photoelectric element.

(情報表示部)
ユーザUは、後述する情報を表示する情報表示部102を頭部に装着している。情報表示部102は、例えば頭部に装着する小型、軽量のディスプレイ・ユニットであるが、これに限らず、ヘッドフォン、バイブレーターなどの、何等かの手段で情報を提示する機器で構成してもよい。
(Information display section)
The user U wears on the head an information display unit 102 that displays information to be described later. The information display unit 102 is, for example, a small and lightweight display unit worn on the head, but is not limited thereto, and may be configured by a device that presents information by any means such as headphones or a vibrator. .

(モバイルコンピュータ)
次に、モバイルコンピュータ101について説明する。モバイルコンピュータ101は、5つの機能を有している。1番目の機能は、上述した各センサ110等からの情報を集約することである。2番目の機能は、各センサ110等の計測結果を基に演算することである。3番目の機能は、演算結果に基づいて、後述する表示情報データベース208から情報を取り込む機能である。4番目の機能は、取り込んだ情報を情報表示部102に転送する機能である。5番目の機能は、外部と通信(交信)し情報を取得する機能である。モバイルコンピュータ101は上記5つの機能を有していればなんでもよく、携帯電話やポータブルオーディオプレイヤーなどの携帯機器を利用してもよい。
(Mobile computer)
Next, the mobile computer 101 will be described. The mobile computer 101 has five functions. The first function is to collect information from each sensor 110 described above. The second function is to calculate based on the measurement results of each sensor 110 and the like. The third function is a function for fetching information from the display information database 208 described later based on the calculation result. The fourth function is a function for transferring the captured information to the information display unit 102. The fifth function is a function of communicating (communication) with the outside to acquire information. The mobile computer 101 may be anything as long as it has the above five functions, and may use a portable device such as a mobile phone or a portable audio player.

(センサ情報集約機能)
本発明で使用する各センサ110等の出力は、一般的にはアナログ出力である。このままではモバイルコンピュータ101で処理しにくい。このため、アナログ・ディジタル変換機能をセンサに付加することが望ましい。
(Sensor information aggregation function)
The outputs of the sensors 110 and the like used in the present invention are generally analog outputs. In this state, it is difficult for the mobile computer 101 to process. For this reason, it is desirable to add an analog / digital conversion function to the sensor.

図2において、行動計測部201は、GPS111と、足圧力センサ112と、発話・咀嚼・特定環境音センサ113と、腕時計型運動計測センサ114と、発話・咀嚼センサ113を含んでいる。また、行動計測部201は、少なくともユーザUの、腕の動きと、足の動きと、頭の動き、音声と、体内音とのいずれか一つを含むことが望ましい。   In FIG. 2, the behavior measuring unit 201 includes a GPS 111, a foot pressure sensor 112, an utterance / mastication / specific environment sound sensor 113, a wristwatch-type motion measurement sensor 114, and an utterance / mastication sensor 113. In addition, it is desirable that the behavior measurement unit 201 includes at least one of the arm movement, the leg movement, the head movement, the voice, and the body sound of the user U.

また、行動計測部201には、予め格納されているユーザの予定行動データを計測データとして取り込むことが望ましい。   In addition, it is desirable that the behavior measurement unit 201 captures user's scheduled behavior data stored in advance as measurement data.

また、行動計測部201は、ユーザの周囲環境を計測する環境計測部203による計測結果の過去データを演算時のデータとして取り込むことが望ましい。   In addition, it is desirable that the behavior measurement unit 201 captures past data of measurement results from the environment measurement unit 203 that measures the user's surrounding environment as data at the time of calculation.

生体情報計測部202は、心拍数センサ115、体温センサ116、抹消皮膚温度センサ117、発汗センサ118、顔色センサ119、瞳孔の大きさセンサ120を含んでいる。   The biological information measuring unit 202 includes a heart rate sensor 115, a body temperature sensor 116, a peripheral skin temperature sensor 117, a sweat sensor 118, a face color sensor 119, and a pupil size sensor 120.

環境計測部203は、周囲温度センサ121、周辺湿度センサ122、周辺光度センサ123を含んでいる。   The environment measurement unit 203 includes an ambient temperature sensor 121, an ambient humidity sensor 122, and an ambient light intensity sensor 123.

各センサ110等は、さらに、モバイルコンピュータ101と無線により通信(交信)する通信部211を有している。通信部211は、送受信機能を備えている。各センサ110等とモバイルコンピュータ101間の無線通信は、時分割、周波数分割、または、スペクトロ拡散方式のいずれかにより、多重通信を行うことができる。   Each sensor 110 and the like further includes a communication unit 211 that communicates (communicates) with the mobile computer 101 wirelessly. The communication unit 211 has a transmission / reception function. Wireless communication between each sensor 110 or the like and the mobile computer 101 can be performed by multiplex communication by any one of time division, frequency division, or spectrospreading.

次に、本実施例における処理の手順について説明する。図3は、処理の流れを示すフローチャートである。   Next, a processing procedure in the present embodiment will be described. FIG. 3 is a flowchart showing the flow of processing.

ステップS301において、演算部205は、各センサ110等からの計測結果を取り込む。ステップS302において、取り込まれた計測結果は、アナログ出力からディジタル出力へ変換される。なお、上述したように、各センサ110等がアナログ・ディジタル変換機能を有していても良い。   In step S301, the calculation unit 205 captures measurement results from the sensors 110 and the like. In step S302, the captured measurement result is converted from an analog output to a digital output. As described above, each sensor 110 or the like may have an analog / digital conversion function.

ステップS304において、演算部205は後述する手順の演算を行う。演算結果は演算結果記憶部213に、計測結果は計測結果記憶部204にそれぞれ記憶される。また、ステップS303、S305、S306においては、現在及び/または過去の演算結果や計測結果を用いて、使用者Uに対して個性化した演算を行うこともできる。このような個性化するための演算の詳細については後述する。ここで、ステップS307により、外部から適宜データを読み込んでも良い。ステップS308において、情報選択回路209は、演算結果に基づいて、表示情報データベース208から後述する手順に従って情報を取り出す。ステップS309において、描画エンジンを用いてソフトウエアにより表示する構築物を作成する。ソフトウエアによる構築物とは、例えば、表示部210に表示されるアバタである。そして、ステップS310において、表示部210は、所定の情報である構築物を表示する。情報選択回路209、表示部210は、出力手段に対応する。   In step S304, the calculation unit 205 performs a calculation according to a procedure described later. Calculation results are stored in the calculation result storage unit 213, and measurement results are stored in the measurement result storage unit 204. In steps S303, S305, and S306, individualized calculations can be performed on the user U using current and / or past calculation results and measurement results. Details of such calculation for personalization will be described later. Here, data may be appropriately read from the outside in step S307. In step S308, the information selection circuit 209 extracts information from the display information database 208 according to a procedure described later based on the calculation result. In step S309, a structure to be displayed by software is created using a drawing engine. The software construct is, for example, an avatar displayed on the display unit 210. In step S310, the display unit 210 displays a structure that is predetermined information. The information selection circuit 209 and the display unit 210 correspond to output means.

(演算機能)
次に、演算部205が行う演算処理について説明する。演算部205は、行動計測部201と生体情報計測部202と環境計測部203との少なくとも一つからの計測値の一部または全部、及び/または計測結果記憶部204に記憶されている計測結果記憶情報の一部または全部の数値を用いて演算する。これは、図3のステップS303、S304に対応する。
(Calculation function)
Next, calculation processing performed by the calculation unit 205 will be described. The calculation unit 205 includes a part or all of measurement values from at least one of the behavior measurement unit 201, the biological information measurement unit 202, and the environment measurement unit 203, and / or measurement results stored in the measurement result storage unit 204. Calculation is performed using some or all of the stored information. This corresponds to steps S303 and S304 in FIG.

具体的には、演算部205は、ディジタル化された各センサ110等からの信号を乗算する機能と加算する機能とを備えている。例えば、次式(1)に示すように、各センサ110等からの計測結果の数値Xと、2次元行列(マトリックス)で表される係数Aijとの積和計算を行う。そして、積和計算の結果を多次元座標としてn次元のベクトルYとして演算する。なお、iは、n次元空間のi座標である。また、数値Xにおいて、jは各センサ110等に割り当てられている番号である。ここで、使用者Uが複数の場合は、Xの0〜mのそれぞれに(0〜d)(d+1〜e)(e+1〜f)…のように割り振られる。使用者が一人の場合は、(0〜m)が(0〜d)となりそれ以外のXは0となる。 Specifically, the calculation unit 205 has a function of multiplying and adding a signal from each digitized sensor 110 or the like. For example, as shown in the following equation (1), a product-sum calculation of the numerical value X j of the measurement result from each sensor 110 or the like and the coefficient A ij represented by a two-dimensional matrix (matrix) is performed. Then, the result of product-sum calculation is calculated as an n-dimensional vector Y i using multidimensional coordinates. Note that i is an i coordinate in an n-dimensional space. In the numerical value X j , j is a number assigned to each sensor 110 or the like. Here, when there are a plurality of users U, each of 0 to m of X is assigned as (0 to d) (d + 1 to e) (e + 1 to f). When there is only one user, (0 to m) becomes (0 to d), and other X's become 0.

Figure 2008009504
Figure 2008009504

(計測結果)
行動計測部201と生体情報計測部202と環境計測部203との少なくとも一つからの計測値の一部または全部、及び/または計測結果記憶部204に記憶されている計測結果記憶情報の一部または全部の数値を用いて演算するが、センサが全て接続されていない場合や計測値の一部に異常値が出現する場合、または、計測値の一部の数値を用いて演算する場合には、Xのあらかじめ定められたデフォルト値を用いて演算がなされるようにしておくことが望ましい。計測値の異常は、例えば、ある範囲を指定しておきその数値がその範囲を外れた時には異常と判定する、または、時系列の計測値の時間的変化がある閾値を超えたときに異常と判定する。または、さらに別の方法としては、センサの種類または数に合わせて、それぞれ演算するための係数マトリックスを複数用意し、センサの種類または数によって選択された係数マトリックスによって演算してもよい。等いろいろの方法が考えられる。
(Measurement result)
Part or all of measurement values from at least one of the behavior measurement unit 201, the biological information measurement unit 202, and the environment measurement unit 203, and / or a part of measurement result storage information stored in the measurement result storage unit 204 Or, when all the numerical values are used for calculation, but not all sensors are connected, when an abnormal value appears in a part of the measured value, or when calculating using a part of the measured value , X j is preferably calculated using a predetermined default value. An abnormality in the measured value is, for example, determined as abnormal when a certain range is specified and the numerical value is out of the range, or abnormal when the temporal change in the time-series measured value exceeds a certain threshold. judge. Alternatively, as another method, a plurality of coefficient matrices for calculation may be prepared in accordance with the type or number of sensors, and calculation may be performed using a coefficient matrix selected according to the type or number of sensors. Various methods can be considered.

(表示情報転送機能)
表示情報データベース208からの出力は、表示部210へ転送される。表示部210は、該情報を表示する。表示される時間は、ユーザUが、モバイルコンピュータ101に付属している入力装置(不図示)で指示できる。
(Display information transfer function)
Output from the display information database 208 is transferred to the display unit 210. The display unit 210 displays the information. The displayed time can be indicated by the user U with an input device (not shown) attached to the mobile computer 101.

このとき、瞳孔の大きさセンサ120を用いて、瞳孔の大きさを測定する。そして、瞳孔の大きさが、予め設定された所定の条件を満たした時、凝視したと判定する。より具体的には、瞳孔の大きさを微分し、その係数が所定の大きさを超えた時に凝視したと判定する。このとき、表示を継続することも可能である。また、モバイルコンピュータ101に付属する入力部(不図示)から指示がないときで、かつ、瞳孔の大きさが設定された所定の条件を満たした時は、予め設定された時間経過後、次の情報を表示する。   At this time, the size of the pupil is measured using the pupil size sensor 120. Then, when the size of the pupil satisfies a predetermined condition set in advance, it is determined that the user has stared. More specifically, the size of the pupil is differentiated, and it is determined that the user has stared when the coefficient exceeds a predetermined size. At this time, the display can be continued. Further, when there is no instruction from an input unit (not shown) attached to the mobile computer 101 and when the pupil size satisfies a predetermined condition, the next time is passed after a preset time has elapsed. Display information.

(外部通信機能)
次に、表示情報データベース208からの情報の取り出しについて説明する。演算部205の出力は、上述のように多次元の座標として表されている。情報選択回路209は、出力された座標と、表示情報データベース208に記憶されていている情報の属性の座標とを比較する。
(External communication function)
Next, extraction of information from the display information database 208 will be described. The output of the calculation unit 205 is expressed as multidimensional coordinates as described above. The information selection circuit 209 compares the output coordinates with the attribute coordinates of the information stored in the display information database 208.

その比較のしかたの第1の方法は次の通りである。図4に示すように、表示情報データベース208において情報に付加された座標の所定幅の範囲内に、出力された演算結果の座標が存在しているとき、その情報が表示されるべき情報として判定され出力される。   The first method of comparison is as follows. As shown in FIG. 4, when the coordinates of the output calculation result exist within the range of the predetermined width of the coordinates added to the information in the display information database 208, the information is determined as the information to be displayed. And output.

図4は、ベクトル空間において、座標の所定幅内に存在する情報を示している。例えば、Y軸についてc〜d、Y軸についてa〜b、Y軸についてe〜fの範囲内に、出力された演算結果が存在するとき、情報Xが選択される。表示部210は、選択された情報Xを表示する。 FIG. 4 shows information existing within a predetermined width of coordinates in the vector space. For example, c to d for Y 3 axis, the Y 5 axis to b, in the range of e~f for Y 8 axes, when output operation result is present, the information X is selected. The display unit 210 displays the selected information X.

座標の判定及び情報の取り出しは、あらかじめ設定された、時間間隔で行われるか、演算部205の出力値に所定以上の変化があったときに行われる。なお、図4では、図示の都合上三軸のみを示してある。情報Xは、図4から容易にわかるように各軸のa〜b、c〜d、e〜fの範囲にその情報が位置する。   The determination of coordinates and the extraction of information are performed at a preset time interval or when the output value of the calculation unit 205 changes more than a predetermined value. FIG. 4 shows only three axes for convenience of illustration. As can be easily seen from FIG. 4, the information X is located in the ranges of ab, cd, and ef of each axis.

また、ベクトル空間の所定の範囲内に、出力された演算結果が存在しないとき、演算結果に最も近い情報が選択される。ここで、演算結果と近いか否かの判定は、演算結果の座標と、その周囲に情報が存在する領域の中心座標との多次元距離により判定される。   Further, when the output calculation result does not exist within a predetermined range of the vector space, information closest to the calculation result is selected. Here, whether or not it is close to the calculation result is determined by a multidimensional distance between the coordinates of the calculation result and the center coordinates of the area where information exists around the calculation result.

比較のしかたの第2の方法は次の通りである。図5は、ベクトル空間に演算部205の出力した多次元の座標を使ってプロットした点Pと、情報データベース208に記憶されている個々の情報の属性のそれぞれの座標を使ってプロットした点Q,Q,Q・・を示している。そして、情報の属性は座標に加えて、ウエイトを持っている。点Pと点Q,Q,Q・・・の距離L,L,L・・・にウエイトとの逆数を乗算し、その値が小さい点Qの情報から優先的に、表示されるべき情報として判定され出力される。 The second method of comparison is as follows. FIG. 5 shows a point P plotted using the multidimensional coordinates output from the calculation unit 205 in the vector space and a point Q plotted using the coordinates of the individual information attributes stored in the information database 208. 1 , Q 2 , Q 3 ... Information attributes have weights in addition to coordinates. It points P and Q 1, Q 2, Q 3 Distance ··· L 1, L 2, L 3 ··· to multiply the inverse of the weight, preferentially from the information point Q i value is less Are determined and output as information to be displayed.

ここで優先的とは、優先度の高い情報のほうが、優先度の低い情報よりも、より早い順番で表示するか、長時間表示するか、情報の一部ではなくより全部を表示するか、繰り返しの表示回数を多く表示するように出力することである。   Here, priority means that information with higher priority is displayed in an earlier order, information is displayed for a longer time than information with lower priority, or all information is displayed instead of part of the information. The output is to display a large number of repeated display.

座標の判定及び情報の取り出しは、あらかじめ設定された、時間間隔で行われるか、演算部205の出力値に所定以上の変化があったときに行われる。なお、図5では、図示の都合上三軸のみを示してある。   The determination of coordinates and the extraction of information are performed at a preset time interval or when the output value of the calculation unit 205 changes more than a predetermined value. In FIG. 5, only three axes are shown for convenience of illustration.

演算されたY座標のY値は、例えば疲れとか忙しさと言ったような概念的意味を持たない数値であっても良いが、A係数の設定によっては、概念的な意味をもたせることもできる。例えば、心拍数、発汗、体温のX値に対して乗算されるそれぞれのA係数を、その他の計測値に対するA係数より大きな数値に設定する。これによって乗算・加算されたY数値は、心拍数、発汗、体温の計測値が大きくなれば、大きな値になり、そのY数値はいわゆる「興奮度」を表す。そして、そのY軸は興奮と位置付けできる。また、発話・咀嚼・特定環境音センサの発話と咀嚼の計測値と足圧力センサの計測値の、その計測値に対するA係数を大きくしておいた場合、発話・咀嚼の計測値が高く、また、足圧力センサの動きもないときには、演算された対応するY値は、着座して会話をしているらしいことを表している。また、発話と咀嚼の計測値が低く、また、足圧力センサの計測値が低い時には、演算された対応するY値は、低くなり、静かに思考しているか、睡眠状態にあるかなど推定できる。このように、さらにセンサの種類を増やすことにより、それぞれのY値が、言い換えればY軸に、使用者の行動・感情等をその内容に概ね対応させることも可能である。   The calculated Y value of the Y coordinate may be a numerical value having no conceptual meaning such as fatigue or busy, but may have a conceptual meaning depending on the setting of the A coefficient. For example, each A coefficient multiplied by the X value of heart rate, sweating, and body temperature is set to a value larger than the A coefficient for other measurement values. The Y value multiplied / added by this increases as the measured values of heart rate, sweating, and body temperature increase, and the Y value represents the so-called “excitability”. And the Y axis can be positioned as excitement. Also, if the A coefficient for the measured value of the speech / mastication / specific environmental sound sensor's speech and mastication and the foot pressure sensor is large, the measured value of the speech / mastication is high, When there is no movement of the foot pressure sensor, the corresponding Y value calculated indicates that the person seems to be sitting and talking. In addition, when the measured values of speech and mastication are low and the measured value of the foot pressure sensor is low, the corresponding Y value calculated is low, and it can be estimated whether the person is thinking quietly or is sleeping. . In this way, by further increasing the types of sensors, each Y value, in other words, the Y-axis can be made to generally correspond to the contents of the user's actions and emotions.

また、演算回路の結果としてえられるn次元のベクトルYの座標で指定される情報を選択し表示する本発明において、演算されたY座標が直前に演算されたY座標と同一情報を選択するという意味に於いて同一の場合、同一な情報を表示することもできる。また、同一情報を選択するY座標空間に複数の情報を記憶対応させておき、同一Y座標空間が選択されたときには、別の情報を表示させることもできる。この場合、複数の情報に順序を付属させておいてその順序に従って表示させることもできる。また、この方法において、必ずしも直前の情報との比較である必要はなく、ある一定時間内に同一情報が選択されたときであれば、順序において次の情報を表示させることもできる。 Further, in the present invention for selecting and displaying information specified by the coordinates of the n-dimensional vector Y i obtained as a result of the arithmetic circuit, the calculated Y coordinate selects the same information as the Y coordinate calculated immediately before. In this case, the same information can be displayed. Also, a plurality of pieces of information can be stored and associated with the Y coordinate space for selecting the same information, and when the same Y coordinate space is selected, different information can be displayed. In this case, an order can be attached to a plurality of information, and the information can be displayed according to the order. In this method, it is not always necessary to make a comparison with the immediately preceding information, and if the same information is selected within a certain time, the next information can be displayed in order.

さらに、表示情報データベースは、外部に設けられていても良い。例えば、情報表示システム100内の表示情報データベース208では、所望の情報Xを取得できない場合もある、この場合、さらに外部の表示情報データベース220を用いて情報を取得することが望ましい。   Furthermore, the display information database may be provided outside. For example, the display information database 208 in the information display system 100 may not be able to acquire the desired information X. In this case, it is desirable to further acquire information using the external display information database 220.

このとき、外部通信部212とを介して、外部表示情報データベース220から、上述と同一な手順で情報Xを取得する。情報Xは、モバイルコンピュータ101へ転送される。そして、表示部210は、情報Xを表示する。このとき、外部の表示情報データベース220には、情報は、多次元ベクトル空間において、所定幅を有する属性を付加して記憶してある。   At this time, the information X is acquired from the external display information database 220 through the external communication unit 212 in the same procedure as described above. Information X is transferred to the mobile computer 101. Then, the display unit 210 displays the information X. At this time, the information is stored in the external display information database 220 with an attribute having a predetermined width in a multidimensional vector space.

また、本実施例では、さらに、第二の演算部207を備えることもできる。第二の演算部207は、既に得られている係数Anmに基づいて、新たな係数Anmを演算する。 In the present embodiment, a second calculation unit 207 can be further provided. The second calculation unit 207, based on the coefficient A nm already obtained, for calculating a new coefficient A nm.

また、第二の演算部207は、係数記憶部206に記憶された係数を書き換えるための係数書換部としての機能も備えている。式(2)の手順を繰り返すことにより、係数Anmは順次書き換えられてゆく。これは、図3のステップS305、S306に対応する。 The second arithmetic unit 207 also has a function as a coefficient rewriting unit for rewriting the coefficient stored in the coefficient storage unit 206. By repeating the procedure of the formula (2), the coefficient A nm is sequentially rewritten. This corresponds to steps S305 and S306 in FIG.

Figure 2008009504
Figure 2008009504

式(2)において、右辺のAnmは今までの演算係数であり、左辺のAnmは新しい演算係数を与える。なお、本演算は一例であり、本発明がこの方式により限定されるものではない。 In equation (2), A nm on the right side is the calculation coefficient so far, and A nm on the left side gives a new calculation coefficient. This calculation is an example, and the present invention is not limited to this method.

さらに、例えば、Cnmは、計測値Xの変化量ΔXの関数として、次式(3)として与えることができる。 Furthermore, for example, C nm can be given as the following equation (3) as a function of the change amount ΔX i of the measured value X i .

nm=f(ΔX、ΔX、・・・・、ΔX、・・・ΔX) ・・・(3) C nm = f (ΔX 1 , ΔX 2 ,..., ΔX i ,... ΔX m ) (3)

ここで、計測値Xの変化量ΔXは、計測結果と計測結果記憶情報との間の変化量で定義される。 Here, the change amount ΔX i of the measurement value X i is defined by the change amount between the measurement result and the measurement result storage information.

換言すると、計測値Xの変化量ΔXは、ユーザUに対して情報表示システムにより情報を与える前の状態の計測結果と、情報を与えた後の状態の計測結果との差分を表している。この差分は、本情報のユーザUへの影響度に対応している。この影響度に基づいて、Cnmは変化し、かつ定められる。 In other words, the change amount [Delta] X i of the measured value X i, expressed a measurement result in a state before giving the information by the information display system to the user U, the state after the given information a difference between a measurement result Yes. This difference corresponds to the degree of influence of this information on the user U. Based on this degree of influence, C nm varies and is determined.

また、これに限られず、第二の演算部207は、次式(4)のように、演算結果と演算結果記憶情報との間の変化量を用いて演算しても良い。ここで、演算結果記憶部213は、演算部205による演算結果を演算結果記憶情報として記憶する。   In addition, the present invention is not limited to this, and the second calculation unit 207 may perform calculation using a change amount between the calculation result and the calculation result storage information as in the following equation (4). Here, the calculation result storage unit 213 stores the calculation result by the calculation unit 205 as calculation result storage information.

nm=f(ΔY、ΔY、・・・・、ΔY、・・・ΔY) ・・・(4) C nm = f (ΔY 1 , ΔY 2 ,..., ΔY i ,... ΔY m ) (4)

また、さらには、ΔX、ΔYの両方を用いて演算しても良い。
nm=f(ΔX、ΔX、・・・・、ΔX、・・・ΔX、ΔY、ΔY、・・、ΔY、・・・ΔY) …(5)
Further, the calculation may be performed using both ΔX i and ΔY i .
C nm = f (ΔX 1 , ΔX 2 ,..., ΔX i ,... ΔX m , ΔY 1 , ΔY 2 ,..., ΔY i ,... ΔY m ) (5)

換言すると、演算結果Yの変化量ΔYは、ユーザUに対して情報表示システムにより情報を与える前の状態の演算結果と、情報を与えた後の状態の演算結果との差分を表している。この差分は、本情報のユーザUへの影響度に対応している。この影響度に基づいて、Cnmは変化し、かつ定められる。 In other words, the change amount [Delta] Y i of computation result Y i, expressed the result of the previous operation state to provide information by the information display system to the user U, the difference between the state calculation result of after giving information Yes. This difference corresponds to the degree of influence of this information on the user U. Based on this degree of influence, C nm varies and is determined.

上述の演算において、現在の演算結果と、過去の状況において記録されている演算結果との両方を用いることが望ましい。これにより、ユーザUの状況の変化と方向とが、より正確に取得できる。このような演算により、各ユーザに応じて個性化した情報、例えば「ユーザUがよく行く場所」について、他の場所とは異なった情報を表示することができるようになる。すなわち、ユーザUの状態・環境がまったく同一の条件であっても、それが初めての時と、何回か繰り返したときとでは必要な情報は変化してくるが、これに対応することができる。   In the above-described calculation, it is desirable to use both the current calculation result and the calculation result recorded in the past situation. Thereby, the change and direction of the situation of the user U can be acquired more accurately. Such calculation makes it possible to display information that is individualized according to each user, for example, “a place where the user U frequently visits”, and information different from other places. That is, even if the state and environment of the user U are exactly the same, necessary information changes depending on whether it is the first time or when it is repeated several times, but this can be dealt with. .

また、上述したように、係数Anmを変更するとき、表示部210に情報を表示した後のユーザUの行動変化を計測することが望ましい。これにより、ユーザUが表示された情報に反応したか、否かを判断できる。 Further, as described above, when the coefficient A nm is changed, it is desirable to measure a change in behavior of the user U after displaying information on the display unit 210. Accordingly, it can be determined whether or not the user U has reacted to the displayed information.

そして、係数Anmを書き換えることに加えて、表示された情報に反応した演算結果Yをも加味する。これにより、より正確にユーザUに対して個性化できる。 In addition to rewriting the coefficient A nm , the calculation result Y in response to the displayed information is also taken into account. Thereby, it can individualize with respect to the user U more correctly.

(構築物の表示形成)
次に、構築物の表示形成について説明する。情報表示システム100は、構築物を描画するための描画エンジン215を内蔵している。
(Displaying the structure)
Next, the display formation of the structure will be described. The information display system 100 includes a drawing engine 215 for drawing a structure.

描画エンジン215は、演算結果の多次元数値に基づいて描画する。描画エンジン208は、既存のエンジンを利用できる。その種類、内容によって本発明が限定されるものではない。   The drawing engine 215 draws based on the multidimensional numerical value of the calculation result. The drawing engine 208 can use an existing engine. The present invention is not limited by the type and content.

表示情報データベース208は、情報表示システム上にソフトウエアとして構成された構築物、及び動きや表情を変えた複数の表示情報を記憶している。そして、上述したように、演算された結果としての多次元数値(多次元座標とも言う)によりその一つ以上が選択される。   The display information database 208 stores a structure configured as software on the information display system and a plurality of display information whose movements and expressions are changed. Then, as described above, one or more of the selected multidimensional numerical values (also referred to as multidimensional coordinates) are selected.

また、第二の記憶部214は、表示部210により表示される構築物の演算部205の出力に基づいて変化した表示内容、及び計測結果が計測された日時情報を記憶することが望ましい。これにより、使用者Uは、その構築物、例えばアバタを見たとき、記録された日時の自分の状態、周囲の情景を思い出すことができる。例えば、写真アルバムのように用いることができるアバタ・アルバムである。   In addition, the second storage unit 214 preferably stores the display content changed based on the output of the construction calculation unit 205 displayed by the display unit 210 and the date / time information when the measurement result is measured. Thereby, when the user U sees the structure, for example, an avatar, the user U can remember his / her state of the recorded date and the surrounding scene. For example, an avatar album that can be used like a photo album.

また、計測結果記憶部204は、行動計測部201と生体情報計測部202と環境計測部203との少なくとも一つからの計測結果、及び計測結果が計測された日時情報を共に記憶することが望ましい。このように、表示内容の代わりに計測結果を記憶することもできる。これにより、使用者Uは、その構築物、例えばアバタを見たとき、記録された日時の自分の状態、周囲の情景を思い出すことができる。   The measurement result storage unit 204 preferably stores both the measurement result from at least one of the behavior measurement unit 201, the biological information measurement unit 202, and the environment measurement unit 203 and the date / time information on which the measurement result was measured. . In this way, the measurement result can be stored instead of the display content. Thereby, when the user U sees the structure, for example, an avatar, the user U can remember his / her state of the recorded date and the surrounding scene.

(外部通信機能)
また、本システムには外部との通信機能を付加できる。外部との通信機能は、複数の利用者Uによって本情報表示システム100が使用される時に、演算部205の出力である多次元の数値を通信するときに用いられる。
(External communication function)
In addition, an external communication function can be added to this system. The communication function with the outside is used when communicating a multidimensional numerical value that is an output of the calculation unit 205 when the information display system 100 is used by a plurality of users U.

この場合、複数の使用者の計測結果により表示される構築物の表示内容が決定される。また、情報表示システム上にソフトウエアとして構成された構築物、及び動きや表情を変えた複数の表示情報を外部通信機能により外部から取り組むこともできる。   In this case, the display content of the structure displayed by the measurement results of a plurality of users is determined. In addition, a structure configured as software on the information display system and a plurality of display information whose movements and expressions are changed can be tackled from the outside by an external communication function.

また、表示部210は、構築物を開示する相手と前記使用者との関係に応じて、構築物の構成内容を変えて表示することが望ましい。   In addition, it is desirable that the display unit 210 displays the structure by changing the configuration content of the structure according to the relationship between the user who discloses the structure and the user.

例えば、使用者Uのアバタを第三者に提示する場合を考える。使用者Uと第三者との新密度が高いとき、使用者Uがいる場所(海、山等)の情報に加えて、使用者Uの状態(立っている、寝ている)までをもアバタに表現する。   For example, consider a case where the avatar of the user U is presented to a third party. When the new density between the user U and a third party is high, in addition to the information on the place where the user U is (sea, mountains, etc.), the state of the user U (standing, sleeping) Express to avatar.

これに対して、使用者Uと第三者との新密度が低いとき、使用者Uがいる場所(海、山等)の情報はアバタで表示するが、使用者Uの状態(立っている、寝ている)は表示しない。   On the other hand, when the new density between the user U and the third party is low, the information on the place where the user U is (sea, mountains, etc.) is displayed with an avatar, but the state of the user U (standing) , Sleeping) do not display.

このようにすることで、アバタの表示内容を、使用者Uと第三者(他の使用者)との新密度に応じて制御できる。この結果、相手にアバタを通じて伝達する情報量を制御できる。   By doing in this way, the display content of an avatar can be controlled according to the new density of the user U and a third party (other users). As a result, the amount of information transmitted to the other party through the avatar can be controlled.

本実施例をさらに具体的に説明する。PC上に構築物(アバタ)であるペットとしての犬を考える。上述したように、使用者Uが怒っている状態のとき、犬のアバタはおどおどした表情になる。   This example will be described more specifically. Consider a dog as a pet that is a construct (avatar) on a PC. As described above, when the user U is angry, the avatar of the dog becomes a terrible expression.

これとは反対に、使用者Uが落ち込んでいる状態のとき、犬のアバタは寄り添うようなしぐさをする。   On the contrary, when the user U is depressed, the dog avatar makes a gesture of snuggling.

また、使用者Uが明るい精神状態のとき、犬のアバタは活発に動き回る。このように、犬のアバタを通して、使用者Uは自分の精神状態を把握できる。   Also, when the user U is in a bright mental state, the dog avatar moves actively. Thus, the user U can grasp his / her mental state through the dog avatar.

次に、他の具体例を説明する。複数の使用者Uの行動、身体の生体情報と、周囲環境に基づいて、一つの構築物(アバタ)の表示内容を変化させることもできる。   Next, another specific example will be described. The display content of one structure (avatar) can be changed based on the actions of a plurality of users U, the biological information of the body, and the surrounding environment.

これにより、複数の使用者Uが協同して、一つのアバタ(キャラクター)を育成できるようなゲーム等に利用できる   Thereby, it can utilize for the game etc. which several user U cooperates and can raise one avatar (character).

このように、本発明を適用することで、以下のことを実現できる。
(1)知らない者同士のコミュニケーションを、例えばアバタ・アルバムを介しておこなうこと
(2)知っている者同士の現在の行動、身体、周囲状態を示すこと
(3)一定期間(例えば、一週間)の過去の計測結果、演算結果を用いて、自分自身を見つめ直すこと
Thus, the following can be realized by applying the present invention.
(1) Communicate with people you don't know, for example via an avatar album (2) Show current behavior, body, and surroundings of people you know (3) A certain period of time (for example, a week ) Review yourself using the past measurement and calculation results.

このように、本発明は、その趣旨を逸脱しない範囲で様々な変形例をとることができる。   As described above, the present invention can take various modifications without departing from the spirit of the present invention.

以上のように、本発明は、情報表示を例えばアバタにより行うシステムに利用できる。   As described above, the present invention can be used in a system that performs information display using, for example, an avatar.

実施例に係る情報表示システムの概略構成を示す図である。It is a figure which shows schematic structure of the information display system which concerns on an Example. 実施例に係る情報表示システムの機能ブロックを示す図である。It is a figure which shows the functional block of the information display system which concerns on an Example. 実施例における処理手順を示すフローチャートである。It is a flowchart which shows the process sequence in an Example. ベクトル空間における情報の座標を示す図である。It is a figure which shows the coordinate of the information in vector space. ベクトル空間における情報の座標を示す他の図である。It is another figure which shows the coordinate of the information in vector space.

符号の説明Explanation of symbols

100 情報表示システム
101 モバイルコンピュータ
102 情報表示部
110 屋内外センサ
111 GPS
112 足圧力センサ
113 発話・咀嚼センサ
114 腕時計型運動計測センサ
115 心拍数センサ
116 体温センサ
117 抹消皮膚温度センサ
118 発汗センサ
119 顔色センサ
120 瞳孔の大きさセンサ
121 周囲温度センサ
122 周辺湿度センサ
123 周辺光度センサ
200 情報表示システム
201 行動計測部
202 生体情報計測部
203 環境計測部
204 計測結果記憶部
205 演算部
206 係数記憶部
207 第二の演算部
208 表示情報データベース
209 情報選択回路
210 表示部
211 通信部
212 外部通信部
213 演算結果記憶部
214 第二の記憶部
215 描画エンジン
220 外部表示情報データベース
U ユーザ
DESCRIPTION OF SYMBOLS 100 Information display system 101 Mobile computer 102 Information display part 110 Indoor / outdoor sensor 111 GPS
112 Foot pressure sensor 113 Speech / mastication sensor 114 Watch-type motion measurement sensor 115 Heart rate sensor 116 Body temperature sensor 117 Peripheral skin temperature sensor 118 Sweating sensor 119 Facial color sensor 120 Pupil size sensor 121 Ambient temperature sensor 122 Ambient humidity sensor 123 Ambient light intensity Sensor 200 Information display system 201 Behavior measurement unit 202 Biometric information measurement unit 203 Environmental measurement unit 204 Measurement result storage unit 205 Calculation unit 206 Coefficient storage unit 207 Second calculation unit 208 Display information database 209 Information selection circuit 210 Display unit 211 Communication unit 212 External communication unit 213 Calculation result storage unit 214 Second storage unit 215 Drawing engine 220 External display information database U user

Claims (6)

使用者の身体に付けるか、前記使用者が携帯する計測手段によって、前記使用者の身体の各部分の動きを計測する行動計測手段と、前記使用者の身体の生体情報を計測する生体情報計測手段と、前記使用者の周囲環境を計測する環境計測手段との少なくとも一つの手段と、
前記行動計測手段と前記生体情報計測手段と前記環境計測手段との少なくとも一つからの計測結果を計測結果記憶情報として記憶する計測結果記憶手段と、
前記行動計測手段と前記生体情報計測手段と前記環境計測手段との少なくとも一つからの計測結果の一部または全部、及び/または前記計測結果記憶手段に記憶されている前記計測結果記憶情報の一部または全部の数値を用いて演算する演算手段と、
ソフトウエアとして構成された構築物を少なくとも表示するための表示手段と、を有し、
前記表示手段により表示される前記構築物の表示内容が、前記演算手段の出力に基づいて変化することを特徴とする情報表示システム。
Behavior measurement means for measuring movement of each part of the user's body by measurement means attached to the user's body or carried by the user, and biological information measurement for measuring biological information of the user's body Means and at least one means of measuring the ambient environment of the user,
Measurement result storage means for storing measurement results from at least one of the behavior measurement means, the biological information measurement means, and the environment measurement means as measurement result storage information;
A part or all of measurement results from at least one of the behavior measurement means, the biological information measurement means, and the environment measurement means, and / or one of the measurement result storage information stored in the measurement result storage means Computing means for computing using part or all numerical values;
Display means for displaying at least a structure configured as software,
The information display system, wherein the display content of the structure displayed by the display means changes based on the output of the calculation means.
複数の使用者の身体に付けるか、前記使用者が携帯する計測手段によって、前記使用者の身体の各部分の動きを計測する行動計測手段と、複数の前記使用者の身体の生体情報を計測する生体情報計測手段と、複数の前記使用者の周囲環境を計測する環境計測手段との少なくとも一つの手段と、
前記行動計測手段と前記生体情報計測手段と前記環境計測手段との少なくとも一つからの計測結果を計測結果記憶情報として記憶する計測結果記憶手段と、
前記行動計測手段と前記生体情報計測手段と前記環境計測手段との少なくとも一つからの計測結果の一部または全部、及び/または前記計測結果記憶手段に記憶されている前記計測結果記憶情報の一部または全部の数値を用いて演算する演算手段と、
ソフトウエアとして構成された構築物を少なくとも表示するための表示手段と、を有し、
前記表示手段により表示される前記構築物の表示内容が、複数の前記使用者に対応した前記演算手段の出力に基づいて変化することを特徴とする情報表示システム。
Measuring the movement of each part of the user's body by measuring means attached to the user's body or carried by the user, and measuring biological information of the user's body Biometric information measuring means, and at least one means for measuring the surrounding environment of the plurality of users,
Measurement result storage means for storing measurement results from at least one of the behavior measurement means, the biological information measurement means, and the environment measurement means as measurement result storage information;
A part or all of measurement results from at least one of the behavior measurement means, the biological information measurement means, and the environment measurement means, and / or one of the measurement result storage information stored in the measurement result storage means Computing means for computing using part or all numerical values;
Display means for displaying at least a structure configured as software,
The information display system, wherein the display content of the structure displayed by the display means changes based on outputs of the calculation means corresponding to a plurality of the users.
前記表示手段は、前記構築物を開示する相手と前記使用者との関係に応じて、前記構築物の構成内容を変えて表示することを特徴とする請求項1または2に記載の情報表示システム。   The information display system according to claim 1, wherein the display unit displays the structure by changing a configuration content of the structure according to a relationship between the user who discloses the structure and the user. さらに、係数を記憶する係数記憶手段を有し、
前記演算手段は、乗算機能と加算機能を備え、
前記演算手段は、前記計測結果、及び/または前記計測結果記憶手段に記憶されている前記計測結果記憶情報の一部または全部の値に前記係数記憶手段の係数を乗算し、その乗算結果を加算し、多次元の演算結果を出力することを特徴とする請求項1〜3のいずれか一項に記載の情報表示システム。
Furthermore, it has coefficient storage means for storing coefficients,
The arithmetic means has a multiplication function and an addition function,
The arithmetic means multiplies the measurement result and / or a part or all of the measurement result storage information stored in the measurement result storage means by a coefficient of the coefficient storage means, and adds the multiplication result. The information display system according to claim 1, wherein a multidimensional calculation result is output.
前記計測結果記憶手段は、前記行動計測手段と前記生体情報計測手段と前記環境計測手段との少なくとも一つからの前記計測結果、及び前記計測結果が計測された日時情報を共に記憶することを特徴とする請求項1〜4のいずれか一項に記載の情報表示システム。   The measurement result storage unit stores both the measurement result from at least one of the behavior measurement unit, the biological information measurement unit, and the environment measurement unit, and date / time information on which the measurement result was measured. The information display system according to any one of claims 1 to 4. さらに第二の記憶手段を有し、
前記第二の記憶手段は、前記表示手段により表示される前記構築物の前記演算手段の出力に基づいて変化した前記表示内容、及び前記計測結果が計測された日時情報を記憶することを特徴とする請求項1〜4のいずれか一項に記載の情報表示システム。
Furthermore, it has a second storage means,
The second storage means stores the display content changed based on the output of the calculation means of the structure displayed by the display means, and date information when the measurement result is measured. The information display system as described in any one of Claims 1-4.
JP2006176547A 2006-06-27 2006-06-27 Information selection system Active JP4961172B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006176547A JP4961172B2 (en) 2006-06-27 2006-06-27 Information selection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006176547A JP4961172B2 (en) 2006-06-27 2006-06-27 Information selection system

Publications (2)

Publication Number Publication Date
JP2008009504A true JP2008009504A (en) 2008-01-17
JP4961172B2 JP4961172B2 (en) 2012-06-27

Family

ID=39067696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006176547A Active JP4961172B2 (en) 2006-06-27 2006-06-27 Information selection system

Country Status (1)

Country Link
JP (1) JP4961172B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009176130A (en) * 2008-01-25 2009-08-06 Olympus Corp Information-presenting system, program, and information storage medium
WO2009110276A1 (en) * 2008-03-05 2009-09-11 日本電気株式会社 User information presentation system, user information presentation device, user information presentation method, and program for user information presentation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0882536A (en) * 1994-03-29 1996-03-26 General Electric Co <Ge> Remote maintenance system
JP2003044219A (en) * 2001-07-27 2003-02-14 Namco Ltd Image generation system, its program, and information storage medium
JP2005066133A (en) * 2003-08-26 2005-03-17 Sony Computer Entertainment Inc Information terminal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0882536A (en) * 1994-03-29 1996-03-26 General Electric Co <Ge> Remote maintenance system
JP2003044219A (en) * 2001-07-27 2003-02-14 Namco Ltd Image generation system, its program, and information storage medium
JP2005066133A (en) * 2003-08-26 2005-03-17 Sony Computer Entertainment Inc Information terminal

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009176130A (en) * 2008-01-25 2009-08-06 Olympus Corp Information-presenting system, program, and information storage medium
WO2009110276A1 (en) * 2008-03-05 2009-09-11 日本電気株式会社 User information presentation system, user information presentation device, user information presentation method, and program for user information presentation

Also Published As

Publication number Publication date
JP4961172B2 (en) 2012-06-27

Similar Documents

Publication Publication Date Title
US12086304B2 (en) Monitoring a user of a head-wearable electronic device
US20110118870A1 (en) Robot control system, robot, program, and information storage medium
RU2696307C1 (en) Communication device, a communication robot and a computer-readable data medium
US8229877B2 (en) Information processing system, information processing method, and computer program product
JP4481682B2 (en) Information processing apparatus and control method thereof
JP6803299B2 (en) System and method
US20140085101A1 (en) Devices and methods to facilitate affective feedback using wearable computing devices
US20130198694A1 (en) Determinative processes for wearable devices
US20140195166A1 (en) Device control using sensory input
US20120316661A1 (en) Media device, application, and content management using sensory input
WO2005016137A1 (en) Image display system, image display device, image display method
CA2817145A1 (en) Determinative processes for wearable devices
JP2009061547A (en) Robot control system, robot, program, and information storage medium
CA2818020A1 (en) Motion profile templates and movement languages for wearable devices
US10542929B2 (en) Determining conditions based on intraoral sensing
JP2009131928A (en) Robot control system, robot, program and information recording medium
CA2917761A1 (en) Data-capable wrist band with a removable watch
JP7401634B2 (en) Server device, program and method
AU2012268764A1 (en) Media device, application, and content management using sensory input
JP2021157609A (en) Information processing device, information processing method, and program
US20130179116A1 (en) Spatial and temporal vector analysis in wearable devices using sensor data
JP2008009505A (en) Information display system
JP2008009501A (en) Charging method
CA2820092A1 (en) Wearable device data security
JP4961172B2 (en) Information selection system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110506

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120307

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120326

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150330

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4961172

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250