JP2008090373A - Information transfer system - Google Patents
Information transfer system Download PDFInfo
- Publication number
- JP2008090373A JP2008090373A JP2006267498A JP2006267498A JP2008090373A JP 2008090373 A JP2008090373 A JP 2008090373A JP 2006267498 A JP2006267498 A JP 2006267498A JP 2006267498 A JP2006267498 A JP 2006267498A JP 2008090373 A JP2008090373 A JP 2008090373A
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- measurement
- measuring
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、外部データベースより情報を取得し保持する情報転送システムに関する。 The present invention relates to an information transfer system that acquires and holds information from an external database.
従来の情報端末装置は、使用者が外部データベースより情報を取得するには、前記データベースのメニューより使用者自身により選択して情報を取得していた(例えば、特許文献1、特許文献2参照)。 In a conventional information terminal device, in order for a user to acquire information from an external database, the user selects the information from the database menu and acquires the information (see, for example, Patent Document 1 and Patent Document 2). .
現在、各種電子技術や情報技術の発展に伴って多くの情報に、人々は晒されている。多くの情報があるゆえに、その情報から真に必要とする情報を選択することがますます大切であるとともに、極めて難しくなってきている現実がある。 Currently, people are exposed to a lot of information as various electronic technologies and information technologies develop. Because there is so much information, it is increasingly important to select the information that is really needed from that information, and there is a reality that is becoming extremely difficult.
また、情報の種類が膨大であり、使用者がメニューより選択するのに多くの時間と労力を要する。例えばPCインターネットにおいてキーワードによる情報検索エンジンを用いた例では、場合によっては何百と言うサイトが検索されてしまう。このため、そのどれが真に必要な情報であるか短時間に判別するのは不可能である。 In addition, the types of information are enormous, and it takes a lot of time and effort for the user to select from the menu. For example, in an example in which an information search engine using keywords is used on the PC Internet, in some cases, hundreds of sites are searched. For this reason, it is impossible to determine in a short time which of the information is really necessary.
さらに、同じ種類の情報であっても、使用者の状況・環境・時刻等によって必要とする情報が変化する。このため、現在の情報検索では、その使用者の状況・環境・時刻等に対応した検索機能には全くなっていない。上記一例でもわかるように必要な情報は使用者の状態(状況)・環境・時間(時刻)等により変わるものである。 Furthermore, even if the information is the same type, the necessary information changes depending on the user's situation, environment, time, and the like. For this reason, the current information search does not provide a search function corresponding to the user's situation, environment, time, and the like. As can be seen from the above example, the necessary information varies depending on the state (situation), environment, time (time), etc. of the user.
本発明は、使用者の状態・環境に基づいて使用者が必要とする情報を使用者の積極的指示または操作を必要とせずに情報を取得できる情報転送システムを提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide an information transfer system capable of acquiring information required by a user based on the user's state / environment without requiring a user's active instruction or operation.
上述した課題を解決し、目的を達成するために、本発明によれば、使用者の身体に付けるか、前記使用者が携帯する計測手段によって、前記使用者の身体の各部分の動きを計測する行動計測手段と使用者の身体の生体情報を計測する生体情報計測手段と使用者の周囲環境を計測する環境計測手段の少なくとも一つの計測手段と、前記行動計測手段と前記生体情報計測手段と前記環境計測手段との少なくとも一つからの計測結果を計測結果記憶情報として記憶する計測結果記憶手段と、前記行動計測手段と前記生体情報計測手段と前記環境計測手段との少なくとも一つからの計測結果の一部または全部、及び/または前記計測結果記憶手段に記憶されている前記計測結果記憶情報の一部または全部の数値を用いて演算する演算手段と、前記演算手段の結果に基づいて、外部データベースから情報を選択し、取得する情報選択・取得手段と、情報端末に内蔵され、情報を記憶する情報記憶手段と、前記情報選択・取得手段で選択・取得される情報を前記外部データベースから前記情報記憶手段に転送するため、に前記情報端末と前記外部データベースとを接続する通信手段と、を有することを特徴とする情報転送システムを提供できる。 In order to solve the above-described problems and achieve the object, according to the present invention, the movement of each part of the user's body is measured by the measuring means attached to the user's body or carried by the user. Behavior measuring means, biological information measuring means for measuring biological information of the user's body, and environment measuring means for measuring the surrounding environment of the user, the behavior measuring means, and the biological information measuring means, Measurement result storage means for storing measurement results from at least one of the environment measurement means as measurement result storage information, measurement from at least one of the behavior measurement means, the biological information measurement means, and the environment measurement means A computing means for computing using a part or all of the results and / or a part or all of the numerical values of the measurement result storage information stored in the measurement result storage means; The information selection / acquisition means for selecting and acquiring information from an external database based on the result of the stage, the information storage means for storing information stored in the information terminal, and the information selection / acquisition means are selected / acquired. In order to transfer the information to be transferred from the external database to the information storage means, a communication means for connecting the information terminal and the external database can be provided.
また、本発明の好ましい態様によれば、前記演算手段は、乗算機能と加算機能、および係数を記憶する係数記憶手段を備え、前記計測結果及び/または前記計測結果記憶手段の一部または全部の値に前記係数記憶手段の係数を乗算し、その乗算結果を加算し、多次元の演算結果を出力する演算手段であることが望ましい。 According to a preferred aspect of the present invention, the calculation means includes a multiplication function, an addition function, and coefficient storage means for storing coefficients, and a part or all of the measurement results and / or the measurement result storage means. It is desirable that the calculation means outputs a multidimensional calculation result by multiplying the value by the coefficient of the coefficient storage means and adding the multiplication result.
また、本発明の好ましい態様によれば、前記演算手段の演算結果の一部または全部を用いて、演算する第二の演算回路を備え、前記第二の演算回路により前記係数記憶手段に記憶された係数を書き換えるための係数書換手段を備えたことが望ましい。 Further, according to a preferred aspect of the present invention, there is provided a second arithmetic circuit that performs an operation using a part or all of the arithmetic result of the arithmetic means, and the second arithmetic circuit stores the second arithmetic circuit in the coefficient storage means. It is desirable to provide coefficient rewriting means for rewriting the coefficient.
また、本発明の好ましい態様によれば、前記演算手段は、さらに前記情報記憶手段に記憶された情報を演算に用いることが望ましい。 According to a preferred aspect of the present invention, it is desirable that the calculation means further uses information stored in the information storage means for calculation.
また、本発明の好ましい態様によれば、前記情報転送システムは、さらに前記使用者の行動予定情報を入力する手段を有し、前記行動予定情報を前記情報記憶手段に記憶することが望ましい。 Moreover, according to a preferable aspect of the present invention, it is desirable that the information transfer system further includes means for inputting the action schedule information of the user, and stores the action schedule information in the information storage means.
本発明によれば、使用者の状態・環境に基づいて使用者が必要とする情報を使用者の積極的指示または操作を必要とせずに情報を取得できる情報転送システムを提供できるという効果を奏する。 According to the present invention, there is an effect that it is possible to provide an information transfer system capable of acquiring information required by the user based on the user's state / environment without requiring the user's positive instruction or operation. .
以下に、本発明にかかる情報転送システムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。 Embodiments of an information transfer system according to the present invention will be described below in detail with reference to the drawings. Note that the present invention is not limited to the embodiments.
図1は、本発明の実施例1に係る情報転送システムの概略構成を示している。図2は、情報転送システムの機能ブロックを示している。情報転送システムは、ユーザUが装着する各種センサ群と、情報表示部102と、コントロール装置の機能を有する情報端末101とから構成されている。
FIG. 1 shows a schematic configuration of an information transfer system according to the first embodiment of the present invention. FIG. 2 shows functional blocks of the information transfer system. The information transfer system includes various sensor groups worn by the user U, an
まず、ユーザUが装着するデバイス、センサ群について説明する。ユーザUは、屋内外センサ110と、GPS(Global Positioning System;全地球測位システム)111と、足圧力センサ112と、発話・咀嚼・特定環境音センサ113と、腕時計型運動計測センサ114と、心拍数センサ115、体温センサ116、抹消皮膚温度センサ117、発汗センサ118、顔色センサ119、瞳孔の大きさセンサ120、周囲湿度センサ121、周辺湿度センサ122、周辺光度センサ123を身体に装着している。これらのセンサを、以下、適宜「センサ110等」という。センサ110等は、行動計測手段、生体情報計測手段、環境計測手段に対応する。また、ユーザUは、情報表示部102を頭部の一方の眼の近傍に装着している。
First, a device and a sensor group worn by the user U will be described. The user U includes an indoor / outdoor sensor 110, a GPS (Global Positioning System) 111, a
(屋内外センサ)
屋内外センサ110は、ユーザUが屋内に存在するか、または屋外に存在するかの検出、判定を行う。屋内外センサ110は、照射部と受信部と判定部とを備えている。照射部は、例えば超音波を反射対象物、天井へ向かって照射し、反射して戻ってくるまでの時間で判定・計測する。また、屋内外センサ110は、超音波に限られず、以下の方式を用いるものでも良い。
(1)レーザーや赤外領域の光を照射してその反射を検出するアクティブ光方式(一般的な距離センサの応用)、
(2)紫外領域の光を検出するパッシブ紫外線方式(屋内外で紫外線量が異なることを利用)、
(3)焦電センサにより、上方向の空間温度(雲などからの赤外線量)を測定するパッシブ赤外線方式(天井と空とで温度が異なることを利用)、
(4)マイクにより騒音を測定するパッシブ騒音方式(屋内外で騒音スペクトルパターンが異なることを利用)。
(Indoor / outdoor sensor)
The indoor / outdoor sensor 110 detects and determines whether the user U exists indoors or outdoors. The indoor / outdoor sensor 110 includes an irradiation unit, a reception unit, and a determination unit. For example, the irradiating unit irradiates ultrasonic waves toward the object to be reflected and the ceiling, and determines and measures the time until the light is reflected and returned. The indoor / outdoor sensor 110 is not limited to ultrasonic waves, and may use the following method.
(1) Active light method (application of general distance sensors) that detects reflection by irradiating laser or infrared light.
(2) Passive UV method for detecting light in the UV region (utilizing different amounts of UV light indoors and outdoors),
(3) Passive infrared method (utilizing the difference in temperature between the ceiling and the sky) that measures the upward space temperature (the amount of infrared rays from clouds, etc.) with a pyroelectric sensor,
(4) A passive noise method in which noise is measured with a microphone (utilizing that the noise spectrum pattern is different indoors and outdoors).
(GPS)
ユーザUは、GPS111を身体に装着している。GPS111により、ユーザUの所在位置を検出できる。また、GPS111の代わりに、携帯電話の位置情報サービスを用いることできる。GPSは、位置計測手段に対応する。
(GPS)
User U wears GPS 111 on his body. The location of the user U can be detected by the GPS 111. Further, a location information service of a mobile phone can be used instead of the GPS 111. The GPS corresponds to a position measuring unit.
(足圧力センサ)
足圧力センサ112は、ユーザUが履いている靴にかかる足裏の圧力分布を検出する。そして、足圧力センサ112は、ユーザUの立ち状態、座り状態、歩行状態を計測・判定する。
(Foot pressure sensor)
The
(発話・咀嚼・特定環境音センサ)
発話・咀嚼・特定環境音センサ113は、ユーザUが発話している状態か、すなわち会話中か、または咀嚼している状態か、即ち食事中であるかの可能性を計測する。さらにあらかじめ登録した複数の環境のどこにユーザUがいるかの可能性を計測する。
(Speech / mastication / specific environmental sound sensor)
The utterance / mastication / specific
発話・咀嚼・特定環境音センサ113は、ユーザUの一方の耳に装着するイヤホン型センサである。イヤホン型センサの一つの筐体内には、骨伝導マイクと外界音マイクとが内蔵されている。
The utterance / mastication / specific
骨伝導マイクは、体内音を検出する。体内音とは、ユーザUの発話・咀嚼時に体内から生じ、体内を伝播する振動である。体内音の具体例は、声帯振動や歯が食物を噛み切る音、食物が咽喉を通過する音、あご関節が動く音等である。 The bone conduction microphone detects body sounds. The body sound is vibration that is generated from the body and propagates through the body when the user U speaks and chews. Specific examples of body sounds include vocal cord vibration, the sound of teeth biting food, the sound of food passing through the throat, the sound of movement of the chin joint, and the like.
外界音マイクは、ユーザのいる環境の外界音を検出する。外界音には、環境の雑音に加え、ユーザUの発声に応じて、体外へ伝播する振動、即ち音声が含まれる。
骨伝導マイク、および、外界音マイクの捕らえる音の第1の単位時間T1(例えば100ms)におけるパワーをそれぞれP1、P2とするとき、P1が第1の閾値C1よりも大きく、かつ、P2が第2の閾値C2よりも小さい場合は、咀嚼に伴う音を検出したものとし、咀嚼検出数N1を加算する。そして、第2の単位時間T2(例えば2s)における咀嚼検出率(N1×T1/T2)を計測値とすることで、この計測値は第2の単位時間T2における咀嚼可能性を示すことが出来る。
同様に、P1が第3の閾値C3よりも大きく、かつ、P2が第4の閾値C4よりも大きい場合は、発話に伴う音を検出したものとし、発話検出数N2を加算する。そして、第2の単位時間T2(例えば2s)における咀嚼検出率(N2×T1/T2)を計測値とすることで、この計測値は第2の単位時間T2における発話可能性を示すことが出来る。
さらに、外界音マイクの捕らえる音のレベルと周波数を解析することで、ユーザUを取り巻く環境をある程度推定出来る。例えば電車の中、バスの中、飛行機の中の外界音マイクで捕らえた騒音の、レベルの揺らぎパターンと周波数分布をあらかじめ計測しておき、実際にユーザUが身につけた外界音マイクの捕らえた音を、あらかじめ計測した前記の揺らぎや周波数分布と比較をすることで、ユーザがどの乗り物の中にいるかを推定することができるので、例えば飛行機の中の騒音との相関係数を計測値とすれば、飛行機の中にいる可能性を示すことができる。
The external sound microphone detects external sound in the environment where the user is present. In addition to environmental noise, the external sound includes vibrations that propagate outside the body, that is, sound in accordance with the utterance of the user U.
When the power in the first unit time T 1 (for example, 100 ms) of the sound captured by the bone conduction microphone and the external sound microphone is P 1 and P 2 , respectively, P 1 is larger than the first threshold C 1 , and, the P 2 when the second is smaller than the threshold value C 2 is assumed that detected the sound associated with chewing, adds the mastication detection number N 1. Then, by using the mastication detection rate (N 1 × T 1 / T 2 ) in the second unit time T 2 (for example, 2 s ) as a measurement value, this measurement value is the possibility of mastication in the second unit time T 2 . Can be shown.
Similarly, when P 1 is larger than the third threshold C 3 and P 2 is larger than the fourth threshold C 4 , it is assumed that the sound accompanying the utterance is detected, and the utterance detection number N 2 is added. To do. Then, by using the mastication detection rate (N 2 × T 1 / T 2 ) in the second unit time T 2 (for example, 2 s ) as a measurement value, this measurement value can be uttered in the second unit time T 2 . Can be shown.
Furthermore, the environment surrounding the user U can be estimated to some extent by analyzing the level and frequency of the sound captured by the external sound microphone. For example, the level fluctuation pattern and frequency distribution of noise captured by an external sound microphone in a train, bus, or airplane were measured in advance, and the external sound microphone actually worn by the user U was captured. By comparing the sound with the previously measured fluctuations and frequency distribution, it is possible to estimate which vehicle the user is in. For example, the correlation coefficient with the noise in the airplane is used as the measured value. Then you can show the possibility of being in an airplane.
(腕装着型運動計測センサ)
腕装着型運動計測センサ114(以下、適宜「運動計測センサ」という。)は、ユーザUの腕の動きを検出する。運動計測センサ114は、加速度センサや角速度センサを備えている。そして、上述した足圧力センサ112の検出結果と合わせてユーザUの日常動作、歩行状態をさらに正確に同定することができる。なお、腕に装着する方法は、例えば腕時計タイプ、または腕に貼付するタイプ等が挙げられる。
(Arm-mounted motion measurement sensor)
The arm-mounted motion measurement sensor 114 (hereinafter referred to as “motion measurement sensor” as appropriate) detects the movement of the user U's arm. The motion measurement sensor 114 includes an acceleration sensor and an angular velocity sensor. Then, it is possible to more accurately identify the daily action and walking state of the user U together with the detection result of the
(心拍数センサ)
心拍数計測センサ115は、指または耳に装着し、拍動に伴う血流の変化を赤外光の透過率や反射率の変化で計測する。
(Heart rate sensor)
A heart rate measurement sensor 115 is attached to a finger or ear and measures changes in blood flow associated with pulsation by changes in infrared light transmittance and reflectance.
(体温センサ)
体温センサ116は、例えば、サーミスタ、放射温度計、熱電対による温度センサを用いて体温を計測する。
(Body temperature sensor)
The body temperature sensor 116 measures body temperature using, for example, a thermistor, a radiation thermometer, or a temperature sensor using a thermocouple.
(抹消皮膚温度センサ)
抹消皮膚温度センサ117は、例えば、サーミスタ、放射温度計、熱電対による温度センサを用いて抹消皮膚温度を計測する。
(Erase skin temperature sensor)
The peripheral skin temperature sensor 117 measures the peripheral skin temperature using, for example, a thermistor, a radiation thermometer, or a thermocouple temperature sensor.
(発汗センサ)
発汗センサ118は、例えば、皮膚の表面抵抗の変化により皮膚の発汗を計測する。
(Sweating sensor)
The perspiration sensor 118 measures the perspiration of the skin by, for example, a change in the surface resistance of the skin.
(顔色センサ)
顔色センサ119は、例えば、顔面近くに光センサを配置し、複数の光学的バンドパスフィルタ通過後の光度を比較して計測する。
(Face color sensor)
The
(瞳孔の大きさセンサ)
瞳孔の大きさセンサ120は、例えば、瞳孔近くにカメラを設置し、カメラからの信号を解析し瞳孔の大きさを計測する。
(Pupil size sensor)
The
(周辺温度センサ)
周辺温度センサ121は、例えば、サーミスタ、放射温度計、熱電対による温度センサを用いて外界温度を計測する。
(Ambient temperature sensor)
The ambient temperature sensor 121 measures the ambient temperature using, for example, a thermistor, a radiation thermometer, or a temperature sensor using a thermocouple.
(周辺湿度センサ)
周辺湿度センサ122は、例えば、湿度によって電気抵抗が変化するセンサを用いた湿度センサによって計測する。
(Ambient humidity sensor)
For example, the ambient humidity sensor 122 is measured by a humidity sensor using a sensor whose electrical resistance changes depending on humidity.
(周辺光度センサ)
周辺光度センサ123は、例えば、光電素子を用いたセンサによって周囲の光度を計測する。
(Ambient light intensity sensor)
The ambient light intensity sensor 123 measures the ambient light intensity using, for example, a sensor using a photoelectric element.
(情報転送)
外部データベース220と情報端末101間の情報転送は、無線、有線、インターネット等のインフラが利用できる。また、本発明の情報端末101の電源を充電するために充電器に接続する時に同時に外部データベース220への接続ができるようにもできる。この場合専用の通信線の接続でもまた電灯線LAN等を使用することもできる。
(Information transfer)
Information transfer between the
(情報端末装置)
情報端末101について説明する。本情報転送システムにおける情報端末101は、4つの機能を有する。1番目の機能は、上述した各種センサ群からの情報を集約することである。2番目の機能は、各種センサ群の計測結果および外部より取得、あるいは使用者によって入力され、情報記憶手段が記憶している情報を基に演算することである。3番目の機能は、演算結果に基づき外部データベースから情報を選択し取り込む機能である。4番目の機能は、外部と交信し情報を取得し、情報端末101の内部情報記憶部208に記憶する機能である。内部情報記憶部208は、情報記憶手段に対応する。
(Information terminal equipment)
The
ここで、情報端末101には1番目〜4番目の機能の全てを内蔵することもできるし、例えば、上記の1番目と4番目の機能のみを有し、2番目の各種センサ群の計測結果を基に演算する機能、および3番目の演算結果に基づき情報を選択取得する機能は、外部のサーバーに持たせることもできる。この方法では、各種センサの計測結果は、情報端末101(コントロール装置)から外部サーバーへ取得日時と合わせて送信される。また、外部サーバーからの情報は外部サーバーが内蔵する情報選択手段によって選択され、情報端末101へ送信される。
Here, the
本実施例では、情報選択・取得部209からの情報要求、あるいは各種センサの計測結果は情報端末101(コントロール装置)から外部データベース220へ外部通信部212を介して送信される。このとき、複数の情報端末を使用する場合、情報端末固有のIDも付加して送信される。外部通信部212は、通信手段に対応する。
In this embodiment, an information request from the information selection /
上述のように、本情報転送システムでは、上述の各機能を情報端末101、または外部サーバー220のいずれかに搭載することができる。
As described above, in the information transfer system, each function described above can be installed in either the
(センサ情報集約機能)
本発明で使用するセンサの出力は、一般的にはアナログ出力である。このままでは前記情報端末101(コントロール装置)で処理しにくい。このため、アナログ・ディジタル変換機能をセンサに付加する。各センサ部には、さらに、情報端末101(コントロール装置)と無線により交信する送受信機能を付加する。各センサと情報端末101(コントロール装置)間の無線通信は、時分割、周波数分割、または、スペクトロ拡散方式のいずれかにより、多重通信を行う。
(Sensor information aggregation function)
The output of the sensor used in the present invention is generally an analog output. In this state, it is difficult for the information terminal 101 (control device) to process. For this reason, an analog / digital conversion function is added to the sensor. Further, a transmission / reception function for wirelessly communicating with the information terminal 101 (control device) is added to each sensor unit. The wireless communication between each sensor and the information terminal 101 (control device) performs multiplex communication by any one of time division, frequency division, or spectro-spreading.
図2において、行動計測部201は、GPS111と、足圧力センサ112と、発話・咀嚼センサ113と、腕時計型運動計測センサ114と、発話・咀嚼センサ113を含んでいる。また、行動計測部201は、少なくともユーザUの、腕の動きと、足の動きと、頭の動き、音声と、体内音とのいずれか一つを含むことが望ましい。
In FIG. 2, the
また、行動計測部201には、予め格納されているユーザUの予定行動データを計測データとして取り込むことが望ましい。また、本発明の好ましい態様によれば、使用者の位置及び方向を計測する位置計測手段を含むことが望ましい。位置計測手段は、GPS機能を有することが望ましい。
In addition, it is desirable that the
また、行動計測部201は、ユーザの周囲環境を計測する環境計測部203による計測結果の過去データを演算時のデータとして取り込むことが望ましい。
In addition, it is desirable that the
生体情報計測部202は、心拍数センサ115、体温センサ116、抹消皮膚温度センサ117、発汗センサ118、顔色センサ119、瞳孔の大きさセンサ120を含んでいる。
The biological
環境計測部203は、周囲温度センサ121、周辺湿度センサ122、周辺光度センサ123を含んでいる。このように、本発明の好ましい態様によれば、ユーザUの周囲環境を計測する環境計測部203には、温度、湿度、光度、外部音、室内外センスのいずれか一つを含むことが望ましい。
The
各センサ110等は、さらに、情報端末101と無線により通信(交信)する通信部211を有している。通信部211は、送受信機能を備えている。各センサ110等と情報端末101間の無線通信は、時分割、周波数分割、または、スペクトロ拡散方式のいずれかにより、多重通信を行うことができる。
Each sensor 110 and the like further includes a
また、少なくとも各計測手段の計測値の一部または全部とかつ、または、計測結果記憶情報の一部または全部の数値を用いて演算する演算部205には、少なくとも数値乗算機能および数値加算機能を含むことが好ましい。
Further, at least a part of or all of the measurement values of each measuring means and / or a part of or all of the measurement result storage information are used for the
また、少なくとも各計測部の計測値の一部または全部とかつ、または、計測結果記憶情報の一部または全部の数値を用いて演算する演算部205には、さらに、係数を記憶する係数記憶部206を備え、計測結果およびまたは計測結果記憶部204の一部または全部の値に係数記憶部206の係数を乗算し、その乗算結果を加算し、多次元の演算結果を出力する演算部205であることが好ましい。
In addition, the
また、本発明によれば、上記係数を記憶する係数記憶部206に記憶された係数は、演算結果の一部または全部を用いて演算する第二の演算部207の演算結果に基づき係数書換部207によって書き換えられることが好ましい。
Further, according to the present invention, the coefficient stored in the
また、本発明によれば、ダウンロードする情報を選択するための情報選択・取得部209を備え、情報選択・取得部209に演算部205の結果が入力されることが好ましい。
In addition, according to the present invention, it is preferable that the information selection /
また、ダウンロードした情報に基づいて、さらにダウンロードする情報を選択できるように、ダウンロードした情報がさらに、情報選択・取得部209へ入力できることが好ましい。
Moreover, it is preferable that the downloaded information can be further input to the information selection /
次に、本実施例における処理の手順について説明する。図3は、処理の流れを示すフローチャートである。 Next, a processing procedure in the present embodiment will be described. FIG. 3 is a flowchart showing the flow of processing.
ステップS301において、演算部205は、各センサ101等からの計測結果を取り込む。ステップS302において、取り込まれた計測結果は、アナログ出力からディジタル出力へ変換される。なお、上述したように、各センサ101等がアナログ・ディジタル変換機能を有していても良い。
In step S301, the
ステップS304において、演算部205は後述する手順の演算を行う。演算結果は演算結果記憶部213に、計測結果は計測結果記憶部204にそれぞれ記憶される。また、ステップS303、S305、S306においては、現在及び/または過去の演算結果や計測結果を用いて、使用者に対して個性化した演算を行うこともできる。このような個性化するための演算の詳細については後述する。ステップS307において、情報選択・取得部209は、演算結果に基づいて、外部情報データベース220から後述する手順に従って情報を取り出す。ステップS308において、取り出された情報は、内部情報記憶部208に記憶される。
In step S304, the
(演算機能)
次に、演算部205が行う演算処理について説明する。演算部205は、行動計測部201と生体情報計測部202と環境計測部203との少なくとも一つからの計測値の一部または全部、及び/または計測結果記憶部204に記憶されている計測結果記憶情報の一部または全部の数値、及び/または、情報端末の情報記憶手段に記憶された情報を用いて演算する。これは、図3のステップS304に対応する。
(Calculation function)
Next, calculation processing performed by the
具体的には、演算部205は、ディジタル化された各センサ101等からの信号を乗算する機能と加算する機能とを備えている。例えば、次式(1)に示すように、各センサ101等からの計測結果の数値Xjと、2次元行列(マトリックス)で表される係数Aijとの積和計算を行う。そして、積和計算の結果を多次元座標としてn次元のベクトルYiとして演算する。なお、iは、n次元空間のi座標である。また、数値Xjにおいて、jは各センサ101等に割り当てられている番号である。
Specifically, the
(計測結果)
行動計測部201と生体情報計測部202と環境計測部203との少なくとも一つからの計測値の一部または全部、及び/または計測結果記憶部204に記憶されている計測結果記憶情報の一部または全部の数値を用いて演算するが、センサが全て接続されていない場合や計測値の一部に異常値が出現する場合、または、計測値の一部の数値を用いて演算する場合には、Xiのあらかじめ定められたデフォルト値を用いて演算がなされるようにしておくことが望ましい。計測値の異常は、例えば、ある範囲を指定しておき、その数値がその範囲を外れた時には異常と判定する、または、時系列の計測値の時間的変化がある閾値を超えたときに異常と判定する。または、さらに別の方法としては、センサの種類または数に合わせて、それぞれ演算するための係数マトリックスを複数用意し、センサの種類または数によって選択された係数マトリックスによって演算してもよい。
(Measurement result)
Part or all of measurement values from at least one of the
(演算結果のY値)
演算されたY座標のY値は、例えば疲れとか忙しさと言ったような概念的意味を持たない数値であっても良いが、A係数の設定によっては、概念的な意味をもたせることもできる。例えば、心拍数、発汗、体温のX値に対して乗算されるそれぞれのA係数を、その他の計測値に対するA係数より大きな数値に設定する。これによって乗算・加算されたY数値は、心拍数、発汗、体温の計測値が大きくなれば、大きな値になり、そのY数値はいわゆる「興奮度」を表す。そして、そのY軸は興奮と位置付けできる。また、発話・咀嚼・特定環境音センサの発話と咀嚼の計測値と足圧力センサの計測値の、その計測値に対するA係数を大きくしておいた場合、発話・咀嚼の計測値が高く、また、足圧力センサの動きもないときには、演算された対応するY値は、着座して会話をしているらしいことを表している。また、発話と咀嚼の計測値が低く、また、足圧力センサの計測値が低い時には、演算された対応するY値は、低くなり、静かに思考しているか、睡眠状態にあるかなど推定できる。このように、さらにセンサの種類を増やすことにより、それぞれのY値が、言い換えればY軸に、使用者の行動・感情等をその内容に概ね対応させることも可能である。
(Y value of the calculation result)
The calculated Y value of the Y coordinate may be a numerical value having no conceptual meaning such as fatigue or busy, but may have a conceptual meaning depending on the setting of the A coefficient. For example, each A coefficient multiplied by the X value of heart rate, sweating, and body temperature is set to a value larger than the A coefficient for other measurement values. The Y value multiplied / added by this increases as the measured values of heart rate, sweating, and body temperature increase, and the Y value represents the so-called “excitability”. And the Y axis can be positioned as excitement. Also, if the A coefficient for the measured value of the speech / mastication / specific environmental sound sensor's speech and mastication and the foot pressure sensor is large, the measured value of the speech / mastication is high, When there is no movement of the foot pressure sensor, the corresponding Y value calculated indicates that the person seems to be sitting and talking. In addition, when the measured values of speech and mastication are low and the measured value of the foot pressure sensor is low, the corresponding Y value calculated is low, and it can be estimated whether the person is thinking quietly or is sleeping. . In this way, by further increasing the types of sensors, each Y value, in other words, the Y-axis can be made to generally correspond to the contents of the user's actions and emotions.
(情報選択・取得手段)
次に、外部情報データベース220からの情報の取り出しについて説明する。演算部205の出力は、上述のように多次元の座標として表されている。情報選択・取得部209は、出力された座標と、外部情報データベース220に記憶されている情報の属性の座標とを比較する。
(Information selection / acquisition means)
Next, extraction of information from the
図4に示すように、外部情報データベース220において情報に付加された座標の所定幅の範囲内に、出力された演算結果の座標が存在しているとき、その情報が取得されるべき情報として判定され取得される。
As shown in FIG. 4, when the coordinates of the output calculation result exist within a predetermined range of coordinates added to information in the
図4は、ベクトル空間において、座標の所定幅内に存在する情報を示している。例えば、Y3軸についてc〜d、Y5軸についてa〜b、Y8軸についてe〜fの範囲内に、出力された演算結果が存在するとき、情報Xが選択される。表示部210は、選択された情報Xを表示する。
FIG. 4 shows information existing within a predetermined width of coordinates in the vector space. For example, c to d for Y 3 axis, the Y 5 axis to b, in the range of e~f for Y 8 axes, when output operation result is present, the information X is selected. The
座標の判定及び情報の取り出しは、あらかじめ設定された、時間間隔で行われるか、演算部205の出力値に所定以上の変化があったときに行われる。なお、図4では、図示の都合上三軸のみを示してある。情報Xは、図4から容易にわかるように各軸のa〜b、c〜d、e〜fの範囲にその情報が位置する。
The determination of coordinates and the extraction of information are performed at a preset time interval or when the output value of the
また、ベクトル空間の所定の範囲内に、出力された演算結果が存在しないとき、演算結果に最も近い情報が選択される。ここで、演算結果と近いか否かの判定は、演算結果の座標と、その周囲に情報が存在する領域の中心座標との多次元距離により判定される。 Further, when the output calculation result does not exist within a predetermined range of the vector space, information closest to the calculation result is selected. Here, whether or not it is close to the calculation result is determined by a multidimensional distance between the coordinates of the calculation result and the center coordinates of the area where information exists around the calculation result.
また、本実施例では、さらに、第二の演算部207を備えることもできる。第二の演算部207は、既に得られている係数Anmに基づいて、新たな係数Anmを演算する。
In the present embodiment, a
また、第二の演算部207は、係数記憶部206に記憶された係数を書き換えるための係数書換部としての機能も備えている。式(2)の手順を繰り返すことにより、係数Anmは順次書き換えられてゆく。これは、図3のステップS305、S306に対応する。
The second
式(2)において、Anmは今までの演算係数であり、左辺のAnmは新しい演算係数を与える。なお、本演算は一例であり、本発明がこの方式により限定されるものではない。 In the formula (2), A nm are calculation coefficients to date, the left side of A nm gives a new operation coefficient. This calculation is an example, and the present invention is not limited to this method.
さらに、例えば、Cnmは、計測値Xiの変化量ΔXiの関数として、次式(3)として与えることができる。 Furthermore, for example, C nm can be given as the following equation (3) as a function of the change amount ΔX i of the measured value X i .
Cnm=f(ΔX1、ΔX2、・・・・、ΔXi、・・・ΔXm) ・・・(3) C nm = f (ΔX 1 , ΔX 2 ,..., ΔX i ,... ΔX m ) (3)
ここで、計測値Xiの変化量ΔXiは、計測結果と計測結果記憶情報との間の変化量で定義される。 Here, the change amount ΔX i of the measurement value X i is defined by the change amount between the measurement result and the measurement result storage information.
換言すると、計測値Xiの変化量ΔXiは、ユーザUに対して情報表示システムにより情報を与える前の状態の計測結果と、情報を与えた後の状態の計測結果との差分を表している。この差分は、本情報のユーザへの影響度に対応している。この影響度に基づいて、Cnmは変化し、かつ定められる。 In other words, the change amount [Delta] X i of the measured value X i, expressed a measurement result in a state before giving the information by the information display system to the user U, the state after the given information a difference between a measurement result Yes. This difference corresponds to the degree of influence of this information on the user. Based on this degree of influence, C nm varies and is determined.
また、これに限られず、第二の演算部207は、次式(4)のように、演算結果と演算結果記憶情報との間の変化量を用いて演算しても良い。ここで、演算結果記憶部213は、演算部205による演算結果を演算結果記憶情報として記憶する。
In addition, the present invention is not limited to this, and the
Cnm=f(ΔY1、ΔY2、・・・・、ΔYi、・・・ΔYm) ・・・(4)
C nm = f (ΔY 1 , ΔY 2 ,..., ΔY i ,... ΔY m ) (4)
換言すると、演算結果Yiの変化量ΔYiは、ユーザに対して情報表示システムにより情報を与える前の状態の演算結果と、情報を与えた後の状態の演算結果との差分を表している。この差分は、本情報のユーザへの影響度に対応している。この影響度に基づいて、Cnmは変化し、かつ定められる。 In other words, the change amount [Delta] Y i of computation result Y i represents the calculated result of the previous state which gives the information by the information display system to the user, the difference between the state calculation result of after giving information . This difference corresponds to the degree of influence of this information on the user. Based on this degree of influence, C nm varies and is determined.
上述の演算において、現在の演算結果と、過去の状況において記録されている演算結果との両方を用いることが望ましい。これにより、使用者の状況の変化と方向とが、より正確に取得できる。換言すると、各使用者に応じて個性化した情報を得ることができる。 In the above-described calculation, it is desirable to use both the current calculation result and the calculation result recorded in the past situation. Thereby, a change and direction of a user's situation can be acquired more correctly. In other words, individualized information can be obtained according to each user.
また、さらには、ΔXi ΔYi の両方を用いて演算しても良い。
Cnm=f(ΔX1、ΔX2、・・・・、ΔXi、・・・ΔXm、ΔY1、ΔY2、・・、ΔYi、・・・ΔYm) …(5)
Further, the calculation may be performed using both ΔX i ΔY i .
C nm = f (ΔX 1 , ΔX 2 ,..., ΔX i ,... ΔX m , ΔY 1 , ΔY 2 ,..., ΔY i ,... ΔY m ) (5)
(内部情報記憶部)
内部情報記憶部208、いわゆる内部データベースにおいて、外部データベース220から転送・取得された情報は、ユーザUの指示により同じアドレスにある以前の情報と置き換えをすることもできる。さらに別のアドレスに記憶されることもできる。また、情報に属性として付属の日時を検出し、常に新しい情報で置き換えることも可能である。なお、内部情報記憶部208は、情報記憶手段に対応する。
(Internal information storage)
In the internal
本実施例をさらに詳しく説明する。例えば、ユーザUが外出するという行動予定が本システムに記憶されている場合を考える。本システムは、外出する前に、この予定を数値化した行動計測値を用いた演算を行い、その演算結果に基づき外部データベース220から必要な情報を転送、取得して内部情報記憶部208(情報記憶手段)に記憶する。
This embodiment will be described in more detail. For example, consider a case where an action schedule that the user U goes out is stored in the system. Before going out, the system performs an operation using the behavior measurement value obtained by quantifying the schedule, transfers and acquires necessary information from the
この場合、例えば、天気予報や道路情報、鉄道運行情報といった情報、出かける先の近隣情報、レストラン情報等が自動的に取得、記憶され、必要に応じてユーザUに対して情報を表示することができる。 In this case, for example, information such as weather forecasts, road information, and railway operation information, neighboring information of destinations, restaurant information, and the like are automatically acquired and stored, and information can be displayed to the user U as necessary. it can.
さらに、このようにして取得され、記憶された情報(1次情報)は、さらに演算部205に入力され、その演算結果により次の情報(2次情報)が取得されるようにすることもできる。例えば、まず天気情報を取得し、その天気情報が雨の場合、さらに演算がなされ雨に関しての情報、例えば、駅から濡れずに行けるレストランやあまり雨を気にしない経路情報等が、適宜選択され転送・取得される。
Furthermore, the information (primary information) acquired and stored in this way can be further input to the
なお、取得する情報を選択するために外部データベース220から取得する1次情報(先述の例では天気情報)は、必ずしも内部情報記憶部208に記憶する必要はない。例えば、外部データベース220側に用意した第2の演算手段に1次情報を入力し、その演算結果に基づいて、同じく外部データベース220側に用意した第2の情報選択・取得手段が2次情報を選択・取得し、通信手段を介して情報端末101内の内部情報記憶部208に記憶するように構成しても良い。
Note that primary information (weather information in the above example) acquired from the
さらに別の実施例について説明する。情報端末101で音楽を聴く時には、ユーザUの音楽を聞いているときのユーザUの身体の各部分の動きを計測する行動計測部201と、ユーザUの身体の生体情報を計測する生体情報計測部202により、その聴いている曲に対するそれぞれの計測値が記録される。
Still another embodiment will be described. When listening to music on the
そして、その計測値の演算結果に基いた情報が、外部データベース220から選択取得される。この例では、該情報は音楽の曲であり、その計測結果による演算結果は、ユーザUの興味や興奮度に基づき選択されるように、演算部205の係数が定められている。したがって、本発明によれば、例えば、ユーザUの興味や好みに合うであろうと思われる新曲等がダウンロードされることになる。
Information based on the calculation result of the measurement value is selected and acquired from the
このような音楽配信の他の例では、例えば、情報端末101をクレードルに載置して充電している間に、上述の手順に従って所定の音楽を外部データベース220からダウンロードできる。ダウンロードされた音楽は、内部情報記憶部209に格納される。ユーザUは、格納・保存されている音楽の中から所望の音楽を選択する。また、自動的にユーザUの状況に最適な音楽が表示(再生)されるようにしても良い。
In another example of such music distribution, for example, while the
本発明に係る情報転送システムでは、使用者の身体の各部分の動きを計測する行動計測手段と、使用者の身体の生体情報を計測する生体情報計測手段と、使用者の周囲環境を計測する環境計測手段を備え、使用者の身体的・精神的状態、使用者を取り巻く環境状態を計測し、少なくとも前記計測手段の計測値の一部または全部とかつ、または、過去情報である前記計測結果記憶情報の一部または全部の数値を用いて、前記演算手段を用いて演算し、その演算結果を、取得情報選択機能へ入力し、外部データベースより通信手段により使用者が真に必要とする情報を自動で取得できる情報転送システムを実現できる。 In the information transfer system according to the present invention, behavior measuring means for measuring the movement of each part of the user's body, biological information measuring means for measuring the biological information of the user's body, and the surrounding environment of the user are measured. An environmental measurement unit is provided to measure the physical and mental state of the user and the environmental state surrounding the user, and at least a part or all of the measurement values of the measurement unit and / or the measurement result that is past information Information that is calculated by the calculation means using a part or all of the stored information, inputs the calculation result to the acquisition information selection function, and is really required by the user by communication means from an external database. It is possible to realize an information transfer system that can automatically acquire.
以上のように、本発明に係る情報端末装置は、使用者の身体の各部分の動きを計測する行動計測手段と、使用者の身体の生体情報を計測する生体情報計測手段と、使用者の周囲環境を計測する環境計測手段とにより、使用者が真に必要とする情報を取得する情報転送システムに有用である。 As described above, the information terminal device according to the present invention includes a behavior measuring unit that measures the movement of each part of the user's body, a biological information measuring unit that measures the biological information of the user's body, and the user's body. It is useful for an information transfer system that acquires information that a user really needs by using an environment measuring unit that measures the surrounding environment.
101 情報端末
102 情報表示部
110 屋内外センサ
111 GPS
112 足圧力センサ
113 発話・咀嚼センサ
114 腕時計型運動計測センサ
115 心拍数センサ
116 体温センサ
117 抹消皮膚温度センサ
118 発汗センサ
119 顔色センサ
120 瞳孔の大きさセンサ
121 周囲温度センサ
122 周辺湿度センサ
123 周辺光度センサ
200 情報表示システム
201 行動計測部
202 生体情報計測部
203 環境計測部
204 計測結果記憶部
205 演算部
206 係数記憶部
207 第二の演算部
208 内部情報記憶部
209 情報選択・取得部
210 表示部
211 通信部
212 外部通信部
213 演算結果記憶部
220 外部情報データベース
U ユーザ
101
112
Claims (5)
前記行動計測手段と前記生体情報計測手段と前記環境計測手段との少なくとも一つからの計測結果を計測結果記憶情報として記憶する計測結果記憶手段と、
前記行動計測手段と前記生体情報計測手段と前記環境計測手段との少なくとも一つからの計測結果の一部または全部、及び/または前記計測結果記憶手段に記憶されている前記計測結果記憶情報の一部または全部の数値を用いて演算する演算手段と、
前記演算手段の結果に基づいて、外部データベースから情報を選択し、取得する情報選択・取得手段と、
情報端末に内蔵され、情報を記憶する情報記憶手段と、
前記情報選択・取得手段で選択・取得される情報を前記外部データベースから前記情報記憶手段に転送するために、前記情報端末と前記外部データベースとを接続する通信手段と、を有することを特徴とする情報転送システム。 A behavior measuring means for measuring movement of each part of the user's body by a measuring means attached to the user's body or carried by the user, and a biological information measuring means for measuring the biological information of the user's body; At least one measuring means for measuring the surrounding environment of the user, and
Measurement result storage means for storing measurement results from at least one of the behavior measurement means, the biological information measurement means, and the environment measurement means as measurement result storage information;
A part or all of measurement results from at least one of the behavior measurement means, the biological information measurement means, and the environment measurement means, and / or one of the measurement result storage information stored in the measurement result storage means Computing means for computing using part or all numerical values;
Information selection / acquisition means for selecting and acquiring information from an external database based on the result of the calculation means;
Information storage means built in the information terminal for storing information;
Communication means for connecting the information terminal and the external database in order to transfer the information selected / acquired by the information selection / acquisition means from the external database to the information storage means; Information transfer system.
前記計測結果及び/または前記計測結果記憶手段の一部または全部の値に前記係数記憶手段の係数を乗算し、その乗算結果を加算し、多次元の演算結果を出力する演算手段であることを特徴とする請求項1に記載の情報転送システム。 The arithmetic means includes a multiplication function and an addition function, and coefficient storage means for storing coefficients,
A calculation means for multiplying a part or all of the values of the measurement result and / or the measurement result storage means by a coefficient of the coefficient storage means, adding the multiplication results, and outputting a multidimensional calculation result; The information transfer system according to claim 1, wherein:
前記行動予定情報を前記情報記憶手段に記憶することを特徴とする請求項4に記載の情報転送システム。 The information transfer system further includes means for inputting the action schedule information of the user,
5. The information transfer system according to claim 4, wherein the action schedule information is stored in the information storage means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006267498A JP2008090373A (en) | 2006-09-29 | 2006-09-29 | Information transfer system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006267498A JP2008090373A (en) | 2006-09-29 | 2006-09-29 | Information transfer system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008090373A true JP2008090373A (en) | 2008-04-17 |
Family
ID=39374500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006267498A Pending JP2008090373A (en) | 2006-09-29 | 2006-09-29 | Information transfer system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008090373A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010122751A (en) * | 2008-11-17 | 2010-06-03 | Nec Corp | Situation estimation system, situation estimation method, and situation estimation program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11244383A (en) * | 1998-03-02 | 1999-09-14 | Pioneer Electron Corp | Audio system |
JP2001282847A (en) * | 2000-04-03 | 2001-10-12 | Nec Corp | Sensibility adaptive type information-providing device and machine-readable recording medium recording program |
JP2005032167A (en) * | 2003-07-11 | 2005-02-03 | Sony Corp | Apparatus, method, and system for information retrieval, client device, and server device |
-
2006
- 2006-09-29 JP JP2006267498A patent/JP2008090373A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11244383A (en) * | 1998-03-02 | 1999-09-14 | Pioneer Electron Corp | Audio system |
JP2001282847A (en) * | 2000-04-03 | 2001-10-12 | Nec Corp | Sensibility adaptive type information-providing device and machine-readable recording medium recording program |
JP2005032167A (en) * | 2003-07-11 | 2005-02-03 | Sony Corp | Apparatus, method, and system for information retrieval, client device, and server device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010122751A (en) * | 2008-11-17 | 2010-06-03 | Nec Corp | Situation estimation system, situation estimation method, and situation estimation program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11861266B2 (en) | Voice assistant for wireless earpieces | |
US8229877B2 (en) | Information processing system, information processing method, and computer program product | |
US9069380B2 (en) | Media device, application, and content management using sensory input | |
US10062163B2 (en) | Health information service system | |
US20130198694A1 (en) | Determinative processes for wearable devices | |
US8451194B2 (en) | Information processing system, digital photo frame, information processing method, and computer program product | |
JP5060978B2 (en) | Information presentation system, program, information storage medium, and information presentation system control method | |
US20140195166A1 (en) | Device control using sensory input | |
CA2817145A1 (en) | Determinative processes for wearable devices | |
US10542929B2 (en) | Determining conditions based on intraoral sensing | |
US20140340997A1 (en) | Media device, application, and content management using sensory input determined from a data-capable watch band | |
JP2019072486A (en) | Electronic apparatus | |
US20130179116A1 (en) | Spatial and temporal vector analysis in wearable devices using sensor data | |
JP7401634B2 (en) | Server device, program and method | |
US11596764B2 (en) | Electronic device and method for providing information for stress relief by same | |
AU2012268764A1 (en) | Media device, application, and content management using sensory input | |
JP2008009505A (en) | Information display system | |
JP2008009501A (en) | Charging method | |
CA2820092A1 (en) | Wearable device data security | |
JP2021045568A (en) | System and method | |
AU2012267460A1 (en) | Spacial and temporal vector analysis in wearable devices using sensor data | |
JP2008090373A (en) | Information transfer system | |
JP4961172B2 (en) | Information selection system | |
JP5105779B2 (en) | Information selection system | |
Mahmood | A package of smartphone and sensor-based objective measurement tools for physical and social exertional activities for patients with illness-limiting capacities |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090911 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110824 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111024 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120523 |