JP2002034936A - 通信装置および通信方法 - Google Patents

通信装置および通信方法

Info

Publication number
JP2002034936A
JP2002034936A JP2000222859A JP2000222859A JP2002034936A JP 2002034936 A JP2002034936 A JP 2002034936A JP 2000222859 A JP2000222859 A JP 2000222859A JP 2000222859 A JP2000222859 A JP 2000222859A JP 2002034936 A JP2002034936 A JP 2002034936A
Authority
JP
Japan
Prior art keywords
information
operator
communication
unit
communication device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000222859A
Other languages
English (en)
Other versions
JP3824848B2 (ja
Inventor
Masaki Hamamoto
将樹 濱本
Yoshiji Oota
佳似 太田
Keita Hara
圭太 原
Kenji Ota
賢司 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2000222859A priority Critical patent/JP3824848B2/ja
Priority to US09/904,499 priority patent/US6648822B2/en
Publication of JP2002034936A publication Critical patent/JP2002034936A/ja
Application granted granted Critical
Publication of JP3824848B2 publication Critical patent/JP3824848B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/02Reservations, e.g. for tickets, services or events
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013Medical image data
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00Surgery
    • Y10S128/903Radio telemetry

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

(57)【要約】 (修正有) 【課題】 送信側と受信側との間の通信を円滑化する。 【解決手段】 操作者からの伝達情報(心拍数、体温な
どを含む音声、画像情報)を含む通信情報12を通信す
るための送信部11および受信部13を設ける。通信さ
れる通信情報12をもとに操作者の心理や生理状態を推
定し、推定量として出力する生体情報(環境の物理情
報)処理部14を設ける。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、送信側と受信側と
の間での情報の通信を円滑化できる通信装置および通信
方法に関するものである。
【0002】
【従来の技術】従来の携帯電話、ファクシミリ等の通信
装置においては、送受信される情報は、音声情報、文字
情報、画像情報、ソフトウエア情報の4種類のデータが
主流である。その状況は、どのような通信インフラスト
ラクチャー、例えばインターネットにおいても変わらな
かった。そして、送信された情報を忠実に再現すること
に重点が置かれていた。
【0003】しかしながら、以上のような従来技術で
は、送受信される情報が、音声情報、文字情報、画像情
報、ソフトウエア情報などの意図的な情報に限られてい
た上に、受信側で、情報を忠実に再現することしかして
いないため、送信側の意図を超えた価値を、通信した情
報から受信側が引き出せないでいた。
【0004】そこで、心電信号などの生体情報を音声信
号と共に送信できる医療用通信装置が、特開平5−22
8117号に開示されている。また、体温などの体感情
報を音声信号と共に送信して、受信側にて上記体感情報
を復元する情報通信電話装置が、特開平1−16206
9号公報に開示されている。
【0005】
【発明が解決しようとする課題】ところが、以上のよう
な各従来公報の技術では、生体情報や体感情報を、その
まま再現または復元しているだけであるため、上記生体
情報や体感情報から送信側の感情や周囲の環境状態を把
握することが困難で手間取り、送信側と受信側との間で
の通信(コミュニケーション)に支障が生じることがあ
るという問題を有している。
【0006】また、上記各従来公報では、送信側の感情
変化や周囲の環境状態を、送信側が把握することについ
て何ら考慮しておらず、送信側においても、送信側と受
信側との間での通信(コミュニケーション)に支障が生
じることがあるという問題を有している。
【0007】そこで、本発明の目的は、音声情報も含め
て送信側が意図して送った情報や、送信側の通信装置に
具備された計測部によって観測された情報などから得ら
れる生体情報(バイタルサイン情報)及び環境の物理情
報、さらには、受信側で既に登録された送信側もしくは
受信側についての情報などを考慮して、そこから、送信
側の気分や感情(喜怒哀楽)、健康状態、周囲で起きて
いる状況などの心理、生理状態あるいは、周辺環境の物
理状態を、積極的に算出、推定し、数値や、図、絵な
ど、あるいは、それらと送信側の画像を重ねあわせたも
のなどを受信側に対し(もしくは送信側にも)、例えば
表示により示して、より的確に通信できる通信装置およ
び通信方法を提供することである。
【0008】
【課題を解決するための手段】本発明の通信装置は、以
上の課題を解決するために、操作者からの伝達情報を含
む通信情報を通信するための送信部および受信部と、通
信される通信情報をもとに操作者の心理や生理状態を推
定し、推定量として出力する推定部とを有していること
を特徴としている。
【0009】上記構成によれば、送信部および受信部に
より、操作者からの、例えば音声情報や画像情報や文字
情報やソフトウエア情報といった伝達情報を通信するこ
とができる。
【0010】さらに、上記構成では、推定部において、
通信される通信情報の中から、送信側の操作者の気分や
感情、健康状態、周囲で起きている状況などに関する推
定量を、抽出し推定して出力することができる。
【0011】よって、上記構成においては、送信側が意
図しない推定量に基づいて、受信側が送信側の伝達情報
をただそのまま受け取るだけでなく、出力された推定量
により上記伝達情報の理解を補助して、より深いレベル
での通信をより有効に実行することができる。
【0012】上記伝達情報は、音声情報を含んでいても
よい。上記構成によれば、通信される音声情報から、送
信側が意図的に送ったわけではない情報(音声の強弱や
アクセント位置の変化、周囲の物音など)を抽出し、そ
こから、例えば送信側の操作者の気分や感情、健康状
態、周囲で起きている状況などを推定し、受信側が音声
情報に基づく送信側の言葉をただそのまま受け取るだけ
でなく、より深くその意味を理解する手段を提供するこ
とができる。
【0013】上記伝達情報は、画像情報を含んでいても
よい。上記構成によれば、通信される画像情報から、送
信側が意図的に送ったわけではない情報(視線、瞬き、
瞳孔の大きさ、唇の動き、口や唇の乾き、顔面の表情や
色、体動、姿勢、もしくは、装置周辺の人の数、明度、
天候など)を抽出し、そこから、送信側の気分や感情、
健康状態、周囲で起きている状況などを推定し、受信側
が、画像情報に基づく送信側の言葉をただそのまま受け
取るだけでなく、より深くその意味を理解することがで
きる。
【0014】上記通信装置では、操作者の心拍数等のバ
イタルサインをバイタルサイン情報として計測するバイ
タルサイン計測部をさらに有し、通信情報はバイタルサ
イン情報を含んでいてもよい。上記通信装置において
は、さらに、周辺環境における、気温等の物理情報を計
測する環境計測部を有し、通信情報は上記物理情報を含
んでいてもよい。
【0015】上記構成によれば、従来の音声情報、文字
情報、画像情報、ソフトウエア情報といった伝達情報だ
けでなく、送信側もしくは受信側の様々なデータとして
のバイタルサイン情報や物理情報(送信部もしくは受信
部を収納した通信装置本体を把持する操作者における、
手の筋電位、心拍、皮膚抵抗、体温、気温など)を受信
側で入手することが可能なため、送信側の気分や感情、
健康状態、周囲で起きている状況などの推定をより容易
に行うことができる。
【0016】上記通信装置においては、送信部および受
信部の少なくとも一方を収納する通信装置本体を備え、
上記バイタルサイン計測部は、通信装置本体における操
作者に接触可能な部分に設けられていることが好まし
い。
【0017】上記構成によれば、送信側もしくは受信側
の操作者に直接もしくは非常に接近させた状態で、バイ
タルサイン計測部のセンサを動作させることができるた
め、より精確に、また、ごく自然な状態で、送信側もし
くは受信側の生体情報を計測することができる。
【0018】上記通信装置では、さらに、操作者の個人
情報、社会的情報を記憶しておく記憶部を有し、推定部
は、通信情報をもとに推定量を推定するときに、操作者
の個人情報、社会的情報を利用するようになっていても
よい。
【0019】上記構成によれば、既に明らかな、送信側
もしくは受信側の個人情報、社会的情報を参考にするこ
とができるため、送信側の気分や感情、健康状態、周囲
で起きている状況を、より精確に、受信側や送信側で算
出あるいは、推定することができる。
【0020】上記通信装置では、推定部は、推定量を、
そのまま、もしくは加工して、受信側にて出力する機能
を有するものであってもよい。上記構成によれば、例え
ば表示部や音声出力部を通して、送信側の気分や感情、
健康状態、周囲で起きている状況などを、受信側に、よ
り分かり易く、具体的に示すことができる。
【0021】上記通信装置においては、推定部は、推定
量を、そのまま、もしくは加工して、送信側にて出力す
る機能を有するものであってもよい。上記構成によれ
ば、受信側だけでなく、送信側も、これらの推定量を共
有することができるため、通信される通信情報の内容を
確認し、送信側にフィードバックをかけることができ
て、通信をより円滑化できる。
【0022】上記通信装置では、推定部は、得られた操
作者の心理や生理状態に基づく、操作者の喜怒哀楽の感
情を表現するようになっていてもよい。上記構成によれ
ば、様々な人間の感情を、いくつかの側面で代表するこ
とにより、受信側で、より素早く、的確に送信側の感情
に関する判断を行うことができる。
【0023】上記通信装置においては、推定部は、推定
量を、表やグラフ、もしくは図形や顔の表情、色などの
加工形態にて出力するようになっていてもよい。上記構
成によれば、送信側の気分や感情、健康状態、周囲で起
きている状況などを、受信側に、より分かり易く、具体
的に示すことができる。
【0024】上記通信装置では、通信情報に含まれる画
像情報を表示する表示部を有し、推定部は、推定量を、
送信側の画像情報と並置、もしくは重ね合わせて上記表
示部にて表示するようになっていてもよい。上記構成に
よれば、推定した送信側の気分や感情が、健康状態、周
囲で起きている状況などと、実際の送信側の画像を比較
することにより、より的確な判断を受信側で行うことが
できる。
【0025】上記通信装置においては、通信情報の送
信、あるいは受信の許可、不許可、あるいは出力の許
可、不許可を、送信側および受信側の少なくとも一方で
選択する選択部を有していてもよい。
【0026】上記構成によれば、送信側の意図しない情
報を、送信または、受信することの許可を、受信側、送
信側それぞれの判断に委ねることができることにより、
推定量が不要な場合において、通信の煩雑化を回避でき
る。
【0027】上記通信装置では、推定量に基づいて伝達
情報を変化させる変成部を有していてもよい。上記構成
によれば、伝達情報を変化、例えば、スピーカから送出
される送信および受信される音声を、変成部によって、
感情をより強調したり、逆に感情を隠したりするように
変化させることにより、通信をより円滑化できる。
【0028】本発明の通信方法は、前記の課題を解決す
るために、操作者が操作者からの伝達情報を含む通信情
報を用いて通信するときに、操作者の心理や生理状態を
上記通信情報をもとに推定して出力することを特徴とし
ている。
【0029】上記通信方法においては、操作者の個人情
報、社会的情報を記憶しておき、操作者の個人情報、社
会的情報も考慮して、操作者の心理や生理状態を推定し
て出力してもよい。
【0030】上記通信方法では、操作者の心拍数等のバ
イタルサイン情報を計測し、上記バイタルサイン情報を
通信情報に加えて通信してもよい。
【0031】上記の各方法によれば、送信側の気分や感
情、健康状態、周囲で起きている状況などを、受信側
(もくしは送信側でも)においてより分かり易くなるの
で、送信側と受信側との間の通信をより円滑化できる。
【0032】
【発明の実施の形態】本発明の実施の各形態について図
1ないし図18に基づいて説明すれば、以下の通りであ
る。上記通信装置では、図1に示すように、音声情報や
画像情報といった伝達情報を含む通信情報12が入力さ
れ、上記通信情報12を送信する送信部11、送信され
た通信情報12を受信して出力する受信部13および上
記通信情報から操作者の状態を示す生体情報や周囲環境
の物理情報を抽出・推定して、推定量として出力する推
定部としての生体情報(環境の物理情報)処理部14が
設けられている。
【0033】送信側の送信部11より送られた通信情報
12は、受信側の受信部13で受け取られて、通信情報
12に含まれる例えば音声情報や画像情報などの伝達情
報を受信側の操作者に対し出力すると共に、生体情報
(環境の物理情報)処理部14で処理されて、上記通信
情報12に基づき、送信側の操作者の心理や生理状態を
抽出し推定して受信側の操作者に対し出力するためのも
のである。
【0034】本発明の通信装置では、従来の通信装置に
見られるデコーダのようなデコード処理(伝達情報を送
信前の元の形に戻す)だけを行うのではなく、通信情報
12から、送信側の操作者の心理や生理状態、もしく
は、送信側における周辺環境の物理状態を推定する点が
特徴点である。このために、送信側の操作者の心理や生
理状態、もしくは、送信側における周辺環境の物理状態
を推定するための生体情報や物理情報を計測するための
計測部10が必要に応じて設けられている。このような
計測部10については、以下に、それぞれ詳述する。
【0035】図1に示した通信装置に対し、双方向性を
付与した他の実施の形態を図2に示す。本発明の機能を
現行の携帯電話に付与した場合、例えば図2に示すよう
に、ケース等の通信装置本体15内に、受信部13、生
体情報(環境の物理情報)処理部14および送信部11
と同様な機能を有する送信部41とを有する構成にな
る。
【0036】次に、通信情報12を音声情報または画像
情報とした場合の、さらに他の実施の形態を図3に示
す。例えば現行の携帯電話などでは、主として送信され
る情報が音声情報に限られ、また近い将来の携帯電話で
も、そこに加わるのは送信側の画像情報に限られる。こ
のため、携帯電話での応用には、音声情報および画像情
報の少なくとも一方に基づき、生体情報(環境の物理状
況)処理部14を用いた推定量の抽出(推定)が簡便で
ある。
【0037】その際、音声情報であれば、音声の周波数
(高低)、強弱(エネルギー密度)、声紋、抑揚、会話
の速さ、興奮度、受け応えのタイミングなどに基づい
て、また、画像情報であれば、視線、瞬き、瞳孔の大き
さ、唇の動き、口や唇の乾き、顔面の表情や色、体動、
姿勢、装置周辺の人の数、明度、天候などに基づいて、
そこから、送信側の操作者の気分や感情、健康状態、上
記操作者の周囲で起きている状況などを推定することが
できる。音声情報と画像情報の両方の情報から推定を行
えば、さらに効果的である。
【0038】より精確な抽出を行うために、音声情報や
画像情報だけでなく、様々な情報を計測する、さらに他
の実施の形態を図4に示す。計測部10で測定された電
気的な抵抗値や、それに等価な物理量(電圧値、電流
値、あるいは電位差など)により示される生体情報や物
理情報は、送信部11から通信情報12に含めて送信さ
れ、受信部13で受け取り、生体情報(環境の物理状
況)処理部14で、送信側の心理状態や生理状態といっ
た感情等の推定に用いられる。
【0039】上記の具体的な例としては、脳波、脳磁
図、血圧、心拍数、呼吸数、皮膚抵抗値、発汗量、体
温、体表温の分布、通信装置本体15等の振動、気温、
湿度、気圧、風力、風向、明度、空気清浄度、経緯度、
高度、音響などがある。
【0040】次に、通信が双方向の場合、送信側の通信
情報に対する受信側の反応(心理状態や生理状態や物理
情報)も明らかな方が、より様々な推定が可能となるた
め、図4に示すさらに他の実施の形態では、計測部10
と同様な計測部17およびインターフェース18が受信
側にも具備されている。これらの計測部10、17が、
どちらか一方だけでもよいのは明らかである。
【0041】また、これら計測部10、17は、通信装
置本体15における送信側および受信側の少なくとも一
方の保持部分(操作者が当接または近接する位置)にセ
ンサを設けることで、より精確に、また、ごく自然な状
態で、送信側もしくは受信側の操作者に関する生体情報
を計測することが可能になる。
【0042】次に、送信側の操作者の心理や生理状態、
もしくは、周辺環境の物理状態を推定する上で、通信中
に取り込まれた通信情報12を用いるだけでなく、予め
送信側もしくは受信側の既知情報を、受信側に記憶させ
ておく、さらに他の実施の形態を図5に示す。
【0043】本実施の形態では、生体情報(環境の物理
状況)処理部14で抽出を行う時に、受信部13で受け
取った通信中の情報のみでなく、記憶部19に格納され
た既知情報、例えば、送信側もしくは受信側の電話番
号、性別、年齢、相互の社会的関係などを利用するよう
になっている。また、図示していないが、記憶部19を
送信側に設けて、上記既知情報を通信情報として、発信
側から受信側に取り込む形態でもよい。
【0044】さらに、それらの受信側、送信側の情報だ
けでなく、第三者の情報を取り込む、さらに他の実施の
形態を図6に示す。本実施の形態では、生体情報(環境
の物理情報)処理部14で、第三者の情報が必要になっ
た場合、第三者への通信要求20を生体情報(環境の物
理情報)処理部14から出力し、それを受け取った第三
者への送受信部21は、第三者との間にて必要な通信情
報22を入手し、生体情報(環境の物理情報)処理部1
4に出力する。この応用としては、大容量のデータベー
スになっているサーバヘのアクセスや、インターネット
をはじめとするネットワークを介した情報収集などが挙
げられる。
【0045】続いて、通信結果を通信者ごとに記憶して
おき、それ以降の通信における生体情報(環境の物理情
報)処理に利用するさらに他の実施の形態を図7に示
す。本実施の形態では、生体情報(環境の物理情報)処
理部14の結果を、処理内容のフィードバック23とし
て、通信者ごとの記憶部24へ格納しておく。これによ
って処理に必要な情報の更新、処理アルゴリズムの学習
を行う。
【0046】次に、処理された内容を受信側で、より理
解し易くするため、図8に示すように、表示部25を備
えたさらに他の実施の形態を以下に示す。本実施の形態
では、生体情報(環境の物理情報)処理部14の処理結
果を、表示するための液晶ディスプレイ等の表示部25
が設けられている。図8では、図1に対し、表示部25
を付加した、実施の形態を示したが、図2から図7のい
ずれと組み合わせてもよいことは明らかである。
【0047】表示部25に表示される推定量としての図
やグラフの例を、図9ないし図14に示す。例えば、送
信側の感情等を表示する場合、いくつかのパラメータ
(生体情報や物理情報)を用いて表示することにする。
図10を例として説明すると、例えば、縦軸のパラメー
タ1に「感情の強弱(正方向に強)」、横軸のパラメー
タ2に「苦楽(正方向に楽)」を取って、第一象限が
「喜」、第二象限が「怒」、第三象限が「哀」、第四象
限が「楽」とすれば、輝点により表示されたマーク27
が喜怒哀楽およびその程度として感情等を表現して、受
信側の操作者が上記感情等を容易に理解できるように設
定することが可能となる。
【0048】パラメータの取り方によっては、軸の数が
もっと多くても(図11参照)、少なくても(図9参
照)、それらの輝点により示される各マーク26、28
により感情等を表現できるし、図12のようにグラフ2
9で表現したり、図13のようなレーダーチャート30
にしてもよい。
【0049】より分かりやすい例として、顔を描いた絵
(イラスト)31を用いた図14のような表示も考えら
れる。図14に示す絵(イラスト)31では、例えば、
目の形状表示31a、口の形状表示31b、涙の表示3
1c、冷や汗の表示31d、電灯を点滅させる気づきの
表示31e、雲型の吹き出しの表示による怒りの表示3
1f等により、送信側の操作者の感情等を表現できる。
それ以外にも、分散図、ドーナツ図、円グラフなど、様
々な表現方法を用いることができる。
【0050】このような表示において、重要なことは、
送信側の心理や生理状態、もしくは、周辺環境の物理状
態を示すために、いくつかの特定のパラメータで代表す
る点にある。
【0051】こうした表示を、実際の送信側の画像と並
置したり、重ねて表示すれば、受信側が送信側の状況を
理解する上で大変有益である。この表示を送信側でも見
れるようにした、さらに他の実施の形態を図15に示
す。本実施の形態では、生体情報(環境の物理情報)処
理部14の処理結果を、受信側の表示部25に出力する
だけでなく、送信部41、受信部43を介して、送信側
の表示部35にも出力する。送信側は、受信側でどう受
け取られているかをモニターできるため、適切なフィー
ドバックも可能となる。
【0052】上記表示部35は、受信側の表示部25と
同様な機能を有するものである。また、各表示部25、
35には、後述する各スイッチ機能を付与するために、
表示画面上にタッチパネル式の透明な入力部が設けら
れ、表示画面上のアイコン等により、操作者の手を用い
た当接による入力や、操作者が操作する入力ペンを接触
させることによる入力によって、種々な機能を断接する
スイッチといった入力機能が設けられていることが望ま
しい。
【0053】このような表示は、送信側、もしくは、受
信側において、不要、もしくは、好ましくないと判断す
る場合もあり得るため、その許可、不許可を相互に制御
できることが好ましい。以上の図3ないし図15に基づ
く各実施の形態の各説明については、図1を基本とした
図面を用いたが、それらに図2の双方向の構成を適用で
きることは、明らかである。
【0054】以下に、前述の計測部10について、その
計測対象となる各パラメータに応じて説明する。操作者
の心理や生理状態を計測するための計測部10は、例え
ば操作者の脳の活動状況を検出する脳波、目の瞬きの頻
度、皮膚の電気抵抗(以下、皮膚抵抗という)、発汗
量、声の抑揚、体動、口の動きや乾き、頭部の動き、瞳
孔の大きさ、顔面の表情、心拍数、呼吸数、呼吸状態、
体表温からなる群の中から少なくとも一つ選択される項
目を生体情報として検出するものである。
【0055】例えば脳波を計測して生体情報とすると、
以下のようになる。脳波には、4種の代表される周波数
帯がある。δ波(0.5〜4Hz)、θ波(4〜8H
z)、α波(8〜14Hz)、β波(14〜30Hz)
の周波数帯である。δ波は、睡眠時に現れる脳波で、θ
波は、瞑想時などの深いリラックス状態に現れる脳波
で、α波は、くつろいでいる時等のリラックス状態、ま
たは記憶する時等の精神集中時のリラックス状態に現れ
る脳波で、β波は、緊張度が高い時に現れる脳波であ
る。
【0056】このような脳波検出の方法としては、例え
ば、簡易的な手段として前頭部表皮と接するヘッドバン
ドと、耳表皮(例えば、耳たぶの表皮)に接する耳電極
とにより、これらの間の微弱皮膚電位変化を脳波として
簡易的に検出する方法が挙げられる。
【0057】通信装置の操作者が、自分の心理や生理状
態を通信の相手に伝えたい時や自分自身の心理や生理状
態を自分で確認しながら、相手とコミュニケーションす
る時などに、上記の脳波の簡易検出の計測部10をイン
ターフェース16に接続することにより、脳波による生
体情報を計測し通信装置に通信情報12に含ませて送信
するようになっている。
【0058】計測された脳波の生体情報は、受信部13
側にある生体情報(環境の物理情報)処理部14におい
て、周波数解析され、上述した4種の代表される周波数
帯に基本的に分類され、その周波数帯に基づいて、図1
0、図12に示すように、送信側の感情等を表示する。
【0059】例えば脳波だけのパラメータで表示した場
合には、パラメータは1種だけになるので、一次元の縦
軸方向あるいは横軸方向だけの移動量になる。しかし他
のもう1種のパラメータと共に多変量の解析に基づくと
二次元方向の表示になる。
【0060】次に、本実施の形態の変形例について説明
する。すなわち、送信側(計測側)でも、送信側の感情
等を表示する場合には、送信側にも、生体情報(環境の
物理情報)処理部14と同様な生体情報(環境の物理情
報)処理部44、および受信側の表示部25と同様な表
示部35を設け、生体情報(環境の物理情報)処理部4
4の脳波の周波数解析情報を送信側の表示部35に送り
表示するように設定すればよい。あるいは、送信側の生
体情報(環境の物理情報)処理部44の脳波の周波数解
析情報を、受信部13に送り、受信部13で受け取った
周波数解析情報により受信側の表示部25に表示しても
よい。
【0061】この場合、送信側の操作者の脳波による心
理や生理状態の表示は、受信側、送信側の双方で可能で
ある。しかし、上記の場合であっても、送信側の送信部
11に、操作者の心理や生理状態情報の送信許可、不許
可スイッチ、または受信側の受信部13に受信許可、不
許可スイッチ、または送信側の表示部35に、操作者の
心理や生理状態情報の表示許可、不許可スイッチ、また
は受信側の表示部25に、操作者の心理や生理状態情報
の表示許可、不許可スイッチを設けることにより、操作
者の意向により、操作者の心理や生理状態情報の表示を
制限することができる。
【0062】あるいは、計測された脳波による生体情報
は、そのまま解析、加工されずに送信部11から送信さ
れ、受信した受信部13から入力された生体情報(環境
の物理情報)処理部14において、周波数解析され、上
記の基本的に4種の代表された周波数帯に分類され、そ
の周波数帯に基づいて、表示部25において図10、図
12の様な表示をするように設定してもよい。
【0063】他の変形例として、送信側で表示する場合
に、送信側で測定され、受信側の生体情報(環境の物理
情報)処理部14で処理された脳波の周波数解析情報を
送信側に送るように設定してもよい。送信側に送られ
た、脳波による心理や生理状態の解析情報は、そのまま
計測側の表示部35に送られ、基本的に4種の代表され
る周波数帯に分類された波数帯に基づいて、図10、図
12の様な表示をすればよい。
【0064】次に、計測部10において、例えば心拍数
を計測して生体情報とすると以下のようになる。心拍
数、脈拍は、精神的、心理的状態が安定すると遅くな
り、興奮するつまり緊張度が高まると速くなる傾向があ
るので、心拍数、脈拍の変化は精神的、心理的な活動度
を反映するものである。
【0065】心拍数、脈拍の測定方法としては、LED
と受光素子により圧脈波による皮膚表面の変化に基づ
く、皮膚表面の反射率の変化を利用したもの、あるいは
圧力センサを利用し直接圧脈波の変化を測定するもの等
の簡易的な検出方法が挙げられる。腕時計型の携帯電話
等の通信装置の形態がこれに適している。
【0066】通信装置の操作者が、自分の心理や生理状
態を通信の相手に伝えたい時や自分自身の心理や生理状
態を自分で確認しながら、相手とコミュニケーションす
る時には、上記の心拍数の簡易検出の計測部10をイン
ターフェース16に接続し、心拍数による生体情報を計
測し送信部11に入力して送信し、受信側の表示部25
に表示したり、上記生体情報を送信側の表示部35に表
示したりするように設定すればよい。
【0067】例えば、操作者の平均の脈拍数をP100
(約60〜80回/分)とすると、計測される心拍数
が、P100近傍の時には、図10や図12の表示にお
いて、原点あるいは平均値の表示を行い、例えば、脈拍
数がP100より多くなると図10のパラメータ1の表
示において、右へ移動し、P100より少ない時には、
左へ移動する。
【0068】パラメータは1種だけになるので、一次元
の縦軸方向あるいは横軸方向だけの移動量になる。しか
し他のもう1種のパラメータと共に多変量の解析に基づ
くと、二次元方向の表示になる。
【0069】あるいは予め、リラックスと平常、緊張、
の座標または象限を決めておく方法が考えられる。例え
ばP100を中心として、90%以下をリラックス、9
0%より大きく150%以下を平常、150%以上を緊
張と判断する。
【0070】この判定基準は、個体差、年齢、後述する
気温などの物理情報等によって変更してもよい。平常と
判断された場合には、第一象限においてマークを点滅さ
せ、リラックスと判断された場合には、第二象限におい
てマークを点滅させ、緊張と判断された場合には、第四
象限においてマークを点滅させる方法などを用いてもよ
い。
【0071】また「リラックス」、「平常」、「緊張」
の文字を表示してもよい。または表示の色や、バックグ
ラウンドの色を変える方法もある。リラックスを青、平
常を緑、緊張を黄色、赤などである。
【0072】またはバックグランドの音を変える方法な
どでもよい。またはスピーカから流れる送信および受信
される音声を、感情判断の結果により強調または減弱さ
せて出力させることにより、コミュニケーションを強調
したり、逆に感情を隠すことができる。
【0073】さらに、送信側で上記パラメータを表示す
る場合には、送信側の生体情報(環境の物理情報)処理
部44から出される脈拍数情報を送信側の表示部35に
送り、表示することになる。あるいは、送信側の生体情
報(環境の物理情報)処理部44の脈拍数情報を、受信
部13に送り、受信部13で受け取った脈拍数情報によ
り受信側の表示部25に表示するように設定してもよ
い。
【0074】この場合、送信側の操作者の脈拍数による
心理や生理状態の表示は、受信側、送信側の双方で、可
能である。上記の場合であっても、脳波の場合と同様に
送信側の送信部11に、操作者の心理や生理状態情報の
送信許可、不許可スイッチ、または受信側の受信部13
に受信許可、不許可スイッチ、または送信側の表示部3
5に、操作者の心理や生理状態情報の表示許可、不許可
スイッチ、または受信側の表示部25に、操作者の心理
や生理状態情報の表示許可、不許可スイッチを設けるこ
とにより、操作者の意向により、操作者の心理や生理状
態情報の表示を制限することができる。
【0075】あるいは、計測された脈拍数による生体情
報は、そのまま解析、加工されずに送信部11から送信
され、受信した受信部13から入力された生体情報(環
境の物理情報)処理部14において、解析され、上記の
基本的に3種の代表される心理状態に分類され、その結
果に基づき、表示部25において図10、図12の様な
表示をするように設定してもよい。
【0076】他の変形例として、送信側で表示する場合
には、送信側で測定され、受信側の生体情報(環境の物
理情報)処理部14で処理された脈拍数の解析情報を送
信側に送ることになる。送信側に送られた、脈拍数によ
る心理や生理状態の解析情報は、そのまま送信側の表示
部35に送られ、基本的に3種の代表される心理状態に
分類され、図10、図12の様な表示をするように設定
してもよい。
【0077】次に、計測部10において、例えば体表温
を計測して生体情報とすると、以下のようになる。体表
温は、精神的、心理的に安定な状態ほど末梢血管が拡張
し、動脈血が流入するため体表面の温度は上昇するが、
緊張度が高まると、末梢血管が収縮するため体表面への
動脈血の流入が少なくなり体温が低下する傾向がある。
この体表温の検出は、サーミスタ等の温度センサにより
容易に検出することができる。イヤホンタイプでない手
で保持する形の携帯電話等の通信装置の形態がこれに適
している。サーミスタ等の温度センサは、操作者が手で
保持する通信装置本体15の部分に計測部10として装
着されていることが好ましい。
【0078】通信装置の操作者が、自分の心理や生理状
態を通信の相手に伝えたい時や自分自身の心理や生理状
態を自分で確認しながら、相手とコミュニケーションす
る時などにおいて、上記の手の体表温の簡易検出の計測
部10をオンにし、インターフェース16を通して、手
の体表温による生体情報を計測し送信部11に対し入力
し、前述したように、受信側の表示部25や送信側の表
示部35にて表示するように設定すればよい。
【0079】例えば、操作者の平均の手の体表温をS1
00(約31.1℃)とすると、計測される体表温が、
S100近傍の時には、図10や図12の表示におい
て、原点あるいは平均値の表示を行い、例えば、体表温
がS100より高くなると図10のパラメータ1の表示
において、右へ移動し、S100より低い時には、左へ
移動する。
【0080】あるいは予め、リラックスと平常、緊張、
の座標または象限を決めておく方法が考えられる。例え
ばS100を中心として、+0.2〜+0.4℃をリラ
ックス、−0.1℃〜+0.1℃を平常、−0.2〜−
0.4℃を緊張と判断する。または単に電話等で通話し
ている間に、通話開始時点の手の体表温を基準として
0.1℃以上上昇すればリラックス、0.1℃以上下降
すれば緊張、それ以外を通常と判断する方法を用いても
よい。この判定基準は、個体差、年齢等によって変更し
てもよい。
【0081】また手の体表温は環境温度によっても多少
影響するので、体に接しない部分に別途サーミスタの計
測部10を設け、環境温度を計測し、その値により、上
記の手の体表温の値に補正をかけてもよい。平常と判断
された場合には、第一象限においてマークを点滅させ、
リラックスと判断された場合には、第二象限においてマ
ークを点滅させ、緊張と判断された場合には、第四象限
においてマークを点滅させる方法等を用いてもよい。
【0082】または「リラックス」、「平常」、「緊
張」の文字を表示してもよい。または表示の色を変える
方法もある。リラックスを青、平常を緑、緊張を黄色、
赤などである。またはバックグランドの音を変える方法
なども考えられる。
【0083】またはスピーカから流れる送信および受信
される音声を、感情判断の結果により強調または減弱さ
せて出力させることにより、コミュニケーションを強調
したり、逆に感情を隠すことができる。
【0084】さらに、他の変形例として、送信側で表示
する場合に、送信側の生体情報(環境の物理情報)処理
部44から出される体表温情報を送信側の表示部35に
送るように設定してもよい。あるいは、送信側の生体情
報(環境の物理情報)処理部44の体表温情報を、受信
部13に送り、受信部13で受け取った体表温情報によ
り受信側の表示部25に表示するように設定してもよ
い。この場合、送信側の操作者の体表温による心理や生
理状態の表示は、受信側、送信側の双方で可能である。
【0085】上記の場合であっても、送信側の送信部1
1に、操作者の心理や生理状態情報の送信許可、不許可
スイッチ、または受信側の受信部13に受信許可、不許
可スイッチ、または送信側の表示部35に、操作者の心
理や生理状態情報の表示許可、不許可スイッチ、または
受信側の表示部25に、操作者の心理や生理状態情報の
表示許可、不許可スイッチを設けることにより、操作者
の意向により、操作者の心理や生理状態情報の表示を制
限することができる。
【0086】あるいは、計測された体表温による生体情
報は、そのまま解析、加工されずに送信部11から送信
され、受信した受信部13から入力された生体情報(環
境の物理情報)処理部14において、解析され、上記の
基本的に3種の代表される心理状態に分類され、その結
果に基づいて、表示部25において図10、図12の様
な表示をするように設定してもよい。
【0087】他の変形例として、送信側で表示する場合
には、送信側で測定され、受信側の生体情報(環境の物
理情報)処理部14で処理された体表温の解析情報を送
信側に送り、送信側に送られた、体表温による心理や生
理状態の解析情報を、そのまま送信側の表示部35に送
り、基本的に3種の代表される心理状態に分類して、図
10、図12の様な表示をするように設定してもよい。
【0088】次に、計測部10において、例えば、目の
瞬きを計測した結果を生体情報とすると、以下のように
なる。瞬きは、緊張度、興味など精神(心理)活動を反
映する。瞬きは外に注意を向けた時には少なくなり、内
に向けた時には多くなるものである。すなわち、見てい
る対象が面白いとか、注意を引くとき場合には瞬きは抑
制され、逆にその状態から解放されるとリバウンドで一
時的に増大する傾向にある。
【0089】言い換えると、瞬きは、観察している対象
が面白いとか、あるいは注意を引く場合には瞬きは抑制
され、そのような状態から解放されると今度は逆に発生
頻度が一時的に増大する傾向がある。したがって、瞬き
の発生頻度も他覚的評価指標(パラメータ)として利用
することが可能である。
【0090】瞬きの動きは、CCDあるいはCMOSイ
メージセンサによる画像のエッジの動き検出により容易
に検出できる。CCDあるいはCMOSイメージセンサ
を備えた携帯電話、テレビ電話、カメラ付きのPDA通
信装置の形態がこれに適している。イヤホンタイプの携
帯電話等の通信装置の形態がこれに適している。
【0091】CCDあるいはCMOSイメージセンサ
は、その画像が顔全体または少なくとも目の周辺が映し
出せる、通信装置本体15の位置に計測部10として装
着されていることが好ましい。
【0092】通信装置の操作者が、自分の心理や生理状
態を通信の相手に伝えたい時や自分自身の心理や生理状
態を自分で確認しながら、相手とコミュニケーションす
る時には、上記の目の瞬きの簡易検出の計測部10をオ
ンにし、インターフェース16を通して、瞬きによる生
体情報を計測し送信部11に入力して、受信側の表示部
25や、送信側の表示部35にて表示するように設定す
ればよい。
【0093】例えば、操作者の平均の瞬き数をM100
(45回/分)とすると、計測される瞬き数が、M10
0近傍の時には、図10や図12の表示において、原点
あるいは平均値の表示を行い、例えば、瞬き数がM10
0より多くなると図10のパラメータ1の表示におい
て、右へ移動し、M100より少ない時には、左へ移動
する。パラメータは1種だけになるので、一次元の縦軸
方向あるいは横軸方向だけの移動量になる。しかし他の
もう1種のパラメータと共に多変量の解析に基づくと、
二次元方向の表示になる。
【0094】あるいは予め、リラックスと平常、緊張や
興味、の座標または象限を決めておく方法が考えられ
る。例えばM100を中心として、M100の1/3ぐ
らい(毎分10数回)程度になると緊張や興味とし、急
に増加傾向(60を越える、あるいは45回/分の増
加)を示した場合は緊張から解放されたリラックス、そ
れ以外を平常と判断する。この判定基準は、個体差、年
齢等によって変更してもよい。
【0095】平常と判断された場合には、第一象限にお
いてマークを点滅させ、リラックスと判断された場合に
は、第二象限においてマークを点滅させ、緊張や興味や
集中と判断された場合には、第四象限においてマークを
点滅させる方法等が考えられる。
【0096】または「リラックス」、「平常」、「緊張
や興味」の文字を表示してもよい。または表示の色を変
える方法もある。リラックスを青、平常を緑、緊張・集
中を赤などである。またはバックグランドの音を変える
方法なども考えられる。またはスピーカから流れる送信
および受信される音声を、感情判断の結果により強調ま
たは減弱させて出力させることにより、コミュニケーシ
ョンを強調したり、逆に感情を隠すことができる。
【0097】さらに、他の変形例として、送信側で表示
する場合には、送信側の生体情報(環境の物理情報)処
理部44から出される瞬き回数情報を送信側の表示部3
5に送るように設定してもよい。あるいは、送信側の生
体情報(環境の物理情報)処理部44の瞬き数情報を、
受信部13に送り、受信部13で受け取った瞬き数情報
により受信側の表示部25に表示するように設定しても
よい。この場合、送信側の操作者の瞬き数による心理や
生理状態の表示は、受信側、送信側の双方で、可能であ
る。
【0098】上記の場合であっても、送信側の送信部1
1に、操作者の心理や生理状態情報の送信許可、不許可
スイッチ、または受信側の受信部13に受信許可、不許
可スイッチ、または送信側の表示部35に、操作者の心
理や生理状態情報の表示許可、不許可スイッチ、または
受信側の表示部25に、操作者の心理や生理状態情報の
表示許可、不許可スイッチを設けることにより、操作者
の意向により、操作者の心理や生理状態情報の表示を制
限することができる。
【0099】あるいは、計測された瞬き数による生体情
報は、そのまま解析、加工されずに送信部11から送信
され、受信した受信部13から入力された生体情報(環
境の物理情報)処理部14において、解析され、上記の
基本的に3種の代表される心理状態に分類され、その結
果に基づいて、表示部25において図10、図12の様
な表示をするようにしてもよい。
【0100】他の変形例として、送信側で表示する場合
には、送信側で測定され、受信側の生体情報(環境の物
理情報)処理部14で処理された瞬き数の解析情報を送
信側に送るように設定してもよい。送信側に送られた、
瞬き数による心理や生理状態の解析情報は、そのまま送
信側の表示部35に送られ、基本的に3種の代表される
心理状態に分類され、図10、図12の様な表示をする
ようにしてもよい。
【0101】次に、計測部10において、例えば瞳孔反
応を計測する生体情報とすると、以下のようになる。瞳
孔は、対光反射や近見反射などを生じるが、精神(心
理)活動に伴う反射によっても変動するものである。瞳
孔反応は、興味など精神(心理)活動を反映し、興味が
あり緊張度が高い場合には、瞳孔面積の相対的な増加率
は高く、散瞳する。興味がなく緊張度が低い場合には、
縮瞳する。
【0102】瞳孔の動きは、CCDあるいはCMOSイ
メージセンサによる画像のエッジの動き検出により容易
に検出できる。CCDあるいはCMOSイメージセンサ
を備えた携帯電話、テレビ電話、カメラ付きのPDA通
信装置の形態がこれに適している。特に、イヤホンタイ
プの携帯電話等の通信装置の形態がこれに適している。
【0103】CCDあるいはCMOSイメージセンサ
は、その画像が目全体または瞳孔の大きさが映し出せる
通信装置本体15の位置に計測部10として装着されて
いることが望ましい。通信装置の操作者が、自分の心理
や生理状態を通信の相手に伝えたい時や自分自身の心理
や生理状態を自分で確認しながら、相手とコミュニケー
ションする時には、上記の瞳孔の大きさの簡易検出の計
測部10をオンにし、インターフェース16を通して、
瞳孔の大きさによる生体情報を計測し通信装置に入力す
る。
【0104】例えば、操作者の平均の瞳孔の大きさをD
100(増加率0)とすると、計測される瞳孔の大きさ
が、D100近傍の時には、図10や図12の表示にお
いて、原点あるいは平均値の表示を行い、例えば、瞳孔
の大きさがD100より大きくなると図10のパラメー
タ1の表示において、右へ移動し、瞳孔の大きさがD1
00より小さい時には、左へ移動する。パラメータは1
種だけになるので、一次元の縦軸方向あるいは横軸方向
だけの移動量になる。しかし他のパラメータと共に多変
量の解析に基づくと、多次元方向の表示になる。
【0105】あるいは予め、興味と平常、興味なしまた
は嫌悪の座標または象限を決めておく方法が考えられ
る。例えばD100(増加率0)を中心として、D10
0に対して10%以上30%以下にて、瞳孔の大きさが
大きく、つまり散瞳した場合には、興味を示したとし、
D100に対して10%以上20%以下にて、瞳孔の大
きさが小さく、つまり縮瞳した場合には、興味なし、あ
るいは嫌悪、それ以外を平常と判断する。
【0106】この判定基準は、個体差、年齢、性別等に
よって変更してもよい。平常と判断された場合には、第
一象限においてマークを点滅させ、興味と判断された場
合には、第二象限においてマークを点滅させ、興味ない
または嫌悪と判断された場合には、第四象限においてマ
ークを点滅させる方法等が考えられる。
【0107】または「興味」、「平常」、「興味なしや
嫌悪」の文字を表示してもよい。または表示の色を変え
る方法もある。興味を青、平常を緑、興味なしや嫌悪を
赤などである。またはバックグランドの音を変える方法
なども考えられる。またはスピーカから流れる送信およ
び受信される音声を、感情判断の結果により強調または
減弱させて出力させることにより、コミュニケーション
を強調したり、逆に感情を隠すことができる。
【0108】本実施の形態の変形例として、送信側で表
示する場合には、送信側の生体情報(環境の物理情報)
処理部44から出される瞳孔の大きさの変化率情報を送
信側の表示部35に送り表示するように設定してもよ
い。あるいは、送信側の生体情報(環境の物理情報)処
理部44の瞳孔の大きさの変化率情報を、受信部13に
送り、受信部13で受け取った瞳孔の大きさの変化率情
報により受信側の表示部25に表示するようにしてもよ
い。この場合、送信側の操作者の瞳孔の大きさの変化率
による心理や生理状態の表示は、受信側、送信側の双方
にて可能である。
【0109】上記の場合であっても、送信側の送信部1
1に、操作者の心理や生理状態情報の送信許可、不許可
スイッチ、または受信側の受信部13に受信許可、不許
可スイッチ、または送信側の表示部35に、操作者の心
理や生理状態情報の表示許可、不許可スイッチ、または
受信側の表示部25に、操作者の心理や生理状態情報の
表示許可、不許可スイッチを設けることにより、操作者
の意向により、操作者の心理や生理状態情報の表示を制
限することができる。
【0110】あるいは、計測された瞳孔の大きさの生体
情報は、そのまま解析、加工されずに送信部11から送
信され、受信した受信部13から入力された生体情報
(環境の物理情報)処理部14において、解析され、上
記の基本的に3種の代表される心理状態に分類され、そ
の結果に基づいて、表示部25において図10、図12
の様な表示をするようにしてもよい。
【0111】他の変形例として、送信側で表示する場合
には、送信側で測定され、受信側の生体情報(環境の物
理情報)処理部14で処理された瞳孔の大きさの変化率
の解析情報を送信側に送り、送信側に送られた、瞳孔の
大きさの変化率による心理や生理状態の解析情報を、そ
のまま送信側の表示部35に送られ、基本的に3種の代
表される心理状態に分類され、図10、図12の様な表
示をするようにしてもよい。
【0112】次に、計測部10において、例えば皮膚抵
抗を、計測する生体情報とすると、以下のようになる。
皮膚抵抗は心理的安定状態で抵抗が増加し、ストレスを
受けるような精神(心理)的に緊張度が高い、あるいは
興奮時には抵抗が減少するものである。
【0113】皮膚抵抗の電気的な測定方法としては、
1)電位法、2)直流による通電法(単純回路、wheast
one bridge回路、補償法回路、蓄電気式回路)、3)交
流による通電法(wheastone bridge回路)等を挙げるこ
とができる。
【0114】イヤホンタイプでない手で保持する形の電
話等の通信装置の形態がこれに適している。操作者が手
で把持(保持)する部分の通信装置本体15に対し皮膚
抵抗の計測部10として装着されていることが好まし
い。
【0115】通信装置の操作者が、自分の心理や生理状
態を通信の相手に伝えたい時や自分自身の心理や生理状
態を自分で確認しながら、相手とコミュニケーションす
る時には、上記の手の皮膚抵抗を検出する計測部10を
オンし、インターフェース16を通して、手の皮膚抵抗
による生体情報を計測し送信部11に対し入力して、前
述と同様に表示するように設定すればよい。
【0116】例えば、操作者の平均の手の皮膚抵抗をR
100(約15,000Ω/cm2)とすると、計測さ
れる皮膚抵抗が、R100近傍の時には、図10や図1
2の表示において、原点あるいは平均値の表示を行い、
例えば、皮膚抵抗がR100より大きくなると図10の
パラメータ1の表示において、左へ移動し、R100よ
り低い時には、右へ移動するように表示する。パラメー
タは1種だけになるので、一次元の縦軸方向あるいは横
軸方向だけの移動量になる。しかし他のパラメータと共
に多変量の解析に基づくと、多次元方向の表示になる。
【0117】あるいは予め、リラックスと平常、興奮あ
るいは緊張、の座標または象限を決めておく方法が考え
られる。例えばS100を中心として、5倍〜20倍を
リラックス、1/5〜1/20を興奮あるいは緊張、そ
の他を平常と判断する。
【0118】または単に電話等で通話している間に、通
話開始時点の手の皮膚抵抗を基準として数秒の間に急
に、減少し、一時的なものを興奮と判断する。これは興
奮や緊張による発汗が原因であると考えられる。
【0119】この判定基準は、個体差、年齢等によって
変更してもよい。また手の体表温は環境温度によっても
多少影響するので、体に接しない部分に別途サーミスタ
の計測部を設け、環境温度を計測し、その値により、上
記の体表温の値に対し補正をかけてもよい。
【0120】平常と判断された場合には、第一象限にお
いてマークを点滅させ、リラックスと判断された場合に
は、第二象限においてマークを点滅させ、緊張や興奮と
判断された場合には、第四象限においてマークを点滅さ
せる方法等が考えられる。
【0121】または「リラックス」、「平常」、「緊張
や興奮」の文字を表示してもよい。または表示の色を変
える方法もある。リラックスを青、平常を緑、緊張を黄
色、赤などである。またはバックグランドの音を変える
方法なども考えられる。またはスピーカから流れる送信
および受信される音声を、感情判断の結果により強調ま
たは減弱させて出力させることにより、コミュニケーシ
ョンを強調したり、逆に感情を隠すことができる。
【0122】変形例として、送信側で表示する場合に
は、送信側の生体情報(環境の物理情報)処理部44か
ら出される皮膚抵抗の大きさの情報を送信側の表示部3
5に送り表示すればよい。あるいは、送信側の生体情報
(環境の物理情報)処理部44の皮膚抵抗の大きさの情
報を、受信部13に送り、受信部13で受け取った皮膚
抵抗の大きさの情報により受信側の表示部25に表示す
るようにしてもよい。
【0123】この場合、送信側の操作者の皮膚抵抗の大
きさや変化率による心理や生理状態の表示は、受信側、
送信側の双方にて可能である。上記の場合であっても、
送信側の送信部11に、操作者の心理や生理状態情報の
送信許可、不許可スイッチ、または受信側の受信部13
に受信許可、不許可スイッチ、または送信側の表示部3
5に、操作者の心理や生理状態情報の表示許可、不許可
スイッチ、または受信側の表示部25に、操作者の心理
や生理状態情報の表示許可、不許可スイッチを設けるこ
とにより、操作者の意向により、操作者の心理や生理状
態情報の表示を制限することができる。
【0124】あるいは、計測された皮膚抵抗の大きさの
生体情報は、そのまま解析、加工されずに送信部11か
ら送信され、受信した受信部13から入力された生体情
報(環境の物理情報)処理部14において、解析され、
上記の基本的に3種の代表される心理状態に分類され、
その結果に基づいて、表示部25において図10、図1
2の様な表示をするようにしてもよい。
【0125】他の変形例として、送信側で表示する場合
には、送信側で測定され、受信側の生体情報(環境の物
理情報)処理部14で処理された皮膚抵抗の大きさや変
化率の解析情報を送信側に送り、送信側に送られた、皮
膚抵抗の大きさや変化率による心理や生理状態の解析情
報を、そのまま送信側の表示部35に送られ、基本的に
3種の代表される心理状態に分類され、図10、図12
の様な表示をするようにしてもよい。
【0126】次に、例えば音声を、計測する生体情報と
すると、以下のようになる。ここで、送信側の音声の周
波数とパワーから、送信側の感情を、受信側に示す一例
を図16に基づいて詳しく述べる。
【0127】まず、送信側の音声情報から、周波数処理
部33にて、音声情報の周波数をサンプリングし、リア
ルタイムに平均化する。リアルタイムといっても、後述
の表示方法から分かるように、01秒〜1秒程度の間隔
で十分である。同時に、音声情報のパワーもパワー処理
部32でサンプリングして平均値を求める。表示部25
には、周波数の平均値からのズレをX軸に、パワーの平
均値からのズレをY軸とする(図17)。
【0128】Xについて、数式で現わすと、以下のよう
になる。Yも同様である。なお、nは自然数である。 サンプリング値 平均値 横軸Xの値 fs (1) fm (1)=fs (1) fs (1)−fm (1) fs (2) fm (2)=(fs (1)+fs (2))/2 fs (2)−fm (2) fs (3) fm (3)=(fs (1)+…+fs (3))/3 fs (3)−fm (3) ・ ・ ・ ・ ・ ・ ・ ・ ・ fs (n) fm (n)=(fs (1)+…+fs (n))/n fs (n)−fm (n) 周波数が高い声は明るく、低い声は暗いので、感情の苦
楽を表すパラメータとして使える。
【0129】また、パワーの大きな声は、強い感情、小
さな声は弱い感情を表すと考えられるので、感情の強弱
を表すパラメータとして使える。平均周波数からのズレ
を示すX軸、平均パワーからのズレを示すをY軸によ
り、第一象限が「喜」、第二象限が「怒」、第三象限が
「哀」、第四象限が「楽」として、喜怒哀楽の感情を表
現できる。これを表示部25にリアルタイムで出力し
て、例えばマーク34として表示する。
【0130】通話中、この座標軸にリアルタイムな送信
側のデータを、マーク34としてポイント表示すれば、
受信側はそれを見て、送信側の感情を、より客観的に的
確に判断できる。同じ送信側と通話する場合は、過去の
通話での平均値も利用することも可能である。この方法
では、受信側の端末だけで処理できるため、送信側との
整合性などを考慮する必要はなく、現行の携帯電話等へ
も容易に導入できる。
【0131】あるいは、音声のイントネーションや、言
葉の強さで、喜び、怒り、おびえの感情を判断してもよ
い。例えば、会話の語尾が上がる様な場合は、「喜
び」、反対に語尾が下がる場合や、低く、強い音声は
「怒り」、弱くて周波数の高い音声は「おびえ」と判断
する。電話のマイクロフォンを入力部として、音圧、音
の周波数、およびその時系列的な変化により生体情報
(環境の物理情報)処理部14が上記の様な判断をす
る。
【0132】上記の例は3種類の感情判断に分けている
が、音声の感情によるVQ手法(ベクトル量子化)によ
るデータベースを作成することにより、内積値の最小値
を算出することにより、近似的に「驚き」「甘え」「嫌
悪」等、他の多くの感情を判断することができる。すべ
ての電話等の通信装置の形態がこれに適している。
【0133】通信装置の操作者が、自分の心理や生理状
態を通信の相手に伝えたい時や自分自身の心理や生理状
態を自分で確認しながら、相手とコミュニケーションす
る時には、上記の音声感情判断の計測部10をオンに
し、インターフェース16を通して、音声感情判断によ
る生体情報を計測し送信部11に入力して、前述のよう
に表示すればよい。
【0134】あるいは予め、喜び、怒り、おびえ、驚
き、甘え、嫌悪の座標または象限を決めておく方法が考
えられる。会話の語尾が上がる様な場合は、「喜び」、
反対に語尾が下がる場合や、低く、強い音声は「怒
り」、弱くて周波数の高い音声は「おびえ」と判断す
る。「驚き」「甘え」「嫌悪」の感情は、例えば、音声
の感情によるVQ手法により判断する。
【0135】つまり予め、典型的な、驚き、甘え、嫌悪
などの感情の音声についてVQによる圧縮データベース
をつくり、計測された音声とそれぞれの感情のVQの圧
縮データベースの内積をとり、最小値を出したデータベ
ースの感情を、計測音声の感情と判断する。この判定基
準は、個体差、年齢等によって変更してもよい。
【0136】例えば図11、図13のパラメータを各々
「喜び」「怒り」「おびえ」「驚き」「甘え」「嫌悪」
等とすることにより、多次元の感情表示とすることがで
きる。そして各々判断されたパラメータの象限において
マークを点滅させる方法等が考えられる。または「喜
び」「怒り」「おびえ」「驚き」「甘え」「嫌悪」等の
文字を表示してもよい。
【0137】または表示の色を変える方法もある。リラ
ックスを青、平常を緑、緊張を黄色、赤などである。ま
たはバックグランドの音を変える方法なども考えられ
る。またはスピーカから流れる送信および受信される音
声を、感情判断の結果により強調または減弱させて出力
させることにより、コミュニケーションを強調したり、
逆に感情を隠すことができる。
【0138】また別の音声による判定の例として、「喜
び」「怒り」「悲しみ」「通常」等の感情を、決められ
た判定の為のサンプル時間の中の、音声のデータから最
高周波数、最低周波数、最高と最低周波数の差、最大振
幅、振幅の平均、話し言葉の持続時間の最大、持続時間
の分布から判定する方法も考えられる。これらは、上記
の感情について、予めデータをサンプルしておき、通常
を中心としてそれからのずれとして、各々の感情毎に、
特徴量を定量化しておきデータベース化しておく。
【0139】その定量データを定量化しておき、先ほど
の例と同様に、例えばVQによる圧縮データやサンプル
音声と上記のデータベースの内積値が最小となる感情
を、サンプル音声の感情と決定する方法も考えられる。
【0140】変形例として、送信側(送信側)で表示す
る場合には、送信側の生体情報(環境の物理情報)処理
部44から出される音声感情判断の情報を送信側の表示
部35に送り表示するようにしてもよい。あるいは、送
信側の生体情報(環境の物理情報)処理部44の音声感
情判の情報を、受信部13に送り、受信部13で受け取
った音声感情判断の情報により受信側の表示部25に表
示するようにしてもよい。
【0141】この場合、送信側の操作者の音声感情判断
による心理や生理状態の表示は、受信側、送信側の双方
で、可能である。上記の場合であっても、送信側の送信
部11に、操作者の心理や生理状態情報の送信許可、不
許可スイッチ、または受信側の受信部13に受信許可、
不許可スイッチ、または送信側の表示部35に、操作者
の心理や生理状態情報の表示許可、不許可スイッチ、ま
たは受信側の表示部25に、操作者の心理や生理状態情
報の表示許可、不許可スイッチを設けることにより、操
作者の意向により、操作者の心理や生理状態情報の表示
を制限することができる。
【0142】あるいは、音声の生体情報は、そのまま解
析、加工されずに送信部11から送信され、受信した受
信部13から入力された生体情報(環境の物理情報)処
理部14において、解析され、上記の基本的に3〜6個
の代表される心理状態に分類され、その結果に基づい
て、表示部25において図11、図13の様な表示をす
るように設定してもよい。しかし他のパラメータと共に
多変量の解析に基づくと、より多くの多次元方向の表示
になる。
【0143】他の変形例として、送信側で表示する場合
には、送信側で測定され、受信側の生体情報(環境の物
理情報)処理部14で処理された音声感情判断の解析情
報を送信側に送り、送信側に送られた、音声感情判断に
よる心理や生理状態の解析情報を、そのまま送信側の表
示部35に送り、基本的に3〜6個の代表される心理状
態に分類して、図11、図13の様な表示をするように
してもよい。
【0144】この場合であっても、前述と同じように操
作者の心理や生理状態情報の送信許可、送信不許可スイ
ッチ、または受信許可、受信不許可スイッチ、または表
示部25、35に、操作者の心理や生理状態情報の表示
許可、不許可スイッチを設けることにより、操作者の意
向により、操作者の心理や生理状態情報の表示を制限す
ることができる。
【0145】次に、計測部10において、例えば、通信
装置本体15を保持するための握る強さを、計測する生
体情報とすると、以下のようになる。保持するために握
る強さは、精神的、心理的に安定な状態ほど弱く、緊張
度が高まると、強くなる傾向がある。この検出は、圧力
センサにより簡単に検出することができる。イヤホンタ
イプでない手で保持する形の電話等の通信装置の形態が
これに適している。圧力センサは、操作者が手で保持す
る通信装置本体15の部分に計測部10として装着され
ていることが好ましい。
【0146】通信装置の操作者が、自分の心理や生理状
態を通信の相手に伝えたい時や自分自身の心理や生理状
態を自分で確認しながら、相手とコミュニケーションす
る時には、上記の手の保持するための握る強さの簡易検
出器である計測部10をオンにし、インターフェース1
6を通して、保持するための握る強さによる生体情報を
計測し送信部11に入力して送信し、前述のように表示
する。
【0147】例えば、操作者の平均の保持するための握
る強さをH100とすると、計測される保持するための
握る強さが、H100近傍の時には、図10や図12の
表示において、原点あるいは平均値の表示を行い、例え
ば、保持するための握る強さがH100より高くなると
図10のパラメータ1の表示において、右へ移動し、H
100より低い時には、左へ移動する。
【0148】パラメータは1種だけになるので、一次元
の縦軸方向あるいは横軸方向だけの移動量になる。しか
し他のパラメータと共に多変量の解析に基づくと、多次
元方向の表示になる。
【0149】あるいは予め、リラックスと平常、緊張、
の座標または象限を決めておく方法が考えられる。例え
ばH100を中心として、握る強さの10%の減少をリ
ラックス、握る強さの10%以上の増加を緊張、それ以
外を通常と判断する。この判定基準は、個体差、年齢等
によって補正してもよい。
【0150】平常と判断された場合には、第一象限にお
いてマークを点滅させ、リラックスと判断された場合に
は、第二象限においてマークを点滅させ、緊張と判断さ
れた場合には、第四象限においてマークを点滅させる方
法等が考えられる。
【0151】または「リラックス」、「平常」、「緊
張」の文字を表示してもよい。または表示の色を変える
方法もある。リラックスを青、平常を緑、緊張を黄色、
赤などである。またはバックグランドの音を変える方法
なども考えられる。またはスピーカから流れる送信およ
び受信される音声を、判定の結果により強調または減弱
させて出力させることにより、コミュニケーションを強
調したり、逆に感情を隠すことができる。
【0152】変形例として、送信側(送信側)で表示す
る場合には、送信側の生体情報(環境の物理情報)処理
部44から出力される、保持するための握る強さ情報を
送信側の表示部35に送り表示するようにしてもよい。
あるいは、送信側の生体情報(環境の物理情報)処理部
44の保持するための握る強さ情報を、受信部13に送
り、受信部13で受け取った保持するための握る強さ情
報により受信側の表示部25に表示してもよい。
【0153】この場合、送信側の操作者の保持するため
の握る強さによる心理や生理状態の表示は、受信側、送
信側の双方にて可能である。上記の場合であっても、送
信側の送信部11に、操作者の心理や生理状態情報の送
信許可、不許可スイッチ、または受信側の受信部13に
受信許可、不許可スイッチ、または送信側の表示部35
に、操作者の心理や生理状態情報の表示許可、不許可ス
イッチ、または受信側の表示部25に、操作者の心理や
生理状態情報の表示許可、不許可スイッチを設けること
により、操作者の意向により、操作者の心理や生理状態
情報の表示を制限することができる。
【0154】あるいは、保持するための握る強さによる
生体情報は、そのまま解析、加工されずに送信部11か
ら送信され、受信した受信部13から入力された生体情
報(環境の物理情報)処理部14において、解析され、
上記の基本的に3種の代表される心理状態に分類され、
その結果に基づいて、表示部25において図10、図1
2の様な表示をする。この場合も、例えば保持するため
の握る強さだけのパラメータで表示した場合には、パラ
メータは1種だけになるので、縦軸方向あるいは横軸方
向だけの一次元の移動量になる。
【0155】他の変形例として、送信側で表示する場合
には、送信側で測定され、受信側の生体情報(環境の物
理情報)処理部14で処理された、保持するための握る
強さの解析情報を送信側に送り、送信側に送られた、保
持するための握る強さによる心理や生理状態の解析情報
を、そのまま送信側の表示部35に送り、基本的に3種
の代表される心理状態に分類して、図10、図12の様
な表示をするようにしてもよい。
【0156】
【発明の効果】本発明の通信装置は、以上のように、操
作者からの伝達情報を含む通信情報を通信するための送
信部および受信部と、通信される通信情報をもとに操作
者の心理や生理状態を推定し推定量として出力する推定
部とを有している構成である。
【0157】それゆえ、上記構成は、送信側の気分や感
情、健康状態、周囲で起きている状況などを、受信側に
おいてより分かり易くなるので、送信側と受信側との間
の通信をより円滑化できるという効果を奏する。
【図面の簡単な説明】
【図1】本発明の通信装置の概略ブロック図である。
【図2】上記通信装置を双方向での通信可能とする際の
概略ブロック図である。
【図3】上記通信装置の通信情報が音声情報または画像
情報を含む場合の概略ブロック図である。
【図4】上記通信装置において、受信側にも計測部を設
けた例を示す概略ブロック図である。
【図5】上記通信装置において、受信側に既知情報を格
納しておく記憶部を設けた例を示す概略ブロック図であ
る。
【図6】上記通信装置において、受信側に第三者との送
受信部を設けた例を示す概略ブロック図である。
【図7】上記通信装置において、受信側に通信者ごとの
記憶部を設けた例を示す概略ブロック図である。
【図8】上記通信装置に表示部を設けた例を示す概略ブ
ロック図である。
【図9】上記通信装置における表示部での表示例を示す
説明図である。
【図10】上記通信装置における表示部での、他の表示
例を示す説明図である。
【図11】上記通信装置における表示部での、さらに他
の表示例を示す説明図である。
【図12】上記通信装置における表示部での、さらに他
の表示例を示すグラフである。
【図13】上記通信装置における表示部での、さらに他
の表示例を示すレーダーチャートである。
【図14】上記通信装置における表示部での、さらに他
の表示例を示す説明図である。
【図15】上記通信装置において、送信側にも表示部を
設けた例を示す概略ブロック図である。
【図16】上記通信装置における音声情報を解析する例
を示す概略ブロック図である。
【図17】上記通信装置における表示部での、さらに他
の表示例を示す説明図である。
【図18】上記通信装置において、送信側にも、生体情
報(環境の物理情報)処理部および表示部を設けた例を
示す概略ブロック図である。
【符号の説明】
11 送信部 12 通信情報 13 受信部 14 生体情報(環境の物理情報)処理部(推定部)
───────────────────────────────────────────────────── フロントページの続き (72)発明者 原 圭太 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 (72)発明者 太田 賢司 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 Fターム(参考) 4C038 PP03

Claims (17)

    【特許請求の範囲】
  1. 【請求項1】操作者からの伝達情報を含む通信情報を通
    信するための送信部および受信部と、 通信される通信情報をもとに操作者の心理や生理状態を
    推定し、推定量として出力する推定部とを有しているこ
    とを特徴とする通信装置。
  2. 【請求項2】伝達情報は、音声情報を含むことを特徴と
    する請求項1記載の通信装置。
  3. 【請求項3】伝達情報は、画像情報を含むことを特徴と
    する請求項1または2記載の通信装置。
  4. 【請求項4】操作者の、心拍数等のバイタルサインをバ
    イタルサイン情報として計測するバイタルサイン計測部
    をさらに有し、 通信情報はバイタルサイン情報を含むことを特徴とする
    請求項1ないし3の何れかに記載の通信装置。
  5. 【請求項5】送信部および受信部の少なくとも一方を収
    納する通信装置本体を備え、 バイタルサイン計測部は、通信装置本体における操作者
    に接触可能な部分に設けられていることを特徴とする請
    求項1ないし4の何れかに記載の通信装置。
  6. 【請求項6】さらに、周辺環境の物理情報を計測する環
    境計測部を有し、 通信情報は、上記物理情報を含むことを特徴とする請求
    項1ないし5の何れかに記載の通信装置。
  7. 【請求項7】さらに、操作者の個人情報、社会的情報を
    記憶しておく記憶部を有し、 推定部は、通信情報をもとに推定量を推定するときに、
    操作者の個人情報、社会的情報を利用するようになって
    いることを特徴とする請求項1ないし6の何れかに記載
    の通信装置。
  8. 【請求項8】推定部は、推定量を、そのまま、もしくは
    加工して、受信側にて出力する機能を有するものである
    ことを特徴とする請求項1ないし7の何れかに記載の通
    信装置。
  9. 【請求項9】推定部は、推定量を、そのまま、もしくは
    加工して、送信側にて出力する機能を有するものである
    ことを特徴とする請求項1ないし8の何れかに記載の通
    信装置。
  10. 【請求項10】推定部は、得られた操作者の心理や生理
    状態に基づく、操作者の喜怒哀楽の感情を表現して出力
    するようになっていることを特徴とする請求項8または
    9記載の通信装置。
  11. 【請求項11】推定部は、推定量を、表やグラフ、もし
    くは図形や顔の表情、色などの加工形態にて出力するよ
    うになっていることを特徴とする請求項8ないし10の
    何れかに記載の通信装置。
  12. 【請求項12】通信情報に含まれる画像情報を表示する
    表示部を有し、推定部は、推定量を、上記画像情報と並
    置、もしくは重ね合わせて上記表示部にて表示するよう
    になっていることを特徴とする請求項8ないし11の何
    れかに記載の通信装置。
  13. 【請求項13】通信情報の送信、あるいは受信の許可、
    不許可、あるいは出力の許可、不許可を、送信側および
    受信側の少なくとも一方で選択する選択部を有している
    ことを特徴とする請求項1ないし12の何れかに記載の
    通信装置。
  14. 【請求項14】推定量に基づいて伝達情報を変化させる
    変成部を有していることを特徴とする請求項1ないし1
    3の何れかに記載の通信装置。
  15. 【請求項15】操作者が操作者からの伝達情報を含む通
    信情報を用いて通信するときに、操作者の心理や生理状
    態を上記通信情報をもとに推定して出力することを特徴
    とする通信方法。
  16. 【請求項16】操作者の個人情報、社会的情報を記憶し
    ておき、操作者の個人情報、社会的情報も考慮して、操
    作者の心理や生理状態を推定して出力することを特徴と
    する請求項15記載の通信方法。
  17. 【請求項17】心拍数等の操作者のバイタルサイン情報
    を計測し、上記バイタルサイン情報を通信情報に加えて
    通信することを特徴とする請求項15または16記載の
    通信方法。
JP2000222859A 2000-07-24 2000-07-24 通信装置および通信方法 Expired - Fee Related JP3824848B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000222859A JP3824848B2 (ja) 2000-07-24 2000-07-24 通信装置および通信方法
US09/904,499 US6648822B2 (en) 2000-07-24 2001-07-16 Communication apparatus and communication method for outputting an estimate of a patient's mental state

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000222859A JP3824848B2 (ja) 2000-07-24 2000-07-24 通信装置および通信方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006008018A Division JP2006136742A (ja) 2006-01-16 2006-01-16 通信装置

Publications (2)

Publication Number Publication Date
JP2002034936A true JP2002034936A (ja) 2002-02-05
JP3824848B2 JP3824848B2 (ja) 2006-09-20

Family

ID=18717049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000222859A Expired - Fee Related JP3824848B2 (ja) 2000-07-24 2000-07-24 通信装置および通信方法

Country Status (2)

Country Link
US (1) US6648822B2 (ja)
JP (1) JP3824848B2 (ja)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT412059B (de) * 2002-08-05 2004-09-27 Prieler Anton Verfahren und anlage zur durchführung psychologischer tests
JP2004267525A (ja) * 2003-03-10 2004-09-30 Fujitsu Ltd 患者監視方法
WO2005016147A1 (ja) * 2003-08-14 2005-02-24 Sony Corporation 情報処理端末及び通信システム
WO2005016137A1 (ja) * 2003-08-19 2005-02-24 Sony Corporation 画像表示システム、画像表示装置、画像表示方法
JP2005058449A (ja) * 2003-08-12 2005-03-10 Sony Corp 感情の可視化装置および感情の可視化方法、感情の可視化出力物
JP2005237561A (ja) * 2004-02-25 2005-09-08 Canon Inc 情報処理装置及び方法
JP2005348872A (ja) * 2004-06-09 2005-12-22 Nippon Hoso Kyokai <Nhk> 感情推定装置及び感情推定プログラム
JP2006006355A (ja) * 2004-06-22 2006-01-12 Sony Corp 生体情報の処理装置および映像音響再生装置
JP2006042956A (ja) * 2004-08-02 2006-02-16 Keiichi Mitani 身・心の状態の評価・改善システム
JP2006326184A (ja) * 2005-05-30 2006-12-07 Nippon Telegr & Teleph Corp <Ntt> 心理状態分析装置
JP2006340986A (ja) * 2005-06-10 2006-12-21 Ntt Docomo Inc 顔面情報検出装置および顔面情報検出式通信装置
JP2007503248A (ja) * 2003-08-25 2007-02-22 ナズドラテンコ、アンドレイ・イフジェインビチ ビデオプログラム創成システム及び方法
JP2007522838A (ja) * 2004-02-05 2007-08-16 モトリカ インク 微細運動制御のリハビリテーション
JP2008010936A (ja) * 2006-06-27 2008-01-17 Olympus Corp 通信システム
JP2008076904A (ja) * 2006-09-22 2008-04-03 Univ Of Tokyo 感情の判別方法、感情判別装置、雰囲気情報通信端末
US7543330B2 (en) 2004-04-08 2009-06-02 International Business Machines Corporation Method and apparatus for governing the transfer of physiological and emotional user data
JP2010167014A (ja) * 2009-01-21 2010-08-05 Kddi Corp 感情推定方法および装置
JP2010253030A (ja) * 2009-04-24 2010-11-11 Ntt Docomo Inc 携帯端末および情報報知方法
JP2011117905A (ja) * 2009-12-07 2011-06-16 Pioneer Electronic Corp ルート選択支援装置及びルート選択支援方法
JP2012000449A (ja) * 2010-05-17 2012-01-05 Mitsuyoshi Kenkyusho:Kk 行動分析方法および行動分析装置
JP2012065178A (ja) * 2010-09-16 2012-03-29 Ntt Docomo Inc 通信装置及びプログラム
US8175571B2 (en) 2008-03-28 2012-05-08 Sony Corporation Communication equipment and communication system
JP2013161364A (ja) * 2012-02-07 2013-08-19 Ricoh Co Ltd ネットワークシステム、サーバ装置、情報処理装置及びプログラム
JP2013537435A (ja) * 2010-06-07 2013-10-03 アフェクティヴァ,インコーポレイテッド ウェブサービスを用いた心理状態分析
JP2014501967A (ja) * 2010-11-17 2014-01-23 アフェクティヴァ,インコーポレイテッド ソーシャルネットワーク上での感情共有
US8641616B2 (en) 2004-10-19 2014-02-04 Sony Corporation Method and apparatus for processing bio-information
KR101437186B1 (ko) * 2009-01-28 2014-09-05 경희대학교 산학협력단 다중 센서 기반으로 감지한 사용자 감정 상태에 대한 응답 방법.
JP2015156229A (ja) * 2009-10-29 2015-08-27 イマージョン コーポレーションImmersion Corporation 音声−テキスト変換の触覚増強のためのシステム及び方法
JP2015165407A (ja) * 2015-03-25 2015-09-17 株式会社リコー ネットワークシステム
JP2017129853A (ja) * 2016-01-20 2017-07-27 ハーマン インターナショナル インダストリーズ インコーポレイテッド 音声影響修正
WO2022201268A1 (ja) * 2021-03-22 2022-09-29 株式会社I’mbesideyou 動画像分析プログラム
WO2023228342A1 (ja) * 2022-05-26 2023-11-30 株式会社ジオクリエイツ 情報処理システム、情報処理装置、情報処理方法及びプログラム

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080177154A1 (en) * 2001-08-13 2008-07-24 Novo Nordisk A/S Portable Device and Method Of Communicating Medical Data Information
US9878802B2 (en) * 2001-09-19 2018-01-30 Theodore McBain System and method for selectively enabling a control system for accessing a central processing unit
KR100457813B1 (ko) * 2003-02-07 2004-11-18 삼성전자주식회사 커뮤니티 서비스 제공 시스템 및 방법
US20040243443A1 (en) * 2003-05-29 2004-12-02 Sanyo Electric Co., Ltd. Healthcare support apparatus, health care support system, health care support method and health care support program
CN100482149C (zh) * 2003-08-19 2009-04-29 索尼株式会社 图像显示系统、图像显示装置及图像显示方法
JP3953024B2 (ja) * 2003-11-20 2007-08-01 ソニー株式会社 感情算出装置及び感情算出方法、並びに携帯型通信装置
JP4046078B2 (ja) * 2003-12-10 2008-02-13 ソニー株式会社 入力装置及び入力方法、並びに電子機器
US20060183980A1 (en) * 2005-02-14 2006-08-17 Chang-Ming Yang Mental and physical health status monitoring, analyze and automatic follow up methods and its application on clothing
JP5065275B2 (ja) 2005-09-02 2012-10-31 エムセンス コーポレイション 組織内の電気的活動を検知する装置及び方法
CA2622365A1 (en) * 2005-09-16 2007-09-13 Imotions-Emotion Technology A/S System and method for determining human emotion by analyzing eye properties
DE102005046518B3 (de) * 2005-09-29 2006-12-07 Stürenburg, Ingevild, Dr. Fern-Übertragungssystem zur Erfassung biomedizinischer Parameter
RU2428104C2 (ru) * 2005-11-08 2011-09-10 Конинклейке Филипс Электроникс Н.В. Способ обнаружения критичных трендов при многопараметрическом контроле за пациентом и клинических данных, используя кластеризацию
US20080096643A1 (en) * 2006-08-10 2008-04-24 Shalini Venkatesh System and method for using image analysis of user interface signals for program control
US9215996B2 (en) * 2007-03-02 2015-12-22 The Nielsen Company (Us), Llc Apparatus and method for objectively determining human response to media
US8230457B2 (en) 2007-03-07 2012-07-24 The Nielsen Company (Us), Llc. Method and system for using coherence of biological responses as a measure of performance of a media
US8473044B2 (en) 2007-03-07 2013-06-25 The Nielsen Company (Us), Llc Method and system for measuring and ranking a positive or negative response to audiovisual or interactive media, products or activities using physiological signals
US8764652B2 (en) 2007-03-08 2014-07-01 The Nielson Company (US), LLC. Method and system for measuring and ranking an “engagement” response to audiovisual or interactive media, products, or activities using physiological signals
US8782681B2 (en) 2007-03-08 2014-07-15 The Nielsen Company (Us), Llc Method and system for rating media and events in media based on physiological data
US8484081B2 (en) 2007-03-29 2013-07-09 The Nielsen Company (Us), Llc Analysis of marketing and entertainment effectiveness using central nervous system, autonomic nervous system, and effector data
WO2008137581A1 (en) 2007-05-01 2008-11-13 Neurofocus, Inc. Neuro-feedback based stimulus compression device
US8392253B2 (en) 2007-05-16 2013-03-05 The Nielsen Company (Us), Llc Neuro-physiology and neuro-behavioral based stimulus targeting system
EP2170161B1 (en) 2007-07-30 2018-12-05 The Nielsen Company (US), LLC. Neuro-response stimulus and stimulus attribute resonance estimator
US8386313B2 (en) 2007-08-28 2013-02-26 The Nielsen Company (Us), Llc Stimulus placement system using subject neuro-response measurements
US8392255B2 (en) 2007-08-29 2013-03-05 The Nielsen Company (Us), Llc Content based selection and meta tagging of advertisement breaks
US20090083129A1 (en) 2007-09-20 2009-03-26 Neurofocus, Inc. Personalized content delivery using neuro-response priming data
US20090094627A1 (en) 2007-10-02 2009-04-09 Lee Hans C Providing Remote Access to Media, and Reaction and Survey Data From Viewers of the Media
JP2011505175A (ja) 2007-10-31 2011-02-24 エムセンス コーポレイション 視聴者からの生理的反応の分散収集および集中処理を提供するシステムおよび方法
US8615479B2 (en) 2007-12-13 2013-12-24 The Invention Science Fund I, Llc Methods and systems for indicating behavior in a population cohort
US9418368B2 (en) 2007-12-20 2016-08-16 Invention Science Fund I, Llc Methods and systems for determining interest in a cohort-linked avatar
US20100010370A1 (en) 2008-07-09 2010-01-14 De Lemos Jakob System and method for calibrating and normalizing eye data in emotional testing
US8136944B2 (en) 2008-08-15 2012-03-20 iMotions - Eye Tracking A/S System and method for identifying the existence and position of text in visual media content and for determining a subjects interactions with the text
FI20086241L (fi) 2008-12-23 2010-06-24 Palodex Group Oy Kuvalevyn lukijalaite
FI20086240A (fi) 2008-12-23 2010-06-24 Palodex Group Oy Kuvalevyn lukijalaitteen puhdistusjärjestelmä
WO2010100567A2 (en) 2009-03-06 2010-09-10 Imotions- Emotion Technology A/S System and method for determining emotional response to olfactory stimuli
US20100250325A1 (en) 2009-03-24 2010-09-30 Neurofocus, Inc. Neurological profiles for market matching and stimulus presentation
US20100331733A1 (en) * 2009-06-30 2010-12-30 Orthosensor Sensing device and method for an orthopedic joint
US10987015B2 (en) 2009-08-24 2021-04-27 Nielsen Consumer Llc Dry electrodes for electroencephalography
US20110106750A1 (en) 2009-10-29 2011-05-05 Neurofocus, Inc. Generating ratings predictions using neuro-response data
US9560984B2 (en) 2009-10-29 2017-02-07 The Nielsen Company (Us), Llc Analysis of controlled and automatic attention for introduction of stimulus material
KR101262922B1 (ko) * 2009-12-10 2013-05-09 한국전자통신연구원 감성 변화에 따른 감성지수 결정 장치 및 그 방법
WO2011133548A2 (en) 2010-04-19 2011-10-27 Innerscope Research, Inc. Short imagery task (sit) research method
US8655428B2 (en) 2010-05-12 2014-02-18 The Nielsen Company (Us), Llc Neuro-response data synchronization
WO2011153318A2 (en) 2010-06-02 2011-12-08 Q-Tec Systems Llc Method and apparatus for monitoring emotion in an interactive network
US10074024B2 (en) 2010-06-07 2018-09-11 Affectiva, Inc. Mental state analysis using blink rate for vehicles
US20140200463A1 (en) * 2010-06-07 2014-07-17 Affectiva, Inc. Mental state well being monitoring
US9723992B2 (en) * 2010-06-07 2017-08-08 Affectiva, Inc. Mental state analysis using blink rate
CN102479291A (zh) * 2010-11-30 2012-05-30 国际商业机器公司 情感描述生成与体验方法和设备以及情感交互系统
US9569986B2 (en) 2012-02-27 2017-02-14 The Nielsen Company (Us), Llc System and method for gathering and analyzing biometric user feedback for use in social media and advertising applications
US9292858B2 (en) 2012-02-27 2016-03-22 The Nielsen Company (Us), Llc Data collection system for aggregating biologically based measures in asynchronous geographically distributed public environments
US9451303B2 (en) 2012-02-27 2016-09-20 The Nielsen Company (Us), Llc Method and system for gathering and computing an audience's neurologically-based reactions in a distributed framework involving remote storage and computing
US9060671B2 (en) 2012-08-17 2015-06-23 The Nielsen Company (Us), Llc Systems and methods to gather and analyze electroencephalographic data
US9320450B2 (en) 2013-03-14 2016-04-26 The Nielsen Company (Us), Llc Methods and apparatus to gather and analyze electroencephalographic data
US9622702B2 (en) 2014-04-03 2017-04-18 The Nielsen Company (Us), Llc Methods and apparatus to gather and analyze electroencephalographic data
US10990888B2 (en) * 2015-03-30 2021-04-27 International Business Machines Corporation Cognitive monitoring
US9936250B2 (en) 2015-05-19 2018-04-03 The Nielsen Company (Us), Llc Methods and apparatus to adjust content presented to an individual
CN106333643B (zh) * 2015-07-10 2020-04-14 中兴通讯股份有限公司 用户健康的监测方法、监测装置以及监测终端
WO2017072802A1 (en) * 2015-10-28 2017-05-04 Cavion Carlo System suitable for electronically detecting a human profile
CN106406744A (zh) * 2015-12-29 2017-02-15 杭州后博科技有限公司 一种基于键盘输入的信息交互情绪变化感知系统及方法
US10345988B2 (en) * 2016-03-16 2019-07-09 International Business Machines Corporation Cursor and cursor-hover based on user state or sentiment analysis
US11723579B2 (en) 2017-09-19 2023-08-15 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
WO2019133997A1 (en) 2017-12-31 2019-07-04 Neuroenhancement Lab, LLC System and method for neuroenhancement to enhance emotional response
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
US11452839B2 (en) 2018-09-14 2022-09-27 Neuroenhancement Lab, LLC System and method of improving sleep
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
US11810596B2 (en) * 2021-08-16 2023-11-07 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for speech-emotion recognition with quantified emotional states
US11830259B2 (en) * 2021-08-24 2023-11-28 Nvidia Corporation Robust state estimation

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01107240U (ja) * 1988-01-08 1989-07-19
JPH0512023A (ja) * 1991-07-04 1993-01-22 Omron Corp 感情認識装置
JPH08339446A (ja) * 1995-06-09 1996-12-24 Sharp Corp 対話装置
JPH09238908A (ja) * 1996-03-06 1997-09-16 Seiko Epson Corp リラックス度測定装置
JPH1030516A (ja) * 1996-07-15 1998-02-03 Isuzu Motors Ltd インナカム式燃料噴射ポンプ
JPH10305016A (ja) * 1997-05-08 1998-11-17 Casio Comput Co Ltd 行動情報提供システム
JPH11299740A (ja) * 1998-04-21 1999-11-02 Matsushita Electric Ind Co Ltd 生体モニタ装置
JP2000093396A (ja) * 1998-09-25 2000-04-04 Pioneer Electronic Corp 生体監視システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4981139A (en) * 1983-08-11 1991-01-01 Pfohl Robert L Vital signs monitoring and communication system
JPH01162069A (ja) 1987-12-18 1989-06-26 Nec Corp 情報通信電話装置
JPH0646982B2 (ja) 1992-02-25 1994-06-22 日本コーリン株式会社 医療用通信装置
US5704364A (en) * 1995-11-08 1998-01-06 Instromedix, Inc. Concurrent medical patient data and voice communication method and apparatus
JPH10328412A (ja) 1997-06-02 1998-12-15 Amtex Kk バイオフィードバックゲーム機器
KR100255877B1 (ko) 1997-08-20 2000-05-01 이준욱 바이오피드백게임기
US6287252B1 (en) * 1999-06-30 2001-09-11 Monitrak Patient monitor

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01107240U (ja) * 1988-01-08 1989-07-19
JPH0512023A (ja) * 1991-07-04 1993-01-22 Omron Corp 感情認識装置
JPH08339446A (ja) * 1995-06-09 1996-12-24 Sharp Corp 対話装置
JPH09238908A (ja) * 1996-03-06 1997-09-16 Seiko Epson Corp リラックス度測定装置
JPH1030516A (ja) * 1996-07-15 1998-02-03 Isuzu Motors Ltd インナカム式燃料噴射ポンプ
JPH10305016A (ja) * 1997-05-08 1998-11-17 Casio Comput Co Ltd 行動情報提供システム
JPH11299740A (ja) * 1998-04-21 1999-11-02 Matsushita Electric Ind Co Ltd 生体モニタ装置
JP2000093396A (ja) * 1998-09-25 2000-04-04 Pioneer Electronic Corp 生体監視システム

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT412059B (de) * 2002-08-05 2004-09-27 Prieler Anton Verfahren und anlage zur durchführung psychologischer tests
JP2004267525A (ja) * 2003-03-10 2004-09-30 Fujitsu Ltd 患者監視方法
JP4608858B2 (ja) * 2003-08-12 2011-01-12 ソニー株式会社 感情の可視化装置および感情の可視化方法、感情の可視化出力物
JP2005058449A (ja) * 2003-08-12 2005-03-10 Sony Corp 感情の可視化装置および感情の可視化方法、感情の可視化出力物
WO2005016147A1 (ja) * 2003-08-14 2005-02-24 Sony Corporation 情報処理端末及び通信システム
US7783487B2 (en) 2003-08-14 2010-08-24 Sony Corporation Information processing terminal and communication system
JP2005058534A (ja) * 2003-08-14 2005-03-10 Sony Corp 情報処理端末及び通信システム
WO2005016137A1 (ja) * 2003-08-19 2005-02-24 Sony Corporation 画像表示システム、画像表示装置、画像表示方法
US7731656B2 (en) 2003-08-19 2010-06-08 Sony Corporation Image display system, image display device, image display method
JP2007503248A (ja) * 2003-08-25 2007-02-22 ナズドラテンコ、アンドレイ・イフジェインビチ ビデオプログラム創成システム及び方法
JP2007522838A (ja) * 2004-02-05 2007-08-16 モトリカ インク 微細運動制御のリハビリテーション
JP2005237561A (ja) * 2004-02-25 2005-09-08 Canon Inc 情報処理装置及び方法
JP4481682B2 (ja) * 2004-02-25 2010-06-16 キヤノン株式会社 情報処理装置及びその制御方法
US8132229B2 (en) 2004-04-08 2012-03-06 International Business Machines Corporation Governing the transfer of physiological and emotional user data
US7543330B2 (en) 2004-04-08 2009-06-02 International Business Machines Corporation Method and apparatus for governing the transfer of physiological and emotional user data
JP4546767B2 (ja) * 2004-06-09 2010-09-15 日本放送協会 感情推定装置及び感情推定プログラム
JP2005348872A (ja) * 2004-06-09 2005-12-22 Nippon Hoso Kyokai <Nhk> 感情推定装置及び感情推定プログラム
JP2006006355A (ja) * 2004-06-22 2006-01-12 Sony Corp 生体情報の処理装置および映像音響再生装置
JP2006042956A (ja) * 2004-08-02 2006-02-16 Keiichi Mitani 身・心の状態の評価・改善システム
US8641616B2 (en) 2004-10-19 2014-02-04 Sony Corporation Method and apparatus for processing bio-information
JP2006326184A (ja) * 2005-05-30 2006-12-07 Nippon Telegr & Teleph Corp <Ntt> 心理状態分析装置
JP4640953B2 (ja) * 2005-05-30 2011-03-02 日本電信電話株式会社 心理状態分析装置
JP2006340986A (ja) * 2005-06-10 2006-12-21 Ntt Docomo Inc 顔面情報検出装置および顔面情報検出式通信装置
JP4722573B2 (ja) * 2005-06-10 2011-07-13 株式会社エヌ・ティ・ティ・ドコモ 顔面情報検出装置および顔面情報検出式通信装置
JP2008010936A (ja) * 2006-06-27 2008-01-17 Olympus Corp 通信システム
JP2008076904A (ja) * 2006-09-22 2008-04-03 Univ Of Tokyo 感情の判別方法、感情判別装置、雰囲気情報通信端末
US8175571B2 (en) 2008-03-28 2012-05-08 Sony Corporation Communication equipment and communication system
JP2010167014A (ja) * 2009-01-21 2010-08-05 Kddi Corp 感情推定方法および装置
KR101437186B1 (ko) * 2009-01-28 2014-09-05 경희대학교 산학협력단 다중 센서 기반으로 감지한 사용자 감정 상태에 대한 응답 방법.
JP2010253030A (ja) * 2009-04-24 2010-11-11 Ntt Docomo Inc 携帯端末および情報報知方法
JP2015156229A (ja) * 2009-10-29 2015-08-27 イマージョン コーポレーションImmersion Corporation 音声−テキスト変換の触覚増強のためのシステム及び方法
JP2011117905A (ja) * 2009-12-07 2011-06-16 Pioneer Electronic Corp ルート選択支援装置及びルート選択支援方法
JP2012000449A (ja) * 2010-05-17 2012-01-05 Mitsuyoshi Kenkyusho:Kk 行動分析方法および行動分析装置
JP2013537435A (ja) * 2010-06-07 2013-10-03 アフェクティヴァ,インコーポレイテッド ウェブサービスを用いた心理状態分析
JP2012065178A (ja) * 2010-09-16 2012-03-29 Ntt Docomo Inc 通信装置及びプログラム
JP2014501967A (ja) * 2010-11-17 2014-01-23 アフェクティヴァ,インコーポレイテッド ソーシャルネットワーク上での感情共有
JP2013161364A (ja) * 2012-02-07 2013-08-19 Ricoh Co Ltd ネットワークシステム、サーバ装置、情報処理装置及びプログラム
JP2015165407A (ja) * 2015-03-25 2015-09-17 株式会社リコー ネットワークシステム
JP2017129853A (ja) * 2016-01-20 2017-07-27 ハーマン インターナショナル インダストリーズ インコーポレイテッド 音声影響修正
KR20170087416A (ko) * 2016-01-20 2017-07-28 하만인터내셔날인더스트리스인코포레이티드 음성 정동 변조
CN106992013A (zh) * 2016-01-20 2017-07-28 哈曼国际工业有限公司 语音情感修改
CN106992013B (zh) * 2016-01-20 2023-09-19 哈曼国际工业有限公司 语音情感修改
KR102658445B1 (ko) * 2016-01-20 2024-04-17 하만인터내셔날인더스트리스인코포레이티드 음성 정동 변조
WO2022201268A1 (ja) * 2021-03-22 2022-09-29 株式会社I’mbesideyou 動画像分析プログラム
WO2023228342A1 (ja) * 2022-05-26 2023-11-30 株式会社ジオクリエイツ 情報処理システム、情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP3824848B2 (ja) 2006-09-20
US6648822B2 (en) 2003-11-18
US20020105427A1 (en) 2002-08-08

Similar Documents

Publication Publication Date Title
JP3824848B2 (ja) 通信装置および通信方法
US10901509B2 (en) Wearable computing apparatus and method
CA2953539C (en) Voice affect modification
RU2613580C2 (ru) Способ и система для оказания помощи пациенту
JP2016126500A (ja) ウェアラブル端末装置およびプログラム
JP2006320621A (ja) ストレスケア装置およびそれを備えてなる空調装置ならびにロボット装置
JP6871362B2 (ja) 脳波データ分析システム、情報処理端末、電子機器、及び認知症検査のための情報の呈示方法
JP2012059107A (ja) 感情推定装置、感情推定方法およびプログラム
JPWO2017061149A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2020148920A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP2006262010A (ja) 遠隔会議・教育システム
US20210118323A1 (en) Method and apparatus for interactive monitoring of emotion during teletherapy
US11635816B2 (en) Information processing apparatus and non-transitory computer readable medium
JP2013052049A (ja) 対人コミュニケーションにおける同調性検出装置
CN114379567A (zh) 基于驾驶员状态和情境的会议
JP2006136742A (ja) 通信装置
CN113164052A (zh) 可视化的虚拟代理
US20190274630A1 (en) Output control device, output control method, and program
US10643636B2 (en) Information processing apparatus, information processing method, and program
WO2022065446A1 (ja) 感情判定装置、感情判定方法及び感情判定プログラム
Mansouri Benssassi et al. Wearable assistive technologies for autism: opportunities and challenges
WO2024106195A1 (ja) 情報処理装置および情報処理システム
US11769595B2 (en) Information processing apparatus and non-transitory computer readable medium
JP2022049326A (ja) 情報処理装置及びプログラム
Wilson The relationship between media quality and user cost in networked multimedia applications

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051014

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20051014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060628

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100707

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110707

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110707

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120707

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120707

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130707

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees